JP2005354157A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2005354157A JP2005354157A JP2004169686A JP2004169686A JP2005354157A JP 2005354157 A JP2005354157 A JP 2005354157A JP 2004169686 A JP2004169686 A JP 2004169686A JP 2004169686 A JP2004169686 A JP 2004169686A JP 2005354157 A JP2005354157 A JP 2005354157A
- Authority
- JP
- Japan
- Prior art keywords
- image
- solid
- motion
- state imaging
- fourier transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮像装置が動くことにより発生する画像ぶれを補正する機能を備えた撮像装置に関する。 The present invention relates to an imaging apparatus having a function of correcting image blur caused by movement of the imaging apparatus.
従来、撮像装置が動くことにより、画像に発生したぶれを補正する撮像装置が知られている(例えば、特許文献1ないし特許文献3参照)。また、ぶれの発生を防止する防振光学系の技術も知られている(例えば、特許文献4参照)。
2. Description of the Related Art Conventionally, there has been known an imaging apparatus that corrects a shake generated in an image by moving the imaging apparatus (see, for example,
特許文献1に記載の技術は、動き量検出回路により動き量を検出し、この動き量をもとに動き量による結像の移動を補正するように固体撮像素子の読取位置を適宜変更することにより動きを補正するものである。また、特許文献2に記載の技術は、揺れ検出手段の出力に基づいて撮影レンズの像揺れを光学的に補正する補正手段を駆動することにより像揺れを補正するものである。また、特許文献3に記載の技術は、動き量検出回路により動き量を検出し、固体撮像素子自体を駆動する2次元駆動装置を用いて像揺れを補正するものである。したがって、これらの技術は光学的に動きを補正するので、露光時間中においても動きの補正を行うことができる。また、特許文献4に記載の防振光学系を組み込んだ撮像装置は、動き量検出回路により動き量を検出し、それを補正するように頂角可変プリズムを偏芯駆動することにより、画像のぶれを補正することができるものである。
しかしながら、上記従来の露光時間中においても動き補正を行える撮像装置では、機械的な駆動回路を必要とするため装置全体が大きくなり、また消費電流も大きくなるなどの問題を有していた。さらには、機械的な駆動によるため応答周波数の高域側には電気的補正と比べ限界があり、実質的に20Hz程度の動きしか補正できないという問題を有していた。 However, the conventional imaging apparatus capable of performing motion correction even during the exposure time described above has problems such as a large overall apparatus and a large current consumption because it requires a mechanical drive circuit. Furthermore, since it is mechanically driven, there is a limit compared to electrical correction on the high frequency side of the response frequency, and there is a problem that only a motion of about 20 Hz can be corrected substantially.
本発明は、上記従来の問題を解決するもので、機械的な駆動を用いず、露光時間中の動きを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置を提供することを目的とする。 The present invention solves the above-mentioned conventional problems. By electrically correcting the movement during the exposure time without using a mechanical drive, the apparatus can be reduced in size and power can be saved with a high response speed. An object of the present invention is to provide an imaging device capable of correcting image blur.
上記問題を解決するために本発明の撮像装置は、被写体を撮像する固体撮像手段と、前記固体撮像手段から1枚の画像を得るための露光時間中における前記固体撮像手段の撮像面の直交する少なくとも2軸の動きを検出する動き検出手段と、前記動き検出手段の出力から前記固体撮像手段における被写体の結像の動き量を求める動き量検出手段と、前記動き量検出手段で求めた動き量を用いて前記固体撮像手段から得られた1枚の画像の露光時間中の撮像装置の動きにより発生する画像の劣化を補正する画像補正手段とを備えた構成を有する。 In order to solve the above problems, an imaging apparatus according to the present invention includes a solid-state imaging unit that images a subject, and an imaging surface of the solid-state imaging unit that is orthogonal to each other during an exposure time for obtaining one image from the solid-state imaging unit. A motion detection means for detecting at least biaxial motion, a motion amount detection means for determining a motion amount of an object in the solid-state imaging means from an output of the motion detection means, and a motion amount obtained by the motion amount detection means And an image correction unit that corrects image degradation caused by the movement of the imaging device during the exposure time of one image obtained from the solid-state imaging unit.
この構成により、露光時間中の撮像装置の動き量を検出し、検出した動き量に応じて、固体撮像手段から出力される画像のぶれを、電気的信号処理により補正することで、ぶれの少ない画像を得ることができる。 With this configuration, the amount of motion of the imaging device during the exposure time is detected, and blurring of the image output from the solid-state imaging unit is corrected by electrical signal processing according to the detected amount of motion, so that there is little blurring An image can be obtained.
また、本発明の撮像装置は、前記画像補正手段が、前記固体撮像手段からの露光時間中のぶれのある画像出力をフーリエ変換する第1のフーリエ変換手段と、前記動き量検出手段の出力をフーリエ変換する第2のフーリエ変換手段と、前記第1のフーリエ変換手段の結果を前記第2のフーリエ変換手段の結果で除算する除算手段と、前記除算手段の結果を逆フーリエ変換する逆フーリエ変換手段とを備えたことを特徴とする。この構成により、ぶれのある画像を電気的な処理により、ぶれの少ない画像に補正することができる。 In the image pickup apparatus of the present invention, the image correction means outputs a first Fourier transform means for Fourier transforming an image output with blur during an exposure time from the solid-state image pickup means, and an output of the motion amount detection means. Second Fourier transform means for performing Fourier transform, division means for dividing the result of the first Fourier transform means by the result of the second Fourier transform means, and inverse Fourier transform for inverse Fourier transform of the result of the division means Means. With this configuration, a blurred image can be corrected to an image with less blur by electrical processing.
また、本発明の撮像装置は、前記画像補正回路が、前記動き量検出手段で求められた動き量から逆畳み込み行列を生成する逆畳み込み行列生成手段と、前記固体撮像手段からの露光時間中のぶれのある画像出力と前記逆畳み込み行列との畳み込みを行う畳み込み手段とを備えたことを特徴とする。この構成によっても、ぶれのある画像を電気的な処理により、ぶれの少ない画像に補正することができる。 In the imaging apparatus of the present invention, the image correction circuit generates a deconvolution matrix generating unit that generates a deconvolution matrix from the motion amount obtained by the motion amount detection unit, and an exposure time from the solid-state imaging unit. Convolution means for performing convolution of a blurred image output and the deconvolution matrix is provided. Also with this configuration, it is possible to correct a blurred image to an image with less blur by electrical processing.
また、本発明の撮像装置は、前記動き量検出手段からの出力があらかじめ設定した閾値を超えたかどうかを示す信号を出力する制御手段を備え、前記画像補正手段が、前記制御手段からの信号に基づいて画像のぶれの補正を行うかどうかを決定することを特徴とする。この構成により、撮像装置の動きが小さく、画像のぶれが補正を必要とする程度より少ない場合には、画像のぶれの補正を行わず、撮像装置の動きが大きく、画像のぶれが補正を必要とする程度より多い場合には、画像のぶれの補正を行うという切り替えを適宜行うことできる。 The image pickup apparatus of the present invention further includes a control unit that outputs a signal indicating whether or not the output from the motion amount detection unit exceeds a preset threshold value, and the image correction unit outputs a signal from the control unit. Based on this, it is determined whether or not to correct image blur. With this configuration, when the imaging device has a small motion and the image blur is less than the level that requires correction, the image blur is not corrected, the imaging device has a large motion, and the image blur needs to be corrected. In the case of more than the above, switching to perform image blur correction can be performed as appropriate.
本発明は、固体撮像手段の撮像面の直交する2軸の動きを検出する動き検出手段の出力から固体撮像手段における被写体の結像の動き量を求め、求めた動き量を用いて固体撮像手段から得られた1枚の画像の露光時間中の撮像装置の動きにより発生する画像の劣化を補正するものであり、機械的な駆動を用いることなく、従来困難であった露光時間中の画像のぶれまでを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置が実現できるものである。 The present invention obtains a moving amount of image formation of a subject in a solid-state imaging means from an output of a motion detecting means for detecting two orthogonal axes of an imaging surface of the solid-state imaging means, and uses the obtained amount of movement to obtain a solid-state imaging means. The image degradation caused by the movement of the imaging device during the exposure time of one image obtained from the above is corrected, and without using mechanical drive, By electrically correcting up to blurring, the apparatus can be reduced in size and power consumption, and an imaging apparatus capable of correcting blurring of images at a high response speed can be realized.
以下、本発明の実施の形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(実施の形態1)
図1は本発明の第1の実施の形態における撮像装置の構成を示すものである。なお、以下の説明において「動き量」とは、外部から印加された力などによる撮像装置の動きの量を言う。 また「ぶれ」とは、露光中に外部から印加された力などにより撮像装置が動き、これによって固体撮像素子の出力画像に表れる、エッジのにじみや画像のぼけや多重像などといった画像劣化を言うものとする。
(Embodiment 1)
FIG. 1 shows a configuration of an image pickup apparatus according to the first embodiment of the present invention. In the following description, “movement amount” refers to the amount of movement of the imaging apparatus due to an externally applied force or the like. “Blur” refers to image degradation such as blurring of edges, blurring of images, multiple images, etc. that appear in the output image of a solid-state imaging device due to the movement of the imaging device due to externally applied force during exposure. Shall.
図1において、固体撮像素子22は、レンズ21による被写体26の結像27を電気信号に変換するCCD型固体撮像素子である。動き検出素子23、24は、撮像装置全体の動きを検出する。動き量検出回路25は、動き検出素子23、24の出力から撮像素子22上の画像のぶれ量を計算するものである。画像補正回路28は、動き量検出回路25の出力に応じて逆畳み込みマトリクスを計算し、固体撮像素子22の出力のぶれのある画像との畳み込みを行うものである。
In FIG. 1, a solid-
以上のように構成された本実施の形態の撮像装置について、以下その動作を説明する。固体撮像素子22は、M行N列の格子状の画素を有するCCD型のM行N列の格子状の画素を有するものである。本実施の形態においては、水平1024画素、垂直768画素の有効画素数を持ち、フレ−ム周波数15Hzで読み出すことができ、露光による電荷蓄積は全画素等時的に行われるものである。被写体26がレンズ21の焦点距離に応じた倍率で焦点を結び結像27が得られる。動き検出素子23は、固体撮像素子22の中心を通る水平軸をx軸とし、その周りの回転速度Vx(t)を検出し、動き検出素子24は、固体撮像素子22の中心を通る垂直軸をy軸とし、その周りの回転速度Vy(t)を検出する。ここで、動き検出素子23、24は、セラミックバイモルフ振動子を使用した角速度センサである。具体的には(株)村田製作所製の圧電素子ジャイロスターENC−03Mを用いてある。
The operation of the imaging apparatus of the present embodiment configured as described above will be described below. The solid-
固体撮像素子22で露光中に撮像装置に動きがあった場合、動き検出素子23、24の出力は、時間tに対する角速度Vx(t)、Vy(t)として得られる。また、このとき動き検出素子23、24それぞれのノイズ成分をNx(t)、Ny(t)とし、露光開始時刻0を初期状態とすると、tn秒後の固体撮像素子22のx軸周り、y軸周りの移動角度はPx、Pyは、
Rx(tn)= ∫tn Vx(t)+Nx(t)dt (1−1)
Ry(tn)= ∫tn Vy(t)+Ny(t)dt (1−2)
となる。
ここで、ノイズ成分Nx(t)、Ny(t)はランダムノイズであり、任意の時間の積分により、
∫tn Nx(t)dt≒ 0 (1−3)
∫tn Ny(t)dt≒ 0 (1−4)
のように、ほぼ0とみなすことができる。そのとき式(1−1)、(1−2)は、
Rx(tn) ≒ ∫tn Vx(t)dt (1−5)
Ry(tn) ≒ ∫tn Vy(t)dt (1−6)
と近似することができる。
このように、角速度センサからの出力を積分して移動角度を求めることで、角速度センサの持っているノイズ成分をキャンセルすることができる。
When there is a movement of the imaging apparatus during exposure with the solid-
Rx (tn) = ∫tn Vx (t) + Nx (t) dt (1-1)
Ry (tn) = ∫tn Vy (t) + Ny (t) dt (1-2)
It becomes.
Here, the noise components Nx (t) and Ny (t) are random noises, and by integration of an arbitrary time,
∫ tn Nx (t) dt ≒ 0 (1-3)
∫ tn Ny (t) dt ≒ 0 (1-4)
Thus, it can be regarded as almost zero. Then, the equations (1-1) and (1-2) are
Rx (tn) ≒ ∫ tn Vx (t) dt (1-5)
Ry (tn) ≒ ∫ tn Vy (t) dt (1-6)
And can be approximated.
In this way, by integrating the output from the angular velocity sensor and obtaining the movement angle, the noise component possessed by the angular velocity sensor can be canceled.
前述した移動角度から、固体撮像素子22上での画像の移動量に関して図2を用いて説明する。図2(a)に動きの無いとき、図2(b)に動きの有るときの、レンズ21、固体撮像素子22と被写体26からの光線の関係を示している。このとき、固体撮像素子22上の結像はt0とtnで移動し、その移動量は、x軸、y軸方向の平行移動量として求めることができる。ここで、固体撮像素子22の中心を通り撮像面に対して垂直なz軸周りの画像の回転は考慮に入れないものとしている。また、x軸周りの回転による移動量はy軸方向への平行移動となり、y軸周りの回転による移動量はx軸方向への平行移動となる。撮像面におけるx軸方向の平行移動量をMx(tn)、y軸方向の平行移動量をMy(tn)とすると、レンズ31と固体撮像素子22の撮像面間の距離をfとして、
My(tn)=f・tanRx (tn) (2−1)
Mx(tn)=f・tanRy (tn) (2−2)
となる。
これらの式(1−5)、(1−6)、(2−1)、(2−2)により、角速度センサである動き検出素子23、24の出力から任意の時間の結像面での移動量を求めることができる。
The amount of image movement on the solid-
My (tn) = f · tanRx (tn) (2-1)
Mx (tn) = f · tanRy (tn) (2-2)
It becomes.
From these expressions (1-5), (1-6), (2-1), and (2-2), the output of the motion detection elements 23 and 24, which are angular velocity sensors, on the imaging plane at an arbitrary time. The amount of movement can be determined.
動き量検出回路25は、式(1−5)、(1−6)、(2−1)、(2−2)を用い、固体撮像素子22上の結像面での結像の動きを検出する。図3は前述のようにして求めたMx(tn)、My(tn)とその移動量に相当する固体撮像素子22の撮像面の画素との相関を示したものである。本実施の形態では、露光時間を2以上の整数N等分し、露光開始をt0、露光終了をtNで表し、露光中の任意の時間をtnで表す。
The motion amount detection circuit 25 uses the formulas (1-5), (1-6), (2-1), and (2-2) to determine the motion of image formation on the image plane on the solid-
t0≦tn≦tN (3−1)
露光時間中の任意のtnにおけるMx(tn)、My(tn)が求まるので、露光時間t0〜tNにおける結像の移動を時間の関数として求めることができる。ここでは、N=8としている。動き量検出回路25は、この撮像面での動きを検出し畳み込み行列として検出するものである。
t0 ≦ tn ≦ tN (3-1)
Since Mx (tn) and My (tn) at an arbitrary tn during the exposure time are obtained, the movement of the imaging at the exposure time t0 to tN can be obtained as a function of time. Here, N = 8. The motion amount detection circuit 25 detects the motion on the imaging surface and detects it as a convolution matrix.
図4は図3に示した結像の動きがあったとき、どのように重み付けして露光されているかを示しており、動き量検出回路25により検出された動きを表す畳み込み行列である。 FIG. 4 shows how weighted exposure is performed when the imaging movement shown in FIG. 3 occurs, and is a convolution matrix representing the motion detected by the motion amount detection circuit 25.
次に画像補正回路28について説明する。図3は、等間隔な時刻t0からt8まで9点の時刻における、z軸上無限遠にある点光源が撮像装置に動きにより、固体撮像素子のどの画素に結像するかを表したものである。ここで、t0における結像位置の画素をx軸、y軸の0点としている。また図3の撮像面31における各格子状のそれぞれは、固体撮像素子の画素32の1つに対応している。このように撮像装置の動きにより、固体撮像素子からは図3で示されたようなぶれのある画像が出力される。この画像のぶれを行列として表したものが図4である。ここで、行列の各要素は、図3の画素に対応しており、行列の中心はt0における画素に対応しており、図3のx軸、y軸は図4の行列の行、列に対応している。
Next, the image correction circuit 28 will be described. FIG. 3 shows to which pixel of the solid-state image sensor the point light source located at infinity on the z axis moves to the imaging device at the time of 9 points from equidistant times t0 to t8. is there. Here, the pixel at the imaging position at t0 is defined as 0 point on the x-axis and y-axis. Further, each of the lattice shapes on the
図3において、t0からt8の各露光時刻の結像がどの画素に何点あるかによって、各画素の露光量の重み付けをもとめることができ、対応する行列にその重み付けの値を代入することにより、画像のぶれを表す行列を求めることができる。こうして求めた図4に示す行列は、露光時間がt0〜tNの画像におけるポイントスプレッドファンクション(点像分布関数)とみなすことができる。図4に示した重み付移動軌跡を行列として、
| 0 0 0 0 0 0 0 0 3/9 |
| 0 0 0 0 0 0 0 2/9 0 |
| 0 0 0 0 0 0 1/9 0 0 |
| 0 0 0 0 1/9 1/9 0 0 0 |
h= | 0 0 0 0 1/9 0 0 0 0 | (4−1)
| 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 |
と表し、固体撮像素子からのぶれた画像をi’、ぶれていない場合の画像をiとすると、
i’ = i※h (ただし、※は畳み込みを表す記号) (5−1)
なる関係がある(たとえば株式会社近代化学社発行「デジタル画像処理」159頁参照)。本実施の形態では、式(5−1)において、i’が固体撮像素子22の出力として得られ、hも二つの動き検出素子23、24で求めることができる。
In FIG. 3, the weighting of the exposure amount of each pixel can be obtained depending on how many pixels are imaged at each exposure time from t0 to t8, and the weighting value is substituted into the corresponding matrix. A matrix representing the blur of the image can be obtained. The matrix shown in FIG. 4 thus obtained can be regarded as a point spread function (point spread function) in an image with an exposure time of t0 to tN. Using the weighted movement trajectory shown in FIG. 4 as a matrix,
| 0 0 0 0 0 0 0 0 3/9 |
| 0 0 0 0 0 0 0 2/9 0 |
| 0 0 0 0 0 0 1/9 0 0 |
| 0 0 0 0 1/9 1/9 0 0 0 |
h = | 0 0 0 0 1/9 0 0 0 0 | (4-1)
| 0 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 0 |
Where i ′ is the blurred image from the solid-state imaging device, and i is the image when it is not blurred.
i '= i * h (where * is a symbol representing convolution) (5-1)
(For example, see page 159 of “Digital Image Processing” issued by Modern Chemical Co., Ltd.). In the present embodiment, in Expression (5-1), i ′ is obtained as the output of the solid-
式(5−1)の畳み込みは、フーリエ変換の掛け算として表すことができる(たとえば前述「デジタル画像処理」19頁参照)。すなわち。i’、i、hそれぞれのフーリエ変換をI’、I、Hとすると、
I’=フーリエ変換(i’) (6−1)
I=フーリエ変換(i) (6−2)
H=フーリエ変換(h) (6−3)
I’=I×H (7−1)
となる。従って、
I=I’/H (8−1)
i=フーリエ逆変換(I) (8−2)
となり、i’、hのフーリエ変換I’、Hの割り算でiのフーリエ変換Iが求まり、このIの逆フーリエ変換でiが求めることができる。
The convolution of Expression (5-1) can be expressed as a multiplication of Fourier transform (for example, see “Digital Image Processing” on page 19). That is. If the Fourier transforms of i ′, i, h are I ′, I, H, respectively,
I ′ = Fourier transform (i ′) (6-1)
I = Fourier transform (i) (6-2)
H = Fourier transform (h) (6-3)
I ′ = I × H (7-1)
It becomes. Therefore,
I = I ′ / H (8-1)
i = Inverse Fourier transform (I) (8-2)
Thus, the Fourier transform I of i ′ and h is obtained by dividing the Fourier transform I ′ and h of i ′ and h, and i can be obtained by the inverse Fourier transform of this I.
図5は本実施の形態における画像補正回路28の構成を示している。固体撮像素子22の出力のフーリエ変換回路42の出力を、動き量検出回路25で得られたポイントスプレッドファンクションhのフーリエ変換回路41の出力で割る処理を除算回路43で行い、その結果を逆フーリエ変換回路44で逆フーリエ変換する構成である。このような構成により、逆フーリエ変換回路44の出力は、ぶれのない画像を得ることができる。
FIG. 5 shows a configuration of the image correction circuit 28 in the present embodiment. The
このように、本実施の形態1によれば、被写体26を撮像する固体撮像素子22と、固体撮像素子22の撮像面の直交する2軸の動きを検出する動き検出素子23、24と、動き検出素子23、24で求めた動き量を用いて固体撮像素子22からの動きによる画像劣化を補正する画像補正回路28とを備え、画像補正回路28では、固体撮像素子22の露光時間中のぶれのある画像出力のフーリエ変換した結果を、動き量検出回路25の出力をフーリエ変換して結果で除算し、その結果を逆フーリエ変換することにより、露光時間中の画像のぶれを補正することが、光学機構的な付加装置なしに小型、低消費電力に実現することができる。なお、本実施の形態1ではN=8としているが、適宜変更すること可能である。
As described above, according to the first embodiment, the solid-
(実施の形態2)
次に、本発明の第2の実施の形態について説明する。本実施の形態2が第1の実施の形態と異なるのは、画像補正回路28の構成だけであり、他の構成は第1の実施の形態と同じなので、画像補正回路28についてのみ図6を用いて説明する。図6は本実施の形態2における画像補正回路28の構成を示している。図6において、動き量検出回路25で得られたポイントスプレッドファンクションhを逆畳み込み行列生成回路51で生成した逆畳み込み行列と固体撮像素子22の出力とを畳み込み回路52で畳み込みして、ぶれていない画像iを得る構成である。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. The second embodiment differs from the first embodiment only in the configuration of the image correction circuit 28, and the other configurations are the same as those in the first embodiment. It explains using. FIG. 6 shows the configuration of the image correction circuit 28 in the second embodiment. In FIG. 6, the convolution circuit 52 convolves the deconvolution matrix generated by the deconvolution matrix generation circuit 51 with the point spread function h obtained by the motion amount detection circuit 25 and the output of the solid-
以上のように構成された本実施の形態2における画像補正回路28の動作について図6を用いて説明する。式(5−1)より、
i’ = i※h (ただし、※は畳み込みを表す記号)
と表すことができた。両辺に右からh-1を畳み込み、
i’※h-1=(i※h)※h-1=i※(h-1※h)=i (9−1)
(ただし、ここでh-1は、h-1※h=δ(単位インパルス)となる行列)
と定義すると、i’※h-1を計算することによりiを求めることができる。
The operation of the image correction circuit 28 in the second embodiment configured as described above will be described with reference to FIG. From equation (5-1)
i '= i * h (* is a symbol for convolution)
It was possible to express. Convolve h -1 on both sides from the right,
i ′ * h −1 = (i * h) * h −1 = i * (h −1 * h) = i (9-1)
(Where h -1 is a matrix such that h -1 * h = δ (unit impulse))
In other words, i can be obtained by calculating i ′ * h −1 .
実際に数値を入れて説明する。説明のため、1次元の画像の復元について述べるが、2次元画像に関しても同様に計算できる。動き量検出によるポイントスプレッドファンクションhを、
h=[1/9 2/9 3/9 2/9 1/9] (10−1)
ぶれがないときの20画素からなる被写体の画像iを、
i=[0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0] (10−2)
とする。ここで0は黒レベルである。
行列hにより得られたぶれのある画像i’は、
i’=i※h=[0 0 0 0 0 0 0 1/9 3/9 5/9 5/9 3/9 1/9 0 0 0 0 0 0 0] (10−3)
となる。ここで、実際には、i’が固体撮像素子からの出力であるぶれのある画像であり、hは動き量検出回路の出力であるポイントスプレッドファンクションである。ここで、i’、hが既知であり、iが未知で求むべきぶれのない画像である。Hの逆畳み込み行列をh’とおいて、その要素を、
h-1=[h1 h2 h3 h4 h5] (10−4)
とする。式(9−1)からh※h-1が単位インパルスδになればよいから、h※h-1を求めて中心の5要素を求め、これが単位インパルスδ[ 0 0 1 0 0]となる方程式を書くと、
3/9・h1+2/9・h2+1/9・h3=0 (10−5a)
2/9・h1+3/9・h2+2/9・h3+1/9・h4=0 (10−5b)
1/9・h1+2/9・h2+3/9・h3+2/9・h4+1/9・h5=1 (10−5c)
1/9・h2+2/9・h3+3/9・h4+2/9・h5=0 (10−5d)
1/9・h3+2/9・h4+3/9・h5=0 (10−5e)
となる。これを解くと、
h-1= [h1 h2 h3 h4 h5]=[0 -4.5 9 -4.5 0] (11−1)
となる逆畳み込み行列h-1が求まる。以上が逆畳み込み行列生成回路51の動作である。
I will explain with actual numbers. For the sake of explanation, restoration of a one-dimensional image will be described. Point spread function h by motion amount detection
h = [1/9 2/9 3/9 2/9 1/9] (10-1)
An image i of a subject consisting of 20 pixels when there is no blur,
i = [0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0] (10-2)
And Here, 0 is the black level.
The blurred image i ′ obtained by the matrix h is
i '= i * h = [0 0 0 0 0 0 0 1/9 3/9 5/9 5/9 3/9 1/9 0 0 0 0 0 0 0] (10-3)
It becomes. Here, actually, i ′ is a blurred image that is an output from the solid-state imaging device, and h is a point spread function that is an output of the motion amount detection circuit. Here, i ′ and h are known, i is unknown, and there is no blur to be obtained. Let H 'be the deconvolution matrix of H, and its elements are
h -1 = [h1 h2 h3 h4 h5] (10-4)
And Since h * h −1 only needs to be unit impulse δ from equation (9-1), h * h −1 is obtained to obtain the central five elements, and this becomes unit impulse δ [0 0 1 0 0]. If you write the equation,
3/9 ・ h1 + 2/9 ・ h2 + 1/9 ・ h3 = 0 (10-5a)
2/9 ・ h1 + 3/9 ・ h2 + 2/9 ・ h3 + 1/9 ・ h4 = 0 (10-5b)
1/9 ・ h1 + 2/9 ・ h2 + 3/9 ・ h3 + 2/9 ・ h4 + 1/9 ・ h5 = 1 (10-5c)
1/9 ・ h2 + 2/9 ・ h3 + 3/9 ・ h4 + 2/9 ・ h5 = 0 (10-5d)
1/9 ・ h3 + 2/9 ・ h4 + 3/9 ・ h5 = 0 (10-5e)
It becomes. Solving this,
h -1 = [h1 h2 h3 h4 h5] = [0 -4.5 9 -4.5 0] (11-1)
A deconvolution matrix h −1 is obtained. The above is the operation of the deconvolution matrix generation circuit 51.
次に、畳み込み回路52の動作について説明する。i’ とh-1を畳み込み、その中心20画素をとると、
i’※h-1=[ 0 0 0 0 0 0 -0.5 -0.5 0 1 1 0 -0.5 -0.5 0 0 0 0 0 0]
(11−2)
となる。マイナス成分は黒レベル0以下となるので、黒レベル0にクリップすると、
i’※h-1=[0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0] (11−3)
となり、中心の2画素は[1 1]となりiが復元できる。
Next, the operation of the convolution circuit 52 will be described. If i 'and h -1 are convolved and the center is 20 pixels,
i ′ * h −1 = [0 0 0 0 0 0 -0.5 -0.5 0 1 1 0 -0.5 -0.5 0 0 0 0 0 0]
(11-2)
It becomes. The negative component is
i ′ * h −1 = [0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0] (11-3)
Thus, the central two pixels are [1 1], and i can be restored.
以上のことから、畳み込み回路52の作用として、固体撮像素子22で得られたぶれのある画像i’と、動き量検出回路25で得られた動きによるポイントスプレッドファンクションの逆畳み込み行列h-1を畳み込むことにより、ぶれの少ない画像が得られる。
From the above, as a function of the convolution circuit 52, the blurred image i ′ obtained by the solid-
ここで、補正可能な動きの周波数は、角速度センサの読み出し応答性できまり、(株)村田製作所製のENC−03Mを使用した場合、その応答性は50Hz(MAX)であり、50Hz程度の高い周波数の動きまで補正可能とすることができた。 Here, the frequency of motion that can be corrected is determined by the read response of the angular velocity sensor. When ENC-03M manufactured by Murata Manufacturing Co., Ltd. is used, the response is 50 Hz (MAX), which is as high as about 50 Hz. It was possible to correct even frequency movement.
このように、本実施の形態2によれば、被写体26を撮像する固体撮像素子22と、固体撮像素子22の撮像面の直交する2軸の動きを検出する動き検出素子23、24と、動き検出素子23、24で求めた動き量を用いて固体撮像素子22からの動きによる画像劣化を補正する画像補正回路28を備え、画像補正回路28では、固体撮像素子22の露光時間中のぶれのある画像出力と、動き量検出回路25で求められた動き量による画像のぶれを補正する逆畳み込み行列との畳み込みを行うことにより、露光時間中の画像のぶれを補正することが、光学機構的な付加装置なしに小型、低消費電力に実現することができる。なお、本実施の形態2ではN=8としているが、適宜変更すること可能である。
As described above, according to the second embodiment, the solid-
(実施の形態3)
次に、本発明の第3の実施の形態について図7を用いて説明する。本実施の形態3は、図1に示した構成において、画像補正回路28を制御する画像補正制御回路29を追加した構成を有する。動き検出回路25からの出力を画像補正制御回路29が、動きによる画像のぶれ量を2画素未満と計算した場合には画像補正回路28での画像補正を行わず、動き検出回路25からの出力を画像補正制御回路29が、動きによる画像のぶれ量を2画素以上であると計算した場合には画像補正回路28での画像補正を行うように、画像補正制御回路29の出力である画像補正回路切り替え信号で、画像補正回路28の動作を切り替えるようにしてある。
(Embodiment 3)
Next, a third embodiment of the present invention will be described with reference to FIG. The third embodiment has a configuration in which an image
このように、本実施の形態3によれば、撮像装置の動きが小さく、画像のぶれが補正を必要とする程度より少ない場合には、画像のぶれの補正を行わず、撮像装置の動きが大きく、画像のぶれが補正を必要とする程度より多い場合には、画像のぶれの補正を行う処理を適宜切り替えることができる。なお、本実施の形態3では、画像補正を行うか行わないかの閾値を2画素として説明したが、2画素に限定するものではない。 As described above, according to the third embodiment, when the movement of the imaging apparatus is small and the image blur is less than the degree that requires correction, the image blur is not corrected and the movement of the imaging apparatus is not performed. When the image blur is larger than the level that requires correction, the process for correcting the image blur can be switched as appropriate. In the third embodiment, the threshold value indicating whether image correction is performed or not is described as two pixels. However, the threshold value is not limited to two pixels.
以上の各実施の形態1、2、3の説明では、動き検出素子23、24を角速度センサで構成した例で説明したが、角位置センサ、角加速度センサを用いても同様に実施可能である。角位置センサを用いた場合、式(1−5)、(1−6)の移動角度Rx(tn)、Ry(tn)が直接センサ出力として得られる。また角加速度センサを用いた場合には、角加速度センサの出力の時間に対する積分が角速度になるので、時間に対する積分を2回行うことで移動角度Rx(tn)、Ry(tn)を求めることができる。この際角加速度から発生するランダムノイズに対する抑圧も更に向上することができる。 In the above description of each of the first, second, and third embodiments, the motion detection elements 23 and 24 are described as examples of angular velocity sensors. However, the present invention can be similarly implemented using angular position sensors and angular acceleration sensors. . When the angular position sensor is used, the movement angles Rx (tn) and Ry (tn) of the expressions (1-5) and (1-6) are obtained directly as sensor outputs. Further, when the angular acceleration sensor is used, the integration with respect to the time of the output of the angular acceleration sensor becomes an angular velocity. Therefore, the movement angles Rx (tn) and Ry (tn) can be obtained by performing the integration with respect to time twice. it can. At this time, the suppression of random noise generated from the angular acceleration can be further improved.
また、固体撮像素子22として、CCD型ではなく、一般的にXYアドレシング方式の読み出しを行っているCMOS型を用いることもできる。CMOS型の固体撮像素子の場合、画面上部1ライン目の画素を左から右に読み出し、次に2ライン目の画素を左から右に読み出し、同様に順次上部からラインを読み出している。このとき、各画素の露光時刻は読み出すタイミングの直前の露光時刻となり、画素毎に露光時刻が異なるが、この場合でも、撮像素子全体を1以上の整数A、BでA×Bブロックに分割し、それぞれのブロック毎に等価的に同じ時刻で露光しているので、任意のブロックa、b(ただし1≦a≦A、1≦b≦B)の各画素に対しての動き量は同じであると仮定して、任意のブロックa、bの動きによるポイントスプレッドファンクションをha、hbを求め、任意のブロックa、b毎に上記実施の形態と同様に処理することにより、ぶれを補正する効果を得ることができる。
Further, as the solid-state
さらに、本発明の撮像装置において、画像のぶれ補正を行うか行わないかを切り替える回路を設けて、画像のぶれ補正を行うか行わないかを手動で切り替えるようにするか、または電子式あるいは機械式のシャッターのシャッター速度によって、遅いシャッター速度、例えば1/15秒より長いシャッター速度のときだけ画像のぶれ補正を行うように切り替えるようにするか、ズーム機能を有する撮像装置において、望遠側のとき、例えば35mmフィルムカメラ換算で焦点距離100mmのレンズに相当する以上の望遠であるときだけ、画像のぶれ補正を行うように適宜切り替えるようにすることが可能である。またはこれらを組み合わせた条件で切り替えるようにすることもできる。 Further, in the image pickup apparatus of the present invention, a circuit for switching whether or not to perform image blur correction is provided so as to manually switch whether or not image blur correction is performed, or electronic or mechanical Depending on the shutter speed of the type of shutter, switching to perform image blur correction only when the shutter speed is slow, for example, a shutter speed longer than 1/15 seconds, or when the image pickup apparatus having a zoom function is on the telephoto side For example, it is possible to appropriately switch so as to perform image blur correction only when the telephoto is equivalent to a lens having a focal length of 100 mm in terms of a 35 mm film camera. Or it can also be made to switch on the conditions which combined these.
また、上記各実施の形態では、構成要素をハードウェアとして実現しているが、動き量検出回路25、画像補正回路28の全部あるいは一部をソフトウェアとして実現しても、同様の効果が得ることができる。 In each of the above embodiments, the components are realized as hardware, but the same effect can be obtained even if all or part of the motion amount detection circuit 25 and the image correction circuit 28 are realized as software. Can do.
以上のように、本発明に係る撮像装置は、機械的な駆動を用いることなく、従来困難であった露光時間中の画像のぶれまでを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置が実現できるという効果を有し、撮像装置が動くことにより発生する画像ぶれを補正する機能を備えた撮像装置等として有用である。 As described above, the image pickup apparatus according to the present invention reduces the size and saves the apparatus by electrically correcting the image blur during the exposure time, which has been difficult in the past, without using mechanical drive. It has the effect of realizing an image pickup device that can be powered and can correct image blur at a high response speed, and is useful as an image pickup device having a function of correcting image blur caused by movement of the image pickup device. .
21 レンズ
22 固体撮像素子
23 動き検出素子
24 動き検出素子
25 動き量検出回路
26 被写体
27 結像
28 画像補正回路
29 画像補正制御回路
31 撮像面
32 画素
41 第2のフーリエ変換回路
42 第1のフーリエ変換回路
43 除算回路
44 逆フーリエ変換回路
51 逆畳み込み行列生成回路
52 畳み込み回路
DESCRIPTION OF
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004169686A JP2005354157A (en) | 2004-06-08 | 2004-06-08 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004169686A JP2005354157A (en) | 2004-06-08 | 2004-06-08 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005354157A true JP2005354157A (en) | 2005-12-22 |
Family
ID=35588272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004169686A Pending JP2005354157A (en) | 2004-06-08 | 2004-06-08 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005354157A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007066740A1 (en) | 2005-12-07 | 2007-06-14 | Matsushita Electric Industrial Co., Ltd. | Secure device, information processing terminal, server, and authentication method |
KR100849509B1 (en) | 2007-02-09 | 2008-07-31 | 엠텍비젼 주식회사 | Input apparatus using global shutter driving type image sensor |
JP2009522825A (en) * | 2006-05-08 | 2009-06-11 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | Method for reducing blur in an image of a scene and method for removing blur in an image of a scene |
JP2010112859A (en) * | 2008-11-07 | 2010-05-20 | Seiko Epson Corp | Robot system, robot control device, and method for controlling robot |
WO2012147804A1 (en) * | 2011-04-25 | 2012-11-01 | 浜松ホトニクス株式会社 | Imaging device |
JP2018066604A (en) * | 2016-10-18 | 2018-04-26 | 株式会社Soken | Parallax detector |
-
2004
- 2004-06-08 JP JP2004169686A patent/JP2005354157A/en active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007066740A1 (en) | 2005-12-07 | 2007-06-14 | Matsushita Electric Industrial Co., Ltd. | Secure device, information processing terminal, server, and authentication method |
JP2009522825A (en) * | 2006-05-08 | 2009-06-11 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | Method for reducing blur in an image of a scene and method for removing blur in an image of a scene |
JP4672060B2 (en) * | 2006-05-08 | 2011-04-20 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | Method for reducing blur in an image of a scene and method for removing blur in an image of a scene |
KR100849509B1 (en) | 2007-02-09 | 2008-07-31 | 엠텍비젼 주식회사 | Input apparatus using global shutter driving type image sensor |
JP2010112859A (en) * | 2008-11-07 | 2010-05-20 | Seiko Epson Corp | Robot system, robot control device, and method for controlling robot |
US8666141B2 (en) | 2008-11-07 | 2014-03-04 | Seiko Epson Corporation | Robot system, robot control device and method for controlling robot |
WO2012147804A1 (en) * | 2011-04-25 | 2012-11-01 | 浜松ホトニクス株式会社 | Imaging device |
JP5886838B2 (en) * | 2011-04-25 | 2016-03-16 | 浜松ホトニクス株式会社 | Imaging device |
US9485393B2 (en) | 2011-04-25 | 2016-11-01 | Hamamatsu Photonics K.K. | Imaging device including detection unit having a light receiving plane |
JP2018066604A (en) * | 2016-10-18 | 2018-04-26 | 株式会社Soken | Parallax detector |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110012224B (en) | Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium | |
CN110035222B (en) | Semiconductor device and electronic apparatus | |
JP4500875B2 (en) | Method and apparatus for removing motion blur effect | |
JP2018189730A (en) | Image tremor correction device and control method for the same, program therefor, and storage medium | |
JP4420921B2 (en) | Imaging device | |
WO2010004764A1 (en) | Imaging device | |
CN109951638B (en) | Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium | |
JP5249271B2 (en) | Imaging apparatus, image processing apparatus, and image processing program | |
JP5103977B2 (en) | Flexible substrate, camera shake correction unit, and imaging apparatus | |
JP2014128014A (en) | Image pick-up apparatus and control method and program thereof, storage medium | |
KR20160140193A (en) | Circuit for correcting image and correcting image Method thereof | |
JP2007243335A (en) | Camera shake correction method, camera shake correction apparatus, and imaging apparatus | |
JP2009272890A (en) | Image processing apparatus and method, and imaging device | |
JP2005354157A (en) | Imaging apparatus | |
JP2008124850A (en) | Image motion correction apparatus, lens unit, and imaging apparatus | |
JP2013054193A (en) | Shake correction device and optical apparatus | |
JP5393877B2 (en) | Imaging device and integrated circuit | |
JP2015095670A (en) | Imaging apparatus, control method thereof and control program | |
JP2007036799A (en) | Image processing apparatus | |
JP2000069353A (en) | Camera-shake detector and camera-shake correction device | |
JP4258383B2 (en) | Imaging device | |
JP2015204566A (en) | camera system | |
JP2006332809A (en) | Imaging apparatus | |
JP2015026910A (en) | Imaging device and method of controlling the same | |
WO2022044551A1 (en) | Imaging device, driving method, and imaging program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081209 |