JP2005354157A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2005354157A
JP2005354157A JP2004169686A JP2004169686A JP2005354157A JP 2005354157 A JP2005354157 A JP 2005354157A JP 2004169686 A JP2004169686 A JP 2004169686A JP 2004169686 A JP2004169686 A JP 2004169686A JP 2005354157 A JP2005354157 A JP 2005354157A
Authority
JP
Japan
Prior art keywords
image
solid
motion
state imaging
fourier transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004169686A
Other languages
Japanese (ja)
Inventor
Masato Nishizawa
眞人 西澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004169686A priority Critical patent/JP2005354157A/en
Publication of JP2005354157A publication Critical patent/JP2005354157A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a downsized imaging apparatus capable of correcting a blur of an image at a high response speed with saved power consumption by electrically correcting a motion for an exposure time without using mechanical drive. <P>SOLUTION: The imaging apparatus is provided with: a solid-state imaging element 22 for imaging an object 26; motion detecting elements 23, 24 for detecting a motion of two orthogonal axes on an imaging face of the solid-state imaging element 22; and an image correction circuit 28 for using the motion amount obtained by the motion detecting elements 23, 24 to correct image deterioration due to the motion of the solid-state imaging element 22. The image correction circuit 28 divides a result of applying Fourier transform to an image output having a blur for the exposure time of the solid-state imaging element 22 by a result of applying Fourier transform to an output of a motion amount detection circuit 25, and the result is subjected to inverse Fourier transform. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、撮像装置が動くことにより発生する画像ぶれを補正する機能を備えた撮像装置に関する。   The present invention relates to an imaging apparatus having a function of correcting image blur caused by movement of the imaging apparatus.

従来、撮像装置が動くことにより、画像に発生したぶれを補正する撮像装置が知られている(例えば、特許文献1ないし特許文献3参照)。また、ぶれの発生を防止する防振光学系の技術も知られている(例えば、特許文献4参照)。   2. Description of the Related Art Conventionally, there has been known an imaging apparatus that corrects a shake generated in an image by moving the imaging apparatus (see, for example, Patent Documents 1 to 3). In addition, a technique of an anti-vibration optical system that prevents the occurrence of shaking is also known (see, for example, Patent Document 4).

特許文献1に記載の技術は、動き量検出回路により動き量を検出し、この動き量をもとに動き量による結像の移動を補正するように固体撮像素子の読取位置を適宜変更することにより動きを補正するものである。また、特許文献2に記載の技術は、揺れ検出手段の出力に基づいて撮影レンズの像揺れを光学的に補正する補正手段を駆動することにより像揺れを補正するものである。また、特許文献3に記載の技術は、動き量検出回路により動き量を検出し、固体撮像素子自体を駆動する2次元駆動装置を用いて像揺れを補正するものである。したがって、これらの技術は光学的に動きを補正するので、露光時間中においても動きの補正を行うことができる。また、特許文献4に記載の防振光学系を組み込んだ撮像装置は、動き量検出回路により動き量を検出し、それを補正するように頂角可変プリズムを偏芯駆動することにより、画像のぶれを補正することができるものである。
特開平1−130673号公報 特開昭62−47013号公報 特開平4−4638号公報 特開昭61−223819号公報
The technique described in Patent Document 1 detects the amount of motion by a motion amount detection circuit, and appropriately changes the reading position of the solid-state imaging device so as to correct the movement of image formation due to the amount of motion based on the amount of motion. This corrects the movement. The technique described in Patent Document 2 corrects image shake by driving a correction unit that optically corrects image shake of the photographing lens based on the output of the shake detection unit. The technique described in Patent Document 3 detects a motion amount by a motion amount detection circuit and corrects image shake using a two-dimensional drive device that drives the solid-state imaging device itself. Therefore, since these techniques optically correct the motion, the motion can be corrected even during the exposure time. In addition, an image pickup apparatus incorporating the image stabilization optical system described in Patent Document 4 detects the amount of motion by a motion amount detection circuit, and drives the vertex angle variable prism to decenter so as to correct the amount of motion. It is possible to correct blur.
JP-A-1-130673 JP 62-47013 A Japanese Patent Laid-Open No. 4-4638 JP-A-61-223819

しかしながら、上記従来の露光時間中においても動き補正を行える撮像装置では、機械的な駆動回路を必要とするため装置全体が大きくなり、また消費電流も大きくなるなどの問題を有していた。さらには、機械的な駆動によるため応答周波数の高域側には電気的補正と比べ限界があり、実質的に20Hz程度の動きしか補正できないという問題を有していた。   However, the conventional imaging apparatus capable of performing motion correction even during the exposure time described above has problems such as a large overall apparatus and a large current consumption because it requires a mechanical drive circuit. Furthermore, since it is mechanically driven, there is a limit compared to electrical correction on the high frequency side of the response frequency, and there is a problem that only a motion of about 20 Hz can be corrected substantially.

本発明は、上記従来の問題を解決するもので、機械的な駆動を用いず、露光時間中の動きを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置を提供することを目的とする。   The present invention solves the above-mentioned conventional problems. By electrically correcting the movement during the exposure time without using a mechanical drive, the apparatus can be reduced in size and power can be saved with a high response speed. An object of the present invention is to provide an imaging device capable of correcting image blur.

上記問題を解決するために本発明の撮像装置は、被写体を撮像する固体撮像手段と、前記固体撮像手段から1枚の画像を得るための露光時間中における前記固体撮像手段の撮像面の直交する少なくとも2軸の動きを検出する動き検出手段と、前記動き検出手段の出力から前記固体撮像手段における被写体の結像の動き量を求める動き量検出手段と、前記動き量検出手段で求めた動き量を用いて前記固体撮像手段から得られた1枚の画像の露光時間中の撮像装置の動きにより発生する画像の劣化を補正する画像補正手段とを備えた構成を有する。   In order to solve the above problems, an imaging apparatus according to the present invention includes a solid-state imaging unit that images a subject, and an imaging surface of the solid-state imaging unit that is orthogonal to each other during an exposure time for obtaining one image from the solid-state imaging unit. A motion detection means for detecting at least biaxial motion, a motion amount detection means for determining a motion amount of an object in the solid-state imaging means from an output of the motion detection means, and a motion amount obtained by the motion amount detection means And an image correction unit that corrects image degradation caused by the movement of the imaging device during the exposure time of one image obtained from the solid-state imaging unit.

この構成により、露光時間中の撮像装置の動き量を検出し、検出した動き量に応じて、固体撮像手段から出力される画像のぶれを、電気的信号処理により補正することで、ぶれの少ない画像を得ることができる。   With this configuration, the amount of motion of the imaging device during the exposure time is detected, and blurring of the image output from the solid-state imaging unit is corrected by electrical signal processing according to the detected amount of motion, so that there is little blurring An image can be obtained.

また、本発明の撮像装置は、前記画像補正手段が、前記固体撮像手段からの露光時間中のぶれのある画像出力をフーリエ変換する第1のフーリエ変換手段と、前記動き量検出手段の出力をフーリエ変換する第2のフーリエ変換手段と、前記第1のフーリエ変換手段の結果を前記第2のフーリエ変換手段の結果で除算する除算手段と、前記除算手段の結果を逆フーリエ変換する逆フーリエ変換手段とを備えたことを特徴とする。この構成により、ぶれのある画像を電気的な処理により、ぶれの少ない画像に補正することができる。   In the image pickup apparatus of the present invention, the image correction means outputs a first Fourier transform means for Fourier transforming an image output with blur during an exposure time from the solid-state image pickup means, and an output of the motion amount detection means. Second Fourier transform means for performing Fourier transform, division means for dividing the result of the first Fourier transform means by the result of the second Fourier transform means, and inverse Fourier transform for inverse Fourier transform of the result of the division means Means. With this configuration, a blurred image can be corrected to an image with less blur by electrical processing.

また、本発明の撮像装置は、前記画像補正回路が、前記動き量検出手段で求められた動き量から逆畳み込み行列を生成する逆畳み込み行列生成手段と、前記固体撮像手段からの露光時間中のぶれのある画像出力と前記逆畳み込み行列との畳み込みを行う畳み込み手段とを備えたことを特徴とする。この構成によっても、ぶれのある画像を電気的な処理により、ぶれの少ない画像に補正することができる。   In the imaging apparatus of the present invention, the image correction circuit generates a deconvolution matrix generating unit that generates a deconvolution matrix from the motion amount obtained by the motion amount detection unit, and an exposure time from the solid-state imaging unit. Convolution means for performing convolution of a blurred image output and the deconvolution matrix is provided. Also with this configuration, it is possible to correct a blurred image to an image with less blur by electrical processing.

また、本発明の撮像装置は、前記動き量検出手段からの出力があらかじめ設定した閾値を超えたかどうかを示す信号を出力する制御手段を備え、前記画像補正手段が、前記制御手段からの信号に基づいて画像のぶれの補正を行うかどうかを決定することを特徴とする。この構成により、撮像装置の動きが小さく、画像のぶれが補正を必要とする程度より少ない場合には、画像のぶれの補正を行わず、撮像装置の動きが大きく、画像のぶれが補正を必要とする程度より多い場合には、画像のぶれの補正を行うという切り替えを適宜行うことできる。   The image pickup apparatus of the present invention further includes a control unit that outputs a signal indicating whether or not the output from the motion amount detection unit exceeds a preset threshold value, and the image correction unit outputs a signal from the control unit. Based on this, it is determined whether or not to correct image blur. With this configuration, when the imaging device has a small motion and the image blur is less than the level that requires correction, the image blur is not corrected, the imaging device has a large motion, and the image blur needs to be corrected. In the case of more than the above, switching to perform image blur correction can be performed as appropriate.

本発明は、固体撮像手段の撮像面の直交する2軸の動きを検出する動き検出手段の出力から固体撮像手段における被写体の結像の動き量を求め、求めた動き量を用いて固体撮像手段から得られた1枚の画像の露光時間中の撮像装置の動きにより発生する画像の劣化を補正するものであり、機械的な駆動を用いることなく、従来困難であった露光時間中の画像のぶれまでを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置が実現できるものである。   The present invention obtains a moving amount of image formation of a subject in a solid-state imaging means from an output of a motion detecting means for detecting two orthogonal axes of an imaging surface of the solid-state imaging means, and uses the obtained amount of movement to obtain a solid-state imaging means. The image degradation caused by the movement of the imaging device during the exposure time of one image obtained from the above is corrected, and without using mechanical drive, By electrically correcting up to blurring, the apparatus can be reduced in size and power consumption, and an imaging apparatus capable of correcting blurring of images at a high response speed can be realized.

以下、本発明の実施の形態について図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(実施の形態1)
図1は本発明の第1の実施の形態における撮像装置の構成を示すものである。なお、以下の説明において「動き量」とは、外部から印加された力などによる撮像装置の動きの量を言う。 また「ぶれ」とは、露光中に外部から印加された力などにより撮像装置が動き、これによって固体撮像素子の出力画像に表れる、エッジのにじみや画像のぼけや多重像などといった画像劣化を言うものとする。
(Embodiment 1)
FIG. 1 shows a configuration of an image pickup apparatus according to the first embodiment of the present invention. In the following description, “movement amount” refers to the amount of movement of the imaging apparatus due to an externally applied force or the like. “Blur” refers to image degradation such as blurring of edges, blurring of images, multiple images, etc. that appear in the output image of a solid-state imaging device due to the movement of the imaging device due to externally applied force during exposure. Shall.

図1において、固体撮像素子22は、レンズ21による被写体26の結像27を電気信号に変換するCCD型固体撮像素子である。動き検出素子23、24は、撮像装置全体の動きを検出する。動き量検出回路25は、動き検出素子23、24の出力から撮像素子22上の画像のぶれ量を計算するものである。画像補正回路28は、動き量検出回路25の出力に応じて逆畳み込みマトリクスを計算し、固体撮像素子22の出力のぶれのある画像との畳み込みを行うものである。   In FIG. 1, a solid-state image sensor 22 is a CCD solid-state image sensor that converts an image 27 of a subject 26 by a lens 21 into an electrical signal. The motion detection elements 23 and 24 detect the motion of the entire imaging apparatus. The motion amount detection circuit 25 calculates the amount of blurring of the image on the image sensor 22 from the outputs of the motion detection elements 23 and 24. The image correction circuit 28 calculates a deconvolution matrix in accordance with the output of the motion amount detection circuit 25 and performs convolution with an image with a blur of the output of the solid-state imaging device 22.

以上のように構成された本実施の形態の撮像装置について、以下その動作を説明する。固体撮像素子22は、M行N列の格子状の画素を有するCCD型のM行N列の格子状の画素を有するものである。本実施の形態においては、水平1024画素、垂直768画素の有効画素数を持ち、フレ−ム周波数15Hzで読み出すことができ、露光による電荷蓄積は全画素等時的に行われるものである。被写体26がレンズ21の焦点距離に応じた倍率で焦点を結び結像27が得られる。動き検出素子23は、固体撮像素子22の中心を通る水平軸をx軸とし、その周りの回転速度Vx(t)を検出し、動き検出素子24は、固体撮像素子22の中心を通る垂直軸をy軸とし、その周りの回転速度Vy(t)を検出する。ここで、動き検出素子23、24は、セラミックバイモルフ振動子を使用した角速度センサである。具体的には(株)村田製作所製の圧電素子ジャイロスターENC−03Mを用いてある。   The operation of the imaging apparatus of the present embodiment configured as described above will be described below. The solid-state imaging device 22 has a CCD type M-row N-column grid-like pixel having M-row N-column grid-like pixels. In the present embodiment, the number of effective pixels is 1024 pixels in the horizontal direction and 768 pixels in the vertical direction, the data can be read out at a frame frequency of 15 Hz, and charge accumulation by exposure is performed on all pixels at the same time. An object 27 is focused at a magnification corresponding to the focal length of the lens 21 and an image 27 is obtained. The motion detection element 23 detects the rotational speed Vx (t) around the horizontal axis passing through the center of the solid-state image sensor 22, and the motion detection element 24 is a vertical axis passing through the center of the solid-state image sensor 22. Is the y-axis, and the rotational speed Vy (t) around it is detected. Here, the motion detection elements 23 and 24 are angular velocity sensors using ceramic bimorph vibrators. Specifically, a piezoelectric element gyrostar ENC-03M manufactured by Murata Manufacturing Co., Ltd. is used.

固体撮像素子22で露光中に撮像装置に動きがあった場合、動き検出素子23、24の出力は、時間tに対する角速度Vx(t)、Vy(t)として得られる。また、このとき動き検出素子23、24それぞれのノイズ成分をNx(t)、Ny(t)とし、露光開始時刻0を初期状態とすると、tn秒後の固体撮像素子22のx軸周り、y軸周りの移動角度はPx、Pyは、
Rx(tn)= ∫tn Vx(t)+Nx(t)dt (1−1)
Ry(tn)= ∫tn Vy(t)+Ny(t)dt (1−2)
となる。
ここで、ノイズ成分Nx(t)、Ny(t)はランダムノイズであり、任意の時間の積分により、
tn Nx(t)dt≒ 0 (1−3)
tn Ny(t)dt≒ 0 (1−4)
のように、ほぼ0とみなすことができる。そのとき式(1−1)、(1−2)は、
Rx(tn) ≒ ∫tn Vx(t)dt (1−5)
Ry(tn) ≒ ∫tn Vy(t)dt (1−6)
と近似することができる。
このように、角速度センサからの出力を積分して移動角度を求めることで、角速度センサの持っているノイズ成分をキャンセルすることができる。
When there is a movement of the imaging apparatus during exposure with the solid-state imaging element 22, the outputs of the motion detection elements 23 and 24 are obtained as angular velocities Vx (t) and Vy (t) with respect to time t. Further, at this time, assuming that the noise components of the motion detection elements 23 and 24 are Nx (t) and Ny (t) and the exposure start time 0 is an initial state, the solid-state image pickup element 22 around the x-axis after tn seconds, y The movement angle around the axis is Px, Py is
Rx (tn) = ∫tn Vx (t) + Nx (t) dt (1-1)
Ry (tn) = ∫tn Vy (t) + Ny (t) dt (1-2)
It becomes.
Here, the noise components Nx (t) and Ny (t) are random noises, and by integration of an arbitrary time,
tn Nx (t) dt ≒ 0 (1-3)
tn Ny (t) dt ≒ 0 (1-4)
Thus, it can be regarded as almost zero. Then, the equations (1-1) and (1-2) are
Rx (tn) ≒ ∫ tn Vx (t) dt (1-5)
Ry (tn) ≒ ∫ tn Vy (t) dt (1-6)
And can be approximated.
In this way, by integrating the output from the angular velocity sensor and obtaining the movement angle, the noise component possessed by the angular velocity sensor can be canceled.

前述した移動角度から、固体撮像素子22上での画像の移動量に関して図2を用いて説明する。図2(a)に動きの無いとき、図2(b)に動きの有るときの、レンズ21、固体撮像素子22と被写体26からの光線の関係を示している。このとき、固体撮像素子22上の結像はt0とtnで移動し、その移動量は、x軸、y軸方向の平行移動量として求めることができる。ここで、固体撮像素子22の中心を通り撮像面に対して垂直なz軸周りの画像の回転は考慮に入れないものとしている。また、x軸周りの回転による移動量はy軸方向への平行移動となり、y軸周りの回転による移動量はx軸方向への平行移動となる。撮像面におけるx軸方向の平行移動量をMx(tn)、y軸方向の平行移動量をMy(tn)とすると、レンズ31と固体撮像素子22の撮像面間の距離をfとして、
My(tn)=f・tanRx (tn) (2−1)
Mx(tn)=f・tanRy (tn) (2−2)
となる。
これらの式(1−5)、(1−6)、(2−1)、(2−2)により、角速度センサである動き検出素子23、24の出力から任意の時間の結像面での移動量を求めることができる。
The amount of image movement on the solid-state image sensor 22 will be described with reference to FIG. FIG. 2A shows the relationship between the light beam from the lens 21, the solid-state imaging element 22, and the subject 26 when there is no movement and FIG. 2B shows the movement. At this time, the image formed on the solid-state imaging device 22 moves at t0 and tn, and the amount of movement can be obtained as the amount of parallel movement in the x-axis and y-axis directions. Here, the rotation of the image around the z-axis passing through the center of the solid-state imaging device 22 and perpendicular to the imaging surface is not taken into consideration. Further, the amount of movement due to rotation around the x-axis is parallel movement in the y-axis direction, and the amount of movement due to rotation around the y-axis is parallel movement in the x-axis direction. If the parallel movement amount in the x-axis direction on the imaging surface is Mx (tn) and the parallel movement amount in the y-axis direction is My (tn), the distance between the imaging surface of the lens 31 and the solid-state imaging device 22 is f.
My (tn) = f · tanRx (tn) (2-1)
Mx (tn) = f · tanRy (tn) (2-2)
It becomes.
From these expressions (1-5), (1-6), (2-1), and (2-2), the output of the motion detection elements 23 and 24, which are angular velocity sensors, on the imaging plane at an arbitrary time. The amount of movement can be determined.

動き量検出回路25は、式(1−5)、(1−6)、(2−1)、(2−2)を用い、固体撮像素子22上の結像面での結像の動きを検出する。図3は前述のようにして求めたMx(tn)、My(tn)とその移動量に相当する固体撮像素子22の撮像面の画素との相関を示したものである。本実施の形態では、露光時間を2以上の整数N等分し、露光開始をt0、露光終了をtNで表し、露光中の任意の時間をtnで表す。   The motion amount detection circuit 25 uses the formulas (1-5), (1-6), (2-1), and (2-2) to determine the motion of image formation on the image plane on the solid-state image sensor 22. To detect. FIG. 3 shows the correlation between Mx (tn) and My (tn) obtained as described above and the pixels on the imaging surface of the solid-state imaging device 22 corresponding to the movement amount. In the present embodiment, the exposure time is divided into two or more integers N, the exposure start is represented by t0, the exposure end is represented by tN, and an arbitrary time during the exposure is represented by tn.

t0≦tn≦tN (3−1)
露光時間中の任意のtnにおけるMx(tn)、My(tn)が求まるので、露光時間t0〜tNにおける結像の移動を時間の関数として求めることができる。ここでは、N=8としている。動き量検出回路25は、この撮像面での動きを検出し畳み込み行列として検出するものである。
t0 ≦ tn ≦ tN (3-1)
Since Mx (tn) and My (tn) at an arbitrary tn during the exposure time are obtained, the movement of the imaging at the exposure time t0 to tN can be obtained as a function of time. Here, N = 8. The motion amount detection circuit 25 detects the motion on the imaging surface and detects it as a convolution matrix.

図4は図3に示した結像の動きがあったとき、どのように重み付けして露光されているかを示しており、動き量検出回路25により検出された動きを表す畳み込み行列である。   FIG. 4 shows how weighted exposure is performed when the imaging movement shown in FIG. 3 occurs, and is a convolution matrix representing the motion detected by the motion amount detection circuit 25.

次に画像補正回路28について説明する。図3は、等間隔な時刻t0からt8まで9点の時刻における、z軸上無限遠にある点光源が撮像装置に動きにより、固体撮像素子のどの画素に結像するかを表したものである。ここで、t0における結像位置の画素をx軸、y軸の0点としている。また図3の撮像面31における各格子状のそれぞれは、固体撮像素子の画素32の1つに対応している。このように撮像装置の動きにより、固体撮像素子からは図3で示されたようなぶれのある画像が出力される。この画像のぶれを行列として表したものが図4である。ここで、行列の各要素は、図3の画素に対応しており、行列の中心はt0における画素に対応しており、図3のx軸、y軸は図4の行列の行、列に対応している。   Next, the image correction circuit 28 will be described. FIG. 3 shows to which pixel of the solid-state image sensor the point light source located at infinity on the z axis moves to the imaging device at the time of 9 points from equidistant times t0 to t8. is there. Here, the pixel at the imaging position at t0 is defined as 0 point on the x-axis and y-axis. Further, each of the lattice shapes on the imaging surface 31 in FIG. 3 corresponds to one of the pixels 32 of the solid-state imaging device. As described above, due to the movement of the image pickup apparatus, a blurry image as shown in FIG. 3 is output from the solid-state image pickup device. FIG. 4 shows this image blur as a matrix. Here, each element of the matrix corresponds to the pixel in FIG. 3, the center of the matrix corresponds to the pixel at t0, and the x-axis and y-axis in FIG. 3 correspond to the rows and columns of the matrix in FIG. It corresponds.

図3において、t0からt8の各露光時刻の結像がどの画素に何点あるかによって、各画素の露光量の重み付けをもとめることができ、対応する行列にその重み付けの値を代入することにより、画像のぶれを表す行列を求めることができる。こうして求めた図4に示す行列は、露光時間がt0〜tNの画像におけるポイントスプレッドファンクション(点像分布関数)とみなすことができる。図4に示した重み付移動軌跡を行列として、
| 0 0 0 0 0 0 0 0 3/9 |
| 0 0 0 0 0 0 0 2/9 0 |
| 0 0 0 0 0 0 1/9 0 0 |
| 0 0 0 0 1/9 1/9 0 0 0 |
h= | 0 0 0 0 1/9 0 0 0 0 | (4−1)
| 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 |
と表し、固体撮像素子からのぶれた画像をi’、ぶれていない場合の画像をiとすると、
i’ = i※h (ただし、※は畳み込みを表す記号) (5−1)
なる関係がある(たとえば株式会社近代化学社発行「デジタル画像処理」159頁参照)。本実施の形態では、式(5−1)において、i’が固体撮像素子22の出力として得られ、hも二つの動き検出素子23、24で求めることができる。
In FIG. 3, the weighting of the exposure amount of each pixel can be obtained depending on how many pixels are imaged at each exposure time from t0 to t8, and the weighting value is substituted into the corresponding matrix. A matrix representing the blur of the image can be obtained. The matrix shown in FIG. 4 thus obtained can be regarded as a point spread function (point spread function) in an image with an exposure time of t0 to tN. Using the weighted movement trajectory shown in FIG. 4 as a matrix,
| 0 0 0 0 0 0 0 0 3/9 |
| 0 0 0 0 0 0 0 2/9 0 |
| 0 0 0 0 0 0 1/9 0 0 |
| 0 0 0 0 1/9 1/9 0 0 0 |
h = | 0 0 0 0 1/9 0 0 0 0 | (4-1)
| 0 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 0 |
| 0 0 0 0 0 0 0 0 0 0 |
Where i ′ is the blurred image from the solid-state imaging device, and i is the image when it is not blurred.
i '= i * h (where * is a symbol representing convolution) (5-1)
(For example, see page 159 of “Digital Image Processing” issued by Modern Chemical Co., Ltd.). In the present embodiment, in Expression (5-1), i ′ is obtained as the output of the solid-state imaging element 22, and h can be obtained by the two motion detection elements 23 and 24.

式(5−1)の畳み込みは、フーリエ変換の掛け算として表すことができる(たとえば前述「デジタル画像処理」19頁参照)。すなわち。i’、i、hそれぞれのフーリエ変換をI’、I、Hとすると、
I’=フーリエ変換(i’) (6−1)
I=フーリエ変換(i) (6−2)
H=フーリエ変換(h) (6−3)
I’=I×H (7−1)
となる。従って、
I=I’/H (8−1)
i=フーリエ逆変換(I) (8−2)
となり、i’、hのフーリエ変換I’、Hの割り算でiのフーリエ変換Iが求まり、このIの逆フーリエ変換でiが求めることができる。
The convolution of Expression (5-1) can be expressed as a multiplication of Fourier transform (for example, see “Digital Image Processing” on page 19). That is. If the Fourier transforms of i ′, i, h are I ′, I, H, respectively,
I ′ = Fourier transform (i ′) (6-1)
I = Fourier transform (i) (6-2)
H = Fourier transform (h) (6-3)
I ′ = I × H (7-1)
It becomes. Therefore,
I = I ′ / H (8-1)
i = Inverse Fourier transform (I) (8-2)
Thus, the Fourier transform I of i ′ and h is obtained by dividing the Fourier transform I ′ and h of i ′ and h, and i can be obtained by the inverse Fourier transform of this I.

図5は本実施の形態における画像補正回路28の構成を示している。固体撮像素子22の出力のフーリエ変換回路42の出力を、動き量検出回路25で得られたポイントスプレッドファンクションhのフーリエ変換回路41の出力で割る処理を除算回路43で行い、その結果を逆フーリエ変換回路44で逆フーリエ変換する構成である。このような構成により、逆フーリエ変換回路44の出力は、ぶれのない画像を得ることができる。   FIG. 5 shows a configuration of the image correction circuit 28 in the present embodiment. The division circuit 43 performs a process of dividing the output of the Fourier transform circuit 42 of the output of the solid-state imaging device 22 by the output of the Fourier transform circuit 41 of the point spread function h obtained by the motion amount detection circuit 25, and the result is the inverse Fourier. In this configuration, the transform circuit 44 performs inverse Fourier transform. With such a configuration, the output of the inverse Fourier transform circuit 44 can obtain a blur-free image.

このように、本実施の形態1によれば、被写体26を撮像する固体撮像素子22と、固体撮像素子22の撮像面の直交する2軸の動きを検出する動き検出素子23、24と、動き検出素子23、24で求めた動き量を用いて固体撮像素子22からの動きによる画像劣化を補正する画像補正回路28とを備え、画像補正回路28では、固体撮像素子22の露光時間中のぶれのある画像出力のフーリエ変換した結果を、動き量検出回路25の出力をフーリエ変換して結果で除算し、その結果を逆フーリエ変換することにより、露光時間中の画像のぶれを補正することが、光学機構的な付加装置なしに小型、低消費電力に実現することができる。なお、本実施の形態1ではN=8としているが、適宜変更すること可能である。   As described above, according to the first embodiment, the solid-state imaging element 22 that images the subject 26, the motion detection elements 23 and 24 that detect the two-axis motion of the imaging surface of the solid-state imaging element 22, and the movement And an image correction circuit 28 that corrects image degradation due to movement from the solid-state image sensor 22 using the amount of motion obtained by the detection elements 23 and 24. In the image correction circuit 28, the blur of the solid-state image sensor 22 during the exposure time is provided. It is possible to correct the blurring of the image during the exposure time by performing a Fourier transform on the output of the certain image output, dividing the output of the motion amount detection circuit 25 by the Fourier transform and dividing the result by the inverse Fourier transform. Therefore, it can be realized in a small size and low power consumption without an optical mechanical addition device. Although N = 8 in the first embodiment, it can be changed as appropriate.

(実施の形態2)
次に、本発明の第2の実施の形態について説明する。本実施の形態2が第1の実施の形態と異なるのは、画像補正回路28の構成だけであり、他の構成は第1の実施の形態と同じなので、画像補正回路28についてのみ図6を用いて説明する。図6は本実施の形態2における画像補正回路28の構成を示している。図6において、動き量検出回路25で得られたポイントスプレッドファンクションhを逆畳み込み行列生成回路51で生成した逆畳み込み行列と固体撮像素子22の出力とを畳み込み回路52で畳み込みして、ぶれていない画像iを得る構成である。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. The second embodiment differs from the first embodiment only in the configuration of the image correction circuit 28, and the other configurations are the same as those in the first embodiment. It explains using. FIG. 6 shows the configuration of the image correction circuit 28 in the second embodiment. In FIG. 6, the convolution circuit 52 convolves the deconvolution matrix generated by the deconvolution matrix generation circuit 51 with the point spread function h obtained by the motion amount detection circuit 25 and the output of the solid-state imaging device 22 and is not blurred. This is a configuration for obtaining an image i.

以上のように構成された本実施の形態2における画像補正回路28の動作について図6を用いて説明する。式(5−1)より、
i’ = i※h (ただし、※は畳み込みを表す記号)
と表すことができた。両辺に右からh-1を畳み込み、
i’※h-1=(i※h)※h-1=i※(h-1※h)=i (9−1)
(ただし、ここでh-1は、h-1※h=δ(単位インパルス)となる行列)
と定義すると、i’※h-1を計算することによりiを求めることができる。
The operation of the image correction circuit 28 in the second embodiment configured as described above will be described with reference to FIG. From equation (5-1)
i '= i * h (* is a symbol for convolution)
It was possible to express. Convolve h -1 on both sides from the right,
i ′ * h −1 = (i * h) * h −1 = i * (h −1 * h) = i (9-1)
(Where h -1 is a matrix such that h -1 * h = δ (unit impulse))
In other words, i can be obtained by calculating i ′ * h −1 .

実際に数値を入れて説明する。説明のため、1次元の画像の復元について述べるが、2次元画像に関しても同様に計算できる。動き量検出によるポイントスプレッドファンクションhを、
h=[1/9 2/9 3/9 2/9 1/9] (10−1)
ぶれがないときの20画素からなる被写体の画像iを、
i=[0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0] (10−2)
とする。ここで0は黒レベルである。
行列hにより得られたぶれのある画像i’は、
i’=i※h=[0 0 0 0 0 0 0 1/9 3/9 5/9 5/9 3/9 1/9 0 0 0 0 0 0 0] (10−3)
となる。ここで、実際には、i’が固体撮像素子からの出力であるぶれのある画像であり、hは動き量検出回路の出力であるポイントスプレッドファンクションである。ここで、i’、hが既知であり、iが未知で求むべきぶれのない画像である。Hの逆畳み込み行列をh’とおいて、その要素を、
-1=[h1 h2 h3 h4 h5] (10−4)
とする。式(9−1)からh※h-1が単位インパルスδになればよいから、h※h-1を求めて中心の5要素を求め、これが単位インパルスδ[ 0 0 1 0 0]となる方程式を書くと、
3/9・h1+2/9・h2+1/9・h3=0 (10−5a)
2/9・h1+3/9・h2+2/9・h3+1/9・h4=0 (10−5b)
1/9・h1+2/9・h2+3/9・h3+2/9・h4+1/9・h5=1 (10−5c)
1/9・h2+2/9・h3+3/9・h4+2/9・h5=0 (10−5d)
1/9・h3+2/9・h4+3/9・h5=0 (10−5e)
となる。これを解くと、
-1= [h1 h2 h3 h4 h5]=[0 -4.5 9 -4.5 0] (11−1)
となる逆畳み込み行列h-1が求まる。以上が逆畳み込み行列生成回路51の動作である。
I will explain with actual numbers. For the sake of explanation, restoration of a one-dimensional image will be described. Point spread function h by motion amount detection
h = [1/9 2/9 3/9 2/9 1/9] (10-1)
An image i of a subject consisting of 20 pixels when there is no blur,
i = [0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0] (10-2)
And Here, 0 is the black level.
The blurred image i ′ obtained by the matrix h is
i '= i * h = [0 0 0 0 0 0 0 1/9 3/9 5/9 5/9 3/9 1/9 0 0 0 0 0 0 0] (10-3)
It becomes. Here, actually, i ′ is a blurred image that is an output from the solid-state imaging device, and h is a point spread function that is an output of the motion amount detection circuit. Here, i ′ and h are known, i is unknown, and there is no blur to be obtained. Let H 'be the deconvolution matrix of H, and its elements are
h -1 = [h1 h2 h3 h4 h5] (10-4)
And Since h * h −1 only needs to be unit impulse δ from equation (9-1), h * h −1 is obtained to obtain the central five elements, and this becomes unit impulse δ [0 0 1 0 0]. If you write the equation,
3/9 ・ h1 + 2/9 ・ h2 + 1/9 ・ h3 = 0 (10-5a)
2/9 ・ h1 + 3/9 ・ h2 + 2/9 ・ h3 + 1/9 ・ h4 = 0 (10-5b)
1/9 ・ h1 + 2/9 ・ h2 + 3/9 ・ h3 + 2/9 ・ h4 + 1/9 ・ h5 = 1 (10-5c)
1/9 ・ h2 + 2/9 ・ h3 + 3/9 ・ h4 + 2/9 ・ h5 = 0 (10-5d)
1/9 ・ h3 + 2/9 ・ h4 + 3/9 ・ h5 = 0 (10-5e)
It becomes. Solving this,
h -1 = [h1 h2 h3 h4 h5] = [0 -4.5 9 -4.5 0] (11-1)
A deconvolution matrix h −1 is obtained. The above is the operation of the deconvolution matrix generation circuit 51.

次に、畳み込み回路52の動作について説明する。i’ とh-1を畳み込み、その中心20画素をとると、
i’※h-1=[ 0 0 0 0 0 0 -0.5 -0.5 0 1 1 0 -0.5 -0.5 0 0 0 0 0 0]
(11−2)
となる。マイナス成分は黒レベル0以下となるので、黒レベル0にクリップすると、
i’※h-1=[0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0] (11−3)
となり、中心の2画素は[1 1]となりiが復元できる。
Next, the operation of the convolution circuit 52 will be described. If i 'and h -1 are convolved and the center is 20 pixels,
i ′ * h −1 = [0 0 0 0 0 0 -0.5 -0.5 0 1 1 0 -0.5 -0.5 0 0 0 0 0 0]
(11-2)
It becomes. The negative component is black level 0 or less, so if you clip to black level 0,
i ′ * h −1 = [0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0] (11-3)
Thus, the central two pixels are [1 1], and i can be restored.

以上のことから、畳み込み回路52の作用として、固体撮像素子22で得られたぶれのある画像i’と、動き量検出回路25で得られた動きによるポイントスプレッドファンクションの逆畳み込み行列h-1を畳み込むことにより、ぶれの少ない画像が得られる。 From the above, as a function of the convolution circuit 52, the blurred image i ′ obtained by the solid-state imaging device 22 and the deconvolution matrix h −1 of the point spread function by the motion obtained by the motion amount detection circuit 25 are obtained. By folding, an image with less blur is obtained.

ここで、補正可能な動きの周波数は、角速度センサの読み出し応答性できまり、(株)村田製作所製のENC−03Mを使用した場合、その応答性は50Hz(MAX)であり、50Hz程度の高い周波数の動きまで補正可能とすることができた。   Here, the frequency of motion that can be corrected is determined by the read response of the angular velocity sensor. When ENC-03M manufactured by Murata Manufacturing Co., Ltd. is used, the response is 50 Hz (MAX), which is as high as about 50 Hz. It was possible to correct even frequency movement.

このように、本実施の形態2によれば、被写体26を撮像する固体撮像素子22と、固体撮像素子22の撮像面の直交する2軸の動きを検出する動き検出素子23、24と、動き検出素子23、24で求めた動き量を用いて固体撮像素子22からの動きによる画像劣化を補正する画像補正回路28を備え、画像補正回路28では、固体撮像素子22の露光時間中のぶれのある画像出力と、動き量検出回路25で求められた動き量による画像のぶれを補正する逆畳み込み行列との畳み込みを行うことにより、露光時間中の画像のぶれを補正することが、光学機構的な付加装置なしに小型、低消費電力に実現することができる。なお、本実施の形態2ではN=8としているが、適宜変更すること可能である。   As described above, according to the second embodiment, the solid-state imaging device 22 that images the subject 26, the motion detection elements 23 and 24 that detect the two axes of the imaging surface of the solid-state imaging device 22 that are orthogonal, and the motion An image correction circuit 28 that corrects image degradation due to movement from the solid-state image sensor 22 using the motion amount obtained by the detection elements 23 and 24 is provided. It is possible to correct image blur during an exposure time by performing convolution between a certain image output and a deconvolution matrix that corrects image blur due to the motion amount obtained by the motion amount detection circuit 25. It can be realized with a small size and low power consumption without using any additional device. In the second embodiment, N = 8, but can be changed as appropriate.

(実施の形態3)
次に、本発明の第3の実施の形態について図7を用いて説明する。本実施の形態3は、図1に示した構成において、画像補正回路28を制御する画像補正制御回路29を追加した構成を有する。動き検出回路25からの出力を画像補正制御回路29が、動きによる画像のぶれ量を2画素未満と計算した場合には画像補正回路28での画像補正を行わず、動き検出回路25からの出力を画像補正制御回路29が、動きによる画像のぶれ量を2画素以上であると計算した場合には画像補正回路28での画像補正を行うように、画像補正制御回路29の出力である画像補正回路切り替え信号で、画像補正回路28の動作を切り替えるようにしてある。
(Embodiment 3)
Next, a third embodiment of the present invention will be described with reference to FIG. The third embodiment has a configuration in which an image correction control circuit 29 for controlling the image correction circuit 28 is added to the configuration shown in FIG. When the image correction control circuit 29 calculates that the output from the motion detection circuit 25 is less than 2 pixels, the image correction circuit 28 does not perform image correction and outputs from the motion detection circuit 25. When the image correction control circuit 29 calculates that the amount of image blur due to motion is 2 pixels or more, the image correction output from the image correction control circuit 29 is corrected so that the image correction circuit 28 performs image correction. The operation of the image correction circuit 28 is switched by a circuit switching signal.

このように、本実施の形態3によれば、撮像装置の動きが小さく、画像のぶれが補正を必要とする程度より少ない場合には、画像のぶれの補正を行わず、撮像装置の動きが大きく、画像のぶれが補正を必要とする程度より多い場合には、画像のぶれの補正を行う処理を適宜切り替えることができる。なお、本実施の形態3では、画像補正を行うか行わないかの閾値を2画素として説明したが、2画素に限定するものではない。   As described above, according to the third embodiment, when the movement of the imaging apparatus is small and the image blur is less than the degree that requires correction, the image blur is not corrected and the movement of the imaging apparatus is not performed. When the image blur is larger than the level that requires correction, the process for correcting the image blur can be switched as appropriate. In the third embodiment, the threshold value indicating whether image correction is performed or not is described as two pixels. However, the threshold value is not limited to two pixels.

以上の各実施の形態1、2、3の説明では、動き検出素子23、24を角速度センサで構成した例で説明したが、角位置センサ、角加速度センサを用いても同様に実施可能である。角位置センサを用いた場合、式(1−5)、(1−6)の移動角度Rx(tn)、Ry(tn)が直接センサ出力として得られる。また角加速度センサを用いた場合には、角加速度センサの出力の時間に対する積分が角速度になるので、時間に対する積分を2回行うことで移動角度Rx(tn)、Ry(tn)を求めることができる。この際角加速度から発生するランダムノイズに対する抑圧も更に向上することができる。   In the above description of each of the first, second, and third embodiments, the motion detection elements 23 and 24 are described as examples of angular velocity sensors. However, the present invention can be similarly implemented using angular position sensors and angular acceleration sensors. . When the angular position sensor is used, the movement angles Rx (tn) and Ry (tn) of the expressions (1-5) and (1-6) are obtained directly as sensor outputs. Further, when the angular acceleration sensor is used, the integration with respect to the time of the output of the angular acceleration sensor becomes an angular velocity. Therefore, the movement angles Rx (tn) and Ry (tn) can be obtained by performing the integration with respect to time twice. it can. At this time, the suppression of random noise generated from the angular acceleration can be further improved.

また、固体撮像素子22として、CCD型ではなく、一般的にXYアドレシング方式の読み出しを行っているCMOS型を用いることもできる。CMOS型の固体撮像素子の場合、画面上部1ライン目の画素を左から右に読み出し、次に2ライン目の画素を左から右に読み出し、同様に順次上部からラインを読み出している。このとき、各画素の露光時刻は読み出すタイミングの直前の露光時刻となり、画素毎に露光時刻が異なるが、この場合でも、撮像素子全体を1以上の整数A、BでA×Bブロックに分割し、それぞれのブロック毎に等価的に同じ時刻で露光しているので、任意のブロックa、b(ただし1≦a≦A、1≦b≦B)の各画素に対しての動き量は同じであると仮定して、任意のブロックa、bの動きによるポイントスプレッドファンクションをha、hbを求め、任意のブロックa、b毎に上記実施の形態と同様に処理することにより、ぶれを補正する効果を得ることができる。   Further, as the solid-state image pickup element 22, a CMOS type that is generally reading out by an XY addressing method can be used instead of the CCD type. In the case of a CMOS-type solid-state imaging device, the pixels on the first line of the upper part of the screen are read from the left to the right, the pixels on the second line are then read from the left to the right, and the lines are read sequentially from the upper part. At this time, the exposure time of each pixel is the exposure time immediately before the readout timing, and the exposure time differs for each pixel. Even in this case, the entire image sensor is divided into A × B blocks by integers A and B of 1 or more. Since each block is equivalently exposed at the same time, the amount of motion for each pixel of an arbitrary block a, b (where 1 ≦ a ≦ A, 1 ≦ b ≦ B) is the same. Assuming that there is a point spread function ha and hb based on the motion of arbitrary blocks a and b, and performing the same processing as in the above embodiment for each arbitrary block a and b, the effect of correcting blurring Can be obtained.

さらに、本発明の撮像装置において、画像のぶれ補正を行うか行わないかを切り替える回路を設けて、画像のぶれ補正を行うか行わないかを手動で切り替えるようにするか、または電子式あるいは機械式のシャッターのシャッター速度によって、遅いシャッター速度、例えば1/15秒より長いシャッター速度のときだけ画像のぶれ補正を行うように切り替えるようにするか、ズーム機能を有する撮像装置において、望遠側のとき、例えば35mmフィルムカメラ換算で焦点距離100mmのレンズに相当する以上の望遠であるときだけ、画像のぶれ補正を行うように適宜切り替えるようにすることが可能である。またはこれらを組み合わせた条件で切り替えるようにすることもできる。   Further, in the image pickup apparatus of the present invention, a circuit for switching whether or not to perform image blur correction is provided so as to manually switch whether or not image blur correction is performed, or electronic or mechanical Depending on the shutter speed of the type of shutter, switching to perform image blur correction only when the shutter speed is slow, for example, a shutter speed longer than 1/15 seconds, or when the image pickup apparatus having a zoom function is on the telephoto side For example, it is possible to appropriately switch so as to perform image blur correction only when the telephoto is equivalent to a lens having a focal length of 100 mm in terms of a 35 mm film camera. Or it can also be made to switch on the conditions which combined these.

また、上記各実施の形態では、構成要素をハードウェアとして実現しているが、動き量検出回路25、画像補正回路28の全部あるいは一部をソフトウェアとして実現しても、同様の効果が得ることができる。   In each of the above embodiments, the components are realized as hardware, but the same effect can be obtained even if all or part of the motion amount detection circuit 25 and the image correction circuit 28 are realized as software. Can do.

以上のように、本発明に係る撮像装置は、機械的な駆動を用いることなく、従来困難であった露光時間中の画像のぶれまでを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置が実現できるという効果を有し、撮像装置が動くことにより発生する画像ぶれを補正する機能を備えた撮像装置等として有用である。   As described above, the image pickup apparatus according to the present invention reduces the size and saves the apparatus by electrically correcting the image blur during the exposure time, which has been difficult in the past, without using mechanical drive. It has the effect of realizing an image pickup device that can be powered and can correct image blur at a high response speed, and is useful as an image pickup device having a function of correcting image blur caused by movement of the image pickup device. .

本発明の実施の形態1、2における撮像装置の構成を示すブロック図The block diagram which shows the structure of the imaging device in Embodiment 1, 2 of this invention (a)本発明の実施の形態1における撮像装置に動きの無いときのレンズ、固体撮像素子と被写体からの光線の関係を示す模式図、(b)撮像装置に動きの有るときのレンズ、固体撮像素子と被写体からの光線の関係を示す模式図(A) A schematic diagram showing a relationship between a lens when the imaging apparatus has no movement in the first embodiment of the present invention, a solid-state imaging device and a light beam from a subject, (b) a lens when there is a movement in the imaging apparatus, a solid Schematic diagram showing the relationship between the image sensor and light rays from the subject 本発明の実施の形態1における固体撮像素子の画素と撮像装置の動きによる撮像位置の動きの説明図Explanatory drawing of the movement of the imaging position by the movement of the pixel of the solid-state image sensor and the imaging device in Embodiment 1 of this invention 本発明の実施の形態1における固体撮像素子の画素と撮像装置の動きによる撮像位置の動きがあったときのポイントスプレッドファンクション図Point spread function diagram when there is a movement of the imaging position due to the movement of the pixels of the solid-state imaging device and the imaging device in Embodiment 1 of the present invention 本発明の実施の形態1における画像補正回路の構成を示すブロック図1 is a block diagram showing a configuration of an image correction circuit in Embodiment 1 of the present invention. 本発明の実施の形態2における画像補正回路の構成を示すブロック図Block diagram showing a configuration of an image correction circuit according to a second embodiment of the present invention. 本発明の実施の形態3における撮像装置の構成を示すブロック図FIG. 5 is a block diagram illustrating a configuration of an imaging apparatus according to Embodiment 3 of the present invention.

符号の説明Explanation of symbols

21 レンズ
22 固体撮像素子
23 動き検出素子
24 動き検出素子
25 動き量検出回路
26 被写体
27 結像
28 画像補正回路
29 画像補正制御回路
31 撮像面
32 画素
41 第2のフーリエ変換回路
42 第1のフーリエ変換回路
43 除算回路
44 逆フーリエ変換回路
51 逆畳み込み行列生成回路
52 畳み込み回路
DESCRIPTION OF SYMBOLS 21 Lens 22 Solid-state image sensor 23 Motion detection element 24 Motion detection element 25 Motion amount detection circuit 26 Subject 27 Imaging 28 Image correction circuit 29 Image correction control circuit 31 Imaging surface 32 Pixel 41 Second Fourier transform circuit 42 First Fourier Conversion circuit 43 Division circuit 44 Inverse Fourier transform circuit 51 Deconvolution matrix generation circuit 52 Convolution circuit

Claims (4)

被写体を撮像する固体撮像手段と、前記固体撮像手段から1枚の画像を得るための露光時間中における前記固体撮像手段の撮像面の直交する少なくとも2軸の動きを検出する動き検出手段と、前記動き検出手段の出力から前記固体撮像手段における被写体の結像の動き量を求める動き量検出手段と、前記動き量検出手段で求めた動き量を用いて前記固体撮像手段から得られた1枚の画像の露光時間中の撮像装置の動きにより発生する画像の劣化を補正する画像補正手段とを備えた撮像装置。   A solid-state imaging means for imaging a subject; a motion detection means for detecting at least two orthogonal movements of the imaging surface of the solid-state imaging means during an exposure time for obtaining one image from the solid-state imaging means; A motion amount detecting means for obtaining a moving amount of image formation of the subject in the solid-state imaging means from an output of the motion detecting means, and one piece of image obtained from the solid-state imaging means using the motion amount obtained by the motion amount detecting means. An image pickup apparatus comprising: an image correction unit that corrects image degradation caused by movement of the image pickup apparatus during an image exposure time. 前記画像補正手段は、前記固体撮像手段からの露光時間中のぶれのある画像出力をフーリエ変換する第1のフーリエ変換手段と、前記動き量検出手段の出力をフーリエ変換する第2のフーリエ変換手段と、前記第1のフーリエ変換手段の結果を前記第2のフーリエ変換手段の結果で除算する除算手段と、前記除算手段の結果を逆フーリエ変換する逆フーリエ変換手段とを備えたことを特徴とする請求項1記載の撮像装置。   The image correction means includes first Fourier transform means for Fourier transforming an image output with blurring during the exposure time from the solid-state imaging means, and second Fourier transform means for Fourier transforming the output of the motion amount detection means. And a division means for dividing the result of the first Fourier transform means by the result of the second Fourier transform means, and an inverse Fourier transform means for performing an inverse Fourier transform on the result of the division means, The imaging apparatus according to claim 1. 前記画像補正手段は、前記動き量検出手段で求められた動き量から逆畳み込み行列を生成する逆畳み込み行列生成手段と、前記固体撮像手段からの露光時間中のぶれのある画像出力と前記逆畳み込み行列との畳み込みを行う畳み込み手段とを備えたことを特徴とする請求項1記載の撮像装置。   The image correction means includes a deconvolution matrix generation means for generating a deconvolution matrix from the motion amount obtained by the motion amount detection means, an image output with blurring during an exposure time from the solid-state imaging means, and the deconvolution The imaging apparatus according to claim 1, further comprising a convolution unit configured to perform convolution with a matrix. 前記動き量検出手段からの出力があらかじめ設定した閾値を超えたかどうかを示す信号を出力する制御手段を備え、前記画像補正手段が、前記制御手段からの信号に基づいて画像のぶれの補正を行うかどうかを決定することを特徴とする請求項1ないし3のいずれかに記載の撮像装置。   Control means for outputting a signal indicating whether or not the output from the motion amount detection means exceeds a preset threshold value, and the image correction means corrects image blur based on the signal from the control means. The imaging apparatus according to claim 1, wherein whether or not the image pickup apparatus is determined is determined.
JP2004169686A 2004-06-08 2004-06-08 Imaging apparatus Pending JP2005354157A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004169686A JP2005354157A (en) 2004-06-08 2004-06-08 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004169686A JP2005354157A (en) 2004-06-08 2004-06-08 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2005354157A true JP2005354157A (en) 2005-12-22

Family

ID=35588272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004169686A Pending JP2005354157A (en) 2004-06-08 2004-06-08 Imaging apparatus

Country Status (1)

Country Link
JP (1) JP2005354157A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007066740A1 (en) 2005-12-07 2007-06-14 Matsushita Electric Industrial Co., Ltd. Secure device, information processing terminal, server, and authentication method
KR100849509B1 (en) 2007-02-09 2008-07-31 엠텍비젼 주식회사 Input apparatus using global shutter driving type image sensor
JP2009522825A (en) * 2006-05-08 2009-06-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド Method for reducing blur in an image of a scene and method for removing blur in an image of a scene
JP2010112859A (en) * 2008-11-07 2010-05-20 Seiko Epson Corp Robot system, robot control device, and method for controlling robot
WO2012147804A1 (en) * 2011-04-25 2012-11-01 浜松ホトニクス株式会社 Imaging device
JP2018066604A (en) * 2016-10-18 2018-04-26 株式会社Soken Parallax detector

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007066740A1 (en) 2005-12-07 2007-06-14 Matsushita Electric Industrial Co., Ltd. Secure device, information processing terminal, server, and authentication method
JP2009522825A (en) * 2006-05-08 2009-06-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド Method for reducing blur in an image of a scene and method for removing blur in an image of a scene
JP4672060B2 (en) * 2006-05-08 2011-04-20 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド Method for reducing blur in an image of a scene and method for removing blur in an image of a scene
KR100849509B1 (en) 2007-02-09 2008-07-31 엠텍비젼 주식회사 Input apparatus using global shutter driving type image sensor
JP2010112859A (en) * 2008-11-07 2010-05-20 Seiko Epson Corp Robot system, robot control device, and method for controlling robot
US8666141B2 (en) 2008-11-07 2014-03-04 Seiko Epson Corporation Robot system, robot control device and method for controlling robot
WO2012147804A1 (en) * 2011-04-25 2012-11-01 浜松ホトニクス株式会社 Imaging device
JP5886838B2 (en) * 2011-04-25 2016-03-16 浜松ホトニクス株式会社 Imaging device
US9485393B2 (en) 2011-04-25 2016-11-01 Hamamatsu Photonics K.K. Imaging device including detection unit having a light receiving plane
JP2018066604A (en) * 2016-10-18 2018-04-26 株式会社Soken Parallax detector

Similar Documents

Publication Publication Date Title
CN110012224B (en) Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium
CN110035222B (en) Semiconductor device and electronic apparatus
JP4500875B2 (en) Method and apparatus for removing motion blur effect
JP2018189730A (en) Image tremor correction device and control method for the same, program therefor, and storage medium
JP4420921B2 (en) Imaging device
WO2010004764A1 (en) Imaging device
CN109951638B (en) Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium
JP5249271B2 (en) Imaging apparatus, image processing apparatus, and image processing program
JP5103977B2 (en) Flexible substrate, camera shake correction unit, and imaging apparatus
JP2014128014A (en) Image pick-up apparatus and control method and program thereof, storage medium
KR20160140193A (en) Circuit for correcting image and correcting image Method thereof
JP2007243335A (en) Camera shake correction method, camera shake correction apparatus, and imaging apparatus
JP2009272890A (en) Image processing apparatus and method, and imaging device
JP2005354157A (en) Imaging apparatus
JP2008124850A (en) Image motion correction apparatus, lens unit, and imaging apparatus
JP2013054193A (en) Shake correction device and optical apparatus
JP5393877B2 (en) Imaging device and integrated circuit
JP2015095670A (en) Imaging apparatus, control method thereof and control program
JP2007036799A (en) Image processing apparatus
JP2000069353A (en) Camera-shake detector and camera-shake correction device
JP4258383B2 (en) Imaging device
JP2015204566A (en) camera system
JP2006332809A (en) Imaging apparatus
JP2015026910A (en) Imaging device and method of controlling the same
WO2022044551A1 (en) Imaging device, driving method, and imaging program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081209