JP2008124850A - Image motion correction apparatus, lens unit, and imaging apparatus - Google Patents
Image motion correction apparatus, lens unit, and imaging apparatus Download PDFInfo
- Publication number
- JP2008124850A JP2008124850A JP2006307428A JP2006307428A JP2008124850A JP 2008124850 A JP2008124850 A JP 2008124850A JP 2006307428 A JP2006307428 A JP 2006307428A JP 2006307428 A JP2006307428 A JP 2006307428A JP 2008124850 A JP2008124850 A JP 2008124850A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- correction
- imaging
- control signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置の手振れ補正等に用いる画像動き補正装置に関し、特にその性能改善に関し提案するものである。 The present invention relates to an image motion correction apparatus used for camera shake correction or the like of an image pickup apparatus, and more particularly to improve its performance.
近年、民生用のデジタルカメラやビデオカメラ(以下、「ビデオムービー」と称す)の小型化、軽量化、光学ズームの高倍率化が進み、その使い勝手が格段に向上した結果、一般消費者にとってデジタルカメラやビデオムービーは日常生活で使用される家電製品の1つとなっている。しかしその反面、小型化、軽量化、光学ズームの高倍率化、および撮影に習熟していない消費者へのそれらの商品の普及は、撮影時の手振れによる画面の不安定化という問題も発生させていた。したがって、この問題を解決するため、画像動き補正装置を搭載するデジタルカメラやビデオムービーが今や多く開発、商品化されている。 In recent years, digital cameras and video cameras for consumer use (hereinafter referred to as “video movies”) have become smaller, lighter, and optical zoom has become more powerful. Cameras and video movies are one of the home appliances used in daily life. However, the downsizing, weight reduction, high optical zoom magnification, and the spread of these products to consumers who are not familiar with photography have caused problems such as screen instability due to camera shake during photography. It was. Therefore, in order to solve this problem, many digital cameras and video movies equipped with an image motion correction device have been developed and commercialized.
撮像装置の画像動き補正装置としては、撮像光学系に可変頂角プリズムを備え、加速度センサにより撮像装置自体の動きを検出し、この動き検出結果により可変頂角プリズムを駆動制御することで画像の動きを補正する方法がある(例えば、特許文献1参照)。 As an image motion correction device for an image pickup device, a variable apex angle prism is provided in an image pickup optical system, a motion of the image pickup device itself is detected by an acceleration sensor, and drive control of the variable apex angle prism is performed based on a result of the motion detection. There is a method of correcting the motion (see, for example, Patent Document 1).
上記方法は、2枚のガラス板を特殊なフィルムで作られた蛇腹のようなもので接続し、中を高屈折率の液体で満たした可変頂角プリズムを固体撮像素子の前段に設け、加速度センサから得られる撮像装置の動きの情報に基づき、この可変頂角プリズムの2枚のガラス板を水平・垂直方向に各々傾けることにより、入射光の光軸を曲げ、撮影画像の動きを安定化させるものである。 In the above method, two glass plates are connected with a bellows made of a special film, and a variable apex prism filled with a liquid with a high refractive index is provided in front of the solid-state image sensor, and acceleration is performed. Based on the movement information of the imaging device obtained from the sensor, the two glass plates of this variable apex prism are tilted in the horizontal and vertical directions, respectively, to bend the optical axis of the incident light and stabilize the movement of the captured image. It is something to be made.
また別の例としては、例えば、特許文献2のように変倍光学群または焦点調節群を有する結像光学系と、この結像光学系の光軸を偏心または傾動させる補正光学機構に関する提案がなされている。この提案においては、特許文献2の図2に示すような4つのレンズ群からなる結像光学系においてその一部のレンズを例えば特許文献2の図4に示すようなスライド軸を介して上下左右に移動可能な機構に組み込み、コイルとマグネットによる電磁アクチュエータによりこれを移動させることで、結像光学系の光軸を偏心または傾動させる構成が開示されている。この構成では、撮影時の手振れに応じて電磁アクチュエータでスライド軸(特許文献2の図4の45y、45p)によりスライド可能な部分を移動させることにより撮像装置の手振れによる画像の乱れを補正することができる。また特許文献3にも変倍光学系の一部を構成する比較的小型軽量のレンズ群を光軸と垂直方向に移動させて、変倍光学系が振動した時の画像の振れを補正するよう構成された防振機能を備えた変倍光学系が開示されている。
As another example, for example, there is a proposal concerning an imaging optical system having a variable power optical group or a focus adjustment group as in
また特許文献4には、撮像素子(CCD)を光軸に直交する方向に移動させることにより、画像の動きを補正する方法も開示されている。
そして上記のような画像動き補正装置において、動きの検出には撮像装置自体の振れを検出する角速度センサ(ジャイロセンサ)が主に用いられており、具体的には撮像装置の動きの角速度をセンサで検出しこれに積分演算を施すことで撮像装置の振れ角を求め、この振れ角に応じて上述の可変頂角プリズム等を駆動制御している。
以上のように画像動き補正装置に関しては各種方法の提案および実用化が図られていることは周知の通りであるが、それらにはまだいくつかの課題が残されている。その1つとして例えば、撮像系の一部のレンズを光軸に対して垂直方向に移動させて光軸を偏心し防振を行なう光学系においては、機械的な保持機構を通じて可動レンズを保持し、かつこれを移動するため、可動部のがた、例えば特許文献2に示したスライド軸とこの軸を受ける部分の隙間(クリアランス)の存在に起因するがたつきにより、常時完全に正確な位置へ可動レンズを移動できる保証がない。また可動レンズを駆動制御する際、それを実現する機構系、電気制御系には必ず周波数特性が存在するため、駆動するすべての周波数領域において完全な駆動を実現することは困難であり、場合によっては可動レンズの駆動(移動)に誤差が生じ、所望の画像動き補正がなされない可能性がある。その場合には、撮影した画像に残像のような現象が発生し画像の解像度が損なわれることになる。またこれは上記可変頂角プリズムを用いた場合やCCD撮像素子を移動して画像の動きを補正する場合にも発生しうる問題である。
As described above, it is well known that various methods have been proposed and put to practical use for the image motion correction apparatus, but there are still some problems to be solved. For example, in an optical system in which a part of the imaging system lens is moved in a direction perpendicular to the optical axis to decenter the optical axis and perform vibration isolation, the movable lens is held through a mechanical holding mechanism. In order to move this, the position of the movable portion is always perfectly accurate due to the rattling caused by the presence of a clearance (clearance) between the slide shaft and the portion receiving this shaft, for example, as disclosed in
本発明は、上記課題を解決するためになされたもので、撮影中に手振れ等に対する動き補正を行なう際に、可動レンズや可変頂角プリズム、撮像素子等の駆動に誤差が生じた場合でも、撮影画像の画質低下を低減できる画像動き補正装置、レンズ装置および撮像装置を提供することを目的とする。 The present invention has been made to solve the above problems, and even when an error occurs in driving of a movable lens, a variable apex angle prism, an image sensor, etc., when performing motion correction for camera shake or the like during shooting, It is an object of the present invention to provide an image motion correction device, a lens device, and an imaging device that can reduce deterioration in image quality of a captured image.
上述したような課題を解決するために、第1の発明に係る画像動き補正装置は、少なくとも1枚のレンズを含むレンズ群から構成され、被写体を撮像面に結像する撮像光学系を有するレンズ装置と、撮像光学系より撮像面に結像された被写体像を画像信号に変換する撮像素子と、撮像素子により得られた画像信号に対し解像度回復処理を施す解像度回復手段とを備えた撮像装置とからなる画像動き補正装置であって、撮像装置の動きを検出する動き検出手段と、撮像光学系により結像された被写体像の位置を移動させることで、撮像装置の動きに起因して発生する被写体像の動きを補正する動き補正手段と、動き検出手段の出力に基づき動き補正手段を制御するための制御信号を発生する制御信号発生手段と、動き補正手段による被写体像の動きの補正状態を検出する補正状態検出手段とを有し、制御信号発生手段から発生される制御信号と、補正状態検出手段により検出された被写体像の動きの補正状態に基づき、解像度回復手段による解像度回復処理の特性を変化させることを特徴とする。これにより、撮影中に手振れ等に対する動き補正を行なう際に、可動レンズや可変頂角プリズム、撮像素子等の駆動に誤差が生じた場合でも、撮影画像の画質低下を低減できる。 In order to solve the above-described problem, an image motion correction device according to a first invention includes a lens group including at least one lens and includes an imaging optical system that forms an image of a subject on an imaging surface. An imaging apparatus comprising: an apparatus; an imaging element that converts a subject image formed on an imaging surface by an imaging optical system into an image signal; and a resolution recovery unit that performs resolution recovery processing on the image signal obtained by the imaging element An image motion correction device comprising: a motion detection means for detecting the motion of the imaging device, and a movement of the imaging device by moving the position of the subject image formed by the imaging optical system A motion correction unit that corrects the motion of the subject image, a control signal generation unit that generates a control signal for controlling the motion correction unit based on an output of the motion detection unit, and a subject image generated by the motion correction unit. Correction state detecting means for detecting the correction state of the image, and based on the control signal generated from the control signal generating means and the correction state of the movement of the subject image detected by the correction state detecting means, by the resolution recovery means It is characterized by changing the characteristics of resolution recovery processing. Thereby, when motion correction for camera shake or the like is performed during shooting, even if an error occurs in driving of the movable lens, the variable apex angle prism, the image sensor, or the like, it is possible to reduce deterioration in the image quality of the shot image.
第2の発明に係る画像動き補正装置は、解像度回復手段は、画像の先鋭度を改善することにより画像の解像度を回復する。 In the image motion correction device according to the second invention, the resolution recovery means recovers the resolution of the image by improving the sharpness of the image.
第3の発明に係る画像動き補正装置は、画像の先鋭度の改善は、画像の先鋭度の改善度合いを制御信号と被写体像の動きの補正状態との差分値の絶対値に比例させる。 In the image motion correction device according to the third aspect of the invention, the improvement of the image sharpness makes the improvement degree of the image sharpness proportional to the absolute value of the difference value between the control signal and the motion image correction state.
第4の発明に係る画像動き補正装置は、画像の先鋭度の改善は、画像の先鋭度の改善度合いを制御信号と被写体像の動きの補正状態との差分値の絶対値に非線形に対応させる。 In the image motion correction device according to the fourth aspect of the present invention, the improvement of the image sharpness is made to correspond non-linearly to the absolute value of the difference value between the control signal and the motion image correction state of the subject image. .
第5の発明に係る画像動き補正装置は、画像の先鋭度の改善は、画像の先鋭度の改善度合いを制御信号と被写体像の動きの補正状態との差分値の絶対値が一定値以下の場合には、固定にする。 In the image motion correction device according to the fifth aspect of the present invention, the improvement in the sharpness of the image is determined by determining the degree of improvement in the sharpness of the image, and the absolute value of the difference value between the control signal and the motion image correction state is equal to or less than a predetermined value If so, fix it.
第6の発明に係る画像動き補正装置は、画像の先鋭度の改善は、被写体像の動きの補正状態または制御信号と被写体像の動きの補正状態との差分値の絶対値が所定の大きさ以上の場合には、先鋭度の改善度合いを一定にする。 In the image motion correction device according to the sixth aspect of the present invention, the sharpness of the image is improved by adjusting the subject image motion correction state or the absolute value of the difference value between the control signal and the subject image motion correction state to a predetermined magnitude. In the above case, the improvement degree of the sharpness is made constant.
第7の発明に係る画像動き補正装置は、画像の先鋭度の改善は、被写体像の動きの補正状態または制御信号と被写体像の動きの補正状態との差分値の絶対値が所定の大きさ以上の場合には、先鋭度の改善処理を止める。これにより、必要以上に先鋭度が上がって画像が不自然になるのを防ぐことができる。 In the image motion correction device according to the seventh aspect of the invention, the sharpness of the image is improved by correcting the movement of the subject image or the absolute value of the difference value between the control signal and the correction state of the movement of the subject image to a predetermined magnitude. In the above case, the sharpness improving process is stopped. Thereby, it is possible to prevent an image from becoming unnatural due to an increase in sharpness more than necessary.
第8の発明に係る画像動き補正装置は、画像の先鋭度の改善は、画像信号の少なくとも水平または垂直の高周波成分を画像空間で強調する。 In the image motion correction device according to the eighth aspect of the invention, the improvement of the sharpness of the image emphasizes at least the horizontal or vertical high-frequency component of the image signal in the image space.
第9の発明に係る画像動き補正装置は、画像の先鋭度の改善は、画像信号の少なくとも水平または垂直の高周波成分を直交変換によって写像された周波数空間で強調する。これにより、直交変換のブロック単位でさらに細かい先鋭度の制御が可能となる。 In the image motion correcting apparatus according to the ninth aspect of the invention, the improvement of the image sharpness is enhanced in a frequency space mapped by orthogonal transformation at least a horizontal or vertical high-frequency component of the image signal. As a result, finer control of sharpness can be performed in units of orthogonal transform blocks.
第10の発明に係る画像動き補正装置は、高周波成分の強調は、水平および垂直の高周波成分の強調の度合いを独立に変える。これにより、撮影時の手振れ補正の状況に応じて、より精度の高い先鋭度の改善が可能となる。 In the image motion correction device according to the tenth aspect of the invention, the enhancement of the high frequency component independently changes the degree of enhancement of the horizontal and vertical high frequency components. This makes it possible to improve the sharpness with higher accuracy in accordance with the state of camera shake correction at the time of shooting.
第11の発明に係る画像動き補正装置は、解像度回復手段は、点広がり関数を用いて解像度の回復を行なう。これにより、手振れのない撮影画像が復元でき、手振れにより劣化した解像度を回復することができる。 In the image motion correcting device according to the eleventh aspect, the resolution recovery means recovers the resolution using a point spread function. Thereby, a captured image without camera shake can be restored, and the resolution deteriorated by camera shake can be recovered.
第12の発明に係る画像動き補正装置は、解像度の回復は、複数回の解像度回復処理に1回の割りで解像度回復処理の特性を変更する。これにより、頻繁に解像度が変化して違和感を覚えることがない。 In the image motion correction device according to the twelfth aspect of the present invention, the resolution recovery is performed by changing the characteristics of the resolution recovery process every time the resolution recovery process is performed once. As a result, the resolution does not change frequently and the user does not feel uncomfortable.
第13の発明に係る画像動き補正装置は、動き補正手段は、撮像光学系に対し相対的に駆動されることにより撮像光学系の光軸を偏心させることで、被写体像の動きの補正を行なう。 In the image motion correction device according to the thirteenth aspect of the present invention, the motion correction means is driven relative to the imaging optical system to decenter the optical axis of the imaging optical system, thereby correcting the motion of the subject image. .
第14の発明に係る画像動き補正装置は、被写体像の動きの補正は、撮像光学系の光軸に直交する2軸を中心に回転駆動させる。 In the image motion correction device according to the fourteenth aspect of the invention, the correction of the movement of the subject image is rotationally driven around two axes orthogonal to the optical axis of the imaging optical system.
第15の発明に係る画像動き補正装置は、被写体像の動きの補正は、少なくとも1枚のレンズを撮像光学系の光軸に対し直交する方向に個々に駆動されることで撮像光学系の光軸を偏心させる。 In the image motion correction device according to the fifteenth aspect of the invention, the movement of the subject image is corrected by individually driving at least one lens in a direction orthogonal to the optical axis of the imaging optical system. Make the shaft eccentric.
第16の発明に係る画像動き補正装置は、動き補正手段は、撮像素子を光軸に直交する方向に変位させることで、被写体像の動きの補正を行なう。これにより、レンズ自体に補正レンズを組み込む必要がなく鏡筒を小型にできる。 In the image motion correction device according to the sixteenth aspect of the present invention, the motion correction means corrects the motion of the subject image by displacing the image sensor in a direction orthogonal to the optical axis. Thereby, it is not necessary to incorporate a correction lens in the lens itself, and the lens barrel can be reduced in size.
第17の発明に係る画像動き補正装置は、補正状態検出手段は、動き補正手段を構成する移動部分の変位量をもとに被写体像の動き補正状態を検出する。 In the image motion correction device according to the seventeenth aspect of the present invention, the correction state detection means detects the motion correction state of the subject image based on the displacement amount of the moving part constituting the motion correction means.
第18の発明に係る画像動き補正装置は、移動部分は、少なくとも1枚のレンズを含むレンズ群である。 In the image motion correction device according to an eighteenth aspect of the present invention, the moving part is a lens group including at least one lens.
第19の発明に係る画像動き補正装置は、移動部分は、撮像素子である。 In the image motion correcting device according to the nineteenth invention, the moving part is an image sensor.
第20の発明に係る画像動き補正装置は、制御信号発生手段は、動き補正状態検出手段の検出結果および動き補正手段の動き補正の量に基づいて、制御信号の信号幅を所定の値に制限するクリップ処理を施す。これにより、必要以上に先鋭度が上がって画像が不自然になるのを防ぐことができる。 In the image motion correction apparatus according to the twentieth invention, the control signal generation means limits the signal width of the control signal to a predetermined value based on the detection result of the motion correction state detection means and the amount of motion correction of the motion correction means. Apply clip processing. Thereby, it is possible to prevent an image from becoming unnatural due to an increase in sharpness more than necessary.
第21の発明に係る画像動き補正装置は、制御信号が、動き補正手段の動き補正の範囲を超える補正量を示す場合に、クリップ処理を施す。 The image motion correction device according to the twenty-first aspect performs clip processing when the control signal indicates a correction amount exceeding the range of motion correction of the motion correction means.
第22の発明に係る画像動き補正装置は、クリップ処理を施す前の制御信号に基づいて被写体像の動き補正状態を検出する。これにより、補正範囲を超えた手振れが発生した場合でも、必要な先鋭度改善が可能となる。 An image motion correction apparatus according to a twenty-second invention detects a motion correction state of a subject image based on a control signal before performing clip processing. Thereby, even when a camera shake exceeding the correction range occurs, the necessary sharpness can be improved.
第23の発明に係る画像動き補正装置は、動き検出手段は、撮像装置自体の動きの角速度を検出する角速度センサである。 In an image motion correction apparatus according to a twenty-third aspect of the present invention, the motion detection means is an angular velocity sensor that detects an angular velocity of movement of the imaging device itself.
第24の発明に係る画像動き補正装置は、動き検出手段は、撮影画像から画像の動きベクトルを検出する動きベクトル検出手段である。 In an image motion correction apparatus according to a twenty-fourth aspect of the present invention, the motion detection means is motion vector detection means for detecting a motion vector of the image from the captured image.
第25の発明に係るレンズ装置は、少なくとも1枚のレンズを含むレンズ群から構成され、被写体を撮像面に結像する撮像光学系を有し、撮像光学系より撮像面に結像された被写体像を画像信号に変換する撮像素子と、撮像素子により得られた画像信号に対し解像度回復処理を施す解像度回復手段とを備えた撮像装置と組み合わせて画像動き補正装置を構成するレンズ装置であって、撮像装置の動きを検出する動き検出手段と、撮像光学系により結像された被写体像の位置を移動させることで撮像装置の動きに起因して発生する被写体像の動きを補正する動き補正手段と、動き検出手段の出力に基づき動き補正手段を制御するための制御信号を発生する制御信号発生手段と、動き補正手段による被写体像の動きの補正状態を検出する補正状態検出手段とを有し、制御信号発生手段から発生される制御信号と、補正状態検出手段により検出された被写体像の動きの補正状態に基づき、解像度回復手段による解像度回復処理の特性を変化させることを特徴とする。これにより、撮像装置に手振れ補正機能がなくても、レンズ装置を交換することにより手振れ補正機能を実現できる。そして、撮影中に手振れ等に対する動き補正を行なう際に、可動レンズや可変頂角プリズムの駆動に誤差が生じた場合でも、撮影画像の画質低下を低減できる。 A lens apparatus according to a twenty-fifth aspect of the present invention is composed of a lens group including at least one lens, has an imaging optical system that forms an image of the subject on the imaging surface, and the subject imaged on the imaging surface by the imaging optical system A lens device that constitutes an image motion correction device in combination with an imaging device that includes an imaging device that converts an image into an image signal and a resolution recovery means that performs resolution recovery processing on the image signal obtained by the imaging device. , Motion detection means for detecting the motion of the imaging device, and motion correction means for correcting the motion of the subject image caused by the motion of the imaging device by moving the position of the subject image formed by the imaging optical system A control signal generating means for generating a control signal for controlling the motion correcting means based on the output of the motion detecting means, and a correction state for detecting a correction state of the movement of the subject image by the motion correcting means And changing the characteristics of the resolution recovery processing by the resolution recovery means based on the control signal generated from the control signal generation means and the correction state of the movement of the subject image detected by the correction state detection means. It is characterized by. Thereby, even if the imaging apparatus does not have a camera shake correction function, the camera shake correction function can be realized by replacing the lens device. In addition, even when an error occurs in the driving of the movable lens or the variable apex angle prism during motion correction for camera shake or the like during shooting, it is possible to reduce deterioration in the image quality of the shot image.
第26の発明に係る撮像装置は、少なくとも1枚のレンズを含むレンズ群から構成され、被写体を撮像面に結像する撮像光学系を有するレンズ装置とともに画像動き補正装置を構成し、撮像光学系より撮像面に結像された被写体像を画像信号に変換する撮像素子と撮像素子により得られた画像信号に対し解像度回復処理を施す解像度回復手段とを備えた撮像装置であって、撮像装置の動きを検出する動き検出手段と、撮像光学系により結像された被写体像の位置を移動させることで撮像装置の動きに起因して発生する被写体像の動きを補正する動き補正手段と、動き検出手段の出力に基づき動き補正手段を制御するための制御信号を発生する制御信号発生手段と、動き補正手段による被写体像の動きの補正状態を検出する補正状態検出手段とを有し、制御信号発生手段から発生される制御信号と、補正状態検出手段により検出された被写体像の動きの補正状態に基づき、解像度回復手段による解像度回復処理の特性を変化させることを特徴とする。これにより、レンズ装置に手振れ補正機能がなくても、撮像装置自体で手振れ補正機能を実現できる。そして、撮影中に手振れ等に対する動き補正を行なう際に、撮像素子の駆動に誤差が生じた場合でも、撮影画像の画質低下を低減できる。 An image pickup apparatus according to a twenty-sixth aspect of the present invention comprises an image motion correction apparatus together with a lens apparatus having an image pickup optical system that is formed of a lens group including at least one lens and forms an image of a subject on an image pickup surface. An imaging apparatus comprising: an imaging element that converts a subject image formed on an imaging surface into an image signal; and a resolution recovery unit that performs resolution recovery processing on the image signal obtained by the imaging element. Motion detection means for detecting motion, motion correction means for correcting the movement of the subject image caused by the motion of the imaging device by moving the position of the subject image formed by the imaging optical system, and motion detection Control signal generating means for generating a control signal for controlling the motion correcting means based on the output of the means, and a correction state detecting means for detecting the correction state of the movement of the subject image by the motion correcting means; And a characteristic of resolution recovery processing by the resolution recovery means is changed based on the control signal generated from the control signal generation means and the correction state of the motion of the subject image detected by the correction state detection means. . Thereby, even if the lens apparatus does not have a camera shake correction function, the camera shake correction function can be realized by the imaging apparatus itself. In addition, even when an error occurs in driving of the image sensor when performing motion correction for camera shake or the like during shooting, it is possible to reduce deterioration in the image quality of the shot image.
本発明によれば、撮影中に手振れ等に対する動き補正を行なう際に、可動レンズや可変頂角プリズム、撮像素子等の駆動に誤差が生じた場合でも、撮影画像の画質低下を低減できる画像動き補正装置、レンズ装置および撮像装置を提供することができる。 According to the present invention, when motion correction for camera shake or the like is performed during shooting, even if an error occurs in driving of a movable lens, a variable apex angle prism, an image sensor, or the like, image motion that can reduce deterioration in image quality of a shot image A correction device, a lens device, and an imaging device can be provided.
以下、本発明の実施の形態について図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(実施の形態1)
図1は、本発明の実施の形態1における画像動き補正装置のブロック図を示すものである。画像動き補正装置は、レンズ装置50と撮像装置60から構成されている。レンズ装置50は、撮像光学系1、レンズ群L32駆動制御手段2、移動位置検出手段3、撮像光学系駆動制御手段4、A/D変換手段5、角速度センサ10、HPF11、LPF12、アンプ13、A/D変換手段14、マイクロコンピュータ(以下、「マイコン」と略記する)15、D/A変換手段16、A/D変換手段18を備えている。また、撮像装置60は、固体撮像素子6、アナログ信号処理手段7、A/D変換手段8、デジタル信号処理手段9、固体撮像素子ドライブ手段17を備えている。同図において、撮像光学系1は、L1、L2、L3、L4の4つのレンズ群からなる撮像レンズであり、レンズ群L2が光軸方向に移動することでズーミングを行ない、レンズ群L4が光軸方向に移動することで合焦を行なう。またレンズ群L3はレンズ群L2よりも像面側に配置されたL31、L32の2つのレンズ群からなり、レンズ群L3の一部であるレンズ群L32が光軸に直交する方向に移動することで、光軸を偏心し画像の動きを補正する。このときレンズ群L32の光軸中心からの変位量(移動距離)と光軸が偏心する角度は比例関係にある。したがって、光軸を所望の角度だけ偏心するには、そのために必要な量だけレンズ群L32を光軸中心から移動させればよい。
(Embodiment 1)
FIG. 1 is a block diagram of an image motion correction apparatus according to
レンズ群L32駆動制御手段2は振れ補正用レンズであるレンズ群L32を駆動および制御するための手段であり、撮像光学系1の光軸に直交する平面内でレンズ群L32を上下左右に移動させる。移動位置検出手段3はレンズ群L32の位置を検出し出力する手段で、レンズ群L32駆動制御手段2とともにレンズ群L32を駆動制御するための帰還制御ループを形成する。
The lens group L32 drive control means 2 is means for driving and controlling the lens group L32 which is a shake correction lens, and moves the lens group L32 up, down, left and right within a plane orthogonal to the optical axis of the imaging
撮像光学系駆動制御手段4は、撮像光学系1中のレンズ群L2、L4を駆動制御し、ズーミングおよび合焦動作を行ない、かつ撮像光学系1の焦点距離情報を出力する手段である。A/D変換手段5は撮像光学系駆動制御手段4から出力される撮像光学系1の焦点距離情報をデジタル信号に変換するための手段である。
The imaging optical system drive control means 4 is means for driving and controlling the lens groups L2 and L4 in the imaging
固体撮像素子6は撮像光学系1を介して入射する映像を電気信号に変換する撮像素子、アナログ信号処理手段7は固体撮像素子6により得られた画像信号に対しガンマ処理等のアナログ信号処理を施すための手段、A/D変換手段8はアナログ信号をデジタル信号に変換するための手段である。A/D変換手段8によりデジタル信号に変換された画像信号は、輝度信号と色差信号の分離、ノイズ除去、先鋭度改善処理等のデジタル信号処理をデジタル信号処理手段9により施される。
The solid-state imaging device 6 is an imaging device that converts an image incident through the imaging
角速度センサ10は撮像装置自体の動きを検出するための角速度センサであり、撮像装置が静止している状態での出力を基準に、撮像装置の動きの方向により正負両方向の角速度信号を出力する。角速度センサ10は、ヨーイング、ピッチング2方向の動きを検出するため2個必要となるが、図1には1方向分のみを図示する。HPF11は角速度センサ10の出力に含まれる不要帯域成分中の例えば直流ドリフト成分を除去するための高域通過フィルタ、LPF12は角速度センサ10の出力に含まれる不要帯域成分中の例えばセンサの共振周波数成分やノイズ成分を除去するための低域通過フィルタ、アンプ13は、角速度センサ10の出力の信号レベルの調整を行なうアンプであり、A/D変換手段14はアンプ13の出力をデジタル信号に変換するための手段である。
The
マイコン15はA/D変換手段14を介して取り込んだ角速度センサ10の出力に対し、フィルタリング、積分処理、位相補償、移動量算出、出力信号のクリップ処理等を施し、動き補正に必要なレンズ群L32の駆動制御量(以下、これを「制御信号」と称す)を求め、これをD/A変換手段16を介してレンズ群L32駆動制御手段2に送る。D/A変換手段16はマイコン15から信号を受け取ると略同時にこれをアナログ信号に変換しレンズ群L32駆動制御手段2に送るものとする。
The
レンズ群L32駆動制御手段2は制御信号に基づきレンズ群L32を駆動することで画像の動きを補正する。最後に、固体撮像素子ドライブ手段17は固体撮像素子6において被写体から変換された電荷の転送を制御するための手段である。 The lens group L32 drive control means 2 corrects the movement of the image by driving the lens group L32 based on the control signal. Finally, the solid-state image sensor driving means 17 is a means for controlling the transfer of charges converted from the subject in the solid-state image sensor 6.
また、移動位置検出手段3の出力はA/D変換手段18によってデジタル信号に変換され、マイコン15に取り込まれる。そしてマイコン15は、この移動位置検出手段3の出力と、上記制御信号に基づき、デジタル信号処理手段9における先鋭度改善処理に対する制御を行なう。
Further, the output of the movement position detection means 3 is converted into a digital signal by the A / D conversion means 18 and taken into the
図2は、レンズ群L32を撮像光学系1内で光軸に直交する方向に駆動制御するための振れ補正光学機構の一例を示したものである。図2に示すように、補正光学機構は、レンズ群L32(振れ補正用レンズ)2001、可動部分をピッチ方向、ヨー方向に移動させるための主軸(スライド軸)2002、2003、回り止め2004、マグネット2005、2006、ヨーク2007、2008、コイル2009、2010、半導体位置検出素子(PSD)2011、2012、赤外発光ダイオード(LED)2013、2014から構成されている。そして、マグネット2005とヨーク2007とコイル2009によりピッチ方向に可動部を駆動する電磁アクチュエータを構成し、同様にマグネット2006、ヨーク2008、コイル2010によりヨー方向の電磁アクチュエータが構成される。また、半導体位置検出素子2011と赤外発光ダイオード2013によりピッチ方向の可動部の位置検出の役割を果たし、これが図1に示した移動位置検出手段3に相当する。同様に半導体位置検出素子2012と赤外発光ダイオード2014によりヨー方向の移動位置検出手段3を構成する。
FIG. 2 shows an example of a shake correction optical mechanism for driving and controlling the lens group L32 in the imaging
図3は、デジタル信号処理手段9の構成の一例を示すブロック図である。A/D変換手段8を経てデジタル化された画像信号は、輝度・色差信号分離手段3001によって、輝度信号と色差信号に分離され、さらにノイズ除去手段3002によってノイズ成分が除去される。さらに先鋭度改善手段3003によって画像信号中の水平、垂直の高周波成分が強調され、画像の先鋭が改善される。
FIG. 3 is a block diagram showing an example of the configuration of the digital signal processing means 9. The image signal digitized through the A /
図4は、先鋭度改善手段3003の構成の一例を示すブロック図である。図4において、1H遅延器4001、4002は入力された画像信号の1水平走査期間分の信号を、1水平走査期間だけ遅延させるための遅延手段であり、2つの遅延手段で遅延された信号は図中に記載の1/2、1、−1/2のそれぞれの重み付けを施されて、加算器4003、4004で加算される。1画素遅延器4005、4006、4007、4008で遅延された信号はK[0]からK[n]の重み付けを施されて加算器4009にて合計される。そして加算器4010にて加算器4004の出力と加算される。この加算器4010で加算された信号は、画像信号の高周波成分であり、これが加算器4012にて元の画像信号に加算されることで、画像信号の高周波成分が改善され、画像の先鋭度が向上する。また加算器4011は画像信号の高周波成分に0以上の数(本実施の形態ではαとして表す)を乗算することで、重み付けを行なうための手段であり、αの値は画像の先鋭度改善度合いを調整するためにマイコン15によって制御される。
FIG. 4 is a block diagram showing an example of the configuration of the
図5は、マイコン15に格納された処理プログラムのフローチャートの一例である。手振れ補正スイッチ(図示せず)がONされると図5に示した一連の処理が開始される。なお、図5には記載していないが、1回の処理ループは例えばマイコン15に内蔵されたタイマーにより一定周期で割り込みがかけられ、その割り込み毎(例えば1msec毎)にループ処理が実行されるものとする。
FIG. 5 is an example of a flowchart of a processing program stored in the
まず手振れ補正スイッチがONされると、ステップ101においてフィルタリング(高域通過フィルタ(HPF)と低域通過フィルタ(LPF))、積分処理、位相補償、移動量算出、クリップ処理で用いる設定値(HPF用とLPF用のカットオフ周波数、積分定数、位相補償帯域、レンズ群L32の移動量算出係数、クリップ値)を初期値に設定する。 First, when the camera shake correction switch is turned on, in step 101, setting values (HPF) used for filtering (high-pass filter (HPF) and low-pass filter (LPF)), integration processing, phase compensation, movement amount calculation, and clip processing are used. And cut-off frequency, integration constant, phase compensation band, movement amount calculation coefficient of the lens unit L32, and clip value) are set to initial values.
タイマーによる割り込みがかけられると、まずステップ102でA/D変換手段18によりデジタル信号に変換された移動位置検出手段3の出力、つまりレンズ群L32の位置がマイコン15に取り込まれる。この際、A/D変換手段18が移動位置検出手段3の出力をデジタル信号に変換する周期は、マイコン15の1回の処理周期に同期させるものとする。
When interrupted by the timer, first, in step 102, the output of the moving position detecting means 3 converted into a digital signal by the A / D converting means 18, that is, the position of the lens group L32 is taken into the
次に、ステップ103において、ステップ102で取り込まれたレンズ群L32の位置と、後述するステップ111で記憶されている値をもとに、先鋭度改善手段3003における画像の先鋭度改善度合いを決める係数αを算出する。 Next, in step 103, a coefficient that determines the degree of sharpness improvement of the image in the sharpness improvement means 3003 based on the position of the lens group L32 captured in step 102 and the value stored in step 111 described later. α is calculated.
次に、ステップ104によりA/D変換手段14によりデジタル信号に変換された角速度センサ10の出力、つまり撮像装置の動きの角速度がマイコン15に取り込まれる。
Next, the output of the
続いてステップ105は、マイコン15に取り込んだ角速度センサ10の出力に対し、高域通過フィルタ(HPF)により帯域制限を行なうステップである。本ステップのHPFは角速度センサ10の出力に含まれる温度ドリフトのような低周波の不要信号成分を除去するためのものであり、例えば伝達関数が、(1−Z-1)/(1−a・Z-1)で表はされる1次フィルタの特性を有しており、ステップ101で設定されたカットオフ周波数に応じてこのフィルタ係数a(0<a<1)を決めることで、フィルタの通過帯域(カットオフ周波数)が決まる。
Subsequently, step 105 is a step of performing band limitation on the output of the
ステップ106は、ステップ105による低域除去後の角速度センサ10の出力に対し、低域通過フィルタ(LPF)により帯域制限を行なうステップである。本ステップのLPFは角速度センサ10の出力に含まれる高周波ノイズのような不要信号成分を除去するためのものであり、例えば伝達関数が、(1+Z-1)/(1−b・Z-1)で表はされる1次フィルタの特性を有しており、ステップ101で設定されたカットオフ周波数に応じてこのフィルタ係数b(0<b<1)を決めることで、フィルタの通過帯域(カットオフ周波数)が決まる。
Step 106 is a step of performing band limitation on the output of the
ステップ107は、ステップ106によるフィルタリング後の角速度センサ10の出力に対し、積分処理を行ない角速度から角度を求めるステップである。本ステップでの処理は、例えば伝達関数が、1/(1−K・Z-1)のフィルタ特性を有するものとする。なお、Kは積分定数であり、0<K<1とする。
Step 107 is a step of performing an integration process on the output of the
ステップ108は、ステップ107を経た信号の位相特性を改善するステップであり、これは角速度センサ10自体、および角速度センサ出力に対するHPF11、LPF12、ステップ105、ステップ106による各種フィルタリング処理による信号の位相変化を調整するためのものであり、例えば伝達関数が、(c−d・Z-1)/(e−g・Z-1)のフィルタ特性を有しており、この係数c、d、e、gを決めることで、位相補償帯域が決まる。
Step 108 is a step for improving the phase characteristics of the signal that has undergone Step 107. This is because the phase change of the signal by the various filtering processes by the
ステップ109は、ステップ107で角速度センサ10の出力(角速度)から求められた撮像装置の動きの角度情報に対し、所定の係数を乗算することで、撮像装置の動きをキャンセルするためのレンズ群L32の位置情報に変換するステップである。これはレンズ群L32による光軸の偏心角はレンズ群L32の光軸からの移動距離に比例するため、動き補正に必要なだけ光軸を偏心するためのレンズ群L32の光軸中心からの移動距離を求めるには、光軸の偏心角度、つまり撮像装置の動きの角度情報に所定の係数(移動量算出係数)を乗算すればよい。そして求められた位置情報がD/A変換手段16を介してレンズ群L32駆動制御手段2に伝えられ、この位置情報で指示される位置にレンズ群L32が移動することで、撮像装置の動きがキャンセルされる。
In step 109, the lens group L32 for canceling the movement of the imaging device is obtained by multiplying the angle information of the movement of the imaging device obtained from the output (angular velocity) of the
ステップ110は、マイコン15からレンズ群L32駆動制御手段2に送られる制御信号がレンズ群L32による動き補正範囲、つまりレンズ群L32の最大移動範囲を超える補正量を指示することがないようにあるクリップ値で制御信号の信号幅を制限(クリップ処理)するステップである。
Step 110 is a clip in which the control signal sent from the
ステップ111は、クリップ処理後の制御信号の値をマイコン内部に記録するステップであり、この記録された値は、前述のステップ103において先鋭度改善手段3003における画像の先鋭度改善度合いを決める係数αを算出する際に利用される。またクリップ処理後のデータはD/A変換手段16によりアナログ信号に変換されレンズ群L32駆動制御手段2に送られる。 Step 111 is a step of recording the value of the control signal after clip processing in the microcomputer, and this recorded value is a coefficient α that determines the degree of sharpness improvement of the image in the sharpness improvement means 3003 in the above-mentioned step 103. It is used when calculating Further, the data after the clip processing is converted into an analog signal by the D / A conversion means 16 and sent to the lens group L32 drive control means 2.
以上のように構成された本実施の形態の画像動き補正装置に関し、以下その動作を、マイコン15に格納された処理プログラムをもとに説明する。なお、角速度センサによる角速度検出、レンズ群L32の駆動制御等の一連の動作は、水平、垂直両方向に対してなされるが、水平、垂直両方向ともその内容は略同一であるため、説明を簡略化するため水平、垂直方向を区別せずに一方向分の処理について説明する。
The operation of the image motion correction apparatus of the present embodiment configured as described above will be described below based on a processing program stored in the
撮像装置の操作者の指示等により手振れ補正が動作の状態にされると図5に示した一連の処理が開始される。 When camera shake correction is activated according to an instruction from the operator of the imaging apparatus, a series of processes shown in FIG. 5 is started.
そしてまず、レンズ群L32の現時点での位置情報が検出されるが、これは図5に示した一連の処理の1周期前にステップ104からステップ110で演算された制御信号に基づきレンズ群L32が移動した後の位置情報に相当する。図6にステップ110で演算された制御信号の出力と、レンズ群L32の位置情報の検出タイミングの一例を示す。 First, the current position information of the lens group L32 is detected. This is based on the control signal calculated in steps 104 to 110 one cycle before the series of processing shown in FIG. This corresponds to the position information after moving. FIG. 6 shows an example of the output of the control signal calculated in step 110 and the detection timing of the position information of the lens unit L32.
次に、ステップ103において、1周期前にステップ111によって記憶された制御信号の値と、ステップ102で検出されたレンズ群L32の位置情報が比較される。このとき、仮に1周期前の制御信号が指示する位置に全くの誤差なくレンズ群L32が移動していた場合、レンズ群L32の現時点での位置情報と1周期前の制御信号の値は完全に一致する。よってそれらの差分はゼロとなる。しかし現実には、レンズ群L32は機械的な保持機構を通じて保持され、かつこの機構系によって移動されるため、可動部のがた、図2に示したスライド軸とこの軸を受ける部分の隙間(クリアランス)の存在に起因するがたつきにより、常時完全に正確な位置へレンズ群L32を移動できる保証がない。またレンズ群L32を駆動制御する際、それを実現する機構系、電気制御系には必ず周波数特性が存在するため、駆動するすべての周波数領域において完全な駆動を実現することは困難であり、場合によってはレンズ群L32の駆動(移動)に誤差が生じ、制御信号どおりの位置にレンズ郡L32が移動されない可能性がある。 Next, in step 103, the value of the control signal stored in step 111 before one cycle is compared with the position information of the lens unit L32 detected in step 102. At this time, if the lens unit L32 has moved to the position indicated by the control signal of the previous cycle without any error, the current position information of the lens unit L32 and the value of the control signal of the previous cycle are completely Match. Therefore, the difference between them is zero. However, in reality, the lens group L32 is held through a mechanical holding mechanism and is moved by this mechanism system. Therefore, the gap between the slide shaft shown in FIG. There is no guarantee that the lens unit L32 can always be moved to a completely accurate position due to rattling due to the presence of clearance. In addition, when the lens group L32 is driven and controlled, there is always a frequency characteristic in the mechanism system and the electric control system that realize this, so that it is difficult to realize complete driving in all frequency ranges to be driven. Depending on the case, an error may occur in the driving (movement) of the lens unit L32, and the lens group L32 may not be moved to the position according to the control signal.
このような場合、制御信号の値と、ステップ102で検出されたレンズ群L32の位置情報を比較すると、両者が一致することはなく、何らかの差分値が検出される。これはすなわち、画像の動き補正が意図しただけの効果をあげることができず、その結果、撮像装置の動きによって画像が劣化することにつながる。具体的には、撮像装置が動いた状態で露光されるため、撮影した画像に残像のような現象が発生し、さらに撮像装置の動き量におおよそ比例して残像による画像の解像度が低下することになる。 In such a case, when the value of the control signal is compared with the position information of the lens unit L32 detected in step 102, the two do not coincide with each other, and some difference value is detected. In other words, the effect of the image motion correction cannot be obtained as intended, and as a result, the image deteriorates due to the motion of the imaging device. Specifically, since the exposure is performed while the imaging device is moving, a phenomenon such as an afterimage occurs in the photographed image, and the resolution of the image due to the afterimage decreases approximately in proportion to the amount of movement of the imaging device. become.
そこでステップ103において、制御信号の値とステップ102で検出されたレンズ群L32の位置情報を比較し、その差分値をもとに先鋭度改善手段3003における画像の先鋭度改善の度合いを制御し、意図しただけの動き補正が行なえなかったことに起因する画像の劣化を改善する。この方法について図7を用いて説明する。 Therefore, in step 103, the value of the control signal is compared with the position information of the lens unit L32 detected in step 102, and the degree of sharpness improvement of the image in the sharpness improvement means 3003 is controlled based on the difference value. Image degradation caused by failure to perform motion correction as intended is improved. This method will be described with reference to FIG.
図7は、制御信号の値とレンズ群L32の位置情報の差分値の絶対値と、先鋭度改善手段3003における画像の先鋭度改善度合いを決める係数αとの関係の一例を示したものである。図7に示すように、αを制御信号の値とレンズ群L32の位置情報の差分値の絶対値に比例させた場合、例えば、制御信号の値とレンズ群L32の位置情報の差分値の絶対値がゼロの場合、つまりレンズ群L32による画像の動き補正が意図通りに動作した場合には、α=0となり先鋭度改善手段3003においては、画像に対して先鋭度改善処理は実施されない。逆に、制御信号の値とレンズ群L32の位置情報の差分値の絶対値が大きくなればなるほどαも大きくなり、その結果、先鋭度改善手段3003において画像信号に加算される高周波成分のゲインが大きくなり、より強く画像の先鋭度改善がなされることになる。また図7はαと制御信号の値とレンズ群L32の位置情報の差分値の絶対値を比例させた例を示したが、例えば図8、図9のようにαと制御信号の値とレンズ群L32の位置情報の差分値の絶対値を非線形に対応させたり、制御信号の値とレンズ群L32の位置情報の差分値の絶対値が一定値以下の場合には、αを固定値とする方法なども考えられる。
FIG. 7 shows an example of the relationship between the absolute value of the difference between the value of the control signal and the position information of the lens unit L32, and the coefficient α that determines the degree of sharpness improvement of the image in the sharpness improvement means 3003. . As shown in FIG. 7, when α is proportional to the absolute value of the difference between the control signal value and the position information of the lens unit L32, for example, the absolute value of the difference between the control signal value and the positional information of the lens unit L32 is shown. When the value is zero, that is, when the motion correction of the image by the lens unit L32 operates as intended, α = 0 and the
以上のように、本実施の形態においては、マイコン15は、制御信号の値とレンズ群L32の位置情報をもとに、先鋭度改善手段3003における画像の先鋭度改善度合いを決める係数αを決定し、撮影した画像の先鋭度改善を行なうことで、レンズ群L32のような画像の動き補正のための可動レンズの駆動に誤差が生じた場合でも、撮影画像の画質低下を低減することが可能である。
As described above, in the present embodiment, the
上記説明では、撮像装置の手振れ量が補正範囲を超えた場合は、レンズ群L32の移動を制限するために制御信号の値はステップ110のクリップ処理で制限される。この場合でも、係数αは、クリップ処理によって制限された制御信号値と実際のレンズ群L32の移動量の差分に対応して決定されるため、意図する先鋭度の改善効果が望めない場合がある。そこで、補正範囲を超えた場合でも、先鋭度改善手段3003には、クリップ処理前の制御信号の値(制御目標値)と実際の移動量の差を補正誤差として与えてもよい。このようにすれば、補正範囲を超えた手振れが発生した場合でも、必要な先鋭度改善の係数αが算出できる。また、補正量自体や補正誤差が所定量よりも大きくなった場合には、係数αの値を固定値にしたり、場合によっては先鋭度改善そのものを止めるようにしてもよい。これにより、必要以上に先鋭度が上がって画像が不自然になるのを防ぐことができる。
In the above description, when the camera shake amount of the imaging apparatus exceeds the correction range, the value of the control signal is limited by the clipping process in step 110 in order to limit the movement of the lens group L32. Even in this case, since the coefficient α is determined in accordance with the difference between the control signal value limited by the clipping process and the actual movement amount of the lens unit L32, the intended sharpness improvement effect may not be expected. . Therefore, even when the correction range is exceeded, the
また、上記説明では、先鋭度改善度合いを決める係数αは水平方向および垂直方向の高周波成分に共通にかかる係数であり、両方向に対して等しく作用するとした。しかしながら、この係数αは、水平方向と垂直方向それぞれに独立に設定するようにしてもよい。このようにすれば、撮影時の手振れ補正の状況に応じて、より精度の高い先鋭度の改善が可能となる。 In the above description, the coefficient α that determines the degree of sharpness improvement is a coefficient that is commonly applied to the high-frequency components in the horizontal direction and the vertical direction, and acts equally in both directions. However, the coefficient α may be set independently for each of the horizontal direction and the vertical direction. This makes it possible to improve the sharpness with higher accuracy in accordance with the state of camera shake correction at the time of shooting.
図10は係数αを水平方向と垂直方向それぞれ独立に設定できるようにした先鋭度改善手段3003のブロック図である。加算器4004の出力は、乗算器4013で係数α1が乗算され加算器4010に入力される。また、同様に加算器4009の出力は乗算器4014で係数α2が乗算されて加算器4010に入力される。ここで、加算器4004および加算器4009の出力は、それぞれ画像信号の垂直方向および水平方向の高周波成分であり、それぞれの成分に係数α1および係数α2を独立に乗算する。すなわち、撮像装置の手振れ補正にあたり水平方向、垂直方向それぞれについて、制御信号の値とレンズ群L32の位置情報の差分値から先鋭度改善係数α1およびα2を決定して乗算器4013および乗算器4014に与えている。次に加算器4010においてこれらが加算され、最後に加算器4012で加算器4010の加算結果と元の画像信号が加算される。これにより、水平方向および垂直方向のそれぞれの補正状況に応じてより精度の高い先鋭度改善が可能となる。例えば、水平方向の補正は完全であるが、垂直方向に補正誤差が残った場合、α1=0としてα2の係数のみについて、αと同様な方法で適当な係数を決定すればよい。また、逆に垂直方向の補正は完全であるが、水平方向に補正誤差が残った場合は、α2=0としてα1の係数のみについて、αと同様な方法で適当な係数を決定すればよい。水平方向と垂直方向に同量の補正誤差が残った場合は、α1=α2=αとなり図4の例と同様となる。殆どの場合は、α1とα2はゼロでない異なった値をとり、水平方向と垂直方向に最適な先鋭度改善が行なわれる。
FIG. 10 is a block diagram of
(実施の形態2)
本発明の実施の形態2における画像動き補正装置について図11〜図17を参照して説明する。光学系での動き補正で補正できず、解像度が劣化した画像の解像度を回復する手段として、実施の形態1では画像先鋭度を改善する方法を説明したが、本実施の形態は、撮像装置の手振れを点広がり関数で表わし、この点広がり関数に基づいて手振れのない画像を復元するものである。これにより、手振れにより劣化した撮影画像の解像度を回復することができる。その他の構成および処理は実施の形態1と同じである。
(Embodiment 2)
An image motion correction apparatus according to
図11は、本実施の形態の画像動き補正装置のブロック図である。本実施の形態の画像動き補正装置はレンズ装置50と撮像装置61から構成されている。撮像装置61のデジタル信号処理手段29のみが図1と異なり、その他のブロックは図1と同様であるので、同じ符号を付して説明は省略する。
FIG. 11 is a block diagram of the image motion correction apparatus according to the present embodiment. The image motion correction device according to the present embodiment includes a
図12はデジタル信号処理手段29の構成例を示すブロック図である。A/D変換手段8でデジタル化された画像信号は、輝度・色差信号分離手段3001によって、輝度信号と色差信号に分離され、さらにノイズ除去手段3002によってノイズ成分が除去される。次に、画像復元手段3004によって撮像装置の手振れを表現する点広がり関数を用いることにより、手振れのない画像を復元する。
FIG. 12 is a block diagram showing a configuration example of the digital signal processing means 29. The image signal digitized by the A /
図13は、画像復元手段3004の構成例を示すブロック図である。画像復元手段3004はノイズ除去手段3002より入力された画像信号をフーリエ変換するフーリエ変換手段5001と、マイコン15よりの指示により点広がり関数を発生する点広がり関数発生手段5002と、点広がり関数をフーリエ変換するフーリエ変換手段5003と、フーリエ変換手段5001の出力をフーリエ変換手段5003の出力で除算する除算手段5004と、除算手段5004の除算結果をフーリエ逆変換するフーリエ逆変換手段5005とを備える。
FIG. 13 is a block diagram illustrating a configuration example of the
図14は、上述した画像復元手段3004の動作手順を示すフローチャートである。まず、ステップ601において光学的な手振れ補正で補正しきれなかった撮像装置の手振れ量に対応した点広がり関数を発生する。次のステップ602で、この点広がり関数をフーリエ変換手段5003でフーリエ変換する。ステップ603では、このフーリエ変換結果の逆数を求めて復元用逆フィルタの周波数特性を算出する。そして、ステップ604で、手振れ補正後の撮影画像をフーリエ変換手段5001でフーリエ変換した後、ステップ605で、ステップ603で算出した復元用逆フィルタを手振れ補正画像のフーリエ変換結果に乗算する。すなわち、フーリエ変換手段5001の出力を、フーリエ変換手段5003の出力で除算する。そして、最後に、ステップ606で、除算手段5004の出力に対してフーリエ逆変換手段5005でフーリエ逆変換を施し、手振れのない復元画像を得る。
FIG. 14 is a flowchart showing an operation procedure of the
この画像復元手段3004において、手振れがないと仮定した撮像装置の撮影画像f(x,y)に対し、点広がり関数h(x,y)によって表現される手振れが発生した画像g(x,y)は、次のような畳み込み積分で表わされる。
In this
g(x,y)=∬f(ε,η)×h(x−ε,y−η)dεdη+n(x,y)
ここで、
f(x,y) : 手振れのない画像
g(x,y) : 手振れのある画像
h(x,y) : 点広がり関数
n(x,y) : 雑音
x、y : 空間座標
である。上記式の両辺にフーリエ変換を施して、周波数空間に写像すると畳み込み積分は積に置き換えられるので、
G(u,v)=F(u,v)×H(u,v)+N(u,v)
となる。
g (x, y) = ∬f (ε, η) × h (x−ε, y−η) dεdη + n (x, y)
here,
f (x, y): Image without camera shake g (x, y): Image with camera shake h (x, y): Point spread function n (x, y): Noise x, y: Spatial coordinates. When the Fourier transform is applied to both sides of the above equation and mapped to the frequency space, the convolution integral is replaced with the product.
G (u, v) = F (u, v) × H (u, v) + N (u, v)
It becomes.
ここで
F(u,v) : 手振れのない画像の2次元フーリエ変換
G(u,v) : 手振れのある画像の2次元フーリエ変換
H(u,v) : 点広がり関数の2次元フーリエ変換(手振れの空間周波数伝達関数)
N(u,v) : 雑音の2次元フーリエ変換
u,v : 空間周波数
である。したがって、手振れのない画像のフーリエ変換F(u,v)は、
F(u,v)=G(u,v)/H(u,v)−N(u,v)/H(u,v)
となる。このF(u,v)をフーリエ逆変換することにより、手振れにより劣化した解像度を回復した復元画像を得ることができる。ただし、もしある周波数でH(u,v)の値が非常に小さくなると、この周波数付近では、N(u,v)/H(u,v)の値が、本来の信号よりもはるかに大きくなり、ノイズに埋もれることになる。そこで、信号対雑音比(SN比)が大きいと考えられる比較的低い周波数成分w0だけを用いてフーリエ逆変換することにより、この雑音の影響を除くことができる。この場合の、逆フィルタの伝達関数M(u,v)は以下の式になる。
F (u, v): Two-dimensional Fourier transform of an image without camera shake G (u, v): Two-dimensional Fourier transform of an image with camera shake H (u, v): Two-dimensional Fourier transform of a point spread function ( Spatial frequency transfer function of camera shake)
N (u, v): Two-dimensional Fourier transform of noise u, v: Spatial frequency. Therefore, the Fourier transform F (u, v) of the image without camera shake is
F (u, v) = G (u, v) / H (u, v) −N (u, v) / H (u, v)
It becomes. By performing inverse Fourier transform on this F (u, v), a restored image can be obtained in which the resolution deteriorated due to camera shake is recovered. However, if the value of H (u, v) becomes very small at a certain frequency, the value of N (u, v) / H (u, v) is much larger than the original signal near this frequency. It will be buried in noise. Therefore, the influence of this noise can be eliminated by performing inverse Fourier transform using only a relatively low frequency component w 0 that is considered to have a large signal-to-noise ratio (SN ratio). In this case, the transfer function M (u, v) of the inverse filter is as follows.
この画像復元の手法は、点広がり関数による劣化画像の復元において基本となる手法であり、点広がり関数に誤差がなく、画像に線形性がある限りにおいて、良好な復元画像を得ることができる。 This image restoration technique is a basic technique for restoration of a deteriorated image using a point spread function, and a good restored image can be obtained as long as there is no error in the point spread function and the image has linearity.
図15、図16は、この画像復元の原理を説明する図である。説明の簡略化のために光学系での補正がなく、撮像装置の手振れは、図15に示すようにx軸方向へ一様にa=VTだけ発生したものと仮定する。ここで、Vは手振れによるX方向の移動速度、Tは露光時間である。この場合の点広がり関数h(x)は図16(a)のようになる。これをフーリエ変換したのが図16(b)であり、手振れの空間周波数伝達関数H(u)である。そして、これの逆数をとると図16(c)のような逆フィルタ伝達関数M(u)となる。図16(c)に示すように、逆フィルタ伝達関数M(u)には、無限大となる周波数が存在する。そこで、実際には前述のような周波数制限をかける等の対策をして無限大にならないようにしているが、ここでは詳細な説明は省略する。 15 and 16 are diagrams for explaining the principle of image restoration. For the sake of simplicity, it is assumed that there is no correction in the optical system, and the camera shake of the image pickup device is uniformly generated in the x-axis direction by a = VT as shown in FIG. Here, V is the moving speed in the X direction due to camera shake, and T is the exposure time. The point spread function h (x) in this case is as shown in FIG. FIG. 16B shows the result of Fourier transform of this, which is a hand-shake spatial frequency transfer function H (u). Then, taking the inverse of this, an inverse filter transfer function M (u) as shown in FIG. As shown in FIG. 16C, the inverse filter transfer function M (u) has an infinite frequency. Therefore, in practice, measures such as the above-described frequency limitation are taken so as not to become infinite, but detailed description thereof is omitted here.
図17は、撮像装置の手振れの大きさと伝達関数H(u)の周波数特性の関係を示す図である。撮影画像は固体撮像素子6の画素構造に基づいて2次元的にサンプリングされており、図17(a)は、画像のサンプリング構造を示している。ここで、撮像装置の手振れによる固体撮像素子6の撮像表面上での画像の移動量はこの画素間隔x0の何画素分かで表現できる。そして、図17(a)のように、x方向の移動量を画素間隔x0のβ1倍とすれば、β1の値によって図17(b)のように伝達関数H(u)の周波数特性は変化する。そして、画像を復元するための逆フィルタはこの伝達関数H(u)の逆数で表わされるので、撮像装置の手振れ量を補正するための逆フィルタの特性は、このβ1の値で決まることになる。したがって、このβ1の値を最適に選べば手振れのない撮影画像が復元できる。y方向の移動量を画素間隔y0のβ2倍とすれば同様にy方向の逆フィルタが求められる。 FIG. 17 is a diagram illustrating a relationship between the magnitude of camera shake of the imaging apparatus and the frequency characteristic of the transfer function H (u). The photographed image is sampled two-dimensionally based on the pixel structure of the solid-state imaging device 6, and FIG. 17 (a) shows the image sampling structure. Here, the movement amount of the image on the imaging surface of the solid-state image sensor 6 by the camera shake of the imaging device can be represented by what pixels of the pixel spacing x 0. If the amount of movement in the x direction is β 1 times the pixel interval x 0 as shown in FIG. 17A, the frequency of the transfer function H (u) is shown in FIG. 17B depending on the value of β 1 . Characteristics change. Since the inverse filter for restoring the image is represented by the inverse of the transfer function H (u), the characteristics of the inverse filter for correcting the camera shake amount of the imaging apparatus, that depends on the value of the beta 1 Become. Therefore, no captured images shake when optimally choose the value of the beta 1 can be restored. Similarly, if the amount of movement in the y direction is β 2 times the pixel interval y 0 , an inverse filter in the y direction can be obtained.
図18は、マイコン15に格納された処理プログラムのフローチャートの一例である。本実施の形態におけるマイコンの処理は、逆フィルタの係数βの値を決定するステップ203が異なるのみで、その他の処理は実施の形態1と同じであるので、処理内容が同じステップには図5と同一符号を付して説明は省略する。図18に示した処理もマイコン15内蔵のタイマーによる割り込み毎にループ処理が実行されるものとする。手振れ補正スイッチ(図示せず)がONされると、図18に示した一連の処理が開始される。
FIG. 18 is an example of a flowchart of a processing program stored in the
手振れ補正スイッチ(図示せず)がONされると、ステップ101で後段の処理で必要となる初期値の設定が行なわれる。タイマーの割り込みがかけられると、ステップ102でA/D変換手段18によりデジタル信号に変換された移動位置検出手段3の出力、つまりレンズ群L32の位置がマイコン15に取り込まれる。
When a camera shake correction switch (not shown) is turned on, an initial value necessary for the subsequent processing is set in step 101. When the timer is interrupted, the output of the moving position detecting means 3 converted into a digital signal by the A / D converting means 18 in step 102, that is, the position of the lens group L32 is taken into the
次に、ステップ203において、ステップ102で取り込まれたレンズ群L32の位置と、ステップ111で記憶されている値をもとに、補正後に残った手振れによる画像の解像度の劣化を復元するための逆フィルタの係数βを決定する。ステップ104からステップ111までは、実施の形態1と同様の処理が実行されるので詳細な説明は省略する。 Next, in step 203, on the basis of the position of the lens group L32 captured in step 102 and the value stored in step 111, an inverse process for restoring degradation in image resolution due to camera shake remaining after correction is performed. The filter coefficient β is determined. From step 104 to step 111, the same processing as that in the first embodiment is executed, and thus detailed description thereof is omitted.
以上のように、本実施の形態では、レンズ群L32の位置とその制御目標値との差に基づいて、撮像装置の手振れの補正状態に対応する点広がり関数の係数βを決定し、この点広がり関数の逆フィルタを手振れ画像に作用させることにより、手振れにより低減した解像度を回復することができる。 As described above, in the present embodiment, the coefficient β of the point spread function corresponding to the camera shake correction state of the imaging apparatus is determined based on the difference between the position of the lens unit L32 and its control target value. By applying an inverse filter of the spread function to the hand shake image, the resolution reduced by the hand shake can be recovered.
(実施の形態3)
本発明の実施の形態3における画像動き補正装置について図19、図20を参照して説明する。本実施の形態の画像動き補正装置は、画像の動き補正をレンズ群L32を移動して行なうのではなく、固体撮像素子6を光軸に直交する方向に移動することで行なうものであり、その他の構成および処理は実施の形態1と同じである。
(Embodiment 3)
An image motion correction apparatus according to
図19は、本実施の形態の画像動き補正装置のブロック図である。本実施の形態の画像動き補正装置はレンズ装置51と撮像装置62から構成されている。本実施の形態では、レンズ装置51は、撮像光学系1と撮像光学系駆動制御手段4を備えている。また、撮像装置62は、A/D変換手段5、固体撮像素子6、アナログ信号処理手段7、A/D変換手段8、デジタル信号処理手段9、角速度センサ10、HPF11、LPF12、アンプ13、A/D変換手段14、マイコン15、固体撮像素子ドライブ手段17、固体撮像素子駆動制御手段32、移動位置検出手段33、D/A変換手段36、A/D変換手段38を備えている。図19において動き補正に関連するブロックのみが図1と異なり、その他のブロックは図1と同様であるので、同じ符号を付して説明は省略する。固体撮像素子駆動制御手段32は、固体撮像素子6を駆動および制御するための手段であり、撮像光学系1の光軸に直交する平面内で、固体撮像素子6を上下左右に移動させる手段である。移動位置検出手段33は、固体撮像素子6の位置を検出し出力する手段で、固体撮像素子駆動制御手段32とともに固体撮像素子6を駆動制御するための帰還制御ループを形成する。
FIG. 19 is a block diagram of the image motion correction apparatus according to the present embodiment. The image motion correction apparatus according to the present embodiment includes a
マイコン15は角速度センサ10の出力から動き補正に必要な固体撮像素子6の駆動制御量(制御信号)を求め、これをD/A変換手段36を介して固体撮像素子駆動制御手段32に送る。D/A変換手段36はマイコン15から信号を受け取ると略同時にこれをアナログ信号に変換し固体撮像素子駆動制御手段32に送るものとする。固体撮像素子駆動制御手段32は制御信号に基づき固体撮像素子6を駆動することで画像の動きを補正する。すなわち、角速度センサ10から得られる画像の振れ角度から振れを補正するために必要な固体撮像素子6のヨー方向、ピッチ方向それぞれの移動量を算出する。必要な移動量は、撮像装置に使用している固体撮像素子6のサイズや撮像レンズの焦点距離等で決まる。そして、その計算結果に基づいて固体撮像素子6を移動し、固体撮像素子6の撮像面の同一位置につねに画像が撮像されるようにする。これにより、撮像装置の振れが補正される。
The
ここで、固体撮像素子6の位置検出および駆動方法は実施の形態1のレンズ群L32の位置検出と駆動方法とほぼ同様である。すなわち、固体撮像素子6は、ヨー方向およびピッチ方向に移動可能な移動機構に取り付けられており、電磁コイルまたはピエゾ素子等で構成されたアクチュエータによって上記移動機構がピッチ方向およびヨー方向それぞれに独立に駆動可能となっている。また、位置検出も半導体位置検出素子(PSD)および発光ダイオード(LED)から構成されている。 Here, the position detection and driving method of the solid-state imaging device 6 is substantially the same as the position detection and driving method of the lens unit L32 of the first embodiment. That is, the solid-state imaging device 6 is attached to a moving mechanism that can move in the yaw direction and the pitch direction, and the moving mechanism can be independently operated in the pitch direction and the yaw direction by an actuator constituted by an electromagnetic coil or a piezoelectric element. It can be driven. The position detection also includes a semiconductor position detection element (PSD) and a light emitting diode (LED).
また、移動位置検出手段33の出力はA/D変換手段38によってデジタル信号に変換され、マイコン15に取り込まれる。そして、マイコン15は、この移動位置検出手段33の出力と、上記制御信号に基づき、デジタル信号処理手段9における先鋭度改善処理に対する制御を行なう。固体撮像素子6の移動機構もレンズ群L32の移動機構と同様に機械的な保持機構で構成されているため、光軸方向や、撮像平面上での回転方向のがた等により、常時完全に正確な位置へ固体撮像素子6を移動できる保障はないので、実施の形態1と同様に先鋭度改善処理が必要になる。
The output of the movement position detection means 33 is converted into a digital signal by the A / D conversion means 38 and taken into the
図20は、マイコン15に格納された処理プログラムのフローチャートの一例である。実施の形態1と同様の処理内容部分に関しては図5と同一の符号を付して説明は省略する。図20に示した処理もマイコン15内蔵タイマーによる割り込み毎にループ処理が実行されるものとする。手振れ補正スイッチ(図示せず)がONされると図20に示した一連の処理が開始される。
FIG. 20 is an example of a flowchart of a processing program stored in the
手振れ補正スイッチ(図示せず)がONされると、ステップ301でフィルタリング(高域通過フィルタ(HPF)と低域通過フィルタ(LPF))、積分処理、位相補償、固体撮像素子6の移動量算出、クリップ処理で用いる設定値(HPF用とLPF用のカットオフ周波数、積分定数、位相補償帯域、固体撮像素子6の移動量算出係数、クリップ値)を初期値に設定する。 When a camera shake correction switch (not shown) is turned on, in step 301, filtering (high-pass filter (HPF) and low-pass filter (LPF)), integration processing, phase compensation, and movement amount calculation of the solid-state image sensor 6 are calculated. , Set values used in clip processing (HPF and LPF cutoff frequencies, integration constants, phase compensation bands, movement amount calculation coefficients of the solid-state imaging device 6, and clip values) are set to initial values.
タイマーの割り込みがかけられると、ステップ302でA/D変換手段38によりデジタル信号に変換された移動位置検出手段33の出力、つまり固体撮像素子6の位置がマイコン15に取り込まれる。
When the timer is interrupted, the output of the movement position detection means 33 converted into a digital signal by the A / D conversion means 38 in step 302, that is, the position of the solid-state imaging device 6 is taken into the
次に、ステップ303において、ステップ302で取り込まれた固体撮像素子6の位置と、後述するステップ311で記憶されている値をもとに、先鋭度改善手段3003における画像の先鋭度改善度合いを決める係数αを算出する。 Next, in step 303, the degree of sharpness improvement of the image in the sharpness improvement means 3003 is determined based on the position of the solid-state imaging device 6 captured in step 302 and the value stored in step 311 described later. The coefficient α is calculated.
次に、ステップ104からステップ108において、角速度センサ10から撮像装置の動き情報を取り込み、それに必要な処理を施す。ステップ309は、ステップ107で角速度センサ10の出力(角速度)から求められた撮像装置の動きの角度情報から、水平方向および垂直方向の動き量を計算し、撮像装置の動きをキャンセルするための固体撮像素子6の位置情報に変換するステップである。固体撮像素子6の撮像面における画像の移動距離は、撮像装置の動きの角度をθとすると焦点距離×tanθに比例するために、動き補正に必要な固体撮像素子6の移動距離は撮像装置の動きの角度情報から容易に算出することができる。そして求められた位置情報がD/A変換手段36を介して固体撮像素子駆動制御手段32に伝えられ、この位置情報で指示される位置に固体撮像素子6が移動することで、撮像装置の動きがキャンセルされる。
Next, in step 104 to step 108, the motion information of the imaging device is fetched from the
ステップ310は、マイコン15から固体撮像素子6に送られる制御信号が固体撮像素子6による動き補正範囲、つまり固体撮像素子6の最大移動範囲を超える補正量を指示することがないようにあるクリップ値で制御信号の信号幅を制限(クリップ処理)するステップである。
Step 310 is a clip value so that the control signal sent from the
ステップ311は、クリップ処理後の制御信号の値をマイコン内部に記録するステップであり、この記録された値は、前述のステップ303において先鋭度改善手段3003における画像の先鋭度改善度合いを決める係数αを算出する際に利用される。またクリップ処理後のデータはD/A変換手段36によりアナログ信号に変換され固体撮像素子駆動制御手段32に送られる。固体撮像素子6の移動機構の光軸方向や、撮像平面上での回転方向のがた等や駆動系の周波数特性等のため制御信号どおりに固体撮像素子6が移動されない可能性がある。このような場合、制御信号の値と、ステップ302で検出された固体撮像素子6の位置情報を比較すると、両者が一致することはなく、何らかの差分値が検出される。これはすなわち、画像の動き補正が意図しただけの効果をあげることができず、その結果、撮像装置の動きによって画像の解像度が低下する。 Step 311 is a step of recording the value of the control signal after clip processing in the microcomputer, and this recorded value is a coefficient α that determines the degree of sharpness improvement of the image in the sharpness improvement means 3003 in the above-mentioned step 303. It is used when calculating The data after the clip processing is converted into an analog signal by the D / A conversion means 36 and sent to the solid-state image sensor drive control means 32. There is a possibility that the solid-state image sensor 6 may not be moved according to the control signal due to the optical axis direction of the moving mechanism of the solid-state image sensor 6, the rotation direction on the imaging plane, the frequency characteristics of the drive system, and the like. In such a case, when the value of the control signal is compared with the position information of the solid-state imaging device 6 detected in step 302, they do not coincide with each other, and some difference value is detected. In other words, the effect of correcting the movement of the image cannot be achieved, and as a result, the resolution of the image is lowered due to the movement of the imaging device.
そこでステップ303において、制御信号の値とステップ302で検出された固体撮像素子6の位置情報を比較し、その差分値をもとに先鋭度改善手段3003における画像の先鋭度改善の度合いを制御し、意図しただけの動き補正が行なえなかったことに起因する画像の劣化を改善する。この方法については、実施の形態1と同様であるので説明は省略する。 Therefore, in step 303, the value of the control signal is compared with the position information of the solid-state imaging device 6 detected in step 302, and the degree of sharpness improvement of the image in the sharpness improvement means 3003 is controlled based on the difference value. This improves the deterioration of the image due to the fact that the intended motion correction cannot be performed. Since this method is the same as that of the first embodiment, description thereof is omitted.
このように、本体に補正機構を組み込むことで、レンズ自体に補正レンズを組み込む必要がなく鏡筒を小型にできる。一眼レフカメラ等レンズ交換式カメラにおいては既存のレンズをそのまま利用することが可能となる。 Thus, by incorporating the correction mechanism into the main body, it is not necessary to incorporate a correction lens into the lens itself, and the lens barrel can be made smaller. In an interchangeable lens camera such as a single-lens reflex camera, an existing lens can be used as it is.
(実施の形態4)
本発明の実施の形態4における画像動き補正装置について図21〜図23を参照して説明する。本実施の形態の画像動き補正装置は、撮像装置の手振れ検出を角速度センサではなく、撮影された画像の動きベクトルを検出することで行なうものであり、他の構成および処理は実施の形態1と同じである。
(Embodiment 4)
An image motion correction apparatus according to
図21は、本実施の形態の画像動き補正装置のブロック図である。本実施の形態の画像動き補正装置はレンズ装置52と撮像装置63から構成されている。そして、レンズ装置52から動き検出のブロックが除かれ、代わりに撮像装置63に画像動きベクトル検出手段40が新たに追加されている。図21において、動き検出のブロック以外は図1と同様であるので、それらについては同じ符号を付して説明は省略する。
FIG. 21 is a block diagram of the image motion correction apparatus according to the present embodiment. The image motion correction apparatus according to this embodiment includes a
A/D変換手段8の出力は、画像動きベクトル検出手段40に入力される。画像動きベクトル検出手段40は、撮影画像の動きをフィールド間もしくはフレーム間のパターンマッチングによる画像の動きベクトルを検出することにより行なう。この動きベクトルを使えば画像が移動した方向および移動量を直接求めることができる。この情報は、マイコン15で取り込み、レンズ群L32駆動制御手段2に与える制御信号を計算する。そして、この制御信号に基づいてレンズ群L32を駆動する。また、移動位置検出手段3の出力と、上記制御信号の差に基づき、デジタル信号処理手段9における先鋭度改善処理に対する制御を行なう。
The output of the A /
次に動きベクトルの検出方法について説明する。図22は、図21に示した画像動きベクトル検出手段40の具体的な構成例を示すブロック図である。図22において、代表点記憶手段6001はA/D変換手段8から入力されてくる現フィールドの画像信号を複数の領域に分割し、各領域の特定の代表点に対応する画像信号を代表点信号として記憶するものである。また、この代表点記憶手段6001は現フィールドより1フィールド前に走査された前フィールドの代表点信号を相関演算手段6002に与える。相関演算手段6002は前代表点信号と現フィールドの画像信号間の相関演算を行ない、前代表点信号と現フィールドの画像信号の差を比較するものであり、その出力は動きベクトル検出手段6003に与えられる。動きベクトル検出手段6003は相関演算手段6002での演算結果から、前フィールドと現フィールドの間の画像の動きベクトル(画像の移動量および移動方向)を検出する。上記では、フィールド間の動きベクトルを検出する場合を説明したが、これに限定されるものではなく、手振れの速度が小さい場合にはフレーム間で行なってもよい。
Next, a method for detecting a motion vector will be described. FIG. 22 is a block diagram showing a specific configuration example of the image motion vector detection means 40 shown in FIG. In FIG. 22, the representative
図23は、マイコン15に格納された処理プログラムのフローチャートの一例である。
FIG. 23 is an example of a flowchart of a processing program stored in the
実施の形態1と同様の処理内容部分に関しては図5と同一の符号を付して説明は省略する。図23に示した処理もマイコン15内蔵タイマーによる割り込み毎にループ処理が実行されるものとする。手振れ補正スイッチ(図示せず)がONされると図23に示した一連の処理が開始される。
The same processing contents as those in the first embodiment are denoted by the same reference numerals as those in FIG. It is assumed that the processing shown in FIG. 23 is also executed for each interruption by the
手振れ補正スイッチ(図示せず)がONされると、ステップ101で後段の処理に必要な初期値を設定する。本実施の形態の場合は、角速度センサを使用しないため、角速度センサの出力の処理に必要となるフィルタリング等の初期値は不要であるが、動きベクトル検出のための検出領域のサイズ、レンズ群L32の移動量算出係数、クリップ値等の初期値を設定する。 When a camera shake correction switch (not shown) is turned on, an initial value necessary for the subsequent processing is set in step 101. In the case of the present embodiment, since the angular velocity sensor is not used, an initial value such as filtering necessary for the processing of the output of the angular velocity sensor is unnecessary, but the size of the detection region for detecting the motion vector, the lens group L32 Set initial values such as the moving amount calculation coefficient and clip value.
タイマーによる割り込みがかけられると、ステップ102でA/D変換手段18によりデジタル信号に変換された移動位置検出手段3の出力、つまりレンズ群L32の位置がマイコン15に取り込まれる。
When an interruption by the timer is applied, the output of the moving position detecting means 3 converted into a digital signal by the A / D converting means 18 in step 102, that is, the position of the lens group L32 is taken into the
次に、ステップ103において、ステップ102で取り込まれたレンズ群L32の位置と、後述するステップ111で記憶されている値をもとに、先鋭度改善手段3003における画像の先鋭度改善度合いを決める係数αを算出する。 Next, in step 103, a coefficient that determines the degree of sharpness improvement of the image in the sharpness improvement means 3003 based on the position of the lens group L32 captured in step 102 and the value stored in step 111 described later. α is calculated.
次に、ステップ404により画像動きベクトル検出手段40より撮影画像の動きベクトルがマイコン15に取り込まれる。ステップ409は、ステップ404で画像動きベクトル検出手段40から求められた画像の動き情報から動きをキャンセルするためのレンズ群L32の位置情報に変換するステップである。そして求められた位置情報がD/A変換手段16を介してレンズ群L32駆動制御手段2に伝えられ、この位置情報で指示される位置にレンズ群L32が移動することで、撮影画像の動きがキャンセルされる。以下の動作については、実施の形態1と同じであるので説明は省略する。
Next, in step 404, the motion vector of the photographed image is taken into the
このように、撮像装置の動き検出方法として、撮像画像の動きベクトルを使えば、実施の形態1の図1に示した角速度センサ10を用いた構成では必要であった角速度センサおよびそれに関連するHPF11、LPF12、アンプ13、A/D変換手段14は不要となる。これにより、撮像装置の振れ検出部が安価にかつ小型に構成できる。
As described above, if the motion vector of the captured image is used as the motion detection method of the imaging apparatus, the angular velocity sensor and the
以上説明したように、本発明の画像動き補正装置を用いれば、カメラ撮影時に補正できない手振れが発生した場合でも、手振れにより劣化した画像の解像度を改善でき、高品質の撮影画像が提供できる。 As described above, the use of the image motion correction apparatus of the present invention can improve the resolution of an image deteriorated due to camera shake even when camera shake that cannot be corrected during camera shooting occurs, and can provide a high-quality shot image.
なお、本発明の実施の形態1において、先鋭度改善方法として、画像空間上で水平方向と垂直方向の高周波成分を強調するフィルタを構成する例を説明したが、先鋭度改善の方法はこれに限定されるものではなく、従来の一般的な手法が使える。例えば、撮影画像にフーリエ変換等の直交変換を施して一旦、周波数空間に写像して、この周波数空間で水平、垂直、斜め等の高周波成分を強調し、フーリエ逆変換で画像空間に戻しても同様の効果が得られる。また、画像を例えば8×8画素のブロックに分割して離散コサイン変換(DCT)やアダマール変換等の直交変換を施し、水平、垂直、斜めの高周波成分を表わすブロックの成分を強調してもよい。このようにすることにより、上記ブロック単位でさらに細かい先鋭度の制御が可能となる。 In the first embodiment of the present invention, an example in which a filter that emphasizes high-frequency components in the horizontal direction and the vertical direction on the image space has been described as the sharpness improving method. However, the sharpness improving method is described here. The conventional general method can be used without limitation. For example, an orthogonal transformation such as Fourier transformation is performed on a photographed image, and the image is temporarily mapped to a frequency space, and high frequency components such as horizontal, vertical, and diagonal are emphasized in this frequency space, and returned to the image space by inverse Fourier transformation. Similar effects can be obtained. Further, the image may be divided into, for example, 8 × 8 pixel blocks and subjected to orthogonal transformation such as discrete cosine transformation (DCT) or Hadamard transformation to emphasize the components of the block representing horizontal, vertical and diagonal high frequency components. . By doing so, finer sharpness control can be performed in units of the blocks.
なお、本発明の実施の形態1において、画像の動き補正手段として、撮像光学系1中の一部のレンズを光軸に対して垂直方向に移動させることで光軸を偏心させる構成を例に説明を行なったがこれに限るものでなく、例えば、2枚のガラス板を蛇腹で繋ぎ、その中を高屈折率の液体で満たし、ガラス板の角度を変えることで光軸偏心が可能な可変頂角プリズム(VAP)を用いた光学系を用いても本発明が有効なことは言うまでもない。VAPを用いれば、既存のレンズがそのまま利用できるので新たなレンズを購入する必要がない。
In the first embodiment of the present invention, as an example of an image motion correction unit, a configuration in which the optical axis is decentered by moving some lenses in the imaging
また、本発明の実施の形態1において、動き補正手段はとしては、レンズ群L32を移動する場合を説明したが、これに限定されるものではなく、撮像光学系1および固体撮像素子6等を撮像装置の筐体に対して回転自在に支持および駆動することで動きを補正する構成も考えられる。
In the first embodiment of the present invention, the case where the lens unit L32 is moved has been described as the motion correction unit. However, the present invention is not limited to this, and the imaging
また、本発明の実施の形態1〜3において、マイコン15内での処理のうちHPF、位相補償、積分処理に関して、具体例としての伝達関数を示したが、これらに限定されるものではなく、同様の効果を奏する異なる伝達関数で表記される処理を用いても、本発明が有効なのは言うまでもない。
Further, in the first to third embodiments of the present invention, the transfer function as a specific example is shown with respect to HPF, phase compensation, and integration processing among the processing in the
また、本発明の実施の形態のすべてにおいて、マイコンによるプログラム処理による例を示したがこれに限るものではなく、マイコンによるプログラム処理を電子回路等のハードウェアにより実現することが可能であることは言うまでもない。 Further, in all of the embodiments of the present invention, an example by program processing by a microcomputer is shown, but the present invention is not limited to this, and it is possible to realize program processing by a microcomputer by hardware such as an electronic circuit. Needless to say.
また、本発明の実施の形態のすべてにおいて、解像度回復処理の特性を1回の処理ループ毎に変更する構成に関して説明したがこれに限るものではなく、例えば複数回のループ処理毎に1度、解像度回復処理の特性を変更する方法でもよい。これにより、頻繁に解像度が変化して違和感を覚えることがない。 Further, in all of the embodiments of the present invention, the configuration for changing the characteristics of the resolution recovery processing for each processing loop has been described. However, the present invention is not limited to this. For example, once every loop processing, A method of changing the characteristics of the resolution recovery processing may be used. As a result, the resolution does not change frequently and the user does not feel uncomfortable.
また、本発明の実施の形態のすべてにおいて、撮像装置の固体撮像素子数に関しては特に言及しなかったが、単板式撮像装置、2板式撮像装置、3板式撮像装置のいずれの撮像装置においても本発明が有効であることは明らかである。また固体撮像素子としてはCCDでもCMOSでも本発明が有効であることも言うまでもない。 In all of the embodiments of the present invention, the number of solid-state imaging elements of the imaging device is not particularly mentioned, but the present invention is applicable to any imaging device such as a single-plate imaging device, a two-plate imaging device, and a three-plate imaging device. It is clear that the invention is effective. Needless to say, the present invention is effective for both a CCD and a CMOS as a solid-state imaging device.
また、本発明の実施の形態では、動き補正手段として、レンズおよび撮像素子を説明したが、これらを組み合わせて用いてもよい。また、動き検出手段としては、角速度センサおよび動きベクトル検出を説明したがこれらを組み合わせて用いてもよいことは言うまでもない。さらに、補正手段と動き検出手段を自由に組み合わせて使用してもよい。これにより、撮影条件、製品毎に最適な方法を組み合わせることで価格と性能を両立できる。 In the embodiment of the present invention, the lens and the image sensor have been described as the motion correction unit. However, these may be used in combination. Further, although the angular velocity sensor and the motion vector detection have been described as the motion detection means, it goes without saying that these may be used in combination. Further, the correcting means and the motion detecting means may be used in any combination. This makes it possible to achieve both price and performance by combining the optimum method for each shooting condition and product.
本発明は、例えば、手振れ補正機能を有するデジタルカメラやビデオムービー等の撮像装置に利用することが可能である。 The present invention can be used for, for example, an imaging apparatus such as a digital camera or a video movie having a camera shake correction function.
1 撮像光学系
2 レンズ群L32駆動制御手段
3,33 移動位置検出手段
4 撮像光学系駆動制御手段
5,8,14,18,38 A/D変換手段
6 固体撮像素子
7 アナログ信号処理手段
9,29 デジタル信号処理手段
10 角速度センサ
11 HPF
12 LPF
13 アンプ
15 マイクロコンピュータ
16,36 D/A変換手段
17 固体撮像素子ドライブ手段
32 固体撮像素子駆動制御手段
40 画像動きベクトル検出手段
50,51,52 レンズ装置
60,61,62,63 撮像装置
DESCRIPTION OF
12 LPF
DESCRIPTION OF SYMBOLS 13
Claims (26)
前記撮像光学系より撮像面に結像された被写体像を画像信号に変換する撮像素子と
前記撮像素子により得られた画像信号に対し解像度回復処理を施す解像度回復手段と
を備えた撮像装置と
からなる画像動き補正装置であって、
前記撮像装置の動きを検出する動き検出手段と、
前記撮像光学系により結像された被写体像の位置を移動させることで撮像装置の動きに起因して発生する被写体像の動きを補正する動き補正手段と、
前記動き検出手段の出力に基づき前記動き補正手段を制御するための制御信号を発生する制御信号発生手段と、
前記動き補正手段による被写体像の動きの補正状態を検出する補正状態検出手段と
を有し、
前記制御信号発生手段から発生される前記制御信号と、前記補正状態検出手段により検出された被写体像の動きの補正状態に基づき、前記解像度回復手段による解像度回復処理の特性を変化させることを特徴とする画像動き補正装置。 A lens apparatus that includes an imaging optical system that includes a lens group including at least one lens and forms an image of a subject on an imaging surface;
An imaging device comprising: an imaging device that converts an object image formed on the imaging surface by the imaging optical system into an image signal; and a resolution recovery means that performs resolution recovery processing on the image signal obtained by the imaging device. An image motion correction device comprising:
Motion detection means for detecting the motion of the imaging device;
Motion correction means for correcting the movement of the subject image caused by the movement of the imaging device by moving the position of the subject image formed by the imaging optical system;
Control signal generating means for generating a control signal for controlling the motion correcting means based on the output of the motion detecting means;
Correction state detection means for detecting a correction state of movement of the subject image by the motion correction means,
A characteristic of resolution recovery processing by the resolution recovery means is changed based on the control signal generated from the control signal generation means and the correction state of the movement of the subject image detected by the correction state detection means. An image motion correction device.
前記撮像光学系より撮像面に結像された被写体像を画像信号に変換する撮像素子と
前記撮像素子により得られた画像信号に対し解像度回復処理を施す解像度回復手段と
を備えた撮像装置と組み合わせて画像動き補正装置を構成するレンズ装置であって、
前記撮像装置の動きを検出する動き検出手段と、
前記撮像光学系により結像された被写体像の位置を移動させることで撮像装置の動きに起因して発生する被写体像の動きを補正する動き補正手段と、
前記動き検出手段の出力に基づき前記動き補正手段を制御するための制御信号を発生する制御信号発生手段と、
前記動き補正手段による被写体像の動きの補正状態を検出する補正状態検出手段と
を有し、
前記制御信号発生手段から発生される前記制御信号と、前記補正状態検出手段により検出された被写体像の動きの補正状態に基づき、前記解像度回復手段による解像度回復処理の特性を変化させることを特徴とするレンズ装置。 It is composed of a lens group including at least one lens, and has an imaging optical system that forms an image of a subject on an imaging surface.
Combined with an imaging device comprising an imaging device for converting a subject image formed on the imaging surface by the imaging optical system into an image signal, and resolution recovery means for performing resolution recovery processing on the image signal obtained by the imaging device A lens device constituting an image motion correction device,
Motion detection means for detecting the motion of the imaging device;
Motion correction means for correcting the movement of the subject image caused by the movement of the imaging device by moving the position of the subject image formed by the imaging optical system;
Control signal generating means for generating a control signal for controlling the motion correcting means based on the output of the motion detecting means;
Correction state detection means for detecting a correction state of movement of the subject image by the motion correction means,
A characteristic of resolution recovery processing by the resolution recovery means is changed based on the control signal generated from the control signal generation means and the correction state of the motion of the subject image detected by the correction state detection means. Lens device to do.
前記撮像光学系より撮像面に結像された被写体像を画像信号に変換する撮像素子と
前記撮像素子により得られた画像信号に対し解像度回復処理を施す解像度回復手段と
を備えた撮像装置であって、
前記撮像装置の動きを検出する動き検出手段と、
前記撮像光学系により結像された被写体像の位置を移動させることで撮像装置の動きに起因して発生する被写体像の動きを補正する動き補正手段と、
前記動き検出手段の出力に基づき前記動き補正手段を制御するための制御信号を発生する制御信号発生手段と、
前記動き補正手段による被写体像の動きの補正状態を検出する補正状態検出手段と
を有し、
前記制御信号発生手段から発生される前記制御信号と、前記補正状態検出手段により検出された被写体像の動きの補正状態に基づき、前記解像度回復手段による解像度回復処理の特性を変化させることを特徴とする撮像装置。 An image motion correction device is configured with a lens device that includes an imaging optical system that includes a lens group including at least one lens and forms an image of a subject on an imaging surface.
An imaging apparatus comprising: an imaging element that converts a subject image formed on an imaging surface by the imaging optical system into an image signal; and a resolution recovery unit that performs resolution recovery processing on the image signal obtained by the imaging element. And
Motion detection means for detecting the motion of the imaging device;
Movement correcting means for correcting the movement of the subject image caused by the movement of the imaging device by moving the position of the subject image formed by the imaging optical system;
Control signal generating means for generating a control signal for controlling the motion correcting means based on the output of the motion detecting means;
Correction state detection means for detecting a correction state of movement of the subject image by the motion correction means,
A characteristic of resolution recovery processing by the resolution recovery means is changed based on the control signal generated from the control signal generation means and the correction state of the movement of the subject image detected by the correction state detection means. An imaging device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006307428A JP2008124850A (en) | 2006-11-14 | 2006-11-14 | Image motion correction apparatus, lens unit, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006307428A JP2008124850A (en) | 2006-11-14 | 2006-11-14 | Image motion correction apparatus, lens unit, and imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008124850A true JP2008124850A (en) | 2008-05-29 |
Family
ID=39509138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006307428A Pending JP2008124850A (en) | 2006-11-14 | 2006-11-14 | Image motion correction apparatus, lens unit, and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008124850A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010258570A (en) * | 2009-04-22 | 2010-11-11 | Canon Inc | Image pickup apparatus, and image conversion method |
JP2015114438A (en) * | 2013-12-10 | 2015-06-22 | キヤノン株式会社 | Image processor, imaging device provided with the same, and image processing method |
KR20150102985A (en) * | 2012-11-29 | 2015-09-09 | 알까뗄 루슨트 | A videoconferencing server with camera shake detection |
CN113396578A (en) * | 2019-03-15 | 2021-09-14 | 索尼半导体解决方案公司 | Image pickup apparatus, solid-state image pickup element, camera module, drive control unit, and image pickup method |
CN114616820A (en) * | 2019-10-29 | 2022-06-10 | 富士胶片株式会社 | Imaging support device, imaging system, imaging support method, and program |
-
2006
- 2006-11-14 JP JP2006307428A patent/JP2008124850A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010258570A (en) * | 2009-04-22 | 2010-11-11 | Canon Inc | Image pickup apparatus, and image conversion method |
KR20150102985A (en) * | 2012-11-29 | 2015-09-09 | 알까뗄 루슨트 | A videoconferencing server with camera shake detection |
KR101697495B1 (en) | 2012-11-29 | 2017-01-18 | 알까뗄 루슨트 | A videoconferencing server with camera shake detection |
JP2015114438A (en) * | 2013-12-10 | 2015-06-22 | キヤノン株式会社 | Image processor, imaging device provided with the same, and image processing method |
CN113396578A (en) * | 2019-03-15 | 2021-09-14 | 索尼半导体解决方案公司 | Image pickup apparatus, solid-state image pickup element, camera module, drive control unit, and image pickup method |
CN114616820A (en) * | 2019-10-29 | 2022-06-10 | 富士胶片株式会社 | Imaging support device, imaging system, imaging support method, and program |
US11968448B2 (en) | 2019-10-29 | 2024-04-23 | Fujifilm Corporation | Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program |
CN114616820B (en) * | 2019-10-29 | 2024-06-11 | 富士胶片株式会社 | Image pickup support device, image pickup system, image pickup support method, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6600232B2 (en) | Image blur correction apparatus and method | |
JP6530602B2 (en) | Image pickup apparatus and control method thereof | |
JP6592335B2 (en) | Image blur correction apparatus and method | |
JP5011387B2 (en) | Imaging device | |
JP6214316B2 (en) | Image blur correction device, lens device, imaging device, image blur correction device control method, program, and storage medium | |
JP7277513B2 (en) | a lens device, a lens device control method, and a lens device control program; | |
JP5269143B2 (en) | Image blur correction apparatus, control method therefor, and imaging apparatus | |
JP6302341B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP6581352B2 (en) | Image blur correction apparatus and control method thereof, imaging apparatus, lens apparatus, program, and storage medium | |
KR102393775B1 (en) | Camera controller, image processing module, and semiconductor system | |
JP6478504B2 (en) | Imaging apparatus and control method thereof | |
JP2009272890A (en) | Image processing apparatus and method, and imaging device | |
JP2008124850A (en) | Image motion correction apparatus, lens unit, and imaging apparatus | |
JP3588715B2 (en) | Motion detection device and image motion correction device | |
JP2002359768A (en) | Device and method for correcting motion of image | |
JP6395401B2 (en) | Image shake correction apparatus, control method therefor, optical apparatus, and imaging apparatus | |
JP3548328B2 (en) | Imaging device | |
CN111698416B (en) | Image processing apparatus, image processing method, and storage medium | |
JP6335671B2 (en) | Image blur correction apparatus and image blur correction method | |
JP2023005847A (en) | Image shake correction control device, imaging apparatus, interchangeable lens, and image shake correction control method | |
JP7182994B2 (en) | Image processing device, image processing method, and program | |
JP2011013555A (en) | Camera-shake correction device and optical instrument | |
JP3591357B2 (en) | Image motion compensation device | |
JP2001042376A (en) | Image movement correction device | |
JP3591358B2 (en) | Image motion compensation device |