JP2008160274A - Motion vector detection method, its apparatus and its program, electronic hand-blur correction method, its apparatus and its program, as well as imaging apparatus - Google Patents
Motion vector detection method, its apparatus and its program, electronic hand-blur correction method, its apparatus and its program, as well as imaging apparatus Download PDFInfo
- Publication number
- JP2008160274A JP2008160274A JP2006344318A JP2006344318A JP2008160274A JP 2008160274 A JP2008160274 A JP 2008160274A JP 2006344318 A JP2006344318 A JP 2006344318A JP 2006344318 A JP2006344318 A JP 2006344318A JP 2008160274 A JP2008160274 A JP 2008160274A
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement vector
- reference image
- comparison
- camera shake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明はデジタルカメラ等の撮像装置及びこの撮像装置に搭載される電子的手振れ補正装置等に係り、特に、光学ズームレンズを搭載した撮像装置、移動ベクトル検出方法及びその装置並びにそのプログラム、電子的手振れ補正方法及びその装置並びにそのプログラムに関する。 The present invention relates to an imaging apparatus such as a digital camera and an electronic camera shake correction apparatus mounted on the imaging apparatus, and more particularly to an imaging apparatus equipped with an optical zoom lens, a moving vector detection method and apparatus, and a program thereof, electronic The present invention relates to a camera shake correction method, an apparatus thereof, and a program thereof.
例えば、動画撮影機能を有するデジタルスチルカメラやビデオカメラ等を手に持ち動画を撮影する場合、カメラを持つ手が振れると、あるフレームの画像中に映っている静止物画像の位置が次フレームの画面では移動してしまい、見づらい動画になってしまう。そこで、あるフレームの画像に対して次フレームの画像の移動ベクトルを検出し、画像が揺れない様に手振れ補正を行うことが行われている。 For example, when shooting a video with a digital still camera or video camera with a video shooting function in hand, the position of the still object image shown in the image of a certain frame is the position of the next frame when the hand holding the camera shakes. It moves on the screen, making it difficult to see the video. Therefore, a movement vector of an image of the next frame is detected with respect to an image of a certain frame, and camera shake correction is performed so that the image does not shake.
図6は、手振れ補正を行うときの移動ベクトルを検出する原理を示す説明図である。図6(a)に示すNフレーム目の画像1中の所定アドレスで示されるブロック2内の画像を基準画像とすると、(N+1)フレーム目の画像3中の同一所定アドレスで示されるブロック4によって切り出された画像が基準画像と同一であれば、画像1に対して画像3は振れていないことになる。
FIG. 6 is an explanatory diagram illustrating the principle of detecting a movement vector when performing camera shake correction. If the image in the
しかし、手振れが発生していれば、ブロック2内の基準画像とブロック4で切り出された画像は一致しない。そこで、画像3中のブロック4を、4a,4b,4c,…と、X方向(水平方向),Y方向(垂直方向)に1画素づつずらしながら、各ブロック4a,4b,4c,…内の夫々の画像を基準画像と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。
However, if camera shake has occurred, the reference image in
図6(b)に示す例で、ブロック2の基準画像に対し最も相関性の高い比較画像がブロック4cで切り出されたとすると、画像1に対する画像3の差はベクトル「k」となる。このベクトルkが2画面間の移動ベクトルであり、画像1を表示した次に、画像3を移動ベクトルkと逆方向に移動させて表示すれば、手振れの無い画像を表示することができる。
In the example illustrated in FIG. 6B, if the comparison image having the highest correlation with the reference image of the
基準画像と比較画像の相関性を求める演算は、基準画像と比較画像の1画素1画素を比較し各差分のブロック内総画素の総和の最小値を求めることで行うため、演算負荷が高く、演算に要する時間も長くなり、次フレームの表示までに移動ベクトル算出が間に合わなくなってしまう。そこで通常は、ブロック4a,4b,4c,…を1画素づつずらすのではなく、例えば8画素づつずらし(8画素を1画素に間引いた縮小画像で比較演算を行うのと等価)、演算処理の負荷軽減を図ると共に、演算時間の短縮を図るようにしている。
The calculation for obtaining the correlation between the reference image and the comparison image is performed by comparing one pixel per pixel of the reference image and the comparison image to obtain the minimum value of the total sum of the pixels within each block of each difference. The time required for the calculation also becomes long, and the movement vector calculation is not in time until the next frame is displayed. Therefore, normally, the
尚、移動ベクトルの検出技術に関連する従来技術として、下記特許文献1等がある。
As a conventional technique related to the movement vector detection technique, there is
デジタルカメラ等には光学ズームレンズが搭載されるのが普通になっており、被写体画像を撮影している最中に撮影者はズームインしたりズームアウトしたりする。この光学ズーム操作が行われると、図6(a)の画像1と、図6(b)の画像3とで、同一被写体の撮像画像の大きさが異なることになる。
An optical zoom lens is usually mounted on a digital camera or the like, and a photographer zooms in or out while photographing a subject image. When this optical zoom operation is performed, the size of the captured image of the same subject is different between the
このため、光学ズーム操作中に基準画像と比較画像とを比較して移動ベクトルを算出しても、移動ベクトルの検出精度は悪くなる。精度の悪い移動ベクトルで手振れ補正を行うと、却って見づらい画面になってしまうため、従来は、光学ズーム操作が行われている間は、手振れ補正処理を停止するのが普通である。 For this reason, even if the movement vector is calculated by comparing the reference image and the comparison image during the optical zoom operation, the detection accuracy of the movement vector is deteriorated. If camera shake correction is performed with an inaccurate movement vector, the screen becomes difficult to see. Conventionally, the camera shake correction process is usually stopped while the optical zoom operation is being performed.
本発明の目的は、光学ズーム操作を行っても精度良く移動ベクトルを検出することができる移動ベクトル検出方法及びその装置並びにそのプログラム、電子的手振れ補正方法及びその装置並びにそのプログラム、撮像装置を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide a movement vector detection method and apparatus capable of accurately detecting a movement vector even when an optical zoom operation is performed, a program thereof, an electronic camera shake correction method and apparatus thereof, a program thereof, and an imaging apparatus. There is to do.
本発明の移動ベクトル検出方法は、基準画像と比較画像を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出する移動ベクトル検出方法において、前記基準画像に対する前記比較画像の光学ズーム倍率が変動した場合には該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および/または前記比較画像を電子ズーム補正して前記移動ベクトルを算出することを特徴とする。 In the movement vector detection method of the present invention, a reference image and a comparison image are subjected to a comparison calculation process, a cutout position of a comparison image having a high correlation with the reference image is obtained, and a movement vector of the comparison image with respect to the reference image is determined based on the position. In the movement vector detection method to be calculated, when the optical zoom magnification of the comparison image with respect to the reference image varies, the reference image and the comparison image are set to have the same magnification based on the information of the optical zoom magnification. The movement vector is calculated by electronic zoom correction of the image and / or the comparison image.
本発明の移動ベクトル検出装置は、基準画像と比較画像を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出する移動ベクトル検出装置において、前記基準画像に対する前記比較画像の光学ズーム倍率が変動した場合には該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および/または前記比較画像を電子ズーム補正する電子ズーム処理手段を備えることを特徴とする。 The movement vector detection apparatus according to the present invention performs a comparison calculation process on the reference image and the comparison image, obtains a cutout position of the comparison image having a high correlation with the reference image, and determines a movement vector of the comparison image with respect to the reference image based on the position. In the movement vector detection device to be calculated, when the optical zoom magnification of the comparison image with respect to the reference image varies, the reference image and the comparison image are set to have the same magnification based on the information of the optical zoom magnification. Electronic zoom processing means for correcting electronic zoom of the image and / or the comparison image is provided.
本発明の移動ベクトル検出プログラムは、基準画像と比較画像を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出する移動ベクトル検出プログラムにおいて、前記基準画像に対する前記比較画像の光学ズーム倍率の変動を検出するステップと、該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および/または前記比較画像を電子ズーム補正して前記移動ベクトルを算出するステップとを備えることを特徴とする。 The movement vector detection program of the present invention performs a comparison calculation process on a reference image and a comparison image, obtains a cutout position of the comparison image having a high correlation with the reference image, and determines a movement vector of the comparison image with respect to the reference image based on the position. In the movement vector detection program to be calculated, the step of detecting a change in the optical zoom magnification of the comparison image with respect to the reference image, and the reference image and the comparison image are set to have the same magnification based on the information of the optical zoom magnification. And calculating the movement vector by performing electronic zoom correction on the reference image and / or the comparison image.
本発明の電子的手振れ補正方法は、固体撮像素子から出力される撮像画像データの切り出し範囲を手振れ量に応じて検出される移動ベクトルに基づき移動させる電子的手振れ補正方法において、前記移動ベクトルを上記記載の移動ベクトル検出方法で検出することを特徴とする。 The electronic camera shake correction method of the present invention is an electronic camera shake correction method for moving a cutout range of captured image data output from a solid-state imaging device based on a motion vector detected according to a camera shake amount. It detects by the movement vector detection method of description.
本発明の電子的手振れ補正装置は、固体撮像素子から出力される撮像画像データの切り出し範囲を手振れ量に応じて検出される移動ベクトルに基づき移動させる電子的手振れ補正装置において、前記移動ベクトルを上記記載の移動ベクトル検出装置で検出することを特徴とする。 An electronic camera shake correction apparatus according to the present invention is an electronic camera shake correction apparatus that moves a cutout range of captured image data output from a solid-state imaging device based on a motion vector detected according to a camera shake amount. It detects by the movement vector detection apparatus of description.
本発明の電子的手振れ補正プログラムは、固体撮像素子から出力される撮像画像データの切り出し範囲を手振れ量に応じて検出される移動ベクトルに基づき移動させる電子的手振れ補正プログラムにおいて、前記移動ベクトルを上記記載の移動ベクトル検出プログラムで検出することを特徴とする。 The electronic camera shake correction program of the present invention is an electronic camera shake correction program for moving a cutout range of captured image data output from a solid-state imaging device based on a motion vector detected according to a camera shake amount. It is detected by the described movement vector detection program.
本発明の撮像装置は、固体撮像素子と、該固体撮像素子の前部に設けられた光学ズームレンズ系と、上記記載の電子的手振れ補正装置とを備えることを特徴とする。 An image pickup apparatus according to the present invention includes a solid-state image pickup device, an optical zoom lens system provided at a front portion of the solid-state image pickup device, and the electronic image stabilization device described above.
本発明によれば、基準画像を切り出す画像データに対して比較画像を切り出す画像データの光学ズーム倍率が変動した場合には、基準画像と比較画像とが同一倍率となるように電子ズーム補正するため、光学ズーム倍率が変動しても精度良く移動ベクトルを算出することができ、電子的手振れ補正を行う場合にはこの補正を精度良く行うことが可能となる。 According to the present invention, when the optical zoom magnification of the image data from which the comparison image is cut out with respect to the image data from which the reference image is cut out, the electronic zoom correction is performed so that the reference image and the comparison image have the same magnification. Even if the optical zoom magnification changes, the movement vector can be calculated with high accuracy, and when electronic camera shake correction is performed, this correction can be performed with high accuracy.
以下、本発明の一実施形態について、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図1は、本発明の一実施形態に係るデジタルカメラの構成図である。このデジタルカメラは、撮像部21と、撮像部21から出力されるアナログの画像データを自動利得調整(AGC)や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部22と、アナログ信号処理部22から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部(A/D)23と、後述のシステム制御部(CPU)29からの指示によってA/D23,アナログ信号処理部22,撮像部21の駆動制御を行う駆動制御部(タイミングジェネレータを含む)24と、CPU29からの指示によって発光するフラッシュ25とを備える。
FIG. 1 is a configuration diagram of a digital camera according to an embodiment of the present invention. The digital camera includes an imaging unit 21, an analog
撮像部21は、被写界からの光を集光すると共に被写体をズームインしたりズームアウトすることができる光学ズームレンズ系21aと、光学ズームレンズ系21aの光学倍率を駆動制御部24からの指示により制御するズーム駆動部21bと、光学ズームレンズ系21aによって集光され絞りによって絞られた光を受光し撮像画像データ(アナログ画像データ)を出力する固体撮像素子100とを備える。
The imaging unit 21 collects light from the object scene and zooms in and out of the subject, and an optical magnification of the optical
固体撮像素子100は、CCD型でもCMOS型でも、また、他の型の固体撮像素子でも良く、電子的手振れ補正処理を行うために、有効画素領域が撮像範囲より広くなっている。
The solid-
本実施形態のデジタルカメラは更に、A/D23から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正,RGB/YC変換処理等を行うデジタル信号処理部26と、画像データをJPEG形式などの画像データに圧縮したり逆に伸長したりする圧縮/伸長処理部27と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部28と、デジタルカメラ全体を統括制御するシステム制御部(CPU)29と、フレームメモリ等の内部メモリ30と、JPEG画像データ等を格納する記録メディア32との間のインタフェース処理を行うメディアインタフェース(I/F)部31と、これらを相互に接続するバス40とを備え、また、システム制御部29には、ユーザからの指示入力を行う操作部33が接続されている。
The digital camera of the present embodiment further includes a digital
図2は、図1に示したデジタルカメラで電子的手振れ補正処理を行う場合に構成される電子的手振れ補正処理装置50の機能構成図である。この電子的手振れ補正処理装置50は、ユーザが図1に示す操作部33から電子的手振れ補正処理を行う旨の指示入力があったとき、システム制御部29が移動ベクトル検出プログラムを含む電子的手振れ補正処理プログラムを起動することで、システム制御部29が配下のデジタル信号処理部26,内部メモリ30等を用いて構成する。
FIG. 2 is a functional configuration diagram of an electronic camera shake
この電子的手振れ補正処理装置50は、固体撮像素子100から出力される画像データを間引き処理して縮小画像を生成する間引き処理部51と、nフレーム目(偶数フレーム目)の間引き縮小画像データを格納する第1メモリ52と、n+1フレーム目(奇数フレーム目)の間引き縮小画像データを格納する第2メモリ53と、第1メモリ52から読み出された縮小画像データに対して電子ズーム処理を施す第1電子ズーム処理部54と、第2メモリ53から読み出された縮小画像データに対して電子ズーム処理を施す第2電子ズーム処理部55とを備える。
The electronic camera shake
本実施形態では、移動ベクトル算出処理の高速化を図るために間引き処理部51で基準画像,比較画像の夫々の縮小画像を生成している。演算処理装置として高性能なものが使用できメモリ容量に余裕があれば、間引き処理せずに、元画像データを用いて移動ベクトルを算出することも可能である。
In this embodiment, in order to speed up the movement vector calculation process, the thinning
電子的手振れ補正処理装置50は更に、図1に示すズーム駆動部21bに指示された光学ズーム倍率情報を取得し該光学ズーム倍率に基づき第1,第2電子ズーム処理部54,55の夫々に対して電子ズーム倍率を指示する電子ズーム倍率制御部56と、第1,第2電子ズーム処理部54,55の夫々から取り込んだ2つの縮小画像データを相互に比較し移動ベクトルを算出する移動ベクトル検出処理部57と、検出された移動ベクトルに基づき内部メモリ30の撮像画像データの読み出し範囲(切り出し範囲)を決める読出制御処理部58とを備える。
The electronic camera shake
斯かる電子的手振れ補正処理装置50で、動画の手振れ補正を行うときの動作について説明する。固体撮像素子100からは、偶数フレームの撮像画像データと奇数フレームの撮像画像データとが交互に出力され、各撮像画像データは、内部メモリ30に格納される。
An operation when the electronic camera shake
固体撮像素子100から出力される撮像画像データは、内部メモリ30への格納と並行して、間引き処理部51を通って縮小画像データとなり、メモリ52,53に格納される。
In parallel with the storage in the
今、nフレーム目の画像データに対してn+1フレーム目の画像データの移動ベクトルを検出するとする。つまり、nフレーム目の画像データ(縮小画像データ)から基準画像を切り出し、nフレーム目の画像データ(縮小画像データ)から比較画像を切り出し、両者の相関性を求める。 Assume that the movement vector of the image data of the (n + 1) th frame is detected with respect to the image data of the nth frame. That is, the reference image is cut out from the nth frame image data (reduced image data), the comparison image is cut out from the nth frame image data (reduced image data), and the correlation between both is obtained.
この場合、電子ズーム倍率制御部56は、nフレーム目の画像データの撮像倍率を“1”としたときの、n+1フレーム目の画像データの撮像倍率Mを光学ズーム倍率情報から求める。そして、電子ズーム処理部54に対して、電子ズーム倍率“1”を指示し、電子ズーム処理部55に対しては、電子ズーム倍率“1/M”を指示する。
In this case, the electronic zoom
撮影者が光学ズーム操作を行っておらず、nフレーム目の画像データの撮像倍率に対してn+1フレーム目の画像データの撮像倍率が同じであれば、電子ズーム処理部54,55には、共に、電子ズーム倍率“1”が指示されることになる。
If the photographer does not perform the optical zoom operation and the imaging magnification of the image data of the (n + 1) th frame is the same as the imaging magnification of the image data of the nth frame, both the electronic
移動ベクトル検出処理部57は、nフレーム目の縮小画像から基準画像を切り出し、n+1フレーム目の縮小画像から比較画像を切り出し、両者の相関性を求めることで、移動ベクトルを算出する。この移動ベクトルの求め方は、図6で説明した場合と同じである。
The movement vector
この移動ベクトルの検出処理時には、本実施形態では、図3(a)に示す様に、1画面を4行4列の計16個の分割画面に分割し、各分割画面♯1〜♯16毎に移動ベクトルの算出を行う。即ち、基準画像の♯1分割画面では中央の矩形枠5で基準画像を切り出し、比較画像の♯1分割画面では、矩形枠5と同一枠を♯1分割画面内で移動させながら相関性の高い比較画像の切出位置を求める。
In this movement vector detection process, in this embodiment, as shown in FIG. 3A, one screen is divided into a total of 16 divided screens of 4 rows and 4 columns, and each divided
この様に各分割画面毎に移動ベクトルを求めると、図3(b)に示す様に、計16個の部分移動ベクトルK1〜K16が算出される。そして、16個の部分移動ベクトルの平均値を算出し、この平均値を2画面間の移動ベクトルとする。 When the movement vectors are obtained for each divided screen in this way, a total of 16 partial movement vectors K1 to K16 are calculated as shown in FIG. Then, an average value of 16 partial movement vectors is calculated, and this average value is set as a movement vector between two screens.
図3(b)に示す部分移動ベクトルは、全て所定閾値範囲内で同一方向を向いているため、16個の部分移動ベクトルの平均値を2画面間の移動ベクトルとしている。しかし、例えば、♯16分割画面内に動き回る小動物が居たとすると、部分移動ベクトルK16は、他の部分移動ベクトルと比較して所定閾値範囲外となる異常値を示すことになる。この様な異常値を示す部分移動ベクトルが存在した場合には、異常値を示す部分移動ベクトルは除外し、所定閾値範囲内の部分移動ベクトルの平均値を2画面間の移動ベクトルとする。 Since the partial movement vectors shown in FIG. 3B all face the same direction within a predetermined threshold range, the average value of 16 partial movement vectors is used as a movement vector between two screens. However, for example, if there is a small animal that moves around in the # 16 divided screen, the partial movement vector K16 indicates an abnormal value that is outside the predetermined threshold range as compared with other partial movement vectors. When such a partial movement vector indicating an abnormal value exists, the partial movement vector indicating the abnormal value is excluded, and the average value of the partial movement vectors within a predetermined threshold range is set as a movement vector between two screens.
2画面間の移動ベクトルKが算出された後は、読出制御処理部58が内部メモリ30に対して切り出し範囲を指示する。これにより、nフレーム目の画像がある切り出し範囲で切り出され出力された後、n+1フレーム目の画像が移動ベクトルに基づく切り出し範囲で切り出され出力されるため、手振れ補正がされた動画像が出力されることになる。
After the movement vector K between the two screens is calculated, the read
次フレーム(n+2フレーム目)の画像データが固体撮像素子100から出力されると、この画像データは内部メモリ30に格納される共に、間引き処理部51で間引きされ、縮小画像データがメモリ52に上書きされる。そして、今度は、n+1フレーム目の縮小画像が基準画像となり、n+2フレーム目の縮小画像から比較画像が切り出され、n+1フレーム目の撮像画像に対するn+2フレーム目の撮像画層の移動ベクトルが上述と同様に算出され、この移動ベクトルに基づき、n+2フレーム目の撮像画像データが切り出され出力される。
When the image data of the next frame (n + 2 frame) is output from the solid-
この様な電子的手振れ補正処理を次々と繰り返している最中に、光学ズーム倍率が変更され、例えば、図4に示すnフレーム目の画像データに対して、n+1フレーム目の画像が倍率Mで拡大された画像になったとする。 While such electronic image stabilization processing is being repeated one after another, the optical zoom magnification is changed. For example, for the nth frame image data shown in FIG. Assume that the image is enlarged.
この場合には、電子ズーム倍率制御部56は、電子ズーム処理部55に対して、電子ズーム倍率“1/M”を指示する(電子ズーム処理部54に対する指示倍率は“1”)。これにより、M倍の拡大画像が1/Mに縮小されるため、基準画像と比較画像とは同一倍率となり、比較演算が可能となる。
In this case, the electronic zoom
そこで、移動ベクトル検出処理部57は、上述した基準画像(nフレーム画像)と比較画像(n+1フレーム画像の電子ズーム処理後の画像)との比較演算により、2画面間の移動ベクトルの算出を行う。この移動ベクトルの算出時には、図4に図示する例では、♯1〜♯4,♯5,♯8,♯9,♯12,♯13〜♯16の分割画面には画像データが無い状態となっている。このため、移動ベクトル検出処理部57は、♯6,♯7,♯10,♯11の分割画面での各部分移動ベクトルだけを求め、2画面間の移動ベクトルを算出する。
Therefore, the movement vector
n+1フレーム目の画像に対して、次に固体撮像素子100から取り込まれたn+2フレーム目の画像が、図5に示す様に、1/Mに縮小された画像になった場合には、電子ズーム倍率制御部56は、電子ズーム処理部54に電子ズーム倍率1/(1/M)=Mを指示する(電子ズーム処理部55に対する指示倍率は“1”)。これにより、1/M倍の縮小画像がM倍に拡大されるため、基準画像と比較画像とが同一倍率となり、比較演算が可能となる。
If the image of the (n + 2) th frame captured from the solid-
そこで、移動ベクトル検出処理部57は、上述した比較演算により、2画面間の移動ベクトルを算出する。この場合には、♯1〜♯16の全分割画面に画像データが存在するため、部分移動ベクトルK1〜K16を求め、2画面間の移動ベクトルを算出する。
Therefore, the movement vector
以上述べた様に、光学ズーム倍率の変更操作が行われた場合でも、本実施形態では精度良く移動ベクトルの算出ができるため、光学ズーム倍率の変更中でも電子的手振れ補正を行うことが可能となり、見易い動画像を得ることができる。 As described above, even when an operation for changing the optical zoom magnification is performed, in this embodiment, since the movement vector can be calculated with high accuracy, it is possible to perform electronic camera shake correction even when the optical zoom magnification is changed. An easy-to-view moving image can be obtained.
尚、上述した実施形態では、基準画像の電子ズーム倍率を常時“1”とし、比較画像の電子ズーム倍率を光学ズーム倍率の逆倍率としたが、基準画像と比較画像とが同一倍率になれば比較演算が可能となるため、基準画像の電子ズーム倍率を常時“1”にする必要はない。例えば図4で、nフレーム画像を拡大電子ズームしてn+1フレーム画像と比較演算処理する構成とすることでも良い。また、基準画像と比較画像の両方ともに電子ズーム処理して同一倍率に補正することでも良いことはいうまでもない。 In the above-described embodiment, the electronic zoom magnification of the reference image is always “1” and the electronic zoom magnification of the comparison image is the reverse magnification of the optical zoom magnification. However, if the reference image and the comparison image have the same magnification, Since the comparison operation is possible, it is not necessary to always set the electronic zoom magnification of the reference image to “1”. For example, in FIG. 4, the n-frame image may be enlarged and electronically zoomed and compared with the n + 1 frame image. It goes without saying that both the reference image and the comparative image may be corrected to the same magnification by electronic zoom processing.
また、上述した実施形態では、電子的手振れ補正について述べたが、画面中の動体検出に用いる移動ベクトルの算出にも上記実施形態を同様に適用することができる。また、上述した実施形態では、デジタルカメラ内部での処理として説明したが、固体撮像素子100から出力される画像データを全て記録しておき、これを外部のパーソナルコンピュータ等に取り込み、パーソナルコンピュータが移動ベクトル検出プログラムや電子的手振れ補正プログラムを実行することでも同様に処理が可能である。
In the above-described embodiment, the electronic camera shake correction has been described. However, the above-described embodiment can be similarly applied to the calculation of a movement vector used for moving object detection in the screen. In the above-described embodiment, the processing is described as processing inside the digital camera. However, all the image data output from the solid-
本発明に係る撮像装置やプログラムは、光学ズーム中でも精度良く移動ベクトルを算出できるため、デジタルカメラや画像処理プログラムとして適用すると有用である。 The imaging apparatus and program according to the present invention can be used as a digital camera or an image processing program because the movement vector can be accurately calculated even during optical zoom.
21 撮像部
21a 光学ズームレンズ系
21b ズーム駆動部
29 システム制御部
30 内部メモリ
50 電子的手振れ補正処理部
51 間引き処理部
52,53 メモリ
54,55 電子ズーム処理部
56 電子ズーム倍率制御部
57 移動ベクトル検出処理部
58 読出制御処理部
100 固体撮像素子
21
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006344318A JP2008160274A (en) | 2006-12-21 | 2006-12-21 | Motion vector detection method, its apparatus and its program, electronic hand-blur correction method, its apparatus and its program, as well as imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006344318A JP2008160274A (en) | 2006-12-21 | 2006-12-21 | Motion vector detection method, its apparatus and its program, electronic hand-blur correction method, its apparatus and its program, as well as imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008160274A true JP2008160274A (en) | 2008-07-10 |
Family
ID=39660734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006344318A Withdrawn JP2008160274A (en) | 2006-12-21 | 2006-12-21 | Motion vector detection method, its apparatus and its program, electronic hand-blur correction method, its apparatus and its program, as well as imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008160274A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8400515B2 (en) | 2009-02-03 | 2013-03-19 | JVC Kenwood Corporation | Image correction processing apparatus and method |
JP2013143712A (en) * | 2012-01-12 | 2013-07-22 | Canon Inc | Image processing device, image pickup device having image processing device, image processing method and program, and storage medium having program stored therein |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795590A (en) * | 1993-09-17 | 1995-04-07 | Sony Corp | Method and device for processing video signal and image pickup device |
JPH07203280A (en) * | 1993-12-28 | 1995-08-04 | Canon Inc | Controller for detecting image blur |
-
2006
- 2006-12-21 JP JP2006344318A patent/JP2008160274A/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795590A (en) * | 1993-09-17 | 1995-04-07 | Sony Corp | Method and device for processing video signal and image pickup device |
JPH07203280A (en) * | 1993-12-28 | 1995-08-04 | Canon Inc | Controller for detecting image blur |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8400515B2 (en) | 2009-02-03 | 2013-03-19 | JVC Kenwood Corporation | Image correction processing apparatus and method |
JP2013143712A (en) * | 2012-01-12 | 2013-07-22 | Canon Inc | Image processing device, image pickup device having image processing device, image processing method and program, and storage medium having program stored therein |
US9258492B2 (en) | 2012-01-12 | 2016-02-09 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus including image processing apparatus, image processing method, and storage medium in which program is stored for acquiring and processing images taken at different focus positions |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4656216B2 (en) | Imaging apparatus, image processing apparatus, image processing method, program, and recording medium | |
JP4759524B2 (en) | Electronic camera shake correction method and apparatus, electronic camera shake correction program, and imaging apparatus | |
JP2012199752A (en) | Image processing apparatus, image processing method, and program | |
JP2009284394A (en) | Imaging apparatus and imaging method | |
JP2013165485A (en) | Image processing apparatus, image capturing apparatus, and computer program | |
JP4985124B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2007243335A (en) | Camera shake correction method, camera shake correction apparatus, and imaging apparatus | |
JP6261397B2 (en) | Imaging apparatus and control method thereof | |
JP5105844B2 (en) | Imaging apparatus and method | |
JP2012120152A (en) | Imaging apparatus and control method of the same | |
JP4670663B2 (en) | Image generating apparatus and image generating program | |
JP2011114486A (en) | Imaging device | |
JP2007267232A (en) | Electronic camera shake correction method and apparatus thereof, and imaging apparatus | |
US20220321743A1 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2008160274A (en) | Motion vector detection method, its apparatus and its program, electronic hand-blur correction method, its apparatus and its program, as well as imaging apparatus | |
JP5179859B2 (en) | Imaging apparatus and imaging method | |
JP4665826B2 (en) | Imaging apparatus and image processing program | |
JP4597073B2 (en) | Camera shake correction method, camera shake correction apparatus, and imaging apparatus | |
JP2009027437A (en) | Image processor, image processing method and imaging device | |
JP2008048152A (en) | Moving picture processing apparatus, moving picture photographing apparatus and moving picture photographing program | |
JP2008172309A (en) | Electronic hand blurring correction method, device and program and imaging apparatus | |
JP2011078132A (en) | Imaging apparatus, imaging method, image processing apparatus, image processing method, program and recording medium | |
JP2007243332A (en) | Motion vector calculation method, motion vector calculation apparatus, and imaging apparatus | |
JP2007259105A (en) | Camera shake correcting method and its apparatus, and imaging apparatus | |
JP2009049457A (en) | Imaging device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110317 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110606 |