JP2011097217A - 動き補正装置およびその方法 - Google Patents
動き補正装置およびその方法 Download PDFInfo
- Publication number
- JP2011097217A JP2011097217A JP2009247428A JP2009247428A JP2011097217A JP 2011097217 A JP2011097217 A JP 2011097217A JP 2009247428 A JP2009247428 A JP 2009247428A JP 2009247428 A JP2009247428 A JP 2009247428A JP 2011097217 A JP2011097217 A JP 2011097217A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- movement amount
- movement
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】時間的に連続する画像から特徴点を抽出する特徴点抽出部120と、特徴点の移動量を検出する移動量検出部130と、記移動量を元に画像のブレ補正を行うブレ補正部170と、を有し、特徴点抽出部120は、画像の四隅における特徴点を抽出し、ブレ補正部170は、特徴点抽出部120で抽出された特徴点の移動量を用いて画像の射影変換を施してブレ補正を行う。
【選択図】図5
Description
また、X軸を中心に回転運動する場合をθx軸、Y軸を中心に回転運動する場合をθy軸、Z軸を回転運動する場合をθz軸とする。
図2は、2軸補正のイメージを示す図である。図2において、2は基準画像エリアを示している。
また、θx、θyに対しても補正する方式としては、特許文献2に開示された技術などが提案されている。
ブロックマッチング法は、画像中のある大きさの領域をブロック化し、それに連続する画像中において、先の画像のブロックを中心とした、より大きなブロック領域について全探索し、ブロック間の差分評価関数の値を最小とする点を動きベクトルとする方法である。
図3(A)において、21は検索元画像の検索基準ブロックを示す。22は検索先画像の検索対象ブロックを示す。
図3(B)に示すように、検索対象ブロック22の中で検索基準ブロック21と同じサイズのエリア23を順次サーチしながら、それぞれの相関を求め、一番相関度の高い位置を求めることにより、動きベクトルを導く。
このように、ブロックマッチング法は、画像の縦と横の動きをサーチする方式のため、画像の移動方向がX軸、Y軸のみの場合は精度よく、移動量の検出ができるが、それ以外の軸の動きについては、検出精度が弱いという欠点がある。
X軸、Y軸の動きの場合、図4(A)に示すように、基本的に画像間での物体の形は変化しない。そのため、ブロックマッチングした時の画像の一致度は高く、精度の高い動き量検出をすることが可能である。
この場合、画像が回転してしまうため、X軸とY軸を固定してサーチするブロックマッチング法では、画像間の一致度が低くなってしまう。
この場合は、画像のサイズが変わってしまう。
この場合は、画像に歪みが発生してしまう。そのため、やはり画像間の一致度が低くなってしまう。
このような理由により、X軸、Y軸以外の動きについては、動き量の検出精度が低くなる。
本画像処理装置100は、異なる連続した画像間の情報から、画像の四隅における物体の移動量を求め、求めた移動量を基に、画像を射影変換することにより、全ての移動方向に対する補正を可能に構成されている。
また、画像処理装置100は、画像の四隅における物体の移動量を求める方法として、特徴点の移動量検出を用いることにより、精度の高い補正を可能に構成されている。
さらに、画像処理装置100は、画像の四隅周辺の一定範囲における、複数特徴点の移動量を求めることにより、画像のノイズや被写体の移動にも対応可能に構成されている。
特徴点抽出部120は、画像の四隅の特徴点を抽出する機能を有している。
特徴点抽出部120は、画像の四隅の任意の抽出エリアにおいて複数の特徴点を抽出する。
特徴点抽出部120は、特徴点が抽出できない場合は、抽出エリアを拡大して特徴点の抽出を行う機能を有している。
特徴点抽出部120は、抽出した画像の特徴点を特徴点移動量検出部130に出力する。
特徴点移動量検出部130は、特徴点の移動量検出法として、勾配法や、Lucas-Kanade法、ピラミッド再帰Lucas-Kanade法などが採用可能である。
移動量異常値排除部140は、特徴点移動量検出部130で求めた動きベクトルが有効か無効かを判断する基準として、いわゆる管理図の手法を用いることができる。
このことにより、移動量異常値排除部140は、特徴点移動量検出部130で求めた動きベクトル値のばらつきを、平均値と範囲によって管理し、該当動きベクトルが管理限界を超えているかどうかで、有効か無効かを判断することにより、移動量の異常値を高精度に排除し、高精度な移動量検出を実現することができる。
検出された動きベクトルについて、管理図の手法を用いて有効か否かの判断をすることによって信頼性の高い動きベクトルの検出結果を得ることができる。
図7は、θx軸ブレ時の補正処理について説明するための図である。
ここでは、例として、図6に示すように、θx軸が動いた場合について説明する。
図6において、カメラ200がθx軸の上から下にブレが発生した場合、画角は、実線Aの三角の部分から、破線Bの三角部分に移動する。
その場合に、撮像される画像位置は、図右のようなエリアになる。画面上部においては、被写体の位置が相対的に近くなり、画面下部においては、被写体の位置が相対的に遠くなるため、画像IMは、下に移動するとともに、画面上部は小さく、画面下部は大きな台形の形になる。
そのため、まず、異なる連続した画像間の情報から、画像四隅における物体の移動量を求める。
その後、求めた移動量を元に、移動量の逆方向に座標を戻すように射影変換することにより、全ての移動方向に対する補正が可能になる。
射影変換は、変換前の座標を(x,y)、変換後の座標を(x’,y’)とすると、以下の式で表される。
特徴点の移動量検法としては、前述したように、勾配法や、Lucas-Kanade法、ピラミッド再帰Lucas-Kanade法などがある。
しかし、特徴点によって移動量を検出する場合、移動量と方向については、点で求められるので、画像の歪みなどに影響されにくい。
図9(A)〜(D)は、移動量検出処理を採用した場合のX軸、Y軸およびそれ以外の軸の動き検出の例を示す図である。
また、この方式を用いた場合は、図9(A)〜(D)に示すように、どの軸に対しても対応可能である。
図10は、複数の特徴点抽出による補正処理について説明するための図である。
図10に示すように、画像四隅の角を中心に一定のエリアAR1,AR2,AR3,AR4を指定し、複数の特徴点の移動量を求める。
求めた移動量値には、異常な値が入っている可能性もあるので、そのような値は除く処理を行い、正確な移動量を求める。
このような場合は、以下のような手法を用いる。
画像中心部の移動量をゼロにする方法の例として、以下の二つの方法を示す。
図12は、画像中心部の移動量をゼロにする第2の方法を示す図である。
図13は、複数の特徴点抽出による他の補正処理について説明するための図である。
そして、画像四隅で求めた各移動量を、画像中心部から四隅に対する比率を掛け合わせ、移動量を計算する。
たとえば、図13に示すように、画像中心の座標を(0,0)、画像四隅の一つの角の座標を(x,y)、移動量を求める座標(m,n)において求めた移動量(Xm,Yn)とし、前記の方法で求めた画像中心部の移動量を(Xc,Yc)とする場合、画像四隅の角における移動量(XM,YN)は以下のように求められる。
特徴点抽出部120において、画像入力部110から供給された時間的に連続するが画像から特徴点が抽出され(ST1)、抽出した画像の特徴点が特徴点移動量検出部130に出力される。
特徴点移動量検出部130では、特徴点抽出部120で抽出された画像の特徴点の移動量を検出される(ST2)。
特徴点移動量検出部130では、全特徴点の移動量の検出が完了するまで移動量検出が行われる(ST3)。
そして、ステップST1〜ST3の処理が画像の四隅の特徴点の検出が完了するまで行われる(ST4)。
次に、移動量異常値排除部140において、特徴点移動量検出部130で検出された特徴点の移動量の値から異常値が排除され(ST5)、異常値が排除された特徴点の移動量が画像中心移動量検出部150に出力される。
画像中心移動量検出部150では、画像中心部の移動量が検出される(ST6)。その画像中心部の移動量情報は画像四隅移動量検出部160に出力される。
画像四隅移動量検出部160では、画像中心移動量検出部150による画像中心の移動量情報を基に画像中心部のX軸、Y軸の移動量を0にし、移動量異常値排除部140で異常値が排除された特徴点の移動量が、抽出エリアの中心と画像中心との距離によって正規化されて、画像の四隅の移動量が検出され(ST7)、検出結果をブレ補正部170に出力される。
そして、ブレ補正部170において、画像四隅移動量検出部160による特徴点の移動量情報を用いて、画像出力部180における画像の射影変換が施されてブレ(動き)が補正され、出力される(ST8)。
また、本実施形態によれば、画像四隅周辺の一定範囲における、複数特徴点の移動量を求めることにより、画像のノイズや被写体の移動にも対応可能な、精度の高い補正が可能となる。
Claims (6)
- 時間的に連続する画像から特徴点を抽出する特徴点抽出部と、
前記特徴点の移動量を検出する移動量検出部と、
前記移動量を元に画像のブレ補正を行うブレ補正部と、を有し、
前記特徴点抽出部は、
画像の四隅における特徴点を抽出し、
前記ブレ補正部は、
前記特徴点抽出部で抽出された前記特徴点の移動量を用いて画像の射影変換を施してブレ補正を行う
動き補正装置。 - 前記特徴点抽出部は、
前記画像の四隅の任意の抽出エリアにおいて複数の特徴点を抽出する
請求項1に記載の動き補正装置。 - 前記移動量検出部は、
前記複数の特徴点の移動量を選択して用いて前記抽出エリアとしての移動量を検出する
請求項2に記載の動き補正装置。 - 上記移動量検出部は、
前記特徴点の移動量を、前記抽出エリアの中心と画像中心との距離によって正規化する機能を有する
請求項2または3に記載の動き補正装置。 - 前記特徴点抽出部は、
前記特徴点が抽出できない場合は、前記抽出エリアを拡大して前記特徴点の抽出を行う
請求項2から4のいずれか一に記載の動き補正装置。 - 時間的に連続する画像の四隅における特徴点を抽出するステップと、
前記特徴点の移動量を検出するステップと、
前記移動量を用いて画像に射影変換を施してブレ補正を行うステップと、
を有する動き補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009247428A JP5449980B2 (ja) | 2009-10-28 | 2009-10-28 | 動き補正装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009247428A JP5449980B2 (ja) | 2009-10-28 | 2009-10-28 | 動き補正装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011097217A true JP2011097217A (ja) | 2011-05-12 |
JP5449980B2 JP5449980B2 (ja) | 2014-03-19 |
Family
ID=44113699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009247428A Active JP5449980B2 (ja) | 2009-10-28 | 2009-10-28 | 動き補正装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5449980B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013062741A (ja) * | 2011-09-14 | 2013-04-04 | Ricoh Co Ltd | 画像処理装置および撮像装置、ならびに画像処理方法 |
JP2013187910A (ja) * | 2012-03-06 | 2013-09-19 | Samsung Electronics Co Ltd | ロバストに非均一モーションブラーを推定する方法及び装置 |
US9940699B2 (en) | 2015-05-28 | 2018-04-10 | Casio Computer Co., Ltd. | Image processing apparatus capable of appropriate image conversion in all regions of an image in image transformation processing |
US9965828B2 (en) | 2015-05-21 | 2018-05-08 | Casio Computer Co., Ltd. | Image processing apparatus for keeping an image from transforming into an indeterminate shape in image transformation processing |
WO2019013214A1 (ja) * | 2017-07-12 | 2019-01-17 | シャープ株式会社 | 補正装置、撮像装置、補正装置の制御方法、および制御プログラム |
CN110022439A (zh) * | 2019-01-29 | 2019-07-16 | 威盛电子股份有限公司 | 全景视频图像稳定装置、编码方法及播放方法和评估方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08172566A (ja) * | 1994-12-16 | 1996-07-02 | Sanyo Electric Co Ltd | 手振れ補正装置およびそれを用いたビデオカメラ |
JP2005252625A (ja) * | 2004-03-03 | 2005-09-15 | Canon Inc | 撮像装置および画像処理方法 |
JP2005269419A (ja) * | 2004-03-19 | 2005-09-29 | Canon Inc | 画像変形推定方法および画像変形推定装置 |
JP2009017271A (ja) * | 2007-07-05 | 2009-01-22 | Nikon Corp | 撮像装置 |
-
2009
- 2009-10-28 JP JP2009247428A patent/JP5449980B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08172566A (ja) * | 1994-12-16 | 1996-07-02 | Sanyo Electric Co Ltd | 手振れ補正装置およびそれを用いたビデオカメラ |
JP2005252625A (ja) * | 2004-03-03 | 2005-09-15 | Canon Inc | 撮像装置および画像処理方法 |
JP2005269419A (ja) * | 2004-03-19 | 2005-09-29 | Canon Inc | 画像変形推定方法および画像変形推定装置 |
JP2009017271A (ja) * | 2007-07-05 | 2009-01-22 | Nikon Corp | 撮像装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013062741A (ja) * | 2011-09-14 | 2013-04-04 | Ricoh Co Ltd | 画像処理装置および撮像装置、ならびに画像処理方法 |
US9129401B2 (en) | 2011-09-14 | 2015-09-08 | Ricoh Company, Ltd. | Image processing apparatus, imaging apparatus, and image processing method, configured to process reduced-size images |
JP2013187910A (ja) * | 2012-03-06 | 2013-09-19 | Samsung Electronics Co Ltd | ロバストに非均一モーションブラーを推定する方法及び装置 |
US9965828B2 (en) | 2015-05-21 | 2018-05-08 | Casio Computer Co., Ltd. | Image processing apparatus for keeping an image from transforming into an indeterminate shape in image transformation processing |
US9940699B2 (en) | 2015-05-28 | 2018-04-10 | Casio Computer Co., Ltd. | Image processing apparatus capable of appropriate image conversion in all regions of an image in image transformation processing |
WO2019013214A1 (ja) * | 2017-07-12 | 2019-01-17 | シャープ株式会社 | 補正装置、撮像装置、補正装置の制御方法、および制御プログラム |
CN110022439A (zh) * | 2019-01-29 | 2019-07-16 | 威盛电子股份有限公司 | 全景视频图像稳定装置、编码方法及播放方法和评估方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5449980B2 (ja) | 2014-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2640057B1 (en) | Image processing device, image processing method and program | |
JP4377932B2 (ja) | パノラマ画像生成装置およびプログラム | |
KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
WO2012063469A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5449980B2 (ja) | 動き補正装置およびその方法 | |
KR101703515B1 (ko) | 영상의 표적 추적 장치 및 방법 | |
JP2010118862A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2011029735A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US8077923B2 (en) | Image processing apparatus and image processing method | |
JP2008009849A (ja) | 人物追跡装置 | |
JP2010079375A (ja) | 画像処理装置、方法及びプログラム | |
JP2016201745A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム | |
JPWO2007074605A1 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
JP5251410B2 (ja) | カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法 | |
JP2012073997A (ja) | 物体追尾装置、物体追尾方法およびそのプログラム | |
JP6579727B1 (ja) | 動体検出装置、動体検出方法、動体検出プログラム | |
JP4661514B2 (ja) | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 | |
JP2009260671A (ja) | 画像処理装置及び撮像装置 | |
JP5530391B2 (ja) | カメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラム | |
JP2008217330A (ja) | 速度推定方法および速度推定プログラム | |
JP2011259342A (ja) | 画像処理装置および画像処理方法 | |
JP2009027437A (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP2009065283A (ja) | 画像ぶれ補正装置 | |
CN110692235A (zh) | 图像处理装置、图像处理程序及图像处理方法 | |
JP2019176261A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5449980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |