JP2011097217A - 動き補正装置およびその方法 - Google Patents

Abstract

【課題】回転や拡大縮小といった要素を含む動きのある画像に対しても精度の高い的確なブレ補正が可能な動き補正装置およびその方法を提供する。
【解決手段】時間的に連続する画像から特徴点を抽出する特徴点抽出部１２０と、特徴点の移動量を検出する移動量検出部１３０と、記移動量を元に画像のブレ補正を行うブレ補正部１７０と、を有し、特徴点抽出部１２０は、画像の四隅における特徴点を抽出し、ブレ補正部１７０は、特徴点抽出部１２０で抽出された特徴点の移動量を用いて画像の射影変換を施してブレ補正を行う。
【選択図】図５

Description

本発明は、異なる複数の画像情報から、画像間の動きを求め、その動き情報から画像の表示位置の補正をする動き補正装置およびその方法に関するものである。

ビデオカメラやデジタルカメラのように、機器を手に持って撮影する場合、図１に示すような方向にブレが発生する可能性がある。

ここでは、カメラ１が水平方向に平行移動する場合をＸ軸、垂直方向に平行移動する場合をＹ軸、前後方向に平行移動する場合をＺ軸とする。
また、Ｘ軸を中心に回転運動する場合をθｘ軸、Ｙ軸を中心に回転運動する場合をθｙ軸、Ｚ軸を回転運動する場合をθｚ軸とする。

従来、異なる画像間の移動量を求め、その移動量と逆の方向に画像の表示エリアを移動することによる、電子式の画像ブレ補正方式としては、画像のＸ軸とＹ軸の２軸を補正するものが一般的である。
図２は、２軸補正のイメージを示す図である。図２において、２は基準画像エリアを示している。

Ｘ軸、Ｙ軸の２軸に加え、Ｚ軸とθｚ軸も補正する方式としては、特許文献１に開示された技術などが提案されている。
また、θｘ、θｙに対しても補正する方式としては、特許文献２に開示された技術などが提案されている。

特許第３７７０２７１号 特開２００６−２２２９３３号公報

２軸補正の代表的な手法としては、ブロックマッチング法が最も一般的である。
ブロックマッチング法は、画像中のある大きさの領域をブロック化し、それに連続する画像中において、先の画像のブロックを中心とした、より大きなブロック領域について全探索し、ブロック間の差分評価関数の値を最小とする点を動きベクトルとする方法である。

図３（Ａ）および（Ｂ）は、ブロックマッチング法の例を示す図である。
図３（Ａ）において、２１は検索元画像の検索基準ブロックを示す。２２は検索先画像の検索対象ブロックを示す。
図３（Ｂ）に示すように、検索対象ブロック２２の中で検索基準ブロック２１と同じサイズのエリア２３を順次サーチしながら、それぞれの相関を求め、一番相関度の高い位置を求めることにより、動きベクトルを導く。
このように、ブロックマッチング法は、画像の縦と横の動きをサーチする方式のため、画像の移動方向がＸ軸、Ｙ軸のみの場合は精度よく、移動量の検出ができるが、それ以外の軸の動きについては、検出精度が弱いという欠点がある。

また、Ｚ軸とθｚ軸も補正する特許文献１の技術や、θｘ軸、θｙ軸に対しても補正する特許文献２の技術についても、ブロックマッチング法をベースとして、各ブロックのベクトル情報を基に画面全体の移動量を推定している。

しかし、ブロックマッチングをベースにした、動き検出の場合、Ｘ軸、Ｙ軸以外の動きについては、画像ブロック間での、一致度が減少してしまうため、動き量の検出精度が低くなってしまうという不利益がある。

図４（Ａ）〜図４（Ｄ）は、ブロックマッチングをベースとしたＸ軸、Ｙ軸およびそれ以外の軸の動き検出の例を示す図である。
Ｘ軸、Ｙ軸の動きの場合、図４（Ａ）に示すように、基本的に画像間での物体の形は変化しない。そのため、ブロックマッチングした時の画像の一致度は高く、精度の高い動き量検出をすることが可能である。

図４（Ｂ）は、θｚ軸の動きの場合を示す。
この場合、画像が回転してしまうため、Ｘ軸とＹ軸を固定してサーチするブロックマッチング法では、画像間の一致度が低くなってしまう。

また、図４（Ｃ）は、Ｚ軸の動きの場合を示す。
この場合は、画像のサイズが変わってしまう。

さらに、図４（Ｄ）は、θｘ軸、θｙ軸の動きの場合を示す。
この場合は、画像に歪みが発生してしまう。そのため、やはり画像間の一致度が低くなってしまう。
このような理由により、Ｘ軸、Ｙ軸以外の動きについては、動き量の検出精度が低くなる。

本発明は、回転や拡大縮小といった要素を含む動きのある画像に対しても精度の高い的確なブレ補正が可能な動き補正装置およびその方法を提供することにある。

本発明の第１の観点の動き補正装置は、時間的に連続する画像から特徴点を抽出する特徴点抽出部と、前記特徴点の移動量を検出する移動量検出部と、前記移動量を元に画像のブレ補正を行うブレ補正部と、を有し、前記特徴点抽出部は、画像の四隅における特徴点を抽出し、前記ブレ補正部は、前記特徴点抽出部で抽出された前記特徴点の移動量を用いて画像の射影変換を施してブレ補正を行う。

好適には、前記特徴点抽出部は、前記画像の四隅の任意の抽出エリアにおいて複数の特徴点を抽出する。

好適には、前記移動量検出部は、前記複数の特徴点の移動量を選択して用いて前記抽出エリアとしての移動量を検出する。

好適には、上記移動量検出部は、前記特徴点の移動量を、前記抽出エリアの中心と画像中心との距離によって正規化する機能を有する。

好適には、前記特徴点抽出部は、前記特徴点が抽出できない場合は、前記抽出エリアを拡大して前記特徴点の抽出を行う。

本発明の第２の観点の動き補正方法は、時間的に連続する画像の四隅における特徴点を抽出するステップと、前記特徴点の移動量を検出するステップと、前記移動量を用いて画像に射影変換を施してブレ補正を行うステップと、を有する。

本発明によれば、回転や拡大縮小やパン・チルトによる歪みといった要素を含む動きのある画像に対しても精度の高い的確なブレ補正を行うことができる。

手ブレの方向軸について説明するための図である。 ２軸補正のイメージを示す図である。 ブロックマッチング法の原理を説明するための図である。 Ｘ軸、Ｙ軸およびそれ以外の軸の動きによる画像の変化の例を示す図である。 本発明の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。 θｘ軸が動いた場合について説明するための図である。 θｘ軸ブレ時の補正処理について説明するための図である。 θｘ軸、θｙ軸のブレが発生した場合の移動量検出処理を説明するための図である。 移動量検出処理を採用した場合のＸ軸、Ｙ軸およびそれ以外の軸の動き検出の例を示す図である。 複数の特徴点抽出による補正処理について説明するための図である。 画像中心部の移動量をゼロにする第１の方法を示す図である。 画像中心部の移動量をゼロにする第２の方法を示す図である。 複数の特徴点抽出による他の補正処理について説明するための図である。 本実施形態に係る画像処理装置の動作を説明するためのフローチャートである。

以下、本発明の実施形態を図面に関連付けて説明する。

図５は、本発明の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。

本画像処理装置１００は、図５に示すように、画像入力部１１０、特徴点抽出部１２０、特徴点移動量検出部１３０、移動量異常値排除部１４０、画像中心移動量検出部１５０、画素四隅移動量検出部１６０、ブレ補正部１７０、および画像出力部１８０を有する。

本画像処理装置１００は、自然界に存在する画像のブレをほとんど全て補正することを可能に構成されている。
本画像処理装置１００は、異なる連続した画像間の情報から、画像の四隅における物体の移動量を求め、求めた移動量を基に、画像を射影変換することにより、全ての移動方向に対する補正を可能に構成されている。
また、画像処理装置１００は、画像の四隅における物体の移動量を求める方法として、特徴点の移動量検出を用いることにより、精度の高い補正を可能に構成されている。
さらに、画像処理装置１００は、画像の四隅周辺の一定範囲における、複数特徴点の移動量を求めることにより、画像のノイズや被写体の移動にも対応可能に構成されている。

画像入力部１１０は、撮像された画像（映像）に基づく入力信号を受け取り、入力した画像信号を特徴点抽出部１２０、画像中心移動量検出部１５０および画像出力部１８０に供給する。

特徴点抽出部１２０は、画像入力部１１０から供給された時間的に連続する画像から特徴点を抽出する。
特徴点抽出部１２０は、画像の四隅の特徴点を抽出する機能を有している。
特徴点抽出部１２０は、画像の四隅の任意の抽出エリアにおいて複数の特徴点を抽出する。
特徴点抽出部１２０は、特徴点が抽出できない場合は、抽出エリアを拡大して特徴点の抽出を行う機能を有している。
特徴点抽出部１２０は、抽出した画像の特徴点を特徴点移動量検出部１３０に出力する。

特徴点移動量検出部１３０は、特徴点抽出部１２０で抽出された画像の特徴点の移動量を検出し、その結果を移動量異常値排除部１４０に出力する。
特徴点移動量検出部１３０は、特徴点の移動量検出法として、勾配法や、Lucas-Kanade法、ピラミッド再帰Lucas-Kanade法などが採用可能である。

移動量異常値排除部１４０は、特徴点移動量検出部１３０で検出された特徴点の移動量の値から異常値を排除する機能を有する。
移動量異常値排除部１４０は、特徴点移動量検出部１３０で求めた動きベクトルが有効か無効かを判断する基準として、いわゆる管理図の手法を用いることができる。
このことにより、移動量異常値排除部１４０は、特徴点移動量検出部１３０で求めた動きベクトル値のばらつきを、平均値と範囲によって管理し、該当動きベクトルが管理限界を超えているかどうかで、有効か無効かを判断することにより、移動量の異常値を高精度に排除し、高精度な移動量検出を実現することができる。
検出された動きベクトルについて、管理図の手法を用いて有効か否かの判断をすることによって信頼性の高い動きベクトルの検出結果を得ることができる。

画像中心移動量検出部１５０は、画像中心部のＸ軸、Ｙ軸の移動量を０にするための画像の移動量を検出し、その結果を画像四隅移動量検出部１６０に出力する。

画像四隅移動量検出部１６０は、画像中心移動量検出部１５０による画像中心の移動量情報を基に画像中心部のＸ軸、Ｙ軸の移動量を０にし、移動量異常値排除部１４０で異常値が排除された特徴点の移動量を、抽出エリアの中心と画像中心との距離によって正規化したうえで画像の四隅の移動量を検出し、検出結果をブレ補正部１７０に出力する。

ブレ補正部１７０は、画像四隅移動量検出部１６０による特徴点の移動量情報を用いて、画像出力部１８０における画像（本実施形態では動画像）の射影変換を施してブレ（動き）を補正する。

以下に、本実施形態におけるブレ補正について、図６〜図１４に関連付けて具体的に説明する。

図６は、θｘ軸が動いた場合について説明するための図である。
図７は、θｘ軸ブレ時の補正処理について説明するための図である。
ここでは、例として、図６に示すように、θｘ軸が動いた場合について説明する。
図６において、カメラ２００がθｘ軸の上から下にブレが発生した場合、画角は、実線Ａの三角の部分から、破線Ｂの三角部分に移動する。
その場合に、撮像される画像位置は、図右のようなエリアになる。画面上部においては、被写体の位置が相対的に近くなり、画面下部においては、被写体の位置が相対的に遠くなるため、画像ＩＭは、下に移動するとともに、画面上部は小さく、画面下部は大きな台形の形になる。

そこで、このブレを正確に補正するためには、図７に示すように、画面の四隅の位置において、矢印のように位置の補正を行う必要がある。
そのため、まず、異なる連続した画像間の情報から、画像四隅における物体の移動量を求める。
その後、求めた移動量を元に、移動量の逆方向に座標を戻すように射影変換することにより、全ての移動方向に対する補正が可能になる。
射影変換は、変換前の座標を（ｘ，ｙ）、変換後の座標を（ｘ’，ｙ’）とすると、以下の式で表される。

ここで、画像四隅における物体の移動量を求める場合、ブロックマッチング法を用いると、前記のように、補正精度として十分でないため、移動量を求める方法として、特徴点の移動量検出法を用いる。
特徴点の移動量検法としては、前述したように、勾配法や、Lucas-Kanade法、ピラミッド再帰Lucas-Kanade法などがある。

ブロックマッチング法を用いる場合、画像間の移動量をブロック単位で求めるため、先ほど図４（Ｂ）から図４（Ｄ）で示したように、Ｚ軸、θｚ軸、θｘ軸、θｙ軸の移動量検出を高精度に行うことができない。
しかし、特徴点によって移動量を検出する場合、移動量と方向については、点で求められるので、画像の歪みなどに影響されにくい。

図８は、θｘ軸、θｙ軸のブレが発生した場合の移動量検出処理を説明するための図である。
図９（Ａ）〜（Ｄ）は、移動量検出処理を採用した場合のＸ軸、Ｙ軸およびそれ以外の軸の動き検出の例を示す図である。

ここでは、θｘ軸、θｙ軸のブレが発生した場合、画像が変形してしまっているため、ブロックマッチング法では、正しい移動量を検出することは難しいが、特徴点による移動検出では、目や口などの特徴点から、正確な移動量を求めることができる。
また、この方式を用いた場合は、図９（Ａ）〜（Ｄ）に示すように、どの軸に対しても対応可能である。

ただし、画像の四隅、もしくはその近辺に、抽出する特徴点が無い場合、この方式では問題が生じるおそれがある。また、画像のノイズや被写体の移動といった要因も補正精度低下の要因となるおそれがある。

この対策として、本実施形態においては、画像四隅周辺の一定範囲における、複数特徴点の移動量を求める。
図１０は、複数の特徴点抽出による補正処理について説明するための図である。
図１０に示すように、画像四隅の角を中心に一定のエリアＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４を指定し、複数の特徴点の移動量を求める。
求めた移動量値には、異常な値が入っている可能性もあるので、そのような値は除く処理を行い、正確な移動量を求める。

また、上記の方法で使用する、画像四隅の角を中心に一定のエリアにおいても抽出する特徴点が無い場合、さらに、検出エリアを広げることになる。
このような場合は、以下のような手法を用いる。

まず、二枚の画像間における、画像中心部のＸ軸、Ｙ軸の移動量をゼロにする。その後、画像四隅周辺の移動量情報を元に、画像四隅の角の移動量を求め、補正を行う。
画像中心部の移動量をゼロにする方法の例として、以下の二つの方法を示す。

図１１は、画像中心部の移動量をゼロにする第１の方法を示す図である。
図１２は、画像中心部の移動量をゼロにする第２の方法を示す図である。
図１３は、複数の特徴点抽出による他の補正処理について説明するための図である。

第１の方法としては、図１１に示すように、画像中心部ＩＭＣにおける、画像間の移動量（Ｘｃ，Ｙｃ）を求めて、補正する方法である。

第２の方法としては、図１２に示すように、四隅の移動量（Ｘ０，Ｙ０）,（Ｘ１，Ｙ１）,（Ｘ２，Ｙ２）,（Ｘ３，Ｙ３）より、その平均値を求め、平均値分を画像中心の移動量として求めて、補正する方法である。
そして、画像四隅で求めた各移動量を、画像中心部から四隅に対する比率を掛け合わせ、移動量を計算する。
たとえば、図１３に示すように、画像中心の座標を（０，０）、画像四隅の一つの角の座標を（ｘ，ｙ）、移動量を求める座標（ｍ，ｎ）において求めた移動量（Ｘｍ，Ｙｎ）とし、前記の方法で求めた画像中心部の移動量を（Ｘｃ，Ｙｃ）とする場合、画像四隅の角における移動量（ＸＭ，ＹＮ）は以下のように求められる。

その後、求めた複数の特徴点の移動量から、異常な移動量情報を排除する処理を行い、画像四隅における移動量を算出し、その値より、画像を射影変換して、ブレを補正する。

図１４は、本実施形態に係る画像処理装置の動作を説明するためのフローチャートである。

画像入力部１１を通して、時間的に連続する撮像された画像（映像）が画像入力部１１０を介して特徴点抽出部１２０に供給される。
特徴点抽出部１２０において、画像入力部１１０から供給された時間的に連続するが画像から特徴点が抽出され（ＳＴ１）、抽出した画像の特徴点が特徴点移動量検出部１３０に出力される。
特徴点移動量検出部１３０では、特徴点抽出部１２０で抽出された画像の特徴点の移動量を検出される（ＳＴ２）。
特徴点移動量検出部１３０では、全特徴点の移動量の検出が完了するまで移動量検出が行われる（ＳＴ３）。
そして、ステップＳＴ１〜ＳＴ３の処理が画像の四隅の特徴点の検出が完了するまで行われる（ＳＴ４）。
次に、移動量異常値排除部１４０において、特徴点移動量検出部１３０で検出された特徴点の移動量の値から異常値が排除され（ＳＴ５）、異常値が排除された特徴点の移動量が画像中心移動量検出部１５０に出力される。
画像中心移動量検出部１５０では、画像中心部の移動量が検出される（ＳＴ６）。その画像中心部の移動量情報は画像四隅移動量検出部１６０に出力される。
画像四隅移動量検出部１６０では、画像中心移動量検出部１５０による画像中心の移動量情報を基に画像中心部のＸ軸、Ｙ軸の移動量を０にし、移動量異常値排除部１４０で異常値が排除された特徴点の移動量が、抽出エリアの中心と画像中心との距離によって正規化されて、画像の四隅の移動量が検出され（ＳＴ７）、検出結果をブレ補正部１７０に出力される。
そして、ブレ補正部１７０において、画像四隅移動量検出部１６０による特徴点の移動量情報を用いて、画像出力部１８０における画像の射影変換が施されてブレ（動き）が補正され、出力される（ＳＴ８）。

以上説明したように、本実施形態の画像動き補正装置を適用した画像処理装置１００は、以下の効果を得ることができる。

すなわち、本実施形態によれば、異なる連続した画像間の情報から、画像四隅における物体の移動量を特徴点の移動量検出を用いて求め、求めた移動量を元に、画像を射影変換することにより、全ての移動方向に対する補正を、高精度で行うことが可能となる。
また、本実施形態によれば、画像四隅周辺の一定範囲における、複数特徴点の移動量を求めることにより、画像のノイズや被写体の移動にも対応可能な、精度の高い補正が可能となる。

１００・・・画像処理装置、１１０・・・画像入力部、１２０・・・特徴点抽出部、１３０・・・特徴点移動量検出部、１４０・・・移動量異常値排除部、１５０・・・画像中心移動量検出部、１６０・・・画素四隅移動量検出部、１７０・・・ブレ補正部、１８０・・・画像出力部。

Claims (6)

1. 時間的に連続する画像から特徴点を抽出する特徴点抽出部と、
   前記特徴点の移動量を検出する移動量検出部と、
   前記移動量を元に画像のブレ補正を行うブレ補正部と、を有し、
   前記特徴点抽出部は、
   画像の四隅における特徴点を抽出し、
   前記ブレ補正部は、
   前記特徴点抽出部で抽出された前記特徴点の移動量を用いて画像の射影変換を施してブレ補正を行う
   動き補正装置。
2. 前記特徴点抽出部は、
   前記画像の四隅の任意の抽出エリアにおいて複数の特徴点を抽出する
   請求項１に記載の動き補正装置。
3. 前記移動量検出部は、
   前記複数の特徴点の移動量を選択して用いて前記抽出エリアとしての移動量を検出する
   請求項２に記載の動き補正装置。
4. 上記移動量検出部は、
   前記特徴点の移動量を、前記抽出エリアの中心と画像中心との距離によって正規化する機能を有する
   請求項２または３に記載の動き補正装置。
5. 前記特徴点抽出部は、
   前記特徴点が抽出できない場合は、前記抽出エリアを拡大して前記特徴点の抽出を行う
   請求項２から４のいずれか一に記載の動き補正装置。
6. 時間的に連続する画像の四隅における特徴点を抽出するステップと、
   前記特徴点の移動量を検出するステップと、
   前記移動量を用いて画像に射影変換を施してブレ補正を行うステップと、
   を有する動き補正方法。

Images