JP2021086183A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像の動き情報の算出に係る処理速度を向上させる。【解決手段】一実施形態における画像処理装置は、複数の画像のそれぞれにおける局所画像領域の主たる動きを示す代表動きベクトルを決定し、局所画像領域から、代表動きベクトルに類似する類似動きベクトルを抽出し、抽出した類似動きベクトルを用いて、画像全体の動き情報を推定する。画像処理装置は、局所画像領域の複数の動きベクトルの特徴を算出し、特徴に基づいて選択された動きベクトルから代表動きベクトルを決定する。【選択図】図4

Description

本発明は、画像の動き情報を算出する画像処理技術に関する。

近年、コンピュータの計算性能の向上に伴い、画像の領域分割や位置合わせなど、コンピュータビジョンと呼ばれる分野の画像処理技術の実用性が高まっている。

画像の位置合わせでは、時間的に連続する画像から複数の動きベクトルを算出し、これらの動きベクトルから画像の位置ズレを表現する動きパラメータを算出する。動きベクトルの算出方法は、ブロックマッチングによる動き探索や、特徴点を検出してその対応を求め対応点ペアの座標を動きベクトルとするなどの方法がある（特許文献１参照）。また、動きパラメータは、二次元ベクトルやホモグラフィ行列、回転行列（非特許文献１参照）などを用いて表現できる。しかし、検出した動きベクトルは、全てが正しいとは限らず、誤った動きベクトルが含まれることがあるため、誤りを含んだデータからモデルを推定するロバスト推定技術が必要となる。

ロバスト推定の代表的なアルゴリズムにはＲＡＮＳＡＣがある（非特許文献２参照）。ＲＡＮＳＡＣは、計算を繰り返しながら最適なモデルを推定する技術である。しかし、ＲＡＮＳＡＣはデータに誤りの量が多いほど、または、推定するパラメータの要素数が多いほど多くの繰り返し（以下、イテレーションという）を必要とする。以下、誤ったデータをアウトライア（outlier）、正しいデータをインライア（inlier）と表現する。

これに対し、位置合わせ処理全体のイテレーション回数を削減するために、前処理として要素数の少ないパラメータにおいてインライアを抽出する手法も提案されている。特許文献２では、画像の分割領域単位で分割領域を代表するベクトルを選出し、代表するベクトルに類似する動きベクトルを抽出することでインライアを抽出する前処理を行う。そして、抽出された動きベクトルから画像全体の動きパラメータを算出する後処理を行う手法が提案している。これにより、位置合わせ処理全体の処理速度や精度を向上させている。このとき、前処理において高い精度でインライアを抽出する場合、アウトライアを除去するためにイテレーション処理によるロバスト推定が必要となる。

特開２００７−３３４６２５号公報 特開２０１５−１７６４８８号公報

姿勢推定と回転行列、 玉木徹、"ＩＥＩＣＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＳＩＰ２００９−４８， ＳＩＳ２００９−２３（２００９−０９）" "Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ： Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ"、Ｍ．Ａ． Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ． Ｂｏｌｌｅｓ、 "Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ， ２４（６）：３８１-３９５， １９８１"

上述したように、画像の分割領域内の複数の動きベクトルから高い精度でインライアを抽出する場合、アウトライアの影響を削減するためにイテレーション処理によるロバスト推定が必要になる。しかし、対象となるデータ数が多い場合、多くの演算回数を必要とし、処理に時間がかかってしまっていた。

本発明は上記課題を解決するためになされたものであり、画像の動き情報の算出に係る処理速度を向上させることができる画像処理技術を提供することを目的とする。

上記目的を達成するために、本発明の一実施形態に係る画像処理装置は、複数の画像のそれぞれにおける局所画像領域の主たる動きを示す代表動きベクトルを決定する決定手段と、前記局所画像領域から、前記代表動きベクトルに類似する類似動きベクトルを抽出する抽出手段と、前記抽出した類似動きベクトルを用いて、画像全体の動き情報を推定する推定手段とを有し、前記決定手段は、前記局所画像領域の複数の動きベクトルの特徴を算出し、前記特徴に基づいて選択された動きベクトルから前記代表動きベクトルを決定することを特徴とする。

本発明によれば、画像の動き情報の算出に係る処理速度を向上させることができる。

第１の実施形態における画像処理装置の構成図である。 第１の実施形態における画像処理のフローチャートである。 第１の実施形態における画像の分割領域を示す図である。 第１の実施形態における対象分割領域の代表ベクトルの決定方法を示すフローチャートである。 第１の実施形態における動きベクトルの特徴について説明する図である。 第２の実施形態における対象分割領域の代表ベクトルの決定方法を示すフローチャートである。 第２の実施形態における分割領域内のそれぞれの動きベクトルのうち一致するものをマージする処理を説明する図である。 第３の実施形態における動きベクトルの特徴について説明する図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、以下の実施形態は、本発明を限定するものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。本発明には、本発明の要旨を逸脱しない範囲の様々な変形形態も含まれる。また、本発明は、以下の実施形態の一部を組み合わせるようにして構成してもよい。

（第１の実施形態）
本実施形態では、画像の位置合わせを行うために、時間的に連続する画像から複数の動きベクトルを算出し、これらの動きベクトルから画像の位置ズレを表現する動きパラメータを算出する方法を説明する。

図１は、本実施形態における画像処理装置の構成を示す。本実施形態における画像処理装置は、例えば、ＰＣ（パーソナルコンピュータ）などの情報処理装置、または撮像装置とすることができる。

図１（ａ）は、本実施形態におけるＰＣの内部構成を説明する図である。以下、図１（ａ）を参照して、ＰＣの構成と各モジュールの動作について説明する。

バス１０１は、各構成要素を相互に通信可能に接続し、ＰＣ内でのデータの流れを司る。ＲＡＭ（書込み可能メモリ）１０２は、ＣＰＵ１０５のワークエリア等として機能する。グラフィックプロセッサ１０３は、ディスプレイ１０４に画像を表示する際に必要となる計算処理を行う。グラフィックプロセッサ１０３は、設定された行列に従って、回転などの画像の幾何変換を行うことができる。ディスプレイ１０４は、ユーザーＩ／Ｆ１０６から入力されたコマンドや、それに対するＰＣの応答出力等を表示する表示装置である。ＣＰＵ１０５は、オペレーティングシステム（ＯＳ）やアプリケーションプログラム等のコンピュータプログラムに基づいて他の構成要素と協働し、ＰＣ全体の動作を制御する。また、行列演算など各種の数値演算も行う。本実施形態では、ＣＰＵ１０５が一つであるとして説明するがこれに限定されず、複数のＣＰＵが存在する構成をとってもよい。その場合の各処理は、マルチスレッド処理による並列動作も可能である。ユーザーＩ／Ｆ１０６は、ユーザーからの指示やコマンドの入力などを受け付け。ユーザーＩ／Ｆ１０６は、タッチパネル、ポインティングデバイス、キーボードなどであるが、特定のデバイスに限定されない。また、ユーザーＩ／Ｆ１０６が、タッチパネル、またはポインティングデバイスの場合は、ディスプレイ１０４上の任意の座標位置でタッチされたか否かの情報を入力することができる。

不揮発性の外部ストレージ１０７は、データをファイルとして記録する。本実施形態では、ハードディスクドライブ（以下、ＨＤＤと呼ぶ）により実現されるが、ＳＳＤ（フラッシュメモリを使用したソリッドステートドライブ）等の他の記憶装置を用いてもよい。ネットワークＩ／Ｆ１０８は、外部装置とのデータのやり取りを中継する。外部撮像部１０９は、例えばレンズ、センサー、レンズ制御部などを含むカメラである。レンズ制御部がレンズのズーム、フォーカスを制御して、レンズから取り込んだ光をセンサーが受光し、光信号をＲＧＢ画像データに変換する。その後ＲＧＢ画像データは外部撮像部１０９からバス１０１を介して転送され、ＲＡＭ１０２に記憶されたり、外部ストレージ１０７に記録されたりする。

本実施形態では、実行されるプログラムおよびデータは、外部ストレージ１０７に記録されており、これらをＲＡＭ１０２へ入力し、ＣＰＵ１０５が実行および処理する構成をとる。プログラムおよびデータは、バス１０１を介して入出力が行われる。画像データは、特に説明しない限り、外部ストレージ１０７から入力され、入力時に内部画像フォーマットに変換される。ただし、画像の入力は、外部撮像部１０９やネットワークＩ／Ｆ１０８から直接行うことも可能である。本実施形態における内部フォーマットは、ＲＧＢ画像とするが、これに限定されずＹＵＶ画像、モノクロの輝度画像でもよい。また、後述の動き検出は輝度画像で行うものとし、内部フォーマットがＲＧＢ画像、または、ＹＵＶ画像の場合には、自動的に輝度画像に変換されて動き検出がなされるものとして説明する。本実施形態では、画像サイズは１９２０×１０８８、３０ｆｐｓの映像を扱うものとして説明するが、画像サイズやフレームレートに限定はない。

ＵＩ（ユーザインターフェース）画面や処理画像は、グラフィックプロセッサ１０３を介して、ディスプレイ１０４上に表示することができる。また、処理画像や処理データは、外部ストレージ１０７に記録したりＲＡＭ１０２に記憶したりして、他のプログラムと共有することができる。

なお、本実施形態では、電子防振処理を行う情報処理装置をＰＣにより実現する例を説明するが、これに限られない。本実施形態に係る電子防振処理は、カメラ装置、組込みシステム、タブレット端末、スマートフォン等の情報機器を用いて実施することができる。また、全体、または、部分的にハードウェアが実行する構成をとってもよい。例えば、図１（ｂ）は、本実施形態におけるカメラ装置（すなわち、撮像装置）の構成を表している。撮像部１１０は、レンズ、センサー、レンズ制御部などを備える。レンズ制御部がレンズのズーム、フォーカスを制御して、レンズから取り込んだ光をセンサーが受光し、光信号をＲＧＢの画像信号に変換してＲＡＭ１０２に記憶する。また、撮像部１１０はバス１０１を介して、絞りやズーム量などのレンズの制御状態をＣＰＵ１０５へ通知することができる。動き検出部１１１は、撮像部１１０から入力された画像に対して、動きベクトルの検出を行う。他のモジュールは、図１（ａ）に示したＰＣのモジュールと同様である。このように、本実施形態で説明する処理はカメラ装置でも実行可能である。以下、専用回路が存在しない場合はＣＰＵ１０５が演算を行い、専用回路が存在する場合にはそれぞれの回路が各演算を行うものとして説明する。

図２は、本実施形態における画像処理のフローチャートを示す。ここでは、画像の位置合わせを行うために、時間的に連続する画像から複数の動きベクトルを算出し、これらの動きベクトルから画像の位置ズレを表現する動きパラメータを算出する方法について説明する。以下、特に説明しない限り、ステップ番号順に、それぞれのステップが実行されるものとして説明する。また、互いに依存関係のない独立した処理については記載のステップ順に処理を実行する必要はなく、順序を入れ替えて実行したり、複数のＣＰＵや専用処理回路が存在する場合には処理を並列に実行したりすることも可能である。同様に、ステップが存在するサブルーチンの位置も限定はなく、処理結果が同じであれば、異なるサブルーチンで処理を実行することができ、サブルーチンの構成にも限定はない。

フローチャートで示される一連の処理は、画像処理装置のＣＰＵ１０５が外部ストレージ１０７に格納されている制御プログラムをＲＡＭ１０２に展開して実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。すなわち、画像処理装置は、各ステップで表現される機能を実現する手段を有することができる。フローチャートの説明における記号「Ｓ」は、当該フローチャートにおける「ステップ」を意味する。その他のフローチャートについても同様である。

Ｓ２０１０では、画像処理装置は、複数の画像を順に取得して、動き検出を行う。具体的には、画像処理装置は、各画像の特徴点を検出し、特徴点の特徴量を画像間でマッチングし、その対応位置関係を動きベクトルとする。なお、動き検出のアルゴリズムはこれに限定されない。

Ｓ２０２０では、画像処理装置は、注目画像を走査して、注目画像の分割領域ごとに動きベクトルの集合を取得する。分割領域のことを、局所画像領域ともいう。

以下、注目画像の走査方法について図３を参照して詳細に説明する。図３は、本実施形態における画像の分割領域の例を示す。図３（ａ）は、画像の分割方法と分割領域番号を例示する。

本実施形態では、画像処理装置は、注目画像の分割された領域を、図３（ａ）に示した数値のようにラスター順にしたがって走査する。つまり、一回目のＳ２０２０が実行される場合には、番号１の分割領域が処理対象となり、以下、２回、３回と実行されるごとに分割領域番号２、３の分割領域が順に処理される。

図３（ｂ）は、画像内の特徴点の動きベクトルを例示する。図３（ｂ）のように、動きベクトルは分割領域をまたぐ場合があるため、本実施形態では、動きベクトルの終点が同じ分割領域内に含まれる動きベクトルを、当該分割領域の動きベクトルとして扱う。本実施形態では、図３のように画像を２０分割するが、これに限定されない。また、本実施形態では、始点と終点が同じ分割領域に含まれる動きベクトルを当該分割領域の動きベクトルとして取得すると説明したが、始点だけを基準として、分割領域に含まれる動きベクトルを取得する構成をとってもよい。また、分割領域の走査順も、ラスター順に限定されない。

Ｓ２０３０では、画像処理装置は、取得した動きベクトルの集合を使って、対象分割領域の代表動きベクトルを決定する。以下、代表動きベクトルを単に代表ベクトルとも称する。本実施形態では、画像処理装置は、対象分割領域の代表ベクトルを算出するサブルーチンを実行する。このサブルーチンについては、図４を参照して後述する。

Ｓ２０４０では、画像処理装置は、取得した動きベクトルの集合から対象分割領域の代表ベクトルに類似する類似動きベクトルを抽出する。以下、類似動きベクトルを類似ベクトルとも称する。本実施形態では、第一の許容誤差を設定し、対象分割領域の代表ベクトルと取得した動きベクトルとのベクトル成分の差分の絶対値が第一の許容誤差以内の動きベクトルを類似ベクトルとして抽出する。

Ｓ２０５０では、画像処理装置は、注目画像の全分割領域の処理が終了したかどうか判定する。全ての分割領域の処理が終了している場合にはＳ２０６０に遷移し、終了していない場合はＳ２０２０に遷移し、以後、Ｓ２０２０からＳ２０５０のステップが繰り返される。

Ｓ２０６０では、画像処理装置は、全分割領域から抽出した動きベクトルを用いて、画像全体の動きパラメータ（すなわち、動き情報）を推定する。本実施形態では、動きパラメータとして回転行列を、ＲＡＮＳＡＣを用いて推定する。なお、行列の算出方法には様々な方法があり、回転行列の算出は、非特許文献１に記載されている方法で算出できるため、詳細な説明は省略する。なお、動きパラメータは回転行列だけではなく、並進、あおりまたそれらの組み合わせなどの様々な動きを表すものとすることができる。

以下、図４を参照して、上述した対象分割領域の代表ベクトルを選出するサブルーチン（Ｓ２０３０）の動作について説明する。図４は、本実施形態における対象分割領域の代表ベクトルの決定方法を示すフローチャートである。本実施形態では、代表ベクトルは、分割領域内で類似ベクトルとの差分が第二の許容誤差以内となる数が最も多いベクトルである。なお、第一の許容誤差と第二の許容誤差は同じ値であってもよい。

Ｓ４０１０では、画像処理装置は、分割領域内のそれぞれの動きベクトルの特徴を算出する。本実施形態では、動きベクトルの始点を座標平面の原点に合わせた場合に、当該動きベクトルの終点が位置する座標平面上の領域を当該動きベクトルの特徴とする。本実施形態における動きベクトルの特徴については、図５を参照して後述する。

Ｓ４０２０では、画像処理装置は、対象分割領域に含まれる全ての動きベクトルから、一つの動きベクトルを取得する。これを候補ベクトルと呼ぶ。

Ｓ４０３０では、画像処理装置は、対象分割領域に含まれる全ての動きベクトルから、候補ベクトルとは異なる一つの動きベクトルを取得する。これを比較ベクトルと呼ぶ。

Ｓ４０４０では、画像処理装置は、候補ベクトルと比較ベクトルが同じ特徴を持つかどうか判定する。ここでいう特徴とは、Ｓ４０１０で算出した特徴である。ここでは、候補ベクトルと比較する比較ベクトルが選択される。判定が真の場合はＳ４０５０へと遷移する。一方、偽の場合にはＳ４０８０に遷移する。本実施形態での判定手法の詳細は図５を参照して後述する。

Ｓ４０５０では、画像処理装置は、候補ベクトルと比較ベクトルの差を算出する。本実施形態では、候補ベクトルと比較ベクトルの差分ベクトルの大きさを、候補ベクトルと比較ベクトルの差とする。

Ｓ４０６０では、画像処理装置は、Ｓ４０５０で算出した差が第二の許容誤差以内であるかどうか判定する。すなわち、第二の許容誤差を、所定の閾値として利用する。第二の許容誤差以内であった場合、Ｓ４０７０で画像処理装置は、当該比較ベクトルをインライアとしてカウントする。Ｓ４０８０では、画像処理装置は、候補ベクトルを対象分割領域に含まれる全ての動きベクトルと比較したかどうか判定する。比較が終了した場合は、Ｓ４０９０に遷移する。一方、比較が終了していない場合はＳ４０３０に遷移して比較処理を繰り返す。本実施形態では、対象分割領域に含まれる全ての動きベクトルと比較しているが、比較数に上限を設けてもよい。

Ｓ４０９０では、画像処理装置は、Ｓ４０７０でカウントしたインライアの数が、現在までの候補ベクトルの中で最大であるかどうか判定する。最大である場合はＳ４１００へ遷移し、候補ベクトルを暫定代表ベクトルとして保存する。なお、一回目のＳ４０９０の実行では、必ず、Ｓ４１００へ遷移する。

Ｓ４１１０では、画像処理装置は、イテレーション数が十分か否か判定する。イテレーション数が十分と判定される場合にはＳ４１２０に遷移する。一方、十分でないと判定される場合には、Ｓ４０２０へ遷移する。イテレーション数は非特許文献２のように、パラメータから算出してもよいし、固定の値でもよい。

Ｓ４１２０では、画像処理相違は、暫定代表ベクトルを対象分割領域の代表ベクトルとし、サブルーチンを終了する。

以下、図５を参照して、本実施形態における動きベクトルの特徴について説明する。本実施形態では、動きベクトルの始点を座標平面の原点に合わせた場合に終点が位置する座標平面上の領域を動きベクトルの特徴とする。この領域は、座標平面の象限の主軸を中心に一定量だけ平行移動した境界で分割されるものとする。一定量は、例えば、第二の許容誤差の半分とする。

図５（ａ）は、本実施形態において特徴として用いる座標平面上の領域を例示する図である。また、図５（ｂ）は分割領域内のそれぞれの動きベクトルの始点を座標平面の原点に合わせたものである。

本実施形態では、図５（ａ）のように座標平面上の領域にコードが割り振られる。

第二の許容誤差の半分をｅ_ｈとすると、
ｘ≧−ｅ_ｈかつｙ≧−ｅ_ｈとなる領域には0b0001（重複領域0b0011、0b1111、0b1001を含み、図５（ｂ）の領域５０２に対応する。）が、
ｘ≦ｅ_ｈかつｙ≧−ｅ_ｈとなる領域には0b0010（重複領域0b0011、0b1111、0b0110を含む）が、
ｘ≦ｅ_ｈかつｙ≦ｅ_ｈとなる領域には0b0100（重複領域0b0110、0b1111、0b1100を含む）が、
ｘ≧−ｅ_ｈかつｙ≦ｅ_ｈとなる領域には0b1000（重複領域0b1100、0b1111、0b1001を含む）が、割り振られる。

また、上記定義の複数に属する領域は、該当するコードの論理和が割り振られる。図５（ａ）では、上記定義の複数に属する領域にはそれぞれ、0b0011、0b1001、0b1111、0b1100、0b0110が割り振られている。なお、0bは２進数を表す。

このように、Ｓ４０１０では、動きベクトルの始点を座標平面の原点に合わせた場合の終点が位置する領域に割り振られたコードが特徴として算出される。例えば、図５（ｂ）のベクトル５０１の特徴は、0b0001である。

また、Ｓ４０４０において、本実施形態では、候補ベクトルと比較ベクトルの論理積が0b0000でなければ、同じ特徴を持つと判定される。例えば、図５（ｂ）の候補ベクトルがベクトル５０１である場合、領域５０２に終点を持つベクトルは同じ特徴を持つといえる。ベクトル５０１の終点が属する領域５０２には、コード0b0001、0b0011、0b1111、0b1001が割り振られており、終点が同じ領域５０２に属するベクトルとの論理積は0b0000とならない。したがって、そのようなベクトルは同じ特徴を持つと判定される。

本実施形態により、候補ベクトルに対して明らかにアウトライアとなる比較ベクトルに対する演算を省略することができる。分割領域内の動きベクトルが多いほどイテレーション回数は増えるが、動きベクトルが多いほどインライアと異なる象限に属するアウトライアの数も多いと考えられるため、本実施形態によると処理時間を短縮することができる。

また、単純に象限の主軸によって分割された領域を特徴とした場合、象限の主軸付近に終点が位置するベクトルを候補ベクトルとして考えると、異なる特徴を持つが第二の許容誤差以内となる比較ベクトルが存在することになる。例えば、図５（ｂ）のベクトル５０３とベクトル５０４は第二の許容誤差以内であるが、ベクトル５０３は第２象限に位置し、ベクトル５０４は第１象限に位置するため、異なる特徴を持つことになる。この場合、本来ならインライアとみなしたいベクトルをアウトライアとみなしてしまうので、想定する結果が得られないことになる。しかし、本実施形態では、第二の許容誤差を考慮した領域を特徴としているため、インライアをアウトライアとみなすことなく想定した結果を得ることができ、かつ、演算の省略をすることができる。

本実施形態では、象限の主軸を中心に第二の許容誤差の半分だけ平行移動した境界で分割された領域を用いたが、任意の境界で領域を分割してもよい。例えば、図５（ｃ）に示すように、ｙ＝ｘ、ｙ＝−ｘのように象限の主軸を４５度回転させた直線を中心に第二の許容誤差の半分だけ平行移動した境界で分割された領域であってもよい。また、図５（ｄ）に示すように、象限の主軸を中心に第二の許容誤差の半分だけ平行移動した境界と、象限の主軸を４５度回転させた直線を中心に第二の許容誤差の半分だけ平行移動した境界とで分割された領域であってもよい。この場合、分割される領域数が増えるので図５（ｄ）に示すようにベクトルの特徴は８ビットで示される。図５（ｄ）における0xは１６進数を意味している。

以上説明したように、本実施形態によると、分割領域内の動きベクトルの特徴を算出し、当該特徴に基づいて選択された動きベクトルを用いることで、イテレーション回数を削減することができる。本実施形態では、動きベクトルの始点を座標平面の原点に合わせた場合の終点が位置する領域に応じて、正しいデータであるインライアを選択し、アウトライアに関する計算をスキップする。したがって、画像の動き情報の算出に係る処理速度を向上させることができる。

（第２の実施形態）
第１の実施形態では、分割領域の代表ベクトルを算出するサブルーチン（Ｓ２０３０）を、図４を参照して説明した。本実施形態では、図６を参照して、分割領域の代表ベクトルを算出する異なるサブルーチンを説明する。本実施形態では、分割領域内のそれぞれの動きベクトルが他のベクトルと一致するかどうかを動きベクトルの特徴とする。なお、他の処理は、第１の実施形態に準ずる。フローチャート中で第１の実施形態と同じ番号で示すステップは、第１の実施形態と同じ動作をするため説明を省略する。

Ｓ６０１０では、画像処理装置は、分割領域内のそれぞれの動きベクトルのうち一致するものをマージする。このとき、一致したベクトル数分の重みをつける。なお、マージ前のそれぞれの動きベクトルの重みは１とする。

Ｓ６０１０の処理について、図７を用いて具体的に説明する。図７は分割領域内のそれぞれの動きベクトルの始点を座標平面の原点に合わせたものである。図７（ａ）はＳ６０１０の処理を行う前の状態を示し、図７（ａ）はＳ６０１０の処理を行った後の状態を示す。例えば、図７（ａ）において、ベクトル７０１はベクトル７０６と一致しているためマージが行われる。図７（ｂ）において、マージ後のベクトルをベクトル７０１´とすると、ベクトル７０１´の重みは２となる。同様に、ベクトル７０３はベクトル７０７およびベクトル７０８と一致するため、重みが３のベクトル７０３´としてマージされる。

Ｓ６０２０では、Ｓ４０７０と同様に、差分ベクトルの大きさが第二の許容誤差以内にある比較ベクトルをインライアとしてカウントするが、本実施形態ではＳ６０１０で求めた重みの分だけカウントをする。

以上説明したように、本実施形態では、分割領域内で一致する動きベクトルがマージされるため、イテレーション回数を削減することができる。一般的に、カメラワークや振動により発生する動きベクトルは一定の方向であるため、分割領域内の動きベクトルをマージすることによる計算量の削減効果が期待できる。

（第３の実施形態）
本実施形態では、第１の実施形態における動きベクトルの特徴算出処理（Ｓ４０１０）を、分割領域内のそれぞれの動きベクトルの大きさに基づいて行う。以下、図８を参照して、動きベクトルの大きさに基づく特徴算出処理に関して説明する。なお、他の処理は、第１の実施形態に準ずる。

図８（ａ）は、分割領域内の動きベクトルの大きさをそれぞれ示したものである。本実施形態では、動きベクトルの大きさとして動きベクトルの長さを採用している。この値を用いて、Ｓ４０４０において候補ベクトルと比較ベクトルが同じ特徴を持つかどうか判定する。本実施形態では、同じ特徴かどうかを判定する閾値を２とする。即ち、比較ベクトルの長さが候補ベクトルの長さの±２以下であれば同じ特徴を持つと判断する。

図８（ｂ）は、動きベクトル８０３が候補ベクトルとなった場合を表している。候補ベクトル８０３は、太い矢印で示されている。図４のＳ４０４０では、候補ベクトルと比較ベクトルが同じ特徴を持つかどうかを判定するが、図８（ｂ）の場合では、動きベクトル８０３との差が±２以下である動きベクトル８０２、８０４、８０９が同じ特徴を持つと判定される。したがって、動きベクトル８０２、８０４、８０９が、Ｓ４０５０で比較ベクトルとして採用される。

また、動きベクトル８０３との差が±２より大きい動きベクトル８０１、８０５、８０６、８０７、８０８は、同じ特徴を持たないと判定され、当該動きベクトルに関する計算がスキップされる。

図８（ｃ）は、動きベクトル８０８が候補ベクトルとなった場合を示している。図８（ｂ）と同様に、Ｓ４０４０において動きベクトル８０８との差が±２以下である動きベクトル８０１、８０５、８０７が同じ特徴を持つと判定され、Ｓ４０５０以降の処理が行われる。動きベクトル８０８との差が±２より大きい動きベクトル８０２、８０３、８０４、８０６、８０９は同じ特徴を持たないと判定され、当該動きベクトルに関する計算がスキップされる。

以上説明したように、本実施形態により、動きベクトルの大きさに基づいて処理対象の動きベクトルを減らすことができるため、イテレーション回数を削減することができる。一般的に、カメラワークや振動により発生する動きベクトルは一定の大きさを持つため、分割領域内の動きベクトルを大きさによって特徴別に処理することにより、計算量の削減効果が期待できる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ バス
１０２ ＲＡＭ
１０３ グラフィックプロセッサ
１０４ ディスプレイ
１０５ ＣＰＵ
１０６ ユーザーＩ／Ｆ
１０７ 外部ストレージ
１０８ ネットワークＩ／Ｆ
１０９ 外部撮像部
１１０ 撮像部
１１１ 動き検出部

Claims (10)

1. 複数の画像のそれぞれにおける局所画像領域の主たる動きを示す代表動きベクトルを決定する決定手段と、
   前記局所画像領域から、前記代表動きベクトルに類似する類似動きベクトルを抽出する抽出手段と、
   前記抽出した類似動きベクトルを用いて、画像全体の動き情報を推定する推定手段と
   を有し、
   前記決定手段は、前記局所画像領域の複数の動きベクトルの特徴を算出し、前記特徴に基づいて選択された動きベクトルから前記代表動きベクトルを決定することを特徴とする画像処理装置。
2. 前記決定手段は、前記特徴に基づいて選択された動きベクトルの差分を比較し、前記差分が所定の閾値より小さい動きベクトルの数に応じて、前記代表動きベクトルを決定することを特徴とする請求項１記載の画像処理装置。
3. 前記動きベクトルの特徴は、前記動きベクトルの始点を座標平面の原点に合わせた場合に終点が位置する前記座標平面上の領域であることを特徴とする請求項１または２記載の画像処理装置。
4. 前記座標平面上の領域は、象限の主軸を一定量だけ平行移動した複数の境界によって分割されることを特徴とする請求項３記載の画像処理装置。
5. 前記一定量は、許容誤差に対応した量であることを特徴とする請求項４記載の画像処理装置。
6. 前記座標平面上の領域は、１または複数の任意の境界によって分割されることを特徴とする請求項３記載の画像処理装置。
7. 前記動きベクトルの特徴は、前記動きベクトルの大きさであることを特徴とする請求項１または２記載の画像処理装置。
8. 前記動きベクトルの特徴は、前記局所画像領域のそれぞれの動きベクトルが互いに一致するかどうかであり、一致した動きベクトルには、一致した動きベクトル数分の重みをつけることを特徴とする請求項１または２記載の画像処理装置。
9. コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
10. 複数の画像のそれぞれにおける局所画像領域の主たる動きを示す代表動きベクトルを決定する決定ステップと、
    前記局所画像領域から、前記代表動きベクトルに類似する類似動きベクトルを抽出する抽出ステップと、
    前記抽出した類似動きベクトルを用いて、画像全体の動き情報を推定する推定ステップと
    を含み、
    前記決定ステップは、前記局所画像領域の複数の動きベクトルの特徴を算出し、前記特徴に基づいて選択された動きベクトルから前記代表動きベクトルを決定するステップを含むことを特徴とする画像処理方法。

Images