JP2018072941A - 画像処理装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】グリッド分割を用いた動きベクトルの検出において、検出の正確性の低下を抑制しつつ、より高速に動きベクトルを検出できるようにする。【解決手段】１つの画像を複数の領域に分割する領域分割部と、分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択部と、分割された領域ごとの特徴点に基づいて、複数の画像の間でのマッチング処理に使用する画像領域を決定する決定部とを備え、決定部は、マッチング処理に使用する画像領域が分割された領域内に収まらない場合は、分割された領域内に収まる位置まで、画像領域を移動させる。【選択図】 図２

Description

本発明は、動きベクトル検出においてグリッド分割処理を行う画像処理装置に関するものである。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して像ブレ補正を施すためには、フレーム画像間の動き量を検出して複数枚の画像の位置合わせを行う必要がある。フレーム画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影されたフレーム画像から動き量を推定したりする方法等がある。

フレーム画像を用いて動き量を推定する方法は従来から種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出がある。テンプレートマッチングでは、まず映像中のある２枚のフレーム画像の一方を原画像、もう一方を参照画像とする。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の画素値の分布との相関を求める。このとき、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、原画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。

動きベクトルの検出率を向上させるため、特徴点を抽出し、抽出した特徴点にテンプレートブロックを配置し、フレーム画像間でテンプレートマッチングを行う技術がある。ここで、画像全体に対して特徴点抽出を行うと、特徴点の分布は不均一になることが多い。不均一な特徴点に対して得られた動きベクトルを像ブレ補正の用途で使用する場合、特徴点の集中した領域が主となる像ブレ補正となってしまう。

この問題を解決するため、特許文献１では、特徴点を均一に分布させるために、画像をグリッド状に分割して、特徴の大きさを表す特徴値を画素ごとに計算し、各グリッド内で特徴値が最も大きい画素を特徴点として抽出している。

図１２は、特許文献１に記載されている技術に基づいて、各グリッド内で特徴点を求めて、その特徴点にテンプレートブロックを配置し、テンプレートマッチングを行う例を示した図である。図１２において、１２００は画像、１２０１はグリッド、１２０２はグリッド内の特徴点、１２０３はテンプレート、１２０４はテンプレートに対するサーチ範囲を示す。例えば、グリッド１２０１−１においては、特徴点１２０２−１を重心としたテンプレート１２０３に基づいて、テンプレートマッチングが行われる。

特開２００８−１９２０６０号公報

例えば、ビデオカメラなどの動画の像ブレ補正処理で使用される動きベクトル検出回路においては、リアルタイム性が要求される。そのため、例えば、グリッド１２０１−１における、テンプレートマッチング用画像の生成、ならびに特徴点の算出処理が完了した直後に、グリッド１２０１−１のテンプレートマッチング処理を開始出来るように回路を制御する。しかし、グリッド１２０１−２で示すように、特徴点１２０２−２が、グリッドの下端に近い場合、テンプレート１２０３−２と、サーチ範囲１２０４−２が、グリッド１２０１−２の下にはみ出す場合がある。

その場合、テンプレートマッチングを行うには、グリッド１２０１−２の外側の領域１２０５が必要となるため、下端グリッドより下の画像ラインが余分に必要となる。従って、グリッド１２０１−２のテンプレートマッチング用画像生成、ならびに特徴点の算出処理が完了した直後に、テンプレートマッチング処理を開始することが出来ない。少なくとも、グリッド１２０１−２の外側の領域１２０５に対するテンプレートマッチング用画像の生成が完了するまで、マッチング処理の開始が遅れてしまうという問題がある。

また、グリッド分割によるテンプレートマッチング処理においては、このようにテンプレート画像やサーチ範囲がグリッド外にはみ出る場合に余分画素が必要になるため、メモリにアクセスするデータ量が増えてしまうという問題もある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、グリッド分割を用いた動きベクトルの検出において、検出の正確性の低下を抑制しつつ、より高速に動きベクトルを検出できるようにすることである。

本発明に係わる画像処理装置は、１つの画像を複数の領域に分割する領域分割手段と、分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択手段と、前記分割された領域ごとの特徴点に基づいて、複数の画像の間でのマッチング処理に使用する画像領域を決定する決定手段と、を備え、前記決定手段は、前記マッチング処理に使用する画像領域が前記分割された領域内に収まらない場合は、前記分割された領域内に収まる位置まで、前記画像領域を移動させることを特徴とする。

本発明によれば、グリッド分割を用いた動きベクトルの検出において、検出の正確性の低下を抑制しつつ、より高速に動きベクトルを検出することが可能となる。

本発明の第１の実施形態に係わる撮像装置の概略構成を示す図。 第１の実施形態における動きベクトル検出部の構成を示す図。 第１の実施形態における画像信号の分割例を示す図。 分割された画像信号の処理順序を示す図。 特徴点算出部の構成を示す図。 下端以外のグリッドにおけるベクトル検出画像の読み出しを示す図。 下端以外のグリッドにおけるベクトル検出処理のタイミングを示す図。 下端グリッドにおけるベクトル検出画像の読み出しを示す図。 下端グリッドにおけるベクトル検出処理のタイミングを示す図。 第２の実施形態における画像信号の分割例を示す図。 第３の実施形態における画像信号の分割例を示す図。 グリッド分割処理に基づく特徴点テンプレートマッチングの例を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１の実施形態＞
図１から図９を参照して、本発明の第１の実施形態に係わる画像処理装置について説明する。第１の実施形態では、動きベクトル検出対象グリッドが画面の下端に近い場合に、テンプレートマッチング処理に使用する画像領域の位置を変更する。これにより、像ブレ補正のための動きベクトル検出処理の完了タイミングを早めることが可能となる。

図１は、本発明の画像処理装置の第１の実施形態としての撮像装置１００の構成を示すブロック図である。図１において、撮像装置１００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換器１０３、画像処理部１０４、システム制御部１０６、操作部１０７、表示部１０８、記憶部１０９を備える。

撮像光学系１０１は、フォーカスレンズや像ブレ補正レンズを含む複数のレンズ群および絞りを有して構成される。撮像光学系１０１は被写体からの光を受け、撮像素子１０２に光を導く。撮像光学系１０１に含まれるフォーカスレンズは不図示のレンズ駆動制御部からの駆動命令に基づいて駆動され、ピント位置を調節する。なお、フォーカスレンズは、ピントリングの回転動作に応じて駆動されてもよい。また、像ブレ補正レンズはレンズ制御部からの駆動命令に基づいて駆動され、手ブレ等に起因する像ブレを補正する。撮像光学系１０１を通過した光束は撮像素子１０２上に被写体の光学像を形成する。

撮像素子１０２は、ＣＣＤやＣＭＯＳセンサ等からなる撮像素子であり、その表面は例えばベイヤー配列のような配列を有するＲＧＢカラーフィルタにより覆われ、カラー撮影が可能である。撮像素子１０２は受光した光束を電気信号に変換し、アナログ信号としてＡ／Ｄ変換部１０３に出力する。Ａ／Ｄ変換器１０３は撮像素子１０２からのアナログ信号をデジタル信号に変換するための変換器である。Ａ／Ｄ変換器１０３は、Ａ／Ｄ変換によって得られたデジタル信号を画像処理部１０４に出力する。

画像処理部１０４は、動きベクトル検出を行う動きベクトル検出部１０５を含み、画像処理機能を有する。画像処理部１０４は独立した回路でもよいし、システム制御部１０６がプログラムを実行することにより実現される構成でもよい。動きベクトル検出部１０５の詳細な構成及び動きベクトルの検出方法については、後述する。動きベクトル検出部１０５で検出された動きベクトルは像ブレ補正レンズの制御値の算出に使用される。画像処理部１０４は、システム制御部１０６からの制御命令に基づいてＡ／Ｄ変換器１０３から出力されるデジタル信号群に対して画像処理を行い、記録用および表示用の画像データを生成する。画像処理部１０４で行われる画像処理は、ＷＢ補正処理、色ゲインをかけて色差信号やＲＧＢ信号に変換する処理、ガンマ補正処理などの現像処理である。なお、画像処理部１０４は、画像処理を行う際に、適宜画像データを不図示のメモリに記憶させたり、あるいはメモリから画像データを読み出したりする。

システム制御部１０６はＣＰＵを含み、不図示のメモリに格納されている制御プログラムに従って、撮像光学系１０１内のフォーカスレンズや像ブレ補正レンズの駆動制御などのシステム全体の動作制御を行う。また、システム制御部１０６は、画像処理によって得られたデータの取得や、撮像光学系１０１のレンズ位置情報の取得等の各ブロック間の信号の入出力も制御する。

操作部１０７は、撮像装置１００に備えられた各種スイッチ、ダイヤル、シャッターボタン、タッチパネルなどからなる操作デバイスである。撮影者は、操作部１０７を用いて撮影パラメータの設定や撮影動作の指示などを入力することが可能である。撮影者による操作部１０７を介した操作入力信号は、システム制御部１０６に入力される。

表示部１０８は、ＬＣＤ等を用いたディスプレイであり、システム制御部１０６から転送される撮影時の画像や記憶部１０９に記憶された画像の表示、或いは、各種の設定画面などの表示を行う。様々な規格のメモリカード等の着脱可能な記録媒体が装填され、この記録媒体にシステム制御部１０６を介して画像データが記録され、また、記録媒体から画像データが読み出される。以上が、本実施形態に係わる撮像装置１００の構成である。

次に、本実施形態における動きベクトル検出部１０５の構成、及び、動きベクトルの検出方法について説明する。図２は、動きベクトル検出部１０５の構成を示すブロック図である。図２において、動きベクトル検出部１０５は、グリッド分割部２０１、ベクトル検出画像生成部２０２、特徴点算出部（特徴点選択部）２０３、メモリ２０４、メモリアドレス生成部２０５、マッチング処理部２０６を有している。グリッド分割部２０１は、入力されたベクトル検出の対象となる画像信号を複数の領域（本実施形態では、グリッドと呼ぶ）に分割し、分割したグリッド毎の画像信号を出力する。

図３は、画像信号を複数のグリッドに分割（領域分割）した例を示した図であり、画像信号３００を、水平方向に６個、垂直方向に４個のグリッドに分割している。以降の処理では、グリッド３０１−１に対し、特徴点３０２−１を求め、求めた特徴点に応じて、テンプレート画像３０３−１の位置と、サーチ画像３０４−１の位置を決定して、テンプレートマッチングを行う。また、特徴点３０２は、グリッド３０１内の点となる。そのため、グリッド３０１−２で示すように、特徴点３０２−２がグリッド３０１−２の端に近くなると、テンプレート画像３０３−２と、サーチ画像３０４−２が、グリッド３０１−２からはみ出してしまう可能性がある。従って、上端グリッドや、左端グリッド、右端グリッドに対しては、余分画素領域３０５を準備する必要がある。

また、グリッド分割部２０１は、図４に示すように、後段のベクトル検出画像生成部２０２と、特徴点算出部２０３に対し、画像信号４００を、前述した余分画素領域を含めた分割領域単位で出力する。まず、左上端の余分画素領域４０２−１の画像信号を読み出したら、次に、その右隣の余分画素領域４０２−２を読み出し、そのまま水平方向の余分画素領域を読み出す。上端の余分画素領域の画像信号を全て読み出し終えたら、グリッド４０１−１に対する左端の余分画素領域４０２−３を読み出し、その後に、グリッド４０１−１を読み出す。グリッド４０１−１を読み出し終えたら、グリッド４０１−２、グリッド４０１−３という順で、水平方向のグリッドを読み出していく。

なお、後段のベクトル検出画像生成部２０２は、余分画素領域４０２を入力する必要があるが、特徴点算出部２０３は、グリッド４０１のみが処理対象となるため、余分画素領域４０２の入力は不要である。例えば、余分画素領域４０２がベクトル検出画像生成部２０２に入力されている間は、特徴点算出部２０３は、供給するクロックを停止するなどして、消費電力を抑える構成としてもよい。また、画像信号４００がラスタスキャンでグリッド分割部２０１に入力される場合は、グリッド分割部２０１において、既知の手法により、ラスタブロック変換処理を行う必要がある。

次に、分割された画像信号は、ベクトル検出画像生成部２０２において、ベクトル検出画像に変換され、メモリ２０４に書き込まれる。ベクトル検出画像生成部２０２は、例えば、バンドパスフィルタ回路であり、テンプレートマッチング処理に不要な、画像信号の高周波成分と低周波成分をカットする。

また、ベクトル検出画像が生成されるのと並行して、特徴点算出部２０３において、各グリッドの特徴点を算出する。図５は、特徴点算出部２０３の構成を示した図であり、特徴点算出部２０３は、特徴フィルタ部５０１、特徴評価部５０２、特徴点決定部５０３を有する。

特徴フィルタ部５０１は、例えば、バンドパスフィルタ、水平微分フィルタ、垂直微分フィルタ、平滑化フィルタなど、複数のフィルタから構成される。例えば、本実施形態においては、バンドパスフィルタで、不要な画像信号の高周波成分と低周波成分をカットし、水平方向の微分フィルタ処理を施した信号と、垂直方向の微分フィルタ処理を施した信号それぞれに対して、平滑化フィルタ処理を施す。

特徴評価部５０２は、特徴フィルタ部５０１によりフィルタ処理されたグリッドに対し、画素ごとに２つのエッジの交点や曲率が極大である曲線状の点など画素の周辺の微分値が多方向に大きい点を特徴評価式により特徴値として算出する。本実施形態では、例えば、Ｓｈｉ ａｎｄ Ｔｏｍａｓｉの手法を用いる場合について説明する。水平微分フィルタと垂直微分フィルタを施した結果から、自己相関行列Ｈを作成する。自己相関行列Ｈの式を（式１）に示す。

（式１）において、Ｉxは水平微分フィルタを施した結果、Ｉyは垂直微分フィルタを施した結果を表しており、ガウシアンフィルタＧを畳み込む。Ｓｈｉ ａｎｄ Ｔｏｍａｓｉの特徴評価式を（式２）に示す。

Shi and Tomashi ＝ min（λ1，λ2） （式２）
（式２）は、（式１）の自己相関行列Ｈの固有値λ1，λ2のうち小さい方の固有値を特徴値とすることを示す。

特徴点決定部５０３は、グリッド毎に、特徴評価部５０２によって画素ごとに算出された特徴値の最も大きい値を持つ画素を特徴点と決定する。本実施形態においては、特徴点の座標は、グリッドの左上端を（０，０）とした相対座標（ＰＸ，ＰＹ）で表現するが、画像信号における絶対座標で表現してもよい。

なお、算出された特徴点は、特徴点決定部５０３内で、グリッド毎にメモリやレジスタに記憶される。そして、マッチング処理部２０６において、対応するグリッドのテンプレートマッチング処理が開始されるときに、メモリアドレス生成部２０５に特徴点情報がセットされる。

メモリ２０４には、現時点のベクトル検出画像と、１フレーム前のベクトル検出画像の、２フレーム分のベクトル検出画像が記憶されている。本実施形においては、現時点のベクトル検出画像をテンプレート画像とし、１フレーム前のベクトル検出画像をサーチ画像として、テンプレートマッチングを行う構成である。メモリアドレス生成部２０５は、メモリ２０４に配置された２枚のベクトル検出画像の所定のグリッドに対して、テンプレートマッチングに必要となるテンプレート画像とサーチ画像の読み出し位置を決定し、メモリアクセスを実施する。

ここで、テンプレート画像とサーチ画像の読み出し位置の決定について説明する。本実施形態においては、（ａ）ベクトル検出対象グリッドが画面の下端以外の場合と、（ｂ）ベクトル検出対象グリッドが画面の下端の場合とで、それぞれ制御が異なる。なお、グリッドが下端か否かの情報は、グリッド分割部２０１からメモリアドレス生成部２０５へ入力されるグリッド座標情報によって判定する。

（ａ）ベクトル検出対象グリッドが画面の下端以外の場合
図６は、グリッド６０１におけるテンプレート画像の読み出し開始位置とサーチ画像の読み出し開始位置を示した図である。６０２はグリッド開始座標、６０３は特徴点座標、６０４はテンプレート画像、６０５はサーチ画像、６０６はテンプレート画像読み出し開始座標、６０７はサーチ画像読み出し開始座標、６０８はテンプレートマッチング処理に必要となる余分画素領域である。

まず、グリッド内の特徴点６０３（ＰＸ，ＰＹ）は、グリッド開始座標６０２を（ＧＳＸ，ＧＳＹ）とした場合に、画像信号内の絶対座標（ＧＰＸ，ＧＰＹ)としては以下の式で表現される。

（ＧＰＸ，ＧＰＹ）＝（ＧＳＸ＋ＰＸ，ＧＳＹ＋ＰＹ） （式３）
テンプレート画像は、特徴点が中心となるように配置される。従って、テンプレート画像の読み出し開始位置（ＧＴＸ，ＧＴＹ）は、テンプレート画像の水平サイズをＴＸ、垂直サイズをＴＹとした場合、以下の式で表現される。

（ＧＴＸ，ＧＴＹ）＝（ＧＰＸ−ＴＸ／２，ＧＰＹ−ＴＹ／２） （式４）
サーチ画像は、画像の中心をテンプレート画像の中心に揃えて配置する。従って、サーチ画像の読み出し開始位置（ＧＭＸ，ＧＭＹ）は、サーチ画像の水平サイズをＳＸ、垂直サイズをＳＹとした場合、以下の式で表現される。

（ＧＭＸ，ＧＭＹ）＝（ＧＰＸ−ＳＸ／２，ＧＰＹ−ＳＹ／２） （式５）
メモリアドレス生成部２０５は、メモリ２０４に配置された現フレームのベクトル検出画像に対して、座標（ＧＴＸ，ＧＴＹ）から、水平サイズＴＸ、垂直サイズＴＹの矩形領域（テンプレート画像）を読み出すよう、メモリアドレスを発行する。また、同様に、メモリ２０４に配置された１フレーム前のベクトル検出画像に対して、座標（ＧＭＸ，ＧＭＹ）から水平サイズＳＸ、垂直サイズＳＹの矩形領域（サーチ画像）を読み出すよう、メモリアドレスを発行する。

図７は、ベクトル検出画像生成処理、特徴点算出処理、テンプレートマッチング処理の処理タイミングを説明する図であり、余分画素領域６０８−１〜６０８−８、及び、グリッド６０１がどのタイミングで処理されるかを示している。

グリッド６０１をテンプレートマッチング処理する場合、特徴点（ＰＸ，ＰＹ）の位置によってはテンプレート画像とサーチ画像がグリッド６０１をはみ出す。そのため、余分画素領域６０８−１〜６０８−８が必要となる。従って、本実施形態において、グリッド６０１をテンプレートマッチング処理する場合は、図７に示すように、余分画素領域６０８−８のベクトル検出画像生成処理が完了している必要がある。

（ｂ）ベクトル検出対象グリッドが画面の下端の場合
図８は、グリッド８０１におけるテンプレート画像の読み出し開始位置と、サーチ画像の読み出し開始位置を示した図である。８０２はグリッド開始座標、８０３はテンプレートの中心位置、８０４はテンプレート画像、８０５はサーチ画像、８０６はテンプレート画像読み出し開始座標、８０７はサーチ画像読み出し開始座標、８０８は余分画素領域、８０９はグリッド内の特徴点、８１０は特徴点に対するテンプレート画像、８１１は特徴点に対するサーチ画像である。

下端グリッドにおいては、グリッド内の特徴点８０９（ＰＸ，ＰＹ）の座標によって制御を変える。グリッドのサイズを（ＧＸ，ＧＹ）、サーチ画像の水平サイズＳＸ、垂直サイズＳＹとした場合に、制御方法を変える条件式は以下の式で表現される。

（ＰＸ＋ＳＸ／２）＞ＧＸ
（ＰＹ＋ＳＹ／２）＞ＧＹ …（式６）
（式６）は、サーチ画像８１１がグリッドからはみ出していることを示す。Ｘ方向、Ｙ方向それぞれについて上記条件式が満たされる場合、サーチ画像がグリッド内に納まる位置まで移動させた位置にテンプレートを配置するように制御する。従って、テンプレート画像の移動後の中心座標を（ＲＸ，ＲＹ）、グリッド内の特徴点座標を（ＰＸ，ＰＹ）、グリッドのサイズを（ＧＸ，ＧＹ）、グリッド開始位置を（ＧＳＸ，ＧＳＹ）とした場合に、画像信号内のテンプレート画像の中心の絶対座標（ＧＰＸ，ＧＰＹ)は以下の式で表現される。

（ＲＸ，ＲＹ）＝（ＧＸ−ＳＸ／２，ＧＹ−ＳＹ／２） …（式７）
（ＧＰＸ，ＧＰＹ）＝（ＧＳＸ＋ＲＸ，ＧＳＹ＋Ｒｙ） …（式８）
テンプレート画像は、この点（ＧＰＸ，ＧＰＹ）が中心となるように配置される。従って、読み出し開始位置（ＧＴＸ，ＧＴＹ）は、テンプレート画像の水平サイズをＴＸ、垂直サイズをＴＹとした場合、（式４）で表現される。

また、サーチ画像は、画像の中心をテンプレート画像の中心に揃えて配置される。従って、サーチ画像の読み出し開始位置（ＧＭＸ，ＧＭＹ）は、水平サイズをＳＸ、垂直サイズをＳＹとした場合、（式５）で表現される。

メモリアドレス生成部２０５は、（ａ）の場合と同様に、メモリ２０４に配置された現フレームのベクトル検出画像に対して、座標（ＧＴＸ，ＧＴＹ）から、水平サイズＴＸ、垂直サイズＴＹの矩形領域（テンプレート画像）を読みだすよう、メモリアドレスを発行する。また、同様に、メモリ２０４に配置された１フレーム前のベクトル検出画像に対して、座標（ＧＭＸ，ＧＭＹ）から、水平サイズＳＸ、垂直サイズＳＹの矩形領域（サーチ画像）を読み出すよう、メモリアドレスを発行する。

一方、（式６）の条件を満たさない場合、すなわち、サーチ画像がグリッド内に納まっている場合には、（ａ）の場合と同様の制御を行う。

図９は、ベクトル検出画像生成処理、特徴点算出処理、テンプレートマッチング処理の処理タイミングを説明した図であり、余分画素領域８０８−１〜８０８−５、及び、グリッド８０１がどのタイミングで処理されるかを示している。

グリッド８０１をテンプレートマッチング処理する場合、上記の（ｂ）で説明したような読み出し範囲の移動を行うことにより、テンプレート画像とサーチ画像が、グリッド８０１からはみ出すことがなくなる。そのため、余分画素領域８０８−１〜８０８−５を必要としない。従って、本実施形態において、グリッド８０１をテンプレートマッチング処理する場合は、図９に示すように、グリッド８０１のベクトル検出画像生成処理が完了していればマッチング処理を行うことができ、マッチング処理開始が遅れることがなくなる。また、下端グリッドは余分画素領域が不要のため、下端グリッドよりも下の画像信号に対して、ベクトル画像生成処理を施してメモリ２０４に書き出す必要がない。

なお、本実施形態においては、下端グリッドのサーチ画像が右方向と下方向にはみ出している例について説明したが、右方向のみ、下方向にのみにはみ出している場合は、読み出し範囲をＸ方向のみ、Ｙ方向のみ移動させることとなる。また、右方向のはみ出しに関しては、下方向ほどマッチング処理開始時間の遅延に影響しないため、できる限り特徴点の算出結果を反映させたい場合には右方向のはみ出しを許容するようにしてもよい。

マッチング処理部２０６は、メモリ２０４から読み出されたテンプレート画像とサーチ画像を用いて相関値を算出し、その相関値からベクトル値を算出する。例えば、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。

（式９）において、ｆ（ｉ，ｊ）はテンプレート画像６０４（８０４）内の座標（ｉ，ｊ）における画素値を表しており、ｇ（ｉ，ｊ）はサーチ画像６０５（８０５）において相関値算出の対象となる領域内の各画素値を表す。相関値算出対象領域は、テンプレート画像６０４（８０４）と同じ大きさである。そしてＳＡＤでは、両ブロック内の各画素値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレート画像６０４（８０４）と相関値算出領域内のテクスチャが類似していることを表している。なお、本実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いてもよい。マッチング処理部２０６は、相関値の最小値の位置（ＭＶＸ，ＭＶＹ）を、グリッドの動きベクトル値として出力する。

以上説明したように、第１の実施形態の動きベクトル検出部１０５は、下端グリッドに対してテンプレートマッチング処理に使用する画像がグリッド外となった場合に、はみ出し量に応じて読み出し範囲を移動させる。これにより、メモリ２０４に書き込むベクトル検出画像のデータ量を削減することができる。また、動きベクトル検出処理の開始が遅れてしまう課題に対して、処理開始を早めることが可能となり、動きベクトル検出処理の高速化が可能となる。また、はみ出し量が数画素程度の場合には、テンプレート画像の移動量が小さく、テンプレート画像内に特徴のあるテクスチャを含ませることができるため、テンプレートマッチングの精度低下を抑制しつつ、処理完了を早めることが可能である。

＜第２の実施形態＞
図１０を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、動きベクトル検出対象グリッドが下端だけでなく、上端、左右端の場合にもテンプレートマッチング処理に使用する画像領域の位置を変更する。これにより、メモリに書き込むベクトル検出画像のデータ量をより削減することが可能となる。本実施形態の撮像装置、画像処理部の構成は、第１の実施形態を示す図１、図２と同様である。第１の実施形態と異なる点は、メモリアドレス生成部２０５の制御のみである。

図１０は、第２の実施形態における画像信号をグリッド分割した例を示す図であり、画像信号１０００を、水平方向に６個、垂直方向に４個のグリッドに分割している。以降の処理は、グリッド１００１に対し、特徴点１００２を求め、求めた特徴点に応じてテンプレート画像１００３の位置と、サーチ画像１００４の位置を決定して、テンプレートマッチングを行う。ただし、第１の実施形態とは異なり、余分画素領域に対するベクトル検出画像生成処理をしない。

第２の実施形態における、メモリアドレス生成部２０５のテンプレート画像とサーチ画像の読み出し位置の決定について説明する。本実施形態においては、（ａ）ベクトル検出対象グリッドが画面の端以外の場合と、（ｂ）ベクトル検出対象グリッドが画面の端の場合とで、それぞれ制御が異なる。なお、グリッドが端か否かの情報は、グリッド分割部２０１からメモリアドレス生成部２０５へ入力されるグリッド座標情報を用いて判定する。
（ａ）ベクトル検出対象グリッドが画面の端以外の場合（グリッド１００１−２）
第１の実施形態における、「（ａ）ベクトル検出対象グリッドが画面の下端以外の場合」と同様の制御となるため、説明を省略する。
（ｂ）ベクトル検出対象グリッドが画面の端の場合（グリッド１００１−１）
画面の端に位置するグリッドにおいては、第１の実施形態における「（ｂ）ベクトル検出対象グリッドが画面の下端の場合」と同様に画像の読み出し範囲を移動させる。つまり、サーチ画像がグリッドからはみ出している場合は、グリッド内に納まる位置まで移動させた位置（ＲＸ，ＲＹ）を中心にテンプレート画像を配置するように制御する。ただし、下端グリッドのみの場合とは異なり、左方向、上方向にもはみ出してはいけないため、（式６）に加えて以下の条件式が追加となる。

（ＰＸ−ＳＸ／２）＜０
（ＰＹ−ＳＹ／２）＜０ …（式１０）
Ｘ方向、Ｙ方向それぞれについて上記条件式が満たされる場合、サーチ画像がグリッド内に納まる位置まで移動させた位置にテンプレートを配置するように制御する。従って、移動後のテンプレート画像の中心座標（ＲＸ，ＲＹ）は以下の式で表現される。

（ＲＸ，ＲＹ）＝（ＳＸ／２，ＳＹ／２） …（式１１）
従って、本実施形態において、画面の端のグリッドをテンプレートマッチング処理する場合は、端のグリッドよりも外側にある余分画素領域が不要となる。そのため、端のグリッドよりも外側の画像信号に対して、ベクトル画像生成処理を施す必要が無く、メモリ２０４に書き出す必要もない。

なお、本実形態においては、端のグリッドのサーチ画像が左方向と上方向の両方向にはみ出している例について説明したが、（式６）、（式１０）の条件により上下左右の端グリッドにおいては、画像の外側にはみ出している方向のみにサーチ画像を移動させる。

以上が第２の実施形態における、メモリアドレス生成部２０５の制御である。本実施形態によれば、第１の実施形態に比べてさらにメモリ２０４に書き込むベクトル検出画像のデータ量を削減することができる。

＜第３の実施形態＞
図１１を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、動きベクトル検出処理全体の処理時間とメモリ２０４に書き込むベクトル検出画像のデータ量の削減を図るために、処理グリッドを間引く処理について説明する。処理を行う全てのグリッドに対して、テンプレートマッチング処理に使用する画像領域の位置を変更する。これにより、テンプレートマッチングの精度低下を抑制しつつ、処理時間とメモリ２０４に書き込むベクトル検出画像のデータ量を大幅に削減することが可能となる。

この第３の実施形態における撮像装置、画像処理部の構成は、第１及び第２の実施形態を示す図１、図２と同様である。第１及び第２の実施形態と異なる点は、メモリアドレス生成部２０５の制御のみである。

図１１は、第３の実施形態における画像信号をグリッドに分割した例を示す図であり、画像信号１１００を、水平方向に６個、垂直方向に４個のグリッドに分割した上で、水平方向、垂直方向それぞれに対して、１グリッド置きに処理対象グリッドを間引いている（間引かれた状態）。以降の処理は、グリッド１１０１に対し、特徴点１１０２を求め、求めた特徴点に応じて、テンプレート画像１１０４の位置と、サーチ画像１１０４の位置を決定して、テンプレートマッチングを行う。ただし、第１及び第２の実施形態とは異なり、余分画素領域と間引いたグリッドに対しては、ベクトル検出画像生成処理をしない。

第３の実施形態における、メモリアドレス生成部２０５のテンプレート画像とサーチ画像の読み出し位置の決定について説明する。本実施形態においては、（ａ）ベクトル検出対象グリッドでない場合と、（ｂ）ベクトル検出対象グリッドの場合とで、それぞれ制御が異なる。なお、ベクトル検出対象グリッドか否かの情報は、グリッド分割部２０１からメモリアドレス生成部２０５へ入力されるグリッド座標情報を用いて判定する。
（ａ）ベクトル検出対象グリッドでない場合（グリッド１１０１−２）
ベクトル検出対象グリッドでないため、処理を行わず、次のグリッドに進む。
（ｂ）ベクトル検出対象グリッドの場合（グリッド１００１−１）
第２の実施形態における、「（ｂ）ベクトル検出対象グリッドが画面の端の場合」と同様の制御となるため、説明を省略する。

このように、本実施形態においては、テンプレートマッチング処理する場合に、処理対象となる全てのグリッドについてグリッドよりも外側にある領域が不要となる。そのため、処理対象のグリッドの外側の画像信号に対してベクトル画像生成処理を行う必要がない。また、メモリ２０４に書き出す必要もない。

以上が第３の実施形態におけるメモリアドレス生成部２０５の制御である。このような処理により、テンプレートマッチングの精度低下を抑制しつつ、処理時間とメモリ２０４に書き込むベクトル検出画像のデータ量を大幅に削減することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：グリッド分割部、２０２：ベクトル検出画像生成部、２０３：特徴点算出部、２０４：メモリ、２０５：メモリアドレス生成部、２０６：マッチング処理部

Claims (13)

1. １つの画像を複数の領域に分割する領域分割手段と、
   分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択手段と、
   前記分割された領域ごとの特徴点に基づいて、複数の画像の間でのマッチング処理に使用する画像領域を決定する決定手段と、を備え、
   前記決定手段は、前記マッチング処理に使用する画像領域が前記分割された領域内に収まらない場合は、前記分割された領域内に収まる位置まで、前記画像領域を移動させることを特徴とする画像処理装置。
2. 前記決定手段は、前記分割された領域が画面の下端の位置である場合、前記マッチング処理に使用する画像領域を、前記分割された領域から下方向にはみ出さない位置まで上方向に移動させることを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記分割された領域が画面の上端の位置である場合、前記マッチング処理に使用する画像領域を、前記分割された領域から上方向にはみ出さない位置まで下方向に移動させることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記分割された領域が画面の左端の位置である場合、前記マッチング処理に使用する画像領域を、前記分割された領域から左方向にはみ出さない位置まで右方向に移動させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記決定手段は、前記分割された領域が画面の右端の位置である場合、前記マッチング処理に使用する画像領域を、前記分割された領域から右方向にはみ出さない位置まで左方向に移動させることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記分割された領域を、水平方向、垂直方向それぞれに対して間引く間引き手段をさらに備え、前記決定手段は、前記分割された画像が間引かれた状態である場合、前記マッチング処理に使用する画像領域を、前記分割された領域から上下左右にはみ出さない位置まで移動させることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記間引き手段は、前記分割された領域を水平方向、垂直方向にそれぞれ１つ置きに間引くことを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、メモリに記憶された画像信号の読み出しアドレスを変更することにより、前記マッチング処理に使用する画像領域を移動させることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記メモリに記憶された複数のフレームの画像の間で特徴点のマッチング処理を行うマッチング処理手段をさらに備えることを特徴とする請求項７に記載の画像処理装置。
10. 前記マッチング処理手段によるマッチング処理の結果に基づいて、動きベクトルを検出する検出手段をさらに備えることを特徴とする請求項９に記載の画像処理装置。
11. １つの画像を複数の領域に分割する領域分割工程と、
    分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択工程と、
    前記分割された領域ごとの特徴点に基づいて、複数の画像の間でのマッチング処理に使用する画像領域を決定する決定工程と、を有し、
    前記決定工程では、前記マッチング処理に使用する画像領域が前記分割された領域内に収まらない場合は、前記分割された領域内に収まる位置まで、前記画像領域を移動させることを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
13. 請求項１１に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images