JP2007189441A - 動き検出方法及びその装置 - Google Patents

Abstract

【課題】動き検出を行うときの移動ベクトルの算出解像度を、切出ブロックのずらし画素数より高めると共に演算処理の高速化を図る。
【解決手段】第１画面の部分領域から基準画像を切り出し、切出ブロックを所定複数画素数ｎづつずらしながら第２画面の部分領域から比較画像を切り出し、各比較画像と基準画像との相関性を演算し基準画像の移動ベクトルを求めるとき、第２画面画像を画素数ｎより少ない画素数ｍ（＜ｎ）づつずらした複数の第２画像（以下、第２―１画像，第２―２画像，…という。）を作成してメモリに格納し、比較画像を切り出すとき、第２―１画像，第２―２画像，…の各画像から複数の比較画像を切り出し、各比較画像と基準画像との相関性を求める演算を並列処理して、動き検出の移動ベクトルを求める。
【選択図】図１

Description

本発明は、撮像画面中で動く物体の画像を抽出する動き検出方法及びその装置に係り、特に、動く物体画像を高速且つ解像度良く検出することができる動き検出方法及びその装置に関する。

例えば、動画撮影機能を有するデジタルスチルカメラやビデオカメラ等で動画を撮影し、ＭＰＥＧ（Moving Picture Expert Group ）形式で動画像を圧縮する場合、画面中の動きのある領域を静止している領域と区別する必要がある。

図１１は、動き検出の原理を説明する図である。図１１（ａ）に示すＮフレーム目の画像１中の所定アドレスで示されるブロック２内の画像を基準画像とすると、図１１（ｂ）に示す（Ｎ＋１）フレーム目の画像３中の同一所定アドレスで示されるブロック４によって切り出された比較画像が基準画像と同一であれば、ブロック２内の画像は動いていないことになる。

しかし、ブロック２内に撮影されている画像が動いていれば、この画像は、Ｎ＋１フレーム画像ではブロック４内には存在しない。そこで、ブロック４をＮ＋１フレーム画像中で４ａ，４ｂ，４ｃ，…と、Ｘ方向（水平方向），Ｙ方向（垂直方向）に１画素づつずらしながら、各ブロック４ａ，４ｂ，４ｃ，…内の夫々の画像を基準画像（ブロック２内の画像）と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。

図１１（ｂ）に示す例で、ブロック２の基準画像に対し最も相関性の高い比較画像がブロック４ｃで切り出されたとすると、ブロック２内の基準画像が移動した移動量及び移動方向は、移動ベクトルｋで示すことができる。

基準画像と比較画像の相関性を求める演算は、基準画像と比較画像の１画素１画素を比較し各差分のブロック内総画素の総和の最小値を求めることで行うため、演算負荷が高く、演算に要する時間も長くなり、次々と入力してくる画像を逐次圧縮するのに間に合わなくなってしまう。そこで、ブロック４ａ，４ｂ，４ｃ，…を１画素づつずらすのではなく、例えば８画素づつずらして動き検出を行い、演算処理の負荷軽減を図ると共に演算時間の短縮を図るようにしている。

尚、動き検出に関連する従来技術として、下記特許文献１等がある。

特開２００５―２２８２７３号公報

画像中の動きのある領域を検出するために、基準画像と比較する比較画像の切り出しブロックを画面内で複数画素（例えば８画素）単位でずらせば、演算負荷の軽減と演算時間の短縮を図ることができる。

しかし、上記例の様に、切出ブロックの移動量を８画素単位にするということは、図１２に示すように、移動量の検出最小単位（解像度すなわち分解能）が、Ｘ方向，Ｙ方向ともに８画素単位に量子化されるということを意味し、量子化誤差が発生してしまう。つまり、検出移動量の解像度を８画素以下にできないという問題が生じる。

本発明の目的は、比較画像の切出ブロックのずらし単位を複数画素単位としたとき移動ベクトル（移動量及び移動方向）の解像度を切出ブロックのずらし単位以下にすることができる動き検出方法及びその装置を提供することにある。

本発明の動き検出方法は、第１画面の画像（以下、第１画像という。）中の部分領域の画像を基準画像として基準画像切出ブロックにより切り出し、前記基準画像切出ブロックと同一大きさの比較画像切出ブロックを所定複数画素（画素数ｎとする。）づつずらしながら第２画面の画像（以下、第２画像という。）中の部分領域の画像を比較画像として切り出し、前記所定画素数ｎづつずらしながら切り出された各比較画像と前記基準画像との相関性を夫々演算し該相関性が最も高い比較画像を切り出した比較画像切出ブロックの位置と前記基準画像切出ブロックの位置とから前記基準画像が動いた移動ベクトルを求める動き検出方法において、前記比較画像を切り出す前記第２画像を前記所定画素数ｎより少ない所定画素数ｍ（＜ｎ）づつずらした複数の第２画像（以下、第２―１画像，第２―２画像，…という。）を作成してメモリに格納し、前記比較画像を前記比較画像切出ブロックで切り出すとき、同一比較画像切出ブロックにより前記第２―１画像，第２―２画像，…の各画像から複数の比較画像を切り出し、各比較画像と前記基準画像との相関性を求める演算を並列処理することで前記基準画像が動いた移動ベクトルを求めることを特徴とする。

本発明の動き検出方法は、第１画面の画像（以下、第１画像という。）から部分領域の画像を基準画像として基準画像切出ブロックにより切り出し、前記基準画像切出ブロックと同一大きさの比較画像切出ブロックを所定複数画素（画素数ｎとする。）づつずらしながら第２画面の画像（以下、第２画像という。）中の部分領域の画像を比較画像として切り出し、前記所定画素数ｎづつずらしながら切り出された各比較画像と前記基準画像との相関性を夫々演算し該相関性が最も高い比較画像を切り出した比較画像切出ブロックの位置と前記基準画像切出ブロックの位置とから前記基準画像が動いた移動ベクトルを求める動き検出方法において、前記基準画像と前記比較画像とを夫々同一分割範囲で分割して複数個の基準部分画像及び複数個の比較部分画像とし、基準部分画像と、該基準部分画像の分割位置に対応する比較部分画像との相関性から各分割範囲毎の部分移動ベクトルを求め、各分割範囲毎に求まる前記複数個の前記部分移動ベクトルから前記基準画像に対する前記比較画像の移動ベクトルを求めることを特徴とする。

本発明の動き検出方法は、前記第１画像を前記画素数ｎより少ない画素数づつずらした画像を生成してメモリに格納し、および／または、前記第２画像を前記画素数ｎより少ない画素数づつずらした画像を生成してメモリに格納しておき、前記基準部分画像の各々または前記比較部分画像の各々は、画素ずらし量の異なる画像から切り出すことを特徴とする。

本発明の動き検出方法は、前記基準部分画像の各々または前記比較部分画像の各々の画素ずらしパターンを組織的ディザパターンとしたことを特徴とする。

本発明の動き検出方法は、前記メモリには元画像を縦および／または横に縮小した画像として格納し、該縮小画像上で１画素づつずらして前記比較画像または前記比較部分画像を切り出すことを特徴とする。

本発明の動き検出方法の前記縮小画像は、縦横共に１／ｎに縮小することを特徴とする。

本発明の動き検出装置は、第１画面の画像（以下、第１画像という。）中の部分領域の画像を基準画像として基準画像切出ブロックにより切り出し、前記基準画像切出ブロックと同一大きさの比較画像切出ブロックを所定複数画素（画素数ｎとする。）づつずらしながら第２画面の画像（以下、第２画像という。）中の部分領域の画像を比較画像として切り出し、前記所定画素数ｎづつずらしながら切り出された各比較画像と前記基準画像との相関性を夫々演算し該相関性が最も高い比較画像を切り出した比較画像切出ブロックの位置と前記基準画像切出ブロックの位置とから前記基準画像が動いた移動ベクトルを求める動き検出装置において、前記比較画像を切り出す前記第２画像を前記所定画素数ｎより少ない所定画素数ｍ（＜ｎ）づつずらした複数の第２画像（以下、第２―１画像，第２―２画像，…という。）を格納するメモリと、前記比較画像を前記比較画像切出ブロックで切り出すとき同一比較画像切出ブロックにより前記第２―１画像，第２―２画像，…の各画像から複数の比較画像を切り出す切出手段と、各比較画像と前記基準画像との相関性を求める演算を並列処理することで前記基準画像が動いた移動ベクトルを求める演算手段とを備えることを特徴とする。

本発明の動き検出装置は、第１画面の画像（以下、第１画像という。）から部分領域の画像を基準画像として基準画像切出ブロックにより切り出し、前記基準画像切出ブロックと同一大きさの比較画像切出ブロックを所定複数画素（画素数ｎとする。）づつずらしながら第２画面の画像（以下、第２画像という。）中の部分領域の画像を比較画像として切り出し、前記所定画素数ｎづつずらしながら切り出された各比較画像と前記基準画像との相関性を夫々演算し該相関性が最も高い比較画像を切り出した比較画像切出ブロックの位置と前記基準画像切出ブロックの位置とから前記基準画像が動いた移動ベクトルを求める動き検出装置において、前記基準画像と前記比較画像とを夫々同一分割範囲で分割して複数個の基準部分画像及び複数個の比較部分画像とし基準部分画像と該基準部分画像の分割位置に対応する比較部分画像との相関性から各分割範囲毎の部分移動ベクトルを求める第１演算手段と、各分割範囲毎に求まる前記複数個の前記部分移動ベクトルから前記基準画像に対する前記比較画像の移動ベクトルを求める第２演算手段とを備えることを特徴とする。

本発明の動き検出装置は、前記第１画像を前記画素数ｎより少ない画素数づつずらした画像として格納する第１のメモリおよび／または前記第２画像を前記画素数ｎより少ない画素数づつずらした画像として格納する第２のメモリを備え、前記基準部分画像の各々または前記比較部分画像の各々は画素ずらし量の異なる画像から切り出すことを特徴とする。

本発明の動き検出装置は、前記基準部分画像の各々または前記比較部分画像の各々の画素ずらしパターンを組織的ディザパターンとしたことを特徴とする。

本発明の動き検出装置は、前記メモリに元画像を縦および／または横に縮小した画像として格納する画素間引手段を備え、該縮小画像上で１画素づつずらして前記比較画像または前記比較部分画像を切り出すことを特徴とする。

本発明の動き検出装置の前記縮小画像は、縦横共に１／ｎに縮小することを特徴とする。

本発明によれば、画素がずらされた複数の第２画像から比較画像を切り出して基準画像と比較し相関性を並列処理により求めるため、解像度の高い移動ベクトルを高速に求めることが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る動き検出装置の構成図である。比較画像を切り出すブロックのずらし単位は任意の２のｎ乗数でよいが、説明を明確にするため、以下の説明では８画素とする。

図１において、本実施形態に係る動き検出装置は、第１画面の全画像を取り込み格納するメモリ１０と、該メモリ１０の格納データから動きがあるか否かを判断する部分的な画像を基準画像として切り出す基準画像切出回路１１と、第１画面に対して次フレームとして入力してくる第２画面の全画像を取り込み−２画素ずらして格納するメモリ１２と、同じく第２画面の全画像を取り込み＋２画素ずらして格納するメモリ１３とを備える。

本実施形態の動き検出装置は更に、メモリ１２の格納データから切出ブロックにより比較画像Ａを切り出す切出回路１４と、メモリ１３の格納データから同一切出ブロックにより比較画像Ｂを切り出す切出回路１５と、比較画像Ａと基準画像とを比較演算して両者の相関量を算出する比較演算回路１６と、比較画像Ｂと基準画像とを比較演算して両者の相関量を算出する比較演算回路１７と、両回路１６，１７が算出した相関量信号を取り込み移動ベクトルを算出する移動量演算回路１８とを備える。

比較演算回路１６，１７は、基準画像切出回路１１が基準画像切出位置指令によって次々とメモリ１０から所定領域づつずらして切り出してきた各基準画像と、比較画像切出回路１４，１５が比較画像切出位置指令によって次々とメモリ１２，１３から８画素単位でずらして切り出してきた各比較画像とを比較演算し、演算結果を移動量演算回路１８に出力し、移動量演算回路１８は、各基準画像毎（図１１（ａ）の所定領域２，２ａ，２ｂ，…毎）の移動ベクトルを算出する様になっている。

斯かる動き検出装置に第１画面の画像が入力されると、この画像データはメモリ１０に取り込まれ格納される。切出回路１１は、このメモリ１０内の画像データから基準画像を切り出し、基準画像を比較演算回路１６，１７に出力する。

次に、第２画面の画像が入力されると、この画像データは２つのメモリ１２，１３に並列に格納される。メモリ１２には、入力画像を水平方向に−２画素ずらしながら格納され、メモリ１３には、入力画像を水平方向に＋２画素ずらしながら格納される。

切出回路１４は、メモリ１２の格納データを切り出して比較演算回路１６に出力し、切出回路１５は、メモリ１３の格納データを切り出して比較演算回路１７に出力する。両切出回路１４，１５は、同一の指定切出位置（ブロック）から比較画像を切り出す。

切出回路１４は、図２に示す様に、切出ブロック２０によってメモリ１３の画像データを切り出すが、この画像データ自体が予め−２画素分だけＸ方向にずらされているため、実際に切り出される比較画像Ａは、元画像上では、切出ブロック２０の位置から＋２画素だけずれた画像となっている。同様に、切出回路１５によって切り出される比較画像Ｂは、元画像上では、切出ブロック２０の位置から−２画素だけずれた画像となっている。

比較演算回路１６は基準画像と比較画像Ａとの相関量を求め、比較演算回路１７は基準画像と比較画像Ｂとの相関量を求める。この両者の演算は、並列処理で行われる。切出回路１４，１５は、８画素単位に次々とずらされる指令ブロック位置の比較画像Ａ，Ｂを切り出し、比較演算回路１６，１７は夫々のブロック位置における相関量を算出し、移動量演算回路１８は、比較演算回路１６，１７から出力される多数の相関量算出結果を取り込み、第１画面中の部分領域毎（図１１（ａ）の２，２ａ，２ｂ，…）の移動ベクトルを求め出力する。

この様に、本実施形態では、８画素単位で比較画像切出ブロック位置を移動させるが、この切出ブロックで４画素ずれた比較画像ＡとＢが同時に切り出され基準画像と比較演算されるため、移動量の量子化は、図３に示す様に、４画素単位となる。つまり、４画素ずれた比較画像Ａと比較画像Ｂとが、８画素単位で移動される結果、求まる移動量の解像度は４画素になる。

尚、上記実施形態では、説明を簡単にするため水平方向のみ−２画素，＋２画素ずらしたが、Ｙ方向の解像度を４画素に上げるためには、垂直方向にも−２画素，＋２画素ずらす必要があり、それらに対応したメモリや切出回路，比較演算回路を追加する必要がある。勿論、これらをソフトウェア的に行うことも可能であるが、処理時間の短縮を図るには、ハードウェアで行った方が良いことはいうまでもない。

（第２の実施形態）
図４は、本発明の第２の実施形態に係る動き検出装置の機能構成図である。この図４の実施形態を説明する前に、本実施形態の動き検出原理を図５〜図９を用いて説明する。

本実施形態では、図５（ａ）に示す基準画像範囲２１と、図５（ｂ）に示す各比較画像範囲２２とを比較し、基準画像範囲２１がどの比較画像範囲２２に移動しているかを求めるものである。そして、本実施形態では、図示する様に、基準画像範囲２１と比較画像範囲２２を共に、４×４＝１６の分割範囲に分割し、基準画像範囲２１の第ｉ行ｊ列の分割範囲内の基準画像（基準部分画像）と、比較画像範囲２２の同じ第ｉ行ｊ列の分割範囲内の比較画像（比較部分画像）とを比較し、各分割範囲毎に求まる１６個の部分移動ベクトルから、比較画像範囲２２全体の移動ベクトルを算出する様にしている。

図６は、基準画像範囲２１，比較画像範囲２２の拡大図である。各範囲２１，２２共に、４×４＝１６の分割範囲２３に分け、各分割範囲２３内に実際に基準画像（基準部分画像）や比較画像（比較部分画像）を切り出す切出範囲２４を定める。そして、比較部分画像を切り出す範囲２４を分割範囲２３内で動かし（すなわち、各切出範囲２４による探索範囲を、夫々の切出範囲２４が属する分割範囲２３内とする。）て比較部分画像を切り出し、各分割範囲２３毎に部分移動ベクトルを算出する。

上述した第１の実施形態では、８画素単位に比較画像切出ブロックを移動させ、−２画素ずらした画像と＋２画素ずらした画像をメモリに格納し、求める移動ベクトルの解像度を４画素単位にした。この手法を用い、図７に示す様に、水平方向に−１画素，−３画素，＋１画素，＋３画素づらした画像をメモリに格納すれば、水平方向の解像度を２画素単位にすることができる。同様に図示は省略するが、垂直方向にも−１画素，−３画素，＋１画素，＋３画素ずらすと、垂直方向の解像度も２画素単位にすることができる。本実施形態では、垂直方向，水平方向共に解像度２画素の移動ベクトルを算出する構成としている。

本実施形態では、Ｎフレーム目の画像から４枚の画像を生成しメモリに格納すると共に、Ｎ＋１フレーム目の画像から４枚の画像を生成しメモリに格納する。Ｎフレーム目の画像から生成する４枚の画像は、水平方向に−１画素，−３画素，＋１画素，＋３画素づらした４枚の画像である。Ｎ＋１フレーム目の画像から生成する４枚の画像は、垂直方向に−１画素，−３画素，＋１画素，＋３画素ずらした４枚の画像である。

そして、図８に示す様に、Ｎフレーム目の画像に基準画像範囲２１を設定するとき、第１行の各分割範囲の基準画像は、水平方向に−１画素ずらした画像から切り出し、第２行の各分割範囲の基準画像は、水平方向に＋３画素ずらした画像から切り出し、第３行の各分割範囲の基準画像は、水平方向に＋１画素ずらした画像から切り出し、第４行の各分割範囲の基準画像は、水平方向に−３画素ずらした画像から切り出す。

また、図９に示す様に、Ｎ＋１フレーム目の画像に比較画像範囲２２を設定するときは、第１列の各分割範囲の比較画像は、垂直方向に−１画素ずらした画像から切り出し、第２列の各分割範囲の比較画像は、垂直方向に＋３画素ずらした画像から切り出し、第３列の各分割範囲の比較画像は、垂直方向に＋１画素ずらした画像から切り出し、第４列の各分割範囲の比較画像は、垂直方向に−３画素ずらした画像から切り出す。

そして、例えば図８の第１行第１列の分割範囲の中央ブロック（点線で示したブロック）から基準画像を切り出し、これと比較する図９の第１行第１列の分割範囲の中央に示した切出ブロック（点線で示したブロック）から比較画像を切り出し、比較演算を行う。この比較演算の次に、当該分割範囲内で、比較画像切出ブロック２４を水平方向または垂直方向に８画素ずらし、同様に基準画像との比較演算を行い、更に切出ブロックを８画素ずらして比較演算を行うという処理を繰り返し、基準画像と相関性の最も高い比較画像が切り出された切出ブロック位置を求め、第１行第１列の分割範囲における移動ベクトルを求める。

第１行第２列の分割範囲においても上記と同様にして比較演算を行いながら、第１行第２列の分割範囲における移動ベクトルを求め、以下同様にして、１６個の分割範囲毎の移動ベクトルを求める。そして、１６個の移動ベクトルを求めた後に、比較画像範囲２２全体の移動ベクトルを算出する。

この様にして算出される各分割範囲毎の移動ベクトルは、８画素単位の分解能（解像度）しかないが、分割範囲毎に比較する画像が少しずつずれているため、１６個の分割範囲毎に求まる移動ベクトルを平均することで、２画素単位の移動ベクトルを求めることができる。

Ｎフレーム目の画像に対してＮ＋１フレーム目の画像の各領域の移動ベクトルが算出された後は、次に、Ｎ＋１フレーム目の画像に対するＮ＋２フレーム目の画像の各領域の移動ベクトルを同様に算出する。この場合には、図９に示す画像が基準画像切出用の画像となり、図８に示す画像が比較画像切出用の画像となる。

以下、図４に示す実施形態について説明する。本実施形態の動き検出装置は、次々と入力してくる動画を解析して動画をＭＰＥＧ等で圧縮するデジタルカメラ等に搭載される。

このデジタルカメラは、動画データを記録する記録メディア３０と、撮像された画像データのうち偶数フレーム画像と奇数フレーム画像を交互に書き換えながら格納する２面のフレームメモリ３１，３２と、フレームメモリ３１，３２内の格納画像データを読み出し圧縮して記録メディア３０に格納する画像圧縮装置３３とを備える。

図示するデジタルカメラに搭載される本実施形態の動き検出装置は、フレームメモリ３１，３２に格納される入力画像データを並行して取り込み、Ｎフレーム画像に対する（Ｎ＋１）フレーム画像の動きを各領域毎に求め各領域毎に求めた移動ベクトルを画像圧縮装置３３に出力する様になっている。

この動き検出装置は、奇数フレームの画像データを取り込みＸ方向の画素ズラシ（上述した−１，＋３，＋１，−３の画素ズラシ）を行う画素ずらし回路３５と、画素ずらし回路３５の出力画像データをＸ方向，Ｙ方向共に１／８に縮小（８×８＝６４画素を１画素に縮小）する画素間引回路３６と、画素間引きされた奇数フレームの画像データを格納するメモリ３７とを備える。

また、この動き検出装置は、偶数フレームの画像データを取り込みＹ方向の画素ズラシ（上述した−１，＋３，＋１，−３の画素ズラシ）を行う画素ずらし回路３８と、画素ずらし回路３８の出力画像データをＸ方向，Ｙ方向共に１／８に縮小（８×８＝６４画素を１画素に縮小）する画素間引回路３９と、画素間引きされた偶数フレームの画像データを格納するメモリ４０とを備える。

本実施形態では、画素間引回路３６，３９を設け、Ｘ方向，Ｙ方向を夫々１／８に間引きしている。切出ブロックを元画像で８画素単位に移動させることは、縮小画像で１画素づつ移動させることに相当する。また、比較画像，基準画像共に縮小された画像を用いるため、１画素毎に行う比較演算処理の負荷が軽減されると共に処理時間の短縮が図れ、また、メモリ３７，３９の容量削減を図ることができる。尚、縦横共に同一倍率で縮小する必要はなく、また、縦だけまたは横だけ縮小するだけでも良い。

更にこの動き検出装置は、所定ブロックによって基準画像を切り出す基準画像切出回路４１と、切出ブロックによって比較画像を切り出す比較画像切出回路４２と、メモリ３７，４０と切出回路４１，４２との接続をフレーム切替信号によって切り替えるスイッチ回路４３と、切出回路４１，４２の出力画像データを取り込み基準画像と比較画像との比較演算処理を行い分割範囲毎の移動ベクトルを算出すると共に比較画像切出回路４２に対して切出ブロックの切出位置移動指令を出力する比較演算器４４と、各分割範囲毎の移動ベクトルから比較画像範囲２２全体の移動ベクトルを算出して画像圧縮装置３３に出力する移動量演算器４５とを備える。

斯かる構成の動き検出装置では、Ｎフレーム目の画像が入力してくると、図８で説明した様に、この画像をＸ方向（水平方向）に±１，±３画素づつずらした４枚の画像を画素ずらし回路３５が生成し、画素間引回路３６が４枚の画像の縮小処理を行い、メモリ３７に４枚の縮小画像が格納される。

Ｎ＋１フレーム目の画像が入力してくると、図９で説明した様に、今度はＹ方向（垂直方向）に±１，±３画素づつずらした４枚の画像が画素ずらし回路３８で生成され、画素間引回路３９が４枚の縮小画像を生成し、４枚の縮小画像がメモリ４０に格納される。

メモリ４０に第１行の４つの分割範囲の縮小画像が格納された後は、この４つの分割範囲の基準画像との比較演算処理を並列して開始することができる。即ち、基準画像切出回路４１がメモリ３７内の４つの分割範囲から夫々の基準画像を切り出して比較演算器４４に出力すると共に、比較画像切出回路４２がメモリ４０内の４つの分割範囲から比較画像を切り出して比較演算器４４に出力し、比較演算器４４は、４つの分割範囲毎に、基準画像と比較画像との相関量を算出する。１つの比較画像との比較演算が終了すると、縮小画像で１画素ずれた比較画像を比較画像切出回路４２に要求する。

各分割範囲毎に、基準画像に対して相関量の最も高い比較画像を切り出した切出ブロック位置が求まると、この切出ブロック位置と夫々の分割範囲における基準画像切出ブロックとの差が各分割範囲の部分移動ベクトルとなり、これが移動量演算器４５に出力される。

第１行の４つ分割範囲の移動ベクトルが求まると、次に第２行の４つ分割範囲の移動ベクトルを並列処理で求め、更に第３行，第４行と同様に進めると、移動量演算器４５には、１６個の分割範囲の部分移動ベクトルが入力される。移動量演算器４５は、この１６個の部分移動ベクトルを処理して、比較画像範囲２２全体の移動ベクトルを算出し、この移動ベクトルを画像圧縮装置３３に出力する。

画像圧縮装置３３が偶数フレームの画像圧縮を終えると、次の奇数フレームの画像圧縮を行う。このときには、奇数フレームメモリ３１が書き換えられると共に、奇数フレームの画像がＸ方向画素ずらし回路３５，画素間引回路３６と通って新たな縮小画像がメモリ３７に書き込まれる。このとき、スイッチ回路４３にフレーム切替信号が入力するため、メモリ４０が基準画像切出回路４１に接続替えされ、メモリ３７が比較画像切出回路４２に接続替えされる。

以後、メモリ４０内の画像が基準画像となり、メモリ３７内の画像が切り出されて、次フレーム画像の部分領域毎の移動ベクトルが算出される。

（第３の実施形態）
図１０は、本発明の第３実施形態に係る切出ブロックの分割及び画素ずらし量を示す図である。上述した第１，第２実施形態では、８画素単位に切出ブロックを移動させたが、本発明はこれに限る訳ではない。

従来から、ある決められた少ない数の階調を用い、より豊富な階調を表現する技法としてディザ法が知られている。このディザ法を利用し、本実施形態では、動きベクトルの解像度を上げる。

図１０は、ベイヤー型の組織的ディザパターンを利用した例を示し、３２画素単位に移動させる比較画像切出ブロック５０を４×４＝１６の部分ブロック５１に分割し、各部分ブロック５１で切り出された画像を比較部分画像とする。比較部分画像は、２画素単位でずらされており、図１０の各部分ブロック中の数値は、Ｘ方向にずらした画素数を示している。

そして、基準画像切出ブロックも同様に４×４＝１６の部分ブロックに分割し、画素ずらししていない基準画像から各部分ブロックで切り出された基準部分画像と、図１０の部分ブロック５１で切り出された比較部分画像とを比較し、各部分ブロック毎の部分移動ベクトルを求め、これらを平均することで、全体の切出ブロック５０位置における移動ベクトルを求める。

尚、上記例では、基準画像を画素ずらしせず、比較画像を画素ずらししているとして説明したが、逆でも同じである。

濃度階調を視覚的に上げるディザ法では、階調精度を向上させるために階調の閾値を変調させているが、動き量検出に適用する場合には、図１０に示す様に、切出ブロックや画像の重心を変調させればよい。上記の例では、実際の重心は合成したベクトルの重心のずれを考慮し、重心のずらし量はディザ値から−１とする。即ち、−１×〔最小ずらし量（図１０に示す例では２画素）の半分〕とする。

尚、図１０に示す実施形態は、Ｘ方向のずらし量だけを示しており、Ｘ方向の解像度を向上させている。Ｙ方向の解像度を上げるには、同様にＹ方向に画素ずらしを行えばよく、Ｘ方向，Ｙ方向共に解像度を上げるには、Ｘ方向に画素ずらしした部分切出ブロックと，Ｙ方向に画素ずらしした部分切出ブロックを混在させればよい。

以上述べた様に、本発明の各実施形態によれば、動き検出によって求める移動ベクトルを、比較画像を抽出する切出ブロックの移動量以下の精度で高速に算出することができるという効果が得られる。

本発明に係る動き検出方法及びその装置は、動き検出を高速且つ高解像度でできるため、動画像の圧縮や、動いている被写体へのＡＦ（オートフォーカス）等を行うことができ、デジタルカメラ等に適用すると有用である。

本発明の第１実施形態に係る動き検出装置の機能構成図である。 本発明の第１実施形態の原理説明図である。 本発明の第２実施形態に係る解像度アップ説明図である。 本発明の第２実施形態に係る動き検出装置の機能構成図である。 本発明の第２実施形態に係る基準画像の範囲と比較画像の範囲を例示する図である。 本発明の第２実施形態で演算する４×４＝１６の分割範囲の分割例を示す図である。 本発明の第２実施形態の原理説明図である。 本発明の第２実施形態に係るＮフレーム画像の各分割範囲で用いる画素ずらし画像を示す図である。 本発明の第２実施形態に係るＮ＋１フレーム画像の各分割範囲で用いる画素ずらし画像を示す図である。 本発明の第３実施形態に係る分割例及び画素ずらし量を示す図である。 従来の一般的に動き検出方法の説明図である。 従来の一般的な動き検出時の解像度の説明図である。

符号の説明

１０ 第１画面の画像格納用メモリ
１１，４１ 基準画像切出回路
１２，１３，３７，４０ 画素ずらしした第２画面の画像格納用メモリ
１４，１５，４２ 比較画像切出回路
１６，１７，４４ 比較演算回路
１８，４５ 移動量演算回路
３５，３８ 画素ずらし回路
３６，３９ 画素間引回路（画像縮小回路）
４３ スイッチ回路

Claims (12)

1. 第１画面の画像（以下、第１画像という。）中の部分領域の画像を基準画像として基準画像切出ブロックにより切り出し、前記基準画像切出ブロックと同一大きさの比較画像切出ブロックを所定複数画素（画素数ｎとする。）づつずらしながら第２画面の画像（以下、第２画像という。）中の部分領域の画像を比較画像として切り出し、前記所定画素数ｎづつずらしながら切り出された各比較画像と前記基準画像との相関性を夫々演算し該相関性が最も高い比較画像を切り出した比較画像切出ブロックの位置と前記基準画像切出ブロックの位置とから前記基準画像が動いた移動ベクトルを求める動き検出方法において、前記比較画像を切り出す前記第２画像を前記所定画素数ｎより少ない所定画素数ｍ（＜ｎ）づつずらした複数の第２画像（以下、第２―１画像，第２―２画像，…という。）を作成してメモリに格納し、前記比較画像を前記比較画像切出ブロックで切り出すとき、同一比較画像切出ブロックにより前記第２―１画像，第２―２画像，…の各画像から複数の比較画像を切り出し、各比較画像と前記基準画像との相関性を求める演算を並列処理することで前記基準画像が動いた移動ベクトルを求めることを特徴とする動き検出方法。
2. 第１画面の画像（以下、第１画像という。）から部分領域の画像を基準画像として基準画像切出ブロックにより切り出し、前記基準画像切出ブロックと同一大きさの比較画像切出ブロックを所定複数画素（画素数ｎとする。）づつずらしながら第２画面の画像（以下、第２画像という。）中の部分領域の画像を比較画像として切り出し、前記所定画素数ｎづつずらしながら切り出された各比較画像と前記基準画像との相関性を夫々演算し該相関性が最も高い比較画像を切り出した比較画像切出ブロックの位置と前記基準画像切出ブロックの位置とから前記基準画像が動いた移動ベクトルを求める動き検出方法において、前記基準画像と前記比較画像とを夫々同一分割範囲で分割して複数個の基準部分画像及び複数個の比較部分画像とし、基準部分画像と、該基準部分画像の分割位置に対応する比較部分画像との相関性から各分割範囲毎の部分移動ベクトルを求め、各分割範囲毎に求まる前記複数個の前記部分移動ベクトルから前記基準画像に対する前記比較画像の移動ベクトルを求めることを特徴とする動き検出方法。
3. 前記第１画像を前記画素数ｎより少ない画素数づつずらした画像を生成してメモリに格納し、および／または、前記第２画像を前記画素数ｎより少ない画素数づつずらした画像を生成してメモリに格納しておき、前記基準部分画像の各々または前記比較部分画像の各々は、画素ずらし量の異なる画像から切り出すことを特徴とする請求項２に記載の動き検出方法。
4. 前記基準部分画像の各々または前記比較部分画像の各々の画素ずらしパターンを組織的ディザパターンとしたことを特徴とする請求項３に記載の動き検出方法。
5. 前記メモリには元画像を縦および／または横に縮小した画像として格納し、該縮小画像上で１画素づつずらして前記比較画像または前記比較部分画像を切り出すことを特徴とする請求項１乃至請求項４のいずれかに記載の動き検出方法。
6. 前記縮小画像は、縦横共に１／ｎに縮小することを特徴とする請求項５に記載の動き検出方法。
7. 第１画面の画像（以下、第１画像という。）中の部分領域の画像を基準画像として基準画像切出ブロックにより切り出し、前記基準画像切出ブロックと同一大きさの比較画像切出ブロックを所定複数画素（画素数ｎとする。）づつずらしながら第２画面の画像（以下、第２画像という。）中の部分領域の画像を比較画像として切り出し、前記所定画素数ｎづつずらしながら切り出された各比較画像と前記基準画像との相関性を夫々演算し該相関性が最も高い比較画像を切り出した比較画像切出ブロックの位置と前記基準画像切出ブロックの位置とから前記基準画像が動いた移動ベクトルを求める動き検出装置において、前記比較画像を切り出す前記第２画像を前記所定画素数ｎより少ない所定画素数ｍ（＜ｎ）づつずらした複数の第２画像（以下、第２―１画像，第２―２画像，…という。）を格納するメモリと、前記比較画像を前記比較画像切出ブロックで切り出すとき同一比較画像切出ブロックにより前記第２―１画像，第２―２画像，…の各画像から複数の比較画像を切り出す切出手段と、各比較画像と前記基準画像との相関性を求める演算を並列処理することで前記基準画像が動いた移動ベクトルを求める演算手段とを備えることを特徴とする動き検出装置。
8. 第１画面の画像（以下、第１画像という。）から部分領域の画像を基準画像として基準画像切出ブロックにより切り出し、前記基準画像切出ブロックと同一大きさの比較画像切出ブロックを所定複数画素（画素数ｎとする。）づつずらしながら第２画面の画像（以下、第２画像という。）中の部分領域の画像を比較画像として切り出し、前記所定画素数ｎづつずらしながら切り出された各比較画像と前記基準画像との相関性を夫々演算し該相関性が最も高い比較画像を切り出した比較画像切出ブロックの位置と前記基準画像切出ブロックの位置とから前記基準画像が動いた移動ベクトルを求める動き検出装置において、前記基準画像と前記比較画像とを夫々同一分割範囲で分割して複数個の基準部分画像及び複数個の比較部分画像とし基準部分画像と該基準部分画像の分割位置に対応する比較部分画像との相関性から各分割範囲毎の部分移動ベクトルを求める第１演算手段と、各分割範囲毎に求まる前記複数個の前記部分移動ベクトルから前記基準画像に対する前記比較画像の移動ベクトルを求める第２演算手段とを備えることを特徴とする動き検出装置。
9. 前記第１画像を前記画素数ｎより少ない画素数づつずらした画像として格納する第１のメモリおよび／または前記第２画像を前記画素数ｎより少ない画素数づつずらした画像として格納する第２のメモリを備え、前記基準部分画像の各々または前記比較部分画像の各々は画素ずらし量の異なる画像から切り出すことを特徴とする請求項８に記載の動き検出装置。
10. 前記基準部分画像の各々または前記比較部分画像の各々の画素ずらしパターンを組織的ディザパターンとしたことを特徴とする請求項９に記載の動き検出装置。
11. 前記メモリに元画像を縦および／または横に縮小した画像として格納する画素間引手段を備え、該縮小画像上で１画素づつずらして前記比較画像または前記比較部分画像を切り出すことを特徴とする請求項７乃至請求項１０のいずれかに記載の動き検出装置。
12. 前記縮小画像は、縦横共に１／ｎに縮小することを特徴とする請求項１１に記載の動き検出装置。

Images