JP2009055410A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画素精度以上の高精度の動きベクトル検出を、ハードウエア規模の削減、処理の高速化およびバス帯域削減をしてできるようにする。
【解決手段】ターゲット画面および参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、ブロックマッチングを行い、最強相関縮小面参照ブロックの縮小面ターゲットブロックからの位置ずれに対応する縮小面動きベクトルを算出する。縮小前の基底参照画面において、算出された縮小面動きベクトルを縮小率の逆数倍したベクトルが指し示す画素の周辺にサーチ範囲を設定する。設定されたサーチ範囲において、基底面においてブロックマッチングを行い、最強相関基底面参照ブロックの位置を検出する。最強相関基底面参照ブロックと、その近傍の複数個の近傍基底面参照ブロックの相関値を用いて補間処理を行い、動きベクトルを検出する。
【選択図】図２７

Description

この発明は、２枚の異なる画面の間での動きベクトルを検出する画像処理装置および画像処理方法に関する。この明細書で、画面とは、１フレーム分または１フィールド分の画像データからなり、１枚分としてディスプレイに表示される画像を意味しているものとしている。

２つの画面間の動きベクトルを、画像情報自身から求めるブロックマッチング手法は、歴史の古い技術である。テレビジョンカメラのパン・チルト検出や被写体追尾、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式の動画符号化などを中心に開発が進み、９０年代に入ってからは、画像の重ね合わせによる、センサレス手ブレ補正や低照度撮影時のノイズ除去など多岐に渡って応用が進められている。

ブロックマッチングは、注目画面である参照画面と、当該参照画面の動きの元となる元画面（ターゲット画面と称する）との間の２画面間の動きベクトルを、所定の大きさの矩形領域のブロックについて、参照画面と元画面との間での相関を算出することにより算出する方法である。元画面が時間的に参照画面よりも前の画面とされる場合（例えば、ＭＰＥＧにおける動き検出の場合）と、参照画面が時間的に元画面よりも前の画面とされる場合（例えば、後述する画像フレームの重ね合わせによるノイズ低減の場合）の両方がある。

なお、前述したように、この明細書で、画面とは、１フレームまたは１フィールドの画像データからなる画像を意味しているが、この明細書における以下の説明の便宜上、画面は１フレームからなるものとして、画面をフレームと称することとする。したがって、参照画面は参照フレーム、元画面は元フレームと称することとする。

図３９〜図４４は、従来のブロックマッチングの概要を説明するための図である。ここで説明するブロックマッチング手法においては、例えば、図３９（Ａ）に示すように、元フレーム（ターゲットフレーム）１００を、それぞれ水平方向の複数画素および垂直方向の複数ライン分からなる所定の大きさの矩形領域（ブロックという）の複数個に分割する。ターゲットフレームにおけるこれらの複数個のブロック１０２のそれぞれを、ターゲットブロックという。

ブロックマッチングにおいては、ターゲットブロック１０２と相関性の高いブロックを、参照フレーム１０１の中から検索する。この検索の結果、相関性が最も高いとして参照フレーム１０１内に検出されたブロック１０３（図３９（Ｂ）参照）を、動き補償ブロックと呼ぶ。また、ターゲットブロック１０２と動き補償ブロック１０３との間の位置ずれ量を、動きベクトル（図３９（Ｂ）の符号１０４参照）と称する。

ターゲットブロック１０２と動き補償ブロック１０３との間の位置ずれ（位置ずれ量と位置ずれ方向を含む）に対応する動きベクトル１０４は、参照フレーム１０１において、ターゲットフレーム１００の各ターゲットブロック１０２の位置と同じ位置に、ターゲットブロック１０２の射影イメージブロック１０９を想定したとき、このターゲットブロックの射影イメージブロック１０９の位置（例えば中心位置）と、動き補償ブロック１０３の位置（例えば中心位置）との間の位置ずれに相当し、位置ずれ量と位置ずれの方向成分も有するものである。

ブロックマッチング処理の概要を説明する。図４０において点線で示すように、参照フレーム１０１において、ターゲットフレーム１００の各ターゲットブロック１０２の位置と同じ位置にターゲットブロックの射影イメージブロック１０９を想定し、このターゲットブロックの射影イメージブロック１０９の中心の座標を、動き検出の原点１０５とする。そして、動きベクトル１０４が、動き検出の原点１０５から或る範囲内に存在すると仮定し、この動き検出の原点１０５を中心した所定の範囲をサーチ範囲１０６（図４０の一点鎖線参照）と設定する。

次に、ターゲットブロック１０２と同じ大きさのブロック（参照ブロックという）１０８を参照画面において設定する。そして、この参照ブロック１０８の位置を、サーチ範囲１０６内において、例えば水平方向および垂直方向に、１画素または複数画素単位で移動させるようにする。したがって、サーチ範囲１０６においては、複数個の参照ブロック１０８が設定されることになる。

ここで、参照ブロック１０８を、サーチ範囲１０６内を移動させるというのは、この例では、動き検出原点１０５がターゲットブロックの中心位置であるので、参照ブロック１０８の中心位置を、サーチ範囲１０６内を移動させることを意味し、参照ブロック１０８を構成する画素は、サーチ範囲１０６よりもはみ出すことがある。

そして、サーチ範囲において、設定される各参照ブロック１０８に対して、当該各参照ブロック１０８とターゲットブロック１０２との位置ずれ量および位置ずれ方向を表すベクトル（参照ベクトルという）１０７（図４０参照）を設定し、それぞれの参照ベクトル１０７が指し示す位置にある参照ブロック１０８の画像内容と、ターゲットブロック１０２の画像内容との相関性を評価する。

参照ベクトル１０７は、図４１に示すように、参照ブロック１０８の水平方向（Ｘ方向）の位置ずれ量Ｖｘとし、垂直方向（Ｙ方向）の位置ずれ量をＶｙとしたとき、ベクトル（Ｖｘ，Ｖｙ）と表すことができ、参照ブロック１０８の位置座標（例えば中心位置座標）とターゲットブロック１０２の位置座標（例えば中心位置座標）とが同じときには、参照ベクトル１０７は、ベクトル（０，０）と表す。

例えば、参照ブロック１０８が、ターゲットブロック１０２の位置から、Ｘ方向に１画素ずれた位置にある場合、参照ベクトル１０７はベクトル（１，０）となる。また、図４２に示すように、参照ブロック１０８が、ターゲットブロック１０２の位置から、Ｘ方向に３画素、Y方向に２画素ずれた位置にある場合には、参照ベクトル１０７はベクトル（３，２）となる。

つまり、参照ベクトル１０７は、図４２の例に示すように、ターゲットブロック１０２および参照ブロック１０８の位置を、それぞれのブロックの中心位置とした場合、各参照ベクトル１０８は、対応する各参照ブロック１０８の中心位置とターゲットブロック１０２の中心位置との位置ずれ（位置ずれ量と位置ずれの方向を含むベクトルとなる）を意味する。

参照ブロック１０８は、サーチ範囲１０６において移動するものとなるが、その場合に、参照ブロック１０８の中心位置がサーチ範囲１０６内を移動する。前述もしたように、参照ブロック１０８は、水平方向および垂直方向の複数画素からなるので、ターゲットブロック１０２とブロックマッチング処理される対象となる参照ブロック１０８が移動する最大範囲は、図４２に示すように、サーチ範囲１０６よりも広いマッチング処理範囲１１０となる。

そして、ターゲットブロック１０２の画像内容との相関が最も強いとして検出された参照ブロック１０８の位置を、ターゲットフレーム１００のターゲットブロック１０２の、参照フレーム１０１における位置（動いた後の位置）として検出し、検出した参照ブロックを、前述した動き補償ブロック１０３とする。そして、その検出した動き補償ブロック１０３の位置と、ターゲットブロック１０２の位置との間の位置ずれ量を、方向成分を含む量としての動きベクトル１０４として検出するようにする（図３９（Ｂ）参照）。

ここで、ターゲットブロック１０２と、サーチ範囲１０６において移動する参照ブロック１０８との相関の強さを表す相関値は、基本的にはターゲットブロック１０２と参照ブロック１０８との対応する画素値を用いて算出されるが、その算出方法は、自乗平均を用いる方法やその他種々の方法が提案されている。

ここで、ターゲットブロック１０２と、サーチ範囲１０６において移動する参照ブロック１０８との相関の強さを表す相関値は、基本的にはターゲットブロック１０２と参照ブロック１０８との対応する画素値を用いて算出されるが、その算出方法は、自乗平均を用いる方法やその他種々の方法が提案されている。

そのうち、動きベクトルを算出する際に一般的に用いられる相関値としては、例えば、ターゲットブロック１０２内の各画素の輝度値と、参照ブロック１０６内の対応する各画素の輝度値との差分の絶対値の、ブロック内の全画素についての総和（この差分の絶対値の総和を差分絶対値和と呼ぶ。以下、この差分絶対値和をＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）と記載することとする）が用いられる（図４３参照）。

相関値としてＳＡＤ値が用いられる場合には、ＳＡＤ値が小さいほど相関が強いものとされる。したがって、サーチ範囲１０６において移動する参照ブロック１０８のうち、ＳＡＤ値が最小となる位置の参照ブロック１０８が最も相関が強い最強相関参照ブロックとなり、この最強相関参照ブロックが、動き補償ブロック１０３として検出され、その検出された動き補償ブロック１０３のターゲットブロック１０２の位置に対する位置ずれ量が動きベクトルとして検出される。

前述したように、ブロックマッチングでは、サーチ範囲１０６において設定される複数個の参照ブロック１０８のそれぞれの、ターゲットブロック１０２の位置に対する位置ずれ量は、方向成分を含む量としての参照ベクトル１０７で表現される。各参照ブロック１０８の参照ベクトル１０７は、参照ブロック１０８の参照フレーム１０２上の位置に応じた値となる。前述したように、ブロックマッチングでは、相関値であるＳＡＤ値が最小値となる参照ブロック１０８の参照ベクトルを、動きベクトル１０４として検出する。

そこで、ブロックマッチングでは、一般に、図４４に示すように、サーチ範囲１０６において設定される複数個の参照ブロック１０８のそれぞれとターゲットブロック１０２との間におけるＳＡＤ値（以下、説明の簡単のため参照ブロック１０８についてのＳＡＤ値という）を、それぞれの参照ブロック１０８の位置に応じた参照ベクトル１０７（以下、説明の簡単のため、参照ブロック１０６の位置に応じた参照ベクトル１０７を参照ブロック１０８の参照ベクトル１０７という）のそれぞれに対応させて、メモリに記憶しておき、そのメモリに記憶された全ての参照ブロック１０８についてのＳＡＤ値の中から、最小のＳＡＤ値の参照ブロック１０８を検出することで、動きベクトル１０４を検出するようにしている。

サーチ範囲１０６において設定された複数個の参照ブロック１０８の位置に応じた参照ベクトル１０７のそれぞれに対応させて、それぞれの参照ブロック１０８についての相関値（この例では、ＳＡＤ値）を記憶したものを相関値テーブルと呼ぶ。この例では、相関値として差分絶対値和であるＳＡＤ値を用いるので、この相関値テーブルを、差分絶対値和テーブル（以下ＳＡＤテーブルという）と呼ぶことにする。

図４４のＳＡＤテーブルＴＢＬが、これを示しており、このＳＡＤテーブルＴＢＬにおいて、それぞれの参照ブロック１０８についての相関値（この例ではＳＡＤ値）を相関値テーブル要素という。図４４の例では、符号１１１で指し示すＳＡＤ値は、参照ベクトルがベクトル（０，０）のときのＳＡＤ値である。そして、図４４の例では、ＳＡＤ値の最小値は、参照ベクトルがベクトル（３，２）のときの「７」であるので、求める動きベクトル１０４は、当該（３，２）となる。

なお、上述の説明において、ターゲットブロック１０２および参照ブロック１０８の位置とは、それらのブロックの任意の特定の位置、例えば中心位置を意味するものであり、参照ベクトル１０７は、参照フレーム１０２におけるターゲットブロック１０２の射影イメージブロック１０９の位置と、参照ブロック１０８の位置との間のずれ量（方向を含む）を示すものである。

そして、各参照ブロック１０８に対応する参照ベクトル１０７は、参照フレーム１０１上において、ターゲットブロック１０２に対応する射影イメージブロック１０９の位置からの、各参照ブロック１０８の位置ずれとなっているので、参照ブロック１０８の位置が特定されると、その位置に対応して参照ベクトルの値も特定される。したがって、ＳＡＤテーブル１１０のメモリにおける参照ブロックの相関値テーブル要素のアドレスが特定されると、対応する参照ベクトルは特定されることになる。

なお、ＳＡＤ値は、同時に、２つ以上のターゲットブロックについて計算するようにしてもよい。同時に処理するターゲットブロックが増加すると、処理は高速化する。しかし、ＳＡＤ値を計算するハードウエアの規模が増大するので、処理の高速化と、回路規模の増大のトレードオフになる。

ところで、上述したブロックマッチング手法は、処理対象の画像の解像度が増大すると、２画像間（２画面間）で動きとして検出される画素数が、解像度の増大に応じて大きくなるために、その動きに追従させようとすると、動きベクトルのサーチ範囲を広く取る（サーチ範囲に含まれる画素数を増大させる）必要がある。

ところが、このように、サーチ範囲を広く取ると、処理対象の１ブロック当たりのフレームメモリからの画素の読み込み回数が増大することから、処理時間が長くなるという問題点があった。

また、処理対象の画像の解像度が小さい場合、またはフレームレートが速い場合は、画素間の動きが小さくなるため、1画素未満の微小な動きを検出する必要があり、オーバーサンプルした画像を用いて動きベクトルを求めることによって、１画素未満の動きベクトルを検出する必要があった。しかし、そのようにすると、オーバーサンプルによって、回路規模が増大し、処理時間も長くなるという問題点があった。

上記のように、ブロックマッチング手法は、広い検索範囲および１画素未満の微小な動きの要求に対して、処理時間、回路規模が増大する傾向にあり、これを如何に小さくするかが求められてきた。

また、近年、ハイディフィニション動画（以下、ＨＤ動画という）の映像の開発が進み、画像の解像度および画質に対する要求が高まってきている。これに伴い、ブロックマッチング手法にも、広い検索範囲と、１画素未満の微小な動きを検出することの、両技術を実現する要望が高まってきている。

これらの問題に対して、従来、１画素未満の微小な動きの検出における処理の効率化を図る手法（例えば特許文献１（特開平７−９５５８５号公報）参照）や、参照画像を間引いてフレームメモリおよび演算量を削減する手法（例えば特許文献２（特開２００６−１６０８２９号公報）参照） など、多くの手法が提案されてきた。

中でも、最も実用的な手法が、ＳＡＤテーブルにおいて、ＳＡＤ値の最小値位置およびその近傍の複数個のＳＡＤ値を用いて、ＳＡＤテーブルの精度、つまり、ターゲットフレームおよび参照フレームにおける画素ピッチ精度よりも小さい高精度でＳＡＤ値の最小値を算出するように補間処理をする手法（例えば特許文献３（特開平０５−９１４９２号公報）参照）であり、参照画像を前処理することなく、回路規模のインパクトも小さい。

上記の特許文献は、次の通りである。
特開平７−９５５８５号公報 特開２００６−１６０８２９号公報 特開平０５−９１４９２号公報

しかしながら、上述した従来の技術では、実際に、ＨＤ動画のような解像度が高く、広い検索範囲で精度も求められる画像が対象のブロックマッチング回路に対しては、補間精度の問題、ＳＡＤテーブルの容量、処理の高速化、バス帯域削減など、の点で実用的ではなかった。ここで、バス帯域とは、バス上で、輻輳を回避して転送することができるデータレートである。

この発明は、ブロックマッチング処理において、ＳＡＤテーブルの容量など、処理を実行する上で必要となるメモリ容量を小さくでき、また、十分な補間精度を確保でき、さらに、処理の高速化、およびバス帯域削減などを実用上問題の無い程度に実現することができる画像処理装置および方法を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、
ターゲット画面中において設定された複数の画素からなる所定の大きさのターゲットブロックと同じ大きさの参照ブロックを、前記ターゲット画面とは異なる参照画面において設定したサーチ範囲において複数個設定し、前記複数個の参照ブロックのうちで、前記ターゲットブロックと相関が最も強い参照ブロックの、前記ターゲットブロックに対する画面上の位置ずれに基づいて、前記ターゲットブロックについての動きベクトルを検出する画像処理装置において、
前記ターゲット画面および前記参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、前記ターゲットブロックおよび前記参照ブロックを前記所定の縮小率で縮小した縮小面ターゲットブロックおよび縮小面参照ブロックを設定する手段と、
前記縮小面参照ブロック内の複数の画素の画素値と、前記縮小面ターゲットブロック内で対応する位置の複数の画素の画素値とを用いて、前記複数個の縮小面参照ブロックのそれぞれと前記縮小面ターゲットブロックとの間の第１の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関縮小面参照ブロックの位置を検出し、前記最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれに対応する縮小面動きベクトルを算出する縮小面動きベクトル算出手段と、
縮小前の基底参照画面において、前記縮小面動きベクトル算出手段で算出された前記縮小面動きベクトルを前記縮小率の逆数倍したベクトルが指し示す画素の周辺にサーチ範囲を設定するサーチ範囲設定手段と、
前記サーチ範囲設定手段で設定された前記サーチ範囲において、前記基底ターゲット画面に設定される基底面ターゲットブロック内の複数の画素の画素値と、前記縮小前の参照画面に設定される複数個の基底面参照ブロックのそれぞれ内で対応する位置の複数の画素の画素値とを用いて、前記複数個の基底面参照ブロックのそれぞれと前記基底面ターゲットブロックとの間の第２の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関基底面参照ブロックの位置を検出する最強相関基底面参照ブロック検出手段と、
前記最強相関基底面参照ブロック検出手段で検出した前記最強相関基底面参照ブロックの前記第２の相関値と、前記最強相関基底面参照ブロックの近傍の複数個の近傍基底面参照ブロックの前記第２の相関値を用いて補間処理を行い、前記基底参照画面の画素ピッチよりも小さい精度で前記基底面ターゲットブロックとの相関が最も強い高精細最強相関基底面参照ブロックの位置を検出する補間処理手段と、
前記補間処理手段で検出された前記高精細最強相関基底面参照ブロックの位置から、前記動きベクトルを検出する動きベクトル検出手段と、
を備えることを特徴とする画像処理装置を提供する。

この請求項１の発明においては、ターゲット画面および参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、縮小面ターゲットブロックおよび縮小面参照ブロックを設定して、両ブロック間においてブロックマッチング処理がなされ、縮小面動きベクトルが算出される。縮小画面におけるブロックマッチングであるので、サーチ範囲を移動する参照ブロック（縮小面参照ブロック）の数は少なくなり、マッチング処理回数も少なくなる。

ここで、算出された縮小面動きベクトルの精度は、最大、縮小画面における画素精度であるので、縮小前の基底参照画面における画素精度よりも粗い精度であるが、求めようとする基底画面における動きベクトルに近いベクトルである。

そこで、この請求項１の発明においては、サーチ範囲設定手段は、縮小画面において算出された縮小面動きベクトルを、縮小率の逆数倍したベクトルが基底参照画面において指し示す画素の周辺に、基底画面におけるサーチ範囲を設定する。

そして、設定されたサーチ範囲のみにおいて、基底画面においてブロックマッチングを行い、最強相関基底面参照ブロックの位置を検出する。基底画面においては、縮小画面において算出された縮小面動きベクトルに基づく狭いサーチ範囲においてのみ、ブロックマッチングを行えばよいので、マッチング処理回数は、非常に少なくて済む。これにより、基底参照画面における画素精度で、動きベクトルを検出することができる。

この請求項１の発明においては、さらに、最強相関基底面参照ブロックの位置と、その近傍の複数個の近傍基底面参照ブロックの相関値を用いて、補間処理を行い、基底参照画面における画素精度よりも高精度の高精細最強相関基底面参照ブロックの位置を検出する。そして、この高精細最強相関基底面参照ブロックの位置から、高精度の動きベクトルを検出する。

以上のように、請求項１の発明によれば、階層化したマッチング処理をした後、基底面において補間処理をすることにより、基底参照画面における画素精度よりも高精度の動きベクトルを検出することができる。そして、上述したように、マッチング処理回数は、階層化により非常に少なくすることができ、処理の高速化、およびバス帯域削減などを実用上問題の無い程度に実現することができる。

また、請求項７の発明は、
ターゲット画面中において設定された複数の画素からなる所定の大きさのターゲットブロックと同じ大きさの参照ブロックを、前記ターゲット画面とは異なる参照画面において設定したサーチ範囲において複数個設定し、前記複数個の参照ブロックのうちで、前記ターゲットブロックと相関が最も強い参照ブロックの、前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記ターゲットブロックについての動きベクトルを検出する画像処理装置において、
前記ターゲット画面および前記参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、前記ターゲットブロックおよび前記参照ブロックを前記所定の縮小率で縮小した縮小面ターゲットブロックおよび縮小面参照ブロックを設定する手段と、
前記縮小面参照ブロック内の複数の画素の画素値と、前記縮小面ターゲットブロック内で対応する位置の複数の画素の画素値とを用いて、前記複数個の縮小面参照ブロックのそれぞれと前記縮小面ターゲットブロックとの間の第１の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関縮小面参照ブロックの位置を検出する最強相関縮小面参照ブロック検出手段と、
前記最強相関縮小面参照ブロック検出手段で検出された前記最強相関縮小面参照ブロックおよび当該最強相関縮小面参照ブロックの近傍位置の複数個の近傍縮小面参照ブロックについての前記第１の相関値を用いて、前記縮小参照画面における補間処理を行い、前記縮小参照画面の画素ピッチよりも小さい高精度で、前記縮小面ターゲットブロックとの相関が最も強い高精細最強相関縮小面参照ブロックの位置を検出し、前記高精細最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれとして縮小面動きベクトルを算出する縮小面補間処理手段と、
前記縮小前の基底参照画面において、前記縮小面補間処理手段で算出された前記縮小面動きベクトルを前記縮小率の逆数倍したベクトルが指し示す画素の周辺にサーチ範囲を設定するサーチ範囲設定手段と、
前記サーチ範囲設定手段で設定された前記サーチ範囲において、前記基底ターゲット画面に設定される基底面ターゲットブロック内の複数の画素の画素値と、前記縮小前の参照画面に設定される複数個の基底面参照ブロックのそれぞれ内で対応する位置の複数の画素の画素値とを用いて、前記複数個の基底面参照ブロックのそれぞれと前記基底面ターゲットブロックとの間の第２の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関基底面参照ブロックの位置を検出し、前記最強相関基底面参照ブロックの前記基底面ターゲットブロックからの位置ずれとして基底面動きベクトルを算出する基底面動きベクトル検出手段と、
を備えることを特徴とする画像処理装置を提供する。

この請求項７の発明においても、請求項１の発明と同様に、縮小画面においてブロックマッチングを行い、その結果を用いて基底画面におけるブロックマッチングを行うようにする階層化マッチング処理を行う。ただし、この請求項７の発明においては、縮小画面において、最強相関縮小面参照ブロックの位置を検出し、その検出結果に基づき、縮小面補間処理を行う。

すなわち、最強相関縮小面参照ブロックおよび当該最強相関縮小面参照ブロックの近傍位置の複数個の近傍縮小面参照ブロックについての前記第１の相関値を用いて、前記縮小参照画面における補間処理を行い、前記縮小参照画面の画素ピッチよりも小さい高精度で、高精細最強相関縮小面参照ブロックの位置を検出し、その検出した高精細最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれとして縮小面動きベクトルを算出する。

そして、基底参照画面において、算出した縮小面動きベクトルを縮小率の逆数倍したベクトルが指し示す画素の周辺にサーチ範囲を設定する。そして、その設定したサーチ範囲において、基底参照画面において、ブロックマッチングを行い、基底参照画面における画素精度の動きベクトルを検出する。

したがって、この請求項７によれば、階層化したマッチング処理をすると共に、縮小面において補間処理をすることにより、マッチング処理回数を非常に少なくすることができ、基底参照画面における画素精度の動きベクトルを、処理の高速化、およびバス帯域削減などを実用上問題の無い程度に実現しながら、検出することができる。

また、請求項１２の発明は、
ターゲット画面中において設定された複数の画素からなる所定の大きさのターゲットブロックと同じ大きさの参照ブロックを、前記ターゲット画面とは異なる参照画面において設定したサーチ範囲において複数個設定し、前記複数個の参照ブロックのうちで、前記ターゲットブロックと相関が最も強い参照ブロックの、前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記ターゲットブロックについての動きベクトルを検出する画像処理装置において、
前記ターゲット画面および前記参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、前記ターゲットブロックおよび前記参照ブロックを前記所定の縮小率で縮小した縮小面ターゲットブロックおよび縮小面参照ブロックを設定する手段と、
前記縮小面参照ブロック内の複数の画素の画素値と、前記縮小面ターゲットブロック内で対応する位置の複数の画素の画素値とを用いて、前記複数個の縮小面参照ブロックのそれぞれと前記縮小面ターゲットブロックとの間の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関縮小面参照ブロックの位置を検出する最強相関縮小面参照ブロック検出手段と、
前記最強相関縮小面参照ブロック検出手段で検出された前記最強相関縮小面参照ブロックおよび当該最強相関縮小面参照ブロックの近傍位置の複数個の近傍縮小面参照ブロックについての前記相関値を用いて、前記縮小参照画面における補間処理を行い、前記縮小参照画面の画素ピッチよりも小さい高精度で、前記縮小面ターゲットブロックとの相関が最も強い高精細最強相関縮小面参照ブロックの位置を検出し、前記高精細最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれとして縮小面動きベクトルを算出する縮小面補間処理手段と、
前記縮小面補間処理手段で算出された前記縮小面動きベクトルを前記縮小率の逆数倍したベクトルを、縮小前のターゲットブロックに対する前記動きベクトルとして算出する動きベクトル算出手段と、
を備えることを特徴とする画像処理装置を提供する。

この請求項１２の発明においては、縮小画面においてブロックマッチングを行うことで、少ないマッチング処理回数で、縮小画面における画素精度の最強相関縮小面参照ブロックの位置を検出することができる。

そして、検出した最強相関縮小面参照ブロックについての相関値と、検出した最強相関縮小面参照ブロック位置の近傍の近傍縮小面参照ブロックについての相関値とを用いて、縮小画面において補間処理を行い、その補間処理から、求める基底面における動きベクトルを算出するようにする。

すなわち、この請求項１２の発明の場合には、縮小面ブロックマッチングを行った後、補間処理を行い、その補間処理結果から、基底面におけるブロックマッチングを行うことなく、目的とする動きベクトルを算出するようにするので、処理の高速化およびバス帯域の削減を実現することができる。

この発明によれば、縮小画面および基底画面における階層化したブロックマッチングを行うと共に、補間処理を伴うようにすることで、充分な精度の動きベクトルを、処理の高速化およびバス帯域の削減を実現しながら、検出することができる。

また、縮小画面におけるブロックマッチングと、補間処理とから、動きベクトルを算出することで、充分な精度の動きベクトルを、処理の高速化およびバス帯域の削減を実現しながら、検出することができる。

以下、この発明による画像処理方法を用いた画像処理装置の実施形態として、撮像装置の場合を例にとって、図を参照しながら説明する。また、検出した動きベクトルを用いて行う処理として、複数枚の画像を重ね合わせてノイズ低減を行う場合の例について説明する。

［この発明による画像処理装置の第１の実施形態］
以下に説明する実施の形態の撮像装置では、図２に示すように、連続して撮影された複数枚の画像、例えばＰ１，Ｐ２，Ｐ３を、動き検出および動き補償を用いて位置合わせをした後、重ね合わせすることで、ノイズが低減された画像Ｐｍｉｘを得ることができるようにしている。すなわち、複数枚の画像のそれぞれにおけるノイズはランダムなものであるので、同一内容の画像を重ね合わせることで、画像に対してノイズが低減されるものである。

以下の説明において、動き検出および動き補償を用いて複数枚の画像を重ね合わせて、ノイズを低減するシステムをＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）システムと呼び、ＮＲシステムによりノイズ低減された画像をＮＲ画像と称することとする。

この明細書では、ノイズ低減を施したい画面（画像）をターゲット画面（ターゲットフレーム）、重ね合わせたい画面を参照画面（参照フレーム）と定義する。連続して撮影された画像は、撮影者の手ブレなどにより、画像の位置がずれており、両画像の重ね合わせを行うには、位置合わせが重要となる。ここで、考慮しなければならないのは、手ブレのような画面全体のブレと共に、画面内における被写体の動きも存在することである。

このため、被写体に対してもノイズ低減効果を高めるためには、図３に示すように、ターゲットフレーム１００を分割して生成される複数個のターゲットブロック１０２のそれぞれ単位での位置合わせが必要になる。

したがって、この実施の形態では、複数個のターゲットブロック１０２の全てについて、ブロック単位の動きベクトル（以下、ブロック動きベクトルという）１２１を検出し、それぞれのターゲットブロック１０２について、対応するブロック動きベクトル１０４Ｂを用いて位置合わせを行い、画像を重ね合わせるようにする。

この実施の形態の撮像装置において、静止画撮影時は、図４に示すように、高速で複数枚の画像の撮影を行い、１枚目の撮影画像をターゲットフレーム１００とし、２枚目以降、所定枚数の撮影画像を参照フレーム１０１とし、重ね合わせを行い、その重ね合わせたものを静止画撮影画像として記録するようにする。すなわち、撮影者が撮像装置のシャッターボタンを押下操作すると、高速で前記所定枚数の画像が撮影され、その１枚目に撮影した画像（フレーム）に対して、時間的に後で撮影された複数枚の画像（フレーム）が、重ね合わされることになる。

また、動画撮影時は、図５のように、撮像素子から出力されている現フレームの画像をターゲットフレーム１００の画像とし、その前フレームの画像を参照フレーム１０１の画像とする。したがって、現フレームの画像のノイズ低減を行うために、現フレームの前フレームの画像を現フレームに重ね合わせるということになる。

なお、上述の図４および図５の画像の重ね合わせの方法の説明の場合は、記録する動画画像のフレームレートを６０ｆｐｓ（ｆｌａｍｅ／ｓｅｃｏｎｄ）としたときに、撮像素子から当該６０ｆｐｓのフレームレートの２枚の画像フレームを重ね合わせて、その結果としてノイズの低減された６０ｆｐｓのフレームレートで撮像画像信号が得られる場合である。

しかし、撮像素子から、より高速の、例えば２４０ｆｐｓの高フレームレートで、撮像画像が出力されるように構成されている場合において、動画撮影時においても、４枚ずつの画像を重ねて１枚の動画フレームを生成することで、６０ｆｐｓのフレームレートの撮像画像信号を得るようにすることもできる。もちろん、２４０ｆｐｓの撮像画像を、この例と同様にして、２枚の画像フレームを重ね合わせて、その結果として２４０ｆｐｓのフレームレートのノイズ低減された撮像画像信号を得るようにすることもできる。

次に、この第１の実施の形態においては、さらに、より高精度で画像の重ね合わせができるように、処理対象画像の画素ピッチの精度（ピクセル精度という）よりも高精度、つまり、元の画面（ターゲットフレーム）の画素ピッチよりも小さいピッチの高精度（この高精度をサブピクセル精度と呼ぶことにする）で、ブロック動きベクトルを検出するようにする。このサブピクセル精度での動きベクトル算出のために、後述するように、この実施の形態の撮像装置においては、ピクセル精度で求めた動きベクトルと、その近傍の参照ベクトルとを用いて補間処理をするようにする。

図１は、この発明の画像処理装置の実施形態としての撮像装置の一例のブロック図を示すものである。

この図１に示すように、この実施形態の撮像装置は、システムバス２にＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１が接続されると共に、システムバス２に、撮像信号処理系１０や、ユーザ操作入力部３、画像メモリ部４、記録再生装置部５などが接続されて構成されている。なお、この明細書においては、ＣＰＵ１は、図示は省略するが、種々のソフトウエア処理を行なうプログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やワークエリア用ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含むものとしている。

ユーザ操作入力部３を通じた撮像記録開始操作を受けて、図１の撮像装置は、後述するような撮像画像データの記録処理を行なう。また、ユーザ操作入力部３を通じた撮像記録画像の再生開始操作を受けて、図１の撮像装置は、記録再生装置部５の記録媒体に記録された撮像画像データの再生処理を行なう。

図１に示すように、撮像レンズ１０Ｌを備えるカメラ光学系（図示は省略）を通じた被写体からの入射光は、撮像素子１１に照射されて撮像される。この例では、撮像素子１１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャで構成されている。なお、撮像素子１２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャで構成してもよい。

この例の撮像装置においては、撮像記録開始操作がなされると、レンズ１０Ｌを通じて入力された映像が、撮像素子１１により撮像画像信号に変換され、タイミング信号発生部１２からのタイミング信号に同期した信号として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色から構成されるベイヤー配列のＲＡＷ信号（生の信号）であるアナログ撮像信号が出力される。出力されたアナログ撮像信号は、前処理部１３に供給され、欠陥補正やγ補正等の前処理が施され、データ変換部１４に供給される。

データ変換部１４は、これに入力されたＲＡＷ信号であるアナログ撮像信号を、輝度信号成分Ｙと、色差信号成分Ｃｂ／Ｃｒとにより構成されるデジタル撮像信号（ＹＣデータ）に変換し、そのデジタル撮像信号を解像度変換部１５に供給する。解像度変換部１５では、ユーザ操作入力部３を通じて指定された解像度に、デジタル撮像信号を変換し、システムバスを介して、画像メモリ部４に供給する。

ユーザ操作入力部３を通じた撮影指示が、シャッターボタンの押下による静止画撮影指示であったときには、解像度変換部１５で解像度変換されたデジタル撮像信号は、前述した複数フレーム分が画像メモリ部４に書き込まれる。そして、複数フレーム分の画像が画像メモリ部４に書き込まれた後、ターゲットフレームの画像データと参照フレームの画像データが、動き検出・動き補償部１６によって読み込まれ、画像重ね合わせ部１７を経て、コーデック部１８においてコーデック変換され、システムバス２を通じて記録再生装置部５の例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やハードディスクなどの記録媒体に記録される。

この静止画撮影時、シャッターボタンが押下操作される前においては、画像重ね合わせ部１７からの画像データは、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）エンコーダ１９によりＮＴＳＣ方式の標準カラー映像信号に変換され、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；液晶ディスプレイ）からなるモニターディスプレイ６に供給され、静止画撮影時のモニター画像がその表示画面にモニター表示される。

また、ユーザ操作入力部３を通じた撮影指示が、動画記録ボタンの押下による動画撮影指示であったときには、解像度変換された画像データは、画像メモリ部４に書き込まれると共に、リアルタイムに動き検出・動き補償部１６へ送られ、画像重ね合わせ部１７を経て、ＮＴＳＣエンコーダ部１９を通じてモニターディスプレイ６の表示画面に出力されながら、コーデック部１８でコーデック変換され、システムバス２を通じて記録再生装置部５に供給され、ＤＶＤやハードディスクなどの記録媒体に記録される。

この記録再生装置部５の記録媒体に記録された撮像画像データは、ユーザ操作入力部３を通じた再生開始操作に応じて読み出され、コーデック部１８に供給されて、再生デコードされる。そして、再生デコードされた画像データはＮＴＳＣエンコーダ１９を通じてモニターディスプレイ６に供給され、再生画像がその表示画面に表示される。なお、図１では、図示を省略したが、ＮＴＳＣエンコーダ１９からの出力映像信号は、映像出力端子を通じて外部に導出することが可能とされている。

上述した動き検出・動き補償部１６は、ハードウエアにより構成することできるし、また、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を用いて構成することもできる。さらには、ＣＰＵ１によりソフトウエア処理とすることもできる。

［動き検出・動き補償部１６の説明］
動き検出・動き補償部１６では、この第１の実施の形態では、基本的には、図３９〜図４４を用いて説明した、ＳＡＤ値を用いてブロックマッチング処理を行うことで、動きベクトル検出を行うようにする。ただし、この実施の形態では、動き検出・動き補償部１６は、後述するようなハードウエアで構成され、共通のハードウエアで階層化したブロックマッチング処理を行うようにする。また、後述するように、共通のハードウエアで、静止画についてのノイズ低減処理と、動画についてのノイズ低減処理とが実現できるように構成している。

そして、この実施の形態では、ターゲットブロックに対して、サーチ範囲を移動させる複数個の参照ブロックについてのＳＡＤ値を記憶するＳＡＤテーブルＴＢＬを小規模のものとし、あるいは、ＳＡＤテーブルは用いないようにすることで、ハードウエア規模の削減を図るようにしている。そのことに関しても、後で詳述する。

［動き検出・動き補償部１６の説明］
＜第１の実施の形態の階層化ブロックマッチング処理の概要＞
一般的な従来のブロックマッチングにおける動きベクトル検出処理は、ピクセル単位で参照ブロックを移動させて、各移動位置における参照ブロックについてのＳＡＤ値を算出し、その算出したＳＡＤ値の中から最小値を示すＳＡＤ値を検出し、当該最小ＳＡＤ値を呈する参照ブロック位置に基づいて動きベクトルを検出するようにする。

しかし、このような従来の動きベクトル検出処理では、サーチ範囲内をピクセル単位で参照ブロックを移動させるようにするので、検索するサーチ範囲に比例して、ＳＡＤ値を算出するマッチング処理回数が多くなって、マッチング処理時間が大きくなると共に、ＳＡＤテーブルの容量も大きくなるという問題があった。

そこで、この第１の実施の形態では、ターゲット画像（ターゲットフレーム）に対して縮小画像を作成し、作成した縮小画像でブロックマッチングを行い、縮小画像での動き検出結果を基に、もとのターゲット画像でのブロックマッチングを行う。ここで、縮小画像のことを縮小面、縮小化をしていない元の画像のことを基底面と呼ぶことにする。したがって、この第２の実施の形態では、縮小面でのブロックマッチングを行ったあと、そのマッチング結果を用いて基底面でのブロックマッチングを行う。

図６および図７に、ターゲットフレーム（画像）および参照フレーム（画像）の画像縮小化のイメージを示す。すなわち、この第１の実施の形態においては、例えば図６に示すように、基底面ターゲットフレーム１３０は、水平方向および垂直方向のそれぞれを、１／ｎ（ｎは正の数）に縮小して、縮小面ターゲットフレーム１３２とする。したがって、基底面ターゲットフレーム１３０を複数個に分割して生成した基底面ターゲットブロック１３１は、縮小面ターゲットフレームでは、水平方向および垂直方向のそれぞれが１／ｎ×１／ｎに縮小された縮小面ターゲットブロック１３３となる。

そして、ターゲットフレームの画像縮小倍率１／ｎに合わせて、参照フレームを縮小する。すなわち、図７に示すように、基底面参照フレーム１３４は、水平方向および垂直方向のそれぞれを、１／ｎに縮小して、縮小面参照フレーム１３５とする。そして、基底面参照フレーム１３４上で検出された動き補償ブロック１０３についての動きベクトル１０４は、縮小面参照フレーム１３５では、１／ｎ×１／ｎに縮小された縮小面動きベクトル１３６として検出される。

なお、上記の例では、ターゲットフレームと参照フレームとの画像縮小倍率は同じとしたが、演算量削減のため、ターゲットフレーム（画像）と参照フレーム（画像）とで異なる画像縮小倍率を用い、画素補間等の処理で、両フレームの画素数を合わせて、マッチングを行うようにしてもよい。

また、水平方向および垂直方向のそれぞれの縮小倍率を同一としたが、水平方向と垂直方向とで、縮小倍率を異ならせるようにしても良い。例えば水平方向は１／ｎに縮小し、垂直方向は、１／ｍ（ｍは正の数で、ｎ≠ｍ）に縮小する場合には、縮小画面は、元の画面の１／ｎ×１／ｍの大きさになる。

図８に、縮小面参照ベクトルと基底面参照ベクトルの関係を示す。基底面参照フレーム１３４において、動き検出原点１０５と、サーチ範囲１０６が、図８（Ａ）に示すように決定されたとすると、１／ｎ×１／ｎに画像縮小された縮小面参照フレーム１３５上では、図８（Ｂ）に示すように、サーチ範囲は、１／ｎ×１／ｎに縮小された縮小面サーチ範囲３７とされる。

そして、この第１の実施の形態では、縮小面サーチ範囲１３７内において、縮小面参照フレーム１３５での動き検出原点１０５からの位置ズレ量を表す縮小面参照ベクトル１３８を設定し、それぞれの縮小面参照ベクトル１３８が指し示す位置にある縮小面参照ブロック１３９と、縮小面ターゲットブロック１３１との相関性を評価する。

この場合、縮小画像において、ブロックマッチングを行うので、縮小面参照フレーム１３５においてＳＡＤ値を算出すべき縮小面参照ブロック位置（縮小面参照ベクトル）の数を少なくすることができ、ＳＡＤ値の算出回数（マッチング処理回数）が少なくなる分だけ、処理を高速化することができると共に、ＳＡＤテーブルを小規模とすることができる。

図９に示すように、縮小面サーチ範囲１３７に応じて定まる縮小面マッチング処理範囲１４３内に設定される複数個の縮小面参照ブロック１３９と縮小面ターゲットブロック１３１とのブロックマッチングによる相関性評価により、縮小面参照フレーム１３５における縮小面動きベクトル１３６が算出される。この縮小面動きベクトル１３６の精度は、画像が１／ｎ×１／ｎに縮小されているので、１ピクセルのｎ倍の低精度となっている。そこで、この算出された縮小面動きベクトル１３６をｎ倍しても、基底面参照フレーム１３４において、１ピクセル精度の動きベクトル１０４は得られない。

しかし、基底面参照フレーム１３４においては、縮小面動きベクトル１３６をｎ倍した動きベクトルの近傍に、１ピクセル精度の基底面動きベクトル１０４が存在することは明らかである。

そこで、この第１の実施の形態では、図８（Ｃ）および図９に示すように、基底面参照フレーム１３４において、縮小面動きベクトル１３６をｎ倍した動きベクトル（基底面参照ベクトル１４１）が指し示す位置を中心として、基底面動きベクトル１０４が存在するであろうと考えられる狭い範囲に、基底面サーチ範囲１４０を設定し、設定された基底面サーチ範囲１４０に応じて基底面マッチング処理範囲１４４を設定する。

そして、図８（Ｃ）に示すように、この基底面サーチ範囲１４０内の位置を示すものとして、基底面参照フレーム１３４における基底面参照ベクトル１４１を設定し、各基底面参照ベクトル１４１が指し示す位置に基底面参照ブロック１４２を設定して、基底面参照フレーム１３４におけるブロックマッチングを行うようにする。

ここで設定された基底面サーチ範囲１４０および基底面マッチング処理範囲１４４は、図９に示すように、縮小面サーチ範囲１３７および縮小面マッチング処理範囲１４３を縮小率の逆数倍であるｎ倍したサーチ範囲１３７´およびマッチング処理範囲１４３´に比較して非常に狭い範囲でよい。

したがって、階層化マッチングを行わずに、基底面においてのみブロックマッチング処理をした場合には、基底面においては、サーチ範囲１３７´およびマッチング処理範囲１４３´において、複数個の参照ブロックを設定して、ターゲットブロックとの相関値を求める演算をする必要があるが、階層化マッチング処理においては、図９のように、非常に狭い範囲においてのみマッチング処理を行えばよい。

このため、当該狭い範囲である、基底面サーチ範囲１４０および基底面マッチング処理範囲１４４に設定される基底面参照ブロックの数は非常に少なくなり、マッチング処理回数（相関値演算回数）および保持するＳＡＤ値を非常に小さくすることができ、処理を高速化することができると共に、ＳＡＤテーブルを小規模化することができるという効果を得ることができる。

こうして、基底面参照フレーム１３４において、ピクセル精度の基底面動きベクトル１３６が検出できたら、この第１の実施の形態においては、基底面動きベクトル１３６が指し示す参照ブロックのＳＡＤ値、すなわち、最小ＳＡＤ値と、その近傍の近傍ＳＡＤ値とを用いて、この例においても二次曲線近似補間処理を行って、サブピクセル精度の高精度動きベクトルを算出するようにする。

サブピクセル精度の高精度動きベクトルについて説明する。前述したブロックマッチング手法では、ピクセル単位でブロックマッチングを行っているため、動きベクトルはピクセル精度でしか算出されない。図４４に示したように、マッチング処理を行った点、つまり、参照ブロックの位置は、ピクセル精度で存在し、より精度の高い動きベクトルを算出するには、サブピクセル単位でのマッチング処理が必要になる。

Ｎ倍のピクセル精度（画素ピッチは、１／Ｎ）の動きベクトルを算出するために、Ｎ倍のピクセル単位でマッチング処理を行うと、ＳＡＤテーブルは約Ｎ^２倍の大きさになり、膨大なメモリが必要になる。また、ブロックマッチング処理のために、Ｎ倍にアッパーサンプルした画像を生成しなくてはならず、ハードウエアの規模は飛躍的に増大する。

そこで、二次曲線を用いて、ＳＡＤテーブルを補間することで、ピクセル単位でマッチング処理を行ったＳＡＤテーブルから、サブピクセル精度の動きベクトルを算出することを考える。この場合において、二次曲線近似補間ではなく、線形補間や、３次以上の高次の近似曲線補間を用いても良いが、精度とハードウエア化との兼ね合いから、この例では、二次曲線近似補間を用いている。

この二次曲線近似補間においては、図１０に示すように、ピクセル精度の動きベクトル１０４が指し示すＳＡＤテーブルのＳＡＤ値の最小値Ｓmin（図１０の参照符号１１３参照）と、当該最小値Ｓminの位置の近傍位置の複数個のＳＡＤ値（近傍ＳＡＤ値という）、この例では、最小値Ｓminの位置のＸ方向およびＹ方向に隣接する４個の近傍ＳＡＤ値Ｓx1、Ｓx2およびＳy1、Ｓy2（図１０の参照符号１１４，１１５，１１６，１１７参照）を使用する。

図１１に示すように、ＳＡＤ値の最小値Ｓminと、Ｘ方向（水平方向）の近傍２点の近傍ＳＡＤ値Ｓx1、Ｓx2を使って、二次の近似曲線１１８を当てはめ、この二次曲線１１８の極小を取る座標が、サブピクセル精度のＳＡＤ値の最小値ＳＸminとなる動きベクトル（高精度動きベクトル）のＸ座標Ｖｘとなる。このときの二次曲線近似補間の式を、次式（１）に示す。

ＳＸmin＝１／２×（Ｓx2−Ｓx1）／（Ｓx2−２Ｓmin＋Ｓx1）…式（１）
この計算式（１）で求めたサブピクセル精度のＳＡＤ値の最小値ＳＸminがＳＡＤテーブル上で取るＸ座標が、サブピクセル精度のＳＡＤ値の最小値となるＸ座標Ｖｘとなる。

この計算式（１）の割り算は、複数回の引き算で実現可能である。求めたいサブピクセル精度が、例えば元の画素ピッチの１／４の画素ピッチの精度であれば、僅か２回の引き算でも求められるため、回路規模、演算時間、共に小さく、二次の近時曲線補間よりもかなり複雑な三次曲線補間と殆ど変わらない性能が実現できる。

同様に、ＳＡＤ値の最小値Ｓminと、Ｙ方向（垂直方向）の近傍２点の近傍ＳＡＤ値Ｓy1、Ｓy2を使って、二次の近似曲線を当て嵌め、この二次曲線の極小値ＳＹminを取るＹ座標が、サブピクセル精度のＳＡＤ値の最小値となるＹ座標Ｖｙとなる。このときの二次曲線近似補間の式を、次式（２）に示す。

ＳＹmin＝１／２×（Ｓy2−Ｓy1）／（Ｓy2−２Ｓmin＋Ｓy1）…式（２）
以上のようにして、二次曲線の近似を、Ｘ方向およびＹ方向の２回、行うことで、サブピクセル精度の高精度の動きベクトル（Ｖｘ、Ｖｙ）が求まる。

以上の説明では、ＳＡＤ値の最小値と、そのＸ方向（水平方向）およびＹ方向（垂直方向）の近傍２点のＳＡＤ値を使用したが、各方向の近傍のＳＡＤ値は２点以上であってもよい。また、二次曲線をＸ方向、Ｙ方向に代えて、例えば、斜め方向に近似曲線を当て嵌めてもかまわない。さらに、Ｘ方向、Ｙ方向に、斜め方向を加えて近似曲線を当て嵌めてもかまわない。

以上のような手段、手順を用いることにより、ピクセル単位の精度のＳＡＤテーブルの値から、サブピクセル精度のベクトル検出結果が得られることを図１２に示す。図１２の横軸は、補間倍率であり、１次元方向に分解能を何倍にするかを表している。ＳＡＤテーブルは２次元のため、テーブル面積は、この２乗の割合で削減されるのに対し、補間による誤差は、線形程度にしか増加しないことから、上述の補間手法の有用性が分かる。

＜動き検出・動き補償部１６の構成例＞
図１３に、動き検出・動き補償部１６の構成例のブロック図を示す。この例では、動き検出・動き補償部１６は、ターゲットブロック１０２の画素データを保持するターゲットブロックバッファ部１６１と、参照ブロック１０８の画素データを保持する参照ブロックバッファ部１６２と、ターゲットブロック１０２と参照ブロック１０８との対応する画素についてのＳＡＤ値を計算するマッチング処理部１６３と、マッチング処理部１６３から出力されるＳＡＤ値情報から動きベクトルを算出する動きベクトル算出部１６４と、それぞれのブロックを制御するコントロール部１６５と、を備える。

静止画撮像時においては、ターゲットブロックバッファ部１６１には、画像メモリ４に記憶されている縮小面ターゲット画像または基底面ターゲット画像の画像フレームからの縮小面ターゲットブロックまたは基底面ターゲットブロックが書き込まれる。縮小面ターゲット画像または基底面ターゲット画像は、１枚目は、シャッターボタン押下後の最初の撮像フレームの画像がターゲットフレーム１０２として書き込まれ、参照画像とのブロックマッチングに基づき画像の重ね合わせがなされると、当該画像の重ね合わせ後のＮＲ画像に書き換えられてゆく。

参照ブロックバッファ部１６２には、画像メモリ４に記憶されている縮小面参照画像または基底面参照画像の画像フレームからの縮小面参照ブロックまたは基底面参照ブロックが書き込まれる。縮小面参照画像または基底面参照画像は、前記最初の撮像フレームの後の撮像フレームが、参照フレーム１０８として書き込まれる。

この場合、連続して撮影された複数枚の撮像画像を取り込みながら画像の重ね合わせ処理を行う場合（これを撮影中加算と呼ぶことにする）には、基底面参照画像および縮小面参照画像としては、前記最初の撮像フレームの後の撮像フレームが、１枚ずつ順次に取り込まれる。したがって、基底面参照画像および縮小面参照画像としては、１枚ずつを保持すればよい。

しかし、連続して撮影された複数枚の撮像画像を取り込んだ後、動き検出・動き補償部１６および画像重ね合わせ部１７で、動きベクトル検出を行い、画像の重ね合わせを実行するようにする場合（これを撮影後加算と呼ぶことにする）には、基底面参照画像および縮小面参照画像としては、前記最初の撮像フレームの後の複数枚の撮像フレームの全てを格納保持しておく必要がある。

撮像装置としては、撮影中加算および撮影後加算のいずれも用いることができるが、この実施形態では、例えば、撮影後加算の処理を採用するものとする。

また、動画撮影時においては、動き検出・動き補償部１６には、解像度変換部１５からの撮像フレームがターゲットフレーム１０２として入力される。ターゲットブロックバッファ部１６１には、この解像度変換部１５からの、ターゲットフレームから抽出されたターゲットブロックが書き込まれる。また、参照ブロックバッファ部１６２には、前記ターゲットフレームよりも１枚前の、画像メモリ４に記憶されている撮像フレームが、参照フレーム１０８とされ、この参照フレームからの参照ブロックが書き込まれる。

マッチング処理部１６３では、前述の図３９〜図４４を用いて説明したブロックマッチング処理を、ターゲットブロックバッファ部１６１に記憶されたターゲットブロックと、参照ブロックバッファ部１６２に記憶された参照ブロックとについて行う。

ここで、ブロックマッチングにおけるターゲットブロックと、参照ブロックとの相関の強さを検出するためには、この実施の形態においても、画像データの輝度情報を用いてＳＡＤ値算出を行い、その最小ＳＡＤ値を検出して、当該最小ＳＡＤ値を呈する参照ブロックを最強相関参照ブロックとして検出するようにする。

なお、ＳＡＤ値の算出は、輝度情報ではなく、色差信号や、３原色信号Ｒ，Ｇ，Ｂの情報を使用しても良いことは言うまでもない。また、ＳＡＤ値の算出に当たっては、通常は、ブロック内の全画素を用いるようにするが、演算量削減のため、間引き等により、飛び飛びの位置の限られた画素の画素値のみを使用するようにしてもよい。

動きベクトル算出部１６４は、マッチング処理部１６３のマッチング処理結果からターゲットブロックに対する参照ブロックの動きベクトルを検出する。この第１の実施形態では、サブピクセル精度の高精度動きベクトルを検出するようにする。

コントロール部１６５は、ＣＰＵ１による制御を受けながら、この動き検出・動き補償部１６における階層化ブロックマッチング処理の処理動作を制御するようにする。

［撮像画像のノイズ低減処理］
＜静止画撮影時＞
上述の構成の実施の形態の撮像装置において、静止画撮影時における画像の重ね合わせによるノイズ低減処理のフローチャートを、図１４に示す。この図１４のフローチャートの各ステップは、ＣＰＵ１およびこのＣＰＵ１により制御される動き検出・動き補償部１６のコントロール部１６５の制御の下に実行されるものである。

まず、シャッターボタンが押下されると、この例の撮像装置においては、ＣＰＵ１による制御によって、高速で複数枚の画像の撮影が行われる。この例では、静止画撮影時に重ね合わすべきＭ枚（Ｍフレーム；Ｍは２以上の整数）の撮像画像データを取り込み、画像メモリ部４に貼っておく（ステップＳ１）。

次に、参照フレームは、画像メモリ部４に蓄積されているＭ枚の画像フレームのうちの時間的にＮ番目（Ｎは２以上の整数で、最大値はＭ）とするのであるが、コントロール部１６５は、その何番目とする値Ｎの初期値を、Ｎ＝２とする（ステップＳ２）。そして、次に、コントロール部１６５は、１枚目の画像フレームをターゲット画像（ターゲットフレーム）とし、Ｎ枚目の画像を参照画像(参照フレーム)に設定する（ステップＳ３）。

次に、コントロール部１６５は、ターゲットフレームにターゲットブロックを設定し（ステップＳ４）、動き検出・動き補償部１６において、画像メモリ部４から、ターゲットブロックバッファ部１６１へターゲットブロックを読み込み（ステップＳ５）、参照ブロックバッファ部１６２へマッチング処理範囲の画素データを読み込む（ステップＳ６）。

次に、コントロール部１６５は、参照ブロックバッファ部１６２から、サーチ範囲内において参照ブロックを読み出し、マッチング処理部１６３で、後述するような階層化マッチング処理を行う。なお、この例では、後述するように、マッチング処理部１６３で算出されたＳＡＤ値のうち、後述するＳＡＤ値は、ＳＡＤ値の最小値およびその近傍のＳＡＤ値を保持して、二次曲線近似補間処理を行うために、動きベクトル算出部１６４へ送られる。これをサーチ範囲内のすべての参照ベクトルで繰り返した後、二次曲線近似補間処理部で、前述した補間処理を行い、高精度の動きベクトルを出力する（ステップＳ７）。

次に、コントロール部１６５は、以上のようにして検出された高精度の動きベクトルにしたがって、参照ブロックバッファ部１６２から動き補償画ブロックを読み出し（（ステップＳ８）、ターゲットブロックと同期して、後段の画像重ね合わせ部１７へ送る（ステップＳ９）。

次に、ＣＰＵ１の制御に従って、画像重ね合わせ部１７は、ターゲットブロックと動き補償画ブロックの重ね合わせを行い、重ね合わせたブロックの画像データを画像メモリ部４に貼る。すなわち、画像重ね合わせ部１７は、重ね合わせたブロックの画像データを画像メモリ部４に書き込む（ステップＳ１０）。

次に、コントロール部１６５は、ターゲットフレーム内のすべてのターゲットブロックについてのブロックマッチングを終了したか否か判別し（ステップＳ１１）、すべてのターゲットブロックについては未だブロックマッチングの処理が終了していないと判別したときには、ステップＳ４に戻って、次のターゲットブロックを設定して、ステップＳ４〜ステップＳ１１までの処理を繰り返す。

また、コントロール部１６５は、ステップＳ１１で、ターゲットフレーム内のすべてのターゲットブロックについてのブロックマッチングを終了したと判別したときには、重ね合わすべきすべての参照フレームについての処理が終了したか否か、つまり、Ｍ＝Ｎであるか否か判別する（ステップＳ１２）。

ステップＳ１２で、Ｍ＝Ｎではないと判別したときには、Ｎ＝Ｎ＋１とし（ステップＳ１３）、ステップＳ３に戻って、このステップＳ３以降の処理を繰り返す。つまり、Ｍが３以上の場合は、全てのターゲットブロックにおいて重ね合わせを行った画像を次のターゲット画像とし、３枚目以降の画像を参照フレームとして、上記の処理を繰り返して行く。これをＭ枚目の重ね合わせが終わるまで繰り返す。そして、ステップＳ１２で、Ｍ＝Ｎであると判別したときには、この処理ルーチンを終了する。

なお、Ｍ枚の撮影画像が重ね合わされた結果のＮＲ画像の画像データは、静止画コーデック部１８により圧縮エンコードされて、記録再生装置部５に供給されて、その記録媒体に記録されるものである。

なお、以上の静止画のノイズ低減処理方法は、Ｍ枚の画像データを画像メモリ部４に貼っておく手法であるが、１枚撮影するたびに重ね合わせを行っても良い。その場合には、画像メモリ部４に記憶する画像フレームは、１枚でよいので、図１４の処理ルーチンのノイズ低減処理方法に比べて、撮影間隔は長くなるが、メモリコストを最小にすることが可能である。

＜動画撮影時＞
次に、この実施の形態の撮像装置において、動画撮影時における画像の重ね合わせによるノイズ低減処理のフローチャートを、図１５に示す。この図１５のフローチャートの各ステップも、ＣＰＵ１およびこのＣＰＵ１により制御される動き検出・動き補償部１６のコントロール部１６５の制御の下に実行されるものである。動画記録ボタンがユーザにより操作されると、ＣＰＵ１は、図１５の処理をスタートから開始するように指示する。

この実施の形態では、動き検出・動き補償部１６は、ターゲットブロック単位でマッチング処理をするのに適した構成とされている。そこで、解像度変換部１５は、ＣＰＵ１の制御に従って、フレーム画像を保持し、ターゲットブロック単位で、動き検出・動き補償部１６へ画像データを送る（ステップＳ２１）。

動き検出・動き補償部１６に送られたターゲットブロックの画像データは、ターゲットブロックバッファ部１６１に格納される。次に、コントロール部１６５は、ターゲットブロックに対応した参照ベクトルを設定し（ステップＳ２２）、画像メモリ部４から、マッチング処理範囲の画像データを参照ブロックバッファ部１６２へ読み込む（ステップＳ２３）。

次に、マッチング処理部１６３および動きベクトル算出部１６４は、後述するような階層化ブロックマッチングによる動き検出処理を行う（ステップＳ２４）。すなわち、マッチング処理部１６３は、先ず、縮小面において、縮小面ターゲットブロックの画素値と縮小面参照ブロックの画素値との間のＳＡＤ値を算出し、算出したＳＡＤ値を動きベクトル算出部１６４へ送る。マッチング処理部１６３は、この処理をサーチ範囲内のすべての縮小面参照ブロックで繰り返す。サーチ範囲内のすべての縮小面参照ブロックについてのＳＡＤ値の算出が終了した後、動きベクトル算出部１６４は、最小のＳＡＤ値を特定して、縮小面動きベクトルを検出する。

コントロール部１６５は、動きベクトル算出部１６４で検出された縮小面動きベクトルを縮小率の逆数倍して、基底面上における動きベクトルに変換し、その変換したベクトルが、基底面において指し示す位置を中心した領域を、基底面におけるサーチ範囲とする。そして、コントロール部１６５は、マッチング処理部１６３に、当該サーチ範囲において、基底面におけるブロックマッチング処理を行わせるように制御する。マッチング処理部１６３は、基底面ターゲットブロックの画素値と基底面参照ブロックの画素値との間のＳＡＤ値を算出し、算出したＳＡＤ値を動きベクトル算出部１６４へ送る。

サーチ範囲内のすべての縮小面参照ブロックについてのＳＡＤ値の算出が終了した後、動きベクトル算出部１６４は、最小のＳＡＤ値を特定して、縮小面動きベクトルを検出すると共に、その近傍のＳＡＤ値を特定し、それらのＳＡＤ値を用いて、前述した二次曲線近似補間処理を行い、サブピクセル精度の高精度の動きベクトルを出力する。

次に、コントロール部１６５は、ステップＳ２４で算出された高精度の動きベクトルにしたがって、参照ブロックバッファ部１６２から動き補償画ブロックの画像データを読み出し（ステップＳ２５）、ターゲットブロックと同期して、後段の画像重ね合わせ部１７へ送る（ステップＳ２６）。

画像重ね合わせ部１７においては、ターゲットブロックと動き補償画ブロックの重ね合わせを行う。そして、画像重ね合わせ部１７は、その重ね合わせた結果のＮＲ画像の画像データを、ＮＴＳＣエンコーダ１９を通じてモニターディスプレイ６に出力することで、動画記録モニターをすると共に、コーデック部１８を通じて記録再生装置部６に送り、記録媒体に記録するようにする（ステップＳ２７）。

画像重ね合わせ部１７で重ね合わせされた画像は、また、画像メモリ部４に格納し、次のフレーム（ターゲットフレーム）での参照フレームとなるようにする（ステップＳ２８）。

そして、ＣＰＵ１は、動画記録停止操作がユーザによりなされたか否か判別し（ステップＳ２９）、当該動画記録停止操作がユーザによりなされていないと判別したときには、ステップＳ２１に戻って、このステップＳ２１以降の処理を繰り返すように指示する。また、ステップＳ２９で、動画記録停止操作がユーザによりなされたと判別したときには、ＣＰＵ１は、この処理ルーチンを終了するようにする。

以上の動画のノイズ低減処理の処理ルーチンにおいては、１フレーム前の画像フレームを参照フレームとするようにしたが、１フレームよりもさらに過去のフレームの画像を参照フレームとして用いるようにしても良い。また、１フレーム前と２フレーム前の画像を、画像メモリ部４に格納しておき、それらの２枚の画像情報の内容から、どちらの画像フレームを参照フレームにするかを選択しても良い。

上記のような手段、手順、システム構成を用いることで、一つの共通したブロックマッチング処理のハードウエアで、静止画ノイズ低減処理および動画ノイズ低減処理を行うことが可能になる。

[動きベクトル算出部１６４について]
次に、動きベクトル算出部１６４の幾つかの構成例およびその動作について説明する。まず、この発明の実施形態における動きベクトル算出部１６４の構成例およびその動作を説明する前に、従来と同様に、ＳＡＤテーブルを用いる第１の例について説明する。

＜第１の例＞
図１６に、動きベクトル算出部１６４の第１の例の構成図を示す。この第１の例の動きベクトル算出部１６４は、ＳＡＤ値書き込み部１６４１と、ＳＡＤテーブルＴＢＬと、ＳＡＤ値比較部１６４２と、ＳＡＤ値保持部１６４３と、Ｘ方向（水平方向）近傍値抽出部１６４４と、Ｙ方向（垂直方向）近傍値抽出部１６４５と、二次曲線近似補間処理部１６４６とからなる。

この第１の例の動きベクトル算出部１６４においては、ＳＡＤ値書き込み部１６４１は、マッチング処理部１６３から送られてくる、参照ブロックの位置情報（参照ベクトル）と、当該参照ブロックのＳＡＤ値をＳＡＤテーブルＴＢＬに格納する。マッチング処理部１６３でサーチ範囲の全てのマッチング処理が終わったら、ＳＡＤ値比較部１６４２は、ＳＡＤテーブルＴＢＬのすべてのＳＡＤ値について比較処理を行って、最小のＳＡＤ値を探索し、検出した最小のＳＡＤ値およびそのＳＡＤ値を呈する参照ブロックの位置情報（参照ベクトル）をＳＡＤ値保持部１６４３に保持する。

この第１の実施の形態では、縮小面におけるブロックマッチング処理においては、縮小面動きベクトルを検出すればよいので、ＳＡＤ値保持部１６４３には、最小のＳＡＤ値Ｓminおよび、当該最小のＳＡＤ値Ｓminを呈する参照ブロックの位置情報（参照ベクトル）を保持するだけでよい。この場合、保持された最小のＳＡＤ値Ｓminに対応する参照ベクトルの情報、すなわち、縮小面動きベクトルの情報は、動きベクトル算出部１６４からコントロール部１６５に供給され、基底面におけるブロックマッチングの際のサーチ範囲を設定するために用いられる。

しかしながら、この実施の形態では、動きベクトル算出部１６４では、ブロックマッチング処理結果としての動きベクトルを算出するだけでなく、前述したように、補間処理をも実行するようにする。すなわち、この第１の実施の形態においては、縮小面におけるブロックマッチング処理の後の基底面における処理においては、最小のＳＡＤ値を呈する参照ブロックの位置の近傍の複数個のＳＡＤ値を用いて、サブピクセル精度の動きベクトルを算出するための補間処理を行う。

そこで、この実施の形態では、動きベクトル算出部１６４は、補間処理を行うための構成も備える。すなわち、ＳＡＤ値保持部１６４３と、Ｘ方向（水平方向）近傍値抽出部１６４４と、Ｙ方向（垂直方向）近傍値抽出部１６４５と、二次曲線近似補間処理部１６４６とは、補間処理のための構成部分である。

この例の動きベクトル算出部１６４では、検出した最小のＳＡＤ値Ｓminの近傍の複数個、この例では、近傍４個のＳＡＤ値およびそれぞれのＳＡＤ値を呈する参照ブロックの位置情報（参照ベクトル）をＳＡＤテーブルＴＢＬから読み出して、ＳＡＤ値保持部１６４３に保持するように構成している。

次に、Ｘ方向（水平方向）近傍値抽出部１６４４は、ＳＡＤ値保持部１６４３に保持された、前記検出した最小のＳＡＤ値とそのＸ方向（水平方向）の近傍値とを、それぞれの参照ブロックの位置情報（参照ブロック）と共に読み出し、二次曲線近似補間処理部１６４６に送る。二次曲線近似補間処理部１６４６は、二次曲線による補間処理を、Ｘ方向（水平方向）について、前述したようにして実行する。

次に、Ｙ方向（垂直方向）近傍値抽出部１６４５は、ＳＡＤ値保持部１６４３に保持された、前記検出した最小のＳＡＤ値とそのＹ方向（垂直方向）の近傍値とを、それぞれの参照ブロックの位置情報（参照ブロック）と共に読み出し、二次曲線近似補間処理部１６４６に送る。二次曲線近似補間処理部１６４６は、二次曲線による補間処理を、Ｙ方向（垂直方向）について、前述したようにして実行する。

こうして、二次曲線近似補間処理部１６４６は、二次曲線による補間処理を、Ｘ方向およびＹ方向の２回行い、サブピクセル精度の高精度の動きベクトルを算出する。

この第１の例における縮小面でのブロックマッチング処理時の流れの例を図１７のフローチャートに、基底面でのブロックマッチング処理時の流れの例を図１８のフローチャートに、それぞれ示す。この第１の例のフローチャートの各ステップは、マッチング処理部１６３および動きベクトル算出部１６４においてなされるものである。

先ず、縮小面におけるブロックマッチング処理時の流れの例である図１７のフローチャートについて説明する。

先ず、マッチング処理部１６３は、縮小面における参照ベクトル（Ｖｘ，Ｖｙ）を設定して、ＳＡＤ値を計算する縮小面参照ブロック位置を設定し（ステップＳ３１）、設定した縮小面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込む（ステップＳ３２）と共に、ターゲットブロックバッファ部１６１の縮小面ターゲットブロックの画素データを読み込んで、縮小面ターゲットブロックおよび縮小面参照ブロックの各画素データの差分の絶対値の総和、つまり、ＳＡＤ値を求め（ステップＳ３３）、求めたＳＡＤ値を動きベクトル算出部１６４に送出する。動きベクトル算出部１６４では、ＳＡＤ値書き込み部１６４１が、受け取ったＳＡＤ値を、対応する縮小面参照ブロックの位置、つまり、縮小面参照ベクトルに対応する位置に格納する（ステップＳ３４）。

次に、マッチング処理部１６３は、サーチ範囲の全ての縮小面参照ブロックの位置（縮小面参照ベクトル）でマッチング処理を終了したか否か判別し（ステップＳ３５）、未だ、サーチ範囲においては、未処理の縮小面参照ブロックがあると判別したときには、ステップＳ３１に戻り、前述したステップＳ３１以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ３５で、サーチ範囲の全ての縮小面参照ブロックの位置（参照ベクトル）でマッチング処理を終了したと判別したときには、その旨を動きベクトル算出部１６４に伝える。

動きベクトル算出部１６４では、これに応じて、ＳＡＤ値比較部１６４２が、ＳＡＤテーブルＴＢＬの各ＳＡＤ値を比較して、ＳＡＤテーブルＴＢＬにおいて最小となるＳＡＤ値Ｓminを検出し、検出したＳＡＤ値の最小値Ｓminに対応する縮小面参照ブロックの位置の情報（縮小面動きベクトルの情報）を、コントロール部１６５に送出する（ステップＳ３６）。以上で、縮小面におけるブロックマッチング処理は終了となる。

次に、基底面におけるブロックマッチング処理時の流れの例である図１８のフローチャートについて説明する。

先ず、マッチング処理部１６３は、基底面における参照ベクトル（Ｖｘ，Ｖｙ）を設定して、ＳＡＤ値を計算する基底面参照ブロック位置を設定し（ステップＳ４１）、設定した基底面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込む（ステップＳ４２）と共に、ターゲットブロックバッファ部１６１の基底面ターゲットブロックの画素データを読み込んで、基底面ターゲットブロックおよび基底面参照ブロックの各画素データの差分の絶対値の総和、つまり、ＳＡＤ値を求め（ステップＳ４３）、求めたＳＡＤ値を動きベクトル算出部１６４に送出する。動きベクトル算出部１６４では、ＳＡＤ値書き込み部１６４１が、受け取ったＳＡＤ値を、対応する基底面参照ブロックの位置、つまり、基底面参照ベクトルに対応する位置に格納する（ステップＳ４４）。

次に、マッチング処理部１６３は、サーチ範囲の全ての基底面参照ブロックの位置（基底面参照ベクトル）でマッチング処理を終了したか否か判別し（ステップＳ４５）、未だ、サーチ範囲においては、未処理の基底面参照ブロックがあると判別したときには、ステップＳ４１に戻り、前述したステップＳ４１以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ４５で、サーチ範囲の全ての基底面参照ブロックの位置（参照ベクトル）でマッチング処理を終了したと判別したときには、その旨を動きベクトル算出部１６４に伝える。

動きベクトル算出部１６４では、これに応じて、ＳＡＤ値比較部１６４２が、ＳＡＤテーブルＴＢＬの各ＳＡＤ値を比較して、ＳＡＤテーブルＴＢＬにおいて最小となるＳＡＤ値Ｓminを検出し、検出したＳＡＤ値の最小値Ｓminに対応する基底面参照ブロックの位置の情報（基底面動きベクトルの情報）と共にＳＡＤ値保持部１６４３の最小値格納部に保持する。そして、ＳＡＤ値保持部１６４３は、検出された最小のＳＡＤ値Ｓminの位置の近傍位置の近傍ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2を、ＳＡＤテーブルＴＢＬから取得して、それぞれの格納部に保持する（ステップＳ４６）。

次に、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５が、ＳＡＤ値保持部１６４３に保持された、前記検出した最小のＳＡＤ値Ｓminとその近傍ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2およびそれらの位置情報を読み出し、二次曲線近似補間処理部１６４６に送る。これを受けた二次曲線近似補間処理部１６４６は、二次曲線による補間を、Ｘ方向およびＹ方向の２回行い、前述したようにして、サブピクセル精度の高精度の動きベクトルを算出する（ステップＳ４７）。以上で、１枚の参照フレームについての基底面におけるブロックマッチング処理を終了する。

以上説明した第１の例は、算出したＳＡＤ値を全て記憶するＳＡＤテーブルＴＢＬを生成し、当該生成したＳＡＤテーブルＴＢＬから二次曲線近似補間用の最小のＳＡＤ値と、その近傍の４個のＳＡＤ値を抽出するようにするので、ＳＡＤテーブルＴＢＬの分だけ、大規模なメモリを必要とする。

以下に説明する他の例では、算出したＳＡＤ値を全て記憶するＳＡＤテーブルＴＢＬを生成しないことにより、より回路規模を削減するとともに、処理時間も削減することができるようにする。

＜第１の実施形態の動きベクトル算出部１６４の第２の例＞
上述したように、ブロックマッチング処理は、参照ベクトルの示す位置を参照ブロックの位置とし、各参照ブロックの各画素とターゲットブロックの各画素のＳＡＤ値を計算し、その計算処理を、サーチ範囲内のすべての参照ベクトルの示す位置の参照ブロックについて行う。

ここで、サーチ範囲内において参照ブロックの位置を変えて、動き補償ブロックをサーチする場合に、サーチを画面（フレーム）の端から順番に行う、画面（フレーム）の中心から外側に向かって行う、などいろいろな方法が考えられるが、この実施の形態では、サーチ方向は、図１９（Ａ）で矢印１２０に示すように設定され、サーチ範囲の左上端から水平方向にサーチを開始し、１ライン分のサーチが終わった後、垂直方向に１ライン下のラインを、左端から水平方向にサーチする、という手順を繰り返すサーチ方法を採用する。

すなわち、図１９（Ｂ）に示すように、サーチ範囲１０６において、当該サーチ範囲１０６の左上から水平方向に参照ブロック１０８を順次に設定してサーチして、各参照ブロック１０８についてのＳＡＤ値の計算を行う。すると、図１９（Ｃ）に示すように、対応するＳＡＤテーブルも左上から水平方向に埋まっていく。このとき、実際にマッチング処理に使用される画素データの範囲は、参照ブロック１０８の大きさに応じたマッチング処理範囲１１０となるのは、前述した通りである。

図９に示したように、この例のサブピクセル精度の二次曲線近似補間処理を行うためには、ＳＡＤ値の最小値Ｓmin、およびその近傍のＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2が求まれば良い。

各参照ブロックについてのＳＡＤ値を算出した際に、その算出したＳＡＤ値と、その時点までのＳＡＤ値の最小値とを比較して、算出したＳＡＤ値がその時までのＳＡＤ値の最小値よりも小さければ、算出したＳＡＤ値を最小値として保持すると共に、そのＳＡＤ値とそのときの参照ベクトルを保持することにより、ＳＡＤ値の最小値および当該最小値を取る参照ブロックの位置情報（参照ベクトルの情報）とを、ＳＡＤテーブルを生成することなく、求めることができる。

そして、検出したＳＡＤ値の最小値を保持すると共に、その最小ＳＡＤ値となる参照ブロック位置の近傍の参照ブロックのＳＡＤ値を、近傍ＳＡＤ値として保持するようにすれば、近傍ＳＡＤ値をも、ＳＡＤテーブルを生成することなく、保持することができる。

このとき、この例では、図２０（Ａ）に示すように、上述の図１９（Ａ）に示したようなサーチ方法を採用しているので、従来のＳＡＤテーブルＴＢＬにおいて水平方向の１ライン分のＳＡＤ値を記憶する容量のメモリ（以下、ラインメモリという）を設ければ、新たに参照ブロックのＳＡＤ値が算出されたときには、ＳＡＤテーブルＴＢＬ上では、図２０（Ｂ）で斜線を付して示すように、当該新たに算出されたＳＡＤ値１２１に対して、それより前に算出されたＳＡＤテーブルＴＢＬの１ライン分の複数個の参照ブロックのＳＡＤ値が、格納データ１２２として前記ラインメモリに格納されていることになる。

そこで、新たに算出された参照ブロックのＳＡＤ値が、最小のＳＡＤ値として検出されたときには、ＳＡＤテーブルＴＢＬ上において、前記最小ＳＡＤ値１２１を呈する参照ブロックの位置の１ライン上の位置の参照ブロックのＳＡＤ値１２３（近傍ＳＡＤ値（Ｓy1））と、前記最小ＳＡＤ値１２１を呈する参照ブロックの位置の左横の位置の参照ブロックのＳＡＤ値１２４（近傍ＳＡＤ値（Ｓx1））は、前記ラインメモリから取得することができる。

そして、ＳＡＤテーブルＴＢＬ上において、最小ＳＡＤ値の参照ブロックの位置の右横の位置の参照ブロックのＳＡＤ値である近傍ＳＡＤ値（Ｓx2）（図２０（Ｃ）の符号１２５参照）は、後で、その参照ブロック位置で算出されたＳＡＤ値を保持すればよい。同様に、ＳＡＤテーブルＴＢＬ上において、新たに算出された最小ＳＡＤ値の参照ブロックの位置の１ライン下の位置の参照ブロックのＳＡＤ値である近傍ＳＡＤ値（Ｓy2）（図２０（Ｃ）の符号１２６参照）も、後で、その参照ブロック位置で算出されたＳＡＤ値を保持すればよい。

以上のことを考慮して、この動きベクトル算出部１６４の第２の例は、図２１に示すようなハードウエア構成とする。

すなわち、この動きベクトル算出部１６４の第２の例においては、図１６に示した第１の例の場合のように、算出された全てのＳＡＤ値を保持するＳＡＤテーブルＴＢＬは備えず、ＳＡＤ値書き込み部１６４１と、ＳＡＤ値比較部１６４２と、ＳＡＤ値保持部１６４３と、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５と、二次曲線近似補間処理部１６４６と、ＳＡＤテーブルＴＢＬの１ライン分のメモリ（ラインメモリという）１６４７とを備えてなる。

そして、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５と、二次曲線近似補間処理部１６４６とは、前述した第１の例と同様の動作を行うが、ＳＡＤ値書き込み部１６４１、ＳＡＤ値比較部１６４２、ＳＡＤ値保持部１６４３およびラインメモリ１６４７の部分は、前述の第１の例とは、異なる動作を行う。

ＳＡＤ値保持部１６４３は、図１６の第１の例と同様に、最小ＳＡＤ値Ｓminおよび近傍ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2の保持部（メモリ）を備える。そして、この第２の例においては、ＳＡＤ値保持部１６４３は、その最小ＳＡＤ値保持部からの最小ＳＡＤ値ＳminをＳＡＤ値比較部１６４２に供給する共に、保持している近傍ＳＡＤ値のうち、最小ＳＡＤ値Ｓminの右側の近傍ＳＡＤ値Ｓx2の参照ブロックの位置情報（参照ベクトル）と、最小ＳＡＤ値Ｓminの下側の近傍ＳＡＤ値Ｓy2の参照ブロックの位置情報（参照ベクトル）とを、ＳＡＤ値書き込み部１６４１に供給する。

ＳＡＤ値比較部１６４２は、この第２の例においては、マッチング処理部１６３からの参照ブロックの位置情報（参照ベクトル）と、当該参照ブロックのＳＡＤ値Ｓinとを受けると共に、ＳＡＤ値保持部１６４３の最小ＳＡＤ値保持部からの最小ＳＡＤ値Ｓminとを受ける。

そして、ＳＡＤ値比較部１６４２は、マッチング処理部１６３からの当該時点で算出されたＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３の最小ＳＡＤ値保持部からの最小ＳＡＤ値Ｓminとの両者を比較し、マッチング処理部１６３からの当該時点で算出されたＳＡＤ値Ｓinの方が小さいときには、当該時点で、そのＳＡＤ値を最小ＳＡＤ値であるとして検出し、また、ＳＡＤ値Ｓinの方が小さいときには、当該時点では、ＳＡＤ値保持部１６４３の最小ＳＡＤ値保持部からの最小ＳＡＤ値Ｓminが未だ最小値であると検出する。そして、ＳＡＤ値比較部１６４２は、その検出結果の情報ＤＥＴをＳＡＤ値書き込み部１６４１およびＳＡＤ値保持部１６４３に供給する。

ＳＡＤ値書き込み部１６４１は、マッチング処理部１６３からの算出されたＳＡＤ値Ｓinおよびその位置情報（参照ベクトル）を一時保持するための１画素分のバッファメモリを備え、この第２の例においては、マッチング処理部１６３からの参照ブロックの位置情報（参照ベクトル）と、当該参照ブロックのＳＡＤ値Ｓinとを、ラインメモリ１６４７に書き込む。この場合、ラインメモリ１６４７は、シフトレジスタと同様の動作を行い、空きスペースが無いときには、新規の位置情報およびＳＡＤ値が記憶されると、ラインメモリ１６４７において最も古い前記位置情報およびＳＡＤ値が廃棄される。

また、ＳＡＤ値書き込み部１６４１は、算出されたＳＡＤ値Ｓinおよびその位置情報をラインメモリ１６４７に書き込む前に、この第１の例においては、次のような処理を行う。

すなわち、ＳＡＤ値書き込み部１６４１は、ＳＡＤ値比較部１６４２からの比較検出結果の情報ＤＥＴが、ＳＡＤ値Ｓinが最小値であることを示しているときには、マッチング処理部１６３からの参照ブロックの位置情報（参照ベクトル）と、当該参照ブロックのＳＡＤ値Ｓinとを、ＳＡＤ値保持部１６４３に送る。

ＳＡＤ値保持部１６４３は、ＳＡＤ値比較部１６４２からの比較検出結果の情報ＤＥＴにより、ＳＡＤ値Ｓinが最小値であることを検知し、ＳＡＤ値書き込み部１６４１から送られてくる参照ブロックの位置情報（参照ベクトル）と、当該参照ブロックのＳＡＤ値Ｓinとを、最小ＳＡＤ値保持部に格納する。

また、ＳＡＤ値書き込み部１６４１は、この第２の例においては、マッチング処理部１６３からの参照ブロックの位置情報（参照ベクトル）が、ＳＡＤ値保持部１６４３から受け取った近傍ＳＡＤ値Ｓx2またはＳy2の位置情報と一致したときにも、マッチング処理部１６３からの参照ブロックの位置情報（参照ベクトル）と、当該参照ブロックのＳＡＤ値Ｓinとを、ＳＡＤ値保持部１６４３に送る。

ＳＡＤ値保持部１６４３は、受け取った参照ブロックの位置情報（参照ベクトル）から、いずれの近傍ＳＡＤ値に関する情報かを認識して、対応する近傍ＳＡＤ値保持部に格納する。

以上の処理をサーチ範囲における全ての参照ブロックについて終了すると、ＳＡＤ値保持部１６４３には、前述したように、最小ＳＡＤ値およびその位置情報ならびに４個の近傍ＳＡＤ値およびその位置情報が保持される。

そこで、前述した第１の例と同様にして、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５が、ＳＡＤ値保持部１６４３に保持された、前記検出した最小のＳＡＤ値Ｓminとその近傍ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2およびそれらの位置情報を読み出し、二次曲線近似補間処理部１６４６に送る。これを受けた二次曲線近似補間処理部１６４６は、二次曲線による補間を、Ｘ方向およびＹ方向の２回行い、前述したようにして、サブピクセル精度の高精度の動きベクトルを算出する。

以上のようにして、第２の例においては、ＳＡＤテーブルＴＢＬの代わりに、ＳＡＤテーブルＴＢＬの１ライン分のラインメモリを用いることにより、サブピクセル精度の動きベクトルの検出ができる。

この第２の例における縮小面でのブロックマッチング処理時の流れの例を図２２のフローチャートに、基底面でのブロックマッチング処理時の流れの例を図２３および図２４のフローチャートに、それぞれ示す。これらの第２の例のフローチャートの各ステップも、マッチング処理部１６３および動きベクトル算出部１６４においてなされるものである。

先ず、縮小面におけるブロックマッチング処理時の流れの例である図２２のフローチャートについて説明する。

はじめに、動きベクトル算出部１６４のＳＡＤ値保持部１６４３の最小ＳＡＤ値Ｓminの初期値を設定する（ステップＳ５１）。この最小ＳＡＤ値Ｓminの初期値としては、例えば、画素の差分の最大値が設定される。

次に、マッチング処理部１６３では、縮小面の参照ベクトル（Ｖｘ，Ｖｙ）を設定して、ＳＡＤ値を計算する縮小面参照ブロック位置を設定し（ステップＳ５２）、設定した縮小面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込む（ステップＳ５３）。

そして、ターゲットブロックバッファ部１６１から縮小面ターゲットブロックの画素データを読み込んで、縮小面ターゲットブロックおよび縮小面参照ブロックの各画素データの差分の絶対値の総和、つまり、ＳＡＤ値を求め、求めたＳＡＤ値を動きベクトル算出部１６４に送出する（ステップＳ５４）。

動きベクトル算出部１６４では、ＳＡＤ値書き込み部１６４１により、そのＳＡＤ値をラインメモリ１６４７に書き込む（ステップＳ５５）。

また、動きベクトル算出部１６４では、ＳＡＤ値比較部１６４２が、マッチング処理部１６３で算出されたＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３に保持されている最小ＳＡＤ値Ｓminとを比較して、算出されたＳＡＤ値Ｓinが、それまで保持されている最小ＳＡＤ値Ｓminよりも小さいか否か判別する（ステップＳ５６）。

このステップＳ５６で、算出されたＳＡＤ値Ｓinが最小ＳＡＤ値Ｓminより小さいと判別したときには、ステップＳ５７に進み、ＳＡＤ値保持部１６４３に保持される最小ＳＡＤ値Ｓminの情報およびその位置情報（縮小面参照ベクトル）の更新がなされる。

また、ステップＳ５６で、算出されたＳＡＤ値Ｓinが最小ＳＡＤ値Ｓminより大きいと判別したときには、ステップＳ５７の保持情報の更新処理は行わずにステップＳ５８に進み、マッチング処理部１６３は、サーチ範囲の全ての縮小面参照ブロックの位置（縮小面参照ベクトル）でマッチング処理を終了したか否か判別し、未だ、サーチ範囲においては、未処理の参照ブロックがあると判別したときには、ステップＳ５２に戻り、前述したステップＳ５２以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ５８で、サーチ範囲の全ての縮小面参照ブロックの位置（縮小面参照ベクトル）でマッチング処理を終了したと判別したときには、その旨を動きベクトル算出部１６４に伝える。動きベクトル算出部１６４では、これを受けて、ＳＡＤ値保持部１６４３に保持される最小ＳＡＤ値Ｓminの位置情報（縮小面参照ベクトル）を、コントロール部１６５に出力する（ステップＳ５９）。

以上で、この例における縮小面におけるブロックマッチング処理を終了する。

次に、基底面におけるブロックマッチング処理時の流れの例である図２３および図２４のフローチャートについて説明する。

はじめに、動きベクトル算出部１６４のＳＡＤ値保持部１６４３の最小ＳＡＤ値Ｓminの初期値を設定する（ステップＳ６１）。この最小ＳＡＤ値Ｓminの初期値としては、例えば、画素の差分の最大値が設定される。

次に、マッチング処理部１６３では、基底面における参照ベクトル（Ｖｘ，Ｖｙ）を設定して、ＳＡＤ値を計算する基底面参照ブロック位置を設定し（ステップＳ６２）、設定した基底面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込む（ステップＳ６３）と共に、ターゲットブロックバッファ部１６１から基底面ターゲットブロックの画素データを読み込んで、基底面ターゲットブロックおよび基底面参照ブロックの各画素データの差分の絶対値の総和、つまり、ＳＡＤ値を求め、求めたＳＡＤ値を動きベクトル算出部１６４に送出する（ステップＳ６４）。

動きベクトル算出部１６４では、ＳＡＤ値書き込み部１６４１により、そのＳＡＤ値をラインメモリ１６４７に書き込む（ステップＳ６５）。また、動きベクトル算出部１６４では、ＳＡＤ値比較部１６４２が、マッチング処理部１６３で算出されたＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３に保持されている最小ＳＡＤ値Ｓminとを比較して、算出されたＳＡＤ値Ｓinが、それまで保持されている最小ＳＡＤ値Ｓminよりも小さいか否か判別する（ステップＳ６６）。

このステップＳ６６で、算出されたＳＡＤ値Ｓinが最小ＳＡＤ値Ｓminより小さいと判別したときには、ステップＳ６７に進み、ＳＡＤ値保持部１６４３に保持される最小ＳＡＤ値Ｓminの情報および当該最小ＳＡＤ値Ｓminを呈する参照ブロック位置の１ピクセル上および１ピクセル左の位置の参照ブロックのＳＡＤ値およびその位置情報（基底面参照ベクトル）の更新がなされる。

すなわち、ＳＡＤ値比較部１６４２は、算出されたＳＡＤ値Ｓinが最小ＳＡＤ値Ｓminより小さい旨の比較結果の情報ＤＥＴをＳＡＤ値書き込み部１６４１に送る。すると、ＳＡＤ値書き込み部１６４１は、当該算出されたＳＡＤ値Ｓinおよびその位置情報（基底面参照ベクトル）を、新たな最小ＳＡＤ値Ｓminの情報としてＳＡＤ値保持部１６４３に送ると共に、図２０（Ｂ）から分かるように、ラインメモリ１６４７の最も古いＳＡＤ値およびその位置情報（基底面参照ベクトル）と、最も新しいＳＡＤ値およびその位置情報（基底面参照ベクトル）とを、最小ＳＡＤ値の位置の１ピクセル上の位置の基底面参照ブロックのＳＡＤ値Ｓy1の情報および１ピクセル左の位置の基底面参照ブロックのＳＡＤ値Ｓx1の情報として、ＳＡＤ値保持部１６４３に送る。ＳＡＤ値保持部１６４３は、受け取った新たな最小ＳＡＤ値Ｓminの情報および１ピクセル上の位置の基底面参照ブロックのＳＡＤ値Ｓy1の情報および１ピクセル左の位置の基底面参照ブロックのＳＡＤ値Ｓx1の情報により、それぞれ対応する保持情報を更新する。

そして、ステップ６７の次には、図２４のステップＳ７１に進む。また、ステップＳ６６で、算出されたＳＡＤ値Ｓinが最小ＳＡＤ値Ｓminより大きいと判別したときには、ステップＳ６７の保持情報の更新処理は行わずにステップＳ７１に進む。

ステップＳ７１では、ＳＡＤ値書き込み部１６４１は、算出されたＳＡＤ値Ｓinについての位置情報（参照ベクトル）の指す位置が、最小ＳＡＤ値Ｓminとして保持されている基底面参照ブロックの位置の１ピクセル下の基底面参照ブロックの位置であるか否か判別し、１ピクセル下の基底面参照ブロックの位置であると判別したときには、算出されたＳＡＤ値Ｓinおよびその位置情報（参照ベクトル）をＳＡＤ値保持部１６４３に送る。ＳＡＤ値保持部１６４３は、受け取ったＳＡＤ値およびその位置情報により、前記１ピクセル下の位置の基底面参照ブロックについての近傍ＳＡＤ値Ｓy2の保持情報を更新する（ステップＳ７２）。

ステップＳ７１で、算出されたＳＡＤ値Ｓinについての位置情報（基底面参照ベクトル）の指す位置が、最小ＳＡＤ値Ｓminとして保持されている基底面参照ブロックの位置の１ピクセル下の基底面参照ブロックの位置でないと判別したときには、ＳＡＤ値書き込み部１６４１は、算出されたＳＡＤ値Ｓinについての位置情報（基底面参照ベクトル）の指す位置が、最小ＳＡＤ値Ｓminとして保持されている基底面参照ブロックの位置の１ピクセル下の基底面参照ブロックの位置であるか否か判別する（ステップＳ７３）。

このステップＳ７３で、算出されたＳＡＤ値Ｓinについての位置情報（基底面参照ベクトル）の指す位置が、最小ＳＡＤ値Ｓminとして保持されている基底面参照ブロックの位置の１ピクセル右の基底面参照ブロックの位置であると判別したときには、ＳＡＤ値書き込み部１６４１は、算出されたＳＡＤ値Ｓinおよびその位置情報（基底面参照ベクトル）をＳＡＤ値保持部１６４３に送る。ＳＡＤ値保持部１６４３は、受け取ったＳＡＤ値およびその位置情報により、前記１ピクセル右の位置の基底面参照ブロックについての近傍ＳＡＤ値Ｓx2の保持情報を更新する（ステップＳ７４）。

ステップＳ７３で、算出されたＳＡＤ値Ｓinについての位置情報（基底面参照ベクトル）の指す位置が、最小ＳＡＤ値Ｓminとして保持されている基底面参照ブロックの位置の１ピクセル右の基底面参照ブロックの位置でないと判別したときには、ＳＡＤ値書き込み部１６４１は、算出されたＳＡＤ値Ｓinおよびその位置情報（基底面参照ベクトル）は、ラインメモリ１６４７にのみ書き込み（前述のステップＳ６５）、ＳＡＤ値保持部１６４３に送らない。

そして、マッチング処理部１６３は、サーチ範囲の全ての基底面参照ブロックの位置（参照ベクトル）でマッチング処理を終了したか否か判別し（ステップＳ７５）、未だ、サーチ範囲においては、未処理の基底面参照ブロックがあると判別したときには、図２３のステップＳ６２に戻り、前述したステップＳ６２以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ７５で、サーチ範囲の全ての基底面参照ブロックの位置（基底面参照ベクトル）でマッチング処理を終了したと判別したときには、その旨を動きベクトル算出部１６４に伝える。

動きベクトル算出部１６４では、これを受けて、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５が、ＳＡＤ値保持部１６４３に保持された、前記検出した最小のＳＡＤ値Ｓminとその近傍ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2およびそれらの位置情報を読み出し、二次曲線近似補間処理部１６４６に送る。これを受けた二次曲線近似補間処理部１６４６は、二次曲線による補間を、Ｘ方向およびＹ方向の２回行い、前述したようにして、サブピクセル精度の高精度の動きベクトルを算出する（ステップＳ７６）。以上で、１枚の基底面参照フレームについての第２の例のブロックマッチング処理を終了する。

以上のように、この第２の例においては、算出された全てのＳＡＤ値を保持するＳＡＤテーブルを保持することなく、ＳＡＤテーブルの１ライン分を設けると共に、ＳＡＤ値書き込み部１６４１に１画素分のＳＡＤ値を保持しておくだけで、補間処理によるサブピクセル精度の動きベクトル検出を行うことができる。

この第２の例の方法は、前述の第１の例のＳＡＤテーブルを保持する手法と比べて、ブロックマッチング回数は同じであるため、処理時間は変わらず、ハードウエア規模を削減できるという効果を奏する。

なお、上述した第２の例の説明においては、ＳＡＤ値比較部１６４２は、マッチング処理部１６３からの算出されたＳＡＤ値Ｓinと、ＳＡＤ値保持部１６３に保持されている最小ＳＡＤ値Ｓminとを比較するようにしたが、ＳＡＤ値比較部１６４２が最小ＳＡＤ値の保持部を備え、その保持した最小ＳＡＤ値と、算出されたＳＡＤ値Ｓinとを比較し、算出されたＳinの方が小さいときには、保持した最小ＳＡＤ値を更新すると共に、その位置情報と共に、ＳＡＤ値書き込み部１６４１を通じてＳＡＤ値保持部１６４３に送って、ＳＡＤ値保持部１６４３の最小ＳＡＤ値保持部に保持させるようにしても良い。

＜第１の実施形態の動きベクトル算出部１６４の第３の例＞
この動きベクトル算出部１６４の第３の例においては、前記第２の例の場合のラインメモリ１６４７も省略して、より、ハードウエア規模の削減を図るようにした例である。

この第３の例においては、サーチ範囲における参照ブロックのＳＡＤ値の最小値Ｓminおよびその位置情報（参照ベクトル）の検出および保持は、上述した第２の例と全く同様に行う。しかし、近傍ＳＡＤ値およびその位置情報の取得および保持に関しては、第２の例のように、ＳＡＤ値Ｓminの検出時と同時には行わず、検出された最小ＳＡＤ値Ｓminの位置情報を、マッチング処理部１６３に返して、マッチング処理部１６３で、最小ＳＡＤ値Ｓminの近傍４点位置の参照ブロックについてのＳＡＤ値を再度、算出して、動きベクトル算出部１６４に供給するようにする。

動きベクトル算出部１６４では、当該マッチング処理部１６３からの再度のブロックマッチング処理により算出された前記近傍４点位置のＳＡＤ値およびその位置情報（参照ベクトル）を受け取って、ＳＡＤ値保持部１６４３のそれぞれの保持部に格納するようにする。

この動きベクトル算出部１６４の第３の例のハードウエア構成例を、図２５に示す。すなわち、この動きベクトル算出部１６４の第３の例においては、第１の例のＳＡＤテーブルＴＢＬやラインメモリ１６４７は備えずに、図２５に示すように、ＳＡＤ値書き込み部１６４１と、ＳＡＤ値比較部１６４２と、ＳＡＤ値保持部１６４３と、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５と、二次曲線近似補間処理部１６４６とを備えてなる。

この第３の例においても、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５と、二次曲線近似補間処理部１６４６とは、前述した第１の例と同様の動作を行うが、ＳＡＤ値書き込み部１６４１、ＳＡＤ値比較部１６４２、ＳＡＤ値保持部１６４３およびラインメモリ１６４７の部分は、前述の第２の例とは、異なる動作を行う。

ＳＡＤ値保持部１６４３は、第２の例と同様に、最小ＳＡＤ値Ｓminおよび近傍ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2の保持部（メモリ）を備える。そして、この第３の例においても、ＳＡＤ値保持部１６４３は、その最小ＳＡＤ値保持部からの最小ＳＡＤ値ＳminをＳＡＤ値比較部１６４２に供給する。しかし、この第３の例においては、ＳＡＤ値保持部１６４３は、第２の例とは異なり、近傍ＳＡＤ値の位置情報を、ＳＡＤ値書き込み部１６４１に供給することしない。

ＳＡＤ値比較部１６４２は、この第３の例においても、マッチング処理部１６３からの当該時点で算出されたＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３の最小ＳＡＤ値保持部からの最小ＳＡＤ値Ｓminとの両者を比較し、マッチング処理部１６３からの当該時点で算出されたＳＡＤ値Ｓinの方が小さいときには、当該時点で、そのＳＡＤ値を最小ＳＡＤ値であるとして検出し、また、ＳＡＤ値Ｓinの方が小さいときには、当該時点では、ＳＡＤ値保持部１６４３の最小ＳＡＤ値保持部からの最小ＳＡＤ値Ｓminが未だ最小値であると検出する。そして、ＳＡＤ値比較部１６４２は、その検出結果の情報ＤＥＴをＳＡＤ値書き込み部１６４１およびＳＡＤ値保持部１６４３に供給する。

ＳＡＤ値書き込み部１６４１は、前述例と同様に、マッチング処理部１６３からの算出されたＳＡＤ値Ｓinおよびその位置情報（参照ベクトル）を一時保持するための１画素分のバッファメモリを備える。そして、この第３の例においては、ＳＡＤ値書き込み部１６４１は、ＳＡＤ値比較部１６４２からの比較検出結果の情報ＤＥＴが、ＳＡＤ値Ｓinが最小値であることを示しているときには、マッチング処理部１６３からの参照ブロックの位置情報（参照ベクトル）と、当該参照ブロックのＳＡＤ値Ｓinとを、ＳＡＤ値保持部１６４３に送る。

ＳＡＤ値保持部１６４３は、ＳＡＤ値比較部１６４２からの比較検出結果の情報ＤＥＴにより、ＳＡＤ値Ｓinが最小値であることを知り、ＳＡＤ値書き込み部１６４１から送られてくる参照ブロックの位置情報（参照ベクトル）と、当該参照ブロックのＳＡＤ値Ｓinとを、最小ＳＡＤ値保持部に格納する。

以上の処理を、サーチ範囲内の全ての参照ブロックについてマッチング処理部１６３で算出されたＳＡＤ値について、行う。そして、この第３の例においては、サーチ範囲内の全ての参照ブロックについてのＳＡＤ値の算出が終了したときに、ＳＡＤ値保持部１６４３は、保持している最小ＳＡＤ値Ｓminの位置情報（参照ベクトル）Ｖminを、マッチング処理部１６３に供給して、当該位置情報の近傍の４点の参照ブロックについてのＳＡＤ値の再算出を依頼する。

マッチング処理部１６３では、ＳＡＤ値保持部１６４３から最小ＳＡＤ値Ｓminの位置情報（参照ベクトル）Ｖminを含む近傍参照ブロックについてのＳＡＤ値の再算出の依頼を受け取ると、前記最小ＳＡＤ値Ｓminの位置情報（参照ベクトル）Ｖminから、その近傍４点の近傍参照ブロックの位置を検出し、検出した位置の参照ブロックについて、ＳＡＤ値の算出を行う。そして、算出したＳＡＤ値を、その位置情報（参照ベクトル）と共に、ＳＡＤ値書き込み部１６４１に順次に供給する。

この場合、マッチング処理部１６３は、サーチ方向の順にブロックマッチング処理を行うので、近傍ＳＡＤ値は、ＳＡＤ値Ｓy1、Ｓx1、Ｓx2、Ｓy2の順に算出される。ＳＡＤ値書き込み部１６４１は、受け取った再算出されたＳＡＤ値およびその位置情報（参照ベクトル）を、順次にＳＡＤ値保持部１６４３に供給する。

ＳＡＤ値保持部１６４３は、この再算出されたＳＡＤ値およびその位置情報（参照ベクトル）を、順次に、対応する格納部に書き込んで保持する。

こうして、近傍参照ブロックについてのＳＡＤ値の再算出が終了すると、前述の第２の例と同様にして、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５が、ＳＡＤ値保持部１６４３に保持された、前記検出した最小のＳＡＤ値Ｓminとその近傍ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2およびそれらの位置情報を読み出し、二次曲線近似補間処理部１６４６に送る。これを受けた二次曲線近似補間処理部１６４６は、二次曲線による補間を、Ｘ方向およびＹ方向の２回行い、前述したようにして、サブピクセル精度の高精度の動きベクトルを算出する。

以上のようにして、第３の例においては、ＳＡＤテーブルＴＢＬやラインメモリを用いずに、サブピクセル精度の動きベクトルの検出ができる。

この第３の例における縮小面でのブロックマッチング処理時の流れの例は、ラインメモリ１６４７への書き込みを行わない点を除いて、図２２に示した第２の例の場合と同様であるので、ここでは、説明を省略する。そして、この第３の例における基底面でのブロックマッチング処理時の流れの例を、図２６のフローチャートを参照しながら説明する。

はじめに、動きベクトル算出部１６４のＳＡＤ値保持部１６４３の最小ＳＡＤ値Ｓminの初期値を設定する（ステップＳ８１）。この最小ＳＡＤ値Ｓminの初期値としては、例えば、画素の差分の最大値が設定される。

次に、マッチング処理部１６３では、基底面での参照ベクトル（Ｖｘ，Ｖｙ）を設定して、ＳＡＤ値を計算する基底面参照ブロック位置を設定し（ステップＳ８２）、設定した基底面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込む（ステップＳ８３）と共に、ターゲットブロックバッファ部１６１から基底面ターゲットブロックの画素データを読み込んで、基底面ターゲットブロックおよび基底面参照ブロックの各画素データの差分の絶対値の総和、つまり、ＳＡＤ値を求め、求めたＳＡＤ値を動きベクトル算出部１６４に送出する（ステップＳ８４）。

動きベクトル算出部１６４では、ＳＡＤ値比較部１６４２が、マッチング処理部１６３で算出されたＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３に保持されている最小ＳＡＤ値Ｓminとを比較して、算出されたＳＡＤ値Ｓinが、それまで保持されている最小ＳＡＤ値Ｓminよりも小さいか否か判別する（ステップＳ８５）。

このステップＳ８５で、算出されたＳＡＤ値Ｓinが最小ＳＡＤ値Ｓminより小さいと判別したときには、ステップＳ８６に進み、ＳＡＤ値保持部１６４３に保持される最小ＳＡＤ値Ｓminおよびその位置情報の更新がなされる。

すなわち、ＳＡＤ値比較部１６４２は、算出されたＳＡＤ値Ｓinが最小ＳＡＤ値Ｓminより小さい旨の比較結果の情報ＤＥＴをＳＡＤ値書き込み部１６４１に送る。すると、ＳＡＤ値書き込み部１６４１は、当該算出されたＳＡＤ値Ｓinおよびその位置情報（基底面参照ベクトル）を、新たな最小ＳＡＤ値Ｓminの情報としてＳＡＤ値保持部１６４３に送る。ＳＡＤ値保持部１６４３は、保持すべき最小ＳＡＤ値Ｓminおよびその位置情報を、受け取った新たなＳＡＤ値Ｓinおよびその位置情報に更新する。

ステップＳ８６の後には、ステップＳ８７に進む。また、ステップＳ８５で、算出されたＳＡＤ値Ｓinが最小ＳＡＤ値Ｓminより大きいと判別したときには、ステップＳ８６の保持情報の更新処理は行わずにステップＳ８７に進む。

ステップＳ８７では、マッチング処理部１６３は、サーチ範囲の全ての基底面参照ブロックの位置（基底面参照ベクトル）でマッチング処理を終了したか否か判別し、未だ、サーチ範囲においては、未処理の基底面参照ブロックがあると判別したときには、ステップＳ８２に戻り、前述したステップＳ８２以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ８７で、サーチ範囲の全ての基底面参照ブロックの位置（参照ベクトル）でマッチング処理を終了したと判別したときには、ＳＡＤ値保持部１６４３からの最小ＳＡＤ値Ｓminの位置情報を受け取り、その近傍４点の位置の基底面参照ブロックについてのＳＡＤ値の再算出を行い、再算出した近傍ＳＡＤ値をＳＡＤ値書き込み部１６４１を通じてＳＡＤ値保持部１６４３に供給し、保持させるようにする（ステップＳ８８）。

次に、動きベクトル算出部１６４では、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５が、ＳＡＤ値保持部１６４３に保持された、前記検出した最小のＳＡＤ値Ｓminとその近傍ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2およびそれらの位置情報を読み出し、二次曲線近似補間処理部１６４６に送る。これを受けた二次曲線近似補間処理部１６４６は、二次曲線による補間を、Ｘ方向およびＹ方向の２回行い、前述したようにして、サブピクセル精度の高精度の動きベクトルを算出する（ステップＳ８９）。以上で、１枚の参照フレームについての第３の例の基底面でのブロックマッチング処理を終了する。

この第３の例においては、上述した第２の例に比較して、ＳＡＤ値を再算出する分だけ、処理時間が増加するが、ラインメモリをも必要としないので、回路規模を、第２の例よりも削減することができる。しかも、ＳＡＤ値の再算出は、近傍ＳＡＤ値のみであるので、上述の例では、高々４回であるので、処理時間の増加は少ない。

なお、上述した第３の例の説明では、最小ＳＡＤ値は、検出しながらＳＡＤ値保持部１６４３に保持するようにしたが、ＳＡＤ値比較部１６４２において、最小ＳＡＤ値を呈する参照ブロックの位置情報（参照ベクトル）を検出して保持するように構成し、１回目のブロックマッチングが終了したら、ＳＡＤ値比較部１６４２から、当該最小ＳＡＤ値の位置情報をマッチング処理部１６３に供給するようにしてもよい。

その場合には、マッチング処理部１６３でのＳＡＤ値の再算出においては、近傍４点のＳＡＤ値に加えて、最小ＳＡＤ値をも再算出するようにする。この場合には、ＳＡＤ値の再算出回数が５回となり、１回増加するが、１回目のブロックマッチングでは、ＳＡＤ値比較部１６４２のみが動作すればよく、ＳＡＤ値書き込み部１６４１およびＳＡＤ値保持部１６４３は、再算出されたＳＡＤ値を保持するように動作すればよいので、処理動作が簡略化されるというメリットがある。

また、動き検出および動き補償部１６での処理は、ターゲットフレームにおいて設定された複数個のターゲットブロックについて、並列および並行して、実行することができる。その場合には、以上説明した動き検出および動き補償部１６のハードウエアの系を、当該並列・並行処理するターゲットブロック数に応じた数だけ、設ける必要がある。

比較例のように、ＳＡＤテーブルを生成する方法の場合には、当該ターゲットブロック数分だけのＳＡＤテーブルを生成する必要があり、非常に大きなメモリが必要となってしまう。しかし、第２の例では、１ターゲットブロック当たりについて、ＳＡＤテーブルの１ライン分でよく、メモリ容量を非常に少なくすることができる。さらに、第３の例の場合には、ラインメモリをも必要としないので、メモリ容量の大幅な削減をすることができる。

［階層化ブロックマッチング処理の流れの例］
次に、図２７および図２８に、この第１の実施の形態における動き検出・動き補償部１６での階層化ブロックマッチング処理の動作例のフローチャートを示す。この動作例は、動きベクトル算出部１６４の構成例として、前述した第３の例を用いた場合である。動きベクトル算出部１６４の構成例として、前述した第１の例や第２の例をも用いることができることは言うまでもない。なお、この図２７および図２８に示す処理の流れは、前述したマッチング処理部１６３、動き算出部１６４の処理例の流れとしての説明と、一部重複するものとなるが、この第１の実施の形態の動作を、より理解し易くするために、説明するものである。

はじめに、動き検出・動き補償部１６において、ターゲットブロックバッファ部１６１から、ターゲットブロックの縮小画、つまり、縮小面ターゲットブロックを読み込む（図２７のステップＳ９１）。次に、動きベクトル算出部１６４のＳＡＤ値保持部１６４３の最小ＳＡＤ値Ｓminの初期値として、縮小面最小ＳＡＤ値の初期値を設定する（ステップＳ９２）。この縮小面最小ＳＡＤ値Ｓminの初期値としては、例えば、画素の差分の最大値が設定される。

次に、マッチング処理部１６３では、縮小面サーチ範囲を設定すると共に、設定した縮小サーチ範囲において、縮小面参照ベクトル（Ｖｘ／ｎ，Ｖｙ／ｎ：１／ｎは縮小倍率）を設定して、ＳＡＤ値を計算する縮小面参照ブロック位置を設定する（ステップＳ９３）。そして、設定した縮小面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込み（ステップＳ９４）、縮小面ターゲットブロックおよび縮小面参照ブロックの各画素データの差分の絶対値の総和、つまり、縮小面ＳＡＤ値を求め、求めた縮小面ＳＡＤ値を動きベクトル算出部１６４に送出する（ステップＳ９５）。

動きベクトル算出部１６４では、ＳＡＤ値比較部１６４２が、マッチング処理部１６３で算出された縮小面ＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３に保持されている縮小面最小ＳＡＤ値Ｓminとを比較して、算出された縮小面ＳＡＤ値Ｓinが、それまで保持されている縮小面最小ＳＡＤ値Ｓminよりも小さいか否か判別する（ステップＳ９６）。

このステップＳ９６で、算出された縮小面ＳＡＤ値Ｓinが縮小面最小ＳＡＤ値Ｓminより小さいと判別したときには、ステップＳ９７に進み、ＳＡＤ値保持部１６４３に保持される縮小面最小ＳＡＤ値Ｓminおよびその位置情報の更新がなされる。

すなわち、ＳＡＤ値比較部１６４２は、算出された縮小面ＳＡＤ値Ｓinが縮小面最小ＳＡＤ値Ｓminより小さい旨の比較結果の情報ＤＥＴをＳＡＤ値書き込み部１６４１に送る。すると、ＳＡＤ値書き込み部１６４１は、当該算出された縮小面ＳＡＤ値Ｓinおよびその位置情報（縮小面参照ベクトル）を、新たな縮小面最小ＳＡＤ値Ｓminの情報としてＳＡＤ値保持部１６４３に送る。ＳＡＤ値保持部１６４３は、保持すべき縮小面最小ＳＡＤ値Ｓminおよびその位置情報を、受け取った新たな縮小面ＳＡＤ値Ｓinおよびその位置情報に更新する。

ステップＳ９７の後には、ステップＳ９８に進む。また、ステップＳ９６で、算出された縮小面ＳＡＤ値Ｓinが縮小面最小ＳＡＤ値Ｓminより大きいと判別したときには、ステップＳ９７の保持情報の更新処理は行わずにステップＳ９８に進む。

ステップＳ９８では、マッチング処理部１６３は、縮小面サーチ範囲の全ての縮小面参照ブロックの位置（縮小面参照ベクトル）でマッチング処理を終了したか否か判別し、未だ、縮小面サーチ範囲においては、未処理の縮小面参照ブロックがあると判別したときには、ステップＳ９３に戻り、前述したステップＳ９３以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ９８で、縮小面サーチ範囲の全ての縮小面参照ブロックの位置（縮小面参照ベクトル）でマッチング処理を終了したと判別したときには、ＳＡＤ値保持部１６４３からの縮小面最小ＳＡＤ値Ｓminの位置情報（縮小面動きベクトル）を受け取り、受け取った縮小面動きベクトルを、縮小倍率の逆数倍、すなわち、ｎ倍したベクトルが、基底面ターゲットフレームにおいて指し示す位置座標を中心とした位置に基底面ターゲットブロックを設定するとともに、前記ｎ倍したベクトルが指し示す位置座標を中心とした比較的狭い範囲として、基底面サーチ範囲を、基底面ターゲットフレームに設定し（ステップＳ９９）、ターゲットブロックバッファ部１６１から、基底面ターゲットブロックの画素データを読み込む（ステップＳ１００）。

そして、次に、動きベクトル算出部１６４のＳＡＤ値保持部１６４３の最小ＳＡＤ値Ｓminの初期値として、基底面最小ＳＡＤ値の初期値を設定する（図２８のステップＳ１０１）。この基底面最小ＳＡＤ値Ｓminの初期値としては、例えば、画素の差分の最大値が設定される。

次に、マッチング処理部１６３では、ステップＳ９９で設定した基底面縮小サーチ範囲において、基底面参照ベクトル（Ｖｘ，Ｖｙ）を設定して、ＳＡＤ値を計算する基底面参照ブロック位置を設定する（ステップＳ１０２）。そして、設定した基底面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込み（ステップＳ１０３）、基底面ターゲットブロックおよび基底面参照ブロックの各画素データの差分の絶対値の総和、つまり、基底面ＳＡＤ値を求め、求めた基底面ＳＡＤ値を動きベクトル算出部１６４に送出する（ステップＳ１０４）。

動きベクトル算出部１６４では、ＳＡＤ値比較部１６４２が、マッチング処理部１６３で算出された基底面ＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３に保持されている基底面最小ＳＡＤ値Ｓminとを比較して、算出された基底面ＳＡＤ値Ｓinが、それまで保持されている基底面最小ＳＡＤ値Ｓminよりも小さいか否か判別する（ステップＳ１０５）。

このステップＳ１０５で、算出された基底面ＳＡＤ値Ｓinが基底面最小ＳＡＤ値Ｓminより小さいと判別したときには、ステップＳ１０６に進み、ＳＡＤ値保持部１６４３に保持される基底面最小ＳＡＤ値Ｓminおよびその位置情報の更新がなされる。

すなわち、ＳＡＤ値比較部１６４２は、算出された基底面ＳＡＤ値Ｓinが基底面最小ＳＡＤ値Ｓminより小さい旨の比較結果の情報ＤＥＴをＳＡＤ値書き込み部１６４１に送る。すると、ＳＡＤ値書き込み部１６４１は、当該算出された基底面ＳＡＤ値Ｓinおよびその位置情報（参照ベクトル）を、新たな基底面最小ＳＡＤ値Ｓminの情報としてＳＡＤ値保持部１６４３に送る。ＳＡＤ値保持部１６４３は、保持すべき基底面最小ＳＡＤ値Ｓminおよびその位置情報を、受け取った新たな基底面ＳＡＤ値Ｓinおよびその位置情報に更新する。

ステップＳ１０６の後には、ステップＳ１０７に進む。また、ステップＳ１０５で、算出された基底面ＳＡＤ値Ｓinが基底面最小ＳＡＤ値Ｓminより大きいと判別したときには、ステップＳ１０６の保持情報の更新処理は行わずにステップＳ１０７に進む。

ステップＳ１０７では、マッチング処理部１６３は、基底面サーチ範囲の全ての基底面参照ブロックの位置（基底面参照ベクトル）でマッチング処理を終了したか否か判別し、未だ、基底面サーチ範囲においては、未処理の基底面参照ブロックがあると判別したときには、ステップＳ１０２に戻り、前述したステップＳ１０２以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ１０７で、基底面サーチ範囲の全ての基底面参照ブロックの位置（基底面参照ベクトル）でマッチング処理を終了したと判別したときには、ＳＡＤ値保持部１６４３からの基底面最小ＳＡＤ値Ｓminの位置情報（基底面動きベクトル）を受け取り、その近傍４点の位置の基底面参照ブロックについての基底面ＳＡＤ値の再算出を行い、再算出した近傍基底面ＳＡＤ値をＳＡＤ値書き込み部１６４１を通じてＳＡＤ値保持部１６４３に供給し、保持させるようにする（ステップＳ１０８）。

次に、動きベクトル算出部１６４では、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５が、ＳＡＤ値保持部１６４３に保持された、前記検出した最小の基底面ＳＡＤ値Ｓminとその近傍基底面ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2およびそれらの位置情報を読み出し、二次曲線近似補間処理部１６４６に送る。これを受けた二次曲線近似補間処理部１６４６は、二次曲線による補間を、Ｘ方向およびＹ方向の２回行い、前述したようにして、サブピクセル精度の高精度の基底面動きベクトルを算出する（ステップＳ１０９）。以上で、１枚の参照フレームについてのこの例のブロックマッチング処理を終了する。

次に、この第１の実施の形態による画像処理方法の効果を、具体例を挙げて説明する。

図２９に、上述の実施の形態の説明で用いた基底面、縮小面での、参照ブロック、サーチ範囲、マッチング処理範囲の具体例を示す。図２９の例は、水平方向および垂直方向の縮小倍率１／ｎは、ｎ＝４に設定した場合である。

比較例として、図２９（Ａ）および（Ｂ）に示すように、例えば、縮小画像を用いない参照ブロック１０８は、横（水平）×縦（垂直）＝３２×３２ピクセルとし、また、サーチ範囲１０６は、横（水平）×縦（垂直）＝１４４×６４ピクセル、マッチング処理範囲１１０は、横（水平）×縦（垂直）＝１７６×９６ピクセルとする。

すると、上述した第１の実施の形態において、水平方向および垂直方向に、１／ｎ＝１／４に縮小された縮小面では、図２９（Ｃ）および（Ｄ）に示すように、縮小面参照ブロック１３９は、横（水平）×縦（垂直）＝８×８ピクセル、縮小面サーチ範囲１３７は、横（水平）×縦（垂直）＝３６×１６ピクセル、縮小面マッチング処理範囲１４３は、横（水平）×縦（垂直）＝４４×２４ピクセルとなる。

水平方向および垂直方向に、１／４に縮小された縮小面で、ブロックマッチングを行った場合、縮小面動きベクトルは、４ピクセル精度の動きベクトルであり、単純に４倍しただけでは、１ピクセル精度の動きベクトルに対して誤差が生じる。すなわち、基底面での画素が図３０に示すようなものとした場合、基底面でのマッチング処理点１４８は、当該基底面の全ての画素が対象となるが、１／４に縮小された縮小面で、ブロックマッチングを行う場合のマッチング処理点は、図３０において、黒丸で示す４ピクセル単位のマッチング処理点１４７となっているからである。

しかし、少なくとも、１ピクセル精度の動きベクトルは、縮小面動きベクトルが指し示す縮小面でのマッチング処理点の周囲、４ピクセル範囲以内に存在するであろうことは予測できる。

そこで、この第１の実施の形態では、算出された縮小面動きベクトルを元に基底面サーチ範囲を定める基底面マッチングでは、縮小面動きベクトルを縮小倍率の逆数である４倍した参照ベクトルが指し示すピクセル位置を中心に、基底面ターゲットブロックを設定するとともに、４ピクセル分のサーチ範囲（基底面サーチ範囲１４０）を決定して、基底面ブロックマッチングを行い、再度動きベクトルを算出する。

したがって、図２９（Ｅ）および（Ｆ）に示すように、基底面参照ブロック１４２は、横（水平）×縦（垂直）＝３２×３２ピクセル、基底面サーチ範囲１４０は、横（水平）×縦（垂直）＝４×４ピクセル、基底面マッチング処理範囲１４４は、横（水平）×縦（垂直）＝４０×４０ピクセルとなる。

図３１に、この第１の実施の形態のように、縮小面マッチングと、基底面マッチングの２階層マッチングを行う場合において、ＳＡＤテーブルを使用すると仮定した場合における、基底面、縮小面での、ＳＡＤテーブルのサイズを示す。なお、図３１の例は、図２９に示した具体例に対応したものである。

縮小する前の１４４×６４のサーチ範囲（図２９（Ｂ）参照）の場合におけるＳＡＤテーブルＴＢＬは、図３１（Ａ）に示すように、１４５×６５点である。

これに対して、３６×１６の縮小面サーチ範囲（図２９（Ｄ）参照）の場合における縮小面ＳＡＤテーブルは、図３１（Ｂ）に示すように、３７点×１７点となる。

また、４×４の基底面サーチ範囲（図２９（Ｆ）参照）の場合における基底面ＳＡＤテーブルは５点×５点となる。

したがって、階層マッチングを施さない場合のマッチング処理回数は１４５×６５＝９４２５回であるのに対し、階層マッチングを適用した場合のマッチング回数は３７×１７＋５×５＝６５４回となり、処理時間を大幅に短縮できることが分かる。

そして、前述した動きベクトル検出方法の第１の例の場合におけるラインメモリは、縮小面ＳＡＤテーブルの１ライン分でよいので、３７個のＳＡＤ値およびその位置情報を格納できるものでよく、ＳＡＤテーブルＴＢＬの場合の、９４２５個のＳＡＤ値およびその位置情報を格納するメモリに対して非常に小さいメモリでよくなる。

また、前述した動きベクトル算出部１６４の構成例の第３の例の場合には、３７個のＳＡＤ値およびその位置情報を格納する縮小面ＳＡＤテーブルさえも不要となるので、さらに回路規模を小さくすることができる。

以上のようにして、上記の第１の実施の形態によれば、階層化したマッチング処理を行った後、基底面において補間処理をすることにより、広いサーチ範囲で、サブピクセル精度の動きベクトル検出を行うことが可能になる。

［第２の実施の形態］
動画のＮＲシステムでは、精度とともにリアルタイム性、すなわちスピードが要求される。また、図１に示したような、システムバス２に各種処理部が接続されていて、様々な処理を並列に行うシステムでは、バス帯域も重要視される。ここで、バス帯域とは、システムバス上で、輻輳を回避して転送することができるデータレートである。

スピードおよびバス帯域と、動き検出の精度とは、トレードオフの関係にあり、動き検出の精度も求めながら、処理の高速化またはバス帯域の削減を図ろうとすれば、コスト対効果の問題も考えなくてはいけない。

上述の第１の実施の形態では、広いサーチ範囲で、サブピクセル以下の動きベクトル検出を行う例を示したが、この第２の実施の形態では、動き検出の精度を落として、処理の高速化およびバス帯域の削減を行う方法について説明する。

上述した第１の実施の形態では、基底面でのピクセル精度のブロックマッチングをした後、補間処理により、サブピクセル精度の動きベクトル検出をした。これに対して、この第２の実施の形態では、縮小面でブロックマッチングをした後、算出された縮小面動きベクトルで指し示される縮小面参照ブロック位置の近傍の縮小面参照ブロックのＳＡＤ値およびその位置情報を用いて、補間処理を行い、ピクセル精度の縮小面動きベクトル検出を行うようにする。

図３０に示したように、縦および横、ともに１／４に縮小された縮小面でブロックマッチングを行った場合、縮小面動きベクトルは、４ピクセル精度の動きベクトルである。したがって、図３２に示すように、縮小面での最小ＳＡＤ値１４９が求まった場合、その近傍のＳＡＤ値１５０，１５１，１５２，１５３を用いて補間処理を行い、ピクセル精度の動きベクトルの検出をしようとする場合には、補間倍率は４倍必要ということになる。

例えば、補間処理として、図３３に示すように、二次曲線１１８による近似補間処理を行う場合には、補間倍率の４倍は、前述した式（１）および式（２）において、割り算（減算）を２ビット分行うことと等価である。図３３において、二次曲線１１８上の極小値（ＳＡＤ値）１５４は、縮小面における補間処理により求められたピクセル精度の最小ＳＡＤ値を示している。

なお、上述の説明では、ピクセル精度の動きベクトルを算出するために、縮小倍率１／ｎのｎと補間倍率とは同じにしているが、両者が同じでなくても良い。補間倍率を縮小倍率１／ｎのｎよりも大きくすれば、ピクセル精度よりも高精度の動きベクトルを算出することができる。

図３４に、この第２の実施の形態を、上述した第１の実施の形態で説明した撮像装置の場合における動き検出・動き補償部１６に適用した場合のブロックマッチングおよび動きベクトル検出処理の一例のフローチャートを示す。

はじめに、動き検出・動き補償部１６において、ターゲットブロックバッファ部１６１から、ターゲットブロックの縮小画、つまり、縮小面ターゲットブロックを読み込む（図３４のステップＳ１１１）。次に、動きベクトル算出部１６４のＳＡＤ値保持部１６４３の最小ＳＡＤ値Ｓminの初期値として、縮小面最小ＳＡＤ値の初期値を設定する（ステップＳ１１２）。この縮小面最小ＳＡＤ値Ｓminの初期値としては、例えば、画素の差分の最大値が設定される。

次に、マッチング処理部１６３では、縮小面サーチ範囲を設定すると共に、設定した縮小サーチ範囲において、縮小面参照ベクトル（Ｖｘ／ｎ，Ｖｙ／ｎ：１／ｎは縮小倍率）を設定して、ＳＡＤ値を計算する縮小面参照ブロック位置を設定する（ステップＳ１１３）。そして、設定した縮小面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込み（ステップＳ１１４）、縮小面ターゲットブロックおよび縮小面参照ブロックの各画素データの差分の絶対値の総和、つまり、縮小面ＳＡＤ値を求め、求めた縮小面ＳＡＤ値を動きベクトル算出部１６４に送出する（ステップＳ１１５）。

動きベクトル算出部１６４では、ＳＡＤ値比較部１６４２が、マッチング処理部１６３で算出された縮小面ＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３に保持されている縮小面最小ＳＡＤ値Ｓminとを比較して、算出された縮小面ＳＡＤ値Ｓinが、それまで保持されている縮小面最小ＳＡＤ値Ｓminよりも小さいか否か判別する（ステップＳ１１６）。

このステップＳ１１６で、算出された縮小面ＳＡＤ値Ｓinが縮小面最小ＳＡＤ値Ｓminより小さいと判別したときには、ステップＳ１１７に進み、ＳＡＤ値保持部１６４３に保持される縮小面最小ＳＡＤ値Ｓminおよびその位置情報の更新がなされる。

すなわち、ＳＡＤ値比較部１６４２は、算出された縮小面ＳＡＤ値Ｓinが縮小面最小ＳＡＤ値Ｓminより小さい旨の比較結果の情報ＤＥＴをＳＡＤ値書き込み部１６４１に送る。すると、ＳＡＤ値書き込み部１６４１は、当該算出された縮小面ＳＡＤ値Ｓinおよびその位置情報（参照ベクトル）を、新たな縮小面最小ＳＡＤ値Ｓminの情報としてＳＡＤ値保持部１６４３に送る。ＳＡＤ値保持部１６４３は、保持すべき縮小面最小ＳＡＤ値Ｓminおよびその位置情報を、受け取った新たな縮小面ＳＡＤ値Ｓinおよびその位置情報に更新する。

ステップＳ１１７の後には、ステップＳ１１８に進む。また、ステップＳ１１６で、算出された縮小面ＳＡＤ値Ｓinが縮小面最小ＳＡＤ値Ｓminより大きいと判別したときには、ステップＳ１１７の保持情報の更新処理は行わずにステップＳ１１８に進む。

ステップＳ１１８では、マッチング処理部１６３は、縮小面サーチ範囲の全ての縮小面参照ブロックの位置（縮小面参照ベクトル）でマッチング処理を終了したか否か判別し、未だ、縮小面サーチ範囲においては、未処理の縮小面参照ブロックがあると判別したときには、ステップＳ１１３に戻り、前述したステップＳ１１３以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ１１８で、縮小面サーチ範囲の全ての縮小面参照ブロックの位置（縮小面参照ベクトル）でマッチング処理を終了したと判別したときには、ＳＡＤ値保持部１６４３からの縮小面最小ＳＡＤ値Ｓminの位置情報（縮小面動きベクトル）を受け取り、その近傍４点の位置の縮小面参照ブロックについての縮小面ＳＡＤ値の再算出を行い、再算出した近傍縮小面ＳＡＤ値をＳＡＤ値書き込み部１６４１を通じてＳＡＤ値保持部１６４３に供給し、保持させるようにする（ステップＳ１１９）。

次に、動きベクトル算出部１６４では、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５が、ＳＡＤ値保持部１６４３に保持された、前記検出した最小の縮小面ＳＡＤ値Ｓminとその近傍縮小面ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2およびそれらの位置情報を読み出し、二次曲線近似補間処理部１６４６に送る。これを受けた二次曲線近似補間処理部１６４６は、二次曲線による補間を、縮小面において、Ｘ方向およびＹ方向の２回行い、前述したようにして、ピクセル精度の動きベクトルを算出する（ステップＳ１２０）。以上で、１枚の参照フレームについてのこの例のブロックマッチング処理を終了する。

前述の第１の実施の形態と、この第２の実施の形態で、処理速度とバス帯域の比較を行う。この第３の実施の形態の画像処理方法によれば、処理速度とバス帯域において、下記の３つの利点がある。

第１に、第３の実施の形態では、縮小面でのみ、ＳＡＤ値の計算を行い、基底面でのＳＡＤ値の計算は行わないので、ＳＡＤ値の計算回数が削減されるため、処理速度が速くなる。

すなわち、図３１に示したように、第１の実施の形態のように、階層マッチングと、基底面での補間処理を用いた動きベクトル検出方法を適用した場合のＳＡＤ値計算回数は３７×１７＋５×５＝６５４回となるのに対して、第２の実施の形態のように、縮小面での補間処理を適用した場合のＳＡＤ値計算回数は６２９回となり、２５回削減することができる。

第２に、この第２の実施の形態では、基底面でのブロックマッチングを行っていないため、基底面ターゲットブロックと、基底面マッチング処理範囲を、画像メモリから読み込まなくて済む。したがって、上記の２５回のＳＡＤ値の計算だけではなく、基底面のターゲットブロックの読み込み時間と、基底面マッチング処理範囲の全画素分の転送時間が短縮されている。同時に、基底面２５回分のバス帯域も削減されている。

第３に、基底面ブロックマッチングと縮小面ブロックマッチングは、ＳＡＤ値の計算にかかる時間は同じだが、ターゲットブロックバッファ部１６１および参照ブロックバッファ部１６２から、マッチング処理部１６３へ転送する画素の数が異なる。

例えば、前述の例の比較では、図２９に示したように、縮小面参照ブロック１３９は、８×８ピクセル、基底面参照ブロック１４２は、３２×３２ピクセルで、転送画素数は１６倍になるため、基底面ブロックマッチングの有無は、処理時間に大きな影響を与えている。

また、縮小面ブロックマッチングで、複数ブロックについて並列にＳＡＤ値を計算することにより、処理の高速化を図ることができる。並列処理を行うと、参照ブロックバッファ部１６２に取り込むマッチング処理範囲が大きくなるが、図３５（Ａ）に示すように、隣り合う縮小面参照ブロック１７１，１７２を並列処理すれば、大半のマッチング処理範囲は共有することができる。このため、バス帯域も削減することができる。

図３５（Ｂ），（Ｃ）は、図２９（Ｄ）の場合と同じサイズの縮小面参照ブロック、縮小面サーチ範囲で、２個の縮小面参照ブロック１７１，１７２のブロックマッチングを並列に処理したときの縮小面サーチ範囲およびマッチング処理範囲の例である。

図２９（Ｄ）に示したように、並列処理しない場合の縮小面サーチ範囲１３７は、３６×１６ピクセル、縮小面マッチング処理範囲１４３は、４４×２４ピクセルであったのに対して、図３５（Ｂ），（Ｃ）に示すように、縮小面参照ブロック１７１の縮小面サーチ範囲１７３は、４０×１６ピクセル、縮小面参照ブロック１７２の縮小面サーチ範囲１７４は、４０×１６ピクセル、そして、縮小面参照ブロック１７１，１７２の両方に対応した縮小面マッチング処理範囲１７５は、５２×２４ピクセルとなっている。

前述したように、第１の実施の形態で行う基底面ブロックマッチングは、縮小面動きベクトルの値によって基底面マッチング処理範囲が決まるため、並列処理時にマッチング処理範囲を共有することができない。したがって、第２の実施の形態の場合において、ＳＡＤ値の計算の並列化による高速化を図った場合、基底面マッチング処理にかかる処理時間、バス帯域が支配的になる。

これに対して、この第２の実施の形態によれば、上記のように、階層化したマッチング処理において、縮小面ブロックマッチングを行った後、基底面ブロックマッチングを行わずに、縮小面における補間処理をすることにより、処理の高速化およびバス帯域の削減を実現することができる。

［第３の実施の形態］
第２の実施の形態で求められる縮小面動きベクトルは、第１の実施の形態で求められた縮小面動きベクトルよりも、高精度の動きベクトルとなっている。そこで、この高精度縮小面動きベクトルを用いて、基底面におけるサーチ範囲を定めることにより、第１の実施の形態の場合よりも、より狭いサーチ範囲を設定することができる。したがって、基底面でのブロックマッチング処理回数を、第１の実施の形態の場合よりも、少なくすることが可能である。この第３の実施の形態は、このことを利用した実施の形態である。

図３６および図３７に、この第３の実施の形態を、上述した第１の実施の形態で説明した撮像装置の場合における動き検出・動き補償部１６に適用した場合のブロックマッチングおよび動きベクトル検出処理の一例のフローチャートを示す。

はじめに、動き検出・動き補償部１６において、ターゲットブロックバッファ部１６１から、ターゲットブロックの縮小画、つまり、縮小面ターゲットブロックを読み込む（図３６のステップＳ１３１）。次に、動きベクトル算出部１６４のＳＡＤ値保持部１６４３の最小ＳＡＤ値Ｓminの初期値として、縮小面最小ＳＡＤ値の初期値を設定する（ステップＳ１３２）。この縮小面最小ＳＡＤ値Ｓminの初期値としては、例えば、画素の差分の最大値が設定される。

次に、マッチング処理部１６３では、縮小面サーチ範囲を設定すると共に、設定した縮小サーチ範囲において、縮小面参照ベクトル（Ｖｘ／ｎ，Ｖｙ／ｎ：１／ｎは縮小倍率）を設定して、ＳＡＤ値を計算する縮小面参照ブロック位置を設定する（ステップＳ１３３）。そして、設定した縮小面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込み（ステップＳ１３４）、縮小面ターゲットブロックおよび縮小面参照ブロックの各画素データの差分の絶対値の総和、つまり、縮小面ＳＡＤ値を求め、求めた縮小面ＳＡＤ値を動きベクトル算出部１６４に送出する（ステップＳ１３５）。

動きベクトル算出部１６４では、ＳＡＤ値比較部１６４２が、マッチング処理部１６３で算出された縮小面ＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３に保持されている縮小面最小ＳＡＤ値Ｓminとを比較して、算出された縮小面ＳＡＤ値Ｓinが、それまで保持されている縮小面最小ＳＡＤ値Ｓminよりも小さいか否か判別する（ステップＳ１３６）。

このステップＳ１３６で、算出された縮小面ＳＡＤ値Ｓinが縮小面最小ＳＡＤ値Ｓminより小さいと判別したときには、ステップＳ１３７に進み、ＳＡＤ値保持部１６４３に保持される縮小面最小ＳＡＤ値Ｓminおよびその位置情報の更新がなされる。

すなわち、ＳＡＤ値比較部１６４２は、算出された縮小面ＳＡＤ値Ｓinが縮小面最小ＳＡＤ値Ｓminより小さい旨の比較結果の情報ＤＥＴをＳＡＤ値書き込み部１６４１に送る。すると、ＳＡＤ値書き込み部１６４１は、当該算出された縮小面ＳＡＤ値Ｓinおよびその位置情報（参照ベクトル）を、新たな縮小面最小ＳＡＤ値Ｓminの情報としてＳＡＤ値保持部１６４３に送る。ＳＡＤ値保持部１６４３は、保持すべき縮小面最小ＳＡＤ値Ｓminおよびその位置情報を、受け取った新たな縮小面ＳＡＤ値Ｓinおよびその位置情報に更新する。

ステップＳ１３７の後には、ステップＳ１３８に進む。また、ステップＳ１３６で、算出された縮小面ＳＡＤ値Ｓinが縮小面最小ＳＡＤ値Ｓminより大きいと判別したときには、ステップＳ１３７の保持情報の更新処理は行わずにステップＳ１３８に進む。

ステップＳ１３８では、マッチング処理部１６３は、縮小面サーチ範囲の全ての縮小面参照ブロックの位置（縮小面参照ベクトル）でマッチング処理を終了したか否か判別し、未だ、縮小面サーチ範囲においては、未処理の縮小面参照ブロックがあると判別したときには、ステップＳ１３３に戻り、前述したステップＳ１３３以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ１３８で、縮小面サーチ範囲の全ての縮小面参照ブロックの位置（縮小面参照ベクトル）でマッチング処理を終了したと判別したときには、ＳＡＤ値保持部１６４３からの縮小面最小ＳＡＤ値Ｓminの位置情報（縮小面動きベクトル）を受け取り、受け取った縮小面動きベクトルを、縮小倍率の逆数倍、すなわち、ｎ倍したベクトルが、基底面ターゲットフレームにおいて指し示す位置座標を中心とした位置に基底面ターゲットブロックを設定するとともに、前記ｎ倍したベクトルが指し示す位置座標を中心とした比較的狭い範囲として、基底面サーチ範囲を、基底面ターゲットフレームに設定し（ステップＳ１３９）、ターゲットブロックバッファ部１６１から、基底面ターゲットブロックの画素データを読み込む（ステップＳ１４０）。

そして、次に、動きベクトル算出部１６４のＳＡＤ値保持部１６４３の最小ＳＡＤ値Ｓminの初期値として、基底面最小ＳＡＤ値の初期値を設定する（図３７のステップＳ１４１）。この基底面最小ＳＡＤ値Ｓminの初期値としては、例えば、画素の差分の最大値が設定される。

次に、マッチング処理部１６３では、ステップＳ１３９で設定した基底面縮小サーチ範囲において、基底面参照ベクトル（Ｖｘ，Ｖｙ）を設定して、ＳＡＤ値を計算する基底面参照ブロック位置を設定する（ステップＳ１４２）。そして、設定した基底面参照ブロックの画素データを、参照ブロックバッファ部１６２から読み込み（ステップＳ１４３）、基底面ターゲットブロックおよび基底面参照ブロックの各画素データの差分の絶対値の総和、つまり、基底面ＳＡＤ値を求め、求めた基底面ＳＡＤ値を動きベクトル算出部１６４に送出する（ステップＳ１４４）。

動きベクトル算出部１６４では、ＳＡＤ値比較部１６４２が、マッチング処理部１６３で算出された基底面ＳＡＤ値Ｓinと、ＳＡＤ値保持部１６４３に保持されている基底面最小ＳＡＤ値Ｓminとを比較して、算出された基底面ＳＡＤ値Ｓinが、それまで保持されている基底面最小ＳＡＤ値Ｓminよりも小さいか否か判別する（ステップＳ１４５）。

このステップＳ１４５で、算出された基底面ＳＡＤ値Ｓinが基底面最小ＳＡＤ値Ｓminより小さいと判別したときには、ステップＳ１４６に進み、ＳＡＤ値保持部１６４３に保持される基底面最小ＳＡＤ値Ｓminおよびその位置情報の更新がなされる。

すなわち、ＳＡＤ値比較部１６４２は、算出された基底面ＳＡＤ値Ｓinが基底面最小ＳＡＤ値Ｓminより小さい旨の比較結果の情報ＤＥＴをＳＡＤ値書き込み部１６４１に送る。すると、ＳＡＤ値書き込み部１６４１は、当該算出された基底面ＳＡＤ値Ｓinおよびその位置情報（参照ベクトル）を、新たな基底面最小ＳＡＤ値Ｓminの情報としてＳＡＤ値保持部１６４３に送る。ＳＡＤ値保持部１６４３は、保持すべき基底面最小ＳＡＤ値Ｓminおよびその位置情報を、受け取った新たな基底面ＳＡＤ値Ｓinおよびその位置情報に更新する。

ステップＳ１４６の後には、ステップＳ１４７に進む。また、ステップＳ１４５で、算出された基底面ＳＡＤ値Ｓinが基底面最小ＳＡＤ値Ｓminより大きいと判別したときには、ステップＳ１４６の保持情報の更新処理は行わずにステップＳ１４７に進む。

ステップＳ１４７では、マッチング処理部１６３は、基底面サーチ範囲の全ての基底面参照ブロックの位置（基底面参照ベクトル）でマッチング処理を終了したか否か判別し、未だ、基底面サーチ範囲においては、未処理の基底面参照ブロックがあると判別したときには、ステップＳ１４２に戻り、前述したステップＳ１４２以降の処理を繰り返す。

また、マッチング処理部１６３は、ステップＳ１４７で、基底面サーチ範囲の全ての基底面参照ブロックの位置（基底面参照ベクトル）でマッチング処理を終了したと判別したときには、ＳＡＤ値保持部１６４３からの基底面最小ＳＡＤ値Ｓminの位置情報（基底面動きベクトル）を受け取り、その近傍４点の位置の基底面参照ブロックについての基底面ＳＡＤ値の再算出を行い、再算出した近傍基底面ＳＡＤ値をＳＡＤ値書き込み部１６４１を通じてＳＡＤ値保持部１６４３に供給し、保持させるようにする（ステップＳ１４８）。

次に、動きベクトル算出部１６４では、Ｘ方向（水平方向）近傍値抽出部１６４４およびＹ方向（垂直方向）近傍値抽出部１６４５が、ＳＡＤ値保持部１６４３に保持された、前記検出した最小の基底面ＳＡＤ値Ｓminとその近傍基底面ＳＡＤ値Ｓx1、Ｓx2、Ｓy1、Ｓy2およびそれらの位置情報を読み出し、二次曲線近似補間処理部１６４６に送る。これを受けた二次曲線近似補間処理部１６４６は、二次曲線による補間を、Ｘ方向およびＹ方向の２回行い、前述したようにして、サブピクセル精度の高精度の基底面動きベクトルを算出する（ステップＳ１４９）。以上で、１枚の参照フレームについてのこの例のブロックマッチング処理を終了する。

なお、最終的に求める動きベクトルが、基底面参照フレームのピクセル精度でよい場合には、図３７のステップＳ１４７で、基底面サーチ範囲の全ての基底面参照ブロックの位置（基底面参照ベクトル）でマッチング処理を終了したと判別したときには、補間処理を行わずに、ＳＡＤ値保持部１６４３からの基底面最小ＳＡＤ値Ｓminの位置情報（基底面動きベクトル）を受け取り、当該基底面動きベクトルを、出力するようにしてもよい。

［第４の実施の形態］
テレビや監視カメラなどの分野で、連続して撮影された画像を用いて、パン、チルト動作や、手ブレなどの画面全体の動きを、１画面全体についての動きを表わすグローバル動きベクトルとして検出し、動き補償する技術がある。

例えば、図３８（Ａ）示すターゲット画像１００に対して、参照画像１０１が図３８（Ｂ）に示すようなものであるとき、グローバル動きベクトル１７０は、図３８（Ａ）の矢印で示すようなものとすることができる。このグローバル動きベクトルは、図３８（Ｃ）に示すような、ターゲットブロックごとのローカルな動きベクトル１７１の集合であるとすることができる。

グローバル動きベクトルを求める方法として、ブロックマッチング等の手法によりローカル動きベクトルを求め、複数のローカル動きベクトルから、グローバル動きベクトルを算出するものがある。しかし、この方法を行うためには、大規模なマッチング回路を実装し、処理時間、バス帯域も消費してしまい、コスト対効果が悪い。

これに対して、上述した第１〜第３の実施の形態では、動き検出・動き補償部１６において、ターゲットブロック毎に、求められた複数個の動きベクトルを用いて、グローバル動きベクトルの算出ができる。この例の場合、動き検出・動き補償部１６で検出されたブロック毎動きベクトルは、図示を省略したメモリに一度格納される。そして、このメモリに一度格納されたブロック毎動きベクトルを、ＣＰＵ１は読み出して、グローバル動きベクトルを計算するようにしている。

以上のように、この第４の実施の形態では、画像重ね合わせ部１７の動き検出回路と、グローバル動きベクトル算出手段の前処理部（ブロック毎動きベクトル検出回路）を共有化することができ、システム全体として、ハードウエア規模を小さくすることが可能である。

また、高画素数、高フレームレートなどシステム負荷が高い状況であっても、第１〜第３の実施の形態で算出された動きベクトルを使って、画像重ね合わせによるノイズ低減処理を行いながら、グローバル動きベクトルを算出することが可能である。

［実施の形態の効果］
上述した実施の形態のように、階層化ブロックマッチングと補間処理とを用いることで、ピクセル単位のブロックマッチングによって、サブピクセル精度の動きベクトル検出結果が得ることができ、ハードウエア規模と処理速度を削減することができる。

また、上述の実施の形態で説明したようなハードウエア構成を取りことにより、ＳＡＤテーブルを削減することができ、ハードウエア規模をさらに削減することができる。また、ＭＰＥＧなどのコーデックや、手ぶれ補正、画像のノイズ低減など、動き検出が必要となる画像処理のすべてに適用できる。

さらに、補間処理と階層化マッチング方式を組み合わせることで、広いサーチ範囲で、サブピクセル精度の動きベクトル検出を行うことが可能になる。小規模なハードウエア構成で動き検出、動き補償行うことができるため、ハイビジョン動画や、高画素の静止画などの、高解像度画像の動き検出を、モバイル製品へ展開することも可能となる。

また、コスト対効果の点から、処理時間、バス帯域を優先して、縮小面でのブロックマッチングと、縮小面での補間処理により、高速でピクセル精度の動きベクトル検出を行う構成を取ることもできる。

［その他の実施の形態および変形例］
上述の実施の形態において、動きベクトル算出部の第２の例においては、サーチ範囲におけるサーチ方向を水平ライン方向に取り、例えばサーチ範囲の左上から順に参照ブロックを移動させるようにしてサーチを行うようにすると共に、ＳＡＤテーブルの１ライン分のメモリを設けるようにしたが、サーチ範囲におけるサーチ方向を垂直方向に取り、例えばサーチ範囲の左上端から垂直方向にサーチを開始し、垂直方向の１列分のサーチが終わった後、水平方向に、参照ブロックの位置を１つ分、例えば１画素分右の垂直方向の列に移動し、その列の上端から垂直方向にサーチする、という手順を繰り返すサーチ方法を採用するようにしても良い。このようにサーチ範囲の左上端から順に、垂直方向に参照ブロックを移動させるようにしてサーチを行うようにする場合には、ＳＡＤテーブルの垂直方向の一列分のメモリを設けるようにすれば良い。

ここで、水平方向にサーチ方向を取るか、垂直方向にサーチ方向を取るかは、マッチング処理部、動きベクトル算出部の回路規模を考慮して、より回路規模が小さくなる方を採用するのが好ましい。

なお、前述もしたように、参照ブロックの移動は、１画素毎、また、１ライン毎ではなく、複数画素毎、また、複数ライン毎でもよい。したがって、前者の場合の水平方向の１ライン分メモリは、水平方向における参照ブロックの移動位置分だけでよく、また、後者の場合の垂直方向の一列分のメモリは、垂直方向における参照ブロックの移動位置分だけでよい。つまり、参照ブロックの移動を１画素毎、また、１ライン毎に行う場合には、１ライン分メモリは、１ラインの画素数分の容量のメモリが必要であり、また、垂直方向の一列分メモリは、ライン数分の容量のメモリが必要である。しかし、複数画素毎、また、複数ライン毎に、参照ブロックを移動させる場合には、１画素毎、また、１ライン毎に参照ブロックを移動させる場合よりも、１ライン分メモリおよび１列分メモリの容量は少なくなる。

また、補間処理の方法は、上述した二次曲線近似補間処理に限られるものではなく、前述もしたように、３次曲線や、より高次の曲線を用いた補間処理を行っても良い。

また、上述の実施の形態は、この発明による画像処理装置を撮像装置に適用した場合であるが、この発明は、撮像装置に限られるわけではなく、画像フレーム間の動きを検出する場合に、ブロックマッチングを使用する場合の全てに適用可能である。

また、上述の実施の形態は、画像の重ね合わせによるノイズ低減処理のために、ブロック単位に動きベクトルを検出する場合に、この発明を適用した場合であるが、撮像時の手ぶれによる動きベクトルを検出するためにも用いることができることは言うまでもない。手ぶれによる動きベクトルは、例えば、複数のブロック動きベクトルの平均値として求めることができる。

この発明による画像処理装置の一実施の形態である撮像装置の構成例を示すブロック図である。 実施の形態の図１の撮像装置における撮像画像のノイズ低減処理を説明するための図である。 実施の形態の図１の撮像装置におけるブロックマッチング処理の説明のために用いる図である。 実施の形態の図１の撮像装置における撮像画像のノイズ低減処理を説明するための図である。 実施の形態の図１の撮像装置における撮像画像のノイズ低減処理を説明するための図である。 この発明の第１の実施の形態の画像処理方法を説明するために用いる図である。 この発明の第１の実施の形態の画像処理方法を説明するために用いる図である。 この発明の第１の実施の形態の画像処理方法を説明するために用いる図である。 実施の形態の図１の撮像装置における動き検出・動き補償部における動作を説明するために用いる図である。 実施の形態の図１の撮像装置における動き検出・動き補償部における動作を説明するために用いる図である。 実施の形態の図１の撮像装置における動き検出・動き補償部における動作を説明するために用いる図である。 実施の形態の図１の撮像装置における動き検出・動き補償部における処理による効果を説明するための図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の構成例を示すブロック図である。 この発明による画像処理方法の第１の実施の形態を説明するためのフローチャートを示す図である。 この発明による画像処理方法の第１の実施の形態を説明するためのフローチャートを示す図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の動きベクトル算出部の第１の例の構成を示すブロック図である。 図１６の第１の例の処理動作を説明するためのフローチャートを示す図である。 図１６の第１の例の処理動作を説明するためのフローチャートを示す図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の動きベクトル算出部の第２の例を説明するために用いる図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の動きベクトル算出部の第２の例を説明するために用いる図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の動きベクトル算出部の第２の例の構成例を示すブロック図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の動きベクトル算出部の第２の例における処理動作を説明するためのフローチャートを示す図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の動きベクトル算出部の第２の例における処理動作を説明するためのフローチャートの一部を示す図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の動きベクトル算出部の第２の例における処理動作を説明するためのフローチャートの一部を示す図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の動きベクトル算出部の第３の例の構成例を示すブロック図である。 実施の形態の図１の撮像装置における動き検出・動き補償部の動きベクトル算出部の第３の例における処理動作を説明するためのフローチャートを示す図である。 この発明の第１の実施の形態の画像処理方法を説明するためのフローチャートの一部を示す図である。 この発明の第１の実施の形態の画像処理方法を説明するためのフローチャートの一部を示す図である。 この発明の第１の実施の形態の画像処理方法における具体例を説明するために用いる図である。 この発明の第１の実施の形態の画像処理方法における具体例を説明するために用いる図である。 この発明の第１の実施の形態の画像処理方法の効果を説明するために用いる図である。 この発明の第２の実施の形態の画像処理方法の説明のために用いる図である。 この発明の第２の実施の形態の画像処理方法の説明のために用いる図である。 この発明の第２の実施の形態の画像処理方法を説明するためのフローチャートを示す図である。 この発明の第２の実施の形態の画像処理方法の説明のために用いる図である。 この発明の第３の実施の形態の画像処理方法を説明するためのフローチャートの一部を示す図である。ブロックマッチング処理を説明するために用いる図である。 この発明の第３の実施の形態の画像処理方法を説明するためのフローチャートの一部を示す図である。ブロックマッチング処理を説明するために用いる図である。 この発明による画像処理装置の第５の実施の形態を説明するために用いる図である。 ブロックマッチング処理を説明するために用いる図である。 ブロックマッチング処理を説明するために用いる図である。 ブロックマッチング処理を説明するために用いる図である。 ブロックマッチング処理を説明するために用いる図である。 ブロックマッチング処理を説明するために用いる図である。 ブロックマッチング処理を説明するために用いる図である。

符号の説明

１６…動き検出・動き補償部、１７…画像重ね合わせ部、１００…ターゲット画像（ターゲットフレーム）、１０１…参照画像（参照フレーム）、１０２…ターゲットブロック、１０４…動きベクトル１０６…サーチ範囲、１０７…参照ベクトル、１０８…参照ブロック、１６３…マッチング処理部、１６４…動きベクトル算出部、１６４３…ＳＡＤ値保持部、１６４６…二次曲線近似補間処理部

Claims (17)

1. ターゲット画面中において設定された複数の画素からなる所定の大きさのターゲットブロックと同じ大きさの参照ブロックを、前記ターゲット画面とは異なる参照画面において設定したサーチ範囲において複数個設定し、前記複数個の参照ブロックのうちで、前記ターゲットブロックと相関が最も強い参照ブロックの、前記ターゲットブロックに対する画面上の位置ずれに基づいて、前記ターゲットブロックについての動きベクトルを検出する画像処理装置において、
   前記ターゲット画面および前記参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、前記ターゲットブロックおよび前記参照ブロックを前記所定の縮小率で縮小した縮小面ターゲットブロックおよび縮小面参照ブロックを設定する手段と、
   前記縮小面参照ブロック内の複数の画素の画素値と、前記縮小面ターゲットブロック内で対応する位置の複数の画素の画素値とを用いて、前記複数個の縮小面参照ブロックのそれぞれと前記縮小面ターゲットブロックとの間の第１の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関縮小面参照ブロックの位置を検出し、前記最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれに対応する縮小面動きベクトルを算出する縮小面動きベクトル算出手段と、
   縮小前の基底参照画面において、前記縮小面動きベクトル算出手段で算出された前記縮小面動きベクトルを前記縮小率の逆数倍したベクトルが指し示す画素の周辺にサーチ範囲を設定するサーチ範囲設定手段と、
   前記サーチ範囲設定手段で設定された前記サーチ範囲において、前記基底ターゲット画面に設定される基底面ターゲットブロック内の複数の画素の画素値と、前記縮小前の参照画面に設定される複数個の基底面参照ブロックのそれぞれ内で対応する位置の複数の画素の画素値とを用いて、前記複数個の基底面参照ブロックのそれぞれと前記基底面ターゲットブロックとの間の第２の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関基底面参照ブロックの位置を検出する最強相関基底面参照ブロック検出手段と、
   前記最強相関基底面参照ブロック検出手段で検出した前記最強相関基底面参照ブロックの前記第２の相関値と、前記最強相関基底面参照ブロックの近傍の複数個の近傍基底面参照ブロックの前記第２の相関値を用いて補間処理を行い、前記基底参照画面の画素ピッチよりも小さい精度で前記基底面ターゲットブロックとの相関が最も強い高精細最強相関基底面参照ブロックの位置を検出する補間処理手段と、
   前記補間処理手段で検出された前記高精細最強相関基底面参照ブロックの位置から、前記動きベクトルを検出する動きベクトル検出手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記最強相関基底面参照ブロック検出手段は、
   前記基底面参照ブロックの位置を、前記サーチ範囲設定手段で設定された前記サーチ範囲において、画面の水平方向（または垂直方向）に順次に異なる位置に移動させ、前記サーチ範囲における水平方向（または垂直方向）の最後の位置に移動したら、垂直方向（または水平方向）の位置を一つずらし、再度、前記水平方向（または垂直方向）に順次に異なる位置に移動させるようにして、前記第２の相関値を算出するものであって、
   前記サーチ範囲の水平方向（または垂直方向）の前記基底面参照ブロックの数分の前記基底面参照ブロックであって、新たに前記第２の相関値を算出する前記基底面参照ブロックよりも前の位置の前記基底面参照ブロックのそれぞれについての前記第２の相関値および前記基底面参照ブロックのそれぞれ位置に関する情報を記憶する第１の記憶部を備えると共に、
   前記最強相関基底面参照ブロックについての前記最強相関値および前記最強相関基底面参照ブロックの位置に関する情報を保持すると共に、前記最強相関基底面参照ブロックの位置の近傍の複数個の近傍基底面参照ブロックについての前記第２の相関値およびそれぞれの位置に関する情報を保持する第２の記憶部を備え、
   新たに算出された前記基底面参照ブロックの前記基底面ターゲットブロックに対する新相関値と、前記第２の記憶部の前記最強相関値とを比較して、前記新相関値の方が相関が強いと判別されたときに、前記第２の記憶部の前記最強相関値およびその位置に関する情報を前記新相関値およびその位置に関する情報に更新し、
   前記最強相関値を前記新相関値に更新したときに、前記複数の近傍基底面参照ブロックのうち、前記第１の記憶部に記憶されている前記近傍基底面参照ブロックの相関値およびその位置に関する情報を、前記第２の記憶部の前記複数個の近傍基底面参照ブロックについての前記相関値およびそれぞれの位置に関する情報として更新すると共に、前記第１の記憶部に記憶されていない前記近傍基底面参照ブロックの前記相関値およびその位置に関する情報は、それぞれの位置の前記近傍基底面参照ブロックについての前記相関値を算出したときに、前記第２の記憶部に記憶し、
   前記補間処理手段は、前記第２の記憶部に記憶されている前記最強相関参照ブロックおよび前記複数個の近傍参照ブロックについて前記相関値およびそれぞれの位置に関する情報を用いて前記補間処理をする
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記縮小面動きベクトル算出手段においては、前記複数個の縮小面参照ブロックと前記縮小面ターゲットブロックとの第１の相関値を順次に比較して、相関が強い方の前記第１の相関値と、当該相関が強い方の前記第１の相関値を呈する縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれに対応する縮小面参照ベクトルの情報とを保持することにより、前記縮小面ターゲットブロックについての最強相関値を検出し、当該最強相関値を呈する前記縮小面参照ブロックに対応する前記縮小面参照ベクトルを、前記縮小面動きベクトルとして算出する
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記最強相関基底面参照ブロック検出手段は、
   前記最強相関基底面参照ブロックについての前記最強相関値およびその位置に関する情報を保持する保持部を備え、
   新たに算出された前記基底面参照ブロックの前記基底面ターゲットブロックに対する新相関値と、前記保持部の前記最強相関値とを比較して、前記新相関値の方が相関が強いと判別されたときに、前記保持部の前記最強相関値およびその位置に関する情報を、前記新相関値およびその位置に関する情報に更新し、
   前記補間処理手段は、
   少なくとも、前記保持部に保持されている前記最強相関基底面参照ブロックの近傍の複数個の前記複数個の近傍基底面参照ブロックについて、前記第２の相関値を再算出し、
   前記再算出した前記複数個の近傍基底面参照ブロックについての前記第２の相関値および前記最強相関値を用いて前記補間処理を行う
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記縮小面動きベクトル算出手段においては、前記複数個の縮小面参照ブロックと前記縮小面ターゲットブロックとの第１の相関値を順次に比較して、相関が強い方の前記第１の相関値と、当該相関が強い方の前記第１の相関値を呈する縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれに対応する縮小面参照ベクトルの情報とを保持することにより、前記縮小面ターゲットブロックについての最強相関値を検出し、当該最強相関値を呈する前記縮小面参照ブロックに対応する前記縮小面参照ベクトルを、前記縮小面動きベクトルとして算出する
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記ターゲット画面を複数個に分割して、前記ターゲットブロックを複数個設定し、
   前記複数個のターゲットブロックのそれぞれについて、前記動きベクトルを検出し、検出した前記複数個のターゲットブロックについての動きベクトルをそれぞれ用いて、複数枚の画像を重ね合わせることで、低ノイズの画像情報を得る
   ことを特徴とする画像処理装置。
7. ターゲット画面中において設定された複数の画素からなる所定の大きさのターゲットブロックと同じ大きさの参照ブロックを、前記ターゲット画面とは異なる参照画面において設定したサーチ範囲において複数個設定し、前記複数個の参照ブロックのうちで、前記ターゲットブロックと相関が最も強い参照ブロックの、前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記ターゲットブロックについての動きベクトルを検出する画像処理装置において、
   前記ターゲット画面および前記参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、前記ターゲットブロックおよび前記参照ブロックを前記所定の縮小率で縮小した縮小面ターゲットブロックおよび縮小面参照ブロックを設定する手段と、
   前記縮小面参照ブロック内の複数の画素の画素値と、前記縮小面ターゲットブロック内で対応する位置の複数の画素の画素値とを用いて、前記複数個の縮小面参照ブロックのそれぞれと前記縮小面ターゲットブロックとの間の第１の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関縮小面参照ブロックの位置を検出する最強相関縮小面参照ブロック検出手段と、
   前記最強相関縮小面参照ブロック検出手段で検出された前記最強相関縮小面参照ブロックおよび当該最強相関縮小面参照ブロックの近傍位置の複数個の近傍縮小面参照ブロックについての前記第１の相関値を用いて、前記縮小参照画面における補間処理を行い、前記縮小参照画面の画素ピッチよりも小さい高精度で、前記縮小面ターゲットブロックとの相関が最も強い高精細最強相関縮小面参照ブロックの位置を検出し、前記高精細最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれとして縮小面動きベクトルを算出する縮小面補間処理手段と、
   前記縮小前の基底参照画面において、前記縮小面補間処理手段で算出された前記縮小面動きベクトルを前記縮小率の逆数倍したベクトルが指し示す画素の周辺にサーチ範囲を設定するサーチ範囲設定手段と、
   前記サーチ範囲設定手段で設定された前記サーチ範囲において、前記基底ターゲット画面に設定される基底面ターゲットブロック内の複数の画素の画素値と、前記縮小前の参照画面に設定される複数個の基底面参照ブロックのそれぞれ内で対応する位置の複数の画素の画素値とを用いて、前記複数個の基底面参照ブロックのそれぞれと前記基底面ターゲットブロックとの間の第２の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関基底面参照ブロックの位置を検出し、前記最強相関基底面参照ブロックの前記基底面ターゲットブロックからの位置ずれとして基底面動きベクトルを算出する基底面動きベクトル検出手段と、
   を備えることを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記最強相関縮小面参照ブロック検出手段は、
   前記縮小面参照ブロックの位置を、設定された前記サーチ範囲において、画面の水平方向（または垂直方向）に順次に異なる位置に移動させ、前記サーチ範囲における水平方向（または垂直方向）の最後の位置に移動したら、垂直方向（または水平方向）の位置を一つずらし、再度、前記水平方向（または垂直方向）に順次に異なる位置に移動させるようにして、前記第１の相関値を算出するものであって、
   前記サーチ範囲の水平方向（または垂直方向）の前記縮小面参照ブロックの数分の前記第１の相関値および前記縮小面参照ブロックであって、新たに相関値を算出する前記縮小面参照ブロックよりも前の位置の前記縮小面参照ブロックのそれぞれについての相関値および前記縮小面参照ブロックのそれぞれ位置に関する情報を記憶する第１の記憶部を備えると共に、
   前記最強相関縮小面参照ブロックについての前記最強相関値および前記最強相関縮小面参照ブロックの位置に関する情報を保持すると共に、前記最強相関縮小面参照ブロックの位置の近傍の複数個の近傍縮小面参照ブロックについての前記第１の相関値およびそれぞれの位置に関する情報を保持する第２の記憶部を備え、
   新たに算出された前記縮小面参照ブロックの前記縮小面ターゲットブロックに対する新相関値と、前記第２の記憶部の前記最強相関値とを比較して、前記新相関値の方が相関が強いと判別されたときに、前記第２の記憶部の前記最強相関値およびその位置に関する情報を前記新相関値およびその位置に関する情報に更新し、
   前記最強相関値を前記新相関値に更新したときに、前記複数の近傍縮小面参照ブロックのうち、前記第１の記憶部に記憶されている前記近傍縮小面参照ブロックについての前記第１の相関値およびその位置に関する情報を、前記第２の記憶部の前記複数個の近傍基底面参照ブロックについての前記第１の相関値およびそれぞれの位置に関する情報として更新すると共に、前記第１の記憶部に記憶されていない前記近傍縮小面参照ブロックについての前記第１の相関値およびその位置に関する情報は、それぞれの位置の前記近傍縮小面参照ブロックについての前記第１の相関値を算出したときに、前記第２の記憶部に記憶し、
   前記縮小面補間処理手段は、前記第２の記憶部に記憶されている前記最強相関縮小面参照ブロックおよび前記複数個の近傍縮小面参照ブロックについて前記第１の相関値およびそれぞれの位置に関する情報を用いて前記補間処理をする
   ことを特徴とする画像処理装置。
9. 請求項７に記載の画像処理装置において、
   前記最強相関縮小面参照ブロック検出手段は、
   前記最強相関縮小面参照ブロックについての前記最強相関値およびその位置に関する情報を保持する保持部を備え、
   新たに算出された前記縮小面参照ブロックの前記縮小面ターゲットブロックに対する新相関値と、前記保持部の前記最強相関値とを比較して、前記新相関値の方が相関が強いと判別されたときに、前記保持部の前記最強相関値およびその位置に関する情報を、前記新相関値およびその位置に関する情報に更新し、
   前記縮小面補間処理手段は、
   少なくとも、前記保持部に保持されている前記最強相関縮小面参照ブロックの近傍の複数個の前記複数個の近傍縮小面参照ブロックについて、前記第２の相関値を再算出し、
   前記再算出した前記複数個の近傍縮小面参照ブロックについての前記第２の相関値および前記最強相関値を用いて前記補間処理を行う
   ことを特徴とする画像処理装置。
10. 請求項７に記載の画像処理装置において、
    前記基底面動きベクトル検出手段で検出された前記最強相関基底面参照ブロックについての前記第２の相関値と、前記最強相関基底面参照ブロックの位置の近傍の複数個の近傍基底面参照ブロックについての前記第２の相関値を用いて補間処理を行い、前記基底参照画面の画素ピッチよりも小さい精度で前記基底面ターゲットブロックとの相関が最も強い高精細最強相関基底面参照ブロックの位置を検出する基底面補間処理手段と、
    前記基底面補間処理手段で検出された、前記高精細最強相関基底面参照ブロックの位置から、高精細動きベクトルを検出する高精細動きベクトル検出手段と、
    を備えることを特徴とする画像処理装置。
11. 請求項７に記載の画像処理装置において、
    前記ターゲット画面を複数個に分割して、前記ターゲットブロックを複数個設定し、
    前記複数個のターゲットブロックのそれぞれについて、前記動きベクトルを検出し、検出した前記複数個のターゲットブロックについての動きベクトルをそれぞれ用いて、複数枚の画像を重ね合わせることで、低ノイズの画像情報を得る
    ことを特徴とする画像処理装置。
12. ターゲット画面中において設定された複数の画素からなる所定の大きさのターゲットブロックと同じ大きさの参照ブロックを、前記ターゲット画面とは異なる参照画面において設定したサーチ範囲において複数個設定し、前記複数個の参照ブロックのうちで、前記ターゲットブロックと相関が最も強い参照ブロックの、前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記ターゲットブロックについての動きベクトルを検出する画像処理装置において、
    前記ターゲット画面および前記参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、前記ターゲットブロックおよび前記参照ブロックを前記所定の縮小率で縮小した縮小面ターゲットブロックおよび縮小面参照ブロックを設定する手段と、
    前記縮小面参照ブロック内の複数の画素の画素値と、前記縮小面ターゲットブロック内で対応する位置の複数の画素の画素値とを用いて、前記複数個の縮小面参照ブロックのそれぞれと前記縮小面ターゲットブロックとの間の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関縮小面参照ブロックの位置を検出する最強相関縮小面参照ブロック検出手段と、
    前記最強相関縮小面参照ブロック検出手段で検出された前記最強相関縮小面参照ブロックおよび当該最強相関縮小面参照ブロックの近傍位置の複数個の近傍縮小面参照ブロックについての前記相関値を用いて、前記縮小参照画面における補間処理を行い、前記縮小参照画面の画素ピッチよりも小さい高精度で、前記縮小面ターゲットブロックとの相関が最も強い高精細最強相関縮小面参照ブロックの位置を検出し、前記高精細最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれとして縮小面動きベクトルを算出する縮小面補間処理手段と、
    前記縮小面補間処理手段で算出された前記縮小面動きベクトルを前記縮小率の逆数倍したベクトルを、縮小前のターゲットブロックに対する前記動きベクトルとして算出する動きベクトル算出手段と、
    を備えることを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置において、
    前記最強相関縮小面参照ブロック検出手段は、
    前記縮小面参照ブロックの位置を、設定された前記サーチ範囲において、画面の水平方向（または垂直方向）に順次に異なる位置に移動させ、前記サーチ範囲における水平方向（または垂直方向）の最後の位置に移動したら、垂直方向（または水平方向）の位置を一つずらし、再度、前記水平方向（または垂直方向）に順次に異なる位置に移動させるようにして、前記第１の相関値を算出するものであって、
    前記サーチ範囲の水平方向（または垂直方向）の前記縮小面参照ブロックの数分の前記第１の相関値および前記縮小面参照ブロックであって、新たに相関値を算出する前記縮小面参照ブロックよりも前の位置の前記縮小面参照ブロックのそれぞれについての相関値および前記縮小面参照ブロックのそれぞれ位置に関する情報を記憶する第１の記憶部を備えると共に、
    前記最強相関縮小面参照ブロックについての前記最強相関値および前記最強相関縮小面参照ブロックの位置に関する情報を保持すると共に、前記最強相関縮小面参照ブロックの位置の近傍の複数個の近傍縮小面参照ブロックについての前記第１の相関値およびそれぞれの位置に関する情報を保持する第２の記憶部を備え、
    新たに算出された前記縮小面参照ブロックの前記縮小面ターゲットブロックに対する新相関値と、前記第２の記憶部の前記最強相関値とを比較して、前記新相関値の方が相関が強いと判別されたときに、前記第２の記憶部の前記最強相関値およびその位置に関する情報を前記新相関値およびその位置に関する情報に更新し、
    前記最強相関値を前記新相関値に更新したときに、前記複数の近傍縮小面参照ブロックのうち、前記第１の記憶部に記憶されている前記近傍縮小面参照ブロックについての前記第１の相関値およびその位置に関する情報を、前記第２の記憶部の前記複数個の近傍基底面参照ブロックについての前記第１の相関値およびそれぞれの位置に関する情報として更新すると共に、前記第１の記憶部に記憶されていない前記近傍縮小面参照ブロックについての前記第１の相関値およびその位置に関する情報は、それぞれの位置の前記近傍縮小面参照ブロックについての前記第１の相関値を算出したときに、前記第２の記憶部に記憶し、
    前記縮小面補間処理手段は、前記第２の記憶部に記憶されている前記最強相関縮小面参照ブロックおよび前記複数個の近傍縮小面参照ブロックについて前記第１の相関値およびそれぞれの位置に関する情報を用いて前記補間処理をする
    ことを特徴とする画像処理装置。
14. 請求項１３に記載の画像処理装置において、
    前記最強相関縮小面参照ブロック検出手段は、
    前記最強相関縮小面参照ブロックについての前記最強相関値およびその位置に関する情報を保持する保持部を備え、
    新たに算出された前記縮小面参照ブロックの前記縮小面ターゲットブロックに対する新相関値と、前記保持部の前記最強相関値とを比較して、前記新相関値の方が相関が強いと判別されたときに、前記保持部の前記最強相関値およびその位置に関する情報を、前記新相関値およびその位置に関する情報に更新し、
    前記縮小面補間処理手段は、
    少なくとも、前記保持部に保持されている前記最強相関縮小面参照ブロックの近傍の複数個の前記複数個の近傍縮小面参照ブロックについて、前記第２の相関値を再算出し、
    前記再算出した前記複数個の近傍縮小面参照ブロックについての前記第２の相関値および前記最強相関値を用いて前記補間処理を行う
    ことを特徴とする画像処理装置。
15. ターゲット画面中において設定された複数の画素からなる所定の大きさのターゲットブロックと同じ大きさの参照ブロックを、前記ターゲット画面とは異なる参照画面において設定したサーチ範囲において複数個設定し、前記複数個の参照ブロックのうちで、前記ターゲットブロックと相関が最も強い参照ブロックの、前記ターゲットブロックに対する画面上の位置ずれに基づいて、前記ターゲットブロックについての動きベクトルを検出する画像処理装置による画像処理方法において、
    前記画像処理装置の縮小ブロック設定手段が、前記ターゲット画面および前記参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、前記ターゲットブロックおよび前記参照ブロックを前記所定の縮小率で縮小した縮小面ターゲットブロックおよび縮小面参照ブロックを設定する工程と、
    前記画像処理装置の縮小面動きベクトル算出手段が、前記縮小面参照ブロック内の複数の画素の画素値と、前記縮小面ターゲットブロック内で対応する位置の複数の画素の画素値とを用いて、前記複数個の縮小面参照ブロックのそれぞれと前記縮小面ターゲットブロックとの間の第１の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関縮小面参照ブロックの位置を検出し、前記最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれに対応する縮小面動きベクトルを算出する縮小面動きベクトル算出工程と、
    前記画像処理装置のサーチ範囲設定手段が、縮小前の基底参照画面において、前記縮小面動きベクトル算出手段で算出された前記縮小面動きベクトルを前記縮小率の逆数倍したベクトルが指し示す画素の周辺にサーチ範囲を設定するサーチ範囲設定工程と、
    前記画像処理装置の最強相関基底面参照ブロック検出手段が、前記サーチ範囲設定工程で設定された前記サーチ範囲において、前記基底ターゲット画面に設定される基底面ターゲットブロック内の複数の画素の画素値と、前記縮小前の参照画面に設定される複数個の基底面参照ブロックのそれぞれ内で対応する位置の複数の画素の画素値とを用いて、前記複数個の基底面参照ブロックのそれぞれと前記基底面ターゲットブロックとの間の第２の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関基底面参照ブロックの位置を検出する最強相関基底面参照ブロック検出工程と、
    前記画像処理装置の補間処理手段が、前記最強相関基底面参照ブロック検出工程で検出した前記最強相関基底面参照ブロックの前記第２の相関値と、前記最強相関基底面参照ブロックの近傍の複数個の近傍基底面参照ブロックの前記第２の相関値を用いて補間処理を行い、前記基底参照画面の画素ピッチよりも小さい精度で前記基底面ターゲットブロックとの相関が最も強い高精細最強相関基底面参照ブロックの位置を検出する補間処理工程と、
    前記画像処理装置の動きベクトル検出手段が、前記補間処理工程で検出された前記高精細最強相関基底面参照ブロックの位置から、前記動きベクトルを検出する動きベクトル検出工程と、
    を備えることを特徴とする画像処理方法。
16. ターゲット画面中において設定された複数の画素からなる所定の大きさのターゲットブロックと同じ大きさの参照ブロックを、前記ターゲット画面とは異なる参照画面において設定したサーチ範囲において複数個設定し、前記複数個の参照ブロックのうちで、前記ターゲットブロックと相関が最も強い参照ブロックの、前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記ターゲットブロックについての動きベクトルを検出する画像処理装置による画像処理方法において、
    前記画像処理装置の縮小ブロック設定手段が、前記ターゲット画面および前記参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、前記ターゲットブロックおよび前記参照ブロックを前記所定の縮小率で縮小した縮小面ターゲットブロックおよび縮小面参照ブロックを設定する工程と、
    前記画像処理装置の最強相関縮小面参照ブロック検出手段が、前記縮小面参照ブロック内の複数の画素の画素値と、前記縮小面ターゲットブロック内で対応する位置の複数の画素の画素値とを用いて、前記複数個の縮小面参照ブロックのそれぞれと前記縮小面ターゲットブロックとの間の第１の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関縮小面参照ブロックの位置を検出する最強相関縮小面参照ブロック検出工程と、
    前記画像処理装置の縮小面補間処理手段が、前記最強相関縮小面参照ブロック検出工程で検出された前記最強相関縮小面参照ブロックおよび当該最強相関縮小面参照ブロックの近傍位置の複数個の近傍縮小面参照ブロックについての前記第１の相関値を用いて、前記縮小参照画面における補間処理を行い、前記縮小参照画面の画素ピッチよりも小さい高精度で、前記縮小面ターゲットブロックとの相関が最も強い高精細最強相関縮小面参照ブロックの位置を検出し、前記高精細最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれとして縮小面動きベクトルを算出する縮小面補間処理工程と、
    前記画像処理装置のサーチ範囲設定手段が、前記縮小前の基底参照画面において、前記縮小面補間処理手段で算出された前記縮小面動きベクトルを前記縮小率の逆数倍したベクトルが指し示す画素の周辺にサーチ範囲を設定するサーチ範囲設定工程と、
    前記画像処理装置の基底面動きベクトル検出手段が、前記サーチ範囲設定工程で設定された前記サーチ範囲において、前記基底ターゲット画面に設定される基底面ターゲットブロック内の複数の画素の画素値と、前記縮小前の参照画面に設定される複数個の基底面参照ブロックのそれぞれ内で対応する位置の複数の画素の画素値とを用いて、前記複数個の基底面参照ブロックのそれぞれと前記基底面ターゲットブロックとの間の第２の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関基底面参照ブロックの位置を検出し、前記最強相関基底面参照ブロックの前記基底面ターゲットブロックからの位置ずれとして基底面動きベクトルを算出する基底面動きベクトル検出工程と、
    を備えることを特徴とする画像処理方法。
17. ターゲット画面中において設定された複数の画素からなる所定の大きさのターゲットブロックと同じ大きさの参照ブロックを、前記ターゲット画面とは異なる参照画面において設定したサーチ範囲において複数個設定し、前記複数個の参照ブロックのうちで、前記ターゲットブロックと相関が最も強い参照ブロックの、前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記ターゲットブロックについての動きベクトルを検出する画像処理装置による画像処理方法において、
    前記画像処理装置の縮小ブロック設定手段が、前記ターゲット画面および前記参照画面のそれぞれを所定の縮小率で縮小した縮小ターゲット画面および縮小参照画面において、前記ターゲットブロックおよび前記参照ブロックを前記所定の縮小率で縮小した縮小面ターゲットブロックおよび縮小面参照ブロックを設定する工程と、
    前記画像処理装置の最強相関縮小面参照ブロック検出手段が、前記縮小面参照ブロック内の複数の画素の画素値と、前記縮小面ターゲットブロック内で対応する位置の複数の画素の画素値とを用いて、前記複数個の縮小面参照ブロックのそれぞれと前記縮小面ターゲットブロックとの間の第１の相関値を算出し、前記ターゲットブロックとの相関が最も強い最強相関縮小面参照ブロックの位置を検出する最強相関縮小面参照ブロック検出工程と、
    前記画像処理装置の縮小面補間処理手段が、前記最強相関縮小面参照ブロック検出工程で検出された前記最強相関縮小面参照ブロックおよび当該最強相関縮小面参照ブロックの近傍位置の複数個の近傍縮小面参照ブロックについての前記第１の相関値を用いて、前記縮小参照画面における補間処理を行い、前記縮小参照画面の画素ピッチよりも小さい高精度で、前記縮小面ターゲットブロックとの相関が最も強い高精細最強相関縮小面参照ブロックの位置を検出し、前記高精細最強相関縮小面参照ブロックの前記縮小面ターゲットブロックからの位置ずれとして縮小面動きベクトルを算出する縮小面補間処理工程と、
    前記画像処理装置の動きベクトル算出手段が、前記縮小面補間処理手段で算出された前記縮小面動きベクトルを前記縮小率の逆数倍したベクトルを、縮小前のターゲットブロックに対する前記動きベクトルとして算出する動きベクトル算出工程と、
    を備えることを特徴とする画像処理方法。
    

Images