JP2007336462A - 動きベクトル検出装置および方法、プログラム並びに記録媒体 - Google Patents

Abstract

【課題】候補ベクトルの数を増加しただけでは検出できない動きベクトルを検出することができるようにする。
【解決手段】拡張部241は、上位階層評価値テーブル生成部231により生成された上位階層評価値テーブルを拡張し、下位階層評価値テーブル生成部232により生成される下位階層評価値テーブルと対応するサイズにする。補正部242は、拡張された上位階層評価値テーブルに基づいて、下位階層評価値テーブルを補正する。補正された下位階層評価値テーブルから抽出された候補ベクトルと、下位階層評価値テーブルから抽出された候補ベクトルが合成され、その中から、動きベクトルが検出される。
【選択図】図６

Description

本発明は動きベクトル検出装置および方法、プログラム並びに記録媒体に関し、特に、候補ベクトルの数を増加しただけでは検出できない動きベクトルを検出することができるようにした動きベクトル検出装置および方法、プログラム並びに記録媒体に関する。

動画像信号の高能率符号化における動き補償型画像符号化、交通監視システム、視覚センサにおける移動物体の検出処理等においては、画像に含まれる物体の動きの方向および大きさを検出する処理、すなわち動きベクトルを検出する処理が必要になる。本出願人は、１画素単位で効率的かつ正確に動きベクトルを検出する方法を先に提案した（例えば、特許文献１）。

先の提案においては、前のフレーム画像信号がｍ×ｎ個の画素からなる複数のブロックに区分され、各ブロックの画素のうち、例えば中央の位置の画素が代表点とされる。現在のフレームにおいてサーチエリアが設定され、代表点とサーチエリア内の画素との差分が評価値として演算される。評価値は、サーチエリア内の画素数分だけ得られることになる。

各画素を８ビットで表すとすると、各評価値も８ビットで表されるが、これを可変閾値と比較することで各評価値は１ビットに縮退される。１画面内における各評価値をサーチエリアの各画素位置に対応して積算することで、サーチエリアに対応するサイズの評価値テーブルが生成される。評価値テーブルの評価値のピーク値に基づいて、動きベクトルが検出される。

特開2005-175870号公報

しかしながら、先の提案においては、画面内の移動物体の面積が小さい場合、評価値が必ずしも大きくならないため、候補ベクトルの数を増加しても、その動きベクトルを検出することが困難である。

本発明は、このような状況に鑑みてなされたものであり、候補ベクトルの数を増加しただけでは検出できない動きベクトルを検出することができるようにするものである。

本発明の側面は、第１の階層の画像信号から第１の評価値テーブルを生成する第１の生成手段と、前記第１の階層より上位の第２の階層の画像信号から第２の評価値テーブルを生成する第２の生成手段と、前記第１の評価値テーブルを前記第２の評価値テーブルで補正する補正手段と、前記第１の評価値テーブルを用いて第１の候補ベクトルを抽出する第１の抽出手段と、補正された前記第１の評価値テーブルを用いて第２の候補ベクトルを抽出する第２の抽出手段と、前記第１の候補ベクトルと前記第２の候補ベクトルから、動きベクトルを検出する検出手段とを備える動きベクトル検出装置である。

前記第２の評価値テーブルのサイズを、前記第１の評価値テーブルのサイズに対応付ける対応付け手段をさらに備え、前記補正手段は、サイズが対応付けられた前記第２の評価値テーブルを用いて前記第１の評価値テーブルを補正することができる。

前記補正手段は、前記第２の評価値テーブルを正規化し、正規化した前記第２の評価値テーブルを用いて前記第１の評価値テーブルを補正することができる。

前記対応付け手段は、前記第２の評価値テーブルの評価値を近傍の画素位置の評価値として拡張することで対応付けを行うことができる。

ウェーブレット変換されている画像信号を逆ウェーブレット変換することで前記第１の階層の画像信号と前記第２の階層の画像信号を出力する出力手段をさらに備えることができる。

本発明の側面はまた、第１の階層の画像信号から第１の評価値テーブルを生成する第１の生成ステップと、前記第１の階層より上位の第２の階層の画像信号から第２の評価値テーブルを生成する第２の生成ステップと、前記第１の評価値テーブルを前記第２の評価値テーブルで補正する補正ステップと、前記第１の評価値テーブルを用いて第１の候補ベクトルを抽出する第１の抽出ステップと、補正された前記第１の評価値テーブルを用いて第２の候補ベクトルを抽出する第２の抽出ステップと、前記第１の候補ベクトルと前記第２の候補ベクトルから、動きベクトルを検出する検出ステップとを備える動きベクトル検出方法、その処理をコンピュータに実行させるプログラム、または記録媒体である。

本発明の側面においては、第１の階層の画像信号から第１の評価値テーブルが生成され、第１の階層より上位の第２の階層の画像信号から第２の評価値テーブルが生成される。第１の評価値テーブルは第２の評価値テーブルで補正される。第１の評価値テーブルを用いて第１の候補ベクトルが抽出され、補正された第１の評価値テーブルを用いて第２の候補ベクトルが抽出される。第１の候補ベクトルと第２の候補ベクトルから、動きベクトルが検出される。

以上のように、本発明の側面によれば、動きベクトルを検出することができる。特に、本発明の側面によれば、候補ベクトルの数を増加しただけでは検出できない動きベクトルを検出することができる。その結果、一般的に、評価値としては低く、検出し難い小面積の移動物体の動きベクトルも検出することが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の側面は、第１の階層の画像信号から第１の評価値テーブルを生成する第１の生成手段（例えば、図６の下位階層評価値テーブル生成部232）と、前記第１の階層より上位の第２の階層の画像信号から第２の評価値テーブルを生成する第２の生成手段（例えば、図６の上位階層評価値テーブル生成部231）と、前記第１の評価値テーブルを前記第２の評価値テーブルで補正する補正手段（例えば、図６の補正部242）と、前記第１の評価値テーブルを用いて第１の候補ベクトルを抽出する第１の抽出手段（例えば、図６の抽出部244）と、補正された前記第１の評価値テーブルを用いて第２の候補ベクトルを抽出する第２の抽出手段（例えば、図６の抽出部243）と、前記第１の候補ベクトルと前記第２の候補ベクトルから、動きベクトルを検出する検出手段（例えば、図６の動きベクトル検出部214）とを備える動きベクトル検出装置（例えば、図６の動きベクトル検出装置201）である。

前記第２の評価値テーブルのサイズを、前記第１の評価値テーブルのサイズに対応付ける対応付け手段（例えば、図６の拡張部241）をさらに備え、前記補正手段は、サイズが対応付けられた前記第２の評価値テーブルを用いて前記第１の評価値テーブルを補正することができる。

前記補正手段は、前記第２の評価値テーブルを正規化し、正規化した前記第２の評価値テーブルを用いて前記第１の評価値テーブルを補正する（例えば、図７のステップS36,S37の処理）ことができる。

前記対応付け手段は、前記第２の評価値テーブルの評価値を近傍の画素位置の評価値として拡張することで対応付けを行う（例えば、図４で説明する処理）ことができる。

ウェーブレット変換されている画像信号を逆ウェーブレット変換することで前記第１の階層の画像信号と前記第２の階層の画像信号を出力する出力手段（例えば、図６のデコーダ211）をさらに備えることができる。

本発明の側面はまた、第１の階層の画像信号から第１の評価値テーブルを生成する第１の生成ステップ（例えば、図７のステップS32）と、前記第１の階層より上位の第２の階層の画像信号から第２の評価値テーブルを生成する第２の生成ステップ（例えば、図７のステップS34）と、前記第１の評価値テーブルを前記第２の評価値テーブルで補正する補正ステップ（例えば、図７のステップS37）と、前記第１の評価値テーブルを用いて第１の候補ベクトルを抽出する第１の抽出ステップ（例えば、図７のステップS33）と、補正された前記第１の評価値テーブルを用いて第２の候補ベクトルを抽出する第２の抽出ステップ（例えば、図７のステップS38）と、前記第１の候補ベクトルと前記第２の候補ベクトルから、動きベクトルを検出する検出ステップ（例えば、図７のステップS40）とを備える動きベクトル検出方法（例えば、図７の動きベクトル検出方法）またはその処理をコンピュータに実行させるプログラムである。

以下、図を参照して本発明の実施の形態について、JPEG(Joint Photographic Experts Group)2000でエンコードされた画像信号から、動きベクトルを検出する場合を例として説明する。

図１はエンコーダの構成を表す。エンコーダ１は、シフト部11、色変換部12、分割部13、ウェーブレット変換部14、量子化部15、係数ビットモデリング部16、算術符号化部17、ビット割り当て部18、およびファイル化部19により構成されている。

シフト部11は、後段のウェーブレット変換部14における離散ウェーブレット変換を効率的に行うために、DC（直流）レベルをシフトするための処理を行う。具体的には、RGB信号は一般的に正の整数で表現されているため、ダイナミックレンジの半分を減算する処理が行われる。なお、入力される信号が符号付きの場合にはこのシフト処理は省略される。例えば、１画素が８ビットで表され、０乃至255のいずれかの値とされる場合、次式に示されるように、128を減算することで、各画素の値は−128乃至127の値にシフトされる。
R’= R − 128
G’ = G − 128
B’ = B − 128 （１）

色変換部12は、次の式（２）または式（３）に基づいて、RGBの色空間の信号を、輝度Ｙと色差Cr,Cbからなる色空間の信号に変換する。

分割部13は、画像を複数のタイル（ブロック）に分割する。以下、後段では、各タイルが１枚の独立した画像として処理される。

ウェーブレット変換部14は、２次元の信号である画像信号に対して、１次元の２分割フィルタバンクを繰り返し使用して、２次元の離散ウェーブレット変換（DWT(Discrete Wavelet Transform)）を実現する。

このため、ウェーブレット変換部14は、図２に示されるように、入力画像信号の低域周波数成分を抽出するローパスフィルタとその出力画像の画素数を1/2にダウンサンプリングするサンプリング回路、並びに入力画像信号の高域周波数成分を抽出するハイパスフィルタとその出力画像の画素数を1/2にダウンサンプリングするサンプリング回路を単位とする回路を、必要な段数接続して構成される。

図２の実施の形態においては、初段に垂直方向の処理を行う単位としてのローパスフィルタ(LPFv)51、ダウンサンプリング回路52、ハイパスフィルタ(HPFv)53、およびダウンサンプリング回路54が配置されている。ダウンサンプリング回路52の後段には、水平方向の処理を行う単位としてのローパスフィルタ(LPFh)61、ダウンサンプリング回路62、ハイパスフィルタ(HPFh)63、およびダウンサンプリング回路64が配置され、ダウンサンプリング回路54の後段には、水平方向の処理を行う単位としてのローパスフィルタ(LPFh)71、ダウンサンプリング回路72、ハイパスフィルタ(HPFh)73、およびダウンサンプリング回路74が配置されている。

ダウンサンプリング回路62の後段には、垂直方向の処理を行う単位としてのローパスフィルタ(LPFv)81、ダウンサンプリング回路82、ハイパスフィルタ(HPFv)83、およびダウンサンプリング回路84が配置されている。ダウンサンプリング回路82の後段には、水平方向の処理を行う単位としてのローパスフィルタ(LPFh)91、ダウンサンプリング回路92、ハイパスフィルタ(HPFh)93、およびダウンサンプリング回路94が配置され、ダウンサンプリング回路84の後段には、水平方向の処理を行う単位としてのローパスフィルタ(LPFh)101、ダウンサンプリング回路102、ハイパスフィルタ(HPFh)103、およびダウンサンプリング回路104が配置されている。

垂直方向の単位の回路により、図３の上段に示されるＭ×Ｎ個の画素からなるタイルが、中段に示されるように、垂直方向にDWT処理され、さらに下段に示されるように、水平方向の単位の回路により、水平方向にDWT処理される。これにより、２次元DWTが実現される。なお、水平方向の処理の後に垂直方向の処理を行うようにしてもよい。

量子化部15は、ウェーブレット係数をスカラ量子化する。

係数ビットモデリング部16と算術符号化部17によりEBCOT(Embedded Block Coding with Optimized Truncation)アルゴリズムによる符号化が行われる。係数ビットモデリング部16は、入力されたサブバンド係数を矩形領域のコードブロックに分割し、各コードブロックをビットプレーンに分解する。例えばコードブロックが４×４画素のサイズである場合、16画素の量子化係数が表現される。16個の係数のうち、最大の絶対値が13（４ビットで表される）であるとすると、コードブロックは最大の絶対値の各ビット毎の４個のビットプレーンに分解される。それぞれのビットプレーンは３つの符号化パスに分解される。

算術符号化部17は、０乃至１の範囲をシンボルの出現確率に応じて分割する。分割された範囲はさらにシンボルの出現確率に応じて分割される。このような操作が繰り返され、最後に分割された範囲の下端値のビット列が圧縮された符号とされる。

ビット割り当て部18は、与えられたビットレート以上のデータを切り捨てる等の処理を行う。ファイル化部19はパケット化するなどしてデータを伝送に適するようにファイル化する。

次に図４のフローチャートを参照して、エンコーダ１におけるエンコード処理について説明する。

ステップS1において、シフト部11は入力されたRGBの画像信号のDCレベルをシフトする。具体的には上述したように、各画素値から例えば128が減算される。ステップS2 で色変換部12は色変換をする。具体的には、式（２）または式（３）に基づく演算が行われ、RGB信号が、YCrCb信号に変換される。

ステップS3において分割部13は、色変換部12より出力された信号をタイルに分割する。なお、タイル分割はレベルをシフトする前に行うようにすることもできる。

ステップS4においてウェーブレット変換部14は、画像信号を各タイル毎にウェーブレット変換する。これにより、図5Aに示される原画像が、ローパスフィルタ51、アップサンプリング回路52、ハイパスフィルタ53、およびアップサンプリング回路54により垂直方向に処理され、さらにアップサンプリング回路52の出力が、ローパスフィルタ61、アップサンプリング回路62、ハイパスフィルタ63、およびアップサンプリング回路64により水平方向に処理される。また、アップサンプリング回路54の出力が、ローパスフィルタ71、アップサンプリング回路72、ハイパスフィルタ73、およびアップサンプリング回路74により水平方向に処理され、図5Bに示されるように、LL/4,LH/4,HL/4,HH/4の各サブバンド成分が生成される。

アップサンプリング回路62の出力(LL/4のサブバンド成分)が、ローパスフィルタ81、アップサンプリング回路82、ハイパスフィルタ83、およびアップサンプリング回路84により垂直方向に処理され、さらにアップサンプリング回路82の出力が、ローパスフィルタ91、アップサンプリング回路92、ハイパスフィルタ93、およびアップサンプリング回路94により水平方向に処理されるとともに、アップサンプリング回路84の出力が、ローパスフィルタ101、アップサンプリング回路102、ハイパスフィルタ103、およびアップサンプリング回路104により水平方向に処理される。これにより、図5Cに示されるように、LLLL/16,LLLH/16,LLHL/16,LLHH/16の各サブバンド成分が生成される。

ステップS5において、量子化部15は、ウェーブレット変換部14が出力するウェーブレット係数をスカラ量子化する。ステップS6において、係数ビットモデリング部16は、係数ビットをモデリングする。すなわち、入力されたサブバンド係数がコードブロックに分割され、各コードブロックがビットプレーンに分解される。そして各ビットプレーンは符号化パスに分解される。

ステップS7において、算術符号化部17は、算術符号化を行う。そして、ステップS8においてビット割り当て部18によりビット割り当て処理が行われた後、ステップS9において、ファイル化部19によりファイル化が行われる。

本発明の実施の形態においては、以上のようにしてJPEG2000の方式でエンコードされた画像信号をデコードして、そのデコードされた画像信号から動きベクトルが検出される。図６はこのような動きベクトルを検出する動きベクトル検出装置の実施の形態を表している。

この動きベクトル検出装置201は、デコーダ211、評価値テーブル生成部212、候補ベクトル213、および動きベクトル検出部214により構成されている。

デコーダ211はJPEG2000の方式でエンコードされた画像信号をデコードする。このデコーダ211は、最終的にデコードされた画像信号としての下位の階層の画像信号だけでなく、その途中で生成される、より上位の階層の画像信号を出力する。デコーダ211の構成の詳細は、図８を参照して後述する。

評価値テーブルを生成する評価値テーブル生成部212は、上位階層評価値テーブル生成部231と下位階層評価値テーブル生成部232とを有している。下位階層評価値テーブル生成部232は、デコーダ211より供給される下位階層の画像信号から下位階層評価値テーブルを生成し、上位階層評価値テーブル生成部231は、デコーダ211より供給される上位階層の画像信号から上位階層評価値テーブルを生成する。

候補ベクトル抽出部213は、拡張部241、補正部242、抽出部243、抽出部244、および合成部245を有している。

拡張部241は、上位階層評価値テーブル生成部231より供給された上位階層評価値テーブルを、下位階層評価値テーブル生成部232により生成される下位階層評価値テーブルとサイズが対応するように、サイズを拡張する。補正部242は、下位階層評価値テーブル生成部232により生成された下位階層評価値テーブルを、拡張部241により拡張された上位階層評価値テーブルに基づいて補正する。

抽出部243は、補正部242により補正された下位階層評価値テーブルから、動きベクトルの候補となる候補ベクトルを抽出する。抽出部244は、下位階層評価値テーブル生成部232により生成された下位階層評価値テーブルから、候補ベクトルを抽出する。合成部245は、抽出部243により抽出された候補ベクトルと、抽出部244により抽出された候補ベクトルとを合成する。動きベクトル検出部214は、合成部245により合成された候補ベクトルから、動きベクトルを検出する。

次に図７のフローチャートを参照して、動きベクトル検出装置201の動きベクトル検出処理について説明する。

ステップS31において、デコーダ211は、MPEG2000でエンコードされた画像信号のデコード処理を実行する。図８は、デコーダ211の実施の形態の構成を表している。

デコーダ211は、解析部311、復号部312、逆算術符号化部313、係数ビットデモデリング部314、逆量子化部315、逆ウェーブレット変換部316、合成部317、逆色変換部318、および逆シフト部319により構成されている。

解析部311は、図１のファイル化部19によるファイル化処理と逆の処理を行う。すなわち、伝送されてきた画像信号に対してデパケット化処理を行い、復号部312に出力する。復号部312は、図１のビット割り当て部18の処理と逆の処理を行い、検出された符号を出力する。逆算術符号化部313は、図１の算術符号化部17による算術符号化処理に対応する逆算術符号化処理を行う。係数ビットデモデリング部314も、図１の係数ビットモデリング部16のモデリング処理に対応するデモデリング処理を行う。

逆量子化部315は、図１の量子化部15の量子化処理に対応する逆量子化処理を行う。逆ウェーブレット変換部316は、図１のウェーブレット変換部14によりウェーブレット変換された信号を逆ウェーブレット変換する。合成部317は、図１の分割部13により分割されたタイルを合成する。逆色変換部318は、図１の色変換部12により変換されたYCrCb信号を、式（４）または式（５）に基づいて、元のRGB信号に変換する。

逆シフト部319は、図１のシフト部11におけるシフト処理を元に戻す処理を行う。すなわち、各画素値に128が加算される。

このデコーダ211におけるデコード処理は、図９のフローチャートに示されている。同図に示されるように、ステップS1で、解析部311は、ファイルを解析する。これにより、デパケット処理が行われ、符号が抽出される。ステップS62において、復号部312はビットを復号する。

ステップS63,S64において、逆EBCOT処理が実行される。すなわち、ステップS63において、逆算術符号化部313は、復号部312の出力を逆算術符号化し、ステップS64において係数ビットデモデリング部314は係数ビットデモデリング処理を行う。ステップS65において、逆量子化部315は、係数ビットデモデリング部314の出力を逆量子化する。

ステップS66において、逆ウェーブレット変換部316は、逆量子化部315の出力を逆ウェーブレット変換する。このため、逆ウェーブレット変換部316は、図10に示される構成を有している。同図に示されるように、逆ウェーブレット変換部316は、入力された画像信号の画素数を２倍にアップサンプリングするアップサンプリング回路と、その出力の低域周波数成分を抽出するローパスフィルタ、並びに、入力された画像信号の画素数をアップサンプリングするアップサンプリング回路と、その出力の高域周波数成分を抽出するハイパスフィルタ、さらにローパスフィルタとハイパスフィルタの出力を加算する加算器を単位とする構成を有している。

すなわち図10の実施の形態においては、アップサンプリング回路401がLLLL/16のサブバンドを水平方向にアップサンプリングし、その出力の低域周波数成分をローパスフィルタ402が抽出する。また、アップサンプリング回路403がLLLH/16のサブバンドを水平方向にアップサンプリングし、その出力の高域周波数成分をハイパスフィルタ404が抽出する。加算器405は、ローパスフィルタ402とハイパスフィルタ404の出力を加算して、LLL/8のサブバンドを出力する。

アップサンプリング回路411はLLHL/16のサブバンドを水平方向にアップサンプリングし、その出力の低域周波数成分をローパスフィルタ412が抽出する。また、アップサンプリング回路413はLLHH/16のサブバンドを水平方向にアップサンプリングし、その出力の高域周波数成分をハイパスフィルタ414が抽出する。加算器415は、ローパスフィルタ412とハイパスフィルタ414の出力を加算して、LLH/8のサブバンドを出力する。

アップサンプリング回路421は加算器405が出力するLLL/8のサブバンドを垂直方向にアップサンプリングし、その出力の低域周波数成分をローパスフィルタ422が抽出する。また、アップサンプリング回路423は加算器415が出力するLLH/8のサブバンドを垂直方向にアップサンプリングし、その出力の高域周波数成分をハイパスフィルタ424が抽出する。加算器425は、ローパスフィルタ422とハイパスフィルタ424の出力を加算して、LL/4のサブバンドを出力する。

アップサンプリング回路431は加算器425が出力するLL/4のサブバンドを水平方向にアップサンプリングし、その出力の低域周波数成分をローパスフィルタ432が抽出する。また、アップサンプリング回路433はLH/4のサブバンドを水平方向にアップサンプリングし、その出力の高域周波数成分をハイパスフィルタ434が抽出する。加算器435は、ローパスフィルタ432とハイパスフィルタ434の出力を加算して、L/2のサブバンドを出力する。

アップサンプリング回路441はHL/4のサブバンドを水平方向にアップサンプリングし、その出力の低域周波数成分をローパスフィルタ442が抽出する。また、アップサンプリング回路443はHH/4のサブバンドを水平方向にアップサンプリングし、その出力の高域周波数成分をハイパスフィルタ444が抽出する。加算器445は、ローパスフィルタ442とハイパスフィルタ444の出力を加算して、H/2のサブバンドを出力する。

アップサンプリング回路451は加算器435が出力するL/2のサブバンドを垂直方向にアップサンプリングし、その出力の低域周波数成分をローパスフィルタ452が抽出する。また、アップサンプリング回路453は加算器445が出力するH/2のサブバンドを垂直方向にアップサンプリングし、その出力の高域周波数成分をハイパスフィルタ454が抽出する。加算器455は、ローパスフィルタ452とハイパスフィルタ454の出力を加算して、原画像信号Lを出力する。

この実施の形態においては、加算器455が出力する信号Lが下位階層評価値テーブル生成部232に出力されるだけでなく、加算器425が出力するLL/4のサブバンドも上位階層評価値テーブル生成部231に出力される。さらに必要に応じて、LLLL/16のサブバンドがそのまま評価値テーブル生成部212に出力されるようにすることもできる。なお、図２のウェーブレッド変換部14において、水平方向の処理の後に垂直方向の処理が行われる場合、逆ウェーブレッド変換部316においても、垂直方向の処理の後、水平方向の処理が行われる。

逆ウェーブレッド変換部316による逆ウェーブレッド変換の後、ステップS67において、合成部317はタイルを合成し、ステップS68において、逆色変換部318は、合成部317の出力を逆色変換し、YCrCb信号をRGB信号に変換する。ステップS69において、逆シフト部319は、DCレベルを逆シフトすることで、画素値を正の値で表現する。

図７に戻って、以上のようにしてデコーダ211によるデコード処理の結果生成された下位階層の画像信号Lが入力されると、下位階層評価値テーブル生成部232は、ステップS32において、下位階層評価値テーブル生成処理を実行する。このため下位階層評価値テーブル生成部232は、図11に示されるように構成されている。

図11に示される下位階層評価値テーブル生成部232の実施の形態は、相関演算部501、相関判定部502、可変閾値生成部503、代表点選別部504、および評価値テーブル算出部505により構成されている。

相関演算部501は、代表点メモリ511、減算回路512、および絶対値算出部513を有する。代表点メモリ511は入力される画像データの代表点データを記憶する。減算回路512は、代表点メモリ511に記憶されている代表点データと、画像データとの差分としてのフレーム差を演算する。絶対値算出部513は、減算回路512が出力するフレーム差の絶対値を算出する。

可変閾値生成部503は、特徴量抽出部521、特徴量メモリ522、および閾値生成部523を有する。特徴量抽出部521は、入力されるフレーム差から、代表点近傍の特徴量を演算し、特徴量メモリ522に記憶させる。閾値生成部523は、特徴量メモリ522に記憶された特徴量から可変閾値を生成する。

相関判定部502は、相関演算部501からの出力値であるフレーム差絶対値データと、可変閾値生成部503からの出力である閾値データとの比較処理を行う比較部531を有し、各代表点と各画素の１つの評価値として、例えば１ビットデータの評価値を算出し、代表点選別部504のゲート544を介して評価値テーブル算出部505に出力する。

代表点選別部504は、基準値メモリ541、比較部542、フラグメモリ543、およびゲート544を有している。基準値メモリ541は、代表点が静止領域にあるか否かを判定するための基準値を予め記憶している。比較部542は、絶対値算出部513が出力するフレーム差の絶対値と、基準メモリ531に記憶されている基準値とを比較することで、代表点が静止領域にあるか否かを判定する。フラグメモリ543は、比較部542による判定結果をフラグとして記憶する。ゲート544は、フラグメモリ543に記憶されているフラグに基づいて、比較部531からの1ビットの評価値の後段への供給を制御する。

評価値テーブル算出部505は、評価値積算部551と評価値テーブルメモリ552を有する。評価値積算部551は、ゲート544を介して比較部531より供給される１ビットの評価値を積算し、評価値テーブルを生成して評価値テーブルメモリ552に格納する。

次に図12のフローチャートを参照して、図７のステップS32の下位階層評価値テーブル生成処理の詳細について説明する。

ステップS101において、減算回路512は、画像信号と対応する代表点との差分を演算する。すなわちデコーダ211から出力された下位階層の画像信号Lが、例えばフレーム単位で、相関演算部501に入力される。相関演算部501に入力された画像信号は、減算回路512および代表点メモリ511に供給される。

代表点メモリ511は、図13Aに示されるように、例えばフレーム単位で入力される画像信号のうちの、予め決められた代表点データを記憶する（図13において、図中白い点が代表点を表している）。この代表点は、図14に示されるように、１画面を例えばｍ×ｎ画素単位で分割して設定されたブロックにおいて１つ設定される。

具体的には、代表点としては、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。

例えば、入力フレーム画像から、空間的に均等に間引かれた画素位置の画素値データが選択されて、代表点データとして代表点メモリ511に記憶される。

そして、代表点メモリ511から読み出された前フレームＦ_t-1の代表点データRyと、現フレームＦ_tの画像データが、減算回路512に供給される。

図14に示されるように、減算回路512は、前フレームＦ_t-1の代表点の画素値Ryと、現フレームＦ_tの画像データに設定される各代表点に対応するサーチエリア571内の画素との画素値差分、例えばフレーム差（相関演算結果）を算出し、絶対値算出部513に出力する。サーチエリア571は、ｐ×ｑ画素で構成される。

ステップS102において、絶対値算出部513は、減算回路512から入力される前フレームＦ_t-1の代表点データRyと、現フレームＦ_tの画像データに基づくフレーム差（相関演算結果）を入力し、その絶対値としてのフレーム差絶対値を算出する。

ステップS103において可変閾値生成部503は、可変閾値生成処理を実行する。このため、可変閾値生成部503の特徴量抽出部521は、図15に示されるように、最大値検出部601、レジスタ602，604、最小値検出部603、減算回路605、およびラッチ部606により構成されている。

最大値検出部601は、減算回路512からのフレーム差と、それまでに検出され、レジスタ602に保持されている最大値とを比較し、大きい方をレジスタ602に出力する。最小値検出部603は、減算回路512からのフレーム差と、それまでに検出され、レジスタ604に保持されている最小値とを比較し、小さい方をレジスタ604に出力する。減算回路605は、最大値検出部601が出力する最大値と、最小値検出部603が検出する最小値との差であるダイナミックレンジDRを演算し、ラッチ部606にラッチさせる。ラッチ部606にラッチされたダイナミックレンジは特徴量として、特徴量メモリ522に記憶される。

また特徴量メモリ522より供給されるダイナミックレンジから可変閾値を生成する閾値生成部523は、図16に示されるように、ビット分解部651、OR回路652乃至655、並びにビット合成部656により構成されている。

ビット分解部651は、特徴量メモリ522より供給される８ビットで表されるダイナミックレンジを、D7（MSB）乃至D2の各ビットに分解する。ビットD7（MSB）乃至D5の上位３ビットがOR回路652に供給され、その論理和の演算結果がOR回路653乃至655に供給される。OR回路653は、OR回路652の出力と、ビットD4の論理和を演算し、ビットd2としてビット合成部656に出力する。OR回路654は、OR回路652の出力と、ビットD3の論理和を演算し、ビットd1としてビット合成部656に出力する。OR回路655は、OR回路652の出力と、ビットD2の論理和を演算し、ビットd0としてビット合成部656に出力する。

ビット合成部656は、ビットd2をMSB、ビットd0をLSBとして、３ビットd2乃至d0を合成して、上位から、d2,d1,d0の３ビットで構成されるデータ［000］乃至［111］を10進数に変換し、値０乃至７を、閾値として、比較部531に出力する。

次に、図17のフローチャートを参照して、図12のステップS103における可変閾値生成処理の詳細について説明する。

ステップS151において、特徴量抽出部521は、減算回路512が出力する、連続するフレームの代表点とサーチエリアにおける画素値の差分データとしてのフレーム差を入力する。そしてステップS152において、特徴量抽出部521は、代表点近傍の特徴量を演算し、ステップS153において、特徴量メモリ522はその特徴量を記憶する。

例えば、いま図18に示されるように、現フレームＦ_tの２フレーム前のフレームである前々フレームＦ_t-2の代表点Pyと、１フレーム前のフレームである前フレームＦ_t-1のある代表点Ryの近傍領域の、図19に示されるような３×３（＝９）個の画素との差分データが入力されたと仮定する。

代表点Pyと、座標（i-1,j-1）乃至（i+1,j+1）の９個の画素との差分データは、順次入力され、最大値検出部601と最小値検出部603において、その差分データの最大値と最小値が求められる。最初の入力差分データは、最大値検出部601と最小値検出部603を介して、レジスタ602，604に格納され、次に入力する差分データと、最大値検出部601または最小値検出部603において比較され、それぞれ最大差分値がレジスタ602に格納され、最小差分値がレジスタ604に格納される。これを繰り返し実行することで、代表点Pyと、座標（i-1,j-1）乃至（i+1,j+1）の９個の画素の差分データの最大値と最小値が求められる。

求められた最大値と最小値は、減算回路605において減算され、その結果が代表点Ryの近傍領域（３×３個の画素の領域）、すなわち、座標（i-1,j-1）乃至（i+1,j+1）の９個の画素のダイナミックレンジ（DR）としてラッチ部606を介して出力され、特徴量メモリ522に記憶される。

代表点Ryの近傍領域のダイナミックレンジとは、図19に示される９点の画素の画素値の最大値と最小値の差で表される値である。前々フレームＦ_t-2の代表点Pyと、この９点とのフレーム差は、９点のDC成分が変化しただけなので、この９点のフレーム差の最大値と最小値の差も、代表点Pyと、９点とのフレーム差のダイナミックレンジと同値となる。

具体的な画素値を設定した例で説明する。前フレームＦ_t-1の９点の画素値が、10，11，7，9，9，12，15，11，8の値（輝度レベル）を有するとする。前々フレームＦ_t-2の代表点Ryの画素値が、11であったとする。この場合、代表点Ryと、前フレームＦ_t-1の９点の画素値のフレーム差は、それぞれ次のようになる。

１０−１１＝−１
１１−１１＝０
７−１１＝−４
９−１１＝−２
９−１１＝−２
１２−１１＝＋１
１５−１１＝＋４
１１−１１＝０
８−１１＝−３

これら９個の差分データに基づいて、特徴量抽出部521において求められるダイナミックレンジ（DR）は、上記９個の式の結果の最大値［＋４］から最小値［−４］を減算した値であり、［８］となる。一方、前フレームＦ_t-1の９点の画素値｛10，11，7，9，9，12，15，11，8｝から直接求めたダイナミックレンジは、15（最大値）−７（最小値）＝８であり、いずれの値も［８］となって、同値となる。

このように、前々フレームＦ_t-2と前フレームＦ_t-1とを対象として相関演算部501において実行する代表点マッチング処理における相関結果、すなわち、フレーム差分データを用いて、前フレームＦ_t-1の代表点近傍のダイナミックレンジを算出可能であり、このダイナミックレンジ（DR）が空間内変動の特徴量として適用される。

ステップS154において、特徴量メモリ522は、代表点に対応するダイナミックレンジ（DR）データを読み出す。ステップS155において、閾値生成部523は、読み出したダイナミックレンジ（DR）を可変閾値に変換し、ステップS156において、相関判定部502に、その可変閾値を出力する。

すなわち、閾値生成部523のビット分解部651には、特徴量抽出部521において、フレーム差分データに基づいて算出されたダイナミックレンジ（DR）データが入力される。このデータは、８ビット画素値の差分データであり８ビットデータである。

ビット分解部651は、入力された８ビットのダイナミックレンジ（DR）をMSBから１ビット単位で分解し、ビットD7乃至D2の上位６ビットのみを抽出する。

OR回路652には、MSBからの上位３ビットD7,D6,D5が入力され、論理和演算が実行され、１ビットの論理和が出力される。３ビットD7,D6,D5のいずれか１つ、または３つにビット値［１］が含まれていれば［１］が出力される。

さらに、OR回路652の出力と、ビット分解部651が出力するビットD4が、OR回路653に入力され、論理和演算の結果が出力値とされる。さらに、OR回路653の出力と、ビット分解部651が出力するビットD3が、OR回路654に入力され、論理和演算の結果が出力値とされる。さらに、OR回路654の出力と、ビット分解部651が出力するビットD2が、OR回路655に入力され、論理和演算の結果が出力値とされる。

OR回路653の出力と、OR回路654の出力と、OR回路655の出力の計３ビットd2，d1，d0が、ビット合成部656に入力され、ビット合成部656は、上位から、ビットd2，d1，d0の３ビットで構成されるデータ［000］乃至［111］を10進数に変換し、値０乃至７を、閾値として出力する。このように、閾値生成部523は、注目画素近傍の空間内変動の特徴量としての代表点近傍のダイナミックレンジデータの構成ビットのビット情報圧縮処理により閾値を算出する。

図20は、この閾値生成部523の入出力関係をプロットしたグラフであり、横軸が、可変閾値生成部503に入力されるフレーム差分に基づいて算出されるダイナミックレンジ（DR）を表し、縦軸がダイナミックレンジ（DR）に基づいて算出された可変閾値を表す。同図に示されるように、ダイナミックレンジの変化に対して、閾値は、ステップ状に変化する。

例えば、ダイナミックレンジ（DR）の値が０乃至３である場合、相関判定部502に出力される可変閾値は０となる。ダイナミックレンジ（DR）の値が４乃至７である場合、相関判定部502に出力される可変閾値は１となる。以下、同様であり、ダイナミックレンジ（DR）の値が２８以上である場合、相関判定部502に出力される可変閾値は上限の７にリミットされ、それ以上は大きくならない。

ダイナミックレンジ（DR）が小さい、すなわち平坦な画像の場合、閾値は比較的小さく設定されるので、相関判定部502における相関判定では、相関ありなしの判定が比較的正確に行なわれることになる。

図12に戻って、以上のようにして、ステップS103において可変閾値生成処理が行われた後、ステップS104において、相関判定部502の比較部531は、相関演算部501の絶対値算出部513が出力するフレーム差絶対値と、可変閾値生成部503の閾値生成部523が出力する可変閾値とを比較し、1ビットの評価値を算出する。フレーム差絶対値データが、可変閾値より小であれば、１ビットデータとして、相関ありを意味する［１］が評価値テーブル算出部505に出力され、可変閾値より大であれば、相関なしを意味する［０］がゲート544を介して評価値テーブル算出部505に出力される。

ステップS105において、代表点選別部504は代表点を選別する。評価値テーブルのピークは、候補ベクトルの選定のために利用されるが、静止領域については、評価値テーブルのピークとして検出する必要がない。多くの場合、動画像データには、静止領域が存在するので、候補ベクトルの１つとして静止ベクトルがデフォルトの候補ベクトルとして設定される。従って、評価値テーブルのピークとして静止ベクトルに対応するピークを出現させる必要がない。

評価値テーブルに静止領域に対応するピークを発生させると、他の動きのあることを示す候補ベクトルに対応するピークを目立たなくしてしまうおそれがある。従って、静止領域に存在する代表点の相関判定結果は評価値テーブルの信頼性低下を発生させる度数となる。

比較部542が実行する、前フレームＦ_t-1の代表点Ryの静止判定を、図18を用いて説明すると次のようになる。前フレームＦ_t-1の代表点Ryの静止判定は、前フレームＦ_t-1の代表点Ryと、現フレームＦ_tの点Qyとのフレーム差で行われるのではなく、前フレームＦ_t-1の代表点Ryと、前々フレームＦ_t-2の点Pyのフレーム差で行われる。何故ならば、点Ryと点Qyとのフレーム差を利用する場合、現フレームの点Qyのデータが供給された時点でしか、代表点Ryの静止判定が出来ないが、点Ryと点Pyとのフレーム差を利用する場合、前フレームＦ_t-1のデータが全て供給された時点で、前フレームＦ_t-1に存在する代表点の静止判定結果が取得されるからである。

また、前フレームＦ_t-1の代表点Ryと、前々フレームＦ_t-2の点Pyとのフレーム差絶対値は、前々フレームＦ_t-2の代表点Pyにおける相関演算で算出されているので、これを利用することが可能となる。

比較部542は、絶対値算出部513で算出された前フレームＦ_t-1の代表点Ryと、前々フレームＦ_t-2の点Pyとのフレーム差絶対値を入力し、このフレーム差絶対値が、基準値メモリ541に格納された予め設定された基準値より小さい場合は、前フレームＦ_t-1の代表点Ryが静止領域にあるとみなし、静止フラグ（０）をフラグメモリ543に格納する。

一方、絶対値算出部513で算出された前フレームＦ_t-1の代表点Ryと、前々フレームＦ_t-2の点Pyとのフレーム差絶対値が、基準値メモリ541に格納された予め設定された基準値以上である場合は、前フレームＦ_t-1の代表点Ryが静止領域にないとみなされ、動きフラグ（１）がフラグメモリ543に格納される。

さらに、フラグメモリ543は、所定のタイミングで、代表点静止判定フラグを読み出し、読み出したフラグが静止フラグ（０）である場合は、ゲート544に［Ｌ］信号を出力してゲート544をオフに設定する。これにより、相関判定部502の比較部531において相関ありと判定された場合であっても、その評価値［１］は評価値積算部551に供給されず、度数分布型評価値テーブルにおける積算度数としてカウントされない。

これに対して、フラグメモリ543は、読み出したフラグが動きフラグ（１）の場合は、ゲート544に［Ｈ］信号を出力してゲート544をオンに設定する。これにより、相関判定部502の比較部531において相関ありと判定された場合、出力された評価値［１］は、度数分布型評価値テーブルにおいて積算される度数としてカウントされる。

このように、相関演算部501において実行される代表点マッチング処理の結果としてのフレーム差分絶対値に基づいて、代表点が静止領域に存在するか否かが判定され、代表点が静止領域に存在する場合の相関判定結果を相関判定部502から出力させない構成とすることで、静止領域の相関ありの評価値［１］は、度数分布型評価値テーブルにおける度数としてカウントされることなく、静止領域以外の代表点に関する相関ありの評価値［１］が有効評価値として選択されて出力され、度数分布型評価値テーブルにおける度数としてカウントされる。この結果、動きに対応したピークを高めた信頼性の高い評価値テーブルを生成することが可能となる。

ステップS106において、評価値テーブル算出部505の評価値積算部551は、入力される１ビットの評価値を積算して評価値テーブルを生成し、評価値テーブルメモリ552に格納する。

すなわち、評価値積算部551は、ゲート544により選別された比較部531からの評価値としてのビット値［１］の数（度数）を積算する処理を行う。この結果として、相関ありの結果が多いか否かを示す度数分布型の評価値テーブルが生成される。度数分布型の評価値テーブルは、サーチエリア内の各偏移（i,j）において、代表点と参照点に相関がある場合に、その偏移の度数をインクリメントし、１画面の全ての代表点の相関判定結果が積算されたものとなる。つまり、評価値テーブルの各偏移（i,j）の度数ｆ（i,j）は、代表点と参照点の相関条件が成立した回数を示すものであり、形成された評価値テーブルには、動画像データの画面の表示物体の移動に対応したピーク（極値）が出現する。

従って、代表点の画素値データ８ビットと、サーチエリアの比較対照となる画素値８ビットの差分データである８ビットデータの積算処理を行うことなく、相関の有無のみを示す１ビットデータの積算によって生成した評価値テーブル、すなわち度数分布型の評価値テーブルが生成される。

以上をまとめると次のようになる。すなわち、動画像を構成する時間的に連続するフレーム画像として、図21に示されるように、時間（ｔ）の現フレームＦ_tと、時間（ｔ−１）の前フレームＦ_t-1が抽出されて、例えば、現フレームＦ_tが参照フレームとされ、前フレームＦ_t-1が、ｍ×ｎ画素の複数のブロックに分割され、各ブロックを代表する代表点701a,701bが設定される。

なお、各代表点に対応するサーチエリア571a,571bは、図21に示されるように、その一部が重なり合うように設定しても良い。図21に示す例では、前フレームＦ_t-1に設定したブロックの代表点701aに対応するサーチエリア571aと、前フレームＦ_t-1に設定したブロックの代表点701bに対応するサーチエリア571bとが重なりを持つ領域として設定されている。

このように、サーチエリアは、各代表点に対応付けられて設定され、各代表点と、その代表点に対応して設定されたサーチエリア内の画素との比較が実行されて、比較値に基づいて、例えば相関の度合いが高いほど（画素値の一致度合いが高いほど）高い評価値が設定され、各サーチエリアの構成画素に対応する評価値が設定される。

各サーチエリアにおける評価値は、図22に示されるように積算され、その結果として、図23に示されるような評価値テーブルが生成される。評価値テーブルは、前フレームＦ_t-1に設定した、例えばｎ個のブロックに設定された各ブロックの代表点Ry1乃至Rynと、参照フレームである現フレームＦ_tに設定した各代表点Ry1乃至Rynに対応するサーチエリア内の各画素との比較に基づく評価値の積算値として算出され、サーチエリアと同一の大きさの評価値テーブルとして形成される。図23の例では、ｐの値は−88乃至＋88とされ、ｑの値は−164乃至＋164とされている。

図７に戻って、以上のようにして、ステップS32において、下位階層評価値テーブル生成処理が行われると、ステップS33において、抽出部244は、下位階層評価値テーブルを用いて候補ベクトルを抽出する。

評価値テーブルにおいては、サーチエリアの各偏移位置（i,j）における画素値と代表点との相関が高い場合に、ピーク（極値）が発生する。評価値テーブルに出現するピークは、動画像データの画面の表示物体の移動に対応する。

例えば、画面（フレーム）全体が同一の動きをした場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その動き方向、距離を持つベクトルの終点に対応する位置に１つのピークが出現する。また、画面（フレーム）内に２つの異なる動きをする物体があった場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その異なる動き方向、距離を持つ２つのベクトルの終点に対応する２つの位置に２つのピークが出現する。なお、原理的に静止部分がある場合は、静止部分に対応するピークも出現するが、ゲート544により制限することで、静止部分に対応するピークの発生は抑制される。

このような評価値テーブルに出現するピークに基づいて、より大きなピークを選択することで、前フレームＦ_t-1と、参照フレームである現フレームＦ_tとにおける動きベクトルの候補が候補ベクトルとして求められる。

ステップS34において、上位階層評価値テーブル生成装置231により上位階層評価値テーブル生成処理が実行される。このため、上位階層評価値テーブル生成装置231には、図10の逆ウェーブレット変換部316の加算器425が出力する、図13Bに示される上位階層の画像信号としてのLL/4のサブバンド成分が供給されている。この上位階層評価値テーブル生成装置231による上位階層評価値テーブル生成処理は、ステップS32における下位階層評価値テーブル生成装置232による下位階層評価値テーブル生成処理と基本的に同様の処理であるので、その説明は省略する。

なお、図13Bに示される上位階層の画像信号としてのLL/4のサブバンド成分よりさらに上位の、図13Cに示されるLLLL/16のサブバンド成分を用いて上位階層評価値テーブル生成処理を実行するようにすることもできる。この場合には、図10に示されるLLLL/16のサブバンド成分が、そのまま上位階層評価値テーブル生成装置231に供給される。さらに、LL/4のサブバンド成分とLLLL/16のサブバンド成分の両方について、上位階層評価値テーブル生成処理を実行するようにすることもできる。

ステップS35において、拡張部241は上位階層評価値テーブルのサイズを拡張する。例えば、図24に示されるように、１つの画素P1が隣接する２×２個の画素として拡張される。他の画素P2乃至P4についても同様に、拡張が行われる。これにより、下位階層評価値テーブル生成装置232により生成された下位階層評価値テーブルの1/4のサイズである上位階層評価値テーブル生成装置231により生成された上位階層評価値テーブルのサイズを、下位階層評価値テーブル生成装置232により生成された下位階層評価値テーブルのサイズと対応付けることができる。図25は、このようにして拡張された上位階層評価値テーブルの例を表している。そのサイズは、図23に示される下位階層評価値テーブルと一致している。

なお、拡張部241による拡張処理は、以上の他、画素間に他の画素を線形補間により生成することで行うようにすることも可能である。

ステップS36において、補正部242は、上位階層評価値テーブルを正規化する。具体的には、上位階層評価値テーブルの各値の最大値が求められ、上位階層評価値テーブルの各値がその最大値により除算される。すなわち、上位階層評価値テーブルの各値をｕとし、その最大値をu_maxとすると、u/u_maxの演算が行われる。

ステップS37において、補正部242は、上位階層評価値テーブルに基づいて、下位階層評価値テーブルを補正する。具体的には、下位階層評価値テーブルの各座標位置の値をｃとし、拡張された上位階層評価値テーブルの各座標位置の値をｕとするとき、次式が演算される。
ｆ(ｃ,ｕ) ＝ ｃ×（1.0 + k(u/(u_max)） (6)

図26は、図23の下位階層評価値テーブルを、図25に示される拡張された上位階層評価値テーブルを正規化した値で補正した例を表している。

ステップS38において、抽出部243は、ステップS37の処理で補正された下位階層評価値テーブルを用いて、より大きなピークを選択することで候補ベクトルを抽出する。ステップS39で合成部245は、候補ベクトルを合成する。すなわち、ステップS33で抽出部244により抽出された候補ベクトルと、ステップS38で抽出部243により抽出された候補ベクトルとが、いずれも候補ベクトルとされる。そして、ステップS40において、動きベクトル検出部214は、合成された候補ベクトルの中から、最も適応する候補ベクトルを選択して、各画素に対応する動きベクトルとして設定する。

抽出候補ベクトルに基づいて実行する各画素に対応する動きベクトルの設定処理について図27を参照して説明する。

図27において、中央の画素721が前フレームＦ_t-1の１つの画素を示している。この画素は例えば輝度値（α）を有している。また、前述の評価値テーブルに出現したピークに基づいて、複数の候補ベクトルが抽出済みであり、これらの候補ベクトルが図に示される候補ベクトルＡ，Ｂ，Ｃであるとする。前フレームＦ_t-1の１つの画素721は、これらの候補ベクトルのいずれかに従って移動して、現フレームＦ_tの画素に対応する位置に表示されると判定される。

図27において、画素722、画素723、および画素724は、前フレームＦ_t-1の１つの画素721から候補ベクトルＡ，Ｂ，Ｃに基づいて移動先として推定される各画素位置の現フレームＦ_tの画素を示している。これらの３画素を含むブロックの画素値と、画素721を含むブロックの画素値との相関がブロックマッチング処理によって判定され、最も高い対応にある組が選択され、その選択した組に設定された候補ベクトルが画素721の動きベクトルとされる。

図28は、合成された評価値テーブルにおける候補ベクトルの例を表している。同図において、黒丸印は、下位階層評価値テーブルのみを用いて、そのピーク値の上位32個を選択することで採用された候補ベクトル（抽出部244により抽出された上位32個の候補ベクトル）を表し、アスタリスク＊の記号は、下位階層評価値テーブルのみを用いて、そのピーク値の上位64個を選択することで採用された候補ベクトル（抽出部244により抽出された上位64個の候補ベクトル）を表している。そして、白丸印は上位階層評価値テーブルに基づいて補正された下位階層評価値テーブルを用いて、そのピーク値の上位32個を選択することで採用された候補ベクトル（抽出部243により抽出された上位32個の候補ベクトル）を表している。

抽出部244により下位階層評価値テーブルのみから抽出された候補ベクトルは、その数を32個にしても（抽出部244により抽出された上位32個の候補ベクトルでも）、64個にしても（抽出部244により抽出された上位64個の候補ベクトルでも）、その位置が局所的に集中している。これに対して上位階層評価値テーブルを用いて補正された下位階層評価値テーブルから抽出された候補ベクトル（抽出部243により抽出された上位32個の候補ベクトル）は、下位階層評価値テーブルのみから抽出された候補ベクトル（抽出部244により抽出された候補ベクトル）に比較して、その位置が分散している。

図29において、アスタリスク＊の記号は、下位階層評価値テーブルのみを用いて、そのピーク値の上位128個を選択することで採用された候補ベクトル（抽出部244により抽出された上位128個の候補ベクトル）を表している。これに対して、白丸印は上位階層評価値テーブルに基づいて補正された下位階層評価値テーブルを用いて、そのピーク値の上位32個を選択することで採用された候補ベクトル（抽出部243により抽出された上位32個の候補ベクトル）と、下位階層評価値テーブルのみを用いて、そのピーク値の上位32個を選択することで採用された候補ベクトル（抽出部244により抽出された上位32個の候補ベクトル）の、合計64個の候補ベクトルを表している。後者の64個の候補ベクトルの多くは前者の128個の候補ベクトルと一致しているものの、一致しないものも存在している。

以上のことから判るように、上位階層評価値テーブルを用いて補正された下位階層評価値テーブルから候補ベクトルを抽出することで、下位階層評価値テーブルのみから抽出する候補ベクトルの数を増加するだけでは検出できない候補ベクトル(従って、動きベクトル)を検出することができる。その結果、一般的に、評価値としては低く、検出し難い小面積の移動物体の動きベクトルも検出することが可能となる。

以上においては、JPEG2000の方式でエンコードされた画像信号をデコードして得られる画像信号から動きベクトルを検出するようにしたが、その他の階層的な構造を有する画像信号から動きベクトルを検出する場合に本発明は適用することができる。

図30は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）821は、ROM（Read Only Memory）822、または記憶部828に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）823には、CPU821が実行するプログラムやデータなどが適宜記憶される。これらのCPU821、ROM822、およびRAM823は、バス824により相互に接続されている。

CPU821にはまた、バス824を介して入出力インタフェース825が接続されている。入出力インタフェース825には、キーボード、マウス、マイクロホンなどよりなる入力部826、ディスプレイ、スピーカなどよりなる出力部827が接続されている。CPU821は、入力部826から入力される指令に対応して各種の処理を実行する。そして、CPU821は、処理の結果を出力部827に出力する。

入出力インタフェース825に接続されている記憶部828は、例えばハードディスクからなり、CPU821が実行するプログラムや各種のデータを記憶する。通信部829は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部829を介してプログラムを取得し、記憶部828に記憶してもよい。

入出力インタフェース825に接続されているドライブ830は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア831が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部828に転送され、記憶される。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図30に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア831、または、プログラムが一時的もしくは永続的に格納されるROM822や、記憶部828を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部829を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

エンコーダの構成を示すブロック図である。 ウェーブレット変換部の構成を示すブロック図である。 ２次元の離散ウェーブレット変換を説明する図である。 エンコード処理を説明するフローチャートである。 ウェーブレット変換のサブバンドを説明する図である。 本発明の動きベクトル検出装置の一実施の形態の構成を示すブロック図である。 動きベクトル検出処理を説明するフローチャートである。 デコーダの構成を示すブロック図である。 デコード処理を説明するフローチャートである。 逆ウェーブレット変換部の構成を示すブロック図である。 下位階層評価値テーブル生成部の構成を示すブロック図である。 下位階層評価値テーブル生成処理を説明するフローチャートである。 サブバンドにおける代表点を説明する図である。 サーチエリアを説明する図である。 特徴量抽出部の構成を示すブロック図である。 閾値生成部の構成を示すブロック図である。 可変閾値生成処理を説明するフローチャートである。 代表点近傍領域のダイナミックレンジを説明する図である。 代表点近傍領域を説明する図である。 可変閾値の特性を表す図である。 代表点とサーチエリアの対応を説明する図である。 評価値の加算を説明する図である。 評価値テーブルの例を示す図である。 評価値テーブルの拡張を説明する図である。 拡張された評価値テーブルの例を示す図である。 補正された評価値テーブルの例を示す図である。 動きベクトルの検出を説明する図である。 候補ベクトルを説明する図である。 候補ベクトルを説明する図である。 コンピュータの構成を示すブロック図である。

符号の説明

１ エンコーダ， 201 動きベクトル検出装置， 211 デコーダ， 212 評価値テーブル生成部， 213 候補ベクトル抽出部， 214 動きベクトル検出部， 231 上位階層評価値テーブル生成部， 232 下位階層評価値テーブル生成部， 241 拡張部， 242 補正部， 243,244 抽出部， 245 合成部

Claims (8)

1. 第１の階層の画像信号から第１の評価値テーブルを生成する第１の生成手段と、
   前記第１の階層より上位の第２の階層の画像信号から第２の評価値テーブルを生成する第２の生成手段と、
   前記第１の評価値テーブルを前記第２の評価値テーブルで補正する補正手段と、
   前記第１の評価値テーブルを用いて第１の候補ベクトルを抽出する第１の抽出手段と、
   補正された前記第１の評価値テーブルを用いて第２の候補ベクトルを抽出する第２の抽出手段と、
   前記第１の候補ベクトルと前記第２の候補ベクトルから、動きベクトルを検出する検出手段と
   を備える動きベクトル検出装置。
2. 前記第２の評価値テーブルのサイズを、前記第１の評価値テーブルのサイズに対応付ける対応付け手段をさらに備え、
   前記補正手段は、サイズが対応付けられた前記第２の評価値テーブルを用いて前記第１の評価値テーブルを補正する
   請求項１に記載の動きベクトル検出装置。
3. 前記補正手段は、前記第２の評価値テーブルを正規化し、正規化した前記第２の評価値テーブルを用いて前記第１の評価値テーブルを補正する
   請求項２に記載の動きベクトル検出装置。
4. 前記対応付け手段は、前記第２の評価値テーブルの評価値を近傍の画素位置の評価値として拡張することで対応付けを行う
   請求項２に記載の動きベクトル検出装置。
5. ウェーブレット変換されている画像信号を逆ウェーブレット変換することで前記第１の階層の画像信号と前記第２の階層の画像信号を出力する出力手段をさらに備える
   請求項１に記載の動きベクトル検出装置。
6. 第１の階層の画像信号から第１の評価値テーブルを生成する第１の生成ステップと、
   前記第１の階層より上位の第２の階層の画像信号から第２の評価値テーブルを生成する第２の生成ステップと、
   前記第１の評価値テーブルを前記第２の評価値テーブルで補正する補正ステップと、
   前記第１の評価値テーブルを用いて第１の候補ベクトルを抽出する第１の抽出ステップと、
   補正された前記第１の評価値テーブルを用いて第２の候補ベクトルを抽出する第２の抽出ステップと、
   前記第１の候補ベクトルと前記第２の候補ベクトルから、動きベクトルを検出する検出ステップと
   を備える動きベクトル検出方法。
7. 第１の階層の画像信号から第１の評価値テーブルを生成する第１の生成ステップと、
   前記第１の階層より上位の第２の階層の画像信号から第２の評価値テーブルを生成する第２の生成ステップと、
   前記第１の評価値テーブルを前記第２の評価値テーブルで補正する補正ステップと、
   前記第１の評価値テーブルを用いて第１の候補ベクトルを抽出する第１の抽出ステップと、
   補正された前記第１の評価値テーブルを用いて第２の候補ベクトルを抽出する第２の抽出ステップと、
   前記第１の候補ベクトルと前記第２の候補ベクトルから、動きベクトルを検出する検出ステップと
   をコンピュータに実行させるプログラム。
8. 請求項７に記載のプログラムが記録されている記録媒体。

Images