JP2012039569A - 動き推定装置及びプログラム - Google Patents

Abstract

【課題】動画像の動き推定を行う動き推定装置及びプログラムを提供する。
【解決手段】動き推定装置１は、処理対象画像に時空間の周波数帯域分解処理を施すと共に、時空間周波数帯域パワー情報を算出する時空間帯域スペクトラム情報検出部１１と、帯域分解処理を施した各階層の空間低周波画像群を用いて階層動き推定を行う第１動き推定、帯域分解処理を施した１階層目の水平低・垂直高周波画像群を用いて動き推定を行う第２動き推定、帯域分解処理を施した１階層目の水平高・垂直低周波画像群を用いて動き推定を行う第３動き推定、及び、帯域分解処理を施した１階層目の水平高・垂直高周波画像群を用いて動き推定を行う第４動き推定を実行し、前記第１動き推定から前記第４動き推定までによって得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基く動き推定割合により動き推定値を決定する動き推定部１３とを備える。
【選択図】図１

Description

本発明は、動画像の時間方向及び空間方向のスペクトルパワーによって動画像の動き量を階層的に分析し、動画像の動きベクトルを高精度に検出する動き推定装置及びプログラムに関する。

従来からの動き推定の基本的なやり方は、全探索ブロックマッチング法である。この全探索ブロックマッチング法を発展させたやり方として、動画像に対して空間方向の周波数帯域分解処理を行って異なる解像度の階層的画像を取得し、異なる解像度の階層的画像を用いて階層型動き推定を行う方法（例えば、特許文献１，２参照）や、ダイヤモンドサーチ法（例えば、特許文献３参照）などが知られている。

特許第３３３４２７１号 特許第４１９５９７８号 特開２００７−３００１６９号公報

前述したような階層型動き推定やダイヤモンドサーチ法は、動画像における大きな動き量を検出するために有効な技法であり、全探索ブロックマッチング法と比較して計算コストを低減する効果もある。

つまり、空間高周波成分の多い絵柄は、小さいブロックサイズ（例えば、２×２画素）を用いた動き推定装置が適している。一方、空間高周波成分が少ない絵柄は、小さいブロックサイズでは誤った動き推定装置となる可能性が高くなるため、大きなブロックサイズ（例えば、１６×１６画素）を用いた動き推定装置が有効である。このため、階層型動き推定を行うことで、等価的に複数種類のブロックサイズを用いた動き推定を行うこととなり、計算コストの低減に有利となる。

一方で、大きな動き量は、動領域の動きぼけ量が増し、空間高周波領域のパワー割合を低下させる。また、大きな動領域面積は、動領域の時間変動面積を増し、時間高周波領域のパワー割合を増加させる。したがって、空間周波領域のパワーに基づいて階層化するのみでは、大小様々な動き量を十分にカバーできるとは云えず、改善の余地がある。

そこで、本発明の目的は、動画像の時間方向及び空間方向（即ち、時空間方向）のスペクトルパワーによって動画像の動き量を階層的に分析し、動画像の動き推定情報を高精度且つ高確度に求める動き推定装置及びプログラムを提供することにある。

前述のように、動き量と時空間方向の高周波領域のパワーとの間には一定の相関を持つことが多いため、動画像の時間及び空間スペクトルのパワー分析を行って、動き推定装置における適切なブロックサイズを推定するとともに、推定したブロックサイズを空間的に階層化して動きベクトルを検出することが有効である。

動画像の時空間方向のスペクトルを考察すると、動領域における空間方向の高周波領域のパワーは、動き量の面積が大きくなるにつれて減少する。即ち、大面積の動オブジェクトが大きな動き量を持つ動画像は、空間方向の高周波領域のパワーが小さくなるが、時間方向の高周波領域のパワーは大きくなる傾向がある。これは、画面中で大きな面積のオブジェクトが大きく動く場合は、時間方向の変動が大きくなることに起因する。

そこで、本発明の動き推定装置は、処理対象の動画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出し、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて第１の階層型動き推定を行い、周波数帯域分解処理を施した各階層（計算コストを考慮する場合、好適には１階層目）の水平低・垂直高周波画像群を用いて第２の階層型動き推定を行い、周波数帯域分解処理を施した各階層（計算コストを考慮する場合、好適には１階層目）の水平高・垂直低周波画像群を用いて第３の階層型動き推定を行い、周波数帯域分解処理を施した各階層（計算コストを考慮する場合、好適には１階層目）の水平高・垂直高周波画像群を用いて第４の階層型動き推定を行い、それぞれの動き推定によって得られる動き推定情報から、時空間方向の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する。

即ち、本発明の動き推定装置は、動画像の動き推定値を求める動き推定装置であって、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第１の動き推定手段と、周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行う第２の動き推定手段と、周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行う第３の動き推定手段と、周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行う第４の動き推定手段と、前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、を備えることを特徴とする。

また、本発明の動き推定装置において、動画像の動き推定値を求める動き推定装置であって、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第１の動き推定手段と、周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像群を用いて動き推定を行う第２の動き推定手段と、周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像群を用いて動き推定を行う第３の動き推定手段と、周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像群を用いて動き推定を行う第４の動き推定手段と、前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、を備えることを特徴とする。

また、本発明の動き推定装置において、前記周波数帯域分解処理は、ウェーブレット変換によるオクターブ分解処理とすることを特徴とする。

また、本発明のプログラムは、動画像の動き推定値を求める動き推定装置として構成するコンピュータに、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行うステップと、前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、を実行させるためのプログラムとして構成される。

また、本発明のプログラムは、動画像の動き推定値を求める動き推定装置として構成するコンピュータに、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像群を用いて動き推定を行うステップと、周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像群を用いて動き推定を行うステップと、周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像群を用いて動き推定を行うステップと、前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、を実行させるためのプログラムとして構成される。

本発明によれば、時空間方向に周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うだけでなく、空間高周波成分を含む画像を用いた動き推定処理を行い、周波数帯域分解処理で得られた時空間方向の周波数帯域パワーの情報を用いて、空間低周波画像で求めた動き推定情報と空間高周波成分を含む画像で求めた動き推定情報に対する動き推定割合を制御して動き推定値を決定することで動き推定の精度を向上することが可能である。

本発明による一実施例の動き推定装置の概略図である。 本発明による一実施例の動き推定装置におけるブロック分割部の概略図である。 本発明による一実施例の動き推定装置における時空間帯域スペクトラム情報解析部の概略図である。 本発明による一実施例の動き推定装置における動き推定階数決定部の概略図である。 本発明による一実施例の動き推定装置における動き推定部の概略図である。 本発明による一実施例の動き推定装置の動作を示す動作フロー図である。 本発明による一実施例の動き推定装置におけるブロック分割列を示す図である。 本発明による一実施例の動き推定装置における時空間方向周波数分解を行う領域の説明図である。 本発明による一実施例の動き推定装置における時空間方向周波数分解の説明図である。 （ａ），（ｂ）本発明による一実施例の動き推定装置に係る２次元２階離散ウェーブレット分解の説明図である。 （ａ），（ｂ），（ｃ），（ｄ）本発明による一実施例の動き推定装置における階層型動き検出に係る説明図である。 本発明による一実施例の動き推定装置に係る２次関数近似による小数画素位置のブロックマッチング法の説明図である。

以下、本発明による一実施例の動き推定装置について説明する。

一実施例の動き推定装置１として、時間方向及び空間方向の周波数解析にウェーブレット変換によるオクターブ分解処理を用いる場合について説明する。尚、時間方向及び空間方向の周波数解析には、ウェーブレット変換を用いる場合以外に、他の直交変換又はＦＦＴ（Fast Fourier Transform）を用いることができるが、画像を低解像度化するにしたがってくり返し同じ処理を行って、時間方向及び空間方向の周波数解析を行う点を考慮すれば、ウェーブレット変換によるオクターブ分解処理を用いることが特に処理効率が向上する点で有利である。

[装置構成]
図１に、本発明による一実施例の動き推定装置１を示す。本実施例の動き推定装置１は、ブロック分割部１０と、時空間帯域スペクトラム情報検出部１１と、動き推定階数決定部１２と、動き推定部１３とを備える。尚、各構成要素で処理するのに必要な画像データは、動き推定装置１が備える記憶部（図示せず）に適宜格納して読み出すように構成することができる。

ブロック分割部１０は、フレーム画像をブロック分割する機能部であり、動き推定基準フレームの時間情報ｔ_ｃと、時刻ｔ_ｃにおけるフレーム画像Ｆ（ｔ_ｃ）の情報と、予め指定されるブロックサイズ情報Ｂｘ，Ｂｙとを入力して、フレーム画像Ｆ（ｔ_ｃ）を、ブロックサイズ水平Ｂｘ画素×垂直Ｂｙ画素のブロックに分割し、分割後の水平i番目及び垂直ｊ番目のブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）を示す、ブロック分割情報を出力するブロック分割情報生成部１０１を有するように構成される（図２参照）。

時空間帯域スペクトラム情報検出部１１は、動き推定基準フレームの時間位置情報ｔ_ｃと、動き推定参照フレームの時間位置情報ｔ_ｒと、フレーム画像列Ｆ（ｔ）の情報と、ブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）の情報（ブロック分割情報Ｂ（ｉ，ｊ，ｔ_ｃ）とも表す）と、動き推定探索範囲情報Ｓｘ，Ｓｙと、予め定めた最大階層数情報Ｄとを入力して、フレーム画像Ｆ（ｔ_ｃ）上のブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）において、ブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）の中心から±Ｓｘ，±Ｓｙ画素の空間領域をＳＡ（ｉ，ｊ，ｔ）とし、フレーム画像Ｆ（ｔ_ｃ）の前後２^Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔ_ｃ−２^Ｄ−１≦ｔ≦ｔ_ｃ＋２^Ｄ−１を利用して時空間パワー検出を行なう機能部である。

より具体的には、図３に示すように、時空間帯域スペクトラム情報検出部１１は、分解階数・空間領域決定部１１１と、１次元Ｄ階ウェーブレット分解部１１２と、時空間帯域スペクトラム情報生成部１１３とを備える。

分解階数・空間領域決定部１１１は、ブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）の情報と、動き推定探索範囲情報Ｓｘ，Ｓｙと、予め定めた最大階層数情報Ｄとを入力して、分解階数Ｄでオクターブ分解するよう１次元Ｄ階ウェーブレット分解部１１２に指示を送出するとともに、ブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）を中心とした±Ｓｘ，±Ｓｙを動き探索空間領域情報ＳＡ（ｉ，ｊ，ｔ_ｃ）として１次元Ｄ階ウェーブレット分解部１１２及び動き推定階数決定部１２に送出する。

１次元Ｄ階ウェーブレット分解部１１２は、分解階層Ｄで、フレーム画像Ｆ（ｔ_ｃ）の前後２^Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔ_ｃ−２^Ｄ−１≦ｔ≦ｔ_ｃ＋２^Ｄ−１を利用して、入力されるフレーム画像列Ｆ（ｔ）における時間方向、水平方向、垂直方向の各々について１次元Ｄ階ウェーブレット分解を行ない、分解した時空間方向の周波数成分の情報を時空間帯域スペクトラム情報生成部１１３に送出する。

時空間帯域スペクトラム情報生成部１１３は、フレーム画像Ｆ（ｔ_ｃ）の前後２^Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔ_ｃ−２^Ｄ−１≦ｔ≦ｔ_ｃ＋２^Ｄ−１における時間・水平・垂直方向の帯域スペクトラム情報Ｐ_τ（ｉ，ｊ，ｔ），Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）を生成し、動き推定階数決定部１２に送出する。

動き推定階数決定部１２は、時空間方向の帯域スペクトラム情報Ｐ_τ（ｉ，ｊ，ｔ），Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）と、動き探索の空間領域ＳＡ（ｉ，ｊ，ｔ）と、ブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）の情報を入力し、時空間方向の各スペクトラムパワーと、時空間方向の各スペクトラムパワーに対してそれぞれ定めたスペクトラムパワー閾値とを比較して、動オブジェクトの動き量が大きいか否かを判別し、動オブジェクトの動き量が大きいと判断される場合には、予め定めた２つの階層数設定値（例えば、最大階層Ｄ＞１と１階層の２つの階層数）のうち大きい方を動き推定階層数として決定し、動オブジェクトの動き量が小さいと判断される場合には、当該予め定めた２つの階層数設定値のうち小さい方を動き推定階層数として決定する。

より具体的には、図４に示すように、動き推定階数決定部１２は、比較制御部１２１と、比較部１２２，１２３，１２４と、動き推定階層数決定部１２５とを備える。

比較制御部１２１は、動き探索の空間領域ＳＡ（ｉ，ｊ，ｔ）と、ブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）の情報を入力して、比較部１２２，１２３，１２４にそれぞれ入力される時空間方向の帯域スペクトラム情報Ｐ_τ（ｉ，ｊ，ｔ），Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）とそれぞれ定めたスペクトラムパワー閾値Ｔｈ_τ（ｉ，ｊ），Ｔｈ_μ（ｉ，ｊ），Ｔｈ_ｖ（ｉ，ｊ）との比較を制御する。

動き推定階層数決定部１２５は、比較部１２２，１２３，１２４による比較結果に基づいて、動オブジェクトの動き量が大きいか否かを判別し、動オブジェクトの動き量が大きいと判断される場合には、当該予め定めた２つの階層数設定値のうち大きい方を動き推定階層数として決定し、動オブジェクトの動き量が小さいと判断される場合には、当該予め定めた２つの階層数設定値のうち小さい方を動き推定階層数として決定し、決定した動き推定階層数の情報を動き推定階層数Ｒ（ｉ，ｊ，ｔ_ｃ）として出力する。

例えば、フレーム画像列Ｆ（ｔ）上に存在する動オブジェクトの動き面積をＭＡ（ｉ，ｊ，ｔ）とし、動オブジェクトの静止時にアウトフォーカス等でぼけた画像ではないと想定すると、動オブジェクトの動き量が大きい場合と、動オブジェクトの動き量が小さい場合のいずれであるかの判別に、時空間方向の帯域スペクトラム情報Ｐ_τ（ｉ，ｊ，ｔ），Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）のそれぞれのパワー割合の大きさを４種類の場合分けによって行うようになる。
〔１．動オブジェクトの動き量が大きい場合〕
（１．１）空間領域ＳＡ（ｉ，ｊ，ｔ）の空間面積に対して大きな動オブジェクトの動き面積ＭＡ（ｉ，ｊ，ｔ）は、時間方向の高周波帯域のパワー割合が高く、且つ空間方向の高周波帯域のパワー割合が高い。
（１．２）空間領域ＳＡ（ｉ，ｊ，ｔ）の空間面積に対して小さな動オブジェクトの動き面積ＭＡ（ｉ，ｊ，ｔ）は、時間方向の高周波帯域のパワー割合が低く、且つ空間方向の高周波帯域のパワー割合が低い。
〔２．動オブジェクトの動き量が小さい場合〕
（２．１）空間領域ＳＡ（ｉ，ｊ，ｔ）の空間面積に対して大きな動オブジェクトの動き面積ＭＡ（ｉ，ｊ，ｔ）は、時間方向の高周波帯域のパワー割合が低く、且つ空間方向の高周波帯域のパワー割合が高い。
（２．２）空間領域ＳＡ（ｉ，ｊ，ｔ）の空間面積に対して小さな動オブジェクトの動き面積ＭＡ（ｉ，ｊ，ｔ）は、時間方向の高周波帯域のパワー割合が低く、且つ空間方向の高周波帯域のパワー割合が低い。

そこで、動き推定階数決定部１２は、上記の４種類の動オブジェクトの動きパターン（１．１）〜（２．２）に対応するために、時間方向のスペクトラムパワー閾値Ｔｈ_τ（ｉ，ｊ）、水平方向のスペクトラムパワー閾値Ｔｈ_μ（ｉ，ｊ）、垂直方向のスペクトラムパワー閾値Ｔｈ_ｖ（ｉ，ｊ）をそれぞれ設定して基準にすることで、動オブジェクトの動き量が大きい場合と、動オブジェクトの動き量が小さい場合のいずれであるかの判別を行う。

動き推定階数決定部１２は、時空間方向の帯域スペクトラム情報Ｐ_τ（ｉ，ｊ，ｔ），Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）の各々が、動きパターン（１．１）及び（１．２）に該当する場合、動オブジェクトの動き量が大きいとして判別し、当該予め定めた２つの階層数設定値のうち大きい方を動き推定階層数として決定する。

動き推定階数決定部１２は、時空間方向の帯域スペクトラム情報Ｐ_τ（ｉ，ｊ，ｔ），Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）の各々が、動きパターン（２．１）及び（２．２）に該当する場合、動オブジェクトの動き量が小さいとして判別し、当該予め定めた２つの階層数設定値のうち小さい方を動き推定階層数として決定する。

このようにして、動き推定階数決定部１２は、決定した動き推定階層数Ｒ（ｉ，ｊ，ｔ_ｃ）を出力することができる。

動き推定部１３は、水平方向及び垂直方向の帯域スペクトラム情報Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）と、動き推定基準フレームの時間位置情報ｔ_ｃと、動き推定参照フレームの時間位置情報ｔ_ｒと、フレーム画像列情報Ｆ（ｔ）と、動き推定階層数情報Ｒ（ｉ，ｊ，ｔ_ｃ）と、ブロック分割情報Ｂ（ｉ，ｊ，ｔ_ｃ）と、予め定めた最大階層数Ｄの情報を入力して、ブロックＢ（ｉ，ｊ，ｔ_ｃ）ごとに、動き探索空間領域ＳＡ（ｉ，ｊ，ｔ）内で再構成した各階層の空間低周波画像群を用いて階層型動き推定を行い、０階層における動き推定情報を取得するとともに、さらに、１階層目（１階ウェーブレット分解）の水平低周波成分・垂直高周波成分からなる画像（以下、「水平低・垂直高周波画像」と称する）を再構成して動き推定を行い、１階層目（１階ウェーブレット分解）の水平高周波成分・垂直低周波成分からなる画像（以下、「水平高・垂直低周波画像」と称する）を再構成して動き推定を行い、１階層目（１階ウェーブレット分解）の水平高周波成分・垂直高周波成分からなる画像（以下、「水平高・垂直高周波画像」と称する）を再構成して動き推定を行うことにより、４種類の動き推定情報を取得し、この４種類の動き推定情報について、水平方向及び垂直方向の帯域スペクトラム情報Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）を用いて、４種類の動き推定情報に対応する周波数帯域パワーの割合を算出し、この周波数帯域パワーの割合に応じて４種類の動き推定情報を重み付け加算することにより、最終的な動き推定値を決定する。

より具体的には、図５に示すように、動き推定部１３は、階層型動き推定部１３１と、空間階層ウェーブレット再構成部１３２と、２次元Ｒ階ウェーブレット分解部１３３と、オクターブ分解パワー成分算出部１３４と、帯域別パワー推定部１３５と、空間１階ウェーブレット再構成部１３６と、１階ウェーブレット分解水平・垂直高周波成分抽出部１３７と、動きベクトル修正部１３８とを備える。

はじめに、動き推定部１３は、２次元Ｒ階ウェーブレット分解部１３３によって、まず、フレーム画像列Ｆ（ｔ_ｃ），Ｆ（ｔ_ｒ）について最大階層数Ｄの２次元Ｄ階ウェーブレット分解処理を施し、オクターブ分解パワー成分算出部１３４によって、低周波画像の各階層をｄ＝１，・・・，Ｄとすると、それぞれのフレーム画像についてオクターブ分解パワー成分Ｐ^（ｄ） _ＬＬ（ｔ_ｃ），Ｐ^（ｄ） _ＬＨ（ｔ_ｃ），Ｐ^（ｄ） _ＨＬ（ｔ_ｃ），Ｐ^（ｄ） _ＨＨ（ｔ_ｃ）と、Ｐ^（ｄ） _ＬＬ（ｔ_ｒ），Ｐ^（ｄ） _ＬＨ（ｔ_ｒ），Ｐ^（ｄ） _ＨＬ（ｔ_ｒ），Ｐ^（ｄ） _ＨＨ（ｔ_ｒ）を得る。ここで、ＬＬ，ＬＨ，ＨＬ，ＨＨは、それぞれ、水平低周波成分・垂直低周波成分からなる帯域成分、水平低周波成分・垂直高周波成分からなる帯域成分、水平高周波成分・垂直低周波成分からなる帯域成分、水平高周波成分・垂直高周波成分からなる帯域成分を示す。

次に、動き推定部１３は、階層型動き推定部１３１によって、フレーム画像Ｆ（ｔ_ｃ）上のすべてのブロックＢ（ｉ，ｊ，ｔ_ｃ）について、動き探索空間領域ＳＡ（ｉ，ｊ，ｔ）内で動き推定階層数情報Ｒ（ｉ，ｊ，ｔ_ｃ）を基に再構成した各階層の空間画像群を用いて階層型動き推定を行い、各ブロックの動きベクトルｖ^ｒ（ｉ，ｊ，ｔ_ｃ）（ここで、ｒ＝０，・・・，Ｒ）を求める。ここで、２次元Ｒ階ウェーブレット分解部１３３によって、説明の便宜のために最大階層数Ｄの２次元Ｄ階ウェーブレット分解処理を施すものとして説明しているが、Ｒ≦Ｄであることから、予め２次元Ｒ階ウェーブレット分解処理を施巣用に構成してもよい。ｒ＝０は、フレーム原画像であるフレーム画像Ｆ（ｔ_ｃ），Ｆ（ｔ_ｒ）に相当する階層である。尚、空間階層ウェーブレット再構成部１３２は、動き推定階層数Ｒ（ｉ，ｊ，ｔ_ｃ）とオクターブ分解パワー成分算出部１３４からのオクターブ分解パワー成分を用いて各階層の空間画像を再構成する。

例えば、階層型動き推定部１３１では、階層ｒ＝Ｒから動き推定を開始する。任意のブロックＢ（ｉ，ｊ，ｔ_ｃ）について、Ｒ階ウェーブレット分解の水平低・垂直低周波帯域成分Ｐ^（ｒ） _ＬＬ（ｔ_ｃ）の同じ空間位置のブロックを基準に、参照フレーム画像Ｆ（ｔ_ｒ）のＲ階ウェーブレット分解の水平低・垂直低周波帯域成分Ｐ^（ｒ） _ＬＬ（ｔ_ｒ）の当該同じ空間位置から式（１）に示すｖａ^ｒ−１(２ｉ，２ｊ，ｔ_ｃ)だけずらした場所を中心に、±Ｓｘ，±Ｓｙ画素の空間領域で探索し、得られた動き推定量にｖａ^ｒ−１(２ｉ，２ｊ，ｔ_ｃ)を加えたものをｖａ^ｒ(ｉ，ｊ，ｔ_ｃ)とする。これをｒ＝ｒ−１としながらｒ＝０となるまで繰り返すことにより階層型動き推定による動き推定情報を取得する。

ｖａ^ｒ−１(２ｉ，２ｊ，ｔ_ｃ)＝（ｖ^ｒ−１(２ｉ，２ｊ，ｔ_ｃ)
＋ｖ^ｒ−１(２ｉ，２ｊ−１，ｔ_ｃ)
＋ｖ^ｒ−１(２ｉ−１，２ｊ，ｔ_ｃ)
＋ｖ^ｒ−１(２ｉ−１，２ｊ−１，ｔ_ｃ)）／４ （１）

これにより、動き推定部１３は、各階層の空間低周波画像群を用いて階層型動き推定を行い、０階層における動き推定情報を取得することができる。尚、階層型動き推定は、パラボラフィッティングブロックマッチング法により、小数画素精度で行なう。つまり、階層型動き推定部１３１により、空間Ｒ階分解低周波数成分による階層型動き推定で、ブロックＢ（ｉ，ｊ，ｔ_ｃ）の動きベクトルｖ^０(ｉ，ｊ，ｔ_ｃ)が求められる。

動き推定部１３は、階層型動き推定部１３１によってｒ＝０まで階層型動き推定を行なった後、この階層型動き推定で得られた動き推定情報（動きベクトルｖ^０）の補正を行なうために、帯域別動き推定を行う。

より具体的には、動き推定部１３は、帯域別動き推定部１３５によって、まず、１階ウェーブレット分解の水平低・垂直高周波帯域画像情報を用いて動き推定を行う。帯域別動き推定部１３５は、ブロックＢ（ｉ，ｊ，ｔ_ｃ）について、１階ウェーブレット分解の水平低・垂直高周波帯域成分Ｐ^（１） _ＬＨ（ｔ_ｃ）の同じ空間位置のブロックを基準に、参照フレーム画像Ｆ（ｔ_ｒ）のＲ階ウェーブレット分解の水平低・垂直高周波帯域成分Ｐ^（１） _ＬＨ（ｔ_ｒ）の同じ空間位置から式（１）に示すｖａ^２(２ｉ，２ｊ，ｔ_ｃ)だけずらした場所を中心に、±Ｓｘ，±Ｓｙ画素の空間領域で探索し、得られた動き推定量にｖａ^２(２ｉ，２ｊ，ｔ_ｃ)を加えたものを動きベクトルｖ^１ _ＬＨ(ｉ，ｊ，ｔ_ｃ)として求める。尚、この動き推定は、パラボラフィッティングブロックマッチング法により、小数画素精度で行なう。尚、空間１階ウェーブレット再構成部１３６は、動き推定階層数Ｒ（ｉ，ｊ，ｔ_ｃ）とオクターブ分解パワー成分算出部１３４からのオクターブ分解パワー成分を用いて１階層目の空間画像を再構成する。

さらに、帯域別動き推定部１３５は、同様にして、１階ウェーブレット分解の水平高・垂直低周波帯域画像情報を用いて動き推定を行い、動きベクトルｖ^１ _ＨＬ(ｉ，ｊ，ｔ_ｃ)を求め、さらに、同様に、１階ウェーブレット分解の水平高・垂直高周波帯域画像情報を用いて動き推定を行い、動きベクトルｖ^１ _ＨＨ(ｉ，ｊ，ｔ_ｃ)を求める。いずれも、この動き推定は、パラボラフィッティングブロックマッチング法により、小数画素精度で行なう。

また、１階ウェーブレット分解水平・垂直高周波成分抽出部１３７は、水平方向及び垂直方向の帯域スペクトラム情報Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）を入力して、１階ウェーブレット分解の水平高周波成分Ｐ^１ _μと垂直高周波成分Ｐ^１ _ｖを抽出する。

動きベクトル修正部１３８は、既算出の動きベクトルｖ^０(ｉ，ｊ，ｔ_ｃ)の水平方向動き量をｖ_ｘ、垂直方向動き量をｖ_ｙとし、既算出の動きベクトルｖ^１ _ＬＨ(ｉ，ｊ，ｔ_ｃ)，ｖ^１ _ＨＬ(ｉ，ｊ，ｔ_ｃ)，ｖ^１ _ＨＨ(ｉ，ｊ，ｔ_ｃ)と、水平高周波成分Ｐ^１ _μと垂直高周波成分Ｐ^１ _ｖを用いて、式（２）に従って、動きベクトルｖ^０(ｉ，ｊ，ｔ_ｃ)を微修正して動き推定情報ｖ^０ _ＡＤＪ(ｉ，ｊ，ｔ_ｃ)を算出する。

式（２）にて、水平方向、垂直方向の動き量割合に応じて調整するための重み係数を乗じているのは、動オブジェクトの動いている方向の動きぼけ量が大きいことから動き方向を加味して重み割合を調整するためである。また、水平方向、垂直方向の帯域スペクトラム情報Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）における１階ウェーブレット分解の水平高周波成分Ｐ^１ _μと垂直高周波成分Ｐ^１ _ｖから水平方向、垂直方向の高周波帯域パワーの割合を算出するのは、高周波帯域パワーが高い方向の動きぼけ量が小さいことから高周波帯域パワーの方向を加味して重み割合を調整するためである。

このようにして、本実施例の動き推定装置１は、時空間方向に周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うだけでなく、空間高周波成分を含む画像を用いた動き推定処理を行い、周波数帯域分解処理で得られた時空間方向の周波数帯域パワーの情報を用いて、空間低周波画像で求めた動き推定情報と空間高周波成分を含む画像で求めた動き推定情報に対する動き推定割合を制御して動き推定値を決定することで動き推定の精度を向上させる。

以下、本発明による一実施例の動き推定装置１の動作について更に詳細に説明する。

[装置動作]
図６は、本発明による一実施例の動き推定装置の動作を示す動作フローである。ステップＳ１にて、動き推定装置１は、基準フレームＦ（ｔ_ｃ）及び参照フレームＦ（ｔ_ｒ）を含む、時刻ｔ＝ｔ_０・・・ｔ_ｍにおけるフレーム画像列Ｆ（ｔ_０），・・・，Ｆ（ｔ_ｃ），・・・，Ｆ（ｔ_ｒ），・・・，Ｆ（ｔ_ｍ）を入力して、動き推定装置１が備える記憶部（図示せず）に適宜読み出し可能に格納する。

ステップＳ２にて、ブロック分割部１０により、基準フレームＦ（ｔ_ｃ）のブロック分割を実行する（図７参照）。

ステップＳ３にて、時空間帯域スペクトラム情報検出部１１により、ブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）の情報と、動き推定探索範囲情報Ｓｘ，Ｓｙと、予め定めた最大階層数情報Ｄとを入力して、ブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）を中心とした±Ｓｘ，±Ｓｙを動き探索空間領域情報ＳＡ（ｉ，ｊ，ｔ_ｃ）として決定する（図８参照）。図８に示すように、フレーム画像Ｆ（ｔ_ｃ）の前後２^Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔ_ｃ−２^Ｄ−１≦ｔ≦ｔ_ｃ＋２^Ｄ−１が決定される。

ステップＳ４にて、時空間帯域スペクトラム情報検出部１１により、入力されるフレーム画像列Ｆ（ｔ）における時間方向、水平方向、垂直方向の各々について１次元Ｄ階ウェーブレット分解を行ない、フレーム画像Ｆ（ｔ_ｃ）の前後２^Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔ_ｃ−２^Ｄ−１≦ｔ≦ｔ_ｃ＋２^Ｄ−１における時間・水平・垂直方向の帯域スペクトラム情報Ｐ_τ（ｉ，ｊ，ｔ），Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）を生成する（図９参照）。

時空間帯域スペクトラム情報検出部１１は、フレーム画像列Ｆ（ｔ_０），・・・，Ｆ（ｔ_ｃ），・・・，Ｆ（ｔ_ｒ），・・・，Ｆ（ｔ_ｍ）における空間領域ＳＡ（ｉ，ｊ，ｔ）について、時空間方向に予め規定した最大階数（Ｄ階）の周波領域に分解した後、全画素における時空間方向周波数帯域毎のパワーを算出することができる。例えば、図９に示すように、前後２^Ｄ−１フレームのフレーム画像列Ｆ（ｔ）を時空間方向にＤ階に分解するとすれば、Ｄ＝１では、低周波領域Ｌ^１及び高周波領域Ｈ^１として分割することができ（図９（ａ）参照）、Ｄ＝２では、低周波領域Ｌ^２及び高周波領域Ｈ^１，Ｈ^２として分割することができ（図９（ｂ）参照）、Ｄ＝３では、低周波領域Ｌ^３及び高周波領域Ｈ^１，Ｈ^２，Ｈ^３として分割することができ（図９（ｃ）参照）、Ｄ＝４では、低周波領域Ｌ^４及び高周波領域Ｈ^１，Ｈ^２，Ｈ^３，Ｈ^４として分割することができる（図９（ｄ）参照）。

ステップＳ５にて、動き推定階数決定部１２により、時空間方向の帯域スペクトラム情報Ｐ_τ（ｉ，ｊ，ｔ），Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）と、動き探索の空間領域ＳＡ（ｉ，ｊ，ｔ）と、ブロック位置Ｂ（ｉ，ｊ，ｔ_ｃ）の情報を入力し、時空間方向の各スペクトラムパワーと、時空間方向の各スペクトラムパワーに対してそれぞれ定めたスペクトラムパワー閾値とを比較して、動オブジェクトの動き量が大きいか否かを判別し、動オブジェクトの動き量が大きいと判断される場合には、予め定めた２つの階層数設定値（例えば、最大階層Ｄ＞１と１階層の２つの階層数）のうち大きい方を動き推定階層数として決定し、動オブジェクトの動き量が小さいと判断される場合には、当該予め定めた２つの階層数設定値のうち小さい方を動き推定階層数として決定する。

ステップＳ６にて、動き推定部１３により、動き推定基準フレームの時間位置情報ｔ_ｃと、動き推定参照フレームの時間位置情報ｔ_ｒと、フレーム画像列情報Ｆ（ｔ）と、動き推定階層数情報Ｒ（ｉ，ｊ，ｔ_ｃ）と、ブロック分割情報Ｂ（ｉ，ｊ，ｔ_ｃ）に基づいて、空間Ｒ階分解低周波数成分による再構成画像を用いて、最上位の階層（即ち、元の画像レベル）となるまで順次階数をデクリメントして動き推定の処理を繰り返し（ステップＳ７）、小数画素位置のブロックマッチングの動きベクトル検出を実行し、動きベクトルｖ^０(ｉ，ｊ，ｔ_ｃ)を決定することができる（ステップＳ８）。

例えば、図１０（ａ）に示すように、基準フレームＦ（ｔ_ｃ）の全画素に対して空間方向に２次元２階離散ウェーブレット分解を実行して、周波数帯域毎のパワー値を算出することができ、図１０（ｂ）に示すように、基準フレームＦ（ｔ_ｃ）の空間方向の低周波領域（例えば、ＬＬ^２）のみを抽出して基準フレームＦ（ｔ_ｃ）の低周波領域のみの画像を再構成することができる。

つまり、図１１に示すように、空間Ｒ階分解低周波数成分による再構成画像を用いて、階層型の動き検出を行うことができる。例えば、Ｒ＝４のとき、動き検出開始階数ｎ_ｓ＝４として４階層の低周波領域のみの画像を再構成することができる（図１１（ｄ）参照）。また、動き検出開始階数ｎ_ｓ＝３として３階層の低周波領域（この場合、ＬＬ^３）のみの画像を再構成することができる（図１１（ｃ）参照）。同様に、動き検出開始階数ｎ_ｓ＝２として２階層の低周波領域（この場合、ＬＬ^２）のみの画像を再構成することができ（図１１（ｂ）参照）、動き検出開始階数ｎ_ｓ＝１として１階層の低周波領域（この場合、ＬＬ^１）のみの画像を再構成することができる。

尚、２次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数（即ち、１階）でのみ行うのが好適であり、式（３）で与えられる（図１２参照）。

尚、探索位置における画素位置をxとしたとき、SSD(x)は、画素位置におけるＳＳＤ値（誤差二乗和）を表し、より具体的には、SSD(0)は中心位置におけるＳＳＤ値、SSD(−1)は中心位置から−Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値、SSD(1)は中心位置から＋Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。例えば、図１２の例では、式（３）から２次関数近似して、小数画素位置として例えば−０．３３を得ることができる。

ステップＳ９にて、動き推定部１３により、ブロックＢ（ｉ，ｊ，ｔ_ｃ）ごとに、動き探索空間領域ＳＡ（ｉ，ｊ，ｔ）内で再構成した各階層の空間低周波画像群を用いて階層型動き推定を行い、０階層における動き推定情報を取得するとともに、さらに、１階層目（１階ウェーブレット分解）の水平低周波成分・垂直高周波成分からなる画像（「水平低・垂直高周波画像」）を再構成して動き推定を行い、１階層目（１階ウェーブレット分解）の水平高周波成分・垂直低周波成分からなる画像（「水平高・垂直低周波画像」）を再構成して動き推定を行い、１階層目（１階ウェーブレット分解）の水平高周波成分・垂直高周波成分からなる画像（「水平高・垂直高周波画像」）を再構成して動き推定を行うことにより、動きベクトルｖ^１ _ＬＨ(ｉ，ｊ，ｔ_ｃ)，ｖ^１ _ＨＬ(ｉ，ｊ，ｔ_ｃ)，ｖ^１ _ＨＨ(ｉ，ｊ，ｔ_ｃ)を算出する。

ステップＳ１０にて、動き推定部１３により、水平方向及び垂直方向の帯域スペクトラム情報Ｐ_μ（ｉ，ｊ，ｔ），Ｐ_ｖ（ｉ，ｊ，ｔ）から、１階ウェーブレット分解の水平高周波成分Ｐ^１ _μと垂直高周波成分Ｐ^１ _ｖを抽出する。

ステップＳ１１にて、動き推定部１３により、既算出の動きベクトルｖ^０(ｉ，ｊ，ｔ_ｃ)と、既算出の動きベクトルｖ^１ _ＬＨ(ｉ，ｊ，ｔ_ｃ)，ｖ^１ _ＨＬ(ｉ，ｊ，ｔ_ｃ)，ｖ^１ _ＨＨ(ｉ，ｊ，ｔ_ｃ)と、水平高周波成分Ｐ^１ _μと垂直高周波成分Ｐ^１ _ｖを用いて、式（２）に従って、動きベクトルｖ^０(ｉ，ｊ，ｔ_ｃ)を微修正した動きベクトル、即ち動き推定情報ｖ^０ _ＡＤＪ(ｉ，ｊ，ｔ_ｃ)を算出する。

このように高精度で効率的に求めた動きベクトルを既存の符号化装置の符号化処理や超解像処理に適用することで、更なる高品質化が期待できる。

また、上述の実施例では、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行って得られた動きベクトルに対して、周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像を用いて動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像を用いて動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像を用いて動き推定を行って得られた動きベクトルとを用いて、時空間の周波数帯域パワーの情報に基づいて修正する例を説明した。本発明は、これに限定されず、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行って得られた動きベクトルに対して、周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行って得られた動きベクトルとを用いて、時空間の周波数帯域パワーの情報に基づいて修正することも可能である。

更に、本発明の一態様として、本発明の動き推定装置をコンピュータとして構成させることができる。コンピュータに、前述した本発明の動き推定装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。

本発明によれば、フレーム内挿、画像符号化、画像超解像処理など、動画像の動き推定を用いるあらゆる技術に適用が可能である。

１ 動き推定装置
１０ ブロック分割部
１１ 時空間帯域スペクトラム情報検出部
１２ 動き推定階数決定部
１３ 動き推定部
１０１ ブロック分割情報生成部
１１１ 分解階数・空間領域決定部
１１２ １次元Ｄ階ウェーブレット分解部
１１３ 時空間帯域スペクトラム情報生成部
１２１ 比較制御部
１２２，１２３，１２４ 比較部
１２５ 動き推定階層数決定部
１３１ 階層型動き推定部
１３２ 空間階層ウェーブレット再構成部
１３３ ２次元Ｒ階ウェーブレット分解部
１３４ オクターブ分解パワー成分算出部
１３５ 帯域別パワー推定部
１３６ 空間１階ウェーブレット再構成部
１３７ １階ウェーブレット分解水平・垂直高周波成分抽出部
１３８ 動きベクトル修正部

Claims (5)

1. 動画像の動き推定値を求める動き推定装置であって、
   処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、
   周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第１の動き推定手段と、
   周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行う第２の動き推定手段と、
   周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行う第３の動き推定手段と、
   周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行う第４の動き推定手段と、
   前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、
   を備えることを特徴とする動き推定装置。
2. 動画像の動き推定値を求める動き推定装置であって、
   処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、
   周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第１の動き推定手段と、
   周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像群を用いて動き推定を行う第２の動き推定手段と、
   周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像群を用いて動き推定を行う第３の動き推定手段と、
   周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像群を用いて動き推定を行う第４の動き推定手段と、
   前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、
   を備えることを特徴とする動き推定装置。
3. 前記周波数帯域分解処理は、ウェーブレット変換によるオクターブ分解処理とすることを特徴とする、請求項１又は２に記載の動き推定装置。
4. 動画像の動き推定値を求める動き推定装置として構成するコンピュータに、
   処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、
   周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、
   周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行うステップと、
   周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行うステップと、
   周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行うステップと、
   前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、
   を実行させるためのプログラム。
5. 動画像の動き推定値を求める動き推定装置として構成するコンピュータに、
   処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、
   周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、
   周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像群を用いて動き推定を行うステップと、
   周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像群を用いて動き推定を行うステップと、
   周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像群を用いて動き推定を行うステップと、
   前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、
   を実行させるためのプログラム。
   
   

Images