JP2005318167A - 動画像処理装置、動画像処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】フレーム毎に階層符号化された動画像のフレームの動き量を効率的な処理により推定して間引きフレームを選定する。
【解決手段】ＬＬ法による動き量推定部２００は、ＬＬデコード部２０１で最上位階層又はそれより下位の階層のＬＬサブバンド係数をデコードし、動き量推定計算部２０２で隣接フレームのＬＬサブバンド係数を基にフレームの動き量の推定計算を行う。櫛型法による動き量推定部３００は、符号量計算部３０１で１ＬＨ，１ＨＬサブバンドの符号量を計算し、動き量推定計算部３０２でその符号量比を計算する。推定方法選択部３０５は、処理対象の動画像の種類又は量子化率など応じて、動き量推定部２００又は３００による推定結果を有効な推定結果として選択する。
【選択図】 図１４

Description

本発明は、符号化された動画像の処理に係り、より詳しくは、フレーム毎に階層符号化された動画像のフレームの動き量の推定及びフレーム間引きに関する。

動画像の符号化は、フレーム内符号化とフレーム間符号化の２つに大別することができる。フレーム内符号化とは、動画像を構成する各フレームを独立して符号化し、各フレームの符号を連結して動画像の符号を生成する方式であり、その代表例はＤＶ、motion-JPEG、motion-JPEG2000などである。一方、フレーム間符号化とは、動画像を構成するフレーム列から、連続する複数のフレームを取り出して１つのグループとし，各グループ毎に符号化を行い、グループ毎の符号を連結して動画像の符号を生成する方式であり、その代表例はMPEG1、MPEG2、MPEG4などである。

本発明の対象となる動画像は、上に述べたフレーム内符号化された動画像であって、各フレームが階層符号化された動画像（Motion-JPEG2000の動画像など）である。

なお、本発明に関連する公知文献としては、例えば特許文献１及び２がある。特許文献１には、符号化側において、動画像の各フレームについて、前後のフレーム画像間のブロックマッチングなどによりフレーム間の動きを検出し、動きが変化するフレーム画像のみ符号化し（動きが一様なフレームは間引く）、復号側において、復号したフレーム画像を参照画像とした動き補償フレーム内挿処理により符号化時に間引かれたフレーム画像を合成する技術が記載されている。特許文献２には、ビデオカメラ等の撮像装置で１ライン置きの飛び越し走査により、フレームを偶数ラインのフィールドと奇数ラインのフイールドとに分けて撮像し、それら２フィールドで１フレームを構成するインターレース画像において、フレームを構成するフィールド間で被写体が移動することによる被写体の縦方向エッジ部に生じる「櫛形」について記載されている。

特許第２９１９２１１号公報 特開２００２−６４８３０号公報

動画像のフレームの間引き処理が必要となる場合が少なくない。例えば、ネットワーク上のサーバからクライアントへ動画像の符号を転送する際に、転送時間の短縮やネットワークの負荷の低減などを図るため、サーバ側で動画像の一部フレームを間引くことにより転送フレーム数を削減したいような場合である。

前記特許文献１に記載の技術は、符号化側で、前後のフレームに対し動きの少ないフレームを間引いて符号化することにより、画質の低下を抑えつつフレームレートを低下させる技術の一種である。

さて、フレーム間符号化された動画像は、複数フレームを１グループとしたグループ単位での符号化が行われているので、グループの符号を復号しない限り、個々のフレームを取り出すことができないため、フレーム単位の符号の間引きは容易でない。

これに対し、フレーム内符号化された動画像の場合は、復号することなく個々のフレームの符号を取り出すことができるため、フレーム単位の間引きは容易である。しかし、各フレームの符号からフレーム画像をデコードし、前記特許文献１に記載の技術と同様に、フレーム画像間のブロックマッチングなどで前後フレームとの動きを検出して間引くべきフレームを選定したのでは、処理に時間がかかり効率的でない。

よって、本発明の目的は、フレーム毎に階層符号化された動画像に対し、より効率的な処理によりフレームの動き量を推定する新規な動画像処理装置又は方法を提供することにある。

動画像にはノンインターレース動画像とインターレース動画像とがある。インターレース動画像では、フィールドを単位として符号化するフィールドベース符号化と、フレームを単位として符号化するフレームベース符号化のいずれも用いられる。

本発明のもう１つの目的は、そのような種類の異なる動画像に対して、効率的な処理により動き量を推定する新規な動画像処理装置及び方法を提供することにある。

本発明のもう１つ目的は、効率的な処理により動画像の間引きフレームを適切に選定する動画像処理装置又は方法を提供することにある。

請求項１の発明は、フレーム毎に階層符号化された動画像を処理する動画像処理装置であって、フレームの動き量を推定する第１の動き量推定手段を有し、前記第１の動き量推定手段は、フレームの符号より、最上位階層の低周波数帯域の周波数変換係数をデコードする手段と、該手段によりデコードされた注目フレーム及びその隣接フレームの周波数変換係数に基づいて注目フレームの動き量の推定計算を行う手段とを含むことを特徴とする動画像処理装置である。

請求項２の発明は、フレーム毎に階層符号化された動画像を処理する動画像処理装置であって、フレームの動き量を推定する第１の動き量推定手段を有し、該第１の動き量推定手段は、フレームの符号より、所要の係数サイズを満たす最も上の階層の低周波数帯域の周波数変換係数をデコードする手段と、該手段によりデコードされた注目フレーム及びその隣接フレームの周波数変換係数に基づいて注目フレームの動き量の推定計算を行う手段とを含むことを特徴とする動画像処理装置である。

請求項３の発明は、請求項１又は２の発明による動画像処理装置であって、前記動き量の推定計算を行う手段は、前記デコードする手段によりデコードされた注目フレーム及びその隣接フレームの周波数変換係数の間でブロックマッチングにより局所的な動き量を計算し、その計算値を総合することにより注目フレームの動き量の推定値を求めることを特徴とする動画像処理装置である。

請求項４の発明は、請求項１，２又は３の発明による動画像処理装置であって、動画像は各フレームが２次元ウェーブレット変換を用いる符号化方式により階層符号化されたものであり、前記デコードする手段によりデコードされる周波数変換係数はＬＬサブバンド係数であることを特徴とする動画像処理装置である。

請求項５の発明は、請求項１，２又は３の発明による動画像処理装置であって、インターレース画像における被写体の動き量と被写体の縦方向エッジ部の櫛型の横方向エッジ量との関係を利用して、フレームの符号より動き量を推定する第２の動き量推定手段と、前記第１の動き量推定手段による推定結果又は前記第２の動き量推定手段による推定結果を有効な動き量推定結果として選択する推定方法選択手段とをさらに有することを特徴とする動画像処理装置である。

請求項６の発明は、請求項１，２又は３の発明による動画像処理装置であって、インターレース画像における被写体の動き量と被写体の縦方向エッジ部の櫛型の横方向エッジ量との関係を利用して、フレームの符号より動き量を推定する第２の動き量推定手段と、フレームに対する前記第１の動き量推定手段による推定結果と前記第２の動き量推定手段による推定結果を合成して最終的な動き量の推定結果を得る合成手段とをさらに有することを特徴とする動画像処理装置である。

請求項７の発明は、請求項５の発明による動画像処理装置であって、前記推定方法選択手段は、ノンインターレース動画像及びフィールドベース符号化されたインターレース動画像に対しては前記第１の動き量推定手段による推定結果を有効な動き量推定結果として選択し、フレームベース符号化されたインターレース動画像に対しては前記第２の動き量推定手段による推定結果を有効な動き量推定結果として選択することを特徴とする動画像処理装置である。

請求項８の発明は、請求項５の発明による動画像処理装置であって、前記推定方法選択手段は、ノンインターレース動画像及びフィールドベース符号化されたインターレース動画像に対しては前記第１の動き量推定手段による推定結果を有効な動き量推定結果として選択し、フレームベース符号化されたインターレース動画像に対しては、その量子化率、圧縮率又は符号破棄量の程度に応じて、前記第１の動き量推定手段又は前記第２の動き量推定手段による推定結果を有効な動き量推定結果として選択することを特徴とする動画像処理装置である。

請求項９の発明は、請求項６の発明による動画像処理装置であって、前記合成手段による合成の際の前記第１の動き量推定手段の推定結果に対する重み係数α及び前記第２の動き量推定手段による推定結果に対する重み係数βを設定するα，β設定手段をさらに有し、該α，β設定手段は、フレームベース符号化されたインターレース動画像に対して、その量子化率、圧縮率又は符号破棄量の程度に応じてα，βの値を変更することを特徴とする動画像処理装置である。

請求項１０の発明は、請求項９の発明による動画像処理装置であって、前記α，β設定手段は、フレームベース符号化されたインターレース動画像に対して、その量子化率、圧縮率又は符号破棄量が所定値より小さい場合にはα＝０，β＝１に設定し、その量子化率、圧縮率又は符号破棄量が所定値以上の場合にはα＝１，β＝０に設定することを特徴とする動画像処理装置である。

請求項１１の発明は、請求項９又は１０の発明による動画像処理装置であって、前記α，β設定手段は、ノンインターレース動画像及びフィールドベース符号化されたインターレース動画像に対してα＝１，β＝０に設定することを特徴とする動画像処理装置である。

請求項１２の発明は、請求項５乃至１１のいずれか１項の発明による動画像処理装置であって、前記第２の動き量推定手段は、フレームの符号より特定の複数の階層の特定の周波数帯域の符号量を計算する符号量計算手段と、該符号量計算手段により計算された符号量に基づいて注目フレームの動き量の推定計算を行う動き量推定計算手段とを含むことを特徴とする動画像処理装置である。

請求項１３の発明は、請求項１２の発明による動画像処理装置であって、動画像は各フレームが２次元ウェーブレット変換を用いる符号化方式により階層符号化されたものであり、前記第１の動き量推定手段の前記デコードする手段によりデコードされる周波数変換係数はＬＬサブバンド係数であり、前記第２の動き量推定手段の前記符号量計算手段により１ＬＨサブバンドの符号量sum1LH及び１ＨＬサブバンドの符号量sum1HLが計算され、前記第２の動き量推定手段の前記動き量推定計算手段により符号量比sum1LH/sum1HLが計算されることを特徴とする動画像処理装置である。

請求項１４の発明は、請求項１２の発明による動画像処理装置であって、動画像は各フレームが２次元ウェーブレット変換を用いる符号化方式により階層符号化されたものであり、前記第１の動き量推定手段の前記デコードする手段によりデコードされる周波数変換係数はＬＬサブバンド係数であり、前記第２の動き量推定手段の前記符号量計算手段により１ＬＨサブバンドの符号量sum1LH及び２ＬＨサブバンドの符号量sum2LHが計算され、前記第２の動き量推定手段の前記動き量推定計算手段により符号量比sum1LH/sum2LHが計算されることを特徴とする動画像処理装置である。

請求項１５の発明は、請求項１２の発明による動画像処理装置であって、動画像は各フレームが２次元ウェーブレット変換を用いる符号化方式により階層符号化されたものであり、前記第１の動き量推定手段の前記デコードする手段によりデコードされる周波数変換係数はＬＬサブバンド係数であり、前記第２の動き量推定手段の前記符号量計算手段により１ＬＨサブバンドの符号量sum1LH、１ＨＬサブバンドの符号量sum1HL、２ＬＨサブバンドの符号量sum2LH及び２ＨＬサブバンドの符号量sum2HLが計算され、前記第２の動き量推定手段の前記動き量推定計算手段により符号量比(sum1LH/sum1HL)/(sum2LH/sum2HL)が計算されることを特徴とする動画像処理装置である。

請求項１６の発明は、請求項１乃至１５のいずれか１項の発明による動画像処理装置であって、動画像の間引きフレームを、推定された動き量に基づいて選定する間引きフレーム選定手段をさらに有することを特徴とする動画像処理装置である。

請求項１７の発明は、請求項１６の発明による動画像処理装置であって、前記間引きフレーム選定手段は、所定フレーム数間隔で設定された特定のフレームを間引きフレームの選定対象から除外することを特徴とする動画像処理装置である。

請求項１８の発明は、請求項１６の発明による動画像処理装置であって、前記間引きフレーム選定手段は、連続した所定数のフレームを間引きフレームに選定したときには次のフレームを間引きフレームの選定対象から除外することを特徴とする動画像処理装置である。

請求項１９の発明は、フレーム毎に階層符号化された動画像を処理する動画像処理方法であって、注目フレーム及びその隣接フレームの符号より、所要の係数サイズを満たす最も上の階層の低周波数帯域の周波数変換係数をデコードし、デコードされた注目フレーム及びその隣接フレームの周波数変換係数に基づいて注目フレームの動き量の推定計算を行う動き量推定処理工程を含むことを特徴とする動画像処理方法である。

請求項２０の発明は、フレーム毎に階層符号化された動画像を処理する動画像処理方法であって、注目フレーム及びその隣接フレームの符号より、所要の係数サイズを満たす最も上の階層の低周波数帯域の周波数変換係数をデコードし、デコードされた注目フレーム及びその隣接フレームの周波数変換係数に基づいて注目フレームの動き量の推定計算を行う第１の動き量推定処理工程と、インターレース画像における被写体の動き量と被写体の縦エッジ部の櫛型の横方向エッジ量との関係を利用して、フレームの符号より動き量を推定する第２の動き量推定処理工程とを含むことを特徴とする動画像処理方法である。

請求項２１の発明は、請求項１乃至１８のいずれか１項の発明による動画像処理装置の各手段としてコンピュータを機能させるプログラムである。

請求項２２の発明は、請求項１乃至１８のいずれか１項の発明による動画像処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

請求項１〜１５，１９，２０の発明によれば、低解像度の階層の低周波数帯域係数のデコード処理と低解像度係数空間でのブロックマッチングなどの処理や、特定階層の特定周波数帯域の符号量の計算と符号量比の計算などの処理により動き量を推定するため、フレーム符号よりフレーム画像をデコードし、フレーム画像間のブロックマッチングなどにより動き量を推定する場合に比べ、遙かに少ない処理量で効率的に動き量を推定することができる。また、ノンインターレース動画像、フィールドベース符号化されたインターレース動画像、フレームベース符号化されたインターレース動画像に対し適切な動き量推定が可能である。請求項１６〜１８の発明によれば、効率的な処理により動き量を推定し、推定した動き量に基づき、フレーム間引き後の動画像に違和感を生じさせないように間引きフレームを適切に選定することができる。請求項２１，２２の発明によれば、コンピュータを利用して容易に請求項１〜１８の発明を実施することができる、等々の効果を得られる。

前述のように、本発明の対象とする動画像は、フレーム毎に階層符号化された動画像であり、その典型例がMotion-JPEG2000の動画像である。Motion-JPEG2000の動画像は、その各フレームがJPEG2000のアルゴリズムにより符号化されている。ここで、JPEG2000のアルゴリズムの概要を説明する。

図２４はJPEG2000アルゴリズムを説明するためのブロック図である。図中、１１１は色空間変換・逆変換部、１１２は２次元ウエーブレット変換・逆変換部、１１３は量子化・逆量子化部、１１４はエントロピー符号化・復号化部、１１５はタグ処理部である。

カラー画像は、一般に、図２５に示すように、各コンポーネント(ここではRGB原色系)が、重複しない矩形領域(タイル)に分割され、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となる。圧縮伸長動作は、コンポーネント毎、タイル毎に独立に行なわれる。

まず符号化について説明すると、各コンポーネントの各タイルのデータが、色空間変換・逆変換部１１１に入力されてＹ，Ｃｂ，Ｃｒ（又はＹ，Ｕ，Ｖ）のコンポーネントに色空間変換を施され、各コンポーネント毎に２次元ウェーブレット変換部１１２で２次元ウェーブレット変換(離散ウェーブレット変換)が適用されて周波数帯域（サブバンド）に空間分割される。

図２６に、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、（ａ）に示す各コンポーネントのタイル原画像に対して２次元ウェーブレット変換を施し、（ｂ）に示すデコンポジション・レベル１のサブバンド(1LL,1HL,1LH,1HH)を分離する。引き続き、この階層における低周波数帯域である１LLサブバンドの係数に対して２次元ウェーブレット変換を施し、（ｃ）に示すデコンポジション・レベル２のサブバンド(2LL,2HL,2LH,2HH)を分離する。同様に、2LLサブバンドの係数に対して２次元ウェーブレット変換を施し、（ｄ）に示すデコンポジション・レベル３のサブバンド(3LL,3HL,3LH,3HH)を分離する。

符号化手順の説明を続ける。ウェーブレット変換係数は、サブバンド毎に必要に応じて量子化・逆量子化部１１３によって線形量子化された後、エントロピー符号化・復号化部１１４でエントロピー符号化される。ウェーブレット変換係数をそのまま符号化することも可能であるが、JPEG2000では符号化効率を上げるため、通常、係数値を「ビットプレーン」単位に分解して符号化する（より詳細にはビットプレーンは３つのサブビットプレーンに分割されて符号化される）。この符号化では、指定された符号化の順番に従って符号化の対象となるビットが定められ、量子化・逆量子化部１１３で対象ビット周辺のビットからコンテキストが生成され、このコンテキストと対象ビットから確率推定によって符号が決定される。

このようにして各コンポーネントについてタイル単位で符号化処理が行われる。タグ処理部１１５では、エントロピー符号化・復号化部１１４で生成された符号を１本のコードストリームに結合するとともに、それにタグ情報及びタグを付加する処理を行う。図２７にコードストリームの概略構造を示す。図示のように、コードストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号が続く。そして、コード・ストリームの終端に再びタグが置かれる。

符号化処理においては、量子化後のウエーブレット係数は、各サブバンド毎に「プレシンクト」と呼ばれる重複しない矩形に分割される。図２８に示すように、１つのプレシンクトは、空間的に一致した３つの矩形領域からなり、各プレシンクトは重複しない矩形の「コードブロック」に分割される。このコードブロックがエントロピー符号化の基本単位となる。

前述のように各サブバンドの係数はビットプレーン単位に分解されるが、コードブロック毎にビットプレーンに順位付けを行うことができる。図２９は、その手順を模式的に示している。ここに示す例は、原画像(32x32画素)を16x16画素のタイルに分割した場合で、デコンポジション・レベル１のプレシンクトとコードブロックの大きさはそれぞれ8x8画素、4x4画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。また、図２９では、タイル0・プレシンクト3・コード・ブロック3について、代表的な「レイヤー」の概念をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向(ビットプレーン方向)から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー0、1、2、3は、それぞれ１枚、３枚、１枚、３枚のビットプレーンから成っている。そして、LSBに近いビットプレーンを含むレイヤーほど先に量子化の対象となり、逆にMSBに近いビットプレーンを含むレイヤーは最後まで量子化されずに残ることになる。LSBに近いレイヤーから符号を破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。

復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。タグ処理部１１５は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解する。その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１１３で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部１１４は、このコンテキストとコードストリームとから確率推定によって対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化された係数はサブバンド毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット逆変換を行うことにより、各タイルの各コンポーネントの画像データが復元される。復元された画像データは色空間変換・逆変換部１１１によって元の表色系のデータに戻される。なお、符号化時に量子化が行われた場合には、２次元ウェーブレット逆変換に先立って、量子化・逆量子化部１１３によりウェーブレット係数に逆量子化が施される。

以上の説明から理解されるように、ＪＰＥＧ２０００は、周波数変換として２次元ウェーブレット変換を用いる階層符号化方式の一種である。そして、デコンポジションレベルの高いサブバンドほど上位階層の周波数帯域である。また、ＬＬサブバンド係数は垂直，水平両方向の低周波数成分（ローパス成分）であり、したがって各階層のＬＬサブバンドはその階層における低周波数帯域である。なお、motion-JPEG2000では、インターレース動画像のフィールドベース符号化とフレームベース符号化の両方が可能である。

以下、Motion-JPEG2000の動画像のように、各フレームが独立してJPEG2000により階層符号化されたフレーム符号の系列からなる動画像を処理対象とするものとして、本発明の実施の形態を説明する。

図１は、本発明の実施の形態を説明するためのブロック図である。ここに示す本発明に係る動画像処理装置は、記憶装置などに蓄積されている動画像の符号データ１のフレーム符号からフレームの動き量を推定する動き量推定部２と、推定された動き量に基づいて間引くべきフレームを選定する間引きフレーム選定部３と、選定された間引きフレームの間引き処理を行うフレーム間引き処理部４とから構成される。

この動画像処理装置における処理は、フレームの動き量を推定する処理工程、推定された動き量に基づき間引きフレームを選定する処理工程、選定されたフレームの符号を間引く処理工程とからなる。これらの各処理工程は本発明に係る動画像処理方法の処理工程でもあることは明らかである。

典型的な１実施形態においては、動き量推定部２は、後述するＬＬ法による動き量推定手段からなり、フレーム符号より最上位階層のＬＬサブバンド係数をデコードし、または、所要の係数サイズを持つ最上位階層より下位の階層のＬＬサブバンド係数をデコードし、注目フレーム及びその隣接フレームのデコードされたＬＬサブバンド係数に基づいて注目フレームの動き量を推定する。他の実施形態においては、動き量推定部２は、ＬＬ法の動き量推定手段に加えて、後述の櫛型法による動き量推定手段を含み、それら２つの動き量推定手段を選択的に利用し又は併用してフレームの動き量を推定する。

典型的な実施形態においては、動き量推定部２は、フレームの動き量を「小」「大」の２段階、あるいは、「小」「中」「大」というような３段階又は４段階以上に評価する手段を含む。このような評価手段は動き量推定部２の必須の要素ではないが、動き量に基づいて間引きフレームを選定する際には、何らかの基準によりフレームの推定された動き量を評価する必要があるため、動き量推定部２内に推定された動き量の評価手段を設けることは合理的である。ただし、評価手段を間引きフレーム選定部３に設けることも可能であることは明らかである。

経験則から、動き量の大きなフレームを間引いた場合に比べ、動き量の小さなフレームを間引いたほうが、フレーム間引き後の動画像を再生した時に違和感を生じにくい。したがって、動き量が「小」と「大」の２段階に評価される場合、間引きフレーム選定部３は動き量が「小」のフレームを間引きフレームに選定する。

ただし、前後のフレームとの動きの少ないフレームであっても、連続して多数のフレームが間引かれると、フレーム間引き後の動画像を再生した時に違和感を生じやすい。そこで、１実施形態においては、所定フレーム数間隔で非間引きフレームを設定し、非間引きフレーム以外のフレームのみを対象として間引きフレームの選定を行う。これを図２により説明する。

図２に示す例では、３フレーム間隔で非間引きフレーム（斜線のフレーム）を設定し、非間引きフレームの間にある動き量が「小」のフレームを間引きフレームとして選定する。図２の下段は間引きフレームとして選定されたフレームが間引かれた様子を示している。ただし、これはあくまで例示を目的としており、非間引きフレームの間隔をより大きくすることもできる。

非間引きフレームを設定せずに間引きフレームの選定を行うことも可能である（ただし、動画像の先頭フレームは、動画像のアイコン表示などに利用されることが多いため、非間引きフレームに設定するのが一般に好ましい）。

１実施形態においては、予め非間引きフレームを設定せず、間引きフレームが所定枚数連続した場合には、その次のフレームを非間引きフレームとする方法、換言すれば、連続した間引きフレームの枚数が所定値を超えないように間引きフレームの選定を制御する方法が採用される。

また、動き量推定部２で動き量を３段階以上に評価する場合には、間引きフレーム選定部３で、動き量の小さい方からフレームに優先順位をつけ、優先順位の高いフレームから優先的に間引きフレームに選定することもできる。例えば、３段階に評価された場合に、連続した所定数フレーム毎に（あるいは全フレームについて）予め間引きフレームの割合を決めておき、まず、動き量「小」のフレームを間引きフレームとして選定し、間引きフレーム数が所定割合に達しないときに、所定割合に達するまでは、残りの動き量「中」のフレームから間引きフレームを選定する、というような方法である。この場合においても、前述のように、連続する間引きフレームの枚数を所定枚数を超えないように間引きフレームの選定を行ってもよく、このような方法も本発明に包含される。

フレーム間引き処理部４における間引き処理方法として、動画像データ１の一連のフレームの符号を外部に出力する際に、間引きフレームとして選定されたフレームの符号を間引き、動画像データ１そのものは変更しない処理方法と、選定されたフレームの符号を動画像の符号データ１より実際に削除する処理方法とを選ぶことができる。

以上の述べたような本発明に係る動画像処理装置は、独立した装置として実現される形態と、パソコンなどの汎用コンピュータ、インターネット上のウェブサーバ、ＬＡＮ上のファイルサーバなどのネットワーク機器や、デジタルカメラ、携帯電話機、携帯情報端末、医療用画像処理装置などの動画像データを扱う各種機器の組み込み装置として実現される形態のいずれもとり得るものであり、また、いずれの形態においても、ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせにより実現し得る。

パソコンなどの汎用コンピュータやマイクロコンピュータなどのコンピュータ上でプログラムにより本発明の動画像処理装置もしくは方法を実現する場合について、図３により簡単に説明する。図３において、１１は中央演算処理ユニット（ＣＰＵ）、１２は実行プログラムやデータなどを一時的に記憶するためのメインメモリ、１３はプログラムやデータを蓄積するためのハードディスク装置などの補助記憶装置、１４はネットワークを介して外部機器との通信を行うための通信インターフェース部、１５はＪＰＥＧ２０００のデコーダであり、以上の各部はバス１６に接続されている。ただし、デコーダ１５は必須ではない。

このようなコンピュータを、動き量推定部２、間引きフレーム選定部３及びフレーム間引き処理部４として機能させるためのプログラムは、例えば補助記憶装置１３よりメインメモリ１２にロードされ、ＣＰＵ１１により実行される。処理対象となる動画像の符号データは、例えば補助記憶装置１３に蓄積されており、その全体又は一部がメインメモリ１２に読み込まれて処理される。フレーム間引き処理は、例えば、動画像符号データを通信インターフェース部１４によりネットワークを介して外部装置へ転送する際に行われ、あるいは、メインメモリ１２上の動画像符号データに対して行われる。動き量推定部２においてＬＬ法の動き量推定を行う場合には最上位階層又はそれより下位の階層のＬＬサブバンド係数のデコード処理が必要となるが、このデコード処理をデコーダ１５を利用して行うことも、プログラム処理で行うことも可能である。

このような本発明に係る動画像処理装置をコンピュータ上で実現するためのプログラム（アプリケーションプログラム、デバイスドライバなど）、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの、コンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に含まれる。

以下、本発明の実施の形態について、いくつかの実施例に関し詳細に説明する。

本実施例においては、動画像処理装置の動き量推定部２は、ＬＬ法の動き量推定手段からなり、図４に示すように、ＬＬデコード部２０１、動き量推定計算部２０２及び評価部２０４を含む。動き量推定計算部２０２は注目フレームの直前フレームのＬＬサブバンド係数を一時的に記憶するためのＬＬデータ記憶部２０３を有する。

ＬＬデコード部２０１は、フレーム符号から最上位階層又はそれより下位の階層のＬＬサブバンド係数を得るためのデコード処理を行う手段である。なお、カラー動画像の場合には、Ｙコンポーネントについてデコード処理を行う。動き量推定計算部２０２は、注目しているフレームとその直前フレームのＬＬサブバンド係数に基づいて注目フレームの動き量の推定計算を行う手段である。評価部２０４は、動き量推定計算部２０２による推定計算値から、注目フレームの動き量を前述したような２段階又は３段階以上に評価する手段である。この評価の結果がフレームの推定された動き量として間引きフレーム選定部３に与えられる。なお、前述のように、評価部２０４はＬＬ法の動き量推定手段の必須要素ではない。

ここで、ＬＬ法による動き量推定の原理について図５により説明する。図５において、右側の格子は注目したフレームの最上位階層又はそれより下位の階層のＬＬサブバンド係数を示し、左側の格子は注目フレームの直前フレームの同じ階層のＬＬサブバンド係数を示す。ＬＬ法では、直前フレームのＬＬサブバンド係数に対し２×２の評価ブロックを設定し、注目フレームのＬＬサブバンド係数に対して設定した２×２の参照ブロックをラスタ順に移動しつつ、評価ブロック内の係数と参照ブロック内の係数の一致を調べる。

上段に示す例では、参照ブロックを評価ブロックに対し右方向に１係数分だけ移動させた位置で、評価ブロック内の係数と参照ブロック内の係数とが最もよく一致する。したがって、注目フレームの直前フレームに対する動き量（距離）は１とみることができる。同様に、中段に示す例では、評価ブロックに対し、参照ブロックを下に１係数分移動した位置で最もよく一致するため、動き量（距離）は１とみることができる。同様に、下段に示す例では、評価ブロックに対し、参照ブロックを右に３係数分、下に１係数分移動した位置で最もよく一致するため、動き量（距離）は４とみることができる。

しかしながら、フレームには多くの被写体が含まれており、また、局所的にみると類似した被写体も少ないため、上に述べたようなブロックマッチングにより求めた局所的な動き量をそのままフレームの動き量と推定するのは危険である。したがって、実際には、評価ブロックの位置を移動させてブロックマッチングにより動き量を求め、その結果を総合してフレームの動き量を推定する必要がある。

次に、動き量推定部２の動作について、図６〜図８を参照し、より具体的に説明する。図６は動画像の先頭フレームに対するＬＬデコード部２０１の動作を説明するためのフローチャートである。図７は動画像の第２フレーム以降の各フレームに対する動き量推定部２の動作を説明するためのフローチャートである。図８は動き量推定計算部２０２における動き量推定計算処理のフローチャートである。

まず、図６を参照して説明する。図５に関連して説明したようなＬＬ法による動き量推定を行うためには、ブロックサイズから決まる所要の係数サイズを持つ階層のＬＬサブバンドまでデコードする必要がある。図５の例のように、ブロックサイズが２×２の場合には、例えば３×３係数以上の係数サイズを持つＬＬサブバンドまでデコードする必要がある。そこで、先頭フレームでは、最上位階層より下位階層へ向かってＬＬサブバンドを順次デコードしていき、その係数サイズを確認し、デコードされたＬＬサブバンドの係数サイズが必要サイズ以上となった時にデコード処理を終了し、その時の階層（デコンポジションレベル）を保存する。

すなわち、ＬＬデコード部２０１において、まず、カウンタｎに符号の最上階層のデコンポジションレベルを初期設定する（ｓｔｅｐ１）。そして、デコンポジションレベルｎのＬＬサブバンドをデコードし（ｓｔｅｐ２）、そのＬＬサブバンドの係数サイズがブロックサイズから決まる必要係数サイズ以上であるか判定する（ｓｔｅｐ３）。係数サイズが必要係数サイズに満たないときには、カウンタｎを１だけデクリメントし（ｓｔｅｐ４）、デコンポジションレベルｎのＬＬサブバンドまでデコードし（ｓｔｅｐ２）、その係数サイズを判定し（ｓｔｅｐ３）、係数サイズが必要係数サイズに満たないときには再びカウンタｎをデクリメントし、次階層のＬＬサブバンドをデコードするという動作を繰り返す。デコードしたＬＬサブバンドの係数サイズが必要係数サイズに達したならば（ｓｔｅｐ３，ＹＥＳ）、その時のデコンポジションレベル（階層）すなわちカウンタｎの値を保存し（ｓｔｅｐ５）、先頭フレームに対する処理は終わる。フレームの画像サイズ及びデコンポジションレベル数にもよるが、通常、最上位階層又は次位階層のＬＬサブバンドで係数サイズは必要係数サイズに達する。最終的にデコードされたＬＬサブバンド係数は、第２フレームの動き量推定に利用するためＬＬデータ記憶部２０３に記憶される。

ＪＰＥＧ２０００の説明より明らかなように、最上位階層のＬＬサブバンド係数は、エントロピー復号化によって（逆量子化が必要な場合には、さらに逆量子化によって）デコードされる。次位以下の階層のＬＬサブバンド係数は、同階層のＨＬ，ＬＨ，ＨＨサブバンド係数と、その上の階層のＬＬサブバンド係数を用いた２次元逆ウェーブレット変換によりデコードされる。

次に、図７を参照して、動画像の第２フレーム以降の各フレームに対する動き量推定部２の動作を説明する。

ＬＬデコード部２０１は、現在のフレームの符号から、先頭フレームの処理時に保存したカウンタｎの値に対応する階層（デコンポジションレベル）ｎのＬＬサブバンド係数を得るためのデコード処理が行われる（ｓｔｅｐ１１）。現在のフレームが非間引きフレームならば（ｓｔｅｐ１２，ＹＥＳ）、デコードされた階層ｎのＬＬサブバンド係数が次フレームの動き量推定のためにＬＬデータ記憶部２０３に記憶されるが、動き量推定計算は行わず現在のフレームに対する処理を終了する。

現在のフレームが非間引きフレームでないならば（ｓｔｅｐ１２，ＮＯ）、動き量推定計算部２０２で、現在のフレームのＬＬサブバンド係数とＬＬデータ記憶部２０３に記憶されている直前フレームのＬＬサブバンド係数とに基づき動き量推定計算が行われ、計算値が評価部２０４へ送られ、また、現在のフレームのＬＬサブバンド係数はＬＬデータ記憶部２０３に記憶される（ｓｔｅｐ１３）。評価部２０４で、動き量推定計算部２０２より入力した現在フレームの動き量推定計算値は前述のように２段階又は３段階以上に評価され、評価結果が最終的な推定された動き量として間引きフレーム選定部３へ入力される（ｓｔｅｐ１４）。

このようにして、先頭フレームと非間引きフレームを除いた各フレームについて動き量が順次推定され、間引きフレーム選定部３に送られる。なお、非間引きフレームを設定しない場合にはｓｔｅｐ１２の判定は不要である。

次に、図８を参照し、ｓｔｅｐ１３における動き量推定計算部２０２による動き量推定計算処理について説明する。まず、直前フレームのＬＬサブバンド係数に対し評価ブロックＹが設定され（ｓｔｅｐ２１）、カウンタｉが０に初期設定される（ｓｔｅｐ２２）。次に、評価ブロックと同サイズの参照ブロックＸが現在フレームのＬＬサブバンド係数に対し設定される（ｓｔｅｐ２３）。変数ｍｉｎｄｉｆに十分大きな初期値が設定され、また、カウンタｉが１だけインクリメントされる（ｓｔｅｐ２４）。

評価ブロックと参照ブロックの内部の対応した係数の差の絶対値の合計ｄｉｆｆが計算され（ｓｔｅｐ２５）、ｄｉｆｆの値が変数ｍｉｎｉｄｉｆの値と比較される（ｓｔｅｐ２６）。ｓｔｅｐ２５〜ｓｔｅｐ２９のループの１回目には必ずｄｉｆｆ＜ｍｉｎｉｄｉｆｆとなるので、ｄｉｆｆの値が変数ｍｉｎｉｄｉｆｆに代入され、また、この時の評価ブロックからの参照ブロックの動き量（距離）ｄｉｓｐが変数ＤＩＳＰ（ｉ）に代入される（ｓｔｅｐ２７）。参照ブロックＸがラスタ順に１係数分だけ移動させられ、再び参照ブロックＸと評価ブロックＹの内部の対応係数の差の絶対値の合計ｄｉｆｆが計算され（ｓｔｅｐ２５）、その値と変数ｍｉｎｉｄｉｆｆの値とが比較され（ｓｔｅｐ２６）、ｄｉｆｆ＜ｍｉｎｉｄｉｆｆならば、ｄｉｆｆの値により変数ｍｉｎｉｄｉｆｆが書き換えられ、かつ、その時の評価ブロックに対する参照ブロックの動き量（距離）ｄｉｓｐにより変数ＤＩＳＰ（ｉ）が書き換えられる（ｓｔｅｐ２７）。

ｓｔｅｐ２５〜ｓｔｅｐ２９のループが繰り返され、参照ブロックの移動の余地がなくなると（ｓｔｅｐ２９，ＹＥＳ）、その時の変数ＤＩＳＰ（ｉ）の値は、現在の評価ブロックの位置における図５に関連して説明したような動き量であり、動き量推定計算部２０２に保存される。

評価ブロックＹがラスタ順に１係数分だけ移動させられ（ｓｔｅｐ３０）、ｓｔｅｐ２３にもどり、参照ブロックが現在フレームのＬＬサブバンド係数に対し改めて設定され、ｓｔｅｐ２４で変数ｍｉｎｉｄｉｆｆに初期値が設定され、また、カウンタｉがインクリメントされる。そして、再びｓｔｅｐ２５〜ｓｔｅｐ２９のループが実行される。このループの繰り返し実行により、現在の評価ブロックの位置における動き量が変数ＤＩＳＰ（ｉ）として求まり、保存される。

評価ブロックを移動させつつ、ｓｔｅｐ２３〜ｓｔｅｐ３１のループが繰り返され、評価ブロックの移動の余地がなくなると（ｓｔｅｐ３１，ＹＥＳ）、全てのＤＩＳＰ（ｉ）の合計ｓｕｍを計算し（ｓｔｅｐ３２）、動き量推定計算処理を終了する。

このｓｕｍの値は、局所的な動き量を総合した動き量推定計算値であり、以上の説明から容易に理解されるように評価ブロックの移動回数が多いほど（ＬＬサブバンドの係数サイズが大きいほど）増加する傾向があるが、評価部２０４で動き量を２段階に評価するような場合には格別支障はない。ただし、動き量を多段階に評価する場合などは、ｓｕｍの値を例えばカウンタｉの最終値で割り算して正規化した値を最終的な動き量推定計算値としてもよく、かかる態様も本実施例に含まれる。

以上に説明したように、ＬＬ法では、各フレームの低解像度の階層の低周波数帯域の周波数係数をデコードする処理と、低解像度の係数空間でのブロックマッチングなどの処理によって動き量を推定できるため、フレーム画像をデコードしてフレーム画像間のブロックマッチングなどにより動き量を推定する方法に比べ、遙かに少ない処理量で効率的に動き量を推定することができる。

通常、各フレームの符号化の際にタイリングが行われる。したがって、フレームの一部のタイル（例えば中心部分の１又は複数タイル）のみを対象として、ＬＬサブバンド係数のデコード処理及びＬＬサブバンド係数に基づいた動き量推定計算を行うことも可能である。このようにすれば、フレーム全体を処理対象とした場合に比べ動き量推定のための処理時間をさらに短縮できる。かかる態様も本実施例に含まれる。

また、ＬＬ法は基本的にノンインターレース動画像、フレームベース符号化されたインターレース動画像、フィールドベース符号化されたインターレース動画像のいずれにも適用可能である。フィールドベース符号化されたインターレース動画像の場合には、フレームを構成する２フィールド中の奇数フィールド又は偶数フィールに関してデコード処理などを行えばよい。

なお、注目フレームのＬＬサブバンド係数と隣接フレームのＬＬサブバンドの間で適当な相関関数を用いた相関計算を行って動き量を推定することも可能であり、かかる態様も本発明に含まれる。

さて、評価部２０４における動き量の評価方法は、前述のように２段階に評価する方法と３段階又は４段階以上に評価する方法を選択可能であり、また、評価のための閾値も指定可能である。

図９は評価部２０４における２段階評価のフローチャートである。動き量推定計算値が所定の閾値ｔｈと比較され（ｓｔｅｐ４１）、動き量推定計算値が閾値ｔｈより小さいときはフレームの動き量は「小」と評価され（ｓｔｅｐ４２）、そうでないときは動き量は「大」と評価される（ｓｔｅｐ４３）。

図１０は評価部２０４における３段階評価のフローチャートである。動き量推定計算値は所定の閾値ｔｈ１と比較され（ｓｔｅｐ５１）、動き量推定計算値が閾値ｔｈ１より小さいときは動き量は「小」と評価される（ｓｔｅｐ５２）。動き量推定計算値が閾値ｔｈ１以上ならば、動き量推定計算値は所定の閾値ｔｈ２（＞ｔｈ１）と比較され（ｓｔｅｐ５３）、閾値ｔｈ２より小さいときは動き量は「中」と評価され（ｓｔｅｐ５４）、そうでないときは動き量は「大」と評価される（ｓｔｅｐ５５）。

前述のように、間引きフレーム選定部３における間引きフレームの選定についても、いくつかの方法から選択可能であり、また、非間引きフレームの間隔も指定可能である。

動き量が「小」と「大」に２段階評価される場合に、先頭フレームと非間引きフレームを除いて、動き量が「小」のフレームを間引きフレームに選定する方法の処理フローを図１１示す。この方法では、注目したフレームの推定された動き量が「小」であるか判定し（ｓｔｅｐ６１）、それが「小」ならば注目フレームを間引きフレームに選定する（ｓｔｅｐ６２）。

動き量が２段階評価される場合に、間引きフレームを３フレーム以上連続させないように間引きフレームを選定する方法の処理フローを図１２に示す。この方法では、注目したフレームの前の２フレームが両方とも間引きフレームに選定されているか判定し（ｓｔｅｐ７１）、そうならば注目フレームを間引きフレームに選定しない。前２フレーム中の少なくとも１フレームが間引きフレームに選定されていなければ、注目したフレームの推定された動き量が「小」であるか判定し（ｓｔｅｐ７２）、それが「小」ならば注目フレームを間引きフレームに選定する（ｓｔｅｐ７３）。

動き量が「小」「中」「大」に３段階評価される場合に、非間引きフレーム（動画像の先頭フレームも含む）と次の非間引きフレームの間のＮフレームから、最大Ｍ（＜Ｎ）フレームの間引きフレームを選定する方法の処理フローを図１３に示す。この方法では、まず、Ｎフレームの最初のフレームから動き量が「小」のフレームを探す（ｓｔｅｐ８１）。動き量が「小」のフレームが見つかったならば、そのフレームを間引きフレームに選択し（ｓｔｅｐ８３）、カウンタｉ（初期値は０）をインクリメントする（ｓｔｅｐ８５）。そして、カウンタｉの値がＭより小さいならば（ｓｔｅｐ８５，ＹＥＳ）、ｓｔｅｐ８１に戻り、動き量が「小」の次のフレームを探す。ｓｔｅｐ８５の判定結果がＮＯとなったときには処理を終了する。

動き量が「小」のフレームが見つからないときには（ｓｔｅｐ８２，ＮＯ）、最初のフレーム側から動き量が「中」のフレームを探し（ｓｔｅｐ８６）、見つかったならば、そのフレームを間引きフレームに選定し（ｓｔｅｐ８８）、カウンタｉをインクリメントする（ｓｔｅｐ８９）。カウンタｉの値がＭ未満ならば（ｓｔｅｐ９０，ＹＥＳ）、ｓｔｅｐ８６に戻り、動き量「中」の次のフレームを探す。動き量「中」のフレームが見つからなくなったとき（ｓｔｅｐ８７，ＮＯ）、又は、カウンタｉの値がＭに達したとき（ｓｔｅｐ９０，ＮＯ）、処理を終了する。

本実施例においては、動画像処理装置の動き量推定部２は、ＬＬ法による動き量推定と櫛型法による動き量推定のいずれも可能な構成であり、図１４に示すように、ＬＬ法による動き量推定手段である動き量推定部２００、櫛型法による動き量推定手段である動き量推定部３００、及び、いずれの動き量推定部による推定結果を有効にするか選択する推定方法選択部３０５からなる。

ＬＬ法の動き量推定部２００は図４に示した構成であり、その動作は前記実施例１において説明した通りであるので説明は繰り返さない。

櫛型法の動き量推定部３００は、符号量計算部３０１、動き量推定計算部３０２及び評価部３０３からなる。なお、評価部２０４，３０３は必須要素ではないことは前述した通りである。

まず、櫛型法による動き量推定の原理を説明する。インターレース動画像の場合、前記特許文献１にも記載されているように、フレームを構成する２つのフィールド間で被写体が横方向に移動すると、フレーム上で被写体の縦エッジ部分が”櫛型”にずれる。この櫛型の横方向エッジの長さ（エッジ量）は、被写体の横方向の動き量（速度）に比例する。この様子を図１５に模式的に示す。図１５の（ａ）は動き量が大きい（高速）の場合であり、（ｂ）は動き量が中程度（中速）の場合であり、（ｃ）は動き量が小さい（低速）の場合である。一方、図１５から明らかなように、櫛型の縦方向エッジ量は被写体の動き量にかかわらず略一定である。

そして、ビデオカメラで撮影した動画像などでは被写体の動きとしては左右方向の移動が圧倒的に多い。したがって、櫛型の横方向エッジ量をフレームの動き量の指標として用いることは合理的である。

さて、櫛型の横方向エッジ量は符号データの特定の階層の特定のサブバンド（ＪＰＥＧ２０００では１ＬＨサブバンド）の符号量に反映される。櫛型法の原理は、そのような特定のサブバンドの符号量に着目してフレームの動き量を推定しようとするものである。なお、本願出願人は、インターレース画像の櫛型に着目して動き量を推定する発明を特願２００２−２８９８６７号により特許出願済みである。

次に、櫛型法の動き量推定部３００の動作について説明する。本実施例においては、図１６〜図１８に示す３種類の推定アルゴリズムを選択することができる。

図１６のフローチャートを参照して第１の推定アルゴリズムについて説明する。この場合、符号量計算部３０１により、１ＬＨサブバンドの符号量ｓｕｍ１ＬＨと１ＨＬサブバンドの符号量ｓｕｍ１ＨＬが計算される（ｓｔｅｐ１０１，１０２）。これら符号量は、符号データのタグ情報を基に計算することができる。なお、いずれの符号量もＹコンポーネントの符号量であり、このことは第２及び第３の推定アルゴリズムにおいても同様である。

動き量推定計算部３０２において、それら符号量の比
ｓｐｅｅｄ＝sum1LH/sum1HL
が動き量推定計算値として求められる（ｓｔｅｐ１０３）。ｓｕｍ１ＬＨは櫛型の横方向エッジ量の増加に比例して増加するのに対し、１ＨＬサブバンド係数は縦方向エッジ成分であるので、ｓｕｍ１ＨＬは被写体の左右の動きによっては殆ど変化しない。したがって、ｓｐｅｅｄの値は動き量を反映した値として用いることができる。

評価部３０３において、ｓｐｅｅｄの値が所定の閾値ｔｈ１より大きいときに（ｓｔｅｐ１０４，ＹＥＳ）、動き量は「大」（高速）と評価される（ｓｔｅｐ１０５）。ｓｐｅｅｄが閾値ｔｈ１以下のときには、別の閾値ｔｈ２（＜ｔｈ１）とｓｐｅｅｄの値が比較され（ｓｔｅｐ１０６）、ｓｐｅｅｄがその閾値ｔｈ２より大きいときには動き量は「中」（中速）と評価され（ｓｔｅｐ１０７）、ｓｐｅｅｄが閾値ｔｈ２以下のときに動き量は「小」（低速）と評価される（ｓｔｅｐ１０８）。

このように、櫛型法は、符号データのタグ情報を利用するので、ＬＬ法のようなデコード処理は不要であり、極めて効率的な動き量推定が可能である。ただし、インターレース動画像にのみ適用可能である。

なお、この例では、動き量を「大」「中」「小」の３段階に評価したが、評価段階数は指定可能であり、「大」「小」の２段階に評価することも４段階以上に評価することも可能である。

図１７のフローチャートを参照し、第２の推定アルゴリズムについて説明する。符号量計算部３０１により、１ＬＨサブバンドの符号量ｓｕｍ１ＬＨと２ＬＨサブバンドの符号量ｓｕｍ２ＬＨが計算される（ｓｔｅｐ１１１，１１２）。これら符号量は、符号データのタグ情報を基に計算することができる。そして、動き量推定計算部３０２で、それら符号量の比
ｓｐｅｅｄ＝sum1LH/sum2LH
が動き量推定計算値として求められる（ｓｔｅｐ１１３）。ｓｕｍ１ＬＨは櫛型の横方向エッジ量の増加に比例して増加する。これに対し、２ＬＨサブバンドは横方向エッジ成分であるが、１ＬＨサブバンドより解像度が１レベル低いため１画素単位の櫛型の横方向エッジの影響はほとんどないため、その符号量ｓｕｍ２ＬＨは櫛型の横方向エッジ量が増加しても変化しない。したがって、ｓｐｅｅｄの値はフレームの動き量を反映した値として用いることができる。

評価部３０３において、ｓｐｅｅｄの値が所定の閾値ｔｈ１より大きいときに（ｓｔｅｐ１１４，ＹＥＳ）、動き量は「大」（高速）と評価される（ｓｔｅｐ１１５）。ｓｐｅｅｄが閾値ｔｈ１以下のときには、別の閾値ｔｈ２（＜ｔｈ１）とｓｐｅｅｄの値が比較され（ｓｔｅｐ１１６）、ｓｐｅｅｄがその閾値ｔｈ２より大きいときには動き量は「中」（中速）と評価され（ｓｔｅｐ１１７）、ｓｐｅｅｄが閾値ｔｈ２以下のときに動き量は「小」（低速）と評価される（ｓｔｅｐ１１８）。

なお、動き量を「大」「中」「小」の３段階に評価したが、評価段階数は指定可能であり、「大」「小」の２段階に評価することも４段階以上に評価することも可能である。

図１８のフローチャートを参照し、第３の推定アルゴリズムについて説明する。符号量計算部３０１において、１ＬＨサブバンドの符号量の和ｓｕｍ１ＬＨ、１ＨＬサブバンドの符号量ｓｕｍ１ＨＬ、２ＬＨサブバンドの符号量ｓｕｍ２ＬＨ及び２ＨＬサブバンドの符号量ｓｕｍ２ＨＬが計算される（ｓｔｅｐ１２１〜１２４）。これら符号量は、符号データのタグ情報を基に容易に計算することができる。

そして、動き量推定計算部３０２で、符号量比
ｓｐｅｅｄ＝(sum1LH/sum1HL)／(sum2LH/sum2HL)
が動き量推定計算値として求められる（ｓｔｅｐ１２５）。

１ＬＨ，１ＨＬサブバンドの符号量は櫛型の横方向，縦方向のエッジ量を反映するが、櫛型以外の横方向，縦方向のエッジ量も反映する。したがって、画像中に櫛型以外の長い横エッジが存在する場合には、櫛型の横エッジ量が小さいときにもsum1LH/sum1HLが大きな値をとる。一方、１ＬＨ，１ＨＬサブバンドより１レベル低解像度の２ＬＨ，２ＨＬサブバンドの符号量は、櫛型のエッジのような１画素単位のエッジには殆ど影響を受けないが、それ以外の横方向，縦方向のエッジ量を反映するため、画像中に櫛型以外の長い横エッジがするとsum1LH/sum2HLは大きな値をとる。したがって、前者の符号量比を後者の符号量比で除したｓｐｅｅｄは櫛型以外の長い横エッジの影響を受けにくく、動き量推定精度の向上を期待できる。

評価部３０３においては、ｓｐｅｅｄの値が所定の閾値ｔｈ１より大きいときに（ｓｔｅｐ１２６，ＹＥＳ）、動き量は「大」（高速）と評価される（ｓｔｅｐ１２７）。ｓｐｅｅｄが閾値ｔｈ１以下のときには、別の閾値ｔｈ２（＜ｔｈ１）とｓｐｅｅｄの値が比較され（ｓｔｅｐ１２８）、ｓｐｅｅｄがその閾値ｔｈ２より大きいときに動き量は「中」（中速）と評価され（ｓｔｅｐ１２９）、ｓｐｅｅｄが閾値ｔｈ２以下のときに動き量は「小」（低速）と評価される（ｓｔｅｐ１３０）。

なお、この例でも動き量を「大」「中」「小」の３段階に評価したが、評価段階数は指定可能であり、「大」「小」の２段階に評価することも４段階以上に評価することも可能である。

通常、各フレームの符号化の際にタイリングが行われる。したがって、動き量推定のための符号量計算を、フレームの一部のタイル（例えば中心部分の１又は複数タイル）のみを対象として行うことも可能である。このようにすれば、フレーム全体を処理対象とした場合に比べ動き量推定のための処理時間をさらに短縮できる。かかる態様も本実施例に含まれる。

次に、推定方法選択部３０５について説明する。図１９に、推定方法の選択例を示す。このような選定は、ユーザによる指示があるときにはそれに従い、指示がないときには、推定方法選択部３０５で自動的に行う。以下、自動的な選択について説明する。

ノンインターレース動画像の場合には、推定方法選択部３０５は、ＬＬ法を選択し、櫛型法の動き量推定部３００の動作を抑止し、ＬＬ法の動き量推定部２００の推定結果を有効にする。

インターレース動画像でフィールドベース符号化されている場合も同様にＬＬ法を選択し、ＬＬ法の動き量推定部２００の推定結果を有効にする。

インターレース動画像でフレームベース符号化されている場合には、櫛型法を適用可能であることは勿論であり、またＬＬ法も適用可能である。本実施例では、量子化率（又は圧縮率もしくは符号破棄量）を調べ、それが所定値より「小」のときには、ＬＬ法よりも一般に処理効率に優れた櫛型法を選択し、ＬＬ法の動き量推定部２００の動作を抑止し、櫛型法の動き量推定部３００による推定結果を有効にする。量子化率（又は圧縮率もしくは符号破棄量）が「大」のときには、櫛型の横方向エッジ成分の損失が大きく櫛型法による推定精度が低下するおそれがあるため、ＬＬ法を選択し、ＬＬ法の動き量推定部２００の推定結果を有効にする。

このように、本実施例によれば、ノンインターレース動画像、フィールドベース符号化されたインターレース動画像、フレームベース符号化されたインターレース動画像のそれぞれに対し、それに適した動き量推定方法によって動き量を推定することができる。

フレームベース符号化されたインターレース動画像に対し、上に述べたように量子化率（又は圧縮率もしくは符号破棄量）の大小により推定方法を切り替えると、推定精度の面では一般に有利である。しかし、フレームベース符号化されたインターレース動画像に対して一律に櫛型法を選択することも可能であり、かかる態様は量子化率（又は圧縮率もしくは符号破棄量）の計算が不要になる点で有利である。後者の態様も本実施例に包含されるものである。

量子化率は符号データのタグ情報（メインヘッダ情報）によって知ることができる。圧縮率は、メインヘッダ情報中の画像サイズやビット深さと符号データの符号量とから計算することができる（簡易には符号データの全体サイズそのものを圧縮率として用いることもできる）。符号破棄量も符号データのタグ情報を基に計算することができるが、これについて若干説明する。

以下に説明するように、ＪＰＥＧ２０００には符号の破棄（トランケーション）を行うポスト量子化の機能がある。符号破棄量として、簡易には、総パケット数と実際のパケット数の差、又は、総パケット数に対する実際のパケット数の割合を用いることができる。より精度を上げるには、符号が破棄されたビットプレーン数、又は、総ビットプレーン数に対する破棄されたビットプレーン数の割合を、符号破棄量として用いることができる。いずれの場合も、櫛型の横エッジ量が反映される１ＬＨサブバンドに関する符号破棄量を用いればよい。また、タイリングされている場合に、例えばフレームの中心部分のタイルなど、一部のタイルに関する符号破棄量を用いることもできる。

ここで、ＪＰＥＧ２０００のポスト量子化と符号が破棄されたビットプレーン数の計算方法について説明する。ポスト量子化は量子化テーブルを用いて実行される。図２０はその説明図である。図２０において、（ａ）はポスト量子化前の符号を模式的に示している。本例では３つのコンポーネント（色成分）C0,C1,C2があり、ここでは、その１つのコンポーネントC0を示している。また、階層数(デコンポジションレベル数）は３であり、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ〜１ＨＬ，１ＬＨ，１ＨＨのサブバンドからなり、深さ方向に８つのビットプレーンで構成された符号の例である。（ｂ）はポスト量子化のための量子化テーブルの一例であり、各コンポーネント、各サブバンド毎に符号が破棄されるビットプレーンの枚数（トランケート数）が記述されている。（ｃ）はコンポーネントC0のトランケーション例である。コンポーネントC0に関しては、３ＬＬサブバンドはトランケート数は１であるので、８枚のビットプレーン中、最下位の１枚が破棄される。１ＨＨサブバンドについては、トランケート数は７であるので、８枚のビットプレーンのうち下位の７枚が破棄される。このようにして、すべてのサブバンドについて、量子化テーブルの値に従って符号を破棄した後の符号が（ｄ）に模式的に示されている。

次に、トランケート数の算出方法について説明する。図２１はその説明図である。図２１の上段に示すように、トランケーションを行う前の総ビットプレーン数は、元データのビットプレーン数（桁数）と、ウェーブレットで増えるビットプレーン数（桁数）と、色変換で増えるビットプレー数（桁数）の和である。また、下段に示すように、ゼロビットプレーン数（コーディングされなかったビットプレーン数）と、コーディングされたビットプレーン数と、トランケート（符号破棄）されたビットプレーン数の和が総ビットプレーン数である。このことから、トランケート数は、総ビットプレーン数からゼロビットプレーン数とコーディングされたビットプレーン数を差し引くことにより求まることが分かる。そして、ゼロビットプレーン数は、ＪＰＥＧ２０００の符号データを構成するパケットのヘッダ（パケットヘッダ）に記述されている。また、パケットヘッダに記述されているコーディングパス数から、コーディングされたビットプレーン数を計算することができる。

櫛型法では１ＨＬサブバンドの符号破棄量が重要であるので、上に述べた方法により符号データの１ＬＨサブバンドのトランケート数（又は総ビットプレーン数に対するトランケート数の割合）を符号破棄量として求めることができる。この計算のためにはタグ情報を解析するのみでよく、デコード処理は不要である。

なお、以上の推定法の選択は、通常、動画像を単位として行う。したがって、量子化率又は圧縮率もしくは符号破棄量は動画像の先頭フレームの符号データから求めればよい。ただし、各フレームで量子化率（又は圧縮率もしくは符号破棄量）を計算し、それに基づきフレーム単位で動き量推定方法を選択することも可能である。

図２２は、以上説明した推定方法選択の手順例を示すフローチャートである。ユーザ指定がある場合は、ｓｔｅｐ１５１〜１５２により推定方法が選択される。ユーザ指定がない場合は、ｓｔｅｐ１５３〜１５８で推定方法が自動的に選択される。

間引きフレーム選定部３の動作は、前記実施例１の場合と同様であるので説明を繰り返さない。

本実施例においては、動画像処理装置の動き量推定部２は、図２３に示すように、ＬＬ法の動き量推定手段を構成するＬＬデコード部２０１、動き量推定計算部２０２及びＬＬデータ記憶部２０３と、櫛型法による動き量推定手段を構成する符号量計算部３０１及び動き量推定計算部３０２を備える。これら各部の機能は前記実施例１，２において説明した通りであるので説明を繰り返さない。

本実施例に係る動き量推定部２は、さらに、ＬＬ法の動き量推定部２０２による動き量推定計算値ＳＰＥＥＤ１と、櫛型法の動き量推定計算部３０２の動き量推定計算値ＳＰＥＥＤ２の合成値
ＳＰＥＥＤ＝α・ＳＰＥＥＤ１＋β・ＳＰＥＥＤ２
（α，βは正規化及び重み付けのための係数，α＋β＝１）
を求める合成部４０１と、合成値ＳＰＥＥＤを２段階又は３段階以上に評価する評価部４０３と、合成部４０１に対し係数α，βの値を設定するα，β設定部４０２を備える。なお、評価部４０３は動き量推定部２の必須要素ではないことは前述した通りである。

処理される動画像が、ノンインターレース動画像又はフィールドベース符号化されたインターレース動画像の場合には、α，β設定部４０２はα＝１、β＝０に設定する。したがって、ＳＰＥＥＤ＝ＳＰＥＥＤ１となり、実質的にＬＬ法による動き量推定結果が最終的な推定結果となる。この場合、符号量計算部３０１及び動き量推定計算部３０２の動作を抑止してもよい。

処理される動画像が、フレームベース符号化されたインターレース動画像の場合には、α，β設定部４０２は、ユーザからの指定があるときは指定に従ってα，βの値を設定するが、ユーザにより指定がないときには、量子化率（又は圧縮率もしくは符号破棄量）に応じたα，βの値を自動的に設定する（ただし、１≧α≧０、１≧β≧０、α＋β＝１）。すなわち、量子化率（又は圧縮率もしくは符号破棄量）を算出し、それが小さい場合には櫛型法による推定精度が良好であるので、α＜βとなるようなα，βの値を設定してＳＰＥＥＤ２に対する重みを上げる。量子化率（又は圧縮率もしくは符号破棄量）が大きい場合には、ＬＬ法の推定精度が良好であるのでα＞βとなるようなα，βの値を設定してＳＰＥＥＤ１に対する重みを上げる。また、量子化率（又は圧縮率もしくは符号破棄量）が中程度の場合には例えばα＝β＝０．５に設定する。

なお、量子化率（又は圧縮率もしくは符号破棄量）が所定値より小さい場合にα＝０，β＝１に設定し、量子化率（又は圧縮率もしくは符号破棄量）が所定値以上の場合にα＝１，β＝０に設定することも可能であり、この場合は実質的に図１９に示した推定方法の選択が行われることになる。かかる態様も本実施例に含まれる。

また、フレーム内に量子化率又は符号破棄量の小さい部分（ＲＯＩ領域など）と量子化率又は符号破棄量の大きい部分（ＲＯＩ領域の外側など）とが混在する場合がある。このような場合に対応するため、フレーム内の局所的な量子化率又は符号破棄量を算出し、それに従ってフレーム内でα，βの値を切り替えることも可能である。かかる態様も本実施例に包含される。

以上のように、本実施例によればノンインターレース動画像、フィールドベース符号化されたインターレース動画像、フレームベース符号化されたインターレース動画像のそれぞれに対し、効率的な処理により動き量を適切に推定することができる。

間引きフレーム決定部３及びフレーム間引き処理部４は前記実施例１と同様であるので、その説明は繰り返さない。

ここまで本発明に係る動画像処理装置に関して説明したが、その処理もしくは動作の説明は本発明に係る動画像処理方法における処理手順の説明でもあることは明らかである。よって、本発明に係る動画像処理方法についての同様の説明は省略する。

また、各フレームをＪＰＥＧ２０００で符号化した動画像を処理するものとして実施の形態を説明したが、各フレームの符号化方式はＪＰＥＧ２０００に限定されるものではない。ウェーブレット変換その他の周波数変換を使用する階層符号化方式によって各フレームが符号化された動画像ならば、前述のＬＬ法による動き量推定が可能であることは明らかである。また、２次元ウェーブレット変換その他の周波数変換を使用し階層符号化する方式であって、特定の階層の特定の周波数帯域（サブバンド）の符号量に櫛型の横エッジ量が反映されるよう符号化方式により各フレームが符号化された動画像ならば、前述の櫛型法による動き量推定が可能であることは明らかである。

本発明の実施の形態を説明するためのブロック図である。 フレーム間引きの説明図である。 本発明をコンピュータを利用して実施する形態の説明のためのブロック図である。 実施例１における動き量推定部のブロック図である。 ＬＬ法による動き量推定原理の説明図である。 実施例１における先頭フレームに対する処理を説明するためのフローチャートである。 実施例１における第２フレーム以降の各フレームに対する処理を説明するためのフローチャートである。 ＬＬ法による動き量推定の説明のためのフローチャートである。 動き量の２段階評価のフローチャートである。 動き量の３段階評価のフローチャートである。 間引きフレーム選定の説明のためのフローチャートである。 間引きフレーム選定の説明のためのフローチャートである。 間引きフレーム選定の説明のためのフローチャートである。 実施例２における動き利用推定部のブロック図である。 インターレース画像の櫛型と動き量との関係を示す図である。 櫛型法による動き量推定の説明のためのフローチャートである。 櫛型法による動き量推定の説明のためのフローチャートである。 櫛型法による動き量推定の説明のためのフローチャートである。 動き量推定方法の選択方法の説明図である。 ＪＰＥＧ２０００における符号破棄の説明図である。 符号が破棄されたビットプレーン数の算出方法の説明図である。 動き量推定方法選択を説明するためのフローチャートである。 実施例３における動き量推定部のブロック図である。 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。 ＪＰＥＧ２０００におけるタイリングの説明図である。 ＪＰＥＧ２０００におけるウェーブレット変換の説明図である。 ＪＰＥＧ２０００のコードストリームのフォーマットを示す図である。 ＪＰＥＧ２０００におけるタイル、サブバンド、プレシンクト、コードブロックの関係を示す図である。 ＪＰＥＧ２０００における符号形成の説明図である。

符号の説明

１ 動画像の符号データ
２ 動き量推定部
３ 間引きフレーム選定部
４ フレーム間引き処理部
２００ ＬＬ法の動き量推定部
２０１ ＬＬデコード部
２０２ 動き量推定計算部
２０３ ＬＬデータ記憶部
２０４ 評価部
３００ 櫛型法による動き量推定部
３０１ 符号量計算部
３０２ 動き量推定計算部
３０３ 評価部
３０５ 推定方法選択部
４０１ 合成部
４０２ α，β設定部
４０３ 評価部

Claims (22)

1. フレーム毎に階層符号化された動画像を処理する動画像処理装置であって、
   フレームの動き量を推定する第１の動き量推定手段を有し、
   前記第１の動き量推定手段は、フレームの符号より、最上位階層の低周波数帯域の周波数変換係数をデコードする手段と、該手段によりデコードされた注目フレーム及びその隣接フレームの周波数変換係数に基づいて注目フレームの動き量の推定計算を行う手段とを含むことを特徴とする動画像処理装置。
2. フレーム毎に階層符号化された動画像を処理する動画像処理装置であって、
   フレームの動き量を推定する第１の動き量推定手段を有し、
   前記第１の動き量推定手段は、フレームの符号より、所要の係数サイズを満たす最も上の階層の低周波数帯域の周波数変換係数をデコードする手段と、該手段によりデコードされた注目フレーム及びその隣接フレームの周波数変換係数に基づいて注目フレームの動き量の推定計算を行う手段とを含むことを特徴とする動画像処理装置。
3. 請求項１又は２に記載の動画像処理装置において、
   前記動き量の推定計算を行う手段は、前記デコードする手段によりデコードされた注目フレーム及びその隣接フレームの周波数変換係数の間でブロックマッチングにより局所的な動き量を計算し、その計算値を総合することにより注目フレームの動き量の推定値を求めることを特徴とする動画像処理装置。
4. 請求項１，２又は３に記載の動画像処理装置において、
   動画像は各フレームが２次元ウェーブレット変換を用いる符号化方式により階層符号化されたものであり、
   前記デコードする手段によりデコードされる周波数変換係数はＬＬサブバンド係数であることを特徴とする動画像処理装置。
5. インターレース画像における被写体の動き量と被写体の縦方向エッジ部の櫛型の横方向エッジ量との関係を利用して、フレームの符号より動き量を推定する第２の動き量推定手段と、
   前記第１の動き量推定手段による推定結果又は前記第２の動き量推定手段による推定結果を有効な動き量推定結果として選択する推定方法選択手段とをさらに有することを特徴とする請求項１，２又は３に記載の動画像処理装置。
6. インターレース画像における被写体の動き量と被写体の縦方向エッジ部の櫛型の横方向エッジ量との関係を利用して、フレームの符号より動き量を推定する第２の動き量推定手段と、
   フレームに対する前記第１の動き量推定手段による推定結果と前記第２の動き量推定手段による推定結果を合成して最終的な動き量の推定結果を得る合成手段とをさらに有することを特徴とする請求項１，２又は３に記載の動画像処理装置。
7. 請求項５に記載の動画像処理装置において、
   前記推定方法選択手段は、ノンインターレース動画像及びフィールドベース符号化されたインターレース動画像に対しては前記第１の動き量推定手段による推定結果を有効な動き量推定結果として選択し、フレームベース符号化されたインターレース動画像に対しては前記第２の動き量推定手段による推定結果を有効な動き量推定結果として選択することを特徴とする動画像処理装置。
8. 請求項５に記載の動画像処理装置において、
   前記推定方法選択手段は、ノンインターレース動画像及びフィールドベース符号化されたインターレース動画像に対しては前記第１の動き量推定手段による推定結果を有効な動き量推定結果として選択し、フレームベース符号化されたインターレース動画像に対しては、その量子化率、圧縮率又は符号破棄量の程度に応じて、前記第１の動き量推定手段又は前記第２の動き量推定手段による推定結果を有効な動き量推定結果として選択することを特徴とする動画像処理装置。
9. 前記合成手段による合成の際の前記第１の動き量推定手段の推定結果に対する重み係数α及び前記第２の動き量推定手段による推定結果に対する重み係数βを設定するα，β設定手段を有し、
   前記α，β設定手段は、フレームベース符号化されたインターレース動画像に対して、その量子化率、圧縮率又は符号破棄量の程度に応じてα，βの値を変更することを特徴とする請求項６に記載の動画像処理装置。
10. 請求項９に記載の動画像処理装置において、
    前記α，β設定手段は、フレームベース符号化されたインターレース動画像に対して、その量子化率、圧縮率又は符号破棄量が所定値より小さい場合にはα＝０，β＝１に設定し、その量子化率、圧縮率又は符号破棄量が所定値以上の場合にはα＝１，β＝０に設定することを特徴とする動画像処理装置。
11. 請求項９又は１０に記載の動画像処理装置において、
    前記α，β設定手段は、ノンインターレース動画像及びフィールドベース符号化されたインターレース動画像に対してα＝１，β＝０に設定することを特徴とする動画像処理装置。
12. 請求項５乃至１１のいずれか１項に記載の動画像処理装置において、
    前記第２の動き量推定手段は、フレームの符号より特定の複数の階層の特定の周波数帯域の符号量を計算する符号量計算手段と、該符号量計算手段により計算された符号量に基づいて動き量の推定計算を行う動き量推定計算手段とを含むことを特徴とする動画像処理装置。
13. 請求項１２に記載の動画像処理装置において、
    動画像は各フレームが２次元ウェーブレット変換を用いる符号化方式により階層符号化されたものであり、
    前記第１の動き量推定手段の前記デコードする手段によりデコードされる周波数変換係数はＬＬサブバンド係数であり、
    前記第２の動き量推定手段の前記符号量計算手段により１ＬＨサブバンドの符号量sum1LH及び１ＨＬサブバンドの符号量sum1HLが計算され、前記第２の動き量推定手段の前記動き量推定計算手段により符号量比sum1LH/sum1HLが計算されることを特徴とする動画像処理装置。
14. 請求項１２に記載の動画像処理装置において、
    動画像は各フレームが２次元ウェーブレット変換を用いる符号化方式により階層符号化されたものであり、
    前記第１の動き量推定手段の前記デコードする手段によりデコードされる周波数変換係数はＬＬサブバンド係数であり、
    前記第２の動き量推定手段の前記符号量計算手段により１ＬＨサブバンドの符号量sum1LH及び２ＬＨサブバンドの符号量sum2LHが計算され、前記第２の動き量推定手段の前記動き量推定計算手段により符号量比sum1LH/sum2LHが計算されることを特徴とする動画像処理装置。
15. 請求項１２に記載の動画像処理装置において、
    動画像は各フレームが２次元ウェーブレット変換を用いる符号化方式により階層符号化されたものであり、
    前記第１の動き量推定手段の前記デコードする手段によりデコードされる周波数変換係数はＬＬサブバンド係数であり、
    前記第２の動き量推定手段の前記符号量計算手段により１ＬＨサブバンドの符号量sum1LH、１ＨＬサブバンドの符号量sum1HL、２ＬＨサブバンドの符号量sum2LH及び２ＨＬサブバンドの符号量sum2HLが計算され、前記第２の動き量推定手段の前記動き量推定計算手段により符号量比(sum1LH/sum1HL)/(sum2LH/sum2HL)が計算されることを特徴とする動画像処理装置。
16. 動画像の間引きフレームを、推定された動き量に基づいて選定する間引きフレーム選定手段をさらに有することを特徴とする請求項１乃至１５のいずれか１項に記載の動画像処理装置。
17. 請求項１６に記載の動画像処理装置において、
    前記間引きフレーム選定手段は、所定フレーム数間隔で設定された特定のフレームを間引きフレームの選定対象から除外することを特徴とする動画像処理装置。
18. 請求項１６に記載の動画像処理装置において、
    前記間引きフレーム選定手段は、連続した所定数のフレームを間引きフレームに選定したときには次のフレームを間引きフレームの選定対象から除外することを特徴とする動画像処理装置。
19. フレーム毎に階層符号化された動画像を処理する動画像処理方法であって、
    注目フレーム及びその隣接フレームの符号より、所要の係数サイズを満たす最も上の階層の低周波数帯域の周波数変換係数をデコードし、デコードされた注目フレーム及びその隣接フレームの周波数変換係数に基づいて注目フレームの動き量の推定計算を行う動き量推定処理工程を含むことを特徴とする動画像処理方法。
20. フレーム毎に階層符号化された動画像を処理する動画像処理方法であって、
    注目フレーム及びその隣接フレームの符号より、所要の係数サイズを満たす最も上の階層の低周波数帯域の周波数変換係数をデコードし、デコードされた注目フレーム及びその隣接フレームの周波数変換係数に基づいて注目フレームの動き量の推定計算を行う第１の動き量推定処理工程と、
    インターレース画像における被写体の動き量と被写体の縦エッジ部の櫛型の横方向エッジ量との関係を利用して、フレームの符号より動き量を推定する第２の動き量推定処理工程とを含むことを特徴とする動画像処理方法。
21. 請求項１乃至１８のいずれか１項に記載の動画像処理装置の各手段としてコンピュータを機能させるプログラム。
22. 請求項１乃至１８のいずれか１項に記載の動画像処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images