JP2002500402A

JP2002500402A - 拡張可能な階層的モーション推定を行う装置及び方法

Info

Publication number: JP2002500402A
Application number: JP2000526903A
Authority: JP
Inventors: ソンスゥドン，; ツィハオチャン，; ヤ−チンツァン，; ラヴィクリシュナマルシー，
Original assignee: サーノフコーポレイション
Priority date: 1997-12-31
Filing date: 1998-12-31
Publication date: 2002-01-08
Also published as: US6208692B1; EP1042734A1; CN1283291A; WO1999034331A1; KR20010033797A; AU1947099A; CN1215439C

Abstract

(57)【要約】高度の拡張性により階層的ブロック・ベースのモーション推定を行う装置と付随する方法が開示される。本発明は、画像シーケンス内の各画像フレームをＭ値ピラミッドに分解する。画素値を表示する異なるダイナミック・レンジがＭ値ピラミッドの異なるレベルに対し用いられ、それにより複数の異なる「Ｐビット」レベル、即ち、複数の異なるＭ値ピラミッド・アーキテクチャを生成する。本発明の拡張可能な階層的モーション推定により、入手可能なプラットフォーム・ソースおよび／またはユーザの選択に従い、１つのＭ値ピラミッド・アーキテクチャから他のＭ値ピラミッド・アーキテクチャへの切り換えの柔軟性が提供される。

Description

【発明の詳細な説明】

【０００１】本書は、1997年12月31日に出願された、出願番号第09/002,258号の一部継続出
願である。

【０００２】

【発明の属する技術分野】

本発明は一般に画像シーケンスの符号化システムに関わり、より詳細には、高
度な拡張性により階層的ブロック・ベースのモーション推定を行う装置と随伴す
る方法に関わる。

【０００３】

【従来の技術】

ビデオ画像シーケンス等の画像シーケンスは、通常、画像フレームまたは画像
映像を含む。移動物体を含むビデオの再生には、通常、秒当たり30フレームのフ
レーム速度が必要で、各フレームはおそらくはメガバイトを超す情報を含有して
いる。結果として、このような画像シーケンスを伝送または格納するには、伝送
帯域幅または格納容量のいずれかを大量に必要とする。必要となる伝送帯域幅ま
たは格納容量を減少させるために、フレーム・シーケンスは、シーケンス内の冗
長情報が格納または伝送されないように圧縮される。テレビ、ビデオ会議や、CD
-ROMのアーカイブは、効率的なビデオ・シーケンスの符号化からもたらされる利
益の適用例である。

【０００４】一般に、画像シーケンスを符号化するにあたっては、１シーンにおけるあるフ
レームから次のフレームへの物体の動きに関する情報が、符号化処理において重
要な役割を果たす。ほとんどの画像シーケンス内の連続フレーム間に高い冗長性
が存在するために、モーション推定／補正として知られる手法を用いて、充分な
データ圧縮が達成できる。即ち、符号器は、符号化された領域に対してずれてい
る領域に対する差分のみを符号化する。つまり、モーション推定は、１またはそ
れ以上の参照フレームに対する現行フレームの（例えば、ブロックまたはマクロ
ブロック等の）領域についての動きの方向や大きさ（モーション・ベクトル）を
判断する処理である。それに対して、モーション補正は、現行フレームの予測（
予測画像）を生成するモーション・ベクトルを用いる処理である。現行フレーム
と予測フレーム間の差分は、結果として残余信号（エラー信号）を生じさせる。
残余信号は現行フレーム自身より実質的に少ない情報を含有する。これにより、
ビットの符号化における有意な保存が、残余信号と、残余信号に対応するモーシ
ョン・ベクトルのみを符号化し伝送することにより実現される。

【０００５】しかしながら、符号器の設計者は、モーション推定処理の精度を向上させて、
残余信号を最小化する（即ち、符号化するビットを減少させる）よう試みるか、
または、モーション推定処理においてより低い精度レベルを受認して、計算上の
オーバーヘッドを最小化するよう試みるか、いずれかの方法に取り組まねばなら
ない。つまり、フレーム・シーケンスからモーション・ベクトルを判断するには
、フレーム間を集中して検索し、モーション情報を判断することが必要である。
検索をより集中させることにより、より多くの計算周期を犠牲にしてより高精度
のモーション・ベクトルの組が生成される。

【０００６】具体的には、システムによっては、いわゆるブロック・ベースのアプローチを
用いて、モーション情報が判断される。単純なブロック・ベースのアプローチに
おいては、現行フレームは数多くの画素ブロック（以下、「現行ブロック」と称
す）に分割される。これらの現行ブロック毎に、画素ブロックに対する先行フレ
ームの選択された検索領域内で検索が行われる。この際画素ブロックは、現行ブ
ロックに「最善に」適合する。この検索は通常、選択された現行ブロックを、先
行フレームの選択された検索領域の同様なサイズの画素ブロックと繰り返し比較
することにより成される。しかしながら、この網羅的検索アプローチによるモー
ション・ベクトルの判断には、検索領域が際だって大きい場合は特に計算の集中
が必要となる。

【０００７】また、他のモーション推定方法は、階層的モーション推定（ＨＭＥ）の概念を
内包する。ＨＭＥにおいて、画像は、多重解像フレームワーク、即ちピラミッド
に分解される。次に、階層的モーション・ベクトルの検索が行われる。ここで検
索は、ピラミッドの最低解像度から最高解像度へ進む。ＨＭＥは、高速かつ効果
的なモーション推定方法として実証されているが、ピラミッドの生成にはなお相
当量の計算周期が必要である。

【０００８】更には、上記のモーション推定方法は容易には拡張可能ではない。つまり、こ
れらのモーション推定方法のアーキテクチャは、ユーザまたは符号器に、異なる
アーキテクチャへの拡張または切り換えの柔軟性を提供しない。この時、異なる
アーキテクチャとは、入手可能な計算リソースおよび／またはユーザの選択肢を
説明するものである。

【０００９】

【発明が解決しようとする課題】

それ故に、階層的ブロック・ベースのモーション推定を高度な拡張性により行
う装置とそれに付随する方法が、本技術分野において求められている。

【００１０】

【課題を解決するための手段】

本発明の一実施形態は、高度な拡張性により階層的ブロック・ベースのモーシ
ョン推定を行う装置と方法である。本発明の拡張可能な階層的モーション推定ア
ーキテクチャは、入手可能なプラットフォーム・リソースおよび／またはユーザ
の選択に従い、１ビット／画素表示から８ビット／画素表示に切り換える柔軟性
を提供する。

【００１１】より詳細には、本発明は、画像シーケンス内の各画像フレームを、例えば４レ
ベルの二値ピラミッド等のＭ値ピラミッドに分解する。画素値を表す異なるダイ
ナミック・レンジが、異なるレベルの二値ピラミッドに用いられ、それにより、
複数の異なる「Ｐビット」レベルを生成する。

【００１２】例えば、８ビットは、Ｍ値ピラミッドの最高レベルにおける各画素値（８ビッ
ト／画素（Ｐ＝８））を表すために用いられる。一方で、１ビットは、Ｍ値ピラ
ミッドの他の全てのレベルにおける各画素値（１ビット／画素（Ｐ＝１））を表
すために用いられる。拡張可能な階層的モーション推定は、Ｍ値ピラミッドのレ
ベルのダイナミックレンジを変更する、即ち、８ビット画素層の１ビット層（レ
ベル）との異なる組み合わせを実行し、様々な計算量の複数のＭ値ピラミッドを
産み出すことにより達成される。このようにして、階層的モーション推定の拡張
性が実行され、計算量、メモリの要求および／または通信帯域幅に呼応すること
ができる。これにより、プラットフォーム適応可能な符号化および計算等の特徴
が提供される。

【００１３】本発明の教示は、添付図面と組み合わされた以下の詳細な説明を考察すること
により、容易に理解できる。

【００１４】

【発明の実施の形態】

図１に、ブロック・ベースのモーション推定のためのモーション・ベクトルを
判断するに際し計算量を減少させる、本発明の装置１００のブロック図を示す。
本発明の好適な実施形態は以下に符号器を用いて説明されるが、本発明は、画像
処理システム一般に採用可能であることは理解されるべきである。更に、本発明
は、様々な符号化基準に準拠する符号器に採用され得る。これらの基準は、それ
に限定されるものではないが、Moving Picture Experts Group Standards（例え
ば、MPEG-1(11172-*)とMPEG-2(13818-*)）、H.261とH.263を含む。

【００１５】装置１００は、符号器、またはより複雑なブロック・ベースのモーション補正
符号化システムの一部である。装置１００は、モーション推定モジュール１４０
と、モーション補正モジュール１５０と、任意の区分化モジュール１５１と、前
処理モジュール１２０と、レート制御モジュール１３０と、変換モジュール１６
０（例えばＤＣＴモジュール等）と、量子化モジュール１７０と、符号器１７０
（例えば可変長符号化モジュール等）と、バッファ１９０と、逆量子化モジュー
ル１７５と、逆変換モジュール１６５（例えば逆ＤＣＴモジュール等）と、減算
器１１５と、加算器１５５とを備える。符号器１００は、複数のモジュールを備
えるが、当業者には、様々なモジュールにより行われる機能は、図１に示すよう
に分割されたモジュールに個別に分けられる必要はないことは理解されよう。例えば、モーション補正モジュール１５０、逆量子化モジュール１７５および逆
ＤＣＴモジュール１６５を備えるモジュールの組は、一般に「埋込み式復号器」
として知られる。

【００１６】図１は、パス１１０上の入力画像（画像シーケンス）を示し、入力画像は、Ｍ
ＰＥＧ基準に従いデジタル化され、輝度信号と２つの色差信号（Ｙ、Ｃ_r、Ｃ_b）
として表される。これらの信号は、各画像（フレーム）が複数のマクロブロック
により表されるように、更に複数の層に分割される。各マクロブロックは、４つ
の輝度ブロックと、１つのＣ_rブロックと、１つのＣ_bブロックを備え、ここでブ
ロックは８×８のサンプル配列と定義される。画像をブロック単位に分割するこ
とにより、２つの連続する画像間の変化を識別する能力が向上し、かつ低振幅変
換された係数の排除を介しての画像圧縮が改善される（以下に論考）。

【００１７】以下の開示では、ＭＰＥＧ基準の用語が用いられるが、本発明においてマクロ
ブロックまたはブロックという用語は、符号化の基礎に用いられる任意のサイズ
または形状の画素ブロックを説明するよう意図されている。広く定義すれば、「
マクロブロック」は、単一の画素と同じだけ小さく、あるいはビデオ・フレーム
全体ほどに大きくとらえることもできる。

【００１８】この好適な実施形態においては、デジタル化された入力画像信号は、前処理モ
ジュール１２０において１またはそれ以上の前処理工程を受ける。更に詳しくは
、前処理モジュール１２０は、Ｍ値ピラミッド生成器１２２とブロック分類器１
２４とを備える。Ｍ値ピラミッド生成器１２２は、平均フィルタ１２３ａと量子
化器１２３ｂを採用し、平均フィルタ１２３ａと量子化器１２３ｂは、各フレー
ムにフィルタをかけ、各フレームを複数の異なる解像度、即ち解像度のＭ値ピラ
ミッドに量子化する。ここで各フレームの異なる解像度は、以下に説明されるよ
うに、階層的な方法で互いに相関づけられる。次に、解像度のピラミッドを用い
て、ブロック分類器１２４は、領域（ブロック）を高アクティビティまたは低ア
クティビティの領域に素早く分類することができる。前処理モジュール１２０に
より行われる機能については、以下で詳細に説明する。

【００１９】パス１１０上の入力画像は、モーション・ベクトルの推定のために、モーショ
ン推定モジュール１４０でも受け取られる。モーション・ベクトルは、モーショ
ン補正により用いられる二次元ベクトルであり、モーション補正は、現行画像の
ブロックの座標位置から参照フレームの座標へオフセットさせる。現行フレーム
内の変化のみが符号化され伝送されるので、チャンネルに伝送される情報量が減
少されることにより、モーション・ベクトルの使用は画像圧縮を大いに向上させ
る。好適な実施形態において、モーション推定モジュール１４０は、前処理モジ
ュール１２０からの情報も受け取り、これによりモーション推定処理の性能が高
められる。

【００２０】モーション推定モジュール１４０からのモーション・ベクトルは、サンプル値
の予測効率を向上させるモーション補正モジュール１５０に受け取られる。モー
ション補正は、前もって復号されたサンプル値を含有する過去および／または未
来の参照フレームへのオフセットを提供するために、モーション・ベクトルを用
いた予測を含み、かつモーション補正は予測エラーを形成するために用いられる
。つまり、モーション補正モジュール１５０は、前もって復号されたフレームと
モーション・ベクトルを用いて、パス１５２上の現行フレームの推定（モーショ
ン補正された予測、または予測された画像）を構成する。この画像補正予測は、
減算器１１５を介して、現行マクロブロックにおけるパス１１０上の入力画像か
ら減算され、パス１５３上のエラー信号または予測残余を形成する。

【００２１】予測残余信号は、例えばＤＣＴモジュール１６０等の変換モジュールに渡され
る。次にＤＣＴモジュールは、予測残余信号の各ブロックに対し、順方向離散的
コサイン変換処理を加え、８×８ブロックのＤＣＴ係数の組を産み出す。離散的
コサイン変換は逆が可能な離散的直交変換であり、ここでＤＣＴ係数は、コサイ
ンを基礎とする1組の関数の振幅を表す。

【００２２】結果として生じる８×８ブロックのＤＣＴ係数は、量子化（Ｑ）モジュール１
７０に受け取られ、ここでＤＣＴ係数が量子化される。量子化処理は、適切に丸
められて整数値を形成する量子化値または量子化スケールの組により、該ＤＣＴ
係数を分割することによってＤＣＴ係数が表されるときの確度を減少させる。量
子化値は、基礎関数の可視性に基づく（可視的な重み付き量子化として知られる
）基準を用いて、各ＤＣＴ係数毎に個別に設定できる。この値を用いてＤＣＴ係
数を量子化することにより、多くのＤＣＴ係数は０に変換され、これにより画像
圧縮効率が改善される。

【００２３】次に、結果として生じる８×８ブロックの量子化されたＤＣＴ係数は、信号接
続１７１を介して、例えば可変長符号化モジュール等の符号器に受け取られる。
ここで量子化係数の二次元ブロックは「ジグザグ」順に走査され、量子化ＤＣＴ
係数の一次元ストリングに変換される。次に、可変長符号化（ＶＬＣ）モジュー
ル１８０は、量子化ＤＣＴ係数のストリングと、マクロブロックの種類やモーシ
ョン・ベクトル等のマクロブロックについての全ての副情報を符号化する。これ
により、ＶＬＣモジュール１８０は、入力画像を有効データ・ストリームに変換
する最終工程を行う。

【００２４】データ・ストリームは、例えば「先入れ先出し」（ＦＩＦＯ）バッファ１９０
等のバッファ内に受け取られる。異なる画像種類と可変長符号化を用いる結果と
して、ビット・レート全体が可変となる。つまり、各フレームを符号化するため
に用いられるビットの数は異なってもよい。これにより、固定レート・チャンネ
ルを含む適用にＦＩＦＯバッファが用いられ、ビット・レートをならすために符
号器の出力がチャンネルに整合される。従って、ＦＩＦＯバッファ１９０からの
パス１９５上の出力信号は入力画像１１０の圧縮表示であり、出力信号は記憶媒
体または電気通信チャンネルに送られる。

【００２５】レート制御モジュール１３０は、ＦＩＦＯバッファ１９０に入るデータ・スト
リームのビット・レートをモニタし調整するよう機能し、データ・ストリームの
伝送後に、復号器側（図示しないレシーバまたはターゲット記憶装置内）のオー
バフローやアンダフローを防止する。固定レート・チャンネルは、復号器内の入
力バッファ（図示しない）に一定レートでビットを搬送すると想定される。ピク
チャ・レートにより決定される規則的間隔で、復号器は即座に入力バッファから
次の画像に対する全ビットを除去する。入力バッファ内のビットが少なすぎる、
即ち、次の画像に対する全ビットが受け取られなかった場合、入力バッファはア
ンダフローし、エラーを生じさせる。同様に、入力バッファ内のビットが多すぎ
る、即ち、画像開始間で入力バッファの容量を超える場合、入力バッファはオー
バフローし、オーバフロー・エラーを生じさせる。従って、レート制御モジュー
ル１３０の仕事は、バッファ１９０の状況をモニタし、符号器により生成される
ビット数を制御することであり、これにより、オーバフローやアンダフローの状
態発生を防止する。レート制御方法は、量子化スケールを調整することにより符
号化ビットの数を制御できる。

【００２６】更には、量子化モジュール１７０から結果として生じる８×８ブロックの量子
化ＤＣＴ係数は、信号接続１７２を介して、逆量子化モジュール１７５と逆ＤＣ
Ｔモジュール１６５に受け取られる。即ちこの段階では、次の符号化の参照フレ
ームとしてＩフレームとＰフレームが用いられるように、符号器は、データの復
号により画像シーケンスのＩフレームとＰフレームを再生成する。

【００２７】図２に、ブロック・ベースのモーション推定のためのモーション・ベクトルの
判断に際して、計算量を減少させる方法２００のフローチャートを示す。つまり
、方法２００は、整合が生じそうな最初の検索領域を素早く定義することにより
、ブロック・ベースのモーション推定方法を改良する。

【００２８】更に詳しくは、方法２００は、ステップ２０５から始まり、ステップ２１０に
進む。ステップ２１０では、Ｍ値ピラミッド（またはＭ値平均ピラミッド）が、
画像シーケンスの各画像フレーム毎に生成される。Ｍ値ピラミッドの生成方法に
ついて、図３、４、１０を用いて、以下詳細に説明する。

【００２９】更に詳しくは、図１０に、画像に対しＭ値ピラミッドを生成する方法１０００
のフローチャートを示す。この方法は、ステップ１００５から始まり、ステップ
１０１０に進む。ステップ１０１０では、オリジナル画像が、図３に示されるよ
うに、画像の平均ピラミッドに分解される。

【００３０】図３は、一般的な平均ピラミッド３００のブロック図を示す。ここで、平均ピ
ラミッドは、複数のレベル３１０，３２０，３３０よりなる。最下のレベル３１
０は、「ｘ」で表される複数の画素３１１を有する画像シーケンスからの元画像
フレームである。通常、これらの画素は、ダイナミック・レンジを有する画素値
により表されるが、この時ダイナミック・レンジは、画素値を表示するために割
り当てられるビット数により制限されている。例えば、（８）ビットが割り当て
られた場合、画素値は２５６の可能な値から１値を取り得る。

【００３１】１つの平均ピラミッドにおいて、次に高位のレベルが、両方向への２つの因子
による低域フィルタリングとダウンサンプリングにより生成され、これにより、
下位レベルの４つの画素値（子）から高位レベルに対する単一画素値（親）を生
成する。これは図３に示されるが、ここで４つの画素３１２ａ〜ｄの各組は、レ
ベル３２０において、単一画素値３２１を生成するために用いられる。今度は、
４つの画素値３２２ａの組がレベル３３０で単一画素値３３１を生成するために
用いられ、以下同様である。ただし本発明は、３つのレベルを有する平均ピラミ
ッドに限定されるものでないことは理解されるべきである。レベルの数は、一般
に、画像のサイズと、次に低い解像度画像を生成するために選択されるダウンサ
ンプリング因子により制限される。従って、平均ピラミッドのレベルの数は、特
定のアプリケーションに対し選択され得る。

【００３２】平均ピラミッドにおいて、親の画素値は、子の４つの画素値の平均をとること
により引き出され、故に平均ピラミッドという用語が用いられている。しかしな
がら、他の測度を用いて、他の種類のピラミッドを生成することができる。例え
ば測度は、４つの子の画素値の中央値に基づくことができる。あるいは、子の画
素の周囲のより大きい領域を加重平均に用いて、汎用低域ピラミッドを得ること
ができる。本発明のために、（例えば、平均ピラミッド、中央値ピラミッド、低
域ピラミッド等の）ピラミッド画像の組を有する、これらの異なる種類の各ピラ
ミッドは、「画像ピラミッド」として広義に分類され得る。この画像ピラミッド
から、Ｍ値ピラミッドが生成される。

【００３３】図１０に戻ると、次に方法１０００は、ステップ１０２０において、Ｍ値ピラ
ミッドを前記平均ピラミッドから生成する。つまり、「Ｍ値ピラミッド」におい
ては、各量子化された画素値が、以下図４に示すように、「Ｍ」個の可能な画素
値のみを取り得るように、画素値が量子化される。例えば、Ｍが２であるならば
、各量子化画素値は１または０の値のみを取り得る。即ち、結果として「二値ピ
ラミッド」となる。

【００３４】このように、画素値を表示する異なるダイナミック・レンジが、二値ピラミッ
ドの異なるレベルに対し用いられ、これにより、複数の異なる「Ｐビット」レベ
ルまたは層を生成する。更には、８ビット／画素を有するＭ値ピラミッドのレベ
ルは、（図１２に「Ｅ」レベルとして示されるように）８ビット・レベルと呼ば
れる。一方では、（例えばブーリアン(Boolean)等の）１ビット／画素を有するＭ値ピラミッドのレベルは、（図１２に「Ｏ」レベルとして示されるように１ビ
ット・レベルと呼ばれる。従って、上記のような平均ピラミッド３００は、複数
の「Ｅ」レベルを備える。これら「Ｅ」および「Ｏ」レベルの区別使用および連
結使用については、更に以下で論考される。

【００３５】図４は、三値ピラミッドを生成する量子化処理のブロック図を示し、ここでＭ
は３である。更に詳しくは、８ビット画素値２５５（４１０ａ）は、子の画素と親の画素間の差分に基づき２ビット画素値１０（４２０ａ）に量子化される。
つまり、親４３０ａと子４１０ａ〜ｄの各々との間で差分が計算され、４つの差
分の各々が次に３つの可能値１０、００、０１に量子化される。従って、画素値
１２８（４１０ｂと４１０ｃ）は画素値００（４２０ｂと４２０ｃ）に量子化さ
れ、画素値０（４１０ｄ）は画素値０１（４２０ｄ）に量子化される。これらの
表示レベルは、モーション推定に用いるビット単位の排他的論理和ベースの費用
関数に適切である。これらのレベルは、特徴検知およびブロック分類にも有用で
ある。Ｍ値ピラミッドは画素値の確度を減少させ、これにより、画像内の「特徴
」の迅速な検知が可能である。特徴は、例えば物体の端部等の、高アクティビテ
ィまたは高強度の領域と定義される。なお、レベル４１０および４３０は平均ピ
ラミッドのレベルであり、一方でレベル４２０は、Ｍ値ピラミッドのレベルであ
る（Ｍ＝３の時）。これらのピラミッドは両方とも、図４に示すように付加レベ
ルを有することができるが、Ｍ値ピラミッドは、平均ピラミッドよりレベルが１
低い。つまり、単一のＭ値ピラミッド・レベルを生成するには、２つの平均ピラ
ミッド・レベル４１０及び４３０が必要とされる。

【００３６】更には、画素値を表すために用いられるビット数の著しい減少は、モーション
推定処理における計算のオーバーヘッドの減少につながる。例えば、画素値が引
き受けることのできる可能な値が少ないので、モーション推定処理において行わ
れるブロック整合操作が促進され得て、これにより、ブロック整合処理全体が単
純化される。

【００３７】Ｍは任意の値でよいが、例えば二値ピラミッド等の「低い順位の」Ｍ値ピラミ
ッドの分解は、例えば三値ピラミッド等の「高い順位の」Ｍ値ピラミッドよりノ
イズに対してより敏感であることが見い出されている。つまり、二値ピラミッド
における量子化された画素値は２つの可能な値から１つのみを取り得るので、ノ
イズによりエラーが生じる可能性があり、画素値は、０の代わりに値１を有する
ように、またはその逆を有するように、間違えて解釈されかねない。しかしなが
ら、「高い順位の」Ｍ値ピラミッドは、より多くの計算上のオーバーヘッドを必
要とする。従って、Ｍが２より大きい場合に、Ｍ値ピラミッド分解が最善に採用
されることが見い出されているが、特定のＭ値ピラミッド分解の選択は、しばし
ば特定のアプリケーションの要求により指示される。一度Ｍ値ピラミッドが生成
されると、方法１０００はステップ１０３０において終了し、図２のステップ２
２０に戻る。

【００３８】ステップ２１０における重要な様態は、画像シーケンスにおける各入力画像に
対し、Ｍ値ピラミッドを生成することであることは理解されるべきである。この
ように、好適な実施形態はＭ値平均ピラミッドを生成するが、例えばＭ値中央値
ピラミッド、Ｍ値低域ピラミッド等の他の種類のＭ値ピラミッドも本発明に採用
できる。

【００３９】あるいは、Ｍ値平均ピラミッド分解の発明の概念は、式の形態で表現され得る
。（ｉ，ｊ）は画像フレーム上での画素の位置を表し、Ｉ（ｉ，ｊ）は位置（ｉ
，ｊ）での強度を表すものとする。更には、Ｉは、０≦Ｉ≦Ｌで、ピラミッド内
のレベルを示すものとし、ここでＬは、該ピラミッドにおける最高のレベルであ
る。すると、平均ピラミッドＸ^l（ｉ，ｊ）は、１≦Ｉ≦Ｌのとき以下のように構成される。

【００４０】

【数１】ここで、Ｘ⁰（ｉ，ｊ）＝Ｉ（ｉ，ｊ）である。

【００４１】図２に戻ると、以下ステップ２２０において、これらの平均ピラミッドからブ
ロック内の特徴等の情報が抽出され得る。一実施形態において、ブロックはマク
ロブロックの８×８サブブロックであるが、本発明は、このブロック・サイズに
限定されるものでないことは理解されるべきである。特に、端部のような特徴は
、ブロック内の強度の変化から抽出され得る。この変化は、レベル１（０≦１≦
Ｌ−１）における平均値とレベルｌ＋１における平均値との差分を計算すること
により表される。しかしながら、強固な特徴を得るために、かつ迅速なモーショ
ン推定を容易にするために、これらの差分は量子化され、Ｍ値ピラミッドを産み
出す。Ｍ値ピラミッドの各レベルは、画像全体にわたるパターンを示し、該パタ
ーンは、端部やゼロ交差のような画像の特徴を識別するか、またはモーション推
定を実行するために用いることができる。

【００４２】例えば、画像の二値ピラミッドＢ^l（ｉ，ｊ）は、以下のように構築できる。

【数２】ここでｌは、二値ピラミッド内のレベルを示す。式１ａは、二値ピラミッドの２
つの値（「０」と「１」）を定義する特定の条件（量子化工程）を示すが、特定
のアプリケーションに従って他の条件または量子化工程を用いて、２つの値（「
０」と「１」）を定義することができる。

【００４３】あるいは、画像の三値ピラミッドＹ^l（ｉ，ｊ）を構築できる。例えば、Ｍ値ピラミッド（Ｍ＝３）におけるパターン値をＹ^l（ｉ，ｊ）で示すと、以下の式が表される。

【数３】

【００４４】 Quant[.]の引数をλで示す。例えば、閾値Ｔを有する三値ピラミッドの場合を
考え、Ｙ^l（ｉ，ｊ）を以下のように定義する。

【数４】

【００４５】この定義は、量子化閾値Ｔ（例えば、好適実施形態において、Ｔは５と選択さ
れる）が特定のアプリケーションに対し適切に選ばれる場合に、対ノイズ強度に
おいて利点を有する。つまり、「不感帯」、例えば|λ|＜Ｔを定義することがで
き、ノイズに起因する画素値のわずかな変動を効果的に除去することができる。
これにより、ゼロ近辺の不感帯を有するいずれのＭ値ピラミッド（Ｍ＞２）にお
いても、ノイズ感度の問題が最小になる。

【００４６】比較的平板な領域（低アクティビティの領域）において、Ｙ^l（ｉ，ｊ）は、多数のゼロ（０）を含有し、一方、端部を含有する領域では、Ｙ^l（ｉ，ｊ）は、多数の（１）を含有する。一度入力画像がＭ値ピラミッドに分解されると、入力画像のブロックが、Ｍ値ピラミッドＹ^l（ｉ，ｊ）を用いる特徴抽出のために分類され得る。つまり、Ｍ値ピラミッドを用いて、計算上の高オーバーヘッドを招くことなく、入力画像の特徴を迅速に検知することができる。検知された特徴を用いて、以下に論考するようなモーション推定処理や、例えば区分モジュール１５１を用いることによる、例えば画像内の領域（物体など）の区分化等の、他の画像処理工程を一層良くすることができる。区分化は、重要な画像処理工程であり、ここで画像の重要な領域が識別され、特別な処置がなされる。例えば、ビデオ会議の利用中の人の顔は、符号化ビットの割当をより多く受ける等の特別な画像処理を要求する。更には、区分化を用いて大きな対象を識別することができ、ここで広範なモーション推定が前記の大きな対象上で行われ得る。

【００４７】これまでの論考では、例として三値ピラミッドが用いられ、量子化閾値または
レベルを特徴識別および分類に割り振ることのできる、１つの可能な方法が示さ
れることが理解されるべきである。一般に、Ｍ≧２のＭ値ピラミッドを、特定の
アプリケーションの要求および／または画像シーケンスの内容に依存する、量子
化閾値の所定の割振とともに用いることができる。

【００４８】図２に戻ると、Ｍ値ピラミッドが生成された後に、方法２００はステップ２２
０に進み、ここでフレームのブロックは、Ｍ値ピラミッドを考慮して、低アクテ
ィビティまたは高アクティビティについて分類される。好適実施形態において「
分類ブロック・サイズ」は８×８ブロックであり、該８×８ブロックは、１２８
ビットにより表される６４Ｍ値の画素値を有する。２５の「アクティビティ閾値
」が設定されるが、ここで、２５以上の画素値がゼロでなければ、８×８ブロッ
クは、高アクティビティ・ブロックとして分類される。そうでない場合８×８ブ
ロックは、低アクティビティ・ブロックとして分類される。更に高位のブロック
分類、例えばマクロブロックを高アクティビティまたは低アクティビティのマク
ロブロックのいずれかに分類することもできる。好適実施形態において、高アク
ティビティとして分類される少なくとも１つのサブブロックを備えるマクロブロ
ックによっても、マクロブロックは高アクティビティとして分類される。「分類
ブロック・サイズ」および「アクティビティ閾値」は、特定のアプリケーション
に従い調整され得て、好適実施形態において選択された上記の値に限定されるも
のではないことは理解されるべきである。

【００４９】図２に戻ると、ブロック分類の後に、方法２００はステップ２３０に進み、こ
こでブロック分類を用いて、モーション推定処理が一層良く行われる。一般に、
著しい画像の特徴を有する領域におけるモーション推定は、絞りの問題に起因す
る、変化に乏しい比較的「平板な領域」（例えば、画像内容が隣接ブロックに非
常に近似している均一な領域）におけるモーション推定より信頼性が高い。それ
故に、一般にモーション推定の信頼性を高めるために上記の分類方法が用いられ
る。しかしながら、モーション推定の適用において、Ｍ値の使用の前に、ブロッ
クをその内容に関し前もって分類する必要はないことは理解されるべきである。
つまり、本発明のＭ値ピラミッドを、（図２の破線で示すように）直接用いるこ
とにより、各種の、または異なるアーキテクチャのモーション推定方法の効率を
高めることができる。

【００５０】より詳しくは、モーション推定は一般に、ブロックごとにラスタ走査順に行わ
れる。計算上のオーバーヘッドまたはコストは一般に、モーション推定処理の間
、全ブロック上にわたり平均して分配される。本発明においては、まず「端部」
ブロック（高アクティビティ・ブロック）のモーション推定が、Ｙ^l（ｉ、ｊ）および／またはＸ^l（ｉ，ｊ）に依存する費用関数を用いて行われる。このアプローチにより画像の特徴が強調され、センサ・ノイズ、量子化ノイズ、および照
度変化があっても、強固で信頼性のあるモーション推定が提供される。費用関数
の一例は、ピラミッドのＭ値レベル上でのビット単位の排他的論理和演算を含み
得て、あるアーキテクチャ上での迅速な方法として実行され得る。費用関数を用
いて、「最善の整合」が判断される。時間ｔ（現在のフレーム）におけるＭ値化
されたブロックＹ^l（ｉ，ｊ，ｔ）と、時間ｔ−１（前のフレーム）における他のＭ値化されたブロックＹ^l（ｍ，ｎ，ｔ−１）を考察しよう。このとき費用関数は、以下のように表される。

【数５】ここではビット単位の排他的論理和演算を表す。この費用関数は、オリジナルの８ビッ
ト画素強度値に用いられる標準的な「絶対差分」の費用関数に比して、実質的な
計算の節減を産み出す。この手順は、Ｍ値ピラミッドをわたり階層的に行われる
。

【００５１】換言すれば、モーション推定方法は高アクティビティ・ブロックで始められる
。図５は、複数のブロック５１０に分割かつ分類された入力フレーム５００を示
す。好適実施形態において、２つのブロック５１０ａが高アクティビティ・ブロ
ックとして分類される。このようにして、まずモーション推定がこれら２つのブ
ロックにおいて行われる。実際に、これらの高アクティビティ・ブロック（高信
頼性の「端部」ブロック）は、非常に高精度のモーション・ベクトルを提供する
可能性が最も高いので、計算上のコストはこれら２つのブロックに対して上昇し
得る。これにより、これら２つのブロックにおいて、画像フレーム５００におけ
る他のブロックにおいてよりも、より集中的なモーション推定が行われる。例え
ば、高アクティビティのブロックを分離してより高精度のモーション・ベクトル
を得たり、「半画素」モーション推定をこれら２つのブロックにおいて行ったり
、より精細な検索の方策を採用することができる。

【００５２】次に、モーション推定が高アクティビティ・ブロックに対し完了した後に、続
いてモーション推定は、画像における低アクティビティ・ブロック（「低信頼性
」ブロック）に伝播する。しかしながら、この伝播は、分類から得られる領域ま
たは対象の区分に依存して知的に行われる。この伝播は、隣接するブロックの動
きに対しての初期化として端部ブロックの動きを用い、かつこの初期化を洗練す
るため、比較的小さい検索範囲を用いることにより行われる。つまり、モーショ
ン推定処理は（例えばらせん順に）ブロック５１０ｂに伝播し、ここで、初期検
索領域は高アクティビティ・ブロックのモーション・ベクトルから導かれる。次
に、この伝播方策は続いて、例えばブロック５１０ｃ等の「平板な」ブロックに
拡張される。「平板な」ブロックは「端部」ブロックに隣接しては置かれない。
かつこの伝播方策は、精緻に検索される領域が比較的小さいので、迅速な計算が
可能であるという利点を有する。更には、モーション推定は符号化をより円滑か
つ容易に行い、このことはモーション情報がビット・ストリームの有意な部分を
形成する「非常に低いビット・レート」（ＶＬＢＲ）の適用において大きな利点
となる。更には、これらのより円滑なモーション推定は、一時的挿入の適用にお
いてより良好に行われると期待できる。

【００５３】最後に、半画素の洗練を用いモーション推定の確度を向上する場合、この分類
方法は計算の節減ももたらす。半画素の洗練は「端部」ブロック上のみに行われ
、比較的平板な画像領域上には行われない。

【００５４】本発明の他の実施形態は、（図１２に示すように）複数のＭ値アーキテクチャ
または構造を、拡張可能な階層的モーション推定達成のために用いることを含む
。例えば、この実施形態においては、４レベルの二値ピラミッドが以下の式によ
り構築される。

【数６】ここで、Ｘ^l（ｉ，ｊ）はｌ番目のレベルの位置（ｉ，ｊ）におけるグレー・レベルを表し、Ｘ_o（ｉ，ｊ）はオリジナル画像を示す。

【００５５】次に、４レベルの二値ピラミッド画像は以下の式により構築される。

【数７】ここで、０≦ｌ≦２であり、

【数８】なお、式（６）および（７）により生成されるＭ値ピラミッドは、式（７）によ
り表されるＭ値ピラミッドの最高レベルを有する、修正された二値ピラミッドを
生成する。つまり、（例えば、二値ピラミッド（Ｍ＝２）等の）Ｍ値ピラミッド
の最高レベルは、平均ピラミッドの最高レベルに置換される。この特別なＭ値ピ
ラミッド・アーキテクチャ１２１０を図１２に示す。好適実施形態においては、
複数のＭ値ピラミッド・アーキテクチャ１２１０、１２２０、１２３０、１２４
０が生成され、拡張可能な階層的モーション推定方法を提供する。

【００５６】より詳しくは、図１２は、４つの計算量の異なるＭ値ピラミッド・アーキテク
チャを示す。Ｍ値ピラミッド・アーキテクチャ１２１０は、３つのビット・レベ
ル（Ｏ）１２１０ａ〜１２１０ｃと、１つの８ビット・レベル（Ｅ）１２１０ｄ
を備える。Ｍ値ピラミッド・アーキテクチャ１２２０は、２つの１ビット・レベ
ル（Ｏ）１２２０ａ、１２２０ｂと、２つの８ビット・レベル（Ｅ）１２２０ｃ
、１２２０ｄを備える。Ｍ値ピラミッド・アーキテクチャ１２３０は、１つの１
ビット・レベル（Ｏ）１２３０ａと、３つの８ビット・レベル（Ｅ）１２３０ｂ
〜１２３０ｄを備える。Ｍ値ピラミッド・アーキテクチャ１２４０は、４つの８
ビット・レベル（Ｅ）１２４０ａ〜１２４０ｄを備える。なお、Ｍ値ピラミッド
・アーキテクチャ１２４０は単純に平均ピラミッドである。

【００５７】動作にあたり、４つ全てのＭ値ピラミッド・アーキテクチャについて、レベル
３（１２１０ｄ〜１２４０ｄ）に対するモーション・ベクトルが、図７に示すよ
うな８×８（７１０）と４×４（７２０）の「タイリング・ブロック」サイズ、
即ち多重スケール・タイリングによる全検索を用いて推定される。多重スケール
（またはＮスケール）・タイリングは、異なる「タイリング・ブロック」サイズ
を用いて、フレームの現行ブロックに対してモーション推定を行う処理である。
例えばＮが３に設定される場合、各フレーム内の各ブロックに対し、３つのモー
ション・ベクトルが生成される。即ち、ブロックは３つの異なるブロック・サイ
ズまたはブロック・スケールにより「タイリング」される。

【００５８】今度は、レベル３に対するモーション・ベクトルがレベル２に伝播され、８×
８および４×４のブロック・サイズにより洗練される。レベル２からのモーショ
ン・ベクトルはレベル１に伝播され、８×８のブロック・サイズにより洗練され
る。レベル１からのモーション・ベクトルはレベル０に伝播され、１６×１６の
ブロック・サイズにより洗練される。しかしながら、本発明は、特定のブロック
数やブロック・サイズに限定されるものではない。実際、任意の数のブロックお
よび・またはブロック・サイズが、本発明により実行され得る。例えば、Ｎスケ
ールのタイリングは、「Ｎスケール・タイリングによるＭ値ピラミッドを採用す
る装置および方法」と題され、1998年6月29日にここに同時に出願された添付特許出願（弁理士証明書SAR 12455、連番09/106,707、ここに参照として包含）に開示されるように、本発明と組み合わせて実行され得る。

【００５９】拡張可能な階層的モーション推定は、階層的モーション推定処理の間にＯレベ
ルをＥレベルに変更することにより達成される。なお、一度Ｍ値ピラミッド・ア
ーキテクチャ１２１０が生成されると、他のＭ値ピラミッド・アーキテクチャ１
２２０〜１２４０に必要なレベルが可能になる。例えば、Ｅレベル１２２０ｃ（
Ｍ値ピラミッドのレベル２）は、単に、二値レベル１２１０ｃを計算するために
以前に生成された平均ピラミッドのレベル２である。同様にＥレベル１２３０ｂ
（Ｍ値ピラミッドのレベル１）は、単に、二値レベル１２１０ｂを計算するため
に以前に生成された平均ピラミッドのレベル１であり、以下同様である。これに
より、Ｍ値ピラミッド１２１０を導き出すために生成された全体の平均ピラミッ
ドが、ある場所、例えばコンピュータ・システムのメモリに後の使用のために格
納される。このようにして、４つの階層的モーション・ベクトル推定アーキテク
チャが得られる。これらのアーキテクチャはＨＭＥ_3B、ＨＭＥ_2B、ＨＭＥ_1B、Ｈ
ＭＥ_0Bと表され、拡張可能な階層的モーション推定処理を提供する。これらのラ
ベルＨＭＥ_3B、ＨＭＥ_2B、ＨＭＥ_1B、ＨＭＥ_0Bは、図１２に示すように、３個の
Ｏ層、２個のＯ層、１個のＯ層、０個のＯ層による階層的モーション推定を指す
。

【００６０】図１１は、Ｍ値ピラミッド上において拡張可能な階層的モーション推定を行う
方法１１００のフローチャートを示す。更に詳しくは、方法１１００はステップ
１１０５から始まりステップ１１１０に進む。ステップ１１１０では、最初のＭ
値ピラミッド・アーキテクチャ（例えば、式６および７の二値ピラミッド（Ｍ＝
２））が、画像シーケンスのフレームに対し選択される。

【００６１】ステップ１１１５では、方法１１００は、現行のＭ値ピラミッド・アーキテク
チャを変更すべきかを問い合わせる。特定のＭ値ピラミッド・アーキテクチャを
変更する決定は、計算量、使用可能なメモリ・リソース、メモリ帯域幅、ユーザ
の選択および／または使用可能な通信帯域幅等の１つ以上の基準に基づいて行う
ことができる。上記の問い合わせに対し否定の回答がなされた場合、方法１１０
０はステップ１１２５に進み、ステップ１１２５では、Ｍ値ピラミッドが、選択
されたＭ値ピラミッド・アーキテクチャに従って生成される。上記の問い合わせ
に対し肯定の回答がなされた場合、方法１１００はステップ１１２０に進み、ス
テップ１１２０では、新規のＭ値ピラミッド・アーキテクチャが現行フレームに
対し選択され（例えば、アーキテクチャ１２１０から１２２０へ変更）、ステッ
プ１１２５に進む。

【００６２】ステップ１１３０では、方法１１００は、Ｍ値ピラミッドの最高レベルから始
まる階層的モーション推定を行う。一度モーション・ベクトルが最高レベルに対
し生成されると、モーション・ベクトルは、上記のようにＭ値ピラミッドのより
低いレベルへ渡される。

【００６３】ステップ１１３５では、方法１１００は、現行Ｍ値ピラミッド・アーキテクチ
ャをＭ値ピラミッド・アーキテクチャの次のレベルに変更すべきかを問い合わせ
る。つまり、方法１１００は、階層的モーション推定処理の間に異なるＭ値ピラ
ミッド・アーキテクチャに切り換えることができる。再度、特定のＭ値ピラミッ
ド・アーキテクチャのレベルを変更する決定は、計算量、使用可能なメモリ・リ
ソース、ユーザの選択および／または使用可能な通信帯域幅等の異なる基準に基
づいて行うことができる。問い合わせに対し否定の回答がなされた場合、方法１
１００はステップ１１４５に進む。問い合わせに対し肯定の回答がなされた場合
、方法１１００はステップ１１４０に進み、ステップ１１４０では、新規のＭ値
ピラミッド・アーキテクチャ（あるいは、例えばＯレベルをＥレベルに置換する
など単に新規のレベル）が、現行フレームに対して選択され、続いてステップ１
１４５に進む。

【００６４】ステップ１１４５では、方法１１００は、現行Ｍ値ピラミッド・アーキテクチ
ャに対する次のレベルがあるかを問い合わせる。問い合わせに対し否定の回答が
なされた場合、方法１１００はステップ１１５０へ進む。問い合わせに対し肯定
の回答がなされた場合、方法１１００はステップ１１３０に戻り、ステップ１１
３０では、階層的モーション推定がＭ値ピラミッド・アーキテクチャの次のレベ
ル上で行われる。

【００６５】ステップ１１５０では、方法１１００は、画像シーケンスに次のフレームがあ
るかを問い合わせる。この問い合わせに対し否定の回答がなされた場合、方法１
１００はステップ１１１５で終了する。問い合わせに対し肯定の回答がなされた
場合、方法１１００はステップ１１１５に戻り、ステップ１１１５では、階層的
モーション推定が画像シーケンスの次のフレームに対し行われる。

【００６６】４つのレベルと４つの異なる二値ピラミッド・アーキテクチャを有する二値ピ
ラミッドを用いて、本発明の階層的モーション推定は、拡張可能なモーション推
定方法を提供する。即ち、ビデオ画像の幅と高さをそれぞれＷ、Ｈとする。画像
シーケンスのフレーム・レートはＦ_rである。画像ブロックのサイズをＮＸＮとする。画像フレームは、Ｈ／Ｎ個の画像部分を含有し、各部分にはＷ／Ｎ個のブ
ロックがある。検索ウィンドウは±Ｍ個の画素を有する。

【００６７】ブロック・マッチングモーション推定方法において、隣接ブロックの検索領域
は重なりあってよい。この重なりあった領域のデータは、チップ上バッファ内部
に格納され、外部メモリ帯域幅を削減することができる。サイズが（Ｎ＋２Ｍ）
×（Ｎ＋２Ｍ）バイトの検索領域と等値のバッファ「Ｄ」を想定する。バッファ
Ｄに対する新規ロード・データ・サイズは、次のブロックが同一の画像部分上に
ある場合、Ｎ×（Ｎ＋２Ｍ）バイトである。完全なバッファは、１つの画像部分
を処理する際に１部分の始まりからロードされる。従って、部分当たりの全体外
部メモリ帯域幅は、境界ブロックの場合を無視すると、約（（Ｎ＋２Ｍ）²＋（（Ｗ／Ｎ）−１）×Ｎ×（２Ｍ＋Ｎ））バイトである。７２０×４８０の画像に
関するＨＭＥ_3Bに対してのメモリ帯域幅要件の導出は、以下により与えられる。

【００６８】レベル３における検索領域は±１６画素に設定される。レベル０、レベル１、
レベル２における検索領域は±３画素に設定される。

【００６９】レベル３において、メモリ帯域幅（バイト）は以下の式により概算される。

【数９】

【００７０】レベル２において、メモリ帯域幅（バイト）は以下の式により概算される。

【数１０】

【００７１】レベル１において、メモリ帯域幅（バイト）は以下の式により概算される。

【数１１】

【００７２】レベル０において、メモリ帯域幅（バイト）は以下の式により概算される。

【数１２】

【００７３】それ故、ＨＭＥ_0Bメモリ帯域幅（バイト／秒）は以下の式により概算される。

【数１３】

【００７４】ＨＭＥ_1B、ＨＭＥ_2B、ＨＭＥ_3Bに対するメモリ帯域幅要件は、ＨＭＥ_0Bに対す
る上記の導出と同様に導き出すことができる。表１は、これら４つの二値ピラミ
ッド・アーキテクチャに対するメモリ帯域幅要件をメガバイト／秒で列記したも
のである。

【表１】

【００７５】表１から、本発明のメモリ帯域幅要件は、Ｏ層がＥ層に変化するにつれ、６．
３４１メガバイト／秒から２９．２０８メガバイト／秒に拡張可能であることが
分かる。

【００７６】なお、本発明は、４つのレベルを有する二値ピラミッドを採用しているが、本
発明はそれに限定されるものではない。実際、異なるレベルを有する他のＭ値ピ
ラミッドが実行され得る。更には、上記のブロック分類（高アクティビティと低
アクティビティ）方法を用いて、使用すべきＭ値ピラミッド・アーキテクチャの
レベルまたは種類を選択することができる。例えば、選択すべきＭ値ピラミッド
・アーキテクチャの種類は、特定フレームの「アクティビティ」（高または低）
に基づくことができる。実際、他の任意のブロック分類方法を本発明に関連づけ
て用いることができる。

【００７７】図８は、本発明を包含するウェーブレット・ベースの符号器８００を示す。符
号器は、ブロック・モーション補正器（ＢＭＣ）かつモーション・ベクトル符号
器８０４、減算器８０２、離散的ウェーブレット変換（ＤＷＴ）符号器８０６、
ビット・レート制御器８１０、ＤＷＴ復号器８１２、出力バッファ８１４を含む
。

【００７８】一般に、上記のように、入力信号はビデオ画像（ビデオ・シーケンスのフレー
ムを定義する画素の二次元配列）である。低ビット・レート・チャンネルを介し
て画像を正確に伝送するには、ビデオ・フレーム・シーケンスの空間的かつ時間
的冗長を大幅に削減しなければならない。これは一般に、連続するフレーム間の
差分のみを符号化し伝送することによりなされる。符号器は３つの機能を有する
。第１に、ＢＭＣとその符号器８０４を用いて、フレーム間に生じるモーション
を表す複数のモーション・ベクトルを産み出す。第２に、モーション・ベクトル
に結び付けられた以前のフレームの再構築版を用いて現在のフレームを予測する
。第３に、予測されたフレームが現在のフレームから減算され、受信機へのモー
ション・ベクトルとともに符号化され伝送される残余のフレームを産み出す。

【００７９】離散的ウェーブレット変換は、ウェーブレット階層的サブ帯域分解を行い、従
来の技術である入力画像のウェーブレット・ツリー表示を産み出す。このような
画像分解を成就するため、画像は２回のサブサンプリングを用いて、高水平・高
垂直（ＨＨ）、高水平・低垂直（ＨＬ）、低水平・高垂直（ＬＨ）、低水平・低
垂直（ＬＬ）の周波数サブ帯域に分解される。次にＬＬサブ帯域がさらに２回サ
ブサンプルされ、ＨＨ、ＨＬ、ＬＨ、ＬＬのサブバンドの組を産み出す。このサ
ブサンプリングは繰り返しなされ、図９に示されるようなサブ帯域の配列を産み
出す。図９では、３回のサブサンプリングが用いられた。実際には６回のサブサ
ンプリングを用いることが好ましい。サブ帯域間の親子依存関係が、親ノードの
サブバンドから子ノードのサブバンドを指し示す矢印のように示される。最低周
波数サブ帯域は左上ＬＬ₁であり、最高周波数サブ帯域は右下ＨＨ₃である。この
例において、全ての子ノードは１つの親を有する。サブ帯域分解についての詳細
な論考は、J. M. Shapiro, による「ウェーブレット係数のゼロツリーを用いる埋設画像の符号化（Embedded Image Coding Using Zerotrees of Wavelet Coeff
icients）」(IEEE Trans. on Signal Processing, 第41巻、第12号、頁3445-62
, 1993年12月)に記載されている。

【００８０】図８のＤＷＴ符号器は、「幅先」または「深度先」のいずれかのパターンにウ
ェーブレット・ツリーの係数を符号化する。幅先パターンは、ビット平面ずつの
パターンにウェーブレット・ツリーを横断する。即ち、全ての親ノードを、次に
全ての子を、次に全ての孫をというように順に量子化する。これに対し、深度先
パターンは、子を介した低・低サブ帯域（ＬＬ₁）（トップ・ダウン）、または低・低サブ帯域を介した子（ボトム・アップ）において、ルートから各ツリーを
横断する。レート制御器８１０による適切な量子化レベルの選択は、上記のよう
に、シーケンスの各フレーム内の各マクロブロック毎に、ビット・レートを制御
する。このように本発明は、異なる変換を用いる各種符号器に適合し得る。

【００８１】図６は、本発明の符号化システム６００を示す。符号化システムは、汎用コン
ピュータ６１０と各種入出力装置６２０を備える。汎用コンピュータは、中央処
理装置（ＣＰＵ）６１２と、メモリ６１４と、画像のシーケンスを受け取り符号
化する符号器６１６を備える。

【００８２】好適実施形態においては、符号器６１６は上記のように単純に符号器１００と
８００である。符号器６１６は、物理的装置で有り得て、通信チャンネルを介し
てＣＰＵ６１２に接続される。あるいは符号器６１６は、ソフトウェア・アプリ
ケーション（または、例えば特殊用途向けＩＣ（ＡＳＩＣ）等のハードウェアと
ソフトウェアの組み合わせ）により代表される。この場合、該ソフトウェア・ア
プリケーションは、例えば磁気または光ディスク等の格納装置からロードされて
、コンピュータのメモリ６１２に置かれる。このように、本発明の符号器１００
は、コンピュータ可読媒体に格納され得る。

【００８３】コンピュータ６１０は、キーボード、マウス、カメラ、ハンディ・ビデオコー
ダ、ビデオ・モニタ等の複数の入出力装置６２０、任意の数の映写装置、またそ
れに限定されるものではないが、テープ・ドライブ、フロッピー・ドライブ、ハ
ード・ディスク・ドライブ、またはコンパクト・ディスク・ドライブを含む格納
装置に接続され得る。入力装置は、符号化されたビデオ・ビットストリームを産
み出すためにコンピュータに入力を提供するか、または、格納装置または映写装
置からビデオ画像のシーケンスを受け取るようよう機能する。最後に、通信チャ
ンネル６３０が示され、ここで符号化システムからの符号化された信号は、（図
示しない）復号システムへ転送される。

【００８４】本発明の教示を包含する様々な実施形態をここに示し詳細に説明してきたが、
当業者であれば、これらの教示を包含する他の多くの多岐にわたる実施形態を容
易に考案できるであろう。

【図面の簡単な説明】

【図１】本発明の符号器のブロック図である。

【図２】ブロック・ベースのモーション推定についてのモーション・ベクトルの判断に
際しての計算量を減少させる方法のフローチャートである。

【図３】一般的な平均ピラミッドのブロック図である。

【図４】Ｍ値ピラミッドを生成する量子化処理のブロック図である。

【図５】複数のブロックに分割かつ分類された入力フレームを示す図である。

【図６】本発明の符号化システムを示す図である。

【図７】多重スケールタイリングによる画素ブロックのブロック図である。

【図８】本発明の装置の第２の実施形態のブロック図である。

【図９】ウェーブレット・ツリーのグラフ表示である。

【図１０】画像に対しＭ値ピラミッドを生成する方法のフローチャートである。

【図１１】Ｍ値ピラミッド上で拡張可能なモーション推定を行う方法のフローチャートで
ある。

【図１２】複数の異なるＭ値ピラミッドのアーキテクチャのブロック図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者ツァン，ヤ−チンアメリカ合衆国，ニュージャージー州，クランベリー，サラトガドライヴ 73 (72)発明者クリシュナマルシー，ラヴィアメリカ合衆国，ニュージャージー州，プレーンズボロ，ハンターズグレンドライヴ 5614 Ｆターム(参考） 5C059 KK08 KK15 KK19 MA00 MA03 MA05 MA23 MA24 MC01 MC11 ME01 NN02 NN28 PP05 PP06 PP16 RC16 RC40 SS07 SS11 SS26 TA46 TC20 UA31 UA32 5L096 EA24 EA45 GA19 HA04

Claims

【特許請求の範囲】

【請求項１】画像シーケンスの画像をＭ値ピラミッドに分解する方法であ
って、（ａ）画像から複数のレベルを有する画像ピラミッドを生成するステップと、（ｂ）Ｍ値ピラミッドの少なくとも２つのＰビット・レベルに対するＰが異な
る、前記画像ピラミッドから複数の前記Ｐビット・レベルを有する前記Ｍ値ピラ
ミッドを生成するステップと、を備えることを特徴とする方法。
【請求項２】前記Ｍ値ピラミッドの少なくとも２つの前記Ｐビット・レベ
ルに対する前記Ｐが１および８であることを特徴とする、請求項１に記載の方法
。
【請求項３】（ｃ）前記Ｍ値ピラミッド上において階層的モーション推定
を行うステップを更に備えることを特徴とする、請求項１に記載の方法。
【請求項４】前記階層的モーション推定を行うステップ（ｃ）が、（ｃ１）前記複数のモーション・ベクトルが前記Ｍ値ピラミッドのより低位の
レベルに階層的に渡される、前記Ｍ値ピラミッドの最高レベルから始まる複数の
モーション・ベクトルを生成するステップと、（ｃ２）前記Ｐを異なる値に変更する必要があるかを、前記Ｍ値ピラミッドの
次のレベルで判断するステップと、（ｃ３）前記ステップ（ｃ２）に従い、前記Ｐを異なる値に変更し、複数のモ
ーション・ベクトルが前記Ｍ値ピラミッドの最低レベルに対し生成されるまで前
記ステップ（ｃ１）と（ｃ２）を繰り返すステップと、を備えることを特徴とする、請求項３に記載の方法。
【請求項５】前記モーション・ベクトル生成ステップ（ｃ１）が、複数の
タイリング・ブロックのサイズに基づき複数のモーション・ベクトルを生成する
ことを特徴とする、請求項４に記載の方法。
【請求項６】（ｃ）基準に応じて前記Ｐを選択的に変更するステップ、を
更に備えることを特徴とする、請求項１に記載の方法。
【請求項７】各画像が少なくとも１つのブロックに分割される前記画像の
シーケンスに対しモーション推定を行う方法であって、（ａ）各Ｍ値ピラミッド・アーキテクチャが複数のＰビット・レベルを備えて
、少なくとも１つの前記Ｍ値ピラミッド・アーキテクチャの少なくとも２つの前
記Ｐビット・レベルに対するＰが異なる、異なるピラミッド・アーキテクチャを
有する複数のＭ値ピラミッドを生成するステップと、（ｂ）階層的モーション推定を行う前記Ｍ値ピラミッド・アーキテクチャの１
つを選択するステップと、（ｃ）複数のモーション・ベクトルが前記選択されたＭ値ピラミッドのより低
位のレベルに階層的に渡される、前記選択されたＭ値ピラミッドの最高レベルか
ら始まる複数のモーション・ベクトルを生成するステップと、を備えることを特徴とする方法。
【請求項８】前記Ｍ値ピラミッド生成ステップ（ａ）が（ａ１）画像に対し平均ピラミッドを生成するステップと、（ａ２）前記平均ピラミッドから前記複数のＭ値ピラミッドを生成するステッ
プと、を備えることを特徴とする、請求項７に記載の方法。
【請求項９】画像シーケンスの画像をＭ値ピラミッドに分解する装置であ
って、画像から複数のレベルを有する画像ピラミッドを生成する画像ピラミッド生成
器と、前記Ｍ値ピラミッドの少なくとも２つの前記Ｐビット・レベルに対するＰが異
なる、前記画像ピラミッドから複数のＰビット・レベルを有する前記Ｍ値ピラミ
ッドを生成するＭ値ピラミッド生成器と、を備えることを特徴とする装置。
【請求項１０】少なくとも１つの入力フレームを有する画像シーケンスを
符号化する装置であって、Ｍ値ピラミッドの少なくとも２つのＰビット・レベルに対するＰが異なる、複
数のＰビット・レベルを有する前記Ｍ値ピラミッドを生成するＭ値ピラミッド生
成器と、前記Ｍ値ピラミッド上で階層的モーション推定を行うモーション推定モ
ジュールとを備える、現行入力フレームの予測画像を生成するモーション補正器
と、変換が複数の係数を産み出す、入力フレームと前記予測画像間の差分信号に前
記変換を加える変換モジュールと、複数の量子化係数を産み出すために、少なくとも１つの量子化スケールにより
前記複数の係数を量子化する量子化器と、前記量子化係数をビットストリームに符号化する符号器と、を備えることを特徴とする装置。