JP2003524314A - 効率的な映像処理のための方法および装置 - Google Patents

Abstract

(57)【要約】 映像圧縮方法およびアクティブデコーダを用いた装置。対応するエンコーダは、符号化されたビットストリームを、オーバーヘッドの大幅な低減を以って生成することが可能である。この生成工程は、画像に固有の構造情報（例えば、画像セグメント化、ジオメトリ、色および／または明度）に基づいて参照フレーム（１０２）を符号化し、次いでこの構造情報に相対する他のフレームを予測することにより、行なわれる。典型的には、予測されたフレームの詳細は、動力学情報（例えば、セグメントモーションデータおよび／または以前に塞がれた領域中の情報を表す関連残余部、ならびに／または不正確なマッチングおよび新規情報の外観、または、モーションそのものにより獲得されないセグメント展開の一部分等）を含む。

Description

【発明の詳細な説明】

【０００１】 （関連出願の相互参照） 本出願は、１９９９年４月１７日に出願された米国仮特許出願第６０／１２９
，８５３号、および１９９９年４月１７に出願された米国仮特許出願第６０／１
２９，８５４号の優先権の利益を主張する。

【０００２】 （発明の分野） 本発明は、概してビデオデータの圧縮、より詳細には、動画データの効率的な
送信および格納のための同期エンコーダおよびスマートデコーダシステムに関す
る。

【０００３】 （発明の背景） （１．簡略な導入） 消費者は、通信のより多くのビデオ集中モードを望むにつれて、限定された帯
域幅の現在の通信モード（例えば、放送、ケーブル、電話回線など）は、値段が
非常に高くなっている。インターネットの導入ならびにそれに続くワールドワイ
ドウェブ、ビデオ会議、およびディジタルかつインタラクティブテレビの人気は
、既存の帯域幅のより効率的利用法を要求する。さらに、ビデオ集中アプリケー
ションは、莫大な格納容量を要求する。ほとんどのコンピュータシステム上への
マルチメディア性能の到来は、ハードドライブなどの従来の格納デバイスを極端
に酷使してきた。

【０００４】 圧縮することで、ディジタルな動画が効率的におよび安価に表され得る。圧縮
による利点は、より多くの情報が所定の時間量内で送信されるか、または所定の
格納メディア内に格納され得ることである。ビデオ圧縮の最終目標は、デコーダ
またはレシーバが、テレビ、ビデオ会議などの具体的適用に適切な方法で、ビデ
オ画像シーケンスを再構成し得る十分な情報を保持しながら、ビデオシーケンス
のビットストリーム、すなわちビデオ情報フローをできるだけ多く削減すること
である。

【０００５】 ほとんどのディジタル信号は、大量の冗長な無用の情報を含む。例えば、静止
ビデオ場面は、各場面においてほぼ同一の画像を生成する。ほとんどのビデオ圧
縮ルーチンは、無用な情報を除去しようとし、関連画像フレームが前の画像フレ
ームによって表現され得、従って各ビデオフレームの全場面を送信する必要性を
なくすことができる。あるいは、動画ＪＰＥＧのようなルーチンは、各ビデオフ
レームを別々に符号化し、時間的冗長性を無視する。

【０００６】 （２．従来の試み） ビデオ画像を適切に圧縮する多くの試みがあった。これらの方法は、一般に次
の２つのカテゴリに分類される：１）空間的冗長性削減、および２）時間的冗長
性削減。

【０００７】 （２．１ 空間的冗長性削減） 最初のタイプのビデオ圧縮は、空間的冗長性の削減に焦点を当てる、すなわち
画像フレーム中の重要な情報のより効率的描写を引き出すために、隣接したピク
セル間の相互関係を利用することである。これらの方法は、より適切には、静止
画像圧縮ルーチンと呼ばれる、なぜならこれらは個々のビデオ画像フレーム上で
かなりうまく動作するが、セクション２．２で説明されるように時間的またはフ
レームからフレームへの冗長性の問題に対処しないからである。通常の静止画像
圧縮方式は、ＪＰＥＧ、ウェーブレットおよびフラクタルを含む。

【０００８】 （２．１．１ ＪＰＥＧ／ＤＣＴに基づいた画像圧縮 静止画像圧縮の最初の通常使用される方法の１つは、直接コサイン変換（ＤＣ
Ｔ）圧縮システムであった。これはＪＰＥＧの中心に位置する。

【０００９】 ＤＣＴは、各ディジタル画像フレームを一連のコサイン波またはコサイン周波
数として表現することによって動作する。後で、コサイン級数の係数が量子化さ
れる。より高い周波数係数が、より低い周波数係数より厳しく量子化される。量
子化の結果は、非常に多くのゼロ係数であり、非常に効率的にエンコードされ得
る。しかし、ＪＰＥＧおよび類似の圧縮方式は、時間的冗長性という非常に重大
な問題に対処しない。

【００１０】 （２．１．２ ウェーブレット） ＤＣＴ圧縮方式に対するわずかな改良として、ウェーブレット変形圧縮方式が
考案された。このシステムは、ＤＣＴに類似しているが、画像フレームが、一連
のコサイン波の代わりに一連のウェーブレットすなわち電磁窓振幅として表され
るという点で主に異なる。

【００１１】 （２．１．３ フラクタル） 別の技術がフラクタル圧縮として公知である。フラクタル圧縮の目標は、画像
を取り込み、そして画像フレームを十分に表す１つの関数または１組の関数を決
定することである。フラクタルは、異なるスケールまたは解像度において自己相
似である物体である、すなわち人がどんな解像度で見ようと、物体は同じままで
ある。理論的には、フラクタルで、単純な方程式が複雑な画像を表し得る場合に
、非常に高圧縮比率が達成可能である。

【００１２】 残念なことには、フラクタル圧縮は、一般的圧縮の成功しそうな方法ではない
。高圧縮比率は、特別に構成された画像のためにのみ、および圧縮プロセスを導
く人間からかなりの助けがある場合のみ、達成可能である。さらに、フラクタル
圧縮は、非常に計算集約型である。

【００１３】 （２．２ 時間的および空間的冗長性削減） 適切な動画圧縮は、ビデオを含むフレームのシーケンス内の時間的および空間
的両方の冗長性の削減を必要とする。時間的冗長性除去は、ビットストリームか
ら前の画像フレームにおいてすでに符号化された情報の除去に関する。ブロック
マッチングは、時間的冗長性除去の現在最も使用されている効果的な方法につい
ての基礎である。

【００１４】 （２．２．１ ブロックに基づいた動き推定） ブロックマッチングにおいて、画像は、均一の大きさのブロック（より一般的
には、ポリゴン）へ細分され、そして各ブロックは、ブロックが再符号化され２
回目のためにビットストリームへ置かれる代わりに、１つのフレームから次のフ
レームへ追跡され、そして動きベクトルによって表される。ブロックマッチング
を使用する圧縮ルーチンの例は、ＭＰＥＧおよびその改変を含む。

【００１５】 ＭＰＥＧは、いわゆるイントラフレーム、つまりＩフレームとして、全体的に
一連の関連フレームの中の第一のフレームをエンコードする。Ｉフレームは、キ
ーフレームの１タイプであり、完全に自己完結型であり、他のいかなる画像フレ
ームと関連して表されない画像フレームを意味する。Ｉフレームを生成するため
に、ＭＰＥＧは、フレームを１６ピクセル×１６ピクセルの四角のブロックに分
けることを含めて、第一のフレーム上に静止画像圧縮を行う。他の（いわゆる「
予測される」）フレームは、Ｉフレームのブロックに関連する他のフレームの相
当するブロックを予測することによってＩフレームに関してエンコードされる。
すなわち、ＭＰＥＧは、他のフレーム内のＩフレームの各ブロックを見つけよう
と試みる。他のフレームになお存在する各ブロックに対して、ＭＰＥＧは、情報
を特定するブロックとともに、ブロックの動きベクトル、つまり運動を送信する
。しかし、ブロックはフレームからフレームへと移動するために、わずかに変化
し得る。Ｉフレームに関連した違いは、残余部として知られている。さらに、ブ
ロックが移動するために、前に隠れていた領域が初めて目に見えるようになり得
る。これらの前に隠れていた領域も、残余部として知られている。すなわち、ブ
ロックの動きが送信される後の集合的な残りの情報は、残余部として知られてお
り、ＪＰＥＧを使用してコード付けされ、画像フレームを完成するためにレシー
バに送信される。

【００１６】 その後のフレームは、Ｉフレームのブロックまたは前の予測されたフレームの
いずれかに関して予測される。さらに、予測は、２方向であり得る、すなわち、
前のＩフレームおよび後のＩフレームの両方または予測されたフレームに関して
である。予測プロセスは、新しいキーフレームが挿入されるまで続き、挿入され
た点で新しいＩフレームがエンコードされ、そしてプロセスは繰り返す。

【００１７】 最新技術であるけれど、ブロックマッチングは、非常に非効率的であり、既知
の物理的特性または画像に本来備わっている他の情報を利用できない。ブロック
方法は、任意かつおおざっぱである。なぜならブロックは画像内の実物体と何の
関係も有さないからである。所定のブロックは、物体の一部、物体の全部、また
は関係のない動きを有する複数の異なる物体さえも含み得る。さらに、近辺の物
体は、類似の動きを有することがよくある。しかし、ブロックは、実物体に相当
しないために、ブロックに基づいたシステムは、ビットストリームをさらに削減
するためにこの情報を使用し得ない。

【００１８】 しかしブロックに基づいたマッチングの別の主な制約が生じる。なぜならブロ
ックに基づいたマッチングによって生成される残余部は、一般的にノイジーがあ
り、不統一であるからである。従って、ブロックに基づいた残余部は、ＤＣＴ、
ウェーブレット、またはフラクタルなどの標準画像圧縮方式を介しての良好な圧
縮には向いていない。

【００１９】 （２．３ 代替物） 最新技術は、具体的にはブロックに基づいた方法が極めて非効率であり、動画
情報についての最適に圧縮されたビットストリームを生成しない点で、改良が必
要であることが十分理解される。その目的に対して、ＭＰＥＧ４などの最新の圧
縮方式が、任意の大きさのブロックを単に使用するのではなく、利用可能であれ
ば、フレーム内の選択された項目の制限された構造的情報を含み得る。いくつか
の圧縮利得が達成されているが、関連したオーバーヘッド情報は、実質的に増加
している。なぜなら動きおよび残余部情報に加えて、これらの方式は、フレーム
内の各物体についての構造的または形の情報もレシーバに送信する必要があると
要求するからである。以上のことであるのは、すべての現在の圧縮方式は、ダム
レシーバ−画像の構造をそれ自体で決定し得ないレシーバ−を使用するからであ
る。

【００２０】 さらに、上記で述べたように、現在の圧縮方法は、他のより効率的な方法が可
能であるかどうかを判定しようと試みることなく、固定の圧縮技術を使用するＪ
ＰＥＧによって圧縮される単なる別の画像フレームとして残余部を扱う。

【００２１】 （３． 本発明の利点） 本発明は、ビデオ圧縮の問題に関する様々な利点を提供する。上記で記載した
ように、ビデオ圧縮の目標は、ビデオフレームのシーケンスを最小のビットスト
リームつまりビデオ情報フローで正確に表すことである。前に述べたように、上
記の空間的冗長性削減方法は、動画圧縮には不適切である。さらに、ＭＰＥＧな
どの現在の時間的および空間的冗長性削減方法は、多くのオーバーヘッド情報を
送信する必要によって貴重なビットストリームのスペースを無駄使いする。

【００２２】 従って、増加された圧縮効率、削減されたオーバーヘッドおよびより小さなエ
ンコードされたビットストリームを示すビデオデータをエンコード（および復号
化）するための改良された技術に対する必要がある。

【００２３】 （発明の要旨） ディジタル動画の圧縮は、関連したビデオフレームのシーケンス内に含まれる
、空間的および時間的両方の無用なまたは冗長な情報が削減されるプロセスであ
る。ビデオ圧縮によって、目に見える十分な方法で再構成される性能を保持しな
がら、フレームのシーケンスが、削減されたビットストリームつまりデータフロ
ーによって表され得る。

【００２４】 ビデオ圧縮の従来の方法は、デコーダを最小限に使用しながら、エンコーダに
（例えば、計算のおよび／または送信の）圧縮負荷の多くを課している。従来の
ビデオエンコーダ／デコーダシステムにおいて、デコーダは「ダム」つまり受動
的である。エンコーダは、すべての計算を行い、デコーダにその決定を伝え、次
に各画像の再構成についての命令と共に、エンコーダへビデオデータを送信する
。

【００２５】 対照的に、本発明は、他の方法ではエンコーダに要求される送信および命令負
荷の多くを行う「スマート」つまりアクティブデコーダを含む。従ってオーバー
ヘッドを削減し、結果的にはるかに小さなエンコードされたビットストリームと
なる。従って、本発明の相当する（すなわち、互換性のある）エンコーダは、非
常に削減されたオーバーヘッドでエンコードされたビットストリームを生成し得
る。このことは、画像に本来備わっている構造的情報（例えば、画像セグメント
化、幾何学的構造、色、および／または輝度）に基づいてレファレンスフレーム
をエンコードし、次に構造的情報に関連する他のフレームを予測することによっ
て達成される。典型的には、予測されるフレームの説明は、基となるレファレン
スフレームから相当する構造（例えば、画像セグメント）の運動を表す（例えば
、セグメントの動きデータ、および／または前にふさがれた領域を取り出す結果
生じる関連した残余部、および／または不正確なマッチング、および新しい情報
の露出、などの）運動情報を含む。デコーダは、予測されるフレームの基となる
構造的情報（およびそれらの間の関係）を独立して判定し得るために、そのよう
な情報は、デコーダに明白に通信される必要はない。そうではなく、エンコーダ
は、デコーダがそれ自身で判定し得ないとエンコーダが知っている情報を送信す
る必要があるだけである。

【００２６】 本発明の別の局面または実施形態において、デコーダおよびエンコーダの両方
は、関連した画像の前のシーケンスに基づいて後の画像について同じ予測をし、
そして（構造的情報それ自体ではなく、または加えて）これらの予測は、後の画
像の実際の値をエンコードするための基礎として使用される。従って、エンコー
ダは、予測値と実際の値との間の差を送信し得るだけで、このことによってもま
たビットストリームは削減される。

【００２７】 本発明のさらに他の局面または実施形態において、デコーダは、セグメントの
順序づけまたはセグメントの連関付け／分離に関するエンコーダによって行われ
る決定を再生し得、それによりそのような決定はデコーダに送信される必要がな
くなる。

【００２８】 本発明のさらに別の局面または実施形態において、エンコーダは、様々な圧縮
技術を使用して予測をエンコードし、そしてデコーダに相当する解凍技術を使用
するように命令し得る。

【００２９】 本発明の前述および他の局面および実施形態は、以下にさらに詳細に記載され
る。

【００３０】 （具体的な実施形態の説明） （１．概要） 以下のセクションは、エンコーダ、デコーダ、および構造情報（本実施形態に
おいて以後「セグメント」と呼ぶ）を使用して、本実施形態に特定の詳細である
が、本発明の別の実施形態において必ずしも必要ではない特定の詳細を含む本発
明の１実施形態の記載を提供する。

【００３１】 （１．１ エンコーダ） 図１は、図３、図４を参照しながら後に記載されるように、互換可能なデコー
ダとともに用いるための例示的なエンコーダのブロック図であり、図２は、図１
のエンコーダの操作の概要である。ステップ２０１において、エンコーダ１００
は、第１の（例えば、参照）画像フレームを取得する。ステップ２０２において
、エンコーダ１００の機能ブロック１０２は、ステップ２０１からの画像フレー
ムをエンコードする。ステップ２０３において、ステップ２０２からエンコード
された画像が、デコーダが画像を再構築するのと同じやり方にて、エンコーダ１
００の機能ブロック１０３によって再構築される。ステップ２０４において、エ
ンコーダ１００の機能ブロック１０４は、セグメント化、すなわち再構築された
画像からの構造的な情報を取得し、そのセグメントはセグメントの動力学（例え
ば、運動および／または残余部データ）の観点から以後のフレームを予測するた
めの基礎として使用する。当業者は、本明細書において詳細に記載される必要の
ない、エッジ検出、エッジリンキング、領域併合、またはウォーターシェッド方
法（ｗａｔｅｒｓｈｅｄ ｍｅｔｈｏｄ）などの技術を使用して、画像のセグメ
ント化をいかに実行するかを容易に理解する。あるいは、ステップ２０３が飛び
越され、エンコーダがステップ２０１からのオリジナルの参照画像フレームをセ
グメント化する。これは、セグメント再構築ステップを排除することで、エンコ
ーダの効率をいくらか上げると同時に、デコーダで再構築された画像にさらに十
分に類似した画像を予測するための基礎を提供して、重大な誤りを回避する。ス
テップ２０５において、ステップ２０４で判定されたセグメントは、デコーダが
そのセグメントを順序化するのと同じやり方で、エンコーダ１００の機能ブロッ
ク１０５によって順序化される。１実施形態において、エンコーダおよびデコー
ダ双方に知られる、予め決められた標準的な順序化スキームに従って実行される
。

【００３２】 ステップ２０６において、エンコーダ１００の機能ブロック１０６は、セグメ
ント化された参照フレームに対応してエンコードされるべき新しい（例えば、第
２の）画像フレームを取得する。ステップ２０７において、ステップ２０４で生
成されたセグメントのそれぞれに関する運動関連情報は、運動マッチングによっ
てエンコーダ１００の機能ブロック１０７によって判定される。すなわち、運動
マッチングは、一方のフレームから他方のフレームまでの画像セグメントのロケ
ーションの変化を判定するプロセスである。運動マッチングは、前方、後方およ
び／またはシーケンシャルでないフレームに対し、適応され得る。

【００３３】 ステップ２０８において、エンコーダ１００の機能ブロック１０８は、運動関
連情報をエンコードする。

【００３４】 ステップ２０９において、ステップ２０８からの運動関連情報に基づいて、参
照フレームにおける以前には隠れていた領域（以後、バックグラウンド残余部と
呼ぶ）が、新しいフレームで露出し得る。ステップ２１０において、エンコーダ
１００の機能ブロック１１０は、デコーダが共通の予め決められた標準的な順序
化スキームを使用して、順序化するのと同じやり方にてバックグラウンド残余部
を順序化する。ステップ２１１において、エンコーダ１００は、直線技術、多項
式技術、または他の推定的な技術などの技術を使用して、既知のセグメント値か
ら外挿することによって、バックグラウンド残余部のそれぞれを補充しようとす
る。補充はまた、新しく露出した領域を囲むセグメントの順序化または階層に関
する情報を考慮することによって支援される。セグメントの順序化はＺ順序化と
して知られる深さ情報を定義する。例えば、画像が図７の車の運動の航空写真で
ある場合、車を表すセグメントの運動によって露出する領域（セグメント７１）
は、車の下にある道路（セグメント７２）を表すセグメントに基づいて予測され
得る。ステップ２１２において、エンコーダは、各バックグラウンド残余部領域
の実際値および予測値の差を判定する。

【００３５】 以前には塞がれていた領域の露出によって生じるバックグラウンド残余部に付
け加え、ローカル残余部も存在し得る。ローカル残余部は、例えば不正確なマッ
チングおよび新しい情報の露出に関連する。それ故、セグメントの全体的な完全
な記述は、運動データおよび残余部データ（バックグラウンドおよびローカルの
双方）の考察を含み、そのすべてが、反動速度論情報として集合的に示されるも
のとする。ステップ２１３において、エンコーダは、セグメント運動関連情報か
ら、第２画像フレームのローカル残余部領域を判定する。ステップ２１４におい
て、エンコーダ１００の機能ブロック１１０は、デコーダが共通の予め決められ
た標準的な順序化スキームを使用して、順序化するのと同じやり方にてステップ
１１３からのローカル残余部を順序化する。ステップ２１５において、エンコー
ダ１００の機能ブロック１１５は、ステップ２１２からのバックグラウンド残余
部およびステップ２１３から得たローカル残余部をエンコードする。１実施形態
において、エンコーディングは、デコーダによって即座に判定される特定の残余
部構造に基づいて選択された多くの利用可能な技術の内の１つを使用し得る。

【００３６】 第２フレームの画像が残余部情報からの援助を用いて、主に運動関連情報から
合理的に再構築され得る場合、ステップ２１６において、エンコーダは、以下の
情報を直接的に（例えば、テレビ会議アプリケーションで）、または間接的に（
例えば、後に再生する際に復号化されるべき記憶媒体に書き込んで）伝送する。
（ａ）フレームがキーフレームではないことを示すフラグ、（ｂ）セグメントの
ための運動関連情報、（ｃ）必要ならばバックグラウンド残余部情報（随意、使
用されるコーディング技術を示すフラグとともに）、および（ｄ）必要ならばロ
ーカル残余部情報（随意、使用されるコーディング技術を示すフラグとともに）
。伝送後、エンコーダは、以前の参照フレームに関して、エンコードされるべき
新しい（例えば、第３の）画像フレームを用いて、ステップ２０６で始まる、こ
のサイクルを繰り返す。以前の参照フレームは、既存のキーフレームまたは非キ
ーフレーム（すなわち、再構築されたビデオフレーム）であり得る。しかしなが
ら、第２画像が残余部情報の援助を用いて、主に運動関連情報から合理的に再構
築され得ない場合、ステップ２１７において、画像はキーフレームとしてエンコ
ードされ、フレームがキーフレームであることを示すフラグとともに、デコーダ
に伝送される。伝送後、エンコーダは、ステップ２０３で始まる、このサイクル
を繰り返す。

【００３７】 伝送はまた、機能ブロック１１８によって、フレームに関連付けられた任意の
特定の命令の伝送を含み得る。

【００３８】 あるいは、図１および２に記載されるように、第１フレームのセグメントから
の動力学情報を判定する代わりに、エンコーダは、第１フレームからの構造情報
を使用し、第２フレームを記述するための基底関数または形成ブロックの最良の
組を判定する。この組の基底関数は、デコーダが判定するものと同じ組であり、
それ故に第２フレームの係数のみがエンコーダからデコーダへ伝送される必要が
ある。

【００３９】 （１．２ デコーダ） 図３は、図１および図２に記載されるように、互換可能なデコーダとともに使
用する例示的なデコーダのブロック図であり、図４は、図３のデコーダの操作の
概観である。ステップ４０１において、デコーダ３００の機能ブロック３０１は
、エンコードされた画像フレーム（例えば、図２のステップ２０２において生成
されたエンコードされた参照フレーム）を受信する。ステップ４０２において、
ステップ４０１からのエンコードされた画像フレームは、エンコーダと同じやり
方にて、デコーダ３００の機能ブロック３０２によって再構築される。ステップ
４０３において、ステップ４０２からの再構築された画像フレームの構造情報は
、エンコーダと同じやり方にて、デコーダ３００の機能ブロック３０３によって
判定および順序化される。ステップ４０４において、デコーダは、以後の画像フ
レーム（例えば、エンコーダ記述子のステップ２０６を参照のこと）がキーフレ
ームであるか否かを記述するエンコーダからフラグを受信する。キーフレームで
ある場合、デコーダは、ステップ４０１へと戻る。キーフレームでない場合、デ
コーダはステップ４０５において継続する。

【００４０】 ステップ４０５において、デコーダ３００の機能ブロック３０５は、セグメン
トのための運動関連情報（例えば、運動および／または残余部データ）を受信す
る。ステップ４０６において、デコーダはステップ４０３において取得されるセ
グメント、およびステップ４０５において取得される動力学情報の運動の部分を
使用して、以後の画像フレームを再構築し始める。

【００４１】 ステップ４０７において、ステップ４０４からの運動関連情報に基づいて、ス
テップ４０３で判定されたセグメントに関して、デコーダは、以前には隠れてい
た画像部分が、もしあれば、ここで露出するロケーションを判定する。これらは
、バックグラウンド残余部ロケーションとして知られている。ステップ４０８に
おいて、ステップ４０７から計算されたバックグラウンド残余部ロケーションは
、共通の予め決められた標準的なプロトコルを使用して、エンコーダによって順
序化されるのと同じやり方にて順序化される。ステップ４０９において、エンコ
ーダによって使用される技術と同じ予測を満たす技術タイプを使用して、バック
グラウンド残余部ロケーション（例えば、バックグラウンド残余部情報を予測す
る）を補充することを試みる。ステップ４１０において、デコーダは、（予測さ
れるバックグラウンド残余部情報に対応して）エンコードされたバックグラウン
ド残余部情報を受信し、さらにエンコーダ（図２、ステップ２１６（ｃ））から
コーディング方法を表示するフラグを受信する。ステップ４１１において、デコ
ーダ３００の機能ブロック３１１は、受信されたバックグラウンド残余部情報を
復号化する。ステップ４１２において、予測される（計算された）バックグラウ
ンド残余部情報が、もしあれば、受信されたバックグラウンド残余部情報に付け
加えられ、全体的なバックグラウンド残余部情報を判定し、これは次いで第２画
像フレームに追加される。

【００４２】 ステップ４１３において、ステップ４０４において受信された運動関連情報に
基づいて、ステップ４０３で判定されたセグメントに関して、デコーダは、機能
ブロック３１１において、ローカル残余部のロケーションを、もしあれば、判定
する。ステップ４１４において、ローカル残余部ロケーションは、エンコーダが
共通の予め決められた標準的な順序化スキームを使用して、順序化されるのと同
じやり方にて順序化される。ステップ４１５において、デコーダは、エンコード
されたローカル残余部情報、および各ローカル残余部ロケーションのための、コ
ーディング方法を示すフラグを受信する。ステップ４１６において、デコーダは
ローカル残余部情報を復号化する。ステップ４１７において、復号化されたロー
カル残余部情報は第２フレームに付け加えられる。ステップ４１８において、デ
コーダ３００の機能ブロック３１８は、任意の特定の命令を受信し、その命令を
第２フレームへ付け加える。ステップ４１９において、機能ブロック３１９は、
第２フレームの再構築を完了する。

【００４３】 ステップ４２０において、さらなるフレームがあれば、ルーチンはステップ４
０４で継続する。

【００４４】 あるいは、図３および４に記載されるように、第１フレームのセグメントから
動力学情報を受信する代わりに、デコーダは、第１フレームからの構造的な情報
を使用し、第２フレームを記述するための基底関数または形成ブロックの最良の
組を判定する。この組の基底関数は、エンコーダが判定するものと同じ組であり
、それ故にデコーダはこれらの基底関数の係数を受信し、再構築を開始すること
のみが必要である。

【００４５】 （１．３ エンコーダデコーダ） 前述のセクションは、エンコーダおよびデコーダを別々に記載しているが、エ
ンコーダは互換可能なデコーダの存在を前提にし、且つ互換可能なデコーダによ
って復号化されるように画像をエンコードし、その逆も同様であるという点で、
双方は密接に関連している。したがって、図２および４の種々のステップ間の相
互関係を考慮することが有用である。したがって、図５は、本発明の例示的なエ
ンコーダデコーダ（コーデック）アーキテクチャを示し、図６は、図５の例示的
な（コーデック）の動作を示す。ステップ６０１において、エンコーダは、参照
フレームを取得、エンコード、および伝送し、デコーダは参照フレームを受信す
る。ステップ６０２において、ステップ６０２からの参照フレームは、エンコー
ダおよびデコーダ双方によって再構築される。ステップ６０３において、参照フ
レームにおいて同一のセグメントがエンコーダおよびデコーダ双方によって判定
される。ステップ６０４において、ステップ６０３からのセグメントはエンコー
ダおよびデコーダ双方によって同じ方法で順序化される。

【００４６】 ステップ６０５において、エンコーダは新しい画像フレームを取得する。ステ
ップ６０６において、エンコーダはステップ６０３からのセグメントの運動関連
情報を、ステップ６０５から得たフレームにマッチングする運動によって判定す
る。ステップ６０７において、エンコーダは運動関連情報をエンコードする。

【００４７】 ステップ６０８において、ステップ６０６からの運動関連情報に基づいて、エ
ンコーダは、第２フレームに現在露出する、以前には隠れていた領域（バックグ
ラウンド残余部ロケーション）のロケーションを判定する。ステップ６０９にお
いて、エンコーダは、バックグラウンド残余部ロケーションを順序化させる。ス
テップ６１０において、エンコーダは、バックグラウンド残余部領域における画
像を数学的に予測することを試みる。ステップ６１１において、エンコーダは、
数学的予測が正しいか否かを、予測と実際のバックグラウンド残余部情報との差
に基づいて判定する。エンコーダは、必要ならば追加のバックグラウンド残余部
情報が計算されるように、この違いを送信する。

【００４８】 ステップ６１２において、ステップ６０６からの運動関連情報に基づいて、エ
ンコーダは、ローカル残余部の構造情報を判定する。ステップ６１３において、
ステップ６１２からのローカル残余部の構造的な情報は、エンコーダによって順
序化される。ステップ６１４において、エンコーダはローカル残余部をエンコー
ドする。

【００４９】 ステップ６１５において、エンコーダは伝送し、デコーダはステップ６０１に
おいて伝送されそして受信されたフレームが、動力学（運動および残余部）情報
を使用して表示されるべきか、またはキーフレームとして表示されるべきかを識
別するフラグを受信する。キーフレームの場合、システムはステップ６０１に戻
る。キーフレームでない場合には、システムはステップ６１６において続行する
。

【００５０】 ステップ６１６において、エンコーダは伝送し、デコーダはエンコーダからの
セグメント運動関連情報を受信する。ステップ６１７において、デコーダは、ス
テップ６０８および６０９においてエンコーダが行ったやり方と同じやり方にて
、バックグラウンド残余部ロケーションを判定および順序化する。ステップ６１
８において、デコーダは、エンコーダがバックグラウンド残余部に関してステッ
プ６１０にて行った予測と同じ予測を行う。ステップ６１９において、もしあれ
ば、ローカル残余部情報を、およびコーディングスキームを表示するフラグを、
エンコーダは伝送し、デコーダは受信する。ステップ６２０において、デコーダ
は、ステップ６１２および６１３において、エンコーダが行ったやり方と同じや
り方にて、ローカル残余部情報を判定および順序化する。ステップ６２１におい
て、ローカル残余部情報およびコーディングスキームを表示するフラグを、エン
コーダは伝送し、デコーダは受信する。ステップ６２２において、特定の命令を
、もしあれば、エンコーダは伝送し、デコーダは受信する。ステップ６３２にお
いて、動力学情報に基づいて、エンコーダおよびデコーダ双方がフレームを同様
に再構築する。ステップ６２４において、追加のフレームがエンコードされる場
合、ステップ６２２で再構築されたフレームは参照フレームとなり、ルーチンが
ステップ６０５で継続する。

【００５１】 あるいは、エンコーダデコーダシステムは、第１フレームのセグメントからの
動力学情報を利用する代わりに、エンコーダデコーダは第１フレームからの構造
的な情報を使用し、第２フレームを記述するための基底関数または形成ブロック
の最良の組を判定する。エンコーダおよびデコーダ双方は別々にこれらの基底関
数を判定し、それ故に基底関数の係数のみが伝送される必要がある。

【００５２】 （２．エンコーダ） エンコーダの動作が概して上述されてきたが、これはエンコーディングプロセ
スの特定のステップの詳述であると同様、いくつかの特定画像例に関する動作を
示す命令でもある。

【００５３】 （２．１ 参照フレーム伝送） 図７を参照し、エンコーダは参照フレーム、この場合、バックグラウンドに太
陽があり、車が左から右へと動く画像、を受信する。参照フレームは概して、そ
れに対して、他の任意のフレームが記述されるフレームを示す。エンコーダサイ
クルの第１通路において、参照フレームは概してキーフレームである。あるいは
、引き続く通路においては、参照フレームは以前にエンコードされた非キーフレ
ームであり得る。

【００５４】 図８は、エンコーダが初めにキーフレームを処理するプロシージャを示すフロ
ー図である。ステップ８１０において、エンコーダは図７に示されるフレームを
受信する。ステップ８２０において、エンコーダはフレームをエンコードする。
ステップ８３０において、エンコーダは、エンコードされたフレームを受容体に
（例えば、デコーダまたは引き続くデコーディングのための記憶媒体に）伝送す
る。エンコーダは、ステップ８４０においてエンコードされたフレームを再構築
する。

【００５５】 （２．２ セグメント化） セグメント化は、デジタル画像が構成要素、すなわち、各セグメントが、図１
０に示される画像内の値における急激な変化によって制限される領域を表すセグ
メント、へと下位分割されるプロセスである。

【００５６】 コンピュータビジョンの当業者は、セグメント化が複数の方法で実行され得る
ことを認識する。例えば、そのような１方法は、いわゆる「ウォーターシェッド
方法」であり、ウォーターシェッド方法はｗｗｗ．ｃｓｕ．ｅｄｕ．ａｕ／ｃｉ
／ｖｏｌ３／ｃｓｃ９６ｆ／ｃｓｃ９６ｆ．ｈｔｍｌにおいて記載されている。
本発明で利用可能なこのセグメント化技術およびその他のセグメント化技術は当
業者には公知であり、本明細書において詳細に記載される必要はない。

【００５７】 ここで図９を参照すると、ステップ９１０において、エンコーダは再構築され
た参照フレームをセグメント化し、画像固有の構造特徴を判定する。あるいは、
ステップ９１０において、エンコーダは、同じ目的でオリジナルの画像フレーム
をセグメント化する。エンコーダは、図７のセグメントが車、後輪、前輪、後部
ウィンドウ、前部ウィンドウ、道、太陽、およびバックグラウンドであることを
判定する。あるいは、ステップ９１０において、エンコーダはオリジナルフレー
ムおよび再構築されたフレーム双方をセグメント化し、双方のフレーム間のセグ
メント化の違いを判定する。この場合、エンコーダは、この違いを運動関連情報
の１部としてデコーダに伝送する。この違いは、本明細書においてセグメント化
増強として示される。

【００５８】 ステップ９２０において、エンコーダは任意の予め決められた基準に基づいて
セグメントを順序化し、図１０に示されるように、セグメント１００１から１０
０８までそれぞれを表す。

【００５９】 セグメント化は、本記載においてさらに説明されるように、エンコーダが効果
的な運動マッチング、Ｚ順序化、運動予測、および効果的な残余部コーディング
を実行することを可能にする。

【００６０】 （２．３ 動力学情報） 一旦セグメント化が完了すると、エンコーダは、各フレームごとの進展に関す
る、動力学情報を判定およびエンコードする。動力学情報は、運動関連情報およ
び残余部情報の記述を含む。運動関連情報は、必要ならばセグメント、Ｚ順序化
情報、セグメント化増強など運動データから成り得る。残余部情報は、以前には
塞がれていた領域および／または不正確なマッチングおよび新しい情報の露出、
ならびに本質的に運動によって捉えられないセグメント発展の部分の情報から成
る。

【００６１】 （２．３．１ マッチングおよびセグメントモーションデータ） 動力学情報のモーション部分は、モーションマッチングとして公知のプロセス
を経て判定される。モーションマッチングは、類似の領域（セグメントである場
合が多い）を１つのフレームから別のフレームまでマッチングさせるプロシージ
ャである。デジタル画像フレーム内の各画素において、画像が数値として表され
る。１つのフレーム中の領域が別のフレーム中の領域と同一または充分に類似す
る画素値を有する場合、マッチングが発生する。

【００６２】 例えば、セグメントが異なるフレーム中の別のセグメントにマッチングすると
見なすことができるのは、第１のセグメントが適切に移動されて第２のセグメン
ト上に配置され、画素値の差の絶対値の平均を計算して、その平均値が所定の閾
値未満に収まる場合である。画素値の差の絶対値の平均がよく用いられるのは類
似性の簡単な基準となるからであるが、他の任意の数の基準でも充分である。マ
ッチングを判定するために用いられ得るような基準は当業者にとって明らかであ
り、これ以上言及する必要はない。

【００６３】 図１１は、フレーム１１１０とフレーム１１２０との間での灰色熱気球のモー
ションマッチングの一例を示す。フレーム１１１０において、灰色熱気球１１１
１があり、フレーム１１２０において、灰色熱気球１１２１の隣に白色球１１２
２がある。灰色熱気球１１２１は、灰色熱気球１１１１よりもやや小型で、ねじ
れている。熱気球１１１１が白色球１１２２上に移動すると、フレーム１１１０
中の灰色熱気球１１２１内に含まれる画素値からフレーム１１２０内の白色球１
１２２内に含まれる画素値が減算され、その結果、ゼロではない差が得られる。
そのため、灰色熱気球と白色球はマッチングしない。しかし、灰色熱気球１１１
０が灰色熱気球１１２０上に移動すると、フレーム１１１０中の灰色熱気球１１
１１からフレーム１１２０中の灰色熱気球１１２１が減算され、その結果、エッ
ジおよびバスケット近隣の小領域以外では、殆どがゼロの値およびゼロに近い値
の結果が得られる。これにより、これら２つの灰色熱気球はマッチングしたと見
なされる。

【００６４】 （２．３．２ グループ化） 関連するセグメントを１つのグループとして見なし、これにより、エンコーダ
が、当該グループに関するモーション関連情報を（個々のセグメント用の任意の
さらなるリファインメントがある場合で必要な場合はそれと共に）伝送するだけ
ですむようにすれば、デコーダへと伝送されるモーション関連情報を低減するこ
とが可能である。例えば、セグメントモーションデータの場合、エンコーダは、
代表的モーションベクトルまたは特徴的モーションベクトルを（モーションベク
トルオフセットがある場合はそれと共に）デコーダに伝送し、これにより、グル
ープ内の各セグメントの個々のモーションを表すだけでよい。特徴的モーション
ベクトルは実質的に任意の種類でよく、例えば、単一のベースセグメントまたは
グループ全体の平均の特徴的モーションベクトルでよい。

【００６５】 グループ化が可能となるのは、セグメント周囲に以前に動力学情報がある場合
またはセグメント周囲にマルチスケール情報がある場合である。マルチスケール
については、下記のセクション２．３．４において説明する。本発明のこの特定
の実施形態にこれ以上限定することなく、モーションベクトルグループ化のみに
ついてさらに説明する。

【００６６】 図１２を参照して、工程１２１０において、エンコーダは、第１のフレームが
キーフレームであるか否か（すなわち、他のフレームに関連して記述されていな
いかどうか）を判定する。第１のフレームがキーフレームである場合、モーショ
ングループ化ルーチンは、マルチスケーリング情報を（可能であれば）用いてセ
グメントをグループ化する。第１のフレームがキーフレームではない場合、グル
ープセグメントにとって利用可能な何らかの以前のモーションデータが提供され
る。従って、第１のフレームがキーフレームではない場合、工程１２２０におい
て、セクション２．３．２において後述するモーショングループ化ルーチンが実
行される。しかし、以前のモーションデータを用いても、マルチスケーリングを
さらなるグループ化用に利用することは妨げられない。

【００６７】 しかし、第１のフレームがキーフレームである場合、工程１２３０において、
エンコーダは、利用可能なマルチスケール情報があるか否かを判定する。利用可
能なマルチスケール情報がある場合、次いで、工程１２４０において、セクショ
ン２．３．４において後述するマルチスケーリングルーチンを実行する。利用可
能なマルチスケール情報が無い場合、工程１２５０において、エンコーダはセグ
メントのグループ化を行なわない。

【００６８】 （２．３．２．１ モーションベースのグループ化） モーションベースのグループ化は、以前のモーション関連情報が有り、エンコ
ーダが関連付け対象セグメントを判定することが可能である場合のみに発生する
。デコーダも、エンコーダが行うのと同様の様式でセグメントのグループ化を行
う。モーションベースのグループ化は、図１３中の工程１３１０から開始し、各
セグメントの以前のモーションデータが検討される。工程１３２０において、類
似のモーションベクトルを示すセグメントをグループ化する。

【００６９】 （２．３．２．２ マルチスケールグループ化） マルチスケーリンググループ化は、以前のモーションを用いたセグメントのグ
ループ化の代替である。さらに、マルチスケーリングは、モーショングループ化
と協働させて用いることも可能である。マルチスケーリングは、画像のより低い
解像度のバージョンを生成するプロセスである。マルチプルスケールを作成する
例示的工程は、平滑（ｓｍｏｏｒｔｈｉｎｇ）機能の反復適用を経る。より低い
解像度の画像の生成の結果、解像度は低減し、大型で支配的なフィーチャのみが
可視状態となる。従って、例えば、解像度が低い場合、フットボールの縫い目は
見えなくるが、フットボールそのものは認識可能である。

【００７０】 マルチスケールプロセスの一例を以下に示す。図１５を参照して、工程１５１
０において、エンコーダは、例えば、当該フレームについて、最も疎な画像スケ
ール（すなわち、最低解像度）を検討し、工程１５２０において、可視状態のま
まのセグメントを判定する。このような疎な画像スケールの場合、（通常、主要
なオブジェクトの外郭として結合する）最も大きく最も支配的なフィーチャのみ
が可視状態で残り、（通常、主要オブジェクトを構成するフィーチャに対応する
）非支配的セグメントは、認識不可能となる。工程１５３０において、最も疎な
スケールにおいて不可視状態となり、かつ、所与の可視セグメントを共に含むセ
グメントは、１つのグループと関連付けられる。これは、小さくて不可視状態と
なったセグメントは、大きなオブジェクトと関係を共有する場合が多く、類似の
動力学情報を有する傾向があるためである。そのため、より疎なスケールの画像
表示物は、より微細なスケールのクラスタを表すと見なされる。工程１５４０に
おいて、判定がなされる。より可視度が高いセグメントがある場合、工程１５５
０において、エンコーダは、次のセグメントを検討し、工程１５３０へと進む。
より可視度が高いセグメントが無い場合、マルチスケーリンググループ化プロセ
スは終了する。

【００７１】 上記の例示的実施形態では疎な画像スケールを用いたが、これは、もちろん、
特定の画像に用いられる特定の範囲のマルチスケーリングに従う。別の例示的実
施形態において一つ以上の他のスケールも利用可能であることは明らかである。

【００７２】 デコーダは、エンコーダが行うのと同一または類似の様式でグループ化を行う
。

【００７３】 （２．３．３ モーション予測） 図１４を参照して、工程１４１０において、エンコーダはセグメントを検討す
る。工程１４２０において、エンコーダは、当該セグメントについて以前のモー
ション関連情報が有るか否かを判定し、そのモーションを予測できるようにする
。デコーダは、エンコーダと同一または類似の様式で、セグメントのモーション
またはセグメントのグループを予測する。以前のモーション関連情報が無い場合
、エンコーダは、下記のように工程１４６０へと進む。

【００７４】 以前のモーション関連情報が有る場合、エンコーダは、工程１４３０において
セグメントのモーションを予測し、予測結果をセグメントの実際のモーションと
比較する。モーションベクトルオフセットは初めは、工程１４４０において、実
際のモーションベクトルと予測されたモーションベクトルとの間の差として計算
される。工程１４５０において、エンコーダは、さらに、上記のモーションベク
トルオフセットを、上記のモーションベクトルオフセットと関連する特徴的（ま
たはグループ）モーションベクトルとの間の差として表す。

【００７５】 工程１４６０において、エンコーダは、まだセグメントが有るか否かを判定す
る。まだセグメントが有る場合、工程１４７０において、エンコーダは、次のセ
グメントを検討し、工程１４２０へと進む。セグメントがそれ以上無い場合、予
測ルーチンは終了する。

【００７６】 （２．３．２．１．１ モーション関連情報符号化） グループ化および予測が発生した後、グループ化および予測を利用（ｌｅｖｅ
ｒａｇｅ）して、取り出されたモーション関連情報の大部分を符号化する再のオ
ーバーヘッドを低減することが可能である。例えば、個々のセグメントの代わり
にグループを基準にすることで、セグメント化の増強（ａｕｇｍｅｎｔａｔｉｏ
ｎ）をより効率的に記述することが可能である。工程１３３０において、当該グ
ループ内の全モーションベクトルの代表的フィーチャを計算することにより、グ
ループのモーションベクトルを入手する。従って、グループ内の各セグメントに
ついて、モーションベクトルの差のみ（すなわち、セグメントのモーションベク
トル（但し、存在すればであるが）と特性（あるいはグループ）モーションベク
トルとの差）を伝送する（工程１３４０を参照）。特性モーションベクトルの一
例は、平均モーションベクトルである。モーション予測と予測されたモーション
に関する符号化モーションオフセットのみとを用いれば、モーションベクトルに
おいてさらなる改善を達成することが可能である。

【００７７】 （２．３．４ Ｚ−順序化） Ｚ−順序化は、各画像が占有する画像フレーム内の相対的深さ位置を指す。エ
ンコーダは、Ｚ−順序化情報を判定および伝送し、これにより、構造情報が１つ
のフレームから別のフレームへと変化するにつれて、構造情報内に含まれる深さ
情報が保存される。

【００７８】 （２．３．５ 残余部の符号化） 残余部情報は、以前に塞がれた（ｏｃｃｌｕｄｅｄ）領域中の情報ならびに／
または不正確なマッチングおよび新規情報の外観（ａｐｐｅａｒａｎｃｅ）と、
運動そのものによって捕獲されないセグメント発展の一部分と、などからなる。

【００７９】 （２．３．５．１ バックグラウンド残余部） 図１６に示すように、セグメントが移動すると、今まで隠蔽または遮断（ｏｂ
ｓｔｒｕｃｔ）されていた領域が初めて可視状態となる。図１６において、車両
が移動するにつれ、３つの領域が可視状態となる。これらの３つの領域は車両の
背後にある領域であり、その領域の２つは車輪の背後にある領域である。これら
の３つの領域をそれぞれ、領域１６０１〜１６０３として印を付ける。

【００８０】 図１７を参照して、工程１７１０において、エンコーダは、以前に隠蔽された
画像領域が発生した場所を判定する。工程１７２０において、エンコーダは、所
定の順序化システムを用いて、領域を順序化する。工程１７３０において、１つ
の領域を包囲する領域（単数または複数）に対応する情報を用いて、エンコーダ
は、以前に隠蔽された領域の構造について数学的予測を行う。エンコーダはさら
に、当該領域において露出した画像も正確に認識する。従って、工程１７４０に
おいて、エンコーダは、領域を検討し、予測された画像と実際の画像とを比較す
ることにより、数学的予測が充分であったか否かを判定する。予測結果が実際の
画像に近くない場合、工程１７７０において、エンコーダは、領域または差を符
号化し、工程１７８０において、符号化メカニズムを示すフラグと共に符号化さ
れた情報を格納する。また、予測結果が実際の画像に近い場合、工程１７４５に
おいて、エンコーダは、その旨を示すフラグを格納する。

【００８１】 工程１７５０において、エンコーダは、新規に遮断されていない領域がまだあ
るか否かを判定する。新規に遮断された領域がまだある場合、次の領域が検討さ
れ、ルーチンは工程１７６０へと進み、そうでない場合、ルーチンは終了する。

【００８２】 （２．３．５．２ ローカル残余部） ローカル残余部情報は、不正確なマッチングからの情報および新規情報の外観
などからなる。例えば、図１８において、車両および太陽は、フレーム１８０２
のものの方がフレーム１８０１のものよりも小さい。残余部情報の構造は、新規
セグメントと以前のセグメントとの差の程度によって異なり、良好に規定された
領域であったり、領域のセットであったり、あるいはまだら状であったりし得る
。ローカル残余部の種類に応じて異なる種類の符号化方法を用いるのが理想的で
ある。デコーダは、セグメントモーションを認識しているため、ローカル残余部
の多くが位置する場所を認識する。エンコーダは、このデコーダの構造情報に関
する知識（例えば、考慮対象となり得るセグメント境界位置）を用いて、ローカ
ル残余部符号化の効率を向上させる。

【００８３】 図１９を参照して、工程１９１０において、エンコーダは、ローカル残余部の
位置を判定する。工程１９２０において、エンコーダは、所定の順序化方式を用
いて、ローカル残余部が発生した領域を順序化する。工程１９３０において、エ
ンコーダは、第１のローカル残余部を検討して、そのローカル残余部を符号化す
る最も効率的な方法を判定し、次いで、工程１９４０においてそのローカル残余
部を符号化する。工程１９５０において、エンコーダは、符号化された残余部と
、符号化メカニズムを示すフラグとを格納する。工程１９６０においてまだロー
カル残余部の位置が有る場合、工程１９７０において、次のローカル残余部の位
置を検討して、ルーチンは工程１９４０へと進む。ローカル残余部の位置が無い
場合、ルーチンは終了する。

【００８４】 （２．３．６ 特殊命令） エンコーダは、各セグメントに関するコマンドおよび命令を、必要に応じてビ
ットストリームに埋め込む。これらのコマンドの例としては、静的ウェブページ
の入手、別の映像ビットストリームの入手、テキストの待機等を含む（但し、こ
れらに限定されない）。

【００８５】 エンコーダは、セグメントを判定した後、これらのコマンドをビットストリー
ム内部の任意のポイントに埋め込み、エンコーダが判定することが可能な内容を
利用することができる。図２０は、コマンドがデータストリーム中に埋め込まれ
たポイントの一例である。

【００８６】 図２０を参照して、工程２０１０において、エンコーダは、第１のセグメント
を検討する。工程２０２０において、エンコーダは、特殊命令フラグを伝送する
。工程２０３０において、エンコーダは、当該セグメントについて特殊命令があ
るか否かを判定する。当該セグメントについて特殊命令がある場合、工程２０４
０において、命令がデコーダへと伝送され、工程２０５０において、エンコーダ
は、セグメントがまだ他にも有るか否かを判定する。工程１７３０において当該
セグメントと関連付けられた特殊命令がない場合、エンコーダは直接工程２０５
０へと進む。工程２０５０においてまだ他にもセグメントがある場合、工程２０
６０において、エンコーダは、工程２０６０において次のセグメントを検討し、
工程２０２０へと進み、そうでない場合、ルーチンは終了する。

【００８７】 （２．４ 伝送） 動力学な（モーションおよび残余部の）情報の判定および符号化の後、フレー
ム情報の伝送に関する判定を行う。図２１を参照して、工程２１１０において、
残余部情報からの支援によって画像を主にモーション関連情報から合理的に再構
築することが可能な場合、工程２１９０において、エンコーダは、当該フレーム
に関する動力学情報を伝送する。残余部情報からの支援によって画像を主にモー
ション関連情報から合理的に再構築することが不可能な場合、当該フレームはキ
ーフレームとして符号化され、工程２１８５において、その動力学情報は廃棄さ
れる。

【００８８】 （２．５ 代替） あるいは、エンコーダは、第１のフレームからのセグメントからの動力学情報
を用いる代わりに、例えば第１のフレームからのセグメント化を含む情報等の構
造情報を用いて、最良の基本的機能セットを作成および順序化するか、または、
第２のフレームを描画するブロックを構築する。この工程は、適応型符号化方法
または適応型変換（ｔｒａｎｓｆｏｒｍ）符号化方法と呼ばれ得、これは、デコ
ーダの能力に関するエンコーダの知識に基づいて、適切な基本的機能セットを作
成するか、またはデコーダにとって利用可能な構造情報に基づいてブロックを構
築するものである。エンコーダおよびデコーダはどちらとも、これらの基本的機
能を独立して判定するため、基本的機能の係数のみを伝送するだけですむ。

【００８９】 （３．デコーダ） （３．１ 参照フレームの受信（ｒｅｃｅｐｔｉｏｎ）） 図２２は、デコーダが参照フレームを受信するプロセスを示す。参照フレーム
は一般的には、他の後に生成されるフレームが描画される際の基準となるフレー
ムである。工程２２１０において、エンコーダは、符号化された参照フレームを
受信する。工程２２２０において、デコーダは、その符号化された参照フレーム
を再構築する。

【００９０】 工程２２３０において、デコーダは、キーフレームフラグを受信する。このフ
ラグは、次のフレームがキーフレームであるか否かまたは次のフレームが動力学
情報から再構築可能であるか否かを示す。次のフレームがキーフレームである場
合、デコーダは工程２２１０へと戻り、次のフレームを受信する。次のフレーム
がキーフレームではない場合、このルーチンは終了する。

【００９１】 （３．２ セグメント化） 上述したように、セグメント化は、デジタル画像をその構成要素部分（すなわ
ち、セグメント）に細分化するプロセスであり、各セグメントは、当該画像中の
値の劇的な変化または急激な変化によって結合する領域を示す。

【００９２】 図２３を参照して、工程２３１０において、デコーダは、再構築された参照デ
コーダをセグメント化して、当該画像の固有の構造的フィーチャを判定する。例
えば、デコーダは、図７中のセグメントが車両、後輪、前輪、リアウィンドウ、
フロントウィンドウ、道路、太陽、およびバックグラウンドであると判定する。
工程２３２０において、デコーダは、エンコーダが用いる所定の基準と同じ基準
に基づいてセグメントを順序化し、図１０に示すようにセグメント１００１〜１
００７にそれぞれ印を付ける。

【００９３】 （３．３ モーション関連情報） セグメント化が達成された後、エンコーダは、各セグメントに関するモーショ
ン関連情報を受信する。モーション関連情報は、デコーダに、以前フレームにお
けるセグメント位置に対する新規フレーム中のセグメント位置を伝える。

【００９４】 図２４は、モーション関連情報を受信するプロセスを示す。工程２４１０にお
いて、デコーダは、１つのセグメントを検討する。工程２４２０において、デコ
ーダは、当該セグメントについて以前のモーションデータが有るか否かを判定す
る。当該セグメントについて以前のモーションデータが無い場合、デコーダは、
工程２４５０に進む。当該セグメントについて以前のモーションデータが有る場
合、デコーダは、工程２４３０においてセグメントのモーションを予測し、工程
２４４０においてモーションベクトル修正を受信し、次いで工程２４５０へと進
む。工程２４５０において、デコーダは、他にセグメントがあるか否かを判定す
る。他にセグメントがある場合、デコーダは、工程２４６０において次のセグメ
ントを検討し、次いで工程２４２０へと進む。そうでない場合、ルーチンは終了
する。

【００９５】 関連するモーションを有するセグメントを共にグループ化し、１つのモーショ
ンベクトルによって表すと、動力学情報を低減することが可能である。デコーダ
によって受信される動力学情報は、いくつかの要素（すなわち、１）以前の（参
照）デコーダがキーデコーダであるか否かすなわち２）以前の（参照）デコーダ
がキーデコーダでない場合、マルチスケーリング情報が利用可能か否か）によっ
て変化する。

【００９６】 図２５を参照して、工程２５１０において、デコーダは、参照フレームがキー
フレーム（すなわち、他の任意のフレームに関連して規定されていないフレーム
）であるか否かを判定する。参照フレームがキーフレームである場合、セグメン
トの潜在的グループ化対象となる以前のモーションに関連する情報は存在しない
。しかし、このような情報が利用可能な場合、デコーダは、マルチスケール情報
をセグメントグループ化対象として用いることを試みる。工程２５２０において
、デコーダは、利用可能なマルチスケール情報が有るか否かを判定する。参照フ
レームがキーフレームであり、かつ、デコーダにとって利用可能なマルチスケー
ル情報がある場合、工程２５３０において、デコーダは、先ず、エンコーダに関
して前述したように、マルチスケールルーチンを用いて、関連するセグメントを
共にグループ化する。次いで、工程２５４０において、デコーダは、モーション
ベクトルおよびモーションベクトルオフセットを受信する。逆に言えば、参照フ
レームにとって利用可能なマルチスケール情報が無い場合、工程２５５０におい
て、（オフセット無しの）モーションベクトルが、デコーダによって受信される
。

【００９７】 しかし、工程２５１０においてデコーダが第１のフレームはキーフレームでは
ないと判定した場合、工程２５６０において、デコーダは、以下に説明するよう
なモーションベクトルグループ化ルーチンを実行する。このモーションベクトル
グループ化ルーチンの代わりにまたはこのモーションベクトルグループ化ルーチ
ンに加えて、デコーダは、上述したマルチスケールグループ化を用いることもで
きる。

【００９８】 図２６は、モーションベクトルグループ化ルーチンを示す。工程２６１０にお
いて、デコーダは、各セグメントの以前のモーションベクトルを検討する。工程
２６２０において、デコーダは、類似の以前のモーションベクトルを有するセグ
メントを共にグループ化する。工程２６３０において、デコーダは、グループモ
ーションが予測可能か否かを判定する。グループモーションが予測不可能な場合
、工程２６８０において、デコーダは、モーションベクトルおよびオフセット（
但し、もし有れば）を受信し、次いで工程２６６０へと進む。グループモーショ
ンが予測可能な場合、デコーダは、工程２６４０においてグループモーションを
予測し、次いで、工程２６５０において予測修正を受信し、次いで工程２６６０
へと進む。工程２６６０において、デコーダは、他にグループが有るか否かを判
定する。他にグループが有る場合、デコーダは、工程２６７０において次のグル
ープを検討し、工程２６３０へと進む。他にグループが無い場合、ルーチンは終
了する。

【００９９】 （３．４ 残余部） モーション関連情報を受信した後、デコーダは、残余部情報を受信する。残余
部は２種類（すなわち、バックグラウンド残余部およびローカル残余部）に分類
される。

【０１００】 （３．４．１ バックグラウンド残余部） 図１６に示すように、車両が移動すると、以前に隠蔽または遮断されたいた領
域がはじめて可視状態となる。デコーダは、これらの領域の場所を認識しており
、これらの領域を、所定の順序化スキームを用いて順序化する。図１６において
、３つの領域の遮断が無くなり、特に、車両の背後および２つの車輪の背後の部
分の遮断が無くなる。これらの領域に、領域１６０１〜１６０３として印を付け
る。

【０１０１】 図２７を参照して、工程２７１０において、デコーダは、バックグラウンド残
余部領域を検討し、次いで、工程２７２０において領域を順序化する。工程２７
３０において、デコーダは、第１のバックグラウンド残余部領域の構造について
数学的予測を行う。工程２７４０において、デコーダは、予測がいかに充分であ
るかおよび修正が必要であるかを示すフラグを受信する。工程２７５０において
、デコーダは、予測が充分か否かについて判定を行う。予測が充分である場合、
ルーチンは工程２７７０へと進む。予測が充分でない場合、工程２７６０におい
て、デコーダは、符号化された領域と符号化方式を示すフラグとを受信し、必要
に応じて再構築を行い、次いで、工程２７７０へと進む。工程２７７０において
、デコーダは、他にバックグラウンド残余部領域が有るか否かを判定する。他に
バックグラウンド残余部領域が有る場合、デコーダは、工程２７８０において、
次の領域を検討し、工程２７３０へと進む。そうでない場合、ルーチンは終了す
る。

【０１０２】 （３．４．２ ローカル残余部） 残余部情報は、不正確なマッチングから生じた情報および新規情報の外観から
なる。図１８において、車両および太陽は、フレーム１８０２のものの方がフレ
ーム１８０１のものよりも小さく見える。残余部の構造は、新規セグメントと以
前のセグメントととの間の差異の程度によって異なる。デコーダは、ローカル残
余部の大部分がセグメントの境界に露出することを認識している。デコーダの有
する構造情報（例えば、セグメント境界の位置）に関するデコーダの知識を考慮
に入れて、ローカル残余部符号化の効率を高めることが可能である。

【０１０３】 図２８を参照して、工程２８１０において、デコーダは、第１のセグメントを
検討する。工程２８２０において、デコーダは、（必要ならば）符号化方法を示
すフラグを受信し、当該セグメントの符号化されたローカル残余部を受信する。
工程２８３０において、デコーダは、他にもセグメントが有るか否かを判定する
。他にもセグメントが有る場合、デコーダは、工程２８４０において次のセグメ
ントを検討し、次いで、工程２８２０へと進む。そうでない場合、ルーチンは終
了する。

【０１０４】 （３．４ Ｚ−順序化） Ｚ−順序化は、画像フレーム内の各セグメントの深さ位置を示す。デコーダは
、Ｚ−順序化情報を用いて、完璧に可視状態になるセグメントと、部分的または
完全に隠蔽されるセグメントとを判定する。

【０１０５】 （３．５ 再構築） 最後に、判定されたモーション関連情報および残余部に基づき、フレームを再
構築する。

【０１０６】 （３．６ 特殊命令およびオブジェクトベースの操作） 画像に関する構造情報に加えて、デコーダは、ビットストリーム中に埋め込ま
れ、様々なセグメントと関連付けられたコマンドを受信および実行することが可
能である。エンコーダおよびデコーダが同期され、同じ参照フレームで動作する
場合、エンコーダは、コマンドと関連付けられた構造情報を伝送しなくてよい。
また、ユーザ駆動型イベント（例えば、マウスのクリック）が発生するまで、埋
め込まれたコマンドを一時停止状態に保持することも可能である。

【０１０７】 図２９は、本発明の１つの実施形態による、埋設コマンドを処理するプロシー
ジャを示す。工程２９１０において、デコーダは、第１のセグメントを検討する
。工程２９２０において、デコーダは、特殊命令フラグを受信する。工程２９３
０において、デコーダは、当該セグメントと関連付けられた特殊な命令またはコ
マンドが有るか否かを判定する。当該セグメントと関連付けられた特殊な命令ま
たはコマンドが有る場合、デコーダは、工程２９４０においてコマンド（単数ま
たは複数）を受信し、次いで、工程２９５０へと進む。そうでない場合、デコー
ダは、工程２９５０へと直接進み、他にもセグメントが有るか否かを判定する。
他にもセグメントが有る場合、デコーダは、工程２９６０において次のセグメン
トを検討し、その後工程２９２０へと戻る。他にセグメントが無い場合、ルーチ
ンは終了する。

【０１０８】 図３０は、本発明の１つの実施形態による、ユーザ駆動型イベントを処理する
プロシージャを示すフローチャートである。工程３０１０において、デコーダは
、ユーザ駆動型イベントが発生したか否かを判定する。ユーザ駆動型イベントが
発生した場合、工程３０２０において、デコーダは、当該ユーザ駆動型イベント
がどのセグメントを参照したか判定する。次いで、工程３０３０において、関連
するコマンドが実行される。次いで、工程３０４０において、デコーダは、終了
シーケンスが発生したか否かを判定する。終了シーケンスが発生した場合、工程
３０１０においてツールが再開する。そうでない場合、ルーチンは終了する。

【０１０９】 工程３０１０においてデコーダがユーザ駆動型イベントが発生しなかったと判
定した場合、デコーダは、工程３０４０へと直接進む。

【０１１０】 デコーダが有するセグメント化等の構造情報を計算する能力を利用して、構造
情報に添付され得る特殊命令と共に構造情報の大部分を送らなければならないオ
ーバーヘッドを大幅に低減することが可能である。

【０１１１】 例えば、別個のセグメントによって表される画像中のオブジェクトまたは異な
るフィーチャは、別個のエンティティとして便利に操作可能である。このような
操作として、（ａ）フレーム内の編集、（ｂ）他の画像またはアプリケーション
へのエクスポート、および（ｃ）ユーザ入力に基づいた双方向オペレーション等
がある（ただし、これらに限定されない）。エンコーダおよびデコーダを同期さ
せるシステムにおいて、操作されたオブジェクトまたはフィーチャをすぐに再符
号化して、これにより、現在の映像ストリームまたはいくつかの他の映像ストリ
ームに再導入することが可能である。このような様式で、本発明の技術は、従来
の映像符号化のビットまたは画素の利用による制約の問題を解消し、従来の映像
符号化を、実際のオブジェクトのモデル化のためのツールとして有用なものにす
る。

【０１１２】 あるいは、デコーダは、映像フレームの構造情報を判定した後、第２の映像フ
レームを描画するために用いられ得る基本的機能の最良の組み合わせを判定する
。次いで、デコーダは、エンコーダから係数を受信し、第２の画像フレームを再
構築する。エンコーダおよびデコーダはどちらとも、利用可能な構造情報からの
同一の基本的機能を独立して作成および順序化するため、基本的機能の係数のみ
を伝送するだけでよい。これは、適応型符号化または適応型変換符号化方法であ
る。

【０１１３】 （４．０ 映像フォーマット） 本明細書中に開示される本発明では、映像データを伝送するための新規な映像
フォーマットについても説明した。この映像フォーマットは、画像フレームの構
造情報に関連付けられた動力学情報からなる。この構造情報としては、例えば、
モーションに関連する情報、残余部情報、および特殊命令がある（ただし、これ
らに限定されない）。

【０１１４】 あるいは、この新規映像フォーマットは、基本的機能の組み合わせから導出さ
れる係数のシーケンスからなり得る。

【０１１５】 （５．０ 結論） 上記のセクションにおいて、フローチャートを用いて、エンコーダおよびデコ
ーダの動作について主に説明してきた。説明は、当業者がこれらのエンコーダお
よびデコーダを実質的に任意のコンピュータベースの環境でインプリメントでき
るように行った。このようなインプリメンテーションは、特定のソフトウェア環
境および／またはハードウェア環境に限定されない。例えば、このようなインプ
リメンテーションは、実質的に任意のプログラミング言語を用いて、一連の機能
モジュール（例えば、Ｉ／Ｏモジュール、モーションマッチングモジュール、残
余部モジュール等）として、ソフトウェア全体として汎用コンピュータ上にイン
プリメント可能である。あるいは、より高速な動作が得られるよう、このような
インプリメンテーションをハードウェア全体として（例えば、カスタムＶＬＳＩ
チップとして）インプリメントすることも可能である。さらに他のインプリメン
テーションが、（特定の速度、コスト、および特定の動作環境の伝送ニーズによ
って判定する）実質的に任意のソフトウェアおよびハードウェアの組み合わせを
含み得る。

【０１１６】 上記の記載は全て、本発明の例示的実施形態および用途を示したものであり、
これらの記載から得られる関連する改変、改良および変更は、本発明の意図およ
び範囲を逸脱することなく、当業者にとって明らかである。従って、本発明は、
上記の開示内容に限定されるのではなく、本明細書中の特許請求の範囲によって
解釈されるべきである。

【図面の簡単な説明】

【図１】 図１は、本発明の１実施形態によるエンコーダのブロック図である。

【図２】 図２は、本発明の１実施形態によるエンコーダの動作を示すフローチャートで
ある。

【図３】 図３は、本発明の１実施形態によるデコーダのブロック図である。

【図４】 図４は、本発明の１実施形態によるデコーダの動作を示すフローチャートであ
る。

【図５ａ】 図５ａは、本発明の１実施形態によるコーデックのブロック図である。

【図５ｂ】 図５ｂは、本発明の１実施形態によるコーデックのブロック図である。

【図６】 図６は、本発明の１実施形態によるコーデックの動作を示すフローチャートで
ある。

【図７】 図７は、レファレンスフレームの図である。

【図８】 図８は、本発明の１実施形態によるエンコーダがレファレンスフレームを最初
に処理する手順を示すフローチャートである。

【図９】 図９は、本発明の１実施形態によるエンコーダが再構成されたレファレンスフ
レームをセグメント化する手順を示すフローチャートである。

【図１０】 図１０は、本発明の１実施形態によるセグメント化の図である。

【図１１】 図１１は、本発明の１実施形態による動きマッチングの図である。

【図１２】 図１２は、本発明の１実施形態によるエンコーダがグループ化が行われるかど
うかを判定する手順を示すフローチャートである。

【図１３】 図１３は、本発明の１実施形態による動きベクトルグループ化を示すフローチ
ャートである。

【図１４】 図１４は、本発明の１実施形態による動き予測を示すフローチャートである。

【図１５】 図１５は、本発明の１実施形態による動きマルチスケールグループ化を示すフ
ローチャートである。

【図１６】 図１６は、セグメントの動きに起因して前に隠れていた領域が見えるようにな
る図である。

【図１７】 図１７は、本発明の１実施形態による前に隠れていた情報の構造を予測する手
順を示すフローチャートである。

【図１８】 図１８は、ローカル残余部の図である。

【図１９】 図１９は、本発明の１実施形態によるローカル残余部をエンコードすることを
示すフローチャートである。

【図２０】 図２０は、本発明の１実施形態によるコマンドを埋め込むための手順を示すフ
ローチャートである。

【図２１】 図２１は、本発明の１実施形態によるフレームを送信するための手順を示すフ
ローチャートである。

【図２２】 図２２は、本発明の１実施形態によるデコーダがレファレンスフレームを受け
取るプロセスを示すフローチャートである。

【図２３】 図２３は、本発明の１実施形態によるデコーダによるセグメント化を示すフロ
ーチャートである。

【図２４】 図２４は、本発明の１実施形態によるデコーダが動き関連情報を受け取る手順
を示すフローチャートである。

【図２５】 図２５は、本発明の１実施形態によるデコーダがグループ化が行われ得るかど
うかを判定する手順を示すフローチャートである。

【図２６】 図２６は、本発明の１実施形態によるデコーダが動きベクトルグループ化を行
う手順を示すフローチャートである。

【図２７】 図２７は、本発明の１実施形態によるデコーダがバックグラウンド残余部を処
理する手順を示すフローチャートである。

【図２８】 図２８は、本発明の１実施形態によるデコーダがローカル残余部を処理する手
順を示すフローチャートである。

【図２９】 図２９は、本発明の１実施形態によるコマンドを埋め込むための手順を示すフ
ローチャートである。

【図３０】 図３０は、本発明の１実施形態によるユーザ駆動型イベントを扱う手順を示す
フローチャートである。

【手続補正書】

【提出日】平成１４年２月１４日（２００２．２．１４）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正の内容】

【特許請求の範囲】

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ，ＡＵ， ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，Ｃ Ｎ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ，ＥＥ ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ， ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，Ｋ Ｐ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ， ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，Ｓ Ｇ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ Ｆターム(参考） 5C059 LC09 MA05 MA09 NN01 NN26 PP05 PP06 PP07 RC12 RC19 SS07 SS08 UA02 UA05

Claims (10)

【特許請求の範囲】
1. 【請求項１】 映像情報を復号化し、該映像情報を復号化するコーデックで
   あって、該映像情報は、少なくとも複数のフレームを含み、各フレームは、該映
   像情報の画像を表し、 ａ）少なくとも第１のフレームおよび第２のフレームを含む映像情報を受信
   する入力と、 ｂ）少なくとも該第１のフレームのセグメント化を生成するセグメンタであ
   って、セグメント化は、少なくとも画素値または画像内容に基づいたフレームの
   画素とセグメントとの関連付けを表す、セグメンタと、 ｃ）該第１のフレームと該第２のフレームとの間のセグメントの相対的モー
   ションを表す動力学情報を生成する動力学情報生成器であって、該相対的モーシ
   ョンは、該第１のフレームと該第２のフレームとの間のセグメントの位置変化に
   関連する、動力学情報生成器と、 ｄ）該第１のフレームを符号化して、第１の符号化フレームを形成する論理
   と、 ｅ）該第２のフレームを符号化して、第２の符号化フレームを形成する論理
   であって、該第２の符号化フレームは、該動力学情報のうち少なくとも一部を含
   む、論理と、 を備えるエンコーダと、 ａ）該第１の符号化フレームおよび該第２の符号化フレームを受信する入力
   と、 ｂ）該第１の符号化フレームを復号化して、第１の再構築されたフレームを
   形成する論理と、 ｃ）該第１の再構築されたフレームの少なくとも一部のセグメント化を生成
   するセグメンタと、 ｄ）該デコーダの該セグメンタによって生成された該セグメント化と、該第
   ２の符号化フレームにおいて符号化された該動力学情報の少なくとも一部とを用
   いて、該第２の符号化フレームを復号化して第２の再構築されたフレームを形成
   する論理と、 を備えるデコーダと、 を備えるコーデック。
2. 【請求項２】 映像情報を符号化するエンコーダであって、該映像情報は、
   少なくとも複数のフレームを含み、各フレームは、該映像情報の画像を表し、 少なくとも第１のフレームおよび第２のフレームを含む映像情報を受信する入
   力部と、 該第１のフレームを符号化して、第１の符号化フレームを形成する論理と、 第１の再構築されたフレームを判定する論理であって、該第１の再構築された
   フレームは、該第１の符号化フレームの復号化から得られるフレームである、論
   理と、 少なくとも該第１の再構築されたフレームのセグメント化を生成するセグメン
   タであって、セグメント化は、少なくとも画素値または画像内容に基づいたフレ
   ームの画素とセグメントとの関連付けを示す、セグメンタと、 該第１の再構築されたフレームと該第２のフレームとの間のセグメントの相対
   的モーションを表す動力学情報を生成する動力学情報生成器であって、該相対的
   モーションは、該第１の再構築されたフレームと該第２のフレームとの間のセグ
   メントの位置変化に関連する、動力学情報生成器と、 該第２のフレームを符号化して、第２の符号化フレームを形成する論理であっ
   て、該第２の符号化フレームは、該動力学情報の少なくとも一部を含み、かつ、
   該第２のフレームが、該デコーダによる該第１の再構築されたフレームについて
   生成されたセグメント化情報を用いて、該第２の符号化フレームから再構築可能
   となるように符号化される、論理と、 を備えるエンコーダ。
3. 【請求項３】 前記第２のフレームを符号化する差異論理を該論理内にさら
   に備え、該差異論理は、前記第１のフレームと前記第１の再構築されたフレーム
   との間の差異および該第１の再構築されたフレームのセグメント化と前記第２の
   フレームのセグメント化との間の差異を用いる、請求項２に記載のエンコーダ。
4. 【請求項４】 映像情報を復号化するデコーダであって、該映像情報は、少
   なくとも複数のフレームを含み、各フレームは、該映像情報の画像を表し、 第１の符号化フレームおよび第２の符号化フレームを受信する入力と、 該第１の符号化フレームを復号化して、第１の再構築されたフレームを形成す
   る論理と、 少なくとも該第１の再構築されたフレームのセグメント化を生成するセグメン
   タと、 該デコーダのセグメンタによって生成されたセグメント化と、該第２の符号化
   フレームにおいて符号化された動力学情報の少なくとも一部とを用いて、該第２
   の符号化フレームを復号して、第２の再構築されたフレームを形成する論理と、 を備えるエンコーダ。
5. 【請求項５】 映像情報を符号化する方法であって、該映像情報は、少なく
   とも複数のフレームを含み、各フレームは、該映像情報の画像を符号化し、 該複数のフレームの第１のフレームを入手する工程と、 該第１のフレームに関するセグメント化情報を入手する工程であって、該セグ
   メント化情報は、該第１のフレームの画像内容に基づいた該第１のフレームの画
   像のセグメント化に関する、工程と、 該複数のフレームの第２のフレームを入手する工程と、 該第１のフレームおよび該第２のフレームの動力学情報を計算する工程であっ
   て、該動力学情報は、該第１のフレームおよび該第２のフレームのセグメントに
   関連する、工程と、 該動力学情報の少なくとも一部を含む符号化映像情報を生成する工程であって
   、該第２のフレームが、該第１のフレーム用のデコーダによって生成されたセグ
   メント化情報に基づいた符号化映像情報から、デコーダによって再構築可能なよ
   うに行なわれる、工程と、 を包含する方法。
6. 【請求項６】 前記符号化映像情報は、少なくとも１つのキーフレームを含
   み、該キーフレームは、前記複数のフレームのうち別のフレームの参照を必要と
   せずに符号化されたフレームである、請求項５に記載の方法。
7. 【請求項７】 前記符号化映像情報を生成する工程は、前記セグメント化情
   報を入手する工程において判定されたセグメント境界に対する前記符号化画像内
   容の位置に適応するフレームの画像内容を適応的に符号化する工程を包含する、
   請求項５に記載の方法。
8. 【請求項８】 映像情報を復号化する方法であって、該映像情報は、少なく
   とも複数のフレームを含み、各フレームは、該映像情報の画像を符号化し、該複
   数のフレームは、キーフレームとして指定されたフレームを少なくとも１つ含み
   、 符号化されたキーフレームを入手する工程と、 該符号化されたキーフレームからキーフレームを再構築する工程と、 該再構築されたキーフレームから該キーフレームに関するセグメント化情報
   を計算する工程であって、該セグメント化情報は、該キーフレームの画像内容に
   基づいた該キーフレームの画像のセグメント化に関連する、工程と、 符号化された中間フレームを入手する工程であって、該中間フレームは、該
   キーフレームと該中間フレームとの間のセグメントに関連する動力学情報を含む
   、工程と、 該動力学情報および該セグメント化情報の少なくとも一部を用いて該符号化
   された中間フレームから中間フレームを再構築する工程と、 を包含する方法。
9. 【請求項９】 搬送波において実現される信号であって、 映像情報の第１のフレームの符号化であって、該映像情報は、少なくとも複数
   のフレームを含み、各フレームは、該映像情報の画像を表す、符号化と、 該映像情報の第２のフレームの符号化であって、該第２のフレームの符号化は
   、該第１のフレームと該第２のフレームとの間の少なくとも画像セグメントの位
   置の差異を表すモーション情報を含み、該画像のセグメントは、該画像内容によ
   って判定され、該第１のフレームのデコーダにおける再構築から判定可能なセグ
   メントである、符号化と、 を備える信号。
10. 【請求項１０】 搬送波において実現される信号であって、 映像情報の第１のフレームの符号化であって、該映像情報は、少なくとも複数
    のフレームを含み、各フレームは、該映像情報の画像を表す、符号化と、 該映像情報の第２のフレームの符号化であって、該第２のフレームの符号化は
    、該第１のフレームに対して該第２のフレームの画像内容を示す一組の基底関数
    の係数を含み、該一連の基底関数は、セグメント化に関連する、符号化と、 を備える信号。