JP2008011552A - オブジェクトベースのビデオ圧縮プロセス - Google Patents

Abstract

【課題】任意多角形でのブロック化により、画像符号化効率を向上する。
【解決手段】ビデオの符号化および復号方法は、複数のイメージ・フレームのビデオ・シーケンスにおける表示運動を表すデジタルビデオ信号の圧縮および解圧を行う。符号化方法は、オブジェクト−もしくは特徴に基づくビデオ圧縮を利用し、フレーム間運動およびフレーム間イメージ特徴の符号化の精度および融通性を高める。ビデオ情報の圧縮は、従来のビデオ圧縮方法の様に固定的で規則的な配列に対してではなく、任意形状のオブジェクトもしくは特徴に対して行われる。これにより、エラー要素が減少されて、圧縮効率および精度が高められる。復号方法は、符号化ビデオ情報を解圧し、任意形状のオブジェクトもしくは特徴を再生する。
【選択図】図１

Description

本発明は、ディジタル・ビデオ信号を圧縮する方法に関わる。特に、精度を増すためのエラー・フィードバックを備えた画像対象基準（オブジェクト ベース）ディジタル・ビデオ符号化方法に関わる。

アナログ・ビデオ信号による完全活動（フルモーション）ビデオ表示は、テレビジョンという形式で長く一般に利用されている。最近の、コンピュータの処理機能や、コンピュータ入手性の増大に伴って、ディジタル・ビデオ信号による完全活動ビデオ表示がさらに広く一般に利用されるようになっている。ディジタル・ビデオ装置は、従来のアナログ・ビデオ装置に比べて、完全活動ビデオ画面を生成し、修飾し、伝送し、保存し、再生することにおいて目立った改善を加えている。

ディジタル・ビデオ・ディスプレーは、多数の画像フレームからなり、このフレームは、30から75Hzの間の周波数で連続的に実行、あるいは、表示される。各画像フレームは、その特定の装置のディスプレー解像度による、ある配列のピクセル（画素）から形成される静止画像である。例を挙げるならば、VHS 装置は、320x480 ピクセルのディスプレー解像度を持ち、NTSC装置は、720x486 ピクセルの解像度を持ち、現在開発中の高解像度(high-definition television, HDTV)装置は、1360x1024 ピクセルの解像度を持つ。

ビデオ配列に含まれる生のディジタル情報の量は莫大である。この莫大量のビデオ情報の保存・伝送は、従来のパソコン装置では不可能である。320x480 ピクセル解像度を持つ比較的低解像度のVHS 画像方式におけるディジタル形式に関しては、持続２時間の映画１巻は、100 ギガバイトのディジタル・ビデオ信号に相当する。比較として、従来のコンパクト・ディスクは、約0.6 ギガバイトの容量を持ち、磁気ハード・ディスクは、1-2 ギガバイトの容量を持ち、また、現在開発中の光学的コンパクト・ディスクは、最大８ギガバイトまでの容量を持つ。

このような莫大量のディジタル・ビデオ信号を保存・伝送する際に認められる限界を処理するために、各種のビデオ圧縮基準ないし方法が導入されている。その中にはMPEG-1、MPEG-2、および、H.26X がある。これら従来のビデオ圧縮法は、時間的ないしフレーム間相関と呼ばれる、連続する画像フレーム間の相似性を利用して、フレーム間圧縮を行なう。この圧縮においては、画像フレームのピクセル表示が、運動表示に変換される。さらに、従来のビデオ圧縮法は、空間ないしフレーム内相関と呼ばれる画像フレーム内部の相似性を利用し、フレーム内圧縮を実行する。この圧縮においては、ある画像フレーム内の運動表示がさらに圧縮される。フレーム内圧縮は、従来の静止画像圧縮方法、例えば、不連続コサイン変換(DCT) 符号化法に基づく。

特定の導入方法は異なるものの、MPEG-1、MPEGー2、および、H.26X のビデオ圧縮基準はいくつかの点で類似する。下記のMPEGー2ビデオ圧縮基準に関する記載は、一般に他の二者にも当てはまる。

MPEG-2は、ビデオ画像における方形ブロック、すなわち、ピクセル配列に基づいてフレーム間圧縮とフレーム内圧縮とを実行する。一つのビデオ画像は、16x16 ピクセルの大きさを持つ変換ブロックに区分される。ある画像フレームN における各変換ブロック T_N について、直前の画像フレームN-1 、または、さらに、直後の画像フレームN+1 （すなわち両方向性） 、の画像を横切って探索を行ない、それぞれにおいてもっとも相似性の高い変換ブロック T_N+1 、または、 T_N-1 を特定する。

理想的には、かつ、直後の画像フレームの探索に関して、変換ブロック T_N および T_N+1 のピクセルは、例えその変換ブロックが、それぞれの画像フレームにおいて異なる位置を占めていても、同一である。このような状況においては、変換ブロック T_N+1 におけるピクセル情報は、変換ブロック T_N のピクセル情報にたいして冗長となる。変換ブロック T_N+1 のピクセル情報の代わりに、変換ブロック T_N と T_N+1 間の位置線形移動で代置することによって圧縮を実行する。この単純化した例においては、変換ブロック T_N+1 における256 ピクセルに伴うビデオ情報にたいして、ただ一つの線形移動ベクトル( ΔX 、ΔY)が指定される。

しばしばあることであるが、対応する変換ブロック T_N および T_N+1 におけるビデオ情報（すなわち、ピクセル）は同一ではない。両者の差は変換ブロック誤差E と呼ばれるが、無視できない場合がしばしばある。この誤差は、不連続コサイン変換(DCT) 符号化法のような従来の圧縮方法によって圧縮されるのではあるが、この変換ブロック誤差E は厄介なものであり、ビデオ信号の圧縮度( 比) と精度を制限する。

ブロックによるビデオ圧縮法においては、いくつかの理由で、大きな変換ブロック誤差E を生ずる。ブロックによる運動評価は、ただ連続する画像フレーム間の線形移動運動を示すにすぎない。表示される、対応する変換ブロック T_N と
T_N+1 の間の唯一の変化は、それら変換ブロックの相対的位置の変化だけである。このような表示法の欠点は、完全運動ビデオ配列は、線形移動以外の複雑な運動、例えば、回転、拡大、および、斜行をしばしば含むことである。このような複雑な運動を単純な線形移動近似によって表示することは重大な誤差を生むことになる。

ビデオ表示のもう一つの局面として、ビデオ表示は、通常、互いに相対的に変化ないし運動する複数の画像特質または画像対象（以下単に対象と呼称する）を含むことがある。対象は、あるビデオ表示内における個別の人物、事物、または、情景であるかもしれない。活動画面における情景に関しては、例えば、その情景の中の人物（すなわち、俳優）や事物（すなわち、点景） の各々が、個別の対象となり得る。

あるビデオ配列における対象間の相対的運動が、従来のビデオ圧縮方法における、無視できない、もう一つの変換ブロック誤差要因となる。変換ブロックが規則的な形・大きさを持つために、その多くは、異なる対象物の部分・部分を包括する。連続する画像フレームを通じて、対象間に相対運動がある場合、対応する変換ブロック間に極端に低い相関が生ずることがある( すなわち、変換誤差E が高くなる)。同様に、連続する画像フレームにおける対象物の部分の出現( 例えば、人物が振り向く)も高い変換誤差E を招く。
従来のビデオ圧縮法は、変換誤差E の大きさによって、方法自体の本来的な性質によって制限されているようである。ディジタル・ビデオ表示能にたいする要求が高まるにつれて、ディジタル・ビデオ圧縮の改良法が望まれている。

発明の大要
本発明は、多数の画像フレームから成るビデオ配列においてディスプレー運動を表わすディジタル化ビデオ信号を圧縮するための、ビデオ圧縮符号化方法を含む。この符号化方法は、対象依存性（オブジェクト ベースト）ビデオ圧縮を利用し、それによって、フレーム内運動、および、フレーム間画像特質の精度、および、融通性を改善するものである。ビデオ情報は、従来のビデオ圧縮法に見られるように、固定した、規則的なピクセル配列にたいしてではなく、任意の形を持つ対象にたいして圧縮される。これによって、誤差成分は低下し、それによって、圧縮効率、および、精度は改善される。もう一つの利点として、本発明の対象依存性ビデオ圧縮法は、圧縮されたビデオ情報を処理するための、相互的ビデオ編集機能を与える。

一つの好ましい実施態様においては、本発明の方法は、第１ビデオ画像フレームにおける任意の形をした画像特質を特定し、その画像特質の内部に、複数の、異なる特質点を定義することである。第１ビデオ画像フレームにおける画像特質の特質点は、直後の第２ビデオ画像フレームにおける画像特質の対応する特質点と相関する。これによって、第２のビデオ画像フレームにおける画像特質の推定を実行する。第２のビデオ画像フレームにおける推定画像特質と、実際の画像特質との差を求め、これを圧縮形式に符号化する。

本発明の符号化方法は、従来のブロック依存性ビデオ圧縮法の欠点を克服するものである。この符号化方法はできれば多次元変換法を用いることが好ましい。すなわち、それによって連続する画像フレームにおける対応する対象間のマッピングを表わすためである。変換の多次元とは、一般的な形の座標の数を指す。多次元変換は、線形移動、回転、拡大、および、斜行のいずれかを、または、それらのすべてを含む複雑な運動を表わすことができる。そのため、連続する画像フレーム間の対象の複雑な運動を、比較的変換誤差を低く抑えて、表現することができる。

従来のブロック依存性ビデオ圧縮法のもう一つの誤差要因は、一つの変換ブロック内部に含まれる複数の対象間の運動である。本発明の、対象依存性ビデオ圧縮または符号化においては、変換ブロック内部における複数の対象間の相対的運動は実質的に取り除かれる。そのため、対象間運動によって生ずる変換誤差も実質的に減少する。本発明の符号化方法による変換誤差きわめて低いために、本方法では、従来の符号化方法、例えば、MPEG-2で得られるものよりも、最大300 ％に達する大きな圧縮率を得ることができる。
本発明の、好ましい実施態様の、前記した、ならびに、その他の利点は下記の詳細な説明によりさらに明瞭になるであろう。説明は、付属の図面を参照しながら行なわれる。

実施例の説明
第１図を参照すると、本発明の好ましい実施態様における動作環境は、汎用ないし特殊型いずれかのコンピュータ装置20であって、少なくとも１個の高速演算処理装置(Central processing unit, CPU)22を、メモリ装置24、入力装置26、および、出力装置28と結合状態において含むものである。これらの要素は、バス構造30によって相互に結合される。

図示のCPU22 は、普及型デザインのもので、計算を実行するためのALU32 、データの一次的メモリのためのレジスター集団34、装置20の動作を制御するための制御装置36を含む。CPU22 は、以下の各種アーキテクチャーのいずれかを持つプロセッサーであってもよい。すなわち、ディジタル社のアルファ、MIPSテクノロジー社、NEC 、ジーメンスおよびその他のMIPS、インテル社および、サイリックス、AMD 、および、ネクスジェンを含むその他のx86 、および、IBM およびモトローラ社のパワーPcである。

メモリ装置24は、メイン・メモリ38、および、二次メモリ40を含む。図示のメイン・メモリ38は、16メガバイトの半導体RAM メモリの形態を取る。二次メモリ40は、ROM 、オプティカル・ディスクまたは磁気ディスク、フラッシュ・メモリ、または、テープのような長期メモリの形態を取る。当業者であれば、メモリ装置24は、他にも、たくさんの別様の要素を含むことができることを了解するであろう。

入力装置、および、出力装置26、28も馴染み深いものである。入力装置26は、キーボード、マウス、物理的トランスデューサー( 例えば、マイクロフォン）等を含んでいてよい。出力装置28は、ディスプレー、プリンター、トランスデューサー( 例えば、スピーカー）等を含んでいてよい。ネットワーク・インターフェイスまたはモデムのようないくつかの装置も、入力、および・または、出力装置として使用することができる。

当業者であれば熟知のように、コンピュータ装置20はさらにオペレーティング・システム、および、少なくとも１個のアプリケーション・プログラムを含む。オペレーティング・システムはコンピュータ装置の動作とリソースの割り当てを制御する、一組のソフトウェアである。アプリケーション・プログラムは、オペレーティング・システムを通じて利用可能になるコンピュータのリソースを利用しながら、ユーザーの望むタスクを実行する一組のソフトウェアである。両方とも図示のメモリ装置24中に滞在する。

コンピュータ・プログラミングの分野に通暁する当業者の慣用に従って、以下に本発明を、別様に断らないかぎり、コンピュータ装置20によって実行される動作に関する記号的表記法に基づいて記載する。上記動作は、時に、コンピュータ実行性と呼ばれることがある。記号的に表記される動作は、CPU22 による、データ・ビットを表わす電気信号の操作、および、メモリ装置24におけるメモリ位置におけるデータ・ビットの維持、その他の信号処理を含む。データ・ビットが維持されるメモリ位置は、そのデータ・ビットにたいする特定の電気的、磁気的、ないし、光学的性質を持つ物理的位置である。

第2Aおよび2B図は、ビデオ・ディスプレー装置52（例えば、テレビ、または、コンピュータのモニター）のディスプレー画面50の模式図であって、対応するビデオ信号によって電子的に表わされるビデオ画像配列の内の、２個の連続する画像フレーム54a 、および、54b を示す。ビデオ信号は、アナログ・ビデオ形式、例えば、NTSC、PAL 、および、SECAM を含むビデオ信号形式、および、コンピュータ・ディスプレーで通常用いられる、ピクセル式、または、ディジタル化ビデオ信号形式、例えば、VGA 、CGA 、および、EGA のビデオ信号形式など、各種ビデオ信号形式の内のいずれで表わされたものであってもよい。できれば、画像フレームに対応するビデオ信号は、ディジタル化信号形式のものであることが好ましい。すなわち、当業者であれば熟知のように、もともとそのようなものとして生成されたものか、アナログ・ビデオ信号形式から変換されたものかのいずれかであることが好ましい。

画像フレーム54a および54b は、それぞれ、背景60上に位置する、直方形の固相画像特質56と、ピラミド型の画像特質58とを含む。画像フレーム54a と54b における画像特質56と58は、別々の部分が隠され、示されるために異なる外見を持つ。下記の記載のために、ある画像フレームの中のある画像特質の特定の形を対象、または、マスクと言うことにする。従って、直方体固相特質56は、それぞれの画像フレーム54a と54b において、直方体固相対象56a および56b として示され、ピラミッド型画像特質58は、それぞれの画像フレーム54a と54b において、ピラミッド型対象58a および58b として示される。

ピラミッド型画像特質58は、画像フレーム54a と54b とにおいて、同じ位置と方向で示されるので、ビデオ配列の中で示された場合「外見的に」不動に見えるものである。直方形固形体56は、フレーム54a と54b において、ピラミッド58にたいして、相対的に異なる方向、および、位置に示されるので、ビデオ配列の中で示された場合「 外見的に」 運動し、回転しているように見えるものである。画像特質58と60のこれらの見かけの運動は、図示的なもので、誇張されている。ビデオ配列の画像フレームは通常、30〜60Hzの範囲にある頻度で表示される。ビデオ運動にたいするヒトの感覚は、通常、２個以上のフレームを必要とする。画像フレーム54a と54b とはしたがって、本発明を例示するために、従来のビデオ配列の模式図を表わす。さらに、本発明は決して単純なビデオ画像、画像特質、または、配列のみに限定されないこと、逆に、任意の複雑さを持つビデオ画像やビデオ配列に適用可能であることが了解されるであろう。

ビデオ圧縮符号化工程概論
第3A図は、ビデオ圧縮符号化工程64の全体機能ブロック・ダイアグラムであり、この工程は、複数の画像フレームを持つビデオ配列において、ディスプレー運動（モーション）を表わすディジタル化ビデオ信号を圧縮するためのものである。ビデオ情報（すなわち、ビデオ配列や信号）の圧縮は、例えば、相互的ないしディジタル・テレビや、マルティメディア・コンピュータ・アプリケーションを含む各種用途におけるディジタル・ビデオ情報の経済的なメモリや転送を可能にする。簡単のために、符号化工程64の機能ブロックに割り当てた参照数字は、その機能ブロックによって生成される結果に関しても互換的に用いることとする。

従来のビデオ圧縮法は、時間的相関、または、フレーム間相関と呼ばれる、連続する画像フレーム間の類似性を利用し、それによって、画像フレームのピクセル依存性表示を、運動表示に変換するフレーム間圧縮を実行する。さらに、従来のビデオ圧縮法は、空間的相関、または、フレーム内相関と呼ばれる、画像フレーム内部の類似性を利用し、それによって、ある画像フレーム内の運動表示がさらに圧縮されるフレーム内圧縮を実行する。

このような従来のビデオ圧縮法においては、この中には、MPEG-1、MPEG-2、および、H.26X が含まれるが、時間的・空間的相関は、固定した、規則的な（例えば、方形）ピクセル配列の単純な線形移動にたいして決定される。しかしながら、ビデオ情報は通常、ピクセルの正方形配列を線形移動することによっては正確に表わすことのできない任意のビデオ運動を含む。そのため、従来のビデオ圧縮法は通常、無視できない誤差成分を含むこととなり、これが、圧縮比と精度に制限を与える。

逆に、符号化工程64は、対象基準（オブジェクト ベースト）ビデオ圧縮を利用し、それによって、フレーム間運動、および、フレーム内画像特質を符号化する際の精度と融通性とを改善する。符号化工程64は、固定した、規則的なピクセル配列ではなく、任意の形態を持つ対象にたいしてビデオ情報を圧縮する。これによって、誤差成分は減少するから、圧縮効率と精度は改善される。もうひとつの利点として、対象依存性ビデオ圧縮は、圧縮ビデオ情報を処理する際に有効な、相互的ビデオ編集機能を与える。

第3A図を参照すると、機能ブロック66は、あるビデオ配列の画像フレームにおけるユーザー定義による対象（オブジェクト）が、同じ画像フレーム内の他の対象からセグメント化されることを示す。対象は、任意の形態を持っていてよいが、できれば、ディスプレー・画像において、個別の画像特質を表わしていることが好ましい。セグメント化とは、その画像フレームにおける、対象に対応するピクセルを特定することを含む。ユーザー定義による対象は、ビデオ配列の中の画像フレームのそれぞれにおいて定義される。例えば、第2A、2B図において、直方体対象56a と56b 、および、ピラミッド型対象58a と58b とは別々にセグメント化される。

分節された対象は、その対象の、２進の、または、複数進の( 例えば、８ビット) 「アルファー・チャンネル」マスクで表わされる。対象マスクは、ある対象の、大きさ、形、位置を個別のピクセルとして表わすものである。簡単のために、以下の説明では、２進マスクを取扱うこととする。２進マスクにおいては、対象の各ピクセルは、通常の24ビット（３個の色成分値のそれぞれにたいして８ビットずつ）ではなく、ただ一つの２進ビットで表わされる。複数ビット（例えば８ビット）マスクも従来使用されている。

機能ブロック68は、各対象の「特質点」が、ユーザーによって定義されることを示す。特質点はできれば、対象の際立った特質ないし局面であることが好ましい。例えば、隅角70a 〜70c 、および、隅角72a 〜72c を、それぞれ直方体56とピラミッド58の特質点としてユーザーが定義することができる。各画像フレームにおける、各対象マスクと、その特質点に対応するピクセルは、メモリ装置24に含まれる対象データベースに保存される。

機能ブロック74は、連続する画像フレームにおける特質点の位置の変化を特定し、連続する画像フレーム間の特質点にたいする軌跡が求められることを示す。軌跡とは、特質点移動の方向と程度を表わす。機能ブロック76は、直前フレームN-1と現在フレームN の間における対象の特質点の軌跡も、対象データベースから取り出されることを示す。

機能ブロック78は、直前フレームN-1 と現在フレームN の間において、対象にたいして、粗大運動変換を求めることを示す。粗大運動変換は、フレームN-1 とN 間における特質点軌跡に基づいて実行される。粗大運動変換は、直前フレームN-1 と現在フレームN の間における対象の変化の近似を与える。

機能ブロック80は、現在フレームN における対象のマスクが、メモリ装置24の対象データベースから取り出されることを示す。

機能ブロック90は、量子化マスター対象、あるいは、「スプライト」が、対象、すなわち、画像フレーム配列における画像特質に対応するマスク66と、特質点軌跡74から形成されることを示す。このマスター対象は、できれば、対象の局面または特質のすべてを、それらが複数フレームに表わされるがままに含んでいることが好ましい。例えば、第2A、2B図に関して言えば、フレーム54b の直方体56は、フレーム54a に示されていない側面78b を含む。同様に、直方体56は、フレーム54a において、フレーム54b には示されていない側面78a を含む。直方体56のマスター対象は、両側面78a と78b とを含む。

粗大運動変換78は、フレームN-1 とN 間における対象の変化を完全に表わさないことがしばしばある。例えば、直前フレームN-1 における対象、例えば、直方体54a は、現在フレームN において対象のすべての特質を含んでいないかもしれない。例えば、直方体54b の側面78b のように。

したがって、変換の精度を上げるために、直前フレームN-1 と現在フレームNにおける対象マスクの交点を、当業者には既知の論理AND 機能を用いて求める。現在フレームN における対象のマスクを、得られた交点から差し引き、直前フレームN-1 の対象に含まれない、現在フレームN の対象の部分、または、特質（例えば、前述の直方体54b の側面78b ）を特定する。対象の新たに特定された部分を、マスター対象90に取り込み、それによって、マスター対象が、フレームN-1とN において、対象の完全表示を含めることができるようにする。

機能ブロック96は、直前フレームN-1 における対象98の量子化形態（例えば、画像フレーム54a における直方体56a ）が、細密運動変換によって変換され、それによって、現在フレームN における対象102 の予想形（例えば、画像フレーム54b における直方体56b ）を与えることを示す。 この変換は、対象依存性フレーム間圧縮を与える。

細密運動変換はできれば、フレームN-1 の量子化直前対象98と現在フレームNの対象との間の類似性（affine）変換を求め、かつ、その類似性（affine）変換を、量子化直前対象98に適用することから成ることが好ましい。好ましい類似性（affine）変換は、類似性（affine）変換係数104 によって表わされ、かつ、線形移動、回転、拡大、および、斜行を記述することができる。類似性（affine）変換は、細密運動評価から求められるが、できれば、直前量子化対象98と、現在フレームN の対象との間において、ピクセル対ピクセル・マッピングを含むことが好ましい。

予想現在対象102 は、細密運動変換96によって修飾された量子化直前対象98によって表わされるが、これは、比較的複雑な運動を表わすことができるだけでなく、マスター対象90から得られるどのような新しい画像局面をも表わすことができる。このような対象依存性表示は、比較的精度が高い。というのは、対象に結合する感覚的・空間的連続性が、異なる画像フレームにおける異なる対象間に通常見られる関係変化から生ずる誤差を除去するからである。さらに、対象依存性表示の場合、ユーザーは、異なる対象を、異なる解像度レベルで表わすことが可能であるから、それによって、様々の複雑さを持つ、複数の対象を表わす際に、相対的な効率と精度を最適化することができる。

機能ブロック106 は、画像フレームN に関して、予想現在対象102 を、現在フレームN のもともとの対象108 から差し引き、それによって、予想対象102 における推定誤差110 を求めることを示す。推定誤差110 は、量子化直前対象98にたいする、画像フレームN における現在対象108 の圧縮表示である。もっと具体的に言うと、現在対象108 は、推定誤差110 と量子化直前対象98とから復号化、すなわち、再構成することができる。

機能ブロック112 は、推定誤差110 が、従来の「ロッシー」（ロス−損失を伴う）静止画像圧縮法、例えば、格子区分け法や、その他の波形圧縮法、または、符号化法によって、または、不連続コサイン変換(DCT) 符号化法によって圧縮、すなわち、符号化されることを示す。 これら圧縮法については、前者は、バイジャナタン(Vaidyanathan)著「多速度装置、および、集積フィルター(Multirate
Systems and Filter Banks)」(PTR Prentice-Hall, Inc., Englewood Cliffs,ニュージャージー州、アメリカ、1993) に、後者は、ペンベーカーら(Pennebaker et al.)著「JPEG―静止画像圧縮基準」(Van Nostrand Reinhold, ニューヨーク、1993) に記載の通りである。

当業者には既知のように、「ロッシー」圧縮法は、データ圧縮を増そうとすると、データ歪を生ずる。データ歪とは、圧縮前の元データと、圧縮し、脱圧縮した後に得られるデータとの間の変異を指す。下記の例示のために、機能ブロック102 の圧縮、すなわち、符号化は、波形符号化法であると想定する。

機能ブロック114 は、機能ブロック112 によって得られる波形符号化推定誤差が、従来の「ロスレス」（ロス−損失を伴わない）静止画像圧縮法によってさらに圧縮されること、すなわち、「符号化」され、それによって圧縮データ116 を形成することを示す。好ましい通例の「ロスレス」静止画像圧縮法としては、ペンベーカーら(Pennebaker et al.) 著「JPEG―静止画像圧縮基準」に記載のエントロピー符号化法がよい。当業者には既知のように、「ロスレス」圧縮法はデータ歪を誘発しない。

誤差フィードバック・ループ118 は、フレームN の対象について機能ブロック112 で得られた波形符号化推定誤差を利用して、直後フレームN+1 にたいする直前量子化対象を得る。フィードバック・ループの第１手順として、機能ブロック120 は、機能ブロック112 で得られた波形符号化推定誤差が逆波形符号化される、すなわち、波形復号化され、それによって画像フレームN の対象にたいする量子化誤差122 を形成することを示す。

「ロッシー」静止画像圧縮法によって、推定誤差110 を連続的に符号化し、復号化することの効果は、量子化誤差122 から、一般に視認者には感覚されないビデオ情報を取り除くことにある。このため、そのような高い周波数成分を取り除くことによって、画像品質をほとんど損なわずに、最大約200 ％の画像圧縮率を得ることができる。

機能ブロック124 は、共に画像フレームN にたいする、量子化誤差122 と予想対象102 が加算され、それによって、画像フレームＮにたいする量子化対象126を形成することを示す。タイミング調整遅延128 の後、量子化対象126 は、量子化直前対象98となり、画像フレームN+1 の対応する対象を処理する基礎として用いられる。

符号化工程64は、連続する画像フレームにおける対応する対象の時間的相関を用いて、改善されたフレーム間圧縮を獲得し、さらに、対象内の空間的相関を用いて、高精度の、効率的なフレーム内圧縮を獲得する。フレーム間圧縮に関して言えば、運動推定と補償を実行し、それによって、あるフレームにおいて定義された対象を、直後のフレームにおいて推定する。直後フレームにおける対象の運動依存性推定は、従来のブロック依存性対象表示よりもはるかに少ない情報しか必要としない。フレーム内圧縮に関して言えば、各対象にたいする推定誤差信号が圧縮され、それによって、あるフレーム内の、その対象の空間的相関を利用することができ、また、異なる対象を、異なる解像度で表わすことができる。フィードバック・ループ118 によって、連続するフレームにおける対象を、完全に脱圧縮された対象から予測することができるから、そのため推定誤差の蓄積を防止することができる。

符号化工程64は、出力として、複数画像フレームのビデオ配列におけるディスプレー運動を表わす量子化ビデオ信号の圧縮表示、すなわち、符号化表示を与える。この圧縮、または、符号化表示は、対象マスク66、特質点68、類似性（affine）変換係数104 、および、圧縮誤差データ116 を含む。この符号化表示は、ビデオ情報の使用される特定の用途に従って、保存されてもよいし、転送されてもよい。
第3B図は、マスター対象90を符号化、すなわち、圧縮するためのマスター対象符号化工程130 の機能ブロック・ダイアグラムである。機能ブロック132 は、マスター対象90が、従来の「ロッシー」静止画像圧縮法、例えば、格子区分け法ないし他の波形圧縮法、または、不連続コサイン変換（DCT ）符号化法によって圧縮、または、符号化されることを示す。できれば、機能ブロック132 は、波形符号化法を採用することが好ましい。

機能ブロック134 は、機能ブロック132 によって得られた波形符号化マスター対象がさらに従来の「ロスレス」静止画像圧縮法によって圧縮、すなわち、符号化され、圧縮マスター対象データ136 を形成することを示す。好ましい通例のロスレス静止画像圧縮法はエントロピー符号化法である。

符号化工程130 は、出力として、圧縮マスター対象136 を与える。符号化工程64によって与えられる圧縮、または、符号化表示と共に、圧縮マスター対象136は、保存ないし転送後脱圧縮、または、復号化し、複数画像フレームのビデオ配列を生成させてもよい。

符号化工程64は、ある画像フレーム内部における単一対象に対応するビデオ情報を符号化することに関連して記載される。第2A図、2B図に示したように、また、上述のように、符号化工程64は、ある画像フレームにおける個々の対象ごとに（例えば、第2A図、2B図の対象56と58）別々に実行される。さらに、多くのビデオ画像は、その上に任意の数の画像特質、または、対象が帰着される背景を含む。できれば、背景は、すべてのユーザー指定による対象が処理されて後、本発明による対象として処理されることが好ましい。

画像フレーム内の対象の処理のためには、それら対象が個別に特定されることが必要である。できれば、符号化工程64は、ある画像フレームについて、最前面の対象物( 単数または複数)から始まって、順々に進行していき最後尾の対象（例えば、背景）に至る対象に適用されることが好ましい。符号化対象のビデオ画像への構成は、できれば、最後尾の対象( 例えば、背景) から始まって、順々に最前面の対象（例えば、第2A、2B図の直方体56） に向かって進行することが好ましい。符号化対象の重層は、ある画像フレームの対象と関連する個別の重層データとして通信してもよいし、別法として、重層、または、構成配列に対応する、ある配列の中の符号化対象を転送、または、獲得することによって通信してもよい。

対象分節と追跡 （object segmentation and tracking）
一つの好ましい実施態様においては、機能ブロック66において参照される画像フレーム内部の画像の対象（オブジェクト）をセグメント化（分節）することによって、ユーザーは相互的セグメント化（分節）を得ることができる。本発明の対象分節は、対象をセグメント化（分節）するに当たって高精度を可能にし、比較的速く、かつ、分節される対象を定義するにあたって、ユーザーに最適の弾力性を与える。

第４図は、対象（オブジェクト）分節工程140 の機能ブロック・ダイアグラムであり、この工程によって、あるビデオ配列のある画像フレームの選ばれた対象を分節する。工程140 による対象（オブジェクト）分節は、高精度で速く、ユーザーにとって定義の簡単な、対象の感覚的グループ化を実現させる。
第5A図は、画像フレーム54a と直方体対象56a を示すビデオ・ディスプレー装置52のディスプレー画面50の模式図である。ディスプレー画面50への帰着時、直方体対象56a は対象辺縁（perimeter）142(図では、はっきりと分かるように対象56a から離して描かれる）を含む。このものは、対象内部144 の境界となる。対象内部144 とは、ディスプレー画面50における対象56a の輪郭を指し、一般に、内部表面、または、図示のように、画像特質の外表面に一致する。下記の説明は、特に、直方体対象56a に関してなされるものであるが、ある画像フレームにおいて分節される各対象に同様に適用可能である。

機能ブロック146 は、ユーザーが、対象内部144 内に、対象辺縁142 の内部輪郭148 を形成することを示す。ユーザーはできれば内部輪郭148 を、マウスや、追跡ボールのような通例のポインター、または、カーソル制御装置で形成することが好ましい。内部輪郭148 は、対象辺縁142 から指定の距離150 以内に形成される。指定距離150 は、ユーザーによって選ばれるが、その大きさは十分大きく、ユーザーは、内部輪郭148 を、辺縁142 の指定距離150 以内に、比較的速やかに形成することができる。指定距離150 は、例えば、約４から10ピクセル間に相当する。

機能ブロック146 は、ビデオ配列の中のキー・フレームに関連して実行される。例えば、従来の活動映画の場面に関して言えば、キー・フレームとは、ある場面の複数のフレームの内の第１フレームである可能性が多い。この機能にユーザーを参加させることによって、対象分節工程140 は半ば自動化されるが、それでいて、対象の分節される精度と弾力性は目立って増す。キー・フレームを除いては、その後の画像フレームにおける対象は、以下にさらに詳細に述べるように自動的に分節化される。

機能ブロック152 は、内部輪郭148 が自動的に拡大され、外部輪郭156 を形成することを示す。外部輪郭156 の形成は、外部輪郭156 が、内部輪郭148 からユーザー定義数のピクセルだけ増えるように、輪郭148 の比較的簡単な画像拡大として実行される。できれば、内部輪郭148 と、外部輪郭156 間の距離はおよそ距離150 の２倍となることが好ましい。
機能ブロック158 は、内部輪郭148 と外部輪郭156 の間のピクセルが、それらが対象内部144 の中にあるかどうかに関する、あらかじめ定義された属性に従って分類され、それによって、第3A図に関連して記載された型の、対象辺縁142 と、対応マスク80を自動的に特定することを示す。できれば、画像属性は、ピクセル・カラーと位置を含むことが好ましく、かつ、いずれの属性も、それだけで、または、他の属性と併せて使用できるものであることが好ましい。

この好ましい実施態様では、内部輪郭148 と外部輪郭156 におけるピクセルの各々が、(r、 g 、 b 、 x 、 y)の形の5 次元ベクトルで表わされる「クラスター中心」を定義する。用語r 、g 、およびb は、ピクセルの各々に関連する赤、緑、および、青のカラー成分に対応し、用語x 、および、y は、ピクセルの位置に対応する。内部輪郭148 の中のピクセルに対応するｍ個のクラスター中心ベクトルは、｛I₀, I₁, ..., I_m-1 ｝で表わされ、外部輪郭156 の中のｎ個のクラスター中心ベクトルは、｛O₀, O₁, ..., O_n-1 ｝で表わされる。

クラスター中心ベクトル I_i と O_j の間のピクセルは、５次元ベクトル空間において、各ピクセルのもっとも近いベクトルを特定することによって分類される。各ピクセルについて、それぞれのクラスター中心ベクトルIiおよびOjの各々にたいする絶対距離 d_i および d_j は、下記の式によって計算される。

ここに、Wcolor、および、Wcoordは、カラー、および、ピクセル位置情報それぞれにたいする重みづけ係数である。重みづけ係数Wcolor、および、Wcoordは、合計が１、そうでなければユーザーの選んだ数となる値を持つ。できれば、重みづけ係数Wcolor、および、Wcoordは0.5 という等値を持つことが好ましい。各ピクセルは、クラスター中心ベクトル I_i および O_j の一つにたいし５次元最小距離による対象内部144 または外部に関連する。

機能ブロック162 は、ユーザーが、先頭フレームまたはキー・フレームの各対象において、少なくとも２個の、できればそれよりたくさんの（例えば４から６個の）特質点を選択することを示す。できれば、特質点は、対象の比較的際立った局面であることが好ましい。例えば、直方体画像特質56に関連して言えば、隅角70a 〜70c を特質点として選ぶことも可能である。

機能ブロック164 は、各選ばれた特質点（例えば、隅角70a 〜70c ）を取り囲む複数のピクセルから成るブロック166 が定義され、後続画像フレーム（例えば、直後画像フレーム）の対応するブロックに適合されることを示す。ピクセル・ブロック166 は、ユーザー定義によるものではあるが、できれば、画像内部144 内のピクセルだけを含む32x32 ピクセル配列を含むものであることが好ましい。機能ブロック158 で決められることであるが、（例えば、隅角70b と70c ）ピクセル・ブロック166 の内、対象内部144 の外にはみ出すピクセル168 （斜線で示す）は除外される。ピクセル・ブロック166 は、従来のブロック適合工程、または、下記にさらに詳細に述べる多角形適合工程によって特定される最小絶対誤差によって、直後画像フレームの対応するピクセル・ブロックに適合される。機能ブロック170 は、ある対象の粗大運動変換が、２個の連続する画像フレームにおける対応する特質点から求められることを示す。機能ブロック172 は、現在画像フレームのマスク80が粗大運動変換によって変換され、それによって、直後画像フレームのマスク80にたいする推定の得られることを示す。後続画像フレームの中に特定されない、現在フレーム中の特質点はいかなるものも無視される。

機能ブロック174 は、直後画像フレームにおけるマスク80に関して得られた推定がフレーム１個分遅らせられ、かつ、その直後サイクルにたいして輪郭176 として機能することを示す。同様に、機能ブロック178 は、対応する特質点もフレーム１個分遅らせられ、同じ直後のフレームにたいして初期特質点180 として利用されることを示す。

多角形適合法
多角形適合法200 の機能ブロック・ダイグラムであり、この方法は、連続する画像フレームにおける、各対応ピクセル・ペアについて運動ベクトルを求めるものである。このような細密運動ベクトル計算は、第3A図の細密運動変換96を求める基礎となる。

多角形適合工程200 は、従来のブロック適合工程同様、連続する画像フレーム間の広範な運動を求めることができる。しかも、従来のブロック適合工程と違って、多角形適合工程200 は、対象辺縁近傍、または、直上に位置するピクセルにたいする高精度を維持するから、その生成する誤差は目立って少ない。多角形法200 の好ましい実施態様においては、計算効率が向上する。
多角形ブロック法200 を、第7A、および、7B図を参照しながら説明する。この図は、２個の連続する画像フレーム202a、202bを示すディスプレー画面50の模式図であり、それら画像フレームにおいて、画像特質204 が、それぞれ、対象204a、および、204bとして帰着される。

機能ブロック206 は、画像フレーム202aと202bにおける対象204aと204bとが特定され、例えば、対象分節法140 によって分節されることを示す。
機能ブロック208 は、対象204bにたいして適用されるピクセル・ブロック210b（例えば、15x15 ピクセル）と、対象204aの周囲の探索領域212 にたいする次元数が求められることを示す。ピクセル・ブロック210bは、それにたいして、対象204aにおける対応ピクセル・ブロック210aが特定される、そのような、対象204bの周囲の領域を定義する。探索領域212 は、対応ピクセル・ブロク210aが求められる領域を定める。できれば、ピクセル・ブロック210bと探索領域212 とは、直角の規則的なピクセル配列であって、ユーザーによって定義される大きさを持つものであることが好ましい。

機能ブロック214 は、対象204b内の初期ピクセル216 が特定され、現在ピクセルと指定されたことを示す。初期ピクセル216 は、各種の基準の内のいずれで定義されてもよい。そのような基準としては、例えば、垂直最大延長位置のピクセル、および、水平最小延長を持つピクセルなどがある。図示の座標軸220 に従って配置された、ディスプレー画面50上のピクセルに関して言えば、初期ピクセル216 は、最大ｙ座標値と、最小ｘ座標値を持つ、対象214bのピクセルとして表わしてもよい。

機能ブロック222 は、ピクセル・ブロック210bが、現在ピクセルを中心とし、その周辺に広がっていることを示す。

機能ブロック224 は、ピクセル・ブロック210bが、対象204bに含まれないピクセル（例えば、第7B図の斜線で示したピクセル226 ）を含むかどうか関する尋問を表わす。この尋問は、機能ブロック206 によって特定された対象を参照して実行される。現在ピクセルに位置づけられるピクセル・ブロック210b内のピクセルが対象204b外にはみ出した場合は必ず、機能ブロック224 は、機能ブロック228に進み、その他の場合は機能ブロック232 に進む。
機能ブロック228 は、ピクセル・ブロック210bの内、対象204bの外にはみだすピクセル（例えば、ピクセル226 ）は、ピクセル・ブロック210bによって定義される領域から除外し、それによって、ピクセル・ブロック210bが、対象204b内部のピクセルだけを含むようにする。その結果、ピクセル・ブロック210bは、もともと定義された正方形、ないし、長方形領域よりもさらに複雑な多角形となる。

機能ブロック232 は、対象204aの中のあるピクセルが、対象204bにおける現在ピクセルと対応すると特定されたことを示す。対象204aにおけるそのピクセルを、直前対応ピクセルと言う。できれば、直前対応ピクセルは、探索領域212 の各ピクセルの周囲にピクセル・ブロック210aを形成し、かつ、ピクセル・ブロック210aと、対象204bにおける現在ピクセルの周囲のピクセル・ブロック210bの間の相関を求めることによって特定することが好ましい。ピクセル・ブロック210aと210bの間の各相関は、例えば、絶対誤差によって求めてもよい。直前対応ピクセルは、探索領域212 の中に、ピクセル・ブロック210bにたいする絶対誤差が最小となるピクセル・ブロック210aを特定することによって特定される。ピクセル・ブロック210bにたいするピクセル・ブロック210aの合計絶対誤差は、次のようにして求めることができる。

ここに、項 r_ij, g_ij, b_ijは、ピクセル・ブロック210b中のピクセル各々と結合する、それぞれ、赤、緑、および、青のカラー成分に対応し、項 r_ij', gi_ij',
b _ij 'は、ピクセル・ブロック210aのピクセル各々と結合する、それぞれ、赤、緑、および、青のカラー成分に対応する。

上に規定したように、絶対誤差E の総計は、m x n のピクセル次元を持つピクセル配列を持つピクセル・ブロックを含む。多角形を持つピクセル・ブロック210bは、多角形ピクセル・ブロック210bの外にはみ出すすべてのピクセルのカラー成分にたいしてゼロ値を定義することによって、比較的簡単に取り込むことができる。

機能ブロック234 は、対象204b内の各ピクセルと、対象204a内の対応直前ピクセル間の運動ベクトルMVが求められることを示す。運動ベクトルは、対象204bのピクセルの位置と、対象204aの対応直前ピクセルの位置の間の差と定義される。
MV = (x_i -x_k', y_j-y_l')
ここに項 x_i と y_i は、それぞれ、ピクセル・ブロック210bにおけるピクセルの、ｘ- 座標位置、および、ｙ- 座標位置に一致し、項 x_k’と x_l’は、それぞれ、ピクセル・ブロック210aの対応直前ピクセルのx-座標位置、y-座標位置に一致する。

機能ブロック236 は、対象204bが、何らかの残存ピクセルを含むかどうかに関する尋問を表わす。対象204bが残存ピクセルを含む場合は必ず、機能ブロック236 は、機能ブロック238 に進み、そうでなければ終末ブロック240 に進む。

機能ブロック238 は、対象204bの次のピクセルが、あらかじめ指定された方式、または、配列によって特定されることを示す。初期ピクセルは、機能ブロック214 に関連して前述のように選ばれたが、後続ピクセルは、ある列において（すなわち、共通のy-座標軸の）、まずすぐ次のピクセルを特定することによって定義し、かつ、もしも対象204 が列の中に他にピクセルを含んでいなければ、1 段下の列の、第１、すなわち、最左ピクセル（すなわち、最小x-座標値を持つ）に進んでもよい。このようにして特定されたピクセルは、現在ピクセルに指定され、機能ブロック238 は、機能ブロック222 に戻る。

多角形ブロック法200 は、対応ピクセルが、仮に、対象の辺縁上に、または、辺縁近傍に位置していても、対応ピクセルを正確に特定する。従来のブロック適合工程に見られた重大な誤差原因は、ピクセル・ブロック210bの内、対象204bの外にはみ出したピクセルを除外ないし無視することによって除去される。従来のブロック適合工程は、均一なブロック形には厳密に適用されるが、分節対象にたいしては厳密には適用されない。均一ブロック形態は、対象の辺縁近傍のピクセルにたいしては重大な誤差を引き起こす。なぜなら、対象の外にはみ出すピクセルは、対象が動くにつれ、または、その背景が変化するにつれ、重大な変化を受けるからである。従来のブロック適合工程においてはそのようにはみ出しピクセルの変動が含まれるのであるから、対象辺縁近傍のピクセルは、厳密には、直前画像フレームの対応ピクセルと相関されない。

対象204bの各ピクセルに関しては、対象204aの対応直前ピクセルが特定される。これは、直前対象204aのピクセルの各々について、ピクセル・ブロック210bと、ピクセル・ブロック210aとを比較することによって実行される。直前対応ピクセルとは、対象204aにおいて、ピクセル・ブロック210bともっとも高い相関を持つピクセル・ブロック210Aを持つピクセルである。従来のやり方で処理するならば、この解決には、各直前対応ピクセルを特定するために実質的な計算が要求される。具体例を挙げるならば、m x n ピクセルの次元を持つ探索領域212 よりもはるかに小さいn x n ピクセルの次元を持つピクセル・ブロックについて、直前対象204aにおける各直前対応ピクセルを特定するために、約n² x m² 個の計算が必要である。

ピクセル・ブロック相関工程
第８図は、修正ピクセル・ブロック相関工程260 の機能ブロック・ダイグラムであり、できれば、これを、機能ブロック232 に関連して記載したものの代わりとして用いることが好ましい。修正相関工程260 は、ピクセル・ブロック210bと210aを相関する際に内在的に認められる冗長度を利用し、それによって、必要計算数を際立って減少させる。

相関工程を、第9A〜9G、および、10A 〜10G を参照しながら説明する。これらの図は、連続する画像フレーム202aと202bに対応する任意のピクセル群を模式的に表わす。特に、第9A図は、5x5 ピクセルの次元を持つピクセル・ブロックの模式図であり、この図において、各文字は、個別のピクセルに相当する。ピクセル・ブロック262 のピクセルは、個別の行264 を含む、ピクセルの直角規則配列として配置される。第9B図は、q x q の次元を持ち、直前画像フレーム202aの探索領域212 に対応するピクセル配列266 を表わす。第9B図の各々の数字は個別のピクセルを表わす。従来の直角規則ピクセル・ブロック262 と関連して記載されているけれども、相関工程260 は、多角形適合工程200 に関連して記載された型の多角形ピクセル・ブロックにも同様に適用できる。

機能ブロック268 は、初期ピクセル・ブロック（例えば、ピクセル・ブロック262 ）が、中央ピクセルM に関して定義され、探索領域212 （例えば、ピクセル配列266 ）を横切って走査されることを示す。この走査は、一般に、従来のブロック適合工程に見られるように、ラスター・パターン（一部第7A図に示す）の形で実行される。第9C〜9Gは、ピクセル・ブロック262 とピクセル配列266 の間のブロック適合工程におけるおよそq²個の手順の内の5 個を模式的に図示する。

ピクセル・ブロック262 の、ピクセル配列266 にたいする横断走査は、従来のやり方で行なわれるけれども、両者の間の相関に関する計算は、本発明にしたがって、別様のやり方で実行される。特に、相関（例えば、絶対誤差）は、各走査位置において、ピクセル・ブロック262 の各行264 にたいして求められ、される。各走査位置において、ピクセル・ブロック262 の各行264 について求められ、保存された相関は、行相関270 と呼ばれる。その内のいくつかを、相関されたピクセルに関連させることによって、第9C〜9G図に記号で示す。具体的に示すと、第9C図は、行相関270(1)を示すが、これは、ピクセル配列266 に揃えられた、ピクセル・ブロック262 の単一行264 にたいして求められたものである。同様に、第9D図は、行相関270(2)と270(3)とを示し、これらは、ピクセル配列266 に揃えられたピクセル・ブロックの２個の行264 にたいして求められたものである。第9E〜9G図は、ピクセル配列266 にたいする、上記に続く３個の連続走査位置における、ピクセル・ブロック262 との、同様の行相関を示す。

ピクセル配列266 上を、初期ピクセル・ブロック262 を走査することによって、行相関のメモリ配列、または、データベースが得られる。ピクセル・ブロック262が、r 数の行264 を持ち、かつ、ピクセル配列266 がq x q 個のピクセルを持つ場合、行相関データベースは、約rq² 個の行相関を含む。この行相関の数はほんの近似値である。なぜならピクセル・ブロック262 は、できれば最初にピクセル配列266 の上を、ピクセルM がピクセル配列266 のピクセルの内の第１列に揃うように、走査されることが好ましいからである。

第9C図に示されるものから始まる残余の手順は、ピクセル配列266 の上をピクセル・ブロック262 が完全に２回横断走査した後起こる（すなわち、ピクセル配列266 の第１列、第２列にピクセルM が揃った後）。

機能ブロック274 は、次のピクセル・ブロック（第10A 図）が、例えば、画像フレーム202bにおいて、ピクセルM と同じ列の中心ピクセルN に関して定義されることを示す。ピクセル・ブロック276 は、ピクセル・ブロック262 に含まれないピクセル行278 と、ピクセル・ブロック262 に含まれるピクセル行280 とを含む。ピクセル・ブロック276 は、ピクセル・ブロック262 に含まれる行282 （第9A図）を含まない。次のピクセル・ブロック276 におけるこのような増加定義は、実質的に、従来のブロック適合工程に用いられるものと同じである。

機能ブロック284 は、ピクセル・ブロック276 が、機能ブロック268 に関連して前述したようなやり方でピクセル配列266 の上を横切って走査されることを示す。第9C〜9G図と同様に、第10B 〜10G 図も、ピクセル・ブロック276 が、ピクセル配列266 の上を走査される様を示す。

機能ブロック286 は、行278 について、各走査位置において、行相関が求められ、保存されることを示す。従って、行相関288(1)〜288(5)は、それぞれ、第10B 〜10F に示す行278 の走査位置に関連して求められる。
機能ブロック290 は、ピクセル・ブロック276 の行280 の各々について、メモリ行計算値が、以前に計算された各走査位置に関して取り出され、機能ブロック268 に保存されることを示す。例えば、第9C図の行相関270(1)は、第10C 図の270'(1) と同じである。同様に、第10D 〜10F 図の行相関270'(2),270'(3),270'(5)〜270'(8) および270'(15)〜270'(18)は、第9D、9E、および、9Gの対応する行相関と同じである。従って、ピクセル・ブロック276 について、ただ行相関288 のみが各走査位置について計算される。この結果、ピクセル・ブロック276 に必要な計算の数は、ほぼ80％減少される。

機能ブロック292 は、後続ピクセル・ブロック294(第11A 図)が、ピクセルMに関して次に続く列の中心ピクセルR に関して定義されることを示す。ピクセル・ブロック294 は、第9A図のピクセル・ブロック262 の行264 と相似ではあるが、はっきりと異なるピクセルから成る行296 を含む。特に、行296 は、行264 には含まれないピクセルA'〜E'を含む。後続ピクセル・ブロック294 のこのような増加定義は、実質的に従来のブロック適合工程に用いられるものと同じである。

機能ブロック298 は、ピクセル・ブロック294 が、機能ブロック268 、および、276 に関連して前述したやり方で、ピクセル配列266(第9B図)の上を横切って走査される。第11B 〜11F 図は、ピクセル・ブロック294 を、ピクセル配列266 上を走査する様を表わす。
機能ブロック300 は、行296 の各々について、行相関が求められ、保存されることを示す。したがって、行相関302(1)〜302(18) は、第11B 〜11F に示した行296 の走査位置に関連して求められる。
行相関302(1)〜302(18) の各々は、ピクセル・ブロック262(第9A図) に関して実行された行相関に関連して、短縮法に基づいて計算してもよい。

例えば、第11D 図の行相関302(1)〜302(18) は、第9E図の副行相関304(4)〜304(8)と同じ副行相関304'(4) 〜304'(8) を含む。したがって、行相関302(4)〜302(8)は、それぞれの行相関270(4)〜270(8)から、ピクセル01A 、02B 、03C 、04D 、および、05E にたいする後者の相関値を差し引き、それによって、それぞれ、副行相関304(4)〜304(8)を形成してもよい。行相関302(4)〜302(8)はピクセル・ペア56A'、57B'、58C'、59D'、および、50E'にたいする相関値を、それぞれの副行相関値304(4)〜304(8)に加えて得てもよい。

それぞれの形相間270(4)〜270(8)から、行相関302(4)〜302(8)を求めるには、ピクセル・ブロック294 には含まれない、ピクセル・ブロック262 のピクセルA〜E 列に対応する、個々のピクセル相関値を差し引き、かつ、ピクセル・ブロック294 には含まれるが、ピクセル・ブロック262 には含まれないピクセルA'〜E'列にたいするピクセル相関値を足し加える必要がある。この方法は、行相関302(4)〜302(8)の各々にたいし、従来のやり方であれば、各行相関を求めるのに５回の加算が必要とされるのにたいし、１回の引き算、1 回の足し算で代用する。さらに大きな次元のピクセル・ブロックが好まれれば好まれる程、従来の計算法に優るこの方法の利点がますます際立つ。従来のピクセル適合工程は、ピクセル配列266 にたいする初期ピクセル・ブロック262 の各走査位置について、総合ブロック相関のみを特定するだけである。そのため、全ピクセルにたいする全相関値を、各走査位置について個別に計算しなければならない。逆に、相関工程260 は、メモリ行相関270 を利用し、それによって、必要な計算数を目立って減少させる。相関工程260 によってもたらされる速度と、プロセッサーのリソース要求度における改善は、行相関を保存するために必要とされる装置条件を補って余りある。

相関工程260 は、第9 〜11図を参照しながら記載してきたが、これは、本発明の特徴を例示するためのものであることが了解されるであろう。例示し示したように、本発明は、コンピュータ装置で実行するのに特に相応しい繰り返し、または、周期的性質を含む。この繰り返し、または、周期的性質は、ピクセル・ブロックとピクセル配列に依存するものであるが、当業者であれば、十分に理解し、導入可能なものである。

多次元変換
第12図は、第１と第２の連続する画像フレーム間において多次元変換を生成し、かつ、転送ないし保存のためにマッピングを量子化することから成る、変換法350 の機能ブロック・ダイアグラムである。この多次元変換は、できれば第３図の機能ブロック96と関連させて使用するのが好ましい。変換法350 は、第7A図と第13図に基づいて説明される。これらの図の内の後者は、第7B図と同様、ディスプレー画面50の模式図であって、画像特質204 が対象204bとして帰着される画像フレーム202bを示す。

変換法350 は、できれば、線形移動、回転、拡大、および、斜行の内のいずれか、または、その全てを含む複雑な運動を表わすことのできる多次元類似性（affine）変換を実行するものであることが好ましい。変換法350 は、１次元のみで、かつ、線形移動にしか関わらない従来のビデオ圧縮法、例えば、MPEG-1、MPEG-2、および、H.26X よりもはるかに優る。この点において、変換の次元性とは、後で詳しく述べるように、変換の一般形における座標の数を指す。複雑な運動を、本発明に従って表現することによって精度は増すけれども、それによる誤差は、従来の表現法によるものよりも少ない。従って、圧縮効率が増す。
機能ブロック352 は、対象204aおよび204bのピクセルの細密運動推定を求めることを示す。できれば、細密運動推定は、多角形適合工程200 で入手することが好ましい。前述したように、細密運動推定は、座標(x_i , y_j ) における、画像フレーム202bの対象204bのピクセルと、座標(x_i ', y_j ')における、画像フレーム202aの対象204aのピクセルとの間の運動ベクトルを含む。

機能ブロック354 は、変換ブロック356 の配列が、対象204bを見込むように定義されることを示す。できれば、変換ブロック356 は、例えば、32x32 ピクセルの次元を持つ、ピクセルの直角規則配列であることが好ましい。
機能ブロック358 は、各変換ブロック356 にたいして一つの多次元類似性（affine）変換が生成されることを示す。できれば、類似性（affine）変換は、１次であって、次のように表わされるものであることが好ましい。すなわち、
x_i' = ax_i + by_i + c
y_i' = dx_i + ey_i + f
かつ、運動ベクトルがそれにたいして比較的高い信頼度を持つすべてのピクセルについて求めることが好ましい。この類似性（affine）変換は、 x_i と y_i とが、二つの座標 x_i と y_i に関して定義されるという点で２次元を持つ。

運動ベクトルの相対的信頼度とは、対応するピクセル間の運動ベクトルが、他のピクセルにたいして、一意的に決定される、その精度を指す。 例えば、比較的大きなピクセル配列の中にあり、かつ、均一な色を持つ( 例えば、黒) 、特定のピクセル間の運動ベクトルは、通常、高精度に求めることはできない。特に、第１画像フレームにおける黒ピクセルについて言えば、後続画像フレームのピクセル配列の中のたくさんのピクセルが同一相関を持つ( すなわち、ピクセル・ブロック間の絶対値誤差) 。

逆に、構成ピクセルが、個別的な特徴に対応するピクセル配列は、後続の画像フレームにおいて、特定の対応ピクセルにたいして比較的高い相関を持つ。

比較的高い相関は、特定のピクセルにたいして、極小絶対誤差計算として表わされることが好ましい。従って、比較的信頼度の高い運動ベクトルは、このように一意的に低い誤差値にたいして求めることができる。例えば、信頼度の高い運動ベクトルとは次のようなものとして定義される。すなわち、その運動ベクトルにたいする最小絶対値誤差が、そのピクセルに関連する次に大きい誤差値よりも、閾値差分を上回る差分少ないもの、である。別法として、信頼度の高い運動ベクトルは、相関係数を求める基礎となる絶対誤差値の２次微分に関して定義することもできる。ある特定の値を上回る２次微分は、特定の対応ピクセル間に比較的高い相関のあることを示す。

このような高信頼度運動ベクトルを含むｎ個のピクセルが与えられた時、好ましい類似性（affine）変換方程式は、画像フレーム202aと202bにおけるｎ個の対応ピクセルに関して求められる。画像フレームは、好ましい類似性（affine）変換方程式の、６個の未知係数a 、b 、 c 、 d 、 e 、 および、f を求めるには、画像フレーム202aと202bに、高信頼度運動ベクトルを含む少なくとも３個の対応ピクセルを含んでいなければならない。好ましい次元に関して言えば、変換ブロック356 の各々が2¹⁰個のピクセルを含み、その内の相当数が通常比較的高い信頼度の運動ベクトルを持っていなければならない。これによって得られるｎ個の方程式は、以下の直線代数式で表わされる。

できれば、これらの方程式は、従来の、特異数値分解法(Singular value decomposition, SVD) によって解くのが好ましい。この方法により、細密運動ベクトルの近似値にたいする最小二乗誤差が得られる。従来のSVD 法は、例えば、プレスら(Press et al.)著「C における数字処理(Numerical Recipes in C)」Cambridge University Press (1992) に記載されている。
上述のように、この好ましい二次元類似性（affine）変換方程式は、連続する画像フレーム202aと202b間において、変換ブロック356 の線形移動、回転、拡大、および、斜行を表わすことができる。逆に、従来の圧縮標準として用いられる通例の運動変換法は、下記の形の、簡単な変換方程式を用いる。
x_i'= x_i+g
y_i'= y_i+h

従来の単純化された変換方程式は、運動を、たった二つの係数g とh で表わす。これは、好ましい多次元変換方程式によって得られる情報量（すなわち係数）の僅か３分の１にすぎない。従来の圧縮法と比べて、変換法350 によって得られる情報の優れた圧縮効果を現実のものとするには、変換ブロック356 の次元を、できれば、MPEG-1やMPEG-2圧縮法によって採用されている16x16 の３倍を越えるものとすることが好ましい。変換ブロック356 の好ましい32x32 ピクセル次元は、従来の変換法の変換ブロックで採用されるピクセル数の４倍に渡る。変換ブロック356 の従来に優る大きな次元数は、類似性（affine）変換係数が変換ブロック356 の運動を表わす際の高精度とあいまって、変換法350 が、従来の圧縮法に優る大きな圧縮を実行するのを可能にする。

本発明によって生成される類似性（affine）係数は、通常、非整数の、浮動少数点値であって、十分に圧縮しようとすると必ずその精度に悪影響を与えるものであることが了解されるであろう。従って、類似性（affine）変換係数を保存ないし転送する際に要求される帯域を減らすためには、それら係数を量子化することが好ましい。

機能ブロック362 は、機能ブロック358 に関連して生成された類似性（affine）変換係数が量子化され、それによって、それら係数を保存ないし転送する際に必要とされる帯域を減少させることを示す。第14図は、変換ブロック356 の断片拡大表示であって、３個の選ばれたピクセル364a、364b、および、364cを示す。すなわち、これらのピクセルから、６個の好ましい類似性（affine）変換係数a 〜f が求められる。

ピクセル364a〜364cは、それぞれ、それぞれ(x₁ 、y₁)、(x₂ 、y₂)、(x₃ y₃) のピクセル座標として表わされる。機能ブロック352 の細密運動推定に基づき、ピクセル364a〜364cは、直前画像フレーム202aにおいて、それぞれの対応ピクセル(x₁', y₁'), (x₂', y₂'), (x₃', y₃')を持つ。従来のやり方と同様に、ピクセル位置(x_{i ,} y_i) は、整数で表わされ、類似性（affine）変換方程式の解答となる。そして、それに基づき、好ましい類似性（affine）変換係数が求められる。従って、選ばれたピクセル364a〜364cは、直前画像フレーム202aの対応ピクセルを計算するのに用いられるが、このピクセルは、通常、浮動小数点値となる。

これらの浮動小数点値の量子化は、対応するピクセル間の差(x_i-x_i' _, y_i-
y_i')を、整数形に変換することによって実行する。類似性（affine）変換係数は、まず、差ベクトルとピクセル値(x_i , y_i ) からピクセル値 (x'_i , y'_i ) を計算し、次に、ピクセル値(x' _i , y'_i ) に関して機能ブロック358 の多次元変換方程式を解くことによって求められる。

第14図に示したように、ピクセル364a〜364cは、できれば、変換ブロック356内部の局部的変動にたいする量子化の感度を最小にするように、変換ブロック356 内のあちこちに分布される。できれば、ピクセル364aは変換ブロック356 の中心か、中心近傍に、ピクセル364bと364cとは上隅に位置するのが好ましい。また、好ましい実施態様においては、対象204bの変換ブロック356 の各々における選ばれたピクセルが、同じ位置を持つことが好ましい。それによって量子化工程が効率的に実施できるからである。

機能ブロック362 の量子化法のもう一つの局面は、異なるレベルの量子化を用いて、様々の運動程度を表わすことができる、ということである。その結果、比較的単純な運動（例えば、線形移動）は、複雑な運動に要求されるものよりも少なく選ばれたピクセルを用いて表わすことができる。前述の類似性（affine）変換方程式に関して言えば、対象204bからのピクセル364a(x₁, y₁)と、対象204a対応ピクセル(x₁', y₁')で、下記の形の単純化された類似性（affine）変換方程式を解くのに十分である。
x₁' = y₁ + c
y₁' = y₁ + f

これは、連続する画像フレーム間の線形移動を表わす。ピクセル364aは、その中心位置が、一般に、他の種類の運動とは独立に線形移動を表わすという理由から、特異的に使用される。したがって、ユーザーは、線形移動のような単純な運動は、単純化された類似性（affine）変換方程式で選択的に表現することができる。単純化された類似性（affine）変換方程式は、複雑な運動を表現するのに必要とされるデータの３分の１しか要求しないからである。

同様に、対象204bに関する、一対の選択ピクセル(x₁, y₁)( 例えば、ピクセル364a) と(x₂, y₂)( すなわち、ピクセル364bと364cのどちらか)、および、対象204aに関する対応ピクセル(x₁', y₁')および(x₂', y₂')は、下記の形の単純化された類似性（affine）変換方程式を解くのに十分である。
x_i' = ax_i + c
y_i' = ey_i + f
これは、連続する画像フレーム間の線形移動および拡大を含む運動を表わすことができる。下記の単純化された形において、
x' = acos θx + sin θy + c
y' = -sin θx + acosθy + f

選択ピクセルの対応ペアは、線形移動、回転、等方拡大を含む運動を表わすことができる。この単純形においては、変数x 、y が共通の係数を持つので、この方程式は、２個の対応ペアによって解くことが可能となる。

従って、ユーザーは、線形移動、回転、および、拡大を含む比較的複雑な運動を、部分的に単純化された類似性（affine）変換方程式によって選択的に表わすことができる。このような方程式は、複雑な運動を表わすのに必要とされるデータの3 分の２しか要求しない。対象204bの、第３の選択ピクセル(x₃, y₃)を加えると、対象204aの対応ピクセル(x₃', y₃')と、完全な、好ましい類似性（affine）変換方程式とによって、ユーザーは、さらに、連続する画像フレーム間の斜行をも表わすことができるようになる。

変換法350(第12図) の好ましい実施態様を、例えば、32x32 ピクセルの次元数を持つ、一様変換ブロック356 使用の場合を例にとって説明する。機能ブロック358 に関連して説明した好ましい多次元類似性（affine）変換は、変換ブロック356 に関して求められる。変換ブロック356 の次元は、本方法によって得られる圧縮比に直接影響することが了解されるであろう。

ある対象について、画像フレーム間の変換を表わすためには、比較的大きな次元数を持つ変換ブロック356 の場合、より少ない次元数を持つ変換ブロック356の持つ数よりも、数が少なくなる。一様に大きな変換ブロック356 を設けると、その結果は、それに相当する大きな誤差が、各変換ブロック当たりに導入されることになる。したがって、一様な大きさの変換ブロック356 は、通常、この相矛盾する性能制限のバランスを取るために、中等度の次元数を持つ。

変換ブロックの最適化
第15図は、変換ブロック最適化法370 の機能ブロック・ダイグラムである。この方法は、最小誤差閾値を与える変換ブロック次元を自動的に選択するものである。最適化法370 は、第16図に基づいて説明する。第16図は、対象204bを含む画像フレーム202bの一部を示すディスプレー画面50の模式図である。
機能ブロック372 は、初期変換ブロック374 が、対象204bに関して定義されることを示す。初期変換ブロック374 は、できれば、ユーザーの選択可能な最大次元数のもの、例えば、64x64 ピクセルであることが好ましい。初期変換ブロック374 は、現在変換ブロックと呼ばれる。

機能ブロック376 は、現在の、信号対雑音比(SNR) ピークが、現在変形ブロックに関して計算されることを示す。この信号対雑音比は、できれば、現在変換ブロック内部のピクセルのカラー成分値の変動（すなわち、信号）の、推定誤差110(第3 図) に関連するピクセルのカラー成分値の変動にたいする比として計算されるのが好ましい。

機能ブロック378 は、現在変換ブロック( 例えば変換ブロック374)が、例えば、４個の、相等しいサブブロック380a〜380dに分割され、サブブロック380a〜380dの各々について類似性（affine）変換が求められ、かつ、その類似性（affine）変換に関して将来の信号対雑音比が求められることを示す。将来の信号対雑音比は、機能ブロック376 に関連して説明した現在の信号対雑音比について行なったものと実質的に同じやり方で求められる。

尋問ブロック382 は、将来信号対雑音比が、現在信号対雑音比よりも、ユーザーの選択した閾値量を越えて、上回るかどうかに関する尋問を表わす。この尋問は、現在変換ブロック( 例えば、変換ブロック374)をさらに細分割したならば、それによって、類似性（affine）変換の精度を、少なくとも閾値分だけ改善することができるという決定を表わす。将来信号対雑音比が、現在信号対雑音比よりも、閾値以上上回る場合は必ず、尋問ブロック382 は、機能ブロック384 に進むが、そうでなければ、機能ブロック388 に進む。

機能ブロック384 は、サブブロック380a〜380dが、連続的に現在変換ブロックを指定され、かつ、各々が、さらに細分割されるべきか否かを調べられることを示す。具体例を挙げると、サブブロック380aが現在変換に指定され、機能ブロック376 に従って処理され、さらに、サブブロック386a〜386dに細分割される。機能ブロック388 は、次に続く変換ブロック374'が特定され、かつ、初期、ないし、現在変換ブロックに指定されることを示す。

圧縮前外挿法
第17A およびB 図は、圧縮前外挿法400 の機能ブロック・ダイアグラムであり、これは、任意の形の画像特質を、あらかじめ定義された形に外挿し、それによって、符号化工程64( 第3 両図）の機能ブロック112 に従って圧縮する手順を容易にするものである。外挿法400 によって、機能ブロック112 の圧縮が、前述のDCT 、格子圧縮、その他の波形圧縮のような従来のやり方で実行することが可能となる。

格子、その他の波形圧縮、または、不連続コサイン変換(DCT) のような、従来の静止画像圧縮法は、ピクセルの方形配列に基づいて操作される。しかしながら、前述のように、本発明の方法は、任意の形の画像特質、すなわち、対象に適用可能である。そのような対象、または、画像特質を、方形ピクセル配列形に外挿すれば、格子、その他の波形圧縮、または、DCT のような従来の静止画像圧縮法の使用が可能となる。外挿法400 は、第18A 〜18D に基づいて説明される。これらの図は、単純な対象402 が帰着されるディスプレー画面50を表わすもので、外挿法400 の様々の局面を示すものである。

機能ブロック404 は、外挿ブロック境界406 が、対象402 の周囲に定義されることを示す。外挿ブロック境界406 は、できれば、方形であることが好ましい。第18A 図を参照しながら説明すると、対象402 の周囲における外挿ブロック境界406 の形成は、対象402 の辺縁408 の特定に基づいて実行され、その特定は、例えば、対象分節法140(第4 図) によって実行される。外挿ブロック境界406 は、説明のために、対象402 をその全体に渡って取り囲むように図示される。外挿ブロック境界406 は、また別法として、対象402 の一部のみを取り込むことができることが了解されるであろう。対象分節法140 に関連して前述したように、対象402 に含まれるピクセルは、対象402 に含まれないピクセルのカラー成分値とは異なるカラー成分値を持つ。

機能ブロック410 は、外挿ブロック境界406 によって囲まれるが、対象402 には含まれない全てのピクセル412 について、そのカラー成分の各々にたいしてあらかじめ定義された値、例えば、ゼロ値が与えられることを示す。

機能ブロック414 は、外挿ブロック境界406 内のピクセルの水平線が走査され、それによってゼロの、および、非ゼロのカラー成分値を持つ水平ピクセル分節を持つ水平線が特定されることを示す。

機能ブロック416 は、ゼロのカラー成分値を持つ水平ピクセル分節が、その両端において、辺縁408 に区画されているかどうかを問う尋問を表わす。領域420は、ゼロのカラー成分値を持ち、かつ、ただ１端で辺縁408 で区画される水平ピクセル分節を表わす。機能ブロック416 は、ピクセル分節がゼロのカラー成分値を持ち、両端において対象402 の辺縁408 で区画される領域418 にたいしては、機能ブロック426 に進み、それ以外の場合には機能ブロック422 に進む。

機能ブロック422 は、領域420 の各水平ピクセル分節におけるピクセルには、対応する水平線におけるピクセル424(例示のもののみ図示）と対象402 の辺縁408 のカラー成分値が割り当てられることを示す。別法として、領域420 のピクセルに割り当てられるカラー成分値は、ピクセル424 のカラー成分値にたいして関数的な関係を持つ。

機能ブロック426 は、領域418 の各水平ピクセル分節におけるピクセルには、対応する水平線と辺縁408 に存在するピクセル428aと428bのカラー成分値の平均に相当する、できれば、その平均に等しいものが割り当てられることを示す。
機能ブロック430 は、外挿ブロック境界406 内のピクセルの垂直線が走査され、それによってゼロの、および、非ゼロのカラー成分値を持つ垂直ピクセル分節を持つ垂直線が特定されることを示す。

機能ブロック432 は、ゼロのカラー成分値を持つ垂直線におけるピクセル分節が、その両端において、対象402 の辺縁408 に区画されているかどうかを問う尋問を表わす。第18C 図に基づいて述べると、領域434 は、ゼロのカラー成分値を持ち、かつ、両端で辺縁408 で区画される垂直ピクセル分節を表わす。領域436は、ゼロのカラー成分値を持ち、かつ、ただ１端で辺縁408 によって区画される垂直ピクセル分節を表わす。機能ブロック432 は、ピクセル分節がゼロのカラー成分値を持ち、両端において対象402 の辺縁408 で区画される領域434 にたいしては、機能ブロック444 に進み、それ以外の場合には機能ブロック438 に進む。

機能ブロック438 は、領域436 の各垂直ピクセル分節におけるピクセルには、対応する垂直線におけるピクセル442(例示のもののみ図示）と対象402 の辺縁408 のカラー成分値が割り当てられることを示す。別法として、領域436 のピクセルに割り当てられるカラー成分値は、ピクセル442 のカラー成分値にたいして関数的な関係を持つ。
機能ブロック444 は、領域434 の各垂直ピクセル分節におけるピクセルには、対応する垂直線と辺縁408 に存在するピクセル446aと446bのカラー成分値の平均に相当する、できれば、その平均に等しいものが割り当てられることを示す。
機能ブロック448 は、本法によってカラー成分値を割り当てられた水平ならびに垂直ピクセル分節中のピクセルにたいして、もしそうでなければその水平、および、垂直ピクセル分節にしたがってそのピクセルに割り当てられたはずのカラー成分値と比例する、できれば、その平均である複合カラー成分値が割り当てられることを示す。

そのような複合カラー成分値を割り当てられたピクセルの例は、領域418 と434 の中のピクセルである。
機能ブロック450 は、外挿ブロック境界406 によって区画はされるが、対象402 の辺縁408 とは水平線に沿っても、垂直線に沿っても交差しない領域452 にたいして、近傍のピクセルに割り当てられたカラー成分値に比例する、できれば、その平均値に等しい、複合カラー成分値が割り当てられることを示す。第18D 図に基づいて説明すると、領域452 のピクセル454 の各々にたいしては、それぞれ水平線と垂直線においてピクセル454 と同軸にあって、本法によってあらかじめ非ゼロのカラー成分値を割り当てられているピクセル456aと456bのそのカラー成分値の、できれば、平均であるカラー成分値が割り当てられる。

対象外挿工程400 の利点は、対象402 に含まれないピクセルにたいして、滑らかに変化するカラー成分値を割り当てることができること、したがって、従来の静止画像圧縮法の圧縮性能と精度を最適化することができることである。逆に、チャンら(Chang et al.)著「任意の形をした画像分節の変形符号化法(Transform Coding of Arbitrary-Shaped Image Segments) 」ACM Multimedia, 83〜88ページ、1993年6 月発行に記載されているような、ゼロ平滑化法や鏡像法のような従来技術では、機能ブロック410 で実行したように、ゼロのカラー成分値を持つピクセルで充満している外挿対象にたいして圧縮を適用する。対象とゼロ平滑化領域の間に見られる急激な画像変化は、圧縮の困難な高周波の変化を導くか、または、圧縮によって画像アーティファクトを導く。対象外挿法400 はそのような欠点を克服するものである。

符号化法別法
第19A 図は、符号化法500 の機能ブロック・ダイグラムであるが、この方法は、独特のフィルターを持つラプラス・ピラミッド符号化器用いる。このフィルターは、高度の圧縮を実現しながらしかも、画像特質の非直線局面、例えば、辺縁を保存する。従来のラプラス・ピラミッド符号化法については、例えば、バートとエイデルソン(Burt and Addleson) 著「緊密画像符号としてのラプラス・ピラミッド(Laplacian Pyramid as a Compact Image Code) 」IEEE Trans. Comm. 31巻7 号523 〜540 ページ、1983年4 月号に記載されている。符号化法500 は、第3図に示したビデオ圧縮符号化工程64の機能ブロック112 に関連して記述した符号化法を実行することもできるし、もちろん、それ以外にも、波形符号化法によるDCT の使用が示唆される、または、実際に使用されるところでは必ず実行可能である。実例として、符号化法500 を、推定誤差110 の符号化( 第3 図）に関連して説明することにする。

第１十進化フィルター502 は、推定誤差( 第３図）に相当するピクセル情報を受け取り、このピクセルを、フィルター基準に従って濾過する。従来のラプラス・ピラミッド法では、十進化フィルターは、ガウス重みづけ関数のような低域フィルターである。しかしながら、符号化法500 に従うならば、十進化フィルター502 は、できれば、中域フィルター、さらに詳しく言うと、3x3 非分離中域フィルターを用いることが好ましい。

具体的に言うと、第20A 図は、ピクセル504 の、任意の一組、一配列の一つのカラー成分( 例えば、赤) にたいするカラー成分値を単純化して示したものである。赤のカラー成分値に特に関連して記述しているけれども、この説明は、ピクセル504 の緑や青のカラー成分値にも同様に当てはまる。
十進化フィルター502 の好ましい実施態様に関して言えば、3x3 ピクセルの次元を持つフィルター・ブロック506 が、ピクセル504 の中に定義される。各ピクセル・ブロック506 について、ピクセル強度中央値が特定され、選択される。ピクセル・ブロック506a〜506cに関して言えば、例えば、十進化フィルター502 は、それぞれの値8 、9 および10を与え、これらは、第20B 図の、最初の３個のピクセル512 に並べられる。

しかしながら、十進化フィルター502 は、本発明に従って、他の中域フィルターを採用することもできることが了解されるであろう。従って、関連カラー成分値｛a₀, a₁, ..., a_n-1 ｝を持つ各グループのピクセルにたいして、中域フィルターは、中央値a_M を選択する。

第１の2x2 下降サンプリング・フィルター514 が、垂直、水平方向に一つおきのピクセル512 をサンプルし、さらに圧縮を行なう。第20C 図は、得られた、圧縮された一組のピクセル515 を示す。2x2上昇サンプル・フィルター516 は、下降サンプリング・フィルター514 で除外された各ピクセル512 の代わりにゼロ値ピクセルを挿入する。また、介在フィルター518 は、ゼロ値ピクセルにたいして、対立する隣接ピクセルの平均のピクセル値を割り当てる、または、もしもゼロ値ピクセルが、非ゼロ値を持つピクセルの対立ペアの間にない場合には、以前に割り当てた値を割り当てる。具体的に示すと、第20D 図は、そのようにして得られた、一組の、または、一配列のピクセル値520 を示す。

差522 が、一組のピクセル504 のカラー成分値と、一組のピクセル520 の対応するカラー成分値との間で求められ、ゼロ次画像成分I₀を与える。
第２の十進化フィルター526 は、第１の2x2 下降サンプリング・フィルター514 によって生成された圧縮された一組のピクセル515 に対応するカラー成分値を受け取る。十進化フィルター526 は、できれば、十進化フィルター502(例えば、3x3 非分離中域フィルター) と同じものであることが好ましい。したがって、十進化フィルター526 は、十進化フィルター502 と同様に機能し、第２の2x2 下降サンプリング・フィルター528 にたいして、圧縮された一組の、ないし、一配列のピクセル( 図示せず）を転送する。

下降サンプリング・フィルター528 は、下降サンプリング・フィルター514 と同様に機能し、２次画像成分L₂を形成する。この成分はさらに2x2 上昇サンプル・フィルター530 と介在フィルター531 に転送される。これらのフィルターも、それぞれ、上昇サンプル・フィルター516 および介在フィルター518 と同様に機能する。差532 が、一組のピクセル515 のカラー成分値と、介在フィルター531によって与えられるカラー成分値との間で求められ、１次画像成分I₁を与える。
画像成分I₀、I₁、およびL₂は、それぞれ、ピクセル504 のｎ×ｎ配列のカラー成分値を表わす
ｎ×ｎ n/2 ×n/2, n/4 ×n/4
組みのカラー成分値である。
画像成分I₀は、元の一組のピクセル504 によって表わされる画像の高周波成分( 例えば、辺縁）を保持する。画像成分I₁とL₂は、もとの画像の低周波面を表わす。画像成分I₀、I₁、および、L₂は、元の画像の相対的圧縮を実現する。画像成分I₀とI₁は、隣接ピクセル値間に比較的高い相関があるために、高い圧縮度を持つ形式に高周波特質（例えば、辺縁）を保持する。画像成分L₂は、そのままではすぐには圧縮されない。なぜなら、主に低周波特質から成るが、比較的大きさの小さい組みだからである。

第19B 図は、符号化法500 によって生成された画像成分I₀、I₁およびL₂を復号する、すなわち、符号化を逆行する復号化法536 を示す機能ブロック・ダイグラムである。復号化法536 は、第１の2x2 上昇サンプル・フィルター538 を含む。このフィルターは、画像成分L₂を受け取り、各隣接ペア・ピクセルの間にゼロ値のピクセルを挿入する。介在フィルター539 は、ゼロ値ピクセルに、できれば隣接ピクセルの値の平均のピクセル値を割り当てる、または、もしもゼロ値ピクセルが、非ゼロ値ピクセルの対立ペアの間にない場合には、以前に割り当てた値を割り当てる。第１の2x2 上昇サンプル・フィルター538 は、第19A 図の上昇サンプル・フィルター516 と530 と実質的に同じやり方で動作する。また、介在フィルター539 は、介在フィルター518 と531 と実質的に同じやり方で動作する。

合計540 が、第１の2x2 上昇サンプル・フィルター538 と介在フィルター539によって生成された、脱圧縮された一組のピクセルに対応する画像成分I₁と、カラー成分値の間で求められる。第２の2x2 上昇サンプル・フィルター542 は、合計540 によって生成されたピクセルの各隣接ペアの間にゼロ値のピクセルを挿入する。介在フィルター543 は、ゼロ値ピクセルに、隣接ピクセル値の平均を、または、ゼロ値ピクセルが、非ゼロ値ピクセルの対立ペアの間にない場合には、以前に割り当てられた値を、割り当てる。上昇サンプル・フィルター542 と介在フィルター543 は、それぞれ、上昇サンプル・フィルター538 と介在フィルター539 と実質的に同様である。

合計544 は、画像成分I₀と、第２の2x2 上昇サンプル・フィルター542 と介在フィルター543 によって生成される、脱圧縮された一組のピクセルに対応するカラー成分値とを加える。合計544 は、符号化工程500 に供給される推定誤差110に対応する脱圧縮推定誤差110 を与える。

運動ベクトルの変換符号化
従来のビデオ圧縮符号化工程、例えば、MPEG-1やMPEG-2は、粗大運動ベクトル・フィールドのみを用いて、規則的な大きさと形を持つ、相当に大きなピクセル配列の運動を表わそうとする。運動ベイクトル・フィールドが粗大であるというのは、例えば、16x16 ピクセルの大きさを持つピクセル配列の運動を表わすのにたった一つの運動ベクトルしか用いないからである。この粗大運動ベクトル・フィールドが、例えば、不連続コサイン変換(DCT) 符号化法によって、元となる画像ないしピクセルの縦列符号化と協働して、従来のビデオ圧縮符号化を実現する。

それと対照的に、ビデオ圧縮符号化法64( 第3 図) は、細密運動ベクトル・フィールドを用いる。この場合、運動ベクトルは、対象の全ベクトルにたいして、または、ほとんど全てのベクトルにたいして求められる。このような細密運動ベクトルは、対応するピクセル間の運動が表現される精度を目立って向上させる。このように改善された精度は、従来の粗大運動ベクトル・フィールド表現に伴う誤差を目立って減少させるが、細密運動ベクトル・フィールドに含まれる情報増加は、ビデオ配列を表わす情報量の増加となる。従って、本発明によれば、細密ビデオ・フィールドそれ自体が圧縮され、符号化されているわけであり、それによって、本発明の与える圧縮比を向上させる。

第21図は、運動ベクトル符号化工程の機能ブロック・ダイグラムであり、この工程は、運動ベクトル・フィールド、できれば、第３図の細密運動変換96に従って生成されるものと同様の細密運動ベクトルであることが好ましいが、そのようなフィールドを符号化する、すなわち、圧縮するものである。ある選ばれた対象から得られるこのような細密運動ベクトルは、通常、その対象に相当する元となるピクセルよりも大きな連続性、または、「 滑らかさ」 を持っていることが了解されるであろう。そのため、細密運動ベクトル・フィールドの圧縮、ないし、符号化は、元のピクセルの圧縮ないし符号化よりも大きな圧縮比を実現することになる。

機能ブロック562 は、ある細密運動ベクトル・フィールドが、ある対象、または、対象の一部分について、例えば、第３図に関連して上述した機能ブロック96の工程に従って得られることを示す。従って、細密運動ベクトル・フィールドは、任意の形、または、大きさの対象、または、その他の画像部分に一致する。
機能ブロック564 は、細密運動ベクトル・フィールドの形が、規則的な形、できれば方形に外挿され、それによって、符号化ないし圧縮をやりやすくすることを示す。できれば、細密運動ベクトル・フィールド形は、第17A と17B に関連して上述した圧縮前外挿法400 によって規則的な形に外挿されることが好ましい。従来の外挿法、例えば、鏡像法も別法として用いることができることが了解されるであろう。

機能ブロック566 は、外挿された規則的な形を持つ細密運動ベクトル・フィールドが、従来の符号化変換によって符号化、または、圧縮されることを示す。そのような従来の方法としては、例えば、不連続コサイン変換(DCT) 、格子、または、その他の波形圧縮があるが、この内前者が好ましい。
機能ブロック568 は、符号化された細密運動ベクトル・フィールドが、エントロピー符号化のような、従来のロスレス静止画圧縮法によってさらに圧縮ないし符号化され、それによって符号化された細密運動ベクトル・フィールド570 を形成することを示す。このような静止画像圧縮法は、第3 図の機能ブロック114 に関連して上述した。

以前のビデオ・フレームの量子化された対象の圧縮
第3A図を参照して説明すると、ビデオ圧縮符号化工程64は、直前フレームN-1に関して求められた量子化された直前対象126 を用いて、次に続くフレームN の対応する対象を符号化する。従って、符号化工程64は、量子化された直前対象126 が、接近可能なメモリ・バッファーの中に保存されていることを要求する。従来のビデオ・ディスプレー解像度であれば、そのようなメモリ・バッファーは、一つのビデオ・フレームのために、その量子化直前対象126 を保存するのに、少なくとも半メガバイトの容量を必要とする。高解像度のディスプレー形式であれば、それに応じてさらに大きなメモリ・バッファーが要求される。

第22図は、量子化対象符号化・復号化（コーデック） 工程600 の機能ブロック・ダイアグラムである。この工程は、量子化された直前対象126 を圧縮し、かつ、選択的に脱圧縮し、それによって、量子化対象メモリ・バッファーの必要容量の減少を実現する。
機能ブロック602 は、ある画像フレーム中の各量子化対象126 が、ロッシー符号化、ないし、圧縮法によって、ブロックごとに符号化されることを示す。そのような符号化法としては、例えば、不連続コサイン変換(DCT) 符号化、格子区分、または、その他の波形圧縮がある。第21図に示すように、ロッシー符号化情報は、さらにロスレス符号化を受ける。別法として、ロスレス符号化だけを用いてもよい。

機能ブロック604 は、符号化ないし圧縮量子化対象がメモリ・バッファー(図示せず) に保存されることを示す。
機能ブロック606 は、次に続くビデオ・フレームの対応する対象の処理を予想して、メモリ・バッファーから、符号化量子化対象が取り出されることを示す。
機能ブロック608 は、符号化量子化対象が、機能ブロック602 に関連して採用された符号化法に従って、例えば、ＤＣＴまたは波形復号化によって、逆行符号化されることを示す。
コーデック工程600 は、対応するメモリ・バッファーの容量が、全体のビデオ圧縮比と、得られるビデオの所望の画質に依存するのではあるが、最大80％まで減少するのを可能にする。さらに、コーデック工程600 は、ビデオ圧縮符号化工程64に相当する復号化工程にも同様に適用可能であることが了解されるであろう。

ビデオ圧縮復号化工程概観
第３図のビデオ圧縮符号化工程64は、複数の画像フレームから成るビデオ配列に対応するビデオ信号の符号化ないし圧縮表示を与える。この圧縮表示は、対象マスク66、特質点68、類似性（affine）変換係数104 、および、符号化工程64から得られる圧縮誤差データ116 と符号化工程130 から得られる圧縮マスター対象136 とを含む。これらの圧縮表示は、ビデオ情報のメモリ、あるいは、転送を促進し、MPEG-2のような従来のビデオ圧縮法で実現可能な圧縮比よりも最大300 ％優る圧縮比を実現することができる。

しかしながら、このような圧縮ビデオ情報をデータメモリ部から取り出すこと、または、そのようなビデオ情報の転送を受け取ることは、それが復号化され、脱圧縮され、それによってもとのビデオ信号が再構成され、それによって、ビデオ・ディスプレー装置52( 第2Aと2B図) のようなディスプレー装置によって帰着されることが必要であることが了解されるであろう。MPEG-1、MPEG-2およびH.26Xのような従来の符号化工程に見られるように、ビデオ情報の脱圧縮ないし復号化は、実質的に、もとのビデオ信号が符号化され、ないし、圧縮される工程の逆工程である。

第23A 図は、ビデオ圧縮復号化工程700 の機能ブロック・ダイアグラムであるが、この工程は、第３図のビデオ圧縮符号化工程64によって生成されるビデオ情報を脱圧縮するものである。符号化工程64の記述と一貫させるために、復号化工程700 は、第2A、2B図を参照しながら説明する。復号化工程700 は、メモリから、または、転送されたものとして、符号化ビデオ情報を受け取る。この情報は、対象マスク66、特質点68、圧縮マスター対象136 、類似性（affine）変換係数104 、および、圧縮誤差データ166 を含む。
復号化工程700 は、符号化工程64( 第3 図) の操作の逆の操作を実行する。したがって、復号化工程を備えた符号化工程64の、前述の好ましい操作のそれぞれも、同様に逆転される。
機能ブロック702 は、マスク66、特質点68、変換係数104 、および、圧縮誤差データ116 がメモリから取り出され、または、転送物として受け取られ、それによって、復号化工程700 による処理が可能になることを示す。
第23B 図は、マスター対象復号化工程704 の機能ブロック・ダイアグラムであるが、この工程は、圧縮されたマスター対象136 を復号ないし脱圧縮する。機能ブロック706 は、圧縮化されたマスター対象データ136 が、第3B図の機能ブロック134 の、従来のロスレス・エントロピー符号化法を逆行することによって、エントロピー復号化されることを示す。機能ブロック708 は、機能ブロック706 においてエントロピー復号化されたマスター対象が、第3B図の機能ブロック132 で用いられた、従来のロッシー波形符号化工程を逆行することによって復号化されることを示す。

機能ブロック712 は、細密運動変換、できれば、多次元類似性（affine）変換であることが好ましいが、それが類似性（affine）係数104 から生成されることを示す。できれば、類似性（affine）係数104 は、変換法350(第12図) に従って量子化されることが好ましく、かつ、その類似性（affine）変換は、機能ブロック362(第12図) に関連して上述した操作の逆行を実行することによって、その量子化類似性（affine）係数から生成されることが好ましい。

機能ブロック714 は、タイミング遅延を介して与えられた、直前フレームN-1の対象716 の量子化された形( 例えば、画像フレーム54a の直方体56a)が、細密運動変換によって変換され、それによって、現在フレームN の対象720 の予想形（例えば、画像フレーム54b の直方体50b)を与えることを示す。
機能ブロック722 は、画像フレームN について、予想現在対象720 が、圧縮誤差データ116 から生成された量子化誤差724 に加えられることを示す。特に、機能ブロック726 は、圧縮誤差データ116 が、圧縮工程114(第3A図) の逆工程によって復号化されることを示す。好ましい実施態様においては、機能ブロック114と726 は、エントロピー符号化法のような、従来のロスレス静止画像圧縮法に基づいて実行される。

機能ブロック728 は、機能ブロック726 で得られたエントロピー復号化誤差データが、機能ブロック112(第3A図) で使用されるものに一致する、従来のロッシー静止画像圧縮法によってさらに脱圧縮、ないし、復号化されることを示す。好ましい実施態様においては、機能ブロック728 の脱圧縮ないし復号化は、格子区分ないしその他の波形工程、または、不連続コサイン変換(DCT) 工程によって実行される。

機能ブロック722 は、フレームN の量子化対象730 を、予想対象720 と量子化誤差724 の合計として与える。これは、再構成ないし脱圧縮された対象723 を表わし、この対象は、後続のフレームの対象再構成のために機能ブロック718 に配送される。
機能ブロック734 は、量子化された対象732 が、現在画像フレームN の他の対象と組み合わされて、脱圧縮ビデオ信号を形成することを示す。

単純化連鎖符号化法
マスク、対象、スプライト、および、その他のグラッフィク性特質は、通常、その輪郭で表現される。第5A図に関連して図示し、 説明したように、例えば、直方体56a は、対象辺縁ないし輪郭142 によって区画される。輪郭を符号化ないし圧縮するための従来の工程は、連鎖符号化法と呼ばれる。

第24A 図は、従来の８点連鎖コード800 を示す。すなわち、このコードに基づいて、従来の方形ピクセル配列上の輪郭が定義される。現在ピクセル位置X に基づいて、輪郭における、次に続くピクセル位置が方向802a〜802hの内の一つに沿って延びる。直後ピクセルの連鎖コード値は、特定方向802 に一致する数値である。例を挙げると、右、水平方向802aは連鎖コード値０に相当し、下向き、垂直方向802gは連鎖コード値６に相当する。どのような連続輪郭であれ、８点連鎖コード800 によって記載することができる。

第24B 図を参照しながら説明すると、X およびＡ〜Ｇと名づけられる、ピクセル806 によって表わされる輪郭804 は、従来のやり方では、連鎖コード｛00764432｝で符号化される。特に、ピクセルX から始めると、ピクセルA とB は、ピクセルX とA にたいして、方向０に位置づけられる。ピクセルC は、ピクセルB にたいして方向７に位置づけられる。残りのピクセルD 〜G も同様に、上述の連鎖コードに一致する方向に位置づけられる。２進表示では、従来の、各連鎖コード値は、３個のディジタル・ビットで表わされる。
第25A 図は、本発明の連鎖コード工程810 の機能ブロック・ダイグラムであるが、この工程は、従来の連鎖コード工程のものの少なくとも約２倍の圧縮比を与えることができる。連鎖コード工程810 は、このように高い圧縮比を、連鎖コードの数を制限することによって、また、隣接ペア・ピクセルの一致軸にたいして連鎖コードを定義することによって、実現する。実験によると、連鎖コード工程810 の連鎖コードは、制限されてはいるものの、対象またはマスク輪郭のピクセル軸99.8％以上を表わすことが判明した。特殊ケース連鎖コード修正を設けることによって、下にさらに詳述するように、ピクセル軸の、残りの0.2 ％未満を収容することができる。

機能ブロック816 は、あるマスク、対象、または、スプライトにたいして輪郭が得られることを示す。輪郭は、例えば、第４と５図に関連して上述した対象分節工程140 によって得てもよい。
機能ブロック818 は、輪郭の初期ピクセルが特定されることを示す。初期ピクセルは、通常の方法、例えば、最小のX 軸座標値、Y 軸座標値を持つピクセルをもって特定してもよい。

機能ブロック820 は、あらかじめ定められた連鎖コードが、初期ピクセルと、輪郭において次に隣接するピクセルとの間の関係を表わすように割り当てられることを示す。できれば、あらかじめ定められた連鎖コードは、前進方向に一致するように定義されることが好ましい。
第25B 図は、本発明の３点連鎖コード822 を示す模式図である。連鎖コード822 は、３個の連鎖コード824a、824b、および、824cを含む。これら３個の連鎖コードは、それぞれ、前進方向826a、左方向826b、および、右方向826cに一致する。方向826a〜826cは、現在ピクセル830 と、この連鎖コードにおいて直前ピクセルを表わす隣接ピクセル832 との間の、直前同軸方向828 にたいして定義される。

直前同軸方向828 は、第24A 図に示す方向802 のいずれに沿って延びることもできるが、説明の都合上、特定方向（すなわち、右、水平) を持つものとして示される。方向826aは、したがって、方向828 と同じである。方向826bと826cは、方向828 から、１ピクセル左、および、右変位分だけ異なる。
連鎖コード824 の50％をわずかに上回る分が、前進方向826aに一致し、連鎖コード824 の25％をわずかに下回る分が、方向826bおよび826cのそれぞれに一致することが、実験的に求められた。

機能ブロック836 は、輪郭において次に隣接するピクセルが、方向826 の内の一つに一致するかどうかを尋ねる尋問を示す。輪郭において次に隣接するピクセルが、方向826 の内の一つに一致する場合には必ず、機能ブロック836 は、機能ブロック838 に進み、それ以外の場合には機能ブロック840 に進む。
機能ブロック838 は、次に隣接するピクセルに、直前隣接ピクセル・ペアの揃う軸にそった方向828 にたいする、そのものの方向826 に相当する連鎖コード824 が割り当てられることを示す。
機能ブロック840 は、方向826 の一つに一致するピクセル配列を、現実には一致しなかったピクセル配列の代用とされることを示す。実験によれば、このような代用は、通常、輪郭のピクセル配列の0.2 ％未満に起こるが、６個の特殊ケース修正の内の一つを用いることによって収容できることが定められた。
第25C 図は、６個の特殊ケース修正842 の模式図であるが、この修正は、非一致性ピクセル配列を、方向826 に一致するピクセル配列に変換するものである。各修正842 の内部において、ピクセル配列844 は、ピクセル配列846 に変換される。それぞれの隣接ピクセルX¹、 X²、A 、B のピクセル配列844 の各々において、ピクセルA 、B 間の方向は、方向826 の一つと一致しない。それは、ピクセルX¹とX²の軸にたいするピクセルA の軸の相対的位置のためである。

ピクセル配列844aにおいて、初期ピクセル軸850aと852aは、非一致的な直角方向変化を表わす。したがって、ピクセル配列846aにおいては、ピクセル配列844aのピクセルA が除去される。これによって、ピクセル方向854aが得られ、これはピクセル方向826aに一致する。ピクセル配列修正842b〜842fも同様に非一致性ピクセル配列844b〜844fを、それぞれ一致性配列846b〜846fに変換する。
ピクセル配列修正842 は、直前隣接ピクセルX1およびX2の軸にたいして90°以上変化するピクセル方向軸をもたらすピクセルを除外する。一つの効果は、直角を表わす輪郭の最小曲率半径を、３ピクセルまで増すことである。したがって、ピクセル修正842 は、極めて微妙な輪郭細部の極小の損失を招く。しかしながら、本発明によれば、このような細部の損失は、大抵の視認条件では受け容れ可能なものであることが定められた。

機能ブロック862 は、機能ブロック840 によって導入された、または、惹起された非一致性ピクセル軸方向が除去されることを示す。ある好ましい実施態様では、非一致性方向変化は簡単に次のようにして除去される。すなわち、機能ブロック816 に戻り、工程810 を繰り返し、これを、非一致性ピクセル配列が見られなくなるまで続ける。これは通常、８回未満の繰り返しで実現される。また、別様の実施態様では、このような惹起された非一致性方向は次のようにして「リアルタイム」で修正される。すなわち、非一致性方向変化が修正される度ごとに、何か惹起された非一致性方向変化がないかどうかをチェックし、あれば修正する。

機能ブロック864 は、ハフマン・コードが、このようにして得られた単純化連鎖コードから生成されることを示す。方向826A〜826Cは、ある輪郭において、それぞれ約50％、25％、および、25％のピクセルに起こるのであるが、この方向に一致する連鎖コード824a〜824cに関しては、それぞれ0 、11、および、10のハフマン・コードが割り当てられる。このような一次ハフマン・コードによって、連鎖工程810 は、輪郭のピクセル当たり1.5 ビット未満のビット速度で輪郭を表わすことが可能となる。このようなビット速度は、従来の連鎖コード工程にたいし、ほぼ50％の圧縮比改善となる。
さらに高次のハフマン・コードを用いることによって、さらに高い圧縮比が得られることが了解されるであろう。さらに高次のハフマン・コードとは、例えば、第１次のハフマン・コードのあらかじめ選ばれた配列にたいして、あらかじめ定められた値を割り当てることを含む。

スプライト生成
本発明は、実体性運動ビデオ（映画）を符号化するのに関連して用いられるスプライトの生成を含む。ビットマップは寄せ集められたピットマップ・シリーズを形成するが、これは、ある画像ソースから発する連続画像の、複数の連続ビットマップを含む。寄せ集めは、対象ないし人物が、互いに相対的に運動する場合、または、ある人物が、同様の他の人物を、ちょうど前景人物が背景を閉塞するような具合に閉塞する場合、そのような時の閉塞ピクセルの問題を克服するために使用される。例えば、前景人物が移動し、何かの新しい背景を露呈する場合、次のことがなされない限り、この新しい背景を、以前のビットマップから構築することはできない。すなわち、後続のビットマップにおいて露呈される予定のピクセルを、先行ビットマップに含めることによって、まずその先行ビットマップを強調しておくことである。この方法は、人物の不完全な画像を捕らえ、その人物に属してはいるが、直接には見ることのできないピクセルについて、それをいつか見る時がくるかも知れないと予測する。このようなピクセルを用いて、その人物にたいする複合ビットマップを生成する。この複合ビットマップがあれば、その人物の将来のどのような外見も、その複合ビットマップを変形することによって生成することができる。

符号化工程は、オペレーターが、人物と、現在ビットマップ・シリーズにおいて、現在ビットマップの内の、その人物の部分とを特定することから始まる。特質または変形点は、人物の部分が動き回る部分の特質の上に、オペレーターによって選択される。三角から成る現在格子が、現在ビットマップの部分に重ねられる。三角形の現在格子を構成する三角形は、隣接変形点を結んで形成される。現在ビットマップにおける各三角形の現在位置が求められ、メモリ装置に保存される。各三角形の現在位置内にある第１画像を定義する現在ビットマップのデータの一部は、将来の使用に備えて保持される。

現在のビットマップ列の第２イメージを定義する次続ビットマップはイメージ源から受け、図形および図形の部分はオペレータにより識別される。次に、現在のビットマップからのトライアングルの現在のグリッドが、次続ビットマップ上に重畳される。トライアングルの現在のグリッドの歪曲点は、次続ビットマップの対応図形の特徴と一致する様に再整列される。再整列された歪曲点は、第２イメージの次続ビットマップ上にトライアングルの次続グリッドを形成する。次続ビットマップ上の各トライアングルの次続位置が決定されると共に記憶装置に記憶される。各トライアングルの次続位置内で第２イメージを定義する次続ビットマップのデータの部分は、更なる使用の為に保持される。

各トライアングルの現在位置および次続位置を決定且つ記憶するプロセスは現在のビットマップ列の複数のシーケンシャル・ビットマップに対して反復される。このプロセスが完了したとき、現在のビットマップ列における各トライアングルの平均イメージは別個に保持されたデータから決定される。各トライアングルの平均イメージは記憶装置に記憶される。

再生の間、現在のビットマップ列の各トライアングルの平均イメージおよび現在のビットマップの各トライアングルの現在位置は記憶装置から検索される。予測ビットマップが生成されるが、これは、現在のビットマップ列内の各トライアングルの平均イメージを現在のビットマップの各トライアングルの現在位置に変換する変換解を計算すると共に、変換解を各トライアングルの平均イメージに適用することで行われる。予測ビットマップは、表示の為にモニタに引渡される。
再生時には制御プログラムによりイメージが決定されるという再生確定モーションビデオ（ビデオゲーム）に関し、スプライト・ビットマップはその全体が記憶装置に記憶される。スプライト・ビットマップは、スプライト・イメージを定義する複数のデータビットから成る。スプライト・ビットマップはモニタ上に表示され、スプライトの各部分はオペレータにより識別されると共に歪曲点がスプライトの各部分に対して選択される。

トライアングルのグリッドは、スプライト・ビットマップの各部分上に重畳される。トライアングルのグリッドを構成するトライアングルは、隣接する歪曲点を接続することにより形成される。歪曲点はトライアングルの各頂点である。スプライト・ビットマップの各トライアングルの位置が決定されて記憶装置に記憶される。

再生の間、各トライアングルの次続位置は制御プログラムから受け取る。スプライト・ビットマップと、スプライト・ビットマップ上の各トライアングルの次続位置は、記憶装置から呼び出されてディスプレイ・プロセッサに引渡される。各トライアングルの次続位置もまた、ディスプレイ・プロセッサに引渡される。
スプライト・ビットマップ上の各トライアングルに対しては、変換解が計算される。次にディスプレイ・プロセッサ内に次続ビットマップが生成されるが、これは、各トライアングルの位置内のスプライト・イメージを定義する、スプライト・ビットマップから導かれた各トライアングルの変換解を適用することにより行われる。ディスプレイ・プロセッサは、次続スプライト・ビットマップをモニタに引渡して表示させる。このプロセスは、制御プログラムにより要求された各トライアングルの次続位置の各々に対して反復される。

図２６に示される如く、動画ビデオに対する符号化処理は、イメージ源から現在のビットマップ列を受けるCPU 22によりステップ900 にて開始される。現在のビットマップ列は、シーケンシャル・イメージの複数のシーケンシャル・ビットマップから成る。また、現在のビットマップ列は、イメージ源からの第１イメージを定義する複数のデータビットからなる現在のビットマップを有する。第１イメージは、少なくとも１個の部分を有する少なくとも１個の図形を備えて成る。
ステップ902 に進み、第１イメージはモニタ28上でオペレータに対して表示される。モニタ28から、現在のビットマップ上の第１イメージの図形がオペレータにより識別される。現在のビットマップ上の図形の各部分は次にステップ904 にてオペレータにより識別される。

次にステップ906 にて、オペレータは現在のビットマップ上の特徴点もしくは歪曲点を選択する。歪曲点は、部分の相対運動が生じ得るところのビットマップ上の特徴と歪曲点が一致する如く選択される。当業者であれば、図形、図形の各部分およびビットマップ上の歪曲点はコンピュータシステム20もしくはその助けを借りて識別され得ることを理解し得よう。しかし乍ら、図形、図形の各部分およびビットマップ上の歪曲点をオペレータが識別すれば好適である。
ステップ908 に進むと、トライアングルの現在のグリッドがコンピュータシステム20により、現在のビットマップの各部分に重畳される。図２７(A) を参照すると、現在のグリッドは、隣接歪曲点を接続して形成されたトライアングルから成っている。歪曲点はトライアングルの頂点を形成する。より詳細に述べると、現在のビットマップの第１イメージは、人物970 である図形から成る。人物970は、頭972 、胴体974 、右腕976 、左腕978 、右足980 および左足982 に対応する６個の部分を有している。歪曲点は人物970 に各部分に対して選択され、従って、歪曲点は、部分の相対運動が生じ得るところの特徴に一致する。各部分上にて、現在のグリッドには、隣接歪曲点を接続することにより形成された現在のグリッドの各々のトライアングルが重畳される。従って、歪曲点はトライアングルの頂点を形成する。

ステップ910 にては、コンピュータシステム20が、現在のビットマップ上の各トライアングルの現在位置を決定する。現在のビットマップ上の各トライアングルの現在位置は、トライアングルの頂点を形成する歪曲点の位置により定義される。ステップ912 においては、各トライアングルの現在位置が記憶装置に記憶される。各トライアングルの現在位置内の第１イメージを定義する現在のビットマップから導出されたデータの部分は、ステップ914 にて保持される。
次に、ステップ916 にては、現在のビットマップ列の次続ビットマップがCPU22により受け取られる。次続ビットマップは、現在のビットマップ列の第２イメージを定義する複数のデータビットから成る。第２イメージは、第１イメージ内の図形に対応する図形を含むこともあり含まないこともある。但し、次のステップに対しては、第１イメージ内の図形に対応する図形を第２イメージが有しているものと仮定する。ステップ918 にては、トライアングルの現在のグリッドが次続ビットマップ上に重畳される。重畳されたトライアングル状グリッドを備えた第２イメージは、モニタ28上でオペレータに対して表示される。

ステップ920 にて、歪曲点は、コンピュータシステム20の助けを借りたオペレータにより、次続ビットマップ上の対応特徴と一致する如く再整列される。コンピュータシステム20は、ブロック整合を用いて歪曲点を再整列する。誤りがあれば、オペレータにより訂正される。図２７(B) を参照すると、再整列された歪曲点は、トライアングルの次続グリッドを形成する。再整列された歪曲点は、トライアングルの頂点である。より詳細に述べると、人物970 の次続ビットマップの第２イメージは、頭972 、胴体974 、右腕976 、左腕978 、右足980 および左足982 を含んでいる。但し、第２イメージにおいては右腕980 が上がっている。

第１イメージの現在のグリッドは、各部分に重畳されると共に、それらの歪曲点は、第２イメージ上の対応特徴に一致すべく再整列されている。再整列された歪曲点は、トライアングルの次続グリッドを定義する。次続グリッドは、再整列された歪曲点を接続して形成されたトライアングルから成る。故に、再整列された歪曲点は、次続グリッドのトライアングルの頂点を形成する。
ステップ922 に進むと、次続ビットマップの各トライアングルの次続位置がコンピュータシステム20により決定される。ステップ924 では、次続ビットマップ上の各トライアングルの次続位置が記憶装置に記憶される。各トライアングルの次続位置内の第２イメージを定義する、次続ビットマップから導出されたデータの部分は、ステップ926 で保持される。ステップ926 は、次の次続ビットマップが存在するか否かを決定する判断ステップ928 に続いている。

もし次の次続ビットマップが存在すれば、判断ステップ928 のYES 分岐は、次続ビットマップが現在のビットマップになるステップ930 に繋がる。ステップ930 は、現在のビットマップ列の次続ビットマップがCPU 22により受け取られるステップ916 に戻る。もし次の次続ビットマップが存在しなければ、判断ステップ928 のNO分岐は、現在のビットマップ列の各トライアングルに対する平均イメージが決定されるステップ932 に進む。平均イメージは、トライアングルの各ピクセルの中央値である。平均イメージを使用することにより、プロセスの劣化が生じにくくなる。ステップ934 に進み、現在のビットマップ列の各トライアングルの平均イメージは記憶装置に記憶される。
次に、ステップ936 にては、現在のビットマップ上の各トライアングルの現在位置が記憶装置から検索される。次に、ステップ938 にて、各トライアングルの平均イメージを現在のビットマップ上のトライアングルの現在位置に変換する為のアファイン変換解がコンピュータシステム20により計算される。ステップ940にては、各トライアングルの平均イメージの変換解を、現在のビットマップ上の各トライアングルの現在位置に適用することにより、予測ビットマップが生成される。ステップ942 にて、予測ビットマップは現在のビットマップと比較される。
ステップ944 にては、修正ビットマップが生成される。修正ビットマップは、予測ビットマップにより正確に予測されなかった現在のビットマップのデータビットから成る。修正ビットマップはステップ948 にて記憶装置に記憶される。ステップ948 は、次続ビットマップが存在するか否かを決定する判断ステップ950に進む。

もし次続ビットマップが存在すれば、判断ステップ950 のYES 分岐は、次続ビットマップが現在のビットマップになるステップ952 に行く。ステップ952 は、現在のビットマップ上の各トライアングルの現在位置が記憶装置から検索されるステップ936 に戻る。もし次の次続ビットマップが存在しなければ、判断ステップ950 のNO分岐は、次続ビットマップ列が存在するか否かを決定する判断ステップ954 に行く。もし次続ビットマップ列が存在しなければ、符号化は終了すると共に判断ステップ954 のNO分岐はステップ956 に行く。もし次続ビットマップ列が存在すれば、判断ステップ954 のYES 分岐は、次続ビットマップ列を現在のビットマップ列としてCPU 22が受け取るステップ958 に行く。ステップ956 は、現在のビットマップ列の第１イメージの図形がオペレータにより識別されるステップ902 に戻る。

図２６のプロセスは、図３のエンコーダプロセス64により使用されるスプライト・オブジェクトもしくはマスタ・オブジェクト90の生成法を記述している。マスタ・オブジェクト90を利用して予測オブジェクト102 を形成するプロセスは、図２８を参照して記述する。
図２８に示される様に、現在のビットマップ列を検索することにより処理はステップ1000から開始される。現在のビットマップ列はシーケンシャル・イメージの複数のシーケンシャル・ビットマップから成る。現在のビットマップ列は、イメージ源から第１イメージを定義する複数のデータビットから成る現在のビットマップを有する。第１イメージは、少なくとも１個の部分を有する少なくとも１個の図形から成る。
ステップ1002において、現在のビットマップ列の各トライアングルの平均イメージは記憶装置から検索される。各トライアングルの平均イメージは次にステップ1004にて（不図示の）ディスプレイ・プロセッサに引渡される。（図１の）コンピュータシステム20が、本発明のプロセスを実行する為のディスプレイ・プロセッサもしくは他の専用要素を選択的に含み得ることは理解される。ステップ1006に進み、現在のビットマップ上の各トライアングルの現在位置が記憶装置から検索される。各トライアングルの現在位置はステップ1008でディスプレイ・プロセッサに引渡される。

次に、各トライアングルの平均イメージを、現在のビットマップ上の各トライアングルの現在位置に変換する為のアファイン変換解がステップ1010でディスプレイ・プロセッサにより計算される。ステップ1012に進み、ディスプレイ・プロセッサにより予測ビットマップが生成されるが、これは、各トライアングルの平均イメージを、現在のビットマップ上の各トライアングルの現在位置に変換する為の変換解を適用することで行われる。

ステップ1014にて、現在のビットマップに対する修正ビットマップが記憶装置から検索される。修正ビットマップは、ステップ1016にてディスプレイ・プロセッサに引渡される。次に、予測ビットマップに修正ビットマップを被せることにより、ディスプレイ・プロセッサ内で表示用ビットマップが生成される。ディスプレイ・プロセッサは、各トライアングルの平均イメージのコピーを保持すると共に、モニタ上の表示の為にフレームバッファに表示用ビットマップを引渡す。
次に、判断ステップ1020にて、現在のビットマップ列の次続ビットマップが存在するか否かが決定される。もし現在のビットマップ列の次続ビットマップが存在すれば、判断ステップ1020のYES 分岐はステップ1022に行く。ステップ1022にて、次続ビットマップは現在のビットマップとなる。ステップ1022では、現在のビットマップの各トライアングルの位置が記憶装置から検索される。

判断ステップ1020に戻り、もし現在のビットマップ列の次続ビットマップが存在しなければ、判断ステップ1020のNO分岐は判断ステップ1024に行く。判断ステップ1024にては、次続ビットマップ列が存在するか否かが決定される。もし次続ビットマップ列が存在しなければ、プロセスは終了すると共に、判断ステップ1024のNO分岐はステップ1026に行く。もし次続ビットマップ列が存在すれば、判断ステップ1024のYES 分岐はステップ1028に行く。ステップ1028にては、次続ビットマップ列は現在のビットマップ列になる。ステップ1028はステップ1000に戻る。

本発明の原理を好適実施例に関して図示すると共に説明したが、当業者であれば、斯かる原理から逸脱することなく実施例の配置構成および詳細を改変し得ることは自明であろう。従って、本出願人は、本願の特許請求の範囲およびその均等物の範囲および精神の範囲内に収まる全ての実施例に対して権利を主張するものである。

第１図は、本発明を体現する方法、ならびに装置を導入するのに用いられるコンピュータ装置のブロック・ダイアグラムである。 第2Aおよび2B図は、あるビデオ・ディスプレー装置のディスプレー画面の模式図であって、あるビデオ信号に対応する、二つの連続する画像フレームを示す。 第3A図は、ビデオ圧縮符号化方法の総合機能ブロック・ダイグラムであり、この方法によって、複数画像フレームから成るビデオ配列においてディスプレー運動を表わすディジタル化ビデオ信号を圧縮する。 第3B図は、本発明によるマスター対象符号化方法の機能ブロック・ダイグラムである。 第４図は、あるビデオ配列のある画像フレームにおける選ばれた対象を分節するための、対象分節工程の機能ブロック・ダイアグラムである。 第5A図は、第2A図のビデオ・ディスプレー装置のディスプレー画面の模式図であり、第5B図は、第5A図のディスプレー画面の一部の拡大表示である。 第６図は、連続する画像フレームの対応対象における、対応するピクセル・ペアにたいする運動ベクトルを求める、多角形適合方法を示す機能ブロック・ダイアグラムである。 第7Aおよび7B図は、二つの対応する対象を含む、二つの連続する画像フレームを示すディスプレー画面の模式図である。 第８図は、相互的ピクセル・ブロック相関工程の機能ブロック・ダイアグラムである。 第9A図は、異なる画像フレームにおいて、対応するピクセルを特定するために使用される第１ピクセル・ブロックの模式図である。 第9B図は、対応ピクセルが探索される前の画像フレームにおける探索域に対応するピクセル配列の模式図である。 第9C は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第１ピクセル・ブロックの模式図である。 第9Ｄ は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第１ピクセル・ブロックの模式図である。 第9Ｅ は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第１ピクセル・ブロックの模式図である。 第9Ｆは、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第１ピクセル・ブロックの模式図である。 第9G は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第１ピクセル・ブロックの模式図である。 第10A 図は、異なる画像フレームにおいて、対応するピクセルを特定するために使用される第２ピクセル・ブロックの模式図である。 第10B は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第2 ピクセル・ブロックの模式図である。 第10Ｃ は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第2 ピクセル・ブロックの模式図である。 第10Ｄ は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第2 ピクセル・ブロックの模式図である。 第10Ｅ は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第2 ピクセル・ブロックの模式図である。 第10F は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第2 ピクセル・ブロックの模式図である。 第11A 図は、異なる画像フレームにおいて、対応するピクセルを特定するために使用される第３ピクセル・ブロックの模式図である。 第11Bは、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第3 ピクセル・ブロックの模式図である。 第11Ｃは、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第3 ピクセル・ブロックの模式図である。 第11Ｄは、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第3 ピクセル・ブロックの模式図である。 第11Ｅは、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第3 ピクセル・ブロックの模式図である。 第11F は、対応ピクセルを特定するために、第9Bのピクセル配列において走査される第3 ピクセル・ブロックの模式図である。 第12図は、多次元変換法を示す機能ブロック・ダイアグラムであり、この方法は、連続する第１、第２画像フレームにおける対象間のマッピングを生成し、このマッピングを転送またはメモリのために量子化するものである。 第13図は、第７図の画像フレームを表わすディスプレー画面の模式図であって、第12図の多次元変換法を例示するためのものである。 第14図は、第12図の方法で求めた類似性（affine）変換係数の量子化に使用される変換ブロックの３種の選ばれたピクセルを表わす拡大模式図である。 第15図は、第12図の多次元変換法の別の実施態様に用いられる変換ブロック最適化法の機能ブロック・ダイアグラムである。 第16図は、第７図の画像フレームを表わすディスプレー画面の、断片模式図であって、第15図の変換ブロック最適化法を例示するためのものである。 第17Aは、圧縮前外挿法の機能ブロック・ダイアグラムであり、この方法は、圧縮をやり易くするために、任意の形の画像特質を、特定の形に外挿するためのものである。 第17B 図は、圧縮前外挿法の機能ブロック・ダイアグラムであり、この方法は、圧縮をやり易くするために、任意の形の画像特質を、特定の形に外挿するためのものである。 第18A-18D 図は、単純な対象を、第14図の外挿法の様々な面を示すように帰着させたディスプレー画面を表わすものである。 第19A および19B 図は、それぞれ、符号化法および復号化法を示す機能ブロック・ダイアグラムである。これらは、本発明にしたがってラプラスのピラミッド符号化法を用いている。 第20A-20D 図は、第19A の符号化工程によって処理された任意の一組の、または、一配列のピクセルのカラー成分値を示す模式図である。 第21図は、本発明による運動ベクトル符号化法の機能ブロック・ダイアグラムである。 第22図は、量子化された対象符号化・復号化別様工程を示す機能ブロック・ダイアグラムである。 第23A 図は、第３図の復号化工程に適合するビデオ圧縮復号化工程の総合機能ブロック・ダイアグラムである。 23B 図は、本発明によるマスター対象復号化工程を示す機能ダイグラムである。 第24A 図は、従来の連鎖コード形式の模式図である。第24B 図は、第24A の連鎖コード形式処理された場合の輪郭を例示する模式図である。 第25A 図は、本発明の連鎖コード化工程の機能ブロック・ダイアグラムである。 第25C 図は、第25A の工程で使用される特別ケース・連鎖コード修正を示す模式図である。 第26図は、スプライト生成、ないし、符号化工程を示す機能ブロック・ダイアグラムである。 第27A および27B 図は、ビットマップによって定義される、それぞれ、第１および第２の対象であり、第26の工程に従って対象の上に重ねられた三角の格子を示す。 第28図は、第26図の符号化工程に対応する、スプライト復号化工程の機能ブロック・ダイアグラムである。

Claims (11)

1. コンピュータによって実行可能なコンピュータプログラムを記憶するコンピュータ読取可能媒体であって、
   このコンピュータプログラムは、これによってビデオ画像対象（オブジェクト）のピクセル（画素）値の外挿方法を実行可能であり、ビデオ画像対象の周縁（ペリメータ）の外側に位置する少なくとも１つのピクセルの値を精密に決定するものであり、なおここにおいて、前記周縁の外側に位置するピクセルは、前記画像対象の存するブロックの境界内に位置するものであって、この外挿方法は、
   ブロック境界内のピクセルのラインを走査する工程、この走査工程では、画像対象の周縁の外側で少なくとも１つのピクセルを識別し、これらの識別された各ピクセルは２つの端末ピクセルを有するセグメントの一部であり、２つの端末ピクセルのうちの少なくとも１つのピクセルは周縁ピクセルの値をもっているものである工程と、
   各識別されたピクセルに対し、
   識別されたピクセルを含むセグメントの両端末ピクセルが周縁ピクセルの値を有するときは、識別されたピクセルに周縁ピクセルの値の平均値を割当て、
   識別されたピクセルを含むセグメントの端末ピクセルの１つのみが周縁ピクセル値を有する場合は、識別されたピクセルに周縁ピクセル値を割当てる工程とを含んでいること、
   を特徴とするコンピュータによって実行可能なコンピュータプログラムを記憶するコンピュータ読取可能媒体。
2. ブロック境界を水平に横切って走査が行われるようにした請求項１記載のコンピュータ読取可能媒体。
3. ブロック境界内で、複数のピクセルのラインに対して反復して同じ方法が行われる如くした請求項１記載のコンピュータ読取可能媒体。
4. 請求項３記載のコンピュータ読取可能媒体において、走査が次の工程を含んでなること、すなわち、
   ブロック境界内の水平ラインを走査すること、
   水平ライン内の各識別ピクセルの決定に続き、ブロック境界内で垂直ラインの走査を行うことを特徴とするコンピュータ読取可能媒体。
5. 請求項４記載のコンピュータ読取可能媒体において、画像対象の周縁の外側で、かつ水平ライン走査で識別されなかったか、又は垂直ライン走査で識別されず残っている少なくとも１つのピクセルに対し、以前に付与した周縁ピクセルの値を割当てる工程を含んでなることを特徴とするコンピュータ読取可能媒体。
6. 請求項１記載のコンピュータ読取可能媒体において、画像対象の周縁において残留している少なくとも１つのピクセルで、走査において識別されていないピクセルに対し、これ迄に割当ててきた周縁ピクセルの値を割当てる工程を含んでなる、コンピュータ読取可能媒体。
7. 請求項６記載のコンピュータ読取可能媒体において、ブロック境界はピクセルの行及び列を含んでいること、並びに、前記少なくとも１つの残留ピクセルは、ビデオの画像対象（オブジェクト）のピクセルを含んでいる行又は列内のものでないことを特徴とするコンピュータ読取可能媒体。
8. コンピュータによって、ビデオ画像対象（オブジェクト）のピクセル値を精密にするため、該ビデオ画像対象（オブジェクト）の周縁の外側の少なくとも１つのピクセル値を外挿する方法であって、前記ビデオ画像対象（オブジェクト）の周縁の外側の少なくとも１つのピクセルは、該対象（オブジェクト）の周のブロック境界の内側であるコンピュータによるビデオ外挿方法において、
   ブロック境界内において、１又は１以上のピクセルの水平セグメントの複数の水平ラインを走査し、各水平セグメントは画像対象（オブジェクト）周縁外の１以上のピクセルを有し、各水平セグメントは２つの端末ピクセルを有し、少なくとも１つの端末ピクセルは周縁ピクセル値を有する工程、
   １以上の水平セグメントの各々に対し、かつ周縁外の各ピクセルに対し、次の条件、すなわち、
   水平セグメントの両端末ピクセルが周縁ピクセル値を有するときは、周縁外のピクセルに対し、前記両端末ピクセルの周縁ピクセル値の平均値を割当てる工程と、
   その他の場合には、周縁外のピクセルに対し、周縁ピクセル値を割当てる工程とを有し、かつ
   ブロック境界内の複数のピクセルの垂直ラインを走査し、１又は１以上のピクセルの垂直セグメントの走査によって、各垂直セグメントが対象周縁外の１以上のピクセルを有し、かつ各垂直セグメントは２つの端末ピクセルを有し、少なくとも１つの端末ピクセルが周縁ピクセル値を有する場合、
   各１以上の垂直セグメントの対象周縁外の各ピクセルに対し、
   垂直セグメントの両端末ピクセルが対象周縁ピクセル値を有する場合には、周縁外のピクセルに対し、両端末ピクセルの周縁ピクセル値の平均値を割当てる工程と、
   その他の場合には、周縁外のピクセルに対し、周縁ピクセル値を割当てることを特徴とする、コンピュータによるビデオ外挿方法。
9. 請求項８記載の方法において、画像対象の周縁外の少なくとも１つの残留ピクセルに対し、従前に割当てた周縁ピクセル値を割当てることを特徴とする方法。
10. 請求項９記載の方法において、ブロック境界は、ピクセルの行及び列を含んでおり、画像対象（オブジェクト）周縁外の少なくとも１つの前記残留ピクセルは、画像対象（オブジェクト）のピクセルを含む行又は列内のものでないことを特徴とする方法。
11. 請求項８記載の方法を実行するようなコンピュータプログラムの命令をコンピュータにより実行可能に記憶しているコンピュータによって実行可能なコンピュータプログラムの記憶媒体。

Images