JP2000507413A - 一般的な任意の形状の表示および符号化 - Google Patents

Abstract

(57)【要約】 例えば、埋め込まれたまたは分離された構成要素を含む一般的バイナリ任意形状を表わすことができる、階層的対象符号化技術または工程。前記方法は、一般的バイナリ任意形状の連続的層を、簡単な任意形状に分解する。このように形成された各マスク(80)は、連続的な外郭線のみを有する簡単な任意形状である(172)。したがって、各外郭線を、好適に、輪郭符号化方法によって符号化し、一般的バイナリ形状の正確な符号化を与える。

Description

【発明の詳細な説明】 一般的な任意の形状の表示および符号化技術分野 本発明は、ディジタル・ビデオ信号を圧縮する方法に関わる。特に、精度を増 すためのエラー・フィードバックを備えた対象依存性ディジタル・ビデオ符号化 方法に関わる。背景技術 アナログ・ビデオ信号による完全活動ビデオ表示は、テレビという形式で長く 一般に利用されている。最近の、コンピュータ処理機能や、コンピュータ入手性 の増大に伴って、ディジタル・ビデオ信号による完全活動ビデオ表示がさらに広 く一般に利用されるようになっている。ディジタル・ビデオ装置は、従来のアナ ログ・ビデオ装置に比べて、完全活動ビデオ画面配列を生成し、修飾し、伝送し 、保存し、遊戯することにおいて目立った改善を加えている。 ディジタル・ビデオ・ディスプレーは、多数の画像フレームからなり、このフ レームは、30から75Hzの間の頻度で連続的に実行、あるいは、還元される。各画 像フレームは、その特定の装置のディスプレー解像度による、ある配列のピクセ ルから形成される静止画像である。例を挙げるならば、VHS装置は、320x480ピク セルのディスプレー解像度を持ち、NTSC装置は、720x486ピクセルの解像度を持 ち、現在開発中の高解像度(high-definition television，HDTV)装置は、1360x1 024ピクセルの解像度を持つ。 ビデオ配列に含まれる生のディジタル情報の量は莫大である。この莫大量のビ デオ情報の保存・伝送は、従来のパソコン装置では不可能である。320x480ピク セル解像度を持つ比較的低解像度のVHS画像方式におけるディジタル形に関して は、持続２時間の映画１巻は、100ギガバイトのディジタル・ビデオ信号に相当 する。比較として、従来のコンパクト・ディスクは、約0.6ギガバイトの容量を 持ち、磁気ハード・ディスクは、1-2ギガバイトの容量を持ち、また、現在開発 中の光学的コンパクト・ディスクは、最大８ギガバイトまでの容量を持つ。 このような莫大量のディジタル・ビデオ信号を保存・伝送する際に認められる 限界を処理するために、各種のビデオ圧縮基準ないし方法が導入されている。そ の中にはMPEG-1、MPEG-2、および、H.26Xがある。これら従来のビデオ圧縮法は 、時間的ないしフレーム間相関と呼ばれる、連続する画像フレーム間の相似性を 利用して、フレーム間圧縮を行なう。この圧縮においては、画像フレームのピク セル表示が、運動表示に変換される。さらに、従来のビデオ圧縮法は、空間ない しフレーム内相関と呼ばれる画像フレーム内部の相似性を利用し、フレーム内圧 縮を実行する。この圧縮においては、ある画像フレーム内の運動表示がさらに圧 縮される。フレーム内圧縮は、従来の静止画像圧縮方法、例えば、不連続コサイ ン変換(DCT)符号化法に基づく。 特定の導入方法は異なるものの、MPEG-1、MPEG-2、および、H.26Xのビデオ圧 縮基準はいくつかの点で類似する。下記のMPEG-2ビデオ圧縮基準に関する記載は 、一般に他の二者にも当てはまる。 MPEG-2は、ビデオ画像における正方形ブロック、すなわち、ピクセル配列に基 づいてフレーム間圧縮とフレーム内圧縮とを実行する。一つのビデオ画像は、16 x16ピクセルの大きさを持つ変換ブロックに区分される。ある画像フレームNにお ける各変換ブロックT_Nについて、直前の画像フレームN-1、または、さらに、直 後の画像フレームN+1（すなわち両方向性）、の画像を横切って探索を行ない、 それぞれにおいてもっとも相似性の高い変換ブロックT_N+1、または、T_N-1を特定 する。 理想的には、かつ、直後の画像フレームの探索に関して、変換ブロックT_Nおよ びT_N+1のピクセルは、例えその変換ブロックが、それぞれの画像フレームにおい て異なる位置を占めていても、同一である。このような状況においては、変換ブ ロックT_N+1におけるピクセル情報は、変換ブロックT_Nのピクセル情報にたいして 冗長となる。変換ブロックT_N+1，のピクセル情報の代わりに、変換ブロックT_Nと T_N+1，間の位置線形移動で代置することによって圧縮を実行する。この単純化し た例においては、変換ブロックT_N+1，における256ピクセルに伴うビデオ情報に たいして、ただ一つの線形移動ベクトル(ΔX、ΔY)が指定される。 しばしばあることであるが、対応する変換ブロックT_NおよびT_N+1における ビデオ情報（すなわち、ピクセル）は同一ではない。両者の差は変換ブロック誤 差Eと呼ばれるが、無視できない場合がしばしばある。この誤差は、不連続コサ イン変換(DCT)符号化法のような従来の圧縮方法によって圧縮されるのではある が、この変換ブロック誤差Eは厄介なものであり、ビデオ信号の圧縮度(比)と精 度を制限する。 ブロックによるビデオ圧縮法においては、いくつかの理由で、大きな変換ブロ ック誤差Eを生ずる。ブロックによる運動評価は、ただ連続する画像フレーム間 の線形移動運動を示すにすぎない。表示される、対応する変換ブロックT_NとT_N+1 ，の間の唯一の変化は、それら変換ブロックの相対的位置の変化だけである。こ のような表示法の欠点は、完全運動ビデオ配列は、線形移動以外の複雑な運動、 例えば、回転、拡大、および、斜行をしばしば含むことである。このような複雑 な運動を単純な線形移動近似によって表示することは重大な誤差を生むことにな る。 ビデオ表示のもう一つの局面として、ビデオ表示は、通常、互いに相対的に変 化ないし運動する複数の画像特質または対象を含むことがある。対象は、あるビ デオ表示内における個別の人物、事物、または、情景であるかもしれない。活動 画面における情景に関しては、例えば、その情景の中の人物（すなわち、俳優） や事物（すなわち、点景）の各々が、個別の対象となり得る。 あるビデオ配列における対象間の相対的運動が、従来のビデオ圧縮方法におけ る、無視できない、もう一つの変換ブロック誤差要因となる。変換ブロックが規 則的な形・大きさを持つために、その多くは、異なる対象物の部分・部分を包括 する。連続する画像フレームを通じて、対象間に相対運動がある場合、対応する 変換ブロック間に極端に低い相関が生ずることがある（すなわち、変換誤差Eが 高くなる）。同様に、連続する画像フレームにおける対象物の部分の出現（例え ば、人物が振り向く）も高い変換誤差Eを招く。 従来のビデオ圧縮法は、変換誤差Eの大きさによって、方法自体の本来的な性 質によって制限されているようである。ディジタル・ビデオ表示能にたいする要 求が高まるにつれて、ディジタル・ビデオ圧縮の改良法が望まれている。 いくつかの用途において、バイナリオブジェクトを、チェイン符号化またはっ ポリゴン輪郭近似のような従来の形状符号化技術によって個別的に符号化する。 従来の８点チェイン符号化において、例えば、対象の輪郭または境界を形成する 接続された画素は、隣接する画素の相対位置にしたがって圧縮されたフォーマッ トにおいて表わされる。この形状符号化技術の欠点は、固体の、接続された形状 しか正確に表現することができないことである。これらのような対象は、連続す る境界のみを有することを特徴としてもよい。多数の形式またはクラスの対象を 表現するのには十分であるが、これらのような表現は、異なった対象に対応する 内部領域を含むことができる一般的な形状を有する複雑な対象に対して無力であ る。これらのような複雑なオブジェクトは、ライブアクションビデオのような一 般的なビデオ配列において頻繁に含まれ、従来の形状符号化技術は、このような ビデオ用途に対して無力である。 ライブアクションビデオ配列におけるこのような対象の一例は、これらを通し て背景対象を見ることができる窓を有する移動する自動車の側景である。簡単な 従来の形状符号化技術は、このような対象（すなわち、自動車）の外輪郭すなわ ち外郭線を識別することができる。しかし、このような表現は、前記自動車の窓 を通して現れる背景対象（すなわち、前記対象の内側部分または構成要素）を別 々に識別または符号化することができない。これらの背景オブジェクトは、実際 にはそれとの関係を持たないにもかかわらず、前記自動車対象の一部として符号 化される。結果として、前記自動車が動くにつれて、前記窓を通じて見える背景 オブジェクトにおける変化は、結果として、前記自動車オブジェクトの符号化に おいて重大な誤差を生じる。 しばしば、四部木符号化が、複雑な対象の識別および符号化に使用される。バ イナリ対象の四部木符号化において、例えば、右正領域は、この領域が両方のバ イナリ状態の画素を含む場合はいつも象限に細分される。結果として生じた象限 は、これらが両方のバイナリ状態の画素を含む場合はいつも象限に細分され続け る。この繰り返しの細分化は、各々の結果として生じる象限におけるすべての画 素が１つのバイナリ状態になるまで、または、細分化解像度限界に達するまで続 く。 四部木符号化は、一定の細分化解像度限界と、一般的なビデオ用途に必要な高 精細解像度とのため、非能率であるという欠点がある。前記一定の細分化解像度 限界は、適応的でなく、オブジェクト形態の複雑性にかかわらず適用され、不必 要に、または非能率的に計算資源を頻繁に使用する。前記一定の細分化解像度限 界との組み合わせにおいて、四部木符号化において一般的なビデオ用途に必要な 高精細解像度は、極端な量の計算資源を消費する。 従来の形状符号化技術の限られた能力は、結果として符号化誤差の増加を生じ る。代わりに、四部木符号化は非能率であり、極端な量の計算資源を要求する。 従来の処理のこれらの欠点は、ビデオ圧縮符号化の供給可能性および実用性を制 限するおそれがある。発明の大要 本発明は、多数の画像フレームから成るビデオ配列においてディスプレー運動 を表わすディジタル化ビデオ信号を圧縮するための、ビデオ圧縮符号化方法を含 む。この符号化方法は、対象依存性ビデオ圧縮を利用し、それによって、フレー ム内運動、および、フレーム間画像特質の精度、および、融通性を改善するもの である。ビデオ情報は、従来のビデオ圧縮法に見られるように、固定した、規則 的なピクセル配列にたいしてではなく、任意の形を持つ対象にたいして圧縮され る。これによって、誤差成分は低下し、それによって、圧縮効率、および、精度 は改善される。もう一つの利点として、本発明の対象依存性ビデオ圧縮法は、圧 縮されたビデオ情報を処理するための、相互的ビデオ編集機能を与える。 一つの好ましい実施態様においては、本発明の方法は、第１ビデオ画像フレー ムにおける任意の形をした画像特質を特定し、その画像特質の内部に、複数の、 異なる特質点を定義することである。第１ビデオ画像フレームにおける画像特質 の特質点は、直後の第２ビデオ画像フレームにおける画像特質の対応する特質点 と相関する。これによって、第２のビデオ画像フレームにおける画像特質の推定 を実行する。第２のビデオ画像フレームにおける推定画像特質と、実際の画像特 質との差を求め、これを圧縮形式に符号化する。 本発明の符号化方法は、従来のブロック依存性ビデオ圧縮法の欠点を克服する ものである。この符号化方法はできれば多次元変換法を用いることが好ましい。 すなわち、それによって連続する画像フレームにおける対応する対象間のマッピ ングを表わすためである。変換の多次元とは、一般的な形の座標の数を指す。多 次元変換は、線形移動、回転、拡大、および、斜行のいずれかを、または、それ らのすべてを含む複雑な運動を表わすことができる。そのため、連続する画像フ レーム間の対象の複雑な運動を、比較的変換誤差を低く抑えて、表現することが できる。 従来のブロック依存性ビデオ圧縮法のもう一つの誤差要因は、一つの変換ブロ ック内部に含まれる複数の対象間の運動である。本発明の、対象依存性ビデオ圧 縮または符号化においては、変換ブロック内部における複数の対象間の相対的運 動は実質的に取り除かれる。そのため、対象間運動によって生ずる変換誤差も実 質的に減少する。本発明の符号化方法による変換誤差きわめて低いために、本方 法では、従来の符号化方法、例えば、MPEG-2で得られるものよりも、最大300％ に達する大きな圧縮率を得ることができる。 本発明の他の態様は、例えば、埋め込まれたまたは分離された構成要素を含む 一般的なバイナリの任意の形状を表わすことができる階層的対象符号化技術また は処理である。この方法は、これらのような形状を、輪郭符号化によって別々に 符号化するのに好適な、固体の簡単な任意の形状に分解する。この分解は、前記 一般的なバイナリの任意の形状の階層的表現を自動的に供給する。 好適実施形態において、境界箱を規定し、一般的バイナリ任意形状を完全に囲 む。前記境界箱は、画素の領域を規定する。代表的に、前記境界箱におけるいく つかの画素は、前記一般的任意形状の輪郭によって境界付けられ、他の画素は境 界付けられない。前記一般的バイナリ任意形状の輪郭によって境界付けられない 画素を識別し、前記一般的任意形状の外郭線を決定する。 前記一般的任意形状の外郭線内のすべての画素に予め決められた画素値を割り 当て、マスクを規定し、前記マスクおよび原一般的バイナリ任意形状間の差を決 定し、前記一般的バイナリ任意形状の外郭線内に埋め込まれたまたは分離された 対象を識別する。識別されたどのこれらのような対象も、前記一般的任意バイナ リ形状と実際的に同じように階層的に処理する。 この方法は、一般的バイナリ任意形状の連続する層を、簡単な任意形状に分解 する。このように形成された各マスクは、連続する外郭線のみを有する簡単な任 意形状である。したがって、各外郭線を、輪郭符号化方法によって好適に符号化 し、一般的バイナリ形状の正確な符号化を行う。 他の実施形態において、非バイナリ対象情報（例えば、対象画像または透明度 データ）を、しきい値フィルタによってバイナリ対象情報に変換し、このフィル タは、前記非バイナリ情報をこの情報の予め決められたしきい値に対する関係に したがって、２つのバイナリ状態の内のいずれかに割り当てる。前記しきい値フ ィルタは、したがって、前記原非バイナリ対象情報に対応するバイナリマスクを 供給する。次に、前記バイナリ対象情報を、本発明の階層的対象符号化処理によ って処理し、前記バイナリマスクの輪郭すなわち外郭線を正確に符号化または圧 縮する。好適には、前記非バイナリ対象画像データをさらに処理し、このデータ を符号化または圧縮できる効率を増大してもよい。 一般的形状の分離されたまたは埋め込まれた構成要素の正確な認識および符号 化は、これらのような一般的形状が一般的なビデオ画像配列において普通に見ら れる多くの対象によく対応するため、改善されたビデオ圧縮をもたらす。前記一 般的形状の分離されたまたは埋め込まれた構成要素は、いくつかの従来の形状符 号化技術によって表わすことができず、他の技術によって非効率的に得られるま たは表わされる。結果として、これらのような一般的形状を形式的に単純化し、 ビデオ圧縮中に重大な符号化誤差を招くおそれがある埋め込まれた構成要素を無 視する。 本発明の、好ましい実施態様の、前記した、ならびに、その他の利点は下記の 詳細な説明によりさらに明瞭になるであろう。説明は、付属の図面を参照しなが ら行なわれる。図面の簡単な説明 第１図は、本発明を体現する方法、ならびに装置を導入するのに用いられるコ ンピュータ装置のブロック・ダイアグラムである。 第2Aおよび2B図は、あるビデオ・ディスプレー装置のディスプレー画面の模式 図であって、あるビデオ信号に対応する、二つの連続する画像フレームを示す。 第3A図は、ビデオ圧縮符号化方法の総合機能ブロック・ダイグラムであり、こ の方法によって、複数画像フレームから成るビデオ配列においてディスプレー運 動を表わすディジタル化ビデオ信号を圧縮する。第3B図は、本発明によるマスタ ー対象符号化方法の機能ブロック・ダイグラムである。 第４図は、あるビデオ配列のある画像フレームにおける選ばれた対象を分節す るための、対象分節工程の機能ブロック・ダイアグラムである。 第5A図は、第2A図のビデオ・ディスプレー装置のディスプレー画面の模式図で あり、第5B図は、第5A図のディスプレー画面の一部の拡大表示である。 第６図は、連続する画像フレームの対応対象における、対応するピクセル・ペ アにたいする運動ベクトルを求める、多角形適合方法を示す機能ブロック・ダイ アグラムである。 第7Aおよび7B図は、二つの対応する対象を含む、二つの連続する画像フレーム を示すディスプレー画面の模式図である。 第８図は、相互的ピクセル・ブロック相関工程の機能ブロック・ダイアグラム である。 第9A図は、異なる画像フレームにおいて、対応するピクセルを特定するために 使用される第１ピクセル・ブロックの模式図である。第9B図は、対応ピクセルが 探索される前の画像フレームにおける探索域に対応するピクセル配列の模式図で ある。第9C-9Gは、対応ピクセルを特定するために、第9Bのピクセル配列におい て走査される第１ピクセル・ブロックの模式図である。 第10A図は、異なる画像フレームにおいて、対応するピクセルを特定するため に使用される第２ピクセル・ブロックの模式図である。第10B-10Fは、対応ピク セルを特定するために、第9Bのピクセル配列において走査される第2ピクセル・ ブロックの模式図である。 第11A図は、異なる画像フレームにおいて、対応するピクセルを特定するため に使用される第３ピクセル・ブロックの模式図である。第11B-11Fは、対応ピク セルを特定するために、第9Bのピクセル配列において走査される第3ピクセル・ ブロックの模式図である。 第12図は、多次元変換法を示す機能ブロック・ダイアグラムであり、この方法 は、連続する第１、第２画像フレームにおける対象間のマッピングを生成し、こ のマッピングを転送または保存のために量子化するものである。 第13図は、第７図の画像フレームを表わすディスプレー画面の模式図であって 、第12図の多次元変換法を例示するためのものである。 第14図は、第12図の方法で求めたアフィン変換係数の量子化に使用される変換 ブロックの３種の選ばれたピクセルを表わす拡大模式図である。 第15図は、第12図の多次元変換法の別の実施態様に用いられる変換ブロック最 適化法の機能ブロック・ダイアグラムである。 第16図は、第７図の画像フレームを表わすディスプレー画面の、断片模式図で あって、第15図の変換ブロック最適化法を例示するためのものである。 第17Aおよび17B図は、圧縮前外挿法の機能ブロック・ダイアグラムであり、こ の方法は、圧縮をやり易くするために、任意の形の画像特質を、特定の形に外挿 するためのものである。 第18A-18D図は、単純な対象を、第14図の外挿法の様々な面を示すように帰着 させたディスプレー画面を表わすものである。 第19Aおよび19B図は、それぞれ、符号化法および復号化法を示す機能ブロック ・ダイアグラムである。これらは、本発明にしたがってラプラスのピラミッド符 号化法を用いている。 第20A-20D図は、第19Aの符号化工程によって処理された任意の一組の、または 、一配列のピクセルのカラー成分値を示す模式図である。 第21図は、本発明による運動ベクトル符号化法の機能ブロック・ダイアグラム である。 第22図は、量子化された対象符号化・復号化別様工程を示す機能ブロック・ダ イアグラムである。 第23A図は、第３図の復号化工程に適合するビデオ圧縮復号化工程の総合機能 ブロック・ダイアグラムである。第23B図は、本発明によるマスター対象復号化 工程を示す機能ダイグラムである。 第24A図は、従来の連鎖コード形式の模式図である。第24B図は、第24Aの連鎖 コード形式処理された場合の輪郭を例示する模式図である。 第25A図は、本発明の連鎖コード化工程の機能ブロック・ダイアグラムである 。 第25B図は、本発明の連鎖コード形式の模式図である。 第25C図は、第25Aの工程で使用される特別ケース・連鎖コード修正を示す模式 図である。 第26図は、スプライト生成、ないし、符号化工程を示す機能ブロック・ダイア グラムである。 第27Aおよび27B図は、ビットマップによって定義される、それぞれ、第１およ び第２の対象であり、第26の工程に従って対象の上に重ねられた三角の格子を示 す。 第28図は、第26図の符号化工程に対応する、スプライト復号化工程の機能ブロ ック・ダイアグラムである。 第29図は、ビデオ配列のフレームにおいて含まれる対象のマスクに対応する典 型的な簡単な任意バイナリ固体形状の図式的表現である。 第30A図は、ビデオ配列のフレームにおける複雑な対象のマスクに対応する典 型的な一般的バイナリ任意形状の図式的表現である。図30B−30Dは、本発明にし たがって処理された、一般的バイナリ任意形状の図式的表現である。 第31図は、図30Aに示す形式の一般的バイナリ任意形状を正確に表わすことが できる階層的分解および符号化処理の機能ブロック図である。 第32図は、対象透明度データのような非バイナリ対象情報を表わす符号化処理 の機能ブロック図である。実施例の説明 第１図を参照すると、本発明の好ましい実施態様における動作環境は、汎用な いし特殊型いずれかのコンピュータ装置20であって、少なくとも１個の高速演算 処理装置(Central processing unit，CPU)22を、メモリー装置24、入力装置26、 および、出力装置28と結合状態において含むものである。これらの要素は、バス 構造30によって相互に結合される。 図示のCPU22は、普及型デザインのもので、計算を実行するためのALU32、デー タの一次的保存のためのレジスター集団34、装置20の動作を制御するための制御 装置36を含む。CPU22は、以下の各種アーキテクチャーのいずれかを持つプロセ ッサーであってもよい。すなわち、ディジタル社のアルファ、MIPSテクノロジー 社、NEC、ジーメンスおよびその他のMIPS、インテル社および、サイリックス、 AMD、および、ネクスジェンを含むその他のx86、および、IBMおよびモトローラ 社のパワーPcである。 メモリー装置24は、メイン・メモリー38、および、二次保存40を含む。図示の メイン・メモリー38は、16メガバイトの半導体RAMメモリーの形態を取る。二次 保存40は、ROM、オプティカル・ディスクまたは磁気ディスク、フラッシュ・メ モリー、または、テープのような長期保存の形態を取る。当業者であれば、メモ リー装置24は、他にも、たくさんの別様の要素を含むことができることを了解す るであろう。 入力装置、および、出力装置26、28も馴染み深いものである。入力装置26は、 キーボード、マウス、物理的トランスデューサー(例えば、マイクロフォン)等を 含んでいてよい。出力装置28は、ディスプレー、プリンター、トランスデューサ ー(例えば、スピーカー)等を含んでいてよい。ネットワーク・インターフェイス またはモデムのようないくつかの装置も、入力、および・または、出力装置とし て使用することができる。 当業者であれば熟知のように、コンピュータ装置20はさらにオペレーティング ・システム、および、少なくとも１個のアプリケーション・プログラムを含む。 オペレーティング・システムとはコンピュータ装置の動作とリソースの割り当て を制御する、一組のソフトウェアである。アプリケーション・プログラムとは、 オペレーティング・システムを通じて利用可能になるコンピュータのリソースを 利用しながら、ユーザーの望むタスクを実行する一組のソフトウェアである。両 方とも図示のメモリー装置24中に滞在する。 コンピュータ・プログラミングの分野に通暁する当業者の慣用に従って、以下 に本発明を、別様に断らないかぎり、コンピュータ装置20によって実行される動 作に関する記号的表記法に基づいて記載する。上記動作は、時に、コンピュータ 実行性と呼ばれることがある。記号的に表記される動作は、CPU22による、デー タ・ビットを表わす電気信号の操作、および、メモリー装置24におけるメモリー 位置におけるデータ・ビットの維持、その他の信号処理を含む。データ・ビット が維持されるメモリー位置は、そのデータ・ビットにたいする特定の電気的、磁 気的、ないし、光学的性質を持つ物理的位置である。 第2Aおよび2B図は、ビデオ・ディスプレー装置52（例えば、テレビ、または、 コンピュータのモニター）のディスプレー画面50の模式図であって、対応するビ デオ信号によって電子的に表わされるビデオ画像配列の内の、２個の連続する画 像フレーム54a、および、54bを示す。ビデオ信号は、アナログ・ビデオ形式、例 えば、NTSC、PAL、および、SECAMを含むビデオ信号形式、および、コンピュータ ・ディスプレーで通常用いられる、ピクセル式、または、ディジタル化ビデオ信 号形式、例えば、VGA、CGA、および、EGAのビデオ信号形式など、各種ビデオ信 号形式の内のいずれで表わされたものであってもよい。できれば、画像フレーム に対応するビデオ信号は、ディジタル化信号形式のものであることが好ましい。 すなわち、当業者であれば熟知のように、もともとそのようなものとして生成さ れたものか、アナログ・ビデオ信号形式から変換されたものかのいずれかである ことが好ましい。 画像フレーム54aおよび54bは、それぞれ、背景60上に位置する、直方形の固相 画像特質56と、ピラミド型の画像特質58とを含む。画像フレーム54aと54bにおけ る画像特質56と58は、別々の部分が隠され、示されるために異なる外見を持つ。 下記の記載のために、ある画像フレームの中のある画像特質の特定の形を対象、 または、マスクと言うことにする。従って、直方体固相特質56は、それぞれの画 像フレーム54aと54bにおいて、直方体固相対象56aおよび56bとして示され、ピラ ミッド型画像特質58は、それぞれの画像フレーム54aと54bにおいて、ピラミッド 型対象58aおよび58bとして示される。 ピラミッド型画像特質58は、画像フレーム54aと54bとにおいて、同じ位置と方 向で示されるので、ビデオ配列の中で示された場合「外見的に」不動に見えるも のである。直方体固体56は、フレーム54aと54bにおいて、ピラミッド58にたいし て、相対的に異なる方向、および、位置に示されるので、ビデオ配列の中で示さ れた場合「外見的に」運動し、回転しているように見えるものである。画像特質58 と60のこれらの見かけの運動は、図示的なもので、誇張されている。ビデオ配列 の画像フレームは通常、30〜60Hzの範囲にある頻度で表示される。ビデオ運動に たいするヒトの感覚は、通常、２個以上のフレームを必要とする。画像フレーム 54aと54bとはしたがって、本発明を例示するために、従来のビデオ配列 の模式図を表わす。さらに、本発明は決して単純なビデオ画像、画像特質、また は、配列のみに限定されないこと、逆に、任意の複雑さを持つビデオ画像やビデ オ配列に適用可能であることが了解されるであろう。ビデオ圧縮符号化工程概論 第3A図は、ビデオ圧縮符号化工程64の全体機能ブロック・ダイアグラムであり 、この工程は、複数の画像フレームを持つビデオ配列において、ディスプレー運 動を表わすディジタル化ビデオ信号を圧縮するためのものである。ビデオ情報（ すなわち、ビデオ配列や信号）の圧縮は、例えば、相互的ないしディジタル・テ レビや、マルティメディア・コンピュータ・アプリケーションを含む各種用途に おけるディジタル・ビデオ情報の経済的な保存や転送を可能にする。簡単のため に、符号化工程64の機能ブロックに割り当てた参照数字は、その機能ブロックに よって生成される結果に関しても互換的に用いることとする。 従来のビデオ圧縮法は、時間的相関、または、フレーム間相関と呼ばれる、連 続する画像フレーム間の類似性を利用し、それによって、画像フレームのピクセ ル依存性表示を、運動表示に変換するフレーム間圧縮を実行する。さらに、従来 のビデオ圧縮法は、空間的相関、または、フレーム内相関と呼ばれる、画像フレ ーム内部の類似性を利用し、それによって、ある画像フレーム内の運動表示がさ らに圧縮されるフレーム内圧縮を実行する。 このような従来のビデオ圧縮法においては、この中には、MPEG-1、MPEG-2、お よび、H.26Xが含まれるが、時間的・空間的相関は、固定した、規則的な（例え ば、正方形）ピクセル配列の単純な線形移動にたいして決定される。しかしなが ら、ビデオ情報は通常、ピクセルの正方形配列を線形移動することによっては正 確に表わすことのできない任意のビデオ運動を含む。そのため、従来のビデオ圧 縮法は通常、無視できない誤差成分を含むこととなり、これが、圧縮比と精度に 制限を与える。 逆に、符号化工程64は、対象依存性ビデオ圧縮を利用し、それによって、フレ ーム間運動、および、フレーム内画像特質を符号化する際の精度と融通性とを改 善する。符号化工程64は、固定した、規則的なピクセル配列ではなく、任意の形 態を持つ対象にたいしてビデオ情報を圧縮する。これによって、誤差成分は減少 するから、圧縮効率と精度は改善される。もうひとつの利点として、対象依存性 ビデオ圧縮は、圧縮ビデオ情報を処理する際に有効な、相互的ビデオ編集機能を 与える。 第3A図を参照すると、機能ブロック66は、あるビデオ配列の画像フレームにお けるユーザー定義による対象が、同じ画像フレーム内の他の対象から分節される ことを示す。対象は、任意の形態を持っていてよいが、できれば、ディスプレー ・画像において、個別の画像特質を表わしていることが好ましい。分節とは、そ の画像フレームにおける、対象に対応するピクセルを特定することを含む。ユー ザー定義による対象は、ビデオ配列の中の画像フレームのそれぞれにおいて定義 される。例えば、第2A、2B図において、直方体対象56aと56b、および、ピラミッ ド型対象58aと58bとは別々に分節される。 分節された対象は、その対象の、２進の、または、複数進の(例えば、８ビッ ト)「アルファー・チャンネル」マスクで表わされる。対象マスクは、ある対象 の、大きさ、形、位置を個別のピクセルとして表わすものである。簡単のために 、以下の説明では、２進マスクを取扱うこととする。２進マスクにおいては、対 象の各ピクセルは、通常の24ビット（３個の色成分値のそれぞれにたいして８ビ ットずつ）ではなく、ただ一つの２進ビットで表わされる。複数ビット（例えば ８ビット）マスクも従来使用されている。 機能ブロック68は、各対象の「特質点」が、ユーザーによって定義されること を示す。特質点はできれば、対象の際立った特質ないし局面であることが好まし い。例えば、隅角70a〜70c、および、隅角72a〜72cを、それぞれ直方体56とピラ ミッド58の特質点としてユーザーが定義することができる。各画像フレームにお ける、各対象マスクと、その特質点に対応するピクセルは、メモリー装置24に含 まれる対象データベースに保存される。 機能ブロック74は、連続する画像フレームにおける特質点の位置の変化を特定 し、連続する画像フレーム間の特質点にたいする軌跡が求めることを示す。軌跡 とは、特質点移動の方向と程度を表わす。機能ブロック76は、直前フレームN-1 と現在フレームNの間における対象の特質点の軌跡も、対象データベースから取 り出されることを示す。 機能ブロック78は、直前フレームN-1と現在フレームNの間において、対象にた いして、粗大運動変換を求めることを示す。粗大運動変換は、フレームN-1とN間 における特質点軌跡に基づいて実行される。粗大運動変換は、直前フレームN-1 と現在フレームNの間における対象の変化の近似を与える。 機能ブロック80は、現在フレームNにおける対象のマスクが、メモリー装置24 の対象データベースから取り出されることを示す。 機能ブロック90は、量子化マスター対象、あるいは、「スプライト」が、対象 、すなわち、画像フレーム配列における画像特質に対応するマスク66と、特質点 軌跡74から形成されることを示す。このマスター対象は、できれば、対象の局面 または特質のすべてを、それらが複数フレームに表わされるがままに含んでいる ことが好ましい。例えば、第2A、2B図に関して言えば、フレーム54bの直方体56 は、フレーム54aに示されていない側面78bを含む。同様に、直方体56は、フレー ム54aにおいて、フレーム54bには示されていない側面78aを含む。直方体56のマ スター対象は、両側面78aと78bとを含む。 粗大運動変換78は、フレームN-1とN間における対象の変化を完全に表わさない ことがしばしばある。例えば、直前フレームN-1における対象、例えば、直方体5 4aは、現在フレームNにおいて対象のすべての特質を含んでいないかもしれない 。例えば、直方体54bの側面78bのように。 したがって、変換の精度を上げるために、直前フレームN-1と現在フレームNに おける対象マスクの交点を、当業者には既知の論理AND機能を用いて求める。現 在フレームNにおける対象のマスクを、得られた交点から差し引き、直前フレー ムN-1の対象に含まれない、現在フレームNの対象の部分、または、特質（例えば 、前述の直方体54bの側面78b）を特定する。対象の新たに特定された部分を、マ スター対象90に取り込み、それによって、マスター対象が、フレームN-1とNにお いて、対象の完全表示を含めることができるようにする。 機能ブロック96は、直前フレームN-1における対象98の量子化形態（例えば、 画像フレーム54aにおける直方体56a）が、細密運動変換によって変換され、それ によって、現在フレームNにおける対象102の予想形（例えば、画像フレーム54b における直方体56b）を与えることを示す。この変換は、対象依存性フレー ム間圧縮を与える。 細密運動変換はできれば、フレームN-1の量子化直前対象98と現在フレームNの 対象との間のアフィン変換を求め、かつ、そのアフィン変換を、量子化直前対象 98に適用することから成ることが好ましい。好ましいアフィン変換は、アフィン 変換係数104によって表わされ、かつ、線形移動、回転、拡大、および、斜行を 記述することができる。アフィン変換は、細密運動評価から求められるが、でき れば、直前量子化対象98と、現在フレームNの対象との間において、ピクセル対 ピクセル・マッピングを含むことが好ましい。 予想現在対象102は、細密運動変換96によって修飾された量子化直前対象98に よって表わされるが、これは、比較的複雑な運動を表わすことができるだけでな く、マスター対象90から得られるどのような新しい画像局面をも表わすことがで きる。このような対象依存性表示は、比較的精度が高い。というのは、対象に結 合する感覚的・空間的連続性が、異なる画像フレームにおける異なる対象間に通 常見られる関係変化から生ずる誤差を除去するからである。さらに、対象依存性 表示の場合、ユーザーは、異なる対象を、異なる解像度レベルで表わすことが可 能であるから、それによって、様々の複雑さを持つ、複数の対象を表わす際に、 相対的な効率と精度を最適化することができる。 機能ブロック106は、画像フレームNに関して、予想現在対象102を、現在フレ ームNのもともとの対象108から差し引き、それによって、予想対象102における 推定誤差110を求めることを示す。推定誤差110は、量子化直前対象98にたいする 、画像フレームNにおける現在対象108の圧縮表示である。もっと具体的に言うと 、現在対象108は、推定誤差110と量子化直前対象98とから復号化、すなわち、再 構成することができる。 機能ブロック112は、推定誤差110が、従来の「ロッシー」（ロス−損失を伴う ）静止画像圧縮法、例えば、格子区分け法や、その他の波形圧縮法、または、符 号化法によって、または、不連続コサイン変換(DCT)符号化法によって圧縮、す なわち、符号化されることを示す。これら圧縮法については、前者は、バイジャ ナタン(Vaidyanathan)著「多速度装置、および、集積フィルター(Multirate Sys tems and Filter Banks)」(PTR Prentice-Hall，Inc.，Englewood Cliffs, ニュージャージー州、アメリカ、1993)に、後者は、ペンベーカーら(Pennebaker et al.)著「JPEG−静止画像圧縮基準」(Van Nostrand Reinhold，ニューヨーク 、1993)に記載の通りである。 当業者には既知のように、「ロッシー」圧縮法は、データ圧縮を増そうとする と、データ歪を生ずる。データ歪とは、圧縮前の元データと、圧縮し、脱圧縮し た後に得られるデータとの間の変異を指す。下記の例示のために、機能ブロック 102の圧縮、すなわち、符号化は、波形符号化法であると想定する。 機能ブロック114は、機能ブロック112によって得られる波形符号化推定誤差が 、従来の「ロスレス」（ロス−損失を伴わない）静止画像圧縮法によってさらに 圧縮されること、すなわち、「符号化」され、それによって圧縮データ116を形 成することを示す。好ましい通例の「ロスレス」静止画像圧縮法としては、ペン ベーカーら(Pennebaker et al.)著「JPEG−静止画像圧縮基準」に記載のエント ロピー符号化法がよい。当業者には既知のように、「ロスレス」圧縮法はデータ 歪を誘発しない。 誤差フィードバック・ループ118は、フレームNの対象について機能ブロック11 2で得られた波形符号化推定誤差を利用して、直後フレームN+1にたいする直前量 子化対象を得る。フィードバック・ループの第１手順として、機能ブロック120 は、機能ブロック112で得られた波形符号化推定誤差が逆波形符号化される、す なわち、波形復号化され、それによって画像フレームNの対象にたいする量子化 誤差122を形成することを示す。 「ロッシー」静止画像圧縮法によって、推定誤差110を連続的に符号化し、復 号化することの効果は、量子化誤差122から、一般に視認者には感覚されないビ デオ情報を取り除くことにある。このため、そのような高い周波数成分を取り除 くことによって、画像品質をほとんど損なわずに、最大約200％の画像圧縮率を 得ることができる。 機能ブロック124は、共に画像フレームNにたいする、量子化誤差122と予想対 象102が加算され、それによって、画像フレームＮにたいする量子化対象126を形 成することを示す。タイミング調整遅延128の後、量子化対象126は、量子化直前 対象98となり、画像フレームN+1の対応する対象を処理する基礎として用 いられる。 符号化工程64は、連続する画像フレームにおける対応する対象の時間的相関を 用いて、改善されたフレーム間圧縮を獲得し、さらに、対象内の空間的相関を用 いて、高精度の、効率的なフレーム内圧縮を獲得する。フレーム間圧縮に関して 言えば、運動推定と補償を実行し、それによって、あるフレームにおいて定義さ れた対象を、直後のフレームにおいて推定する。直後フレームにおける対象の運 動依存性推定は、従来のブロック依存性対象表示よりもはるかに少ない情報しか 必要としない。フレーム内圧縮に関して言えば、各対象にたいする推定誤差信号 が圧縮され、それによって、あるフレーム内の、その対象の空間的相関を利用す ることができ、また、異なる対象を、異なる解像度で表わすことができる。フィ ードバック・ループ118によって、連続するフレームにおける対象を、完全に脱 圧縮された対象から予測することができるから、そのため推定誤差の蓄積を防止 することができる。 符号化工程64は、出力として、複数画像フレームのビデオ配列におけるディス プレー運動を表わす量子化ビデオ信号の圧縮表示、すなわち、符号化表示を与え る。この圧縮、または、符号化表示は、対象マスク66、特質点68、アフィン変換 係数104、および、圧縮誤差データ116を含む。この符号化表示は、ビデオ情報の 使用される特定の用途に従って、保存されてもよいし、転送されてもよい。 第3B図は、マスター対象90を符号化、すなわち、圧縮するためのマスター対象 符号化工程130の機能ブロック・ダイアグラムである。機能ブロック132は、マス ター対象90が、従来の「ロッシー」静止画像圧縮法、例えば、格子区分け法ない し他の波形圧縮法、または、不連続コサイン変換（DCT）符号化法によって圧縮 、または、符号化されることを示す。できれば、機能ブロック132は、波形符号 化法を採用することが好ましい。 機能ブロック134は、機能ブロック132によって得られた波形符号化マスター対 象がさらに従来の「ロスレス」静止画像圧縮法によって圧縮、すなわち、符号化 され、圧縮マスター対象データ136を形成することを示す。好ましい通例のロス レス静止画像圧縮法はエントロピー符号化法である。 符号化工程130は、出力として、圧縮マスター対象136を与える。符号化工程 64によって与えられる圧縮、または、符号化表示と共に、圧縮マスター対象136 は、保存ないし転送後脱圧縮、または、復号化し、複数画像フレームのビデオ配 列を生成させてもよい。 符号化工程64は、ある画像フレーム内部における単一対象に対応するビデオ情 報を符号化することに関連して記載される。第2A、2Bに示したように、また、上 述のように、符号化工程64は、ある画像フレームにおける個々の対象ごとに（例 えば、第2A、2Bの対象56と58）別々に実行される。さらに、多くのビデオ画像は 、その上に任意の数の画像特質、または、対象が帰着される背景を含む。できれ ば、背景は、すべてのユーザー指定による対象が処理されて後、本発明による対 象として処理されることが好ましい。 画像フレーム内の対象の処理のためには、それら対象が個別に特定されること が必要である。できれば、符号化工程64は、ある画像フレームについて、最前面 の対象物(単数または複数)から始まって、順々に進行していき最後尾の対象（例 えば、背景）に至る対象に適用されることが好ましい。符号化対象のビデオ画像 への構成は、できれば、最後尾の対象(例えば、背景)から始まって、順々に最前 面の対象（例えば、第2A、2B図の直方体56）に向かって進行することが好ましい 。符号化対象の重層は、ある画像フレームの対象と関連する個別の重層データと して通信してもよいし、別法として、重層、または、構成配列に対応する、ある 配列の中の符号化対象を転送、または、獲得することによって通信してもよい。対象分節と追跡 一つの好ましい実施態様においては、機能ブロック66において参照される画像 フレーム内部の対象を分節することによって、ユーザーは相互的分節を得ること ができる。本発明の対象分節は、対象を分節するに当たって高精度を可能にし、 比較的速く、かつ、分節される対象を定義するにあたって、ユーザーに最適の弾 力性を与える。 第４図は、対象分節工程140の機能ブロック・ダイアグラムであり、この工程 によって、あるビデオ配列のある画像フレームの選ばれた対象を分節する。工程 140による対象分節は、高精度で速く、ユーザーにとって定義の簡単な、対象の 感覚的グループ化を実現させる。 第5A図は、画像フレーム54aと直方体対象56aを示すビデオ・ディスプレー装置 52のディスプレー画面50の模式図である。ディスプレー画面50への帰着時、直方 体対象56aは対象辺縁142(図では、はっきりと分かるように対象56aから離して描 かれる)を含む。このものは、対象内部144の境界となる。対象内部144とは、デ ィスプレー画面50における対象56aの輪郭を指し、一般に、内部表面、または、 図示のように、画像特質の外表面に一致する。下記の説明は、特に、直方体対象 56aに関してなされるものであるが、ある画像フレームにおいて分節される各対 象に同様に適用可能である。 機能ブロック146は、ユーザーが、対象内部144内に、対象辺縁142の内部輪郭1 48を形成することを示す。ユーザーはできれば内部輪郭148を、マウスや、追跡 ボールのような通例のポインター、または、カーソル制御装置で形成することが 好ましい。内部輪郭148は、対象辺縁142から指定の距離150以内に形成される。 指定距離150は、ユーザーによって選ばれるが、その大きさは十分大きく、ユー ザーは、内部輪郭148を、辺縁142の指定距離150以内に、比較的速やかに形成す ることができる。指定距離150は、例えば、約４から10ピクセル間に相当する。 機能ブロック146は、ビデオ配列の中のキー・フレームに関連して実行される 。例えば、従来の活動映画の場面に関して言えば、キー・フレームとは、ある場 面の複数のフレームの内の第１フレームである可能性が多い。この機能にユーザ ーを参加させることによって、対象分節工程140は半ば自動化されるが、それで いて、対象の分節される精度と弾力性は目立って増す。キー・フレームを除いて は、その後の画像フレームにおける対象は、以下にさらに詳細に述べるように自 動的に分節化される。 機能ブロック152は、内部輪郭148が自動的に拡大され、外部輪郭156を形成す ることを示す。外部輪郭156の形成は、外部輪郭156が、内部輪郭148からユーザ ー定義数のピクセルだけ増えるように、輪郭148の比較的簡単な画像拡大として 実行される。できれば、内部輪郭148と、外部輪郭156間の距離はおよそ距離150 の２倍となることが好ましい。 機能ブロック158は、内部輪郭148と外部輪郭156の間のピクセルが、それらが 対象内部144の中にあるかどうかに関する、あらかじめ定義された属性に従って 分類され、それによって、第3A図に関連して記載された型の、対象辺縁142と、 対応マスク80を自動的に特定することを示す。できれば、画像属性は、ピクセル ・カラーと位置を含むことが好ましく、かつ、いずれの属性も、それだけで、ま たは、他の属性と併せて使用できるものであることが好ましい。 この好ましい実施態様では、内部輪郭148と外部輪郭156におけるピクセルの各 々が、(r、g、b、x、y)の形の5次元ベクトルで表わされる「クラスター中心」を 定義する。用語r、g、およびbは、ピクセルの各々に関連する赤、緑、および、 青のカラー成分に対応し、用語x、および、yは、ピクセルの位置に対応する。内 部輪郭148の中のピクセルに対応するｍ個のクラスター中心ベクトルは、｛I₀，I₁ ，...，I_m-1｝で表わされ、外部輪郭156の中のｎ個のクラスター中心ベクトル は、｛0₀，0₁，...，O_n-1｝で表わされる。 クラスター中心ベクトルI_iとO_jの間のピクセルは、５次元ベクトル空間におい て、各ピクセルのもっとも近いベクトルを特定することによって分類される。各 ピクセルについて、それぞれのクラスター中心ベクトルIiおよびOjの各々にたい する絶対距離d_iおよびd_jは、下記の式によって計算される。ここに、Wcolor、および、Wcoordは、カラー、および、ピクセル位置情報それぞ れにたいする重みづけ係数である。重みづけ係数Wcolor、および、Wcoordは、合 計が１、そうでなければユーザーの選んだ数となる値を持つ。できれば、重みづ け係数Wcolor、および、Wcoordは0.5という等値を持つことが好ましい。各ピク セルは、クラスター中心ベクトルI_iおよびO_jの一つにたいし５次元最小距離によ る対象内部144または外部に関連する。 機能ブロック162は、ユーザーが、先頭フレームまたはキー・フレームの各対 象において、少なくとも２個の、できればそれよりたくさんの（例えば４から６ 個の）特質点を選択することを示す。できれば、特質点は、対象の比較的際立っ た局面であることが好ましい。例えば、直方体画像特質56に関連して言えば、隅 角70a〜70cを特質点として選ぶことも可能である。 機能ブロック164は、各選ばれた特質点（例えば、隅角70a〜70c）を取り囲む 複数のピクセルから成るブロック166が定義され、後続画像フレーム（例えば、 直後画像フレーム）の対応するブロックに適合されることを示す。ピクセル・ブ ロック166は、ユーザー定義によるものではあるが、できれば、画像内部144内の ピクセルだけを含む32x32ピクセル配列を含むものであることが好ましい。機能 ブロック158で決められることであるが、（例えば、隅角70bと70c）ピクセル・ ブロック166の内、対象内部144の外にはみ出すピクセル168（斜線で示す）は除 外される。ピクセル・ブロック166は、従来のブロック適合工程、または、下記 にさらに詳細に述べる多角形適合工程によって特定される最小絶対誤差によって 、直後画像フレームの対応するピクセル・ブロックに適合される。 機能ブロック170は、ある対象の粗大運動変換が、２個の連続する画像フレー ムにおける対応する特質点から求められることを示す。機能ブロック172は、現 在画像フレームのマスク80が粗大運動変換によって変換され、それによって、直 後画像フレームのマスク80にたいする推定の得られることを示す。後続画像フレ ームの中に特定されない、現在フレーム中の特質点はいかなるものも無視される 。 機能ブロック174は、直後画像フレームにおけるマスク80に関して得られた推 定がフレーム１個分遅らせられ、かつ、その直後サイクルにたいして輪郭176と して機能することを示す。同様に、機能ブロック178は、対応する特質点もフレ ーム１個分遅らせられ、同じ直後のフレームにたいして初期特質点180として利 用されることを示す。多角形適合法 多角形適合法200の機能ブロック・ダイグラムであり、この方法は、連続する 画像フレームにおける、各対応ピクセル・ペアについて運動ベクトルを求めるも のである。このような細密運動ベクトル計算は、第3A図の細密運動変換96を求め る基礎となる。 多角形適合工程200は、従来のブロック適合工程同様、連続する画像フレーム 間の広範な運動を求めることができる。しかも、従来のブロック適合工程と違っ て、多角形適合工程200は、対象辺縁近傍、または、直上に位置するピクセルに たいする高精度を維持するから、その生成する誤差は目立って少ない。多角形法 200の好ましい実施態様においては、計算効率が向上する。 多角形ブロック法200を、第7A、および、7B図を参照しながら説明する。この 図は、２個の連続する画像フレーム202a、202bを示すディスプレー画面50の模式 図であり、それら画像フレームにおいて、画像特質204が、それぞれ、対象204a 、および、204bとして帰着される。 機能ブロック206は、画像フレーム202aと202bにおける対象204aと204bとが特 定され、例えば、対象分節法140によって分節されることを示す。 機能ブロック208は、対象204bにたいして適用されるピクセル・ブロック210b （例えば、15x15ピクセル）と、対象204aの周囲の探索領域212にたいする次元数 が求められることを示す。ピクセル・ブロック210bは、それにたいして、対象20 4aにおける対応ピクセル・ブロック210aが特定される、そのような、対象204bの 周囲の領域を定義する。探索領域212は、対応ピクセル・ブロク210aが求められ る領域を定める。できれば、ピクセル・ブロック210bと探索領域212とは、直角 の規則的なピクセル配列であって、ユーザーによって定義される大きさを持つも のであることが好ましい。 機能ブロック214は、対象204b内の初期ピクセル216が特定され、現在ピクセル と指定されたことを示す。初期ピクセル216は、各種の基準の内のいずれで定義 されてもよい。そのような基準としては、例えば、垂直最大延長位置のピクセル 、および、水平最小延長を持つピクセルなどがある。図示の座標軸220に従って 配置された、ディスプレー画面50上のピクセルに関して言えば、初期ピクセル21 6は、最大ｙ座標値と、最小ｘ座標値を持つ、対象214bのピクセルとして表わし てもよい。 機能ブロック222は、ピクセル・ブロック210bが、現在ピクセルを中心とし、 その周辺に広がっていることを示す。 機能ブロック224は、ピクセル・ブロック210bが、対象204bに含まれないピク セル（例えば、第7B図の斜線で示したピクセル226）を含むかどうか関する尋問 を表わす。この尋問は、機能ブロック206によって特定された対象を参照して実 行される。現在ピクセルに位置づけられるピクセル・ブロック210b内のピクセル が対象204b外にはみ出した場合は必ず、機能ブロック224は、機能ブロック228に 進み、その他の場合は機能ブロック232に進む。 機能ブロック228は、ピクセル・ブロック210bの内、対象204bの外にはみだす ピクセル（例えば、ピクセル226）は、ピクセル・ブロック210bによって定義さ れる領域から除外し、それによって、ピクセル・ブロック210bが、対象204b内部 のピクセルだけを含むようにする。その結果、ピクセル・ブロック210bは、もと もと定義された正方形、ないし、長方形領域よりもさらに複雑な多角形となる。 機能ブロック232は、対象204aの中のあるピクセルが、対象204bにおける現在 ピクセルと対応すると特定されたことを示す。対象204aにおけるそのピクセルを 、直前対応ピクセルと言う。できれば、直前対応ピクセルは、探索領域212の各 ピクセルの周囲にピクセル・ブロック210aを形成し、かつ、ピクセル・ブロック 210aと、対象204bにおける現在ピクセルの周囲のピクセル・ブロック210bの間の 相関を求めることによって特定することが好ましい。ピクセル・ブロック210aと 210bの間の各相関は、例えば、絶対誤差によって求めてもよい。直前対応ピクセ ルは、探索領域212の中に、ピクセル・ブロック210bにたいする絶対誤差が最小 となるピクセル・ブロック210aを特定することによって特定される。ピクセル・ ブロック210bにたいするピクセル・ブロック210aの合計絶対誤差は、次のように して求めることができる。 ここに、項r_ij，ｇ_ij，b_ijは、ピクセル・ブロック210b中のピクセル各々と結合 する、それぞれ、赤、緑、および、青のカラー成分に対応し、項r_ij'，gi_ij'，b_ij ’は、ピクセル・ブロック210aのピクセル各々と結合する、それぞれ、赤、緑 、および、青のカラー成分に対応する。 上に規定したように、絶対誤差Eの総計は、mxnのピクセル次元を持つピクセル 配列を持つピクセル・ブロックを含む。多角形を持つピクセル・ブロック210bは 、多角形ピクセル・ブロック210bの外にはみ出すすべてのピクセルのカラー 成分にたいしてゼロ値を定義することによって、比較的簡単に取り込むことがで きる。 機能ブロック234は、対象204b内の各ピクセルと、対象204a内の対応直前ピク セル間の運動ベクトルMVが求められることを示す。運動ベクトルは、対象204bの ピクセルの位置と、対象204aの対応直前ピクセルの位置の間の差と定義される。 MV=（x_i-x_k'，y_j-yi'） ここに項x_iとy_iは、それぞれ、ピクセル・ブロック210bにおけるピクセルの、ｘ -座標位置、および、ｙ-座標位置に一致し、項x_k’とｘ_l’は、それぞれ、ピク セル・ブロック210aの対応直前ピクセルのx-座標位置、y-座標位置に一致する。 機能ブロック236は、対象204bが、何らかの残存ピクセルを含むかどうかに関 する尋問を表わす。対象204bが残存ピクセルを含む場合は必ず、機能ブロック23 6は、機能ブロック238に進み、そうでなければ終末ブロック240に進む。 機能ブロック238は、対象204bの次のピクセルが、あらかじめ指定された方式 、または、配列によって特定されることを示す。初期ピクセルは、機能ブロック 214に関連して前述のように選ばれたが、後続ピクセルは、ある列において（す なわち、共通のy-座標軸の）、まずすぐ次のピクセルを特定することによって定 義し、かつ、もしも対象204が列の中に他にピクセルを含んでいなければ、１段 下の列の、第１、すなわち、最左ピクセル（すなわち、最小x-座標値を持つ）に 進んでもよい。このようにして特定されたピクセルは、現在ピクセルに指定され 、機能ブロック238は、機能ブロック222に戻る。 多角形ブロック法200は、対応ピクセルが、仮に、対象の辺縁上に、または、 辺縁近傍に位置していても、対応ピクセルを正確に特定する。従来のブロック適 合工程に見られた重大な誤差原因は、ピクセル・ブロック210bの内、対象204bの 外にはみ出したピクセルを除外ないし無視することによって除去される。従来の ブロック適合工程は、均一なブロック形には厳密に適用されるが、分節対象にた いしては厳密には適用されない。均一ブロック形態は、対象の辺縁近傍のピクセ ルにたいしては重大な誤差を引き起こす。なぜなら、対象の外にはみ出すピクセ ルは、対象が動くにつれ、または、その背景が変化するにつれ、重大な変化を受 けるからである。従来のブロック適合工程においてはそのようにはみ出しピクセ ルの変動が含まれるのであるから、対象辺縁近傍のピクセルは、厳密には、直前 画像フレームの対応ピクセルと相関されない。 対象204bの各ピクセルに関しては、対象204aの対応直前ピクセルが特定される 。これは、直前対象204aのピクセルの各々について、ピクセル・ブロック210bと 、ピクセル・ブロック210aとを比較することによって実行される。直前対応ピク セルとは、対象204aにおいて、ピクセル・ブロック210bともっとも高い相関を持 つピクセル・ブロック210Aを持つピクセルである。従来のやり方で処理するなら ば、この解決には、各直前対応ピクセルを特定するために実質的な計算が要求さ れる。具体例を挙げるならば、mxnピクセルの次元を持つ探索領域212よりもはる かに小さいnxnピクセルの次元を持つピクセル・ブロックについて、直前対象204 aにおける各直前対応ピクセルを特定するために、約n²ｘm²個の計算が必要であ る。ピクセル・ブロック相関工程 第８図は、修正ピクセル・ブロック相関工程260の機能ブロック・ダイグラム であり、できれば、これを、機能ブロック232に関連して記載したものの代わり として用いることが好ましい。修正相関工程260は、ピクセル・ブロック210bと2 10aを相関する際に内在的に認められる冗長度を利用し、それによって、必要計 算数を際立って減少させる。 相関工程を、第9A〜9G、および、10A〜0Gを参照しながら説明する。これらの 図は、連続する画像フレーム202aと202bに対応する任意のピクセル群を模式的に 表わす。特に、第9A図は、5x5ピクセルの次元を持つピクセル・ブロックの模式 図であり、この図において、各文字は、個別のピクセルに相当する。ピクセル・ ブロック262のピクセルは、個別の行264を含む、ピクセルの直角規則配列として 配置される。第9B図は、qxqの次元を持ち、直前画像フレーム202aの探索領域212 に対応するピクセル配列266を表わす。第9B図の各々の数字は個別のピクセルを 表わす。従来の直角規則ピクセル・ブロック262と関連して記載されているけれ ども、相関工程260は、多角形適合工程200に関連して記載された型の多角形ピク セル・ブロックにも同様に適用できる。 機能ブロック268は、初期ピクセル・ブロック（例えば、ピクセル・ブロック2 62）が、中央ピクセルMに関して定義され、探索領域212（例えば、ピクセル配列 266）を横切って走査されることを示す。この走査は、一般に、従来のブロック 適合工程に見られるように、ラスター・パターン（一部第7A図に示す）の形で実 行される。第9C〜9Gは、ピクセル・ブロック262とピクセル配列266の間のブロッ ク適合工程におけるおよそq²個の手順の内の5個を模式的に図示する。 ピクセル・ブロック262の、ピクセル配列266にたいする横断走査は、従来のや り方で行なわれるけれども、両者の間の相関に関する計算は、本発明にしたがっ て、別様のやり方で実行される。特に、相関（例えば、絶対誤差）は、各走査位 置において、ピクセル・ブロック262の各行264にたいして求められ、保存される 。各走査位置において、ピクセル・ブロック262の各行264について求められ、保 存された相関は、行相関270と呼ばれる。その内のいくつかを、相関されたピク セルに関連させることによって、第9C〜9G図に記号で示す。具体的に示すと、第 9C図は、行相関270(1)を示すが、これは、ピクセル配列266に揃えられた、ピク セル・ブロック262の単一行264にたいして求められたものである。同様に、第9D 図は、行相関270(2)と270(3)とを示し、これらは、ピクセル配列266に揃えられ たピクセル・ブロックの２個の行264にたいして求められたものである。第9E〜9 G図は、ピクセル配列266にたいする、上記に続く３個の連続走査位置における、 ピクセル・ブロック262との、同様の行相関を示す。 ピクセル配列266上を、初期ピクセル・ブロック262を走査することによって、 行相関の保存配列、または、データベースが得られる。ピクセル・ブロック262 が、r数の行264を持ち、かつ、ピクセル配列266がqxq個のピクセルを持つ場合、 行相関データベースは、約rq²個の行相関を含む。この行相関の数はほんの近似 値である。なぜならピクセル・ブロック262は、できれば最初にピクセル配列266 の上を、ピクセルMがピクセル配列266のピクセルの内の第１列に揃うように、走 査されることが好ましいからである。 第9C図に示されるものから始まる残余の手順は、ピクセル配列266の上をピク セル・ブロック262が完全に２回横断走査した後起こる（すなわち、ピクセル配 列266の第１列、第２列にピクセルMが揃った後）。 機能ブロック274は、次のピクセル・ブロック（第10A図）が、例えば、画像フ レーム202bにおいて、ピクセルMと同じ列の中心ピクセルNに関して定義されるこ とを示す。ピクセル・ブロック276は、ピクセル・ブロック262に含まれないピク セル行278と、ピクセル・ブロック262に含まれるピクセル行280とを含む。ピク セル・ブロック276は、ピクセル・ブロック262に含まれる行282（第9A図）を含 まない。次のピクセル・ブロック276におけるこのような増加定義は、実質的に 、従来のブロック適合工程に用いられるものと同じである。 機能ブロック284は、ピクセル・ブロック276が、機能ブロック268に関連して 前述したようなやり方でピクセル配列266の上を横切って走査されることを示す 。第9C〜9G図と同様に、第10B〜10G図も、ピクセル・ブロック276が、ピクセル 配列266の上を走査される様を示す。 機能ブロック286は、行278について、各走査位置において、行相関が求められ 、保存されることを示す。従って、行相関288(1)〜288(5)は、それぞれ、第10B 〜10Fに示す行278の走査位置に関連して求められる。 機能ブロック290は、ピクセル・ブロック276の行280の各々について、保存行 計算値が、以前に計算された各走査位置に関して取り出され、機能ブロック268 に保存されることを示す。例えば、第9C図の行相関270(1)は、第10C図の270'（1 ）と同じである。同様に、第10D〜10F図の行相関270'(2),270'(3),270'(5)〜270 '(8)および270'(15)〜270'(18)は、第9D、9E、および、9Gの対応する行相関と同 じである。従って、ピクセル・ブロック276について、ただ行相関288のみが各走 査位置について計算される。この結果、ピクセル・ブロック276に必要な計算の 数は、ほぼ80％減少される。 機能ブロック292は、後続ピクセル・ブロック294(第11A図)が、ピクセルMに関 して次に続く列の中心ピクセルRに関して定義されることを示す。ピクセル・ブ ロック294は、第9A図のピクセル・ブロック262の行264と相似ではあるが、はっ きりと異なるピクセルから成る行296を含む。特に、行296は、行264には含まれ ないピクセルA'〜E'を含む。後続ピクセル・ブロック294のこのような増加定義 は、実質的に従来のブロック適合工程に用いられるものと同じである。 機能ブロック298は、ピクセル・ブロック294が、機能ブロック268、および、 276に関連して前述したやり方で、ピクセル配列266(第9B図)の上を横切って走査 される。第11B〜11F図は、ピクセル・ブロック294を、ピクセル配列266上を走査 する様を表わす。 機能ブロック300は、行296の各々について、行相関が求められ、保存されるこ とを示す。したがって、行相関302(1)〜302(18)は、第11B〜11Fに示した行296の 走査位置に関連して求められる。 行相関302(1)〜302(18)の各々は、ピクセル・ブロック262(第9A図)に関して実 行された行相関に関連して、短縮法に基づいて計算してもよい。 例えば、第11D図の行相関302(1)〜302(18)は、第9E図の副行相関304(4)〜304( 8)と同じ副行相関304'(4)〜304'(8)を含む。したがって、行相関302(4)〜302(8) は、それぞれの行相関270(4)〜270(8)から、ピクセル01A、02B、03C、04D、およ び、05Eにたいする後者の相関値を差し引き、それによって、それぞれ、副行相 関304(4)〜304(8)を形成してもよい。行相関302(4)〜302(8)はピクセル・ペア56 A'、57B'、58C'、59D'、および、50E'にたいする相関値を、それぞれの副行相関 値304(4)〜304(8)に加えて得てもよい。 それぞれの形相間270(4)〜270(8)から、行相関302(4)〜302(8)を求めるには、 ピクセル・ブロック294には含まれない、ピクセル・ブロック262のピクセルA〜E 列に対応する、個々のピクセル相関値を差し引き、かつ、ピクセル・ブロック29 4には含まれるが、ピクセル・プロック262には含まれないピクセルA'〜E'列にた いするピクセル相関値を足し加える必要がある。この方法は、行相関302(4)〜30 2(8)の各々にたいし、従来のやり方であれば、各行相関を求めるのに５回の加算 が必要とされるのにたいし、１回の引き算、１回の足し算で代用する。さらに大 きな次元のピクセル・ブロックが好まれれば好まれる程、従来の計算法に優るこ の方法の利点がますます際立つ。従来のピクセル適合工程は、ピクセル配列266 にたいする初期ピクセル・ブロック262の各走査位置について、総合ブロック相 関のみを特定するだけである。そのため、全ピクセルにたいする全相関値を、各 走査位置について個別に計算しなければならない。逆に、相関工程260は、保存 行相関270を利用し、それによって、必要な計算数を目立って減少させる。相関 工程260によってもたらされる速度と、プロセッサーのリソース要求度にお ける改善は、行相関を保存するために必要とされる装置条件を補って余りある。 相関工程260は、第9〜11図を参照しながら記載してきたが、これは、本発明の 特徴を例示するためのものであることが了解されるであろう。例示し示したよう に、本発明は、コンピュータ装置で実行するのに特に相応しい繰り返し、または 、周期的性質を含む。この繰り返し、または、周期的性質は、ピクセル・ブロッ クとピクセル配列に依存するものであるが、当業者であれば、十分に理解し、導 入可能なものである。多次元変換 第12図は、第１と第２の連続する画像フレーム間において多次元変換を生成し 、かつ、転送ないし保存のためにマッピングを量子化することから成る、変換法 350の機能ブロック・ダイアグラムである。この多次元変換は、できれば第３図 の機能ブロック96と関連させて使用するのが好ましい。変換法350は、第7A図と 第13図に基づいて説明される。これらの図の内の後者は、第7B図と同様、ディス プレー画面50の模式図であって、画像特質204が対象204bとして帰着される画像 フレーム202bを示す。 変換法350は、できれば、線形移動、回転、拡大、および、斜行の内のいずれ か、または、その全てを含む複雑な運動を表わすことのできる多次元アフィン変 換を実行するものであることが好ましい。変換法350は、１次元のみで、かつ、 線形移動にしか関わらない従来のビデオ圧縮法、例えば、MPEG-1、MPEG-2、およ び、H.26Xよりもはるかに優る。この点において、変換の次元性とは、後で詳し く述べるように、変換の一般形における座標の数を指す。複雑な運動を、本発明 に従って表現することによって精度は増すけれども、それによる誤差は、従来の 表現法によるものよりも少ない。従って、圧縮効率が増す。 機能ブロック352は、対象204aおよび204bのピクセルの細密運動推定を求める ことを示す。できれば、細密運動推定は、多角形適合工程200で入手することが 好ましい。前述したように、細密運動推定は、座標(x_i，y_j）における、画像フ レーム202bの対象204bのピクセルと、座標(x_i’，y_j’)における、画像フレーム 202aの対象204aのピクセルとの間の運動ベクトルを含む。 機能ブロック354は、変換ブロック356の配列が、対象204bを見込むように定 義されることを示す。できれば、変換ブロック356は、例えば、32x32ピクセルの 次元を持つ、ピクセルの直角規則配列であることが好ましい。 機能ブロック358は、各変換ブロック356にたいして一つの多次元アフィン変換 が生成されることを示す。できれば、アフィン変換は、１次であって、次のよう に表わされるものであることが好ましい。すなわち、 x_i’=ax_i＋by_i+c y_i’=dx_i＋ey_i+f かつ、運動ベクトルがそれにたいして比較的高い信頼度を持つすべてのピクセル について求めることが好ましい。このアフィン変換は、x_iとy_iとが、二つの座標 x_iとｙ_iに関して定義されるという点で２次元を持つ。 運動ベクトルの相対的信頼度とは、対応するピクセル間の運動ベクトルが、他 のピクセルにたいして、一意的に決定される、その精度を指す。例えば、比較的 大きなピクセル配列の中にあり、かつ、均一な色を持つ(例えば、黒)、特定のピ クセル間の運動ベクトルは、通常、高精度に求めることはできない。特に、第１ 画像フレームにおける黒ピクセルについて言えば、後続画像フレームのピクセル 配列の中のたくさんのピクセルが同一相関を持つ(すなわち、ピクセル・ブロッ ク間の絶対値誤差)。 逆に、構成ピクセルが、個別的な特徴に対応するピクセル配列は、後続の画像 フレームにおいて、特定の対応ピクセルにたいして比較的高い相関を持つ。 比較的高い相関は、特定のピクセルにたいして、極小絶対誤差計算として表わ されることが好ましい。従って、比較的信頼度の高い運動ベクトルは、このよう に一意的に低い誤差値にたいして求めることができる。例えば、信頼度の高い運 動ベクトルとは次のようなものとして定義される。すなわち、その運動ベクトル にたいする最小絶対値誤差が、そのピクセルに関連する次に大きい誤差値よりも 、閾値差分を上回る差分少ないもの、である。別法として、信頼度の高い運動ベ クトルは、相関係数を求める基礎となる絶対誤差値の２次微分に関して定義する こともできる。ある特定の値を上回る２次微分は、特定の対応ピクセル間に比較 的高い相関のあることを示す。 このような高信頼度運動ベクトルを含むｎ個のピクセルが与えられた時、好ま しいアフィン変換方程式は、画像フレーム202aと202bにおけるｎ個の対応ピクセ ルに関して求められる。画像フレームは、好ましいアフィン変換方程式の、６個 の未知係数a、b、c、d、e、および、fを求めるには、画像フレーム202aと202bに 、高信頼度運動ベクトルを含む少なくとも３個の対応ピクセルを含んでいなけれ ばならない。好ましい次元に関して言えば、変換ブロック356の各々が2¹⁰個のピ クセルを含み、その内の相当数が通常比較的高い信頼度の運動ベクトルを持って いなければならない。 これによって得られるｎ個の方程式は、以下の直線代数式で表わされる。 できれば、これらの方程式は、従来の、特異数値分解法(Singular value deco mposition，SVD)によって解くのが好ましい。この方法により、細密運動ベクト ルの近似値にたいする最小二乗誤差が得られる。従来のSVD法は、例えば、プレ スら(Press et al.)著「Cにおける数字処理(Numerical Recipes in C)」Cambrid ge University Press（1992）に記載されている。 上述のように、この好ましい二次元アフィン変換方程式は、連続する画像フレ ーム202aと202b間において、変換ブロック356の線形移動、回転、拡大、および 、斜行を表わすことができる。逆に、従来の圧縮標準として用いられる通例の運 動変換法は、下記の形の、簡単な変換方程式を用いる。 X_i’=X_i+g y_i’=y_i+h 従来の単純化された変換方程式は、運動を、たった二つの係数gとhで表わす。 これは、好ましい多次元変換方程式によって得られる情報量（すなわち係数）の 僅か３分の１にすぎない。従来の圧縮法と比べて、変換法350によって得られる 情報の優れた圧縮効果を現実のものとするには、変換ブロック356の次元を、で きれば、MPEG-1やMPEG-2圧縮法によって採用されている16x16の３倍を越えるも のとすることが好ましい。変換ブロック356の好ましい32x32ピクセル次元は、従 来の変換法の変換ブロックで採用されるピクセル数の４倍に渡る。変換ブロック 356の従来に優る大きな次元数は、アフィン変換係数が変換ブロック356の運動を 表わす際の高精度とあいまって、変換法350が、従来の圧縮法に優る大きな圧縮 を実行するのを可能にする。 本発明によって生成されるアフィン係数は、通常、非整数の、浮動少数点値で あって、十分に圧縮しようとすると必ずその精度に悪影響を与えるものであるこ とが了解されるであろう。従って、アフィン変換係数を保存ないし転送する際に 要求される帯域を減らすためには、それら係数を量子化することが好ましい。 機能ブロック362は、機能ブロック358に関連して生成されたアフィン変換係数 が量子化され、それによって、それら係数を保存ないし転送する際に必要とされ る帯域を減少させることを示す。第14図は、変換ブロック356の断片拡大表示で あって、３個の選ばれたピクセル364a、364b、および、364cを示す。すなわち、 これらのピクセルから、６個の好ましいアフィン変換係数a〜fが求められる。 ピクセル364a〜364cは、それぞれ、それぞれ(x₁、y₁)、(x₂、y₂)、(x₃ y₃)の ピクセル座標として表わされる。機能ブロック352の細密運動推定に基づき、ピ クセル364a〜364cは、直前画像フレーム202aにおいて、それぞれの対応ピクセル (x₁'，y₁')，(x₂'，y₂')，(x₃'，y₃')を持つ。従来のやり方と同様に、ピクセル 位置(x_i．y_i）は、整数で表わされ、アフィン変換方程式の解答となる。そして 、それに基づき、好ましいアフィン変換係数が求められる。従って、選ばれたピ クセル364a〜364cは、直前画像フレーム202aの対応ピクセルを計算するのに用い られるが、このピクセルは、通常、浮動小数点値となる。 これらの浮動小数点値の量子化は、対応するピクセル間の差(x_i-x_i’．y_i-y_i' )を、整数形に変換することによって実行する。アフィン変換係数は、まず、差 ベクトルとピクセル値(x_i，y_i)からピクセル値（x'_i，y'_i）を計算し、次に、ピ クセル値(x’_i，y’_i)に関して機能ブロック358の多次元変換方程式を解くこと によって求められる。 第14図に示したように、ピクセル364a〜364cは、できれば、変換ブロック356 内部の局部的変動にたいする量子化の感度を最小にするように、変換ブロック35 ６内のあちこちに分布される。できれば、ピクセル364aは変換ブロック356の中 心か、中心近傍に、ピクセル364bと364cとは上隅に位置するのが好ましい。また 、好ましい実施態様においては、対象204bの変換ブロック356の各々における選 ばれたピクセルが、同じ位置を持つことが好ましい。それによって量子化工程が 効率的に実施できるからである。 機能ブロック362の量子化法のもう一つの局面は、異なるレベルの量子化を用 いて、様々の運動程度を表わすことができる、ということである。その結果、比 較的単純な運動（例えば、線形移動）は、複雑な運動に要求されるものよりも少 なく選ばれたピクセルを用いて表わすことができる。前述のアフィン変換方程式 に関して言えば、対象204bからのピクセル364a(x₁，y₁)と、対象204a対応ピクセ ル(x₁’，y₁’)で、下記の形の単純化されたアフィン変換方程式を解くのに十分 である。 x₁’＝y₁+C y₁’=y₁+f これは、連続する画像フレーム間の線形移動を表わす。ピクセル364aは、その中 心位置が、一般に、他の種類の運動とは独立に線形移動を表わすという理由から 、特異的に使用される。したがって、ユーザーは、線形移動のような単純な運動 は、単純化されたアフィン変換方程式で選択的に表現することができる。単純化 されたアフィン変換方程式は、複雑な運動を表現するのに必要とされるデータの ３分の１しか要求しないからである。 同様に、対象204bに関する、一対の選択ピクセル(x₁，y₁)(例えば、ピクセル3 64a)と(x₂，y₂)(すなわち、ピクセル364bと364cのどちらか)、および、対象204a に関する対応ピクセル(x₁'，y₁')および(x₂'，y₂')は、下記の形の単純化された アフィン変換方程式を解くのに十分である。 x_i'=ax_i+c y_i'=ey_i+f これは、連続する画像フレーム間の線形移動および拡大を含む運動を表わすこと ができる。下記の単純化された形において、 x’=acos θx+sin θy+c y’=-sin θx+acos θy+f 選択ピクセルの対応ペアは、線形移動、回転、等方拡大を含む運動を表わすこと ができる。この単純形においては、変数x、yが共通の係数を持つので、この方程 式は、２個の対応ペアによって解くことが可能となる。 従って、ユーザーは、線形移動、回転、および、拡大を含む比較的複雑な運動 を、部分的に単純化されたアフィン変換方程式によって選択的に表わすことがで きる。このような方程式は、複雑な運動を表わすのに必要とされるデータの3分 の２しか要求しない。対象204bの、第３の選択ピクセル(x₃，y₃)を加えると、対 象204aの対応ピクセル(x₃'，y₃')と、完全な、好ましいアフィン変換方程式とに よって、ユーザーは、さらに、連続する画像フレーム間の斜行をも表わすことが できるようになる。 変換法350(第12図)の好ましい実施態様を、例えば、32x32ピクセルの次元数を 持つ、一様変換ブロック356使用の場合を例にとって説明する。機能ブロック358 に関連して説明した好ましい多次元アフィン変換は、変換ブロック356に関して 求められる。変換ブロック356の次元は、本方法によって得られる圧縮比に 直接影響することが了解されるであろう。 ある対象について、画像フレーム間の変換を表わすためには、比較的大きな次 元数を持つ変換ブロック356の場合、より少ない次元数を持つ変換ブロック356の 持つ数よりも、数が少なくなる。一様に大きな変換ブロック356を設けると、そ の結果は、それに相当する大きな誤差が、各変換ブロック当たりに導入されるこ とになる。したがって、一様な大きさの変換ブロック356は、通常、この相矛盾 する性能制限のバランスを取るために、中等度の次元数を持つ。 変換ブロックの最適化 第15図は、変換ブロック最適化法370の機能ブロック・ダイグラムである。こ の方法は、最小誤差閾値を与える変換ブロック次元を自動的に選択するものであ る。最適化法370は、第16図に基づいて説明する。第16図は、対象204bを含む画 像フレーム202bの一部を示すディスプレー画面50の模式図である。 機能ブロック372は、初期変換ブロック374が、対象204bに関して定義されるこ とを示す。初期変換ブロック374は、できれば、ユーザーの選択可能な最大次元 数のもの、例えば、64x64ピクセルであることが好ましい。初期変換ブロック374 は、現在変換ブロックと呼ばれる。 機能ブロック376は、現在の、信号対雑音比(SNR)ピークが、現在変形ブロック に関して計算されることを示す。この信号対雑音比は、できれば、現在変換ブロ ック内部のピクセルのカラー成分値の変動（すなわち、信号）の、推定誤差110( 第3図)に関連するピクセルのカラー成分値の変動にたいする比として計算される のが好ましい。 機能ブロック378は、現在変換ブロック(例えば変換ブロック374)が、例えば、 4個の、相等しいサブブロック380a〜380dに分割され、サブブロック380a〜380d の各々についてアフィン変換が求められ、かつ、そのアフィン変換に関して将来 の信号対雑音比が求められることを示す。将来の信号対雑音比は、機能ブロック 376に関連して説明した現在の信号対雑音比について行なったものと実質的に同 じやり方で求められる。 尋問ブロック382は、将来信号対雑音比が、現在信号対雑音比よりも、ユーザ ーの選択した閾値量を越えて、上回るかどうかに関する尋問を表わす。この尋問 は、現在変換ブロック(例えば、変換ブロック374)をさらに細分割したならば、 それによって、アフィン変換の精度を、少なくとも閾値分だけ改善することがで きるという決定を表わす。将来信号対雑音比が、現在信号対雑音比よりも、閾値 以上上回る場合は必ず、尋問ブロック382は、機能ブロック384に進むが、そうで なければ、機能ブロック388に進む。 機能ブロック384は、サブブロック380a〜380dが、連続的に現在変換ブロック を指定され、かつ、各々が、さらに細分割されるべきか否かを調べられることを 示す。具体例を挙げると、サブブロック380aが現在変換に指定され、機能ブロッ ク376に従って処理され、さらに、サブブロック386a〜386dに細分割される。機 能ブロック388は、次に続く変換ブロック374'が特定され、かつ、初期、ないし 、現在変換ブロックに指定されることを示す。 圧縮前外挿法 第17AおよびB図は、圧縮前外挿法400の機能ブロック・ダイアグラムであり、 これは、任意の形の画像特質を、あらかじめ定義された形に外挿し、それによっ て、符号化工程64(第3両図)の機能ブロック112に従って圧縮する手順を容易にす るものである。外挿法400によって、機能ブロック112の圧縮が、前述のDCT、格 子圧縮、その他の波形圧縮のような従来のやり方で実行することが可能となる。 格子、その他の波形圧縮、または、不連続コサイン変換(DCT)のような、従来 の静止画像圧縮法は、ピクセルの方形配列に基づいて操作される。しかしながら 、前述のように、本発明の方法は、任意の形の画像特質、すなわち、対象に適用 可能である。そのような対象、または、画像特質を、方形ピクセル配列形に外挿 すれば、格子、その他の波形圧縮、または、DCTのような従来の静止画像圧縮法 の使用が可能となる。外挿法400は、第18A〜18Dに基づいて説明される。これら の図は、単純な対象402が帰着されるディスプレー画面50を表わすもので、外挿 法400の様々の局面を示すものである。 機能ブロック404は、外挿ブロック境界406が、対象402の周囲に定義されるこ とを示す。外挿ブロック境界406は、できれば、方形であることが好ましい。第1 8A図を参照しながら説明すると、対象402の周囲における外挿ブロック境界 406の形成は、対象402の辺縁408の特定に基づいて実行され、その特定は、例え ば、対象分節法140(第4図)によって実行される。外挿ブロック境界406は、説明 のために、対象402をその全体に渡って取り囲むように図示される。外挿ブロッ ク境界406は、また別法として、対象402の一部のみを取り込むことができること が了解されるであろう。対象分節法140に関連して前述したように、対象402に含 まれるピクセルは、対象402に含まれないピクセルのカラー成分値とは異なるカ ラー成分値を持つ。 機能ブロック410は、外挿ブロック境界406によって囲まれるが、対象402には 含まれない全てのピクセル412について、そのカラー成分の各々にたいしてあら かじめ定義された値、例えば、ゼロ値が与えられることを示す。 機能ブロック414は、外挿ブロック境界406内のピクセルの水平線が走査され、 それによってゼロの、および、非ゼロのカラー成分値を持つ水平ピクセル分節を 持つ水平線が特定されることを示す。 機能ブロック416は、ゼロのカラー成分値を持つ水平ピクセル分節が、その両 端において、辺縁408に区画されているかどうかを問う尋問を表わす。領域420は 、ゼロのカラー成分値を持ち、かつ、ただ１端で辺縁408で区画される水平ピク セル分節を表わす。機能ブロック416は、ピクセル分節がゼロのカラー成分値を 持ち、両端において対象402の辺縁408で区画される領域418にたいしては、機能 ブロック426に進み、それ以外の場合には機能ブロック422に進む。 機能ブロック422は、領域420の各水平ピクセル分節におけるピクセルには、対 応する水平線におけるピクセル424(例示のもののみ図示)と対象402の辺縁408の カラー成分値が割り当てられることを示す。別法として、領域420のピクセルに 割り当てられるカラー成分値は、ピクセル424のカラー成分値にたいして関数的 な関係を持つ。 機能ブロック426は、領域418の各水平ピクセル分節におけるピクセルには、対 応する水平線と辺縁408に存在するピクセル428aと428bのカラー成分値の平均に 相当する、できれば、その平均に等しいものが割り当てられることを示す。 機能ブロック430は、外挿ブロック境界406内のピクセルの垂直線が走査され、 それによってゼロの、および、非ゼロのカラー成分値を持つ垂直ピクセル分節を 持つ垂直線が特定されることを示す。 機能ブロック432は、ゼロのカラー成分値を持つ垂直線におけるピクセル分節 が、その両端において、対象402の辺縁408に区画されているかどうかを問う尋問 を表わす。第18C図に基づいて述べると、領域434は、ゼロのカラー成分値を持ち 、かつ、両端で辺縁408で区画される垂直ピクセル分節を表わす。領域436は、ゼ ロのカラー成分値を持ち、かつ、ただ１端で辺縁408によって区画される垂直ピ クセル分節を表わす。機能ブロック432は、ピクセル分節がゼロのカラー成分値 を持ち、両端において対象402の辺縁408で区画される領域434にたいしては、機 能ブロック444に進み、それ以外の場合には機能ブロック438に進む。 機能ブロック438は、領域436の各垂直ピクセル分節におけるピクセルには、対 応する垂直線におけるピクセル442(例示のもののみ図示)と対象402の辺縁408の カラー成分値が割り当てられることを示す。別法として、領域436のピクセルに 割り当てられるカラー成分値は、ピクセル442のカラー成分値にたいして関数的 な関係を持つ。 機能ブロック444は、領域434の各垂直ピクセル分節におけるピクセルには、対 応する垂直線と辺縁408に存在するピクセル446aと446bのカラー成分値の平均に 相当する、できれば、その平均に等しいものが割り当てられることを示す。 機能ブロック448は、本法によってカラー成分値を割り当てられた水平ならび に垂直ピクセル分節中のピクセルにたいして、もしそうでなければその水平、お よび、垂直ピクセル分節にしたがってそのピクセルに割り当てられたはずのカラ ー成分値と比例する、できれば、その平均である複合カラー成分値が割り当てら れることを示す。 そのような複合カラー成分値を割り当てられたピクセルの例は、領域418と434 の中のピクセルである。 機能ブロック450は、外挿ブロック境界406によって区画はされるが、対象402 の辺縁408とは水平線に沿っても、垂直線に沿っても交差しない領域452にたいし て、近傍のピクセルに割り当てられたカラー成分値に比例する、できれば、その 平均値に等しい、複合カラー成分値が割り当てられることを示す。第18D図に基 づいて説明すると、領域452のピクセル454の各々にたいしては、それぞれ 水平線と垂直線においてピクセル454と同軸にあって、本法によってあらかじめ 非ゼロのカラー成分値を割り当てられているピクセル456aと456bのそのカラー成 分値の、できれば、平均であるカラー成分値が割り当てられる。 対象外挿工程400の利点は、対象402に含まれないピクセルにたいして、滑らか に変化するカラー成分値を割り当てることができること、したがって、従来の静 止画像圧縮法の圧縮性能と精度を最適化することができることである。逆に、チ ャンら(Chang et al.)著「任意の形をした画像分節の変形符号化法(Transform C oding of Arbitrary-Shaped Image Segments)」ACM Multimedia，83〜88ページ 、1993年6月発行に記載されているような、ゼロ平滑化法や鏡像法のような従来 技術では、機能ブロック410で実行したように、ゼロのカラー成分値を持つピク セルで充満している外挿対象にたいして圧縮を適用する。対象とゼロ平滑化領域 の間に見られる急激な画像変化は、圧縮の困難な高周波の変化を導くか、または 、圧縮によって画像アーティファクトを導く。対象外挿法400はそのような欠点 を克服するものである。符号化法別法 第19A図は、符号化法500の機能ブロック・ダイグラムであるが、この方法は、 独特のフィルターを持つラプラス・ピラミッド符号化器用いる。このフィルター は、高度の圧縮を実現しながらしかも、画像特質の非直線局面、例えば、辺縁を 保存する。従来のラプラス・ピラミッド符号化法については、例えば、バートと エイデルソン(Burt and Addleson)著「緊密画像符号としてのラプラス・ピラミ ッド(Laplacian Pyramid as aCompact Image Code)」IEEE Trans．Comm．31巻7 号523〜540ページ、1983年4月号に記載されている。符号化法500は、第3図に示 したビデオ圧縮符号化工程64の機能ブロック112に関連して記述した符号化法を 実行することもできるし、もちろん、それ以外にも、波形符号化法によるDCTの 使用が示唆される、または、実際に使用されるところでは必ず実行可能である。 実例として、符号化法500を、推定誤差110の符号化(第3図)に関連して説明する ことにする。 第１十進化フィルター502は、推定誤差(第３図)に相当するピクセル情報を受 け取り、このピクセルを、フィルター基準に従って濾過する。従来のラプラス ・ピラミッド法では、十進化フィルターは、ガウス重みづけ関数のような低域フ ィルターである。しかしながら、符号化法500に従うならば、十進化フィルター5 02は、できれば、中域フィルター、さらに詳しく言うと、3x3非分離中域フィル ターを用いることが好ましい。 具体的に言うと、第20A図は、ピクセル504の、任意の一組、一配列の一つのカ ラー成分(例えば、赤)にたいするカラー成分値を単純化して示したものである。 赤のカラー成分値に特に関連して記述しているけれども、この説明は、ピクセル 504の緑や青のカラー成分値にも同様に当てはまる。 十進化フィルター502の好ましい実施態様に関して言えば、3x3ピクセルの次元 を持つフィルター・ブロック506が、ピクセル504の中に定義される。各ピクセル ・ブロック506について、ピクセル強度中央値が特定され、選択される。ピクセ ル・ブロック506a〜506cに関して言えば、例えば、十進化フィルター502は、そ れぞれの値8、9および10を与え、これらは、第20B図の、最初の３個のピクセル5 12に並べられる。 しかしながら、十進化フィルター502は、本発明に従って、他の中域フィルタ ーを採用することもできることが了解されるであろう。従って、関連カラー成分 値｛a₀，a₁，...，a_n-1｝を持つ各グループのピクセルにたいして、中域フィル ターは、中央値a_Mを選択する。 第１の2x2下降サンプリング・フィルター514が、垂直、水平方向に一つおきの ピクセル512をサンプルし、さらに圧縮を行なう。第20C図は、得られた、圧縮さ れた一組のピクセル515を示す。 2x2上昇サンプル・フィルター516は、下降サンプリング・フィルター514で除 外された各ピクセル512の代わりにゼロ値ピクセルを挿入する。また、介在フィ ルター518は、ゼロ値ピクセルにたいして、対立する隣接ピクセルの平均のピク セル値を割り当てる、または、もしもゼロ値ピクセルが、非ゼロ値を持つピクセ ルの対立ペアの間にない場合には、以前に割り当てた値を割り当てる。具体的に 示すと、第20D図は、そのようにして得られた、一組の、または、一配列のピク セル値520を示す。 差522が、一組のピクセル504のカラー成分値と、一組のピクセル520の対応 するカラー成分値との間で求められ、ゼロ次画像成分I₀を与える。 第２の十進化フィルター526は、第１の2x2下降サンプリング・フィルター514 によって生成された圧縮された一組のピクセル515に対応するカラー成分値を受 け取る。十進化フィルター526は、できれば、十進化フィルター502(例えば、3x3 非分離中域フィルター)と同じものであることが好ましい。したがって、十進化 フィルター526は、十進化フィルター502と同様に機能し、第２の2x2下降サンプ リング・フィルター528にたいして、圧縮された一組の、ないし、一配列のピク セル(図示せず)を転送する。 下降サンプリング・フィルター528は、下降サンプリング・フィルター514と同 様に機能し、２次画像成分L₂を形成する。この成分はさらに2x2上昇サンプル・ フィルター530と介在フィルター531に転送される。これらのフィルターも、それ ぞれ、上昇サンプル・フィルター516および介在フィルター518と同様に機能する 。差532が、一組のピクセル515のカラー成分値と、介在フィルター531によって 与えられるカラー成分値との間で求められ、１次画像成分I₁を与える。 画像成分I₀、Ｉ₁、およびL₂は、それぞれ、ピクセル504のｎ×ｎ配列のカラー 成分値を表わす ｎ×ｎ n/2×n/2，n/4×n/4 組みのカラー成分値である。 画像成分I₀は、元の一組のピクセル504によって表わされる画像の高周波成分 （例えば、辺縁）を保持する。画像成分I₁とL₂は、もとの画像の低周波面を表わ す。画像成分I₀、I₁、および、L₂は、元の画像の相対的圧縮を実現する。画像成 分I₀とI₁は、隣接ピクセル値間に比較的高い相関があるために、高い圧縮度を持 つ形式に高周波特質（例えば、辺縁）を保持する。画像成分L₂は、そのままでは すぐには圧縮されない。なぜなら、主に低周波特質から成るが、比較的大きさの 小さい組みだからである。 第19B図は、符号化法500によって生成された画像成分I₀、Ｉ₁およびL₂を復号 する、すなわち、符号化を逆行する復号化法536を示す機能ブロック・ダイグラ ムである。復号化法536は、第１の2x2上昇サンプル・フィルター538を含む。こ のフィルターは、画像成分L₂を受け取り、各隣接ペア・ピクセルの間にゼロ値 のピクセルを挿入する。介在フィルター539は、ゼロ値ピクセルに、できれば隣 接ピクセルの値の平均のピクセル値を割り当てる、または、もしもゼロ値ピクセ ルが、非ゼロ値ピクセルの対立ペアの間にない場合には、以前に割り当てた値を 割り当てる。第１の2x2上昇サンプル・フィルター538は、第19A図の上昇サンプ ル・フィルター516と530と実質的に同じやり方で動作する。また、介在フィルタ ー539は、介在フィルター518と531と実質的に同じやり方で動作する。 合計540が、第１の2x2上昇サンプル・フィルター538と介在フィルター539によ って生成された、脱圧縮された一組のピクセルに対応する画像成分I₁と、カラー 成分値の間で求められる。第２の2x2上昇サンプル・フィルター542は、合計540 によって生成されたピクセルの各隣接ペアの間にゼロ値のピクセルを挿入する。 介在フィルター543は、ゼロ値ピクセルに、隣接ピクセル値の平均を、または、 ゼロ値ピクセルが、非ゼロ値ピクセルの対立ペアの間にない場合には、以前に割 り当てられた値を、割り当てる。上昇サンプル・フィルター542と介在フィルタ ー543は、それぞれ、上昇サンプル・フィルター538と介在フィルター539と実質 的に同様である。 合計544は、画像成分I₀と、第２の2x2上昇サンプル・フィルター542と介在フ ィルター543によって生成される、脱圧縮された一組のピクセルに対応するカラ ー成分値とを加える。合計544は、符号化工程500に供給される推定誤差110に対 応する脱圧縮推定誤差110を与える。運動ベクトルの変換符号化 従来のビデオ圧縮符号化工程、例えば、MPEG-1やMPEG-2は、粗大運動べクトル ・フィールドのみを用いて、規則的な大きさと形を持つ、相当に大きなピクセル 配列の運動を表わそうとする。運動ベイクトル・フィールドが粗大であるという のは、例えば、16x16ピクセルの大きさを持つピクセル配列の運動を表わすのに たった一つの運動べクトルしか用いないからである。この粗大運動ベクトル・フ ィールドが、例えば、不連続コサイン変換(DCT)符号化法によって、元となる画 像ないしピクセルの縦列符号化と協働して、従来のビデオ圧縮符号化を実現する 。 それと対照的に、ビデオ圧縮符号化法64(第3図)は、細密運動ベクトル・フィ ールドを用いる。この場合、運動ベクトルは、対象の全ベクトルにたいして、 または、ほとんど全てのベクトルにたいして求められる。このような細密運動ベ クトルは、対応するピクセル間の運動が表現される精度を目立って向上させる。 このように改善された精度は、従来の粗大運動ベクトル・フィールド表現に伴う 誤差を目立って減少させるが、細密運動ベクトル・フィールドに含まれる情報増 加は、ビデオ配列を表わす情報量の増加となる。従って、本発明によれば、細密 ビデオ・フィールドそれ自体が圧縮され、符号化されているわけであり、それに よって、本発明の与える圧縮比を向上させる。 第21図は、運動ベクトル符号化工程の機能ブロック・ダイグラムであり、この 工程は、運動ベクトル・フィールド、できれば、第３図の細密運動変換96に従っ て生成されるものと同様の細密運動ベクトルであることが好ましいが、そのよう なフィールドを符号化する、すなわち、圧縮するものである。ある選ばれた対象 から得られるこのような細密運動ベクトルは、通常、その対象に相当する元とな るピクセルよりも大きな連続性、または、「滑らかさ」を持っていることが了解 されるであろう。そのため、細密運動ベクトル・フィールドの圧縮、ないし、符 号化は、元のピクセルの圧縮ないし符号化よりも大きな圧縮比を実現することに なる。 機能ブロック562は、ある細密運動ベクトル・フィールドが、ある対象、また は、対象の一部分について、例えば、第３図に関連して上述した機能ブロック96 の工程に従って得られることを示す。従って、細密運動ベクトル・フィールドは 、任意の形、または、大きさの対象、または、その他の画像部分に一致する。 機能ブロック564は、細密運動ベクトル・フィールドの形が、規則的な形、で きれば方形に外挿され、それによって、符号化ないし圧縮をやりやすくすること を示す。できれば、細密運動ベクトル・フィールド形は、第17Aと17Bに関連して 上述した圧縮前外挿法400によって規則的な形に外挿されることが好ましい。従 来の外挿法、例えば、鏡像法も別法として用いることができることが了解される であろう。 機能ブロック566は、外挿された規則的な形を持つ細密運動ベクトル・フィー ルドが、従来の符号化変換によって符号化、または、圧縮されることを示す。そ のような従来の方法としては、例えば、不連続コサイン変換(DCT)、格子、また は、その他の波形圧縮があるが、この内前者が好ましい。 機能ブロック568は、符号化された細密運動ベクトル・フィールドが、エント ロピー符号化のような、従来のロスレス静止画圧縮法によってさらに圧縮ないし 符号化され、それによって符号化された細密運動ベクトル・フィールド570を形 成することを示す。このような静止画像圧縮法は、第3図の機能ブロック114に関 連して上述した。以前のビデオ・フレームの量子化された対象の圧縮 第3図を参照して説明すると、ビデオ圧縮符号化工程64は、直前フレームN-1に 関して求められた量子化された直前対象98を用いて、次に続くフレームNの対応 する対象を符号化する。従って、符号化工程64は、量子化された直前対象98が、 接近可能なメモリー・バッファーの中に保存されていることを要求する。従来の ビデオ・ディスプレー解像度であれば、そのようなメモリー・バッファーは、一 つのビデオ・フレームのために、その量子化直前対象98を保存するのに、少なく とも１メガバイトの容量を必要とする。高解像度のディスプレー形式であれば、 それに応じてさらに大きなメモリー・バッファーが要求される。 第22図は、量子化対象符号化・復号化（コーデック）工程600の機能ブロック ・ダイアグラムである。この工程は、量子化された直前対象98を圧縮し、かつ、 選択的に脱圧縮し、それによって、量子化対象メモリー・バッファーの必要容量 の減少を実現する。 機能ブロック602は、ある画像フレーム中の各量子化対象98が、不連続コサイ ン変換(DCT)符号化または格子サブバンド（波形）圧縮のようなロッシー符号化 、ないし、圧縮法によって、ブロックごとに符号化されることを示す。 機能ブロック604は、符号化ないし圧縮量子化対象がメモリー・バッファー(図 示せず)に保存されることを示す。 機能ブロック606は、次に続くビデオ・フレームの対応する対象の処理を予想 して、メモリー・バッファーから、符号化量子化対象が取り出されることを示す 。 機能ブロック608は、符号化量子化対象が、機能ブロック602に関連して採用さ れた符号化法に従って、例えば、ＤＣＴまたは波形復号化によって、逆行符号化 されることを示す。 コーデック工程600は、対応するメモリー・バッファーの容量が、全体のビデ オ圧縮比と、得られるビデオの所望の画質に依存するのではあるが、最大80％ま で減少するのを可能にする。さらに、コーデック工程600は、ビデオ圧縮符号化 工程64に相当する復号化工程にも同様に適用可能であることが了解されるであろ う。ビデオ圧縮復号化工程概観 第３図のビデオ圧縮符号化工程64は、複数の画像フレームから成るビデオ配列 に対応するビデオ信号の符号化ないし圧縮表示を与える。この圧縮表示は、対象 マスク66、特質点68、アフィン変換係数104、および、符号化工程64から得られ る圧縮誤差データ116と符号化工程130から得られる圧縮マスター対象136とを含 む。これらの圧縮表示は、ビデオ情報の保存、あるいは、転送を促進し、MPEG-2 のような従来のビデオ圧縮法で実現可能な圧縮比よりも最大300％優る圧縮比を 実現することができる。 しかしながら、このような圧縮ビデオ情報をデータ保存部から取り出すこと、 または、そのようなビデオ情報の転送を受け取ることは、それが復号化され、脱 圧縮され、それによってもとのビデオ信号が再構成され、それによって、ビデオ ・ディスプレー装置52(第2Aと2B図)のようなディスプレー装置によって帰着され ることが必要であることが了解されるであろう。MPEG-1、MPEG-2およびH.26Xの ような従来の符号化工程に見られるように、ビデオ情報の脱圧縮ないし復号化は 、実質的に、もとのビデオ信号が符号化され、ないし、圧縮される工程の逆工程 である。 第23A図は、ビデオ圧縮復号化工程700の機能ブロック・ダイアグラムであるが 、この工程は、第３図のビデオ圧縮符号化工程64によって生成されるビデオ情報 を脱圧縮するものである。符号化工程64の記述と一貫させるために、復号化工程 700は、第2A、2B図を参照しながら説明する。復号化工程700は、メモリーから、 または、転送されたものとして、符号化ビデオ情報を受け取る。この情報は、対 象マスク66、特質点68、圧縮マスター対象136、アフィン変換係数104、および、 圧縮誤差データ166を含む。 復号化工程700は、符号化工程64(第3図)の操作の逆の操作を実行する。し たがって、復号化工程を備えた符号化工程64の、前述の好ましい操作のそれぞれ も、同様に逆転される。 機能ブロック702は、マスク66、特質点68、変換係数104、および、圧縮誤差デ ータ116がメモリーから取り出され、または、転送物として受け取られ、それに よって、復号化工程700による処理が可能になることを示す。 第23B図は、マスター対象復号化工程704の機能ブロック・ダイアグラムである が、この工程は、圧縮されたマスター対象136を復号ないし脱圧縮する。機能ブ ロック706は、圧縮化されたマスター対象データ136が、第3B図の機能ブロック13 4の、従来のロスレス・エントロピー符号化法を逆行することによって、エント ロピー復号化されることを示す。機能ブロック708は、機能ブロック706において エントロピー復号化されたマスター対象が、第3B図の機能ブロック132で用いら れた、従来のロッシー波形符号化工程を逆行することによって復号化されること を示す。 機能ブロック712は、細密運動変換、できれば、多次元アフィン変換であるこ とが好ましいが、それがアフィン係数104から生成されることを示す。できれば 、アフィン係数104は、変換法350(第12図)に従って量子化されることが好ましく 、かつ、そのアフィン変換は、機能ブロック362(第12図)に関連して上述した操 作の逆行を実行することによって、その量子化アフィン係数から生成されること が好ましい。 機能ブロック714は、タイミング遅延を介して与えられた、直前フレームN-1の 対象716の量子化された形(例えば、画像フレーム54aの直方体56a)が、細密運動 変換によって変換され、それによって、現在フレームNの対象720の予想形(例え ば、画像フレーム54bの直方体50b)を与えることを示す。 機能ブロック722は、画像フレームNについて、予想現在対象720が、圧縮誤差 データ116から生成された量子化誤差724に加えられることを示す。特に、機能ブ ロック726は、圧縮誤差データ116が、圧縮工程114(第3A図)の逆工程によって復 号化されることを示す。好ましい実施態様においては、機能ブロック114と726は 、エントロピー符号化法のような、従来のロスレス静止画像圧縮法に基づいて実 行される。 機能ブロック728は、機能ブロック726で得られたエントロピー復号化誤差デー タが、機能ブロック112(第3A図)で使用されるものに一致する、従来のロッシー 静止画像圧縮法によってさらに脱圧縮、ないし、復号化されることを示す。好ま しい実施態様においては、機能ブロック728の脱圧縮ないし復号化は、格子区分 ないしその他の波形工程、または、不連続コサイン変換(DCT)工程によって実行 される。 機能ブロック722は、フレームNの量子化対象730を、予想対象720と量子化誤差 724の合計として与える。これは、再構成ないし脱圧縮された対象723を表わし、 この対象は、後続のフレームの対象再構成のために機能ブロック718に配送され る。 機能ブロック734は、量子化された対象732が、現在画像フレームNの他の対象 と組み合わされて、脱圧縮ビデオ信号を形成することを示す。単純化連鎖符号化法 マスク、対象、スプライト、および、その他のグラッフィク性特質は、通常、 その輪郭で表現される。第5A図に関連して図示し、説明したように、例えば、直 方体56aは、対象辺縁ないし輪郭142によって区画される。輪郭を符号化ないし圧 縮するための従来の工程は、連鎖符号化法と呼ばれる。 第24A図は、従来の８点連鎖コード800を示す。すなわち、このコードに基づい て、従来の方形ピクセル配列上の輪郭が定義される。現在ピクセル位置Xに基づ いて、輪郭における、次に続くピクセル位置が方向802a〜802hの内の一つに沿っ て延びる。直後ピクセルの連鎖コード値は、特定方向802に一致する数値である 。例を挙げると、右、水平方向802aは連鎖コード値０に相当し、下向き、垂直方 向802gは連鎖コード値６に相当する。どのような連続輪郭であれ、８点連鎖コー ド800によって記載することができる。 第24B図を参照しながら説明すると、XおよびＡ〜Ｇと名づけられる、ピクセル 806によって表わされる輪郭804は、従来のやり方では、連鎖コード｛00764432｝ で符号化される。特に、ピクセルXから始めると、ピクセルAとBは、ピクセルXと Aにたいして、方向０に位置づけられる。ピクセルCは、ピクセルBにたいして方 向７に位置づけられる。残りのピクセルD〜Gも同様に、上述の連鎖 コードに一致する方向に位置づけられる。２進表示では、従来の、各連鎖コード 値は、３個のディジタル・ビットで表わされる。 第25A図は、本発明の連鎖コード工程810の機能ブロック・ダイグラムであるが 、この工程は、従来の連鎖コード工程のものの少なくとも約２倍の圧縮比を与え ることができる。連鎖コード工程810は、このように高い圧縮比を、連鎖コード の数を制限することによって、また、隣接ペア・ピクセルの一致軸にたいして連 鎖コードを定義することによって、実現する。実験によると、連鎖コード工程81 0の連鎖コードは、制限されてはいるものの、対象またはマスク輪郭のピクセル 軸99.8％以上を表わすことが判明した。特殊ケース連鎖コード修正を設けること によって、下にさらに詳述するように、ピクセル軸の、残りの0.2％未満を収容 することができる。 機能ブロック816は、あるマスク、対象、または、スプライトにたいして輪郭 が得られることを示す。輪郭は、例えば、第４と５図に関連して上述した対象分 節工程140によって得てもよい。 機能ブロック818は、輪郭の初期ピクセルが特定されることを示す。初期ピク セルは、通常の方法、例えば、最小のX軸座標値、Y軸座標値を持つピクセルをも って特定してもよい。 機能ブロック820は、あらかじめ定められた連鎖コードが、初期ピクセルと、 輪郭において次に隣接するピクセルとの間の関係を表わすように割り当てられる ことを示す。できれば、あらかじめ定められた連鎖コードは、前進方向に一致す るように定義されることが好ましい。 第25B図は、本発明の３点連鎖コード822を示す模式図である。連鎖コード822 は、３個の連鎖コード824a、824b、および、824cを含む。これら３個の連鎖コー ドは、それぞれ、前進方向826a、左方向826b、および、右方向826cに一致する。 方向826a〜826cは、現在ピクセル830と、この連鎖コードにおいて直前ピクセル を表わす隣接ピクセル832との間の、直前同軸方向828にたいして定義される。 直前同軸方向828は、第24A図に示す方向802のいずれに沿って延びることもで きるが、説明の都合上、特定方向（すなわち、右、水平）を持つものとして示さ れる。方向826aは、したがって、方向828と同じである。方向826bと826cは、 方向828から、１ピクセル左、および、右変位分だけ異なる。 連鎖コード824の50％をわずかに上回る分が、前進方向826aに一致し、連鎖コ ード824の25％をわずかに下回る分が、方向826bおよび826cのそれぞれに一致す ることが、実験的に求められた。 機能ブロック836は、輪郭において次に隣接するピクセルが、方向826の内の一 つに一致するかどうかを尋ねる尋問を示す。輪郭において次に隣接するピクセル が、方向826の内の一つに一致する場合には必ず、機能ブロック836は、機能ブロ ック838に進み、それ以外の場合には機能ブロック840に進む。 機能ブロック838は、次に隣接するピクセルに、直前隣接ピクセル・ペアの揃 う軸にそった方向828にたいする、そのものの方向826に相当する連鎖コード824 が割り当てられることを示す。 機能ブロック840は、方向826の一つに一致するピクセル配列を、現実には一致 しなかったピクセル配列の代用とされることを示す。実験によれば、このような 代用は、通常、輪郭のピクセル配列の0.2％未満に起こるが、６個の特殊ケース 修正の内の一つを用いることによって収容できることが定められた。 第25C図は、６個の特殊ケース修正842の模式図であるが、この修正は、非一致 性ピクセル配列を、方向826に一致するピクセル配列に変換するものである。各 修正842の内部において、ピクセル配列844は、ピクセル配列846に変換される。 それぞれの隣接ピクセルX¹、X²、A、Bのピクセル配列844の各々において、ピク セルA、B間の方向は、方向826の一つと一致しない。それは、ピクセルX¹とX²の 軸にたいするピクセルAの軸の相対的位置のためである。 ピクセル配列844aにおいて、初期ピクセル軸850aと852aは、非一致的な直角方 向変化を表わす。したがって、ピクセル配列846aにおいては、ピクセル配列844a のピクセルAが除去される。これによって、ピクセル方向854aが得られ、これは ピクセル方向826aに一致する。ピクセル配列修正842b〜842fも同様に非一致性ピ クセル配列844b〜844fを、それぞれ一致性配列846b〜846fに変換する。 ピクセル配列修正842は、直前隣接ピクセルX1およびX2の軸にたいして90°以 上変化するピクセル方向軸をもたらすピクセルを除外する。一つの効果は、直角 を表わす輪郭の最小曲率半径を、３ピクセルまで増すことである。したがって、 ピクセル修正842は、極めて微妙な輪郭細部の極小の損失を招く。しかしながら 、本発明によれば、このような細部の損失は、大抵の視認条件では受け容れ可能 なものであることが定められた。 機能ブロック862は、機能ブロック840によって導入された、または、惹起され た非一致性ピクセル軸方向が除去されることを示す。ある好ましい実施態様では 、非一致性方向変化は簡単に次のようにして除去される。すなわち、機能ブロッ ク816に戻り、工程810を繰り返し、これを、非一致性ピクセル配列が見られなく なるまで続ける。これは通常、８回未満の繰り返しで実現される。また、別様の 実施態様では、このような惹起された非一致性方向は次のようにして「リアルタ イム」で修正される。すなわち、非一致性方向変化が修正される度ごとに、何か 惹起された非一致性方向変化がないかどうかをチェックし、あれば修正する。 機能ブロック864は、ハフマン・コードが、このようにして得られた単純化連 鎖コードから生成されることを示す。方向826A〜826Cは、ある輪郭において、そ れぞれ約50％、25％、および、25％のピクセルに起こるのであるが、この方向に 一致する連鎖コード824a〜824cに関しては、それぞれ0、11、および、10のハフ マン・コードが割り当てられる。このような一次ハフマン・コードによって、連 鎖工程810は、輪郭のピクセル当たり1.5ビット未満のビット速度で輪郭を表わす ことが可能となる。このようなビット速度は、従来の連鎖コード工程にたいし、 ほぼ50％の圧縮比改善となる。 さらに高次のハフマン・コードを用いることによって、さらに高い圧縮比が得 られることが了解されるであろう。さらに高次のハフマン・コードとは、例えば 、第１次のハフマン・コードのあらかじめ選ばれた配列にたいして、あらかじめ 定められた値を割り当てることを含む。スプライト生成 本発明は、実体性運動ビデオ（映画）を符号化するのに関連して用いられるス プライトの生成を含む。ビットマップは寄せ集められたピットマップ・シリーズ を形成するが、これは、ある画像ソースから発する連続画像の、複数の連続ビッ トマップを含む。寄せ集めは、対象ないし人物が、互いに相対的に運動する場合 、または、ある人物が、同様の他の人物を、ちょうど前景人物が背景を閉塞する よ うな具合に閉塞する場合、そのような時の閉塞ピクセルの問題を克服するために 使用される。例えば、前景人物が移動し、何かの新しい背景を露呈する場合、次 のことがなされない限り、この新しい背景を、以前のビットマップから構築する ことはできない。すなわち、後続のビットマップにおいて露呈される予定のピク セルを、先行ビットマップに含めることによって、まずその先行ビットマップを 強調しておくことである。この方法は、人物の不完全な画像を捕らえ、その人物 に属してはいるが、直接には見ることのできないピクセルについて、それをいつ か見る時がくるかも知れないと予測する。このようなピクセルを用いて、その人 物にたいする複合ビットマップを生成する。この複合ビットマップがあれば、そ の人物の将来のどのような外見も、その複合ビットマップを変形することによっ て生成することができる。 符号化工程は、オペレーターが、人物と、現在ビットマップ・シリーズにおい て、現在ビットマップの内の、その人物の部分とを特定することから始まる。特 質または変形点は、人物の部分が動き回る部分の特質の上に、オペレーターによ って選択される。三角から成る現在格子が、現在ビットマップの部分に重ねられ る。三角形の現在格子を構成する三角形は、隣接変形点を結んで形成される。現 在ビットマップにおける各三角形の現在位置が求められ、保存装置に保存される 。各三角形の現在位置内にある第１画像を定義する現在ビットマップのデータの 一部は、将来の使用に備えて保持される。 現在のビットマップ列の第２イメージを定義する次続ビットマップはイメージ 源から受け、図形および図形の部分はオペレータにより識別される。次に、現在 のビットマップからのトライアングルの現在のグリッドが、次続ビットマップ上 に重畳される。トライアングルの現在のグリッドの歪曲点は、次続ビットマップ の対応図形の特徴と一致する様に再整列される。再整列された歪曲点は、第２イ メージの次続ビットマップ上にトライアングルの次続グリッドを形成する。次続 ビットマップ上の各トライアングルの次続位置が決定されると共に記憶装置に記 憶される。各トライアングルの次続位置内で第２イメージを定義する次続ビット マップのデータの部分は、更なる使用の為に保持される。 各トライアングルの現在位置および次続位置を決定且つ記憶するプロセスは現 在のビットマップ列の複数のシーケンシャル・ビットマップに対して反復される 。このプロセスが完了したとき、現在のビットマップ列における各トライアング ルの平均イメージは別個に保持されたデータから決定される。各トライアングル の平均イメージは記憶装置に記憶される。 再生の間、現在のビットマップ列の各トライアングルの平均イメージおよび現 在のビットマップの各トライアングルの現在位置は記憶装置から検索される。予 測ビットマップが生成されるが、これは、現在のビットマップ列内の各トライア ングルの平均イメージを現在のビットマップの各トライアングルの現在位置に変 換する変換解を計算すると共に、変換解を各トライアングルの平均イメージに適 用することで行われる。予測ビットマップは、表示の為にモニタに引渡される。 再生時には制御プログラムによりイメージが決定されるという再生確定モーシ ョンビデオ（ビデオゲーム）に関し、スプライト・ビットマップはその全体が記 憶装置に記憶される。スプライト・ビットマップは、スプライト・イメージを定 義する複数のデータビットから成る。スプライト・ビットマップはモニタ上に表 示され、スプライトの各部分はオペレータにより識別されると共に歪曲点がスプ ライトの各部分に対して選択される。 トライアングルのグリッドは、スプライト・ビットマップの各部分上に重畳さ れる。トライアングルのグリッドを構成するトライアングルは、隣接する歪曲点 を接続することにより形成される。歪曲点はトライアングルの各頂点である。ス プライト・ビットマップの各トライアングルの位置が決定されて記憶装置に記憶 される。 再生の間、各トライアングルの次続位置は制御プログラムから受け取る。スプ ライト・ビットマップと、スプライト・ビットマップ上の各トライアングルの次 続位置は、記憶装置から呼び出されてディスプレイ・プロセッサに引渡される。 各トライアングルの次続位置もまた、ディスプレイ・プロセッサに引渡される。 スプライト・ビットマップ上の各トライアングルに対しては、変換解が計算さ れる。次にディスプレイ・プロセッサ内に次続ビットマップが生成されるが、こ れは、各トライアングルの位置内のスプライト・イメージを定義する、スプライ ト・ビットマップから導かれた各トライアングルの変換解を適用することにより 行われる。ディスプレイ・プロセッサは、次続スプライト・ビットマップをモニ タに引渡して表示させる。このプロセスは、制御プログラムにより要求された各 トライアングルの次続位置の各々に対して反復される。 図２６に示される如く、動画ビデオに対する符号化処理は、イメージ源から現 在のビットマップ列を受けるCPU 22によりステップ900にて開始される。現在の ビットマップ列は、シーケンシャル・イメージの複数のシーケンシャル・ビット マップから成る。また、現在のビットマップ列は、イメージ源からの第１イメー ジを定義する複数のデータビットからなる現在のビットマップを有する。第１イ メージは、少なくとも１個の部分を有する少なくとも１個の図形を備えて成る。 ステップ902に進み、第１イメージはモニタ28上でオペレータに対して表示さ れる。モニタ28から、現在のビットマップ上の第１イメージの図形がオペレータ により識別される。現在のビットマップ上の図形の各部分は次にステップ904に てオペレータにより識別される。 次にステップ906にて、オペレータは現在のビットマップ上の特徴点もしくは 歪曲点を選択する。歪曲点は、部分の相対運動が生じ得るところのビットマップ 上の特徴と歪曲点が一致する如く選択される。当業者であれば、図形、図形の各 部分およびビットマップ上の歪曲点はコンピュータシステム20もしくはその助け を借りて識別され得ることを理解し得よう。しかし乍ら、図形、図形の各部分お よびビットマップ上の歪曲点をオペレータが識別すれば好適である。 ステップ908に進むと、トライアングルの現在のグリッドがコンピュータシス テム20により、現在のビットマップの各部分に重畳される。図２７(A)を参照す ると、現在のグリッドは、隣接歪曲点を接続して形成されたトライアングルから 成っている。歪曲点はトライアングルの頂点を形成する。より詳細に述べると、 現在のビットマップの第１イメージは、人物970である図形から成る。人物970は 、頭972、胴体974、右腕976、左腕978、右足980および左足982に対応する６個の 部分を有している。歪曲点は人物970に各部分に対して選択され、従って、歪曲 点は、部分の相対運動が生じ得るところの特徴に一致する。各部分上にて、現在 のグリッドには、隣接歪曲点を接続することにより形成された現在のグリッドの 各々のトライアングルが重畳される。従って、歪曲点はトライアングル の頂点を形成する。 ステップ910にては、コンピュータシステム20が、現在のビットマップ上の各 トライアングルの現在位置を決定する。現在のビットマップ上の各トライアング ルの現在位置は、トライアングルの頂点を形成する歪曲点の位置により定義され る。ステップ912においては、各トライアングルの現在位置が記憶装置に記憶さ れる。各トライアングルの現在位置内の第１イメージを定義する現在のビットマ ップから導出されたデータの部分は、ステップ914にて保持される。 次に、ステップ916にては、現在のビットマップ列の次続ビットマップがCPU22 により受け取られる。次続ビットマップは、現在のビットマップ列の第２イメー ジを定義する複数のデータビットから成る。第２イメージは、第１イメージ内の 図形に対応する図形を含むこともあり含まないこともある。但し、次のステップ に対しては、第１イメージ内の図形に対応する図形を第２イメージが有している ものと仮定する。ステップ918にては、トライアングルの現在のグリッドが次続 ビットマップ上に重畳される。重畳されたトライアングル状グリッドを備えた第 ２イメージは、モニタ28上でオペレータに対して表示される。 ステップ920にて、歪曲点は、コンピュータシステム20の助けを借りたオペレ ータにより、次続ビットマップ上の対応特徴と一致する如く再整列される。コン ピュータシステム20は、ブロック整合を用いて歪曲点を再整列する。誤りがあれ ば、オペレータにより訂正される。図２７(B)を参照すると、再整列された歪曲 点は、トライアングルの次続グリッドを形成する。再整列された歪曲点は、トラ イアングルの頂点である。より詳細に述べると、人物970の次続ビットマップの 第２イメージは、頭972、胴体974、右腕976、左腕978、右足980および左足982を 含んでいる。但し、第２イメージにおいては右腕980が上がっている。第１イメ ージの現在のグリッドは、各部分に重畳されると共に、それらの歪曲点は、第２ イメージ上の対応特徴に一致すべく再整列されている。再整列された歪曲点は、 トライアングルの次続グリッドを定義する。次続グリッドは、再整列された歪曲 点を接続して形成されたトライアングルから成る。故に、再整列された歪曲点は 、次続グリッドのトライアングルの頂点を形成する。 ステップ922に進むと、次続ビットマップの各トライアングルの次続位置がコ ンピュータシステム20により決定される。ステップ924では、次続ビットマップ 上の各トライアングルの次続位置が記憶装置に記憶される。各トライアングルの 次続位置内の第２イメージを定義する、次続ビットマップから導出されたデータ の部分は、ステップ926で保持される。ステップ926は、次の次続ビットマップが 存在するか否かを決定する判断ステップ928に続いている。 もし次の次続ビットマップが存在すれば、判断ステップ928のYES分岐は、次続 ビットマップが現在のビットマップになるステップ930に繋がる。ステップ930は 、現在のビットマップ列の次続ビットマップがCPU 22により受け取られるステッ プ916に戻る。もし次の次続ビットマップが存在しなければ、判断ステップ928の NO分岐は、現在のビットマップ列の各トライアングルに対する平均イメージが決 定されるステップ932に進む。平均イメージは、トライアングルの各ピクセルの 中央値である。平均イメージを使用することにより、プロセスの劣化が生じにく くなる。ステップ934に進み、現在のビットマップ列の各トライアングルの平均 イメージは記憶装置に記憶される。 次に、ステップ936にては、現在のビットマップ上の各トライアングルの現在 位置が記憶装置から検索される。次に、ステップ938にて、各トライアングルの 平均イメージを現在のビットマップ上のトライアングルの現在位置に変換する為 のアファイン変換解がコンピュータシステム20により計算される。ステップ940 にては、各トライアングルの平均イメージの変換解を、現在のビットマップ上の 各トライアングルの現在位置に適用することにより、予測ビットマップが生成さ れる。ステップ942にて、予測ビットマップは現在のビットマップと比較される 。 ステップ944にては、修正ビットマップが生成される。修正ビットマップは、 予測ビットマップにより正確に予測されなかった現在のビットマップのデータビ ットから成る。修正ビットマップはステップ948にて記憶装置に記憶される。ス テップ948は、次続ビットマップが存在するか否かを決定する判断ステップ950に 進む。 もし次続ビットマップが存在すれば、判断ステップ950のYES分岐は、次続ビッ トマップが現在のビットマップになるステップ952に行く。ステップ952は、現在 のビットマップ上の各トライアングルの現在位置が記憶装置から検索される ステップ936に戻る。もし次の次続ビットマップが存在しなければ、判断ステッ プ950のNO分岐は、次続ビットマップ列が存在するか否かを決定する判断ステッ プ954に行く。もし次続ビットマップ列が存在しなければ、符号化は終了すると 共に判断ステップ954のNO分岐はステップ956に行く。もし次続ビットマップ列が 存在すれば、判断ステップ954のYES分岐は、次続ビットマップ列を現在のビット マップ列としてCPU 22が受け取るステップ958に行く。ステップ956は、現在のビ ットマップ列の第１イメージの図形がオペレータにより識別されるステップ902 に戻る。 図２６のプロセスは、図３のエンコーダプロセス64により使用されるスプライ ト・オブジェクトもしくはマスタ・オブジェクト90の生成法を記述している。マ スタ・オブジェクト90を利用して予測オブジェクト102を形成するプロセスは、 図２８を参照して記述する。 図２８に示される様に、現在のビットマップ列を検索することにより処理はス テップ1000から開始される。現在のビットマップ列はシーケンシャル・イメージ の複数のシーケンシャル・ビットマップから成る。現在のビットマップ列は、イ メージ源から第１イメージを定義する複数のデータビットから成る現在のビット マップを有する。第１イメージは、少なくとも１個の部分を有する少なくとも１ 個の図形から成る。 ステップ1002において、現在のビットマップ列の各トライアングルの平均イメ ージは記憶装置から検索される。各トライアングルの平均イメージは次にステッ プ1004にて（不図示の）ディスプレイ・プロセッサに引渡される。（図１の）コ ンピュータシステム20が、本発明のプロセスを実行する為のディスプレイ・プロ セッサもしくは他の専用要素を選択的に含み得ることは理解される。ステップ10 06に進み、現在のビットマップ上の各トライアングルの現在位置が記憶装置から 検索される。各トライアングルの現在位置はステップ1008でディスプレイ・プロ セッサに引渡される。 次に、各トライアングルの平均イメージを、現在のビットマップ上の各トライ アングルの現在位置に変換する為のアファイン変換解がステップ1010でディスプ レイ・プロセッサにより計算される。ステップ1012に進み、ディスプレイ・プロ セッサにより予測ビットマップが生成されるが、これは、各トライアングルの平 均イメージを、現在のビットマップ上の各トライアングルの現在位置に変換する 為の変換解を適用することで行われる。 ステップ1014にて、現在のビットマップに対する修正ビットマップが記憶装置 から検索される。修正ビットマップは、ステップ1016にてディスプレイ・プロセ ッサに引渡される。次に、予測ビットマップに修正ビットマップを被せることに より、ディスプレイ・プロセッサ内で表示用ビットマップが生成される。ディス プレイ・プロセッサは、各トライアングルの平均イメージのコピーを保持すると 共に、モニタ上の表示の為にフレームバッファに表示用ビットマップを引渡す。 次に、判断ステップ1020にて、現在のビットマップ列の次続ビットマップが存 在するか否かが決定される。もし現在のビットマップ列の次続ビットマップが存 在すれば、判断ステップ1020のYES分岐はステップ1022に行く。ステップ1022に て、次続ビットマップは現在のビットマップとなる。ステップ1022では、現在の ビットマップの各トライアングルの位置が記憶装置から検索される。 判断ステップ1020に戻り、もし現在のビットマップ列の次続ビットマップが存 在しなければ、判断ステップ1020のNO分岐は判断ステップ1024に行く。判断ステ ップ1024にては、次続ビットマップ列が存在するか否かが決定される。もし次続 ビットマップ列が存在しなければ、プロセスは終了すると共に、判断ステップ10 24のNO分岐はステップ1026に行く。もし次続ビットマップ列が存在すれば、判断 ステップ1024のYES分岐はステップ1028に行く。ステップ1028にては、次続ビッ トマップ列は現在のビットマップ列になる。ステップ1028はステップ1000に戻る 。 一般的任意形状の表現および符号化 図29は、ビデオ画像配列のフレームにおいて含まれる任意対象のバイナリマス クを表わす固体バイナリ任意特徴または形状1100の図式的表現である。上述した ように、ビデオ画像配列の各フレームは、代表的に、人物、小道具または背景の ような多数の画像特徴に対応する多数の対象を含む。固体形状1100の形態は、固 体または連続的な内部を有するどのようなこのような対象も任意に表わすものと する。 その背景1102に関するバイナリ表現として、固体形状1100は、対象を識別およ び符号化する図2A、2Bおよび3Aに関して上述したようなマスクに対応する。固体 形状1100は、連続的輪郭または外郭線1104と、外郭線1104内の一様または１状態 内部1106とを特徴とする。固体形状1100は、異なったバイナリ状態の分離された または埋め込まれた部分を含まない。固体形状1100を、チェイン符号化またはポ リゴン輪郭近似のような従来の輪郭符号化技術によって、または、図25A−25Cの 参照と共に上述した単純化したチェイン符号化によって、その外郭線1104に関し て正確に圧縮または符号化することができる。 図30は、ビデオ画像配列のフレームにおいて含まれる任意対象のバイナリマス クを表わす一般的バイナリ任意特徴または形状1110の図式的表現である。一般的 形状1110は、好適には、対象を識別および符号化するその背景1112と異なったバ イナリマスクに対応する。一般的形状1110の形態は、内部に分離されたまたは埋 め込まれた領域または構成要素を有するどのような対象も一般的に表わすという 点において一般的である。これに関して、固体形状1100は、一般的形状1110の単 純化した部分集合を表わす。 一般的形状1110は、互いに分離または囲まれた多数の連続する輪郭または外郭 線1114を含む。図30Aは、第1階層レベルに対応する分離された外郭線1114a−111 4cの第1組と、第2階層レベルに対応する分離された外郭線1114d−1114fの第2組 と、第3階層レベルに対応する分離された外郭線1114g−1114hの第3組とを示す。 外郭線1114a−1114hは、対応する一様または１状態構成要素1116ａ−1116hを境 界付け、または取り囲む。したがって、一般的形状1110は、分離された構成要素 （例えば、1114aおよび1114c）および埋め込まれた構成要素（例えば、1114eお よび1114g）をホスト構成要素（例えば、1114aおよび1114g）内に含み、前記埋 め込まれた構成要素は、これらのホスト構成要素と異なったバイナリ状態のもの である。埋め込まれた構成要素は、各々、島または穴に対応するホスト構成要素 内の穴または島に類似する。 固体形状1110の分離されたまたは埋め込まれた構成要素の正確な認識および符 号化は、これらのような一般的形状が一般的なビデオ画像配列において普通に見 られる多くの対象によく対応するため、改善されたビデオ圧縮をもたらす。一般 的形状1110の分離されたまたは埋め込まれた構成要素は、いくつかの従来の形状 符号化技術によって表わすことができず、他の技術によって非効率的に得られる または表わされる。結果として、これらのような一般的形状を形式的に単純化し 、ビデオ圧縮中に重大な符号化誤差を招くおそれがある埋め込まれた構成要素を 無視する。 図31は、分離された構成要素および埋め込まれた構成要素1116a−1116hを有す る一般的任意形状1110を正確に表わすことができる階層的分解および符号化処理 1130の機能ブロック図である。階層的処理1130は、一般的バイナリ任意形状を、 連続的外郭線を有すると共に相反するバイナリ状態の埋め込まれた構成要素を持 たない、異なった構成要素に自動的に分解する。工程1130は、埋め込まれた構成 要素をホスト構成要素から反復的に分離し、構成要素マスクの階層的レベルを形 成するという点において階層的である。各構成要素マスクを、その外郭線に関し て、チェイン符号化またはポリゴン輪郭近似のような従来の輪郭符号化技術によ って、または、図25A−25Cの参照と共に上述した単純化したチェイン符号化によ って正確に圧縮または符号化することができる。 階層的工程1130は、簡単な固体形状と、分離されたまたは埋め込まれた構成要 素を有する一般的形状とを含むかもしれない一般的任意形状1110に対応するバイ ナリ形状データ1132を受ける。説明の目的のために、階層的表現工程1130を、埋 め込まれた構成要素および分離された構成要素1116a−1116hを有する一般的任意 形状1110の参照と共に説明するが、簡単な形状1100にも同様に適用できる。 工程ブロック1134は、画素の境界箱1136（図30B）を一般的任意形状1110の構 成要素1116a−1116hについて形成し、これらを取り囲むことを示す。好適には、 境界箱1136を、自動的にまたはユーザによって選択される大きさを有する画素の ライトレギュラーアレイとする。工程1130に関して使用されるような境界箱1136 を、好適には一般的任意形状1110の構成要素1116a−1116hに対してオーバサイズ にすることは理解されるであろう。いくつかの用途において、境界箱を、取り囲 まれた特徴にぴったりと適合しているとみなす。境界箱1136を、好適にはオーバ サイズとし、形状のすべての構成要素が囲まれることを確実にする。 工程ブロック1140は、境界箱1136内の、背景1112に対応する初期画素1142を探 索することを示す。好適なバイナリ表現において、背景1112は、既知のバイナリ 状態のものである。初期画素1142を、境界箱1136の選択された角（例えば、図30 Bにおいて示す左上角）において最初に探索する。この場所が背景1112でなく一 般的形状1110に対応する場合、探索を、残りの角において境界箱1136の外郭線に 沿って連続的に開始し、背景1112に対応する初期画素1142を識別する。 決定ブロック1144は、初期画素1142が境界箱1136の外郭線に沿って識別され、 背景1112に対応するか否かの質問を表わす。このような初期画素1142が識別され たときはいつも、決定ブロック1144は工程ブロック1146に進む。境界箱1136の外 郭線に沿った画素が背景1112に対応しないときはいつも、決定ブロック1144は工 程ブロック1148に進む。 工程ブロック1146は、背景1112に対応するバイナリ状態であり、初期画素1142 と共に接続されたすべての画素に逆のバイナリ状態を割り当てることを示す。結 果として、境界箱1136は、主要な対象1116a−1116cの周囲に「満たされ」、主要 な対象1116a−1116cと相互に補足し合う形状を形成する。境界箱1136のこの充填 を、フォレイ（Foley）他著の、「コンピュータグラフィックス：原理および実 践（Computer Graphics:Principles and Practice）」第２版（Addison-Wesley Publishig Co.、ニューヨーク、1991年）において説明されている領域成長のよ うな、どのような従来の充填技術によっても行うことができる。図30Cに示すよ うに、境界箱1136における背景1112の充填は、個々の主要な対象1116a−1116cに 対応する、満たされない相互に補足しあう接続された構成要素1142a−1142cを残 す。接続された構成要素1142a−1142cは、主要な対象1116a−1116cに埋め込まれ たすべての対象を取り囲み、一般的対象1110の第１階層分解を与える。 工程ブロック1148は、境界箱1136の外郭線に沿った画素と同じバイナリ状態で あると共にこれらに接続された境界箱1136内の画素に、逆のバイナリ状態を割り 当てることを示す。この工程ブロックによって満たされた画素は、背景1112と関 係なく、境界箱1136の外郭線に続く１つ以上の対象（図示せず）に関係する。結 果として、境界箱1136は、１つ以上のホスト対象内に埋め込まれた対象の周囲に 満たされ、前記埋め込まれた対象と相互に補足し合う形状を形成する。境界箱11 36のこの充填を、工程ブロック1146に関係して使用されるのと同じ充填技術によ って行うことができる。 工程ブロック1150は、工程ブロック1146および1148によって形成された接続さ れた構成要素を識別し、充填することを示す。工程ブロック1146によって形成さ れた接続された構成要素に関して、例えば、接続された構成要素1142a−1142cを 、充填された背景1112のバイナリ状態と相違するこれらのバイナリ状態によって 識別し、好適には充填し、個々の主要な対象1116a−1116cに対応する固体マスク を形成する。接続された構成要素1142a−1142cに対応する固体マスクは、主要な 対象1116a−1116c内に埋め込まれた対象を同様に識別し、処理する基礎を与える 。 工程ブロック1152は、工程ブロック1150によって識別された接続された構成要 素の各々の外郭線または輪郭を、従来のチェイン符号化または従来のポリゴン輪 郭近似のような輪郭符号化技術によって、または好適には、図25A−25Cの参照と 共に上述した単純化した輪郭符号化処理によって、符号化または圧縮する。前記 接続された構成要素（例えば、接続された構成要素1142a−1142c）の各々は、実 際に、これらのような輪郭符号化技術によって正確に表わすことができる簡単な バイナリ対象であることは理解されるであろう。相補的構成要素1142a−1142cは 、対象を階層的分解の共通のレベルにおいて正確に表わす一般的任意対象分解の １レベルを表わす。工程1130のその後の反復は、連続的に埋め込まれた対象の類 似の表現を与える。 差ブロック1154は、工程ブロック1150にしたがって識別された相補的構成要素 と、原バイナリ形状データ1132における対応する対象との論理的差をとることを 示す。前記差を、１画素ずつを基礎として決定する。例えば、主要な対象1116a −1116cと、個々の相補的構成要素1142a−1142cから形成された固体マスクとの 差は、対象1116a−1116c内に埋め込まれたどんな不連続対象も識別する。図30D は、（基準の目的のために外郭線で示された）主要な対象1116a内に埋め込まれ た対象1116dおよび1116eを識別することと、（基準の目的のために外郭線で示さ れた）主要な対象1116b内に埋め込まれた対象1116fdを識別することとを示す、 結果として生じる差の図式的表現である。図30Dは、主要な対象1116cと相補的対 象1142cとの差がないことが、これらに対象が埋め込まれていないこと を示すことを示す。結果として、対象1114cの符号化外郭線1116cは、圧縮された 形式の対象1114cにおいて完全に記述および表現する。 差ブロック1154は、不連続の埋め込まれた対象（例えば、1116d、1116eおよび 1116f）を識別し、これらを、主要な対象1116a−1116cと同じように処理する工 程ブロック1132に渡す。さらに、対象1116e内の対象1116gおよび1116hのような 対象の各々連続的に埋め込まれた層も、このように連続的に処理する。このよう にして、連続的に埋め込まれた対象または層を、この方法によって階層的に処理 し、一般的任意バイナリ形状を正確に符号化する。差ブロック1154ブロックの差 分演算は、不連続の埋め込まれた対象を識別するように機能する。この機能を、 代わりに、他のバイナリ状態を前記相補的構成要素に割り当て、これらを前記原 バイナリ形状データと加算することによって達成することもできる。 バイナリ対象として、連続的に埋め込まれた不連続構成要素は、第１および第 ２バイナリ状態間で交互に起こることは理解されるであろう。基準の目的のため に、差ブロック1154の偶数番目（例えば、0,2...）に演算された対象を「島」と 呼び、これらは、図30Aにおいて対象1116a−1116c、1116gおよび1116hを含む。 差ブロック1154の奇数番目（例えば、1,3...）に演算された対象を「穴」と呼び 、これらは、図30Aにおいて対象1116d、1116eおよび1116fを含む。 符号化工程1130によって階層的に識別された輪郭符号化対象からの一般的任意 形状1110の復元または分解を、連続的な島および穴を識別する配列にしたがって 階層的に行うことができる。各々の連続階層レベルは、前の、階層的により高い レベルに重なる。例えば、相補的構成要素1142a−1142cを、最初に、先行技術に おいて既知のように、または上述したように、これらの輪郭符号化フォーマット から復号化または伸張する。その後、穴1116d−1116fに対応する相補的構成要素 1142d−1142fを復号化または伸張し、相補的構成要素1142aおよび1142bに重ねる 。最後に、埋め込まれた島1116および1116hに対応する相補的構成要素1142gおよ び1142hを伸張し、前記復元された形状に重ねる。結果として、バイナリマスク に対応する一般的任意形状1110を、圧縮された格納または伝送のために、正確に 符号化および復号化することができる。 図32は、しばしばアルファチャネルと呼ばれる対象透明度データのような非バ イナリ対象データを表わす符号化工程の機能ブロック図である。当該技術分野に おいて既知のように、ビデオ画像の各画素は、予め規定された画素特徴に対応す る画素値を有する。頻繁に、画素には、共に実際的に完全な色範囲を与える、赤 、緑および青色成分に対応する色成分値が割り当てられる。各色成分を、例えば 、8ビットディジタル値によって表わすことができる。代わりに、画素値を、当 該技術分野において既知のように、YUV均一色空間によって表わすことができ、 この、YUV均一色空間において、Yは輝度を表わし、UおよびVは色度を表わす。こ れらのようなY、UおよびV色空間成分の各々も、8ビットディジタル値によって表 わすことができる。 画像の画素に関するこれらのような色空間表現に加えて、いくつかの対象依存 性ビデオ画像表現は、選択された対象に対応する画素の相対的透明度を表わす透 明度または「アルファ」チャネルを含む。アルファチャネルは、普通、ビデオ符 号化または圧縮や、コンピュータグラフィックス、画像構成等において使用され る。規格化スケールにおいて、例えば、０のアルファまたは透明度値は、完全な 透明を表わすことができ、非０透明度値を有するどのような他の対象も上に表現 される対象（例えば、背景）に対応する。これと相違して、１の規格化透明度値 は、対応する対象が、画像においてどのような他の対象の上にも表現されるよう な、完全な不透明を表わすことができる。これらのような透明度値を、少なくと も８ビット、しばしば12または16ビットディジタル値によって表わすことができ ることと、重なっている対象の相対的透明度値を、重なっている対象を表現する ために使用することとは理解されるであろう。 透明度チャネルを含むビデオデータの符号化または圧縮は、この透明度チャネ ルも符号化または圧縮することを必要とする。しかしながら、透明度チャネルの 満足な符号化は、透明度表現の境界を正確に符号化および復号化することを必要 とする。１つ以上の対象の透明度チャネル境界の誤った表現は、伸張または再生 された画像において、見分けられ、望ましくない不連続を形成する。したがって 、本発明の一態様は、透明度チャネル境界の正確な符号化の重要性を確認し、そ のように行う工程を与える。 図32は、対象境界の正確な表現を保持するために、対象透明度データのような 非バイナリ対象情報を表わす符号化工程1160の機能ブロック図である。符号化工 程1160は、正確な透明度データを、階層的符号化工程1130（図31）による外郭線 識別および符号化に与える。加えて、符号化工程1160は、任意の形態の対象に関 する透明度値を予め規定された形態に外挿し、上述したような、離散コサイン変 換（DCT）または格子波形圧縮によるような、従来の方法における圧縮または符 号化を容易にする、前圧縮外挿法400（図17Aおよび17B）を使用する。 階層符号化工程1130および前圧縮外挿法400のこの組み合わせは、透明度デー タを効率的に符号化し、同時に、透明度データ境界の高い精度の表現を保持する ことを可能にする。さらに、符号化工程1160が、正確な境界表現および圧縮効率 が必要または望ましい他の多値対象データ形式に同様に適用可能であることは認 識されるであろう。 符号化工程1160は、ビデオ画像フレームの領域に対応する多値透明度データ11 62を受ける。代表的に、透明度データ1162は、１つ以上の対象に対応し、これら のうちいくつかは、他の対象に部分的または完全に重なってもよい。異なった透 明度値は、代表的に、前記対象の相対的透明度または不透明度にしたがって、前 記対象の異なったものに関係する。 工程ブロック1164は、しきい値フィルタを前記透明度データに用いることを示 す。前記しきい値フィルタは、代表的に、比較的低い、しばしばゼロのしきい値 を有し、高度にまたは完全に透明な対象（例えば、背景）を他の対象から識別す る。工程ブロック1164のしきい値フィルタは、上述した形式の一般的任意形状を 含むことができるバイナリ画像表現を与える。 工程ブロック1168は、前記バイナリ透明度データを、階層的符号化工程1130に 用いることを示す。符号化工程1130は、図31の参照と共に上述したように、前記 バイナリ透明度データを階層的に分解および符号化し、前記透明度データの対応 する境界の正確な符号化表現を与える。 工程ブロック1170は、符号化工程1160が受けた透明度データ1162を、予め規定 された形態に外挿し、圧縮を容易にすることを示す。好適には、前記透明度デー タを、図17Aおよび17Bの参照と共に上述した前圧縮外挿法400によって外挿し、 外挿ブロック境界の予め規定された形態406（図18）は、符号化工程1130の境界 箱1136に対応する。 工程ブロック1172は、前記外挿された透明度データを、DCTまたは格子波形符 号化のようなフレーム内符号化工程によって符号化することを示す。しかしなが ら、工程64の参照と共に上述したようなフレーム間符号化を前記透明度データに 用い、DCTまたは格子波形符号化によって好適に符号化される残差信号を生じて もよい。 符号化工程1160は、格納または伝送するための圧縮または符号化されたデータ として、工程ブロック1168において符号化境界表現を与え、工程ブロック1172に おいて前記透明度データのフレーム内符号化表現を与える。この情報の復号化は 、前記透明度値データの従来のフレーム内復号化（例えば、DCTまたは波形）と 、工程ブロック1164のしきい値フィルタによって識別されたバイナリ透明対象に 対応するバイナリ情報の復号化と、前記復号化境界情報をマスクとして前記復号 化透明度値情報に用い、再構成または伸張された透明度データを表わすこととを 含む。 本発明の原理を好適実施例に関して図示すると共に説明したが、当業者であれ ば、斯かる原理から逸脱することなく実施例の配置構成および詳細を改変し得る ことは自明であろう。従って、本出願人は、本願の特許請求の範囲およびその均 等物の範囲および精神の範囲内に収まる全ての実施例に対して権利を主張するも のである。

Claims (1)

1. 【特許請求の範囲】 １．ビデオ画像フレームの画像切片における一般的任意バイナリ画像特徴を符号 化する方法であって、前記画像特徴が、特徴境界線によって境界付けされると 共に、バイナリ画素値を各々有する複数の特徴画素を有し、前記画像特徴が、 前記特徴境界線から分離したサブ構成要素境界線を有する特徴サブ構成要素を 含み、前記画像切片が、前記画像フレームの複数の特徴画素および複数の非特 徴画素を含み、該方法が、 前記画像特徴について、予め規定された形態を有する画像切片を規定するス テップと、 前記画像切片内の前記特徴境界線を識別し、予め決められた状態のバイナリ 画素値を前記特徴境界線によって境界付けられた画素に割り当て、特徴マスク を形成するステップと、 前記画像特徴および特徴マスク間の差を決定し、前記特徴境界線から分離し たサブ構成要素境界線によって前記特徴サブ構成要素を識別するステップと、 前記特徴サブ構成要素を、新たに指定された画像特徴として指定するステッ プとを具え、これらの方法ステップを前記新たに指定された画像特徴に対して 繰り返し、これらのどの特徴サブ構成要素も識別することを特徴とする方法。 ２．請求の範囲１に記載の方法において、各画像特徴を別々に符号化することを さらに具えることを特徴とする方法。 ３．請求の範囲１に記載の方法において、各画像特徴をその特徴境界線に関して 符号化することをさらに具えることを特徴とする方法。 ４．請求の範囲１に記載の方法において、前記特徴境界線の識別が、前記画像切 片内であるが、前記画像特徴外である第１画素の識別を含むことを特徴とする 方法。 ５．請求の範囲１に記載の方法において、前記特徴境界線の識別が、前記画像切 片内であるが、前記画像特徴外である複数の接続された画素の識別を含むこと を特徴とする方法。 ６．請求の範囲１に記載の方法を実行するコンピュータ実行可能命令を格納した コンピュータ読み出し可能媒体。 ７．ビデオ画像フレームの画像切片における一般的任意画像特徴を符号化する方 法であって、前記画像特徴が、特徴境界線によって境界付けられると共に、各 々が画素値を有する複数の特徴画素を含み、前記画像特徴が、前記特徴境界線 から分離した構成要素境界線を有する埋め込まれた特徴構成要素を含み、該方 法が、 前記画像特徴および特徴構成要素の境界線を連続的に識別するステップと、 前記連続的に識別された前記画像特徴および特徴構成要素の境界線に関して マスクを連続的に形成するステップと、 前記画像特徴および特徴構成成分を符号化するステップと、 前記マスクおよび対応する画像特徴または特徴構成要素間の差を連続的に決 定し、前記特徴構成要素および前記特徴構成要素内のどのような埋め込まれた 特徴サブ構成成分をも、各々識別するステップとを具えることを特徴とする方 法。 ８．請求の範囲７に記載の方法において、前記画像特徴および特徴構成要素を復 号化するステップが、これらを別々に符号化することを含むことを特徴とする 方法。 ９．請求の範囲７に記載の方法において、前記画像特徴および特徴構成要素を復 号化するステップが、これらの境界線を符号化することを含むことを特徴とす る方法。 10．請求の範囲７に記載の方法を実行するコンピュータ実行可能命令を格納した コンピュータ読み出し可能媒体。 11．請求の範囲７に記載の方法において、前記画像特徴を、各々がバイナリ画素 値を有する複数の特徴画素を含むバイナリ画像特徴としたことを特徴とする方 法。 12．請求の範囲７に記載の方法において、前記画像特徴を、非バイナリ画素特徴 を有する複数の特徴画素を含む非バイナリ画像特徴としたことを特徴とする方 法。 13．請求の範囲１２に記載の方法において、前記非バイナリ画像特徴が、特徴透 明度を表わすことを特徴とする方法。 14．請求の範囲１２に記載の方法において、前記画像特徴および特徴構成要素の 境界線を識別するステップが、しきい値フィルタを前記非バイナリ画素値に用 い、前記画素値のバイナリ表現を形成することを含むことを特徴とする方法。 15．請求の範囲１２に記載の方法において、前記画像特徴および特徴構成要素を 符号化するステップが、前記画像特徴境界線と別に前記画像特徴の非バイナリ 画素を符号化することを含むことを特徴とする方法。 16．請求の範囲１５に記載の方法において、前記画像特徴境界線と別に前記画像 特徴の非バイナリ画素を符号化することが、前記画像特徴の非バイナリ画素値 を予め規定された形態に外挿し、符号化を容易にすることを含むことを特徴と する方法。 17．ビデオ画像フレームにおける一般的任意画像特徴に関する多ビット画像透明 度データを符号化する方法であって、前記画像特徴が、特徴境界線によって境 界付けられると共に、多ビット画像透明度値を含む画素値を各々有する複数の 特徴画素を含み、前記画像特徴が、前記特徴境界線から分離した構成要素境界 線を有する埋め込まれた特徴構成要素を含み、該方法が、 前記画像特徴および特徴構成要素の画像透明度値間の境界線を連続的に識別 するステップと、 前記画像特徴および特徴構成要素の連続的に識別された画像透明度境界線に 関してマスクを連続的に形成するステップと、 前記画像特徴および特徴構成要素の画像透明度境界線を符号化するステップ と、 前記マスクおよび対応する画像特徴または特徴構成要素間の差を連続的に決 定し、前記特徴構成要素および前記特徴構成要素内のどのような埋め込まれた 特徴サブ構成成分をも、各々識別するステップとを具えることを特徴とする方 法。 18．請求の範囲１７に記載の方法において、前記画像特徴および特徴構成要素の 画像透明度境界線を識別するステップが、しきい値フィルタを前記多ビット画 像透明度値に用い、前記値のバイナリ表現を形成することを含むことを特徴と する方法。 19．請求の範囲１７に記載の方法において、前記画像特徴境界線とは別に、前記 画像特徴の多ビット画像透明度値を符号化することをさらに具えることを特徴 とする方法。 20．請求の範囲１７に記載の方法において、前記画像特徴境界線とは別に、前記 画像特徴の多ビット画像透明度値を符号化することが、前記画像特徴の多ビッ ト画像透明度値を予め規定された形態に外挿し、符号化を容易にすることを含 むことを特徴とする方法。 21．請求の範囲１７に記載の方法を実行するコンピュータ実行可能命令を格納し たコンピュータ読み出し可能媒体。 22．ビデオ画像フレームの画像切片における一般的任意画像特徴に関する多ビッ ト画像透明度データを表わすデータ構造が格納されたコンピュータ読み出し可 能媒体であって、前記画像特徴が、特徴境界線によって境界付けられると共に 、多ビット画像透明度値を含む画素値を各々有する複数の特徴画素を含み、前 記画像特徴が、前記特徴境界線から分離した構成要素境界線を有する埋め込ま れた不連続特徴構成要素を含み、前記データ構造が、 前記画像特徴および特徴構成要素の画像透明度境界線の符号化バイナリ輪郭 表現と、 前記画像特徴および特徴構成要素の画像透明度境界線内の多ビット画像透明 度値の符号化表現とを具えることを特徴とするコンピュータ読み出し可能媒体 。 23．ビデオ画像フレームの画像切片における一般的任意画像特徴を符号化する方 法であって、前記画像特徴が、特徴境界線によって境界付けされると共に、画 素値を各々有する複数の特徴画素を有し、前記画像特徴が、前記特徴境界線か ら分離した構成要素境界線を有する少なくとも１つの特徴構成要素を含み、前 記画像切片が、前記画像フレームの複数の特徴画素および複数の非特徴画素を 含み、該方法が、 前記画像特徴について、予め規定された形態を有する画像切片を規定するス テップ（ａ）と、 前記画像切片内の前記特徴境界線を識別し、予め決められた状態のバイナリ 画素値を前記特徴境界線によって境界付けられた画素に割り当て、特徴マスク を形成するステップ（ｂ）と、 前記画像特徴および特徴マスク間の差を決定し、前記特徴境界線から分離し た構成要素境界線によって前記特徴サブ構成要素を識別するステップ（ｃ）と 、 前記特徴構成要素を、新たに指定された画像特徴として指定し、ステップ（ ａ）−（ｃ）を前記新たに指定された画像特徴に対して繰り返すステップ（ｄ ）と、 ステップ（ｄ）を、前記新たに指定された画像特徴内のどのような特徴構成 要素に対しても繰り返すステップ（ｅ）とを具えることを特徴とする方法。 24．請求の範囲２３に記載の方法において、各々の指定された画像特徴を別々に 符号化することをさらに具えることを特徴とする方法。 25．請求の範囲２３に記載の方法において、各々の指定された画像特徴をその特 徴境界線に関して符号化することをさらに具えることを特徴とする方法。 26．請求の範囲２３に記載の方法において、前記特徴境界線の識別が、前記画像 切片内であるが、前記画像特徴外である第１画素の識別を含むことを特徴とす る方法。 27．請求の範囲２３に記載の方法において、前記特徴境界線の識別が、前記画像 切片内であるが、前記画像特徴外である複数の接続された画素の識別を含むこ とを特徴とする方法。