JP2002517176A

JP2002517176A - デジタル動きビデオ信号のコード化と復号の方法および装置

Info

Publication number: JP2002517176A
Application number: JP50730892A
Authority: JP
Inventors: ジエイゴリン，スチユアート
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 1991-02-19
Filing date: 1992-02-13
Publication date: 2002-06-11
Also published as: WO1992015173A1; EP0574502A1; AU1469992A; US5122873A

Abstract

(57)【要約】デジタルビデオ信号の少なくとも１つの選択された画像が複数の解像度のレベルでコード化される。各解像度のレベルについて、その解像度レベルの基準画像中の各ピクセルの値を、その解像度レベルの選択された画像中の各対応するピクセルの値から減算することによって補正画像が形成される。この補正画像は量子化され、コード化される。デコーダが各解像度レベルについて、コード化され量子化された補正画像を復号する。最も低い解像度を持つ復号された補正画像中の各ピクセルの値が、同じ解像度の基準画像の各対応するピクセルの値に加算されて、最も低い解像度の出力画像が形成される。この出力画像は次に高い解像度のレベルに拡張される。拡張された出力画像中の各ピクセルの値は、同じ解像度レベルの復号された補正画像中の各対応するピクセルの値に加算されて、その解像度レベルの出力画像が形成される。このプロセスが、全解像度まで拡張された拡張出力画像の各ピクセル値が、全解像度の復号された補正画像中の各対応するピクセルの値に加算されて、後の表示のためにメモリに記憶される最終画像が形成されるまで、継続される。

Description

【発明の詳細な説明】デジタル動きビデオ信号のコード化と復号の方法および装置関連出願との相互関係この出願は、現米国特許第4,868,653号となった1987年10月５日付米国特許出願第07／104,457号の継続出願である1989年９月15日出願の米国特許出願第07／4 08085号の一部継続出願である。発明の技術分野この発明は、ビデオ信号の処理に、具体的にはフル・カラー・ビデオ信号を表している圧縮されたデジタル・ビデオ信号を供給するシステムおよび復号するシステムに関するものである。発明の背景デジタル・ビデオ信号を、コンパクト・ディスク（ＣＤ）のような比較的狭帯域の媒体に記録し易くするために圧縮技法が必要であることは、既に知られている。高橋氏その他が米国特許第4520401号に開示したシステムでは、デジタル・オーディオ・ディスクに記録するために差分パルス符号変調（ＤＰＣＭ）法でデジタル・ビデオ信号をコード化している。この公知のシステムでは、ビデオ・フレームのルミナンス（Ｙ）成分とクロミナンス（Ｒ−Ｙ、Ｂ−Ｙ）成分とは、別々にＤＰＣＭ法で圧縮されている。この両成分は、スクリーン上で互いに隣接する特定数の行または列をなす画素データ・グループに、或る回路によって分割される。同期信号、画像モード識別信号および画像情報量識別コードを有するヘッダ信号が供給される。このヘッダ信号は、上記の分割された画素データ・グループの開始位置に付加されて、デジタル・ルミナンス、２種類のデジタル色差信号およびヘッダ信号が時間シーケンシャルに多重化および記録される信号フォーマットを有するデジタル・ビデオ出力を生成する。上記高橋氏その他によるシステムの一実例においては、デジタル・ビデオの静止フレームが記録され、フレーム当たり約４秒のレートで更新される。この圧縮されたデータを、各グループが完全なカラー情報を含む線グループに分割すると、前のフレームを表示している間線グループがシーケンシャル（逐次）更新されて部分的に動きのある画像を生成する偽似の動き効果を与える。本出願の親出願である米国出願第07／408085に記載されているシステムは、比較的狭帯域の媒体を使用して記録または伝送するに適した、全動き（モーション）のカラー・ビデオ信号を表す圧縮されたデジタル・ビデオ信号を生成する要求、およびその様な圧縮された信号を復号して全動きビデオ画像を通常のビデオ・フレーム・レートで表示可能とする要求に、応じることに関するものである。そのシステムは、大部分の画像をコード化しまた復号するには有効であるが、たとえば、大量の（大幅の）速い、かつ／或いは不規則な（アンコーディネイテッド）動き、すなわち画像の比較的大きな部分に亘って実質的に一様に同一方向に起こるものでない動きのような、或る種の画像に対しては、或る程度面倒なことがあることが判った。その様な画像は、コード化することが難しいことが判った。その理由は、上記のシステムが採用した線形フィル(fill)技法は、可成りの量の不規則な細部の動きを含んだ画像に対して使用するには余りにも不充分なコード化法であるからであった。その様な画像に対しては、個々のピクセルのそれぞれをコード化することが望ましいが、上記親出願に開示されているシステムは、各ピクセルのコード化に２分の１ビットを平均することしかできないことが多い。その様な理由で、細部に可成りの量の動きがある画像のような、選ばれた画像を有効に圧縮しまたその圧縮復元（デコンプレッションすなわち圧縮状態を元に戻すこと）を可能とするような機能を上記のシステムに付加することが望ましい。発明の要約この発明は、比較的狭帯域の媒体を使用して記録または伝送するに適当したフル動きカラー・ビデオ信号を表す圧縮されたデジタル・ビデオ信号で、かつ少なくとも通常のビデオ・フレーム・レートに等しい速度で圧縮復元可能な圧縮されたデジタル・ビデオ信号を供給するための、圧縮システムに対する要望に応えることに関するものである。ここに記述する一実施例では、コンパクト・ディスク型読み取り専用メモリ（ＣＤ−ＲＯＭ）記録媒体に、毎秒当たり30フレームで全動きカラー・デジタル・ビデオ記録を行う場合に、１時間以上の記録時間を達成することができた。この発明の１つの特徴として、デジタル動きビデオ信号の第１フレームと第２フレームは、相異なる圧縮法によって圧縮され、各圧縮法を示す識別コードを含んだ出力信号が形成される。この発明の別の特徴として、デジタル・ビデオ信号の各フレームは複数の領域を形成するように分割され、各領域は別々に解析され、数種の圧縮法のうち、コード化される領域の特性に特有の適切なコード形式を与える、選ばれた方法によってコード化される。この発明のまた別の特徴として、デジタル動きビデオ信号は、フレーム当たりのバイト数および圧縮された信号のフレーム当たりの復号時間の推測値の関数として制御される圧縮閾値を使用して圧縮される。この発明の更にまた別の特徴として、ビデオ・フレームは、個々にコード化される複数の領域を形成するように繰返し分割され、その分割の方向すなわち垂直方向か水平方向かは、それらの領域に関連するピクセル・パラメータの分布状態を比較することによって決定される。この発明の更に別の特徴として、デジタル・ビデオ信号の、少なくとも１つの選択されたフレームでまた選択された画像とも名付けるフレームが、多数の（マルチプル）解像度レベルでコード化される。各解像度レベルに対して、その解像度レベルの基準画像中の各ピクセルの値を、その解像度レベルの上記選択された画像中の各対応ピクセルの値から差し引くことによって、補正画像が形成される。この補正画像は量子化されてコード化される。各解像度レベルに対して、その解像度レベルの量子化された補正画像中の各ピクセルの値を、同じ解像度レベルを有する基準画像中の各対応ピクセルの値に加算することによって、出力画像が形成される。最低解像度レベルの基準画像は、すべて同じ値を有するピクセルのアレイで構成されている。より高い解像度レベルの基準画像は、次に低い解像度レベルの出力画像をそのより高い解像度レベルへ拡張することによって形成される。デコーダは、各解像度レベルに対して、コード化され量子化された補正画像を復号する。最低の解像度を有する復号された補正画像中の各ピクセルの値は、同じ解像度を有する基準画像の各対応するピクセルの値に加算されて、最低解像度の出力画像を形成する。この出力画像は次に高い解像度レベルに拡張される。この拡張された出力画像中の各ピクセルの値は、同一解像度レベルの復号された補正画像中の各対応するピクセルの値に加算されて、その解像度レベルの出力画像を形成する。このプロセスは、既にフル解像度まで拡張されている拡張出力画像中の各ピクセル値が、フル解像度の復号された補正画像中の各対応ピクセルの値に加算されて後で表示するためにメモリ中に記憶される最終画像を形成するまで、続けられる。図面の簡単な説明この発明の、上記したおよびそれ以外の特徴は添付図面に示されている。各図を通じて同様な要素には同様な参照符号を付けて示してある。第１図は、記録媒体としてコンパクト・ディスク型読み取り専用メモリ（ＣＤ −ＲＯＭ）を使って、全動きビデオ・多チャンネル・デジタル・オーディオおよび補助（たとえば、相互作用的な）データの記録と再生を行う、この発明を実施したデジタル・ビデオ相互作用システムのブロック図である。第２図は第１図のシステムの記録部に使用されるデジタル・ビデオ・エンコーダのブロック図である。第３図〜第９図は、第２図のエンコーダ中の種々の処理段におけるデジタル・ビデオ信号フォーマットを示す図である。第10図〜第12図は、第２図のエンコーダにおける過大寸法とされた（オーバサイズド）フレームを処理する２つの方法を示す図である。第13図は、第２図のエンコーダで使用するためのパディングおよびディザリングを与えるフォーマッタのブロック図である。第14図は、第２図のエンコーダで使用される事前圧縮（プリコンプレッション）処理器のブロック図である。第15図は、第14図の処理器の一部の詳細を示すブロック図である。第16図は、フレーム内およびフレーム間領域特定（リージョン−スペシフィック）コード化、領域面積による量子化およびフレーム・セグメント化可変長コード化を与える、第２図のエンコーダで使用されるデジタル・ビデオ圧縮器のブロック図である。第17図は、静止ビデオ・フレームおよび動きビデオ・シーケンスの第１フレームを圧縮するための第16図の圧縮器に使用されるフレーム内コーダの動作を示すフローチャートである。第18図は、第16図の圧縮器で使用される画像エッジ解析を示す領域図である。第19図は、第16図の圧縮器で使用するための、分割（スプリット）／フィルを与える粗さエスチメータのブロック図である。第20図〜第23図は、第16図の圧縮器で使用される双一次的（バイリニヤ）絶対フィル・コード化を示す領域図である。第24図は、境界エラーの大きさを示す領域図である。第25図は、第２図のエンコーダで使用されるオーディオ圧縮器のブロック図である。第26図は、クワッド・トリー(quad-tree)領域化（リジョナライゼーション）を示す図である。第27図は、第16図の圧縮器における画像の２進トリー領域化を示す図である。第28図と第29図は、第27図の領域化された画像の分割／フィルコード化の図の実例である。第30図と第31図は、それぞれ第28図と第29図のコード化図のためのトリー・コードの例である。第32Ａ図〜第32Ｊ図は、最も好ましい領域分割方向を決定するためのエッジ分布解析を示す領域図である。第33A図は、コンピュータ装置のための、または領域内の水平および垂直エッジの分布の解析によって第16図の圧縮器で最も好ましい分割方向を決定するための、フローチャートである。第33B図は、第33A図の装置のためのパラメータのテーブル・リストである。第34Ａ図および第34Ｂ図は、第16図の圧縮器における領域分割の２つの形態を示す図である。第35Ａ図〜第35Ｅ図は、第16図の圧縮器における重み付けされたメジアン・フィルタ作用を示す図である。第36Ａ図〜第36Ｃ図は、第16図のエンコーダで使用するための非線形低域通過フィルタ作用を示す図である。第37図は、多項式の適合性比較によって最も好ましい分割方向を見出す手法を示す図である。第38図は、第37図の分割方向方法を実行するコンピュータ装置のフローチャートである。第39図は、動きビデオ・シーケンスの第２フレームおよびそれに続く全フレームをコード化するための、第16図の圧縮器に使用されるフレーム間コーダの動作を示すフローチャートである。第40図は、第39図のフレーム間コーダにおける領域変換を示す図である。第41図および第42図は、それぞれ、第39図のフレーム間コーダにおける最良の領域サーチ方向の選択を示すベクトル図とフローチャートである。第43図は、第39図のフレーム間コーダで使用される領域変換および相対的コード化を示す図である。第44図は、第16図の圧縮器で使用される領域面積依存適応型量子化方法を示す表である。第45図は、第44図の面積依存量子化法を行う第16図の装置の動作を示すフローチャートである。第46図は、第16図の圧縮器で使用するためのストリーム・セグメント化可変長コーダのブロック図である。第47図は、第16図の圧縮器によって供給されるデータ・ストリームのフォーマットを示す図である。第48図は、第１図の再生システム８で使用される圧縮されたデジタル・ビデオ信号のデコーダのブロック図である。第49図、第50図および第51図は、第48図の絶対、相対的、ダイアド（１対）およびＤＰＣＭコード化領域のための第48図のデコーダの領域位置メモリに記憶されたデータをリストした表の例である。第52図は、第48図のデコーダで使用するためのメモリ構成を示すブロック図である。第53図は、第48図のデコーダによるフレーム間コード化領域の相対的領域復号作用を示す図である。第54図は、第53図の相対的復号を行う装置のブロック図である。第55図は、フレーム内コード化領域の第48図のデコーダにおける絶対領域復号作用を示す図である。第56図は、第55図の絶対復号作用を行う装置のブロック図である。第57図は、第48図のデコーダにおける領域のＤＰＣＭ復号作用を示す図である。第58図は、第57図の領域ＤＰＣＭ復号作用を行う装置のブロック図である。第59図は、第48図のデコーダにおけるピクセル・データの逆量子化（デカンタイジング）のための面積依存適応型量子化値をリストした表である。第60図は、第48図のデコーダにおける面積依存逆量子化（エリア・デペンデンド・デカンタイゼーション）を行う装置のブロック図である。第61図と第62図は、第48図のデコーダにおけるダイアド復号作用を示す図である。第63図は、第48図のデコーダで使用するダイアド・デコーダのブロック図である。第64図は、この発明による選択された画像に対するコード化法のブロック図である。第65図は、ナル領域および非ナル領域に分割された量子化された補正画像の例を示す図である。第66図は、第65図に示された典型的な量子化された補正画像の諸領域を説明する領域表を示す図である。第67図は、この発明による選択された画像に対する復号法のブロック図である。詳細な説明第１図のデジタル・ビデオ相互作用システムは記録システム６と再生システム８で構成されている。記録システムは、信号源10、12および14を有し、これらの信号源はそれぞれ多チャンネル音声信号Ｓ１、カラー動きビデオ信号Ｓ２および補助データ信号Ｓ３を供給するものである。エンコーダ16は、信号Ｓ１、Ｓ２およびＳ３をコード化し合成して、ＣＤ−ＲＯＭレコーダ18によってコンパクト・ディスク型読み取り専用メモリ（ＣＤ−ＲＯＭ）ディスク20に記録されるデジタル記録信号Ｓ４（以下、ビットストリームという）を形成する。補助データ信号Ｓ３は、ビデオまたはオーディオ信号に関連した相互作用データ或いはこれらオーディオまたはビデオ・データとは無関係の他の何等かの形式のデジタル・データである。ビット・ストリームＳ４の平均データ・レートは、1.2メガビット毎秒の標準ＣＤ−ＲＯＭ記録／再生ビット・レートと等しくなるように、コード化パラメータを選択することによって制御される。このパラメータは、後述するように、最長１時間のデジタル・コード化された全動きカラー・ビデオ・データ、多チャンネル・デジタル・オーディオ・データおよび補助データを、ＣＤ−ＲＯＭディスク20に記録することができるように、選択される。ＣＤ−ＲＯＭディスク・プレーヤの比較的低いチャンネル容量に適合するようにこの記録信号のデジタル全動きカラー・ビデオ部分をコード化するには、非常に大幅なデータの低減が必要である。特定の例においては、このデータ低減は、典型的なビデオ・フレーム・レート30ＦＰＳ（フレーム／秒）について約150：１のオーダである。通常のビデオ圧縮技術に付帯する目に見えるようなアーティファクツ（不自然さ）を除きつつこの厳しい要求に応えるために、エンコーダ16は、ビデオ信号Ｓ２をカラー・フレームのシーケンシャル成分形態に変換してその各成分の各フレームが別々に後述するように或る数の特に適したプロセスを受けるようにする。概略を列挙すれば、それらのプロセスは、可変サブ・サンプリング、ここで領域特定コード化という方法を採用する可変フレーム間およびフレーム内圧縮、面積依存適応型量子化、セグメント化可変長コード化、逆フレーム・シーケンス・リフォーマット、パディングおよびフレーム・ディザリング等を含んでいる。個々のプロセスの選択、各々によって与えられるデータ低減の分担の選択、および可変圧縮パラメータ（たとえば、閾値、動作モードおよび特に圧縮を止める時）の選択は、ＣＤ−ＲＯＭデジタル・オーディオ・テープ（ＤＡＴ）またはその他の帯域幅の制限された媒体に記録するために全働きカラー・ビデオをコード化するという目的に合致するような、厳しい選択を表している。その様な選択は、ＣＤ−ＲＯＭ媒体のチャンネル容量だけでなくそれ以上のものに依存して決まる。それらは、また、ビデオ・フレーム・レート、所望の空間的解像度、ビデオ画像内容の或る特定の特性などの変数に依存し、また最終的に画像を再構築するために使用するデコーダのパラメータに依存している。後述するように、各個々のビデオ・フレームは成分形態に変換され、各成分は分割され、多数の、画素（ピクセル）の領域またはピクセルのブロックを形成するようにされる。各領域は次に個々にカスタム・コード化される。このプロセスを、以下「領域特定コード化」と名付ける。各領域に対するこのコード化は、再生システム８中のビデオ・デコーダが、このデコーダに課せられた復号作業をリアル・タイムで、すなわち１ビデオ・フレーム期間内（可変）で全て完了するという厳しい要求に合致できるように、グループをなすコードの中から選択される。記録システム６の、上述のおよび他の特徴は、第２図〜第47図、第61図、第62 図、第64図〜第66図に関連して詳細に説明する。再生システム８の詳細は第48図〜第63図および第67図について後述する。第２図において、エンコーダ16は、信号源10からのオーディオ信号Ｓ１、信号源12からのビデオ信号Ｓ２、および信号源14からの補助データ信号Ｓ３を、それぞれ受け入れる、入力端子202 、204および206を持っている。オーディオ処理の概要を説明すると、信号Ｓ１は、チャンネルの選択およびアナログ・デジタル（Ａ／Ｄ）変換を受け、フレームからフレームへとエラーが伝わらないような対策を講じて圧縮され、ビットストリームＳ４の各ビデオ・フレーム中に含まれてオーディオ／ビデオの同期が得られるようにオーディオ・データのブロックとして、後で回復できるように記憶される。詳しく説明すると、オーディオ信号Ｓ１は、チャンネル選択器とデジタル・アナログ（Ｄ／Ａ）変換器ユニット208に供給される。ユニット208は、コード化すべきヂャンネル数とチャンネル・サンプリング・レートを選択するための操作員用の制御器（図示されていない）を持っている。モノラル音声の記録には１チャンネルを、ステレオの場合は２つのチャンネルを、ステレオ／バイリンガルの場合は４つのチャンネルを等という具合に選択する。現在高品質のオーディオ記録に使用されているザンプリング・レートは31.25KHzで、これは15KHzのオーディオ帯域幅を保証している。このレートは、標準品質用にはその２分の１に、また肉声級のオーディオ用にはその４分の１に、することができる。デジタル化されたオーディオ信号Ｓ５は、適応型差分バルス・コード変調（ＡＤＰＣＭ）エンコーダ210によって記録のために低減される。このエンコーダ210 は、信号Ｓ５のサンプル相互間の差をコード化して圧縮されたデジタル・オーディオ信号Ｓ６を形成する。相連続するオーディオ・サンプルは屡々高度の相関性を持っているので、このサンプル間の差をコード化するにはより少数のビットしか必要としない。ここで「適応型」という語は、このエンコーダが、広いダイナミック域に亘って微細な分解能を与えるように、コード化された差のビットの重要度（シグニフィカンス）を先にコード化された差の関数として変化させる形式のものであることを意味するものとする。エンコーダ210は、在来型の設計のものでよいけれども、全体的なオーディオ／ビデオのコード化の目的から、オーディオ・サンプルを充分な解像度で周期的にコード化するように、周期的なベースでバイパスするかリセットする手段が講じられていることが、非常に望ましい。たとえば、エンコーダ210（第25図）は2 56バイトごとに１回ずつリセットされる。このオーディオ信号は、ビット・ストリームＳ４中に、ビデオ・データの各ブロックに対し、オーディオ・データのブロックが１個含まれるように、最終的にブロック形態に編成されることを想起されたい。このオーディオ・データのブロックの形成（フォーメーション）と信号Ｓ６を記憶するバッファ記憶器212を介して維持される。後で、このオーディオおよびビデオ・データを、次に説明するように、合成するとき、フォーマッタ25 0がこの記憶されている信号（Ｓ７）をフレームごとのベースで周期的に回復する。現在使用されている典型的なオーディオ・ブロックの大きさ（サイズ）は、30ＦＰＳのビデオ・フレーム・レートおよび肉声級のオーディオに対して、130および134バイトである。このオーディオ・ブロックの大きさは、サンプリング・レート、記録すべきオーディオ・チャンネルの数、およびフォーマッタ250内のオーディオ・ディザリングに依存する。ＤＰＣＭエンコーダ210を周期的にリセットまたはバイパスする１つの理由は、ＣＤ−ＲＯＭ伝送システム中で発生する可能性のあるオーディオ・エラーが１つのフレームから次のフレームへと伝播することを防止するためである。この特徴は、また、編集点としてどのフレームでも選出できるように、後で行うシーケンスの編集をし易くする。この特徴は、第25図に示されたように、圧縮されたオーディオ信号Ｓ６のバイト・カウント（バイト・カウンタ216で生成された）がバイト・リミット信号源218によってセットされたバイト・リミットを超えたとき、オーディオＤＰＣＭエンコーダ211のリセット入力Ｒにリセット信号を供給する比較器214によって実現することができる。ビデオコード化の概略第２図においてビデオコード化を行う主たる要素は、事前圧縮処理器220、デジタル・ビデオ圧縮器230および出力信号フォーマッタ250で、これらは第３図〜第47図と第64図〜第66図を参照して、詳細に説明されている。概略を説明すれば、処理器220はビデオ信号Ｓ２を非標準フォーマットに変換する。この変換された非標準フォーマットは、可変量のデータ低減を与え、その後の圧縮を容易化し、空間的−時間的解像度を制御する可変フレーム・レート処理に関するシステムの或る種の特徴に寄与するものである。幾つかの画像は、後で完全に異なったレートで表示するために１つのフレーム・レートで変換される。圧縮器230は、大まかに言えば、フレームを特定の「最適」値にコード化するためにデジタル・データの量を減少させるための、４つの処理形式を採用している。上記の値は、ＣＤ−ＲＯＭチャンネル容量に関連しているが、フレーム・レート、所要の空間的−時間的解像度、およびその他エラー伝播および視覚的条件などを含む数個の変数の関数として変化するものである。上記の処理形式は、静止フレームに対する、および動きビデオ・シーケンスの最初のフレームと選択されたフレームに対する、フレーム内領域特定コード化を含んでいる。フレーム間領域特定コード化は、動きビデオ・シーケンスの第２および後続フレームに対して使用される。コード化されたフレームは、更に圧縮器230内において、この明細書中で面積依存適応型量子化およびセグメント化ストリーム可変長コード化と、それぞれ名付けた２つのプロセスによって、またデータの低減が行われる。これらのプロセスは、上記した所要の最的値に達するまで、各ビデオ・フレームに対して施される。フレームの或るシーケンスは、最適の圧縮値に達するように、圧縮閾値を変えて、繰返し圧縮されることもある。ときどき、余りにも大き過ぎて、明らかに目立つ程のアーティファクツを導入することなしに圧縮パラメータを変えることにより所望バイト・カウントまで低減させ得ない「不可能な」フレームに出会うこともある。その様に過大なフレームは、オーディオ、ビデオ、補助（たとえば、相互作用的）および他のデータを合成して記録用ビット・ストリーム信号Ｓ４を作り出すフォーマッタ250内で、特別の処理を受ける。具体的には、フォーマッタ250は最後のフレームから最初のフレームへと逆向きにフレームを分析して、短いフレームからスペースを借り、過大なフレームの余分なデータを保持する。フォーマッタ250が与える他の機能には、パディング・データを過小フレームに加算し、フレーム当たりのデータのバイト数をディザリングして、ＣＤ−ＲＯＭシステムをその最大チャンネル容量で動作するように維持し、また再生期間中のポーズ（休止）が無いようにする。ＣＤ−ＲＯＭプレーヤの回復時間（探索モードの潜在性）を長くかつ予測できないようにし得るので、ポーズを避けることができる。ときどき、表示されるビデオの品質を向上させるために、特別の処理をするため画像を選択することが望ましいことがある。その様な画像の一例は、相当な量の、速い、かつ／または不規則な動きすなわち画像の比較的大きな部分に亘って実質的に一様に同一方向に発生しないような動き、を含む画像である。以下、被選択画像と名付けるこの画像は、以下説明するように多数の解像度レベルでコード化される。画像は、たとえば復号されたデジタル動きビデオ信号の視感的品質といった様な、質的な基準をベースにして選択される。画像は、また、たとえば平均２乗差ＭＳＤがいつ所定の閾値を超えるか、という様な、量的な基準をベースとして選択することもできる。この発明に従って特別の処理を受けるための画像の選択に使用でき上記以外の量的基準には、それに限られる訳ではないが、差画像（ディファレンス・イメージ）のピーク値がいつ所定の閾値を超えるか、または差画像の平均絶対値がいつ所定閾値を超えるか、が含まれる。ビデオ処理の詳細は、「ビデオの事前圧縮処理」、「ビデオの圧縮処理」、「事後圧縮処理」、「再生システム」および「ビデオの復号」、と見出しを付けた以下の５項において説明する。ビデオの事前圧縮処理事前の圧縮処理器220は、入力端子204（第２図において）に結合されていて、標準ビデオ信号Ｓ２を、引き続きエンコーダ16で採用される特定形式の圧縮およびフォーマッティング関数に特に適合した非標準形に変換する。具体的には、ビデオＳ２の各フレームは、この事前圧縮処理器220において変換されて、１つのルミナンス・サブフレームと１対のカラー差信号サブフレームとより成る３個の別々の成分フレームを形成する形になる。この各カラー差サブフレームは、原ビデオ・フレームについてサブサンプルされ或いはされていないルミナンス・サブフレームに対して、或る所定量だけサブサンプルされる。この原ビデオ信号は、アナログまたはデジタルでも良く、また成分形式、合成形式またはその他の適当な形式たとえば多重化アナログ成分（ＭＡＣ）形式のもので良い。第３図、第４図および第５図は、信号Ｓ２を、第３図にその１フレームを示したＮＴＳＣ標準合成ビデオ信号であるとした場合の、ビデオ信号Ｓ２の１フレームの事前圧縮処理を示している。第４図は、事前圧縮処理の中間段階を示し、この段階では、合成信号は同期およびブランキングの両期間を除き、かつ各ＲＧＢフィールドの有効ビデオ部分を表すＲＧＢ画素（ピクセル）アレイを形成するようにデジタル化された、ＲＧＢ成分形式に復号されている。この図示されたアレイのディメンジョンは、各ＲＧＢ成分について、水平512ピクセル×垂直240ピクセルである。第５図は、事前圧縮処理の最終段階を示し、この段階では、第４図のデジタルＲＧＢアレイが既に変換されて、大きさが256×240ピクセルの単一のルミナンス信号サブフレーム（Ｙ）と、各々大きさが64×60ピクセルである２つの色差信号サブフレーム（ＩおよびＱ）を形成している。この３つのサブフレームは、後続する個別化された「カスタム」圧縮のためにメモリ（後述する）に記憶される。第３図、第４図および第５図を比較すれば、デジタルＲＧＢの形式で737280バイトを必要とする信号Ｓ２の１フレーム（第３図）が、サブ・サンプリング、変換およびフォーマッティングの後では69120バイトに低減され、すなわち、30ＦＰＳの所定レートに対して約11：１の率でフレームに対する有効なデータ低減がなされたことが判る。フレーム・レートの関数として第５図のサブフレームの大きさを変えてコード化されたフレームの時間的空間的な解像度を変え得るように、第２図では操作員用の制御ユニット220が設けられている。システムのこの特徴は、次の様にして行われる信号の次の圧縮に関係している。このＣＤ−Ｒ０Ｍ記録システムは、前述のように約1.2メガビット毎秒のビット・レートを保つことができる。30ＦＰＳ（毎秒当たりのフレーム）のビデオの場合、このチャンネル容量は、フレーム当たり5125.12バイトのビデオ・バイト・カウント（８−ビット／バイト）に相当する。この5125.12バイト毎フレームのうち、典型的にはフレーム当たり約450 0バイトがビデオ用に利用され、残りはオーディオおよび他のデータ用に使用される。ビデオ圧縮器（後述する）は、所定レートが30ＦＰＳの場合、フォーマットされたＹＩＱサブフレームを上記とは別の約15：１の率で69 120から4500バイト毎フレームに圧縮することによって、この要求に応じる。再生フレーム・レートを２分の１にすると、各フレームについて復号に２倍の時間（15分の１秒）を利用でき、各フレームのコード化に9000バイトを利用することができる。この復号時間と画像データ量の増加は、種々の方法で画質の改善に使用することができる。たとえば、コード化された画像中のピクセル数を増加させること、或いはより高いフレーム・レート（30ＦＰＳ）におけると同数のピクセルをより正確にコード化すること、ができる。第14図は、前述した可変サブ・サンプリングおよびフォーマット変換機能を行う、事前圧縮処理器220の特定の構成を示す処理器220は、合成ビデオ信号をＲＧＢ成分の形に変換するＲＧＢデコーダ1402を具えている。ＲＧＢ成分は、アンチ・エイリアシング（２MHz）低域通過フィルタ（ＬＰＦ：1404、1406、1408）を介して、プログラム可能なグラフィクス・ワークステーション1410の入力に印加される。ワークステーションとして適当なものはアデージ(Adage)3000カラー・ラスタ・ディスプレイ・システムである。第２図における、操作員の制御ユニット222は、フィールド、線およびピクセルの「スキップ・リスト」を、アンチ・エイリアス・フィルタ係数およびサンプル・レート制御データと共に、ワークステーション1410に供給する端子ユニット222'（第14図において）を持っている。このワークステーションによって、Ｙ、ＩおよびＱサンプルのデータ低減されたサブフレームが生成され、ディスク記憶器1412中に記憶される。第15図は、第５図の非標準サブ・フレーム信号フォーマットを作り出すためビデオ信号Ｓ２を処理する場合に使用されるワークステーション1410の特別にプログラムされた構成を示すブロック図である。フィルタ1404〜1408で生成されるアンチ・エイリアス濾波処理されたアナログＲＧＢ信号が各アナログ・デジタル変換器1502〜1506に供給される。これらの変換器は、このワークステーションのタイミングおよび制御ユニット1530に結合された端子222'によって制御される、有効線期間当たり512ピクセルを供給するように選択されたレートで、上記の信号をデジタル化する。デジタル化されたＲＧＢ信号（第４図）は２バンクのスイッチ1510と1514によって、サブ・サンプルされる。スイッチ1510は、ＲＧＢ信号の１つおきのフィールドをスキップするようにユニット1530によってタイミングをとられる。スイッチ1514は、１つおきのピクセルをスキップして、得られるデジタル化されたサブ・サンプルされたＲＧＢ信号がそれぞれ、フレーム当たり256 ×240ピクセルのアレイより成るようにされる。マトリックス1516はサブ・サンプルされたＲＧＢ信号をＹＩＱ形式に変換する。このＩおよびＱ色信号は、ルミナンス信号Ｙに対して、垂直および水平の両方について、それぞれ４：１でサブ・サンプルされる。これは、水平アンチ・エイリアス低域通過フィルタ1518（500KHz）、垂直アンチ・エイリアシング低域通過フィルタ1520（画像高さ当たり線60本）、線４本中の３本をスキップするスイッチ1522 、および４ピクセル中の３ピクセルをスキップするスイッチ1524によって、行われる。このフォーマット化されたＹ、ＩおよびＱサブフレーム信号（第５図）は、次に、ディスク記憶器（たとえば、ハードディスク・ドライブ）1412中の各サブフレーム位置に記憶されて、後で行われる回復および圧縮にそなえる。前述した様に、濾波およびサブ・サンプリングのパラメータはフレーム・レートによって決まる可変のものである。第14図および第15図の特定例の場合はこのフレーム・レートは30ＦＰＳであるものとしている。異なったフレーム・レートの場合には、操作員は、ユニット1530のタイミングをとりかつ制御するために、端子222'を通じて、適切なアンチ・エイリス・フィルタ係数、スキップ・リスト、および変換周波数を、入力する。しかし如何なるフレーム・レートまたは解像度であっても、原信号は如何なる形式（アナログまたはデジタル、成分、合成またはＭＡＣなど）であれ、ルミナンス成分Ｙと、このルミナンス成分に対して垂直水平の両方向についてサブ・サンプルされ濾波された１対の色差成分より成る形式になるように、第５図に示されるように変換されることが重要である。色差成分ＩとＱは、ここでは一例として使用されている。代わりに、このカラー成分は、Ｒ−ＹおよびＢ−Ｙ、またはＵとＶという様な別の形式であってもよい。この発明の好ましい実施例で、更に選択した画像の多数解像度コード化法を採用した形では、第14図の事前圧縮処理器220は、ＲＧＢデコーダ1408の代わりにＹＵＶ線順次出力をＹＵＶ線並列出力にするＭＡＣデコーダを入れ、第15図のＲＧＢ／ＹＩＱマトリックスを除き、かつ第５図のルミナンスおよび色差成分の各（別々の）サブフレームを作るに要するサブ・サンプリングのパラメータを変えることによって、ＭＡＣ形式のビデオ入力信号を処理するように変形される。これ以外の変形も可能であることは理解できよう。たとえば、この信号源は、濾波処理をする前にＹＩＱまたはＹＵＶ成分に復号することもできる。ＲＧＢかＹＩＱの何れかをサンプリングすることもできる。ビデオ圧縮処理事前圧縮処理の後で、このＹ、ＩおよびＱビデオ・サブフレームは、個別に圧縮するために、ディスク記憶器1412から、１時に１つずつ回復される。このサブフレームの順次回復処理は第２図に、サブフレーム選択器スイソチ224によって、記号的に示されている。図示された位置では、スイッチ224は、動きビデオ・シーケンスのすべてのＹサブフレームを圧縮器230に供給し、同圧縮器230は完全なサブフレームを圧縮してバッファ記憶器 232中に記憶させる。スイッチ224は、次いで進められて、シーケンスのすべてのＩサブフレームについて上記の圧縮プロセスが繰返される。最後に、シーケンスのすべてのＱサブフレームに圧縮が施されて、カラー・フレームのシーケンスの圧縮の最初の段階が完結する。或いはまた、シーケンスの１つの完全なフレームのＹ、ＩおよびＱサブフレームを選択して、シーケンスの次のフレームへ進む前に圧縮するように、スイッチを進めることもできる。圧縮された信号Ｓ９は、第７図に示されたように、それぞれサブフレーム（Ｙ、ＩまたはＱ）に対する圧縮データが後続しているビットストリーム・ヘッダ（Ｈ）より成る、３つの個別（インデビジュアル）に圧縮されたサブフレームを含んでいる。このヘッダは、データがどのサブフレームに対応するか、サブフレームの大きさ（水平方向および垂直方向のピクセルの数）、診断目的のための検査合計、およびデコーダが使用する種々の表、を表している。更に、信号Ｓ９の形式（フォーマット）の詳細については第46図と第47図を参照して後で説明する。第７図の圧縮されたデータは、以後、ビデオ・データ「ストリーム」と呼ぶ。ＹＩＱサブフレームを個別に圧縮して圧縮デジタル・ビデオ「ストリーム」Ｓ９を形成する圧縮器230の特徴は、圧縮効率を大幅に向上させる。１つの理由は、各サブフレームは同一画像を表しているが、それぞれ画像の相異なるカラー特性量を表しているので、それらは互いに歴然と違うことがある。たとえば、或る画像は肌色を含んでいなことがある。他の画像は青−緑色を含んでいないこともある。その他の画像は色を全く含まないことがある。個別サブフレーム圧縮についての別の理由はその画像を表すコードの統計的分布に関係している。１つの圧縮段階として可変長コードが採用される。可変長コード化されるデータの周波数分布または統計に従って選択される。Ｙ、ＩおよびＱのコード化されたサブフレームの統計は異なっているから、各サブフレームに適当した個別の可変長コードが採用される。実際に、各サブフレームに対しては後述するように多数の別々の統計的コードがある。圧縮過程の後、圧縮されたビデオ・ストリーム（Ｓ10）は、バッファ記憶器23 2から回復されて、バイト・カウント・モニタ234に、および復号時間モニタ236 に印加される。これらは、ビデオ・シーケンスの各個別フレームについて、データ・バイトの数と復号時間を確認する。各フレームにはオーディオおよび補助データが加えられるであろうから、平均バイト・カウントは、ビット・ストリームＳ４において毎フレーム当たり許容されるバイトの総数よりも少ないことになる。ＣＤ−ＲＯＭから30ＦＰＳで再生するためにビデオ信号をコード化する場合、フレーム当たり利用可能な平均バイト数は5125.12である。この数は、ＣＤ−ＲＯＭのチャンネル容量をビデオ・フレーム・レートで割算して決定される。モニタ234は、ビデオ・フレームのシーケンスを通じて累算された平均バイト・カウントを生成する（或いはまた、モニタ234はフレーム・バイ・フレームのベースでバイトをカウントするように構成することもできる）。このカウントは、圧縮閾値制御ユニット238の圧縮閾値をセットして信号Ｓ10の平均バイト・カウントをフレーム当たり4500バイトに維持するのに使用される。これによって、後で加えられるオーディオおよび他のデータに対する、フレーム中の余裕ができる。破線は、この閉ループ動作を表しており、これはエンコーダ16のこの構成では手動で行われている。既に説明したように、4500バイトに低減できない過大なビデオ・フレームは、より早期のフレームからスペースを借りることによって、リフォーマッティング期間中に処理される。このメカニズムについては、ビデオ事後圧縮の項で、後述する。復号時間モニタ236は、圧縮されたデジタル・ビデオ信号Ｓ10の各サブ・フレームの圧縮復元（デコンプレス）するに要する時間を測定する。この測定は、信号Ｓ10を、再生システム８の処理器30のようなデコーダに供給してその処理器の復号時間を測定することによって、行われる。一例として再生レートが30ＦＰＳの場合、１フレームの復号時間は30分の１秒を超えてはならない。このモニタが、それよりも大きな復号時間を検知したときは、閾値制御器238の閾値を調整してこの過大フレームの復号時間を減少させるようにする。或いはまた別のやり方として、この復号時間の連続的な平均値を単に30分の１秒よりも短く維持するように、閾値制御器238を調節することもできる。その様な方法によれば、もし許容復号時間を超えたとしても、圧縮を繰返す必要はない。換言すれば、個々のフレームが許容されるものでない場合でも、その平均はなお容認できる。後述するように、この再生システムは、「短い」フレーム（すなわち復号に30分の１秒以下しか要しないフレーム）から復号時間を借りるという技法を使用することによって、再生レートに何の影響も与えること無しに、上記の様な復号時間の一時的な超過に対処することができる。この過大なフレームのコード化の上記別のやり方は、平均復号時間が30分の１秒未満で再生システムに充分なバッファ記憶（ストレージ）がある場合に応用する。この再生システムが必要とするバッファ記憶の量は、フォーマッタ250内でモニタされていて、もしそれが超過されると、更に復号時間を短くするように閾値制御器が調整される。復号時間モニタを使用するこの代替法は、長い復号時間を要するフレームの更に正確なコード化が可能となるためで好ましい方法である。この復号時間モニタは、ビデオ処理器30の既知の復号時間をベースとしてエスチメータで構成することもできる。復号プロセスを注意深く調べると、それは、それぞれが完了までに最大の時間長を必要とする或る決まった数のきちんと定められた演算（オペレーション、“Ａ”、“Ｂ”等）から成るものであることが判る。エンコーダには、正確なビット・ストリームが与えられ、このビット・ストリームはデコーダで処理されることになる。従って、エンコーダは、各サブフレームについて正確に何回上記の演算を行うべきかを決定することができる。復号時間の垂直値Ｔは、次の積の単純な総和である。この加算において、各項“Ａ_i”は特定の復号作用が行われる総回数を表し、項“Ｋ_i”はその動作（アクション）の最大復号時間を表している。その様な動作の例としては、相対的復号、絶対復号、ＤＰＣＭ、ダイアド復号、およびクアッド復号などがある。更に、各復号動作は、復号される領域内のどこにピクセルがあるかによって決まる数個の動作で構成されている。その様なエスチメータを使用しやすくするために、デジタル・ビデオ圧縮器230は、各サブフレームに付属するＡ_iカウントをバッファ記憶器232に記憶する。それらは、モニタ234および236から記憶器232への接続（図示省略）によって取り戻される。復号時間を推測するために式(1)を使用する一例として、合計される積は、(1)各フィル・データを各第１の定数倍した形で表された領域の数であり、(2)各形式の領域内に含まれているピクセル数を各第２の定数倍したピクセル数であり、かつ(3)各形式の領域内に含まれているピクセル行の数の第３の定数倍の行数である。復号されるすべての領域に共通のステップを表すために積の総和に或る定数項を加えることもできる。第16図は、デジタル・ビデオ圧縮器230の簡略ブロック図であって、この圧縮器230は、スイッチ224からＹＩＱの選択されたサブフレーム信号Ｓ８を受け入れる入力端子1602と制御器238から閾値制御信号Ｓ11を受け取る別の入力端子1604 とを持っている。この第16図には、第２図のモード・スイッチ240がスイッチ240 'として記号表示されている。このモード・スイッチ240'は、図示の位置（上昇）では、ビデオ・サブフレーム信号Ｓ８をフレーム内領域特定コーダ1610し供給し、同コーダ1610は領域特定コード化信号Ｓ12を発生する。この信号Ｓ12はモード・スイッチ240'を介して面積依存適応型量子化器1630に供給される。量子化された領域コード化信号Ｓ14は、バッファ232（第２図）に記憶するための圧縮された信号Ｓ９を生成する最終圧縮ステップとして、ストリーム・セグメント化可変長コーダ1640に供給される。スイッチ240'の位置を逆にすると、ビデオ入力信号Ｓ８が、フレーム間領域特定コーダ1620に供給され、量子化のために領域間コード化信号Ｓ13が選択される。これら両エンコーダ1610および1620は閾値制御信号Ｓ11を受け取るように結合されている。動作について説明すると、静止フレームおよび動きビデオ・シーケンスの第１フレームと選択されたフレームを、フレーム内コーダ1610を使ってコード化するために、モード・スイッチ240' は上昇（ＵＰ）位置にセットする。概略を説明すると、コーダ1610は、そのフレームを、或る数の以下「領域」という同様なピクセルの小グループに分割する。この各領域に対して、その領域のすべてのピクセルの値を表すコードが生成される。この技法によって非常に大幅なデータ低減（圧縮）ができる。その理由は、どこに領域があるか、それはどの位の大きさか、およびその領域のピクセルを表すのにどの様な“フィル”値が使用されるか等を特定するために、極く少数のコードのバイトしか必要としないからである。更に、各領域について使用される特定のコード化法は、各領域の細部の特性に基づいて適切に選ばれる。個々の画像に対して直接でなく実際に画像内の個々の領域についてのコード化法を調整するこの技法（ここでは、領域特定コード化）は、可能な圧縮の量を大幅に増加させる。(1)領域の見付け方、(2)領域のコード化または“フィル”する方法、(3)“ 良”フィル値と“不良”フィル値の見分け方、および(4)“不良”フィルをどうすべきか、に関する詳細は、第17図〜第38図、第65図および第66図を参照して説明する。動きビデオ・シーケンスの２番目のフレームおよび後続する非選択フレームを、フレーム間コーダ1620を使ってコード化する場合は、スイッチ240'をその下降位置におく。この異なったコード化モードは、一旦第１フレームがコーダ1610によってコード化されると、第２および以降のフレームはフレーム相互間（フレーム・ツウ・フレーム）の領域の差を使用する相対的ベースでコード化できるので、使用されるのである。この領域の差の相対的コード化の１つの利点は、より小さな数が生成され、より小さな数は、小さな数には短いコードが割り当てられる可変長コード化法によって、少ないビットを使って表すことができるからである。(1)前のフレームおける対応する領域を探す最良の方向をどうして見付けるか、(2)もし見付けたらその領域をどの様にコード化するか、(3) もし対応する領域が存在しなかったらどうすべきか、等に関する詳細は、第39図〜第43図、および第61図、第62図を参照して説明する。領域特定コード化信号Ｓ12とＳ13は、この明細書中で「面積依存」適応型量子化という処理を量子化器1630で受ける。量子化器1630は更にデータの低減を行う。フレームはピクセルの１領域にコード化されることを想起されたい。各領域の大きさは画像全体の細部によって変わる。たとえば、高度の細部を持つ面積には、それぞれ少数ピクセルの小領域が多数依存することになる。逆に、細部の少ない面積にはより少数の領域があることになる。しかし、それらの領域はそれぞれ数十また更に数百個のピクセルを含んでいる。量子化器1630は、小さな領域は大きな領域よりも一層粗く量子化される（従って、必要とするビット数は少ない）という様に領域面積（すなわち、その領域中のピクセルの数）の関数として領域データを可変量子化することによって、データの低減を行っでいる。このプロセス、およびこの量子化を実質的に目に見えないものとする心理的視覚効果については、第44図と第45図に関連して後述する。この量子化された領域特定コード化信号Ｓ14は可変長コーダ1640中で、更に付加データ低減（圧縮）作用を受ける。簡単に言えば、画像を記述するデータはどちらかと言えば複雑である。それは、領域はどの様に分割されフィルされたか、領域はどの様にシフトされたか、を記述するデータ、双一次多項係数の形でフィル値を記述するパラメータ、およびＤＰＣＭ、ダイアドおよびクワッドコード化された形式の別のデータを含んでいる。重要なことは、各ビデオ・ストリームは多くの形式のデータを含んでいるということである。それら相異なる形式のデータは、各ビデオ・ストリームの個別の「セグメント」を作るようにフォーマットされる。コーダ1640は、ビデオ・ストリームの各個々のセグメントについてデータの統計的発生を調べて、各セグメント内で最も頻繁に発生するデータに対して最も短いコードを割当てる。これは、ストリームを構成しているＹ、ＩおよびＱのサブフレームの各々に対して別々に行われる。好ましい応用においては、相異なる形式の領域特定コードは、いわばゼロに向けてバイアスされて、小さな数は大きな数よりも発生頻度が高く、従ってコーダ1640によって短い可変長コードが割当てられる。前述の「ストリーム・セグメント化された」可変長コード化については、第46図と第47図を参照して説明する。第16図の圧縮器230は、第17図〜第47図に関連して説明されているように、デジタル・コンピュータをプログラムすることによって構成されたものである。このコンピュータとしては、デジタル・エクイプメント社（Digital Equipment Co rp.）製の型式ＶＡＸ 11／785を選択して使用した。典型的な動きビデオ・シーケンスに対して、フレーム当たり数分間の圧縮速度を得ることができた。圧縮器 230の主たる目的は、速度ではなく、むしろ最終的に表示される画像の高品質にある。この目的は、その大部分がここで「領域特定」コード化と名付けた、後述するコード化法を使用することによって達成される。領域特定コード化は、次の２つの動作（アクション）、すなわち、(1)画像を数個の領域に分割する（領域化する）、および(2)各領域に対する「最適の」フィル・パラメータを選択する、より成るものである。これら２つの動作は、第17 図について説明されるように、同時的に行われる。第27図〜第31図は、２進トリー分解と呼ばれる領域化プロセスの概略を示している。この簡単化した例において、領域2702は４個のサブ領域（2704、2706、27 08、2710）から成り、その中のピクセルは一様なグレー・レベルを持っているものとする。（たとえば、とり得る256個のグレー・レベルの範囲から141、112、90および98のレベル）。このサブフレームのピクセル値の分布は典型的なものではなく、２進トリー領域化をどの様に応用するか、および分解の結果をどの様に効率的にコード化できるか、を例示するためだけのものである。より一般的なケースでは、「フィル」（すなわち領域のピクセル値を表すコード）は、一次式Ａｘ＋Ｂｙ＋Ｃで示される。ここに、係数Ａは（Ｘ）方向における勾配または明るさの傾度を表し、Ｂは垂直（Ｙ）方向の傾度を表わし、またＣは領域全体の明るさの一定または均一なレベルを表している。第27図の例では、フィル多項式でＡｘ＋Ｂｙ＋Ｃの項ＡおよびＢは共にゼロである。２進トリー分解は、領域を２つに分割し、次に形成されたサブ領域を効率的にコード化できるまで、上記の２分割によって生じた各サブ領域を２つに分割し続ける。第17図についての後の説明で、いつサブ領域を分割すべきか、水平か垂直かどの方向に分割すべきか、を決定するための多数の方法を述べる。第27図の場合はその決定は容易である。第27図で分割１と付記した最初の分割は、その領域を２つの相等しい半部に水平方向に分割する。上側の半部2704は単一の値141で効率的にコード化できるが、下側の半部は更に分解することが必要である。更に垂直方向の分割である分割２において、上記の残った面積を２分する。右側半部（2706）は値112によって効率的にコード化できるので、それ以上分割することはない。しかし左側半部は更に水平方向に２つのサブ領域2708と2710に分割することが必要で、それらは値90 と98によって効率的にコード化される。上記以外の領域化法も可能である。たとえば、クワッド・トリー分解法では、１つの分解方向を採る代わりに、互いに両方の分割方向を使用する。この方法によると第26図に示すような領域化が行われ、すなわち領域2602は４個の領域2604 〜2608を形成するように細分割され、その中の１つ（2608）は更に４個の領域を形成するように細分される。２進トリー領域化法は好ましいモードである。その理由は、通常、領域数がより少なく従ってビット数が少ないと共に復号時間が短くなることが、判ったからである。第28図と第30図とは、第27図の例における、絶対フィル値のコード化と領域位置を示している。ここで使用する用語「絶対」は、コード化されつつある領域の領域データからのみ得られるフィル値を意味する。ここで使用する用語「相対的」はフレーム相互間（フレーム・ツウ・フレーム）の領域の差に基づく領域のフィル値を意味する。第28図のコード化図の逆トリー状構造は、領域2702の順次の分割を表しており、各ブランチが２つのブランチを形成するように分割されることから、２進トリーと呼ばれる。このトリーの頂点（一番上の）ノード（結節）は画像全体を表している。１つの領域が分割される度ごとに新しい２つのノード値が形成される。トリーのターミナル・ノードは領域フィル値でコード化されでいる。完全なトリーを記述するコード（第30図）は、従って、２つの形式のデータ、すなわち、フィル値である「値（バリュウ）」と、分割またはフィル命令である「動作（アクション）」である。この「動作」と「値」は同じコード「空間」を使ってコード化される。すなわち、それらはそれぞれ可変長コード化された、負でない（非負）数である。しかし、動作と値との間をその前後関係（コンテキスト）すなわちコード・シーケンス中におけるその動作または値の位置、に基づいて区別することは、常に可能である。たとえば、第28図の例では、「フィル」動作が出て来ると、次の数は値になる筈である。この値の後の次の項目は別の動作でなければならない、という具合になる。より詳細に言えば、トリー記述データは次のルールに従って配列される。分割される各ノードに関して、頂点ノード（水平分割の場合）に属する、または左側ノード（垂直分割の場合）に関与する、すべてのデータがリストされ、それに他のノードに関するすべてのデータが後続する。この形は、固有の反復性の手順（プロシジャ）であって、トリーのルート（根）ノードから始まって、トリーのすべてのターミナル・ノードに到達するまでトリー中のノードに関して順次行われる。第28図に例示した一例トリーの場合には、この手順によって第30図に示すトリー・コードが得られる。この短いコードは、原画像の寸法と共に、すべての領域の大きさ（サイズ）と位置および画像2702中のすべてのピクセルの値を特定するのに必要なすべての情報を与えるものである。ＨおよびＶの記号は水平および垂直の分割を意味している。記号Ｆはフィル動作を表している。第29図は、第27図の領域に対する２進トリー・データをコード化する別の、かつ好ましいフォーマットを示しでいる。このフォーマットは、フィル・データが、終端ノードの実際の値としてではなくノード差としてコード化されるという点で、第28図の方法とは異なっている。この方法は、実際のフィルを回復するためにデコーダ中で計算を行う必要があるが、コード化された値が数値として小さいという利点を持っている。たとえば、第30図の値141、90、98、112を、第31図の値−７、−37、18、８と比較対照すればよく判る。この値は可変長コードを用いてコード化されているので、この方法はコード化効率が高い。それは、この方法は値の統計を小さな数に向けてより強く重み付けするからである。第29図に示された２進トリーが得られるこのコード化手順は、次の様に行われる。最初に、第28図の２進トリーを生成するコード化プロセスを行う。次に、同一ブランチ点からのターミナル・ノードにおける１対のフィル値の差を求め、かつ平均する。この差値はそのブランチ点に割当てられる。この差値は続いてこのトリー記述においてコード化される値である。上記の平均値もそのブランチ点に割当てられるが、その目的はこのトリーを逆に上に向かって作動する他のノード値またはブランチ点値を決定するためだけである。すなわち、この平均値は並列するブランチの対応するノードからの絶対値または平均値と平均化されまた減算処理される。その差値はコード化されるべき値としてそのブランチ点に割当てられ、新しい平均値はトリーを階層的に上方に作動する次の差値および平均値を決定するために使用される。差は、右側のノード値またはブランチ値から左側のノード値またはブランチ値を減算することによって決定される。図示の例では、ターミナル・ノード値90をターミナル値98から減算して差値＋８を算出し、これを「分割３」と付記したブランチ点に割当てる。ノード値の平均である（90＋98）／２＝94も角カッコで示す如くこのブランチ点に与えられる。ブランチ点「分割３」におけるこの平均値94は、ターミナル・ノード値112との間の減算処理および平均化が行われ、差＋18と平均103を発生する。これらの値は「分割２」と名付けたブランチ点に割当てられる。このプロセスは、最初のブランチ点に到達するまでトリー全体を上向きに、実行される。頂点ノードを値128と基準化することによってこのトリーの頂点ノードにおいて更にコード化効率が得られる。すなわち、頂点ノードに対して設定された平均値から値 128を減算する。この例では、頂点ノードまたは頂点ブランチについての平均値は121である。121から128を差引いて、値−７が得られる。この値を、コード化されたトリー記述の最初の点に与える。このトリー記述は第31図の行「Ａ」に例示されており、発生順番に、値−７、以下順次続く第１分割の方向「Ｈ」、第１のブランチに与えられた差値、左側ブランチをフィルするための命令、次の分割の方向「Ｖ」、そのブランチ点に与えられた差値等を含んでいる。このコードは、第30図と同数の命令を含んでいるが、数値はより小さな値である。復号に際しては、最初の２つのノード（141とブランチ点「分割２」）の平均値を、＋128に−７を加算して、ＲとＬをそれぞれ右と左のノードまたは平均値として（Ｒ＋Ｌ）／２に等しい答121を得るという計算を行う。コードとして伝送された差値−37は、（Ｒ−Ｌ）すなわちＲ−Ｌ＝37に等しい。しかし（Ｒ＋Ｌ）／２＝121である。これらの式を解けば、141に等しい左側ノード値Ｌと、103 に等しい右側ブランチの平均値Ｒを、同時に得ることができる。このプロセスは、トリーを下方に向かって続けられる。時には、上記の平均化プロセスで奇数を２で割算する必要がある。これには、エンコーダとデコーダが同じ切捨て法または丸め法を行うようにして、対処することができる。上述の２進トリー・コード化法では負の数をコード化する必要がある。これは、次の様なやり方で行われる。すなわち、正（またはゼロ）数Ｐは正の数２Ｐでコード化し、負数Ｎは正の数２Ｎ−１でコード化する。正と負の数は、すべての正の値（２Ｐ）は偶数でありまたすべての負の値（２Ｎ −１）は奇数であるから、区別するこどができる。この技法によれば、一定ビット幅のコードワードの最上位ビット位置に符号ビットを配置することを避けられ、従って小さな値に対して符号ビットと値のビットとの間の余分なビットを省略することができる。このコード化形式を使用すると、トリーコードは、第31図のコード行「Ｂ」の値をとる。更に、効率的な方法として、「動作（アクション）」と「値（バリュウ）」とを相異なる可変長コードを用いでコード化することが有効であると判った。異なった動作（アクション）は極く僅かしか無いし、また可能な値はより沢山あるので、それらの統計は可成り異なっている。従って、別々の可変長コードを使用すると、幾らか余分にコードの節約をすることができる。上記の説明は、特に定数の絶対フィルを含んだ画像に当てはまる。実際に、現用されているフィルには５つの形、すなわち、絶対、相対的、ＤＰＣＭ、アイアドおよびクワッドがある。その各々は、別々の固有の動作コードを持っている。上記したノード値は絶対フィルに当てはまるだけである。他の４つのフィル形式に対するフィル値は、後で分割／フィル・セグメントと組合わされて全体的なビデオ・ビット・ストリームを形成する相異なるコード・セグメントに別々にコード化される。多数のコード・セグメントを使用することは、次の「セグメント化されたストリーム可変長コード化」の項と第46図、第47図において説明する。垂直分割Ｖと水平分割Ｈの発生の確率はほぼ等しい。この情報をコード化する別のやり方として平均に使用するビットがより少ない方法が判った。大部分の分割はより長い寸法を分割している（たとえば、第34Ａ図の領域3402と3406）。その様な分割は単純分割（シンプル・スプリット）と呼ばれ、Ｓとコード化される。領域の各寸法が等しくかつそれが水平に分割されるときは、単純分割Ｓとしてコード化される。この領域寸法は判っているし、もしそれらが等しいものであれば、その分割コードＳは水平分割と解釈されるから、このコード化はデコーダにとって、あいまいなものではない。単純分割でない分割は、どれも代替分割（オルターネイト・スプリット）と呼び、Ａとしてコード化される（たとえば、第34 Ｂ図に示す領域3406と3408）。単純分割が発生する確率はより大であるから、可変長エンコーダは、単純分割を表すためにより短いコードを指定することによって、平均についてより少数のビットを使用することができる。このコード化法によって、第29図のトリーは第31図のＣ行を通してコード化される。このやり方は、コードの大きさを減少させ得るが、単純分割コードおよび代替分割コード（ＳおよびＡ）から垂直および水平分割動作（ＶおよびＨ）を推測する必要があるので、復号時間が増大するどいう不利がある。相対的コード化またはダイアド・コード化された領域を含んだ画像（後述する）の場合、領域シフト値（Ｘ₀、Ｙ₀）も、２つのシフト値が後続する別の動作（シフトという）を使って、分割／フィル・トリー記述中にコード化される。以下説明するように、シフト値は、与えられたフレームの或る領域と前のフレームのそれに対応するフレームとの間の水平方向のオフセット（Ｘ₀）および垂直方向のオフセット（Ｙ₀）の大きさである。このシフトは、１つの領域のフレーム相互間の動きの大きさである。これらの値は、更にコード化を効率的にするために、別々にではなくトリー記述中でコード化される。多くの領域が同じＸ₀、Ｙ₀値を持つ傾向があるので、このシフト動作は、そのノードおよびそのノードのすべての子ノードに上記のＸ₀、Ｙ₀値を適用することを意味すると定義される。都合の良いことに、この方法で、同じシフトを有する複数の領域に対する各シフト値は１回だけコード化すれば良いことになる。第17図と第18図〜第38図は、これらに関連するもので、すべての静止フレームと動きビデオ・シーケンスの最初のフレームをコード化するフレーム内コーダ16 10の詳細を示している。第17図はコーダ1610によって行われるコード化プロセス中の各ステップを示すフローチャートである。この、コーダ1610のソフトウェア構成は現在好ましいものである。しかし、個々の処理機能はこのフローチャート中に示された各機能を行う個々の装置要素によって容易に実現できることは、諒解されよう。その様なハードウェアの構成の特定例が第18図〜第38図に含まれでいる。フレーム内コード化（第17図）の第１ステップは、スタート・ステップ（1702 ）であって、これは静止フレームのためにまたは動きシーケンスの第１フレームのために、モードスイッチ240'を上昇位置に置くことで開始される。これと同時に、スイッチ224（第２図）を、Ｙサブフレームを選択するように位置づける。すべてのＹサブフレームは、スイッチ224がＩサブフレームをまた最後にＱサブフレームを選択する前に、圧縮されることになる。概観するとこの第17図は４つの主たる動作を持っている。ステップ1703では事前濾波が行われる。サブ領域の積重ねと選択はステップ1730、1732および1704で行われる。これは、その大きさに関係なくすべてのサブ領域に同じ方法を適用できるようにするプロセス（後述する）である。線形フィルコード化は、ステップ 1706から1716によって行われ、領域は平面（Ａｘ＋Ｂｙ＋Ｃ）としてコード化するに適当かどうか、もし適当なら、コード化の詳細はどうあるべきか、を決定する。線形フィルコード化法に適していない領域に対しては、ステップ1722と 1724によって行われるＤＰＣＭコード化が使用される。ステップ1720は、結果として得られるコード化について事後処理を行って更にコードの大きさと復号時間とを減殺する。ステップ1734と1736によって行われる処理は、静止フレームのシーケンスの終了点または動きシーケンスの最初のフレームの終了点をチェックすることである。第17図における最初の動作は、ビデオ信号Ｓ８の「画像」にフィルタ1703を適用することである。濾波作用によって不要な細部が除かれ、圧縮プロセスの速度が改善され、コードの大きさが小さくなり、そしてより大きな領域が生成される傾向があるのでその復号時間が短くなる。単純な低減通過フィルタは画像を不鮮明にする傾向があるので、小振幅のノイズは除去するが大振幅の情報は保存する非線形フィルタが好ましい。この目的に使用できるフィルタとしては多くの種類のものがあるが、好ましい形態は、重み付けされたメジアン・フィルタと変形線形低域通過フィルタである。この変形については第36図を参照して次に説明する。第35Ａ図〜第35Ｅ図は、重み付けされたメジアン・フィルタを例示している。第35Ａ図は濾波されるピクセル3502と、このピクセルに最も近い８個の近傍（ネイバー）を示す。第35Ｂ図は、ピクセル3502を濾波して第35Ｃ図中に示された１つのピクセル3506に対する重み付けされた値（12）を生成するための、重み係数のアレイを示している。この重み付け法は第35Ｄ図に示されている。最初に、ピクセル3502とその８個の近傍の値が、上昇順にリストされる（3503）。重み付けされないメジアンは、11ユニットの値を持っているように見える。これらの値のうちの半分は高くまた他の半分は低い。第35Ｂ図からの重み値（3504）が順番に配列された値3503の下方にリストされている。重み値は、配列リスト35 08を形成するように、各値を繰返す回数を決定する。この例では、４隅のピクセル（11、９、１、17）は重み１を与えられて、リスト3508中に１回リストされる。中心線上のピクセル（12、５、10、13）は重み２を与えられてリスト3508中に２回リストされる。中央のピクセル（15）は濾波されるべきもので、重み５を与えられ、リスト3508中に５回リストされる。重み付けされたメジアン値（12）は、リスト3508の中で、重み付けされた値の半数はそれより小さく、他の半数はそれより大きいという様な値である。この値（12）は、第35Ｃ図に示される（3506 ）ように、領域3503の中央ピクセルの濾波された値である。残りの他のピクセルは、各ピクセルとその隣接８近傍に重み付けアレイ3504を適用することによって、上記と同様にして決定される。第35Ｂ図の重みは、リスト3508をほどよい短さに保つように例示する目的で選んだものである。平均的シーンの一例重みが第35Ｅ図に示されており、この形では隅の重み値が２、中心線上の重み値が４および中央ピクセルの重み値が13である。これらの重み値は、エッジの遷移を保持しながら制御された方向性のある空間細部の再方向付けが得られるように変更することができる。たとえば、隅の重みを変えることによって、濾波された値に対する対角方向の寄与を変更することができる。垂直および水平の寄与は、それぞれ上部および下部または左側および右側の重みの値によって決定される。従って、重み付けされたメジアンは、メジアン濾波されたものであるためエッジが保存されていることに加えて、重み付け係数のために選択的な方向特性を示すことができる。第36Ａ図はエッジ遷移を保存しつつ重要でないディテールを除去する濾波ステップ1703で使用するのに適した修正された低域通過フイルタを示す。このフイルタは線形トランスバーサルフイルタ3602と修正器3620（共に点線で示す仮想線で囲まれている）の組合わせからなる。簡単に云えば、修正器はエッジを検出し、低域通過フイルタの入力信号と出力信号とをエッジ振幅の関数として選択的に混合するために使用される“ダンピングファクタＤ”を発生し、それによってより大きな信号遷移を保存しつつ小さな変化を抑制する。フイルタ3602は縦続接続されたピクセル遅延素子3604および3606からなり、これらの遅延素子は入力端子36 08に供給された入力信号を１ピクセル期間、２ピクセル期間だけそれぞれ遅延させる。加算器3610は、入力信号（重み＝１／４）、１ピクセル遅延された信号（重み＝１／２）、２ピクセル遅延された信号（重み＝１／４）の重み付け和（重み付けされた和）を形成することによって低域通過濾波された信号を生成する。修正器36 20は、加算器3610の低域通過濾波された信号を遅延素子3604によって供給された非濾波１ピクセル遅延入力信号から減算することによって遷移を検出する減算器 3622を含んでいる。減算器3622の出力は非線形検出器3624に供給され、該非線形検出器3624は乗算器3626および3628を制御するための相補制御信号Ｄと１−Ｄを発生する。乗算器3624および3626はそれぞれ濾波されたピクセル遅延信号と非濾波ピクセル遅延信号どを乗算する。加算器3630は乗算された信号を加算して端子 3632に出力信号を発生する。検出器3624は、アドレスとして供給された減算器36 22からの差に応答して値Ｄと（１−Ｄ）を出力するようにプログラムされたＲＯＭでよい。第36Ｂ図は、減算器3622の出力（差信号）の関数として制御信号Ｄ（以下ではダンピングファクタと称す）と１−Ｄとを生成する検出器3624の非線形特性を示す。画像の小さなディテール（細部）の特徴の小さな差特性に対しては、ダンピングファクタＤは１に近い。従って、乗算器3626は出力として加算器3610の濾波された信号を選択する。大きな遷移に対しては、Ｄの値が小さくなり、従って信号１−Ｄが大きくなり、乗算器3628は出力としてより多くの非濾波信号を選択する。非常に大きな遷移（Ｄは０に近い）に対しては、フィルタ3602は実質的にバイパスされて、大きなエッジの全振幅を忠実に保存する。このことはさらに第36Ｃ図に示されている。第36Ｃ図で、3640は白丸（○）で表される入力ピクセルに対するステップ状遷移の発生を表わす。点線3642は、大きなピクセル変化、小さなピクセル変化の双方を平滑する傾向がある通常の低域通過フイルタの応答を示す。黒丸（●）は第36Ａ図の修正されたフィルタの応答を示す。遷移領域に近づくピクセル、遷移領域から離れるピクセルに対してはダンピングファクタＤは低く、それによって小さなピクセル変化（ディテール）は濾波される。遷移領域ではダンピングファクタは低く、そのためフイルタをバイパスして急峻な遷移を保存する。第17図に戻って、ステップ1704、1730および1732は後続する解析に対する領域を選択し、リストアップする。この処理は２つの可能な効果の１つをもっている。ステップ1716あるいは1724を経由してその領域のコード化を行い、それによってそれ以上の解析から領域の除去を行い、あるいは現在の領域を分割ステップ17 24で分割して、各半分を共にさらに検査を行うためのリストに載せる。各分割により領域の寸法を減少させる。領域が充分に小さくなると、最小寸法領域1722用の検査が行われる。この検査によって無制限な分割が防止され、これによってすべての領域の最終的なコード化が行われる。最初、領域選択ステップ1704は全画像のサブフレームを１個の単一領域として処理する。この処理期間中、分割ステップ1726〜1732が生じ、処理する必要のある２個のサブ領域が生成される傾向がある。ボックス1730および1732はステップ1704で除去されるのを待つ領域のリストに２つの領域を“押し込む”。この“押し込み ”は、領域一致（位置）が領域リストに記憶されるということを意味する。次の時間選択領域1704が使用されて、そのリストの頂部領域が以下に説明するようにコード化される。領域が処理される順序は、その領域がこのリストに載せられる順序によって決定される。水平分割ステップ1732については、下部の半分の領域と上部の半分の領域がそれぞれリストに加えられて、先ず上部の半分がコード化される。垂直分割1730については、右側の半分の領域と左側の半分の領域がリストに加えられて、先ず左側の半分の領域がコード化される。どのようにして領域が検査されるかという規則的な順序つけはビデオプロセッサ30（第１図）に知らされ、各画像を表すために使用されるコードの順序を解読するために復号期間中上記ビデオプロセッサによって使用される。線形フィルコード化は後程説明するようにステップ1704〜1716で行われる。領域特定コード化は個々の領域に対する最適のコード化方法を選択する能力があるという点からその効果が得られる。線形フィルコード化は大きな領域を非常に少ないビットで表現することができるので、最初に試みられる。若し線形フィルコード化が不可能であれば、領域は分割ステップ1726で分割され、各サブ領域に対して線形フィルコード化が再び試みられる。線形フィル技術を用いて領域をコード化するのに必要なビット数は領域の寸法が大きくなっても増加しないので、これは大きな領域に対する優れたコード化法であることが判る。生成されたサブ領域が最小寸法（試験ステップ1722）以下に低下した場合のみ他のコード化技法が使用される。２乗平均誤差測定（ＭＳＥ）法は、線形フィルコード化が満足できるか否かを決定する（ステップ1714）ために使用される１つの方法である。この測定は全体の領域にわたる平均であるから、平らな表面からのずれが大きく、可視的に明らかであり、ＭＳＥの満足度がまだ低い領域の局在化部分が存在する可能性がある。この問題を解消するために、線形フィルコード化（1710）が試みられる前に粗さ推測装置1706が領域に適用される。領域がこの試験で不合格になり（1708）、最小寸法でなければ（試験1722）、それは分割されて（1726〜1732）、同じ処理がそのように形成された得られたサブ領域に対して施される。この例では、領域の粗さはその領域のエッジを検出することによって決定される。第18図は隣接するピクセル間の灰レベルの大きな変化に基づくエッジの簡単な定義を示している。第19図はエッジ検出を行なう装置のブロック図である。第18図で、領域1802は４行、４列のピクセルからなる。ルミナンス（Ｙ）信号の値は16ピクセル用として示されている。定義によってエッジは隣接するピクセルの値が閾値（閾値制御238を経由する入力）以上に異なる上記ピクセル相互間に存在するものとする。代表的な閾値は８ビットに量子化された（すなわち、黒からピーク白まで256のレベルスケール）Ｙ信号に対して25ユニットである。一例として、10輝度ユニットレベルを使用すると、第18図では、２個の垂直エッジ（Ｖ）と３個の水平エッジ（Ｈ）とが存在することが判る。もし領域1802が行２と３との間で水平方向に“スプリット”すなわち“分割” されれておれば、すなわち（分割）されておれば、いずれも水平エッジを含まない２つの領域が形成される。行３および行４のピクセルは輝度が僅か３から５までの範囲にあり、それはエッジの閾値以下である。従って、領域1802の水平方向の分割によって水平方向にエッジをも57−１たない２つの領域と、全部で８個のピクセルに対するＹ信号の値を適正に表わす“４”の“フィル”値でコード化される１個の領域（行３と行４）とを生成する。しかしながら、行１と行２はなお垂直方向のエッジＶをもっている。この領域を列２と列３との間で垂直方向に分割することにより、さらに２個の領域が構成され、いずれの領域にもエッジは含まれない。一様な値のピクセル“23”を含む４×４の領域ば単一の値で満たされている。ピクセル値１、３、９および12をもった４×４の領域は水平あるいは垂直のエッジをもたないが、顕著な“勾配”が存在するために単一の値で満たされない。このような領域を満たすためにはステップ1710を介して平坦な表面の充満（フィル）を必要とする。フィル処理は領域のピクセル値の双一次多項式（Ａｘ×Ｂｙ＋Ｃ）の推測値の係数Ａ、ＢおよびＣを見つけるための最小２乗法を使用してステップ1710で開始される。境界誤差およびＭＳＥ誤差の測定はステップ1711で行われ、ステップ17 12および1714のの試験はフィル値が許容性を決定するために実行される。ステップ1708、1712あるいは1714におけるいずれかの試験の結果の故に線形フィルが満足できるものでなければ、次のステップは通常領域の分割ステップ1726 である。しかしながら、ステップ1722における試験では、領域の寸法が既に小さいときは分割を阻止する。これは次の２つの理由により行われる。第１の理由は、線形フィルコード化用のコードの寸法は名目上領域の面積に無関係であることによる。しかしながら、一旦領域がある予め設定された値以下に低下すると、他のコード化法はより少数のビットを必要とする。第２の理由は新しい領域を復号する必要があるときは何時でもエンコーダ（第48図）中で遅延が生ずるからである。もし画像が多数の比較的小さい領域によって表されるときは、この遅延は30 ＦＰＳのような率で画像を復号する必要性と干渉を起こすのに充分の大きさになる。最小寸法試験の結果、最小寸法領域が指示されると、ステップ1724は領域をＤＰＣＭ（差分パルス符号変調）フォーマットで領域をコード化する。このコード化法では、すべてのピクセルとその左側の隣接ピクセルとの間の差が伝送される。しかしながら、領域の各ラインの最初のピクセルの左隣にピクセルは存在しないので、最初のピクセル自体とそれの上に隣接するピクセルとの間の差として伝送される。領域の第１行の最初のピクセルの左側、上側にはピクセルは存在しないので、この場合はその最初のピクセルと中間灰色値、すなわち128との差として伝送される。生成された差は非線形量子化装置を通過させることによってデータをさらに減少させることが出来る。復号のために、非線形量子化レベルを表わすテーブルが圧縮されたビデオ・ビットストリームのヘッダ部分のエンコーダに伝送される。多数の量子化装置が使用される。これは、領域特定コード化がコード化技術を個々の領域に整合させる事が出来るという理由で実用的である。これらの量子化テーブルは差のダイナミックレンジに関して異なっている。ＤＰＣＭエンコーダ 1724は各領域の統計を試験し、どの量子化装置のテーブルがその領域により適合しているかを決定し、どの逆量子化テーブルがそれを復号するのに使用すべきかを特定するコードを発生する。第19図は粗さ試験を行うための装置を示している。後程説明する第32図および第33図は分割方向を決定する装置を示している。第19図で、領域データはメモリ 1902に蓄積される。減算器1904および1906はそれぞれ領域ピクセルの行方向減算、列方向減算を行なう。閾値検出器1908および1910はピクセルの差を閾値Ｔｈ（例えば、10と仮定する）と比較して水平、垂直のエッジを検出する。これらのエッジは次いでカウンタ1912および1914でカウントされてエッジメモリ1916に記憶される。記憶されたエッジデータはゼロ検出器1920に供給される。検出器1920の高出力（ＨＩＧＨ）は領域には水平方向あるいは垂直方向のエッジが存在しないことを表わし、領域に与えるフィル値（あるいは複数のフィル値）を発見する処理を開始する。もしエッジが存在すれば、メモリ1916中のエッジデータは分割論理回路（第33Ａ図）に供給されて、後程説明するように分割の方向を発見する。別の粗さの定義も可能である。例えば、多数点補間技法によって隣接ピクセル間の勾配を推測し、もしその勾配がある閾値よりも大でしかも領域全体にわたって一様でなければ表面は粗面である。第17図に戻って、試験ステップ1708で領域内でエッジの存在が発見されないと仮定すると、群として領域の全てのピクセルを表わすフィル値を発見するための処理が開始される。これはステップ1720において最小２乗法による推測値を使用してその領域に対するピクセル値の双一次多項（Ａｘ＋Ｂｙ＋Ｃ）推測値の係数Ａ、ＢおよびＣを発生することによって行われる。推測されたピクセル値は領域のすべてのピクセルの実際の値と比較されて推測値の近さ、すなわち適合度（フィット）が決定される。フィル値は、２つの試験すなわち“境界エラー”試験1712と“平均２乗エラー”試験1714を満足する多項式の係数Ａ、ＢおよびＣからなる。第20図〜第24図は多項式フィル値がどのようにして発見され、フィル値についての満足度を検査するための２つの試験がどのようにして実行されるかを詳細に示している。第20図は領域2002のすべてのピクセルが同じ値（５ユニット）をもっている最も基本的な場合を表している。水平方向（Ｘ方向）には明るさの勾配はないから、水平方向の明るさの勾配すなわち傾斜を示す係数“Ａ”はゼロに等しい。同様に垂直方向にも明るさの勾配はないから、垂直方向の勾配を表わす係数“Ｂ”はゼロである。残る係数“Ｃ”は５ユニットの一定値すなわち一様な信号レベルを表わす多項式の係数である。この単純な場合を表わすコードはＡＢＳ００５として表されており、実際の信号値に基づく領域コードをフレーム毎の差に基づく領域コード（以下では“相対”コードと称す）と区別するために、以下では“絶対”コード化と称されるものを表している。領域2002の復号はその領域におけるあらゆるピクセルに値５を割り当てることからなる。第21図で、領域2102はＸ方向の１単位ピクセル当たりの水平方向の明るさの勾配を含んでいる。左上隅からスタートして値は４、５、６であり、フィル多項式Ａｘ＋Ｂｙ＋Ｃの係数は、左上ピクセルを基準レベルにとって係数Ｃ＝１、Ｂ＝０、Ｃ＝４である。従って、コードはＡＢＳ１０４である。これは左上隅のピクセルに値４を割当て、各水平方向ピクセルにピクセル当たり１単位分の明るさの勾配修正を加えることによって復号される。第21図では垂直方向には勾配はないので、後続する行は第１行の複製になっている。第22図は勾配が水平ではなく垂直方向になっている点を除けば第21図と同様である。第23図では、領域2302は水平方向、垂直方向の双方の方向に勾配をもっている。左上隅のピクセルを基準としてとると、多項式の係数Ｃは５に等しく、明るさはＸ方向にピクセル当たり１単位づつ増加し、Ｙ方向に−１づつ変化している。従って、コードはＡＢＳ１-１５である。第１ピクセルに値５を割当て、その値を水平方向にピクセル当たり１単位づつ増加させることによって復号が行われる。第２、第３の行についてもスタートのピクセルを垂直勾配値だけ減少させた後、同様に列当たり１ピクセル値づつ減少させることによって復号される。上述の例は、多項式Ａｘ＋Ｂｙ＋Ｃ中の勾配値Ａ、Ｂが常に整数である場合を示している。しかしながら、実際の画像中で生じる大抵の勾配は整数ではなく、実際には通常１以下の絶対値であることが判っている。従って、ＡおよびＢの各値は１／256の単位、すなわち勾配の分数部分を表わす最下位８ビットをもった２進数で特定される。第20図〜第23図では多項式コード化は正確である。すなわち、例示された所定の値に対して、たまたま復号時に復号された領域は元の領域と同じ値をもっている。実際にはこのような理想的な状況は極めて稀にしか生じない。このような理由から、領域が最終的に復号されたときに双一次多項式フィル値が実際のピクセル値の妥当な近似レプリカを生成しているか否かについて決定するための測定が必要である。このために平均２乗エラー（ＭＳＥ）試験および第24図に示すような多項式の適合性の境界エラー試験が使用される。第24図は、多項式フィルが正確でなく、適合性についでの満足度が試験される特定の場合を示している。領域2402は、それが画像に現れるときのピクセル値の領域である。アレイ2404はＡｘ＋Ｂｙ＋Ｃの形式の多項式を使用して生成された対応する値の群を示し、その係数値は領域2402のデータに基づく最小２乗解析法を使用して決定される。アレイ2404は一様な水平方向の勾配１と一様な垂直方向の勾配１とを示している。アレイ2406は、実際のピクセル値と対応する発生されたピクセル値との間の誤差に相当する。ＭＳＥはアレイ2406の値の２乗の平均値の平方根をとることによって得られる。この特定の例ではＭＳＥは１であり、この値は閾値と比較されてフィルデータが満足できるものであるか拒否すべきものであるかを決定する。境界エラーはこの領域の境界を構成する12ピクセルの解析に基づくものである。もし対向する領域間で偽のエッジを発生させないようにしようとすれば、境界エラーば領域内側のエラーよりもより厳しい公差が要求されるということが判った。１つの可能な境界試験としてアレイ2406中の各境界の差分を表わす値を予め設定された閾値、例えば10と比較して、いずれかの差分がこの閾値を超過すると、その係数を拒否する。境界試験の好ましい実施例では値の一貫性（コヒーレント）を見つけることである。値がコヒーレントであれば、すなわち隣接ピクセルが同じ符号のエラーをもっているときは、境界エラーは顕著になることが判った。アレイ2406の頂部、底部および左側に沿う差分の値のように差分がランダムであるときは、再生された画像に偽エッジが発生する可能性は少ない。好ましい実施例では、境界推測器 1711は同じ符号をもった境界エラーの連続するブロックを識別する。長さが第２図の閾値制御ユニット238からの閾値よりも大で、典型的には２であるブロックの部分である境界ピクセルのみについて考慮すればよい。例えば、第24図のアレイ2406では、右側境界に関連する＋１の値をもったエラーの値のブロックのみについて考えた場合は、境界エラー推測値“１”が発生される。このようなコヒーレントなピクセルの平均ブロックのエラーの値は閾値と比較され、エラーが閾値を超過すれば、フィルは拒絶される。要約すれば、ステップ1712、1714における試験は、多項式Ａｘ＋Ｂｙ＋Ｃによって表される適合性（フィット）が受入れ可能であるか否かを決定するために実行される。ステップ1714における試験では、平坦な表面からの平均のずれが高すぎるので、出力は否定である。換言ずれば、ＭＳＥ試験は、本質的にコード化されたピクセル値（Ａｘ＋Ｂｙ＋Ｃ）と実際のピクセル値との適合性の程度を測定するものである。ＭＳＥの閾値は閾値制御ユニット238に対する入力として選択されて使用され、典型的には４である。ステップ1712の試験では、境界に沿うエラーが、復号され且つ表示されたときに隣接する領域間の可視遷移を導入する傾向があるときは、否定出力を発生する。また、境界の閾値は閾値制御ユニット238の入力として使用され、典型的には20である。第17図に戻って、一旦領域を分割することが決定されると、その領域はその最善の分割方向を見つけるために解析される。ステップ1728における試験により垂直方向の分割が必要と指示されると、ステップ1730でその領域は左半分の領域と右半分の領域に分割される。ステップ1728における試験により水平方向の分割が必要と指示されると、ステップ1732でその領域は上側半分の領域と下側半分の領域とに分割される。分割が水平方向であると、ステップ1704で分割領域の上側領域を次の領域として選択して圧縮処理が繰り返される。もし、分割が垂直方向であると、ステップ1704で分割領域の左側の領域を選択して圧縮処理が繰り返される。この分割および圧縮処理は、分割処理によって生成された全ての領域がコード化される（ステップ1705）まで継続する。前述のようにステップ1720で再併合（リマージ）が行われ、ルミナンス信号（Ｙ）のサブフレームに対するフレーム内圧縮動作ば終了する。残るＩおよびＱ成分のサブフレームに対する圧縮処理を繰り返すことによって完全なカラーフレームがコード化される。もし追加の静止フレームがコード化されるべきであれば、最後のフレーム試験ステップ1734の結果としてステップ1735で次のフレームが選択され、その処理が繰り返される。第17図におけるステップ1726で分割すべき領域の分割方向を発見することは、（1）エッジ分布解析、あるいは（2）多項式適合解析によって行われる。これらの各処理、および分割方向の指示を与えるための特定の装置についでは以下に第 32図〜第38図を参照して説明する。エッジ分布解析は、領域を分割する理由が領域にエッジが存在する（例えば、第17図におけるステップ1708における粗さ試験の欠如）場合に対する最も好ましい分割の方向を発見するために使用される。第32Ａ図〜第32Ｊ図は、エッジ分布解析を使用して分割すべき領域の例を示すものである。後程説明する第33Ａ図および第33Ｂ図は解析がどのようにして実行されるかを示している。第32Ａ図〜第32Ｅ図は、水平方向の分割よりも垂直方向の分割の方が好ましいことを示している。第32Ａ図でば、領域3202は領域の垂直２等分線上に存在する２つの垂直方向エッジを含んでいる。この領域を水平方向に分割しても何も得られない。というのは、各サブ領域はなをエッジを含んでいるが、垂直方向の分割によっていずれにもエッジを含まない２つの領域（１と３、および２と４）が生成されるからである。第32Ｂ図では、領域3204の右側半分にエッジは存在しないから、垂直分割によってエッジを持たない１個のサブ領域が生成される。第32Ｃ図の領域3206についても同様に垂直方向の分割が好ましい。第 32Ｄ図では、領域3208中に多数の垂直エッジが存在する。ここではエッジのない領域は生成されないが、垂直方向に分割したほうがこれを水平方向に分割した場合よりもエッジが除去される可能性が大きいので、垂直方向の分割のほうが好ましい。第32Ｅ図では、領域3210は幾つかの水平方向、垂直方向のエッジを含むので、はっきりとした利点はない。この場合はアスペクト比解析が使用される。特に領域3210は高さよりも幅が大であるので、垂直方向の分割によりより正方形に近いサブ領域が生成される可能性があるので、垂直方向の分割が選択される。平均して、エッジ解析によりはっきりとした効果が出ない通常の画像についてはより小さな領域が生成される。第32Ｆ図〜第32Ｊ図の領域3212〜3220は、先に説明した領域3202〜3210の垂直方向の分割に関して説明した同じ理由で水平方向に分割される。上記の説明から明らかなように、分割方向の決定に関係をもつ多数の要素があることが判る。実際には、現実の画像は第32Ａ図〜第32Ｊ図に示したような比較的簡単な例よりも遙に多くのエッジの分布をもっているので、実際には分割の決定は上記の例で見られる程簡単ではない。第33Ａ図のフローチャートおよびそれに関連する第33Ｂ図のテーブルは、典型的なビデオ画像の領域を分割するに当たって遭遇する複雑なエッジ分布を考慮して分割方向を発見する方法を示している。第33Ａ図で、分割方向の解析はスタート（3302）して分割すべき領域の４つの象限のエッジを検出するステップ3304に入る。第32Ａ図および第32Ｆ図に示すように、象限は左上を１、右上を２、左下を３、右下を４と表わす。次のステップ 3306で第33Ｂ図のテーブルにリストアップしたような４つの関数Ｖ13、Ｖ24、Ｈ 12、Ｈ34が発生される。関数Ｖ13は、左半分の領域（すなわち、象限１と３）におけるエッジに関連する多数の項（第33Ｂ図の列１）の和に等しい。関数Ｖ24は、領域の右半分（象限２と４）に対する多数のエッジ分布項の和からなる。同様に関数Ｈ12、Ｈ34は領域の上半分、下半分に対する項の和に関連している。特定の項については以下に説明する。ステップ3308で掛算が行われて、ここでは垂直係数ＶＦ、水平方向係数ＨＦと称する係数を生成する。垂直係数ＶＦは領域の高さＨに関数Ｖ13とＶ24とを乗じたものに等しい。水平方向係数ＨＦは領域の幅Ｗと関数Ｈ12とＨ24との関に等しい。係数ＨＦとＶＦはステップ3310で比較され、もしＶＦがＨＦよりも小であれば、垂直方向の分割が行われてプログラムは終了し（3316）、ＶＦがＨＦよりも大であるときは領域は水平方向に分割されてプログラムは終了する。動作について説明すると、ＶＦをＨＦよりも小さくする傾向のある係数については垂直方向の分割が好ましい。例えば、ステップ3308から、もしエッジ解析係数Ｖ13およびＶ24がＨ12およびＨ24に等しければ、その高さＨがその幅よりも小であれば垂直方向の分割が好ましい。この状態は第32Ｅ図の例に相当し、エッジ解析では明確な効果が存在しなかったが、アスペクト比試験によりより正方形に近いサブ領域を得るのに垂直方向の分割が好ましいことが判る。発生ステップ3306で計算された第33Ｂ図の係数は、領域内の垂直方向、水平方向のエッジ分布が一様でない場合に重要になる。Ｖ13（左半分）あるいはＶ24（右半分）を小さくする傾向のある係数は垂直方向の分割が好ましい。例えば、象限１における垂直方向のエッジの数Ｖ１が象限３の垂直方向のエッジの数Ｖ３に等しいと、係数Ｖ１−Ｖ３＝０になり、垂直方向の分割が好ましいということになる。垂直方向と水平方向のエッジの差の係数Ｖ１−Ｖ３、Ｈ１−Ｈ３、Ｖ２− Ｖ４、Ｈ２−Ｈ４、等は全ての象限に含まれている。これらの係数はすべて第33 Ｂ図で２乗されてそれらに加算された重みを与える。項Ｈ０およびＶ０はそれぞれ垂直方向、水平方向のエッジの数を表わし、これらは分割によって除去される（すなわち、エッジが分割線上にくる）。エッジの除去はまた重要であることが判り、そこでこれらの項は２乗されで分割方向の試験でそれらの重みを増大させる。残る係数Ｈ１、Ｈ２、Ｖ１、Ｖ２等は象限当たりのエッジの数を表している。例えば、もし左右の各半分に多数の水平方向のエッジが存在すると、水平方向の分割が好ましい（例えば、第32Ｉ図）。第33Ｂ図のテーブルの他の適用例も明らかである。例えば、こゝに図示されたものとは異なった重みを付けることも可能である。また、領域をさらに細かくサブ分割することもでき、この場合は分割方向の解析に対する別の項をテーブルに付加することができる。上述の説明は、分割に対する理由がステップ1708におげる粗さ試験の結果、ＹＥＳ出力であると仮定した場合である。分割の理由がＭＥＳ試験（ステップ1714 ）あるいは境界エラー試験（ステップ1712）を欠いた線形フィルコード化フィルであれば、分割方向を選択するために別の方法が適している。第37図は分割方向を決定するための多項式適合の解析を示している。第17図から明らかなように、平均２乗エラー（ＭＳＥ）あるいは双一次多項式Ａｘ＋Ｂｙ＋Ｃの境界エラー試験のいずれもが不満足である場合は、領域は常に分割される。第37図では、双一次多項式の垂直部分（Ｂｙ＋Ｃ）が垂直ルミナンスの値Ｙ_V （すなわち、行方向のルミナンス値の平均）と比較される。また、水平方向部分（Ａｘ＋Ｃ）は水平方向のルミナンス値（すなわち、列方向のルミナンス値の平均）と比較される。より良い“適合性”（すなわち、より低いＭＳＥ）を与える比較結果が分割方向として選択される。この方法を実施するコンピュータようのフローチャートが第38図に示されている。Ａｘ＋ＣとＹ_Hとの適合性、Ｂｙ＋ＣとＹ_Vとの適合性の測定はステップ3802 、3804で行われる。ステップ3806における試験により、第37図の例に示すように、垂直方向の適合性（すなわち、ＭＳＥ）が水平方向の適合性よりも良好であれば、垂直方向の分割ステップ3810を選択する。逆に水平方向の適合性が垂直方向の適合性よりも良好であれば、水平方向の分割を選択し、プログラムは終了する（DONE）。分割方向を発見するためのこの方法の利点は、エラーの殆どがその領域の１／２で生ずるならば、しばしば“適合可能な”領域が得られるという点である。第 37図の例では、垂直方向の適合性が良好で、水平方向の誤差の殆どが画像の右半分の側にある。従って、この場合は垂直方向の分割が好ましく、エラー（水平方向）が殆ど右側にあるので、領域3702の左側はさらに分割する必要ば殆どない。第17図に戻って、すべての領域がコード化されていると、再併合ステップ1720 でプロセスが継続する。再併合ステップ1720で画像のすべての領域について発生されたコード化を検査し、それに対して幾つかの後処理を施してあるコードを除去し、復号時間を改善する。同じ寸法の２個の隣接する領域が同じＤＰＣＭ量子化テーブルでコード化されるならば、分割処理を避けることが出来る。ステップ1720の再併合処理により２個のより小さい領域を大きな領域と置換するようにコード化ストリームを修正する。２個の領域を再結合することによって形成された大きな領域は、その後隣接する同じ寸法にＤＰＣＭ化されたコード化領域とさらに再結合するための動作に関与することができる。第64図〜第66図は選択された画像をコード化するフレーム内デコーダ1610を詳細に示す図である。前述のように、表示されたビデオの質を向上させるために特別な処理を施すために、大量の急速および／または不規則な動きを含む画像のようなある種の形式の画像を選択することが望ましい。選択された画像と称されるこのような画像は、多レベル解像度でコード化される。各解像度レベルに対して、その解像度レベルをもった基準画像中の各ピクセルの値を、その解像度レベルの選択された画像中の各対応するピクセルの値から減算することによって補正画像が生成される。次いでその解像度レベルの補正画像は量子化され、コード化される。第64図を参照すると、同図には本発明に従って選択された画像をコード化する方法の好ましい実施例を説明するブロック図が示されている。以下ではレベル０の選択された画像6402と称する全解像度の選択された画像が、以下ではレベル１の選択された画像6404と称されるより低い解像度をもった選択された画像に分解される。レベル１の選択された画像6404は、以下ではレベル２の選択された画像6406と称されるさらに低い解像度の選択された画像に分解される。レベル２の選択された画像6406はさらに低い解像度の選択された画像に分解され、このさらに低い選択された画像は、好ましい実施例では、以下レベル３の選択された画像6408と称される最も低い解像度の選択された画像である。好ましい実施例では、レベル１の選択された画像6404は、全解像度のレベル０の選択された画像6402のピクセル数の約１／４ピクセルを有し、レベル２の選択された画像6406は、全解像度のレベル０の選択された画像6402のピクセル数の約１／16ピクセルを有し、レベル３の選択された画像6408は、全解像度のレベル０の選択された画像6402のピクセル数の約１／64ピクセルを有する。この好ましい実施例では、選択された画像は３つのより低い解像度の画像に分解されるが、選択された画像をより少ない解像度レベルの画像に、あるいはより多くの解像度レベルに分解することもこの発明の範囲内に含まれることは云うまでもない。従って、本発明は、選択された画像を少なくとも１個のより低い解像度の画像に分解するという考え方をすべて含むものである。レベル３の補正画像6410はレベル３の基準画像中の各ピクセルの値をレベル３の選択された画像6408中の対応する各値から減算することによって形成される。レベル３の基準画像6412はすべてが同じ値を有するピクセルのアレイからなる。好ましい実施例では、選択された領域6402、6404、6406および6408中の可能なピクセル値の範囲は０乃至255である。レベル３の基準画像6412のピクセル値は全ピクセル値の範囲の中間点であることが望ましい。従って、レベル３の基準画像6412の各ピクセルの値は128である。その結果、レベル３の補正画像中のピクセル値は以下では差分値Ｄと称し、−128から＋127の範囲の符号と値をもっている。レベル３の補正画像6410中の各ピクセルの差分値Ｄは6414で量子化され、レベル３の量子化された補正画像64 16を形成する。レベル３の量子化された補正画像6416は次に説明するように6418 でコード化される。上記の他に、最も低い解像度の基準画像のピクセル値の別の定数が、選択された画像中の実際のピクセル値に基づいて選択されてもよく、この選択された定数はビットストリーム中に転送される。例えば、選択された画像中の実際のピクセル値の平均値を選択してビットストリーム中に転送してもよい。レベル３の出力画像は、レベル３の量子化された補正画像6416の各ピクセルの値をレベル３の基準画像6412中の対応する各ピクセルの値に加算することによって形成される。レベル３の出力画像6420は拡張されて、拡張されたレベル３の出力画像6422が形成される。拡張によって生成された空のピクセル位置は好ましくは線形フィルコード化補間によって決定された値をもったピクセルによって満たされる。これは、例えば、空のピクセル位置の両側のピクセルの値を加え合わせ、得られた和の値を２で割り、その商を空のピクセル位置に挿入することによって達成される。しかしながら、上記以外の補間方法も使用することができ、それらの方法もこの発明の範囲内に含まれることは云うまでもない。例えば、多項式補間は補正画像中のピクセルの平均寸法を小さくする傾向があり、それによってビット率を減少させることができる。好ましい実施例では、各低いレベルの解像度は、より高い解像度のレベルのピクセルの数の１／４のピクセルを含んでいる。しかしながら、各低い解像度レベルのピクセルの数は、２、３、５、その他非整数値比を含む係数によって減少させることができ、これらもこの発明の範囲内に含まれるものであることは云うまでもない。このような場合は、多項式補間が特に有効である。レベル２の補正画像6426は、好ましい実施例では、拡張されたレベル３の出力画像6422であるレベル２の基準画像の各ピクセルの値をレベル２の選択された画像6406中の各対応するピクセルの値から減算することによって形成される。符号が付された差分値Ｄであるレベル２の補正画像6426の各ピクセルの値としては− 255乃至＋255の範囲内の値を採ることができるが、−128乃至＋127の範囲外の値はクリップされるので、差分値Ｄは− 128と＋127の範囲内に制限される。差分値Ｄは6430で量子化されて、レベル２の量子化された補正画像6432が生成される。レベル２の量子化された補正画像6432 は次に説明するように6434でコード化される。レベル２の出力画像6436は、レベル２の量子化された補正画像6432の各ピクセルの符号の付された差分値Ｄを拡張されたレベル３の出力画像6422の各対応するピクセルの値に算術的に加えることによって形成される。レベル２の出力画像64 32は拡張されて、拡張されたレベル２の出力画像6440が形成される。拡張されたレベル２の出力画像中の空のピクセル位置は、レベル３の出力画像6420の拡張に関して先に説明した方法と同様な方法で満たされる。レベル１の補正画像6442は、好ましい実施例では、拡張されたレベル２の出力画像6440であるレベル１の基準画像の各ピクセル値をレベル１の選択された画像6404中の各対応するピクセルの値から減算することによって形成される。好ましい実施例では、−128乃至＋1 27の範囲内にある符号の付された差分値Ｄであるレベル１の補正画像6442中の各ピクセル値は6444で量子化されてレベル１の量子化された補正画像6446が形成され、これは以下に説明するように6448でコード化される。レベル１の出力画像6450は、レベル１の量子化された補正画像6446中の各ピクセルの符号の付された差分値Ｄを拡張されたレベル２の出力画像6440中の対応する各ピクセル値に算術的に加算することによって形成される。レベル１の出力画像6450は拡張されて6454で出力画像が生成される。拡張されたレベル１の出力画像の空のピクセル位置は、レベル３の出力画像6420の拡張に関して先に説明したようにして満たされる。全解像度のレベル０の補正画像6456は、好ましい実施例では拡張されたレベル１の出力画像6454である全解像度レベル０の基準画像中の各ピクセルの値をレベル０の選択された画像6402中の各対応するピクセルの値から減算することによって形成される。レベル０の補正画像6456 中の各ピクセルの値は、同様に、好ましい実施例では、−128から＋127の範囲内の符号が付された差分値Ｄであり、6458で量子化されて次に説明するように6462 でコード化されたレベル０の量子化された補正画像6460が生成される。上に述べたこの発明の好ましい実施例の説明では、各解像度レベルの量子化された補正画像は次に低い解像度レベルの拡張された出力画像を基礎としている。しかしながら、特定の解像度レベルにおける量子化された補正画像は、２あるいはそれ以上の低い解像度のレベルから拡張された出力画像を基礎とするものでもよく、このようなものも本発明の範囲内に含まれるものである。例えば、レベル３の出力画像をレベル１の解像度に拡張することもできる。次いで、レベル１の補正画像は拡張されたレベル３の出力画像（この場合、レベル１の基準画像である）中の各ピクセルの値をレベル１の選択された画像の各対応するピクセルの値から減算することによって形成される。上述の説明では、全解像度補正画像が形成され、量子化され、コード化されるが、全解像度におけるこのような画像処理は高解像度の結果を得るうえで必要ではないし、好ましいものでもない。従って、この発明の他の好ましい実施例では、全解像度よりも低い解像度のレベルで処理が行われる。例えば、全解像度基準画像を形成するためのレベル１の画像は形成されず、また拡張されない。また、全解像度量子化補正画像を形成するためのレベル０の補正画像は形成されないし、量子化も行われず、最終画像は次のようにして得られる。また、この別の好ましい実施例では、選択された画像は全解像度よりも低い解像度の２つのレベルにのみ分解される。すなわち、全解像度のレベル０の選択された画像はレベル１の選択された画像6404とレベル２の選択された画像6406とに分解される。その結果、レベル２はこの実施例では最も低いレベルである。従って、レベル２の基準画像は、先にレベル３の基準画像6412について述べたようにすべて同じ値をもったピクセルのアレイからなる。異なった解像度レベルの量子化補正画像は次のようにしてコード化される。各レベルに対する量子化された補正画像は、ナルおよび非ナル領域にグループ分けされたｍ×ｎのピクセルに分けられる。好ましい実施例では、ｍ＝８、ｎ＝８である。ナル領域は全ピクセル値がゼロに量子化された領域である。非ナル領域では、少なくとも１個のピクセルが非ゼロの量子化された値をもっている。非ナル領域は、コード形式、例えば、クワッド（ｑｕａｄ）、ダイアド（ｄｙａｄ）あるいはＤＰＣＭのような形式の好ましくはベクトル量子化コードを使用してコード化される。特定の領域に対しては、これらのコード形式のあるものが好ましい。これは同じ数のコード化ビットに対してより良好な質の画像を得ることができるからである。ベクトルは１あるいはそれ以上のピクセル値を表わし、１つは特別な場合である。例えば、モナド（ｍｏｎａｄｓ）、ダイアド、クワッドは、それぞれ１、２、４ピクセルのベクトルを表わす。ベクトルは直接適用することもできるし、空間予測を採用することもできる。例えば、ＤＯＣＭはモナド用として使用することができ、この場合は、各モナドは直前のモナドによって予測される。この点に関して、ＤＰＣＭはモナドを使用した形式のベクトル量子化コードの特別な事例と考えられる。各レベルに対する量子化補正画像は線形フィルおよび非ナル領域に分割され、このようなものも本発明の範囲内に含まれる。領域がこのように分割される場合は、ナル領域は線形フィルの特別な事例であると考えられる。静止画像のコード化については当技術分野で周知の他の技法を使用することができ、例えば、離散コサイン変換（ＤＣＴ）技法を使用することができ、このようなものも本発明の範囲内に含まれることは云うまでもない。好ましい実施例では、使用されるコードの形式は、ビットスロリーム中で明確に説明されている。従って、デコーダはビットストリーム中のコードを読み取ることによっで解像度の各レベルに関して使用されるコードの形式を認識する。これによってあらゆる解像度レベルをコード化するのに任意の適当な形式のコードを使用することが可能になる。好ましい実施例では、レベル３の最低レベルの解像度をもった量子化された出力画像は上述のような一般的なコード化処理の特別な場合としてコード化される。すなわち、全体がレベル３の量子化された補正画像は、予め設定されたコード形式を使用してコード化された非ナル領域として処理される。好ましい実施例では、予め設定されたコード形式は本明細書中で詳細に説明されているＤＰＣＭである。しかしながら、最低解像度レベルの量子化された補正画像は、より高い解像度の量子化された補正画像レベルに関して後程説明するようにナルと非ナルとに分割することができ、これも当然本発明の範囲に含まれるものである。また、ＤＰＣＭのようなコード形式を予め設定する代わりに、本発明の別の実施例では、ＤＰＣＭ、ダイアド、クワッドのような異なるベクトル量子化コード形式を使用し、その状況下で最適の形式のコードを適宜決定して各非ナル領域をコード化し、最終的に採用されたコード化形式を識別するためのコードを伝送する。好ましい実施例では、８×８のピクセルのブロックは、好ましくは本明細書中で詳細に説明されているコード化技法と同様な２進トリーコード化技法を使用してナル領域と非ナル領域とにグループ分けされる。大きな相違点は、２進トリーコード化技法では量子化された補正画像を採用しており、画像はナル領域中のピクセルの数を最大にし、生成された領域の全体の数を最小にするような態様で画像を分割するという点である。好ましい実施例では、分割は８×８のピクセルのブロックの境界に沿っでのみ行われ、ブロックを貫通して分割することはできない。その結果、１あるいはそれ以上の非ナルピクセルは非ナル領域全体にわたって存在する。２進トリーコード化が好ましいが、クワッドトリー分解のような他の領域形成方法も使用することができ、このような方法も本願発明の範囲に含まれることは云うまでもない。第65図に示された例では、画像は各種の寸法の７個のナル（Ｎ）と非ナル（ＮＮ）とに分割されている。各ナル領域Ｎは全てのピクセル値がゼロに量子化されたピクセルブロックのみを含んでいる。各非ナル領域ＮＮは、非ゼロの量子化された値をもった少なくとも１個のピクセルが存在する少なくとも１個のピクセルブロックを含んでいる。この例の目的のために、全解像度画像は水平方向に256個のピクセル×垂直方向に240個のピクセルのアレイからなると仮定する。領域6502は幅が128個のピクセルと高さが120個のピクセルの長方形である。領域6502の左上隅のピクセルは位置０、０を占めている。領域6504は幅が128個のピクセルと高さが64個のピクセルの長方形である。領域6504の左上隅の位置は128、０である。領域6506は幅が6 4個のピクセル、高さが56個のピクセルの長方形で、この領域6506の左上隅のピクセルはピクセル位置128、64を占めている。領域6508は幅が64個のピクセルと高さが56個のピクセルの長方形で、この領域6508の左上隅のピクセルはピクセル位置192、64にある。領域6510は幅が64個のピクセルと高さが120個のピクセルの長方形で、この領域6510の左上隅のピクセルはピクセル位置０、120にある。領域6512は幅が64個のピクセルと高さが120個のピクセルの長方形で、この領域651 2の左上隅のピクセルはピクセル位置64、120にある。領域6514は幅が128個のピクセルと高さが120個のピクセルの長方形で、この領域6514の左上隅のピクセルはピクセル位置128、120にある。このような８の倍数でない寸法をもったピクセルアレイに対しては、下および／または右境界に沿う８×８のピクセルブロックは好ましい実施例では切断されてしまう。例えば、第65図に示されたアレイがルミナンス成分に対するピクセル値のアレイであると仮定すると、サブサンプルされたＵおよびＶ成分に対するアレイは好ましい実施例では４のサブサンプリング係数を仮定すると、64×60である。すなわち、ＵおよびＶの各成分はそのアレイ中にルミナンス成分のアレイの１／16のピクセルをもっている。60個のピクセルの垂直方向のアレイの寸法ば８の制数倍でないので、ＵおよびＶ成分アレイの各々のピクセルブロックの下側行は８×４の各ピクセルに切断される。好ましい実施例では、領域のテーブルは、その領域の左上隅のピクセルの垂直方向の位置、水平方向の位置、その領域の高さ、その領域の幅、その領域がナルＮの領域か非ナルＮＮの領域か、さらに非ナル領域に対して採用されたコードの形式によって各領域を識別するような形に形成されている。この領域テーブルの情報は２進トリーを使ってコード化され、ビットストリーム中に挿入される。第 65図に示された領域を識別する領域テーブルの例が第66図に示されている。領域 6502は、第66図のテーブルでは、左上のピクセルの位置が０、０、幅が128個、高さが120個、およびこれがナル領域（Ｎ）であるとして示されている。領域650 6については、これが非ナル領域であることからさらにコード化形式が入力指示ＤＰＣＭを含んでいる。他の領域も第66図に示されたテーブルで識別されている。第66図に示された領域テーブルの左側の列はこの詳細な説明のためにのみ使用されるもので、本発明に従って形成された領域テーブルの部分ではない。ナル領域のピクセルはすべてゼロに量子化されでいるから、ナル領域のピクセル値は言外に含まれている。すなわち、デコーダはナル領域中の各ピクセル位置に対して自動的にゼロの値を与える。各解像度レベルの非ナル領域は適当なコード形式を使用してコード化される。前述のように、レベル３の補正画像全体は単一の非ナル領域として取り扱われ、本明細書中で詳細に説明されでいるＤＰＣＭコード化技法を用いてコード化される。より高い解像度の量子化された補正画像の非ナル領域は適当なコード形式を使用してコード化される。好ましい実施例では、最低レベルと全解像度の中間の解像度レベルの量子化された補正画像の各非ナル領域は同様に本明細書中で詳細に説明されている好ましくはダイアドコード形式と同じコード形式を用いてコード化される。全解像度レベルのゼロに量子化された補正画像の非ナル領域は他のコード化形式、好ましくはクワッドを使用してコード化される。クワッドコード化技法はここで詳細に説明されているダイアドコード化技法と同様で、基本的な差は各クワッド指示番号が２ではなく４のピクセル値を示すという点である。各４のピクセル値の組とそれに関連するクワッド指示番号はクワッドテーブルにリストアップされている。クワッドテーブルはデジタル・ビデオ・データ・ストリーム中に挿入される。本発明の好ましい実施例では、最低解像度レベル、全解像度レベル、最低解像度レベルと全解像度レベルの中間の解像度レベルに対して別々のコード形式が適用されているが、全ての解像度レベルに対して同じコード形式を適用してもよいし、異なる解像度レベルに対して異なるコード形式、あるいは各解像度レベル中の異なる領域に対して異なるコード形式を適用してもよく、これらの変形例はすベて本発明に含まれることは云うまでもない。第39図〜第43図は第16図のフレーム内コーダ1620の動作を詳細に説明するものである。前述のように、フレーム内コード化は、典型的な動きビデオシーケンス中のフレーム間に存在する相関性あるいは冗長性の効果を得るために動きビデオシーケンスの第２あるいは後続するフレームに対して使用される。先行するフレームの領域がそのときのフレームでコード化された領域にかなりの精度で対応しているということが判れば、フレーム内コーダ1610で行われた絶対値ではなく差分のみをコード化すればよいという点で有効である。前述のように、フレーム内コード化は、差分値はより少数のビットでコード化することができる小さい数になる傾向があるという点で有利である。場面内でパン（カメラを上下左右に動かすこと）したり対象物が動くことにより領域が移動すると、さらに別のコード、すなわちオフセット値Ｘ₀、Ｙ₀が必要になる。オフセット値Ｘ₀、Ｙ₀は、移動する対象物がそのときのフレームと先行するフレームとの間で垂直方向、垂直方向に変換される量を表している。第40図は動き効果を示す図である。同図で実線4004はそのときのフレームの特定の領域を示す。領域4002は領域4004中の情報に対応する画像情報を含む先行するフレームの領域を示す。対応する領域4002に対して領域4004はＸ₀方向、Ｙ₀方向に移動している。全体としてコーダ1620の１つの仕事は領域4004（以下ではターゲット領域と称す）を、領域4004と4002との間の差分を表わす双１次多項式Ａｘ＋Ｂｙ＋Ｃとしてコード化することである。領域Ｘ₀とＹ₀の位置の差分（以下ではオフセットと称す）もまたコード化されて、デコーダを付勢して先行する画像の位置設定を行い、その差分を上記先行する画像の位置に加えてターゲット画像を再構成する。この形式のコード化を、以下ではコーダ1610の“絶対”線形フィルコード化と区別するために“相対”線形フィルコード化と称す。コーダ1620は上記の他にそのときのフレーム中のターゲット画像に対応する先行するフレーム中の位置決め領域“Ｃ”に対する高速サーチルーチンを与え、もし適当な先行領域が発見されなければ、代替デフォルトコード化を与えるという他の機能をもっている。第39図はコーダ1620によって実行されるフレーム内コード化処理の各ステップを詳細に示すフローチャートである。この“ソフトウエア”の実行は現在のところ好ましいものである。個々の処理機能はフローチャートに示す機能を与える個々の装置の素子によって容易に実行されることは明らかである。フレーム内コード化は、第16図のモードスイッチ240’を押して下側の位置に切り換えることによってスタート3902で開始され、動きビデオシーケンスの第２のフレームのコード化を開始する。スイッチ240’は以前はフレーム内コーダ1610を使用して第１フレームをコード化するための上側位置にあったので、先行フレームは既にコード化されて第２図のバッファ記憶器232に記憶されており、またコード化されるべきそのときのフレームと比較するために非コード化形式で記憶されている。フレーム内コード化はＹ、Ｉ、Ｑサブフレームについて各別に行われる。フレーム内コード化が開始された後、次のステップ3904でターゲット（Ｔ）および対応する（Ｃ）先行領域の選択が行われる。ターゲット画像は、正確に同じ寸法で且つ最初そのターゲット領域と同じ先行するフレーム中の正確に同じ位置（Ｘ、Ｙ座標）にあるべき対応する領域を選択することによって対応する領域の選択を制御する。以下に説明するように、次いでフレーム毎の動きを補償するためにターゲット領域の座標の近くでサーチが実行される。ターゲット領域は静止フレームの“絶対”フィルコード化のための領域選択と同様に選択される。最初は全画像領域がターゲット領域として選択される。もしこの領域が充分にコード化されなければ、これはコード化のために次いで試験されるサブ領域に分割される。一旦ターゲット領域が選択されると、そのときの領域が全画像か、分割動作によって領域リスト（3904）に置かれた領域の１つかには関係なく、その後の処理は同じである。ステップ3908での処理のために領域が利用できれば、この領域についてすでに動きの補償が行われたか否か決定するためにステップ3910で試験される。もし動き補償が完了しておれば、この処理を繰り返す必要はなく、処理ステップは直接ステップ3930にスキップする。後程動き補償について説明するように、ステップ3928において“Ｔ”領域と“Ｃ”領域の“相対” 変位を表わすコードが発生される。このコードは、所定の領域および分割によって後程それから引き出されたサブ領域について１回だけコードストーム中に含められる。これによってコード化ビットストリームの寸法を減少させるのを助ける。このことは２進トリーの分解に関する多くの効果のうちの１つである。ステップ3910で動き補償がまだ行われていないと決定されると、ステップ3920 における動き補償処理が開始される。簡単に云えば、ステップ3920における処理はその時のフレームのターゲット“ Ｔ”に最もよく整合した先行フレームをサーチすることからなる。もし動きがなければ、領域ＣおよびＴは同じ座標にある。もし動きがあると、領域Ｃは領域Ｔに対してＸ₀、Ｙ₀の大きさだけオフセットあるいは移動している。ターゲット領域の対応するピクセル値と移動した“Ｃ”に対する最良の選択との間の平均２乗差分（ＭＳＤ）が計算される。ＭＳＤの値はステップ3922において第２図の閾値制御ユニット238から入力された閾値と比較され、この比較の結果、移動した領域に対するこの最良の選択がターゲット領域に対して満足できる整合を与えることができなければ、ステップ3924でターゲット領域は最小寸法に対してチェックされる。ターゲット領域が最小寸法よりも大であれば、これはステップ3926 で分割されて分割領域に関して動き補償が行われる。ターゲット画像に対する整合性が満足できる移動領域が発見される（すなわち、ステップ3922における試験をパスする）か、ターゲット領域が最小であれば、ステップ3928でＸ₀、Ｙ₀の変位がコード化されて領域指示コードに領域オフセットを与える。ステップ3924を経てステップ3928に到達し、またステップ3922における試験で満足されなければ、変位領域はターゲット領域を正確に示していないということになる。このような状況は、カメラをパンし、従って先行ピクセルが存在しないときに生ずる。第 39図における後続する処理により、おそらく“絶対”ＤＰＣＭを経て最良の領域を表わす。次に第40図、第41図、第42図、第43図を参照して動き補償について詳細に説明する。ステップ3920における動き補償の目的はターゲット領域に最も近似した領域“Ｃ”のオフセットすなわち変位を決定することである。第42図に示す処理は適合性の程度を表わす測定値を最小にする変位をサーチすることに関し、名目上は２つの領“Ｃ”のオフセットすなわち変位を決定することである。第42図に示す処理は適合性の程度を表わす測定値を最小にする変位をサーチすることに関し、名目上は２つの領域間の平均２乗差（ＭＳＤ）を適合性の程度を表わす目安として使用する。特定のターゲット領域が大きな数のピクセル値を含む可能性があり、このためＭＳＤの数値決定に非常に長時間を要する。そこで、もし平均２乗差分がピクセルの適当に選択された部分集合についてのみ計算されれば、この計算を行なうのに要する時間は最終結果に大きな影響を与えることなく大幅に短縮することができる。第42図における第１のステップは、ステップ4210におけるＭＳＤ計算用の代表ピクセル群を決定することである。ランダムであるが領域全体にわたって一様に分布しているピクセルをピックアップするというやりかたは有効であることが証明されている。部分集合中に必要な代表ピクセルの数は大雑把にいって領域の面積の平方根に依存している。さらに正確にいえば、必要な数は式Ｋ！Ａで決定される。ここでＫは閾値制御ユニット238を介して導入されるパラメータであり、通常約10である。また、Ａは領域の面積を表わす。代表ピクセルが領域全体を通じて一様に分布していることを保証刷るために、領賊はＫ！Ａの等しい寸法のサブ領域て構成されており、ピクセルはこれらのサブ領域の各々からランダムに選択されると仮定する。次に“Ｔ”および“Ｃ”領域に対して簡単な低域通過フィルタによる濾波処理が施される。このような低域通過フイルタ4204はランダムな効果に対する影響の小さい代表ピクセルを利用している。この濾波処理動作は動き補償に対してのみ行われ、濾波された領域はその領域の後続する処理の前に棄てられる。サーチの第１段階ではサーチの解像度を１ピクセルに設定することによって開始される（4220）。より大きな解像度のためにはターゲット領域と対応する“Ｃ ”領域との間の変位を知ることが望ましいが、１ピクセル解像度で開始することは２つの利点がある。第１の利点は、短い時間でＭＳＤの値を求めることにより大きな変換を行うことができるという点である。第２の利点は、ＭＳＤに対する計算時間が早くなるという点である。ピクセルの分数変位に対するＭＳＤの計算にはピクセル相互間の補間のための付加ステップを必要とするから後者のＭＳＤの計算時間が早くなることは真である。ＭＳＤの次の試験的数値決定が開始点4230から８個の異なる方向に行われる。これらの８個の可能な方向が第41図に示されている。ＭＳＤで最大の減少を与える方向が追跡される。実際には最適方向を選択するのに８個のＭＳＤの計算を行なう必要はない。アルゴリズムは、開始点の近傍ではＭＳＤはほぼ直線関数であると仮定している。従って、もし方向Ｋが減少すれば、方向Ｒは増大することが期待され、そのＭＳＤの数値は決定されない。同様にＵ方向に減少すれば、Ｄ方向の数値決定は抑制される。最後に１つの斜め方向の評価のみが必要になり、先ず最善の水平方向、垂直方向が決定され、次いでそれらの間の斜め方向が試験される。このやり方はしばしば大体正しい方向を示す。さらに、たとえ誤った方向を示しても、プロセスにおける他のステップで最終的には適切な方向のサーチを示すことができる。通常、これらの色々な方向が試験され、他の方向よりもＭＳＤを減少させる方向が発見される。このような方同が存在すると、局部最小値試験（4240）はＮＯで、ステップ4260のサーチヘ進む。この点で、“Ｃ”領域が、ステップ4230で最小のＭＳＤを生成する方向に沿ってのみ試験される。試験領域は、ＭＳＤが減少しつづける限り選択された方向で１ピクセル解像度で検査される。このプロセスは第41図で２重矢印で示されている。変換処理によりＭＳＤがさらに減少することがなければ、ステップ4230は新しいサーチの方向を発見するために繰り返される。この処理はＭＳＤがさらに減少することがなくなるまで繰り返される。そこで解像度は１／８ピクセル（4240、4250、4270）に向上し、再びＭＳＤがさらに減少するのが停止するまでこのより高い解像度でのサーチプロセスが繰り返され、Ｘ₀、Ｙ₀の値が可能な次のコード化3928のために記憶されて終了する。 “Ｃ”領域におけるピクセル値は１つの全ピクセル解像度でのみ使用可能である。例えば、１／８解像度で“Ｃ”フレームの領域サーチすることは、もしピクセル値が１／８のピクセル間隔の解像度で利用できる場合においてのみ意味がある。これらのピクセル値は１／８ピクセルの増分で値を生成するために補間によって発生される。これらの値を生成するために使用することができる補間アルゴリズムとしては、１次補間、２次補間、３次補間等、多数の補間アルゴリズムがある。第43図は、動き補償を行なうプロセスおよび“相対”コード化をさらに説明しており、またそれによって得られる実質的なデータ減少を説明している。この例では、左行するフレームのＣ領域4304は一様な明るさ（５ユニット）であると仮定している。領域4302は、ピクセル当たりの水平方向、垂直方向の勾配が−１、＋１であることを除けば同様である。減算処理（4306）により、コード化するのに比較的小さい値のピクセルをもった差分Ｉで表される画像4308が得られる。図示のように、コードは明るさ（Ｃ）と、勾配（Ａ、Ｂ）と、領域オフセットコードＸ₀、Ｙ₀からなる。ターゲット領域に対する動き補償が完了すると、処理はステップ3930で継続して行われる。ステップ3930はターゲット領域に関して行われるコード化の形式を決定する。先ず、ターゲット領域と選択された“Ｃ”領域の対応するピクセル値の差分からなる領域が発生される（第43図）。この発生された領域内における差分値が閾値、典型的には30よりも大であれば、このターゲット領域は“相対”コード化としてクラス分けされ、また“相対”コード化用に選択される。“相対” コード化を採用したことによる効果は、より小さいコードの値ｆをもった大きな領域が得られ、それによってより小さいコード寸法が得られ、コード化時間が短縮されるという点である。この場合、ステップ3930は“相対”（ＲＥＬ）と記された決定パスに出力を発生する。第39図に戻って、発生された領域に閾値よりも大きな差分値が存在すると、ターゲット領域は“相対”としてはクラス分けされない。しかしながら、その部分は“相対”コード化によってうまくよく処理されると考えられる。ここではステップ3930は試験的分割を行い、得られた２個のサブ領域を試験する。この試験的分割は単純分割（第35Ａ図）を使用している。これらのサブ領域が閾値条件を満足すると、ステップ3930はＭＩＸＥＤと記された決定パスを経て分割ステップ39 38に供給される出力を発生し、それによって寸法が半分の２個の領域が別々に処理される。ステップ3930における分割処理もまた単純な分割である。ステップ3938における分割処理の前に最小寸法試験（3936）が行われる。ステップ3938における分割によって領域を最小寸法以下に減少させると、最小寸法試験（3936）はそのターゲット領域を“絶対”としてクラス分けする。これはコードの寸法、復号時間の双方にとって非能率的な非常に小さい平坦なフィル領域が発生するのを防止することができる。試験分割領域のいずれの半分も“相対”として明確にクラス分けすることができるサブ領域を生成しない可能性がある。その場合は試験的分割は各サブ領域について実行される（3930）。この処理は２つの事象のうちの一方が発生するまで継続される。サブ領域が明確に“相対”であることが発見されると、ステップ3930はＭＩＸＥＤ決定パスに出力を発生する。サブ領域が発見されなければ、生成された領域が最小領域の寸法試験が行われなくなるまで試験的分割が継続して行われる。もしこのような事態、すなわち最小寸法よりも大きな試験的サブ領域が発見されなければ、従って明確に“相対”であることが発見されなければ、ターゲットは“絶対”としてクラス分けされ、ステップ3930 は“絶対”決定パスＡＢＳを経てステップ3934へ出力を供給する。もしＭＩＸＥＤパスに出力が発生すると、領域はステップ3938で分割される。これらの各サブ領域は最終的にはステップ3930で再び処理される。ＭＩＸＥＤ出力に出力を発生する理由は“相対”としてクラス分けされる試験領域が存在したということであるので、ステップ3938における分割は最終的にはその領域を生成する。その領域が一旦クラス分けされると、それはステップ3932およびステップ3934で “相対”フラグ、“絶対”フラグによって識別され、後続するステップ3952およびステップ3968におけるフィル処理で使用される。 “相対”領域は、ステップ3928におけるＸ₀、Ｙ₀オフセット値のコード化の後で、ステップ3930における領域クラス分けの前にステップ3929で低域通過濾波される。この点における低域通過濾波により、大きな領域が“相対”としてクラス分けされ、それによってコードの寸法を小さくする可能性が増大し且つ復号時間を増大するような異常な細分化が防止される。領域が、“絶対”領域の寸法を増大する傾向のあるクラス分けされた絶対値である場合も、ターゲット画像は濾波される。この点に関しては、付加非線形フィルタが非常に有効であることが判った。目はコード化された差分値と“Ｃ”領域のピクセル値との和を見ているので、目は差分値領域中の細部の消失に対しては感度が低い。従って、人間の視覚系に基づいて濾波に対する重み付けをすることは極めて有効である。人間の目は、差分画像の一部のエラーに対する感度は他の部分に対する感度よりも低い理由は２つあり、これらの２つの理由は共にピクセル毎を基準とした濾波の領域を決定するために使用される。第１に、ターゲット領域が明るい差分領域の部分はターゲット領域が暗い部分よりも強く濾波され。第２に、ターゲット領域が“多忙（busy）”すなわち細かい差分領域の部分はターゲット領域が比較的滑らかな部分よりも強く濾波される。すなわち、ターゲット領域がゆっくりと変化すると、その差分領域のエラーは、ターゲット領域の細部が失われている場合よりも視覚的に遙に明確になる。ある点における多忙さの程度は隣接ピクセル値を減算することによって推測され、それによって局部的勾配の測定値が得られる。上述の点から明るい画像および／また多忙な画像に対するダンピング係数Ｄを大きくするために、第36Ａ図のデコーダ3624を修正することもできる。次の処理ステップは、平坦な表面：Ａｘ＋Ｂｙ＋Ｃによってその領域を試み、表すことである。ステップ3930がその領域を“相対”あるいは“絶対”のいずれでクラス分けされているかによってステップ3952は差分領域あるいはターゲット領域のいずれかに対して適用される。この処理は本質的には第17図の1706〜1716 について先に説明した処理と同じである。その領域がステップ3942における粗さ閾値試験を受けなければ、その領域は最小寸法ステップ3964で試験される。その領域が最小寸法よりも大であると、ステップ3966で分割処理を受け、新しいターゲット領域が選択ステップ3904用に発生される。逆にその領域の寸法が閾値以下てあれば、その領域が“絶対”としてあるいは“相対”としてのいずれでクラス分けされているかによって２つの技法のうちの一方が続けられる。“絶対”領域に対しては、その領域のステップ3970におけるＤＰＣＭコード化が実行され、これは前述のフレーム内コード化で使用される技法と実質的に同じである。 “相対”領域に対しては、ダイアドコード化と称される別の技法が実行される。この技法はほぼ平坦であるが、手坦な表面として適正にコード化されるのを阻止する２、３の例外的なピクセルをもった領域に対して最適である。ダイアドコード化については第61図を参照して次に説明する。第61図はターゲット領域6110の８個のピクセルの代表領域と、先行フレームの最も良く整合した対応する領域6120とを示す。エンコーダは、１対の値Ｒ、Ｓを対応するピクセルＣ₁ 、Ｄ₁にそれぞれ加えることによってターゲット画像ピクセルＡ₁、Ｂ₁を発生する。１対の値Ｒ、Ｓをここではダイアドと称す。デコーダはデータストリームからのコード値を使用することによってダイアド・メモリ・テーブル中の１対の値Ｒ、Ｓを見つけて、ダイアド・メモリに供給するためのアドレス値を発生する。第62図はダイアド（ｄｙａｄ）コード化処理を示す。11個のダイアド点（黒点）がＲＳ座標系の対角線上にプロットされている。ダイアド点の座標は閾値制御器238によって圧縮器230に入力される。ダイアド点はK1〜K11の番号が付されており、差の値Ｒ、Ｓの対をコード化するために用いられるのはダイアド番号（その座標値ではなく）である。これは実際のピクセルの差分の値をＲＳ平面内の点（Ｐ）としてプロットし、コード番号として最も近いダイアド点Ｋを選択することにより行うことができる。一例として、第61図において、ピクセルＡ₁とＢ₁がコード化されるものとする。初めに、前のフィールドのＣ₁がＡ₁から減算されて値Ｒ₁が得られる。次いでＤ₁がＢ₁から減じられて差分の値Ｓ₁が得られる。説明の目的で、Ｒ₁＝10、Ｓ₁＝13とする。これらの値は第62図において点Ｐ（10，13）の座標として用いられ、ＲＳ平面にプロットされる。図示のように、点Ｐ（10，13）に最も近いダイアドは、座標Ｒ＝ 14、Ｓ＝14のダイアド＃Ｋ６である。従って、領域6110（第61図）のＡ₁Ｂ₁をダイアド指示子Ｋ６を伝送することによってコード化することができる。（Ｋ６のテーブル・ルックアップによって）復号されると、Ａ₁とＢ₁ピクセルは元の値よりも幾らか明るくなるだけである。即ち、ピクセルＡ₁の真の値はＣ₁＋10であり、ピクセルＢ₁の真の値はＤ₁＋13である。ダイアドＫ６を用いると、復号された値は、ピクセル対Ａ₁Ｂ₁の真の値に非常に近いＣ₁＋14とＤ₁＋14となる。優れたダイアド復号画像は、前述のダイアド選択法を改変することにより得られることが分かった。例示したものでは、ダイアドＫ６は、復号されると、「真の」差分が伝送された場合よりも幾らか明るいピクセル対Ａ₁Ｂ₁を与えるように見える。真のピクセル差よりも小さな差を生じるダイアドを選択するほうが、復号画像を「過補償」即ちピーキングするようなもの（Ｋ６のような）を選択するよりも視覚的に目立ちにくい。従って、前述の例では、ピクセル対Ｐのコード化にはＫ６を選ぶよりもダイアドＫ５を選ぶほうが、この例ではコード化エラーは明らかに幾らか大きくなるが、良い。より小さなダイアドを選択する別の理由は、それによってダイアド周波数分布がより小さな値に向けてスキューし、それによって、可変長エンコーダ1640の使用が可能となるためである。第62図に示すダイアド領域特定コード化の別の特徴は、ダイアドＫ１−Ｋ11がピクセル差ＲＳ平面の左右の対角線に沿って等間隔とされていないことである。即ち、原点近くのダイアドの相互間隔は、原点から離れたダイアド相互間の間隔よりも小さい。その効果は、小さいピクセル対差（Ｒ，Ｓ）のコード化に対し、より多くのダイアドが利用でき、従って、差Ａ−Ｃ及びＢ−Ｄが小さくなれば、それだけコード化の精度が改善されることである。このことは、人の目というのは、ダイアドの値が小さい時のダイアド値のエラーに、より敏感であるためである。ダイアドコード化の正確さはダイアドＫ₁の数を増すことによって高くすることができることは明らかである。例えば、ダイアドは図示の45°に沿う対角線の代わりに、２本の対角線（例えば、30°及び60°）に沿って決めてもよい。一般に、多数のダイアドテーブルが利用可能であり、領域データに最もよく適合するテーブルが選ばれる。使用する特定のテーブルは、コード化されたデータの一部として示される。要約すると、ステップ3904はステップ3960、3970あるいは3980でコード化するための領域を提供する。その領域がコード化されない場合には、その領域は3926 、3938あるいは3966で分割(split)され、分離されたサブ領域がコード化される。最終的には、最小サイズテスト（3924）、（3936）及び（39 64）は全ての領域が強制的にコード化されるようにする。全ての領域がコード化されると、全領域がコード化された状態が検出される（ 3908）。次いで、処理は再併合（remerge）動作(3990)に移る。この再併合処理は、その画像の全領域に対して生成されたコード化を検査し、可能であれば、隣接するクワッド(quad)コード化された領域、隣接するダイアドコード化領域、及び隣接するDPCMコード化領域を併合させる。このプロセスは第17図のステップ17 20に関して論じた再併合動作と同様である。再併合（3990）の後、このプロセスはシーケンス中の更に別のフレームについてチェックを行う（3982）。それ以上フレームがない場合は、シーケンス中の全フレームが圧縮されたこととなり、第39図のプロセスから出る（3998）。まだフレームがある場合は、次のフレームが圧縮のために用意され（3984）、プロセスが繰り返される。第16図に返って、フレーム内及びフレーム間コード化後の次の圧縮にはコード化された信号Ｓ12とＳ13を面積依存適応型量子化器1630に供給することが含まれる。前述したように、この量子化器はコード化されたデータを領域の面積の関数として量子化する。この量子化器は、Ａｘ＋Ｂｙ＋Ｃ線形フィル(fill)の係数” Ｃ”のみに適用される。係数ＡとＢは典型的には１より小さいので、これらの係数の面積依存量子化は不要であることが分かった。大きい領域の平均明るさ”Ｃ”は正規には全８ビットで表される。もっと小さい領域はより少ないビット、従ってより短いコードワードを用いて逐次量子化される。第44図は領域の大きさと領域フィル値を表すために用いられるビット数をリストしたテーブルである。32ピクセル以上の領域については、８ビットが用いられ、それによって、256の明るさレベルからなる微細な解像度が得られる。16乃至3 1ピクセルの領域に対しては、７ビットで128レベルの解像度が与えられる。面積が２分の１になる度に、１ビットずつ少なくされる。１ピクセル領域は３ビットに量子化され、18の明るさレベルという粗い解像度が与えられる。前述のことから、１ピクセル領域の各々について、５ビット、各２ピクセル領域について４ビット、・・・が節約されることがわかる。面積依存適応型量子化は、全ての領域フィル値に対して全解像度値（８ビットのバイト）を割り当てる場合に比して、更にデータの減縮が可能である。更に、可変量子化が視覚的に見て許容可能であることが分かった。それは、可視性がより高い大きな領域が細かく量子化され、それによって全体として高解像度に見えるためである。より小さい粗く量子化された領域は、言うなれば、大きな高解像度領域の存在によって心理−視覚的にマスクされる。第45図は第44図の面積依存量子化の実施をフローチャートで示す。このプロセスは領域データメモリからある領域についての高さと幅のデータを取り（4502）、領域の面積を計算する4506ことによって開始される。領域の面積（4506）は面積テスト4508と4512-4518によってテストされ対応する量子化器が選択され4520-4528、領域の「面積」が32ピクセルから減少するに伴ってビット数が順次減少するようにされる。第16図に戻って、記述されるべき圧縮器230の最後の要素は「ストリームセグメント化された」可変長コード1640と称するものを含む。ここで使用した「ストリームセグメント化された」という語は各ビデオフレームに対し、複数の可変長コードを使用することに関連して用いられている。ここで記述する例における各単一の圧縮されたデジタルビデオフレームについて、最低18の異なる可変長コードが生成される。周知のように、可変長コードはより頻繁に生じるいイベントに対してはより短いコードを割り当てることによってデータ減縮を行う。どの様な可変長コードでも、単一では、別々に圧縮されたＹ、Ｉ及びＱ画像を効果的にコード化することができないことが分かった。これは、Ｙ、Ｉ及びＱサブフレームの各々の統計（スタティスティックス）が異なるためである。更に、どの様な可変長コードでも、単一では、サブフレームの別々のデータ要素を効果的にコード化することはできないことが分かった。従って、そのようなサブフレームの各セグメントには異なる可変長コードが用いられる。総合してみると、６つの異なる可変長コードが単一のサブフレームを含む顕著に異なるデータを記述するのに効果的であることが分かった。この理由で、各主要データの範疇（カテゴリ）の統計（即ち、発生頻度）が各ビデオフレームストリームごとに計算される。サブフレームは３つ（Ｙ、Ｉ、Ｑ）あるので、最低18 の統計的復号化用「テーブル」が各ビデオストリーム中に含まれている。第47図は１つのビデオストリームの圧縮されたサブフレームのデータフォーマットの詳細を示す。圧縮されたビデオストリームのＹ、Ｉ及びＱ部分に対し同一のフォーマットが用いられている。前述したように、「ヘッダ」セグメントは、サブフレームの形式（ＹかＩかＱか）、その大きさ（即ち、解像度）、０検査合計（0 check sum）、及びサブフレームの復号時に用いられる３つのテーブル（ＤＰＣＭ、ダイアド及びクワッド）に対するポインタを含んでいる。データの残りのセグメントの復号に用いられる特定の可変長コードを記述するコードテーブルがヘッダに続く。効率化のために、これらのテーブル記述はそれ自体が暗黙の（即ち、エンコーダとデコーダによって合意がなされた）コードテーブルを用いてコード化されている。次のセクションは、「ビデオ圧縮処理」の項で既に説明したように、「動作（アクション）」及び「値」を含む２進トリー（木）記述を含んでいる。これに続いて「相対データ」セクションがあり、これには全相対的双線形(bilinear)フィルに対する係数が含まれている。「絶対データ」セクションは絶対双線形フィルに対するＡ、Ｂ係数のみが含まれている。Ｃ係数はトリー記述中に含まれている。次のセクションは全ＤＰＣＭ領域に対するＤＰＣＭデータ（１ピクセルにつき１つの値）を含んでいる。その後のセクションは全ダイアド領域についての「ダイアド」データ（２ピクセルにつき１つの値）を含んでおり、最後のセクションは全クワッド領域についての「クワッド」データ（４ピクセルにつき１つの値）を含んでいる。最後の４つのセグメントの各々の中のデータの順序は暗黙のもので、領域データは２進トリーの復号によって領域が生成されるであろう順序に基づいて順序づけられており、ピクセルに基づく値（ＤＰＣＭ、ダイアド及びクワッド）は通常のラスタ走査順序（頂部ラインから底部ラインへ、及び各ライン中の左から右へ）で順序付けられている。第46図は「ストリーム・セグメント化」可変長コーダ1640のブロック図である。量子化器1630からの領域コード化され、量子化されたビデオ信号Ｓ１４は図示のようにメモリ1642に記憶される。選択スイッチ1644がクワッドフィルデータ、ダイアドフィルデータ、ＤＰＣＭフィルデータ、絶対（ABSOLUTE）フィルデータ、相対(RELATIVE)フィルデータ、トリー(TREE)記述データ及びストリームヘッダ(HEADER)データ（データ源1646）を可変長コーダ1650に供給するために選択する。コーダ1650は、より頻繁に生起するデータコードワードに対して最も短いコードを割り当てて、種々のタイプのデータをコード化し、記憶装置1654 に可変長コード化されたデータを記憶する。マルチプレクス・スイッチ1644は第 47図に示す順序で記憶データを選択して、バッファ記憶装置232に供給するための圧縮されたデジタルビデオ出力信号Ｓ９を形成する。データ源1646によって供給されるヘッダデータはマルチプレクス・スイッチ1656によって加えられる。更に詳しく説明すると、可変長エンコーダ1650は他のデータ形式とは独立して、各データ形式を検査し、サブフレーム全体にわたって各データ形式中のデータの統計を求める。例えば、データの各コードワードの生起の相対的な頻度が、データのセット中のコードワードの、例えば値の、範囲と共に確かめられる。この情報を用いて、複数の可変長コードセットの中で、各データ形式を最も効率的に可変長コード化できる１つが選択される。この複数のコードセットが素子1652に記憶される。あるコードセットが選択されると、コーダ1650は選択されたコードセットをスイッチ1644によって記憶装置1652から引き出し、対応するデータ形式のコード化にとりかかる。更に、今度は、その特定の可変長コードセットが、可変長コード化され、データストリームに付加されて更なるデータ減縮が行われる。しかし、この場合、可変長コード化は、予め定められた（暗黙）可変長コードセットを用いて行われる。これは、第46図においては、低いスイッチ位置にある時に、記憶装置1652の出力を可変長エンコーダ1650に結合するスイッチ1644によって行われる。例えば、可変長エンコーディングは２パス処理であっで、コーダ1650が初めにコード統計とデータ形式の各々に対する可変長コードセットとを生成する。第２のパスでは、記憶装置1642中のそれぞれのデータ形式と統計記憶装置1652中のコードセットが可変長コード化される。ストリームセグメント化によって、圧縮されたビデオデータの復号時間が短縮されるという重要な利点が得られる。これは、ストリームセグメント化は異なるコードフォーマットの異なる統計に対処するために復号処理中に、可変長デコーダ（後述する）を再プログラムする回数を最少にすることによる結果である。即ち、ＤＰＣＭデータの全てを共にグループ化することにより、可変長デコーダは、全ＤＰＣＭ領域の復号中に１度プログラムするだけでよい。これと同じ利点が、第47図のトリーデータや他の可変長コード化データだけでなく、他のコードフォーマット（相対、絶対、ダイアド及びクワッド）についても得られる。事後圧縮処理画像のシーケンスが圧縮されると、フォーマッタは全動きビデオの再生に備えて更に処理を行う。この処理は第13図に示されている。概略的に述べると、圧縮されたビデオデータＳ１０は圧縮されたオーディオデータＳ８及び任意の補助データＳ３と組合わされて、CD-R OM18に記録するために調整されねばならない。 CD-ROMは、高記憶容量（100メガバイト以上）と比較的低い持続可能データ率（CD-ROMでは1.23メガビット／秒）を持つクラスの装置の代表的なものとして示されている。他の磁気記録媒体や光学的記録媒体も適している。第８図及び第９図はオーディオデータＳ８がビデオデータＳ１０と、更に、後述する他のデータとインタリーブされる様子を示す。第８図は論理フレームを示す。（形容詞である論理なる語は、論理フレームが、例えば24ＦＰＳの再生時には、１秒の1/30異なることを示唆する。）一般に、論理フレームは１つの画像が表示される期間中に必要とされる全データのセットである。第８図は１つの画像を構成するに充分なビデオデータと、その画像が表示される時に生成されるべき充分なオーディオデータを持った論理フレームを示している。１つの論理フレームの大きさは入力装置からの持続データ率（CD-R0Mの場合は、1.2288メガビット／秒）と、画像再生率、普通は33.3666ミリ秒毎に１、によって決まる。従って、30ＦＰＳの再生では、論理フレームの大きさは平均して5125.12バイトでなければならない。第13図はこの平均の率をいかにして得るかを示す。これは３段階処理である。第１段階では、データが幾つかの源から捕獲（キャプチャ）され、インタリーブされたデータのストリームとしてディスク1350に書込まれる。第２及び第３の段階では、このストリームが読出され、ディザスイッチ1390を通して処理され、ディスクに再記録される。予備的に概観すると、第１段階はデータを収集して、インタリーブされたオーディオ及びビデオデータを含む単一のデータのストリームＳ４を生成するために必要な処理の大部分を実施する。段階２と３は残りの問題の全てを処理し、特に重要なこととして、過大サイズのフレームの可能性に対処する。第１段階において、制御ユニット1310がオーディオディザラ（ディザ装置）13 60に指示して、スイッチ1320がこのユニット1310に結合される度に、オーディオデータの特定された量を通過させるようにする。オーディオディザ1360は次の問題に対処する。オーディオ再生システム32は、ある特定のかつ明確に限定された率でビットを取り込む。オーディオの質が人の声程度のものである場合には、これは31.25キロビット／秒にセットできる。CD-ROMプレーヤ22からの最高可能データ率を維持するためには、Ｓ１６中のオーディオデータ率はこれに正確に適合しなければならない。Ｓ１６からのデータ率が低すぎると、データを待つために音声処理器32は一時停止する。データ率が高すぎると、再生待ちのために、オーディオデータがホストコンピュータ28中に溜まってしまう。オーディオディザラ 1360は第８図のデジタル・オーディオ・データブロックの平均サイズが、次の関係によって与えられる適正なサイズとなるようにする。Ｓ・（Ｄ＋１）／Ｄ・Ｔ＝Ｂここで、Ｂは１フレーム当たりのオーディオバイトの数であり、ＤはＡＤＰＣＭリセット（例えば、ＡＤＰＣＭエンコーダは256サンプル毎に１度リセットされる）相互間のオーディオＡＤＰＣＭサンプルの数であり、Ｔはビデオフレーム率の周期（ミリ秒）である。30ＦＰＳのフレーム率、31.25キロビット／秒のデータ率、256のリセット頻度、及び33.36ミリ秒のフレーム周期に対しては、Ｂの平均値は130.847バイト／フレームに等しい。オーディオディザラ1360は各論理フレームについて130または134バイトを通過させる。（ブロックサイズはホスト・コンピュータ28中でのデータの動きの効率を良くするために、４の倍数に丸められる。）この判断をするために、ディザラ 1360は、それまでに転送したバイトの数の移動平均（ランニング・アヴァレージ）を維持する。この移動平均が130.847よりも低い時は、オーディオディザラ136 0は134バイトを通過させる。移動平均が130.847よりも大きい時は、オーディオディザラは130バイトを通過させる。この特定の値130.847は制御素子1310から送られ、希望の再生率及び再生オーディオビット率の関数である。スイッチ1370は補助データの性質に応じて制御素子1310によって制御される。動きビデオが再生される時には、ある補助データがなければならず、これは第１段階で処理される。補助データの一例は、予め選択された時にオーディオの音量をフェードさせるためのホストコンピュータに対する埋め込まれた指令である。他の補助データは、第２段階で信号ストリーム中に組み込むためにスイッチ1330によって通過させられる。そのような他の補助データはオーディオあるいはビデオ信号に対し厳密な時間関係は持ってはおらず、従って、ビットストリーム中の便利な位置に、即ち、正規のバイト数よりも少ないバイトを含んでいる符号化されたビデオフレームに含められる。この補助データは、動きビデオシーケンスの再生の副次的効果として、ホストコンピュータ28のメモリにロードすることができる。段階１において、順次連続する論理フレームに対して、スイッチ1320は順次、ビデオデータＳ１０、オーディオディザラ1360の出力、及びスイッチ1370の出力と切り換えられる。スイッチ1320は、論理フレーム中の個々のデータ部分の長さと位置（ポインタ）（第８図）を記述するヘッダデータ源1361の出力を選択する。段階１では、論理フレームには「フィラ(filler)」（即ち、パディング）はない。更に、圧縮ビデオが異なるサイズを持っていることがあり、オーディオディザリングが行われており、また補助データの量が１つの論理フレームと次の論理フレームで異なっている可能性があるために、各論理フレームの長さは異なっている可能性がある。そのシーケンスの全論理フレームに対するデータはディスク記憶装置1350に書込まれ、段階１が終わる。段階１が完了すると、制御素子1310が段階２を開始させる。この段階では、段階１で収集されたデータがディスク1350から逆に読出され、スイッチ1390がそのシーケンスの個々のフレームにパディングデータ、即ち付加的な補助データを挿入するループ1351を介して再記録される。この処理は、先に「逆フレーム・シーケンス・リフォーマット」と呼んでいたものである。即ち、段階２において、システム、即ち、コンピュータは、最初に、最後のフレームを処理し、次いで最後から２番目のフレーム等と処理する。段階２の目的は、論理フレームの平均サイズが第９図に（30FPSビデオについて）示すように、5125.12と成るようにパディングデータを生成することである。先ず、最も単純な、過大サイズフレームが無い場合を考えてみる。この場合は、制御ユニットは、それが見つけたオーディオ、ビデオ及び補助の各データの長さを付加し、充分な数の０値のパディングバイトを挿入して、論理フレームのサイズを5124バイトまたは5128バイトまで上げる。ディザリングスイッチ1390に対する制御論理は、オーディオディザラ1350のものと同様に働く。この制御論理はそれまでに生成された論理フレームのサイズの移動平均(running average)を維持し、5125.12の平均を維持する5124または5128のいずれかを選択する。この平均値の所要の大きさは、記録媒体のデータ率と、一秒当たりの画像で表した所望の再生速度とに基づいて制御器1310によって設定される。過大サイズフレームがなければパディング挿入は段階１で行うことができた筈であるが、それを段階２で行う理由は、過大サイズのフレームをより良好に処理するためである。第10図、第11図及び第12図は過大サイズのフレームの処理の背後にある基本的原理を説明する。第10図は、ある論理フレームのシーケンスが段階１の終わりで持つ可能性のあるサイズを示す。明らかに、フレーム３は5125.1 2バイトに入れるには大きすぎる。第11図はこの問題に対する１つの可能な解決方法を示す。過大フレームが検出されると、フォーマッタが閾値制御ユニット238に対し、過大サイズのフレームを防止するに充分に小さくなるように、そのフレームを充分に再圧縮するよう要求する信号を送る。そのような再圧縮の結果が第11図に示されている。図を簡単にするために、5125.12の論理フレームサイズの代わりに5000の論理フレームサイズが示されている。一般に、過大サイズのフレームは、シーケンス全体が復号され、フォーマッタに送られた後まで、検出できない。その理由は、論理フレームの全体のサイズはビデオ圧縮器30が直接利用できない情報に左右されるためである。例えば、それは補助データの大きなブロックが存在することにより生じることがある。第12図に示し、第13図に実施されているアプローチはソーケンスの再圧縮を強制しないので、より良い解決法である。そのような付加的な圧縮を行うと、感知しうるような画質の低下が生じるが、第12図のアプローチはこれを防止する。各フレームに対する圧縮データは、1/30秒の間隔で到着する必要があるが、ある点（後述する）迄は、もっと早く到着しても問題とはならない。従って、フレーム３に対するデータは、正規にはフレーム２に関連するスペースを使用することができる。一般に、次のようなやり方が採られる。各フレームが最後から始めて読出され、検査される。そのフレームが１つのフレームに対するその時のディザサイズに適合する場合は、丁度充分なパディングが付加されて（スイッチ1390）そのフレームをそのサイズにする。適合しない場合は、そのフレームはファイル中に置かれ、時間的に先行するフレームからスペースを借りてくることによって早めにローディングが開始される。次に、時間的に先行するフレームが検査される。そのフレームからスペースが借用されているにも係わらず、そのフレームがその正規のフレーム割当に適合する場合もある。このケースが第12図に、フレーム２と３の両方がこれらの２つのフレームに関係するスペースに適合するものとして示されている。しかし、一般には、時間的に先行するフレームは、それ自身が過大サイズでなかったとしても、適合しない場合がある。その場合は、ファイル中に置かれ、丁度処理されたフレームに先立ってロードされる。この状況では、各バイトが必要とされるために、パディングは生成されない。このようなやり方を続けると、次の２つの一方が生起する。あるフレームが開始する筈であると想定された位置に、適合するフレームが見つかるか、あるいは、プロセスはそのシーケンスの１番目のフレームに到達する。初めの場合は、フレーム当たり１の一定の速度で入力装置からデータを読出すことができるフレームのサブシーケンスがある。フレームのいくつかのものは、ホストコンピュータ28のメモリ中に早めにローディングを開始するが、どのフレームも遅れて到着することはない。第２のケースでは、一見したところでは、一定した30ＦＰＳを維持するように１番目のフレームを開始することは不可能である。この問題は第３の段階(phase )によって解決される。第２段階の処理の結果、フォーマッタはそのファイル用に付加的なバイトが幾ら生成されたかを知る。第３段階では、フォーマッタは第２段階で生成されたファイルを読み、Ｓ４ビットストリームを生成する。この段階で、フォーマッタはパディングを探し、それを消去する。この処理は段階２で見出された過剰バイトに等しい量のパディングが消去されるまで続けられる。その結果、ファイルはリアルタイムで再生可能となる。あまり起こらないが、段階３で充分なパディングが見つからない場合、制御器1310が閾値制御器238に対して、そのシーケンスを圧縮してより小さいコードにする必要がある旨を知らせる。制御器1310は段階２と３において、２つの重要な統計を計算する。第１に、再生を開始する前に、ある量のCD-ROMデータを予めローディングする必要がある。せいよき1310が段階３で、各フレームが到着した時をそのフレームが到着する筈である時と比較してこれを計算する。第２に、シーケンスの中間位置のサブシーケンスが段階２において相互にブロック化された時は、幾つかのフレームが非常に早期に生起することがある。制御器1310は各フレームがいつ到着するか、従って、これらの早期のフレームに対してどれだけの一時的な記憶容量が必要かを正確に知らせることができる。これらの２つの重要な統計は再生システムに送られて、再生に先立ってホストコンピュータのメモリの割当を制御する。ホストメモリが不充分な時は、制御器1310は閾値制御器に更なる圧縮が必要であることを知らせる。上記の説明では、スイッチ1330を考慮に入れなかった。パディングが挿入されると、基本的にはＳ４ビットストリームに使用されないスペースが導入される。このスペースは新しいフレームが所望の時に到着するようにするためにそこに置いておかねばならない。ホストコンピュータが何を行っているかに従って、ある動きのあるビデオの再生の副次的効果としてロードできる補助データがある場合もある。そのようなデータが存在する場合は、制御器1310はスイッチ1370と1330に対して、等価量のパディングの代わりにこの補助データを用いるように指示する。再生システム第１図の再生システム８は、CD-ROM制御器24にバッファされ、ホストコンピュータ28のバス26に供給される再生されたオーディオ／ビデオビットストリーム信号Ｓ１５を供給するためにディスク20を演奏するCD-ROM再生器22を含んでいる。ここで注意すべきは、ビットストリームＳ１５の「フレーム・ヘッダ」データは、そのビットストリーム中の圧縮されたオーディオデータ（Ｓ７）、圧縮されたビデオデータ（Ｓ１０）、及び補助データの位置を示すという点である。コンピュータ28はフレームヘッダ識別データに応答して、ビットストリームＳ１５のオーディオ部分（Ｓ１６）とビデオ部分（Ｓ１７）をバス26を通して各ビデオプロセッサ（30）とオーディオプロセッサ（32）に送る。補助データ（Ｓ１８）がある場合は、この補助データは、例えば、システムのインタラクティブ・アプリケーションで用いるために、ホストコンピュータの主メモリ中に記憶される。一例をあげると、この補助データは、ある特定の静止フレームあるいは動きビデオシーケンスの、ディスク20上の位置に関するアドレス情報を含む。静止フレームの１乃至数フレームを急いで選択することが必要となった時は、ユーザは入／出力装置38によってその選択を入力し、ホストコンピュータはそれに応答して、CD-ROM制御器24によって再生器22に適当なシーク指令を送る。音声プロセッサ32は、スピーカユニット34に１乃至それ以上のアナログ音声信号Ｓ１９を連続的に供給するために、ビットストリームＳ１５のオーディオ部分をバッファし復号する。ビデオプロセッサ30はビットストリームＳ１５のビデオ部分（Ｓ１７）のバッファリング、復号、及び飛越し走査変換を行う。処理されたビデオ信号Ｓ２０は、30フレーム／秒で、例えば、2:1飛越し走査ＲＧＢ成分形式で表示器36に供給されて、全動き（フルモーション）カラービデオが表示されるようにする。システム全体に対するユーザのインタラクション（制御）は入／出力ユニット38（例えば、キーボード、モニタ、「ジョイスティック」、「マウス」等）によって与えられる。ビデオ復号第48図に詳細に示すビデオプロセッサ30が、端子4802における圧縮されたデジタルビデオ信号Ｓ１７の各フレームを復号して、フルモーション・カラービデオ信号Ｓ２０（ＲＧＢ）を飛越し走査形式で、60フィールド／秒で表示ユニット36 （第１図）に供給する。プロセッサ30は、種々のプロセッサ素子に結合されたタイミング及び制御バス4812によってメモリ読出し／書込み動作やデコーダの選択（スイッチ制御）のような機能を制御するための全てのタイミング信号を生成するタイミング及び制御ユニット4810を含んでいる。図面の簡素化のために、バス4812は全体として矢印で示してある。タイミング及び制御に関するヘッダ情報（例えば、フレーム率、フレームサイズ、データポインタ等）は入力端子4802に結合されているヘッダ検出器4814を介してユニット4810に供給される。ユニット4810によって制御されるマルチプレクス・スイッチ4816が、圧縮されたＹ、Ｉ及びＱデータ（Ｓ２０）を信号Ｓ１７から分離し、それを圧縮された形で、ビデオ・ランダム・アクセス・メモリ4820（点線で示す）の位置4822に記憶させる。スイッチ4816はまた信号Ｓ１７から統計的コードテーブルデータＳ２２を分離し、それを可変長デコーダ 4830に供給する。デコーダ4830は統計的データを復号して、ビデオＲＡＭ4820の位置4822から圧縮されたデータＳ２０が読出される時に可変長デコーダ4830によって使用されるようにするために、復号された統計的データをＲＡＭ4832に記憶させる。前述したように圧縮Ｙ、Ｉ及びＱデータをローディングした後、１フレームの復号プロセスが開始される。１フレームの復号には、同じプロセスが３回、即ち、各サブフレーム（Ｙ、Ｉ、及びＱ）に対して１回、実行される。次の説明が１フレームの復号に対するものである。１つのサブフレームのデコンプレッションにおける１番目のステップは、２進トリー記述の「分解(parse)」することである。即ち、スプリット及びフィルを用いてトリーを記述するトリーデータが、領域の位置及びサイズ及びフィル形式の明示リストに変換される。これはトリーデータをトリーデコーダ4842に供給することによっで行われる。トリーデコーダ4842はトリーを詳細に検討して、トリーの各ターミナル・ノードに、その領域リストに関係するデータを出力する。このリストはビデオＲＡＭ4820中の領域位置テーブル4824に記憶される。領域テーブルの概略的なフォーマットが第49図に示されている。各セルについて、その「形式」（相対か、絶対か、ＤＰＣＭか、ダイアドか、クワッドか）が、その左上コーナの座標（Ｘ，Ｙ）とそのサイズ（Ｈ，Ｗ）と共にリストされている。セルが相対的セルかダイアドセルである場合、この場合は領域シフト補間器4858が用いられるであろうが、オフセット値（Ｘ₀，Ｙ₀）も記憶される。これらの値は、その時の画像中の領域とその前の画像中の対応する領域との間の相対的な偏位を表す。セルが絶対的なものである場合は、絶対フィル値（これは、フィル多項式Ａｘ＋Ｂｙ＋Ｃ中の値Ｃに等価である）も記憶される。第50図は画像の一例を示し、それに対応するトリーデコーダからの出力である領域テーブルを第51図に示す。この画像は各々可能な形式の２つの領域からなっている。２進トリーを辿る順序があるために、ある特定の形式のセルの全てが領域テーブルでグループ化されているとは限らない。幾つかの形式のセル（例えば、ダイアド）は対をなすピクセルに作用するので、全てのセルが偶数に等しい寸法（ＨとＷ）を持つことが望ましい。各分割（スプリット）毎に１つの寸法（次元）が２分の１に分割される単純な２進トリー分割では、元の画像寸法が２の幕でなければ、すぐに奇数の寸法を持つ領域に達してしまう。これでは余りに制限がきついので、改良型分割法が用いられる。この方法では、分割する必要がある寸法Ｄが２つの値２Ｉｎｔ（Ｄ／４）とＤ−２Ｉｎｔ（Ｄ／４）を生成する。ここで、Ｉｎｔ（Ｄ／４）は商Ｄ／４の整数部である。この方法でもほぼ中央で分割を行うが、元の画像の寸法が偶数であるかぎり、全てのセル寸法が偶数寸法となるようにできる。この制限は３つのサブフレームの全てに等しく当てはまり、しかも、Ｉ及びＱサブフレームは係数４でサブサンプルされるので、このことは全画像寸法が８の倍数でなければならないということを意味する。第65図は量子化された補正画像の例を示し、トリーデコーダによって出力される対応領域テーブルを第66図に示す。前述したように、このような画像の分割は８×８ピクセルブロックの境界線に沿って行われる。その結果、そのような分割によって分割面積が２等分されるとは限らない。そのような分割は、この発明の２進トリー符号化法の一部をなす。第48図に返って、ビデオＲＡＭ4820は２つのビットマップを含んでおり、１つは復号されているその時のフレームのピクセルを記憶するためのもの（マップ4826）であり、他方（マップ4828 ）はその前に復号され、表示ユニット36（第１図）上での表示に用いうるフレームのピクセルを記憶するためのものである。ビットマップ4826を造るために、位置4822における圧縮されたフィルデータと位置4824における領域位置データがスイッチ4850を通して、フィルデータの「形式」、即ち、ＤＰＣＭか、絶対か、相対か、あるいはクワッドかに応じて、４つのデコーダ4852、4854、4855、4856及び4857の中の選択された１つに供給される。位置4822におけるフィルデータは、最初、ユニット4830において可変長復号され、（スイッチ4840）デコーダ選択スイッチ4850に供給される。スイッチ4850の制御は、ＤＰＣＭフィルデータをデコーダ4852に、絶対フィルデータをデコーダ4854に、ダイアドフィルデータをデコーダ4855に、クワッドフィルデータをデコーダ4857に、相対フィルデータをデコーダ4856に指向させる領域フィル形式検出器4851によって供給される。絶対デコーダ及び相対デコーダ（4854、4856）は面積検出器4853によって供給される領域「面積」（即ち、ある領域中のピクセルの数を表すデータを受ける。このデータは、後述するように、32ピクセルよりも少ないピクセルを持つ領域について、領域のサイズに基づいて量子化されているフィルデータを「逆量子化」する時に用いられる。ビットマップ4842は、ダイアド及び相対デコーダ4855と4856からアドレスデータを受けて、その前のフレームの領域ピクセルデータを領域シフト補間器4858を介してデコーダ4855と4856に供給する。ビットマップ4826が生成されている時に、ビットマップ4828はユニット36上に表示する用意ができている。これは、複数の入／出力ポートとバッファを有するビデオＲＡＭを選択することにより一層容易になる。あるいは、図示のように、ビットマップ4828の内容を表示の目的で別の表示バッファ4829に移してもよい。ＩデータとＱデータは、Ｙピクセルに対して垂直水平両方向に４：１でサブサンプルされるので、Ｉ及びＱピクセルアレー（各々64×60）をＹアレーのサイズ（256×240）に補間して戻すために、補間器4860が設けられている。Ｙ、Ｉ及びＱデータは初めにフレーム・リピータ4862に供給される。フレーム・リピータは（30ＦＰＳの場合）ビットマップ4829を２回読出してフレーム率を２倍にし、その結果得られた60Ｈｚのフィールド周波数のＹＩＱ信号を飛越し走査形式にする。24ＦＰＳのビデオの場合は、リピータ4862は2-3-2-3繰り返しシーケンスを用いて復号フレームを繰り返させる。ルミナンス信号Ｙと補間されたＩ及びＱ信号はデジタル−アナログ（Ｄ／Ａ）変換器及びマトリクスユニット4804に供給される。このユニット4804は表示ユニット36のためのRGBアナログ出力信号Ｓ２０を形成する。第53図は相対復号のプロセスを示している。その時のフレーム5302中の各ピクセルＰ（ｘ，ｙ）の値は多項式関数Ａｘ＋Ｂｙ＋Ｃの値を前のフレーム5304中の対応するピクセルＰ’（ｘ，ｙ）に加算することによって求められる。座標ｘとｙは領域の上左隅を基準にして測定される。前のフレーム中の領域5304の位置は、領域5302に対する領域5304の空間的偏位を1/8ピクセルの単位で表したオフセット値Ｘ₀とＹ₀によって求められる。第54図は相対デコーダ4856の詳細なブロック図である。領域位置テーブル4824 からのＸ、Ｙ、Ｈ、Ｗ、Ｘ₀及びＹ₀の値がラッチ5402にラッチされる。座標Ｘ、Ｙがアドレスカウンタユニット5404に加えられて、このカウンタを、ビットマップ4826中の復号されるべき領域の上左隅に初期化する。高さ及び幅の値Ｈ、Ｗは水平及び垂直方向のカウンタの限界を特定し、アドレスカウンタが領域5302中の各ピクセルのアドレスを順次ステップ状に変化するようにする。Ｘ₀及びＹ₀の値は、小数ピクセル精度で領域偏位を表す。これらの値の整数部はアドレスオフセット加算器5406に送られて、アドレスカウンタ5404からのアドレスに加えられる。これによって得られたアドレスは前のフレームの領域5304中のピクセルをアドレスするために、ビットマップ4828に供給される。Ｘ₀及びＹ₀ の値の小数部は領域シフト補間器に供給され、ビットマップ4828中の実際のピクセル間の中間位置の補間値を生成する。相対デコーダ4856の次の段階で、相対フィル多項値Ａｘ＋Ｂｙ＋Ｃがシフトされた領域データに加えられ、新しい領域5302がビットマップ4826に記憶される。係数Ａ、Ｂ及びＣはビットストリームから読出され、前述した面積をベースにした値の量子化を復号するために逆量子化器5472に供給される。逆量子化の後、係数がフィル論理ユニット5470に加えられる。このユニットはこれらの３つの係数と、アドレスカウンタ5404からのｘとｙの値とを取り、フィル多項式の３つの項を出力する。ｘ及びｙ値は、フィル値の項を求めるために論理ユニット5470で使用される領域座標である。次いで、これら得られた３つの項が、加算器5460、5462及び5464を用いて、前の領域データと加算され、ビットマップ4826に記憶される。係数ＷＡとＷＢは小数であり、従って、第54図の加算器によって出力されるフィル値も小数である。この値は、ビットマップ4826 に書き込む前に切り捨て処理されて整数とされる。第55図は絶対領域の復号を説明するものである。この場合、考慮すべき前の領域というものはない。各ピクセルＰ（ｘ，ｙ）の値は多項式Ａｘ＋Ｂｙ＋Ｃの値であり、ｘとｙはその領域の左上隅に関して測定した座標である。Ｃの値はトリー記述でコード化されているので、領域位置テーブル中に記憶されているが、ＡとＢの値はビットストリームの「絶対フィル」セグメントに含まれていることを想起されたい。第56図は絶対デコーダ4854のブロック図である。これは相対デコーダ4856に類似するが、先行のビットマップ、即ち、領域補間器は用いない。値Ａ、Ｂ及びＣは、必要時に逆量子化器5672によって逆量子化され、フィル論理ユニット5606によって処理されてフィル多項式の各項を生成する。これらの項は加算器によって加算され、その結果は、切り捨て処理されて整数とされた後、ビットマップ4826に書き込まれる。アドレスカウンタ5604がこの処理を制御して、Ｘ、Ｙ、Ｈ、Ｗによって規定される矩形領域内の全ての位置におけるピクセル値が生成される。第57図はＤＰＣＭ復号のプロセスを説明するものである。領域5702のピクセル値（Ｐ’）は差分値Ｄをそのピクセルの左側に隣接するピクセルの値（Ｐ）に加えることにより得られる。領域の左端にある、従って、その左に隣接するピクセルを持たないピクセル（例えば、図中のＱ’）は、その上のピクセル（Ｑ）に値Ｄを加算することにより復号される。それの上に位置するピクセルもそれの左に隣接するピクセルも持たない領域の左上隅のピクセルは、定数128に値Ｄを加算することにより復号される。全てのＤ値はビットストリームのＤＰＣＭセグメントに含まれていることを想起されたい。第58図はＤＰＣＭデコーダ4852のブロック図である。テーブル4824からのＸ、Ｙ、Ｈ及びＷの値はラッチ5802に記憶され、形成中の領域5702中の全てのピクセルについてのピクセルアドレスを生成するためにアドレス制御器5804によって用いられる。制御器5804は、差分値Ｄと加算されるピクセルＰを供給するためにビットマップ4826から読みだすためのピクセルアドレスも発生する。可変長デコーダ4830（第48図）からのＤＰＣＭデータは、必要とあれば、差分値Ｄを供給するＤＰＣＭ逆量子化器5808に供給される。これらの値は、加算器5805を用いて、ビットマップ4826から読出されたピクセル値に（または、それがその領域の１番目のピクセルである場合には、128に）加算されて、ビットマップ4826の領域5702に書き込まれる新しいピクセル値が生成される。第61図はダイアド領域を復号するプロセスを示す。その時のフレーム6110中のピクセルの値は値（Ｒ、Ｓ）の対を、先行のフレーム6120の対応する領域中のピクセル（Ｃ、Ｄ）の対に加算して、その時のフレーム中のピクセル（Ａ、Ｂ）の対を生成することにより求める。相対フィル領域におけると同様、先行フレームの領域6120の位置は、領域6110に対する領域6120の空間的偏位を小数ピクセル単位で表すオフセット値Ｘ₀とＹ₀によって求められる。第63図は相対デコーダ4855の詳細なブロック図である。領域位置テーブル4824 からのＸ、Ｙ、Ｈ、Ｗ、Ｘ₀及びＹ₀の値はラッチ6330にラッチされる。座標Ｘ、Ｙはアドレスカウンタユニット6332に供給されて、カウンタを復号されるべき領域の上左隅に初期化する。Ｈ、Ｗ値はアドレスカウンタによって水平及び垂直にカウントされるピクセルの数を決めるために用いられる。Ｘ₀及びＹ₀の値はアドレスオフセット加算器6334に供給され、ビットマップ48 28と補間器4858のそれぞれに対する整数及び小数のオフセットアドレスが生成される。ターゲット領域に対するピクセル値を生成するために、シフトされた領域のデータＣ、Ｄがビットマップ4828から読出され、領域シフト補間器4858を通して処理されて、加算器6350と6352を用いてダイアド値Ｒ、Ｓに加算される。これによって得られる値Ａ、Ｂはビットマップ4826に書き込まれる。ダイアド値は、先ず、デコーダ4830を用いてビットストリームからの値を可変長復号し、それをダイアドメモリ6320中のダイアドを指示するためにテーブルアドレス発生器6310に供給することによって生成する。例えば、可変長復号の後の値が３であるとすると、これによってダイアド対＃３がダイアドメモリから読出される。選択された画像を復号する際に、複数の解像度レベルを持つ補正画像が、前述したように、ビデオシーケンス・データストリームのビットストリーム部分にコード化され挿入されていた複数レベルの量子化された補正画像を復号することによって形成される。第67図に示す推奨実施例において、レベル３の補正画像6702 が、コード化されたレベル３の量子化補正画像の復号（6704）によって形成される。レベル２の補正画像6706はコード化されたレベル２の量子化された画像を復号（6708）することによって形成される。レベル１の補正画像6710はコード化されたレベル１の量子化補正画像を復号（6712）することによって形成され、レベル０捕正画像6714はコード化されたレベル０の量子化補正画像を復号（6716）して形成される。推奨実施例では、デコーダは、復号された２進トリー記述データを用いて領域テーブルを再構築する。次いで、その領域テーブルを領域フィルデータと共に用いて、各解像度レベルの量子化された補正画像を構築する。補正画像は、再構築された領域テーブルを用いて構築することが好ましいが、直接、復号された２進トリー記述データと領域フィルデータとから構築することもでき、これもこの発明の範囲内と考えている。デコーダは、量子化された補正画像の各々をそのレベルに対するビットストリーム中で指定されたコード化形式に従って復号する。例えば、前に述べたように、最低レベルの解像度（レベル３）を持った補正画像の画像領域全体が、推奨実施例では、この詳細な説明中の他の部分で説明されているＤＰＣＭコード化技法を用いて、単一の非ナル（non-null）領域としてコード化される。従って、レベル３の補正画像に対する圧縮フィルデータはＤＰＣＭデコーダ4852（第48図参照）に加えられる。次いで、ＤＰＣＭデコーダ4852はＤＰＣＭデータを復号して、レベル３の補正画像6702からなるピクセルの差分値Ｄを形成する。レベル０の量子化された補正画像の非ナル領域は、前に述べたように、クワッドコード化技法を用いてコード化される。従って、レベル０の補正画像に対する領域位置データ及び圧縮フィルデータはクワッドデコーダ4857（第48図参照）に加えられる。クワッドデコーダ4857はクワッドデータを復号して、０レベルの補正画像6714の非ナル領域を構成するピクセルの差分値Ｄを形成する。フル（全）解像度レベル０の補正画像6714の残りの部分を構成するナル領域中のピクセルの位置はゼロで満たされる（フィルされる）。前に述べたように、レベル２の量子化補正画像の非ナル領域は、この詳細な説明中の他の部分で述べられているように、ダイアドコード化法を用いてコード化される。従って、レベル２の補正画像に対する領域位置データと圧縮フィルデータは、ダイアドデータを復号して、レベル２の補正画像6706の非ナル領域からなるピクセルの差分値Ｄを形成するダイアドデコーダ4855に加えられる。レベル２の補正画像の残部を構成するナル領域のピクセル位置はゼロで満たされる（フィルされる）。推奨実施例では、レベル１の量子化補正画像の非ナル領域もダイアドコード化法を用いてコード化されるので、レベル１の補正画像は、レベル２の補正画像の復号について述べた手順に従って復号される。この発明の一般的なケースにおいては、各解像度レベルに対する出力画像はその解像度レベルの補正画像の差分値Ｄを、同じレベルの解像度を有する基準画像のピクセル値に加算することによって形成される。第67図に示されている推奨実施例では、レベル３の出力画像6718は、レベル３の補正画像6702の差分値Ｄを、全てのピクセルが同じ値、推奨実施例では128、を持つピクセルのアレーからなるレベル３の基準画像6720に加算することによって形成される。レベル３の出力画像6718は拡張されて、拡張レベル３出力画像6722を形成する。拡張により生じた空いたピクセル位置は、計算によって決められる値を持ったピクセルによって満たされる。推奨実施例では、上記ピクセル値は、空所のピクセル位置の両側のピクセルの値を加算し、その和を２で除算し、その結果をその空いたピクセル位置に挿入することによって行う一次補間によって求められる。拡張されたレベル３の出力画像6722は、後述するように、レベル２の基準画像として働く。レベル２の出力画像6724はレベル２の補正画像6702の差分値Ｄを、推奨実施例では拡張されたレベル３の出力画像6722であるレベル２の基準画像の対応するピクセル値に加算することによって形成される。レベル２の出力画像6724は拡張されて拡張レベル２出力画像6726が形成される。拡張されたレベル２出力画像6726 中の空所となったピクセル位置は、レベル３出力画像6718の拡張に関して前に述べたようにして埋められる。レベル１の出力画像6728はレベル１補正画像6710の差分値Ｄを、推奨実施例では拡張されたレベル２の出力画像6726であるレベル１基準画像に加算することによって形成される。レベル１の出力画像6728は拡張されて、拡張されたレベル１の出力画像6730が形成される。拡張レベル１出力画像6730中の空所のピクセル位置は、レベル３出力画像6718の拡張に関して前に述べたようにして埋められる（フィルされる）。フル解像度の最終画像6732はレベル０の補正画像6714の差分値Ｄを、推奨実施例では拡張されたレベル１出力画像6730であるレベル０基準画像に加算することによって形成される。この最終画像6732は後の表示のためにメモリ中に記憶される。この時点で、注意すべきは、前に述べたように、フル解像度のレベル０量子化補正画像は、この発明のもう一つの推奨実施例では、形成されされず、コード化されず、ビットストリーム中で伝送されることはない。従って、このもう一つの推奨実施例では、次に低い解像度レベルから拡張された出力画像が最終画像を形成する。また、レベル２がこの推奨実施例においては最も低い解像度レベルである場合があるので、レベル３の補正画像の復号は不要であり、レベル２の基準画像は、レベル３の基準画像6720に関して前に述べた様な全てのピクセルが同じ値を持つようなピクセルのアレーからなる。第59図は32ピクセルよりも小さな領域に対する量子化値をリストしたテーブルである。１ピクセルの領域が、８レベルの明るさを表す３ビットの解像度に量子化されたことを想起されたい。面積が２倍になる度に、１ピクセル当たり８ビットのフルビデオ解像度まで、１ビット多い正確度が用いられる。このようにすることによって、小さな領域を表すに要するビットの数が減じられる。このデータの復号あるいは「逆量子化」は、フィル値が計算される時に、ビットに対して適切な２進重み（桁）を与えるために左にシフトさせる必要がある。第60図は第59図の左シフト「逆量子化器」動作を実施するためのブロック図である。領域位置テーブル4824からの領域の高さ（Ｈ）と幅（Ｗ）はラッチ6002と 6004にラッチされ、面積検出器4853（点線で示す）の乗算器6006によって乗算される。この乗算器は、面積（第59図）の関数としてのシフト値を得るために、面積ルックアップテーブル6008に対しアドレスコードを供給する。これらの値はビットシフタ6010に供給される。左寄せされるべき量子化された可変長フィルデータは、データをテーブル6008によって与えられるシフト値に従って左にシフトするビットシフタのデータ入力に供給される。復号時間モニタ236の説明において、復号時間は先行の画像から借用することができるので、時には長い復号画像があっても受け入れられる旨を述べた。この考え方を、ビデオＲＡＭ4820の更なる詳細を示す第52図の文脈において更に説明する。このメモリは、その時復号されているフレームが記憶されるバッファ4826 、その前に復号されたフレームを記憶するためのバッファ4828、グラフィックス・バッファ5202、パイプライン・バッファ 5204、及び表示バッファ4829を含む多数の表示バッファを含んでいる。これらのバッファの各々はデコンプレッション処理された画像全体を保持するに充分な大きさを持つ。前に述べたように、復号プロセスはビットマップ4828に記憶されている先行画像からのデータを用いて、ビットマップ4826に記憶されている次の画像即ちその時の画像の復号を行う。第52図において、バッファ5202に収容されているフレームは表示バッファ4828に収容されていたフレームの直前で復号され、表示バッファ4829に収容されているフレームはビットマップ5204に収容されたフレームの直前で、というように、復号された。即ち、バッファ4829から表示されている画像は、必ずしも復号プロセスで使用されている画像とは限らず、実際、数フレーム時間前に復号されたものである場合がある。複数の表示バッファを用いる利点は、ホストソフトウェアがグラフィックスを、それが見られる前に、表示器上に描くことができる点である。このような変更は、復号の過程中であるために、ビットマップ4826上ではできない。4828のピクセルは復号時に用いられるので、ビットマップ4828中では描くことができず、また、これはグラフィックス・ピクセルによって乱されることはない。描画プロセスは表示器36上で見えるために、グラフィックスはバッファ4829内で描かれてはならない。グラフィックスをバッファ5202中で描くことはこれらの問題のどれをも伴わない。多数表示器バッファを用いる別の理由は、これによって復号時間の借用が容易になるためである。ビデオＲＡＭに幾つかの付加的なバッファを用いることにより、表示のためにあるバッファが選択される時間を復号プロセスから独立するあるいは非同期とすることができる。画像のパイプラインが無くなってしまわない限り、フレームリピータ4862は表示画像に目に見えるポーズや空白を生じさせることなく動作することができる。この原理は第13図のディザリングのボックスと同様である。リピータ4862は画像の表示速度の移動平均（running average）を維持し、その時の画像を保持しあるいは次の画像に進み、その移動平均を所望の再生速度に近くなるように保持する。この点は可変速度再生のアプリケーションでは特に有用である。例えば、ユーザは、あるフレームあるいは一連のフレームの細部を見るために30FPSで記録された題材の再生フレーム率を低下させたり、あるいは、停止させたりしたい場合がある。30FPSで記録されたビデオを一連の静止フレームとして見る場合は、CD-ROM再生器を一時停止（ポーズ）させ、バッファパイプラインの内容を、一時に１フレームずつ選択的に表示させる。CD-ROM はスタート・ストップモードで動作させて、表示パイプラインが空にならないようにする。フォーマッタ250（第２図）は表示バッファのパイプラインを空にしないような設計とされている。復号時間モニタ236によって生成された値に基づいて、フォーマッタは再生中の表示バッファパイプラインの振る舞いをシミュレーションし、パイプラインの枯渇を防止するコード化フレーム最小サイズを決定することができる。この値が表示バッファ用にホストで使用できるメモリよりも大きい場合は、制御器1310を用いて閾値制御器238に、短い復号時間を得るために、より高い閾値を用いて圧縮が繰り返されることを知らせる。個々に記述したシステムの例では、圧縮された信号のための伝送媒体としてCD -ROMを使用した。これに代えて、たの伝送媒体、例えば、デジタル磁気ディスクやテープを用いてもよい。またフルサイズの(例えば、12インチ)光ディスクや容量記憶型のディスクを伝送用に用いることができる。また、圧縮信号の伝送は他の手段、例えば、衛星送信システムやサイクル送信システムによって行ってもよい。更に、絶対領域あるいは相対領域用の一次（線形）フィルデータは両方とも、式Ａｘ＋Ｂｙ＋Ｃの係数Ａ、Ｂ、Ｃで表される。ここで想起すべきは、絶対フィルデータの係数は実際のピクセル値に関係付けられており、一方、相対フィルデータは、ターゲット領域中のピクセルと前のフレームの対応する領域中のピクセルの間の差分値に関係付けられているということである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＳＮ，ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＣＡ，ＣＨ，ＤＥ，ＤＫ，ＦＩ，ＧＢ，ＨＵ，ＪＰ，ＫＰ，ＫＲ，ＬＫ，ＬＵ，ＭＧ，ＭＷ，ＮＬ，ＮＯ，ＲＯ，ＲＵ，ＳＤ，ＳＥ【要約の続き】される。

Claims

【特許請求の範囲】１．ａ．デジタル動きビデオ信号のフレームのシーケンスから少なくとも１つのフレームを選択するステップと、ｂ．各選択されたフレームを少なくとも１つのより低い解像度のレベルに分解するステップと、ｃ．上記選択されたフレームの各々の少なくとも１つの低い解像度レベルをコード化するステップと、ｄ．上記デジタル動きビデオ信号の選択されなかったフレームの各々を、全解像度レベルのみを用いてコード化するステップと、を含む、デジタル動きビデオ信号をコード化する方法。２．ステップｃが、少なくとも１つのより低い解像度レベルをコード化するが、上記選択されたフレームの各々の全解像度レベルのコード化は行わない、請求項１に記載の方法。３．ステップｃが、コード化される上記選択されたフレームの各解像度レベルについて、ｉ．基準画像中のピクセル値を上記選択されたフレームのその解像度のレベルにおける対応するピクセル値から減算することにより、ピクセル値のアレーからなる補正画像を形成するステップと、 ii．上記補正画像中のピクセル値を量子化して、量子化された補正画像を形成するステップと、 iii．上記量子化された補正画像をコード化するステップと、を含んでいる、請求項１に記載の方法。４．上記選択されたフレームの最も低い解像度のレベルに対するステップｉが、全てが同じ値を持つピクセルのアレーからなる基準フレームを供給するステップを含んでいる、請求項３に記載の方法。５．上記選択されたフレームの最も低い解像度のレベルよりも高い解像度のレベルの各々に対して、上記ステップｉが、（１）より低い解像度のレベルを持つ出力画像を、そのより低い解像度のレベルの量子化された補正画像のピクセル値をそのより低い解像度のレベルの基準画像のピクセル値に加算することにより形成するステップと、（２）上記高い解像度のレベルの基準画像を、ステップ（１）で形成された出力画像を上記より高い解像度のレベルに拡張することによって形成するステップと、を含んでいる、請求項４に記載の方法。６．ステップiiiが、上記量子化された補正画像を領域に分割し、各領域についてその位置、サイズ及びフィルデータを記述する領域パラメータを生成するステップを含んでいる、請求項３に記載の方法。７．上記量子化された補正画像を領域に分割するステップが、上記画像をナル及び非ナル領域、あるいはナル及び線形フィル領域に分割するステップを含んでいる、請求項６に記載の方法。８．上記領域記述が２進トリー分解法を用いてコード化される、請求項７に記載の方法。９．上記非ナル領域が、ベクトル量子化法または離散コサイン変換法を用いてコード化される、請求項８に記載の方法。１０．ベクトル量子化を用いるコード化がダイアド、クワッドあるいはＤＰＣＭを用いるコード化を含んでいる、請求項９に記載の方法。１１．ステップｄが、ｉ．選択されなかった各フレームを領域に分割し、上記フレーム内のそれぞれの領域の位置とサイズを記述する領域パラメータを生成するステップと、 ii．選択されなかった静止フレームまたは選択されなかったフレームのシーケンスの第１のフレームに対して、（１）それぞれの領域を記述する絶対フィルデータを求めるステップと、（２）絶対フィルデータを求めることができない領域のそれぞれを記述するＤＰＣＭフィルデータを求めるステップと、（３）上記絶対フィルデータと、上記ＤＰＣＭフィルデータと、対応する領域記述パラメータとを可変長コード化するステップと、（４）上記可変長コード化された絶対フィルデータ、ＤＰＣＭフィルデータ及び対応する領域記述パラメータからのデコンプレッション時間の推測値を求めるステップと、（５）上記推測値がある予め定められた値よりも小さい時は、上記可変長コード化されたフィルデータと対応領域パラメータを供給し、そうでない場合は、上記絶対フィルデータを求める際に異なる公差を用いてステップｉとステップ（１）〜（５）を繰り返すステップと、 iii．一連の選択されなかったフレームに対し、（１）各領域中のピクセル値を、前に生起したフレームからの同サイズの領域中の対応するピクセル値と比較して、それぞれのピクセル差分を生成するステップと、（２）それぞれの領域についてピクセル差分を記述する相対フィルデータを求めるステップと、（３）相対フィルデータを求めることが出来ないそれぞれの領域について、ダイアドフィルデータを求めるステップと、（４）相対フィルデータもダイアドフィルデータも求めることができないそれぞれの領域について、ＤＰＣＭフィルデータを求めるステップと、（５）上記相対フィルデータ、上記ダイアドフィルデータ、上記ＤＰＣＭフィルデータ及び対応する領域パラメータを可変長コード化するステップと、を含んでいる、請求項１に記載の方法。１２．ステップｃが、ｉ．コード化される各解像度レベルをナル領域と非ナル領域に分割するステップと、 ii．２進トリー分解法を用いて上記領域をコード化するステップと、 iii．上記非ナル領域中のピクセル値を記述するベクトル値を求めるステップと、 iv．上記ベクトル値を量子化するステップと、を含んでいる、請求項１に記載の方法。１３．上記ベクトル値がダイアド、クワッド及びＤＰＣＭを含んでいる、請求項１２に記載の方法。１４．ステップａが、ｉ．上記デジタル動きビデオ信号の各フレームについて、動き補償された差分画像を形成するステップと、 ii．上記動き補償された差分画像に関係する選択されたパラメータの値を求めるステップと、 iii．上記選択されたパラメータの閾値を選択するステップと、 iv．フレームのシーケンスから、上記予め定められた閾値を超えるパラメータ値を持つフレームを選択するステップと、を含んでいる、請求項１に記載の方法。１５．ａ．デジタル動きビデオ信号のフレームのシーケンスから少なくとも１つのフレームを選択するステップと、ｂ．各選択されたフレームを静止画像としてコード化するステップであって、（１）各選択されたフレームを少なくとも１つのより低い解像度のレベルに分解するステップと、（２）全解像度レベルはコード化せずに、より低い解像度のレベルの少なくとも１つをコード化するステップと、を含むステップと、ｃ．少なくとも全解像度レベルを用いて、上記デジタル動きビデオ信号の各選択されなかったフレームをコード化するステップと、を含む、デジタル動きビデオ信号のコード化方法。１６．コード化される上記選択されたフレームの各解像度のレベルについて、ステップｂ−（２）が、ｉ．基準画像中のピクセル値を上記選択されたフレームのその解像度のレベルにおける対応するピクセル値から減算することにより、ピクセル値のアレーからなる補正画像を形成するステップと、 ii．上記補正画像中のピクセル値を量子化して、量子化された補正画像を形成するステップと、 iii．上記量子化された補正画像をコード化するステップと、を含んでいる、請求項１５に記載の方法。１７．上記選択されたフレームの最も低い解像度のレベルに対するステップｉが、全てが同じ値を持つピクセルのアレーからなる基準フレームを供給するステップを含んでいる、請求項１６に記載の方法。１８．上記選択されたフレームの最も低い解像度のレベルよりも高い解像度のレベルの各々に対して、上記ステップｉが、（１）より低い解像度のレベルを持つ出力画像を、そのより低い解像度のレベルの量子化された補正画像のピクセル値をそのより低い解像度のレベルの基準画像のピクセル値に加算することにより形成するステップと、（２）上記より高い解像度のレベルの基準画像を、ステップ（１）で形成された出力画像を上記より高い解像度のレベルに拡張することによって形成するステップと、を含んでいる、請求項１７に記載の方法。１９．ステップiiiが、上記量子化された補正画像を領域に分割し、各領域についてその位置、サイズ及びフィルデータを記述する領域パラメータを生成するステップを含んでいる、請求項１６に記載の方法。２０．上記量子化された補正画像を領域に分割するステップが、上記画像をナル及び非ナル領域、あるいはナル及び線形フィル領域に分割するステップを含んでいる、請求項１９に記載の方法。２１．上記領域記述が２進トリー分解法を用いてコード化される、請求項１８に記載の方法。２２．上記非ナル領域が、ベクトル量子化法または離散コサイン変換法を用いてコード化される、請求項１９に記載の方法。２３．ベクトル量子化を用いるコード化がダイアド、クワッドあるいはＤＰＣＭを用いるコード化を含んでいる、請求項２２に記載の方法。２４．ステップｃが、ｉ．選択されなかった各フレームを領域に分割し、上記フレーム内のそれぞれの領域の位置とサイズを記述する領域パラメータを生成するステップと、 ii．選択されなかった静止フレームまたは選択されなかったフレームのシーケンスの第１のフレームに対して、（１）それぞれの領域を記述する絶対フィルデータを求めるステップと、（２）絶対フィルデータを求めることができない領域のそれぞれを記述するＤＰＣＭフィルデータを求めるステップと、（３）上記絶対フィルデータと、上記ＤＰＣＭフィルデータと、対応する領域記述パラメータとを可変長コード化するステップと、（４）上記可変長コード化された絶対フィルデータ、ＤＰＣＭフィルデータ及び対応する領域記述パラメータからのデコンプレッション時間の推測値を求めるステップと、（５）上記推測値がある予め定められた値よりも小さい時は、上記可変長コード化されたフィルデータと対応領域パラメータを供給し、そうでない場合は、上記絶対フィルデータを求める際に異なる公差を用いてステップｉとステップ（１）〜（５）を繰り返すステップと、 iii．一連の選択されなかったフレームに対し、（１）各領域中のピクセル値を、前に生起したフレームからの同サイズの領域中の対応するピクセル値と比較して、それぞれのピクセル差分を生成するステップと、（２）それぞれの領域についてピクセル差分を記述する相対フィルデータを求めるステップと、（３）相対フィルデータを求めることが出来ないそれぞれの領域について、ダイアドフィルデータを求めるステップと、（４）相対フィルデータもダイアドフィルデータも求めることが出来ないそれぞれの領域について、ＤＰＣＭフィルデータを求めるステップと、（５）上記相対フィルデータ、上記ダイアドフィルデータ、上記ＤＰＣＭフィルデータ及び対応する領域パラメータを可変長コード化するステップと、を含んでいる、請求項１５に記載の方法。２５．ステップｂ（２）が、ｉ．コード化される各解像度レベルをナル領域と非ナル領域に分割するステップと、 ii．２進トリー分解法を用いて上記領域をコード化するステップと、 iii．上記非ナル領域中のピクセル値を記述するベクトル値を求めるステップと、 iv．上記ベクトル値を量子化するステップと、を含んでいる、請求項１５に記載の方法。２６．上記ベクトル値がダイアド、クワッド及びＤＰＣＭを含んでいる、請求項２５に記載の方法。１４．ステップａが、ｉ．上記デジタル動きビデオ信号の各フレームについで、動き補償された差分画像を形成するステップと、 ii．上記動き補償された差分画像に関係する選択されたパラメータの値を求めるステップと、 iii．上記選択されたパラメータの閾値を選択するステップと、 iv．フレームのシーケンスから、上記予め定められた閾値を超えるパラメータ値を持つフレームを選択するステップと、を含んでいる、請求項１５に記載の方法。２８．ａ．デジタル動きビデオ信号のフレームのシーケンスから少なくとも１つのフレームを選択する手段と、ｂ．各選択されたフレームを少なくとも１つのより低い解像度のレベルに分解する手段と、ｃ．上記選択されたフレームの各々の少なくとも１つの低い解像度レベルをコード化する手段と、ｄ．上記デジタル動きビデオ信号の選択されなかったフレームの各々を、全解像度レベルのみを用いてコード化する手段と、を含む、デジタル動きビデオ信号をコード化する装置。２９．フレームのシーケンスからの少なくとも１つの選択されたフレームが、その時コード化される少なくとも１つのより低い解像度のレベルに分解されており、各選択されなかったフレームが全解像度レベルのみでコード化されているデジタル動きビデオ信号を復号する方法であって、ａ．各選択されたフレームの各解像度のレベルを復号して、その解像度のレベルを持つピクセル値のアレーからなる補正画像を形成するステップと、ｂ．解像度の各レベルの出力画像を、その解像度のレベルを持つ基準画像中のピクセル値を同じ解像度のレベルへの補正画像の拡張のピクセル値に加算することによって形成するステップと、ｃ．上記選択されなかったフレームを復号するステップと、を含む、デジタル動きビデオ信号を復号する方法。３０．ａ．フレームのシーケンスからの少なくとも１つの選択されたフレームが、その時コード化される少なくども１つのより低い解像度のレベルに分解されており、各選択されなかったフレームが全解像度レベルのみでコード化されているデジタル動きビデオ信号を供給する手段と、ｂ．各選択されたフレームの各解像度のレベルを復号して、その解像度のレベルを持つピクセル値のアレーからなる補正画像を形成する手段と、ｃ．解像度の各レベルの出力画像を、その解像度のレベルを持つ基準画像中のピクセル値を同じ解像度のレベルへの補正画像の拡張のピクセル値に加算することによって形成する手段と、ｄ．上記選択されなかったフレームを復号する手段と、を含む、デジタル動きビデオ信号を復号する装置。