JPH08502865A - 改良されたベクトルの量子化 - Google Patents

Abstract

(57)【要約】 データの圧縮に関するコードブックを構築するべクトル量子化（ＶＱ）のための改良された方法と装置。コードブック６００又は「ツリー」は、Ｎ個の初期ノード（６１０）を設定し、残りのコードブックをバイナリ・コードブック（６５０）として生成することによって初期化される。子供の項目（６７０）が、最大歪、個体数等の様々な属性の決定に基づいて分割される。データから得られたベクトルは子供ノードと関連づけられ、次に代表的子供の項目が再計算される。この分割／再関連は、前の子供と現在の子供に関する誤差の差が閾値より小さくなるまでくり返し続けられる。この分割と再関連処理は、最大数のターミナル・ノードがツリー内に作成されたり、合計誤差又は歪が閾値に達する等の基準まで続けられる。データは次にコードブックとコードブックを参照するインデックスを含む圧縮されたビット・ストリームとして伝送される。

Description

【発明の詳細な説明】 改良されたベクトルの量子化 発明の背景 １．発明の分野 本発明はビデオの圧縮、圧縮解除に関連し、特にイメージの事前処理及びベク トルの量子化（ＶＱ）を用いた改良されたビデオ圧縮／圧縮解除に関連する。 ２．関連技術の背景 マルチメディアや完全動画ビデオを必要とするその他のアプリケーションのよ うな近代的アプリケーションは、ビデオ情報の記憶、伝送及び表示に費やされる 処理帯域幅を低減するビデオ圧縮の標準の開発を必要とした。これは、高解像度 のフル・イメージのビデオ情報を表す伝送、記憶のための大量のデータのためで ある。一般に図１ａ、１ｂ及び１ｃに示すような装置は、ベクトルの量子化技術 に基づく入力イメージの圧縮、圧縮解除を行うために用いられる。例えば、図１ ａに示すように、イメージ１００は、冗長度を低減するため、あるいは入力イメ ージ１００に含まれるデータ量を低減するため、入力イメージ又は一連のイメー ジに対する空間的又は時間的事前処理を適用するエンコーダ１０１に入力される 。エンコーダ１０１は元のイメージ１００よりも実質的に小さい圧縮されたイメ ージ１０２を生成する。ある種の従来技術システムでは、エンコーダ１０１は入 力イメージ１００の画素パターンをマッチングさせるために用いられるコードブ ック１０５を用い、画素パターンが圧縮されたイメージ１０２の中で別の画素パ ターンにマップされるようにする。このようにして、特定の色やグラフィックの 情報を送らずに、イメージ内の各領域は、インデックスでコードブックのエレメ ントを参照することによってアドレスされる。ある種の従来技術のアプリケーシ ョンでは、圧縮イメージでの画質は損なわれるが、イメージ１００から圧縮イメ ージ１０２へのイメージ・サイズの低減によって実質的節約が得られている。他 の圧縮技術は「無損失（ロス・レス）」であり、追加の計算時間や大きなビット ・ストリームというコストはかかるが、一般にデコードされたイメージに画質の 低下はない。 逆に、圧縮解除されたイメージ１３２を生成するため、図１ｂに示すように圧 縮されたイメージ１０２がデコーダ１３１に加えられる。再び、デコーダ１３１ はコードブック１０５を用いて圧縮されたイメージ１０２に含まれるインデック スから、イメージ１３２に現れる画素パターンを決定する。デコーダ１３１はイ メージをコード化するのに用いられた同じコードブック１０５を用いる必要があ る。一般に従来技術のシステムではコードブックはコンピュータ・システムで表 示するために圧縮又は圧縮解除されるイメージ又はイメージのセットに関連して 固有である。 一般に１０５のようなコードブックはコードブック発生器１５２に加えられる イメージ又はイメージのトレーニング・セット１５１から生成される。コードブ ックは圧縮される１つ又は多くのイメージに対して特に生成され、そのコードブ ックは生成されたイメージをデコードするのに用いられる。コードブックは更に 、将来コード化される一連のイメージの妥当な統計的表現である長いトレーニン グ・シーケンスに対して最適化することによって生成できる。このトレーニング ・コードブックは大きな範囲のイメージ特性を表すと考えられる。このトレーニ ング・コードブックはしばしばエンコーダ及びデコーダで固定化されるが、コー ドブックの部分部分は順応して改良され得る。ある種の従来技術の体系では、コ ードブック発生器１５２及びエンコーダ１０１は一体となっている。コード化は コードブックの生成と同時に行われ、コードブックはトレーニング・イメージか らでなくコード化されたイメージから導かれる。 図２はイメージのコード化及びデコードに対するベクトルとして知られる別々 の領域にイメージ２００がどのように区画化されるかを示す。１つの従来技術の アプローチでは、２００のようなイメージは、「ベクトル」として知られる２０ １及び２０２のような一連の２×２画素ブロックに分割される。２０１のような 各ベクトルは４つの画素２０１ａ、２０１ｂ、２０１ｃ及び２０１ｄから成る。 イメージがこのようなベクトルに分解されると、ビット・ストリーム内の各ベク トルを使って、（ａ）コードブックの生成を含むイメージのコード化を行い、（ ｂ）イメージのデコードを行う。イメージ２００における２０１、２０２のよう な各ベクトルは、イメージ２００を表すのに用いられる。イメージに含まれるベ クトルの近似であるコードブックのエレメントを参照することによって１つのイ メー ジが表される。従って、２０１ａから２０１ｄのような４つの別々の画素を用い てイメージを表す代わりに、ベクトル２０１に含まれる情報を近似するコードブ ック・インデックスを参照してイメージが表される。コードブック内の項目数に よって、イメージ・ベクトルを参照するコードブック・インデックスを使用する と、実際の画素値２０１ａ−２０１ｄを用いてイメージを表すのではないため、 ベクトルを表す記憶域を実質的に低減できる。 このような従来技術の装置は、図１ａから１ｃを参照して論じたようにＣＯＤ ＥＣ（コード化／デコード）として知られる装置に実施されており、これは対応 するコードブックからの一連のイメージに対する圧縮されたビット・ストリーム を生成し、コードブックを用いて後でイメージの圧縮解除を行う。例えば、この ようなＣＯＤＥＣは図３に装置３００として示されている。ＣＯＤＥＣ３００は ２つの部分から成る。すなわちエンコーダ３０１とデコーダ３５１である。エン コーダ３０１は入力データ３１０としてビデオ、音声その他圧縮したいデータを 受け取る。しかし、ビデオのコード化／デコードを論ずるこの出願の残余のため に、同様の体系が他のタイプのデータにも適用できることを当業者は理解された い。このような入力データはプリ・プロセッサ３２０に与えられ、コード化／デ コードを簡単なタスクにするために特定のパラメータが調整されてデータを事前 処理する。プリ・プロセッサ３２０は、イメージをある方法でコード化するため にベクトルの量子化を用いるベクトル量子化装置３３０に供給し、冗長度を等し く低減する。次にベクトル量子化装置３３０はパック／コード化処理３４０に出 力し、更にビット・ストリームを圧縮する。レート制御メカニズム３４５は圧縮 されたビット・ストリーム３５０のサイズに関する情報を受け取り、所望のデー タ・レートを達成するため、様々なパラメータがプリ・プロセッサ３２０内で調 整される。更に、プリ・プロセッサ３２０はコード化されたビット・ストリーム をサンプリングし、画質のセッティングを調整する。 ＣＯＤＥＣ３００は更に、コードブック再生器３６０を用いて圧縮されたビッ ト・ストリーム３５０を受け取り、デコードするデコーダ３５１を含む。エンコ ーダ内のデコーダは、イメージをデコードするためにパッキング３４０又はアン パッキング３７０の処理を行う必要はない。デコーダでは、コードブック再生器 ３６０はアンパッキング処理３７０に供給され、完全なビット・ストリームに戻 す。この処理の結果はポスト・フィルタ３７５に送られ、ディザリング３８０が イメージに対して行われ、最終的にイメージが表示される（３９０）。 従来技術の量子化処理の例は、次の文献に見られる：Gray，Ｒ．Ｍ．「Vector Quantization」（グレイ，Ｒ．Ｍ．による「ベクトルの量子化」−１ＩＥＥＥ ＡＳＳＰ Magazine ４−２９（１９８４年４月）（「グレイ」）及びNasrabad i，Ｎ．Ｍ．「Image Coding Using Vector Quantization」（ナスラバディ，Ｎ ．Ｍ．による「ベクトル量子化を使ったイメージのコード化」）−A Review「Ｃ ＯＭＭ−３６ ＩＥＥＥ Transaction on Communication，９５７−９７１（１ ９８８年８月）（「ナスラバディ」）、このようなベクトルの量子化はツリー・ サーチ（tree searched）のベクトル量子化装置の作成を含み、グレイの記事１ ６−１７頁及びナスラバディの記事７５頁に記載されている。 コードブックの生成は反復的であり、計算機的に高価である。従って、フレー ム毎にコードブックを必要とするいくつかの従来技術の方法では、コード化は低 速となる。更に、トレーニング・シーケンスを用いる従来技術のシステムの欠点 は画質であり、トレーニング・シーケンスのイメージと同様でない多くのシーケ ンスは受容できないであろう。全体的性能もまた気がかりである。いくつかの従 来技術のテクニックは法外な処理を要し、リアル・タイムの圧縮を行うことがで きない上に許容可能な圧縮も達成されない。高速のデコード能力に対する需要は 切迫しており、さもなくば、リアル・タイムの再生は不可能である。多くの従来 技術システムは計算機的に高価なデコーダを有する。発明の概要及び目的 本発明の１つの目的は、ベクトル量子化によってコードブックを効率的に生成 し、イメージの空間的、時間的冗長性を低減する装置と方法及び圧縮システムの 帯域幅を節約するためのイメージの関連処理を提供することである。 本発明の他の目的は、一般的従来技術のベクトル量子化技術に関連したエラー を低減するため、イメージを効率的に区画化し、処理する手段を提供することで ある。 本発明の他の目的は、一般的従来技術のベクトル量子化技術に関連した計算を 更に低減する手段を提供することである。 本発明の他の目的は、限定された帯域幅のチャネルでの円滑な再生に適合する ため、圧縮されたシーケンスの結果的データ・レートを効率的及び効果的に制御 する手段を提供することである。 本発明の他の目的は、圧縮されたデータのリアル・タイムのデコーディングを 可能にする単純なデコード構造を提供することである。 本発明のこれらの目的は、ベクトルの量子化（ＶＱ）の改良した方法と装置を 提供し、データの圧縮のためのコードブックを構築することである。１実施例に おいて、データはイメージ・データを含む。コードブック「ツリー」はＮ個の初 期ノードを設定し、残りのコードブックをバイナリのコードブックとして作成す ることによって初期化される。子供のエントリ項目は最大歪、個体数等のような 様々な属性の決定によって分割される。データから得られたベクトルは子供のノ ードに関連づけられ、次に代表的子供のエントリ項目が再計算される。この分割 ／再関連は反復して続けられ、前の子供と現在の子供の誤差の差が閾値より小さ くなるまで行われる。この分割及び再関連は、ツリー内に最大数のターミナル・ ノードが作成されるまで続けられ、合計誤差又は歪が閾値に達するまで又はその 他の基準になるまで行われる。データは次にコードブックとコードブックを参照 するインデックスから成る圧縮されたビット・ストリームとして伝送される。図面の簡単な説明 本発明は例示によって示され、付随する数値に限定されるものではなく、類似 の参照は類似のエレメントを示す。 図１ａ−１ｃは、ビデオ・イメージを圧縮／圧縮解除するために用いられる従 来技術のコード化／復号化装置を示す。 図２はイメージを２×２画素ブロックから成るベクトルに分割する従来技術の 体系を示す。 図３は従来技術のＣＯＤＥＣ（コード化／デコード）の機能ブロック図を示す 。 図４は、無変化のブロックを識別するプリ・プロセシング技術を示す。 図５ａ及び５ｂは、望ましい実施例で用いられるサブ・サンプリングの例を示 す。 図６は望ましい実施例によって提供される改良したベクトルの量子化を用いて 作成されるベクトル量子化ツリーを示す。 図７及び図８は、図６に示すツリーを作成するために用いられる改良したベク トルの量子化処理を示す。 図９ａ及び図９ｂは、「ゼロ」セルを除去し、残りのノードで反復することに よって、ノードがベクトル・ツリー内でどのように更新されるかを示す。 図１０は、望ましい実施例で用いられるビット・ストリームを示す。 図１１−１６は、図１０を参照して論じられるビット・ストリームに含まれる データの詳細図を示す。詳細な説明 本発明はベクトル量子化の改良した方法に関する。以下の説明において、説明 の目的で、本発明の完全な理解を与えるために、特定タイプのデータ、アプリケ ーション、データ構造、ポインタ、インデックス及びフォーマットが述べられて いる。しかし当業者には、本発明がこれらの詳細事項なしに実行できることは明 白であろう。また、本発明を不必要にあいまいにしないため、既知の構造やデー タはブロック図の形で示されている。 本発明の望ましい実施例は、図３に３００として示される従来技術のＣＯＤＥ Ｃと類似の態様で構成される。これらはディスプレイ、プロセッサ及び様々な静 的及び動的記憶装置を含む汎用のプログラムされたコンピュータ・システムで実 施できる。これはまた、特別目的のアプリケーション用に設計された特別目的の ビデオ用コード化又はデコード装置を含むことができる。もちろん、当業者には 、望ましい実施例の方法と装置は、アプリケーションの要件に適合するように独 立した論理装置、ファームウエア、アプリケーション固有の集積回路（ＡＳＩＣ ）又はプログラム論理アレイで実施できることが分かるであろう。 望ましい実施例は「Ｃ」プログラム言語のようなハイレベル・プログラム言語 で実施され、汎用コンピュータ・システムで動作する。望ましい実施例を実施す るために書かれたルーチンは実行可能なオブジェクト・コードにコンパイル及び アセンブルされ、ランタイムにシステムのプロセッサにロードされ、実行される 。 本発明の議論は、ビデオ情報を参照して具体的に記載されているが、ここで論 じた技術と装置は、ベクトル量子化を利用したオーディオの分野等他の分野にも 同様の適応性があり、この出願のビデオ情報の議論が本発明を限定しているとみ るべきでない。 プリ・プロセミング ＣＯＤＥＣから出力されるデータ・レートは、プリ・プロセッサ３２０を通し てベクトル量子化処理に至る情報量を制御する。これは全体的及び局所的の２つ のレベルで行われる。空間的解像度に対する全体的変化は、イメージの帯域幅を 変える低域入力フィルタを入力イメージに対して適用することによって行われる 。このフィルタの通過帯域幅は必要なデータ・レートにおける誤差で変わる。誤 差が少なくなるにつれて、入力フィルタの帯域幅は増加し、ＣＯＤＥＣにより多 くの情報が到着できるようにする。逆に所望のデータ・レートでの誤差が増加す ると、入力フィルタの帯域幅が減少し、ＣＯＤＥＣに到達する情報を制限する。 時間的解像度に対する全体的変化は、現在と前のフレームの間の差を判定するこ とによって行われる。もし変化が閾値以下なら、現在のフレームはスキップされ る。閾値はデータ・レート誤差から決定される。時間的帯域幅が減少する別の全 体的メカニズムは２つのフレームの間の誤差の定義を拡張することによって、誤 差計算の前にフレームの変形を可能にすることである。このような変形はパン（ pan）やズームの保償を含むが、それらに限定されるものではない。 ベクトル量子化処理に到達することを許される情報量の局所的制御は、空間的 サブ・サンプリングと時間的ブロック（又はより一般的には動きが保償されたブ ロックの局所的決定）を含む。望ましい実施例のシステムは、図３の３３０で示 す改良したベクトル量子化装置を実施し、コード化されるイメージのような非常 に大きなベクトルのセットから代表的イメージ・ベクトルの小さなセット、コー ドブックという、を生成するのに非常に効率的である。このようなベクトル量子 化装置によって生成されたコードブックからデコーダ３５１によって再構築され たイメージは、ある基準に関して元のものに近い。全体的圧縮／圧縮解除体系の 性能は望ましい実施例において、ベクトル量子化装置の前にプリ・プロセッサ３ ２０によってビット・ストリームの内容を制御することにより更に向上する。こ のプリ・プロセシングはベクトル量子化装置３３０に対して透明である。プリ・ プロセッサ３２０は、画質の損失を最小にしてイメージをコード化するのに用い られる情報量を実質的に低減する。望ましい実施例ではタグを用いて丁度その時 に変わらないベクトルをコード化する代わりに明示する。ある閾値に従って変わ らないため、「無変化」のブロックとして知られている。望ましい実施例では、 ブロックは更に空間的サブ・サンプリングを用いて処理され、より良好な圧縮を 達成する。更にプリ・プロセッサ３２０は、スピードを増大し又は画質を向上さ せるため、赤、緑、青（ＲＧＢ）表すコード化から輝度とクロミナンス（ＹＵＶ ）を用いて表すコード化への変換等を行って、イメージ空間の特性を変えること ができる。 無変化ブロック 望ましい実施例において、イメージ・ベクトルをコード化するか「無変化」ブ ロックのタグを送るかを決めるために一連の決定が行われる。「無変化」ブロッ クの場合、そのイメージ・ブロックに関してインデックスは送られる必要がない ので、圧縮は殆ど常に向上する。コードブックを作成し、そのインデックスを見 つけるイメージ・ベクトルが少ないので、コード化速度は向上する。前のフレー ムからのデコードされたブロックの上にスクリーン上で新しいブロックを配置し なくて良いため、デコード時間も向上する。従って、コードブックのエレメント を参照するインデックスを送る代わりに、プリ・プロセッサ３２０によって無変 化タグが送られ、同一位置で、前のフレームのブロックからそのブロックが実質 的に変わっていないことを示してベクトル量子化装置３３０を素通りする。これ は図４を参照して示され、論じられる。処理４００はステップ４０１で始まり、 ステップ４０２でフレームＮの次のブロックを取り出す。ステップ４０３でフレ 一ムＮのこのイメージ・ブロックは次にプリ・プロセッサ３２０によって、デコ ードされたフレームＮ−１からの同一位置のイメージ・ブロックと比較される（ デコードされたフレームＮ−１はエンコーダのビット・ストリームの出力から抽 出されデコードされる。）。もしステップ４０４で検出されるように、２つのブ ロック間の誤差が閾値μより大きいと、ステップ４０６でそのブロックは変更さ れずにベクトル量子化装置３３０にコード化のために渡される。それ以外の場合 、そのブロックはＶＱ３３Ｏに対して「無変化」のタグが付けられ、ステップ ４０５に示すようにベクトル量子化は行われない。別の実施例では、無変化ブロ ックは前のフレームのブロックのうち、どれがサーチ領域内で良好な一致がとれ たかを示す画素オフセットを持つことができることに留意されたい。 所望のデータ・レート及び画質が非常に高い場合、無変化のブロックとしてμ をパスするイメージ・ブロックは、無変化ブロックとしてタグを付ける前に、よ り厳しいテストをされる。ブロックが無変化のブロック、ブロックの「エージ（ age）」という、であるフレームの数は、チェックされ、最大許容エージを超え ていないことが確かめられる。もし最大許容エージを超えていなければ、そのブ ロックは「無変化」ブロックとしてとどまる。もし最大許容エージを超えていれ ば、そのブロックと前のデコードされたフレームの同位置のブロックとの間の誤 差がよりきつい閾値、例えばμ／２と比較される。これは無変化ブロックが所定 の位置に長時間残っており、見る人から気付かれるのを防止するために行われる 。ブロック・エージを用いる副作用は、多くのブロックがエージ化し、一緒に最 大エージとなるときに起きる。これによって突然データ・レートが増大し、イメ ージの内容に無関係なデータ・レートの変動を起こすきっかけとなる。これを防 止するため、望ましい実施例では各ブロックは様々な開始エージに初期化され周 期的にリセットするようにしている。これはランダムに行うことができるが、も し連続したイメージの区画で行われた場合、エージ化はブロック・ヘッダでビッ ト・ストリームをくずすことはあまりない。無変化ブロックのエージ化する主な 欠点は、データ・レートが高いことである。従って、所望のデータ・レートが非 常に高い圧縮を要求せず、高い画質を要求するとき使用するのに適している。処 理４００は、ステップ４０７で決まるように、フレームが完全に処理されたとき ステップ４０８で終わる。ブロックに「無変化」としてタグを付ける決定は、一 旦空間的サブ・サンプリングが行われると覆ることがある（例えばブロック・デ ータが送られる）。もしデコーダに対して後続のブロックは「無変化」であるこ とを知らせるためのブロック・ヘッダのオーバーヘッドによって、「無変化」の ブロックを有する圧縮の正味の利益がなくなれば、「無変化」のブロックは先行 するか後続するブロック・タイプに変更される。現在の実施例でこれが起こる例 は、サブ・サンプルされたブロックの流れの中間で単一の４×４ＮＣ（４−２× ２無 変化）ブロックがあるときである。単一の４×４ＮＣブロックは先行する１つの ヘッダと後続する１つのヘッダを必要とし、サブ・サンプルされたブロックの流 れから分離し、ブロック・ヘッダ毎に１バイトとして１６ビットを生ずる。もし 単一の４×４ＮＣブロックがサブ・サンプルされたブロックに変えられたとすれ ば、単に８ビットのインデックス（２５６のエントリ項目のコードブックに対し て）を要し、伝送ビット数について云えば４×４ＮＣブロックにしておくよりも 少ない犠牲で済む。処理４００において無変化ブロック選択の決定に対して有用 な様々な誤差と閾値の計算がある。望ましい実施例においてブロック比較に用い る誤差の基準は２乗誤差計算である。ＳＮＲ（信号電力対ノイズ電力比）も別の 実施例で用いることができ、高い輝度の領域に対する大きな誤差が許されるので 有用である。これは人間の目が高輝度の領域における輝度の変化に鈍感であると いう事実と関連する（ウェーバーの法則）。閾値μは望ましい実施例ではユーザ の両質設定によって初期に決定されるが、レート制御要求と前の一連のフレーム の平均２乗誤差（frame_-mse）に順応して初期値から変わり得る。望ましい実施 例に用いられるアプローチは、無変化の閾値及びμを次のように計算することで ある。 改善されたレート制御メカニズム３４５の議論で以下に詳しく論ぜられるlong_-t erm_-error（長時間誤差）は、期間中の必要なデータ・レートを達成するベンチ マークを提供する。もしlong_-term_-errorが、データ・レートは高すぎることを 示すと、無変化のブロックはより頻繁にフラグが付けられる。逆に、もしlong_-t erm_-errorが、生成されたデータ・レートは所望値より低いということを示すと 、無変化のブロックはそれほど頻繁にフラグを付けられない。瞬間的に反応する 代わりにμはβによってバッファされ、データ・レートを変える反応時間の時定 数（又は遅れ）を効果的に制御する。これは振動的データ・レートを防止し、完 全にデータ・レートで駆動されるのでなく、多くのビットを生成する多くのバリ エーシ ョンを有する複雑なイメージと、少ないビットを生成する少ないバリエーション を有するあまり複雑でないイメージに対する公差を許す。所与のシーケンスにお ける達成可能な画質幅があるため、無変化の閾値μはframe_-mseを考慮してシー ケンスの直前にコード化された部分の画質を維持する。frame _-mseはレート制御 ３４５によっても用いられ、これについてはレート制御の章で詳細に論ずる。 空間的サブ・サンプリング 望ましい実施例においてプリ・プロセッサ３２０によって行われる別の技術は 空間的サブ・サンプリングである。サブ・サンプリングはベクトル量子化装置３ ３０によってコード化される情報量を低減するのに用いられる。これによってい くらかの空間的画質の犠牲で高速のコード化と高度の圧縮が得られる。主なチャ レンジは高画質、高圧縮を維持することである。望ましい実施例で取り得る２つ のアプローチがあり、それぞれ異なった利点がある。第１のアプローチでは、イ メージは「スムーズ」と「ディテイル」の領域に分けられ、「スムーズ」のブロ ックはデータ・レートの要求に従ってサブ・サンプリングされる。例えば、「ス ムーズ」領域は元のブロックと対応するサブ・サンプリング及びアップ・サンプ リング（upsampling）されたブロックの間で平均２乗誤差を比較することによっ て決まる。これはサブ・サンプリングされた「スムーズ」領域は、通常最小の産 物すなわち誤差を生成するので有利である。このアプローチに対する別の利点は 、２つの別々のコードブックがサブ・サンプリングされた２×２Ｃ（「変化」） ブロックに関して生成され、各コードブックが数フレームに亘って共有されると きに発生する。「円滑性（smoothness）」に完全に依存するサブ・サンプリング によって、２つのコードブックは「スムーズ」及び「ディテイル」の領域を多く のフレームに亘って表すことができる。これは「スムーズ」領域のイメージ・ベ クトルは通常多くのフレーム間で類似しており、また同じことが「ディテイル」 領域についても云えるためである。ゾーン（zone）が用いられる第２のアプロー チでは、イメージ内のブロックの位置もサブ・サンプリングの決定に影響を与え る。第２のアプローチの利点はイメージのどの領域がポスト・フィルタに行くの かをデコーダに対して効率的に通信する（ビットに関して）能力を有することで あり、サブ・サンプリングのブロックを奥めることによって、より効率的ブロッ ク・ヘ ッダのコード化の能力を有することである。サブ・サンプリングの処理は図５ａ を参照して論ぜられる。サブ・サンプリングに関して、イメージは図５ａに示す ように４×４のブロックに分割される。各４×４ブロックは、サブ・サンプリン グとして選択されると５１０のような２×２ブロックに縮小される。望ましい実 施例で行われるフィルタ・サブ・サンプリング動作は、４つの４×４画素ブロッ クのそれぞれの加重平均を用いて（例えば画素１−３、５−７、９−１１及び１ ７−２３から成るブロック５１８）サブ・サンプリングされたブロック５１６（ ブロック５１８の場合画素１、２、５及び６のブロック）を表す。別の実施例で は、図示のように単一の画素（例えば１、３、９及び１１）がサンプリングされ 、より簡単なサブ・サンプリングの体系でサブ・サンプリングされたブロック５ １０の代わりに用いられる。もしイメージ全体がこれらの技術の何れかを用いて サブ・サンプリングされると、改良されたベクトル量子化装置３３０に入るベク トルの数は４のファクタで低減し、よって、最終ビット・ストリームのコードブ ック・インヂックスの数もまた４のファクタで低減する。別の実施例では、サブ ・サンプリングは水平方向にのみ又は垂直方向にのみ或いは、２以上のファクタ で４×４画素以上のブロックを２×２画素ブロックにサンプリングすることによ って各方向に行うこともできる。デコード中、改良されたデコーダ３５１は、イ ンデックスに先行するヘッダにおいて、５１０のようなブロックの含まれるイン デックスはサブ・サンプリングされたブロックを指示していることを検出し、５ ２０のような完全な４×４ブロックを再生するために各画素を水平、垂直の両方 向に１つずつ模写する（例えば、４画素から成るブロック５２１を見ると、それ ぞれは単純サブ・サンプリングの場合における画素１と同じである）。ブロック ５２１は４つの１の代わりに４つのγで表され、γはブロック５１８の加重平均 であることに留意されたい。別の実施例では、既存の画素の間の画素は良好な結 果を得るため、相隣れる画素から補完することができる。しかしこれはデコーダ の速度に有害な効果を与え得る。 「円滑性（smoothness）」が判定される方法は、もし１つのブロックがサブ・ サンプリングされる場合、どの程度２乗誤差が生ずるかに依存している。サブ・ サンプリング動作は次の誤差計算に示されるようにフィルタリングも含む。２乗 誤差εは図５ｂに示す５６０（画素ａ₀−ａ₃からなる）のような２×２ブロック のそれぞれとそれを囲む４×４ブロック５５５（画素ａ₀−ａ₃及びｂ₀−ｂ₁₁か らなる）の平均γとの間で計算される。 ブロック５１８から計算されたγは２×２ブロック５２１の画素１の値の代わり に用いられる。もし５６０のような２×２ブロックがサブ・サンプリングされる と、それを囲む４×４γ（ブロック５５５）の平均が４つの個々の国素値ａ₀− ａ₃の代わりに送られる。平均γはブロッキネス（blockiness）を低減するのに 役立つ。従って図５を参照して示されるように、値γは、ブロック５３０の元の ４つの画素値ａ₀−ａ₃の代わりに送られる。次に２乗誤差εは加重係数κによっ てスケーリングされ、人間のシステム輝度に対する感度に近似される（ＭＳＥの 代わりにＳＮＲをおおよその近似として用いることもできる）。従って、サブ・ サンブリング誤差が同じであると仮定して高輝度の領域は容易にサブサンプリン グすることができる。４つのスケーリングされた誤差は加算されて５６０のよう な各２×２ブロックに関連する誤差を生成する。 Ｙ_j：画素ａ_jの量子化された輝度値 サブ・サンプリングのための候補として４×４ブロック５００を順位づけるた め、４×４ ５００の角に配置された４つの２×２ブロックからのサブ・サンプ リング誤差εのそれぞれが加算される。レート制御が、所望のフレーム・サイズ に合うように十分なブロックがサブ・サンプリングされたことを判定するまで、 ブロックは最小の誤差ブロックから最大の誤差ブロックに向けてサブ・サンプリ ングのために選択される。別の実施例では、イメージの端がサブ・サンプリング されるのを防止するため、当業者には既知の端検出方法によってイメージの端が 抽出される。サブ・サンプリングの決定をサブ・サンプリング誤差に依存するこ とは、サブ・サンプリング及び端を越えるアップ・サンプリングが最大誤差を生 ずる傾向があるため、多くの端を保護する傾向がある。しかし、端検出で見つか った端をはっきり保護することは、ある場合には有用である。 純粋に誤差に基づいたサブ・サンプリングは、多くの場合うまく動作するがサ ブ・サンプリングされたブロックが必ずしも互いに隣接して発生しないイメージ がある。従って、サブ・サンプリングされないブロックの隣のサブ・サンプリン グされたブロックの出現は、可視的に見ている人を悩ます閃光効果を起こし得る 。いくつかのブロックはサブ・サンプリングされ、その他ブロックはサブ・サン プリングされないのでブロックが動いているように見える。第２に、もしサブ・ サンプリングされたブロックと標準的にコード化されたブロックが、空間的に混 在すると、プリ・プロセッサ３２０によって識別されるブロック・ヘッダによっ てブロック・タイプの変化を表さねばならないので、かなりの帯域幅（ビットに おける）が消費される（ブロック・ヘッダについては以下にビット・ストリーム のシンタックスを参照して詳しく論ずる）。このようなイメージにおいては、別 の実施例のコード化体系において、ゾーンを用いて誤差のみに基づくサブ・サン プリングする前述の２つの欠点を低減できる。イメージはプリ・プロセッサ３２ ０によって３２の矩形ゾーン（水平８、垂直４）に分割され、それぞれは自らに 関連した重みを有する。明らかに、ゾーンの数とそのサイズは全く多様である。 １実施例では、中心のゾーンをサブ・サンプリングされにくいように境界ゾーン のイメージの重み付けが行われる。このことは、カメラは大旨対象物の中心に向 けられるため、見る人は端にあまり注意を払っていないと云うことを前提として いる。別の実施例では速い動きを使って、サブ・サンプリングの産物を隠してい る。もし当業者に既知の運動予測アルゴリズムによって、動きが速くないと判定 されると、動きの領域をサブ・サンプリングすることを難しくすることは有用で ある。このことは、見ている人は運動物体を追跡し、動きが速くなければサブ・ サンプリングの産物に気付くということを前提としている。 望ましい実施例の第２のアプローチにおいて、ゾーンはゾーンの誤差、平均２ 各ゾーンはその位置に従って重み付けされ、ゾーン誤差ＺＥを生成する。 サブ・サンプリングのためにタグを付けられたブロックはゾーン誤差に関して最 良ゾーンから最悪ゾーンの順にサブ・サンプリングされる。これはレート制御３ ４５によって要求されたサブ・サンプリングの数に達するまで行われる。改良さ れたデコーダ３５１は、入力ビット・ストリーム３５０から特定の基準で（画質 設定等）どのゾーンがサブ・サンプリングされたかを判定でき、ブロッキネス（ blockiness）を柔らげるためにこれらのゾーンをポストフィルタ（処理３７５） にかけるかどうか決める。サブ・サンプリングは帯状であるので、デコーダ３５ １はイメージ全体をポストフィルタにかけないで、どこに努力を集中すればよい かを知っている。この情報をデコーダに送るのにオーバーヘッドは最小であり、 ３２の矩形ゾーンの場合わずか３２ビットである。ゾーン全体がサブ・サンプリ ングされるのを防止するため、edge_-mseより小さい誤差を有するブロックだけが ゾーン内でサブ・サンプリングされる。edge_-mesの値はレート制御によって制御 されるので、所望の圧縮フレーム・サイズが大きければ多くのブロックがサブ・ サンプリングから保護される。 edge_-msen=edge_-mse_(n-1)+X*long_-term_-error 別の実施例ではedge_-mseは重み付けることができ、当業者に既知の端検出方法で 抽出されたイメージの端は、サブ・サンプリングから保護される。 方向性フィルタリング 空間的冗長度も、別の実施例における「方向性」フィルタリングを行うことに よって端とディテール（detail）の最少の損傷で低減することができる。この処 理は、画素を囲む領域に対して水平、垂直、上向き対角線、下向き対角線のフィ ルタを実行し、最小誤差を生成するフィルタを選択する。もしフィルタの長さが ３タップ（tap）、（フィルタ係数）であれば、図５ａの画素６のフィルタをか けた値を計算することは、画素６に関するフィルタをかけた値を生成するため、 画素５、６及び７に対して水平フィルタを適用し、画素２、６及び１０に対して 垂直フィルタを適用し、画素１、６及び１１に対して下向き対角線フィルタを適 用し、画素９、６及び３に対して上向き対角線フィルタを適用することを意味す る。例えば、「水平フィルタ」を実行するために値はｆ_hであらわされ、ｆ_hは次 のように計算される。 ｆ_h＝ａ₁・画素５＋ａ₂・画素６＋ａ₃・画素７ ここで、ａ₁、ａ₂及びａ₃は重み係数であり、それぞれ０．２５、０．５及び０ ．２５であり、３×３ブロックの中央画素に多くの重みが与えられ、結果のｆ_h は計算的に安価なシフト演算で計算される。これらのフィルタは３次元空間に適 用でき、追加の次元は、別の実施例では、時間であることに留意されたい。 方向性フィルタの結果を比較することによって、イメージの端の方向付けも得 られる。端の方向付けは、直交方向の対に関連する誤差の比を比較することによ って抽出される。第１のステップは最小誤差min_-directional_-erreｒを生成した 方向を選択することであり、この誤差を他の３方向のフィルタに関する誤差と比 較することである。最小誤差のフィルタの方向に方向性の端があることを示す特 徴は次の事項を含む。 ・最小誤差を生成した最小誤差フィルタの方向と直交する方向 ・最大誤差のフィルタは特にそれ自身と直交する方向と比較したとき、他の３ 方向よりも格別に大きな誤差を有する。フィルタをかけた領域が互いに他と非常 に近い方向性誤差を有する場合、その領域は「無方向」である。「無方向」のブ ロックの領域は、再びその領域に対してフィルタをかけることができる。最小誤 差のフィルタは、画素の周囲の特徴に従ってどの画素に対してもその特性を変え るので、非常に順応性がある。 ＹＵＶ変換 望ましい実施例はまた、コードブックの生成とベクトル量子化装置３３０に関 してベクトルの輝度とクロミナンス値（ＹＵＶ）を用いて速度や画質を向上させ る。ＹＵＶ値は、ベクトルにおける画素の赤、緑、青（ＲＧＢ）値からその再構 築が計算的に安価な単純な変換を通して計算できる。例えば乗算の代わりにビッ ト・シフトで実現できる次の変換である。 ベクトル量子化装置３３０においてＹＵＶを用いてコードブックの生成を行うこ とは、成分間のきつい動的範囲と相対的非相関性によってクラスタリングを向上 させる。従って画質の向上は顕著である。コード化速度が重要である状況では、 クロミナンス（Ｕ．Ｖ）値は２又は４でサブ・サンプリングされ、ベクトル量子 化ステップ３３０において重み付け（例えばシフトで）られる。 望ましい実施例において、輝度及びクロミナンスは、入力イメージのベクトル のサブ・サンプリング又はフィルタリングのようなＲＧＢの事前処理の後、プリ ・プロセッサ３２０によってベクトル量子化装置３３０に送られる。別の実施例 では、ＹＵＶ変換は最初に行われ、サブ・サンプリングのような事前処理はＹＵ Ｖ変換の後に行われる。如何なるレートにおいても、結果の事前処理データは改 良ＶＱ３３０にＹＵＶのフォーマットで送られる。 改良されたベクトル量子化装置 ベクトル量子化（ＶＱ）はブロック又はデータのベクトルを表すのに効率的方 法である。一連のデータ、画素、オーディオ・サンプル又はセンサー・データは しばしば各データを独立して取り扱うことによって量子化される。これをスカラ ー量子化という。一方、ＶＱはデータのブロック又はベクトルを量子化する。主 なＶＱの問題は、データ・セットの許容し得る近似であり、コードブックと呼ば れる代表的ベクトルのセットを見つける必要があることである。許容性は通常元 のデータ・セットと再生されたデータ・セットの間の平均２乗誤差を用いて測定 される。コードブック生成の一般的技術はLinde，Y、BuSo，A及びGray，Rによる 「An Algorithm for Vector Quantizer Design（ベクトル量子化装置設計のアル ゴリズム）」ＣＯＭ−２８ＩＥＥＥ Transactions on Communicationsl（１９ ８０年１月）（ＬＧＢアルゴリズムとして知られている）に記載されている。コ ードブックを生成するためにＬＧＢアルゴリズムを採用した技術は、コードブッ クの初期予測を生成するためイメージからの入力ベクトルをサンプリングするこ とで始まる。次に各入力ベクトルはコードブックの項目と比較され、最も近いコ ードブックの項目と関連させられる。コードブックの項目は各コードブックの項 目と関連する平均ベクトルを計算し、現在の項目を平均ベクトルで置き換えるこ とによって繰り返し更新される。次にコードブックが前回より大幅に向上したか どうかの判定が行われ、もし向上していなければ、入力ベクトルをコードブック の項目と比較し、再関連させる等によって処理をくり返す。このコードブックの 生成は大きなイメージ・シーケンスすなわちトレーニング・セットに対して行わ れるか、又はコードブックは各フレームに対して再生される。更に、この技術は 効率向上のため、特定の従来技術のベクトル量子化システムに用いられるバイナ リ・ツリーに適用できる。 改良ベクトル量子化装置３３０はツリー構造に編成されている。特定の従来技 術の体系で用いられているバイナリ・ツリーではなく図６に示すようにツリーの ルートでＮ個の子供ノード６１０が初期に生成される。これはいろいろなテクニ ックを用いて行うことができる。例えば、１実施例では、セグメンター（segmen ter）を用いてイメージから代表的セントロイド（centroid）を抽出し、中心値 を有するＮ個の初期ノードを生成する。別の実施例では、初期のセントロイドは 、そのイメージ自身からＮ個のベクトルを抽出することによって、１つのイメー ジから決定される。従来技術のバイナリ・ツリーは単に２つの初期ノードの設定 に依存している。バイナリ・ツリーには、２つの初期ノードにおける誤差がツリ ー内の残りのノードに伝搬するという欠点の悩みがある。望ましい実施例では、 Ｎ個のノードが用いられ、値Ｎはイメージの特性によって変わる。これの利点は 、多くの初期ノードがルート・レベルでの間違ったビンニング（binning）のチ ャンスを低減するという事実に関連している。良好な画質と速い収束は、ツリー 作成 においてＮ個の初期ノードを用いることから達成され、Ｎはイメージに適合し、 通常２よりも大きい。 イメージに対して行われる改善されたベクトル量子化処理７００は図６、７及 び８を参照して示され、論ぜられる。Ｎ個の初期ノードの作成は図７のステップ ７０２で行われる。ツリーの最上層６１０は、ステップ７０３で初期ノードの値 をくり返し調整し、ベクトルをそれらに関連させることによりＮ個の初期ノード から改善される。この繰り返し処理は、繰り返しのノード・ビンニング／再計算 処理を示す図８を参照して以下に記載されている。ステップ７０４で、最悪の歪 を有するノードが決定され、その歪はノードのセントロイド値とその関連ベクト ルの間の比較から計算される。望ましい実施例において、ノードに関連するベク トルとノードのセントロイド値の間の平均２乗誤差は歪の尺度として用いられる 。どのノードが最も歪んでいるかの判定は、別の実施例で多くの尺度を用いて行 われることに留意されたい。これらの尺度は、個体数、ノードに関する合計、ノ ードに関する平均歪あるいはノードに関するピーク歪が含まれる。どのレートに おいても、ステップ７０４で一度最大歪ノードが決定されると、ステップ７０５ でこのノードは２つの子供ノードに分割される。もちろん、望ましい実施例では ２つの子供ノードが記述され、用いられるが、別の実施例では２つ以上の子供ノ ードが作成されても良い。最良の代表ベクトルを得るため、ステップ７０６で子 供ノードに対する繰り返し処理が行われる。この処理は、図８を参照してより詳 しく説明されている。最も歪んだノードから作られた子供ノードに適用されたス テップ７０３又はステップ７０６のような繰り返し処理は図８に示されている。 この処理はステップ８０１で始まる。ステップ８０２で、親ノードと関連するベ クトルのグループから図６の６７０に示す子供ノードに、代表的セントロイドを 割り当てる。ルート・ノードの場合は、イメージの全ベクトルを用いて代表的セ ントロイドを作成する。次に各ベクトルは最も近いセントロイドを有するノード と関連づけられる（ビンニング）。次にステップ８０４で、各セントロイドと関 連するベクトルとセントロイド自身との間の誤差が決定される。誤差計算は色々 なテクニックを用いて行われるが、望ましい実施例においては平均２乗計算が用 いられる。ステップ８０５で１度誤差計算が決まると、誤差の変化が特定の閾値 以 下になったかどうか判定される。ステップ８０６で、ステップ８０３からのノー ドと関連するベクトルから新しいセントロイドが計算され、これはステップ８０ ３からの全てのノードに対して行われる。７０６に示す処理の最初の繰り返しで は、誤差の変化は非常に大きく、大きなプリセットの値から、計算された誤差値 に進んでいく。しかしステップ８０３から８０６のループの次の繰り返しでは、 誤差の変化は小さくなり、最終的に閾値より小さくなる。もし現在分割されてい るノードに関する誤差の合計が、ステップ８０５で決まるように、閾値より小さ くなければ、ステップ８０６で新しいセントロイドが再計算され、処理７０３（ ７０６）が続いて行われ、ステップ８０３から８０６が必要に応じて再びくり返 される。これは、ステップ８０５で検出されるように、誤差の変化が所定の閾値 より小さくなるまで行われる。ステップ８０５で検出されるように、誤差の変化 が閾値より小さくなると、処理７０３（７０６）はステップ８０７で終了し、図 ７の処理７００に戻る。 この反復処理が図７のステップ７０７で完了すると、ツリー内で所望の数のタ ーミナル・ノードが作られたかどうか判定される。ノードが分割される度に、２ つ又はそれ以上の子供ノードがＶＱツリー６００に生成される。従って望ましい 実施例では、要求されるターミナル・ノードの合計数は、ＶＱツリー６００のノ ードが何回分割されるかを決定する。処理７００は、必要なターミナル・ノード の数がツリー内に作られるまでステップ７０４から７０７を続ける。一度必要な 数のターミナル・ノードが作られると処理７００はステップ７０８で完了し、コ ードブックは出力ビット・ストリーム上に伝送され、図３に示すパック／コード 化装置３４０に送られる。 望ましい実施例でノードに対して用いられるタイプ構成は次のような「Ｃ」プ ログラム言語で定義される。 typedef struct model { unsigned long *centroid： ／／ このノードに関するセントロイド ／／ に対するポインタ unsigned long *vert_-index_-list： ／／ このノードに関するベクトル・イ ンデックスのリストに対するポイ ンタ unsigned long *num_-vect： ／／ このノードに関するベクトル数 unsigned long distortion： ／／ このノードに関する合計歪 unsigned long avg_-dist： ／／ このノードに関する平均歪 nsigned long peak_-dist： ／／ このノードに関するピーク歪 unsigned long percent_-dist： ／／ このノードに関する歪のパーセン テージ unsigned long num_-children： ／／ 子供の数 unsigned long ic_-method： ／／ このノードの初期化方法 struct mode **children： ／／ このノードの子供ノードに関する構 造のリストに対するポインタ struct mode *parent： ／／ このノードの親に対するポインタ unsigned char terminal： ／／ これがターミナル・ノードかどうか を示すフラグ unsigned long *childrencptrs： ／／ 次に対するポインタのアレイに対す るポインタ ／／ 子供のセントロイド（歪計算を単純 ／／ 化し高速化するために用いられる） ｝ ６００のようなツリーＶＱを構成するノードは、それぞれが上で定義したような データを有し、色々な歪尺度、ビンニングされたベクトル数、子供の数などのノ ードに関する特定の情報を維持する。この情報は上で論じたツリーの生成に役立 つ。 ６００のようなＶＱツリーの生成に対する望ましい実施例のベクトル量子化処 理７００は多くの新しい技術を用いて実行される。 第１に、順応収束閾値（８０５で使用）は繰り返しの数を制御し、コードブッ ク・ツリーを生成するのに用いられる。これは２つの方法のうちの１つで動作す る。 １．もし完全なツリーが更新されることになれば、ゆるい収束基準が初期のＮ 個のノードに適用される。完全なツリーは場面の変更が起こったか又はイメージ が前のイメージから著しく変わった場合に更新される必要がある。 ２．もし前のツリーからのルート・ノードが現在のツリー構築に用いられると すれば、そのルート・ノードには繰り返しは行われない。ルート・ノードは類似 のイメージ・シーケンスがコード化され、場面変化が検出されない場合再使用で きる。従って６１０のようなＮ個の初期ノードは、前のフレームのＶＱから再使 用できる。 第２に、望ましい実施例では、再生イメージの画質向上のため、修正距離尺度 が用いられる。通常イメージ・ベクトルとコードブック項目の間の平均２乗誤差 （mse）が用いられて所与のベクトルに対して一番近く一致するコードブック項 目を決定する（例えば、図８のステップ８０３）。ツリー生成の初期の段階では 、望ましい実施例はこの計算を修正して大きな誤差には２乗誤差より重い重み付 けを行う。このようにして、大きな誤差には小さな誤差よりも多く重み付けがな される。 第３に、複数の基準を使ってどのノードが分割されるべきかを決定する。採用 される尺度には次のものが含まれるが、これらに限定されない。 １．特定のノードに関する合計歪。 ２．特定のノードに関する平均歪。 ３．特定のノードに関する個体数。 ４．特定のノードに関する歪のパーセンテージ。 ５．特定のノードに関する最大歪。 ６．特定のノードに関する最大歪と最小歪の比。 ノードに関する合計歪は望ましい実施例で用いられる。しかし、別の実施例のツ リー生成の最終段階では、もし個体数を尺度として用いれば良好な画質の結果が 達成できる。もし平均２乗誤差が歪尺度として用いられれば、歪の合計は平均２ 乗誤差の合計である。他の歪尺度又はそれらの組み合わせの使用は、他の実施例 で用いることができ、それぞれは、イメージの内容や所望の画質に応じて特定の 利点を有する。 第４に、ノードを分割するのに複数の試行が行われる。たまに特定のノードを 分割する試行が失敗する。この場合、多くの他の初期条件が生成され分割がうま く行くように支援する。例えば、これが行われる１つの方法は、初期の分割に対 してノイズを加えることである。平坦な、又は非常に滑らかに変化するカラー又 は輝度の領域で特徴づけられる特定のイメージについては、ノードの分割は難し い。少量のノイズが分割に先立ってイメージ・ベクトルに加えられる。ノイズは 疑似ランダムであり、入力イメージ・データのゼロと２つの最下位ビットの間の 範囲を有する。ノイズ生成の１つの態様は、疑似ランダム・ノイズ発生器を用い ることである。この値がコード化される各ベクトルの各画素のＲＧＢ成分のそれ ぞれに加えられる。各画素のＲＧＢ成分のそれぞれに加えられたランダム・ノイ ズは分割を成功させるのに十分それらを区別させる。一般にどのノードを分割す るかの決定が行われたと仮定して、アルゴリズムは次のことを行う。 １．そのノードに関するベクトルのリストをサブ・サンプリングすることによっ て初期ノードのＫ個の候補を生成する。 ２．これらの初期ノードを用いてベクトル・リストをクラスタリングする。 ３．もしクラスタリングが失敗すれば（すなわち、全てのベクトルが１つのノー ドに集中する）、このノードをこの方法でクラスタリングするのに失敗したとし て識別する。 ４．このノードを分割する次の試行が行われるとき、ノード・セントロイドに対 する異なった初期予測を用いる。この予測を生成するテクニックには次のものが 含まれるが、これに限定されない。 ａ．親ノードのセントロイドを乱れさす。 ｂ．ノード・ベクトル・リストの中の最も歪んだベクトルを初期セントロイド として捕らえる。 ５．これらの初期ノードを用いてクラスタリングの試行が更に行われる。もし全 ての方法がベクトル・リスト中で分割を生成するのに失敗すると、そのノードは ターミナル・ノードとしてタグが付けられ、更に分割の試行が行われることはな い。 第５に、コードブックの第１の層を複数フレームの間で再使用する。多くのイ メージ・シーケンスにおいて、主なイメージの特徴は時間と共にゆっくり変わる （例えば、背景イメージは変わるかゆっくり動きがちである）。Ｎ個の初期ノー ドから成るコードブックのツリー６１０の最上層はこれらの特徴を捕らえる。計 算速度と高画質に関する向上した性能は、１つのフレームから次のフレームに対 してツリーの最上層を再使用することによって得られる。この再使用はＣＯＤＥ Ｃで高いレベルからオーバーライドされる。例えば、場面変更の場合、これはＣ ＯＤＥＣで検出されるのであるが、ルート・ノードが再使用されるよりもむしろ 再生された方が高画質が達成できる。 第６に、コードブックの利用可能な項目を最高に使用するため、コード化の前 にベクトルの平均値を除去するのが一般的である。これは良好な再生イメージの 画質をもたらす一方、デコーダで追加の複雑さが発生する。望ましい実施例はデ コーダの複雑さなしに平均剰余ＶＱの多くの利点を与える技術を利用する。この 技術は次のように動作する。平均値が大きなイメージ又は「ゾーン」に対して計 算され、この平均値は大きなゾーンの全てのベクトルから減算される。残りのベ クトルは通常のやり方でコード化される。デコーダでは大きなゾーンのそれぞれ に対するコードブックは再構築される。これは、大きなゾーンの平均値を残りの コードブックに加えることによって行われる。この結果は、エンコーダでの大き なゾーンの数と同じ数のコードブックの生成となる。 可変サイズ、共用化、イメージに対する複数のコードブック 固定コードブックと適合性コードブックの組み合わせも別の実施例では可能で あるが、望ましい実施例では各イメージはそのイメージの特性に適合したコード ブックに関連しており、訓練された普遍的コードブックではない。別の実施例で は、各イメージは正確に１個のコードブックまたはある固定サイズのコードブッ クを有するように限定される必要はない。別の実施例は可変サイズであり、複数 のフレーム又は一連のフレームの間で共用でき、イメージをコード化する複数の コードブックを使用することを含む。これら全ての別の実施例において、利点は 画質の損失を最小にして圧縮度を増大できることである。 可変サイズのコードブック 可変サイズのコードブックに関して、ツリー内のノードはある基準に達するま で分割され、これは指定した数のターミナル・ノードが存在する以前に起こる。 １実施例ではコードブック・ベクトルの数は前のフレームから変化するブロック の数と共に増加する。言い換えれば、無変化ブロックの数が多ければ多いほどコ ードブックは小さい。この実施例では、コードブックのサイズは明らかに絵のサ イズに関係する。望ましい実施例で用いられる確固とした基準はフレームの平均 ２乗誤差（無変化ブロックは含まない）の維持に依存する。もし２５６個でなく １２８個の２×２コードブック・ベクトルが用いられれば、正味節約はそのフレ ームで７６８バイトである。この節約は、各２×２ブロックが輝度情報に関して 画素毎に１バイトを含み、ＵとＶのクロミナンス情報（ＹＵＶ４：１：１の場合 ）に対しては２×２ブロック毎に１バイトであるので達成される。コードブック ・ベクトルの数を２５６から１２８に減らすことによって１２８・６＝７６８バ イトの合計節約を生ずる。１２８のコードブック・ベクトルがＭＳＥについて適 切な画質を与えるイメージに関して、節約された７６８バイトはサブ・サンプリ ンクされるブロックの数を低減するのに用いられ、従って見る人に対して画質を 向上させる。 共用コードブック 望ましい実施例によって与えられる別の特徴は、共用コードブックの使用であ る。１つのコードブックを１つ又は多くのフレームに共用させることは、コード ブックのオーバーヘッドを低減するために類似の内容を有するフレームを利用で きる。共用コードブックの使用は、無変化のブロックを用いて効率的にコード化 できない時間的相関関係を利用する。このような場合の例はパン（pan）された シーケンスである。もし２つのフレームが１つの２５６エレメントのコードブッ クを共用するとすれば、節約は各フレームに１２８エレメントのコードブックを 別々に使用させるのと等しい。しかし、もしフレームが完全に異なっていなけれ ば画質は向上する。明らかに、別々に１２８エレメントのコードブックを用いる 場合は、８ビットでなく７ビットのインデックスを用いることができるが、バイ トの不整合によってビット・ストリームのパック／アンパックが扱いにくくなる 。コードブックのオーバーヘッドの低減だけが共用コードブックの利点ではない 。例えば、同一のコードブックを用いてイメージ間の時間的相関を増加すること に よって、時間的フリッカを低減できる。全く新しいコードブックがビット・スト リームからアンパックされなくても良く、また各フレームに関してＲＧＢに逆変 換されなくても良いので、デコード速度の利益もある。 前のフレームから構築された共用コードブックがコード化しようとするフレー ムを良く表していることを確かめるため、共用コードブックは１つずつ新しいコ ードブックで置き換えることもできるし又は更新することもできる。第１に、フ レームは共用コードブックを用いてコード化され、frame_-mse（元のフレームと コード化されたフレームの間の平均２乗誤差）が計算される。もしframe_-mseが 前のフレームからのframe_mse又は前のフレームからの平均frame_mseよりもある パーセンテージで大きければ、共用コードブックは新しいコードブックで置き換 えられる。frame_-mseがこのテストをパスしても、もしフレーム全体に関する平 均ＭＳＥに対して、ある割合以上のＭＳＥを有するブロックの数が、ある数以上 （最悪のブロック）であれば、共用コードブックは置き換えることができる。こ の場合、エンコーダはコードブックに対する更新だけで最悪誤差のブロックを修 復するのは難しいと仮定し、コードブック全体を再生する。別のやり方では、エ ンコーダは先ずコードブック更新リストの生成を選択し、最悪誤差のブロックが いくつあるかチェックし、もしある閾値以上の悪いブロックがあれば全く新しい コードブックを生成する。 ベクトル量子化の章で述べたように望ましい実施例は、共用コードブックの生 成に用いたツリー構造を用いて共用コードブックを更新する。新しいフレームか らの各イメージ・ベクトルはツリーのターミナル・ノードの１つと関連している （コードブックのベクトルと共に）。これは、ツリーのルートで始まり、どの子 供が２乗誤差について近いか選択し、どの子供の子供が良く一致するかを選択す る等によって達成される。イメージ・ベクトルは、このようにしてツリーのルー ト・ノードからターミナル・ノードへたどって行く。網羅的サーチを行えるけれ ども、網羅的サーチでなくツリー構造を用いてイメージ・ベクトルとコードブッ ク・ベクトルとのマッチングをさせることによってコード化時間が向上する。更 にツリー構造は、共用コードブックを更新するために、新しいノードを生成する のに役立つ。 コードブックの更新処理は数ステップを要する。先ず、９０１（イメージ・ベ クトルと関連しないコードブック・ベクトル）のようなゼロ・セルが見つけられ 、ツリー９００から除去される。このブランチは図９ａに示す。ゼロ・セルに関 連するターミナル・ノード番号（コードブック・インデックス）が記録され、コ ードブックの更新は、ゼロ・セルであったコードブックの項目を置き換える。ツ リー・ポインタは９０２が子供９１２及び９１３を指すように変えられる。これ は図９ａに変形されたツリーとして示されている。ツリーは次に、改良ベクトル 量子化装置３３０に関して上で述べたように、ある基準で選択されたノード（図 ９ｂ）（最悪の全体歪を有するｎ個のノード）を分割する。これは図９ｂに９２ ０のツリーを９３０のツリーに変形して示されている。ゼロ・セルのために捨て られ（９０１）、又は分割によって親になったターミナル・ノードは、新しい更 新されたベクトルで上書きされるようにタグが付けられる。最後に、ノード分割 からの新しい子供は、上書きのためタグを付けたこれらのコードブックを上書き する。実際の上書きはデコーダで発生し、上書き情報はビット・ストリームを通 して与えられる（以下を参照）。もしゼロ・セルがなければ、各ノード分割は２ コードブック・ベクトル・スロットを要し、そのうちの１つは分割前のそのノー ドの親のものである。残りの子供は捨てたコードブック・ベクトルに対する単な る置き換えでなく追加のコードブック・ベクトルとして伝送される。 コードブックの共用によって、１つのフレーム又はフレームのセットから全体 的に生成されたコードブックは、最大のコードブック・サイズ（例えば２５６） より小さいサイズ（例えば５０％）にセットされ、追加のコードブック・ベクト ルを共用コードブックを用いて追加できる。 別の分割及び置き換え方法は、前にターミナル・ノードであった親を置き換え る必要がない。その代わり、２つの子供のうち１つが親と等しいと制約すること によって、その親は置き換えられなくて良い。他の子供はゼロ・セルを置き換え るか又は追加のコードブック・ベクトルとして送られる。 複数コードブック 別の実施例では、別々のコードブックを各ブロック・タイプに対して生成する ことによって、又はそのイメージの異なった領域に対して別々のコードブックを 生成することによって、複数のコードブックを１つのイメージと関連づけること ができる。前者は、圧縮の損失を最小（コードブックが共用の場合損失なし）に して画質を向上するのに効果的であり、後者は画質の損失を最小にして圧縮比を 増大させるのに非常に効果的である。 別々のコードブックを用いてサブ・サンプリングされ及びサブ・サンプリング されていないイメージ・ベクトルをコード化することによって、従来技術のテク ニックに比べていくつかの利点が得られる。独立したツリーが２つの異なったタ イプのブロックの特性に対して特別に調整される。そのブロックはサブ・サンプ リングされた領域には「スムーズ」となり、サブ・サンプリングされないブロッ クに対しては「ディテイル」となる。ブロック・タイプは空間的サブ・サンプリ ングの章で説明した誤差計算によって分けられる。「スムーズ」と「ディテイル 」の領域の分離は、所望の圧縮がサブ・サンプリングを必要としないときに発生 する。これは、「スムーズ」及び「ディテイル」のブロックが別々にコード化さ れているとき、別々のコードブックは非常によく動作するためである。各インデ ックスはブロック・タイプを通してコードブックと関連づけられており、コード ブック・ベクトルの数はインデックス毎のビットを変えずに、又はＶＱのクラス タリング時間を増加せずに２倍にすることができることに留意されたい。これは 、画質の顕著な向上をもたらす。更に、サブ・サンプリングされたブロックのコ ードブックと２×２Ｃブロックのコードブックは同じタイプの前のフレームのコ ードブックと共用できる。この場合、「スムーズ」領域と「ディテイル」領域を 別々に維持し、数フレームに亘って各コードブックで一貫性があることが重要で ある。スムーズ及びディテイル領域への分離は、イメージのカテゴリに対して別 々のツリーを定義するという一般的アイデアの特別の場合であることに留意され たい。カテゴリは、類似属性を有するイメージ内の領域を識別する分類子によっ て決められる。上で述べた簡単な場合には、２つのカテゴリ、スムーズ及びデイ テイルが用いられている。その他のカテゴリとしては端領域、テクスチャ及び平 均値や偏差値など類似の統計を有する領域がある。 簡単に述べたように、複数のツリーがイメージ内の異なった領域と関連づけら れる。これはコード化時間の短縮や圧縮比の増大に効果的である。例えば、粗い グリッド（等しいサイズの８個の矩形）は８個の１６エレメント・ツリーでコー ド化される。最悪誤差の矩形領域は、次に再び分割され、各矩形領域の各半分が １６エレメント・ツリーを用いる。これは１６個の矩形、従って合計２５６のコ ードブック・ベクトルになるまで続けられる。各インデックスは８ビットでなく ４ビットを用いてコード化され、追加の２：１圧縮を与える。もしイメージが１ ６個の固定した初期領域に分割され、それ以上領域の分割がなければ、コード化 計算時間は大幅に短縮される。このテクニックは特に低画質、高圧縮、高速コー ド化モードに適応する。イメージの小片に対して、多くの小さなコードブックを 用いることとイメージ全体に対して１つの２５６項目のコードブックを用いるこ ととの間の妥協は、画質がそれ以上悪くならなければ画質を維持し、もっと多く の圧縮を得るのに効果的である。このような妥協では、非常に均一でわずかなコ ードブック・ベクトルしか必要としないイメージの部分にのみ小さなコードブッ クが用いられ、正規の２５６項目のコードブックは残りのイメージに用いられる 。もし小さなコードブックに関連するイメージの部分が矩形であると考えられれ ば、小さなコードブックにスイッチするとき、デコーダに知らせるのに殆どオー バーヘッドを要せず、小さなインデックス（１６項目のコードブックには４ビッ ト又は６４項目のコードブックには６ビット）となる。各コードブックに関連す る領域が矩形であると考えられなければ、類似の画素を１つの領域にグループ化 する当業者に知られた区画化テクニックで画質を向上できる。 レート制御 レート制御３４５は圧縮された素材が限定された帯域幅チャネルでデコードさ れると考えられるとき、改良ビデオ圧縮システムの重要なエレメントである。同 期体系又はネットワーク又は電話線においてＮフレーム／秒を維持するため、デ コーダ３５１は１／Ｎ秒間に限定された帯域幅チャネルから１フレームのデータ を読み、情報をデコードし、イメージをスクリーン上に表示しなければならない 。レート制御３４５は最大フレーム・サイズを、ある数（アプリケーションによ って異なる）以下に維持し、限定された帯域幅チャネルからデータを読むのに要 する時間を短縮しようとする。これは２つのステップで行われる。すなわち、（ １）データ・レートの観点から望ましいデータ・レートは何かを決定する。（２ ）画 質の要件（ユーザによって定義されるか又はその他の方法で定義される）と共に この望ましいフレーム・サイズを用いてコード化処理のパラメータを制御する。 レート制御体系は、望ましいフレーム・サイズが何であるかを過去のパフォー マンスと望ましいデータ・レートに基づいて決定する。target_-frame_-length（ 目標フレーム長）は次のように計算される。 現在のフレームＮに対するdesired_-frame_-length（望ましいフレーム長）は、目 標フレーム長から誤差項frame_-errorを引いたものに等しく、あるフレーム数、 例えばビデオ・データの１秒分の、平均である。 desired_-frame_-length⁼target_-frame_-ength⁺frame_-error 許容されるオーバーシュート又はアンダーシュートであるframe_-errorはＩＩＲ （無限インパルス応答）フィルタとして帰納的に平均されることに留意されたい 。これはまた、ＦＩＲ（有限インパルス応答）フィルタとして別の実施例で実施 できる。αの値は、どれ位速く現在のフレーム誤差（target_-frame_-length_-avg_- frame_-length）が長期フレーム誤差に応答させるかに影響する。現在の誤差はta rgct_-frame_-lengthといくつかのフレーム（例えば１秒分）の平均フレーム長（a vgframe length）として定義される。このレート制御体系は、望ましいデータ・ レートを超えない過去１秒の平均データ・レートを維持する。フレーム・サイズ のばらつきはフレーム単位で起こるが、これらのばらつきは平均効果で低下する 。これらの関係は次のように決まる。 desired_-frame_-lengthがＮに対して決まった後、それはコード化パラメータ （ncthreshfactor及びedge_-mse）に影響を与えるために用いられ、時間的フィル タリング及び空間的サブ・サンプリングが用いられる実施例において、そのパラ メータはどれ位時間的処理と空間的サブ・サンプリングを適用するかを制御する 。これらのコード化パラメータはユーザによって決められる空間的、時間的画質 の好みによってセットされるが、それらは、システムがどの程度データ・レート の要求を維持しているかに従って画質設定に関する変動が許される。短時間にこ れらのパラメータを大きく変動させることを許すよりも、それらは次のように計 算される長期誤差を追跡する。 （long_-term_-error）_n=（1-β）（long_-term_-error）_n-1+ β（target_-frame_-length）-（avg_-frame_-length）_n 従って、long_-term_-error（長期誤差）に対する計算とフレーム誤差に対する計 算の差異はαとβの差である。効果的であると決められた値は、α＝０．２０で β＝０．０２で、これらは望ましい実施例で用いられる。当業者は他のα、βの 加重値が使えることが分かるであろう。 もしlong_-term_-errorが空間的サブ・サンプリング及び無変化ブロックに対す るコード化パラメータ値を制御するのに用いられなければ、望ましいフレーム長 が、どの程度データ・レータが維持されているかを追跡するのに用いられる。こ の場合無変化及びサブ・サンプリングの閾値はユーザの画質設定によってのみ決 まることを前提としている。しかし、これはサブ・サンプリングと無変化のブロ ックがフレーム・サイズをdesired_-frame_-size（望ましいフレーム長）に短縮す ることを保証するものではない。この場合long_-term_-errorの値は、サブ・サン プリング及び無変化ブロックのパラメータ（ncthreshfactor及びedge_-mse）を変 えることによって画質を低下させるのに用いられ、従ってデータ・レートを下げ る。 コードブック・インデックスの伝送 イメージが改良された処理３３０によって、ベクトル量子化を通してコードブッ クに対するインデックスと関連づけられた後、ビット・ストリームは従来技術よ り効果的にパックされ、将来の変化と両立する柔軟性を可能にし、余分なコード 化オーバーヘッドを生成することなしに、イメージをデコードするのに必要な情 報を通信する。インデックスは、それぞれコードブックに対するインデックス 又はコードブックのベース・インデックスからのオフセットとして伝送される。 前者の場合、２５６項目のコードブックのどのベクトルが最も良くマッチするか を示すのに、イメージ・ベクトル当たり８ビットを必要とする。後者の場合、イ ンデックス間の差は一般に２５６よりも大幅に小さいので、インデックス間に多 くの相関があればより少ないビットでよい。イメージのある部分は互いに大きく 離れたインデックスを有し、他の部分は強く相関するインデックスを有するので 、通常２つの組み合わせが必要である。 図１０を参照して示すように、ビット・ストリーム・シンタックスはシーケン ス・ヘッダ１００１）チャンク・ヘッダ１０１１、フレーム・ヘッダ１０２１及 びコードブック・ヘッダ１０１２、１０１４を含む。コードブック・インデック スがこれらに続く。コードブック・インデックスは続くインデックスがどのブロ ック・タイプを参照するかを示すブロック・タイプ・ヘッダによって表される。 ２×２変化（２×２Ｃ）、２×２無変化（２×２ＮＣ）、４×４無変化（４×４ ＮＣ）、４×４変化（４×４Ｃ）、サブ・サンプリングされた（４×４ＳＳ）、 混合ブロックの異なった組み合わせ及び行画素ブロックは有用なブロック・タイ プの例である。デコーダ３５１は、各イメージ・ブロックに対してどのコードブ ック・ヘッダを用いるか及びアップ・サンプリングを行うかどうかを知って、イ メージを再構築することができる。ビット・ストリーム・シンタックスについて 以下に論ずる。 シーケンス・ヘッダ１００１はシーケンス全体に対する情報を伝達する。これ らにはフレームの合計数、シーケンスがコードされたコーダのバージョン及びイ メージ・サイズが含まれる。シーケンスは例えば動画全体を含む。単一のシーケ ンス・ヘッダ１００１は一連のイメージに先行し、シーケンスについての情報を 指定する。シーケンス・ヘッダ１００１は殆どどんな長さでも良く、その長さを １つのフィールドに持つ。シーケンス・ヘッダに現在定義されているいくつかの フィールドを図１１に示す。シーケンス・ヘッダ１００１はシーケンス・ヘッダ ＩＤ１１０１を含み、それによってデコーダがシーケンス・ヘッダであることを 識別することができる。これはユーザに対してランダム・アクセスの再生を可能 にするアプリケーションには有用である。更にシーケンス・ヘッダ１００１は、 シーケンス・ヘッダ１００１の長さを指定する長さフィールド１１０２を含む。 次のフィールドはシーケンス内のフレーム数を指定するフレーム数フィールド１ １０３である。これは整数値で符号なしの長語として格納され、シーケンスの長 さが２３２個のフレームまで可能にしている。シーケンス・ヘッダの次のフィー ルド１１０４は、現在予備として確保されており、次の２つのフィールド、１１ ０５及び１１０６はシーケンス内のイメージの幅と高さを指定する。シーケンス ・ヘッダ１００１の最後のフィールドはバージョン・フィールドで、使用される エンコード／デコード装置の現在のバージョンを指定する整数フィールドである 。これは特定の特性を持っていたり、持っていなかったりする新しいシーケンス と古いシーケンスを区別するためのものである。これはシーケンスとエンコード ／デコード体系の上位及び下位の互換性を可能にする。シーケンス・ヘッダはま た、イメージのシーケンスを指定するＡＳＣＩＩ又は文字列を含む（図示せず） 。 図１０に戻って、チャンク・ヘッダ１０１１は、共用コードブックが用いられ ているかどうかの、フレームの次のチャンク（chunk）についての情報を伝達す るチャンク・タイプを持つ。チャンク・ヘッダはフレームのチャンクに対してい くつのコードブックが用いられているかを指定することができる。チャンク・ヘ ッダ１０１１はフレームの「チャンク」に先行する。望ましい実施例において、 チャンクは１つ又は多くのフレームで場面変化検出アルゴリズムのような装置に よって他の「チャンク」から区別できるものである。別の実施例ではフレームの グループは、レート制御メカニズムのような別の技術を用いて関連づけられる。 ２つのコードブック・ヘッダが図１０のシーケンス例１０００に示されており 、これによって１フレーム当たり２つのコードブックの使用が可能となる。２つ のコードブックを使用する例は、固定コードブック（フレームの「チャンク」に 対して静的）と順応性コードブック（フレーム毎に変わる）の使用である。コー ドブックのタイプとサイズは図１３ａに示すようにコードブック・ヘッダ１０１ ２と１０１４に含まれる。図１０の１０１２又は１０１４のような各コードブッ ク・ヘッダは、コードブック・タイプ・フィールド１３０１を有し、コードブッ ク・タイプ、例えば固定か順応か、を指定する。コードブック・タイプはＹＵＶ （サブ・サンプリングされたＵＶ又はサブ・サンプリングされないＵＶ）、ＲＧ Ｂ及びＹＵＶ更新コードブックを含む。その他のタイプは、本発明の精神と範囲 の中で考慮されている。コードブックの「更新」については、コードブックに対 する更新はコードブック・ヘッダに続いて送られる。コードブックのサイズはフ ィールド１３０２にバイト数で指定され、デコーダは、いつ次のフィールドが始 まるかを検出できる。もしコードブック・タイプが「更新」コードブック（すな わち共用コードブック）なら、図１３ｂに示す情報１０１３（又は１０１５）が コードブック・ヘッダ１０１２（又は１０１４）に続いて期待できる。この更新 コードブックは、更新が必要なコードブック項目を識別するビットマップ１３７ ０を有する。このフィールドの後に、更新される各ベクトルに対するベクトル更 新１３７１−１３７３が続く。このようにコードブック全体が再生成されるので はなく、選択された部分だけが更新され、更にデータ・レートの低減が行われる 。もしサブ・サンプリングされたＵ及びＶと共にＹＵＶが用いられると、更新ベ クトル１３７１−１３７３のそれぞれは６バイトから成り、４バイトはブロック 内の各画素の輝度のためであり、１バイトずつがそれぞれＵとＶのためである。 コードブックの更新について図９ａ及び９ｂを参照して説明した。 更にコードブックのオーバーヘッドを低減するために、１０１３及び１０１５ のようなコードブックはＹＵＶ（輝度とクロミナンス）フォーマットに変形され 、ＵとＶは水平及び垂直方向（ＹＵＶ４：１：１）に、ファクタ２でサブ・サン プリングされる。従って、コードブックはサブ・サンプリングされた情報を伝送 することによりサイズが更に小さくなり、コードブックのサイズを２のファクタ で低減する。 図１２を参照して示すように、フレーム・ヘッダ１０２１はイメージ・サイズ を幅フィールド１２０１と高さフィールド１２０２とに有し、フレーム・サイズ の変動をいつでも可能にする。フレーム・ヘッダ１０２１はフレーム・タイプ・ フィールド１２０３を有し、そのビット・パターンは、スキップ・フレームに対 するヌル（null）フレームであるか、全体がサブ・サンプリングされたフレーム であるか、キー ・フレームであるか、又はフレームが他のフレームとコードブ ックを共用しているかを示す。他のタイプのフレームは、本発明の精神の中で考 慮されている。サブ・サンプリングされたゾーン・フィールド１２０４は３２ビ ッ トのビット・マップ・パターンであり、どのゾーンが（もしあれば）サブ・サン プリングされたかを示し、望ましい実施例では最大２³²ゾーンまで可能にしてい る。 図１４の部分１０２２に示すブロック・ヘッダは、デコーダ３５１に対してど のタイプのブロックがインデックスのセットと関連しているか及びいくつのイン デックスがそのセットにあるかを知らせる。これは図１４を参照して示される。 ヘッダ１４０１の最初の３ビットは、続くインデックスのセットが２×２Ｃブロ ック（変化ブロック）であるか、４×４ＮＣブロック（無変化ブロック）である か、４×４ＳＳブロック（サブ・サンプリングされたブロック）であるか、混合 ブロックであるか又は行画素値であるかを示す。もし最初の３ビットが、ブロッ ク・タイプは混合でないことを指定すると、ヘッダ１４０１の最後の５ビットは いくつのインデックス１４０２がブロック・ヘッダ１４０１に続くかを示す整数 である。これは「ランレングス（runlength）」ブロック・ヘッダと呼ばれる。 ブロック・ヘッダは２×２Ｃと２×２ＮＣブロックの混合のような混合ブロック を指定する。この場合、長さのために確保されたヘッダの５ビットは、２×２Ｃ と２×２ＮＣブロックの混合のうち、いくつの４×４がコード化されたかを指定 する。別のやり方では、５ビットのうち１ビットは、もっと多くの混合の可能性 を許すために用いられる。ビット・マップが続き、一番近いバイトにパッドされ る。２×２Ｃ−２×２ＮＣ混合の例において、ビット・マップは「１」でブロッ ク・タイプが２×２Ｃであることを、「０」でブロック・タイプが２×２ＮＣで あることを示す。ブロックは４×４の単位でも混合できる。もしビット・マップ ・ヘッダがビット数をランレングス・ヘッダよりも少なくすれば、計算が簡単に なる。「１００１０１１０１０１」のような一連の交互のブロック・タイプは、 ビット・マップ・ブロック・ヘッダでうまくコード化され、１つのヘッダ・タイ プが長く続くようなもの（例えば１１１１１１１１１０００００００００）はラ ンレングス・ヘッダ・タイプでうまくコード化される。ブロックをより効率的に コード化するブロック・ヘッダが選択される。ビット・マップ・ヘッダは、頻繁 に発生する短く続くブロックの効率的コーディンタを可能にする。 「変化」ブロックの流れの中間において、「無変化」ブロックとタグを付けら れたブロックの前後におかれるブロック・タイプ・ヘッダ１４０１の２バイトの オーバーヘッドのために、もし１行に少なくとも４個の２×２無変化ブロックが あれば、望ましい実施例のランレングス・ブロック・ヘッダは、ヘッダを有する インデックスの構造を乱すだけである。１４１０のようなヘッダを有するビット ・ストリームにおいて区別するために、望ましい実施例のランレングス・ヘッダ は４個の２×２ＮＣ（無変化）ブロックが一緒に発生し、１つの４×４ＮＣ（無 変化）を作ることを要する。同じ位置の、前のフレームのブロックが代わりに用 いられるので、次に続くＮ個のブロックが４×４ＮＣ（無変化）タイプであるこ とを示す１４１０のようなブロック・ヘッダは、インデックスについてバイトを 浪費する必要ない。デコーダ３５１は新しいイメージに対して、いくつのブロッ クをスキップするかを知る必要があるだけである。実際の画素値又は特異な２× ２ブロックが用いられるので、１４０２のような２×２Ｃブロックのインデック スは、４個のセットで発生する必要がない。もしある実施例で、実際の画素値又 は特異な２×２Ｃ及び２×２ＮＣブロックがサポートされていなければ、２×２ Ｃブロックが４個のセットで発生することを仮定することは、１４０１のような ２×２Ｃブロック・ヘッダと関連するブロック数を増加し、従ってブロック・ヘ ッダによる効果的オーバーヘッドを減少させる。例えば、もし２×２Ｃブロック がサポートされなければ、１つのブロックは８個の２×２Ｃ（変化）ブロックを 識別し、それを８グループの４−２×２Ｃブロックの意味として解釈する。（２ −２×２Ｃブロックが２セットの４−２×２Ｃブロックとして解釈される図１５ 、１６の例を参照）。 更に、２×２Ｃブロックを参照する図１４のインデックス１４０２は、４×４ ＳＳブロックを参照するインデックス１４２１と同じコードブックからである必 要はない。このビット・ストリームの柔軟性は、２５６以上のコードブックを有 し、バイト整合されないインデックス・サイズ（５１２のコードブック・べクト ルに対する扱いにくい９ビットのような）にジャンプすることなしに、非常に少 ない圧縮の低下で高い画質のサポートを可能にする。 インデックス・パッキング もしイメージ・ブロックがコードブック内で近接しており、類似のＲＧＢカラ ー空間にあれば、ビット・ストリームに単にリストするのでなく、インデックス をコード化するとき、ベース・アドレスを用いるのが有利である。コードブック ・べクトルは「最悪」誤差のノードを分割して生成されるので、類似のイメージ ・べクトルがコードブック内に近く集まる傾向がある。似たイメージ・ブロック がイメージ空間で発生する傾向があるので（すなわちブロック間で空間的相関が ある）、互いに近いインデックス値が一緒に発生する傾向がある。コードブック ・インデックスの割り当てもまた、空間でのインデックスの差が最小となる方法 で行うことができる。どのようにこれを用いてロスなしにビット数を減らすかの 例が図１５及び１６に示され、説明されている。このパッキング処理は、図３の エンコーダ３０１の３４０で行われ、アンパックはデコーダ３５１の処理３７０ で行われる。 図１５で、もしコードブックが２５６の項目を持っていれば、ビット・ストリ ーム１５００のコードブック・インデックスは、それぞれ８ビットを必要とする 。言い換えれば、各インデックスはコードブックのエレメントに対して完全な参 照を有する。上で論じたように、空間的相関のため、これらのインデックス値は べース・アドレスからのオフセットを用いることによって、もっと低減できる。 これは図１６に示されている。図１６において、コードブック・インデックスの それぞれは、もしインデックスが伝送されたベース・アドレスから、−８から＋ ７であるオフセットとして表されれば、わずか４ビットを要する。これはビット ・ストリーム１６００の１６０１に示される。ベース・アドレス１６０１は開始 点として用いられ、１６０４のような現在のブロックのオフセット値は、現在ブ ロック１６０３に先行するインデックスにおける変化を参照することができる。 ベース・アドレス・ヘッダ１６０１はベース・アドレスを定義して送られること を要し、差のコードが用いられる。大きく、可変であるコードブック・インデッ クス（コードブックの一端から他端）のセットを有する領域は、図１５に示す完 全なインデックスの伝送を用いて効率的にコード化され、ブロック・レベルで類 似の領域は、図１６に示す１６００のようなビット・ストリームを用いてより効 率的にコード化される。図１６に示すように、ベース・アドレスからのオフセッ トを用いることは、元のインデックス値がベース・アドレスにオフセット値を加 え ることによって計算できるので、図１５に示すテクニックと同様無損失である。 ビデオ・データを圧縮、圧縮解除する発明について記載した。この明細書にお いて、本発明は図１から図１６の特定の実施例を参照して説明された。しかし、 添付請求の範囲に述べたように、本発明の広い精神と範囲から離れることなく様 々な修正や変更がなされ得ることは明らかであろう。従って、明細書及び図面は 、例示と考えるべきであり、限定と考えるべきでない。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ Ｈ０４Ｎ 11/04 Ｚ 9185−5Ｃ (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＧＢ，Ｈ Ｕ，ＪＰ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＵ，ＭＧ，ＭＮ ，ＭＷ，ＮＬ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ， ＳＤ，ＳＥ，ＳＫ，ＵＡ，ＵＳ，ＶＮ (72)発明者 ワング，キャサリン・シューウェイ アメリカ合衆国 95129 カリフォルニア 州・サン ホゼ・ウィルミントン アヴェ ニュ・1072

Claims (1)

1. 【特許請求の範囲】 １． ａ． ベクトル量子化ツリーのＮ個の初期ノードを初期化するステップと 、 ｂ． イメージからベクトルをサンプリングするステップと、 ｃ． 上記イメージからサンプリングされた最良の代表サンプルである上記ベク トル量子化ツリーのノードを決定するステップと、 ｄ． 上記ベクトルを上記ベクトル量子化ツリーの上記ノードに関連づけるステ ップと、 ｅ． 上記イメージから次のベクトルをサンプリングするステップと、 ｆ． 上記イメージからサンプリングするベクトルがなくなるまでｃ−ｆをくり 返し、上記次のベクトルが上記ベクトルになるステップと、 ｇ． 上記ツリーのどのノードが上記ツリー内で最も歪んでいるかを決定するス テップと、 ｈ． 上記最も歪んだノードを２つの子供ノードに分割するステップと、 ｉ． 上記最も歪んだノードと関連するベクトルの第１の部分を上記子供ノード の第１と関連づけ、上記最も歪んだノードと関連するベクトルの第２の部分を上 記子供ノードの第２と関連づけるステップと、 ｊ． 上記ベクトルの第１及び第２の部分と比較した２つの子供ノードの現在の 誤差を決定するステップと、 ｋ． 現在の誤差と前の誤差の間の誤差の変化が誤差の閾値より小さいとき、ス テップ１に進み、その他の場合は上記第１及び第２の子供の新しい値を決定し、 ステップｉに進み、現在の誤差が前の誤差になるステップと、 ｌ． 上記ベクトル量子化ツリー内のターミナル・ノードの数が所望の個体数に 達するまでステップｇ−１をくり返すステップと、 ｍ． インデックスを上記ベクトル量子化ツリーのターミナル・ノードのそれぞ れに関連づけるステップと、 から成るイメージのベクトル量子化方法。 ２． 上記入力イメージの上記サンプリングされたベクトルのそれぞれと関連す る上記ベクトル量子化ツリーのターミナル・ノードのインデックスを表す上記ベ クトル量子化ツリーからの一連のインデックスを伝送するステップを更に含む請 求項１に記載のイメージのベクトル量子化方法。 ３． 最も歪んだノードを決定するステップが、そのノードと関連した上記入力 イメージからサンプリングされたベクトルのそれぞれと比較されたノードの平均 歪が、閾値を超えたかどうか判定するステップを含む請求項１に記載のイメージ のベクトル量子化方法。 ４． 最も歪んだノードを決定するステップが、そのノードと関連した上記入力 イメージからサンプリングされたベクトルのそれぞれと比較されたノードの合計 歪が、閾値を超えたかどうか判定するステップを含む請求項１に記載のイメージ のベクトル量子化方法。 ５． 最も歪んだノードを決定するステップが、上記ノードと関連した入力イメ ージからのサンプリングされた個体数が閾値を超えたかどうか判定するステップ を含む請求項１に記載のイメージのベクトル量子化方法。 ６． 最も歪んだノードを決定するステップが、そのノードと関連した上記入力 イメージからサンプリングされたベクトルのそれぞれと比較されたノードのパー センテージ歪が、閾値を超えたかどうか判定するステップを含む請求項１に記載 のイメージのベクトル量子化方法。 ７． 最も歪んだノードを決定するステップが、そのノードと関連した上記入力 イメージからサンプリングされたベクトルのそれぞれと比較されたノードの最大 歪が、閾値を超えたかどうか判定するステップを含む請求項１に記載のイメージ のベクトル量子化方法。 ８． 最も歪んだノードを決定するステップが、そのノードと関連した上記入力 イメージからサンプリングされたベクトルのそれぞれと比較されたノードの最大 歪の最小歪に対する比が、閾値を超えたかどうか判定するステップを含む請求項 １に記載のイメージのベクトル量子化方法。 ９． 上記イメージからサンプリングされたベクトルの最良の代表サンプルであ るノード決定するステップがサンプリングされたベクトルとそのノードの間の平 均２乗誤差を決定することを含む請求項１に記載のイメージのベクトル量子化方 法。 １０． 平均２乗誤差を決定するステップが、上記ベクトル量子化の初期の部分 では大きな誤差ほど重く加重され、上記ベクトル量子化の後の部分では大きな誤 差ほど軽く加重される請求項９に記載のイメージのベクトル量子化方法。 １１． Ｎ個の初期ノードを作成するステップが前のイメージについて行われた 前のベクトル量子化からのＮ個の初期ノードを用いることを含む請求項１に記載 のイメージのベクトル量子化方法。 １２． 上記最も歪んだノードを分割する前に、上記入力イメージからのベクト ル・サンプルに対して疑似ランダムに生成された値を加えるステップを更に含む 請求項１に記載のイメージのベクトル量子化方法。 １３． 上記イメージからサンプリングされたベクトルの最良の代表サンプルで あるノードを決定するステップが、そのイメージからサンプリングされたベクト ルに最も近い輝度とクロミナンス（ＹＵＶ）値を有するノードを決定することを 含む請求項１に記載のイメージのベクトル量子化方法。 １４． 上記イメージの異なったゾーンに対して別々のベクトル量子化ツリーを 生成するステップを更に含む請求項１に記載のイメージのベクトル量子化方法。 １５． 可変サイズを有する上記イメージの異なったゾーンを決定するステップ を更に含む請求項１４に記載のイメージのベクトル量子化方法。 １６． 一連のイメージに対して適用され、上記一連のイメージ内で場面変化が 検出されたとき、新しいベクトル量子化ツリーの作成が行われる請求項１に記載 のイメージのベクトル量子化方法。 １７． ａ． ベクトル量子化ツリーのＮ個の初期ノードを初期化する手段と、 ｂ． イメージからベクトルをサンプリングする手段と、 ｃ． 上記イメージからサンプリングされた最良の代表サンプルである上記ベク トル量子化・ツリーのノードを決定する手段と、 ｄ． 上記ベクトルを上記ベクトル量子化ツリーの上記ノードに関連づける手段 と、 ｅ． 上記イメージから次のベクトルをサンプリングする手段と、 ｆ． 構成要素ｃ−ｅを上記イメージからサンプリングされるべきベクトルがな くなるまで活性化し、上記次のベクトルが上記ベクトルとなる手段と、 ｇ． 上記ツリーのどのノードが上記ツリー内で最も歪んでいるかを決定する手 段と、 ｈ． 上記最も歪んだノードを２つの子供ノードに分割する手段と、 ｉ． 上記最も歪んだノードと関連するベクトルの第１の部分を上記子供ノード の第１と関連づけ、上記最も歪んだノードと関連するベクトルの第２の部分を上 記子供ノードの第２と関連づける手段と、 ｊ． 上記ベクトルの第１及び第２の部分と関連した２つの子供ノードの現在の 誤差を決定する手段と、 ｋ． 上記第１及び上記第２の子供ノードの新しい値を決定し、継続的に構成要 素ｉ−ｊを活性化し、もし現在の誤差と前の誤差の間の誤差の変化が誤差の閾値 より大きければ現在の誤差が上記前の誤差となる手段と、 ｌ． 上記ベクトル量子化ツリーのターミナル・ノードの数が所望の個体数に達 するまで継続的に構成要素ｇ−１を活性化する手段と、 ｍ． インデックスを上記ベクトル量子化ツリーのターミナル・ノードのそれぞ れに関連づける手段と、 を備えたイメージのベクトル量子化装置。 １８． ａ． ベクトル量子化ツリーのＮ個の初期ノードを初期化する手段と、 ｂ． イメージからベクトルをサンプリングする手段と、 ｃ． 上記イメージからサンプリングされた最良の代表サンプルである上記ベク トル量子化ツリーのノードを決定する手段と、 ｄ． 上記ベクトルを上記ベクトル量子化ツリーの上記ノードに関連づける手段 と、 ｅ． 上記ツリーのターミナル・ノードの数が所望の個体数に達するまでくり返 し、上記ツリ一内の最悪のノードを決定することによってベクトル量子化ツリー 内に新しいノードを作成し、上記ノードを分割し、上記ベクトルを上記ベクトル 量子化ツリーの上記ノードと再度関連づける手段と、 を備えたイメージのベクトル量子化装置。 １９． ａ． ベクトル量子化ツリーのＮ個の初期ノードを初期化する手段と、 ｂ． イメージからベクトルをサンプリングする手段と、 ｃ． 上記イメージからサンプリングされた最良の代表サンプルである上記ベク トル量子化ツリーのノードを決定する手段と、 ｄ． 上記ベクトルを上記ベクトル量子化ツリーの上記ノードに関連づける手段 と、 ｅ． 上記ツリーが上記ベクトルと比較して所望の歪に達するまでくり返し、上 記ツリー内の最悪のノードを決定することによってベクトル量子化ツリー内に新 しいノードを作成し、上記ノードを分割し、上記ベクトルを上記ベクトル量子化 ツリーの上記ノードと再度関連づける手段と、 を備えたイメージのベクトル量子化装置。 ２０． ａ． ベクトル量子化ツリーのＮ個の初期ノードを初期化する手段と、 ｂ． イメージからベクトルをサンプリングする手段と、 ｃ． 上記イメージからサンプリングされた最良の代表サンプルである上記ベク トル量子化ツリーのノードを決定する手段と、 ｄ． 上記ベクトルを上記ベクトル量子化ツリーの上記ノードに関連づける手段 と、 ｅ． 上記ツリーのターミナル・ノードの数が所望の個体数に達するまでくり返 し、上記ツリー内の最悪のノードを決定することによってベクトル量子化ツリー 内に新しいノードを作成し、上記ノードを２つ以上の子供ノードに分割し、上記 ベクトルを上記ベクトル量子化ツリー内の上記子供ノードと再度関連づける手段 と、 を備えたイメージのベクトル量子化装置。 ２１． ａ． イメージの異なった領域が閾値に基づいてコード化されるべきか どうかを決定し、上記閾値は、上記領域内のブロックがコード化時に類似のタイ プであるかどうかを含む手段と、 ｂ． 上記イメージの上記別々の領域を別々にコード化する手段と、 ｃ． 上記イメージの上記別々の領域が別々にコード化されたことを示し、上記 別々の領域のそれぞれに対する別々のコードブックを参照する手段を含み、更に 上記別々の領域の位置を示す手段と、 を備えたイメージをコード化する装置。 ２２． 上記類似のタイプは、上記領域のブロックが上記イメージの変化ブロッ クを含むかどうかを含む請求項２１に記載のイメージをコード化する装置。 ２３． 上記類似のタイプは、上記領域のブロックが上記イメージの無変化ブロ ックを含むかどうかを含む請求項２１に記載のイメージをコード化する装置。 ２４． 上記イメージの上記無変化ブロックは上記イメージ内に空間的無変化ブ ロックを含む請求項２３に記載のイメージをコード化する装置。 ２５． 上記イメージの上記無変化ブロックは、上記イメージと比較された前の イメージからの時間的無変化ブロックを含む請求項２３に記載のイメージをコー ド化する装置。 ２６． 上記類似のタイプは、上記別々の領域の１つが見かけ上空間的にスムー ズであり、上記別々の領域の第２が見かけ上空間的にディテイルであるかどうか を含む請求項２１に記載のイメージをコード化する装置。 ２７． 上記コード化の手段がベクトル量子化手段を含む請求項２６に記載のイ メージをコード化する装置。 ２８． 上記別々の領域が、複数のイメージにおいて別々にコード化され、上記 領域に対する別々のコードブックが上記複数のイメージで共用される請求項２１ に記載のイメージをコード化する装置。 ２９． ａ． イメージの異なった領域が、閾値に基づいてコード化されるべき かどうかを決定し、上記閾値は、上記領域内のブロックがコード化時に類似のタ イプであるかどうかを含む手段と、 ｂ． 上記イメージの上記別々の領域を別々にコード化する手段と、 ｃ． 上記イメージの上記別々の領域が別々にコード化されたことを示し、上記 別々の領域のそれぞれに対するコードブックを参照する手段を含み、更に上記別 々の領域の位置を示す手段と、 を備えたイメージをコード化する装置。 ３０． 上記コードブックは上記複数の別々の領域に対して共用される請求項２ ９に記載のイメージをコード化する装置。 ３１． 上記別々の領域のいくらかは、上記別々の領域のいくらかをコード化す る誤差が上記閾値を超えるとき下位領域に更に分割され、上記下位領域のそれぞ れの別々のコード化となる請求項２９に記載のイメージをコード化する装置。 ３２． 上記誤差が平均２乗誤差を含む請求項３１に記載のイメージをコード化 する装置。 ３３． もし上記別々の領域をコード化する誤差が閾値を超えれば、上記別々の 領域は帰納的に他の別々の領域に分割される請求項２９に記載のイメージをコー ド化する装置。 ３４． 上記別々の領域のそれぞれに対するコードブックはサイズが異なる請求 項２９に記載のイメージをコード化する装置。 ３５． ａ． 前のイメージからの前のコードブックを用いて現在のイメージを 第１のコード化されたイメージとしてコード化する手段と、 ｂ． 上記前のコードブックを用いる第１のコード化されたイメージが上記現在 のイメージの良好な近似であるかどうか判定する手段と、 ｃ． 上記前のコードブックを更新して上記現在のイメージに対する現在のコー ドブックを作成し、上記決定する手段に応答して上記第１のコード化されたイメ ージが上記現在の良好な近似でないことを判定する手段と、 ｄ． 上記現在のイメージを上記現在のコードブックを用いて第２のコード化さ れたイメージとしてコード化し、上記決定する手段に応答して上記第１のコード 化されたイメージが上記現在のイメージの良好な近似でないことを判定する手段 と、 を備えた現在のイメージをコード化する装置。 ３６． 上記第１のコード化されたイメージが上記現在のイメージの良好な近似 でないことを判定する手段が、上記第１のコード化されたイメージから生成され たコード化された第１のイメージと上記現在のイメージとの間の平均２乗誤差が 閾値より大きいかどうか判定する手段を含む請求項３５に記載の現在のイメージ をコード化する装置。 ３７． 上記閾値が、前のコード化されたイメージから生成された第２のコード 化されたイメージと前のコード化されていないイメージとの間の平均２乗誤差を 含む請求項３６に記載の現在のイメージをコード化する装置。 ３８． 上記閾値が現在のフレームの前のＮ個のコード化されたフレームと関連 するＮ個のコード化されないフレームの平均２乗誤差の平均値を含む請求項３６ に記載の現在のイメージをコード化する装置。 ３９． 上記閾値が、上記現在のイメージからのベクトルと比較して大きな平均 ２乗誤差を有する上記第１のコード化されたイメージから生成されたデコードさ れたベクトル数を含む請求項３６に記載の現在のイメージをコード化する装置。 ４０． もし上記第１のコード化されたイメージから生成されたデコードされた ベクトルが上記現在のイメージと比較して大きな平均２乗誤差を有するならば、 上記更新する手段が、上記前のコードブックの特定項目を更新して上記現在のコ ードブックを生成する手段を含む請求項３６に記載の現在のイメージをコード化 する装置。 ４１． もし、上記第１のコード化されたイメージから生成された上記デコード されたベクトルが、上記現在のイメージと比較して大きな平均２乗誤差を有し、 上記前のコードブックの項目を更新する手段が動作可能であれば、上記更新する 手段は上記現在のコードブックとして用いられる新しいコードブックを生成する 手段を更に含む請求項４０に記載の現在のイメージをコード化する装置。 ４２． もし、上記項目更新手段が少なくともＮ個のイメージを順番にコード化 するように動作可能であれば、上記新しいコードブックを生成する手段が活性化 される請求項４１に記載の現在のイメージをコード化する装置。 ４３． 上記更新手段が、上記前のコードブックに対するベクトルを表すツリー のノードをたどって行き、上記コードブックの最良の項目を決定し、現在のコー ドブックで用いる手段を含む請求項３５に記載の現在のイメージをコード化する 装置。 ４４． 上記現在のイメージのベクトルと比較して、最悪の誤差を有する上記ツ リー内の項目を除去する手段を更に含む請求項４３に記載の現在のイメージをコ ード化する装置。 ４５． 上記ツリー内で最良の項目を決定する上記手段が、現在のイメージのベ クトルと上記ツリーの間の平均２乗誤差を決定する手段を含む請求項４３に記載 の現在のイメージをコード化する装置。 ４６． 上記ツリー内に追加の項目を作成し、現在のイメージをより良く表す手 段を更に含む請求項４３に記載の現在のイメージをコード化する装置。 ４７． 追加の項目を作成する上記手段が上記ツリー内でノードを分割し上記現 在のコードブックに対する２つの新しい項目を作成する手段を含む請求項４６に 記載の現在のイメージをコード化する装置。 ４８． 上記ツリー内でノードを分割する手段が、上記ノードがそのノードに関 連する現在のイメージからのベクトルの閾値より大きい個体数を有するという判 定によって動作状態となる請求項４７に記載の現在のイメージをコード化する装 置。 ４９． 上記ツリー内でノードを分割する手段が、上記ノードが閾値より大きい ベクトル歪を有するという判定によって動作状態となる請求項４７に記載の現在 のイメージをコード化する装置。 ５０． 関連する現在のイメージからのベクトルを持たない項目を上記ツリーか ら除去する手段を更に有する請求項４４に記載の現在のイメージをコード化する 装置。 ５１． ａ． ｎ個のイメージから生成されたＮ個のイメージをＮ個のコード化 されたイメージとしてコード化する手段であって、ｎはＮと等しいか又は小さい 上記コード化する手段と、 ｂ． 上記Ｎ個のイメージのコード化されたイメージが上記Ｎ個のイメージのそ れぞれの良好な近似であるかどうかに基づいてＮを決定する手段と、 を備えたＮ個のイメージをコード化する装置。 ５２． ｎが１である請求項５１に記載のＮ個のイメージをコード化する装置。 ５３． ｎがＮと等しい請求項５１に記載のＮ個のイメージをコード化する装置 。 ５４． 上記決定する手段が、上記コード化されたイメージのそれぞれから生成 された各デコードされたイメージとそれに関連するコード化されないイメージの 間の平均２乗誤差が閾値より大であるかどうか判定する手段を含む請求項５１に 記載のＮ個のイメージをコード化する装置。 ５５． 上記閾値が、前のイメージと関連するコード化されないイメージの平均 ２乗誤差を含む請求項５４に記載のＮ個のイメージをコード化する装置。 ５６． 上記前のイメージが、前のコード化されないイメージのフィルタリング された表現である請求項５５に記載のＮ個のイメージをコード化する装置。 ５７． 上記前のコード化されないイメージの上記フィルタリングされた表現が フィルタ手段によって生成され、上記フィルタ手段はレート制御メカニズムの制 御下にあり、上記レート制御メカニズムは適合的に上記フィルタ手段を調整し、 所望のレートでコード化されたビット・ストリームを生成する請求項５６に記載 のＮ個のイメージをコード化する装置。 ５８． 平均のブロック平均２乗誤差より大きい平均２乗誤差を有するＮ個のコ ード化されたイメージに対する第１のブロック数が、誤差ブロックの閾値より大 であるかどうか判定する手段と、更に上記判定する手段に応答してＮ＋１番目の イメージに対して新しいコードブックを生成する手段を含む請求項５５に記載の Ｎ個のイメージをコード化する装置。 ５９． 上記コードブックを更新する手段であって、上記更新する手段は、上記 Ｎ個のイメージの現在のイメージからブロックを計算し、上記コードブックの項 目を更新して上記現在のコードブックを生成する手段を含む請求項５１に記載の Ｎ個のイメージをコード化する装置。 ６０． 上記現在のコードブックを用いて、上記現在のイメージのコード化され たイメージから生成された、デコードされたイメージがフレームの閾値より大き い平均２乗誤差を有するかどうか判定する手段を有する請求項５９に記載のＮ個 のイメージをコード化する装置。 ６１． 上記判定する手段の活性化に応答して現在のイメージから置き換えコー ドブックを生成する手段を更に含む請求項６０に記載のＮ個のイメージをコード 化する装置。 ６２． ａ． 初期のイメージから生成されたベクトルを表すベクトルを有する コードブックを受け取るステップと、 ｂ． 上記一連のイメージの次のイメージを検索し、上記コードブックを用いて 上記次のイメージを次のコード化されたイメージとしてコード化するステップと 、 ｃ． 上記次のコード化されたイメージから生成された次のデコードされたイメ ージと上記次のイメージとの間のフレームの平均２乗誤差が上記初期のイメージ から生成された初期のコード化されたイメージから生成されたデコードされた初 期イメージに対する前のフレームの平均２乗誤差より大であるかを判定し、もし そうなら、上記次のイメージから新しい現在のコードブック全体を生成し、上記 新しい現在のコードブックを用いて上記次のイメージをコード化するステップと 、 ｄ． そうでない場合、上記次のイメージの関連するコード化されないブロック より大きな平均２乗誤差を有する上記次のデコードされたイメージのデコードさ れたブロックのピーク数がブロックの閾値を超えれば、上記次のイメージから新 しい現在のコードブック全体を生成し、上記新しい現在のコードブックを用いて 上記次のイメージをコード化するステップと、 ｅ． そうでない場合、上記コードブック内で最悪の項目を決定し、更新された コードブックの項目を生成し、上記次のイメージから新しい現在のコードブック を生成し、上記現在のコードブックを用いて上記次のイメージをコード化するス テップと、 から成る一連のイメージをコード化する方法。 ６３． 上記コード化するステップが、上記次のイメージからのベクトルを上記 コードブックの項目に関連づける請求項６２に記載の一連のイメージをコード化 する方法。 ６４． 上記コードブックが、上記次のイメージから生成されたコードブック・ ベクトルを有するツリーを含む請求項６３に記載の一連のイメージをコード化す る方法。 ６５． 上記更新するステップが、上記次のイメージからのベクトルを持たない 上記コードブックから、項目を除去するステップを含む請求項６４に記載の一連 のイメージをコード化する方法。 ６６． 上記更新するステップが、上記コードブック内で最も歪んだ項目を決定 するステップを更に含み、上記最も歪んだ項目のそれぞれに対して： ａ． 上記歪んだ項目のそれぞれに対して子供の項目を作成し、 ｂ． 上記最も歪んだ項目のそれぞれに関連するベクトルを上記子供項目に関連 づけるステップを含む請求項６５に記載の一連のイメージをコード化する方法。 ６７． 上記コードブックから、上記最も歪んだ項目のそれぞれを除去するステ ップを更に含む請求項６６に記載の一連のイメージをコード化する方法。 ６８． 変更された上記コードブックの項目をデコード手段に伝送するステップ を更に含む請求項６７に記載の一連のイメージをコード化する方法。 ６９． 上記項目がｎ個の項目を有し、更新された上記現在のコードブックがＮ 個の項目を有し、ｎはＮより小さく、上記コードブックのｎ個の項目は、コード 化された次のイメージから生成されたデコードされた次のイメージと上記次のイ メージの間の平均２乗誤差に従って導かれる請求項６２に記載の一連のイメージ をコード化する方法。 ７０． ａ． イメージから生成されたベクトルを表すベクトルを有するコード ブックを受け取るステップと、 ｂ． 上記一連のイメージの第１のイメージを検索し、更新されたコードブック を生成して現在のコードブックを生成し、上記現在のコードブックを用いて上記 第１のイメージを第１のコード化されたイメージとしてコード化するステップと 、 ｃ． 上記第１のコード化されたイメージと上記第１のイメージの間の平均２乗 誤差が、前のコード化されたイメージと関連するコード化されないイメージに対 する前の平均２乗誤差より大であるかを判定し、もしそうなら、現在のコードブ ック全体を生成し、上記現在のコードブックを用いて上記第１のイメージを第２ のコード化されたイメージとしてコード化するステップと、 から成る一連のイメージをコード化する方法。 ７１． 上記コード化するステップは、上記第１のイメージからのベクトルを上 記コードブックの項目に関連づける請求項７０に記載の一連のイメージをコード 化する方法。 ７２． 上記コードブックは、上記イメージから生成されたコードブック・ベク トルを有するツリーを含む請求項７１に記載の一連のイメージをコード化する方 法。 ７３． 上記更新するステップは、関連する上記第１のイメージからのベクトル を持たない上記コードブックの項目を除去するステップを含む請求項７２に記載 の一連のイメージをコード化する方法。 ７４． 上記更新するステップが、上記コードブック内で最も歪んだ項目を決定 するステップを更に含み、上記最も歪んだ項目に対して： ａ． 上記歪んだ項目のそれぞれに対して子供の項目を作成し、 ｂ． 上記最も歪んだ項目のそれぞれに関連するベクトルを上記子供項目に関連 づけるステップを含む請求項７３に記載の一連のイメージをコード化する方法。 ７５． 上記コードブックから上記最も歪んだ項目のそれぞれを除去するステッ プを更に含む請求項７４に記載の一連のイメージをコード化する方法。 ７６． 変更された上記コードブックの項目をデコード手段に伝送するステップ を更に含む請求項７５に記載の一連のイメージをコード化する方法。 ７７． 上記項目がｎ個の項目を有し、更新された上記現在のコードブックがＮ 個の項目を有し、ｎはＮより小さく、上記コードブックのｎ個の項目は、コード 化されたイメージと上記イメージの間の平均２乗誤差に従って導かれる請求項７ ０に記載の一連のイメージをコード化する方法。