JP2008526072A - スケーラブル符号化 - Google Patents

Abstract

データをエンコードする方法は、前記データをデータのセットに分割するステップと、前記データのセットの各々を変換係数Ａ、Ｂ及びＣのセットへ変換するステップと、各前記変換係数を、前記変換係数の大きさに依存して、それぞれの前記変換係数のセットの単一のサブセットＳ０、Ｓ１、…に割り当てるステップと、各前記サブセットを個別にエンコードするステップと、を有する。本方法は、各前記変換係数の大きさを、少なくとも１つの閾値Ｔ１、Ｔ２、…と比較するステップを更に有しても良い。各サブセットが選択された変換係数の全体の大きさを含むため、伝送の間の他のサブセットの損失が、これら変換係数に影響を与えない。本発明は特に、画像データをエンコードするために適している。

Description

本発明は、スケーラブル符号化に関する。更に詳細には、本発明は、少なくとも２層のエンコードされた情報を生成する、データをエンコードするための方法及び装置に関する。第１の層は、元のデータの比較的粗い（即ち低い解像度及び／又は低い品質）復元を可能とする基本的なエンコードされた情報を含み、少なくとも１つの第２の層は、前記第１の層と組み合わせて、元のデータの比較的細かい（即ち高い解像度及び／又は高い品質）復元を可能とする付加的なエンコードされた情報を含む。

スケーラブル符号化は、ビデオ符号化において広く利用されている。良く知られたＭＰＥＧ規格においては、第１の層は「基本層」（ＢＬ）と呼ばれ、第２の層は「拡張層」（ＥＬ）と呼ばれる。いずれの層とも、画像データのブロックを変換し、次いで変換係数の結果のブロックを走査及び可変長エンコードによりエンコードすることにより生成され得る。「基本層」は一般に、「拡張層」のダウンサンプリングされたバージョンである。

複数の層を生成する代替の手法が利用されても良い。例えば、変換係数は所謂ビットプレーン（bit plane）に分割されても良く、ここで各ビットプレーンは、ブロックの各変換係数の１以上のビットを含む。ビットプレーンは、「基本層」及び１以上の「拡張層」のような、種々の層に割り当てられても良い。送信及び受信されるビットプレーンの数が、復元される画像の解像度を決定する。この種のスケーラビリティは、微細粒スケーラビリティ（Fine Grain Scalability、ＦＧＳ）と呼ばれる。

米国特許ＵＳ６５０１３９７（Philips社Radhaらによる）は、ビットプレーン・エンコーディングを含む、画像信号の圧縮及びエンコードの方法を開示している。２以上のビットプレーンを組み合わせることにより、符号化効率が改善され得る。米国特許ＵＳ６５０１３９７の全体の内容は、ここで本明細書に組み込まれたものとする。

変換係数をビットプレーンに分割することは、各ビットプレーンが各変換係数についての部分的な情報しか含まないという欠点を持つ。幾つかのビットプレーンが伝送の間に失われると、失われたビットは変換係数の不正確な表現に帰着し、それ故歪んだ復元データ（画像データのような）に帰着する。単一のビットプレーンのみが受信される場合、該ビットプレーンに含まれる部分的な情報は一般に、有意な方法で元のデータを復元するためには不十分である。

本発明の目的は、先行技術のこれらの及び他の問題を克服し、伝送損失に対してより回復力が高く、且つ実装が容易である、データをエンコードするための方法及び装置を提供することにある。

従って、本発明は、データのセットをエンコードする方法であって、
前記データのセットの各々を変換係数のセットへ変換するステップと、
各前記変換係数を、前記変換係数の大きさに依存して、それぞれの前記変換係数のセットの単一のサブセットに割り当てるステップと、
各前記サブセットを個別にエンコードするステップと、
を有する方法を提供する。変換係数を、該変換係数の大きさに依存するサブセットに割り当てることにより、変換係数の種々のサブセットへの効率的な分割が達成され、一方で、種々のサブセットは種々のエンコード層を生成するために利用され得る。サブセットの数としては色々な値がとり得、２、３、４、５又はそれ以上のサブセットが利用されても良い。

各変換係数を単一のサブセットに割り当てることにより、（それぞれの閾値を超えサブセットを空にする変換係数がない場合を除いて）各サブセットは１以上の変換係数の全体の値（即ち全てのビット）を含む。結果として、伝送の後に受信された各サブセットは、幾つかの変換係数が完全に知られることを可能とし、元のデータの歪みを防ぐ。勿論、伝送の間のサブセットの損失は、幾つかの変換係数が失われることに帰着し得、復元されるデータの幾分かの歪みに導き得るが、ビットプレーン符号化とは対照的に、単一のサブセットの損失は、全ての変換係数の歪みには帰着しない。

各サブセットを個別にエンコードすることにより、即ち、変換係数をサブセット毎にエンコードすることにより、符号化は単純且つ効率的なものとなる。加えて、本発明は、１つの特定のサブセットが、最も重要な変換係数、即ち最大の大きさを持つ変換係数を含むという著しい利点を提供する。伝送チャネルの帯域幅が限られている場合、当該単一のサブセットを（好ましくは「基本層」として）伝送することは、元のデータの最適な近似に帰着する。

データが分割されていないストリームとして供給される場合、本方法は該データをデータのセットに分割する更なるステップを含んでも良いことは、理解されるであろう。

変換係数を、これら変換係数の大きさ（振幅）に基づいてサブセットに割り当てることは、種々の方法、例えばテーブル内のエントリが大きさ及び対応するサブセットを表すルックアップテーブルを利用することにより、実現されても良い。しかしながら、各変換係数の大きさを、少なくとも１つの閾値と比較し、該変換係数が割り当てられるサブセットを選択することが好ましい。

各セットの変換係数の大きさを少なくとも１つの閾値と比較することにより、それぞれの大きさによって変換係数を効率的にグループ化することが可能である。このとき、各変換係数は、該比較に依存して、変換係数のそれぞれのセットの単一のサブセットに割り当てられても良い。

好適な実施例は、各前記サブセットを個別にエンコードする前記ステップより前に、それぞれの前記閾値を、各前記変換係数から減算するステップを更に有する。このことは、変換係数の大きさを減少させ、より効率的なエンコードを可能とする。

単一の閾値が利用されて、変換係数の各セットを効率的に分割しても良いが、２以上の閾値が利用され、変換係数の各セットの複数のサブセットを生成することが好ましい。例えば、４個の閾値が利用され、５個のサブセットに帰着しても良い。閾値は均一に間隔をとられても良い（最大の変換係数値が１０である場合、例えば２、４、６及び８）が、不均一に間隔をとられても良い（最大の変換係数値が１０である場合、例えば３．６、４．９、６．４及び８．１）。

更なる実施例においては、例えば関連するサブセットにわたって変換係数を均一に分散させるために、閾値は動的に調節されても良い。斯かる実施例においては、受信側で正確な復元を可能とするため、閾値も伝送されることが好ましい。閾値が静的（即ち略一定である）実施例においては、閾値は伝送される必要はない。

本方法はまた、好ましくは変換係数の大きさを閾値と比較した後に、変換係数をスケーリングするステップを含む。代替として、閾値がスケーリングされても良い。

好適な実施例においては、本発明による方法は、各前記サブセットの前記エンコードされた変換係数を、エンコードされた変換係数の単一のストリームへと結合するステップを更に有する。有利にも、前記少なくとも１つの閾値は、前記エンコードされた変換係数と組み合わせられても良い。閾値の代わりに又は閾値に加えてルックアップテーブルが利用される場合においては、テーブル識別子がエンコードされた変換係数と組み合わせられても良い。このようにして、各ストリームが、変換係数と、それぞれのサブセットを識別及び／又は定義するデータとの両方を含む。

各サブセットをエンコードするステップは、有利にも、可変長符号化（ＶＬＣ）を含んでも良く、変換するステップは、ディジタルコサイン変換（ＤＣＴ）又はディジタルウェーブレット変換（ＤＷＴ）を含んでも良い。

種々のタイプのデータが利用されても良いが、本発明の方法は、データが画像（静止画又は映像、及び／又は動画又はビデオ）データである場合に、特に有利である。

本発明は更に、データのセットをエンコードするためのコンピュータプログラムであって、
前記データのセットの各々を変換係数のセットへ変換するステップと、
各前記変換係数を、前記変換係数の大きさに依存して、それぞれの前記変換係数のセットの単一のサブセットに割り当てるステップと、
各前記サブセットを個別にエンコードするステップと、
を実行するためのコンピュータ実行可能な命令を有するコンピュータプログラムを提供する。

前記コンピュータプログラムは、付加的なコンピュータ実行可能な命令、例えば各セットの変換係数の大きさを少なくとも１つの閾値と比較するための命令を有しても良い。前記コンピュータプログラムの製品は、前記プログラムが保存されたＣＤ又はＤＶＤのような担体を有しても良い。代替として、前記コンピュータプログラムは、リモートのサーバに保存されても良く、又はインターネットを利用してダウンロードされても良い。

本発明はまた、データのセットをエンコードするためのエンコード装置であって、
前記データのセットの各々を変換係数のセットへ変換する変換手段と、
各前記変換係数を、前記変換係数の大きさに依存して、それぞれの前記変換係数のセットの単一のサブセットに割り当てる割り当て手段と、
各前記サブセットを個別にエンコードするエンコード手段と、
を有する装置を提供する。

本エンコード装置は更に、各セットの変換係数の大きさを少なくとも１つの閾値と比較するための比較手段、及び／又は動きベクトルを導出するための動き推定手段を有しても良い。

加えて、本発明は、データのセットをトランスコードするためのトランスコード装置であって、
前記データのセットをデコードするデコード手段と、
各変換係数を、前記変換係数の大きさに依存して、それぞれの前記変換係数のセットの単一のサブセットに割り当てる割り当て手段と、
各前記サブセットを個別にエンコードするエンコード手段と、
を有する装置を提供する。

斯かるトランスコード装置は、従来の方法でエンコードされたデータのセットを、本発明によりエンコードされたデータのセットに変換するために利用され得る。該トランスコード装置は更に、各セットの変換係数の大きさを少なくとも１つの閾値と比較するための比較手段、及び／又はデータのセットを逆変換するように構成された逆変換手段、及びデータの各セットを変換係数のセットに変換する変換手段、及び／又はデコードされたデータのセットを逆量子化する逆量子化手段を有しても良い。動き補償手段が更に備えられても良い。

本発明は更に、以上に定義されたエンコード装置又は以上に定義されたトランスコード装置によりエンコードされたデータのセットをデコードするためのデコード装置であって、
前記データのサブセットをデコードするデコード手段と、
前記デコードされたデータのサブセットを変換係数のセットにグループ化するグループ化手段と、
前記変換係数のセットを逆変換する逆変換手段と、
を有する装置を提供する。

前記デコード装置は更に、変換係数のセットを逆走査するための逆走査手段、及び／又は動き補償を提供するための動き補償手段を有しても良い。

本発明は更に、以上に定義されたようなエンコード装置を有する、ビデオカメラのような携帯型消費者向け装置を提供する。本発明が提供し得る携帯型消費者向け装置の他の例は、ディジタル（スチル）カメラ、携帯（移動）電話、ＰＤＡ（Personal Digital Assistant）及び携帯型テレビジョン装置である。

本発明は更に、以上に定義されたようなエンコード装置及び／又は以上に定義されたようなトランスコード装置及び／又は以上に定義されたようなデコード装置を有する、ビデオ伝送システムを提供する。

本明細書において開示されるアルゴリズム的な構成要素は実際には、ハードウェア（例えば特定用途向けＩＣの一部）として、又は特殊用途向けディジタル信号プロセッサ若しくは汎用プロセッサ上で動作するソフトウェア等として、（全体又は一部が）実現されても良い。コンピュータプログラムとは、コマンドをプロセッサへと供給するための一連のロードステップ（中間言語及び最終的なプロセッサ言語への翻訳のような中間変換ステップを含んでも良い）の後に、（汎用又は特殊用途向けの）プロセッサが、 本発明の特徴的な機能のいずれかを実行することを可能とするコマンドの集合の、いずれかの物理的な実装として理解されるべきである。とりわけ、コンピュータプログラムは、例えばディスク又はテープのような担体上のデータ、メモリ中に存在するデータ、（有線又は無線の）ネットワーク接続によって伝送されるデータ、又は紙上のプログラムコードとして実装されても良い。プログラムコードの他に、該プログラムのために必要とされる特徴的なデータもまた、コンピュータプログラムとして実施化されても良い。本方法の動作のために必要とされるステップの幾つかは、データ入力及び出力ステップのように、コンピュータプログラム中に記述される代わりに、プロセッサの機能中に既に存在していても良い。

本発明は画像（又はビデオ）のエンコードに限定されるものではなく、例えばオーディオデータのような他のデータのエンコードのためにも利用され得ることは、留意されたい。

本発明は、添付図面に示された実施例を参照しながら、以下に更に説明される。

図１において単に限定的でない例として示された本発明のエンコード装置１００は、入力信号ＶＳを受信するための減算ユニット１０１を有する。本例においては、入力信号ＶＳが、画像データのセットから成るビデオ信号であって、各セット（又はブロック）が８ｘ８画素（画像要素）を表すビデオ信号であることが仮定される。しかしながら、本発明はビデオ信号に限定されるものではなく、本特定のデータ構造に限定されるものでもない。

減算ユニット１０１は、入力ビデオ信号ＶＳから、動き予測された信号ＭＣを減算するように構成される。結果の差分信号は変換ユニット１０２に供給され、変換ユニット１０２は画像データのセットを変換係数のセットへ変換する。画像データは一般に、本分野において良く知られた離散コサイン変換（ＤＣＴ）を利用して変換されるが、例えば（ディジタル）ウェーブレット変換（ＤＷＴ）のような、他の変換が利用されても良い。ＤＣＴに起因する変換係数は、（空間）周波数成分として解釈され得る。

走査（ＳＣＡＮ）ユニット１０３は、例えばＭＰＥＧ準拠システムにおいて利用される「ジグザグ」順のような所定の順序で、変換係数の各セットを走査する。走査ユニット１０３は、変換ユニット１０２により出力された変換係数の２次元のセットを、１次元のセットへ変換する。走査ユニット１０３が変換ユニット１０２に組み込まれた実施例も考えられ、この場合には、変換ユニット１０２は変換係数の１次元のセットを出力する。

変換係数のセットはストリーム割り当て（ＳＡ）ユニット１０４に供給される。ストリーム割り当てユニット１０４は、各セットの個々の変換係数を１以上の閾値と比較し、次いで各変換係数を対応するサブセット又はストリームに割り当てる。本例においては、３個の閾値及び４個のサブセットがあり、各サブセットは１つのストリームに対応する（ストリームの数がサブセットの数よりも少ない、即ち少なくとも２つのサブセットが１つのストリームへと結合される実施例も考えられる）。閾値の比較は、図４を参照しながら後に更に説明される。

殆どの（サブセットの全てではない場合には）サブセットは、変換係数の最大の数よりも少ない変換係数を含む（例えば、８ｘ８個の係数のブロックの場合のように最大の数が６４個の場合に、１０個）。各サブセット中の「空の」場所はゼロで埋められ、かくして標準的なサブセットのサイズを維持する。

ストリーム割り当てユニット１０４は、４つのデータストリームＳ０、Ｓ１、Ｓ２及びＳ３を生成し、各ストリームはデータのセットの変換係数のサブセットを含む。全てのデータストリームＳ０、Ｓ１、・・・は、エンコードユニット１０５の対応する部分ＶＬＣ０、ＶＬＣ１、・・・に供給される。エンコードユニット１０５の各部分は、適切なエンコード手法（本例においては可変長符号化（ＶＬＣ））を利用して、それぞれのデータストリームを個別にエンコードし、出力データストリームを生成する。基本層ストリームＢＬは部分ＶＬＣ０により生成され、拡張層ストリームＥＬ１、ＥＬ２及びＥＬ３は、それぞれ部分ＶＬＣ１、ＶＬＣ２及びＶＬＣ３により生成される。

典型的なエンコードユニットは、ルックアップテーブル（ＬＵＴ）を利用して、符号語を生成する。エンコードユニット１０５の全ての部分ＶＬＣ０乃至ＶＬＣ３が同じ１つのルックアップテーブルを利用しても良いし、又は同一のそれぞれのルックアップテーブルを利用しても良いが、有利な実施例においては、符号化効率を改善するため、異なる部分は個別のルックアップテーブルを利用しても良い。可変長符号化（ＶＬＣ）の代わりに、ランレングス符号化のような他のエンコード手法が利用されても良いことは、理解されるであろう。

図１の実施例において、「最も低い」データストリームＳ０は、逆変換ユニット１０６にも供給される。逆変換ユニット１０６は、本例においては、逆離散コサイン変換（ＩＤＣＴ）を実行する。結果の逆変換されたデータストリームは、加算器１０７を介して、一時的な保存（遅延）のためメモリ（ＭＥＭ）１０８に供給される。遅延されたデータは、動き推定／動き補償（ＭＥ／ＭＣ）ユニット１０９に供給される。該ユニットは、当業者に良く知られた手法を利用して、動き予測された（動き補償）信号ＭＣ及び動きベクトルＭＶを生成する。動きベクトルＭＶは、エンコードユニット１０５の部分ＶＬＣ０に供給され、動きベクトルが基本層ストリームＢＬに含められるようにする。

本発明の装置１００は更に、データ低減のための量子化ユニット（図示されていない）を有しても良い。量子化ユニットは、変換ユニット１０２と走査ユニット１０３との間、又は走査ユニット１０３とストリーム割り当てユニット１０４との間に配置されても良い。量子化ユニットが存在する場合には、装置１００は更に、量子化されたデータと元のデータとの間の不一致を推定するための逆量子化ユニットを有しても良い。量子化は損失の多いエンコードに帰着するため、幾分かの不一致が一般には存在する。

図１の装置１００は、例えば良く知られたＭＰＥＧ−２規格のような、ＭＰＥＧ（Motion Pictures Expert Group）規格に準拠するものであっても良い。

本発明によるトランスコーダが、図２において模式的に示される。トランスコーダ１５０は、先行技術によって単一層（非スケーラブルな）データストリームをデコードし、該デコードされたデータストリームを本発明によりエンコードするように構成される。図２のトランスコーダ１５０は、図１のエンコーダ１００の全ての構成要素に加え、可変長デコード（ＶＬＤ）ユニット１１０、逆量子化（ＩＱ）ユニット１１１及び逆離散コサイン変換（ＩＤＣＴ）ユニット１１２を有する。

可変長デコード（ＶＬＤ）ユニット１１０は、離散コサイン変換（ＤＣＴ）を利用して従来の可変長エンコード、量子化及び変換を利用してエンコードされた、エンコードされた入力信号（符号化されたストリーム）ＣＳを受信する。可変長デコード（ＶＬＤ）ユニット１１０、逆量子化（ＩＱ）ユニット１１１及び逆離散コサイン変換（ＩＤＣＴ）ユニット１１２は、該符号化されたストリームをビデオ信号（ビデオストリーム）ＶＳに変換する。ビデオ信号ＶＳは、図１のエンコード装置１００におけるように、減算器１０１に供給される。動きベクトルＭＶは、可変長デコードユニット１１０により出力され、動き推定／動き補償（ＭＥ／ＭＣ）ユニット１０９及びエンコードユニット１０５に供給される。トランスコーダ１５０は、先行技術によりエンコードされた入力信号を受信し、本発明によりエンコードされた出力信号を生成することが可能であることが、かくして分かる。

信号（例えばビデオストリーム）をデコードするためのデコーダが、図３に示される。デコーダ２００は、デコードユニット２０１、サブセットグループ化（ＳＧ）ユニット２０２、逆走査（ＩＳＣＡＮ）ユニット２０３、逆離散コサイン変換（ＩＤＣＴ）ユニット２０４、加算器２０５及び動き補償（ＭＣ）ユニット２０６を有する。

デコードユニット２０１の各部分は、適切なデコード手法（本例においては可変長デコード（ＶＬＤ））を利用してそれぞれのデータストリームを個別にデコードし、対応する出力データストリームを生成する。基本層ストリームＢＬは部分ＶＬＤ０によりデコードされ、拡張層ストリームＥＬ１、ＥＬ２及びＥＬ３は、それぞれ部分ＶＬＤ１、ＶＬＤ２及びＶＬＤ３によりデコードされる。

デコードされたストリームはグループ化ユニット２０２に供給され、グループ化ユニット２０２は該ストリームを単一のストリームへグループ化する。本発明によれば、デコードユニット２０１の各部分ＶＬＤ０、ＶＬＤ１、・・・は、幾つかの完全な変換係数をデコードする。各部分によりデコードされた変換係数（典型的には６４個）は、変換係数のセット全体のサブセットを形成する。グループ化ユニット２０２は、デコードユニット２０１の種々の部分から出力された変換係数をグループ化することにより、変換係数のセットを復元する。逆走査ユニット２０３は次いで逆走査を実行し、変換係数の各１次元のセットを２次元のセットに変換する。逆走査ユニット２０３は逆変換ユニット２０４に組み込まれても良いことは、理解されるであろう。

逆離散コサイン変換（ＩＤＣＴ）ユニット２０４は次いで逆離散コサイン変換を実行し、元の時間ドメインのデータを復元する。加算器２０５において、基本層デコードユニット部分ＶＬＤ０が動き補償（ＭＣ）ユニット２０６に供給した動きベクトルＭＶに基づいて、動き補償が実行される。加算器２０５は、デコードされた出力ストリーム（復元された信号）ＲＳを生成する。出力ストリームＲＳはまた、動き補償ユニット２０６にも供給される。

本発明の原理は、図４乃至６を参照して更に説明される。図４は、本発明によって、変換係数Ａ、Ｂ及びＣがどのようにサブセットに割り当てられるかを示す。変換係数Ａ、Ｂ及びＣは、図１の変換ユニット１０２により出力され得ることに留意されたい。

ＭＰＥＧ準拠の装置においては、８ｘ８の（画像又はその他の）データのセット又は「ブロック」は、離散コサイン変換を利用して、８ｘ８の変換係数のセット又は「ブロック」に変換される。斯かる変換係数のブロックは、図５及び６に模式的に示される。先行技術によるブロック４００'においては、６４個の変換係数のそれぞれが幾つかの部分に分割され、各部分は幾つかのビットの係数を含む。例えば変換係数４５７は、３つの最上位ビット（ＭＳＢ）から成る第１の部分４９１、次の３ビットから成る第２の部分４９２、更なる３ビットから成る第３の部分４９３、及び２つの最下位ビット（ＬＳＢ）から成る第４のビット４９４を有するものとして示される。このことはブロック４００'の全ての変換係数について為されるため、該ブロックは部分４９１乃至４９４に対応する「スライス」に分割され、各スライスが各変換係数の数個（本例においては２又は３個）のビットを含む。次いで、これらスライスはエンコードされ、個別に送信される。受信側において、これら「スライス」は組み合わせられ、変換係数を復元する。

スライス中の多くの変換部分がゼロに等しくなるため、この既知の構成は比較的効率的なエンコードを可能とするが、欠点を持つ。最も重大な欠点は、伝送の間にスライスのいずれかが切断され又は損失されると、ブロックの全ての変換係数の幾つかのビットが失われるため、変換係数の正確な復元が不可能となるという事実である。

本発明は、変換係数のブロックを異なる態様で分割することにより、この問題を解決する。変換係数は、それぞれが構成部分へと分割されるのではなく、該変換係数の大きさ（振幅）に従って各ブロックの異なるサブセットに割り当てられる。このようにして、各サブセットは、それぞれの係数の完全な値（即ち全てのビット）を含む。しかしながら、各サブセットは、限られた数の係数の値のみを含む（全ての係数が略同じ値を持つ場合を除く。この場合、これら係数は全て同一のサブセットに割り当てられる）。結果として、各ブロックは依然として、スケーラブルなストリームを生成するために利用され得る幾つかのサブセットに分割され得、１つのサブセットの損失は一般に、全ての係数が悪影響を受けることに帰着しない。

本発明による８ｘ８の変換係数のセット又は「ブロック」が、図６において模式的に示される。ブロック４００もまた６４個の係数により構成されるが、図５におけるように幾つかの部分又はスライスに分割はされない。その代わり、各係数は全体としてサブセットに割り当てられる。図６の例においては、セット４００は２つのサブセットに分割される。係数４０１、４０２、４０９、４１９、４２１及び４２６は、第１のサブセットに割り当てられ（図６において点により示される）、係数４５７を含む残りの係数は第２のサブセットに割り当てられる。第１のサブセットは係数４０１、４０２、４０９、４１９、４２１及び４２６の全体の値を含み、第２のサブセットは残りの係数の全体の値を含むことが、明らかであろう。

図１における割り当てユニット１０４により実行されるような、変換係数をサブセットに割り当てるメカニズムは、ここで図４を参照しながら説明される。異なる大きさ（振幅）を持つ３つの変換係数の例Ａ、Ｂ及びＣが、閾値Ｔ１、Ｔ２及びＴ３と比較される。これら閾値はレベル又はサブセットを定義し、最も高い閾値Ｔ１は図１における、エンコードの後に基本層ストリームＢＬに帰着するストリームＳ０に対応する。ストリームＳ０、…、Ｓ３は、変換係数の各ブロックの対応するサブセットを含むことは理解されるであろう。

係数Ａは閾値Ｔ１を超えているため、該係数はストリームＳ０に割り当てられる。係数Ｂは第１の閾値Ｔ１を超えておらず、それ故第２の閾値Ｔ２と比較される。該係数は第２の閾値Ｔ２を超えているため、係数Ｂは、エンコードの後に第１の拡張層ＥＬ１に帰着するストリームＳ１に割り当てられる。係数Ｃはいずれの閾値をも超えておらず、層ＥＬ３に帰着するストリームＳ３に割り当てられる。

かくして、係数が該係数の大きさに基づいてストリーム（又はサブセット）に割り当てられることが分かる。図４の例においては、最も大きい大きさ（即ち最も高い閾値Ｔ１を超える）係数が、基本層ＢＬとしてエンコードされるサブセットに割り当てられる。このことは、最も大きな相対的「重み」を持つ（即ちデコードの後に復元されたデータに対して最も大きな寄与を持つ）変換係数が基本層においてエンコードされ、残りの小さな係数が拡張層においてエンコードされるという利点を持つ。従って、拡張層が伝送の間に失われても、デコードされた復元されたデータに対する影響は限られる。

閾値の数は本発明に対して本質的なものではなく、１、２、３、４、５又はそれ以上の閾値が利用されても良いことは理解されるであろう。閾値は静的なもの（例えば予め決定されたもの）であっても良いし、又は動的なもの（例えば調節可能なもの）であっても良い。係数がサブセットにわたって分散される範囲に応じて閾値が動的に調節される実施例も考えられる。例えば、サブセットにわたる略一様な係数の分散が、閾値を適切に調節することにより提供され得る。閾値は、セット中の最大の変換係数の大きさに対して特定の値を持つように調節されても良い。また閾値は、人間の眼の特性に基づくものであっても良い。静的でない閾値は伝送され、基本層ＢＬに帰着するストリームＳ０に含められても良い。

本発明は、変換係数を構成部分に分割すること、及びこれら（エンコードされた）部分を個別に伝送することが、伝送誤りに対する脆弱性を増大させるという洞察に基づくものである。本発明は、変換係数の大きさに基づいて変換係数のセットのサブセットを生成し、（エンコードされた）係数の全体の値を伝送することが、画像データのようなスケーラブルなデータに対して有効な伝送メカニズムであるという洞察から利益を得るものである。

本明細書において利用されるいずれの用語も、本発明の範囲を限定するものとして解釈されるべきではない。特に、「有する（comprise及びcomprising）」なる語は、明確に言及されていないいずれの要素をも除外することを意図するものではない。単一の（回路）要素は、複数の（回路）要素又はその同等物により代用されても良い。

本発明はビデオ（画像）データを参照しながら説明されたが、本発明はかように限定されるものではなく、オーディオデータをエンコードするためにも利用され得る。

それ故、本発明は以上に説明された実施例に限定されるものではなく、添付する請求項において定義された本発明の範囲から逸脱することなく多くの変更及び付加が為され得ることは、当業者には理解されるであろう。

本発明によるエンコード装置を模式的に示す。 本発明によるトランスコード装置を模式的に示す。 本発明によるデコード装置を模式的に示す。 本発明による、変換係数のデータサブセットへの割り当てを模式的に示す。 先行技術による変換係数のセットを模式的に示す。 本発明による変換係数のセットを模式的に示す。

Claims (18)

1. データのセットをエンコードする方法であって、
   前記データのセットの各々を変換係数のセットへ変換するステップと、
   各前記変換係数を、前記変換係数の大きさに依存して、それぞれの前記変換係数のセットの単一のサブセットに割り当てるステップと、
   各前記サブセットを個別にエンコードするステップと、
   を有する方法。
2. 各前記変換係数の大きさを、前記変換係数が割り当てられるサブセットを選択するために、少なくとも１つの閾値と比較するステップを更に有する、請求項１に記載の方法。
3. 各前記サブセットを個別にエンコードする前記ステップより前に、それぞれの前記閾値を、各前記変換係数から減算するステップを更に有する、請求項２に記載の方法。
4. 例えば前記変換係数を関連するサブセットにわたって一様に分散させるために、前記少なくとも１つの閾値を動的に調節するステップを更に有する、請求項２に記載の方法。
5. 各前記サブセットの前記エンコードされた変換係数を、エンコードされた変換係数の単一のストリームへと結合するステップを更に有する、請求項１に記載の方法。
6. 前記少なくとも１つの閾値は、前記エンコードされた変換係数と組み合わせられる、請求項２又は５に記載の方法。
7. 各前記サブセットをエンコードする前記ステップは、可変長符号化又はランレングス符号化を含む、請求項１に記載の方法。
8. 前記変換するステップは、ディジタルコサイン変換又はディジタルウェーブレット変換を含む、請求項１に記載の方法。
9. 前記データは画像データである、請求項１に記載の方法。
10. データのセットをエンコードするためのコンピュータプログラムであって、
    前記データのセットの各々を変換係数のセットへ変換するステップと、
    各前記変換係数を、前記変換係数の大きさに依存して、それぞれの前記変換係数のセットの単一のサブセットに割り当てるステップと、
    各前記サブセットを個別にエンコードするステップと、
    を実行するためのコンピュータ実行可能な命令を有するコンピュータプログラム。
11. データのセットをエンコードするためのエンコード装置であって、
    前記データのセットの各々を変換係数のセットへ変換する変換手段と、
    各前記変換係数を、前記変換係数の大きさに依存して、それぞれの前記変換係数のセットの単一のサブセットに割り当てる割り当て手段と、
    各前記サブセットを個別にエンコードするエンコード手段と、
    を有する装置。
12. 動きベクトルを導出するための動き推定手段を更に有する、請求項１１に記載の装置。
13. データのセットをトランスコードするためのトランスコード装置であって、
    前記データのセットをデコードするデコード手段と、
    各変換係数を、前記変換係数の大きさに依存して、それぞれの前記変換係数のセットの単一のサブセットに割り当てる割り当て手段と、
    各前記サブセットを個別にエンコードするエンコード手段と、
    を有する装置。
14. 前記デコードされたデータのセットを逆量子化する逆量子化手段を更に有する、請求項１３に記載の装置。
15. 請求項１１に記載のエンコード装置又は請求項１３に記載のトランスコード装置によりエンコードされたデータのセットをデコードするためのデコード装置であって、
    前記データのサブセットをデコードするデコード手段と、
    前記デコードされたデータのサブセットを変換係数のセットにグループ化するグループ化手段と、
    前記変換係数のセットを逆変換する逆変換手段と、
    を有する装置。
16. 動き補償手段を更に有する、請求項１５に記載の装置。
17. 請求項１１に記載のエンコード手段を有する、ビデオカメラのような携帯型消費者向け装置。
18. 請求項１１に記載のエンコード装置及び／又は請求項１３に記載のトランスコード装置及び／又は請求項１５に記載のデコード装置を有するビデオ伝送システム。

Images