JP2008533850A

JP2008533850A - 二層符号化及び単層復号化による階層的ビデオ符号化

Info

Publication number: JP2008533850A
Application number: JP2008500997A
Authority: JP
Inventors: チェン、ペイソン; ラビーンドラン、ビジャヤラクシュミ・アール．
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2005-03-10
Filing date: 2006-03-10
Publication date: 2008-08-21
Also published as: US7995656B2; BRPI0608284A2; MX2007011087A; TW200706006A; IL185827A; JP2012120211A; JP5619688B2; US20060230162A1; ES2674351T3; JP5619790B2; UA90889C2; RU2007137490A; CN101167364A; TWI457001B; JP2011254500A; SI1856917T1; AU2006223285C1; AU2006223285B2; IL185827A0; WO2006099221A3

Abstract

【解決手段】実施形態は、第一層データおよび第二層データを受信し、受信された第一、第二層データを組み合わせ、この組み合わされたデータを復号化する、ビデオビットストリームを復号化する方法を含む。更にビデオ符号化方法は、第一層および第二層内で符号化して単一組み合わせ層中で復号化するためにデータを選択し、第一層中の係数を符号化するとともに第一層係数に対する微差を第二層中で符号化することにより選択されたデータを第一層、第二層中で符号化する。逆量子化ステップを一つに減少させることができ、ハードウエアコア中でパイプラインによる逆量子化を行うことができる。
【選択図】図４

Description

本発明は、階層的（スカラブル）ビデオデータの符号化、復号化のための方法と装置に関する。

インターネット及び無線通信の爆発的な成長と偉大なる成功、およびマルチメディアサービスへの増大する要求により、インターネットとモバイル／無線チャネルを介してのストリーミングメディアは大きな注目を集めている。異種インターネットプロトコル（ＩＰ）ネットワークにおいては、ビデオはサーバによって供給され、一つ又は多くのクライアントによって流通される。有線接続は、ダイヤルアップ、ＩＳＤＮ、ケーブル、ｘＤＳＬ、ファイバー、ＬＡＮ（local
area network）、ＷＡＮ（wide area network）、などがある。その伝送モードはユニキャスト又はマルチキャストのいずれかである。ＰＤＡ（personal digital assistant）、ラップトップ、デスクトップ、セットトップボックス、ＴＶ、ＨＤＴＶ（high-definition television）、モバイルホンなどを含む多くの個人クライアント装置は、同じコンテンツに対して異なる帯域で同時に双方向の通信を要求する。接続帯域は短時間に変化し（９．６ｋｐｂｓから１００Ｍｂｐｓあるいはそれ以上）、サーバの対応より早くなることがある。

モバイル／無線通信においても異種ＩＰネットワークと同様の問題がある。モバイル／無線チャネルを介してのマルチメディアコンテンツの転送は、これらのチャネルがマルチパスフェージングやシャドウ現象、記号間干渉、ノイズ妨害などによりしばしば非常に損なわれるために、非常に困難である。その他、交通の移動と競争とによる帯域の変化や喪失が理由となっている。チャネルノイズとユーザの数とがチャネル環境や品質の時間的な変化を決定する。環境条件に加えて、使用するネットワークが地球的位置条件やモバイルローミングのために第二、第三世代の携帯電話ネットワークがブロードバンドデータ専用ネットワークに変わる可能性がある。これらのすべての変化がフライ(fly)上のマルチメディアコンテンツの通信速度の変化にあった調節を要求している。従って、異種有線／無線ネットワークを介してビデオ送信を良好に行うためには、ロスに強く、且つ有効な符号化や、ネットワーク条件、デバイスの特性およびユーザの好みの変化に対する即応性が要求される。

異なるユーザの要求やチャネル変化に対応するために、複数の独立したビットストリームのバージョンを発生させ、夫々が送信帯域やユーザの表示装置や計算能力に基づいた一つのクラスの制約に対応するようにしたが、これはサーバ記憶装置やマルチキャスト用途に対して十分ではない。階層性符号化においては、ハイエンドユーザに適応する単一マクロビットストリームがサーバ内に用意され、ローエンド用途のためのビットストリームはマクロビットストリームのサブセットとして用意される。これにより、サブビットストリームを選択的に伝送することにより、単一のビットストリームを多様な用途環境に適応させることができる。階層的符号化の他の利点は、エラーが発生し易いチャネル上にビデオ伝送を確実に行うことである。エラー防止とエラー抑止とを簡単に行うことができる。更に信頼性のある伝送チャネルとより良いエラー防止とを、最も重要な情報を含むベース層ビットに対してもたらすことができる。

空間的、時間的、信号対雑音比（ＳＮＲ）が階層的なハイブリッド符号器として、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４（集合的にはＭＰＥＧ−ｘ）、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、およびＨ．２６４（集合的にはＨ．２６ｘ）がある。ハイブリッド符号化では、時間的な冗長性は運動補償予測（ＭＣＰ）によって取り除かれる。ビデオは通常一連の画像グループ（ＧＯＰ）に分割され、各ＧＯＰは内部符号化フレーム（Ｉ）から始まりその後に前（及び／又は後）予測フレームＰおよび双方向性予測フレームＢが続く構成である。ＰフレームとＢフレームとはＭＣＰを用いた相互予測フレームである。ベース層は低品質レベルのＩフレーム、Ｐフレーム、Ｂフレームの最も重要な情報を持つことができ、エンハンスメント層はこれらのフレームまたはベース層には含まれない追加の時間的なスケーリングのフレームのより高品質の情報を持つことができる。ＳＮＲ階層性は選択的にエンハンスメント層における高品質のデータの復号化を行わずにベース層データの復号化を行うことにより実現できる。データがベース層とエンハンスメント層とにどのように分割されたかに応じて、ベース層とエンハンスメント層データの復号化は複雑となりメモリ容量の要求も大きくなる。コンピュータ処理が複雑化しメモリ要求も増大することは、ＰＤＡ（personal digital assistants）やモバイルホンなどの電源、処理が制限された装置の動作に対しては障害となる。したがって、ベース層とエンハンスメント層の復号化の際にはこれらの装置の処理の複雑化とメモリ容量の増大化をもたらさないことが特に要求される。

本出願は、“Two Parallel Encoding and Single Layer Decoding”と題して２００５年３月１０日に出願された米国特許仮出願番号６０／６６０／８７７号、および“Scalable Video Coding with Two Layer Encoding and Single Layer Decoding”と題して２００５年９月１日に出願された米国特許仮出願番号６０／７１３，２０８号の優先権の利益を主張する。

符号化データの第一層および符号化データの第二層を受信し、受信した符号化データの第一層および符号化データの第二層を組み合わせ、この組み合わせデータを復号化する方法と装置であって、この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する方法と装置が記載される。

他の態様において、第一層符号化データおよび第二層符号化データを受信する受信部と、受信された第一層符号化データと第二層符号化データとを組み合わせる組み合わせ部と、ベース層を有する第一層とエンハンスメント層を有する第二層との組み合わせデータを復号化する復号化部とを有し、この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する装置が記載される。

上記の実施態様において、更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、この残留エラー係数と微差とを組み合わせた第一層及び第二層と組み合わせ、この組み合わせた第一層、第二層および残留エラー係数と微差とを復号化する方法と装置とを有する。他の実施態様として、更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される方法と装置とを有する。更に他の実施形態として、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される方法と装置とを有する。更に、第一の量子化ステップサイズの第一層データを第二の量子化ステップサイズに変換し、受信された第二層データは第二の量子化ステップサイズに符号化される方法と装置を有する。更に、組み合わされたデータ中の第一層に関連する相互符号化データを同定し、組み合わされたデータ中の第二層に関連する相互符号化データを同定し、同定された第一層に関連する相互符号化データおよび同定された第一、第二層に関連する相互符号化データのいずれかを復号化する、方法と手段とを有する。

更に、組み合わされたデータ中の第一層に関連する内部符号化データを同定し、同定された内部符号化データを復号化する方法と装置とを有する。更に、組み合わされたデータ中の第一層に関連する内部符号化データを同定し、組み合わされたデータ中の第二層に関連する相互符号化データを同定し、同定された内部符号化データおよび同定された相互符号化データのいずれかを復号化する、方法と手段とを有する。

前記方法と装置は更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換する手段を有し、受信された第二層データは第二の量子化ステップサイズに符号化される、方法と手段とを有する。更に、第一パス内で第一層内部符号化データを同定し、第二パス内で同定された第二層内部符号化データを復号化し、復号化された第一層内部符号化データおよび復号化された第二層内部符号化データとを組み合わせる方法と手段とを有する。更に、組み合わされた第一層、第二層データを逆量子化し、この逆量子化されたデータを逆変換する方法と手段とを有する。

更に、上記実施態様は、コンピュータにより読み取り可能な媒体および／またはプロセッサにより実現できる。

更に他の態様においては、第一層及び第二層内でデータを符号化し、単一の組み合わされた層内でこのデータを復号化するためにデータを選択し、選択されたデータを第一層および第二層中で符号化する、マルチメディアデータを符号化するための方法と装置とである。

更に他の態様においては、第一層及び第二層内でデータを符号化し、単一の組み合わされた層内でこのデータを復号化するためにデータを選択するように構成された受信部と、選択されたデータを第一層および第二層中で符号化するように構成された符号化部とを具備するマルチメディアデータを符号化するための装置である。

上記の態様において、第一層で係数を符号化し、第一層係数の微差を第二層で符号化する。第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、第一、第二係数は復号化のために用いられる。このデータは内部符号化データである。これにより、符号化方法と装置は、第一層中又は第一、第二層中の内部符号化データを符号化する方法と手段とを有する。

このデータは相互符号化データである。この場合、符号化方法と装置は、第二層中の相互符号化データを符号化する方法と手段とを有する。

更に、第一層中で相互符号化データとして選択されたデータを符号化し、第二層中で相互符号化データとして選択されたデータを符号化する方法と手段とを有する。

この場合、さらに第一層中で内部符号化データを符号化する方法と手段とを有する。

請求項４０の方法であって、符号化は更に、第一層中の内部符号化データとして選択されたデータおよび第二層中で相互符号化データとして選択されたデータを符号化する。

更に、第一、第二係数に基づいて第一主係数を選択し、第二係数に基づいて第二主係数を計算する方法と手段とを有し、前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する方法と手段とを有する。前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択方法と手段は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択し、前記計算方法と手段は第二主係数を第二係数と等しく設定する、方法と装置。

前記方法及び装置において更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される。前記方法及び装置は更に、第一層符号化データを第一ステップサイズで量子化し、第二層符号化データを第二ステップサイズで量子化し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる。

更に、オーバヘッド情報を符号化し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、符号化方法と装置。

以下、少ない数の復号オーバヘッドによってベース層と一つまたはそれ以上のエンハンスメント層を含むビデオ多重層を提供する方法と装置とを説明する。符号化アルゴリズムがベース層およびエンハンスメント層係数を作成し、これらの層が復号化に用いられ得る場合には量子化復元の前に復号器により組み合わされる。実施形態において、エンハンスメント層を用いることができないときは有効なベース層ビデオを提供するか、或いは復号器が省電力のためにエンハンスメント層を復号しないように選択される。以下の説明では特定の場合について詳細な説明を行うが、当業者にとってはこれらの特定の場合以外にも種々実施できることは勿論である。例えば、実施形態を必要以上に詳細に説明することがないように電子部品はブロック図として示される。或いは、これらの部品は他の実施形態において異なる構成、動作を持つものとして詳細に説明される場合がある。

更に、実施形態は、フローチャート、フロー図、構成図、またはブロック図を用いてプロセスとして説明される。フローチャートは動作を順番のプロセスとして説明するが、多くの動作は並列動作または同時動作として行われ、或いは繰り返し行われる。更に、動作の順番は変更することができる。一つのプロセスはその動作が完了したときに終了する。またプロセスは方法、機能、手順、サブルーチン、サブプログラムなどに対応させることができる。プロセスが機能に対応するときは、その終了はコーリング機能またはメイン機能のリターンに対応する。

図１はストリーミングビデオを出力するための通信システムの一例を示している。このシステム１００は符号化装置１０５と復号化装置１１０とを含む。符号化装置１０５は更に、変換部１１５と、量子化部１２０と、ＳＮＲ階層的（スカラブル）符号器部１２５と、メモリ部１３０と、プロセッサ部１３５と、通信部１４０とを含む。プロセッサ１３５は、他の構成部における処理を行うためのコンピュータプラットフォームを提供する。変換部１１５は空間的なドメインからのビデオデータを他のドメイン、例えばＤＣＴ（ディスクリートコサイン変換）における周波数ドメインに変換する。変換されるデータは実際のビデオデータが変換される内部符号化データであってもよく、空間的予測残留値が変換される内部符号化データであってもよく、あるいは残留エラーが変換される相互符号化データであってもよい。他のデジタル変換としては、アダマール変換や、ＤＷＴ（ディスクリートウエーブレット変換）およびＨ．２６４中で用いられる整数変換などがある。

量子化部１２０は複数ビットを各変換係数を表すように割り当てる。変換された係数の量子化は各ブロックまたはマクロブロック毎に変えることができる。マクロブロックは例えば１６×１６画素（１６×１６のルマ(Luma)ブロック或いは８×８のクロマ(Chroma)ブロックで構成される）である。量子化パラメータＱＰは量子化を行うレベルを決定する。更なるデジタル圧縮はＱＰを増加させることにより、ＳＮＲ階層的ビデオストリームのベース層における符号化を行うことができる係数のより低いデジタル品質化により行うことができる。ＱＰを減少させることにより、ＳＮＲ階層的ビデオストリームのエンハンスメント層における符号化を行うことができる係数のより高いデジタル品質化を実現することができる。ＳＮＲ階層的符号器部１２５は係数の相互間の選択を平行に行い、係数をベース層係数とエンハンスメント層係数とに分割する。ベース層とエンハンスメント層係数の相互間の選択は、二つの層であるベース層とエンハンスメント層データの復号化を単一層内で行うことができるようにして行うことができ、詳細は後で説明される。メモリ部１３０は符号化すべき原ビデオデータや伝送すべき符号化ビデオデータや色々な符号化部での中間データなどを記憶するのに用いられる。

変換部１１５と量子化部１２０とはそれぞれ逆変換および逆量子化も行う。これらの逆動作は、復号化装置内におけると同じように係数の再構成を行うように符号化装置内で行われ、残留エラー計算とエンハンスメント層係数計算とが可能な限り高精度となる。

通信部１４０は外部ソース１４５からの符号化すべきデータの受信に用いられるロジック、例えば受信部を有する。外部ソース１４５は例えば外部メモリ、インターネット、ライブビデオおよび/またはオーディオ装置であり、データ受信は有線、無線のいずれでもよい。通信部１４０は更に符号化データをネットワーク１５０を介して伝送（Ｔｘ）するロジックを含む。この符号化データは変換データ、量子化データ、可変長符号化データ、またはこれらの組み合わせデータである。ネットワーク１５０は電話、ケーブル、光ケーブルのような有線システムあるいは無線システムの一部である。無線通信システムの場合、ネットワーク１５０は例えば、符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）システムであり、または周波数分割多元接続（ＦＤＭＡ）システムであり、ＧＳＭ／ＧＰＲＳ(ゼネラルパケットラジオサービス)/（エンハンスドデータＧＳＭ環境）またはＴＥＴＲＡ（テレストリアルトランクドラジオ）サービス業用の携帯電話技術のような時分割多元接続（ＴＤＭＡ）システムであり、広帯域符号分割多元接続（ＷＣＤＭＡ）であり、高データレート（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯゴールとマルチキャスト）システムであり、またはこれらの技術を組み合わせて用いた一般的などのような無線通信システムでもよい。符号化装置１０５内の構成要素は他の要素と交換し、あるいは組み合わせて用いることができる。例えば、プロセッサ部１３５は符号化装置１０５の外部に設けることができる。

復号化装置１１０は符号化装置１０５と同様に、逆変換部１５５、逆量子化部１６０、単層復号器部１６５、メモリ部１７０、通信部１７５、およびプロセッサ部１８０を有する。復号化装置１１０はネットワーク１５０を介して伝送された符号化データまたは外部記憶部１８５からのデータを受信する。この符号化データは、変換データ、量子化データ、可変長符号化データ、あるいはこれらの組み合わせデータを含む。通信部１７５はネットワーク１５０からの符号化データを受信（Ｒｘ）するのに用いられるロジック、及び符号化データを外部記憶部１８５から受信するロジックを含む。外部記憶部１８５はたとえば外部ＲＡＭまたはＲＯＭあるいは外部サーバである。単層復号器部１６５はベース層とエンハンスメント層データを復号化するロジックを含む。ベース層データは、もしエンハンスメント層が受信されないか、あるいは劣化された状態で受信されたか、あるいはバッテリー電力を維持するためか、あるいは電力を制御するために、それのみで復号化される。単層復号器部１６５は更に、ベース層とエンハンスメント層データを組み合わせ、組み合わせデータを単層内で復号化するためのロジックを含む。符号化内部データは逆量子化部１６０により処理され、次に逆変換部１５５で処理され、復号された画像データが得られ、表示部１９０上に表示される。

相互符号化データは基準フレームから予測され、この基準フレームの復号化の後で復号化される。残留エラー係数は単層復号器部１６５、逆量子化部１６０、および逆変換部１５５によって処理され、復号化された残留エラーが得られる。この残留エラーは次に基準フレームからの最適マクロブロックと組み合わされる。復号化フレームは表示部１９０で表示され、外部記憶部１８５で記憶され、あるいはプロセッサ部１８０の内部記憶部に記憶される。表示部１９０は、表示スクリーンを含むビデオ表示ハードウエアまたはロジックなどを持つ復号化装置と一体として構成でき、あるいは外部周辺装置であってもよい。通信部１７５は更に復号化フレームを外部記憶部１８５または表示部１９０に接続するのに用いられるロジックを有する。ＳＮＲ階層的符号器部１２５および単層復号器部１６５によって行われる二層符号化および単層復号化の詳細は後で説明する。この復号化装置１１０の一つまたは複数の構成要素は他の要素と交換されあるいは組み合わされる。例えば、プロセッサ部１８０は復号化装置１１０の外部に設けることができる。

ビデオ復号化において例えばハードウエアビデオコアをコンピュータ増強復号化処理、特に逆量子化や逆変換処理を高速化するために用いることができる。ハードウエアビデオコアには種々の機能を同時に実行する（パイプライン処理）ことができる専用回路およびプロセッサを単独または同時に用いることができる。パイプライン処理は復号化時間を短縮することができる。標準のパイプライン処理における臨時逆変換、臨時逆量子化、あるいは臨時加算のような割り込みは、全体の処理を遅延させる。当業者にとって、ビデオコアの一つまたは複数の実施形態においてハードウエア、ソフトウエア、ファームウエア、ミドルウエア、マイクロコード、およびこれらの任意の組み合わせを用いうることは自明のことである。従来の単層復号化装置において、Ｉフレーム、Ｐフレーム、Ｂフレームの復号化はすべて同一の処理で行われる。内部符号化ビデオおよび残留エラーのいずれを示す場合も、係数は逆量子化され、逆変換され、次いで、空間予測係数または最適マクロブロック係数のいずれかと組み合わされる。以下に説明する符号化および復号化処理は、復号化ハードウエアビデオコアに対して平明なベース層及びエンハンスメント層のいずれかもしくは双方の階層的復号化を行う。その実施の一例としては、各層を夫々のパスを用いて復号化し、復号化された各層を組み合わせる方法がある。この二つのパスを用いる方法は、同じハードウエア回路を繰り返して用いるので効率がよい。復号化における平明性は単一パス中のハードウエアビデオコアで組み合わせデータを復号化する前にベース層データとベース層データに対するエンハンスメント層の変形部とを組み合わせることによって、より高い効率を実現できる。例えば、ＤＳＰ（デジタル信号プロセッサ）のようなプロセッサを用いることでこの組み合わせ動作を実現できる。

図２ＡはＳＮＲ階層的ストリーミングビデオの符号化の一例を示すフローチャートである。プロセス２００は初期Ｉフレームとそれに続く多重のＰフレーム及び／またはＢフレームのＧＯＰを符号化するフローを示す。各フレームはベース層データ及び／またはエンハンスメント層データとを含む。他の層データを用いることも当業者にとっては自明のことである。

Ｉフレームがステップ２０５において内部符号化マクロブロック（Intra ＭＢs）全体と符号化される。Ｈ．２６４において、Ｉフレーム内の Intra ＭＢｓは十分な符号化利得を与える空間的予測によって符号化される。もし符号化されるベース層とエンハンスメント層が空間的予測により十分な符号化利得を得られるならば、ベース層はエンハンスメント層の符号化と再構成化との前に符号化され、再構成化される。Ｉフレームに対して二つのパスによる符号化、再構成化法が用いられる。ベース層においては、ベース層量子化パラメータＱＰ_ｂは荒い量子化ステップサイズの変換係数を供給する。オリジナルフレームと再構成されたベース層フレームとの間の画素差はエンハンスメント層において符号化される。このエンハンスメント層は量子化パラメータＱＰ_ｅを用い、より精細な量子化ステップサイズを提供する。図１に示したＳＮＲ階層化符号化部１２５のような符号化手段がステップ２０５における符号化動作を行う。

ステップ２１０において、符号化部はＧＯＰにおけるＰおよび／またはＢフレームのベース層データおよびエンハンスメント層データの符号化を行う。図１のＳＮＲ階層化符号化部１２５のような符号化手段がステップ２１０における符号化を行う。ステップ２１５において、符号化すべきＰまたはＢフレームがまだ有るか否かが決定される。図１のＳＮＲ階層化符号器部１２５のような符号化手段がステップ２１５の決定を行うことができる。ＰまたはＢフレームが残っていると、ＧＯＰ内のすべてのフレームの符号化が終了するまでステップ２１０が繰り返される。以下の説明ではＰ、Ｂフレーム内の Intra ＭＢについて説明されるが、これらのＰ、Ｂフレームは相互符号化マクロブロック（相互ＭＢｓ）を有するものである。

復号器がベース層とエンハンスメント層データとを区別するために、符号器はステップ２１７においてオーバヘッド情報を符号化する。オーバヘッド情報は例えば層数を同定するデータと、対象の層がベース層であると同定するデータと、エンハンスメント層であると同定するデータと、各層の間の相互関係（例えば、第一またはベース層に対して第二層はエンハンスメント層であること、または第二層に対して第三層はエンハンスメント層であること）を同定するデータと、連続するエンハンスメント層内である層を最終層であると同定するデータなどを含む。オーバヘッド情報は、分離されまたは関連したデータメッセージ内に含まれたベース層データまたはエンハンスメント層データに連続したヘッダー中に含ませることができる。図１のＳＮＲ階層性符号化部１２５のような符号化手段がステップ２１７の動作を実行することができる。プロセス２００内の一つまたは複数の構成要素を省略し、交換し、あるいは組み合わせて用いることができる。

図２Ｂは復号化の一例を示すフローチャートであり、プロセス２００によって符号化されたＳＮＲ階層性ストリーミングビデオを単層内で復号化する。プロセス２２０は初期のＩフレームとそれに続くＰ及び／またはＢフレームでなるＧＯＰの復号化を行うフローを示している。

復号化部はステップ２２２においてオーバヘッド情報を抽出する。例えば同定器によって受信したビットストリーム内に含まれる種々の層を同定するとともに、それらの層の間の相互関係も同定する。このオーバヘッド情報により復号化部がベース層情報を同定し、それのみを選択して復号化することを可能にする。ステップ２２５においてベース層のみを復号化する決定がなされ、あるいはベース層とエンハンスメント層との組み合わせを復号化する決定を行う。単層復号化部１６５のような復号化手段がステップ２２５の動作を実行することができる。もしベース層のみを復号化する場合、復号化部はステップ２６０において、Intra ＭＢおよび相互ＭＢの復号化動作を従来の単層復号化により実行する。図１の単層復号化部１６５のような復号化手段がステップ２６０の動作を実行できる。この実施例では、もしエンハンスメント層も復号化するときは、Intra ＭＢが二つのパスを用いる方法または単一パスによる方法によって復号化され、一方、相互ＭＢ層は後で詳細に説明するように、単一パスを用いる方法によって復号化される。復号化部は層数を同定するオーバヘッドデータまたは層の相互関係を同定するデータとともにある層を最終層として同定するオーバヘッドデータを用いることができる。このオーバヘッドデータにより、復号化部は、現在セクションのためのビットストリーム中にあるすべての層を受信するときに、これらが処理中であることを知ることができる。図１の単層復号器部１６５のような抽出手段をステップ２２２の実行のために使うことができる。

この実施形態において、各Ｉフレームに対して二つのパスを用いた復号化方法が用いられている。ステップ２３０においては、Ｉフレームのベース層が第一のパスで復号化され、ステップ２３５においてはベース層に対する微差を有するエンハンスメント層が復号化され、ベース層と組み合わされて（ゼロ動作ベクトルを持つＰフレームのように）Ｉフレームのエンハンスメント層が形成される。図１の単層復号器部１６５のような復号化手段がステップ２３０、２３５の動作を実行できる。もし復号化装置がＩフレームの復号化ベース層Ｉｂに対して使えないときは、データＩｂを有するメモリバッファが上書きされ、Ｉフレームの復号化されたエンハンスメント層Ｉｅが後続の予測フレームに対する基準として用い得る。このメモリの上書きすなわちメモリのシャッフル動作はステップ２４０において実行される。図１のメモリ部１７０のようなメモリシャッフル手段がステップ２４０の動作を実行する。復号化装置は、もしその復号化装置が後続の動作補償予測においてデータＩｂを用いないときは、データＩｂを上書きすることができる。

単一パス復号化がＰとＢフレームに対して行われる。以下に説明するように、Ｐ、Ｂフレームベース、エンハンスメント層係数が単一パス復号化ができるように符号化される。ベース層とエンハンスメント層係数が受信されると、これらが復号器によりステップ２４５において組み合わされ、ステップ２５０において通常のＰまたはＢフレームと同様に単層内で復号化される。図１の通信部１７５のような受信手段により受信ステップ（図２Ｂには示されていない）を実行することができる。組み合わせステップ２４５および復号化ステップ２５０の詳細は以下に説明する。組み合わせ手段および図１の単層復号器部１６５のような復号器がステップ２４５、２５０の動作を実行することができる。決定ステップ２５５がビットストリームをチェックし、復号化すべきＧＯＰが完了したかを検知する。ＧＯＰが完了していると、処理が終了され、次のＧＯＰに対して処理が開始される。更にＰおよびＢフレームのいずれかまたは双方がＧＯＰに残っていると、ステップ２４５、２５０がＧＯＰを完了するまで繰り返される。図１の単一層復号器部１６５のような復号化手段がステップ２５５の動作を行うことができる。

単層復号化を行うために、二つの層の係数が逆量子化の前に組み合わされる。従って、この２層の係数は双方向化される。そうしないと、オーバヘッドの量を増大させることになる。このオーバヘッド増大の一つの理由は、ベース層符号化とエンハンスメント層符号化とが異なる時間基準を用いることである。ベース層とエンハンスメント層係数を発生するのにアルゴリズムが必要であり、この両層があるときは逆量子化の前に復号化部において組み合わされる。同時に、エンハンスメント層がなく、または復号化部が例えば省電力の目的でエンハンスメント層を復号化しないときは、アルゴリズムは可能なベース層ビデオを与える。アルゴリズムを詳細に説明する前に、標準の予測符号化について説明する。プロセス２２０内の一つまたは複数の構成要素は省略し、交換し、あるいは組み合わされる。

Ｐフレーム（または他の相互符号化部）は今の画像中の領域と基準画像中の最適予測領域との間の時間的な冗長性を利用することができる。基準フレーム中の最適予測領域の場所は一組の運動ベクトル内で符号化できる。現在領域と最適基準予測領域との差は残留エラー（または予測エラー）として知られている。図３は例えばＭＰＥＧ−４におけるＰフレーム構成プロセスの一例を示している。プロセス３００は図２Ａのステップ２１０内で生じるプロセスの一例を詳細に示している。プロセス３００は５×５マクロブロックの現在画像３２５を含むが、このマクロブロック数は任意である。一つのマクロブロックは１６×１６画素でなる。各画素は８ビットの輝度（Ｙ）と二つの８ビットの色度（Ｃｒ、Ｃｂ）とで定義される。ＭＰＥＧにおいては、Ｙ、Ｃｒ、Ｃｂ成分は４：２：０フォーマットにより記憶され、ＣｒとＣｂ成分とはＸ、Ｙ方向に２分の１にダウンサンプリングされる。従って、各マクロブロックは２５６個のＹ成分と６４個のＣｒ成分と６４個のＣｂ成分とでなる。現在画像３２５のマクロブロック３３５は基準画像３３０から予測される。現在画像３２５と基準画像３３０とは夫々の画像内の正方形の場所に位置付けられる。基準画像３３０中の現在マクロブロック３３５に最も近い最適マクロブロック３４０が符号化されるべき現在マクロブロック３３５のＹ、Ｃｒ、Ｃｂの値を参照して検索される。基準画像３３０中の最適マクロブロック３４０の位置は運動ベクトル３４５に符号化される。基準画像３３０はＩフレーム又はＰフレームであって、現在画像３３５の構成に先立って復号化部により再構成される。最適マクロブロック３４０は現在マクロブロック３３５から減算（各成分Ｙ、Ｃｒ、Ｃｂの差が計算される）され、残留エラー３５０が得られる。この残留エラー３５０はディスクリートコサイン変換（ＤＣＴ）３５５により符号化され、次いで量子化３６０される。量子化３６０は例えば高周波の係数には少数のビットを割り当て、低周波の係数にはより多くのビットを割り当てることにより行われ、空間的圧縮が為される。運動ベクトル３４５と基準画像３３０の同定情報とともに量子化された残留エラー３５０の係数は現在現在マクロブロック３３５を示す符号化された情報である。この符号化された情報は次に使用されるためにメモリに記憶され、あるいはエラー訂正または画像増強のために用いられ、またはネットワーク３６５を介して送信される。

符号化され量子化された残留エラー３５０の係数は符号化された運動ベクトル３４５とともに符号化部内の現在マクロブロック３３５を再構成するために用いられ、次の動きを予測し補償するために基準フレームの一部として用いられる。符号化部はこのＰフレームの再構成のために復号器内部の動作手順のエミュレータとして用いられる。復号器のエミュレーションは同じ基準画像についての符号器および復号器の動作に対応する。再構成プロセスは符号器内で符号化のために行われあるいは復号器で行われる。Ｐフレームの再構成は基準フレーム（または基準となる画像又はフレームの一部）が再構成された後でスタートされる。符号化され量子化された係数は逆量子化部３７０で逆量子化され、次いで、２Ｄ逆ＤＣＴ部またはＩＤＣＴ部３７５で処理され、復号化即ち再構成された残留エラー３８０が得られる。符号化された運動ベクトル３４５は復号化され、すでに再構成された最適マクロブロック３８５を再構成された基準画像３３０内に位置決めするために使用される。再構成された残留エラー３８０は次いで再構成された最適マクロブロック３８５に加算され、再構成マクロブロック３９０が形成される。この再構成マクロブロック３９０はメモリに記憶され、単独あるいは画像内に他の再構成マクロブロックとともに表示され、あるいは画像向上のために処理される。

Ｂフレーム（即ち双方向予測により符号化された部分）は現在画像中の領域と、先行画像中の最適予測領域と、後続画像中の最適予測領域との間の時間的冗長性を利用することができる。後続の最適予測領域および先行の最適予測領域は組み合わされて組み合わせ双方向性予測領域が形成される。現在画像領域と組み合わせ最適予測領域との差が残留エラー（又は予測エラー）である。後続基準画像の最適予測領域と先行基準画像の最適予測領域の場所は二つの運動ベクトル内で符号化される。

図４はベース層とエンハンスメント層の符号化のための符号化プロセスの一例を示す図である。ベース層とエンハンスメント層は符号化されてＳＮＲ階層化ビットストリームが形成される。プロセス４００は例えば図２Ａのステップ２１０で実行される相互ＭＢ残留エラー係数の符号化の一例を示す。しかしながら、内部ＭＢの符号化のために他の同様な方法を用いてもよいことは勿論である。図１のＳＮＲ階層化符号器部１２５のような符号化手段をプロセス４００または図２Ａのステップ２１０の実行のために用いることができる。オリジナル（符号化すべき）ビデオデータ４０６（この実施形態ではビデオ情報はルマ及びクロマ情報を含む）はベース層最適マクロブロックループ４０２およびエンハンスメント層最適マクロブロックループ４０４に入力される。これらのループ４０２、４０４は加算器４２２、４３８で夫々計算される残留エラーを最小にするように動作する。ループ４０２、４０４の動作は図示したように平行して行われるが、順次動作されるようにしてもよい。ループ４０２、４０４は夫々検索バッファ４２０、４３６（これらのバッファ４２０、４３６は同じバッファでもよい）のためのロジックを有し、基準フレームを用いて最適マクロブロックを同定し、最適マクロブロックとオリジナルデータ４０６との間の残留エラーを最小にするように動作する。ループ４０２、４０４の残留エラーは異なる値を持つが、これはベース層ループ４０２がエンハンスメント層ループ４０４に比べて通常は粗い量子化ステップサイズ（高ＱＰ値）を用いるからである。変換ブロック４０８、４２４は各ループ内の残留エラーを変換する。例えば、符号器はベース層に対して最適マクロブロック（又は他のサイズの画素ブロック）ヘッダ情報と対応する運動ベクトル情報とを関連付け、このブロックヘッダ情報と運動ベクトル情報とは受信したオリジナルデータから抽出される。

変換された係数は次いでセレクタ４１０においてベース層とエンハンスメント層係数とに分解される。セレクタ４１０における分解動作は以下に述べるように種々の形態を取る。分解動作の共通な特徴としては、エンハンスメント層主係数であるＣ’_enhがベース層主係数Ｃ’_baseに対して微差として計算されることである。ベース層に対してエンハンスメント層を微細なものとして計算することにより、復号器がベース層係数をそれ自体として復号化して画像表示を実際のものとして行い、あるいはベース、エンハンスメント層係数を組み合わせて画像のより精細な表示を行うことを可能にする。セレクタ４１０において選択され計算された主係数は次いで量子化部４１２、４２６によって量子化される。量子化された主係数~Ｃ’_base、~Ｃ’_enh（夫々量子化部４１２、４２６により算出された）は図１のメモリ部１３０のようなメモリ手段に記憶され、あるいはネットワークを介して復号器に送信される。

復号器内でマクロブロックの再構成を適合させるために逆量子化部４１４はベース層残留エラー係数を逆量子化する。逆量子化された残留エラー係数は逆変換部４１６により逆変換され、バッファ４２０内で検索された最適マクロブロックと加算器４１８で加算され、復号器内で再構成されたものに対して最適化された再構成マクロブロックが得られる。エンハンスメントループ４０４内の量子化部４２６、逆量子化部４２８、逆変換部４３２、加算器４３４、バッファ４３６はベース層ループ４０２内の対応要素と同様に動作する。更に、加算器４３０はエンハンスメント層の再構成に用いられる逆量子化エンハンスメント層とベース層係数を組み合わせるのに用いられる。エンハンスメント層の量子化部および逆量子化部はベース層よりもより精細な量子化ステップサイズ（低ＱＰ）を通常用いる。プロセス４００中の一つまたは複数の要素は省略され、変形され、あるいは組み合わせて用い得る。

図５、図６、図７は図４のセレクタ４１０内で用いられるベース層、エンハンスメント層係数セレクタのプロセスを例示する。図１のＳＮＲ階層的符号化部１２５のようなセレクタ手段が図５−図７に示されたプロセスの実行に用いられる。例えば図５において、変換された係数が以下のようにしてベース、エンハンスメント層主係数として分解される。

ここで、“min”で表される動作は二つの偏角の間の数学的な最小値であり、以下の式で表される。

式[１]はブロック５０５を示し、式[２]は図５の加算器５１０を示している。式[２]において、Ｑｂはベース層量子化部４１２を示し、Ｑｂ−１はベース層の逆量子化部４１４を示している。式[２]はエンハンスメント層係数を式[１]で計算されたベース層の微差に変換する。

図６はベース層、エンハンスメント層係数セレクタ４１０の他の例を示す。この例において、ブロック６０５内の式（ . ）はベース層主係数を示し、以下のように表される。

加算器６１０は以下のようにしてエンハンスメント層主係数を計算する。

ここで、Ｃ’_baseは式[３]によって与えられる値を取る。

図７はベース層、エンハンスメント層セレクタ４１０の他の例を示す。この例においては、ベース層主係数はオリジナルベース層係数から変換されず、エンハンスメント層主係数は量子化／逆量子化ベース層係数とオリジナルのエンハンスメント層係数との差に等しい。このプロセスにより、セレクタ４１０は相互符号化され、あるいは内部符号化された係数であるオリジナルのベース層およびオリジナルのエンハンスメント層係数を用いるように構成される。

図５、６、７に示されたいずれのプロセスをセレクタ４１０が実行しても、復号器は以下に説明するように同じ動作を行う。ループ４０２、４０４は同じマクロブロックを参照して同期して動作し、あるいは異なるマクロブロックを参照して非同期で動作する（ベース層基準情報とエンハンスメント層基準情報とは以下に説明するようにオーバヘッド情報内で符号化される）。もしループ４０２、４０４が異なる基準マクロブロックを参照すると、復号器はベース層のみを復号化するように符号化ベース層基準情報を用いることができ、あるいはベース層、エンハンスメント層の組み合わせを復号化するために符号化エンハンスメント層基準情報を用いることができる。

ベース、エンハンスメント層残留エラー係数に加え、復号器はＭＢがどのようにして符号化されたかを示す情報を必要とする。図１のＳＮＲ階層的符号器部１２５のような符号化手段は、図２Ａのステップ２１０を実行するほか、内部符号化または相互符号化部分のマップを含むオーバヘッド情報を符号化する。このマップは例えばＭＢマップであり、マクロブロック（またはサブマクロブロック）が内部符号化あるいは相互符号化されていることが検出器によって示され（更に双方向符号化が例えば順方向、逆方向あるいは双方向のいずれのタイプかも示し）、更にこの相互符号化部分はどのフレームを参照しているかも示している。一つの実施形態において、ＭＢマップとベース層係数とはベース層中で符号化され、エンハンスメント層係数はエンハンスメント層中で符号化される。

図８は単層ビデオデータを復号化するための復号化プロセスの一例を示すもので、この実施形態ではベース層データが復号化され、図２Ｂのステップ２６０で実行される。プロセス８００において、量子化された係数~Ｃ’_baseは内部符号化データまたは相互符号化残留エラーデータを示している。これらの係数は逆量子化部８０５により逆量子化され、逆変換部８１０で逆変換され、バッファ８２０に記憶された空間的に一時的に予測されたデータに対して加算器８１５において加算される。逆量子化ステップ８０５はベース層量子化パラメータＱＰ_ｂを用いる。結果として得られた復号化されたベース層ビデオ出力８２５は図１のメモリ部１７０のようなメモリ手段に記憶され、又は図１の表示部１９０のような表示手段に表示される。

プロセス８００はベース層係数~Ｃ’_baseの代わりにエンハンスメント層係数~Ｃ’_enhを用い、ステップ８０５におけるベース層パラメータＱＰ_ｂの代わりにエンハンスメント層量子化パラメータＱＰ_ｅを用いて第二パス内で実行することができる。結果として得られる出力は復号化されたエンハンスメント層ビデオ出力となる。ベース層ビデオ出力８２５は画素ドメイン内においてエンハンスメント層ビデオ出力と組み合わされる。この２パスプロセスは同じ復号化ハードウエア回路を効率化のために繰り返し用いることができる。この復号化プロセスは図５、６、７のいずれの符号化プロセスを用いるかに関係なく用いることができる。

図９は図２Ｂに示したステップ２４５、２５０で実行されるようなベース層、エンハンスメント層データの復号化のための復号化プロセスの一例を示す。プロセス９００において、量子化係数~Ｃ’_base、~Ｃ’_enhはステップ９０５、９１０で夫々逆量子化され、ステップ９１５において変換（例えば周波数で）ドメインにおいて組み合わされる。逆量子化ステップ９０５はベース層量子化パラメータＱＰ_ｂを用い、逆量子化ステップ９１０はより小さいエンハンスメント層量子化パラメータＱＰ_ｅを用いる。組み合わされた係数は逆変換ステップ９２０で処理され、ステップ９２５においてバッファ９３０に記憶された空間的または一時的予測データと加算される。この復号化プロセスは図５、６、７のいずれの符号化プロセスが用いられていても関係なく用いることができる。結果として得られたエンハンスメント層ビデオ出力９３５はメモリに記憶され、または表示される。

プロセス９００はその主たる方法がプロセス８００とは異なっている。プロセス９００では二つの逆量子化ステップ９０５、９１０を用いているが、プロセス８００では一つの逆量子化ステップ８０５が用いられている。もしこの逆量子化がハードウエアコア内でパイプライン処理されると、ベース層復号化プロセス８００と同様にしてエンハンスメント層復号化において単一の逆量子化ステップを用いることができるので非常に望ましい。例えば、逆量子化ステップを一つにするためには、数学的特徴に関連づけられた量子化パラメータが用いられることになる。この量子化ステップサイズは、Ｈ．２６４におけるＱＰが６個増えるごとに倍増する。もしＱＰ_ｂ＝ＱＰ_ｅ＋６であると、ベース層係数はエンハンスメント層スケールに変換され、以下の式によって組み合わされる。

図１０はベース層、エンハンスメント層データの復号化のための復号プロセスの他の例を示す。プロセス１０００はＱＰ_ｂ＝ＱＰ_ｅ＋６の場合のベース層、エンハンスメント層の量子化を用いる。式[５]に示すように、ベース層係数はステップ１００５において係数を左へ１ビットシフトする（スケーリングの形で）ことによりエンハンスメント層スケールに変換され、ステップ１０１０においてエンハンスメント層係数と加算される。従って、ステップ１０１５における一回の逆量子化とステップ１０２０における一回の逆変換だけが用いられる。もしベース層係数がゼロであればシフト動作は必要ない。従ってこの動作を用いるために~Ｃ’_baseと~Ｃ’_enhとがゼロでないときは、ＱＰ_ｂとＱＰ_ｅとの差は６の倍数となる。ビットシフト法以外の方法としてたとえばスケールファクタをスカラーと掛け算する方法などを用いることもできる。

ＰフレームとＢフレームとが内部(Intra)ＭＢと相互(Inter)ＭＢとを有するようにできる。内部ＭＢとしてＰまたはＢフレーム内のあるマクロブロックの符号化の決定のためにレートひずみ最適化を用いることはハイブリッドビデオ符号化のための通常の方法である。内部ＭＢがベース層またはエンハンスメント層相互ＭＢに従わないときに単層復号化を実行するためには、ベース層内部ＭＢの空間的予測のためには隣接する相互ＭＢが用いられることはない。エンハンスメント層復号化のためのコンピュータ動作を複雑にしないために、ベース層のＰまたはＢフレーム内の内部ＭＢに対してはエンハンスメント層における微細化はスキップできる。

Ｐ又はＢフレーム内の内部ＭＢは相互ＭＢよりも多くのビットを必要とする。このため、Ｐ又はＢフレーム中の内部ＭＢはより高いＱＰにおいてベース層品質に従って符号化することができる。これに起因してビデオ品質に若干の劣化が生じるが、この劣化は、上記したように、ベース、エンハンスメント層中の相互ＭＢ係数において後のフレーム内で微細化されることにより問題とはならない。この問題とならないことは二つの理由による。その第一は人間の視覚システム（ＨＶＳ）の特性によるものであり、他の一つは相互ＭＢが内部ＭＢを微細化することにある。対象が第一フレームから第二フレームに移動すると、第一フレーム内の幾つかの画素が第二フレームでは見えなくなる（カバー情報となる）。そして、第二フレーム内の幾つかの画素は初期は見える（非カバー情報となる）。人間の目はこのようなカバー情報や非カバー情報には感度が小さい。従って非カバー情報についてはこれが低品質で符号化されたとしても目はその差を感じない。もし同じ情報が次のＰフレームに残っていると、エンハンスメント層は低いＱＰを持っているのでこのエンハンスメント層におけるＰフレームでは高いチャンスで微細化できる。

内部ＭＢをＰまたはＢフレームに取り込む他の方法としてイントラリフレッシュ(Intra Refresh)として知られている。この場合、たとえスタンダードＲ−Ｄ最適化が相互符号化ＭＢとして指定したとしてもそれらの幾つかのＭＢがイントラＭＢとして符号化される。これらのベース層に含まれる内部符号化ＭＢはＱＰｂまたはＱＰｅとともに符号化される。もしＱＰｅがベース層に用いられると、エンハンスメント層における微細化は必要ない。もしＱＰｂがベース層に用いられるときは微細化が必要となる。そうしないと、エンハンスメント層において品質の低下が認められることになる。符号化効率の面では内部符号化よりも相互符号化の方が良いので、エンハンスメント層における微細化は相互符号化でなされる。この場合、ベース層係数はエンハンスメント層では用いられない。従って、エンハンスメント層における品質の向上は新しい動作を行うことなく得られることになる。

Ｂフレームは高い圧縮品質を提供するのでエンハンスメント層に共通に用いられる。しかしながらＢフレームはＰフレームの内部(Intra)ＭＢを参照しなければならない。もしＢフレームの画素をエンハンスメント層の品質で符号化する場合には、上述したように、Ｐフレームの内部ＭＢの低い品質のために多くのビットを必要とする。上記したようにＨＶＳの品質の特性を用いることにより、ＢフレームのＭＢはＰフレームの低い品質の内部ＭＢを参照して低い品質で符号化できることになる。

Ｐ又はＢフレーム内の内部(Intra)ＭＢを用いる場合としては、符号化対象のビデオ中に場面の変化があることによりＰまたはＢフレーム内のすべてのＭＢがイントラ(Intra)モードで符号化される場合がある。この場合にはすべてのフレームがベース層品質で符号化され、エンハンスメント層での微細化は行われない。もし場面変化がＢフレームで生じ、Ｂフレームがエンハンスメント層で符号化されると、Ｂフレームはベース層品質で符号化され、または単純に停止する。もし場面変化がＰフレームで生じると、何も変える必要は無いが、Ｐフレームは停止され、またはベース層品質で符号化される。

上記の符号化プロセスの各例はオリジナルデータが変換された後でベース層とエンハンスメント層を選択する方法を用いている。同様の分割方法は係数を変換する以前にも用いることができる。

情報と信号の表示を他の色々な方法を用いて行うことができることは当業者が用意に理解できることである。例えば上述したデータ、命令、コマンド、情報、信号、ビット、記号、およびチップなどは、電圧、電流、電磁波、磁界、磁気粒子、光学界、光粒子、あるいはこれらの組み合わせの表示によっても可能である。

更に、この発明の実施形態や例について説明された論理ブロック、モジュール、アルゴリズムステップなどが電子的ハードウエア、コンピュータソフトウエア、又はこれらの組み合わせにより実現できることは当業者には自明である。これらのハードウエアとソフトウエアの相互の変換の可能性を明確にするために、種々の部品、ブロック、モジュール、回路及びステップはそれらの機能を表す表現で記載されている。これらの機能をハードウエアで実現するかソフトウエアで実現するかは、システム全体におけるそれらの特定の用途と設計の制約とに応じて決定される。当業者はそれらの特定の用途に対して記載された機能を種々の方法で実現するが、その決定の際には記載された方法から逸脱しない範囲でなされるべきである。

ここに述べられた実施形態に関連して説明された論理ブロック、モジュール、回路などは更に、それらの機能を実現するように設計された汎用のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理素子、個別ゲートまたはトランジスタロジック、個別ハードウエア素子、またはこれらの種々な組み合わせを用いて構成することができる。汎用のプロセッサとしてはマイクロプロセッサを用い得るが、更に従来の種々のプロセッサやコントローラ、マイクロコントローラ、あるいはステートマシーンを用いることもできる。プロセッサは更に計算装置の組み合わせ、例えばＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、一つ又は複数のマイクロプロセッサとＤＳＰコア、または他の種々の組み合わせにより実現することができる。

ここで説明された実施形態の方法やアルゴリズムのステップは、ハードウエアやプロセッサによって実行されるソフトウエアモジュールやこれらの組み合わせによって直接実施できる。ソフトウエアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、又は他の公知の記憶媒体のどのようなものに記録しても良い。例えば、記憶媒体をプロセッサに結合すれば、このプロセッサはこの記録媒体に対して情報の読み出し、書き込みを行うことができる。或いはこの記憶媒体とプロセッサとを一体に構成することができる。このプロセッサと記憶媒体とは特定用途集積回路（ＡＳＩＣ）内に組み込むことができる。このＡＳＩＣは無線モデム中に組み込まれる。或いは、プロセッサと記憶媒体とは無線モデム中に夫々独立に組み込むことができる。

上述した実施形態の説明は当業者がこの記載された方法と装置を容易に形成し使用することができるように為されている。これらの実施形態の変形は当業者にとって自明であり、その原理は記載された方法と装置の原理から逸脱することなく他の種々の実施形態に適用可能である。

以上において、最小の復号化オーバヘッドによりベース層においては良好なビデオ品質を、エンハンスメント層では高品質ビデオを提供する方法と装置について述べた。

ストリーミングビデオを出力するための通信システムの一例を示す。ＳＮＲスクランブルストリーミングビデオを符号化する一例を示すフローチャート。ＳＮＲスクランブルストリーミングビデオを単一層内で復号化する一例を示すフローチャート。Ｐフレーム形成プロセスの一例を示す図。ベース層とエンハンスメント層係数の符号化のための符号化プロセスの一例を示す図。図４に示すプロセスで用いるためのベース層とエンハンスメント層の係数選択プロセスの一例を示す図。図４に示すプロセスで用いるためのベース層とエンハンスメント層の係数選択プロセスの他の例を示す図。図４に示すプロセスで用いるためのベース層とエンハンスメント層の係数選択プロセスの更に他の例を示す図。ベース層データを復号化するための復号化プロセスの一例を示す図。ベース層データおよびエンハンスメント層データを復号化するための復号化プロセスの一例を示す図。ベース層データおよびエンハンスメント層データを復号化するための復号化プロセスの他の例を示す図。

Claims

符号化データの第一層および符号化データの第二層を受信し、
受信した符号化データの第一層および符号化データの第二層を組み合わせ、
この組み合わせデータを復号化する方法であって、
この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する方法。
更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、
この残留エラー係数と微差とを組み合わせた第一層及び第二層と組み合わせ、
この組み合わせた第一層、第二層および残留エラー係数と微差とを復号化する、
請求項１に記載の方法。
更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項１に記載の方法。
更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換し、受信された第二層データは第二の量子化ステップサイズで符号化される、請求項１に記載の方法。
更に、受信した第一層データ中の内部符号化データを同定し、受信した第二層データ中の受信した第一層データ中の内部符号化データに対する微差を同定する、請求項１に記載の方法。
更に、同定された第一層内部符号化データを第一パス中で復号化し、
同定された第二層内部符号化データを第二パス中で復号化し、
復号化された第一層内部符号化データおよび第二層内部符号化データを組み合わせる、請求項５に記載の方法。
更に、組み合わされた第一層、第二層データを逆量子化し、
この逆量子化されたデータを逆変換する、請求項１に記載の方法。
更に、組み合わされたデータ中の第一層に関連する相互符号化データを同定し、
組み合わされたデータ中の第二層に関連する相互符号化データを同定し、
同定された第一層に関連する相互符号化データおよび同定された第一、第二層に関連する相互符号化データのいずれかを復号化する、請求項１に記載の方法。
更に、組み合わされたデータ中の第一層に関連する内部符号化データを同定し、
同定された内部符号化データを復号化する、請求項１に記載の方法。
更に、組み合わされたデータ中の第一層に関連する内部符号化データを同定し、
組み合わされたデータ中の第二層に関連する相互符号化データを同定し、
同定された内部符号化データおよび同定された相互符号化データのいずれかを復号化する、請求項１に記載の方法。
符号化データの第一層および符号化データの第二層を受信する手段と、
受信した符号化データの第一層および符号化データの第二層を組み合わせる手段と、
この組み合わせデータを復号化する手段とを具備し、
この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する装置。
前記受信手段は更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信する手段と、
この残留エラー係数と微差とを組み合わせた第一層及び第二層と組み合わせる手段と、
この組み合わせた第一層、第二層および残留エラー係数と微差とを復号化する手段とを有する、
請求項１１に記載の装置。
前記受信手段は更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信する手段を有し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項１１に記載の装置。
更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換する手段を有し、受信された第二層データは第二の量子化ステップサイズで符号化される、請求項１１に記載の装置。
更に、第一層データのビットシフトを行う手段を有する請求項１４に記載の装置。
前記受信手段は更に、受信された第一層データ内の内部符号化データを同定し、受信された第二層データ内の受信された第一層内部符号化データに対する微差を同定する手段を有する、請求項１１に記載の装置。
更に、第一パス内で同定された第一層内部符号化データを復号化する手段と、
第二パス内で同定された第二層内部符号化データを復号化する手段と、
復号化された第一層内部符号化データおよび復号化された第二層内部符号化データとを組み合わせる手段とを有する、請求項１６に記載の装置。
前記復号化手段は更に、組み合わされた第一層、第二層データを逆量子化する手段と、
この逆量子化されたデータを逆変換する手段とを有する、請求項１１に記載の装置。
第一層符号化データおよび第二層符号化データを受信する受信部と、
受信された第一層符号化データと第二層符号化データとを組み合わせる組み合わせ部と、
ベース層を有する第一層とエンハンスメント層を有する第二層との組み合わせデータを復号化する復号化部とを有する、マルチメディアビットストリームを復号化する装置。
前記受信部は更にベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信するように構成され、前記組み合わせ部は更に残留エラー係数と微差とを組み合わされた第一層、第二層データを組み合わせるように構成され、復号化部は更に組み合わされた第一層、第二層および組み合わされた残留エラー係数および微差を復号化するように構成される、請求項１９に記載の装置。
前記受信部は、ベース層データ中の残留エラー係数を受信しエンハンスメント層データ中のベース層残留エラー係数に対する微差を受信するように構成され、このベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値あるいはゼロのいずれかであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項１９に記載の装置。
更に、第一層データを第一量子化ステップサイズから第二量子化ステップサイズに変換するように構成されたスケーラを有し、受信された第二層データは第二量子化ステップサイズで符号化される、請求項１９に記載の装置。
更に、受信された第一層データ中の内部符号化データを同定し、受信された第二層データ中の受信された第一層内部符号化データに対する微差を同定するように構成された同定装置を有する、請求項１９に記載の装置。
前記復号化部は更に、同定された第一層内部符号化データを第一パス中で復号化し、同定された第二層内部符号化データを第二パス中で復号化し、組み合わせ部は復号化された第一層内部符号化データおよび第二層内部符号化データを組み合わせるように構成される、請求項１９に記載の装置。
更に、前記組み合わされた第一層、第二層データを逆量子化するように構成された逆量子化部および逆量子化したデータを逆変換するように構成された変換器とを有する請求項１９に記載の装置。
マルチメディアビットストリームを復号化するための方法を用いるコンピュータ読み取り可能の媒体であって、前記方法は、
符号化データの第一層および符号化データの第二層を受信し、
受信した符号化データの第一層および符号化データの第二層を組み合わせ、
この組み合わせデータを復号化する方法であって、
この第一層はベース層を有し、第二層はエンハンスメント層を有する、コンピュータ読み取り可能な媒体。
前記方法は更に、ベース層データ中の残留エラー係数を受信するとともにエンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、
この残留エラー係数と微差とを組み合わされた第一層、第二層データとを組み合わせ、
この組み合わされた第一層、第二層、残留エラー係数、微差を復号化する、請求項２６に記載のコンピュータ読み取り可能な媒体。
前記方法は更に、ベース層データ中の残留エラー係数を受信するとともにエンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、このベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値あるいはゼロのいずれかであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項２６に記載のコンピュータ読み取り可能な媒体。
前記方法は更に、第一層データを第一量子化ステップサイズから第二量子化ステップサイズに変換し、受信された第二層データを第二量子化ステップサイズで符号化する、請求項２６に記載のコンピュータ読み取り可能な媒体。
前記方法は更に、受信された第一層データ中の内部符号化データを同定し、受信された第二層データ中の受信された第一層内部符号化データに対する微差を同定する、請求項２６に記載のコンピュータ読み取り可能な媒体。
前記方法は更に、同定された第一層内部符号化データを第一パス中で復号化し、
同定された第二層内部符号化データを第二パス中で復号化し、
復号化された第一層内部符号化データおよび第二層内部符号化データを組み合わせる、請求項３０に記載のコンピュータ読み取り可能な媒体。
前記方法は更に、組み合わされた第一層と第二層データを逆量子化し、
この逆量子化されたデータを逆変換する、請求項２６に記載のコンピュータ読み取り可能の媒体。
符号化データの第一層および符号化データの第二層を受信し、
受信した符号化データの第一層および符号化データの第二層を組み合わせ、
この組み合わせデータを復号化するように構成され、
この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化するプロセッサ。
更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、
この残留エラー係数と微差とを組み合わせた第一層及び第二層と組み合わせ、
この組み合わせた第一層、第二層および残留エラー係数と微差とを復号化するように構成された、請求項３３に記載のプロセッサ。
更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信するように構成され、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は最小残留エラー係数とオリジナルエンハンスメント層残留エラー係数との間の差である、請求項３３に記載のプロセッサ。
更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換するように構成され、受信された第二層データが第二の量子化ステップサイズに符号化される、請求項３３に記載のプロセッサ。
受信した第一層データ中の内部符号化データを同定し、受信した第二層データ中の受信した第一層データ中の内部符号化データに対する微差を同定するように構成された、請求項３３に記載のプロセッサ。
更に、同定された第一層内部符号化データを第一パス中で復号化し、同定された第二層内部符号化データを第二パス中で復号化し、復号化された第一層内部符号化データおよび第二層内部符号化データを組み合わせるように構成された、請求項３７に記載のプロセッサ。
更に、組み合わされた第一層と第二層データを逆量子化し、この逆量子化されたデータを逆変換するように構成された、請求項３３に記載のプロセッサ。
第一層及び第二層内でデータを符号化し、単一の組み合わされた層内でこのデータを復号化するためにデータを選択し、
選択されたデータを第一層および第二層中で符号化する、マルチメディアデータを符号化するための方法。
前記符号化は、
第一層中で係数を符号化し、
第一層の微差を第二層中で符号化する、請求項４０に記載の方法。
第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項４０に記載の方法。
更に、第一、第二係数に基づいて第一主係数を選択し、
第一、第二係数に基づいて第二主係数を計算し、
前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項４２に記載の方法。
前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択し、前記計算は、第二主係数を第二係数と等しく設定する、請求項４３に記載の方法。
更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項４０に記載の方法。
更に、第一層符号化データを第一ステップサイズで量子化し、第二層符号化データを第二ステップサイズで量子化し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項４０に記載の方法。
前記データは内部符号化データを有し、前記符号化は更に第一層または第一、第二層内の内部符号化データを符号化する、請求項４０に記載の方法。
前記データは相互符号化データを有し、前記符号化は更に第二層中の相互符号化データを有する、請求項４０に記載の方法。
前記符号化は更に、選択されたデータを第一層中の相互符号化データとして符号化し、第二層中の相互符号化データとして符号化する、請求項４０に記載の方法。
前記符号化は更に、選択されたデータを第一層中の内部符号化データとして符号化する、請求項４０に記載の方法。
前記符号化は更に、選択された或るデータを第一層中の内部符号化データとして符号化し、選択されたデータを第二層中の相互符号化データとして符号化する、請求項４０に記載の方法。
更にオーバヘッド情報を符号化するステップを有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項４０に記載の方法。
第一層及び第二層内でデータを符号化し、単一の組み合わされた層内でこのデータを復号化するためにデータを選択する手段と、
選択されたデータを第一層および第二層中で符号化する手段と、
を具備するマルチメディアデータを符号化するための装置。
前記符号化手段は、
第一層中で係数を符号化する手段と、
第一層の微差を第二層中で符号化する手段と、
を具備する請求項５３に記載の装置。
第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項５３に記載の装置。
更に、第一、第二係数に基づいて第一主係数を選択する手段と、
第一、第二係数に基づいて第二主係数を計算する手段とを具備し、
前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項５５に記載の装置。
前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択手段は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択する手段を含み、前記計算手段は、第二主係数を第二係数と等しく設定する手段を含む、請求項５６に記載の装置。
更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付ける手段を含み、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項５３に記載の装置。
更に、第一層符号化データを第一ステップサイズで量子化する手段と、第二層符号化データを第二ステップサイズで量子化する手段とを有し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項５３に記載の装置。
前記データは内部符号化データであり、前記符号化手段は第一層または第一、第二層内の内部符号化データを符号化する、請求項５３に記載の装置。
前記データは相互符号化データであり、前記符号化手段は第二層中の相互符号化データを符号化する、請求項５３に記載の装置。
更にオーバヘッド情報を符号化する手段を有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項５３に記載の装置。
第一層及び第二層内でデータを符号化し、単一の組み合わされた層内でこのデータを復号化するためにデータを選択し、
選択されたデータを第一層および第二層中で符号化する、マルチメディアデータを符号化するための方法を実施するためのコンピュータにより読み取り可能の媒体。
前記符号化は、
第一層中で係数を符号化し、
第一層の微差を第二層中で符号化する、請求項６３に記載のコンピュータにより読み取り可能の媒体。
第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項６３に記載のコンピュータにより読み取り可能の媒体。
前記方法は更に、第一、第二係数に基づいて第一主係数を選択し、
第一、第二係数に基づいて第二主係数を計算し、
前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項６５に記載のコンピュータにより読み取り可能の媒体。
前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択し、前記計算は、第二主係数を第二係数と等しく設定する、請求項６６に記載のコンピュータにより読み取り可能の媒体。
前記方法は更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項６３に記載のコンピュータにより読み取り可能の媒体。
前記方法は更に、第一層符号化データを第一ステップサイズで量子化し、第二層符号化データを第二ステップサイズで量子化し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項６３に記載のコンピュータにより読み取り可能の媒体。
前記方法は更にオーバヘッド情報を符号化するステップを有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項６３に記載のコンピュータにより読み取り可能の媒体。
第一層及び第二層内でデータを符号化し、単一の組み合わされた層内でこのデータを復号化するためにデータを選択し、
選択されたデータを第一層および第二層中で符号化する、
方法を制御するように構成された、マルチメディアデータを符号化するためのプロセッサ。
前記符号化方法は、第一層中で係数を符号化し、
第一層の微差を第二層中で符号化する、
請求項７１に記載のプロセッサ。
第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項７１に記載のプロセッサ。
前記方法は更に、第一、第二係数に基づいて第一主係数を選択し、
第一、第二係数に基づいて第二主係数を計算し、
前記符号化は更に、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項７３に記載のプロセッサ。
前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択方法は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択するステップを含み、前記計算方法は、第二主係数を第二係数と等しく設定するステップを含む、請求項７４に記載のプロセッサ。
前記方法は更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項７１に記載のプロセッサ。
前記方法は更に、第一層符号化データを第一ステップサイズで量子化するステップと、第二層符号化データを第二ステップサイズで量子化するステップとを有し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項７１に記載のプロセッサ。
前記方法は更にオーバヘッド情報を符号化するステップを有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項７１に記載のプロセッサ。
第一層及び第二層内でデータを符号化し、単一の組み合わされた層内でこのデータを復号化するためにデータを選択するように構成された受信部と、
選択されたデータを第一層および第二層中で符号化するように構成された符号化部と、
を具備するマルチメディアデータを符号化するための装置。
前記符号化部は更に、
第一層中で係数を符号化し、
第一層の微差を第二層中で符号化する、請求項７９に記載の装置。
第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項７９に記載の装置。