JP2008533850A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2008533850A5 JP2008533850A5 JP2008500997A JP2008500997A JP2008533850A5 JP 2008533850 A5 JP2008533850 A5 JP 2008533850A5 JP 2008500997 A JP2008500997 A JP 2008500997A JP 2008500997 A JP2008500997 A JP 2008500997A JP 2008533850 A5 JP2008533850 A5 JP 2008533850A5
- Authority
- JP
- Japan
- Prior art keywords
- layer
- data
- coefficient
- residual error
- encoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000010410 layer Substances 0.000 claims description 626
- 238000000034 method Methods 0.000 claims description 157
- 238000013139 quantization Methods 0.000 claims description 69
- 239000002356 single layer Substances 0.000 claims description 27
- 230000033001 locomotion Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 4
- 238000010187 selection method Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 56
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000000872 buffer Substances 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Description
本発明は、階層的(スカラブル)ビデオデータの符号化、復号化のための方法と装置に関する。
インターネット及び無線通信の爆発的な成長と偉大なる成功、およびマルチメディアサービスへの増大する要求により、インターネットとモバイル/無線チャネルを介してのストリーミングメディアは大きな注目を集めている。異種インターネットプロトコル(IP)ネットワークにおいては、ビデオはサーバによって供給され、一つ又は多くのクライアントによって流通される。有線接続は、ダイヤルアップ、ISDN、ケーブル、xDSL、ファイバー、LAN(local
area network)、WAN(wide area network)、などがある。その伝送モードはユニキャスト又はマルチキャストのいずれかである。PDA(personal digital assistant)、ラップトップ、デスクトップ、セットトップボックス、TV、HDTV(high-definition television)、モバイルホンなどを含む多くの個人クライアント装置は、同じコンテンツに対して異なる帯域で同時に双方向の通信を要求する。接続帯域は短時間に変化し(9.6kpbsから100Mbpsあるいはそれ以上)、サーバの対応より早くなることがある。
area network)、WAN(wide area network)、などがある。その伝送モードはユニキャスト又はマルチキャストのいずれかである。PDA(personal digital assistant)、ラップトップ、デスクトップ、セットトップボックス、TV、HDTV(high-definition television)、モバイルホンなどを含む多くの個人クライアント装置は、同じコンテンツに対して異なる帯域で同時に双方向の通信を要求する。接続帯域は短時間に変化し(9.6kpbsから100Mbpsあるいはそれ以上)、サーバの対応より早くなることがある。
モバイル/無線通信においても異種IPネットワークと同様の問題がある。モバイル/無線チャネルを介してのマルチメディアコンテンツの転送は、これらのチャネルがマルチパスフェージングやシャドウ現象、記号間干渉、ノイズ妨害などによりしばしば非常に損なわれるために、非常に困難である。その他、交通の移動と競争とによる帯域の変化や喪失が理由となっている。チャネルノイズとユーザの数とがチャネル環境や品質の時間的な変化を決定する。環境条件に加えて、使用するネットワークが地球的位置条件やモバイルローミングのために第二、第三世代の携帯電話ネットワークがブロードバンドデータ専用ネットワークに変わる可能性がある。これらのすべての変化がフライ(fly)上のマルチメディアコンテンツの通信速度の変化にあった調節を要求している。従って、異種有線/無線ネットワークを介してビデオ送信を良好に行うためには、ロスに強く、且つ有効な符号化や、ネットワーク条件、デバイスの特性およびユーザの好みの変化に対する即応性が要求される。
異なるユーザの要求やチャネル変化に対応するために、複数の独立したビットストリームのバージョンを発生させ、夫々が送信帯域やユーザの表示装置や計算能力に基づいた一つのクラスの制約に対応するようにしたが、これはサーバ記憶装置やマルチキャスト用途に対して十分ではない。階層性符号化においては、ハイエンドユーザに適応する単一マクロビットストリームがサーバ内に用意され、ローエンド用途のためのビットストリームはマクロビットストリームのサブセットとして用意される。これにより、サブビットストリームを選択的に伝送することにより、単一のビットストリームを多様な用途環境に適応させることができる。階層的符号化の他の利点は、エラーが発生し易いチャネル上にビデオ伝送を確実に行うことである。エラー防止とエラー抑止とを簡単に行うことができる。更に信頼性のある伝送チャネルとより良いエラー防止とを、最も重要な情報を含むベース層ビットに対してもたらすことができる。
空間的、時間的、信号対雑音比(SNR)が階層的なハイブリッド符号器として、MPEG−1、MPEG−2、MPEG−4(集合的にはMPEG−x)、H.261、H.262、H.263、およびH.264(集合的にはH.26x)がある。ハイブリッド符号化では、時間的な冗長性は運動補償予測(MCP)によって取り除かれる。ビデオは通常一連の画像グループ(GOP)に分割され、各GOPは内部符号化フレーム(I)から始まりその後に前(及び/又は後)予測フレームPおよび双方向性予測フレームBが続く構成である。PフレームとBフレームとはMCPを用いた相互予測フレームである。ベース層は低品質レベルのIフレーム、Pフレーム、Bフレームの最も重要な情報を持つことができ、エンハンスメント層はこれらのフレームまたはベース層には含まれない追加の時間的なスケーリングのフレームのより高品質の情報を持つことができる。SNR階層性は選択的にエンハンスメント層における高品質のデータの復号化を行わずにベース層データの復号化を行うことにより実現できる。データがベース層とエンハンスメント層とにどのように分割されたかに応じて、ベース層とエンハンスメント層データの復号化は複雑となりメモリ容量の要求も大きくなる。コンピュータ処理が複雑化しメモリ要求も増大することは、PDA(personal digital assistants)やモバイルホンなどの電源、処理が制限された装置の動作に対しては障害となる。したがって、ベース層とエンハンスメント層の復号化の際にはこれらの装置の処理の複雑化とメモリ容量の増大化をもたらさないことが特に要求される。
本出願は、“Two Parallel Encoding and Single Layer Decoding”と題して2005年3月10日に出願された米国特許仮出願番号60/660/877号、および“Scalable Video Coding with Two Layer Encoding and Single Layer Decoding”と題して2005年9月1日に出願された米国特許仮出願番号60/713,208号の優先権の利益を主張する。
第一層符号化データおよび第二層符号化データを受信し、受信した符号化データの第一層および符号化データの第二層を合成し、この合成データを復号化する方法と装置であって、この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する方法と装置が記載される。
他の態様において、第一層符号化データおよび第二層符号化データを受信する受信部と、受信された第一層符号化データと第二層符号化データとを合成する合成部と、ベース層を有する第一層とエンハンスメント層を有する第二層との合成データを復号化する復号化部とを有し、この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する装置が記載される。
上記の実施態様において、更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、この残留エラー係数と微差とを前記合成した第一層及び第二層と合成し、この合成した第一層、第二層および残留エラー係数と微差とを復号化する方法と装置とを有する。他の実施態様として、更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される方法と装置とを有する。更に他の実施形態として、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される方法と装置とを有する。更に、第一の量子化ステップサイズの第一層データを第二の量子化ステップサイズに変換し、受信された第二層データは第二の量子化ステップサイズに符号化される方法と装置を有する。更に、合成されたデータ中の第一層に関連する相互符号化データを同定し、合成されたデータ中の第二層に関連する相互符号化データを同定し、同定された第一層に関連する相互符号化データおよび同定された第一、第二層に関連する相互符号化データのいずれかを復号化する、方法と手段とを有する。
更に、合成されたデータ中の第一層に関連する内部符号化データを同定し、同定された内部符号化データを復号化する方法と装置とを有する。更に、合成されたデータ中の第一層に関連する内部符号化データを同定し、合成されたデータ中の第二層に関連する相互符号化データを同定し、同定された内部符号化データおよび同定された相互符号化データのいずれかを復号化する、方法と手段とを有する。
前記方法と装置は更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換する手段を有し、受信された第二層データは第二の量子化ステップサイズに符号化される、方法と手段とを有する。更に、第一パス内で第一層内部符号化データを同定し、第二パス内で同定された第二層内部符号化データを復号化し、復号化された第一層内部符号化データおよび復号化された第二層内部符号化データとを合成する方法と手段とを有する。更に、合成された第一層、第二層データを逆量子化し、この逆量子化されたデータを逆変換する方法と手段とを有する。
更に、上記実施態様は、コンピュータにより読み取り可能な媒体および/またはプロセッサにより実現できる。
更に他の態様においては、第一層及び第二層内でデータを符号化し、単一の層内で合成データを復号化するためにデータを選択し、選択されたデータを第一層および第二層中で符号化する、マルチメディアデータを符号化するための方法と装置とである。
更に他の態様においては、第一層及び第二層内でデータを符号化し、単一の層内で合成データを復号化するためにデータを選択するように構成された受信部と、選択されたデータを第一層および第二層中で符号化するように構成された符号化部とを具備するマルチメディアデータを符号化するための装置である。
上記の態様において、第一層で係数を符号化し、第一層係数の微差を第二層で符号化する。第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、第一、第二係数は復号化のために用いられる。このデータは内部符号化データである。これにより、符号化方法と装置は、第一層中又は第一、第二層中の内部符号化データを符号化する方法と手段とを有する。
このデータは相互符号化データである。この場合、符号化方法と装置は、第二層中の相互符号化データを符号化する方法と手段とを有する。
更に、第一層中で相互符号化データとして選択されたデータを符号化し、第二層中で相互符号化データとして選択されたデータを符号化する方法と手段とを有する。
この場合、さらに第一層中で内部符号化データを符号化する方法と手段とを有する。
請求項40の方法であって、符号化は更に、第一層中の内部符号化データとして選択されたデータおよび第二層中で相互符号化データとして選択されたデータを符号化する。
更に、第一、第二係数に基づいて第一主係数を選択し、第二係数に基づいて第二主係数を計算する方法と手段とを有し、前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する方法と手段とを有する。前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択方法と手段は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択し、前記計算方法と手段は第二主係数を第二係数と等しく設定する、方法と装置。
前記方法及び装置において更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される。前記方法及び装置は更に、第一層符号化データを第一ステップサイズで量子化し、第二層符号化データを第二ステップサイズで量子化し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる。
更に、オーバヘッド情報を符号化し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、符号化方法と装置。
更に、上記実施態様は、コンピュータにより読み取り可能な媒体および/またはプロセッサにより実現できる。
以下、少ない数の復号オーバヘッドによってベース層と一つまたはそれ以上のエンハンスメント層を含むビデオ多重層を提供する方法と装置とを説明する。符号化アルゴリズムがベース層およびエンハンスメント層係数を作成し、これらの層が復号化に用いられ得る場合には量子化復元の前に復号器により組み合わされる。実施形態において、エンハンスメント層を用いることができないときは有効なベース層ビデオを提供するか、或いは復号器が省電力のためにエンハンスメント層を復号しないように選択される。以下の説明では特定の場合について詳細な説明を行うが、当業者にとってはこれらの特定の場合以外にも種々実施できることは勿論である。例えば、実施形態を必要以上に詳細に説明することがないように電子部品はブロック図として示される。或いは、これらの部品は他の実施形態において異なる構成、動作を持つものとして詳細に説明される場合がある。
更に、実施形態は、フローチャート、フロー図、構成図、またはブロック図を用いてプロセスとして説明される。フローチャートは動作を順番のプロセスとして説明するが、多くの動作は並列動作または同時動作として行われ、或いは繰り返し行われる。更に、動作の順番は変更することができる。一つのプロセスはその動作が完了したときに終了する。またプロセスは方法、機能、手順、サブルーチン、サブプログラムなどに対応させることができる。プロセスが機能に対応するときは、その終了はコーリング機能またはメイン機能のリターンに対応する。
図1はストリーミングビデオを出力するための通信システムの一例を示している。このシステム100は符号化装置105と復号化装置110とを含む。符号化装置105は更に、変換部115と、量子化部120と、SNR階層的(スカラブル)符号器部125と、メモリ部130と、プロセッサ部135と、通信部140とを含む。プロセッサ135は、他の構成部における処理を行うためのコンピュータプラットフォームを提供する。変換部115は空間的なドメインからのビデオデータを他のドメイン、例えばDCT(ディスクリートコサイン変換)における周波数ドメインに変換する。変換されるデータは実際のビデオデータが変換される内部符号化データであってもよく、空間的予測残留値が変換される内部符号化データであってもよく、あるいは残留エラーが変換される相互符号化データであってもよい。他のデジタル変換としては、アダマール変換や、DWT(ディスクリートウエーブレット変換)およびH.264中で用いられる整数変換などがある。
量子化部120は複数ビットを各変換係数を表すように割り当てる。変換された係数の量子化は各ブロックまたはマクロブロック毎に変えることができる。マクロブロックは例えば16×16画素(16×16のルマ(Luma)ブロック或いは8×8のクロマ(Chroma)ブロックで構成される)である。量子化パラメータQPは量子化を行うレベルを決定する。更なるデジタル圧縮はQPを増加させることにより、SNR階層的ビデオストリームのベース層における符号化を行うことができる係数のより低いデジタル品質化により行うことができる。QPを減少させることにより、SNR階層的ビデオストリームのエンハンスメント層における符号化を行うことができる係数のより高いデジタル品質化を実現することができる。SNR階層的符号器部125は係数の相互間の選択を平行に行い、係数をベース層係数とエンハンスメント層係数とに分割する。ベース層とエンハンスメント層係数の相互間の選択は、二つの層であるベース層とエンハンスメント層データの復号化を単一層内で行うことができるようにして行うことができ、詳細は後で説明される。メモリ部130は符号化すべき原ビデオデータや伝送すべき符号化ビデオデータや色々な符号化部での中間データなどを記憶するのに用いられる。
変換部115と量子化部120とはそれぞれ逆変換および逆量子化も行う。これらの逆動作は、復号化装置内におけると同じように係数の再構成を行うように符号化装置内で行われ、残留エラー計算とエンハンスメント層係数計算とが可能な限り高精度となる。
通信部140は外部ソース145からの符号化すべきデータの受信に用いられるロジック、例えば受信部を有する。外部ソース145は例えば外部メモリ、インターネット、ライブビデオおよび/またはオーディオ装置であり、データ受信は有線、無線のいずれでもよい。通信部140は更に符号化データをネットワーク150を介して伝送(Tx)するロジックを含む。この符号化データは変換データ、量子化データ、可変長符号化データ、またはこれらの組み合わせデータである。ネットワーク150は電話、ケーブル、光ケーブルのような有線システムあるいは無線システムの一部である。無線通信システムの場合、ネットワーク150は例えば、符号分割多元接続(CDMAまたはCDMA2000)システムであり、または周波数分割多元接続(FDMA)システムであり、GSM/GPRS(ゼネラルパケットラジオサービス)/(エンハンスドデータGSM環境)またはTETRA(テレストリアルトランクドラジオ)サービス業用の携帯電話技術のような時分割多元接続(TDMA)システムであり、広帯域符号分割多元接続(WCDMA)であり、高データレート(1xEV−DOまたは1xEV−DOゴールとマルチキャスト)システムであり、またはこれらの技術を組み合わせて用いた一般的などのような無線通信システムでもよい。符号化装置105内の構成要素は他の要素と交換し、あるいは組み合わせて用いることができる。例えば、プロセッサ部135は符号化装置105の外部に設けることができる。
復号化装置110は符号化装置105と同様に、逆変換部155、逆量子化部160、単層復号器部165、メモリ部170、通信部175、およびプロセッサ部180を有する。復号化装置110はネットワーク150を介して伝送された符号化データまたは外部記憶部185からのデータを受信する。この符号化データは、変換データ、量子化データ、可変長符号化データ、あるいはこれらの組み合わせデータを含む。通信部175はネットワーク150からの符号化データを受信(Rx)するのに用いられるロジック、及び符号化データを外部記憶部185から受信するロジックを含む。外部記憶部185はたとえば外部RAMまたはROMあるいは外部サーバである。単層復号器部165はベース層とエンハンスメント層データを復号化するロジックを含む。ベース層データは、もしエンハンスメント層が受信されないか、あるいは劣化された状態で受信されたか、あるいはバッテリー電力を維持するためか、あるいは電力を制御するために、それのみで復号化される。単層復号器部165は更に、ベース層とエンハンスメント層データを合成し、合成データを単層内で復号化するためのロジックを含む。符号化内部データは逆量子化部160により処理され、次に逆変換部155で処理され、復号された画像データが得られ、表示部190上に表示される。
相互符号化データは基準フレームから予測され、この基準フレームの復号化の後で復号化される。残留エラー係数は単層復号器部165、逆量子化部160、および逆変換部155によって処理され、復号化された残留エラーが得られる。この残留エラーは次に基準フレームからの最適マクロブロックと組み合わされる。復号化フレームは表示部190で表示され、外部記憶部185で記憶され、あるいはプロセッサ部180の内部記憶部に記憶される。表示部190は、表示スクリーンを含むビデオ表示ハードウエアまたはロジックなどを持つ復号化装置と一体として構成でき、あるいは外部周辺装置であってもよい。通信部175は更に復号化フレームを外部記憶部185または表示部190に接続するのに用いられるロジックを有する。SNR階層的符号器部125および単層復号器部165によって行われる二層符号化および単層復号化の詳細は後で説明する。この復号化装置110の一つまたは複数の構成要素は他の要素と交換されあるいは組み合わされる。例えば、プロセッサ部180は復号化装置110の外部に設けることができる。
ビデオ復号化において例えばハードウエアビデオコアをコンピュータ増強復号化処理、特に逆量子化や逆変換処理を高速化するために用いることができる。ハードウエアビデオコアには種々の機能を同時に実行する(パイプライン処理)ことができる専用回路およびプロセッサを単独または同時に用いることができる。パイプライン処理は復号化時間を短縮することができる。標準のパイプライン処理における臨時逆変換、臨時逆量子化、あるいは臨時加算のような割り込みは、全体の処理を遅延させる。当業者にとって、ビデオコアの一つまたは複数の実施形態においてハードウエア、ソフトウエア、ファームウエア、ミドルウエア、マイクロコード、およびこれらの任意の組み合わせを用いうることは自明のことである。従来の単層復号化装置において、Iフレーム、Pフレーム、Bフレームの復号化はすべて同一の処理で行われる。内部符号化ビデオおよび残留エラーのいずれを示す場合も、係数は逆量子化され、逆変換され、次いで、空間予測係数または最適マクロブロック係数のいずれかと組み合わされる。以下に説明する符号化および復号化処理は、復号化ハードウエアビデオコアに対して平明なベース層及びエンハンスメント層のいずれかもしくは双方の階層的復号化を行う。その実施の一例としては、各層を夫々のパスを用いて復号化し、復号化された各層を合成する方法がある。この二つのパスを用いる方法は、同じハードウエア回路を繰り返して用いるので効率がよい。復号化における平明性は単一パス中のハードウエアビデオコアで合成データを復号化する前にベース層データとベース層データに対するエンハンスメント層の変形部とを組み合わせることによって、より高い効率を実現できる。例えば、DSP(デジタル信号プロセッサ)のようなプロセッサを用いることでこの組み合わせ動作を実現できる。
図2AはSNR階層的ストリーミングビデオの符号化の一例を示すフローチャートである。プロセス200は初期Iフレームとそれに続く多重のPフレーム及び/またはBフレームのGOPを符号化するフローを示す。各フレームはベース層データ及び/またはエンハンスメント層データとを含む。他の層データを用いることも当業者にとっては自明のことである。
Iフレームがステップ205において内部符号化マクロブロック(Intra MBs)全体と符号化される。H.264において、Iフレーム内の Intra MBsは十分な符号化利得を与える空間的予測によって符号化される。もし符号化されるベース層とエンハンスメント層が空間的予測により十分な符号化利得を得られるならば、ベース層はエンハンスメント層の符号化と再構成化との前に符号化され、再構成化される。Iフレームに対して二つのパスによる符号化、再構成化法が用いられる。ベース層においては、ベース層量子化パラメータQPbは荒い量子化ステップサイズの変換係数を供給する。オリジナルフレームと再構成されたベース層フレームとの間の画素差はエンハンスメント層において符号化される。このエンハンスメント層は量子化パラメータQPeを用い、より精細な量子化ステップサイズを提供する。図1に示したSNR階層化符号化部125のような符号化手段がステップ205における符号化動作を行う。
ステップ210において、符号化部はGOPにおけるPおよび/またはBフレームのベース層データおよびエンハンスメント層データの符号化を行う。図1のSNR階層化符号化部125のような符号化手段がステップ210における符号化を行う。ステップ215において、符号化すべきPまたはBフレームがまだ有るか否かが決定される。図1のSNR階層化符号器部125のような符号化手段がステップ215の決定を行うことができる。PまたはBフレームが残っていると、GOP内のすべてのフレームの符号化が終了するまでステップ210が繰り返される。以下の説明ではP、Bフレーム内の Intra MBについて説明されるが、これらのP、Bフレームは相互符号化マクロブロック(相互MBs)を有するものである。
復号器がベース層とエンハンスメント層データとを区別するために、符号器はステップ217においてオーバヘッド情報を符号化する。オーバヘッド情報は例えば層数を同定するデータと、対象の層がベース層であると同定するデータと、エンハンスメント層であると同定するデータと、各層の間の相互関係(例えば、第一またはベース層に対して第二層はエンハンスメント層であること、または第二層に対して第三層はエンハンスメント層であること)を同定するデータと、連続するエンハンスメント層内である層を最終層であると同定するデータなどを含む。オーバヘッド情報は、分離されまたは関連したデータメッセージ内に含まれたベース層データまたはエンハンスメント層データに連続したヘッダー中に含ませることができる。図1のSNR階層性符号化部125のような符号化手段がステップ217の動作を実行することができる。プロセス200内の一つまたは複数の構成要素を省略し、交換し、あるいは組み合わせて用いることができる。
図2Bは復号化の一例を示すフローチャートであり、プロセス200によって符号化されたSNR階層性ストリーミングビデオを単層内で復号化する。プロセス220は初期のIフレームとそれに続くP及び/またはBフレームでなるGOPの復号化を行うフローを示している。
復号化部はステップ222においてオーバヘッド情報を抽出する。例えば同定器によって受信したビットストリーム内に含まれる種々の層を同定するとともに、それらの層の間の相互関係も同定する。このオーバヘッド情報により復号化部がベース層情報を同定し、それのみを選択して復号化することを可能にする。ステップ225においてベース層のみを復号化する決定がなされ、あるいはベース層とエンハンスメント層との合成を復号化する決定を行う。単層復号化部165のような復号化手段がステップ225の動作を実行することができる。もしベース層のみを復号化する場合、復号化部はステップ260において、Intra MBおよび相互MBの復号化動作を従来の単層復号化により実行する。図1の単層復号化部165のような復号化手段がステップ260の動作を実行できる。この実施例では、もしエンハンスメント層も復号化するときは、Intra MBが二つのパスを用いる方法または単一パスによる方法によって復号化され、一方、相互MB層は後で詳細に説明するように、単一パスを用いる方法によって復号化される。復号化部は層数を同定するオーバヘッドデータまたは層の相互関係を同定するデータとともにある層を最終層として同定するオーバヘッドデータを用いることができる。このオーバヘッドデータにより、復号化部は、現在セクションのためのビットストリーム中にあるすべての層を受信するときに、これらが処理中であることを知ることができる。図1の単層復号器部165のような抽出手段をステップ222の実行のために使うことができる。
この実施形態において、各Iフレームに対して二つのパスを用いた復号化方法が用いられている。ステップ230においては、Iフレームのベース層が第一のパスで復号化され、ステップ235においてはベース層に対する微差を有するエンハンスメント層が復号化され、ベース層と合成されて(ゼロ動作ベクトルを持つPフレームのように)Iフレームのエンハンスメント層が形成される。図1の単層復号器部165のような復号化手段がステップ230、235の動作を実行できる。もし復号化装置がIフレームの復号化ベース層Ibに対して使えないときは、データIbを有するメモリバッファが上書きされ、Iフレームの復号化されたエンハンスメント層Ieが後続の予測フレームに対する基準として用い得る。このメモリの上書きすなわちメモリのシャッフル動作はステップ240において実行される。図1のメモリ部170のようなメモリシャッフル手段がステップ240の動作を実行する。復号化装置は、もしその復号化装置が後続の動作補償予測においてデータIbを用いないときは、データIbを上書きすることができる。
単一パス復号化がPとBフレームに対して行われる。以下に説明するように、P、Bフレームベース、エンハンスメント層係数が単一パス復号化ができるように符号化される。ベース層とエンハンスメント層係数が受信されると、これらが復号器によりステップ245において合成され、ステップ250において通常のPまたはBフレームと同様に単層内で復号化される。図1の通信部175のような受信手段により受信ステップ(図2Bには示されていない)を実行することができる。合成ステップ245および復号化ステップ250の詳細は以下に説明する。合成手段および図1の単層復号器部165のような復号器がステップ245、250の動作を実行することができる。決定ステップ255がビットストリームをチェックし、復号化すべきGOPが完了したかを検知する。GOPが完了していると、処理が終了され、次のGOPに対して処理が開始される。更にPおよびBフレームのいずれかまたは双方がGOPに残っていると、ステップ245、250がGOPを完了するまで繰り返される。図1の単一層復号器部165のような復号化手段がステップ255の動作を行うことができる。
単層復号化を行うために、二つの層の係数が逆量子化の前に合成される。従って、この2層の係数は双方向化される。そうしないと、オーバヘッドの量を増大させることになる。このオーバヘッド増大の一つの理由は、ベース層符号化とエンハンスメント層符号化とが異なる時間基準を用いることである。ベース層とエンハンスメント層係数を発生するのにアルゴリズムが必要であり、この両層があるときは逆量子化の前に復号化部において合成される。同時に、エンハンスメント層がなく、または復号化部が例えば省電力の目的でエンハンスメント層を復号化しないときは、アルゴリズムは可能なベース層ビデオを与える。アルゴリズムを詳細に説明する前に、標準の予測符号化について説明する。プロセス220内の一つまたは複数の構成要素は省略し、交換し、あるいは組み合わされる。
Pフレーム(または他の相互符号化部)は今の画像中の領域と基準画像中の最適予測領域との間の時間的な冗長性を利用することができる。基準フレーム中の最適予測領域の場所は一組の運動ベクトル内で符号化できる。現在領域と最適基準予測領域との差は残留エラー(または予測エラー)として知られている。図3は例えばMPEG−4におけるPフレーム構成プロセスの一例を示している。プロセス300は図2Aのステップ210内で生じるプロセスの一例を詳細に示している。プロセス300は5×5マクロブロックの現在画像325を含むが、このマクロブロック数は任意である。一つのマクロブロックは16×16画素でなる。各画素は8ビットの輝度(Y)と二つの8ビットの色度(Cr、Cb)とで定義される。MPEGにおいては、Y、Cr、Cb成分は4:2:0フォーマットにより記憶され、CrとCb成分とはX、Y方向に2分の1にダウンサンプリングされる。従って、各マクロブロックは256個のY成分と64個のCr成分と64個のCb成分とでなる。現在画像325のマクロブロック335は基準画像330から予測される。現在画像325と基準画像330とは夫々の画像内の正方形の場所に位置付けられる。基準画像330中の現在マクロブロック335に最も近い最適マクロブロック340が符号化されるべき現在マクロブロック335のY、Cr、Cbの値を参照して検索される。基準画像330中の最適マクロブロック340の位置は運動ベクトル345に符号化される。基準画像330はIフレーム又はPフレームであって、現在画像335の構成に先立って復号化部により再構成される。最適マクロブロック340は現在マクロブロック335から減算(各成分Y、Cr、Cbの差が計算される)され、残留エラー350が得られる。この残留エラー350はディスクリートコサイン変換(DCT)355により符号化され、次いで量子化360される。量子化360は例えば高周波の係数には少数のビットを割り当て、低周波の係数にはより多くのビットを割り当てることにより行われ、空間的圧縮が為される。運動ベクトル345と基準画像330の同定情報とともに量子化された残留エラー350の係数は現在現在マクロブロック335を示す符号化された情報である。この符号化された情報は次に使用されるためにメモリに記憶され、あるいはエラー訂正または画像増強のために用いられ、またはネットワーク365を介して送信される。
符号化され量子化された残留エラー350の係数は符号化された運動ベクトル345とともに符号化部内の現在マクロブロック335を再構成するために用いられ、次の動きを予測し補償するために基準フレームの一部として用いられる。符号化部はこのPフレームの再構成のために復号器内部の動作手順のエミュレータとして用いられる。復号器のエミュレーションは同じ基準画像についての符号器および復号器の動作に対応する。再構成プロセスは符号器内で符号化のために行われあるいは復号器で行われる。Pフレームの再構成は基準フレーム(または基準となる画像又はフレームの一部)が再構成された後でスタートされる。符号化され量子化された係数は逆量子化部370で逆量子化され、次いで、2D逆DCT部またはIDCT部375で処理され、復号化即ち再構成された残留エラー380が得られる。符号化された運動ベクトル345は復号化され、すでに再構成された最適マクロブロック385を再構成された基準画像330内に位置決めするために使用される。再構成された残留エラー380は次いで再構成された最適マクロブロック385に加算され、再構成マクロブロック390が形成される。この再構成マクロブロック390はメモリに記憶され、単独あるいは画像内に他の再構成マクロブロックとともに表示され、あるいは画像向上のために処理される。
Bフレーム(即ち双方向予測により符号化された部分)は現在画像中の領域と、先行画像中の最適予測領域と、後続画像中の最適予測領域との間の時間的冗長性を利用することができる。後続の最適予測領域および先行の最適予測領域は合成されて合成双方向性予測領域が形成される。現在画像領域と合成最適予測領域との差が残留エラー(又は予測エラー)である。後続基準画像の最適予測領域と先行基準画像の最適予測領域の場所は二つの運動ベクトル内で符号化される。
図4はベース層とエンハンスメント層の符号化のための符号化プロセスの一例を示す図である。ベース層とエンハンスメント層は符号化されてSNR階層化ビットストリームが形成される。プロセス400は例えば図2Aのステップ210で実行される相互MB残留エラー係数の符号化の一例を示す。しかしながら、内部MBの符号化のために他の同様な方法を用いてもよいことは勿論である。図1のSNR階層化符号器部125のような符号化手段をプロセス400または図2Aのステップ210の実行のために用いることができる。オリジナル(符号化すべき)ビデオデータ406(この実施形態ではビデオ情報はルマ及びクロマ情報を含む)はベース層最適マクロブロックループ402およびエンハンスメント層最適マクロブロックループ404に入力される。これらのループ402、404は加算器422、438で夫々計算される残留エラーを最小にするように動作する。ループ402、404の動作は図示したように平行して行われるが、順次動作されるようにしてもよい。ループ402、404は夫々検索バッファ420、436(これらのバッファ420、436は同じバッファでもよい)のためのロジックを有し、基準フレームを用いて最適マクロブロックを同定し、最適マクロブロックとオリジナルデータ406との間の残留エラーを最小にするように動作する。ループ402、404の残留エラーは異なる値を持つが、これはベース層ループ402がエンハンスメント層ループ404に比べて通常は粗い量子化ステップサイズ(高QP値)を用いるからである。変換ブロック408、424は各ループ内の残留エラーを変換する。例えば、符号器はベース層に対して最適マクロブロック(又は他のサイズの画素ブロック)ヘッダ情報と対応する運動ベクトル情報とを関連付け、このブロックヘッダ情報と運動ベクトル情報とは受信したオリジナルデータから抽出される。
変換された係数は次いでセレクタ410においてベース層とエンハンスメント層係数とに分解される。セレクタ410における分解動作は以下に述べるように種々の形態を取る。分解動作の共通な特徴としては、エンハンスメント層主係数であるC’enhがベース層主係数C’baseに対して微差として計算されることである。ベース層に対してエンハンスメント層を微細なものとして計算することにより、復号器がベース層係数をそれ自体として復号化して画像表示を実際のものとして行い、あるいはベース、エンハンスメント層係数を合成して画像のより精細な表示を行うことを可能にする。セレクタ410において選択され計算された主係数は次いで量子化部412、426によって量子化される。量子化された主係数~C’base、~C’enh(夫々量子化部412、426により算出された)は図1のメモリ部130のようなメモリ手段に記憶され、あるいはネットワークを介して復号器に送信される。
復号器内でマクロブロックの再構成を適合させるために逆量子化部414はベース層残留エラー係数を逆量子化する。逆量子化された残留エラー係数は逆変換部416により逆変換され、バッファ420内で検索された最適マクロブロックと加算器418で加算され、復号器内で再構成されたものに対して最適化された再構成マクロブロックが得られる。エンハンスメントループ404内の量子化部426、逆量子化部428、逆変換部432、加算器434、バッファ436はベース層ループ402内の対応要素と同様に動作する。更に、加算器430はエンハンスメント層の再構成に用いられる逆量子化エンハンスメント層とベース層係数を合成するのに用いられる。エンハンスメント層の量子化部および逆量子化部はベース層よりもより精細な量子化ステップサイズ(低QP)を通常用いる。プロセス400中の一つまたは複数の要素は省略され、変形され、あるいは組み合わせて用い得る。
図5、図6、図7は図4のセレクタ410内で用いられるベース層、エンハンスメント層係数セレクタのプロセスを例示する。図1のSNR階層的符号化部125のようなセレクタ手段が図5−図7に示されたプロセスの実行に用いられる。例えば図5において、変換された係数が以下のようにしてベース、エンハンスメント層主係数として分解される。
式[1]はブロック505を示し、式[2]は図5の加算器510を示している。式[2]において、Qbはベース層量子化部412を示し、Qb−1はベース層の逆量子化部414を示している。式[2]はエンハンスメント層係数を式[1]で計算されたベース層の微差に変換する。
ここで、C’baseは式[3]によって与えられる値を取る。
図7はベース層、エンハンスメント層セレクタ410の他の例を示す。この例においては、ベース層主係数はオリジナルベース層係数から変換されず、エンハンスメント層主係数は量子化/逆量子化ベース層係数とオリジナルのエンハンスメント層係数との差に等しい。このプロセスにより、セレクタ410は相互符号化され、あるいは内部符号化された係数であるオリジナルのベース層およびオリジナルのエンハンスメント層係数を用いるように構成される。
図5、6、7に示されたいずれのプロセスをセレクタ410が実行しても、復号器は以下に説明するように同じ動作を行う。ループ402、404は同じマクロブロックを参照して同期して動作し、あるいは異なるマクロブロックを参照して非同期で動作する(ベース層基準情報とエンハンスメント層基準情報とは以下に説明するようにオーバヘッド情報内で符号化される)。もしループ402、404が異なる基準マクロブロックを参照すると、復号器はベース層のみを復号化するように符号化ベース層基準情報を用いることができ、あるいはベース層、エンハンスメント層の合成を復号化するために符号化エンハンスメント層基準情報を用いることができる。
ベース、エンハンスメント層残留エラー係数に加え、復号器はMBがどのようにして符号化されたかを示す情報を必要とする。図1のSNR階層的符号器部125のような符号化手段は、図2Aのステップ210を実行するほか、内部符号化または相互符号化部分のマップを含むオーバヘッド情報を符号化する。このマップは例えばMBマップであり、マクロブロック(またはサブマクロブロック)が内部符号化あるいは相互符号化されていることが検出器によって示され(更に双方向符号化が例えば順方向、逆方向あるいは双方向のいずれのタイプかも示し)、更にこの相互符号化部分はどのフレームを参照しているかも示している。一つの実施形態において、MBマップとベース層係数とはベース層中で符号化され、エンハンスメント層係数はエンハンスメント層中で符号化される。
図8は単層ビデオデータを復号化するための復号化プロセスの一例を示すもので、この実施形態ではベース層データが復号化され、図2Bのステップ260で実行される。プロセス800において、量子化された係数~C’baseは内部符号化データまたは相互符号化残留エラーデータを示している。これらの係数は逆量子化部805により逆量子化され、逆変換部810で逆変換され、バッファ820に記憶された空間的に一時的に予測されたデータに対して加算器815において加算される。逆量子化ステップ805はベース層量子化パラメータQPbを用いる。結果として得られた復号化されたベース層ビデオ出力825は図1のメモリ部170のようなメモリ手段に記憶され、又は図1の表示部190のような表示手段に表示される。
プロセス800はベース層係数~C’baseの代わりにエンハンスメント層係数~C’enhを用い、ステップ805におけるベース層パラメータQPbの代わりにエンハンスメント層量子化パラメータQPeを用いて第二パス内で実行することができる。結果として得られる出力は復号化されたエンハンスメント層ビデオ出力となる。ベース層ビデオ出力825は画素ドメイン内においてエンハンスメント層ビデオ出力と合成される。この2パスプロセスは同じ復号化ハードウエア回路を効率化のために繰り返し用いることができる。この復号化プロセスは図5、6、7のいずれの符号化プロセスを用いるかに関係なく用いることができる。
図9は図2Bに示したステップ245、250で実行されるようなベース層、エンハンスメント層データの復号化のための復号化プロセスの一例を示す。プロセス900において、量子化係数~C’base、~C’enhはステップ905、910で夫々逆量子化され、ステップ915において変換(例えば周波数で)ドメインにおいて合成される。逆量子化ステップ905はベース層量子化パラメータQPbを用い、逆量子化ステップ910はより小さいエンハンスメント層量子化パラメータQPeを用いる。合成された係数は逆変換ステップ920で処理され、ステップ925においてバッファ930に記憶された空間的または一時的予測データと加算される。この復号化プロセスは図5、6、7のいずれの符号化プロセスが用いられていても関係なく用いることができる。結果として得られたエンハンスメント層ビデオ出力935はメモリに記憶され、または表示される。
プロセス900はその主たる方法がプロセス800とは異なっている。プロセス900では二つの逆量子化ステップ905、910を用いているが、プロセス800では一つの逆量子化ステップ805が用いられている。もしこの逆量子化がハードウエアコア内でパイプライン処理されると、ベース層復号化プロセス800と同様にしてエンハンスメント層復号化において単一の逆量子化ステップを用いることができるので非常に望ましい。例えば、逆量子化ステップを一つにするためには、数学的特徴に関連づけられた量子化パラメータが用いられることになる。この量子化ステップサイズは、H.264におけるQPが6個増えるごとに倍増する。もしQPb=QPe+6であると、ベース層係数はエンハンスメント層スケールに変換され、以下の式によって合成される。
図10はベース層、エンハンスメント層データの復号化のための復号プロセスの他の例を示す。プロセス1000はQPb=QPe+6の場合のベース層、エンハンスメント層の量子化を用いる。式[5]に示すように、ベース層係数はステップ1005において係数を左へ1ビットシフトする(スケーリングの形で)ことによりエンハンスメント層スケールに変換され、ステップ1010においてエンハンスメント層係数と加算される。従って、ステップ1015における一回の逆量子化とステップ1020における一回の逆変換だけが用いられる。もしベース層係数がゼロであればシフト動作は必要ない。従ってこの動作を用いるために~C’baseと~C’enhとがゼロでないときは、QPbとQPeとの差は6の倍数となる。ビットシフト法以外の方法としてたとえばスケールファクタをスカラーと掛け算する方法などを用いることもできる。
PフレームとBフレームとが内部(Intra)MBと相互(Inter)MBとを有するようにできる。内部MBとしてPまたはBフレーム内のあるマクロブロックの符号化の決定のためにレートひずみ最適化を用いることはハイブリッドビデオ符号化のための通常の方法である。内部MBがベース層またはエンハンスメント層相互MBに従わないときに単層復号化を実行するためには、ベース層内部MBの空間的予測のためには隣接する相互MBが用いられることはない。エンハンスメント層復号化のためのコンピュータ動作を複雑にしないために、ベース層のPまたはBフレーム内の内部MBに対してはエンハンスメント層における微細化はスキップできる。
P又はBフレーム内の内部MBは相互MBよりも多くのビットを必要とする。このため、P又はBフレーム中の内部MBはより高いQPにおいてベース層品質に従って符号化することができる。これに起因してビデオ品質に若干の劣化が生じるが、この劣化は、上記したように、ベース、エンハンスメント層中の相互MB係数において後のフレーム内で微細化されることにより問題とはならない。この問題とならないことは二つの理由による。その第一は人間の視覚システム(HVS)の特性によるものであり、他の一つは相互MBが内部MBを微細化することにある。対象が第一フレームから第二フレームに移動すると、第一フレーム内の幾つかの画素が第二フレームでは見えなくなる(カバー情報となる)。そして、第二フレーム内の幾つかの画素は初期は見える(非カバー情報となる)。人間の目はこのようなカバー情報や非カバー情報には感度が小さい。従って非カバー情報についてはこれが低品質で符号化されたとしても目はその差を感じない。もし同じ情報が次のPフレームに残っていると、エンハンスメント層は低いQPを持っているのでこのエンハンスメント層におけるPフレームでは高いチャンスで微細化できる。
内部MBをPまたはBフレームに取り込む他の方法としてイントラリフレッシュ(Intra Refresh)として知られている。この場合、たとえスタンダードR−D最適化が相互符号化MBとして指定したとしてもそれらの幾つかのMBがイントラMBとして符号化される。これらのベース層に含まれる内部符号化MBはQPbまたはQPeとともに符号化される。もしQPeがベース層に用いられると、エンハンスメント層における微細化は必要ない。もしQPbがベース層に用いられるときは微細化が必要となる。そうしないと、エンハンスメント層において品質の低下が認められることになる。符号化効率の面では内部符号化よりも相互符号化の方が良いので、エンハンスメント層における微細化は相互符号化でなされる。この場合、ベース層係数はエンハンスメント層では用いられない。従って、エンハンスメント層における品質の向上は新しい動作を行うことなく得られることになる。
Bフレームは高い圧縮品質を提供するのでエンハンスメント層に共通に用いられる。しかしながらBフレームはPフレームの内部(Intra)MBを参照しなければならない。もしBフレームの画素をエンハンスメント層の品質で符号化する場合には、上述したように、Pフレームの内部MBの低い品質のために多くのビットを必要とする。上記したようにHVSの品質の特性を用いることにより、BフレームのMBはPフレームの低い品質の内部MBを参照して低い品質で符号化できることになる。
P又はBフレーム内の内部(Intra)MBを用いる場合としては、符号化対象のビデオ中に場面の変化があることによりPまたはBフレーム内のすべてのMBがイントラ(Intra)モードで符号化される場合がある。この場合にはすべてのフレームがベース層品質で符号化され、エンハンスメント層での微細化は行われない。もし場面変化がBフレームで生じ、Bフレームがエンハンスメント層で符号化されると、Bフレームはベース層品質で符号化され、または単純に停止する。もし場面変化がPフレームで生じると、何も変える必要は無いが、Pフレームは停止され、またはベース層品質で符号化される。
上記の符号化プロセスの各例はオリジナルデータが変換された後でベース層とエンハンスメント層を選択する方法を用いている。同様の分割方法は係数を変換する以前にも用いることができる。
情報と信号の表示を他の色々な方法を用いて行うことができることは当業者が容易に理解できることである。例えば上述したデータ、命令、コマンド、情報、信号、ビット、記号、およびチップなどは、電圧、電流、電磁波、磁界、磁気粒子、光学界、光粒子、あるいはこれらの組み合わせの表示によっても可能である。
更に、この発明の実施形態や例について説明された論理ブロック、モジュール、アルゴリズムステップなどが電子的ハードウエア、コンピュータソフトウエア、又はこれらの組み合わせにより実現できることは当業者には自明である。これらのハードウエアとソフトウエアの相互の変換の可能性を明確にするために、種々の部品、ブロック、モジュール、回路及びステップはそれらの機能を表す表現で記載されている。これらの機能をハードウエアで実現するかソフトウエアで実現するかは、システム全体におけるそれらの特定の用途と設計の制約とに応じて決定される。当業者はそれらの特定の用途に対して記載された機能を種々の方法で実現するが、その決定の際には記載された方法から逸脱しない範囲でなされるべきである。
ここに述べられた実施形態に関連して説明された論理ブロック、モジュール、回路などは更に、それらの機能を実現するように設計された汎用のプロセッサ、デジタル信号プロセッサ(DSP)、特定用途集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)又は他のプログラマブル論理素子、個別ゲートまたはトランジスタロジック、個別ハードウエア素子、またはこれらの種々な組み合わせを用いて構成することができる。汎用のプロセッサとしてはマイクロプロセッサを用い得るが、更に従来の種々のプロセッサやコントローラ、マイクロコントローラ、あるいはステートマシーンを用いることもできる。プロセッサは更に計算装置の組み合わせ、例えばDSPとマイクロプロセッサ、複数のマイクロプロセッサ、一つ又は複数のマイクロプロセッサとDSPコア、または他の種々の組み合わせにより実現することができる。
ここで説明された実施形態の方法やアルゴリズムのステップは、ハードウエアやプロセッサによって実行されるソフトウエアモジュールやこれらの組み合わせによって直接実施できる。ソフトウエアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、又は他の公知の記憶媒体のどのようなものに記録しても良い。例えば、記憶媒体をプロセッサに結合すれば、このプロセッサはこの記録媒体に対して情報の読み出し、書き込みを行うことができる。或いはこの記憶媒体とプロセッサとを一体に構成することができる。このプロセッサと記憶媒体とは特定用途集積回路(ASIC)内に組み込むことができる。このASICは無線モデム中に組み込まれる。或いは、プロセッサと記憶媒体とは無線モデム中に夫々独立に組み込むことができる。
上述した実施形態の説明は当業者がこの記載された方法と装置を容易に形成し使用することができるように為されている。これらの実施形態の変形は当業者にとって自明であり、その原理は記載された方法と装置の原理から逸脱することなく他の種々の実施形態に適用可能である。
以上において、最小の復号化オーバヘッドによりベース層においては良好なビデオ品質を、エンハンスメント層では高品質ビデオを提供する方法と装置について述べた。
Claims (81)
- 第一層符号化データおよび第二層符号化データを受信し、
受信した第一層符号化データおよび第二層符号化データを合成し、
この合成したデータを復号化する方法であって、
この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する方法。 - 更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中の前記ベース層残留エラー係数に対する微差を受信し、
この残留エラー係数と微差とを前記第一層データ及び第二層データとの合成データと合成し
、
前記合成された第1層、第二層、残留エラー係数、微差とを復号化する、
請求項1に記載の方法。 - 更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項1に記載の方法。
- 更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換し、受信された第二層データは第二の量子化ステップサイズで符号化される、請求項1に記載の方法。
- 更に、受信した第一層データ中の内部符号化データを同定し、受信した第二層データ中の受信した第一層データ中の内部符号化データに対する微差を同定する、請求項1に記載の方法。
- 更に、同定された第一層内部符号化データを第一パス中で復号化し、
同定された第二層内部符号化データを第二パス中で復号化し、
復号化された第一層内部符号化データおよび第二層内部符号化データを合成する、請求項5に記載の方法。 - 更に、前記合成された第一層、第二層データを逆量子化し、
この逆量子化されたデータを逆変換する、請求項1に記載の方法。 - 更に、前記合成されたデータ中の第一層に関連する相互符号化データを同定し、
前記合成されたデータ中の第二層に関連する相互符号化データを同定し、
同定された第一層に関連する相互符号化データおよび同定された第一、第二層に関連する相互符号化データのいずれかを復号化する、請求項1に記載の方法。 - 更に、前記合成されたデータ中の第一層に関連する内部符号化データを同定し、
同定された内部符号化データを復号化する、請求項1に記載の方法。 - 更に、前記合成されたデータ中の第一層に関連する内部符号化データを同定し、
前記合成されたデータ中の第二層に関連する相互符号化データを同定し、
同定された内部符号化データおよび同定された相互符号化データのいずれかを復号化する、請求項1に記載の方法。 - 第一層符号化データおよび第二層符号化データを受信する手段と、
受信した第一層符号化データおよび第二層符号化データを合成する手段と、
この合成データを復号化する手段とを具備し、
この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する装置。 - 前記受信手段は更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信する手段と、
この残留エラー係数と微差とを前記合成された第一層及び第二層と合成する手段と、
この合成された第一層、第二層および残留エラー係数と微差とを復号化する手段とを有する、
請求項11に記載の装置。 - 前記受信手段は更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信する手段を有し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項11に記載の装置。
- 更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換する手段を有し、受信された第二層データは第二の量子化ステップサイズで符号化される、請求項11に記載の装置。
- 更に、第一層データのビットシフトを行う手段を有する請求項14に記載の装置。
- 前記受信手段は更に、受信された第一層データ内の内部符号化データを同定し、受信された第二層データ内の受信された第一層内部符号化データに対する微差を同定する手段を有する、請求項11に記載の装置。
- 更に、第一パス内で同定された第一層内部符号化データを復号化する手段と、
第二パス内で同定された第二層内部符号化データを復号化する手段と、
復号化された第一層内部符号化データおよび復号化された第二層内部符号化データとを合成する手段とを有する、請求項16に記載の装置。 - 前記復号化手段は更に、前記合成された第一層、第二層データを逆量子化する手段と、
この逆量子化されたデータを逆変換する手段とを有する、請求項11に記載の装置。 - 第一層符号化データおよび第二層符号化データを受信する受信部と、
受信された第一層符号化データと第二層符号化データとを合成する合成部と、
ベース層を有する第一層とエンハンスメント層を有する第二層との合成データを復号化する復号化部とを有する、マルチメディアビットストリームを復号化する装置。 - 前記受信部は更にベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信するように構成され、前記合成部は更に残留エラー係数と微差とを前記合成された第一層、第二層データと合成するように構成され、復号化部は更に前記合成された第一層、第二層、残留エラー係数および微差を復号化するように構成される、請求項19に記載の装置。
- 前記受信部は、ベース層データ中の残留エラー係数を受信しエンハンスメント層データ中のベース層残留エラー係数に対する微差を受信するように構成され、このベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値あるいはゼロのいずれかであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項19に記載の装置。
- 更に、第一層データを第一量子化ステップサイズから第二量子化ステップサイズに変換するように構成されたスケーラを有し、受信された第二層データは第二量子化ステップサイズで符号化される、請求項19に記載の装置。
- 更に、受信された第一層データ中の内部符号化データを同定し、受信された第二層データ中の受信された第一層内部符号化データに対する微差を同定するように構成された同定装置を有する、請求項19に記載の装置。
- 前記復号化部は更に、同定された第一層内部符号化データを第一パス中で復号化し、同定された第二層内部符号化データを第二パス中で復号化し、前記合成部は復号化された第一層内部符号化データおよび第二層内部符号化データを合成するように構成される、請求項19に記載の装置。
- 更に、前記合成された第一層、第二層データを逆量子化するように構成された逆量子化部および逆量子化したデータを逆変換するように構成された変換器とを有する請求項19に記載の装置。
- マルチメディアビットストリームを復号化するための方法を用いるコンピュータ読み取り可能の媒体であって、前記方法は、
第一層符号化データおよび第二層符号化データを受信し、
受信した符号化データの第一層および符号化データの第二層を合成し、
この合成されたデータを復号化する方法であって、
この第一層はベース層を有し、第二層はエンハンスメント層を有する、コンピュータ読み取り可能な媒体。 - 前記方法は更に、ベース層データ中の残留エラー係数を受信するとともにエンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、
この残留エラー係数と微差とを前記合成された第一層、第二層データと合成し、
この合成された第一層、第二層、残留エラー係数、微差を復号化する、請求項26に記載のコンピュータ読み取り可能な媒体。 - 前記方法は更に、ベース層データ中の残留エラー係数を受信するとともにエンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、このベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値あるいはゼロのいずれかであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項26に記載のコンピュータ読み取り可能な媒体。
- 前記方法は更に、第一層データを第一量子化ステップサイズから第二量子化ステップサイズに変換し、受信された第二層データを第二量子化ステップサイズで符号化する、請求項26に記載のコンピュータ読み取り可能な媒体。
- 前記方法は更に、受信された第一層データ中の内部符号化データを同定し、受信された第二層データ中の受信された第一層内部符号化データに対する微差を同定する、請求項26に記載のコンピュータ読み取り可能な媒体。
- 前記方法は更に、同定された第一層内部符号化データを第一パス中で復号化し、
同定された第二層内部符号化データを第二パス中で復号化し、
復号化された第一層内部符号化データおよび第二層内部符号化データを合成する、請求項30に記載のコンピュータ読み取り可能な媒体。 - 前記方法は更に、前記合成された第一層と第二層データを逆量子化し、
この逆量子化されたデータを逆変換する、請求項26に記載のコンピュータ読み取り可能の媒体。 - 第一層符号化データおよび第二層符号化データを受信し、
受信した第一層符号化データおよび第二層符号化データを合成し、
この合成データを復号化するように構成され、
この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化するプロセッサ。 - 更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、
この残留エラー係数と微差とを前記合成された第一層及び第二層と合成し、
この合成された第一層、第二層、残留エラー係数と微差とを復号化するように構成された、請求項33に記載のプロセッサ。 - 更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信するように構成され、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は最小残留エラー係数とオリジナルエンハンスメント層残留エラー係数との間の差である、請求項33に記載のプロセッサ。
- 更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換するように構成され、受信された第二層データが第二の量子化ステップサイズに符号化される、請求項33に記載のプロセッサ。
- 受信した第一層データ中の内部符号化データを同定し、受信した第二層データ中の受信した第一層データ中の内部符号化データに対する微差を同定するように構成された、請求項33に記載のプロセッサ。
- 更に、同定された第一層内部符号化データを第一パス中で復号化し、同定された第二層内部符号化データを第二パス中で復号化し、復号化された第一層内部符号化データおよび第二層内部符号化データを合成するように構成された、請求項37に記載のプロセッサ。
- 更に、前記合成された第一層と第二層データを逆量子化し、この逆量子化されたデータを逆変換するように構成された、請求項33に記載のプロセッサ。
- 第一層及び第二層内でデータを符号化し、単一の合成された層内でこのデータを復号化するためにデータを選択し、
選択されたデータを第一層および第二層中で符号化する、マルチメディアデータを符号化するための方法。 - 前記符号化は、
第一層中で係数を符号化し、
第一層の微差を第二層中で符号化する、請求項40に記載の方法。 - 第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項40に記載の方法。
- 更に、第一、第二係数に基づいて第一主係数を選択し、
第一、 第二係数に基づいて第二主係数を計算し、
前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項42に記載の方法。 - 前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択し、前記計算は、第二主係数を第二係数と等しく設定する、請求項43に記載の方法。
- 更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項40に記載の方法。
- 更に、第一層符号化データを第一ステップサイズで量子化し、第二層符号化データを第二ステップサイズで量子化し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項40に記載の方法。
- 前記データは内部符号化データを有し、前記符号化は更に第一層または第一、第二層内の内部符号化データを符号化する、請求項40に記載の方法。
- 前記データは相互符号化データを有し、前記符号化は更に第二層中の相互符号化データを有する、請求項40に記載の方法。
- 前記符号化は更に、選択されたデータを第一層中の相互符号化データとして符号化し、第二層中の相互符号化データとして符号化する、請求項40に記載の方法。
- 前記符号化は更に、選択されたデータを第一層中の内部符号化データとして符号化する、請求項40に記載の方法。
- 前記符号化は更に、選択された或るデータを第一層中の内部符号化データとして符号化し、選択されたデータを第二層中の相互符号化データとして符号化する、請求項40に記載の方法。
- 更にオーバヘッド情報を符号化するステップを有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項40に記載の方法。
- 第一層及び第二層のデータを符号化して単一の層における合成されたデータを復号化するためにデータを選択する手段と、
選択されたデータを第一層および第二層中で符号化する手段と、
を具備するマルチメディアデータを符号化するための装置。 - 前記符号化手段は、
第一層中で係数を符号化する手段と、
第一層の微差を第二層中で符号化する手段と、
を具備する請求項53に記載の装置。 - 第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項53に記載の装置。
- 更に、第一、第二係数に基づいて第一主係数を選択する手段と、
第一、 第二係数に基づいて第二主係数を計算する手段とを具備し、
前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項55に記載の装置。 - 前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択手段は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択する手段を含み、前記計算手段は、第二主係数を第二係数と等しく設定する手段を含む、請求項56に記載の装置。
- 更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付ける手段を含み、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項53に記載の装置。
- 更に、第一層符号化データを第一ステップサイズで量子化する手段と、第二層符号化データを第二ステップサイズで量子化する手段とを有し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項53に記載の装置。
- 前記データは内部符号化データであり、前記符号化手段は第一層または第一、第二層内の内部符号化データを符号化する、請求項53に記載の装置。
- 前記データは相互符号化データであり、前記符号化手段は第二層中の相互符号化データを符号化する、請求項53に記載の装置。
- 更にオーバヘッド情報を符号化する手段を有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項53に記載の装置。
- 第一層及び第二層のデータを符号化し、単一の合成された層のデータを復号化するためにデータを選択し、
選択されたデータを第一層および第二層中で符号化する、マルチメディアデータを符号化するための方法を実施するためのコンピュータにより読み取り可能の媒体。 - 前記符号化は、
第一層中で係数を符号化し、
第一層の微差を第二層中で符号化する、請求項63に記載のコンピュータにより読み取り可能の媒体。 - 第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項63に記載のコンピュータにより読み取り可能の媒体。
- 前記方法は更に、第一、第二係数に基づいて第一主係数を選択し、
第一、 第二係数に基づいて第二主係数を計算し、
前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項65に記載のコンピュータにより読み取り可能の媒体。 - 前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択し、前記計算は、第二主係数を第二係数と等しく設定する、請求項66に記載のコンピュータにより読み取り可能の媒体。
- 前記方法は更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項63に記載のコンピュータにより読み取り可能の媒体。
- 前記方法は更に、第一層符号化データを第一ステップサイズで量子化し、第二層符号化データを第二ステップサイズで量子化し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項63に記載のコンピュータにより読み取り可能の媒体。
- 前記方法は更にオーバヘッド情報を符号化するステップを有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項63に記載のコンピュータにより読み取り可能の媒体。
- 第一層及び第二層内でデータを符号化し、単一の合成された層のデータを復号化するためにデータを選択し、
選択されたデータを第一層および第二層中で符号化する、
方法を制御するように構成された、マルチメディアデータを符号化するためのプロセッサ。 - 前記符号化方法は、第一層中で係数を符号化し、
第一層の微差を第二層中で符号化する、
請求項71に記載のプロセッサ。 - 第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項71に記載のプロセッサ。
- 前記方法は更に、第一、第二係数に基づいて第一主係数を選択し、
第一、 第二係数に基づいて第二主係数を計算し、
前記符号化は更に、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項73に記載のプロセッサ。 - 前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択方法は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択するステップを含み、前記計算方法は、第二主係数を第二係数と等しく設定するステップを含む、請求項74に記載のプロセッサ。
- 前記方法は更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項71に記載のプロセッサ。
- 前記方法は更に、第一層符号化データを第一ステップサイズで量子化するステップと、第二層符号化データを第二ステップサイズで量子化するステップとを有し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項71に記載のプロセッサ。
- 前記方法は更にオーバヘッド情報を符号化するステップを有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項71に記載のプロセッサ。
- 第一層及び第二層内でデータを符号化し、単一の合成された層のデータを復号化するためにデータを選択するように構成された受信部と、
選択されたデータを第一層および第二層中で符号化するように構成された符号化部と、を具備するマルチメディアデータを符号化するための装置。 - 前記符号化部は更に、
第一層中で係数を符号化し、
第一層の微差を第二層中で符号化する、請求項79に記載の装置。 - 第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項79に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US66087705P | 2005-03-10 | 2005-03-10 | |
US71320805P | 2005-08-30 | 2005-08-30 | |
PCT/US2006/008761 WO2006099221A2 (en) | 2005-03-10 | 2006-03-10 | Scalable video coding with two layer encoding and single layer decoding |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011152176A Division JP5619688B2 (ja) | 2005-03-10 | 2011-07-08 | 二層符号化及び単層復号化による階層的ビデオ符号化 |
JP2012005172A Division JP5619790B2 (ja) | 2005-03-10 | 2012-01-13 | 二層符号化及び単層復号化による階層的ビデオ符号化 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008533850A JP2008533850A (ja) | 2008-08-21 |
JP2008533850A5 true JP2008533850A5 (ja) | 2011-08-25 |
Family
ID=36693137
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008500997A Withdrawn JP2008533850A (ja) | 2005-03-10 | 2006-03-10 | 二層符号化及び単層復号化による階層的ビデオ符号化 |
JP2011152176A Expired - Fee Related JP5619688B2 (ja) | 2005-03-10 | 2011-07-08 | 二層符号化及び単層復号化による階層的ビデオ符号化 |
JP2012005172A Expired - Fee Related JP5619790B2 (ja) | 2005-03-10 | 2012-01-13 | 二層符号化及び単層復号化による階層的ビデオ符号化 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011152176A Expired - Fee Related JP5619688B2 (ja) | 2005-03-10 | 2011-07-08 | 二層符号化及び単層復号化による階層的ビデオ符号化 |
JP2012005172A Expired - Fee Related JP5619790B2 (ja) | 2005-03-10 | 2012-01-13 | 二層符号化及び単層復号化による階層的ビデオ符号化 |
Country Status (24)
Country | Link |
---|---|
US (1) | US7995656B2 (ja) |
EP (1) | EP1856917B1 (ja) |
JP (3) | JP2008533850A (ja) |
KR (1) | KR100950273B1 (ja) |
CN (1) | CN101167364B (ja) |
AR (1) | AR056939A1 (ja) |
AU (1) | AU2006223285C1 (ja) |
BR (1) | BRPI0608284A2 (ja) |
CA (1) | CA2600450C (ja) |
DK (1) | DK1856917T3 (ja) |
ES (1) | ES2674351T3 (ja) |
HU (1) | HUE038079T2 (ja) |
IL (1) | IL185827A (ja) |
MX (1) | MX2007011087A (ja) |
NO (1) | NO20075125L (ja) |
NZ (1) | NZ561351A (ja) |
PL (1) | PL1856917T3 (ja) |
PT (1) | PT1856917T (ja) |
RU (1) | RU2372743C2 (ja) |
SI (1) | SI1856917T1 (ja) |
TR (1) | TR201808894T4 (ja) |
TW (1) | TWI457001B (ja) |
UA (1) | UA90889C2 (ja) |
WO (1) | WO2006099221A2 (ja) |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006031737A2 (en) * | 2004-09-14 | 2006-03-23 | Gary Demos | High quality wide-range multi-layer compression coding system |
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
US7925955B2 (en) * | 2005-03-10 | 2011-04-12 | Qualcomm Incorporated | Transmit driver in communication system |
US8693540B2 (en) * | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
WO2006099082A2 (en) | 2005-03-10 | 2006-09-21 | Qualcomm Incorporated | Content adaptive multimedia processing |
ATE456256T1 (de) * | 2005-03-10 | 2010-02-15 | Qualcomm Inc | Decoder-architektur für optimiertes fehlermanagement in multimedia-strömen |
US8705617B2 (en) | 2005-09-27 | 2014-04-22 | Qualcomm Incorporated | Multiple layer video encoding |
US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
DE102005060968B4 (de) * | 2005-12-20 | 2008-05-08 | Infineon Technologies Ag | Verfahren und Ablaufsteuerung zur Übertragung von Daten verschiedener Verkehrstypen durch ein xDSL-Modem |
US7956930B2 (en) | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
US8320450B2 (en) * | 2006-03-29 | 2012-11-27 | Vidyo, Inc. | System and method for transcoding between scalable and non-scalable video codecs |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
EP1944978A1 (en) * | 2007-01-12 | 2008-07-16 | Koninklijke Philips Electronics N.V. | Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal |
PL2123052T3 (pl) * | 2007-01-18 | 2011-05-31 | Fraunhofer Ges Forschung | Strumień danych wideo o skalowalnej jakości |
US8767834B2 (en) * | 2007-03-09 | 2014-07-01 | Sharp Laboratories Of America, Inc. | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
KR100937030B1 (ko) * | 2007-05-31 | 2010-01-15 | 한국전자통신연구원 | 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치 |
KR20100030648A (ko) * | 2007-06-26 | 2010-03-18 | 노키아 코포레이션 | 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법 |
KR101366249B1 (ko) * | 2007-06-28 | 2014-02-21 | 삼성전자주식회사 | 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법 |
US9648325B2 (en) | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
US20090060035A1 (en) * | 2007-08-28 | 2009-03-05 | Freescale Semiconductor, Inc. | Temporal scalability for low delay scalable video coding |
US8161166B2 (en) * | 2008-01-15 | 2012-04-17 | Adobe Systems Incorporated | Information communication using numerical residuals |
TWI386063B (zh) * | 2008-02-19 | 2013-02-11 | Ind Tech Res Inst | 可調性視訊編碼標準的位元流分配系統與方法 |
US8711948B2 (en) * | 2008-03-21 | 2014-04-29 | Microsoft Corporation | Motion-compensated prediction of inter-layer residuals |
US8503460B2 (en) | 2008-03-24 | 2013-08-06 | Qualcomm Incorporated | Dynamic home network assignment |
US8082320B1 (en) | 2008-04-09 | 2011-12-20 | Adobe Systems Incorporated | Communicating supplemental information over a block erasure channel |
JP5238069B2 (ja) * | 2008-04-25 | 2013-07-17 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | トランスポート・データストリーム内で参照するフレキシブル・サブストリーム |
FR2932637B1 (fr) * | 2008-06-17 | 2010-08-20 | Canon Kk | Procede et dispositif de codage d'une sequence d'images |
US9571856B2 (en) | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
KR101691050B1 (ko) * | 2008-09-16 | 2016-12-29 | 톰슨 라이센싱 | 스케일러블 비디오 코딩을 사용한 디지털 선형 tv 프로그래밍의 송신 방법 |
US20100135379A1 (en) * | 2008-12-02 | 2010-06-03 | Sensio Technologies Inc. | Method and system for encoding and decoding frames of a digital image stream |
US9185159B2 (en) * | 2008-12-31 | 2015-11-10 | Cy-Play | Communication between a server and a terminal |
WO2011005563A1 (en) * | 2009-06-24 | 2011-01-13 | Delta Vidyo, Inc. | System and method for an active video electronic programming guide |
CN101938659A (zh) * | 2009-06-30 | 2011-01-05 | 中兴通讯股份有限公司 | 移动多媒体广播系统中业务扩展方法与装置 |
US8345749B2 (en) * | 2009-08-31 | 2013-01-01 | IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH | Method and system for transcoding regions of interests in video surveillance |
US8908774B2 (en) | 2010-02-11 | 2014-12-09 | Mediatek Inc. | Method and video receiving system for adaptively decoding embedded video bitstream |
EP2577489A4 (en) * | 2010-06-02 | 2014-09-10 | Onmobile Global Ltd | METHOD AND APPARATUS FOR ADAPTING MULTIMEDIA CONTENT |
US10033485B2 (en) | 2010-08-25 | 2018-07-24 | Qualcomm Incorporated | Managing acknowledgement messages from multiple destinations for multi user MIMO transmissions |
US20120075436A1 (en) * | 2010-09-24 | 2012-03-29 | Qualcomm Incorporated | Coding stereo video data |
US9706214B2 (en) | 2010-12-24 | 2017-07-11 | Microsoft Technology Licensing, Llc | Image and video decoding implementations |
RU2448370C1 (ru) * | 2011-03-22 | 2012-04-20 | Открытое акционерное общество "Концерн радиостроения "Вега" | Способ обнаружения модификации электронного изображения |
WO2012167711A1 (en) * | 2011-06-10 | 2012-12-13 | Mediatek Inc. | Method and apparatus of scalable video coding |
WO2013003143A2 (en) * | 2011-06-30 | 2013-01-03 | Vidyo, Inc. | Motion prediction in scalable video coding |
RU2477891C1 (ru) * | 2011-09-02 | 2013-03-20 | Открытое акционерное общество "Концерн радиостроения "Вега" | Способ обнаружения модификации электронного изображения (варианты) |
JP5698644B2 (ja) * | 2011-10-18 | 2015-04-08 | 株式会社Nttドコモ | 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム |
US9819949B2 (en) * | 2011-12-16 | 2017-11-14 | Microsoft Technology Licensing, Llc | Hardware-accelerated decoding of scalable video bitstreams |
US9591303B2 (en) * | 2012-06-28 | 2017-03-07 | Qualcomm Incorporated | Random access and signaling of long-term reference pictures in video coding |
US9716892B2 (en) * | 2012-07-02 | 2017-07-25 | Qualcomm Incorporated | Video parameter set including session negotiation information |
EP3273691B1 (en) * | 2012-12-18 | 2021-09-22 | Sony Group Corporation | Image processing device and image processing method |
JP6139701B2 (ja) * | 2013-01-07 | 2017-05-31 | ヴィド スケール インコーポレイテッド | スケーラブルビデオ符号化のための動き情報シグナリング |
US9743097B2 (en) * | 2013-03-01 | 2017-08-22 | Qualcomm Incorporated | Spatial motion vector scaling for scalable video coding |
KR101754527B1 (ko) * | 2015-03-09 | 2017-07-06 | 한국항공우주연구원 | 패킷 부호화 장치 및 방법 |
US11636100B2 (en) * | 2020-11-27 | 2023-04-25 | Verizon Patent And Licensing Inc. | Systems and methods for compression-based search engine |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3576660B2 (ja) | 1995-09-29 | 2004-10-13 | 株式会社東芝 | 画像符号化装置および画像復号化装置 |
JP3788823B2 (ja) * | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
US6173013B1 (en) * | 1996-11-08 | 2001-01-09 | Sony Corporation | Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal |
RU2201654C2 (ru) | 1997-12-23 | 2003-03-27 | Томсон Лайсенсинг С.А. | Способ низкошумового кодирования и декодирования |
US6275531B1 (en) * | 1998-07-23 | 2001-08-14 | Optivision, Inc. | Scalable video coding method and apparatus |
US6263022B1 (en) * | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
US6600836B1 (en) * | 2000-01-28 | 2003-07-29 | Qualcomm, Incorporated | Quality based image compression |
US6700933B1 (en) * | 2000-02-15 | 2004-03-02 | Microsoft Corporation | System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding |
GB2364842A (en) * | 2000-07-11 | 2002-02-06 | Motorola Inc | Method and system for improving video quality |
GB2384638B (en) | 2002-01-24 | 2004-04-28 | Motorola Inc | Scalable video communication |
EP1570674A1 (en) * | 2002-11-22 | 2005-09-07 | Koninklijke Philips Electronics N.V. | Transcoder for a variable length coded data stream |
US8315307B2 (en) * | 2004-04-07 | 2012-11-20 | Qualcomm Incorporated | Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability |
US7991053B2 (en) * | 2004-05-04 | 2011-08-02 | Qualcomm Incorporated | Method and apparatus to enable acquisition of media in streaming applications |
US7430336B2 (en) * | 2004-05-06 | 2008-09-30 | Qualcomm Incorporated | Method and apparatus for image enhancement for low bit rate video compression |
US8553776B2 (en) * | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
-
2006
- 2006-03-09 US US11/373,604 patent/US7995656B2/en not_active Expired - Fee Related
- 2006-03-10 AR ARP060100931A patent/AR056939A1/es not_active Application Discontinuation
- 2006-03-10 DK DK06748351.1T patent/DK1856917T3/en active
- 2006-03-10 KR KR1020077022534A patent/KR100950273B1/ko not_active IP Right Cessation
- 2006-03-10 EP EP06748351.1A patent/EP1856917B1/en active Active
- 2006-03-10 RU RU2007137490/09A patent/RU2372743C2/ru not_active IP Right Cessation
- 2006-03-10 WO PCT/US2006/008761 patent/WO2006099221A2/en active Application Filing
- 2006-03-10 HU HUE06748351A patent/HUE038079T2/hu unknown
- 2006-03-10 MX MX2007011087A patent/MX2007011087A/es active IP Right Grant
- 2006-03-10 SI SI200632263T patent/SI1856917T1/en unknown
- 2006-03-10 PL PL06748351T patent/PL1856917T3/pl unknown
- 2006-03-10 UA UAA200711183A patent/UA90889C2/uk unknown
- 2006-03-10 AU AU2006223285A patent/AU2006223285C1/en not_active Ceased
- 2006-03-10 PT PT67483511T patent/PT1856917T/pt unknown
- 2006-03-10 CA CA2600450A patent/CA2600450C/en not_active Expired - Fee Related
- 2006-03-10 CN CN2006800145112A patent/CN101167364B/zh not_active Expired - Fee Related
- 2006-03-10 TW TW095108323A patent/TWI457001B/zh not_active IP Right Cessation
- 2006-03-10 TR TR2018/08894T patent/TR201808894T4/tr unknown
- 2006-03-10 NZ NZ561351A patent/NZ561351A/en unknown
- 2006-03-10 BR BRPI0608284-0A patent/BRPI0608284A2/pt not_active Application Discontinuation
- 2006-03-10 JP JP2008500997A patent/JP2008533850A/ja not_active Withdrawn
- 2006-03-10 ES ES06748351.1T patent/ES2674351T3/es active Active
-
2007
- 2007-09-09 IL IL185827A patent/IL185827A/en active IP Right Grant
- 2007-10-09 NO NO20075125A patent/NO20075125L/no not_active Application Discontinuation
-
2011
- 2011-07-08 JP JP2011152176A patent/JP5619688B2/ja not_active Expired - Fee Related
-
2012
- 2012-01-13 JP JP2012005172A patent/JP5619790B2/ja not_active Expired - Fee Related
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5619790B2 (ja) | 二層符号化及び単層復号化による階層的ビデオ符号化 | |
JP2008533850A5 (ja) | ||
JP5042856B2 (ja) | 画像データストリームをスケーラブル符号化および復号するための装置および方法、信号、コンピュータプログラム、および画像品質適応モジュール | |
JP4891234B2 (ja) | グリッド動き推定/補償を用いたスケーラブルビデオ符号化 | |
US8532187B2 (en) | Method and apparatus for scalably encoding/decoding video signal | |
US9338453B2 (en) | Method and device for encoding/decoding video signals using base layer | |
US20060133482A1 (en) | Method for scalably encoding and decoding video signal | |
KR20040091686A (ko) | 더 높은 질의 참조 프레임을 사용하는 fgst 코딩 방법 | |
EP1149495A1 (en) | System and method for encoding and decoding enhancement layer data using base layer quantization data | |
KR20010092797A (ko) | 하이브리드 일시-snr 파인 비례 축소성 비디오 코딩 | |
KR20060105407A (ko) | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 | |
KR20010020147A (ko) | 범용 직렬버스 접속을 위한 2중 압축 비디오 비트 스트림 | |
WO2012076646A1 (en) | High-dynamic range video tone mapping | |
US8014451B2 (en) | Video encoder/decoder with macroblock arrangement of significant item | |
KR100964778B1 (ko) | 다중 계층 비디오 인코딩 | |
JP2005518163A (ja) | メモリ−帯域幅が効率的なファイン・グラニュラ・スケーラビリティ(finegranularscalability:FGS)エンコーダ | |
JP4944792B2 (ja) | 画像符号化方法、画像復号化方法、画像符号化装置および画像復号化装置 | |
Algazi et al. | Perceptual criteria and design alternatives for low bit rate video coding |