JP2009100473A

JP2009100473A - 階層的ｌｕｔを利用したビット深度スケーラビリティのためのエンハンスメントレイヤ残差予測

Info

Publication number: JP2009100473A
Application number: JP2008264356A
Authority: JP
Inventors: Yuwen Wu; ユーウェンウー; Yongying Gao; ヨンインガオ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2007-10-15
Filing date: 2008-10-10
Publication date: 2009-05-07
Anticipated expiration: 2028-10-10
Also published as: EP2051529B1; US8798149B2; KR20090038374A; JP5346198B2; KR101526011B1; DE602008001140D1; EP2051527A1; EP2051529A1; CN101415120B; CN101415120A; US20090110073A1

Abstract

【課題】ビット深度スケーラビリティと他のスケーラビリティタイプ、特に空間スケーラビリティとを組み合わせる方法について問題を解決すること。
【解決手段】スケーラブルビデオストリームは、Ｈ．２６４／ＡＶＣに互換したベースレイヤ（ＢＬ）とスケーラブルなエンハンスメントレイヤ（ＥＬ）とを有する。本発明によると、ＢＬ情報はピクチャレベル、スライスレベル、ＭＢレベルなどの複数の階層的レベルでのインバーストーンマッピングのための個別のルックアップテーブル（ＬＵＴ）を用いてビット深度アップサンプリングされる。ＬＵＴは差分符号化される。アップサンプリングされたベースレイヤデータは、ＬＵＴに基づき同一位置にあるエンハンスメントレイヤを予測するのに利用される。アップサンプリングは、時間、空間及びビット深度特性を参照する。
【選択図】図５

Description

本発明は、デジタルビデオ符号化の技術分野に関し、カラービット深度スケーラビリティのための符号化手段を提供する。

近年、従来の８ビットカラー深度より高いカラー深度が、科学的イメージング、デジタルシネマ、高画質映像対応のコンピュータゲーム、業務用スタジオ及びホームシアター関連アプリケーションなどの多数の分野においてますます望まれている。このため、細心のビデオ符号化規格であるＨ．２６４／ＡＶＣは、各サンプルについて１４ビットまでと４：４：４クロマサンプリングまでをサポートするＦＲＥｘｔ（ＦｉｄｅｌｉｔｙＲａｎｇｅＥｘｔｅｎｓｉｏｎｓ）をすでに搭載している。現在のＳＶＣのリファレンスソフトウェアであるＪＳＶＭは、高ビット深度をサポートしていない。

しかしながら、既存の先進的な符号化手段の何れも他のスケーラビリティタイプに互換したビット深度スケーラビリティをサポートしている。同じ生ビデオについて８ビットと１２ビットなどのビット深度に対する異なる要求を有する２つの異なるデコーダ又はクライアントによるシナリオでは、既存のＨ．２６４／ＡＶＣ手段は、第１ビットストリームを生成するため１２ビット生ビデオを符号化し、その後に１２ビット生ビデオを８ビット生ビデオに変換し、第２ビットストリームを生成するためそれを符号化する。このビデオが異なるビット深度を要求する異なるクライアントに配信される場合、それは２回配信される必要があり、例えば、これら２つのビットストリームは１つのディスクに一緒に配置される。これは、圧縮レートと動作コンプレクシティの両方について非効率なものとなる。

欧州特許出願ＥＰ０６２９１０４１は、Ｈ．２６４／ＡＶＣに互換したベースレイヤ（ＢＬ）とスケーラブルなエンハンスメントレイヤ（ＥＬ）とを含む１つのビットストリームを生成するため、１２ビット生ビデオを１回符号化するスケーラブルな手段を開示している。上述した第１ビットストリームと比較したスケーラブルビットストリーム全体のオーバヘッドは、追加的な第２ビットストリームと比較して小さい。Ｈ．２６４／ＡＶＣデコーダが受信側で利用可能である場合、ＢＬサブビットストリームのみが復号化され、復号化された８ビットビデオが従来の８ビット表示装置上に表示可能である。ビット深度スケーラブルなデコーダが受信側で利用可能である場合、ＢＬサブビットストリームとＥＬサブビットストリームの両方が１２ビットビデオを取得するため復号化されてもよく、それは、８ビットより大きなカラー深度をサポートする高画質表示装置上に表示可能となる。
欧州特許出願ＥＰ０６２９１０４１ "Ｂｉｔ−ＤｅｐｔｈＳｃａｌａｂｌｅＶｉｄｅｏＣｏｄｉｎｇ"ＭＡＲＴＩＮＷＩＮＫＥＮＥＴＡＬ（ＩＭＡＧＥＰＲＯＣＥＳＳＩＮＧ，２００７．ＩＣＩＰ２００７．ＩＥＥＥＩＮＴＥＲＮＡＴＩＯＮＡＬＣＯＮＦＥＲＥＮＣＥＯＮ，ＩＥＥＥ，ＰＩ，１Ｓｅｐｔｅｍｂｅｒ２００７（２００７−０９−０１） "ＳＶＣｂｉｔｄｅｐｔｈｓｃａｌａｂｉｌｉｔｙ"ＷＩＮＫＥＮＭＥＴＡＬ（ＶＩＤＥＯＳＴＡＮＤＡＲＤＳＡＮＤＤＲＡＦＴＳ，ＸＸ，ＸＸ，ｎｏ．ＪＶＴ−Ｖ０７８，１４Ｊａｎｕａｒｙ２００７（２００７−０１−１４） "ＢｉｔＤｅｐｔｈＳｃａｌａｂｌｅＣｏｄｉｎｇ"ＹＵＷＥＮＷＵＥＴＡＬ（ＭＵＬＴＩＭＥＤＩＡＡＮＤＥＸＰＯ，２００７ＩＥＥＥＩＮＴＥＲＮＡＴＩＯＮＡＬＣＯＮＦＥＲＥＮＣＥＯＮ，ＩＥＥＥ，ＰＩ，１Ｊｕｌｙ２００７（２００７−０７−０１）

Ｈ．２６４／ＡＶＣスケーラビリティ拡張ＳＶＣはまた、空間スケーラビリティなどの他のタイプのスケーラビリティを提供する。空間スケーラビリティでは、ＢＬとＥＬの画素数は異なっている。このため、ビット深度スケーラビリティと他のスケーラビリティタイプ、特に空間スケーラビリティとを組み合わせる方法について問題が生じる。本発明は、この問題に対する解決手段を提供する。

請求項１は、ビット深度スケーラビリティと他のスケーラビリティタイプの組み合わせを可能にする符号化方法を記載する。請求項６は、対応する復号化方法を記載する。この符号化方法を利用する装置が請求項１０に記載され、この復号化方法を利用する装置が請求項１１に記載される。

本発明によると、符号化効率を向上させるため、ルックアップテーブル（ＬＵＴ）ベースのインバーストーンマッピング技術が利用される。ＬＵＴベースインバーストーンマッピング技術は、ＢＬピクチャ要素がイントラ符号化される同一位置にあるＥＬピクチャ要素について利用される。一般的なピクチャ要素は、マクロブロック（ＭＢ）、ブロック、スライス、ピクチャ又はピクチャ群である。例えば、スライスレベルについて、ＬＵＴは、エンコーダにおいて再構成されたＢＬのＩスライスと同一位置にあるオリジナルのＥＬスライスとに基づき生成される。特に、ＬＵＴが階層的にビットストリームに挿入可能である。例えば、ＡＶＣに準拠したビットストリームでは、シーケンス全体に基づき１つのＬＵＴが“ベース”ＬＵＴとして生成される。下位レベルＬＵＴがまた異なるフレームに基づき生成可能である。さらに必要に応じて、スライスレベルＬＵＴがまた、ビットストリーム内に備えることも可能である。ＬＵＴにより生じるオーバーヘッドを低減するため、ＬＵＴの各レベルにおいて、それの直ぐ上位レベルのＬＵＴとの差分のみが符号化される。上記手段の全体は、ＳＶＣの構成内で実現可能であり、他のタイプのスケーラビリティ、時間、空間及びＳＮＲスケーラビリティとの互換性がサポートされている。

一実施例では、ＢＬ情報は、一方がテクスチャアップサンプリングであり、他方がビット深度アップサンプリングである２つの論理ステップによりアップサンプリングされる。テクスチャアップサンプリングは、画素数を増加させる処理であり、ビット深度アップサンプリングは、各画素が有することが可能な値の個数を増加させる処理である。この値は、画素の（カラー）強度に対応する。アップサンプリングされたＢＬピクチャ要素は、同一位置にあるＥＬピクチャ要素を予測するのに利用される。エンコーダは、ＥＬビデオデータから残差を生成し、この残差がさらに、符号化（通常はエントロピー符号化）及び送信されるかもしれない。アップサンプリングされるＢＬ情報は、単一の画素、画素ブロック、ＭＢ、スライス、画像全体又は画像グループなどユニット又は単位など、何れかの粒度を有することができる。さらに、１つのステップで上記２つの論理アップサンプリングステップを実行することが可能である。ＢＬ情報が、エンコーダ側とデコーダ側で同様にアップサンプリングされる。このアップサンプリングは、空間及びビット深度特性を参照する。

さらに、組み合わされた空間及びビット深度アップサンプリングは、一般にイントラ符号化画像と共にインタ符号化画像についても実行可能である。しかしながら、本発明による階層的なＬＵＴは、同一位置にあるＢＬがイントラ符号化される場合に限って規定及び使用される。

特に、ベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する方法であって、前記ベースレイヤの画素は前記エンハンスメントレイヤの画素より小さなカラービット深度を有し、当該方法は、ベースレイヤデータを第１粒度によりイントラ符号化するステップと、前記符号化されたベースレイヤデータを再構成するステップと、前記イントラ符号化されたベースレイヤデータについて、オリジナルの前記エンハンスメントレイヤデータと前記対応する再構成されたベースレイヤデータとの間のトーンマッピングを規定する第１トーンマッピングテーブルを生成するステップと、前記イントラ符号化されたベースレイヤデータの一部について、前記オリジナルのエンハンスメントレイヤデータの一部と前記再構成されたベースレイヤデータの対応する部分との間のトーンマッピングを規定する異なる第２トーンマッピングテーブルを生成するステップと、前記第１トーンマッピングテーブルと前記第２トーンマッピングテーブルとの間の差分（すなわち、第１テーブルと第２テーブルとの乖離）を表す差分テーブルを生成するステップと、前記第２トーンマッピングテーブルが前記再構成されたベースレイヤの一部についてのみ使用され、前記ベースレイヤデータより高いビット深度解像度を有する前記対応するエンハンスメントレイヤデータが取得されるように、前記第１トーンマッピングテーブルと前記第２トーンマッピングテーブルとに基づき前記再構成されたベースレイヤデータをビット深度アップサンプリングするステップと、前記オリジナルのエンハンスメントレイヤデータと該エンハンスメントレイヤデータの対応する予測されたバージョンとの間の差分であるエンハンスメントレイヤ残差を生成するステップと、前記エンハンスメントレイヤ残差と、前記第１トーンマッピングテーブルと、前記差分テーブルとを符号化するステップとを有し、前記符号化された第１トーンマッピングテーブルは、前記符号化されたベースレイヤ又はエンハンスメントレイヤデータに関連付けされ、前記差分テーブルは、前記符号化されたベースレイヤデータ又はエンハンスメントレイヤデータの一部に関連付けされる方法に関する。

一実施例では、再構成されたベースレイヤデータは、ビット深度アップサンプリング前に空間的、時間的又はＳＮＲアップサンプリングされ、ベースレイヤデータより高い空間、時間又はＳＮＲ解像度を有する対応するエンハンスメントレイヤデータの第１の予測されたバージョンが取得される。その後、第１マッピングテーブルは、一般にアップサンプリングされた再構成されたＢＬデータと対応するオリジナルＥＬデータとの間のトーンマッピングを規定し、第２トーンマッピングテーブルは、アップサンプリングされた再構成されたＢＬデータの部分と対応するオリジナルＥＬデータの対応する部分との間のマッピングを規定する。さらに、ビット深度アップサンプリングが参照するＥＬデータの第１の予測されたバージョンは、それがアップサンプリングされるため、ＢＬデータと異なっている。

本発明の一特徴によると、ベースレイヤとエンハンスメントレイヤとを有するビデオデータを復号化する方法は、符号化されたエンハンスメントレイヤデータ又はベースレイヤデータから、イントラ符号化されたエンハンスメントレイヤデータに関する第１及び第２トーンマッピングデータを抽出するステップと、前記抽出されたトーンマッピングデータから第１トーンマッピングテーブルを再構成するステップと、前記第１トーンマッピングテーブルと前記第２トーンマッピングテーブルとの間の差分を表す前記抽出されたトーンマッピングデータと前記再構成された第１トーンマッピングテーブルとから、第２トーンマッピングテーブルを再構成するステップと、前記第１トーンマッピングテーブルに係る第１符号化ユニットと、前記第２トーンマッピングテーブルに架かり、前記第１符号化ユニットの一部である第１符号化ユニットとを決定するステップと、残差を有する逆量子化及び逆変換されたエンハンスメントレイヤデータを生成するため、受け付けたベースレイヤデータとエンハンスメントレイヤデータとに対して逆量子化と逆変換とを実行するステップと、イントラ符号化されたベースレイヤデータを再構成するステップと、画素毎の値の深度が増加され、前記第２符号化ユニットの画素について前記第２トーンマッピングテーブルが使用され、前記第１符号化ユニットの残りの画素について前記第１トーンマッピングテーブルが使用され、予測されるエンハンスメントレイヤデータを取得するため前記再構成されたベースレイヤデータをアップサンプリングするステップと、前記予測されたエンハンスメントレイヤデータと前記逆量子化及び逆変換されたエンハンスメントレイヤデータとから、エンハンスメントレイヤビデオデータを再構成するステップとを有する。

利用される原理は、一般的ＬＵＴと例外的ＬＵＴとして理解することができる。一般に、スライス内のＭＢなどの指定された範囲内の指定されたサブ範囲を除いて、第１ＬＵＴがスライスなどの当該範囲について有効となる。指定されたサブ範囲では、第２ＬＵＴは有効となる。原則的には、第２トーンマッピングテーブルは、指定されたサブ範囲について第１トーンマッピングテーブルを上書きする。この原理は、一部又は全ての利用可能な符号化レベルに拡張可能である。

本発明の他の特徴によると、信号は、ベースレイヤビデオデータとエンハンスメントレイヤビデオデータとを有する信号であって、ベースレイヤはエンハンスメントレイヤより小さなカラービット深度を有し、前記ベースレイヤデータは、ピクチャなどのイントラ符号化されたビデオデータを有し、当該信号はさらに、前記イントラ符号化されたビデオデータの第１階層レベルに係る第１トーンマッピングデータと、特定のスライスやＭＢなどの前記ビデオデータの第１階層レベル内の規定された部分に係る第２トーンマッピングデータとを有し、前記第１トーンマッピングデータは、前記部分を除き前記ベースレイヤの第１階層レベルの画素をビット深度アップサンプリングするための第１テーブルを表し、前記第２トーンマッピングデータは、前記部分の画素のビット深度アップサンプリングのための第２テーブルと前記第１テーブルとの間の差分を表す。ここでの“部分”という用語は、ＭＢ、ピクチャ、ＧＯＰ、画像シーケンスなどのピクチャユニットを表す。

他の特徴によると、各装置が記載される。

本発明の一実施例では、ビデオデータを符号化又は復号化する装置は、空間（残差又はテクスチャ）アップサンプリングを実行する手段と、カラービット深度アップサンプリングを実行する手段とをさらに有し、空間アップサンプリング手段は、ＢＬ情報内の値の個数を増加させ、カラービット深度アップサンプリング手段は、各値のカラー範囲を増大させ、空間及びカラービット深度アップサンプリングされたＢＬデータが取得される。

提供された符号化手段の各種実施例は、Ｈ．２６４／ＡＶＣ及びＨ．２６４／ＡＶＣスケーラブル拡張（ＳＶＣ）に規定されるあらゆるタイプのスケーラビリティに互換する。

本発明の好適な実施例が従属形式の請求項、以下の説明及び図面に記載される。

本発明によると、ビット深度スケーラビリティと他のスケーラビリティタイプ、特に空間スケーラビリティとを組み合わせる方法について問題が解消される。

図１に示されるように、Ｎビット生ビデオとＭビットビデオ（Ｍ＜Ｎであり、通常はＭ＝８である）の２つのビデオがビデオエンコーダへの入力として使用される。Ｍビットビデオは、Ｎビット生ビデオから分解されるか、又は他の方法により与えることが可能である。スケーラブルな手段は、ＢＬのピクチャを用いることによって２つのレイヤ間の冗長性を低減させることができる。一方は８ビットカラーを有し、他方はＮビットカラー（Ｎ＞８）を有する２つのビデオストリームがエンコーダに入力され、出力はスケーラブルなビットストリームとなる。また、１つのＮビットカラーデータストリームのみが入力され、それからＭビット（Ｍ＜Ｎ）カラーデータストリームがＢＬについて内部的に生成されることが可能である。Ｍビットビデオは、内蔵されているＨ．２６４／ＡＶＣエンコーダを用いてＢＬとして符号化される。ＢＬ情報は、ＥＬの符号化効率を向上させるため利用可能である。これは、ここではレイヤ間予測と呼ばれる。ＭＢのグループである各ピクチャは、一方がＢＬで他方がＥＬのための２つのアクセスユニットを有している。符号化されたビットストリームは、スケーラブルビットストリームを形成するため多重化される。ＢＬエンコーダは、Ｈ．２６４／ＡＶＣエンコーダなどから構成され、その再構成は、以降のＥＬ符号化に利用されるＮビットカラービデオを予測するのに利用される。

図１に示されるように、スケーラブルビットストリームは、一例ではＡＶＣに準拠し、ＢＬデコーダ（従来のＡＶＣデコーダ）により復号化可能なＢＬビットストリームを含む。このとき、エンコーダと同じ予測がデコーダ側で実行され（各指示の評価の後）、予測されたＮビットビデオを取得する。Ｎビット予測ビデオでは、ＥＬデコーダはＮビット予測を利用して、高画質表示ＨＱのための最終的なＮビットビデオを生成する。

カラービット深度という用語が使用されるとき、それは、ビット深度、すなわち、各値毎のビット数を意味する。これは通常はカラー強度に対応するが、ルミナンスチャネルＹにおけるグレイスケール値を表すかもしれない。

一実施例では、本発明は、ＳＶＣ空間、時間及びクオリティスケーラビリティの現在の構成に基づき、エンハンスされたカラービット深度についてビット深度スケーラビリティによりエンハンスされる。従って、本実施例は、現在のＳＶＣ規格に完全に互換している。しかしながら、それを他の規格に適応させることは当業者には容易であろう。ビット深度スケーラビリティの要点は、ビット深度レイヤ間予測である。レイヤ間予測を利用することによって、ＮビットビデオとＭビットビデオとの間の差分がＥＬとして符号化される。

本発明は、符号化効率を向上させるビット深度スケーラブル符号化のレイヤ間予測のためのＬＵＴベースインバーストーンマッピング技術に適用される。ＬＵＴは、再構成されたＢＬ符号化ユニット（ＧＯＰ、画像、スライス又はＭＢ）と結び付けされたオリジナルのＥＬ符号化ユニットとの間の関係に基づきエンコーダにおいて生成される。

一般に、各ルミナンス／クロミナンスチャネルＹ，Ｃｂ，Ｃｒに対して、１つのＬＵＴが生成される。実際には、これら異なるチャネルのうちの２つ又は３つ全てが同じＬＵＴを共有してもよい。２以上の異なるＬＵＴが同じ符号化レベルに適用される場合、それらはまた、ＬＵＴ_Ｙ，ＬＵＴ_Ｃｂ−Ｙ，ＬＵＴ_Ｃｒ−Ｙなど別々に符号化されてもよい。このとき、生成された各ＬＵＴは、ＢＬとＥＬとの間の冗長性を相関排除（ｄｅ−ｃｏｒｒｅｌａｔｅ）するため、エンコーダにおいてレイヤ間予測中に利用される。各ＬＵＴは、ビットストリームに挿入され、デコーダ側で復元することができる。デコーダは、レイヤ間予測において同じＬＵＴを利用し、このため、高品質でＥＬを再構成することができる。

トーンマッピングＬＵＴが参照するＢＬ及びＥＬデータは、ピクチャシーケンス、ピクチャ、スライス、マクロブロック（ＭＢ）、ブロック（降順による）などの何れかの階層レベルを有することが可能である。異なるレベルのＬＵＴを相関排除するため、各レベルについて（最も高いレベルを除く）、それの直ぐ上位のレベルのＬＵＴとの差分のみが符号化される。この差分ルックアップテーブルは、“デルタＬＵＴ”と呼ばれる。例えば、ＧＯＰ（Ｇｒｏｕｐ−Ｏｆ−Ｐｉｃｔｕｒｅ）など、最上位レベルについて１つのＬＵＴが生成される。他のＬＵＴが、４つのピクチャなどのサブグループレベルについて生成されるかもしれない。このとき、サブグループＬＵＴとグループ／ＧＯＰのＬＵＴとの間の差を表す差分テーブルが生成されるかもしれない。１つのピクチャについてさらなるＬＵＴが生成されるかもしれない。このとき、サブグループＬＵＴとピクチャＬＵＴとの間の差分を表す各デルタＬＵＴが生成される。同様に、スライスレベルとＭＢレベルについてさらなるＬＵＴが生成可能である。これらのＬＵＴのそれぞれについて、その直ぐ上位レベルのＬＵＴに対するデルタＬＵＴは生成される。これは、図５に示される。しかしながら、各レベルについてＬＵＴが生成される必要はない。例えば、ピクチャレベルはスキップされてもよい。このとき、スライスレベルデルタＬＵＴは、ＧＯＰレベルＬＵＴなどの次の上位レベルを参照する。同様に、同一レベルについて複数のＬＵＴ及びデルタＬＵＴが生成されるかもしれない。例えば、第１ＬＵＴ／デルタＬＵＴはＧＯＰ（又はサブグループ）内の第１ピクチャを参照し、第２ＬＵＴ／デルタＬＵＴは同一ＧＯＰ（又はサブグループ）内の他の第２ピクチャを参照する。このとき、２つのデルタＬＵＴは同じＧＯＰ（又はサブグループ）ＬＵＴを参照する。

ビットストリームにおけるＬＵＴのオーバーヘッドをさらに低減するため、下位レベルのＬＵＴ及び／又はデルタＬＵＴが、一実施例において差動符号化技術を利用して符号化される。ＬＵＴの符号化及び復号化処理の数学的表現は以下のようになる。

ベースレイヤ（ＢＬ）とエンハンスメントレイヤ（ＥＬ）のビット深度をそれぞれ表すＮＢとＮＥが与えられると、１つのチャネルについて、ＢＬ信号からＥＬ信号を予測するＬＵＴがＬＵＴ＝｛Ｖ（０），Ｖ（１），．．．，Ｖ（２^ＮＢ−１）として表される。ここで、ＢＬの各レベルは０〜２^ＮＢ−１であり、ＥＬの各レベルは０〜２^ＮＥ−１である。従って、ＬＵＴによると、レイヤ間ビット深度予測において、ＢＬのレベルｉはＥＬのレベルＶ（ｉ）にマップされる。

エンコーダでは、最上位レベルのＬＵＴは隣接値を差分することによって符号化される。以下の各値のみがエントロピー符号化される。

エントリの総数は２^ＮＢである。下位レベルのＬＵＴについて、

に従って各レベルｉのデルタＬＵＴをまず計算する。

デルタＬＵＴはまた、式（１）の方法を用いて符号化される。さらに、Ｖ^ｉ（ｋ）−Ｖ^ｉ−１（ｋ）の多くがゼロとなるため、ハフマンタイプのランレングス符号化が効果的であるかもしれない。

本発明の一特徴によると、ＬＵＴベースインバーストーンマッピング技術は、ＢＬデータがイントラ符号化されるときに限って利用される。これは、それが現在のＳＶＣ規格などに使用されるイントラ符号化された画像とフラグメントのシングルループ復号化に従っており、それが現在のＳＶＣ規格にサポートされる他のタイプのスケーラビリティに互換しているという効果を有する。

図２は、現在のＳＶＣ規格に使用される空間スケーラビリティのイントラテクスチャレイヤ間予測のビット深度スケーラビリティへの拡張のためのエンコーダを示す。ビット深度アップサンプリングブロックＢＤＵは、ルックアップテーブル（ＬＵＴ）生成ブロックＬＵＴＧＥＮとＬＵＴエントロピー符号化ブロックＥＣ_ＬＵＴと共に、ビット深度スケーラビリティへの拡張を表し、その他のブロックはまた空間スケーラビリティに利用される。これらのブロックＢＤＵｐ、ＬＵＴＧＥＮ，ＥＣ_ＬＵＴとそれらの接続は、従来のＳＶＣイントラエンコーダと本発明によるイントラエンコーダとの間の相違点である。

しかしながら、ビット深度アップサンプリングは、空間（テクスチャ）、時間又はＳＮＲアップサンプリングを必ずしも必要としないことに留意すべきである。しかしながら、本発明の１つの効果は、異なるタイプのスケーラビリティが組み合わせ可能であるということである。

図２において、ＭビットベースレイヤはＢＬエンコーダに入力され、ＮビットエンハンスメントレイヤＭＢはＥＬエンコーダ（Ｎ＞Ｍ）に入力される。現在のＳＶＣ規格では、空間イントラテクスチャレイヤ間予測についてテクスチャアップサンプリングが設計された。図２において、テクスチャアップサンプリングＴＵｐへの入力は再構成されたＢＬマクロブロックＢＬ_ｒｅｃであり、出力はＥＬマクロブロックＰｒｅ_ｔ｛ＢＬ_ｒｅｃ｝の空間（テクスチャ）予測されたバージョンである。ビット深度スケーラビリティは、テクスチャアップサンプリングＴＵｐに直接続く（本例では）ビット深度アップサンプリングＢＤＵｐのステップにより実現される。実際的には、まず空間レイヤ間予測としてテクスチャアップサンプリングを適用することがしばしば効果的であり、その後、ビット深度アップサンプリングＢＤＵｐがビット深度レイヤ間予測として実行される。しかしながら、これらの予測ステップの逆順も可能である。テクスチャアップサンプリングＴＵｐとビット深度アップサンプリングＢＤＵｐの両方によって、ＮビットＥＬマクロブロックＰｒｅ_ｃ｛Ｐｒｅ_ｔ｛ＢＬ_ｒｅｃ｝｝の予測されたバージョンが取得される。各ＭＢについて、少なくとも２つの定義されたＬＵＴの１つが使用される。再構成されたＢＬとオリジナルのＥＬ画像データに基づき、ＬＵＴ生成ブロックＬＵＴＧＥＮにおいてＬＵＴが生成される。ＬＵＴは、ビット深度アップサンプリングブロックＢＤＵｐにより利用され、それらはまたエンコーダにも出力される。それらは復号化に必要であり、デコーダに送信される必要があるためである。上述されるように、ＬＵＴがＬＵＴエントロピー符号化ユニットＥＣ_ＬＵＴにおいて符号化される。

オリジナルのＮビットＥＬマクロブロックＥＬ_ｏｒｇとそれの予測されたバージョンＰｒｅ_ｃ｛Ｐｒｅ_ｔ｛ＢＬ_ｒｅｃ｝｝との間の残差ＥＬ’_ｒｅｓが、差分生成手段Ｄ_ＥＬにより取得される。本発明の一実施例では、この残差はさらに、ＳＶＣと同様にＥＬサブビットストリームを形成するため、送信（Ｔ）され、量子化（Ｑ）され、エントリピー符号化（ＥＣ_ＥＬ）される。数学的表現では、カラービット深度イントラアップサンプリングの残差は、

となる。ただし、Ｐｒｅ_ｔ｛｝はテクスチャアップサンプリング演算子を表す。

符号化処理の異なる変形が可能であり、制御パラメータにより制御可能である。図２において、ＥＬ残差が再構成されたＥＬ情報又はアップサンプリングされたＢＬ情報に基づき予測されるか決定する一例となるフラグｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇが示される。

以下において、ＳＶＣビット深度スケーラビリティにおける階層的ＬＵＴベースインバーストーンマッピングを可能にする技術的手段の例示的な実施例が示される。詳細には、いくつかの新たなシンタックス要素が、テーブル１の２５〜４１行目に例示的に示されるように、スケーラブル拡張においてシーケンスパラメータセットに加えられる。以下の式が使用される。

１に等しいｉｎｖ＿ｔｏｎｅ＿ｍａｐ＿ｆｌａｇは、インバーストーンマッピングプロセスがレイヤ間予測において呼び出されることを規定する。０に等しいｉｎｖ＿ｔｏｎｅ＿ｍａｐ＿ｆｌａｇは、インバーストーンマッピングプロセスがレイヤ間予測において呼び出されないことを規定する。

ｌｅｖｅｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｌｕｍａ＿ｍｉｎｕｓ８＋８は、Ｙチャネルのルックアップテーブルのレベル数を規定する。

ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｌｕｍａ［ｉ］は、Ｙチャネルのルックアップテーブルにおけるレベルｉがマップされる値ｓ［ｉ］を以下のように規定する。すなわち、ｉが０に等しくない場合、ｓ［ｉ］はｓ［ｉ−１］＋ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｌｕｍａ［ｉ］に等しく（ただし、ｓ［ｉ−１］は、Ｙチャネルのレベルｉ−１がマップされる値である）、ｉが０に等しい場合、ｓ［ｉ］はｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｌｕｍａ［ｉ］に等しい。

１に等しいｃｈｒｏｍａ＿ｉｎｖ＿ｔｏｎｅ＿ｍａｐ＿ｆｌａｇは、インバーストーンマッピングプロセスがＣｂ及びＣｒチャネルのレイヤ間予測において呼び出されることを規定する。

ｌｅｖｅｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８＋８は、Ｃｂ及びＣｒチャネルのＬＵＴのレベル数を規定する。

ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｂ［ｉ］は、Ｃｂチャネルのルックアップテーブルにおけるレベルｉがマップされる値ｓ［ｉ］を以下のように規定する。すなわち、ｉが０に等しくない場合、ｓ［ｉ］はｓ［ｉ−１］＋ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｂ［ｉ］に等しく（ただし、ｓ［ｉ−１］は、Ｃｂチャネルのレベルｉ−１がマップされる値である）、ｉが０に等しい場合、ｓ［ｉ］はｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｂ［ｉ］に等しい。

０に等しいｃｒ＿ｉｎｖ＿ｔｏｎｅ＿ｍａｐ＿ｆｌａｇは、ＣｂチャネルのＬＵＴがレイヤ間予測に再利用されることを規定する。１に等しいｃｒ＿ｉｎｖ＿ｔｏｎｅ＿ｍａｐ＿ｆｌａｇは、ＣｂチャネルのＬＵＴ以外の異なるルックアップテーブルがＣｒチャネルのレイヤ間予測に使用されることを規定する。

ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｒ［ｉ］は、Ｃｒチャネルのルックアップテーブルにおけるレベルｉがマップされる値ｓ［ｉ］を以下のように規定する。すなわち、ｉが０に等しくない場合、ｓ［ｉ］はｓ［ｉ−１］＋ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｒ［ｉ］に等しく（ただし、ｓ［ｉ−１］は、Ｃｒチャネルのレベルｉ−１がマップされる値である）、ｉが０に等しい場合、ｓ［ｉ］はｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｒ［ｉ］に等しい。

テーブル２は、本発明の一実施例により変形されたピクチャパラメータセットを示す。本発明は、テーブル２の４９〜６８行目に含まれる。

１に等しいｉｎｖ＿ｔｏｎｅ＿ｍａｐ＿ｄｅｌｔａ＿ｆｌａｇは、レイヤ間予測においてシーケンスパラメータセット（ＳＰＳ）に規定されるインバーストーンマッピングに加えられるべきデルタ値の存在を規定する。

ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｌｕｍａ＿ｄｅｌｔａ［ｉ］は、ＹチャネルのルックアップテーブルにおけるレベルｉがマップされるＳＰＳに規定される値に加えられるべきデルタ値ｓ［ｉ］を以下のように規定する。すなわち、ｉが０に等しくない場合、ｓ［ｉ］はｓ［ｉ−１］＋ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｌｕｍａ＿ｄｅｌｔａ［ｉ］に等しく、ｉが０に等しい場合、ｓ［ｉ］はｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｌｕｍａ＿ｄｅｌｔａ［ｉ］に等しい。

１に等しいｃｈｒｏｍａ＿ｉｎｖ＿ｔｏｎｅ＿ｍａｐ＿ｄｅｌｔａ＿ｆｌａｇは、Ｃｂ及びＣｒチャネルのレイヤ間予測においてＳＰＳに規定されるインバーストーンマッピングに加えられるべきデルタ値の存在を規定する。

ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｂ＿ｄｅｌｔａ［ｉ］は、Ｃｂチャネルのルックアップテーブルにおけるレベルｉがマップされる値ＳＰＳに規定される値に加えられるべきデルタ値ｓ［ｉ］を以下のように規定する。すなわち、ｉが０に等しくない場合、ｓ［ｉ］はｓ［ｉ−１］＋ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｂ＿ｄｅｌｔａ［ｉ］に等しく、ｉが０に等しい場合、ｓ［ｉ］はｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｂ＿ｄｅｌｔａ［ｉ］に等しい。

０に等しいｃｒ＿ｉｎｖ＿ｔｏｎｅ＿ｍａｐ＿ｄｅｌｔａ＿ｆｌａｇは、Ｃｂチャネルのデルタ値がＣｒチャネルに再利用されることを規定する。１に等しいｃｒ＿ｉｎｖ＿ｔｏｎｅ＿ｍａｐ＿ｄｅｌｔａ＿ｆｌａｇは、Ｃｂチャネルのデルタ値以外の異なるデルタ値が使用されることを規定する。

ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｒ＿ｄｅｌｔａ［ｉ］は、ＣｒチャネルのルックアップテーブルにおけるレベルｉがマップされＳＰＳに規定される値に加えられるべきデルタ値ｓ［ｉ］を以下のように規定する。すなわち、ｉが０に等しくない場合、ｓ［ｉ］はｓ［ｉ−１］＋ｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｒ＿ｄｅｌｔａ［ｉ］に等しく、ｉが０に等しい場合、ｓ［ｉ］はｏｆｆｓｅｔ＿ｖａｌ＿ｌｏｏｋｕｐ＿ｔａｂｌｅ＿ｃｒ＿ｄｅｌｔａ［ｉ］に等しい。

テーブル３は、スケーラブル拡張における一例となる拡張されたスライスヘッダが与えられる。本発明は、テーブル３の４６〜６７行目に含まれる。

一実施例では、第１ＬＵＴが、オリジナルＥＬスライスとアップサンプリングされ再構成されたＢＬスライスとに基づき生成される。第２ＬＵＴは、オリジナルＥＬスライスの１以上のＭＢとアップサンプリングされ再構成されたＢＬスライスの同じ位置にあるＭＢとに基づき生成される。これら２つのＬＵＴは、上述されるように、ＬＵＴ／デルタＬＵＴとして差動符号化される。従って、第１ＬＵＴは、アップサンプリングされ再構成されたＢＬスライス（第２ＬＵＴが参照するＭＢを除く）をＥＬスライスにマップするのにデコーダにおいて利用可能であり、第２ＬＵＴは、これらのＭＢをそれが参照するＭＢにマップするためデコーダにおいて利用可能である。このＬＵＴ生成方法は、ＬＵＴがデコーダにおいて利用可能なスライス（アップサンプリングされ再構成されたＢＬスライス）と、利用可能な最も高いクオリティのＥＬスライス、すなわち、オリジナルＥＬスライスとの間のマッピングを規定するため、復号化が最適化可能であるという効果を有する。階層的ＬＵＴを利用する効果は、ＬＵＴセットが実ビデオデータに最適に適応化されるということであり、これは、スライスの大部分がしばしば同質であり、スライス内の小さな領域しか異なっていないためである。効果的には、これらの領域について独立した差分ＬＵＴが定義される。従って、当該方法は、デコーダの要求と最も高いクオリティの再構成に最適に適応化される。

一実施例では、ＬＵＴは、ＥＬデータと共に符号化及び送信される。ＥＬデータは、これらのＬＵＴを利用して再構成されたＢＬデータからエンコーダにおいて予測され、残差がイントラ符号化及び送信される。その後、ＬＵＴはデコーダにおいて再構成されたＢＬデータに適用され、残差が追加される。この結果は、より高いカラービット深度により復号化されたＥＬピクチャとなる。

スライスレベルについてｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎなど、ヘッダへのＬＵＴベースインバーストーンマッピングをサポートするため、追加されたシンタックス要素を挿入することが効果的である。

実際的には、異なるユニット（ピクチャ、スライス、ＭＢ）は異なるＬＵＴを有することが可能である。各レベルのヘッダに新たなシンタックス要素を加えることは、インバーストーンマッピングを利用するフレキシビリティを可能にする。例えば、オブジェクトベースのスライスセグメント化のケースでは、異なるスライスは異なる特性の効果を有し、ＢＬスライスと対応するＥＬスライスとの間の関係は、異なるスライス間では全く異なるものとすることが可能である。従って、異なるスライスに異なるＬＵＴを生成することが効果的であるかもしれない。他方、ＢＬスライスと対応するＥＬスライスとの間の関係及び特性は、複数のピクチャのシーケンス全体において一定なものとすることが可能である。この場合、上位レベルのＬＵＴが、上位レベル（シーケンス又はＧＯＰレベルなど）について生成され、下位レベルＬＵＴが、これらのピクチャの１つ、一部又はすべての範囲内の領域（スライス、ＭＢグループ、ＭＢなど）について生成されうる。一実施例では、下位レベルＬＵＴが各ピクチャにおいて規定された特定の領域に関連付けされる。他の実施例では、１つの下位レベルＬＵＴをピクチャシーケンスの各ピクチャ内の各領域に関連付けることが可能である。一実施例では、ＭＢは関連付けされたデルタＬＵＴを有し、シーケンスの次のＭＢは、前のＭＢと同じデルタＬＵＴを再び加えるための指示を有している。同じ原理が、ＭＢ以外の符号化レベルに適用可能である。

図３は、レイヤ間予測を利用するイントラ符号化ＢＬ画像のための一例となるデコーダを示す。多重化及びパケット化されたビットストリームなどにおいて、符号化されたＢＬ及びＥＬ情報ＢＬ_ｅｎｃ，ＥＬ_ｅｎｃを本発明による符号化されたＬＵＴと受信し、ＢＬ、ＥＬ及びＬＵＴ情報を分離した後、ＢＬ情報、ＥＬ情報及びＬＵＴがエントロピー復号化される。この例では、ＬＵＴはＥＬ情報に含まれる。その後、逆量子化Ｑ^−１と逆変換Ｔ^−１がビデオデータに加えられ、階層的ＬＵＴｓであるＬＵＴ_１，ＬＵＴ_２がＬＵＴ復号化ユニットＬＵＴｄｅｃにおいて復号化される。ＬＵＴ復号化ユニットは、上位レベルＬＵＴ、デルタＬＵＴ及び最終的に下位レベルＬＵＴを再構成し、ビット深度予測ユニットＢＤＵｐについて２以上の復号化されたルックアップテーブルを提供する。式１に従って符号化される最も高いレベルのＬＵＴの再構成は、

を用いることができる（Ｖ_ｅｎｃは符号化された値である）。

式２に従って符号化された下位レベルＬＵＴの再構成は、

を用いることができ、通常はｄＶ^ｉ（ｋ）の大部分はゼロである。

ＢＬについて、イントラ符号化された画像の処理は従来のＳＶＣについてのものと同じである。すなわち、画像は、空間イントラ予測を利用して、すなわち、同一画像の以前に再構成された情報に基づき再構成される。デブロッキング後、得られたＢＬ信号ＢＬ_ｒｅｃが８ビットカラー深度を有する標準的なＳＶＣディスプレイ上に表示することができる。この信号はまた、対応するＥＬ画像Ｐｒｅ_ｃ｛Ｐｒｅ_ｔ｛ＢＬ_ｒｅｃ｝｝の予測されたバージョンを生成するのに利用することができる。このため、それはテクスチャアップサンプリングされたＴＵｐであり、ＥＬ画像Ｐｒｅ_ｔ｛ＢＬ_ｒｅｃ｝のテクスチャ予測されたバージョンが取得され、それは、抽出及び復号化されたルックアップテーブルを用いてビット深度アップサンプリングされたＢＤＵｐとなる。その後、テクスチャビット深度アップサンプリングされ再構成されたＢＬ画像Ｐｒｅ_ｃ｛Ｐｒｅ_ｔ｛ＢＬ_ｒｅｃ｝｝が、Ａ_２，ＥＬの向上した逆量子化及び逆変換されたＥＬ残差ＥＬ’_ｒｅｓを更新するのに利用され、これにより、デブロッキング後にＨＱ表示のためＥＬビデオＥＬ_ｒｅｃとして出力可能な信号が取得される。

もちろん、ＥＬモードにより動作するデコーダは、ＥＬ予測について要求されているため、ＢＬビデオＢＬ_ｒｅｃも内部的に生成するが、ＢＬビデオは必ずしもデコーダ出力において利用可能である必要はない。一実施例では、デコーダは、ＢＬビデオＢＬ_ｒｅｃとＥＬビデオＥＬ_ｒｅｃのための２つの出力を有し、他の実施例では、それはＥＬビデオＥＬ_ｒｅｃのための出力しか有しない。

対応するＢＬのＭＢがインタ符号化されるＥＬのＭＢについて、対応するＢＬのＭＢがイントラ符号化される場合と同様に、同じＬＵＴに基づくレイヤ間予測が利用される必要があるという制限はない。例えば、リニアスケーリングが、対応するＢＬのＭＢがインタ符号化される場合におけるビット深度アップサンプリング方法として機能しうる。

図２のイントラエンコーダについて上述されるように、デコーダはまた符号化に対応する異なるモードにより動作可能である。従って、レイヤ間予測が利用されるか否かを決定する指標ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇなどの各フラグが、ビットストリームから抽出及び評価される。そうでない場合、ＥＬ画像は、空間予測された画像の更新Ａ_１，ＥＬ、空間予測及びデブロッキングを用いて通常は再構成される。

本発明の一実施例では、ベースレイヤの画素がエンハンスメントレイヤの画素より少ないカラービット深度を有するベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する装置は、イントラ符号化されるベースレイヤデータを第１粒度で符号化する符号化手段Ｔ，Ｑと、符号化されたベースレイヤデータを再構成する手段Ｔ^−１，Ｑ^−１と、オリジナルのエンハンスメントレイヤデータと対応する再構成されたベースレイヤデータＰｒｅ_ｔ｛ＢＬ_ｒｅｃ｝との間のトーンマッピングを規定する第１トーンマッピングテーブルＬＵＴ_ＧＯＰをイントラ符号化されたベースレイヤデータについて生成する手段と、イントラ符号化されたベースレイヤデータのＭＢなどの一部について、オリジナルのエンハンスメントレイヤデータＥＬ_ｏｒｇの当該部分と再構成されたベースレイヤデータＰｒｅ_ｔ｛ＢＬ_ｒｅｃ｝の対応する部分との間のトーンマッピングを規定する異なる第２トーンマッピングテーブルＬＵＴ_ＭＢを生成する手段と、第１トーンマッピングテーブルＬＵＴ_ＧＯＰと第２トーンマッピングテーブルＬＵＴ_ＭＢとの間の差分を表す差分テーブルｄＬＵＴ_ＭＢを生成する手段と、第２トーンマッピングテーブルが再構成されたベースレイヤの当該部分についてのみ利用され、ベースレイヤデータより高いビット深度解像度を有する対応するエンハンスメントレイヤデータの予測されたバージョンＰｒｅ_ｃ｛Ｐｒｅ_ｔ｛ＢＬ_ｒｅｃ｝｝が取得される第１及び第２トーンマッピングテーブルに基づき再構成されたベースレイヤデータをビット深度アップサンプリングする手段ＢＤＵｐと、オリジナルのエンハンスメントレイヤデータとエンハンスメントレイヤデータの対応する予測されたバージョンＰｒｅ_ｃ｛Ｐｒｅ_ｔ｛ＢＬ_ｒｅｃ｝｝との間の差分となるエンハンスメントレイヤ残差ＥＬ’_ｒｅｓを生成する手段と、エンハンスメントレイヤ残差と、第１トーンマッピングテーブルＬＵＴ_ＧＯＰと、上記差分テーブルｄＬＵＴ_ＭＢとを符号化する手段とを有し、符号化された第１トーンマッピングテーブルは符号化されたベースレイヤ又はエンハンスメントレイヤデータに関連付けされ、差分テーブルは符号化されたベースレイヤデータ又はエンハンスメントレイヤデータの上記部分に関連付けされる。

一実施例では、符号化装置はさらに、ビット深度アップサンプリング前に再構成されたベースレイヤデータＢＬ_ｒｅｃをアップサンプリングする手段ＴＵｐを有し、ベースレイヤデータより高い空間、時間又はＳＮＲ解像度を有し、上記ビット深度アップサンプリングステップに利用される対応するエンハンスメントレイヤデータの第１の予測されたバージョンＰｒｅ_ｔ｛ＢＬ_ｒｅｃ｝が取得される。

本発明の一実施例では、ベースレイヤとエンハンスメントレイヤとを有するビデオデータを復号化する装置は、符号化されたエンハンスメントレイヤデータＥＬ_ｅｎｃ又はベースレイヤデータＢＬ_ｅｎｃとから、イントラ符号化されたエンハンスメントレイヤデータに関する第１及び第２トーンマッピングデータを抽出する手段と、抽出されたトーンマッピングデータから第１トーンマッピングテーブルＬＵＴ_ＧＯＰを再構成する手段と、抽出されたトーンマッピングデータと再構成された第１トーンマッピングテーブルとから、利用する抽出されたトーンマッピングデータが第１トーンマッピングテーブルと第２トーンマッピングテーブルとの間の差分ｄＬＵＴ_ＭＢを表す第２トーンマッピングテーブルＬＵＴ_ＭＢを再構成する手段と、第１トーンマッピングテーブルが関連する第１符号化ユニットと、第２トーンマッピングテーブルが関連し、第１符号化ユニットの一部である第２符号化ユニットとを決定する手段と、受け付けたベースレイヤデータとエンハンスメントレイヤデータとに対して逆量子化及び逆変換を実行し、残差ＥＬ’_ｒｅｓを有するエンハンスメントレイヤデータを取得する手段Ｔ^−１，Ｑ^−１と、イントラ符号化されたベースレイヤデータを再構成する手段Ａ_１，ＢＬ，ＰＲ_Ｉ，ＤＢＬ_Ｉと、画素毎の値の深度が増加され、第２符号化ユニットにおける各画素について、第２トーンマッピングテーブルが使用され、第１符号化ユニットの残りの画素について、第１トーンマッピングテーブルが使用され、予測されるエンハンスメントレイヤデータＰｒｅ_ｃ｛Ｐｒｅ_ｔ｛ＢＬ_ｒｅｃ｝｝が取得される再構成されたベースレイヤデータＢＬ_ｒｅｃをアップサンプリングする手段ＢＤＵｐと、予測されたエンハンスメントレイヤデータＰｒｅ_ｃ｛Ｐｒｅ_ｔ｛ＢＬ_ｒｅｃ｝｝と逆量子化及び逆変換されたエンハンスメントレイヤデータとから、再構成されたエンハンスメントレイヤビデオデータを再構成する手段Ａ_２，ＥＬとを有する。

経験的に、一実施例では、ベースレイヤとエンハンスメントレイヤとを有するビデオデータを復号化する装置は、符号化されたエンハンスメントレイヤデータ又はベースレイヤデータから、イントラ符号化されたエンハンスメントレイヤデータの１以上のヘッダからの第１及び第２トーンマッピングデータを抽出する手段と、抽出されたトーンマッピングデータから第１トーンマッピングテーブルを再構成する手段と、使用される抽出されたトーンマッピングデータが第１トーンマッピングテーブルと第２トーンマッピングテーブルとの間の差分を表す第２トーンマッピングテーブルを抽出されたトーンマッピングデータと再構成された第１トーンマッピングテーブルとから再構成する手段と、逆量子化及び逆変換されたエンハンスメントレイヤデータが残差を有するよう受け付けたベースレイヤデータとエンハンスメントレイヤデータとに対して逆量子化及び逆変換を実行する手段と、イントラ符号化されたベースレイヤデータを再構成する手段と、画素数が増加され、画素毎の値の深度が増大され、第１イントラ符号化データユニットについて、第１トーンマッピングテーブルが使用され、第１データユニットに含まれる第２イントラ符号化データユニットについて、第２トーンマッピングテーブルが使用され、予測されたエンハンスメントレイヤデータが取得される再構成されたベースレイヤデータをアップサンプリングする手段と、予測されたＥＬデータと逆量子化及び逆変換されたＥＬ情報とからＥＬビデオ情報を再構成する手段とを有する。

“トーンマッピング”と“逆トーンマッピング”という用語は、異なる観点から同一の処理を記載していることに留意されたい。従って、それらは、ここでは同義的に使用される。例えば、ＪＶＴでは、“逆トーンマッピング”という用語は、低いビット深度（すなわち、ＢＬ）から高いビット深度（すなわち、ＥＬ）の予測を説明するのに使用される。しかしながら、ここで使用される用語は、本発明のＪＶＴへの適用性を排除するものとして理解されるべきでない。同じことが他の規格にも適用されるかもしれない。

さらに、ＢＬ画像のイントラ符号化された部分のすべてが、必ずしもＬＵＴベースの逆トーンマッピングを使用する必要はない。ＬＵＴベースの逆トーンマッピング技術が適用されるか否かは、歪み測定技術により決定することができる。ＬＵＴベースの逆トーンマッピング技術が使用されることが決定される場合、例えば、ＩＮＴＲＡ＿ＢＬモードが選択され、そうでない場合、一般的なＡＶＣツールが現在のＥＬのＭＢを符号化するのに利用可能である。

ＢＬ及びＥＬにおける異なる個数の可能なカラーによって、各ＢＬカラーは異なるＥＬカラーにマップすることができる。通常、これら異なるＥＬカラーは大変類似しており、このため、カラースケール又は色域において“近傍”となる。

図４は、ＧＯＰ、スライス及びＭＢレベルに対するトーンマッピングのための一例となる階層的なルックアップテーブル群を示す。ＧＯＰは、高ビット深度のカラーに関して同様の特性を有する複数のピクチャＩ_１，Ｉ_２，．．．，Ｉ_ｎを含む。例えば、特定のカラーが、それの“近傍”のカラーより頻繁に使用される。例えば、Ｉ_２などのピクチャの少なくとも１つはいくつかのスライスＳＬ_１，ＳＬ_２，ＳＬ_３を含み、スライスの１つであるＳＬ_２のＥＬにおいて、当該特定の近傍カラーが他の第２の近傍カラーよりは頻繁には使用されない。さらに、スライスの１つであるＳＬ_３では、１以上のマクロブロックが含まれ、そこでもまた、当該特定の近傍カラーが第２（又は第３）の近傍カラーよりは頻繁には使用されない。送信される第１のトーンマッピングルックアップテーブルＬＵＴ_ＧＯＰが、ＢＬとＥＬとの間のＧＯＰレベルでの一般的なマッピングを規定する。さらに、第２トーンマッピングルックアップテーブルＬＵＴ_ＳＬは、各スライスＳＬ_２と当該特定のＢＬカラーのみを参照するスライスレベルの当該カラーに対する異なるマッピングを規定する。第２トーンマッピングルックアップテーブルＬＵＴ_ＳＬは、その後に送信される“デルタＬＵＴ”ｄＬＵＴ_ＳＬに差分符号化される。両方のテーブルが、例えば、指標又は各ヘッダへの挿入などによって、それらが参照する各領域（すなわち、ＧＯＰとスライス）に関連付けされる。さらに、他の第３トーンマッピングルックアップテーブルＬＵＴ_ＭＢが一般化され、スライスの１つにおける１以上のマクロブロックＭＢ_１，ＭＢ_２，ＭＢ_３，ＭＢ_４について使用される。この第３トーンマッピングルックアップテーブルＬＵＴ_ＭＢはまた、最も高いレベルのテーブルに対して（本例ではＬＵＴ_ＧＯＰ）差分符号化される。このとき、デルタＬＵＴのｄＬＵＴ_ＭＢは、それが参照する各ＭＢに関連付けされ、送信される。

図５は、ＧＯＰ、スライス及びＭＢレベルでのトーンマッピングのための他の一例となる階層的トーンマッピングルックアップテーブルセットを示す。それは、下位レベルトーンマッピングルックアップテーブルＬＵＴ_ＭＢがそれの直ぐ上位のレベル（本例ではＬＵＴ_ＳＬ）に対して符号化される。ナチュラルなビデオの特性によって、この符号化は図４と同様に最も高いレベルＬＵＴの再参照より適切であるかもしれない。さらに、ＭＢレベルトーンマッピングＬＵＴが参照するＭＢは、関連付けされた別のトーンマッピングＬＵＴをすでに有するスライスＳＬ_２内に配置される。スライスレベルテーブルＬＵＴ_ＳＬは、ＳＬ_２についてのみＧＯＰレベルテーブルＬＵＴ_ＧＯＰを却下し、ＭＢレベルテーブルＬＵＴ_ＭＢは、ＧＯＰレベルテーブルＬＵＴ_ＧＯＰとＭＢ_２のスライスレベルテーブルＬＵＴ_ＳＬの両方を却下する。さらに、他のＭＢレベルＬＵＴがＭＢ_３などについて生成されてもよい。一実施例では、ＭＢレベルルックアップテーブルは、ＭＢ_１及びＭＢ_２などの複数のマクロブロックを参照するかもしれない。

一般に、下位レベルトーンマッピングテーブルが適用されない領域では、それは無視される。（例えば、図５のＭＢ_１について、ＬＵＴ_ＭＢは無視される。）さらに、下位レベルトーンマッピングテーブルは、例えば、２つのサブステップにおけるマッピングステップを実行するなどによって非明示的に生成されるかもしれない。すなわち、まず特定の入力値が下位レベルＬＵＴにおいて検索され、下位レベルＬＵＴが当該入力値の出力値を規定していると判断された場合、この出力値が利用される。しかしながら、下位レベルＬＵＴが、例えば、下位レベルＬＵＴが単なる部分的なＬＵＴであるため、当該入力値の出力値を規定していない場合、入力値は上位レベルＬＵＴにおいて検索される。上位に複数の階層レベルが存在する場合、これら複数の上位レベルＬＵＴが、直ぐ上位のレベルから連続的にスタートし、１つが入力値の出力を提供するまで検索される。

ビット深度スケーラビリティへの空間スケーラビリティの拡張のための提供された階層的ルックアップテーブルアプローチの１つの効果は、送信されるデータ量が極めて小さいということである。これは、ルックアップテーブルが画像のコンテンツに個別に適応化及び圧縮されるためである。従って、制御データ（すなわち、ＬＵＴデータ）と共に実ビデオデータのデータ量が最小化される。さらに、カラービット深度スケーラビリティへの拡張を実現するため、新たな予測モードが必要とされない。

本発明のさらなる効果は、他のタイプのスケーラビリティ、ロウバスト性及び先進的な技術への拡張性との完全な互換性である。特に、本発明は、ベースレイヤイントラ符号化されたピクチャ又はピクチャの一部にのみＬＵＴベースインバーストーンマッピングを適用するためのシングルループ復号化フレームワークを維持しながら、符号化効率を向上させる。

また、ルックアップテーブルの生成及びアップサンプリングのための再構成されたＢＬデータの使用のため、エンコーダ側での予測がデコーダ側での予測により良好に適応化され、これにより、残差がより良いものとなり、デコーダ側において、より良好な予測及び再構成の結果を実現することが可能となる。

本発明は、特に異なるクオリティレイヤと高いレイヤ間冗長性を有するビデオ信号又は他のタイプの信号のためのスケーラブルエンコーダ、スケーラブルデコーダ及びスケーラブル信号について利用可能である。

本発明が例示的に説明されたが、本発明の範囲から逸脱することなく詳細の変更が可能であることは理解されるであろう。明細書に記載される各特徴と、必要に応じて請求項及び図面とが、独立に又は何れか適切な組み合わせにより提供されるかもしれない。各特徴は、必要に応じてハードウェア、ソフトウェア又はこれらの組み合わせにより実現可能である。請求項に記載される参照番号は、単なる例示であり、請求項の範囲について限定的な効果を有するものでない。

図１は、カラービット深度スケーラブル符号化のフレームワークを示す。図２は、空間スケーラビリティのイントラテクスチャレイヤ間予測のカラービット深度スケーラビリティの拡張のためのエンコーダを示す。図３は、空間スケーラビリティのイントラテクスチャレイヤ間予測のカラービット深度スケーラビリティの拡張のためのデコーダを示す。図４は、ＧＯＰ、スライス及びマクロブロックレベルでのトーンマッピングのための一例となる階層的ルックアップテーブルセットを示す。図５は、ＧＯＰ、スライス及びマクロブロックレベルでのトーンマッピングのための他の例となる階層的ルックアップテーブルセットを示す。

符号の説明

ＢＬベースレイヤ
ＥＬエンハンスメントレイヤ
ＬＵＴルックアップテーブル
ＭＢマクロブロック

Claims

ベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する方法であって、前記ベースレイヤの画素は前記エンハンスメントレイヤの画素より小さなカラービット深度を有し、
当該方法は、
ベースレイヤデータを第１粒度によりイントラ符号化するステップと、
前記符号化されたベースレイヤデータを再構成するステップと、
前記イントラ符号化されたベースレイヤデータについて、オリジナルの前記エンハンスメントレイヤデータと前記対応する再構成されたベースレイヤデータとの間のトーンマッピングを規定する第１トーンマッピングテーブルを生成するステップと、
前記イントラ符号化されたベースレイヤデータの一部について、前記オリジナルのエンハンスメントレイヤデータの一部と前記再構成されたベースレイヤデータの対応する部分との間のトーンマッピングを規定する異なる第２トーンマッピングテーブルを生成するステップと、
前記第１トーンマッピングテーブルと前記第２トーンマッピングテーブルとの間の差分を表す差分テーブルを生成するステップと、
前記第２トーンマッピングテーブルが前記再構成されたベースレイヤの一部についてのみ使用され、前記ベースレイヤデータより高いビット深度解像度を有する前記対応するエンハンスメントレイヤデータが取得されるように、前記第１トーンマッピングテーブルと前記第２トーンマッピングテーブルとに基づき前記再構成されたベースレイヤデータをビット深度アップサンプリングするステップと、
前記オリジナルのエンハンスメントレイヤデータと該エンハンスメントレイヤデータの対応する予測されたバージョンとの間の差分であるエンハンスメントレイヤ残差を生成するステップと、
前記エンハンスメントレイヤ残差と、前記第１トーンマッピングテーブルと、前記差分テーブルとを符号化するステップと、
を有し、
前記符号化された第１トーンマッピングテーブルは、前記符号化されたベースレイヤ又はエンハンスメントレイヤデータに関連付けされ、
前記差分テーブルは、前記符号化されたベースレイヤデータ又はエンハンスメントレイヤデータの一部に関連付けされる方法。
前記ビット深度アップサンプリングステップ前に前記再構成されたベースレイヤデータをアップサンプリングするステップをさらに有し、
前記ベースレイヤデータより高い空間、時間又はＳＮＲ解像度を有し、前記ビット深度アップサンプリングステップに使用される対応するエンハンスメントレイヤデータの第１の予測されたバージョンが取得される、請求項１記載の方法。
前記第１トーンマッピングテーブル、前記差分テーブル又は該テーブルの両方が、エントロピー符号化され、
エントリは、前のエントリに関する差分の値により表される、請求項１又は２記載の方法。
ルミナンス及びクロミナンスチャネルについて、別々のトーンマッピングテーブルが生成される、請求項１乃至３何れか一項記載の方法。
インタ符号化されたベースレイヤデータについては、トーンマッピングテーブルは生成されない、請求項１乃至４何れか一項記載の方法。
ベースレイヤとエンハンスメントレイヤとを有するビデオデータを復号化する方法であって、
当該方法は、
符号化されたエンハンスメントレイヤデータ又はベースレイヤデータから、イントラ符号化されたエンハンスメントレイヤデータに関する第１及び第２トーンマッピングデータを抽出するステップと、
前記抽出されたトーンマッピングデータから第１トーンマッピングテーブルを再構成するステップと、
前記第１トーンマッピングテーブルと前記第２トーンマッピングテーブルとの間の差分を表す前記抽出されたトーンマッピングデータと前記再構成された第１トーンマッピングテーブルとから、第２トーンマッピングテーブルを再構成するステップと、
前記第１トーンマッピングテーブルに係る第１符号化ユニットと、前記第２トーンマッピングテーブルに係り、前記第１符号化ユニットの一部である第１符号化ユニットとを決定するステップと、
残差を有する逆量子化及び逆変換されたエンハンスメントレイヤデータを生成するため、受け付けたベースレイヤデータとエンハンスメントレイヤデータとに対して逆量子化と逆変換とを実行するステップと、
イントラ符号化されたベースレイヤデータを再構成するステップと、
画素毎の値の深度が増加され、前記第２符号化ユニットの画素について前記第２トーンマッピングテーブルが使用され、前記第１符号化ユニットの残りの画素について前記第１トーンマッピングテーブルが使用され、予測されるエンハンスメントレイヤデータを取得するため前記再構成されたベースレイヤデータをアップサンプリングするステップと、
前記予測されたエンハンスメントレイヤデータと前記逆量子化及び逆変換されたエンハンスメントレイヤデータとから、エンハンスメントレイヤビデオデータを再構成するステップと、
を有する方法。
前記アップサンプリングするステップは、空間、時間又はＳＮＲアップサンプリングの１以上を有する、請求項６記載の方法。
前記第１トーンマッピングテーブル、前記第２トーンマッピングテーブル又は該テーブルの両方が、差分符号化される、請求項６又は７記載の方法。
ベースレイヤビデオデータとエンハンスメントレイヤビデオデータとを有する信号であって、
ベースレイヤはエンハンスメントレイヤより小さなカラービット深度を有し、
前記ベースレイヤデータは、イントラ符号化されたビデオデータを有し、
当該信号はさらに、前記イントラ符号化されたビデオデータの第１階層レベルに係る第１トーンマッピングデータと、前記ビデオデータの第１階層レベル内の規定された部分に係る第２トーンマッピングデータとを有し、
前記第１トーンマッピングデータは、前記部分を除き前記ベースレイヤの第１階層レベルの画素をビット深度アップサンプリングするための第１テーブルを表し、
前記第２トーンマッピングデータは、前記部分の画素のビット深度アップサンプリングのための第２テーブルと前記第１テーブルとの間の差分を表す信号。
ベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する装置であって、
前記ベースレイヤの画素は、前記エンハンスメントレイヤの画素より小さなカラービット深度を有し、
当該装置は、
ベースレイヤデータを第１粒度によりイントラ符号化する手段と、
前記符号化されたベースレイヤデータを再構成する手段と、
前記ベースレイヤデータより高い空間、時間又はＳＮＲ解像度を有する対応するエンハンスメントレイヤデータの第１の予測されたバージョンを取得するため、再構成されたベースレイヤデータをアップサンプリングする手段と、
第２のインタ符号化されるベースレイヤスライスについてトーンマッピングテーブルを生成せず、第１のイントラ符号化されたベースレイヤスライスについて互いに比較されるアップサンプリングされた再構成された第１ベースレイヤスライスと対応するオリジナルのエンハンスメントレイヤスライスとの間の個別のマッピングを規定したトーンマッピングテーブルを生成する手段と、
前記エンハンスメントレイヤスライスの第１の予測されたバージョンより高いビット深度解像度を有する対応するエンハンスメントレイヤスライスの第２の予測されたバージョンを取得するため、前記トーンマッピングに基づき前記エンハンスメントレイヤスライスの第１の予測されたバージョンをビット深度アップサンプリングする手段と、
前記オリジナルのエンハンスメントレイヤスライスと前記エンハンスメントレイヤスライスの対応する第２の予測されたバージョンとの間の差分であるエンハンスメントレイヤ残差を生成する手段と、
前記エンハンスメントレイヤ残差をスライスヘッダに対応するトーンマッピングテーブルを有するエンハンスメントレイヤスライスに符号化する手段と、
を有する装置。
ベースレイヤとエンハンスメントレイヤとを有するビデオデータを復号化する装置であって、
符号化されたエンハンスメントレイヤデータ又はベースレイヤデータから、イントラ符号化されたエンハンスメントレイヤデータの１以上のヘッダからの第１及び第２トーンマッピングデータを抽出する手段と、
前記抽出されたトーンマッピングデータから第１トーンマッピングテーブルを再構成する手段と、
前記第１トーンマッピングテーブルと第２トーンマッピングテーブルとの間の差分を表す前記抽出されたトーンマッピングデータと、前記再構成された第１トーンマッピングテーブルとから第２トーンマッピングテーブルを再構成する手段と、
残差を有する逆量子化及び逆変換されたエンハンスメントレイヤデータを取得するため、受け付けたベースレイヤデータとエンハンスメントレイヤデータとに対して逆量子化及び逆変換を実行する手段と、
イントラ符号化されたベースレイヤデータを再構成する手段と、
画素数が増加され、画素毎の値の深度が増大され、第１イントラ符号化データユニットについて前記第１トーンマッピングテーブルが使用され、前記第１データユニットに含まれる第２イントラ符号化データユニットについて第２トーンマッピングテーブルが使用され、予測されるエンハンスメントレイヤデータを取得するため、前記再構成されたベースレイヤデータをアップサンプリングする手段と、
前記予測されたエンハンスメントレイヤデータと前記逆量子化及び逆変換されたエンハンスメントレイヤデータとから、エンハンスメントレイヤビデオ情報を再構成する手段と、
を有する装置。
前記再構成されたベースレイヤデータを前記ビット深度アップサンプリング前にアップサンプリングし、前記ベースレイヤデータより高い空間、時間又はＳＮＲ解像度の第１の予測されたバージョンを生成する手段をさらに有し、
前記ビット深度アップサンプリングに対して、対応する前記エンハンスメントレイヤデータの第１の予測されたバージョンが使用される、請求項１０又は１１記載の装置。