JP2017017684A - 高ダイナミックレンジフレームおよびインポーズされる低ダイナミックレンジフレームの両方を符号化するための方法およびデバイス - Google Patents

Abstract

【課題】高ダイナミックレンジフレームおよびインポーズされる低ダイナミックレンジフレームの両方を符号化するための効率的な方法を提供する。
【解決手段】バックライトフレームを高ダイナミックレンジ（ＨＤＲ）フレームから決定するステップと、ＨＤＲフレームおよびバックライトフレームに対応する残差フレームを算出するステップと、インポーズされるフレーム（ＩＭＦ）から算出される残差フレームの予測子を使用して残差フレームを予測符号化するステップと、を備える符号化方法およびデバイスであって、インポーズされるフレームはＨＤＲフレームの低ダイナミックレンジバージョンである。
【選択図】図１

Description

本開示は一般的には、フレーム／ビデオ符号化および復号に関する。特に本開示の技術分野は、フレームであって、その画素値が高ダイナミックレンジに属するフレームの、および、フレームであって、その画素値がより低いダイナミックレンジに属するフレームの符号化／復号に関係付けられるものである。

本セクションは、読者に、下記で説明および／または特許請求される本開示の様々な態様に関係付けられ得る、技術の様々な態様を紹介することを意図している。この議論は、読者に背景情報を提供して、本開示の様々な態様を容易により良く理解することに役立つと確信する。したがって、これらの説明は、この観点から読むべきであり、従来技術の自白として読むべきでないことを理解すべきである。

標準ダイナミックレンジフレーム（ＳＤＲフレーム）はフレームであるが、その輝度値が、制限される数のビット（８または１０であることが最も多い）によって表される。この限定的な表現は、特に、暗い、および明るい輝度範囲での小さな信号変動の正しいレンダリングを可能としない。高ダイナミックレンジフレーム（ＨＤＲフレーム）では信号表現は、信号の高い正確度をその全部の範囲にわたって維持するために拡張される。ＨＤＲフレームでは画素値は通常、最も普及したフォーマットがｏｐｅｎＥＸＲ半精度浮動小数点（ｈａｌｆ−ｆｌｏａｔ）フォーマット（ＲＧＢ成分当たり１６ビット、すなわち、画素当たり４８ビット）である、浮動小数点フォーマット（各々の成分に対して３２ビットまたは１６ビット、すなわち、浮動小数点または半精度浮動小数点のいずれか）で、または、ｌｏｎｇ型の表現、典型的には少なくとも１６ビットによる整数で表される。

ＨＤＲフレームを符号化するための典型的な手法は、レガシーな符号化方式（ＳＤＲフレームを符号化するように初期に構成される）によりフレームを符号化するために、フレームのダイナミックレンジを低減することである。

よく知られている手法によると、バックライトフレームが、入力ＨＤＲフレームの輝度成分から決定される。次いで、残差フレームが、入力ＨＤＲフレームをバックライトフレームで除算することにより取得され、バックライトフレームおよび残差フレームの両方が、Ｈ．２６４／ＡＶＣ（（「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ」， ＳＥＲＩＥＳ Ｈ： ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ， Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｔ Ｈ．２６４， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ ｏｆ ＩＴＵ， Ｊａｎｕａｒｙ ２０１２）．）またはＨＥＶＣ、ＳＨＶＣ（「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」， ＳＥＲＩＥＳ Ｈ： ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ， Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｔ Ｈ．２６５， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ ｏｆ ＩＴＵ， Ｏｃｔｏｂｅｒ ２０１４）などのレガシーな符号化器により符号化される。

そのような符号化手法は、ＨＤＲフレームを、ＨＤＲフレームの輝度成分から取得されたバックライトフレームで除算することにより、ＳＤＲフレームを自動的に生成する。

結果的に、ＳＤＲフレームがインポーズされるとき、すなわち、ＳＤＲフレームが符号化の入力であり、さらに符号化されるとき、そのような符号化手法は適応されない。なぜなら、インポーズされるＳＤＲフレームに（視覚コンテンツの点で）十分に近いＨＤＲフレームから自動的な低ダイナミックレンジフレームを得る見込みが実際上ないためである。

これは例えば、２つの異なるカラーグレーディング：ＨＤＲフレームから取得されたＳＤＲフレームに対するもの、および、ＨＤＲフレームそれ自体に対するものをスタジオから取得することが期待される、映画向けの使用例で起こる。その場合、ＨＤＲフレームを符号化するための通常のバックライトベースの方法から、芸術的にグレーディングされるＳＤＲフレームに（視覚コンテンツの点で）十分に近い、（ＳＤＲフレームをバックライトフレームで除算することで）自動的なＳＤＲフレームを得ることは、実際上不可能である。

本開示は、フレームを符号化するための方法であって、
− バックライトフレームをそのフレームから決定するステップと、
− そのフレームおよびそのバックライトフレームに対応する残差フレームを算出するステップと、
− その残差フレームを、インポーズされるフレームから算出されたその残差フレームの予測子を使用して予測符号化するステップであって、上記インポーズされるフレームは、符号化されるそのフレームの低ダイナミックバージョンである、予測符号化するステップと、
を含む、その方法によって、従来技術の欠点の一部を改善することを企図している。

これは、ＨＤＲフレームおよびインポーズされるＳＤＲフレームの両方を符号化するための高い効率的な方法を提供するものである。なぜなら、その残差フレームは、その残差フレームに視覚コンテンツの点で類似する、そのインポーズされるＳＤＲフレームから取得された予測子を使用して予測符号化されるためである。これは、符号化されるその残差フレームのそのダイナミックを低減し、したがって、そのインポーズされるＳＤＲフレームおよびそのＨＤＲフレームを独立して符号化する符号化方法と比較して、符号化効率を増大する。

さらに、上記の映画向けの使用例では、芸術的な意図（カラーグレード、その他…）は、そのＨＤＲフレームおよびそのインポーズされるＳＤＲフレームの両方に対して維持される。

次に、その方法は、典型的には８〜１２ビットの、低から中間のビット深度符号化器を使用するのみであり、そのことは、通常のインフラストラクチャとの後方互換性を確実にする。

実施形態によると、その残差フレームのその予測子は、そのインポーズされるフレームの復号されたバージョンから算出される。

実施形態によると、その残差フレームのその予測子を算出するステップは、そのインポーズされるフレームのその復号されたバージョンを、その残差フレームに、カラーマッピング関数によりマッピングするステップを備える。

実施形態によると、そのカラーマッピング関数は、３Ｄカラールックアップテーブルを使用する。

実施形態によると、そのバックライトフレームは、そのインポーズされるフレームからさらに決定される。

実施形態によると、そのバックライトフレームを決定するステップは、そのフレームの各々の成分を、そのフレームＩＭＦの成分で除算するステップを備える。

実施形態によると、その方法は、予測符号化する前に、その残差フレームをマッピングし、そのバックライトフレームを決定する前に、そのインポーズされるフレームの各々の成分を逆マッピングするステップをさらに備える。

実施形態によると、その残差フレームを予測符号化するステップは、ＳＨＶＣ標準に準拠する。

本開示は、フレームを少なくとも１つのビットストリームから復号するための方法にさらに関する。その方法は、
− バックライトフレームを、ビットストリームを少なくとも部分的に復号することにより取得するステップと、
− 復号されたインポーズされるフレームを、ビットストリームを少なくとも部分的に復号することにより取得するステップであって、上記復号されたインポーズされるフレームは、復号されるそのフレームの低ダイナミックバージョンである、取得するステップと、
− 予測子を、その復号されたインポーズされるフレームから取得するステップと、
− 復号された残差フレームを、ビットストリームを少なくとも部分的に復号することにより、および、その復号されたインポーズされるフレームから取得されたその予測子を使用することにより予測復号するステップと、
− その復号された残差フレーム、およびその復号されたバックライトフレームに対応するそのフレームを復号するステップと、
を備える。

実施形態によると、その方法は、
− ３ＤカラーＬＵＴに関係付けられるパラメータを、ビットストリームを少なくとも部分的に復号することにより取得するステップと、
− その予測子を、その復号されたインポーズされるフレーム、およびその取得されたパラメータから取得するステップと、
をさらに備える。

実施形態によると、その予測子は、３ＤカラーＬＵＴの各々の領域に対する特定の予測子を備える。

実施形態によると、復号された残差フレームを予測復号するステップは、ＳＨＶＣ標準に準拠する。

その態様の他のものによると、本開示は、その上記の方法を実装するように構成されたプロセッサーを備えるデバイスと、コンピュータプログラム製品であって、このプログラムがコンピュータ上で実行されるときに、その上記の方法のそのステップを実行するためのプログラムコードの命令を備える、そのコンピュータプログラム製品と、プロセッサー可読媒体であって、そのプロセッサー可読媒体内に、プロセッサーが、その上記の方法の少なくともそのステップを実行することを引き起こすための命令が記憶される、そのプロセッサー可読媒体と、プログラムコードの命令であって、上記プログラムがコンピューティングデバイス上で実行されるときに、その上記の方法のステップを実行するための、そのプログラムコードの命令を搬送する、非一時的ストレージ媒体と、に関する。

本開示の特定の性質、ならびに、本開示の他の対象、利点、特徴、および使用は、付随する図面との連関で取り上げられる好ましい実施形態の、以下の説明から明らかになろう。

実施形態は、以下の図への参照によって説明される。
本原理の例によるフレームＩを符号化するための方法のステップのブロック図である。 本原理の例によるフレームＩを符号化するための方法のステップのブロック図である。 本原理の例による方法のステップのブロック図である。 本原理の例による方法のステップのブロック図である。 本原理の例による方法のステップのブロック図である。 本原理の例による３ＤカラーＬＵＴを創作するための方法のフローチャートである。 ３ＤカラーＬＵＴの例を示す図である。 ３ＤカラーＬＵＴの例を示す図である。 カラーマッピング関数が３ＤカラーＬＵＴを使用するときの、ステップ１０９のサブステップの図である。 フレームをバックライトフレームで除算することにより算出される残差フレームを表すビットストリームを復号するための、本原理の例による方法のステップのブロック図である。 デバイスのアーキテクチャの例を示す図である。 通信ネットワークを介して通信する２つのリモートデバイスを示す図である。

本開示は、本明細書で以降、本開示の実施形態が示される、添付の図を参照することによってより完全に説明される。しかしながら本開示は、多くの代替の形式で実施され得るものであり、本明細書で説明される実施形態に制限されると解釈されるべきではない。したがって、本開示は様々な変更および代替形式が可能であるが、その特定の実施形態が、図面で例として示され、本明細書で詳細に説明される。しかしながら、本開示を、開示される個別の形式に制限する意図はなく、反対に本開示は、特許請求の範囲により定義されるような、本開示の趣旨および範囲の内部に在る、すべての変更、等価物、および代替物を包含するためのものであることが理解されるべきである。類似の番号は、図の説明の全体を通して類似の要素を指す。

本明細書で使用される専門用語は、個別の実施形態を説明することの目的のみのためのものであり、本開示に関して制限的であることは意図されない。単数形式「ａ」、「ａｎ」、および「ｔｈｅ」は、本明細書で使用される際に、文脈でそうでないことを明確に示さない限り複数形式も含むことを意図する。用語「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、および／または「含む（ｉｎｃｌｕｄｉｎｇ）」は、本明細書で使用されるときに、説明される特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つまたは複数の、他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらの群の、存在または追加を排除しないことがさらに理解されよう。さらに、ある要素が別の要素に「対応する（ｒｅｓｐｏｎｓｉｖｅ ｔｏ）」または「接続される」と言うとき、それは、その別の要素に直接対応する、もしくは接続される場合があり、または、介在要素が存在する場合がある。対照的に、要素が他の要素に「直接対応する」または「直接接続される」と言うとき、介在要素は存在しない。本明細書で使用される際に、用語「および／または」は、関連付けられる列挙される項目の１つまたは複数の任意の、およびすべての組み合わせを含み、「／」と略す場合がある。

第１の、第２の、等の用語が、様々な要素を説明するために本明細書で使用され得るが、これらの用語によりこれらの要素が制限されるべきではないことが理解されよう。これらの用語は、１つの要素を別のものから区別するためにのみ使用される。例えば、本開示の教示から逸脱することなく、第１の要素は第２の要素と名付けられ得るものであり、同様に、第２の要素は第１の要素と名付けられ得る。

図の一部は、通信の主方向を示すために、通信経路上に矢印を含むが、通信は、描写される矢印に対して反対方向で行われ得ることが理解されるべきである。

一部の実施形態は、各々のブロックが、指定の論理関数を実装するための、回路要素、モジュール、または、１つもしくは複数の実行可能命令を含むコードの部分を表す、ブロック図および動作フローチャートに関して説明される。他の実装では、ブロックで記される機能は、記される順序から外れて行われ得ることがさらには留意されるべきである。例えば、連続で示される２つのブロックは、現実には、実質的に同時的に実行され得るものであり、またはブロックは時には、必然的に含まれる機能性に応じて逆順序で実行され得る。

本明細書での「１つの実施形態」または「実施形態」への言及は、実施形態との関連で説明される個別の特徴、構造、または特性が、本開示の少なくとも１つの実装に含まれ得ることを意味する。本明細書の様々な所での語句「１つの実施形態で」または「実施形態によると」の出現は、必ずしもすべてが同じ実施形態を指してはおらず、別々の、または代替的実施形態は、必ずしも他の実施形態に関して相互に排他的ではない。

特許請求の範囲に出現する参照番号は、例としてのみのものであり、特許請求の範囲の範囲への制限的な影響を有さないものとする。

明示的に説明されないが、本実施形態および変形形態は、任意の組み合わせまたはサブコンビネーションで用いられ得る。

本開示は、フレームを符号化／復号することに対して説明されるが、フレームのシーケンス（ビデオ）の符号化／復号への拡張となる。なぜなら、シーケンスの各々のフレームは、下記で説明されるように順次的に符号化／復号されるためである。

図１は、本原理の例によるフレームＩを符号化するための方法のステップのブロック図を示す。

ステップ１００でモジュールＩＣは、符号化されるフレームＩの少なくとも１つの成分Ｉ^jを取得する。

以下では、成分Ｉ^j=1は、フレームＩの輝度成分であり、成分Ｉ^j≠1は、符号化されるフレームＩの色成分である。

例えば、フレームＩが色空間（Ｘ，Ｙ，Ｚ）に属するとき、輝度成分Ｉ¹は、成分Ｙの変換ｆ（．）により取得され、例えばＩ¹＝ｆ（Ｙ）である。

フレームＩが色空間（Ｒ，Ｇ，Ｂ）に属するとき、輝度成分Ｉ¹は、例えば、
Ｉ¹＝ｇ（０．２１２７．Ｒ＋０．７１５２．Ｇ＋０．０７２２．Ｂ）
により与えられる線形結合の関数により、７０９色域で取得される。

ステップ１０１でモジュールＢＡＭは、バックライトフレームＢａの成分Ｂａ^jを、フレームＩの各々の成分Ｉ^jから決定する。

図３で例示されるステップ１０１の実施形態によると、モジュールＢＩは、バックライトフレームＢａの成分Ｂａ^jを、

により与えられる、形状関数

の重み付けされる線形結合であるとして決定するものであり、ここで

は、成分Ｂａ^jに対する重み付け係数である。

したがって、バックライトフレームＢａの成分Ｂａ^jを成分Ｉ^jから決定することは、バックライトフレームＢａの成分Ｂａ^jが成分Ｉ^jに適合するために、最適な重み付け係数（および可能性として、さらには、前もって知られていないならば、最適な形状関数）を見出すことにある。

成分Ｂａ^jに対する重み付け係数

を見出すための多くのよく知られている方法が存する。例えば、最小平均二乗誤差方法を使用して、成分Ｂａ^jと成分Ｉ^jとの間の平均二乗誤差を最小化することが可能である。

本開示は、バックライトフレームＢａを取得するための任意の特定の方法に制限されない。

形状関数は、（例えばＬＥＤでなされ、したがって各々の形状関数は１つのＬＥＤの応答に対応する）ディスプレイバックライトの真の物理的応答であってもよく、または、輝度成分に最も良好に適合するための純粋な数学的構造であってもよいことに留意すべきである。

この実施形態によると、ステップ１０１から出力されるバックライトフレームＢａは、式（１）により与えられる少なくとも１つの成分を備えるバックライトフレームＢａである。

図４で例示されるステップ１０１の実施形態によると、モジュールＢＭは、（式（１）により与えられる）バックライトフレームＢａの少なくとも１つの成分Ｂａ^jを、モジュールＨＬにより取得された平均値Ｌ_meanによって調節（ｍｏｄｕｌａｔｅ）する。

バックライトフレームの少なくとも１つの成分を、フレームの成分の平均値によって調節することは、フレームの成分と残差フレームの成分との間の大域的な輝度コヒーレンスを改善し、例えば、フレーム内の明るい領域は残差フレーム内で明るく見え、フレーム内の暗い領域は残差フレーム内で暗く見える。

複数の成分が、これらの成分のダイナミックレンジを、それらのトーンを変更することなく低減するために、同じ平均値によって調節される。

この実施形態によると、ステップ１０１から出力されるバックライトフレームＢａは、調節されるバックライトフレームである。

実施形態によると、モジュールＨＬは、平均値Ｌ_meanを、全体のルミナンス成分Ｉ¹にわたって算出するように構成される。

この実施形態の変形形態によると、モジュールＨＬは、

により平均値Ｌ_meanを算出するように構成され、ここでβは、１より小さい係数であり、Ｅ（Ｘ）は、成分Ｉ¹の数学的期待値（平均）である。

この最後の変形形態は、フレームＩがフレームのシーケンスに属するときに、通常非常に迷惑な一時的な平均明るさの不安定性の原因となる極めて高い値の数個の画素により、平均値Ｌ_meanが影響を受けることを防止するものであるため、有利である。

本開示は、平均値Ｌ_meanを算出するための特定の実施形態に制限されない。

図５で例示される変形形態によると、モジュールＮは、フレームに対して（または、フレームＩがフレームのシーケンスに属するならば、すべてのフレームに対して）、１での中間灰色成分

を得るように、（式（１）により与えられる）バックライトフレームＢａの少なくとも１つの成分Ｂａ^jを、ルミナンス平均値Ｅ（Ｂａ¹）により正規化する。

次いでモジュールＢＭは、１での中間灰色成分

を、成分Ｉ^jの平均値Ｌ_meanによって、以下の関係

を使用することにより調節するように構成され、ここでｃｓｔ_modは調節係数であり、αは、１より小さい、典型的には０．３から０．５の間の、別の調節係数である。

この変形形態によると、ステップ１０１から出力されるバックライトフレームＢａｌは、式（２）により与えられる少なくとも１つの成分

を備えるバックライトフレームである。

調節係数ｃｓｔ_modは、残差フレームに対する良好なルックとなる明るさを得るために調節され、バックライトフレームを取得することのプロセスに高度に依存することに留意すべきである。例えば、最小平均二乗により取得されたすべての成分に対して、

である。

実際には、線形性により、バックライトフレームの成分Ｂａ^jを調節するためのすべての演算は、バックライト係数

に、補正因子（ｃｏｒｒｅｃｔｉｎｇ ｆａｃｔｏｒ）として供給され、その因子は、係数

を新しい係数

に変換し、結果として

を得る。

ステップ１０２（図１）で、ステップ１０１から出力されるバックライトフレームＢａを決定するために必要とされるデータが、符号化器ＥＮＣ１により符号化され、ビットストリームＦ１内に追加され、そのビットストリームＦ１は、記憶され、および／または、通信ネットワークを介して送信され得る。

例えば、符号化されるデータは、既知の非適応的形状関数が使用されるときは、重み付け係数

または

に制限されるが、形状関数Ψ_iは、例えば、より良好な適合のためのいくらか最適な数学的構造の例では、事前に知られておらず、したがってビットストリームＦ１内で符号化される場合もある。そのため、すべての重み付け係数

または

（および可能性として、形状関数

）が、ビットストリームＦ１内で符号化される。

有利には、重み付け係数

または

は、ビットストリームＦ１のサイズを低減するために、符号化される前に量子化される。

別の例によると、バックライトフレームＢａの各々の成分Ｂａ^jは、符号化器ＥＮＣ１によりビットストリームＦ１内で符号化される画像であると考えられる。

ステップ１０３で残差フレームＲｅｓは、フレームＩを、復号されたバージョンのバックライトフレームで除算することにより算出される。

バックライトフレームの復号されたバージョンを使用して、符号化器側および復号器側の両方での同じバックライトフレームを確実にすることが有利であり、したがってこれは、最終的な復号されたフレーム

のより良好な精密度につながる。

より精密には、モジュールＩＣから取得されたフレームＩの各々の成分Ｉ^jは、バックライトフレームの成分の復号されたバージョン

で除算される。この除算は画素ごとに行われる。

例えば、フレームＩの成分Ｒ、Ｇ、またはＢが色空間（Ｒ，Ｇ，Ｂ）で表現されるとき、成分Ｒｅｓ¹、Ｒｅｓ²、およびＲｅｓ³が、以下のように取得される。

例えば、フレームＩの成分Ｘ、Ｙ、またはＺが色空間（Ｘ，Ｙ，Ｚ）で表現されるとき、成分Ｒｅｓ¹、Ｒｅｓ²、およびＲｅｓ³が、以下のように取得される。

一実施形態によると、ステップ１０４で、バックライトフレームの少なくとも１つの成分の復号されたバージョン

が、復号器ＤＥＣ１によりビットストリームＦ１を少なくとも部分的に復号することにより取得される。

上述したように、バックライトフレームの成分を取得するために必要とされる一部のデータ、ステップ１０１の出力が、符号化され（ステップ１０２）、次いで、ビットストリームＦ１を少なくとも部分的に復号することにより取得されている。

上記で与えられる例の後に続いて、重み付け係数

（および可能性として、形状関数

）が次いで、ステップ１０４の出力として取得される。

次いでステップ１０５でモジュールＢＡＧは、バックライトフレームの成分の復号されたバージョン

を、重み付け係数

、および、一部の知られている非適応的形状関数、または形状関数

のいずれかから、

により生成する。

別の例によると、バックライトフレームの成分の復号されたバージョン

は、ビットストリームＦ１を復号することにより直接取得される。

ステップ１０６でモジュールＭＡＰは、少なくとも１つのトーンマッピングされる成分Ｒｅｓ^j _vを、残差フレームＲｅｓの少なくとも１つの成分Ｒｅｓ^jをトーンマッピングすることにより取得するものであり、そのことは、その少なくとも１つのトーンマッピングされる成分Ｒｅｓ^j _vから築造される、視認可能な残差フレームＲｅｓ_vを得るためのものである。

残差フレームＲｅｓは、そのダイナミックレンジが高すぎるために、および、この残差フレームＲｅｓの復号されたバージョンが高い可視アーチファクトを示すために、視認可能でない場合があるように思われるかもしれない。残差フレームの少なくとも１つの成分をトーンマッピングすることは、トーンマッピングされる残差フレームが、符号化されるフレーム内の元のシーンと比較して、シーンの、適度に良好な堅実にトーンマッピングされるバージョンを芸術的にレンダリングするという意味で、視認可能な残差フレームを提供する。したがって、この方法は、視認可能な残差フレームが、高ダイナミックレンジを扱うことができない従前の装置により復号および／または表示され得るため、後方互換性を有する。

視認可能なＳＤＲフレームを、符号化される残差フレームから自動的に提供する能力は重要な利点である。なぜならそれは、バックライトフレームおよび残差フレームの両方を後処理して、ＨＤＲフレーム（ビデオ）を復号することに専用化されていない、標準ＳＤＲ ＴＶセットおよび受信デバイスを持っている顧客に、ＨＤＲフレーム（ビデオ）を配信することを可能とするためである。

さらに、高度に空間的に相関される（および、フレームの同じシーケンスの他のフレームに時間的に相関される）トーンマッピングされる残差フレームＲｅｓ、およびバックライトフレームが、別々に符号化されるため、そのような方法によりＨＤＲフレームを符号化することは、効率的な符号化方式につながる。したがって、符号化利得は、トーンマッピングされる残差フレームの高い圧縮率の、および、バックライトフレームを符号化するためのデータのわずかな量のために達せられる。

本開示は、任意の特定のマッピング演算子に制限されない。この単一の条件は、トーンマッピング演算子は可逆的なものとするということである。

例えば、Ｒｅｉｎｈａｒｄにより定義されるトーンマッピング演算子が使用され得る（Ｒｅｉｎｈａｒｄ， Ｅ．， Ｓｔａｒｋ， Ｍ．， Ｓｈｉｒｌｅｙ， Ｐ．， ａｎｄ Ｆｅｒｗｅｒｄａ， Ｊ．，「Ｐｈｏｔｏｇｒａｐｈｉｃ ｔｏｎｅ ｒｅｐｒｏｄｕｃｔｉｏｎ ｆｏｒ ｄｉｇｉｔａｌ ｆｒａｍｅｓ，」 ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ ２１ （Ｊｕｌｙ ２００２）、または、Ｂｏｉｔａｒｄ， Ｒ．， Ｂｏｕａｔｏｕｃｈ， Ｋ．， Ｃｏｚｏｔ， Ｒ．， Ｔｈｏｒｅａｕ， Ｄ．， ＆ Ｇｒｕｓｏｎ， Ａ． （２０１２）。Ｔｅｍｐｏｒａｌ ｃｏｈｅｒｅｎｙ ｆｏｒ ｔｏｎｅ ｖｉｄｅｏ ｍａｐｐｉｎｇ。Ａ． Ｍ． Ｊ． ｖａｎ Ｅｉｊｋ， Ｃ． Ｃ． Ｄａｖｉｓ， Ｓ． Ｍ． Ｈａｍｍｅｌ， ＆ Ａ． Ｋ． Ｍａｊｕｍｄａｒ （Ｅｄｓ．）， Ｐｒｏｃ． ＳＰＩＥ ８４９９， Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｆｒａｍｅ Ｐｒｏｃｅｓｓｉｎｇ （ｐ． ８４９９０Ｄ−８４９９０Ｄ−１０）において）。

ステップ１０６の実施形態によると、残差フレームの成分Ｒｅｓ^jをマッピングすることは、残差フレームの成分Ｒｅｓ¹の画素値に応じたガンマ補正またはＳＬｏｇ補正のいずれかを含む。

視認可能な残差フレームＲｅｓ_vの成分

が次いで、例えば、

により与えられ、ここでＡは定数値であり、γ^jは、例えば１／２．４に等しい、ガンマ曲線の係数である。

あるいは、視認可能な残差フレームＲｅｓ_vの成分

は、例えば、

により与えられ、ここでａ^j、ｂ^j、ｃ^jは、０および１が不変であるように決定されるＳＬｏｇ曲線の係数であり、ＳＬｏｇ曲線の導関数は、１より下でガンマ曲線により延長されるときに、１において連続的である。したがってａ^j、ｂ^j、ｃ^jは、パラメータγ^jの関数である。

一実施形態によると、残差フレームの成分に関係のあるガンマ−Ｓｌｏｇ曲線のパラメータγ^jは、符号化器ＥＮＣ１により符号化され、ビットストリームＦ１内に追加される。

ガンマ補正を残差フレームＲｅｓのルミナンス成分に適用することは、暗い領域を引き上げるが、明るい画素の焼き付きを回避できるほどにはハイライトを低下させない。

ＳＬｏｇ補正を残差フレームＲｅｓのルミナンス成分上で供給することは、ハイライトを十分低下させるが、暗い領域を引き上げない。

したがって、ステップ１０６の好ましい実施形態によると、モジュールＭＡＰは、残差フレームＲｅｓの成分の画素値によって、ガンマ補正またはＳＬｏｇ補正のいずれかを適用する。

暗い、および明るい情報の損失がないような、ガンマおよびＳＬｏｇ補正は、高い精密度を伴う、残差フレームおよびバックライトフレームからのＨＤＲフレームの再構築につながる。さらにガンマおよびＳ−ｌｏｇ補正は、再構築されるＨＲＤフレーム、および、視認可能な残差フレームの両方で、平坦にクリッピングされるエリアを回避する。

例えば、残差フレームＲｅｓの成分の画素値が、（１に等しい）閾値より下であるとき、ガンマ補正が適用され、そうでない場合、ＳＬｏｇ補正が適用される。

構築により、視認可能な残差フレームＲｅｓ_vの成分は通常、上記のガンマ−Ｓｌｏｇ組み合わせの使用を特に効率的になすと、フレームＩの関連付けられる成分の明るさに依存して、１により近い、またはより近くない平均値を有する。

方法の実施形態によると、ステップ１０７でモジュールＳＣＡは、残差フレームの少なくとも１つの成分Ｒｅｓ^jまたは

を、符号化（ステップ１１０）の前に、その成分をスケール化因子ｃｓｔ_scalingにより乗算することによりスケール化する。

残差フレームの成分ｊをスケール化することは、残差フレームから取得されたフレームの平均灰色を、視認および符号化の両方に対する妥当な値にする。

次いで、残差フレームＲｅｓ_sの、結果として生じる成分

が、方法の実施形態によると、

により与えられる。

好ましくは、スケール化因子ｃｓｔ_scalingは、残差フレームの成分の値を０から最大値２^N−１にマッピングするように定義され、ここでＮは、符号化器ＥＮＣ２による符号化のための入力として可能とされるビットの数である。

これは当然ながら、ルミナンス値１（おおよそ、残差フレームの成分の平均値である）を、中間灰色ルミナンス値２^N-1にマッピングすることにより取得される。したがって、標準数のビットＮ＝８を伴う残差フレームの成分に対して、１２０に等しいスケール化因子は、２⁷＝１２８での中性灰色に非常に近付けられるため、非常に堅実な値である。

方法の実施形態によると、ステップ１０８でモジュールＣＬＩは、残差フレームの少なくとも１つの成分を、符号化の前にクリッピングして、そのダイナミックレンジを、例えば符号化器ＥＮＣ２の能力によって定義される、目標とされるダイナミックレンジＴＤＲに制限する。

残差フレームをクリッピングすることは、ビット数の制限を確実にし、それを符号化するための従前の符号化／復号方式の使用を可能とする。さらには符号化／復号方式は、既存のインフラストラクチャ（コーデック、ディスプレイ、配信チャネル、その他）との後方互換性がある。なぜなら、低ダイナミックレンジ、典型的には８〜１０ビットを有する残差フレームのみが、フレームの低ダイナミックレンジバージョンを表示するために、そのようなインフラストラクチャによって送信され得るためである。バックライトデータを内包する小さなビットストリームが、フレームの元のバージョン（すなわち、ＨＤＲフレーム）を配信するために、専用のインフラストラクチャによってサイドコンテナ（side container）内で搬送され得る。

この最後の実施形態によると、結果として生じる残差フレームＲｅｓ_cの成分

が、例えば、方法の実施形態によると、

により与えられる。

本開示は、そのようなクリッピング（ｍａｘ（．））に制限されるものではなく、任意の種類のクリッピングに拡張される。

方法の実施形態によると、スケール化実施形態およびクリッピング実施形態を組み合わせると、

により与えられる残差フレームＲｅｓ_scの成分

をもたらす。

残差フレームの成分のマッピングおよびスケール化は、パラメトリックプロセスである。パラメータは、固定される、またはされない場合があり、後者の例ではそれらは、符号化器ＥＮＣ１によりビットストリームＦ１内で符号化され得る。

方法の実施形態によると、ガンマ補正の定数値γ、スケール化因子ｃｓｔ_scalingは、ビットストリームＦ１内で符号化されるパラメータであり得る。

パラメータα、ｃｓｔ_mod、ｃｓｔ_scaling、γ^j、βの選定は、ポストプロダクションおよびカラーグレーディングでの専門家の嗜好（ｔａｓｔｅ）に従って、コンテンツに最も良好に適するマッピングの選定のための余地を与えることが留意され得る。

他方でユニバーサルパラメータが、多種多様なフレームのすべてに受け入れ可能となるように定義される場合がある。その場合、ビットストリームＦ１内で符号化されるパラメータはない。

本開示によると、ステップ１１０で残差フレームＲｅｓ（Ｒｅｓ_v、Ｒｅｓ_s、またはＲｅｓ_c）は、符号化器ＥＮＣ２により、予測子Ｐｒｅｄを使用して予測符号化され、ビットストリームＦ２内に追加され、そのビットストリームＦ２は、記憶され、および／または、通信ネットワークを介して送信され得る。

本開示によると、ステップ１０９で、残差フレームＲｅｓ（Ｒｅｓ_v、Ｒｅｓ_s、またはＲｅｓ_c）の予測子Ｐｒｅｄは、インポーズされるフレームＩＭＦの復号されたバージョン

、すなわちステップ１１２の出力から算出される。

用語「インポーズされる」は、フレームＩＭＦが残差フレームＲｅｓ（Ｒｅｓ_v、Ｒｅｓ_s、またはＲｅｓ_c）に関して異なることを表す。フレームＩＭＦは、フレームＩの低ダイナミックレンジバージョンである。フレームＩＭＦおよびフレームＩは、芸術家により異なってカラーグレーディングされている、および／または、異なる色空間（例えば、フレームＩＭＦに対するＲｅｃ．７０９、および、フレームＩに対するＲＥＣ．２０２０色空間）で表現される場合がある。

ステップ１０９の実施形態によると、予測子Ｐｒｅｄを算出することは、インポーズされるフレームＩＭＦの復号されたバージョン

を、残差フレームＲｅｓ（Ｒｅｓ_v、Ｒｅｓ_s、またはＲｅｓ_c）に、カラーマッピング関数（ＣＭＦ）によりマッピングすることを含む。

これは、予測符号化器ＥＮＣ２の符号化効率を改善するものである。なぜなら、この場合、残差フレームと予測子Ｐｒｅｄとの間で算出される残差のダイナミックが低減されるためである。

カラーマッピング関数ＣＭＦは、フレームＩおよびＩＭＦの色空間に、ならびに、コンテンツそれ自体にもまた依存し得る。実際、フレームコンテンツ創作では、一部の色補正が、フレームＩもしくはフレームＩＭＦのいずれか、または両方に関して、コンテンツ創作者芸術的意図に応じて動作させられる（カラーグレーディング、その他…）。フレームＩおよびＩＭＦの成分に適用されるこれらの色変換は異なり得る。したがって一般的な例では、カラーマッピング関数ＣＭＦは、単純な決定論的色空間変換に低減されない。

実施形態によると、カラーマッピング関数ＣＭＦは、シンタックスに対するＨＥＶＣサブセクションＦ．７．３．２．３．５ 「Ｃｏｌｏｕｒ ｍａｐｐｉｎｇ ｏｃｔａｎｔｓ ｓｙｎｔａｘ」、および、セマンティクスに対するサブセクションＦ．７．４．３．３．５ 「Ｃｏｌｏｕｒ ｍａｐｐｉｎｇ ｏｃｔａｎｔｓ ｓｅｍａｎｔｉｃｓ」で定義されるような、３Ｄカラールックアップテーブル（３ＤカラーＬＵＴ）を使用する。

３ＤカラーＬＵＴは通常、３Ｄ色空間に対する、図７で描写されるようなオクタントのグリッドとして表される。グリッドは、色空間をＮ個の領域Ｒｉに分割するものであり、ここでｉ∈［０，Ｎ−１］であり、Ｎは整数である。領域区分は、対称または非対称（等しくなく割られる）のいずれかであり得る。領域は、オクタントとも言う。少なくとも１つのパラメータが、ＨＥＶＣのサブセクションＦ．７．３．２．３．４ 「Ｇｅｎｅｒａｌ ｃｏｌｏｕｒ ｍａｐｐｉｎｇ ｔａｂｌｅ ｓｙｎｔａｘ」、および、Ｆ．７．３．２．３．５ 「Ｃｏｌｏｕｒ ｍａｐｐｉｎｇ ｏｃｔａｎｔｓ ｓｙｎｔａｘ」で説明されるように、各々のオクタントに関連付けられる。カラーマッピング関数ＣＭＦは次いで、すべてのオクタントが、少なくとも１つの関連付けられるパラメータを有するときに定義される。通常、カラーマッピング関数ＣＭＦは、ＨＥＶＣで、サブセクションＨ．８．１．４．３．１ 「Ｃｏｌｏｕｒ ｍａｐｐｉｎｇ ｐｒｏｃｅｓｓ ｏｆ ｌｕｍａ ｓａｍｐｌｅ ｖａｌｕｅｓ」、および、Ｈ．８．１．４．３．２ 「Ｃｏｌｏｕｒ ｍａｐｐｉｎｇ ｐｒｏｃｅｓｓ ｏｆ ｃｈｒｏｍａ ｓａｍｐｌｅ ｖａｌｕｅｓ」で説明される補間関数にさらに関連付けられる。

図２で例示される方法の実施形態によると、ステップ１００でモジュールＩＣは、フレームＩＭＦの少なくとも成分ＩＭＦ^jを取得する。

残差フレームＲｅｓ_vの少なくとも１つの成分がスケール化されるとき（ステップ１０７）、ステップ２００でモジュールＩＳＣＡは、逆スケール化をフレームＩＭＦの少なくとも１つの成分ＩＭＦ^jに、その成分をパラメータ

で除算することにより適用し、そのパラメータは、ローカルメモリから、または、復号器ＤＥＣ１によるビットストリームＦ１の少なくとも部分的な復号によってのいずれかで取得される。

ステップ１１３でモジュールＩＭＡＰは、ステップ１００から、またはステップ２００からのいずれかで取得された少なくとも１つの成分の逆マッピングされたバージョンを、その少なくとも１つの取得された成分に逆マッピング演算子を適用することにより取得する。その逆マッピング演算子は、ステップ１０６での残差フレームの成分に適用されるマッピング演算子の逆である。

パラメータ

は、ローカルメモリから、または、復号器ＤＥＣ１によるビットストリームＦ１の少なくとも部分的な復号によってのいずれかで取得される。

以下では、フレームＩＭＦの成分の逆スケール化されるバージョン（ステップ２００の出力）、または、その逆マッピングされるバージョン（ステップ１１３の出力）は、成分ＩＩＭＦ^jと呼ばれる。

ステップ１０３で成分Ｄ^j、ステップ１０１の入力が、次いで、フレームＩの各々の成分Ｉ^jを成分ＩＩＭＦ^jで除算することにより算出される。

ステップ１０１でモジュールＢＡＭは、バックライトフレームＢａの成分Ｂａ^jを、各々の成分Ｄから、フレームＩの成分Ｉ^jに対して上述したように決定する。

図６は、本開示の例示的な実施形態による３ＤカラーＬＵＴを創作するための方法のフローチャートを示す。

ステップ６０で、３ＤカラーＬＵＴの構造が決定される。ここで３ＤカラーＬＵＴは通常、３Ｄ色空間に対して、上記で説明されたような、および、図７上で示されるようなオクタントを表すパラメータにより表される。

ステップ６１で、一部の領域は、ことによると複数のオクタントＲ_kに分離され得る。

ステップ６２で、各々の領域Ｒ_kに対して、少なくとも１つのパラメータが、各々のオクタントに対して、フレームＩＭＦの復号されたバージョンの画素ｐから、または、カラー値がその領域Ｒ_kに属するそれらの画素ｐの一部から、および、残差フレームＲｅｓ（または、本開示の実施形態によるＲｅｓ_v、Ｒｅｓ_s、もしくはＲｅｓ_c）内の空間的に対応する画素ｐ’から決定される。

変形形態によると、フレームＩＭＦの復号されたバージョンの画素のサブセット（例えば、２つからの１つ）のみが、プロセスを加速するために考えられる。

変形形態によると、空間的に対応する画素ｐ’は、同じ位置に配置される（ｃｏｌｏｃａｔｅｄ）画素、または、空間的変換（例えば、アップサンプリングされる、並進、その他）を受ける対応する空間的位置を有する画素のいずれかである。

したがって、オクタントに関連付けられるパラメータは、より低い数のパラメータが１回でのハンドルであるために、計算を容易にする領域ごとにローカルに決定される。

ステップ６２の実施形態によると、現在の領域Ｒ_kのオクタントに関連付けられる少なくとも１つのパラメータを決定することはカラーマッピング関数ＣＭＦ_kのパラメータを決定することを含み、そのパラメータは、フレームＩＭＦの復号されたバージョンの画素ｐ（または、それらのサブセット）であって、それらのカラー値がその領域Ｒ_kに属する、画素ｐ（または、それらのサブセット）のカラー値

の（カラーマッピング関数ＣＭＦ_kにより）再マッピングされるバージョンと、残差フレームＲｅｓ（Ｒｅｓ_v、またはＲｅｓ_s、またはＲｅｓ_c）内の空間的に対応する画素ｐ’のカラー値Ｒｅｓ（ｐ）との間の距離を最小化する。例えば、領域Ｒ_kに対するＣＭＦ_kのパラメータは、以下の式を最小化するものである。

ここでｄｉｓｔは距離計量である。例えば、ｄｉｓｔはＬ１ノルムまたはＬ２ノルムである。

変形形態によると、ｄｉｓｔは、重み付けされる差である。

例によると、ＣＭＦ_kのパラメータは、よく知られている最小二乗誤差最小化技法により決定される。

ＣＭＦ_kのパラメータが決定されると、次いで領域Ｒ_kのオクタントのパラメータが決定される。オクタントＯｃ（ｘ，ｙ，ｚ）に対して、その関連付けられるパラメータ値は、ＣＭＦ_k（Ｏｃ（ｘ，ｙ，ｚ））としてセットされる。

数学的に言えば、残差フレームＲｅｓが３つの成分を備えるとき、カラーマッピング関数ＣＭＦ_kは、３ｘ３マトリックスパラメータ

、および、３つのオフセットパラメータ

を伴うパラメトリックモデルであり得るものであり、その場合、領域Ｒ_kに対する予測子Ｐｒｅｄ_kの成分

は、

により与えられ、ここでΔ¹（ｐ）、Δ²（ｐ）、およびΔ³（ｐ）は、成分Ｒｅｓ¹（それぞれ、Ｒｅｓ²およびＲｅｓ³）の値と、現在のオクタント座標の関係のある成分との間の差である。パラメータ

は、３ＤカラーＬＵＴから取得される。

ＳＨＶＣセクションＨ．８．１．４．３で説明されるような変形形態では、Δ¹（ｐ）、Δ²（ｐ）、およびΔ³（ｐ）は、成分Ｒｅｓ¹（それぞれ、Ｒｅｓ²およびＲｅｓ³）の値である。

本開示は、オフセット関数を伴う３ｘ３マトリックスの使用に制限されるものではなく、それらの偏導関数を提供する任意のパラメトリックマッピング関数への拡張となり得る。

フレームＩＭＦの復号されたバージョンはフレームの第１のシーケンスにより置き換えられ得ること、および、残差フレームはフレームの第２のシーケンスにより置き換えられ得ることに留意されたい。この例では、各々の領域またはオクタントＲ_kに対して、パラメータは、フレームの第１のシーケンスの画素ｐ（それらのカラー値がその領域Ｒ_kに属する）のカラー値の再マッピングされるバージョンから、および、フレームの第２のシーケンス内の空間的に対応する画素ｐ’のカラー値から決定される。この例では、フレームの第２のシーケンス内の空間的に対応する画素ｐ’は、画素ｐが属するフレームに時間的に整合するフレームに属する。

いくつかのカラーパラメータが、３ＤカラーＬＵＴの各々のオクタント、例えば、ＲＧＢカラー値、Ｙ’ＣｂＣｒ、またはＹＵＶなどの４つのカラー値に関連付けられ得る。

式（３）の最小化は、常に解を有するとは限らない。実際、最小化はマトリックス逆変換を使用する。一部の例では、マトリックスは悪く構成され、逆変換は失敗する（例えば、マトリックスの行列式は零である）。さらに、画素であって、それらのカラー値が、与えられる領域内に在る、画素の数が、閾値より下であるとき、最小化は正確でない。この例では、その距離を最小化することがその領域Ｒ_kに対して失敗するとき、カラーパラメータを取得することは、その領域のパラメータを、Ｒ_kを包囲する領域のパラメータから補間すること、または、それらを直接、その現在の領域を包囲する領域に関して算出される色変換のパラメータから算出することを含む。例えば、Ｒ_kのカラーパラメータは、図８上で例示されるような、領域Ｒ_kを包囲する領域Ｒ’_kに対して決定されるパラメータによって、３ｘ３マトリックスおよびオフセット関数から算出される。

変形形態によると、領域Ｒ_kのカラーパラメータは、領域Ｒ’_kのカラーパラメータから補間される。

変形形態によると、領域Ｒ_kのカラーパラメータは、領域Ｒ’_kのカラーパラメータから予測され、残差が符号化される。

実施形態によると、パラメータＰａｒａｍは、符号化器ＥＮＣ１により符号化され、ビットストリームＦ１内に追加される。これらのパラメータＰａｒａｍは、３ＤカラーＬＵＴのオクタント、残差フレームの各々の画素が属するオクタントを決定するデータ、および、各々のカラーマッピング関数のパラメータ

に関連付けられ得る。変形形態では、３ＤカラーＬＵＴのオクタント、および／または、各々のカラーマッピング関数のパラメータ

に関連付けられるパラメータは符号化されない。

本開示の変形形態によると、同じパラメータ｛ａ^j，ｂ^j，ｃ^j，ｄ^j ∀ｊ＝１，２，３｝が、各々のカラーマッピング関数ＣＭＦ_kに対して使用される。

図９は、カラーマッピング関数ＣＭＦが、画素ｐのマッピングされるカラー値を決定するために３ＤカラーＬＵＴを使用するときの、ステップ１０９のサブステップの図を示す。

ステップ１０９０で、フレームＩＭＦの復号されたバージョンの与えられる画素ｐに対して、画素ｐが属するオクタントＣＯが決定される。これは、３ＤカラーＬＵＴの各々の次元が２項に（ｄｙａｄｉｃａｌｌｙ）区分されるときに、画素ｐの色成分の第１のＮ個のＭＳＢ（最上位ビット）の値をベースに容易に決定され得る。

オプションとして、ステップ１０９１で、ＨＥＶＣの章Ｈ．８．１．４．３．１で、および、ＪＣＴＶＣ−Ｑ００４８＿ｒ１で、章「２．１ （ｙ，ｕ，ｖ） ｔｒｉｐｌｅｔ ａｄｊｕｓｔｍｅｎｔ ｗｈｅｎ ｐｈａｓｅ ａｌｉｇｎｍｅｎｔ ｉｓ ｅｎａｂｌｅｄ」で説明されるように、成分の一部の調整が適用される。例えば、輝度およびクロミナンス成分の画素が整合しないとき（典型的には、４：２：０フォーマットが使用されるとき）、輝度およびクロミナンス成分の画素の空間的場所が調整され（テクスチャおよび動きの再サンプリング）、または、ビット深度が同じでないとき、成分のビット深度がさらには適応させられる。例えば、ＪＣＴＶＣ−Ｒ１０３０＿ｖ６の章Ｈ．８．１．４．３．１で示されるように、ビット深度は、以下の量だけシフトさせられ得る。

ｎＭａｐｐｉｎｇＳｈｉｆｔ ＝ １０ ＋ ＢｉｔＤｅｐｔｈＣｍＩｎｐｕｔＹ − ＢｉｔＤｅｐｔｈＣｍＯｕｔｐｕｔＹ
したがって、ステップ１０９２で、残差フレームの画素に関連付けられる予測されるカラー値が、式（４）により与えられる。

オプションとして、ステップ１０９１での整合および／または適応が行われたとき、ステップ１０９３で、逆整合および／または適応が、予測される（マッピングされる）カラー値に適用される。

図１０は、フレームをバックライトフレームで除算することにより算出される残差フレームを表すビットストリームを復号するための、本開示の実施形態による方法のステップのブロック図を示す。

上述したように、ステップ１０４および１０５で、復号されたバックライトフレーム

が、復号器ＤＥＣ１によるビットストリームＦ１の少なくとも部分的な復号により取得される。ビットストリームＦ１は、ローカルに記憶され、または、通信ネットワークから受信されている場合がある。

ステップ１１２で、復号されたフレーム

が、ビットストリームＦ３の少なくとも部分的な復号により取得される。

ステップ１１００で、予測子

が、フレーム

、および、３ＤカラーＬＵＴに関係のある一部のパラメータ

から取得される。パラメータ

は、メモリから、または、ビットストリームＦ１の少なくとも部分的な復号によってのいずれかで取得される。

これらのパラメータＰａｒａｍは、３ＤカラーＬＵＴのオクタント、残差フレームの各々の画素が属するオクタントを決定するデータ、および、各々のカラーマッピング関数のパラメータ

に関連付けられ得る。

変形形態では、３ＤカラーＬＵＴ（のオクタント）、および／または、各々のカラーマッピング関数のパラメータ

に関連付けられるカラーパラメータは、ローカルメモリから取得される。

次いで、予測子

がグリッド構造を有する３ＤカラーＬＵＴの各々の領域Ｒ_kのオクタント、および、領域Ｒ_kに関係のある各々のカラーマッピング関数のパラメータ

に関連付けられるパラメータから取得される。

ステップ１１０１で、復号された残差フレーム

が、復号器ＤＥＣ２によるビットストリームＦ２の少なくとも部分的な復号により、および、予測子

を使用することにより予測復号される。ビットストリームＦ２は、ローカルに記憶され、または、通信ネットワークから受信されている場合がある。

ステップ１１０１の実施形態によると、予測子は、３ＤカラーＬＵＴの各々の領域Ｒ_kに対する特定の予測子

を備える。

次いで方法は、残差フレームの各々の画素ｐ’が属するオクタントＣＯを決定するデータを、ビットストリームＦ１を少なくとも部分的に復号することにより取得し、領域Ｒ_kに属する、復号された残差フレーム

の各々の画素ｐ’のカラー値が、復号器ＤＥＣ２によりビットストリームＦ２を少なくとも部分的に予測復号することにより、および、領域Ｒ_kに関連する予測子

を使用することにより復号される。

ステップ１１０２で、復号されたフレーム

の成分が、復号された残差フレーム

の成分

を、復号されたバックライトフレーム

の成分

により乗算することにより取得される。

ステップ１０４の実施形態によると、パラメータ

および／または

がさらには、ローカルメモリから、または、復号器ＤＥＣ１によるビットストリームＢ１の少なくとも部分的な復号によってのいずれかで取得される。

方法によると、ステップ２００でモジュールＩＳＣＡは、復号された残差フレーム

の少なくとも１つの成分

を、その成分をパラメータ

で除算することにより供給している。

ステップ１１３でモジュールＩＭＡＰは、ステップ１１０１の出力、または、ステップ２００の出力のいずれかである、取得される少なくとも１つの成分の逆マッピングされたバージョンを、その少なくとも１つの取得された成分に逆マッピング演算子を適用することにより取得する。

実施形態によると、モジュールＩＭＡＰはパラメータγ^jを使用する。

例えば、パラメータγ^jはガンマ曲線を定義し、逆トーンマッピングは、ガンマ曲線から、復号された残差フレーム

の画素値に対応する値を見出すことにある。

復号器ＤＥＣ１、ＤＥＣ２、およびＤＥＣ３は、それぞれ符号化器ＥＮＣ１、ＥＮＣ２、およびＥＮＣ３により符号化されているデータを復号するように構成される。

符号化器ＥＮＣ１、ＥＮＣ２、およびＥＮＣ３（ならびに、復号器ＤＥＣ１、ＤＥＣ２、およびＤＥＣ３）は、特定の符号化器（復号器）に制限されるものではなく、エントロピー符号化器（復号器）が必要な場合、Ｈｕｆｆｍａｎｎ符号器、算術符号器、または、Ｈ．２６４／ＡＶＣもしくはＨＥＶＣで使用されるＣａｂａｃに類するコンテキスト適応符号器などのエントロピー符号化器が有利である。

符号化器ＥＮＣ１およびＥＮＣ３（ならびに、復号器ＤＥＣ１およびＤＥＣ３）は、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ２、ｈ２６４／ＡＶＣ、またはＨＥＶＣのような、損失を伴うフレーム／ビデオ符号器とすることができる特定の符号化器には制限されない。

符号化器ＥＮＣ２（および復号器ＤＥＣ２）は、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、またはＨＥＶＣなどの予測子を使用する任意の予測符号化器に制限されない。

符号化器ＥＮＣ１、ＥＮＣ２、およびＥＮＣ３（復号器ＤＥＣ１、ＤＥＣ２、およびＤＥＣ３）は、例えば、符号化器（復号器）が標準ＳＨＶＣに準拠するなど、同じ符号化器（それぞれ、同じ復号器）であり得る。単一のビットストリームが次いで、ビットストリームＦ１、Ｆ２、およびＦ３により搬送されるデータを備えて生成される。

本開示の実施形態によると、ビットストリームＦ１により搬送されるデータ、および／または、ビットストリームＦ３により搬送されるデータは、補助画像であって、そのシンタックスがＨ２６４／ＡＶＣ、ＨＥＶＣ、またはＳＨＶＣ標準のいずれかに準拠する、補助画像として符号化される。補助画像は、コンテンツのメインストリーム（メインビデオ）に実際に対応する、いわゆる「主符号化画像」への追加で、Ｈ２６４／ＡＶＣ、またはＨＥＶＣ、またはＳＨＶＣ標準で定義されている。補助画像は通常、３Ｄアプリケーションに対する、アルファ合成、クロミナンス強調情報、または深度情報などの追加的なフレーム情報のトランスポートを可能にする。

本開示の実施形態によると、予測符号化される残差フレームは、ビットストリームＦ２に、主画像であって、そのシンタックスがＨ．２６４／ＡＶＣまたはＨＥＶＣ標準のいずれかに準拠する、主画像として組み込まれる。

これは、Ｈ．２６４／ＡＶＣまたはＨＥＶＣ標準のいずれかを完全に順守する、ならびに、３ＤカラーＬＵＴを使用して、予測符号化される残差フレームを復号するために必要とされるデータ、符号化されるインポーズされるフレームＩＭＦ、および、バックライトフレームＢａｌを決定するために必要とされるデータを備える、単一のビットストリームを得ることを可能とする。表示の前に行われる補助データの復号方法は、ＨＥＶＣ仕様に準拠し、したがって、手を加えずに、そのすでに指定された形式で使用される。

本開示の実施形態によると、ステップ１０１から出力されるバックライトフレームＢａｌ、およびフレームＩＭＦは、特定のフレームパッキング構成方式によって単一のフレームＳＦにパックされる。符号化器は、フレームＳＦをビットストリーム内に符号化する。

実施形態によると、単一のフレームＳＦは、特定のフレームパッキング構成方式に依存する符号化パラメータによって符号化される。

この実施形態の変形形態によると、符号化パラメータは、単一のフレームＳＦが２つの別個のスライス、すなわちフレームＩＭＦを含むスライスと、バックライトフレームＢａｌを含む他のスライスとに符号化されるように定義される。これらのスライスはさらには、用いられる標準符号化方式（Ｈ．２６４／ＡＶＣ、ＨＥＶＣ、ＪＰＥＧ２０００）によって、スライス群、タイル、タイル群、プレシンクト（precinct）の形式をとり得る。

この変形形態は有利である。なぜならそれは、特定の処理、すなわちそのような特定の符号化が、バックライトフレームまたはフレームＩＭＦのそれぞれに適用されること、およびフレームＩＭＦまたはバックライトフレームのそれぞれに適用されないことを可能とするためである。

したがって、ビットストリームは、２つの別個のパックされる構成フレーム：フレームＩＭＦおよびバックライトフレームのサンプルを含む単一のフレームＳＦを備える。復号器は、ビットストリームを少なくとも部分的に復号し、フレームＩＭＦ、および、必要とされるならばバックライトフレームを、復号された単一のフレームＳＦから取得する。

図１〜５および９〜１０上では、モジュールは、区別可能な物理ユニットと関連してもよく、または関連しなくてもよい機能ユニットである。例えばこれらのモジュール、またはそれらの一部は、まとめて固有の構成要素もしくは回路に導入されてもよく、または、ソフトウェアの機能性に寄与してもよい。一方、一部のモジュールは可能性として、別々の物理エンティティから構成され得る。本開示と互換性がある装置は、純粋なハードウェアを使用して、例えばＡＳＩＣ、もしくはＦＰＧＡ、もしくはＶＬＳＩ、すなわちそれぞれ≪特定用途向け集積回路≫、≪フィールドプログラマブルゲートアレイ≫、≪超大型集積回路≫等の専用のハードウェアを使用して、または、デバイスに組み込まれるいくつかの集積された電子構成要素から、または、ハードウェア構成要素およびソフトウェア構成要素の組み合わせから、実装される。

図１１は、図１〜５および９〜１０との関係で説明される方法を実装するように構成され得る、デバイス１２０の例示的なアーキテクチャを表す。

デバイス１２０は、データおよびアドレスバス１２１により一体にリンクされる、以下の要素：
− 例えばＤＳＰ（または、ディジタル信号プロセッサー）であるマイクロプロセッサ１２２（または、ＣＰＵ）、
− ＲＯＭ（または、読出し専用メモリ）１２３、
− ＲＡＭ（または、ランダムアクセスメモリ）１２４、
− アプリケーションからの送信するデータの受信のためのＩ／Ｏインターフェイス１２５、および、
− バッテリ１２６、
を備える。

変形形態によると、バッテリ１２６はデバイスの外部にある。図１１のこれらの要素の各々は、当業者によりよく知られており、さらには開示されない。上述したメモリの各々において、本明細書で使用される単語≪レジスタ≫は、小さな容量のエリア（いくらかのビット）に、または、非常に大きなエリア（例えば、全体のプログラム、または、大きな量の受信もしくは復号されたデータ）に対応し得る。ＲＯＭ１２３は、少なくともプログラムおよびパラメータを備える。本開示による方法のアルゴリズムは、ＲＯＭ１２３に記憶される。スイッチオンされるとき、ＣＰＵ１２２は、プログラムをＲＡＭにアップロードし、対応する命令を実行する。

ＲＡＭ１２４はレジスタ内に、ＣＰＵ１２２により実行され、デバイス１２０のスイッチオンの後にアップロードされるプログラムと、レジスタ内の入力データと、レジスタ内の方法の異なる状態での中間データと、レジスタ内の方法の実行のために使用される他の変数と、を備える。

本明細書で説明される実装は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。実装の単一の形式の文脈でのみ議論した（例えば、方法またはデバイスとしてのみ議論した）場合でも、議論した特徴の実装は、他の形式（例えば、プログラム）でも実装され得る。装置は例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装され得る。方法は例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを一般的に含む処理デバイスを指す、例えばプロセッサーなどの装置で実装され得る。プロセッサーはさらには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、セル電話、ポータブル／パーソナルディジタルアシスタント（「ＰＤＡ」）、および他のデバイスなどの、通信デバイスを含む。

符号化または符号化器の特定の実施形態によると、フレームＩは発生源から取得される。例えば発生源は、
− ローカルメモリ（１２３または１２４）、例えば、ビデオメモリ、またはＲＡＭ（または、ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（または、読出し専用メモリ）、ハードディスク、
− ストレージインターフェイス（１２５）、例えば、マスストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光学ディスク、または磁気支持体とのインターフェイス、
− 通信インターフェイス（１２５）、例えば、ワイヤラインインターフェイス（例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス）、またはワイヤレスインターフェイス（ＩＥＥＥ８０２．１１インターフェイス、またはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイスなど）、および、
− フレーム取り込み回路（例えば、例えばＣＣＤ（または、電荷結合素子）、またはＣＭＯＳ（または、相補型金属酸化物半導体）などのセンサ）、
を備えるセットに属する。

復号または復号器の異なる実施形態によると、復号されたフレーム

は送り先に送出され、具体的には送り先は、
− ローカルメモリ（１２３または１２４）、例えば、ビデオメモリ、またはＲＡＭ、フラッシュメモリ、ハードディスク、
− ストレージインターフェイス（１２５）、例えば、マスストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光学ディスク、または磁気支持体とのインターフェイス、
− 通信インターフェイス（１２５）、例えば、ワイヤラインインターフェイス（例えば、バスインターフェイス（例えばＵＳＢ（または、ユニバーサルシリアルバス））、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス、ＨＤＭＩ（登録商標）（高精細度マルチメディアインターフェイス（High Definition Multimedia Interface））インターフェイス）、またはワイヤレスインターフェイス（ＩＥＥＥ８０２．１１インターフェイス、ＷｉＦｉ（登録商標）、またはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイスなど）、および、
− ディスプレイ、
を備えるセットに属する。

符号化または符号化器の異なる実施形態によると、ビットストリームＢＦおよび／またはＦは送り先に送出される。例えば、ビットストリームＦおよびＢＦの１つ、または、ビットストリームＦおよびＢＦの両方は、ローカルまたはリモートメモリ、例えば、ビデオメモリ（１２４）、またはＲＡＭ（１２４）、ハードディスク（１２３）に記憶される。変形形態では、１つまたは両方のビットストリームは、ストレージインターフェイス（１２５）、例えば、マスストレージ、フラッシュメモリ、ＲＯＭ、光学ディスク、もしくは磁気支持体とのインターフェイスに送出され、および／または、通信インターフェイス（１２５）、例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク、もしくはブロードキャストネットワークへのインターフェイスを介して送信される。

復号または復号器の異なる実施形態によると、ビットストリームＢＦおよび／またはＦは発生源から取得される。例示的にはビットストリームは、ローカルメモリ、例えば、ビデオメモリ（１２４）、ＲＡＭ（１２４）、ＲＯＭ（１２３）、フラッシュメモリ（１２３）、またはハードディスク（１２３）から読出される。変形形態では、ビットストリームは、ストレージインターフェイス（１２５）、例えば、マスストレージ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光学ディスク、もしくは磁気支持体とのインターフェイスから受信され、および／または、通信インターフェイス（１２５）、例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク、もしくはブロードキャストネットワークへのインターフェイスから受信される。

異なる実施形態によると、図１〜６および１０との関係で説明される符号化方法を実装するように構成されるデバイス１２０は、
− 移動可能デバイス、
− 通信デバイス、
− ゲームデバイス、
− タブレット（または、タブレットコンピュータ）、
− ラップトップ、
− 静止画カメラ、
− ビデオカメラ、
− 符号化チップ、
− 静止イメージサーバー、および、
− ビデオサーバー（例えば、ブロードキャストサーバー、ビデオオンデマンドサーバー、またはウェブサーバー）、
を備えるセットに属する。

異なる実施形態によると、図１０との関係で説明される復号方法を実装するように構成されるデバイス６０は、
− 移動可能デバイス、
− 通信デバイス、
− ゲームデバイス、
− セットトップボックス、
− ＴＶセット、
− タブレット（または、タブレットコンピュータ）、
− ラップトップ、
− ディスプレイ、および、
− 復号チップ、
を備えるセットに属する。

図１２で例示される実施形態によると、通信ネットワークＮＥＴを介しての２つのリモートデバイスＡとＢとの間の送信コンテキストで、デバイスＡは、図１または２との関係で説明されるようなフレームを符号化するための方法を実装するように構成される手段を備え、デバイスＢは、図１０との関係で説明されるような復号するための方法を実装するように構成される手段を備える。

本明細書で説明される様々なプロセスおよび機能の実装は、多様な異なる機器またはアプリケーション、特に例えば、機器またはアプリケーションで実施され得る。そのような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサー、符号化器への入力を提供するプリプロセッサー、ビデオ符号器、ビデオ復号器、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、セル電話、ＰＤＡ、および他の通信デバイスを含む。明らかなように、機器は移動可能であり、さらには、移動可能な乗物に設置され得る。

さらに、方法は、プロセッサーにより実行される命令により実装され得るものであり、そのような命令（および／または、実装により生み出されるデータ値）は、例えば、集積回路、ソフトウェア搬送波、または、例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光学ディスク（例えば、しばしばディジタルバーサタイルディスクまたはディジタルビデオディスクと呼ばれるＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、もしくは読出し専用メモリ（「ＲＯＭ」）などの、他のストレージデバイスなどの、プロセッサー可読媒体上に記憶され得る。命令は、プロセッサー可読媒体上で有形に実施されるアプリケーションプログラムを形成し得る。命令は例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせでのものであり得る。命令は例えば、オペレーティングシステム、別々のアプリケーション、または、その２つの組み合わせに見出され得る。プロセッサーは、したがって例えば、プロセスを実行するように構成されるデバイス、および、プロセスを実行するための命令を有する（ストレージデバイスなどの）プロセッサー可読媒体を含むデバイスの両方として特徴付けられ得る。さらにプロセッサー可読媒体は、命令に加えて、または命令の代わりに、実装により生み出されるデータ値を記憶し得る。

当業者には明らかになるように、実装は、例えば記憶または送信され得る情報を搬送するためにフォーマットされる多様な信号を生成し得る。情報は例えば、方法を実行するための命令、または、上述した実装の１つにより生成されるデータを含み得る。例えば信号は、データとして、上述した実施形態のシンタックスを書込むため、もしくは読出すための規則を搬送するために、または、データとして、上述した実施形態により書込まれる実際のシンタックス値を搬送するためにフォーマットされ得る。そのような信号は例えば、電磁波（例えば、スペクトルの無線周波数小部分を使用する）として、または、ベースバンド信号としてフォーマットされ得る。フォーマットすることは例えば、データストリームを符号化すること、および、搬送波を、符号化されるデータストリームによって変調することを含み得る。信号が搬送する情報は例えば、アナログまたはディジタル情報であり得る。信号は、知られているように、多様な異なるワイヤードまたはワイヤレスリンクを介して送信され得る。信号は、プロセッサー可読媒体上に記憶され得る。

いくつかの実装が説明された。それでも、様々な変更がなされ得ることが理解されよう。例えば異なる実装の要素は、他の実装を生み出すために、組み合わされ、補完され、変更され、または除去され得る。さらに、当業者は、他の構造およびプロセスが、開示されるものの代わりになり得るものであり、結果として生じる実装は、開示される実装と、少なくとも実質的に同じ機能を、少なくとも実質的に同じ方途で実行して、少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これらおよび他の実装は、本出願により企図されるものである。

Claims (21)

1. フレームを符号化するための方法であって、
   − バックライトフレームを前記フレームから決定する（１０１）ステップと、
   − 前記フレームおよび前記バックライトフレームに対応する残差フレームを算出する（１０３）ステップと、
   − 前記残差フレームを、インポーズされるフレーム（ＩＭＦ）から算出される（１０９）前記残差フレームの予測子を使用して予測符号化する（１１０）ステップであって、前記インポーズされるフレームは、符号化される前記フレームの低ダイナミックバージョンである、前記予測符号化する（１１０）ステップと、
   を含むことを特徴とする、前記方法。
2. 前記インポーズされるフレーム、および、符号化される前記フレームは、異なってカラーグレーディングを有する、請求項１に記載の方法。
3. 前記インポーズされるフレーム、および、符号化される前記フレームは、異なる色空間で表現される、請求項１に記載の方法。
4. 前記残差フレームの前記予測子は、前記インポーズされるフレームの復号されたバージョンから算出される、請求項１〜３のいずれか一項に記載の方法。
5. 前記残差フレームの前記予測子を算出するステップは、カラーマッピング関数（ＣＭＦ）を使用することにより、前記インポーズされるフレームの前記復号されたバージョンを前記残差フレームにマッピングするステップを含む、請求項１〜４のいずれか一項に記載の方法。
6. 前記カラーマッピング関数は、３Ｄカラールックアップテーブルを使用する、請求項５に記載の方法。
7. 前記バックライトフレームは、前記インポーズされるフレームからさらに決定される、請求項１〜６のいずれか一項に記載の方法。
8. 前記バックライトフレームを決定するステップは、前記フレームの各々の成分を、前記フレームＩＭＦの成分で除算するステップを含む、請求項７に記載の方法。
9. 予測符号化する（１１０）前に、前記残差フレームをマッピングする（１０６）ステップと、前記バックライトフレームを決定する前に、前記インポーズされるフレームの各々の成分を逆マッピングする（１１３）ステップと、をさらに含む、請求項１〜８のいずれか一項に記載の方法。
10. 前記残差フレームを予測符号化する（１１０）ステップは、ＳＨＶＣ標準に準拠する、請求項１〜９のいずれか一項に記載の方法。
11. フレームを少なくとも１つのビットストリームから復号するための方法であって、
    − バックライトフレームを、ビットストリームを少なくとも部分的に復号することにより取得する（１０４、１０５）ステップと、
    − ビットストリームを少なくとも部分的に復号することにより、復号されるインポーズされるフレームを取得する（１１２）ステップであって、前記復号されるインポーズされるフレームは、復号される前記フレームの低ダイナミックバージョンである、前記取得する（１１２）ステップと、
    − 予測子
    

    

    を、前記復号されるインポーズされるフレームから取得するステップと、
    − ビットストリームを少なくとも部分的に復号することにより、および、前記復号されるインポーズされるフレームから取得された前記予測子を使用することにより、復号される残差フレームを予測復号する（１１０１）ステップと、
    − 前記復号される残差フレーム、および前記復号されるバックライトフレームに対応する前記フレームを復号するステップと、
    を含む、前記方法。
12. − ３ＤカラーＬＵＴに関するパラメータを、ビットストリームを少なくとも部分的に復号することにより取得するステップと、
    − 前記予測子を、前記復号されるインポーズされるフレーム、および前記取得されたパラメータから取得するステップと、
    をさらに含む、請求項１１に記載の方法。
13. 前記予測子は、３ＤカラーＬＵＴの各々の領域に対する特定の予測子
    

    

    を含む、請求項１１または１２に記載の方法。
14. 復号される残差フレームを予測復号する（１１０１）ステップは、ＳＨＶＣ標準に準拠する、請求項１１〜１３のいずれか一項に記載の方法。
15. フレームを符号化するためのデバイスであって、
    − バックライトフレームを前記フレームから決定することと、
    − 前記フレームおよび前記バックライトフレームに対応する残差フレームを算出することと、
    − 前記残差フレームを、インポーズされるフレームから算出された前記残差フレームの予測子を使用して予測符号化することであって、前記インポーズされるフレームは、符号化される前記フレームの低ダイナミックバージョンである、前記予測符号化することと、
    を行うように構成されたプロセッサーを備えることを特徴とする、前記デバイス。
16. フレームを少なくとも１つのビットストリームから復号するためのデバイスであって、
    − バックライトフレームを、ビットストリームを少なくとも部分的に復号することにより取得する（１０４、１０５）ことと、
    − フレーム、復号されるインポーズされるフレームを、ビットストリームを少なくとも部分的に復号することにより取得する（１１２）ことであって、前記復号されるインポーズされるフレームは、復号される前記フレームの低ダイナミックバージョンである、前記取得する（１１２）ことと、
    − 予測子
    

    

    を、前記復号されるインポーズされるフレームから取得することと、
    − 復号される残差フレームを、ビットストリームを少なくとも部分的に復号することにより、および、前記復号されるインポーズされるフレームから取得された前記予測子を使用することにより予測復号する（１１０１）ことと、
    − 前記復号される残差フレーム、および前記復号されるバックライトフレームに対応する前記フレームを復号することと、
    を行うように構成されたプロセッサーを備えることを特徴とする、前記デバイス。
17. コンピュータプログラム製品であって、このプログラムがコンピュータ上で実行されるときに、請求項１に記載の符号化方法の前記ステップを実行するためのプログラムコードの命令を備える、前記コンピュータプログラム製品。
18. コンピュータプログラム製品であって、このプログラムがコンピュータで実行されるときに、請求項１１に記載の復号方法の前記ステップを実行するためのプログラムコードの命令を備える、前記コンピュータプログラム製品。
19. プロセッサー可読媒体であって、プロセッサーに、請求項１に記載の符号化方法の少なくとも前記ステップを実行させるための命令が記憶される、前記プロセッサー可読媒体。
20. プロセッサー可読媒体であって、プロセッサーが、請求項１１に記載の復号方法の少なくとも前記ステップを実行させるための命令が記憶される、前記プロセッサー可読媒体。
21. プログラムコードの命令を保持する非一時的ストレージ媒体であって、前記プログラムがコンピューティングデバイスで実行されるときに、請求項１〜１４のいずれか一項に記載の方法のステップを実行する、前記非一時的ストレージ媒体。

Images