JP2017535181A - 改善されたビデオおよび画像符号化プロセス - Google Patents

Abstract

画像およびビデオデータを処理するための方法であって、前記方法は、高ダイナミックレンジ画像データ（ＨＤＲ）および対応する低ダイナミックレンジ画像データ（ＬＤＲ）を提供することを含む。残余符号データが生成され、かつ復号化フェーズにおいてＨＤＲ画像の再構成に必要なデータを含む符号化がされる間に、ＬＤＲ画像は、レガシー符号ストリームに符号化される。残余符号ストリームを生成するために、ＬＤＲ画像データは、処理されたＬＤＲ＊画像を得るために処理され、次いで、ＨＤＲ画像の成分データおよび処理されたＬＤＲ＊画像の対応する成分は選択され、選択された成分データの残余データは、ＨＤＲ画像データの成分により処理されたＬＤＲ＊画像データの成分を除算により計算する。選択された成分の残余データは、０と１との間に含まれる値の範囲にスケーリングされ、その後、残余符号ストリームに符号化される。

Description

本発明は、ビデオおよび画像のための符号化および復号化方法を改善する方法に関する。
特に、本発明は、高ダイナミックレンジビデオおよび画像データを符号化および復号化するための方法、コンピュータプログラム、および装置に関する。

ハードドライブ、フラッシュドライブ、ＣＤ、ＤＶＤ、ＢＬＵ−ＲＡＹ（登録商標）などのようなコンピュータ記憶装置上にビデオおよび画像を格納するための様々な方法が存在する。特に、より多くのデータを含む傾向のある、高精細または高解像度の場合、特定のビデオセグメントまたは１つまたは複数の写真あるいはそれらグラフィック画像を格納するためにあまりにも多くの記憶スペースを使用することを避けるために、格納する前にビデオまたは画像を構成するデータを圧縮することは、通常好ましい。

特許文献１は、ＨＤＲ画像をクランプすることによって低ダイナミックレンジ（ＬＤＲ）画像を生成する、高ダイナミックレンジ（ＨＤＲ）画像を処理する方法を開示している。特許文献１の”第５の方法”として開示されている方法は、また、オリジナルのＨＤＲ画像のそれぞれのＲＧＢ成分で、ＬＤＲ画像の各ＲＧＢ成分を除算することによって、ＬＤＲ画像の部分色表現（ＦＣフレームと呼ばれる）を生成している。ＬＤＲ画像とＦＣフレームの両方は、別々に圧縮される。このようにして、ＬＤＲ画像およびＦＣフレームを伝送するデータファイルは、（ＬＤＲ画像のみを復号する）レガシーデコーダによって、また、ＦＣフレームを使用して、ＨＤＲ画像を再構成可能な新しいデコーダによって、復号化することができる。特許文献１は、またＦＣフレームを修正するためのスケーリングおよび／またはガンマを開示している。これらのスケーリングおよびガンマ補正の詳細は、与えられていない。例えば、特許文献１は、スケーリングが、定義されていない”ｆ”係数を乗じて得られることを開示している。

実際上ではあるが、特許文献１から知られる方法は、ＬＤＲ画像がＨＤＲ画像をクランプすることによって得られる場合のみうまく動作する。別の方法でＬＤＲ画像が得られる場合、その方法は正しく動作しない。

米国特許８，４６２，１９４号明細書

F. Drago, K. Myszkowski, T. Annen, and N. Chiba, "Adaptive Logarithmic Mapping For Displaying High Contrast Scenes," Computer Graphics Forum, vol. 22, no. 3, pp. 419-426, Sept. 2003. E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, "Photographic tone reproduction for digital images," ACM Trans. on Graph., vol. 21, no. 3, p. 267, July 2002. Z. Mai, H. Mansour, R. Mantiuk, P. Nasiopoulos, R. Ward, and W. Heidrich, "Optimizing a tone curve for backward-compatible high dynamic range image and video compression," IEEE Trans. Image Processing, vol. 20, no. 6, pp. 1558-1571, June 2011. R. Mantiuk, K. Myszkowski, and H. Seidel, "A perceptual framework for contrast processing of high dynamic range images," ACM Trans. Applied Perception, vol. 3, no. 3, pp. 286-308, July 2006.

本発明は、上記の従来の符号化方法および復号化方法の問題点を解決するためになされたものである。

本発明は、圧縮および記憶を可能にするビデオおよび画像を符号化するための方法を提供する。本発明は、またＪＰＥＧ，ＰＮＧ，ＭＰＥＧ，ＨＥＶＣ，Ｈ２６４などに限定されるものではないが、既存のまたはレガシーのデコーダを使用して、格納されたビデオまたは画像を再現する復号化のための方法を提供する。

本発明は、高ダイナミックレンジ（ＨＤＲ）ビデオまたは画像を、符号化、格納および復号化するための方法の一実施形態では、ＨＤＲビデオまたは画像およびその低ダイナミックレンジバージョン（ＬＤＲ）を提供すること、ビデオまたは画像データをベースレイヤおよびＨＤＲ残余レイヤに分離すること、ベースレイヤおよびＨＤＲ残余レイヤをエンコーダで符号化することを含む。復号化処理も含まれている。

一実施形態では、本発明は、高ダイナミックレンジビデオまたは画像データ（ＨＤＲ）および高ダイナミックレンジ画像データ（ＨＤＲ）の低ダイナミックレンジビデオまたは画像データ（ＬＤＲ）提供することを含む、ビデオまたは画像データを処理するための方法を提供する。低ダイナミックレンジ画像データは、好ましくは、ＪＰＥＧまたはＭＰＥＧのようなレガシーのビデオまたは画像エンコーダを用いて、第１の符号ストリームに符号化される。その方法は、また画像データの成分および低ダイナミックレンジ画像データの対応する成分を選択し、低ダイナミックレンジデータの成分を高ダイナミックレンジ画像データの成分で除算することによって選択された成分の残余データを計算することを提供する。その後、残余データは、０と１との間に含まれる値の範囲でスケーリングされ、残余符号ストリームに符号化される。

符号化の前に０−１の範囲に残余データをスケーリングすることは、ＨＤＲ画像からＬＤＲ画像を得るため使用される方法から独立して適切に動作する符号化方法を可能にする。ＬＤＲ画像は、ＨＤＲ画像をクランプするか、またはそれをトーンマッピングすることによって得ることができる。両方の方法において、スケーリングの提供は、復号化フェーズにおける適切なＨＤＲ再構成のための残余データのよりよい符号化を可能にする。

一実施形態では、低ダイナミックレンジ画像データ（ＬＤＲ）は、高ダイナミックレンジ画像データ（ＨＤＲ）をトーンマッピングすることによって、また、ＬＤＲディスプレイ上での視覚化の準備ができている適切な下位互換性ＬＤＲ画像データを得るために、トーンマップ画像データにガンマ曲線を適用することによって得られる。本実施形態では、残余データを計算するために、低ダイナミックレンジ画像データは、線形化される。これは、トーンマップ画像データに適用されたガンマ曲線の逆数で補正されることを意味する。

この解決策は、線形空間で表現される２つのビデオフレームまたは画像を処理することによって、残余データの計算を可能にする。

好ましくは、符号化方法は、余りにもゼロに近い残余データを増加させるさらなるガンマ曲線、例えば、べき乗関数を適用することによって、スケーリングされた残余データを補正することも提供する。

この解決法は、残余データの大部分がダイナミックレンジ（ゼロに近い値）のダークサイドに落ち、ＨＤＲ画像を正しく再構成することが困難になるのでなければ、符号化を改善する。

他の実施形態では、低ダイナミックレンジ画像データ（ＬＤＲ）および高ダイナミックレンジ画像データ（ＨＤＲ）は、異なる色空間で表される。本実施形態では、さらに、本方法は、高ダイナミックレンジ画像データの色空間における低ダイナミックレンジ画像データを変換し、高ダイナミックレンジ画像データの成分により変換された低ダイナミックレンジ画像データの成分を除算することにより選択された成分の残余データを計算することを提供する。

空間変換が残余データを計算するために実施された場合、残余データは、スケーリングされてガンマ補正される前に低ダイナミックレンジ画像データの色空間で変換されてもよいし、変換されなくてもよい。

一実施形態では、さらに、本方法は、残余データを計算する前に、高ダイナミックレンジ画像データを露光し、残余データの計算のために露光された高ダイナミックレンジ画像データを使用することを提供する。

高ダイナミックレンジ画像データを露光することにより、そのダイナミックレンジの低い部分における残余データの符号化は、改善される。

本発明は、また、上述し、かつ以下の説明によりよく開示された方法に従い、レガシー符号ストリームおよび残余符号ストリームにそれぞれＬＤＲおよびＨＤＲ画像を符号化するエンコーダを含む。

本発明は、また、レガシー符号ストリームおよび残余符号ストリームからＨＤＲ画像を再構成するのに適した復号化方法およびデコーダを含む。

本発明のさらなる特徴および利点は、添付の図面と併せて、その好ましい実施形態の以下の詳細な説明を検討することから明らかになるであろう。

本発明の符号化処理の概略図である。 図１の代わりの符号化処理の概略図である。 ブロックＥ４を省略した、図１の符号化処理の概略図である。 本発明の復号化処理の他の実施形態の概略図である。 図１の代わりの符号化処理の概略図である。 画像を処理するシステムを示す。

本発明は、様々な変更および代替形態が可能であるが、いくつかの好ましい実施形態が図面に示されており、以下に詳細に説明する。しかしながら、本発明開示された特定の実施形態に限定する意図はなく、逆に、本発明の意図は、請求項に定義される本発明の範囲内に入る全ての修正形態、代替形態、および均等物を含むことを理解すべきである。

”例えば”、”例”、”または”、および”のような”の使用は、他に定義されていない限り制限なく非排他的な選択肢を示す。”含む”の使用は、他に定義されていない限り”含む、がこれに限定されない”ことを意味する。

高ダイナミックレンジ（略語、ＨＤＲ）画像という用語は、色チャネルごとに８ビット以上を使用して成分が表される画像または画像データを識別するために使用される。

低ダイナミックレンジ（略語、ＬＤＲ）画像という用語は、対応するＨＤＲ画像と比較して、色チャネルあたりのビット数を少なくして、成分が表される画像または画像データを識別するために使用される。

ここで、図６を参照して、本発明による画像処理システムを説明する。

処理システム６００は、ＨＤＲ画像６０２を符号化するためのエンコーダ６０１を備える。

エンコーダ６０１は、ＨＤＲ画像６０２およびＨＤＲ画像６０２をトーンマッピングまたは露光およびクランプすることによって得られた低ダイナミックレンジ（ＬＤＲ）画像データ６０２ａを入力として受け取る。

一実施形態では、エンコーダ６０１は、入力としてＨＤＲ画像６０２のみを受け取り、ＨＤＲ画像６０２からＬＤＲ画像６０２ａを生成するように構成される。

エンコーダ６０１は、ＨＤＲおよびＨＤＲ画像（６０２，６０２ａ）を処理し、符号化されたＬＤＲ画像（好ましくはＬＤＲ画像６０２ａに対応する）を含むレガシー符号ストリーム６０３、および、符号化されたＬＤＲ画像と組み合わせて、ＨＤＲ画像を再構成するために、使用することができる残余データを含む残余符号ストリーム６０４を出力する。

ＨＤＲ画像をレガシー符号ストリームおよび残余符号ストリームに処理するために、エンコーダ６０１は、図１から３および５の非限定的な例に関して以下に説明する符号化方法を実施するための電子回路を備える。

処理システム６００は、また、例えば、図４を参照して、以下の説明において説明されるような復号処理を実施するように構成されたデコーダ６０５を備える。

デコーダ６０５は、レガシー符号ストリーム６０３および残余符号ストリーム６０４を入力として受け取り、オリジナルのＨＤＲ画像６０２に対応するＨＤＲ画像６０６を出力する。

符号化
本発明の符号化処理は、ＨＤＲ画像をベースレイヤおよびＨＤＲ残余レイヤに分解する。ベースレイヤは、露光されクランプされたバージョンまたはオリジナルの浮動小数点ＨＤＲ画像から導かれたトーンマップバージョンのいずれかである低ダイナミックレンジ（ＬＤＲ）画像である。

ＬＤＲ画像は、符号化されたＨＤＲ画像の下位互換性のある部分であり、全てのレガシーデコーダによりアクセス可能となる、レガシー符号ストリームに符号化される。レガシーデコーダは、ＪＰＥＧ，ＰＮＧ，ＭＰＥＧ，ＨＥＶＣ，Ｈ２６４などに限定されるものではないが、既存の標準のデコーダ処理である。一例として、レガシーデコーダは、８ビット拡張またはベースライン、拡張またはプログレッシブハフマンモードをサポートするＩＳＯ／ＩＥＣ１８４７７−１でありうる。

ＨＤＲ残余レイヤは、ＲＧＢ空間でチャネル毎に実行されたオリジナルのＨＤＲ画像（露光ステップＥ１０の後）により除算されたトーンマッピングされたＬＤＲ画像の端数部分を含む。ＨＤＲ残余レイヤは、残余データ符号ストリームに符号化される。

残余符号ストリームのヘッダーにシグナリングされる成分の数（Ｎｃ）は、レガシー符号ストリームにおける成分の数と同一でなければならない。

Ｎｃ＝３は、３つの色成分を有する画像を示し、Ｎｃ＝１は、簡略化のために、文書全体を通じてＹとして示される、グレー画像を示す。

符号化処理は、図１に示される。この処理は、独立した画像（例えば、ピクチャー）またはビデオのフレームであり得る画像または画像データに適用することができる。

図１の実施形態では、符号化処理は、線形ＨＤＲ画像（ブロックＥ９）およびそのＬＤＲ対応物（ブロックＥ１）の２つの画像を入力とする。

一実施形態では、ＬＤＲ画像は、ＨＤＲ画像のトーンマッピングによって生成される。すなわち、ＬＤＲ画像は、本明細書に載せてある非特許文献１−４に記述されてあるような周知のトーンマッピングアルゴリズム適用することによって得られる。あるいは、ＬＤＲ画像は、他の方法（例えば、ＨＤＲ画像を露光しクランプすることによって、またはカラーグレーディングおよびトーン調整処理によって）でＨＤＲ画像から得ることができ、ＬＤＲ画像のダイナミックレンジがＨＤＲ画像のダイナミックレンジより低いことが提供される。

図１の実施形態では、ＬＤＲ画像が入力として取られるが、一実施形態では、ＬＤＲ画像の生成（トーンマッピングまたはクランプまたは他の方法による）は、符号化方法のステップでありうる。したがって、ＬＤＲ画像の生成は、ただのＨＤＲ画像から始まり、その後、入力ＨＤＲ画像から関係のあるＬＤＲ画像を生成する。

符号化処理は、デコーダによりＨＤＲ画像の再構成に必要となるＬＤＲ画像および残余データを符号化するために提供される。

図１では、Ｅ１からＥ１８のブロックを備える上側のパスは、ＬＤＲ画像の符号化処理である。

以下でよりよく説明するように、１つの好ましい実施形態では、（ブロックＥ２，Ｅ２ａ，およびＥ３を備える）処理ブロック１１および（ブロックＥ４，Ｅ５，およびＥ６を備える）処理ブロック１２は、逆動作を実行するので、ＬＤＲ画像を符号化する唯一の目的のために、図２を省略することができ、ＬＤＲ画像は、レガシーエンコーダ１０に直接入力として渡される。処理ブロック１１は、残余データを計算する目的で、図２に残される。

レガシーエンコーダ１０は、ＪＰＥＧ，ＰＮＧ，ＭＰＥＧ，ＨＥＶＣ，Ｈ２４６または他のタイプのレガシーエンコーダであってもよい。図１の例では、レガシーエンコーダ１０は、入力ＲＧＢ画像がＲＧＢからＹＣｂＣｒへの色空間変換を受け、次いでクロマダウンサンプリングを受ける処理を備える。この処理の後、ＬＤＲ画像は、例えば、ＪＰＥＧ，ＰＮＧ，ＭＰＥＧ，ＨＥＶＣ，Ｈ２４６または他のコーデックなどのレガシーコーデック（ブロックＥ１８）に入力として渡される。入力画像およびレガシーコーデックのタイプに基づいて、レガシーデコーダ内の前処理ステップが異なる可能性がある。

以下の例示的な実施形態では、ＬＤＲ画像は、Ｎｃ＝３の場合、

または、
グレースケール画像（Ｎｃ＝１）の場合に、Ｉｄｒ＿Ｙとして、表示される。
したがって、Ｉｄｒ＿ＲＧＢは、Ｉｄｒ＿Ｒ（赤），Ｉｄｒ＿Ｇ（緑），およびＩｄｒ＿Ｂ（青）の３つの色成分を備える。

図１に戻ると、ＬＤＲ画像は、圧縮されていない画像であり、例えば、８ビットチャネルで表される、例えば、．ｐｎｇ，．ｐｐｍまたは．ｂｍｐ画像であり、各成分（例えば、赤、緑および青または輝度成分Ｙ）が０から２５５の範囲の値で表すことができることを意味する。

ブロックＥ２は、ＲＧＢトーンマッピング画像Ｉｄｒ＿ＲＧＢ（または、Ｎｃ＝１の場合、Ｉｄｒ＿Ｙ）を［０，１］にフロートするために変換する。これは、各成分を２５５で除算することを意味する。したがって、ブロックＥ２の出力は、
Ｎｃ＝３の場合、

（１ａ）
または、
Ｎｃ＝１の場合、

（１ｂ）
である。
これは以下のコードで得られる。

他のレンジマッピング方法を用いることができる。

ブロックＥ２ａは、オプションであり、入力ＬＤＲ画像が線形でない場合に用いられる。この場合、ＬＤＲ画像信号を線形化する必要がある。これは、例えば、これに限定されるものではないが、単純なべき乗関数またはｓＲＧＢガンマまたはルックアップテーブルを使用して、ガンマ演算で実行される。ガンマ曲線は、ＬＤＲ画像の生成処理中に適用されるガンマ曲線の逆数でなければならない。一例として、ＬＤＲ画像がＨＤＲ画像にトーンマッピングアルゴリズムを適用して得られる場合、またトーンマッピングアルゴリズムが非線形ガンマ曲線、例えば、ｘがＲ，ＧまたはＢ成分および１／２．２がガンマ補正であるΓ＝ｘ^1/2.2を適用する場合、ブロックＥ２ａは、各成分に対して逆ガンマ曲線Γ^-1＝ｘ^2.2を適用する。

ブロックＥ３は、ＬＤＲ画像をＨＤＲ画像の色空間に変換するために使用される。これは、ＬＤＲ入力画像のより小さな色空間をＨＤＲ入力画像のより広い色空間に変換する３×３行列を含む。

したがって、数学的な観点から、空間変換は次の式で表される。

Ｎｃ＝３に対して、
ｗｉｄｅ＿Ｉｄｒ＿ＲＧＢ＝Ｈ・ｂａｓｅ＿Ｉｄｒ＿ＲＧＢ
（２）
ここで、空間変換行列は、

これは、以下のコードで得られる。

係数ａ＿ｉ（ａ＿１からａ＿９）は、色空間変換のための行列要素である。

このステップＥ３は、もし２つの入力画像（ＬＤＲおよびＨＤＲ）が２つの異なる色空間で、例えば、これに限定されるものではないが、表現されるのであれば、必要とされ、ＬＤＲ画像は、ｓＲＧＢ色空間で表現され、ＨＤＲ画像は、ＸＹＺ色空間で表現される。他の色空間は、ＢＴ２０２０，ＢＴ７０９など、これに限定されるものではないが、ＨＤＲ画像を表すために使用することができる。

両方の画像が同じ色空間で表現される場合、この行列は、同一行列であるか、またはステップＥ３はスキップされる。

残余データ（以下、Ｎｃ＝１の場合、行列ｒｅｓ＿Ｙにより、またはＮｃ＝３の場合、ｒｅｓ＿ＲＧＢにより表される）は、ブロックＥ３（ＬＤＲ＊）の出力をブロックＥ１０（ＨＤＲ＊）の出力で除算することにより得られる。ブロックＥ１０の出力（Ｎｃ＝１の場合、ｅｘｐ＿Ｙ、またはＮｃ＝３の場合、ｅｘｐ＿ＲＧＢ）は、露光ステップ後の入力ＨＤＲ画像である。

したがって、残余データは、ＨＤＲおよびＬＤＲ画像と同じ数の成分を有する残余画像として構成される。残余画像の各成分の値は、ＬＤＲ画像成分の値を、対応するＨＤＲ画像成分のそれぞれの値で除算することにより得られる。上記の表記を使用して、次の式が適用される。

Ｎｃ＝３に対して、
Ｒｅｓ＿ＲＧＢ＝ｗｉｄｅ＿Ｉｄｒ＿ＲＧＢ／ｅｘｐ＿ＲＧＢ （３ａ）

Ｎｃ＝１に対して、
Ｒｅｓ＿Ｙ＝ｗｉｄｅ＿Ｉｄｒ＿Ｙ／ｅｘｐ＿Ｙ （３ｂ）

残余データは、以下のコードにより得られる。

入力ＨＤＲ画像に適用される露光は、入力ＨＤＲ画像情報に基づいて計算される。特に、ブロックＥ１０において、入力ＨＤＲ画像の各成分は、以下の式に従って計算されたスカラー値”ｅｘｐｏｓｕｒｅ”によって乗算される。

（４）

ここで、ｏｕｔ＿ａｖｅｒａｇｅは、入力ＨＤＲ画像の全ピクセルの平均値であり、ｓｃａｌｅ＿ｆａｃｔｏｒは、露光の大きさを定義し、以下の式に従って計算される。

（５）

ＨＤＲ＿ｍａｘおよびＨＤＲ＿ｍｉｎは、入力ＨＤＲ画像の最大値および最小値である。ソフトフェアの観点から、演算（２）が不確定な値（例えば、Ｍａｔｈｌａｂ言語のＮｏｔ−Ａ−Ｎｕｍｂｅｒ値）になった場合、ｓｃａｌｅ＿ｆａｃｔｏｒは、１になる。好ましくは、”ｅｘｐｏｓｕｒｅ”の最大値は、８に設定される。したがって、演算（４）の値が８より大きい値である場合、”ｅｘｐｏｓｕｒｅ”は、８に設定される。

一実施形態では、さらに本方法は、ＬＤＲ＊画像のピクセル値がゼロまたはＨＤＲ＊画像の値が０以下である場合に、残余データの値を１に設定することを提供する。

入力ＨＤＲ画像のカラーピクセルの負の値は、全てのＨＤＲ画像ピクセル値、またはＨＤＲ画像を取得するカメラにリンクされている他の現象を正しく表現できない色空間が原因である可能性がある。いずれにしても、残余を１にすることは、復号化フェーズにおけるＨＤＲ画像のより良好な再構成を可能にする。

他の実施形態では、ＨＤＲ画像が０以下の色値を有するピクセルを含む場合、この方法は、ＨＤＲ画像が全て０より大きいか等しい値を有する、より大きな色空間へのＨＤＲ画像のさらなる空間変換を提供する。

２つの入力画像（ＬＤＲおよびＨＤＲ）が２つの異なる色空間で表される場合、一実施形態では、残余データは、ＬＤＲ画像の色空間で計算される。

図１を参照すると、ブロックＥ３は、ＨＤＲ画像の色空間でＬＤＲ画像を変換するために使用されているので、残余データは、ＨＤＲ画像の色空間で計算される。ゆえに、ブロックＥ１１は、ＬＤＲ画像およびレガシーエンコーダ１０の色空間へ残余データを変換するために使用される。

したがって、ブロックＥ１１の出力は、
Ｎｃ＝３に対して、

（６ａ）
Ｎｃ＝１に対して、

（６ｂ）

このブロックのオプションの使用は、圧縮処理の品質性能にわずかに影響する。

ブロックＥ１１は、以下のコードにより実施することができる。

ここで、係数ｉｎｖａ＿ｉは、ブロックＥ３で使用される行列Ｈの逆行列である行列要素Ｈ^-1である。このブロックを使用しない場合、同一の３×３行列が使用されるか、このステップはスキップされる。後者の場合、ブロックＥ１１への入力は、Ｎｃ＝３の場合、ｒｅｓ＿ＲＧＢであり、Ｎｃ＝１の場合、ｒｅｓ＿Ｙである。

ブロックＥ１１の出力は、ブロックＥ１２を介して範囲［０，１］の間にスケーリングされる。したがって、ブロックＥ１２の出力は、０から１の範囲の値を有する残余データ（Ｎｃ＝３に対して、ｒｅｓ＿ＲＧＢにスケーリングされ、Ｎｃ＝１に対して、ｒｅｓ＿Ｙにスケーリングされる）である。

範囲［０，１］の間の残余データのスケーリングは、各成分からその成分の最小値を減算し、減算の結果を、成分の最大値と最小値との差で除算することにより得られる。例えば、次の通りである。
ｓｃａｌｅｄ＿Ｙ＝（ｒｅｓ＿Ｙ’−ｍｉｎＹ’）／（ｍａｘＹ’−ｍｉｎＹ’）（７）

スケーリングの例は、以下のコードにより実施できる。

ここで、ｓｃａｌｅｄ＿Ｒ，ｓｃａｌｅｄ＿Ｇ，およびｓｃａｌｅｄ＿Ｂは、ｓｃａｌｅｄ＿ｒｅｓ＿ＲＧＢの成分であり、ｓｃａｌｅｄ＿Ｙは、ｓｃａｌｅｄ＿ｒｅｓ＿Ｙの成分であり、ｍａｘＲＧＢ’およびｍｉｎＲＧＢ’は、ｒｅｓ＿ＲＧＢ’画像の最大値および最小値Ｒ，Ｇ，およびＢの値である。Ｎｃ＝１の場合、ｍａｘＹ’およびｍｉｎＹ’は、ｒｅｓ＿Ｙ’画像の最大値および最小値である。他のタイプのスケーリングも使用できる。

残余データがブロックＥ１２でスケーリングされた後、次のブロックＥ１３においてガンマ補正が適用される。

ブロックＥ１３は、０と１との間で残余データをより良く分配し、また符号化中にゼロに近い小さな値が、ゼロに量子化されないようにガンマ演算を記述する。

一実施形態では、ブロックＥ１３では、入力スケーリングされた残余データの各成分は、以下の式に従ってべき乗によって乗算される。

（８）

ここで、ｇａｍｍａ＿ｒｅｓｉは、残余データ画像ｇａｍｍａ＿ｒｅｓ＿Ｙ（Ｎｃ＝１の場合）、またはｇａｍｍａ＿ｒｅｓ＿ＲＧＢ（Ｎｃ＝３の場合）の出力成分である。ここで、ｓｃａｌｅｄｉは、ブロックＥ１２によりスケーリングされた残余データの成分を示し、ここで、ｈｄｒ＿ｇａｍｍａは、好ましくは、１より大きい。そのため、値

を計算する際に、より低い値が増加する。

一実施形態では、ｈｄｒ＿ｇａｍｍａは、以下の式に従って計算される。

（９）
ここで、

（１０）

ここで、ｍａｘ＿ＨＤＲは、入力ＨＤＲ画像の最大ピクセル値である。

ブロックＥ１３の出力（Ｎｃ＝１に対する、ｇａｍｍａ＿ｒｅｓ＿Ｙ、Ｎｃ＝３に対する、ｇａｍｍａ＿ｒｅｓ＿ＲＧＢ）は、以下のコードにより得られる。

ここで、ｇａｍｍａ＿Ｒ，ｇａｍｍａ＿Ｇ，ｇａｍｍａ＿Ｂは、ｇａｍｍａ＿ｒｅｓ＿ＲＧＢの成分である。ｇａｍｍａ＿Ｙは、ｇａｍｍａ＿ｒｅｓ＿Ｙの成分である。ｐｏｗｅｒ（ｘ，ｙ）は、x^yの値を出力する関数であり、ｈｄｒ＿ｇａｍｍａは、例えば、式（１０）に従って、入力ＨＤＲ画像に含まれる情報に基づいて計算される。

ブロックＥ１４は、例えば、浮動小数点を２５５で乗算した後整数に丸めることにより、フロート［０，１］残余データを［０，２５５］に変換する。これはまさにブロックＥ２の逆であり以下のコードにより得られる。

ここで、ｉｎｔ＿Ｂ，ｉｎｔ＿Ｇ，ｉｎｔ＿Ｒ，ｉｎｔ＿Ｙは、整数を含む。

この場合にも、異なる逆レンジマッピングが使用できる。好ましくは、ブロックＥ１４の逆レンジマッピングは、ブロックＥ２に適用されたレンジマッピングの逆である。

ブロックＥ１４の後、残余データは、ブロックＥ１５およびＥ１６で処理され、データは、レガシーエンコーダ、例えば、ＪＰＥＧコーデック、または非レガシーコーデックのいずれかでありうる、エンコーダブロックＥ１７により要求されるフォーマットに整えられる。

図１の例では、ブロックＥ１７で使用されるコーデックは、メモリを節約し符号化処理を単純化するためにブロックＥ１８で使用されるコーデックと同じである。以下では、ブロックＥ１７の出力は、ＨＤＲ画像を再構成するのに必要な残余データ（または”残余画像”）を含むことを示すために”残余符号ストリーム”と名付けられる。

ブロックＥ１５は、残余データの色空間からレガシーエンコーダに特定されたＹＣｂＣｒへの色空間変換を実行する。その出力は、Ｎｃ＝１の場合は、ｒｃ＿Ｙの１つの値、Ｎｃ＝３の場合は、ｒｃ＿Ｒ，ｒｃ＿Ｇ，ｒｃ＿Ｂの３つの値のいずれかである。

ブロックＥ１６は、Ｎｃ＝１の場合、データｒｃ＿Ｙ、Ｎｃ＝３の場合、データｒｃ＿Ｒｒｃ＿Ｇｒｃ＿Ｂに、レガシーエンコーダＥ１７で特定されるようにクロマダウンサンプリングを実行する。その出力は、Ｎｃ＝１の場合、１つの値ｒｄ＿Ｙ、またはＮｃ＝３の場合、ｒｄ＿Ｒ，ｒｄ＿Ｇ，ｒｄ＿Ｂ３つの値のいずれかである。最後に、ブロックＥ１６の出力は、ブロックＥ１７のコーデックを使用して圧縮され、残余符号化データを出力に与える。

上記のように、ＬＤＲベース画像は、レガシーエンコーダ１０を使用して符号化される。

図１の実施形態では、ブロック処理ブロック１１においてＬＤＲ画像が処理されているので、レガシー符号ストリームを出力するために、ＬＤＲ＊からＬＤＲに戻る必要がある。したがって、符号化されたトーンマッピングされた後方互換性のある画像ＬＤＲは、ブロックＥ４からブロックＥ１８へ設計されたステップに従ってＬＤＲ＊から得られる。

ブロックＥ３が存在する場合、ブロックＥ４は存在する。その範囲は、これに限定されるものではないが、ＬＤＲ＊がＸＹＺ色空間でありＬＤＲがＲＧＢである場合、Ｅ３がＸＹＺからＲＧＢへ変換するように、トーンマッピングされた（ＬＤＲ）画像をそのオリジナルの色空間へ再変換することである。ブロックＥ４は、図３の方式が使用される場合、ブロックＥ４はスキップすることができる。この場合、図３に示すように、ブロックＥ２およびＥ２ａの後に、ブロックＥ５の入力として、トーンマッピングされた（ＬＤＲ）入力画像を直接与える。

したがって、ブロックＥ４の出力は、以下の画像である。
Ｎｃ＝３の場合、ｌｉｎｂａｓｅ＿ＲＧＢ＝ＬＤＲ＊Ｈ^-1、または
Ｎｃ＝１の場合、ｌｉｎｂａｓｅ＿Ｙ＝ＬＤＲ＊、または
ここで、Ｈ^-1は、ブロックＥ３で使用される色空間変換行列Ｈの逆行列である。

ｌｉｎｂａｓｅ＿ＲＧＢまたはｌｉｎｂａｓｅ＿Ｙ画像は、以下のコードにより得られる。

３×３行列は、係数ｉｎｖａ＿ｉを有するブロックＥ１１で使用される逆行列Ｈ^-1が使用される。

ブロックＥ５は、ＬＤＲ画像に対してガンマ演算を実行する。この動作は、ＬＤＲ画像信号の視覚化の目的のためのみである。好ましい実施形態では、ブロックＥ５は、ブロックＥ２ａの逆動作を実行する。ブロックＥ５の出力は、その後、フロート［０，１］から整数［０，２５５］に変換される。この動作（ブロックＥ６）は、ブロックＥ２の逆である。

ブロックＥ７およびＥ８の最終ステップは、ブロックＥ１５およびＥ１６のものと同一であるが、ブロックＥ６の出力に適用される。最後に、ブロックＥ８の出力は、ブロックＥ１８でレガシーコーデックにより符号化され、符号化された後方互換性のあるＬＤＲ画像（トーンマッピングされた）を出力に与える。

本発明の一実施形態によれば、ＨＤＲ画像の正しい再構成を可能にするために、レガシー符号ストリームは、以下のメタデータを含む。
・ブロックＥ１３の残余データのガンマ補正のために使用されたｈｄｒ＿ｇａｍｍａ値およびガンマ曲線のタイプ
・残余データのスケーリングのために使用されたｍｉｎＲＧＢおよびｍａｘＲＧＢ（または、Ｎｃ＝１の場合のｍｉｎＹおよびｍａｘＹ）
・符号化に使用される空間変換を表すデータ（すなわち、ブロックＥ３およびＥ１１が使用される場合、表すデータ）
・露光パラメータ”ｐａｒａｍ＿ｅｘｐｖａｌ”
・ＨＤＲ画像の再構成のために使用されるパラメータ”ε”。このパラメータは、好ましくは、１０^-7に設定される。
・Ｉｄｒ＿ｇａｍｍａ値およびブロックＥ２ａで画像ＬＤＲガンマ補正のために使用されるガンマ曲線のタイプ

復号化
復号化処理は、ＨＤＲ画像を復元するために、レガシー符号ストリーム（ベース画像、ＬＤＲを含む）および残余符号ストリームのデータを組み合わせる。このマージ処理の詳細は、ビデオまたは単純なピクチャーのフレームであり得る画像の復号化を参照して以下に概説される。

図４では、ブロックＤ１，Ｄ２，Ｄ３を含む上側の経路は、レガシー符号ストリームを入力として受け取り、特定の色空間、すなわち、図４の実施形態であるｓＲＧＢ色空間で、後方互換性のあるＬＤＲ画像を出力するレガシーデコーダの標準的なフローである。

次に、データは、ブロックＤ４により処理され、続いてフロートにマッピング（ブロックＤ４ａ）が、逆ガンマ動作（ブロックＤ４ｂ）および場合によって空間変換（ブロックＤ４ｃ）により実行される。したがって、ブロックＤ４は、ベース画像を線形浮動小数点空間にマッピングし、線形ＲｒｅＲＧＢ値を出力する。

残余画像の成分数Ｎｃは、レガシー画像においてシグナリングされた成分の数と等しくなければならない。

ブロックＥ２について説明したのと同じ方法で、ＬＤＲ画像の各ピクセル値を２５５で除算することによって、フロート［０，１］へのレンジマッピングは得られる。これは、以下のコードにより実施することができる。

他のタイプのスケーリングも使用できる。

ブロックＤ４ａにより出力された浮動小数点画像を線形化するために、ブロックＤ４ａにおいて逆ガンマ補正は、ブロックＤ４ａの出力に適用される。ブロックＤ４ａにおいて適用される逆ガンマ補正は、ブロックＥ５の逆である。ブロックＤ４ｂの出力は、Ｎｃ＝＝１の場合、１つの値ＬＰ＿Ｙ、またはＮｃ＝＝３の場合、３つの値ＬＰ＿Ｒ，ＬＰ＿Ｇ，ＬＰ＿Ｂのいずれかを提供する。

ブロックＥ３が符号化に存在する場合、ブロックＤ１３で処理される前のＬＤＲストリームは、色空間変換を記述する３×３行列（ブロックＤ４ｃ）により乗算される。この行列の係数は、符号化ステップＥ３において使用されるものと同一である。したがって、ブロックＤ４ｃを実施するためのコードは、以下のようになる。

ブロックＥ３が符号化において存在しない場合、この３×３行列は、単位行列であるか、または、このステップは、復号化において省略される。

図４では、Ｄ６から始まる下側の経路は、残余データの処理に関連する。ブロックＤ６では、ブロックＥ１７により生成された残余符号ストリームのデータは、それらを復号する標準コーデック（例えば、ＭＰＥＧまたはＪＰＥＧまたはＨ２４６など）により処理される。復号化された後、残余データは、ブロックＤ７におけるクロマアップサンプリングを受ける。クロマアップサンプリングは、レガシーデコーダ（ブロックＤ２）において実行されるアップサンプリング処理同じである。

ブロックＤ８は、その後、レガシーデコーダ（ブロックＤ３）において特定される残余データの色空間へＹＣｂＣｒ変換を実行する。図４の実施形態では、残余データは、ＲＧＢへ変換される。その出力は、Ｎｃ＝＝１の場合、１つの値ｒｃ＿Ｙ、または、Ｎｃ＝＝３の場合、３つの値ｒｃ＿Ｒ，ｒｃ＿Ｇ，ｒｃ＿Ｂのいずれかを提供する。

ブロックＤ９は、ブロックＤ８のＲＧＢ出力を、浮動小数点［０，１］にマッピングする。ブロックＤ９によって実行される動作は、ブロックＤ４において実行されるレンジマッピング動作に相当する。ブロックＤ９の出力は、Ｎｃ＝＝１の場合、１つの値ｒｓ＿Ｙ、または、Ｎｃ＝＝３の場合、３つの値ｒｓ＿Ｒ，ｒｓ＿Ｇ，ｒｓ＿Ｂのいずれかを提供する。

ブロックＤ９の出力は、ブロックＤ１０における逆ガンマ関数を受ける。ブロックＤ１０は、ブロックＤ９の出力に、符号化中ブロックＥ１３において使用されるガンマ関数の逆であるガンマ関数を適用する。

ブロックＥ１３のべき乗ガンマ関数を参照すると、逆ガンマ関数は、ブロックＤ９により実行される逆ガンマ関数が以下のコードにより実施される。

パラメータｐａｒａｍ＿ｈｄｒ＿ｇａｍｍａは、符号化に使用され、残余符号ストリームのメタデータ（ｈｄｒ＿ｇａｍｍａ）に格納されているものと同じである。

ブロックＤ１１の目的は、オリジナルの残余画像を復元するためにあたいを再拡大することである。したがって、ブロックＤ１１は、ブロックＥ１２の逆関数を実行する。

ブロックＤ１１により実行される関数は、以下のコードにより実施することができる。

ここで、ｍｉｎＲＧＢおよびｍａｘＲＧＢ（または、Ｎｃ＝１の場合、ｍｉｎＹおよびｍａｘＹ）は、メタデータに格納され、ブロックＥ１２の符号化において使用されるものと同じパラメータである。スケーリングの他のタイプが使用することができる。

ブロックＤ１２は、オプションであり、符号化におけるブロックＥ１１が実行された場合のみ実行される。ここで、残余データに対しても広い色域をサポートするために、色行列変換は適用される。この動作が符号化で行われていない場合、それはスキップされる。この行列は、符号化処理の標準色空間をＨＤＲ入力画像のオリジナルの色空間へ変換する。

上記の符号化の例を参照すると、空間変換は空間変換行列Ｈ^-1を使用してブロックＥ１１で実行される。ブロックＤ１２の出力で線形残余画像は、
Ｎｃ＝３に対して、
ＬＲ＿ＲＧＢ＝ｓｃａｌｅｄ＿ＲＧＢ・Ｈ
Ｎｃ＝１に対して、
ＬＲ＿Ｙ＝ｓｃａｌｅｄ＿Ｙ

一実施形態によれば、ブロックＤ１２は、以下のコードにより実施することができる。

ブロックＤ１２の３×３行列は、ブロックＥ１１における符号化処理において使用される一つ（Ｈ^-1）の逆行列である。

ＬＤＲベース画像および残余画像がブロックＤ４−Ｄ１２により処理された後、ＨＤＲ再構成はブロックＤ１３およびＤ１４において実行される。Ｄ１３とＤ１４の両方は、除算である。

ブロックＤ１３は、線形ＰｒｅＲＧＢを引き、それを浮動小数点でオリジナルＨＤＲを与える線形残余ＲＧＢにより除算する。好ましい実施形態によれば、小さな値εは、ゼロをによる除算を回避するために母数に加えられる。

ブロックＤ１４は、オリジナルの露光に値を再構成するためにブロックＤ１３の出力に逆露光を実行する。

一実施形態によれば、ブロックＤ１３は、以下のコードにより実施される。

εの値は、残余符号ストリームメタデータから引かれる。

一実施形態によれば、ブロックＤ１４は、以下のコードにより実施される。

ここで、ｐａｒａｍ＿ｅｘｐｖａｌは、符号化ステップＥ１０において使用され残余符号ストリームのメタデータに含まれる露光値である。

ブロックＤ１３の除算は、ブロックＤ４およびＤ１２の出力が対数スケールで表現される場合、指数演算により続く減算であることができる。この場合、対応するコードは、以下に示すことができる。

値εは、０の対数演算を回避するために加えられる。

ブロックＤ１４の機能は、符号化処理のブロックＥ１０において適用される露光要素を除去することである。したがって、ブロックＤ１３の出力は、符号化において用いられる”ｅｘｐｏｓｕｒｅ”要素により除算する。ブロックＤ１４の機能は、露光値が残余符号ストリームのメタデータ（ｐａｒａｍ＿ｅｘｐｖａｌ）に格納される露光値が”ｅｘｐｏｓｕｒｅ”の逆数に等しい場合、すなわち、ｐａｒａｍ＿ｅｘｐｖａｌが１．０／露光に等しい場合、乗算できることである。この場合、ブロックＤ１４の機能は、以下のコードにより実施することができる。

ここで、ｅｘｐｏｓｕｒｅは、符号化において計算され、ブロックＥ１０に対して使用される露光値である。ｐａｒａｍ＿ｅｘｐｖａｌは、常にゼロより大きい。
ブロックＤ１４の出力は、最終的なＨＤＲ浮動小数点出力である。

代替的な実施形態
本発明は、ＨＤＲ画像およびビデオの効率的な符号化および復号化を可能にすることであり、上記好ましいが限定されるものではない実施形態から明らかになる。

本発明は、いくつかの有利な特徴を提供する。それは、高い計算上の複雑さを必要とせずに、レガシーエンコーダとの下位互換性を提供するＨＤＲ画像の符号化を可能にする。ＨＤＲ画像は、ＨＤＲの一方から後方互換性のＬＤＲ画像を得るために使用されるトーンマッピングのタイプに依存せず正しく再構成できる。

本発明は、ある特定の実施形態を参照して説明したが、説明は限定的に解釈されるべきではない。説明した実施形態のいくつかの変更、ならびに代替的な実施形態は、本説明を読んだ当業者によって実施できる。アイディアと開示された特定の実施形態が、わずかに変更または修正あるいは他の構造を設計するための基礎として使用することのできることが、当業者によって理解されるべきである。論理ブロックが異なるグループ化または構成することができるように、論理ブロックへの分割は、限定して解釈されるべきでない。

代替的な解決策の例は、残余データの計算に使用される線形化ＬＤＲ画像（ＬＤＲ＊）を求める方法であってもよい。一例として、図５に、処理ブロック１１の入力は、図１−３のように、ブロックＥ１から直接得られない。入力ＬＤＲ画像（ブロックＥ１）は、図２を参照して上記したようにレガシーエンコーダ１０において符号化され、その後、処理ブロック１１の入力を得るためにレガシーデコーダ１３において復号化される。

この解決策は、符号化されたＬＤＲ画像の復号化（ブロック１３）のための追加の計算コストを必要とするが、この解決策は、残余データが符号化されたＬＤＲ画像から開始して計算されるために、符号化性能を向上させることができる。

加えて、ブロックＥ１４において上記実施例で残余データがＲＧＢストリームに変換されるので、フロート［０，１］から［０，２２５］ピクセル値をマッピングする逆レンジマッピング動作があることに留意すべきである。それにもかかわらず、残余データは、例えば、１２ビットＪＰＥＧまたはＪＰＥＧロスレスエンコーダのような非レガシーエンコーダを用いて符号化することができる。したがって、より一般的には、ブロックＥ１４は、Ｎが各色成分を符号化するために使用されるビット数であることを用いて、［０，１］から［０，２^N−１］のピクセル値をマッピングすべきである。

上記実施形態では、レガシーエンコーダ１０は、入力としてＲＧＢ画像／ビデオを必要とし、したがって、ブロックＥ６において入力ピクセル値が２５５により乗算される。レガシーエンコーダ１０が１０ビットＭＰＥＧエンコーダである場合、ブロックＥ６においてピクセル値は、Ｎが各色成分を符号化するために使用されるビット数であることを用いて、２^N−１により乗算されるべきである。

［０，２^N−１］から［０，１］への逆マッピングは、第１および残余符号ストリームがそれぞれ復号化されるブロックＤ４ａおよびＤ９に適用される。

Claims (27)

1. 画像データを処理する方法であって、前記方法は、
   高ダイナミックレンジ画像データ（ＨＤＲ）を提供することと、
   高ダイナミックレンジ画像データ（ＨＤＲ）の低ダイナミックレンジ画像データ（ＬＤＲ）を提供することと、
   第１の符号ストリームにおける低ダイナミック画像データ（ＬＤＲ）を符号化する（Ｅ７-Ｅ１８）ことと、
   処理された画像（ＬＤＲ＊）を得るために低ダイナミックレンジ画像データ（ＬＤＲ）を処理することと、
   高ダイナミックレンジ画像データ（ＨＤＲ）の成分および処理された低ダイナミックレンジ画像データ（ＬＤＲ＊）の対応する成分を選択することと、
   処理された低ダイナミックレンジ画像データ（ＬＤＲ＊）の選択された成分の各ピクセル値を、高ダイナミックレンジ画像データ（ＨＤＲ）の対応する成分の対応する値で除算することにより、選択された成分の残余データを計算することと、
   選択された成分の残余データを、０と１との間に含まれる値の範囲にスケーリングする（Ｅ１２）ことと、
   残余符号ストリームにおける選択された成分のスケーリングされた残余データを符号化する（Ｅ１５-Ｅ１７）こととを含む方法。
2. 選択された成分の残余データの範囲［０，１］でのスケーリングは、残余データから選択された成分の最小値を減算した後、選択された成分の最大値と最小値との間の差で、減算した結果を除算することによって得られる請求項１の方法。
3. 残余符号ストリームにおける符号化前のスケーリングされた残余データをガンマ補正する（Ｅ１３）ステップは、残余データをガンマ補正するステップが、スケーリングされた残余データを、ｈｄｒ＿ｇａｍｍａがＨＤＲ画像の値に依存する１/ｈｄｒ＿ｇａｍｍａのべき乗にスケーリングされた入力の各成分に累乗することをさらに含む請求項１または２の方法。
4. ｈｄｒ＿ｇａｍｍａは以下の式に従って計算され、
   

   

   ここで、
   

   

   ここで、ｍａｘ＿ＨＤＲは、入力ＨＤＲ画像の最大ピクセル値である請求項３の方法。
5. 残余符号ストリームにおける符号化前に、選択された成分のガンマ補正された残余データを、Ｎが、選択された成分を符号化するために使用されるビット数である、２^N−１により乗算するステップ（Ｅ１４）をさらに含む請求項１または２または３の方法。
6. 低ダイナミックレンジ画像データ（ＬＤＲ）は、低ダイナミックレンジ画像データ（ＬＤＲ）のピクセルの値を０から１の値の範囲にマッピングすることを含む請求項１から５のうちのいずれか１つの方法。
7. 低ダイナミックレンジ画像データ（ＬＤＲ）は、８ビットの正確な成分を有し、ピクセルの値をマッピングすることが、２５５により低ダイナミックレンジ画像データ（ＬＤＲ）のピクセルの値を除算することを含む請求項６の方法。
8. 低ダイナミックレンジ画像データ（ＬＤＲ）は、高ダイナミックレンジ画像データ（ＨＤＲ）をトーンマッピングし、トーンマッピングされた画像データにガンマ曲線を適用することにより得られ、ここで、低ダイナミックレンジ画像データ（ＬＤＲ）の処理は、高ダイナミック画像データ（ＨＤＲ）から低ダイナミック画像データ（ＬＤＲ）を得るために使用されるガンマ曲線の逆数であるガンマ曲線を用いて低ダイナミックレンジ画像データ（ＬＤＲ）を修正する（Ｅ２）ことを含む請求項１から７のうちのいずれか１つの方法。
9. 低ダイナミックレンジ画像データ（ＬＤＲ）および高ダイナミックレンジ画像データ（ＨＤＲ）は、異なる色空間で表現され、ここで、低ダイナミックレンジ画像データ（ＬＤＲ）の処理（１１）は、低ダイナミックレンジ画像データ（ＬＤＲ）を高ダイナミックレンジ画像データ（ＨＤＲ）の色空間に変換する（Ｅ３）ことを含む請求項２から８のうちのいずれか１つの方法。
10. 残余データは、スケーリングされかつガンマ補正される前に低ダイナミックレンジ画像データ（Ｅ１１）の色空間に変換される請求項９の方法。
11. 低ダイナミックレンジ画像データ（ＬＤＲ）は、符号化された（１０）低ダイナミックレンジ画像データ（ＬＤＲ）を符号化する（１３）ことを含む請求項１から８のうちのいずれか１つの方法。
12. 残余データを計算する前に高ダイナミックレンジ画像データ（ＨＤＲ）を露光する（Ｅ１０）ステップをさらに含み、残余データを計算するために露光された高ダイナミックレンジ画像データを使用する請求項１から１１のうちのいずれか１つの方法。
13. 高ダイナミックレンジ画像データ（ＨＤＲ）を露光する（Ｅ１０）ことは、以下の式により計算される“露光”のスカラー値により高ダイナミックレンジ画像データ（ＨＤＲ）を乗算することを含み、
    

    

    ここで、ｏｕｔ＿ａｖｅｒａｇｅは、入力高ダイナミックレンジ画像データ（ＨＤＲ）の全てのピクセルの平均値であり、ｓｃａｌｅ＿ｆａｃｔｏｒは、高ダイナミックレンジ画像データ（ＨＤＲ）の最大値および最小値に依存するスカラー値である請求項２の方法。
14. ｓｃａｌｅ＿ｆａｃｔｏｒは、以下の式に従って計算され、
    

    

    ここで、ＨＤＲ＿ｍａｘおよびＨＤＲ＿ｍｉｎは、高ダイナミックレンジ画像データ（ＨＤＲ）の最大値および最小値である請求項１３の方法。
15. 符号化された残余データと高ダイナミックレンジ画像データの再構成のステップにおいて復号化された低ダイナミック画像とに付加するために、第１の符号ストリームにおいて、１０^-5より低いおよび好ましくは１０^-7に等しいパラメータ“ε”を符号化するステップをさらに含む請求項１から１４のうちのいずれか１つの方法。
16. 残余データは、対応する低ダイナミックレンジ画像データ（ＬＤＲ＊）がゼロに等しい場合、または対応する高ダイナミックレンジ画像データ（ＨＤＲ＊）がゼロに等しいかあるいはより小さい場合、１に設定される請求項１から１５のうちのいずれか１つの方法。
17. 低ダイナミックレンジ（ＬＤＲ）画像データおよび修正された残余データの符号化は、同一の符号化手順を用いて実施される請求項１から１６のうちのいずれか１つの方法。
18. 入力で高ダイナミックレンジ（ＨＤＲ）画像データを受信するのに適し、かつ画像データ（ＨＤＲ）の低ダイナミックレンジ画像データ（ＬＤＲ）を計算するよう構成され、第１の符号ストリームおよび残余符号ストリームを出力するために請求項１から１７のいずれかの方法を実施するように構成されるエンコーダ（６０１）。
19. 画像データを処理するための方法であって、前記方法は、
    低ダイナミックレンジ画像データ（ＬＤＲ）を含む第１の符号ストリームを受信することと、
    高ダイナミックレンジ画像データ（ＨＤＲ）の再構成のために残余データを含む残余符号ストリーム、第１の符号ストリームと同じ成分の数を含む残余符号ストリームを受信することと、
    低ダイナミックレンジ画像データを復号化することと、
    復号化された低ダイナミックレンジ画像データを範囲［０，１］にレンジマッピングする（Ｄ４ａ）ことと、
    残余符号ストリームを復号化し、かつ残余データを抽出することと、
    復号化された残余データを範囲［０，１］にレンジマッピングする（Ｄ９）ことと、
    第１の符号ストリームにおいて含まれたパラメータにより定義されたガンマ曲線を使用して、レンジマッピングされ復号された残余データに、ガンマ修正（Ｄ１０）を適用することと、
    min_cおよびmax_cが第１の符号ストリームにおいて含まれる成分に依存するパラメータであって、ガンマ修正され復号化された残余データの各成分をmax_cとmin_cとの差により乗算すること、またさらに、min_cをシフト加算することにより、ガンマ修正され復号化された残余データの各成分を範囲［min_c,max_c］にスケーリングする（Ｄ１１）ことと、
    レンジマッピングされた低ダイナミックレンジ画像データおよびスケーリングされた残余データを使用して高ダイナミックレンジ画像データ（ＨＤＲ）を再構成する（Ｄ１３）こととを含む方法。
20. 高ダイナミックレンジ画像データ（ＨＤＲ）の再構成は、レンジマッピングされた低ダイナミックレンジ画像データを、スケーリングされた残余データと第１の符号ストリームで提供されたεパラメータとの和により除算することにより得られる請求項１９の方法。
21. 高ダイナミックレンジ画像データ（ＨＤＲ）の再構成は、
    第１の符号ストリームからεパラメータを読み取ることと、
    スケーリングされた残余データおよびεパラメータの合計の第１の対数を計算することと、
    レンジマッピングされた低ダイナミックレンジ画像データおよびεパラメータの合計の第２の対数を計算することと、
    第２の対数から第１の対数を減算することと、
    第２の対数から第１の対数の減算の指数を計算することを含む請求項１９の方法。
22. 復号化された低ダイナミックレンジ画像データを線形化するためにガンマ曲線を適用することによって、レンジマッピングされた低ダイナミックレンジ画像データをガンマ修正する（Ｄ４ｂ）ステップをさらに含む請求項１９または２０または２１の方法。
23. 高ダイナミックレンジ画像データの再構成の前に、レンジマッピングされガンマ変換された低ダイナミックレンジ画像データを空間変換する（Ｄ４ｃ）ステップをさらに含む請求項２２の方法。
24. パラメータ“ε”は１０^-5より小さく、好ましくは１０^-7に等しい請求項１９から２３のうちのいずれか１つの方法。
25. 再構成された高ダイナミックレンジ画像データを第１の符号ストリームに含まれる露光パラメータにより除算する（Ｄ１４）ステップをさらに含む請求項１９から２４のうちのいずれか１つの方法。
26. 再構成された高ダイナミックレンジ画像データを第１の符号ストリームに含まれる露光パラメータにより乗算される（Ｄ１４）ステップをさらに含む請求項１９から２４のうちのいずれか１つの方法。
27. 入力で第１の符号ストリームおよび残余符号ストリームを受信するため、および請求項１９から２６のうちのいずれか１つにかかる方法に従った高ダイナミックレンジ画像データを再構成するために適用されるデコーダ（６０５）。

Images