JP2017037652A - Ｈｄｒ−ｈｄｒ逆トーンマッピングのための方法、システム、および装置 - Google Patents

Abstract

【課題】元のシーンの外観を視覚的に再現できる、高ダイナミックレンジ画像の逆トーンマッピング方法、装置、およびシステムを提供する。【解決手段】高ダイナミックレンジ画像の輝度成分を取得するステップ、ＨＤＲ−ＨＤＲ逆トーンマッパーオペレータを決定するステップ、高ダイナミックレンジ画像の輝度成分に、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用することによって、トーン拡張された画像を決定する。暗部レベルおよび中間トーンレベルに対する線形部分、およびハイライト部に対する拡張非線形部分を備えた、ＨＤＲ−ＨＤＲ逆トーンマッパー曲線をさらに含むことができる。【選択図】図２

Description

本開示は、画像およびビデオ処理に関する。特に本開示は、高ダイナミックレンジ（「ＨＤＲ」）逆トーンマッピングオペレータを利用する画像またはビデオデータの変換に関する。

本質的に光は、星の光から明るい太陽光まで、非常に大きな範囲の輝度レベルを包含する。しかし伝統的なイメージング技術は、ディジタルおよびアナログ共に、人間の目に見える広範囲の輝度およびコントラストに匹敵し得ないので、弱められた経験をもたらす。それに対応して、拡張された範囲のカラー、輝度、およびコントラストの表示を可能にするように、ＨＤＲ技術が開発されている。ＨＤＲ技術は、より広いダイナミックレンジのコンテンツの捕捉、処理、および表示に焦点を当てる。ＨＤＲディスプレイがあり、増加されたダイナミックレンジを捕捉する能力を有するカメラが開発されているが、利用可能なＨＤＲコンテンツは依然として非常に限られている。

ＨＤＲディスプレイのために従来型のコンテンツを準備するためには、画像のもとのシーンの外観を回復または再形成することを目的として、画像における輝度情報を処理するアルゴリズムに関連して、リバースまたは逆トーンマッピングオペレータ（ＩＴＭＯ）を使用することができる。通常、ＩＴＭＯは、従来型の画像（例えば標準ダイナミックレンジ（「ＳＤＲ」）画像）を入力として取り込み、非線形な方法で画像の輝度範囲を拡張し、ハイライト部または明るい領域を局部的に処理して、結果の画像のＨＤＲ外観を強化する。

既存のＩＴＭＯソリューションは、元のシーンの外観を知覚的に再現することに焦点を当て、画像のコンテンツについての厳密な前提に依存する。既存のＩＴＭＯソリューションは、ビデオを念頭に置いて作成されることはまれであり、それらはカラーグレーディングの関連において用いられる十分な制御をもたらさない。

既存のＩＴＭＯソリューションは、非常に大きな量で輝度値の範囲を増加させるので問題がある。現実世界において観察される光レベルと入力（通常はおよそ１００ニト）との差は非常に著しく、適切なＩＴＭＯの設計に、視覚的品質と計算上の複雑さとの間のトレードオフを行うことを余儀なくさせる。例えば既存のＩＴＭＯは、非常に低い範囲のレガシー非ＨＤＲコンテンツ（例えば１００ニトコンテンツ）を、全輝度チャネル情報（例えば最大４０００ニトコンテンツ）に広げる。

しかし一部の場合にＩＴＭＯは、かなり小さな係数だけ、例えば最大の１５００ニトから４０００ニトに（例えば異なるＨＤＲディスプレイの間の範囲拡張に対して）、範囲を広げることが必要になる。これは、ディスプレイ装置が、ますます一様性の少ないダイナミックレンジを有するという、現在見られる傾向と一致する。異なる能力を有する非常に多様なディスプレイが展開されている状況において、コンテンツプロバイダは異なる各ディスプレイに対して個別のグレードをもたらすことができないようになる。

本原理の態様は、例えばカラーグレーディングワークフローの関連において、ＳＤＲ（標準ダイナミックレンジ）ビデオコンテンツを、ＨＤＲコンテンツにリマスタリングすることを対象とする。緩やかなダイナミックレンジ拡張を達成するために、ピーク輝度が受け取られたコンテンツのピーク輝度より高い場合でも高いピーク輝度を維持することを含み、プロバイダの意図を正しく再現するソリューションの必要性がある。

本発明は、ＨＤＲ画像の逆トーンマッピングのための方法、装置、およびシステムをもたらすことを提案する。上記方法は、上記ＨＤＲ画像の輝度成分を取得する動作を含むことができる。上記方法は、逆トーンマッパー曲線を決定するステップをさらに含むことができる。上記方法は、上記ＨＤＲ画像の上記輝度成分に、上記ＨＤＲ−ＨＤＲ（ＨＤＲ ｔｏ ＨＤＲ）逆トーンマッパー曲線を適用することによって、トーン拡張された画像を決定するステップをさらに含むことができる。上記方法は、暗部レベルおよび中間トーンレベルに対する線形部分、およびハイライト部に対する拡張非線形部分を備えた、上記ＨＤＲ−ＨＤＲ逆トーンマッパー曲線をさらに含むことができる。上記システムまたは装置は、上記方法の動作を行うように構成され得る。

上記方法、装置、またはシステムは、いつ上記輝度が線形に変化され、いつ上記輝度が非線形に圧縮解除されるかを決定するための閾値を含む、上記ＨＤＲ−ＨＤＲ逆トーンマッパーを含むことができる。

上記方法、装置、またはシステムは、コンテンツに基づいて上記閾値を決定するための動作を含むことができる。

上記方法、装置、またはシステムは、最終閾値τ_fが以下に基づいて決定されることを含むことができる：

上記方法、装置、またはシステムは、上記ＨＤＲ−ＨＤＲ逆トーンマッパー曲線の連続性および滑らかさを強制するための基準を含むことができる。

上記方法、装置、またはシステムは、上記ＨＤＲ画像はＨＤＲビデオの一部であり、上記ＨＤＲ−ＨＤＲ逆トーンマッパー曲線の適用は、前のビデオフレームからの情報を適用して時間的安定性を達成することを含むことができる。

上記方法、装置、またはシステムは、前のビデオフレームからの上記情報は、上記閾値に基づいて不完全積分を用いて適用されることを含むことができる。

上記方法、装置、またはシステムは、上記ＨＤＲ−ＨＤＲ逆トーンマッパー曲線を表すシグナリング情報を含むことができる。シグナリングは、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）、全米家電協会（ＣＥＡ）メッセージ、およびヘッダの少なくとも１つに含まれた少なくとも１つの構文要素を用いて行われ得る。

別の例では本原理はさらに、ＨＤＲ画像をトーンマッピングするための方法、装置、またはシステムをもたらす。上記方法は、上記ＨＤＲ画像の輝度成分を取得するステップと、ＨＤＲ−ＨＤＲ逆トーンマッパー曲線を決定するステップと、上記高ダイナミックレンジ画像の上記輝度成分に、上記ＨＤＲ−ＨＤＲ逆トーンマッパー曲線を適用することによってトーン圧縮解除された画像を決定するステップとを含み、上記ＨＤＲ−ＨＤＲ逆トーンマッパー曲線は多区分化され、上記多区分化された曲線は少なくとも線形でない区分、および少なくとも線形である区分を含む。上記システムまたは装置は、上記方法の動作を行うように構成され得る。

上記方法、装置、またはシステムは、上記線形区分は暗部、中間トーン部、およびハイライト部の群から選択された少なくとも１つを対象とすること、および上記非線形区分は暗部、中間トーン部、およびハイライト部の群から選択された少なくとも１つを対象とすることを含むことができる。

別の例では本原理はさらに、ＨＤＲ画像をトーンマッピングするための方法、装置、またはシステムをもたらす。上記方法は、上記ＨＤＲ画像の輝度成分を取得するステップと、ＨＤＲ−ＨＤＲ逆トーンマッパー曲線を決定するステップと、上記ＨＤＲ画像の上記輝度成分に、上記ＨＤＲ−ＨＤＲ逆トーンマッパー曲線を適用することによってトーン圧縮解除された画像を決定するステップとを含み、上記ＨＤＲ−ＨＤＲ逆トーンマッパー曲線の上記パラメータは、予め定義された条件を満たすように、上記閾値の関数として線形にまたは非線形に調整される。

本発明の特徴および利点は、以下で述べられる図と併せ読まれたときに、以下の詳細な説明から明らかとなり得る。
本原理による、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用する例示の方法を示す図である。 本原理による、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用する例示の方法を示す図である。 本原理による、ＨＤＲ−ＨＤＲ逆トーンマッパーのためのパラメータを決定する例示の方法を示す図である。 本原理による、コンテンツを復号し、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用する例示の方法を示す図である。 本原理による例示の装置を示す図である。 本原理による例示のグラフを示す図である。 本原理による例示のグラフを示す図である。 本原理による例示のグラフを示す図である。

本原理は、ＨＤＲ−ＨＤＲ逆トーンマッピングおよび／またはＨＤＲ−ＨＤＲ逆トーンマッパーのための方法、装置、およびシステムを対象とする。

本原理の一態様は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）およびシステムオンチップ（ＳｏＣ）などのハードウェアにおいて実装され得るが、限定せずに汎用処理装置およびグラフィック処理装置などの他のタイプのハードウェアにおいても実装され得る。ＦＰＧＡおよびＳｏＣの最小限の処理能力は、より高いフレーム解像度（ＵＨＤまたは４Ｋコンテンツなどの）ならびにより高いフレームレートによる増大する処理の必要性と相まって、このようなデバイスにおいて実装され得る処理を制限し得る。本原理は、このような潜在的なデバイス制限と一貫性のある方法で、逆トーン再現の問題に対処する。

本原理の一態様は、符号化／復号方式の一部として用いられ得る、トーン再現および逆トーン再現を対象とする。例えばＨＤＲビデオは、光−電気伝達関数（ＯＥＴＦ）の役割を果たす、トーン再現オペレータによって処理され得る。結果のビデオは次いで、ＡＶＣまたはＨＥＶＣを含むがそれらに限定されない符号化器に渡すことができる。符号化されたビットストリームは次いで、受け取り側に送信することができ、そこで対応する復号器が適用される。次いで復号されたコンテンツに、逆ＯＥＴＦ（しばしば電気光学伝達関数（ＥＯＴＦ）と呼ばれる）を適用することができ、結果としてＨＤＲビデオの再現をもたらす。

本原理の一態様は、コンテンツが対象ディスプレイに変換されたときの、ＨＤＲコンテンツのダイナミックレンジの減少する品質の問題に対処する。本原理の一態様は、コンテンツを対象ディスプレイ範囲に適合するために必要な拡張にかかわらず、ＨＤＲ感覚を再現することに関する。

本原理の一態様は、非常に高い範囲の情報に対してのみＨＤＲコンテンツを拡張しながら、表示されるＨＤＲコンテンツの品質を、発生源の品質と同様に維持するための方法、装置、およびシステムに関する。入力コンテンツが出力ディスプレイの範囲より低いダイナミックレンジを有する場合があっても、ＨＤＲコンテンツを見る感覚は依然として存在し得る。これはまた、制作者の意図を維持することを可能にする。例えば、４０００ニト基準ディスプレイにおいてグレーディングされ、１０００ニトの範囲に圧縮されたコンテンツは、４０００または１５００ニト民生用ディスプレイでの表示のための高品質再現を有するようになる。

本原理の一態様は、様々なアプリケーションで利用され得る、ＨＤＲ−ＨＤＲ逆トーンマッピングオペレータを対象とする。例えばＨＤＲ−ＨＤＲ逆トーンマッピングオペレータは、ポストプロダクションスタジオにおいて、再グレーディングプロセスにおいて支援するため、またはより高いピーク輝度を有する二次的グレードを生成するために利用することができる。あるいは消費者側においては、ＨＤＲ−ＨＤＲ逆トーンマッピングオペレータは、ＨＤＲ民生用ディスプレイに組み込むことができ、またはセットトップボックスに統合することもできる。

本原理の一態様は、暗部レベルおよび中間トーンレベルを線形に変化させるか、または中間トーンレベルを変化させないかのいずれかの、ＨＤＲ−ＨＤＲ逆トーンマッパーの決定に関する。これは写真家、アーティスト、またはプロデューサの意図を保つことができる。ＨＤＲ−ＨＤＲ逆トーンマッパーは、輝度チャネルに適用することができ、色情報を二次的に補正することができる。

本原理の一態様は、輝度チャネルに対する閾値τを決定することに関する。閾値τを決定した後に、輝度チャネルに対する入力値は、入力値が閾値τ未満（または以下）のときは、線形に変化される。閾値未満の入力値は、スケーリングファクタｓに基づいて線形に変化され得る。スケーリングファクタｓはまた、ｓ＝１に設定することができ、それによって対応する輝度値範囲に対して入力値を不変に保つ。本原理の一態様は、逆トーンマッパーの変化を用いて、非常に高い輝度値（例えば、閾値τより大きいまたは以上の輝度値）を拡張することに関する。本原理の一態様は、閾値τの周りで滑らかなプロファイル遷移を有する、連続の曲線によって表され得るＨＤＲ−ＨＤＲ逆トーンマッパーを対象とする。

本原理の一態様は、ＲＢＧ値に基づいて輝度チャネル情報を決定する、予備的カラー変換に関する。本原理の一態様はさらに、逆トーンマッピング曲線に対する条件を導入することによって、逆トーンマッパーのための設計を決定することに関する。本原理の一態様は、コンテンツ自体から閾値τを決定することに関する。

予備的カラー変換
本原理の一態様は、コンテンツ（例えば復号されたコンテンツ）の変換に基づいて、各画素に対する輝度情報を決定することに関する。一例では、コンテンツは標準のＲＧＢ色空間に対してフォーマット設定することができる。一例では、コンテンツがｓＲＧＢ色空間で与えられる場合は、画素Iに対する輝度値の計算は以下により与えられる：
式１：Ｉⁱ＝０．２１２６×Ｒⁱ＋０．７１５２×Ｇⁱ＋０．０７２２×Ｂⁱ
輝度値は、同様の方法で他のＲＧＢ色空間から導き出すことができるが、その場合は式１内の定数は異なるようになる。式１の定数は、ＲＧＢ色空間の定義に依存し得る。ＲＧＢ色空間の例は、ＩＳＯ ＲＧＢ、拡張ＩＳＯ ＲＧＢ、ｓｃＲＧＢ、Ａｄｏｂｅ ＲＧＢ ９８、Ａｄｏｂｅ Ｗｉｄｅ Ｇａｍｕｔ ＲＧＢ、Ａｐｐｌｅ ＲＧＢ、ＲＯＭＭ ＲＧＢ、ＰｒｏＰｈｏｔｏ ＲＧＢ、ＣＩＥ（１９３１）ＲＧＢ、ならびに標準ＩＴＵ−Ｒ Ｒｅｃ．ＢＴ ７０９、ＩＴＵ−Ｒ Ｒｅｃ．ＢＴ ２０２０、ＩＴＵ−Ｒ Ｒｅｃ．ＢＴ ４７０、ＳＭＰＴＥ ＲＰ １４５、およびＳＭＰＴＥ １７０Ｍにおいて定義されるＲＧＢ空間を含む。

あるいは、Ｙｕｖ、Ｙｕ’ｖ’、ＹＣｂＣｒ、ＹＰｂＰｒ、Ｙ’ＤｂＤｒ、Ｙ’ＣＣ、ＣＩＥ Ｙｘｙ、ＣＩＥ Ｌａｂ、ＣＩＥ Ｌｕｖ、ＣＩＥ ＬＣｈ、ＩＰＴ、Ｙ’Ｉ’Ｑ’、ＥＢＵ Ｙ’Ｕ’Ｖ’などの任意の適切な色空間の輝度チャネルを利用することができる。画像はこのような色空間に変換され得る。次いで変換された画像の輝度チャネルに、さらなる処理を適用することができる。次いでさらなる色空間変換が、画像を送り先色空間（これはＲＧＢ色空間とすることができる）に変換することができる。

逆トーンマッパーの変形形態
本原理の一態様は、輝度値が固定の閾値より大きい（または以上）であるとの決定に基づいて輝度値を拡張する、ＨＤＲ−ＨＤＲ逆トーンマッピングアルゴリズムを対象とする。一例では、閾値ではＧＵＩにおけるスライダを用いて決定され得る。別の例では閾値は、メタデータとして（入力コンテンツと共に）与えられ得る。別の例では、閾値は自動的に推定され得る。

一例では、Ｃ１逆トーンマッピング関数は入力輝度の全範囲に対して設計される。本明細書で用いられる場合、「Ｃ１」関数は、その一次導関数が定義され、導関数領域の入力の開区間の至る所で連続である関数として定義される。言い換えれば、滑らかさ基準は、Ｉ＝０およびＩ＝Ｉ^maxでは定義されない。

一例では、Ｉ^maxは入力コンテンツの最大輝度値とすることができ、

は出力ディスプレイによる最大の発生可能輝度値とすることができる。一例ではこれらの変数に対する値は、Ｉ^max＝１５００ニト、および

である。

一例では逆トーンマッパー関数は、

として表され得る。一例では、逆トーンマッパー関数は写真オペレータ

の逆に基づいて決定される。

本原理の一態様は、閾値τ未満（または以下）の入力値を、係数ｓ（しばしば、ｓ＝１）を用いて線形にスケーリングする、ＨＤＲ−ＨＤＲ逆トーンマッパー

を対象とする。ＨＤＲ−ＨＤＲ逆トーンマッパーはまた、閾値τより大きい（または以上の）入力値を、関数

の変化に従って非線形に拡張する。一例では、ＨＤＲ−ＨＤＲ逆トーンマッパーは以下のように定義される：
式２：

式２において、ｂの値は１に予め設定することができる。３つのパラメータａ、ｃ、ｄは、Ｃ１逆トーンマッパー

を得るために、以下の３つの情景を満たすように設定される必要がある。

ｉ．最大入力Ｉ^maxは、最大出力

にマッピングするべきであり、従って、
式３：

ｉｉ．Ｉ＝τでは、逆トーンマッパーは連続である必要があり、従って、
式４：

ｉｉｉ．またＩ＝τでは、逆トーンマッパーの勾配は連続である必要があり、従って、
式５：

式３〜５の系を３つの未知数ａ、ｃ、ｄに対して解いて、結果として以下を得る：
式６：

式７：ｃ＝ｓτｄ
式８：

一例では、式２に関連して上述された方法論は、リアルタイム逆トーンマッピングのための、サンプリングされた入力値および出力値を有するルックアップテーブルによって実装され得る。

図６は、Ｉに対する

のグラフを示す。図６のグラフ曲線は、τ＝１２００、ｓ＝１、Ｉ^max＝１５００、

に対して決定される。閾値τは、図６では線６０１によって表される。グラフは、逆トーンマッパー関数

の全体的な挙動を示し、挙動は暗部レベルおよび中間トーンレベルでは線形であり、ハイライト部では非線形拡張であることを示す。曲線が実際にＣ１関数であることは、容易に検証され得る。逆トーンマッパーが非線形部分において拡張するために、曲線の一次および二次導関数は常に正であるべきであり、これはパラメータが以下の条件、ａｄ−ｃ＞０、かつ（Ｉ−τ）＋ｄ＜０を常に満たすことを意味する。

図７は、ｌｏｇ（Ｉ）に対する

のグラフを示す。閾値τは、図７では線７０１によって表される。この曲線は、対数空間での逆トーンマッパーを示す。

図６および７に示されるグラフは、逆トーンマッパーの挙動、すなわち暗部レベルおよび中間トーンレベルでは線形、ハイライト部では非線形拡張を示す。

低輝度値の取り扱い
式２から８の方法は、画像の暗い部分および中間トーン部に対する線形区分を有する、逆トーンマッピング手法を記述している。画像の最も明るい部分（例えばハイライト部）は、非線形関数により拡張される。クロスオーバポイントは、関数の線形部分を通過される入力の最大値、および関数の非線形部分を通過される入力の最も小さい値を決定する。

本原理の一態様は、画像の最も暗い部分（黒部分）を画像の残りの部分から分離する、第２のクロスオーバポイント（または閾値）を対象とする。黒部分は、対象ディスプレイ装置の黒レベルが、コンテンツの黒レベル、またはコンテンツを作成するために用いられたグレーディングモニタの黒レベルより、高いまたは低いときなどに、非線形な方法で処理され得る。

逆トーンマッピング曲線パラメータの取り扱い
本原理の一態様は、クロスオーバポイントまたは閾値に基づいて、ＨＤＲ−ＨＤＲ逆トーンマッパーを表す曲線を処理することを対象とする。一例では、曲線はクロスオーバポイントに基づいて調整され得る。調整は、線形または非線形とすることができる。一例では、調整は結果として式２のパラメータの、定義された値への収束を生じ得る。一例では、クロスオーバポイントが０に収束するときに、パラメータａおよびｄの値は−１に収束し、パラメータｃの値は０に収束し得る。クロスオーバポイントが０に収束するときは、

は

に収束する。

閾値τの設定
画像コンテンツ
本原理の一態様は、閾値τに基づいて、入力ＨＤＲコンテンツが、結果として出力

を生じるように唯一処理される、入力Ｉⁱに対する最大値を決定することを対象とする。一例では、閾値τの値は非常に高い入力輝度値を過度に拡張することを防止するために、コンテンツの画素の（１００−ｎ）％（一例ではｎ＝２）より多くを包含するのに十分大きく、Ｉ^maxの１００η％（一例ではピーク入力輝度のη＝０．８）より小さい。一例では、殆どの自然なシーンに対して、非常に高い輝度値は、画素のまばらなセットに寄与する（ＨＤＲシーンヒストグラムは、非常に尖度の高い分布を示す傾向がある）。このようなコンテンツに対しては、以下の閾値決定に基づいて、画素のｎ％未満（一例ではｎ＝２）が、Ｉ^maxの範囲から拡張される。

式９：τ＝η×Ｉ^max
例ではη＝０．８
例えばＩ^max＝１５００ニトのときは、閾値τは１２００に初期設定することができる。このηとｎの選択は、結果として主観的に好ましい出力画像を生じることが実験的に示された。

一例では、コンテンツ依存型閾値τは最小輝度値に基づいて決定される。最小輝度値は、画素のｎ％未満が、より高い輝度値を有するとの決定に基づく。言い換えれば目標は、ヒストグラム上のその右側に位置する総画素数のｎ％未満を有する、最も小さい輝度値を見出すことである。

一例では、閾値ｎ（これは拡張されることになる画素のパーセンテージに対応する）は、２％に設定される。閾値ｎは、変更される画素の数を決定する。しかし他の例では、閾値ｎに対する値は、任意の他の値に設定され得る。一例では、閾値ｎに対する値はコンテンツまたはアプリケーションのタイプに依存し得る（例えば、ディスプレイ装置またはコンテンツ捕捉デバイス）。

一例では、コンテンツ依存型閾値τ（すなわち逆トーンマッピング曲線におけるニーポイント）は、コンテンツの累積ヒストグラムに基づいて決定することができる。入力輝度Ｉの頻度は、ｈ^Iによって表すことができる。ｈ^Iの値は、任意の数のビンを有する入力輝度画像のヒストグラムを計算することによって決定され得る。値Ｉに対する累積ヒストグラムはｃ^Iによって表され、以下によって見出され得る：
式１０：

一例では、以下の場合に、最終閾値は初期値に等しくτ_f＝τに設定することができる：
式１１：

式１１の条件は、τとＩ^maxの間に含まれる画素がｎ％未満のときに満たされる。これは画素の（１００−ｎ）％より多くが線形にのみ変化することを可能にする。式１１での条件が満たされない場合は、限界ポイント（すなわちトーンマッピング曲線におけるニーポイント）は、入力が拡張される範囲を増加させるように押し戻される。

一例では、ρの値は以下のように表される：
式１２：

式１２に基づいて閾値τの値は、以下のように決定され得る（τ_fを線形に低減することからなる）：
式１３：

式１３においてパラメータαは、アーチファクトを導入せずに、逆トーンマッパー

によって、ダイナミックレンジのわずかな部分のみに拡張され得る、画素の最大パーセンテージを表す。このような曲線の一例は、図８に示され、これに対してはα＝１２．５である。

その結果、αの任意の選択に対して、ρ＞αに対する最終閾値τ_fに対する値は、０に設定される（この決定は、画像レベル、ブロックレベルなどにおいて行われ得る）。最終閾値τ_fに対する値は、０より大きい任意の閾値が選択された場合は、α％より多くの画素が作用されるので有益である。別の例では閾値τは、

および

の値の決定に基づいて決定され得る。一例では、

は画像内の画素の数に設定される。一例では、

は閾値τより高い強度を有する画素の数を表す。

（および、その結果ρ）の高速な推定は、閾値τより高い画素強度の数を数えることによって得られる。次いで最終閾値τ_fは、式１３に基づいて決定され得る。

上記の例では最終閾値τ_fは、画像コンテンツに依存し、初期閾値τより小さい。一例では、復号器において利用されたときは、最終閾値τ_fは多すぎる画素の

の範囲（範囲が、コンテンツプロバイダの意図より高い）への拡張を防止し、結果として改善された視覚体験を生じる（特に元のデータと比較したときに）。

ビデオコンテンツに対する閾値τの不完全積分
ビデオコンテンツに対しては、連続したビデオフレームに対する閾値は異なる値を有し得る。これは結果として、連続したビデオフレームの強度における望ましくない、目に見える変化（「フリッカ」）を生じ得る。

本原理の一態様は、様々なビデオフレームに対する最終閾値τ_f値を補正することによって、フリッカの問題に対処する。

一例では、ビデオフレームｔに対するパラメータ

を得るために、不完全積分を適用することができる。パラメータ

は、閾値

（例えば式１３に基づいて決定される）、および前のビデオフレームに対する推定された不完全パラメータ、すなわち

に基づいて決定され得る。このような決定の一例は以下である：
式１４：

式１４の反復的な性質は、あらゆるビデオフレームに対して、前の決定が考慮されることを示唆する。ユーザパラメータβ∈［０ １］は、ビデオフレームの間でのτ_newの滑らかさを制御する。一例では、この閾値は復号器によって符号化されたコンテンツと共に受け取られる。

線形スケーリングファクタｓの設定
本原理の一態様は、画像の暗部および中間トーン部における輝度値を逆トーンマッピングする、すなわち上記で定義されたような閾値より劣った輝度値を逆トーンマッピングするために用いられるスケーリングファクタｓを、コンテンツに従って決定することを対象とする。

この線形スケーリングファクタｓは、中間トーン部に対応するヒストグラムの中央部分の一様性を評価するヒストグラムパラメータσと、ダイナミックレンジ拡張比

とに基づくことが好ましい。

実際に、逆トーンマッピングオペレータによって得られる結果の視覚的品質、σによってパラメータ化される入力画像のヒストグラムの形状、およびダイナミックレンジ低減比

の間に相関関係が存在することが見出された。

一実施形態では、以下が得られ、

ただし、ρ₁＝０．５、ρ₂＝０．８５、σは中間トーン部に対応するヒストグラムの中央部分の一様性を評価する。σは

として定義されることが好ましく、ただしμは、中間トーン部に対するヒストグラム値は不変のままとし、暗いトーン部およびハイライト部に対するヒストグラム値を劇的に低減する、重み関数によって重み付けされたヒストグラムの平均である。

別の実施形態では、以下が得られ、

ただし、

および

上記の式における定数の値は、説明のためのものであり、コンテンツのタイプに応じて決定され得る。

カラー再現
本原理の一態様は、式１に従って、ＲＧＢ画素値から輝度値を導き出すことを対象とする。逆トーンマッピングされたカラー画像を再現するために、簡単な画素ごとの手法を利用することができる。画素ごとの手法は以下のように、輝度チャネルにおけるスケール変化に従ってＲＧＢ値をスケーリングする：
式１５ａ：

式１５ｂ：

式１５ｃ：

カラー画像の再現はまた以下のように、飽和の大きさを制御するパラメータｓｅによってパラメータ化することができる：
式１６ａ：

式１６ｂ：

式１６ｃ：

メタデータ
本原理の一態様は、セットトップボックス、テレビ、モニタ、ラップトップ、電話機、タブレット、スマートフォンディスプレイその他などの、民生用電子デバイスに組み込まれたＨＤＲ−ＨＤＲ逆トーンマッパーまたはマッピングオペレータを対象とする。ＨＤＲ−ＨＤＲ逆トーンマッピングプロセスまたは情報は、デバイスの出力の視覚的外観を決定するために、メタデータとしてデバイスに供給され得る。ＨＤＲ−ＨＤＲ逆トーンマッピング情報は、以下のようにもたらされ得る：
・対象ディスプレイのピーク輝度

は、民生用デバイス（例えばテレビ／モニタ）にもたらされ得る。デバイスがセットトップボックスである場合、ピーク輝度値は、例えばＨＤＭＩメッセージを通して接続されたディスプレイ装置によって、シグナリングされ得る（式３、６、７、８、１３参照）。

・コンテンツのピーク輝度Ｉ^maxは、メタデータとしてもたらされ得る。ピーク輝度値は、ビデオフレームごと、ショットごと、またはプログラム（例えばテレビのエピソード、映画、コマーシャル）ごとに単一の値としてもたらされ得る。別の例ではＩ^maxの値は、利用されるディスプレイ装置（例えばポストプロダクションハウスにおける）のピーク輝度、またはブロードキャストシナリオにおいて用いられるライブカメラのピーク輝度と解釈され得る（式３、６、７、８、１３参照）。別の例ではＩ^maxは、エンドユーザにブロードキャストされる圧縮されたＨＤＲコンテンツのピーク輝度である。

・閾値τを計算するために用いられるパラメータηも、メタデータとしてもたらされ得る。一例では、逆トーンマッピング曲線の線形と非線形部分との間のクロスオーバを決定する閾値τが代わりに送られる（式９参照）。クロスオーバポイントはまた、閾値として知られ得る。パラメータｎは、非線形拡張を受けることになる画素のパーセンテージを決定する（式１０、１３参照）。

・パラメータαも、メタデータとして与えられ得る（式１３参照）。

・ビデオコンテンツに対する閾値の不完全積分で用いられるパラメータβも、メタデータに含めることができる（式１４参照）。

コンテンツのプロデューサ（例えば写真の制作者、カラリスト、スタジオなど）に、パラメータη（またはτ）、ｎ、αおよびβのそれぞれに対する制御を与えることによって、多種多様なディスプレイ上にプロデューサの意図がより良く復元され得るので有利である。

実験結果
本原理によるアルゴリズム（例えば式１〜１６）が、ＨＤＲ画像に対してテストされた。実験結果は、逆トーンマッパー

は、全範囲をより高いダイナミックレンジに拡張し、従って低および高輝度エリアの両方において限度を超えて拡張するのに対して、本原理のＨＤＲ−ＨＤＲ逆トーンマッパー

は、大部分の画素を不変に保ち、非常に高い強度をより低い範囲に拡張するだけであることを実証した。

ＨＤＲビデオフレームが本原理により処理されるときは、すべての画素のかなりの部分（典型的にはすべての黒および中間トーン部）は不変のままであり、最も高い画素値のみが拡張される。これとは対照的に、線形スケーリングではすべての画素値を同じ大きさだけ変化させることになり、これはすべての他の知られている逆トーンマッピングオペレータが行う。

本原理の利点は、範囲拡張の大きさが厳密に制限されることである。意図する出力デバイスは、受け取られたコンテンツより高い、高いピーク輝度を有するようになる。これは、輝度範囲における比較的緩やかな拡張で十分となることを意味する。従って、本質的にグローバルであり、実際に多くの画素値を不変のままにする、逆トーンマッピングオペレータを設計することが可能である。少量の拡張は、最も明るい画素のみに適用される。この手法の利点は以下の通りである：
・非常に低い計算上の複雑さ
・大部分の画素は意図したように再現される
・ずっと少数の画素が、値におけるいくらかの拡張を受け、それによりコントラスト増加（従って意図するコントラストの損失）は最小化される。

上述の例は、以下で述べられる図において実装され得る。図１は本原理による、ＨＤＲ−ＨＤＲ逆トーンマッパーを画像またはビデオコンテンツに適用する例示の方法１００を示す図である。

方法１００は、任意のワークフローにおいて行われ得る。例えば方法１００は、ポストプロダクションスタジオにおいて、再グレーディングプロセスで支援するために、またはより高いピーク輝度を有する二次的グレードを生成するために行われ得る。あるいは方法１００は、ＨＤＲ民生用ディスプレイに関連して利用することができ、またはセットトップボックスに統合され得る。

一例では、方法１００は画像またはビデオコンテンツを受け取るためのブロック１０１を含む。コンテンツは、復号された画像またはビデオコンテンツとすることができる。あるいはコンテンツは、生の画像またはビデオデータコンテンツとすることができる。コンテンツはピクチャを含むことができ、これは例えばＨＤＲビデオのための、ビデオ画像またはピクチャとすることができる。ブロック１０１は、線形の光ＲＧＢ情報を含む、ピクチャの特性に関する情報を受け取ることができる。コンテンツは、３色カメラを用いて捕捉し、３つの成分（赤、緑および青）から構成されるＲＧＢカラー値にすることができる。ＲＧＢカラー値は、センサの３色特性（原色）に依存する。コンテンツは、センサの原色、および捕捉されたシーンの最大および最小輝度ピークなどの、画像側の情報を含むことができる。コンテンツは、国際電気通信連合（ＩＥＣ）および動画専門家グループ（ＭＰＥＧ）組織によって組織化された高効率ビデオコーディング（ＨＥＶＣ）標準など、または国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）動画専門家グループ（ＭＰＥＧ−４）によって組織化されたＨ．２６４またはＭＰＥＧ−４ Ｐａｒｔ １０、アドバンストビデオコーディング（ＭＰＥＧ−４ ＡＶＣ）によるものなどの、任意の知られている標準に従って以前に復号されたものとすることができる。ブロック１０１は次いで、受け取られたコンテンツに関する任意の情報をもたらすことを含み、ブロック１０２に制御を渡すことができる。

ブロック１０２は、ＨＤＲ−ＨＤＲ逆トーンマッパーを、ブロック１０１から受け取ったコンテンツに適用することができる。ＨＤＲ−ＨＤＲ逆トーンマッパーは、本原理により決定され得る。ＨＤＲ−ＨＤＲ逆トーンマッパーは、コンテンツのダイナミックレンジを変換して、ディスプレイのダイナミックレンジを拡張する。

本原理の一態様は、ＨＤＲ−ＨＤＲ逆トーンマッパーの適用を対象とする。ＨＤＲ−ＨＤＲ逆トーンマッパーは、輝度値の範囲を非常に大きな量で拡張する能力をもたらす。ＨＤＲ−ＨＤＲ逆トーンマッパーの適用は、結果として限られた大きさの範囲拡張をもたらす。好ましくは意図する出力デバイスは、受け取られたコンテンツより高い、高いピーク輝度を有することになる。これは、輝度範囲における比較的緩やかな拡張で十分となることを意味する。ＨＤＲ−ＨＤＲ逆トーンマッピングオペレータは、本質的にグローバルであり、多くの画素値を不変のままにする。ＨＤＲ−ＨＤＲ逆トーンマッピングオペレータは、少量の拡張を最も明るい画素のみに適用することができる。このプロセスに基づいて、以下の利点がある：
・非常に低い計算上の複雑さ
・大部分の画素は意図したように再現される
・ずっと少数の画素が、値におけるいくらかの拡張を受け、それによりコントラスト増加（従ってコンテンツの意図するコントラスト）は最小化される。

本原理の一態様は、以下の１または複数を含むＨＤＲ−ＨＤＲ逆トーンマッパーを対象とする。

・暗部レベルおよび中間トーンレベルに対する線形部分、およびハイライト部に対する非線形拡張部分（例えば式２参照）
・結果としてＣ１関数を生じる、ＨＤＲ−ＨＤＲ逆トーンマッピング曲線の表示の曲線設計（例えば式３〜８参照）
・コンテンツをベースとする、ニーポイント／閾値決定（例えば式１０〜１４参照）。一例では、ＨＤＲ−ＨＤＲ逆トーンマッパーは小さな拡張範囲を有する線形曲線によって表すことができ、曲線の設計は滑らかさ基準に適合し、曲線閾値はコンテンツに基づいて決定される。

ブロック１０３は、結果のコンテンツを出力することができる。

図２は、本原理による、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用する例示の方法２００を示す図である。

方法２００は、ＨＤＲ−ＨＤＲ逆トーンマッパーに関するメタデータを含む、メタデータを受け取るためのブロック２０１を含む。メタデータは、逆トーンマッピング曲線パラメータを含むことができる。次いでブロック２０１は、ブロック２０２に制御を渡すことができる。

ブロック２０２は、ＨＤＲ−ＨＤＲ逆トーンマッピング曲線パラメータを決定することができる。パラメータは、対象ディスプレイのピーク輝度

（例えば式３、６、７、８、１３参照）、コンテンツのピーク輝度Ｉ^max（例えば式３、６、７、８、１３参照）、閾値τを計算するために用いられるパラメータη（例えば式９参照）、非線形圧縮を受けることになる画素のパーセンテージを決定するパラメータｎ（例えば式１１、１３参照）、逆トーンマッパーによってダイナミックレンジの一部に拡張され得る画素の最大パーセンテージを決定するパラメータα（例えば式１３参照）、およびビデオコンテンツに対する閾値の不完全積分において用いられるパラメータβ（例えば式１４参照）を含むことができる。パラメータは、式９および式１０〜１４に関連して述べられた原理により、コンテンツ依存型閾値を決定するために利用することができる。ブロック２０２はまた、パラメータａ、ｃ、ｄを決定することができる。パラメータは、式３〜８に従って、逆トーンマッピング曲線がＣ１関数となるように強制する基準に基づいて決定され得る。

ブロック２０３は、コンテンツを受け取ることができる。一例では、コンテンツは生の画像またはビデオコンテンツとすることができる。別の例ではコンテンツは、符号化されたビットストリームによって受け取ることができ、ブロック２０３はビットストリームを復号することができる。別の例ではコンテンツは、前に復号されているものとすることができる。一例では、ブロック２０３は、図１のブロック１０１に関連して概説された原理により、コンテンツを受け取ることができる。ブロック２０３は、ブロック２０４に制御を渡すことができる。

ブロック２０４は、ブロック２０３からコンテンツの輝度チャネル情報を取得することができる。一例では、ブロック２０４は輝度チャネル情報を取得するために予備的カラー変換を適用することができる。一例では、ブロック２０４は、式１に関連して述べられた原理により、輝度チャネル情報を決定することができる。別の例ではブロック２０４は任意選択であり、輝度情報はブロック２０３から直接受け取ることができる。

ブロック２０５は、ブロック２０４（またはブロック２０３）からのコンテンツに、本原理によるＨＤＲ−ＨＤＲ逆トーンマッパー、またはＨＤＲ−ＨＤＲ逆トーンマッピングオペレータを適用することができる。一例では、ブロック２０５はブロック２０２から受け取られたパラメータに基づいて逆トーンマッパー曲線を決定することができる。別の例ではブロック２０５は、ブロック２０２から受け取られたパラメータに基づいて、所定のまたは記憶された逆トーンマッパーを選択することができる。

一例では、ブロック２０５は、図１のブロック１０２に関連して述べられた原理により、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用および／または決定することができる。一例では、ブロック２０５は、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用して、出力Ｉ_Oを決定することができる。次いでブロック２０５は、ブロック２０６に制御を渡すことができる。

ブロック２０６は、ブロック２０５の出力にカラーコレクションを行うことができる。例えばブロック２０６は、式１５ａから１６ｃに従って、輝度チャネルにおけるスケール変化に基づいてＲＧＢ値をスケーリングすることによって、カラーコレクションを行うことができる。一例では、ブロック２０６は任意選択であり、制御はブロック２０５からブロック２０７に直接渡され得る。ブロック２０６は、カラーコレクションされたコンテンツをブロック２０７に出力することができる。

ブロック２０７は、ブロック２０５の、ＨＤＲ−ＨＤＲ逆トーンマッパーによって処理されたコンテンツを出力することができる。

図３は、本原理による、ＨＤＲ−ＨＤＲ逆トーンマッパーのためのパラメータを決定する例示の方法３００を示す図である。パラメータは、ニーポイントτ_fに対するパラメータ（これは、式１３に関連して述べられた原理により決定され得る）、および曲線パラメータａ、ｃ、ｄ（これらは、式６〜８に関連して述べられた原理により決定され得る）を含むことができる。

ブロック３０１は、画像またはビデオのフレームの全体または一部を含み得る、コンテンツを受け取ることができる。ブロック３０１は、図１のブロック１０１、または図２のブロック２０１に関連して概説された原理により、コンテンツを受け取ることができる。

ブロック３０２は、輝度チャネル情報を決定することができる（例えば予備的カラー変換を通して）。一例では、ブロック３０２は、式１に関連して述べられた原理により、輝度チャネル情報を決定することができる。あるいはブロック３０２は任意選択であり、輝度チャネル情報はブロック３０１から直接受け取ることができる。

ブロック３０３は、ＨＤＲ−ＨＤＲ逆トーンマッパーの閾値を決定することができる。一例では、ブロック３０３は逆トーンマッピング曲線におけるニーポイントを定義する閾値を決定することができる（これは式２〜８に関連して述べられた原理により決定され得る）。ブロック３０３は、入力ＨＤＲコンテンツが出力において線形にのみ変化される、入力輝度に対する最大値を決定することができる。コンテンツ依存型閾値は、それと比較して先験的に固定されたパーセンテージ未満の画素がより高い輝度値を有する、最小輝度値に基づいて決定することができる。コンテンツ依存型閾値は、閾値τを設定することに関連して前述された例により決定され得る。

一例では、ブロック３０３はコンテンツの累積ヒストグラムに基づいて閾値を決定することができる。値Ｉに対する累積ヒストグラムをｃ^Iで表すと、以下の条件が検証され得る：
式１７：

ただしｎは、逆トーンマッピング曲線の非線形部分によって拡張されることが可能な、画素のパーセンテージを表す。式１７の条件が満たされる場合は、入力コンテンツの最大輝度の８０％の初期値がニーポイントとして見なされ得る。そうでない場合は閾値は、式１３を用いて取得され得る。この例は、式１０〜１３を通して形式化され得る。別の例では入力輝度画像は、入力の最大輝度の８０％の初期値に基づく閾値が与えられ、閾値より大きい値を有する画素の数、および画素の総数が数えられる。次いで、逆トーンマッピング曲線の最終ニーポイントを決定するために、式１２、１３が用いられる。

ブロック３０４は、Ｃ１逆トーンマッピングオペレータ関数のためのパラメータを決定することができる。Ｃ１関数は、その定義された一次導関数を有し、導関数領域の入力の開区間の至る所で連続である。特に逆トーンマッパー関数は連続であり、その導関数は連続であり、最大入力は出力ディスプレイの最大輝度にマッピングされる。これらの基準は式３〜５で形式化され、その結果決定された曲線のパラメータは式６〜８で取得される。ブロック３０４は、閾値τ_fのパラメータ、および曲線パラメータａ、ｂ、ｃを出力することができる。

図４は、本原理による、コンテンツを復号し、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用する例示の方法４００を示す図である。方法４００はブロック４０１を含むことができる。

ブロック４０１は、ビデオまたは画像シーケンスなどの、画像コンテンツに対応するビットストリームを受け取ることができる。受け取られたビットストリームは、符号化され得る。ブロック４０１は、ブロック４０２に制御を渡すことができる。

ブロック４０２は、ブロック４０１から受け取られたビットストリームを構文解析し、復号することができる。一例では、ブロック４０２は、ＨＥＶＣベースの復号を用いて、ビットストリームを構文解析し、復号することができる。次いでブロック４０２は、ブロック４０３に制御を渡すことができる。

ブロック４０３は、輝度チャネル情報を取得することができる。一例では、ブロック４０３は、式１に関連して述べられた原理により、輝度チャネル情報を取得することができる。あるいはブロック４０３は任意選択とすることができ、輝度チャネル情報はブロック４０２から直接受け取ることができる。次いでブロック４０３は、ブロック４０４および４０５に制御を渡すことができる。

ブロック４０４は、本原理によるＨＤＲ−ＨＤＲ逆トーンマッパーのためのパラメータを決定することができる。パラメータは、本原理による、本明細書で論じられた任意のパラメータとすることができる。パラメータは、ビットストリームから構文解析され、復号され得る。一例では、パラメータはビットストリーム内に含まれた構文に基づいて決定される（例えばＳＥＩメッセージ）。パラメータは、パラメータ閾値τ_f、および曲線パラメータａ、ｂ、ｃとすることができる。これらのパラメータは、ビットストリームを通して送信することができ、または復号器において決定され得る。例えばパラメータは、輝度情報のヒストグラムに基づいて、復号器において決定され得る。一例では、ブロック４０４は図３の方法３００によりパラメータを決定することができる。

ブロック４０５は、ビットストリームから構文解析され、復号されたコンテンツを処理することができる。例えばブロック４０５は、ビットストリームから復号されたビデオまたは画像シーケンスを処理することができる。一例では、ブロック５０４は復号されたＹ’ＣｂＣｒビデオ信号を処理することができる。一例では、ブロック５０４はＹ’ＣｂＣｒビデオ信号をＲ’Ｇ’Ｂ’ビデオ信号に変換することができる。別の例ではブロック５０４は、Ｒ’Ｇ’Ｂ’ビデオ信号を処理することができる。

ブロック４０６は、任意選択の逆トーンマッパー曲線の時間フィルタリングを行うことができる。ブロック４０６は、潜在的なフリッカ問題に対処するために不完全積分を行うことができる。ビデオコンテンツに対して、連続したフレームに対する推定される閾値は異なり得る。ビデオコンテンツのフリッカ（すなわち連続したフレームの強度における目に見える変化）を防止するために、ビデオの新しいフレームごとに推定されたτ_f値の補正が決定され得る。不完全積分は、前の項で示されたように計算される

を用いて推定されるフレームｔに対するパラメータ

、および前のフレームに対する推定された不完全パラメータすなわち

に適用され得る。一例では、これは式１４に関連して述べられた原理により行われ得る。ブロック４０６の入力は、輝度チャネル情報、および前のフレームの最終閾値である。ブロック４０６における曲線は、逆トーンマッピング曲線に対応する。ブロック４０６は任意選択であるが、出力ビデオにおける可能性のあるフリッカの発生源を除去するために強く推奨される。ブロック４０６の出力は、閾値の不完全決定、および式６〜８および１４に関連して述べられた原理を用いた、逆トーンマッピング曲線の更新されたパラメータである。

ブロック４０７は、ブロック４０５からの、または時間フィルタリングが適用される場合はブロック４０６からのコンテンツに、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用することができる。ブロック４０７は、本原理によるＨＤＲ−ＨＤＲ逆トーンマッパーを適用する。ビデオ信号に対しては、ＨＤＲ−ＨＤＲ逆トーンマッパーは、ブロック４０４によって決定されたパラメータを用いてフレームごとに行うことができる。一例では、ブロック４０７は、図１のブロック１０２、および図２のブロック２０５に関連して述べられた原理により、ＨＤＲ−ＨＤＲ逆トーンマッパーを適用することができる。一例では、ブロック４０７は、表にされた値（例えば式１３〜１４に基づく）を有するルックアップテーブル（ＬＵＴ）を作成することができまたは受け取ることができ、次いでＬＵＴをコンテンツに適用する。

図５は、図１〜４，および式１〜１７に関連して述べられた方法を実装するように構成され得る、装置５００の例示のアーキテクチャを表す。一例では、図５は、図１〜４に関連して述べられた原理を含む、本原理による方法を実装するように構成され得る装置を表す。一例では、図５は、図４に関連して述べられた原理を含む、本原理による復号方法を実装するように構成され得る装置を表す。

装置５００は、データおよびアドレスバス５０１によって一緒に結び付けられた、以下の要素を備える：
− 例えばＤＳＰ（またはディジタル信号プロセッサー）である、マイクロプロセッサ５０２（またはＣＰＵ）
− ＲＯＭ（または読出し専用メモリ）５０３
− ＲＡＭ（またはランダムアクセスメモリ）５０４
− アプリケーションから、送信するためのデータを受け取るためのＩ／Ｏインターフェース５０５
− 電池５０６（または他の適切な電源）
変形形態によれば電池５０６は、装置の外部にある。述べられたメモリのそれぞれにおいて、本明細書で用いられる「レジスタ」という単語は、小容量（いくつかのビット）の領域、または非常に大きな領域（例えばプログラム全体、または大量の受け取られたまたは復号されたデータ）に対応し得る。ＲＯＭ５０３は、少なくともプログラムおよびパラメータを備える。本発明による方法のアルゴリズムは、ＲＯＭ５０３に記憶される。スイッチオンされたときにＣＰＵ５０２は、プログラムをＲＡＭにアップロードし、対応する命令を実行する。

ＲＡＭ５０４は、レジスタにおける、ＣＰＵ５０２によって実行され、装置５００のスイッチオンの後にアップロードされるプログラム、レジスタにおける入力データ、レジスタにおける方法の種々の状態での中間データ、およびレジスタにおける方法の実行のために用いられる他の変数を備える。

本明細書で述べられる実装形態は、例えば方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実装され得る。単一の形の実装形態との関連においてのみ論じられた（例えば方法または装置としてのみ論じられた）場合でも、論じられた特徴の実装は、他の形（例えばプログラム）においても実装され得る。装置は、例えば適切なハードウェア、ソフトウェア、およびファームウェアにおいて実装され得る。方法は例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイスを一般に指す、例えばプロセッサーなどの装置において実装され得る。プロセッサーはまた、例えばコンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、およびエンドユーザの間での情報の通信を容易にする他のデバイスなどの、通信デバイスを含む。

符号化または符号化器の特定の例によれば、画像またはピクチャＩは、発生源から取得される。例えば発生源は、以下を含むセットに属する：
− ローカルメモリ（５０３または５０４）、例えばビデオメモリまたはＲＡＭ（またはランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（または読出し専用メモリ）、ハードディスク、
− 記憶装置インターフェース（５０５）、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインターフェース、
− 通信インターフェース（５０５）、例えば有線インターフェース（例えばバスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）、または無線インターフェース（ＩＥＥＥ８０２．１１インターフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）、および
− 画像捕捉回路（例えばＣＣＤ（または電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）などの、例えばセンサ））。

復号または復号器の異なる実施形態によれば、復号された画像

は送り先に送られ、具体的には送り先は以下を含むセットに属する：
− ローカルメモリ（５０３または５０４）、例えばビデオメモリまたはＲＡＭ、フラッシュメモリ、ハードディスク、
− 記憶装置インターフェース（５０５）、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインターフェース、
− 通信インターフェース（５０５）、例えば有線インターフェース（例えばバスインターフェース（例えばＵＳＢ（またはユニバーサルシリアルバス））、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース、ＨＤＭＩ（高精細度マルチメディアインターフェース）インターフェース）、または無線インターフェース（ＩＥＥＥ８０２．１１インターフェース、Ｗｉ−Ｆｉ（登録商標）、またはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）、および
− ディスプレイ。

符号化または符号化器の異なる例によれば、ビットストリームＢＦおよび／またはＦは、送り先に送られる。例として、ビットストリームＦおよびＢＦの一方、またはビットストリームＦおよびＢＦの両方は、ローカルまたはリモートメモリ、例えばビデオメモリ（５０４）またはＲＡＭ（５０４）、ハードディスク（５０３）に記憶される。変形形態では、一方または両方のビットストリームは、記憶装置インターフェース（５０５）、例えば大容量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインターフェースに送られ、および／または通信インターフェース（５０５）、例えばポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク、またはブロードキャストネットワークへのインターフェースを通して送信される。

復号または復号器の異なる例によれば、ビットストリームＢＦおよび／またはＦは、発生源から取得される。例示的にビットストリームは、ローカルメモリ、例えばビデオメモリ（５０４）、ＲＡＭ（５０４）、ＲＯＭ（５０３）、フラッシュメモリ（５０３）、またはハードディスク（５０３）から読み出される。変形形態ではビットストリームは、記憶装置インターフェース（５０５）、例えば大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスクまたは磁気サポートとのインターフェースから受け取られ、および／または通信インターフェース（５０５）、例えばポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク、またはブロードキャストネットワークへのインターフェースから受け取られる。

異なる例によれば、本原理による符号化方法を実装するように構成された電子装置５００は、以下のセットに属する：
− モバイルデバイス、
− 通信デバイス、
− ゲームデバイス、
− タブレット（またはタブレットコンピュータ）、
− ラップトップ、
− 静止画像カメラ、
− ビデオカメラ、
− 符号化チップ、
− 静止画像サーバー、および
− ビデオサーバー（例えばブロードキャストサーバー、ビデオオンデマンドサーバー、またはウェブサーバー）。

異なる例によれば、本原理による復号方法を実装するように構成された電子装置５００は、以下のセットに属する：
− モバイルデバイス、
− 通信デバイス、
− ゲームデバイス、
− セットトップボックス、
− テレビセット、
− タブレット（またはタブレットコンピュータ）、
− ラップトップ、
− ディスプレイ、および
− 復号チップ。

本明細書で述べられる様々なプロセスおよび特徴の実装は、多様な異なる機器およびアプリケーションにおいて具体化され得る。このような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサー、符号化器への入力をもたらすプリプロセッサー、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、および他の通信デバイスを含む。明らかなように機器はモバイルとすることができ、さらには移動車両内に設置され得る。

加えて方法は、プロセッサーによって行われる命令によって実装することができ、このような命令（および／または実装形態によって生成されるデータ値）は、例えば集積回路、ソフトウェアキャリア、または例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、しばしばディジタル多用途ディスクまたはディジタルビデオディスクと呼ばれるＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、もしくはリードオンリメモリ（「ＲＯＭ」）などの他の記憶装置などの、プロセッサー読取可能媒体に記憶され得る。命令は、プロセッサー読取可能媒体上に有形に具体化されたアプリケーションプログラムを形成することができる。命令は、例えばハードウェア、ファームウェア、ソフトウェア、または組み合わせにおけるものとすることができる。命令は、例えばオペレーティングシステム、個別のアプリケーション、またはそれら２つの組み合わせにおいて見出され得る。従ってプロセッサーは、例えばプロセスを実行するように構成されたデバイス、およびプロセスを実行するための命令を有するプロセッサー読取可能媒体を含むデバイス（記憶装置など）の両方として特徴付けられ得る。さらにプロセッサー読取可能媒体は、命令に加えてまたはその代わりに、実装形態によって生成されるデータ値を記憶することができる。

当業者には明らかになるように実装形態は、例えば記憶されまたは送信され得る情報を搬送するようにフォーマット設定された多様な信号を生成することができる。情報は、例えば方法を行うための命令、または述べられた実装形態の１つによって生成されるデータを含むことができる。例えば信号は、述べられた例の構文を書き込むまたは読み出すための規則をデータとして搬送する、または述べられた例によって書き込まれた実際の構文値をデータとして搬送するようにフォーマット設定され得る。このような信号は、例えば電磁波として（例えばスペクトルの無線周波数部分を用いて）、またはベースバンド信号としてフォーマット設定され得る。フォーマット設定することは、例えばデータストリームを符号化すること、および符号化されたデータストリームによりキャリアを調整することを含むことができる。信号が搬送する情報は、例えばアナログまたはディジタル情報とすることができる。信号は、知られているように多様な種々の有線または無線リンクを通して送信され得る。信号は、プロセッサー読取可能媒体上に記憶され得る。

いくつかの実装形態が述べられた。それでも様々な変更がなされ得ることが理解されるであろう。例えば異なる実装形態の要素は、他の実装形態を生成するように組み合わされ、補完され、変更され、または取り除かれ得る。加えて当業者は、他の構造およびプロセスが、開示されたものの代わりに置き換えられることが可能であり、結果の実装形態は、少なくとも実質的に同じ方法で、開示された実装形態と少なくとも実質的に同じ結果を達成するように、少なくとも実質的に同じ機能を行うようになることを理解するであろう。従ってこれらおよび他の実装形態は、本出願によって企図される。

本発明の完全な理解をもたらすために、本明細書では多数の特定の詳細が記載された。しかし当業者には、これらの特定の詳細がなくても上記の例が実践され得ることが理解されるであろう。他の場合には、本発明を不明瞭にしないように、よく知られた動作、構成要素、および回路は詳しく述べられていない。本明細書で開示される特定の構造的および機能的詳細は代表的なものとすることができ、必ずしも本発明の範囲を限定しないことが理解され得る。

本発明の様々な例は、ハードウェア要素、ソフトウェア要素、または両方の組み合わせを用いて実装することができる。いくつかの例は、例えば、マシンによって実行された場合に、例による方法および／または動作をマシンに行わせ得る命令または命令のセットを記憶することができる、コンピュータ読取可能媒体または製品を用いて実装され得る。このようなマシンは、例えば任意の適切な処理プラットフォーム、コンピューティングプラットフォーム、コンピューティングデバイス、処理デバイス、コンピューティングシステム、処理システム、コンピュータ、プロセッサー、または同様のものを含むことができ、ハードウェアおよび／またはソフトウェアの任意の適切な組み合わせを用いて実装され得る。コンピュータ読取可能媒体または製品は、例えば任意の適切なタイプのメモリユニット、メモリデバイス、メモリ製品、メモリ媒体、記憶装置、記憶装置製品、記憶媒体、および／または記憶ユニットを含むことができる。命令は、任意の適切な高レベル、低レベル、オブジェクト指向、ビジュアル、コンパイルされたおよび／または解釈されたプログラミング言語を用いて実装される、ソースコード、コンパイルされたコード、解釈されたコード、実行可能コード、静的コード、動的コード、暗号化されたコード、および同様のものなどの、任意の適切なタイプのコードを含むことができる。

本明細書で述べられる実装形態は、例えば方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実装され得る。単一の形の実装形態との関連においてのみ論じられた（例えば方法としてのみ論じられた）場合でも、論じられた機能の実装は、他の形（例えば装置またはプログラム）においても実装され得る。装置およびそれらに含まれる構成要素、例えばプロセッサー、符号化器、および復号器は、例えば適切なハードウェア、ソフトウェア、およびファームウェアにおいて実装され得る。方法は例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイスを一般に指す、例えばプロセッサーなどの装置において実装され得る。プロセッサーはまた、例えばコンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、およびエンドユーザの間での情報の通信を容易にする他のデバイスなどの、通信デバイスを含む。

加えて本明細書またはその特許請求の範囲は、様々な情報を「決定すること」に言及し得る。情報を決定することは、例えば情報を推定すること、情報を計算すること、情報を予測すること、または情報をメモリから取り出すことの１または複数を含むことができる。

さらに本明細書またはその特許請求の範囲は、様々な情報に「アクセスすること」に言及し得る。情報にアクセスすることは、例えば情報を受け取ること、情報を取り出すこと（例えばメモリから）、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することの１または複数を含むことができる。

加えて本出願またはその特許請求の範囲は、様々な情報を「受け取ること」に言及し得る。受け取ることは、「アクセスすること」と共に、広い用語とされるものである。情報を受け取ることは、例えば情報にアクセスすること、または情報を取り出すこと（例えばメモリから）の１または複数を含むことができる。さらに「受け取ること」は、典型的には、例えば情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を決定する、情報を予測する、または情報を推定するなどの動作時に、何らかの形で関わる。

異なる実施形態によれば、パラメータ化された伝達関数は、本発明により符号化または復号されたピクチャ内、またはピクチャを含むストリーム内でシグナリングされる。いくつかの実施形態では、パラメータ化された伝達関数を表す情報は、ピクチャ内、またはピクチャを含むストリーム内でシグナリングされる。この情報は、本発明により適用されるパラメータ化された伝達関数を識別するために、復号方法または復号器によって用いられる。一実施形態ではこの情報は、符号化および復号側において分かっている識別子を含む。他の実施形態によればこの情報は、パラメータ化された伝達関数のための基礎として用いられるパラメータを含む。本発明の変形形態によればこの情報は、定義された値のセットに基づく、ピクチャ内またはピクチャを含むビットストリーム内の、パラメータのインジケータを備える。本発明の変形形態によればこの情報は、パラメータが明示的にシグナリングされているか、またはパラメータが、定義された値のセットに基づいて暗黙にシグナリングされているかに基づく、表示（indication）を含むことができる。本発明の異なる変形形態によればこの情報は、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）、全米家電協会（ＣＥＡ）メッセージ、およびヘッダの少なくとも１つに含まれた少なくとも１つの構文要素に含まれる。

Claims (14)

1. 高ダイナミックレンジ画像の逆トーンマッピングのための方法であって、
   前記高ダイナミックレンジ画像の輝度成分を取得するステップと、
   ＨＤＲ−ＨＤＲ逆トーンマッピング曲線を決定するステップと、
   前記高ダイナミックレンジ画像の前記輝度成分に、前記ＨＤＲ−ＨＤＲ逆トーンマッピング曲線を適用することによって、トーン拡張された画像を決定するステップと、
   を含み、
   前記ＨＤＲ−ＨＤＲ逆トーンマッピング曲線は、暗部レベルおよび中間トーンレベルに対する線形部分、およびハイライト部に対する拡張非線形部分を備える、前記方法。
2. 前記ＨＤＲ−ＨＤＲ逆トーンマッピング曲線は、いつ輝度が線形に変化され、いつ前記輝度が非線形に拡張されるかを決定するための閾値を含む、請求項１に記載の方法。
3. コンテンツに基づいて前記閾値を決定するステップをさらに含む、請求項２に記載の方法。
4. 前記閾値τ_fが、以下に基づいて決定され、
   ただし
   は前記トーン拡張された画像に対する最大輝度値、ｎはハイライト部に対応する前記画像内の画素のパーセンテージであり、αは非線形に拡張され得る前記画素の最大パーセンテージを表し、
   であり、ただし
   およびｃ^τはそれぞれ、前記コンテンツのピーク輝度Ｉ^max、および閾値τに対応する輝度値に対する、輝度値の累積ヒストグラムを表す、請求項３に記載の方法。
5. コンテンツに基づいて、暗部レベルおよび中間トーンレベルに対する入力値を線形にスケーリングする、スケーリングファクタｓを決定するステップをさらに含む、請求項３または４に記載の方法。
6. 前記スケーリングファクタｓを決定するステップは、中間トーン部に対応する前記画像の輝度ヒストグラムの一様性を評価するヒストグラムパラメータσに基づく、請求項５に記載の方法。
7. 前記スケーリングファクタを決定するステップは、前記トーン拡張された画像に対する最大輝度値
   を、前記コンテンツのピーク輝度Ｉ^maxで除算した、ダイナミックレンジ低減比
   に基づく、請求項５または６に記載の方法。
8. 高ダイナミックレンジ画像の逆トーンマッピングのための画像処理デバイスであって、
   前記高ダイナミックレンジ画像の輝度成分を取得し、
   ＨＤＲ−ＨＤＲ逆トーンマッピング曲線を決定し、
   前記高ダイナミックレンジ画像の前記輝度成分に、前記ＨＤＲ−ＨＤＲ逆トーンマッピング曲線を適用することによって、トーン拡張された画像を決定する
   ように構成された少なくとも１つのプロセッサーを備え、
   前記ＨＤＲ−ＨＤＲ逆トーンマッピング曲線は、暗部レベルおよび中間トーンレベルに対する線形部分、およびハイライト部に対する拡張非線形部分を備える、前記画像処理デバイス。
9. 前記プロセッサーは、いつ輝度が線形に変化され、いつ前記輝度が非線形に拡張されるかを決定するための閾値を含むようにさらに構成される、請求項８に記載の画像処理デバイス。
10. 前記プロセッサーは、コンテンツに基づいて前記閾値を決定するようにさらに構成される、請求項９に記載の画像処理デバイス。
11. 前記プロセッサーは、コンテンツに基づいて、暗部レベルおよび中間トーンレベルに対する入力値を線形にスケーリングする、スケーリングファクタｓを決定するようにさらに構成される、請求項８乃至１０のいずれか一項に記載の画像処理デバイス。
12. 前記プロセッサーは、中間トーン部に対応する前記画像の輝度ヒストグラムの一様性を評価するヒストグラムパラメータσに基づいて、スケーリングファクタｓを決定するようにさらに構成される、請求項８乃至１０のいずれか一項に記載の画像処理デバイス。
13. 請求項８乃至１２のいずれか一項に記載の画像処理デバイスを備える、電子装置。
14. プロセッサーによって実行されたときに、請求項１乃至７のいずれか一項に記載の方法を行う記憶された命令を備える、計算可能読取可能記憶媒体。