JP2018512637A - 高ダイナミックレンジ画像を処理する方法および装置 - Google Patents

Abstract

入力ＨＤＲ画像は、ＳＤＲ画像および変調値を使用して表され得る。ＳＤＲ画像でＨＤＲ画像を見ることができるようにし、かつＨＤＲ画像を表すために、本発明者らは、変調値を計算する中間色調最適化技法を提案する。具体的には、本発明者らは、変調値を得る際に２つの条件：（１）黒がゼロまで過度にクリップされず、および（２）ＨＤＲ画像の中間色調範囲を表すために使用されるＳＤＲ画像内の符号語の数が最大化されることを使用する。変調値がさらにクリップされて、非常に暗い画像と非常に明るい画像との両方でのオーバシュートを回避することができる。ＳＤＲビデオでの明るさの時間的変動を平滑化するために時間的安定化も使用され得る。変調値が決定された後、ＨＤＲ画像および変調値に基づいてＳＤＲ画像を得ることができる。

Description

本発明は、高ダイナミックレンジ画像を処理する方法および装置に関し、より詳細には、あるダイナミックレンジから別のダイナミックレンジに画像を変換する方法および装置に関する。

このセクションは、技術の様々な態様を読者に紹介するものであり、これらの態様は、以下で説明されかつ／または特許請求の範囲に記載されている本発明の様々な態様に関連し得る。本発明の様々な態様のよりよい理解を促進するための背景情報を読者に提供する際、この考察が有益であると考えられる。したがって、こうした説明は、この観点から読まれるべきであり、従来技術を認めるものとして読まれるべきではないことを理解されたい。

ピクチャ内の輝度のダイナミックレンジは、画像の最高輝度値と画像の最低輝度値との比率として以下のように定義することができる。
ｒ＝明／暗
ここで、「明」は画像の最高輝度値を表し、「暗」は画像の最低輝度値を表す。ダイナミックレンジ「ｒ」は、一般に、ｆストップまたは均等なストップ（equivalent stops）と呼ばれる２の累乗の数として表される。たとえば、比率１０００は、約１０ｆストップであり、これは標準の非ＨＤＲビデオの典型的なダイナミックレンジであり、このビデオはＳＤＲ（標準ダイナミックレンジ）ビデオまたは均等にＬＤＲ（低ダイナミックレンジ）ビデオとも呼ばれる。

画像のダイナミックレンジは、非常に高くなることがあり、放送またはＰＣ画像処理で使用される８〜１０ビットのガンマ補正されたフォーマットなどの標準の画像フォーマットによって表すことができる範囲をはるかに超える場合がある。ここで、用語「ガンマ補正されたフォーマット」は、非線形領域で表される画像フォーマットを指す。たとえば、べき乗関数、対数、またはＩＴＵ−Ｒ勧告ＢＴ．７０９／ＢＴ．２０２０で規定されたものなどのＯＥＴＦ（光／電気伝達関数）であり得る非線形関数を使用して、限定されないがＲＧＢおよびＹなどの線形成分がガンマ補正領域に変換される。

様々な画像は、様々なフォーマットによって表され得、様々なダイナミックレンジを有してもよい。たとえば、輝度が要素Ｙによってニトで線形に表される画像Ｉを考察する。Ｙの値は、いわゆる「シーン基準」フォーマットでのキャプチャされたシーンの真の明るさに対応してもよい（すなわち、このファイルフォーマットでは、Ｙ＝１が、キャプチャされたシーンでの輝度の１ニトに対応し、Ｙ＝ｘがｘニトに対応する）。Ｙの範囲は、たとえばカメラによってキャプチャされる画像シーンの実現可能な全ての輝度範囲を含んでもよい。カメラの光学系（フィルタ、絞り）および／またはセンサ（露出時間、ＩＳＯ）を変化させることにより、シーンの範囲を非常に広くすることができる。（たとえば、長い露出時間を使用する）望遠鏡観察のような非常に暗いシーンまたは（たとえば、非常に小さい絞りおよび強いフィルタを使用する）日没のような非常に明るいシーンの両方が可能であり、その結果、非常に暗いピクチャおよび非常に明るいピクチャになる。したがって、ダイナミックレンジは１５ｆストップをはるかに上回ることがある。

要素Ｙの値はまた、いわゆる「表示基準」フォーマットで画像がポストプロダクション処理された表示装置によって示される明るさを表すために使用され得る（すなわち、このファイルフォーマットでは、Ｙ＝１が、分類分けのために使用される表示装置によって提示される輝度の１ニトに対応し、Ｙ＝ｘがｘニトに対応する）。「表示基準」フォーマットによって示されるダイナミックレンジは、通常、「シーン基準」フォーマットのダイナミックレンジよりもはるかに低い。この結果、関連するピクチャのダイナミックレンジおよびピーク輝度がさらに制限されることになる。たとえば、ある種の限定された放送向きの仕様で定義されるのと同様に、これらの画像では、ダイナミックレンジが１５ｆストップであり、ピーク輝度が１０００ニトであり得る。

高ダイナミックレンジの画像またはビデオは、しばしば高ダイナミックレンジ（ＨＤＲ）画像またはビデオと呼ばれる。ＨＤＲビデオアプリケーションがサポートする正確なダイナミックレンジは変化することがある。たとえば、ＳＭＰＴＥ（映画テレビ技術者協会）が、知覚量子化方式ＥＯＴＦ（電気／光伝達関数）、別名ＰＱ ＥＯＴＦ（ＳＭＰＴＥ ＳＴ．２０８４で定義されている）非線形伝達曲線を定義しており、これは、１２ビットで符号化されることが好ましく、０．００５ニト〜１００００ニト（ニトは、光強度の単位である１平方メートル単位当たりのカンデラ、すなわちｃｄ／ｍ２を指す用語である）の範囲で輝度を符号化してもよく、その結果、比率が２００万または約２１ｆストップになる。実際に、自宅でのＨＤＲの最初の展開はテレビ受像機であると予想でき、このテレビ受像機は、ピーク明度が１０００ニトに過ぎず、ダイナミックレンジは１５ｆストップに過ぎず、可能であれば１０ビットのデータフォーマット上であることが好ましい。この限定されたＨＤＲは、拡張ダイナミックレンジ（ＥＤＲ）とも呼ばれる。通常、ＳＤＲビデオのビット深度は、８ビットまたは１０ビットであり、ＨＤＲビデオのビット深度は、１０ビット以上である。たとえば、ＳＤＲビデオは、４：２：０のＹ’ＣｂＣｒの１０ビットビデオとすることができ、ＨＤＲビデオは、ＰＱ ＯＥＴＦのＹ’ＣｂＣｒの１２ビットビデオとすることができる。

本出願では、表記を容易にするため、ＨＤＲビデオを「ＥＤＲビデオ」および「狭義のＨＤＲ」に分類し、ここで表１に示すように、「ＥＤＲビデオ」は、１０〜１５ｆストップのダイナミックレンジを有するビデオを指し、「狭義のＨＤＲ」ビデオは、１５ｆストップを超えるビデオを指す。

テレビ受像機またはコンピュータ用モニタなどのＳＤＲ装置上にＨＤＲ画像を表示するには、ＳＤＲ装置上で見えるように（すなわち、表示装置と互換性があり、知覚されたＨＤＲビデオの明度および彩度の全てを保つフォーマットで）画像を変換しなければならない。輝度Ｙをマッピングすべきデータ範囲をＲで表すと、たとえば、ＩＴＵ−Ｒ ＢＴ．７０９もしくはＢＴ．２０２０で定義される標準ＥＯＴＦの場合、８ビットＳＤＲフォーマットではＲ＝［０，２５５］であり、または１０ビットＳＤＲフォーマットではＲ＝［０，１０２３］となる。

「絶対」マッピング関数
π：線形領域→Ｒ
であり、これは、線形領域からの値をデータ範囲Ｒにマッピングし、変換用に使用することができる。ここで、「絶対」とは、マッピングされた値が固有の入力値に対応し、すなわちマッピング関数がコンテンツに適応しないと理解すべきである。このような「絶対」マッピングは、線形領域からの輝度Ｙをデータ範囲Ｒにマッピングし、必ずしも良好に機能するとは限らない。たとえば、このマッピングは、非常に暗いシーンを均一にゼロにマッピングし、非常に明るいシーンを、出力装置がサポートしているデータ範囲の上限（たとえば、２５５または１０２３）にマッピングすることがある。

本原理の一態様によれば、第１の画像を第２の画像に変換する方法であって、第１の画像はＨＤＲ（高ダイナミックレンジ）画像であり、第２の画像はＳＤＲ（標準ダイナミックレンジ）画像であり、方法は、第１の画像の中間色調レベルを決定することと、マッピング関数および第１の画像の中間色調レベルに応じて変調値を決定することと、変調値およびマッピング関数に応じて第１の画像を第２の画像に変換することとを含み、変換することは、変調値に基づいて第１の画像を縮小することを含み、縮小された第１の画像は、マッピング関数に基づいて第２の画像に変換される、方法が提供される。

中間色調レベルは、黒レベルおよび白レベルに基づいて決定され得る。たとえば、中間色調レベルは、黒レベルおよび白レベルの（１）幾何平均および（２）対数平均のうちの一方として決定され得る。黒レベルおよび白レベルは、ヒストグラムに基づいて決定され得、変調値は、第１の画像の変換が第１の画像の黒領域の情報を第２の画像に保つように決定され得る。第１の画像内の黒レベルに対応する第２の画像内の符号語は閾値を超え得る。

第１の画像がビデオに含まれる複数の画像のうちの１つであるとき、変調値の決定は、複数の画像のそれぞれについて実行され得、複数の画像についての変調値は時間的に平滑化される。

変調値の決定は、第２の画像で使用される符号語の数を実質的に最大化して、第１の画像内の中間色調レベルの周りの範囲を表し得る。変調値の決定は、マッピング関数の最も急勾配な傾きに応じてもよい。

マッピング関数は、ｇ_Ｂａ（ｚ）＝Ｍ_ＳＤＲｆ（ｚ）／ｆ（Ｐ／Ｂａ）として公式化され得、ここで、Ｐは第１の画像のダイナミックレンジの上限であり、Ｂａは変調値であり、Ｍ_ＳＤＲは第２の画像のデータ範囲の上限であり、ｆ（）は関数である。ｆ（）関数はＳｌｏｇ関数であり得る。

本原理の別の態様によれば、第１の画像を第２の画像に変換する装置であって、第１の画像はＨＤＲ（高ダイナミックレンジ）画像であり、第２の画像はＳＤＲ（標準ダイナミックレンジ）画像であり、装置は、第１の画像にアクセスするように構成された通信インターフェースと、第１の画像の中間色調レベルを決定し、マッピング関数および第１の画像の中間色調レベルに応じて変調値を決定し、かつ変調値およびマッピング関数に応じて第１の画像を第２の画像に変換するように構成された１つまたは複数のプロセッサとを含み、プロセッサは、変調値に基づいて第１の画像を縮小し、かつ縮小された第１の画像をマッピング関数に基づいて第２の画像に変換するように構成される、装置が提供される。

本原理はまた、前述の方法に従って第１の画像を第２の画像に変換する命令を記憶しているコンピュータ可読記憶媒体を提供する。

本原理の一実施形態により、ＨＤＲ画像をＳＤＲ画像に変換する例示的な方法を示す流れ図である。 本原理の一実施形態により、ＨＤＲ輝度をＳＤＲ輝度にマッピングする関数の画像例を示す。 ヒストグラムを使用して画像の黒レベル、白レベル、および中間色調を示す画像例である。 本原理の一実施形態により、閾値を超える符号語に黒レベルがマッピングされることを示す画像例である。 本原理の一実施形態により、中間色調範囲を符号化するために使用される符号語の数が最大化されることを示す画像例である。 例示的なＲＧＢ ＨＤＲ画像を示す画像例である。 対応する照明マップを示す画像例である。 例示的なＳＤＲ／ＨＤＲ配信ワークフローを示す。 本原理の例示的な実施形態の様々な態様を実施し得る例示的なシステムを示すブロック図を示す。 １つまたは複数の実装形態で使用され得るビデオ処理システムの一例を示すブロック図を示す。 １つまたは複数の実装形態で使用され得るビデオ処理システムの別の例を示すブロック図を示す。

本原理は、通常、入力画像Ｉよりも低いダイナミックレンジをサポートしている、画像フォーマットの表現と互換性がある別の範囲にこの入力画像Ｉのダイナミックレンジを適合させる方法および装置を対象とする。以下の考察では、入力画像がＨＤＲ画像であり、それよりも低いダイナミックレンジの出力画像がＳＤＲ画像であると仮定する。より一般的には、本原理は、任意のダイナミックレンジ間の変換に適用することができる。本出願では、用語「画像」、「フレーム」、および「ピクチャ」を区別なく使用して、多くの場合に複数の成分についての値を含むサンプルアレイを識別する。

図１は、本原理により、ＨＤＲ画像をＳＤＲ画像に変換する例示的な方法１００を示す。方法１００はステップ１０５から開始する。ステップ１００では、ＨＤＲ画像Ｉ全体について単一の変調値Ｂａを決定する。一実施形態では、変調値Ｂａは画像Ｉの中間色調値を表し、その結果、正規化された輝度Ｙ（すなわち、Ｙ／Ｂａ）は実質的に値１を中心とする。

ステップ１２０では、変調値に応じて入力ＨＤＲ画像ＩがＳＤＲ画像に変換される。一実施形態では、各範囲の適合を以下のように公式化してもよい。
π_Ｂａ：［０，Ｐ］→Ｒ （１）
ここで、Ｐは、入力ＨＤＲフォーマットによって許される画素の最大明度（たとえば、１０００ニト）である。マッピングπ_Ｂａは以下のように分解することができる。
すなわち、ＨＤＲ画像の輝度Ｙは、まずＢａによって正規化され、次いで、たとえば関数ｇ（）を使用して、Ｒで表される範囲にマッピングされる。ここで、ｇ（）は、場合によりＢａに依存する関数、すなわちｇ（）＝ｇ_Ｂａ（）であり、この関数ｇ（）は、データ範囲Ｒの中間値に１をマッピングしてもよい。マッピングされた画像は、次いでステップ１３０で処理、たとえば符号化および送信される。方法１００はステップ１９９で終了する。

変調値を決定すると、関数ｇ（）が事前決定されたと仮定する。以下では、範囲変換用に使用できる例示的な関数ｇ（）を説明する。

（範囲変換用の関数ｇ_Ｂａ（））
本出願では、ＳＤＲデータ範囲Ｒでのそれぞれ実現可能な値を符号語とし、最大符号語値をＭ_ＳＤＲとする。たとえば、出力画像が１０ビットのＲ＝［０，１０２３］と表される場合、符号語は、０、１、２、．．．、１０２３であり、Ｍ_ＳＤＲ＝１０２３である。

画像変換中、ピーク明度Ｐが最大符号語値にマッピングされて、ＳＤＲ範囲から十分な恩恵を受けることが予想される。すなわち、次式を得る。
π_Ｂａ（Ｐ）＝Ｍ_ＳＤＲ（全てのＢａについて） （３）

好ましい一実施形態では、ｇは次式のように定義することができる。
ｇ_Ｂａ（ｚ）＝Ｍ_ＳＤＲｆ（ｚ）／ｆ（Ｐ／Ｂａ）＝ｆ（ｚ）／Ｎ（Ｂａ） （４）
ここで、ｆ（）は関数であり、Ｎ（Ｂａ）はＢａに依存する正規化項である。
Ｎ（Ｂａ）＝ｆ（Ｐ／Ｂａ）／Ｍ_ＳＤＲ （５）
これにより、次式が得られるようなピーク輝度条件が確実に満たされる。
π_Ｂａ（Ｐ）＝ｇ_Ｂａ（Ｐ／Ｂａ）＝Ｍ_ＳＤＲｆ（Ｐ／Ｂａ）／ｆ（Ｐ／Ｂａ）＝Ｍ_ＳＤＲ （６）

一実施形態では、関数ｆ（）は、次式で定義されるＳｌｏｇ関数とすることができる。
ｆ（ｚ）＝ａｌｎ（ｂ＋ｚ）＋ｃ （７）
ここで、Ｓｌｏｇ関数ｆ（）のパラメータａ、ｂ、およびｃは次式のように決定することができる。
・ｆ（０）＝０
・ｆ（１）＝１、および
・１での微分係数はガンマ関数の微分係数と同じであり、すなわちｆ’（１）＝γ。
これら３つの条件を使用して、γの関数として３つのパラメータａ、ｂ、およびｃを得ることができる。すなわち、ａ（γ）、ｂ（γ）、およびｃ（γ）である。ａ、ｂ、およびｃのいくつかの例示的な値が表２に示されている。

広範な試験は、１／２．５に近いγの値により、Ｐ＝５０００ニトのとき、マッピングされた画像π_Ｂａ（Ｉ）について良好な画質が得られ、ＳＤＲ画像が１０ビットフォーマットで表されることを示している。すなわち、Ｍ_ＳＤＲ＝１０２３である。したがって、パラメータａ、ｂ、およびｃは、ａ＝０．４４９５、ｂ＝０．１２１２、およびｃ＝０．９４８５に設定することができる。対応する関数π_Ｂａが図２に示されている。図２から分かるように、マッピング曲線は、変調値Ｂａに適合し、概してＨＤＲ画像が明るくなるにつれて通常は増大する。比較的大きい変調値については、マッピング曲線は明るい領域に比較的多くのディテールを保ち、なぜなら、ピーク輝度付近での曲線の微分係数が大きいからである。また、比較的小さい変調値については、マッピング曲線は最も暗い領域に比較的多くのディテールを保ち、なぜなら、Ｙの値が非常に小さいと曲線が穏やかにゼロまで降下するからである。

以下では、変調値を決定する様々な方法を論じる。

（中間色調最適化によるＢａの決定）
一実施形態では、画像全体について、図３の例示的なヒストグラムに示すように、ＨＤＲ画像の画素がその線形の輝度Ｙに応じてヒストグラムに分類される。図３に示すように、ヒストグラムの右端はピーク輝度Ｐである。このピーク輝度は、たとえば、画像フォーマットに基づいてシステムレベルによって実現されると考えられ、フレーム毎に変化するとは考えられない。

白レベルＷをヒストグラムの最後のパーセンタイル値に対応する輝度レベルと定義し、黒レベルＢをヒストグラムの第１のパーセンタイル値に対応する輝度レベルと定義し、中間色調レベルを黒レベルおよび白レベルの幾何平均（または対数平均）と定義する。
その結果、３つのレベルＷ、Ｂ、およびＭは、画像のコンテンツに依存する。

一般に、変調値およびマッピング関数の選択は、非常に暗いレベルで情報を保ち、また中間色調範囲（すなわち、中間色調値の付近）でディテールを保たなければならない。したがって、変調値を得る際に２つの条件：（１）黒がゼロまで過度にクリップされず、および（２）ＨＤＲ画像の中間色調範囲を表すために使用されるＳＤＲ画像内の符号語の数が最大化されることを使用する。

黒がゼロまで過度にクリップされてはならないという第１の条件を考えると、黒レベルには比較的低い境界を設定する。すなわち、以下の通りである。
π_Ｂａ（Ｂ）≧ε （９）
ここで、εはパラメータである。図４では、例示的な関数π_Ｂａを使用して、マッピングされた値π_Ｂａ（Ｂ）をεに設定することを示す。不等式（９）は、特定の変調値Ｂａを決定しない。その代わりに、Ｂａについてある範囲の許容可能な値を提示する。

中間色調範囲を符号化するために使用される符号語の数を最大化しなければならないという第２の条件について、図５に示すように、中間色調レベルＭでのπ_Ｂａについて最も急勾配な傾きを選択する。

両方の条件を組み合わせると、以下の最大化問題を解決することによって変調値を一義的に決定することができる。
関数ｇ（）の場合の最適化問題（１０）を解決するには、受入れ可能なＢａ値の範囲内のＢａの系統的な力まかせ探索を実行して、各フレームの値Ｂａを計算してもよい。関数ｇ（）は、式（６）に示したものとすることができ、関数ｇ（）の他の形式に本原理を適用することができる。式（１０）では、人間の輝度知覚を線形領域よりも良好に表すことができるので、輝度Ｙには対数スケールが使用される。一変形形態では、説明を簡単にするために、ｌｎＹの代わりにＹに基づいて傾きを決定してもよい。

ここでは、中間色調の最適化に基づいて変調値を決定することを論じた。他の実施形態では、様々な方法を使用して、たとえば、限定されないが画像Ｉの輝度の平均値、中央値、最小値、または最大値を使用して変調値を計算することができる。これらの演算は、線形輝度領域またはｌｎ（Ｉ）もしくはＩγ（γ＜１）などの非線形領域で実行してもよい。

マッピング曲線をさらに改善するため、非常に暗いフレーム（Ｂａが低過ぎる）と非常に明るいフレーム（Ｂａが高過ぎる）との両方でのオーバシュートを避けるために、いくつかの境界をＢａ値に課すことができる。たとえば、Ｂａ値を次式
のように設定して、減衰したバックライトＢａ_ａｔｔを決定してもよく、視覚的に決定された値は、Ｂａ_ｍｉｎ＝２ニト、Ｂａ_ｍａｘ＝５０ニト、Ｂａ_ｍｉｄ＝５ニト、および減衰率σ＝０．５である。これにより、表３に示すように、視覚的に最適な変調値にさらに近い変調値を実現することができ、ここで、各シーケンスの第１の画像が試験用に使用される。

実験を通して、圧縮されたビデオの表示品位を最適化する変調値の時間間隔を取得し、時間間隔の下限および上限を指すために、それぞれ「低」および「高」を使用する。表３から分かるように、この時間間隔は、ビデオシーケンスによって変化する。

実験から、変調値が圧縮性能に影響を及ぼすが、それほど感度が高くないことも観察される。具体的には、変調値が［低、高］の時間間隔に近い場合、圧縮性能は視覚的な最適値に近い。ここで、減衰した変調値は、［低、高］の時間間隔内にあるか、またはこの時間間隔に近いことが表３から分かる。したがって、本原理に従って決定された変調値は、最適であるかまたは視覚的に最適なものに近い。

表３から、通常、変調値が明度レベル全体を反映し、入力画像の明度印象全体を提示できることも理解できる。たとえば、入力ＨＤＲ画像が明るくなると、単一の変調値が高くなることがある。ビデオシーケンス「風船」および「マーケット」は、日没または夏の日中に撮られたシーンを含む非常に明るいシーンから構成され、したがって、その変調値は、大聖堂の内部または夜間に撮られた非常に暗いシーンから構成される「大聖堂」および「火食い術の奇術師」などの他のシーケンスよりも高くなる。

（Ｂａの時間的安定化）
ビデオシーケンスでは、各フレームについて値Ｂａを計算することができる。急激な明度変化を伴うシーンでの時間的な不一致を避けるために、時間的安定化が望ましい。爆発または花火を示すシーンのような高速に変化するビデオにより、フレーム毎に変調値が急速に変化し、照明効果を乱すことになる場合がある。たとえば、静的な背景および（爆発または花火のような）突発的なフラッシュが前景にあるシーンを仮定する。フラッシュのために、白Ｗが増加するとともに、Ｍおよび次いでＢａが増加することになる。図２から分かるように、Ｂａが高いときにはマッピング曲線が暗い部分をさらに抑制し、これにより、その結果得られるＳＤＲピクチャにおいて背景が予期せずに突然暗くなることがある。その結果得られるＳＤＲビデオでの明るさのこのような不自然で煩わしい時間的変化を防止するために、ＳＤＲビデオの明るさの変化全体を平滑化するための時間的安定化を提案する。

指数安定化法を使用することができる。Ｂａ^ｎをフレームｎで決定された変調とし、Ｂａ^ｔ，ｎを時間的安定化後の変調値とする。以下の方式を使用してもよい。
Ｂａ^ｔ，ｎ＝λＢａ^ｎ＋（１−λ）Ｂａ^{ｔ，ｎ−１} （１２）
λはフレームレートに適合されている。他の時間的な平滑フィルタを、変調値を安定化させるために使用してもよい。

上記では、単一の変調値を使用してＨＤＲ画像をＳＤＲ画像に変換することを論じた。別の実施形態では、ＨＤＲコンテンツのバックライトを表すことができる照明マップを使用して、ＨＤＲ画像をＳＤＲ画像に変換してもよい。

ここで、バックライトという用語は、ＬＣＤパネルなどのカラーパネル、およびＬＥＤアレイなどの背面照明装置で製造されるテレビ受像機から類推して使用される。通常白色光を生成する背面装置は、カラーパネルを照射してテレビをさらに明るくするために使用される。その結果、テレビの輝度は、背面照明装置の輝度とカラーパネルの輝度との積である。この背面照明装置は「バックライト」と呼ばれることが多い。

照明マップが与えられると、次いで、ＨＤＲフレームを照明マップで除算することにより、残りのフレーム（すなわち、ＳＤＲフレーム）が得られる。ＨＤＲがＳＤＲをバックライトに乗じたものに等しいという類推に戻ると、ＳＤＲフレームは（ＳＤＲ）カラーパネルの応答として理解することもできる。２次元配列Ｂａ_ｍａｐ（ｘ，ｙ）によって表すことができる照明マップは、ＨＤＲ画像と比較して解像度が相対的に低くてもよい。場合により、Ｂａ_ｍａｐ（ｘ，ｙ）をアップサンプリングしてＨＤＲ画像解像度に一致させた後、ＨＤＲ画素をこれらの同じ位置にあるバックライト画素で画素毎に除算することにより、ＳＤＲフレームを得ることができる。

ＳＤＲフレームおよび照明マップは、互いに異なるフォーマットを有してもよく、たとえば、照明マップはモノクロームでもよく、ＳＤＲフレームはＹ’ＣｂＣｒまたはＲＧＢフォーマットを使用してもよい。また、各構成要素は、様々なフォーマット（たとえば、Ｙ’ＣｂＣｒ、ＹＵＶ、ＲＧＢ、およびＸＹＺ）を有することができる。

図６Ａは、例示的なＲＧＢ ＨＤＲ画像を示し、図６Ｂは、対応する照明マップを示す。図６Ａおよび図６Ｂから分かるように、照明マップは、一般に、画像自体よりも空間的に滑らかなＨＤＲ画像での明度レベルを反映する。単一の変調値は、ＨＤＲ画像の明度印象全体を提示し、照明マップは、さらに細かい粒状度でＨＤＲ画像での明度を追跡する。したがって、ローカルバックライト値またはローカル変調値として照明マップ内のサンプルも参照する。本出願では、照明情報として単一の変調値と照明マップとの両方も参照する。

前述の通り、たとえば単一の変調値または照明マップに基づくＨＤＲ画像からＳＤＲ画像への変換は、様々な用途、たとえば、限定されないがトーンマッピング、ＨＤＲからＳＤＲへのマッピング後のＳＤＲコーデックを使用する圧縮、次いでＳＤＲフォーマットと互換性のあるＳＤＲ、ＨＤＲ配信の圧縮で使用することができる。

図７は、ＳＤＲデコーダとの下位互換性を提供しながらＨＤＲビデオを送信する、例示的なＳＤＲ／ＨＤＲ配信ワークフロー７００を示す。ワークフロー７００では、ＨＤＲフレームが処理されて、対応するＳＤＲフレームおよび照明情報、たとえば単一の変調値および／または照明マップを取得する（７１０）。続いて、たとえば、限定されないがＨ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣエンコーダを使用して、照明情報とＳＤＲフレームとの両方がビットストリーム内に符号化される（７２０）。

復号側では、後方互換性のためにＳＤＲデコーダを使用してＳＤＲフレームを復号することができ（７３０）、このデコーダが、復号されたＳＤＲビデオを出力として提供する。あるいは、ＨＤＲデコーダ（７４０）を使用して、ＳＤＲフレームと照明情報との両方を復号することができる。復号されたＳＤＲフレームおよび照明情報を使用すると、たとえば、π_Ｂａをマッピングする逆プロセスを使用して、ＳＤＲフレームを、復号されたＨＤＲフレームにマッピングすることができる（７５０）。ＳＤＲからＨＤＲへのマッピング（７５０）は、ＨＤＲデコーダ（７４０）によって実行することもできる。

上記では、様々な数値が様々な動作で論じられている。これらの数値は例示的な目的のためのものであり、用途に応じて調整することができる。たとえば、ＳＤＲビデオが主として１０ビットビデオとして先に述べられたとき、このＳＤＲビデオは、他のダイナミックレンジまたはビット深度をとることもできる。黒レベルおよび白レベルを決定するために使用されるパラメータの値、たとえばａ、ｂ、およびｃまたはパーセンタイルも、ユーザ要求条件またはシステム構成に基づいて調整することができる。さらに、フレーム全体に単一の変調値を使用することを論じたとき、ピクチャの解像度が非常に高い場合、たとえばスライスまたはタイルなどのピクチャ領域での変調値を有することもできる。

図８は、本原理の例示的な実施形態の様々な態様を実施し得る例示的なシステムのブロック図を示す。システム８００は、以下に述べる様々な構成要素を含む装置として実施してもよく、前述のプロセスを実行するように構成される。このような装置の例には、限定されないがパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビジョン受信機、パーソナルビデオ記録システム、接続された家庭用電気製品、およびサーバが含まれる。システム８００は、他の同様のシステムに通信可能なように結合してもよく、図８に示すように、また当業者に知られているように前述の例示的なビデオシステムを実施するために、通信チャネルを介して表示装置に通信可能なように結合してもよい。

システム８００は、前述の通り様々なプロセスを実施するために、内部にロードされた命令を実行するように構成された少なくとも１つのプロセッサ８１０を含んでもよい。プロセッサ８１０は、組込みメモリ、入出力インターフェース、および当技術分野で知られている他の様々な回路を含んでもよい。システム８００はまた、少なくとも１つのメモリ８２０（たとえば、揮発性メモリデバイス、不揮発性メモリデバイス）を含んでもよい。システム８００は、限定されないがＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュを含む不揮発性メモリ、磁気ディスクドライブ、および／または光ディスクドライブをさらに含んでもよい記憶装置８４０を含み得る。記憶装置８４０は、非限定的な例として、内部記憶装置、付加記憶装置、および／またはネットワークアクセス可能な記憶装置を含んでもよい。システム８００はまた、データを処理して、符号化されたビデオまたは復号されたビデオを生成するように構成されたエンコーダ／デコーダモジュール８３０を含んでもよい。

エンコーダ／デコーダモジュール８３０は、符号化および／または復号の機能を実行する装置に含み得る１つまたは複数のモジュールを表す。知られているように、装置は、符号化モジュールおよび復号モジュールのうちの一方または両方を含んでもよい。さらに、エンコーダ／デコーダモジュール８３０は、システム８００の別々の要素として実装してもよく、または当業者に知られているハードウェアとソフトウェアとの組合せとしてプロセッサ８１０内に組み込んでもよい。

上記に記載の様々なプロセスを実行するためにプロセッサ８１０にロードされるプログラムコードは、記憶装置８４０に記憶してもよく、続いて、プロセッサ８１０による実行のためにメモリ８２０にロードしてもよい。本原理の例示的な実施形態によれば、１つまたは複数のプロセッサ８１０、メモリ８２０、記憶装置８４０、およびエンコーダ／デコーダモジュール８３０のうちの１つまたは複数は、先に本明細書において述べた各プロセスの実行中に様々なアイテムのうちの１つまたは複数を記憶してもよく、これは、限定されないが変調値、ＳＤＲビデオ、ＨＤＲビデオ、等式、公式、行列、変数、演算、および演算論理を含む。

システム８００はまた、通信チャネル８６０を介して他の装置との通信を可能にする通信インターフェース８５０を含んでもよい。通信インターフェース８５０は、限定されないが、通信チャネル８６０との間でデータを送受信するように構成された送受信機を含んでもよい。通信インターフェースは、限定されないがモデムまたはネットワークカードを含んでもよく、通信チャネルは、有線媒体および／または無線媒体内に実装してもよい。システム８００の様々な構成要素は、限定されないが内部バス、ワイヤ、およびプリント回路板を含め、様々な適した接続を使用して接続してもよく、または通信可能なように結合してもよい。

本原理による例示的な実施形態は、プロセッサ８１０によって実装されるコンピュータソフトウェアもしくはハードウェアにより、またはハードウェアとソフトウェアとの組合せにより実行してもよい。非限定的な例として、本原理による例示的な実施形態は、１つまたは複数の集積回路によって実装してもよい。メモリ８２０は、技術的な環境に適した任意のタイプのものでよく、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、取外し可能なメモリなど、任意の適切なデータ記憶技術を使用して実装してもよい。プロセッサ８１０は、技術的な環境に適した任意のタイプのものでよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つまたは複数を含んでもよい。

図９を参照すると、上記の特徴および原理が適用され得るデータ送信システム９００が示されている。データ送信システム９００は、たとえば、衛星、ケーブル、電話回線、または地上波放送などの様々な媒体のいずれかを使用して信号を送信するヘッドエンドまたは送信システムであってもよい。データ送信システム９００を使用して記憶用の信号を生成してもよい。送信は、インターネットまたは他の何らかのネットワークを介して実現してもよい。データ送信システム９００は、たとえば、ビデオコンテンツおよび他のコンテンツを生成および送達することができる。

データ送信システム９００は、プロセッサ９０１から処理済みデータおよび他の情報を受信する。一実施形態では、プロセッサ９０１は、ＨＤＲビデオを生成し、かつ／またはたとえば方法１００を使用して、ＨＤＲピクチャを表す単一の変調値およびＳＤＲピクチャを使用してＨＤＲピクチャを表す。プロセッサ９０１はまた、たとえば、マッピング曲線に使用される関数または定数の値を示すメタデータを９００に提供してもよい。

データ送信システム、すなわち装置９００は、エンコーダ９０２および符号化された信号を送信できる送信機９０４を含む。エンコーダ９０２は、プロセッサ９０１からデータ情報を受信する。エンコーダ９０２は、１つまたは複数の符号化された信号を生成する。

エンコーダ９０２は、たとえば、様々な情報片を受信し、記憶または送信のための構造化されたフォーマットにするアセンブリユニットを含むサブモジュールを含んでもよい。様々な情報片は、たとえば、符号化されたビデオまたは符号化されていないビデオ、および符号化された要素または符号化されていない要素を含んでいてもよい。実装形態によっては、エンコーダ９０２がプロセッサ９０１を含み、したがってプロセッサ９０１の動作を実行する。

送信機９０４は、エンコーダ９０２から１つまたは複数の符号化された信号を受信し、この１つまたは複数の符号化された信号を１つまたは複数の出力信号で送信する。送信機９０４は、たとえば、符号化されたピクチャおよび／またはそれに関連する情報を表す、１つまたは複数のビットストリームを有するプログラム信号を送信するように構成されてもよい。典型的な送信機は、たとえば、誤り訂正符号化を提供すること、信号中のデータをインターリーブすること、信号中のエネルギーをランダム化すること、および変調器９０６を使用して信号を１つまたは複数の搬送波に信号を変調することのうちの１つまたは複数などの機能を実行する。送信機９０４は、アンテナ（図示せず）を含んでもよく、またはアンテナとインターフェースしてもよい。さらに、送信機９０４の実装は、変調器９０６に限定されてもよい。

データ送信システム９００はまた、記憶ユニット９０８に通信可能なように結合されている。一実装形態では、記憶ユニット９０８は、エンコーダ９０２に結合され、エンコーダ９０２からの符号化されたビットストリームを記憶する。別の実装形態では、記憶ユニット９０８は、送信機９０４に結合され、この送信機９０４からのビットストリームを記憶する。送信機９０４からのビットストリームは、たとえば、送信機９０４によってさらに処理された、１つまたは複数の符号化されたビットストリームを含んでもよい。様々な実装形態では、記憶ユニット９０８は、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、または他の何らかの記憶装置のうちの１つまたは複数である。

図１０を参照すると、上記の特徴および原理が適用され得るデータ受信システム１０００が示されている。データ受信システム１０００は、記憶装置、衛星、ケーブル、電話線、または地上波放送など、様々な媒体を介して信号を受信するように構成されていてもよい。信号は、インターネットまたは他の何らかのネットワークを介して受信されてもよい。

データ受信システム１０００は、たとえば、携帯電話、コンピュータ、セットトップボックス、テレビジョン、または符号化されたビデオを受信して、たとえば、表示（たとえば、ユーザへの表示）、処理、または記憶のために、復号されたビデオ信号を供給する他の装置であってもよい。したがって、データ受信システム１０００は、たとえば、テレビジョンの画面、コンピュータモニタ、（記憶、処理、もしくは表示用の）コンピュータ、または他の何らかの記憶、処理、もしくは表示用の装置にその出力を提供してもよい。

データ受信システム１０００は、データ情報を受信および処理することができる。データ受信システム、すなわち装置１０００は、たとえば本出願の実装において記載された信号など、符号化された信号を受信する受信機１００２を含む。受信機１００２は、たとえば、ＨＤＲビデオおよびＳＤＲビデオのうちの１つまたは複数を提供する信号、または図９のデータ送信システム９００から出力される信号を受信してもよい。

受信機１００２は、たとえば、符号化されたＨＤＲピクチャを表す複数のビットストリームを有するプログラム信号を受信するように構成されてもよい。典型的な受信機は、たとえば、変調され符号化されたデータ信号を受信すること、復調器１００４を使用して１つまたは複数の搬送波からデータ信号を復調すること、信号中のエネルギーをランダム化解除すること、信号中のデータをインターリーブ解除すること、および信号を誤り訂正復号することのうちの１つまたは複数などの機能を実行する。受信機１００２は、アンテナ（図示せず）を含んでもよく、またはアンテナとインターフェースしてもよい。受信機１００２の実装は、復調器１００４に限定されてもよい。

データ受信システム１０００は、デコーダ１００６を含む。受信機１００２は、受信信号をデコーダ１００６に供給する。受信機１００２によってデコーダ１００６に供給される信号は、１つまたは複数の符号化されたビットストリームを含んでもよい。デコーダ１００６は、たとえば、ビデオ情報を含む復号されたビデオ信号など、復号された信号を出力する。

データ受信システム、すなわち装置１０００はまた、記憶ユニット１００７に通信可能なように結合されている。一実装形態では、記憶ユニット１００７が受信機１００２に結合され、この受信機１００２は記憶ユニット１００７からのビットストリームにアクセスする。別の実装形態では、記憶ユニット１００７がデコーダ１００６に結合され、このデコーダ１００６は記憶ユニット１００７からのビットストリームにアクセスする。様々な実装形態では、記憶ユニット１００７がアクセスするビットストリームは、１つまたは複数の符号化されたビットストリームを含む。様々な実装形態では、記憶ユニット１００７は、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、または他の何らかの記憶装置のうちの１つまたは複数である。

一実装形態では、デコーダ１００６からの出力データがプロセッサ１００８に供給される。一実装形態では、プロセッサ１００８は、ＳＤＲからＨＤＲへのマッピングを実行するように構成されたプロセッサである。実装形態によっては、デコーダ１００６がプロセッサ１００８を含み、したがってプロセッサ１００８の動作を実行する。他の実装形態では、プロセッサ１００８は、たとえば、セットトップボックスまたはテレビジョンなどのダウンストリーム装置の一部分である。

本明細書に記載の実装形態は、たとえば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装してもよい。（たとえば、方法としてのみ論じた）単一形式の実装形態との関連でもっぱら論じたとしても、論じた特徴の実装形態は、他の形式（たとえば、装置またはプログラム）で実装してもよい。装置は、たとえば、適切なハードウェア、ソフトウェア、またはファームウェアで実装してもよい。たとえば、方法は、たとえばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む処理装置を一般に指す、たとえばプロセッサなどの装置で実施してもよい。プロセッサはまた、たとえば、コンピュータ、携帯電話、ポータブル／携帯型情報端末（「ＰＤＡ」）、およびエンドユーザ間での情報の通信を容易にする他の装置などの通信装置を含む。

本原理の「１つの実施形態」もしくは「実施形態」または「１つの実装形態」もしくは「実装形態」、ならびに本原理の他の変形形態への言及は、実施形態に関連して説明される特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な箇所に現れる語句「１つの実施形態において」もしくは「実施形態において」または「１つの実装形態において」もしくは「実装形態において」、ならびに他の任意の変形形態の出現は、必ずしも全てが同じ実施形態を指しているのではない。

さらに、本出願またはその特許請求の範囲は、様々な情報を「決定すること」に言及してもよい。情報の決定は、たとえば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を検索することのうちの１つまたは複数を含んでもよい。

さらに、本出願またはその特許請求の範囲は、様々な情報に「アクセスすること」に言及してもよい。情報にアクセスすることは、たとえば、情報を受信すること、情報を（たとえば、メモリから）検索すること、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含んでもよい。

さらに、本出願またはその特許請求の範囲は、様々な情報を「受信すること」に言及してもよい。受信することは、「アクセスすること」と同様に、広義の用語とすることが意図される。情報の受信は、たとえば、情報にアクセスすること、または（たとえば、メモリから）情報を検索することのうちの１つまたは複数を含んでもよい。さらに、「受信すること」は、通常、たとえば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなどの動作中、ある方式または別の方式で実行される。

当業者に明らかになるように、実装形態は、たとえば記憶または送信してもよい情報を運ぶようにフォーマットされた様々な信号を生成してもよい。この情報は、たとえば、方法を実行する命令または説明した実装形態のうちの１つによって生成されるデータを含んでもよい。たとえば、信号は、説明した実施形態のビットストリームを運ぶようにフォーマットしてもよい。たとえば、このような信号は、（たとえば、スペクトルの無線周波数部分を使用する）電磁波としてまたはベースバンド信号としてフォーマットしてもよい。フォーマットすることは、たとえば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することとを含んでもよい。信号が運ぶ情報は、たとえば、アナログ情報またはデジタル情報であってもよい。知られているように、信号は、様々な別々の有線リンクまたは無線リンクを介して伝送してもよい。信号は、プロセッサ可読媒体に記憶してもよい。

Claims (15)

1. 第１の画像を第２の画像に変換する方法であって、前記第１の画像はＨＤＲ（高ダイナミックレンジ）画像であり、前記第２の画像はＳＤＲ（標準ダイナミックレンジ）画像であり、前記方法は、
   前記第１の画像の中間色調レベルを決定することと、
   マッピング関数および前記第１の画像の前記中間色調レベルに応じて変調値を決定すること（１１０）と、
   前記変調値および前記マッピング関数に応じて前記第１の画像を前記第２の画像に変換すること（１２０）と
   を含み、前記変換することは、前記変調値に基づいて前記第１の画像を縮小することを含み、前記縮小された第１の画像は、前記マッピング関数に基づいて前記第２の画像に変換される、方法。
2. 前記中間色調レベルは、黒レベルおよび白レベルに基づいて決定される、請求項１に記載の方法。
3. 前記中間色調レベルは、前記黒レベルおよび前記白レベルの（１）幾何平均および（２）対数平均のうちの一方として決定される、請求項２に記載の方法。
4. 前記黒レベルおよび前記白レベルは、ヒストグラムに基づいて決定される、請求項２に記載の方法。
5. 前記第１の画像の前記変換が前記第１の画像の黒領域の情報を前記第２の画像に保つように、前記変調値は決定される、請求項２に記載の方法。
6. 前記第１の画像内の前記黒レベルに対応する前記第２の画像内の符号語は閾値を超える、請求項５に記載の方法。
7. 前記第１の画像は、ビデオに含まれる複数の画像のうちの１つであり、前記変調値を前記決定することは、前記複数の画像のそれぞれについて実行され、前記複数の画像についての前記変調値は時間的に平滑化される、請求項１に記載の方法。
8. 前記変調値を前記決定することは、前記第２の画像で使用される符号語の数を実質的に最大化して、前記第１の画像内の前記中間色調レベルの周りの範囲を表す、請求項１に記載の方法。
9. 前記変調値を前記決定することは、前記マッピング関数の最も急勾配な傾きに応じる、請求項８に記載の方法。
10. 前記マッピング関数は、ｇ_Ｂａ（ｚ）＝Ｍ_ＳＤＲｆ（ｚ）／ｆ（Ｐ／Ｂａ）として公式化され、ここで、Ｐは前記第１の画像のダイナミックレンジの上限であり、Ｂａは前記変調値であり、Ｍ_ＳＤＲは前記第２の画像のデータ範囲の上限であり、ｆ（）は関数である、請求項１に記載の方法。
11. 前記ｆ（）関数はＳｌｏｇ関数である、請求項１０に記載の方法。
12. 第１の画像を第２の画像に変換する装置（８００）であって、前記第１の画像はＨＤＲ（高ダイナミックレンジ）画像であり、前記第２の画像はＳＤＲ（標準ダイナミックレンジ）画像であり、前記装置は、
    前記第１の画像にアクセスするように構成された通信インターフェース（８５０）と、
    前記第１の画像の中間色調レベルを決定し、
    マッピング関数および前記第１の画像の前記中間色調レベルに応じて変調値を決定し、かつ
    前記変調値および前記マッピング関数に応じて前記第１の画像を前記第２の画像に変換する
    ように構成された１つまたは複数のプロセッサ（８１０）と
    を含み、前記プロセッサは、前記変調値に基づいて前記第１の画像を縮小し、かつ前記縮小された第１の画像を前記マッピング関数に基づいて前記第２の画像に変換するように構成される、装置。
13. 前記中間色調レベルは、黒レベルおよび白レベルに基づいて決定される、請求項１２に記載の装置。
14. 前記変調値を前記決定することは、前記第２の画像で使用される符号語の数を実質的に最大化して、前記第１の画像内の前記中間色調レベルの周りの範囲を表す、請求項１２に記載の装置。
15. 請求項１〜１１のいずれか一項に従って第１の画像を第２の画像に変換する命令を記憶している非一時的コンピュータ可読記憶媒体。