JP2021114327A - Ｈｄｒ信号の変換用の方法及び装置 - Google Patents

Abstract

【課題】１つのディスプレイに適切なビデオ信号と、異なるディスプレイ向けのビデオ信号との間の変換には、異なる表現意図を目的とするプロセスが必要であり、このようなプロセスでは、色、即ち色相及び彩度を変更することを避ける必要がある。【解決手段】第１のディスプレイ向けの入力ビデオ信号を処理して、第２のディスプレイに適した出力信号を生成するための方法は、１つ以上の伝達関数を用いる変換段階を備える。伝達関数は、相対的なシーン光値を与え、次いで表現意図を除去又は適用するように配列される。表現意図は、入力ビデオ信号用の表現意図又は出力ビデオ信号の表現意図である。表現意図を除去し又は適用することにより輝度を変える。変換は、輝度を変えるが色成分を変えないように配置されることが意義深い。【選択図】図５

Description

本発明は、ソースからのビデオ信号を処理して、第１の表現設定値に従って生成された信号と、第２の表現設定値のディスプレイによって使用可能な信号との間で変換することに関する。

ハイダイナミックレンジ（ＨＤＲ）のビデオが利用可能になり始めている。ＨＤＲビデオでは、ダイナミックレンジ、すなわち画像の最も明るい部分と最も暗い部分との間の比が１００００：１以上である。ダイナミックレンジは、２を底とするダイナミックレンジの対数である「絞り」として表現されることがある。従って、１００００：１のダイナミックレンジは、１３．２９絞りと同等である。最良の近代的なカメラは、１３．５絞りのダイナミックレンジを取り込むことができ、これは技術の進歩に伴い向上している。

従来のテレビ（及びコンピュータのディスプレイ）では、ダイナミックレンジは、約１００：１に制限されていた。これは、標準ダイナミックレンジ（ＳＤＲ）と呼ぶことがある。

ＨＤＲビデオは、主観的に向上した鑑賞体験をもたらす。これは、「そこにいる」感覚が増した、又は代わりにより「没入する」体験をもたらす感覚として、説明されることがある。この理由により、多くのビデオ制作者が、ＳＤＲビデオではなくＨＤＲビデオを制作したいと考えている。さらに、世界中の産業がＨＤＲビデオに移行しているため、制作はすでに高いダイナミックレンジで行われており、その結果制作は、将来のＨＤＲ世界でその価値を保つ可能性が高い。

ＨＤＲビデオ信号と、より低いダイナミックレンジ（簡略化のために、標準ダイナミックレンジ（ＳＤＲ）と呼ぶ）を用いるデバイスが使用可能な信号との間で変換する様々な試みがなされている。そのようなアプローチの１つは、光電子伝達関数（ＯＥＴＦ）を修正することである。

図１には、そのように変換しようとするために修正されたＯＥＴＦが使用できる例示的なシステムが示される。ＯＥＴＦは、カメラからの輝度値を、後続の処理のための「電圧」信号値に変換することを定義する関数である。長年にわたり、カメラにおいて、指数０．５（即ち、平方根）を有するべき法則が、輝度から電圧に変換するために普遍的に使用されてきた。この光電子伝達関数（ＯＥＴＦ）は、標準のＩＴＵ推奨ＢＴ．７０９（以後「Ｒｅｃ７０９」）で定義され、

式中、Ｌは、画像の輝度０≦Ｌ≦１であり、
Ｖは、対応する電気信号Ｎｏｔｅであり、Ｎｏｔｅでは、Ｒｅｃ７０９の特性は、特性の線形部分を含めて、全体的に０．４５のパワーで定義されるが、特性は、指数０．５の純粋なべき法則によって厳密に近似される。

ディスプレイガンマ２．４との組合せにより、全体のシステムガンマが１．２になる。
この意図的なシステム全体の非線形性は、暗い雰囲気及び比較的低い輝度での映像鑑賞における主観的な効果を補償するように設計されている。この補償は、「表現意図」として公知なことがある。ＲＥＣ７０９には約０．５のべき法則が規定され、ＩＴＵ推奨ＢＴ．１８８６（以下、Ｒｅｃ１８８６）には表示ガンマ２．４が規定されている。上記処理は、多くのシステムでうまく機能するが、ダイナミックレンジが拡張された信号には改善が望ましい。

図１に示す構成は、シーンからの線形光をＲＧＢ信号に変換するように配置されたＨＤＲ ＯＥＴＦ１０を備える。これは通常カメラに設ける。ＲＧＢ信号は、送信のためにコンバータ１２でＹＣｂＣｒ信号に変換され、次いで、受信器にあるコンバータ１４及び１６にて、ＹＣｂＣｒからＲＧＢに逆変換される。次いで、ＲＧＢ信号は、ＨＤＲディスプレイ又はＳＤＲディスプレイの何れかに与えることができる。受信機がＨＤＲディスプレイである場合、ディスプレイは、ＨＤＲ ＥＯＴＦ１８を用いて信号のフルダイナミックレンジを表示し、ＨＤＲ ＯＥＴＦによって生成された当初の信号を正確に表す。しかしながら、ＳＤＲディスプレイを使用する場合、そのディスプレイ内のＥＯＴＦ２０は、フルダイナミックレンジを表すことができず、必然的に、信号の輝度上限値に対する適切な輝度レベルに多少の近似値を与える。標準ダイナミックレンジのディスプレイがＨＤＲ信号に近似する様式は、送信側で用いるＨＤＲ ＯＥＴＦと、受信側で用いる標準のダイナミックレンジＥＯＴＦとの間の関係に依存する。

図２は、比較のために、Ｒｅｃ ７０９のＯＥＴＦを含むＯＥＴＦに対する様々な修正を示す。ＯＥＦＴは、白色の近くに第３セクションを追加することによってＯＥＴＦを修正するカメラメーカーが好む公知の「Ｋｎｅｅ」配置を含み、「Ｋｎｅｅ」を用いることによってダイナミックレンジを上げ、信号をクリップするのを避ける。公知の「知覚量子化器」配置も示される。最後に、べき法則部分及び対数法則部分を含む曲線を用いる提案された配列も示される。調和するＲｅｃ １８８６ ＥＯＴＦを用いるＳＤＲディスプレイが、ＨＤＲ ＯＥＴＦの１つを用いて生成された画像を表す様式は、選択されたＯＥＴＦに依存する。Ｋｎｅｅ機能の例では、ＯＥＴＦは、上方輝度値につき、殆どの曲線及びそこからの外れが、Ｒｅｃ７０９と全く同じである。ＳＤＲ受信機での上限輝度値への影響は多少不正確である。

上述した変換は、ＳＤＲディスプレイ上にＨＤＲ信号を表す能力を考慮する。

しかしながら、これらの変換は、１つのディスプレイに対して生成された信号が、異なるディスプレイ上に適切に表されるように信号を変換するさらなる必要性を考慮しない。
発明者は、１つのディスプレイに対して生成されたＨＤＲ信号間でも、異なるディスプレイ上で使用できるように、このような変換が必要な場合があることを理解している。異なるディスプレイ上で適切な表現を行うための変換は、信号が生成された様式及び目標ディスプレイが信号を表現する様式に依存する。

発明者は、１つのディスプレイに適切なビデオ信号と、異なるディスプレイ向けのビデオ信号との間の変換には、異なる表現意図を目的とするプロセスが必要であること理解している。発明者はまた、このようなプロセスでは、色、即ち色相及び彩度を変更することを避ける必要があることも認識している。

本発明は、参照される請求項において定義される。

広義には、本発明は、第１のディスプレイ向けの入力ビデオ信号を処理して、第２のディスプレイに適した出力信号を生成するための方法であって、
相対的なシーン光値を与え、及び
入力ビデオ信号又は出力ビデオ信号の表現意図を除去又は適用し、
表現意図を除去し又は適用することにより輝度を変えるように配列された、１つ以上の伝達関数を用いる変換段階を備える方法を提供する。

本発明が、添付図面を参照して例としてより詳細に説明される。

修正されたＯＥＴＦを使用して、ＨＤＲ信号を、ＳＤＲ目標装置で使用するように修正する配置の図である。 光電子伝達関数の比較を示すグラフである。 従来のＣＲＴディスプレイ用のガンマ曲線を示す図である。 従来のカメラから主伝達関数を示すディスプレイへの信号チェーンを示す図である。 シーン参照信号からディスプレイ参照信号への変換を含む、本発明の第１の実施形態を示す図である。 シーン参照信号が多少の表現意図を含む、図５の変換の変形例を示す図である。 ディスプレイ参照信号をシーン参照信号に変換する、第２の実施形態を示す図である。 シーン参照信号が多少の表現意図を含む、図７の実施形態の変形例を示す図である。 異なるディスプレイ参照信号間の変換を含む、第３の実施形態を示す図である。

本発明は、ビデオ信号を処理して、１つのディスプレイに適したビデオ信号と目標ディスプレイに適した信号との間で変換する方法と、そのような変換を実行するための装置と、そのような変換を含む送信機、受信機及びシステムとで具体化される。

本発明の実施形態は、放送チェーン内の構成要素で具体化できる処理に関連して説明される。この構成要素は、説明を容易にするためにコンバータと呼ぶことができるが、それは、別の装置内のハードウェア又はソフトウェアに実装できる機能モジュールとして又は独立型構成要素として理解されたい。コンバータは、製造装置、送信機又は受信機、或いはディスプレイ内に存在しても良い。これらの機能は、３Ｄルックアップテーブルとして実施することができる。最初に、ビデオ信号に関連するいくつかの背景が参照を容易にするために提示される。
シーン参照信号及びディスプレイ参照信号

ハイダイナミックレンジ（ＨＤＲ）テレビは、従来の又は「標準の」ダイナミックレンジ（ＳＤＲ）テレビよりも大きな影響を与える可能性がある。ＨＤＲテレビ信号用の規格は、ＨＤＲ ＴＶの制作及び提供に必要な装置及び社会基盤の開発と相互運用性を支えるために必要である。ＨＤＲ信号の標準化への２つの異なるアプローチが登場している。これらは、「シーン参照」及び「ディスプレイ参照」と呼ぶことができ、以下で説明される。両方のタイプの信号を用いて映画及びビデオを制作することができる。発明者は、これらの２つのタイプの信号のような信号を相互変換する必要性を認識している。この開示は、そのような変換をどのように実行するかについて説明する一方、信号に具体化された画像品質及び芸術的意図を保つ。さらに、１つのタイプの信号（「ディスプレイ参照」）を用いて、輝度が異なる各ディスプレイ上に示すことを意図した各信号間で変換するための処理も必要である。この開示は、以下に、異なる「ディスプレイ参照」信号間の相互変換を実行することも説明する。説明する主要な実施形態は、ＨＤＲ信号用であるが、説明する技術は、動画像を表す他の信号にも適用される。

「シーン参照」信号は、カメラによって取り込まれる相対輝度、即ちシーンからの光を表す。このような信号は、通常、ゼロから１の範囲の無次元の（即ち、正規化された）値を符号化し、ここで、ゼロは黒色を表し、１は、カメラセンサが飽和しないで検出できる最も明るい信号を表す。このタイプの信号は、例えば国際規格ＩＴＵ−Ｒ ＢＴ ７０９に特定されているような、従来のテレビ信号で使用される。そのような信号は、ピーク輝度が異なるディスプレイ上に表すことができる。例えば、同じ信号は、ピーク輝度１００ｃｄ／ｍ²の職業的なディスプレイ（番組制作で使用する）、又は家庭で見るピーク輝度４００ｃｄ／ｍ²の消費者ＴＶに示すことができる。これは、国際規格ＩＴＵ−Ｒ ＢＴ １８８６によって支持される。国際規格は、信号がディスプレイ（又はスクリーン）から放出される（又は反射される）光にどのように変換されるかを特定する、電気光学伝達関数（ＥＯＴＦ）を定義する。ＩＴＵ−Ｒ ＢＴ １８８６では、ＥＯＴＦは、ディスプレイのピーク輝度（及び黒色レベル）によってパラメータ化され、それによって輝度が異なるディスプレイ上に画像を表すことを可能にする。従来の光化学フィルムストックをスキャンすること、又は電子「フィルムカメラ」からの信号は、シーンからの光も表わすため、「シーン参照」と呼ぶ。最近、ＢＢＣ 研究開発白書ＷＨＰ２８３にて、「シーン参照」ＨＤＲ ＴＶ信号が提案された。同様の信号は、国際電気通信連合（ＩＴＵ）に標準化のために提案されている。要約すると、「シーン参照」信号は、相対的な輝度を与えるため無次元であり、カメラ内のイメージセンサによって取り込まれた光を表す。

２０１４年のＳＭＰＴＥ規格ＳＴ ２０８４に、「ディスプレイ参照」として公知の異なるタイプの動画像信号がＨＤＲ映画のために定義され、規格化のためにＩＴＵにも提案されている。この信号は、ディスプレイから放射される光を表す。それ故、この信号は、絶対輝度レベルを表す。例えば、ディスプレイ上の特定された位置における画素の輝度は、２０００ｃｄ／ｍ²として符号化することができる。ＳＴ２０８４では、信号範囲は、ゼロから１００００ｃｄ／ｍ²である。ディスプレイ参照信号の値は、次元がｃｄ／ｍ²（又は等価）であるが、「シーン参照」信号の値は、相対的であるため無次元であることに留意されたい。

発明者は、信号値がディスプレイのピーク輝度よりも明るい場合、ディスプレイ参照信号の相対的な性質ではなく絶対的な性質が困難を表すことを認識している。例えば、ピーク輝度４０００ｃｄ／ｍ²のディスプレイ上に準備された又は「等級分け」された信号を考える。この信号は、ディスプレイのピーク輝度４０００ｃｄ／ｍ²に近い値を含む可能性が高い。このような信号を４８ｃｄ／ｍ²（投影された映画画像の明るさ）しかないディスプレイに表示しようとする場合、ディスプレイがうまく扱えるよりも明るく示される画素が表示される問題が認識される。

これまで使用されてきた１つの様式は、画素をディスプレイにそのピーク輝度にて過度に明るく示すことである。これは、「制限すること」又は「クリップすること」として公知である。しかしながら、この例では、多くの画素の特定された輝度は、映画投影機の能力よりも大きくなり、その結果、大きな領域で画像が激しく歪むことにつながる。クリップすることは、必ずしもディスプレイ参照信号を表すのに満足できる方法ではないことは明らかである。この開示は、所定の輝度で表示することを意図したディスプレイ参照信号を異なる輝度で表示するために変換する一方、画質及び芸術的意図を保つ方法を説明する。

動画ディスプレイの重要な特徴は、「表現意図」である。表現意図への必要性は、映像の主観的な外見が実際のシーンの外見に近いことを保証することである。単純に、画像の輝度は、カメラで取り込まれた画像の輝度をスケール変更した版であることが必要と考える人がいるかもしれない。印刷された写真の場合、これはほぼ正確であり、「大部分の濃度範囲にわたって、点は、原点を通過する単一ガンマ（後述する）の直線の近くにある」（Ｈｕｎｔ、Ｒ．Ｗ．Ｇ．２００５年。色の再現。ＩＳＢＮ ９７８０４７００２４２６３、５５頁）。しかしながら、暗い環境（例えば、投影された透明陽画、映画、又はテレビ）で表示される画像では、主観的に受入可能な画像を生成するためには、カメラとディスプレイとの間の全体的な非線形性が必要であることが長く公知である（Ｈｕｎｔ ｉｂｉｄ又はＣ． Ｐｏｙｎｔｏｎ、 Ｆｕｎｔ、Ｂ．２０１４年。デジタル画像の表現及び表示における知覚的一様性。Ｃｏｌｏｒ Ｒｅｓ。 Ａｐｐｌ。３９：６〜１５）。従って、表現意図は、カメラとディスプレイとの間に、画像の主観的な外見が実際のシーンに最もよく調和するように適用される全体的な非線形性である。

表現意図は、カメラ及びディスプレイの両方において、「ガンマ曲線」又はその近似を用いて一般的に実施される。ガンマ曲線は、単に信号値と輝度とのべき法則関係である。
カメラでは、カメラによって検出された相対光強度Ｌｃ（範囲［０：１］）と信号に符号化された値Ｖ（範囲［０：１］）との間の関係は、

によって近似することができる。

同様に、ディスプレイでは、ディスプレイのピーク輝度に正規化された放射光Ｌｄ（範囲［０：１］）と信号値Ｖとの間の関係は、

によって近似することができる。

従って、

である。

図３は、カメラに適用されたＣＲＴ表示ガンマ２．２及び補完的な「ガンマ補正」（即ち、ガンマの逆数を持つ別のガンマ曲線）を示し、それらは全体として線形システムを一緒に実施する。

γ_d＝１／γ_cであれば、全体として、カメラ／ディスプレイシステムは線形であるが、これは、実際には殆ど当てはまらない。より一般的には、「システムガンマ」は、全体として、端から端までγ_cとγ_dとの積で与えられる。

異なる形式の画像再生には、異なる表現意図が使用される。投影される写真用透明陽画は、システムガンマ約１．５を使用する。映画は、一般に、システムガンマ約１．５６を適用する。テレビ制作で用いる参照モニタは、システムガンマ約１．２を適用する。用いるシステムガンマは、ディスプレイの輝度及びディスプレイを取り巻く背景輝度に主に依存する。実験により、発明者は、最良の主観的な映像表現をもたらすシステムガンマは、

によって近似できることを見出した。式中、Ｌ_peakは映像のピーク輝度であり、Ｌ_surroundはディスプレイ周囲の輝度である。任意の所定の鑑賞環境において、システムガンマのより正確なシステムガンマ値を実験的に基づき決めことができる。上記近似的な一般式ではなく、このような「慣行」値を用いることにより、以下に説明する画像変換の忠実度を向上することができる。

ガンマ曲線は、主観的に高品質の画像を生成する表現意図を与えるように経験に基づき見出される。それにもかかわらず、他の同様の形状の曲線が、向上した主観的な品質を生み出すことができる。本明細書に開示される技術は、ガンマ曲線に関して説明される。しかしながら、同じ技術を形状が異なる曲線に適用することもできる。

カラー画像は、３つの別個の色成分である赤色、緑色及び青色から成り、それらは、表現意図の適用方法に影響する。各成分にガンマ曲線を適用すると、色が別々に歪むことが認識されている。適用は、特に、彩度を歪ませるだけでなく、程度は低いが、色相を歪ませる。例えば、画素の赤色、緑色及び青色の成分が（正規化された）値（０．２５、０．７５、０．２５）を有すると仮定する。ここで、ガンマ２を適用すると、すなわち成分値を２乗すると、（０．０６２５、０．５６２５、０．０６２５）が得られる。２つの結果、即ち画素はわずかに暗くなること、緑色と青色及び赤色との比率は上昇すること（３：１から９：１に）が注目され、これは、緑色の画素がさらに緑色になっていることを意味する。一般に、色は、それを表示するとき歪ませたくないので、この方法は理想的ではない。

発明者は、各色成分にガンマ曲線を独立して適用するのではなく、ガンマ曲線を輝度（大まかに「明るさ」）にのみ適用できることを認識した。画素の輝度は、色成分の加重和によって与えられ、重みは、色の原色及び白色点に依存する。たとえば、ＩＴＵ−Ｒ ＢＴ ７０９に規定されたＨＤＴＶの場合、輝度は、

で与えられ、又はＩＴＵ−Ｒ ＢＴ ２０２０で規定された新しいＵＨＤＴＶの場合、輝度は

で与えられ、式中、Ｙは輝度を表し、Ｒ、Ｇ及びＢは正規化された線形の（すなわち、ガンマ補正を適用しない）色成分を表す。

輝度成分のみにガンマ曲線を適用し又は表現意図を適用することによって、ディスプレイの色の変化を避けることができる。
画像信号チェーン

図４は、公知のシーン参照信号チェーンを示す。図４は、信号チェーンにおける処理ステップを示すが、機能成分のブロック図と同様に考えることができる。特に、図４の長方形のボックスは、処理ステップとして、又は機能を実行するようにプログラムされたプロセッサとして、又はその機能を実行するように構成された専用ハードウェアとして考えることができる。丸いボックスは、処理チェーン内の信号の意味を説明する。図５から図９に示す実施形態にも同じことがあてはまる。

図４に示すように、シーンからの（正規化された）光信号は、まずカメラ（物理的又は仮想的な）によって取り込まれる。光信号は、次いで、一般にＳＤＲ ＴＶ用のガンマ曲線の近似値である、非線形の光電変換関数（ＯＥＴＦ）を適用することによって「符号化」される。シーン参照画像データを表す信号は、次いで、組み合わせ及び処理して、テレビ番組又は映画を制作することができる。完成したプログラムを見るために、第２の非線形性の電気光学伝達関数（ＥＯＴＦ）が、信号を「符号化」して、ディスプレイ上に表される光を発生する。ＥＯＴＦは、２つの機能を組み合わせ、まず、ＥＯＴＦは、ＯＥＴＦを反転させて、カメラによって取り込まれた線形の光信号を再生する。次いで、ＥＯＴＦは、表示されたイメージが主観的に正しく見えるように、表現意図を適用する。順に適用されたＯＥＴＦ及びＥＯＴＦの組合せは、表現意図であり、光−光学伝達関数（ＯＯＴＦ）としても公知である。

慣習的に、ＯＥＴＦは、３つの色成分に独立して適用される（原理的には、ＯＥＴＦは、分離不可能な３つの色成分の結合関数である）。これにより、３つの独立した１次元ルックアップテーブル（１Ｄ ＬＵＴ）を用いてＯＥＴＦを非常に簡単に実施することができる。同様に、ＥＯＦＴはまた、慣習的に、３つの色成分上で独立して実施される。一般的に、ＥＯＴＦは、ディスプレイパネルの直前で、３つの非線形デジタル−アナログコンバータ（ＤＡＣ）を用いて実現され、それは、独立した１Ｄ ＬＵＴを用いることと同等である。しかしながら、上述したように、これは色の変化につながる。そのため、ＥＯＴＦは、３つの色成分の結合関数として実施するのが理想的である。これは、１Ｄ ＬＵＴを用いる場合よりも少し複雑であるが、３次元のルックアップテーブル（３Ｄ ＬＵＴ）で実施することができる。

ＥＴＦのうち２つだけ、即ちＥＯＴＦ及びＯＯＴＦのうちが独立している。関数表記では、

である。これは、連結を表すために記号

を使用すると、より見やすくなる。この表記法を用いれば、これらの３つの非線形性の間に以下の３つの関係が得られる。

ディスプレイ参照信号チェーンは、表面的には類似して見える（そのため図示しない）が、信号は、ディスプレイ参照画像データに対応する。重大な相違点は、ＥＯＴＦが固定されており、ディスプレイの明るさ、ディスプレイの黒色レベル又は鑑賞環境（特にディスプレイを囲む輝度）につれて変化しないことである。表現意図又はＯＯＴＦは、ディスプレイ特性及び鑑賞環境に応じて変化して、主観的に許容可能な映像を生成する必要がある。従って、ディスプレイ参照信号の場合、ＯＯＴＦひいてはＥＯＴＦは、信号を表すべき特定のディスプレイ及びその鑑賞環境に依存する必要がある。映画を映画館で鑑賞するなどの固定鑑賞環境の場合では、これが可能である。テレビの場合、プログラムの制作時にディスプレイ及び環境が不明なとき、これは実用的ではない。実際には、ディスプレイ参照信号は、非ライブの番組を制作することを意図している。ＯＥＴＦは、画像が「マスタとなる」ディスプレイ上に正しく見えるまで、画像がオペレータによって調整されるので、殆ど無関係である。
シーン参照信号からディスプレイ参照信号への変換

図５は、シーン参照信号からディスプレイ参照信号への変換を提供する、本発明の第１の実施形態を示す。思い出すと、シーン参照信号は、輝度値が相対的であり、そのため無次元である信号である。従って、このような信号を、ディスプレイ参照信号を期待するディスプレイに絶対値を用いて表すためには、変換が必要である。受信されたディスプレイ独立信号は、定めたディスプレイに依存しないので、任意のディスプレイに同等にうまく表現することができる。そのような信号は、例えばソニーのＳ−Ｌｏｇ、パナソニックのＰａｎａｌｏｇ及びＡｒｒｉのＬｏｇ Ｃのような、専有カメラ製造業者の信号を含む。
第１のステップでは、逆光−電気伝達関数を使用して、通常はシーン参照信号の生成に使用されるＯＥＴＦのエフェクト参照信号を反転させる。この処理ステップの出力はシーン光信号である。重要なことに、従来の配置では見られないが、光−光伝達関数ＯＯＴＦが変換チェーンに適用される。処理チェーンで適切に用いるＯＯＴＦにより、目標ディスプレイの表現意図が変換において適切に考慮されることが保証される。これは、図５及び図６の実施形態に当てはまる。図７及び図８の実施形態では、受信信号内の表現意図を適切に考慮するために逆ＯＯＴＦが使用される。

従って、ＯＥＴＦ_s ^-1は、シーン参照信号に対する逆ＯＥＴＦであり、ＯＯＴＦは、以下でより詳細に説明する所望の表現意図であり、ＥＯＴＦ_d ^-1はディスプレイＥＯＴＦの逆数である。

ＯＯＴＦのデザインは、ガンマ曲線を用いて説明するが、ガンマ曲線に対する代替の心理−視覚曲線に向けに、同様の手順が使用できる。ＯＥＴＦ_s ^-1は、カメラによって検出されたシーンからの線形光を再生する。これから、（正規化された）シーン輝度Ｙ_sを計算することができ、たとえば、ＵＨＤＴＶの場合、

であり、式中下付き文字ｓは、シーンに関する値を示す。シーンの輝度にたとえば、ガンマ曲線を用いて表現意図を適用する。

ここで、適切なガンマは、上記近似した一般式を用いて計算することができ、別の方法でも良い。ガンマを計算する際には、意図したピーク画像輝度Ｌ_peak、及びディスプレイの周囲の輝度Ｌ_surroundを選択する必要がある。周囲の輝度は、ディスプレイ内のセンサ又は他の方法で測定することができる。代わりに、周囲の輝度は、予想される又は標準化された（「参照」）鑑賞環境に基づいて推定することができる。表示された輝度が分かると、ディスプレイに表すべき赤色、緑色、青色の成分を計算して、各ＲＧＢ成分（式１）

にＯＯＴＦを直接実施することができ、式中、下付きｄは、ディスプレイに関する値を示す。上述したように、シーン参照データは、無次元でかつ範囲［０：１］に正規化されるが、ディスプレイ参照データは、次元がｃｄ／ｍ²である。ディスプレイ参照値に変換するには、それらは選択したピーク画像輝度Ｌ_peakを掛ける（「スケール変更する」）必要がある。最後に、このように計算された線形光の値は、ディスプレイ参照ＥＯＴＦ、逆数のＯＥＴＦ_s ^-1を用いて「符号化」する必要がある。

変換は様々な様式で実施することができる。個々の構成要素は、ルックアップテーブル及びスケール変更を算術乗算器として用いて実施できる。ＯＥＴＦ及びＥＯＴＦは、１Ｄ ＬＵＴを用いて実施できるが、ＯＯＴＦは、３Ｄ ＬＵＴを必要とする。代わりに、変換は、全ての別個の構成要素を組み合わせる単一の３Ｄ ＬＵＴを用いて実施することが都合良い。

上記の要約として、本発明の実施形態は、処理チェーン内のステップとして光学的な視覚伝達関数（ＯＯＴＦ）を適用して、目標ディスプレイの表現意図を適切にもたらす。さらに、正規化された値と絶対値との間で変換するスケール変更ステップを設ける。この実施形態の特定の特徴は、ＯＯＴＦが色を変更しないこと、より具体的には、ＯＯＴＦ、色相又は彩度を変更しないことであり、これは、ＲＧＢからの信号を、次いでガンマが与えられる別の輝度成分に変換することによって達成できる。ＯＯＴＦは、ＲＧＢ成分に、ＲＧＢ成分の相対値が変化せず色が変化しないように直接与えることが好ましい。実際には、これによりＯＯＴＦがＲＧＢ成分に直接適用されて、全体の輝度は変わるが、色は変わらない。

図６は、シーン参照信号からディスプレイ参照信号への変換の変形例を示し、シーン参照信号は絶対値ではなく相対値を有するにもかかわらず、信号に固有の多少の表現意図を有する。

一部の信号は、シーン参照信号及びディスプレイ参照信号の両方の特性を有する。この文書は、そのような信号を「類似」シーン参照信号と呼ぶ。これらは従来のＳＤＲ信号を含む。そのような信号では、代替の変換方法により、より高品質の結果を得ることができる。

従来のＳＤＲ信号では、表現意図は、標準化されて、ディスプレイの明るさにつれて変動しない。これは、信号がディスプレイの明るさ及び鑑賞環境にある程度依存することを暗に意味する。ピーク表示輝度が周囲の輝度に対して一定であり、この比率にある程度の許容度がある場合、表現意図は適切である。実際には、ＳＤＲ信号の場合、実質的に正確であるべきディスプレイの明るさが実質的に変動可能でも、表現意図向けの条件は、類似通常満たされる。

類似シーン参照信号からディスプレイ参照信号への最高品質の変換が必要なとき、「参照」ディスプレイ上に表示することを意図した光から線形シーン光を引き出すことが好ましい。引出しは、シーン参照信号に適用される表現意図を考慮に入れる。このようなアプローチは、ＢＢＣ白書２８３に提案されるように、一部のＨＤＲシーン参照信号にも有益であり得て、従来のＳＤＲ信号と同様の特性を有する。

図６に示す変換技術における相違は、入力信号から線形シーン光をどのように引き出すかのみである。前述のように、長方形は処理ステップを示し、丸いボックスは処理チェーン内の値の意味を説明する。「シーン光」信号は、カメラによって取り込まれた（正規化された）線形光信号であり、「ディスプレイ光」は、ディスプレイ上に表すことを意図した線形光の強度値である。

ここで、表現意図又はＯＯＴＦは、下付き文字によって区別される。下付き文字「ｄ」は、ディスプレイ参照信号を生成するために用いるＯＯＴＦを示す。下付き文字「ｒ」は参照ＯＯＴＦを示す。参照ＯＯＴＦは、信号が「参照」ディスプレイ上に表現されるような場合に用いるＯＯＴＦである。ＯＯＴＦ_r ^-1は、参照ＯＯＴＦ_rの逆数を表し、すなわちそれは、ＯＯＴＦ_rを「元に戻す」。

処理チェーンの第１の機能ブロックＥＯＴＦ_rは、参照モニタ（ディスプレイ）に特定非線形性を適用する。これは、参照モニタ上に表される線形の光成分を発生する。すなわち、

であり、式中、Ｒ_r、Ｇ_r、及びＢ_rは、（仮想）参照モニタ上の線形光成分である。Ｒ_s’、Ｇ_s‘’及びＢ_s’は、非線形（ガンマ補正）類似シーン参照信号である。全ての信号が範囲［０：１］に正規化されていることに注意されたい。これらの方程式は、ＥＯＴＦが、全ての色成分に独立して適用される（例えば、１Ｄ ＬＵＴで実施される）と仮定し、その仮定は、通常は当てはまるが、変換を実行するには必要でないことにも注意されたい。例えば、ＥＯＴＦがＩＴＵ−Ｒ ＢＴ １８８６によって（おそらく）特定されるＵＨＤテレビ信号を考え、ＥＯＴＦは、指数２．４のガンマ曲線で近似することができる。この例では、ＥＯＴＦ_r（ｘ）＝ｘ^2.4であり、その結果、

である。上述したように、線形光成分が分かれば、参照輝度Ｙｒを計算することができる。

暗示するシステムガンマ（それは実施ＯＯＴＦ_r ^-1である）を元に戻すために、まず

を考え、式中、Ｒ_s、Ｇ_s、Ｂ_s及びＹ_sは、シーンの線形光成分（これは後に説明する）である。表現意図がガンマ曲線であると仮定し（しかもゼロの黒色オフセットを仮定すると）、

である。

これは、逆ＯＯＴＦの実施が（式２）

であることを暗に意味する。たとえば、標準ダイナミックレンジ（ＳＤＲ）のＵＨＤＴＶでは、システムガンマは１．２であることが分かっている（例えば、消費者フラットパネルディスプレイ（ＦＰＤ）向けのＥＢＵ−ＴＥＣＨ ３３２１、添付書類Ａ、２００７年参照）。

そのため、ここでシーン（「シーン光」）に対応する線形状の光成分に明示的な値を設定する。明示的な値は、参照シーンから参照ディスプレイへの変換に関連するので、明示的な値を用いてディスプレイ参照信号を発生することができる。
ディスプレイ参照信号からシーン参照信号への変換

図７は、ディスプレイ参照信号からシーン参照信号への変換を示す。これは、一般的に、限定するものではないが、映画の固定鑑賞環境でのディスプレイ向けの信号を、固定鑑賞環境なしで、テレビ向けのフォーマットに変換するときに生じる。

ここでは、ディスプレイＥＯＴＦ_dを用いてディスプレイ上に表すことを意図した線形の「ディスプレイ光」が最初に発生する。これは、単位がｃｄ／ｍ²の値を発生する。ディスプレイ光は、そのピーク値により除算されて、無次元の正規化された値を与える。次いで、映像が主観的に正しく見えることを保証するために適用された表現意図（ＯＯＴＦ_d）は、表現意図の逆数（ＯＯＴＦ_d ^-1）を適用することによって元に戻される。これにより、実際のシーン（「シーン光」）を鑑賞するカメラによって検出された、（線形の）光を表す正規化された信号が発生する。最後に、線形のシーン光は、シーン参照信号のＯＥＴＦ_rを用いて符号化される。

ディスプレイ光のピーク値は、変換プロセスへの入力として与えることができ、又はそれは、信号自体を分析することによって決めることができる。表示すべきピーク値はフレーム毎に変化し得るので、完全な信号が未だ利用可能でないときは、ライブ映像シーケンス（例えば、ライブスポーツイベントから）のピーク値を推定することはより困難である。シーン参照信号からディスプレイ参照信号に変換するときは、ピーク信号値を選択する必要があることに注意されたい。この反転ケースでは、ディスプレイ参照信号からシーン参照信号へ変換、この同じ情報、ピーク信号値を提供又は推定する必要がある。

ＯＯＴＦ_dを反転させることは、上述した類似シーン参照信号を参照信号に変換するとき、ＯＯＴＦを反転させる際に用いるのと同じプロセスである。

図８は、ディスプレイ参照信号からシーン参照信号への変換の変形例を示す。ＢＢＣ白書２８３に記載されるように、ディスプレイ参照信号を類似シーン参照信号に変換するのが望ましいことがある。

この変換では、「シーン光」の前の信号チェーンにおける処理は方法２と同じであるが、類似シーン参照信号を発生するための「シーン光」の符号化は異なる。「シーン光」を符号化するには、最初に参照ＯＯＴＦ_rを適用する。これは、線形のシーン光Ｙ_sの輝度成分にガンマ曲線を適用することでも良く、即ち

である。

次いで、個々の色成分は（式３）

によって与えられ、「シーン光」の符号化は、参照ＥＯＴＦ_r（例えば、 ＩＴＵ−Ｒ ＢＴ １８８６）を適用することによって完了する。
異なるディスプレイ参照信号間の変換

図９は、１つのディスプレイ参照信号（１つの目標ディスプレイ用）から別のディスプレイ参照信号（異なるディスプレイ用）への変換を示す。

各ディスプレイ参照信号は、それらが持つ信号のピークレベルが異なる。各信号は、特定のディスプレイ（ひいては「ディスプレイ参照」）に関連する。信号は、ディスプレイが、特に信号のピークレベル及びディスプレイ周囲の輝度レベルが不明であれば、不完全である（その理由は、これらの値は、主観的な品質を高めるために映像をどのように表現するかを決めるからである）。このデータは、メタデータとして信号とともに伝達することができ、又はピーク信号レベルは、測定し又は信号自体及び測定した周囲輝度から推定することができ、或いは規格文書から又は現在の製造実務の知識から推論することができる。ＳＭＰＴＥ ＳＴ ２０８４は、添付書類ＢにてＨＤＴＶ及びデジタル映画用の２つの「参照鑑賞環境」を提示する。ＨＤＴＶ環境は、「輝度が８ｃｄ／ｍ²から１２ｃｄ／ｍ²である」。デジタル映画環境は、スクリーンからの反射光のレベルのみを示し、背景照明を直接示さず、それは推定する必要がある。

従って、ディスプレイ参照信号は、輝度及び鑑賞環境が異なる各ディスプレイ上に生成された（又は「マスタとされた」された）各信号の「コンテナ」と考えることができる。

異なるディスプレイ参照信号は、異なる「マスタとなる」ディスプレイに関連することがあるので、それらの間で変換する必要がある。さらに、そのような変換は、１つのピーク輝度及び周囲の照明でマスタとされた信号が、異なるピーク輝度及び周囲の照明でどのように再現できるかを暗に示す。そのため、ディスプレイ参照信号間で変換するためのこの技術は、１つのディスプレイ用の信号を、異なるディスプレイ上に高品質で表現するためにも使用できる。例えば、番組又は映画は、ピーク輝度が４０００ｃｄ／ｍ²である明るいディスプレイ（例えば、ドルビー「パルサー」ディスプレイ）上でマスタとすることができるが、調光モニタ、例えばＯＬＥＤディスプレイ（おそらく１０００ｃｄ／ｍ²）又はシネマディスプレイ（４８ｃｄ／ｍ²）上に示すのを望むこともできる。この開示の以前には、この変換／表現を達成するのに満足できる自動（アルゴリズム）方法は提案されていない。代わりに、ＳＭＰＴＥ ＳＴ ２０８４の提案者は、番組又は映画を手動で再調整（即ち調整）して、満足のいく主観的な経験をもたらすことを提案する。この変換を自動的に実行する方法は、コスト及び生産ワークフローの簡素化の点で、大きな利点をもたらすことは明らかである。

この変換は、上述したディスプレイ参照からシーン参照への変換の「シーン光」の前の処理（即ち、第１のスケール変更率及び逆の第１のＯＯＴＦ_d1 ^-1と縦接続した第１のＥＯＴＦ_d1）を、シーン参照からディスプレイ参照への変換の「シーン光」の後の処理を（即ち、第２のスケール変更率及び逆の第２のＥＯＴＦ_d2 ^-1と縦接続した第２のＥＯＴＦ_d2）と連結させることによって実施できる。ディスプレイ参照信号１のピーク信号値は、信号を正規化する（「スケール変更１」）ために必要である。背景照明と一緒にＯＯＴＦ_d1を計算することも必要であり、それは、上述したように決定されたガンマを持つガンマ曲線とすることができる。ピーク信号値及び背景照明は、ディスプレイ２にも必要であることに注意されたい。ピーク信号２は、正規化された信号に乗算して（「スケール変更２」）、絶対的な（線形の）信号を生成するために使用され、信号は正しい振幅及び次元ｃｄ／ｍ²を持つ（及び第２のガンマ値を計算するための背景照明を持つ）ことに注目されたい。これらのピーク信号値及び背景照明を適切に選択することによって、信号は、異なるディスプレイ参照信号間で変換でき、又は生成に用いる（「マスタとすること」）ディスプレイ以外のディスプレイ上に表示される。
シーン参照信号と類似シーン参照信号との間の変換

完全性のために、シーン参照信号と類似シーン参照信号との間の変換を説明する。これらは、本発明の主要な実施形態ではないが、同様のステップが実行される。

上記節では、３種類の信号、即ちシーン参照信号（例えば、Ｓｏｎｙ Ｓ−Ｌｏｇのような専用のカメラ応答曲線）、類似シーン参照信号（例えば、ＩＴＵ−Ｒ ＢＴ １８８６を参照ＥＯＴＦとして用いるＩＴＵ−Ｒ ＢＴ ７０９）、又はディスプレイ参照信号（例えば、 ＳＭＰＴＥ ＳＴ ２０８４）を考えた。３種類の信号を用いれば９種類の変換が可能であり、４種類の変換のみ上述した。残りの変換は、シーン参照信号と類似シーン参照信号との間に存在し、それも有用でもあり得る。これらの変換は、上記の方法で「シーン光」の前後で処理の順序を変えることによって実施できる。

シーン参照信号から類似シーン参照信号への変換につき、この変換は、図５の「シーン光」の前の処理（即ちＯＥＴＦ_s ^-1）を、図８の「シーン光」の後の処理（ＥＯＴＦ_r ^-1と縦接続されたＯＯＴＦ_r）と連結することによって実施できる。

類似シーン参照信号からシーン参照信号への変換につき、この変換は、図６の「シーン光」の前の処理（ＯＯＴＦ_r ^-1で縦接続されたＥＯＴＦ_r）を、図７の「シーン光」の後の処理（即ちＯＥＴＦｓ）と連結することによって実施できる。

類似シーン参照信号から異なる類似シーン参照信号への変換につき、この変換は、図６の「シーン光」の前の処理（すなわち、第１のＯＯＴＦ_r ^-1と縦接続された第１のＯＯＴＦ_r）を、図８の「シーン光」の後の処理（すなわち、第２のＥＯＴＦ_r ^-1と縦接続された第２のＯＯＴＦ_r）と連結することによって実施できる。

シーン参照信号から異なるシーン参照信号への変換につき、この変換は、図５の「シーン光」の前の処理（即ち、第１のＯＥＴＦ_s ^-1）を、図７の「シーン光」の後の処理（即ち第２のＯＥＴＦ_s）と連結することによって実施できる。この変換技術は、現在の技術で周知である。

シーン参照画像データ
シーン光
スケール変更
ディスプレイ光

Claims (23)

1. 第１のディスプレイ向けの入力ビデオ信号を処理して、第２のディスプレイに適した出力信号を生成するための方法であって、
   相対的なシーン光値を与え、及び
   入力ビデオ信号又は出力ビデオ信号の表現意図を除去又は適用し、
   前記表現意図を除去し又は適用することにより輝度を変えるように配列された、１つ以上の伝達関数を用いる変換段階を備える、ことを特徴とする方法。
2. 前記表現意図を除去し又は適用することは、輝度成分に適用する、請求項１に記載の方法。
3. 前記表現意図を除去し又は適用することは、色が変化しないように、ＲＧＢ成分に相対値を変えることなく適用する、請求項１に記載の方法。
4. 絶対範囲と相対範囲との間で変換するスケール変更段階をさらに含む、請求項１に記載の方法。
5. 前記入力信号又は前記出力信号の少なくとも一方がディスプレイ参照信号であり、前記表現意図は、前記ディスプレイ参照信号の表現意図である、請求項１から４の何れか１つに記載の方法。
6. 前記出力信号はディスプレイ参照信号であり、前記表現意図を除去し又は適用することは、前記ディスプレイ参照信号用の表現意図を与える光−光学伝達関数である、請求項５に記載の方法。
7. 前記入力はディスプレイ参照信号であり、前記表現意図を除去し又は適用することは、前記ディスプレイ参照信号から前記表現意図を除去するための逆光−光学伝達関数である、請求項５に記載の方法。
8. １つ以上の伝達関数は、変換をもたらす値を有する３Ｄ−ＬＵＴによって与える、請求項１から７の何れかに記載の方法。
9. 前記表現意図を除去し又は適用することは、本明細書中の式１、２又は３の何れかよる入力ＲＧＢ値の関数として適用される、請求項１から８の何れかに記載の方法。
10. 第１のディスプレイ向けの入力ビデオ信号を処理して、第２のディスプレイに適した出力信号を生成するためのコンバータであって、
    相対的なシーン光値を与え、及び
    入力ビデオ信号又は出力ビデオ信号の表現意図を除去又は適用し、
    前記表現意図を除去し又は適用することにより輝度が変わるように配列された、１つ以上の伝達関数を備える、ことを特徴とするコンバータ。
11. 前記表現意図を除去し又は適用することは、輝度成分に適用される、請求項１０に記載のコンバータ。
12. 前記表現意図を除去し又は適用することは、色が変化しないように、ＲＧＢ成分に相対値を変更することなく適用する、請求項１０に記載のコンバータ。
13. 絶対範囲と相対範囲との間で変換するスケール変更するための手段をさらに備える、請求項１０から１２の何れか１つに記載のコンバータ。
14. 前記入力信号又は出力信号の少なくとも一方はディスプレイ参照信号であり、前記表現意図は前記ディスプレイ参照信号の表現意図である、請求項１０から１３の何れか１つに記載のコンバータ。
15. 前記出力信号はディスプレイ参照信号であり、前記表現意図を除去し又は適用することは、前記ディスプレイ参照信号の表現意図を提供するための光−光学伝達関数である、請求項１４に記載のコンバータ。
16. 前記入力はディスプレイ参照信号であり、前記表現意図を除去し又は適用することは、前記ディスプレイ参照信号から前記表現意図を除去するための逆光−光学伝達関数である、請求項１４に記載の方法。
17. １つ以上の伝達関数は、前記変換をもたらす値を有する３Ｄ−ＬＵＴによって与える、請求項１０から１６の何れか１つに記載の方法。
18. 前記表現意図を除去し又は適用することは、本明細書中の式１、２又は３の何れかによる入力ＲＧＢ値の関数として適用される、請求項１０から１７の何れか１つに記載の方法。
19. 請求項１０から１８の何れか１つに記載のコンバータを備える、ことを特徴とする装置。
20. 請求項１０から１８の何れか１つに記載のコンバータを備える、ことを特徴とする受信機、セットトップボックス又はディスプレイ。
21. 請求項１０から１８の何れか１つに記載のコンバータを備える、ことを特徴とするシステム。
22. 請求項１から９の何れか１つに記載の方法を実施するように配置された手段を備える、ことを特徴とするスタジオチェーンの一部である装置。
23. 請求項１０から１８の何れか１つに記載のコンバータを備える、ことを特徴とする送信機。

Images