JP2013520687A - 高ダイナミックレンジのビデオ・トーン・マッピングのためのパラメータ補間 - Google Patents

Abstract

低ダイナミックレンジ・ディスプレイでの表示のために高ダイナミックレンジ（HDR）ビデオをトーン・マッピングする方法が、前記HDRビデオにアクセスする段階と；個々のフレームについてのルミナンス情報を生成する段階と；フレームの異なる相続く諸グループを前記ルミナンス情報に応じてセグメントに分割する段階と；前記セグメントを静的ルミナンス・セグメントおよび過渡ルミナンス・セグメントに分類する段階と；前記静的ルミナンス・セグメントについてトーン・マッピング・パラメータ・セットを生成する段階と；前記過渡ルミナンス・セグメントの少なくとも一つについてのトーン・マッピング・パラメータ・セットを、隣接する静的ルミナンス・セグメントの前記トーン・マッピング・パラメータ・セットに応じて生成する段階と；それぞれのトーン・マッピング・パラメータ・セットに従って前記静的ルミナンス・セグメントおよび過渡ルミナンス・セグメントをトーン・マッピングする段階とを含む。

Description

関連出願への相互参照
本願は2010年2月19日に出願された仮特許出願第61/338532号への米国特許法第119条(e)のもとでの出願日の利益を主張するものである。

発明の分野
本発明は、低ダイナミックレンジ（LDR: low dynamic range）ディスプレイ上での高ダイナミックレンジ（HDR: high dynamic range）コンテンツのトーン再現に、特に、変動する照明〔ライティング〕条件をもつビデオのためのトーン再現に関する。

現在、たいていのディスプレイ装置は、現実世界のシーンよりも低い、限られたダイナミックレンジをもつ。低ダイナミックレンジ（LDR）ディスプレイ装置に示されるHDRシーンは通例、飽和しているか（写真でいう露出過剰に対応する）、極端に暗い（露出不足に対応する）ことになる。いずれの場合も、無数の詳細が失われることがあるので、望ましくない。

HDRビデオ・フォーマットにおける視覚的内容の量は大幅に増加してきた。よって、HDRビデオのためのトーン・マッピングは産業界のみならず学界においても多くの関心を引きつけてきた。しかしながら、静止画のトーン・マッピングに比べ、HDRビデオのトーン・マッピングには比較的非常に少ない努力しか払われていない。

比較的静的な照明条件をもつビデオ・シーンについては、既知のパラメータ推定方法はいい性能を発揮してきた。そのような場合、一般に、一組の固定したパラメータが、静的な照明条件をもつ同じビデオ・セグメント中のすべてのフレームに適用される。

しかしながら、ビデオのシーン内で変動する照明条件については、固定したパラメータの組を諸フレームに適用すると、貧弱なトーン・マッピング結果を生じていた。これは、トーン・マッピング・パラメータがフレームによって変わることができるからである。よって、変動する照明をもつ諸シーンにおいてトーン・マッピングを適正かつ効果的に実行できるトーン・マッピング・プロセスが必要とされている。

低ダイナミックレンジ・ディスプレイでの表示のために高ダイナミックレンジ（HDR）ビデオをトーン・マッピングする方法が、前記HDRビデオにアクセスする段階と；個々のフレームについてのルミナンス情報を生成する段階と；フレームの異なる相続く諸グループを前記ルミナンス情報に応じてセグメントに分割する段階と；前記セグメントを静的ルミナンス・セグメントおよび過渡ルミナンス・セグメントに分類する段階と；前記静的ルミナンス・セグメントについてトーン・マッピング・パラメータ・セットを生成する段階と；前記過渡ルミナンス・セグメントの少なくとも一つについてのトーン・マッピング・パラメータ・セットを、隣接する静的ルミナンス・セグメントの前記トーン・マッピング・パラメータ・セットに応じて生成する段階と；それぞれのトーン・マッピング・パラメータ・セットに従って前記静的ルミナンス・セグメントおよび過渡ルミナンス・セグメントをトーン・マッピングする段階とを含む。本方法はさらに、少なくとも一つのパラメータ型を補間して、前記過渡ルミナンス・セグメントの前記少なくとも一つについての前記トーン・マッピング・パラメータ・セットを、二つの隣接する過渡ルミナンス・セグメントのトーン・マッピング・パラメータ・セットから生成することを含むことができ、前記少なくとも一つのパラメータ型はアンカー点、コントラスト・ブースト・レベルおよび／または露出値であることができる。前記分割する段階は、前記フレームのフレーム・レベルの平均ルミナンスに、フレームごとの低域通過フィルタを適用して前記ルミナンス情報を生成することを含むことができ、あるいは代替的に、前記分割する段階はさらに、フィルタ処理されたフレーム・レベルの平均ルミナンスのルミナンス勾配を生成して前記ルミナンス情報を生成することを含むことができる。前記フレームごとの低域通過フィルタ処理段階のいずれかから得られたピークおよび関連するバンド幅データは、前記諸グループを分割するために使うことができる。さらに、いくつかの過渡ルミナンス・セグメントに対して遅延が適用されることができ、前記少なくとも一つの過渡ルミナンス・セグメントの先頭の少なくとも一つのフレームは、前記過渡ルミナンス・セグメントについての前記パラメータ・セットを用いてトーン・マッピングされず、前記少なくとも一つの過渡ルミナンス・セグメントにおける後続の諸フレームは前記過渡ルミナンス・セグメントについての前記パラメータ・セットを用いてトーン・マッピングされる。

本発明についてこれから、付属の図面を参照しつつ説明する。
本発明に基づくトーン・マッピングのためのパラメータ・セットを決定するためのフローチャートである。 本発明に基づくビデオ・シーケンス分割のためのフローチャートである。 フレームごとにビデオ・シーケンスにおいていかに平均ルミナンスが変化しうるかの例を示すグラフである。 低域通過フィルタ処理後に、フレームごとにビデオ・シーケンスにおいていかに平均ルミナンスが変化しうるかの例を示すグラフである。 図４の低域通過フィルタ処理されたビデオ・シーケンスの勾配を示すグラフである。 図５の勾配の低域通過フィルタ処理の結果を示すグラフである。

本開示は、一般に、変動する照明条件をもついくつかのシーンをもつビデオに関する。概括的なアプローチは、まず、ビデオ中の諸シーンの開始時間および終了時間を検出することで始まることができる。その後、本アプローチは、静的な照明をもつ前および次のシーンのパラメータ値を補間することによって、変動する照明条件をもつシーンの全フレームについてパラメータを計算することを含む。

開示される発明の概括的なシステム図は図１として示されている。全体として、パラメータ補間の方式は、まず、二つ以上のシーンをもつHDRビデオ１０１を取得することによって実行されることができる。次のステップは、ビデオを解析し、シーンまたはセグメントに分割する（１０２）ことを含むことができる。ここでの解析は、セグメントを静的なセグメントまたは過渡的なセグメントに分類することを含む。これに続いて、静的セグメントについてパラメータ・セットを推定する（１０３）。次いで、過渡セグメントについてのパラメータ・セットが、補間１０４され、評価１０５される。評価は、適切なユーザー・インターフェースを使って実行できる。静的セグメントおよび過渡セグメントについての前記パラメータ・セットの適用が満足いくものなら、トーン・マッピングは前記パラメータ・セットに従って実行される（１０６）。前記パラメータ・セットの適用が満足いくものでないなら、ステップ１０３、１０４、１０５が再実行されて、静的セグメントのための新たなパラメータ・セットが推定され、見出される。

図２は、本発明に基づくステップ１０２におけるビデオ・シーケンス分割のためのフローチャートである。ビデオ１０１が取得され、解析され、静的セグメントおよび過渡セグメントに分割１０２される。処理の流れは次のようになる：各フレームの平均ルミナンスが計算され（２０２）；フレームごとの低域通過フィルタ処理２０３が平均ルミナンス・データに適用され；低域通過フィルタ・ルミナンス・データの勾配が計算され（２０４）；フレームごとの低域通過フィルタ処理２０５が勾配データに適用され；フィルタ処理された勾配データからピークが検出され、関連するバンド幅が計算され（２０６）；過渡セグメントおよび静的セグメントの位置がピークおよびバンド幅データから計算される（２０７）。

図２の処理の流れに関し、入力HDRビデオのフレーム・レベルの平均ルミナンスが解析される。各フレームの平均ルミナンスが時間とともに変化しうることを念頭に置くことが重要である。このことは図３に示されている。図３は、ビデオ・シーケンスにおける種々のフレームにおいて平均ルミナンスがいかに変化しうるかを示している。さらに、ビデオは、平均ルミナンス変化に従って、いくつかのセグメントに分割されることができる。ここで、同じような平均ルミナンスをもつ相続くフレームが静的セグメントを特徴付ける。二つの静的セグメントの間のフレームは、時間とともに徐々に変化する平均ルミナンスを有することがあり、これは過渡セグメントとして特徴付けられることができる。たとえば、図３において、同じような平均ルミナンスをもつフレーム０ないし６０付近までおよびピークにおけるフレーム９０付近のフレームは静的セグメントであることができ、それらの中間にあるフレームは過渡セグメントをなすことができる。

各過渡セグメントの開始時点および終了時点を検出するために、平均ルミナンス・シーケンスの解析に基づく方式が提案される。この方式は次のようなものである。

ａ）図３における平均ルミナンス・シーケンス２０３に低域通過フィルタを適用して、図４に示されるように、ルミナンスを平滑化する。

ｂ）平滑化されたルミナンス・シーケンスの勾配を、図５に示されるように計算し（２０４）、任意的に、図５の勾配に低域通過フィルタを適用して（２０５）、図６に示されるようななめらかな勾配を得る。

ｃ）図５における勾配曲線または図６における低域通過フィルタ勾配曲線における各ピークのピークおよびバンド幅を検出する（２０６）。

ｄ）過渡および静的位置を計算する（２０７）。

各過渡領域の開始時点は、ピーク・フレーム番号からバンド幅の半分を引くことによって計算または推定されることができる。該過渡領域の終了時点は、ピーク・フレーム番号にバンド幅の半分を足すことによって計算されることができる。

静的セグメントおよび過渡セグメントが位置特定されたのち、静的セグメントのキー・フレームについてのパラメータ・セットが推定され、次いでセグメント全体に適用される。パラメータ・セットは、そこから画像がいくつかの領域にセグメント分割できるアンカー点、各領域についての露出値、コントラスト・ブースト・パラメータおよびHDRトーン・マッピングのための他の任意の必要とされるパラメータを含むことができる。パラメータ・セットに関し、露出値、アンカー点およびコントラスト・ブーストは、いくつもある技法のいずれによって得ることもできるが、コントラスト・ブーストおよびアンカー点について以下でより詳細に論じておく。

少なくとも一つの実装において、一連のアンカー点A_i（i＝1…N）を、各A_iが領域を定義するとともに単一露出画像を生成するために使用できるよう定義できる。アンカー点は次のように選ばれることができる。

A₁＝L_avg/E A_n+1＝4・A_n (n＝2,…,N−1)
ここで、上式におけるEは定数であり、たとえば8の値を取ることができる。上式において領域の数Nは下記のように計算でき、そうすればルミナンス範囲全体をカバーできる。

Lはルミナンス画像であり、これはHDRデータから計算できる。HDRデータがXYZ色空間にあるとすると、Y成分がルミナンス画像として使用できる。HDRデータがRec.709と同じ原色を使う場合、RGB色空間からの変換は次のようにできる。

L(i,j)＝0.2126×R(i,j)＋0.7152×G(i,j)＋0.0722×B(i,j)
入力画像のフォーマットに依存して、RGB（または他の色空間）とルミナンス画像との間の他の変換が使われることもできる。

ひとたび各領域のアンカー点がわかれば、各領域について各ピクセルの重みを計算できる。一般に、対応するアンカー点A_iによって定義される各領域について、単一露出画像に最も近い値をもつピクセルは0.5であり、そのピクセルは、その領域について、他のピクセルよりも大きな重みをもつ。

よって、（アンカー点A_nによって定義される）領域nについての位置(i,j)にあるピクセルの重みは、次のように計算できる。

ここで、Cは規格化因子であり、次のように定義される。

上記の計算された重みは、範囲[0,1]内の値を取り、よってルミナンス画像のN個の領域へのファジーなセグメント分割を定義する。これは、一部のピクセルのみが大きな重みをもつことがありうるものの、各領域が画像中のすべてのピクセルを含みうることを意味する。

線形スケーリングでは、一つのアンカー点を指定できる。ピクセルのルミナンスがそのアンカー点を超える場合、そのピクセルは飽和するまたは1にマッピングされる。そうでない場合、そのピクセルは0と1の間の値にマッピングされる。したがって、線形スケーリング単一露出は、Aをアンカー点として、

として定義でき、S(x)は

として定義できる。パラメータρは範囲[2.2,2.4]内の値を取ることができ、トーン・マッピングされた画像が示される出力装置のガンマを表す。結果として得られる画像Iは、量子化され、通常のLDRディスプレイ上に表示されることができる。S(x)の他の定義も可能であることを注意しておく。たとえば、冪関数の代わりにS字形曲線を使うこともできる。一般に、Sとしていかなるグローバル・マッピング曲線を使うこともできる。

もう一つの実装では、重みは二値化され、その結果0か1のどちらかになり、硬セグメント分割になる。

ひとたびセグメント分割が行われたらアンカー点A_nおよび重みW_nは固定されることを注意しておくことが重要である。

コントラスト・ブーストは、帯域通過ピラミッドを使うことによって得ることができる。帯域通過ピラミッドは、ラプラシアン・ピラミッドとして知られ、ピラミッドにおける隣り合うレベル間の差を形成することによって得られる。ここで、補間は、解像度の隣り合うレベルにおける表現間で実行され、ピクセルからピクセルへの差の計算を可能にする。I_kは画像Iのラプラシアン・ピラミッドの一つのレベルであり、k＝{1,…,K}である。kはレベルであり、Kはピラミッド中のレベルの数である。Iは、デジタル画像のある色成分を表すことができる。I(i,j)は、座標(i,j)におけるピクセルの値を表す。次いで、画像はピラミッドI^k・B^kによって再構成される。ここで、Bは、次の冪関数として特徴付けられるコントラスト・ブーストである。

ここで、形状コントローラαは範囲[0,1]内にあり、典型的には0.2から0.4までの間であり、ブースト強度βは通例範囲[0,2]内の正数である。β＜1はコントラストを増大させ、β＞1はコントラストを低下させることを注意しておく。これら二つのパラメータを使って、画像にどのくらいの向上（enhancement）を適用するかを制御できる。コントラスト・ブースト・ピラミッドB^k（k＝{1,…,K}）が異なる定式化を使って計算されることもできることを注意しておくべきである。

静的セグメントのためにパラメータ・セットが決定されたのち、本発明のある実装は、二つの隣接する静的セグメントのパラメータを補間のために使う。よって、図１に示される次のステップは、過渡セグメントのためにパラメータ・セットを補間すること（１０４）である。二つの補間方式が利用される。一方は光順応（light adaptation）のない補間であり、他方は光順応のある補間である。

光順応のないアプローチについての過渡セグメントについては、前のステップから得られた静的セグメントのパラメータに基づいてパラメータ・セットを補間できる。補間は、次のように、対数領域において線形補間として行うことができる。

ここでA、BおよびGは対数領域でのそれぞれアンカー点、コントラスト・ブースト・レベルおよび露出値を表し、mおよびnは過渡セグメントの開始および終了フレームのインデックスを表し、jは過渡セグメント内に位置する現在フレーム番号である。光順応が考慮されない場合、A、BおよびGの値が過渡セグメントについてのパラメータとして使われる。

しかしながら、人間の視覚系は、星の光未満から太陽光までにわたる、光度の膨大な範囲にわたって効果的に機能する。暗から明への変化からのより速い回復または小さな光減衰は、数秒かかることがあるが、明順応と呼ばれる。

光順応がある実装では、上記のパラメータ補間は、人間の視覚系がいかにして光条件の変化に適応するかをシミュレートするよう実行される。これは、環境がずっと明るくなるときに特に有用である。

本質的な発想は、パラメータ補間において遅延因子を導入することである。遷移期間中の最初の数フレームについては、前のシーンからのパラメータが引き続き使われる。その後、対数領域における線形補間が使われる。

ここでA、BおよびGは対数領域でのそれぞれアンカー点、コントラスト・ブースト・レベルおよび利得値を表し、mおよびnは過渡セグメントの開始および終了フレームのインデックスを表し、jは過渡セグメント内に位置する現在フレーム番号である。lは照明変化の開始からの時間遅延を表し、これが、人間の視覚系がいかにして急激な照明変化に適応するかをシミュレートする。通例、lの値は3〜6フレームに取られる。

ひとたび、過渡セグメントについてのパラメータ・セットが得られたら、それがビデオをトーン・マッピングするためにビデオに直接適用されることができる（１０６）かどうか、パラメータ・セットが評価１０５されることができる。上述したように、評価は、適切なユーザー・インターフェースを使って実行されることができる。静的セグメントおよび過渡セグメントについての前記パラメータ・セットの適用が満足いくものなら、トーン・マッピングは前記パラメータ・セットに従って実行され（１０６）、前記パラメータ・セットの適用が満足いくものでないなら、ステップ１０３、１０４、１０５が再実行されて、静的セグメントのための新たなパラメータ・セットが推定され、見出される。ステップ１０３、１０４および１０５の再実行は、勾配データに対して追加的な低域通過フィルタ演算を適用すること、および／または、コントラスト・ブースト・パラメータを修正することを含むことができる。

本発明のある種の実施形態を上記に記載してきたが、これらの記述は例解および説明のために与えられているものである。本発明の範囲および精神から外れることなく、上記のシステムおよび方法からのさまざまな変形、変更、修正および乖離を採用してもよい。

Claims (15)

1. 個々のフレームを有するビデオにアクセスする段階と；
   前記個々のフレームについてのルミナンス情報を生成する段階と；
   フレームの異なる相続く諸グループを前記ルミナンス情報に応じてセグメントに分割する段階と；
   前記セグメントを静的ルミナンス・セグメントおよび過渡ルミナンス・セグメントに分類する段階と；
   前記静的ルミナンス・セグメントについてトーン・マッピング・パラメータ・セットを生成する段階と；
   前記過渡ルミナンス・セグメントの少なくとも一つについてのトーン・マッピング・パラメータ・セットを、隣接する静的ルミナンス・セグメントの前記トーン・マッピング・パラメータ・セットに応じて生成する段階と；
   前記静的ルミナンス・セグメントおよび過渡ルミナンス・セグメントを、それぞれのトーン・マッピング・パラメータ・セットに従ってトーン・マッピングする段階とを含む、
   方法。
2. 少なくとも一つのパラメータ型を補間して、前記過渡ルミナンス・セグメントの前記少なくとも一つについての前記トーン・マッピング・パラメータ・セットを、二つの隣接する過渡ルミナンス・セグメントのトーン・マッピング・パラメータ・セットから生成することを含む、請求項１記載の方法。
3. 前記少なくとも一つのパラメータ型を、アンカー点、コントラスト・ブースト・レベルまたは露出値からなる群から選択することを含む、請求項２記載の方法。
4. 前記フレームのフレーム・レベルの平均ルミナンスに、フレームごとの低域通過フィルタを適用して前記分割する段階のための前記ルミナンス情報を生成する、請求項１記載の方法。
5. 前記フレームのフレーム・レベルの平均ルミナンスに、フレームごとの低域通過フィルタを適用し；
   フィルタ処理されたフレーム・レベルの平均ルミナンスのルミナンス勾配を生成して前記分割する段階のための前記ルミナンス情報を生成することを含む、
   請求項１記載の方法。
6. 前記フレームのフレーム・レベルの平均ルミナンスに、フレームごとの低域通過フィルタを適用し；
   フィルタ処理されたフレーム・レベルの平均ルミナンスのルミナンス勾配を生成し；
   前記勾配からピークおよび関連するバンド幅データを検出し；
   前記ピークおよび前記関連するバンド幅データを、前記分割する段階のための前記ルミナンス情報として使うことを含む、
   請求項１記載の方法。
7. 前記過渡ルミナンス・セグメントの開始時点が、ピーク・フレーム値と対応するバンド幅の半分との差から決定され、前記過渡ルミナンス・セグメントの終了時点が、ピーク・フレーム値とバンド幅の半分との和から決定される、請求項６記載の方法。
8. 前記フレームのフレーム・レベルの平均ルミナンスに、フレームごとの低域通過フィルタを適用し；
   フィルタ処理されたフレーム・レベルの平均ルミナンスのルミナンス勾配を生成して前記分割する段階のための前記ルミナンス情報を生成することを含む、
   請求項２記載の方法。
9. 前記フレームのフレーム・レベルの平均ルミナンスに、フレームごとの低域通過フィルタを適用し；
   フィルタ処理されたフレーム・レベルの平均ルミナンスのルミナンス勾配を生成し；
   前記勾配からピークおよび関連するバンド幅データを検出し；
   前記ピークおよび前記関連するバンド幅データを、前記分割する段階のための前記ルミナンス情報として使うことを含む、
   請求項２記載の方法。
10. 前記過渡ルミナンス・セグメントの開始時点が、ピーク・フレーム値と対応するバンド幅の半分との差から決定され、前記過渡ルミナンス・セグメントの終了時点が、ピーク・フレーム値とバンド幅の半分との和から決定される、請求項９記載の方法。
11. 前記フレームのフレーム・レベルの平均ルミナンスに、フレームごとの低域通過フィルタを適用して、前記分割する段階のための前記ルミナンス情報を生成する、請求項２記載の方法。
12. 前記少なくとも一つのパラメータ型を、アンカー点、コントラスト・ブースト・レベルまたは露出値からなる群から選択することを含む、請求項８記載の方法。
13. 前記少なくとも一つのパラメータ型を、アンカー点、コントラスト・ブースト・レベルまたは露出値からなる群から選択することを含む、請求項９記載の方法。
14. 少なくとも一つの過渡ルミナンス・セグメントに対して遅延を適用して、前記少なくとも一つの過渡ルミナンス・セグメントの先頭の少なくとも一つのフレームは、その過渡ルミナンス・セグメントについての前記パラメータ・セットを用いてトーン・マッピングされず、前記少なくとも一つの過渡ルミナンス・セグメントにおける後続の諸フレームはその過渡ルミナンス・セグメントについての前記パラメータ・セットを用いてトーン・マッピングされるようにすることを含む、請求項１記載の方法。
15. 前記遅延が3ないし6フレームである、請求項１４記載の方法。

Images