JP2016009494A

JP2016009494A - Ｌｄｒビデオシーケンスのダイナミックレンジ拡張方法及び装置

Info

Publication number: JP2016009494A
Application number: JP2015122904A
Authority: JP
Inventors: ボアタールロナン; Boitard Ronan; トロドミニク; Dominique Thoreau; ボアタッチカドゥ; Bouatouch Kadi; コゾレミ; Cozot Remi; チュルカンメフメト; Turkan Mehmet
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2014-06-20
Filing date: 2015-06-18
Publication date: 2016-01-18
Also published as: EP2958076A1; CN105205787A; EP2958075A1; KR20150145725A; US20150373247A1

Abstract

【課題】好ましくないシナリオにおいてＬＤＲビデオシーケンスのダイナミックレンジ拡張が必要である。
【解決手段】
ＬＤＲビデオシーケンスをダイナミックレンジ拡張する方法と装置を示唆する。示唆する方法は、ＬＤＲビデオシーケンスと、少なくとも１つのＨＤＲパノラマとを同時に取得する、ＨＤＲの画像はＬＤＲの画像より広い視野を含む、ステップと、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定するステップと、決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用するステップとを有する。
【選択図】図１

Description

本開示は、概して、画像処理の技術分野に関し、具体的には、低ダイナミックレンジ（ＬＤＲ）ビデオシーケンスのダイナミックレンジ拡張方法と装置に関する。

ＬＤＲビデオシーケンスを高ダイナミックレンジ（ＨＤＲ）ディスプレイに合わせる拡張ビデオ処理技術として、ＬＤＲビデオシーケンスをＨＤＲビデオシーケンスに変換できるようにするダイナミックレンジ拡張が、大きな注目を集めている。ＨＤＲディスプレイは、物理的輝度（ｃｄ／ｍ^２単位）を表す浮動小数点値を入力として取り、一方、ＬＤＲビデオシーケンスのピクセルの輝度成分は、標準色空間で確定された整数値として表される。混乱を避けるため、ルマ（ｌｕｍａ）との用語はＬＤＲピクセル輝度を指すのに用いる。

ダイナミックレンジ拡張を実現するため、２種類のダイナミックレンジ拡張オペレータが提案されている。すなわち、拡張オペレータ（ＥＯ）と逆トーンマッピングオペレータ（ｉＴＭＯ）である。前者は、元はＬＤＲカメラでキャプチャされたＬＤＲビデオシーケンスから、ＨＤＲビデオシーケンスを求める。後者は、元はＨＤＲカメラでキャプチャされたＨＤＲビデオシーケンスからトーンマッピングにより変換されたＬＤＲビデオシーケンスから、ＨＤＲビデオシーケンスを再構成する。

ＬＤＲビデオシーケンスがＬＤＲカメラでキャプチャされたシナリオでは、トーンマッピングの情報は利用できないので、ｉＴＭＯはＬＤＲビデオシーケンスのダイナミックレンジ拡張には使えない。さらに、センサ飽和、光不足、ＬＤＲビデオシーケンスが取得されたシーン中の高コントラストなどにより、利用可能な情報が不十分で、ＥＯにより高忠実度でダイナミックレンジ拡張を行えないシナリオがある。

このようなことを考慮して、上記の好ましくないシナリオにおいてＬＤＲビデオシーケンスのダイナミックレンジ拡張が必要である。

本開示の第１の態様では、ＬＤＲビデオシーケンスのダイナミックレンジ拡張方法を提供する。該方法は、ＬＤＲビデオシーケンスと、少なくとも１つのＨＤＲパノラマとを同時に取得する、ＨＤＲの画像はＬＤＲの画像より広い視野を含む、ステップと、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定するステップと、決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用するステップとを有する。

一実施形態では、ダイナミックレンジ拡張オペレータはＥＯまたはｉＴＭＯであり得る。

一実施形態では、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定するステップは、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマのうちの一ＨＤＲパノラマの一部分とマッチングするステップと、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分を最も良く近似するようにする、ステップとを有する。

一実施形態では、ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得され得る。

本開示の第２の態様により、ＬＤＲビデオシーケンスをダイナミックレンジ拡張する装置が提供される。該装置は、ＬＤＲビデオシーケンスを取得する手段と、ＬＤＲビデオシーケンスを取得している間に、少なくとも１つのＨＤＲパノラマを取得する、ＨＤＲの画像はＬＤＲの画像より広い視野を含む、手段と、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する手段と、決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用する手段とを有する。

一実施形態では、ダイナミックレンジ拡張オペレータは拡張オペレータ（ＥＯ）または逆トーンマッピングオペレータ（ｉＴＭＯ）である。

一実施形態では、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する手段は、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマのうちの一ＨＤＲパノラマの一部分とマッチングするユニットと、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分を最も良く近似するようにするユニットとを有する。

一実施形態では、ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得される。

本開示の第３の態様により、本開示の第１の態様による方法のステップを実装する、プロセッサにより実行可能なプログラムコード命令を含むコンピュータプログラムが提供される。

本開示の第４の態様により、非一時的コンピュータ読み取り可能媒体に記憶され、本開示の第１の態様による方法のステップを実装する、プロセッサにより実行可能なプログラムコード命令を含むコンピュータプログラム製品が提供される。

本開示の上記その他の目的、特徴、利点は、図面を参照した本開示の下記の実施形態の説明から明らかになる。
本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張方法を示すフローチャートである。本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張方法を示す他のフローチャートである。本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張装置の構成を示す図である。

下記の説明では、限定ではなく説明を目的として、本技術の具体的な実施形態の詳細を説明する。しかし、本技術分野の当業者には言うまでもなく、これらの詳細ではなく、他の実施形態を用いることもできる。さらにまた、幾つかの事例では、不要な詳細説明で本説明をわかりにくくしないように、周知の方法、インタフェース、回路、及びデバイスの詳細な説明は省略する。

本技術分野の当業者には言うまでもないが、説明する機能の一つまたは全部は、特定機能を実行するように相互接続されたアナログ及び／または個別論理ゲート、ＡＳＩＣ、ＰＬＡなどのハードウェア回路を用いて実装できる。同様に、機能の一部または全部は、一以上のデジタルマイクロプロセッサや汎用コンピュータと共にソフトウェアプログラムとデータを用いて実装できる。

ここで、本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張方法１００を示す図１を参照する。

図示の通り、最初に、ステップＳ１１０において、ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマを同時に取得する。次に、ステップＳ１２０において、ＬＤＲビデオシーケンスとＨＤＲパノラマに基づき、ダイナミックレンジ拡張オペレータを決定する。次いで、ステップＳ１３０において、決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用する。

ＬＤＲビデオシーケンスの取得は、空間的及び／または時間的解像度に対する制限せずに、市販のどんなカメラでも実現できる。例えば、空間的解像度に関して、ＬＤＲビデオシーケンスはＳＤ、ＨＤまたは４Ｋのフォーマットで取得し得る。時間的解像度に関して、ＬＤＲビデオシーケンスは２５、５０または１００ｆｐｓで取得し得る。

ＨＤＲパノラマの取得は、ＬｉｚａｒｄＱパノラマカメラ、時間的ブラケティング、露出ブラケティングなどの任意のＨＤＲ及びパノラマ取得技術により行える。

ダイナミックレンジ拡張オペレータはＥＯまたはｉＴＭＯのいずれかであり得る。いずれの場合でも、ＬＤＲビデオシーケンスと同時に取得したＨＤＲパノラマにより、高忠実度でＬＤＲビデオシーケンスをＨＤＲビデオシーケンスに変換するダイナミックレンジ拡張オペレータを効率的に決定するガイド情報が得られる。

限定ではなく例示を目的として、ダイナミックレンジ拡張オペレータを決定する実現可能なアプローチはＬＤＲビデオシーケンスに基づき決定され、ＨＤＲパノラマ（すなわち、ステップＳ１２０の実装）は図２を参照して説明する。

図示したように、このアプローチはサブステップＳ１２１から始まり、ＬＤＲビデオシーケンスの各フレームはＨＤＲパノラマの部分とマッチ（ｍａｔｃｈ）される。次に、サブステップＳ１２２において、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのマッチした部分を最も良く近似するようにする。

上記の通り、ダイナミックレンジ拡張はＥＯまたはｉＴＭＯであり得る。ＥＯまたはｉＴＭＯはさまざまな形式を取り得る。例として、文献Akyuez, A. O., Fleming, R., Riecke, B. E., Reinhard, E., & Buelthoff, H. H. (2007), 「Do HDR displays support LDR content?」(ACM SIGGRAPH 2007 papers on - SIGGRAPH ’07 (p. 38). New York, New York, USA: ACM Press. doi:10.1145/1275808.1276425、)（以下参考文献（１）と言う）を参照して提案されているＥＯは、次の拡張の式

により特徴付けられる。ここで、ｋはＨＤＲディスプレイの最大輝度を示し、γは非線形のスケーリングファクタを示し、Ｌ_ｗ（ｘ）とＬ_ｄ（ｘ）はインデックスｘで示されるＨＤＲピクチャ及びそれに対応するＬＤＲピクチャ中のピクセルのＨＤＲ輝度及びＬＤＲルマ（ｌｕｍａ）をそれぞれ示し、Ｌ_{ｄ，ｍｉｎ}とＬ_{ｄ，ｍａｘ}はＬＤＲピクチャの最小及び最大ルマ（ｌｕｍａ）をそれぞれ示す。

式（１）により特徴付けられるＥＯを図２に示したアプローチで用いる場合、最初にＬＤＲビデオシーケンスのフレームがＨＤＲパノラマの一部分とマッチ（ｍａｔｃｈ）される。次いで、式（１）のパラメータγを推定するため、ＬＤＲフレームのピクセルのルマ値と、それに対応するＨＤＲパノラマ中のマッチした部分の輝度値とに基づいて、ＬＳやＬＭＳアプローチなどの推定アルゴリズムを用いても良い。パラメータγを推定できれば、ＥＯを決定できる。ＬＤＲフレームにＥＯを適用することにより得られるＨＤＲフレームは、それぞれの推定アルゴリズムに特有のエラー基準に関し、マッチしたＨＤＲパノラマの部分を最も良く近似する。

同様に、文献Masia, B., Agustin, S., & Fleming, R. (2009), 「Evaluation of Reverse Tone Mapping Through Varying Exposure Conditions」（以下参考文献（２）と言う）に提案された他のＥＯを、図２に示したアプローチと用いられる。この技術は、各カラーチャネルに

となるようにγ拡張を行う。ここで、ｘはＬＤＲピクチャとそれに対応するＨＤＲピクチャのピクセルのインデックスを示し、γは

により計算される。ここで、Ｌ_ｄ，Ｈ、Ｌ_{ｄ，ｍｉｎ}及びＬ_{ｄ，ｍａｘ}は、ＬＤＲピクチャの平均、最小及び最大ルマ（ｌｕｍａ）をそれぞれ示す。その場合、式（３）中のパラメータａとｂはサブステップＳ１２２で推定される。

図２に示したアプローチでｉＴＭＯを用いる場合、ｉＴＭＯのパラメータは、サブステップＳ１２２において、ＬＤＲビデオシーケンスとＨＤＲパノラマのマッチした部分のそれぞれのフレームに基づいて推定される。例として、文献Boitard, R., Thoreau, D., Cozot, R., & Bouatouch, K. (2013)「Impact of Temporal Coherence-Based Tone Mapping on Video Compression」(Proceedings of EUSIPCO ’13: Special Session on HDR-video. Marrakech, Morocco)（以下参考文献（３）という）は、

で定義されるｓｉｇｍｏｄｅを用いて輝度をルマ（ｌｕｍａ）に変換するＴＭＯを提案している。ここで、Ｌ_{ｗｈｉｔｅ}は領域を高輝度値で焼く（ｂｕｒｎ）のに用いる輝度値を示し、Ｌ_ｗは原ＨＤＲピクチャの輝度値を含む行列であり、Ｌ_ｄは原ＨＤＲピクチャと同じサイズでルマ値を含む行列であり、Ｌ_ｓは原ＨＤＲピクチャと同じサイズで

により計算されるスケールされた行列である。ここで、ａは露出値、ｋはピクチャの鍵と呼ばれ、ピクチャの全体的な明るさの表示に対応し、

により計算される。ここで、Ｎはピクチャのピクセル数を示し、δは特異性を防止する値であり、Ｌ_ｗ（ｉ）はピクセルｉの輝度値を示す。

Ｌ_{ｗｈｉｔｅ}を無限にすることにより、式（４）を

と書くことができる。

したがって、対応するｉＴＭＯは反転式（７）と（５）により

で計算できる。ここで、ｋとａは式（５）と同じである。

この場合、ステップＳ１３０においてＬＤＲビデオシーケンスに適用されるｉＴＭＯは、サブステップＳ１２１において、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマの一つの一部分とマッチングし、サブステップＳ１２２において、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマの一つのマッチングされた一部分とに基づいて式（９）のパラメータｋとａを推定することにより、決定できる。

幾つかの実施形態では、ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得され得る。例えば、ＨＤＲパノラマは、１秒ごとに１パノラマまたは５秒ごとに１パノラマのレートで取得でき、これはＬＤＲビデオシーケンスのレートより非常に小さい。その場合、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマの一つの一部分とマッチングするため、ＨＤＲパノラマに補間及び／またはスケーリングプロセスを実行される。

ここに提案するようなＨＤＲパノラマの使用により、通常のＨＤＲ画像の使用よりより幾つかの利点があることに留意せよ。第１に、単一ＨＤＲパノラマは、カメラの動き（並進、ズーム、回転など）があっても、複数のＬＤＲショットに対して有効であり得る。逆に、普通のＨＤＲピクチャを使った場合、ＨＤＲピクチャ間の補間が非常に頻繁に必要だろう。第２に、元のＨＤＲピクチャの助けを借りて決定したｉＴＭＯは、時間的に不安定であり、時間的アーティファクトを生じることがある。一方、パノラマはよりコヒーレントなシーン全体の情報を提供する。第３に、異なる位置に置いた２つのカメラを用いた場合、それによる２つのショットが相関していることはほとんどない。しかし、パノラマの使用により相関が容易になり、シューティングポイントの変化の場合に、逆トーンマッピングにおける時間的コヒーレンスを確保できる。第４に、パノラマの使用により、シーン中の最も明るい要素を見つけるため、時間的明るさのコヒーレンスを確保するフルシーケンスの分析を行う必要が無くなる。

以下、図３を参照して、本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張装置２００の構成を説明する。

図示したように、装置２００は、ＬＤＲビデオシーケンスを取得する手段２１０と、ＬＤＲビデオシーケンスを取得している間に、少なくとも１つのＨＤＲパノラマを取得する手段２２０とを有する。次いで、手段２１０により取得されたＬＤＲビデオシーケンスは、ＬＤＲビデオシーケンスと、手段２２０から供給されるＨＤＲパノラマとに基づき、ダイナミックレンジ拡張オペレータを決定する手段２３０に供給される。手段２１０により取得されたＬＤＲビデオシーケンスは、そのＬＤＲビデオシーケンスに基づき手段２３０により決定されたダイナミックレンジ拡張オペレータを適用する手段２４０にも供給される。

さらに詳細には、手段２３０はユニット２３１と２３２を有していてもよい。ユニット２３１は、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマの１つの一部分とマッチングする。ユニット２３２は、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのマッチした部分を最も良く近似するようにする。

図１と図２を参照して説明した本発明の方法に対応して、ＥＯまたはｉＴＭＯのいずれかが手段２３０により決定されてもよく、手段２１０と手段２２０は異なる時間的及び／または空間的解像度でＨＤＲパノラマとＬＤＲビデオシーケンスを取得してもよい。

以上、実施形態を参照して本開示を説明した。これらの実施形態は単なる例示を目的としたものであり、本開示を限定するものではない。本開示の範囲は、特許請求の範囲及びその等価物により決まる。本技術分野の当業者は本開示の範囲から逸脱することなくさまざまな改変や修正をできるが、これらはすべて本開示の範囲に入る。

Claims

低ダイナミックレンジ（ＬＤＲ）ビデオシーケンスをダイナミック拡張する方法であって、
ＬＤＲビデオシーケンスと、少なくとも１つの高ダイナミックレンジ（ＨＤＲ）パノラマとを同時に取得する、前記ＨＤＲの画像は前記ＬＤＲの画像より広い視野を含む、ステップと、
ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定するステップと、
決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用するステップと
を有する方法。
ダイナミックレンジ拡張オペレータは拡張オペレータ（ＥＯ）または逆トーンマッピングオペレータ（ｉＴＭＯ）である、請求項１に記載の方法。
ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する前記ステップは、
ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマのうちの一ＨＤＲパノラマの一部分とマッチングするステップと、
ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分を最も良く近似するようにする、ステップとを有する
請求項１または２に記載の方法。
ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得される、請求項１ないし３いずれか一項に記載の方法。
低ダイナミックレンジ（ＬＤＲ）ビデオシーケンスをダイナミック拡張する装置であって、
ＬＤＲビデオシーケンスを取得する手段と、
ＬＤＲビデオシーケンスを取得している間に、少なくとも１つの高ダイナミックレンジ（ＨＤＲ）パノラマを取得する、前記ＨＤＲの画像は前記ＬＤＲの画像より広い視野を含む、手段と、
ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する手段と、
決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用する手段と
を有する装置。
ダイナミックレンジ拡張オペレータは拡張オペレータ（ＥＯ）または逆トーンマッピングオペレータ（ｉＴＭＯ）である、請求項５に記載の装置。
ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する手段は、
ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマのうちの一ＨＤＲパノラマの一部分とマッチングするユニットと、
ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分を最も良く近似するようにするユニットとを有する、
請求項５または６に記載の装置。
ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得される、請求項５ないし７いずれか一項に記載の装置。
請求項１ないし４いずれか一項に記載の方法のステップを実装する、プロセッサにより実行可能なプログラムコード命令を含むコンピュータプログラム。
非一時的コンピュータ読み取り可能媒体に記憶され、請求項１ないし４いずれか一項に記載の方法のステップを実装する、プロセッサにより実行可能なプログラムコード命令を含むコンピュータプログラム製品。