JP2012519896A - 入力画像データを出力画像データに変換するための方法、入力画像データを出力画像データに変換するための画像変換ユニット、画像処理装置、ディスプレイデバイス - Google Patents

Abstract

方法、ユニット及びディスプレイデバイスにおいて、入力画像信号がリージョナルコントラスト信号（V_RC）とディテール信号（V_D）とに分割され、続いて、双方の信号のダイナミックレンジを別々に伸長し、リージョナルコントラスト信号のダイナミックレンジは、ディテール信号のダイナミックレンジよりも高い伸長率で伸張される。好ましくは、ディテール信号の伸長率はほぼ１であるか又は好ましくは１である。好ましい実施形態において、ハイライトが識別され、このハイライトに対して、ダイナミックレンジが、リージョナルコントラスト信号よりも高い度合いで伸長される。

Description

本発明は、入力画像データを出力画像データに変換するための方法に関する。

本発明は、更に、入力画像データを出力画像データに変換するための画像変換ユニットに関する。

本発明は、更に、入力画像データを受信するための受信手段と、入力画像データを出力画像データに変換するための画像変換ユニットとを有する、画像処理装置に関する。

本発明は、更に、入力画像データを受信するための受信手段と、入力画像データを出力画像データに変換するための画像変換ユニットとを有する画像処理装置を有する、ディスプレイデバイスに関する。

典型的には桁違いに低いダイナミックレンジをもつディスプレイに対して高ダイナミックレンジ（ＨＤＲ；high-dynamic range）画像の許容可能な表示を可能にするために、記録されたビデオシーケンスのダイナミックレンジは、通常、取得及び伝送の間にトーンマッピングにより圧縮される。多くの屋外シーンのダイナミックレンジは、１２桁の大きさであるのに対し、ほとんどの液晶ディスプレイ（ＬＣＤ）は、約３桁のスタティックコントラスト比を与えるに過ぎない。結果として、ＬＤＲ（低ダイナミックレンジ）ディスプレイに対する前記シーンの快適な表示を可能にするために、イメージングパイプラインの初期段階において極端なダイナミックレンジ圧縮が必要とされる。単純な技術の使用は、通常、小さなディテールのコントラストが傷つけられ得るか又は失われ得るという欠点をもつ。

これらの欠点に対処するために、より進化した適応的手法が開発されている。これらの手法は、主に広域的なコントラストを圧縮する一方で、微細なディテールのコントラストを維持する。

このアプローチは、ディスプレイシステムの性能がイメージングパイプラインの初期段階における圧縮の間に予測されるものと多かれ少なかれ類似したままである限り良好に機能する。しかしながら、新規な高ダイナミックレンジディスプレイシステムによれば、最大６桁のスタティックコントラスト比が実現され得る。更に、斯様なディスプレイシステムは、非常に高いピーク輝度を（時間的又は空間的に）局所的に生成することができる場合がある。例えば、これは、暗い画像部分の下の幾つかのＬＥＤを暗くすることにより節約された電力が明るい領域の下の他のＬＥＤをブーストするために用いられ得る、２Ｄ調光可能ＬＥＤバックライトにより実現され得る。入力ＬＤＲ画像データのＨＤＲ画像信号への拡張は、そのシーンの不自然な表現をもたらすことが分かる。

本発明の目的は、再生の品質を増大させ、より快適で自然な画像表現を与えることを目的とした、方法、変換ユニット及び画像処理装置を提供することにある。

この目的を達成するために、本発明の方法は、入力画像データが少なくとも２つの信号に変換され、第１の信号がリージョナル（regional）コントラストデータを与え、第２の信号がディテール（detail）データを与え、少なくとも前記第１の信号のダイナミックレンジが伸張され、前記第１の信号のダイナミックレンジが、前記第２の信号のダイナミックレンジよりも高い度合いで伸張され、伸張された第１及び第２の信号が、出力信号に組み込まれる。

発明者は、これらの問題がローカル及びリージョナルコントラスト間のアンバランスから生じることに気付いた。表示の間又はその前における全体的なダイナミックレンジの拡張との組み合わせにおける、取得の間におけるダイナミックレンジの圧縮の間のディテールコントラストの保存は、表示された画像におけるリージョナルコントラストに対して微細なディテールの強化をもたらす。リージョナルコントラストデータは、比較的低い空間周波数情報を有する。ディテールデータは、より高い空間周波数情報を有する。

多数の拡張ファクタに関して、これは、シーンの不自然な表現をもたらし、アナログ及びデジタルノイズの不要な増幅をもたらし得る。

取り得る解決策は、レンジ拡張の間、元のＨＤＲシーンを取り出すためにレンジ圧縮の間に用いられたマッピング演算子の数学的逆数を用いることであろう。しかしながら、これは、用いられる圧縮手法の認識を必要とし、入力信号に含まれなければならないだろう。しかしながら、実際には、我々は、多くの場合、そのダイナミックレンジが取得及び符号化の間にどのように圧縮されたかについての認識をもつことなく、従来のＬＤＲビデオを処理しなければならない。それ故、この"完全な"解決策は、多くの場合、実用的ではない。この態様から離れて、受信ユニットは、種々の取り得る圧縮手法に適合させ得る必要があるだろう。

本発明は、入力画像データの出力画像データへの、よりバランスの取れたＬＤＲ−ＨＤＲ変換を提供する。

入力信号は、リージョナル、セミグローバルデータを与える第１の信号とディテールを与える第２の信号とに分割される。第１の信号は、例えばバイラテラル（bilateral）フィルタリングのようなエッジの特徴を保存するローパスフィルタリング手法を含む、例えば入力信号をローパスフィルタリングすることにより作られ得る。ディテールを与える第２の信号は、例えば入力データ信号から第１の信号を差し引くことにより作られ得る。

少なくとも第１の信号は伸張される、即ち、少なくとも第１の信号のダイナミックレンジは拡張される。２つの信号は異なるように伸張され、第２の信号は、第１の信号よりも小さな度合いで伸張される。これは、リージョナルコントラストに対する微細なディテールの不自然な目立った強調を削減し、シーンのより自然な表現をもたらす。或る程度ノイズも抑制される。好ましい実施形態において、第２の信号は伸張されない。元の圧縮の間にディテールが保存された場合には、ディテール情報を与える第２の信号は伸張される必要が無い。これは、アルゴリズムの簡素化を可能にする比較的単純な実施形態である。

好ましい実施形態において、組み合わせられた伸張された第１及び第２の信号のダイナミックレンジは、上位値により境界付けられる。この上位値は、ディスプレイ上の最大許容可能信号よりも低くなり得る。入力画像信号は、画像中のハイライトを形成する画素のグループを識別するために更に解析され、識別された画素のグループの画素データは、第３の信号が前記上位値よりも高く上位最大画素値まで拡張するダイナミックレンジをカバーするように、第３の信号に変換され、第３の信号は、組み合わせられ伸張された第１及び第２の信号と組み合わせられる。

伸張された第１及び第２の信号を有する信号は、上位値により境界付けられたダイナミックレンジをもつ。上位値よりも高い最大値までの好ましい実施形態において、画素値の上位ダイナミックレンジがハイライトを表示するために確保される。

特に非常に高輝度のディスプレイに関して、最大達成可能強度は、観察者が光によりある意味で見えなくなるほど高くなる。中程度の場合には、観察者は、明るいスポットだけを認識し、シーンの暗い箇所を認識することができないか、又は、これらを非常に制限された範囲でのみ認識するだろう。しかしながら、極端な場合において、これは、観察者の目にとって苦痛であるか又は有害であり得る。組み合わせられた第１及び第２の信号が伸張される範囲を制限することにより、これは回避される。しかしながら、これは、ＨＤＲディスプレイの可能性を十分に活用するものではない。好ましい実施形態において、最大輝度は、高輝度デバイスの可能性より低く保たれる。画像中のハイライトを識別し、これらの画素値を、ディスプレイのダイナミックレンジの最も高い部分に配置することにより、これらのハイライトは、観察者の目をくらませることなく最前部に移動され、これにより、鮮明ではっきりした画像を与える。一実施形態において、ハイライトは、ＬＤＲレンジの上位値に近い範囲内にあるか又は上位値の画素値をもつ画素グループを選択することにより識別され、高画素値の画素の近傍において、高画素値の画素の数は、閾値よりも下、即ち高い強度の画素の小グループである。

ハイライトは、高い強度の画素の比較的小さなグループである。上位値よりも高いディスプレイデバイスのダイナミックレンジは、ハイライトにより追加される。これは、高品質の画像を提供することを示し、一方では、画像において詳細が不自然に強調されないか又は明るい目をくらませるスポットが現れ、他方では、ディスプレイレンジの最高値でイメージングされたハイライトが、明るくて鮮明な画像を提供する。

好ましい実施形態において、組み合わせられた伸張された第１及び第２の信号のためのダイナミックレンジの上位値は、５００〜１０００Ｎｉｔのディスプレイ上に表示されたときの光強度に対応する範囲内にあり、上位最大画素値は、１０００Ｎｉｔを超えて、好ましくは２５００Ｎｉｔを超えてディスプレイ上に表示されたときの光強度に対応する範囲内にある。

本発明のこれらの及び他の態様は、例により、及び、添付図面を参照して、より詳細に説明されるだろう。

本発明の一実施形態の概略的なフロー図を与える。 ダイナミックレンジの拡張を示す。 ハイライト識別アルゴリズムを示す。 図４ａ〜４ｆは本発明のダイナミックレンジ拡張アルゴリズムの効果を示す。 混合マップを示す。 図６ａ〜６ｃは本発明のダイナミックレンジ拡張を更に示す。 図７ａ〜７ｄは本発明のダイナミックレンジ拡張の他の例を与える。 図８ａ〜８ｄは本発明のダイナミックレンジ拡張の他の例を与える。 本発明のディスプレイデバイスを示す。

図面は実寸では描かれていない。概して、同一のコンポーネントは、図面において同一の参照符号により示される。

以下に例が示されることが述べられる。

多くの屋外シーンのダイナミックレンジは、１２桁の大きさであるのに対し、ほとんどの液晶ディスプレイ（ＬＣＤ）は、約３桁のスタティックコントラスト比を与えるに過ぎない。結果として、ＬＤＲ（low dynamic range）ディスプレイに対してシーンの快適な表示を可能にするためにイメージングパイプラインの初期段階において極端なダイナミックレンジの圧縮が必要とされる。ダイナミックレンジ圧縮に対する最も直接的なアプローチは、全体的トーンマッピング演算子によるものである。しかしながら、これらの単純な技術の主な欠点は、小さなディテールのコントラストが犠牲にされ得ることである。これらの欠点に対処するために、微細なディテールのコントラストを保存しながらリージョナル（広域的）コントラストを圧縮する、より進化した手法が開発された。

従来のＬＤＲ（low-dynamic range）ディスプレイスクリーンにおいて、画像のコントラストは、多くの場合、ディスプレイデバイスの最大限の能力（即ち、８ビットのシステムに関して、０から黒、２５５から白）まで伸張され、ユーザの好みにより、ディスプレイの前にヒストグラム伸張により時々サポートされる。このアプローチは、ディスプレイシステムの性能がイメージングパイプラインの初期段階における圧縮の間に予測されるものと多かれ少なかれ類似したままである限り良好に機能する。しかしながら、新規なＨＤＲ（high-dynamic range）ディスプレイシステムにおいては、最大６桁のスタティックコントラスト比が実現され得る。更に、斯様なディスプレイシステムは、非常に高いピーク輝度を（時間的又は空間的に）局所的に生成することができる場合がある。例えば、これは、暗い画像部分の下の幾つかのＬＥＤを暗くすることにより節約された電力が明るい領域の下の他のＬＥＤをブーストするために用いられ得る、２Ｄ調光可能ＬＥＤバックライトにより実現され得る。

ＨＤＲディスプレイ上に従来のＬＤＲビデオを直接表示したときには、アーチファクト、即ちローカル及びリージョナルコントラスト間のアンバランスが生じる。

表示前のレンジ拡張と組み合わせたレンジ圧縮の間のディテールコントラストの保存は、リージョナルコントラストに対する微細なディテールの強調をもたらす。大きな拡張ファクタに関して、これは、シーンの不自然な表現をもたらし、時々、ノイズの不要な増幅をもたらす。

本発明の方法において、入力画像データは、少なくとも２つの信号に変換される。第１の信号は、低空間周波数のリージョナルコントラストデータを与え、第２の信号は、高空間周波数のディテールデータを与える。少なくとも第１の信号のダイナミックレンジが伸張され、第１の信号のダイナミックレンジが、第２の信号のダイナミックレンジよりも高い度合いで伸張される。伸張された第１及び第２の信号は画像出力信号に組み込まれる。

第１の信号は、リージョナルコントラスト信号を与え、第２の信号は、ディテールレイヤを与える。２つの信号は、別々に伸張され、第１の信号は、第２の信号よりも伸張される。実際には、リージョナルコントラスト信号のリージョナル伸張は、例えばローパスフィルタリングにより実行される。この伸張により、ローカルディテールは、より低い度合いで伸張される。２つの信号は組み合わせられる。これは、入力信号の全体的伸張と比較して、ディテール及びリージョナル画像間のアンバランスが削減される。好ましい実施形態において、第２の信号は、入力画像データから第１の信号を差し引くことにより作られる。

図１は、本発明の例となるアルゴリズムのフロー図を示している。

本アルゴリズムは、ダイナミックレンジの拡張をデュアルシグナル手順として実行する。最初に、リージョナルコントラストが、この例においてはローパスフィルタ１をビデオに適用することにより、入力信号V_inから抽出され、第１の信号であるリージョナルコントラスト信号V_RCを与え、ディテールレイヤを入力信号V_inから抽出し、第２のディテール信号V_Dを与える。この例において、V_Dは、減算器２においてリージョナルコントラストと前記入力との間の差分を計算することにより抽出される。

ここで、V_inは入力ビデオを示し、F_bilはローパスフィルタ、好ましくは高速バイラテラル（fast bilateral）フィルタのアプリケーションを示す。好ましくは、バイラテラルグリッドをローパス演算子として用いたバイラテラルフィルタリングが実行される。このアプローチは、完全なバイラテラルフィルタに対して計算的に効率的な近似値を与える。この手法の主な利点は、安価にエッジ保存するブラー（blur）フィルタを与え、それ故、線形空間フィルタカーネルにしばしば関連する後光（halo）アーチファクトを阻止する。バイラテラルグリッドを用いたバイラテラルフィルタリングは、（１）ローカルヒストグラムを構成し、（２）これらのヒストグラムにマルチディメンション線形フィルタカーネルを適用し、（３）所望の出力画素をスライシング（＝補間）するものとして効果的にサマライズされ得る。好ましいものであるけれども、バイラテラルグリッドは、本発明の主要な部分を表すものではないことが留意されるべきである。リージョナルコントラストは、代わりに、従来の（列をなす）ローパスフィルタを用いて抽出されてもよい。第１及び第２の信号を生成するための数学的アルゴリズムを用いる代わりに、例えば予め規定された特別な分類、例えば暗い部屋のインテリアのような、他の手法が用いられてもよい。

ダイナミックレンジの拡張を適用したときに、高輝度の画像におけるリージョナルとディテールとの間のアンバランスを削減し、微細なディテールとリージョナルコントラストとの間の自然なバランスを維持するために、２つの信号V_RC及びV_Dが別々にマッピングされる。そのようにする好ましい一の手法は、リージョナルコントラストV_RCを、入力ダイナミックレンジ[K_LDR-W_LDR]から、ディスプレイの能力、人間の目の能力又は個人的な好みに依存し得る予め規定されたターゲットダイナミックレンジ[K₀-W₀]まで、直線的に伸張することによるものである。

ここで、

は伸張された信号である。斯様な予め規定されたターゲットダイナミックレンジは製造者により設定され得る。W₀は組み合わせられた信号のためのダイナミックレンジの上位値を規定する。図１において、第１の信号V_RCの伸張はM(V_RC)で概略的にしめされる。ここで、Mは伸張演算を表し、前記式は、直線的伸張が用いられる一例である。また、マッピングのための他の式を用いた非直線的伸張が、この伸張又はマッピングステップに対しても、任意の他の伸張又はマッピングステップに対しても可能である。

伸張演算はレンジ拡張を与える。概略的に、ダイナミックレンジの伸張は、ファクタ

であり、これは、入力ダイナミックレンジ(W_LDR-K_LDR)とターゲットダイナミックレンジとの割合、即ち、第１のリージョナルコントラスト信号に適用された伸張の量である。伸張は、伸張部３において実行される。伸張部３は、伸張されたダイナミックレンジ(W₀-K₀)上に入力ダイナミックレンジ(W_LDR-K_LDR)を伴う入力データV_inをマッピングする。

前記のものにおいて、好ましくは、W₀<W_HDRであり、ここで、W_HDRはディスプレイの最大レンジであり、これにより、最大ディスプレイダイナミックレンジより低い予め規定されたターゲットダイナミックレンジを維持する。これは、大きな明るいエリアが不適切に高い輝度でイメージング／レンダリングされることを阻止する。

好ましくは、W₀は、５００〜１０００Ｎｉｔの範囲内の輝度に対応する範囲内にある。

第２の、ディテールレイヤ信号は、強調部４において、第１の信号の伸張ファクタと比較して中程度のエンハンスメントファクタg_Dを適用することにより強調される。

はディテールを有する伸張された第２の信号である。好ましくは、ゲインg_Dは１に近く、例えば１〜１．２の間の範囲にあるか又は単純に１である。後者の場合においては、ディテールレイヤデータV_Dは、強調を伴うことなくそのままの状態にされ、これは、単純な好ましい実施形態である。多くの従来の圧縮されたＬＤＲ信号において、圧縮は、ディテールにおけるコントラストを多かれ少なかれ維持するように実行される。それ故、ディテールレイヤを影響されない状態のままにすること、即ち１のゲインファクタを適用することは、多くの場合十分であり、このアルゴリズムの複雑性を削減する。

明らかに、べき関数又はS-functionのような、前記の単純な直線的スケーリング以外の拡張関数M(V_RC)及びg_Dが用いられ得る。最後に、出力は、マッピングされたディテールとリージョナルコントラストレイヤとを、即ち伸張された第１及び第２の信号を組み合わせることにより構成される。

は組み合わせられ伸張された第１及び第２の信号である。この例において、これは、結合部５、この例においては単純な加算部において、伸張された第１及び第２の信号を組み合わせることにより行われる。

本発明のこの態様は、入力信号のダイナミックレンジの増大後にリージョナルコントラストとディテールコントラストとの間の可視的なミスマッチを削減することにより、表示画像を改善する。

ＨＤＲディスプレイにおいて生ずる他の問題は、新規なＨＤＲディスプレイのピーク輝度が非常に高いことである（例えば、brightside／Dolby社によるDR37-Pは、３０００ｃｄ／ｍ２を超えるピーク輝度をもつことが報告されている）。従って、表示の間に信号を完全なダイナミックレンジまで伸張することは、幾つかの画像に対して不愉快なくらいに明るいシーンをもたらし得る。入力が伸張される範囲は、斯様な不愉快なシーンを回避するために、例えば５００〜１０００Ｎｉｔに制限され得るが、この場合においては、ディスプレイの能力は十分に活用されていない。

この問題に対処するために、本発明の好ましい実施形態において、更なるステップがこのアルゴリズムに追加される。この好ましいステップは、図１中の矩形６において概略的に示されている。

ＨＤＲディスプレイの能力を十分に利用するために、小さな反射（specular）ハイライトが識別され、残りの利用可能なダイナミックレンジ、即ちW₀〜W_HDRの範囲が追加される（強調表示）。好ましくは、バイラテラルグリッドが、ローパスフィルタの形式として用いられる。バイラテラルグリッドがローカルヒストグラムを構成することを含むので、これらのヒストグラムは、少数の明るい画素をもつ領域を識別するために直接的に用いられ得る。ハイライトの識別を実行するためのアルゴリズムは、図１において、識別部７中にFHL(V_in)として概略的に示されている。ハイライトに属するものとして識別された画素のデータは、これらを最も高いダイナミックレンジに移動させるマッパー８におけるファクタにより強調され、小さな明るいエリアを強調する信号V_HLを与える。信号

及びV_HLは、出力信号V_outを与えるために結合器９において組み合わせられる。マッピングは、単純な乗算により、又は、より複雑な関数により、行われ得る。

図２は、種々のダイナミックレンジエンハンスメントを概略的に示している。入力信号V_inは、K_LDR〜W_LDRの範囲にあるダイナミックレンジをもつ。これは、K₀〜W₀の範囲にあるダイナミックレンジにマッピングされる。ハイライトに属するものとして識別される画素から離れて、図２において矢印７´で概略的に示された、最も高い入力レンジ内の画素は、ハイライト識別部７により識別される。ハイライトに属するものとして識別された画素に関して、マッパー８におけるマッピング演算が実行され、ハイライトに関するデータが、例えばＨＤＲディスプレイデバイスの完全なダイナミックレンジの上側部分に対応する、特に最も高い範囲の輝度HLをカバーする、より大きなダイナミックレンジ上にマッピングされる。ハイライトのために準備されたこの最も高い範囲の輝度は、最大値W_HDRに伸張される。この最大値は、不愉快な観察状態を回避するために中程度の輝度値に維持されるターゲットダイナミックレンジの上位値W₀よりも上にある。図２中の"Ex"は、

のダイナミックレンジの拡張を概略的に示し、"HL"は、ハイライト信号V_HLのために準備されたより高いダイナミックレンジを概略的に示している。

図３は、ハイライト識別アルゴリズムを示している。

入力信号は識別部７に送られる。閾値I_thresholdより高い輝度Iをもつ画素をもつこれらのエリア又はブロック、及び、閾値n_thresholdより低い斯様な高強度画素の数n_avが、ハイライトとして識別される。他の例が以下に与えられる。

一例として、以下の手順が進められ得る。処理フローにハイライト化を含めるために、入力信号上に構成されたバイラテラルグリッドの強度は、グリッドB₀をもたらすターゲットダイナミックレンジ[K₀-W₀]と、グリッドB_HDRをもたらすディスプレイの最大ダイナミックレンジ[K_HDR-W_HDR]との双方に伸張される。これらの２つのグリッドは、スライシング（補間）前の混合マップMを用いて最終グリッドB_mappedに適応的に混合される。

この例において、前記演算の全ては、画像の大量にサブサンプリングされた表現であるグリッドベース上で実行され、それ故に数値的に安価であることに留意されたい。最大解像度での最終出力は、マッピングされたバイラテラルグリッドB_mappedにスライシングすることにより構成される。混合マップMを生成するために、我々は、以下のアプローチを採用する。
１．既存のローカルヒストグラムを合計することによりリージョナル累積ヒストグラムを構成する。
２．nパーセントよりも低い、輝度I_thresholdよりも高い画像画素が存在するように、輝度I_thresholdを確立する。換言すれば、輝度値の上位nパーセント。
３．I_thresholdよりも高い強度をもつ画素nの量を（ローカルベースで）カウントする。
４．隣接するビン（bin）間の空間的一貫性を生成するために形態学的膨張フィルタを適用し、一貫性値C₀をもたらす。一貫性値が高い場合には、比較的大きな明るいエリアが存在し、一貫性値が低い場合には、小さな明るいエリアが存在する。
５．混合ファクタMを計算する。マッピング関数の値Mは、適格性のある画素の数が予め決められた閾値Tよりも低い領域に対しては１に設定され（小さなハイライトでありそれ故に混合されるべきである）、この閾値よりも高い領域に対しては、大きな明るい画像部分が不愉快なくらいに明るくなるのを阻止するために０にされる。

図４ａ〜４ｆは、前述されたダイナミックレンジ拡張アルゴリズムの効果を示している。（ａ）シミュレートされたＬＤＲ画像、並びに、バイラテラルグリッドフィルタリングにより抽出された（ｂ）リージョナルコントラストレイヤ、及び、（ｃ）ディテールレイヤが示されている。拡張後のシーンの自然な表現は、リージョナルコントラストVRCだけをユーザ又は製造者が規定したレンジ[K₀-W₀]に拡張することにより維持される。（ｅ）において、中間出力（フレーム（ｃ）と（ｄ）との合計）が示されている。（ｆ）において、最終的にマッピングされた出力が示されており、小さな反射ハイライトが、残りの利用可能なダイナミックレンジを補うために識別される。

図５は、図４ａ〜４ｆの画像に対して計算された混合マップを示している。右手側のスケールは、混合ファクタMを与える。混合ファクタの幾つかの代表的なエリアが矢印で示されている。水中の明るい反射や雲の中の明るいエリアは、双方ともに小さなハイライトとして正確に検出され、ＨＤＲディスプレイデバイスの最大ダイナミックレンジ又はその近くにマッピングされる。空における明るいエリアは比較的大きいので、より小さな重み（混合ファクタMよりも小さい）は、高輝度ＨＤＲディスプレイ上で不愉快なものになるのを阻止するために、このエリアによって生じる。次に、マップの低解像度の性質は、これらの演算が最大画素解像度に対してではなくローカルヒストグラムに渡って実行されるので、濃淡のムラがある表現からはっきりと目に見える。この好ましい実施形態において、混合マップMは、バイラテラルグリッドB₀及びB_HDRに適用される。これらの画素は、それら自身が最終的なグリッドB_mappedをスライシングすることにより構成される。結果として、強調されたエリア中の明るい画素だけが、ハイライト化演算により影響を受けるが、中間グレーまでの暗部は変化されないままであり、従って、ハイライト化手順は、利用可能なダイナミックレンジの上位部分HLを満たすための選択的演算である。図４ａの画像の最終的な出力は図４ｆに示される。水や雲の中の明るい反射は、ディスプレイのピーク輝度（即ち混合ファクタMが１に近い）にマッピングされ、これらのエリアは、白色の矢印により図５において示される一方で、空の中のより大きなエリアは、図４ｅの中間強度に近いままである。この場合も同様に、細部のコントラストの過度の強調を阻止することにより、シーンのより自然な表現が維持される。

図６〜８は、提案されたダイナミックレンジ拡張手法の実行の他の例を示している。図６ａ〜６ｃは、ダイナミックレンジ拡張の実例を形成する。（ａ）シミュレートされたＬＤＲ画像が示され、ハイライト化を伴わない拡張された出力（ｂ）、及び、ハイライト化を伴う拡張された出力（ｃ）が示されている。この場合も同様に、この方法は、極端に明るいＨＤＲディスプレイに対して高い性能を与えるように設計される。斯様なディスプレイを伴わない場合には、我々は、拡張手順のシミュレーションに制限される。そのため、ＬＤＲ入力がシミュレートされ、拡張手順は、画像を最大の利用可能範囲に戻すために用いられる。明らかに、このシミュレーションは、不十分であり、実際のＨＤＲディスプレイの現実的な表現を提供し得ない。それにも関わらず、図６ａ〜６ｃは、領域及び微細なコントラスト間の維持されたバランス、並びに、ディスプレイのピーク輝度の選択的な使用を示している。

図７ａ〜７ｄは、ダイナミックレンジ拡張の他の例を示している。シミュレートされたＬＤＲ画像７ａ及び７ｃが左側に示され、ハイライト化を含む、拡張されたＨＤＲバージョン、画像７ｂ及び７ｄが右側に示されている。下側の例において、楕円形部分がハイライト化されたエリアを示している。この例は、雪山における大きな白色エリアが、不愉快になるので、ＨＤＲディスプレイのピーク輝度にマッピングされないことを示している。代わりに、小さな反射ハイライトだけが、非常に選択的な手順で最大輝度にマッピングされる。上側の例において、車のヘッドランプだけがピーク輝度にマッピングされる。

図８ａ〜８ｅは、ダイナミックレンジ拡張の他の例を与える。シミュレートされたＬＤＲ画像、図８ａ及び８ｃが左側に示され、ハイライト化を含む、拡張されたＨＤＲバージョン、図８ｂ及び８ｄが右側に示されている。

要約すると、本発明は、入力画像信号がリージョナルコントラスト信号とディテール信号とに分割され、続いて、双方の信号のダイナミックレンジを別々に伸長し、リージョナルコントラスト信号のダイナミックレンジは、ディテール信号のダイナミックレンジよりも高い伸長率で伸張される、方法、ユニット及びディスプレイデバイスを提供するように述べられ得る。好ましくは、ディテール信号の伸長率はほぼ１であるか又は好ましくは１である。好ましい実施形態において、ハイライトが識別され、このハイライトに対して、ダイナミックレンジが、リージョナルコントラスト信号よりも高い度合いで伸長される。

リージョナルコントラスト信号をディテール信号よりも伸長することで、リージョナルコントラストに対する詳細の強調の間のミスマッチを削減し、より自然な見た目を与える。ハイライト化されたエリアのダイナミックレンジのより極端な伸長は、これらのハイライトをダイナミックレンジの上位部分にマッピングする。これは、不愉快な視界を与える大きな過度に明るいエリアを伴うことなく画像を輝かせる。

本発明の方法及びシステムは、例えば強調アルゴリズム及び他のビデオ処理アルゴリズムのような、種々の目的のための種々の態様において用いられ得る。

本発明は、コンピュータ上で実行されたときに、本発明の方法を実行するためのプログラムコード手段を有するコンピュータプログラムにおいても具現される。

本発明は、画像信号の変換ユニットにおいて、及び、ディスプレイデバイス、特にＨＤＲ性能をもつディスプレイデバイスのような、画像信号の変換が用いられるデバイスにおいて、又は、これらのために用いられ得る。

請求項において、括弧内如何なる参照符号も、その請求項を限定するものとして考慮されるべきではない。

"有する"という用語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。本発明は、前述されたような種々異なる好ましい実施形態の特徴の任意の組み合わせにより実装されてもよい。

本発明は、前記で与えられた例に限定されるものではなく、様々な態様で実行され得る。

例えば：
上位値W₀は、多数のパラメータに依存して作られてもよく、最も重要なパラメータは色である。

色：
反射的な赤色及び青色の最大飽和レベルは、緑色及び黄色と比較して比較的低い。W₀の値は、好ましい実施形態において、ブラインドよりむしろ輝き始める部分を避けるために、色に依存して作られる。

アンビエント照明レベル：
好ましい実施形態において、ディスプレイデバイスは、アンビエント照明レベルを検知するための光センサを備える。アンビエント照明センサの出力は、上位値W₀を決定し、アンビエント照明レベルが高くなるほど、高い上位値W₀が設定される。図９は斯様な実施形態を示している。ディスプレイデバイスは、ディスプレイスクリーン９１を備える。出力信号V_outは、スクリーン９１上に表示される画像を決定する。ディスプレイデバイスは、アンビエント照明を測定するためのアンビエント照明センサ９２を更に備える。このセンサの出力は、V_RCのダイナミックレンジを伸長するための伸長部３の入力である。このセンサの出力は、ハイライトを決定し、及び／又は、ハイライトのダイナミックレンジを伸長して与えるための、識別部７及び／又はマッパー８に結合されてもよい。この例において、センサ９２の出力は、識別部７及び／又はマッパー８に直接供給される。本発明の実施形態の範囲内において、伸長部３並びに識別部７及び／又はマッパー８の機能的パラメータが関連付けられてもよく、従って、センサ信号はこれらデバイスのうち１つだけに送られ得る。同様に、ルックアップテーブルを有するコンピュータプログラムが存在してもよく、ダイナミックレンジの上位値及び／若しくはそのダイナミックレンジの分布のような、伸長部３の機能的パラメータ、並びに／又は、センサ信号の関数としての識別部７及び／若しくはマッパー８の機能的パラメータが格納される。センサの出力は、斯様な実施形態において、コンピュータプログラムの入力であり、コンピュータプログラムは、伸長部３、識別部７及び／又はマッパー８のパラメータを制御する。

グラフィック検出
好ましい実施形態において、グラフィック検出ユニットは、グラフィックス（ロゴ、字幕等）を識別し、これらを強調及び／又はハイライト化から除外するために用いられる。

また、本発明は、種々のシステムにおいて具現される。画像変換ユニットは、様々な種類の画像処理装置の部分を形成してもよい。

例えば、変換を実行するための変換ユニットは、図９におけるような、ディスプレイデバイスの部分であり得る。

"変換ユニット"は、変換の方法を実行するための、ソフトウェア、ハードウェア又はこれらの任意の組み合わせを含む、任意の手段として広く解釈されるべきである。

変換ユニットは、例えば記録デバイスの部分であってもよい。一のものは、画像又はビデオを記録することができ、記録デバイスは、ディスプレイデバイスの機能に関する情報を備えている。記録デバイスは、リアルタイム又はオフラインで、本発明の方法を適用し、ダイナミックレンジW₀-K₀及び／又はW_HDR-K_HDRをディスプレイスクリーンの機能にマッチングさせる。そして、改良された画像又はビデオは、リアルタイムで又は後に、表示され得る。

このシステムのバリエーションにおいて、ソフトウェアは、インターネット上の一部のサーバにあってもよい。ユーザは、画像又はビデオの画像データを送り、彼／彼女は、インターネットサイトに行き、彼／彼女がもっているディスプレイデバイスのダイナミックレンジ性能のディテールをインターネットサイトに供給する。このダイナミックレンジ情報は、例えばダイナミックレンジを特定することにより、明示的であってもよく、若しくは、例えば彼／彼女がもっているディスプレイデバイスを特定することにより、黙示的であってもよく、又は、ディスプレイのタイプが自動的に確認されるのでユーザがそれを通知しなくてもよい。サーバでは、ディスプレイデバイスの機能が与えられ、本発明の方法を入力画像データに適用し、改良された画像又はビデオが生成されるかどうかが確認される。その答えがポジティブである場合には、本発明の方法が入力画像データに適用され、サービスのための支払いを受信した後に、ＨＤＲディスプレイの性能にマッチした改良された出力画像データがユーザに返信される。

この実施形態は、ユーザが特定の変換ユニットを購入することなく、彼／彼女の新たに購入したＨＤＲディスプレイのＨＤＲ機能の十分に活用するために、ユーザが彼／彼女の"古い"画像又はビデオをアップグレードすることを可能にする。

"ペイパービュー"システムにおいて、例えばスポーツを見るために、ユーザは、標準品質又はアップグレードされた品質を購入するオプションが与えられてもよく、アップグレードされた品質は、彼／彼女がもっている特定のＨＤＲディスプレイデバイスのダイナミックレンジに適合される。

Claims (15)

1. 入力画像データを出力画像データに変換するための方法であって、
   前記入力画像データは、少なくとも２つの信号に分割され、第１の信号は、リージョナルコントラストデータを有し、第２の信号は、ディテールデータを有し、
   少なくとも前記第１の信号のダイナミックレンジは、伸長された第１の信号を与えるために伸長され、
   前記第１の信号のダイナミックレンジは、前記第２の信号に適用されるものよりも高い度合いで伸長され、
   伸長された第１及び第２の信号は、出力信号に組み込まれる、方法。
2. 前記第２の信号は、前記画像入力データから前記第１の信号を差し引くことにより作られる、請求項１に記載の方法。
3. 前記第２の信号は伸長されない、請求項１又は請求項２に記載の方法。
4. 組み合わせられた伸長された第１及び第２の信号の前記ダイナミックレンジの上位値は、５００〜１０００Ｎｉｔのディスプレイ上に表示されたときの光強度に対応する範囲内にある、請求項１〜３のうちいずれか一項に記載の方法。
5. 組み合わせられた伸長された第１及び第２の信号の前記ダイナミックレンジは、上位値により境界付けられ、
   前記入力画像データは、画像においてハイライトを形成する画素のグループを識別するために解析され、
   識別された画素のグループの画素データは、第３の信号が前記上位値よりも上方へ上位最大画素値まで拡張するダイナミックレンジをカバーするように、前記第３の信号に変換され、前記第３の信号は、前記組み合わせられた伸長された第１及び第２の信号とともに出力信号に組み込まれる、請求項１〜４のうちいずれか一項に記載の方法。
6. 前記上位最大画素値は、ディスプレイ上に１０００Ｎｉｔよりも高く表示されたときの光強度に対応する範囲内にある、請求項５に記載の方法。
7. コンピュータ上で実行したときに、本発明の方法を実行するためのプログラムコード手段を有する、コンピュータプログラム。
8. 入力画像データを出力画像データに変換するための画像変換ユニットであって、
   当該画像変換ユニットは、前記入力画像データを少なくとも２つの信号に分割するための分割部を有し、第１の信号は、リージョナルコントラストデータを有し、第２の信号は、ディテールデータを有し、
   当該画像変換ユニットは、伸長された第１の信号を与えるために少なくとも前記第１の信号のダイナミックレンジを伸長するための伸長部を有し、
   前記第１の信号のダイナミックレンジは、前記第２の信号に適用されるものよりも高い度合いで伸長され、
   当該画像変換ユニットは、伸長された第１及び第２の信号を出力信号に組み込むための結合部を有する、画像変換ユニット。
9. 前記伸長部は、組み合わせられた伸長された第１及び第２の信号の前記ダイナミックレンジが上位値により境界付けられるように構成され、
   当該画像変換ユニットは、
   画像においてハイライトを形成する画素のグループを識別するために前記入力画像データを解析するための識別部と、
   第３の信号が前記上位値よりも上方へ上位最大画素値まで拡張するダイナミックレンジをカバーするように、識別された画素のグループの画素データを前記第３の信号にマッピングするためのマッパーと、
   前記第３の信号を、前記組み合わせられた伸長された第１及び第２の信号とともに出力信号に組み込むための結合部とを更に有する、請求項８に記載の画像変換ユニット。
10. 前記伸張部は、前記組み合わせられた伸長された第１及び第２の信号の前記ダイナミックレンジの上位値が５００〜１０００Ｎｉｔのディスプレイ上に表示されたときの光強度に対応する範囲内にあるように構成される、請求項８又は請求項９に記載の画像変換ユニット。
11. 前記マッパーは、前記上位最大画素値がディスプレイ上に１０００Ｎｉｔよりも高く表示されたときの光強度に対応する範囲内にあるように構成される、請求項８〜１０のうちいずれか一項に記載の方法。
12. 入力画像データを受信するための受信手段と、請求項８〜１１のうちいずれか一項に記載の、前記入力画像データを出力画像データに変換するための画像変換ユニットとを有する、画像処理装置。
13. 入力画像データを受信するための受信手段と、請求項８〜１１のうちいずれか一項に記載の、入力画像データを出力画像データに変換するための画像変換ユニットとを有する画像処理装置と、ディスプレイスクリーンとを有する、ディスプレイデバイス。
14. 請求項１１に記載の画像変換ユニットを有する、請求項１３に記載のディスプレイデバイスであって、
    前記上位最大画素値は、前記ディスプレイスクリーンの前記ダイナミックレンジの最大値又はその近くの値に対応する、ディスプレイデバイス。
15. 出力を供給するアンビエント照明センサを有し、
    前記アンビエント照明センサの前記出力は、前記伸張部の入力である、請求項１３又は請求項１４に記載のディスプレイデバイス。

Images