JP2007310887A - 画像データの自動マッピング方法及び画像処理デバイス - Google Patents

Abstract

【課題】アーチファクトを低減し、完全な自動化を可能にする画像データの自動マッピング方法を提供する。
【解決手段】この方法は、画像の画像データを輝度値として表すことと、画像の平均輝度値と、画像の最小輝度値及び最大輝度値との関数としてキー値を決定することと、オフセット調節輝度値を生成することであって、決定したキー値の関数であるオフセットを輝度値の各々に適用することを含む、オフセット調節輝度値の生成と、画像の少なくとも１つの領域の調子再現曲線を計算することであって、第１のマッピング関数と第２のマッピング関数の関数であるマッピング関数をオフセット調節輝度値に適用することを含む、調子再現曲線の計算と、を含む。
【選択図】図２

Description

本発明は画像処理に関する。特に、本発明は高ダイナミックレンジから低ダイナミックレンジへの画像のマッピングに関連して使用される。

シーン、画像又は複製（複写）デバイスの「ダイナミックレンジ」は、最高の輝度レベルと最低の輝度レベルの比として定義される。近年の技術により、高ダイナミックレンジ（ＨＤＲ）シーナリーの放射輝度マップの生成が比較的容易になった。プリンタやＣＲＴモニタのような従来の低ダイナミックレンジ（ＬＤＲ）複製デバイスは一般に８ビットであり、即ち、輝度は０から２５５の整数に及ぶことができる。これらのデバイスは、高ダイナミックレンジ画像（通常は１チャネルあたり１２ビット、１６ビット、又は３２ビットのものさえある）を直接複製することができない。しかし、高コントラストのシーナリーを従来の複製デバイスで実際に複製することが、印刷業界、写真業界そしてコンピュータグラフィックスにおいて必要である。

同一の量子化ステップを用いて高ダイナミックレンジから低ダイナミックレンジに変換すると、画像の最も明るい部分又は画像の最も暗い部分が失われることが多い。ダイナミックレンジ圧縮のための階調再現技術がいくつか提案されている。しかし、これらの技術の殆どがシーナリーの局所的なコントラストや細部を複製することができず、アーチファクトを取り込む傾向にある。この欠点を克服しようとする技術は計算的に高価であることが多い。また、これらの方法は通常は画像に依存した手作業のパラメータ調節を含むため、自動化した表示処理や印刷処理にこれらの方法を利用するのは難しい。

エシュバッハら(Eschbach, et al.)の米国特許第５，４５０，５０２号は、自然のシーン画像における大域コントラストの改良方法を開示している。この方法では、画像は、カラー座標の元のセットから、１つの項が全体の画像強度に関連する式に変換される。この項に関する画像の大域ヒストグラムが得られる。このヒストグラムは、画像において生じうる各強度レベルにおけるピクセルの集団をプロットする。ヒストグラムを描く信号は、関数の激しい上がり下がりを弱めるフィルタにより、信号の平らな部分に影響を与えずにオンに作動される。フィルタリングされたヒストグラム信号は、画像を印刷するデバイスにおけるＴＲＣマッピングの制御に使用される。画像は多数のセグメントに分割され、各セグメントはその画像セグメントの局所的ヒストグラム信号によって記述可能である。各局所的ヒストグラム信号は大域ヒストグラムと比較され、どちらの信号がより平らであるかが判断される。局所的ヒストグラムのいずれかが大域ヒストグラムよりも平らな信号を有する場合、信号は１つの関連ヒストグラム信号にまとめられ、その場所で平坦化フィルタに送られる。
米国特許第５，４５０，５０２号明細書 米国特許第１１／１７４，６７９号明細書 米国特許第５，５８１，３７０号明細書 米国特許第６，８２６，３１０号明細書 米国特許第６，８５０，６４２号明細書

本発明に示す態様に従って、画像データの自動マッピング方法を提供する。

この方法は、画像の画像データを輝度値として表すことと、画像の平均輝度値と、画像の最小輝度値及び最大輝度値との関数としてキー値を決定することと、オフセット調節輝度値を生成することであって、決定したキー値の関数であるオフセットを輝度値の各々に適用することを含む、オフセット調節輝度値の生成と、画像の少なくとも１つの領域の調子再現曲線を計算することであって、第１のマッピング関数と第２のマッピング関数の関数であるマッピング関数をオフセット調節輝度値に適用することを含む、調子再現曲線の計算と、を含む。

前述の方法では、マッピング関数をヒストグラム等化マッピング関数及び線形マッピング関数の加重平均とすることができる。

この方法は、均一性の閾値レベルを越える画像の領域を検出することと、検出した領域の線形マッピング関数に更に大きな重みを付けるようマッピング関数を局部的に調節することと、を更に含むことができる。

前述の方法では、キー値は画像の全体の輝度に関連して増加することができる。

この方法では、キー値を下記の式に従って計算することができる。

式中、ｒ及びｓは係数、Ｌ_minは画像の最小輝度、そしてＬ_maxは最大輝度である。

この方法では、オフセットを下記の式に従って計算することができる。

この方法では、輝度を下記の式に従って正規化することができる。

式中、Ｌ_minは画像の最小輝度値であり、Ｌ_maxは画像の最大輝度値である。

この方法では、調子再現曲線の計算は、画像の複数の領域の各々に対して異なる調子再現曲線を計算することを含むことができる。

この方法では、領域を同一サイズのブロックとすることができる。

この方法は、画像内のピクセルのマップピクセル輝度値を計算することを更に含むことができる。マップピクセル輝度値は、ピクセルが位置する領域の調子再現曲線のために決定されたマップ値と、ピクセルが位置する領域の近隣に位置する領域の調子再現曲線との加重平均の関数である。

この方法では、加重平均を、ピクセルの輝度値と近隣領域の平均輝度値との類似の関数とすることができる。

この方法では、計算したキー値を領域の各々に対して同一にすることができる。

この方法は、調子再現曲線を画像の少なくとも領域の輝度値に適用し、調子再現曲線調節輝度値を生成することを更に含むことができる。

この方法では、画像データを輝度値として表すことが各ピクセルのカラー値の加重平均を計算することを含むことができる。この方法は、生成した調子再現曲線調節輝度値の関数として調節カラー値を計算することを更に含むことができる。

この方法は、画像レンダリングデバイスにおいて画像をレンダリングすることを更に含むことができる。

この方法では、調子再現曲線の計算が、低ダイナミックレンジを有する輝度値にオフセット調節輝度値をマップすることを含むことができる。

この方法では、調子再現曲線の計算の前に、オフセット調節輝度値を対数目盛で正規化することができる。

画像処理デバイスは、前述の方法を行うための命令を記憶するメモリと、命令を実行するプロセッサを含むことができる。

他の態様に従って、画像処理デバイスは命令を記憶するメモリを含む。命令は、画像の画像データを輝度値として表すことと、画像の平均輝度値と、画像の最小輝度値及び最大輝度値との関数としてキー値を決定することと、オフセット調節輝度値を生成することであって、決定したキー値の関数であるオフセットを輝度値の各々に適用することを含む、オフセット調節輝度値の生成と、画像の少なくとも１つの領域の調子再現曲線を計算することであって、第１のマッピング関数と第２のマッピング関数の関数であるマッピング関数をオフセット調節輝度値に適用することを含む、調子再現曲線の計算と、を行うためのものである。プロセッサがこれらの命令を実行し、処理済の画像を出力する。

画像処理デバイスは、ディスプレイと、プロセッサに関連し、プロセッサによって出力された画像を受け取る画像レンダリングデバイスとのうちの少なくとも１つを更に含むことができる。

他の態様に従って、コンピュータプログラム製品は、コンピュータでの実行の際にコンピュータに１つの方法を実行させる命令を記憶した、タンジブルでコンピュータが使用可能なデータキャリヤを含む。この方法は、画像の画像データを輝度値として表すことと、画像の平均輝度値と、画像の最小輝度値及び最大輝度値との関数としてキー値を決定することと、輝度値のダイナミックレンジを圧縮することであって、決定したキー値の関数であるオフセットを輝度値の各々に適用してオフセット調節輝度値を生成することを含む、輝度値のダイナミックレンジの圧縮と、画像の少なくとも１つの領域の調子再現曲線を計算することであって、第１のマッピング関数と第２のマッピング関数の関数であるマッピング関数をオフセット調節輝度値に適用することを含む、調子再現曲線の計算と、を含む。

他の態様に従って、高ダイナミックレンジから、高ダイナミックレンジよりも低い低ダイナミックレンジへの画像データの自動マッピング方法を提供する。この方法は、高ダイナミックレンジ画像の画像データを輝度値の大域ヒストグラムとして表すことと、高ダイナミックレンジ画像の全体の輝度の関数としてオフセットを自動的に決定することを含む。大域ヒストグラムの輝度値を、オフセットを組み込んだ対数ダイナミックレンジ圧縮で圧縮する。画像を複数の領域に分割し、領域の各々は、圧縮した大域ヒストグラムから選択した輝度値の局部的ヒストグラムによって記述可能である。画像の複数の領域の各々に対し、局部的ヒストグラムを第１のマッピング関数と第２のマッピング関数の関数として低ダイナミックレンジの出力輝度値にマップする調子再現曲線を計算する。

例示的な実施の形態は、高ダイナミックレンジ画像を低ダイナミックレンジ画像に圧縮するシステム及び方法に関するものである。この方法及びシステムは、低ダイナミックレンジデバイスでレンダリングする際に見た目が良く現実的な高ダイナミックレンジのシーナリーの外観を保持する。

この技術は、アーチファクトを取り込むことなくシーナリーの局部的コントラストや細部を複製する、完全に自動化した高速な階調再現方法での使用に適している。

種々の態様において、この方法は、初めの対数ダイナミックレンジ圧縮において、マップした高ダイナミックレンジ画像の全体の輝度を自動的に設定することを含む。種々の態様において、局部的ヒストグラムを調節し、高ダイナミックレンジ画像の局部的コントラスト及び細部をウィンドウ機能付アプリケーションのアプローチに基づいて複製する。それぞれのウィンドウにおけるコントラストの強調(contrast enhancement)をウィンドウ内の相対的統一性に従って制御することにより、ノイズアーチファクトの発生を防止するか又は減少させることができる。この方法は、最も局部的な階調再現技術を用いるよりも効果的にハロー(halo)アーチファクトを抑えることができる。類似重み関数を導入してアーチファクトを更に減少させることができる。

図１を参照すると、イメージング（撮像）システム１０はシーン１２の画像などの画像を取得する。この画像をカメラやスキャナなどの高ダイナミックレンジ画像取得デバイス１４によって取得することができ、このデバイスはシーン１２の画像を示す光を受け取るアクティブピクセルセンサ１６を含むことができる。取得デバイスは、この光を、受け取ったピクセルレベルの信号を示す信号１８に変換する。取得デバイスは、例えば１チャネルあたり１２ビット、１６ビット、又は３２ビットさえも記録できるデバイスとすることができる。記録する画像は静止画像でもよいしビデオ画像でもよい。画像処理デバイス２０は、この画像を本明細書に述べるように処理して信号ダイナミックレンジのビット数を減少させるプロセッサ２２を含む。プロセッサ２２の出力をＣＲＴモニタなどのディスプレイ２４に表示することができる。あるいは、用紙などの基体上に画像を物理的な形で生成するプリンタなどのイメージングデバイス２６で画像をレンダリングする。これらの目的のために、処理デバイス２０はディスプレイドライバ及び／又はプリンタドライバを含んでもよい。画像処理デバイス２０を汎用コンピュータ又は専用の処理デバイスの形にすることができる。プロセッサへの命令をＲＡＭやＲＯＭなどの別個のメモリ２８に記憶してもよいし、メモリをプロセッサ２２と組み合わせて単一のチップにしてもよい。画像処理デバイス２０の構成要素はデータ／制御バス３０を介して通信しあうことができる。処理の際は、画像を揮発性メモリ３２に記憶することができる。

画像センサ１６によって生成された画像１８は、ディスプレイ２４に表示するか又はイメージングデバイス２６にレンダリングすることのできる高いダイナミックレンジを有することができる。従って、本発明のシステムの動作により、画像の輝度ヒストグラムを更に低いダイナミックレンジのものにマップする。プロセッサ２２は、図２のフロー図に概説するように、この方法を実行するための命令を含む。

図１はイメージングシステム１０の極めて簡略化した機能図であることが理解されよう。しかし、このような画像処理デバイスの詳細は公知であり、更なる説明は不要であることを理解されたい。

１つの実施の形態では、命令をコンピュータ２０にインストールするためにディスクや他のデータキャリアデバイスなどのコンピュータプログラム製品を用いるか、又は命令をサーバ経由でコンピュータに提供することができる。

デジタル画像は、規則的な格子に配列された画素即ちピクセルの集まりを含む。カラー画像は、ピクセルにおいてカラーを記述するように通常は３つか４つであるいくつかのカラーチャネル(colorant channels)を含む。例えば、赤、緑及び青（ＲＧＢ）のチャネル、又はシアン、マゼンタ、イエロー及びブラック（ＣＭＹＫ）のチャネルを含むことができる。各チャネルは更に、各ピクセルにおけるカラーの量を表すカラー値を含む。カラー画像では、チャネルは人間の輝度又は明度の感覚を間接的にしか表さないため、カラー情報は、低ダイナミックレンジへのマッピングの前に輝度を表す定量に変換される。

人間の明度の知覚を実質的に表す１つの次元を有する３次元のカラースペース（色空間）は当技術分野で周知である。このようなスペースは一般に明度の次元に直交するクロミナンス面を有し、この面はカラーの色成分を表す。クロミナンス面内の明度軸から延びる種々の方向は明度軸からの種々の色相に対応し、明度軸からの距離は、少なくともおおよそであるが、カラーの知覚された彩度即ち鮮明さに関連する。このようなカラースペースを極座標で表すことができる。極座標では、明度軸を中心とする回転は色相角度又はカラー位相を表し、色相軸からの距離は彩度を表す。明度軸（即ちグレースケール）を例えば強度、輝度、値又はルーマ(luma)として表すことができ、本明細書では概して輝度と呼ぶ。

図２を参照すると、第１のダイナミックレンジの画像（ＨＤＲ画像）を第２の低ダイナミックレンジ画像（ＬＤＲ画像）にマッピングする例示的な方法が示されている。この方法は、画像データを大域輝度ヒストグラムの形で表すことと、ダイナミックレンジのオフセットを決定することを含む。次に、輝度画像のダイナミックレンジを圧縮し、クロミナンスを再び書き込む。この方法は、画像内の複数領域の局部的ヒストグラムの生成を含むことができる。決定した輝度値に平滑化技術を適用して領域のエッジにおける激しい変化を低減し、２つ以上の領域にわたる均一領域のオブジェクトの周りに生じるハローの影響を最小にすることができる。

この方法はステップＳ１００から開始する。ステップＳ１０２では、ＨＤＲ画像の画像データがプロセッサ２０によって受け取られる。

ステップＳ１０４では、画像データを大域輝度ヒストグラム（例えば、画像内の全ピクセルのヒストグラム）に変換する。図３は例示的なヒストグラムを示しているが、実際には、高ダイナミックレンジ画像は示されているものよりも多くの輝度値を含むことが理解されよう。

ステップＳ１０４では、画像の各ピクセルに対し、ピクセルのカラー成分を輝度値に変換することができる。例えば、ＲＧＢ入力の加重平均などの平均値を用いて輝度成分Ｌを決定することができる。１つの態様では、下記の式を用いることができる。
Ｌ＝０．２９９^*Ｒ＋０．５８７^*Ｇ＋０．１１４^*Ｂ 式１

もちろん、入力が既にＬ^*ａ^*ｂ^*のように輝度として表されている場合は、このステップは不要となりうる。下記の計算は輝度成分Ｌに基づいている。ダイナミックレンジの圧縮後にＲＧＢカラー情報を復元することができる（式１１）。

ステップＳ１０６からステップＳ１１０では、ダイナミックレンジの圧縮の際に適用するオフセットを決定する。オフセットは、マップ画像の全体の輝度を決定する。各ピクセルのオフセットを用いて輝度成分Ｌの対数を計算することによって画像のダイナミックレンジを圧縮することができ、これを正規化して０と１の間の値を生じることができる。具体的には、ピクセル毎に、圧縮した輝度値Ｄを下記のように計算することができる。

式中、Ｌ_minは画像の最小輝度であり、Ｌ_maxは最大輝度である。

本明細書に用いられるように、最大輝度値及び最小輝度値は、それぞれ画像の実際の最大輝度値及び最小輝度値にするか、又は範囲の上端及び下端に含まれる輝度値の少数部分を平均化することで決定することができる。また、最大輝度値及び最小輝度値をそれぞれ輝度分布の上部パーセンタイル及び下部パーセンタイルとすることもできる。一般に、上部パーセンタイルは９０％よりも大きくなるように選択され、下部パーセンタイルは１０％未満になるように選択される。

１つの実施の形態では、画像全体に同一のオフセット値を用いる。他の実施の形態では、同一のサイズ及び形状とすることができるが、そうでなくてもよい画像の複数領域の各々に対してオフセットを決定する。下記の考察では、画像全体を１つの領域とみなす。

オフセットを下記のように自動的に推定することができる。ステップＳ１０６では、画像の平均輝度の推定値を決定する。例えば、画像全体の平均対数輝度を下記のように決定することができる。

式中、Ｎは画像内の全ピクセル数、Ｌ（ｘ，ｙ）は式１から計算した位置ｘ，ｙにおけるピクセルの入力輝度、そしてεはブラックピクセル（０値であり、１の対数を有する）が画像内にある場合に生じる特異点を避けるための（約０.００００１などの）小さな値である。

ステップＳ１０８では、キー値ｋを決定する。キー値は画像の輝度の関数である。大きなキー値は鮮やかな画像（高輝度値）に相当し、小さなキー値は暗い画像（低輝度値）に相当する。下記の式を用いて、Ｌ_aveから画像のキー値を決定することができる。

式中、ｒ及びｓは係数、Ｌ_minは画像の最小輝度、Ｌ_maxは最大輝度である。

式４は、画像の平均輝度が暗い画像に相当する最小輝度値に近くなると比較的小さなｋ値を割り当て、平均輝度が最大輝度（鮮やかな画像）に近くなると大きなｋ値を割り当てるように構成されている。例えば、係数ｒ及びｓの異なる値を用いて画像を生成し、観測者のグループによる好みの研究を行うことで、係数を経験的に決定することができる。例えば、ｒが０.３５、ｓが２であり、これらが適切な値であるとわかっている場合、式４は下記式のようになる。

式中、ｋは０.１７５から０.７０である。

ステップＳ１１０では、オフセットを決定する。画像のＬ_aveを、前述のように０と１の間の大きさに決定されたキー値にマップする。

オフセットは、約２０回の反復などの予め選択した反復数内で、数値計算、例えばニュートン法を用いて解くことができる。

ステップＳ１１２では、画像２００を複数の領域、例えばブロック２０２（図４）に分割することができる。ブロックはサイズ及び形状が同一であってもよいし、異なっていてもよい。例えば、マトリックス状に配列された長方形のブロックでもよいが、三角形や五角形のような他の形状のブロックも考慮される。ブロックを同じサイズ及び形状にすることができる。ブロックのサイズは、画像の解像度にある程度依存しうる。例えば、画像２００を約２個から約１０００個のブロック２０２（例えば約６４個のブロックなど）に分割することができる。ブロックのサイズは、画像のピクセル数にある程度依存しうる。ブロック内のピクセルが少なすぎると不正確な計算が生じる場合がある。例えば、各ブロック２０２は少なくとも約５００のピクセルを含むことができ、１つの実施の形態では少なくとも１０００のピクセルを含むことができる。

ステップＳ１１４では、局部的領域でのヒストグラム調節に基づいてブロック毎に調子再現曲線（ＴＲＣ）を計算する。具体的には、各領域２０２のピクセルのＤ値を含む局部的ヒストグラムを生成し、これを、選択した低ダイナミックレンジ内の出力輝度値のセットにマップする。ヒストグラムの調節には、図５に示すようなヒストグラム等化マッピング及び線形マッピングを含む種々の方法がある。線形マッピング法では、ブロック内の全ピクセルのＤ値の入力ヒストグラムを、線形マッピング関数を用いて出力ヒストグラムにマップする（出力Ｄ値は入力Ｄ値に正比例する）。例えば、ヒストグラムの最小輝度を低ダイナミックレンジの最小輝度と同等であるとみなし、ヒストグラムの最大輝度を低ダイナミックレンジの最大輝度と同等であるとみなすことができる。次に、これらの限度間の内挿によって輝度の残りの値を構築する。ヒストグラム等化マッピングは画像ピクセルの輝度順位を維持するが、同じくらいの数のピクセルがそれぞれ形成可能な輝度値を有するように輝度値を再分配する。この方法は、同一又は同様の入力Ｄ値を有するピクセルが多く集中する（高コントラストをもたらす）範囲を拡張し、これよりもピクセルの数が少ない範囲を圧縮する。

１つの実施の形態では、ＴＲＣの計算に用いる技術は、２つ以上のマッピング技術の加重平均であるマッピング関数に基づいている。マッピング関数は、ヒストグラム等化マッピング関数及び線形マッピング関数の加重平均であってもよい。この方法は、均一性の閾値レベルを越える画像の領域を検出することと、検出した領域の線形マッピング関数に更に大きな重みを付けるようマッピング関数を局部的に調節することを含むことができる。

例えば、マッピング関数を、式６に示すように、適切に決定したオフセットを用いた初めの対数圧縮の後に行うヒストグラム等化マッピング及び線形マッピングの加重平均とすることができる。このヒストグラム調節技術は、ジェイ．デュエン(J. Duan)及びジー．チウ(G. Qiu)、「高ダイナミックレンジ画像の高速トーンマッピング(Fast Tone Mapping for High Dynamic Range Images)」、ＩＣＰＲ２００４、第１７回パターン認識国際会議、第２巻、第８４７−８５０頁、２００４年に記載の方法に基づいている。この技術は、本来は大域トーンマッピングのために考案されたものである。

式中、０≦β≦１である。ＥＣは初めの対数圧縮後に行うヒストグラム等化マッピング、ＬＣは初めの対数圧縮後に行う線形マッピングである。β＝０に設定するとマッピングは線形になり、β＝１の場合、マッピングはヒストグラムを等化する。一般に、βの値が大きいほど、等化方法に更に大きな重みを付けるためにコントラストの高い画像が生じる。

例えば、トリフォノフら(Trifonov, et al.)の米国特許第６，８２６，３１０号に記載のように、ＴＲＣを生成する他のヒストグラム等化技術が考慮される。

先に概説した局部的コントラスト強調方法により、同様のピクセルからなる均一な領域２０４を非常に異なる値にマップする場合がある。これによってノイズが生じる傾向にある。この問題を解決する１つの方法は、均一な領域を検出し、この領域におけるコントラストの強調を弱めることである（ステップＳ１１４）。適応方法を用いて、異なる局部的領域のパラメータβを自動的に決定することができる。例えば、ヒストグラム値に対して計算した広がり度合の尺度(measure of spread)はいずれも計算することができる。尺度の例としては、分散、標準偏差、範囲、四分位間偏差などをあげることができる。尺度が所定の閾値よりも大きい場合（例えば、広がり度合の尺度として分散を使用した場合は約１８．８を閾値として使用することができる）に均一なブロックとみなす。次に、比較的小さなパラメータβを局部的ヒストグラム調節技術に用いる（式６）。これにより、この領域のコントラスト強調が小さくなる。

各ブロックを個々に処理する例示的なコントラスト強調方法は、同様のピクセルからなる隣接領域を非常に異なる値にマップする場合がある。１つの実施の形態では、平滑化技術（ステップＳ１１６）を用いて１つのブロックから次のブロックへの激しい変化を低減する。平滑化技術は距離重み関数を含むことができ、距離重み関数は、ピクセルが存在するブロックからのＴＲＣによって提供される出力Ｐマップ値と、（最大８個の）隣接ブロックのＴＲＣの出力Ｐマップ値との加重平均を生成する。重み付けは、各ブロックの中央部からピクセルまでの距離に反比例することができる。よって、ピクセルがブロック間のエッジに近づくにつれて、隣接するブロックのＴＲＣに付ける重みは大きくなる。近隣の各ブロックのピクセル入力Ｄ値と平均Ｄ値との類似を考慮する類似関数に従って、重み関数を更に変更することができる。

例えば、図６に示すように、（式（２）から決定された）画像の各ピクセルＤ（ｘ，ｙ）に対し、近隣ブロックにおいて展開したＴＲＣを用いてピクセルをＴＲＣ₁［Ｄ（ｘ，ｙ）］、ＴＲＣ₂［Ｄ（ｘ，ｙ）］、ＴＲＣ₃［Ｄ（ｘ，ｙ）］、．．．ＴＲＣ₉［Ｄ（ｘ，ｙ）］に変える。次に、最終的なマップピクセル値を、距離重み関数及び類似重み関数に従ってＴＲＣ₁［Ｄ（ｘ，ｙ）］、ＴＲＣ₂［Ｄ（ｘ，ｙ）］、ＴＲＣ₃［Ｄ（ｘ，ｙ）］などの加重平均として下記のように計算することができる。

式中、ｗ_d（ｎ）は距離重み関数、σ_dは係数（例えば１８）、ｄ_nは、図６に示すような現在のピクセルの位置とその近隣ブロックの中心との間のユークリッド距離、ｗ_s（ｎ）は類似重み関数、σ_sは係数（例えば０．１）、Ｓ_nは現在のピクセル値と近隣ブロックの平均ピクセル値との正規化差（Ｄｍｅａｎ_n）である。

距離重み関数は、ピクセルの位置するブロックのＴＲＣに常に最大の重みを割り当てるため、局部的コントラストの保存を支持する。一方、類似重み関数は、均一な領域内にある同様のピクセルが異なるブロックに分割されていてもこれらのピクセルを同様の値にマップする可能性を高める。最終的な効果として、マップ画像は局部的コントラストを保存し、また、均一な領域に隣接するオブジェクトの輪郭付近に生じる傾向のあるハローアーチファクトを取り除く。

必要に応じて、１ブロックのみの全ピクセルの距離重み関数を計算することによって計算を少なくすることができる。そして、（サイズ及び形状の均一なブロックを仮定すると）ピクセルと近隣ブロックの中心との間の相対的な距離は常に同じであるため、計算値を残り全てのブロックに用いることができる。更に、ルックアップテーブルを用いて類似関数の計算を近似することができる。アルゴリズムを迅速化する他の方策は、低解像度画像の値を計算し、内挿によって元のサイズに戻すことである。

ステップＳ１１８では、ＲＧＢ出力を元のＲＧＢ値の関数として作り直し、式７を用いてＰ_mapped輝度値を決定する。必要に応じ、下記の式を用いてこれらを決定することができる。

式中、ガンマパラメータγはマップ画像のカラーを制御する係数である。例えば、γを０．５に設定する。

前述の方法はいくつかの利点を有する。第１に、局部的ヒストグラムの調節により、大域マッピングに依存したヒストグラム調節法を用いて得られるものよりも高いコントラストを得ることができる。第２に、初めのダイナミックレンジの縮小は、ニュートン法を用いて全体の輝度を自動的に設定することのできる対数圧縮である。これによって人間との対話の必要性が低減されるため、この技術は、例えばフォトショップ環境における画像の自動大量印刷に好適である。第４に、この方法によってハローの影響を最小にし、均一な領域を同様の方法で処理することができる。画像の異なる領域において異なるβ値を用いることで、コントラストの形成にふさわしい箇所にコントラストを提供することができる。ヒストグラムの広がり度合の尺度に基づいてβを自動的に決定する方法も提供される。

例示的なデフォルトパラメータを有する広範囲の高ダイナミックレンジ画像にこの方法を試したところ、非常に好ましい結果を示した。本発明の方法を用いた場合は、既存の階調再現法に比べて、人間による入力を必要とせずに一貫して良好な複製を実現した。

この方法は、高ダイナミックレンジ画像データ（通常は１チャネルあたり１２ビット、１６ビット、又は３２ビットのものさえある）を、プリンタやＣＲＴモニタのような従来の８ビットの低ダイナミックレンジ複製デバイスでの可視化に好適な形に変換することに関連して使用される。複製画像を、見た目が良く視覚的経験を呼び起こすようなものにすることは、印刷業界、写真業界及びコンピュータグラフィックスの目標である。本発明の技術はこの目標を達成し、ユーザ評価において最良の既存の技術と同程度の性能を示す。また、この技術は高速で完全に自動であるため、この技術を自動印刷処理過程に含めることができる。

例示的な実施の形態の１つの態様に従ったイメージングシステムの機能ブロック図である。 例示的な実施の形態の他の態様に従った、局部的ヒストグラム調節ベースの高ダイナミックレンジ画像マッピング方法のフロー図である。 入力画像の例示的な輝度ヒストグラムを示す図である。 処理のために複数のブロックに細分した例示的な画像の概略図である。 画像全体又は画像の一領域のオフセット調節済の正規化輝度値に適用可能なマッピング関数を示す図である。 距離重み関数に従った重み付け平均化処理を示す図である。

符号の説明

１０ イメージングシステム
１２ シーン
１４ 高ダイミナミックレンジ画像取得デバイス
１６ アクティブピクセルセンサ
１８ 信号
２０ 画像処理デバイス
２２ プロセッサ
２４ ディスプレイ
２６ プリンタ
２８ メモリ
３０ バス
３２ 揮発性メモリ

Claims (10)

1. 画像データの自動マッピング方法であって、
   画像の画像データを輝度値として表すことと、
   前記画像の平均輝度値と、前記画像の最小輝度値及び最大輝度値との関数としてキー値を決定することと、
   オフセット調節輝度値を生成することであって、決定した前記キー値の関数であるオフセットを前記輝度値の各々に適用することを含む、オフセット調節輝度値の生成と、
   前記画像の少なくとも１つの領域の調子再現曲線を計算することであって、第１のマッピング関数と第２のマッピング関数の関数であるマッピング関数を前記オフセット調節輝度値に適用することを含む、調子再現曲線の計算と、
   を含む前記方法。
2. 前記マッピング関数がヒストグラム等化マッピング関数及び線形マッピング関数の加重平均である、請求項１に記載の方法。
3. 均一性の閾値レベルを越える前記画像の領域を検出することと、
   検出した前記領域の前記線形マッピング関数に更に大きな重みを付けるよう前記マッピング関数を局部的に調節することと、
   を更に含む、請求項２に記載の方法。
4. 前記キー値が前記画像の全体の輝度に関連して増加する、請求項１に記載の方法。
5. 前記調子再現曲線の計算が、
   前記画像の複数の領域の各々に対して異なる調子再現曲線を計算することと、
   必要に応じて前記画像内のピクセルのマップピクセル輝度値を計算することであって、該マップピクセル輝度値が、前記ピクセルが位置する領域の前記調子再現曲線のために決定されたマップ値と、前記ピクセルが位置する前記領域の近隣に位置する領域の調子再現曲線との加重平均の関数である、マップピクセル輝度値の計算と、
   を含む、請求項１に記載の方法。
6. 前記調子再現曲線を前記画像の少なくとも前記領域の輝度値に適用し、調子再現曲線調節輝度値を生成することを更に含む、請求項１に記載の方法。
7. 前記画像データを輝度値として表すことが各ピクセルのカラー値の加重平均を計算することを含み、前記方法が、生成した前記調子再現曲線調節輝度値の関数として調節カラー値を計算することを更に含む、請求項６に記載の方法。
8. 前記調子再現曲線の計算が、低ダイナミックレンジを有する輝度値に前記オフセット調節輝度値をマップすることを含む、請求項１に記載の方法。
9. 画像処理デバイスであって、
   命令を記憶するメモリであって、前記命令が、
   画像の画像データを輝度値として表すことと、
   前記画像の平均輝度値と、前記画像の最小輝度値及び最大輝度値との関数として
   キー値を決定することと、
   オフセット調節輝度値を生成することであって、決定した前記キー値の関数である
   オフセットを前記輝度値の各々に適用することを含む、オフセット調節輝度値の生成と、
   前記画像の少なくとも１つの領域の調子再現曲線を計算することであって、第１のマ
   ッピング関数と第２のマッピング関数の関数であるマッピング関数を前記オフセット調
   節輝度値に適用することを含む、調子再現曲線の計算と、
   を行うためのものである、メモリと、
   前記命令を実行し、処理済の画像を出力するプロセッサと、
   を含む画像処理デバイス。
10. 高ダイナミックレンジから、該高ダイナミックレンジよりも低い低ダイナミックレンジへの画像データの自動マッピング方法であって、
    高ダイナミックレンジ画像の画像データを輝度値の大域ヒストグラムとして表すことと、
    前記高ダイナミックレンジ画像の全体の輝度の関数としてオフセットを自動的に決定することと、
    前記大域ヒストグラムの前記輝度値を、前記オフセットを組み込んだ対数ダイナミックレンジ圧縮で圧縮することと、
    前記画像を複数の領域に分割することであって、該領域の各々が、圧縮した前記大域ヒストグラムから選択した輝度値の局部的ヒストグラムによって記述可能である、前記画像の複数の領域への分割と、
    前記画像の前記複数の領域の各々に対して調子再現曲線を計算することであって、該調子再現曲線が、前記第１のマッピング関数と前記第２のマッピング関数の関数としての前記低ダイナミックレンジの出力輝度値に前記局部的ヒストグラムをマップする、調子再現曲線の計算と、
    を含む前記方法。
    

Images