JP2011514030A - コントラスト促進のためのヒストグラム・モデリング・ベースのアルゴリズム - Google Patents

Abstract

画像コントラスト促進のための、ヒストグラム・モデリングをベースにした技術である。いくつかの実施例において、画像のヒストグラムが作成され、その後変換される。音伝搬あるいは熱伝搬の物理的特性を用いて、この技術は変換されうる拡散ヒストグラム・モデルを発展させうる。非線形マッピングがコントラスト促進のための画像をリマップするために作成されうる。この技術は、しきい値調節なして実行されうるし、様々なディスプレイ・ハードウェア上で実施されうる。

Description

米国特許法第１１９条に基づく優先権主張

本特許出願は２００８年１月１７日に提出された” A Histogram-Modeling Based Algorithm for Contrast Enhancement,”と題された米国特許仮出願６１／０２１，８３１号に対する優先権を主張する。上記出願は本願の譲受人に譲渡され、参照によって本明細書に明確に組み込まれる。

コントラスト促進の処理は、一般的には画像のグレー・スケールあるいはインテンシティ・レベルをリマップすることを必要とするので、画像が全ての使用可能なダイナミック・レンジを占有する。最近まで、コントラスト促進はヒストグラム平坦化によって達成されていた。ここでは、ディスプレイの全ての使用可能なグレー・レベルは、画像の画素によって占有される等しい確率を有している。しかし、ヒストグラム平坦化は、しばしば画素分布を過度に広げるため、出来上がった画像は人工的な品質を有している。

別の解決法は、コントラスト・リミテッド・ヒストグラム平坦化（CLHE）である。ここでは、ヒストグラムの例外的なピークが切り取られることで、それらによって平坦化されたヒストグラムが支配されることが防止される。ＣＬＨＥは、低、中、高レベルの、異なる視覚の感度を考慮したいくつかのバリエーションを有している。例えば、異なる領域の境界での円滑な移行を確実にするために適切な調整がなされた場合、ＣＬＨＥは異なるインテンシティ領域で別々に行われる。出来上がった画像が希望のエンハンスメントを有するようにクリッピングしきい値を設定するのは、複数のしきい値が存在するためＣＬＨＥにおいては困難である。人的要因および先入観が処理を演じ、その処理を主観的なものにする。アルゴリズムによってしきい値を自動的に推定することが提案されているが、完全には解決に至っていない。それゆえに、ＣＬＨＥはコントラスト促進の問題に対する完全な解決法ではない。

画像コントラスト促進のためのヒストグラム・モデリング・ベース技術が、いくつかの実施例の参照を用いて説明されている。いくつかの実施例において、画像のヒストグラムが作成され、変換される。音伝搬および熱伝搬の物理的特性を用いて、この技術は拡散ヒストグラム・モデルを発展させうる。このモデルを用いて、コントラスト促進のための画像をリマップするために非線形マッピングが作成されうる。この技術は、しきい値の調節なしで実行されうるし、様々なディスプレイ・ハードウェア上で実施されうる。

いくつかの実施例において、画像のコントラスト促進するための方法は、画像のヒストグラムを決定することと、ヒストグラムに変換を適用し変換ヒストグラムを作成することと、変換ヒストグラムに関連付けられた拡散ヒストグラム・モデルの推定されたパラメータを決定することと、拡散ヒストグラム・モデルに逆変換を適用し拡散ヒストグラムを作成することと、拡散ヒストグラム用いてイメージをリマップすることとを含む。

いくつかの実施例において、画像のコントラスト促進のための装置は、画像のヒストグラムを決定するヒストグラム・エンジンと、ヒストグラムの変換を決定し変換ヒストグラムを作成する変換エンジンと、変換ヒストグラムに関連付けられた拡散ヒストグラム・モデルを決定するパラメータ推定エンジンとを含む。拡散ヒストグラムを作成するために、逆変換が拡散ヒストグラム・モデルに適用されうる。拡散ヒストグラムを用いて、画像がリマップされうる。

先の記述は概要であるので、必要に応じて、簡易化、一般化および細部の省略を含む。当業者は、この概要は単に例示的であり、いかなる限定をも意図されてはいない、ということを正しく理解するだろう。

先の記載の概要は、以下に続く好的な実施形態の詳細な説明と同様に、添付図面と関連付けて読まれた場合に、より理解される。例示の目的のために、図面において典型的な実施形態が示される。しかし、本開示は、開示された特定の方法および手段には限定されない。
図１は、画像処理のための典型的な汎用コンピューティング・デバイスのブロック図である。 図２は、画像のコントラスト促進のための計算上モデルの典型的なフロー図である。 図３Aは、典型的なオリジナル画像を例示している。 図３Bは、典型的なコントラスト促進された画像を例示している。 図４Aは、図３Bの画像を生成するために図３Aの画像を促進するための典型的な非線形マッピング機能を例示している。 図４Bは、図３Aにおける画像のヒストグラムを例示している。 図４Cは、図３Bのコントラスト促進画像のヒストグラムを例示している。

本開示の実施例によると、コントラスト促進はヒストグラム・モデリングおよびヒストグラム拡散に基づいたアルゴリズムを使用することによって達成されうる。「拡散」は音伝搬あるいは熱伝搬の物理的特性に基づいており、促進を実行するためにしきい値の調節を必要としないパラメータを決定するために使用されうる。図１は、本開示の態様を実現するために使用されうる動作環境の一例を示している。図１は、画像処理のための典型的な汎用コンピューティング・デバイスのブロック図である。デバイス１００は、変換構成要素１１５、ヒストグラム計算構成要素１２０、推定構成要素１３０、プロセッサ構成要素１３５および通信構成要素１４０を含みうる。プロセッサ１３５は、その他の構成要素の処理を実行するためにコンピューティング・プラットホームを提供する。

変換構成要素１１５は、ヒストグラムを１つのドメインから、空間データのFFT（高速フーリエ変換）あるいはDCT（離散余弦変換）の場合における周波数ドメインのような、別のドメインへと変換する変換構成要素１１５は、IDCT（逆離散余弦変換）あるいは（逆高速フーリエ変換）のような逆変換も実行しうる。これらの変換は、浮動小数点あるいは整数に基づいて計算されうる。

ヒストグラム計算構成要素１２０は、画像のヒストグラムを決定する。画像のヒストグラムは、その画像において見られる各異なるインテンシティ値の画像における画素数を示すグラフである。８ビット・グレースケールの画像には、異なるあり得るインテンシティが２５６存在する。ゆえに、このヒストグラムは、２５６個からなる値をグラフィックに表示し、これらのグレースケール値での画素分布を示す。ヒストグラムは、赤、緑および青チャネルの個々のヒストグラム、あるいは、その他の３D色空間の輝度およびクロミナンス・チャネルの個々のヒストグラムのどちらかのようなカラー・イメージとしてもとられうる。ここで、各ヒストグラムは各チャネルの画素数分布を表す。

推定構成要素１３０は、拡散ヒストグラム・モデルの推定されたパラメータを決定しうる。拡散は物理的処理の性質を表すものであり、実質的に使用可能なダイナミック・レンジにおいてヒストグラム内にインテンシティ・レベルをリマップするために使用される。推定構成要素１３０は物理的処理をモデル化するために使用される、指数的に減少するシヌソイドである偏微分方程式の固有関数のパラメータも推定する。

通信構成要素１４０は、外部ソース１４５から符号化されるデータを受信するために使用されるロジックを含む。外部ソース１５５は、例えば、外部メモリ、インターネット、ライブ・ビデオおよび／あるいはオーディオ・フィードであり、データを受信することは、有線通信および／あるいは無線通信を含みうる。通信構成要素１４０は、ネットワーク１５０を介して、符号化されたデータを送信するためのロジック（Ｔｘ）も含む。ネットワーク１５０は、電話、ケーブル、光ファイバーのような有線システム、あるいは無線システムの一部でありうる。無線通信システムの場合、ネットワーク１４０は、例えば、符号分割多元接続（ＣＤＭＡあるいはＣＤＭＡ２０００）通信システムを備えうる。あるいは他の選択肢として、このシステムは、周波数分割多元接続（ＦＤＭＡ）システム、ＧＳＭ／ＧＰＲＳ（一般パケット無線サービス）／ＥＤＧＥ（強化データGSM環境）のような時分割多元接続（ＴＤＭＡ）システムもしくはサービス産業のためのTETRA（地上波基幹無線）モバイル電話テクノロジー、広帯域符号分割多元接続（WCDMA）、高データ・レート（１×ＥＶ−ＤＯあるいは１×ＥＶ−ＤＯゴールド・マルチキャスト）・システム、あるいは一般に、技術の組み合わせを用いた任意の無線通信システムでありうる。

デバイス１００は、オーディオ・デバイス１１２（例えば、イアピース、ヘッドセット）およびインプット・デバイス１１６（例えば、キーパッド、キーボード、スタイラス）に接続されるか、あるいは統合的にそれらを含む。外部ストレージ１５５は、例えば、外部ＲＡＭあるいはＲＯＭ、もしくは遠隔サーバでありうる。画像データは、ディスプレイ構成要素１６０上で示されうるし、外部ストレージ１５５に格納あるいはプロセッサ構成要素１３５の内部メモリに格納されうる。ディスプレイ構成要素１６０は、ディスプレイ画面を含む、ビデオ表示ハードウェアあるいはロジックのようなパーツを含むデバイスの統合部でありうる、あるいは外部周辺機器でありうる。通信構成要素１４０は、外部ストレージ構成要素１５５あるいは表示構成要素１６０と画像データを通信するために使用されるロジックを含みうる。

表示された画像、例えば表示構成要素１９０、のコンテクストにおいて、コントラスト促進は適切に露光されていない（例えば、露光されすぎ、あるいは十分に露光されていない）画像を克服するための救済策となる。適切に露光されていない画像は、使用可能なダイナミック・レンジの、少しの、限定された領域上に画素が集中しがちである。結果として、画像は暗すぎるか明るすぎるかのどちらかであり、詳細に認識できる細部はほとんどない。そのような画像のヒストグラムは、合間に占有された領域をほとんど伴わない、いくつかのとがったピークによって特徴付けられる。

実施例によると、アルゴリズムは自動的で、しきい値調節あるいは人的相互作用をほとんど必要としないコントラスト促進技術を提供するために、音伝搬あるいは熱伝搬の物理的特性の原理に従う。このアルゴリズムは、リアルタイムで実施可能でありうる、又、出来上がった促進された画像は、全体的特徴という観点から、オリジナルのヒストグラムに類似したヒストグラムを有する。この促進された画像は、ディスプレイのダイナミック・レンジ全体の実質的に全てを占有するヒストグラムを有しうる。

上記に従い、適切に露光されていないヒストグラムは、コンダクタの初期温度挙動あるいは分布であると仮定し、この温度分布は規則的かつ物理的に制約されて拡散するだろう。この拡散は、温度がフルスケールに達し次第、止まりうる。この拡散処理は、しきい値調節も人的相互作用も必要としない物理的処理であるという性質を有し、又、拡散温度挙動は、拡散が物理的に強制的な処理であるため、オリジナルの挙動の特徴と酷似している。温度は自然にかつ緩やかに使用可能なフルスケールに達する。

上記は、本開示に従うコントラスト促進アルゴリズムの代表的な性質である。しかし、熱伝搬特徴を決定するために使用される偏微分方程式（ＰＤＥ）を解くことは、計算上、費用のかかることでありうる。しかし、図２において説明されているような手順を用いて計算されうる、熱伝搬PDEの固有関数は、指数関数的に減少するシヌソイドである。

図２は、画像のコントラスト促進のための計算上のモデル２００の典型的なフロー図である。２０２において、画像のヒストグラムが決定される。８ビットのグレースケール画像では、２５６からなる値をグラフィックに表示し、これらのグレースケール値での画素分布を示すヒストグラムが決定される。ヒストグラムは、赤、緑および青チャネルの個々のヒストグラム、あるいは、その他の３D色空間の輝度およびクロミナンス・チャネルの個々のヒストグラム、のどちらかのようなカラー・イメージとしてもとられうる。ここで、各ヒストグラムは各チャネルの画素数分布を表す。

２０４において、ヒストグラムのIFFT（逆高速フーリエ変換）が決定される。この変換の出力は、等価な空間ドメインにおけるヒストグラムを表している。IFFTは、いくつかの実施例において、変換構成要素１１５によって決定される。ここで、１６値離散ヒストグラムｈｔ（ｉ）ｉ＝０,１，．．．，１５が使用可能であり、ＩＦＦＴは

として計算されうる。

２０６において、拡散ヒストグラム・モデルのパラメータ、あるいは（PDE）の固有関数が決定される。これは、推定構成要素１３０によって実行されうる。値H（ｋ）は、下記の反復アルゴリズムを用いてモデルを推定するために使用されうる。

２０８において、ヒストグラム・モデルのFFT（高速フーリエ変換）が決定される。FFTは以下のように、拡散ヒストグラムを決定するために使用されうる。

２１０において、コントラスト促進のための非線形マッピングが構築される。

上記において、ｈｍ（ｉ）は、平滑関数であるので、８ビットの２５６ポイント・マッピング関数へと線形的に補間される。

これは、デバイス１００において、プロセッサ１３５上で実行する命令群によって実行させられうる。いくつかの実施例において、非線形マッピング機能が使用されうる。ここでは、処理される画像のダイナミック・レンジは、ディスプレイ・デバイスの機能を上回る。そういった場合においては、画像のもっとも明るい部分だけが、ディスプレイ画面において認識できる。非線形マッピングは、例えば、完成画像がディスプレイ上で認識できるような対数インテンシティ・マッピング（変換）関数を用いて、画素値のダイナミック・レンジを圧縮するために使用されうる。

図３Aおよび図３Bは、典型的なオリジナル画像および典型的なコントラスト促進画像を例示している。図３Aの画像において、犬と日陰が示されているが、コントラストが乏しいために識別するのが困難である。図３Bのコントラスト促進画像は、本明細書において説明されているコントラスト促進の実施例を用いて生成されうる。示されているように、図３Ｂの画像内の細部は、促進された画像において、より認識および識別できる。

図４Ａは、典型的な非線形マッピング機能を例示している。図４Ｂは、図３Ａにおける画像のヒストグラムを例示しており、図４Ｃは、図４Ｂのヒストグラムのコントラスト促進バージョンを例示している。本開示の実施例に従い、図４Ｃにおいて示されるコントラスト促進ヒストグラムおよび図３Bにおいて示されるようなコントラスト促進画像を生成するために、図２における２１０で、図４Aにおける非線形マッピング機能が図４Bのオリジナル・ヒストグラムに適用されうる。図４Ｂおよび図４Ｃのヒストグラムは、実質的に同様の全体的特徴を共有しており、図４Ｃのヒストグラムは実質的に全ての使用可能なダイナミック・レンジを占有している。

このように、オリジナル・ヒストグラムと処理されたヒストグラムとの間の比較は、本開示の実施例が、総合的な全体の特徴を保ちながら、オリジナル・ヒストグラムを拡散することを示している。処理された、すなわち促進された画像はまた、オリジナル画像よりもより詳細に見える。

図１におけるデバイス１００に関して、その他多くの汎用あるいは専用コンピューティン・グシステムの環境あるいは構成が使用されうる。使用に適しうる、周知のコンピューティング・システム、環境、および／あるいは構成の例は、ＰＣ、サーバ・コンピュータ、ハンドヘルドあるいはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサをベースにしたシステム、ネットワークPC、マイクロコンピュータ、メインフレーム・コンピュータ、埋込みシステム、上記のうちの任意のシステムあるいはデバイスを含む分散コンピューティング環境などを含むが、それらに限定はされない。

プログラム・モジュールのようなコンピュータによって実行されるコンピュータ実行可能命令群が使用されうる。一般に、プログラム・モジュールは、特定のタスクを実行、あるいは特定の抽象的データ・タイプを実現する、ルーチン、プログラム、オブジェクト、構成要素、データ構造、などを含む。分散コンピューティング環境が使用されうる。ここでは、タスクが通信ネットワークあるいはその他のデータ送信媒体を介してリンクされた遠隔処理デバイスによって実行される。分散コンピューティング環境において、プログラム・モジュールおよびその他のデータは、メモリ・ストレージ・デバイスを含む局所および遠隔コンピュータ・ストレージ・メディアの両方に位置しうる。

本明細書において説明される様々な技術が、ハードウェアあるいはソフトウェア、適切な場合にはそれら両方の組み合わせと共に実現されうる、ということが理解されるべきである。このように、ここで開示された主題による方法および装置、あるいは特定の態様もしくはその一部、はフロッピー（登録商標）・ディスケット、CD-ROM、ハード・ドライブ、あるいはその他任意の機械読取可能媒体のような有形媒体に組み込まれたプログラム・コード（命令群）の形態をとりうる。ここでは、プログラム・コードがロードされ、コンピュータのようなマシンによって実行される場合、このマシンはここに開示される主題を実現するための装置となる。プログラマブル・コンピュータ上でプログラム・コードを実行する場合、コンピューティング・デバイスは一般に、プロセッサと、（揮発性のおよび不揮発性のメモリおよび／あるいは記憶素子を含む）プロセッサによって読み取り可能なストレージ媒体と、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスを含む。

１又は複数のプログラムは、例えば、アプリケーション・プログラミング・インタフェース（API）、再利用可能なコントロール、などを用いて、ここで開示されている主題と関連して説明される処理を実施あるいは利用しうる。このようなプログラムが、コンピュータ・システムと通信するために、ハイレベル手続き型言語あるいはオブジェクト指向プログラミング言語において実施されうる。しかし、このようなプログラムは、望まれた場合には、アセンブリ言語あるいはマシン語において実現されうる。いかなる場合においても、言語は、コンパイラ言語あるいはインタプリタ言語でありうるし、ハードウェア実施例と結合されうる。

典型的な実施例は、ここで開示されている主題による態様を、１又は複数の独立型コンピュータ・システムのコンテクストにおいて利用することを適用しうる。しかし、主題はそのように限定されるのではなく、ネットワークあるいは分散コンピューティング環境のような、任意のコンピューティング環境に関連して実施されうる。更に、ここで開示される主題による態様は、複数の処理チップあるいは処理デバイスにおいて、あるいはそれらにわたって、実施されうる。又、ストレージは、複数のデバイスにわたって同様に達成されうる。このようなデバイスは、例えば、パーソナル・コンピュータ、ネットワーク・サーバ、およびハンドヘルド・デバイスを含みうる。

主題は、構造上の特性および／あるいは方法における動作に特有の言語を用いて説明されているが、添付された特許請求の範囲において定義される主題が、必ずしも上記で説明される特定の特性および行為に限定されるわけではない、ということが理解されるべきである。そうではなく、上記で説明される特定の特性および動作は、請求項を実現する形態の例として開示される。

Claims (21)

1. 画像をコントラスト促進するための方法であって、
   前記画像のヒストグラムを決定することと、
   前記ヒストグラムに変換を適用し変換ヒストグラムを作成することと、
   前記変換ヒストグラムに関連付けられた拡散ヒストグラム・モデルの推定パラメータを決定することと、
   前記拡散ヒストグラムに逆変換を適用し拡散ヒストグラムを作成することと、
   前記拡散ヒストグラムを用いて、画像をリマップすることと
   を備える方法。
2. 偏微分方程式に関連付けられた固有関数の推定パラメータを決定することを更に備える請求項１の方法。
3. 前記変換に従って、前記拡散ヒストグラム・モデルの推定パラメータを決定することを更に備える請求項１の方法。
4. 予め定められた長さを有するシリーズにわたって第１のパラメータおよび第２のパラメータを反復的に決定することを更に備える請求項３の方法。
5. 第２の予め定められた長さを有する第２のシリーズにわたって前記拡散ヒストグラムを総和することによって前記変換された拡散ヒストグラムを決定することを更に備える請求項４に記載の方法。
6. 前記ヒストグラムおよび前記拡散ヒストグラムが実質的に類似した全体的特徴を有する請求項１に記載の方法。
7. 前記拡散ヒストグラム・モデルに従って、マッピング機能を決定することを更に備える請求項１に記載の方法。
8. ディスプレイ・デバイスのダイナミック・レンジ全体を実質的に利用するために前記画像をリマップすることを更に備える請求項１の方法。
9. 前記拡散ヒストグラムが、コンダクタ内の熱伝搬あるいは音伝搬の性質を推定する請求項１に記載の方法。
10. 画像をコントラスト促進するための装置であって、
    前記画像のヒストグラムを決定するヒストグラム・エンジンと、
    変換ヒストグラムを決定する変換エンジンと、
    前記変換ヒストグラムに関連付けられた拡散ヒストグラム・モデルを決定するパラメータ推定エンジンとを備え、
    拡散ヒストグラムを作成するために前記ヒストグラム・モデルに逆変換が適用され、前記拡散ヒストグラムを用いて前記画像がリマップされる装置。
11. 前記パラメータ推定エンジンが、予め定められた長さを有するシリーズにわたって第１のパラメータおよび第２のパラメータを反復的に決定し、前記拡散ヒストグラム・モデルを決定するために、前記シリーズにわたって前記第１のパラメータが総和される請求項１０に記載の装置。
12. 第２の予め定められた長さを有する第２のシリーズにわたって前記拡散ヒストグラムを総和することによって、変換された拡散ヒストグラムが決定される請求項１１に記載の装置。
13. 前記拡散ヒストグラム・モデルに従ってマッピング機能が決定される請求項１１に記載の装置。
14. 前記画像が、ディスプレイ・デバイスのダイナミック・レンジ全体を実質的に利用するために、リマップされる請求項１１に記載の装置。
15. 前記拡散ヒストグラムが、コンダクタ内の物理的伝搬の性質を推定する請求項１１に記載の装置。
16. 画像をコントラスト促進するためのコンピュータ読取可能命令群を備えるコンピュータ読取可能媒体であって、前記命令群は、
    前記画像のヒストグラムを決定することと、
    前記ヒストグラムに変換を適用し変換ヒストグラムを作成することと、
    前記変換ヒストグラムに関連付けられた拡散ヒストグラム・モデルの推定パラメータを決定することと、
    前記拡散ヒストグラム・モデルに逆変換を適用し拡散ヒストグラムを作成することと、
    前記拡散ヒストグラムを用いて前記画像をリマップすることと
    からなる方法を実行するコンピュータ読取可能媒体。
17. 前記変換に従う拡散ヒストグラム・モデルの前記推定パラメータを決定するための命令群を更に備える請求項１６に記載のコンピュータ読取可能媒体。
18. 予め定められた長さを有するシリーズにわたって第１のパラメータおよび第２のパラメータを反復的に決定することと、
    前記拡散ヒストグラム・モデルを決定するために、前記第１のパラメータを前記シリーズにわたって総和することとのための命令群を更に備える請求項１６に記載のコンピュータ読取可能媒体。
19. 前記拡散ヒストグラム・モデルに従ってマッピング機能を決定するための命令群を更に備える請求項１６に記載のコンピュータ読取可能媒体。
20. ディスプレイ・デバイスのダイナミック・レンジ全体を利用するために、前記画像をリマップすることを更に備える請求項１６に記載のコンピュータ読取可能媒体。
21. 画像をコントラスト促進するための装置であって、
    前記画像のヒストグラムを決定する手段と、
    変換ヒストグラムを決定する手段と、
    前記変換ヒストグラムに関連付けられた拡散ヒストグラム・モデルを決定する手段とを備え、
    前記拡散ヒストグラム・モデルに逆変換を適用し拡散ヒストグラムを作成し、前記拡散ヒストグラムを用いて前記画像がリマップされる装置。

Images