JP2010529577A - 画像をエンハンスする方法と装置 - Google Patents

Abstract

画像をエンハンスする方法と装置が提供される。短波長赤外線（ＳＷＩＲ）カメラ、センサ、またはあらゆる他の撮像装置のような撮像装置によって生成された入力画像は、処理されて入力画像中のピクセル強度の分布を表す入力ヒストグラムを作成する。ヒストグラムスタートおよびエンドポイントが決定され、所望のエンハンスメントのタイプに依って可変プラトープロファイルが計算される。プラトープロファイルはあらゆる所望の形またはサイズを取ることができ、プロファイル中に2つ以上のプラトー領域を含むことができる。入力ヒストグラムは可変プラトープロファイルに沿ってクリップされる。累積ヒストグラムがクリップされたヒストグラムから作成され、正規化される。入力画像はそれから、正規化累積ヒストグラムをルックアップテーブルとして使ってエンハンス出力画像に変換される。

Description

本発明は、画像エンハンスメントに関し、より詳細には、可変プラトーヒストグラム等化を使って画像をエンハンスする方法と装置に関する。

軍事撮像アプリケーションのような様々な撮像アプリケーションでは、カメラまたはセンサによって取得された画像をエンハンスして画像中の追加の詳細を明らかにすることがしばしば望ましい。例えば、画像が明るい明かりのある中で撮られたとき、影と明るいエリア中の詳細はしばしば失われる。同様に、暗い画像の暗いエリア中で詳細はしばしば失われる。このように、全体的画像品質を妥協することなしにそのような詳細を明らかにすることが望ましい。

数々の画像エンハンスメント方法が過去に開発されてきた。そのような方法の例には、コントラストストレッチング、ヒストグラム等化、ヒストグラム射影、プラトー等化が含まれる。コントラストストレッチングでは、ピクセル強度分布が拡大されて（「ストレッチされて」）可能な値のフルレンジを占めるようにする。この方法によると、最小および最大ピクセル強度値が測定され（または推定され）、画像中の各ピクセルに対応するピクセル強度値にオフセットおよびゲイン訂正値が施されて、強度値のフルレンジが占められるようになる。ヒストグラム等化では、ピクセル強度値が減衰または平坦化される。この方法によると、入力ヒストグラムが作成され、それは画像内の各強度レベルに対応するピクセル総数を含む。そして、累積ヒストグラムが作成されて正規化され、画像中の各ピクセルが、正規化累積ヒストグラムをルックアップテーブルとして使って変換される。ヒストグラム射影では、占有および非占有レベルからなるヒストグラムが作成される。累積ヒストグラムがそれから作成されて正規化され、画像中の各ピクセルが、正規化累積ヒストグラムをルックアップテーブルとして使って変換される。プラトー等化では、入力ヒストグラムが作成され、指定されたレベルまたは「プラトー」においてクリップされる。そして、累積ヒストグラムが作成されて正規化され、画像中の各ピクセルが、正規化累積ヒストグラムをルックアップテーブルとして使って変換される。

前述した画像エンハンスメント方法は、数々の欠陥によって苦しめられる。例えば、既存の画像エンハンスメント方法は、影または明るいエリアのような、画像の特定の領域中の詳細を十分に明らかにしない。むしろ、これらの方法は画像全体を均一にエンハンスし、それは画像の所望の領域をエンハンスする目的のために画像の他の領域の歪曲に結果としてなり得る。さらに、既存の画像エンハンスメント方法は、（例えば、カメラ感度の変化に応答してエンハンスメント特性を動的に変更することによって）異なる環境において画像をエンハンスすることに、手動の調節無しで、容易に適応することができない。

従って、望ましいであろうけれどもまだ提供されていなかったものは、既存の画像エンハンスメント方法の前述した制約に対処する、画像をエンハンスする方法および装置である。

本発明は、画像エンハンスメントを提供する方法と装置に関し、それはあらゆる好適な撮像装置（例えば、短波長赤外線（ＳＷＩＲ）カメラ、センサ、撮像器、またはあらゆる他の装置）と共に利用されて装置によって作成された画像をエンハンスすることができる。エンハンスすべき画像に対応する入力ヒストグラムが作成される。入力ヒストグラムは、画像に対応するピクセル強度分布を表す。可変プラトーが確立され、入力ヒストグラムがプラトーにおいてクリップされる。可変プラトーはあらゆる所望のサイズまたは形で形成されることができ、変化するシーン条件、明かりレベル、カメラ条件に適応するように、または他の条件に応答して、変化することができる。画像の暗い領域（影）および明るいエリアのような画像の所望の領域をエンハンスするために複数のプラトーを確立することができる。累積ヒストグラムがクリップされたヒストグラムから作成され、正規化されて正規化累積ヒストグラムを作成する。入力画像のピクセルを変換してエンハンス出力画像を作成するのに、正規化累積ヒストグラムはルックアップテーブルとして使われる。画像の追加のエンハンスメントを提供するのに自動ゲイン制御（ＡＧＣ）機能を施すことができる。

発明のこれらおよびその他の重要な目的および特徴は、添付の図面との関係で理解される以下の発明の詳細な記載から明らかであろう。

図１は、画像をエンハンスするための本発明による方法を示すフローチャートである。 図２は、追加の画像エンハンスメントを提供するための本発明のエンハンス自動ゲイン制御特徴を示すフローチャートである。 図３は、追加の画像エンハンスメントを提供するための本発明によるオプションの非線形演算を詳細に示すフローチャートである。 図４は、ピクセル値を補間するための本発明によるオプションのプロセスを詳細に示すフローチャートである。 図５ａ−５ｇは、本発明によって実装された可変ヒストグラムプラトーを描いたサンプルヒストグラムを描写する。 図６ａ−６ｂは、明るくされたシーンで影の詳細がエンハンスされている、本発明の画像エンハンスメント方法の結果を描いた写真である。 図７ａ−７ｂは、通常の明かりレベルを有するシーンで影の詳細がエンハンスされている、本発明の画像エンハンスメント方法の結果を描いた写真である。 図８ａ−８ｂは、画像の明るい領域のエンハンスメントが提供されている、本発明の画像エンハンスメント方法の結果を描いた写真である。 図９は、本発明の画像エンハンスメント機能を含んだ短波長赤外線（ＳＷＩＲ）カメラのブロック図である。

本発明は、画像をエンハンスする方法と装置に関する。画像の影領域または明るいエリアのような画像の望ましい側面は、本発明によってエンハンスされて追加の詳細を提供することができる。短波長赤外線（ＳＷＩＲ）カメラ、センサ、またはあらゆる他の撮像装置のような撮像装置によって取得された入力画像は、本発明によって処理されて入力画像中のピクセル強度の分布を表す入力ヒストグラムを作成する。オプションで、入力画像中の飽和および／または低いピクセルを除外することができる。ヒストグラムスタートおよびエンドポイントが決定され、所望のエンハンスメントのタイプに依って可変プラトーが計算される。プラトーは、ヒストグラムに沿って変化し得て、あらゆる望ましい形、サイズまたはプラトー領域数を取ることができる。プラトーが計算されると、ヒストグラムはそれに沿ってクリップされる。クリップされたヒストグラムから累積ヒストグラムが作成され、正規化される。入力画像はそれから、正規化累積ヒストグラムをルックアップテーブルとして使ってエンハンス出力画像に変換される。オプションの非線形演算を正規化累積ヒストグラム上で行うことができる。エンハンスメント方法は、様々な撮像装置タイプやシーン条件の変化に適応するように自動的に変化することができる。

図１は、画像をエンハンスするための、全体的に１０で示される、本発明による方法を示すフローチャートである。ステップ１２では、入力ヒストグラムが作成され、ここでヒストグラムのｂｉｎｓは画像のピクセル強度分布を表す。オプションで、飽和（即ち、予め規定された閾値より上の強度レベルを持ったピクセル）および／または低いピクセル（即ち、予め規定された閾値より下の強度レベルを持ったピクセル）をヒストグラムから除外することができる。ユーザは、ヒストグラム処理の前に収集されるべきピクセルの最小数を指定することができることに注意すべきである。

処理ブロック１４では、出力画像のゲインを制御するために自動ゲイン制御（ＡＧＣ）プロセスが始動される。ステップ１６ａでは、画像フレームの平均ピクセル値が計算される。それから、ステップ１６ｂでは、もし計算された平均ピクセル値が予め規定された最小または最大ピクセル値にあるかそれに近ければ、ＡＧＣ処理は無力化される。これは、もしカメラが暗くされた部屋で動作し、明かりが突然点けられて飽和ピクセルが画像から除去された場合、またはもしカメラが明るく照らされた部屋で動作し、明かりが突然消されて低いピクセルが画像から除去された場合に引き起こされ得る、本発明がＡＧＣ処理条件に無限に留まることを防ぐ。収集された総ピクセル数のパーセントとして表現された飽和ピクセル数、または収集された総ピクセルのパーセントとして表現された低いピクセル数を含む、平均ピクセル値以外のパラメータをこの処理のために使うことができる。

ステップ１６ｃでは、入力画像中の飽和ピクセルの数がカウントされる。ステップ１６ｄでは、以下に図２を参照して説明されるように、飽和ピクセルが撮像器またはカメラのＡＧＣ調節のために使われる。ステップ１６ｅでは、平均ヒストグラムピクセル値が計算される。そして、ステップ１６ｆでは、以下に図２を参照して説明されるように、平均ピクセル値が撮像器またはカメラのＡＧＣ調節のために使われる。ステップ１６ｇでは、ヒストグラムピクセルの数がカウントされる。この情報は後にステップ１６ｈで使われ、そこでは、以下に図２を参照して説明されるように、ヒストグラムのスタートに基づいてＡＧＣ調節が行われる。

ステップ１８では、ヒストグラムピクセルの数の一部（分数）を使って、ヒストグラムスタートおよびエンド値が決定される。ヒストグラムのスタートは、入力最小または「フロア」値を超える最初のｂｉｎであり、ヒストグラムのエンドは入力フロア値を超える最後のｂｉｎである。方法１０が最初に行われる時には、入力フロア値は予め規定されたレベルに設定されることができ、それはユーザによってプログラムされることができる。ヒストグラムのスタートとエンドを決定する他の方法も可能である。例えば、最低ヒストグラムｂｉｎから始めて、累積ピクセルが収集されたピクセルの総数の少なくとも或るパーセント（例えば１．５％）である時に、ヒストグラムのスタートを見つけることができる。ヒストグラム中を動いて、累積ピクセルが収集されたピクセルの総数の少なくとも１００％引く或るパーセント（例えば１００％−１．５％＝９８．５％）である時に、ヒストグラムのエンドをそれから見つけることができる。この例では、ヒストグラムは、スタートからエンドまでで、収集されたピクセルの総数の約９７％を含むであろう。そのような方法は、ノイズにより敏感ではないことが見出されている。別の代替案は、収集された総数の或るパーセントを使う代わりに、上述した入力フロア値をヒストグラムの各エンドにおいて必要なピクセルの数として使うことである。もっとさらには、ｂｉｎ毎の平均ピクセル数の分数またはｂｉｎ毎の平均ピクセル値の分数を取るような、フロア値を計算する他の方法を利用することもできる。

プラトープロファイルは、それぞれ「暗い」プラトーと「明るい」プラトーに対応する、２つのプラトー（描写的にプラトー「Ａ」と「Ｂ」）を含むことができる。「暗い」プラトーは、入力画像の影または暗い領域の詳細をエンハンスするためのクリッピングレベルを表す。「明るい」プラトーは、入力画像の明るい領域の詳細をエンハンスするためのクリッピングレベルを表す。ステップ２０では、プラトー境界が計算され、それはクリッピングレベルがプラトーＡからプラトーＢに遷移するｂｉｎを表す。勿論、プラトーはあらゆる形を取ることができ、望ましいように変化させることができる。重要なことに、プラトーとプラトー間の遷移は入力画像の所望の領域をハイライトするのに変化させることができ、異なるカメラまたはセンサの様々な動作パラメータや変化する明かりレベルまたは他のシーン条件に調節するように自動的に変化する（例えば、電子的手段によって）こともできる。加えて、プラトープロファイルはヒストグラムのｂｉｎからｂｉｎで変化することができる。

ステップ２０でプラトー境界が計算された後、ステップ２２では、クリッピングレベルより上の全ての値がクリッピングレベルまで削減されるように、入力ヒストグラムがプラトーにおいてクリップされる。もし２つのプラトー（上述したプラトーＡとＢのような）が規定されていれば、ヒストグラムは２つのプラトーにおいてクリップされる。クリッピングの後、ステップ２４では、クリップされたヒストグラムから累積ヒストグラムが作成される。累積ヒストグラム中の各ｂｉｎは、現行ｂｉｎ中のピクセルの総数プラス前のｂｉｎ中のピクセル数を含む。累積ヒストグラムはよってクリップされた入力ヒストグラムによって表される分布の積分である。

ステップ２６では、累積ヒストグラムが、出力画像中の出力レベルの数に正規化される。例えば、もし出力画像中に２５６個の可能な出力レベルがあれば、累積ヒストグラムは０から２５５の２５６個の出力値に正規化されるであろう。オプションのステップ３０をそれから行うことができ、そこでは非線形関数（図３を参照して以下に説明する）が正規化累積ヒストグラムに施される。ステップ２８では、入力画像のピクセルが（従来のヒストグラム等化およびプラトー等化プロセスにおいて行われるように）正規化累積ヒストグラムをルックアップテーブルとして使って変換されて、出力画像を作成する。オプションで、補間手順（図４を参照して以下で説明する）を使って出力画像を作成するのにステップ３２を行うことができる。ステップ２８で作成された出力画像はよって、入力画像の所望の領域中の追加の詳細を示すようにエンハンスされている。

図２は、全体的に３６で示される、追加の画像エンハンスメントを提供するための本発明のエンハンス自動ゲイン制御（ＡＧＣ）特徴を示すフローチャートである。上述したように、本発明は、画像中のハイライト、影中の詳細、または平均ピクセル値に基づく入力画像のノーマルなエンハンスメントを強調するべく、入力画像の様々な側面をエンハンスするのに適用することができる。ステップ３８では、フレーム（飽和および低いピクセルが含まれる）の平均ピクセル値が予め規定された範囲の外であるかどうかの決定がなされる。１２ビットシステムでは、好適な範囲は３より小さいかまたは４０００より大きい値を含むことができる。もしポジティブな決定がなされれば、ステップ４０が発動され、そこで撮像器のゲインが調節される（例えば、ノーマルなＡＧＣ機能について使われるのと同じやり方で）。そうでなければ、ステップ４２では、自動ゲイン制御について所望されるエンハンスメントのタイプについて決定がなされる。もしハイライトエンハンスメントが所望されることが決定されれば、ステップ４４が発動され、そこで撮像器（例えば、ＳＷＩＲカメラ、センサ、またはあらゆる他の好適なタイプの装置）のゲインレベルが、入力画像中の飽和ピクセルの数に基づいて設定される。もしノーマルなエンハンスメントが所望されることが決定されれば、ステップ４８が発動され、そこで撮像器ゲインレベルが、入力画像中の全てのピクセル、オプションでそれ引く飽和および／または低レベルピクセル、についての平均ピクセル値に基づいて設定される。もし、影エンハンスメントが所望されることが決定されれば、ステップ４６が発動され、そこで撮像器ゲインレベルが、入力ヒストグラム（低レベルピクセルは入力ヒストグラム中に表される）のスタートに基づいて設定されて、入力画像の影領域中の詳細を強調する。ステップ状デジタルゲインをステップ５２に適用することができるので、撮像器の暗いヒストグラムは追加のヒストグラムｂｉｎｓをカバーするように拡大されることに注意すべきである。結果は、より高いコントラストの、より満足のいく画像である。下記のように、デジタルゲインは低い明かりモードで増加され、選ばれたＡＧＣ方法とは独立である。

一旦所望のエンハンスメントタイプが選択されて撮像器の対応するゲインが調節されると、ステップ４９でゲイン調節が必要であるかどうかについての決定がなされる。もしそうでなければ、処理は終了する。もしポジティブな決定がなされれば、ステップ５０が起こり、そこで撮像器が既に最大ゲインレベルに調節されているかも知れないにも拘わらず追加のゲインが要求されているかどうかについての決定がなされる。もしポジティブな決定がなされれば、オプションのステップ５２が起こり、そこでエンハンスメントパラメータが低い明かりレベル条件について更に調節される。ステップ５４では、撮像器のゲインがステップ４４、４６、または４８のいずれかで設定されたか、またはオプションのステップ５２で変更されたゲインレベルに調節される。

オプションのステップ５６では、入力画像の所望の数のフレームについての平均ＡＧＣパラメータが決定され、望まれるとおりに調節されることができる。そのような特徴は、入力画像の特定の数のフレームに渡って追加されたエンハンスメントを提供するべく、図２に示す他のプロセスと一緒に動作することができる。図２に示すエンハンスＡＧＣ処理は、上述した図１に示す処理とは独立に、またはそれと一緒に、採用されることができることにも注意すべきである。

本発明のゲイン調節特徴は、およそ２．２のステップでのゲイン変化を許容する。撮像器の様々な電気的パラメータを設定するのに、各ゲイン範囲（動作設定または「ＯＰＲ」）についてルックアップテーブルを使うことができる。もしＡＧＣパラメータがｎフレームに渡って平均化されているときにゲインが変更されると、平均化器の出力は、ステップゲイン変化に応答して直ちに変化はしない。よって、平均化器の出力において変化が現れるまで本発明がゲインを変更し続けて、ＡＧＣがオーバーシュートして探し回るか振動することを引き起こしてしまうことが可能である。本実施形態では、例えば、カメラは毎秒６０フレーム（３２フレームについて約０．５秒）で働き、ＡＧＣアルゴリズムは０．１秒毎に働く。この可能性に対処する一つの解決策は、ゲイン変化の後でＡＧＣサンプルレートを低下させて、その出力を検査する前に変化が平均化器に渡って伝播するのを待つことである。

本発明のＡＧＣ特徴は、出力画像で直ちに利用可能である連続的ゲイン調節を提供するべく、１から３２フレームの平均ＡＧＣデータへの「ボックスカー平均化器」の組み入れによって増大されることができる。ボックスカー平均化器は、全てのデータストリームについて共通のタイミング方式を含む。ボックスカー平均化器は、以下のステップで実装することができる：（１）ゲイン変化の後で、電気的調節が落ち着くまで第一の所定の期間（例えば、ＡＧＣ周期当り０．１秒）待つ；（２）カメラハードウェアが新たなゲイン設定で少なくとも一つの新たなフレームを取得するまで第二の所定の期間（例えば、１／６０秒）待って、新たなＡＧＣパラメータを計算する；（３）新たなＡＧＣパラメータを格納する（即ち、全てのボックスカーを新たなＡＧＣパラメータで「満たす」）；（４）ノーマルなボックスカー動作とノーマルなＡＧＣ計算を再開する。そのような実装は、３２フレーム平均化で動作されたときに、振動無しで、出力画像に素早く実装されることができるゲイン変化に結果としてなることが見出されている。

図３は、図１のオプションの非線形演算ステップ３０をより詳細に示すフローチャートである。オプションの非線形演算は、入力画像の追加のエンハンスメントを提供する。ステップ６２では、正規化累積ヒストグラムが生成される。そして、ステップ６４では、正規化累積ヒストグラム中の各ｂｉｎに含まれるデータの平方根が計算されて（Ｘ^Ｐ演算子）正規化累積ヒストグラムに施され、累積ヒストグラムが再正規化される。ステップ６６では、結果として得られる正規化累積ヒストグラムにｒａｍｐ関数（ｎ＋ｂｉｎ／［最高ｂｉｎ］）／（ｎ＋１）、ここでｂｉｎは現行ｂｉｎを表し、最高ｂｉｎはヒストグラム中の最高ｂｉｎを表す、が掛けられる。ステップ６４の平方根演算は、明るい光源が存在するときに画像の増加された詳細に結果としてなることが見出されている。勿論、本発明の精神または範囲から逸脱することなく、あらゆる他の好適な線形または非線形演算を採用することができる。例えば、平方根処理関数は、ｎ^０．５からｎ^ｐ、ここでｐはユーザによって指定された値である、に一般化することができる。０．５以外のｐ値でもっていくつかのシーンがより良く見えることが見出されている。また、（ｎ＋ｓｉｎ［π／２＊ｂｉｎ／［最高ｂｉｎ］］／（ｎ＋１）のｓｉｎ処理関数をステップ６４で施すことができる。ステップ６６でｒａｍｐ関数を使うことは、ベールをかけるぎらつき、即ち、レンズエレメントの表面間およびレンズの胴体の内部の反射によって引き起こされる光学システム中の迷光、が存在するときの動作を改善することが見出されている。しかも、上述した平方根およびｓｉｎ演算の所にユーザ規定されたルックアップテーブルを施すことができる。

図４は、図1のオプションの補間ステップ３６をより詳細に示すフローチャートである。補間プロセスは、正規化累積ヒストグラムが入力画像中に実際に存在するピクセルレベルの数よりも少ないｂｉｎを含むときに起こることがある量子化効果（即ち、勾配画像をより少ない数の強度または値をもつ画像に変換するときの「輪郭化」または詳細の損失）を削減するのに使うことができる。補間プロセスは、コントラストストレッチングのような他の原因から引き起こされる輪郭化を削減するのに使うこともできる。ステップ７２では、与えられたピクセル値（例えば、正規化累積ヒストグラム中の最初のｂｉｎ）が２^ｎのｂｉｎディバイダー、ここでｎは所望の数のｂｉｎｓを作り出す整数値を表す、で割られる。例えば、１２ビットピクセル（４０９６レベル）とｎ＝４（２^ｎ＝１６）であると、ｂｉｎｓの数は２５６（２^１２／２^４＝２^８）である。２^ｎのｂｉｎディバイダーは、コンピューティングハードウェアを使って容易に決定されることが見出されているが、勿論あらゆる他の好適なｂｉｎディバイダー値を使うこともできる。ステップ７２の出力は、結果と余りを作り出し、それらはｎ箇所分の右シフトを表す。ステップ７４では、ピクセル値と、対応ヒストグラム中の差と、差ｂｉｎｓを取り出すのに右シフトが使われる。例えば、もしピクセル値が４６であれば、４６／１６の結果は２であり、余りは１４である。正規化累積ヒストグラムのｂｉｎ２についての対応するピクセル値（例えば、２００）が取り出されるであろう。１２ビット出力ピクセルの最上位ビット（ＭＳＢｓ）は２００＊１６＝３２００である。そして、ステップ７６では、次に高いｂｉｎ（即ち、隣接するｂｉｎ）についてのピクセル値が取り出される（例えば、２３２の値を持ち得るｂｉｎ３）。ｂｉｎ（２００の値をもつｂｉｎ２）に対応するｂｉｎ値と次に高いｂｉｎ（２３２の値をもつｂｉｎ３）の間の差か計算され（２３２−２００＝３２）、差に余りが掛けられて、１２ビット出力ピクセルの最下位ビット（ＬＳＢｓ）を計算する（３２＊１４＝４４８）。補間された１２ビット出力ピクセル値はこれら２つのステップの和であろう（３２００＋４４８＝３６４８）。結果として得られる補間されたｂｉｎ（ピクセル）値は、実際のピクセル値として使われることができ、エンハンス出力画像中に含まれることができる。数学的には、計算は、（ｂｉｎ１＋（ｂｉｎ２−ｂｉｎ１）＊余り／ｂｉｎディバイダー）＊ｂｉｎディバイダー＝ｂｉｎ１＊ｂｉｎディバイダー＋（ｂｉｎ２−ｂｉｎ１）＊余り、と表現することができる。

本発明の補間プロセスは、２つのルックアップテーブルを使って有利に実装することができ、ここで第一のルックアップテーブルは入力画像に対応する累積ヒストグラムデータを含み、第二のルックアップテーブルは第一のルックアップテーブル中のエントリー間の差を含む。差計算は、リアルタイムで計算することの必要を避けるように、テーブルが作り出されるにつれて行われることができる。もし入力画像の各ピクセルが長さ１２ビットであれば、最上位８ビットがルックアップテーブルのためのルックアップキーとして使われるであろう。最下位４ビットに比例する数が、最上位８ビットに足されて、補間された１２ビットピクセルに結果としてなる。これは数学的には以下のように表現することができる：補間された出力ピクセル値＝（８ビット累積ヒストグラムｂｉｎ値）＊ｂｉｎディバイダー＋（入力ピクセルの最下位４ビット）＊差。小さい数のｂｉｎｓ、例えば６４については、多くの観察された状況において補間が出力画像を改善したことが見出されている。２５６ｂｉｎｓについては、より少ない観察された状況において補間がまた画像を改善した。

図５ａ−５ｇは、本発明によって実装することができる可変ヒストグラムプラトーを描いたサンプルヒストグラムを描写する。有利なことに、本発明は、入力画像の所望の側面をエンハンスするべく、様々な形の多数のプラトーが規定されて入力ヒストグラムをクリップするのに利用されることを許容する。

図５ａは、本発明がヒストグラムｂｉｎｓに跨って水平プラトー８４を実装するサンプルヒストグラムを描写する。水平プラトー８４は、技術分野で既知の従来のプラトー等化を許容し、そこではｂｉｎｓがプラトー８４においてクリップされる（即ち、図５ａにｂｉｎｓの斜線部分によって描かれているように、プラトー８４より上のピクセル頻度はプラトー８４に引き下げられる）。有利なことに、一旦クリップされたヒストグラムを使って出力画像が生成されると、本発明のエンハンスＡＧＣ機能もまた施されて、本発明によって実装されたヒストグラムプラトーのタイプに関係なく、追加のエンハンスメントを提供することができる。

図５ｂは、本発明がヒストグラムｂｉｎｓに跨って傾斜したまたは「先細りした」プラトー８８を実装するサンプルヒストグラムを示す。傾斜したプラトー８８は照明がシーンからシーンへ変化する画像の良いエンハンスメントを作成することが見出されている。図５ｃに示すように、オプションのオフセット９２を設けることができ、そこでは傾斜したプラトー８８はオフセット９２において始まる。また、オプションの入力フロア９３を含めることができ、そこでは全てのｂｉｎｓについて予め規定された閾値の最小ｂｉｎ値が確立される。図５ｄに示すように、プラトー８８は、最大閾値１０２とオフセット９２と最大閾値１０２の平均を表す中点１００との間に実装することができる。（図５ｃと５ｄに示されるプラトー８８のような）オフセットされ先細りしたプラトーは、（図５ｂに示されるプラトー８８のような）ヒストグラム全体に施された先細りしたプラトーよりも、より良い画像エンハンスメントに結果としてなることが見出されている。加えて、図５ｂ−５ｄに示す先細りしたプラトーは、高い輝度レベルを減衰しながら低い輝度レベルを有するピクセルの強調に結果としてなることが見出されている。

図５ｅに示されるように、本発明は、マルチレベルプラトー１０８が確立されることを許容し、そこではマルチレベルプラトー１０８は、高いプラトー領域１１０、第一の遷移点１１２、先細りしたまたは傾斜したプラトー領域１１４、第二の遷移点１１６、低いプラトー領域１１８を含む。そのような配置では、入力画像の暗い領域は、画像の明るい領域の犠牲によってエンハンスされる。図５ｆに示されるように、マルチレベルプラトー１２２が低いプラトー領域１２４、第一の遷移点１２６、傾斜したまたは先細りした領域１２８、第二の遷移点１３０、高いプラトー領域１２２を有して作成されるように、マルチレベルプラトー１０８の形を変更することができる。この配置では、入力画像の明るい領域は、画像の暗い領域の犠牲によってエンハンスされる。更に、図５ｇに示されるように、入力画像中の暗い領域をエンハンスする第一のまたは「暗い」プラトー１３４と、入力画像の明るい領域をエンハンスする第二のまたは「明るい」プラトー１３６を含んだ、２つのプラトーを作成することができる。暗いプラトー１３４と明るいプラトー１３６の間の遷移は、図５ｄに示す中点１００のようなオフセットと最大値の間の中点において起こることができる。あらゆる所望のサイズまたは形のあらゆるプラトーを、本発明の精神または簡易を逸脱することなく実装することができるということが理解されるべきである。

図５ａ−５ｇに示されたもののような本発明によって実装されることが可能な様々なプラトーは、ユーザによって望まれるエンハンスメントのタイプに基づいて、好適な画像処理システムによって自動的に計算されて実装されることができる。例えば、もし画像中の暗い領域のエンハンスメントが望まれれば、図５ｇに示したプラトーに似たプラトーが自動的に計算されることができ、画像についての入力ヒストグラムがプラトーにおいてクリップされる。しかも、シーン明かりレベルの変化を含むがそれに限定されない変化するシーン条件に基づいて、異なるプラトーが自動的に実装されることができる。

図６ａ−６ｂは、本発明の画像エンハンスメント方法の結果を描いた写真であり、そこでは明かりに照らされたシーン中で影の詳細がエンハンスされている。図６ａは、元の入力画像を示し、そこではデスクランプが点けられている。描写の目的で、ボックス１４０内部の影領域が示されている。図６ｂは、入力画像に対応する、本発明の画像エンハンスメント方法によって生成された出力画像を示す。容易に見て取れるように、処理画像のボックス１４０中に相当量の追加の詳細を見ることができ、その詳細はそうでなければ元の画像では見えないものである。図６ｂに示す画像は、上述したヒストグラムスタートＡＧＣ方法と平方根後処理と共に図５ｇに示されここに記載されたプラトーに近似した形を有するプラトーを使って作成された。

図７ａ−７ｂは、本発明の画像エンハンスメント方法の結果を描いた写真であり、そこではノーマルな明かりレベル（デスクランプは消えている）を有するシーン中で影の詳細がエンハンスされている。図７ａは、元の入力画像を示す。描写の目的で、ボックス１４２内部の影領域が示されている。図７ｂは、入力画像に対応する、本発明の画像エンハンスメント方法によって生成された出力画像を示す。容易に見て取れるように、処理画像のボックス１４２中に相当量の追加の詳細を見ることができ、その詳細はそうでなければ元の画像では見えないものである。図７ｂに示す画像は、上述したヒストグラムスタートＡＧＣ方法と平方根後処理と共に図５ｇに示されここに記載されたプラトーに近似した形を有するプラトーを使って作成された。

図８ａ−８ｂは、本発明の画像エンハンスメント方法の結果を描いた写真であり、そこでは画像の明るい領域のエンハンスメントが提供されている。図８ａは、晴れた日に撮られた駐車場の画像であり、画像は非常に明るい領域を含む。図８ｂは、図８ａの画像に施された本発明の明るさエンハンスメントの結果を示す。容易に見て取れるように、元の画像（図８ａ）では見えない相当量の詳細が、エンハンス画像（図８ｂ）でははっきりと見ることができる。図８ｂに示す画像は、上述した飽和ピクセルＡＧＣ方法と平方根後処理と共に図５ｇに示されここに記載されたプラトーに近似した形を有するプラトーを使って作成された。

図９は、全体的に２００で示された、短波長赤外線（ＳＷＩＲ）カメラのブロック図であり、それは本発明の画像エンハンスメント機能を含む。本発明は、あらゆる好適な撮像装置および画像処理電子機器に実装することができる。カメラ２００は、撮像すべきシーンからのＳＷＩＲ光２１０を受け取るインジウムガリウム砒素（ＩｎＧａＡｓ）焦点面アレイ２１２を含む。コンディショニングモジュール２１４は、焦点面アレイ２１２からの生のアナログビデオ（画像）を受け取り、反転、ゲイン調節、直流（ＤＣ）シフティングのような、数々の調節を生のアナログビデオ信号に実施する。条件アナログビデオ信号はそれからアナログ−デジタル（ＡＤＣ）変換器１６によって処理されて、デジタルデータバッファ２１８に送られる生のデジタルビデオ信号を作成する。生の信号はそれから一つ以上の画像処理モジュール２２０、２２２、２２４、２２６、２２８、２３０によって処理され、それらの各々はユーザによって選択的に調節および／またはスイッチ切り替えされることができる。モジュール２２０はピクセルオフセット値を調節し、ユーザによって選択的にオンにしたりオフにしたりされることができる。モジュール２２２は、ピクセルゲイン値を調節し、それもまたオンにしたりオフにしたりされることができる。モジュール２２４と２３０は、画像中の悪いピクセルの交換を許容し、その特徴はユーザによって選択的に起動されることができる。モジュール２２６は、画像のピクセルに施されるべきグローバルオフセット値を許容し、その値はユーザによって設定されることができる。モジュール２２８は、画像に施されるべき固定のゲインを許容し、そのゲイン値はユーザによって指定されることができる。

エンハンスメント制御モジュール２３４とコントラストエンハンスメントモジュール２３６は、画像の可変プラトーヒストグラム処理を実装するここに記載される処理ロジックを含む。エンハンス画像は、フレーム統計平均化器モジュール２５０に加えて、テストパターンおよびスタンプ挿入モジュール２３８に送られる。フレーム統計平均化器モジュール２５０は、統計制御モジュール２４８からの情報を受け取り、それはユーザに自動ゲイン制御（ＡＧＣ）が施されるべきフレームを指定することを許容する。ＡＧＣモード選択モジュールとＡＧＣモジュール２５２は、エンハンスＡＧＣ機能を実装するここに記載される処理ロジックを含む。

テストパターン／スタンプ挿入モジュール２３８は、テストモード制御モジュール２４０からのテストモード信号を受け取り、それはユーザにテストパターンをビデオストリーム中に挿入するかどうかを指定することを許容する。オプションのビデオルックアップモジュール２４４では、ガンマ訂正等のようなオプションの画像訂正機能を行うために、ルックアップテーブルを使って入力画像を変換することによってカメラ２００の出力画像を作成するのにルックアップテーブルを利用することができる。出力画像はそれからビデオデュアルポートメモリ２６２に格納され、その後アナログビデオ信号に変換して戻すためのデジタル−アナログ（ＤＡＣ）変換器２６４に送られる。アナログビデオ信号は、複合同期調節２６６を使って調節することができ、その上で調節信号はそれから使用のために利用可能となる。

カメラ２００は、図９に示すビデオ処理チェーンに沿った所望の位置に対応する所望のデジタル信号を選択することをユーザに許容するためのデジタルデータソースセレクタ２５６を含む。例えば、ユーザは、生のデジタルビデオ（図９中の「ＲＡＷ」）出力、訂正デジタルビデオ（図９中の「ＣＯＲＲ」）出力、エンハンスデジタル出力（図９中の「ＥＮＨ」）、テストパターンビデオ（図９中の「ＰＡＴ」）出力、ルックアップテーブル（図９中の「ＬＵＴ」）出力の間で選択することができる。所望のデジタル出力は、低電圧差動シグナリング（ＬＶＤＳ）チャネルリンク直列化器２６０に送られる。その上でデジタル信号は使用のために利用可能となる。直列化器２６０は、Automated Imaging Association（ＡＩＡ）によって発行されたＣＡＭＥＲＡ ＬＩＮＫ標準に適合するNational Semiconductor Inc.によって製造された好適な直列化器からなることができる。

本発明の画像エンハンスメント方法（および、特に、可変ヒストグラムプラトー特徴）は、様々なカメラデザインおよび変化する環境条件に応答して自動的に調節されることができる。例えば、時間に渡る観察の対象であるシーン中で輝度レベルが低下するにつれて、本発明は変化する明かりレベルを補償するようにカスタム化された複数のヒストグラムプラトー（各々はあらゆる所望の形またはサイズ）を自動的に生成することができる。よって、例えば、薄暗い条件が検出されたときには、従来のヒストグラムまたはプラトー等化処理が実装されることができ、そこでは本発明の後処理（例えば、ｘ^ｐとｒａｍｐ非線形プロセス）は無力化されて、直線プラトーが規定されて実装される。更に、一つ以上のユーザ規定のプラトーおよび／または後処理設定が望まれる通りにプログラムされて実装されることができる。

もし本発明が、複数の撮像システムとインターフェースすることが可能なスタンドアローンシステムに実装されれば、そのようなシステムは複数のプラトーでもってプログラムすることができ、それらの最適な一つが特定のカメラタイプまたは製品について自動的に選択されることができる。しかも、本発明は、カメラそのもの内の光学的条件を観察する一つ以上のセンサと共に動作するように適応されて、エンハンスメント方法がそのような条件に適合するよう動的に適応されるようにすることができる。

よって発明を詳細に記載したが、先の記載はその精神および範囲を限定することを意図されていないことが理解されるべきである。特許によって保護されることが望まれるものは添付の請求項に述べられる。

Claims (47)

1. 画像をエンハンスする方法であって、
   画像に対応する入力ヒストグラムを作成するステップであって、入力ヒストグラムは画像に対応するピクセル強度分布を表すステップと、
   入力ヒストグラムに施されるべき可変プラトープロファイルを確立するステップと、
   可変プラトープロファイルにおいて入力ヒストグラムをクリップして、クリップされた入力ヒストグラムを作成するステップと、
   クリップされた入力ヒストグラムから累積ヒストグラムを作成するステップと、
   累積ヒストグラムを正規化して、正規化累積ヒストグラムを作成するステップと。
   正規化累積ヒストグラムを使って画像を変換して、入力画像に対応するエンハンス出力画像を作成するステップであって、入力画像の少なくとも一部が出力画像中でエンハンスされているステップと、
   からなる方法。
2. 入力ヒストグラムから画像中の飽和ピクセルを除外することから更になる、請求項１の方法。
3. 入力ヒストグラムから画像中の低レベルピクセルを除外することから更になる、請求項２の方法。
4. 可変プラトープロファイルを確立するステップは、ユーザによって望まれるエンハンスメントタイプを決定することと、エンハンスメントタイプに対応するプラトープロファイルを計算することからなる、請求項１の方法。
5. 可変プラトープロファイルを確立するステップは、シーン条件を自動的に決定することと、シーン条件に基づいたプラトープロファイルを作成することからなる、請求項１の方法。
6. 暗いシーン条件が検出された時に、画像の暗い領域をエンハンスするためのプラトープロファイルを自動的に作成することから更になる、請求項５の方法。
7. 明るいシーン条件が検出された時に、画像の明るい領域をエンハンスするためのプラトープロファイルを自動的に作成することから更になる、請求項６の方法。
8. 入力画像を変換する前に、正規化累積ヒストグラム上で非線形演算を行うことから更になる、請求項１の方法。
9. 非線形演算を行うステップは、累積ヒストグラムの平方根を計算して、結果として得られる累積ヒストグラムを作成することから更になる、請求項８の方法。
10. 非線形演算を行うステップは、結果として得られる累積ヒストグラムに、ｒａｍｐ関数（ｎ＋ｂｉｎ／［最高ｂｉｎ］）／（ｎ＋１）、ここでｂｉｎは現行ｂｉｎを表し、最高ｂｉｎは結果として得られる累積ヒストグラム中の最高ｂｉｎを表す、を掛けることから更になる、請求項９の方法。
11. 非線形演算を行うステップは、結果として得られる累積ヒストグラムに、（ｎ＋ｓｉｎ［π／２＊ｂｉｎ／［最高ｂｉｎ］）／（ｎ＋１）、ここでｂｉｎは現行ｂｉｎを表し、最高ｂｉｎは結果として得られる累積ヒストグラム中の最高ｂｉｎを表す、を掛けることから更になる、請求項９の方法。
12. ｂｉｎｓ間を補間して、エンハンス出力画像を作成することから更になる、請求項１の方法。
13. ｂｉｎｓ間を補間するステップは、現行ピクセル値を２^ｎのｂｉｎディバイダーで割って、結果と余りを作成することからなる、請求項１２の方法。
14. ｂｉｎｓ間を補間するステップは、結果を使って正規化累積ヒストグラムのｂｉｎに対応する第一のピクセル値をルックアップすることから更になる、請求項１２の方法。
15. ｂｉｎｓ間を補間するステップは、正規化累積ヒストグラムの隣接するｂｉｎに対応する第二のピクセル値をルックアップすることから更になる、請求項１４の方法。
16. ｂｉｎｓ間を補間するステップは、第一のピクセル値と第二のピクセル値の差を計算することと、差に余りのｂｉｎディバイダー２^ｎに対する比を掛けて、補間ピクセル値を作成することから更になる、請求項１５の方法。
17. ｂｉｎｓ間を補間するステップは、エンハンス出力画像に補間ピクセル値を含めることから更になる、請求項１６の方法。
18. ｂｉｎｓ間を補間するステップは、累積ヒストグラムデータを含んだ第一のルックアップテーブルと、第一のルックアップテーブル中のエントリー間の差を含んだ第二のルックアップテーブルを作成することから更になる、請求項１２の方法。
19. 前記第一および第二のルックアップテーブルを利用して、補間ピクセル値を計算することから更になる、請求項１８の方法。
20. 出力画像のゲインを選択的に調節することから更になる、請求項１の方法。
21. 出力画像のゲインを選択的に調節するステップは、ボックスカー平均化器を使って出力画像のピクセルを処理することから更になる、請求項２０の方法。
22. 可変プラトープロファイルを確立するステップは、傾斜したプラトープロファイルを確立することから更になる、請求項１の方法。
23. 可変プラトープロファイルを確立するステップは、入力ヒストグラムをクリップするための第一および第二のプラトーを確立することから更になる、請求項１の方法。
24. 第一および第二のプラトーを確立するステップは、画像中の暗い領域をエンハンスするための暗いプラトーと、画像中の明るい領域をエンハンスするための明るいプラトーを確立することから更になる、請求項２３の方法。
25. 可変プラトープロファイルを確立する前に、プラトーオフセットを計算することから更になる、請求項１の方法。
26. 可変プラトープロファイルを確立するステップは、プラトーオフセットにおいて可変プラトープロファイルを始めることからなる、請求項２５の方法。
27. 可変プラトープロファイルを確立する前に、中点プラトー値と最大プラトー値を計算することから更になる、請求項２６の方法。
28. 可変プラトープロファイルを確立するステップは、中点プラトー値と最大プラトー値の間に可変プラトープロファイルを確立することからなる、請求項２７の方法。
29. 画像をエンハンスする方法であって、
    画像に対応する入力ヒストグラムを作成するステップであって、入力ヒストグラムは画像に対応するピクセル強度分布を表すステップと、
    入力ヒストグラムに施されるべき第一および第二のプラトーを確立するステップと、
    第一および第二のプラトーにおいて入力ヒストグラムをクリップして、クリップされた入力ヒストグラムを作成するステップと、
    クリップされた入力ヒストグラムから累積ヒストグラムを作成するステップと、
    累積ヒストグラムを正規化して、正規化累積ヒストグラムを作成するステップと。
    正規化累積ヒストグラムを使って入力画像を変換して、入力画像に対応するエンハンス出力画像を作成するステップであって、入力画像の少なくとも一部が出力画像中でエンハンスされているステップと、
    からなる方法。
30. 入力ヒストグラムから画像中の飽和ピクセルを除外することから更になる、請求項２９の方法。
31. 入力ヒストグラムから画像中の低レベルピクセルを除外することから更になる、請求項３０の方法。
32. 入力画像を変換する前に、正規化累積ヒストグラム上で非線形演算を行うことから更になる、請求項２９の方法。
33. ｂｉｎｓ間を補間して、エンハンス出力画像を作成することから更になる、請求項２９の方法。
34. 出力画像のゲインを選択的に調節することから更になる、請求項２９の方法。
35. 第一および第二のプラトーを確立するステップは、画像中の暗い領域をエンハンスするための暗いプラトーと、画像中の明るい領域をエンハンスするための明るいプラトーを確立することから更になる、請求項２９の方法。
36. プラトーオフセットに対する入力ヒストグラム中の第一および第二のプラトーを確立することから更になる、請求項３５の方法。
37. 画像をエンハンスする装置であって、
    画像を捕捉する撮像装置と、
    画像を受け取って処理するコントラストエンハンスメントモジュールであって、コントラストエンハンスメントモジュールは、画像に対応する入力ヒストグラムを作成し、入力ヒストグラムをクリップするための可変プラトーを作成し、可変プラトーに沿って入力ヒストグラムをクリップし、正規化累積ヒストグラムを生成するものと、
    正規化累積ヒストグラムに基づいて出力画像を生成する手段と、
    からなる装置。
38. コントラストエンハンスメントモジュールは、ユーザによって指定された望ましいエンハンスメントタイプを決定する、請求項３７の装置。
39. コントラストエンハンスメントモジュールは、望ましいエンハンスメントタイプに従って可変プラトーを作成する、請求項３８の装置。
40. コントラストエンハンスメントモジュールは、シーン条件に応答して可変プラトーを自動的に作成する、請求項３７の装置。
41. コントラストエンハンスメントモジュールは、傾斜したプラトーを作成する、請求項３８の装置。
42. コントラストエンハンスメントモジュールは、入力画像の暗いエリアをエンハンスするための第一のプラトー領域と、入力画像の明るいエリアをエンハンスするための第二のプラトー領域を有するプラトーを作成する、請求項３７の装置。
43. 入力画像のゲインを調節するための自動ゲイン制御モジュールから更になる、請求項３７の装置。
44. 自動ゲイン制御モジュールは、入力画像の追加のエンハンスメントと提供するユーザ選択可能なゲイン制御モジュールを含む、請求項４３の装置。
45. 画像をエンハンスする方法であって、
    画像に対応する入力ヒストグラムを作成するステップであって、入力ヒストグラムは画像に対応するピクセル強度分布を表すステップと、
    処理すべき入力ヒストグラムの一部を選択するステップと、
    入力ヒストグラムの一部に施されるべき可変プラトープロファイルを確立するステップと、
    可変プラトープロファイルにおいて入力ヒストグラムの一部をクリップして、クリップされた入力ヒストグラムを作成するステップと、
    入力ヒストグラムのクリップされた一部から累積ヒストグラムを作成するステップと、
    累積ヒストグラムを正規化して、正規化累積ヒストグラムを作成するステップと。
    正規化累積ヒストグラムを使って画像を変換して、入力画像に対応するエンハンス出力画像を作成するステップであって、入力画像の少なくとも一部が出力画像中でエンハンスされているステップと、
    からなる方法。
46. 入力ヒストグラムの一部を選択するステップは、入力画像中のピクセル総数の第一の予め規定されたパーセントを超える第一のｂｉｎ値を選択することによって一部の始まりを同定することからなる、請求項４５の方法。
47. 入力ヒストグラムの一部を選択するステップは、入力画像中のピクセル総数の第二の予め規定されたパーセントよりも低い第二のｂｉｎ値を選択することによって一部の終りを同定することからなる、請求項４６の方法。

Images