JP2010500672A - ナイトビジョン画像データセットを処理するための方法、装置およびコンピュータ読取可能媒体 - Google Patents

Abstract

画像データセットの品質を向上させる、たとえばノイズの多い画像データセットにおいてノイズを低減し、画像データセットのコントラストを向上させるための方法が開示される。当該方法は、画像データセット、たとえばナイトビジョン画像データセットのシーケンスを処理するために用いられ得る。シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有する。当該方法は、画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出するステップと、画像データセットの各画素についての構造テンソルに基づいて総和カーネルの値を算出するステップと、総和カーネルの値を重みとして用いて、第１の画像データセットの各画素について加重輝度値を算出するステップと、画像データセットの各画素についての加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するステップと、総和カーネルが表される局所座標系を回転させるステップとを含み、その結果、局所座標系の座標軸は構造テンソルの固有ベクトルの方向と一致し、固有ベクトルは画像データセットのグローバル座標系に表され、さらに、総和カーネルが表される局所座標系の座標軸を、構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするステップを含む。固有値は、それらの対応する固有ベクトルの方向における輝度変動量に依存し、幅関数は、
【数１】

であるような減少関数である。装置およびコンピュータ読取可能媒体も提供される。

Description

技術分野
本発明は、概して画像処理分野に関する。特に本発明は、たとえばノイズの多い画像データセット、特に、限定はしないがナイトビジョンデータセットなどの低光レベル状態または他の比較的視認性が劣った状態において取得された画像データセットもしくは画像データセットシーケンス（ｓｅｑｕｅｎｃｅ）などの低コントラスト領域を有する画像データセットにおいて、ノイズの低減などによってダイナミックレベルを向上させるための方法、装置、コンピュータプログラムおよびコンピュータ読取可能媒体に関する。

先行技術の説明
デジタル画像処理において、ノイズは、画像データセットに存在する目に見える粒子にほぼ対応する。ノイズという用語は一般に、入力装置センサおよび回路（たとえばスキャナ、デジタルカメラ）における電子的なノイズによって一般に引起される高周波のランダムな擾乱を指す。ナイトビジョン中などの薄暗い状態では、光の量子性が別のノイズ源となる。カメラフィルムまたはＣＣＤ検出器に到達する光子が極めて少ないため、一般に真の輝度値における不確定性が大きい。つまり、輝度の分散が真の値と比べて大きく、粒子の粗いノイズの多い画像となる。撮像装置におけるこの大きな分散と付加的な内部の電子的ノイズとが組合さると、外乱レベルのノイズとなり得る。ノイズ低減は、画像データセットにおけるノイズを低減するよう努める画像分析の一部である。

多くの動物、特に夜行性の動物は薄暗い状態において優れた視覚機能を有し、必然的なノイズに対処する手段を備えている。人間を含む大部分の動物の視覚系の特徴は、視覚信号を空間（空間的総和(spatial summation)）および時間（時間的総和(temporal summation)）において局所的に総和して、各入力チャネルにおける信号強度を増大させ、かつ輝度推定の信頼性を高めることができる点である。ただしこれと引換えに、空間的および／または時間的分解能が低下する。高速の事象に反応しなければならない、および／または高い相対速度で動いている動物にとっては、高い時間的分解能が一般に必要であり、時間的総和の前に空間的総和を行うことが好ましい。より静的な環境において主に活動する他の動物については、可能な限り高い空間的分解能を得るために、時間的総和の方が好ましい。

E. Warrantによる“Seeing better at night：life style, eye design and the optimum strategy of spatial and temporal summation”Vision Research, 39:1611-1630, 1999では、空間的総和および時間的総和を考慮する動物の目における視覚信号処理に類似させようと試みるモデルが示されている。このモデルは、視覚性能を最大化させる空間的総和と時間的総和との最適なバランスを求めようとしている。いくつかの特定の動物の視覚系を研究することによって、これらの動物の空間的総和と時間的総和との相対比率は、時間的分解能および空間的分解能の点でそれらの生活様式およびニーズによく適していることがわかる。このモデルの欠点は、総和が行なわれる局所的近傍がどのように選択され得るかということに関して制限的な点である。近傍は、時空空間における軸に沿ってのみ調整することができる、すなわち、近傍はこれらの軸について対称である。視野の移動領域における画素を処理する際は、このモデルに従えば、ほんのわずかな量の時間的総和でも一般に動きのブレに繋がる。高周波ノイズを低減するため、当該モデルはその代わりに大量の空間的なブレの使用が必然的に決まり、概して不必要に低い空間的分解能に繋がる。また当該モデルは、どんな量の空間的総和および時間的総和を各画素に適用すべきかを決
定する前に、別個の速度推定が行なわれていると想定する。

デジタル画像処理に関しては、時空空間を介する画像データセットの動作領域に対応する動作軌跡を推定し、かつこれらの軌跡に沿ってシーケンスをフィルタリングすることによってノイズを低減させようと、さまざまな試みがなされてきた。画像データセットにおける動作領域は、たとえば、画像データセットの取得中にカメラを動かすことによって、および／または静止もしくは移動カメラを用いて、画像データセット内の１つ以上の動いている物体の画像データセットを取得することによって生じ得る。これらのノイズ低減技術は、通例、動き補償時空間フィルタリングと称される。このように、動きのブレが理想的には回避され、空間フィルタリングの必要性が低下する。これらの技術の一部においては、ノイズレベルの推定に依存して、動作軌跡に沿った、かつ動作軌跡の周囲の小さな近傍において、加重平均が算出される。他のフィルタリング技術、たとえばいわゆる線形最小平均２乗誤差フィルタリングならびにカルマンおよび／またはウィナーフィルタリングを動作軌跡に沿って適用することが提案されてきた。動き補償法の欠点は、フィルタリングが適用される前に別個に算出されるあらゆる点における動作軌跡の良好な推定にやや大きく依拠する点である。したがって、動作推定における軽微なエラーは、一般に過度なブレに繋がる。動作軌跡の明白な推定は、ノイズによって著しく劣化したシーケンスについては特に複雑である。一般に、フィルタリングは、物体の形状などの動作推定が特に困難な領域では単純に低減し、一般に、これらの領域においてノイズ低減が劣ることになる。

他のノイズ低減映像処理法は、主に、最も高い出力を与えるフィルタに対応する方向においてフィルタリングおよび平滑化が行なわれる多段接続の方向フィルタを使用する。これらの方法は、一定のフィルタ方向と一致する方向については良好に機能するが、フィルタ方向間の方向への出力においては、概して著しい劣化を有する。

NitzbergおよびShiotaによる“Nonlinear image filtering with edge and corner enhancement”、IEEE Trans. On Pattern Recognition and Machine Intelligence, 14:826-833, 1992は、１つの二次元画像データセットにおけるノイズ低減のための非線形画像フィルタリングの方法を開示している。この方法によれば、各画素における局所的空間輝度構造に適合するガウス形状のカーネルが算出される。これらのカーネルは、各画素の周囲の空間的近傍における加重平均値を算出するのに用いられる。この発行物に開示されている方法の欠点は、このモデルは個々の二次元画像データセットについて空間的総和を考慮しているに過ぎず、したがって画像データセットについての時空間的総和、すなわちたとえば薄暗い状態中に取得された画像データセットシーケンスにおけるノイズ低減には対処していない点である。別の欠点は、空間的輝度構造をガウス形カーネルの形状に関連させる関数が固定されている点である。たとえば、輝度コントラストが低い非常に暗い領域およびはるかに明るい領域の両方を含む画像データセットの場合、ガウス形カーネルに影響を及ぼす輝度の傾きは、領域間で大きさが非常に異なる。上記の発行物に示されている方法は、この変動に対処するための手段を有しておらず、暗い領域または明るい領域のいずれかにおいて、概して不必要に劣った出力解像度をもたらす。したがって、たとえば低コントラスト領域を含む画像データセットにおけるノイズ低減のための改良された方法があれば有益であり、画像解像度、柔軟性および明確性を向上させることができる。

G. Yang他は、“Structure adaptive anisotropic image filtering”, Image and Vision Computing, 14:135-145, 1996において、構造感応異方性画像フィルタリングについて記載している。当該方法は、たとえば二次元画像について、

であるように、各時空点ｘ₀＝（ｘ′₀，ｙ′₀，ｔ′₀）において、カーネル（ｋｅｒｎｅｌ）ｋ（ｘ₀，ｘ）を原画像ｆ_in（ｘ）に適用することによって新たな画像ｆ_out（ｘ）を計算する。ここで、

は正規化因子である。正規化は、すべての場合において１に等しいカーネルエレメントの総和を行なうため、画像の平均輝度は変化しない。積分、または離散的な場合には総和が行なわれる領域Ωは、ｘ_０を中心とする有限の近傍として選択される。ｘ＝（ｘ′，ｙ′，…）はｍ次元の位置ベクトルであり、たとえばｘ＝（ｘ′，ｙ′）は二次元位置ベクトルである。

関数ｋが空間にわたって不変である場合は、画像の細部に注意を払うことなく画像のノイズを均一に平滑化する。ヤンのアルゴリズムの背景にある基本的な考えは、使用されるカーネルｋ（ｘ₀，ｘ）は可変にすべきであり、ｘ₀の近傍Ω内の局所的な特徴に従って整形またはスケーリングすることができるという点である。空間的エッジおよび時間的エッジ上のブレを減少させるためには、各点における時空間輝度構造にフィルタリングを適合させることが望ましいため、カーネルｋ（ｘ₀，ｘ）が各点ｘ₀について個々に算出される。カーネルは、均一な領域を平滑化することができるように輝度が均質な方向に広く（弱い傾き）、エッジおよびコーナーが保護されるように重要な構造エッジを有する方向に狭く（強い傾き）なければならない。

これらの方向を求めるには、いわゆる構造テンソルまたは二次モーメント行列によって輝度構造が分析される。この目的は、多くの論文および文献で画像分析において発展し、適用されてきた。たとえば、B. Jahne, "Spatio-temporal image processing", Springer, 1993参照。

ヤンの解決法は、Ｓ／Ｎ比が低い画像については非常に良く機能すると言われているが、ヤンはナイトビジョン画像については言及していない。

発明の概要
低コントラスト画像、特にナイトビジョン画像について画像処理向上が依然として必要である。特に、歩行者検出などの認識の目的で、好ましくは出力画像の品質を向上させなければならない。

本発明の実施形態の目的は、ナイトビジョン画像データセットのシーケンスを処理するための方法、装置およびソフトウェアを提供することである。特に、本発明の実施形態の利点は、ナイトビジョンシステムにおいてノイズ低減と画像のシャープニングとを同時に行なうための方法を提供することである。

したがって、本発明は好ましくは、当該分野における上記の欠点および不利益のうち１つ以上を、単独でまたはいずれかの組合せで緩和、軽減または排除することを探求する。

発明の一局面によれば、画像データセット、たとえばナイトビジョン画像データセットのシーケンスを処理するための方法が提供される。画像データセットのシーケンスは、ダイナミック強調に備えられ得る。シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有する。画像データセットのシーケンスは、二次元、三次元、距離画像、もしくはさらに高次元のモノクロまたはカラー画像データセットを含み得る。

当該方法は、各画素における推定された輝度導関数に基づいて、画像データセットのシーケンスに含まれる画像データセットの各画素について輝度構造の測定値たとえば構造テンソルを算出し、輝度構造の測定値たとえば構造テンソルの固有分解を行うステップと、画像データセットの各画素についての輝度構造の測定値たとえば構造テンソルに基づいて総和カーネルの値を算出するステップと、総和カーネルの値を重みとして用いて、画像データセットの各画素について加重輝度値を算出するステップと、画像データセットの各画素についての加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するステップと、総和カーネルが表される局所座標系を回転させるステップとを含み、その結果、局所座標系の座標軸は、輝度構造の測定値たとえば構造テンソルの固有ベクトルの方向と一致し、固有ベクトルは画像データセットのグローバル座標系に表され、さらに、総和カーネルが表される局所座標系の座標軸を、輝度構造の測定値たとえば構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするステップを含む。固有値はそれらの対応する固有ベクトルの方向における輝度変動量に依存する。

本発明の特定の実施形態において、幅関数は、

によって規定され得る。
幅関数は、画像データセットのノイズレベルに適合され得る。幅関数をノイズレベルに適合させるステップは、画像データセットにおけるノイズを推定するステップと、幅関数に挿入するのに適切な大きさとなるようにノイズの分散の推定をスケーリングするステップとを含み得る。好ましさの程度が低い選択肢として、ノイズレベルはＳ／Ｎレベルであり得る。分散の推定をスケーリングするステップは、固定のスケーリング因子によって行なわれ得る。代替的に、分散の推定をスケーリングするステップは、画像データセットから決定されるスケーリング因子によって行なわれ得る。

本発明の実施形態に係る方法は、次の画像データセットについて上記の方法ステップを反復するステップを含み得る。

輝度構造の測定値を算出するステップは、各画素の推定輝度導関数に基づいて構造テンソルを算出するステップを含み得る。

輝度構造の測定値を算出するステップは、画像データセットがマルチチャネル画像データセットであるとき、各画素の各チャネルについての対応する推定輝度導関数の平均値に基づいて構造テンソルを算出するステップを含み得る。

当該方法はさらに、画像データセットがマルチチャネル画像データセットであるとき、画像データセットの各チャネルについて構造テンソルを算出するステップを含み得る。

当該方法はさらに、画像データセットがマルチチャネル画像データセットであるとき、画像データセットの各チャネルについて算出された構造テンソルの、エレメントに関する平均構造テンソルを算出するステップを含み得る。

当該方法はさらに、画像データセットがマルチチャネル画像データセットであるとき、データセットの異なるチャネルまたは各チャネルの値の平均値を用いて、構造テンソルを算出するステップを含み得る。

当該方法はさらに、輝度構造の測定値、たとえば構造テンソルを算出するステップ中またはそれより前に画像データセットの低域通過フィルタリングを行うステップを含み得る。

輝度構造の測定値たとえば構造テンソルを算出するステップはさらに、画像データセットのシーケンスの各画像データセットの各画素について動きベクトルを算出するステップを含み得る。

当該方法はさらに、輝度変換関数によって画像データセットに対して輝度変換を行ない、第１の画像データセットの少なくとも一部において輝度コントラストを増大させるステップを含み得る。

当該方法はさらに、フォアグランド−バックグランドセグメント化を行なうステップを含み得る。

当該方法はさらに、ディスプレイ上に表示するために第１の出力画像データセットの各々をレンダリングするステップを含み得る。

本発明の実施形態に係る方法はさらに、画像の輪郭のエッジをシャープニングするステップを含み得る。

代替的に、離散高周波増幅フィルタを連続関数ｈで近似し、かつ関数ｈによる当初の総和カーネルＳの畳み込みによって新たな総和関数を分析的に算出することによって得られる総和関数Ｓ_hを使用することと、

発明の別の局面によれば、コンピュータプログラム製品はプログラム指令を含み、プログラム指令がコンピュータシステム上で実行されると、本発明の実施形態に係る方法をコンピュータシステムに行わせる。コンピュータプログラム製品は、記録媒体上に実装されるか、コンピュータメモリに記憶されるか、リードオンリーメモリに実装されるか、または電気搬送信号によって搬送され得る。

発明のさらに別の局面によれば、画像データセットのシーケンスのプロセッサによって処理するためのコンピュータプログラムが実装されたコンピュータ読取可能媒体が提供される。シーケンスは少なくとも２つの画像データセットを含み、各画像データセットは少なくとも２つの画素を有し、各画素はある輝度値を有する。コンピュータプログラムは、各画素における推定された輝度導関数に基づいて、画像データセットのシーケンスに含まれる画像データセットの各画素について輝度構造の測定値たとえば構造テンソルを算出するため、および輝度構造の測定値たとえば構造テンソルの固有分解を行うための第１の算出コードセグメントと、画像データセットの各画素についての輝度構造の測定値、たとえば構造テンソルに基づいて、総和カーネルの値を算出するための第２の算出コードセグメントと、総和カーネルの値を重みとして用いて、画像データセットの各画素について加重輝度値を算出するための第３の算出コードセグメントと、画像データセットの各画素についての加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶コードセグメントと、総和カーネルが表される局所座標系を回転させるためのさらなる算出コードセグメントとを含み、その結果、局所座標系の座標軸は、輝度構造の測定値たとえば構造テンソルの固有ベクトルの方向と一致し、固有ベクトルは、画像データセットのグローバル座標系に表され、さらに、総和カーネルが表される局所座標系の座標軸を、輝度構造の測定値たとえば構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするためのスケーリングコードセグメントを含む。固有値は、それらの対応する固有ベクトルの方向における輝度変動量に依存し、

回転のための算出コードセグメントおよびスケーリングコードセグメントは、第２の算出コードセグメントの一部であり得る。

幅関数は、

によって規定される減少関数であり得る。
コンピュータプログラムはさらに、次の画像データセットについて上記のステップを反復するための反復コードセグメントを含み得る。

本発明の別の局面によれば、発明の実施形態に係る方法を行うように構成された部位を含む装置が提供される。

本発明のさらなる局面によれば、画像データセットのシーケンスを処理するための装置が提供される。シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有する。

当該装置は、各画素における推定された輝度導関数に基づいて、画像データセットのシーケンスに含まれる画像データセットの各画素について輝度構造の測定値たとえば構造テンソルを算出し、輝度構造の測定値たとえば構造テンソルの固有分解を行うための第１の算出部と、画像データセットの各画素についての輝度構造の測定値たとえば構造テンソルに基づいて総和カーネルの値を算出するための第２の算出部と、総和カーネルの値を重みとして用いて、画像データセットの各画素について加重輝度値を算出するための第３の算出部と、画像データセットの各画素についての加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶部とを含む。当該装置はさらに、総和カーネルが表される局所座標系を回転させるための回転部を含み、その結果、局所座標系の座標軸は、輝度構造の測定値たとえば構造テンソルの固有ベクトルの方向と一致し、固有ベクトルは画像データセットのグローバル座標系に表される。さらに、総和カーネルが表される局所座標系の座標軸を、輝度構造の測定値たとえば構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするためのスケーリング部を含み、固有値はそれらの対応する固有ベクトルの方向における輝度変動量に依存し、

回転させるための算出部およびスケーリングするためのスケーリング部は、第２の算出部の一部であり得る。

特定の実施形態において、幅関数は、

によって規定される減少関数であり得る。
本発明の実施形態に係る装置はさらに、次の画像データセットについて上記の方法ステップを反復するための反復部位を含み得る。

発明の別の局面によれば、ナイトビジョン画像データセットのシーケンスを処理するための方法が提供される。シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有する。当該方法は、各画素における推定された輝度導関数に基づいて、画像データセットのシーケンスに含まれる画像データセットの各画素について、輝度構造の測定値たとえば構造テンソルを算出するステッ
プと、画像データセットの各画素についての輝度構造の測定値たとえば構造テンソルに基づいて、総和カーネルの値を算出するステップと、総和カーネルの値を重みとして用いて、画像データセットの各画素について加重輝度値を算出するステップと、画像データセットの各画素についての加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するステップとを含む。総和カーネルの値を算出するステップは、総和カーネルを入力画像に適用すると、入力画像データにおける適切な方向に平滑化が適用されつつ、最も重要な空間的エッジおよび時間的エッジにおいて入力画像の輪郭のシャープニングが得られるように行われ得る。

発明のさらに別の局面によれば、ナイトビジョン画像データセットのシーケンスを処理するための装置が提供される。シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有する。当該装置は、各画素における推定された輝度導関数に基づいて、画像データセットのシーケンスに含まれる画像データセットの各画素について輝度構造の測定値たとえば構造テンソルを算出し、輝度構造の測定値たとえば構造テンソルの固有分解を行うための第１の算出部と、画像データセットの各画素についての輝度構造の測定値たとえば構造テンソルに基づいて総和カーネルの値を算出するための第２の算出部と、総和カーネルの値を重みとして用いて、画像データセットの各画素について加重輝度値を算出するための第３の算出部と、画像データセットの各画素についての加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶部とを含む。第２の算出部は、総和カーネルを入力画像に適用すると、入力画像データにおける適切な方向に平滑化が適用されつつ、最も重要な空間的エッジおよび時間的エッジにおいて入力画像の輪郭のシャープニングが得られるように総和カーネルの値を算出するように適合される。

発明のさらに別の局面によれば、画像データセットのシーケンスのプロセッサによって処理するためのコンピュータプログラムが実装されたコンピュータ読取可能媒体が提供される。シーケンスは少なくとも２つの画像データセットを含み、各画像データセットは少なくとも２つの画素を有し、各画素はある輝度値を有する。コンピュータプログラムは、各画素における推定された輝度導関数に基づいて、画像データセットのシーケンスに含まれる画像データセットの各画素について、輝度構造の測定値たとえば構造テンソルを算出するため、および輝度構造の測定値たとえば構造テンソルの固有分解を行うための第１の
算出コードセグメントと、画像データセットの各画素についての輝度構造の測定値たとえば構造テンソルに基づいて、総和カーネルの値を算出するための第２の算出コードセグメントと、総和カーネルの値を重みとして用いて、画像データセットの各画素について加重輝度値を算出するための第３の算出コードセグメントと、画像データセットの各画素についての加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶コードセグメントとを含む。第２の算出コードセグメントは、総和カーネルを入力画像に適用すると、入力画像データにおける適切な方向に平滑化が適用されつつ、最も重要な空間的エッジおよび時間的エッジにおいて入力画像の輪郭のシャープニングが得られるように総和カーネルの値を算出するように適合され得る。

発明の別の局面によれば、発明の実施形態のいずれか１つに係る方法、装置、コンピュータプログラムまたはコンピュータ読取可能媒体は、車両、ロボット、ビデオカメラ、監視システムまたは製造システム等において使用される。

発明の別の局面によれば、発明の実施形態のいずれか１つに係る方法、装置、コンピュータプログラムまたはコンピュータ読取可能媒体は、車両付近の歩行者および／または交通信号などの物体を検出および／または分析するために使用される。車両は、たとえば車、バン、バス、トラック、連結式運搬車、ボート等からなるグループから選択される車両であり得る。さらに、発明の実施形態のいずれか１つに係る方法、装置、コンピュータプログラムまたはコンピュータ読取可能媒体は、車両のナイトビジョンシステムに使用され得る。

発明のさらなる実施形態は、従属請求項に規定される。
発明の一部の実施形態は、ノイズの多い画像データセット、特に、限定はしないが低光レベル状態または他の比較的視認性が劣った状態において取得された画像データセットもしくは画像データセットシーケンスなどの低コントラスト領域を有する画像データセットにおけるノイズの低減などによって、ダイナミックレベルを向上させることができる。

発明の一部の実施形態の利点は、低コントラスト領域を含む画像データセットにおいてノイズ低減が可能であり、したがって画像解像度、柔軟性および明確性を向上させることができる点である。

本発明の実施形態のさらなる目的、特徴および利点は、発明の実施形態の以下の詳細な説明から明らかとなるであろう。添付の図面を参照する。
本発明の一実施形態に係る方法の概略図である。 本発明の実施形態に係る典型的な幅関数の外観図である。 本発明の一実施形態に係る画像データセットシーケンスにおいて左から右に移動するグレイの物体の時空間輝度構造を示す図である。 本発明の一実施形態に係る方法の概略図である。 本発明の一実施形態に係る増加輝度変換関数を示す図である。 本発明の一実施形態に係る方法の概略図である。 本発明の一実施形態に係る装置の概略図である。 本発明の一実施形態に係るコンピュータ読取可能媒体の概略図である。 ２番目に大きい固有値のヒストグラムからのガンマ分布の推定を示し、点は固有値を表わし、点線は最小２乗適合化ガンマ分布を表わす図である。

実施形態の詳細な説明
本発明のいくつかの実施形態を、当業者が発明を実施することができるように、添付の図面を参照して以下により詳細に説明する。しかし本発明は、多くのさまざまな形態で実施することができ、ここに記載する実施形態に限定されると解釈されるべきではない。これらの実施形態は、本開示が十分かつ完全であり、発明の範囲を当業者に存分に伝えるように示される。実施形態は発明を限定するとは限らない。さらに、添付の図面に示される特定の実施形態の詳細な説明において使用される用語は、発明を限定するものではない。

本発明の実施形態は、ダイナミックレベルを向上させる、たとえばノイズの多い画像データセットにおいてノイズを低減させ、および／または画像データセット、特に、限定はしないが低光レベル状態または輝度コントラストを低下させる視認性が劣った他の状態において取得された画像データセットもしくは画像データセットシーケンスなどの、低コントラスト領域を有する画像データセットにおける物体の輪郭のシャープネスを向上させるための方法を提供する。画像データセットは、たとえば二次元画像データセット、二次元画像データセットのシーケンス、磁気共振撮像およびコンピュータトモグラフィ撮像画像データセットなどの三次元画像データセット、三次元画像のシーケンス、またはさらに高次元の画像データセットであり得る。画像データセットは、特にナイトビジョンデータセットであり得る。

本発明の実施形態は、画像データセットにおいてシャープネスを向上させるための方法を提供する。シャープネスの向上は、それ自体で、またはダイナミックレベルの向上と組合せて行なわれ得る。

本発明の実施形態は、総和（たとえば加重平均化）を利用して、画像データセット、特に照明状態が劣った状態、またはもやや霧などの他の視認性が劣った状態にある領域などの低コントラスト領域を含む画像が生じるような状態において取得された画像データセットの視覚品質を向上させるデジタル画像処理技術を提供する。考慮対象の画像データセットは、たとえば、低コントラスト画像データが生じる医療用撮像システムおよび他の撮像技術によって取得された低コントラスト画像データセットでもあり得る。代替的に、低コントラスト画像データセットはナイトビジョンデータセットであり得る。

以下の説明は、画像データセットもしくは画像データセットのシーケンスと、特に低コントラスト領域を含む画像データセットもしくは画像データセットのシーケンス、たとえばナイトビジョン画像データセットにおけるノイズの低減および／または物体の輪郭のシャープネスの向上とに適用可能な本発明の実施形態に焦点を当てる。

本発明の一実施形態において、図１に従って、ナイトビジョンなどの低コントラストのシーケンスにおけるノイズ低減のための方法が提供される。各画像データセットは少なくとも２つの画素を有し、各画素はある輝度値を有する。図１に示される方法は、画像データセットの各画素における推定された輝度導関数に基づいて、画像データセットのシーケンスに含まれる画像データセットの各画素の周囲の近傍において、輝度構造の測定値たと
えば構造テンソルを算出するステップ１１を含む。構造テンソルまたは二次モーメント行列は、画像の各画素における部分的な導関数情報の行列表示である。画像に存在する傾きまたはエッジに関する情報を表わすのに典型的に用いられる。固有分解が構造テンソル行列に適用され、固有値および固有ベクトルをそれぞれ構成し得る。当該方法はさらに、画像データセットの各画素についての輝度構造の測定値たとえば構造テンソルに基づいて総和カーネルの値を算出するステップ１２と、総和カーネルの値を重みとして用いて、画像データセットの各画素について加重輝度値を算出するステップ１３と、画像データセットの各画素についての加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するステップ１４とを含む。

本発明の実施形態に係る方法はさらに、総和カーネルが表される局所座標系を回転させるステップを含み得る。その結果、局所座標系の座標軸は構造テンソルの固有ベクトルの方向と一致し、固有ベクトルは画像データセットのグローバル座標系に表される。当該方法はさらに、総和カーネルが表される局所座標系の座標軸を、構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするステップを含み得る。

固有値は、それらの対応する固有ベクトルの方向における輝度変動量に依存する。固有ベクトルｅ_iの方向における総和カーネルの幅σ_iを算出するために、すなわち当該方向における軸のスケーリングを算出するために、幅関数は、固有ベクトルｅ_iに対応する固有値λ_iに依存し、好ましくは他の固有ベクトル方向に対応する固有値には依存しない。したがって幅関数は、固有ベクトルｅ_ｉに対応する固有値λ_iにのみ依存すればよい。

本発明の実施形態に係る方法は、画像データセットのシーケンスのすべての画像データセットが処理されるまで、次の画像データセットに対する上記のステップの反復を含み得る。

画像データセットの種類
本発明の一実施形態において、画像データセットは、１つの二次元、三次元、もしくはさらに高次元のモノクロ画像、または単色画像などの１つのマルチチャネル画像を含む。

本発明の一実施形態では、画像データセットのシーケンスは、二次元、三次元もしくはさらに高次元のモノクロ画像データセット、またはカラー画像データセットなどのマルチチャネル画像データセットを含む。

マルチチャネルカラー画像データセットの一例はＲＧＢ画像データセットであり、３つのチャネル、たとえば赤について１つ、緑について１つ、および青について１つのチャネルを含む。カラー画像および他のマルチチャネル画像データセットを処理する際に特別に考慮すべき事項について以下に述べる。

本発明の一実施形態において、画像データセットもしくは画像データセットのシーケンスは、医療用撮像、監視、工業用検査、工業用および科学用測定、ならびに画像に基づくさまざまな種類の車両のナビゲーションなどの目的で、ビデオカメラ、静止画像カメラまたは他の撮像装置によって生成される。上記の撮像装置は、ビデオカメラおよび静止画像カメラに加えて、たとえば、蛍光顕微鏡などの顕微鏡二次元もしくは三次元撮像装置、さまざまな種類の画像走査装置、画像デジタイザ、ならびに磁気共振画像システム、コンピュータトモグラフィシステムまたは超音波システムなどの医療用撮像装置を含む。考慮さ
れる画像データセットは、いずれかの種類のマルチスペクトル画像形成測定技術を用いて取得することもできる。

本発明の実施形態において、画像データセットまたは画像データセットのシーケンスは、ナイトビジョン画像データセットまたはナイトビジョン画像データセットのシーケンスである。このようなナイトビジョン画像データセットを取得するための撮像装置は、たとえば車両もしくはロボットのナイトビジョンカメラまたはナイトビジョンシステムであり得る。

本発明の一実施形態において、画像データセットまたはデータセットのシーケンスは、背景の距離画像を構成するシステムによって生成され、距離画像の各画素における輝度は、背景の対応する方向にある物体までの距離に関連する。当該システムは、たとえば三次元カメラまたは複数のカメラのセットによって構成することができる。

構造テンソル
本発明の一実施形態において、輝度構造は、第１の画像データセット、および／または画像データセットのシーケンスの先行する画像データセット、および／または後続の画像データセットに依存する。

本発明の一実施形態において、輝度構造の測定値の算出は、現在の画素の時空空間における異なる軸に沿った輝度変動率の測定値に基づいて、各画素における構造テンソルＪを算出するステップを含む。これらの測定値は、たとえば各画素における輝度導関数の推定に基づき、および／またはより一般的には加重輝度値に基づき得る。

構造テンソルＪは、各画素の近傍における局所的な輝度構造を分析するのに使用され得、画像輝度導関数を用いて算出され得る。構造テンソルの一例を数式１に示す。この例の次元は、二次元画像データセットの画像データセットシーケンスに関連し、ｘおよびｙは空間的次元を表わし、ｔは時間的次元を表わす。画像データは、したがって三次元輝度データとして扱われる。三次元輝度データの点（ｘ，ｙ，ｔ）における構造テンソルＪは、一般に数式１に従って算出され得る。

この加重輝度値は、ガウス形カーネルなどのベル型関数による、エレメントに関する畳み込みによって実現され得る。加重カーネルは等方性であり得る。すなわちすべての軸に関して幅が等しく、各軸について対称である。すなわち、Ｗが三次元における加重カーネル
を表わす離散関数である場合、他の軸それぞれについてＷ（ｘ，ｙ，ｔ）＝Ｗ（−ｘ，ｙ，ｔ）である。

その結果得られる構造テンソルＪは、最大固有値に対応する固有ベクトルが傾き方向をほぼ指し、かつ他の２つの固有ベクトルがこのベクトルに直交する行列である。構造テンソルが、現在処理中の画像データセットにおける異なる次元の軸の方向における画像輝度導関数から構成されることが数式１から認められ得る。

輝度導関数の算出前または算出中に、たとえば、ガウス形などの対称等方性ベル型カーネルで画像データセットを畳み込むことによって、画像データセットが低域通過フィルタリングまたは平滑化され得る。したがって、画像データセットにおける高周波成分が低減または除去され得る。したがって低域通過フィルタリングは、導関数推定を画像データセットの高周波ノイズに影響されにくくするのに使用され得る。

構造テンソル算出のための入力パラメータは、輝度変動率の測定値の算出と、高周波ノイズの低減または除去のための低域通過フィルタリングとに使用される近傍Ｎの最大サイズであり得る。Ｎの最大サイズは、空間的次元または空間的および時間的次元における近傍の範囲を表すパラメータによって設定され得る。１つのパラメータは、空間的次元における最大範囲ｎ_sであり得、たとえば二次元画像データセットにおいては、最大空間範囲をｎ_s×ｎ_s画素として示す。時間的次元については、画像データセットシーケンスの場合、パラメータは、時間的に第１の画像データセットに先行して用いられる画像データセットの数についての一パラメータｎ_ｂと、時間的に第１の画像データセットの後続で用いられる画像データセットの数についての一パラメータｎ_ｆとであり得る。これらのパラメータは、グローバルパラメータとして設定され得る。

画像データセットがマルチチャネル画像データセット、たとえば異なるカラーチャネルを含むカラーデータセットである場合、輝度構造の測定値をどのように算出するかについて、異なる選択肢がある。以下に４つの異なる選択肢を説明する。

本発明の一実施形態において、画像データセットはマルチチャネル画像データセットであり、

これは、ＲＧＢ画像データセットについては、Ｒ、ＧおよびＢチャネルの各々に対して構造テンソルが１つあり、本発明の実施形態に係るモノクロシーケンスについての手順と同様に、別個のモノクロ画像データセットとして各チャネルが扱われることを意味する。

本発明の別の実施形態において、画像データセットはマルチチャネル画像データセット
であり、

この構造テンソルは、本発明のいくつかの実施形態に係る方法の後続のステージにおける現在の画素でのすべてのチャネルを表わすことになる。これは、ＲＧＢ画像データセットについては、後続のステージで用いられる構造テンソルがＲ、ＧおよびＢチャネルに対して１つあることを意味する。

本発明の一実施形態において、画像データセットはマルチチャネル画像データセットであり、算出１１は、異なるチャネルにわたる輝度変動率のそれぞれの測定値（輝度導関数推定）の平均値を算出し、これらの平均値に基づいて、

本発明の一実施形態において、画像データセットはマルチチャネル画像データセットであり、算出１１は、Ｒ、ＧおよびＢチャネルにおける輝度値について平均値を算出し、この平均輝度値に基づいて輝度変動率の測定値を算出するステップを含む。

総和カーネル

当該固有値および固有ベクトルを総和関数の算出に用いることにより、輝度レベルおよび輝度の傾きの大きさの、総和関数の形状に対する影響が、現在の画像データセットに、または現在の画像データセットの異なる局所領域に適合され得る柔軟な方法が得られる。

本発明の一実施形態において、算出１２の結果、上記座標系の座標軸が構造テンソルの固有ベクトルの方向と一致するように、総和カーネルが表される局所座標系が回転される
。固有ベクトルは、画像データセットのグローバル座標系に表される。さらに、固有ベクトルの方向に沿った総和関数の幅は、幅関数と称される関数によって対応する固有値に依存する。固有値の大きさは、対応する固有ベクトルの方向における輝度変動量に対応する。総和関数は、このように、現在処理中の各画素の周囲の近傍における輝度構造に自身を適合させる。

本発明の別の実施形態において、算出１２は、数学および画像処理の分野において既知の以下の数式にしたがって、現在処理中の画素ｘにおいて構造テンソルを対角化するステップを含む。

Ｊ＝ＲＬＲ^T （２）
ここでＲは、Ｊの正規化された固有ベクトルを列ベクトルとして有する直交回転行列である。行列Ｌは、Ｊの対応する固有値を対角要素として有する対角行列である。三次元における一例として、

ここでλ₁は、Ｒの第１列等における固有ベクトルに対応する固有値である。
算出１２は、対応する固有ベクトルの方向における総和関数の幅σ_iを固有値λ_iを用いて算出するステップも含む。この算出は、幅関数ｗ（λ_i）＝σ_iによって実現される。

本発明の特定の実施形態において、幅関数ｗは、たとえば以下の式のように、現在の固有ベクトル方向ｅ_iにおける固有値λ_iに直接依存する指数関数として規定され得る。

以下に説明するように、点ｘ₀におけるノイズの分散の測定値である数量ｄ（ｘ_０）が導入される。

構造テンソルＪは正の準有限行列であるため、すべてλ_i≧０であり、予め定められた定数σ_max＞σ_min≧０は、したがってカーネルの最大幅および最小幅に対応する。

幅ｗ（λ_i，ｘ₀）が算出されると、その後数式４に従ってすべての点ｘ₀について総和
関数が構成され得る。

各点ｘ₀において構成される総和関数Ｓの基本形態は、ベル型関数、たとえばガウス関数であり、回転行列Ｒおよびスケーリング行列Σを含む。回転行列は、構造テンソルＪの固有ベクトルｅ_iから構成される。

Ｒ＝［ｅ₁ ｅ₂ ｅ₃］
一方、スケーリング行列は以下の形態を有する。

総和関数を離散化した後、結果として得られた総和カーネルが、現在の画素ｘ₀における平滑化ステージの出力輝度ｆ_outを算出するように、各時空間点ｘ₀における原画像ｆ_inに適用され得る。

図２は幅関数の外観を示す。この幅関数の選択によって、小さな固有値に対応する固有ベクトルの方向、すなわち輝度変動が小さい方向において総和関数の幅が大きく、大きな固有値したがって大きな輝度変動に対応する固有ベクトルの方向において幅が小さくなる。

さらに、算出１２は、以下の特徴を有する補助関数Ｇを用いて、現在の点について総和関数Ｓを構成するステップを含み得る。二次元の場合の特徴を示すが、さらに高次元については同様の特徴を考慮すべきである。

１） Ｇは原点において最大値を取らなければならない。すなわち、すべてのｘおよびｙについてＧ（０，０）＞＝Ｇ（ｘ，ｙ）である。

２） Ｇは全方向において減少関数でなければならない。すなわち、｜ｘ₂｜＞｜ｘ₁｜であればＧ（ｘ₂，ｙ）≧Ｇ（ｘ₁，ｙ）、｜ｙ₂｜＞｜ｙ₁｜であればＧ（ｘ，ｙ₂）≧Ｇ（ｘ，ｙ₁）である。

３） Ｇは座標軸に関して等方性でなければならない。すなわち、すべてのｘおよびｙについてＧ（ｘ，ｙ）＝Ｇ（ｙ，ｘ）である。

４） Ｇは各座標軸に関して対称でなければならない。すなわち、すべてのｘおよびｙについてＧ（ｘ，ｙ）＝Ｇ（−ｘ，ｙ）かつＧ（ｘ，ｙ）＝Ｇ（ｘ，−ｙ）である。

補助関数Ｇは、たとえばガウス関数などのベル型関数であり得る。

本発明の一実施形態において、算出１２はさらに、現在処理中の画像データセットの次元にしたがって有限の二次元、三次元または四次元ブロックを構成するように、第１の総和関数Ｓを離散化するステップを含む。数ｎ_s、ｎ_bおよびｎ_fによって範囲が規定され、ｎ_sは各空間的次元に沿った所定の最大画素数であり、ｎ_bは先行する画像データセットの所定の最大数であり、ｎ_fは画像データセットのシーケンスに含まれる後続の画像データセットの所定の最大数である。

算出１２はさらに、総和カーネル内のすべての画素値の全総和が１となるように、総和カーネルの値を正規化するステップを含み得る。

上記の回転およびスケーリングによって、総和関数Ｓは、画像データセットにおける輝度変動にしたがって調整され得る。ゆえに総和関数は、画像シーケンスにおける動作軌跡に対応する時空空間における輝度ストリークに沿って自動的に伸長され得る。したがって、当該方法は、一部の先行技術の方法のように動作軌跡を推定するのに明白な動作推定を用いるのではなく、ある程度自動的にこのような軌跡を得る。当該方法は空間的次元を表
わす軸と、可能性のある時間的次元を表わす軸とを区別しないため、カーネルの形状は、動作軌跡を表わすか否かを考慮することなく、すべての輝度構造に同様に適合する。

本発明の一実施形態において、画像データセットはマルチチャネル画像データセット、たとえばカラー画像データセットであり、

本発明の別の実施形態において、画像データセットはマルチチャネル画像データセット、たとえばカラー画像データセットであり、

本発明のさらなる実施形態において、画像データセットはマルチチャネル画像データセットであり、算出１２は、すべてのチャネルについて別個の総和カーネルを算出するステップを含み、算出１３は、すべてのチャネルについて別個の総和カーネルによる総和を含む。

図３は、画像データセットシーケンスにおいて左から右に移動するグレイの物体の時空間輝度構造を示す図であり、ｔは時間的次元を示し、ｘは空間軸を示す。点Ａおよび点Ｂにおいて、総和カーネル３１はｔ方向およびｘ方向にそれぞれ伸長される。点Ｃにおいて、総和カーネル３１はグレイの輝度構造に沿って伸長され、本実施形態の結果となる。

総和が行なわれる近傍の幅を空間軸および時間軸について対称に変化させることしかできないという制約によって、この場合は画像の白色背景における輝度を概ね含むことになり、輪郭およびエッジがぶれた画像となる。本方法では、一般的な輝度構造に適合するように総和カーネルが自動的に回転および整形される。画像シーケンスの場合、これは、たとえば移動する物体の動作方向に調整された方向に主に沿って総和が行なわれることに繋がり得る。これは、当該方法によれば、結果として得られるノイズが低減した出力画像データセットにおけるブレの量を最小限に抑えつつ、より大きな領域にわたって拡張された総和カーネルを用いて総和を適用することが可能であることを意味する。

局所ノイズに基づく局所適合−ノイズ測定
画像シーケンスにおけるノイズ量は、明度レベルに依存して変化する。本発明の実施形態によれば、アルゴリズムは、同一画像内では空間的に、および／または画像シーケンスにおいては時間的に、光レベルの変化に適合することが望ましいため、上記の幅関数は、本発明の実施形態においては、好ましくは図１のノイズレベルステップ１１０に依存する。この適合は、本発明の実施形態によれば、測定値ｄによって支配される。ノイズレベルについて好ましさの程度が低い選択肢は、幅関数がＳＮＲに適合されることである。

まず、各二次元画像においてノイズが推定される。これは、平滑化画像、たとえば入力
画像を等方的に平滑化したものを原画像から減ずることによって行なわれる。典型的に、適切な標準偏差、たとえば２を有するガウス形カーネルがこの処理に用いられるが、本発明はそれに限定されない。たとえば、いずれかのベル型関数、または考慮対象の画素から離れるにつれて減少するいずれかの関数を用いることができる。これにより、ノイズ画像のシーケンスｆ_n（ｘ）が得られる。等方性時空間平滑化が適用される場合は、動作がノイズ推定において応答を与えるため、この場合は二次元画像が用いられる。測定値ｄは、ｘ₀を中心とする時空間近傍Ωにおけるノイズｆ_nの分散νのスケーリングされた推定である。

スケーリング因子ρは、測定値ｄ（ｘ_０）が幅関数ｗに挿入するのに適切な大きさとなるように、分散ν（ｘ_０）で乗算した定数である。大部分の画像シーケンスに機能する適切なρの値を求めることができる。実験では、ρ＝１／６４が一般に用いられてきた。しかし、ρの推定についての手順を以下に提案する。

スケーリング因子ρについての所定の固定値、たとえばρ＝１／６４で機能する代替例として、スケーリング因子ρの値は、以下に説明するように、たとえばオンザフライ（on
the fly）の実際の画像から推定され得る。画像シーケンスが、ゼロ平均である追加された独立同一分布（ｉ．ｉ．ｄ．）ガウス形ノイズを有する信号としてモデリングされる場合、推定された固有値におけるノイズについて以下のことが言える。

まず、ガウス形フィルタおよび微分フィルタによってシーケンスがフィルタリングされ、あらゆる点におけるシーケンスの傾きを推定する。推定された傾きにおけるノイズは、したがってガウス形でもあるが、異なる分散を有する。構造テンソルは、推定された傾きから算出される。構造テンソルは傾きの外積からなり、テンソルはエレメントに関してフィルタリングされるため、テンソルエレメントはガウス形分布変数の二乗の総和となる。分散νを有するｎ乗のガウス形分布変数の総和は、平均ｎνおよび分散（ｎν）²で分布されるガンマとなる。フィルタリングされたテンソルエレメントにおけるノイズはしたがってガンマ分布され、固有値におけるノイズもそのようになる。

図９において、ある画像についての構造テンソルの２番目に大きい固有値のヒストグラムが点の曲線９０で示される。ガンマ確率密度関数（ＰＤＦ）は２つの独立パラメータに依存し、いずれかの適切な回帰によって、たとえば最小２乗方式でこのようなヒストグラムに適合させることができる。

結果として得られるガンマ分布は、点線の曲線９１で示される。実験によれば、固有値の
ヒストグラムは一般的にガンマ分布によく従うことが分かっている。より一般的には、パラメータ関数はヒストグラムを適合させるのに用いられ得る。

適合によって得られたパラメータ値から、パラメータと全体測定値との間の相関に基づいて、全体測定値ｂが導出され得る。使用されるパラメータ数は２つ以上であり得る。

固有値λ_iにおけるノイズレベルの全体測定値ｂは、平均プラス標準偏差のｎ倍の数、

固有値λ_iのいずれかを用いてｂを算出することができる。３×３構造テンソルを有する時空間の場合は、２番目に大きい固有値がｂの算出に使用されることが多い。

画像におけるグローバルノイズ分散νの推定は、

として算出することができる。

測定値ｂのグローバル分散νに関する大きさは、局所分散ν（ｘ₀）に関する局所測定値ｄ（ｘ₀）の大きさと同じである。これにより、スケーリング因子ρの算出法、ρ＝ｂ／νが与えられる。ここでｂおよびνは画像から推定される。

物体の輪郭のシャープニング
構造テンソルは、非常にノイズの多い入力シーケンスにおいて動作の方向を求めるのに非常に好適である。しかし、構成された総和カーネルの伸長が動作方向と若干ずれる場合がある。これらの場合、移動物体の輪郭が多少ぶれる場合がある。本発明の実施形態において、何らかの高周波増幅フィルタリングを追加して、これらの輪郭をシャープにすることが提案される。高周波増幅フィルタＨは、R. GonzalesおよびR. Woodsによって“Digital Image Processing”, Addison-Wesley, 1992に記載されているように、値２７Ａ−１を有する中心エレメントを除くすべてのエレメントにおいて値−１を有する３×３×３テンソルとして規定される。Ａ＝１．２を用いると最良の結果が得られてきた。完全な平滑
化総和処理後にフィルタを適用すると、負の値および輝度の再スケーリングの問題が起こり、画像シーケンスにおいて全体的な輝度のちらつきが生じることになる。

発明の別の実施形態において、図示しないが、離散高周波増幅フィルタＨを連続関数ｈによって近似することができる。たとえば、

ｈを用いることによって、シャープニング機能を有する総和関数Ｓ_hは、ｈとＳとの間で分析的に畳み込みを行なうことで算出することができる。

Ｓ_h＝Ｓ＊ｈ
数式（７）の例示的な関数を用いると、総和関数Ｓ_hは以下の式によって与えられる。

ここでｘ_r、ｙ_rおよびｔ_rは、先述の回転行列Ｒによって回転された局所座標である。すなわち、

ここで、Ｒは構造テンソルの固有ベクトルから得られる。幅σ_x，σ_yおよびσ_tは、通例どおり幅関数ｗおよび構造テンソルの固有値を用いて算出される。パラメータσおよびρは、関数ｈに由来する。総和関数Ｓ_hの概略的な形態はグローバルに使用され、パラメータσおよびρもグローバルに設定される。

他の総和関数Ｓ_hは、離散シャープニングフィルタを近似するｈの他の選択肢を用いて同様に構成することができる。

総和
本発明の一実施形態では、算出１３は、

を用いることによって、現在処理中の画像データセットの各画素の近傍Ｎにおける輝度の加重輝度値を算出するステップを含む。

本発明の一実施形態において、画像データセットはマルチチャネル画像データセット、たとえばＲＧＢカラー画像データセットであり、

ここで、Ｉ_iは第１のマルチチャネル入力画像データセットＩのチャネルｉにおける画像データセットを表わし、Ｏ_iは第１のノイズ低減マルチチャネル出力画像データセットＯにおける対応チャネルを表わす。

本発明の一実施形態において、画像データセットはマルチチャネル画像データセット、たとえばＲＧＢカラー画像データセットであり、

レンダリング
本発明の一実施形態において、当該方法はさらに、生成された出力画像データセットをディスプレイに表示するためにレンダリングするステップ１５を含む。

レンダリングステップ１５は、各第１のノイズ低減出力画像データセットにおける各画素を、表示用ディスプレイなどの出力ユニットに伝送するステップを含み得る。

記憶
本発明の一実施形態において、記憶ステップ１４は、各第１のノイズ低減出力画像データセットを記憶装置に記憶させるステップを含む。選択的に、各第１のノイズ低減出力画像データセットは、ハードドライブなどの記憶装置に記憶させ得る。

画像安定化
現在処理中の画像データセットは、動作の外乱を含む場合がある。これは、画像データセットを取得するビデオカメラなどの取得ユニットが連続画像データセットを取得しながら揺動または振動しているときの画像データセットの場合であり得る。これらの場合、画像データセットは、この外乱の影響が最小限に抑えられるように処理され得る。この動作の外乱を減少させる周知の技術は画像安定化であり、多くの民生用カメラに実装されている。連続画像を比較することによる画像安定化のための画像処理技術は当該分野において既知であり、当業者によって実施され得る。

本発明の一実施形態において、現在処理中の画像データセットは動作の外乱を含み、当該方法はさらに、画像安定化を行うステップ、図１のステップ１６を含む。画像安定化ステップおよび輝度変換ステップ（下記参照）が行なわれる順序は変更され得る。

輝度変換
現在処理中の画像データセット、画像データセットのシーケンスのうち２つ以上の画像データセット、または画像データセットの全シーケンスが、特にたとえばナイトビジョン画像データセットにおいて低コントラスト領域を含む場合がある。これは、たとえば、画像データセットを低光レベル状態、またはより一般的には低コントラスト状態において取得した結果であり得る。これらの場合、輝度変換を用いて輝度が変換され得る。輝度変換という用語は当業者にとって既知である。

低コントラスト領域を有する画像データセットに対して輝度変換を行なうことによって、一般に、画像データセットの低コントラスト領域における輝度のダイナミックレンジが拡大することになる。たとえば、非常に暗い領域、たとえば平均輝度が非常に低い領域を含む画像データセットにおいては輝度を大幅に増幅させ得る一方、より高い平均輝度を有するより明るい領域では増幅は著しく小さくてもよい。輝度変換後、画像データセットは概してより高いコントラストを有し、示される構造の視認性がより高くなる。しかし、視認性が劣った状態（たとえばナイトビジョン状態などの低光レベル状態）において画像データセットが取得される場合は真の輝度値における不確定性が高いことから、画像データは大量のノイズを含み得る。このノイズは輝度変換中に増幅され得る。その結果、ノイズは画像データセットにおいてさらに一層視認性が高くなり、外乱となる。

本発明の一実施形態において、図４に従って、当該方法はさらに画像データセットにおける輝度の変換４１（４１１、４１２、４１３）を含む。

当該方法の算出１３ステップは概して、変換４１１ステップおよび変換４１２ステップに係る輝度変換の後、または変換４１３ステップに係る輝度変換の前のいずれかにおいて画像データセットにおけるノイズを低減する。

変換４１は、図４の４１１によって示されるように算出１１ステップ、算出１２ステップおよび算出１３ステップの前、図４の４１２によって示されるように算出１１ステップの後であるが算出１２ステップおよび算出１３ステップの前、または図４の４１３によって示されるように算出１１ステップ、算出１２ステップおよび算出１３ステップの後のいずれかにおいて行なわれる。

輝度変換をいつ行なうかについての決定は、総和カーネルの算出１２ステップに影響を与え得る。たとえば、図４の４１２および４１３によって示されるように、変換４１ステップの前に、算出１１ステップにおいて構造テンソル算出を行なうことによって、図４の４１１によって示されるように構造テンソルの算出１１ステップの前に変換４１ステップが行なわれる場合よりも、構造テンソルの固有値が一般にはるかに小さくなる。画像データセットにおける同じ構造が２つの場合において同じ幅の総和関数をもたらすならば、算出１２ステップで用いられる幅関数ｗの減少の峻度を変更することが必要であり得る。幅関数ｗのこの変更は、図１のステップ１１０において、局所ノイズに基づく局所適合−ノイズ測定の節で記載した技術を用いて自動的に行なうことができる。

上記のように、当該方法の輝度変換４１ステップは画像データセットの当初の輝度値を新たな輝度値に変換し得、それによって輝度コントラストが低くダイナミックレンジが小さい領域においてコントラストが増大する。

ここで、Ｉ_Tは変換された画像データセットであり、Ｉは当初の画像データセットである。関数Ｔは、暗い領域または一般には低コントラスト領域を構成する輝度の範囲が、結果として得られる画像データセットにおいて、より一層広いダイナミックレンジにマッピングされるように構成され得る。変換関数Ｔの一例は、図５の滑らかな曲線として示される。このような輝度変換関数Ｔを構成する一方法はヒストグラム等化を用いることによるものであり、画像分析の分野では周知の技術である。現在処理中の画像データセットの輝度変換４１ステップに用いられる関数Ｔの構成は、発明の一部の実施形態において、現在処理中の画像データセットのみを用いて行なわれるか、または画像データセットシーケンスの場合は、現在処理中の画像データセットを、いくつかの先行する画像データセット（最大ｎ_b）および後続の画像データセット（最大ｎ_f）とともに用いて行なわれるかのいずれかである。本発明の一部の実施形態では、画像データセットは小タイルに分割することができ、輝度変換が各タイル内で局所的に行なわれる。これらのタイルは一般に、完全な画像データセットと同数の次元を有する。すなわち、二次元画像データセットを含む画像データセットシーケンスについては、タイルは三次元であり、現在処理中の画像データセット以外に、先行する画像データセット（最大ｎ_b）および後続の画像データセット（最大ｎ_f）も含み得る。この種のコントラスト強調輝度変換およびヒストグラム等化は既知の技術であり、画像分析分野の当業者によって実施され得る。

ＲＧＢ画像データセットなどのマルチチャネル画像データセットに対する輝度変換およびヒストグラム等化のためのさまざまな技術が以前から提案されており、本発明の一実施形態に係る方法の輝度変換ステップ４１において適用され得る。ＲＧＢ画像データセットに対する輝度変換のための適切な技術の１つは、チャネルのうち１つが色の輝度を表わす表示、たとえばＶ（明度）チャネルが輝度を表わすＨＳＶ（色相、彩度および明度）表示に画像データセットを変換するステップを含み、画像データのこのチャネルに対して輝度変換を適用し、他のチャネルは影響を受けないようにする。

本発明の一実施形態において、当該方法はさらに、輝度変換関数によって画像データセットに輝度変換を行い、当該画像データセットの少なくとも一部の輝度値を増大させるステップを含む。

光学的フロー
動いているビデオカメラ、たとえばナイトビジョンカメラによって取得された画像データセットシーケンスの場合、その画像データセットシーケンスにおけるすべての画素は、動いている構造によって概ね占められる。この場合、算出１１は、画像データセットの各画素について、一般に動きベクトルと呼ばれるベクトルを求めることによって輝度構造の測定値を算出するステップを含む。動きベクトルは、現在の画素を、表示された背景において現在の画素と同じ対象点に最も正確に対応する次の画像の画素に結び付ける。これは、たとえば光学的フローフィールドをもたらす光学的フロー推定を用いて行なうことができる。しかし上記のベクトルを算出するための方法が他にあり、すべて本発明の実施形態によって実施され得る。以下において、何らかの形態の光学的フロー推定が適用されると理解すべきである。算出１２は、光学的フローフィールドに基づいて総和関数を算出するステップを次に含む。

光学的フローフィールドおよび光学的フロー推定という用語は、当業者にとって既知で
ある。光学的フローを算出するためのいずれかの方法は、本発明の実施形態によって実施され得る。このような方法は、たとえば限定はしないが、いわゆる光学的フロー制約数式またはいわゆるブロックマッチング法とともに用いられる画像導関数近似を適用するステップを含み得る。ブロックマッチング法は一般に、現在処理中の第１の画像データセットにおける現在処理中の画素の周囲の近傍に最もよくマッチする、次の画像データセットにおける領域を識別する。現在処理中の画素を、最もよくマッチする領域の中心画素に結び付けるベクトルは、現在処理中の画素についての光学的フローベクトルとして規定される。

画像シーケンスは非常にノイズが多い場合があるため、現在処理中の画像の高周波成分は、光学的フロー推定前または推定中に低減され得る。たとえば、低域通過フィルタリングまたは平滑化が適用され得る。これは、たとえば適切な次元数の等方性対称ガウス形カーネル（二次元画像シーケンスについては三次元ガウス形カーネル）による畳み込みによって行なうことができる。一般に、１つまたは２つの画素の範囲における標準偏差がこの処理ステップにおけるガウス形カーネルに適切である。

この実施形態において、算出１２は、上で説明した関数Ｇの特徴に従って補助関数Ｇを構成するステップと、回転行列Ｒを構成するステップとを含む。回転行列は、以下のように構成され得る。

このベクトルは、長さ１に正規化した後、行列Ｒにおいて第１の列ベクトルとして使用される。他の２つの列ベクトルは、第１の列ベクトルに直交する長さ１の１対の直交ベクトルとして選択される。当該ベクトルは、３つの列ベクトルの相対的な配向が、画像データセットの座標が表わされる時空空間における軸の相対的な配向に整合するように選択されるべきである。

本発明の一実施形態において、カメラの動作は純粋な並進動作またはほぼ純粋な並進動作である。この実施形態では、出力フローフィールドが並進フローフィールド、たとえば並進動作の結果である光学的フローフィールドに制約されるように、光学的フロー方法が修正される。追加の選択肢は、フローベクトル（動きベクトル）の長さも予め設定することである。これに続いて、画像データセットにおける完全なフローフィールドについて２つのパラメータ、いわゆる拡張の焦点のみを算出すればよい。拡張の焦点は、画像面に対する、カメラの並進方向の投影に対応する画像データセット面における画素である。カメラが動いている速度と、カメラのモデル（対象点がどのように画像面上に投影されるかについてのモデル）と、画像面の異なる部分における背景の深さの合理的な近似とに関するデータが入手可能であれば、フローベクトルの長さについて有用な事前推定が行なわれ得る。カメラの並進方向に関するデータが入手可能であれば、この情報を付加的に用いて、向上した並進フローフィールド推定を算出し得る。

本発明の別の実施形態では、カメラは車に搭載されており、コンピュータ、たとえば車の速度および運転方向を記憶する機能を有するオンボードコンピュータが車に装備される。この実施形態では、光学的フローベクトルの長さの推定のための速度データが、上記に従ってコンピュータによって取得され得る。カメラのモデルおよび深さの推定とともに、速度および運転方向データも選択的に用いて、並進フローフィールドであるという制約のあるなしに関わらず、合理的な完全な（またはほぼ完全な）フローフィールドを直接推定し得る。

本発明の一実施形態において、輝度構造の測定値の算出１１はさらに、画像データセットのシーケンスの各画像データセットの各画素について、光学的フローベクトル（動きベクトル）を算出するステップを含む。

フォアグランド・バックグランドセグメント化
処理される画像データセットシーケンスが、静止ビデオカメラ、たとえば連続画像データセットの取得中に動かないビデオカメラによって取得される場合、選択的な処理手順が提供される。

本発明の一実施形態において、図６に従って、当該方法はさらに、たとえば等方性対称ガウス形カーネルを用いて畳み込みを行うことによって、第１の画像データセットに対して低域通過フィルタリングまたは平滑化を行なうステップ６１を含む。次元数は、画像データセットの次元数と整合する（二次元画像データセットシーケンスについては三次元ガウス形カーネル）。これにより、第１の画像データセットにおける高周波ノイズが概ね低減し、ノイズが、第１の画像データセットの次のフォアグランド−バックグランドセグメント化におけるフォアグランドの物体すなわち相対的移動物体として分類されることを防ぐ。

本発明の一実施形態において、当該方法はさらに、フォアグランド−バックグランドセグメント化を行なうステップ６２を含み、移動する物体、たとえば歩行者によって占められる画素を識別し、それらの画素をフォアグランド画素として分類する。移動する物体によって占められていないと識別された画素は、バックグランド画素として分類される。現在、この実施形態におけるフォアグランド−バックグランドセグメント化に使用され得るさまざまな既知の方法がある。フォアグランド−バックグランドセグメント化法は、算出１１ステップおよび算出１３ステップと同数の、現在処理中の画像に先行するおよびそれに後続する画像データセットｎ_ｂおよびｎ_ｆを用いることができる。

本発明の一実施形態において、当該方法はさらに、

総和関数Ｓは、総和カーネルの節で挙げたＧの特徴に従って構成される補助関数Ｇによって構成される。さらに、時間座標が時空空間の座標系における最後の座標となる場合、幅行列Σは、

として構成される。パラメータσ_max＞σ_min≧０は、カーネルの最大幅および最小幅に対応する予め定められた定数である。

さらに、本実施形態は、算出１２ステップにおける対応する処理に従って、

フォアグランド−バックグランドセグメント化を実行した後、分類されたフォアグランド画素が算出１１ステップ、算出１２ステップおよび算出１３ステップにおいて処理される。また、シャープニングのための算出１００ステップとカーネルを局所ノイズレベルに適合させるための算出１１０ステップとが図６に示されるように処理に含まれ得る。本発明の一実施形態において、記憶１４ステップは、総和６３からの処理された画像全体またはほぼ全体をノイズが低減した出力画像として記憶するステップと、算出ステップ１１、算出１２ステップおよび算出１３ステップにおいて処理されたすべてのフォアグランド画素について、対応する画素における出力値を、ノイズが低減した第１の出力画像データセットに記憶するステップとを含む。これは、バックグランド画素における総和はステップ６４を行うことによって行なわれ得る一方、フォアグランド画素における総和は、算出１１ステップ、算出１２ステップおよび算出１３ステップによって行なわれることを意味する。本実施形態の利点は特に、静止画像データセットシーケンスにおいて、大きな領域を最も一般的に構成するバックグランド画素が算出ステップ１１、算出１２ステップおよび算出１３ステップを経ず、結果として得られるノイズ低減出力画像データセットの解像度を低下させることなく、当該方法の処理時間を大幅に短縮する点である。

図７に係る本発明の一実施形態において、たとえば、ナイトビジョン画像データセットのシーケンスなどの画像データセットのシーケンスにおけるノイズ低減のための装置７０が提供される。各画像データセットは少なくとも２つの画素を有し、各画素はある輝度値を有する。当該装置は、画像データセットのシーケンスに含まれる第１の画像データセッ
トの各画素について輝度構造の測定値を算出するための第１の算出部７１と、

第１の画像データセットの各画素についての加重輝度値を、ノイズが低減した第１の出力画像データセットの各対応画素についての加重輝度値として記憶するための記憶部７４とを含む。

本発明の一実施形態において、当該装置はさらに、第１の画像データセットの次のシーケンスの画像データセットを第１の画像データセットとして設定するための設定部７５を含む。

本発明の一実施形態において、当該装置はさらに、画像データセットのシーケンスのすべての画像データセットが処理されるまで第１の算出部７１、第２の算出部７２、第３の算出部７３および記憶部７４のタスクを反復するための反復部７６を含む。

本発明の一実施形態において、当該装置は、画像データセットのシーケンスまたは個々の画像データセットを記憶および削除することができる第１のメモリ７７１を含む。

本発明の一部の実施形態において、ある画像データセットが第１のメモリの次の処理に必要ではない場合、たとえば当該画像データセットがｎ_b個の画像データセットよりも多く現在処理中の画像データセットに先行する場合、当該画像データセットは第１のメモリ７７１から削除され得る。したがって各画像データセットの処理は、現在処理中の画像データセットの後続の最大ｎ_f個の画像データセットと、先行するｎ_b個の画像データセットとを必要とする。

本発明の一実施形態において、当該装置はさらに、動作の外乱が画像データセットに存在する場合に画像安定化を行うための画像安定化部７７２を含む。

本発明の一実施形態において、当該装置はさらに、現在処理中の画像データセットの輝度変換７７３１、７７３２、７７３３を行なうための輝度変換部７７３を含む。

本発明の一実施形態において、当該装置はさらに、生成された出力画像データセットをディスプレイ７７５上に視覚化するためにレンダリングするためのレンダリング部７７４を含む。

当該部（位）は、ハードウェア、たとえばメモリを有するプロセッサに存在し得る。プロセッサは、多様なプロセッサのうちのいずれか、たとえばIntelまたはＡＭＤプロセッサ、ＣＰＵ、マイクロプロセッサ、プログラマブル高機能コンピュータ（ＰＩＣ）マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）などであり得る。しかし、本発明の範囲はこれらの特定のプロセッサに限定されない。メモリは、ランダムアクセスメモリ（ＲＡＭ）などの情報を記憶することができるいずれかのメモリ、たとえば倍密度ＲＡＭ（ＤＤＲ、ＤＤＲ２）、単密度ＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、ビデオＲＡＭ（ＶＲＡＭ）などであり得る。メモ
リは、ＦＬＡＳＨメモリ、たとえばＵＳＢ、コンパクトフラッシュ（登録商標）、スマートメディア、ＭＭＣメモリ、メモリスティック、ＳＤカード、ミニＳＤ、マイクロＳＤ、ｘＤカード、トランスフラッシュおよびマイクロドライブメモリなどでもよい。しかし、本発明の範囲はこれらの特定のメモリに限定されない。

本発明の一実施形態において、カメラ、特にたとえばナイトビジョンカメラによって車両周囲の移動物体を検出するために、車両において装置７０が使用される。一例として、カメラは車両の前方方向に配置され、車両の経路上に位置する物体を検出し得る。物体は、動物、またはいずれかの移動する物体もしくは静止物体であり、ナイトビジョン中などの薄暗い状態では人間の目によって発見することが困難である。カメラは装置と表示用ディスプレイとに接続される。本実施形態の大きな利点は、車両の前に存在する動物または人が、ドライバまたは歩行者によって視覚的に検出される前に検出され得る点である。

本実施形態は、自動画像分析技術を用いて、歩行者、動物、交通信号、ラインマーカー等のさまざまな物体を自動的に検出するためのシステムの一部としても使用することができる。ノイズ低減方法は、後の自動画像分析のための事前処理ステップとして機能し、この分析がより一層強固で効率的かつ柔軟になる。

本発明の一実施形態において、装置７０は、実施形態のいずれか１つに規定された方法ステップのすべてを実行するように設けられた部位を含む。たとえば、本発明の一実施形態において、シャープニング７００のための算出部および／またはカーネル７１０を局所ノイズレベルに適合させるための算出部が算出部の１つに含まれ得る、または組込まれ得る。

本発明の一実施形態において、図８に従って、たとえば画像データセットのシーケンスにおけるノイズ低減のためにコンピュータによって処理するためのコンピュータプログラムが実装されたコンピュータ読取可能媒体８０が提供される。各画像データセットは少なくとも２つの画素を有し、各画素はある輝度値を有する。当該コンピュータプログラムは、各画素における推定された輝度導関数に基づいて、画像データセットのシーケンスに含まれる第１の画像データセットの各画素について、輝度構造の測定値たとえば構造テンソルを算出するため、および輝度構造の測定値たとえば構造テンソルの固有分解を行うための第１の算出コードセグメント８１と、

第１の画像データセットの各画素についての加重輝度値を、ノイズが低減した第１の出力画像データセットの各対応画素についての輝度値として記憶する記憶コードセグメント８４とを含む。

本発明の実施形態において、コンピュータプログラムは、総和カーネルが表される局所座標系を回転させるためのさらなる算出コードセグメントを含む。その結果、局所座標系の座標軸は、構造テンソルの固有ベクトルの方向と一致する。固有ベクトルは、画像データセットのグローバル座標系に表される。コンピュータプログラムはさらに、総和カーネルが表される局所座標系の座標軸を、構造テンソルの固有値に関連する量だけ幅関数ｗ（
λ_i）＝σ_iによってスケーリングするためのスケーリングコードセグメントを含む。固有値は、それらの対応する固有ベクトルの方向における輝度変動量に依存する。

本発明の一実施形態において、コンピュータプログラムはさらに、カーネルを局所ノイズレベルに適合させるための算出コードセグメント８１０を含み、図８に示されるように処理に含まれ得る。

本発明の一実施形態において、コンピュータプログラムはさらに、第１の画像データセットの次のシーケンスの画像データセットを第１の画像データセットとして設定するための設定コードセグメント８５を含む。

本発明の一実施形態において、コンピュータプログラムはさらに、画像データセットのシーケンスのすべての画像データセットが処理されるまで第１の算出コードセグメント８１、第２の算出コードセグメント８２、第３の算出コードセグメント８３および記憶コードセグメント８４のタスクを反復するための反復コードセグメント８６を含む。

本発明の一実施形態において、コンピュータ読取可能媒体はさらに、画像データセットデータに動作の外乱が存在する場合に画像安定化を行なうための画像安定化コードセグメント８７１を含む。

本発明の一実施形態において、コンピュータ読取可能媒体はさらに、現在処理中の画像データセットの輝度変換８７２１、８７２２、８７２３を行なうための輝度変換コードセグメント８７２を含む。

本発明の一実施形態において、コンピュータ読取可能媒体はさらに、生成された出力画像データセットをディスプレイ上に視覚化するためにレンダリングするためのレンダリングコードセグメント８７３を含む。

本発明の一実施形態において、コンピュータ読取可能媒体は、コンピュータ処理特性を有する装置によって作動されると実施形態のいずれか１つに規定された方法ステップのすべてを実行するように設けられたコードセグメントを含む。

本発明は、ハードウェア、ソフトウェア、ファームウェア、またはハードウェア、ソフ
トウェアおよびファームウェアのいずれかの組合せを含むいずれかの適切な形態で実施され得る。本発明の一実施形態の要素および部材は、いずれかの適切な方法で物理的、機能的かつ論理的に実現され得る。機能性は、１つの部において、複数の部位において、または他の機能部位の一部として実現され得る。したがって、本発明は、１つの部において実施してもよいし、異なる部位およびプロセッサの間で物理的かつ機能的に分散してもよい。

本発明の上述の実施形態の組合せおよび変更は、本発明が属する分野の当業者によって実施可能である。

本発明に係る上記の実施形態の用途および使用法はさまざまであり、低コントラスト領域を含む画像データセットのダイナミック強調、たとえばノイズ低減が用いられるすべての分野を含む。ノイズの多い低コントラスト画像データセットは、たとえばナイトビジョン状態および／または霧のかかった状態、霞んだ状態、粉塵が多い状態、および降雪状態などの低光状態において、ビデオカメラまたは静止画像カメラを用いて取得される。カメラはたとえば、私的使用のための画像を取得する民生用カメラ、監視目的で使用されるカメラ、工業用検査の目的で使用される撮像装置、さまざまな種類の車両のナビゲーションに使用される撮像装置、またはさまざまな種類の工業用および科学用測定に使用される撮像装置であり得る。特に、カメラはナイトビジョンカメラであり得る。上記の撮像装置は、二次元カメラだけでなく、得られる画像が一般に低コントラストで非常にノイズが多い蛍光顕微鏡などの顕微鏡二次元もしくは三次元撮像装置、またはＭＲ撮像、コンピュータトモグラフィーおよびｘ線撮像などのさまざまな種類の走査装置もしくはトモグラフィー装置などの医療用撮像装置も含む。撮像装置は、マルチチャネル画像データセットを出力する測定機器も含み得る。

特定の実施形態を参照して本発明を上述したが、ここに記載した特定の形態に限定されるものではない。本発明は、添付の請求項によってのみ限定される。

本発明の一部の実施形態は、輝度変換段階とノイズ低減段階とを組合せることが可能であり得る。ノイズ低減段階では、最適またはほぼ最適な時空間的総和カーネルを求めることができ、各点の周囲の加重平均（時空間的総和）を算出するのに使用され得る。この総和カーネルの形状は、どの軸が時間軸であってどの軸が空間軸であるかに留意することなく、時空空間の全体の輝度構造に概ね依存する。時空間輝度構造は、背景における空間構造および画像シーケンスにおけるそれらの動作によって構成され得る。

本発明の一部の実施形態の利点は、一般的に利用可能な方法を用いて、画像データセットの各画素について加重輝度値を算出するのに使用され得る、時空空間における最適またはほぼ最適な総和カーネルを求め得る点である。この加重輝度値の算出によって、ノイズが効果的に低減し、空間的なブレおよび動きのブレの量が最小化され、さらに画像シーケンスにおける一部の輪郭およびエッジがシャープニングされ得る、すなわち出力における解像度が最大化され得る。

本発明の一部の実施形態による別の利点は、低コントラストを有する画像データセット、たとえば非常に薄暗い状態、特にナイトビジョン状態中に得られた画像データセットにおけるノイズを低減することができ、それによってこのような画像データセットにおける視認性を向上させることができる点である。

本発明の一部の実施形態のさらに別の利点は、トリプルチャネルＲＧＢカラーデータなどのマルチチャネル画像データを本発明の実施形態が処理し得るため、画像データセットにおける物体の真の色を保つことができ、したがって出力画像データセットが画像データ
セットにおける物体のすべてまたはほぼすべての色を含む点である。画像データセットまたは画像データセットのシーケンスは、したがって薄暗い状態、たとえばナイトビジョン状態において白色光（４００ｎｍ〜７００ｎｍ）を検出する通常のカメラによって取得され得る。したがって、７００ｎｍを上回る赤外線区間の光を検出するだけの、現在ナイトビジョン状態などの薄暗い状態に使用されているＩＲ検出器に対して明らかに有利である。

本明細書および請求項において、「備える／備え」という用語は、他の要素またはステップの存在を排除するものではない。さらに、個々に列挙したが、複数の手段、要素または方法ステップは、１つの部またはプロセッサによって実現され得る。また、個々の特徴は異なる請求項に含まれ得るが、これらは有利に組合せることが可能であり、異なる請求項に含まれていても、特徴の組合せが実施可能ではないこと、および／または有利ではないことを暗示するものではない。また、単数で言及していても複数を除外するものではない。「ある」、「一」、「第１の」、「第２の」等の用語は、複数を排除するものではない。請求項の参照符号は明確化のための例として示されているに過ぎず、請求項の範囲をいずれの方法でも限定するものと解釈すべきではない。

Claims (44)

1. ナイトビジョン画像データセットのシーケンスを処理するための方法であって、前記シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有し、前記方法は、
   各画素における推定された輝度導関数に基づいて、前記画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出（１１）し、前記構造テンソルの固有分解を行うステップと、
   前記画像データセットの各画素についての前記構造テンソルに基づいて総和カーネルの値を算出するステップ（１２）と、
   前記総和カーネルの値を重みとして用いて、前記画像データセットの各画素について加重輝度値を算出するステップ（１３）と、
   前記画像データセットの各画素についての前記加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するステップ（１４）とを含み、
   前記方法はさらに、
   総和カーネルが表される局所座標系を回転させるステップを含み、その結果、前記局所座標系の座標軸は前記構造テンソルの固有ベクトルの方向と一致し、前記固有ベクトルは画像データセットのグローバル座標系に表され、さらに、
   総和カーネルが表される局所座標系の座標軸を、構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするステップを含み、前記固有値はそれらの対応する固有ベクトルの方向における輝度変動量に依存し、
   幅関数は、
   

   

   であるように各画素におけるノイズレベルに依存する減少関数である、方法。
2. 幅関数は、
   

   

   によって規定される、請求項１に記載の方法。
3. 幅関数は画像データセットのノイズレベルに適合される、先行する請求項のうちいずれか１項に記載の方法。
4. 幅関数をノイズレベルに適合させるステップは、画像データセットにおけるノイズを推定するステップと、幅関数に挿入するのに適切な大きさとなるようにノイズの分散の推定をスケーリングするステップとを含む、請求項３に記載の方法。
5. 分散の推定をスケーリングするステップは、固定のスケーリング因子によって行なわれる、請求項４に記載の方法。
6. 分散の推定をスケーリングするステップは、画像データセットから決定されるスケーリング因子によって行なわれる、請求項４に記載の方法。
7. 次の画像データセットについて前記方法ステップを反復するステップを含む、先行する
   請求項のうちいずれか１項に記載の方法。
8. 前記画像データセットのシーケンスは、二次元、三次元、距離画像もしくはさらに高次元のモノクロームまたはカラー画像データセットを含む、先行する請求項のうちいずれか１項に記載の方法。
9. 構造テンソルの前記算出ステップ（１１）は、
   前記画像データセットがマルチチャネル画像データセットであるとき、各画素の各チャネルについて対応する推定輝度導関数の平均に基づいて構造テンソルを算出するステップを含む、先行する請求項のうちいずれか１項に記載の方法。
10. 前記画像データセットがマルチチャネル画像データセットであるとき、前記画像データセットの各チャネルについて前記構造テンソルを算出するステップをさらに含む、先行する請求項のうちいずれか１項に記載の方法。
11. 前記画像データセットがマルチチャネル画像データセットであるとき、前記画像データセットの各チャネルについて算出された前記構造テンソルの、エレメントに関する平均構造テンソルを算出するステップをさらに含む、先行する請求項のうちいずれか１項に記載の方法。
12. 前記画像データセットがマルチチャネル画像データセットであるとき、前記データセットの各チャネルの値の平均値を用いて前記構造テンソルを算出するステップをさらに含む、先行する請求項のうちいずれか１項に記載の方法。
13. 構造テンソルの前記算出ステップ中または前に前記画像データセットの低域通過フィルタリングを行なうステップをさらに含む、先行する請求項のうちいずれか１項に記載の方法。
14. 構造テンソルの前記算出ステップ（１１）はさらに、
    前記画像データセットのシーケンスの各画像データセットの各画素について動きベクトルを算出するステップを含む、先行する請求項のうちいずれか１項に記載の方法。
15. 輝度変換関数によって前記画像データセットに対して輝度変換を行ない、前記第１の画像データセットの少なくとも一部において輝度コントラストを増大させるステップをさらに含む、先行する請求項のうちいずれか１項に記載の方法。
16. ディスプレイ上に表示するために前記第１の出力画像データセットの各々をレンダリングするステップ（１５）をさらに含む、先行する請求項のうちいずれか１項に記載の方法。
17. フォアグランド−バックグランドセグメント化を行なうステップをさらに含む、先行する請求項のうちいずれか１項に記載の方法。
18. 画像をシャープニングするステップをさらに含む、先行する請求項のうちいずれか１項に記載の方法。
19. 

    を与える高周波増幅フィルタによる総和カーネルの畳み込みによってシャープニングが得
    られる、請求項１８に記載の方法。
20. 離散高周波増幅フィルタを連続関数ｈで近似し、かつ関数ｈによる当初の総和カーネルＳの畳み込みによって新たな総和関数を分析的に算出することによって得られる総和関数Ｓ_hを使用することと、
    

    

    を与える総和関数Ｓ_hを離散化することとによってシャープニングが得られる、請求項１８に記載の方法。
21. ナイトビジョン画像データセットのシーケンスを処理するための装置（７０）であって、前記シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有し、前記装置は、
    各画素における推定された輝度導関数に基づいて、前記画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出し、前記構造テンソルの固有分解を行うための第１の算出部（７１）と、
    前記画像データセットの各画素についての前記構造テンソルに基づいて総和カーネルの値を算出する第２の算出部（７２）と、
    前記総和カーネルの値を重みとして用いて、前記画像データセットの各画素について加重輝度値を算出するための第３の算出部（７３）と、
    前記画像データセットの各画素についての前記加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶部（７４）とを備え、
    前記装置はさらに、
    総和カーネルが表される局所座標系を回転させるための算出部を備え、その結果、前記局所座標系の座標軸は前記構造テンソルの固有ベクトルの方向と一致し、前記固有ベクトルは画像データセットのグローバル座標系に表され、さらに、
    総和カーネルが表される局所座標系の座標軸を、構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするためのスケーリング部を備え、前記固有値はそれらの対応する固有ベクトルの方向における輝度変動量に依存し、
    幅関数は、
    

    

    であるような減少関数である、装置。
22. 幅関数は、
    

    

    によって規定される減少関数である、請求項２１に記載の装置。
23. 次の画像データセットについて上記の方法ステップを反復するための反復部（７６）をさらに備える、請求項２１または２２に記載の装置。
24. 画像データセットのシーケンスのプロセッサによって処理するためのコンピュータプログラムが実装されたコンピュータ読取可能媒体（８０）であって、前記シーケンスは少な
    くとも２つの画像データセットを含み、各画像データセットは少なくとも２つの画素を有し、各画素はある輝度値を有し、前記コンピュータプログラムは、
    各画素における推定された輝度導関数に基づいて、前記画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出するため、および前記構造テンソルの固有分解を行うための第１の算出コードセグメント（８１）と、
    前記画像データセットの各画素についての前記構造テンソルに基づいて、総和カーネルの値を算出するための第２の算出コードセグメント（８２）と、
    前記総和カーネルの値を重みとして用いて、前記画像データセットの各画素について加重輝度値を算出するための第３の算出コードセグメント（８３）と、
    前記画像データセットの各画素についての前記加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶コードセグメント（８４）と、
    総和カーネルが表される局所座標系を回転させるためのさらなる算出コードセグメントとを備え、その結果、前記局所座標系の座標軸は前記構造テンソルの固有ベクトルの方向と一致し、前記固有ベクトルは、画像データセットのグローバル座標系に表され、さらに、
    総和カーネルが表される局所座標系の座標軸を、構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするためのスケーリングコードセグメントを備え、前記固有値は、それらの対応する固有ベクトルの方向における輝度変動量に依存し、
    幅関数は、
    

    

    であるような減少関数である、コンピュータ読取可能媒体。
25. 幅関数は、
    

    

    によって規定される減少関数である、請求項２４に記載のコンピュータ読取可能媒体。
26. 次の画像データセットについて上記のステップを反復するための反復コードセグメント（８６）をさらに備える、請求項２４または２５のうちいずれか１項に記載のコンピュータ読取可能媒体。
27. ナイトビジョン画像データセットのシーケンスを処理するための方法であって、前記シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有し、前記方法は、
    各画素における推定された輝度導関数に基づいて、前記画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出するステップ（１１）と、
    前記画像データセットの各画素についての前記構造テンソルに基づいて総和カーネルの値を算出するステップ（１２）と、
    前記総和カーネルの値を重みとして用いて、前記画像データセットの各画素について加重輝度値を算出するステップ（１３）と、
    前記画像データセットの各画素についての前記加重輝度値を、処理された出力画像デー
    タセットの各対応画素について処理された輝度値として記憶するステップ（１４）とを含み、
    前記方法はさらに、総和カーネルを入力画像に適用すると、入力画像データにおける適切な方向に平滑化が適用されつつ、最も重要な空間的エッジおよび時間的エッジにおいて入力画像のシャープニングが得られるように総和カーネルの値を算出するステップを含む、方法。
28. 平滑化中のシャープニングの実行は、異方性総和フィルタカーネルを高周増幅フィルタによって畳み込むことによって得られる
    

    

    を用いることによって得られる、請求項２７に記載の方法。
29. 平滑化中のシャープニングの実行は、離散高周波増幅フィルタの連続的近似を異方性総和フィルタ関数によって分析的に畳み込み、その結果得られる総和フィルタ関数を離散化することによって得られる
    

    

    を用いることによって得られる、請求項２７に記載の方法。
30. ナイトビジョン画像データセットのシーケンスを処理するための装置（７０）であって、前記シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有し、前記装置は、
    各画素における推定された輝度導関数に基づいて、前記画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出するため、および前記構造テンソルの固有分解を行うための第１の算出部（７１）と、
    前記画像データセットの各画素についての前記構造テンソルに基づいて総和カーネルの値を算出するための第２の算出部（７２）と、
    前記総和カーネルの値を重みとして用いて、前記画像データセットの各画素について加重輝度値を算出するための第３の算出部（７３）と、
    前記画像データセットの各画素についての前記加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶部（７４）とを備え、
    第２の算出部は、総和カーネルを入力画像に適用すると、入力画像データにおける適切な方向に平滑化が適用されつつ、最も重要な空間的エッジおよび時間的エッジにおいて入力画像のシャープニングが得られるように総和カーネルの値を算出するように適合される、装置。
31. 第２の算出部は、異方性総和フィルタカーネルを高周増幅フィルタによって畳み込むことによって得られる
    

    

    を用いてシャープニングを行うように適合される、請求項３０に記載の装置。
32. 第２の算出部は、離散高周波増幅フィルタの連続的近似を異方性総和フィルタ関数によって分析的に畳み込み、その結果得られる総和フィルタ関数を離散化することによって得られる
    

    

    を用いることによってシャープニングを行うように適合される、請求項３０に記載の装置。
33. ナイトビジョン画像データセットのシーケンスを処理するための方法であって、前記シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有し、前記方法は、
    各画素における推定された輝度導関数に基づいて、前記画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出（１１）し、前記構造テンソルの固有分解を行うステップと、
    前記画像データセットの各画素についての前記構造テンソルに基づいて総和カーネルの値を算出するステップ（１２）と、
    前記総和カーネルの値を重みとして用いて、前記画像データセットの各画素について加重輝度値を算出するステップ（１３）と、
    前記画像データセットの各画素についての前記加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するステップ（１４）とを含み、
    前記方法はさらに、
    総和カーネルが表される局所座標系を回転させるステップを含み、その結果、前記局所座標系の座標軸は前記構造テンソルの固有ベクトルの方向と一致し、前記固有ベクトルは画像データセットのグローバル座標系に表され、さらに、
    総和カーネルが表される局所座標系の座標軸を、構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするステップを含み、前記固有値はそれらの対応する固有ベクトルの方向における輝度変動量に依存し、
    幅関数は画像データセットのノイズレベルに適合される、方法。
34. 幅関数をノイズレベルに適合させるステップは、画像データセットにおけるノイズを推定するステップと、幅関数に挿入するのに適切な大きさとなるようにノイズの分散の推定をスケーリングするステップとを含む、請求項３３に記載の方法。
35. 分散の推定をスケーリングするステップは、固定のスケーリング因子によって行なわれる、請求項３４に記載の方法。
36. 分散の推定をスケーリングするステップは、画像データセットから決定されるスケーリング因子によって行なわれる、請求項３４に記載の方法。
37. ナイトビジョン画像データセットのシーケンスを処理するための装置（７０）であって、前記シーケンスは、各々が少なくとも２つの画素を有する少なくとも２つの画像データセットを含み、各画素はある輝度値を有し、前記装置は、
    各画素における推定された輝度導関数に基づいて、前記画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出し、前記構造テンソルの固有分解を行うための第１の算出部（７１）と、
    前記画像データセットの各画素についての前記構造テンソルに基づいて総和カーネルの値を算出するための第２の算出部（７２）と、
    前記総和カーネルの値を重みとして用いて、前記画像データセットの各画素について加重輝度値を算出するための第３の算出部（７３）と、
    前記画像データセットの各画素についての前記加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶部（７４）と
    を備え、
    前記装置はさらに、
    総和カーネルが表される局所座標系を回転させるための算出部を備え、その結果、前記局所座標系の座標軸は前記構造テンソルの固有ベクトルの方向と一致し、前記固有ベクトルは画像データセットのグローバル座標系に表され、さらに、
    総和カーネルが表される局所座標系の座標軸を、構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするためのスケーリング部を備え、前記固有値はそれらの対応する固有ベクトルの方向における輝度変動量に依存し、幅関数は画像データセットのノイズレベルに適合される、装置。
38. 画像データセットのシーケンスのプロセッサによって処理するためのコンピュータプログラムが実装されたコンピュータ読取可能媒体（８０）であって、前記シーケンスは少なくとも２つの画像データセットを含み、各画像データセットは少なくとも２つの画素を有し、各画素はある輝度値を有し、前記コンピュータプログラムは、
    各画素における推定された輝度導関数に基づいて、前記画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出するため、および前記構造テンソルの固有分解を行うための第１の算出コードセグメント（８１）と、
    前記画像データセットの各画素についての構造テンソルに基づいて、総和カーネルの値を算出するための第２の算出コードセグメント（８２）と、
    前記総和カーネルの値を重みとして用いて、前記画像データセットの各画素について加重輝度値を算出するための第３の算出コードセグメント（８３）と、
    前記画像データセットの各画素についての前記加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶コードセグメント（８４）とを備え、
    第２の算出コードセグメントは、総和カーネルを入力画像に適用すると、入力画像データにおける適切な方向に平滑化が適用されつつ、最も重要な空間的エッジおよび時間的エッジにおいて入力画像のシャープニングが得られるように総和カーネルの値を算出するように適合される、コンピュータ読取可能媒体。
39. 第２の算出コードセグメントは、異方性総和フィルタカーネルを高周増幅フィルタによって畳み込むことによって得られる
    

    

    を用いることによってシャープニングを行うためのコードを含む、請求項３８に記載のコンピュータ読取可能媒体（８０）。
40. 第２の算出コードセグメントは、離散高周波増幅フィルタの連続的近似を異方性総和フィルタ関数によって分析的に畳み込み、その結果得られる総和フィルタ関数を離散化することによって得られる
    

    

    を用いることによってシャープニングを行うためのコードを含む、請求項３８に記載のコンピュータ読取可能媒体（８０）。
41. 画像データセットのシーケンスのプロセッサによって処理するためのコンピュータプログラムが実装されたコンピュータ読取可能媒体（８０）であって、前記シーケンスは少なくとも２つの画像データセットを含み、各画像データセットは少なくとも２つの画素を有し、各画素はある輝度値を有し、前記コンピュータプログラムは、
    各画素における推定された輝度導関数に基づいて、前記画像データセットのシーケンスに含まれる画像データセットの各画素について構造テンソルを算出するため、および前記構造テンソルの固有分解を行うための第１の算出コードセグメント（８１）と、
    前記画像データセットの各画素についての前記構造テンソルに基づいて、総和カーネルの値を算出するための第２の算出コードセグメント（８２）と、
    前記総和カーネルの値を重みとして用いて、前記画像データセットの各画素について加重輝度値を算出するための第３の算出コードセグメント（８３）と、
    前記画像データセットの各画素についての前記加重輝度値を、処理された出力画像データセットの各対応画素について処理された輝度値として記憶するための記憶コードセグメント（８４）と、
    総和カーネルが表される局所座標系を回転させるためのさらなる算出コードセグメントとを備え、その結果、前記局所座標系の座標軸は前記構造テンソルの固有ベクトルの方向と一致し、前記固有ベクトルは画像データセットのグローバル座標系に表され、さらに、
    総和カーネルが表される局所座標系の座標軸を、構造テンソルの固有値に関連する量だけ幅関数ｗ（λ_i）＝σ_iによってスケーリングするためのスケーリングコードセグメントを備え、前記固有値は、それらの対応する固有ベクトルの方向における輝度変動量に依存し、幅関数は画像データセットのノイズレベル比に適合される、コンピュータ読取可能媒体。
42. 先行する請求項のうちいずれか１項に記載の方法、装置またはコンピュータ読取可能媒体の、車両、ロボット、ビデオカメラ、監視システムまたは製造システムにおける使用法。
43. 請求項１から４１のいずれか１項に記載の方法、装置またはコンピュータ読取可能媒体の、車両のナイトビジョンシステムへの使用法。
44. 請求項１から４１のうちいずれか１項に記載の方法、装置またはコンピュータ読取可能媒体の、車両付近の物体を検出および／または分析するための使用法。

Images