JP2009515467A - 画像の改善 - Google Patents

Abstract

本文においてＬＦ画像と称する、空間ローパスフィルタ処理された画像を、ビデオカメラのビデオ出力から得る方法。ビデオカメラはセンサアレイを備え、本文において生画像と称する、画素化された２Ｄ画像の形の連続したビデオフレームを生成可能である。生画像は各々、第１の所定数のピクセル行と第２の所定数のピクセル列とを有する。本方法は、生画像すなわちセンサ画像から、リアルタイムでＬＦ画像（すなわち、上記の２Ｄ画像の低空間周波数成分のみを含む画像）を生成する工程を含む。本方法は、センサアレイを１行ずつ走査し、本文においてＬＦ値と称する、上記のＬＦ画像の各ピクセルの値を、以下の方法で求めることを特徴とする。すなわち、あるピクセルのＬＦ値は、少なくとも、現在の行と既に走査したすべての行の、既に走査済みのあらゆるピクセルに依存する。しかし、現在の行より下の、第３の所定数の行であるピクセル行より下の行のピクセルには依存しない。第３の所定数は、第１の所定数より著しく小さく、例えば第１の所定数の１／５より小さい。

Description

本発明は画像化手段、とりわけ、電子画像化手段からの画像の改善に関するものであるが、これに限定されず、ピクセルの行および列のアレイの形をとり、各ピクセルの輝度すなわち各ピクセルの輝度成分を、例えばデジタル値で数字表示できるような画像の改善に関するものである。本発明は、とりわけ、一連の瞬間的に表示される画像またはフレームにより、公知の方法で動画シーンが表示されるビデオ画像の改善に関する。

本発明の特に好適な実施形態は、車両用赤外線画像装置に関する。本装置では、例えばフロントバンパまたはフロントガラスの後ろなど、車両の前面に取り付けられた赤外線カメラが、車両前面の領域を赤外線で観察し、それに対応するビデオ信号を生成する。このビデオ信号は、処理された後、ドライバから見える表示器を駆動するために用いられ、これによりドライバは、可視光では視界不良な状態、例えば夜および／または強い雨もしくは霧の中にあっても、前方の道をより明瞭に見ることができ、とりわけ、歩行者や動物などの温度のある物体を見ることができる。

上述の類の車両用赤外線ビデオシステムの開発において、出願人はある諸問題に遭遇した。このような問題の１つの群は、比較的小さい、すなわち緩やかな輝度勾配の形をとるアーチファクトが最終画像に発生することである。

本発明は、ある観点によれば、このようなアーチファクトを除去しまたは最小化する画像改善方法および画像改善装置を提供することを目的とする。

本発明のこの観点によれば、本文においてＬＦ画像と称する、空間ローパスフィルタ処理された画像を、ビデオカメラのビデオ出力から得る方法が提供される。ビデオカメラはセンサアレイを備え、本文において生画像と称する、画素化された２Ｄ画像の形の連続したビデオフレームを生成可能である。個々の生画像は、第１の所定数のピクセル行と第２の所定数のピクセル列とを有する。本方法は、生画像すなわちセンサ画像から、ＬＦ画像（すなわち、上記の２Ｄ画像の低空間周波数成分のみを含む画像）をリアルタイムで生成する工程を含む。本方法は、センサアレイを１行ずつ走査し、本文においてＬＦ値と称する、上記のＬＦ画像の各ピクセルの値を、以下の方法で求めることを特徴とする。すなわち、あるピクセルのＬＦ値は、少なくとも、現在の行と既に走査したすべての行の、既に走査済みのあらゆるピクセルに依存する。しかし、現在の行より下の、第３の所定数の行であるピクセル行より下の行のピクセルには依存しない。第３の所定数は、第１の所定数より著しく小さく、例えば第１の所定数の１／５より小さい。

各ピクセルはそれに対応するそれぞれの輝度値を有するため、本方法は、好ましくは、次の工程を含む。すなわち、リアルタイムで、上記生フレーム画像の各々に対する上記輝度値から、対応する低空間周波数成分画像の一連の値を求める工程を含む。この工程では、ピクセル行を順番に処理する操作を行い、この操作では、各ピクセル行は、１ピクセルずつ処理され、生画像の各ピクセル行に対して、一連の第１引出値が発生し、第１引出値の各々は、その行のそれぞれのピクセルに対応していて、第１引出値の各々は、生画像の対応するピクセルの値に依存していて、生画像の、少なくとも１つの隣接する前のピクセルに対応する第１引出値にも依存している。また、上記第１引出値から、それぞれ、第２引出値（本文においてＬＦ値とも称する）を発生させ、第２引出値の各々は、生画像のそれぞれのピクセルに対応していて、第２引出値の各々は、そのピクセルに対応する上記第１引出値に依存していて、その画像の、同一の列の少なくとも１つの隣接するピクセルに対応する上記第２引出値にも依存している。しかし、前に処理されたピクセル行では、上記第２引出値（ＬＦ値）は、上記低空間周波数成分画像の対応するピクセルに対する架空の輝度値を構成する。

好ましくは、上記低周波数成分画像は、上記生画像から、生画像の各ピクセル行に対して、一連の第１引出値を発生させることによって求めるとよい。第１引出値の各々は、その行のそれぞれのピクセルに対応していて、第１引出値の各々は、生画像の対応するピクセルの値に依存していて、生画像の、少なくとも１つの隣接するピクセルに対応する第１引出値にも依存している。また、上記第１引出値から、それぞれ、第２引出値（本文においてＬＦ値とも称する）を発生させ、第２引出値の各々は、生画像のそれぞれのピクセルに対応していて、第２引出値の各々は、そのピクセルに対応する上記第１引出値に依存していて、その画像の、同一の列の少なくとも１つの隣接するピクセルに対応する上記第２引出値にも依存している。ここでは、上記第２引出値（ＬＦ値）は、上記低空間周波数成分画像の対応するピクセルに対する架空の輝度値を構成する。

本発明の別の観点によれば、画像装置は、各々が画素化された２Ｄピクセルアレイの形の連続したフレームを出力するビデオカメラと、上記出力から、上記方法により、それぞれの改善された画像フレームをリアルタイムで求める処理手段と、カメラが捉えるシーンに対応する改善されたビデオ映像をリアルタイムで表示する表示手段とを含む。

当該赤外線ビデオ装置の開発において遭遇する他の問題は、赤外線ビデオカメラ自体の操作および車両からの熱により、窓（例えば、要素からの保護のために備えられている）、すなわちこれを通してカメラが前方シーンを見る窓が周囲より高い温度に加熱され、雨と、この窓、すなわちこれを通してカメラがシーンを見る加熱された窓との組み合わせにより、連続したビデオフレームに「フラッシュ」が生成されてしまうことである。かかるフラッシュは、当該カメラによるシーンラスタ方式の走査から求められた電気信号におけるＤＣ（直流）レベルの突然変化に対応した、全体の輝度レベルにおける突然の変化となる。これにより、ＩＲ（赤外線）カメラが車両の前部に取り付けられる場合、もし、窓、すなわちこれを通してカメラが前方シーンを見る加熱された「窓」に水しぶきが当たると、水は加熱され、（カメラは加熱された水も「見る」ため、）画像の平均強度はより高くなる。この問題は（比較的）安定した背景輝度レベルに対応する、本文においてＤＣ成分と称するものを除去することにより軽減される。

本発明の別の観点によれば、次の方法を提供することにより、この問題を軽減することを目的とする。本方法では、各フレームについて、改善されたフレームの全体輝度を、対応する改善される前のフレームに対する全体輝度と、先行する改善されたフレームの全体輝度との差に応じて、所定のファクタにより、減少または増加させる。

本発明の実施形態を、添付図面を参照しながら、以下、説明する。

図面を参照すると、車両用赤外線ビデオシステムは、例えば車両のボンネットまたはフロントバンパ上などの車両の前部に取り付けられ、赤外線透過窓によって周辺環境から保護された赤外線カメラ１０を備えている。赤外線カメラ１０は、公知の方法により、処理手段１４へ電気信号を提供する。これらの信号は、カメラに形成された画像の、それぞれのピクセルすなわち画素のそれぞれの瞬間輝度値をデジタルで表示する。かかる画像は、公知の方法により、ピクセルのアレイ、すなわち行および列として扱われる。カメラ１０は、例えば、１秒あたり複数の２Ｄフレームを提供可能であり、各フレームは、かかるピクセルの行および列を含む、ピクセルの２Ｄ（２次元）アレイを備えている。

処理手段１４は、以下に述べる方法により、信号または少なくともこれらの信号に含まれる情報を処理し、駆動信号をビデオ表示器１６に提供し、表示器１６は、カメラによって赤外線で見えたシーンの改善版を可視化して見る者に提示する。

上述した赤外線ビデオシステムに、本発明の主題である画像改善技術が備えられていなければ、先に述べた問題が生じる。すなわち、もしカメラが車両前部に取り付けられ、もしカメラの熱を帯びた窓１２に水しぶきが当たると、水は加熱され、カメラによる画像「シーン」の平均強度が急に上昇する。この問題は上記のようにビデオ信号の「ＤＣ成分」を除去することにより軽減され、下記の空間ハイパスフィルタによっても軽減される。

従来の方式では、画素化画像の改善は、フィルタまたは大型ガウス核による、画像の「畳み込み」により行われる。核が大きい程、より多くのローパス成分が除去される。大型核は計算上厳しい要求がなされる。計算をスピードアップする１つの方法は、核を平均的な核とすることである。しかし、このような核を使用する畳み込み技術は、経済的に利用可能な電子メモリが制限されているため、とりわけ、上記のように１秒当たり３０フレームで通常提供される画像処理に利用できる時間が制限されていて、車両用ビデオシステムには適さない。

以下に述べる本発明の実施形態は、ローパス画像の計算を高速に行う方法として伝播則を利用する。この考えは基本的には行をフィルタリングし、次に列を前後にフィルタリングする。行を左から右へ処理する場合、以下の伝播ルールが使用される。
ｆ_ｌｐ（ｘ，ｙ）＝（１−ｃ）＊ｆ（ｘ，ｙ）＋ｃ＊ｆ_ｌｐ（ｘ−１，ｙ） （１）
ここでｆ_ｌｐは画像ｆで初期化され、ｃは伝達係数と呼ばれ、０〜１の範囲の値である。値０は画像を全く変化させず、値１は全伝播中、開始ピクセルを保つ。各行／列を２回フィルタリングする要点はゼロフェーズを保つことである。

好適な実施形態では、ピクセル行を両方向へフィルタリングするが、ピクセル列はそのようにフィルタリングしない。ピクセル列は、行を処理中に下へフィルタリングする。しかしこれはフィルタリングされる列にフェーズシフトを起こし、これは水平縁部にアーチファクトを起こす。しかし、フィルタの主目的は非常に「滑らかな」画像を作成することであり、上記のものは未だ、下方に少しシフトされただけの結果にすぎない。

本手順を以下に述べる３つのパスの項で述べる。

結果として生じるローパス画像は、次に生画像から差し引いて、ハイパス画像を得る。

好適な実施形態では、カメラからの生データは、各ピクセルに対し１４ビット２進数としてデジタルで表示される輝度値からなる。表示される最終画像は元の画像とハイパス画像の組み合わせである。

フィルタ出力を急激なヒストグラム変化（雨降り）に強くするため、ＤＣレベルをローパスフィルタ処理する。

赤外線カメラは、公知の方法で、所定数の行および列からなるグレースケール画素化画像として、各フレーム（１秒当り３０フレーム）を効果的に生成する。カメラ１０はデジタル電子信号により、処理されるビデオフレームの各ピクセルに対応するそれぞれの輝度値からなるデータを処理装置１４へ提供する。

操作では、カメラ１０は走査ラスタにより効果的に作動し、ここで連続したピクセル行の輝度データをカメラから処理手段１４へ１行ずつ供給する。しかし以下で指摘するように、処理手段１４は、そのフレームを処理する前にフレームの全ピクセルに対する輝度値を記憶し、そして表示器１６用駆動回路へフレーム順に処理データを供給する。赤外線カメラは、公知の方法で、所定数のピクセルの行および列からなるグレースケール画素化画像として、各フレーム（１秒当たり３０フレームで）を効果的に生成することが理解できる。カメラ１０はデジタル電子信号により、処理されるビデオフレームの各ピクセルに対するそれぞれの輝度値からなるデータを処理装置１４へ提供する。

図２Ａ、図２Ｂおよび図２Ｃは、生画像からの低空間周波数成分画素化画像の引き出しを概略的に示す。

上記のように、カメラは処理手段１４へ連続したピクセル行の輝度データを１ピクセル行ずつ供給する。これにより、例えば各フレームにおいて、画像上部の行データを最初に処理手段１４へ供給し、次に下の行のデータ等を最下行まで供給し、その後次のフレームの走査が始まる。一般に、各ピクセル行のデータは同様の手順で、行の一端から他端へピクセル順にプロセッサ１４へ供給される。

上記のように、そして後に説明するように、装置の作動において、カメラ１０からの各ビデオフレームを、一時に１フレームずつ、処理手段１４へ記憶する。こうして、与えられた時刻ｔで、処理手段１４のメモリに、与えられたビデオフレームの各ピクセルの生輝度値を記憶する。処理手段１４は、図２Ａ、図２Ｂおよび図２Ｃに関し、以下に述べるようにこのデータを処理する。これら図面は、処理手順の第１パスであるパス１、第２パスであるパス２、第３パスであるパス３を、それぞれ図示する。

第１パス（パス１）では、本文において中間引出値と称する各値を、概念的対応部分の各ピクセルに対し求める。これは、処理されるビデオフレームの図２Ａに図示するように、次式による。
パス１：
ｆ_Ｌ１（ｘ，ｙ）＝（１−ｃ_ｘ）＊ｆ（ｘ，ｙ）＋ｃ_ｘ＊ｆ_Ｌ１（ｘ−１，ｙ） （２）
反復処理にて、その行の連続したピクセルの中間引出値がこの式で計算される。ここでｆ_Ｌ１（ｘ，ｙ）は、対象となる行ｙに沿ったｘ番目の位置のピクセルに対して求められた中間値である。ｆ（ｘ，ｙ）は、これに関連するピクセルの生画像値である。ｆ_Ｌ１（ｘ−１，ｙ）は、その行を上記の一方向に数えたｘ−１番目のピクセルに対して、本手順における前回の反復処理にて求められた中間値である。そしてｃ_ｘは、１より小さい一定の伝達係数である。このように、前回のｘを新しい（ｘ−１）として本手順を反復し、処理されるピクセル行の最終生ピクセル値に到達するまで繰り返す。

このパス１では、処理は、図２Ａの矢印で示したように、ピクセル行に沿って第一方向に効果的に進行する。第２パスでは、同様の反復処理がパス１の結果として得られる行ｙに対する値について実施される。しかし、図２Ｂに矢印で示すように、行に沿って反対方向に進行し、図２Ｂの行ｙに示した結果の値は、本文において第１引出値と称する。パス２は次式により実行される。
ｆ_Ｌ２（ｘ，ｙ）＝
（１−ｃ_ｘ）＊ｆ_Ｌ１（ｘ，ｙ）＋ｃ_ｘ＊ｆ_Ｌ２（ｘ＋１，ｙ） （３）
ここでｆ_Ｌ２（ｘ，ｙ）は、対象となる行ｙに沿って、上記の一方向に数えたｘ番目の位置のピクセルに対する第１引出値であり、ｆ_Ｌ１（ｘ，ｙ）は、これに関連するピクセルに対する中間値であり、ｆ_Ｌ２（ｘ＋１，ｙ）は、第一方向に数えて、その行のｘ＋１番目のピクセルに対するパス２の前回の反復処理で求められた第１引出値である。

次のパス３の結果として、図２Ｃに示すように、本文において第２引出値と称する、対応する他の一連の値を計算する。第２引出値の各値は、図２Ｃにそれぞれ四角いセルで表示された元のフレームの概念的対応部分のそれぞれのピクセルに対応する。パス３は次式により実行される。
ｆ_Ｌ３（ｘ，ｙ）＝
（１−ｃ_ｙ）＊ｆ_Ｌ２（ｘ，ｙ）＋ｃ_ｙ＊ｆ_Ｌ３（ｘ，ｙ−１） （４）
ここで、ｆ_Ｌ３（ｘ，ｙ）は、対象となる行ｙに沿ったｘ番目の位置のピクセルに対する第２引出値であり、ｆ_Ｌ２（ｘ，ｙ）は、これに関連するピクセルに対する第１引出値であり、そしてｆ_Ｌ３（ｘ，ｙ−１）は、その前のｙ−１行のｘ番目、しかし同一列のピクセルに対する、本手順における前回の反復処理で求められた第２引出値である。ｃ_ｙもまた、０と１の間の調整パラメータである。

パス３の結果として得られる第２引出値は、次の処理段階へ送られ、ここで各第２引出値は、次式により計算される。
ｆ_ｏｕｔ（ｘ，ｙ）＝
ｆ（ｘ，ｙ）−β（ｆ_Ｌ３（ｘ，ｙ）−ＤＣ_ｆ（ｔ））+γ＊ＤＣ_residual （５）
ここでＤＣ_ｆ（ｔ）は現在の入力画像の平均である。
ＤＣ_residual＝ＤＣ_ｏｕｔ（ｔ）−ＤＣ_ｆ（ｔ）
ＤＣ_ｏｕｔ（ｔ）＝（１−λ）＊ＤＣ_ｏｕｔ（ｔ−１）＋λ＊ＤＣ_ｆ（ｔ）
ここでｆ_ｏｕｔ（ｘ，ｙ）は、改善された画像におけるｘ，ｙピクセルに対する改善ピクセル値であり、ｆ（ｘ，ｙ）は対応する生ピクセル値であり、ＤＣ_ｆは現在のフレームに対する平均輝度値であり、そしてＤＣ_ｏｕｔ（ｔ−１）は、前のフレームに対するＤＣ_ｏｕｔの計算値である。

パラメータβは縁部がどの程度改善されるかを決定する。値１は完全なハイパス画像を作成する。パラメータγはフラッシュ補正がどの程度強いかを制御する。フラッシュ補正の適用率はλにより決定される。βとγをシーン情報（ダイナミックレンジ）へリンクさせるのが合理的である。

式２（パス１）の手順を適用して得られる中間引出値は、パス２（式３）を適用することなく、パス３により計算されるそれぞれの第２引出値として、使用可能である。しかし、もしこれを行うと、表示器１６により最終的に表示される画像は、ある望ましくないアーチファクトを有することとなり、これは、画像の垂直縁部の歪みとして現れる。

パス２およびパス３を実施する順序は、逆にしてもよい。もしパス２を適用しないならば、パス１とパス３を実施する順序を反対にしてもよい。

式４（パス３）の処理を行うと、表示画像の水平縁部の連続した同様の歪みを生じるおそれがあるが、この歪みは、水平面の操縦を容易にするためのシステムにおいては、さほど問題とならない。しかし、望ましくは、かかる歪みは、図２Ｃにより表示される、すなわちパス３の結果として得られる、概念的ピクセル画像の複数の連続したピクセル行に対するピクセル値に、上記パス２に対応する反復手順を適用することにより、軽減するとよい。ただしこのとき、ピクセル行に沿うより、むしろピクセル列を上へ進行するとよい。しかし、この手順は処理負荷を増加させ、メモリ容量を必要とする。処理およびメモリの要求を最小化するため、本方法のそれぞれのパスで処理される行の数は、好ましくは、フレーム画像（および無論、現在処理中のピクセル行を含む）のピクセル行の数より、著しく少なくするのがよい。

図３のブロック図は、好適な実施形態における処理装置１４の機構を概略的に示す。

本実施形態では、カメラ１０は処理手段１４のメモリＭ１（例えばフラッシュメモリ）へ記憶すべき生ピクセル値を、ピクセル値ごとに処理手段１４へ供給する。

メモリＭ１は、１行につきｗ個のピクセルをｈ行含むビデオフレーム全体の各々のピクセル値に対し、十分な容量を有する（ここでｈは１つのフレームのピクセル行の数であり、ｗは各行のピクセルの数である）。カメラからの入力ピクセル値は、時刻ｔにおいて、現在のフレームに対するピクセル値のすべてがメモリＭ１内に記憶されるまで、メモリＭ１に記憶される。

メモリＭ１のすべての値は次に、装置１４のプロセッサ部（図３に概略的に示す）により順に読み出され、とりわけメモリＭ１のすべてのｆ（ｘ，ｙ）の平均値ＤＣ_ｆ（ｔ）を計算し、メモリＭ２にこの値を記憶する。次にパス１でメモリＭ１と他のメモリＭ３からの値を使用して中間引出値ｆ_Ｌ１（ｘ，ｙ）を計算し、これらの値をメモリＭ３へ記憶する。現在の行のすべてのピクセルをパス１により処理し、それぞれの値をＭ３へ記憶すると、その行の最後のピクセル値ｆ_Ｌ１（ｘ，ｙ）がパス２の手順により処理される。

最後のピクセルについて、ｆ_Ｌ２（ｗ，ｙ）＝ｆ_Ｌ１（ｗ，ｙ）である。この値をメモリＭ４へ入れる。次の最後のピクセルへパス２を適用する前に、パス３とパスＨＦ＋ＤＣの両方を最後のピクセルに適用する。

次の最後のピクセルに対するパス２は、式（３）を使用して、ｆ_Ｌ２（ｗ−１，ｙ）を生成する。この値はメモリＭ４へ入れて、先のｆ_Ｌ２（ｗ，ｙ）の値に上書きする。パス２を（ｗ−２，ｙ）ピクセルへ適用する前に、再度、パス３とパスＨＦ＋ＤＣを（ｗ−１，ｙ）ピクセルに適用する。

パス３はメモリＭ４とメモリＭ５からの値を使用して、式４により計算を行う。その結果のｆ_Ｌ３（ｘ，ｙ）（第２引出値）がＭ５の後部へ入れられ、処理が次の行へ到達した時に使用される。パス３からの結果も、式（５）によるパスＨＦ＋ＤＣにて、直接使用される。

パスＨＦ＋ＤＣは最初に、メモリＭ２からのＤＣ_ｆ（ｔ）とメモリＭ６の古い値ＤＣ_ｏｕｔ（ｆ−１）とを使用して、メモリＭ６へ入れられるＤＣ_ｏｕｔ（ｔ）を計算する。次に、パス３、メモリＭ１、Ｍ２およびＭ６からの値を使用して、ｆ_ｏｕｔ（ｘ，ｙ）を計算する。その結果を対応するｆ（ｘ，ｙ）の値に上書きして、メモリＭ１へ入れる。

すべてのピクセルに対するｆ_ｏｕｔ（ｘ，ｙ）をメモリＭ１へ入れた後、これらの値すべてを表示器へ伝送する。上述のように、メモリＭ１の対応する生値へ上書きを行う方式は、メモリの使用上経済的である。

メモリＭ１からの値ｆ_ｏｕｔ（ｘ，ｙ）は、直接表示器へ送ることなく、表示器へ転送する前に別の処理装置へ送ってもよい。この別の処理装置は画像を分析し、関係する目標物を認識し、表示器にて強調表示してもよい。処理装置は、もしたまたま表示機がカメラセンサと同一数または配置のピクセルを有していなくても、フィルタ処理された画像をより小型の寸法に描画してよい。あるいは、もし表示器が、たまたま例えば８ビット輝度値を扱う構成であり、一方製品１４からの対応する値が、例えば１４ビット値である場合、この別の処理装置は、これらが表示器へ転送される前に、輝度値の適切な変換を行ってよい。

上記のようにメモリＭ１はｗ×ｈの値の容量を有する一方、メモリＭ３およびＭ５は、１行のピクセル値の容量を有し、メモリＭ２、Ｍ４およびＭ６は１ピクセルの容量しか必要としない。

以上の通り、ピクセル行の処理を考察すると、例えばパス１とパス２では左から右へ、次に右から左へのように、処理は右から左へ、次に左から右へと行えば、迅速に行うことができることが理解できる。

同様に、用語「行」と「列」は本文において画像ピクセルに関し便宜上使用される一方、機能的観点からは、用語「行」と「列」は、以上の本文の有用性を損なうことなく、変更可能であることが分かる。他の方法において、本装置は、仮にカメラがその光軸の周りに９０°回転しても、無論、説明したように作動する。

上述のように、もしこのような連続するパスが、「前のパス」により必要とされる値を上書きまたは破壊しないならば、前のパスが他のピクセルに対し終了する前に、次の「パス」をあるピクセルに対して実行し、様々なパスをある程度介在させてもよい。上述のように、このようなパスの介在を利用すれば、処理および／またはメモリ要求を最小化することができる。

本明細書および特許請求の範囲において「含む」「含んでいる」およびこれらを変形した用語を用いるときは、特定の特徴、工程または数値を包含することを意味する。これらの用語によって、他の特徴、工程または構成部材の存在が除外されると解されるものではない。

本発明の実施形態である赤外線ビデオ装置を有する車両を示す図である。 本発明の実施形態である赤外線ビデオ装置を有する車両を示す図である。 本発明による画像改善処理を示す図である。 本発明による画像改善処理を示す図である。 本発明による画像改善処理を示す図である。 本発明の好適な実施形態の一部を形成する処理手段のブロック図である。

Claims (23)

1. センサアレイを備えたビデオカメラ（１０）を含む画像装置であって、該ビデオカメラは、本文において生画像と称する、画素化された２Ｄ画像の形の連続したビデオフレームを生成可能であり、当該画像装置は処理手段（１４）も備え、該処理手段は、前記生画像（すなわちセンサ画像）から、本文においてＬＦ画像（すなわち、前記２Ｄ画像の低空間周波数成分のみを含む画像）と称する低空間周波数成分画像をリアルタイムで生成し、前記生画像は各々、第１の所定数のピクセル行と第２の所定数のピクセル列とを有する画像装置において、前記生画像は上から下へ、またはその反対に１行ずつ処理され、本文においてＬＦ値と称する、前記ＬＦ画像の各ピクセル値は、少なくとも、現在の行と既に処理されたすべての行の、既に処理済みのあらゆるピクセルに依存するが、現在の行より下の、第３の所定数の行であるピクセル行より下の行のピクセルには依存せず、第３の所定数は、第１の所定数より著しく小さく、例えば第１の所定数の１／５より小さいことを特徴とする画像装置。
2. 前記処理手段は、各ピクセルのＬＦ値が、現在のピクセルの前記センサで検知された値すなわち生の値から、さらに、少なくとも同一の行の既に処理されたピクセルおよび同一の列の既に処理されたピクセルのＬＦ値から、求められるよう、配置されることを特徴とする請求項１に記載の画像装置。
3. 前記処理手段（１４）は、各ピクセルのＬＦ値が、前記同一の行の後続のピクセルのＬＦ値からも求められるように配置されることを特徴とする請求項２に記載の画像装置。
4. 前記処理装置（１４）は、各ピクセルのＬＦ値が少なくとも３つの工程で計算されるように配置され、第１の工程では現在の行のピクセルが左から右へ処理され、第２の工程では現在の行のピクセルが右から左へ処理され、第３の工程では現在の行のすべてのピクセルが前の行のすべてのピクセルと共に処理されることを特徴とする請求項１に記載の画像装置。
5. 前記処理装置（１４）は、各行のＬＦ値が、後に走査される行のＬＦピクセル値を考慮して修正もされるように配置されることを特徴とする請求項４に記載の画像装置。
6. 前記処理手段（１４）は、対応する生画像（すなわちセンサ画像）から各前記ＬＦ画像の少なくとも一部を差し引くことにより、各生画像に対応する、本文においてＨＦ画像と称する高空間周波数成分画像を生成するよう配置されることを特徴とする請求項１から５のいずれか１項に記載の画像装置。
7. 前記センサアレイは赤外線を検知することを特徴とする請求項１から６のいずれか１項に記載の画像装置。
8. 本文においてＬＦ画像と称する、空間ローパスフィルタ処理された画像を、ビデオカメラ（１０）のビデオ出力から得る方法であって、該ビデオカメラはセンサアレイを備え、本文において生画像と称する、画素化された２Ｄ画像の形の連続したビデオフレームを生成可能であり、前記生画像は各々、第１の所定数のピクセル行と第２の所定数のピクセル列とを有し、当該方法は、生画像すなわちセンサ画像から、リアルタイムで前記ＬＦ画像（すなわち、前記２Ｄ画像の低空間周波数成分のみを含む画像）を生成する工程を含み、当該方法は、生画像を上から下へ、またはその反対に１行ずつ処理する工程と、本文においてＬＦ値と称する、前記ＬＦ画像の各ピクセルの値を求める工程とを含み、該求める工程では、あるピクセルのＬＦ値は、少なくとも、現在の行と既に処理されたすべての行の、既に処理済みのあらゆるピクセルに依存するが、現在の行より下の、第３の所定数の行であるピクセル行より下の行のピクセルには依存せず、第３の所定数は、第１の所定数より著しく小さく、例えば第１の所定数の１／５より小さいことを特徴とする方法。
9. 各ピクセルがそれに対応するそれぞれの輝度値を有し、当該方法は、リアルタイムで、生フレーム画像の各々に対する輝度値から、対応する低空間周波数成分画像の一連の値を求める工程を含み、該求める工程では、ピクセル行を順番に処理する操作を行い、この操作では、各ピクセル行は、１ピクセルずつ処理され、生画像の各ピクセル行に対して、一連の第１引出値が発生し、第１引出値の各々は、その行のそれぞれのピクセルに対応していて、第１引出値の各々は、生画像の対応するピクセルの値に依存していて、生画像の同一の行における、少なくとも１つの隣接するピクセルに対応する第１引出値にも依存していて、第１引出値から、それぞれ、第２引出値（本文においてＬＦ値とも称する）を発生させ、第２引出値の各々は、生画像のそれぞれのピクセルに対応していて、第２引出値の各々は、そのピクセルに対応する第１引出値に依存していて、その画像の、同一の列の少なくとも１つの隣接するピクセルに対応する第２引出値にも依存していて、第２引出値（ＬＦ値）は、前記低空間周波数成分画像の対応するピクセルに対する架空の輝度値を構成することを特徴とする請求項８に記載の方法。
10. 各ピクセル行に対する第１引出値は、第１パスにて、その行に沿って一方向に順に各ピクセル生値に次の式による計算手順を適用することを含む操作によって得られ、
    ｆ_Ｌ１（ｘ，ｙ）＝（１−ｃ）＊ｆ（ｘ，ｙ）＋ｃ＊ｆ_Ｌ１（ｘ−１，ｙ）
    ｆ_Ｌ１（ｘ，ｙ）は、対象となる行ｙに沿ったｘ番目の位置のピクセルに対して求められた中間値であり、ｆ（ｘ，ｙ）は、これに関連するピクセルの生画像値であり、ｆ_Ｌ１（ｘ−1，ｙ）は、その行を前記一方向に数えたｘ−１番目のピクセルに対して、前記手順における前回の反復処理にて求められた中間値であり、ｃは、１より小さい一定の伝達係数であり、前記操作はさらに、第２パスにて、その行に沿って反対方向に順に前記ピクセル中間値に次の式による計算手順を適用することを含み、
    ｆ_Ｌ２（ｘ，ｙ）＝（１−ｃ）＊ｆ_Ｌ１（ｘ，ｙ）＋ｃ＊ｆ_Ｌ２（ｘ＋１，ｙ）
    ｆ_Ｌ２（ｘ，ｙ）は、対象となる行ｙに沿って、前記一方向に数えたｘ番目の位置のピクセルに対する第１引出値であり、ｆ_Ｌ１（ｘ，ｙ）は、これに関連するピクセルに対する中間値であり、ｆ_Ｌ２（ｘ＋１，ｙ）は、前記一方向に数えて、その行のｘ＋１番目のピクセルに対する前記手順における前回の反復処理で求められた第１引出値であることを特徴とする請求項９に記載の方法。
11. 各ピクセル行に対する第１引出値は、１つのパスにて、その行に沿って一方向に順に各ピクセル生値に次の式による計算手順を適用することを含む操作によって得られ、
    ｆ_Ｌ２（ｘ，ｙ）＝（１−ｃ）＊ｆ（ｘ，ｙ）＋ｃ＊ｆ_Ｌ２（ｘ−１，ｙ）
    ｆ_Ｌ２（ｘ，ｙ）は、対象となる行ｙに沿った、ｘ番目の位置のピクセルに対する第１引出値であり、ｆ（ｘ，ｙ）は、これに関連するピクセルの生画像値であり、ｆ_Ｌ２（ｘ−１，ｙ）は、前記一方向に数えて、その行のｘ−１番目のピクセルに対する前記手順における前回の反復処理で求められた第１引出値であることを特徴とする請求項９に記載の方法。
12. 第２引出値（ＬＦ値）は、対象となる行およびその前の行の各行のピクセルに対する第１引出値に対し、次の式による計算手順を適用することにより求められ、
    ｆ_Ｌ３（ｘ，ｙ）＝（１−ｃ）＊ｆ_Ｌ２（ｘ，ｙ）＋ｃ＊ｆ_Ｌ３（ｘ，ｙ−１）
    ｆ_Ｌ３（ｘ，ｙ）は、対象となる行ｙに沿ったｘ番目の位置のピクセルに対する第２引出値であり、ｆ_Ｌ２（ｘ，ｙ）は、これに関連するピクセルに対する第１引出値であり、ｆ_Ｌ３（ｘ，ｙ−１）は、その前の行のｘ番目、しかし同一列のピクセルに対する、前記手順における前回の反復処理で求められた第２引出値すなわちＬＦ値であることを特徴とする請求項１０または１１に記載の方法。
13. 第２引出値すなわちＬＦ値は、複数の行ｌ、ｍ、ｎの各行のピクセルに対する第１引出値に次の式による計算手順を適用することにより求められ、
    ｆ_Ｌ３（ｘ，ｙ）＝（１−ｃ）＊ｆ_Ｌ２（ｘ，ｙ）＋ｃ＊ｆ_Ｌ３（ｘ，ｙ−１）・・・
    ｃは一定の伝達係数であり、ｆ_Ｌ３（ｘ，ｙ）は、現在の反復処理の対象である行ｙのｘピクセルに対する値であり、ｆ_Ｌ３（ｘ，ｙ１）は、前回の反復処理の対象であったｙ−１行のｘピクセルに対する値であり、連続する行ｌ、ｍ、ｎは、前記複数の行の最終ピクセル行に到達するまで、連続する前記反復処理で前記式における行ｙになり、前記複数の行は、前記フレームにおけるピクセル行の全数より著しく少ない行から成り、次の式による反復計算手順が続けられ、
    ｆ_Ｌ４（ｘ，ｙ）＝（１−ｃ）＊ｆ_Ｌ３（ｘ，ｙ）＋ｃ＊ｆ_Ｌ４（ｘ，ｙ＋１）・・・
    ｆ_Ｌ４（ｘ，ｙ）は、現在の反復処理の対象である行ｙのｘピクセルに対する値であり、ｆ_Ｌ４（ｘ，ｙ＋１）は、前回の反復処理の対象であったｙ−１行のｘピクセルに対する値であり、連続する行ｎ、ｍ、ｌは、前記複数の行の第１のピクセル行に到達するまで、連続する前記反復処理で前記式における行ｙになり、その行のそれぞれのピクセルに対する値ｆ_Ｌ４は、そのピクセルに対するそれぞれの第２引出値すなわちＬＦ値になることを特徴とする請求項１０または１１に記載の方法。
14. ビデオカメラ（１０）からのビデオ出力を改善する方法であって、該出力は、各々が画素化された２Ｄ生画像の形の連続したフレームを含み、該２Ｄ生画像は、行および列に配置された複数のピクセルから成り、各ピクセルは、それに関連したそれぞれの輝度値を有し、当該方法は、リアルタイムで、生フレーム画像の各々に対する輝度値から、対応する低空間周波数成分画像（ＬＦ画像）の一連の値を、請求項８から１２のいずれか１項に記載の方法により求める工程と、リアルタイムで、対応する生画像値から各前記低空間周波数成分画像値のすべてまたは一部を差し引くことを含む処理により、対応する改善されたフレーム画像の一連の値を生成する工程と、前記改善された画像値に従って画素化された表示器を操作して前記改善された画像を表示する工程とを含むことを特徴とする方法。
15. 各ピクセルがそれに対応するそれぞれの輝度値を有し、当該方法は、リアルタイムで、生フレーム画像の各々に対する輝度値から、対応する低空間周波数成分画像の一連の値を求める工程を含み、該求める工程では、ピクセル行を順番に処理する操作を行い、この操作では、生画像の各ピクセル行に対して、一連の第１引出値を発生させ、第１引出値の各々は、その行のそれぞれのピクセルに対応していて、第１引出値の各々は、生画像の対応するピクセルの値に依存していて、生画像の、先行するピクセル行における対応する位置のピクセルに対応する第１引出値にも依存していて、第１引出値から、それぞれ、第２引出値（本文においてＬＦ値とも称する）を発生させ、第２引出値の各々は、生画像のそれぞれのピクセルに対応していて、第２引出値の各々は、そのピクセルに対応する第１引出値に依存していて、その画像の、同一の行の少なくとも１つの隣接するピクセルに対応する第２引出値にも依存していて、第２引出値（ＬＦ値）は、前記低空間周波数成分画像の対応するピクセルに対する架空の輝度値を構成することを特徴とする請求項８に記載の方法。
16. 各ピクセル行に対する第１引出値は、順に各ピクセル生値に次の式による計算手順を適用することを含む操作によって得られ、
    ｆ_Ｌ１（ｘ，ｙ）＝（１−ｃ）＊ｆ（ｘ，ｙ）＋ｃ＊ｆ_Ｌ１（ｘ，ｙ−１）
    ｆ_Ｌ１（ｘ，ｙ）は、対象となる行ｙに沿った、ｘ番目の位置のピクセルに対する第１引出値であり、ｆ（ｘ，ｙ）は、これに関連するピクセルの生画像値であり、ｆ_Ｌ１（ｘ，ｙ−１）は、列ｘのｙ−１番目のピクセルに対する先行するこの操作で求められた第１引出値であり、ｃは、１より小さい一定の伝達係数であり、
    ｆ_Ｌ２（ｘ，ｙ）＝（１−ｃ）＊ｆ_Ｌ１（ｘ，ｙ）＋ｃ＊ｆ_Ｌ２（ｘ＋１，ｙ）
    において、ｆ_Ｌ２（ｘ，ｙ）は、対象となる行ｙに沿って、前記一方向に数えたｘ番目の位置のピクセルに対する第１引出値であり、ｆ_Ｌ１（ｘ，ｙ）は、これに関連するピクセルに対する中間値であり、ｆ_Ｌ２（ｘ＋１，ｙ）は、前記一方向に数えて、その行のｘ＋１番目のピクセルに対する前記手順における前回の反復処理で求められた第１引出値であることを特徴とする請求項１５に記載の方法。
17. 各ピクセル行に対する第２引出値は、第１パスにて、その行に沿って一方向に順に各第１引出値に次の式による計算手順を適用することを含む操作によって得られ、
    ｆ_Ｌ２（ｘ，ｙ）＝（１−ｃ）＊ｆ_Ｌ１（ｘ，ｙ）＋ｃ＊ｆ_Ｌ２（ｘ−１，ｙ）
    ｆ_Ｌ２（ｘ、ｙ）は、対象となる行ｙに沿ったｘ番目の位置のピクセルに対して求められた中間値であり、ｆ_Ｌ１（ｘ，ｙ）は、これに関連するピクセルに対する第１引出値であり、ｆ_Ｌ２（ｘ−１，ｙ）は、その行を前記一方向に数えたｘ−１番目のピクセルに対して、前記手順における前回の反復処理にて求められた中間値であり、ｃは、１より小さい一定の伝達係数であり、前記操作はさらに、第２パスにて、その行に沿って反対方向に順に前記ピクセル中間値に次の式による計算手順を適用することを含み、
    ｆ_Ｌ３（ｘ，ｙ）＝（１−ｃ）＊ｆ_Ｌ２（ｘ，ｙ）＋ｃ＊ｆ_Ｌ３（ｘ＋１，ｙ）
    ｆ_Ｌ３（ｘ，ｙ）は、対象となる行ｙに沿って、前記一方向に数えたｘ番目の位置のピクセルに対する第２引出値であり、ｆ_Ｌ２（ｘ，ｙ）は、これに関連するピクセルに対する中間値であり、ｆ_Ｌ３（ｘ＋１，ｙ）は、前記一方向に数えて、その行のｘ＋１番目のピクセルに対する前記手順における前回の反復処理で求められた第２引出値であることを特徴とする請求項１６に記載の方法。
18. 各ピクセル行に対する第２引出値は、１つのパスにて、その行に沿って一方向に順に各第１引出値に次の式による計算手順を適用することを含む操作によって得られ、
    ｆ_Ｌ２（ｘ，ｙ）＝（１−ｃ）＊ｆ_Ｌ１（ｘ，ｙ）＋ｃ＊ｆ_Ｌ２（ｘ−１，ｙ）
    ｆ_Ｌ２（ｘ，ｙ）は、対象となる行ｙに沿った、ｘ番目の位置のピクセルに対する第２引出値であり、ｆ_Ｌ１（ｘ，ｙ）は、これに関連するピクセルの第１引出値であり、ｆ_Ｌ２（ｘ−１，ｙ）は、前記一方向に数えて、その行のｘ−１番目のピクセルに対する前記手順における前回の反復処理で求められた第２引出値であり、ｃは、１より小さい一定の伝達係数であることを特徴とする請求項１６に記載の方法。
19. ビデオ画像に適用可能な画像改善方法において、各ビデオフレームについて、改善されたフレームの全体輝度を、対応する改善される前の生フレームに対する全体輝度と、先行する改善されたフレームの全体輝度との差に応じて、減少または増加させることを特徴とする方法。
20. 各々が画素化された２Ｄピクセルアレイの形の連続したフレームを出力するビデオカメラ（１０）と、前記出力から、請求項８から１８のいずれか１項に記載の方法により、それぞれの改善された画像フレームをリアルタイムで求める処理手段と、前記カメラ（１０）が捉えるシーンに対応する改善されたビデオ映像をリアルタイムで表示する表示手段（１６）とを含むことを特徴とする画像装置。
21. 前記カメラ（１０）は赤外線カメラであることを特徴とする請求項２０に記載の画像装置。
22. 添付図面に基づいて実質的に上述した方法。
23. 添付図面に基づき、該図面に示され、実質的に上述した画像装置。

Images