JP2005509984A

JP2005509984A - 画像強調を用いて自動車の安全性を向上させる方法及びシステム

Info

Publication number: JP2005509984A
Application number: JP2003546300A
Authority: JP
Inventors: コルメナレス，アントニオ; ヴィアールギュッタ，スリニヴァス; トライコヴィッチ，ミロスラフ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-11-19
Filing date: 2002-10-29
Publication date: 2005-04-14
Also published as: CN1589456A; WO2003044738A3; EP1449168A2; WO2003044738A2; US20030095080A1; AU2002339665A1; KR20040053344A

Abstract

自動車の運転者に運転情景を表示するシステム及び方法。本システムは、自動車の前方方向に視野を有し、該方向を向いている少なくとも１つのカメラを有する。このカメラは、自動車の前方の視野のピクセルから構成される運転情景の画像を撮り込む。コントロール・ユニットは、カメラから画像を受信し、該受信画像を構成するピクセルに霜降りノイズ・フィルタリングを適用する。このフィルタリングは、カメラから受信した運転情景の画像の画質を、天候によって劣化したときに、向上させる。ディスプレイは、フィルタリング演算の適用後にコントロール・ユニットから画像を受信し、この運転情景の画像を運転者に対して表示する。

Description

発明の詳細な説明

本発明は、自動車に係り、特に、様々な画像を処理し、悪天候下で運転者に改善された視界を提供するシステム及び方法に関する。

今日の運転の多くは厳しい環境で行われる。自動車の急増及びそれに伴う交通量の急増は、運転者が運転中に反応しなければならない外部刺激の量を増やした。加えて、今日の運転者は、より短い時間で運転状況に知覚し、処理し、反応しなければならないことが多い。例えば、スピードを出している運転者及び／又はアグレッシブな運転者は、状況の変化（例えば、道路のくぼみ、周囲の自動車の急激な車線変更、など）に反応する時間がほとんどない。また、周囲の運転者に対応する時間をほとんど与えない。

このような厳しい運転状況に日々直面することに加えて、運転者は、極めて難しい天候下で運転することを強いられる場合も多い。典型的な例は、吹雪の到来である。吹雪が到来すると、視界は突然且つ大幅に遮られるおそれがある。土砂降りや太陽がまぶしいときにも同様に視界が遮られるおそれがある。コンピュータ・ビジョン、パターン認識、画像処理、人工知能（ＡＩ）、などのディジタル信号処理技術の進歩にもかかわらず、運転者が環境条件により正常な視界が妨げられているときに非常に厳しい意志決定を行うのを手助けするためのものはほとんどない。

現在市場に出回っている運転者支援システムの１つは、キャデラック・デビル（ＣａｄｉｌｌａｃＤｅＶｉｌｌｅ）に搭載され、夜間に車両前方の物体を検出するように設計された軍事用の「ナイト・ビジョン（ＮｉｇｈｔＶｉｓｉｏｎ）」である。車両前方の人間、動物、及び自動車からの赤外線の高放射の形をした熱が、カメラ（集束光学系）を用いて取り込まれ、赤外線検出器上に集束される。検出された赤外線データは、処理電子系へ送られ、物体のモノクロ画像を形成するのに用いられる。この物体の画像は、運転者の周辺視界中のボンネット前端近くにヘッドアップ・ディスプレイによって投影される。このように、夜間、自動車前照灯の照射範囲外に物体が存在すれば、前もって検出され、ヘッドアップ・ディスプレイに投影される。このシステムは、ｈｔｔｐ：／／ｗｗｗ．ｇｍ．ｃｏｍ／ｃｏｍｐａｎｙ／ｇｍａｂｉｌｉｔｙ／ｓａｆｅｔｙ／ｃｒａｓｈ＿ａｖｏｉｄａｎｃｅ／ｎｅｗｆｅａｔｕｒｅｓ／ｎｉｇｈｔ＿ｖｉｓｉｏｎ．ｈｔｍｌの文献「ＤｅＶｉｌｌｅＢｅｃｏｍｅｓＦｉｒｓｔＣａｒＴｏＯｆｆｅｒＳａｆｅｔｙＢｅｎｅｆｉｔｓＯｆＮｉｇｈｔＶｉｓｉｏｎ」により詳細に説明されている。

デビル・ナイト・ビジョン（ＤｅＶｉｌｌｅＮｉｇｈｔＶｉｓｉｏｎ）システムは、厳しい天候においては性能が低下するか又は完全に妨げられる可能性が高い。なぜなら、発せられた赤外線は雪又は雨によって遮断されるか又は吸収されるかもしれないからである。たとえデビル・ナイト・ビジョン・システムが吹雪や暴風雨などの厳しい天候において上述のような物体を検出し、表示するように作動したとしても、このシステムの別の欠点として、ディスプレイは物体（赤外線センサを利用して検出されるためには十分に「熱く」なければならない）の熱映像しか提供しないため、運転者はその熱映像の輪郭からその物体が何であるかを識別しなければならない。おそらく、運転者は物体を識別することはできないであろう。例えば、バックパックを背負って前かがみで歩く人の熱等高線は、運転者にとって異質なものに見え、熱画像からは容易には識別できない可能性がある。このような識別できない物体は稀にしか存在しないこともまた厄介な点である。最後に、運転者にとって実際の環境において物体の相対的な位置を判断することは困難である。なぜなら、物体の熱画像が、他の発熱していない物体への参照無しに、ボンネットの前端近くに表示されるからである。

歩行者及び道路標識を検出し、特定の潜在的な危険（歩行者との衝突、スピード違反、又は、一方通行出口への進入）について運転者に知らせる方法が、Ｄ．Ｍ．Ｇａｖｒｉｌａ及びＶ．Ｐｈｉｌｏｍｉｎ、「Ｒｅａｌ−ＴｉｍｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎＦｏｒ “Ｓｍａｒｔ” Ｖｅｈｉｃｌｅｓ」、ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＯｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、Ｋｅｒｋｙｒａ、Ｇｒｅｅｃｅ、１９９９（ｗｗｗ．ｇａｖｒｉｌａ．ｎｅｔから入手可）に記載されている。この内容はここに参考文献として組み込まれる。テンプレートの階層が様々な物体形状を捕らえ、形状階層及び変換パラメータに対して同時粗／細アプローチ（ｓｉｍｕｌｔａｎｅｏｕｓｃｏａｒｓｅ−ｔｏ−ｆｉｎｅａｐｐｒｏａｃｈ）を用いる距離変換（ＤｉｓｔａｎｃｅＴｒａｎｓｆｏｒｍ）ベースのマッチングの変形を用いてマッチングが達成される。

また、移動中の車両から歩行者を検出する方法が、Ｄ．Ｍ．Ｇｒａｖｒｉｌａ、「ＰｅｄｅｓｔｒｉａｎＤｅｔｅｃｔｉｏｎＦｒｏｍＡＭｏｖｉｎｇＶｅｈｉｃｌｅ」、ＰｒｏｃｅｅｄｉｎｇｓＯｆＴｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅＯｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、Ｄｕｂｌｉｎ、Ｉｒｅｌａｎｄ、２０００、に記載されている。この内容はここに参考文献として組み込まれる。この方法は、テンプレート階層及び上記粗／細アプローチを用いたマッチングを築き、そしてＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎｓ（ＲＢＦｓ）を用いて、形状及び物体が歩行者であるか否かを確認することを試みる。

しかしながら、上記引用文献のいずれにおいても、画像中の物体の識別は悪天候下では悪化する。例えば、吹雪の中では、画像中の物体及び特徴の正常なコントラストは、降りそそぐ雪により画像全体へ明るい層が加えられることにより、暗くなる。降雪の場合、降りそそぐ各雪片から光が無数の方向へ散乱するため、情景の画像を取り込むカメラから情景の要素（又はデータ）をぼかす。降雨などの雫は部分的に半透明であるが、情景の画像を取り込むカメラから情景の要素をぼかす効果を依然として有する。これは、画像中の物体の境界によって提供される画像階調度の検出に依存するテンプレート・マッチング及びＲＢＦ手法を劣化させる又は無能力化する効果を有する。

従来技術は、自動車が悪天候下で運転されているとき、すなわち、運転者の正常な視界が悪天候によって悪化している又は覆われているとき、運転者に対して表示される運転情景の画像を向上させるように作動するシステムを提供できていない。従来技術は、特定の画像処理を単独で又は追加的な画像認識処理と共に用いて、運転情景の画像を向上させ、例えば、道路上又は道路脇の物体、交通信号、道路標識、路面の凹凸、及び、道路障害物をはっきりと投影することができていない。また、従来技術は、自動車が悪天候下で運転されているときに、運転情景（又はその物体及び特徴）の認識し得る画像を運転者に知的に提示することができていない。

このように、本発明の目的は、運転者が見る実際の画像が天候によって劣化する場合に、自動車の運転者に運転情景の改善された画像を表示するシステム及び方法を提供することである。このシステムは、自動車の前方方向を向き、該方向に視野を持った少なくとも１つのカメラを有する。このカメラは、運転情景を撮り込む。この画像は、自動車の前方の視野のピクセルから成る。コントロール・ユニットは、カメラからの画像を受け取り、霜降りノイズ・フィルタリングを受け取った画像を構成するピクセルに対して適用する。このフィルタリングにより、悪天候によって劣化したカメラからの受け取った運転情景の画像の画質が改善する。ディスプレイは、フィルタリング演算の適用後、コントロール・ユニットから画像を受け取り、その運転情景の画像を運転者に対して表示する。

コントロール・ユニットは、更に、フィルタリングされた画像を構成するピクセルの強度に対して、表示前に、ヒストグラム平準化演算を適用してもよい。このヒストグラム平準化演算は、悪天候によって劣化した運転情景の画像の画質を更に改善する。コントロール・ユニットは、更に、ヒストグラム平準化演算後、表示前に、画像に対して画像認識処理を適用してもよい。

自動車の運転者に対して運転情景を表示する方法において、自動車の前方の運転情景の画像が撮り込まれる。この画像は、自動車前方の視野のピクセルから成る。この撮り込まれた画像を構成するピクセルに対して霜降りノイズ・フィルタリングが適用される。このフィルタリングにより、悪天候により劣化した運転情景の撮り込まれた画像の画質が改善される。このフィルタリング演算の適用後、運転情景の画像は運転者に対して表示される。

図１を参照する。図１には、本発明の一実施形態を組み込んだ自動車１０が図示されている。図示するように、カメラ１４がフロントガラス１２の上部に配設されている。カメラ１４の光軸は、自動車１０の前方を指している。カメラ１４の光軸（ＯＡ）は、図１ａに示すように、地面に対して略水平であり、運転者及び助手席乗員の位置に対して略中央に位置する。カメラ１４は、自動車１０前方の画像を撮り込む。カメラ１４の視野は、自動車前方の画像の略全体を撮り込めるように、１８０°のオーダーであることが好ましい。しかし、視野は１８０°未満であってもよい。

図２を参照する。図２には、本発明の本実施形態をサポートする本システムの追加的構成要素及びこれら構成要素と運転者Ｐの相対的位置関係が図示されている。図２は、運転者Ｐの頭の位置がフロントガラス１２の背後の左側に位置数Ｒことを示している。カメラ１４は、図１及び１ａの説明で既に述べたように、フロントガラス１２の上部中央の部分に配設される。加えて、雪片２６から成り、運転者Ｐの道路及び他の交通物体及び特徴の見通し（包括的に、運転情景）を少なくとも部分的に覆い隠す雪が図示されている。雪片２６は、運転者Ｐの道路及び他の交通物体及び特徴の見通し（包括的に、運転情景）、例えば一時停止標識２８など、を部分的に覆い隠す。以下のより詳細に説明するように、カメラ１４からの画像はコントロール・ユニット２０へ送られる。この画像を処理した後、コントロール・ユニット２０は、同じく後に更に説明するヘッドアップ・ディスプレイ（ＨＵＤ）２４へ制御信号を送る。

図３ａを参照する。運転者Ｐが雪２６の効果が無い時点でフロントガラス１２を通して見る運転情景が図示されている。特に、交差する道路３０、３２の境界線と一時停止標識２８が図示されている。図３ａの情景は、雪片２６が遮っていない場合にある時点でカメラ１４からコントロール・ユニット２０（図２）に受信された画像と略同じである。

図３ｂは、雪片２６が存在するときに、運転者Ｐが見る（そして、カメラ１４の画像によって捕らえられる）運転情景を示す。一般的に、雪は個々の片に入射した光をあらゆる方向へ散乱させるため、画像の全体的な「ホワイトニンング」を招く。これにより、（比較的弱い輪郭で図３ｂに表現された）道路の境界線３０、３２や一時停止標識２８などの物体や画像の特徴の間におけるコントラストが弱まる。画像が全体的に明るくなるのに加えて、個々の雪片２６は、（特に大降りの間）運転者Ｐ及び情景の画像を捕らえるカメラ１４からの情景において雪片２６の背後にある要素を物理的に遮る。このように、雪片２６はカメラ１４からの情景の画像データをブロックする。

コントロール・ユニット２０は、図３ｂに図示したような悪天候によってぼんやりとしたカメラ１２から受信された画像を向上させる処理ソフトウェアを用いてプログラムされる。この処理ソフトウェアは、まず、画像中の雪片２６を「霜降り（ｓａｌｔａｎｄｐｅｐｐｅｒ）」ノイズとして処理する。霜降りノイズは、画像データの誤った伝送により生じる場合が多く、画像全体に崩れたピクセルをランダムに生じさせる。このような崩れたピクセルは、最大値を有する（画像では雪のように見える）か、或いは、ゼロ又は最大値のいずれかにセットされる（したがって、「霜降り」という名が与えられる）。画像中の崩れていないピクセルは、元の画像データのままである。しかし、崩れたピクセルは、元の値について何らの情報も含んでいない。霜降りノイズの更なる説明は、ｈｔｔｐ：／／ｗｗｗ．ｄａｉ．ｅｄ．ａｃ．ｕｋ／ＨＩＰＲ２／ｎｏｉｓｅ．ｈｔｍを参照のこと。

このように、本発明に係る方法及び処理においては、崩れたピクセルが最大値を持つように、雪片で実際に覆われた画像を霜降りノイズによって崩れたピクセルを有する画像中の「雪」として考える。よって、コントロール・ユニット２０は、霜降りノイズを除去するためのフィルタリングをカメラ１４から受信された画像に対して適用する。例示的な一実施形態において、コントロール・ユニット２０は、各ピクセル値を局所的近傍のピクセルの中央グレー値（ｍｅｄｉａｎｇｒａｙｖａｌｕｅ）で置き換えるメディアン・フィルタリング（ｍｅｄｉａｎｆｉｌｔｅｒｉｎｇ）を適用する。メディアン・フィルタリングは、線形フィルタリングのように隣接ピクセルの値の平均値又は加重合計を用いない。代わりに、処理された各ピクセルについて、メディアン・フィルタは、そのピクセルと周囲のピクセルの近傍のグレー値を考える。ピクセルはグレー値に従って並び替えられ（グレー値が高い順でも低い順でもよい）、その順番の中の中央値が選択される。典型的なケースにおいて、考慮されるピクセルの数（処理されているピクセルも含む）は奇数である。このように、選択された中央値に対して、より高いグレー値とより低いグレー値を有する等しい数のピクセルが存在する。中央値のグレー値は処理されているピクセルを置き換える。

図４ａは、フィルタリングを受けている画像列のピクセルＡに適用されるメディアン・フィルタリングの一例である。ピクセルＡ及びそのすぐ周囲のピクセルは、メディアン・フィルタリングにおいて近傍として用いられる。このように、９個のピクセルのグレー値（図４ａに各ピクセルについて示されている）は、処理中のピクセルＡをフィルタリングするのに用いられる。図４ｂに示すように、９つのピクセルのグレー値はグレー値順に並べられる。図から分かるように、図４ｂにおいては、９つのピクセルのグレー値がグレー値順に並べられる。図示するように、図４ｂにおいて、並び替えられたピクセルの中央のピクセルは、ピクセルＭである。なぜなら、４つのピクセルがより高いグレー値を有し、４つのピクセルがより低いグレー値を有するからである。したがって、ピクセルＡのフィルタリングは、２０というグレー値を中央ピクセルの６０というグレー値で置き換える。

既述のように、典型的なケースにおいては１つの中央ピクセルが存在する。なぜなら、処理されるピクセルについて奇数個のピクセルが考慮されるからである。偶数個のピクセルが考慮されるように近傍が選択される場合、並び替えられた後の中央の２つのピクセルの平均グレー値が用いられてもよい（例えば、１０個のピクセルが考慮される場合、並び替えられた後の５番目と６番目のピクセルの平均グレー値が用いられてもよい）。

このようなメディアン・フィルタリングは、画像のディテールを維持したまま、その画像から霜降りノイズを除去するのに効果的である。中央ピクセルのグレー値を用いることによって、フィルタリングされたピクセル値が近傍のピクセルのグレー値のそれと等しく維持されるため、近傍ピクセルのグレー値自体が平均化された場合に失われ得る画像ディテールが維持される。

以上のように、霜降りノイズを除去するための第一の例示的フィルタリング実施形態において、コントロール・ユニット２０は、カメラ１４から受信した画像を構成する各ピクチャに対してメディアン・フィルタリングを適用する。画像を構成する各ピクセルについて近傍ピクセル（例えば、図４に図示するように、すぐ隣りの８つのピクセル）が考慮され、上述のようにメディアン・フィルタリングが実施される（画像のエッジに対しては、例えば、近傍ピクセルのうち存在する部分のみが用いられる）。メディアン・フィルタリングは、画像から霜降りノイズを低減又は除去するため、カメラ１４から受信された運転情景の画像から雪片２６を効果的に減少又は除去することができる。

霜降りノイズを除去するための第二の例示的フィルタリング実施形態において、コントロール・ユニット２０は、カメラ１４から受信した画像を構成する各ピクセルに対して「ＳｍａｌｌｅｓｔＵｎｉｖａｌｕｅＳｅｇｍｅｎｔＡｓｓｉｍｉｌａｔｉｎｇＮｕｃｌｅｕｓ（ＳＵＳＡＮ）」フィルタリングを適用する。ＳＵＳＡＮフィルタリングにおいては、処理中のピクセル（「基点」）に対して、基点と同じ又は同様の明るさを有する画像領域を線引きするマスクが作られる。この基点（処理中のピクセル）に対する画像中のマスク領域は、ＵＳＡＮ（ＵｎｉｖａｌｕｅＳｅｇｍｅｎｔＡｓｓｉｍｉｌａｔｉｎｇＮｕｃｌｅｕｓ）エリアと呼ばれる。ＳＵＳＡＮフィルタリングは、ＵＳＡＮ（基点を含む）内に存在するピクセルのグレー値の加重平均を計算し、基点の値をこの平均値で置き換える。ＵＳＡＮ内のピクセルのグレー値を用いることによって、平均化に用いられるピクセルは画像の関連領域からのものだけとなるため、霜降りノイズを除去する際に画像の構造が保持される。ＳＵＳＡＮ処理及びフィルタリングの更なる詳細は、Ｓ．Ｍ．Ｓｍｉｔｈ及びＪ．Ｍ．Ｂｒａｄｙ、「ＳＵＳＡＮ − ＡＮｅｗＡｐｐｒｏａｃｈＴｏＬｏｗＬｅｖｅｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ」、ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔＴＲ９５ＳＭＳ１ｃ、ＤｅｆｅｎｃｅＲｅｓｅａｒｃｈＡｇｅｎｃｙ、Ｆａｒｎｂｏｒｏｕｇｈ、Ｅｎｇｌａｎｄ、１９９５、（及び、Ｉｎｔ．ＪｏｕｒｎａｌＯｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、２３（１）：４５−７８、１９９７年５月）に載っている。これらの内容はここに参考文献として組み込まれる。

画像がフィルタリングされ、霜降りノイズ（及び画像中の雪片２６）が除去されると、フィルタリングされた画像は以下に更に述べる方法で運転者Ｐに対して表示するためにコントロール・ユニット２０によって直ちにＨＵＤ２４へ出力されてもよい。しかし、上述のように、雪片２６は情景の画像を全体的に明るくし、画像中の特徴及び対象物のコントラストを低減し得る。したがって、コントロール・ユニット２０は、フィルタリングされた画像にヒストグラム平準化アルゴリズムを適用してもよい。ヒストグラム平準化の手法は、本分野では良く知られており、画像のコントラストをそこに含まれる情報の構造に影響を与えることなく向上させるものである（例えば、画像認識処理において前処理工程としてしばしば用いられる）。図３ｂの画像について、雪片２６が画像からフィルタリングされた後であっても、一時停止標識２８及び道路境界線３０、３２は、画像においてぼんやりとしたコントラストのままとなり得る。雪片２６を除去するための霜降りフィルタリング後の図３ｂの画像の画像ピクセルのヒストグラムを図５ａに示す。図から分かるように、画像中には高い強度レベルを有するピクセルが数多く存在する。これは、比較的明るいピクセルが数多く存在することを表す。この画像に対してヒストグラム平準化演算を適用した後のヒストグラムを図５ｂに示す。オペレータは、元の画像の（入力）強度の全ピクセルを出力画像の別の（出力）強度へマッピングする。これにより、強度密度レベルはヒストグラム平準化オペレータによって「広がる」ため、画像のコントラストを向上させる。しかし、画像の特徴に割り当てられた強度のみが調整されるため、この演算は画像の構造を変えない。

入力画像Ａを出力画像Ｂへマッピングするのに用いられる典型的なヒストグラム平準化変換関数は、

として与えられる。ここで、ｐは入力画像Ａの強度分布を表す推定確率関数であり、ランダムなＤ_Ａは考慮している元の画像Ａの特定の強度レベルであり、Ｄ_Ｍは入力画像における強度レベルの最大値である。したがって、

となる。ここで、Ｆ_Ａ（Ｄ_Ａ）は特定の強度レベルＤＡまでの元の画像の累積確率分布（すなわち、累積ヒストグラム）である。したがって、このヒストグラム演算を用いれば、すなわち累積ヒストグラムを用いて変換された画像を用いれば、その結果は平らな出力ヒストグラムとなる。これは、完全に平準化された出力画像である。

ディジタル実施に特に適した別のヒストグラム平準化演算は、変換関数

を用いる。ここで、Ｎは画像ピクセルの数であり、ｎ_ｋは強度レベルｋ（＝Ｄ_Ａ）以下におけるピクセル数である。出力画像はかならずしも完全に平準化される必要はない（ヒストグラムには穴や使用されない強度レベルが存在してもよい）が、特に入力画像のピクセル数及び強度量子化レベルが高い場合、元の画像のピクセルの強度レベルは出力画像上に均一に広げられる。上記にまとめたヒストグラム平準化は、ｗｗｗ．ｄａｉ．ｅｄ．ａｃ．ｕｌ／ＨＩＰＲ２／ｈｉｓｔｅｑ．ｈｔｍにおいて公開されている、Ｒ．Ｆｉｓｈｅｒら、「ＨｉｓｔｏｇｒａｍＥｑｕａｌｉｚａｔｉｏｎ」、ＨｙｐｅｒｍｅｄｉａＩｍａｇｅＰｒｏｃｅｓｓｉｎｇＲｅｆｅｒｅｎｃｅ２、ＤｅｐａｒｔｍｅｎｔｏｆＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ、ｕｎｉｖｅｒｓｉｔｙｏｆＥｄｉｎｂｕｒｇｈ、２０００、により詳しく記載されている。この内容は参考文献としてここに組み込まれる。

ヒストグラム平準化が適用されると、コントロール・ユニット２０は、コントロール・ユニット２０によって前にフィルタリングされたカメラ１４から受信された画像を構成するピクセルに対して式３（又は式２）のオペレータを適用する。これは、（特定の強度Ｄ_Ａを有する）入力画像の各ピクセルの強度をｆ（Ｄ_Ａ）によって与えられる強度に再割当（マッピング）する。コントロール・ユニット２０内で作成されたフィルタリングされ平準化された画像についてのコントラストなどの画質は、大幅に向上し、図３ａに示すような天候によって影響を受けていない画質に近づく（便宜上、コントロール・ユニット２０内でフィルタリング後及びヒストグラム平準化後に得られる画像を「前処理済み画像」と呼ぶ）。その場合、コントロール・ユニット２０内で作成された前処理済み画像は、ＨＵＤ２４を通じてフロントガラス１２の一領域上に直接表示される。ＨＵＤ２４は前処理済み画像をフロントガラス１２の小さく控えめな領域（例えば、フロントガラス１２中の運転者Ｐの通常の注視点より下）に投影するため、天候の無い運転情景の画像が表示される。

加えて、カメラ１４から受信された入力画像からコントロール・ユニット２０によって作成された前処理済み画像は、コントロール・ユニット２０によって画像認識処理が前処理済み画像に確実に適用できる程度にまで改善される。運転者が（インターフェースを通じて）コントロール・ユニット２０による画像認識処理を開始させてもよく、或いは、コントロール・ユニット２０自体が画像認識処理を前処理済み画像に自動的に適用してもよい。コントロール・ユニット２０は、コントロール・ユニット２０内で得られた前処理済み画像を更に分析するために画像認識処理を適用する。コントロール・ユニット２０は、前処理済み画像を分析し、その中に交通標識、人体、他車両、道路境界線、道路の対象物又は変形、などを検出する画像認識ソフトウェアを用いてプログラムされる。前処理済み画像はカメラ１２から受信された元の画像（上述のように、天候によって劣化している）に対して透明度及びコントラストが向上しているため、コントロール・ユニット２０によって実行される画像認識処理は高いレベルの画像検出及び認識を有する。

この画像認識ソフトウェアは、例えば、上述の「Ｒｅａｌ−ＴｉｍｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｆｏｒ “Ｓｍａｒｔ” Ｖｅｈｉｃｌｅ」に記載された形状に基づく対象物検出を組み込んでいてもよい。他の対象物の中でも特に、コントロール・ユニット２０は、図３ａ及び３ｂの一時停止標識２８などの前処理済み画像中の様々な交通標識の形状を識別するようにプログラムされる。同様に、コントロール・ユニット２０は、前処理済み画像中の交通標識の輪郭を検出すると共に、その時点での信号の色の状態（赤色、琥珀色、又は、緑色）を分析するようにプログラムされてもよい。加えて、道路の境界線の画像階調度が「Ｒｅａｌ−ＴｉｍｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｆｏｒ “Ｓｍａｒｔ” Ｖｅｈｉｃｌｅ」に記載された形状に基づく対象物検出手法におけるテンプレート方法を用いてコントロール・ユニット２０によって前処理済み画像中の「形状」として検出されてもよい。

一般的に、コントロール・ユニット２０は、（カメラ１２からの受信画像を用いて生成された）前処理済み画像の連続を分析し、そのような画像の各々において交通標識、道路輪郭等を識別する。全画像が分析されてもよく、一サンプルが長期にわたり分析されてもよい。各画像は、従前の画像からは独立して分析されてもよい。その場合。例えば一時停止標識は、従前の受信画像において前にも検出されていた場合であっても、その時点での受信画像において独立に識別される。

前処理済み画像中に関連する交通対象物（交通標識や信号など）及び特徴（道路輪郭など）が検出されると、コントロール・ユニット２０はＨＵＤ２４へ出力される画像中のそれら特徴を強調する。強調とは、例えば、出力画像中のそれら対象物及び特徴の画質の向上、である。例えば、一時停止標識の場合、前処理済み画像中の「一時停止（ｓｔｏｐ）」という語が雪などの天候により依然として部分的に又は完全に読めないかもしれない。しかし、一時停止標識の八角形の輪郭の前処理済み画像は、十分に明確なため、画像認識処理にそれを一時停止標識であると識別させることができる。その場合、コントロール・ユニット２０は、標識画像の正しい位置に「一時停止（ｓｔｏｐ）」という語を組み込んでディジタルに投影されるように、ＨＵＤ２４へ送られる画像を強調する。加えて、標識に適正な色が、前処理済み画像においてぼんやりしていれば、加えられてもよい。強調として、例えば、コントロール・ユニット２０によって前処理済み画像中に識別された対象物及び特徴のアスペクトをディジタルにハイライトしてもよい。例えば、前処理済み画像において一時停止標識を識別した後、コントロール・ユニット２０は、その一時停止標識の八角形の輪郭をそのすぐ周囲の領域と高いコントラストを有する色を用いてハイライトしてもよい。この画像がＨＵＤ２４によって投影されると、運転者Ｐは、このようにハイライトされた対象物及び特徴に自然と注意を向けるであろう。

前処理済み画像において対象物が制御信号、交通標識等として識別された場合、コントロール・ユニット２０は、後続の各画像においてそれを新たに独立して識別する代わりに、後続の前処理済み画像においてその動きを追跡するように更にプログラムされてもよい。例えば、ＭｃＫｅｎｎａ及びＧｏｎｇ、「ＴｒａｃｋｉｎｇＦａｃｅｓ」、ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳｅｃｏｎｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｍａｔｉｃＦａｃｅａｎｄＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ、Ｋｉｌｌｉｎｇｔｏｎ、Ｖｔ．、１９９６年１０月１４〜１６日、２７１〜２７６頁、に記載されたクラスタ化手法を用いて、位置、動き、及び形状に基づいて連続した画像における識別された対象物の動きを追跡することができる。この文献の内容は参考文献としてここに組み込まれる。複数の動きの追跡についてはセクション２に記載されている。画像間で対象物の動きを追跡することによって、コントロール・ユニット２０は、強調された特徴を有する画像をＨＵＤ２４へ提示するのに必要な処理時間を低減し得る。

上述のように、本発明の上記実施形態のコントロール・ユニット２０は、歩行者や他車両などの前処理済み画像においてそれ自体動いている対象物を検出し、ＨＵＤ２４へ送られ投影される画像中のそれら対象物を強調するようにプログラムされてもよい。動いている歩行者などの対象物が（交通信号や交通標識等と共に）検出されるべき場合、コントロール・ユニット２０は、「ＰｅｄｅｓｔｒｉａｎＤｅｔｅｃｔｉｏｎＦｒｏｍＡＭｏｖｉｎｇＶｅｈｉｃｌｅ」に記載された識別手法を用いてプログラムされる。上述のように、これは、ＲＢＦ分類を第二段階として採用した二段階式の歩行者検出アプローチを提供する。第一段階のテンプレート・マッチング及び第二段階におけるＲＢＦ分類器の訓練は自動車を含み得るため、コントロール・ユニット２０は受信画像中の歩行者及び自動車を識別するようにプログラムされる（このプログラミングは、上で焦点を当てた固定した交通標識、信号、道路境界線などに対するテンプレート及びＲＢＦ訓練を含み、コントロール・ユニット２０の画像認識処理の全体を提供してもよい）。コントロール・ユニット２０によって対象物が歩行者や他車両等と識別されると、その動きは上記「ＴｒａｃｋｉｎｇＦａｃｅｓ」に記載されたクラスタ化手法を用いて後続の画像において追跡される。

上記と同じ方法において、前処理済み画像において識別された自動車又は歩行者は、ＨＵＤ２４によって投影されるためにコントロール・ユニット２０によって強調される。このような強調としては、例えば、歩行者又は自動車を運転者Ｐにとってより認識しやすいようにするためにそれらの画像の境界線をディジタル調整することや、歩行者又は自動車の色をディジタルに調整してそれが画像中のすぐ周囲の領域とより良いコントラストとなるようにすること、或いは、すぐ周囲の領域と目に見えてコントラストを有する色を用いるか又は境界線を点滅させることによって画像中の歩行者又は自動車の境界線をディジタルにハイライトすること、などが挙げられる。再記するが、強調を有する画像がＨＵＤ２４によって投影されるとき、運転者Ｐはこのようにハイライトされた対象物及び特徴に自然と注目するであろう。

上述のように、運転者Ｐがコントロール・ユニット２０内で画像認識処理を開始させる代わりに、画像認識処理が常に前処理済み画像に対して実行されてもよい。これは、運転者が追加的な処理にかかわる必要性を除去する。別の方法として、コントロール・ユニット２０は、天候の性質及び厳しさの度合を示す入力信号を供給する車両上の外部センサ（図示せず）とのインターフェースをとってもよい。外部センサから受信した天候の特徴に基づいて、コントロール・ユニット２０は、前処理済み画像を作成し表示する上記処理を採用するか否か、或いは、更に前処理済み画像に対して画像認識処理を採用するか否か、を選ぶ。例えば、コントロール・ユニット２０は、元の画像のヒストグラムを分析し、厳しさの度合及び元の画像におけるコントラストを判断してもよい。例えば、ヒストグラムの多くの隣接する強度をサンプリングし、サンプリングされた強度間の平均コントラストが判断されてもよく、及び／又は、サンプリングされた画像のエッジの階調度を考慮して画像の透明度を判断してもよい。透明度及び／又はコントラストが閾量未満の場合、コントロール・ユニット２０は天候に関連する処理の一部又は全部を開始する。同じヒストグラム分析を前処理済み画像に対して実行して、例えば、追加的画像認識が前処理済み画像に対して実行されるべきであるか否か、或いは、前処理済み画像を直接表示することができるか否か、を判断してもよい。生成された前処理済み画像が画像認識処理を必要とする天候のときのみ画像認識処理を用いることによって、改善された画像を処理し表示するのに掛かる時間が短縮される。

本発明の例示的実施形態を添付図面を参照して説明したが、本発明はこれら正確な実施形態に限定されないことは明らかである。例えば、上記で注目した天候は降り注ぐ雪を構成する雪片であったが、同じ又は類似の処理は降雨を校正する雨露にも適用できる。加えて、上記画像認識処理は、フィルタリングされた画像に対してヒストグラム平準化処理を適用することなく、フィルタリングされた画像に直接適用することもできる。このように、本発明の範囲は請求項の範囲によって規定されたものであることが意図されている。

本発明の一実施形態を組み込んだ自動車の側面図である。図１の自動車の上面図である。図１及び図１ａの実施形態の構成要素及び本実施形態を説明するのに用いられる他の顕著な特徴を表す図である。天候が厳しくないときに、或いは、天候が厳しいときに本発明の画像処理技術を適用して、図１〜２の実施形態のカメラによって生成された画像を表す図である。である。天候が厳しいときに本発明の画像処理技術を適用せずに、図１〜２の実施形態のカメラによって生成された代表画像である。画像中のフィルタリングされたピクセル及びフィルタリングにおいて用いられた隣接ピクセルを表す図である。図４ａのピクセルのフィルタリングにおいて適用される工程を表す図である。フィルタリング後の図３ｂの画像のヒストグラムを表す図である。ヒストグラム平準化適用後の図３の画像のヒストグラムである。

Claims

自動車の運転者に運転情景を表示するシステムであって、
前記自動車の前方方向に視野を有し、該方向を向いていて、前記自動車の前方の視野のピクセルから構成される前記運転情景の画像を撮り込む少なくとも１つのカメラと、
前記カメラから前記画像を受信し、該受信画像を構成するピクセルに前記カメラから受信した前記運転情景の画像の画質を天候によって劣化したときに向上させる霜降りノイズ・フィルタリングを適用するコントロール・ユニットと、
前記フィルタリング演算の適用後に前記コントロール・ユニットから画像を受信し、この運転情景の画像を前記運転者に対して表示するディスプレイと、を有することを特徴とするシステム。
請求項１記載のシステムであって、
前記コントロール・ユニットによって適用される霜降りノイズ・フィルタリングは、メディアン・フィルタである、ことを特徴とするシステム。
請求項１記載のシステムであって、
前記コントロール・ユニットによって適用される霜降りノイズ・フィルタリングは、ＳＵＳＡＮフィルタである、ことを特徴とするシステム。
請求項１記載のシステムであって、
前記コントロール・ユニットは、更に、前記フィルタリングされた画像を構成するピクセルの強度に対して、前記運転情景の画像の画質を天候によって劣化したときに更に向上させるヒストグラム平準化演算を適用する、ことを特徴とするシステム。
請求項４記載のシステムであって、
前記コントロール・ユニットは、前記ヒストグラム平準化演算に次いで、更に、画像認識処理を前記画像に対して適用する、ことを特徴とするシステム。
請求項５記載のシステムであって、
前記コントロール・ユニットは、前記画像に対して画像認識処理を適用して、その中から少なくとも１つの所定の種類の対象物を識別する、ことを特徴とするシステム。
請求項６記載のシステムであって、
前記少なくとも１つの所定の種類の対象物は、歩行者、他車両、交通標識、交通整理、及び、道路障害物、の中の少なくとも１つを含む、ことを特徴とするシステム。
請求項６記載のシステムであって、
前記画像において識別された前記少なくとも１つの所定の種類の対象物は、前記ディスプレイによって表示されるために前記コントロール・ユニットによって強調される、ことを特徴とするシステム。
請求項６記載のシステムであって、
前記コントロール・ユニットは、更に、少なくとも１つの所定の種類の特徴を前記画像において識別する、ことを特徴とするシステム。
請求項９記載のシステムであって、
前記画像において識別される前記少なくとも１つの所定の種類の特徴は、前記ディスプレイによって表示されるために前記コントロール・ユニットによって強調される、ことを特徴とするシステム。
請求項９記載のシステムであって、
前記少なくとも１つの所定の種類の特徴は、道路の境界性を含む、ことを特徴とするシステム。
請求項１記載のシステムであって、
前記ディスプレイはヘッドアップ・ディスプレイ（ＨＵＤ）である、ことを特徴とするシステム。
請求項１記載のシステムであって、
前記コントロール・ユニットは、更に、前記フィルタリングに次いで、前記画像に対して画像認識処理を適用する、ことを特徴とするシステム。
自動車の運転者に運転情景を表示する方法であって、
前記自動車の前方の視野のピクセルから構成される前記自動車の前方方向の前記運転情景の画像を撮り込む工程と、
撮り込まれた画像を構成するピクセルに撮り込まれた前記運転情景の画像の画質を天候によって劣化したときに向上させる霜降りノイズ・フィルタリングを行う工程と、
前記フィルタリング演算の適用後に前記運転情景の画像を前記運転者に対して表示する工程と、を有することを特徴とする方法。
請求項１４記載の方法であって、
前記画像を構成するピクセルを霜降りフィルタリングする工程の後に、フィルタリングされたピクセルに対してヒストグラム平準化を適用する工程を更に有する、ことを特徴とする方法。
請求項１４記載の方法であって、
前記画像を構成するピクセルを霜降りフィルタリングする工程の後に、フィルタリングされたピクセルに対して画像認識処理を適用する工程を更に有する、ことを特徴とする方法。