JP2005515565A - 画像センサシステムにおける視界妨害物の識別方法および識別装置 - Google Patents

Abstract

画像センサシステムにおける視界妨害物の識別方法および識別装置が提供される。画像センサの撮像された画像の分析に基づき、視界妨害物の存在また必要に応じてこの視界妨害物の種類を表す信号が形成される。

Description

従来技術
本発明は画像センサシステムにおける視界妨害物の識別方法および識別装置に関する。

将来的に、例えば自動車の周辺のセンシングに関連して画像センサ、例えばビデオカメラが使用され、この画像センサの画像が後続の機能（例えばドライバ支援機能）によって評価される。したがって、画像センサによって求められる画像を劣化させる視界妨害物を識別し、後続の機能またはシステムにそのような視界妨害物の存在に関して情報を付与し、必要に応じて措置を講じることは非常に重要である。

発明の利点
撮像された画像の不鮮明度を検出することによって、視界妨害物を識別する適切なやり方が明らかになる。殊に有利には、視界が十分な場合にしか規定通りに機能しない後続のシステムまたは機能に視界妨害物の存在に関する情報が付与され、したがって適切な対抗措置を講じることができる。つまり有利には、視界妨害物が識別された場合には、後続の機能ないし後続のシステムの構成に応じて、撮像された画像が評価されずに、補正または、例えばウィンドシールドワイパまたはウィンドシールドヒータのスイッチオンのような他の適切な対抗措置が講じられる。

殊に有利には視界妨害物が画像信号自体に基づき識別されるので、付加的なセンサは必要とされない。

殊に、自動車のウインドシールドにおける視界妨害物を識別するためのやり方が適している。

有利には画像センサが例えばレインセンサの機能のような別の機能を担い、その結果、画像センサに基づくこのようなドライバ支援機能、例えば車線逸脱警報装置などを車両が装備している場合にはセンサを削減することができる。

殊に有利には、以下で説明するビデオシステムにおけるやり方が自動車に使用され、このビデオセンサシステムは車両ウインドシールドにフォーカシングされているのではなく、外部領域にフォーカシングされている。したがって以下説明するやり方を、自動車の周辺のセンシングと関連して殊に有利に使用することができる。このようにして画像センサを複数の用途（例えばレインセンサと対象検出など）に使用することができる。

さらに有利には、画像センサは固有の出力信号に基づき自身の機能性を検査できる、すなわち目下の視界条件が後続の例えば車線維持のために実行すべき機能にとって十分であるか否かを確認できる。有利には画像センサの機能において、このことはドライバまたは後続のシステムに通知されるおよび／または対抗措置が講じられる。

殊に有利には、視界妨害物の検出は結像された画像の不鮮明度の測定により求められることが明らかになる。これによって、不鮮明に画像内に結像されている視界妨害物、例えば車両ガラスにおける対象を求めるための信頼性に足る方法が提供される。殊に有利には、画像の不鮮明度を測定することにより、例えば雨滴のような透明の対象か、氷または埃のような半透明の対象かを識別でき、特別な実施形態においてはそれどころかこれらを区別することができる。

したがって有利には、視界妨害物の種類の指示を得ることもできる。これと共に、例えば粒子に起因してフロントガラスが汚れた際にはウィンドシールドワイパを自動的に作動させることなどによって視界妨害物のそれぞれの種類に固有に反応することができる。

さらなる利点は実施例基づく以下の説明ないし従属請求項から明らかになる。

図面
本発明を以下では図面に示した実施形態に基づき詳細に説明する。ここで図１は画像センサシステムの概観図であり、この画像センサシステムにおいて以下記述する視界妨害物を検出するやり方が実現されている。図2から図４には、画像における不鮮明度を検出するための３つの異なる実施形態、またそこから導出される視界妨害物の識別を説明するグラフが示されている。

実施例の説明
図１に示されている画像センサシステムは基本的に光学センサアレイから構成されており、この光学センサアレイはデータ処理ユニット７、例えばマイクロプロセッサと接続されている。レンズ系２を介して目下の可視シーンがセンサアレイに結像される。画像センサはウインドシールド１の手前側に取り付けられており、ガラスの後方の外部空間にフォーカシングされている。ウインドシールドは例えば車両のウインドシールド、殊にフロントガラスである。車両の外部空間へのフォーカシングによって、画像センサシステムは他の画像処理タスク、例えば車線検出または障害物検出にも使用することができる。評価ユニット７はセンサアレイの露光制御モジュール４と、不鮮明度評価のための測定ユニット５と、視界妨害物の存在また必要に応じて視界妨害物の種類を判定する判定モジュール６とからなる。有利な実施例ではこれらの全てのモジュールはマイクロプロセッサの一部であり、この場合モジュールはソフトウェアプログラムとして実現されている。他の実施形態において、モジュールは同様にソフトウェアとして実現されている単独のコンポーネント（プロセッサ）であり、この場合には例えば１つのコンポーネントにおいて不鮮明度評価が実行され、他のコンポーネントにおいて判定が実行される。判定モジュール６によってなされる判定は情報信号および／または活性信号として後続の機能および／またはシステムに転送される。このための適用可能性を以下詳細に説明する。

車両に画像センサを使用する場合、センサの画像を評価するシステムは視界が十分である場合にのみ規定通りに機能するので、車両のウインドシールドにおける視界妨害物の自動的な検出はますます重要な役割を担っている。視界妨害物に関する情報、理想的には視界妨害物の種類に関する情報が存在する場合には、そのようなシステムはドライバに対して目下の機能不全を示すことができる、および／または、ウインドシールドワイパ装置、ウィンドシールドヒータ、ウィンドシールドウォッシャのスイッチオンなどの対抗措置を講じることができる。

ドライバ支援システムの適用に関して、画像センサは車両の外部領域にフォーカシングされているので、画像センサ信号にのみ基づき視界妨害物を検出する場合には、車両ウィンドシールドにおける視界妨害物は画像内で間接的にしか認められないという問題が生じる。したがってウインドシールドにおける対象、例えば雨滴または埃は不鮮明に結像される。すなわちこれらの視界妨害物は特徴的な不鮮明分布によって画像信号において認められる。

視界妨害物の検出は画像センサによって撮像された画像の不鮮明度の測定に基づく。この不鮮明度は、目下の可視シーンの結像された輪郭の不鮮明度において認められる。ウインドシールドにおける対象は画像センサが外部空間にフォーカシングされているので不鮮明に結像される。例えば雨滴のような透明な対象は画像の局所的なデフォーカシングを生じさせ、氷または埃のような半透明な対象は入射する光ビームを散乱させる。２つの作用はセンサ信号における不鮮明度を高めることになる。画像センサ、光学センサアレイ、例えばＣＣＤカメラまたはＣＭＯＳカメラに対応付けられている評価ユニットは、目下結像されているシーンの不鮮明度分布を検知する。検知された不鮮明度分布に基づき視界妨害物の存在が推定される。不鮮明度を求めるために以下に説明するディジタル画像処理の方法の内の１つが使用される。

有利な実施例では、視界妨害物の種類についての指示も得られる画像センサはセンサアレイである。このことは、そのようなセンサアレイを反射原理に従い動作する従来のレインセンサと基本的に区別する。センサアレイの使用により、求められた視界妨害物に固有に反応することができる。例えば粒子に起因する汚れが生じた場合にはウィンドシールドウォッシャを付加的にスイッチオンすることができる。視界妨害物の種類を識別するための有利なやり方を同様に以下において詳細に説明する。

不鮮明度を測定するための第１の可能性が図２のグラフに基づき表されている。不鮮明度の測定はいわゆるコントラストスペクトルによって行われる。この方式の基礎をなす原理はディジタル画像処理から公知である。コントラストスペクトルを得るために、先ずいわゆるマルチスケール分析が実行され、このマルチスケール分析では画像が平滑化操作とそれに続くダウンサンプリングとの反復的な適用により、解像度が低減された複数の画像に分割される。各解像度クラスでは大まかなコントラスト尺度が計算され、例えば画像内の強度値の標準偏差が計算される。解像度に関してプロットされたコントラスト尺度は画像のコントラストスペクトルを形成する。このようなコントラストスペクトルの例が図２ａおよび２ｂに示されている。これらの図においてはそれぞれ、画像のコントラスト尺度Ｋが解像度Ａに関してプロットされている。鮮明な画像と不鮮明な画像はそのコントラストスペクトルにおいて、不鮮明な画像におけるコントラストは解像度が増すとともに、鮮明な画像のコントラストに比べ大幅に低減することによって区別される。このことは、精確な細部が視界妨害物によって粗い画像特徴より損ねられるためである。したがって、コントラストスペクトルの低減は画像の不鮮明についての尺度である。例示的な状況が図２ａおよび２ｂに示されている。図２ａには僅かな不鮮明度を有する画像における画像の解像度に関するコントラストスペクトルが示されており、他方図２ｂにおいては画像の不鮮明度が高い場合の状況（不鮮明な画像）が示されている。

画像の不鮮明度を検出するためのやり方を実現する際に、計算プログラムの枠内においてコントラストスペクトルがマルチスケール分析に応じて記録され、例えば、解像度に関するコントラスト尺度の経過を特徴付ける解像度に関するコントラスト尺度の平均的な勾配のような量が求められる。この量を少なくとも１つの限界値と比較することにより画像の不鮮明度が検出される。視界妨害物を識別するために、例えば後続のシステムにおいて計画されている反応措置に関して、画像は不鮮明であることを確認するには十分である場合には、求められた量が限界値と比較され、この限界値を上回る場合には不鮮明が前提とされ、または量自体が不鮮明度の尺度として転送される。他の用途においては不鮮明度に関する尺度を確認することが望ましい。この場合には限界値によって、コントラストスペクトルを特徴付ける量に関する領域が形成され、これらの領域には不鮮明度値が対応付けられている。不鮮明度の程度に関する値は、コントラストスペクトルを特徴付ける量が所定の量領域に属する場合に求められる。

コントラストスペクトルに関する不鮮明度の測定の他に、ディジタル画像処理に基づく多数の別の方式が存在し、これらの方式を用いて不鮮明度を検出することができる。例えばこのような画像不鮮明度を測定するための代替的な方式は、検査される画像のフーリエスペクトルまたは自己相関を分析するための措置である。フーリエスペクトルにおいては不鮮明な画像は、より精確な画像細部を表す高い空間周波数の振幅が鮮明な画像に比べ大きく減衰していることによって明らかになる。

そのような状況の例が図３ａおよび図３ｂに示されている。これら両方の図にはフーリエスペクトルの経過がプロットされており、ここではフーリエ変換関数の振幅が空間周波数に関して示されている。図３ａは僅かな不鮮明度を有する画像を表し、他方図３ｂには不鮮明度の高い画像が示されている。比較的高い空間周波数の振幅は不鮮明な画像において大幅に減少していることが見て取れる。したがって評価のために有利な実施例では、振幅およびこれに対応する空間周波数が閾値を下回ることを識別することが行われる。この空間周波数が所定の値を下回る場合には、不鮮明な画像が前提とされる。他の実施形態においては、ここでもまた不鮮明度を求めるための少なくとも１つの限界値と比較された曲線の勾配を使用することができる。フーリエスペクトルを評価する場合にも、複数の限界値の設定によって、ないし値領域の設定によって不鮮明度の程度に関する値を確定し、後続のシステムに転送することが可能である。

不鮮明度を測定するための第３の可能性は画像の自己相関関数である。この自己相関関数は不鮮明な画像の場合には鮮明な画像の場合よりも距離と共に僅かにしか減少しない。このことは不鮮明な画像においては広域の構造のみ保持され続けるからである。図４はこの特性を示し、ここではそれぞれ自己相関関数の程度がピクセル間隔に関してプロットされている。図４ａは画像の不鮮明度が僅かである場合の自己相関関数を示し、図４ｂは画像の不鮮明度が高い場合の自己相関関数を示す。画像の不鮮明度が僅かである（鮮明な画像）場合にはピクセル間隔が増すと共に自己相関関数は急速に低減するのに対し、不鮮明な画像においては自己相関関数はそれほど大きくは低減しない。上述したように評価のためには、一方では少なくとも１つの限界値または複数の限界値を下回るまたは上回るかということを使用することができ、別の実施例においては計算された平均的な勾配を不鮮明度の検出および／または不鮮明度の量に関する値の検出のために使用することができる。

さらには不鮮明度を測定するための別の択一形態として、間接的な分類化アプローチが提供され、このアプローチでは例えばニューラルネットワークまたは多項式分類器のような学習マシンが大量の例画像表現することによって、不鮮明な画像と鮮明な画像を区別することについてトレーニングされる。

上述したように、高い不鮮明度が識別された場合、ないし不鮮明度の値が所定の値を上回った場合に視界妨害物が仮定される。付加的に、コントラスト、フーリエ成分または自己相関関数に関する基準分布との比較により、視界妨害物の種々の種類を所定の基準分布との相似性に基づき区別することができる。このようにして、氷によるウインドシールドにおける水分か、ウインドシールドにおける埃かを区別でき、また状況に応じて、例えばウインドシールドワイパの起動、ウインドシールドヒータ、ウインドシールドウォッシャのスイッチオンなどの種々の対抗措置を講じることを達成することができる。ここでもまた、上述したような学習マシンを用いる分類化アプローチが提供される。

視界妨害物検出を行うビデオセンサが付加的にレインセンサとして動作する場合に、さらなる補完は実用的である。ウインドシールドにおける水分が求められた不鮮明度およびコントラスト分布ないしフーリエスペクトルまたは自己相関に基づき識別されると、エラー検出の際の間違った起動を排除するために、ウインドシールドワイパの最初の制御が従来どおりドライバの明示的な要求に基づいてのみ行われる。拭取行程の直後に撮像されるビデオ画像から上述したような基準分布を取得することができ、この基準分布を用いて後続の拭取行程の開始が決定される。したがって、拭取行程を状況固有に適応させることができる。周辺のシーンが過度に僅かなコントラストしか包含しない状況、例えば夜間においては、ウィンドウシールド照明の短時間の投入接続は有意なものとなる。視界妨害物はこの場合照明光の散乱から検出することができる。

画像センサシステムの概略図である。 不鮮明度を検出するための実施形態を表すグラフである。 不鮮明度を検出するための実施形態を表すグラフである。 不鮮明度を検出するための実施形態を表すグラフである。 不鮮明度を検出するための実施形態を表すグラフである。 不鮮明度を検出するための実施形態を表すグラフである。 不鮮明度を検出するための実施形態を表すグラフである。

Claims (10)

1. 画像センサにより撮像された画像を分析する、画像センサシステムにおける視界妨害物の識別方法において、
   撮像された前記画像の分析により、視界妨害物の存在、必要に応じて該視界妨害物の種類を識別し、該視界妨害物の存在また必要に応じて該視界妨害物の種類を表す信号を形成することを特徴とする、画像センサシステムにおける視界妨害物の識別方法。
2. 撮像された前記画像の分析は画像の不鮮明度の測定である、請求項１記載の方法。
3. 前記不鮮明度の測定を前記画像のコントラストスペクトルを基礎とし、または前記画像のフーリエスペクトルを基礎とし、または前記画像の自己相関関数を基礎として行う、請求項２記載の方法。
4. 測定された不鮮明度分布から、基準分布との比較により、視界妨害物また必要に応じてどのような視界妨害物が存在するかを決定する、請求項２または３記載の方法。
5. 自動車において、フロントガラスの最初の拭取行程後に、後続の撮像された画像から後続の拭取行程の開始を決定する、請求項１から４までのいずれか１項記載の方法。
6. 前記後続の拭取行程に関する決定を、拭取行程の直後に撮像された画像の不鮮明度と比較した、目下撮像された画像の不鮮明度に基づき決定する、請求項５記載の方法。
7. 前記車両の周辺シーンが過度に僅かなコントラストしか有さない場合にウインドシールド照明をスイッチオンする、請求項１から６までのいずれか１項記載の方法。
8. 前記画像センサは前記自動車の外部領域にフォーカシングされている、請求項１から７までのいずれか１項記載の方法。
9. 画像センサおよび該画像センサによって撮像された画像を分析する評価ユニットを備えた画像センサシステムにおける視界妨害物の識別装置において、
   前記評価ユニットは視界妨害物の存在また必要に応じて該視界妨害物の種類を表す信号を出力し、該信号は記録された前記画像の分析に応じて形成されることを特徴とする、視界妨害物の識別装置。
10. 前記信号に依存してアクチュエータ、例えばウインドシールドワイパ、ウィンドシールドヒータ、ウィンドシールドウォッシャが制御される、請求項９記載の装置。

Images