JP2004514384A - 車両の周囲を監視するための方法及び装置 - Google Patents

Abstract

本発明は、周囲の特性を検知するセンサ（１２，１４、１６、１８、２０、２２、２４、２６、２８、３０、３２、３４）と、検知した情報を処理する手段（３６）とを備えた車両（１０）の周囲を監視する装置に関する。ここでセンサ（１２、１４、１６、１８、２０、２２、２４、２６、２８、３０、３２、３４）は光学的なセンサである。少なくとも２つのセンサ（１４、１６、１８、２０、２２、２４）が設けられており、センサ（１２、１４、１６、１８、２０、２２、２４、２６、２８、３０、３２、３４）は広角領域において動作する。検知した情報を処理する手段（３６）は立体的な情報を出力する。本発明はさらに車両の周囲を監視する方法に関する。

Description

【０００１】
本発明は、周囲の特性を検知するセンサと検知した情報を処理する手段とを備えた、車両の周囲を監視する装置に関する。本発明はさらに、周囲の特性を検知し、検知した情報を処理するステップを有する、車両の周囲を監視する方法に関する。
【０００２】
従来技術
車両の周囲を監視するための多数のシステムが公知である。このようなシステムは例えば事故防止（「プリクラッシュ」）、自動走行制御（「適応型速度制御（ＡＣＣ）」）の実現、またはドライバの視界に関する死角の観察に使用される。種々のセンサを用いるシステムが使用されている。例えばレーダセンサ、ライダーセンサ、超音波センサ及びビデオセンサが公知である。例えばレーダセンサは、車両の周囲に存在する対象の正確な位置を検出するために使用される。この位置検出に関する公知の方法は三角測量である。もちろん種々のセンサが使用される場合には、これらのセンサは基礎とする物理的な事象により異なる検知領域を有するということを顧慮することができる。したがって異なるセンサを組み合わせることが頻繁に合理的である。しかしながら異なるセンサ測定データを組み合わせる必要があり、複雑なシステムが生じる。
【０００３】
さらに、大部分のシステムは車両周囲に存在する対象を分類できないというということを言及すべきである。レーダセンサは一般的に生命のある対象、例えば歩行者と物体とを区別できない。さらにレーダセンサ及び超音波センサも車両の直ぐ近くの周囲では、これらセンサの開口角が小さいために周囲の僅かな領域しか検知できないという欠点を有する。すなわち、このようなセンサを用いて車両の周囲全体を検知しようとする場合には多数のセンサが必要となる。
【０００４】
発明の利点
本発明は、センサが光学センサであり、少なくとも２つのセンサが設けられており、センサが広角領域において動作し、検知した情報を処理する手段が立体的な情報を出力することにより上位概念記載の装置を基礎とする。光学センサは前述の他のセンサに比べて車両周囲における対象を分類できるという利点を有する。例えば物体と生命のある対象とを区別することが可能である。少なくとも２つのセンサが設けられているという事実に基づいて、車両周囲の立体的な検知が可能である。２つの光学センサは立体カメラ対として作用する。センサが広角領域を検知することにより、車両周囲の大部分を検知することができる。この際センサは基本的に異なる特性を有することができる。検知した情報を処理する手段が立体的な情報を出力するという事実に基づいて、人間例えば車両のドライバに対しては詳細に車両周囲の特性に関して情報が付与される。処理手段における処理は、ディジタル画像処理のアルゴリズム及びセンサを評価する他のアルゴリズムを用いて行われる。総じて本発明に基づきコストの削減が達成される。何故ならば周囲を所望に検知するための複数のセンサを省略することができるからである。複数のセンサを省略できることの他にシステムの複雑性を低減することができる。このことは多数のセンサのネットワーク化は必要ないという理由による。
【０００５】
有利には、センサの内の少なくとも１つは魚眼レンズを有する。魚眼レンズは大きな空間角度を検知することに適しており、ここではこの空間角度は例えば２２０°の範囲にある。したがって自動車の周囲の大部分を検知することができる。複数のセンサが使用される場合には、車両周囲全体に関する立体的な情報を出力することが可能である。
【０００６】
同様に、センサの内の少なくとも１つが３６０°の視野角度を検知する光学系、例えばパラボラ光学系または放物面鏡光学系を有することは有利となる。
【０００７】
殊に有利には、周囲の別の特性を検知する別のセンサが設けられており、この特性に相応する情報が検知した情報を処理する手段に供給される。それに応じて本発明による装置は、付加的な情報源からの情報を処理することができる。例えばレーダセンサまたは超音波センサのような種々のセンサも考慮される。同様に、車両周囲に該当しない情報が使用されることも考えられる。例えばステアリング角度センサ、ギア角度センサ、車両ロックの監視部及び振動センサを本発明による装置の別の情報源として顧慮することができる。
【０００８】
別の光学センサが設けられている場合には殊に有利である。これによって車両周囲の検知を改善することができる。例えば死角を回避することができる。
【０００９】
同様に、検知した情報を処理する手段がコントローラを有する場合は有利である。コントローラは関与する情報源の全ての情報を検知及び処理して、相応の立体的な情報を出力することができる。ここでコントローラはディジタル画像処理のアルゴリズム及びセンサを評価するその他のアルゴリズムを使用する。
【００１０】
有利には検知した情報を処理する手段はこれらの情報をドライバ情報システムに出力する。ドライバ情報システムは情報をドライバに対して適切に提示することができる。情報提示を光学的、音響的または触覚的に行うことができる。
【００１１】
同様に、検知した情報を処理する手段がこれらの情報をアクチュエータ系に出力することも有益である。したがって、能動的に車両状態に介入操作することが可能である。例えばエンジン制御、ブレーキ、クラッチまたは警報装置への介入操作が考えられる。
【００１２】
有利には、赤外線スペクトル領域にある光を生成する手段が設けられており、この光をセンサ光学系を介して車両の周囲に放射することができる。したがって、周辺光が十分でない場合にも車両周囲の検知を実施することが可能である。このために光学センサも、赤外線スペクトル領域における検知を実現できるように設計する必要がある。このことは、赤外線スペクトル領域にある光を別個に生成することに依存せずに、周辺における赤外線ビームを評価できるという利点を有する。
【００１３】
センサ光学系は周囲から発せられる光の検知にも、車両において生成された赤外線光の放射にも使用することができるので、殊に経済的な装置が提供されている。ＬＥＤも赤外線スペクトル領域にある光のための廉価な光源として使用することができる。
【００１４】
近赤外線スペクトル領域において敏感である画像チップ（Ｉｍａｇｅｒ−Ｃｈｉｐ）が設けられている場合には殊に有利である。このようにして赤外線スペクトル領域を検知する可能性がもたらされている。そのような画像チップを例えば放物面鏡光学系と共に使用する場合には、画像チップには近似的に環状の結像がなされる。有利には画像チップの照明されるこの領域のみが光に敏感な材料から設計され、画像チップのその他の領域は例えば評価ロジックに使用することができる。
【００１５】
有利には車両のルーフにセンサが配置されている。これによって、車両周辺全体の監視を１つのカメラのみ及び／又は１つのカメラ対によって行うことができる。しかしながら、車両後部における別のカメラでもって選択的に補完することによりセンサを車両前部に取り付けることも可能である。このことは例えばＡＣＣストップ・アンド・ゴー機能に関する利点を有する。車両後部に立体カメラ対を取り付けることも考えられ、この際車両の前部領域に別のカメラを取り付けることが殊に有効である。この配置は後部指向性の適用、例えば後方カメラとしての適用に殊に適している。
【００１６】
センサが側方領域において制限されていない視野を有することは殊に有益である。センサを例えば車両ルーフに相互に並べて取り付ける場合には、一方のセンサは他方のセンサの視野を側方において覆ってしまう。これによって車両の側方領域には死角が生じ、この死角は殊に問題となる。センサをずらして配置することによってこの状況に対処することができ、その結果車両の側方領域には制限されていない視野が存在する。このことはドライバの視界における死角の検知に関して殊に有効である。
【００１７】
本発明は、特性を光学的に検知し、特性を検知する少なくとも２つのセンサが設けられており、センサは広角領域において動作し、検知した情報を処理する手段が立体的な情報を出力することにより上位概念記載の方法を基礎とする。検知される角度を四方の視野までの大きさとすることができる。光学センサは前述の他のセンサと比べて、車両周囲の対象を分類することができるという利点を有する。例えば、物体と生命のある対象とを区別することが可能である。少なくとも２つのセンサが設けられているという事実に基づいて、車両周囲を立体的に検知することができる。２つの光学センサは立体カメラ対として機能する。センサの広角領域の検知に基づいて車両周囲の大部分を検知することができる。ここでセンサは基本的に異なる特性を有することができる。検知した情報を処理する手段が立体的な情報を出力するという事実に基づいて、人間例えば車両のドライバに対して詳細に車両周囲の特性に関する情報を付与することができる。処理する手段における処理は、ディジタル画像処理のアルゴリズムまたはセンサを評価するその他のアルゴリズムによって行われる。総じて本発明によりコストの削減が達成される。何故ならば周囲を所望に検知するための複数のセンサを省略することができるからである。複数のセンサを節約できることの他に、システムの複雑性も低減することができる。このことは多数のセンサのネットワーク化は必要とされないという理由による。
【００１８】
有利には、センサの内の少なくとも１つは魚眼レンズを有する。魚眼レンズは大きな空間角度を検知することに適しており、ここではこの空間角度は例えば２２０°の範囲にある。したがって自動車の周囲の大部分を検知することができる。複数のセンサが使用される場合には、車両周囲全体に関する立体的な情報を出力することが可能である。
【００１９】
センサの内の少なくとも１つが３６０°の視野角度を検知する光学系、例えばパラボラ光学系または放物面鏡光学系を有する場合には殊に有利である。
【００２０】
周囲の別の特性を検知する別のセンサが設けられていることは有利であり、この特性に相応する情報が検知した情報を処理する手段に供給される。それに応じて本発明による方法は、付加的な情報源からの情報を処理することができる。例えばレーダセンサまたは超音波センサのような種々のセンサも考慮される。同様に車両周囲に該当しない情報が使用されることも考えられる。例えばステアリング角度センサ、ギア角度センサ、車両ロックの監視部及び振動センサを本発明による装置の別の情報源として顧慮することができる。
【００２１】
本発明による方法は、別の光学センサが設けられている場合に殊に有利に実施することができる。これによって車両周囲の検知を改善することができる。例えば死角を回避することができる。
【００２２】
同様に検知した情報の処理がコントローラにおいて行われることは有益である。コントローラは関与する情報源の全ての情報を検知及び処理して、相応の立体的な情報を出力することができる。ここでコントローラはディジタル画像処理のアルゴリズム及びセンサを評価するその他のアルゴリズムを使用する。
【００２３】
本発明による方法は有利には、処理された情報がドライバ情報システムに出力されることによって構成されている。ドライバ情報システムは情報をドライバに対して適切に提示することができる。情報提示を光学的、音響的または触覚的に行うことができる。
【００２４】
さらに、検知され処理された情報がアクチュエータ系に出力されることにより利点がもたらされている。したがって、能動的に車両状態に介入操作することが可能である。例えばエンジン制御、ブレーキ、クラッチまたは警報装置への介入操作が考えられる。
【００２５】
さらに有利には本発明による方法は、赤外線スペクトル領域にある光を生成し、光がセンサ光学系を介して車両の周囲に放射される。したがって周辺光が十分でない場合にも車両周囲の検知を実施することが可能である。このために光学センサも、赤外線スペクトル領域における検知を実現できるように設計する必要がある。このことは、赤外線スペクトル領域にある光を別個に生成することに依存せずに、周辺における赤外線ビームを評価できるという利点を有する。赤外線スペクトル領域にある光の周囲への放射を他の光源ないし光学系を介して行うこともできる。
【００２６】
本発明は、立体周囲測定の領域におけるディジタル画像処理に使用可能なアルゴリズムの全てのバンド幅を使用できるという、驚くべき知識を基礎としている。例えば検知可能な車両周囲全体を３次元に測定する可能性は多くの利点をもたらす。周囲の測定を基礎として例えば対象を識別し、交通標識を分類し、車道境界を見つけ、また車両の周囲における人間を検出することができる。同様にしてそのようなシステムを用いることにより、複数のアシスタント、サービス及びアプリケーションをドライバに提供することができる。能動的な車両保護の領域の適用も考えられる。例えばここでは、プリクラッシュセンサテクノロジ、ブレーキ操作または回避操作の計算及び実施、ストップ・アンド・ゴーの支援、車線識別、ＡＣＣ支援及び自動的な非常ブレーキを実現することができる。交通標識識別及び駐車補助のようなアシスタントシステムも実現できる。本発明に基づいて、盗難防止装置として動作するセキュリティシステムも支援することができる。これについては、コントローラは車両周囲において移動する対象を識別し、車両を解錠しようとする同定不可能な対象が現れた場合には警報を発する。同様に有利には、光学的な情報を用いることにより車両周囲における対象を分類することができることを言及しておく。これに基づいてドライバに対しては例えばビデオ画像をそのままではなく、修正して表示することができる。修正して表示する場合には、例えば画像のひずみを修正することができ、または識別された対象をその重要性に応じて強調することができる。
【００２７】
図面
ここで本発明を有利な実施形態に基づく添付の図面に関連させて説明する。ここで図１は、センサを備えた自動車の俯瞰図である。図２は、２つのセンサを備えた自動車の俯瞰図である。図３は、２つのセンサを備えた車両の別の俯瞰図である。図４は、例示的に配置されているセンサを備えた車両の俯瞰図である。図５は、本発明の装置を説明するブロック図である。図６は、本発明による装置の特別な光学系の概略図である。図７は、本発明による装置の特別な光学系の別の概略図である。
【００２８】
実施例の説明
図１には車両１０の俯瞰図が示されている。車両１０のルーフ４８には光学センサ１２が配置されている。センサ１２は３６０°の視野を有する。視野５０は縮尺通りには図示されているものではない。１つの光学センサ１２を用いて２次元の画像を生成することができるが、図１による装置を用いて車両周囲の立体的な解像度は考えられない。
【００２９】
図２には２つのセンサ１４、１６を備えた車両１０が示されており、これらのセンサは車両１０のルーフ４８に配置されている。
【００３０】
図３は同様に、車両ルーフ４８における２つのセンサ１８、２０を備えた車両１０を示し、ここでは付加的に円５２、５４によって、２つのセンサ１８、２０が３６０°の開口角を有することが図示されている。２つのセンサ１８、２０は相互に一定の間隔を置いているので、２つの円５２、５４によって象徴的に表されている２つのセンサ１８、２０の視野も相互にずれている。２つの円５２、５４の交差領域では周囲の立体測定が可能である。したがって図３による装置は、立体的な解像度が重要となる多数の適用を可能にする。センサ１８と２０とを結ぶ線の軸上では、相互遮光により車両の側方領域において死角５６、５８が生じる。この死角では立体測定は不可能であり、何故ならばカメラ１８、２０の内の１つがそれぞれ遮光されているからである。
【００３１】
図４は、例えばこの側方の遮光を回避するための可能性を示す。俯瞰図には車両１０上の複数のセンサ２２、２４、２６、２８、３０、３２、３４の配置が示されている。２つのセンサ２２、２４の配置によって側方の遮光を回避することができる。これらのセンサ２２、２４には付加的に図示されている他のセンサ２６、２８、３０、３２、３４を設けることができる。もしくはこれらのセンサを設けなくとも良い。したがってセンサ２２、２４をずらして配置することによって、車両の側方領域においても立体測定を行うことができる。このことは例えば、ドライバの視界に関する死角を検知を顧慮すると有益である。例えば、２つの別のカメラが車両の前部領域に示されており、これらのセンサは有利には車両の後部におけるセンサ３４と組み合わされる。そのような配置を用いることにより、ＡＣＣストップ・アンド・ゴーの制御を殊に良好に実現することができる。さらに、３つのカメラすなわち図１及び図２の実施形態に比べて付加的に設けられているカメラを使用することによって、車両周囲の３次元モデリングをさらに改善できることを言及すべきである。同様にして別のカメラ３０、３２を車両の後部に配置することができ、このことは後方を検知すべき適用に殊に適している。これらのカメラ３０、３２も、例えば車両１０の前部領域における別のカメラと組み合わせることができる。
【００３２】
図５は本発明を説明するためのブロック図である。ここでは例として３つのカメラ２６、２８、３４が設けられており、これらのセンサは例えば車両の前部領域及び後部領域に配置されている。これらのカメラはそれぞれ光学系３８を装備している。カメラ２６、２８、３４によって検知した情報はコントローラ３６に伝送される。コントローラ３６にはさらに別の情報源６０、例えばステアリング角度センサからの情報が伝送される。コントローラ３６はディジタル画像処理のアルゴリズム及びセンサ６０の情報を評価するその他のアルゴリズムを使用してこれらの情報を処理する。これらの評価の結果は車両情報システム４０へと出力される。この車両情報システム４０はドライバに対して情報を適切に提示することができる。情報提示を光学的、音響的または触覚的に行うことができる。コントローラ３６は能動的に車両状態に介入操作することもでき、この介入操作はコントローラが１つまたは複数のアクチュエータ系４２を制御することによって行われる。ここではエンジン制御、ブレーキ、クラッチまたは警報装置への介入操作が考えられるが、これは若干の例を挙げているに過ぎない。
【００３３】
図６には、本発明による装置のセンサの光学系が概略的に示されている。例として放物面鏡光学系３８が設けられており、この放物面鏡光学系は実質的に環状の画像を形成する。この画像は画像チップ４６に投影される。同図の下部には環状領域６２を備えた画像チップ４６が図示されている。有利には、環状領域６２の内部にある領域と環状領域６２の外部にある領域は他の課題、例えば評価ロジックに使用される。
【００３４】
図７には同様に、本発明の枠内において使用できる光学系が示されている。ここでもまた光学系は放物面鏡光学系３８である。図７によるこの例において放物面鏡光学系３８は、ＬＥＤ６４によって形成される光を周囲に放射するために使用される。したがって周囲の照明が行われる。例として同一の放物面鏡光学系３８は周囲の画像を記録するために使用される。ＬＥＤ６４が赤外線スペクトル領域内の光を放射できる場合には殊に有利である。したがって夜間時に周囲の場面を照らすことが可能であり、入射する赤外線光の検出を光源６４に依存せずとも行うことができる。
【００３５】
本発明による実施例の上記の記述は単に説明を目的とするものであり、本発明の制限を目的とするものではない。本発明の枠内においては、本発明並びに同等のものの範囲を逸脱することなく、種々の変形及び修正形態が可能である。
【図面の簡単な説明】
【図１】
センサを備えた自動車の俯瞰図である。
【図２】
２つのセンサを備えた自動車の俯瞰図である。
【図３】
２つのセンサを備えた車両の別の俯瞰図である。
【図４】
例示的に配置されているセンサを備えた車両の俯瞰図である。
【図５】
本発明の装置を説明するブロック図である。
【図６】
本発明による装置の特別な光学系の概略図である。
【図７】
本発明による装置の特別な光学系の別の概略図である。

Claims (21)

1. 周囲の特性を検知するセンサ（１４、１６、１８、２０、２２、２４、２６、２８、３０、３２、３４）と、
   検知した情報を処理する手段（３６）とを備えた、車両（１０）の周囲を監視する装置において、
   前記センサ（１４、１６、１８、２０、２２、２４、２６、２８、３０、３２、３４）は光学センサであり、
   少なくとも２つのセンサ（１４、１６、１８、２０、２２、２４）が設けられており、
   前記センサ（１４、１６、１８、２０、２２、２４、２６、２８、３０、３２、３４）は広角領域において動作し、
   検知した情報を処理する前記手段（３６）は立体的な情報を出力することを特徴とする、車両（１０）の周囲を監視する装置。
2. 前記センサの内の少なくとも１つは魚眼レンズを有する、請求項１記載の装置。
3. 前記センサ（１８、２０）の内の少なくとも１つは３６０°の視野角度を検知する光学系、例えばパラボラ光学系または放物面鏡光学系（３８）を有する、請求項１または２記載の装置。
4. 周囲の別の特性を検知する別のセンサ（２６、２８、３０、３２、３４）が設けられており、該特性に応じた情報が検知した情報を処理する前記手段（３６）に供給される、請求項１から３のいずれか１項記載の装置。
5. 別の光学センサ（２６、２８、３０、３２、３４）が設けられている、請求項１から４のいずれか１項記載の装置。
6. 検知した情報を処理する前記手段（３６）はコントローラを有する、請求項１から５のいずれか１項記載の装置。
7. 検知した情報を処理する前記手段（３６）は該情報をドライバ情報システム（４０）に出力する、請求項１から６のいずれか１項記載の装置。
8. 検知した情報を処理する前記手段（３６）は該情報をアクチュエータ系（４２）に出力する、請求項１から７のいずれか１項記載の装置。
9. 赤外線スペクトル領域内の光を生成する手段（６４）が設けられており、
   該光はセンサ光学系（３８）を介して車両（１０）の周囲に放射される、請求項１から８のいずれか１項記載の装置。
10. 近赤外線領域において敏感である画像チップ（４６）が設けられている、請求項１から９のいずれか１項記載の装置。
11. 前記センサ（１４、１６、１８、２０、２２、２４）は車両のルーフ（４８）に配置されている、請求項１から１０のいずれか１項記載の装置。
12. 前記センサ（２２、２４）は車両（１０）の側方領域において制限されていない視野を有する、請求項１から１１のいずれか１項記載の装置。
13. 周囲の特性を検知し、
    検知した情報を処理する、車両（１０）の周囲を監視する方法において、
    前記特性を光学的に検知し、
    前記特性を検知する少なくとも２つのセンサ（１４、１６、１８、２０、２２、２４）が設けられており、
    前記センサ（１４、１６、１８、２０、２２、２４）は広角領域において動作し、
    検知した情報を処理する手段が立体的な情報を出力することを特徴とする、車両（１０）の周囲を監視する方法。
14. 前記センサの内の少なくとも１つは魚眼レンズを有する、請求項１３記載の方法。
15. 前記センサ（１８、２０）の内の少なくとも１つは３６０°の視野角度を検知する光学系、例えばパラボラ光学系、または放物面鏡光学系を有する、請求項１３または１４記載の方法。
16. 周囲の別の特性を検知する別のセンサ（２６、２８、３０、３２、３４）が設けられており、該特性に応じた情報を、検知した情報を処理する前記手段（３６）に供給する、請求項１３から１５のいずれか１項記載の方法。
17. 別の光学センサ（２６、２８、３０、３２、３４）が設けられている、請求項１３から１６のいずれか１項記載の方法。
18. 検知した前記情報の処理をコントローラ（３６）において行う、請求項１３から１７のいずれか１項記載の方法。
19. 検知して処理された前記情報をドライバ情報システム（４０）に出力する、請求項１３から１８のいずれか１項記載の方法。
20. 検知して処理された前記情報をアクチュエータ系（４２）に出力する、請求項１３から１９のいずれか１項記載の方法。
21. 赤外線スペクトル領域内の光を生成し、
    該光をセンサ光学系（３８）を介して車両（１０）の周囲に放射する、請求項１３から２０のいずれか１項記載の方法。