JP2009509251A - 車線マークを認識する方法 - Google Patents

Abstract

撮像装置（６）を持ちかつ動かされる自動車（１）用の車線マーク（５）を認識する方法が紹介される。撮像装置（６）が車両の前の車道（３）へ向けられ、記録される画像データにおいて明るさの相違（コントラスト）が分析されかつ／又は隅が抽出される。車線マーク（５）が、その周期的配置により認識される。評価のため撮像装置（６）の測定信号が別の座標系に変換され、こうして得られる補助関数（４）が周期的に構造に応じて検査される。

Description

本発明は、車線を認識する方法及び装置に関する。例えば間隔制御又は車線保持のために使用される運転者援助システムの重要な構成部分は、車線の予測である。

文献には、このテーマに対する種々の解決の手掛かりが示されている。ドイツ連邦共和国特許第１０３２７８６９号明細書は車線指示装置を持つナビゲーションシステムを開示しており、車線情報を持つ道路カードデータが記憶素子に記憶され、更に自動車の前の道路が検出されるデータレコードは自動車の位置及び車線決定のために比較される。

その代わりに、車線を見つけ出すカメラシステムがしばしば使用される。例えばドイツ連邦共和国特許第１０２００４００３５０２号明細書には、自動車の運転者の補助装置が紹介されている。車両周辺がカメラで撮影される。画像データを評価するため所定の探索窓が使用され、これらの窓内で車線マークが検出される。利用可能な探索窓の最大数は状況によって求められる。この方策は、カーブ走行又は車線変更の際にも車線を引続き認識できるという利点を与える。

本発明の課題は、自動車の車線を速やかにかつ確実に認識することである。

この課題は独立請求項により解決される。従属請求項は本発明の有利な実施形態及び展開を示している。

車両のカメラに基く車線を見出すために、画像データがそれに適した評価方法（アルゴリズム）により分析される。車線を速やかにかつ確実に見出すため、マークの種類を知るのが有利である。例えばドイツ連邦共和国では、周期的な間隔で中断される白線が車線マークとして使用され、これに反し米国では点状の隆起した車線マークいわゆるボットドットが用いられる。車両の車線を現在区画している車線マークの種類がわかっていると、画像データにおいて、所定の形状及び所定の間隔を持つ物体の存在を適切に捜すことができる。

そのため撮像装置を持ちかつ動かされる自動車用の車線マークを認識する方法が提示される。撮像装置は車両の前の車道へ向けられている。撮影される画像データは、明るさの相違に応じて分析され、かつ／又は画像の隅が抽出される。車線マークを特徴づけるのは、車道上におけるその周期的な配置である。画像には、車両周辺からの３次元光景が２次元に模写される。即ち周辺にある等間隔の物体は、画像において必ずしも等間隔には表示されない。従って評価のため画像データがまず他の座標系に変換され、この座標系が、記録されてパースペクティブに歪んだ周辺の表示を画像において補償する。この補助関数は、周期的に反覆される物体に応じて検査される。撮像装置の視方向及び写像特性に関係して、車両周辺又は車道上の空間的に等間隔の測定点を持つ補助関数が補間されるのがよい。

本発明の好ましい構成では、周期的な明るさ変化について計算又は補間される補助関数が単位移動距離毎に検査される。時間的変化に関する概念としての周波数と同じように、空間的に変化する量を記述するための概念として空間周波数が以下に使用される。空間周波数スペクトルが、典型的な車線マークの前もって記憶されている周波数パターンと比較される。その際場合によっては重要な周波数範囲のみを比較するのが有利である。所定の周波数パターンとの一致により、車線マークの種類（破線、ボットドット等）が認識される。

本発明の別の構成では、明るさ推移の補助関数が時間領域で評価される。相関法により、典型的なマーク種類の記号を求めることができる。そのため画像データ又は時間に関係する補助信号が、特定のマーク種類に対して典型的な所定の信号推移と相関され、即ち両方の信号の畳み込み又は相互相関が行われる。結果に基いて、両方の信号の相似を求め、それにより所定の種類のマークであるか否かを決定することができる。評価には車両の自己速度が入り込まねばならない。なぜならば、求められる周波数は速度に関係し、従って類似の速度において求められた信号推移のみが比較可能だからである。相互相関法は標準化される結果を与え、これに反し畳み込みの結果は標準化されておらず、従って所定の種類のマークであるか否かの適応決定法を用いなければならない。

測定される明るさ推移とマークの種類にとって典型的な推移との相関による車線マーク認識は、本発明の特殊な構成では、時間領域における代わりに空間領域における前述した方法と全く同じように行われる。

本発明の有利な構成では、画像の所定の領域においてのみ、コントラストの相違従って車線マークが求められる。所定の領域は、それらがモデルを持つものと仮定される車線推移を限定するように設けられている。

得られる結果を検査しかつ評価の誤りを回避する別の方法段階は、本発明の以下の有利な実施形態において示される。誤って認識される車線マークは、車線マークの認識を困難にする。「誤った車線マーク」は、車線マークの汚れ、組織又は例えば湿った車道上の鏡形成によって、見られる画像部分に生じることがある。

本発明の特別な実施形態では確認される車線マークに沿う個々の区域に対する画像（画像部分）において、明るさの時間的推移の周波数スペクトルが求められる。周波数スペクトルは、画像区域又は画素に対する時間に関係する明るさ推移の周波数分析によって求められる。異なる画像区域の周波数スペクルが比較される。１つの画像区域において周波数スペクトルが他の区域から著しく相違していうると、このセグメントにおける測定信号が破棄される。

本発明の有利な構成では、確認される車線マークに沿う個々の区域（画像部分又は画素）に対する画像において、明るさ推移が求められる。マーク線は通常走行方向における周期的な組織によって表されている。しかし走行作動中には、場所的な周期性のほかに、マーク測定値の時間的周期性も現れる。マーク測定とマーク中断との間の時間的交代によって、すべての画像区域に同じ明るさ推移が生じる。相互相関による明るさ推移の比較によって、明るさ推移の類似を求めることができる。特定の画像区域における明るさ推移が他の明るさ推移と一致すると。それが破棄される。

本発明の別の構成では、評価誤りを確認するため、それぞれの画像区域において時間に関係する明るさの推移が、自己速度を考慮して、所定の明るさの推移と比較される。同じ車両速度において測定される信号と所定の信号が記録されるか又はシミュレートされた時ののみ、両方の信号を互いに比較することができる。比較は、相関又は周波数分析とそれに続くスベクトルの比較により行われる。両方の評価方法は直前に説明された。所定の明るさ推移は典型的な車線マークの明るさ推移に一致する。１つの画像区域において記録される明るさ推移に類似していないと、この測定信号が破棄される。

本発明の有利な構成では、評価誤りを回避するため、直線又は円弧に沿って設けられる物体のみが車線マークとして認識される。この配置は車線マークの典型的な推移に一致している。

本発明の特別な実施形態において、車線マークとして認識される物体の運動方向が、順次に撮影される画像において検査される。「正しい」車線マークの運動方向は、少なくともほぼ直線状推移の車道又は車両の前の近傍範囲では、ほぼ一致している。他のマークの運動方向とは著しく相違する物体の測定値は破棄される。

本発明の有利な構成では、車線マークとして認識される物体の運動方向が順次に撮影される画像において検査され、かつ予測される推移と比較される。予測される推移は車両の自己速度及び場合によってはマークの種類（破線、ボットドット等）に関係して求められる。この予測される推移と相違する測定値が破棄される。

更に上述した方法を実施するため撮像装置及びプログラミングされる制御装置を持つ装置が紹介される。既知の車線マークに対する基準データ及び上述した方法を実施するためのプログラミングは、制御装置に記憶されている。

実施例及び２つの図により本発明が以下に説明される。

図示した車線認識方法は、特に車線マークの周期的特性を利用している。周期的特性は、周波数領域における信号の変換後特に有利に検査される。しかし周波数という概念は、ここでは抽象的に見られるべきである。なぜならば、マークの信号は時間と共に反覆されるのではなく、進んだ行程と共に周期的に反覆されるからである。この場合時間に関係する周波数の代わりに、空間周波数が論じられる。周波数領域における通常の方法を使用するため、測定信号の空間的に等間隔の走査が必要である。車道の直接の空間的に等距離の走査は、カメラ画像によっては不可能である。なぜならば、ディジタル画像は、画像チップ上に等間隔に設けられている画素から成っているからである。しかし車道への画素の投影は、車道の等間隔走査には至らない。なぜならば、撮像装置６は一般に直接車道へ向けられていないからである。これが図１にも示されている。撮像装置は、自動車１の前にある車道３上の光景が撮影されるように設けられている。扇状に設けられる線２は、車道３上にある画像チップの行の投影を示している。車道との隣接する交点の間隔は、距離の増大と共に増大する。従って車道３は等間隔には走査されない。画像の明るさの推移のために、車線縁の範囲におけるコントラストに等価な補助関数４に対して、画像において太く黒く示される推移が生じる。空間的に等間隔に走査される信号を得るため、等間隔で不連続な信号値を持つ別の補助関数を補間せねばならない。

この補助信号がスペクトル成分について検査される。即ち
連続線は高い直流成分を生じ、
破線は低い直流成分及び低周波数のスペクトル成分を生じ、
点線は比較的高周波数のスペクトル成分を生じる。

従って各マーク種類５は、ここで紹介される車線マークの確認方法において使用される特有の周波数スペクトルを生じる。この車線認識方法の利点は、撮像装置により、大きい予見領域が評価され、例えば１つのビーム受信機のみによる信号評価におけるより速い結果が得られることである。

車線認識の際評価の誤りを避けるため、上記の方法に加えて、車線区画線の時間的周期性が検査される。マーク線５は、通常走行方向における周期的組織によって表される。しかし走行作動においては、場所的周期性のほかに、マーク測定値の時間的周期性も生じる。図２には、車線縁に沿って画像区域における車線マークを検出する反覆周波数が、車両に対する車線マークの距離には無関係であることが示されている。そのため図２の右側に、特定の画素における測定信号の時間的推移が再現されている。つまり１つの画像区域における反覆周波数が他の画像区域において求められる反覆周波数と著しく相違していると、この画像区域における測定信号が破棄される。

カメラの走査線による車道の走査を示す。 車線マークの時間的推移を示す。

Claims (14)

1. 撮像装置（６）を持ちかつ動かされる自動車（１）用の車線マーク（５）を認識する方法であって、撮像装置（６）が車両の前の車道（３）へ向けられ、記録される画像データにおいて明るさの相違（コントラスト）が分析されかつ／又は隅が抽出されるものにおいて、
   車線マーク（５）が、車道（３）上におけるその周期的配置により認識され、評価のため撮像装置（６）の測定信号が別の座標系に変換され、こうして得られる補助関数が周期性に基いて検査される
   ことを特徴とする、方法。
2. 撮像装置（６）の視方向に関係して、車道上の空間的に等間隔の測定点を持つ補助関数が補間されることを特徴とする、請求項１に記載のカメラに基く方法。
3. 周期的な明るさ変化のための補助関数が単位移動距離毎に検査され、空間周波数により特徴づけられることを特徴とする、請求項１又は２に記載のカメラに基く装置。
4. 時間領域における画像データ又は補助関数が、所定の信号又は周波数分析との相関により、所定のマーク種類の特殊な記号について検査され、その際車両の自己速度が考慮されることを特徴とする、請求項１又は２に記載のカメラに基く装置。
5. 空間領域における補助関数が、所定の信号との相互相関又は畳み込みにより、所定のマーク種類の特殊な記号について検査されることを特徴とする、請求項１又は２に記載のカメラに基く装置。
6. 画像の所定の領域においてのみ車線マーク（５）が求められることを特徴とする、先行する請求項の１つに記載のカメラに基く装置。
7. 評価誤りを確認するため
   確認される車線マーク（５）に沿う個々の区域に対する画像（画像部分）において、明るさの時間的推移の周波数スペクトルが求められ、
   値が相互に比較され、
   １つの区域における周波数の強い偏差の場合、この測定信号が破棄される
   ことを特徴とする、先行する請求項１〜５の１つに記載のカメラに基く装置。
8. 評価誤りを確認するため
   確認される車線マーク（５）に沿う個々の区域に対する画像（画像部分）において、明るさの推移が求められ、
   相関により他の明るさの推移と比較され、
   １つの区域における周波数の強い偏差の場合、この測定信号が破棄される
   ことを特徴とする、先行する請求項１〜５の１つに記載のカメラに基く装置。
9. 評価誤りを確認するため、それぞれの画像区域に対する明るさの推移が、自己速度を考慮して、典型的な車線マークに相当する所定の明るさの推移と、相関及び周波数分析により比較され、すべての所定の信号の区域における明るさの推移の強い偏差の場合、測定信号が破棄されることを特徴とする、請求項７又は８に記載のカメラに基く方法。
10. 評価誤りを確認するため、物体のみが、直線又は円弧に沿って設けられる車線マーク（５）として認識されることを特徴とする、先行する請求項の１つに記載のカメラに基く方法。
11. 車線マーク（５）として認識される物体の運動方向が画像において検査され、他のマークの運動方向とは異なる物体の測定値が破棄されることを特徴とする、先行する請求項の１つに記載のカメラに基く方法。
12. 車線マーク（５）として認識される物体の運動方向及び／又は運動速度が画像において検査され、かつ予測される推移と比較され、この予測される推移が装置の自己速度に関係し、この推移とは異なる測定値が破棄されることを特徴とする、先行する請求項の１つに記載のカメラに基く方法。
13. 先行する請求項の１つに記載の方法を実施するため、撮像装置及びプログラミングされる制御装置を持つ装置。
14. 請求項１３に記載の装置を持つ自動車。

Images