JP2013531850A - 自動車の交通標識認識システムと車線認識システムとを融合する方法 - Google Patents

Abstract

本発明は、自動車の交通標識認識システム（１）と車線認識システム（２）とを融合する方法に関し、カメラ又はビデオに基くセンサ装置（４）のセンサデータから、交通標識認識システム（１）が交通標識情報を発生し、車線認識システム（２）が車線推移情報を発生し、本発明によれば、車線推移情報から、交通標識について意味を示すデータが発生され、交通標識について意味を示すデータが、交通標識情報のもっともらしさ検査及び／又は解釈のために使用され、交通標識情報から車線推移を示すデータが発生され、車線推移を示すデータが、車線推移情報のもっともらしさ検査及び／又は解釈のために使用される。
【選択図】図１

Description

本発明は、請求項１の上位概念に記載の自動車の交通標識認識システムと車線認識システムとを融合する方法に関する。

現代の運転者支援システムは、車両運転の課題において運転者を支援する。多くのこのようなシステムの基礎は例えば車線認識及び交通標識認識である。強固で確実な車線認識により、車線逸脱警告、縦制御システムのための車線対応又は車線維持のためかじ取りへの介入機能が実現される。

一般にこのような車線認識システム及び交通標識認識システムは、カメラシステム特に自動車の車内鏡又は車外鏡に設けられるビデオカメラシステムに基いている。

このような運転者支援システムがナビゲーションシステム及び／又は種々の運転者支援システムから付加的な情報を得て、対応及び多義性における誤りを少なくすることは公知である。

ドイツ連邦共和国特許出願公開第１０２００９０３６１９６号明細書は、車両のため交通標識認識方法を記載しており、車両の周辺にある交通標識がカメラにより求められて検出される。車両の周辺にある交通標識を探すため、ナビゲーションシステムのカードデータが使用され、車線認識システムの車線データ及び／又はセンサ装置により評価される、カメラに対する交通標識のそのつどの相対位置に基いて、周辺にある交通標識を探すための探索範囲が予め選ばれかつ／又は限定される。

ドイツ連邦共和国特許出願公開第１９９４８７３４号明細書から、カメラにより車線認識を行う方法が公知であり、これらのデータが評価計算機へ供給され、ナビゲーションデータ及び現在の車線認識データが、場所に関して評価計算機に関連可能である。それにより電子的に地図を作成されかつ／又は予言的に知られる区間データが、走行作動中に永続的な車線検査により検証される。更にカメラの画像データが交通標識認識システムにも供給されるので、車線検査の現在の結果データ及び区間データが、カメラにより支援される電子交通標識認識システムの現在のデータに関連せしめられる。

しかしナビゲーションに基くデータが使用不可能であり、従って衛星により支援されるナビゲーションシステムの付加的な入力信号を運転者システムが使用できない場合、このような運転者システムの機能が制限される。

本発明の課題は、最初にあげた種類の方法を発展させて、交通標識認識システムも車線認識システムも一層強固かつ確実になり、その使用可能性が改善され、ディジタルカード又は衛星により支援されるナビゲーションシステムからの情報が必要でないようにすることである。

この課題は、請求項１の特徴を持つ方法によって解決される。

本発明によるこの方法は、車線推移情報から、交通標識について意味を示すデータが発生され、交通標識について意味を示すデータが、交通標識情報のもっともらしさ検査及び／又は解釈のために使用され、交通標識情報から車線推移を示すデータが発生され、車線推移を示すデータが、車線推移情報のもっともらしさ検査及び／又は解釈のために使用されることを特徴としている。

それにより車線認識から、交通標識の妥当性にとっても重要な情報が得られ、従って意味分析又は意味見出しにも使用される。逆に認識される交通標識についての情報も、車線認識のために同じように使用される。

本発明の構成によれば、交通標識認識システムにより認識される交通標識が、車線推移を示すデータによりもっともらしさを検査されるか又は解釈され、それにより認識される交通標識が直線走行される車線にとって重要であり、即ち運転者にとって有効であり、従って運転者により注意されねばならないようにする。

このため車線推移情報から、交通標識について意味を示すデータとして、車道の追越し車線への線構造についての情報が発生され、交通標識認識システムにより認識されて追越し禁止を示す交通標識が、線構造についての情報によりもっともらしさを検査されるのがよい。

本発明の別の有利な構成によれば、車線推移情報から、交通標識について意味を示す情報として、出口又は出口範囲を示す情報が発生され、交通標識認識システムにより認識されて速度を制限し、かつ／又は追越し禁止を示す交通標識が、出口又は出口範囲を示す情報によりもっともらしさを検査される。

従って一方では本発明の構成により、車線認識システムにより認識される現在の車線からかつ／又は車線認識システムにより認識される自動車の車線変更及び出口を示す情報から、出口のそばを自動車の通り過ぎが検出されると、認識されかつ出口に関して速度を制限しかつ／又は追越し禁止を示す交通標識に関するデータが、交通標識認識システムにより棄却される。

しかし他方では本発明の別の構成により、車線認識システムにより認識される現在の車線からかつ／又は車線認識システム（２）により認識される自動車の車線変更及び出口を示す情報から、自動車の出口が検出されると、交通標識認識システムにより認識されかつ出口に対応して速度を制限しかつ／又は追越し禁止を示す交通標識が、自動車のＭＨＩインタフェースへ出力される。

本発明による方法の別の有利な構成では、自動車の現在の車線に関する車線認識システムの車線推移情報から、交通標識について意味を示すデータとして、出口又は出口範囲を示す情報が発生され、出口又は出口範囲を示す情報により、交通標識認識システムにより認識されて速度を制限しかつ／又は追越し禁止を示す交通標識が、破棄されたものと解釈される。

更に本発明の展開によれば、現在の車線に関する車線認識システムの車線推移情報から、交通標識について意味を示すデータが、出口又は出口範囲を示す情報として発生され、認識される出口又は出口範囲の頻度から、右側通行又は左側通行を示して交通標識認識システムにより認識される交通標識が、もっともらしさを検査される。

最後に本発明の構成により、現在の車線に関する車線認識システムの車線推移情報から、交通標識について意味を示すデータとして、建設現場を示す情報が発生され、建設現場を示す情報により、交通標識認識システムにより認識されて速度を制限しかつ／又は追越し禁止を示す交通標識が、もっともらしさを検査されると有利である。

交通標識認識システムによる車線認識システムの支援は、本発明の有利な展開では、交通標識認識システムにより発生される交通標識情報から、車線推移を示すデータとして、建設現場を示す情報が発生され、建設現場を示す情報から、車線認識システムにより、センサデータが、特定の車線シナリオ及び／又は特定の車線推移シナリオの指標に従って評価される。こうして交通標識認識システムにより認識される建設現場看板についての情報を、車線認識システムが画像情報を特定の車道マーク特に黄色の車道マークに関する特定の車線推移シナリオのためのインジケータとして評価するために、使用することができる。

本発明による方法の別の有利な構成では、交通標識認識システムにより発生される交通標識情報から、車線推移を示すデータとして、速度を制限しかつ／又は道路形式を表す交通標識を示す情報が発生され、速度を制限しかつ／又は道路形式を表す交通標識を示す情報が、車線認識システムにより、道路形式を示す特徴によって評価されるか、又は認識される道路形式がもっともらしさを検査される。

最後に本発明の好ましい展開により、交通標識認識システムにより発生される交通標識情報から、車線推移を示すデータとして、速度を制限しかつ／又は道路形式を表す情報が発生され、速度を制限しかつ／又は道路形式を表す交通標識を示す情報により、車線推移シナリオを発生する車線認識システムのフィルタのフィルタ動作が適合されると、特に有利である。

ただ１つの図１を参照して、本発明が以下に詳細に説明される。

図示しない自動車の交通標識認識システム１及び車線認識システム２から構成される運転者支援システムの概略化されたブロックダイアグラムを示す。

運転者支援システムは、更に後に記憶装置５を接続されるビデオカメラ４を含み、カメラ４により記録される自動車の周辺の画像データが記憶装置５に記録される。このカメラ４は自動車の前の空間を検出し、一般に自動車の室内鏡に設けられている。それに加えて又はその代わりに、自動車の側方空間を検出するため、それぞれ１つのカメラ４を室外鏡に取付けることができる。

記憶装置５の画像データは、交通標識認識システム１及び車線認識システム２へ供給される。

交通標識認識システム１は、検出器６により、従来技術において公知の方法に従って、画像データから交通標識を検出しかつ分類し、後続の選択−もっともらしさ検査装置９において交通標識がもっともらしさを検査されるか選択され、それから認識された交通標識として出力メモリ７に記録される。その場合認識される交通標識についてのこれらの情報を、ＨＭＩインタフェースとしての出力装置３例えば複合器具の中央ディスプレイ又は表示器が、自動車の運転者のため表示のため使用可能である。これから操作装置３による警告又は車両介入を誘導することができる。

記録装置５の画像データから、車線認識システム２により、現在の車線及び追越し車線、対向車線又は出口車線のような隣接車線の車線推移が検出され、車両の自己運動（縦速度、横速度、片揺れ速度等）を検出する車両センサ装置８のデータと共に評価され、その結果が出力及び操作装置３へ供給されて、これから同じように光又は音の警告示唆及び／又は車両介入を指導する。車両センサ装置８のデータは、例えば自動車の運転者支援システム（ＥＳＰ，ＡＳＲ等）のような他の車両システムにも供給される。

カメラに基く交通標識認識システム１及び車線認識システム２を強固に形成するため、車線認識システム２により発生されて交通標識の認識のために重要な情報が交通標識認識システム１へ供給され、またその逆も行われ、交通標識認識システム１により発生されて車線推移のために重要な情報が車線認識システム２により利用可能にされる。

車線認識システム２により利用可能にされる車線情報を選択兼もっともらしさ検査装置９へ供給することによって、交通標識認識システム１により認識される交通標識を、これらの車線情報によって、もっともらしさについて検査することができる。複数の交通標識が認識されると、供給される車線情報により、自動車が現在走行している車線にとって妥当な交通標識を選択することができる。供給される車線情報により、認識される交通標識をもっともらしさについて検査するか又は解釈すること、即ち認識される交通標識が現在走行している車線にとって妥当であるか否か、従って自動車の運転者によって注意せねばならないか否かを解釈することも可能である。

これに対する実例は、交通標識認識システム１による交通標識の認識、及び現在走行している車線と隣接する追越し車線との間に引かれているか又は引かれているものと解釈される線構造の検出に基く交通標識のもっともらしさ検査である。

更に出口範囲に対してのみ通用する出口の範囲において速度制限を示す交通標識も、交通標識認識システム１により認識される出口及び／又は認識される出口車線によってもっともらしさを検査される。

このような場合車線認識システム２により認識される現在の車線及び／又は車線認識システム２により認識される自動車の車線変更及び出口を示す車線認識システム２の情報から、出口のそばを自動車の通り過ぎが検出される場合、交通標識認識システム１により、認識されて出口に関し速度制限しかつ／又は追越し禁止を示す交通標識に関するデータが棄却される。こうして選択−もっともらしさ検査装置９の交通標識データは出口メモリ７には記憶されない。

出口のそばの通り過ぎを示す車線変更は、車両の中央による車道標識の乗り越えの検出、又は現在に車線に対する車両片揺れ角に基く自動車の検出される方向変更によって検出される。

更に実線と破線との間で変化する右の車道標識の標識形式の変更によっても、通り過ぎを認識することができる。このため点滅信号の検出も適しているであろう。

しかし出口のそばの通り過ぎが検出されず、車線認識システム２により認識される現在の車線及び／又は車線認識システム２により認識される自動車の車線変更及び出口を示す情報から、自動車の出口が認識される場合、交通標識認識システム１により認識されかつ出口の選択−もっともらしさ検査装置９に付属して速度制限しかつ／又は追越し禁止を示す交通標識が、出口メモリ７を介して自動車のＨＭＩインタフェース３へ、例えば光又は音の警告注意として出力される。これを、例えば自動車の制御を開始するため、車両介入を開始する運転者支援システムの操作器を始動するために使用することもできる。

ビデオに基く出口認識は、例えばビデオカメラ４による自動車のそのほかの周辺の検出によって行われ、それにより出口車線の始めと終わりを検出する。更にもっともらしさ検査のために、車線認識システム２により認識される出口標識も役立つ。出口認識のための特徴又は指標として、現在の車線に対する出口車線の非平行性が検出されるか、又は標識形式が検出されて評価される。画像認識の面でε状又はλ状構造の検出により、出口の認識が可能である。

更に出口の認識に関連して、出口又は出口範囲を示しかつ車線認識システム２により発生される情報により、交通標識認識システム１により認識されて速度を制限しかつ／又は追越し禁止を示す交通標識が破棄されたものと解釈され、即ちこれらの交通標識データが、選択−もっともらしさ検査装置９により出力メモリ７に記憶されないようにすることも可能である。

最後に、車線認識システム２により確認される出口に関して発生される情報を、確認される出口又は出口範囲の頻度から、右側通行又は左側通行を示しかつ交通標識認識システム１により認識される交通標識のもっともらしさを検査するために使用することも可能である。

更に車線認識システムにより発生されて建設現場を示す情報によっても、速度制限を示す交通標識のもっともらしさを検査することができる。こうして速度制限を示す交通標識を交通標識認識システム１により認識することなしに、速度制限を持つ建設現場を推論することも可能である。この事例は、例えば先行する自動車のこのような交通標識が時々隠される時に、起こることがある。ビデオに基く建設現場認識は、例えばガードレール、案内壁又は隆起した構造及び標識色の検出によって可能である。

既に上述したように、交通標識認識システム１により発生される情報も、認識される交通標識を介して、車線認識システム２が交通標識認識システム１の出力メモリ７を介して利用できる車線推移にとって重要な情報を含んでいる。

こうして交通標識認識システム１により発生される交通標識情報から、車線推移を示すデータとして、建設現場を示す情報が発生され、それにより車線認識システム２が、特定の車線推移シナリオによるメモリ装置５の画像データ及び／又は特定の車線推移シナリオに対するインジケータを評価させられる。

特定の車線推移シナリオ及び／又は特定の車線推移シナリオのインジケータは、例えば狭くなる車線標識、付加的な車線標識又は車線標識の特定の色を表す。

建設現場を示すこれらの情報は、例えば建設現場看板又は速度減少を示す交通標識を表す。交通標識認識システム１のこのような情報は、建設現場の範囲における正しい車線限界の選択に役立つ。なぜならば、普通の車線標識に建設現場標識を重ねることができるからである。

最後にこれらの建設現場を示す交通標識認識システム１の情報は、自動車の運転者支援システムの車線追従機能の停止、例えば車線逸脱警告又は車線保持機能の停止にも使用することができる。

更に交通標識認識システム１により発生される交通標識情報から、車線推移を示すデータとして、速度を制限しかつ／又は道路形式を表す交通標識を示す情報が発生され、車線認識システム２により、道路形式を示す特徴に従って評価されるか、又は認識される道路形式がもっともらしさを検査される。こうして例えば１３０ｋｍ／ｈの認識される速度制限において、車線認識システム２により認識される街道を、もっともらしさについて検査することができる。交通標識認識システム１により認識される高速道路又は自動車道路の標識において、車線認識システム２により、認識される高速道路又は認識される自動車道路のもっともらしさを検査することができる。

交通標識認識システム１により発生される交通標識情報から、車線推移を示すデータとして、速度を制限しかつ／又は道路形式を示す交通標識を示す情報が発生されると、これらの情報に基いて、車線推移シナリオを発生する車線認識システム２のフィルタのフィルタ動作が合わされる。

Claims (12)

1. 自動車の交通標識認識システム（１）と車線認識システム（２）とを融合する方法であって、カメラ又はビデオに基くセンサ装置（４）のセンサデータから、交通標識認識システム（１）が交通標識情報を発生し、車線認識システム（２）が車線推移情報を発生するものにおいて、
   車線推移情報から、交通標識について意味を示すデータが発生され、
   交通標識について意味を示すデータが、交通標識情報のもっともらしさ検査及び／又は解釈のために使用され、
   交通標識情報から車線推移を示すデータが発生され、
   車線推移を示すデータが、車線推移情報のもっともらしさ検査及び／又は解釈のために使用される
   ことを特徴とする、方法。
2. 交通標識認識システム（１）により認識される交通標識が、車線認識システム（２）の車線推移を示すデータによりもっともらしさを検査されることを特徴とする、請求項１に記載の方法。
3. 車線認識システム（２）の車線推移情報から、交通標識について意味を示すデータとして、車道の追越し車線への線構造についての情報が発生され、
   交通標識認識システム（１）により認識されて追越し禁止を示す交通標識が、線構造についての情報によりもっともらしさを検査される
   ことを特徴とする、請求項１又は２に記載の方法。
4. 車線認識システム（２）の車線推移情報から、交通標識について意味を示す情報として、出口又は出口範囲を示す情報が発生され、
   交通標識認識システム（１）により認識されて速度を制限し、かつ／又は追越し禁止を示す交通標識が、出口又は出口範囲を示す情報によりもっともらしさを検査される
   ことを特徴とする、先行する請求項の１つに記載の方法。
5. 車線認識システム（２）により認識される現在の車線からかつ／又は車線認識システムにより認識される自動車の車線変更及び出口を示す情報から、出口のそばを自動車の通り過ぎが検出され、
   認識されかつ出口に関して速度を制限しかつ／又は追越し禁止を示す交通標識に関するデータが、交通標識認識システム（１）により棄却される
   ことを特徴とする、請求項４に記載の方法。
6. 車線認識システム（２）により認識される現在の車線からかつ／又は車線認識システム（２）により認識される自動車の車線変更及び出口を示す情報から、自動車の出口が検出され、
   交通標識認識システム（１）により認識されかつ出口に対応して速度を制限しかつ／又は追越し禁止を示す交通標識が、自動車のＭＨＩインタフェース（３）へ出力される
   ことを特徴とする、請求項４に記載の方法。
7. 自動車の現在の車線に関する車線認識システム（２）の車線推移情報から、交通標識について意味を示すデータとして、出口又は出口範囲を示す情報が発生され、
   出口又は出口範囲を示す情報により、交通標識認識システム（１）により認識されて速度を制限しかつ／又は追越し禁止を示す交通標識が、破棄されたものと解釈される
   ことを特徴とする、先行する請求項の１つに記載の方法。
8. 現在の車線に関する車線認識システム（２）の車線推移情報から、交通標識について意味を示すデータが、出口又は出口範囲を示す情報として発生され、
   認識される出口又は出口範囲の頻度から、右側通行又は左側通行を示して交通標識認識システム（１）により認識される交通標識が、もっともらしさを検査される
   ことを特徴とする、先行する請求項の１つに記載の方法。
9. 現在の車線に関する車線認識システム（２）の車線推移情報から、交通標識について意味を示すデータとして、建設現場を示す情報が発生され、
   建設現場を示す情報により、交通標識認識システム（１）により認識されて速度を制限しかつ／又は追越し禁止を示す交通標識が、もっともらしさを検査される
   ことを特徴とする、先行する請求項の１つに記載の方法。
10. 交通標識認識システム（１）により発生される交通標識情報から、車線推移を示すデータとして、建設現場を示す情報が発生され、
    建設現場を示す情報から、車線認識システム（２）により、センサデータが、特定の車線シナリオ及び／又は特定の車線推移シナリオの指標に従って評価される
    ことを特徴とする、先行する請求項の１つに記載の方法。
11. 交通標識認識システム（１）により発生される交通標識情報から、車線推移を示すデータとして、速度を制限しかつ／又は道路形式を表す交通標識を示す情報が発生され、
    速度を制限しかつ／又は道路形式を表す交通標識を示す情報が、車線認識システム（２）により、道路形式を示す特徴によって評価されるか、又は認識される道路形式がもっともらしさを検査される
    ことを特徴とする、先行する請求項の１つに記載の方法。
12. 交通標識認識システム（１）により発生される交通標識情報から、車線推移を示すデータとして、速度を制限しかつ／又は道路形式を表す情報が発生され、
    速度を制限しかつ／又は道路形式を表す交通標識を示す情報により、車線推移シナリオを発生する車線認識システム（２）のフィルタのフィルタ動作が適合される
    ことを特徴とする、先行する請求項の１つに記載の方法。

Images