JP2015501249A - 車両を運転する際にドライバーをサポートする、或いは、車両を自律的に運転する装置 - Google Patents

Abstract

本発明は、車両を運転する際にドライバーをサポートする、或いは、車両を自律的に運転する装置に関する。該装置は、複数の間隔センサー（２，４，５）、カメラセンサー（１，３）、評価ユニット、並びに、制御ユニットを包含している。該間隔センサーは、車両の直接前後にあるオブジェクトを検出する。該カメラセンサーは、車両の周りの領域一周を捕捉する。該評価ユニットは、該間隔センサーとカメラセンサーのデータから、捕捉領域の三次元状況再現（ステータス）を割出す。該制御ユニットは、該三次元状況再現を考慮しつつ、ドライバーにアドバイスを提供する、或いは、車両制御に介入する。

Description

本発明は、車両を運転する際にドライバーをサポートする装置、並びに、車両を自律的に運転する装置に関する。

受動的安全に対する要求に基づき、今日の車両では、煩雑さが増している。これが、例えば、狭い屋内駐車場内での駐車マヌーバなど、運転マヌーバを困難にしたり、むしろ、危険にさらしている。

このような傾向に歯止めをかけるため、状況の概要をよりわかりやすくドライバーに伝えるために採用されるセンサー類が増え続けている。初期のころは、障害物があると音声信号によって間隔をドライバーに伝える単純な超音波センサーであった。

ナビゲーション・システムが採用されるようになり、車両内にはモニターが装備されるようになった。これは、例えば、ドライバーに、車両を上から見た映像を示し、オブジェクトと車両の間隔を見せるために用いることもできる。

該ディスプレーは、バック走行用カメラの画像を映し出すために用いることもできる。ここで採用されるものは、車両後方全体を捕捉できるフィッシュアイ・カメラである。

付加的に、カメラ画像上に、実際の車幅や走行軌道に関する情報をオーバーレイすることも可能である。また、超音波センサーによって認識された駐車可能な空きスペースを表示することも可能である。なかには、認識された空きスペースに車を止めるために、ドライバーが運転すべき軌道を示すシステムすらある。

車両周辺部全体用に複数のカメラを備えたシステムも少なくとも計画されている。画像データを転換することにより、ドライバーに、車両周辺全体のフォトリアル（写実的）描画を示すことが可能である。

特許文献１には、車両の主四方向を捉える四台のカメラと複数の間隔センサーを包含した、車両用の駐車アシスタントシステムが開示されている。

欠点としては、このシステムでは、カメラデータが、ディスプレーへの表示のためのみに用いられ、オブジェクト情報が、間隔センサーのデータのみから割出されているため、オブジェクトを常に確実に認識できないことが挙げられる。レーダーや超音波センサーを間隔センサーとして用いる場合、オブジェクトの高さを測定できない、或いは、非常に不正確にしか測定できないことも問題点である。

欧州特許公開第２１８１８９２号明細書

よって、本発明の課題は、従来の技術において既知の装置の上記欠点を解消することにある。

本課題は、車両を運転する際にドライバーをサポートする、或いは、車両を自律的に運転する装置によって解決される。該装置は、複数の間隔センサーとカメラセンサー、評価ユニット、並びに、制御ユニットを包含している。

該間隔センサーは、車両の直接前後、例えば、車両のバンパーのセンチメートルから数メートルの領域内にあるオブジェクトを検出する。尚、車両の多少横の斜め前や後ろにあるオブジェクトも、該間隔センサーによって検出される。該間隔センサーは、車両が直接走行可能な全ての方向をカバーする捕捉領域を有していることが好ましい。

該カメラセンサーは、車両の周りの領域一周を捕捉する、よって、その捕捉領域が隣接するカメラの領域と一部オーバーラップするような広角カメラとして構成されていることが好ましい。

該評価ユニットは、該間隔センサーとカメラセンサーのデータから、捕捉領域、即ち、少なくとも車両の前後を取り巻く領域の、好ましくは、車両を３６０°取り巻く領域の三次元状況再現を割出す。

該制御ユニットは、該三次元状況再現を考慮しつつ、ドライバーにアドバイスを提供する、或いは、車両制御に介入する。

よって、既存のセンサーシステムを、特に好ましくは、車両を運転するタスクの一部を担うために、或いは、完全に自立的に走行するために用いることが可能になる。

該発明は、オブジェクトを信頼性高く、確実に認識すると言う長所を持っている。車両の直接的周辺部の三次元状況再現は、カメラのデータと間隔センサーのデータを考慮しているため、非常に堅牢である。

よって、運転マヌーバは、非常に緻密に計画される、或いは、実行されることができる。

好ましい実施形態では、該評価ユニットは、少なくとも一台のカメラセンサーのデータから、光学的流れを用いて、三次元状況再現を作成する。即ち、２Ｄカメラ画像のシーケンス内のオブジェクトの動きから、カメラ自体の移動を考慮した上で、該オブジェクトの３Ｄ情報が再現されるのである。

再現により得られた車両周辺部に関する３Ｄ情報は、間隔センサーのデータと共に、定置格子（英語：ＳＴＡＴＩＯＮＡＲＹ ＧＲＩＤ）に融合することができる。

好ましい実施形態では、該評価ユニットは、車両が動いている間、少なくとも一つの間隔センサーのデータから、捕捉されている領域内のオブジェクトが、静止している車両周辺部に対して動いたか、否かも認識する。動いているオブジェクトは、例えば、超音波センサーやレーダー・センサーによって容易に認識できる。

好ましくは、この情報は、カメラデータの３次元状況再現にも用いることができる。動いているオブジェクトは、自車両が動いている場合、状況再現を歪曲する。動いているオブジェクトに対応するカメラデータは、好ましくは、３次元状況再現の作成においては考慮されない。

しかし、動いているオブジェクトは、間隔センサーから直接認識される。

一方、定置のオブジェクトは、好ましくは、カメラデータから認識された上、少なくとも一つの間隔センサーのデータによって、再確認される。

好ましくは、車両が停止中は、動いているオブジェクトは、少なくとも一台のカメラセンサーのデータから検出される。

ある好ましい実施形態では、カメラは、車両の前後の領域を捕捉するカメラが、車両の長手方向に対してずらされた視線方向を有するように車両に、或いは、車両内に配置されている。

好ましくは、間隔センサーとしては、超音波センサーのみが、或いは、少なくとも超音波センサーが、設けられている。

代案的、或いは、補足的には、レーダー・センサー、及び／或いは、ライダー・センサーが、間隔センサーとして設けられている。

好ましくは、車両の左右の領域用としては、それぞれ少なくとも一つの間隔センサーが設けられている。

本発明のある好ましい実施形態によれば、制御ユニットが、車両に自律的な走行を指示する最高速度は、車両のために制御ユニットが割出した軌道の方向を向いているカメラセンサーと間隔センサーの作動範囲に依存する。

以下、本発明を、実施例と図面に基づいて詳しく説明する。

様々な捕捉領域（１−５）を有する様々な周辺センサー類のシステム構成の模式図

図は、様々な捕捉領域（１−５）を有する様々な周辺センサー類のシステム構成（コンフィグレーション）を模式的に示している。考え得るセンサー・コンフィグレーションは、非常に多種であり、これらは、主にセンサーの開口角や作動範囲、車両の形状に依存しているが、運転タスクの自動化のためには、車両がそこへ進入し得る領域の十分な監視が実施されなければならないことは、常に、注意されなければならない。

ここに示されているコンフィグレーションでは、個々の捕捉領域（１、実線の境界線）によって、中距離、例えば、約１００メートルまでの車両の周囲３６０°の周辺部をカバーする複数のカメラが、車両に、或いは、車両内に配置されている。このようなカメラ配置は、パノラマ・ビュー・システム、別名、トップ・ヴュー・システムにおいて採用されている。トップ・ヴュー・システムでは、典型的に、鳥瞰的に車両とその周辺を表すことができる。

車両が動いている時は、各々のカメラの画像データから、光学的流れの方法に基づいて、車両の撮影された周辺３次元状況再現を実施できる。カメラ自体の動きは、定置オブジェクトに起因する画像内の光学的流れの全容を知ることで割出すことが可能である。車両内での、或いは、車両への取付状態の、車両の動きの、特に、車両センサー類（例えば、速度センサー、操舵角センサー、ハンドルセンサー、ヨーイング角／レート、ピッチング角／レート、ローリング角／レート・センサーなど）のデータを自らの動きを割出すために用いることにより、計算を容易にすることができる。光学的流れでは、連続する画像内の独特な特徴的点を追跡（トラッキング）する。カメラは、車両と共に動くため、該特徴的点が、車両周辺部の定置オブジェクトに相当する場合、三角測量を用いて、該特徴的点の三次元情報を得ることができる。

このような帰属は、間隔センサーが、該オブジェクトとその車両に対する相対的な動きを捉えれば簡単かつ信頼性高く実施できる。車両固有運動を考慮すれば、間隔センサーによって、あるオブジェクトが、静止している車両周辺部に対して動いているか、否か、或いは、定置オブジェクトであるか、否かを割出すことができる。動いているオブジェクトは、例えば、超音波センサーやレーダー・センサーによって容易に認識できる。この情報は、カメラデータの３次元状況再現を実施するために用いられる。動いているオブジェクトは、通常、自車両が動いている場合、状況再現を歪曲する。よって、動いているオブジェクトは、間隔センサーから直接認識される。

定置オブジェクトは、先ず、カメラによる３次元状況再現の情報によって、捕捉され、続いて、少なくとも一つの間隔センサーによって、「乗り越えることができない」と再確認される。

走行方向（即ち、車両の長手方向）に設けられているカメラのデータの３次元状況再現の難しさは、画像の中心では、所謂「ｃｅｎｔｒｅ ｏｆ ｅｘｐａｎｓｉｏｎ」では、画像情報の変化が少ない、或いは、全く無く、よって、オブジェクトに関する情報が、全く得られないため、３次元状況再現をするのに必要な情報が無いことにある。尚、オブジェクトが、画像から下方へと出ていくような近距離領域においては、例外的に３Ｄ情報を得ることも可能である。

よって、確実な認識を実現するためには、カメラは、真っ直ぐに走行方向に向けられるのではなく、しかし他のセンサーと共同で車両周辺部を完全に捕捉できるように取付けられていなければならない。示されているセンサー・コンフィグレーションでは、捕捉領域（１）が前方に向けられている双方のカメラは、それぞれ車両の長手方向／走行方向に対して左右に約３０度ずらして取付けられている。車両後方の領域は、長手方向に配置されているテールカメラによって監視されているが、更には、それぞれ捕捉領域が広いため双方を合わせると車両後方の領域を略完全に捉えることのできる斜め後方に向けて取り付けられたカメラも、二台設けられている。尚、これら斜め後方に向けられたカメラの視線方向は、車両の長手方向／後進方向に対して、それぞれ約６０度左・右にずらされている。

ずらしたカメラ配置の代案としては、他のセンサー類を走行方向に設けることも可能である。例えば、ライダー・センサーやステレオ・カメラを、更なる信頼性の向上と、オブジェクト認識の作動範囲を延ばす目的で、採用することができる。

一台のカメラでも、車両が停止している間、動いている障害物を容易に認識できる。これも、光学的流れ、或いは、画像内容の変化を割出す方法（画像差異法）によって、実施可能である。このような状況では、ドライバーに、仮に発車すれば、衝突の可能性がある歩行者、自転車、或いは、他の車両に関しての情報を提供することができる。

遠距離領域用レーダー、典型的には、周波数７９ＧＨｚのものは、車両の前方のかなりの距離（例えば、数百メートル）の捕捉領域（２、点線の境界線）を有している。このようなレーダー・センサーは、ＡＣＣシステム（車間調整クルーズコントロール）の構成部品として頻繁に用いられている。

ステレオ・カメラは、車両前方の中距離に至る領域（３、点棒線の境界線）を監視し、この領域内のオブジェクトの空間的情報を提供する。

二つの近距離領域用レーダー・センサーは、車両横の捕捉領域（４、短棒線の境界線）を監視し、典型的には、２４ＧＨｚである。これらは、頻繁に死角監視（Ｂｌｉｎｄ Ｓｐｏｔ Ｄｅｔｅｃｔｉｏｎ）も担っている。

超音波センサーは、車両のバンパー近傍の捕捉領域（５、斜線領域）を監視している。このような、超音波センサーは、駐車サポートとして頻繁に採用されている。尚、この捕捉領域（５）は、車両が直接的に移動可能な全ての方向をカバーしていると言う長所を持っている。一方、この捕捉領域は、縦方向には、あまり伸びていないため、低い車両速度範囲においてのみ十分である。しかし、近距離領域用レーダー・センサー（４）、ステレオ・カメラ（３）、ライダー・センサー（図示されていない）、及び／或いは、遠距離領域用レーダー・センサー（２）のデータを考慮することにより、より遠く離れたオブジェクトも割出し、自律的な車両制御においてこれらを考慮することができるため、安全的制限を受けることなくより高い速度も実現可能である。

このように、センサー類から車両周辺部に関する信頼おける情報がそろえば、発展した車載機能を示すことができる。例えば、自律的に制動や操舵に介入することも可能になる。これにより、自動的な駐車スペース探索、及び、自動駐車も可能になる。即ち、操舵へのサポートだけでなく、縦方向制御への介入も可能になる。

このようなセンサー・コンフィグレーションによる車両周辺部の信頼性の高い、高度な空間的認識と評価方法は、更なる、サポートの可能性を生み出す。

例えば、車両は、自律的に駐車スペースを探しに行くことが可能になる。即ち、ドライバーは、駐車している自動車の横に平行に、車両を止める。その後、システムが、低速で、空きスペースを発見して停車するまで、駐車している自動車の横を通過していく。停車したら、ドライバーは、従来のオートマチック・トランスミッションでは、バックギヤに入れるだけで、その空きスペースに駐車させることができる。

更には、仮に名づけるとすれば「屋内駐車場モード」と呼べるであろうモードがあれば、屋内駐車場内では、車両に、自動的に駐車スペースを探させることも可能であろう。

フロア上のラインマークは、駐車カメラによって認識可能である。走行レーン認識の対応するアルゴリズムをこの目的にも用いることができる、或いは、この目的に合わせて変更できる。優先通行権や進入／出口ルールを示す標識、或いは、一方通行路などの標識も、前方遠方部に向けられた、図では、例えば、該ステレオ・カメラと言ったカメラによって認識できる。これは、交通標識認識に加えて付加的なアルゴリズムが実行できるタイプの、並びに、前方を走行中の車両、或いは、対向車両の車両ランプを認識することによって自動前照灯制御を実施するタイプの一般的な単眼のドライバー・アシスタント・カメラでも実施可能である。

オブジェクト認識は、原理的には、既に高い信頼性に達しているので、例えば、屋内駐車場の入り口で車を降りて車両だけを駐車スペースを探すために送り込むことも可能である。所謂、「Ｃａｒ−ｔｏ−Ｘ」コミュニケーション（Ｃ２Ｘ、車両とインフラストラクチャー間のコミュニケーション）を介せば、最寄りの空いている駐車スペースを車両に直接伝えることも可能である。

ドライバーが戻ってきた時には、ＬＴＥなど携帯電話の通信方式やＷＬＡＮが内蔵された特別な無線キーによって、屋内駐車場から出させるために、作動させることも可能であろう。また、屋内駐車場の料金も、例えば、携帯電話会社から請求されるモバイル・サービス精算として支払うことができる。

更には、屋内駐車場のＣ２Ｘユニットが、システムによる走行を容易にするために、屋内駐車場のマップ・データを、伝達することも可能であろう。このマップには、全ての、即ち、駐車している車両も含む、オブジェクトの位置情報を包含させることができる。そうすれば、オブジェクトを分類する必要は無くなる。

センサーの詳細精度と信頼性が十分であれば、車両を（ドライバーが乗っていない状態で）自律的に市内の駐車場を探させることも考え得る。

この際、車両は、好ましくは、駐車している車両に沿って走行し、空いている駐車スペースを探す。ある道路区画内において空いている駐車スペースが見つからなかった場合、システムは、ナビゲーション・データのサポートにより、他の道路区画内において駐車スペースを探すことも可能である。これを実現する前提としては、信号や優先通行権を表す標識の信頼性高い認識、並びに、駐車禁止標識の認識が必要となる。

このモードにおいて、該車両は、アクティブに交通に参加しない。即ち、この際車両はゆっくりと道路脇を走行するため、他の車両によって、追い越されることが可能である。

Claims (10)

1. 複数の間隔センサー、カメラセンサー、評価ユニット、並びに、制御ユニットを包含している装置であって、該間隔センサーが、車両の直接前後、例えば、車両のバンパーのセンチメートルから数メートルの領域内にあるオブジェクトを検出し、該カメラセンサーが、車両の周りの領域一周を捕捉し、該評価ユニットが、該間隔センサーとカメラセンサーのデータから、捕捉領域の三次元状況再現を割出し、そして、該制御ユニットが、該三次元状況再現を考慮しつつ、ドライバーにアドバイスを提供する、或いは、車両制御に介入することを特徴とする車両を運転する際にドライバーをサポートする、或いは、車両を自律的に運転する装置。
2. 該評価ユニットが、少なくとも一台のカメラセンサーのデータから、光学的流れを用いて、三次元状況再現を作成することを特徴とする請求項１に記載の装置。
3. 該評価ユニットが、車両が動いている間は、少なくとも一つの間隔センサーのデータから、捕捉されている領域内のオブジェクトが、静止している車両周辺部に対して動いたか、否かを認識することを特徴とする請求項２に記載の装置。
4. 動いているオブジェクトに対応するカメラデータは、３次元状況再現の作成においては無視されることを特徴とする請求項３に記載の装置。
5. 車両が停止中は、動いているオブジェクトは、少なくとも一台のカメラセンサーのデータから検出されることを特徴とする請求項１或いは２の何れか一項に記載の装置。
6. 該カメラが、車両の前後の領域を捕捉するカメラが、車両の長手方向に対してずらされた視線方向を有するように配置されていることを特徴とする先行請求項のうち何れか一項に記載の装置。
7. 該超音波センサーが、間隔センサーとして設けられていることを特徴とする先行請求項のうち何れか一項に記載の装置。
8. 該レーダー・センサー、及び／或いは、ライダー・センサーが、間隔センサーとして設けられていることを特徴とする先行請求項のうち何れか一項に記載の装置。
9. 車両の横の領域にそれぞれ少なくとも一つの間隔センサーが設けられていることを特徴とする先行請求項のうち何れか一項に記載の装置。
10. 該制御ユニットが、車両に自律的な走行を指示する最高速度が、車両のために制御ユニットが割出した軌道の方向を向いているカメラセンサーと間隔センサーの作動範囲に依存していることを特徴とする先行請求項のうち何れか一項に記載の装置。

Images