JP2018177216A - 車両が自動的に再び動き出すことを可能にする装置 - Google Patents

Abstract

【課題】車両が自動的に再び動き出すことを可能にする装置を提供する。【解決手段】入力ユニット２０は、車両周辺の画像を提供する。処理ユニット３０は、少なくとも１つの画像を処理して低レベル特徴を抽出する。低レベル特徴は、少なくとも１つのシーンのうちの単一の画像の中の少なくとも１つの低レベル特徴に基づいてシーンの中のオブジェクトを特徴付けることができないものとして定義される。処理ユニット３０は、オブジェクトの少なくとも一部がシーンの一部に存在するか否かの判定であって、低レベル特徴の分析を含む判定を行うように構成されている。出力ユニット４０は、シーンに何かが存在するという情報を出力する。【選択図】図１

Description

本発明は、車両が自動的に再び動き出すことを可能にする装置、車両が自動的に再び動き出すことを可能にするシステム、車両が自動的に再び動き出すことを可能にする方法、及びコンピュータプログラム要素に関する。

本発明の一般的背景は、運転警報システム及び情報提供システム、ならびに適応走行制御（ＡＣＣ）の分野である。

ＡＣＣは、今日の自動車業界における重要な機能である。ＡＣＣは、ドライバーの車両（通常は「自己車両」と呼ばれる）を能動的に制御して、ドライバーの車両と車両の前の他の道路ユーザ、例えば自己車両の前の同じ車線にいる車両（通常は「対象車両」と呼ばれる）との間に一定の距離を維持する。一般に、各ＡＣＣシステムは、対象車両に関する特定の情報、例えば自己車両までの距離、速度、加速度、減速度などを抽出する少なくとも１つのセンサを含む。この情報は加速／減速要求を自己車両のエンジンを制御しているユニットに送るために更に処理されれ、その結果、自己車両の速度及び対象車両までの距離が制御される。ＡＣＣシステムの検知ユニットは、単一のカメラ、レーダーシステム、又は両者の組合せとすることができる。現在のＡＣＣシステムを用い、減速する対象車両の後方で自己車両を停止するまで制御することができる。ＡＣＣシステムの中には、停止後に対象車両が再び動き出すと、短時間の停止後に自己車両を自動的に再び動き出させるものがある。停止まで減速しその後に再び動き出すプロセスは「ＡＣＣストップ・アンド・ゴー」と呼ばれ、停止後に自動的に再び動き出すことは「ＡＣＣオートゴー」と呼ばれる。再び動き出す前に、停止中に交通弱者ユーザが自己車両と対象車両の間の領域に進入したかもしれない交通渋滞のようなシナリオにおける衝突を回避するために、自己車両と対象車両の間の何もない空間についての確認が必要とされる。間隙確認は、例えば、単純なｙｅｓ／ｎｏ単一ビット又は当該領域におけるオブジェクトの存在を示すオブジェクトリストとすることができる。

しかし、先進運転支援システム（ＡＤＡＳ）全体の一部としての現在のＡＣＣシステムは、誤検出の数を少なく保つ（低誤判定率）一方で、十分に低い検出漏れ率（該当するオブジェクトを見逃さない）を有することができない。この状況に対処する必要がある。

車両が自動的に再び動き出すことを可能にする改良型の装置があれば、有利である。

本発明の目的は、独立請求項の主題によって達成され、更なる実施形態が従属請求項に包含される。なお、以下に記載する本発明の態様及び例は、車両が自動的に再び動き出すことを可能にする装置、車両が自動的に再び動き出すことを可能にするシステム、車両が自動的に再び動き出すことを可能にする方法、及びコンピュータプログラム要素にも適用される。

第１の態様において、
−入力ユニットと；
−処理ユニットと；
−出力ユニット
を備える、車両が自動的に再び動き出すことを可能にする装置が提供される。

入力ユニットは、処理ユニットに少なくとも１つの画像であって、車両の外部のシーンに関する少なくとも１つの画像を提供するように構成されている。処理ユニットは、少なくとも１つの画像を処理して低レベル特徴を抽出するように構成されている。低レベル特徴は、少なくとも１つの画像のうちの単一の画像の中の少なくとも１つの低レベル特徴に基づいてシーンの中のオブジェクトを特徴付けることができないものとして定義される。処理ユニットは更に、オブジェクトの少なくとも一部がシーンの一部に存在するか否かの判定であって、低レベル特徴の分析を含む判定を行うように構成されている。出力ユニットは、シーンに何かが存在するという情報を出力するように構成されている。

換言すると、通常の先進運転支援システム（ＡＤＡＳ）、例えば先進ブレーキングシステム（ＡＢＳ）では使用できない画像において抽出される特徴を使用して、オブジェクトが車両の前に潜在的に存在するか否か判定することができ、これにより、適応走行制御（ＡＣＣ）システムが停止後に自動的に自動車を再び前進させないようにすることができる。例えば、センサシステムの視野に部分的にのみ入っている、及び／又は例えば自動車のボンネットで部分的に隠れている小さな子供又は歩行者のようなオブジェクトを検出することができ、自動車が自動的に前進することを防ぐことができる。この停止状態からの自動的な再動き出しの禁止は、ＡＤＡＳシステムが通常は使用できない情報に基づいて行うことができる。言葉を換えれば、特定のオブジェクトに分類されるほど十分に信頼度が高いと判定されない特徴を、それでも車両の前の間隙空間に潜在的に侵入するオブジェクトであると判定することで、車両が停止状態から自動的に再び動き出すことを止めることができる。

従って、部分的に隠れているオブジェクト、及び／又は車両に非常に近いオブジェクトなど、通常は検出されないオブジェクトに関する情報を使用して道路弱者ユーザが潜在的に車両の前（又は、車両が後退している場合には車両の背後）の間隙空間にいる、又は入りつつあることを示し、ＡＣＣシステムの一部として適切な動作を行って車両が自動的に前進することを止めることができる。

このようにして、撮影されたシーン内の、通常のＡＤＡＳシステムの機能の操作に関してそれぞれ低い信頼度レベルを伴う多くの異なる特徴を共に分析し、個別では二分決定に必要な情報を構成しない情報に基づいて、ＡＣＣシステムが車両が自動的に前進するのを止めることができるようにする。

こうして、情報の個々の部分が特徴付けされる可能性があるオブジェクトと関連付けるには信頼度レベルが低すぎるために現在のシステムでは使用できず、実際には捨てられる情報をここでは使用して、オブジェクトが潜在的に車両の前に存在するか否か判定し、自己車両が自動的に前進するのを防止するので、検出漏れ（例えば、子供が自動車の直前にいて自動車のボンネットで部分的に隠れている）が起きて自動車が停止状態から自動的に前進する可能性が現在のシステムに対して劇的に低減される。

一例によると、処理ユニットは、人工知能に基づくアルゴリズム実施して低レベル特徴を分析するように構成されている。

こうして、信頼度レベルが低く、弱分類器応答を構成する１つ以上の低レベル特徴を機械学習又はニューラルネットワーク環境において利用し、間隙空間にオブジェクトが潜在的に存在し、車両が自動的に前進しないように止めるべきであるという判定が行えるようにする。

一例によると、処理ユニットは、少なくとも１つの画像を処理して高レベル特徴を抽出するように構成されている。高レベル特徴は、少なくとも１つの画像のうちの単一の画像の中の少なくとも１つの高レベル特徴に基づいてシーンの中のオブジェクトを特徴付けることができるものとして定義される。オブジェクトの少なくとも一部がシーンに存在するか否かの判定は、高レベル特徴の分析を更に含む。

こうして、通常はＡＤＡＳシステム内で処理され特徴付けられる特徴、例えば対象車両がその対象車両の関連位置を伴う自己車両の前に存在するという特徴を、路側の位置及び歩道の位置などの判定される他の情報と共に使用して低レベル特徴を分析し、考慮が必要な潜在的オブジェクトが存在するか否か判定しやすくすることができる。

この点に関して注目すべきは、通常のＡＤＡＳシステムでは、「高レベル」特徴は、それらに関連する高信頼度レベル及び低信頼度レベルを伴うことができ、本明細書では、シーンの中のオブジェクトを単一の画像の中の少なくとも１つの高レベル特徴に基づいて特徴付けることができるという点で、我々は高レベル特徴を信頼度レベルが比較的高い特徴と呼んでいる。従って、既存のＡＤＡＳシステムにおいて使用されない信頼度レベルの低い高レベル特徴は、本明細書では、我々の低レベル特徴の定義の範疇に入る。

一例によると、高レベル特徴は対象車両を含む。処理ユニットがオブジェクトの少なくとも一部が存在すると判定するように構成されているシーンの一部が、車両と対象車両の間の領域として判定される。

従って、自己車両が停止中に歩行者が入る可能性のある領域を定義することができ、この領域内の潜在的なオブジェクトの存在を探索し、そうした潜在的なオブジェクトがその領域に存在すると判定される場合には、自己車両が自動的に前進することを車載システムが許可しないようにできる。更に、対象車両が接近しすぎている場合、例えば自己車両が停止した後にわずかに後退した場合も、自己車両が自動的に前進するのを止めることができる。

一例によると、低レベル特徴の分析が、潜在的なオブジェクトが関連する信頼度レベルを有するように、シーンの一部の中の少なくとも１つの潜在的なオブジェクトを判定することと、少なくとも１つの信頼度レベルを判定することを含む。次いで、潜在的なオブジェクトは、その潜在的なオブジェクトの信頼度レベルが閾値を超えている場合、オブジェクトの少なくとも一部であると判定される。

一例によると、少なくとも１つの画像は、第１の画像と第２の画像を含み、第１の画像から判定される信頼度レベルが第２の画像から判定される信頼度レベルに基づいて更新される。

換言すると、侵入オブジェクトに関する情報は、センサシステムの２つ以上サイクルに亘って、例えばカメラの２つ以上の取得フレームサイクルについて得ることができ、検出された特徴のタイプとその信頼性に応じて信頼度レベル（又はリスク値）が累積され、この信頼度値が閾値を超えた場合、前進許可が取り消される。

従って、１つの画像内の低レベル特徴が、潜在的なオブジェクトがその画像内のある位置に存在することを示唆し、第２の画像における低レベル特徴の分析も、位置から判断して第１の画像において観察された潜在的なオブジェクトと同じ可能性がある潜在的なオブジェクトが存在することを示唆する場合、実際にオブジェクトがそこに存在することの信頼度レベルを上げることができる。

一例によると、処理ユニットは、第１の画像と第２の画像を横断して潜在的なオブジェクトを追跡するように構成されている。

従って、オブジェクトの痕跡又は軌跡が、それが例えば歩行者であることと矛盾せず、それにより誤検出ではないことが保証されることから、画像内の潜在的なオブジェクトを今まで以上に高い信頼度で判定することができるだけでなく、特徴の軌跡が、それが真のオブジェクトであることと矛盾する、及び／又は潜在的なオブジェクトが消えた場合には、こうした追跡を通じて誤検出を減らすことができる。換言すると、２つ以上の画像について（例えば、カメラシステムの２つ以上のサイクルについて）潜在的な侵入オブジェクトを観察することができる、及び／又は検出された特徴のタイプとその信頼性に応じてリスク値を累積できるデバウンシング機構が提供される。

一例によると、少なくとも１つの画像のうちの少なくとも１つは、少なくとも１台のカメラによって取得される。

従って、既にＡＤＡＳシステムの一部を形成している車両カメラを、ＡＣＣストップ・アンド・ゴーシステムの一部として使用できる。

一例によると、少なくとも１つの画像のうちの少なくとも１つは、レーダーセンサによって取得される。

従って、例えば既にＡＤＡＳシステム一部を形成しているレーダーシステムを、ＡＣＣストップ・アンド・ゴーシステムの一部として使用でき、更にカメラシステムから取得されるデータと組合せて使用することもできる。

一例によると、オブジェクトの少なくとも一部は、車両の外周から２．５ｍ以内の距離にある。

従って、自己車両に非常に近い空間の領域内にあって、自己車両の一部によって部分的に隠されたオブジェクトを検出することができる。

一例によると、少なくとも１つの画像は、車両が停止中に撮影される。

一例によると、低レベル特徴は、色情報；エッジ；勾配；オプティックフロー；オプティックフロークラスタ、即ち、顕著性情報のうちの１つ以上を含む。

第２の態様において、車両が自動的に再び動き出すことを可能にするシステムであって、
−少なくとも１つのセンサシステム；
−第１の態様に記載の、車両が自動的に再び動き出すことを可能にする装置
を備えるシステムが提供される。

装置は、車両内に配置されるように構成されている。少なくとも１つのセンサシステムは、車両内に配置されるように構成され、少なくともセンサシステムは、観察される車両の外部のシーンに関する少なくとも１つの画像を取得するように構成されている。

こうして、例えば、既存のカメラを利用する、又は特注のカメラを使用することが可能であって、限遠に焦点を合わせたカメラで車両の外のシーンを撮影するカメラをベースとするシステムが車両、例えば自動車に設けられ、システムは、間隙領域にオブジェクトが検出されない場合には車両が停止状態から自動的に前進することを可能にし、オブジェクトの少なくとも一部が間隙領域に存在すると判定された場合には、自動的に車両が前進しないようにする。同様に、こうしたカメラシステムに代えて、又はこうしたカメラシステムと組合せて、既存のレーダーシステムを使用することもできる。

第三の態様において、車両が自動的に再び動き出すことを可能にする方法であって、
ａ）処理ユニットに少なくとも１つの画像であって、車両の外部のシーンに関する少なくとも１つの画像を提供することと；
ｂ）処理ユニットを用いて、少なくとも１つの画像を処理して低レベル特徴であって、少なくとも１つのシーンのうちの単一の画像の中の少なくとも１つの低レベル特徴に基づいてシーンの中のオブジェクトを特徴付けることができないものとして定義される低レベル特徴を抽出することと；
ｃ）処理ユニットを用いて、オブジェクトの少なくとも一部がシーンの一部に存在するか否かの判定であって、低レベル特徴の分析を含む判定を行うことと；
ｄ）出力ユニットを用いて、シーンに何かが存在するという出力情報を出力することを含む方法が提供される。

別の態様によると、処理ユニットによって実行されると、上記の方法ステップを遂行するように構成されている、上記の装置を制御するコンピュータプログラム要素が提供される。

上記のコンピュータ要素が格納されたコンピュータ可読媒体が更に提供される。

有利には、上記態様のいずれかによって提供される利点は、他の態様全てに同じように適用され、逆の場合も同じである。

上記の態様及び例は、以下に記載する実施形態を参照して明らかになり、説明される。

例示の実施形態を、以下の図面を参照して以下に説明する。

車両が自動的に再び動き出すことを可能にする装置の一例の概略設定を示す。 車両が自動的に再び動き出すことを可能にするシステムの一例の概略設定を示す。 車両が自動的に再び動き出すことを可能にする方法を示す。 対象車両の背後の車両、観察領域、及び侵入する可能性のあるオブジェクトの一例を示す。 車両が自動的に再び動き出すことを可能にするために使用されるアルゴリズムの一例のフローチャートを示す。

図１は、車両が自動的に再び動き出すことを可能にする装置１０の一例を示す。装置１０は、入力ユニット２０と、処理ユニット３０と、出力ユニット４０を備える。入力ユニット２０は、有線又は無線通信を介して処理ユニット３０に少なくとも１つの画像を提供するように構成されている。少なくとも１つの画像は、車両の外部のシーンに関するものである。処理ユニット３０は、少なくとも１つの画像を処理して低レベル特徴を抽出するように構成されている。低レベル特徴は、少なくとも１つの画像のうちの単一の画像の中の少なくとも１つの低レベル特徴に基づいてシーンの中のオブジェクトを特徴付けることができないものとして定義される。処理ユニット３０は更に、オブジェクトの少なくとも一部がシーンの一部に存在するか否か判定するように構成されている。判定は、低レベル特徴の分析を含む。出力ユニット４０は、シーンの中に何かが存在するという情報を出力するように構成されている。

一例において、処理ユニットは、決定木分析アルゴリズムを実施して低レベル特徴を分析するように構成されている。

一例によると、処理ユニットは、人工知能に基づくアルゴリズムを実施して低レベル特徴を分析するように構成されている。

一例において、人工知能に基づくアルゴリズムは、機械学習アルゴリズムである。一例において、人工知能に基づくアルゴリズムは、ニューラルネットワークである。一例において、人工知能に基づくアルゴリズムは、ヒートマップアルゴリズムである。

一例によると、処理ユニットは、少なくとも１つの画像を処理して高レベル特徴を抽出するように構成されている。高レベル特徴は、少なくとも１つの画像のうちの単一の画像の中の少なくとも１つの高レベル特徴に基づいてシーンの中のオブジェクトを特徴付けることができるものとして定義される。少なくともオブジェクトの一部がシーンに存在するか否かの判定は次いで、高レベル特徴の分析を更に含む。

一例において、高レベル特徴は、歩行者のようなオブジェクトの中から抽出することができる。

一例によると、高レベル特徴は、対象車両を含む。処理ユニットがオブジェクトの少なくとも一部が存在すると判定するように構成されているシーンの一部が、車両と対象車両の間の領域であると判定される。

一例において、高レベル特徴は、完全に見えている場合には、対象車両と自己車両の間の領域に入ってくる歩行者のようなオブジェクトからも抽出することができる。

一例において、対象車両は、自動車、又は大型トラック、又は二輪車である。一例において、自己車両は、自動車、又は大型トラック、又は二輪車である。

一例によると、低レベル特徴の分析は、潜在的なオブジェクトが関連する信頼度レベルを有するように、シーンの一部の中の少なくとも１つの潜在的なオブジェクトを判定することと、少なくとも１つの信頼度レベルを判定することを含む。次いで、潜在的なオブジェクトは、その潜在的なオブジェクトの信頼度レベルが閾値を超えている場合、オブジェクトの少なくとも一部であると判定される。

一例において、閾値は、手動で最適化される、及び／又は機械学習される。従って、低レベル特徴の分析が子供が間隙空間内にいる可能性を示す傾向がある可能性がある場合には、大人が間隙空間内にいる潜在性がある場合よりも閾値を低く設定できるように、オブジェクト固有の閾値が設定され得る。閾値は更に、オブジェクトの潜在的なタイプを考慮に入れるだけでなく、潜在的なオブジェクトが間隙空間内のどこにいるかを考慮に入れることができる。例えば、オブジェクトが潜在的に子供であり得る場合には、オブジェクトが間隙空間内のどこにいるかに関わらず、閾値を低く設定し、それにより車両の前方への移動が子供をパニックに陥らせることがないようにすることが可能である。ただし、オブジェクトが潜在的に大人であり得る場合には、オブジェクトがその空間内のどこに位置しているかに応じて閾値レベルを変化させることが可能である。

一例によると、少なくとも１つの画像は、第１の画像と第２の画像を含み、第１の画像から判定される信頼度レベルが第２の画像から判定される信頼度レベルに基づいて更新される。

一例において、少なくとも１つの画像は、ｎ個の画像を含み、第１の画像から判定される信頼度レベルがｎ番目の画像から判定される信頼度レベルに基づいて更新される。

一例によると、処理ユニットは、第１の画像と第２の画像を横断して潜在的なオブジェクトを追跡するように構成されている。

一例によると、少なくとも１つの画像のうちの少なくとも１つは、少なくとも１台のカメラによって取得される。

一例によると、少なくとも１つの画像のうちの少なくとも１つは、レーダーセンサによって取得される。

一例によると、オブジェクトの少なくとも一部は、車両の外周から２．５ｍ以内の距離にある。

一例によると、少なくとも１つの画像は、車両が停止中に撮影される。

一例によると、低レベル特徴は、色情報；エッジ；勾配；オプティックフロー；オプティックフロークラスタ、即ち、顕著性情報のうちの１つ以上を含む。

一例において、低レベル特徴は、色情報；エッジ；勾配；オプティックフロー；オプティックフロークラスタのうちの一つ一つとすることができる。一例において、色情報；エッジ；勾配；オプティックフロー；オプティックフロークラスタのうちの２つ以上の組合せから中レベル特徴を形成することができる。ただし、中レベル特徴はそれでも、少なくとも１つの画像のうちの単一の画像の中のそうした中レベル特徴に基づいてシーンの中のオブジェクトを特徴付けることができないという点で、高レベル特徴ではない。

図２は、車両が自動的に再び動き出すことを可能にするシステム１００の一例を示す。システム１００は、少なくとも１つのセンサシステム１１０と、図１に関して説明した車両が自動的に再び動き出すことを可能にする装置１０を備える。装置１０は、車両１２０内に配置されるように構成されている。少なくとも１つのセンサシステム１１０は、車両１２０内に配置されるように構成されており、少なくともセンサシステム１１０は、観察される車両の外部のシーンに関する少なくとも１つの画像を取得するように構成されている。

一例において、少なくとも１つのセンサシステム１１０は、入力ユニット２０である。

図３は、基本的なステップにおいて車両が自動的に再び動き出すことを可能にする方法２００を示す。方法２００は、
ステップａ）とも称される提供ステップ２１０において、処理ユニット３０に少なくとも１つの画像であって、車両の外部のシーンに関する少なくとも１つの画像を提供することと；
ステップｂ）とも称される処理ステップ２２０において、処理ユニットを用いて、少なくとも１つの画像を処理して低レベル特徴であって、少なくとも１つのシーンのうちの単一の画像の中の少なくとも１つの低レベル特徴に基づいてシーンの中のオブジェクトを特徴付けることができないなものとして定義される低レベル特徴を抽出することと；
ステップｃ）とも称される判定ステップ２３０において、処理ユニットを用いて、オブジェクトの少なくとも一部がシーンの一部に存在するか否かの判定であって、低レベル特徴の分析を含む判定を行うこと；
ステップｄ）とも称される出力ステップ２４０において、出力ユニット４０を用いて、シーンに何かが存在するという出力情報を出力することを含む。

一例において、ステップｃ）は、人工知能に基づくアルゴリズムを実施して低レベル特徴を分析することを含む。

一例において、ステップｂ）は、少なくとも１つの画像を処理して高レベル特徴であって、少なくとも１つの画像のうちの単一の画像の中の少なくとも１つの高レベル特徴に基づいてシーンの中のオブジェクトを特徴付けることができるものとして定義される高レベル特徴を抽出することを含み；ステップｃ）は、高レベル特徴の分析を含む。

一例において、高レベル特徴は、対象車両を含み、処理ユニットがオブジェクトの少なくとも一部が存在すると判定するように構成されているシーンの一部が、車両と対象車両の間の領域であると判定される。

一例において、ステップｃ）における低レベル特徴の分析は、潜在的なオブジェクトが関連する信頼度レベルを有するように、シーンの一部の中の少なくとも１つの潜在的なオブジェクトを判定することと、少なくとも１つの信頼度レベルを判定することを含み、潜在的なオブジェクトは、その潜在的なオブジェクトの信頼度レベルが閾値を超えている場合、オブジェクトの少なくとも一部であると判定される。

一例において、少なくとも１つの画像は、第１の画像と第２の画像を含み、第１の画像から判定される信頼度レベルが第２の画像から判定される信頼度レベルに基づいて更新される。

一例において、処理ユニットは、第１の画像と第２の画像を横断して潜在的なオブジェクトを追跡するように構成されている。

装置、システム、及び方法を図４〜５に関してさらに詳細に説明する。

図４は、自己車両と対象車両の間の監視領域に入ってくる任意オブジェクト（歩行者）の一例を示す。カメラをベースとするアプローチを使用して、自己車両に非常に接近する可能性があり、車両と対象車両の間の観察領域（又は間隙空間）にいるか、観察領域に入ろうとしているオブジェクトが検出される。レーダーをベースとするアプローチを利用することも可能であり、カメラとレーダーをベースとするアプローチを利用することも可能である。

低検出漏れ率でオブジェクトが観察領域に存在するか否か判定する本アプローチは、第１にＡＤＡＳ、例えば、実行すべき動作のために信頼度の高いオブジェクト（本明細書では、高レベルオブジェクト特徴と呼ぶ）を分類する強化型ブレーキアシスト（ＥＢＡ）考えることによって最もよく理解することができる。オブジェクトの分類には使用できない低レベルオブジェクト特徴及び中レベルオブジェクト特徴であるとみなされる可能性があり、従って、ＥＢＡシステムでは考慮されないシーン内の情報が、本アプローチにおいては処理されて、オブジェクトが観察領域にいるのか、又は観察領域に入ろうとしているのかが判定される。従って、ＥＢＡシステムを考慮して、オブジェクト検出／特徴付けプロセスは、以下のように記載することができる：

１）一定のサイズのｎ個の区画を定義し、それを画像全体に亘ってスライドさせる。
２）区画のそれぞれの位置について、低レベル特徴、例えば色、エッジ、勾配などを抽出する。
３）特徴全てを適切な方法で配置して特徴記述子（中レベル特徴）を形成する。ここで、中レベル特徴は、低レベル特徴（モチーフ）、仮説、オプティックフロー、フロークラスタの組合せである。
４）この記述子を使用して区画が対象のオブジェクトを含む確率を計算する。区画は、この確率がある閾値（中レベル特徴）よりも大きい場合、仮説になる。
５）区画を画像全体に亘ってスライドさせるため、同じオブジェクトについて多くの仮説が生成される。a仮説に対して非最大値抑制を遂行し、理想的には検出すべきオブジェクトを表している確率値が最も高いもののみを保持する。
６）残った仮説の記述子を使用してオブジェクトを車両、歩行者などに分類し、そのオブジェクトが識別されたクラスに属する信頼度を計算する。

ただし、ここで、現在のアプローチにおいては、ステップ１〜４が実行され、新たなステップ５が低レベル特徴と中レベル特徴を取り上げて処理し、オブジェクトが存在い得るか否か判定する。換言すると、中間処理ステップと、完全ＡＤＡＳ解では使用されないそれらのステップで利用可能な情報がここで、間隙空間におけるオブジェクトの存在を示すために直接利用される。その結果、自己車両に非常に近い（例えば、２．５ｍ未満）オブジェクト、全体が見えないオブジェクト、自己車両に重なっている／隠れているオブジェクト、一部がカメラの視野の外にあるオブジェクト、体が自己車両と重なったり自己車両によって見えなくなったりする子供のような非常に小さなオブジェクトを検出することができるようになる。これにより、そうしたオブジェクトが検出されている場合には、ＡＣＣシステムがＡＣＣオートゴーを抑制でき、逆に、そうしたオブジェクトが検出されていない場合には、完全なＡＣＣストップ・アンド・ゴー機能が有効になる。このようにして、間隙確認が低い検出漏れ率で確実に行われる。

図５は、ＡＣＣシステムにおいてドライバーからの更なる確認なしに自律的に最動き出しを可能とするアルゴリズムの単純化したフローチャートを示す。現在のアプローチで処理される画像を必要とするカメラシステムは、連続する２フレーム間のサイクルタイム期間を６６ｍｓとし、毎秒１６フレームのフレーム率で作動する。カメラによっては異なるサイクルタイムで作動する場合がある。先に検討したように、カメラシステム内のプロセッサ、又はカメラシステムからの画像を処理する別のプロセッサが、中間処理ステップの中及び低レベル特徴を明確に使用することによって、各サイクルにおいて近接オブジェクト検出を遂行し、間隙確認を計算する。次いで、間隙確認が、その領域に既に存在していたオブジェクトである場合、横切るオブジェクトが観察領域に侵入していないということを示すことを可能とする。

続けて図５を参照すると、間隙確認が以下の基本的なステップにおいて計算される：

１．対象車両の識別
ａ．進入する又は存在するオブジェクトを監視すべき観察領域を判定するための対象車両の識別
ｂ．他の車両が自己車両と実際の対象車両との間に割り込む場合など、対象車両の変化を識別するために、運転中及び停止中の実際の対象車両も観察される
ｃ．ａ及びｂの一部として、現在追跡している対象車両の痕跡が監視され、ここで、痕跡は、時空間における車両の位置によって形成される、検出された車両の進路（経路）である。運転中及び停止中に中断した、又は完全に途切れた対象車両の痕跡が対象車両の変化の指標として使用される。

２．減速から停止、及びその後の自動的動き出しの潜在性を識別するための自己車両及び対象車両の動きの分析

３．停止後の観察領域の監視
ａ．先に検討したように、「高レベル」オブジェクトが検出されて分類され、それを例えばＥＢＡシステムで使用することができる。しかし、先に検討したように、低レベル及び中レベルの情報を使用して潜在的なオブジェクト及び間隙空間が存在するか否か判定される。高レベルの情報又はオブジェクトもこのプロセスに使用することができる。
ｂ．潜在的なオブジェクト検出の最終の結果は、観察領域（間隙空間）への侵入の指標として使用されるオブジェクトリストである。
ｃ．オブジェクトリストは、高い信頼度で検出されたオブジェクトを含み、これは、先に検討したように、対象領域に関する情報及び対象車両に関する情報を判定するために使用することができる。この高信頼度情報は更に、間隙空間にオブジェクトが存在するか否か判定するために使用できる。
ｄ．しかし、オブジェクトリストはここで、高信頼度には達しておらず、そのため、他のシステム機能、例えばＥＢＡにとっては重要ではない「仮説」と呼ばれ得る追加のオブジェクトを含む。これらの仮説は、低信頼度分類応答を用いて新たに初期化（検出）されているか、更新されている（以前に検出された低又は中信頼度オブジェクトは、現在取得されているフレームに基づいて信頼度レベルが更新され得る）。
ｅ．ＥＢＡに関し、仮説の信頼度レベルが、関連する分類応答（又はその欠如）に応じてサイクル毎に更新され、オブジェクト仮説は、分類応答によって補強されなくなると、高信頼度オブジェクトに昇格されるか、又は削除される。
ｆ．しかし、低及び中レベル特徴、例えば低信頼度分類応答又はフロークラスタはここで、それらが間隙空間におけるオブジェクトであり得るか否か判定するために明確に使用される。従って、それ自体ではオブジェクトリストに含まれるオブジェクトの初期化をもたらさない低信頼度分類応答は、ある領域におけるこうした低信頼度分類応答の連続的存在に基づいて、間隙空間のその位置にオブジェクトが存在することを示すことができる。従って、一定期間の停止中に低信頼度分類応答が蓄積される。ある領域がこうした応答の明白なクラスタを含む場合、それは、間隙確認のための低レベル特徴であるとみなすことができる。換言すると、例えばＥＢＡにおいて使用するにはオブジェクトを検出し分類するのに十分な信頼度を伴わない低及び中レベル情報を使用して、間隙空間に何かが存在する可能性があることをＡＣＣに知らせるのに役立てることができる。従って、オブジェクトが非常に小さく、及び／又は自己車両によって部分的に覆われており、全体としては分類できない場合でも、間隙空間への潜在的侵入を示す十分な仮説が存在する場合がある。
ｇ．低レベルの特徴には、例えば領域から抽出された色、エッジ、勾配などの特徴が含まれ、中レベル特徴には、低レベル特徴の組合せ、仮説、フロー、フロークラスタなどが含まれる。従って、オプティカルフロー及びフロークラスタは、それらが間隙空間内のオブジェクトであり得るか否か判定するために、代わりに又は追加で使用される特徴の別の形態に過ぎない。オプティカルフロー及びフロークラスタの突然の存在は、（指向性）運動を示し、オブジェクトが危険な空間に進入しつつある可能性があることを示す。従って、フロークラスタは、クラスタ化された相違データの単カメラ同等物であるとみなすことができる。すぐ近くのフローベクトルが同様の方向と大きさを持ち、侵入するオブジェクトに合致するほど十分な画像領域をカバーしている場合、それらをクラスタ化して総称オブジェクト仮説を創出することができる。次いで、追跡された総称オブジェクトは、間隙確認のための低レベル特徴として使用することができる。
ｈ．顕著性情報を特徴として使用して監視領域における潜在的な侵入オブジェクトを示す変化を識別することができる。
ｉ．加えて、ステレオ情報が利用可能な場合、クラスタ化された相違データに基づく総称オブジェクト検出を上記に加えて使用することができる。

４．間隙確認の計算
ａ．次いで、取得した画像からの低信頼度出力がニューラルネットワーク機械学習アルゴリズム内で、オブジェクト又は潜在的なオブジェクトが間隙空間に存在するか否か判定するために使用される。ニューラルネットワークは、地上検証情報を用いて、換言すれば、人間によって既に分析された画像を用いて教育される。次いで、ニューラルネットワークは、ＡＣＣシステム内での間隙確認を実現するため、取得した画像に対してリアルタイムで作動して間隙空間に可能性のあるオブジェクトが存在するか否か判定する。先に検討したように、ニューラルネットワーク機械学習アルゴリズム内では、高信頼度情報も使用することができる。ニューラルネットワーク機械学習アルゴリズムを使用せずに、「手作りの」決定木アルゴリズムを利用することもできる。
ｂ．誤判定率を好転させるため、デバウンシング機構が利用される。これは、検出された無特徴信頼性のタイプに応じて侵入オブジェクトが数サイクルに亘って観察される、及び／又は、リスク値が累積されることを意味する。ある閾値（手動で最適化された、又は機械学習された）に到達した場合のみ、車両運動の自動再開が無効にされる。
ｃ．先に検討したように、「高レベル」オブジェクトリストを対象車両の直接観察に使用することができる。間隙検出及びそれに続くオートゴー機能の起動の前に、追跡されている現在の対象車両を識別する必要がある。対象車両が識別され停止操作が遂行され次第、対象車両は検出され続けるはずである。対象オブジェクトの追跡が失われた場合、対象車両が隠された（例えば自己車両のセンサの前を誰かが歩いているために）表れと解釈することができる。この場合、オートゴーの許可も拒絶される。

上記の方法で間隙確認を行うため、カメラセンサに加え、或いはこれに代えて、レーダー又は超音波のセンサを利用して潜在的なオブジェクトが間隙空間に存在するか否か判定することができる。

別の例示の実施形態において、適切なシステム上で先行する実施形態のうちの１つによる方法の方法ステップを実行するように構成されたことを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。

従って、コンピュータプログラム要素は、実施形態の一部ともなり得るコンピュータユニットに格納されてもよい。この計算ユニットは、上記の方法のステップを遂行する、又はその遂行を誘導するように構成されてもよい。加えて、上記の装置及び／又はシステムの構成要素を作動させるように構成されてもよい。計算ユニットは、自動的に作動する、及び／又はユーザの命令を実行するように構成することができる。コンピュータプログラムをデータプロセッサの作業メモリにロードしてもよい。すると、データプロセッサは、先行する実施形態のうちの１つによる方法を実行する能力を備えることができる。

本発明の更なる例示の実施形態によると、コンピュータ可読媒体、例えばＣＤ−ＲＯＭが提示され、コンピュータ可読媒体は、コンピュータプログラム要素を格納し、そのコンピュータプログラム要素は、先行する段落で説明したものである。

なお、本発明の実施形態は、様々な主題を参照して記載される。特に、一部の実施形態は、方法型の請求項を参照して記載され、他の実施形態は、装置型の請求項を参照して記載される。しかし、当業者は、特に断りのない限り、１つの型の主題に属する特徴の任意の組合せに加え、異なる主題に関する特徴同士の任意の組合せも本願と共に開示されているとみなされることを、上記及び以下の記述から推測する。しかし、特徴は全て、特徴の単なる足し合わせを超える相乗効果を提供するように組み合わせることができる。

本発明を、図面及び上記説明において詳細に例示し説明したが、当該例示及び説明は、例示的であって、限定的であると見なすべきではない。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形態様は、図面、開示内容及び添付の請求項を検討することにより、請求項に係る発明を実施する際に当業者により理解され且つ実施され得る。

請求項において、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、他の要素又はステップを排除するものではなく、また、不定冠詞「ａ」又は「ａｎ」は、複数を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に記載される幾つかのアイテムの機能を実現し得る。ある手段が相互に異なる従属請求項に記載されるという事実だけで、これらの手段の組み合わせが有利に使用できないことを示すものではない。請求項におけるいかなる参照符号も範囲を限定するものとして解釈すべきではない。

Claims (14)

1. 車両が停止後に自動的に再び前進させないようにすることを可能にする装置（１０）であって、
   −入力ユニット（２０）と；
   −処理ユニット（３０）と；
   −出力ユニット（４０）とを備え、
   前記入力ユニットは、前記処理ユニットに少なくとも１つの画像であって、車両の外部のシーンに関する少なくとも１つの画像を提供するように構成され；
   前記処理ユニットは、前記少なくとも１つの画像を処理して低レベル特徴であって、前記少なくとも１つの画像のうちの単一の画像の中の少なくとも１つの低レベル特徴に基づいて前記シーンの中のオブジェクトを特徴付けることができないものとして定義される低レベル特徴を抽出するように構成され；
   前記低レベル特徴が、色情報；エッジ；勾配；オプティックフロー；オプティックフロークラスタ、即ち、顕著性情報のうちの１つ以上を含み；
   前記処理ユニットは、オブジェクトの少なくとも一部が前記シーンの一部に存在するか否かの判定であって、前記低レベル特徴の分析を含む判定を行うように構成され；
   前記低レベル特徴の前記分析が、潜在的なオブジェクトが関連する信頼度レベルを有するように、前記シーンの前記一部の中の少なくとも１つの潜在的なオブジェクトを判定することと、少なくとも１つの信頼度レベルを判定することを含み、潜在的なオブジェクトは、その潜在的なオブジェクトの前記信頼度レベルが閾値を超えている場合、前記オブジェクトの前記少なくとも一部であると判定され；
   前記出力ユニット（４０）は、前記シーンに何かが存在するという情報を出力するように構成されている、装置。
2. 前記装置は、適応走行制御オートゴー装置である、請求項１に記載の装置。
3. 前記処理ユニットが、人工知能に基づくアルゴリズムを実施して前記低レベル特徴を分析するように構成されている、請求項１に記載の装置。
4. 前記処理ユニットが、前記少なくとも１つの画像を処理して高レベル特徴であって、前記少なくとも１つの画像のうちの単一の画像の中の少なくとも１つの高レベル特徴に基づいて前記シーンの中のオブジェクトを特徴付けることができるものとして定義される高レベル特徴を抽出するように構成され；オブジェクトの少なくとも一部が前記シーンに存在するか否かの前記判定が、前記高レベル特徴の分析を含む、請求項１に記載の装置。
5. 前記高レベル特徴が対象車両を含み、前記処理ユニットがオブジェクトの少なくとも一部が存在すると判定するように構成されている前記シーンの前記一部が、前記車両と前記対象車両の領域として判定される、請求項４に記載の装置。
6. 前記少なくとも１つの画像が、第１の画像と第２の画像を含み、前記第１の画像から判定される信頼度レベルが前記第２の画像から判定される信頼度レベルに基づいて更新される、請求項１に記載の装置。
7. 前記処理ユニットが、前記第１の画像と第２の画像を横断して潜在的なオブジェクトを追跡するように構成されている、請求項６に記載の装置。
8. 前記少なくとも１つの画像のうちの少なくとも１つが、少なくとも１台のカメラによって取得される、請求項１に記載の装置。
9. 前記少なくとも１つの画像のうちの少なくとも１つが、レーダーセンサによって取得される、請求項１に記載の装置。
10. 前記オブジェクトの前記少なくとも一部が、前記車両の外周から２．５ｍ以内の距離にある、請求項１に記載の装置。
11. 前記少なくとも１つの画像が、前記車両が停止中に撮影される、請求項１に記載の装置。
12. 車両が自動的に再び動き出すことを可能にするシステム（１００）であって、
    −少なくとも１つのセンサシステム（１１０）と；
    −請求項１から１１のいずれか一項に記載の車両が停止後に自動的に再び前進させないようにすることを可能にする装置（１０）とを備え、
    前記装置は、車両（１２０）内に配置されるように構成され；
    前記少なくとも１つのセンサシステムは、前記車両内に配置されるように構成され、前記少なくともセンサシステムは、観察される前記車両の外部のシーンに関する前記少なくとも１つの画像を取得するように構成されている、システム。
13. 車両が停止後に自動的に再び前進させないようにすることを可能にする方法（２００）であって、前記方法は、
    −ａ）処理ユニット（３０）に少なくとも１つの画像であって、車両の外部のシーンに関する少なくとも１つの画像を提供すること（２１０）と；
    −ｂ）前記処理ユニットを用いて、前記少なくとも１つの画像を処理して低レベル特徴であって、前記少なくとも１つのシーンのうちの単一の画像の中の少なくとも１つの低レベル特徴に基づいて前記シーンの中のオブジェクトを特徴付けることができないものとして定義される低レベル特徴を抽出すること（２２０）とを含み、前記低レベル特徴が、色情報；エッジ；勾配；オプティックフロー；オプティックフロークラスタ、即ち、顕著性情報のうちの１つ以上を含み；
    −ｃ）前記方法は、前記処理ユニットを用いて、オブジェクトの少なくとも一部が前記シーンの一部に存在するか否かの判定であって、前記低レベル特徴の分析を含む判定を行うこと（２３０）を含み、前記低レベル特徴の分析は、潜在的なオブジェクトが関連する信頼度レベルを有するように、シーンの一部の中の少なくとも１つの潜在的なオブジェクトを判定することと、少なくとも１つの信頼度レベルを判定することを含み、潜在的なオブジェクトは、その潜在的なオブジェクトの信頼度レベルが閾値を超えている場合、オブジェクトの少なくとも一部であると判定され；
    −ｄ）前記方法は、出力ユニット（４０）を用いて、前記シーンに何かが存在するという出力情報を出力すること（２４０）を含む、方法。
14. プロセッサによって実行されると請求項１３に記載の方法を行うように構成されている、請求項１から１１に記載の装置、及び／又は請求項１２に記載のシステムを制御するコンピュータプログラム要素。

Images