JP2019164124A - 先行物体の検出及び測距のための前方車両センサデータの融合 - Google Patents

Abstract

【課題】アダプティブクルーズコントロール中に車間距離を決定するための方法に関し、一貫性がない後面（すなわち、タイヤの上に距離をおいて、トラックの荷台、トラックトレーラから突き出た建築資材）を有する車両の検出を改善する。【解決手段】カメラを介して、先行物体に関連する画像を取得することと、前記先行物体に関連する前記画像を分類することと、前記先行物体に関連する前記画像の前記分類に基づいて、前記第一検知パラメータ、前記第二検知パラメータ又はそれらの組み合わせを選択すること、を含む。【選択図】図２

Description

アダプティブクルーズコントロール（ACC：Adaptive cruise control）システムは、先行物体のサイズ、速度及び距離を検出する前方センサを利用することによりドライバの安全性及び信頼性を向上する。ドライバが長手方向の制御のためにACCを利用することを選択する例では、ACCは、安全な車両間運転距離を維持するために、車両の速度を変更するコマンドを生成する。Chiaによる「停止と進行を繰り返すアダプティブクルーズコントロールに関してトラックトレーラを検出するための技術（Technique for detecting truck trailer for stop and go adaptive cruise control）」を発明の名称とする米国特許第7,457,699号は、不正確に予測される虞がある近距離トラックトレーラの検出に対するレーダーベースのアプローチを対象とする。このアプローチは、一貫性がない後面（すなわち、タイヤの上に距離をおいて、トラックの荷台、トラックトレーラから突き出た建築資材）を有する車両の検出を改善することを目的とする一方で、レーダーは近距離の状況では準最適なままであり、従って、先行物体を検出するための新しいアプローチが必要である。

上述の「背景技術」の説明は、本開示の内容を概略的に表すためのものである。発明者らの仕事は、この背景技術の欄に記載されている限りにおいて、そうでなければ出願時に従来技術として適さない説明の態様と同様に、本発明に対する従来技術として明示的にも暗示的にも認められない。

本開示は、車両と先行物体との間の距離を決定するように構成された方法、装置及びコンピュータ可読媒体であって、第一検知様式を介して、前記車両と前記先行物体との間の前記距離に関連する第一検知パラメータを取得することと、処理回路を介して、前記第一検知様式を介して取得された前記第一検知パラメータの大きさを決定することと、第二検知様式を介して、前記車両と前記先行物体との間の前記距離に関連する第二検知パラメータを取得することと、処理回路を介して、前記第二検知様式を介して取得された前記第二検知パラメータの大きさを決定することと、前記車両と前記先行物体との間の前記距離を決定するために、所定の閾値に対する前記第一検知パラメータの大きさ及び前記第二検知パラメータの大きさの前記決定に基づいて、前記第一検知パラメータ、前記第二検知パラメータ又はそれらの組み合わせを選択することと、を含む、方法、装置及びコンピュータ可読媒体に関する。

実施形態によると、本開示は、カメラを介して、前記先行物体に関連する画像を取得することと、前記先行物体に関連する前記画像を分類することと、前記先行物体に関連する前記画像の前記分類に基づいて、前記第一検知パラメータ、前記第二検知パラメータ又はそれらの組み合わせを選択することと、にさらに関する。

上述の段落は、概略的な序論の目的で提供されており、以下の特許請求の範囲を限定することを意図したものではない。記載される実施形態が、更なる利点と共に、添付の図面と関連して以下の詳細な説明を参照することによって最もよく理解されるであろう。

図１は、本開示の例示的な実施形態に係る、先行車両に対するユーザ車両を例示する図である。 図２は、運転支援システム制御部及び走行速度制御部を含む、本開示のアダプティブクルーズコントロールシステムの高レベルフローチャートである。 図３は、本開示の例示的な実施形態に係る、走行速度制御部のブロック図である。 図４は、本開示の例示的な実施形態に係る、先行車両の識別を例示する図である。 図５は、本開示の例示的な実施形態の高レベルフローチャートである。 図６は、本開示の例示的な実施形態に係る、検出及び測距のフローチャートである。 図７Ａは、本開示の例示的な実施形態に係る、検出及び測距を例示する図である。 図７Ｂは、本開示の例示的な実施形態に係る、検出及び測距を例示する図である。 図７Ｃは、本開示の例示的な実施形態に係る、検出及び測距を例示する図である。 図８Ａは、本開示の例示的な実施形態に係る、検出及び測距中の物体認識を例示する図である。 図８Ｂは、本開示の例示的な実施形態に係る、検出及び測距中の物体認識を例示する図である。 図８Ｃは、本開示の例示的な実施形態に係る、検出及び測距中の物体認識を例示する図である。 図９は、本開示の例示的な実施形態に係る、検出、測距及び制御を実行するように構成されたコンピュータのハードウェア記述のブロック図である。

本開示のより完全な理解及び多くのその付随的な利点は、添付の図面と関連して考慮されるときに以下の詳細な説明を参照することによってより良く理解されるため、容易に得られるであろう。

本明細書において用いられるように、用語「一つの（「a」又は「an」）」は一つ又は一つよりも多いものとして定義される。本明細書において用いられるように、用語「複数の（plurality）」は二つ又は二つよりも多いものとして定義される。本明細書において用いられるように、用語「別の（another）」は少なくとも第二の又はそれ以上のものとして定義される。本明細書において用いられるように、用語「含む（including）」及び／又は「有する（having）」は備える（すなわちオープンな言語）として定義される。「一実施形態（one embodiment）」、「ある実施形態（certain embodiments）」、「実施形態（an embodiment）」、「実装形態（an implementation）」、「例（an example）」又は同様の用語に対する本文書全体にわたる参照は、実施形態に関連して記載される特定の特徴、構造又は特性が本開示の少なくとも一つの実施形態に含まれることを意味する。従って、そのようなフレーズの出現又は本明細書全体にわたる様々な場所における出現は、必ずしも全て同じ実施形態に対して言及しているものとは限らない。さらに、特定の特徴、構造又は特性は、制限なしに一つ又は複数の実施形態における任意の適切な手法において組み合わせられることができる。

アダプティブクルーズコントロール（ACC）は、乗客の安全性を改善するために、現代の車両において広く展開される。これをするために、ACCは、ユーザの車両と先行車両との間の距離を能動的に測定し、他の入力に加えて、この距離情報をユーザ車両の既知の速度情報と統合し、所定の車間距離を維持するために又は目標速度に到達するために、ユーザ車両の速度を調整する必要があるかどうかを決定する。距離推定（distancing）は、理想的な状況（例えば、距離が離れた高速道路走行）において車両の距離を決定するための高効率システムであるレーダーを介して実行されることが多い。しかしながら、交通渋滞では、又は先行車両がその車両の後面から延びる厄介な荷物を運搬するとき、レーダーベースの情報の正確性が低下する可能性があり、車両速度を適切に制御するための及び衝突を回避するためのACCの能力に影響を与える。

この欠点は、車両において展開されるレーダーベースのシステムの技術的基礎の結果である。レーダー送信機は、狭い円錐形の電波を放出し、この電波は物体と接触し且つ様々な方向に反射又は散乱される。その波の一部が既知の時間及び周波数間隔で反射されて受信機で受信されるとき、先行物体に対する距離が決定され得る。しかしながら、様々な信号から一つの距離を決定するために、先行物体からの最も高い反射率の中心（centroid）が選択される。この中心は、先行車両の後方の全体像（perspective）の大部分を網羅する場合があるが、先行車両のごく一部を表すだけの場合もある。これら不一致は、鋼のＩ型の梁を運搬するフラットベッドトラックの例では、先行車両の最も後方の態様（rear aspect）に対する真の距離の不正確な決定をもたらす。例えば、ユーザ車両が先行車両に近づくと、先行車両及び任意の後方の態様は、ユーザの車両によって放出された細い円錐形の電波を外れる場合があり、レーダーの視野を外れて追跡不能になる。現時点では、近距離で効果的な距離推定技術が必要である。

この理由のために、本明細書で記載されるように、本開示は、ある範囲の距離にわたる車両間の距離を正確に決定するために、カメラ、レーダー及びソナーを統合するためのシステムを導入する。

図１は、本開示の例示的な実施形態に係る、先行車両に対するユーザ車両を例示する。本車両１０５は、先行車両１１０の後方で距離をおいて既知の速度で走行している。実施形態では、本車両１０５は乗客を運搬するために装備されたユーザ車両１１５であり、先行車両１１０は重い機材を輸送するために装備されたフラットベッドトレーラトラック１２１である。実施形態では、フラットベッドトレーラトラック１２１のフラットベッドトレーラ１２２の後方の態様は、ユーザ車両１１５のレーダー視野１１１内ではない。しかしながら、ユーザ車両１１５に対する近接性に起因してレーダーによって追跡可能ではない、フラットベッドトレーラトラック１２１のフラットベッドトレーラ１２２のこの後方の態様は、ユーザ車両１１５のソナー視野１１２内である。実施形態では、フラットベッドトレーラトラック１２１のフラットベッドトレーラ１２２の重い機材又は同様の物は、高い強度で電波を反射する。フラットベッドトレーラトラック１２１の最も後方の態様ではないにもかかわらず、この重い機材は、フラットベッドトレーラ１２２に対する距離を正確に決定するためのレーダーシステムの能力に偏った影響を与える。その結果、これはユーザ車両１１５とフラットベッドトレーラトラック１２１の後方の態様との間の真の距離を曖昧にする可能性がある。ユーザ車両１１５の前面カメラは、先行車両の画像１１３を捉える。これら捉えられた画像１１３は、先行車両の識別（identity）を決定するために用いられ、距離推定技術の能力は車両のタイプ（すなわち、形状、サイズ、貨物）によって影響されるため、上述の距離推定技術の正確性をさらに知らせている。

レーダーがより長い距離を決定する際により効果的であると知られている一方で、ソナーは、音波を用いることの技術的限界のために、より短い距離を決定する際により効果的である。それ故、例示的な実施形態では、先行車両がこれら二つの距離推定アプローチの間の境界に近づくとき、使用する距離推定アプローチに関する決定を行うことがユーザ車両のために必要である。先行車両の識別及びその予測された距離に基づいて、最も正確な距離にたどり着くために、レーダーのみ、ソナーのみを使用すること、又は二つのアプローチを統合することが適切である場合がある。

図２は、本開示のアダプティブクルーズコントロールシステムの高レベルフローチャートである。図２は、左から右へ、先行車両に対する距離を正確に決定することを担当する運転支援システム制御部２３０に供給される入力の概要を示し、車両速度を変更するためにその値が次に走行速度制御部２３５に供給される。

図２に示されるように、車両制御システム２００は、限定されないが、先行物体を捉えるためのカメラ２０３と、先行物体と本車両との間の距離を決定するためのレーダー機器２０１と、先行物体と本車両との間の距離を決定するためのソナー機器２０２と、本車両の走行速度を検出するための走行速度センサ２０４と、運転支援システム制御部２３０と、走行速度制御部２３５と、を含む。運転システム制御部２３０は、限定されないが、カメラ２０３からの捉えられた画像を利用する物体認識手段２３３と、距離決定手段２３１と、レーダー強度決定手段２３４と、ソナー解像度決定手段２３２と、を含む。距離決定手段２３３は、レーダー機器２０１及びソナー機器２０２からのデータを利用して、レーダー強度決定手段２３４及びソナー解像度決定手段２３２からの出力に照らして、先行車両と本車両との間の距離を決定する。距離が距離決定手段２３３によって決定されると、適切な場合、その値が本車両速度の調整のために走行速度制御部２３５に供給される。

実施形態によると、カメラ２０４は、その視野内の任意の物体を含む先行視野の画像を少なくとも取得し、捉えられた画像を運転支援システム制御部２３０に出力する。カメラ２０３からの捉えられた画像は、距離決定手段に知らせるために及び視野内の車両の横方向の存在を記録するために、物体認識に用いられ得る。車両の存在及びそれらの空間的位置は、環境的な変化（すなわち、予期せぬ車線変更）の状況下において重大であり、それにより車両速度が直ちに制御され得る。運転支援システム制御部２３０にリアルタイム物体データを提供するために、データはカメラ２０３から連続的に取得される。実施形態では、カメラ２０３は、可視光カメラ、赤外線カメラ、又はそれらの組み合わせである。

実施形態によると、レーダー機器２０１は、車両を含む先行物体を検出し、本車両と先行車両との間の距離を測定するためのミリ波レーダーである。車両ベースのミリ波レーダー機器２０１は、送信機から放出された伝送波（ミリ波）と先行車両から反射された受信波とを混合し、混合された信号においてビート周波数を抽出し、それにより本車両と先行車両との間の距離についての情報が取得される。この距離情報は、次に、運転支援システム制御部２３０に出力される。実施形態では、先行車両に対する距離に関する情報は、受信機で捉えられた反射電波の中心の位置特定（localization）を介して決定される。ヒートマップと同様に、電波強度の画素化されたレンダリングが生成され、最も高い強度を有する領域が先行車両の後方の態様として選択される。別の実施形態では、先行車両に対する距離に関する情報は、視野内の物体と相関している周波数スペクトルの波形ピークから決定される。データは、運転支援システム制御部２３０にリアルタイムデータを提供するために、レーダー機器２０１から連続的に取得される。

実施形態によると、ソナー機器２０２は、当技術分野で知られるように、音波を利用して近距離で、本車両と車両などの先行物体との間の距離を決定する。車両ベースのソナー機器２０２は、人間には聞こえない超音波が放出されたときから先行物体によって反射された波がソナー機器２０２に戻ってくるときまでの時間を測定する。この時間領域データは、距離決定を知らせ、その出力は運転支援システム制御部２３０に供給される。データは、運転支援システム制御部２３０にリアルタイムデータを提供するために、ソナー機器２０２から連続的に取得される。

実施形態によると、走行速度センサ２０４は、本車両の走行速度を検出し、その走行速度を運転支援システム制御部２３０に出力する。この走行速度は、運転支援システム制御部２３０からの決定された距離とまとめられて、運転支援システム制御部２３０を通って走行速度制御部２３５に渡され、その二つの値は、適切な場合、走行速度調整を決定するために、走行速度制御部２３５によって利用される。データは、運転支援システム制御部２３０ひいては走行速度制御部２３５にリアルタイムデータを提供するために、走行速度センサ２０４から連続的に取得される。

本開示の実施形態によると、カメラ２０３、ミリ波レーダー機器２０１、ソナー機器２０２及び走行速度センサ２０４は、個々の仕様の制限に従って実装可能な商用製品である。

実施形態によると、運転支援システム制御部２３０は、ＣＰＵ（中央処理装置）、ROM（リードオンリメモリ）、RAM（ランダムアクセスメモリ）及びI/O（入力及び出力）インターフェースを有する周知のマイクロコンピュータである。ＲＯＭなどの記憶装置に記憶された制御プログラムは、ＣＰＵが以下で記載される物体認識手段２３３、距離決定手段２３１、レーダー強度決定手段及びソナー解像度決定手段２３２として機能することを可能にする。運転支援システム制御部２３０の例示的な実施形態は、図９において記載される。

実施形態によると、物体認識手段２３３は、カメラ機器２０４からの捉えられた画像に基づいて、先行車両の識別を決定するように構成される。標準的な機械学習アプローチによると、畳み込みニューラルネットワークなどのアルゴリズム又は同様のプロセスは、利用可能な既知の車両のデータベース上で訓練され、限定されないが、オードバイ、車又はトラックを含む先行車両の分類を可能にする。さらに、メーカーとモデルに従った下位分類は、先行車両の速度、重量及び形状に関連する特異性および認識の向上を可能にするように決定され得る。

物体認識手段２３３のデータベースの例示的な実施形態では、データベースは、参照画像のコーパスを含み、各参照画像は、識別可能な参照物体を含み、データベースにおいて参照物体の対応するテキスト記述に関連付けられる。さらに、データベースは、各々が記録の集合を含む複数の画像クエリ解像度データ構造（image query resolution data structures）を含み、各記録は、参照画像の画像記述子を含む。それ故、各データ構造は、画像記述子に基づいてデータ構造内の最も一致する記録を識別するために、一組の所定の検索プロセスのうちの対応する一つを用いて検索可能である。

実施形態によると、距離決定手段２３１は、物体認識手段２３３を介して、カメラ機器２０３からの物体データと統合されたレーダー機器２０１及びソナー機器２０２からの距離データに基づいて、正確な車間距離を決定するように構成される。

距離決定中に、運転支援システム制御部２３０の距離決定手段２３１は、距離推定データのための適切なソースを選択しなければならない。この目的のため、車間距離を正確に推定するために、運転支援システム制御部２３０に供給されるように、データストリームがレーダー機器２０１、ソナー機器２０２又は二つのデータストリームの融合（fusion）のいずれかから選択される。適正なデータソースを決定する際に、各データストリームは、所定の閾値に関して評価され得る。レーダーに関して、信号は最大の反射率の中心から生成され、閾値は所定の反射率強度で設定される。この所定の反射率強度より高い強度は先行物体の距離の正確な表現を提供するとみなされ、閾値はレーダー機器２０１の仕様に従って設定される。ソナーに関して、信号は空中ベースのノイズの観点から生成され、閾値は所定の解像度で設定される。この所定の解像度閾値よりも高い解像度は先行物体の距離の正確な推定を提供するとみなされ、閾値はソナー機器２０２の仕様に従って設定される。

本開示の距離決定手段の例示的な実施形態では、所定のレーダー及びソナー閾値が使用され、先行車両は、セダンであり、本車両よりも相対的に遅い速度で走行している。当初、セダンは本車両の２０メートル前であり、レーダー強度は所定の閾値よりも高く、ソナー解像度は所定の解像度より低い。この場合において、レーダーは、距離決定手段のための理想的な様式（modality）として選択される。車間距離が狭くなると、距離が近づけられ（例えば６メートル）、ソナー解像度及びレーダー強度は両方ともそれらの個々の閾値を超える。カメラ機器からの情報及び先行車両の識別に照らして、決定は、ソナーに移行するために、レーダーのみで維持するために、または二つのデータストリームを一つの距離出力に融合するためになされ得る。車間距離が狭くなり続けると、レーダー強度は所定の閾値を下回る可能性がある一方で、ノイズの影響が最小になる近距離で効果的なソナーは、個々の閾値を超える解像度を表示し続ける。その結果、ソナーが理想的な様式として選択される。センサ選択のための上述の手法は、同様に、車間距離が拡大しているときに適用可能である。さらに、近距離から遠距離までの個々の車間距離で、データストリームの質は、意思決定プロセスを左右する。

本開示の例示的な実施形態によると、上述したように、カメラ機器からの捉えられた画像による物体認識は、距離決定のための距離推定様式の選択を補助するために利用される。例えば、車両がレーダー及びソナーの両者の範囲内である場合、各データソースからのデータは、改善された出力を生み出すために融合され得る。しかしながら、物体認識を介して、先行車両がトレーラを有するフラットベッドトラックであると決定された場合、レーダーがフラットベッドトラックの後方の態様を正確に検出する能力は最も小さいため、ソナーのデータを優先することが適切である場合がある。

実施形態によると、走行速度制御部２３５は、ドライバによって前もって設定された走行速度並びに運転支援システム制御部からの距離及び速度の入力に基づいて、本車両の走行速度を制御する。例えば、ACCを作動させるとき、ドライバは所望の走行速度を選択する。所望の走行速度を認識しているとき、走行速度制御部２３５は、所望の走行速度を維持するために、スロットルサブシステム及びブレーキサブシステムを介して、車両走行速度を調整する。実施形態では、前方センサを介して先行車両が車両の検知距離内であると決定されると、車両走行速度を変更するか否かの決定がなされる。例示的な実施形態では、先行車両は、本車両よりも相対的に遅い速度で走行している。走行速度制御部２３５は、適切である場合、ブレーキサブシステムを作動させる信号を生成するために、運転支援システム制御部２３０を通って渡された現在の走行速度と運転支援システム制御部２３０からの決定された車間距離とを利用することができる。走行速度が釣り合うにつれて、又は先行車両が前方センサの視野を外れるとき、走行速度制御部２３５は、現在の走行速度と目標走行速度との間の不一致を認識することができ、それに応じて信号を生成することができる。

次に、図３は、本開示の例示的な実施形態に係る、走行速度制御部と運転支援システム制御部に対するその接続のブロック図である。走行速度制御部３３５は、限定されないが、メモリサブシステム３３６と、スロットルサブシステム３３７と、ブレーキサブシステム３３９と、警報サブシステム３３８と、を含む。車間距離及び現在の走行速度に関するデータは、運転支援システム制御部３４０から走行速度制御部３３５に供給される。ACC作動時にドライバによって選択される目標走行速度は、メモリサブシステム３３６に記憶される。メモリサブシステム３３６は、概して、アプリケーションに適切な量の揮発性メモリ（例えば、ダイナミックランダムアクセスメモリ（DRAM））及び不揮発性メモリ（例えば、フラッシュメモリ、電気的消去可能プログラマブル読取り専用メモリ（EEPROM））を含む。実施形態では、本車両の相対速度調整を決定するためのプロセッサが実行可能なコードは、走行速度制御部３３５のメモリサブシステム３３６の不揮発性メモリ内に記憶される。

実施形態では、速度調整部プロセッサ３４１及びメモリサブシステム３３６は、選択されたクルーズコントロール速度に照らして適切な車間距離を維持するために、様々な適切な適応コントローラのうちの一つである比例−積分−微分コントローラ（PIDコントローラ）を使用する。制御ループフィードバック機構であるPIDコントローラは、測定されたプロセスと所望の設定点との間の差としての誤差値の計算を通して出力の連続的な調節を提供し、設定点に到達するために、比例、積分及び微分に基づいて補正を適用する。同様に、本実施形態の観点から、速度制御部プロセッサ３４１は、設定点についての車両速度を調節するために、必要に応じて、スロットルサブシステム３３７及びブレーキサブシステム３３９に対する信号を生成することができる。必要であれば、速度制御部プロセッサ３４１は、警報サブシステム３３８に制御信号を提供して、警報サブシステム３３８に本車両のドライバに対する視覚的及び／又は聴覚的フィードバックを提供させてもよい。

本開示の走行速度制御部の例示的な実施形態では、ドライバがACCを作動させ、速度制御を時速８０マイルに設定する。しかしながら、時速７５マイルで走行する先行車両が、本車両の前方で検出される。先行車両に対する距離及び本車両の現在の速度に関する連続的な情報は、運転支援システム制御部によって提供される。安全な車間距離を維持するために、速度制御部プロセッサ３４１は、車両を減速するためにブレーキサブシステム３３９に信号を供給する。運転支援システム制御部３４０によって連続的に提供されるように、現在の車両速度と先行車両に対する距離とを能動的に監視する際、速度制御部プロセッサ３４１は、車間距離が適切である場合を決定し、又は必要に応じて車両速度を変更する。先行車両が視野を外れるか又は安全な距離を超えて車間距離が拡大すると、速度制御部プロセッサ３４１は、メモリサブシステム３３６に記憶されるように、ドライバによって選択された設定点に到達するまで、車両速度を増大するようにスロットルサブシステム３３７に対する信号を生成することができる。スロットルサブシステム３３７及びブレーキサブシステム３３９に対するコマンドの生成は、PIDコントローラの制御ループフィードバック機構に従って決定される。PIDコントローラの使用は、参照によって本明細書に組み込まれる米国特許第5335164A号から明らかなように、当技術分野において理解される。

実施形態によると、車間安全距離は、本車両の走行速度に従って決定される。車間安全距離は、先行車両のメーカー及びモデルによってさらに知らされてもよく、先行車両のサイズ、形状及び重量は、時間領域において、加速又は減速するためのその能力に影響を与える。実施形態では、車間安全距離に関連し且つ識別された先行車両に関する情報は、走行速度制御部３３５のメモリサブシステム３３６に対するシステムソフトウェア更新を介して又はクラウドベースのシステムソフトウェア更新を介して更新されてもよい。

実施形態では、走行速度制御部３３５は、ＣＰＵ（中央処理装置）、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）及びＩ／Ｏ（入力及び出力）インターフェースを有する周知のマイクロコンピュータである。ＲＯＭなどの記憶装置に記憶された制御プログラムは、ＣＰＵが以下で記載される走行速度制御部３３５として機能することを可能にする。

図４は、本開示の例示的な実施形態に係る、先行車両の識別を例示する。先行車両の識別は、物体認識及び機械学習を介して達成される。例示的な実施形態では、当技術分野において理解され且つ参照によって本明細書に組み込まれる米国特許第7747070B2号によって明らかなように、標準的な畳み込みニューラルネットワーク（CNN）アプローチが用いられる。CNNは、本明細書に記載される一方で、限定とみなされるべきではなく、単に物体認識に対する様々なアプローチの代表例である。本開示の観点から、CNNは、仮想の先行物体４５１の収集された画像のキュレートされた（curated）データベース上で訓練される（４５０）。実施形態では、キュレートされたデータベースは、物体認識手段に対するシステムソフトウェア更新を介して又はクラウドベースのシステムソフトウェア更新を介して能動的に維持及び更新される。手短に言えば、特徴学習４５２及び目標分類４５３は、データベース４５１で実行される。概して、特徴学習４５２は、反復的な畳み込みと、正規化線形関数を介した活性化と、プーリングと、を備える一方で、分類４５３は、学習された特徴を既知のラベルに関連付けることを含む。学習された特徴（例えば、エッジ、コーナー）は、手動で選択されるか又は深層学習若しくは同様のアプローチを介してCNNによって決定される。CNNの訓練４５０の後、CNNのテスト４５５が精度を確保するために実行される。特徴は、テスト画像４５６から抽出され（４５７）、訓練分類器４５０によって分類される（４５８）。訓練された分類器の有効性の確認後、CNNは、運転支援システム制御部４４０の物体認識手段に実装されてもよい。

実施形態では、訓練データベース４５１は、特徴を抽出して分類器を発展して、限定されないが、車、トラック、スポーツ用多目的車、トラクタートレイラ、及びオードバイを含む様々な車両を識別するために、ラベル付き画像を含む。

実施形態では、訓練データベース４５１は、特徴を抽出して分類器を発展して、車両のメーカー及びモデルを識別するために、ラベル付き画像を含む。

図５は、本開示の例示的な実施形態の高レベルフローチャートである。実施形態によると、ACCの初期化Ｓ５１６及び目標走行速度の設定の後、前方センサからのデータが取得される。カメラＳ５１８、レーダー及びソナーＳ５１７を含むこれら入力は、運転支援システム制御部に送信される。運転支援システム制御部内で、距離決定手段Ｓ５３１は、捉えられた画像（すなわち、物体認識）からのデータを、レーダー及びソナーによって決定されたような推定された車間距離と統合する。実施形態では、距離決定手段Ｓ５３１は、レーダー強度及びソナー解像度に従って、レーダー及びソナーからの入力を状況に当てはめて（contextualize）、本車両と先行車両との間の単一の推定された車間距離を決定する。この単一の推定された車間距離は、搭載された車両速度センサによって決定された本車両走行速度Ｓ５１８と共に走行速度制御部Ｓ５３５に供給される。走行速度制御部Ｓ５３５は、次に、理想的な車間距離（すなわち、安全な走行距離）又は目標走行速度（すなわち、本車両速度対目標走行速度）に関する不一致を識別するために、これら入力（例えば、車間距離、本車両走行速度）を評価する。不一致が存在する場合、走行速度調整Ｓ５４２が、目標距離及び／又は目標走行速度に到達しようとしてなされる。走行速度調整は、目標が達成されるまで、走行速度制御部Ｓ５３５のPIDコントローラによってなされ得る。さらに、前方センサ入力から走行速度制御部へのループは、ACCが解除されるまで反復的に進行する。

図６は、本開示の運転支援システム制御部の距離決定手段の実施形態の例示的なフローチャートである。例示的なフローチャートは、ACCの初期化後の反復的なループとみなされるべきである。実施形態によると、車両は、当初、ドライバの手動制御下であり、先行車両を含む車両の速度及び周囲を認識している（Ｓ６６０）。ユーザがACCを作動させると（Ｓ６６１）、車両は、カメラ、レーダー及びソナーを含む前方センサデータ取得を初期化する。最初に、距離決定手段は、ソナー機器の仕様によってある程度定められるように、先行物体又は先行車両がソナーの範囲内（すなわち、所定の閾値より高い）であるか否かを決定する（Ｓ６６２）。そうするために、距離決定手段は、レーダー、カメラ及びソナーを含む車両の前方センサを調べて（Ｓ６６３）、特に、先行車両の位置に関連するデータを取得する。先行車両がソナーの範囲内ではないと決定された場合、距離決定手段は、車間距離を決定するために、レーダー及びカメラデータに戻ることになる（Ｓ６６４）。しかしながら、車両を正確に距離推定するのに十分な解像度で、先行車両がソナーの範囲内であると決定されると、距離決定は、車間距離を正確に決定するためにレーダー反射の質が十分であるか否かを決定することになる（Ｓ６６６）。レーダー反射強度が所定の閾値を下回った場合、上述したように、ソナーが車間距離を決定するために用いられることになる（Ｓ６６７）。しかしながら、実施形態では、レーダー反射が正確であるような強度にあると決定される場合がある。この例では、距離決定は、レーダーデータの信頼度を決定するために、カメラからの物体認識データを考慮することができる（Ｓ６６８）。例えば、レーダー強度が強度に関する所定の閾値より高いにもかかわらず、先行車両が電波ベースのアプローチに関する固有の困難性をもたらすタイプのものである場合がある。フラットベッドトレーラトラックの場合では、レーダーは、先行車両の後面を識別することができる。しかしながら、この後面は先行車両の最も後方の態様ではない場合があり、不正確な距離推定が衝突をもたらす場合がある。それ故、後面の輪郭を描いて先行車両の最も後方の態様を捉えるために、ソナーに従うことが適切である場合がある。レーダーが信頼できない可能性があると決定された場合、距離決定手段は、車間距離を決定する際にソナーに従う（Ｓ６６７）。しかしながら、先行車両がセダンなどのレーダーを介して確実に距離推定される車両であるように識別された例では、距離決定手段によって決定された車間距離は、レーダー、ソナー又はそれらの融合に依存することができる。三つのアプローチのうちのいずれかを介して距離推定した後、決定された車間距離は、走行速度調整において用いられるために、運転支援システム制御部を介して走行速度制御部に送信される（Ｓ６７０）。

図７Ａ、図７Ｂ及び図７Ｃは、例示的な実施形態に係る、先行車両の検出及び測距を例示する。実施形態では、先行車両７１０は、クーペである。図７Ａでは、先行車両７１０は、ソナー視野７１２及びレーダー視野７１１のいずれもの範囲を超えて走行している。しかしながら、先行車両７１０は、本車両７０５よりも比較的遅い速度で走行している。本車両７０５のセンサの範囲内に先行車両がいない場合、本車両７０５は、現在の走行速度のACC維持を続ける。

実施形態では、本車両７１５が先行車両に近づくと、図７Ｂに示されるように、本車両７０５の前方センサは、先行車両７１０を検出及び測距し始める。実施形態では、レーダーの視野７１１内のみに先行車両７１０がある場合、レーダーは、車間距離を決定するために用いられる。このレーダーベースの値は、次に、走行速度制御部に送信される。

しかしながら、速度の突然な変更が生じた場合又は交通渋滞中、図７Ｃに示されるように、車間距離は、先行車両７１０がソナー７１２及びレーダー７１１の両方の視野内であるような点に縮小する場合がある。実施形態では、両ソースからのデータは、車間距離を決定する際に考慮される。レーダー反射強度が測距のために十分であると決定された場合、上述したように、レーダー及びソナーのデータの融合が車間距離を走行速度制御部に提供するために用いられることになる。しかしながら、レーダーからのデータがレーダー反射強度に従って不十分であると決定された場合、ソナー７１２が車間距離の最も正確な決定を提供するために選択される。

図８Ａ、図８Ｂ及び図８Ｃは、本開示の例示的な実施形態に係る、先行車両の検出及び測距中の物体認識を例示する。各図では、本車両８０５は、ユーザ車両８１５である。ラベル付き画像のデータベース上で訓練される物体認識のためのCNN又は同様のアプローチを含むアルゴリズム又は同様のプロセスは、それに応じて先行車両を分類する。

実施形態では、図８Ａに示されるように、先行車両は、車８２３である。車８２３は、レーダー視野８１１及びソナー視野８１２の両方の範囲内である。各データソースのメトリクス（Metrics）は、生データが所定の閾値より高いことを示す。先行車は車８２３であり、車の後面はおおよそ平面であるため、不一致面に関するレーダーの性能限界が取り除かれ、レーダーは信頼可能とみなされる。その結果、ソナー及びレーダーのデータソースは、車間距離を決定するために融合されることができる。

実施形態では、図８Ｂに示されるように、先行車両は、フラットベッドトレーラトラック８２１である。フラットベッドトレーラトラック８２１は、レーダー視野８１１及びソナー視野８１２の両方の範囲内である。さらに、各データソースのメトリクスは、生データが所定の閾値より高いことを示す。しかしながら、先行車両の識別に関する技術的限界の観点から、レーダーは信頼性を欠き、車間距離はソナー視野８１２から専ら決定されるべきである。図８Ｂに示されるように、先行車両がレーダー視野８１１内であるが、フラットベッドトレーラトラック８２１としての先行車両の識別は、中心ベースのアプローチが回収された電波における微妙な差異（nuances）を識別することができないことの原因となることにおいて重大である。フラットベッド８２２の最も後方の態様は、レーダーから受信した距離推定データにおいて正確に表されていない可能性があり、それ故、反射強度の所定の閾値よりも高いとしても信頼可能ではないかもしれない。

実施形態によると、図８Ｃに示されるように、先行車両は、オートバイ８２４である。オートバイ８２４は、レーダー視野８１１及びソナー視野８１２の両方の範囲内である。さらに、各データソースのメトリクスは、生データが所定の閾値より高いことを示す。しかしながら、先行車両の識別に関する技術的限界の観点から、レーダーは信頼性を欠き、車間距離はソナー視野８１２から専ら決定されるべきである。図８Ｃに示されるように、先行車両がレーダー視野８１１内であるが、オートバイ８２４としての先行車両の識別は、中心ベースのアプローチが回収された電波における微妙な差異を識別することができないことの原因となることにおいて重大である。オートバイ８２４の後方の態様は、レーダーからの距離推定データにおいて正確に表されていない可能性があり、それ故、ソナーデータのみに従って距離推定することが推奨される。さらに、オートバイが速度の急激な変化が可能であるため、オードバイ８２４としての先行車両の識別は、安全な車間距離をより良く知らせ、ドライバ及びライダの安全性を確保する。

図９は、本開示の例示的な実施形態に係る、検出、測距及び制御を実行するように構成されたコンピュータのハードウェア記述のブロック図である。実施形態では、ハードウェアは、運転支援システム制御部である。図９では、運転支援システム制御部は、上記／下記のプロセスを実行するＣＰＵ９８５を含む。プロセスデータ及び命令は、メモリ９８６に記憶されることができる。これらプロセス及び命令は、ハードドライブ（HDD）などの記憶媒体ディスク９８７若しくは携帯可能記憶媒体に記憶されてもよく、又は遠隔的に記憶されてもよい。さらに、クレームされた進歩は、発明のプロセスの命令が記憶されたコンピュータ可読媒体の形式によって限定されない。例えば、命令は、CD、DVD、FLASHメモリ、RAM、ROM、PROM、EPROM、EEPROM、ハードディスク、又は、運転支援システム制御部が通信する、サーバ若しくはコンピュータなどの任意の他の情報処理デバイス上で記憶されてもよい。

更に、クレームされた進歩は、ＣＰＵ９８５、並びにMicrosoft Windows 7（登録商標）、UNIX（登録商標）、Solaris（登録商標）、LINUX（登録商標）、Apple MAC‐OS（登録商標）、及び当業者に公知の他のシステムなどのオペレーティングシステムと協働して実行される、ユーティリティアプリケーション、バックグラウンドデーモン、若しくはオペレーティングシステムのコンポーネント、またはこれらの組み合わせとして提供されてもよい。

運転支援システム制御部を実現するために、ハードウェア要素は、当業者に公知の様々な回路要素によって実現されてもよい。例えば、ＣＰＵ９８５は、米国のインテル（登録商標）社からのXenon（登録商標）若しくはCoreプロセッサ、米国のAMD社からのOpteronプロセッサ、または当業者により認識され得る他のプロセッサタイプであってもよい。代替的に、ＣＰＵ９８５は、当業者により理解されるように、FPGA、ASIC、PLD上で、または個別的な論理回路を用いて実装されてもよい。更に、ＣＰＵ９００は、協働的に並列に動作して上述の本発明のプロセスの命令を実行する複数のプロセッサとして実装されてもよい。

図９における運転支援システム制御部は、ネットワーク９９６とインターフェースで接続するための、米国のインテル社からのIntel Ethernet（登録商標） PROネットワークインターフェースカードなどのネットワークコントローラ９８８も含む。理解され得るように、ネットワーク９９６は、インターネットなどのパブリックネットワーク、又はLAN若しくはWANネットワークなどの私設ネットワーク、又はそれらの任意の組合せであり得ると共に、PSTN若しくはISDNサブネットワークも含み得る。ネットワーク９９６はまた、Ethernetネットワークなどの有線式とされ得るか、又はEDGE、3Gおよび4G無線セルラシステムを含むセルラネットワークなどの無線式とされ得る。無線ネットワークはまた、WiFi（登録商標）、Bluetooth（登録商標）、又は公知の通信の任意の他の無線形態であり得る。

運転支援システム制御部は、ヒューレットパッカード（登録商標）社のHPL2445w LCDモニタなどのディスプレイ９９０とインターフェースで接続するための米国のNVIDIA（登録商標）社からのNVIDIA GeForce GTX又はQuadroグラフィックスアダプタなどのディスプレイコントローラ９８９をさらに含む。汎用I/Oインターフェース９９１は、ディスプレイ９９０上の、又はディスプレイ９９０とは別個のタッチスクリーンパネル９９２とインターフェースで接続する。

Creative社からのSound Blaster X‐Fi Titaniumなどのサウンドコントローラ９９３はまた、スピーカ９９４とインターフェースで接続することにより音及び／又は音楽を提供するために、運転支援システム制御部に提供される。

汎用記憶コントローラ９９５は、記憶媒体ディスク９８７を、運転支援システム制御部の全ての構成要素を相互接続するための、ISA、EISA、VESA、PCI又は同様のものであり得る通信バス９９７に接続する。ディスプレイ９９０及びディスプレイコントローラ９８９、記憶コントローラ９９５、ネットワークコントローラ９８８、サウンドコントローラ９９３、並びに汎用I/Oインターフェース９９１の一般的な特徴および機能性の説明は、これら特徴が公知であるため、本明細書において簡潔さのために省略される。

明らかに、多くの変更及び変形が上記の教示の観点から可能である。それ故、添付の特許請求の範囲の範囲内で、本発明は本明細書で詳細に記載されたものとは違うもので実施され得ることが理解されるべきである。

従って、上述の議論は、単に、本発明の例示的な実施形態を開示及び記載する。当業者によって理解されるように、本発明は、それらの精神又は本質的な特性から逸脱せずに、他の特定の形式において具現化され得る。従って、本発明の開示は、例示を意図したものであり、本発明の範囲及び他の特許請求の範囲を限定するものではない。本開示は、本明細書の教示の容易に認識可能な変形を含み、発明の主題が公共に捧げられることがないように、上述の特許請求の範囲の用語の範囲を部分的に定義する。

Claims (20)

1. 車両と先行物体との間の距離を決定するための方法であって、
   第一検知様式を介して、前記車両と前記先行物体との間の前記距離に関連する第一検知パラメータを取得することと、
   処理回路を介して、前記第一検知様式を介して取得された前記第一検知パラメータの大きさを決定することと、
   第二検知様式を介して、前記車両と前記先行物体との間の前記距離に関連する第二検知パラメータを取得することと、
   処理回路を介して、前記第二検知様式を介して取得された前記第二検知パラメータの大きさを決定することと、
   所定の閾値に対する前記第一検知パラメータの大きさ及び前記第二検知パラメータの大きさの前記決定に基づいて、前記第一検知パラメータ、前記第二検知パラメータ又はそれらの組み合わせを選択することと、
   を含む、方法。
2. カメラを介して、前記先行物体に関連する画像を取得することと、
   前記先行物体に関連する前記画像を分類することと、
   前記先行物体に関連する前記画像の前記分類に基づいて、前記第一検知パラメータ、前記第二検知パラメータ又はそれらの組み合わせを選択することと、
   をさらに含む、請求項１に記載の方法。
3. 前記分類することは、
   分類器に基づいて前記画像を分類することをさらに含み、
   前記分類器は、データベース上で訓練され、前記データベースは、参照画像のコーパスであって、各参照画像が識別可能な参照物体を含み且つ前記データベースにおいて前記参照物体の対応するテキスト記述に関連付けられる、コーパスと、複数の画像クエリ解像度データ構造であって、各々が記録の集合を含む、複数の画像クエリ解像度データ構造と、を含み、各記録は、前記参照画像のうちの一つの画像記述子を含み、各データ構造は、前記画像記述子に基づいて前記データ構造内の最も一致する記録を識別するために、一組の所定の検索プロセスのうちの対応する一つを用いて検索可能である、請求項２に記載の方法。
4. 前記第一検知様式又は前記第二検知様式は、レーダー及びソナーを含む複数の検知様式のうちの一つである、請求項１に記載の方法。
5. 前記第一検知パラメータ又は前記第二検知パラメータは、レーダー反射強度及びソナー解像度を含む複数の検知パラメータのうちの一つである、請求項１に記載の方法。
6. 前記カメラは、可視光カメラ、赤外線カメラ又はそれらの組み合わせである、請求項２に記載の方法。
7. 前記先行物体は、車両である、請求項１に記載の方法。
8. 処理回路によって実行されるとき、前記処理回路に、
   第一検知様式を介して、前記車両と前記先行物体との間の前記距離に関連する第一検知パラメータを取得することと、
   前記第一検知様式を介して取得された前記第一検知パラメータの大きさを決定することと、
   第二検知様式を介して、前記車両と前記先行物体との間の前記距離に関連する第二検知パラメータを取得することと、
   前記第二検知様式を介して取得された前記第二検知パラメータの大きさを決定することと、
   所定の閾値に対する前記第一検知パラメータの大きさ及び前記第二検知パラメータの大きさの前記決定に基づいて、前記第一検知パラメータ、前記第二検知パラメータ又はそれらの組み合わせを選択することと、
   を含む方法を実装させる、実行可能なプログラム命令を含む非一時的コンピュータ可読媒体。
9. 前記方法は、
   カメラを介して、前記先行物体に関連する画像を取得することと、
   前記先行物体に関連する前記画像を分類することと、
   前記先行物体に関連する前記画像の前記分類に基づいて、前記第一検知パラメータ、前記第二検知パラメータ又はそれらの組み合わせを選択することと、
   をさらに含む、請求項８に記載の非一時的コンピュータ可読媒体。
10. 前記分類することは、
    分類器に基づいて前記画像を分類することをさらに含み、
    前記分類器は、データベース上で訓練され、前記データベースは、参照画像のコーパスであって、各参照画像が識別可能な参照物体を含み且つ前記データベースにおいて前記参照物体の対応するテキスト記述に関連付けられる、コーパスと、複数の画像クエリ解像度データ構造であって、各々が記録の集合を含む、複数の画像クエリ解像度データ構造と、を含み、各記録は、前記参照画像のうちの一つの画像記述子を含み、各データ構造は、前記画像記述子に基づいて前記データ構造内の最も一致する記録を識別するために、一組の所定の検索プロセスのうちの対応する一つを用いて検索可能である、請求項９に記載の非一時的コンピュータ可読媒体。
11. 前記第一検知様式又は前記第二検知様式は、レーダー及びソナーを含む複数の検知様式のうちの一つである、請求項８に記載の非一時的コンピュータ可読媒体。
12. 前記第一検知パラメータ又は前記第二検知パラメータは、レーダー反射強度及びソナー解像度を含む複数の検知パラメータのうちの一つである、請求項８に記載の非一時的コンピュータ可読媒体。
13. 前記カメラは、可視光カメラ、赤外線カメラ又はそれらの組み合わせである、請求項９に記載の非一時的コンピュータ可読媒体。
14. 前記先行物体は、車両である、請求項８に記載の非一時的コンピュータ可読媒体。
15. 車両と先行物体との間の距離を決定するための装置であって、
    第一検知様式を介して、前記車両と前記先行物体との間の前記距離に関連する第一検知パラメータを取得し、
    前記第一検知様式を介して取得された前記第一検知パラメータの大きさを決定し、
    第二検知様式を介して、前記車両と前記先行物体との間の前記距離に関連する第二検知パラメータを取得し、
    前記第二検知様式を介して取得された前記第二検知パラメータの大きさを決定し、
    所定の閾値に対する前記第一検知パラメータの大きさ及び前記第二検知パラメータの大きさの前記決定に基づいて、前記第一検知パラメータ、前記第二検知パラメータ又はそれらの組み合わせを選択する、
    ように構成される処理回路を含む、装置。
16. 前記処理回路は、
    カメラを介して、前記先行物体に関連する画像を取得し、
    前記先行物体に関連する前記画像を分類し、
    前記先行物体に関連する前記画像の前記分類に基づいて、前記第一検知パラメータ、前記第二検知パラメータ又はそれらの組み合わせを選択する、
    ようにさらに構成される、請求項１５に記載の装置。
17. 前記処理回路は、
    分類器に基づいて前記画像を分類するようにさらに構成され、
    前記分類器は、データベース上で訓練され、前記データベースは、参照画像のコーパスであって、各参照画像が識別可能な参照物体を含み且つ前記データベースにおいて前記参照物体の対応するテキスト記述に関連付けられる、コーパスと、複数の画像クエリ解像度データ構造であって、各々が記録の集合を含む、複数の画像クエリ解像度データ構造と、を含み、各記録は、前記参照画像のうちの一つの画像記述子を含み、各データ構造は、前記画像記述子に基づいて前記データ構造内の最も一致する記録を識別するために、所定の検索プロセスの集合のうちの対応する一つを用いて検索可能である、請求項１６に記載の装置。
18. 前記第一検知様式又は前記第二検知様式は、レーダー及びソナーを含む複数の検知様式のうちの一つである、請求項１５に記載の装置。
19. 前記第一検知パラメータ又は前記第二検知パラメータは、レーダー反射強度及びソナー解像度を含む複数の検知パラメータのうちの一つである、請求項１５に記載の装置。
20. 前記カメラは、可視光カメラ、赤外線カメラ又はそれらの組み合わせである、請求項１６に記載の装置。