JP2022535194A - 自立型車両の視界から出た対象の追跡 - Google Patents

Abstract

本開示の態様は、自立運転モードを有する車両１００を制御するための方法に関する。例えば、センサデータが、車両の知覚システム１７４の１つ以上のセンサから受信され、センサデータは、知覚システムによって知覚された対象の特性を識別し得る。対象が知覚システムによってもはや知覚されていないことが判定され得る。判定に基づいて、対象の予測された特性が、特性に基づいて生成され得る。対象の予測された特性は、対象が知覚システムの１つ以上のセンサによってもはや知覚されていない場合、車両が対象に応答できるように、自立運転モードにある車両を制御するために使用され得る。【選択図】図８

Description

関連出願の相互参照
本出願は、２０１９年５月３１日に出願された米国出願第１６／４２７，６１０号の利益を主張し、その開示全体が参照により本明細書に組み込まれる。

人間の運転者を必要としない車両などの自立型車両が、ある場所から別の場所への乗客または物品の輸送を支援するために使用される場合がある。そのような車両は、ユーザがピックアップ場所または目的地のようないくつかの初期入力を提供し得、かつ車両がその場所へ車両自体を操縦する、完全な自立モードで動作し得る。そうするために、１つ以上のセンサを含む車両の知覚システムは、１つ以上のセンサによって知覚される対象の特性を識別するセンサデータを定期的に公開し、これらの特性を車両の他のシステムに送信し得る。例えば、対象の公開された特性は、対象の将来の挙動を予測するために挙動予測システムによって使用され得る（例えば、予測された特性およびそれらの特性が時間とともにどのように変化するか）。通常、車両のプランナシステムは、知覚された対象の公開された特性の最新のセット、挙動予測システムの出力、ならびに地図情報を使用して、将来への一定期間、車両がたどる軌道を決定し得る。

本開示の一態様は、自立運転モードを有する車両を制御する方法を提供する。方法は、１つ以上のプロセッサによって、車両の知覚システムの１つ以上のセンサからセンサデータを受信することであって、センサデータが、知覚システムによって、知覚される対象の特性を識別することと、１つ以上のプロセッサによって、対象が、知覚システムの１つ以上のセンサによって、もはや知覚されていないことを判定することと、１つ以上のプロセッサによって、判定ならびに１つ以上の特性に基づいて、対象の予測された特性を生成することと、対象が、知覚システムの１つ以上のセンサによってもはや知覚されていない場合、車両が対象に応答できるように、１つ以上のプロセッサによって、自立運転モードにある車両を制御するために、対象の予測された特性を使用することと、を含む。

ある例では、複数の条件は、特性のうちの１つが対象を道路利用者として識別することをさらに含む。この例では、道路利用者は、歩行者、自転車利用者、または車両である。別の例では、方法はまた、特性のうちの１つが対象を未知の移動中の対象として識別することを判定することを含み、予測された特性を生成することは、特性のうちの１つが対象を未知の移動中の対象として識別することを判定することに、さらに基づく。別の例では、対象が知覚システムの１つ以上のセンサによってもはや知覚されていない場合、対象の特性は、所定の期間、知覚システムから受け取られていない。別の例では、方法はまた、対象が知覚システムによって公開された偽の対象のセットに含まれていないことを、判定することを含み、予測された特性を生成することは、対象が偽の対象のセットに含まれていないことを判定することにさらに基づく。別の例では、対象が、知覚システムのセンサデータ公開の少なくとも最小の反復回数で識別されていることを判定し、予測された特性を生成することは、その判定にさらに基づく。この例では、方法はまた、最小の反復回数が、特性の分類に基づくことを識別することを含む。別の例では、方法はまた、対象が知覚システムの視野内にないであろうことを、特性に基づいて判定することを含み、予測された特性を生成することは、対象が知覚システムの視野内にないであろうことを、判定することにさらに基づく。この例では、方法はまた、センサの範囲および知覚された対象の特性に基づいて、視野を決定することを含む。別の例では、方法はまた、対象が知覚システムの視野の縁部の所定の距離内にあることを、特性に基づいて判定することを含み、予測された特性を生成することは、対象が知覚システムの視野の縁部の所定の距離内にあることを、判定することにさらに基づく。この例では、方法はまた、センサの範囲および知覚された対象の特性に基づいて、視野を決定することを含む。別の例では、方法はまた、対象の挙動予測を受信することを含み、予測された特性を生成することは、挙動予測にさらに基づく。この例では、方法はまた、１つ以上の特性および挙動予測を、判定に基づいて将来使用するためにメモリに記憶することを含む。別の例では、方法はまた、対象の新しい挙動予測を生成するために、予測された特性を使用することと、新しい挙動予測に基づいて、対象の更新された予測された特性を生成することと、対象が、知覚システムの１つ以上のセンサによって、もはや知覚されていない場合、車両が対象に応答できるように、自立運転モードにある車両を制御するために対象の更新された予測された特性を使用することと、を含む。別の例では、方法はまた、対象が知覚システムの１つ以上のセンサによって所定の時間知覚されていないという条件を、対象がいつ満たしたかを判定することを含み、対象が条件を満たすと判定される場合、自立運転モードにある車両を制御するために、対象の予測された特性をもはや使用しない。別の例では、方法はまた、予測された特性の対象の予測された位置が知覚システムの１つ以上のセンサによって目下知覚されている対象の位置と重なり合うという条件を、対象がいつ満たしたかを判定することを含み、対象が条件を満たすと判定される場合、自立運転モードにある車両を制御するために、対象の予測された特性をもはや使用しない。別の例では、方法はまた、予測された特性の対象の予測された位置が知覚システムの１つ以上のセンサによって目下知覚されている対象の位置の所定の距離内にあるという条件を、対象がいつ満たしたかを判定することを含み、対象が条件を満たすと判定される場合、自立運転モードにある車両を制御するために、対象の予測された特性をもはや使用しない。この例では、方法はまた、所定の距離を、知覚システムによって目下知覚されている対象の速度に基づいて識別することを含む。別の例では、方法はまた、予測された特性の対象の位置が、知覚システムによって知覚された位置に一致している間、所定の期間が経過するという条件を、対象がいつ満たしたかを判定することを含み、対象が条件を満たすと判定される場合、自立運転モードにある車両を制御するために、対象の予測された特性をもはや使用しない。

例示の実施形態による例示の車両の機能図である。 本開示の態様による地図情報の一例である。 本開示の態様による車両の例示の外観図である。 本開示の態様による、図２の地図情報に対応する例示の道路の区画図である。 本開示の態様による、図４の別の例示の道路の区画図である。 本開示の態様による、遮蔽された範囲を識別する、図５に示されている道路の例示の区画図である。 本開示の態様による、図４の道路のさらなる例示の区画図である。 本開示の態様による、例示のフロー図である。

概要
技術は、視界から出たように見える対象、またはむしろ自立型車両の知覚システムの１つ以上のセンサによって対象として１度は知覚されていて、しばらくして１つ以上のセンサのうちの任意のものによって、対象としてもはや知覚されない対象を、追跡することに関する。上述のように、車両の知覚システムは、１つ以上のセンサによって知覚された対象の特性を公開し、これらの特性を車両の他のシステムに送信し得る。特性には、分類（タイプ）、場所、速度、方位、向き、サイズ、形状などが含まれます。たとえば、オブジェクトの公開された特性は、オブジェクトの将来の動作を予測するために動作予測システムによって使用されます（たとえば、予測される特性と、それらの特性が時間の経過とともにどのように変化するか）。通常、車両のプランナシステムは、知覚された対象の公開された特性の最新のセット、挙動予測システムの出力、ならびに地図情報を使用して、将来への一定期間、車両がたどる軌道を決定し得る。

対象が、知覚システムのセンサによって、もはや知覚されなくなると、対象の特性はもはや公開されなくなり、車両の他のシステムにもはや送信されなくなる。したがって、いくらかの追加の入力がないと、プランナは、もはやその対象に応答できなくなり得る。このことは、例えば、対象が別の対象（木の後ろを歩いている歩行者、または別の車両の後ろの範囲内で移動する車両など）によって遮蔽された場合、または対象が単に車両の知覚システムの視野の外に移動した場合、多くの理由で起こり得る。これらの対象の一部は、最終的に再び現れ得るので、これらの対象の一部を「記憶」または追跡することが有益であり得る。本明細書に記載の特徴により、自立型車両のプランナシステムは、これらの記憶された対象に応答できる、またはむしろ、知覚システムによって公開されているそれらの対象に特性がない場合に、対象に応答できる。

例えば、視界から出た対象の管理システムは、最新の利用可能な特性に基づいて、視界から出たように見える対象を、その最も可能性の高い位置を広めることによって、追跡し得る。多くの事例では、対象が視界から出た場合、視界から出た対象の管理システムは、対象が実際に計画に関連していない場合など、それらの対象を追跡する必要がない場合がある。したがって、視界から出たように見えるすべての対象を追跡することは、リソースの非効率的な使用法であり得る。この点で、他の道路利用者および未知の移動中の対象など、ある特定のカテゴリの対象のみが記憶され得る。

多すぎる対象を追跡することを避けるために、上述のカテゴリのうちの１つで識別された対象に関して、視界から出た対象の管理システムは、識別された対象が複数の条件を満たすか否かを判定し得る。この点で、識別された対象ごとに、視界から出た対象の管理システムは、識別された対象が複数の条件を満たすか否かを判定し得る。

複数の特性も満たすカテゴリのうちの１つの対象は、視界から出た対象と見なされ、視界から出た対象の管理システムによって記憶され得る。この点で、視界から出た対象の管理システムは、対象の最後に知覚された位置などの対象の最新の特性のうちの１つ以上、ならびに対象の最も可能性の高い挙動予測を含む、対象の視界から出た対象のデータを記憶し得る。

知覚システムが対象の新しい特性を公開するたびに、視界から出た対象の管理システムは、視界から出た対象の予測された特性のセットを生成するために、記憶された対象の視界から出た対象のデータを使用し得る。次に、これらの予測された特性は、軌道を生成するために使用されるために、プランナシステムに入力され得る。これにより、車両は、視界から出た対象に、それらが知覚システムによって知覚されない場合でも、応答可能であり得る。

最終的には、ある特定の視界から出た対象を覚えておくことが、もはや必要がなく、または実用的でなくなり得る。この点で、ある時点で、視界から出た対象データはもはや保存されなく、または予測された特性をプランナシステムに送信するために使用されなくなり得る。これは、１つ以上の条件が満たされた場合の事例であり得る。

本明細書に記載の特徴は、自立型車両が、車両の近傍に存在し得るが車両の知覚システムが知覚することができない実際の対象に、応答することを可能にし得る。このことはまた、車両の安全性を向上させ得る。さらに、このことは、ある特定の条件を満たす対象のある特定のカテゴリのみを記憶することにより、例えば視界から出たように見えるすべての観察された対象が記憶されたか否かを記憶することに必要とされるリソースの量を限定し得る。

例示のシステム
図１に示されるように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のいくつかの態様は、特定の種類の車両に関連して特に有用であるが、車両は、限定はしないが、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含む任意の種類の車両でよい。車両は、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに典型的に存在する他のコンポーネントを含むコンピューティングデバイス１１０など１つ以上の制御コンピューティングデバイスを有し得る。

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能な情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３２およびデータ１３４が含まれる。メモリ１３０は、プロセッサによってアクセス可能な情報を記憶することができる任意の種類のメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読み取り専用メモリなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々な種類の媒体に記憶される。

命令１３２は、プロセッサによって直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令セットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。その点について、「ソフトウェア」、「命令」、および「プログラム」という用語は、本明細書では、互換的に使用され得る。命令は、プロセッサによる直接処理のための対象コード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされる、スクリプトもしくは独立したソースコードモジュールのコレクションを含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。

データ１３４は、命令１３２に従って、プロセッサ１２０によって検索、記憶、または修正され得る。例えば、特許請求の範囲の主題は、いかなる特定のデータ構造にも限定されないが、データは、コンピューティングデバイスレジスタ内に、すなわち、複数の異なるフィールドおよびレコードを有する表、ＸＭＬドキュメント、またはフラットファイルとしてリレーショナルデータベース内に記憶されてもよい。データはまた、任意のコンピューティングデバイス可読形式でフォーマットされてもよい。

１つ以上のプロセッサ１２０は、市販されているＣＰＵなど任意の従来のプロセッサであってもよい。代替的に、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に記憶されていてもいなくてもよい、複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。例えば、メモリは、ハードドライブ、またはコンピューティングデバイス１１０の筐体とは異なる筐体内に位置する他の記憶媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことを理解されたい。

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力装置１５０（例えば、マウス、キーボード、タッチスクリーン、および／またはマイクロフォン）および様々な電子ディスプレイ（例えば、スクリーンを有するモニタ、または情報を表示するように動作可能である任意の他の電気デバイス）などの、コンピューティングデバイスと接続して通常使用されるすべての構成要素を含み得る。この例では、車両は、情報または視覚体験を提供するために、内部電子ディスプレイ１５２、ならびに１つ以上のスピーカ１５４を含む。この点について、内部電子ディスプレイ１５２は、車両１００の車内に位置していてもよく、コンピューティングデバイス１１０によって使用されて、車両１００内の乗客に情報を提供してもよい。

コンピューティングデバイス１１０はまた、以下に詳細に説明するクライアントコンピューティングデバイスおよびサーバコンピューティングデバイスなど他のコンピューティングデバイスとの通信を容易にするために、１つ以上の無線ネットワーク接続１５６を含んでもよい。無線ネットワーク接続には、ブルートゥース、ブルートゥースローエネルギー（ＬＥ）、携帯電話接続などの短距離通信プロトコル、ならびにインターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰを含む様々な構成およびプロトコル、ならびに上記の様々な組み合わせが含まれてもよい。

一例では、コンピューティングデバイス１１０は、自立運転コンピューティングシステムの制御コンピューティングデバイスであり得るか、または車両１００に組み込まれ得る。この自立運転コンピューティングシステムは、以下でさらに考察されるように、メモリ１３０の自立制御ソフトウェアに従って車両１００の動きを制御するために、車両の様々な構成要素と通信することが可能であってよい。例えば、図１に戻ると、コンピューティングデバイス１１０は、視界から出た対象の管理システムだけでなく、メモリ１３０の命令１３２に従って車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、シグナリングシステム１６６、プランニングシステム１６８、ルーティングシステム１７０、測位システム１７２、知覚システム１７４、挙動モデリングシステム１７６、パワーシステム１７８（すなわち、車両のエンジンまたはモータ）などの、車両１００の様々なシステムと通信し得る。これらのシステムのそれぞれは、これらのシステムが様々なタスクを実施できるようにするために、ソフトウェアだけでなく、様々なハードウェア（プロセッサ１２０およびメモリ１３０と同様のプロセッサおよびメモリ）を含み得る。この場合も、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両１００を制御するための自立運転コンピューティングシステムとしてここでも、コンピューティングデバイス１１０の中に組み込まれてもよい。

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、車両のブレーキ、アクセルペダル、および／またはエンジンもしくはモータなど、減速システム１６０および／または加速システム１６２の１つ以上のアクチュエータと相互作用し得る。同様に、ハンドル、操縦シャフト、ならびに／またはラックアンドピニオンシステムのピニオンおよびラックなど、ステアリングシステム１６４の１つ以上のアクチュエータは、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用され得る。例えば、乗用車またはトラックなどの車両１００が道路上で使用するために構成される場合、ステアリングシステムは、車両の向きを変えるために車輪の角度を制御するための１つ以上のアクチュエータを含み得る。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に知らせるために、コンピューティングデバイス１１０によって使用され得る。

プランニングシステム１６８は、ある場所までのルーティングシステム１７０によって生成された経路を決定し、これをたどるために、コンピューティングデバイス１１０によって使用され得る。例えば、ルーティングシステム１７０は、地図情報を使用して、車両の目下の場所から目的地の場所までの経路を決定し得る。プランニングシステム１６８は、目的地への経路をたどるために、定期的に軌道、または未来のある期間にわたって車両を制御するための短期計画を生成し得る。この点で、プランニングシステム１６８、ルーティングシステム１７０、および／またはデータ１３４は、詳細な地図情報、例えば、道路の形状および高度、車線境界線、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報、植生、または他のそのような対象および情報を識別する高精密地図、を記憶し得る。

図２は、交差点２０２を含む、車道の区画に関する地図情報２００の例である。地図情報２００は、車線２１０、２１１、２１２、２１３、２１４、交通管制デバイス２２０、２２２（例えば、信号灯、一時停止標識などを含み得る）、横断歩道２３０、２３２、歩道２４０、矢印を含む道路標示２５０、２５１、２５２、ならびに車線２６０、２６１、２６２、２６３、２６４、２６５などの特徴を含む様々な特徴の形状、位置、および他の特性を識別する情報を含む。いくつかの特徴のみが示され、識別されているが、地図情報２００は非常に詳細であり、様々な追加の特徴を含み得る。

本明細書では、地図情報を画像ベースの地図として描いているが、地図情報は、完全に画像ベースである必要はない（例えば、ラスタ）。例えば、地図情報は、１つ以上の道路グラフ、または道路、車線、交差点、およびこれらの特徴間の関係などの情報のグラフネットワークを含み得る。各特徴は、グラフデータとして記憶され得、地理的位置などの情報と関連付けられ得、他の関連する特徴にリンクされているかどうかにかかわらず、例えば、一時停止標識は、道路および交差点などにリンクされ得る。いくつかの例では、関連付けられたデータは、道路グラフのグリッドベースのインデックスを含んで、特定の道路グラフの特徴の効率的な検索を可能にし得る。

測位システム１７２は、コンピューティングデバイス１１０により、地図上または地球上の車両の相対的または絶対的位置を判定するために使用され得る。例えば、測位システム１７２は、デバイスの緯度、経度、および／または高度の位置を判定するためのＧＰＳ受信機を含み得る。レーザを利用した位置特定システム、慣性支援ＧＰＳ、またはカメラを利用した位置特定などの他の位置特定システムも、車両の位置を識別するために使用され得る。車両の位置は、緯度、経度、および標高などの絶対的な地理的位置だけでなく、多くの場合、絶対的な地理的位置よりも少ない雑音で判定することができる、その車両のすぐ周りにある他の車に対する位置などの相対的な位置情報を含むことができる。

測位システム１７２はまた、加速度計、ジャイロスコープ、または別の方向／速度検出デバイスなどの、コンピューティングデバイス１１０と通信する他のデバイスも含んで、車両の方向および速度、またはそれらの変化を判定するようにしてもよい。例示に過ぎないが、加速デバイスは、重力の方向、または重力に対して垂直な平面に対する車両の縦揺れ、偏揺れ、または横揺れ（またはそれらの変化）を判定してもよい。このデバイスはまた、速度の増減、およびそのような変化の方向を追跡することもできる。本明細書で説明したように、デバイスの位置および配向データの提供は、コンピューティングデバイス１１０、他のコンピューティングデバイス、および上記の組み合わせに自動的に提供され得る。

知覚システム１７４はまた、他の車両、道路内の障害物、交通信号、標識、樹木などの車両の外部にある対象物を検出するために１つ以上の構成要素を含む。例えば、知覚システム１７４は、例えば、レーザ、ソナー、レーダー、カメラ、および／またはコンピューティングデバイス１１０によって処理され得るデータを記録する任意の他の検出デバイスを含む１つ以上のセンサを含み得る。この点で、知覚システム１７４は、知覚システム１７４が対象を知覚することができる１つ以上のセンサの組み合わされた視野に対応する視野を有し得る。対象が知覚されると、知覚システム１７４は、その対象の複数の特性を含むセンサデータを公開し得る。

車両がミニバンなどの乗用車である場合、ミニバンの知覚システム１７４は、屋根または他の都合のよい位置に搭載されるレーザまたは他のセンサを含み得る。例えば、図３は、車両１００の例示の外観図である。この例では、ルーフ上部筐体３１０およびドーム状筐体３１２は、ＬＩＤＡＲセンサ、ならびに様々なカメラおよびレーダーユニットを含み得る。加えて、車両１００の前端部に位置する筐体３２０、ならびに車両の運転手側および助手席側の筐体３３０、３３２は、各々、ＬＩＤＡＲセンサを記憶し得る。例えば、筐体３３０は、運転手ドア３５０の前部に位置している。車両１００はまた、これも車両１００のルーフに位置するレーダーユニットおよび／またはカメラのための筐体３４０、３４２を含む。追加のレーダーユニットおよびカメラ（図示せず）は、車両１００の前端および後端に、ならびに／またはルーフもしくはルーフ上部筐体３１０に沿った他の位置上に位置し得る。車両１００はまた、ドア３５０、３５２、ホイール３６０、３６２などの典型的な乗用車の多くの特徴を含む。

対象が視界から出たように見える状況に対処するために、視界から出た対象の管理システム１８０は、最新の利用可能な特性に基づいて、視界から出たように見える対象を、その最も可能性の高い位置を広めることによって、追跡し得る。視界から出た対象の管理システムは、独立したシステムであり得、または知覚システムもしくはプランナシステムのいずれかに組み込まれていることもあり得る。このシステムの態様および機能が、以下でさらに説明される。

車両の様々なシステムは、どのように車両を制御するかを判定するためおよび制御するために、自立型車両制御ソフトウェアを使用して機能し得る。例として、知覚システム１７４の知覚システムソフトウェアモジュールは、カメラ、ＬＩＤＡＲセンサ、レーダーユニット、ソナーユニットなどの自立型車両の１つ以上のセンサによって生成されたセンサデータを使用して、対象およびその特性を検出および識別し得る。これらの特性は、位置、分類（種類）、方位、向き、速度、加速度、加速度の変化、サイズ、形状などを含み得る。いくつかの例では、分類（種類）に基づいて様々なモデルを使用する挙動予測システムソフトウェアモジュールに、特性が入力され、検出された対象の予測された未来の挙動を出力し得る。他の例では、特性は、車両の１つ以上のセンサによって生成されたセンサデータから建設ゾーンを検出するように構成された建設ゾーン検出システムソフトウェアモジュール、ならびに車両のセンサによって生成されたセンサデータから緊急車両を検出するように構成された緊急車両検出システムなどの１つ以上の検出システムソフトウェアモジュールに入れることができる。これらの検出システムソフトウェアモジュールの各々は、様々なモデルを使用して、工事ゾーンまたは対象が緊急車両である可能性を出力し得る。検出された対象、予測された未来の挙動、検出システムソフトウェアモジュールからの様々な可能性、車両の環境を識別する地図情報、車両の位置および方位を識別する測位システム１７２からの位置情報、車両の目的地、ならびに車両の様々な他のシステム（ルーティングシステム１７０によって生成された経路を含む）からのフィードバックをプランニングシステム１６８のプランニングシステムソフトウェアモジュールに入力し得る。プランニングシステムは、この入力を使用して、車両が未来のある短い期間にわたってたどる軌道を生成し得る。コンピューティングデバイス１１０の制御システムソフトウェアモジュールは、例えば、軌道をたどるために、車両の制動、加速、およびステアリングを制御することによって、車両の動きを制御するように構成し得る。

コンピューティングデバイス１１０は、様々な構成要素を制御することによって車両の方向および速度を自動的に制御してもよい。そうするために、コンピューティングデバイス１１０は、車両を、加速させ（例えば、加速システム１６２により、エンジンに提供される燃料または他のエネルギーを増加させることによって）、減速させ（例えば、エンジンに供給される燃料を減少させ、ギアを切り替え、かつ／または減速システム１６０により制動をかけることによって）、方向転換させ（例えば、ステアリングシステム１６４により、車両１００の前輪または後輪の向きを変えることによって）、これらの変更を合図（例えば、シグナリングシステム１６６の方向指示器を点灯することによって）させ得る。このため、加速システム１６２および減速システム１６０は、車両のエンジンと車両の車輪との間に様々なコンポーネントを含む、動力伝達装置の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス１１０はまた、車両を自立的に操縦するために、車両の動力伝達装置を制御し得る。

例示的な方法
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実施される必要がないことを理解されたい。むしろ、様々な工程が、異なる順序で、または同時に処理されてもよく、工程もまた、追加または省略されてもよい。

図４は、地図情報２００に対応する道路４００の区画を第１の時点において走行する車両１００を表す。道路４００は、交差点２０２に対応する交差点４０２、車線２１０、２１１、２１２、２１３、２１４に対応する車線４１０、４１１、４１２、４１３、４１４、交通管制デバイス２２０、２２２に対応する交通制御デバイス４２０、４２２、横断歩道２３０、２３２に対応する横断歩道４３０、４３２、歩道２４０に対応する歩道４４０、矢印２５０、２５１、２５２に対応する矢印４５０、４５１、４５２、ならびに車線２６０、２６１、２６２、２６３、２６４、２６５に対応する車線４６０、４６１、４６２、４６３、４６４、４６５を含む様々な特徴の形状、位置、および他の特性を識別する情報を含む。この例では、車両１００は、車線４６１で交差点４０２に進入しつつある。さらに、他の様々な車両４７０、４７２、４７４、４７６、ならびに歩行者４８０が、交差点４０２内およびその周辺の様々な地点に位置している。

上述したように、知覚システム１７４は、知覚システムのうちの１つ以上のセンサによって生成されたセンサデータを公開し得る。このセンサデータは、知覚システムによって知覚された対象の特性を識別する情報を含み得る。例えば、図４は、第１の時点での車両１００を表している。この第１の時点では、車両４７０、４７２、４７４、４７６、ならびに歩行者４８０の各々は、知覚システム１７４の視野内にあり、言い換えれば、知覚システム１７４の１つ以上のセンサによって知覚可能である。したがって、知覚システム１７４は、例えば、位置、進行方向、速度、向き、加速度、加速度の変化などを含む、車両４７０、４７２、４７４、４７６および歩行者４８０の各々の特性を公開し得る。

このセンサデータおよび特性は、コンピューティングデバイス１１０、ならびに車両の他の様々なシステムによって受信され得る。例えば、上述したように、このセンサデータは、対象の将来の挙動を予測するために、挙動モデリングシステム１７６に入力され得る。これらの将来の挙動、各知覚された対象の特性、ならびに他の情報（地図情報２００および車両１００が目下たどっている経路など）がまた、車両１００のたどる軌道を決定するために、計画システム１６８に入力され得る。次に、軌道は、自立運転モードにある車両を制御するために使用され得る。

ある特定の時点で、一部の対象が視界から出たように見える場合がある。例えば、図５は、第２の時点で、交差点４０２で停止した車両１００を表す。この例では、第２の時点は、第１の時点の数秒後に発生し得る。したがって、車両４７０、４７２、４７４、４７６ならびに歩行者４８０の各々の位置が移動している。この第２の時点で、車両４７０は、もはや車道４００上に描かれておらず、そのように車両４７０は、車両４７０としての知覚システムの視野内にもはや存在しない可能性がある。例えば、車両４７０は、知覚システム１７４のセンサの範囲を超えて位置し得る。さらに、図６に目を向けると、車両４７４および４７６の位置は、本質的に「影」を落とす、または遮蔽された範囲６１０、６２０を作成する。言い換えれば、知覚システム１７４の視野に対する車両４７４および４７６の相対的な位置のために、知覚システム１７４は、これらの対象が遮蔽された範囲６１０、６２０内に位置するので、車両４７２または歩行者４８０をもはや知覚することができない。したがって、車両４７０、４７２、および歩行者４８０の各々が視界から出たように見え得る。したがって、第２の時点では、知覚システム１７４は、これらの対象のセンサデータをもはや公開していない。

そのような状況に対処するために、視界から出た対象の管理システム１８０は、最新の利用可能な特性に基づいて、視界から出たように見える対象を、その最も可能性の高い位置を広めることによって、追跡し得る。多くの事例では、対象が視界から出た場合、視界から出た対象の管理システムは、対象が実際に計画に関連していない場合など、それらの対象を追跡する必要がない場合がある。このことは、いくつかの例では、自立型車両１００が動きの遅い車両のそばを通過するとき、または自立型車両から離れている車両のそばを通過するときに発生し得る（やはり、これらの車両が計画することのためには実際に適切でないと仮定する）。したがって、視界から出たように見えるすべての対象を追跡することは、リソースの非効率的な使用方法であり得る。

多すぎる対象を追跡することを避けるために、上述のカテゴリの１つで識別された対象に関して、視界から出た対象の管理システムは、識別された対象が複数の条件を満たすか否かを判定し得る。例えば、例示の条件は、ある特定の対象のカテゴリのみが記憶され得ることを含み得る。言い換えれば、視界から出た対象の管理システム１８０は、知覚システム１７４によって公開された特性を使用して、対象が特定の分類または種類であるか否かを判定し得る。例えば、歩行者、自転車利用者、および車両などの他の道路利用者のみが、視界から出た対象の管理システム１８０によって記憶され得る。この点で、図４および５に戻ると、道路利用者としての車両４７０、４７２、４７４、４７６、および歩行者４８０の各々は、記憶されることに適した分類であろう。例えば、対象が知覚システムのセンサによって知覚されたが、それが特定の分類として十分に確実に識別されていない場合、対象の分類は不明として示され得る。その対象も移動している場合、対象の分類は未知の移動中の対象として示され得る。

別の例示の条件は、対象が少なくとも最小の時間または反復回数の間知覚されていることを含み得る。例えば、知覚システムは、１回または２回の反復、または数分の１秒などの非常に短い時間、現実の世界には実際には存在しない過渡的な「偽の対象」をときには公開し得る。そのような対象は、そもそも実際には存在しなかったので、記憶されるべきでない。したがって、そのような対象が記憶されないことを保証するために、例示の条件は、対象が、おおよそ０．１秒などの最小期間中、またはおおよそ３回のような最小反復回数の各々で公開されることを要求し得る。この最小反復回数は、対象の分類に基づき得、より少ない反復が、より攻撃を受けやすい道路利用者に必要とされ得る。例えば、時間の長さは車両には長く、歩行者には短くなり得る。

代替的に、知覚システムは、偽の対象のセット、または一度検出され公開され、その後偽の対象であることが判明した対象を公開し得る。例えば、そのような対象が上述した最小反復回数を満たしていないので、対象がこのセットに含まれ得る。この点で、別の例示の条件は、対象が偽の対象のセット内で識別されなかったことを含み得る。

別の例示の条件は、対象の遮蔽推定に基づき得る。言い換えると、対象が、ＬＩＤＡＲセンサの視野内に視認されることを期待すべきでない。この点で、視界から出た対象の管理システムは、対象が知覚システムの視野を出たために対象が消えたか否かを判断し得る。例えば、コンピューティングデバイスは、対象の最後に観察された位置がその視野の縁部に近かったか否かを判定し得る。例えば、コンピューティングデバイス１１０は、対象の最後に知覚された位置が、知覚システム１７４の視野の縁部のある距離内にあったかどうかを判定し得る。この距離は、対象の速度が減少すると距離が減少し、対象の速度が増加すると距離が増加するように、対象の速度に基づいて決定され得る。視野は、上述したような知覚システムの１つ以上のセンサの範囲、ならびに遮蔽された領域（遮蔽された領域６１０、６２０など）をもたらし得るその範囲内にある任意の対象の両方に依存し得る。例えば、視野の縁部からおおよそ数フィート以内にある対象の場合に、対象を覚えておく方が、対象が平面図内にあり、消える場合よりも、理にかない得る。前者の場合は、対象が単に視野の縁部の境界を横切り、知覚システムに見える状態から見えない状態に移ったことを示し得る。このような状況では、このことは、対象が実際の対象であった可能性が高かったことを示し得、対象が視界から出た後に追跡する方がより有益であり得る。後者の場合は、対象が消える直前に視野の縁部に近くなかったため、対象が実際には実際の対象ではなかったことを示している可能性がある。この点で、この例示の条件は、対象の最後に知覚された位置（すなわち、公開された位置）が、視野の縁部の近くまたはおおよそ数フィート以内にあることを必要とし得る。さらに、この距離は、種々の対象または様々な速度で移動する対象に関して異なり得る。例えば、より長い距離が、より遅い対象と比較して視野から出る可能性が高いため、より速い対象に使用され得る。

上述の条件は、どの対象が、視界から出た対象の管理システム１８０によって、記憶されるべきかを判定するために、任意の組み合わせで使用され得る。複数の条件を満たす任意の対象が、視界から出た対象の管理システム１８０によって、視界から出た対象と見なされ、記憶され得る。例えば、車両４７０、４７２および歩行者４８０の各々が、視界から出た対象の管理システム１８０によって、記憶されるべきである視界から出た対象として識別され得る。

視界から出た対象の管理システムは、対象の最後に知覚された位置などの対象の最新の特性のうちの１つ以上（例えば対象の知覚システム１７４によって公開された最新の特性）、ならびに対象の最も可能性の高い挙動予測を含む、対象の視界から出た対象のデータを記憶し得る。この最も可能性の高い挙動予測は、知覚システムからの対象について最後に公開された特性に基づいて、挙動モデリングシステム１７６から出力され得る。この点で、挙動モデリングシステム１７６は、各々が発生する可能性が異なる単一の予測または複数の予測を出力し得る。図７に目を向けると、破線の車両７１０は、第１の時点での車両４７２の位置を表しており、影付きの車両７２０は、第２の時点での車両４７２の予測位置を表している。同様に、破線の歩行者７３０は、第１の時点での歩行者４８０の位置を表しており、影付きの歩行者７４０は、第２の時点での歩行者４８０の予測位置を表している。

いくつかの例では、対象が視界から出ると、その視界から出た対象の期待される予測位置および／または他の予測された特性が、新しいまたは更新された挙動予測、例えば特定の時点での視界から出た対象の特性の更新された予測を提供するために、挙動モデリングシステム１７６に入力し返され得る。これらの更新された予測された特性はまた、視界から出た対象の管理システム１８０によって記憶され得る。

知覚システム１７４が知覚された対象の新しい特性を公開するたびに、視界から出た対象の管理システム１８０は、視界から出た対象のデータを、任意の記憶された対象に使用して、視界から出た対象の予測された特性のセットを生成し得る。例えば、視界から出た対象の管理システム１８０は、記憶された最も可能性の高い挙動予測を対象に使用して、目下の時間の予測された特性のセットを識別または判定し得る。

次に、これらの予測された特性は、軌道を生成するために使用されるために、（上で識別された他のデータと合わせて）計画システム１６８に入力され得る。これにより、車両１００は、これらの対象が知覚システムによって知覚されない場合でも、車両４７２および歩行者４８０などの視界から出た対象に応答することが可能になり得る。例えば、車両は、歩行者４８０ならびに車両４７２に道を譲ることができる。

さらに、場合によっては、視界から出た対象は、車両のセンサによって検出された知覚された対象よりも高いレベルの不確実性に関連付けられ得る時間の経過とともに、この不確実性はまた、増大し得る。したがって、プランナシステムは、記憶された対象の存在または位置に関していくらかの不確実性があるため、車両に、記憶された対象に対して知覚された対象のときとは異なる反応をさせ得る。例示として、車両が、記憶された対象がどこに行くかについて非常に不確実である場合、車両は実際により慎重に走行し得る。

最終的には、ある特定の視界から出た対象を覚えておくことが、必要がなくなり得るまたは実用的でなくなり得る。この点で、ある時点で、視界から出た対象データはもはや保存されなく、または予測された特性をプランナシステムに送信するために使用されなくなり得る。これは、１つ以上の条件が満たされた場合の事例であり得る。ある例示の条件は、対象がおおよそ３秒などの閾値期間を超えて知覚されなかった場合であり得る。これは、車両１００から単に「走り去る」車両４７０などの車両が、再び現れる可能性が高くない場合に当てはまり得る。別の例示の条件として、対象の予測位置が、対象が知覚システム１７４の視野内で視認可能である、または遮蔽されていないであろうことを示す間の、おおよそ０．７秒などの所定の期間が経過したか否かという条件である。別の例示の条件として、対象の予測された位置が、適合カテゴリの新しく知覚された対象への所定の距離内にあるか否かという条件である。この所定の距離は、分類およびどれだけ速く新しく知覚された対象が動いているかに依存し得る。例えば、近さは、車両の場合おおよそ３～５メートル（低速で移動する車両の場合は３メートル、高速で移動する車両の場合は５メートル）および歩行者の場合はおおよそ１メートルであり得る。別の例示の条件として、対象の予測された位置が、同じまたは異なるカテゴリの別の対象の境界ボックスまたは輪郭と重なっている、またはその中にあるか否かという条件である。これは、知覚システムが以前対象を誤って分類した状況に相当し得る。

いくつかの例では、車両にステアリング可能なセンサがある場合、視界から出た対象の管理システムが知覚システムに、視界から出た対象の予測された位置の方向へ、センサをステアリングさせ得る。これにより、車両の知覚システムおよび／または視界から出た対象の管理システムが、対象を知覚し、および／または対象の予測された位置を確認することが可能になり得る。当然、これは、対象の予測された位置が別の対象によって遮蔽されていないという仮定に依存し得る。

図８は、コンピューティングデバイス１１０のプロセッサ１２０、または車両１００の多様なシステムの他の任意のプロセッサもしくはコンピューティングデバイスなどの車両の１つ以上のコンピューティングデバイスの１つ以上のプロセッサによって実施され得る、自立運転モードを有する車両１００などの車両を制御するために、本明細書に記載の技術の態様の例示のフロー図８００である。例えば、ブロック８１０では、センサデータが、車両の知覚システムの１つ以上のセンサから受信され、センサデータは、知覚システムによって知覚された対象の特性を識別する。ブロック８２０では、対象が知覚システムの１つ以上のセンサによってもはや知覚されていないことが判定される。上述したように、複数の条件は、多様な他の条件を含み得る。ブロック８３０では、対象の予測された特性が、判定ならびに１つ以上の特性に基づいて生成される。ブロック８４０では、対象の予測された特性は、対象が知覚システムの１つ以上のセンサによって、もはや知覚されていない場合、車両が対象に応答できるように、自立運転モードにある車両を制御するために使用される。

本明細書に記載の特徴は、自立型車両が、車両の近傍に存在し得るが、車両の知覚システムが知覚することができない実際の対象に応答することを可能にし得る。このことはまた、車両の安全性を向上させ得る。さらに、このことは、ある特定の条件を満たす対象のある特定のカテゴリのみを記憶することにより、例えば視界から出たように見えるすべての観察された対象が記憶されたか否かを記憶することに必要とされるリソースの量を限定し得る。

特段の記述がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実施することができる。上述した特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示として見なされるべきである。加えて、本明細書に記載の例、ならびに「など」、「含む」などと表現された語句の提示は、特許請求の範囲の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、例は、多くの可能な実施形態のうちの１つだけを例示することが意図される。さらに、異なる図面の同じ参照符号は、同じまたは類似の要素を特定することができる。

Claims (20)

1. 自立運転モードを有する車両を制御する方法であって、
   １つ以上のプロセッサによって、センサデータを、前記車両の知覚システムの１つ以上のセンサから受信することであって、前記センサデータが前記知覚システムによって知覚された対象の特性を識別することと、
   前記１つ以上のプロセッサによって、前記対象が前記知覚システムの前記１つ以上のセンサによってもはや知覚されていないことを判定することと、
   前記１つ以上のプロセッサによって、前記判定ならびに前記特性に基づいて前記対象の予測された特性を生成することと、
   前記１つ以上のプロセッサによって、前記対象が前記知覚システムの前記１つ以上のセンサによってもはや知覚されていない場合、前記車両が前記対象に応答できるように、前記対象の前記予測された特性を使用して、前記自立運転モードにある前記車両を制御することと、を含む、方法。
2. 前記複数の条件が、前記特性のうちの１つが前記対象を道路利用者として識別することをさらに含む、請求項１に記載の方法。
3. 前記道路利用者が、歩行者、自転車利用者、または車両である、請求項２に記載の方法。
4. 前記特性のうちの１つが、前記対象を未知の移動中の対象として識別することを判定することをさらに含み、前記予測された特性を生成することが、前記特性のうちの１つが前記対象を未知の移動中の対象として識別することを前記判定することにさらに基づく、請求項１に記載の方法。
5. 前記対象が前記知覚システムの前記１つ以上のセンサによってもはや知覚されていない場合、前記対象の特性が、所定の期間、前記知覚システムから受け取られていない、請求項１に記載の方法。
6. 前記対象が、前記知覚システムによって公開された偽の対象のセットに含まれていないことを判定することをさらに含み、前記予測された特性を生成することが、前記対象が偽の対象のセットに含まれていないことを前記判定することにさらに基づく、請求項１に記載の方法。
7. 前記対象が、前記知覚システムのセンサデータ公開の少なくとも最小の反復回数で識別されていることを判定することをさらに含み、前記予測された特性を生成することが、前記判定にさらに基づく、請求項１に記載の方法。
8. 前記最小の反復回数が、前記特性の分類に基づくことを識別することをさらに含む、請求項７に記載の方法。
9. 前記対象が前記知覚システムの視野内にないであろうことを、前記特性に基づいて判定することをさらに含み、前記予測された特性を生成することが、前記対象が前記知覚システムの視野内にないであろうことを前記判定することにさらに基づく、請求項１に記載の方法。
10. 前記センサの範囲および知覚された対象の特性に基づいて、前記視野を決定することをさらに含む、請求項９に記載の方法。
11. 前記対象が前記知覚システムの視野の縁部の所定の距離内にあることを、前記特性に基づいて判定することをさらに含み、前記予測された特性を生成することが、前記対象が前記知覚システムの視野の縁部の所定の距離内にあることを、前記判定することにさらに基づく、請求項１に記載の方法。
12. 前記センサの範囲および知覚された対象の特性に基づいて、前記視野を決定することをさらに含む、請求項１１に記載の方法。
13. 前記対象の挙動予測を受信することをさらに含み、前記予測された特性を生成することが、前記挙動予測にさらに基づく、請求項１に記載の方法。
14. １つ以上の前記特性および前記挙動予測を、前記判定に基づいて将来使用するためにメモリに記憶することをさらに含む、請求項１３に記載の方法。
15. 前記予測された特性を使用して、前記対象の新しい挙動予測を生成することと、
    前記新しい挙動予測に基づいて、前記対象の更新された予測された特性を生成することと、
    前記対象が、前記知覚システムの前記１つ以上のセンサによってもはや知覚されていない場合、前記車両が前記対象に応答できるように、前記対象の前記更新された予測された特性を使用して、前記自立運転モードにある前記車両を制御することと、をさらに含む、請求項１に記載の方法。
16. 前記対象が前記知覚システムの前記１つ以上のセンサによって所定の時間知覚されていないという条件を、前記対象がいつ満たしたかを判定することをさらに含み、
    前記対象が前記条件を満たすと判定される場合、前記自立運転モードにある前記車両を制御するために、前記対象の前記予測された特性をもはや使用しない、請求項１に記載の方法。
17. 前記予測された特性の前記対象の予測された位置が、前記知覚システムの前記１つ以上のセンサによって目下知覚されている対象の位置と重なり合うという条件を、前記対象がいつ満たしたかを判定することをさらに含み、
    前記対象が前記条件を満たすと判定される場合、前記自立運転モードにある前記車両を制御するために、前記対象の前記予測された特性をもはや使用しない、請求項１に記載の方法。
18. 前記予測された特性の前記対象の予測された位置が、前記知覚システムの前記１つ以上のセンサによって目下知覚されている対象の位置の所定の距離内にあるという条件を、前記対象がいつ満たしたかを判定することをさらに含み、
    前記対象が前記条件を満たすと判定される場合、前記自立運転モードにある前記車両を制御するために、前記対象の前記予測された特性をもはや使用しない、請求項１に記載の方法。
19. 前記所定の距離を、前記知覚システムによって目下知覚されている前記対象の速度に基づいて識別することをさらに含む、請求項１８に記載の方法。
20. 前記予測された特性の前記対象の位置が、前記知覚システムによって知覚された位置に一致している間、所定の期間が経過しているという条件を、前記対象がいつ満たしたかを判定することをさらに含み、
    前記対象が前記条件を満たすと判定される場合、前記自立運転モードにある前記車両を制御するために、前記対象の前記予測された特性をもはや使用しない、請求項１に記載の方法。

Images