JP2021500652A - 自律型車両のための歩行者行動予測 - Google Patents

Abstract

本技術は、自律運転モードにおいて車両（１００）を制御することに関する。例えば、車両の環境内の物体を識別するセンサデータが、受信され得る。複数のセルを含むグリッド（７８０、７８２、７８４）が、物体の周りに投影されてもよい。複数のセルのうちの各所与のセルについて、物体が、将来にわたる期間内に所与のセルに進入する可能性が予測される。予測された可能性に基づいて、輪郭（１２８０〜１２８４）が生成される。次いで、車両が、輪郭内のエリアを回避するために、自律運転モードにおいて制御される。【選択図】図１３

Description

関連出願の相互参照
本出願は、２０１７年１０月２４日に出願された、米国特許出願第１５／７９１，６０２号の継続であり、その開示が参照により本明細書に組み込まれる。

人間の運転手を必要としない車両などの自律型車両が、ある場所から他の場所への乗員または物品の輸送を支援するために使用される場合がある。かかる車両は、乗員が集荷または目的地などのいくつかの初期入力を提供することができ、かつ車両がその場所に車両自体を操縦する、完全な自律モードで動作することができる。

無人車両を、車両、自転車、および歩行者など、他の独立した行為者を有する環境を通してどのように操縦するかを判定するために、無人車両のコンピューティングデバイスがそのような行為者を検出し、またそれらの行為者の将来の運動について予測することが重要である。典型的な予測システムは、学習された軌道提案ベースの動作モデルを使用して、物体が以前に観測された運動に基づいて、所与の軌道を追従する可能性を評価する。いくつかの軌道モデルは、そのような予測を行うとき、他の行為者の相対的な位置および移動を考慮に入れることさえあり得る。車両の知覚システムからのデータの品質が高く、所与の行為者の実現可能な経路の数が比較的小さいとき、この軌道モデリングは、実用的かつ有用なアプローチになり得る。

本開示の一態様は、自律運転モードを有する車両を制御する方法を提供する。本方法は、車両の１つ以上のプロセッサによって、車両の環境内の物体を識別するセンサデータを受信することと、１つ以上のプロセッサによって、物体の周りに複数のセルを含むグリッドを投影することと、複数のセルのうちの各所与のセルについて、１つ以上のプロセッサによって、物体が将来にわたる期間内に所与のセルに進入する可能性を予測することと、１つ以上のプロセッサによって、予測された可能性に基づいて、輪郭を生成することと、１つ以上のプロセッサによって、輪郭内のエリアを回避するために、自律運転モードにおいて車両を制御することと、を含む。

一例では、センサデータは、物体を、歩行者物体タイプとして識別し、グリッドを投影することが、歩行者物体タイプにさらに基づく。別の例では、本方法はまた、物体上の点を選択することを含み、グリッドを投影することは、グリッドの中心に点を配置することを含む。別の例では、本方法はまた、輪郭の周りにバッファ距離を提供することを含み、車両を制御することは、輪郭の周りのバッファ距離内のエリアを回避することを含む。別の例では、期間は、２秒以下である。別の例では、本方法はまた、閾値および予測された可能性を使用して、複数のセルのうちのセルを廃棄することを含み、輪郭は、複数のセルのうちの任意の残りのセルを使用して生成される。この例では、本方法はまた、センサデータで識別された物体に基づいて、閾値を選択することを含む。この例では、閾値を選択することは、センサデータで識別された歩行者の数に基づく。加えてまたは代替的に、閾値を選択することは、グリッドのエリアを回避する車両の実現可能性に基づく。別の例では、予測された可能性を予測することが、ヒートマップを提供する。

本開示の別の態様は、自律運転モードを有する車両を制御するためのシステムを提供する。システムは、車両の環境内の物体を識別するセンサデータを受信することと、物体の周りに複数のセルを含むグリッドを投影することと、複数のセルのうちの各所与のセルについて、物体が将来にわたる期間内に所与のセルに進入する可能性を予測することと、予測された可能性に基づいて、輪郭を生成することと、かつ輪郭内のエリアを回避するために、自律運転モードにおいて車両を制御することと、を行うように構成された、１つ以上のプロセッサを含む。

一例では、センサデータは、物体を歩行者物体タイプとして識別し、グリッドを投影することが、歩行者物体タイプにさらに基づく。別の例では、本方法はまた、物体上の点を選択することを含み、グリッドを投影することは、グリッドの中心に点を配置することを含む。この例では、本方法はまた、輪郭の周りにバッファ距離を提供することを含み、車両を制御することは、輪郭の周りのバッファ距離内のエリアを回避することを含む。別の例では、本方法はまた、閾値および予測された可能性を使用して、複数のセルのうちのセルを廃棄することを含み、輪郭は、複数のセルのうちの任意の残りのセルを使用して生成される。この例では、本方法はまた、センサデータ内で識別された物体に基づいて、閾値を選択することを含む。この例では、閾値を選択することは、センサデータ内で識別された歩行者の数に基づく。加えてまたは代替的に、閾値を選択することは、車椅子がセンサデータで識別されるかどうかに基づく。別の例では、予測された可能性を予測することが、ヒートマップを提供する。他の例では、システムはまた、車両も含む。

本開示の態様による、例示的な車両の機能図である。 本開示の態様による、詳細な地図情報の例示的な表現である。 本開示の態様による、車両の例示的な外観図である。 本開示の態様による、車両の例示的な外観図である。 本開示の態様による、車両の例示的な外観図である。 本開示の態様による、車両の例示的な外観図である。 本開示の態様による、道路の断面図である。 本開示の態様による、車道およびセンサデータの区分の図である。 本開示の態様による、車道、センサデータ、および予測された軌道の区分の図である。 本開示の態様による、例示的なグリッド投影である。 本開示の態様による、例示的なグリッド投影である。 本開示の態様による、例示的なグリッド投影である。 本開示の態様による、車道、センサデータ、予測された軌道、およびグリッド投影の区分の図である。 本開示の態様による、例示的な確率分布である。 本開示の態様による、例示的な確率分布である。 本開示の態様による、例示的な確率分布である。 本開示の態様による、例示的な確率分布である。 本開示の態様による、例示的な確率分布である。 本開示の態様による、例示的なフィルタリングされた確率分布である。 本開示の態様による、例示的なフィルタリングされた確率分布である。 本開示の態様による、例示的なフィルタリングされた確率分布である。 本開示の態様による、例示的な輪郭エリアである。 本開示の態様による、例示的な輪郭エリアである。 本開示の態様による、例示的な輪郭エリアである。 本開示の態様による、車道、センサデータ、予測された軌道、および輪郭エリアの区分の図である。 本開示の態様による、フロー図である。

概要
上記のように、車両の知覚システムからのデータの品質が高く、所与の行為者の実現可能な経路の数が比較的小さいとき、この軌道モデリングは、実用的かつ有用なアプローチになり得る。しかしながら、場合によっては、データの品質が最適ではなく、エージェントの動作を予測するのが困難な場合がある。これは、無限に多様で、非剛体で、頻繁に部分的に遮られており、方向をすばやく変え、あらゆるタイプの地形を横断する能力を有する歩行者の場合に、特に当てはまる。このことが、歩行者の検出、分類、追跡、特に軌道モデリングを使用した予測を困難にする可能性がある。

これらの障害に対処するために、軌道モデリング予測の代わりに、またはそれに加えて、将来にわたる短期間での、歩行者の可能性のある将来の場所のグリッドベースの予測が、使用されてもよい。例えば、車両の知覚システムによって検出されたすべての歩行者に関して、グリッドが、歩行者の周りに投影され得る。グリッドのサイズは、歩行者が短期間に移動できる距離の外側の境界に対応する場合がある。

グリッドは、歩行者上の任意の点または所与の点がグリッドの中心になるように投影され得る。観察された歩行者の速度、移動方向、および配向を使用して、歩行者が短期間にわたってそのセルに移動する可能性を示す値が、各セルについて判定され得る。場合によっては、予測はまた、環境要因に基づいてもよい。

したがって、各グリッドセルは、歩行者が短期間にわたってそのセルに移動する可能性を表現するはずである。この点について、グリッドは、歩行者が短期間にわたって事実上存在する可能性が高いエリアを識別するヒートマップと見なしてもよい。ヒートマップは、知覚の不確実性を経路計画に使用できる形式に伝播するのに役立ち得る。

歩行者が所与のセルに進入しない可能性が高い場合、そのセルは、破棄され得る。換言すると、閾値を満たさないセルは、破棄され得る。残りのグリッドセルの周りに、輪郭を描くことができる。この輪郭は、経路計画に使用され得る。

上記および下記で考察される利点に加えて、このグリッドベースの予測を使用することは、歩行者に対応するとき、または車両の知覚システムが物体のタイプを確実に識別できない任意の状況において、車両をより慎重にさせる。この形式の予測はまた、人間の観測者に、位置、進行方向、速度、加速度、および輪郭影響の予測される運動の知覚における不確実性を識別させることもできる。実際、ヒートマップは、予測再帰型ニューラルネットワークからかなり簡単な方法で取得できるが、提案ベースの軌道は、この方法で定式化することがより困難である。同時に、このグリッドベースの予測は、非常に短い期間の水平にわたる行為者の将来の場所と運動を予測するため、必要とされる実際の「グラウンドトゥルース」トレーニングデータは、非常に小さい。換言すると、信頼性の高い予測が行われ得る前に、知覚システムは、数コンマ秒の間だけエージェントを観察する必要がある。

例示的システム
図１に示されるように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のある態様は、特定のタイプの車両との接続に特に有用であるが、車両は、限定されるものではないが、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含む、任意のタイプの車両であってもよい。車両は、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含む、コンピューティングデバイス１１０などの１つ以上の制御コンピューティングデバイスを有することができる。

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能である情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３２およびデータ１３４が含まれる。メモリ１３０は、プロセッサによってアクセス可能である情報を記憶することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読み取り専用メモリなどの電子デバイスを使って読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に格納される。

命令１３２は、プロセッサにより直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の組の命令であってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」および「プログラム」という用語は、本明細書では、区別なく使用され得る。命令は、プロセッサによる直接処理のための物体コード形式で、または要求に応じて解釈されるか、もしくは事前にコンパイルされる独立したソースコードモジュールのスクリプトもしくはコレクションを含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。

データ１３４は、命令１３２に従って、プロセッサ１２０によって検索、記憶、または修正されてもよい。１つ以上のプロセッサ１２０は、市販されているＣＰＵなどの任意の従来のプロセッサであってもよい。別の方法として、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に例示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されていてもいなくてもよい、複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。一例として、内部電子ディスプレイ１５２は、高帯域幅または他のネットワーク接続を介してコンピューティングデバイス１１０とインターフェースし得る、それ自体のプロセッサまたは中央処理装置（ＣＰＵ）、メモリなどを有する専用コンピューティングデバイスによって制御され得る。いくつかの例では、コンピューティングデバイスは、ユーザのクライアントデバイスと通信することができるユーザインターフェースコンピューティングデバイスであり得る。同様に、メモリは、コンピューティングデバイス１１０の筐体とは異なる筐体内に位置付けられたハードドライブ、または他の記憶媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの参照は、並行に動作してもしなくてもよいプロセッサ、コンピューティングデバイス、またはメモリの集合体への参照を含むことを理解されたい。

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力１５０（例えば、マウス、キーボード、タッチスクリーンおよび／またはマイクロフォン）、様々な電子ディスプレイ（例えば、スクリーン、または情報を表示するように動作可能である任意の他の電気デバイスを有するモニタ）などのコンピューティングデバイスと接続して通常使用されるすべての構成要素であってもよい。この例では、車両は、内部の電子ディスプレイ１５２、ならびに１つ以上のスピーカ１５４を含み、情報または音響映像体験を提供する。この点について、内部の電子ディスプレイ１５２は、車両１００の車内に位置付けられてもよく、コンピューティングデバイス１１０によって使用されて、車両１００内の乗員に情報を提供してもよい。内部スピーカに加えて、１つ以上のスピーカ１５４は、外部スピーカを含むことができ、車両１００の外部の物体に可聴通知を提供するために、車両上の様々な場所に配置される。

一例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律運転コンピューティングシステムであってもよい。自律運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、車両の乗員からの連続的または定期的な入力を要求しない、または必要としない自律運転モードにおいて、メモリ１３０の命令１３２に従って車両１００の移動、速度などを制御するための、（車両の制動を制御するための）減速システム１６０、（車両の加速を制御するための）加速システム１６２、（車輪の配向および車両の方向を制御するための）ステアリングシステム１６４、（方向指示器を制御するための）シグナリングシステム１６６、（車両を場所または物体の周りにナビゲートするための）ナビゲーションシステム１６８、（車両の位置を判定するための）測位システム１７０、（車両の外部環境における物体を検出するための）知覚システム１７２、および電力システム１７４（例えば、バッテリおよび／またはガスもしくはディーゼルエンジン）などの、車両１００の様々なシステムと通信することができる。また、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両１００を制御するための自律運転コンピューティングシステムとして再度、コンピューティングデバイス１１０の中に組み込まれてもよい。

コンピューティングデバイス１１０は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス１１０は、地図情報およびナビゲーションシステム１６８からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス１１０は、車両の場所を判定するために測位システム１７０を使用し、その場所に安全に到着する必要があるとき、物体を検出かつ物体に対応するために知覚システム１７２を使用してもよい。そうするために、コンピューティングデバイス１１０は、車両を、（例えば、加速システム１６２により、エンジンに供給される燃料または他のエネルギーを増やすことによって）加速させ、（例えば、エンジンに供給される燃料を減らし、ギヤを切り替え、および／または減速システム１６０によりブレーキをかけることによって）減速させ、（例えば、ステアリングシステム１６４により、車両１００の前輪または後輪の向きを変えることによって）方向を変更させ、（例えば、シグナリングシステム１６６の方向指示器を点灯することによって）かかる変更を伝えさせてもよい。このため、加速システム１６２および減速システム１６０は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置の一部であり得る。再び、これらのシステムを制御することによって、コンピューティングデバイス１１０はまた、車両を自律的に操縦するために、車両の動力伝達装置を制御してもよい。

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と相互作用してもよい。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用され得る。例えば、車両１００が自動車またはトラックなどの道路上で使用するように構成されている場合、ステアリングシステムは、車両を転回するためにホイールの角度を制御するための構成要素を含み得る。信号システム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に知らせるために、コンピューティングデバイス１１０によって使用され得る。

ナビゲーションシステム１６８は、ある場所までのルートを判定および追従するために、コンピューティングデバイス１１０によって使用され得る。この点について、ナビゲーションシステム１６８および／またはデータ１３４は、詳細な地図情報、例えば、車道の形状および標高、車線境界線、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報、植生、または他のかかる物体および情報を識別する高精密地図、を記憶し得る。換言すると、この詳細な地図情報は、車道を含む車両の予想される環境の幾何学形状、ならびにそれらの車道の速度制限（法定速度制限）を定義し得る。

図２は、交差点２０２および２０４を含む、車道の区分に関する地図情報２００の例である。この例では、地図情報２００は、車線境界線２１０、２１２、２１４、信号機２２０、２２２、横断歩道２３０、歩道２４０、一時停止標識２５０、２５２、および譲れの標識２６０の形状、場所、ならびに他の特性を識別する情報を含む。車両が運転できるエリアは、車両がマップ情報の様々な場所で概して走行すべき場所および方向を示す、１つ以上のレール２７０、２７２、および２７４と関連付けられ得る。例えば、車両は、車線境界線２１０と車線境界線２１２との間の車線内を運転するときにレール２７０に追従し得、交差点２０４で右折するために、レール２７２に移行し得る。その後、車両は、レール２７４に追従し得る。もちろん、レールの数および性質を考慮して、数本のみが、簡潔さおよび理解を容易にするために地図情報２００内に図示される。

本明細書では詳細な地図情報は、画像ベースの地図として描かれているが、地図情報は、完全に画像ベースである必要はない（例えば、ラスタ）。例えば、詳細な地図情報は、１つ以上の道路グラフ、または道路、車線、交差点、およびこれらの特徴間の接続などの情報のグラフネットワークを含むことができる。各特徴は、グラフデータとして記憶されてもよく、地理的場所などの情報と関連付けられてもよく、いずれにせよ、他の関連する特徴にリンクされ、例えば、一時停止標識は、道路や交差点などにリンクされてもよい。いくつかの例では、関連付けられたデータは、ある道路グラフ特徴の効率的な検索を可能にするために道路グラフのグリッドベースのインデックスを含むことができる。

知覚システム１７２はまた、他の車両、車道内の障害物、交通信号、標識、樹木などの車両の外部の物体を検出するために１つ以上の構成要素を含む。例えば、知覚システム１７２は、１つ以上のＬＩＤＡＲセンサ、ソナーデバイス、レーダーユニット、カメラ、および／またはコンピューティングデバイス１１０によって処理され得るセンサデータを記録する任意の他の検出デバイスを含んでもよい。知覚システムのセンサは、物体、および、場所、配向、サイズ、形状、タイプ（例えば、車両、歩行者、自転車に乗る人など）、進行方向、および移動速度などのそれらの特性を検出する。センサからの未加工データおよび／または前述の特性は、定量化されるか、または記述関数、ベクトル、および／または境界ボックスに配置され、知覚システム１７２によって生成されると、周期的かつ継続的にコンピューティングデバイス１１０にさらなる処理のためのセンサデータとして送信され得る。さらなる詳細を以下で考察するが、コンピューティングデバイス１１０は、車両の場所を判定するために測位システム１７０を使用し、その場所に安全に到着する必要があるとき、物体を検出かつ物体に対応するために知覚システム１７２を使用してもよい。

図３Ａ〜図３Ｄは、車両１００の外観図の例である。これらの図からわかるように、車両１００は、ヘッドライト３０２、フロントガラス３０３、テールライト／方向指示灯３０４、リアガラス３０５、ドア３０６、サイドミラー３０８、タイヤおよびホイール３１０、ならびに方向指示／駐車灯３１２などの典型的な車両の多くの特徴を含む。ヘッドライト３０２、テールライト／方向指示灯３０４、および方向指示／駐車灯３１２は、シグナリングシステム１６６と関連付けられることができる。ライトバー３０７はまた、シグナリングシステム１６６と関連付けられることができる。筐体３１４は、知覚システム１７２のＬＩＤＡＲセンサ、ソナーデバイス、レーダーユニット、カメラなどの１つ以上のセンサを収容することができるが、かかるセンサはまた、同様に車両の他のエリアに組み込むこともできる。

例示的な方法
上述し、図に例示した動作に加えて、様々な動作が、ここで記載される。以下の動作は、下記に記載されたまさにその順序で実行される必要はないことを理解されたい。むしろ、様々な工程が、異なる順序で、または同時に処理されてもよく、工程もまた、追加または省略されてもよい。

コンピューティングデバイス１１０は、例えば、貨物および／または１人以上の乗員を輸送するために、目的地まで車両１００を操縦し得る。この点について、コンピューティングデバイス１１０は、目的地までのルートに沿って自律的に車両を制御するために必要なシステムを開始し得る。例えば、ナビゲーションシステム１６８は、地図情報のデータ１３４を使用して、地図情報２００の一組の接続されたレールを追従する目的地への経路またはルートを判定してもよい。次いで、コンピューティングデバイス１１０は、目的地に向かうルートに沿って、上記のように自律的に（または自律運転モードで）車両を操縦することができる。

例えば、図４は、地図情報２００に対応する交差点４０２および４０４を含む車道４００の区分上で操縦されている車両１００を図示する。この例では、交差点４０２および４０４は、それぞれ地図情報２００の交差点２０２および２０４に対応する。この例では、車線境界線４１０、４１２、および４１４は、車線境界線２１０、２１２、および２１４の形状、場所、および他の特性にそれぞれ対応する。同様に、横断歩道４３０は、横断歩道２３０の形状、場所、および他の特性にそれぞれ対応し、歩道４４０は、歩道２４０に対応し、交通信号灯４２０、４２２は、交通信号灯２２０、２２２にそれぞれ対応し、一時停止標識４５０、４５２は、一時停止標識２５０、２５２にそれぞれ対応し、譲れの標識４６０は、譲れの標識２６０に対応する。加えて、様々な歩行者４８０〜４８４、および車両４９０、４９２が、車道４００の周りの異なる場所に配置される。

車両１００がその環境を通って移動する際、車両の知覚システム１７２は、車両の環境に関する情報を含むセンサデータをコンピューティングデバイスに提供してもよい。上記のように、このセンサデータは、場所、進行方向、速度、タイプ、および地図情報の特徴などの他の特性、ならびに車両、歩行者、自転車などの物体を含む他の「道路ユーザ」を含んでもよい。例えば、図５は、知覚システム１７２によってコンピューティングデバイス１１０に提供されるように、歩行者４８０〜４８４および車両４９０、４９２の一般的な形状および場所を表現する境界ボックス５８０、５８２および５９０、５９２を有する、図４の車両１００の環境の特徴を図示する（理解を容易にするために交通信号灯は除去されている）。この例では、ナビゲーションシステム１６８は、地図情報２００を使用して、目的地（図示せず）に到達するために車両１００が追従するルート５７０を判定し、さらに考察されるように、コンピューティングデバイス１１０は、ルートを追従するために、次の数秒にわたって車両が追跡する軌道を判定してもよい。

他の道路ユーザに対応する物体の各々について、コンピューティングデバイス１１０は、その物体の将来の動作を予測してもよい。上記のように、これは、物体の位置、配向、速度、位置の変化、配向の変化、信号（ターン信号）など、以前の観測、交通信号灯の状態、一時停止標識の場所、速度制限、交通規則（一方通行、ターン専用車線など）などの文脈情報、および他の情報、ならびに物体の予測動作モデルに基づいて、軌道の幾何学形状を形成するために共に接続された一連の予測される将来の場所を記載する、その物体のための将来の軌道を推定することを含んでもよい。単なる例として、矢印６８０〜６８４および６９０、６９２は、歩行者４８０〜４８４および車両４９０、４９２の推定された軌道を表現し、これらは、これらの他の道路ユーザが、おおよそ２秒などの、将来にわたる期間を引き継ぐ可能性が最も高い経路を示してもよい。

歩行者物体タイプまたは単に歩行者に対応する他の道路ユーザ物体の場合、軌道モデリング予測の代わりに、またはそれに加えて、将来にわたる短期間での、歩行者の可能性のある将来の場所のグリッドベースの予測が、使用されてもよい。例えば、車両の知覚システムによって検出されたすべての歩行者に関して、グリッドが、歩行者の周りに投影され得る。例えば、グリッドは、歩行者４８０〜４８４の各々について予測され得る。図７Ａは、歩行者４８０の例示的なグリッド投影７８０であり、図７Ｂは、歩行者４８２の例示的なグリッド投影７８２であり、図７Ｃは、歩行者４８４の例示的なグリッド投影７８４である。図８は、参照のために図５の例上に重ね合わされたこれらのグリッド投影を図示する。

グリッドのサイズは、歩行者が将来にわたる期間内に移動することができる距離の外側の境界に対応し得る。例えば、期間が、１．５秒などの、２秒以下である場合、グリッドは、セルが０．５メートルで、５メートルｘ５メートルであり得る。もちろん、サイズの選択は、計算リソース（時間および労力）と予測精度との間の損失評価に対処するために、必要に応じて大きくまたは小さくなり得る。場合によっては、歩行者が非常に速く移動している場合、グリッドサイズは、大きくなり得る。

図６Ａおよび図６Ｂに示されるように、グリッドは、歩行者上の任意の点または所与の点がグリッドの中心にあるように投影され得る。一例として、所与の点は、推定された重心、胴体上の点、歩行者の頭上の点などであってもよい。

観察された歩行者の速度、移動方向、および配向を使用して、歩行者が短期間にそのセルに移動する可能性を示す値が、各セルについて判定され得る。例えば、歩行者は、（歩行者が方向を１８０度変える必要がある）歩行者の背面のグリッドセルよりも、前方に移動してグリッドセルを前方左または右に覆う可能性がより高くなり得る。

場合によっては、予測はまた、環境要因に基づいてもよい。これらは、例えば、歩行者と他の１つまたは複数の道路グラフ特徴（交差点、横断歩道、道路の縁石、中央分離帯、一時停止標識、工事区域など）との間の距離、歩行者の進行方向と１つまたは複数の道路グラフ特徴に到達するための最短経路（例えば、歩行者が１つまたは複数の道路グラフ特徴に面しているかどうかを示す測定値を含み得る）との間の差、セルのエリアが１つまたは複数の道路グラフ特徴内にあるか、もしくはそれを占めているか、歩行者と車両または他のより大きい障害物などの任意の周りの物体との間の距離、セルが現在、車両、歩行者、自転車、瓦礫、他の物体などのいくつかの他の物体で占められているかどうか、を含み得る。

一例として、歩行者が車道に対して位置付けられる場所は、歩行者があるセルに進入する可能性が高まる場合と低まる場合があり得る。例えば、歩行者が車道を出る場合、その人が方向を変えて、車道に戻ることはほとんどないであろう（歩行者の背後のセルがさらに少なくなり得る）。この点について、歩行者４８０および歩行者４８４は、それぞれ横断歩道および車道の端部に向かって移動している。このため、彼らは、方向を変えるより、それをし続ける可能性がより高くなり得る。さらに、歩行者４８４は横断歩道内におらず、歩行者４８０が横断歩道内にいるため、歩行者４８４は、交差点４０２を通って歩行者４８０より速く移動する傾向があり得る。同様に、歩行者が車道の端部に近づいている、つまり歩行者４８２が端部４８６に近づいている（図４に示されている）場合、彼らは、現在の速度で進むというよりも減速する可能性が高い。そのため、歩行者４８２が、短期間に歩行者の前の１メートル以上のグリッドセルに到達する可能性はより低くなるであろう。

各グリッドセルは、歩行者が短時間でそのセルに移動する確率を表現するはずである。図９Ａ〜図９Ｃは、それぞれ、図７Ａ〜図７Ｃのグリッド投影７８０〜７８４の各々に対する例示的な確率分布９８０〜９８４を図示する。これらのグリッドを上から見た図は、歩行者が歩行者の近くのグリッドセルを横断するより高い可能性を有するエリア（例えば、濃い色のエリア）、および予測に基づいて、歩行者が外側に移動する可能性の低いエリア（暗くなっている）を備えるヒートマップを提供する。

一例では、車両のコンピューティングデバイスが、歩行者がどの方向を向いているかについて確信できない（または十分に確信できない）場合、結果として生じるヒートマップは、図１０Ａのグリッド予測１０１０の例などの、歩行者の周りの全ての方向においてより均一であり得る。別の例では、車両のコンピューティングデバイスが、歩行者が前を向いていることを非常に確信している場合、結果は、図１０Ｂのグリッド投影１０２０の例のように、大きく方向付けられたヒートマップになるであろう。この点について、ヒートマップは、以下でさらに考察されるように、知覚の不確実性を、経路計画に使用できる形式に伝播するのに役立ち得る。

歩行者が所与のセルに進入しない可能性が高い場合、そのセルは、破棄またはフィルタリングされ得る。換言すると、閾値または特定の信頼閾値を満たさないセルは、破棄され得る。一例として、占有されていない可能性が９５％または占有されている可能性が５％のセルは、廃棄されるであろう。図９Ａ〜図９Ｃの実施例に戻ると、図１１Ａ〜図１１Ｃは、可能性が低いセル（空または陰のないセル）を除去した、確率分布９８０〜９８４に対応するフィルタリングされた確率分布１１８０〜１１８４を図示する。

状況に応じて閾値を調整してもよい。例えば、エリア内に所定数以上の歩行者がいる場合、子供がいるかどうか、車椅子の人がいるかどうかなど、閾値を、増加または減少させて、車両の注意力を高めてもよい。例えば、閾値は、閾値のタイプに応じて、９５％〜９８％に調節したり、５％〜２％に減少させてもよい。別の例として、別の物体の「通行権」を使用して、閾値を調整してもよい。例えば、歩行者が歩道にいるときよりも横断歩道内に位置するとき、車両は、より慎重になるか、またはより高い閾値を使用し得る。さらに別の例として、グリッドのセルを回避することが実現可能であるかどうかを使用して、閾値を調整してもよい。例えば、すべてのセルを回避するために旋回またはブレーキをかけることが運動学的に実現可能でない場合、車両および歩行者にとってさらに安全な、実現可能な軌道を計画できるように、閾値を低減することができる。換言すると、車両が非常に保守的なアプローチをとり、高い閾値を使用する場合、車両が時間内に旋回したり、またはブレーキをかけ、一部の低い可能性セルとの衝突を完全に回避できない場合がある。しかしながら、車両は、やや高い可能性のセルのエリアを通過することを回避できる可能性がある。このため、閾値は、満足できる閾値にするために、実際的な意味で安全性を保ちながら、非常に保守的な高い閾値から低い閾値に調整されてもよい。この点について、グリッドベースの予測は、さらに動的であり、状況の変化に対応することができる。

残りのグリッドセルの周りに、輪郭を描くことができる。図１２Ａ〜図１２Ｃは、確率分布１１８０〜１１８４に関する例示的な輪郭エリア１２８０〜１２８４である。これらの輪郭は、経路計画のためにコンピューティングデバイスによって使用され得る。例えば、経路計画は、輪郭を使用して、車両が短時間に通過することを許可されないエリアを画定することを含む。

コンピューティングデバイス１１０は、これらの輪郭エリアのいずれかを回避する軌道を生成することができる。例えば、図１３は、図６の例を、例示的な輪郭エリア１２８０〜１２８４と共に図示する。この例では、コンピューティングデバイス１１０は、車両の位置を調整し、車両を減速させる軌道１３７０を生成して、ルート５７０を追従しながら、車両４９４の軌道６９４だけでなく輪郭エリア１２８２も回避することができる。

場合によっては、車両が歩行者に近づきすぎないようにするために、輪郭の周りに緩衝距離またはエリアが課されることもある。例えば、この数は、およそ１メートルの歩行者ならびに乗員のための「快適な」通過マージンを確保するために選択されてもよい。

加えて、結果として生じる輪郭が、短時間の水平を表現するので、輪郭は、時間に依存しない方法（例えば、静的物体のように扱うなど）で経路計画のために使用することができ、これにより、歩行者が移動する物体であるとみなされる場合よりも、歩行者を回避することがより容易な問題にできる。この点について、一定期間の車両の軌道を判定するとき、コンピューティングデバイス１１０は、輪郭エリア１２８０〜１２８４の各々を、コンピューティングデバイス１１０が回避しなければならない個々のより大きい静止物体として単順に処理してもよい。

図１４は、自律運転モードにおいて車両を制御するために、コンピューティングデバイス１１０の１つ以上のプロセッサ１２０などの、１つ以上のプロセッサによって実行され得るフロー図１４００である。この例では、ブロック１４０２において、車両の環境における物体を識別するセンサデータが、受信される。ブロック１４０４において、複数のセルを含むグリッドが、物体の周りに投影される。ブロック１４０６において、複数のセルのうちの各所与のセルについて、物体が将来にわたる期間内に所与のセルに進入する可能性が、予測される。ブロック１４０８において、輪郭が、予測された可能性に基づいて生成される。次いで、ブロック１４１０において、車両は、輪郭内のエリアを回避するために、自律運転モードにおいて制御される。

特段の記述がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実施することができる。上述した特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱せずに利用され得るため、前述の実施形態の説明は、特許請求の範囲によって定義された主題を限定するものとしてではなく、例示するものとして見なされるべきである。さらに、本明細書に記載された例、ならびに「など」、「含む」などとして表現された語句の提供は、特許請求の範囲の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、それらの例は、多くの可能性のある実施形態のうちの単なる１つを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を識別することができる。

Claims (20)

1. 自律運転モードを有する車両を制御する方法であって、
   前記車両の１つ以上のプロセッサによって、前記車両の環境内の物体を識別するセンサデータを受信することと、
   前記１つ以上のプロセッサによって、前記物体の周りに複数のセルを含むグリッドを投影することと、
   前記複数のセルのうちの各所与のセルについて、前記１つ以上のプロセッサによって、前記物体が将来にわたる期間内に前記所与のセルに進入する可能性を予測することと、
   前記１つ以上のプロセッサによって、前記予測された可能性に基づいて、輪郭を生成することと、
   前記１つ以上のプロセッサによって、前記輪郭内のエリアを回避するために、前記自律運転モードにおいて前記車両を制御することと、を含む、方法。
2. 前記センサデータが、前記物体を、歩行者物体タイプとして識別し、前記グリッドを投影することが、前記歩行者物体タイプにさらに基づいている、請求項１に記載の方法。
3. 前記物体上の点を選択することをさらに含み、前記グリッドを投影することが、前記グリッドの中心に前記点を配置することを含む、請求項１に記載の方法。
4. 前記輪郭の周りにバッファ距離を提供することをさらに含み、前記車両を制御することが、前記輪郭の周りの前記バッファ距離内のエリアを回避することを含む、請求項１に記載の方法。
5. 前記期間が、２秒以下である、請求項１に記載の方法。
6. 閾値および前記予測された可能性を使用して、前記複数のセルうちのセルを廃棄することをさらに含み、前記輪郭が、前記複数のセルのうちの任意の残りのセルを使用して生成されている、請求項１に記載の方法。
7. 前記センサデータで識別された物体に基づいて、前記閾値を選択することをさらに含む、請求項６に記載の方法。
8. 前記閾値を選択することが、前記センサデータで識別された歩行者の数に基づいている、請求項７に記載の方法。
9. 前記閾値を選択することが、前記グリッドの前記エリアを回避する前記車両の実現可能性に基づいている、請求項７に記載の方法。
10. 前記予測された可能性を予測することが、ヒートマップを提供する、請求項１に記載の方法。
11. 自律運転モードを有する車両を制御するためのシステムであって、
    前記車両の環境内の物体を識別するセンサデータを受信することと、
    前記物体の周りに複数のセルを含むグリッドを投影することと、
    前記複数のセルのうちの各所与のセルについて、前記物体が将来にわたる期間内に前記所与のセルに進入する可能性を予測することと、
    前記予測された可能性に基づいて、輪郭を生成することと、
    前記輪郭内のエリアを回避するために、前記自律運転モードにおいて前記車両を制御することと、を行うように構成されている、１つ以上のプロセッサを備える、システム。
12. 前記センサデータが、前記物体を歩行者物体タイプとして識別し、前記グリッドを投影することが、前記歩行者物体タイプにさらに基づいている、請求項１１に記載のシステム。
13. 前記物体上の点を選択することをさらに含み、前記グリッドを投影することが、前記グリッドの中心に前記点を配置することを含む、請求項１１に記載のシステム。
14. 前記輪郭の周りにバッファ距離を提供することをさらに含み、前記車両を制御することが、前記輪郭の周りの前記バッファ距離内のエリアを回避することを含む、請求項１１に記載のシステム。
15. 閾値および前記予測された可能性を使用して、前記複数のセルうちのセルを廃棄することをさらに含み、前記輪郭が、前記複数のセルのうちの任意の残りのセルを使用して生成されている、請求項１１に記載のシステム。
16. 前記センサデータ内で識別された物体に基づいて、前記閾値を選択することをさらに含む、請求項１５に記載のシステム。
17. 前記閾値を選択することが、前記センサデータ内で識別された歩行者の数に基づいている、請求項１６に記載のシステム。
18. 前記閾値を選択することが、車椅子が前記センサデータで識別されるかどうかに基づいている、請求項１６に記載のシステム。
19. 前記予測された可能性を予測することが、ヒートマップを提供する、請求項１１に記載のシステム。
20. 前記車両をさらに備える、請求項１１に記載のシステム。