JP2017056935A - ３ｄセンサにより検出されたオブジェクトの分類 - Google Patents

Abstract

【課題】車両の周辺環境内の複数のオブジェクトを分類する。【解決手段】３Ｄセンサを用いて、車両の周辺環境内のオブジェクトを示す複数の３次元点を生成する。この方法は、コンピュータ装置を用いて、複数の３次元点から、車両の周辺環境内の同じオブジェクトを示す複数の３次元点群の時系列を１つの軌跡として特定し、軌跡内の複数のクラスタに対して特定された局所特徴に基づいて、オブジェクトのためのクラスタベース分類器を特定し、軌跡に対して特定された複数の大域特徴に基づいて、オブジェクトのための軌跡ベース分類器を特定し、クラスタベース分類器が特定されたクラスタ上の情報量に基づいてクラスタベース分類器を重み付けし、且つ、重みを情報量の増加に伴って増加させながら、オブジェクトを分類するためにクラスタベース分類器及び軌跡ベース分類器を統合し、及び、オブジェクトの分類に基づいて、経路に沿って車両を走行させる。【選択図】図３

Description

本明細書に開示する複数の実施形態は、概して、車両用自動運転システムに関し、特に、自動運転システム内の３Ｄセンサにより検出されたオブジェクトの分類に関する。

いくつかの車両は、人間の運転者による最低限の入力又は入力なしに走行経路に沿って車両を走行させる、操作モードを有する自動運転システムを含む。これらの車両における自動運転システムは、オブジェクトを回避しながら走行経路に沿って車両を走行させる方法を計画するために、複数のオブジェクトの存在を含めて車両の周辺環境に関する情報を検出し、検出した情報を処理するように構成される。

実際の交通事情では、この検出及び計画の一部として、複数のオブジェクトの中でも他の車両だけでなく歩行者及び二輪車を考慮するために、車両の周辺環境内の複数のオブジェクトを分類することがこの自動運転システムにとって理想である。車両の周辺環境内の複数のオブジェクトについて自動運転システムの分類を向上させることは、目下の研究課題である。

本明細書の開示は、自動運転のためのシステム及び方法である。一態様では、自動運転の方法は、３Ｄセンサを用いて、車両の周辺環境内のオブジェクトを示す複数の３次元点を生成することを含む。この方法は、コンピュータ装置を用いて、複数の３次元点から、車両の周辺環境内の同じオブジェクトを示す複数の３次元点クラスタ（３次元点群）の時系列を一つの軌跡として特定し、この軌跡における複数のクラスタに対して特定された局所特徴に基づいて、オブジェクトのためのクラスタベース分類器を特定し、この軌跡に対して特定された大域特徴に基づいて、オブジェクトのための軌跡ベース分類器を特定し、クラスタベース分類器が特定されたクラスタ上の情報量に基づいてクラスタベース分類器を重み付けし、且つ、この重みを情報量の増加に伴って増加させながら、オブジェクトを分類するためにクラスタベース分類器及び軌跡ベース分類器を統合し、及び、オブジェクトの分類に基づいて、経路に沿って車両を走行させることをさらに含む。

これら及び他の態様は、以下の追加的な詳細に説明される。

本実施形態の様々な特徴、利点及び他の使用は、以下の詳細な説明及び図面を参照することにより、より明確になる。

３Ｄセンサにより動作がサポートされる自動運転システムを含む車両の概略図。 検出モジュール及び計画モジュールを有する自動運転システム用検出モジュール５０のシステム構成の概略図。 検出モジュールにおける分類スレッドの動作プロセスを示すフローチャート。 （Ａ）及び（Ｂ）は、１つの車両を示す１つの３次元点群の主方向の予測の例を示す図。 異なるオブジェクトを示す３次元点群の回転画像の例を示す図。 （Ａ）〜（Ｃ）は、１つの車両を示す１つの３次元点群の複数の仮想的な正投影画像の例を示す図。 １つの軌跡の複数の３次元点群のための局所特徴と、前記軌跡のための大域特徴との間の確率論的独立性を符号化するグラフィカルモデルの一例。 １つのクラスタベース分類器のための重み係数の例の複数の態様を示す図。 軌跡のための１つの分類器の信頼度の経時変化の複数の態様を示す図。

本開示は、自動運転システムを有する車両を説明する。自動運転システムは、動作中、複数の３次元点群の時系列により示される車両の周辺環境内のオブジェクトを分類し、オブジェクトの分類に基づいて車両を経路に沿って走行させる。自動運転システムは、軌跡に基づく分類器（軌跡ベース分類器）及びクラスタ（群）に基づく分類器（クラスタベース分類器）の両方に基づいてオブジェクトを分類するが、複数のクラスタから特定された複数のクラスタ上の情報量に基づいて複数のクラスタベース分類器に重みを付ける。

図１は、自動運転システム２０を有する車両１０を示す。自動運転システム２０の動作は、ＬＩＤＡＲセンサ２２及び１又は複数の付加的な補助センサ２４によりサポートされる。ＬＩＤＡＲセンサ２２及び補助センサ２４は、車両１０に取り付けられ、車両１０の周辺環境に多視点を有するように配置される。車両１０は、移動体プラットフォームの非限定的な例として提供されるが、自動運転システム２０が他の移動体プラットフォームにも実装され得ると理解される。追加的に、ＬＩＤＡＲセンサ２２は、３Ｄセンサの非限定的な例として提供されるが、この記載が他の３Ｄセンサの原理にも適用可能であることが理解される。

ＬＩＤＡＲセンサ２２は、車両１０の周辺環境を走査し、複数の信号を生成するように構成される。複数の信号は、車両１０の周辺環境内の複数のオブジェクトを示す複数の３次元点を含むが、これらに限定されない。

一般に、ＬＩＤＡＲセンサ２２は、送信器及び受信器を有することができる。送信器は、レーザ信号（例、レーザ光エネルギー）を送信するために動作可能な１つの要素又は複数の要素のグループとなり得る。一例として、送信器は、レーザ、レーザ距離計、ＬＩＤＡＲ及び／又はレーザスキャナであってもよい。レーザ信号は、任意の適切な特性を有してもよい。１又は複数の方式では、レーザ信号は、電磁スペクトルの任意の適切な領域から、例えば、電磁スペクトルの紫外領域、可視領域又は近赤外領域からくるものであってもよい。レーザ信号は、目に安全であってもよい。

レーザ信号は、車両１０の周辺環境に送信されてもよく、レーザ信号の経路内に位置する環境内の複数のオブジェクトに作用する。レーザ信号は、例えば、車両１０の垂直（Ｚ）軸の周囲を３６０度連続回転するように送信される。一般に、複数のレーザ信号がオブジェクトに作用すると、複数のレーザ信号の一部は、ＬＩＤＡＲセンサ２２に（例、反射により）返送される。返送されたレーザ信号（返りのレーザ信号）の一部は、受信器によりＬＩＤＡＲセンサ２２で取得されることができる。受信器は、１又は複数の光検出器、固体光検出器、フォトダイオード、光電子増倍管又はこれらの任意の組合せであるか、又は、これらを含んでもよい。

返りのレーザ信号を取得することに対応して、ＬＩＤＡＲセンサ２２は、車両１０の周辺環境内の複数のオブジェクト又はこれらがないことを示す複数の信号を出力するように構成されてもよい。ＬＩＤＡＲセンサ２２は、その位置を特定するための全地球測位システム（ＧＰＳ）又は他の測位システム、及び、その姿勢を特定するための慣性計測装置（ＩＭＵ）を含めてもよい。この構成によれば、信号は、返りのレーザ信号が受信された点の空間位置、即ち、レーザ信号が作用したオブジェクトの点の空間位置を示す３次元点を含めてもよい。ＬＩＤＡＲセンサ２２は、返りのレーザ信号と関連するＬＩＤＡＲセンサ２２の位置及び姿勢と同様に、ＬＩＤＡＲセンサ２２から点への距離に基づいてオブジェクトの点の空間位置を測定してもよい。点までの距離は、例えば、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を使用して、返りのレーザ信号により測定されてもよい。また、信号は、返りの信号が受信されない空間位置、即ち、さもなければレーザ信号が作用していただろうこれらの空間位置にオブジェクトの点がないことを示してもよい。

信号は、返りのレーザ信号の他の態様をさらに示してもよい。即ち、代わりに入射レーザ信号が作用したオブジェクトの点の他の特性を示してもよい。返りのレーザ信号のこれらの態様は、例えば、これらの強さ又は反射性、又は、これらの任意の組合せを含めることができる。

また、補助センサ２４は、車両１０の周辺環境を走査し、車両１０の周辺環境内に複数のオブジェクト又はこれらがないことを示す複数の信号を生成するように構成されてもよい。

補助センサ２４は、車両１０の周辺環境内にＬＩＤＡＲセンサ２２の視点と共通する多視点を個別に又は共同で有してもよい。一般に、補助センサ２４は、車両１０の周辺環境から光又は他の電磁エネルギーを得るように構成された１又は複数の画像センサであることができ、又は、を含むことができる。これらの画像センサは、光検出器、固体光検出器、フォトダイオード若しくは光電子増倍管又はこれらの任意の組合せであるか、又は、これらを含んでもよい。オプションとして、環境は、ＬＩＤＡＲセンサ２２の送信器により照らされてもよい。光又は他の電磁エネルギーを得ることに対応して、補助センサ２４は、複数のオブジェクト又はこれらがないことを示す複数の信号を出力するように構成されてもよい。

車両１０は、１又は複数の通信リンク３２を介してＬＩＤＡＲセンサ２２及び補助センサ２４と通信可能に接続されたコンピュータ装置３０を含む。コンピュータ装置３０と、ＬＩＤＡＲセンサ２２及び補助センサ２４の一方又は両方とがこの自動運転システム２０専用であってもよいが、これらの一部又は全てが車両１０の他の複数のシステムの動作をサポートし得ることが想定される。

コンピュータ装置３０は、メモリ４２と通信可能に接続されたプロセッサ４０を含めてもよい。プロセッサ４０は、機械可読命令を実行可能な任意のデバイスを含めてもよく、機械可読命令は、非一過性コンピュータ可読媒体、例えば、メモリ４２に記憶されてもよい。プロセッサ４０は、コントローラ、集積回路、マイクロチップ、コンピュータ、及び／又は他の任意のコンピュータ装置を含めてもよい。メモリ４２は、データ及びアルゴリズムを記憶することに適した如何なる種類のコンピュータ可読媒体を含めてもよい。例えば、メモリ４２は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードドライブ、及び／又は、機械可読命令を記憶可能な任意のデバイスを含めてもよい。

また、コンピュータ装置３０は、プロセッサ４０とＬＩＤＡＲセンサ２２と補助センサ２４との間の通信を容易にするための入出力インターフェース４４を含めてもよい。コンピュータ装置３０は、１つのプロセッサ４０及び１つのメモリ４２を含めるものとして概略的に図示されているが、実際のコンピュータ装置３０は、複数の要素を含めてもよく、各要素は、１又は複数のメモリ４２及び／又はプロセッサ４０を有し、１又は複数の他の要素と互いに通信可能に接続されてもよい。コンピュータ装置３０は、別個のスタンドアローン型ユニットであってもよく、又は、車両１０用中央制御システムの一部として構成されてもよい。

車両１０の自動運転システム２０及び他のシステムのための様々なアルゴリズム及びデータは、コンピュータ装置３０のメモリ４２の全部又は一部として内在してもよい。自動運転システム２０の動作中、ＬＩＤＡＲセンサ２２及び補助センサ２４により出力された信号は、メモリ４２に記憶される。以下に追加的な詳細が説明されるように、自動運転システム２０のためのアルゴリズム及びデータは、検出モジュール５０及び計画モジュール５２を含む。

自動運転システム２０のための様々なアルゴリズム及びデータは、車両１０に搭載されたコンピュータ装置３０を参照して単純に説明されたが、車両１０から独立したコンピュータ装置のメモリの全部又は一部に内在してもよいと理解される。また、これらの場合、車両１０は、コンピュータ装置３０と移動体ネットワーク、例えば、セルラーネットワークとの間でデータを無線通信するために様々に構成された通信ハードウェアを有する統合型移動体通信システム６０を含むことができる。移動体通信システム６０及び移動体ネットワークは協働して、移動体ネットワークに接続された他の装置との無線通信をコンピュータ装置３０に可能にさせる。移動体ネットワークに接続された他の装置は、例えば、１又は複数のプロセッサ及び１又は複数のメモリを含むコンピュータ装置等であるか又はこれを含み得るリモートサーバ、又は、１又は複数のプロセッサ及び１又は複数のメモリを含むコンピュータ装置を有するオブジェクト検出システムを同様に含み得る他の車両である。

車両１０の移動体通信システム６０は、移動体ネットワークを介してデータを送信及び受信するように構成された統合型移動体ネットワークトランシーバ６２を含めてもよい。移動体ネットワークトランシーバ６２は、プロセッサ４０とメモリ４２と移動体ネットワークトランシーバ６２との間での通信を容易にする入出力インターフェース４４を用いて、移動体ネットワークトランシーバ通信リンク６４を介してコンピュータ装置３０と通信可能に接続されてもよい。移動体ネットワークトランシーバ６２は、コンピュータ装置３０から移動体ネットワークにデータを無線送信するための送信器及び移動体ネットワークからコンピュータ装置３０にデータを無線送信するための受信器を含む。

車両１０の自動運転システム２０の検出モジュール５０でのオブジェクト検出を実行する全ての操作は、図２を参照して説明される。

図のように、自動運転システム２０の検出モジュール５０は、認知・軌跡スレッド及び分類スレッドを有する。認知・軌跡スレッドでは、ＬＩＤＡＲセンサ２２が車両１０の周辺環境を走査することに伴い、車両１０の周辺環境内の複数のオブジェクトを示し且つＬＩＤＡＲセンサ２２により出力される３次元点及び他の信号が受信される。また、各車線及び関連する交通規則（例、速度制限、交差点及び環状交差点での各道路の優先度、停止線位置）の位置と共に、３Ｄ道路ネットワークを含むデジタル地図が受信されてもよい。

認知・軌跡スレッドにおいて、車両１０の周辺環境内のオブジェクトを示す３次元点は、複数のタイムステップに亘って受信され、各タイムステップが、例えば、車両１０の垂直（Ｚ）軸の周囲の３６０度回転に対応する。障害物を示す３次元点と、他のオブジェクト、例えば、地面を示す３次元点との間を区別するため、複数の３次元点はタイムステップ毎に評価されてもよく、及び、車両１０の周辺環境内の各オブジェクトを示す複数の３次元点群に集約されてもよい。クラスタリングは、例えば、マルコフ確率場に基づくクラスタリングを実行してもよい。

１つのタイムステップでの車両１０の周辺環境内のオブジェクトを示す所定の３次元点群は、以前の複数のタイムステップでの車両１０の周辺環境内の同じオブジェクトを示す３次元点群と関連する。複数のタイムステップに亘って、車両１０の周辺環境内の同じオブジェクトを示す３次元点群の時系列、いわゆる軌跡が生成される。軌跡の生成は、例えば、パーティクル及びカルマンフィルタリングの両方により又はから実行されてもよい。一旦生成された複数の軌跡は、その後のイテレーションにより、車両１０の周辺環境内の同じオブジェクトを示す新しい３次元点群に更新される。

認知・軌跡スレッド及び分類スレッドは、並列に実行し、及び、同時に発生する結果キュー及び要求キューを介して通信する。結果キューは、分類スレッドから認知・軌跡スレッドに分類結果を渡すために使用され、一方で要求キューには、認知・軌跡スレッドにより分類結果が必要である軌跡が入れられる。

この構成では、検出モジュール５０は、エニタイム・システムを実行してもよい。エニタイム・システムにおいて、計画モジュール５２へのリアルタイム判定の出力を確保するために、分類スレッドの分析コストにかかわらず、分類スレッドの結果は優先され及び認知・軌跡スレッドに統合される。

エニタイム・システムを実行するために、認知・軌跡スレッドにおいて、各軌跡は、要求キューに追加される前に優先順位用のスコアが付与される。例えば、車両１０の正面且つ最近傍の３次元点群を有する軌跡は、最も高い優先度が与えられる。これらの場合、スコアが付与された各軌跡は、車両１０から軌跡の３次元点群までの単純な距離に、３次元点群が車両１０の後ろにある場合にペナルティ（例、５０メートル）を加算したものであり、より低いスコアを有する軌跡がより高いスコアを有する軌跡よりも優先される。選択的又は追加的に、車両１０の周辺環境の特定の対象領域内に３次元点群を有する軌跡又は未分類のオブジェクトを示す３次元点群の軌跡は、例えば、他の軌跡よりも優先され得る。

分類スレッドは、要求キューから最も優先度が高い軌跡を取り出し、軌跡の３次元点群の特徴数を割り出し、軌跡の３次元点群のための分類器を特定する。また、以下に追加的な詳細を説明するように、分類スレッドは、最も可能性が高いオブジェクトクラスに基づいて軌跡の３次元点群により示されるオブジェクトを分類し、分類器及びオブジェクトの分類結果を反映するオブジェクトクラスラベルを結果キューに入れる。

認知・軌跡スレッドが１つの軌跡を生成した後、結果キューから分類スレッドの結果を用いて３次元点群を更新する。次に、全ての未処理の軌跡は、要求キューから削除され、及び、次の軌跡の３次元点群は、要求キューに押し込まれる。次に、認知・軌跡スレッドは、複数の軌跡のそれぞれを計画モジュール５２に送る。複数の軌跡のそれぞれは、関連のヒストリを有するので、分類スレッドの過去の結果は、所定のイテレーションで処理されなかった複数の軌跡に対して使用されてもよい。

一般に、特徴ｘ_ｔを有する１つの軌跡ｔに対して、分類器は、１対全クラスの対数オッズとして表されてもよい。

Ｙはオブジェクトクラスラベルであり、Ｃは離散オブジェクトクラスである。以下に追加的な詳細が説明されるように、これらの対数オッズは、オブジェクトクラス毎の確率を含むベクトルを用いて確率に変換可能であり、

省略すると、

であり、所定のオブジェクトクラスはそれぞれ、歩行者オブジェクトクラス（Ｃ_ｐ）、二輪車オブジェクトクラス（Ｃ_ｂ）、車両オブジェクトクラス（Ｃ_ｖ）及び背景オブジェクトクラス（Ｃ_ｂｇ）である。このベクトルは、典型的な軌跡情報、例えば、オブジェクトの位置、速度及びサイズと同様、軌跡の３次元点群により示されるオブジェクトにとって最も可能性が高いオブジェクトクラスと共に、計画モジュール５２に渡される。

自動運転システム２０による車両１０の自動運転において、分類スレッドからの分類結果は、実世界の様々な交通状況であって、一方で人間の運転者が直面する、例えば、歩行者、二輪車及び他の車両の間の介入を計画モジュール５２に優先的に取組ませる。車両１０と歩行者と二輪車との間の介入に取組むことは、以下の観点から特に重要である。即ち、自動車１０の所有者と歩行者と二輪車の操作者の安全性を保障するための要件、車両１０と歩行者と二輪車との間の大きな速度差及び急激な相対横運動の可能性、及び、歩行者及び二輪車の操作者の相対的脆弱性の観点から特に重要である。中でも、車両１０の周辺環境内のこれらの及び他の複数のオブジェクトの適切な分類は、例えば、オブジェクトを通過する間にどの程度のゆとりをオブジェクトに与えるかの決定、又は、そもそもオブジェクトを通過するか否かの決定に際して、使用される計画モジュール５２に情報を提供してもよい。

車両１０の自動運転システム２０の検出モジュール５０における分類スレッドのためのプロセス１００の動作は、図３に示される。

以下に説明されるように、プロセス１００は、１つの軌跡の３次元点群の局所特徴又はクラスタ特徴に基づいて特定される複数のクラスタベース分類器と、その軌跡自体の大域特徴又は全体特徴に基づく１つの軌跡ベース分類器との組合せとなる。

一般に、クラスタ特徴は、中でもＬＩＤＡＲセンサ２２の距離、視点及び方向を変化させながら、１つのタイムステップＴから次に遷移する、軌跡の３次元点群に基づいている。クラスタ特徴は、例えば、軌跡の３次元点群のアピアランスに対する全部又は一部に対応してもよい。軌跡に対して、タイムステップ１からＴに亘る、局所又はクラスタの特徴セットＺ_１：Ｔがある。

一般に、全体特徴は、軌跡の３次元点群により示されるオブジェクトのよりハイレベルな要約統計である。全体特徴は、例えば、軌跡の３次元点群により示されるオブジェクトの動作に対する全部又は一部に対応してもよい。軌跡に対して単一の大域又は全体の特徴セットωがある。クラスタ特徴セットＺ_１：Ｔ及び単一の全体特徴セットωの両方を用いると、Ｔ時点の軌跡の特徴セットは、Ｘ_Ｔ＝Ｚ_１：Ｔ，ωである。

工程１０２では、１つの軌跡の３次元点群の局所特徴又はクラスタ特徴が特定され、及び、工程１０４では、その軌跡自体の大域特徴又は全体特徴が特定される。プロセス１００では、その軌跡に対して、結果の特徴セット毎に１つの分類器が対応するので、Ｔ個のクラスタベース分類器及び１つの軌跡ベース分類器がオブジェクトの最終分類に組み込まれる。

１つの軌跡の３次元点群の局所特徴又はクラスタ特徴は、回転画像から特定されてもよく、例えば、軌跡の３次元点群の仮想的な正投影画像から算出される勾配方向ヒストグラム（ＨＯＧ）特徴であってもよい。一般に、この特定では、軌跡の３次元点群を一貫して指向させる必要があり、一貫して指向させるには、軌跡の３次元点群のそれぞれの主方向（Ｐｒｉｎｃｉｐｌｅ Ｄｉｒｅｃｔｉｏｎ）を推定することにより達成可能である。

車両１０が比較的平坦な地面の上を走行しながら、ＬＩＤＡＲセンサ２２が車両１０の周辺環境を走査するにつれて、Ｚは上方向と想定されることができ、及び、主方向はＸＹ平面で検索されることができる。所定の３次元点群の主方向を推定するために、３次元点はＸＹ平面に投影されてもよく、及び、３次元点が最も整列する（例、１０ｃｍ以内）方向を見つけるために、ＲＡＮＳＡＣ（ランダム・サンプル・コンセンサス）アルゴリズムが全ての３次元点について実行されてもよい。例えば、複数の３次元点の中、閾値５０％が使用されてもよい。図４（Ａ）には、側方から見たときの車両を示す３次元点群の主方向の推定の一例であって、３次元点が最も整列する主方向ＰＤが示されている。

３次元点群の主方向の推定は、歩行者を示す３次元点群と同様に、側方から見たときの車両及び二輪車を示す３次元点群には、一般に特に有効であることが分かる。図４（Ａ）に示す側方から見たときの車両を示す３次元点群の主方向ＰＤの推定と、図４（Ｂ）に示す後方から見たときの車両を示す３次元点群の主方向ＰＤの推定との比較から分かるように、３次元点が最も整列する主方向は実際の車両の向きと直交することから、後方から見たときの車両を示す３次元点群に対する３次元点群の主方向の推定は、時々失敗する。しかしながら、３次元点群の主方向の同じ推定が学習及び分類の両方で使用される場合、学習器は、分類において両方の視点から軌跡の３次元点群の局所特徴を考慮することができる。

図５には、木、二輪車、セダン及びステーションワゴンの回転画像の例が示される。例示の及び別の回転画像を生成するために、仮想の画像平面は、オブジェクトを示す所定の軌跡の３次元点群の中央上面、正面中央及び側面に最も近い３次元点の周辺をＺ軸を中心に回転してもよく、途中で当たる全ての３次元点をビンに累算する。

図６（Ａ）〜（Ｃ）にはそれぞれ、３次元点群の正面、側面及び上面から見たときの車両を示す３次元点群の仮想的な正投影画像の例が示される。仮想的な正投影画像のそれぞれは、３次元点群の主方向に沿って指向され且つ境界ボックスの中心にある３次元点群の正投影である。

軌跡の３次元点群の他の局所特徴又はクラスタ特徴は、軌跡の３次元点群に対して特定されてもよい。例えば、３次元点群の推定された主方向は、３次元点群の境界ボックスを正しい方向に置くために使用されてもよく、及び、局所特徴は、３次元点群の境界ボックスの体積と共に、例えば、３次元点群の境界ボックスの高さ、幅及び長さを含めてもよい。追加的又は選択的に、３次元点群の境界ボックスの重心が特定されてもよく、局所特徴は、例えば、ＬＩＤＡＲセンサ２２から又は一方で車両１０から、境界ボックスの重心までの距離を含めてもよい。

軌跡の大域特徴又は全体特徴は、軌跡の３次元点群により示されるオブジェクトの速度を示す軌跡の３次元点群の速度であってもよく、又は、を含めてもよい。結果として、軌跡の大域特徴は、例えば、軌跡の３次元点群の最高速度又は軌跡の３次元点群の最高速度、又は、両方を含めてもよい。選択的又は追加的に、軌跡の大域特徴は、軌跡の３次元点群により示されるオブジェクトの加速度を示す軌跡の３次元点群の加速度であってもよく、又は、を含めてもよい。結果として、軌跡の大域特徴は、例えば、軌跡の３次元点群の最大加速度又は軌跡の３次元点群の最高加速度、又は、両方を含めてもよい。軌跡のためのこれら及び他の大域特徴は、軌跡の３次元点群の重心について、例えば、カルマンフィルタを使用して特定されてもよい。

工程１０８では、どの局所特徴又はクラスタ特徴が、及び、どの大域特徴又は全体特徴が、複数のオブジェクトが属する歩行者オブジェクトクラス（ｃ_ｐ）、二輪車オブジェクトクラス（ｃ_ｂ）、車両オブジェクトクラス（ｃ_ｖ）及び背景オブジェクトクラス（ｃ_ｂｇ）の予測であるかが学習される。図７は、１つの軌跡の３次元点群の局所特徴又はクラスタ特徴及びその軌跡の大域特徴又は全体特徴の間の確率論的独立性を記号化したグラフィカルモデルの一例である。工程１０８での学習は、決定木に基づくＧｅｎｔｌｅ ＡＤＡＢｏｏｓｔを実行してもよい。

工程１１０で、クラスタベース分類器は１つの軌跡の３次元点群の局所特徴又はクラスタ特徴に基づいて特定され、及び、工程１１２で、軌跡ベース分類器はその軌跡自体の大域特徴又は全体特徴に基づいて特定される。

クラスタベース分類器及び軌跡ベース分類器は、一般に、軌跡の３次元点群により示されるオブジェクトが属する歩行者オブジェクトクラス（Ｃ_ｐ）、二輪車オブジェクトクラス（Ｃ_ｂ）、車両オブジェクトクラス（Ｃ_ｖ）及び背景オブジェクトクラス（Ｃ_ｂｇ）の予測であってもよい。

一例では、クラスタベース分類器及び軌跡ベース分類器は、オブジェクトが歩行者オブジェクトクラス（Ｃ_ｐ）、二輪車オブジェクトクラス（Ｃ_ｂ）、車両オブジェクトクラス（Ｃ_ｖ）及び背景オブジェクトクラス（Ｃ_ｂｇ）の中の１つに属する、１対多の対数オッズとして表されてもよい。この例によれば、一般に、強分類器Ｈは、Ｋ個の弱分類器ｈの合計値により与えられてもよい。

弱分類器ｈは、分岐に局所特徴及び大域特徴を使用する深さ制限のある回帰木である。この出力実数値及び弱分類器ｈの合計値は、離散出力信号（Ｈ（ｘ，ｃ））とは対照的に直接使用されてもよい。極限において、弱分類器ｈの合計値は対数オッズＬ（ｘ，ｃ）に収束する。ＯｐｅｎＣＶに実装されるＧｅｎｔｌｅ ＡｄａＢｏｏｓｔを使用して、歩行者オブジェクトクラス（Ｃ_ｐ）、二輪車オブジェクトクラス（Ｃ_ｂ）及び車両オブジェクトクラス（Ｃ_ｖ）のためのクラスタベース分類器及び軌跡ベース分類器の両方についてこれらの対数オッズが特定されてもよい。

工程１１２で、統合されたクラスタベース分類器及び軌跡ベース分類器から明らかである最も可能性が高いオブジェクトクラスに基づいて、軌跡の３次元点群により示されたオブジェクトを分類するために、クラスタベース分類器及び軌跡ベース分類器は統合される。

長さＴの軌跡の対数オッズを特定するために、ある特定のオブジェクトクラスＣについて、Ｔ個のクラスタベース分類器及び１個の軌跡ベース分類器から生じるＴ＋１個の分類器がある。以下に説明されるように、例えば、３次元点群から特定された３次元点群の情報量に基づいてクラスタベース分類器に重み付ける正規化離散ベイズフィルタ（ＤＢＦ）の変動量を使用して、これらは統合されてもよい。

表記を単純化するため、その組合せは、１つのオブジェクトクラスＣに対して説明され、及び、オブジェクトクラスの表記は、以下省略される。結果として、対数オッズ比はＬ（ｘ）である。以下に使用されるように、Ｌ_０は、事前オッズの対数であり、

と等しく、Ｌ_０ ^Ｃは、クラスタベース分類器の事前オッズの対数の経験予測値であり、Ｌ_０ ^Ｈは、軌跡ベース分類器の事前オッズの対数の経験予測値であり、Ｈ^Ｃは、軌跡の３次元点群の局所特徴又はクラスタ特徴に対して特定された対数オッズを返すクラスタベース分類器であり、及び、Ｈ^Ｈは、軌跡の大域特徴又は全体特徴に対して特定された対数オッズを返す軌跡ベース分類器である。

図７のグラフィカルモデルの例は、軌跡の３次元点群の局所特徴又はクラスタ特徴及び軌跡の大域特徴又は全体特徴の間での条件付き独立性を前提とするが、より複雑なモデルが以下に説明される。しかしながら、初めにこの条件付き独立性を前提として、軌跡の３次元点群の局所特徴及びその軌跡の全タイムステップ（１からＴまで）に亘る軌跡の大域特徴の全てを考慮し、ベイズ定理を使用して対数オッズＬ（ω，Ｚ_１：Ｔ）を割り出す。

これは、軌跡の長さに応じて軌跡ベース分類器の信頼度に非均一な重みを付ける効果がある。追加する正規化条件は、

である。

これは、クラスタベース分類器毎に均一な重みを付ける効果がある。クラスタベース分類器が軌跡の３次元点群により示されるオブジェクトをどのオブジェクトクラスに属するかについて、全てのケースを正確に予測したならば正確であろうが、クラスタベース分類器の予測精度は、３次元点群から特定された３次元点群の情報量が増えるにつれて急激に向上することが分かっている。多くの例では、３次元点群から所定のクラスタベース分類器が特定された３次元点群の情報量は、クラスタ内の３次元点の量であるか又はと関連する。この例又は他の例では、これらの３次元点群の情報量が増加することは、車両１０及び３次元点群により示されるオブジェクトの間でより近似する結果となるかもしれない。

結果として、重み係数α_ｔがクラスタベース分類器に適用されてもよい。即ち、特定された３次元点群の情報量が減少するにつれてクラスタベース分類器に低い重みを、又は、特定された３次元点群の情報量が増加するにつれてクラスタベース分類器に高い重みを、適用してもよい。この場合、

である。図８を適宜参照して示すように、所定のクラスタベース分類器用の重み係数α_ｔは、

により３次元点群から割り出され、３次元点群の情報量が増加するにつれて増加してもよい。ｎ_ｔは時間ｔでのクラスタ内の３次元点の数であり、ｎ_αはαが３次元点の数に伴い増加する速さを制御するパラメータである。図８において、ｎ_α＝２５０、０≦α≦１であり、ｎ_ｔ＝ｎ_αのときα＝０．５である。

追加的又は選択的に、閾値は、３次元点群から所定のクラスタベース分類器が特定された３次元点群の情報量に対して定義且つ実行可能である。これらの閾値は、例えば、クラスタ内の３次元点の量（例、２５個の３次元点）、車両１０及び３次元点群により示されるオブジェクトの間の近接度（例、３０メートル）又はこれら両方について定義され且つ実行されてもよく、閾値に達しない場合、例えば、クラスタベース分類器と関連する対数オッズをゼロに設定することにより、クラスタベース分類器をゼロに重み付けできる。

歩行者オブジェクトクラス（Ｃ_ｐ）、二輪車オブジェクトクラス（Ｃ_ｂ）、車両オブジェクトクラス（Ｃ_ｖ）及び背景オブジェクトクラス（Ｃ_ｂｇ）の説明に再び戻ると、特徴ω、Ｚ_１：Ｔを有する軌跡及びタイムステップのそれぞれについて、上記の分類フレームワークは、歩行者オブジェクトクラス（Ｃ_ｐ）、二輪車オブジェクトクラス（Ｃ_ｂ）及び車両オブジェクトクラス（Ｃ_ｖ）に対して適用されてもよく、１対多の対数オッズは、

で与えられ、歩行者オブジェクトクラス（Ｃ_ｐ）、二輪車オブジェクトクラス（Ｃ_ｂ）及び車両オブジェクトクラス（Ｃ_ｖ）の中から、軌跡の３次元点群により示されるオブジェクトが属するオブジェクトクラスを予測する。対数オッズは、

を解くことにより、歩行者オブジェクトクラス（Ｃ_ｐ）、二輪車オブジェクトクラス（Ｃ_ｂ）及び車両オブジェクトクラス（Ｃ_ｖ）の中から、軌跡の３次元点群により示されるオブジェクトが属するオブジェクトクラスの確率に変換されてもよい。背景（Ｃ_ｂｇ）オブジェクトクラスは、

である。

分類器によるこれらの結果を用いて、軌跡の３次元点群により示されるオブジェクトは、最も可能性のあるオブジェクトクラスに属するものとして分類されてもよい。工程１１４で、計画モジュール５２は、オブジェクトを回避しながらオブジェクトの分類に基づいて走行経路に沿って車両１０をどう走行させるかを計画してもよく、及び、車両１０の自動運転システム２０は、計画に従って経路に沿って車両１０を走行させることができる。

図９は、分類信頼度の経時変化であって、軌跡の３次元点群により示されるオブジェクトが二輪車である場合の軌跡の例を示す。歩行者オブジェクトクラス（Ｃ_ｐ）、二輪車オブジェクトクラス（Ｃ_ｂ）、車両オブジェクトクラス（Ｃ_ｖ）及び背景オブジェクトクラス（Ｃ_ｂｇ）の各々について、実線は分類器からの統合された結果の信頼度を示し、一方で破線はクラスタベース分類器の信頼度、及び、一点鎖線は軌跡ベース分類器の信頼度を示す。最初の１２０タイムステップではクラスタ内に３次元点がほぼ無いため（即ち、２５個より少ない）、軌跡ベース分類器のみがオブジェクトの分類に寄与する。オブジェクトは、最初の４０タイムステップで二輪車として当初分類されるが、次の８０タイムステップで８２メートル離れた車両として誤分類される。即ち、オブジェクトは、クラスタベース分類器を使用するための十分な３次元点が存在する４０メートルの距離の地点まで誤分類される。その距離の地点では、後にいくつかのクラスタが誤分類されるにもかかわらず、分類器の統合された結果において、二輪車（Ｃ_ｂ）オブジェクトクラスが優勢となり且つ表示され続ける。

明示された本発明の特徴及び条件は、特定の実施形態と関連して説明されてきたが、本発明は、開示した実施形態に限定されるものではなく、逆に、添付のクレームの精神及び範囲内に包含する様々な修正及び同様の変更を網羅することを意図すると理解される。その範囲は、法の下認められる全ての変更及び同様の構造を包含するように、広い解釈が許容される。

Claims (18)

1. 自動運転の方法であって、
   ３Ｄセンサを用いて、車両の周辺環境内の複数のオブジェクトを示す複数の３次元点を生成すること、及び、
   コンピュータ装置を用いて、
   前記複数の３次元点から、前記車両の周辺環境内の前記同じオブジェクトを示す複数の３次元点クラスタの時系列を一つの軌跡として特定し、
   前記軌跡内の前記複数のクラスタに対して特定された複数の局所特徴に基づいて、前記オブジェクトのためのクラスタベース分類器を特定し、
   前記軌跡に対して特定された複数の大域特徴に基づいて、前記オブジェクトのための軌跡ベース分類器を特定し、
   前記クラスタベース分類器が特定されたクラスタ上の情報量に基づいて前記クラスタベース分類器を重み付けし、且つ、前記重みを情報量の増加に伴って増加させながら、前記オブジェクトを分類するために前記クラスタベース分類器及び前記軌跡ベース分類器を統合し、及び
   前記オブジェクトの分類に基づいて、経路に沿って前記車両を走行させること、
   を含む方法。
2. 前記いずれかの請求項に記載の自動運転の方法であって、前記クラスタ上の情報量は、前記クラスタから前記クラスタベース分類器が特定された前記クラスタ内の３次元点の量である、方法。
3. 前記いずれかの請求項に記載の自動運転の方法であって、クラスタベース分類器が特定された前記クラスタからの情報量が閾値を下回る場合、前記クラスタベース分類器はゼロに重み付される、方法。
4. 前記いずれかの請求項に記載の自動運転の方法であって、各クラスタベース分類器は、複数のオブジェクトクラスの中から前記オブジェクトが属するオブジェクトクラスの予測を含む、方法。
5. 前記いずれかの請求項に記載の自動運転の方法であって、各クラスタベース分類器は、複数のクラスの中から前記オブジェクトが属する１つのクラスの１対多の対数オッズ又は複数のクラスの中から前記オブジェクトが１つに属する確率のうち、少なくとも１つを含む、方法。
6. 前記いずれかの請求項に記載の自動運転の方法であって、各軌跡ベース分類器は、複数のオブジェクトクラスの中から前記オブジェクトが属するオブジェクトクラスの予測を含む、方法。
7. 前記いずれかの請求項に記載の自動運転の方法であって、各軌跡ベース分類器は、複数のクラスの中から前記オブジェクトが属する１つのクラスの１対多の対数オッズ又は複数のクラスの中から前記オブジェクトが１つに属する確率のうち、少なくとも１つを含む、方法。
8. 前記いずれかの請求項に記載の自動運転の方法であって、前記軌跡ベース分類器及び前記重み付き前記クラスタベース分類器の組合せは、複数のクラスの中から前記オブジェクトが属するオブジェクトクラスの確率を含む、方法。
9. 前記いずれかの請求項に記載の自動運転の方法であって、前記軌跡ベース分類器及び前記重み付きクラスタベース分類器の組合せは、複数のクラスの中から前記オブジェクトが属する１つのクラスの１対多の対数オッズ又は複数のクラスの中から前記オブジェクトが１つに属する確率のうち、少なくとも１つを含む、方法。
10. 前記いずれかの請求項に記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡内の前記複数のクラスタに基づいて前記局所特徴を特定することをさらに含む、方法。
11. 請求項１０に記載の自動運転の方法であって、前記局所特徴は、前記軌跡内の前記複数のクラスタのアピアランスに基づく、方法。
12. 前記いずれかの請求項に記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡に基づいて前記大域特徴を特定することをさらに含む、方法。
13. 請求項１２に記載の自動運転の方法であって、前記大域特徴は、前記軌跡内の前記複数のクラスタの前記動作に基づく、方法。
14. 前記いずれかの請求項に記載の自動運転の方法であって、
    前記コンピュータ装置を用いて、前記軌跡内の各クラスタに対して、
    前記クラスタの境界ボックスを特定し、及び、
    前記クラスタのための局所特徴として前記境界ボックスの高さ、幅及び長さを特定すること、
    をさらに含む、方法。
15. 前記いずれかの請求項に記載の自動運転の方法であって、
    前記コンピュータ装置を用いて、前記軌跡内の各クラスタに対して、
    前記クラスタの境界ボックスを特定し、及び、
    前記クラスタのための局所特徴として前記境界ボックスの体積を特定すること、
    をさらに含む、方法。
16. 前記いずれかの請求項に記載の自動運転の方法であって、
    前記コンピュータ装置を用いて、前記軌跡内の各クラスタに対して、
    前記クラスタの境界ボックスを特定し、
    境界ボックスの前記重心を特定し、及び、
    前記クラスタのための局所特徴として特定された前記境界ボックスの重心に対する距離を特定すること、
    をさらに含む、方法。
17. 前記いずれかの請求項に記載の自動運転の方法であって、
    前記コンピュータ装置を用いて、前記軌跡に対して、
    前記軌跡内の前記複数のクラスタの速度を特定し、及び、
    前記軌跡のための大域特徴として前記速度を特定すること、
    をさらに含む、方法。
18. 前記いずれかの請求項に記載の自動運転の方法であって、
    前記コンピュータ装置を用いて、前記軌跡に対して、
    前記軌跡内の前記複数のクラスタの加速度を特定し、及び、
    前記軌跡のための大域特徴として前記加速度を特定すること、
    をさらに含む、方法。

Images