JP2021082296A - ３次元オブジェクトを分類するための方法及びそのシステム - Google Patents

Abstract

【課題】ポイントクラウドデータに基づく３次元オブジェクトの検出方法及びそのシステムを提供する。【解決手段】本発明による３次元オブジェクトの分類方法は、コンピューティングシステムによって、入力ソースから３次元空間内の第１のポイント及び第２のポイントを含むポイントクラウドデータを受信する段階と、第１のラベルで第１のポイントを分類するためのニューラルネットワークを呼び出す段階と、前記第１のラベルで前記第１のポイントを分類することに基づくバウンディングボックスを回帰する段階と、バウンディングボックスを回帰することに基づいて、自律走行車両を制御する段階と、を有し、第１のポイントは、オブジェクトの特徴を示し、バウンディングボックスを回帰する段階は、バウンディングボックスの少なくとも１つの位置を予測する段階を含む。【選択図】 図１

Description

本発明は、３次元（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ、３Ｄ）オブジェクト検出に関し、特に、ポイントクラウドデータ（ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）を介して表現された３Ｄオブジェクトを検出する３次元オブジェクトを分類するための方法及びそのシステムに関する。

自律走行システムでは、知覚（又は、認知、認識）モジュール（ｐｅｒｃｅｐｔｉｏｎ ｍｏｄｕｌｅ）は、人間の目のように環境内で安全に移動するために、環境内のオブジェクトを感知する。
知覚のエレメント（要素：ｅｌｅｍｅｎｔ）は、３次元オブジェクト検出である。
３次元オブジェクトの検出は、環境内のオブジェクトの位置、ディメンション、及び動きの方向を提供する。
このような３Ｄ検出情報は、ライダー（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ：ＬｉＤＡＲ）のレーザースキャナー／センサーを使用して収集された地理的ポイントクラウド（ｇｅｏｇｒａｐｈｉｃ ｐｏｉｎｔ ｃｌｏｕｄ）を介して供給される。

しかし、ライダーベースのポイントクラウドで正確な３Ｄオブジェクト検出は、ポイントクラウドデータのデータスパーシティ（ｓｐａｒｓｉｔｙ）と不規則性のような問題から困難を経験する可能性がある。
例えば、ポイントクラウドは、オブジェクトの表面に存在するため、自己遮蔽（ｓｅｌｆ−ｏｃｃｌｕｓｉｏｎ）、反射（ｒｅｆｌｅｃｔｉｏｎ）、又は望ましくない気象条件は、ライダーのスキャナからキャプチャーされるポイントの数を限定する可能性がある。

したがって、このようなポイントクラウドデータがスパース（ｓｐａｒｓｅ）である場合にも、ライダーベースのポイントクラウドを用いて、３次元オブジェクトを検出するためのシステム及び方法が開発の課題となっている。

米国特許出願公開第２０１８／０３７６３０５号明細書 米国特許出願公開第２０１９／０２６１１６１号明細書 米国特許出願公開第２０１９／０３１０６５１号明細書 米国特許出願公開第２０１９／０１７４２７６号明細書

ＺＨＡＮＧ， Ｓｈｉｆｅｎｇ ｅｔ ａｌ．， "Ｂｒｉｄｇｉｎｇ ｔｈｅ Ｇａｐ Ｂｅｔｗｅｅｎ Ａｎｃｈｏｒ−ｂａｓｅｄ ａｎｄ Ａｎｃｈｏｒ−ｆｒｅｅ Ｄｅｔｅｃｔｉｏｎ ｖｉａ Ａｄａｐｔｉｖｅ Ｔｒａｉｎｉｎｇ Ｓａｍｐｌｅ Ｓｅｌｅｃｔｉｏｎ，" Ｍａｒｃｈ ２４， ２０２０， ａｒＸｉｖ：１９１２．０２４２４ｖ３ ［ｃｓ．ＣＶ］， １０ ｐａｇｅｓ ＫＵＡＮＧ， Ｐｉｎｇ ｅｔ ａｌ．， "３Ｄ Ｂｏｕｎｄｉｎｇ Ｂｏｘ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ，" Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ （ＣＴＩＳＣ ２０１９）， ｐａｇｅｓ １１７−１２１ ＣＨＥＮ， Ｑｉ ｅｔ ａｌ．， "Ｏｂｊｅｃｔ ａｓ Ｈｏｔｓｐｏｔｓ： Ａｎ Ａｎｃｈｏｒ−Ｆｒｅｅ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ａｐｐｒｏａｃｈ ｖｉａ Ｆｉｒｉｎｇ ｏｆ Ｈｏｔｓｐｏｔｓ，" Ｄｅｃｅｍｂｅｒ ３０， ２０１９， ａｒＸｉｖ：１９１２．１２７９１ｖ１ ［ｃｓ．ＣＶ］， １５ ｐａｇｅｓ ＷＡＮＧ， Ｂｅｉ ｅｔ ａｌ．， "Ｖｏｘｅｌ−ＦＰＮ： ｍｕｌｔｉ−ｓｃａｌｅ ｖｏｘｅｌ ｆｅａｔｕｒｅ ａｇｇｒｅｇａｔｉｏｎ ｉｎ ３Ｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ｐｏｉｎｔ ｃｌｏｕｄｓ，" Ｊａｎｕａｒｙ １， ２０２０， １２ ｐａｇｅｓ ＹＡＮＧ， Ｂｉｎ ｅｔ ａｌ．， "ＰＩＸＯＲ： Ｒｅａｌ−ｔｉｍｅ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ｐｏｉｎｔ Ｃｌｏｕｄｓ，" Ｍａｒｃｈ ２， ２０１９， ａｒＸｉｖ：１９０２．０６３２６ ［ｃｓ．ＣＶ］， １０ ｐａｇｅｓ

本発明は、上記従来の３Ｄオブジェクト検出における課題に鑑みてなされたものであって、本発明の目的は、ポイントクラウドデータ（ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）に基づく３次元オブジェクトの分類方法及びそのシステムを提供することにある。

上記目的を達成するためになされた本発明による３次元オブジェクトの分類方法は、コンピューティングシステムによって、入力ソースから３次元（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ：３Ｄ）空間内の第１のポイント及び第２のポイントを含むポイントクラウドデータ（ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）を受信する段階と、前記コンピューティングシステムによって、第１のラベルで前記第１のポイントを分類するためのニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を呼び出す段階と、前記コンピューティングシステムによって、前記第１のラベルで前記第１のポイントを分類することに基づくバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を回帰する（ｒｅｇｒｅｓｓｉｎｇ）段階と、前記コンピューティングシステムによって、前記バウンディングボックスを回帰することに基づいて、自律走行車両を制御する段階と、を有し、前記第１のポイントは、オブジェクトの特徴を示し、前記バウンディングボックスを回帰する段階は、前記バウンディングボックスの少なくとも１つの位置を予測する段階を含むことを特徴とする。

前記受信したポイントクラウドデータを複数のボクセル（ｖｏｘｅｌ）に変換する段階をさらに有し、前記複数のボクセルの内、第１のボクセルは、前記第１のポイントを含み、前記複数のボクセルの内、第２のボクセルは、ポイントを含んでいないこと。
前記第２のボクセルを前記第１のラベルと異なる第２のラベルで分類する段階をさらに有し、前記第１のポイントを分類することは、前記第１のボクセルを前記第１のラベルで分類することを含み、前記バウンディングボックスを回帰することは、前記第１のボクセルに基づくこと。
前記第２のボクセルを前記第１のラベルで分類する段階をさらに有し、前記第１のポイントを分類することは、前記第１のボクセルを前記第１のラベルで分類することを含み、前記バウンディングボックスを回帰することは、前記第１のボクセル及び前記第２のボクセルに基づくこと。
トレーニングデータ（ｔｒａｉｎｉｎｇ ｄａｔａ）に基づいて、前記ニューラルネットワークをトレーニングする段階をさらに有し、前記トレーニングデータは、前記オブジェクトに関連付けられた特定のポイントを含み、前記特定のポイントが前記オブジェクトの中心から閾値の距離内にあるものであると検出されることに応答して、前記特定のポイントは、前記第１のラベルに割り当てられること。
前記トレーニングデータからＭ個のポイントは、前記第１のラベルに割り当てられ、前記Ｍは、前記オブジェクトの体積に基づいて決定されること。

トレーニングデータ（ｔｒａｉｎｉｎｇ ｄａｔａ）に基づいて、前記ニューラルネットワークをトレーニングする段階をさらに有し、前記トレーニングする段階は、前記第１のラベルに割り当てられた２つのポイントの相対的な空間情報を学習する段階を含むこと。
前記相対的な空間情報を学習するための段階は、前記オブジェクトに関連付けられた正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）のバウンディングボックスをパーティションに分割する段階と、前記オブジェクトと関連して、前記第１のラベルに割り当てられた特定のポイントを前記パーティションのいずれか１つに分類する段階と、を含むこと。
パーティション分類損失（ｐａｒｔｉｔｉｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌｏｓｓ）を計算する段階と、前記パーティション分類損失に基づいて、前記ニューラルネットワークをトレーニングする段階と、をさらに有すること。
前記ニューラルネットワークをトレーニングする段階は、前記第１のラベルでポイントを分類することから計算された分類の損失（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌｏｓｓ）、及び前記分類されたポイントのバウンディングボックス回帰から計算された回帰損失（ｒｅｇｒｅｓｓｉｏｎ ｌｏｓｓ）に基づくこと。
前記バウンディングボックスを回帰する段階は、前記第１のポイントと関連した位置パラメータを回帰するためのソフトアーグミン（ｓｏｆｔ ａｒｇｍｉｎ）関数を適用する段階を含むこと。

上記目的を達成するためになされた本発明によるシステムは、３次元（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ：３Ｄ）オブジェクトの分類のためのシステムであって、プロセッサと、前記プロセッサによって実行される命令語を格納するメモリと、を有し、前記命令語は、前記命令語が実行される場合、前記プロセッサによって、入力ソースから３次元空間内の第１のポイント及び第２のポイントを含むポイントクラウドデータ（ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）を受信し、第１のラベルで前記第１のポイントを分類するためのニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を呼び出し、前記第１のラベルで前記第１のポイントを分類することに基づいて、バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を回帰し、前記バウンディングボックスを回帰することに基づいて、自律走行車両を制御するように行わせ、前記第１のポイントは、オブジェクトの特徴を示し、前記バウンディングボックスを回帰することは、前記バウンディングボックスの少なくとも１つの位置を予測することを特徴とする。

通常の技術者が認識できるように、本発明の実施形態は、ポイントクラウドデータが不足している場合にも、ポイントクラウドデータを使用して、３次元オブジェクトを効率的に認識するためのメカニズムを提供する。
本発明の実施形態の特徴、様相及び利点は、以下の詳細な説明、添付された特許請求の範囲及び添付された図面を介して完全に理解されるだろう。
もちろん、本発明の権利範囲は、添付された特許請求の範囲によって定義される。

本発明に係る３次元オブジェクトを分類するための方法及びそのシステムによれば、ポイントクラウドデータが不足している場合にも、ポイントクラウドデータに基づいて、３次元オブジェクトを効率的かつ正確に認識することができる。

本発明の一実施形態による自律走行車両のナビゲーションを制御するためのシステムの概略構成を示すブロック図である。 本発明の多様な実施形態によるトレーニングモジュールによるホットスポットの選択、及び割り当ての配置図である。 本発明の一実施形態による１段のアンカーフリーの３次元オブジェクトの検出のためのホットスポットオブジェクトのヘッドをトレーニングするためのプロセスの概念的配置図である。 本発明の一実施形態によるバウンディングボックスを象限に分ける空間関係エンコーダーサブネットの概念的配置図である。 本発明の単一の実施形態によるホットスポットを用いた３次元オブジェクト検出の概念的配置図である。 本発明の単一の実施形態によるホットスポットを用いた３次元オブジェクト検出の概念的配置図である。 本発明の単一の実施形態によるホットスポットを用いた３次元オブジェクト検出の概念的配置図である。 本発明の一実施形態によるホットスポットオブジェクトのヘッドをトレーニングするためのプロセスを説明するためのフローチャートである。 本発明の一実施形態による、３次元オブジェクトの単一のパスのアンカーフリーの検出のためのプロセスを説明するためのフローチャートである。

次に、本発明に係る３次元オブジェクトを検出するための方法及びそのシステムを実施するための形態の具体例を図面を参照しながら説明する
本発明の実施形態の非限定的（ｎｏｎ−ｌｉｍｉｔｉｎｇ）かつ非包括的な（ｎｏｎ−ｅｘｈａｕｓｔｉｖｅ）実施形態は、以下の図面を参照して説明され、ここで同一の参照番号は、別のものを明示していない限り、多様な図面にわたって同一のパーツ（ｐａｒｔｓ）を示す。
以下、明細書全般にわたって同一の参照番号は、同一の構成を示す添付図面を参照して本発明の例としての実施形態が詳細に説明されるだろう。
しかし、本発明は、多様な形で実施され得、本明細書で単に例示された実施形態に限定されるものではない。
むしろ、このような実施形態は、本明細書の開示が徹底かつ完全になるための例として提供され、通常の技術者（当業者）にとって本発明の特徴及び機能を完全に伝えるはずである。
したがって、本発明の技術分野における通常の知識を有する者が、本発明の特徴及び機能を完全に理解するために必要としないプロセス、要素、及び技術は説明されないことが有り得る。
異なるように言及していない限り、類似の参照番号は、添付された図面及び書かれた説明で類似の要素を示し、したがってそれに対する説明は繰り返されない。
なお、図面では、要素、レイヤー及び領域の相対的なサイズは、明確性のために誇張されることがある。

一般的に、本発明の実施形態は、地理的なポイントクラウド（ｇｅｏｇｒａｐｈｉｃ ｐｏｉｎｔ ｃｌｏｕｄ）（例えば、ライダーレーザースキャナー（ＬｉＤＡＲ ｌａｓｅｒ ｓｃａｎｎｅｒ）によって作成された地理的ポイントクラウドのような）を使用する３次元オブジェクトの検出のためのシステム及び方法に関する。
多様な実施形態は、ライダーレーザースキャナーによって生成されたポイントクラウドに限定されず、ステレオカメラ（ｓｔｅｒｅｏ ｃａｍｅｒａ）から生成されたポイントクラウド、アジュールキネクト（Ａｚｕｒｅ Ｋｉｎｅｃｔ）を使用して収集されたポイントクラウドなどのような他のポイントクラウドを含み得る。

ライダーベースのポイントクラウドでの正確な３次元オブジェクトの検出は、例えば、データでのデータのスパーシティ及び不規則性によって難しいことに直面する可能性がある。
このような問題（難しいこと）を軽減するために、関連技術の方法は、個々のオブジェクト上のポイントを共に構成し、オブジェクトレベルのアンカー（ｏｂｊｅｃｔ−ｌｅｖｅｌ ａｎｃｈｏｒ）（例えば、ボックスの位置及びサイズがあるバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ））を定義し得、オブジェクトレベルのアンカー（ｏｂｊｅｃｔ−ｌｅｖｅｌ ａｎｃｈｏｒ）は、関心のオブジェクト上のすべてのポイントから収集した証拠を使用して３次元バウンディングボックスのオフセットを予測する。
例えば、関連技術のシステムは、ボクセル（ｖｏｘｅｌ）でサンプリングされたポイントの特徴を集めて、２次元／３次元のニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用して、ボクセルの特徴を抽出するボクセルの特徴エンコーダー（ｖｏｘｅｌ ｆｅａｔｕｒｅ ｅｎｃｏｄｅｒ）を含み得る。
ボクセルベースのアプローチは、オブジェクトレベルのアンカーを定義するために、アンカーの範囲（ａｎｃｈｏｒ ｒａｎｇｅ）、アンカーサイズ（ａｎｃｈｏｒ ｓｉｚｅ）、及び方向のようなハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）を活用することができ、正解（ｇｏｕｎｄ ｔｒｕｔｈ）を割り当てるためにＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ：ユニオン交差）の閾値を活用することができる。
しかし、予め定義されたアンカーの使用は、オブジェクトの統計的なサイズ及び方向に関する事前知識を必要とし得る。

一実施形態で、ポイントクラウドデータからの３次元オブジェクトの検出は、予め定義されたオブジェクトレベルのアンカーを必要とせず、アンカーなしで実行され得る。
オブジェクトレベルのアンカーを使用する代わりに、本発明による一実施形態は、ホットスポット（ｈｏｔｓｐｏｔ）（オブジェクトの内部ポイント又はボクセルはホットスポットと称される）の空間的関係とともに、ホットスポットであるオブジェクトの内部ポイント又はボクセル（例えば、ポイントを含む空いていないボクセル）の構成（ｃｏｍｐｏｓｉｔｉｏｎ）としてオブジェクトを表す。
空いていないボクセルは、スポット（ｓｐｏｔ）と呼ばれることがある。
一実施形態で、オブジェクトを表すスポットの中で、オブジェクトの差別化された特徴を有する、限られた数のスポットが選択され、ホットスポットとして割り当てられる。
例えば、自動車のフロントガラスに近いポイントは、車を表すための差別化された特徴を含み得る。

一実施形態で、それぞれのボクセル内の個々のポイントの特徴は、特定のホットスポットの表現を形成するために集まる。
したがって、オブジェクトの限られた特徴についての情報があるホットスポットは、すべてのオブジェクトの情報を担当し得る。
このような方式で、小さなオブジェクトが少ないことのポイントを介して表現された時も、他より大きなオブジェクトがほとんど遮られたり、部分的にスキャンされたりした場合も、オブジェクトの存在は、オブジェクトの差別的な特徴に関連されたホットスポットを検出するとき、相変わらず検出され得る。
その次に、オブジェクトの意味情報（ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ）（例えば、オブジェクトが属するオブジェクトカテゴリ（カテゴリ）とローカライゼーション（局地化、ｌｏｃａｌｉｚａｔｉｏｎ、例えば、バウンディングボックスを配置するためのオブジェクトの位置）は、検出されたホットスポットを介して取得され得る。
ホットスポット及びそれらの空間的関係の情報を介したオブジェクトの表現は、ホットスポットオブジェクト（Ｏｂｊｅｃｔ ａｓ Ｈｏｔｓｐｏｔｓ：ＯＨＳ）と称される。

一実施形態で、３次元オブジェクトのアンカーのない検出は、アンカーのない検出ヘッド（ホットスポットオブジェクトのヘッド、ＯＨＳヘッド）を含むシステムによって実行される。
ＯＨＳヘッドは、あらかじめ定義されたバウンディングボックスなしで、限られた数の個々のホットスポットからオブジェクトに対する予測を実行するように構成される１つ以上のニューラルネットワークを含み得る。
ＯＨＳヘッドは、検出されたホットスポットに基づいてバウンディングボックスを予測することができる。

一実施形態で、ＯＨＳヘッドは、ホットスポットを割り当てるにあたって、正解の割り当て戦略（ｇｒｏｕｎｄ ｔｒｕｔｈ ａｓｓｉｇｎｍｅｎｔ ｓｔｒａｔｅｇｙ）を使用して、これは異なるオブジェクトのサイズ、ライダーセンサーまでの異なる距離、異なる閉塞（ｏｃｃｌｕｓｉｏｎ）／切断（ｔｒｕｎｃａｔｉｏｎ）／反射（ｒｅｆｌｅｃｔｉｏｎ）レベルなどによって発生する可能性があるオブジェクト間のポイントスパーシティの不均衡の問題を扱う。
一実施形態による、正解の割り当て戦略は、ネットワークがより多くのポイントを有するオブジェクトに向けるよう偏向されることを防止するように構成される。
例として、複数のポイントがライダーセンサーソースに近い大きなオブジェクト上でキャプチャーされることがある一方で、より少ないポイントが、より小さいオブジェクト及び／又は隠遮断されたオブジェクトに対して収集され得る。
これにより、より多くのポイントを有するオブジェクトは、意味クラス（ｓｅｍａｎｔｉｃ ｃｌａｓｓ）及びローカライズを予測するための豊富で重複された機能を有する一方で、より少ないポイントを有するオブジェクトは、ラーニングのためのより少ない特徴を有する場合には、特徴の不均衡は発生する可能性がある。
一実施形態で、ＯＨＳヘッドは、より多くのポイントを有するオブジェクトに対する偏向の防止を助けるために、例えば、最も差別的なものと見なされるオブジェクトの限られた特徴からラーニングするように構成される。

推論段階の間に、ＯＨＳヘッドは、個々のホットスポットに対する予測を行うことにより、オブジェクトの意味情報とローカライゼーションに対する予測を実行するように構成される。
これと関連して、あらかじめ定義されたバウンディングボックスの設定なしで、ホットスポットがオブジェクトの一部であるという閾値の信頼性を提供する場合は、ホットスポットは活性化される。
そうすると、３次元バウンディングボックスは、活性化されたホットスポットに対して回帰（ｒｅｇｒｅｓｓ）される。

人間によって定義される以前のアンカーサイズから利点が得られないアンカーのない検出器を使用して、バウンディングボックスの回帰を実行するのは、困難なことに直面する可能性がある。
このような困難さの中の一つは、バウンディングボックスのスケール（又はスケール、ｓｃａｌｅ）の変動によって引き起こされる回帰対象（ターゲット）の不均衡なことからであり得る。
もう少し詳しく、バウンディングボックスによってマークされたいくつかのオブジェクトは、比較的に大きなサイズを有し得るが、他のオブジェクトはそうではない可能性があるため、バウンディングボックスの中心及びサイズは、異なるスケールで表されることがある。
バウンディングボックスに対する対象（ターゲット）値でのスケール変動は、勾配（又は傾斜、ｇｒａｄｉｅｎｔ）でのスケール変動を引き起こす可能性がある。
小さな値は、より小さな勾配を有してトレーニング中に影響をあまり受けない。

いくつかのシステムにおいて、アンカーベースの検出器は、回帰の目標（ターゲット）がほとんど小さな値（例えば、約ゼロ（０））であるものを保障するのに役に立つ正規化因子の役割をするアンカーの位置及びサイズに依存し得る。
バウンディングボックスサイズのマルチモーダル分布（ｍｕｌｔｉ−ｍｏｄａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）をキャプチャー（ｃａｐｔｕｒｅ）するために、複数のサイズ及びアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）は、手作業で設計されることがある。
これに関連して、アンカーのない検出器は、それぞれの位置で単位サイズの一つのアンカーがあるアンカーベースの検出器とみなされる。
したがって、アンカーのない検出器は、異なるアンカーサイズの正規化の効果を享有できない。
一実施形態で、回帰目標の不均衡は、ステレオビジョンの原理から「ｓｏｆｔ ａｒｇｍｉｎ」（ソフトアーグミン）関数の適用を介して解決される。
これに関連して、ＯＨＳヘッドバウンディングボックスの位置を回帰し、バウンディングボックス回帰の問題点を解決するために「ｓｏｆｔ ａｒｇｍｉｎ」関数を使用することができる。
一実施形態で、回帰目標不均衡は、また絶対値の代わりにバウンディングボックスディメンションに対するログ値を回帰することによって解決され得る。

図１は、本発明の一実施形態による自律走行車両１００のナビゲーションを制御するためのシステムの概略構成を示すブロック図である。
自律走行車両１００は、陸上車両（例えば、自動車）、航空機（例えば、飛行機）又はそのようなもの（例えば、水上車両）であり得る。
本発明の実施形態は、自律走行車両のナビゲーションを制御すること以外の状況（コンテキスト）でも適用され得る。
例えば、本発明の実施形態は、拡張現実のアプリケーション（又は応用プログラム、ａｐｐｌｉｃａｔｉｏｎ）、運転者／パイロットのサポートアプリケーション、マッピングアプリケーション、及び／又は３次元オブジェクト検出を必要とする他のアプリケーションに拡張され得る。

自律走行車両１００は、１つ以上のセンサー１０２、計算システム１０４、及び１つ以上の車両制御器１０６を含み得る。
１つ以上のセンサー１０２は、測距レーザー（ｒａｎｇｉｎｇ ｌａｓｅｒ）を反射したオブジェクトに対応する複数のポイントの３次元位置を提供するように構成される１つ以上のライダーセンサーを含み得る。
ポイントの集合は、オブジェクトの３次元形状を表すポイントクラウドを形成することができる。
たとえば、１つ以上のセンサー１０２は、自律走行車両のルーフ（ｒｏｏｆ）の上に配置され得る。

計算システム１０４は、１つ以上のプロセッサ及びメモリを含み得る。
メモリは、１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサが本発明で開示した多様な演算を実行させる命令語を保存する。
一実施形態で、命令語は、１つ以上のプロセッサによってセンサー１０２からポイントクラウドデータを受信し、周辺環境を理解するためのデータを処理し、環境の理解に基づいて、自律走行車両を制御するように行わせる。

一実施形態で、計算システム１０４は、限定なしに、知覚モジュール（ｐｅｒｃｅｐｔｉｏｎ ｍｏｄｕｌｅ）１０８、推論モジュール（ｉｎｆｅｒｅｎｃｅ ｍｏｄｕｌｅ）１１０、モーションプランニングモジュール（ｍｏｔｉｏｎ ｐｌａｎｎｉｎｇ ｍｏｄｕｌｅ）１１１、及び制御モジュール（ｃｏｎｔｒｏｌ ｍｏｄｕｌｅ）１１２を含む。
多様なモジュール（１０８〜１１２）は、機能的ユニットに分離されていると仮定されるが、通常の技術者は、本発明の思想及び範囲内では、モジュールの機能が、単一のモジュールに結合又は統合されることがあるか、あるいは追加の下位モジュールに、もっと細分化されることがあるのを認識するだろう。

一実施形態で、知覚モジュール１０８は、１つ以上のセンサー１０２から自律走行車両１００をめぐる環境内のオブジェクトに対応するポイントの位置上の情報を受信し、車両にもっとも近いオブジェクトの状態を決定する。
例えば、状態情報は、オブジェクトの位置／ポジション、速度、進行方向（ｈｅａｄｉｎｇ）、方向（方位、ｏｒｉｅｎｔａｔｉｏｎ）、ヨーレート（ｙａｗ ｒａｔｅ）などを含み得る。

推論モジュール１１０は、ＯＨＳヘッドを構成する１つ以上のニューラルネットワーク（神経網、ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、例えば、１つ以上のコンボリュション（合成積）ニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）を含み得る。
ＯＨＳヘッドの１つ以上のニューラルネットワークは、センサー１０２によって提供されるポイントクラウドデータでオブジェクトの１つ以上のクラスを検出し、検出されたオブジェクトに対する出力データを生成するようにトレーニングされ得る。
例えば、出力データは、予測されたオブジェクトの分類ラベル（例えば、車両、自転車、歩行者など）、並びに検出されたオブジェクトと関連された位置、方向、及び／又はバウンディングボックス情報であり得る。

本明細書では、一例として、コンボリューションニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）が使用されると言及しているが、例えば、回帰型（ｒｅｃｕｒｒｅｎｔ）ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）、長・短期メモリ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ：ＬＳＴＭ）回帰型ニューラルネットワーク、フィードフォワードニューラルネットワーク（Ｆｅｅｄ−ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのような他の種類のニューラルネットワークがコンボリューションニューラルネットワークの代わりをしたり、コンボリューションニューラルネットワークに追加されたりして使用される。
使用されるニューラルネットワークは、異なる数のレイヤー（ｌａｙｅｒ）及びニューラルネットワークの各レイヤー内で異なる数のノードを含み得る。

一実施形態によると、推論モジュール１１０は、ＯＨＳヘッドを介して３次元オブジェクの１段（ｏｎｅ−ｓｔａｇｅ）のアンカーのない検出を行う。
これに関連して、ＯＨＳヘッドは、正解としてアンカー／バウンディングボックスの予め定義された位置及びサイズの必要性なしで、オブジェクトのホットスポットの予測を行うことにより、３次元バウンディングボックスを予測するために、入力データを一度処理するように構成される。
本明細書では、例えば、検出されたオブジェクトをマークするために使用される注釈の例としてバウンディングボックスが使用されているが、本発明の実施形態は、ボックスに限定されず、任意の２次元又は３次元のバウンディングポリゴン（ｐｏｌｙｇｏｎ）が使用され得る。

一実施形態で、推論モジュール１１０は、入力ポイントクラウドデータから特徴マップを抽出し、関心のオブジェクト（ｏｂｊｅｃｔ ｏｆ ｉｎｔｅｒｅｓｔ）に対するホットスポットに対応するものとして特徴マップのニューロンを分類するためにＯＨＳヘッドを呼び出す。
一実施形態で、ＯＨＳヘッドは、個々のホットスポット上の予測を行うことにより、オブジェクトの意味情報（例えば、オブジェクトの分類）及び位置（例えば、オブジェクトのバウンディングボックス）に対する予測を実行するように構成され得る。
個々のホットスポットからの予測は、最終的なオブジェクト検出結果を生成するために集計される。

一実施形態で、ＯＨＳヘッドは、３次元ポイントクラウド空間でオブジェクトをマークするために、識別されたオブジェクトのホットスポットに対する３次元バウンディングボックスを回帰するように構成される。
一実施形態で、ＯＨＳヘッドは、３次元バウンディングボックスの中心位置、ディメンション、及び方向を回帰する。
回帰対象（ターゲット、目標）の不均衡な問題を解決するために、生の値の代わりにソフトアーグミン（ｓｏｆｔ ａｒｇｍｉｎ）関数によって回帰が行われる。
これと関連して、実験では、特に小さいサイズの物体（例えば、自転車に乗る人及び歩行者）の場合に、ソフトアーグミン（ｓｏｆｔ ａｒｇｍｉｎ）関数は、異なるスケールの絶対値に対する回帰を防止することにより、性能を向上させることを示す。
また、１実施形態では、回帰目標の不均衡は、絶対値の代わりにバウンディングボックス次元に対するログ値を回帰することによって解決される。

一実施形態で、推論モジュール１１０によって検出されたオブジェクト上の情報は、モーションプランニングモジュール１１１に提供される。
一実施形態で、モーションプランニングモジュール１１１は、推論モジュール１１０によって検出されたオブジェクトの未来位置及び／又は移動経路の予測に基づいて自律走行車両１００のモーションプラン（ｍｏｔｉｏｎ ｐｌａｎ）を決定するように構成される。
これと関連して、モーションプランニングモジュール１１１は、オブジェクトとの衝突を避けるか、オブジェクトに接近するか、又はこれらを組み合わせるモーションプランを生成することができる。
モーションプランニングモジュール１１１は、特定のオブジェクトを避けるか、又は特定のオブジェクトに接近させるか否かは、推論モジュール１１０によって生成されたオブジェクトの分類情報に基づく。
例えば、モーションプランニングモジュール１１１は、自転車として分類されたオブジェクトを回避し、燃料ポンプに近づくようにモーションプランを生成することができる。
オブジェクトに接近するモーションプランは、オブジェクトとの衝突をまた回避することもできる。
例えば、モーションプランは、燃料ポンプに接近することはできるが、交差しない可能性はある。

一実施形態で、制御モジュール１１２は、モーションプランニングモジュール１１１によるモーションプランにしたがって自律走行車両１００を制御するための車両制御１０６へのコマンドを生成する。
１つ以上の車両制御１０６は、燃料の流れ、加速、ステアリング（ｓｔｅｅｒｉｎｇ）、制動などを制御するアクチュエータ（ａｃｔｕａｔｏｒ）又はその他の装置を限定なく含み得る。
制御モジュール１１２からのコマンドに基づいて、車両の制御１０６は、自律走行車両１００が移動、停止、又は他の所望する動作をとらせることができる。

一実施形態で、計算システム１０４は、データ通信ネットワーク１１６を通じてトレーニングシステム１１４と連結される。
データ通信ネットワーク１１６は、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）、プライベートワイドエリアネットワーク（Ｐｒｉｖａｔｅ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：Ｐｒｉｖａｔｅ ＷＡＮ）、及び／又はインターネットなどのようなパブリックワイドネットワーク（Ｐｕｂｌｉｃ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であり得る。
いくつかの実施形態では、通信ネットワークは、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）ネットワーク、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）ネットワーク、又は当業界に通常の任意のワイヤレスネットワーク／技術を含む無線キャリアネットワーク（ｗｉｒｅｌｅｓｓ ｃａｒｒｉｅｒ ｎｅｔｗｏｒｋ）（例えば、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むがこれらに限定されない）を含み得る。

トレーニングシステム１１４は、１つ以上のプロセッサとメモリを含み得る。
メモリは、１つ以上のプロセッサによって実行されるときに、１つ以上のプロセッサに３次元オブジェクトの検出のためにＯＨＳヘッドをトレーニングさせる命令語を格納することができる。
これと関連して、トレーニングシステム１１４は、１つ以上のトレーニング又はラーニングアルゴリズムを使用してＯＨＳヘッドをトレーニングさせるためのトレーニングモジュール１１８を含み得る。
一つの例としてのトレーニングの技術は、エラーの逆方向伝播（ｂａｃｋｗａｒｄｓ ｐｒｏｐａｇａｔｉｏｎ）である。
いくつかの実施形態では、トレーニングモジュール１１８は、ラベル付けされた（ｌａｂｅｌｅｄ）トレーニングデータに基づいた教師付き学習（ｓｕｐｅｒｖｉｓｅｄ ｔｒａｉｎｉｎｇ）のために構成される。

一実施形態で、トレーニングモジュール１１８は、トレーニングデータを使用してＯＨＳヘッドをトレーニングするための教師付き学習の技術を使用する。
例えば、トレーニングデータは、正解のデータを含み得る。
正解のデータは、ポイントクラウドデータ（例えば、自律走行車両１００のセンサー１０２によって記録された）、及びポイントクラウドデータ内のオブジェクト（ここで、オブジェクトはバウンディングボックスによって表される）と関連された１つ以上のラベル／注釈の表現であり得る。
１つ以上のラベルは、オブジェクトの分類情報（例えば、自動車、歩行者、自転車、信号など）、並びに位置／ポジション、方向、速度、及び加速度の情報を限定なしに提供することができる。
一実施形態で、正解のデータは、ホットスポット又は非ホットスポットとしてオブジェクトの特徴を示す特徴マップ上のニューロンと、ホットスポットのパーティション情報／空間関係の情報を識別する。
特徴マップのニューロンは、ボクセルの収集を表すことができる。
空いていないボクセル（スポットと呼ばれる）は、１つ以上のポイントを含み得る。
一実施形態によれば、オブジェクトの１つ以上の差別的な特徴に関連されたスポットのサブセットのみがホットスポットとして割り当てられる。
このような方式で、ホットスポットであるポイントを含むスパース（又は密度が稀薄な）ポイントクラウド（ｓｐａｒｓｅ ｐｏｉｎｔ ｃｌｏｕｄ）に対しても予測が達成され得る。

一実施形態で、ＯＨＳヘッドのトレーニングは、検出されたオブジェクトに対する予測を実行するためにＯＨＳヘッドに正解のデータ（例えば、ポイントクラウドデータの表現）の部分を提供することを含む。
例えば、ＯＨＳヘッドは、ポイントクラウドデータ内の検出されたオブジェクトの分類、並びに関連付けられた位置／ポジション、方向、及び／又はバウンディングボックスの情報に対する予測を出力することができる。
予測結果は、予測をニューラルネットワークが予測のために試みた正解のデータと比較する損失関数を適用又は計算するために、トレーニングモジュール１１８によって使用される。
トレーニングモジュール１１８は、例えば、ＯＨＳヘッドを構成するニューラルネットワークと関連された１つ以上の重みを修正することにより、ＯＨＳヘッドをトレーニングするように、ＯＨＳヘッドを介して損失関数を逆伝播するように構成される。

正解のデータを入力して損失関数を決定し、損失関数を逆伝播するプロセスは、収束が達成されるまで、異なるトレーニングデータで複数回繰り返されることがあり、収束が達成される位置で瞬間ＯＨＳヘッドはトレーニングされたものとみなされる。

通常の技術者が理解できるように、トレーニング中にポイントをローカル化（局所化）させることは、損失が大きくなる。
一実施形態で、空間的関係のエンコーディングは、３次元情報を正確かつ効率的に得るために、ホットスポットの間の相対的な空間情報を学習するために使用される。
これと関連して、トレーニングモジュール１１８は、オブジェクト（又はそれの対応するバウンディングボックス）をパーティション（例えば、象限）に分割する空間関係エンコーダーを含む。
一実施形態で、ホットスポットが位置することができるパーティションに対して予測が行われる。
従って、予測されたパーティションに関連されたより小さな領域は、より大きな領域を検索する代わりに、ホットスポットをローカル化するために検索される。
このような方式で、空間的関係のエンコーディングは、ＯＨＳヘッドの収束を促進するのに役立つことができる。

図２は、本発明の多様な実施形態によるトレーニングモジュール１１８によるホットスポットの選択、及び割り当ての配置図である。
図２の例示では、正解（注釈がある）のバウンディングボックス（ｂ）２００は、特定のオブジェクト（たとえば、自動車）からのポイントクラウド２０２を含む。
注釈は、オブジェクトの位置を示すために、次のようにバウンディングボックス（ｂ）２００を定義することができる。
つまり、ｂ＝［ｋ、ｘ、ｙ、ｚ、ｌ、ｗ、ｈ、ｒ］、ここで、ｋは、オブジェクトのカテゴリインデックスであり、（ｘ、ｙ、ｚ）はボックスの中心であり、（ｌ、ｗ、ｈ）はボックスの次元であり、ｒはライダーの座標で半径のｚ軸を中心とした回帰角である。

いくつかの状況において、ラベリングエラーにより、バウンダリー（又は境界）ポイントは、オブジェクトと背景との間の紛らわしい領域にあり得、最終的回帰に寄与しない可能性がある。
一つの実施形態で、有効なボックス（ｅｆｆｅｃｔｉｖｅ ｂｏｘ）は、［ｘ，ｙ，ｚ，

，

，

，ｒ］として定義され、有効ボックス内のポイントは、すべて信頼度の高いホットスポットとみなされる。一つの実施例では、有効なボックス外の無視ボックス（ｉｇｎｏｒｉｎｇ ｂｏｘ）［ｘ，ｙ，ｚ，

，

，

，ｒ］は、オブジェクトと背景との間のソフトバウンダリーとして定義される。
一実施形態で、

及び

は、有効領域及び無視領域を制御する割合であり、ここで

である。
一実施形態で、有効なボックスの外部にあるが、無視ボックスの内部にあるポイントは、トレーニング中に逆伝播を実行するのに使用されていないことがあり得る。
無視ボックスの外部にあるポイントは、非ホットスポットと見なされる。

一実施形態によれば、ホットスポットとして選択されたスポットは、次の３つのプロパティ（ｐｒｏｐｅｒｔｙ）を満たすことを目的とする。
つまり、
１）区別される特徴をキャプチャーするために、オブジェクトの区別可能な部分を構成し、
２）同じカテゴリのオブジェクトの中で共有されて同じカテゴリから共通の特徴が学習され、そして、
３）少ない数のポイント（又は遮断されたポイント）を有するオブジェクトを検出できるように個数が限定されているが、意味情報とローカル化を予測するための十分な情報を含む。
これと関連して、ホットスポットは、直接方法論（ｄｉｒｅｃｔ ｍｅｔｈｏｄｏｌｏｇｙ）又は密度方法論（ｄｅｎｓｅ ｍｅｔｈｏｄｏｌｏｇｙ）を使用してトレーニング中に選択されて割り当てられる。

直接方法論において、オブジェクトの中心から閾値の距離内にあるオブジェクト２０２と関連付けられたポイント（スポット）を含むボクセル（２０４、２０６、２０８）が識別され得る。
識別されたボクセルの予め設定され個数が選択され得、バックボーンネットワーク（ｂａｃｋｂｏｎｅ ｎｅｔｗｏｒｋ）の出力特性マップ上のニューロンの対応する位置に投影される。
次に、対応するニューロンは、ホットスポットとして指定され得、ポジティブラベル（ｐｏｓｉｔｉｖｅ ｌａｂｅｌ）を割り当てられる。
一実施形態ででは、オブジェクトの中心に最も近いＭ個のスポットは、ホットスポットとして選択され、ここで、Ｍは、オブジェクトの体積に基づいて変更することができる。
本発明の実施形態は、ホットスポットを選択するための他の方法論に拡張することができ、ここに開示された方法論に限らない。

密度方法論において、いかなるポイントも含まない空きのボクセルを含むバウンディングボックス２００と関連されたすべてのボクセル２１０は、特徴マップ上のニューロンの対応する位置に投影され、対応するニューロンは、ホットスポットとして指定される。
バウンディングボックスのバウンダリー周辺のボクセルは、無視され得る。

より具体的には、オブジェクト上の空いていないボクセル（スポット）のサブセットをホットスポットとして選択する直接方法論と関連して、より具体的に出力の特徴マップのニューロンに対応するボクセルは、Ｖ_ｎとして表記され得、ここで、ｎは、ニューロンをインデックス化（索引化）する。
一実施形態で、注釈は、どの部分が区別されるか否かを示さないが、正解のバウンディングボックス（Ｂ_ｇｔ）（例えば、バウンディングボックス２００）から推論され得る。
正解のバウンディングボックス（Ｂ_ｇｔ）の内部にある場合は、Ｖ_ｎは、オブジェクトの内部のボクセルであると仮定される。
なお、Ｖ_ｎが空いていなく、バウンディングボックス（Ｂ_ｇｔ）の内部にある場合は、スポットと見なされる。
一実施形態で、オブジェクトの中心に最も近いスポットは２つの動機に基づいて、ホットスポットとして選択される。
つまり、
１）オブジェクトの中心にもっと近いポイントは、大部分のオブジェクトで出現する可能性が高い反面、側面にあるポイントは、視野角が変更される場合に消える可能性が大きく、そして、
２）オブジェクトの中心にもっと近い位置は、より正確なローカライゼーションを提供する傾向がある。

一実施形態で、多くてもＭ個の最寄りのスポットが、各オブジェクトでホットスポットとして選択され、ここで、Ｍは適応型の数（ａｄａｐｔｉｖｅ ｎｕｍｂｅｒ）である。
一実施形態で、Ｍ＝Ｃ／Ｖｏｌであり、ここで、Ｃは、ユーザーによって調整されるハイパーパラメータであり、Ｖｏｌはバウンディングボックスの体積である。
より大きな体積のオブジェクトは、より多くのポイント及び豊富な特徴を有する傾向があるため、本発明による一実施形態は、より大きなオブジェクトでホットスポットの数をもっと抑制するために適応型Ｍを使用する。
一実施形態で、オブジェクトのスポットの数がＭ未満であれば、すべてのスポットがホットスポットとして割り当てられる。

図３は、一つの実施例にしたがって１段のアンカーフリー（ａｎｃｈｏｒ−ｆｒｅｅ）の３次元オブジェクトの検出のためのＯＨＳ（Ｏｂｊｅｃｔ−ａｓ−Ｈｏｔｓｐｏｔ）ヘッドをトレーニングするためのプロセスの概念的配置である。
一実施形態で、１つ以上のセンサー１０２からのポイントクラウドデータ２００は、セル（例えば、立方体形状のボクセル２０２）の格子に変換／ボクセル化されることがあり、バックボーンネットワーク２０４に伝達される。
特定のセル／ボクセルは、ポイントクラウドデータのゼロ（０）個又はそれ以上のポイントを含み得る。
いくつかの実施形態では、ポイントクラウドをボクセル化する段階はバイパスされることがあり、ポイントをボクセル化せずに、オブジェクト検出を実行するために、生のポイントクラウドデータが使用される。

例えば、バックボーンネットワーク２０４は、推論モジュール１１０によってホストされる（ｈｏｓｔｅｄ）３次元コンボリューションニューラルネットワークであり得る。
バックボーンネットワーク２０４の１つ以上のレイヤーは、ポイントクラウドデータの多様な特徴を抽出するために呼び出される。
抽出された特徴にマッピングされる１つ以上のニューロンを有する１つ以上の出力の特徴マップは、バックボーンネットワーク２０４によって出力される。
一実施形態では、出力の特徴マップは、鳥瞰図（Ｂｉｒｄ’ｓ Ｅｙｅ Ｖｉｅｗ、ＢＥＶ）に縮小される。
一実施形態では、１つ以上のボクセルの位置は、特定の出力特徴マップのニューロンの対応する位置に投影される。

一実施形態で、１つ以上の出力の特徴マップは、ホットスポットの分類、３次元ボックス回帰、及び空間的関係のエンコーディングのための１つ以上のコンボリューションレイヤーを提供する、共有されたコンボリューションネットワーク２０６に提供される。
これと関連して、共有されたコンボリューションネットワーク２０６は、ホットスポットの分類のためのホットスポット分類のサブネット２０８、３次元ボックス回帰のためのボックス回帰サブネット２１０、及び空間的関係のエンコーディングのための空間的関係のエンコーダーサブネット２１２を含み得る。
共有されたコンボリューションネットワーク２０６は、多様なサブネット（２０８〜２１２）と共にＯＨＳヘッドと呼ばれる。
ＯＨＳヘッドは、管理をガイドし、予測された３次元バウンディングボックスを生成することができる。
一実施形態で、ＯＨＳヘッドは、推論モジュール１１０及び／又はトレーニングモジュール１１８によってホストされ得る。

一実施形態で、ホットスポット分類のサブネット２０８は、出力の特徴マップのニューロンに対するオブジェクトクラスカテゴリの可能性を予測する。
一つの例では、ホットスポット分類のサブネット２０８は、オブジェクトの特定のクラスに対して出力の特徴マップのニューロンをホットスポットとして分類するか、又は非ホットスポット（ホットスポットではないもの）として分類するバイナリ分類器である。
一実施形態によれば、分類サブネット２０８は、Ｋヒートマップ（ｈｅａｔｍａｐ）を有するコンボリューションレイヤーの形態を取ることができ、ここで、特定のヒートマップは、オブジェクトの特定のカテゴリ／クラス（例えば、自動車、歩行者、自転車、信号など）に対応する。
オブジェクトの特定のクラスに対するホットスポットは、「１」としてラベル付けされ、一方、非ホットスポットである対象（ターゲット）は、「０」としてラベル付けされる。

一つの実施例で、ホットスポット分類のサブネット２０８は、正解のバウンディングボックスの内部の非ホットスポットに対する勾配が０（ゼロ）に設定されるように勾配マスク２１４を適用する。こうなると、トレーニング中に非ホットスポットは無視され、逆伝播に寄与しない可能性がある。勾配マスク２１４は、信頼度の閾値レベルを有する、予測されたホットスポットを出力することができる。一つの実施例では、ホットスポットの予測が閾値の信頼度を満たしている場合（例えば、以上又は同一の場合）、特徴マップ上のニューロンは、ホットスポットとして識別される。

一実施形態で、ホットスポット分類のサブネット２０８は、ホットスポット及び非ホットスポットに対するバイナリ分類を行う。
例えば、焦点損失関数（ｆｏｃａｌ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）のような分類の損失関数は、分類末尾に適用され、したがって、

で、ここで

であり、ここでｐは出力確率で、Ｋはオブジェクトカテゴリの数である。

一実施形態で、総分類損失は、ホットスポット及び非ホットスポットの総個数に対して平均化される（正解のバウンディングボックスにおいて、非ホットスポットを除く）。

ボックス回帰のサブネット２１０は、予測されたホットスポット２１５に基づいて、３次元バウンディングボックス２１８を予測するためのバウンディングボックス回帰２１６に参加するように構成される。
一実施形態で、ボックス回帰のサブネット２１０は、予測されたホットスポットに対応する出力の特徴マップのニューロンの位置、ディメンション、及び方向を回帰する。
回帰されたデータは、３次元ポイントクラウド２００空間で検出されたオブジェクトをマークするためにバウンディングボックス２００を生成するために使用される。

一実施形態で、バウンディングボックスの回帰は、ホットスポットに対してのみ実行されることがある。
これと関連して、特定のホットスポットについて、８次元ベクトル［ｄ_ｘ，ｄ_ｙ，ｚ，ｌｏｇ（ｌ），ｌｏｇ（ｗ），ｌｏｇ（ｈ），ｃｏｓ（ｒ），ｓｉｎ（ｒ）］は、位置、ディメンション、及び方向に関連されたパラメータと共にポイントクラウド２００空間で検出されたオブジェクトを示すために回帰される。
パラメータ（ｄ_ｘ、ｄ_ｙ）は、オブジェクトの中心（ｃｅｎｔｒｏｉｄ）に対する特徴マップ上でホットスポットの軸整列偏差（ｄｅｖｉａｔｉｏｎ）であり得る。
鳥瞰図（ＢＥＶ）で入力ポイントクラウドの区間２００のホットスポットボクセルの中心は、次のように求められる。
つまり、

、ここで、ｉ、ｊは、サイズがＷ×Ｌである特性マップ上の対応するニューロンの空間インデックスであり、［ｘ_ｍｉｎ、ｘ_ｍａｘ］、［ｙ_ｍｉｎ、ｙ_ｍａｘ］は、ポイントがボクセル化になる場合に、ｘ、ｙの範囲である。

上述したように、アンカーのない検出器は、回帰目標（ターゲット）の不均衡のことから困難に直面する。
このような回帰目標の不均衡は、目標を慎重に設計することで解決される。
一実施形態で、対数関数が絶対値を縮小するため、元の値を代わりにしてｌｏｇ（ｌ）、ｌｏｇ（ｗ）、ｌｏｇ（ｈ）が回帰される。
さらに、ｃｏｓ（ｒ）、ｓｉｎ（ｒ）は、元の角度値［−π、π］の範囲の代わりに［−１、１］の範囲に限定されるため、絶対値ｒの代わりに、ｃｏｓ（ｒ）、ｓｉｎ（ｒ）が回帰される。
なお、ソフトアーグミン（ｓｏｆｔ ａｒｇｍｉｎ）関数は、ｄ_ｘ、ｄ_ｙ、及びｚにより表示されるホットスポットの回帰位置を助けるために使用される。
ソフトアーグミン（ｓｏｆｔ ａｒｇｍｉｎ）関数によって、範囲がａからｂまでに至るセグメント（ｓｅｇｍｅｎｔ）でポイントの位置を回帰するには、セグメントは、それぞれのビン（ｂｉｎ）が「（ｂ−ａ）／Ｎ」である長さを占めるＮ個のビン（ｂｉｎ）に分割される。
目標位置は、

として表現され、Ｓ_ｉは、ｉ番目のビンのソフトマックス（ｓｏｆｔｍａｘ）スコア（点数、ｓｃｏｒｅ）を示し、Ｃ_ｉは、ｉ番目のビン（ｂｉｎ）の中心位置を示す。
ソフトアーグミン（Ｓｏｆｔ ａｒｇｍｉｎ）関数は、絶対値回帰を避ける分類の問題に回帰を転換することにより、回帰目標の不均衡を解決することができる。
一実施形態で、ａ、ｂの選択は、それらが目標値の範囲を含む限り、アプローチの性能に影響を与えない。

一実施形態で、例えば、平坦なＬ１損失（ｓｍｏｏｔｈ Ｌ１ ｌｏｓｓ）のような回帰損失関数は、バウンディングボックスの目標を回帰するために、次のように採択される。つまり、

一実施形態で、回帰損失は、ホットスポットと関連された位置を予測するようにネットワークをトレーニングさせるために計算される。

一実施形態で、空間的関係のエンコーダーサブネット２１２は、トレーニング中にホットスポットの相対的な空間関係性を学習するために呼び出される。
トレーニングに使用される正解のデータ２２２は、ホットスポット間の相対的な空間情報を暗黙的に提供することができる。
したがって、空間的関係のエンコーディングは、ホットスポット間の固有な（内在する）空間的関係を強化することができる。

これに関連して、ＯＨＳヘッドによって予測されたホットスポットからオブジェクトの中心までの軸整列偏差（ｄｘ、ｄｙ）は、オブジェクトの方向に応じて異なることができ、したがって、ホットスポットとオブジェクトの中心との間の固有な関係を示していない可能性がある。
一実施形態で、ＯＨＳヘッドは、ホットスポットの大略的な（ｃｏａｒｓｅ）推定のためのスーパービジョン信号を通じて、固有で不変なオブジェクト・部分（ｏｂｊｅｃｔ−ｐａｒｔ）の関係を学習するようにトレーニングされる。
これに関連して、自律走行のコンテキストでは、１つ以上の目標オブジェクトは、堅いオブジェクト（例えば、自動車）と見なされ、したがって、オブジェクトの中心に対するホットスポットの相対的な位置は変更されない可能性があり、相対的な位置はバウンディングボックスの中心及び方向の助けによって決定される。

一実施形態で、オブジェクトの中心に対する相対的なホットスポットの位置（鳥瞰図で）は、パーティションを示すベクトルに分類される。
一実施形態で、ホットスポットの空間的関係のエンコーダーサブネット２１２は、バイナリクロスエントロピー損失（ｂｉｎａｒｙ ｃｒｏｓｓ−ｅｎｔｒｏｐｙ ｌｏｓｓ）でトレーニングされる。
一実施形態で、パーティションの損失は、次のようにホットスポットについてのみ計算される。つまり、

ここで、ｉは、パーティションをインデックスし、ｑ_ｉは、対象（ターゲット）であり、ｐ_ｉは、特定のパーティションに属する予測された尤度を示す。

また、ＯＨＳヘッドのトレーニングは、ホットスポットの選択及び割り当て２２４を含み得る。
一実施形態で、ポイント／ボクセルは、オブジェクトの中心までの距離に対する決定に基づいて、ホットスポットとして選択されて割り当てられる。
一実施形態で、オブジェクトを表すために選択されたホットスポットの数は、オブジェクトの体積に依存して異なり得る。

一実施形態で、トレーニングモジュール１１８は、次のように分類、回帰、及びパーティションの損失の加重された総計として、総損失を計算するように構成される。
つまり、

ここで、δ、β、及びζは、それぞれ分類、回帰、及びパーティションの損失のバランスのための重みである。

一実施形態で、総損失は、ＯＨＳヘッドをトレーニングするために使用される。
これに関連して、総損失は、例えば、ＯＨＳヘッドを示すニューラルネットワークと関連された１つ以上の重みを修正するためにＯＨＳヘッドを介して逆伝播され得る。
一度トレーニングされると、ＯＨＳヘッドは、入力ポイントクラウド内のオブジェクトの特定のクラスに対応する予測されたホットスポットに対し予測された３次元バウンディングボックスを生成するために使用され得る。
予測に基づいて、図１の車両１００のような自律走行車が制御される。

推論のプロセスにおいて、オブジェクトクラスに対応するＫ分類ヒートマップのＫ次元のベクトルは、ベクトルの最大の信頼値を識別するために評価され得る。
一実施形態で、特定のオブジェクトクラスに対する識別された値が閾値を満たしている場合（例えば、以上又は同一の場合）、対応する位置は、関連されたオブジェクトインスタンス（ｉｎｓｔａｎｃｅ）に対するホットスポットとみなされる。
予測されたバウンディングボックスは、ｂ＝［ｄｘ、ｄｙ、ｚ、ｌ、ｗ、ｈ、ｃｏｓ（ｒ）、ｓｉｎ（ｒ）］に基づいて識別されたホットスポットに対して回帰され得、これは正規（ｃａｎｏｎｉｃａｌ）表現［ｘ、ｙ、ｚ、ｌ、ｗ、ｈ、ｒ］にマッピングされ、元のポイントクラウド空間に投影される。
一実施形態で、識別されたホットスポットと関連付けられたオブジェクトのラベルは、投影されたバウンディングボックスと関連して、獲得・出力される。

オブジェクトインスタンスは、与えられた閾値を超える複数の予測されたホットスポットを有し得る。
一実施形態で、そのような状況は、オブジェクトに対する最も確実なホットスポットを選択するためのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｔ）の閾値を有するＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）を介して処理される。
ＩＯＵの閾値は、予測されたホットスポットに対する正解のホットスポットの重畳領域の閾値の比率を提供することができる。
ＩＯＵの閾値を満足する最も確実なホットスポットは、特定のオブジェクトのために選択される。

図４は、本発明の一実施形態によるバウンディングボックス４００を、４つのパーティション（象限（４０２ａ〜４０８ａ））に分割する空間的関係のエンコーダーサブネット（ｓｐａｔｉａｌ ｒｅｌａｔｉｏｎ ｅｎｃｏｄｅｒ ｓｕｂｎｅｔ）２１２の概念的配置図である。
鳥瞰図において、象限は、オブジェクトの方向４１０（例えば、正面を向く方向）及びそれの垂直方向４１２に基づいて、分けられる。
一実施形態で、象限は、オブジェクトの方向４１０に対して固定される。
たとえば、象限は、数字（０、１、２、３）、色（緑、青、紫、オレンジ）などを介して識別される。
一実施形態で、オブジェクトを表すポイント（例えば、ホットスポット）は、それぞれの象限（４０２ｂ〜４０８ｂ）に分類される。

図５Ａ〜図５Ｃは、本発明の単一の実施形態によるホットスポットを用いた３次元オブジェクト検出の概念的配置図である。
ホットスポット（５００〜５１６）は、１つ以上のオブジェクトのカテゴリ（例えば、自動車、歩行者、自転車、信号など）に属するオブジェクトに対して選択される。
例えば、図５Ａの例では、ホットスポット（５００〜５１４）は、歩行者としてラベル付けされたオブジェクトに割り当てられ、ホットスポット５１６は、自転車としてラベル付けされたオブジェクトに割り当てられる。
ホットスポットの割り当てに基づいて、歩行者（５１８〜５３２）、又は自転車５３４としてラベル付けされた３次元バウンディングボックスは、ＯＨＳヘッドによって検出されたホットスポットに対して回帰され得る。
図５Ｃは、割り当てられたホットスポット（５００、５０２、５０６）に対して照射／動作（ｆｉｒｅ／ａｃｔｕａｔｅ）される例としてのホットスポットを識別する。
照射されたホットスポット（５００ｂ、５０２ｂ、５１６ｂ）は、関連のオブジェクトインスタンスについての３次元情報を推論するのに使用される。

図６は、本発明の一実施形態によるＯＨＳヘッドをトレーニングするためのプロセスを説明するためのフローチャートである。
プロセスが開始され、ステップＳ６００において、トレーニングモジュール１１８は、データ記憶装置からポイントクラウド内の１つ以上のオブジェクトインスタンスの正解のデータを含むトレーニングデータを回収（ｒｅｔｒｉｅｖｅ）する。
たとえば、特定のオブジェクトインスタンスに対する正解のデータは、オブジェクトインスタンスに対するバウンディングボックスの情報を含み得る。
バウンディングボックスの情報は、限定なしでオブジェクトインスタンスが属するオブジェクトのカテゴリ、並びにバウンディングボックスの位置、ディメンション、及び方向を含み得る。

ステップＳ６０２において、特定のバウンディングボックスの１つ以上のポイント／ボクセルをホットスポットとして割り当てる。
一実施形態で、バウンディングボックス内の空いていないボクセルの集合は、対応する特徴マップのニューロンの対応する位置に投影され、その次にニューロンには、ホットスポットのポジティブ（ｐｏｓｉｔｉｖｅ）ラベルを与える。
いくつかの実施形態で、空いていないボクセルだけを選択する代わりに、バウンディングボックスの空きボクセル及び空きでないボクセルのすべてがホットスポットとして指定されるように選択する。

ステップＳ６０４において、適切な特徴抽出後に、ホットスポット分類のサブネット２０８は、出力の特徴マップの１つ以上のニューロンをホットスポットとして分類するために呼び出す。
これと関連して、ホットスポットと予測されるニューロンは、「１」としてラベル付けし、ホットスポットと予測されていないニューロンは「０」としてラベル付けする。
一実施形態で、予測に対する信頼値が生成され、閾値信頼レベルを満たしているホットスポットと予測されるニューロンがホットスポットとして分類される。
その後に、分類損失を計算し、ここで総分類損失は、ホットスポットと非ホットスポットの総数（正解のバウンディングボックスの内の非ホットスポットを除く）に対して平均化する。

ステップＳ６０６において、ボックス回帰のサブネット２１０は、分類されたホットスポットに対するバウンディングボックスを回帰するために呼び出す。
これと関連して、８次元ベクトル［ｄ_ｘ、ｄ_ｙ、ｚ、ｌｏｇ（ｌ）、ｌｏｇ（ｗ）、ｌｏｇ（ｈ）、ｃｏｓ（ｒ）、ｓｉｎ（ｒ）］は、ポイントクラウド内のオブジェクトインスタンスを示すために回帰される。
これと関連して、多様な実施形態による３次元オブジェクトの検出がアンカーフリーであると与えられる場合、ソフトアーグミン（ｓｏｆｔ ａｒｇｍｉｎ）関数は、バウンディングボックスのｄ_ｘ、ｄ_ｙ、及びｚの座標を回帰するために活用する。
実験によると、生の値の代わりにソフトアーグミン（ｓｏｆｔ ａｒｇｍｉｎ）関数を使用するのは、回帰を異なるスケールの絶対値に対する回帰を防止する分類問題に切り替えて回帰目標の不均衡を解決することで、性能が向上されることを示す。
一実施形態で、回帰損失は、バウンディングボックスの目標を回帰するために計算する。

ステップＳ６０８において、空間的関係のエンコーダーサブネット２１２は、ホットスポットの間の相対的な空間関係性を学習するために呼び出す。
これと関連して、空間的関係のエンコーダーサブネット２１２は、識別されたホットスポットをパーティションの設定個数（ｓｅｔ ｎｕｍｂｅｒ）を表すパラメータの設定個数によって定義されるベクトルにカテゴリー化されるように構成される。
一実施形態で、パーティションの損失は、パーティションのカテゴリー化に基づいて、ホットスポットについて計算する。

ステップＳ６１０において、総損失は、計算された分類、回帰、及びパーティションの損失の加重された総計として計算する。
ステップＳ６１２において、総損失は、ＯＨＳヘッドを構成するニューラルネットワークと関連された１つ以上の重みを調整するために逆伝播する。

ステップＳ６１４において、ＯＨＳヘッドが十分にトレーニングされたか否かに対する決定を下す。
たとえば、特定の回数だけ繰り返された後、総損失が減少するのを止めた場合には、トレーニングは終了する。
もしトレーニングが終了していない場合には、手順は、例えば、追加的なトレーニングデータでトレーニングし続けるためにステップＳ６００に戻る。

図７は、本発明の一実施形態よる、３次元オブジェクトの単一のパス（ｓｉｎｇｌｅ ｐａｓｓ）のアンカーフリーの検出のためのプロセスのフローチャートである。
ステップＳ７００において、３次元空間でのポイントを含むポイントクラウドデータは、例えば、自律走行車両の上部にある１つ以上のセンサー１０２のような入力ソースから受信する。

ステップＳ７０２において、生のポイントクラウドデータ、又はデータのボクセル化されたバージョンを、例えば、ポイントクラウドデータから特徴を抽出するためのバックボーンネットワーク２０４などのような１つ以上のニューラルネットワークに提供する。
１つ以上の出力の特徴マップは、抽出された特徴に基づいて生成する。
抽出された特徴マップは、１つ以上のニューロンを含み、ここで、特定のニューロンは、１つ以上のポイント又はボクセルと関連される。

ステップＳ７０４において、共有されたコンボリューションネットワーク２０６とホットスポット分類のサブネット２０８は、ニューロンを、オブジェクトの特定のクラスに対して、ホットスポット又は非スポットに分類するために呼び出す。
これと関連して、ホットスポット分類のサブネット２０８は、抽出された特徴マップ内のニューロンがオブジェクトの多様なクラスに対するホットスポットである、確率／信頼度の値を計算する。
閾値よりも高い信頼度の値を有するニューロンは、特定のクラスと関連された特定のオブジェクトインスタンスに対するホットスポットとして分類する。
一実施形態で、特定のオブジェクトインスタンスが１つ以上のホットスポットと関連付けられている場合は、最も高い信頼度の値を有するホットスポットを、オブジェクトを表現するために選択する。

ステップＳ７０６において、バウンディングボックスは、特定のホットスポットに対して回帰する。
バウンディングボックスの回帰は、図６のステップＳ６０６でのバウンディングボックスの回帰と類似する。

ステップＳ７０８において、バウンディングボックスと関連されたオブジェクトインスタンスに対するラベル及び他のタイプの注釈データを回収する。
例えば、このようなラベル／注釈データは、オブジェクトの分類ＩＤ、バウンディングボックスの位置座標及び方向などを含み得る。

ステップＳ７１０において、回帰されたバウンディングボックスは、検出されたオブジェクトをマークするために、受信されたポイントクラウド空間に投影する。
一実施形態で、図１の車両１００のような自律走行車は、回帰されたバウンディングボックス情報に基づいて制御される。

図６及び図７の手順のステップの順序は、固定されておらず、通常の技術者によって認識される任意の所望の順序に変更され得ることが理解されるべきである。
たとえば、ステップＳ６０４〜ステップＳ６０８は、異なる順序又は並列に発生させることができる。

いくつかの実施形態において、上述した多様なモジュール（１０８〜１１２、１１８）は、１つ以上のプロセッサで実装される。
用語のプロセッサは、１つ以上のプロセッサ及び／又は１つ以上のプロセッシングコアを指すことができる。
１つ以上のプロセッサは、単一の装置でホストされるか、又は複数の装置（例えば、クラウドシステム）に分散される。
例えば、プロセッサは、特定用途向け集積回路 （Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、汎用又は特殊目的の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、グラフィックス処理装置（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）のようなプログラマブルロジック装置を含み得る。

本明細書で使用されるプロセッサでは、それぞれの機能は、その機能を実行するように構成されたハードウェア（例えば、ハードワイヤード（ｈａｒｄ−ｗｉｒｅｄ））又は非一時的記憶媒体に格納された命令語を実行するように構成された、より汎用的なハードウェア（中央処理装置のような）によって実行され得る。
プロセッサは、単一のプリント回路基板（Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ Ｂｏａｒｄ：ＰＣＢ）又は複数の相互接続されたプリント回路基板に分散されて製作され得る。
プロセッサは、他の処理回路を含み得る。
例えば、処理回路は、プリント回路基板上で相互接続された２つの処理回路であるフィールドプログラマブルゲートアレイ、及び中央処理装置を含み得る。

たとえば、本明細書で「第１」、「第２」、「第３」などの用語は、多様な要素、コンポーネント、領域、レイヤー、及び／又はセクションを説明するために使用されるが、このような要素、コンポーネント、領域、レイヤー、及び／又はセクションは、このような用語によって限定されないことと理解されるだろう。
このような用語は、他の要素、コンポーネント、領域、レイヤー又はセクションから１つの要素、コンポーネント、領域、レイヤー又はセンションを区別するために使用される。
したがって、本明細書で記述された第１の要素、コンポーネント、領域、レイヤー又はセクションは、本発明の思想及び範囲を逸脱せずに、第２の要素、コンポーネント、領域、レイヤー又はセクションと称され得る。

本明細書で使用される用語は、特定の実施形態を説明するためのものであり、本発明の概念を限定しようとする意図ではない。
また、明示的に言及されていない限り、本明細書に説明した実施形態は、相互に排他的ではない。
本明細書で説明した実施形態の様相は、一部の実装において結合される。

本明細書で使用される「実質的に」、「約」及び類似の用語は、程度を表す用語ではなく近似値の用語として使用され、これは通常の技術者によって認識される測定又は計算された値で固有な偏差を説明するためのものである。
本明細書で使用されたように、文脈上明らかに別の意味を示していると判定されない限り、単数形の「１つ」は、複数形を含むものと意図される。
本明細書で「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含む（ｃｏｍｐｒｉｓｉｎｇ）」との用語が使用される場合に、このような用語は、定められた特徴、整数、段階、動作、要素及び／又はコンポーネントの存在を明示するが、一つ以上の他の特徴、整数、段階、動作、要素、コンポーネント、及び／又はそれらのグループの追加若しくは存在を排除しない。
本明細書で使用したように、「及び／又は」という用語は、１つ以上の列挙された項目と関連付けられている任意かつすべての組み合わせを含む。
「少なくとも一つ」のような表現は、要素の全体リストを修正し、リストの個々の要素を修正しない。
なお、本発明の実施形態を説明するにあたって、「できる」の使用は、「本発明の１つ以上の実施例」を意味する。
また、「例としての」という用語は、例又は例示を指すものと意図される。本明細書で使用されているように、「使用する（ｕｓｅ）」、「使用する（ｕｓｉｎｇ）」及び「使用された（ｕｓｅｄ）」という用語は、それぞれ「活用する（ｕｔｉｌｉｚｅ）」、「活用する（ｕｔｉｌｉｚｉｎｇ）」及び「活用された（ｕｔｉｌｉｚｅｄ）」という用語と同義語としてみなされ得る。

要素又はレイヤーが、他の要素又はレイヤー「上に」、「に連結された」、「に結合された」又は「に隣接した」と言及されている場合、それは他の要素又はレイヤー「に直接に」、「に直接連結された」、「に直接結合された」又は「にすぐ隣接した」であるか、又は１つ以上の間に介在する要素又はレイヤーが存在できる。
対照的に、要素又はレイヤーが他の要素又はレイヤ−「に直接に」、「に直接連結された」、「に直接結合された」又は「にすぐ隣接した」と述べられている場合は、間に介在する要素又はレイヤーが存在しない。

本明細書で引用した任意の数値の範囲は、引用された範囲内に含まれている同じ数値精度のすべての下位の範囲を含むものと意図する。
たとえば、「１．０〜１０．０」の範囲は、言及された最小値１．０と言及された最大値１０．０との間のすべての下位の範囲を含むものであり、つまり、最小値が１．０以上であり、最大値は１０．０以下の値を有する（例えば、２．４〜７．６）。本発明に記載された任意の最大値の限定は、その中に含まれているすべてのより低い数値限定を含むものと意図し、本明細書に記載された任意の最小値の限定は、それに含まれているすべてのより高い数値限定を含むものと意図する。

本明細書では、３次元オブジェクト検出のためのシステム及び方法に関する例としての実施形態を具体的に説明・例示されたが、多くの修正及び変形が通常の技術者には明らかであろう。
したがって、本発明の原理に基づいて構成された３次元オブジェクト検出のためのシステム及び方法は、本明細書で具体的に説明されたものと異なるように実装され得ることが理解されるべきである。

１００ 自律走行車両
１０２ センサー
１０４ 計算システム
１０６ 車両制御器
１０８ 知覚モジュール
１１０ 推論モジュール
１１２ 制御モジュール
１１４ トレーニングシステム
１１６ データ通信ネットワーク
１１８ トレーニングモジュール

Claims (20)

1. コンピューティングシステムによって、入力ソースから３次元（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ：３Ｄ）空間内の第１のポイント及び第２のポイントを含むポイントクラウドデータ（ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）を受信する段階と、
   前記コンピューティングシステムによって、第１のラベルで前記第１のポイントを分類するためのニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を呼び出す段階と、
   前記コンピューティングシステムによって、前記第１のラベルで前記第１のポイントを分類することに基づくバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を回帰する（ｒｅｇｒｅｓｓｉｎｇ）段階と、
   前記コンピューティングシステムによって、前記バウンディングボックスを回帰することに基づいて、自律走行車両を制御する段階と、を有し、
   前記第１のポイントは、オブジェクトの特徴を示し、
   前記バウンディングボックスを回帰する段階は、前記バウンディングボックスの少なくとも１つの位置を予測する段階を含むことを特徴とする３次元オブジェクトの分類方法。
2. 前記受信したポイントクラウドデータを複数のボクセル（ｖｏｘｅｌ）に変換する段階をさらに有し、
   前記複数のボクセルの内、第１のボクセルは、前記第１のポイントを含み、
   前記複数のボクセルの内、第２のボクセルは、ポイントを含んでいないことを特徴とする請求項１に記載の３次元オブジェクトの分類方法。
3. 前記第２のボクセルを前記第１のラベルと異なる第２のラベルで分類する段階をさらに有し、
   前記第１のポイントを分類することは、前記第１のボクセルを前記第１のラベルで分類することを含み、
   前記バウンディングボックスを回帰することは、前記第１のボクセルに基づくことを特徴とする請求項２に記載の３次元オブジェクトの分類方法。
4. 前記第２のボクセルを前記第１のラベルで分類する段階をさらに有し、
   前記第１のポイントを分類することは、前記第１のボクセルを前記第１のラベルで分類することを含み、
   前記バウンディングボックスを回帰することは、前記第１のボクセル及び前記第２のボクセルに基づくことを特徴とする請求項２に記載の３次元オブジェクトの分類方法。
5. トレーニングデータ（ｔｒａｉｎｉｎｇ ｄａｔａ）に基づいて、前記ニューラルネットワークをトレーニングする段階をさらに有し、
   前記トレーニングデータは、前記オブジェクトに関連付けられた特定のポイントを含み、
   前記特定のポイントが前記オブジェクトの中心から閾値の距離内にあるものであると検出されることに応答して、前記特定のポイントは、前記第１のラベルに割り当てられることを特徴とする請求項１に記載の３次元オブジェクトの分類方法。
6. 前記トレーニングデータからＭ個のポイントは、前記第１のラベルに割り当てられ、
   前記Ｍは、前記オブジェクトの体積に基づいて決定されることを特徴とする請求項５に記載の３次元オブジェクトの分類方法。
7. トレーニングデータ（ｔｒａｉｎｉｎｇ ｄａｔａ）に基づいて、前記ニューラルネットワークをトレーニングする段階をさらに有し、
   前記トレーニングする段階は、前記第１のラベルに割り当てられた２つのポイントの相対的な空間情報を学習する段階を含むことを特徴とする請求項１に記載の３次元オブジェクトの分類方法。
8. 前記相対的な空間情報を学習するための段階は、前記オブジェクトに関連付けられた正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）のバウンディングボックスをパーティションに分割する段階と、
   前記オブジェクトと関連して、前記第１のラベルに割り当てられた特定のポイントを前記パーティションのいずれか１つに分類する段階と、を含むことを特徴とする請求項７に記載の３次元オブジェクトの分類方法。
9. パーティション分類損失（ｐａｒｔｉｔｉｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌｏｓｓ）を計算する段階と、
   前記パーティション分類損失に基づいて、前記ニューラルネットワークをトレーニングする段階と、をさらに有することを特徴とする請求項７に記載の３次元オブジェクトの分類方法。
10. 前記ニューラルネットワークをトレーニングする段階は、前記第１のラベルでポイントを分類することから計算された分類の損失（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌｏｓｓ）、及び前記分類されたポイントのバウンディングボックス回帰から計算された回帰損失（ｒｅｇｒｅｓｓｉｏｎ ｌｏｓｓ）に基づくことを特徴とする請求項９に記載の３次元オブジェクト分類方法。
11. 前記バウンディングボックスを回帰する段階は、前記第１のポイントと関連した位置パラメータを回帰するためのソフトアーグミン（ｓｏｆｔ ａｒｇｍｉｎ）関数を適用する段階を含むことを特徴とする請求項１に記載の３次元オブジェクトの分類方法。
12. ３次元（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ：３Ｄ）オブジェクトの分類のためのシステムであって、
    プロセッサと、
    前記プロセッサによって実行される命令語を格納するメモリと、を有し、
    前記命令語は、前記命令語が実行される場合、前記プロセッサによって、入力ソースから３次元空間内の第１のポイント及び第２のポイントを含むポイントクラウドデータ（ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）を受信し、
    第１のラベルで前記第１のポイントを分類するためのニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を呼び出し、
    前記第１のラベルで前記第１のポイントを分類することに基づいて、バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を回帰し、
    前記バウンディングボックスを回帰することに基づいて、自律走行車両を制御するように行わせ、
    前記第１のポイントは、オブジェクトの特徴を示し、
    前記バウンディングボックスを回帰することは、前記バウンディングボックスの少なくとも１つの位置を予測することを特徴とするシステム。
13. 前記命令語は、前記プロセッサによって前記受信したポイントクラウドデータを複数のボクセル（ｖｏｘｅｌ）に変換するようにさらに行わせ、
    前記複数のボクセルの内、第１のボクセルは、前記第１のポイントを含み、
    前記複数のボクセルの内、第２のボクセルは、ポイントを含んでいないことを特徴とする請求項１２に記載のシステム。
14. 前記プロセッサによって、前記第１のポイントを分類するように行わせる前記命令語は、前記プロセッサによって前記第１のラベルで前記第１のボクセルを分類するように行わせる命令語を含み、
    前記命令語は、前記プロセッサによって前記第２のボクセルを前記第１のラベルと異なる第２のラベルで分類するようにさらに行わせ、
    前記プロセッサによって前記バウンディングボックスを回帰するように行わせる前記命令語は、前記プロセッサによって前記第１のボクセルに基づいて、前記バウンディングボックスを回帰するように行わせる命令語を含むことを特徴とする請求項１３に記載のシステム。
15. 前記プロセッサによって前記第１のポイントを分類するように行わせる前記命令語は、前記プロセッサによって前記第１のラベルで前記第１のボクセルを分類するように行わせる命令語を含み、
    前記命令語は、前記プロセッサによって前記第２のボクセルを前記第１のラベルで分類するようにさらに行わせ、
    前記プロセッサによって前記バウンディングボックスを回帰するように行わせる前記命令語は、前記プロセッサによって前記第１のボクセル及び前記第２のボクセルに基づいて、前記バウンディングボックスを回帰するように行わせる命令語を含むことを特徴とする請求項１３に記載のシステム。
16. 前記命令語は、前記プロセッサによってトレーニングデータ（ｔｒａｉｎｉｎｇ ｄａｔａ）に基づいて、前記ニューラルネットワークをトレーニングするようにさらに行わせ、
    前記トレーニングデータは、前記オブジェクトと関連付けられた特定のポイントを含み、
    前記特定のポイントが前記オブジェクトの中心から閾値の距離内にあるものであると検出されることに応答して、前記特定のポイントは前記第１のラベルに割り当てられることを特徴とするシステム。
17. 前記トレーニングデータからＭ個のポイントは、前記第１のラベルに割り当てられ、
    前記Ｍは、前記オブジェクトの体積に基づいて決定されることを特徴とする請求項１６に記載のシステム。
18. 前記命令語は、前記プロセッサによってトレーニングデータ（ｔｒａｉｎｉｎｇ ｄａｔａ）に基づいて、前記ニューラルネットワークをトレーニングするように行わせ、
    前記トレーニングは、前記第１のラベルに割り当てられている２つのポイントの相対的な空間情報を学習することを含むことを特徴とする請求項１２に記載のシステム。
19. 前記プロセッサによって前記相対的な空間情報を学習するように行わせる前記命令語は、前記プロセッサによって前記オブジェクトに関連付けられた正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）のバウンディングボックスをパーティションに分割し、前記オブジェクトと関連して、前記第１のラベルに割り当てられた特定のポイントを前記パーティションのいずれか１つに分類するように行わせる命令語を含むことを特徴とする請求項１８に記載のシステム。
20. 前記命令語は、前記プロセッサがパーティションの分類損失（ｐａｒｔｉｔｉｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌｏｓｓ）を計算し、前記パーティションの分類損失に基づいて、前記ニューラルネットワークをトレーニングするようにさらに行わせることを特徴とする請求項１８に記載のシステム。
    

Images