JP2022513839A - 自律型車両のセンサデータリポジトリの検索 - Google Patents

Abstract

自律型車両のセンサデータリポジトリを検索するための、コンピュータ記憶媒体に符号化されたコンピュータプログラムを含む、方法、システム、および装置。方法のうちの１つは、センササンプルのコレクションと、各センササンプルに対して、センササンプルを埋め込みと、を維持することと、クエリセンササンプルを指定する要求を受信することであって、クエリセンササンプルは、クエリ環境領域を特徴付ける、受信することと、センササンプルのコレクションから、クエリ環境領域に類似の環境領域を特徴付ける複数の関連するセンササンプルを識別することであって、埋め込みニューラルネットワークを介してクエリセンササンプルを処理して、クエリ埋め込みを生成することと、コレクション内のセンササンプルのサブセット内のセンササンプルから、クエリ埋め込みに最も近い埋め込みを有する複数のセンササンプルを識別することと、を含む、識別することと、を含む。【選択図】図３

Description

本明細書は、自律型車両に関する。

自律型車両は、自動運転する車、船舶、および航空機を含む。自律型車両は、様々な車載センサおよびコンピュータシステムを使用して近くの物体を検出し、その検出を使用して、制御およびナビゲーションの決定を行う。

一部の自律型車両は、ニューラルネットワーク、他のタイプの機械学習モデル、またはその両方を様々な予測タスク、例えば、画像内のオブジェクト分類のために実装する車載コンピュータシステムを有する。例えば、ニューラルネットワークを使用して、車載カメラで撮像された画像が近くの車の画像である可能性が高いと判定することができる。ニューラルネットワーク、略して、ネットワークは、複数の操作の層を使用して、１つ以上の入力から１つ以上の出力を予測する機械学習モデルである。ニューラルネットワークは、通常、入力層と出力層との間に位置する１つ以上の隠れ層を含む。各層の出力は、ネットワーク内の別の層、例えば、次の隠れ層または出力層への入力として使用される。

ニューラルネットワークの各層は、層への入力に対して実行される１つ以上の変換操作を指定する。一部のニューラルネットワーク層には、ニューロンと呼ばれる操作がある。各ニューロンは１つ以上の入力を受信し、別のニューラルネットワーク層で受信される出力を生成する。多くの場合、各ニューロンは、他のニューロンから入力を受信し、各ニューロンは、１つ以上の他のニューロンに出力を提供する。

ニューラルネットワークのアーキテクチャは、ネットワークに含まれる層およびその特性、ならびにネットワークの各層のニューロンの接続方法を指定する。換言すれば、アーキテクチャは、他の層への入力としてどの層が出力を提供するか、出力がどのように提供されるかを指定する。

各層の変換操作は、変換操作を実装するソフトウェアモジュールがインストールされたコンピュータによって実行される。したがって、操作を実行するとして説明されている層は、層の変換操作を実装するコンピュータが操作を実行することを意味する。

各層は、層の一連のパラメータの現在の値を使用して１つ以上の出力を生成する。したがって、ニューラルネットワークをトレーニングすることは、入力に対する順方向パスの継続的な実行、勾配値の計算、および計算された勾配値を使用した各層のパラメータセットの現在の値の更新することを伴う。ニューラルネットワークがトレーニングされると、最終的なパラメータセットを使用して、生成システムで予測を行うことができる。

本明細書は、どのように、コンピュータシステムが、埋め込みを使用して、自律型車両から収集されたセンサデータのリポジトリを効果的に検索することができるかについて説明する。

埋め込みは、本明細書で使用される場合、環境領域を特徴付けるセンサデータのグループの数値表現である。特に、埋め込みは、埋め込み空間における数値表現、すなわち、数値の数が埋め込み空間の次元に等しい、固定数の数値の順序付けられたコレクションである。例えば、埋め込みは、浮動小数点のベクトルまたは他のタイプの数値にすることができる。一般に、埋め込み空間の次元は、所与の埋め込みによって表されるセンサデータのグループ内の数値の数よりもはるかに小さい。

本明細書に記載の主題の特定の実施形態は、以下の利点の１つ以上を実現するように実施することができる。

自律型車両または半自律型車両は、車両が環境を走行するときに車両を取り巻く環境に関するデータを収集するセンサを有する。多くの運転時間にわたり、多くの異なる自律型車両によりこれらのセンサによって収集されたデータは、後で使用するため、例えば、環境を走行する車両が遭遇したイベントを分析するユーザに向けて再生するため、または自律型車両の操作に関連し得る様々な予測を行うための機械学習モデルのトレーニングに使用するために、リポジトリに記憶することができる。例えば、記憶されたデータは、特定のタイプのオブジェクトを分類する機械学習モデルをトレーニングするために使用することができる。

しかしながら、大量のセンサデータが収集および記憶されるため、記憶されたデータを有効に活用することは難しい。特に、特定のセンササンプルが関心のある領域、つまり、関心のあるイベントが発生している領域、または特定の関心のあるオブジェクトが位置している領域を特徴付けるものとして識別されると、自律型車両の一団によって収集された大量の経験が与えられれば、他の同様のイベントまたはオブジェクトが、一団の自律型車両のうちの１つによって以前に遭遇した可能性がある。したがって、センサデータリポジトリは、同様の領域を特徴付けるセンササンプルを記憶する可能性が高い。

しかしながら、リポジトリでこれらの類似サンプルを検索することは、（１）センササンプルは高次元データであるため、多数のサンプルを検索すると、非常に大量の計算リソースを消費する、（２）センササンプルの高次元性により、どのサンプルがクエリサンプルと同様の領域を特徴付けるかを識別することが難しいとの少なくとも２つの理由で困難である。

特に、場合によっては、リポジトリは、リポジトリの検索を容易にするために、ラベルをリポジトリ内のサンプルの一部または全部に関連付けることがある。次に、センササンプルが識別されるときに、システムはリポジトリを検索して、識別されたセンササンプルと同じラベルに関連付けられている他のサンプルを表面化させることができる。しかしながら、識別されたセンササンプルがラベルのうちのいずれとも一致しないとき、例えば、センササンプルが、以前は関心がなかった新しいタイプのオブジェクトもしくは以前は関心がなかった新しいタイプのイベントを特徴付けるとき、または識別されたセンササンプルのラベルにノイズが多いとき、例えば、センササンプルがどのオブジェクトのタイプを特徴付けるかをシステムが確実に識別することができないとき、ラベルを使用する検索は効果的ではない。

一方、説明される技術であれば、クエリセンサのサンプルが既存のラベルのいずれとも一致しない場合でも、過剰な計算リソースを消費することなく、センサデータリポジトリを効果的に検索することができる。特に、埋め込みを使用して検索することにより、システムははるかに低次元のデータを検索することができる。さらに、埋め込みは対応するセンササンプルの望ましい特性を表すため、埋め込みを使用して検索することにより、類似のセンササンプルを効果的に識別することができる。

さらに、各々がセンササンプルの異なる特性または特質を反映する、各センササンプルに対して複数の異なる埋め込みをシステムは生成することができる。これにより、システムは、異なる特性に関して類似している埋め込みを表面化することができる。代替的に、対応するすべての埋め込みが、識別されたサンプルの対応する埋め込みに近いセンササンプルを検索することにより、システムは最も類似したセンササンプルをより効果的に表面化することができる。

加えて、システムは、検索エンジンインデックスのスライシングなど、様々なインデックス作成技術を使用して、検索プロセスをさらに最適化し、埋め込みを使用した検索によって達成されているすでに大幅な削減よりも、レイテンシと計算リソースの消費をさらに削減することを可能にする。

本明細書の主題の１つ以上の実施形態の詳細を、添付の図面および以下の説明に記載する。主題の他の特徴、態様、および利点は、明細書、図面、および特許請求の範囲から、明らかになるであろう。

例示的なシステムを示す図である。 リポジトリにセンササンプルを追加する例示的なプロセスのフローチャートである。 リポジトリを検索するための別の例示的なプロセスのフローチャートである。様々な図面の中の同様の参照番号および名称は、同様の要素を示す。

本明細書は、センサデータリポジトリを効果的に検索するためにトレーニングシステムがどのように埋め込みを使用することができるかについて説明する。

図１は、例示的なシステム１００を示す図である。システム１００は、トレーニングシステム１１０と車載システム１２０とを含む。

車載システム１２０は、車両１２２に物理的に搭載されている。図１の車両１２２は自動車として図示されているが、車載システム１２０は、任意の適切な車両に搭載することができる。車両１２２は、環境内をナビゲートするために完全自律型運転決定を判定および実行する完全自律型車両であり得る。車両１２２はまた、人間の運転者を支援するために予測を使用する半自律型車両であり得る。例えば、人間の運転者が別の車両と衝突しそうであることを予測が示す場合、車両１２２は、自律的にブレーキをかけることができる。

車載システム１２０は、１つ以上のセンササブシステム１３２を含む。センササブシステム１３２は、電磁放射の反射を受信する構成要素の組み合わせ、例えば、レーザ光の反射を検出するライダシステム、電波の反射を検出するレーダシステム、および可視光の反射を検出するカメラシステムを含む。

所与のセンサによって生成されたセンサデータは、反射された放射の距離、方向、および強度を示す。例えば、センサは、特定の方向に電磁放射の１つ以上のパルスを送信することができ、反射の強度と反射が受信された時間を測定することができる。距離は、パルスとそれに対応する反射の間にかかった時間を判定することによって計算することができる。センサは、角度、方位角、またはその両方で特定の空間を継続的に掃引することができる。例えば、方位角での掃引は、センサが同じ視線に沿った複数のオブジェクトを検出することを可能にする。

センササブシステム１３２または車両１２２の他の構成要素はまた、環境内の同じ領域の測定値として１つ以上のセンサからの１つ以上の生のセンサ測定値のグループにまとめることができる。センサ測定値のグループは、キャプチャされているセンサ測定値の種類に応じて、様々な方法のいずれかで表すことができる。例えば、生のレーザセンサ測定値の各グループは、３次元の点群として表すことができ、各点が強度と位置を有する。いくつかの実装態様では、位置は範囲と標高のペアとして表される。カメラセンサ測定値の各グループは、画像パッチ、例えば、ＲＧＢ画像パッチとして表すことができる。

１つ以上の生のセンサ測定値のグループが環境内の特定の領域の測定値として分類されると、センササブシステム１３２または車両１２２の他の構成要素は、車両を測定するセンサ測定値からセンササンプル１５５を生成する。例えば、センササンプルには、環境の領域のカメラセンサによってキャプチャされた画像のパッチ、環境の領域に対応するレーザセンサの１つ以上によって生成された点群データ、または１つ以上の投影の一部、例えば、環境の領域に対応するレーザセンサの１つ以上によってキャプチャされたセンサデータのトップダウンビューまたはパースペクティブビューからの投影のうちの１つ以上を含むことができる。

センササブシステム１３２または他の構成要素は、センササンプル１５５を車載予測サブシステム１３４に提供する。車載予測サブシステム１３４は、センササンプル１５５内のデータの一部または全部を使用して、１つ以上の予測１６５を生成する。例えば、車載予測サブシステム１３４は、車両１２２の動作に関連する予測を行うために各々がセンササンプル１５５を使用する１つ以上の機械学習モデルを実装することができる。特定の例として、１つ以上の機械学習モデルは、センササンプルによって特徴付けられる領域に位置するオブジェクトを分類する分類機械学習モデルとすることができる。別の特定の例として、１つ以上の機械学習モデルは、センササンプルによって特徴付けられる領域に位置する物体の将来の軌道を予測する挙動予測機械学習モデルとすることができる。

車載分類器サブシステム１３４は、予測１６５を計画サブシステム１３６、ユーザインターフェースサブシステム１３８、またはその両方に提供することができる。

計画サブシステム１３６が予測１６５を受信するときに、計画サブシステム１３６は、予測１６５を使用して、完全自律または半自律型運転決定を行うことができる。例えば、予測が、特定のタイプの交通標識が車両の近傍にあることを示す予測を含む場合、計画サブシステム１３６は、車両１２２の軌道を調整して、交通標識の要件に準拠する、例えば、交通標識が譲れの標識であるときにブレーキをかけるように完全自律型計画を生成することができる。別の例として、計画サブシステム１３６は、交通標識の要件に準拠するために人間の運転者がブレーキをかけるための半自律型忠告を生成することができる。

ユーザインターフェースサブシステム１３８は、予測１６５を受信することができ、予測１６５に基づいてユーザインターフェース提示、例えば、車両の速度が交通標識の要件を超えているという、車両１２２の操作者に対する警告、または別の車両が占有している空間の領域の表現を含む画像もしくはビデオデータを有するユーザインターフェース提示を生成することができる。次に、車載表示デバイスは、車両１２２の乗員による視認のためのユーザインターフェース提示を表示することができる。

車載分類器サブシステム１３４はまた、センサデータ１５５を使用して、例えば、予測を行うための様々な機械学習モデルをトレーニングする際に使用するために、トレーニングシステム１１０に送信されるログデータ１２７を生成することができる。車載システム１２０は、ログデータ１２７を、例えば、それが生成されるときはいつでも継続的に、オフラインバッチまたはオンライン方式で、トレーニングシステム１１０に提供することができる。

ログデータ１２７は、車両１２２の動作中に生成されたセンサデータサンプルを含む。

トレーニングシステム１１０は、通常、１つ以上の位置に数百または数千のコンピュータを有する分散型コンピューティングシステムであり得るデータセンター１１２内でホストされる。

トレーニングシステム１１０が車両からログデータ１２７を受信するときに、トレーニングシステム１００は、ログデータ１２７をセンサデータリポジトリ１２５に記憶する。一般に、センサデータリポジトリ１２５は、多数の車両から受信したセンサデータを記憶する。すなわち、センサデータリポジトリ１２５は、多数の異なる車両の動作中にキャプチャされたセンサデータから生成されたセンササンプルを記憶する。場合によっては、センサデータリポジトリ１２５はまた、シミュレーションで生成された、すなわち、実世界環境のソフトウェアシミュレーションを介した車両ナビゲートのシミュレーションされたバージョンとして生成されたセンサデータを含むことができる。

トレーニングシステム１１０は、センサデータリポジトリ１２５内のセンササンプルから生成されたトレーニングデータを使用して予測を行うための様々な機械学習モデルをトレーニングするトレーニングサブシステム１１４を含む。

例えば、トレーニングシステム１１０は、センサデータリポジトリ１２５に記憶されたセンササンプルを使用して、機械学習モデルをトレーニングするためのトレーニング例１２３を含むトレーニングデータを生成することができる。各トレーニング例１２３は、（ｉ）センササンプルからのデータと、（ｉｉ）センササンプルの機械学習モデルによって生成されるべきグラウンドトゥルース出力を示すラベルと、を含む。次いで、トレーニングサブシステム１１４は、トレーニングデータで機械学習モデルをトレーニングして、機械学習モデルの重みのトレーニングされた値を判定することができる。トレーニングが完了した後、トレーニングシステム１１０は、完全自律または半自律型運転決定のための予測１６５を行う際に使用するために、モデル重み値の最終セットを車載システム１２０に提供することができる。トレーニングシステム１１０は、有線または無線接続によってモデル重み値の最終セットを車載システム１２０に提供することができる。

しかしながら、場合によっては、関連するセンササンプルについてセンサデータリポジトリ１２５を検索する必要があってもよい。リポジトリ１２５の検索を可能にするために、トレーニングシステム１１０は、センササンプル検索エンジン１９０を含む。

センササンプル検索エンジン１９０がセンサデータリポジトリをより効率的に検索することを可能にするために、トレーニングシステム１１０は、１つ以上の埋め込みニューラルネットワーク１８０を実装する。すなわち、トレーニングシステム１１０は、埋め込みニューラルネットワーク１８０の層の動作を実装するハードウェアを含む。

各埋め込みニューラルネットワーク１８０は、入力として、センサデータ、すなわち、センササンプル内のデータの一部または全部を受信し、出力として、センサデータの埋め込みを生成するようにトレーニングされたニューラルネットワークである。

場合によっては、トレーニングシステム１１０は、単一の埋め込みニューラルネットワーク１８０を実装する。

しかしながら、他の場合において、トレーニングシステム１００は、センササンプルの異なる部分に作用するか、センササンプルの異なる特性を反映する埋め込みを生成するか、またはその両方である複数の埋め込みニューラルネットワーク１８０を実装する。

例のように、埋め込みニューラルネットワーク１８０は、画像パッチに作用することによって埋め込みを生成する１つ以上のニューラルネットワークと、レーザセンサデータに作用する１つ以上のニューラルネットワークと、を含んでもよい。

例えば、埋め込みニューラルネットワーク１８０は、画像パッチに作用する１つ以上のディープ畳み込みニューラルネットワークを含んでもよい。特定の例では、埋め込みニューラルネットワーク１８０は、環境内のオブジェクトを異なるオブジェクトカテゴリに分類するようにトレーニングされたオブジェクト分類ニューラルネットワークの一部であってもよい。例えば、埋め込みニューラルネットワーク１８０は、トレーニングされたオブジェクト分類ニューラルネットワークの１つ以上の最終層を除くすべてを含んでもよい。したがって、この埋め込みニューラルネットワーク１８０によって生成された埋め込みは、センササンプルに描写されたオブジェクトのタイプを表す。

別の例として、埋め込みニューラルネットワーク１８０は、レーザセンサ、例えば、ライダセンサによって生成された点群データに作用する１つ以上の畳み込みニューラルネットワークを含んでもよい。これらの畳み込みニューラルネットワークの各々は、点群データのあるタイプのアノテーション、例えば、オブジェクトタイプ、オブジェクトサイズ、オブジェクト軌道を予測するようにトレーニングされるニューラルネットワークの初期層とすることができる。点群データに作用する畳み込みニューラルネットワークの例は、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１９１０．０６５２８において入手可能な、Ｙｉｎ Ｚｈｏｕらの「Ｅｎｄ－ｔｏ－Ｅｎｄ Ｍｕｌｔｉ－Ｖｉｅｗ Ｆｕｓｉｏｎ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ ＬｉＤＡＲ Ｐｏｉｎｔ Ｃｌｏｕｄｓ」に記載されている。このような畳み込みニューラルネットワークの別の例は、Ｙ． ＺｈｏｕおよびＯ． Ｔｕｚｅｌの「Ｖｏｘｅｌｎｅｔ：Ｅｎｄ－ｔｏ－ｅｎｄ ｌｅａｒｎｉｎｇ ｆｏｒ ｐｏｉｎｔ ｃｌｏｕｄ ｂａｓｅｄ ３ｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ」（２０１８、ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、ｐａｇｅｓ ４４９０－４４９９， ２０１８年６月）に記載されている。

異なるタイプのアノテーションを予測するようにトレーニングされたこれらのニューラルネットワークの複数のものが埋め込みニューラルネットワーク１８０のセットに含まれるときに、所与のセンササンプルに対する結果として生じる埋め込みのセットは、各々がセンササンプルの異なる特性を反映する複数の異なる埋め込みを含む。場合によっては、単一のニューラルネットワークをトレーニングして、同じセンササンプルに対する複数の異なるタイプのアノテーションを予測することができる。このような場合、そのニューラルネットワークによって生成される埋め込みは、複数の異なる特性、例えば、色およびオブジェクトタイプ、または速度および方位を反映する。

したがって、一般に、所与のセンササンプルに対して様々な埋め込みニューラルネットワーク１８０によって生成された埋め込みは、各々サンプルの特定の特性を表すことができる。例示的な特性のセットは、サンプルの高レベルのオブジェクトタイプ、きめ細かいオブジェクトタイプ、オブジェクトの速度、およびオブジェクトの色の１つ以上を含む。したがって、一例では、センササンプルに対する埋め込みのセットは、きめの細かいオブジェクトタイプを表す１つの埋め込みと、オブジェクトの速度を表す別の埋め込みとを含むであろう。

新しいセンササンプルが受信されるときに、検索エンジン１９０は、埋め込みニューラルネットワーク１８０を使用して新しいセンササンプルを処理して、各新しいセンササンプルの埋め込みを生成する。次に、検索エンジン１９０は、リポジトリ内の各センササンプルをセンササンプルの対応する埋め込みに関連付けるデータを記憶する。

リポジトリを検索するための要求が受信されるときに、検索エンジン１９０は、埋め込みニューラルネットワーク１８０を使用して、要求で指定されたクエリセンササンプルのクエリ埋め込みを生成し、クエリ埋め込みを使用して、リポジトリ内の埋め込みを検索する、すなわち、高次元センササンプルを直接検索することに代えて、この検索を行う。

特に、検索エンジン１９０は、各センササンプルをセンササンプルに対する埋め込みに関連付ける検索インデックスを維持することができる。

いくつかの実装態様では、検索エンジン１９０は、異なるタイプの埋め込みの各々に対してインデックスをスライスする。換言すれば、所与のタイプの埋め込みに対して、すなわち、所与の埋め込みニューラルネットワーク１８０によって生成された埋め込みに対して、検索エンジン１９０は、埋め込みの複数のスライスを生成し、そのタイプの各埋め込みは、生成されたスライスの正確に１つに属する。

これらの実装態様では、所与のタイプの所与のクエリ埋め込みに対するインデックスを検索するために、検索エンジン１９０は、最初にクエリ埋め込みに一致するそのタイプの埋め込みのスライスを識別し、次いでスライス内の埋め込みを検索する。

特定の例として、検索エンジン１９０は、ｋ平均クラスタリングまたは他の教師なしクラスタリング技術を使用して、所与の埋め込みタイプの埋め込みをｋスライスにスライスすることができ、ｋスライスの各々は、ｋクラスタの１つに対応し、各スライスは、クラスタリング技術によって生成された、対応するクラスタに対する「プロトタイプ」または平均として表される。

所与のクエリ埋め込みに最も類似する所与のタイプの埋め込みを識別するために、検索エンジン１９０は、最初に、クエリ埋め込みに最も近いプロトタイプを識別することによって、クエリ埋め込みに一致するスライスを識別する。次いで、検索エンジン１９０は、スライス内を検索して、クエリ埋め込みに最も近い埋め込みを識別することができる。

図２は、センササンプルをセンサデータリポジトリに追加するための例示的なプロセス２００のフローチャートである。このプロセスは、適切にプログラムされたコンピュータシステムによって実行されるものとして説明される。便宜上、プロセス２００は、１つ以上の位置に位置する１つ以上のコンピュータのシステムによって実行されるものとして説明される。例えば、トレーニングシステム、例えば、本明細書に従って適切にプログラムされた図１のトレーニングシステム１１０は、プロセス２００を実行することができる。

システムは、自律型車両の動作中に収集されたセンサデータから生成されたセンササンプルを受信する（ステップ２１０）。

システムは、１つ以上の埋め込みニューラルネットワークの各々を使用してセンササンプルを処理して、センササンプルの１つ以上の埋め込みを生成する（ステップ２２０）。上で説明されるように、埋め込みニューラルネットワークのセットが複数のニューラルネットワークを含むときに、異なる埋め込みは、一般に、センササンプルの異なる特質または特性を表す。

システムは、センササンプルをリポジトリに追加し、センササンプルをセンササンプルの埋め込みに関連付ける（ステップ２３０）。例えば、システムは、センササンプルをセンササンプルに対する埋め込みに関連付けるシステムによって維持される検索インデックスにエントリを追加することができる。場合によっては、システムは、新しく追加された埋め込みを考慮するためにインデックスのスライスを更新する。

図３は、センササンプルのコレクションを記憶するリポジトリを検索するための例示的なプロセス３００のフローチャートである。このプロセスは、適切にプログラムされたコンピュータシステムによって実行されるものとして説明される。便宜上、プロセス３００は、１つ以上の位置に位置する１つ以上のコンピュータのシステムによって実行されるものとして説明される。例えば、トレーニングシステム、例えば、本明細書に従って適切にプログラムされた図１のトレーニングシステム１１０は、プロセス３００を実行することができる。

システムは、センサデータリポジトリを維持する（３１０）。上で説明されるように、センサデータリポジトリには、自律型車両の動作中に生成されたセンササンプルのコレクション、例えば、車両が環境を走行した際に車両によって収集されたセンサデータから生成されたサンプルを含む。

各センササンプルは、自律型車両の近傍の環境の特定の領域を特徴付け、自律型車両の１つ以上のセンサからのデータを含む。

例えば、各センササンプルは、自律型車両のセンサの１つ以上からの測定値を表すデータを含むことができ、各センサからの測定値は、同じ領域を同時に特徴付ける。特定の例として、テンソルは、自律型車両のカメラセンサおよび１つ以上のレーザセンサからの測定値を表すことができる。別の特定の例として、テンソルは、カメラセンサ、レーダセンサ、およびレーザセンサからの測定値を表すことができる。

例えば、センササンプルは、環境の領域のカメラセンサによってキャプチャされた画像のパッチと、レーザセンサの１つ以上によって生成された点群データと、任意選択的に、１つ以上の投影の一部、例えば、環境の領域に対応するレーザセンサの１つ以上によってキャプチャされたセンサデータのトップダウンビューまたはパースペクティブビューからの投影を含むことができる。

上で説明されるように、リポジトリ内の各センササンプルは、センササンプルの１つ以上の埋め込みにも関連付けられている。センササンプルの各埋め込みは、センササンプルを処理することによって埋め込みニューラルネットワークによって生成された埋め込みである。より具体的には、所与の埋め込みニューラルネットワークによって生成される各埋め込みは、埋め込みニューラルネットワークの同じトレーニングされたパラメータ値に従って生成される。つまり、システムまたは別のシステムは、各埋め込みニューラルネットワークをトレーニングしてから、パラメータ値をトレーニングされた値に固定する。

システムは、関心のある領域を特徴付けるクエリセンササンプルを識別する（ステップ３２０）。特に、システムは、環境内の関心のある領域を指定するユーザ入力または他の要求を受信することができ、関心のある領域を特徴付けるセンササンプルを識別または生成することができる。例えば、システムは、ユーザインターフェースにおける提示のために、車両のカメラセンサによって生成された車両を取り巻く環境の画像（または他のセンサによってキャプチャされた他のセンサデータの視覚的表現）を提供することができ、ユーザは、関心のある画像の領域を指定する入力を送信することができる。

システムは、１つ以上の埋め込みニューラルネットワークを使用してクエリセンササンプルを処理して、クエリセンササンプルの１つ以上のクエリ埋め込みを生成する（ステップ３３０）。場合によっては、システムは、システムによって維持されている埋め込みニューラルネットワークのセット内の埋め込みニューラルネットワークの各々を使用して、クエリセンササンプルを処理する。他の場合において、ユーザは関心のある特定のプロパティを指定してもよく、システムは、そのプロパティを反映する埋め込みを生成するセットからの埋め込みニューラルネットワークのみを使用してセンササンプルを処理することができる。特定の例として、関心のあるプロパティがオブジェクトタイプであることをクエリが指定する場合、システムは、オブジェクトの速度を反映する埋め込みを生成する埋め込みニューラルネットワークを使用してセンササンプルを処理しなくてもよい。

システムは、クエリ埋め込みを使用してセンサデータリポジトリを検索して、関連するセンササンプルを識別する（ステップ３４０）。

特に、クエリ埋め込みの各々に対して、システムは、同じ埋め込みニューラルネットワークによって生成されたセンサデータリポジトリ内の埋め込みから、埋め込み空間内のクエリ埋め込みに最も近い所定の数の埋め込みを識別することができ、センサデータリポジトリの埋め込みから、埋め込み空間内のクエリ埋め込みへの距離が閾値距離よりも近い各埋め込みを識別することができる。次に、システムは、識別された埋め込みに関連付けられたセンササンプルを関連するセンササンプルとして識別することができる。

システムは、距離測定、つまり、入力として２つの埋め込みを受信し、２つの埋め込みがどれだけ近いかを表すスコアを返す関数を使用して、ある埋め込みが別の埋め込みにどれだけ近いかを測定することができる。使用することができる距離測度の例には、コサイン類似度およびユークリッド距離を含む。

インデックスがスライスされるときに、各クエリ埋め込みに対して、システムは最初にクエリの埋め込みが属するスライスを識別し、次に、上で説明されるようにスライス内を検索して最も近い埋め込みを判定することができる。例えば、システムは、クエリ埋め込みに最も近いプロトタイプを識別することにより、クエリ埋め込みが属するスライスを識別することができる。

最初にスライスを識別し、識別されたスライス内の最も近い埋め込みの検索のみを実行することにより、システムは、リポジトリに記憶されているセンササンプルの数が非常に多い場合でも、最も近い埋め込みを識別するために必要な遅延と計算リソースの量を削減できる。

いくつかの実装態様では、複数のクエリ埋め込みがあるときに、システムは、各クエリ埋め込みに対して、つまり、所望の特質または特性の各々に対して、関連するセンササンプルを別々に識別する。例えば、システムは、上で説明されるように各クエリ埋め込みに対する関連するセンササンプルを識別し、次に、各関連センササンプルを、センササンプルを識別するために使用されるクエリ埋め込みによって反映される特質または特性に関連付けることができる。

他のいくつかの実装態様では、複数のクエリ埋め込みがあるときに、システムは、結果セットを結合して、すべてのクエリ埋め込みに関連する埋め込みを有するセンササンプルのみが返されるようにする。したがって、所望のすべての特質または特性に沿ってクエリセンササンプルと一致するセンササンプルのみが返される。

いくつかの実装態様では、システムは、関連するセンササンプルを識別する際にリポジトリ内のセンササンプルに関連付けられたラベルを利用する。例えば、センササンプルのコレクション内のセンササンプルは各々、センササンプルによって特徴付けられる環境領域に位置するオブジェクトのオブジェクトタイプ、例えば、車両、歩行者、道路標識などを識別する高レベルの分類に関連付けられ得る。このような場合、要求は、クエリの高レベル分類を指定してもよい。例えば、クエリセンサのサンプルは、ユーザがなじみのない道路標識のタイプを特徴付けることができ、自律型車両が同様の道路標識に遭遇したときに、ユーザは他のインスタンスを表面化させたいことがある。次に、システムは、例えば、クエリの高レベル分類に一致する高レベル分類を有しない、識別された関連センササンプルを破棄することによって、同じクエリの高レベル分類に関連付けられているコレクション内のセンササンプルのみを検索することができる。

関連するセンササンプルが識別されると、システムは様々な方法のいずれかで関連するセンササンプルを使用することができる。

例えば、関心のある領域が特定のクラスのオブジェクトを特徴付けるときに、システムは、関連するセンササンプルを使用して、機械学習モデルをトレーニングするためのトレーニングデータを生成し、入力センササンプルが特定のクラスに属するオブジェクトを特徴付けるかどうかを分類することができる。これは、例えば、自律型車両が特定のクラスのオブジェクトを正確に分類できることから利益を得ることがわかったが、その特定のクラスに属するオブジェクトを描画するものとしてラベル付けされたサンプルの数が不十分であるときに有用であり得る。

別の例として、関心のある領域が関心のあるイベントが発生している領域であるときに、システムは、識別されたセンササンプルの各々に対して、センササンプルの視覚的表現、任意選択的に、センササンプルの特定の時間ウィンドウ内でキャプチャされた他のセンササンプルを生成し、ユーザデバイスでの提示のための視覚的表現を提供することができる。特定の例として、システムは、各関連するセンササンプルに対して、関連するセンササンプルの指定された時間ウィンドウ内でキャプチャされた他のセンササンプルを識別し、他のセンササンプルおよび関連するセンササンプルのビデオ表現、例えば、時系列で配置された他のセンササンプルおよび関連するセンササンプルからのカメラ画像パッチを示すビデオを生成することができる。

本明細書に記載の主題および機能的動作の実施形態は、デジタル電子回路内に、有形的に具現化されたコンピュータソフトウェアもしくはファームウェア内に、本明細書に開示された構造体およびそれらの構造上の等価物を含むコンピュータハードウェア内に、またはそれらのうちの１つ以上を組み合わせて、実装することができる。本明細書に記載の主題の実施形態は、１つ以上のコンピュータプログラムとして、すなわち、データ処理装置によって実行するために、またはデータ処理装置の操作を制御するために有形の非一時的記憶媒体に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムまたはシリアルアクセスメモリデバイス、またはそれらの１つ以上の組み合わせであり得る。代替的に、またはさらに、プログラム命令は、人工的に生成された伝播信号、例えば、データ処理装置によって実行するために好適な受信装置に送信される情報を符号化するために生成される機械生成の電気、光、または電磁信号に符号化され得る。

「データ処理装置」という用語は、データ処理ハードウェアを指し、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含し、それらには、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータが含まれる。装置はまた、例えば、ＧＰＵまたは別の種類の専用処理サブシステムなどの、既製またはカスタムメイドの並列処理サブシステムであってもよく、またはそれらをさらに含んでもよい。装置はまた、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの専用論理回路であってもよく、またはそれをさらに含んでもよい。装置は、ハードウェアに加えて、コンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの１つ以上の組み合わせを構成するコードを任意選択的に含んでもよい。

プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリケーション、モジュール、ソフトウェアモジュール、スクリプト、もしくはコードとも称された、または記載されたコンピュータプログラムは、コンパイラ型もしくはインタープリタ型言語、または宣言型もしくは手続き型言語を含む、任意の形態のプログラミング言語で記述することができ、かつ独立型プログラム、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境で使用するために好適な他のユニットを含む任意の形態で展開することができる。プログラムは、ファイルシステム内のファイルに対応する場合もあるが、必ずしもそうである必要はない。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えば、マークアップ言語ドキュメントに格納された１つ以上のスクリプト、当該プログラム専用の単一ファイル、または複数の調整ファイル、例えば、１つ以上のモジュール、サブプログラム、もしくはコードの一部を格納するファイルに格納することができる。コンピュータプログラムは、１つのコンピュータまたは１つの場所に配置された複数のコンピュータ上で実行されるように展開するか、複数の場所に分散してデータ通信ネットワークで相互接続することができる。

本明細書で使用される「エンジン」または「ソフトウェアエンジン」は、入力とは異なる出力を提供するソフトウェア実装の入出力システムを指す。エンジンは、ライブラリ、プラットフォーム、ソフトウェア開発キット（「ＳＤＫ」）、または物体などの機能の符号化されたブロックであってもよい。各エンジンは、１つ以上のプロセッサとコンピュータ可読媒体を含む、サーバ、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、音楽プレーヤー、電子書籍リーダ、ラップトップもしくはデスクトップコンピュータ、ＰＤＡ、スマートフォン、または他の据え置き型もしくはポータブルデバイスなど、適切なタイプのコンピューティングデバイス上に実装することができる。さらに、２つ以上のエンジンは、同じコンピューティングデバイス上で、または異なるコンピューティングデバイス上で実装することができる。

本明細書に記載のプロセスおよび論理フローは、１つ以上のプログラマブルコンピュータが１つ以上のコンピュータプログラムを実行して、入力データ上で動作し、かつ出力を生成することで機能を果たすことによって実行することができる。プロセスおよび論理フローはまた、ＦＰＧＡもしくはＡＳＩＣなどの専用論理回路によって、または特定用途の論理回路と１つ以上のプログラムされたコンピュータとの組み合わせによって実行することができる。

コンピュータプログラムの実行に好適なコンピュータは、汎用もしくは専用のマイクロプロセッサあるいはその両方、または他の種類の中央処理装置に基づくことができる。一般に、中央処理装置は、読み取り専用メモリもしくはランダムアクセスメモリ、またはその両方から命令およびデータを受信することになる。コンピュータの本質的な要素は、命令を遂行または実行するための中央処理装置ならびに命令およびデータを記憶するための１つ以上のメモリデバイスである。中央処理装置およびメモリは、専用論理回路によって補完またはその回路に組み込むことができる。一般に、コンピュータはまた、例えば、磁気、光磁気ディスク、もしくは、光ディスクなど、データを記憶するための１つ以上の大容量記憶デバイスを含むか、または、それらからデータを転送するように動作可能に結合されることになる。しかしながら、コンピュータは必ずしもそのようなデバイスを有する必要はない。さらに、コンピュータは別のデバイス、例えば、ほんの数例を挙げると、携帯電話、電子手帳（ＰＤＡ）、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、またはポータブル記憶デバイス、例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブなどに組み込むことができる。

コンピュータプログラム命令およびデータを記憶するのに好適なコンピュータ可読媒体は、不揮発性メモリ、媒体、およびメモリデバイスのあらゆる形態を含み、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスクまたは取り外し可能ディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む。

ユーザとの対話を提供するために、本明細書に記載の主題の実施形態は、コンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するための表示デバイス、例えば、ＣＲＴ（陰極線管）もしくはＬＣＤ（液晶ディスプレイ）モニタ、ならびにキーボードおよびマウス、トラックボールなどのポインティングデバイス、またはユーザがコンピュータに入力を提供することができる存在感応ディスプレイもしくは他の表面を有する。他の種類のデバイスを使用して、ユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックは、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなどの任意の形の感覚的フィードバックであり得る。また、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信することができる。さらに、コンピュータは、ユーザが使用するデバイスとの間でドキュメントを送受信することによって、例えば、ウェブブラウザから受信した要求に応答して、ユーザのデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。また、コンピュータは、テキストメッセージまたは他の形態のメッセージをスマートフォンなどのパーソナルデバイスに送信し、メッセージアプリケーションを実行し、代わりにユーザから応答メッセージを受信することにより、ユーザと対話することができる。

本明細書は多くの特定の実装態様の詳細を含んでいるが、これらは、いずれかの発明の範囲、または請求され得る事項の範囲を限定するものとして解釈されるべきではなく、特定の発明の特定の実施形態に特有の特徴に関する説明として解釈されるべきである。別個の実施形態の文脈で本明細書に記載されている特定の特徴は、単一の実施形態で組み合わせて実装することもできる。逆に、単一の実施形態の文脈で本明細書に記載されている種々の特徴は、複数の実施形態で、別個に、または任意の好適なサブコンビネーションで実施することもできる。さらに、特徴は、特定の組み合わせで作用するものとして上記に説明され、当初はそのように特許請求されることがあるが、場合によっては、特許請求された組み合わせからの１つ以上の特徴が、その組み合わせから削除される可能性もあり、特許請求された組み合わせが、サブコンビネーションまたはサブコンビネーションの変形に向けられる可能性もある。

同様に、動作が特定の順序で図面に描写されているが、これは、所望の結果を達成するために、かかる動作がその示された特定の順序、もしくは一連の順序で実行されるべきであること、または例証したすべての動作が実行されるべきであることを要求するものとして理解されるべきではない。特定の状況では、マルチタスクおよび並列処理が有利である場合がある。さらに、上で説明される実施形態における様々なシステムモジュールおよびコンポーネントの分離は、すべての実施形態においてかかる分離を必要とするものとして理解されるべきではなく、記載されたプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品内に共に一体化されてもよく、または複数のソフトウェア製品にパッケージ化されてもよい。

主題の特定の実施形態を説明してきた。他の実装形態は、以下の特許請求の範囲内に存在する。例えば、特許請求の範囲に記載された動作は、異なる順序で実行されてもよく、依然として望ましい結果を達成することができる。一例として、添付の図に描写されたプロセスは、望ましい結果を達成するために、必ずしも示された特定の順序、または連続した順序を必要としない。特定の場合によっては、マルチタスクおよび並列処理が有利なことがある。

Claims (13)

1. センササンプルのコレクションを検索するコンピュータ実装方法であって、
   センササンプルのコレクションと、各センササンプルに対して、前記センササンプルの１つ以上の埋め込みと、を維持することであって、
   前記コレクション内の各センササンプルは、対応する車両によってキャプチャされたセンサデータから生成され、前記対応する車両の近傍の環境領域を特徴付け、
   各埋め込みは、入力センササンプルからのデータを処理して、各入力センササンプルのそれぞれの埋め込みを生成するように各々トレーニングされている１つ以上の埋め込みニューラルネットワークのセットからの埋め込みニューラルネットワークを介して、対応する前記センササンプルからのデータを処理することによって生成されている、維持することと、
   クエリセンササンプルを指定する要求を受信することであって、前記クエリセンササンプルは、クエリ環境領域を特徴付ける、受信することと、
   前記センササンプルのコレクションから、前記クエリ環境領域に類似した環境領域を特徴付ける複数の関連するセンササンプルを識別することであって、
   前記セット内の前記埋め込みニューラルネットワークのうちの１つ以上を介して、前記クエリセンササンプルを処理して、１つ以上のクエリ埋め込みを生成することと、
   前記コレクション内の前記センササンプルのサブセット内のセンササンプルから、前記クエリ埋め込みの各々に最も近い埋め込みを有する複数のセンササンプルを識別することと、を含む、識別することと、含む、方法。
2. 前記セット内の前記埋め込みニューラルネットワークの各々を使用して、前記コレクション内の各センササンプルを処理して、前記センササンプルの前記埋め込みを生成することをさらに含む、請求項１に記載の方法。
3. 前記複数の関連するセンササンプルの各々に対する視覚的表現を生成することと、
   ユーザデバイスでの提示のための前記視覚的表現を提供することと、をさらに含む、請求項１～２のいずれか一項に記載の方法。
4. 前記複数の関連するセンササンプルの各々に対する視覚的表現を生成することは、
   各関連するセンササンプルに対して、前記関連するセンササンプルの指定された時間ウィンドウ内にキャプチャされた他のセンササンプルを識別することと、
   前記他のセンササンプルおよび前記関連するセンササンプルのビデオ表現を生成することと、を含む、請求項３に記載の方法。
5. 前記関連するセンササンプルを使用して、機械学習モデルのためのトレーニングデータを生成することをさらに含む、請求項１～４のいずれか一項に記載の方法。
6. 前記クエリ環境領域は、特定のオブジェクトタイプのオブジェクトを描写するものとして識別されており、前記機械学習モデルは、前記特定のオブジェクトタイプのオブジェクトを描写するものとして、センササンプルを分類するように構成されている機械学習分類器である、請求項５に記載の方法。
7. 前記センササンプルのコレクション内の前記センササンプルは、前記センササンプルによって特徴付けられる前記環境領域に位置するオブジェクトのオブジェクトタイプを識別する高レベルの分類に各々関連付けられており、
   前記要求は、クエリの高レベルの分類を指定し、
   前記サブセットは、前記クエリの高レベル分類に関連付けられている前記コレクション内のセンササンプルのみを含む、請求項１～６のいずれか一項に記載の方法。
8. 前記コレクション内の前記センササンプルの前記埋め込みおよび前記クエリ埋め込みは、前記埋め込みニューラルネットワークのパラメータのトレーニングされた値に従って各々生成される、請求項１～７のいずれか一項に記載の方法。
9. 各センササンプルは、前記対応する車両の複数のセンサからの測定値を表し、各センサからの前記測定値は、同時に同じ領域を特徴付ける、請求項１～８のいずれか一項に記載の方法。
10. 前記クエリ埋め込みに最も近い埋め込みを有する前記複数のセンササンプルは、距離メトリックに従って前記クエリ埋め込みに最も近い前記センササンプルである、請求項１～９のいずれか一項に記載の方法。
11. 前記距離メトリックは、ユークリッド距離または余弦類似度である、請求項１０に記載の方法。
12. １つ以上のコンピュータによって実行されるときに、前記１つ以上のコンピュータに請求項１～１１のいずれか一項に記載の方法のうちのいずれか１つのそれぞれの動作を実行させる命令を記憶する、１つ以上のコンピュータ可読記憶媒体。
13. １つ以上のコンピュータと、１つ以上のコンピュータによって実行されるときに、前記１つ以上のコンピュータに請求項１～１２のいずれか一項に記載の方法のうちのいずれか１つのそれぞれの動作を実行させる命令を記憶する１つ以上の記憶デバイスと、を含む、システム。
    

Images