JP2021535476A - 異常な車両イベントを検出および記録するためのシステムおよび方法 - Google Patents

Abstract

一実施形態では、コンピューティングシステムは、人間の運転者によって動作される車両と関連付けられたコンテキストデータにアクセスする。コンテキストデータは、車両と関連付けられた１つ以上のセンサを使用して捕捉される。本システムは、いくつかの車両と関連付けられた予め記録されたコンテキストデータと関連付けられた情報に少なくとも基づいて、コンテキストデータを処理することによって１つ以上の予測される車両動作を決定する。本システムは、人間の運転者によってなされる１つ以上の車両動作を検出する。本システムは、人間の運転者によってなされる１つ以上の車両動作と１つ以上の予測される車両動作との比較に基づいて、関心イベントがコンテキストデータと関連付けられると決定する。本システムは、関心イベントと関連付けられた高解像度コンテキストデータを保存させる。

Description

現在の車両は、車両および環境を監視するための１つ以上のセンサまたは検知システムを含み得る。例えば、車両は、車両速度を測定するための速度センサを使用する場合があり、車両の場所を追跡するためにＧＰＳを使用する場合がある。１つ以上のカメラまたはＬｉＤＡＲを使用して、車両の周辺の物体を検出することができる。車両は、１つ以上のコンピューティングシステム（例えば、内蔵コンピュータ）を使用して、センサからデータを収集し得る。コンピューティングシステムは、内蔵保存空間に収集されたデータを保存するか、または無線接続を使用するクラウドにデータをアップロードし得る。

しかしながら、車両のセンサは、大量のデータを生成する可能性があり、車両のコンピューティングシステムは、すべてのデータを保存するための内蔵保存空間が限定され、データを実時間でアップロードするための接続帯域幅が限定されている可能性がある。

保存空間および無線接続帯域幅が限定されている例示的な車両システムを例示する。

人間の運転者の予測動作に基づいて関心イベントを決定するための例示的な時系列を例示する。

異常なイベントを検出および分類するための例示的なエッジコンピューティング図表を例示する。

車両の異常なイベントを検出するための例示的な状況を例示する。

他の交通エージェントの行動を予測するための例示的な状況を例示する。

関心イベントを検出し、イベントと関連付けられた高解像度データを保存する例示的な方法を例示する。

例示的なデータ収集デバイスの様々な構成要素のブロック図表を例示する。

例示的なデータ収集デバイスの正面図を例示する。

例示的なデータ収集デバイスの背面図を例示する。

乗車要求者を自律走行車両とマッチングするための輸送管理環境の例示的なブロック図表を例示する。

例示的なコンピューティングシステムを例示する。

以下の説明では、様々な実施形態を記載する。説明のために、特定の構成および詳細は、実施形態の全体的な理解を提供するために記載される。しかしながら、実施形態が特定の詳細なしに実施され得ることも、当業者には明らかであろう。さらに、記載されている実施形態を不明瞭にしないために、周知の特徴は省略または単純化される場合がある。加えて、本明細書に開示されている実施形態は、単なる例示であり、本開示の範囲は、それらに限定されない。特定の実施形態は、上記に開示されている実施形態の構成要素、要素、特徴、機能、動作、または工程のすべて、いくつかを含み得るか、またはいずれも含まない可能性がある。本発明による実施形態は、方法、記憶媒体、システム、およびコンピュータプログラム製品を対象とする添付の特許請求の範囲に特に開示されており、１つの請求項のカテゴリ、例えば、方法に記述されているいずれの特徴も、別の請求項のカテゴリ、例えば、システムにおいても同様に請求され得る。添付の特許請求の範囲の従属または参照は、形式的な理由でのみ選択される。しかしながら、任意の先の請求項（特に複数の従属）への意図的な参照から生じるいかなる主題事項も、同様に請求され得、そのため、特許請求の範囲およびその特徴の任意の組み合わせが開示され、添付の特許請求の範囲で選択される従属に関わらず、請求され得る。請求され得る主題事項は、添付の特許請求の範囲で設定される特徴の組み合わせのみならず、特許請求の範囲における特徴の任意の他の組み合わせも含み、特許請求の範囲に記述される各特徴は、特許請求の範囲の任意の他の特徴または他の特徴の組み合わせと組み合わされ得る。さらに、本明細書に記載または図示される実施形態および特徴のいずれも、個別の請求項で、かつ／または本明細書に記載もしくは図示されている任意の実施形態もしくは特徴または添付の特許請求の範囲の特徴のいずれかとの任意の組み合わせで請求され得る。

車両システムは、車両と関連付けられた任意の数のセンサ（例えば、速度センサ、操舵角センサ、制動圧センサ、ＧＰＳ、カメラ、ＬｉＤＡＲ、レーダーなど）から膨大な量のデータを収集し得る。収集されたデータは、自律走行車両の運転または人間の運転の支援のための機械学習（ＭＬ）モデルの訓練などの多くの適用で使用され得る。車両システムは、内蔵記憶装置に収集されたデータを保存するか、または無線接続を通してクラウドにデータをアップロードし得る。しかしながら、車両システムは、内蔵保存空間および無線接続帯域幅が限定されているため、収集されたすべてのデータを保存またはアップロードするのは実行不可能である。車両システムは、収集されたデータを予め処理し、処理された代表的な結果（例えば、物体リストが生成する生の画像データではなく、物体検出結果からの物体リスト）を保存またはアップロードするのみである場合があり、そのようなアプローチでは、より豊富なデータが必要とされるシナリオのために収集されるデータの量が最適以下となるだろう。例えば、通常でない状態（例えば、他の車両の異常な軌道または攻撃的な動作）または事故への対応などの異常なイベントは、車両システムの機械学習モデルが操縦を学習する必要がある重要なエッジケースを構成し得る。エッジケースについてのデータ量が最適以下であると、そのようなエッジケースを取り扱うのに十分堅牢であるように機械学習モデルを効率的に訓練するのに十分な詳細を欠く可能性がある。

保存空間および無線接続帯域幅が限定されていることによって生じる問題を解決するために、車両システムの特定の実施形態は、収集されたデータ（例えば、物体識別、圧縮など）を予め処理し、事前処理前のデータよりも小さいサイズを有し、保存空間および伝送帯域幅をより必要としない事前処理結果（例えば、識別された物体リスト、圧縮されたデータなど）を保存／アップロードし得る。より豊富なエッジケースデータセットを捕捉するために、車両システムの特定の実施形態は、エッジコンピューティングを使用して、関心イベントを実時間で検出することができ、そのようなイベントの検出時に、別様に保存／アップロードされる、より豊富な対応するデータセットを保存／アップロードする。関心イベントは、閾値による車両システムの予測（例えば、予め記録された履歴データに基づく）から逸脱する異常なイベントであり得る。より豊富なデータセットは、異常でないイベントについて保存／アップロードされたデータ（例えば、事前処理済み圧縮データ）よりも多くの詳細情報を含む高解像度データであり得る。より豊富なデータセットは、例えば、生データ、完全解像度データ、または異常でないイベントについて保存／アップロードされたデータよりも高い解像度（例えば、例えば、より高い画素、より高いサンプリングレート）でのデータであり得る。エッジ計算は、異常なイベントを検出または分類するように設計された機械学習モデルまたは／および規則ベースのアルゴリズムを使用し得る。例えば、本システムは、現在の運転データを現在の状況下で予測される運転行動（例えば、機械学習モデルを使用した）と比較し得、現在の運転データが予測と矛盾する場合に異常なイベントを識別し得る。異常なイベントが検出された場合、本システムは、検出されたイベントに関連する、より豊富なデータセットを保存／アップロードし得る。

特定の実施形態は、識別されたイベントに基づいてデータを選択的に保存およびアップロードし、識別されたイベントに関連しない他のデータを前処理することによって、保存および帯域幅リソースに対するシステム要求を低減する。例えば、車両システムは、車両システムの保存および伝送帯域幅が限定されているにもかかわらず、機械学習訓練のために異常なイベントに関連するエッジケースデータおよび通常の動作データの両方を含むデータを効率的に収集することができる。さらに、車両システムの特定の実施形態は、車両を運転するか、または人間の運転を支援するための機械学習モデルの訓練など、より豊富なエッジケースデータセットおよびその後の下流使用のためのより良好なデータ品質を提供する。例えば、収集されたエッジケースデータは、圧縮または事前処理による損失のない、検出されたイベントの高解像度データを含むことができ、したがって、機械学習モデルを訓練するためにより効率的に使用することができる。

特定の実施形態では、車両システムは、車両（例えば、速度、操舵角、制動圧など）、車両経路（例えば、軌道、場所など）、人間の運転者（例えば、眼の動作、頭の動作など）、および車両の環境（例えば、バウンディングボックスを有する識別された物体、他の車両、歩行者など）を監視するための任意の数のセンサを有し得る。車両システムは、車両のコンテキストデータを収集するための１つ以上のコンピューティングシステム（例えば、データ収集デバイス、携帯電話、タブレット、モバイルコンピュータ、高性能コンピュータ）を含み得る。特定の実施形態では、車両のコンテキストデータは、人間の運転者と関連付けられた１つ以上のパラメータ、例えば、これらに限定されないが、頭の位置、頭の動作、手の位置、手の動作、足の位置、足の動作、視線方向、視点、人間の運転者の画像、しぐさ、声などを含み得る。人間の運転と関連付けられたパラメータは、車両と関連付けられる（例えば、マイクロフォンを有する車載カメラ）か、または車両のコンピューティングシステム（例えば、データ収集デバイス、携帯電話）と関連付けられる１つ以上の運転者対面カメラおよびマイクロフォンを使用して測定され得る。

特定の実施形態、車両のコンテキストデータは、車両と関連付けられた１つ以上のパラメータ、例えば、速度、移動方向、軌道、ＧＰＳ調整、加速度（例えば、ＩＭＵ出力に基づく）、回転速度（例えば、ＩＭＵ／ジャイロスコープ出力に基づく）、制動ペダルにかかる圧力、加速ペダルにかかる圧力、ハンドルにかかる操舵力、車輪の方向、信号状況などを含み得る。車両と関連付けられたパラメータは、車両システムの１つ以上のセンサに基づいて決定され得る。特定の実施形態では、車両のコンテキストデータは、車両のナビゲーションデータ、例えば、ナビゲーションマップ、ナビゲート標的位置、経路、予定時刻、迂回路などを含み得る。特定の実施形態では、車両のコンテキストデータは、例えば、これらに限定されないが、ポイントクラウド、ビューの深度、環境の二次元プロファイル、環境の三次元プロファイル、場面の立体画、周囲物体までの相対位置（例えば、距離、角度）、道路線までの関連位置（例えば、距離、角度）、現在の環境での相対位置などを含む、カメラベースの場所データを含み得る。

特定の実施形態では、車両のコンテキストデータは、車両環境と関連付けられた１つ以上のメトリックを含み得る。環境メトリックは、例えば、これらに限定されないが、別の車両までの距離、別の車両との相対速度、歩行者までの距離、歩行者までの相対速度、交通信号の状況、交通信号までの距離、交差点までの距離、道路標識、道路標識までの距離、縁石までの距離、道路線との相対位置、車両の視野内の物体、交通状況（例えば、交通量が多い、交通量が少ない）、他の車両の軌道、他の交通エージェントの動作、他の交通エージェントの速度、他の交通エージェントの移動方向、他の車両の信号状況、他の交通エージェントの位置、他の車両の攻撃性メトリックなどを含み得る。車両の環境と関連付けられた１つ以上のメトリックは、１つ以上のカメラ、ＬｉＤＡＲシステム、レーダーシステムなどを使用して決定され得る。一例として、限定されないが、車両システムは、ナビゲーションマップに加えて、車両の場所を正確に決定するために１つ以上の道路線との車両の相対位置を追跡し得る。別の例として、車両システムは、それらの速度、移動方向、加速度、軌道、他の物体または車両までの相対距離および相対位置を追跡することによって、他の車両の攻撃性を評価し得る。

図１は、保存空間および無線接続帯域幅が限定された例示的な車両システム１００を例示する。車両システム１００は、１つ以上のプロセッサ１１０、通信モジュール１４０、保存空間が限定された内蔵記憶装置１２０（例えば、ギガバイトまたはテラバイト）、クラウド１５０への帯域幅が限定された無線接続１５２などを含み得る。車両システム１００は、車両の１つ以上のセンサ（例えば、速度センサ、操舵角センサ、制動圧センサ、ＧＰＳ、カメラ、ＬｉＤＡＲ、レーダーなど）から膨大な量のデータ１６０を収集し得る。特定の実施形態では、車両システム１００は、人間の運転者によって運転される車両のコンテキストデータを収集することができ、収集されたデータを使用して、車両を運転するための（例えば、自律走行車両の運転、または安全警告および自動制動などの人間の運転者の支援を含む）機械学習（ＭＬ）モデルを訓練し得る。機械学習モデルの訓練は、膨大な運転シナリオおよび運転状況をカバーするデータを必要とし得る。訓練は、クラウド１５２に連結された訓練システム１９０で行われ得る。収集されたデータ１６０は、保存空間１２０および伝送帯域幅１５２の限界を超えることができる。車両システム１００は、収集された生データの一部をクラウド１５０に直接保存およびアップロードして、訓練システム１９０において機械学習モデルを訓練し得る。しかしながら、保存空間および伝送帯域幅の限界に起因して、保存および／またはアップロードされ得るデータの量は、大きいサイズの生データに対して、非常に限定されており、したがって、機械学習モデルを訓練するためには十分でない可能性がある。

特定の実施形態では、車両システム１００は、非揮発性記憶装置にデータをセーブするか、または有線もしくは無線接続を介してクラウドにデータをアップロードする前に、収集されたデータを凝縮形態に予め処理することができる。一例として限定されないが、車両システム１００は、車両環境において交通エージェント（例えば、他の車両、歩行者、移動する物体）を検出するための１つ以上のエージェントモデラ（例えば、物体検出器、物体分類器）を含み得る。エージェントモデラは、１つ以上の機械学習モデル（例えば、ニューラル・ネットワーク）に基づき得る。車両システム１００は、環境の二次元（例えば、カメラに基づく）および／または三次元（例えば、ＬｉＤＡＲまたはステレオカメラに基づく）識別を使用して、交通エージェントを検出および追跡し得る（例えば、各検出された交通エージェントに対して３Ｄバウンディングボックスを置く、各交通エージェントを速度および移動方向でマークする）。車両システム１００は、生データで捕捉された情報を表す事前処理結果データ、例えば、任意の数の検出された物体を含む検出された物体リストを凝縮形態で生成し得る。リスト内の各検出された物体には、例えば、これらに限定されないが、物体プロファイル、物体画像分割、意味テキスト説明、速度、移動方向、位置などを含む、任意の数の構成要素を含み得る。検出された物体と関連付けられた情報を含むデータは、対応する生データ（例えば、物体画像）よりも小さいサイズを有し得る。車両システム１００は、検出された物体（例えば、他の車両、歩行者、移動する物体）およびそれらの関連するパラメータを含む、意味マップをさらに生成し得る。生データをセーブまたは送信する代わりに、車両システム１００は、生データよりも小さい保存空間および伝送帯域幅を必要とする事前処理結果（例えば、物体リスト、意味マップ）をセーブまたは／およびアップロードし得る。次に、事前処理結果は、機械学習モデルの訓練、統計モデルの構築、または人間による分析を受けるなど、任意の下流適用のために使用され得る。

特定の実施形態では、車両システム１００は、収集されたデータ（例えば、高解像度生画像）を１つ以上の圧縮フォーマット（例えば、ＪＰＥＧ、ＰＮＧ）に圧縮して、保存空間および伝送帯域幅に対する要件を低減し得る。特定の実施形態では、車両システム１００は、事前処理結果データをよりいっそう小さいサイズにさらに圧縮して、保存空間および伝送帯域幅に対する要件を低減することができる。車両システム１００は、非揮発性記憶装置に圧縮されたデータをセーブし得るか、または／かつ実時間またはその後にクラウドにアップロードし得る。

特定の実施形態では、車両システム１００は、事前処理データまたは／および圧縮データを使用して、機械学習モデルが車両運転を学習するように訓練することができる。事前処理データおよび圧縮データは、機械学習モデルを訓練するために有益な情報を多数保持することができるが、それらは、事前処理データまたは圧縮データよりもより高レベルの詳細を必要とし得る異常なイベント（例えば、事故、普通でない運転状態、履歴データに基づく予測から逸脱する動作など）についての十分な詳細を欠く可能性がある。異常なイベントは、機械学習モデルを訓練するための重要なエッジケースデータを含み得る。したがって、そのような万能型のアプローチ（例えば、事前処理データ、圧縮データ）では、より豊富なデータが必要とされるシナリオに対して収集されるデータの量が最適以下となる可能性がある。

特定の実施形態では、車両システムは、１つ以上のコンピューティングシステム（例えば、データ収集デバイス、高性能コンピュータ、タブレット、携帯電話など）を使用して、１つ以上の検出された関心イベントに基づいて、車両のコンテキストデータを選択的に収集することができる。図２は、人間の運転者の予測動作に基づいて関心イベントを決定するための例示的な時系列２００を例示する。車両システムは、車両のコンテキストデータを継続的に収集し、最新のコンテキストデータ２０６を車両システムの揮発性メモリに保存し得る。揮発性メモリに保存された最新のコンテキストデータ２０６は、現在時刻Ｔ_０前に所定の期間Ｔ_Ｐ２ ２０２（例えば、２分、５分、１０分）内に集められたデータを含み得る。揮発性メモリ内に保存されたコンテキストデータ２０６は、１つ以上のセンサからの高解像度データ、例えば、１つ以上のカメラからの一連のフル解像度生画像または他の非圧縮フル解像度生データを含み得る。非揮発性メモリは、メモリのサイズ制限に適応するために、より新しいデータに繰り返し上書きし、直近の時限（例えば、２分、５分、１０分）の高解像度のみを保存することができる。

特定の実施形態では、車両システムは、揮発性メモリに保存された車両のコンテキストデータ２０６にアクセスし、予測モデルを使用して、現在時刻Ｔ_０およびその後の時限Ｔ_Ｐ１ ２０４（例えば、０．１秒、０．２秒、２秒、５秒）に、人間の運転者の予測動作２０８に関連する１つ以上のパラメータを予測し得る。予測動作２０８に関連するパラメータには、例えば、これらに限定されないが、操舵変更、ペダル動作、制動動作、信号変更などが含まれ得る。予測モデルは、車両情報、車両経路、または／および車両の環境に関連する１つ以上のパラメータを予測し得る。例えば、予測モデルは、車両または／および他の交通エージェントについて、速度、移動方向、加速度、位置、軌道、道路線との相対位置などを予測し得る。予測モデルは、多数の人間が運転する車両（例えば、人間の運転者の車隊で運転される）または自律走行車両と関連付けられた大量の（例えば、数百または数千の訓練サンプル）予め記録されたコンテキストデータによって訓練され得る。予測モデルは、多数の車両（例えば、人間が運転する車両または自律走行車両）と関連付けられた予め記録された車両動作によって訓練され得る。特定の実施形態では、予測モデルは、機械学習モデル（例えば、人工ニューラル・ネットワーク、回帰ニューラル・ネットワーク）の推論モデルであり得る。機械学習モデルは、多数の人間の運転者の予め記録されたコンテキストデータによって訓練され得る。特定の実施形態では、車両システムは、事前処理済みコンテキストデータ、圧縮コンテキストデータ、または高解像度コンテキストデータに基づいて、人間の運転者の予測動作および車両状態を予測し得る。

特定の実施形態では、車両システムは、時限Ｔ_Ｐ１ ２０４（例えば、０．１秒、０．２秒、２秒、５秒）に対する車両のコンテキストデータの収集を継続し、時限Ｔ_Ｐ１ ２０４中の人間の運転者の実際の動作２１０に関連するパラメータを決定し得る。例えば、車両システムは、時限Ｔ_Ｐ１ ２０４に対する車両情報、車両経路情報、および環境情報を決定し得る。車両システムは、時限Ｔ_Ｐ１ ２０４中の人間の運転者の実際の動作２１０と予測動作２０８とを比較して、関心イベントがその時限中に発生したどうかを決定し得る。車両システムは、人間の運転者の実際の動作２１０が所定の閾値について予測動作２０８から逸脱した場合に関心イベントが発生したと決定し得る。車両システムは、最新のコンテキストデータ２０６が検出された異常なイベントと関連付けられると決定し得る。例えば、予測モデルは、現在の運転状況に基づいて、車両が比較的低い速度（例えば、１０ｍｐｈ〜３０ｍｐｈ）で運転するべきであると予測し得るが、車両システムは、車両が６０ｍｐｈよりも高い速度で実際には運転しており、人間の運転者がまだアクセルペダルを踏んでいると見出している。結果として、車両システムは、それを異常なイベント（例えば、時間Ｔ_Ｅ ２１２に）としてフラグを立て、その異常なイベントに関連する高解像度データ２０６（例えば、フル解像度生データ）を保存し得る。

特定の実施形態では、関心イベントが生じた（例えば、時間Ｔ_Ｅ ２１２に）と決定した際に、車両システムは、関心イベントと関連付けられた車両の高解像度コンテキストデータ（例えば、コンテキストデータ２０６）を、車両システムの非揮発性記憶装置に保存し得る。一例として、限定されないが、車両システムは、揮発性メモリ内のコンテキストデータ２０６を、車両システムの非揮発性記憶装置に移動し得る。保存されたコンテキストデータ２０６は、高解像度データ（例えば、いかなる圧縮のない、一連のフル解像度生画像または生センサデータ）を含むことができ、したがって、関心イベントに関連する、より豊富な詳細を捕捉することができる。車両システムは、関心イベント（例えば、時間Ｔ_Ｅ ２１２で）後のさらなる時限Ｔ_Ｐ３ ２１４（例えば、数秒〜数分）に対応する高解像度データをさらに保存することができ、それにより、システムは、イベント前（例えば、時限Ｔ_Ｐ４ ２１６）およびイベント後（例えば、時限Ｔ_Ｐ３ ２１４）の両方でイベントの詳細を捕捉することができる。保存された高解像度データは、有線または無線接続を介して実時間でクラウドにアップロードされ得るか、またはその後のオフラインプロセスのために非揮発性記憶装置に保存され得る。関心イベントのみについて高解像度データを選択的に保存することによって、特定の実施形態は、保存および帯域幅リソースの少ない使用で、車両の１つ以上の運転状況に関連するエッジケースについてのより豊富なデータセットを捕捉する。高解像度データを使用して、機械学習モデルがそのようなエッジケースを構成するように訓練することができる。関心イベントに基づいて捕捉されたエッジケースデータは、車両運転モデルを訓練し、自律走行車両について運転モデルの準備ができているかを評価および試験するために重要であり得る。特定の実施形態では、車両システムは、関心イベントがコンテキストデータと関連付けられるとの決定に基づいて、保存される高解像度コンテキストデータを選択することができる。高解像度コンテキストデータは、対応するコンテキストデータが関心イベントと関連付けられないと決定された場合に通常保存されるデータよりも多くの情報を含み得るか、またはより長い時限に対応し得る。特定の実施形態では、車両システムは、関心イベントと関連付けられる高解像度コンテキストデータにフラグを立て（例えば、デジタルマークを使用して）、その後に見直しまたは分析することができる。

特定の実施形態では、車両システムによって保存／アップロードされた高解像度データは、異常でないイベントについて収集された低解像度データ（例えば、事前処理された圧縮データ）より多くの詳細な情報を含み得る。特定の実施形態では、高解像度データは、処理または圧縮をしない１つ以上のセンサからの生データであり得る。特定の実施形態では、高解像度データは、正規のまたは低解像度画像よりも各画像においてより高い画素を有し得る高解像度画像を含み得る。高解像度画像は、カメラの画像センサで入手可能なすべての画素を使用したフル解像度画像であり得る。特定の実施形態では、高解像度データは、より高いサンプリングレートを使用したセンサによって生成されるデータであり、したがって、イベントのより多くの詳細な情報を捕捉することができる。特定の実施形態では、高解像度データは、より大きな場面を捕捉するためにより大きな視野を有するセンサによって生成されるデータであり得る。

特定の実施形態では、高解像度コンテキストデータは、人間の運転者の注意に基づいて収集された、カスタマイズデータであり得る。車両システムは、人間の運転者の注意に基づいてリソース（例えば、時間、センサ、カメラ、伝送帯域幅、保存空間）を動的に割り当てることができる。車両システムは、人間の運転者が人間の運転者の状態または行動（例えば、頭の位置、頭の動作、視線方向）に基づいて注意を払っている、１つ以上の関心領域を決定し得る。車両システムは、これらの関心領域に、より多くのリソース（例えば、時間、センサ、カメラ、伝送帯域幅、保存空間）を割り当て、現在の状況により関連する、より豊富なデータセットを捕捉し得る。車両システムは、保存されることになる高解像度コンテキストデータに含まれるように、人間の運転者が注意を払っている領域と関連付けられたコンテキストデータのセットを選択し得る。一例として、限定されないが、人間の運転者が車両の運転中に特定の方向を見ている場合に、車両システムは、人間の運転者が見ている方向に、より多くのカメラおよび帯域幅リソースを割り当て得る。別の例として、人間の運転者が車両の運転中に特定の方向を見ている場合に、車両システムは、より高い解像度または／およびより高いサンプリングレートで画像を捕捉するために、カメラがその方向を向くよう構成することができる。

特定の実施形態では、車両システムは、エッジコンピューティングを使用して、関心イベントを実時間で検出および分類することができる。エッジコンピューティングは、クラウドの代わりに、車両システムのローカルコンピューティングシステム（例えば、データ収集デバイス、高性能コンピュータ）で実施される計算を指す場合がある。例えば、車両システムは、履歴データに基づく予測から逸脱する異常なイベントを検出および分類するために、ローカルプロセッサ（例えば、ＧＰＵ、ＣＰＵ、ＭＬ専用プロセッサ）で作動する機械学習モデルを含み得る。エッジコンピューティングを使用することによって、特定の実施形態は、車両システムに、クラウド内のサーバからの実時間での支援なしに、車両のコンテキストデータを選択的に収集させることを可能にし、したがって、車両システムの通信帯域幅に関する要件を低減し得る。異常なイベントを検出するための局所計算を使用することによって、特定の実施形態は、クラウドとの通信によって生じる遅延時間をなくすことによって、通常のおよび異常な動作イベントを検出するための応答時間を短くすることができる。

図３は、異常なイベントを検出および分類するための例示的なエッジコンピューティング図表３００を例示する。特定の実施形態では、車両システム３１０は、車両システム３１０で局所的に作動する機械学習モデルであり得る予測モデル３２０Ａを含み得る。特定の実施形態では、予測モデルは、多数の人間の運転者から収集される予め記録されたコンテキストデータを使用して訓練され得る。例えば、予測モデル３２０Ａのコピーである予測モデル３２０Ｂは、通常の動作データベース３４２および異常なイベントデータベース３４４を使用したクラウド３４０を介して訓練され、利用可能となり得る。訓練データベース３４２および３４４は、それぞれ、多数の通常のイベントおよび多数の異常なイベントをカバーするコンテキストデータを含み得る。通常のイベントは、履歴データに基づいた予測と一致する動作を含み得る。通常のイベントに関連する動作は、車両の予測モデル（例えば、予測動作に対する閾値内）によって予測され得る。訓練データベース３４２および３４４は、人間によってラベルされる通常のおよび異常なイベントの最初のデータセット、ならびに／または機械学習モデルによって自動的に分類される通常のおよび異常なイベントの別のデータセットを含み得る。訓練データは、エッジケースデータが典型的には、通常の動作データと比較して少ないため、通常の動作データおよびエッジケースデータを示差的に重み付けすることによって構成および最適化され得る。例えば、エッジケースに関連するデータは、通常の動作に関連するデータよりも大きい重みを割り当てられ得る。重み付けされた通常の動作データおよびエッジケースデータによって訓練された機械学習モデルは、通常の動作状況およびエッジケース状況の両方を適切に取り扱うことができる。訓練結果は、有線または無線接続を介してクラウド３４０から車両システム３１０内のローカル予測モデル３２０Ａに同期され得る。

特定の実施形態では、予測モデル３２０Ａは、所定の時限（例えば、直近の５分）中に捕捉されたコンテキストデータ３０２または／および他の事前処理もしくは圧縮されたコンテキストデータに基づいて、車両の予測動作を決定し得る。運転モデルは、実時間または／および半実時間コンテキストデータを処理し、将来の時限または／および現在時刻に対して予測される運転動作３２２を生成し得る。予測される運転動作（例えば、操舵、制動、加速、駐車の命令、車両、車両経路、人間の運転者、または／および環境に関連するパラメータ）は、異常なイベントを決定するために、コンパレータ３１５によって人間の運転者の実際の動作３０６と比較され得る。コンパレータ３１５は、人間の運転者の実際の動作２０６が閾値量で予測動作３２２から逸脱する場合に、イベントを異常なイベント３１７として識別することができる。異常なイベントと決定すると、車両システム３１０は、検出された異常なイベントに関連する高解像度コンテキストデータ３５２を非揮発性記憶装置に保存し、または／および実時間もしくはその後に、高解像度コンテキストデータをクラウドにアップロードし得る。

一例として、限定されないが、車両が交差点で曲がる場合に、予測モデル３２０Ａは、履歴データに基づいて車両の軌道を予測し得る。車両システム３１０は、ＧＰＳを使用して車両の場所を追跡し、ＬｉＤＡＲ、カメラなどを使用して、周囲の物体との車両の相対位置を決定し得る。コンパレータ３１５は、車両位置が所定の閾値距離（例えば、５メートル、１０メートル、１５メートル）よりも大きい距離で予測される軌道から逸脱していると決定し得る。コンパレータ３１５は、それを異常なイベントとして識別し得る。異常なイベントを検出すると、車両システム３１０は、識別された異常なイベントに関連する高解像度コンテキストデータを非揮発性記憶装置に保存し、または／および高解像度データをクラウド３４０にアップロードし得る。

特定の実施形態では、車両システム３１０は、以前に検出された異常なイベントの１つ以上の識別されるカテゴリおよび現在検出されている関心イベントの１つ以上の特性に従って、各々検出される異常なイベント３１７を分類するためのイベント分類器３３０Ａを含み得る。例えば、イベント分類器３３０Ａは、異常な速度に関連するイベントを異常な速度イベントとして分類し得る。別の例として、イベント分類器３３０Ａは、異常な軌道に関連するイベントを異常な軌道イベントとして分類し得る。イベント分類器３００Ａは、各々検出される異常なイベントに対する関心スコアをさらに決定し得る。イベント分類器３３０Ａは、車両システム３１０に対して局所的に作動する別の機械学習モデルであり得る。特定の実施形態では、イベント分類器３３０Ａは、クラウド３４０を介して訓練され、利用可能になり得る、イベント分類器３３０Ｂのコピーであり得る。イベント分類器３３０Ｂは、適切な分類でラベルされた異常なイベントの訓練サンプルを含み得る、異常なイベントデータベース３４４を使用して訓練され得る。訓練結果は、有線または無線接続を介して車両システム３１０内のクラウド３４０からローカル予測モデル３３０Ａに同期され得る。

特定の実施形態では、イベント分類器３３０Ａは、検出されたイベントに関連するコンテキストデータに基づいて決定される１つ以上のパラメータ（例えば、速度、軌道、場所、周囲の物体、加速度など）に基づいて、検出されたイベントを分類することができる。イベント分類器３３０Ａは、検出されたイベントが特定のカテゴリに属するとの信頼水準を示す信頼スコアをさらに決定することができる。特定の実施形態では、イベント分類器３３０Ａは、検出されたイベントの関心度を示すために、検出された異常なイベントに対する関心スコアをさらに決定し得る。イベント分類器３３０Ａは、カテゴリに属する検出されたイベントの信頼スコアおよびそのカテゴリの対応する関心スコアに基づいて、関心スコアを計算し得る。例えば、検出されたイベントがカテゴリの帰属についてｘの信頼スコアを有し、そのカテゴリがｙの関心スコア（関心の程度を示す）を有する場合、検出されたイベントの関心スコアは、ｘとｙの積によって決定され得る。特定の実施形態では、最初の異常なイベントセットの関心スコアは、手動で決定され、イベント分類器３３０Ｂを訓練するために人間によってラベルされ得る。イベント分類器３３０Ａは、最初のデータセットおよび他の以前に検出された異常なイベントデータに基づいて、新たに検出された異常なイベントについて関心スコアを決定し得る。

特定の実施形態では、車両システム３１０は、コンパレータ３１５によって識別される各検出された異常なイベント３１７に関連する高解像度コンテキストデータを保存／アップロードし得る。特定の実施形態では、車両システム３１０は、イベント分類器３３０Ａによって決定されるイベントの関心スコアに基づいて、異常なイベントに関連する高解像度コンテキストデータを保存／アップロードするべきかどうかを決定し得る。例えば、車両システム３１０は、関心スコアが閾値よりも高い場合のみに、異常なイベントに関連する高解像度コンテキストデータを保存／アップロードし得る。特定の実施形態では、車両システム３１０は、関連する異常なイベントの関心スコアに基づいて、保存／アップロードされるコンテキストデータの情報詳細レベルを決定し得る。例えば、車両システム３１０は、より低い関心スコアを有する異常なイベントよりも、より高い関心スコアを有する異常なイベントについて、より高い解像度を有するコンテキストデータを保存／アップロードし得る。

特定の実施形態では、イベント分類器は、検出された異常なイベントが任意の以前に検出されたイベントと類似しない（例えば、任意の既知の異常なイベントカテゴリに対して低い信頼スコアによって示される）ため、検出された異常なイベントを分類できない場合がある。この状況では、イベント分類器は、検出されたイベントに基づいて新たなカテゴリを作成し、すべての既知の異常なイベントと類似しないこと自体が例外を示しているため、検出されたイベントに高い関心スコアを割り当て得る。車両システムは、任意の分類不能なイベントに関連する、関連する高解像度データを収集およびセーブし得る。例えば、車両システムは、車両までの距離内で道路上に回転するタイヤを識別することができる。イベント分類器は、回転するタイヤのイベントを任意の既知のカテゴリとして分類できない可能性がある。イベント分類器は、新たなタイプの異常なイベントとしてそれを識別し、そのイベントに高い関心スコアを割り当て得る。

特定の実施形態では、予測モデル３２０Ｂおよび／またはイベント分類器３３０Ｂは、新たに収集されたデータに基づいてアップロードされ得る。特定の実施形態では、通常の動作および異常なイベントについての最初の訓練データセットは、人間によってラベルされ得る。車両システムが新たなコンテキストデータを収集する場合、新たに収集されたデータは、訓練データベース３４２、３４４にアップロードされ得る。例えば、車両システム３１０は、異常なイベント３１７に関連する高解像度コンテキストデータ３５２を収集し、収集された高解像度コンテキストデータ３５２を、クラウド３４０内の異常なイベントデータベース３４４にアップロードし得る。同様に、通常のイベントに関連すると決定されたコンテキストデータは、通常の動作データベース３４２にアップロードされ得る。予測モデル３２０Ｂおよびイベント分類器３３０Ｂの両方を含む機械学習モデルは、新たに収集されたデータによってさらに訓練され、したがって、異常なイベントを取り扱うための能力を経時的に改善し得る。訓練された予測モデル３２０Ｂおよびイベント分類器３３０Ｂは、車両システム３１０で局所的に作動する対応する予測モデル３２０Ａおよびイベント分類器３３０Ａに同期され得る。

図４Ａは、車両の異常なイベントを検出するための例示的な状況４００Ａを例示する。車両４０２Ａは、他の交通エージェント（例えば、４０２Ｂ、４０２Ｃ）、１つ以上の停止線（例えば、４０４Ａ、４０４Ｂ）、複数の交通信号（例えば、４１０Ａ、４１０Ｂ、４１０Ｃ、４１０Ｄ）、１つ以上の横断歩道４０６、縁石４３０、道路線４４０Ａ〜Ｃなどを有する交差点４９０にアプローチし得る。人間の運転者によって運転される車両４０２Ａは、１つ以上のセンサを使用して車両の環境をマップ化し、実時間センサ情報を使用してマップをローカライズし得るコンピューティングシステムを含み得る。コンピューティングシステムは、車両情報、例えば、速度、移動方向、加速度、停止線４０４までの距離、道路線４４０Ａまでの距離などを監視し得る。コンピューティングシステムは、車両のコンテキストデータを収集し、収集されたコンテキストデータに基づいて車両動作を予測し得る。一例として、限定されないが、コンピューティングシステムは、ナビゲーションデバイス（例えば、携帯電話、ＧＰＳ）を介して車両の計画された経路を監視し得る。予測モデルは、ナビゲートする経路の標的場所および車両の信号状況の変化（例えば、車両のＣＡＮバスを介してアクセスされる）に基づいて、車両４０２Ａがこの交差点４９０で左折すると推論し得る。別の例として、予測モデルは、人間の運転者の動作（例えば、運転者が左折に対応する左前方向を向かって見ている）および他の環境因子（例えば、他の交通エージェントが交通信号に従って静止している、歩行者がいないなど）に基づいて、車両４０２Ａが交差点４９０で左折をすると推論し得る。

一例として、限定されないが、コンピューティングシステムは、車両４０２Ａが交差点４９０で左折をすると予測し得る。コンピューティングシステムは、予測モデルを使用して、車両４０２Ａが線４２０Ａと４２０Ｂとの間の軌道を有する可能性が高いと予測し得る。予測モデルは、この交差点４９０または他の交差点で車両によってなされる左折に関連する履歴データによって訓練され得る。例えば、左折をするための典型的な軌道は、運転者が曲がる予定の車道に応じた軌道４２２Ａまたは４２２Ｂであり得る。コンピューティングシステムは、人間の運転の動作および車両４０２Ａの状態を監視し続け得る。実際の左折プロセス中に、コンピューティングシステムは、車両４０２Ａが４２０Ａおよび４２０Ｂの予測される境界線を越える軌道４２２Ｃを使用して左折をしていると検出し得る。コンピューティングシステムは、異常なイベントとしてそれを識別し、新しいエッジケースデータとして関連する高解像度データをセーブし得る。コンピューティングシステムは、イベント分類器をさらに使用して、検出された異常なイベントを異常な軌道イベントとして分類し、イベントに高い関心スコアを割り当てることができる。

別の例として、コンピューティングシステムは、交通エージェント（例えば、車、トラック）または人（例えば、横断歩道４０６を歩行しているか、または自転車に乗っている）が、車両が高い速度で近づいているときに車両４０２Ａの前にいると検出（例えば、１つ以上のエージェントモデラを使用して）し得る。コンピューティングシステムは、障害物に面しているときに車両によってなされる減速プロセスに関連する履歴データによって訓練される予測モデルを含み得る。コンピューティングシステムは、予測モデルを使用して、車両４０２Ａが検出された交通エージェントまたは人との閾値距離を超えて減速すると予測し得る。しかしながら、コンピューティングシステムは、車両４０２Ａが、車両が交通エージェントまたは人への閾値距離内に入った後に、高速で交通エージェントまたは人間に近づいていることを検出する。コンピューティングシステムは、異常なイベントとしてそれを識別し、関連する高解像度データを保存し得る。イベント分類器は、この異常なイベントを異常な速度イベントとして分類し、イベントに高い関心スコアを割り当てることができる。

別の例として、コンピューティングシステムは、車両４０２Ａが左折信号を待っている交差点４９０で停止している間に、車両４０２Ａの交通信号がちょうど青に変わったことを検出し得る。コンピューティングシステムは、予測モデルを使用して、車両４０２Ａが、交通信号が青に変わった後の閾値時限（例えば、１秒、２秒）で左折するために前進すると予測し得る。予測モデルは、この交差点４９０または他の交差点で車両によってなされる左折に関連する履歴データによって訓練され得る。しかしながら、コンピューティングシステムは、車両４０２Ａが、交通信号が青に変わった後の閾値時限（例えば、１秒、２秒）よりも長い期間（例えば、５秒、１０秒、２０秒、３０秒）、交差点４９０に停止し続けていることを検出する。コンピューティングシステムは、異常なイベントとしてそれを識別し、関連する高解像度データを保存し得る。イベント分類器は、このイベントを異常な停止イベントとして分類し、イベントに高い関心スコアを割り当てることができる。

特定の実施形態では、コンピューティングシステムは、規則ベースのアルゴリズムを使用して、異常なイベントを検出することができる。例えば、コンピューティングシステムは、人間の運転者が制動ペダルをめったにないほど強く踏んでいると検出し、それを異常なイベントとして識別し得る。別の例として、コンピューティングシステムは、車両がナビゲーション標的とは異なる誤った場所に到着したと決定し、それを異常なイベントとして識別し得る。別の例として、コンピューティングシステムは、衝突事故が発生したと決定し（例えば、ＩＭＵ出力、エアバッグ状態に基づいて）、それを異常なイベントとして識別し得る。特定の実施形態では、コンピューティングシステムは、異常なイベントを検出および分類するための規則ベースの検出およびモデルベースの検出のハイブリッドアプローチを採用し得る。

特定の実施形態では、コンピューティングシステムは、１つ以上の交通エージェントモデラを使用して、環境下での他の交通エージェント（例えば、４０２Ｂ、４０２Ｃ）を検出および分析し得る。エージェントモデラは、他の交通エージェント（例えば、車、バス、歩行者）を検出および識別し、彼らの行動（例えば、速度、軌道、位置）を予測し、彼らの行動の攻撃性を評価し得る。特定の実施形態では、エージェントモデラは、異なる交通エージェントを検出および分析するように訓練される１つ以上の機械学習モデルであり得る。エージェントモデラは、他の交通エージェント（例えば、４０２Ｂ、４０２Ｃ）とホスティング車両（例えば、４０２Ａ）との間の相互作用をさらに分析および予測し得る。

図４Ｂは、他の交通エージェントの行動を予測するための例示的な状況４００Ｂを例示する。車両４０２Ａは、交差点４９０に近づく可能性があり、左折する予定である（例えば、軌道４５０に沿って）。エージェントモデラは、交通エージェントがいる車線、縁石または中央線までの交通エージェント間の距離、その交通エージェントの信号状況の変化などに基づいて、交通エージェントの行動を予測し得る。一例として、限定されないが、エージェントモデラは、交通エージェント４０２Ｂが道路の右車線内におり、縁石４３０に非常に近いと検出し得る。エージェントモデラは、交通エージェント４０２Ｂが軌道４５２に沿って右折する可能性が高いと予測し得る。しかしながら、エージェントモデラは、交通エージェント４０２Ｂのその左折信号が点滅していると検出し得る。コンピューティングシステムは、それを異常なイベントとして識別し得る。別の例として、エージェントモデラは、交通エージェント４０２Ｃが左の車線内におり、左折信号が点滅していると検出し得る。エージェントモデラは、交通エージェント４０２Ｃが軌道４５４に沿って左折するか、または軌道４５６に沿ってＵターンするかのいずれかの可能性が高いと推論し得る。しかしながら、エージェントモデラは、交通エージェント４０２Ｃが、左折の代わりに直進する（例えば、経路４５８に沿って）と検出し、異常なイベントとしてそれを識別し得る。

別の例として、車両４０２Ａが交差点４９０に近づいているとき、車両４０２Ａのコンピューティングシステムは、エージェントモデラを使用して、交通エージェント４０２Ｂ（例えば、車）がめったにない高速で停止線４０４Ｂに近づいていると検出し得る。エージェントモデラは、交通エージェント４０２Ｂが減速しているが、交通エージェント４０２Ｂと停止線４０４Ｂとの間の速度が速く、距離が短いため、停止線４０４Ｂで安全な停止をする可能性が低いと予測し得る。コンピューティングシステムは、これを異常なイベントとして識別し、このイベントを攻撃的な交通エージェントのイベントとして分類し得る。別の例として、エージェントモデラは、認識または分類できない交通エージェントまたは物体を検出し得る。コンピューティングシステムは、認識不能な交通エージェントまたは物体を異常なイベントとして識別し得る。

特定の実施形態では、コンピューティングシステムは、マルチチャネル画像を使用して、車両の環境の離散化ビューを予測し得る。例えば、コンピューティングシステムは、（例えば、予測モデル、交通エージェントモデラ、機械学習モデルを使用して）車両環境（例えば、他の交通エージェント、歩行者など）および車両状態（例えば、場所、速度、移動方向、道路線との相対位置、周囲の物体との相対位置など）を予測するための一連のマルチチャネル画像を生成することができる。コンピューティングシステムは、車両がどこに向かっているか、および環境がどのように見えるかを短い時限（例えば、０．１秒、０．２秒、２秒、５秒、１０秒など）で予測することができる。コンピューティングシステムは、対応する確率を有する仮説のセットに基づいて、車両の速度および移動方向を予測することができる。潜在的な仮説は、ネットワークに新たな情報を供給し得る、畳み込みニューラル・ネットワークまたは回帰ニューラル・ネットワークによって生成され得る。仮説は、道路の現在のビューおよび道路の以前のビューの両方に基づく可能性がある。例えば、コンピューティングシステムは、現在時刻Tまたは／および以前の時間（例えば、Ｔ−０．５秒、T−１秒）に複数のチャネル画像を生成し得る。特定の実施形態では、コンピューティングシステムは、車両の環境の予測される離散化ビューに少なくとも一部基づいて、車両動作を予測し得る。

特定の実施形態では、コンピューティングシステムは、車両、環境、または／および他の交通エージェントに関連する特徴の組み合わせを使用して、車両の環境を予測し得る（例えば、離散化または非離散化ビューで）。特徴の組み合わせは、例えば、これらに限定されないが、車両の現在位置、車両の過去の位置、車両の予測される位置、車両の現在速度、車両の過去の速度、車両の予測される速度、車両に関連する他の交通エージェントの速度および向き、互いに関連する他の交通エージェントの速度および向き、１つ以上のマップ要素に関連する他の交通エージェントの速度および向き（例えば、車線区分線、停止線、歩行者横断歩道、信号、道路標識、交差点、路肩、建物、踏切遮断機）などのうちの１つ以上を含み得る。コンピューティングシステムは、車両、環境、または／および他の交通エージェントに関連する１つ以上の特徴の組み合わせを生成し、特徴の組み合わせに基づいて、車両環境の離散化または非離散化ビューを予測し得る。特定の実施形態では、コンピューティングシステムは、車両環境の予測されるビューに少なくとも一部基づいて、車両動作を予測し得る。

特定の実施形態では、コンピューティングシステムは、交通エージェントの各個々の位置を見て、可能な環境状況を短期間で予測することができる。コンピューティングシステムは、エージェントモデラを使用して、車両の近くの交通エージェントおよび他の物体を識別し、予測モデルを使用して、交通エージェントがどこに向かう可能性があるか（例えば、場所、速度、移動方向、道路線との相対位置、周囲の物体との相対位置など）を予測することができる。コンピューティングシステムは、これらの交通エージェントに呼応する人間の運転者の動作に関連する車両のコンテキストデータを収集し、車両の収集されたコンテキストデータおよび人間の運転者の動作に基づいて、車両の状態（例えば、場所、速度、移動方向、道路線との相対位置、周囲の物体との相対位置など）を予測し得る。特定の実施形態では、交通エージェントモデラおよび予測モデルは、車両の履歴コンテキストデータによって訓練される機械学習モデルであり得る。特定の実施形態では、予測モデルは、車両および環境に関する多層情報を含む履歴マルチチャネル画像によって訓練され得る。

特定の実施形態では、コンピューティングシステムは、車両自体、停止線、道路線、他の交通関係者またはエージェントなどを含む、車両環境（例えば、交差点）についての１つ以上のマルチチャネル画像を生成し得る。各マルチチャネル画像は、トップビュー環境画像である可能性があり、環境についての異なる層の情報に対する複数のチャネルを有し得る。画像の第１のチャネルは、道路の境界を示す道路情報（例えば、どの領域が道路に属するか、およびどの領域が道路でないか）を含み得る。例えば、画像の第１のチャネルは、これらに限定されないが、道路線、横断歩道、縁石、歩道、道路を越えた路肩領域などを含み得る。画像の第２のチャネルは、交通および道路と関連付けられた情報、例えば、車両自体（例えば、場所、周囲の物体との相対位置）、他の交通エージェント（例えば、場所、周囲の物体との相対位置）、停止線、交通信号、道路標識などを含み得る。第３のチャネルは、交通エージェントに関連する情報、例えば、速度、移動方向、加速度、信号状況の変化、相互作用などを含み得る。機械学習モデルは、マルチチャネル画像を使用して、正確な場面がどのように見えるかを、世界の離散化ビューで、短期間（例えば、０．１秒、０．２秒）で予測し得る。コンピューティングシステムは、環境の一連のトップビューを生成して、環境の一連のさらなる場面を予測することができる。

特定の実施形態では、コンピューティングシステムは、予測される車両および環境状態と実際の車両および環境状態を比較し得る。コンピューティングシステムは、後に収集される車両のコンテキストデータを使用して決定される実際の車両および環境状態に基づいて、環境の実際のトップビューに対する一連のマルチ変化画像を生成し得る。コンピューティングシステムは、予測されるトップビュー画像と実際のトップビュー画像を比較し、実際のトップビュー画像が、閾値よりも大きい差で、その対応する予測されるトップビュー画像から逸脱する場合に、異常なイベントを決定することができる。コンピューティングシステムは、環境の予測されるトップビュー画像と実際のトップビュー画像との比較のために、マルチチャネル画像の１つ以上の情報層を使用し得る。一例として、限定されないが、コンピューティングシステムは、実際のおよび予測される環境のトップビュー画像に基づいて、車両の場所が、閾値距離よりも大きい距離（例えば、５メートル、１０メートル、１５メートル）で予測される場所から逸脱していると決定し得る。コンピューティングシステムは、異常なイベントとしてそれを決定し、検出される異常なイベントに関連する高解像度データを保存／アップロードし得る。別の例として、コンピューティングシステムは、実際のおよび予測される環境のトップビュー画像に基づいて、別の車両が閾値距離よりも大きい距離（例えば、５メートル、１０メートル、１５メートル、３０メートル）でその車両の予測される軌道から逸脱していると決定し得る。コンピューティングシステムは、異常なイベントとしてそれを決定し、識別される異常なイベントに関連する高解像度データを保存／アップロードし得る。

図５は、関心イベントを検出し、イベントと関連する高解像度データを保存する例示的な方法を例示する。工程５１０では、車両システムは、車両システムと関連する１つ以上のセンサに基づいて、車両のコンテキストデータを収集し得る。収集されたコンテキストデータは、車両、車両経路、人間の運転者、および環境を監視するためのセンサからの高解像度データ（例えば、圧縮または事前処理なしのフル解像度生データ）を含み得る。工程５２０では、車両システムは、最新の高解像度データ（例えば、５分間のデータ）を揮発性メモリに保存し得る。揮発性メモリ内の高解像度データは、より新しいデータによって上書きされる可能性があり、揮発性メモリは、そのサイズ制限に適応するために、最新の５分間の高解像度のみを保存する場合がある。工程５３０では、車両システムは、車両システムの非揮発性記憶装置に低解像度データを保存し、低解像度データを実時間でクラウドにアップロードし得る。低解像度データは、高解像度コンテキストデータに基づいて生成される事前処理データ（例えば、物体識別結果）または圧縮データであり得る。工程５４０では、車両システムは、予測モデルを使用して、ある時限（例えば、０．１秒、０．２秒、２秒、５秒）の人間の運転者の将来の動作を予測し得る。予測モデルは、履歴データを使用して訓練される機械学習モデルであり得る。車両システムは、車両状態を監視し、車両のコンテキストデータを収集し続けることができる。工程５５０では、車両システムは、その時限（例えば、０．１秒、０．２秒、２秒、５秒）中の車両の収集されたデータに基づいて、人間の運転者の実際の動作を決定し得る。工程５６０では、車両システムは、人間の運転者の予測動作と実際の動作を比較して、関心イベントが発生したかどうかを決定し得る。

工程５７０では、人間の運転者の実際の動作が所定の閾値に対して予測される動作から逸脱する場合に、車両システムは、異常なイベントを識別し得る。人間の運転者の実際の動作が予測動作と一致する（例えば、所定の閾値内）場合、車両システムは、工程５１０に飛び、車両のコンテキストデータの収集を継続し得る。工程５８０では、車両システムは、識別された関心イベントに関連する高解像度データを非揮発性記憶装置に保存し得る。例えば、車両システムは、揮発性メモリ内の高解像度データを非揮発性記憶装置に移動（またはデータをクラウドにアップロード）し得る。揮発性メモリ内の高解像度データは、関心イベントの前の所定の時限（例えば、５分）の、より豊富なデータセットを含み得る。特定の実施形態では、車両システムは、関心イベントが発生した後の第２の期間（例えば、数秒〜数分）、高解像度データをさらに収集および保存し得る。工程５９０では、車両システムは、イベント分類器を使用して、検出された関心イベント（例えば、異常なイベント）を分類し、検出されたイベントの重要性および関心度を示す関心スコアを決定し得る。

特定の実施形態は、必要に応じて、図５の方法の１つ以上の工程を繰り返し得る。本開示は、図５の方法の特定の工程を特定の順序で生じるものとして記載および例示しているが、本開示は、図５の方法の任意の好適な工程が任意の好適な順序で生じることを企図している。さらに、本開示は、図５の方法の特定の工程を含む、関心イベントを検出し、イベントと関連付けられた高解像度データを保存するための例示的な方法を記載および例示しているが、本開示は、必要に応じて、図５の方法の工程のすべて、いくつかを含むか、またはいずれも含まない場合がある、任意の好適な工程を含む、関心イベントを検出し、イベントに関連する高解像度データを保存するための任意の好適な方法を企図している。さらに、本開示は、図５の方法の特定の工程を実施する特定の構成要素、デバイス、またはシステムを記載および例示しているが、本開示は、図５の方法の任意の好適な工程を実施する任意の好適な構成要素、デバイス、またはシステムの任意の好適な組み合わせを企図している。

図６Ａは、例示的なデータ収集デバイス６６０の様々な構成要素のブロック図表を例示する。データ収集デバイス６６０はまた、輸送管理車両デバイスとも呼ばれ得る。特定の実施形態では、データ収集デバイス６６０は、内蔵デバイスとして車両と一体化され得るか、または着脱可能なシステムとして車両と関連付けられ得る。特定の実施形態では、データ収集デバイス６６０は、例えば、論理制御モジュール（例えば、プロセッサ６１８、入力／出力（Ｉ/Ｏ）インターフェース６２６）、データ保存モジュール（揮発性メモリ６２８、非揮発性記憶装置６２０）、検知モジュール（例えば、慣性計測ユニット６３２、カメラ６３４、センサ６３６）、通信モジュール６２４、ディスプレイモジュール（例えば、前方ディスプレイ６０４、後方ディスプレイ６１０、照明制御装置６２２）などを含む、いくつかのサブシステムおよびモジュールを含み得る。特定の実施形態では、プロセッサ６１８は、Ｉ／Ｏインターフェース６２６を制御して、データ収集デバイス６６０と一体化された一体型センサ（例えば、ＩＭＵ６３２、カメラ６３４、センサ６３６）と、車両に関連付けられデータ収集デバイス６６０と通信する車両センサ（例えば、ＧＰＳ６４２、カメラ６４４、センサ６４６）の両方からデータを収集することができる。データ収集デバイス６６０は、揮発性メモリ６２８（例えば、ランダムアクセスメモリ（ＲＡＭ））または／および非揮発性記憶装置６２０（例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュドライブ、コンパクトディスクなど）内に収集されたデータを保存し得る。データ収集デバイス６６０はまた、通信モジュール６２４を使用して、有線または無線接続６５２を介して、実時間またはその後に、収集されたデータをクラウド６５０にアップロードし得る。

特定の実施形態では、データ収集デバイス６６０は、かなりの計算リソースを必要とし得る１つ以上の機械学習モデル（例えば、予測モデル、運転モデル、イベント分類器、交通エージェントモデラなど）を含み得る。特定の実施形態では、データ収集デバイス６６０は、データを収集および処理（例えば、交通エージェントモデラの作動）するための別のコンピューティングシステム（例えば、携帯電話、タブレット、モバイルコンピュータ、高性能コンピュータ）と協働し得る。特定の実施形態では、データ収集デバイス６６０は、携帯電話またはモバイルコンピュータ上に、その携帯電話またはモバイルコンピュータのＡＰＩを使用して実装され得る。特定の実施形態では、データ収集デバイス６６０は、機械学習モデル（例えば、ニューラル・ネットワーク）を作動させるように特に構成された１つ以上のＧＰＵまたは他のプロセッサを含む、埋め込み型システムプラットフォーム上で実装され得る。

特定の実施形態では、車両システム６００は、車両情報（例えば、速度、操舵角、制動圧など）、車両経路情報（例えば、軌道、場所など）、人間の運転者（例えば、目の動き、頭の動作など）、および車両の環境（例えば、バウンディングボックスを有する識別された物体、他の車両、歩行者など）を監視するための１つ以上のセンサを含み得る。特定の実施形態では、データ収集デバイス６６０は、１つ以上の一体型センサ、例えば、慣性計測ユニット６３２、カメラ６３４、センサ６３６などを含み得る。データ収集デバイス６６０は、車両と関連付けられるが、データ収集デバイス６６０の外部にある１つ以上のセンサ（例えば、ＧＰＳ６４２、カメラ６４４、センサ６４６など）と通信し得る。車両システム６００は、ＬｉＤＡＲおよびレーダーシステムのような他の検知システムをさらに含み得る。センサまたは検知システムは、内部状態（例えば、車両自体、ならびに運転者および他の同乗者の着座のために設計および意図された車両の同乗者区画領域）と車両の外部環境の両方を監視することができる。例えば、データ収集デバイス６６０は、同乗者区画および内部の任意の同乗者を捕捉する後面広角カメラを含む場合がある。別の例として、データ収集デバイス６６０は、同乗者区画内の会話および／または音声を捕捉するマイクロフォンを含み得る。データ収集デバイスはまた、同乗者の動作および／または温度を検出することができる赤外線センサを含み得る。センサの他の例は、例えば、これらに限定されないが、可視データを捕捉するためのカメラ、可聴データを捕捉するためのマイクロフォン、同乗者によって発せられる熱を検出するための赤外線センサ、車両の動きを検出するためのジャイロスコープおよび加速度計、車両速度を検出するための速度センサ、操舵動作を測定するための操舵センサ、制動ペダルおよび加速ペダルに印加された圧力を測定するための圧力センサ、車両の場所を追跡するためのＧＰＳ、ならびに車両、人間の運転者、および環境を監視するのに好適な任意の他のセンサまたは検知システム（例えば、レーダーおよびＬｉＤＡＲシステム）を含み得る。

特定の実施形態では、そのようなセンサは、人間が運転する車両または自律走行車両であり得る車両システム６００と一体化される場合がある。センサは、同乗者区画の上方角、ダッシュボード、座席、サイドドア、天井、バックミラー、中央コンソール、床、屋根、蓋、またはセンサが設計される信号の種類を検出するのに有効な任意の他の場所など、任意の好適な場所に配置され得る。特定の実施形態では、そのようなセンサは、車両（例えば、ダッシュボード上）に取り付けられた着脱可能なコンピューティングデバイス（例えば、携帯電話、タブレット、ＧＰＳ、車載カメラ）と一体化され得る。

特定の実施形態では、通信モジュール６２４は、例えば、クラウド６５０、着脱可能なコンピューティングデバイス（例えば、携帯電話、タブレット）、車両、輸送管理システム、および第三者システム（例えば、音楽、娯楽、交通、および／またはマップ提供者）を含む他のシステムとデータ収集デバイス６６０の通信を管理することができる。特定の実施形態では、通信モジュール６２４は、ＷＩ‐ＦＩ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、ＲＦ、ＬＴＥ、３Ｇ／４Ｇ／５Ｇブロードバンドセルラネットワーク、または任意の他の有線もしくは無線通信ネットワークもしくはプロトコルを介して通信するように構成される場合がある。特定の実施形態では、データ収集デバイス６６０は、通信モジュール６２４を介して車両と通信し、車両のセンサからデータを収集することができる。特定の実施形態では、データ収集デバイス６６０は、クラウド６５０にデータをアップロードし、クラウド６５０内で訓練された１つ以上の機械学習モデルに関連するパラメータを同期するために、通信モジュール６２４を介してクラウド６５０と通信し得る。

特定の実施形態では、データ収集デバイス６２４は、車両と通信し、車両から電力を得るために、車両と物理的に接続する（例えば、図６Ｃのコネクタ６１６を介して）ように構成される場合がある。例えば、コネクタ６１６は、コントローラエリアネットワーク（ＣＡＮ）バスインターフェース、または車両と通信するための任意の他の好適な通信インターフェースもしくはプロトコルを実装する場合がある。ＣＡＮバスインターフェースは、車両のオンボード・ダイアグノーシス（ＯＢＤ）ポート（例えば、ＯＢＤ‐Ｉポート、ＯＢＤ‐ＩＩポートなど）とインターフェースし得る。特定の実施形態では、コネクタは、１つ以上のユニバーサルシリアルバス（ＵＳＢ）ポート、ライトニングコネクタポート、またはユーザがそのデバイスをデータ収集デバイス６６０に直接接続する（例えば、データを交換、情報を評価、同定、電力を供給するなど）ことを可能にする他のポートを含み得る。特定の実施形態では、データ収集デバイス６６０は、車両の内蔵コンピュータに命令を出し（例えば、図６Ｃのコネクタ６１６を介して）、特定の車両構成を調節させることができる場合がある。特定の実施形態では、データ収集デバイス６６０は、前述の特徴のうちのいずれかの現在の構成、ならびに車両の速度、燃料レベル、タイヤ圧力、外部温度計、ナビゲーションシステム、および車両のコンピューティングシステムを介して利用可能な任意の他の情報など、特定のデータについて車両にクエリする（例えば、図６Ｃのコネクタ６１６を介して）ように構成され得る。

特定の実施形態では、データ収集デバイス６６０は、センサ、ユーザ、または／および車両からの入力を受信し、それらからの命令を出力するように構成された入力／出力インターフェース（I／Ｏ）６２６を含み得る。Ｉ／Ｏインターフェースは、通信および信号変換のための回路および構成要素（例えば、アナログデジタル変換器、デジタルアナログ変換器）を含み得る。Ｉ／Ｏインターフェース６２６は、これらのセンサに命令を送信し、これらのセンサからデータを受信するための一体型センサ（例えば、ＩＭＵ６３２、カメラ６３４、センサ６３６）および車両センサ（例えば、ＧＰＳ６４２、カメラ６４４、センサ６４６）に接続され得る。例えば、Ｉ／Ｏインターフェース６２６は、同乗者からの動作またはしぐさベースの入力を認識するように構成された画像捕捉デバイス、発せられたスピーチまたは会話を検出および記録するように構成されたマイクロフォン、同乗者区画の温度を検出するための熱センサ、および任意の他の好適なセンサに接続され得る。別の例として、I／Ｏインターフェース６２６は、音声出力（警告、命令、または他の情報など）をユーザに提供し、かつ／または音声認識システムまたは任意の他のコマンドインターフェースによって解釈され得る、音声コマンドなどの音声入力を受信するように構成された音声デバイスを含み得る。

特定の実施形態では、データ収集デバイス６６０は、図１に示すような１つ以上のディスプレイを含み得る。データ収集デバイス６６０は、前方ディスプレイ６０４、後方ディスプレイ６１０、および照明制御装置６２２を含み得る。前方ディスプレイ６０４は、例えば、乗車要求者に視認可能であるように車両の外側に面するように設計されている可能性があり、後方ディスプレイ６１０は、例えば、同乗者に視認可能であるように車両の内側に面するように設計され得る。プロセッサ６１８は、後方ディスプレイ６１０および前方ディスプレイ６０４上に表示される情報を制御することができる。本明細書に記載されるように、各ディスプレイは、ユーザおよびデータ収集デバイス６６０の位置決めに応じて、異なる意図されるユーザに情報を表示するように設計され得る。データ収集デバイス６６０は、データ収集デバイス６６０の表示データに基づいて、前方および後方ディスプレイ６０４および６１０を制御することができる。表示データは、保存された表示パターン、配列、色、テキスト、アニメーション、または前方および／もしくは後方ディスプレイ上に表示される他のデータを含み得る。表示データはまた、コンテンツを生成し、表示される方法を制御するためのアルゴリズムを含む場合がある。例えば、生成されたコンテンツは、輸送管理システム、任意の第三者システム、車両、ならびに提供者および／または要求者のコンピューティングデバイスから受信された情報に基づいて個別化され得る。特定の実施形態では、表示データは、揮発性メモリ６２８（例えば、ランダムアクセスメモリ（RAM））または／および非揮発性記憶装置６２０（例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュドライブ、コンパクトディスクなど）に保存され得る。

図６Ｂは、例示的なデータ収集デバイス６６０の正面図である６０２を例示する。データ収集デバイス６６０の正面図である６０２は、前方ディスプレイ６０４を含み得る。特定の実施形態では、前方ディスプレイ６０４は、二次的領域または別個のディスプレイ６０６を含む場合がある。図６Ｂに示すように、前方ディスプレイ６０４は、これらに限定されないが、１つ以上の液晶ディスプレイ（ＬＣＤ）、１つ以上の発光ダイオード（ＬＥＤ）の配列、ＡＭＯＬＥＤ、または他の表示技術を含む、様々な表示技術を含み得る。特定の実施形態では、前方ディスプレイ６０４は、ディスプレイを複数の領域に分割するカバーを含み得る。特定の実施形態では、別個のディスプレイは、各領域と関連付けられ得る。特定の実施形態では、前方ディスプレイ６０４は、色、テキスト、アニメーション、パターン、色パターン、または要求者および提供者車両の外部の他のユーザへの任意の他の好適な識別情報を示すように構成され得る（例えば、一般的な乗車場所で、要求者は、そのそれぞれの乗車を素早く識別し、示された識別情報に基づいて残りを無視し得る）。特定の実施形態では、二次的な領域または別個のディスプレイ６０６は、前方ディスプレイ６０４と同じか、または対照的な情報を表示するように構成される場合がある。

図６Ｃは、例示的なデータ収集デバイス６６０の背面図である６０８を例示する。背面図である６０８は、後方ディスプレイ６１０、ボタン６１２、１つ以上の光源６１４、接続部６１６、およびもう１つのセンサ６１９を含み得る。前方ディスプレイ６０４と同様に、後方ディスプレイ６１０は、これらに限定されないが、１つ以上の液晶ディスプレイ（ＬＣＤ）、１つ以上の発光ダイオード（ＬＥＤ）の配列、ＡＭＯＬＥＤ、または他の表示技術を含む、様々な表示技術を含み得る。後方ディスプレイ６１０は、提供者、要求者、または車両の同乗者区画内の他の同乗者に情報を表示するように構成され得る。特定の実施形態では、後方ディスプレイ６１０は、提供者車両の外部および背後にいる人々に情報を提供するように構成され得る。情報は、例えば、スクロール文字、色、パターン、アニメーション、および任意の他の視覚表示を介して伝達され得る。図６Ｃにさらに示すように、データ収集デバイス６６０は、電源ボタン６１２またはデバイス６６０をオンもしくはオフにするために使用することができる任意の他の好適なユーザインターフェースを含み得る。特定の実施形態では、電源ボタン６１２は、電力がデータ収集デバイス６６０に提供されたかどうかを物理的に制御するバードウエアボタンまたはスイッチであり得る。代替的に、電源ボタン６１２は、ソフトウエアおよび／またはファームウエア命令によって管理されるスタートアップ／シャットダウン手順を軌道するソフトボタンであり得る。代替的に、データ収集デバイス６６０は、デバイス６６０に隣接する領域を照明し、かつ／またはステータス信号を提供するように構成された１つ以上の光特徴部６１４（１つ以上のＬＥＤまたは他の光源など）を含み得る。

特定の実施形態では、データ収集デバイス６６０は、前方ディスプレイ６０４または／および後方ディスプレイ６１０によって表示される色および／または他の照明を制御するための照明制御装置を含む。照明制御装置は、意図する情報が伝達されるようにディスプレイを制御するための規則およびアルゴリズムを含み得る。例えば、マッチングする提供者および要求者の組が乗車場所で互いを発見する助けをするために、照明制御装置は、識別のために青色が使用されるべきとの命令を得る場合がある。それに応じて、前方ディスプレイ６０４は、青を表示し得、照明制御装置は、乗車提供者が探す色がわかるように、光特徴部６１４に青を表示させることができる。

図７は、乗車要求者を自律走行車両とマッチングするための輸送管理環境の例示的なブロック図表を例示する。特定の実施形態では、環境は、ユーザ７０１のユーザコンピューティングデバイス７３０（例えば、乗車提供者または要求者）、輸送管理システム７６０、自律走行車両７４０、および１つ以上の第三者システム７７０などの様々なコンピューティングエンティティを含み得る。コンピューティングエンティティは、任意の好適なネットワーク７１０を介して通信接続され得る。一例として、限定されないが、ネットワーク７１０の１つ以上の部分は、ホックネットワーク、エクストラネット、仮想専用網（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの一部分、公衆電話交換網（ＰＳＴＮ）の一部分、セルラネットワーク、または上記のうちのいずれかの組み合わせを含み得る。特定の実施形態では、コンピューティングエンティティが互いに通信することを可能にする任意の好適なネットワーク配置およびプロトコルを使用することができる。図７は、単一のユーザデバイス７３０、単一の輸送管理システム７６０、単一の車両７４０、複数の第三者システム７７０、および単一のネットワーク７１０を例示しているが、本開示は、これらのエンティティの各々の任意の好適な数を企図している。一例として、限定されないが、ネットワーク環境は、複数のユーザ７０１、ユーザデバイス７３０、輸送管理システム７６０、自律走行車両７４０、第三者システム７７０、およびネットワーク７１０を含み得る。

ユーザデバイス７３０、輸送管理システム７６０、自律走行車両７４０、および第三者システム７７０は、全部または一部が、互いに通信接続または共同設置される場合がある。これらのコンピューティングエンティティは、異なる伝送技術およびネットワークタイプを介して通信することができる。例えば、ユーザデバイス７３０および車両７４０は、ケーブルまたは短距離無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＩ‐ＦＩなど）を介して互いに通信することができ、同時に、それらはデバイスのいずれか１つにアクセス可能なセルラネットワークを介してインターネットに接続され得る（例えば、ユーザデバイス７３０は、ＬＴＥ接続によるスマートフォンであり得る）。他方、輸送管理システム７６０および第三者システム７７０は、そのそれぞれのＬＡＮ／ＷＬＡＮネットワークおよびインターネットサービス提供者（ＩＳＰ）を介してインターネットに接続される場合がある。図７は、ユーザデバイス７３０、自律走行車両７４０、輸送管理システム７６０、および第三者システム７７０を通信ネットワーク７１０に接続する伝送リンク７５０を例示している。本開示は、例えば、配線接続（例えば、ＵＳＢ、ライトニング、デジタル加入者回線（ＤＳＬ）またはケーブルによるデータサービスインターフェース標準（ＤＯＣＳＩＳ））、無線接続（例えば、ＷＩ‐ＦＩ、ＷｉＭＡＸ、セルラ、衛星、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ）、光接続（例えば、同期光通信網（ＳＯＮＥＴ）、同期デジタルハイアラーキ（ＳＤＨ））、任意の他の無線通信技術、およびそれらの任意の組み合わせを含む、任意の好適な伝送リンク７５０を企図している。特定の実施形態では、１つ以上のリンク７５０は、例えば、アドホックネットワーク、イントラネット、エクストラネット、ＶＰＮ、ＬＡＮ、ＷＬＡＮ、ＷＡＮ、ＷＷＡＮ、ＭＡＮ、ＰＳＴＮ、セルラネットワーク、衛星ネットワーク、またはそれらの任意の組み合わせを一部含み得る、１つ以上のネットワーク７１０に接続し得る。コンピューティングエンティティは、同じ種類の伝送リンク７５０を使用する必要は必ずしもない。例えば、ユーザデバイス７３０は、セルラネットワークおよびインターネットを介して輸送管理システムと通信し得るが、Ｂｌｕｅｔｏｏｔｈまたは物理的な配線接続を介して自律走行車両７４０と通信することができる。

特定の実施形態では、輸送管理システム７６０は、好適な車両を派遣することによって、１つ以上のユーザ７０１のための乗車要求を満たすことができる。輸送管理システム７６０は、任意の数の乗車要求者７０１から任意の数の乗車要求を受信し得る。特定の実施形態では、乗車要求者７０１からの乗車要求は、システム７６０内で乗車要求者を識別する識別子を含み得る。輸送管理システム７６０は、識別子を使用して、要求者７０１のプライバシー設定に従って、乗車要求者７０１の情報にアクセスし、これを保存することができる。乗車要求者７０１の情報は、輸送管理システム７６０と関連付けられ、これにアクセス可能な１つ以上のデータストア（例えば、リレーショナルデータベースシステム）に保存され得る。特定の実施形態では、乗車要求者の情報は、特定の乗車要求者７０１についてのプロファイル情報を含み得る。特定の実施形態では、乗車要求者７０１は、１つ以上のカテゴリまたは種類と関連付けられ得、それを通して、乗車要求者７０１は、これらのカテゴリまたは種類の特定の乗車要求者についての情報集合体と関連付けられ得る。乗車情報は、例えば、好ましい乗車および下車場所、運転嗜好（例えば、安全快適レベル、好ましい速度、加速／減速の割合、様々な速度、経路などを走行する際の他の車両からの安全距離など）、娯楽嗜好および設定（例えば、好ましい音楽ジャンルまたはプレイリスト、音量、表示輝度など）、温度設定、運転者との会話が受け入れられているか、よく行く目的地、履歴乗車パターン（例えば、走行、開始、および終了場所の時刻など）、好ましい言語、年齢、性別、または任意の他の好適な情報を含み得る。特定の実施形態では、輸送管理システム７６０は、ユーザ７０１についての既知の情報に基づいて（例えば、機械学習分類器を使用した）ユーザ７０１を分類し、分類を使用して、そのクラスと関連付けられた関連する情報集合体を検索し得る。例えば、システム７６０は、ユーザ７０１を若年成人として分類し、若年成人が一般に好む音楽の種類など、若年成人と関連付けられた関連する情報集合体を検索し得る。

輸送管理システム７６０はまた、乗車情報を保存およびアクセスし得る。乗車情報は、乗車に関連する場所、交通データ、経路オプション、乗車のための乗車または下車場所、または乗車と関連付けられた任意の他の好適な情報を含み得る。一例として、限定されないが、輸送管理システム７６０がサンフランシスコ国際航空（ＳＦＯ）からカリフォルニアのパロアルトまで走行するように要求を受信した場合、システム７６０は、この特定の乗車要求のために任意の関連する乗車情報にアクセスまたは生成し得る。乗車情報は、例えば、ＳＦＯでの好ましい乗車場所、乗車場所が乗車要求者と両立しない（例えば、乗車要求者が障がい者であり得、乗車場所にアクセスできない）または乗車場所が、そうでなければ、建設工事、交通渋滞、乗車／下車規則の変更、もしくは任意の他の理由に起因して利用できないというイベントでの代替的な乗車場所、ＳＦＯからパロアルトまでのナビゲーションのための１つ以上の経路、ユーザの種類に対する好ましいオフランプ、または乗車と関連付けられた任意の他の好適な情報を含み得る。特定の実施形態では、乗車情報の部分は、システム７６０によって促進される乗車履歴と関連付けられた履歴データに基づき得る。例えば、履歴データは、本明細書で記載される任意の乗車情報ならびに自律走行車両および／またはユーザデバイス内でセンサによって収集されたテレメトリデータを含み得る、過去の乗車情報に基づいて生成された情報集合体を含み得る。履歴データは、特定のユーザ（例えば、特定のユーザの嗜好、共通の経路など）、ユーザのカテゴリ／クラス（例えば、人口統計に基づく）、および／またはシステム７６０のすべてのユーザと関連付けられ得る。例えば、１人間のユーザに専用の履歴データは、ユーザが乗車および下車される場所、ユーザが好んで聞く音楽、乗車と関連付けられた交通情報、ユーザが最もよく乗車する時刻、およびユーザに専用の任意の他の好適な情報を含む、特定のユーザが行う過去の乗車についての情報を含み得る。別の例として、ユーザのカテゴリ／クラスと関連付けられた履歴データは、例えば、１０代が好むポップミュージック、金融街によく通勤する乗車要求者はニュースを聞くのを好み得るなど、そのカテゴリ／クラスにおけるユーザの一般的または人気の乗車嗜好を含み得る。また別の例として、すべてのユーザと関連付けられた履歴データは、交通および乗車パターンなどの一般的な使用傾向を含み得る。履歴データを使用して、システム７６０は、特定の実施形態では、乗車要求に応じて、乗車提案を予測および提供することができる。特定の実施形態では、システム７６０は、ニューラル・ネットワーク、回帰アルゴリズム、実例ベースのアルゴリズム（例えば、ｋ最近傍）、決定樹アルゴリズム、ベイズ理論アルゴリズム、クラスタリング・アルゴリズム、相関ルール学習アルゴリズム、ディープラーニングアルゴリズム、次元縮小アルゴリズム、アンサンブルアルゴリズム、当業者に周知の任意の他の好適な機械学習アルゴリズムなどの機械学習を使用することができる。機械学習モデルは、ラベル付き訓練データに基づく教師付き学習、ラベルなし訓練データに基づく教師なし学習、および／またはラベル付きおよびラベルなし訓練データの混合に基づく半教師付き学習を含む、任意の好適な訓練アルゴリズムを使用して訓練され得る。

特定の実施形態では、輸送管理システム７６０は、１つ以上のサーバコンピュータを含み得る。各サーバは、単一のサーバ、または複数のコンピュータもしくは複数のデータセンターにまたがる分散サーバであり得る。サーバは、例えば、限定されないが、ウエブサーバ、ニュースサーバ、メールサーバ、メッセージサーバ、広告サーバ、ファイルサーバ、アプリケーションサーバ、交換サーバ、データベースサーバ、プロキシサーバ、本明細書に記載の機能もしくはプロセスを行うために好適な別のサーバ、またはそれらの任意の組み合わせなど、様々な種類からなり得る。特定の実施形態では、各サーバは、ハードウエア、ソフトウエア、もしくは埋め込み型論理構成要素、またはサーバによって実装もしくは支持される適切な機能性を実行するための２つ以上のそのような構成要素の組み合わせを含み得る。特定の実施形態では、輸送管理システム７６０は、１つ以上のデータストアを含み得る。データストアは、乗車情報、乗車要求者情報、乗車提供者情報,履歴情報、第三者情報、または任意の他の好適な種類の情報などの様々な種類の情報を保存するために使用され得る。特定の実施形態では、データストアに保存された情報は、特定のデータ構造に従って体系化され得る。特定の実施形態では、各データストアは、リレーショナル、柱状、相関、または任意の他の好適な種類のデータベースシステムであり得る。本開示は、特定の種類のデータベースを記載または例示しているが、本開示は、任意の好適な種類のデータベースを企図している。特定の実施形態は、ユーザデバイス７３０（乗車要求者または提供者に属する場合がある）、輸送管理システム７６０、車両システム７４０、または第三者システム７７０が、データストアに保存された情報を処理、変換、管理、検索、変更、追加、または削除することを可能にするインターフェースを提供することができる。

特定の実施形態では、輸送管理システム７６０は、ユーザ７０１が、それらの情報および動作を輸送管理システム７６０によってログ、記録、もしくは検知させるか、または他のシステム（例えば、第三者システム７７０）と共有させることをオプトインまたはオプトアウトすることを可能にする認証サーバ（または任意の他の好適な構成要素（複数可））を含み得る。特定の実施形態では、ユーザ７０１は、適切なプライバシー設定を設定することによってオプトインまたはオプトアウトすることができる。ユーザのプライバシー設定は、ユーザと関連付けられた何の情報がログされ得るか、ユーザと関連付けられた情報がどのようにログされ得るか、ユーザと関連付けられた情報がいつログされ得るか、ユーザと関連付けられた情報を誰がログし得るか、ユーザと関連付けられた情報が誰と共有され得るか、およびユーザと関連付けられた情報が何の目的でログまたは共有され得るかを決定し得る。認証サーバは、ブロック、データハッシュ、匿名化、必要に応じて他の好適な技術を介して、輸送管理システム７６０のユーザ７０１の１つ以上のプライバシー設定を実施するために使用され得る。

特定の実施形態では、第三者システム７７０は、ＨＤマップまたはホストＧＰＳマップ、カスタマレビュー、音楽もしくはコンテンツ、気象情報、または任意の他の好適な種類の情報を提供し得る、ネットワークアドレス可能なコンピューティングシステムであり得る。第三者システム７７０は、例えば、マップデータ、カスタマレビューウエブサイトからのカスタマレビューデータ、気象データ、または任意の他の好適な種類のデータなどの関連するデータを生成、保存、受信、および送信し得る。第三者システム７７０は、直接またはネットワーク７１０を介してのいずれかでネットワーク環境の他のコンピューティングエンティティによってアクセスされ得る。例えば、ユーザデバイス７３０は、ネットワーク７１０または輸送管理システム７６０を介して第三者システム７７０にアクセスし得る。後者のケースでは、第三者システム７７０にアクセスするために認証情報が必要とされる場合、ユーザ７０１は、第三者システム７７０からのコンテンツにアクセスするためのプロキシとして機能し得る輸送管理システム７６０に、そのような情報を提供し得る。

特定の実施形態では、ユーザデバイス７３０は、スマートフォン、タブレットコンピュータ、またはラップトップコンピュータなどのモバイルコンピューティングデバイスであり得る。ユーザデバイス７３０は、１つ以上のプロセッサ（例えば、ＣＰＵおよび／またはＧＰＵ）、メモリ、および記憶装置を含み得る。オペレーティングシステムおよびアプリケーションは、例えば、輸送管理システム７６０と関連付けられた輸送アプリケーション、第三者システム７７０と関連付けられたアプリケーション、およびオペレーティングシステムと関連付けられたアプリケーションなどのユーザデバイス７３０に搭載され得る。ユーザデバイス７３０は、ＧＰＳ、コンパス、ジャイロスコープ、または加速度計などの一体型センサに基づいて、その場所、方向、または向きを決定するための機能性を含み得る。ユーザデバイス７３０はまた、無線通信のための無線トランシーバを含む場合があり、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）、赤外線（ＩＲ）通信、ＷＩ‐ＦＩ、および／または２Ｇ／３Ｇ／４Ｇ／ＬＴＥモバイル通信規格などの無線通信プロトコルを支持し得る。ユーザデバイス７３０はまた、１つ以上のカメラ、スキャナ、タッチスクリーン、マイクロフォン、スピーカ、および任意の他の好適な入力出力デバイスを含み得る。

特定の実施形態では、車両７４０は、自律走行車両である場合があり、センサ７４４のアレイ、ナビゲーションシステム７４６、および乗車サービスコンピューティングデバイス７４８を搭載し得る。特定の実施形態では、自律走行車両７４０の車隊は、輸送管理システム７６０によって管理され得る。自律走行車両７４０の車隊は、全部または一部が、輸送管理システム７６０と関連付けられたエンティティによって所有され得るか、または輸送管理システム７６０に関連する第三者エンティティによって所有され得る。いずれかの場合、輸送管理システム７６０は、例えば、乗車要求を満たすために選択車両７４０を派遣すること、選択動作を行うように車両７４０に指示すること（例えば、サービスセンターまたは充電／燃料補給所に向かう、片側に寄せる、即時停止する、自己診断する、コンパートメントをロック／アンロックする、音楽ステーションを変更する、温度を変更する、および任意の他の好適な動作）、および選択動作モードに入るように車両７４０に指示すること（例えば、通常動作する、減速で運転する、人間の操作者の命令下で運転する、および任意の他の好適な動作モード）を含む、自律走行車両７４０の動作を制御し得る。

特定の実施形態では、自律走行車両７４０は、輸送管理システム７６０および第三者システム７７０からデータを受信し、そこへデータを送信することができる。受信されるデータの例には、例えば、命令、新しいソフトウエアまたはソフトウエアのアップデート、マップ、３Ｄモデル、訓練された、または訓練されていない機械学習モデル、場所情報（例えば、乗車要求者の場所、自律走行車両７４０自体、他の自律走行車両７４０、サービスセンターなどの標的目的地）、ナビゲーション情報、交通情報、気象情報、娯楽コンテンツ（例えば、音楽、ビデオ、およびニュース）、乗車要求者の情報、乗車情報、および任意の他の好適な情報が含まれ得る。自律走行車両７４０から送信されるデータの例には、例えば、テレメトリおよびセンサデータ、そのようなデータに基づく決定／決意、車両状況または状態（例えば、バッテリ／燃料レベル、タイヤおよびブレーキ状況、センサ状況、速度、走行距離計など）、場所、ナビゲーションデータ、同乗者入力（例えば、車両７４０内のユーザインターフェースを介して、同乗者は、輸送管理システム７６０および／または第三者システム７７０にデータを送信／受信し得る）、および任意の他の好適なデータを含み得る。

特定の実施形態では、自律走行車両７４０はまた、互いに、ならびに輸送管理システム７６０によって管理されているものも管理されていないものも含む、他の従来の人間が運転する車両と通信することができる。例えば、１つの車両７４０は、そのそれぞれの場所、状況、状態、センサ読み取り、および任意の他の好適な情報に関する別の車両データと通信し得る。特定の実施形態では、車両間通信は、直接単距離無線接続（例えば、ＷＩ-ＦＩ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ）および／またはネットワーク（例えば、インターネット、または輸送管理システム７６０もしくは第三者システム７７０を介して）を介して生じ得る。

特定の実施形態では、自律走行車両７４０は、センサ／テレメトリデータを取得および処理することができる。そのようなデータは、任意の好適なセンサによって捕捉され得る。例えば、車両７４０は、パルスレーザ光を発し、車両７４０を囲む物体から反射された光を測定する、３６０°回転するように構成された複数のＬｉＤＡＲトランシーバの光検出および測距（ＬｉＤＡＲ）センサアレイを有し得る。特定の実施形態では、ＬｉＤＡＲ送信信号は、光回折の原理を使用して光ビームを方向付けるＭＥＭデバイスであり得る、ゲート型光バルブの使用により操舵され得る。そのようなデバイスは、自律走行車両の周りを３６０°で光ビームを操舵するためにジンバル付きミラーを使用しなくてもよい。むしろ、ゲート型光バルブは、光ビームが自律走行車両の周りの多くの個別の位置に方向付けられ得るように配列され得る、いくつかの光ファイバのうちの１つに光ビームを方向付けることができる。したがって、データは、自律走行車両の周りを３６０°で捕捉され得るが、回転部は必要ない可能性がある。ＬｉＤＡＲは、標的までの距離を測定するのに有効なセンサであり、そのため、自律走行車両７４０の外部環境の三次元（３Ｄ）モデルを生成するために使用され得る。一例として、限定されないが、３Ｄモデルは、他の車、縁石、デブリ、物体、および歩行者などの物体を含む外部環境を、センサ配列の最大範囲まで（例えば、５０、１００、または２００メートル）表すことができる。別の例として、自律走行車両７４０は、異なる方向を向く複数の光カメラを有し得る。カメラは、例えば、道路、車線区分線、道路標識、交通信号、警官、他の車両、および任意の他の視認可能な関心物体を認識するために使用され得る。車両７４０を夜間に「見る」ことを可能にするために、赤外線カメラが搭載される場合がある。特定の実施形態では、車両は、例えば、道路上の歩行者または木の枝などのスポッティングハザードのためのステレオビジョンを装備している場合がある。別の例として、車両７４０は、例えば、遠方にある他の車両および／またはハザードを検出するためのレーダーを有する場合がある。さらに、車両７４０は、例えば、駐車および障害物検出のための超音波機器を有する場合がある。車両７４０がその周りの外部世界を検出、測定、および理解することを可能にするセンサに加えて、車両７４０は、車両自体の状態および状況を検出および自己診断するためのセンサをさらに装備している場合がある。例えば、車両７４０は、例えば、速度を測定するための車輪センサ、例えば、車両の現在の測位を決定するための全地球測位システム（ＧＰＳ）、ならびに／または移動または動作検出のための慣性計測ユニット、加速度計、ジャイロスコープ、および／もしくは走行距離計を有し得る。これらのセンサの説明は、実用性の特定の例を提供しているが、当業者であれば、センサの実用性がこれらの例に限定されないことを理解するだろう。さらに、実用性の例は、特定の種類のセンサに関して記載され得るが、実用性は、センサの任意の組み合わせを使用して達成され得ることが理解されるべきである。例えば、自律走行車両７４０は、輸送管理システム７６０または第三者システム７７０から得られた予め生成されたマップと共に、そのＬｉＤＡＲ、レーダー、ソナー、およびカメラからのデータに基づいてその周囲の３Ｄモデルを構築することができる。センサ７４４は、図７の自律走行車両７４０上の特定の場所に現れているが、センサ７４４は、自律走行車両７４０内または上の任意の好適な場所に配置され得る。センサの例示的な場所には、前および後バンパー、ドア、前フロントガラス、側パネル上、または任意の他の好適な場所が含まれる。

特定の実施形態では、自律走行車両７４０は、処理ユニット（例えば、１つ以上のＣＰＵおよびＧＰＵ）、メモリ、および記憶装置が装備される場合がある。したがって、車両７４０は、センサデータの処理、有用な情報の抽出、それに応じた動作を含む、様々な計算および処理タスクを実行するために装備され得る。例えば、そのカメラおよびマシンビジョンモデルによって捕捉される画像に基づいて、車両７４０は、歩行者、他の車両、車線、縁石、および任意の他の関心物体など、画像によって捕捉される特定の種類の物体を識別することができる。

特定の実施形態では、自律走行車両７４０は、自律走行車両７４０を安全にナビゲートする役割を担うナビゲーションシステム７４６を有し得る。特定の実施形態では、ナビゲーションシステム７４６は、例えば、全地球測位システム（ＧＰＳ）モジュール、慣性計測ユニット（ＩＭＵ）、ＬｉＤＡＲセンサ、光カメラ、無線周波数（ＲＦ）トランシーバ、または任意の他の好適なテレメトリもしくは知覚機構からの任意の種類のセンサデータを入力として取ることができる。ナビゲーションシステム７４６はまた、例えば、マップデータ、交通データ、事故レポート、気象レポート、命令、標的目的地、およびナビゲーション経路および特定の運転動作（例えば、減速、加速、停止、尻振りなど）を決定するための任意の他の好適な情報を利用することができる。特定の実施形態では、ナビゲーションシステム７４６は、その決定を使用して、車両７４０を制御し、所定の方法で動作し、他の物体に衝突することなく、自律走行車両７４０をその目的地に誘導することができる。ナビゲーションシステム７４６の物理的な実施形態（例えば、処理ユニット）は、図７の自律走行車両７４０上の特定の場所に現れているが、ナビゲーションシステム７４６は、自律走行車両７４０内または上の任意の好適な場所に配置され得る。ナビゲーションシステム７４６のための例示的な場所には、自律走行車両７４０のキャビンもしくは同乗者区画の内側、エンジン／バッテリの近く、前座席、後座席の近く、または任意の他の好適な場所が含まれる。

特定の実施形態では、自律走行車両７４０は、ユーザが自律走行車両７４０、輸送管理システム７６０、他のユーザ７０１、または第三者システム７７０と相互作用することを可能にするために、タブレットまたは輸送管理システム７６０によって搭載された任意の他の好適なデバイスであり得る、乗車サービスコンピューティングデバイス７４８を装備している場合がある。特定の実施形態では、乗車サービスコンピューティングデバイス７４８の搭載は、乗車サービスコンピューティングデバイス７４８を自律走行車両７４０の内側に置き、配線または無線接続を介して（例えば、Ｂｌｕｅｔｏｏｔｈを介して）車両７４０と通信するようにそれを構成することによって達成され得る。図７は、自律走行車両７４０の特定の場所での単一の乗車サービスコンピューティングデバイス７４８を例示しているが、自律走行車両７４０は、車両内のいくつかの異なる場所にいくつかの乗車サービスコンピューティングデバイス７４８を含み得る。一例として、限定されないが、自律走行車両７４０は、以下の場所に配置された４つの乗車サービスコンピューティングデバイス７４８を含む場合がある：左前同乗者座席（例えば、従来の米国の自動車では運転者座席）の前に１つ、右前同乗者座席の前に１つ、左後および右後同乗者座席の各々の前に１つ。特定の実施形態では、乗車サービスコンピューティングデバイス７４８は、自律走行車両７４０の任意の構成要素から着脱可能であり得る。これにより、ユーザは、他のタブレットコンピューティングデバイスと矛盾しない方法で、乗車サービスコンピューティングデバイス７４８を取り扱うことができ得る。一例として、限定されないが、ユーザは、乗車サービスコンピューティングデバイス７４８を自律走行車両７４０のキャビンもしくは同乗者区画内の任意の場所に移動させることができ、乗車サービスコンピューティングデバイス７４８を保持し得、または乗車サービスコンピューティングデバイス７４８を任意の他の好適な方法で取り扱うことができる。本開示は、特定のコンピューティングデバイスを特定の方法で提供することを記載しているが、本開示は、任意の好適なコンピューティングデバイスを任意の好適な方法で提供することを企図している。

図８は、例示的なコンピュータシステム８００を例示する。特定の実施形態では、１つ以上のコンピュータシステム８００は、本明細書に記載または例示されている１つ以上の方法の１つ以上の段階を行う。特定の実施形態では、１つ以上のコンピュータシステム８００は、本明細書に記載および例示されている機能性を提供する。特定の実施形態では、１つ以上のコンピュータシステム８００上で作動するソフトウエアは、本明細書に記載もしくは例示される１つ以上の方法の１つ以上の工程を行うか、または本明細書に記載もしくは例示される機能性を提供する。特定の実施形態は、１つ以上のコンピュータシステム８００の１つ以上の部分を含む。本明細書では、コンピュータシステムへの参照は、コンピューティングデバイスを包含する場合があり、必要に応じて、逆も同様である。さらに、コンピュータシステムへの参照は、必要に応じて、１つ以上のコンピュータシステムを包含し得る。

本開示は、任意の好適な数のコンピュータシステム８００を企図している。本開示は、任意の好適な物理的形態を取るコンピュータシステム８００を企図している。一例として、限定されないが、コンピュータシステム８００は、埋め込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、単一ボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）など）、デスクトップコンピュータシステム、ラップトップもしくはノートブックコンピュータシステム、インターネット・キオスク、メインフレーム、コンピュータシステム網、モバイルテレフォン、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、またはこれらの２つ以上の組み合わせであり得る。必要に応じて、コンピュータシステム８００は、１つ以上のコンピュータシステム８００を含み、単一または分散型であり、複数の場所にまたがり、複数の機械にまたがり、複数のデータセンターにまたがり、または１つ以上のネットワーク内の１つ以上のクラウド構成要素を含み得るクラウド内に存在し得る。必要に応じて、１つ以上のコンピュータシステム８００は、本明細書に記載または例示されている１つ以上の方法の１つ以上の工程を、実質的な空間的または時間的制限なく行うことができる。一例として、限定されないが、１つ以上のコンピュータシステム８００は、本明細書に記載または例示されている１つ以上の方法の１つ以上の工程を、実時間またはバッチモードで行うことができる。１つ以上のコンピュータシステム８００は、必要に応じて、本明細書に記載または例示されている１つ以上の方法の１つ以上の工程を異なる時間または異なる場所で行うことができる。

特定の実施形態では、コンピュータシステム８００は、プロセッサ８０２、メモリ８０４、記憶装置８０６、入力／出力（Ｉ／Ｏ）インターフェース８０８、通信インターフェース８１０、およびバス８１２を含む。本開示は、特定の配列で特定の構成要素の特定の数を有する特定のコンピュータシステムを記載および例示しているが、本開示は、任意の好適な配列で任意の好適な構成要素の任意の好適な数を有する任意の好適なコンピュータシステムを企図している。

特定の実施形態では、プロセッサ８０２は、コンピュータプログラムを構成するものなど、命令を実施するためのハードウエアを含む。一例として、限定されないが、命令を実施するために、プロセッサ８０２は、内部レジスタ、内部キャッシュ、メモリ８０４、または記憶装置８０６からの命令を検索（または取り出し）、それらをデコードおよび実施し、１つ以上の結果を、内部レジスタ、内部キャッシュ、メモリ８０４、または記憶装置８０６に書き込むことができる。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレス用の１つ以上の内部キャッシュを含み得る。本開示は、必要に応じて、任意の好適な内部キャッシュの任意の好適な数を含むプロセッサ８０２を企図している。一例として、限定されないが、プロセッサ８０２は、１つ以上の命令キャッシュ、１つ以上のデータキャッシュ、および１つ以上のトランスレーション・ルックアサイド・バッファ（ＴＬＢ）を含み得る。命令キャッシュ内の命令は、メモリ８０４または記憶装置８０６内の命令のコピーであり得、命令キャッシュは、プロセッサ８０２によってこれらの命令の検索を加速することができる。データキャッシュ内のデータは、コンピュータ命令によって動作されるメモリ８０４もしくは記憶装置８０６内のデータのコピー、その後の命令にアクセス可能な、またはメモリ８０４もしくは記憶装置８０６に書き込むためのプロセッサ８０２によって実行される以前の命令の結果、あるいは任意の他の好適なデータであり得る。データキャッシュは、プロセッサ８０２によって動作の読み取りまたは書き込みを加速することができる。ＴＬＢは、プロセッサ８０２のための仮想アドレス変換を加速することができる。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレス用の１つ以上の内部レジスタを含み得る。本開示は、必要に応じて、任意の好適な内部レジスタの任意の好適な数を含む、プロセッサ８０２を企図している。必要に応じて、プロセッサ８０２は、１つ以上の演算論理回路（ＡＬＵ）を含み、マルチコアプロセッサであり、または１つ以上のプロセッサ８０２を含み得る。本開示は、特定のプロセッサを記載および例示しているが、本開示は、任意の好適なプロセッサを企図している。

特定の実施形態では、メモリ８０４は、プロセッサ８０２が実施するための命令、またはプロセッサ８０２が動作するためのデータを保存するためのメインメモリを含む。一例として、限定されないが、コンピュータシステム８００は、記憶装置８０６または別のソース（別のコンピュータシステム８００など）からメモリ８０４に命令をロードし得る。次に、プロセッサ８０２は、メモリ８０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実施するために、プロセッサ８０２は、内部レジスタまたは内部キャッシュから命令を検索し、それらをデコードし得る。命令の実施中または後、プロセッサ８０２は、１つ以上の結果（中間または最終結果であり得る）を内部レジスタまたは内部キャッシュに書き込み得る。次に、プロセッサ８０２は、これらの結果の１つ以上をメモリ８０４に書き込み得る。特定の実施形態では、プロセッサ８０２は、１つ以上の内部レジスタまたは内部キャッシュまたはメモリ８０４内の命令のみを実施し（記憶装置８０６または他とは対照的に）、１つ以上の内部レジスタまたは内部キャッシュまたはメモリ８０４内のデータに対してのみ動作する（記憶装置８０６または他とは対照的に）。１つ以上のメモリバス（アドレスバスおよびデータバスを各々含み得る）は、プロセッサ８０２をメモリ８０４に連結し得る。バス８１２は、以下にさらに詳細に記載するように、１つ以上のメモリバスを含み得る。特定の実施形態では、１つ以上のメモリ管理ユニット（ＭＭＵ）は、プロセッサ８０２とメモリ８０４との間に存在し、プロセッサ８０２によって要求されるメモリ８０４へのアクセスを容易にする。特定の実施形態では、メモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、必要に応じて、揮発性メモリであり得る。必要に応じて、このＲＡＭは、動的ＲＡＭ（ＤＲＡＭ）または静的ＲＡＭ（ＳＲＡＭ）であり得る。さらに、必要に応じて、このＲＡＭは、単一ポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図している。メモリ８０４は、必要に応じて、１つ以上のメモリ８０４を含み得る。本開示は、特定のメモリを記載および例示しているが、本開示は、任意の好適なメモリを企図している。

特定の実施形態では、記憶装置８０６は、データまたは命令のための大容量記憶装置を含む。一例として、限定されないが、記憶装置８０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、またはこれらの２つ以上の組み合わせを含み得る。記憶装置８０６は、必要に応じて、取り外し可能または取り外し不能（または固定の）媒体を含み得る。記憶装置８０６は、必要に応じて、コンピュータシステム８００の内部または外部にある場合がある。特定の実施形態では、記憶装置８０６は、非揮発性のソリッドステートメモリである。特定の実施形態では、記憶装置８０６は、読み取り専用メモリ（ＲＯＭ）を含む。必要に応じて、このＲＯＭは、マスクプログラムされたＲＯＭ、プログラム可能ＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的可変ＲＯＭ（ＥＡＲＯＭ）またはフラッシュメモリ、またはこれらの２つ以上の組み合わせであり得る。本開示は、任意の好適な物理的形態を取る大容量記憶装置８０６を企図している。記憶装置８０６は、必要に応じて、プロセッサ８０２と記憶装置８０６との間の通信を促進する１つ以上の記憶制御ユニットを含み得る。必要に応じて、記憶装置８０６は、１つ以上の記憶装置８０６を含み得る。本開示は、特定の記憶装置を記載および例示しているが、本開示は、任意の好適な記憶装置を企図している。

特定の実施形態では、Ｉ／Ｏインターフェース８０８は、コンピュータシステム８００と１つ以上のＩ／Ｏデバイスとの間の通信のための１つ以上のインターフェースを提供する、ハードウエア、ソフトウエア、または両方を含む。コンピュータシステム８００は、必要に応じて、これらのＩ／Ｏデバイスの１つ以上を含み得る。これらのＩ／Ｏデバイスの１つ以上は、人とコンピュータシステム８００との間の通信を可能にし得る。一例として、限定されないが、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、監視、マウス、プリンタ、スキャナ、スピーカ、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらの２つ以上の組み合わせを含み得る。Ｉ／Ｏデバイスは、１つ以上のセンサを含み得る。本開示は、任意の好適なＩ／Ｏデバイスおよびそれらのための任意の好適なＩ／Ｏインターフェース８０８を企図している。必要に応じて、Ｉ／Ｏインターフェース８０８は、プロセッサ８０２がこれらのＩ／Ｏデバイスの１つ以上を駆動させることを可能にする１つ以上のデバイスまたはソフトウエアドライバを含み得る。Ｉ／Ｏインターフェース８０８は、必要に応じて、１つ以上のＩ／Ｏインターフェース８０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを記載および例示しているが、本開示は、任意の好適なＩ／Ｏインターフェースを企図している。

特定の実施形態では、通信インターフェース８１０は、コンピュータシステム８００と１つ以上の他のコンピュータシステム８００または１つ以上のネットワークとの間の通信（例えば、パケットベースの通信など）のための１つ以上のインターフェースを提供する、ハードウエア、ソフトウエア、または両方を含む。一例として、限定されないが、通信インターフェース８１０は、イーサネット（登録商標）または任意の他の配線ベースのネットワークと通信するためのネットワークインターフェイスコントローラ（ＮＩＣ）もしくはネットワークアダプタ、またはＷＩ‐ＦＩネットワークなどの無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）もしくは無線アダプタを含み得る。本開示は、そのための任意の好適なネットワークおよび任意の好適な通信インターフェース８１０を企図している。一例として、限定されないが、コンピュータシステム８００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つ以上の部分、またはこれらの２つ以上の組み合わせと通信することができる。これらのネットワークの１つ以上の１つ以上の部分は、有線または無線であり得る。一例として、コンピュータシステム８００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、Ｂｌｕｅｔｏｏｔｈ ＷＰＡＮなど）、ＷＩ‐ＦＩネットワーク、ＷＩ‐ＭＡＸネットワーク、携帯電話ネットワーク（例えば、モバイル通信（ＧＳＭ（登録商標））ネットワークのためのグローバルシステムなど）、または任意の他の好適な無線ネットワーク、またはこれらの２つ以上の組み合わせと通信することができる。コンピュータシステム８００は、必要に応じて、これらのネットワークのいずれかのための任意の好適な通信インターフェース８１０を含み得る。通信インターフェース８１０は、必要に応じて、１つ以上の通信インターフェース８１０を含み得る。本開示は、特定の通信インターフェースを記載および例示しているが、本開示は、任意の好適な通信インターフェースを企図している。

特定の実施形態では、バス８１２は、コンピュータシステム８００の構成要素を互いに連結させる、ハードウエア、ソフトウエア、または両方を含む。一例として、限定されないが、バス８１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または任意の他のグラフィックスバス、エンハンスドインダストリスタンダードアーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）インターコネクト、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤインターコネクト、Ｌｏｗ−Ｐｉｎ−Ｃｏｕｎｔ（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、リアル・アドバンスト・テクノロジ・アタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス・スタンダーズ・アソシエーションローカル（ＶＬＢ）バス、または別の好適なバス、またはこれらの２つ以上の組み合わせを含み得る。バス８１２は、必要に応じて、１つ以上のバス８１２を含み得る。本開示は、特定のバスを記載および例示しているが、本開示は、任意の好適なバスまたは相互接続を企図している。

本明細書では、コンピュータ可読非一時的な記憶媒体（複数可）は、１つ以上の半導体ベースの、もしくは他の種類の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードもしくはドライブ、任意の他の好適なコンピュータ可読非一時的な記憶媒体、または必要に応じて、これらの２つ以上の任意の好適な組み合わせを含み得る。コンピュータ可読非一時的な記憶媒体は、必要に応じて、揮発性、非揮発性、または揮発性および非揮発性の組み合わせであり得る。

本明細書では、「または」は、別段明示的に示されない限り、または文脈によって別段示されない限り、包括的であり、排他的ではない。したがって、本明細書では、別段明示的に示されない限り、または文脈によって別段示されない限り、「ＡまたはＢ」は、「Ａ、Ｂ、または両方」を意味する。さらに、別段明示的に示されない限り、または文脈によって別段示されない限り、「および」は、共同かつ別個の両方である。したがって、本明細書では、別段明示的に示されない限り、または文脈によって別段示されない限り、「ＡおよびＢ」は、共同で、または別個に「ＡおよびＢ」を意味する。

本開示の範囲は、当業者が理解する、本明細書に記載または例示される例示的な実施形態へのすべての変更、置換、変形、代替、および改変を包含する。本開示の範囲は、本明細書に記載および例示される例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、または工程を含むものとして、本明細書にそれぞれの実施形態を記載および例示しているが、これらの実施形態のいずれも、当業者が理解する本明細書のいずれかに記載または例示されている構成要素、要素、特徴、機能、動作、または工程のいずれかの任意の組み合わせまたは順列を含み得る。さらに、添付の特許請求の範囲における、特定の機能を行うように適合され、配列され、行うことができ、構成され、可能とされ、実施可能であり、または動作可能である、装置もしくはシステム、または装置もしくはシステムの構成要素への言及は、その装置、システム、または構成要素が、そのように適合され、配列され、行うことができ、構成され、可能とされ、実施可能であり、または動作可能である限り、それまたはその特定の機能が作動され、オンにされ、またはアンロックされているかにかかわらず、その装置、システム、構成要素を包含する。追加的に、本開示は、特定の利点を提供するものとして特定の実施形態を記載または例示しているが、特定の実施形態は、これらの利点のいずれかも提供しないか、そのいくつか、またはすべてを提供する可能性がある。

Claims (20)

1. 方法であって、コンピューティングシステムによって、
   人間の運転者によって動作される車両と関連付けられたコンテキストデータにアクセスする段階であって、前記コンテキストデータが、前記車両と関連付けられた１つ以上のセンサを使用して捕捉される、アクセスする段階と、
   複数の車両と関連付けられた予め記録されたコンテキストデータと関連付けられた情報に少なくとも基づいて前記コンテキストデータを処理することによって１つ以上の予測される車両動作を決定する段階と、
   前記人間の運転者によってなされる１つ以上の車両動作を検出する段階と、
   前記人間の運転者によってなされる前記１つ以上の車両動作と前記１つ以上の予測される車両動作との比較に基づいて、関心イベントが前記コンテキストデータと関連付けられると決定する段階と、
   前記関心イベントと関連付けられた高解像度コンテキストデータを保存させる段階と、を含む、方法。
2. 前記人間の運転者の前記１つ以上の車両動作が予め決定された閾値による前記１つ以上の予測される車両動作から逸脱するとの決定に基づいて、前記関心イベントが決定される、請求項１に記載の方法。
3. 前記予め記録されたコンテキストデータと関連付けられた情報が、予測モデルを含み、前記予測モデルが、前記複数の車両と関連付けられた前記予め記録されたコンテキストデータを使用して訓練される機械学習モデルである、請求項１または２に記載の方法。
4. イベント分類器を使用して、前記関心イベントを、先に検出された関心イベントに基づくカテゴリに分類する段階と、
   前記関心イベントに関心スコアを割り当てる段階であって、前記関心スコアが、前記カテゴリおよび前記関心イベントの１つ以上の特性に基づく、割り当てる段階と、をさらに含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記関心イベントが、前記イベント分類器が分類できない分類不能なイベントである、請求項４に記載の方法。
6. 前記関心イベントが、エージェントモデラが認識できない認識不能な物体を含む、請求項４に記載の方法。
7. 前記関心イベントと関連付けられた前記高解像度コンテキストデータを保存させる段階が、前記高解像度コンテキストデータを、前記コンピューティングシステムの揮発性メモリから非揮発性記憶装置に移動させる段階を含む、請求項１〜６のいずれか一項に記載の方法。
8. 前記関心イベントと関連付けられた前記高解像度コンテキストデータを保存させる段階が、前記高解像度コンテキストデータをクラウドにアップロードする段階を含む、請求項１〜７のいずれか一項に記載の方法。
9. 前記関心イベントと関連付けられる前記高解像度コンテキストデータにフラグを立てることをさらに含む、請求項１〜８のいずれか一項に記載の方法。
10. 前記関心イベントが前記コンテキストデータと関連付けられるとの決定に基づいて、保存される前記高解像度コンテキストデータを選択する段階をさらに含み、前記高解像度コンテキストデータが、対応するコンテキストデータが前記関心イベントと関連付けられないと決定された場合に保存されるデータと比較して、より多くの情報を含むか、またはより長い期間に対応する、請求項１〜９のいずれか一項に記載の方法。
11. 前記人間の運転者が注意を払う領域を決定する段階と、
    前記人間の運転者が注意を払う領域と関連付けられるコンテキストデータのセットを選択する段階であって、前記高解像度コンテキストデータが、選択された前記コンテキストデータのセットを含む、選択する段階と、をさらに含む、請求項１〜１０のいずれか一項に記載の方法。
12. 前記車両の前記コンテキストデータが、前記車両と関連付けられた１つ以上のパラメータを含み、前記車両と関連付けられた前記１つ以上のパラメータが、
    速度、
    移動方向、
    軌道、
    ＧＰＳ調整、
    加速度、
    制動ペダルにかかる圧力、
    加速ペダルにかかる圧力、
    ハンドルにかかる操舵力、
    車輪の方向、
    信号の状態、
    ナビゲーションマップ、
    標的位置、
    経路、
    予定時刻、または
    迂回路を含む、請求項１〜１１のいずれか一項に記載の方法。
13. 前記車両の前記コンテキストデータが、前記車両の環境と関連付けられた１つ以上のメトリックを含み、前記車両の前記環境と関連付けられた前記１つ以上のメトリックが、
    別の車両までの距離、
    別の車両との相対速度、
    歩行者までの距離、
    歩行者との相対速度、
    交通信号の状況、
    交通信号までの距離、
    交差点までの距離、
    道路標識、
    道路標識までの距離、
    縁石までの距離、
    道路線との相対位置、
    前記車両の視野内の物体、
    交通状況、
    別の車両の軌道、
    別の交通エージェントの動作、
    別の交通エージェントの速度、
    別の交通エージェントの移動方向、
    別の車両の信号状況、
    別の交通エージェントの位置、または
    他の車両の攻撃性メトリックを含む、請求項１〜１２のいずれか一項に記載の方法。
14. 前記車両の前記環境と関連付けられた前記１つ以上のメトリックが、もう１つのカメラまたはＬｉＤＡＲシステムに基づいて決定される、請求項１３に記載の方法。
15. 前記車両の前記コンテキストデータが、前記人間の運転者と関連付けられた１つ以上のパラメータを含み、前記人間の運転者と関連付けられた前記１つ以上のパラメータが、
    前記人間の運転者の頭の位置、
    前記人間の運転者の頭の移動、
    前記人間の運転者の手の位置、
    前記人間の運転者の手の移動、
    前記人間の運転者の足の位置、
    前記人間の運転者の足の移動、
    前記人間の運転者の視線方向、
    前記人間の運転者の視点、
    前記人間の運転者の画像、
    前記人間の運転者のしぐさ、または
    前記人間の運転者の声を含む、請求項１〜１４のいずれか一項に記載の方法。
16. 機械学習モデルによって、前記車両の前記コンテキストデータに基づいて、１つ以上のマルチチャネル画像を生成する段階であって、各マルチチャネル画像が、前記車両の前記コンテキストデータの異なる情報層に対応する複数のチャネルを有する、生成する段階と、
    前記１つ以上のマルチチャネル画像に基づいて、前記車両の環境の離散化ビューを予測する段階であって、前記１つ以上の予測される車両動作が、前記車両の前記環境の予測される前記離散化ビューに少なくとも一部基づく、予測する段階と、をさらに含む、請求項１〜１５のいずれか一項に記載の方法。
17. 前記車両に関連する特徴の組み合わせに基づいて、前記車両の環境の離散化ビューを予測することをさらに含み、前記１つ以上の予測される車両動作が、前記車両の前記環境の前記予測される離散化ビューに少なくとも一部基づき、前記車両に関連する特徴の組み合わせが、
    前記車両の現在位置、
    前記車両の過去の位置、
    前記車両の予測される位置、
    前記車両の現在の速度、
    前記車両の過去の速度、
    前記車両の予測される速度、
    前記車両に対する他の交通エージェントの速度および向き、
    他の交通エージェントの互いに対する速度および向き、または
    １つ以上のマップ要素に対する他の交通エージェントの速度および向きのうちの１つ以上を含む、請求項１〜１６のいずれか一項に記載の方法。
18. 前記検出された関心イベントに関連する前記車両の保存された前記高解像度コンテキストデータを使用して予測モデルを訓練することをさらに含み、前記予測モデルが、前記検出された関心イベントに関連する訓練データに基づいて経時的に向上する、請求項１〜１７のいずれか一項に記載の方法。
19. コンピュータに、
    人間の運転者によって動作される車両と関連付けられたコンテキストデータにアクセスする手順であって、前記コンテキストデータが、前記車両と関連付けられた１つ以上のセンサを使用して捕捉される、アクセスする手順と、
    複数の車両と関連付けられた予め記録されたコンテキストデータと関連付けられた情報に少なくとも基づいて、前記コンテキストデータを処理することによって１つ以上の予測される車両動作を決定する手順と、
    前記人間の運転者によってなされる１つ以上の車両動作を検出する手順と、
    前記人間の運転者によってなされる前記１つ以上の車両動作と前記１つ以上の予測される車両動作との比較に基づいて、関心イベントが前記コンテキストデータと関連付けられると決定する手順と、
    前記関心イベントと関連する高解像度コンテキストデータを保存させる手順と、を実行させるプログラム。
20. システムであって、
    命令を具現化する１つ以上の非一時的なコンピュータ可読記憶媒体と、
    前記非一時的なコンピュータ可読記憶媒体に連結され、
    人間の運転者によって動作される車両と関連付けられたコンテキストデータにアクセスする段階であって、前記コンテキストデータが、前記車両と関連付けられた１つ以上のセンサを使用して捕捉される、アクセスする段階と、
    複数の車両と関連付けられた予め記録されたコンテキストデータと関連付けられた情報に少なくとも基づいて前記コンテキストデータを処理することによって１つ以上の予測される車両動作を決定する段階と、
    前記人間の運転者によってなされる１つ以上の車両動作を検出する段階と、
    前記人間の運転者によってなされる前記１つ以上の車両動作と前記１つ以上の予測される車両動作との比較に基づいて、関心イベントが前記コンテキストデータと関連付けられると決定する段階と、
    前記関心イベントと関連付けられた高解像度コンテキストデータを保存させる段階と、
    を行うように前記命令を実施するように動作可能である、１つ以上のプロセッサと、を備える、システム。

Images