JP2023051757A - 車両データ収集システム及びその使用方法 - Google Patents

Abstract

【課題】車両データ収集システムを提供する。【解決手段】車両データ収集システムは、車載センサと；命令を格納するように構成された非一時的コンピュータ可読媒体と；非一時的コンピュータ可読媒体に接続されたプロセッサを含む。プロセッサは、第１のニューラルネットワークを用いて不変特徴量マップを生成し；不変特徴量マップをサーバから受信されるテンプレートデータと比較して、不変特徴量マップとテンプレートデータの間の類似度を決定する、ための命令を実行するように構成されている。プロセッサは、さらに、決定された類似度が既定の閾値を上回っているか否かを決定し；及び決定された類似度が既定の閾値を上回っているという決定に応答して、サーバへセンサデータを送信するように伝送部に命令する、ための命令を実行するように構成されている。【選択図】図１

Description

車両（Vehicle）には、多種多様なセンサが装備されている。センサには、カメラ、光検出及び測距（ＬｉＤＡＲ）センサ、及び他のタイプのセンサが含まれる。これらのセンサは、車両を取り囲む環境からデータを収集することができる。収集されたデータの一部分は、車両が使用するため又は外部デバイスが後日取り出すために車両内部に格納される。

車両センサから得た情報に基づくデータ収集システムは、発動条件に基づいている。これらの発動条件は、予め定義されたルールベースの条件である。これらの発動条件は、車両内部のメモリに格納され、発動条件の充足に応答して車両内部のセンサから予め設定されたデータが収集される。発動条件の例としては、急減速、急加速、ステアリングホイールの急回転、特定エリア内への車両の進入、車両の故障、が含まれる。

本開示の態様は、添付図面と併せて以下の詳細な説明を読むことによって、最も良く理解される。業界における標準的な慣行にしたがって、さまざまな特徴は原寸に比例して描かれていないということが指摘される。実際、さまざまな特徴の寸法は、論述を明確にするために、任意に増減され得る。

図１は、いくつかの実施形態に係る、車両データ収集システムの概略図である。 図２は、いくつかの実施形態に係る、不変特徴量マップを生成する方法のフローチャートである。 図３は、いくつかの実施形態に係る、類似度を決定する方法のフローチャートである。 図４は、いくつかの実施形態に係る車両データ収集システムの使用方法のフローチャートである。 図５は、いくつかの実施形態に係る車両データ収集システムを実装するためのシステムのブロック図である。

以下の開示は、提供されている主題の異なる特徴を実装するための多くの異なる実施形態、又は実施例を提供する。本開示を簡略化するために、以下では、構成要素、値、動作、材料、配設などの具体的例が説明されている。これらは当然のことながら、単なる例にすぎず、限定的なものとして意図されていない。他の構成要素、値、動作、材料及び配設などが企図されている。例えば、以下の説明中の第２の特徴全体にわたる又はその上の第１の特徴の形成には、第１及び第２の特徴が直接接触して形成される実施形態が含まれていてよく、且つ同様に、第１及び第２の特徴が直接接触し得ないように第１及び第２の特徴の間に追加の特徴が形成され得る実施形態も含まれていてよい。さらに、本開示では、さまざまな実施例中で参照番号及び／又は文字を反復使用することがある。この反復は、単純さ及び明確さを目的としており、それ自体、論述されているさまざまな実施形態及び／又は構成の間の関係を決定付けるものではない。

さらに、本明細書中では、図中に例示されている別の要素又は特徴に対する１つの要素又は特徴の関係を説明する目的で記述を容易にするために、「の下」、「の下方」、「下部」、「上方」、「上部」などの空間的相対語が使用され得る。空間的相対語は、図中に記載の配向に加えて、使用中又は動作中のデバイスの異なる配向を包含するように意図されている。装置は、他の形で配向される（９０度回転されるか又は他の配向にある）ことができ、本明細書中で使用されている空間的相対記述子も同様に、相応して解釈され得る。

本明細書全体を通して、多くの場合、一車両に言及される。当業者であれば、一車両に対する言及が単に説明を単純にするためのものにすぎず、本開示が単一の車両を用いたデータの収集に限定されないということを認識するものと思われる。むしろ、当業者であれば、本開示が、単一の車両、共同所有された車両フリート、個人所有の車両グループ、又は探索されているデータに基づいた他の車両群によるデータ収集に対して適用可能であることを認識するものと思われる。

予め定義されたルールベースの発動条件への依存により、車両内のセンサによって収集されたデータの有用性を最大化する能力が制限されている。いくつかの状況において、所望される発動条件は、ルールベースの構文を用いて記述するのが困難である。いくつかの状況において、発動条件のための新たな基準が発生する。例えば、犯罪者が或るタイプの車を運転していることが分かった場合、このタイプの車が存在している場所を識別するために他の車両の車両センサを使用することが、警察による犯罪者の逮捕の可能性の一助になると思われる。このタイプの発動条件、車種、及び／又は車の色及び／又は車の汚れの特徴は、車両の内部で予め定義されるとは考えられない。したがって、新規の発動条件に関係する情報を受信してこれら新規の発動条件に関係するデータを提供する能力が、車両センサにより収集されるデータの有用性を増大させる。

発動条件を更新する能力が無ければ、不発動データ（false negative）又は不要発動（false positive）データの収集リスクが増大する。例えば、更新済み発動条件を提供する能力又は構文を用いては困難な形で発動条件を記述する能力が無い場合には、結果としてたとえ発動条件が実際に起こったとしても発動条件の検出を単数又は複数の車両が報告することはできず、すなわち不発動となる。あるいは、過度に広い発動条件に起因して単数又は複数の車両が大量のデータを提供した場合、真に関連性あるデータが大量のデータ内に埋もれてしまうリスクがより高くなる。その結果として、真に関連性あるデータは、見落とされ考慮されないリスクがあり、すなわち不要発動となる。

不要発動及び不発動を削減する目的で、ユーザが提供するデータに基づいて不変特徴量マップ（invariant feature map）を開発するために、ニューラルネットワークが使用可能である。そして、不変特徴量マップは、単数又は複数の車両に送られ、車両センサにより収集されたデータとの比較のためのテンプレートを開発するために使用される。単数又は複数の車両は、受信した不変特徴量マップとの高い類似度を有するデータを識別し、そのデータをサーバに伝送する。次にサーバは、データを収集し、ユーザにデータを提供する。比較のための基礎として不変特徴量マップを使用することにより、構文ベースの発動条件に対する依存は低減される。さらに、新規発動条件に関係するデータが収集可能である。さらに、データ比較はより精確であり、収集されたデータの有用性を低減させると思われる不要発動及び／又は不発動が少なくなる。このシステムは同様に、いくつかの事例において、車両からサーバに伝送されるデータ量を削減することもでき、これが車両及びサーバの両方における処理負荷並びにデータを伝送するのに使用される電力を削減する。車両における処理負荷及び伝送電力消費量のこの削減は、内燃車両による燃費向上を助け、且つ／又はハイブリッド車又は電気自動車におけるバッテリ電荷消費量を削減する。

図１は、いくつかの実施形態に係る、車両データ収集システム１００の概略図である。車両データ収集システム１００は、車両システムＶＳ及びサーバ１８を含む。車両システムＶＳは、サーバ１８と通信するように構成されている。いくつかの実施形態において、通信は、無線通信である。いくつかの実施形態において、通信は有線通信である。車両システムＶＳは、車両内に組込まれている。いくつかの実施形態において、車両は、自動車、例えば自律運転自動車、オートバイ、ゴルフカート又は別の好適な車両である。サーバ１８は、車両システムＶＳへデータ収集コマンドを送信するように構成されている。車両システムＶＳは、データ収集コマンドを受信し、受信したデータ収集コマンドに基づいてサーバ１８にデータを送信し戻す。

データ収集コマンドは、データが要求される目的である物体（object）又は事象（occurrence）に関係する情報を含む。いくつかの実施形態において、データ収集コマンドはさらに、収集されたデータが要求される目的である物体又は事象の検出前及び後の期間に関係する情報を含む。いくつかの実施形態において、データ収集コマンドはさらに、要求された収集データのタイプ、例えば画像データ、場所データ、近接性データなどに関係する情報を含む。近接性データは、検出された物体がどれほど車両に近いかを示す情報である。いくつかの実施形態において、データ収集コマンドはさらに、データ収集コマンドに応答する優先度を上下させるための優先度情報を含む。

車両システムＶＳは、カメラ５及び車両を取り囲む環境のデータを取り込むように構成された他のセンサ６を含む。車両システムはさらに、電子制御ユニット（ＥＣＵ）４を含む。ＥＣＵ４は、カメラ５からの取込画像及び他のセンサ６からの他の収集データを受信するように構成されている。ＥＣＵ４は、集合的に収集データとして言及される取込画像及び他の収集データを処理するように構成されている。いくつかの実施形態において、カメラ５は、可視光カメラを含む。いくつかの実施形態において、カメラ５は、赤外線（ＩＲ）カメラを含む。いくつかの実施形態において、カメラ５は、可視光カメラ及びＩＲカメラの組合せを含む。いくつかの実施形態において、カメラ５は、深度検知カメラを含む。いくつかの実施形態において、他のセンサ６は、光検出及び測距（ＬｉＤＡＲ）センサ、電波センサ、電波検出及び測距（ＲＡＤＡＲ）センサ、ソーナセンサ、ＧＰＳセンサ、速度センサ、マイクロホン、燃料センサ、酸素センサ、タイヤ空気圧センサ、温度計、他の好適なセンサ又はそれらの組合せを含む。いくつかの実施形態において、収集データには、画像データ、点群データ又は他の好適なデータが含まれる。ＥＣＵ４は、データが存在する場合、どのデータをデータ収集コマンドに応答してサーバ１８へ提供すべきかを判定するために、収集データを処理する。

ＥＣＵ４は、収集データを処理するためにさまざまなモジュールを実装するように構成されている。ＥＣＵ４は、収集データに基づき物体のタイプ及び位置を検出するための物体検出部１を含む。物体検出部１は、物体検出用のニューラルネットワーク（ＮＮ）９を含む。物体検出用ＮＮ９は、センサデータ内部の物体の存在を判定するためにセンサデータを認識するための訓練されたＮＮである。物体検出用のＮＮ９は、例えば自動車、自転車、歩行者、建物、交通標識など、どのタイプの物体が検出されているかを決定するために物体を分類するように構成されている。物体検出部１は、各々の検出された物体のタイプ及び位置を標示する物体検出結果２１を出力する。

ＥＣＵ４はさらに、物体認識結果２１及びカメラ５からの情報に基づいて、検出された物体の各々について不変特徴量マップを生成するように構成された特徴量抽出部２を含む。不変特徴量マップは、特定の物体を識別するために使用可能な画像又は画像の一部分についてのデータマップである。不変特徴量マップは、画像内の物体及び／又はシーンに関係する特徴情報が抽象化され且つ、物体及び／又はシーンに関係しておらず車両システムＶＳの特性及びハードウェア（ＨＷ）構成のみに関係する情報が除去されている抽象的情報を含む。不変特徴量マップ内では、ノイズデータも同様に削減される。すなわち、物体の際立った特徴は定量化され、画像に基づいて抽象的情報として識別され、こうして、ＮＮは、画像を取り込んだＨＷの如何に関わらず物体を別の画像からも認識できるようになっている。いくつかの実施形態において、特徴量抽出部２は、同様に、他のセンサ６からも情報を受信する。特徴量抽出部２は、特徴量抽出用のＮＮ１４を含む。特徴量抽出用ＮＮ１４は、特定の物体を識別するために使用可能である画像データ及び物体認識結果２１から検出済み物体の特徴量を抽出するための訓練されたＮＮである。いくつかの実施形態において、特徴量抽出用ＮＮ１４は、ＥＣＵ４を含む車両に関して汎用的である。いくつかの実施形態において、特徴量抽出用ＮＮ１４は、ＥＣＵ４を含む特定の車両に同調される。例えば、いくつかの実施形態において、特徴量抽出用ＮＮ１４は、不変特徴量マップの決定を支援するため、先に処理された収集データに関係する履歴データを使用するように構成されている。特徴量抽出部４は、不変特徴量マップを出力するように構成されている。いくつかの実施形態において、特徴量抽出部２は、物体認識結果２１を使用することなく、カメラ５からのデータから不変特徴量マップを生成する。いくつかの実施形態において、特徴量抽出部２は、カメラデータを使用することなく、ＬｉＤＡＲなどの他のセンサ６由来のデータから不変特徴量マップを生成する。例えば、特徴量抽出部２はＬｉＤＡＲセンサからの点群データから不変特徴量マップを生成する。

ＥＣＵ４はさらに、データ収集イベントを判定するための構成要素（データ収集イベント判定部）１５を含む。データ収集イベント判定部１５は、特徴量抽出部２からの不変特徴量マップとテンプレート格納部１７からのテンプレートデータの間の類似度を決定するように構成されている。データ収集イベント判定部１５は、類似度推定用ＮＮ３０を含む。類似度推定用ＮＮ３０は、不変特徴量マップとテンプレートデータを比較し、２つのアイテムが互いにどの程度類似しているかを決定するための訓練されたＮＮである。いくつかの実施形態において、類似度推定用ＮＮ３０は、損失関数としてトリプレット損失（triplet loss）を使用して訓練される。いくつかの実施形態において、類似度推定用ＮＮ３０は、SiameseNet（登録商標）構造を有する。ＮＮ３０の全てのノードが目標不変特徴量マップを生成するために使用した重みに関係する情報をデータ収集コマンドが含んでいるいくつかの実施形態において、類似度推定用ＮＮ３０は、カメラ５及びセンサ６に基づく不変特徴量マップとテンプレート格納部１７内の目標との間の類似度を決定する上で重みを使用するように構成されている。

データ収集イベント判定部１５は、不変特徴量マップとテンプレートデータの間の類似度を出力する。不変特徴量マップとテンプレートデータの間の類似度が既定の閾値を上回っているという決定に応答して、データ収集イベント判定部１５は、収集データをサーバ１８に伝送するべきであることを決定する。データ収集イベント判定部１５は、サーバ１８に伝送されるべき収集データを識別し、ストレージユニット１０に伝送されるべき収集データを書込むようにデータ格納部８へ命令を送信する。不変特徴量マップとテンプレートデータとの間の類似度が既定の閾値以下であるという決定に応答して、データ収集イベント判定部１５は、収集データをサーバ１８に伝送すべきでないと決定し、収集データの上書きを防止するように補足的命令はストレージユニット１０に伝送されない。いくつかの実施形態において、伝送されたデータと結び付けられたプロトコルには、収集データが送信されるまで収集データを格納することが含まれる。いくつかの実施形態において、伝送されたデータと結び付けられたプロトコルには、サーバ１８からの収集データの受信確認が受信されるまで収集データを格納することが含まれる。いくつかの実施形態において、収集データと結び付けられたプロトコルには、収集データを削除する命令が受信されるまで収集データを格納することが含まれる。いくつかの実施形態において、通常のプロトコルには、ストレージユニット１０内の利用可能な格納スペースが、格納閾値を下回るまで収集データを格納することが含まれる。いくつかの実施形態において、通常のプロトコルには、既定の長さの時間、収集データを格納することが含まれる。

いくつかの実施形態において、データ収集イベント判定部１５は、収集データが、プライバシ情報又は個人情報（ＰＩ）などの機密情報（private information）を含むか否かを決定するように構成されている。いくつかの実施形態において、機密情報には、人の顔、人の識別情報又は他の極秘データが含まれる。収集データが機密情報を含んでいるという決定に応答して、データ収集イベント判定部１５は、いくつかの実施形態において機密情報をフィルタリングするか又は除去するように構成されている。いくつかの実施形態において、データ収集コマンドには、機密情報の伝送を可能にするための認証情報又はオーバライド情報が含まれる。例えば、或る人間を探すための警察からのデータ収集コマンドに応答して、捜索対象の人間との閾値を超える類似度を有するとみなされた人の顔を含む収集データを伝送することができる。いくつかの実施形態においては、機密情報を受信することが許可されるべきでないユーザへ機密情報を不注意に提供するリスクを減らすため、機密情報のフィルタリングをオーバライドする能力が、特定のクラスのユーザに限定されている。いくつかの実施形態において、特定のクラスのユーザには、法執行機関又は他の適格なユーザが含まれる。いくつかの実施形態において、特定のクラスのユーザは調整可能である。いくつかの実施形態において、データ収集イベント判定部１５はさらに、機密情報をフィルタリングするための第２のＮＮを含む。いくつかの実施形態において、機密情報は、類似度推定用ＮＮ３０を用いてフィルタリングされる。いくつかの実施形態において、ＮＮ３０は、ルールベースのアルゴリズムにより収集データが機密情報を含むか否かをデータ収集イベント判定部１５が決定することなく、ＮＮ３０が機密情報を黙示的にフィルタリングできるように訓練される。

ＥＣＵ４はさらに、データ収集コマンドの受信部（受信部）１６を含む。受信部１６は、サーバ１８からテンプレートデータ及びデータ収集コマンドを受信するように構成される。いくつかの実施形態において、受信部１６は、データの受信及び伝送の両方の能力を有する送受信部である。いくつかの実施形態において、受信部１６は、データ収集コマンド及びテンプレートデータを無線で受信するように構成されている。いくつかの実施形態において、受信部１６は、データ収集コマンド及びテンプレートデータを、有線接続を介して受信するように構成されている。いくつかの実施形態において、受信部１６は、ＥＣＵ４内にデータを格納する前に、受信されたデータ収集コマンド及び／又はテンプレートデータについての認証を行なうように構成されている。いくつかの実施形態において、受信部１６は、ＶＳ内で類似度推定用のニューラルネットワーク３０によって使用される既存の重みデータに上書きすべき重みデータを受信するように構成されている。受信部１６は、ＮＮ３０が類似度を推測するときに重みデータを使用するように、類似度推定用ＮＮ３０へ重み情報を送るように構成されている。いくつかの実施形態において、受信部１６は、テンプレートデータを生成するために使用され、ＶＳ内で類似度推定３０のためにニューラルネットワークが使用する既存の重みデータに上書きすべき重みデータを受信するように構成されている。受信部１６は、テンプレートデータをテンプレート格納部１７に送るように構成されている。いくつかの実施形態において、受信部１６は、データ収集コマンドをストレージユニット１０に送るように構成されている。

ＥＣＵ４はさらに、受信部１６から受信されたテンプレートデータを格納するように構成されたテンプレート格納部１７を含んでいる。テンプレート格納部１７は、不変特徴量マップとの比較のためにデータ収集イベント判定部１５へテンプレートデータを提供するように構成されている。いくつかの実施形態において、テンプレート格納部１７は、多数のテンプレートを格納するように構成されている。いくつかの実施形態において、テンプレート格納部１７は、ソリッドステートメモリ又は別のタイプのメモリデバイスを含む。いくつかの実施形態において、テンプレート格納部１７はストレージユニット１０と一体化されている。いくつかの実施形態において、テンプレート格納部１７は、格納されたテンプレートを取出すための命令が受信されるまで、テンプレートを格納するように構成されている。いくつかの実施形態において、テンプレート格納部１７は、テンプレートの初期格納から既定の期間が経過した後、格納されたテンプレートを削除するように構成されている。いくつかの実施形態において、テンプレート格納部１７内部の個別のテンプレートが、各テンプレートの削除のための異なるプロトコルを有する。いくつかの実施形態において、テンプレート格納部１７内の少なくとも１つのテンプレートのための格納プロトコルは、データ収集コマンド内で受信された情報に基づいている。いくつかの実施形態において、テンプレート格納部１７内の少なくとも１つのテンプレートのための格納プロトコルは、車両のユーザからの命令に基づいている。いくつかの実施形態において、テンプレートは、サーバ１８から受信された目標不変特徴量マップを含む。

ＥＣＵ４はさらに、データ送信部（伝送部）１１を含む。伝送部１１は、データ収集イベント判定部１５からの命令に応答してデータ収集コマンドに基づいて収集データを伝送するように構成されている。いくつかの実施形態において、伝送部１１は、収集データを伝送するためのタイミングを決定する上で、データ収集コマンドの優先度情報を考慮する。いくつかの実施形態において、伝送部１１は、データ収集コマンド中の要求された期間に基づいてデータ収集コマンドを満たす物体又は出来事の検出前後の一定の期間にわたり、収集データを送信する。いくつかの実施形態において、伝送部１１は、データ収集コマンドに基づいてどのタイプのデータを伝送すべきかを決定する。いくつかの実施形態において、伝送部１１は、不変特徴量マップを伝送する。上述の説明には、いつどの情報を伝送すべきかを決定する伝送部１１が含まれているものの、いくつかの実施形態において、データ収集コマンドに応答していつどの情報を伝送すべきかの決定は、ＥＣＵ４の別の構成要素、例えばデータ収集イベント判定部１５によって行なわれる。いくつかの実施形態において、伝送部１１は、送受信部の一部として受信部１６と一体化されている。いくつかの実施形態において、伝送部１１は、収集データを無線で伝送するように構成されている。いくつかの実施形態において、伝送部１１は、有線接続を介して収集データを伝送するように構成されている。

ＥＣＵ８はさらに、カメラ５及び他のセンサ６からの収集データを格納するように構成されたデータ格納部８を含む。いくつかの実施形態において、データ格納部８は、リングバッファ構造を有する。いくつかの実施形態において、データ格納部８は、ソリッドステートメモリ又は別の好適なメモリデバイスを含む。いくつかの実施形態において、データ格納部８は、ＥＣＵ４によって現在処理中の収集データのための一時的格納を提供するように構成されている。いくつかの実施形態において、データ格納部８は、収集データをサーバ１８に伝送するというデータ収集イベント判定部１５による決定に応答して、ストレージユニット１０にデータを送るように構成されている。いくつかの実施形態において、データ格納部８は、収集データをサーバ１８に伝送しないというデータ収集イベント判定部１５による決定に応答して収集データを削除するように構成されている。いくつかの実施形態において、データ格納部８はストレージユニット１０と一体化されている。いくつかの実施形態において、データ格納部８は、テンプレート格納部１７と一体化されている。

ＥＣＵ４はさらに、ストレージユニット１０を含む。ストレージユニット１０は、データ収集イベント判定部１５からの命令に基づいて収集データを格納するように構成されている。いくつかの実施形態において、ストレージユニット１０は、データ格納部８又はテンプレート格納部１７と一体化されている。いくつかの実施形態において、ストレージユニット１０は、ソリッドステートメモリ又は別の好適なメモリを含む。いくつかの実施形態において、ストレージユニット１０は、データ収集コマンドの達成に関係する情報を格納するように構成されている。いくつかの実施形態において、ストレージユニット１０は、収集データを対応するデータ収集コマンドと結び付けて格納するように構成されている。いくつかの実施形態において、ストレージユニット１０は、伝送に適当でないとみなされた収集データを、収集データがユーザによって取り出されるまで格納するように構成されている。

サーバ１８は、どの目標が探索されているかに関するユーザからの入力を受信するように構成されたグラフィカルユーザインタフェース（ＧＵＩ）２４を含む。いくつかの実施形態において、ＧＵＩ２４は、野生動物、気象イベント、観光名所又は他の好適な目標などの共通目標に対するライブラリを含む。いくつかの実施形態において、ユーザは画像又は部分画像をＧＵＩ２４にアップロードすることができる。いくつかの実施形態において、ＧＵＩ２４は、選択されたユーザ群の一人として認証されているユーザによってのみアクセス可能である制限されたセクションを含む。いくつかの実施形態において、ＧＵＩ２４は、収集データ内に含めるように目標が検出される前後の一定の期間に関係する情報を受信するように構成されている。いくつかの実施形態において、ＧＵＩ２４は、収集データを受信するためのユーザによる優先度要求に関係する情報を受信するように構成されている。いくつかの実施形態において、ＧＵＩ２４は、時刻、気象条件に関係する情報又は、ＧＵＩ２４を用いてアップロードされた画像に関係する他の情報を受信するように構成されている。

サーバ１８はさらに、ＧＵＩ２４から目標情報を受信するように構成された追跡目標選定部１９を含む。追跡目標選定部１９は、ＧＵＩ２４からのどの要求された目標についてデータ収集コマンドを発出すべきかを決定する。いくつかの実施形態において、追跡目標選定部１９は、ＧＵＩ２４における要求された目標の入力された優先度に基づいて、データ収集コマンドの対象となるべき次の要求された目標を識別する。いくつかの実施形態において、追跡目標選定部１９は、ＧＵＩ２４内に目標を入力したユーザのアイデンティティに基づいてデータ収集コマンドの対象となるべき次の要求された目標を識別する。いくつかの実施形態において、追跡目標選定部１９は、キュー（先入先出）又はスタック（先入後出）プロセスに基づいてデータ収集コマンドの対象となるべき次の要求された目標を決定する。いくつかの実施形態において、どの要求された目標がデータ収集コマンドの対象となるかを決定するために、追跡目標選定部１９により基準の組合せが利用される。いくつかの実施形態において、追跡目標選定部１９は、収集データ格納部２５におけるデータ及び／又はＧＵＩ２４を介したユーザからの要求無しの先行する追跡目標選定の履歴に基づいて、データ収集コマンドの対象となるべき次の要求された目標を自動的に識別する。

サーバ１８はさらに、ＧＵＩ２４から受信した要求された目標に対応する目標不変特徴量マップを生成するために特徴量抽出用ＮＮ２０を含む。特徴量抽出用ＮＮ２０は、データ収集コマンドを受信することになる車両内部のセンサのハードウェアの、独立した又は比較的感度が低い特徴量マップを生成するように構成されている。車両内のセンサのハードウェアとは独立した目標不変特徴量マップを生成することにより、特徴量抽出用ＮＮ２０は、さまざまな度合の分解能及びデータタイプを有する異なるタイプのセンサを含む広範囲の車両のために使用可能である目標不変特徴量マップを作成することができる。いくつかの実施形態において、特徴量抽出用ＮＮ２０は、目標不変特徴量マップを生成するために、時刻、気象条件などの情報又はＧＵＩ２４を用いてアップロードされた画像に関係する他の情報を利用するように構成されている。目標不変特徴量マップを生成するために追加の情報を使用することは、画像内部の変数を除去して、ＧＵＩ２４を用いて入力された目標と最も近く整合する不変特徴量マップを生成する一助となる。いくつかの実施形態において、特徴量抽出用ＮＮ２０は、目標不変特徴量マップから機密情報を除外するように構成されている。

サーバ１８はさらに、特徴量抽出用ＮＮ２０によって生成された目標不変特徴量マップを格納するように構成されたテンプレート格納部２１を含む。いくつかの実施形態において、テンプレート格納部２１は、目標不変特徴量マップを生成するために使用される類似度推定用ＮＮ３０又は特徴量抽出用ＮＮ２０内で利用されるパラメータの重みと共に目標不変特徴量マップを格納するように構成されている。いくつかの実施形態において、テンプレート格納部２１は、ソリッドステートメモリ又は別の好適なメモリ構造を含む。いくつかの実施形態において、テンプレート格納部２１は、ストレージユニット２３と一体化されている。いくつかの実施形態において、テンプレート格納部２１は、ストレージユニット２３と別個である。

サーバ１８はさらに、データ収集コマンドの送信部（データ収集コマンド伝送部）２２を含む。データ収集コマンド伝送部２２は、ＥＣＵ４を含む車両へデータ収集コマンドを伝送するように構成されている。いくつかの実施形態において、データ収集コマンドは無線で伝送される。いくつかの実施形態において、データ収集コマンドは有線接続を介して伝送される。いくつかの実施形態において、データ収集コマンドは、単一の車両に伝送される。いくつかの実施形態において、データ収集コマンドは、多数の車両に伝送される。いくつかの実施形態において、データ収集コマンドは、目標が見つかるものと予期されている地理的場所内の車両へ伝送される。データ収集コマンドは、ＧＵＩ２４で受信した情報に基づいた目標についての情報を含む。いくつかの実施形態において、データ収集コマンドは、目標不変特徴量マップを含む。いくつかの実施形態において、データ収集コマンドは、目標不変特徴量マップを生成するために使用される類似度推定用ＮＮ３０又は特徴量抽出用ＮＮ２０の重みを含む。いくつかの実施形態において、データ収集コマンド伝送部２２は、多数の周波数上でデータ収集コマンドを伝送するように構成されている。いくつかの実施形態において、データ収集コマンド伝送部２２は、単一の周波数上でデータ収集コマンドを伝送するように構成されている。

サーバ１８はさらに、ＧＵＩ２４からの情報並びに追跡目標選定部１９からの情報及び特徴量抽出用ＮＮ２０のための重みなどの入力値を格納するように構成されたストレージユニット２３を含む。いくつかの実施形態において、ストレージユニット２３は、ＧＵＩ２４を用いてアップロードされた画像全体を格納するように構成されている。いくつかの実施形態において、ストレージユニット２３は、ＧＵＩ２４を用いてアップロードされた画像の部分的画像又は切取り部分を格納するように構成されている。いくつかの実施形態において、ストレージユニット２３は、ＥＣＵ４から受信した収集データを格納するように構成されている。いくつかの実施形態において、ストレージユニット２３は、収集データを既定の期間の間格納するように構成されている。いくつかの実施形態において、ストレージユニット２３は、ユーザが収集データを取り出すまで収集データを格納するように構成されている。いくつかの実施形態において、ストレージユニット２３は、ストレージユニット２３内の追加の格納スペースが格納閾値を下回るまで収集データを格納するように構成されている。いくつかの実施形態において、ストレージユニット２３はソリッドステートメモリ又は別の好適なメモリ構造を含む。

サーバ１８はさらに、ＥＣＵ４から収集データを受信するように構成された収集データ格納部２５を含む。収集データ格納部２５は、ユーザが収集データを取り出すことができるようにするため、ユーザによってアクセス可能である。いくつかの実施形態において、収集データ格納部２５は、収集データが検出された時点に結び付けられた時間及び場所の情報と共に収集データを格納するように構成されている。いくつかの実施形態において、収集データ格納部２５は、対応するデータ収集コマンドと関連して収集データを格納するように構成されている。いくつかの実施形態において、収集データ格納部２５は、ユーザがＧＵＩ２４に入力したという情報と結び付けられたデータ収集コマンドに基づく収集データの受信に応答して、ユーザに収集データの受信を通知するための信号を発動するように構成されている。いくつかの実施形態において、ユーザに対する通知には、ユーザに対するアラートが含まれている。いくつかの実施形態において、アラートは、サーバ１８内部の伝送部を用いて、ユーザのモバイルデバイスへ送信される。いくつかの実施形態においては、ユーザにアラートを出すために、外部伝送部へ信号が送信される。いくつかの実施形態において、アラートには、音声アラート又は視覚アラートが含まれる。いくつかの実施形態において、収集データ格納部２５は、より長期の格納のためにストレージユニット２３へ収集データを送る。いくつかの実施形態において、収集データ格納部２５は、ソリッドステートメモリ又は別の好適なメモリ構造を含む。いくつかの実施形態において、収集データ格納部２５は、ストレージユニット２３及びテンプレート格納部２１と一体化されている。いくつかの実施形態において、収集データ格納部２５は、ストレージユニット２３又はテンプレート格納部２１のうちの少なくとも１つとは別個である。いくつかの実施形態において、収集データ格納部２５は、ユーザ及び追跡目標選定部１９がクエリ条件でデータを検索して選定できるように、リレーショナルデータベース、ＮｏＳＱＬデータベース及びキーバリューストア（ＫＶＳ）データベースなどのデータベースを有する。

車両データ収集システム１００を使用することにより、ユーザは、ＥＣＵ４及びサーバ１８によって使用可能なサーチコードを記述することなくＧＵＩ２４のみを用いて、サーチすべき特定の目標を提供することができる。目標を定義するため及び収集データを定義するための手段としての不変特徴量マップの使用により、ＥＣＵ４は、一意的に要求された目標についての精確な類似度分析を行なうことができる。すなわち、カメラ５及び他のセンサ６データに基づく不変特徴量マップと目標不変特徴量マップとの比較により、不要発動及び／又は不発動のリスクが減少する。さらに、特徴量抽出用ＮＮ２０がサーバ１８からデータ収集コマンドを受信する能力を有する異なる車両内のセンサのタイプに依存していないことは、要求された目標に結び付けられたプログラム又はコーディングを起草するための労力を最小限に抑えながら、要求された目標を発見するチャンスを増大させる一助となる。さらに、特徴量抽出用ＮＮ２０が同じ車両内のセンサのタイプに依存していないことは、例えばサーバ１８がフロントカメラから生成されるテンプレートデータのみを有している場合でもリアカメラからのデータからも目標を検索することができるように、車両システムＶＳ内のフロントカメラ及びリアビューカメラなどの異なるセンサからのデータから同じ目標を検索するために同じテンプレートデータを共有する一助となる。また、車両データ収集システム１００は、データ収集コマンドと結び付けられたデータの収集中のプライバシの侵害を削減又は回避する目的で、機密情報又は個人情報の伝送を削減することもできる。

図２は、いくつかの実施形態に係る不変特徴量マップを生成する方法２００のフローチャートである。該方法２００は、不変特徴量マップ及び目標不変特徴量マップを生成するために車両データ収集システム１００（図１）において使用可能である。方法２００において、不変特徴量マップは、例えばカメラ５又は他のセンサ６（図１）由来の、又はＧＵＩ２４（図１）によって受信された画像データから生成される。いくつかの実施形態において、特徴量抽出用ＮＮ２０及び特徴量抽出用ＮＮ１４は同様に、センサのハードウェアに依存しているか又はこれに対してより敏感な情報をさらに抑制できるように、メモリユニット１０内に属性パラメータ９００を格納するためのメモリエリア又は他のセンサ６からＮＮによって受信される属性データを使用する。属性データは、目標の特性を取り込む。例えば、目標の特性を定義する一助となるための属性データとして色又はサイズを使用することができる。属性データは、画像が検知されたときのシーンの特性を取り込む。例えば、シーンの特性を定義する一助となるための属性データとして、時刻、日付、天候、温度、湿度又は車両の場所を使用することができ、これにより特徴量不変マップとは無関係でシーンに由来しないノイズを特徴量抽出用ＮＮ２０及び特徴量抽出用ＮＮ１４によって削減することができる。ＮＮは、受信された属性データに基づいて、画像データ内の１つ以上の物体又はシーンの特徴を抽出するための訓練されたＮＮである。そして、ＮＮは、検出された物体と目標の間の比較のために不変特徴量マップを作成することができる。

ＮＮは、特徴量抽出用ＮＮ、例えば特徴量抽出用ＮＮ１４又は特徴量抽出用ＮＮ２０（図１）である。いくつかの実施形態において、特徴量抽出用ＮＮ１４及び特徴量抽出用ＮＮ２０は、検出された物体が目標と整合するとき生成された不変特徴量マップの類似度を増大させるために、同じアルゴリズム及び重みデータを用いて実装される。同じアルゴリズム及び重みデータを使用することによって、異なるアルゴリズム又は重みデータを使用する他のアプローチと比較して、不要発動及び／又は不発動が削減される場合がある。いくつかの実施形態において、特徴量抽出用ＮＮ１４及び特徴量抽出用ＮＮ２０は、検出された物体が目標と整合した場合に生成された不変特徴量マップの類似度を増大させるために、同じアルゴリズム及び異なる重みデータを用いて実装される。この場合、車両内の重みデータは、特定の車両システムＶＳ内のＨＷに最適化され、こうしてＶＳ内のＨＷに依存している情報又はこれに対してより敏感な情報がさらに抑制されることになる。いくつかの実施形態において、特徴量抽出用ＮＮ１４及び特徴量抽出用ＮＮ２０は、検出された物体が目標と整合する場合に、生成された不変特徴量マップの類似度を増大させるために、異なるアルゴリズム及び重みデータを用いて実装される。この場合、車両内のアルゴリズムは、特定の車両システムＶＳ内のＨＷに最適化され、こうして車両システムＶＳ内のＨＷに依存している情報又はこれに対するより高い感度を有する情報がさらに抑制されることになる。

図３は、いくつかの実施形態に係る類似度を決定する方法３００のフローチャートである。該方法３００は、検出された物体と目標との間の類似度を決定するために車両データ収集システム１００（図１）において使用可能である。方法３００において、例えば特徴量抽出用ＮＮ１４（図１）からの不変特徴量マップ及び例えばテンプレート格納部１７（図１）からのテンプレートデータは、ＮＮにより受信される。いくつかの実施形態において、テンプレートデータは、例えば特徴量抽出用ＮＮ２０（図１）によって生成される目標不変特徴量マップに対応する。ＮＮは、テンプレートデータと不変特徴量マップを比較して不変特徴量マップがどれほどテンプレートデータに類似しているかを決定するように訓練されたＮＮである。

ＮＮは、類似度推定用ＮＮ、例えば類似度推定用ＮＮ３０（図１）である。類似度推定用ＮＮを使用することによって、類似度推定は、類似度推定用にルールベースアルゴリズムを使用する場合よりも低い不発動及び不要発動を有する。類似度推定用ＮＮを使用することによって、低い類似度を有する収集データがサーバに伝送されないことから類似度推定用ＮＮを含まないアプローチと比べて、サーバへ、例えばサーバ１８（図１）へ伝送されるデータの量は削減される。データ伝送の削減は、類似度推定用ＮＮを含む車両内の処理能力の削減を助ける。さらに、ハイブリッド車又は電気自動車において、データ伝送の削減は、車両のバッテリ内部の電荷を延長させ、このことが今度は、車両に走行距離の延長を提供する。

図４は、いくつかの実施形態に係る車両データ収集システムを使用する方法４００のフローチャートである。該方法４００は、車両データ収集システム１００（図１）によって実装されることができ、該方法４００のさまざまなステップを実装するために用いられる要素は、車両データ収集システム１００に結び付けられた参照番号を有する。これらの参照番号は、単に、方法４００を容易に理解できるようにするために提供されているにすぎない。当業者であれば、該方法４００が、車両データ収集システム１００（図１）上だけでの実装に限定されないことを認識するものである。

動作４０２において、追跡すべき目標が選定される。いくつかの実施形態において、目標は、例えばＧＵＩ２４（図１）内へのユーザからの入力に基づいて選定される。いくつかの実施形態において、目標は、アップロードされた画像に基づいて決定される。いくつかの実施形態において、目標は、ＧＵＩ、例えばＧＵＩ２４（図１）内で利用可能な目標オプションの既定のリストから選定される。ユーザがＧＵＩ２４を介して目標の画像データをアップロードした場合、ＧＵＩは格納部２５を介して画像データを格納する。いくつかの実施形態において、目標は、ＧＵＩ２４を介したユーザからの要求無く、目標選定部１９によって自動的に決定される。

動作４０４では、収集データ格納部、例えば収集データ格納部２５（図１）内にすでに格納されている収集データと目標が比較される。動作４０４の前に、データは、上述のデータ収集方法によって又は任意の他のデータ収集方法によってすでに収集されている。いくつかの実施形態において、ＧＵＩ２４を介してユーザにより提供される情報に基づいて、目標に対応している画像データが選定される。例えば、ユーザが、時刻、天候、物体クラス、シーンなどの情報を提供した場合、データは、格納部２５内のデータベースを介してクエリ検索によって選定される。いくつかの実施形態において、追跡目標選定部１９はさらに、ユーザがＧＵＩ２４を介して提供した条件に画像データが整合するか否かを分類する別のＮＮを有し、追跡目標選定部１９は、画像データが条件と整合することをＮＮが決定したデータのみを選定する。いくつかの実施形態において、追跡目標選定部１９は、ユーザによる先行要求の履歴に基づいて且つ格納部２５内のデータベース内の情報に基づいて、将来ユーザが選定し得る目標データを予測する目標データ予測部ユニットを有し、該予測部は、予測されたデータを選定されたデータとして選定する。いくつかの実施形態において、動作４０４にはさらに、目標由来のどのデータをデータ収集コマンドの一部として送信すべきかを選定するステップが含まれる。

動作４０６では、選定された目標データから不変特徴量マップが生成され、テンプレート格納部、例えばテンプレート格納部２１（図１）に格納される。目標に基づいて生成された不変特徴量マップは、目標不変特徴量マップとも呼ばれる。目標不変特徴量マップは、収集データとの比較を目的として目標の特徴を抽出するために、訓練されたＮＮを用いて生成される。いくつかの実施形態において、目標不変特徴量マップは、気象条件又は時刻などの目標に結び付けられた追加データに基づいて生成される。いくつかの実施形態において、目標不変特徴量マップは、データのタイプ又は収集データを集めるために使用されるセンサとは独立したものであるように生成される。

動作４０８では、データ収集コマンド及びテンプレートデータが、車両システム、例えば車両システムＶＳ（図１）に伝送される。データ収集コマンドは、車両システムに対して、データを収集し目標不変特徴量マップに基づいて収集データとテンプレートデータとを比較するように命令する。いくつかの実施形態において、データ収集コマンドは同様に、優先度情報も含む。いくつかの実施形態において、データ収集コマンドは、ＮＮアルゴリズムのための重みをも含んでいる。いくつかの実施形態において、データ収集コマンドは、データ収集中に集められた機密データの保護をオーバライドするための情報を含む。いくつかの実施形態において、データ収集コマンドは、さらに、データを収集すべき期間を含む。いくつかの実施形態において、データ収集コマンドは単一の車両に伝送される。いくつかの実施形態において、データ収集コマンドは多数の車両に伝送される。いくつかの実施形態において、データ収集コマンドは無線で伝送される。いくつかの実施形態において、データ収集コマンドは有線接続を介して伝送される。

動作４１０では、車両内のセンサによってデータが収集される。いくつかの実施形態においては、センサによって規則的間隔で周期的にデータが収集される。いくつかの実施形態においては、センサによってイベント駆動式にデータが収集され、例えば、運転中又は駐車中に車両が何かと衝突したことを衝撃センサが検出した時に、センサによりデータが収集される。いくつかの実施形態において、センサには、カメラ、ＬｉＤＡＲ、ＲＡＤＡＲ、電波センサ又は別の好適なセンサが含まれる。いくつかの実施形態においては、センサにはカメラ５及び他のセンサ６（図１）が含まれる。

動作４１２では、格納部、例えばデータ格納部８（図１）内にセンサデータが格納される。格納部内に格納されたセンサデータは、より多くのセンサデータが格納部に送信されるにつれて連続的に更新される。いくつかの実施形態において、格納部は、格納部内に格納されたセンサデータをいつ削除又は上書きすべきかを決定するためのアルゴリズムを含む。

動作４１４では、センサデータは、センサデータにより取り込まれた物体を検出するために分析される。いくつかの実施形態において、センサデータは、物体検出部１（図１）を用いて分析される。検出された物体は、物体タイプ、物体の位置、センサに対する物体の近接性又は他の適切な分類基準に基づいて識別され分類される。いくつかの実施形態において、物体は、訓練されたＮＮ、例えばシングルショット検出部（Single Shot Detector：ＳＳＤ）又はFaster R-CNN（図１）などの物体検出用ＮＮ９を用いて検出される。いくつかの実施形態において、物体検出部１は、データがセンサから受信される毎に物体を検出する。いくつかの実施形態において、物体検出部１は、判定部１５が物体検出部１に物体を検出するように命令した場合にのみ物体を検出する。いくつかの実施形態において、物体を検出動作４１４はスキップされる。

動作４１６では、検出された物体の抽出された特徴に基づいて、不変特徴量マップが生成される。不変特徴量マップは、ＮＮ、例えば特徴量抽出用ＮＮ１４（図１）を用いて生成される。いくつかの実施形態において、動作４１６における不変特徴量マップは、動作４０６で目標特徴量マップを生成するために使用されるＮＮと同じアルゴリズムを用いてＮＮによって生成される。いくつかの実施形態においては、動作４０６からの重みが、データ収集コマンドに基づいて動作４１６で使用されたＮＮへ提供される。いくつかの実施形態において、特徴量抽出部１５は、データがセンサから受信される毎に不変特徴量マップを抽出する。いくつかの実施形態において、特徴量抽出部１５は、判定部１５が特徴量抽出部１５に不変特徴量マップを抽出するように命令した場合にのみ、不変特徴量マップを抽出する。いくつかの実施形態において、特徴量抽出部１５は、画像データ内で物体検出部１によって検出される物体の場所に対応するクロップされた矩形エリアからのみ不変特徴量マップを抽出し、こうして、ＥＣＵ４上の計算仕事量及びメモリ帯域幅仕事量が削減される。いくつかの実施形態において、特徴量抽出部１５は、不変特徴量マップ内の目標を検索するために使用される情報を増強させることができるように、画像全体から不変特徴量マップを抽出する。

動作４１８では、データ収集コマンドがテンプレートデータと共に受信される。いくつかの実施形態において、データ収集コマンドは、受信部、例えば受信部１６（図１）によって受信される。データ収集コマンドが重みを含むいくつかの実施形態においては、動作４１６を開始する前に動作４１６を行なうＮＮへ重みが提供され、動作４１６は、特徴量抽出用ＮＮ１４のための受信した重みを使用することによって実行される。データ収集コマンドが重みを含むいくつかの実施形態においては、動作４２０を行なう類似度推定用ＮＮ３０に重みが提供され、動作４２０は、類似度推定用ＮＮ３０のための受信された重みを使用することによって実行される。データ収集コマンド及びテンプレートデータは、動作４１６で生成された不変特徴量マップとの比較のために、例えばテンプレート格納部１７内に格納される。

動作４２０では、データ収集コマンドからのテンプレートデータと動作４１６からの不変特徴量マップの間の類似度が決定される。類似度は、ＮＮ、例えば類似度推定用ＮＮ３０（図１）を用いて決定される。

動作４２２では、動作４２０で決定された類似度が既定の閾値を上回っているか否かに関して決定が行なわれる。類似度が既定の閾値を上回るという決定に応答して、不変特徴量マップと結び付けられた収集データは、動作４１２においてセンサデータを格納した格納部から取り込まれる。いくつかの実施形態において、センサデータは、不変特徴量マップを生成するために使用されたデータが取り込まれる前及び後の期間を含む。いくつかの実施形態において、センサデータは、場所及び時間データと結び付けられる。その後、センサデータ及びあらゆる任意の追加情報が、サーバ、例えばサーバ１８（図１）に伝送される。いくつかの実施形態において、センサデータは無線で伝送される。いくつかの実施形態において、センサデータは有線接続を介して伝送される。いくつかの実施形態において、センサデータは、アップロードされる前に、データ圧縮、リサイズ、クロップなどの後処理を受ける。類似度が既定の閾値を上回ることができないという決定に応答して、不変特徴量マップと結び付けられたセンサデータは破棄又は削除される。

動作４２６では、センサデータがサーバによって受信される。

動作４２８では、受信されたセンサデータは、例えばデータ格納部２５（図１）に格納される。

当業者であれば、いくつかの実施形態において該方法４００の動作の順序は変更される、ということを認識するであろう。例えば、いくつかの実施形態においては、動作４０６は動作４０４の前に行なわれる。いくつかの実施形態においては、方法４００の少なくとも１つの動作が省略される。例えば、いくつかの実施形態において、動作４２８は省略され、受信されたデータは直ちにユーザに伝送される。いくつかの実施形態においては、追加の動作が含まれる。例えば、いくつかの実施形態においては、ユーザにより要求された目標に対応するセンサデータの受信に応答して、ユーザへアラート又は通知が伝送される。いくつかの実施形態においては、多数の動作が組合わされる。例えば、いくつかの実施形態において、動作４２０及び４２２は連動して行なわれる。

図５は、いくつかの実施形態に係る車両データ収集システムを実装するためのシステムのブロック図である。システム５００には、ハードウェアプロセッサ５０２及び、コンピュータプログラムコード５０６（すなわち実行可能な命令のセット）でエンコードされた（すなわち格納する）非一時的コンピュータ可読記憶媒体５０４が含まれる。コンピュータ可読記憶媒体５０４は、同様に、ユーザのモバイルデバイスなどの外部デバイスとインタフェースするために命令５０７でエンコードされる。プロセッサ５０２は、バス５０８を介してコンピュータ可読記憶媒体５０４に電気的に結合される。プロセッサ５０２は、同様に、バス５０８によって出入力インタフェース５１０にも電気的に結合される。ネットワークインタフェース５１２も、同様に、バス５０８を介してプロセッサ５０２へ電気的に接続される。ネットワークインタフェース５１２は、ネットワーク５１４に接続され、こうして、プロセッサ５０２及びコンピュータ可読記憶媒体５０４はネットワーク５１４を介して外部要素に接続することができる。プロセッサ５０２は、システム１００（図１）、方法２００（図２）、方法３００（図３）又は方法４００（図４）において説明された通りの動作の一部分又は全てを行なうためにシステム５００を使用できるようにする目的で、コンピュータ可読記憶媒体５０４内でエンコードされたコンピュータプログラムコード５０６を実行するように構成されている。

いくつかの実施形態において、プロセッサ５０２は、中央処理ユニット（ＣＰＵ）、マルチプロセッサ、分散処理システム（ＤＰＳ）、グラフィクス処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）、特定用途向け集積回路（ＡＳＩＣ）及び／又は好適な処理ユニットである。

いくつかの実施形態において、コンピュータ可読記憶媒体５０４は、電子、磁気、光学、電磁、赤外線及び／又は半導体システム（又は装置若しくはデバイス）である。例えば、コンピュータ可読記憶媒体５０４には、半導体メモリ又はソリッドステートメモリ、磁気テープ、リムーバブルフロッピディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、剛性磁気ディスク、及び／又は光ディスクが含まれる。光ディスクを使用するいくつかの実施形態においては、コンピュータ可読記憶媒体５０４は、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、コンパクトディスク読取り／書込み（ＣＤ－Ｒ／Ｗ）、及び／又はデジタルビデオディスク（ＤＶＤ）を含む。

いくつかの実施形態において、記憶媒体５０４は、システム５００に方法３００又は方法４００を行なわせるように構成されたコンピュータプログラムコード５０６を格納する。いくつかの実施形態において、記憶媒体５０４は同様に、システム１００（図１）、方法２００（図２）、方法３００（図３）又は方法４００（図４）の動作を行なうのに必要とされる情報並びに、システム１００（図１）、方法２００（図２）、方法３００（図３）又は方法４００（図４）の動作を行なう間に生成される情報、例えばセンサデータパラメータ５１６、テンプレートデータパラメータ５１８、属性パラメータ９００、不変特徴量マップパラメータ５２０、類似度パラメータ５２２、及び／又はシステム１００（図１）、方法２００（図２）、方法３００（図３）又は方法４００（図４）の動作を行なうための実行可能な命令のセットをも格納する。

いくつかの実施形態において、記憶媒体５０４は、外部デバイスと相互作用（interface）するための命令５０７を格納する。命令５０７は、プロセッサ５０２が、システム１００（図１）、方法２００（図２）、方法３００（図３）又は方法４００（図４）の動作を有効に実装するために外部デバイスによって読取り可能な命令を生成することを可能にする。

システム５００は、入出力インタフェース５１０を含む。入出力インタフェース５１０は、外部回路に結合されている。いくつかの実施形態において、入出力インタフェース５１０は、情報及びコマンドをプロセッサ５０２に伝達するために、キーボード、キーパッド、マウス、トラックボール、トラックパッド及び／又はカーソル方向キーを含む。

システム５００は同様に、プロセッサ５０２に結合されたネットワークインタフェース５１２をも含んでいる。ネットワークインタフェース５１２は、システム５００が、１つ以上の他のコンピュータシステムが接続されているネットワーク５１４と通信できるようにする。ネットワークインタフェース５１２には、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＷＩＦＩ（登録商標）、ＷＩＭＡＸ（登録商標）、ＧＰＲＳ又はＷＣＤＭＡ（登録商標）などの無線ネットワークインタフェース、又はＥＴＨＥＲＮＥＴ（登録商標）、ＵＳＢ又はＩＥＥＥ－１３９４などの有線ネットワークインタフェースが含まれる。いくつかの実施形態において、システム１００（図１）、方法２００（図２）、方法３００（図３）又は方法４００（図４）の動作は、２つ以上のシステム５００において実装され、ネットワーク５１４を介して、異なるシステム５００間で情報が交換される。

本明細書の一態様は、車両データ収集システムに関する。車両データ収集システムは、車載センサを含む。車両データ収集システムは、さらに、命令を格納するように構成された非一時的コンピュータ可読媒体を含む。車両データ収集システムは、非一時的コンピュータ可読媒体に接続されたプロセッサを含む。該プロセッサは、第１のニューラルネットワークを用いて、不変特徴量マップを生成するために命令を実行するように構成されている。プロセッサは、さらに、不変特徴量マップを、サーバから受信されるテンプレートデータと比較して、不変特徴量マップとテンプレートデータの間の類似度を決定するために命令を実行するように構成されている。プロセッサは、さらに、決定された類似度が既定の閾値を上回っているか否かを決定するために命令を実行するように構成されている。プロセッサは、さらに、決定された類似度が既定の閾値を上回っているという決定に応答して、サーバへセンサデータを送信するように伝達部に命令するために命令を実行するように構成されている。いくつかの実施形態において、プロセッサは、さらに、車載センサによって取り込まれたセンサデータ内の物体を検出するために命令を実行し、且つ検出された物体に基づいて不変特徴量マップを生成するように構成されている。いくつかの実施形態において、車載センサは、カメラ、光検出及び測距（ＬｉＤＡＲ）センサ、又は電波検出及び測距（ＲＡＤＡＲ）センサのうちの少なくとも１つを含む。いくつかの実施形態において、テンプレートデータは、目標に基づいて生成される目標不変特徴量マップを含む。いくつかの実施形態において、プロセッサはさらに、センサデータをサーバに送信する前にセンサデータから機密情報を除去するために命令を実行するように構成されている。いくつかの実施形態において、テンプレートデータは、ニューラルネットワークのための重みを含んでおり、プロセッサは重みを用いて第１のニューラルネットワークを使用して不変特徴量マップを生成するために命令を実行するように構成されている。いくつかの実施形態において、テンプレートデータは、ニューラルネットワークのための重みを含んでおり、プロセッサは、さらに、重みを用いて第２のニューラルネットワークを使用して類似度を決定するために命令を実行するように構成されている。

本開示の一態様は、車両データ収集システムに関する。車両データ収集システムは、ユーザから目標情報を受信するように構成されているグラフィカルユーザインタフェース（ＧＵＩ）を含む。車両データ収集システムは、さらに、命令を格納するように構成された非一時的コンピュータ可読媒体を含む。車両データ収集システムは、さらに、非一時的コンピュータ可読媒体に接続されたプロセッサを含む。プロセッサは、ＧＵＩから目標情報を受信するために命令を実行するように構成されている。プロセッサは、さらに、目標情報に基づいて、第１のニューラルネットワークを用いて目標不変特徴量マップを生成するために命令を実行するように構成されている。プロセッサは、さらに、目標不変特徴量マップに基づいてデータ収集コマンドを生成するために命令を実行するように構成されている。プロセッサは、さらに、少なくとも１つの車両へデータ収集コマンドを送信するように伝送部に命令するために命令を実行するように構成されている。プロセッサは、さらに、データ収集コマンドに応答して少なくとも１つの車両からセンサデータを受信するために命令を実行するように構成されている。プロセッサは、さらに、ユーザにセンサデータを報告するために命令を実行するように構成されている。いくつかの実施形態において、目標情報は画像を含んでいる。いくつかの実施形態において、プロセッサは、複数の車両へデータ収集コマンドを送信するように伝送部に命令するために命令を実行するように構成されている。いくつかの実施形態において、プロセッサは、車両からのデータ要求の優先度を含むデータ収集コマンドを生成するために命令を実行するように構成されている。いくつかの実施形態において、プロセッサは、ユーザのアイデンティティに基づいて車両がセンサデータから機密情報を除去するのを防ぐための命令を含むデータ収集コマンドを生成するために命令を実行するように構成されている。いくつかの実施形態において、プロセッサは、センサデータと結び付けられた時間又は場所情報のうちの少なくとも１つと共にユーザにセンサデータを報告するために命令を実行するように構成されている。いくつかの実施形態において、プロセッサは、ユーザにより動作されるモバイルデバイスに対してアラートを生成することによってユーザに対しセンサデータを報告するために命令を実行するように構成されている。

本明細書の少なくとも一態様は、方法に関する。該方法は、少なくとも１つの車載センサを用いてセンサデータを収集するステップを含む。該方法は、さらに、第１のニューラルネットワークを用いて、不変特徴量マップを生成するステップを含む。該方法は、さらに、不変特徴量マップを、サーバから受信されるテンプレートデータと比較して、不変特徴量マップとテンプレートデータの間の類似度を決定するステップを含む。該方法は、決定された類似度が既定の閾値を上回っているか否かを決定するステップを含む。該方法は、さらに、決定された類似度が既定の閾値を上回っているという決定に応答して、サーバへセンサデータを伝送するステップを含む。いくつかの実施形態において、該方法は、さらに、センサデータ内の物体を検出するステップを含み、ここで不変特徴量マップを生成するステップは、検出された物体に基づいている。いくつかの実施形態において、車載センサは、カメラ、光検出及び測距（ＬｉＤＡＲ）センサ、又は電波検出及び測距（ＲＡＤＡＲ）センサのうちの少なくとも１つを含む。いくつかの実施形態において、テンプレートデータは、目標に基づいて生成される目標不変特徴量マップを含む。いくつかの実施形態において、該方法は、さらに、センサデータをサーバに伝送する前にセンサデータから機密情報を除去するステップを含む。いくつかの実施形態において、テンプレートデータは、ニューラルネットワークのための重みを含んでおり、不変特徴量マップを生成するステップは、第１のニューラルネットワーク内の重みを使用するステップを含んでいる。

以上では、当業者が本開示の態様をより良く理解できるように複数の実施形態の特徴の要点が説明されている。当業者であれば、本明細書中で紹介されている実施形態の同じ目的を実施し且つ／又は同じ利点を達成するために他のプロセス及び構造を設計又は修正するための基礎として本開示を容易に使用できるということを認識するはずである。これらの当業者は同様に、このような等価の構造が本開示の精神及び範囲から逸脱しないこと、そして本開示の精神及び範囲から逸脱することなく、本明細書中でさまざまな変更、置換及び改変を行なうことができることも同様に理解するはずである。

Claims (20)

1. 車載センサと；
   命令を格納するように構成された非一時的コンピュータ可読媒体と；
   前記非一時的コンピュータ可読媒体に接続されたプロセッサであって、
   第１のニューラルネットワークを用いて、センサデータから不変特徴量マップを生成し；
   前記不変特徴量マップをサーバから受信されるテンプレートデータと比較して、前記不変特徴量マップと前記テンプレートデータの間の類似度を決定し；
   前記決定された類似度が既定の閾値を上回っているか否かを決定し；
   前記決定された類似度が既定の閾値を上回っているという決定に応答して、前記サーバへ前記センサデータを送信するように伝送部に命令する；
   ための命令を実行するように構成されているプロセッサと；
   を含む車両データ収集システム。
2. 前記プロセッサが、さらに、前記車載センサによって取り込まれたセンサデータ内の物体を検出するための前記命令を実行し；且つ前記検出された物体に基づいて前記不変特徴量マップを生成するように構成されている、請求項１に記載の車両データ収集システム。
3. 前記車載センサが、カメラ、光検出及び測距（ＬｉＤＡＲ）センサ、又は電波検出及び測距（ＲＡＤＡＲ）センサのうちの少なくとも１つを含む、請求項１又は２に記載の車両データ収集システム。
4. 前記テンプレートデータが、目標に基づいて生成される目標不変特徴量マップを含む、請求項１又は２に記載の車両データ収集システム。
5. 前記プロセッサが、さらに、前記センサデータを前記サーバに送る前に前記センサデータから機密情報を除去するための前記命令を実行するように構成されている、請求項１又は２に記載の車両データ収集システム。
6. 前記テンプレートデータが、ニューラルネットワークのための重みを含んでおり、前記プロセッサが前記重みを用いて前記第１のニューラルネットワークを使用して前記不変特徴量マップを生成するための前記命令を実行するように構成されている、請求項１又は２に記載の車両データ収集システム。
7. 前記テンプレートデータが、ニューラルネットワークのための重みを含んでおり、前記プロセッサが、さらに、前記重みを用いて第２のニューラルネットワークを使用して前記類似度を決定するための前記命令を実行するように構成されている、請求項１又は２に記載の車両データ収集システム。
8. ユーザから目標情報を受信するように構成されているグラフィカルユーザインタフェース（ＧＵＩ）と；
   命令を格納するように構成された非一時的コンピュータ可読媒体と；
   前記非一時的コンピュータ可読媒体に接続されたプロセッサであって、
   前記ＧＵＩから目標情報を受信し；
   前記目標情報に基づいて、第１のニューラルネットワークを用いて目標不変特徴量マップを生成し；
   前記目標不変特徴量マップに基づいてデータ収集コマンドを生成し；
   少なくとも１つの車両へ前記データ収集コマンドを送信するように伝送部に命令し；
   前記データ収集コマンドに応答して前記少なくとも１つの車両からセンサデータを受信し；
   前記ユーザに前記センサデータを報告する；
   ための前記命令を実行するように構成されているプロセッサと；
   を含む車両データ収集システム。
9. 前記目標情報が画像を含んでいる、請求項８に記載の車両データ収集システム。
10. 前記プロセッサが、複数の車両へ前記データ収集コマンドを送信するように前記伝送部に命令するための前記命令を実行するように構成されている、請求項８又は９に記載の車両データ収集システム。
11. 前記プロセッサが、前記車両からのデータ要求の優先度を含むデータ収集コマンドを生成するための前記命令を実行するように構成されている、請求項８又は９に記載の車両データ収集システム。
12. 前記プロセッサが、前記ユーザのアイデンティティに基づいて前記車両が前記センサデータから機密情報を除去するのを防ぐための命令を含む前記データ収集コマンドを生成するための前記命令を実行するように構成されている、請求項８又は９に記載の車両データ収集システム。
13. 前記プロセッサが、前記センサデータと結び付けられた時間又は場所情報のうちの少なくとも１つと共に前記ユーザに前記センサデータを報告するための前記命令を実行するように構成されている、請求項８又は９に記載の車両データ収集システム。
14. 前記プロセッサが、前記ユーザにより動作されるモバイルデバイスに対してアラートを生成することによって、前記ユーザに対し前記センサデータを報告するための前記命令を実行するように構成されている、請求項８又は９に記載の車両データ収集システム。
15. 少なくとも１つの車載センサを用いてセンサデータを収集することと；
    第１のニューラルネットワークを用いて、不変特徴量マップを生成することと；
    前記不変特徴量マップを、サーバから受信されるテンプレートデータと比較して、前記不変特徴量マップと前記テンプレートデータの間の類似度を決定することと；
    前記決定された類似度が既定の閾値を上回っているか否かを決定することと；
    前記決定された類似度が既定の閾値を上回っているという決定に応答して、前記サーバへ前記センサデータを伝送することと；
    を含む方法。
16. 前記センサデータ内の物体を検出することをさらに含み、前記不変特徴量マップを生成することが、前記検出された物体に基づいて前記不変特徴量マップを生成することを含む、請求項１５に記載の方法。
17. 前記車載センサが、カメラ、光検出及び測距（ＬｉＤＡＲ）センサ、又は電波検出及び測距（ＲＡＤＡＲ）センサのうちの少なくとも１つを含む、請求項１５又は１６に記載の方法。
18. 前記テンプレートデータが、目標に基づいて生成される目標不変特徴量マップを含む、請求項１５又は１６に記載の方法。
19. 前記センサデータを前記サーバに伝送する前に前記センサデータから機密情報を除去することをさらに含む、請求項１５又は１６に記載の方法。
20. 前記テンプレートデータが、ニューラルネットワークのための重みを含んでおり、前記不変特徴量マップを生成することが、前記第１のニューラルネットワーク内の重みを使用することを含んでいる、請求項１５又は１６に記載の方法。

Images