JP2021014257A - 車両のエンドツーエンド走行のためのフィードバックシステム - Google Patents

車両のエンドツーエンド走行のためのフィードバックシステム Download PDF

Info

Publication number
JP2021014257A
JP2021014257A JP2020117738A JP2020117738A JP2021014257A JP 2021014257 A JP2021014257 A JP 2021014257A JP 2020117738 A JP2020117738 A JP 2020117738A JP 2020117738 A JP2020117738 A JP 2020117738A JP 2021014257 A JP2021014257 A JP 2021014257A
Authority
JP
Japan
Prior art keywords
vehicle
modified
data
commands
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020117738A
Other languages
English (en)
Inventor
アベディソフ セルゲイ
Avedisov Sergei
アベディソフ セルゲイ
バンサル ガウラフ
Bansal Gaurav
バンサル ガウラフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JP2021014257A publication Critical patent/JP2021014257A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/091Traffic information broadcasting
    • G08G1/092Coding or decoding of the information

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】車両のエンドツーエンド走行のために運転コマンドを改良する。【解決手段】いくつかの実施形態では、コネクテッド車両のための方法は、コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信することを含む。方法は、1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成することを含む。1つ又は複数の修正済み運転コマンドは、軌道安全性要件を満たすようにコネクテッド車両の動作を制御する。方法は、コネクテッド車両が1つ又は複数の修正済み運転コマンドに基づいて動作するように、修正済みコマンドデータに基づいてコネクテッド車両の車両制御システムの動作を修正することを含む。【選択図】図3

Description

本明細書は、車両のエンドツーエンド走行のための運転コマンドを改良することに関する。
自律車両は、自車の環境を検知することができ、人間による入力を必要とすることなく、目的地まで走行することができる。例えば、自律車両は、様々なセンサ(例えば、レーダ、LIDAR、カメラ、等)を使用して自車の周囲を検出することができ、様々なセンサデータを生成することができる。自律車両は、これら様々なセンサデータを解釈することができ、目的地までの適切な走行ルートを特定することができる。しかしながら、運転環境の複雑さから、いくつかの状況においては、自律車両の走行安全性を確保することが困難な場合があり得る。
本明細書に記載される実施形態の1つの一般的な態様は、コンピュータ実行可能コードを記憶している、コネクテッド車両の車載コンピュータシステムの非一時的メモリを含むコンピュータプログラム製品を含み、コンピュータ実行可能コードがプロセッサによって実行されると、プロセッサは、コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信し、1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成し、コネクテッド車両が1つ又は複数の修正済み運転コマンドに基づいて動作するように修正済みコマンドデータに基づいてコネクテッド車両の車両制御システムの動作を修正し、1つ又は複数の修正済み運転コマンドは、潜在的な衝突が回避されるように、コネクテッド車両が、道路上の意図された走行車線内で動作し、且つ、道路上に存在する他の車両に対して安全な距離を維持するようにコネクテッド車両を制御する。この態様の他の実施形態は、それぞれが方法の動作を実行するように構成された、対応するコンピュータシステム、対応する装置、及び、1つ又は複数のコンピュータストレージデバイス上に記録された対応するコンピュータプログラムを含む。
実装は、以下の特徴のうちの1つ又は複数を含むことができる。コンピュータプログラム製品であって、コマンドデータは機械学習システムから受信され、1つ又は複数の修正済み運転コマンドは、コネクテッド車両が機械学習システムによって提供されたモデルデータと一致した態様で動作するようにコネクテッド車両をさらに制御する、コンピュータプログラム製品。コンピュータプログラム製品であって、コンピュータ実行可能コードがプロセッサによって実行されると、プロセッサは、少なくとも、コネクテッド車両の1つ又は複数のセンサからのセンサデータと、1つ又は複数の他のエンドポイントからのビークルツーエブリシング(V2X)データとのうちの1つ又は複数を受信し、センサデータとV2Xデータとのうちの1つ又は複数に基づいて1つ又は複数の運転コマンドを修正して1つ又は複数の修正済み運転コマンドを生成することとによって、1つ又は複数の運転コマンドを修正させて修正済み運転コマンドデータを生成する、コンピュータプログラム製品。コンピュータプログラム製品であって、1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数を含み、1つ又は複数の修正済み運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数に関する修正済みバージョンを含む、コンピュータプログラム製品。説明した技法の実装は、ハードウェア、方法又はプロセス、あるいはコンピュータアクセス可能な媒体上におけるコンピュータソフトウェアを含むことができる。
1つの一般的な態様はコネクテッド車両のための方法を含み、この方法は、コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信することと、1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成することと、コネクテッド車両が1つ又は複数の修正済み運転コマンドに基づいて動作するように修正済みコマンドデータに基づいてコネクテッド車両の車両制御システムの動作を修正することとを含み、1つ又は複数の修正済み運転コマンドは、軌道安全性要件を満たすようにコネクテッド車両の動作を制御する。この態様の他の実施形態は、それぞれが方法の動作を実行するように構成された、対応するコンピュータシステム、対応する装置、及び、1つ又は複数のコンピュータストレージデバイス上に記録された対応するコンピュータプログラムを含む。
実装は、以下の特徴のうちの1つ又は複数を含むことができる。方法であって、軌道安全性要件は走行車線要件を含み、1つ又は複数の修正済み運転コマンドは、道路上の意図された走行車線内でコネクテッド車両が動作するようにコネクテッド車両を制御する、方法。方法であって、軌道安全性要件は衝突回避要件を含み、1つ又は複数の修正済み運転コマンドは、潜在的な衝突が回避されるように、コネクテッド車両がコネクテッド車両の道路上に存在する他の車両に対して安全な距離を維持するようにコネクテッド車両を制御する、方法。方法であって、コマンドデータが機械学習システムから受信され、1つ又は複数の修正済み運転コマンドは、コネクテッド車両が機械学習システムによって提供されたモデルデータと一致した態様で動作するようにコネクテッド車両をさらに制御する、方法。方法であって、1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成することが、コネクテッド車両の1つ又は複数のセンサからのセンサデータと、1つ又は複数の他のエンドポイントからのV2Xデータとのうちの1つ又は複数を受信することと、センサデータとV2Xデータとのうちの1つ又は複数に基づいて1つ又は複数の運転コマンドを修正して1つ又は複数の修正済み運転コマンドを生成することとを含む、方法。方法であって、センサデータとV2Xデータとのうちの1つ又は複数に基づいて1つ又は複数の運転コマンドを修正して1つ又は複数の修正済み運転コマンドを生成することが、1つ又は複数の運転コマンドと、センサデータとV2Xデータとのうちの1つ又は複数とに基づいてコネクテッド車両の軌道を推測することと、コネクテッド車両の軌道が軌道安全性要件を満たさないと判定したことに応答して、軌道安全性要件を満たす修正済み軌道が修正済み運転コマンドに基づいてコネクテッド車両に関して生成されるように1つ又は複数の運転コマンドを修正して1つ又は複数の修正済み運転コマンドを生成することとを含む、方法。方法であって、センサデータが、コネクテッド車両の地理的位置を記述した位置データと、コネクテッド車両の慣性測定ユニットから受信した慣性測定データとのうちの1つ又は複数を含む、方法。方法であって、1つ又は複数の運転コマンドが、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数を含み、1つ又は複数の修正済み運転コマンドが、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数に関する修正済みバージョンを含む、方法。説明した技法の実装は、ハードウェア、方法又はプロセス、あるいはコンピュータアクセス可能な媒体上におけるコンピュータソフトウェアを含むことができる。
1つの一般的な態様は、コンピュータコードを記憶している非一時的メモリを含むコネクテッド車両の車載コンピュータシステムを含むシステムを含み、コンピュータコードが車載コンピュータシステムによって実行されると、車載コンピュータシステムは、コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信し、1つ又は複数の運転コマンドを修正して1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成し、コネクテッド車両が1つ又は複数の修正済み運転コマンドに基づいて動作するように、修正済みコマンドデータに基づいてコネクテッド車両の車両制御システムの動作を修正し、1つ又は複数の修正済み運転コマンドは、軌道安全性要件を満たすようにコネクテッド車両の動作を制御する。この態様の他の実施形態は、それぞれが方法の動作を実行するように構成された、対応するコンピュータシステム、対応する装置、及び1つ又は複数のコンピュータストレージデバイス上に記録された対応するコンピュータプログラムを含む。
実装は、以下の特徴のうちの1つ又は複数を含むことができる。システムであって、軌道安全性要件は走行車線要件を含み、1つ又は複数の修正済み運転コマンドは、コネクテッド車両が道路上の意図された走行車線内で動作するようにコネクテッド車両を制御する、システム。システムであって、軌道安全性要件は衝突回避要件を含み、1つ又は複数の修正済み運転コマンドは、潜在的な衝突が回避されるように、コネクテッド車両がコネクテッド車両の道路上に存在する他の車両に対して安全な距離を維持するようにコネクテッド車両を制御する、システム。システムであって、コマンドデータは機械学習システムから受信され、1つ又は複数の修正済み運転コマンドは、コネクテッド車両が機械学習システムによって提供されたモデルデータと一致した態様で動作するようにコネクテッド車両をさらに制御する、システム。システムであって、コンピュータコードが車載コンピュータシステムによって実行されると、車載コンピュータシステムは、少なくとも、コネクテッド車両の1つ又は複数のセンサからのセンサデータと、1つ又は複数の他のエンドポイントからのV2Xデータとのうちの1つ又は複数を受信することと、センサデータとV2Xデータとのうちの1つ又は複数に基づいて1つ又は複数の運転コマンドを修正して1つ又は複数の修正済み運転コマンドを生成することとによって1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成する、システム。システムであって、コンピュータコードが車載コンピュータシステムによって実行されると、車載コンピュータシステムは、少なくとも、1つ又は複数の運転コマンドと、センサデータとV2Xデータとのうちの1つ又は複数とに基づいてコネクテッド車両の軌道を推測することと、コネクテッド車両の軌道が軌道安全性要件を満たさないと判定したことに応答して、軌道安全性要件を満たす修正済み軌道が修正済み運転コマンドに基づいてコネクテッド車両に関して生成されるように、1つ又は複数の運転コマンドを修正して1つ又は複数の修正済み運転コマンドを生成することとによって、センサデータとV2Xデータとのうちの1つ又は複数に基づいて、1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成する、システム。システムであって、センサデータが、コネクテッド車両の地理的位置を記述した位置データと、コネクテッド車両の慣性測定ユニットから受信した慣性測定データとのうちの1つ又は複数を含む、システム。システムであって、1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数を含み、1つ又は複数の修正済み運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数に関する修正済みバージョンを含む、システム。説明した技法の実装は、ハードウェア、方法又はプロセス、あるいはコンピュータアクセス可能な媒体上におけるコンピュータソフトウェアを含むことができる。
本開示は、例示のために説明するものであって、添付図面の図によって限定されるものではなく、添付図面においては、同様の参照符号を使用して、同様の構成要素を参照している。
図1Aは、いくつかの実施形態による、機械学習システム及びフィードバックシステムのための動作環境を示すブロック図である。 図1Bは、いくつかの実施形態による、機械学習システム及びフィードバックシステムを含むアーキテクチャを示すブロック図である。 図2は、いくつかの実施形態による、フィードバックシステムを含む例示的なコンピュータシステムを示すブロック図である。 図3は、いくつかの実施形態による、車両のエンドツーエンド走行のために運転コマンドを改良するための方法を示している。 図4は、いくつかの実施形態による、車両のエンドツーエンド走行のために運転コマンドを改良するための例示的なプロセスを示す図解表示である。 図5は、いくつかの実施形態による、運転コマンドを修正して修正済み運転コマンドを生成するための例示的なプロセスを示す図解表示である。
機械学習システムは、複雑な(complex)畳み込みニューラルネットワーク(CCNN)への入力としてセンサデータ(例えば、カメラデータ、航続距離データ、レーダデータ、V2Xデータ)を使用することができ、これにより、車両に対して自律運転サービスを提供することができる。例えば、機械学習システムは、車両に対して提供するための対応する運転コマンド(例えば、ステアリングホイール、スロットル、ブレーキ等に関するコマンド)を学習する。自律運転サービスは、人間の運転を模倣してもよく、CCNNからの運転コマンドによって制御される自動運転システムは、人間が運転する方法と同様の運転をしてもよく、特定の人物のような運転を学習することができる。したがって、この自律運転サービスは、顧客に対して、高度にカスタマイズされた快適な自動運転体験を提供することができる。
しかしながら、CCNNにより操舵されている車両が、走行車線内に留まり得るかどうかを判定することは困難である。また、加速又は制動がCCNNにより制御されている車両が、前方(又は後方)を走行する他の車両に対して安全な距離を維持し得るかどうかを判定することも困難である。
本明細書において説明するものは、コネクテッド車両内に搭載されたフィードバックシステムであって、CCNN又はいくつかの他の機械学習システムによって提供された運転コマンドを修正して修正済み運転コマンドを生成するように動作し得るフィードバックシステムに関する実施形態である。その結果、修正済み運転コマンドによって制御されるコネクテッド車両は、適正な走行車線を維持するようにして操舵される。また、コネクテッド車両は、コネクテッド車両の前方又は後方を走行する他の車両に対して安全な距離を維持するようにして加速又は制動される。
本明細書において説明するフィードバックシステムによって提供される例示的な改良点及び利点につき、以下説明する。例えば、機械学習システムによって提供される運転コマンドの修正を通して、フィードバックシステムは、コネクテッド車両が適正な走行車線を維持するようにして操舵されることを保証する。また、フィードバックシステムは、コネクテッド車両が、コネクテッド車両の前方又は後方を走行する他の車両に対して安全な距離を維持するようにして加速又は制動されること保証する。このようにして、コネクテッド車両に関する走行安全性が向上する。
機械学習システム及びフィードバックシステムに関する例示的な概要を、以下に提供する。機械学習システムは、コネクテッド車両内に搭載され得るものであって、センサ測定値(例えば、動画及び画像)を分析することができ、人間のようにコネクテッド車両を運転する方法を学習することができる。機械学習システムは、コネクテッド車両の運転を制御し得るよう、コネクテッド車両の車両制御システムのための運転コマンド(例えば、ステアリングコマンド、スロットルコマンド、ブレーキングコマンド等)を記述したコマンドデータを出力する。
いくつかの実施形態では、機械学習システムはCCNNである。いくつかの実施形態では、車両制御システムは高度運転支援システム(ADASシステム)又は自律運転システムである。構造的には、フィードバックシステムは、機械学習システムと車両制御システムとの間に配置される。
コネクテッド車両は、通信ユニットと、全地球測位システム(GPS)ユニットと、慣性測定ユニット(IMU)と、を含む。フィードバックシステムは、機械学習システムからコマンドデータを受信する。フィードバックシステムは、他の車両からのV2Xデータと、コネクテッド車両の1つ又は複数のセンサからのセンサデータ(例えば、GPSデータ、IMUデータ等)と、を受信する。フィードバックシステムは、フィードバックとして、V2XデータとGPSデータとIMUデータとを分析して、コマンドデータに関する修正を決定する。その後、フィードバックシステムは、コネクテッド車両の動作が修正済みコマンドデータに基づいて制御されるように、修正済み運転コマンドを記述した修正済みコマンドデータを車両制御システムに対して出力する。
本明細書において説明するように、V2X通信の例は、専用近距離通信(DSRC)(DSRC通信の他のタイプのうち、基本安全メッセージ(BSMs)及びパーソナル安全メッセージ(PSMs)を含む)を含む。V2X通信のさらなる例は、ロングタームエボリューション(LTE)、ミリ波(mmWave)通信、3G、4G、5G、LTE−V2X、5G−V2X、LTE−車車間(LTE−V2V)、LTE−デバイスデバイス間、あるいは、ボイスオーバーLTE(VoLTE)、等を含む。いくつかの例では、V2X通信は、V2V通信、路車間(V2I)通信、車両ネットワーク間(V2N)通信、あるいは、これらの任意の組合せを含むことができる。
本明細書において説明する無線メッセージ(例えば、V2Xメッセージ)の例は、限定するものではないが、DSRCメッセージ、BSMメッセージ、及びLTEメッセージを含む。無線メッセージのさらなる例は、LTE−V2Xメッセージ(例えば、LTE−V2Vメッセージ、LTE−V2Iメッセージ、LTE−V2Nメッセージ等)、5G−V2Xメッセージ、及びミリ波メッセージ等のうちの1つ又は複数を含む。
例示的な概要
図1Aを参照すると、いくつかの実施形態による、フィードバックシステム199及び機械学習システム191のための動作環境100が、図示されている。動作環境100は、自車両110と、1つ又は複数の遠隔車両112とのうちの1つ又は複数の構成要素を含むことができる。いくつかの実施形態では、動作環境100は、また、サーバ140を含むこともできる。動作環境100のこれらの構成要素は、ネットワーク105に対して通信可能に結合することができる。実用的には、動作環境100は、任意の数の自車両110と、任意の数の遠隔車両112と、任意の数のサーバ140と、任意の数のネットワーク105と、を含むことができる。
ネットワーク105は、従来的なタイプのものとすることができ、有線のもの又は無線のものとすることができ、また、スター構成、トークンリング構成、又は他の構成を含めて、多様な異なる構成を有することができる。さらに、ネットワーク105は、それを通して複数のデバイス及び/又は複数のエンティティが通信を行い得るような、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(例えば、インターネット)、又は他の相互接続されたデータパス、を含むことができる。いくつかの実施形態では、ネットワーク105は、ピアツーピアネットワークを含むことができる。ネットワーク105は、また、様々な異なる通信プロトコルでもってデータを送信するための電気通信ネットワークの一部に対して結合することができる、あるいは、そのような一部を含むことができる。いくつかの実施形態では、ネットワーク105は、ショートメッセージングサービス(SMS)及びマルチメディアメッセージングサービス(MMS)を介してデータを送受信するための、Bluetooth(登録商標)通信ネットワーク又はセルラー通信ネットワークを含む。いくつかの実施形態では、ネットワーク105は、ハイパーテキスト転送プロトコル(HTTP)、直接的データ接続、無線アプリケーションプロトコル(WAP)、電子メール、DSRC、全二重無線通信、及びミリ波(mmWave)のためのネットワークをさらに含む。いくつかの実施形態では、ネットワーク105は、WiFi(インフラストラクチャモード)、WiFi(アドホックモード)、可視光通信、TV白色空間通信、及び衛星通信のためのネットワークをさらに含む。ネットワーク105は、また、3G、4G、LTE、LTE−V2X、LTE−D2D、VoLTE、5G−V2X、任意の他のモバイルデータネットワーク、あるいは、モバイルデータネットワークどうしの任意の他の組合せを含み得るモバイルデータネットワークを含むことができる。さらに、ネットワーク105は、1つ又は複数のIEEE802.11無線ネットワークを含むことができる。
自車両110は、任意のタイプの車両とすることができる。例えば、自車両110は、自動車、トラック、スポーツ多目的車両、バス、セミトラック、ドローン、あるいは、他の任意の道路ベースの輸送機関のうちの1つを含むことができる。自車両110は、コネクテッド車両とすることができ、このコネクテッド車両は、通信ユニットを含むとともに、ネットワーク105に対して接続された他のエンドポイントに対して通信することができる。
いくつかの実施形態では、自車両110は、DSRC無線機及びDSRC準拠GPSユニットを含むDSRC対応車両である。自車両110は、また、DSRC無線機以外に、他のV2X無線機を含むこともできる。DSRCは、本明細書において説明する実施形態の必須要件ではなく、任意の形態のV2X通信も実現可能である。
自車両110は、プロセッサ125、メモリ127、通信ユニット145、GPSユニット150、電子制御ユニット(ECU)152、IMU153、センサセット154、車両制御システム156、及びフィードバックシステム199のうちの1つ又は複数の構成要素を含むことができる。いくつかの実施形態では、自車両110は、また、機械学習システムの一例(例えば、機械学習システム191A)を含む。自車両110のこれらの構成要素は、バスを介して互いに通信可能に結合することができる。
いくつかの実施形態では、プロセッサ125及びメモリ127は、車載コンピュータシステム(図2を参照して以下において説明するコンピュータシステム200など)の構成要素とすることができる。車載コンピュータシステムは、フィードバックシステム199の動作を引き起こすようにあるいはその動作を制御するように、動作可能とすることができる。例えば、車載コンピュータシステムは、メモリ127上に記憶されたデータに対してアクセスしてそのデータを実行するように動作可能とすることができ、これにより、フィードバックシステム199又はその構成要素(例えば図2を参照されたい)に関して本明細書において説明した機能を提供することができる。
プロセッサ125は、演算を実行してディスプレイデバイスに対して電子表示信号を提供し得るよう、算術論理ユニット、マイクロプロセッサ、汎用コントローラ、又はいくつかの他のプロセッサアレイ、を含む。プロセッサ125は、データ信号を処理するものであり、様々なコンピューティングアーキテクチャを含むことができる。例示的なコンピューティングアーキテクチャは、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、又は命令セットの組合せを実装したアーキテクチャを含む。自車両110は、1つ又は複数のプロセッサ125を含むことができる。他のプロセッサ、他のオペレーティングシステム、他のセンサ、他のディスプレイ、及び他の物理的構成が可能な場合がある。
メモリ127は、プロセッサ125によって実行され得る命令又はデータを記憶する。命令又はデータは、本明細書において説明する技術を実行するためのコードを含むことができる。メモリ127は、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、フラッシュメモリ、あるいは、いくつかの他のメモリデバイス、とすることができる。いくつかの実施形態では、メモリ127は、また、不揮発性メモリ、あるいは、同様の永久記憶デバイス及び永久記憶媒体、を含む。例示的な永久記憶デバイスは、ハードディスクドライブ、フロッピーディスクドライブ、CD−ROMデバイス、DVD−ROMデバイス、DVD−RAMデバイス、DVD−RWデバイス、フラッシュメモリデバイス等を含む。追加的な例示的な永久記憶デバイスは、情報をより永久的に記憶するためのいくつかの他の大容量記憶デバイスを含むことができる。自車両110は、1つ又は複数のメモリ127を含むことができる。
メモリ127は、V2Xデータ128、センサデータ129、位置データ130、IMUデータ131、モデルデータ132、コマンドデータ133、及び、修正済みコマンドデータ134のうちの1つ又は複数の構成要素を記憶することができる。
いくつかの実施形態では、V2Xデータ128は、自車両110の近傍における1つ又は複数の他のエンドポイント(例えば、遠隔車両112、路側ユニット、等)から受信したセンサデータを含むことができる。特定のエンドポイントのセンサデータは、エンドポイントの位置を記述した位置データと、エンドポイントの他のセンサ測定値(例えば、速度、向き、等)を記述した他のセンサデータとのうちの1つ又は複数を含むことができる。エンドポイントは、無線V2Xメッセージを介して、自車両110に対して、そのV2Xデータをブロードキャスト又はユニキャストすることができる。
センサデータ129は、センサによって記録されてセンサセット154内に含まれたセンサ測定値を記述したデジタルデータを含む。例えば、センサデータ129は、外部カメラ、内部カメラ、レーダ、LIDAR、レーダやLIDAR以外の他の測距センサ、GPSユニット150、及びIMU153等のうちの1つ又は複数によって記録されたセンサ測定値を記述したデジタルデータを含むことができる。
位置データ130は、自車両110の地理的位置を記述したデジタルデータを含むことができる。例えば、位置データ130は、自車両110のGPS位置を記述したGPSデータを含む。
IMUデータ131は、自車両110の慣性測定値を記述したデジタルデータを含むことができる。
モデルデータ132は、自車両110を操作する運転者の運転モデルを記述したデジタルデータを含むことができる。運転モデルは、特定の人間のように自車両110を運転する方法を記述することができる。例えば、センサデータ129は、自車両110の運転者が、異なる環境又は状況において自車両110をどのように運転するかを描写した画像及び映像を含む。機械学習システム191は、映像及び画像を分析し、画像及び映像の分析に基づいてモデルデータ132を生成する。モデルデータ132は、画像及び映像から直接的に明らかであるような異なる環境又は走行状況においてあるいは機械学習システム191が推測するような異なる環境又は走行状況において運転者が自車両110をどのように操作するかを記述したデジタルデータを含む。
コマンドデータ133は、機械学習システム191が提供する1つ又は複数の運転コマンドを記述したデジタルデータを含む。修正済みコマンドデータ134は、修正された1つ又は複数の運転コマンドを記述したデジタルデータを含む。例えば、1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、ブレーキングコマンド等のうちの1つ又は複数を含む。1つ又は複数の修正済み運転コマンドは、ステアリングコマンド、スロットルコマンド、ブレーキングコマンド等に関する修正済みバージョンを含む。
通信ユニット145はネットワーク105又は他の通信チャネルとの間でデータを送受信する。いくつかの実施形態では、通信ユニット145は、DSRCトランシーバ、DSRC受信機、及び、自車両110をDSRC対応デバイスとするために必要な他のハードウェア又は他のソフトウェアを含むことができる。例えば、通信ユニット145は、ネットワークを介してDSRCメッセージをブロードキャストするように構成されたDSRCアンテナを含む。DSRCアンテナは、また、ユーザ設定可能な固定間隔又は可変間隔(例えば、0.1秒ごと、1.6Hz〜10Hzという周波数範囲に対応した時間間隔等)でBSMメッセージを送信することができる。
いくつかの実施形態では、通信ユニット145は、ネットワーク105又は他の通信チャネルに対して直接的な物理的接続のためのポートを含む。例えば、通信ユニット145は、ネットワーク105との有線通信のために、USB、SD、CAT−5、あるいは同様のポートを含む。いくつかの実施形態では、通信ユニット145は、1つ又は複数の無線通信方法を使用してネットワーク105又は他の通信チャネルとデータを交換するための無線トランシーバを含む。例示的な無線通信方法は、IEEE802.11、IEEE802.16、Bluetooth(登録商標)のうちの1つ又は複数を含むことができる。例示的な無線通信方法は、ENISO14906:2004電子料金徴収−アプリケーションインターフェースEN11253:2004DSRC−5.8GHzのマイクロ波を使用した物理層(レビュー)をさらに含むことができる。例示的な無線通信方法は、EN12795:2002DSRC−DSRCデータリンク層:媒体アクセス及び論理リンク制御(レビュー)をさらに含むことができる。例示的な無線通信方法は、EN12834:2002DSRC−アプリケーション層(レビュー)及びEN13372:2004DSRC−RTTTアプリケーション用DSRCプロファイル(レビュー)をさらに含むことができる。例示的な無線通信方法は、2014年8月28日付けで「Full−Duplex Coordination System」と題して出願された米国特許出願第14/471,387号明細書に記載された通信方法を、あるいは、他の適切な無線通信方法をさらに含むことができる。
いくつかの実施形態では、通信ユニット145は、セルラー通信ネットワーク上においてデータを送受信するためのセルラー通信トランシーバを含む。例えば、データは、ショートメッセージングサービス(SMS)、マルチメディアメッセージングサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接的データ接続、WAP、電子メール、あるいは、他の適切なタイプの電子通信を介して送受信されてもよい。いくつかの実施形態では、通信ユニット145は、有線ポート及び無線トランシーバを含む。通信ユニット145は、また、TCP/IP、HTTP、HTTPS、SMTP、ミリ波、DSRC等を含む標準的ネットワークプロトコルを使用してファイル又はメディアオブジェクトを配布するために、ネットワーク105に対しての他の従来的な接続を提供する。
通信ユニット145は、V2X無線機を含むことができる。V2X無線機は、5.9GHz帯でDSRCメッセージを送信するように動作可能なDSRC送信機を含むハードウェア構成要素を含むことができる。5.9GHz帯は、DSRCメッセージのために予約されている。ハードウェア構成要素は、また、5.9GHz帯でDSRCメッセージを受信するように動作可能なDSRC受信機を含むこともできる。
いくつかの実施形態では、GPSユニット150は、自車両110の従来的なGPSユニットである。例えば、GPSユニット150は、自車両110の地理的位置を記述したデータを取得するために、GPS衛星と無線通信するハードウェアを含むことができる。いくつかの実施形態では、GPSユニット150は、自車両110のDSRC準拠GPSユニットである。DSRC準拠GPSユニットは、自車両110の地理的位置を記述したGPSデータを車線レベルの精度で提供するように動作可能である。
ECU152は、1つ又は複数のプロセッサと、1つ又は複数のメモリと、を含むことができる。ECU152は、自車両110に関しての、車両制御システム156と、センサセット154と、フィードバックシステム199と、機械学習システム191Aとの動作を制御することができる。いくつかの実施形態では、自車両110のフィードバックシステム199及び機械学習システム191Aは、ECU152内に搭載されている。
IMU153は、自車両110の慣性測定値を記述したIMUデータ131を生成するための、ソフトウェア、ハードウェア、あるいはこれらの組合せを含むことができる。
センサセット154は、自車両110の外部の道路環境を測定するように動作可能な1つ又は複数のセンサを含む。例えば、センサセット154は、自車両110に近接する道路環境に関する1つ又は複数の物理的特性を記録する1つ又は複数のセンサを含むことができる。メモリ127は、センサセット154によって記録された1つ又は複数の物理的特性を記述したセンサデータを記憶することができる。
センサセット154は、また、自車両110の車内の環境を記録する様々なセンサを含むことができる。例えば、センサセット154は、内部的にも外部的にも自車両110の環境を監視する車載センサを含む。さらなる例では、センサセット154は、カメラ、LIDAR、レーダ、赤外線センサ、及び、内部カメラや生体センサ等の運転者の挙動を観察するセンサを含む。
いくつかの実施形態では、センサセット154は、カメラ、LIDARセンサ、レーダセンサ、レーザ高度計、赤外線検出器、動き検出器、サーモスタット、及び、音検出器のうちの1つ又は複数の車両センサを含むことができる。センサセット154は、また、一酸化炭素センサ、二酸化炭素センサ、酸素センサ、風量センサ、及びエンジン冷却水温度センサのうちの1つ又は複数のセンサを含むことができる。センサセット154は、また、スロットル位置センサ、クランクシャフト位置センサ、車両エンジンセンサ、バルブタイマ、空燃比メータ、及び死角メータのうちの1つ又は複数のセンサを含むことができる。センサセット154は、また、縁石感知器、欠陥検出器、ホール効果センサ、マニホールド絶対圧センサ、駐車センサ、レーダガン、速度計、及び速度センサのうちの1つ又は複数のセンサを含むことができる。センサセット154は、また、タイヤ空気圧監視センサ、トルクセンサ、トランスミッション流体温度センサ、タービン速度センサ(TSS)、可変リラクタンスセンサ、及び車速センサ(VSS)のうちの1つ又は複数のセンサを含むことができる。センサセット154は、また、水センサ、車輪速度センサ、及び任意の他のタイプの車両センサのうちの1つ又は複数のセンサを含むことができる。
車両制御システム156は、自車両110の動作を制御することができる。例えば、車両制御システム156は、自車両110のための自律機能の一部又は全部を提供することができる。いくつかの実施形態では、車両制御システム156は、1つ又は複数のADASシステム157、自律運転システム158、あるいはこれらの組合せを含むことができる。
自車両110の道路上に存在する遠隔車両112は、自車両110の構造と同様の構造を有することができる。同様の説明は、ここでは繰り返さない。
サーバ140は、クラウドサーバ、エッジサーバ、あるいは他の処理デバイスのいずれかとすることができる。サーバ140は、機械学習システムの一例(例えば、機械学習システム191B)と、任意の他の適切な構成要素と、を含む。例えば、機械学習システム191は、サーバ140の一構成要素であり、自車両110自体には搭載されていない。
機械学習システム191A及び191Bは、同様の構造を有し得るとともに、同様の機能を提供することができ、本明細書では、個別的に又は集合的に「機械学習システム191」として参照することができる。
いくつかの実施形態では、機械学習システム191は、センサセット154によって生成されたセンサデータ内に含まれている映像及び画像を分析するように動作可能なソフトウェアであるとともに、車両制御システム156のための運転コマンドを記述したコマンドデータを出力するように動作可能なソフトウェアを含む。いくつかの実施形態では、機械学習システム191は、フィールドプログラマブルゲートアレイ(「FPGA」)又は特定用途向け集積回路(「ASIC」)を含むハードウェアを使用して実装することができる。いくつかの他の実施形態では、機械学習システム191は、ハードウェアとソフトウェアとの組合せを使用して実装することができる。機械学習システム191は、デバイス(例えば、サーバ又は他のデバイス)どうしの組合せ内に記憶することができ、あるいは、いずれかのデバイス内に記憶することができる。
機械学習システム191について、図1B及び図4〜図5を参照して、以下においてより詳細に説明する。
いくつかの実施形態では、フィードバックシステム199は、プロセッサ125によって実行されると、図3を参照して以下において説明する方法300の1つ又は複数のステップをプロセッサ125に実行させるように動作可能なソフトウェアを含む。いくつかの実施形態では、フィードバックシステム199は、FPGA又はASICを含むハードウェアを使用して実装することができる。いくつかの他の実施形態では、フィードバックシステム199は、ハードウェアとソフトウェアとの組合せを使用して実装することができる。フィードバックシステム199は、デバイス(例えば、サーバ又は他のデバイス)どうしの組合せ内に記憶することができる、あるいは、いずれかのデバイス内に記憶することができる。
フィードバックシステム199について、図1B〜図5を参照して以下においてより詳細に説明する。
ここで図1Bを参照すると、いくつかの実施形態による、機械学習システム191及びフィードバックシステム199を含むアーキテクチャ170が、図示されている。機械学習システム191は、CCNN(例えば、畳み込みリカレントニューラルネットワーク(CRNN))を含むことができる。機械学習システム191は、センサセット154によって生成されたセンサデータ129(例えば、映像及び画像)を分析するように動作可能であるとともに、人間のように自車両110を運転する方法を学習するように動作可能である。例えば、機械学習システム191は、映像及び画像の分析に基づいて、特定の人間が自車両110をどのように運転するかを記述したモデルデータ132を生成する。
その後、機械学習システム191は、モデルデータ132と、センサセット154によって生成されたリアルタイムセンサデータ171とに基づいて、コマンドデータ133を生成する。例えば、機械学習システム191は、リアルタイムセンサデータ171を連続的に解析することにより、現在の運転環境又は運転状況を評価する。現在の運転環境又は運転状況に基づいて、機械学習システム191は、自車両110の運転をリアルタイムで制御するために、車両制御システム156に関する1つ又は複数の運転コマンドを記述したコマンドデータ133を出力する。1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、ブレーキングコマンド、あるいはこれらの任意の組合せを含む。その結果、自車両110は、モデルデータ132によって記述された自車両110の動作と一致した態様で動作する。
構造的には、フィードバックシステム199は、機械学習システム191と車両制御システム156との間に配置されている。機械学習システム191によって生成された運転コマンドであって、車両制御システム156に対して提供することが意図されている運転コマンドは、まず、フィードバックシステム199によって受信され、検査され、必要に応じて修正される。その後、フィードバックシステム199は、車両制御システム156に対して、制御入力(これは、修正されたものとも、修正されていないものともすることができる)を発行する(例えば、以下において説明するような修正済みコマンドデータ134を参照されたい)。
例えば、フィードバックシステム199は、機械学習システム191から、コマンドデータ133と、モデルデータ132の一例とを受信する。フィードバックシステム199は、1つ又は複数の他のエンドポイント(例えば、遠隔車両112)から、V2Xデータ128(存在する場合)を受信する。フィードバックシステム199は、GPSユニット150から位置データ130を受信するとともに、IMU153からIMUデータ131を受信し、さらに、センサセット154内のセンサからリアルタイムセンサデータ171を受信する。フィードバックシステム199は、コマンドデータ133に関する修正を決定し得るよう、V2Xデータ128、位置データ130、IMUデータ131、リアルタイムセンサデータ171、あるいはこれらの任意の組合せをフィードバックとして分析するように動作可能である。フィードバックシステム199は、コマンドデータ133内に修正を組み込み、修正済みコマンドデータ134を生成する。
いくつかの実施形態では、修正済みコマンドデータ134は、自車両110がモデルデータ132と一致した態様で動作され続けることを保証する1つ又は複数の修正済み運転コマンドを記述している。
いくつかの実施形態では、1つ又は複数の修正済み運転コマンドは、また、自車両110の動作が軌道安全性要件を満たすことを保証することも提供する。例えば、軌道安全性要件は、走行車線要件を含む。1つ又は複数の修正済み運転コマンドは、自車両110が道路上の意図された走行車線内で動作するように自車両110を制御する。他の例では、軌道安全性要件は、衝突回避要件を含む。1つ又は複数の修正済み運転コマンドは、他の車両との潜在的な衝突が回避されるように、自車両110が自車両110の道路上に存在している他の車両に対して安全な距離を維持するように自車両110を制御する。
いくつかの実施形態では、修正済みコマンドデータ134は、上述した修正を含むように修正されたコマンドデータ133のバージョンを記述したデジタルデータを含み、したがって、上述した保証を提供する。フィードバックシステム199は、修正済みコマンドデータ134を車両制御システム156に対して出力するように動作可能である。フィードバックシステム199は、自車両110の動作が修正済み運転コマンドに基づいて車両制御システム156によって制御されるように、修正済みコマンドデータ134に基づいて車両制御システム156を動作させる。
その結果、フィードバックシステム199は、機械学習システム191によって出力された運転コマンドを改良して修正済み運転コマンドを生成することによって機械学習システム191の動作を修正することができる。フィードバックシステム199は、修正済み運転コマンドを車両制御システム156に対して提供して、自車両110が、適正な走行車線を維持する態様で車両制御システム156によって操舵されることを保証する。また、修正済み運転コマンドは、自車両110が、自車両110の前方(又は後方)を走行する他の車両に対して安全な距離を維持する態様で車両制御システム156によって加速又は制動されることを保証する。
例示的なコンピュータシステム
ここで図2を参照すると、いくつかの実施形態による、フィードバックシステム199を含む例示的なコンピュータシステム200を示すブロック図が、図示されている。いくつかの実施形態では、コンピュータシステム200は、図3を参照して以下において説明する方法300における1つ又は複数のステップを実行するようにプログラムされた特定目的のコンピュータシステムを含むことができる。
いくつかの実施形態では、コンピュータシステム200は、自車両110の一構成要素とすることができる。いくつかの実施形態では、コンピュータシステム200は、自車両110の車載コンピュータとすることができる。いくつかの実施形態では、コンピュータシステム200は、自車両110の、エンジン制御ユニット、ヘッドユニット、あるいはいくつかの他のプロセッサベースのコンピューティングデバイスを含むことができる。
コンピュータシステム200は、いくつかの例によれば、フィードバックシステム199、プロセッサ125、及び通信ユニット145のうちの1つ又は複数の構成要素を含むことができる。コンピュータシステム200は、センサセット154、GPSユニット150、IMU153、メモリ127、車両制御システム156、及びストレージ241のうちの1つ又は複数の構成要素をさらに含むことができる。コンピュータシステム200の構成要素は、バス220によって通信可能に結合される。
図示の実施形態では、プロセッサ125は、信号ライン237を介してバス220に対して通信可能に結合されている。車両制御システム156は、信号ライン238を介してバス220に対して通信可能に結合されている。通信ユニット145は、信号ライン246を介してバス220に対して通信可能に結合されている。ストレージ241は、信号ライン242を介してバス220に対して通信可能に結合されている。GPSユニット150は、信号ライン230を介してバス220に対して通信可能に結合されている。IMU153は、信号ライン231を介してバス220に対して通信可能に結合されている。センサセット154は、信号ライン232を介してバス220に対して通信可能に結合されている。メモリ127は、信号ライン244を介してバス220に対して通信可能に結合されている。
プロセッサ125、通信ユニット145、センサセット154、GPSユニット150、IMU153、車両制御システム156、及びメモリ127、という構成要素については、図1Aを参照して上述した。これらの説明は、ここでは繰り返さない。
ストレージ241は、本明細書において説明する機能を提供するためにデータを記憶する非一時的な記憶媒体とすることができる。ストレージ241は、DRAMデバイス、SRAMデバイス、フラッシュメモリ、あるいは、いくつかの他のメモリデバイス、とすることができる。いくつかの実施形態では、ストレージ241は、また、情報をより永続的に記憶するために、不揮発性メモリ、あるいは、同様の永続的記憶装置及び媒体(例えば、ハードディスクドライブ、フロッピーディスクドライブ、フラッシュメモリデバイス、等)、を含む。
図2に示す図示の実施形態では、フィードバックシステム199は、通信モジュール202と、修正モジュール204と、実装モジュール206とを含む。フィードバックシステム199のこれらの構成要素は、バス220を介して互いに通信可能に結合されている。いくつかの実施形態では、フィードバックシステム199の構成要素は、単一のサーバ又は単一のデバイス内に記憶することができる。いくつかの他の実施形態では、フィードバックシステム199の構成要素は、複数のサーバ又は複数のデバイスにわたって分散して記憶することができる。
通信モジュール202は、フィードバックシステム199とコンピュータシステム200の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアとすることができる。いくつかの実施形態では、通信モジュール202は、コンピュータシステム200のメモリ127内に記憶され得るとともに、プロセッサ125によってアクセス可能とすることができ且つプロセッサ125によって実行可能とすることができる。通信モジュール202は、信号ライン222を介して、プロセッサ125及びコンピュータシステム200の他の構成要素と協働し且つ通信するようになっている。
通信モジュール202は、通信ユニット145を介して、動作環境100の1つ又は複数の構成要素との間でデータを送受信する。例えば、通信モジュール202は、通信ユニット145を介して、遠隔車両112のV2Xデータを送受信し、あるいは自車両110のV2Xデータを送受信する。通信モジュール202は、通信ユニット145を介して、図1A〜図1Bを参照して上述した任意のデータ又は任意のメッセージを送信又は受信することができる。
いくつかの実施形態では、通信モジュール202は、フィードバックシステム199の他の構成要素からデータを受信するとともに、そのデータをストレージ241及びメモリ127のうちの1つ又は複数の中に記憶する。フィードバックシステム199の他の構成要素は、通信モジュール202を(通信ユニット145を介して)コンピュータシステム200又は動作環境100の他の構成要素と通信させることができる。例えば、修正モジュール204は、通信モジュール202を使用することにより、センサセット154と通信し得るとともに、センサセット154にセンサデータを記録させることができる。
修正モジュール204は、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成するためのルーチンを含むソフトウェアとすることができる。いくつかの実施形態では、修正モジュール204は、コンピュータシステム200のメモリ127内に記憶され得るとともに、プロセッサ125によってアクセス可能とすることができ且つプロセッサ125によって実行可能とすることができる。修正モジュール204は、信号ライン224を介して、プロセッサ125及びコンピュータシステム200の他の構成要素と協働し且つ通信するようになっている。
いくつかの実施形態では、修正モジュール204は、(1)自車両110の1つ又は複数のセンサからのセンサデータ、及び、(2)1つ又は複数の他のエンドポイント(例えば、1つ又は複数の遠隔車両112)からのV2Xデータのうちの1つ又は複数を受信する。例えば、修正モジュール204は、センサセット154に、自車両110の1つ又は複数のセンサ測定値を記述したセンサデータをリアルタイムで記録させるように動作可能である。センサデータは、(1)自車両110の地理的位置を記述した位置データ、(2)IMU153から受信した慣性測定データ、及び、(3)自車両110の任意の他のセンサによってリアルタイムで記録された他のセンサデータのうちの1つ又は複数を含む。例えば、他のセンサデータは、自車両110の、速度、向き、加速度等のうちの1つ又は複数を記述したデータを含むことができる。
いくつかの実施形態では、修正モジュール204は、(1)自車両110の1つ又は複数の運転コマンドを記述したコマンドデータと、(2)機械学習システム191からのモデルデータとを受信する。修正モジュール204は、自車両110のセンサデータと、他のエンドポイントのV2Xデータと、モデルデータとのうちの1つ又は複数に基づいて、1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成する。
例えば、修正モジュール204は、1つ又は複数の運転コマンドと、モデルデータと、センサデータとV2Xデータとのうちの1つ又は複数とに基づいて、自車両110の軌道を推測する。修正モジュール204は、自車両110の軌道が軌道安全性要件を満たすかどうかを判定する。軌道が軌道安全性要件を満たすと判定したことに応答して、修正モジュール204は、1つ又は複数の運転コマンドを修正することなく、その1つ又は複数の運転コマンドを車両制御システム156に対して直接的に転送する。自車両110の軌道が軌道安全性要件を満たさないと判定したことに応答して、修正モジュール204は、1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを形成する。その結果、軌道安全性要件を満たす修正済み軌道が1つ又は複数の修正済み運転コマンドに基づいて自車両110に関して生成される。
1つ又は複数の運転コマンドを修正して1つ又は複数の修正済み運転コマンドを生成するための例示的なプロセス500については、図5を参照して後述する。
いくつかの実施形態では、1つ又は複数の修正済み運転コマンドは、軌道安全性要件を満たすように自車両110の動作を制御する。例えば、軌道安全性要件は、走行車線要件を含む。1つ又は複数の修正済み運転コマンドは、自車両110が意図された走行車線から逸脱しないように、自車両110が道路上の意図された走行車線(例えば、適正な走行車線)内で動作するように自車両110を制御する。意図された走行車線は、機械学習システム191によって提供されたモデルデータによって決定することができる。他の例では、軌道安全性要件は、衝突回避要件を含む。1つ又は複数の修正済み運転コマンドは、他の車両との潜在的な衝突が回避されるように、自車両110が自車両110の道路上に存在する他の車両に対して安全な距離を維持するように自車両110を制御する。他の車両は、自車両110の前方、自車両110の後方、あるいは自車両110の近傍の任意の場所に位置するものとすることができる。安全な距離の値は、ある閾値(例えば、車両の長さ、車両の長さの2倍、車両の長さの3倍、あるいは、任意の他の適切な値等)を下回らないものとすることができる。
いくつかの実施形態では、1つ又は複数の修正済み運転コマンドは、自車両110が、機械学習システム191によって提供されたモデルデータと一致した態様で動作するように自車両110を制御する。例えば、モデルデータが、移動時間などの他の考慮事項よりも、燃料消費に関する経済性を自車両110の運転者が優先することを示していると仮定する。1つ又は複数の修正済み運転コマンドは、少なくとも自車両110が円滑に走行するように自車両110を制御して燃料消費を低減することによって、自車両110の運転者によって自車両110が運転されているときと同様の態様で自車両110が動作するように自車両110を制御することができる。
いくつかの実施形態では、1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数を含む。1つ又は複数の修正済み運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数に関する修正済みバージョンを含む。
実装モジュール206は、自車両110に関する1つ又は複数の修正済み運転コマンドを実装するためのルーチンを含むソフトウェアとすることができる。いくつかの実施形態では、実装モジュール206は、コンピュータシステム200のメモリ127内に記憶され得るとともに、プロセッサ125によってアクセス可能とすることができ且つプロセッサ125によって実行可能とすることができる。実装モジュール206は、信号ライン226を介して、プロセッサ125及びコンピュータシステム200の他の構成要素と協働し且つ通信するようになっている。
いくつかの実施形態では、実装モジュール206は、自車両110が1つ又は複数の修正済み運転コマンドに基づいて動作するように、修正済みコマンドデータに基づいて車両制御システム156の動作を修正する。車両制御システム156による1つ又は複数の修正済み運転コマンドの実行により、自車両110は、車両制御システム156によって、適正な走行車線を維持する態様で操舵される。自車両110は、また、自車両110の近傍を走行する任意の他の車両に対して安全な距離を維持する態様で、車両制御システム156によって加速又は制動される。
例示的なプロセス
ここで図3を参照すると、いくつかの実施形態による、車両のエンドツーエンド走行のために運転コマンドを改良するための例示的な方法300に関するフローチャートが図示されている。方法300のステップは、任意の順序で実行可能であり、必ずしも図3に図示した順序ではない。方法300は、コネクテッド車両の運転コマンドを改良するために、コネクテッド車両のフィードバックシステム199によって実行することができる。コネクテッド車両を自車両110又は遠隔車両112にすることができる。
ステップ301において、修正モジュール204は、機械学習システム191から、コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信する。
ステップ303において、修正モジュール204は、1つ又は複数の運転コマンドを修正して、コネクテッド車両に関する1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成する。1つ又は複数の修正済み運転コマンドは、軌道安全性要件を満たすようにコネクテッド車両の動作を制御する。
ステップ305において、実装モジュール206は、コネクテッド車両が1つ又は複数の修正済み運転コマンドに基づいて動作するように、修正済みコマンドデータに基づいて、コネクテッド車両の車両制御システム156の動作を修正する。
図4は、いくつかの実施形態による、車両のエンドツーエンド走行のために運転コマンドを改良するための例示的なプロセス400を図示した図解表示である。例示的なプロセス400は、コネクテッド車両によって実行されることができる。ここでは、一般性を損なうことなく、コネクテッド車両が自車両110であると仮定する。
例示的なプロセス400においては、機械学習システム191は、(1)1つ又は複数の遠隔車両112からのV2Xデータ、(2)自車両110のGPSユニット150からの位置データ、及び(3)自車両110のIMU153からのIMUデータのうちの1つ又は複数を受信する。機械学習システム191は、また、センサセット154から他のセンサデータ(例えば、映像フレーム)を受信することもできる。
機械学習システム191は、V2Xデータ、位置データ、IMUデータ、及び他のセンサデータのうちの1つ又は複数を分析して、自車両110に関する1つ又は複数の運転コマンドを生成する畳み込みリカレントニューラルネットワークを含むことができる。1つ又は複数の運転コマンドは、ステアリング角度コマンドのシーケンス、スロットルコマンドのシーケンス、ブレーキングコマンドのシーケンス、あるいはこれらの任意の組合せを含むことができる。機械学習システム191は、自車両110に搭載されたフィードバックシステム199の修正モジュール204に対して1つ又は複数の運転コマンドを出力する。
修正モジュール204は、V2Xデータ、位置データ、IMUデータ、及び他のセンサデータのうちの1つ又は複数に基づいて、1つ又は複数の運転コマンドを修正して1つ又は複数の修正済み運転コマンドを生成することができる。例えば、1つ又は複数の修正済み運転コマンドは、修正済みのステアリング角度コマンドのシーケンス、修正済みのスロットルコマンドのシーケンス、修正済みのブレーキングコマンドのシーケンス、あるいはこれらの任意の組合せを含むことができる。1つ又は複数の修正済み運転コマンドの生成については、図5を参照してより詳細に後述する。
修正モジュール204は、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを、実装モジュール206に対して送信する。実装モジュール206は、車両制御システム156が1つ又は複数の修正済み運転コマンドに基づいて自車両110の動作を制御するように、修正済みコマンドデータに基づいて車両制御システム156の動作を修正する。例えば、車両制御システム156は、修正済みのステアリング角度コマンドのシーケンス及び修正済みのスロットルコマンドのシーケンスを、自車両110のそれぞれステアリングホイール及びアクセルに対して適用することができる。他の例においては、車両制御システム156は、修正済みのブレーキングコマンドのシーケンスを、自車両110のブレーキに対してさらに適用する。
図5を参照すると、運転コマンドを修正して修正済み運転コマンドを生成するための例示的なプロセス500が、いくつかの実施形態に従って図示されている。例示的なプロセス500では、機械学習システム191は、1つ又は複数の運転コマンド及びモデルデータを修正モジュール204に対して出力する。修正モジュール204は、自車両110のセンサデータ(例えば、IMUデータ、位置データ、及び、カメラデータやレーダデータや航続距離データ等の他のセンサデータ)を受信する。修正モジュール204は、センサデータに基づいて、自車両110の初期車両状態を決定する。ここで、自車両110の初期車両状態は、自車両110の、位置、速度、向き、加速度等のうちの1つ又は複数によって記述することができる。修正モジュール204は、また、1つ又は複数の遠隔車両112からV2Xデータを受信することもできる。
修正モジュール204は、1つ又は複数の運転コマンドと、V2Xデータ、位置データ、IMUデータ、及び他のセンサデータのうちの1つ又は複数とを、車両モデルに対しての入力として使用し得るとともに、自車両110の軌道を推測するためにその車両モデルを適用することができる。車両モデルは、上記入力と自車両110の初期車両状態とに基づいて自車両110の軌道を推定するために使用され得る動的車両モデルとすることができる。いくつかの実施形態では、車両モデルは、機械学習システム191によって出力されたモデルデータによって記述された運転モデルである。
例えば、修正モジュール204は、遠隔車両112のV2Xデータ、自車両110の位置データ、IMUデータ及び他のセンサデータのうちの1つ又は複数に基づいて、運転環境を決定する。機械学習システム191によって提供される運転コマンドは、ステアリング角度コマンド、スロットルコマンド、ブレーキングコマンド、あるいはこれらの任意の組合せからなるシーケンスを含む。その後、車両モデルに基づいて、修正モジュール204は、ステアリング角度コマンド、スロットルコマンド、ブレーキングコマンド、あるいはこれらの任意の組合せからなるシーケンスを運転環境下で適用することによって、自車両110の軌道をシミュレートすることができる。
次に、修正モジュール204は、自車両110が存在する道路環境を描写した地図上に、自車両110の軌道を描写する。修正モジュール204は、自車両110の軌道が軌道安全性要件を満たすかどうかを判定する。例えば、修正モジュール204は、軌道が、(1)自車両110が意図された走行車線上を走行すること、及び、(2)自車両110と、自車両110の前方又は後方を走行する他の車両との間に安全な距離が維持されることを確保するかどうかを判定する。軌道が、(1)自車両110が意図された走行車線上を走行すること、及び、(2)自車両110と他の車両との間に安全な距離が維持されることを確保し得る場合には、軌道安全性要件は満たされる。しかしながら、軌道が、自車両110が意図された走行車線上を走行しないこと、あるいは自車両110と他の車両との間に安全な距離が維持されないことを示している場合には、軌道安全性要件は満たされない。
自車両110の軌道が軌道安全性要件を満たすと判定したことに応答して、修正モジュール204は、車両制御システム156に対して運転コマンドを送信する。この場合、車両制御システム156は、運転コマンドに基づいて自車両110の動作を制御する。
自車両110の軌道が軌道安全性要件を満たさないと判定したことに応答して、修正モジュール204は、運転コマンドを修正する。修正モジュール204は、修正済み運転コマンドに基づいて推測される生成軌道が軌道安全性要件を満たすように修正済み運転コマンドを生成する。
例えば、修正モジュール204は、修正済み運転コマンドに基づいて自車両110の生成軌道を推測し、生成軌道を地図上に描写し、生成軌道が軌道安全性要件を満たすかどうかを判定する。生成軌道が軌道安全性要件を満たすと判定したことに応答して、修正モジュール204は修正済み運転コマンドを車両制御システム156に対して送信する。この場合、車両制御システム156は、修正済み運転コマンドに基づいて自車両110の動作を制御する。例えば、車両制御システム156は、修正済みのステアリング角度コマンドのシーケンスを、自車両110のステアリングホイールに対して適用することができる。他の例では、車両制御システム156は、修正済みのスロットルコマンドのシーケンスを、自車両110のアクセルに対してさらに適用する。さらに他の例では、車両制御システム156は、修正済みのブレーキングコマンドのシーケンスを、自車両110のブレーキに対してさらに適用する。
しかしながら、自車両110の生成軌道が軌道安全性要件を満たさないと判定したことに応答して、修正モジュール204は修正済み運転コマンドを再び修正する。上述した操作を繰り返すことにより、修正モジュール204は、自車両110の生成軌道が軌道安全性要件を満たすことを可能とする修正済み運転コマンドを生成することができる。
上記の説明においては、説明の目的のため、本明細書の完全な理解を提供するために、多数の特定の詳細が記載されている。しかしながら、当業者には、本開示がこれらの特定の詳細なしに実施され得ることは自明であろう。いくつかの例では、構造及びデバイスは、説明が不明瞭となることを避けるために、ブロック図の形態で示されている。例えば、本実施形態は、主にユーザインタフェース及び特定のハードウェアに関連して、上記のように説明することができる。しかしながら、本実施形態は、データ及びコマンドを受信し得る任意のタイプのコンピュータシステムに対しても、ならびに、サービスを提供する任意の周辺装置に対しても、適用することができる。
「いくつかの実施形態」又は「いくつかの例」に対しての本明細書における参照は、実施形態又は例に関連して説明した特定の特徴点、構造、又は特性が、本明細書の少なくとも1つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所における「いくつかの実施形態では」というフレーズの出現は、必ずしもすべてが同じ実施形態を参照しているわけではない。
以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号表現の観点から提示されている。これらのアルゴリズム的な記述及び表現は、データ処理分野の当業者が当該技術分野の他の当業者に対して自身の仕事の本質を最も効果的に伝えるために使用する手段である。アルゴリズムとは、ここでは、一般的に、所望の結果をもたらす自己矛盾のない一連のステップであると考えられる。これらのステップは、物理量に関する物理的操作を必要とするものである。必ずしもそうとは限らないが、通常、これらの量は、保存、転送、結合、比較、及びその他の操作が可能な、電気信号又は磁気信号の形態をとる。これらの信号を、ビット、値、構成要素、シンボル、文字、用語、数字、あるいは同種のものとして参照することが、主に一般的な使用法の理由から便利であることがわかっている。
しかしながら、これらの用語及び同様の用語はすべて、適切な物理量と関連づけられるべきものであること、ならびに、これらの量に適用される便利なラベルに過ぎないことに留意されるべきである。以下の議論から明らかなように別段の記載がない限り、本明細書全体を通して、「処理」又は「演算」又は「計算」又は「決定」又は「表示」又は同種のものを含む用語を利用した説明が、コンピュータシステムのレジスタ及びメモリ内で物理的(電子的)量として表されるデータを、コンピュータシステムのメモリ又はレジスタ内のあるいは他のそのような情報ストレージデバイス内の又は他のそのような情報送信デバイス内の又は他のそのような情報表示デバイス内で物理的(電子的)量として同様に表される他のデータへと、操作して変換するコンピュータシステム又は同様の電子コンピューティングデバイスの動作及びプロセスに言及していることが理解されよう。
本明細書のこれらの実施形態は、また、本明細書における動作を実行するための装置に関することもできる。この装置は、必要とされる目的のために特別に構成されてもよく、あるいは、コンピュータに記憶されたコンピュータプログラムによって選択的に起動されるあるいは再構成される汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、限定するものではないが、フロッピーディスク、光ディスク、CD−ROM、及び磁気ディスクを含む任意のタイプのディスク、リードオンリーメモリ(ROMs)、ランダムアクセスメモリ(RAMs)、EPROMs、EEPROMs、磁気カード又は光学的カード、不揮発性メモリを有したUSBキーを含むフラッシュメモリ、あるいは、電子命令を記憶するのに適切な任意のタイプの媒体を含むコンピュータ可読記憶媒体内に記憶することができ、媒体のそれぞれは、コンピュータシステムバスに対して結合される。
本明細書は、いくつかの全体的にハードウェアからなる実施形態、いくつかの全体的にソフトウェアからなる実施形態、あるいはハードウェア構成要素とソフトウェア構成要素との双方を含むいくつかの実施形態という形態をとることができる。いくつかの好ましい実施形態では、本明細書は、限定するものではないが、ファームウェア、常駐ソフトウェア、マイクロコード等を含むソフトウェアで実装される。
さらに、説明は、コンピュータ又は任意の命令実行システムによって使用するためのあるいはそれらに関連して使用するためのプログラムコードを提供するコンピュータ使用可能媒体又はコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品という形態をとることができる。この説明の目的のために、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システムや命令実行装置や命令実行デバイスによって使用するためのあるいはそれらに関連して使用するためのプログラムを、含有し得る、記憶し得る、通信し得る、伝搬し得る、あるいは、転送し得る任意の装置とすることができる。
プログラムコードを記憶又は実行するのに適切なデータ処理システムは、システムバスを介してメモリ構成要素に対して直接的に又は間接的に結合された少なくとも1つのプロセッサを含むであろう。メモリ構成要素は、プログラムコードの実際の実行時に使用されるローカルメモリ、大容量ストレージ、及び、少なくともいくつかのプログラムコードの一時的なストレージを提供するキャッシュメモリであって、実行時に大容量ストレージからコードを取り出されなければならない回数を減らし得るキャッシュメモリを含むことができる。
入力/出力デバイス、すなわち、I/Oデバイス(限定するものではないが、キーボード、ディスプレイ、ポインティングデバイス、等を含む)を、直接的に、あるいは、介在するI/Oコントローラを介して、システムに対して結合することができる。
ネットワークアダプタを、また、システムに対して結合することができ、これにより、データ処理システムを、介在するプライベートネットワーク又はパブリックネットワークを介して、他のデータ処理システムに対して又はリモートプリンタに対して又はストレージデバイスに対して結合することを可能とすることができる。モデム、ケーブルモデム、及び、イーサネット(登録商標)カードは、現在利用可能なタイプのネットワークアダプタのほんの数例である。
最後に、本明細書で提示したアルゴリズム及びディスプレイは、本質的に、いかなる特定のコンピュータ又は他の装置とも関連するものではない。様々な汎用システムを、本明細書における教示に従って、プログラムと一緒に使用することができる、あるいは、必要な方法ステップを実行するに際して、より専門的な装置を構築することが便利であることが判明する場合がある。これら様々なシステムのために必要とされる構造は、以下の説明から明らかとなるであろう。加えて、本明細書では、任意の特定のプログラミング言語を参照して説明しない。本明細書において説明するような本明細書の教示を実装するに際して、様々なプログラミング言語を使用し得ることが理解されよう。
本明細書の実施形態に関する上記の説明は、例示及び説明の目的のために提示されている。網羅的であることを意図したものではなく、また、本明細書を、開示した厳密な形態に限定することを意図したものでもない。上記の教示に鑑みて、多くの修正及び変形が可能である。本開示の範囲が、この詳細な説明によってではなく、本出願の請求項によって限定されることが意図されている。当該技術分野における当業者であれば理解されるように、本明細書は、その思想又は本質的な特徴点から逸脱することなく、他の特定の形態で具現することができる。同様に、モジュール、ルーチン、特徴点、属性、方法論、及び他の態様に関する特定の命名及び区分は、必須でも重要でもなく、本明細書又はその特徴点を実装する機構は、異なる名称、異なる区分、又は異なる形式を有することができる。さらに、関連技術の当業者には自明であるように、本開示における、モジュール、ルーチン、特徴点、属性、方法論、及び他の態様は、ソフトウェア、ハードウェア、ファームウェア、又はこれら3つの任意の組合せとして実装することができる。また、本明細書における、その一例がモジュールである構成要素がソフトウェアとして実装される場合にはいつでも、その構成要素は、スタンドアロンプログラムとして、より大きなプログラムの一部として、複数の別個のプログラムとして、静的又は動的にリンクされたライブラリとして、カーネルロード可能モジュールとして、デバイスドライバとして、又は、コンピュータプログラミング分野の当業者に現時点で公知のあるいは将来の時点で公知のあらゆる方法で及び他の方法で実装することができる。加えて、本開示は、どの特定のプログラミング言語での実施形態にも、また、どの特定のオペレーティングシステム又は動作環境での実施形態にも、決して限定されるものではない。したがって、本開示は、以下の特許請求の範囲に記載されている本明細書の範囲を、何ら限定することなく、例示することを意図したものである。
[例1]
コンピュータ実行可能コードを記憶している、コネクテッド車両の車載コンピュータシステムの非一時的メモリを含むコンピュータプログラム製品であって、
前記コンピュータ実行可能コードがプロセッサによって実行されると、前記プロセッサは、
前記コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信し、
前記1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成し、
前記コネクテッド車両が前記1つ又は複数の修正済み運転コマンドに基づいて動作するように、前記修正済みコマンドデータに基づいて前記コネクテッド車両の車両制御システムの動作を修正し、
前記1つ又は複数の修正済み運転コマンドは、潜在的な衝突が回避されるように、前記コネクテッド車両が、道路上の意図された走行車線内で動作し、且つ、前記道路上に存在する他の車両に対して安全な距離を維持するように前記コネクテッド車両を制御する、コンピュータプログラム製品。
[例2]
前記コマンドデータは、機械学習システムから受信され、
前記1つ又は複数の修正済み運転コマンドは、前記コネクテッド車両が、前記機械学習システムによって提供されたモデルデータと一致した態様で動作するように、前記コネクテッド車両をさらに制御する、例1に記載のコンピュータプログラム製品。
[例3]
前記コンピュータ実行可能コードが前記プロセッサによって実行されると、前記プロセッサは、少なくとも、
前記コネクテッド車両の1つ又は複数のセンサからのセンサデータと、1つ又は複数の他のエンドポイントからのビークルツーエブリシング(V2X)データとのうちの1つ又は複数を受信することと、
前記センサデータと前記V2Xデータとのうちの1つ又は複数に基づいて、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することとによって、
前記1つ又は複数の運転コマンドを修正して前記修正済み運転コマンドデータを生成する、例1に記載のコンピュータプログラム製品。
[例4]
前記1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数を含み、
前記1つ又は複数の修正済み運転コマンドは、前記ステアリングコマンド、前記スロットルコマンド、及び前記ブレーキングコマンドのうちの1つ又は複数の修正済みバージョンを含む、例1に記載のコンピュータプログラム製品。
[例5]
コネクテッド車両のための方法であって、
前記コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信することと、
前記1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成することと、
前記コネクテッド車両が前記1つ又は複数の修正済み運転コマンドに基づいて動作するように、前記修正済みコマンドデータに基づいて前記コネクテッド車両の車両制御システムの動作を修正することと、を含み、
前記1つ又は複数の修正済み運転コマンドは、軌道安全性要件を満たすように前記コネクテッド車両の動作を制御する、方法。
[例6]
前記軌道安全性要件は走行車線要件を含み、前記1つ又は複数の修正済み運転コマンドは、前記コネクテッド車両が道路上の意図された走行車線内で動作するように前記コネクテッド車両を制御する、例5に記載の方法。
[例7]
前記軌道安全性要件は衝突回避要件を含み、前記1つ又は複数の修正済み運転コマンドは、潜在的な衝突が回避されるように、前記コネクテッド車両が前記コネクテッド車両の道路上に存在する他の車両に対して安全な距離を維持するように前記コネクテッド車両を制御する、例5に記載の方法。
[例8]
前記コマンドデータは機械学習システムから受信され、
前記1つ又は複数の修正済み運転コマンドは、前記コネクテッド車両が、前記機械学習システムによって提供されたモデルデータと一致した態様で動作するように、前記コネクテッド車両をさらに制御する、例5に記載の方法。
[例9]
前記1つ又は複数の運転コマンドを修正して、前記1つ又は複数の修正済み運転コマンドを記述した前記修正済みコマンドデータを生成することは、
前記コネクテッド車両の1つ又は複数のセンサからのセンサデータと、1つ又は複数の他のエンドポイントからのビークルツーエブリシング(V2X)データとのうちの1つ又は複数を受信することと、
前記センサデータと前記V2Xデータとのうちの1つ又は複数に基づいて、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することと、を含む、例5に記載の方法。
[例10]
前記センサデータと前記V2Xデータとのうちの1つ又は複数に基づいて、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することは、
前記1つ又は複数の運転コマンドと、前記センサデータと前記V2Xデータとのうちの1つ又は複数とに基づいて、前記コネクテッド車両の軌道を推測することと、
前記コネクテッド車両の軌道が前記軌道安全性要件を満たさないと判定したことに応答して、前記軌道安全性要件を満たす修正済み軌道が前記修正済み運転コマンドに基づいて前記コネクテッド車両に関して生成されるように、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することと、を含む、例9に記載の方法。
[例11]
前記センサデータは、前記コネクテッド車両の地理的位置を記述した位置データと、前記コネクテッド車両の慣性測定ユニットから受信した慣性測定データとのうちの1つ又は複数を含む、例9に記載の方法。
[例12]
前記1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数を含み、
前記1つ又は複数の修正済み運転コマンドは、前記ステアリングコマンド、前記スロットルコマンド、及び前記ブレーキングコマンドのうちの1つ又は複数に関する修正済みバージョンを含む、例5に記載の方法。
[例13]
コンピュータコードを記憶している非一時的メモリを含むコネクテッド車両の車載コンピュータシステムを含むシステムであって、
前記コンピュータコードが前記車載コンピュータシステムによって実行されると、前記車載コンピュータシステムは、
前記コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信し、
前記1つ又は複数の運転コマンドを修正させて1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成し、
前記コネクテッド車両が前記1つ又は複数の修正済み運転コマンドに基づいて動作するように、前記修正済みコマンドデータに基づいて前記コネクテッド車両の車両制御システムの動作を修正し、
前記1つ又は複数の修正済み運転コマンドは、軌道安全性要件を満たすように前記コネクテッド車両の動作を制御する、システム。
[例14]
前記軌道安全性要件は走行車線要件を含み、前記1つ又は複数の修正済み運転コマンドは、前記コネクテッド車両が道路上の意図された走行車線内で動作するように前記コネクテッド車両を制御する、例13に記載のシステム。
[例15]
前記軌道安全性要件は衝突回避要件を含み、前記1つ又は複数の修正済み運転コマンドは、潜在的な衝突が回避されるように、前記コネクテッド車両が前記コネクテッド車両の道路上に存在する他の車両に対して安全な距離を維持するように前記コネクテッド車両を制御する、例13に記載のシステム。
[例16]
前記コマンドデータは機械学習システムから受信され、
前記1つ又は複数の修正済み運転コマンドは、前記コネクテッド車両が、前記機械学習システムによって提供されたモデルデータと一致した態様で動作するように、前記コネクテッド車両をさらに制御する、例13に記載のシステム。
[例17]
前記コンピュータコードが前記車載コンピュータシステムによって実行されると、前記車載コンピュータシステムは、少なくとも、
前記コネクテッド車両の1つ又は複数のセンサからのセンサデータと、1つ又は複数の他のエンドポイントからのビークルツーエブリシング(V2X)データとのうちの1つ又は複数を受信することと、
前記センサデータと前記V2Xデータとのうちの1つ又は複数に基づいて、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することとによって、
前記1つ又は複数の運転コマンドを修正して、前記1つ又は複数の修正済み運転コマンドを記述した前記修正済みコマンドデータを生成する、例13に記載のシステム。
[例18]
前記コンピュータコードが前記車載コンピュータシステムによって実行されると、前記車載コンピュータシステムは、少なくとも、
前記1つ又は複数の運転コマンドと、前記センサデータと前記V2Xデータとのうちの1つ又は複数とに基づいて、前記コネクテッド車両の軌道を推測することと、
前記コネクテッド車両の軌道が前記軌道安全性要件を満たさないと判定したことに応答して、前記軌道安全性要件を満たす修正済み軌道が前記修正済み運転コマンドに基づいて前記コネクテッド車両に関して生成されるように、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することとによって、
前記センサデータと前記V2Xデータとのうちの1つ又は複数に基づいて、前記1つ又は複数の運転コマンドを修正して、前記1つ又は複数の修正済み運転コマンドを記述した前記修正済みコマンドデータを生成する、例17に記載のシステム。
[例19]
前記センサデータは、前記コネクテッド車両の地理的位置を記述した位置データと、前記コネクテッド車両の慣性測定ユニットから受信した慣性測定データとのうちの1つ又は複数を含む、例17に記載のシステム。
[例20]
前記1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数を含み、
前記1つ又は複数の修正済み運転コマンドは、前記ステアリングコマンド、前記スロットルコマンド、及び前記ブレーキングコマンドのうちの1つ又は複数に関する修正済みバージョンを含む、例13に記載のシステム。

Claims (15)

  1. コンピュータ実行可能コードを記憶している、コネクテッド車両の車載コンピュータシステムの非一時的メモリを含むコンピュータプログラム製品であって、
    前記コンピュータ実行可能コードがプロセッサによって実行されると、前記プロセッサは、
    前記コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信し、
    前記1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成し、
    前記コネクテッド車両が前記1つ又は複数の修正済み運転コマンドに基づいて動作するように、前記修正済みコマンドデータに基づいて前記コネクテッド車両の車両制御システムの動作を修正し、
    前記1つ又は複数の修正済み運転コマンドは、潜在的な衝突が回避されるように、前記コネクテッド車両が、道路上の意図された走行車線内で動作し、且つ、前記道路上に存在する他の車両に対して安全な距離を維持するように前記コネクテッド車両を制御する、コンピュータプログラム製品。
  2. 前記コマンドデータは、機械学習システムから受信され、
    前記1つ又は複数の修正済み運転コマンドは、前記コネクテッド車両が、前記機械学習システムによって提供されたモデルデータと一致した態様で動作するように、前記コネクテッド車両をさらに制御する、請求項1に記載のコンピュータプログラム製品。
  3. 前記コンピュータ実行可能コードが前記プロセッサによって実行されると、前記プロセッサは、少なくとも、
    前記コネクテッド車両の1つ又は複数のセンサからのセンサデータと、1つ又は複数の他のエンドポイントからのビークルツーエブリシング(V2X)データとのうちの1つ又は複数を受信することと、
    前記センサデータと前記V2Xデータとのうちの1つ又は複数に基づいて、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することとによって、
    前記1つ又は複数の運転コマンドを修正して前記修正済み運転コマンドデータを生成する、請求項1又は2に記載のコンピュータプログラム製品。
  4. 前記1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数を含み、
    前記1つ又は複数の修正済み運転コマンドは、前記ステアリングコマンド、前記スロットルコマンド、及び前記ブレーキングコマンドのうちの1つ又は複数の修正済みバージョンを含む、請求項1〜3のいずれか1項に記載のコンピュータプログラム製品。
  5. コネクテッド車両のための方法であって、
    前記コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信することと、
    前記1つ又は複数の運転コマンドを修正して、1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成することと、
    前記コネクテッド車両が前記1つ又は複数の修正済み運転コマンドに基づいて動作するように、前記修正済みコマンドデータに基づいて前記コネクテッド車両の車両制御システムの動作を修正することと、を含み、
    前記1つ又は複数の修正済み運転コマンドは、軌道安全性要件を満たすように前記コネクテッド車両の動作を制御する、方法。
  6. 前記軌道安全性要件は走行車線要件を含み、前記1つ又は複数の修正済み運転コマンドは、前記コネクテッド車両が道路上の意図された走行車線内で動作するように前記コネクテッド車両を制御する、請求項5に記載の方法。
  7. 前記軌道安全性要件は衝突回避要件を含み、前記1つ又は複数の修正済み運転コマンドは、潜在的な衝突が回避されるように、前記コネクテッド車両が前記コネクテッド車両の道路上に存在する他の車両に対して安全な距離を維持するように前記コネクテッド車両を制御する、請求項5又は6に記載の方法。
  8. 前記コマンドデータは機械学習システムから受信され、
    前記1つ又は複数の修正済み運転コマンドは、前記コネクテッド車両が、前記機械学習システムによって提供されたモデルデータと一致した態様で動作するように、前記コネクテッド車両をさらに制御する、請求項5〜7のいずれか1項に記載の方法。
  9. 前記1つ又は複数の運転コマンドを修正して、前記1つ又は複数の修正済み運転コマンドを記述した前記修正済みコマンドデータを生成することは、
    前記コネクテッド車両の1つ又は複数のセンサからのセンサデータと、1つ又は複数の他のエンドポイントからのビークルツーエブリシング(V2X)データとのうちの1つ又は複数を受信することと、
    前記センサデータと前記V2Xデータとのうちの1つ又は複数に基づいて、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することと、を含む、請求項5〜8のいずれか1項に記載の方法。
  10. 前記センサデータと前記V2Xデータとのうちの1つ又は複数に基づいて、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することは、
    前記1つ又は複数の運転コマンドと、前記センサデータと前記V2Xデータとのうちの1つ又は複数とに基づいて、前記コネクテッド車両の軌道を推測することと、
    前記コネクテッド車両の軌道が前記軌道安全性要件を満たさないと判定したことに応答して、前記軌道安全性要件を満たす修正済み軌道が前記修正済み運転コマンドに基づいて前記コネクテッド車両に関して生成されるように、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することと、を含む、請求項9に記載の方法。
  11. 前記センサデータは、前記コネクテッド車両の地理的位置を記述した位置データと、前記コネクテッド車両の慣性測定ユニットから受信した慣性測定データとのうちの1つ又は複数を含む、請求項9又は10に記載の方法。
  12. 前記1つ又は複数の運転コマンドは、ステアリングコマンド、スロットルコマンド、及びブレーキングコマンドのうちの1つ又は複数を含み、
    前記1つ又は複数の修正済み運転コマンドは、前記ステアリングコマンド、前記スロットルコマンド、及び前記ブレーキングコマンドのうちの1つ又は複数に関する修正済みバージョンを含む、請求項5〜11のいずれか1項に記載の方法。
  13. コンピュータコードを記憶している非一時的メモリを含むコネクテッド車両の車載コンピュータシステムを含むシステムであって、
    前記コンピュータコードが前記車載コンピュータシステムによって実行されると、前記車載コンピュータシステムは、
    前記コネクテッド車両に関する1つ又は複数の運転コマンドを記述したコマンドデータを受信し、
    前記1つ又は複数の運転コマンドを修正させて1つ又は複数の修正済み運転コマンドを記述した修正済みコマンドデータを生成し、
    前記コネクテッド車両が前記1つ又は複数の修正済み運転コマンドに基づいて動作するように、前記修正済みコマンドデータに基づいて前記コネクテッド車両の車両制御システムの動作を修正し、
    前記1つ又は複数の修正済み運転コマンドは、軌道安全性要件を満たすように前記コネクテッド車両の動作を制御する、システム。
  14. 前記コマンドデータは機械学習システムから受信され、
    前記1つ又は複数の修正済み運転コマンドは、前記コネクテッド車両が、前記機械学習システムによって提供されたモデルデータと一致した態様で動作するように、前記コネクテッド車両をさらに制御する、請求項13に記載のシステム。
  15. 前記コンピュータコードが前記車載コンピュータシステムによって実行されると、前記車載コンピュータシステムは、少なくとも、
    前記コネクテッド車両の1つ又は複数のセンサからのセンサデータと、1つ又は複数の他のエンドポイントからのビークルツーエブリシング(V2X)データとのうちの1つ又は複数を受信することと、
    前記センサデータと前記V2Xデータとのうちの1つ又は複数に基づいて、前記1つ又は複数の運転コマンドを修正して前記1つ又は複数の修正済み運転コマンドを生成することとによって、
    前記1つ又は複数の運転コマンドを修正して、前記1つ又は複数の修正済み運転コマンドを記述した前記修正済みコマンドデータを生成する、請求項13又は14に記載のシステム。
JP2020117738A 2019-07-10 2020-07-08 車両のエンドツーエンド走行のためのフィードバックシステム Pending JP2021014257A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/508,152 US20210012658A1 (en) 2019-07-10 2019-07-10 Feedback system for vehicular end-to-end driving
US16/508,152 2019-07-10

Publications (1)

Publication Number Publication Date
JP2021014257A true JP2021014257A (ja) 2021-02-12

Family

ID=74102331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020117738A Pending JP2021014257A (ja) 2019-07-10 2020-07-08 車両のエンドツーエンド走行のためのフィードバックシステム

Country Status (2)

Country Link
US (1) US20210012658A1 (ja)
JP (1) JP2021014257A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1028501B1 (nl) * 2020-11-05 2022-02-11 Ivex Een methode en een systeem voor het automatisch genereren van een geïntegreerde broncode voor de elektronische regeleenheid van een AD/ADAS-wegvoertuig

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10752239B2 (en) * 2017-02-22 2020-08-25 International Business Machines Corporation Training a self-driving vehicle
US11016495B2 (en) * 2018-11-05 2021-05-25 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle

Also Published As

Publication number Publication date
US20210012658A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
US10202127B2 (en) User profile-based automatic parameter tuning system for connected vehicles
JP7424086B2 (ja) 車両マイクロクラウドによる異常マッピング
US10281925B2 (en) Estimate of geographical position of a vehicle using wireless vehicle data
US10567923B2 (en) Computation service for mobile nodes in a roadway environment
JP6988935B2 (ja) Vehicle‐to‐Anything対応の機械学習に基づく車両駐車場利用可能性予測
JP7380228B2 (ja) 静止型車両マイクロクラウドのオンデマンド形成
CN111161008B (zh) Ar/vr/mr乘车共享助理
US10346765B2 (en) Subscription-based safety features in car sharing
JP7413811B2 (ja) Vehicle-to-Everything通信に基づく車両構成要素の修正
US10248410B2 (en) Implementation decision to provide ADAS function update for a vehicle
US11605298B2 (en) Pedestrian navigation based on vehicular collaborative computing
US11792687B2 (en) Message management for cooperative driving among connected vehicles
US11489792B2 (en) Vehicular micro clouds for on-demand vehicle queue analysis
JP7172879B2 (ja) 無線車両メッセージに関する隣接チャネル干渉の低減
US11284234B2 (en) Cloud-assisted virtual vehicular communication
US20210160731A1 (en) Digital twin simulation-based vehicular communication planning
US10816348B2 (en) Matching a first connected device with a second connected device based on vehicle-to-everything message variables
US20210039664A1 (en) Machine learning system for modifying adas behavior to provide optimum vehicle trajectory in a region
US10159036B1 (en) Gateway selection for a virtual parked vehicle network
JP2021014257A (ja) 車両のエンドツーエンド走行のためのフィードバックシステム
US11172341B2 (en) Mobility-aware assignment of computational sub-tasks in a vehicular cloud
US20210245773A1 (en) Vehicular cooperative perception for identifying a connected vehicle to aid a pedestrian
US20230419200A1 (en) Decentralized parking fulfillment service
US11214253B2 (en) Longitudinal motion control of connected and automated vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240227