JP2020009428A - デジタル行動ツインに基づくコネクティッド車両のための衝突回避 - Google Patents

デジタル行動ツインに基づくコネクティッド車両のための衝突回避 Download PDF

Info

Publication number
JP2020009428A
JP2020009428A JP2019110341A JP2019110341A JP2020009428A JP 2020009428 A JP2020009428 A JP 2020009428A JP 2019110341 A JP2019110341 A JP 2019110341A JP 2019110341 A JP2019110341 A JP 2019110341A JP 2020009428 A JP2020009428 A JP 2020009428A
Authority
JP
Japan
Prior art keywords
vehicle
twin
behavior
digital
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019110341A
Other languages
English (en)
Other versions
JP7200832B2 (ja
JP2020009428A5 (ja
Inventor
ジャン,ジーハオ
Zhihao Jiang
真一 白石
Shinichi Shiraishi
真一 白石
キム,ベッギュ
Baekgyu Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JP2020009428A publication Critical patent/JP2020009428A/ja
Publication of JP2020009428A5 publication Critical patent/JP2020009428A5/ja
Application granted granted Critical
Publication of JP7200832B2 publication Critical patent/JP7200832B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/55External transmission of data to or from the vehicle using telemetry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/65Data transmitted between vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/005Moving wireless networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】本明細書は衝突回避のためのデジタル行動ツインを提供する。【解決手段】本開示は、衝突回避のためのデジタル行動ツインについての実施形態を含む。いくつかの実施形態では、方法は、運転状況、ならびにこの運転状況におけるリモート車両および自車両の運転行動を記述するデジタルデータを記録することを含む。いくつかの実施形態では、リモート車両および自車両のうちの1つまたは複数はコネクティッド車両である。方法は、リモート車両の第1のデジタル行動ツイン、自車両の第2のデジタル行動ツイン、およびデジタルデータに基づいて、リモート車両および自車両のうちの1つまたは複数を巻き込む衝突のリスクを特定することを含む。方法は、リスクに基づいて自車両の動作を修正することを含む。【選択図】図3

Description

本明細書は衝突回避のためのデジタル行動ツインに関する。
今日利用可能であるかまたは開発されている多くの様々な衝突回避システムが存在する。これらの既存の解決策のほとんどは、搭載された車両センサを使用して自車両の環境を測定し、次いで近くにある他のリモート車両の現在の運転行動を特定することによって機能する。この手法に伴う問題は、それらがリモート車両または自車両の将来の運転行動を予測しないことである。結果として、既存の解決策は、現在の運転シナリオを評価することしかできず、将来の運転シナリオを評価することができない。
第1の既存の解決策は、自車両に設置された適応走行制御(ACC)システムを含む。ACCシステムは、自車両の搭載センサを使用して近隣車両の現在の行動を観察し、この観察された行動に基づいて近隣車両の現在の行動を記述するモデルを生成する。しかしながら、この既存の解決策に伴う第1の例示的な問題は、それが起こる前にリモート車両の運転者の行動を推定することができない。この既存の解決策に伴う第2の例示的な問題は、この既存の解決策が、他の近隣車両によって記録されたセンサデータを、近隣車両のそのモデル(たとえば、他の近隣車両によって記録され、これらの近隣車両自体を記述するセンサデータ)に組み込まないことである。この既存の解決策に伴う第3の例示的な問題は、この既存の解決策が、車両対モノ(V2X)または車両間(V2V)の通信技術を使用して他の近隣車両と協働しないことである。この既存の解決策に伴う第4の例示的な問題は、この既存の解決策が、拡張現実(AR)技術を使用して他の近隣車両との衝突の危険性について自車両の運転者に警告を提供しないことである。
第2の既存の解決策は、自車両に設置された運転者支援システムを含む。運転者支援システムは、自車両の搭載センサを使用して他の近隣車両の運転環境および現在の行動を観察する。運転支援システムは、搭載センサの測定値に基づいて、近隣車両を含む環境をモデル化する。しかしながら、この第2の既存の解決策は、第1の既存の解決策について上述された問題に類似する問題を含む。これらの例示的な問題は第1の既存の解決策について上述されており、ここでは繰り返さない。
第3の既存の解決策は、自車両に設置された運転者支援システムを含む。運転者支援システムは、自車両の搭載センサを使用して自車両の自運転者の「姿勢レベル」を特定する。運転者支援システムは、次いで、リモート車両の他のリモート運転者の運転意図を特定する。リモート車両の運転意図に基づいて、運転者支援システムによって警告が生成される。運転者支援システムの主な機能は、自運転者の姿勢レベルを特定し、次いで、それらの姿勢レベルに基づいて自運転者に警告が配信されるときを微調整することである。言い換えれば、警告を配信するタイミングは姿勢レベルに基づいて決定される。
デジタル行動ツインシステムの実施形態が本明細書に記載される。図10は、本明細書に記載されるデジタル行動ツインの実施形態と、上述された第1、第2、および第3の既存の解決策との間の例示的な相違点を描写する。
いくつかの実施形態では、デジタル行動ツインシステムはクラウドサーバに記憶されたソフトウェアを含む。デジタル行動ツインシステムは、センサ情報を記録した車両の行動、および道路を走行している間の他の車両の行動、ならびにこの行動についての状況(す
なわち、この行動中、この行動の前、および場合によってはこの行動の後に発生する事象)を記述する、現実世界の車両についてのセンサ情報を集約する。デジタル行動ツインシステムがセンサ情報によって記述される車両の固有の識別情報(たとえば、VINまたはナンバープレート情報)を知るように、センサ情報の各インスタンスは固有の識別子と関連付けられる。デジタル行動ツインシステムは、これらの車両向けのデジタル行動ツインを生成し、クラウドサーバにそれらを記憶する。車両のデジタル行動ツインは、車両の現在または将来の状況に基づいて、車両の将来の行動を予測するために分析可能である。クラウドサーバは、デジタル行動ツインシステムによって提供されるデジタルツインサービスを使用する車両に、デジタル行動ツインを記述する「ツインデータ」と呼ばれるデジタルデータを提供するように動作可能である。デジタルツインサービスを使用する車両は、「ツインクライアント」と呼ばれる、それらの電子制御ユニットに記憶された小型ソフトウェアクライアント、または何らかの他の車載コンピュータを含む。ツインクライアントは、その地理的近傍にある車両の各々のためのツインデータを検索する。ツインクライアントは、このツインデータ、ならびにその近傍にある車両ごとの現在の運転状況を記述するそのローカルセンサ情報を使用して、(1)様々な状況における運転者の行動、および(2)道路の様々な部分において衝突がありそうかどうかを推定する。ツインクライアントは、ヘッドアップディスプレイユニット(HUD)を使用して、オプションの音声警告とともに、現在走行している(または走行しようとしている)道路の部分ごとの衝突のリスクを視覚的に描写する色付きの透明オーバーレイを表示するAR技術を組み込む。いくつかの実施形態では、クラウドサーバは、車両がコネクティッド車両であるかどうかにかかわらず、それらについてのツインデータを含むので、デジタル行動ツインシステムは、アンコネクティッド車両である他の車両とともに動作する。
いくつかの実施形態では、自車両のツインクライアントは、リモート運転者が自分のリモート車両を運転することを自車両の搭載センサが常に直接観察することなしに、リモート運転者の将来の行動を推定することによって問題を解決するように動作可能である。たとえば、ツインクライアントは、リモート運転者のデジタル行動ツイン、および他のワイヤレスエンドポイント(たとえば、中継点として機能するリモート車両または路側ユニット)とのV2X通信またはV2V通信を介して受信されたリモート運転者の行動を記述するセンサデータに基づいて、リモート運転者の将来の行動を推定する。このために、ツインクライアントは迅速に動作し、危険な状況に対応するために多くの時間を自運転者に与え、それにより、自運転者および道路上の他の運転者のための運転者の安全性が高まる。いくつかの実施形態では、ツインクライアントは、将来起こり得る運転者の行動をすべて考慮するが、発生する可能性が高い行動に焦点を合わせる。
既存の解決策は、運転者の将来の行動を予測するという問題を解決しない。比較すると、本明細書に記載されたツインクライアントは、リモート運転者のいかなる行動も直接観察することなしに、他の運転者の将来の行動を予測する。本明細書に記載されたデジタル行動ツインシステムは、クラウドサーバ内にデジタル行動ツインを構築し、次いで、これらのデジタル行動ツインを記述するデジタルデータを、ツインクライアントを含むのでデジタル行動ツインシステムと互換性がある車両に配信する。既存の解決策は、本明細書に記載された実施形態によって行われるようにデジタルツイン技術を使用することを考慮しない。いくつかの実施形態では、ツインクライアントはまた、既存の解決策によって考慮されない新規かつ意味のある方法でAR技術を利用する。
1つまたは複数のコンピュータのシステムは、動作中にその行動をシステムに実行させる、システムにインストールされたソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せを有することにより、特定の動作または行動を実行するように構成することができる。1つまたは複数のコンピュータプログラムは、データ処理装置によって実行されると、行動を装置に実行させる命令を含むことにより、特定の動作または行動を実
行するように構成することができる。
1つの一般的な態様は、運転状況ならびにこの運転状況におけるリモート車両および自車両の運転行動を記述するデジタルデータを記録することと、リモート車両の第1のデジタル行動ツイン、自車両の第2のデジタル行動ツイン、およびデジタルデータに基づいて、リモート車両および自車両のうちの1つまたは複数を巻き込む衝突のリスクを特定することと、リスクに基づいて自車両の動作を修正することとを含む方法を含む。この態様の他の実施形態は、各々が方法の行動を実行するように構成された、対応するコンピュータシステム、装置、および1つまたは複数のコンピュータ記憶装置に記録されたコンピュータプログラムを含む。
実装形態は、以下の特徴のうちの1つまたは複数を含んでもよい。自車両の動作を修正することが、リスクを視覚的に描写するグラフィック出力を表示する自車両の電子ディスプレイを含む、方法。グラフィック出力がAR視覚化である、方法。方法は、リモート車両が自車両にV2Xメッセージを送信することをさらに含み、V2Xメッセージは第1のデジタル行動ツインを記述するリモートツインデータを含む。第1のデジタル行動ツインが、複数の様々な運転状況におけるリモート車両のリモート運転者の運転行動をモデル化する、方法。第2のデジタル行動ツインが、複数の様々な運転状況における自車両の自運転者の運転行動をモデル化する、方法。自車両が自律型車両である、方法。自車両の動作を修正することが、自車両が自律的にリスクを修正する行動を取ることを含む、方法。方法は、運転状況におけるリモート車両の異なる運転行動を記述する新しいデジタルデータに基づいて、第1のデジタル行動ツインを修正することをさらに含み、第1のデジタル行動ツインはこの異なる運転行動を含むように修正される。記載された技法の実装形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。
1つの一般的な態様は、運転状況ならびにこの運転状況におけるリモート車両および自車両の運転行動を記述するデジタルデータを記憶する非一時的メモリと、非一時的メモリに通信可能に結合されたプロセッサとを含むシステムを含み、非一時的メモリは、プロセッサによって実行されると、リモート車両の第1のデジタル行動ツイン、自車両の第2のデジタル行動ツイン、およびデジタルデータに基づいて、リモート車両および自車両のうちの1つまたは複数を巻き込む衝突のリスクを特定すること、ならびにリスクに基づいて自車両の動作を修正することをプロセッサに行わせるコンピュータコードを記憶する。この態様の他の実施形態は、各々が方法の行動を実行するように構成された、対応するコンピュータシステム、装置、および1つまたは複数のコンピュータ記憶装置に記録されたコンピュータプログラムを含む。
実装形態は、以下の特徴のうちの1つまたは複数を含んでもよい。自車両の動作を修正することが、リスクを視覚的に描写するグラフィック出力を表示する自車両の電子ディスプレイを含む、システム。グラフィック出力がAR視覚化である、システム。第1のデジタル行動ツインが、自車両によって受信され、リモート車両によって送信されるV2Xメッセージを介して受信されるリモートツインデータによって記述される、システム。第1のデジタル行動ツインが、複数の様々な運転状況におけるリモート車両のリモート運転者の運転行動をモデル化する、システム。第2のデジタル行動ツインが、複数の様々な運転状況における自車両の自運転者の運転行動をモデル化する、システム。自車両が自律型車両であり、自車両の動作を修正することが、自車両が自律的にリスクを修正する行動を取ることを含む、システム。プロセッサによって実行されると、運転状況におけるリモート車両の異なる運転行動を記述する新しいデジタルデータに基づいて、第1のデジタル行動ツインをプロセッサに修正させる追加のコンピュータコードを非一時的メモリが記憶し、
第1のデジタル行動ツインがこの異なる運転行動を含むように修正される、システム。記載された技法の実装形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。
1つの一般的な態様は、プロセッサによって実行されると、運転状況ならびにこの運転状況におけるリモート車両および自車両の運転行動を記述するデジタルデータを記録すること、リモート車両の第1のデジタル行動ツイン、自車両の第2のデジタル行動ツイン、およびデジタルデータに基づいて、リモート車両および自車両のうちの1つまたは複数を巻き込む衝突のリスクを特定すること、ならびにリスクに基づいて自車両の動作を修正することをプロセッサに行わせるコンピュータ実行可能コードを記憶する非一時的メモリを含むコンピュータプログラム製品を含む。この態様の他の実施形態は、各々が方法の行動を実行するように構成された、対応するコンピュータシステム、装置、および1つまたは複数のコンピュータ記憶装置に記録されたコンピュータプログラムを含む。
実装形態は、以下の特徴のうちの1つまたは複数を含んでもよい。自車両の動作を修正することが、リスクを視覚的に描写するグラフィック出力を表示する自車両の電子ディスプレイを含む、コンピュータプログラム製品。コンピュータ実行可能コードが、プロセッサによって実行されると、運転状況におけるリモート車両の異なる運転行動を記述する新しいデジタルデータに基づいて、第1のデジタル行動ツインをさらにプロセッサに修正させ、第1のデジタル行動ツインがこの異なる運転行動を含むように修正される、コンピュータプログラム製品。記載された技法の実装形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。
本開示は、添付図面の図において限定としてではなく例として示され、添付図面では、同様の要素を参照するために同様の参照符号が使用される。
いくつかの実施形態による、デジタル行動ツインシステムおよびツインクライアントのための動作環境を示すブロック図である。 いくつかの実施形態による、ツインクライアントを含む例示的なコンピュータシステムを示すブロック図である。 いくつかの実施形態による、現実世界の車両向けのデジタルツインサービスを提供するための例示的な方法のフローチャートである。 いくつかの実施形態による、電子ディスプレイの概要を示すブロック図である。 いくつかの実施形態による、デジタルツインサービスを提供するための例示的な方法のフローチャートである。 いくつかの実施形態による、デジタルツインサービスを提供するための例示的な方法のフローチャートである。 いくつかの実施形態による、運転者用のデジタル行動ツインを更新するための例示的な方法のフローチャートである。 いくつかの実施形態による、リスクデータを決定するための例示的な方法のフローチャートである。 いくつかの実施形態による、リモート車両によってもたらされるリスクを描写するリスク勾配を表示する、自車両のフロントガラスを覆う電子ディスプレイの一例のブロック図である。 いくつかの実施形態による、リモート車両によってもたらされるリスクを描写するリスク勾配を表示する、自車両のフロントガラスを覆う電子ディスプレイの一例のブロック図である。 いくつかの実施形態による、本明細書に記載された実施形態対背景技術に記載された既存の解決策の比較を叙述する表である。
今日利用可能であるかまたは開発されている多くの様々な衝突回避システムが存在する。これらの既存の解決策のほとんどは、搭載された車両センサを使用して自車両の環境を測定し、次いで近くにある他のリモート車両の現在の運転行動を特定することによって機能する。この手法に伴う問題は、それらがリモート車両または自車両の将来の運転行動を予測しないことである。結果として、既存の解決策は、現在の運転シナリオを評価することしかできず、将来の運転シナリオを評価することができない。
デジタル行動ツインシステムおよびツインクライアントの実施形態が本明細書に記載される。デジタル行動ツインシステムはデジタル行動ツインを生成するソフトウェアを含む。デジタル行動ツインシステムはクラウドサーバにインストールされる。ツインクライアントは自車両の車載コンピュータにインストールされる。ツインクライアントは、クラウドサーバにインストールされたデジタル行動ツインシステムとワイヤレスに通信して、デジタル行動ツインを記述するツインデータを受信する。ツインクライアントはツインデータを受信する。ツインクライアントは、ツインデータを分析し、ツインデータによって記述されたデジタル行動ツインに基づいて、それらの行動履歴に基づく他のリモート運転者の行動を推定する。このようにして、自車両のツインクライアントは、自車両の搭載センサがこれらの運転者の行動を常に観察することなしに、リモート車両のリモート運転者の行動を推定するように動作可能である。自車両の搭載センサはリモート運転者の将来の運転行動を推定する前にリモート運転者の行動を観察する必要がないので、ツインクライアントはリモート運転者の将来の行動を推定することができる。いくつかの実施形態では、ツインクライアントは、リモート運転者の将来の可能性がある行動すべてを考慮するが、発生する可能性が高い行動に焦点を合わせる。
簡単に上述されたように、本明細書に記載された実施形態は、2つの構成要素:(1)クラウドサーバに記憶されたデジタル行動ツインシステム、および(2)自車両のECUまたは何らかの他の車載コンピュータに記憶されたツインクライアントを含む。実施形態のこれらの要素がこれからさらに詳細に記載される。
いくつかの実施形態では、デジタル行動ツインシステムは、現実世界の車両についてのセンサ情報を集約するクラウドサーバに記憶されたソフトウェアである。センサ情報は、それらの行動および他の車両の行動、これらの行動についての状況、ならびに車両ごとの固有の識別情報を記述する。
道路環境が(1)自車両、および(2)一組のリモート車両を含むと仮定する。自車両はツインクライアントを含むコネクティッド車両である。リモート車両はコネクティッド車両であってもなくてもよい。リモート車両はツインクライアントを含んでも含まなくてもよい。自車両の運転者は「自運転者」と呼ばれ、リモート車両の運転者は「リモート運転者」と呼ばれる。
いくつかの実施形態では、デジタル行動ツインシステムは、モデル化アプリケーションおよびゲームエンジンを含む。いくつかの実施形態では、モデル化アプリケーションは、任意のModelicaベースのモデル化アプリケーションを含む。モデル化アプリケーションは、(ミシガン州アナーバーのMechanical Simulation Corporationによって配布されている)CarSim、(オンタリオ州ウォータールーのMaplesoftによって配布されている)MapleSim、または任意の他のModelicaベースのモデル化アプリケーションを含んでもよい。
いくつかの実施形態では、ゲームエンジンは、(カリフォルニア州サンフランシスコのUnity Technologyによって配布されているUnityゲームエンジンなどの)Unityベースのゲームエンジン、またはプロセッサによって実行されると、現実世界に存在する現実実世界の車両を表す仮想車両の動作を試験および監視するためのデジタルシミュレーション(本明細書では「シミュレーション」)を生成するように動作可能な任意の他のゲームエンジンである。
モデル化アプリケーションは、プロセッサによって実行されると、車両の車両モデルを記述する車両モデルデータを生成するように動作可能なコードおよびルーチンを含む。車両モデルデータは、現実世界の車両の仮想化バージョンをゲームエンジンに生成させるために必要な任意のデジタルデータを含む。
車両モデルデータを生成する例示的な実施形態は、参照によりその全体が本明細書に組み込まれる、2018年3月19日に出願され、「Sensor−Based Digital Twin System for Vehicular Analysis」と題する、米国特許出願第15/925,070号に記載されている。デジタル行動ツインを生成するさらなる例示的な実施形態は、参照によりその全体が本明細書に組み込まれる、2018年6月13日に出願され、「Digital Twin for Vehicle Risk Evaluation」と題する、米国特許出願第16/007,693号に記載されている。
いくつかの実施形態では、ツインクライアントは、自車両(および場合によっては1つまたは複数のリモート車両)のECU(または何らかの他の車載コンピュータ)に記憶されたソフトウェアを含む。自車両は一組のセンサおよびADASシステムセット180を含む。センサおよびADASシステムは、(1)自車両の自運転者の行動、ならびにこの行動についての状況[すなわち、他の運転者の行動を含む運転者行動の前、間、またはおそらく後に発生する事象、時刻、曜日、天気、状態が都会か田舎か、など]と、(2)リモート車両のリモート運転者の行動、ならびにこの行動についての状況と、(3)自車両の固有の識別情報[たとえば、VIN番号]およびリモート車両の固有の識別情報[たとえば、ナンバープレート番号、およびナンバープレートを発行した州、県、連邦、または他の管轄などのナンバープレート情報]とを記述するデジタルデータを記録する。このデジタルデータは、本明細書ではADASデータおよびセンサデータと呼ばれる。自車両のツインクライアントは、ワイヤレスネットワークを介してクラウドサーバのデジタル行動ツインシステムに、ADASデータおよびセンサデータを含むワイヤレスメッセージを送信する。このようにして、デジタル行動ツインシステムは、コネクティッド車両(たとえば、自車両)とアンコネクティッド車両(たとえば、リモート車両)の両方の運転行動、ならびにこれらの行動についての状況を記述するデジタルデータを受信する。
道路は様々な自車両を含んでもよく、その結果、デジタル行動ツインシステムはADASデータおよびセンサデータの複数のインスタンスを受信する。しかしながら、明瞭さと簡潔さの目的のために、デジタル行動ツインシステムおよびツインクライアントの実施形態は、単一の自車両を参照してこれから以下に記載される。
いくつかの実施形態では、デジタル行動ツインシステムは、自車両およびリモート車両用のデジタル行動ツインを生成する。車両のデジタル行動ツインは、車両の現在の運転状況に基づいて車両の将来の行動を予測するために分析可能である。「ツインデータ」は、1つまたは複数のデジタル行動ツインを記述するデジタルデータである。クラウドサーバは、ツインクライアントを有する車両(ツインクライアントを含む、自車両、および場合によっては1つまたは複数のリモート車両)にツインデータを提供するように動作可能で
ある。
いくつかの実施形態では、ツインクライアントは、その地理的近傍にある各車両用のツインデータを受信する。ツインクライアントは、ECUによって実行されると、このツインデータ、ならびにその近傍にある車両ごとの現在の運転状況を記述するそのローカルセンサ情報を使用して、(1)様々な状況における運転者の行動、および(2)道路の様々な部分において衝突が起こりそうかどうかを推定するように動作可能である。
いくつかの実施形態では、ツインクライアントは、ヘッドアップディスプレイユニット(HUD)を使用して、オプションの音声警告とともに、現在走行している(または走行しようとしている)道路の部分ごとの衝突のリスクを視覚的に描写する色付きの透明オーバーレイを表示するAR技術を組み込む。いくつかの実施形態では、HUDは3次元ヘッドアップディスプレイユニット(3D−HUD)である。いくつかの実施形態による3D−HUDの一例が図4に描写されている。
いくつかの実施形態では、自車両のツインクライアントは、近くのリモート車両のデジタル行動ツインに基づいてそれらの危険な行動を推定する。ツインクライアントは、HUDの動作を制御し、自運転者が見ることができる道路上の領域を、道路の領域ごとに推定された衝突のリスクを示す色で、HUDに着色させる。このようにして、デジタル行動ツインシステムは、他のリモート運転者の危険な行動が取られる前に自運転者に警告し、それにより、既存の衝突警告システムと比較して自運転者が衝突を回避するためにより多くの時間が与えられる。
いくつかの実施形態では、自車両用のデジタル行動ツインは、たとえば、以下の、(1)様々な運転シナリオおよびこれらの運転シナリオにおいて自運転者がどのように反応するか、ならびに(2)本質的に予測することが難しい自運転者についての様々な複雑な行動パターンのうちの1つまたは複数を記述するデジタルデータを含む。
デジタル行動ツインによって記述される行動の複雑なパターンの例には、以下のうちの1つまたは複数が含まれる。(1)信号機が黄色に変わったシナリオについて、デジタル行動ツインは、自運転者が加速を始め、黄色の信号機を無視して突っ走る可能性がどれほどあるかを記述する。(2)信号機が黄色に変わったシナリオについて、デジタル行動ツインは、信号機が赤に変わった後でも、自運転者が加速を始め、信号機を無視して突っ走る可能性がどれほどあるかを記述する。(3)信号機が黄色に変わったシナリオについて、デジタル行動ツインは、自運転者が加速を始め、次いで自分の判断を後悔し、最後の瞬間に急ブレーキをかけて信号機で停止しようと試みる可能性がどれほどあるかを記述する。(4)デジタル行動ツインは、信号機が緑色に変わった後に自運転者がどれほど迅速に加速を始めるかを記述する。(5)(信号機を伴う状況だけではない、いかなる状況においても)自運転者が急ブレーキをかけるシナリオについて、デジタル行動ツインは、自運転者の前方に交通事故がある可能性がどれほどあるかを記述する。(6)任意の他の運転者の行動パターン。
いくつかの実施形態では、デジタル行動ツインシステムは、サーバのプロセッサによって実行されると、図5Aおよび図5Bに描写された方法500のステップのうちの1つまたは複数をプロセッサに実行させるように動作可能なコードおよびルーチンを含む。
いくつかの実施形態では、ツインクライアントは、車両のプロセッサによって実行されると、図3に描写された方法300のステップのうちの1つまたは複数をプロセッサに実行させるように動作可能なコードおよびルーチンを含む。たとえば、ツインクライアントは、自車両のECUによって実行されると、以下のステップのうちの1つまたは複数をE
CUに実行させるように動作可能なコードおよびルーチンを含む。(1)リモート運転者のデジタル行動ツインと、(a)現在の運転状況、ならびに(b)リモート運転者の行動パターン、および様々な状況においてリモート運転者がどのように行動するかを記述する自車両の搭載データ(たとえば、センサデータおよびADASデータのうちの1つまたは複数)とに基づいて、様々な状況[すなわち、様々な運転シナリオ]におけるリモート運転者の将来の行動を予測する。(2)自運転者のデジタル行動ツインと、(a)現在の運転状況、ならびに(b)自運転者の行動パターン、および様々な状況において自運転者がどのように行動するかを記述する自車両の搭載データとに基づいて、様々な状況における自運転者の将来の行動を予測する。(3)リモート運転者の推定された将来の行動および自運転者の推定された将来の行動に部分的に基づいて、自車両が現在走行している道路の様々な部分において衝突が起こりそうかどうかを予測するために、リスク分析を実行する。(4)リスク分析に基づいて、道路の様々な部分についての衝突の可能性を視覚的に描写するAR視覚化を生成する。(5)自車両の搭載センサによって生成されたセンサデータを使用して、リモート車両の行動を検出し、リモート運転者用のローカルに記憶されたデジタル行動ツイン、ならびにリモート運転者の予測された将来の行動およびリモート運転者についてのリスク評価を更新する。いくつかの実施形態では、自車両の搭載センサがリモート車両を常に監視する(たとえば、リモート車両の行動を観察する)前に、ステップ(1)から(4)のうちの1つまたは複数が実行される。このため、ツインクライアントは、既存の解決策よりも迅速にリスク通知を提供するように動作可能である。
いくつかの実施形態では、ツインクライアントは、車両のプロセッサによって実行されると、図5Aおよび図5Bに描写された方法500のステップのうちの1つまたは複数をプロセッサに実行させるように動作可能なコードおよびルーチンを含む。いくつかの実施形態では、ツインクライアントは、車両のプロセッサによって実行されると、図6に描写された方法600のステップのうちの1つまたは複数をプロセッサに実行させるように動作可能なコードおよびルーチンを含む。いくつかの実施形態では、ツインクライアントは、車両のプロセッサによって実行されると、図7に描写された方法700のステップのうちの1つまたは複数をプロセッサに実行させるように動作可能なコードおよびルーチンを含む。
上述されたように、自車両と同時に道路を走行する他の関連車両は「リモート車両」と呼ばれ、それらは「リモート運転者」によって運転される。いくつかの実施形態では、これらのリモート車両のうちの少なくともいくつかはまた、ツインクライアントのインスタンスを含む。いくつかの実施形態では、自車両のツインクライアントは、V2X通信またはV2V通信を使用して、自車両のデジタル行動ツインをこれらのリモート車両のツインクライアントと共有する。V2X通信またはV2V通信の適切な形態には、たとえば、専用短距離通信(DSRC)、mmWave、全方向V2V通信(たとえば、IEEE802.11p)、3G、4G、5G、LTE、またはネットワーク105もしくは通信ユニット145を参照して以下に記載される任意の他の形態のV2V通信が含まれる。
いくつかの実施形態では、車両自体がデジタル行動ツインシステムを含み、その結果、それらは車両の独自のデジタル行動ツインを生成することができる。
いくつかの実施形態では、デジタル行動ツインを記述するツインデータ、ならびにADASデータおよびセンサデータは、運転者の身元が保護されるように匿名方式で共有される。デジタル行動ツインも、様々な時間における運転者の所在などの個人情報を含まない。いくつかの実施形態では、デジタル行動ツインシステムおよびツインクライアントによって利用されるすべての形態のワイヤレス通信は安全である。たとえば、それらは暗号化されるか、または仮想プライベートネットワーク(VPN)トンネルを利用する。
実施形態の例示的な利点がこれから記載される。第1に、リモート車両が行動を取る前に潜在的な衝突を予測することができ、それにより、自運転者に衝突回避措置を実行するより多くの時間が与えられる。第2に、デジタル行動ツインに含まれるすべてのデータは匿名であり、プライバシーに敏感な情報をもっていない 第3に、ツインクライアントによって提供されるAR視覚化は、自分の潜在意識を使用して自運転者によって精神的に処理され得る、より直感的な安全/危険領域を使用してリスクを視覚化することによって自運転者の精神的疲労を軽減するので、有益である。AR視覚化はまた、それがおしつけがましくない、すなわち衝突が差し迫っている場合にのみトリガされるので、有益である。AR視覚化と同時に提供される音声警告も、衝突が差し迫っている場合にのみトリガされるので、おしつけがましくない。
ADASシステム
いくつかの実施形態では、自車両は、自車両のECUによって実行されるツインクライアントを含む。自車両は、車両およびその構成要素の状態を監視し、交通事故などの重大な交通事象の発生を追跡する搭載システムおよび搭載センサを含む。たとえば、車両の搭載システムは、交通事故を監視し回避しようとし、そのような事象/事故が発生したときを記述するデジタルデータを生成する1つまたは複数のADASシステムを含む。ADASシステムの例が以下に記載される。
ADASシステムの例には、現実世界の車両の以下の要素:適応走行制御(ACC)システム、車線維持アシスタントシステム(LKA)、適応ハイビームシステム、適応照明制御システム、自動駐車システム、自動車暗視システム、死角モニタ、衝突回避システム、横風安定化システム、運転者眠気検出システム、運転者監視システム、緊急運転者支援システム、前方衝突警告システム、交差点支援システム、インテリジェント速度適応システム、車線逸脱警告システム、歩行者保護システム、交通標識認識システム、曲がり角アシスタント、および逆走警告システムのうちの1つまたは複数が含まれてもよい。
ADASシステムはまた、その車両を自律型車両または半自律型車両にする、現実世界の車両に含まれる任意のソフトウェアまたはハードウェアを含んでもよい。
いくつかの実施形態では、ADASシステムは、以下の車両機能:車両の操縦、車両の制動、車両の加速、車両の変速機の操作、および変速機が変速機の1つまたは複数のギアをどれほど能動的または受動的(たとえば、それぞれ高速または低速)に変更するかのうちの1つまたは複数のパフォーマンスを実行または制御するように動作可能な車両システムであってもよい。このようにして、ADASシステムは自律型車両または半自律型車両の動作を修正する。
いくつかの実施形態では、ADASシステムは、以下の車両機能:車両の運転者によって車両のハンドルがどれほど容易に回されるか、運転者がハンドルを回そうと試みたときにハンドルがどれほどの抵抗を運転者に与えるか、運転者が車両のブレーキペダルを踏み込んだときに車両のブレーキシステムがどれほど容易に車両を減速または停止させるか、運転者が車両のアクセルを踏み込んだときに車両のエンジンがどれほど容易に加速するか、変速機が変速機の1つまたは複数のギアをどのようにまたはいつ変更するかに影響を及ぼすように動作可能な入力を車両の運転者が与えたときに、変速機が変速機の1つまたは複数のギアをどれほど能動的または受動的(たとえば、それぞれ高速または低速)に変更するか、および運転者がエンジンの動作に影響を与えるように動作可能な入力を与えたときに車両のエンジンがどれほど緩慢に動作するかのうちの1つまたは複数のパフォーマンスを実行または制御するように動作可能な車両システムであってもよい。このようにして、車両のADASシステムは、たとえば、車両のパワーステアリングポンプ、車両のブレーキシステム、車両の燃料ライン、車両の燃料噴射器、車両の変速機、および車両のエン
ジンを含む、1つまたは複数の車両構成要素の性能もしくは動作(または車両の運転者の視点から見たときのそれらの見かけの性能)に影響を及ぼすように動作可能である。
システム概要
図1を参照すると、いくつかの実施形態による、デジタル行動ツインシステム199およびツインクライアント196のための動作環境100が描写されている。描写された動作環境100は、自車両123、第1のリモート車両124A、第2のリモート車両124B、第3のリモート車両124C、・・・および第Nのリモート車両124N(本明細書では、単数の場合「1つのリモート車両124」、または複数の場合「複数のリモート車両124」)、ならびにデジタルツインサーバ107を含む。これらの要素は、ネットワーク105を介して互いに通信可能に結合されてもよい。図1には、1つの自車両123、1つのデジタルツインサーバ107、および1つのネットワーク105が描写されているが、実際には、動作環境100は、1つもしくは複数の自車両123、1つもしくは複数のデジタルツインサーバ107、または1つもしくは複数のネットワーク105を含んでもよい。動作環境100は、「N」個のリモート車両124を含み、「N」は1より大きい任意の正の整数を示す。
ネットワーク105は、従来型、有線、またはワイヤレスであってもよく、スター構成、トークンリング構成、または他の構成を含む多数の異なる構成を有してもよい。さらに、ネットワーク105は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(たとえば、インターネット)、または、複数のデバイスおよび/もしくはエンティティが通信することができる他の相互接続されたデータパスを含んでもよい。いくつかの実施形態では、ネットワーク105はピアツーピアネットワークを含んでもよい。ネットワーク105はまた、様々な異なる通信プロトコルでデータを送信するための電気通信ネットワークの一部に結合されてもよく、またはそれらを含んでもよい。いくつかの実施形態では、ネットワーク105は、ショートメッセージングサービス(SMS)、マルチメディアメッセージングサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接データ接続、ワイヤレスアプリケーションプロトコル(WAP)、電子メール、DSRC、全二重ワイヤレス通信などを介してデータを送受信するための、Bluetooth(登録商標)通信ネットワークまたはセルラー通信ネットワークを含む。ネットワーク105はまた、3G、4G、LTE、LTE−V2X、VoLTE、または任意の他のモバイルデータネットワークもしくはモバイルデータネットワークの組合せを含んでもよいモバイルデータネットワークを含んでもよい。さらに、ネットワーク105は、1つまたは複数のIEEE802.11ワイヤレスネットワークを含んでもよい。
ネットワーク105は、自車両123、リモート車両124、およびデジタルツインサーバ107のうちの2つ以上の間で共有される1つまたは複数の通信チャネルを含んでもよい。通信チャネルは、DSRC、LTE−V2X、全二重ワイヤレス通信、または任意の他のワイヤレス通信プロトコルを含んでもよい。たとえば、ネットワーク105は、本明細書に記載されたデータのいずれかを含むDSRCメッセージ、DSRCプローブ、基本安全メッセージ(BSM)、または全二重メッセージを送信するために使用されてもよい。
自車両123は任意のタイプのコネクティッド車両である。たとえば、自車両123は、以下のタイプの車両:自動車、トラック、スポーツユーティリティビークル、バス、セミトラック、ドローン、または任意の他の道路ベースの乗り物のうちの1つである。
いくつかの実施形態では、自車両123は自律型車両または半自律型車両である。たとえば、自車両123はADASシステムセット180を含む。ADASシステムセット1
80は1つまたは複数のADASシステムを含む。ADASシステムセット180は、自車両123を自律型車両にするために十分な自律機能を自車両123に提供する。
国家道路交通安全局(NHTSA)は、自律型車両の様々な「レベル」、たとえば、レベル0、レベル1、レベル2、レベル3、レベル4、およびレベル5を規定している。自車両123またはリモート車両124などの車両が別の車両よりも高いレベル番号を有する場合(たとえば、レベル3はレベル2または1よりも高いレベル番号である)、より高いレベル番号を有する車両は、より低いレベル番号を有する車両に比べて多くの組合せおよび数の自律機能を提供する。自律型車両の様々なレベルが以下に簡単に記載される。
レベル0:自車両123に設置されたADASシステムセット180は、車両制御を行わないが、自車両123の運転者に警告を発することができる。
レベル1:運転者はいつでも自車両123を制御する用意ができていなければならない。自車両123に設置されたADASシステムセット180は、以下のADASシステム:ACC、ならびに自動ステアリングおよびLKA Type IIを任意の組合せで有する駐車支援のうちの1つまたは複数などの自律機能を提供することができる。
レベル2:運転者は、道路環境内の物体または事象を検出し、自車両123に設置されたADASシステムセット180が適切に応答できない場合(運転者の主観的な判断に基づいて)応答する義務がある。自車両123に設置されたADASシステムセット180は、加速、制動、および操縦を実行する。自車両123に設置されたADASシステムセット180は、運転者による引継ぎ時に直ちに停止することができる。
レベル3:(高速道路などの)既知の限られた環境内では、運転者は運転作業から自分の注意を安全に外すことができるが、必要なときに自車両123を制御するように依然準備していなければならない。
レベル4:自車両123に設置されたADASシステムセット180は、悪天候などの少しの環境を除くすべてにおいて自車両123を制御することができる。運転者は、(自車両123に設置されたADASシステムセット180から構成される)自動化システムを、そうすることが安全であるときにのみ有効にしなければならない。自動化システムが有効にされると、自車両123が安全に動作し、承認基準と一致するために運転者が注意を払う必要はない。
レベル5:目的地を設定しシステムを起動すること以外に、人間の介入は必要でない。自動化システムは、運転し、(自車両123が位置する管轄区域に基づいて異なってもよい)独自の判断を下すことが合法である、任意の場所に運転することができる。
いくつかの実施形態では、自車両123およびリモート車両124のうちの1つまたは複数は、高度自律型車両(単数の場合「HAV」、複数の場合「HAVs」)である。HAVは、上述されたように、または2016年の9月に発行された、「連邦自動車両政策:道路安全における次の革命を加速する」と題する、ポリシーペーパーの9ページにNHTSAによって規定されているように、レベル3以上で動作するADASシステムセット180を含む車両(たとえば、DSRC対応自車両)である。
いくつかの実施形態では、自車両123は、以下の要素:プロセッサ125A、メモリ127A、通信ユニット145A、ADASシステムセット180、センサセット195、ECU126、電子ディスプレイデバイス140、およびツインクライアント196のうちの1つまたは複数を含む。自車両123のこれらの要素は、バス120Aを介して互
いに通信可能に結合される。図1にはこれらの要素の各々の1つのみが描写されているが、実際には、自車両123は、1つまたは複数のプロセッサ125A、1つまたは複数のメモリ127A、1つまたは複数の通信ユニット145A、1つまたは複数のADASシステムセット180、1つまたは複数のセンサセット195、1つまたは複数のECU126、1つまたは複数の電子ディスプレイデバイス140、および1つまたは複数のツインクライアント196を含んでもよい。
デジタルツインサーバ107は、プロセッサベースのコンピューティングデバイスである。たとえば、デジタルツインサーバ107は、以下のタイプのプロセッサベースのコンピューティングデバイス:パーソナルコンピュータ、ラップトップ、メインフレーム、またはサーバとして機能するように動作可能な任意の他のプロセッサベースのコンピューティングデバイスのうちの1つまたは複数を含んでもよい。デジタルツインサーバ107はハードウェアサーバを含んでもよい。
いくつかの実施形態では、デジタルツインサーバ107は、以下の要素:プロセッサ125B、メモリ127B、通信ユニット145B、およびデジタル行動ツインシステム199のうちの1つまたは複数を含む。デジタルツインサーバ107のこれらの要素は、バス120Bを介して互いに通信可能に結合される。
たとえば、自車両123のプロセッサ125Aはデジタルツインサーバ107のプロセッサ125Bが行うように、自車両123の構成要素に同様の機能を提供するので、自車両123のプロセッサ125Aおよびデジタルツインサーバ107のプロセッサ125Bは、本明細書では一括してまたは個別に「プロセッサ125」と呼ばれてもよい。同様の理由で、本明細書で提供される説明は、自車両123、デジタルツインサーバ107、またはリモート車両124に共通する要素を指すときに以下の用語:一括してまたは個別に、メモリ127Aおよびメモリ127Bを指すときの「メモリ127」、一括してまたは個別に、通信ユニット145A、通信ユニット145B、通信ユニット145C、通信ユニット145D、通信ユニット145E、および通信ユニット145Nを指すときの「通信ユニット145」を使用する。
自車両123およびデジタルツインサーバ107がこれから別々に記載される。
車両123
いくつかの実施形態では、プロセッサ125およびメモリ127は、自車両123の車載コンピュータシステムの要素であってもよい。車載コンピュータシステムは、以下の要素:ADASシステムセット180に含まれる1つまたは複数のADASシステム、センサセット195、通信ユニット145、プロセッサ125、メモリ127、ECU126、電子ディスプレイデバイス140、およびツインクライアント196のうちの1つまたは複数の動作を行わせるかまたは制御するように動作可能であってもよい。車載コンピュータシステムは、メモリ127に記憶されたデータにアクセスし実行して、ツインクライアント196に本明細書に記載された機能を提供するように動作可能であってもよい。車載コンピュータシステムは、以下の、図3を参照して以下に記載される方法300、図5Aおよび図5Bを参照して以下に記載される方法500、図6を参照して以下に記載される方法600、ならびに図7を参照して以下に記載される方法700のうちの1つまたは複数のステップのうちの1つまたは複数を車載車両コンピュータシステムに実行させるツインクライアント196を実行するように動作可能であってもよい。
ADASシステムセット180は1つまたは複数のADASシステムを含む。ADASシステムは自車両123に1つまたは複数の自律機能を提供する。いくつかの実施形態では、自車両123は、自律型車両、半自律型車両、またはHAVである。たとえば、自車
両123は、自車両123を自律型車両にするために十分である自律機能を自車両123に提供するADASシステムセット180を含む。
ADASシステムセット180は、以下の要素:ACCシステム、適応ハイビームシステム、適応照明制御システム、自動駐車システム、自動車暗視システム、死角モニタ、衝突回避システム、横風安定化システム、運転者眠気検出システム、運転者監視システム、緊急運転者支援システム、前方衝突警告システム、交差点支援システム、インテリジェント速度適応システム、(車線維持アシスタントとも呼ばれる)車線逸脱警告システム、歩行者保護システム、交通標識認識システム、曲がり角アシスタント、逆走警告システム、オートパイロット、信号認識、および信号支援のうちの1つまたは複数を含む。これらの例示的なADASシステムの各々は、本明細書では、それぞれ「ADAS機能」または「ADAS機能性」と呼ばれ得る独自の機能および機能性を提供する。これらの例示的なADASシステムによって提供される機能および機能性は、本明細書では、それぞれ「自律機能」または「自律機能性」とも呼ばれる。
いくつかの実施形態では、自車両123のツインクライアント196は、リスク分析を実行し、リモート車両124を巻き込む衝突が起こりそうであると判断する。いくつかの実施形態では、ツインクライアント196は、リスク分析に応答して修正データを決定する。修正データは、ADASシステムによって提供された自律機能が、リモート車両124を巻き込む衝突のリスクを低下させるように動作可能な方法で修正されるように、自車両123のADASシステムの動作を修正するように動作可能なデジタルデータである。たとえば、修正データは、自律機能が、自車両123の動作を、修正データに基づいてADASシステムの動作を修正するより前の自車両123の動作に比べて危険でなくなるように、ADASシステムの動作を修正する。修正データは、いくつかの実施形態に従って以下により詳細に記載される。
センサセット195は、内部か外部かにかかわらず、自車両123の道路環境を監視する自車両123の任意の車載センサを含む。いくつかの実施形態では、センサセット195は、移動中にセンサデータ191を生成する、自車両123内の任意の車載センサを含んでもよい。センサデータ191は、センサセット195に含まれる車載センサによって記録された道路環境の測定値を記述する。いくつかの実施形態では、自車両123のセンサセット195は、以下の車載センサ:振動計、衝突検出システム、エンジンオイル圧検出センサ、カメラ(たとえば、内部カメラおよび外部カメラのうちの1つまたは複数)、生体認証センサ、LIDARセンサ、超音波センサ、レーダーセンサ、レーザー高度計、赤外線検出器、モーション検出器、サーモスタット、音響検出器、一酸化炭素センサ、二酸化炭素センサ、酸素センサ、質量空気流量センサ、エンジン冷却水温度センサ、スロットル位置センサ、クランクシャフト位置センサ、自動車エンジンセンサ、バルブタイマ、空燃比メータ、死角メータ、カーブフィーラ、欠陥検出器、ホール効果センサ、マニホールド絶対圧力センサ、パーキングセンサ、レーダーガン、速度メータ、速度センサ、タイヤ空気圧監視センサ、トルクセンサ、変速機液温度センサ、タービン速度センサ(TSS)、可変リラクタンスセンサ、車両速度センサ(VSS)、水分センサ、車輪速度センサ、および任意の他のタイプの自動車センサのうちの1つまたは複数を含む。
いくつかの実施形態では、センサデータ191およびADASデータ192のうちの1つまたは複数は、行動測定基準を記述する。行動測定基準は、いくつかの実施形態に従ってこれから詳細に記載される。急ブレーキおよび急加速は、それぞれ、自車両123のブレーキペダルまたはアクセルペダルに、通常よりも大きい力が加えられたときの運転者事象である。どちらのタイプの行動も、事故のリスクの増大および危険な運転と相関している。交差点における運転者の行動を記述する行動測定基準は、以下の、運転者が実際に交差点で停止するかどうか(対、たとえば、ローリングストップ)、運転者が実際に黄色の
ライトの点灯(たとえば、信号機の黄色のライトの点灯、道路標識または横断歩道の信号の黄色のライトの点滅)のために減速するかどうか、四方向の停止標識で運転者がどのように行動するか、および運転者がマージ状況をどのように処理するかのうちの1つまたは複数を記述する。他の車両との危険な相互作用を記述する行動測定基準は、たとえば、他の車両とのニアミス事故、他の車両が自車両123との衝突を回避するために旋回しなければならなかったかどうか、他の車両が自車両123との衝突を回避するために急ブレーキまたは急加速しなければならなかったかどうか、自車両123の運転者が他の車両の後ろにどれだけ接近して追従するか、運転者が二重黄色線上で他の車両を追い越すかどうか、および他の車両との他の危険な相互作用を記述する。
いくつかの実施形態では、ツインクライアント196は、バス120Aを介してセンサセット195に含まれるこれらの車載センサによって生成されたセンサデータ191を受信する。センサデータ191は、これらの車載センサによって記録されたセンサ測定値を記述するデジタルデータである。いくつかの実施形態では、センサデータ191は、ADASシステムが自分の機能を提供することができるように、ADASシステムセット180に含まれるADASシステムに入力される。たとえば、ADASシステムは、自車両123の環境を認識し、その環境に対する車両の応答を決定する。ADASデータ192は、以下の、センサデータ191に基づくADASシステムの分析、センサデータ191によって記述された環境に適切であるとADASシステムによって判断された車両の応答のうちの1つまたは複数を記述するデジタルデータである。
通信ユニット145は、ネットワーク105または別の通信チャネルとの間でデータを送受信する。いくつかの実施形態では、通信ユニット145は、DSRCトランシーバ、DSRC受信機、および自車両123(またはデジタルツインサーバ107などの何らかの他のデバイス)をDSRC対応デバイスにするために必要な他のハードウェアまたはソフトウェアを含んでもよい。
いくつかの実施形態では、通信ユニット145は、ネットワーク105または別の通信チャネルへの直接物理接続用のポートを含む。たとえば、通信ユニット145は、ネットワーク105との有線通信用のUSB、SD、CAT−5、または同様のポートを含む。いくつかの実施形態では、通信ユニット145は、IEEE802.11、IEEE802.16、BLUETOOTH(登録商標)、EN ISO14906:2004電子手数料徴収−アプリケーションインターフェース、EN11253:2004専用短距離通信−5.8GHzのマイクロ波を使用する物理層(レビュー)、EN12795:2002専用短距離通信(DSRC)−DSRCデータリンク層:媒体アクセスおよび論理リンク制御(レビュー)、EN12834:2002専用短距離通信−アプリケーション層(レビュー)、EN13372:2004専用短距離通信(DSRC)−RTTTアプリケーション用DSRCプロファイル(レビュー)、2014年8月28日に出願され、「Full−Duplex Coordination System」と題する、米国特許出願第14/471,387号に記載されている通信方法、または別の適切なワイヤレス通信方法を含む、1つまたは複数のワイヤレス通信方法を使用して、ネットワーク105または他の通信チャネルとデータを交換するためのワイヤレストランシーバを含む。
いくつかの実施形態では、通信ユニット145は、2014年8月28日に出願され、「Full−Duplex Coordination System」と題する、米国特許出願第14/471,387号に記載されている全二重調整システムを含む。
いくつかの実施形態では、通信ユニット145は、ショートメッセージングサービス(SMS)、マルチメディアメッセージングサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接データ接続、WAP、電子メール、または別の適切なタイプ
の電子通信を介して、セルラー通信ネットワーク上でデータを送受信するためのセルラー通信トランシーバを含む。いくつかの実施形態では、通信ユニット145は有線ポートおよびワイヤレストランシーバを含む。通信ユニット145は、TCP/IP、HTTP、HTTPS、およびSMTP、ミリメートル波、DSRCなどを含む標準ネットワークプロトコルを使用して、ファイルまたはメディアオブジェクトの配信のためのネットワーク105への他の従来の接続も提供する。
プロセッサ125は、計算を実行し、ディスプレイデバイスに電子表示信号を供給するために、算術論理ユニット、マイクロプロセッサ、汎用コントローラ、または何らかの他のプロセッサアレイを含む。プロセッサ125は、データ信号を処理し、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、または命令セットの組合せを実装するアーキテクチャを含む様々なコンピューティングアーキテクチャを含んでもよい。自車両123は1つまたは複数のプロセッサ125を含んでもよい。他のプロセッサ、オペレーティングシステム、センサ、ディスプレイ、および物理構成が可能であってもよい。
メモリ127は、プロセッサ125によってアクセスされ実行され得る命令またはデータを記憶する。命令またはデータは、本明細書に記載された技法を実行するためのコードを含んでもよい。メモリ127は、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、フラッシュメモリ、または何らかの他のメモリデバイスであってもよい。いくつかの実施形態では、メモリ127は、ハードディスクドライブ、フロッピーディスクドライブ、CD−ROMデバイス、DVD−ROMデバイス、DVD−RAMデバイス、DVD−RWデバイス、フラッシュメモリデバイス、またはより恒久的に情報を記憶するための何らかの他の大容量記憶装置を含む、不揮発性メモリまたは同様の永久記憶装置および媒体も含む。メモリ127の一部分は、バッファまたは仮想ランダムアクセスメモリ(仮想RAM)として使用するために確保されてもよい。自車両123は1つまたは複数のメモリ127を含んでもよい。
自車両123のメモリ127は、以下のタイプのデジタルデータ:センサデータ191、ADASデータ192、一組のツインデータ181、推定データ184、リスクデータ183、およびARデータ182のうちの1つまたは複数を記憶する。
センサデータ191およびADASデータ192は上述されているので、それらの説明はここでは繰り返さない。いくつかの実施形態では、ツインクライアント196は、センサデータ191およびADASデータ192のインスタンスを集約する。ツインクライアント196は、ワイヤレスメッセージ用のペイロードとしてセンサデータ191およびADASデータ192を含むワイヤレスメッセージを生成する。ツインクライアント196は、ネットワークを介してデジタルツインサーバ107にワイヤレスメッセージを送信することを自車両123の通信ユニット145に行わせる。このようにして、デジタルツインサーバ107のデジタル行動ツインシステム199は、自車両123のセンサデータ191およびADASデータ192にアクセスすることができる。いくつかの実施形態では、ツインクライアント196は、センサデータ191およびADASデータ192をデジタル行動ツインシステム199に報告するこのプロセスを定期的に繰り返す。リモート車両124も、リモート車両124のセンサデータ191およびADASデータ192をデジタルツインサーバ107に報告するツインクライアント196を含む。このようにして、デジタルツインサーバ107のデジタル行動ツインシステム199は、リモート車両124のセンサデータ191およびADASデータ192、ならびに自車両123のセンサデータ191およびADASデータ192にアクセスすることができる。
いくつかの実施形態では、デジタル行動ツインシステム199は、デジタルツインサーバ107のプロセッサ125によって実行されると、特定の車両(たとえば、自車両123)のセンサデータ191およびADASデータ192を使用して、その特定の車両用のデジタル行動ツインを生成するように動作可能なコードおよびルーチンを含む。特定の車両(たとえば、自車両123)用のデジタル行動ツインは、たとえば、(1)様々な運転シナリオおよびその特定の車両の運転者がこれらの運転シナリオにおいてどのように反応するか、ならびに(2)本質的に予測することが難しいこの特定の車両の運転者についての様々な複雑な行動パターンを記述する。ツインデータは、特定の車両用のデジタル行動ツイン、すなわちその特定の車両の特定の運転者用のデジタル行動ツインを記述するデジタルデータである。たとえば、自ツインデータ175は、自車両123用のデジタル行動ツイン(すなわち、自車両123の自運転者のデジタル行動ツイン)を記述するデジタルデータである。第1のツインデータ171は、第1のリモート車両124A用のデジタル行動ツインを記述するデジタルデータである。第2のツインデータ172は、第2のリモート車両124B用のデジタル行動ツインを記述するデジタルデータである。第3のツインデータ173は、第3のリモート車両124C用のデジタル行動ツインを記述するデジタルデータである。第Nのツインデータ174は、第Nのリモート車両124N用のデジタル行動ツインを記述するデジタルデータである。
いくつかの実施形態では、デジタル行動ツインシステム199は、自ツインデータ175、第1のツインデータ171、第2のツインデータ172、第3のツインデータ173、および第Nのツインデータ174のうちの1つまたは複数を自車両123に送信するように動作可能なコードおよびルーチンを含む。たとえば、自車両123のツインクライアント196は、自車両123についてのセンサデータ191およびADASデータ192をデジタルツインサーバ107に送信する。デジタル行動ツインシステム199は、センサデータ191に含まれるGPS情報に基づいて、リモート車両124が自車両123に地理的に近接していると判断し、次いで、自ツインデータ175、第1のツインデータ171、第2のツインデータ172、第3のツインデータ173、および第Nのツインデータ174を、ネットワーク105を介して自車両123に提供する。このようにして、ツインクライアント196は、自車両123ならびにリモート車両124用のツインデータにアクセスすることができる。
一組のツインデータ181は、自車両123およびリモート車両124のデジタル行動ツインを記述するデジタルデータを含む。デジタル行動ツインシステム199は、自車両123およびリモート車両124の各々について、センサデータ191およびADASデータ192に基づいてツインデータを決定する。いくつかの実施形態では、ツインデータのインスタンスは、特定のデジタルツインを生成するために必要なすべてのデジタルデータを含む。いくつかの実施形態では、ツインデータのインスタンスは、ツインデータによって記述されたデジタルツイン用のモデルパラメータを含む。
いくつかの実施形態では、ツインクライアント196は、自車両123のプロセッサ125によって実行されると、ツインデータによって記述されたリモート運転者のデジタル行動ツインと、(1)現在の運転状況ならびに(2)リモート運転者の行動パターンおよび様々な状況においてリモート運転者がどのように行動するかを記述する自車両123の搭載データ(たとえば、センサデータ191およびADASデータ192のうちの1つまたは複数)とに基づいて、様々な状況[すなわち、様々な運転シナリオ]におけるリモート運転者の将来の行動の第1の推定値をプロセッサ125に生成させるように動作可能なコードおよびルーチンを含む。この第1の推定値は推定データ184によって記述される。
いくつかの実施形態では、ツインクライアント196は、自車両123のプロセッサ1
25によって実行されると、自運転者のデジタル行動ツインと、(1)現在の運転状況ならびに(2)自運転者の行動パターンおよび様々な状況において自運転者がどのように行動するかを記述する自車両の搭載データとに基づいて、様々な状況における自運転者の将来の行動の第2の推定値をプロセッサ125に生成させるように動作可能なコードおよびルーチンを含む。この第2の推定値も推定データ184によって記述される。
したがって、推定データ184は、(1)様々な状況[すなわち、様々な運転シナリオ]におけるリモート運転者の将来の行動の第1の推定値、および(2)第1の推定値の状況に対応する様々な状況における自運転者の将来の行動の第2の推定値を記述するデジタルデータである。
いくつかの実施形態では、ツインクライアント196は、自車両123のプロセッサ125によって実行されると、第1の推定値および第2の推定値によって記述されたリモート運転者および自運転者の推定された行動に部分的に基づいて、自車両123が現在走行している道路の様々な部分において衝突が起こりそうかどうかを推定するために、プロセッサ125にリスク分析を実行させるように動作可能なコードおよびルーチンを含む。リスク分析の結果はリスクデータ183によって記述される。したがって、リスクデータ183は、第1の推定値および第2の推定値に基づいて、自車両123が現在走行している道路の様々な部分において衝突が起こりそうかどうかの推定値を記述するデジタルデータを含む。
いくつかの実施形態にでは、ツインクライアント196は、自車両123のプロセッサ125によって実行されると、リスクデータ183に基づいて修正データをプロセッサ125に生成させるように動作可能なコードおよびルーチンを含む。修正データは、ADASシステムセット180に含まれるADASシステムなどの、自車両123の1つまたは複数のADASシステムに対する修正を記述するデジタルデータである。いくつかの実施形態では、修正データは、自車両123の1つまたは複数のADASシステムが運転者の行動によってもたらされるリスクを軽減するように修正されるので、自車両123の動作がより危険性が低いように、自車両123の1つまたは複数のADASシステムの動作を修正するように動作可能なデジタルデータである。たとえば、修正データは、自車両123がリモート車両124などの別の物体と衝突しないように、自車両123の動作を制御する。
ARデータ182は、リスクデータ183によって記述されたリスクを視覚的に描写する視覚化を記述するデジタルデータである。たとえば、ツインクライアント196は、自車両123のプロセッサ125によって実行されると、リスク分析に基づいて道路の様々な部分についての衝突の可能性を視覚的に描写するAR視覚化をプロセッサ125生成させるように動作可能なコードおよびルーチンを含む。ARデータ182はAR視覚化を記述するデジタルデータである。AR視覚化の例がいくつかの実施形態に従って図8および図9に描写される。
ECU126は自車両123の車載コンピュータである。たとえば、ECU126は、ツインクライアント196を記憶し実行する従来のECUである。プロセッサ125およびメモリ127のうちの1つまたは複数は、ECU126の要素であってもよい。
電子ディスプレイデバイス140は自車両123の電子ディスプレイを含む。たとえば、電子ディスプレイデバイス140は、HUD、3D−HUD、ヘッドユニットディスプレイ、またはダッシュメータである。いくつかの実施形態では、電子ディスプレイデバイス140は、自車両123のフロントガラス全体、または自車両123のフロントガラスの実質的にすべてを覆う透明なHUDである。
いくつかの実施形態では、電子ディスプレイデバイス140は、グラフィック視覚化または他の視覚情報を表示するように動作可能な電子ディスプレイパネルである。たとえば、電子ディスプレイデバイス140は、モニタ、テレビ、タッチスクリーン、または人間のユーザが見るための視覚情報を表示するように動作可能な何らかの他の電子デバイスである。いくつかの実施形態では、電子ディスプレイデバイス140は、本明細書に記載された1つまたは複数の通知を表示する。
いくつかの実施形態では、電子ディスプレイデバイスは一対のARゴーグルであり、任意の従来のARゴーグル、ゴーグル、または眼鏡であるARゴーグルを含んでもよい。ARゴーグルの例には、以下のタイプのARゴーグル:Google(登録商標)Glass、CastAR、Moverio BT−200、Meta、Vuzix M−100、Laster SeeThru、Icis、Optinvent ORA−S、GlassUP、Atheer One、K−Glass、およびMicrosoft(登録商標)Hololensのうちの1つまたは複数が含まれる。
いくつかの実施形態では、ツインクライアント196は、自車両123のプロセッサ125によって実行されると、図3に描写された方法300のステップのうちの1つまたは複数をプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。たとえば、ツインクライアント196は、自車両123のECU126によって実行されると、以下のステップのうちの1つまたは複数をECU126に実行させるように動作可能なコードおよびルーチンを含む。(1)リモート運転者のデジタル行動ツインと、(a)現在の運転状況、ならびに(b)リモート運転者の行動パターン、および様々な状況においてリモート運転者がどのように行動するかを記述する自車両123の搭載データ(たとえば、センサデータおよびADASデータのうちの1つまたは複数)とに基づいて、様々な状況[すなわち、様々な運転シナリオ]におけるリモート運転者の将来の行動を予測する。(2)自運転者のデジタル行動ツインと、(a)現在の運転状況、ならびに(b)自運転者の行動パターン、および様々な状況において自運転者がどのように行動するかを記述する自車両123の搭載データとに基づいて、様々な状況における自運転者の将来の行動を予測する。(3)リモート運転者の推定された将来の行動および自運転者の推定された将来の行動に部分的に基づいて、自車両が現在走行している道路の様々な部分において衝突が起こりそうかどうかを予測するために、リスク分析を実行する。(4)リスク分析に基づいて、道路の様々な部分についての衝突の可能性を視覚的に描写するAR視覚化を生成する。(5)自車両の搭載センサによって生成されたセンサデータ191を使用して、リモート車両124の行動を検出し、リモート運転者用のローカルに記憶されたデジタル行動ツイン、ならびにリモート運転者の予測された将来の行動およびリモート運転者についてのリスク評価を更新する。いくつかの実施形態では、自車両123の搭載センサがリモート車両124を常に監視する(たとえば、リモート車両124の行動を観察する)前に、ステップ(1)から(4)のうちの1つまたは複数が実行される。このため、ツインクライアント196は、既存の解決策よりも迅速にリスク通知を提供するように動作可能である。
いくつかの実施形態では、ツインクライアント196は、自車両123のプロセッサ125によって実行されると、図5Aおよび図5Bに描写された方法500のステップのうちの1つまたは複数をプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。いくつかの実施形態では、ツインクライアント196は、プロセッサ125によって実行されると、図6に描写された方法600のステップのうちの1つまたは複数をプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。いくつかの実施形態では、ツインクライアント196は、プロセッサ125によって実行されると、図7に描写された方法700のステップのうちの1つまたは複数をプロセッサ125
に実行させるように動作可能なコードおよびルーチンを含む。
いくつかの実施形態では、自車両123のツインクライアント196は、フィールドプログラマブルゲートアレイ(「FPGA」)または特定用途向け集積回路(「ASIC」)を含むハードウェアを使用して実装されてもよい。いくつかの他の実施形態では、ツインクライアント196は、ハードウェアとソフトウェアの組合せを使用して実装されてもよい。
ツインクライアント196は、図2〜図10を参照して以下により詳細に記載される。
いくつかの実施形態では、センサデータ191およびADASデータ192のうちの1つまたは複数は、自車両123の車両構成要素を記述する。たとえば、自車両123は、一組の構成要素、ならびにこれらの車両構成要素のうちの1つまたは複数の状態または状況を記述するセンサデータ191およびADASデータ192のうちの1つまたは複数を含む。自車両123は、センサデータ191およびADASデータ192によって記述されるこれらの車両構成要素に関する情報を測定するように動作可能なセンサを含んでもよい。
いくつかの実施形態では、例示的な車両構成要素には、以下の:エンジン、ブレーキ、ブレーキライン、燃料噴射器、燃料ライン、パワーステアリングユニット、変速機、タイヤ、フィルタ、車両流体、ブレーキパッド、ブレーキローター、センサ、車載コンピュータ、フロントガラス、バッテリ、ワイパー、フロントガラス、オルタネータ、スパークプラグ、スパークプラグワイヤ、バッテリワイヤ、ディストリビュータキャップ、車体パネル、インフォテインメントシステムコンポーネント、パワートレイン部品、およびベルトのうちの1つまたは複数が含まれる。
測定されている車両構成要素の例は、その全体が参照により本明細書に組み込まれる、2016年11月29日に出願され、「Optimization of a Vehicle to Compensate for Water Contamination of a Fluid of a Vehicle Component」と題する、米国特許出願第15/363,368号に記載されている。
リモート車両124は自車両123と同様のコネクティッド車両である。いくつかの実施形態では、リモート車両124は、自車両123について上述された要素と同様の要素を含む。したがって、それらの説明はここでは繰り返さない。
デジタルツインサーバ107
いくつかの実施形態では、デジタルツインサーバ107は、以下の要素:デジタル行動ツインシステム199、プロセッサ125、メモリ127、および通信ユニット145のうちの1つまたは複数を含むクラウドサーバである。これらの要素は、バス120Bを介して互いに通信可能に結合される。デジタルツインサーバ107の以下の要素:プロセッサ125、メモリ127、および通信ユニット145は、自車両123について上述された要素と同じまたは同様なので、これらの要素の説明はここでは繰り返さない。
デジタルツインサーバ107のメモリ127は、以下の要素:第1のツインデータ171、第2のツインデータ172、第3のツインデータ173、第Nのツインデータ174、および自ツインデータ175のうちの1つまたは複数を記憶する。デジタルツインサーバ107のメモリ127のこれらの要素は、自車両123のメモリ127を参照して上述されているので、それらの説明はここでは繰り返さない。
デジタル行動ツインシステム199は、デジタルツインサーバ107のプロセッサ125によって実行されると、1つまたは複数の車両(たとえば、自車両123およびリモート車両124)からセンサデータ191およびADASデータ192のインスタンスを受信し、これらの特定の車両について受信されたセンサデータ191およびADASデータ192に基づいて、これらの特定の車両用のツインデータを生成するように動作可能なコードおよびルーチンを含む。
たとえば、自車両123は、ペイロードとして以下のデジタルデータ:センサデータ191、ADASデータ192、自車両123の固有の識別子(たとえば、自車両123用の車両識別番号(VIN番号))を記述するデジタルデータを含むワイヤレスメッセージを、ネットワークを介してデジタルツインサーバ107に送信する。デジタル行動ツインシステム199は、デジタルツインサーバ107のプロセッサ125によって実行されると、このデジタルデータに基づいて自車両123(または自車両123の運転者)用のデジタル行動ツインをプロセッサ125に生成させるように動作可能なコードおよびルーチンを含む。このデジタル行動ツインは自ツインデータ175によって記述される。デジタル行動ツインシステム199は、ワイヤレスメッセージを創出したセンサデータ191、ADASデータ192、および車両の固有の識別子を記述するデジタルデータの組合せを各々が含む、複数の車両からの複数のワイヤレスメッセージを受信する。
いくつかの実施形態では、デジタル行動ツインシステム199は、ワイヤレスメッセージ用のペイロードを編成する方法として車両の固有の識別子を記述するデジタルデータを使用し、その結果、デジタル行動ツインシステム199は、以下の:第1のリモート車両124Aから発信されたワイヤレスメッセージのペイロードを使用する第1のリモート車両124A用の第1のツインデータ171、第2のリモート車両124Bから発信されたワイヤレスメッセージのペイロードを使用する第2のリモート車両124B用の第2のツインデータ172、第3のリモート車両124Cから発信されたワイヤレスメッセージのペイロードを使用する第3のリモート車両124C用の第3のツインデータ173、第Nのリモート車両124Nから発信されたワイヤレスメッセージのペイロードを使用する第Nのリモート車両124N用の第Nのツインデータ174、および自車両123から発信されたワイヤレスメッセージのペイロードを使用する自車両123用の自ツインデータ175のうちの1つまたは複数を生成することができる。
いくつかの実施形態では、特定の車両から受信されたセンサデータ191とADASデータ192の組合せは、「搭載データ」と呼ばれる。この搭載データを含むワイヤレスメッセージは、ワイヤレスメッセージを送信した車両の固有の識別子を記述するデジタルデータも含む。デジタル行動ツインシステム199は、複数の車両から複数のワイヤレスメッセージを受信し、固有の識別子に基づいてデジタルツインサーバ107のメモリ127内の搭載データの様々なインスタンスを編成する。このようにして、搭載データのインスタンスは、搭載データのインスタンスを含むワイヤレスメッセージを送信した特定の車両の識別情報に基づいて、組織的にメモリ127に記憶される。
いくつかの実施形態では、デジタル行動ツインシステム199は、特定の車両用の搭載データ(すなわち、特定の車両によって送信された搭載データ)を分析し、1つまたは複数の状況または運転シナリオにおける特定の車両または特定の車両の運転者の行動を特定するように動作可能なコードおよびルーチンを含む。運転者の行動は搭載データによって記述され、1つまたは複数の状況または運転シナリオも搭載データによって記述される。デジタル行動ツインシステム199は、特定の車両用の搭載データを入力として受信し、この入力に応答する出力として特定の車両用のツインデータを出力する。このツインデータはこの特定の車両用のデジタル行動ツインを記述する。たとえば、デジタル行動ツインシステム199は、以下のステップのうちの1つまたは複数を含むプロセスを実行する。
(1)自車両123の搭載データを入力として受信する。(2)この入力を分析して、1つまたは複数の状況または運転シナリオにおける自車両123または自運転者の行動を特定する。(3)1つまたは複数の状況または運転シナリオにおける自車両123または自運転者の行動を記述する自ツインデータ175を出力する。デジタル行動ツインシステム199は、デジタル行動ツインシステム199に搭載データを提供する他の車両に対してこのプロセスを繰り返す。このようにして、デジタル行動ツインシステム199は、デジタルデータの以下のインスタンス:第1のツインデータ171、第2のツインデータ172、第3のツインデータ173、および第Nのツインデータ174のうちの1つまたは複数を出力する。
いくつかの実施形態では、デジタル行動ツインシステム199は、デジタルツインサーバ107のプロセッサ125によって実行されると、図5Aおよび図5Bを参照して以下に記載される方法500の1つまたは複数のステップをプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。
いくつかの実施形態では、デジタル行動ツインシステム199は、参照によりその全体が本明細書に組み込まれる、2018年6月13日に出願され、「Digital Twin for Vehicle Risk Evaluation」と題する、米国特許出願第16/007,693号に記載されている方法、プロセス、または機能のうちの1つまたは複数を使用してデジタル行動ツインを生成する。
いくつかの実施形態では、デジタル行動ツインシステム199は、モデル化アプリケーションおよびゲームエンジンを含む。本明細書に記載された実施形態のうちのいくつかで使用されるモデル化アプリケーションおよびゲームエンジンの例は、参照によりその全体が本明細書に組み込まれる、2016年4月21日に出願され、「Wind Simulation Device」と題する、米国特許出願第15/135,135号に記載されている。たとえば、米国特許出願第15/135,135号に記載されている「仮想シミュレーションツール」を参照されたい。この技術の実施形態はまた、参照によりその全体が本明細書に組み込まれる、2016年3月18日に出願され、「Vehicle Simulation Device for Crowd−Sourced Vehicle Simulation Data」と題する、米国特許出願第15/074,842号に記載されている。この技術の実施形態はまた、参照によりその全体が本明細書に組み込まれる、2016年3月30日に出願され、「Dynamic Virtual Object Generation for Testing Autonomous Vehicles in Simulated Driving Scenarios」と題する、米国特許出願第15/085,644号に記載されている。本明細書に記載されたデジタル行動ツインシステム199およびツインクライアント196のうちの1つまたは複数は、米国特許出願第15/135,135号、米国特許出願第15/085,644号、および米国特許出願第15/074,842号に記載されている要素のいずれかを含むように修正されてもよい。
いくつかの実施形態では、デジタルツインサーバ107のデジタル行動ツインシステム199は、FPGAまたはASICを含むハードウェアを使用して実装されてもよい。いくつかの他の実施形態では、デジタル行動ツインシステム199は、ハードウェアとソフトウェアの組合せを使用して実装されてもよい。デジタル行動ツインシステム199は、デバイス(たとえば、サーバまたは他のデバイス)の組合せに記憶されてもよい。デジタル行動ツインシステム199は、図2〜図10を参照して以下により詳細に記載される。
これから図2を参照すると、いくつかの実施形態による、デジタル行動ツインシステム199を含む例示的なコンピュータシステム200を示すブロック図が描写されている。
いくつかの実施形態では、コンピュータシステム200は、図3を参照して以下に記載される方法300の1つまたは複数のステップを実行するようにプログラムされた専用コンピュータシステムを含んでもよい。いくつかの実施形態では、コンピュータシステム200は、図5Aおよび図5Bを参照して以下に記載される方法500の1つまたは複数のステップを実行するようにプログラムされた専用コンピュータシステムを含んでもよい。いくつかの実施形態では、コンピュータシステム200は、図6を参照して以下に記載される方法600の1つまたは複数のステップを実行するようにプログラムされた専用コンピュータシステムを含んでもよい。いくつかの実施形態では、コンピュータシステム200は、図7を参照して以下に記載される方法700の1つまたは複数のステップを実行するようにプログラムされた専用コンピュータシステムを含んでもよい。
いくつかの実施形態では、コンピュータシステム200はデジタルツインサーバ107の要素である。
いくつかの実施形態では、デジタル行動ツインシステム199は自車両123の要素である。いくつかの実施形態では、コンピュータシステム200は自車両123の車載コンピュータであってもよい。いくつかの実施形態では、コンピュータシステム200は、ECU、ヘッドユニット、または自車両123の何らかの他のプロセッサベースのコンピューティングデバイスを含んでもよい。
コンピュータシステム200は、いくつかの例によれば、以下の要素:デジタル行動ツインシステム199、プロセッサ125、通信ユニット145、メモリ127、電子ディスプレイデバイス140、ECU126、ADASシステムセット180、およびセンサセット195のうちの1つまたは複数を含んでもよい。コンピュータシステム200の構成要素は、バス120Aによって通信可能に結合される。
図示された実施形態では、プロセッサ125は、信号線238を介してバス120Aに通信可能に結合される。通信ユニット145は、信号線246を介してバス120Aに通信可能に結合される。メモリ127は、信号線244を介してバス120Aに通信可能に結合される。電子ディスプレイデバイス140は、信号線245を介してバス120Aに通信可能に結合される。ECU126は、信号線247を介してバス120Aに通信可能に結合される。ADASシステムセット180は、信号線248を介してバス120Aに通信可能に結合される。センサセット195は、信号線249を介してバス120Aに通信可能に結合される。
コンピュータシステム200の以下の要素:プロセッサ125、通信ユニット145、メモリ127、電子ディスプレイデバイス140、ECU126、ADASシステムセット180、およびセンサセット195は、図1を参照して上述されているので、それらの説明はここでは繰り返さない。
メモリ127は、図1〜図10を参照して上述されたデータのいずれか、または本明細書に記載された任意の他のデータを記憶することができる。メモリ127は、コンピュータシステム200がその機能を提供するために必要な任意のデータを記憶することができる。
図2に示された図示された実施形態では、デジタル行動ツインシステム199は、通信モジュール202および決定モジュール204を含む。
通信モジュール202は、デジタル行動ツインシステム199とコンピュータシステム
200の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアであり得る。いくつかの実施形態では、通信モジュール202は、デジタル行動ツインシステム199とコンピュータシステム200または動作環境100の他の構成要素との間の通信を処理するための以下に記載される機能を提供するように、プロセッサ125によって実行可能な一組の命令であり得る。
通信モジュール202は、通信ユニット145を介して、動作環境100の1つまたは複数の要素との間でデータを送受信する。通信モジュール202は、通信ユニット145を介して、本明細書に記載されたデータまたはメッセージのいずれかを送受信することができる。
いくつかの実施形態では、通信モジュール202は、デジタル行動ツインシステム199の構成要素からデータを受信し、そのデータをメモリ127に記憶する。いくつかの実施形態では、通信モジュール202は、デジタル行動ツインシステム199の構成要素間の通信を処理することができる。
いくつかの実施形態では、通信モジュール202は、コンピュータシステム200のメモリ127に記憶することができ、プロセッサ125によってアクセス可能かつ実行可能であり得る。通信モジュール202は、信号線222を介するプロセッサ125およびコンピュータシステム200の他の構成要素との協働および通信に適応している。
決定モジュール204は、プロセッサ125によって実行されると、図3に描写された方法300のステップのうちの1つまたは複数をプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。たとえば、決定モジュール204は、プロセッサ125によって実行されると、以下のステップのうちの1つまたは複数をプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。(1)リモート運転者のデジタル行動ツイン(たとえば、第1のツインデータ、第2のツインデータ、第3のツインデータ、・・・および第Nのツインデータ)と、(a)現在の運転状況、ならびに(b)リモート運転者の行動パターン、および様々な状況においてリモート運転者がどのように行動するかを記述する自車両によって記録された搭載データ(たとえば、センサデータおよびADASデータのうちの1つまたは複数)とに基づいて、様々な状況[すなわち、様々な運転シナリオ]におけるリモート運転者の将来の行動を予測する。(2)自運転者のデジタル行動ツイン(たとえば、自ツインデータ)と、(a)現在の運転状況、ならびに(b)自運転者の行動パターン、および様々な状況において自運転者がどのように行動するかを記述する自車両によって記録された搭載データとに基づいて、様々な状況における自運転者の将来の行動を予測する。(3)リモート運転者の推定された将来の行動および自運転者の推定された将来の行動に部分的に基づいて、自車両が現在走行している道路の様々な部分において衝突が起こりそうかどうかを予測するために、リスク分析を実行する。(4)リスク分析に基づいて、道路の様々な部分についての衝突の可能性を視覚的に描写するAR視覚化を生成する。(5)自車両の搭載センサ(たとえば、センサセット195)によって生成されたセンサデータを使用して、リモート車両の行動を検出し、リモート運転者用のローカルに記憶されたデジタル行動ツイン、ならびにリモート運転者の予測された将来の行動およびリモート運転者についてのリスク評価を更新する。いくつかの実施形態では、自車両の搭載センサがリモート車両を常に監視する(たとえば、リモート車両の行動を観察する)前に、ステップ(1)から(4)のうちの1つまたは複数が実行される。このため、ツインクライアント196は、既存の解決策よりも迅速にリスク通知を提供するように動作可能である。
いくつかの実施形態では、決定モジュール204は、プロセッサ125によって実行されると、図5Aおよび図5Bに描写された方法500のステップのうちの1つまたは複数
をプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。たとえば、決定モジュール204は、プロセッサ125によって実行されると、図5Aおよび図5Bに描写された方法500のステップ501〜506および509〜514のうちの1つまたは複数をプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。
いくつかの実施形態では、決定モジュール204は、プロセッサ125によって実行されると、図6に描写された方法600のステップのうちの1つまたは複数をプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。
いくつかの実施形態では、決定モジュール204は、プロセッサ125によって実行されると、図7に描写された方法700のステップのうちの1つまたは複数をプロセッサ125に実行させるように動作可能なコードおよびルーチンを含む。
いくつかの実施形態では、決定モジュール204はデジタル行動ツインシステム199のインスタンスを含み、その結果、決定モジュール204は、デジタル行動ツインシステム199のための本明細書に記載された機能を提供するように動作可能である。
いくつかの実施形態では、決定モジュール204は、コンピュータシステム200のメモリ127に記憶することができ、プロセッサ125によってアクセス可能かつ実行可能であり得る。決定モジュール204は、信号線224を介するプロセッサ125およびコンピュータシステム200の他の構成要素との協働および通信に適応している。
これから図3を参照すると、いくつかの実施形態による、現実世界の車両向けのデジタルツインサービスを提供するための例示的な方法300のフローチャートが描写される。たとえば、デジタルツインサービスは自車両に提供される。デジタルツインサービスは方法300の1つまたは複数のステップを含む。方法300について本明細書に記載されるステップの1つまたは複数は、1つまたは複数のコンピュータシステム200によって実行されてもよい。方法300のステップは任意の順序で実行されてもよく、必ずしも図3に描写された順序ではない。いくつかの実施形態では、図3に描写された方法300のステップのうちの1つまたは複数はオプションであり、デジタルツインサービスを提供するために必要ではない。
ステップ303において、以下の、リモート運転者のデジタル行動ツインと、(1)現在の運転状況ならびに(2)リモート運転者の行動パターンおよび様々な状況においてリモート運転者がどのように行動するかを記述する自車両の搭載データ(たとえば、センサデータおよびADASデータのうちの1つまたは複数)とのうちの1つまたは複数に基づいて、様々な状況[すなわち、様々な運転シナリオ]におけるリモート運転者の将来の行動が推定される。いくつかの実施形態では、この推定値は「第1の推定値」として記述される。
ステップ305において、以下の、自運転者のデジタル行動ツインと、(1)現在の運転状況ならびに(2)自運転者の行動パターンおよび様々な状況において自運転者がどのように行動するかを記述する自車両の搭載データとのうちの1つまたは複数に基づいて、様々な状況における自運転者の将来の行動が推定される。いくつかの実施形態では、この推定値は「第2の推定値」として記述される。
ステップ307において、リモート運転者の推定された将来の行動[すなわち、ステップ303の出力]および自運転者の推定された将来の行動[すなわち、ステップ305の出力]に部分的に基づいて、自車両が現在走行している道路の様々な部分において衝突が
起こりそうかどうかを予測するために、リスク分析が実行される。
ステップ308において、リスク分析に基づいて道路の様々な部分についての衝突の可能性を視覚的に描写するAR視覚化が生成される。いくつかの実施形態では、このAR視覚化は衝突リスクの音声通知で強化することができる。いくつかの実施形態では、ステップ308の出力はARデータである。
ステップ309において、リモート車両の行動を検出し、リモート運転者用のローカルに記憶されたデジタル行動ツイン、ならびにリモート運転者の推定された将来の行動[すなわち、ステップ303]およびリモート運転者についてのリスク評価[すなわち、ステップ307]を更新するために、自車両の搭載センサが実行される。いくつかの実施形態では、リモート車両のツインクライアントも、それらがそれら自体のローカルに記憶された情報(たとえば、それらのローカルに記憶されたツインデータのインスタンス)を更新するように、ステップ309と同様のステップを実行する。
図4を参照すると、電子ディスプレイデバイス140が3D HUDである実施形態における電子ディスプレイデバイス140を示すブロック図が描写されている。
いくつかの実施形態では、3D HUDは、プロジェクタ401、可動スクリーン402、スクリーン駆動ユニット403、(レンズ404、406、反射鏡405などを含む)光学システムを含む。プロジェクタ401は、デジタルミラーデバイス(DMD)プロジェクタまたは液晶プロジェクタなどの任意の種類のプロジェクタであってもよい。プロジェクタ401は、可動スクリーン402に画像(グラフィック)408を投影する。画像408は仮想オブジェクトを含んでもよい。たとえば、画像408は隠蔽グラフィックであってもよい。
可動スクリーン402は透明板を含むので、投影画像の光は可動スクリーン402を透過して、車両(たとえば、自車両123)のフロントガラス407に投影される。フロントガラス407に投影された画像は、フロントガラスに投影された物体とは対照的に、実世界の3次元空間に存在する(411a、411bと示された)実際の物体であるかのように、運転者410によって知覚される。
いくつかの実施形態では、3D HUDは、スクリーン402上の投影位置を調整することによって、運転者410に対する画像の方向(言い換えれば、フロントガラス内の画像位置)を制御するように動作可能である。さらに、スクリーン402は、スクリーン駆動ユニット403により、位置403aと403bとの間の範囲で移動可能である。スクリーン402の位置を調整すると、現実世界における運転者410からの投影画像の深度(距離)を変えることができる。一例では、スクリーン402の可動範囲(位置403aと403bとの間の距離)は5mmであってもよく、それは現実世界では5mから無限遠までに対応する。3D HUDを使用すると、現実世界(3次元空間)に投影画像が存在することを運転者410が知覚することが可能になる。たとえば、画像が(歩行者、自動車などの)実際の物体と同じ三次元位置(または少なくとも実質的に同じ深度)に投影されると、運転者は投影画像を見るために目の焦点を調整する必要がなく、実際の物体を見ながら投影画像を容易に把握することになる。
図4に描写された3D HUDは一例として提供されている。他の例が考えられる。これらの例は、図4に描写された3D HUDよりも多かれ少なかれ複雑さを有するヘッドアップディスプレイを含んでもよい。たとえば、将来は、可動スクリーン402などの可動部品を必要としないヘッドアップディスプレイが存在すると予想される。たとえば、移動しない静止スクリーンが配置されてもよい。配置されたヘッドアップディスプレイは、
二次元ヘッドアップディスプレイユニットでなくてもよい。いくつかの実施形態では、電子ディスプレイデバイス140および隠蔽グラフィックは、そのような構成要素とともに動作可能であるように設計される。
図5Aおよび図5Bを参照すると、いくつかの実施形態による、デジタルツインサービスを提供するための例示的な方法500のフローチャートが描写される。
図5Aを参照すると、自車両のツインクライアントおよびデジタルツインサーバのデジタル行動ツインシステムを参照して、方法500のステップがこれから記載される。ステップ501において、ツインクライアントが自車両のセンサにセンサデータを記録させる。
ステップ502において、ツインクライアントがADASシステムにセンサデータを提供する。たとえば、自車両のツインクライアントは、自車両のセンサセットによって記録されたセンサデータを自車両の1つまたは複数のADASシステムに提供する。
ステップ503において、ツインクライアントがADASシステムを実行する。たとえば、ツインクライアントは、センサデータを入力として使用して、1つまたは複数のADASシステムを実行する。このようにして、センサデータは、それらの機能を提供するために1つまたは複数のADASシステムによって使用される情報を、1つまたは複数のADASシステムに提供する。
いくつかの実施形態では、1つまたは複数のADASシステムは、センサデータに基づいて自車両の道路環境において発生する事象を特定し、センサデータによって記述された道路環境において発生する事象に応答して、提供する適切なADAS機能または自律機能を決定する。
いくつかの実施形態では、1つまたは複数のADASシステムは、とりわけ、1つまたは複数のADASシステムによって提供されるADAS機能または自律機能を記述するADASデータを生成する。このADASデータは、入力として受信されたセンサデータに応答する出力として、1つまたは複数のADASシステムによって提供される。
いくつかの実施形態では、ADASデータは、入力として受信されたセンサデータに基づいて1つまたは複数のADASシステムによって特定された、道路環境において発生する事象を記述するデジタルデータである。いくつかの実施形態では、ADASデータによって記述された事象は、ステップ502において入力として1つまたは複数のADASシステムによって受信されたセンサデータに基づいて、1つまたは複数のADASシステムにより道路環境に存在すると判断された様々な状況(たとえば、様々な運転シナリオ)を含む。
ステップ504において、ツインクライアントがADASシステムからADASデータを受信する。
ステップ505において、ツインクライアントがセンサデータおよびADASデータを経時的に監視する。たとえば、センサデータは、搭載センサが新しいセンサデータを記録するにつれて経時的に変化する。ツインクライアントは、新しいセンサデータを使用してステップ502、503、および504を繰り返し、このようにして、新しいセンサデータに基づいて1つまたは複数のADASシステムによって生成された新しいADASデータを受信する。
いくつかの実施形態では、新しいADASデータは、新しいセンサデータに基づいて道路環境に存在する新しい状況または運転シナリオを記述する。ステップ505において、ツインクライアントが経時的に生成された新しいセンサデータおよび新しいADASデータを監視する。いくつかの実施形態では、ツインクライアントは、センサデータおよびADASデータ、ならびに新しいセンサデータおよび新しいADASデータを、自車両の非一時的メモリに記憶する。
いくつかの実施形態では、本明細書に記載された「新しいセンサデータ」および「新しいADASデータ」は、方法500の以下のステップにおいて参照される「センサデータ」および「ADASデータ」に含まれる。
いくつかの実施形態では、方法500のステップ501〜505は、方法500の他のステップが方法のこれらのステップと並行して実行されるときでさえ、ツインクライアントによって連続的に繰り返される。
ステップ506において、ツインクライアントが、通信ユニットに、センサデータおよびADASデータを含むワイヤレスメッセージを、ネットワークを介してデジタル行動ツインシステムに送信させる。いくつかの実施形態では、センサデータおよびADASデータは一括して搭載データと呼ばれる。搭載データは、ステップ506のワイヤレスメッセージを送信する車両の固有の識別子を記述するデジタルデータと関連付けられる。ワイヤレスメッセージは、ペイロードとして、搭載データおよび固有の識別子を記述するデジタルデータを含む。
ステップ507において、デジタル行動ツインシステムが、自ツインデータおよびリモート車両用のツインデータを構築する。たとえば、デジタル行動ツインシステムは、複数の車両(たとえば、自車両およびリモート車両)からワイヤレスメッセージを受信し、これらの車両の各々のためのツインデータ(たとえば、自ツインデータ、第1のツインデータ、・・・第Nのツインデータ)を構築する。デジタル行動ツインシステムは、これらの車両から受信したワイヤレスメッセージのペイロードに基づいて、これらの車両の各々のためのツインデータを構築する。このようにして、デジタル行動ツインシステムは、自ツインデータ、第1のツインデータ、・・・および第Nのツインデータを構築する。
ステップ508において、デジタル行動ツインシステムが、ツインクライアントおよび通信ユニットを含む自車両および任意のリモート車両にツインデータを送信する。いくつかの実施形態では、デジタル行動ツインシステムは、これらの車両の各々に、その地理的近傍にある車両の各々のためのツインデータを送信する。たとえば、自車両は、自ツインデータ、および自車両から所定の距離内(たとえば、5メートル、15メートル、50メートル、1から100メートル、または何らかの他の所定の距離内)に位置する任意の車両用のツインデータを受信する。このようにして、デジタル行動ツインシステムは、これらの車両の相対的な地理的位置に基づいて各車両用の一組のツインデータを構築し、一組のツインデータを各車両に送信する。
ステップ509において、ツインクライアントがネットワークからツインデータを受信する。いくつかの実施形態では、ツインクライアントは自車両の非一時的メモリに一組のツインデータを記憶する。いくつかの実施形態では、車両は、V2X通信またはV2V通信を介して他の車両と自分のツインデータを共有し、個々の車両のツインクライアントは、これらの車両用のツインデータを提供するデジタル行動ツインシステムに依存する代わりに、V2X通信またはV2V通信を使用して自分の地理的近傍内に位置する車両用のツインデータを受信する。
したがって、特定の車両(たとえば、自車両)のツインクライアントは、それ自体ならびに特定の車両の近くに位置する他の車両のデジタル行動ツインを記述するツインデータを記憶する。
いくつかの実施形態では、方法500のステップ501〜505はツインクライアントによって連続的に繰り返される。このようにして、特定の車両のツインクライアントはセンサデータおよびADASデータも記憶し、それらの組合せは、その現在の道路環境内で遭遇している現在の状況または運転シナリオを記述する「搭載データ」として記述される。いくつかの実施形態では、センサデータは、リモート運転者の行動パターンおよび自運転者の行動パターンを記述する。
たとえば、自車両の搭載センサはリモート車両の行動を記録し(それにより、リモート運転者のこれらの行動を記述するセンサデータの第1のデータセットが生成され)、時間とともに、この第1のデータセットに含まれるセンサデータは、ステップ510において以下に記載されるリモート運転者の行動パターンを記述し、リモート車両用のツインデータは、とりわけ、異なる状況においてリモート運転者がどのように行動するかを記述し、これらの状況は、自車両のセンサセットによって記録された新しいセンサデータに基づいて、ツインクライアントによって識別可能である(たとえば、ステップ510および第1の推定値の生成を参照)。同様に、自車両の搭載センサは自車両の行動を記録し(それにより、自運転者のこれらの行動を記述するセンサデータの第2のデータセットが生成され)、時間とともに、この第2のデータセットは、ステップ511において以下に記載される自運転者の行動パターンを記述し、自ツインデータは、とりわけ、異なる状況において自運転者がどのように行動するかを記述し、それらは、自車両のセンサセットによって記録された新しいセンサデータに基づいて、ツインクライアントによって識別可能である(たとえば、ステップ511および第2の推定値の生成を参照)。
ステップ510において、ツインクライアントが、リモート運転者のデジタル行動ツインと、(1)現在の運転状況ならびに(2)リモート運転者の行動パターンおよび様々な状況においてリモート運転者がどのように行動するかを記述する自車両の搭載データ(たとえば、センサデータおよびADASデータのうちの1つまたは複数)とに基づいて、様々な状況[すなわち、様々な運転シナリオ]におけるリモート運転者の将来の行動の第1の推定値を生成する。この第1の推定値は推定データによって記述される。
図5Bを参照すると、ステップ511において、ツインクライアントが、自運転者のデジタル行動ツインと、(1)現在の運転状況ならびに(2)自運転者の行動パターンおよび様々な状況において自運転者がどのように行動するかを記述する自車両の搭載データとに基づいて、様々な状況における自運転者の将来の行動の第2の推定値を生成する。この第2の推定値も、ステップ510の第1の推定値とともに推定データによって記述される。
ステップ512において、ツインクライアントが、第1の推定値および第2の推定値を記述する推定データを入力として使用してリスク分析を実行する。このリスク分析の出力は、リモート運転者および自運転者の推定された行動に部分的に基づいて(たとえば、第1の推定値および第2の推定値に基づいて)、自車両が現在走行している道路の様々な部分において衝突が起こりそうかどうかの推定値を記述するリスクデータである。ステップ512の一例は、いくつかの実施形態による図7の方法700を参照して、以下により詳細に記載される。
ステップ513において、ツインクライアントが、リスク分析に基づいて道路の様々な部分についての衝突の可能性を視覚的に描写するAR視覚化を電子ディスプレイデバイス
に生成させる[このAR視覚化は衝突リスクの音声通知とペアになることができる]。ARデータはAR視覚化を記述するデジタルデータである。ツインクライアントはARデータを生成する。たとえば、ツインクライアントは、自車両のプロセッサによって実行されると、リスクデータによって記述されたリスクを描写するAR視覚化を記述するARデータを生成するように動作可能なコードおよびルーチンを含む。
視覚化(たとえば、道路視覚化システム)を生成するように動作可能な、いくつかの実施形態によるツインクライアントに含まれるものなどのコードおよびルーチンの例示的な実施形態は、その全体が参照により本明細書に組み込まれる、「Scalable Curve Visualization for Conformance Testing in Vehicle Simulation」と題し、2016年9月14日に出願された、米国特許出願第15/265,235号に記載されている。視覚化(たとえば、自動化動的オブジェクト生成システム)を生成するように動作可能なコードおよびルーチンの他の例示的な実施形態は、その全体が参照により本明細書に組み込まれる、「Dynamic Virtual Object Generation for Testing Autonomous Vehicle in Simulated Driving Scenarios」と題し、2016年3月30日に出願された、米国特許出願第15/085,664号に記載されている。視覚化(たとえば、現実的な道路仮想化システム)を生成するように動作可能なコードおよびルーチンのさらに他の例示的な実施形態は、その全体が参照により本明細書に組み込まれる、「Realistic Roadway Virtualization System」と題し、2016年2月2日に出願された、米国特許出願第15/013,936号に記載されている。
ステップ514において、ツインクライアントが自車両の搭載センサにリモート車両の行動を検出させる。ツインクライアントは、リモート車両の行動の検出に基づいて生成されたセンサデータに基づいて、リモート運転者用のデジタル行動ツイン、ならびにリモート運転者の将来の行動の推定値およびリモート運転者についてのリスク評価を更新する。たとえば、ツインクライアント(たとえば、ツインクライアントの決定モジュール)は、デジタル行動ツインシステムを含み、ツインクライアントは、自車両のセンサセットによって生成されたセンサデータを使用して、これらの車両の観察された行動に基づいて様々な車両用のツインデータを更新する。ステップ514の一例は、いくつかの実施形態による図6の方法600を参照して、以下により詳細に記載される。
図6を参照すると、いくつかの実施形態による、運転者用のデジタル行動ツインを更新するための例示的な方法600のフローチャートが描写される。
ステップ601において、新しいセンサデータが生成される。たとえば、新しいセンサデータは、リモート車両を含む道路環境についての測定値を記述する。方法600は、自分のツインクライアントが方法600を実行する自車両によってそのツインデータが記憶されたこのリモート車両用の新しいまたは更新されたデジタル行動ツインを生成する。
ステップ602において、リモート車両についての運転状況がセンサデータに基づいて特定される。
ステップ603において、リモート車両のリモート運転者の現在の運転行動が特定される。この現在の運転行動は、ステップ601のセンサデータ、または1つもしくは複数のADASシステムへの入力としてステップ601のセンサデータを使用する自車両の1つもしくは複数のADASシステムによって生成されたADASデータのうちの1つまたは複数によって特定される。
ステップ604において、リモート車両用のデジタル行動ツインが、(ステップ602において特定された)観察された運転状況において(ステップ603において特定された)リモート運転者の観察された運転行動を記述するように更新される。したがって、リモート車両用のツインデータは、このリモート車両のデジタル行動ツインに対するこの更新を記述するように更新される。
図7を参照すると、いくつかの実施形態による、リスクデータを決定するための例示的な方法700のフローチャートが描写される。
ステップ701において、1つまたは複数のリモート車両の現在の運転状況が特定される。
ステップ702において、1つまたは複数のリモート車両のデジタル行動ツインを記述するツインデータが検索または取得される。いくつかの実施形態では、リモート車両用のツインデータは、これらのリモート車両とのV2X通信またはV2V通信を介して取得される。
ステップ703において、1つまたは複数のリモート車両についての最も可能性が高い次の一組の行動を記述する推定値が生成される。この推定値は推定データによって記述される。いくつかの実施形態では、この推定値は第1の推定値の一例である。いくつかの実施形態では、この推定値は、1つまたは複数のリモート車両についての最も可能性が高い次の一組の行動、および道路環境内の1つまたは複数のリモート車両の次の一組の行動の各々の最も可能性が高い地理的位置を記述する。
ステップ704において、自車両の現在の運転状況が特定される。
ステップ705において、自車両についての最も可能性が高い次の一組の行動を記述する推定値が生成される。この推定値は推定データによって記述される。いくつかの実施形態では、この推定値は第2の推定値の一例である。いくつかの実施形態では、この推定値は、自車両についての最も可能性が高い次の一組の行動、および道路環境内の自車両についての次の一組の行動の各々の最も可能性が高い地理的位置を記述する。
ステップ706において、(1)自車両および1つまたは複数のリモート車両のうちの1つまたは複数を巻き込む道路環境内での衝突のリスク、ならびに(2)この衝突のリスクに関連付けられた場所を記述するリスクデータが生成される。いくつかの実施形態では、リスクデータは、道路環境内の各地理的位置について、この地理的位置における衝突のリスクを記述する。このようにして、リスクデータは、道路環境内の一組の地理的位置、およびこれらの地理的位置の各々についての衝突のリスクを記述する。リスクデータは、次いでARデータを生成するために使用され、ARデータの出力の例が図8および図9に描写される。図8および図9に描写されたリスク勾配は、各地理的位置についての衝突のリスクを視覚的に描写し、これは電子ディスプレイを通して見るときに見ることができることに留意されたい。
図8を参照すると、いくつかの実施形態による、道路環境内の複数の地理的位置において、一組のリモート車両によって自車両にもたらされるリスクを記述するリスク勾配を視覚的に描写するグラフィック出力を表示する、自車両のフロントガラスを覆う電子ディスプレイの一例800のブロック図が描写されている。いくつかの実施形態では、グラフィック出力はARデータによって記述される。たとえば、グラフィック出力は、いくつかの実施形態に従って本明細書に記載されたAR視覚化の一例である。
図9を参照すると、いくつかの実施形態による、道路環境内の複数の地理的位置において、一組のリモート車両によって自車両にもたらされるリスクを記述するリスク勾配を視覚的に描写するグラフィック出力を表示する、自車両のフロントガラスを覆う電子ディスプレイの一例900のブロック図が描写されている。いくつかの実施形態では、グラフィック出力はARデータによって記述される。たとえば、グラフィック出力は、いくつかの実施形態に従って本明細書に記載されたAR視覚化の一例である。
図10を参照すると、いくつかの実施形態による、本明細書に記載された実施形態対背景技術に記載された既存の解決策の比較を叙述する表1000が描写されている。
上記の記載では、説明目的で、本明細書の完全な理解をもたらすように、多数の具体的詳細を記載した。しかし、本開示が、これらの具体的詳細なしに実施可能であることは当業者には明らかとなるだろう。幾つかの例では、説明を分かりにくくすることを避けるために、構造及びデバイスをブロック図形式で示している。例えば、本実施形態は、主にユーザインタフェース及び特定のハードウェアに関連して、上記で説明することができる。しかし、本実施形態は、データ及びコマンドを受信することができる、どのような種類のコンピュータシステムにも、及びサービスを提供するどのような周辺デバイスにも適用することができる。
本明細書における「幾つかの実施形態」又は「幾つかの例」への言及は、実施形態又は例に関連して記載したある特定の特徴、構造、又は特性が、記載の少なくとも1つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所における「幾つかの実施形態では」というフレーズの出現は、必ずしも全て同じ実施形態に言及しているわけではない。
以下の詳細な記載の幾つかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号表現の観点から提示される。これらのアルゴリズム的記述及び表現は、データ処理分野の当業者によって、最も効果的に自身の研究の内容を他の当業者に伝えるために使用される手段である。アルゴリズムは、ここでは、及び一般的に、所望の結果をもたらす、セルフコンシステントな一連のステップであると考えられる。これらのステップは、物理量の物理的操作を必要とするものである。一般に、必ずではないが、これらの量は、保存、転送、結合、比較、及びその他の操作が行われることが可能な電気又は磁気信号の形をとる。時には、主に一般的な用法が理由で、ビット、値、要素、記号、文字、用語、又は数字などとして、これらの信号に言及することが便利であると分かっている。
しかし、これら及び類似の用語の全てが、適切な物理量と関連付けられるべきであること、及びこれらの量に適用される便利なラベルにすぎないことが留意されるべきである。具体的な別段の記載のない限り、以下の記述から明らかなように、記載全体を通して、「処理する」、「算出する」、「計算する」、「決定する」、又は「表示する」などを含む用語を利用した記述は、コンピュータシステムのレジスタ及びメモリ内で物理(電子)量として表されるデータを、コンピュータシステムのメモリ又はレジスタ、又は他のそのような情報ストレージ、送信、又はディスプレイデバイス内で同様に物理量として表される他のデータへと操作及び変換する、コンピュータシステム又は類似の電子コンピューティングデバイスのアクション及びプロセスを指す。
本明細書の本実施形態はまた、本明細書における動作を行うための装置に関してもよい。この装置は、必要とされる目的のために特別に構築されてもよく、又はコンピュータに保存されたコンピュータプログラムによって選択的に作動又は再設定される汎用コンピュータを含んでいてもよい。このようなコンピュータプログラムは、限定されないが、フロッピーディスク、光ディスク、CD−ROM、及び磁気ディスクを含むあらゆる種類のデ
ィスク、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光カード、不揮発性メモリを備えたUSBキーを含むフラッシュメモリ、又はそれぞれコンピュータシステムバスに結合された電子命令を保存するのに適したあらゆる種類の媒体を含む、コンピュータ可読ストレージ媒体に保存されてもよい。
本明細書は、幾つかの完全なハードウェア実施形態、幾つかの完全なソフトウェア実施形態、又はハードウェア及びソフトウェア要素の両方を含有した幾つかの実施形態の形をとり得る。幾つかの好ましい実施形態では、本明細書は、限定されないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むソフトウェアで実施される。
さらに、記載は、コンピュータ又は任意の命令実行システムによって、又は関連して使用されるプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形をとり得る。この記載を目的として、コンピュータ使用可能又はコンピュータ可読媒体は、命令実行システム、装置、又はデバイスによって、又は関連して使用されるプログラムの含有、保存、伝達、伝搬、又は伝送を行うことができる、どのような装置でもよい。
プログラムコードの保存又は実行に適したデータ処理システムは、システムバスによってメモリ素子と直接的又は間接的に結合された少なくとも1つのプロセッサを含む。メモリ素子は、プログラムコードの実際の実行中に用いられるローカルメモリ、大容量ストレージ、及び実行中に大容量ストレージからコードが抽出されなければならない回数を減らすために少なくとも一部のプログラムコードの一時的ストレージを提供するキャッシュメモリを含み得る。
入出力又はI/Oデバイス(限定されないが、キーボード、ディスプレイ、ポインティングデバイスなどを含む)は、システムに直接的に、又は介在するI/Oコントローラを通して結合され得る。
ネットワークアダプタは、データ処理システムが、介在する私設又は公衆ネットワークを通して他のデータ処理システム、リモートプリンタ、又はストレージデバイスに結合されることを可能にするために、システムに結合されてもよい。モデム、ケーブルモデム、及びイーサネットカードは、現在利用可能なネットワークアダプタの種類のほんの数例である。
最後に、本明細書に提示するアルゴリズム及びディスプレイは、どの特定のコンピュータ又は他の装置とも本質的に関連していない。本明細書の教示に従って、様々な汎用システムをプログラムと共に使用することができ、又は必要な方法ステップを行うように、より専門化された装置を構築することが便利であると判明する場合がある。様々なこれらのシステムのために必要な構造は、以下の記載から分かるだろう。加えて、本明細書は、特定のプログラミング言語に関連して記載されていない。様々なプログラミング言語を使用して、ここに記載される本明細書の教示を実施することができることが認識されるだろう。
本明細書の実施形態の上記の記載は、例示及び説明を目的として提示されたものである。包括的であること、又は開示した正確な形態に本明細書を限定することを意図したものではない。上記の教示に鑑みて、多くの変更形態及び変形形態が可能である。本開示の範囲が、この詳細な説明によってではなく、本出願の特許請求の範囲によって限定されることが意図される。当該分野に精通する者には理解されるように、本明細書は、その精神又は必須の特性から逸脱することなく、他の特定の形態で具現化されてもよい。同様に、モ
ジュール、ルーチン、特徴、属性、手法、及び他の態様の特定の命名及び区分は、義務的又は重要なものではなく、本明細書又はその特徴を実施する機構は、異なる名称、区分、又は形式を有していてもよい。さらに、関連技術の当業者には明らかとなるように、本開示のモジュール、ルーチン、特徴、属性、手法、及び他の態様は、ソフトウェア、ハードウェア、ファームウェア、又はこれら3つの任意の組み合わせとして実施することができる。また、本明細書のコンポーネント(その一例は、モジュールである)がソフトウェアとして実施される場合はいつでも、そのコンポーネントは、スタンドアロンプログラムとして、より大きなプログラムの一部として、複数の別個のプログラムとして、静的又は動的にリンクしたライブラリとして、カーネルロード可能モジュールとして、デバイスドライバとして、又はコンピュータプログラミング分野の当業者に現在又は将来公知のあらゆる及びその他の方法で実施することができる。加えて、本開示は、どの特定のプログラミング言語の実施形態にも、又はどの特定のオペレーティングシステム又は動作環境の実施形態にも決して限定されない。従って、本開示は、以下の特許請求の範囲に記載される本明細書の範囲を説明するものであって、限定するものではないことが意図される。

Claims (20)

  1. 運転状況ならびにこの運転状況におけるリモート車両および自車両の運転行動を記述するデジタルデータを記録することと、
    前記リモート車両の第1のデジタル行動ツイン、前記自車両の第2のデジタル行動ツイン、および前記デジタルデータに基づいて、前記リモート車両および前記自車両のうちの1つまたは複数を巻き込む衝突のリスクを特定することと、
    前記リスクに基づいて前記自車両の動作を修正することと、
    を含む、方法。
  2. 前記自車両の前記動作を修正することが、前記リスクを視覚的に描写するグラフィック出力を表示する前記自車両の電子ディスプレイを含む、請求項1に記載の方法。
  3. 前記グラフィック出力が拡張現実(AR)視覚化である、請求項2に記載の方法。
  4. 前記リモート車両が前記自車両に車両対モノ(V2X)メッセージを送信することをさらに含み、前記V2Xメッセージが前記第1のデジタル行動ツインを記述するリモートツインデータを含む、請求項1に記載の方法。
  5. 前記第1のデジタル行動ツインが、複数の様々な運転状況における前記リモート車両のリモート運転者の前記運転行動をモデル化する、請求項1に記載の方法。
  6. 前記第2のデジタル行動ツインが、複数の様々な運転状況における前記自車両の自運転者の前記運転行動をモデル化する、請求項1に記載の方法。
  7. 前記自車両が自律型車両である、請求項1に記載の方法。
  8. 前記自車両の前記動作を修正することが、前記自車両が自律的に前記リスクを修正する行動を取ることを含む、請求項7に記載の方法。
  9. 前記運転状況における前記リモート車両の異なる運転行動を記述する新しいデジタルデータに基づいて、前記第1のデジタル行動ツインを修正することをさらに含み、前記第1のデジタル行動ツインがこの異なる運転行動を含むように修正される、請求項1に記載の方法。
  10. 運転状況ならびにこの運転状況におけるリモート車両および自車両の運転行動を記述するデジタルデータを記憶する非一時的メモリと、
    前記非一時的メモリに通信可能に結合されたプロセッサと
    を備えるシステムであって、前記非一時的メモリが、前記プロセッサによって実行されると、
    前記リモート車両の第1のデジタル行動ツイン、前記自車両の第2のデジタル行動ツイン、および前記デジタルデータに基づいて、前記リモート車両および前記自車両のうちの1つまたは複数を巻き込む衝突のリスクを特定すること、ならびに、
    前記リスクに基づいて前記自車両の動作を修正すること、
    を前記プロセッサに行わせるコンピュータコードを記憶する、システム。
  11. 前記自車両の前記動作を修正することが、前記リスクを視覚的に描写するグラフィック出力を表示する前記自車両の電子ディスプレイを含む、請求項10に記載のシステム。
  12. 前記グラフィック出力が拡張現実(AR)視覚化である、請求項11に記載のシステム
  13. 前記第1のデジタル行動ツインが、前記自車両によって受信され、前記リモート車両によって送信される車両対モノ(V2X)メッセージを介して受信されるリモートツインデータによって記述される、請求項10に記載のシステム。
  14. 前記第1のデジタル行動ツインが、複数の様々な運転状況における前記リモート車両のリモート運転者の前記運転行動をモデル化する、請求項10に記載のシステム。
  15. 前記第2のデジタル行動ツインが、複数の様々な運転状況における前記自車両の自運転者の前記運転行動をモデル化する、請求項10に記載のシステム。
  16. 前記自車両が自律型車両であり、前記自車両の前記動作を修正することが、前記自車両が自律的に前記リスクを修正する行動を取ることを含む、請求項10に記載のシステム。
  17. 前記プロセッサによって実行されると、前記運転状況における前記リモート車両の異なる運転行動を記述する新しいデジタルデータに基づいて、前記第1のデジタル行動ツインを前記プロセッサに修正させる追加のコンピュータコードを前記非一時的メモリが記憶し、前記第1のデジタル行動ツインがこの異なる運転行動を含むように修正される、請求項10に記載のシステム。
  18. 前記プロセッサによって実行されると、
    運転状況ならびにこの運転状況におけるリモート車両および自車両の運転行動を記述するデジタルデータを記録すること、
    前記リモート車両の第1のデジタル行動ツイン、前記自車両の第2のデジタル行動ツイン、および前記デジタルデータに基づいて、前記リモート車両および前記自車両のうちの1つまたは複数を巻き込む衝突のリスクを特定すること、ならびに、
    前記リスクに基づいて前記自車両の動作を修正すること、
    を前記プロセッサに行わせるコンピュータ実行可能コードを記憶する非一時的メモリを備える、コンピュータプログラム製品。
  19. 前記自車両の前記動作を修正することが、前記リスクを視覚的に描写するグラフィック出力を表示する前記自車両の電子ディスプレイを含む、請求項18に記載のコンピュータプログラム製品。
  20. 前記コンピュータ実行可能コードが、前記プロセッサによって実行されると、前記運転状況における前記リモート車両の異なる運転行動を記述する新しいデジタルデータに基づいて、前記第1のデジタル行動ツインをさらに前記プロセッサに修正させ、前記第1のデジタル行動ツインがこの異なる運転行動を含むように修正される、請求項18に記載のコンピュータプログラム製品。
JP2019110341A 2018-06-13 2019-06-13 デジタル行動ツインに基づくコネクティッド車両のための衝突回避 Active JP7200832B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/007,796 2018-06-13
US16/007,796 US10843689B2 (en) 2018-06-13 2018-06-13 Collision avoidance for a connected vehicle based on a digital behavioral twin

Publications (3)

Publication Number Publication Date
JP2020009428A true JP2020009428A (ja) 2020-01-16
JP2020009428A5 JP2020009428A5 (ja) 2022-06-16
JP7200832B2 JP7200832B2 (ja) 2023-01-10

Family

ID=68724883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019110341A Active JP7200832B2 (ja) 2018-06-13 2019-06-13 デジタル行動ツインに基づくコネクティッド車両のための衝突回避

Country Status (3)

Country Link
US (1) US10843689B2 (ja)
JP (1) JP7200832B2 (ja)
DE (1) DE102019115783A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277031A1 (ja) * 2021-07-02 2023-01-05 株式会社デンソー モビリティサービス基盤サーバ、モビリティサービス提供システム、車両アクセス制御方法、プログラム
WO2023277030A1 (ja) * 2021-07-02 2023-01-05 株式会社デンソー モビリティサービス基盤サーバ、モビリティサービス提供システム、車両アクセス制御方法、プログラム
WO2023188994A1 (ja) * 2022-03-28 2023-10-05 ソフトバンク株式会社 車両およびサーバ
WO2024042586A1 (ja) * 2022-08-22 2024-02-29 日本電信電話株式会社 交通分散制御システム、方法、及びプログラム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11169537B2 (en) * 2016-04-15 2021-11-09 Honda Motor Co., Ltd. Providing driving support in response to changes in driving environment
EP3584607B1 (en) * 2018-06-18 2023-03-01 Zenuity AB Method and arrangement for improving global positioning performance of a road vehicle
DE102018213554A1 (de) * 2018-08-10 2020-02-13 Audi Ag Verfahren und Anzeigeeinrichtung zur Visualisierung einer Anordnung sowie Wirkungsweise von Umfeldsensoren eines Kraftfahrzeugs
US10847038B2 (en) * 2018-08-10 2020-11-24 The Boeing Company Aircraft communications system with an operational digital twin
US11541533B2 (en) 2019-03-01 2023-01-03 Duality Robotics, Inc. Robot templates in a simulation environment
US10839621B1 (en) * 2019-07-24 2020-11-17 Toyota Motor Engineering & Manufacturing North America, Inc. Altering a vehicle based on driving pattern comparison
US11738804B2 (en) * 2020-02-07 2023-08-29 Micron Technology, Inc. Training a vehicle to accommodate a driver
WO2021159269A1 (zh) * 2020-02-11 2021-08-19 云图技术有限公司 基于视觉的安全驾驶预警方法、系统及存储介质
CN111739343B (zh) * 2020-06-02 2023-12-19 腾讯科技(深圳)有限公司 车辆事故风险的预警方法、装置、介质及电子设备
DE102020207177A1 (de) 2020-06-09 2021-12-09 Zf Friedrichshafen Ag Überwachen eines Fahrzeugs
CN112419775B (zh) * 2020-08-12 2022-01-11 华东师范大学 基于强化学习的数字孪生智慧停车方法及系统
CN111930026A (zh) * 2020-08-20 2020-11-13 北京经纬恒润科技有限公司 一种测试方法及装置
DE102020210821A1 (de) 2020-08-27 2022-03-03 Siemens Mobility GmbH Verfahren zur Überprüfung eines Lichtraums für ein Schienenfahrzeug
US11252723B1 (en) * 2020-09-04 2022-02-15 Toyota Motor Engineering & Manufacturing North America, Inc. Modifying a vehicular radio based on a schedule of point-to-point vehicular communications
CN112037543A (zh) * 2020-09-14 2020-12-04 中德(珠海)人工智能研究院有限公司 基于三维建模的城市交通灯控制方法、装置、设备和介质
DE102020124526A1 (de) 2020-09-21 2022-03-24 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Verkehrsüberwachung mittels Fahrbahnschwingungen und Laservibrometrie
US11912302B2 (en) * 2020-12-21 2024-02-27 Zoox, Inc. Autonomous control engagement
US11738777B2 (en) 2020-12-21 2023-08-29 Zoox, Inc. Dynamic autonomous control engagement
KR20220117625A (ko) * 2021-02-17 2022-08-24 한국기술교육대학교 산학협력단 자율형 cps의 성능 자가진화를 위한 연합 강화학습 기반의 자율형 cps 자가진화 프레임워크 및 이를 이용한 자율형 cps의 성능 자가진화 방법
US20220289240A1 (en) * 2021-03-12 2022-09-15 Toyota Motor Engineering & Manufacturing North America, Inc. Connected vehicle maneuvering management for a set of vehicles
CN113119937B (zh) * 2021-03-31 2022-04-08 南京航空航天大学 基于数字孪生的智能线控制动系统及其预测控制方法
CN112991742B (zh) * 2021-04-21 2021-08-20 四川见山科技有限责任公司 一种实时交通数据的可视化仿真方法及系统
DE102021207869A1 (de) 2021-07-22 2023-01-26 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
CN113741442B (zh) * 2021-08-25 2022-08-02 中国矿业大学 一种基于数字孪生驱动的单轨吊车自动驾驶系统及方法
CN114153220B (zh) * 2022-02-10 2022-06-14 深圳市爱云信息科技有限公司 基于人工智能物联网平台用于自动驾驶的远程控制方法
US20230256985A1 (en) * 2022-02-14 2023-08-17 Continental Advanced Lidar Solutions Us, Llc Method and system for avoiding vehicle undercarriage collisions
DE102022202717A1 (de) 2022-03-21 2023-09-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Prüfen einer Wirkkette
CN114863699B (zh) * 2022-06-14 2023-05-23 电子科技大学 一种基于数字孪生的城市车路协同交通流预测方法
CN117400959A (zh) * 2022-07-07 2024-01-16 腾讯科技(深圳)有限公司 远程驾驶的控制方法、装置、计算机可读介质及电子设备
CN115412883A (zh) * 2022-08-31 2022-11-29 重庆交通大学 一种基于5g位置共享的智能网联超视距行车辅助系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138952A (ja) * 2015-04-21 2017-08-10 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2017206239A (ja) * 2016-05-19 2017-11-24 トヨタ自動車株式会社 ユーザプロファイルに基づくコネクティッド・カーの自動パラメータチューニングシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7124027B1 (en) 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
WO2017057060A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 運転制御装置、および運転制御方法、並びにプログラム
US9688273B2 (en) * 2015-10-27 2017-06-27 GM Global Technology Operations LLC Methods of improving performance of automotive intersection turn assist features
US10178531B2 (en) * 2016-09-15 2019-01-08 Qualcomm Incorporated Methods and apparatus for efficient sensor data sharing in a vehicle-to-vehicle (V2V) network
US10168174B2 (en) * 2017-05-09 2019-01-01 Toyota Jidosha Kabushiki Kaisha Augmented reality for vehicle lane guidance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138952A (ja) * 2015-04-21 2017-08-10 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2017206239A (ja) * 2016-05-19 2017-11-24 トヨタ自動車株式会社 ユーザプロファイルに基づくコネクティッド・カーの自動パラメータチューニングシステム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277031A1 (ja) * 2021-07-02 2023-01-05 株式会社デンソー モビリティサービス基盤サーバ、モビリティサービス提供システム、車両アクセス制御方法、プログラム
WO2023277030A1 (ja) * 2021-07-02 2023-01-05 株式会社デンソー モビリティサービス基盤サーバ、モビリティサービス提供システム、車両アクセス制御方法、プログラム
WO2023188994A1 (ja) * 2022-03-28 2023-10-05 ソフトバンク株式会社 車両およびサーバ
WO2024042586A1 (ja) * 2022-08-22 2024-02-29 日本電信電話株式会社 交通分散制御システム、方法、及びプログラム

Also Published As

Publication number Publication date
JP7200832B2 (ja) 2023-01-10
US10843689B2 (en) 2020-11-24
US20190382003A1 (en) 2019-12-19
DE102019115783A1 (de) 2019-12-19

Similar Documents

Publication Publication Date Title
JP7200832B2 (ja) デジタル行動ツインに基づくコネクティッド車両のための衝突回避
JP7371359B2 (ja) 車両リスク評価用のデジタルツイン
JP6844581B2 (ja) 拡張現実を用いた車線案内
US11954651B2 (en) Sensor-based digital twin system for vehicular analysis
US10895465B2 (en) Optimizing a route selection for a highly autonomous vehicle
CN109421738B (zh) 用于监视自主车辆的方法和装置
US10395433B2 (en) Traffic situation awareness for an autonomous vehicle
US10424127B2 (en) Controller architecture for monitoring health of an autonomous vehicle
US10423844B2 (en) Personalized augmented reality vehicular assistance for color blindness condition
US10202127B2 (en) User profile-based automatic parameter tuning system for connected vehicles
US10248196B2 (en) System for occlusion adjustment for in-vehicle augmented reality systems
US10527849B2 (en) Augmented reality vehicular assistance for color blindness
US20180267538A1 (en) Log-Based Vehicle Control System Verification
US11043122B2 (en) Digital behavioral twin system for intersection management in connected environments
JP7318360B2 (ja) 車両対モノ通信に基づく眠気を催している運転者の検出
JP2019212297A (ja) 車線変更タイミングインジケータ
US20200409362A1 (en) Autonomous driving handoff systems and methods
RU2689919C1 (ru) Анализ выхлопного газа
US20220068122A1 (en) Systems and methods to group and move vehicles cooperatively to mitigate anomalous driving behavior
US20230073151A1 (en) Early detection of abnormal driving behavior
US20230339492A1 (en) Generating and depicting a graphic of a phantom vehicle
US20200250969A1 (en) Xr-based slot reservation system for connected vehicles traveling through intersections
US20230419200A1 (en) Decentralized parking fulfillment service

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220608

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R151 Written notification of patent or utility model registration

Ref document number: 7200832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151