JP2019192225A - 協働知覚のためのマルチレベルハイブリッドv2x通信 - Google Patents

協働知覚のためのマルチレベルハイブリッドv2x通信 Download PDF

Info

Publication number
JP2019192225A
JP2019192225A JP2019064156A JP2019064156A JP2019192225A JP 2019192225 A JP2019192225 A JP 2019192225A JP 2019064156 A JP2019064156 A JP 2019064156A JP 2019064156 A JP2019064156 A JP 2019064156A JP 2019192225 A JP2019192225 A JP 2019192225A
Authority
JP
Japan
Prior art keywords
vehicle
data
dsrc
cpm
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019064156A
Other languages
English (en)
Other versions
JP6844642B2 (ja
Inventor
アルトゥンタシュ,オヌル
Altintas Onur
雄大 樋口
Takehiro Higuchi
雄大 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JP2019192225A publication Critical patent/JP2019192225A/ja
Application granted granted Critical
Publication of JP6844642B2 publication Critical patent/JP6844642B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162Decentralised systems, e.g. inter-vehicle communication event-triggered
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • H04W88/06Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両の、道路環境における自身の位置、及び、その道路環境内に位置する他の物体の各々の位置、に対する知覚の正確性を向上させる。【解決手段】車両に搭載されているコンピュータが、他の車両から、当該他の車両に搭載されているセンサによって知覚された物体に関する第1の情報を含む第1のメッセージを受信し、第1の情報と、自車両に搭載されているセンサによって知覚された物体に関する情報とに基づいて、当該他の車両が第1の物体を誤知覚したこと、及び、当該他の車両が第1の物体との衝突の可能性があることを判定し、当該他の車両に、第1の物体に関する第2の情報を含む第2のメッセージを送信して、当該他の車両に第1の物体の存在を警告する。【選択図】図5

Description

(関連出願への相互参照)
本出願は、「MULTI-LEVEL HYBRID VEHICLE-TO-ANYTHING COMMUNICATIONS FOR COOPERATIVE PERCEPTION」と題し、2018年4月20日に出願された米国特許出願第15/958,969号の優先権を主張する。これらの特許出願は、その全体が参照によって本願明細書に援用される。
本明細書は、2つ以上のコネクテッド車両間の協働知覚のためのマルチレベルハイブリッド車両対モノ(V2X)通信に関する。
自動車製造者は、人間の介入なしで自律運転する自動化車両を製造することを試みている。自動化車両技術に対する障害は、自動化車両が、自身の運転状態(例えば、位置)及び周囲環境を厳密にかつ正確に知覚する能力である。この障害は、自動車製造者によって未だ克服されていない。
特開2017−187863号公報 国際公開第2016/147622号
本明細書では、知覚システムの実施形態について説明される。知覚システムは、コネクテッド車両の車載ユニットにインストールされる。コネクテッド車両は、自動運転車両であってもよいし、自動運転車両でなくてもよい。コネクテッド車両は、様々なタイプのV2X無線機を有し、様々なタイプのV2Xメッセージを送受信する。例えば、コネクテッド車両は、以下のタイプのV2Xメッセージのうちの1つ又は複数を送信又は受信するチャネルを有する1つ又は複数のV2X無線機を含む。電気電子技術者協会(IEEE)802.11p(802.11p)、専用狭域離通信(DSRC)、ロングタームエボリューション(LTE)、ワイヤレスフィディリティー(WiFi)、及びミリメータ波(mmWave)、3G、4G、5G、LTE−車両対モノ(LTE−V2X)、LTE車両対車両(LTE−V2V)、LTEデバイス対デバイス(LTE−D2D)、5G−V2X、高度道路交通システム−G5(ITS−G5)、ITS−Connect、ボイスオーバーLTE(VoLTE)、テレビジョン(TV)未使用周波数帯、及びここで列挙されるV2X通信プロトコルのうちの1つ又は複数の任意の派生物。
本明細書では、「802.11p」は、コネクテッド車両、又は、路側機等のコネクテッド対応の道路インフラストラクチャデバイスによって無線メッセージを送信及び受信するための、IEEE802.11規格に対するIEEE802.11p改定に準拠するV2Xメッセージを示すこととする。
一実施形態では、知覚システムは、マルチレベルハイブリッドV2V通信を用いる2台以上のコネクテッド車両間の協働知覚を提供し、それによって、当該コネクテッド車両のうちの少なくとも1台が自身の運転状態(例えば、位置)及び周囲環境を厳密かつ正確に知覚することを可能にする。一実施形態において、知覚システムは、(1)全方向V2Vメッセージ、及び(2)指向性V2Vメッセージの双方の組み合わせを用いて、コネクテッド車両が互いに通信してセンサ情報を交換し、自身の運転状態及び周囲の環境をより厳
密に知覚することを可能にする。例として、知覚システムは、全方向V2Vメッセージについて802.11pを用い、指向性V2VメッセージについてmmWave通信を用いる。しかしながら、802.11p及びmmWaveの代わりに任意の他のV2V通信技術も用いることができる。例えば、知覚システムは、全方向通信について、802.11pの代わりに、DSRC、セルラV2X、WiFi、及びTV無使用周波数帯チャネルを用いてもよい。他の一例では、知覚システムは、指向性通信について、mmWaveの代わりに可視光通信を用いる。
ここで、一実施形態に係る知覚システムの一例が説明される。道路環境が、エゴ車両及び複数の遠隔車両を含むことを想定する。エゴ車両及び遠隔車両は各々、知覚システムを含む車載ユニットのインスタンス(instance)を含む。遠隔車両の知覚システムは、遠隔車両の車載センサシステムによって記録されたセンサ測定値を監視し、802.11pを介してブロードキャストされる基本協働知覚メッセージ(以下、基本CPM)を生成する。基本CPMは基本CPMデータを含む。基本CPMデータは、802.11pのペイロード制限未満になるように特別に構成された、道路環境に関する粗粒度情報を記述するデジタルデータである。基本CPMデータは、基本CPMを送信する遠隔車両によって検出された各物体を記述する。各遠隔車両は、自身の基本CPMを生成し、ブロードキャストする。エゴ車両の知覚システムは、これらの各遠隔車両へ送信された基本CPMデータを受信し、基本CPMデータセットを生成する。基本CPMデータセットは、各遠隔車両から受信した基本CPMデータを保持するデータ構造である。エゴ車両の知覚システムは、基本CPMデータセットを解析し、各遠隔車両について、当該遠隔車両が誤知覚した物体を検出する。誤知覚された物体は、遠隔車両が、検出しなかったか、誤って分類したか、又は、知覚が不十分であったかのいずれかである物体である。次に、エゴ車両の知覚システムは、少なくとも1つの物体を誤知覚した遠隔車両それぞれに対して、補足協働知覚メッセージ(以下、補足CPM)を作成する。補足CPMは補足CPMデータを含む。補足CPMデータは、特定の遠隔車両が誤知覚した物体に基づいて当該特定の遠隔車両のためにカスタムで作成される、道路環境に関する細粒度情報を記述するデジタルデータである。補足CPMデータは、802.11pメッセージ又はDSRCメッセージのペイロード制限を超過するため、802.11p又はDSRCのいずれによっても送信することができない。代わりに、補足CPMは、補足CPMデータを作成するときに検討された特定の遠隔車両へ、mmWaveによってユニキャストされる。
「協働知覚」という用語は、2台以上のコネクテッド車両が、V2V技術を用いて、それらの環境及び環境におけるそれらの位置を理解しようとする目的でそれらの共有環境を記述するセンサ情報を交換することを示す。協働知覚のための既存の解決策は、センサ情報を互いに交換するために単一のレベルのV2V技術、通例、DSRC無線機によってブロードキャストされる全方向V2Vメッセージに依拠する。これと比較して、本明細書に開示の知覚システムの実施形態は、センサ情報を互いに交換するために、2つのレベルのV2V技術、すなわち、(1)全方向V2Vメッセージ、及び、(2)指向性V2Vメッセージに依拠する。既存の解決策は、センサ情報を交換するためにこのマルチレベルハイブリッド手法を含まない。結果として、既存の解決策は、無線の帯域幅が非常に限られているため、車両が自身の状態及び周囲環境を理解するために十分には役に立たず、経験によれば、既存の解決策によって用いられるDSRCメッセージに含まれるデータを用いて、コネクテッド車両が自身の環境内で約20個の物体を検出することしかできない。
協働知覚のための既存の解決策は、制限のあるペイロードを有するV2Vメッセージング(通常、DSRC)に依拠し、道路環境内の約20個の物体を検出することしかできない。道路環境には通常、20個よりも多くの物体が存在し、これは、既存の解決策が不完全であることを意味する。mmWave通信はより大きな帯域幅を有するが、この形態の無線通信は厳しい見通し線要件を含むため、V2Vブロードキャストには理想的でない。
本明細書に開示の知覚システムの実施形態は、802.11p通信の容易性をmmWave通信の大きな帯域幅と組み合わせる、協働知覚へのマルチレベルハイブリッド手法を用いる。結果として、本明細書に開示の実施形態は、コネクテッド車両(自動化車両を含む)が道路環境における自身の位置、及びその道路環境内に位置する他の物体の各々の位置及び分類を正しく知覚するために、信頼性をもって、想像以上に役立つことが示されている。既存の解決策はいずれも、本明細書に開示の知覚システムの実施形態によって用いられるようなマルチレベルハイブリッド手法を用いていない。
1つ又は複数のコンピュータのシステムは、動作時にシステムにアクションを実行させる、システムにインストールされたソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせを有することにより、特定の動作又はアクションを実行するように構成され得る。1つ又は複数のコンピュータプログラムは、データ処理装置による実行時に装置にアクションを実行させる命令を含むことにより、特定の動作又はアクションを実行するように構成され得る。
1つの一般的な態様は、エゴ車両のV2X無線機が、遠隔車両によって送信された、遠隔車両の遠隔車載センサセットが知覚した物体を記述する基本CPMデータを含む基本PCMを受信し;基本CPMデータと、エゴ車両のローカル車載センサセットが知覚した物体のセットとに基づいて、遠隔車両の遠隔車載センサセットが選択物体を誤知覚したこと、及び遠隔車両が当該選択物体との衝突進路上にあることを判定し;基本CPMを受信するために用いられたのとは異なるV2Xプロトコルを用いたエゴ車両のV2X無線機が、当該遠隔車両に、当該遠隔車両の遠隔車載センサセットが誤知覚した選択物体を記述する補足CPMデータを含む補足CPMを送信し、遠隔車両に選択物体の存在を警告する、方法を含む。この態様の他の実施形態は、各々が方法のアクションを実行するように構成された、対応するコンピュータシステム、装置、及び1つ又は複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含む。
実施態様は、以下の特徴のうちの1つ又は複数を含んでもよい。基本CPMは、ブロードキャストされる802.11pメッセージによって受信される、方法。補足CPMは、遠隔車両にユニキャストされるミリメートル波メッセージによって送信される、方法。基本CPMの送信範囲は実質的に300メートルである、方法。補足CPMの送信範囲は実質的に30メートルである、方法。エゴ車両の車載車両コンピュータによって実行される、方法。当該方法は、基本CPMデータが、遠隔車両の遠隔車載センサセットが知覚した各物体を記述する方法も含んでもよい。記述された技法の実施態様は、ハードウェア、方法又はプロセス、又はコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。
1つの一般的な態様は、コンピュータコードを記憶する非一時的メモリに通信可能に接続されたプロセッサを備えるシステムである。当該コンピュータコードは、プロセッサによって実行されると、このプロセッサに、エゴ車両のV2X無線機によって、遠隔車両によって送信された、遠隔車両の遠隔車載センサセットが知覚した物体を記述する基本CPMを受信させ;基本CPMデータと、エゴ車両のローカル車載センサセットが知覚した物体のセットとに基づいて、遠隔車両の遠隔車載センサセットが選択物体を誤知覚したこと、及び、遠隔車両が選択物体との衝突進路上にあることを判定させ;基本CPMを受信するために用いられたのとは異なるV2Xプロトコルを用いたエゴ車両のV2X無線機によって、遠隔車両に、遠隔車両の遠隔車載センサセットが誤知覚した選択物体を記述する補足CPMデータを含む補足CPMを送信させ、遠隔車両に選択物体の存在を警告する。この態様の他の実施形態は、各々が方法のアクションを実行するように構成された、対応するコンピュータシステム、装置、及び1つ又は複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含む。
実施態様は、以下の特徴のうちの1つ又は複数を含んでもよい。基本CPMは、ブロードキャストされる802.11pメッセージによって受信される、システム。補足CPMは、遠隔車両にユニキャストされるミリメートル波メッセージによって送信される、システム。基本CPMの送信範囲は実質的に300メートルである、システム。補足CPMの送信範囲は、実質的に30メートルである、システム。プロセッサは、エゴ車両の車載車両コンピュータの要素である、システム。システムは、遠隔車両は、人間の介在なしで自身で動作する高度自動走行車両であり、遠隔車両が自身の動作を補足CPMデータに基づいて変更し、物体との衝突が起こらないようにするシステムも含んでもよい。記述された技法の実施態様は、ハードウェア、方法又はプロセス、又はコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。
1つの一般的な態様は、1つ又は複数のプロセッサによって実行される場合に、1つ又は複数のプロセッサに実行させる命令を含むコンピュータプログラム製品である。当該命令は、当該1つ又は複数のプロセッサに、エゴ車両のV2X無線機によって、遠隔車両によって送信された、遠隔車両の遠隔車載センサセットが知覚した物体を記述する基本CPMデータを含む基本CPMを受信させ;基本CPMデータと、エゴ車両のローカル車載センサセットが知覚した物体のセットとに基づいて、遠隔車両の遠隔車載センサセットが選択物体を誤知覚したこと、及び、遠隔車両が選択物体との衝突進路上にあることを判定させ;基本CPMを受信するために用いられたのとは異なるV2Xプロトコルを用いたエゴ車両のV2X無線機によって、遠隔車両に、遠隔車両の遠隔車載センサセットが誤知覚した選択物体を記述する補足CPMデータを含む補足CPMを送信させて、遠隔車両に選択物体の存在を警告させることを含む。この態様の他の実施形態は、各々が方法のアクションを実行するように構成された、対応するコンピュータシステム、装置、及び1つ又は複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含む。
実施態様は、以下の特徴のうちの1つ又は複数を含んでもよい。基本CPMは、ブロードキャストされる802.11pメッセージを介して受信される、コンピュータプログラム製品。補足CPMは、遠隔車両にユニキャストされるミリメートル波メッセージを介して送信される、コンピュータプログラム製品。基本CPMの送信範囲は、実質的に300メートルである、コンピュータプログラム製品。補足CPMの送信範囲は、実質的に30メートルであるコンピュータプログラム製品。エゴ車両及び遠隔車両のうちの1つ又は複数が、人間の介在なしで自身で動作する高度自動走行車両である、コンピュータプログラム製品。記述された技法の実施態様は、ハードウェア、方法又はプロセス、又はコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。
本発明の態様の一つは、車両に搭載されているコンピュータによって実行される方法である。当該方法は、他の車両から、当該他の車両に搭載されているセンサによって知覚された物体に関する第1の情報を含む第1のメッセージを受信し、第1の情報と、自車両に搭載されているセンサによって知覚された物体に関する情報とに基づいて、当該他の車両が第1の物体を誤知覚したこと、及び、当該他の車両が第1の物体との衝突の可能性があることを判定し、当該他の車両に、第1の物体に関する第2の情報を含む第2のメッセージを送信して、当該他の車両に第1の物体の存在を警告することを含む。第1のメッセージの一例は、基本CPMである。第1の情報の一例は、基本CPMデータである。第2のメッセージの一例は、補足CPMである。第2の情報の一例は、補足CPMデータである。
本発明の態様の一つでは、第1のメッセージは、第1の無線通信方式を用いて送信され、第2のメッセージは、第1の無線通信方式とは異なる第2の無線通信方式で送信されるようにしてもよい。また、第1のメッセージは、ブロードキャストされるようにしてもよ
い。また、第2のメッセージは、当該他の車両にユニキャスト送信されるようにしてもよい。また、第2の無線通信方式は、第1の無線通信方式よりも送信範囲が狭いものであってもよい。第1の無線通信方式の一例は、IEEE802.11p、DSRCである。第2の無線通信方式の一例は、mmWave通信である。ただし、これらに限定されない。
また、本発明の態様の一つでは、当該他の車両が第1の物体と衝突するまでの予想時間を求め、予想時間が所定の閾値である場合に、第2のメッセージを送信するようにしてもよい。
本発明の他の態様の一つは、車両に搭載されているプロセッサを備えるシステムである。当該プロセッサは、他の車両から、当該他の車両に搭載されているセンサによって知覚された物体に関する第1の情報を含む第1のメッセージを受信することと、第1の情報と、自車両に搭載されているセンサによって知覚された物体に関する情報とに基づいて、当該他の車両が第1の物体を誤知覚したこと、及び、当該他の車両が第1の物体との衝突の可能性があることを判定することと、当該他の車両に、第1の物体に関する第2の情報を含む第2のメッセージを送信して、当該他の車両に第1の物体の存在を警告することと、を実行する。
本発明の態様の一つは、車両に搭載されているコンピュータに、他の車両から、当該他の車両に搭載されているセンサによって知覚された物体に関する第1の情報を含む第1のメッセージを受信することと、第1の情報と、自車両に搭載されているセンサによって知覚された物体に関する情報とに基づいて、当該他の車両が第1の物体を誤知覚したこと、及び、当該他の車両が第1の物体との衝突の可能性があることを判定することと、当該他の車両に、第1の物体に関する第2の情報を含む第2のメッセージを送信して、当該他の車両に第1の物体の存在を警告することと、を実行させるためのプログラムである。
本開示は、一例として示され、添付の図面の図に限定することを示すものではない。図面において、類似の参照符号は、同様の要素を参照するのに用いられる。
一実施形態に係る知覚システムのための動作環境を示すブロック図である。 一実施形態に係る知覚システムのための動作環境を示すブロック図である。 一実施形態に係る知覚システムを含む例示的なコンピュータシステムを示すブロック図である。 一実施形態に係る知覚システムがマルチレベルハイブリッドV2V通信を用いて2つ以上のコネクテッド車両間で協働知覚を提供するための方法を示す図である。 一実施形態に係る、基本CPMの送信範囲及び補足CPMの送信範囲を示すブロック図である。 一実施形態に係る、基本CPM及び補足CPMの属性を示す表の一例である。 一実施形態に係る知覚システムの判定モジュールによって実施される処理フローの一例である。 一実施形態に係る知覚システムによって提供される例示的な衝突余裕時間(TTC)解析を示すブロック図である。
自動走行車両技術における障害は、自動化車両が、自身の運転状態(例えば、位置)及び周囲環境を厳密に知覚する能力である。本明細書に記載の知覚システムの実施形態は、
(1)802.11pメッセージ及び(2)mmWaveメッセージの双方の組み合わせを用いて、コネクテッド車両(自動化車両を含む)が互いに通信してセンサ情報を交換し、自身の運転状態及び周囲の環境をより厳密に知覚することを可能にする。
「協働知覚」という用語は、2つ以上の車両がV2V技術を用いて、それらの環境及び環境におけるそれらの位置を理解しようとする目的でそれらの共有環境を記述するセンサ情報を交換することを示す。協働知覚のための既存の解決策は、センサ情報を互いに交換するために、通例、DSRCメッセージを介した、単一のレベルのV2V技術に依拠する。比較により、本発明は、センサ情報を互いに交換するために、2つのレベルのV2V技術、すなわち、(1)802.11pメッセージ及び(2)mmWaveメッセージに依拠する。既存の解決策は、センサ情報交換へのこのマルチレベルハイブリッド手法を含まない。結果として、DSRC無線機の限られた帯域幅に起因して、既存の解決策は、車両が自身の状態及び周囲環境を理解するために役立つのに不完全であり、経験によれば、DSRCメッセージを用いることは、車両が自身の環境内で約20個の物体を識別するために役立つことしかできない。
比較により、本明細書に記載の知覚システムの実施形態は、センサ情報を互いに交換するために、2つのレベルのV2V技術、すなわち、(1)802.11pメッセージ及び(2)mmWaveメッセージに依拠する。既存の解決策は、センサ情報交換へのこのマルチレベルハイブリッド手法を含まない。結果として、(既存の解決策によって用いられる)DSRC無線機のための帯域幅はmmWaveと比較して限られているため、既存の解決策は、コネクテッド車両が自身の状態及び周囲環境を理解するために役立つのに不完全であり、経験によれば、DSRCメッセージに含まれるデジタルデータを用いることは、DSRCのペイロード制限に起因して、コネクテッド車両が自身の環境内で約20個の粗粒度情報(例えば、タイプ及び位置)を識別するために役立つことしかできない。道路環境は頻繁に、20個よりはるかに多くの物体を有し、コネクテッド車両は、これらの物体に関するより詳細な情報(例えば、LIDARのポイントクラウドのデータ(Lidar point cloud data)又は障害物地図を格子状に量子化して表現した占有グリッドマップ(Occupancy Grid Map))を必要とする場合があるため問題である。結果として、既存の解決策は、実際に、自動走行車両が自身の環境及び自身の環境内の自身の位置を正確に知覚するのに役立つのにあまり良好でない。比較により、本明細書に記載の知覚システムの実施形態は、mmWave技術が、(DSRCに対し)近傍の車両からの干渉のリスクがより小さい状態で、(DSRCに対し)より大きな帯域幅を有するため、この問題を有しておらず、知覚システムを備える自動走行車両が、自身の環境内の20個のみの物体ではなく、その環境全体を正確に知覚することを可能にするのに十分である。
知覚システムの実施形態が説明される。知覚システムは、コネクテッド車両の車載ユニットにインストールされるコード及びルーチンを含む。コネクテッド車両は、自動走行車両であってもよいし、自動走行車両でなくてもよい。道路環境が、エゴ車両及び複数の遠隔車両を含むと想定する。エゴ車両及び遠隔車両は各々、知覚システムを含む。エゴ車両の知覚システムは、エゴ車両の車載センサシステムによって記録されたセンサ測定値を監視する。このセンサ情報を用いて、エゴ車両の知覚システムは基本CPMを生成する。基本CPMは基本CPMデータを含む。基本CPMデータは、エゴ車両及び複数の遠隔車両を含む道路環境に関する粗粒度情報を記述するデジタルデータである。特に、基本CPMデータによって記述される粗粒度情報は、以下のうちの1つ又は複数を含む。道路環境内の知覚システムによって識別される物体のための一意の識別子、これらの物体の位置、各物体の分類(例えば、物体が歩行者であるか、自動車であるか、トラックであるか、バンであるか、建物であるか、標識であるか、道のくぼみ(pothole)であるか等)、分類が正しいことの信頼値。
一実施形態では、知覚システムのコード及びルーチンは、物体識別子と、分類子と、基本CPMを作成するのに必要な他のソフトウェアとを含む。
一実施形態では、エゴ車両及び遠隔車両は、数ある中でも802.11pメッセージ及びmmWaveメッセージを含む様々なタイプのV2X無線メッセージを送信及び受信する通信ユニットを含む。エゴ車両の知覚システムは、通信ユニットの動作を制御して、基本CPMが802.11pを用いて複数の遠隔車両にブロードキャストされるようにする。任意選択により、基本CPMはユニキャストされてもよいが、ブロードキャストが好ましい実施形態である。基本CPMは、エゴ車両の知覚システムによって、ヘッダ及びセキュリティオーバヘッドを含めて2304バイト以下になるように構成される。なぜなら、これがメディアアクセス制御(MAC)サービスデータユニットのための最大パケット長であるためである。エゴ車両は、説明上、実施形態の対象となる車両を、他の車両と区別するための呼称である。例えば、エゴ車両は、「自車両」と同義である。遠隔車両は、エゴ車両とは異なる車両を指し示すための呼称である。例えば、遠隔車両は、「他の車両」と同義である。
一実施形態では、遠隔車両は自身の基本CPMをブロードキャストし、それによって、エゴ車両の知覚システムは、これらの遠隔車両の各々についての基本CPMデータを受信する。エゴ車両の知覚システムは、基本CPMデータセットを生成する。基本CPMデータセットは、遠隔車両の各々から受信された基本CPMデータ、及び、エゴ車両によって記録された基本CPMデータを記憶するデータ構造である。
一実施形態では、エゴ車両の知覚システムは、基本CPMデータセットを解析し、遠隔車両の各々について、その遠隔車両が検出していない物体、誤って分類した物体、又は他の形で不十分に知覚した物体を識別する。この解析に基づいて、知覚システムは、(1)いずれの遠隔車両が少なくとも1つの物体を不十分に知覚したか、及び(2)各遠隔車両について、当該遠隔車両が不十分に知覚した物体、を記述する知覚データを記録する。
次に、エゴ車両の知覚システムは、知覚データを解析し、少なくとも1つの物体を不十分に知覚した各遠隔車両について、補足協働知覚メッセージ(補足CPM)を生成する。補足CPMは補足CPMデータを含む。補足CPMデータは、特定の遠隔車両が誤知覚した物体に基づいて、当該遠隔車両についてカスタム作成される、道路環境に関する細粒度情報を記述するデジタルデータである。例えば、補足CPMデータは、特定の遠隔車両が誤知覚した物体のための3次元(3D)占有グリッドマップを含む。補足CPMデータは、802.11pメッセージ及びDSRCメッセージのペイロード制限をはるかに超過しており、802.11p又はDSRCのいずれを介しても送信することができない。代わりに、補足CPMは、補足CPMデータを作成するときに知覚システムによって検討された当該特定の遠隔車両にmmWave(又は同様に大きな帯域幅を有する何らかの他の無線方式)によってユニキャストされる。
一実施形態では、道路環境内のエゴ車両及び全ての遠隔車両は、近傍の車両に対し補足CPMを送信するプロセスを完了し、それによって車両の各々が補足CPMメッセージのセットを受信し、それらの知覚システムが次にこの補足CPMメッセージのセットを検討することができる。例えば、これらの車両は、ローカルダイナミックマップ(LDM)を記述するLDMデータを記憶している。LDMは、道路環境内の(1)静的物体及び(2)動的物体の双方の、位置、向き、経路履歴、及び分類のうちの1つ又は複数を記述する。例えば、LDMデータによって記述されるLDMは、以下のうちの1つ又は複数を記述する。静的物体及び動的物体の地理的位置、静的物体及び動的物体の向き、静的物体及び動的物体の経路履歴、静的物体及び動的物体の分類。分類は、例えば、LDMに含まれる特定の物体について「タイプ」又は「クラス」を記述するデジタルデータを含む。例えば
、物体のタイプ又はクラスは、歩行者、車両、バイク、動物、道のくぼみ、ライト、標識、縁石、中央分離帯、線路、道路のごみ、ドライブスルー、交差点、オンランプ、オフランプ、出口、及び何らかの他のタイプ又はクラスの道路物体のうちの1つ又は複数である。知覚システムは、受信する1組の補足CPMメッセージ、及びこれらのメッセージが含む補足CPMデータに基づいて、ローカルで記憶されたLDMを更新する。
一実施形態では、知覚システムを含むコネクテッド車両は、DSRCを装備した車両である。DSRC装備車両は、(1)DSRC無線機を含み、(2)DSRCに準拠したグローバルポジショニングシステム(GPS)ユニットを含み、(3)DSRC装備車両が位置する管轄内でDSRCメッセージを合法的に送信及び受信する車両である。DSRC無線機は、DSRC受信機及びDSRC送信機を含むハードウェアである。DSRC無線機は、DSRCメッセージを無線で送信及び受信する。DSRCに準拠したGPSユニットは、車線レベルの精度で車両(又はDSRCに準拠したGPSユニットを含む何らかの他のDSRC装備デバイス)に位置情報を提供する。DSRCに準拠したGPSユニットについては、以下でより詳細に説明される。
「DSRC装備」デバイスは、DSRC無線機、DSRCに準拠したGPSユニットを含むプロセッサベースのデバイスであり、DSRC装備デバイスが位置する管轄内でDSRCメッセージを合法的に送信及び受信する。様々なエンドポイントは、DSRC無線機を含み、上記で説明されたようにDSRCメッセージを合法的に送信及び受信するDSRC装備デバイスであってもよく、例えば、RSU、スマートフォン、タブレットコンピュータ、及び任意の他のプロセッサベースのコンピューティングデバイスを含む。
一実施形態では、DSRC装備デバイスであるRSUは、DSRCに準拠したGPSユニットを含まないが、車線レベルの精度でRSUに位置情報を提供することを記述するデジタルデータを記憶する非一時的メモリを含み、DSRC無線機又はRSUの何らかの他のシステムは、このデジタルデータのコピーを、RSUのDSRC無線機によって送信されるBSMデータに挿入する。このようにして、RSUは、DSRCに準拠したGPSユニットを含まなくても、DSRC規格の要件を満たすBSMデータを配信する。
DSRCメッセージは、車両等の移動性が高いデバイスによって送信及び受信されるように特別に構成された無線メッセージであり、以下のDSRC規格のうちの、その任意の派生物又はフォークを含めた1つ又は複数に準拠する。EN12253:2004専用狭域通信−5.8GHzのマイクロ波を用いる物理層(レビュー)、EN12795:2002専用狭域短距離通信(DSRC)−DSRCデータリンク層、メディアアクセス及び論理リンク制御(レビュー)、EN12834:2002専用狭域通信−アプリケーション層(レビュー)、及びEN13372:2004専用狭域通信(DSRC)−RTTTアプリケーションのためのDSRCプロファイル(レビュー)、EN ISO14906:2004電子式料金徴収−アプリケーションインタフェース。
米国、ヨーロッパ、及びアジアにおいて、DSRCメッセージは5.9GHzで送信される。米国では、DSRCメッセージは、5.9GHz帯域における75MHzのスペクトルが配分される。ヨーロッパ及びアジアでは、DSRCメッセージは、5.9GHz帯域における30MHzのスペクトルが配分される。したがって、無線メッセージは、5.9GHz帯域で動作しない限りDSRCメッセージではない。また、無線メッセージは、DSRC無線機のDSRC送信機によって送信されない限りDSRCメッセージではない。
したがって、DSRCメッセージは、802.11pメッセージ、WiFiメッセージ、3Gメッセージ、4Gメッセージ、LTEメッセージ、mmWaveメッセージ、Bl
uetooth(登録商標)メッセージ、衛星通信、及び315MHz又は433.92MHzでキーフォブによって送信又はブロードキャストされる短距離無線メッセージのうちのいずれでもない。例えば、米国では、リモートキーレスシステムのためのキーフォブは、315MHzで動作する短距離無線送信機を含み、この短距離無線送信機からの送信又はブロードキャストされるものは、DSRCメッセージではない。なぜなら、例えば、そのような送信又はブロードキャストはいかなるDSRC規格にも準拠せず、DSRC無線機のDSRC送信機によって送信されず、5.9GHzで送信されないためである。他の例では、ヨーロッパ及びアジアでは、リモートキーレスシステムのためのキーフォブは、433.92MHzで動作する短距離無線送信機を含み、この短距離無線送信機からの送信又はブロードキャストされるものは、米国におけるリモートキーレスシステムについて上記で説明されたのと同様の理由でDSRCメッセージではない。
リモートキーレスエントリシステムのコンポーネントとして作られたキーフォブの無線メッセージは、更なる理由でDSRCメッセージではない。例えば、DSRCメッセージのためのペイロードは、様々なデータタイプの豊富な量の車両データを記述するデジタルデータを含むことも必要とされる。通常、DSRCメッセージは常に、最低でも、DSRCメッセージを送信する車両の一意の識別子、及びその車両のGPSデータを含む。このデータ量は、他のタイプの非DSRC無線メッセージが使用可能なものよりも大きな帯域幅を必要とする。リモートキーレスエントリシステムのコンポーネントとしてのキーフォブの無線メッセージは、それらがDSRC規格の下で許容可能なペイロードを含まないためDSRCメッセージではない。例えば、キーフォブは単に、このキーフォブと対にされた車両に既知のデジタルキーを含む無線メッセージを送信するのみであり、これらの送信のために割り当てられる帯域幅が非常に小さいため、他のデータがペイロードに含まれるために十分な帯域幅がない。比較により、DSRCメッセージは、大量の帯域幅が割り当てられ、例えば、DSRCメッセージを送信した車両の一意の識別子及びGPSデータを含む、はるかに豊富な量のデータを含むことが求められる。
一実施形態では、DSRC装備車両は、従来のグローバルポジショニングシステムユニット(「GPSユニット」)を含まず、代わりに、DSRCに準拠したGPSユニットを含む。従来のGPSユニットは、当該従来のGPSユニットの実際の位置のプラス又はマイナス10メートルの精度で当該従来のGPSユニットの位置を記述する位置情報を提供する。比較により、DSRCに準拠したGPSユニットは、当該DSRCに準拠したGPSユニットの実際の位置のプラス又はマイナス1.5メートルの精度で当該DSRCに準拠したGPSユニットの位置を記述するGPSデータを提供する。この精度の度合いは、「車線レベルの精度」と呼ばれる。なぜなら、例えば、道路の車線は通常約3メートル幅であり、プラス又はマイナス1.5メートルの精度は、車両が道路上でいずれの車線内を走行しているかを識別するのに十分であるためである。
一実施形態では、DSRCに準拠したGPSユニットは、屋外での時間の68%にわたって実際の位置の1.5メートル以内でその2次元位置を識別、監視及び追跡する。
ここで、図1Aを参照すると、一実施形態に係る、知覚システムのための動作環境101が示されている。
動作環境101は、交差点166の付近に位置するエゴ車両123及び遠隔車両124を含む例示的なシナリオを示す。知覚システムは、エゴ車両及び遠隔車両双方の要素である。エゴ車両123及び遠隔車両124は、図1Bを参照して以下でより詳細に説明される。動作環境101は第1の歩行者106及び第2の歩行者104も含む。これは、知覚システムの機能のうちのいくつかを紹介することが意図された例示的な実施形態であり、いかなる形においても限定であることを意図されていない。図示されているように、エゴ
車両123は、エゴ車両センサカバレッジ163を有する車載センサを含み、当該車載センサは、第1の歩行者106及び第2の歩行者104を知覚する。遠隔車両124は、遠隔車両センサカバレッジ164を有する車載センサを含み、当該車載センサは、第1の歩行者106を知覚するが第2の歩行者104は知覚しない。
図示される実施形態において、第1の歩行者106は、エゴ車両123及び遠隔車両双方の車載センサによって検出されるのに対し、第2の歩行者104は、エゴ車両123によってのみ検出される。エゴ車両123及び遠隔車両124の双方が基本CPMを周期的にブロードキャストする。当該基本CPMは、第1の歩行者106及び第2の歩行者104等の知覚された物体の基本情報(例えば、位置)を含む。
遠隔車両124から基本CPMを受信すると、エゴ車両123の知覚システムは、遠隔車両124が第2の歩行者104に非常に近接しているにもかかわらず、第2の歩行者104が遠隔車両124によって知覚されておらず、衝突のリスクが生じていることを判定する。
エゴ車両123の知覚システムは、補足CPMを遠隔車両124に送信する。補足CPMは、第2の歩行者に関する細粒度情報(例えば、第2の歩行者104の周りのエリアを記述する3D占有グリッドマップ)を含む。
一実施形態では、エゴ車両123の知覚システムは、第1の歩行者106に関する細粒度情報の送信を抑える。なぜなら、基本CPMが、遠隔車両124が既に明確に第1の歩行者106を知覚していることを示しているためである。
図1Bを参照すると、一実施形態に係る知覚システム199の動作環境100が示されている。図示されているように、動作環境100は、エゴ車両123、遠隔車両124、及び、RSU122を含む。これらの要素は、ネットワーク105によって互いに通信可能に接続されている。
1つのエゴ車両123、1つの遠隔車両124、1つのRSU122、及び、1つのネットワーク105が図1Bに示されているが、実際には、動作環境100は、1つ又は複数のエゴ車両123、1つ又は複数の遠隔車両124、1つ又は複数のRSU122、及び、1つ又は複数のネットワーク105を含んでもよい。
エゴ車両123及び遠隔車両124の双方はコネクテッド車両である。例えば、エゴ車両123及び遠隔車両124の各々は、通信ユニット145A、145B(集合的に又は個々に、RSUの通信ユニット145Cと共に「通信ユニット145」と呼ばれる)を含むため、ネットワーク105を介して電子メッセージ(例えば、V2Xメッセージ)を送信及び受信するコネクテッド車両である。
ネットワーク105は、従来のタイプ、有線、又は無線であってもよく、スター型構成、トークンリング型構成、又は他の構成を含む多数の異なる構成を有してもよい。更に、ネットワーク105は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)(例えば、インターネット)、又は複数のデバイス及び/又はエンティティが通信可能な他の相互接続されたデータパスを含んでもよい。一実施形態では、ネットワーク105は、ピアツーピアネットワークを含んでもよい。また、ネットワーク105は、多岐にわたる異なる通信プロトコルにおいてデータを送信するために電気通信ネットワークの複数の部分に接続されてもよく、又はそれらを含んでもよい。一実施形態では、ネットワーク105は、ショートメッセージサービス(SMS)、マルチメディアメッセージサービス(MMS)、ハイパーテキストトランスファープロトコル(HTTP)、直接データ
接続、無線アプリケーションプロトコル(WAP)、電子メール、DSRC、全二重無線通信、mmWave、WiFi(インフラストラクチャモード)、WiFi(アドホックモード)、可視光通信、TV無使用周波数帯通信、及び衛星通信を介したものを含む、データを送信及び受信するための、Bluetooth(登録商標)通信ネットワーク又はセルラ通信ネットワークを含む。ネットワーク105は、モバイルデータネットワークも含んでもよく、モバイルデータネットワークは、3G、4G、5G、LTE、LTE−V2V、LTE−V2I、LTE−V2X、LTE−D2D、5G−V2X、ITS−G5、ITS−Connect、VoLTE、802.11p、低電力広域ネットワーク(LPWAN)、可視光通信、又は任意の他のモバイルデータネットワーク又はモバイルデータネットワークの組み合わせを含んでもよい。更に、ネットワーク105は、1つ又は複数の802.11無線ネットワークを含んでもよい。
エゴ車両123、遠隔車両124、及び、RSU122は、ネットワーク105のエンドポイントである。一実施形態では、エゴ車両123と、遠隔車両124の1つ又は複数とが、知覚システム199のインスタンスを含む。エゴ車両123及び遠隔車両124は、集合的に又は個々に、「車両エンドポイント」と呼ばれることもある。
エゴ車両123は任意のタイプのコネクテッド車両である。例えば、エゴ車両123は、通信ユニット145A及び知覚システム199を含む、自動車、トラック、スポーツ用多目的車両、バス、トラックトレーラー、ロボットカー、ドローン又は任意の他の陸上輸送機関等のタイプの車両のうちの1つである。一実施形態では、エゴ車両123はDSRC装備車両である。
一実施形態では、エゴ車両123は、自動走行車両又は半自動走行車両である。例えば、エゴ車両123は、エゴ車両123を自動走行車両たらしめるのに十分な自動走行機能をエゴ車両123に提供する先進運転支援システムのセット(ADASシステムのセット180)180を含む。ADASシステムのセット180は、1つ又は複数のADASシステムを含む。
国家道路交通安全局(「NHTSA」)は、自動走行車両の様々な「レベル」、例えば、レベル0、レベル1、レベル2、レベル3、レベル4、及びレベル5を定義している。自動走行車両が他の自動走行車両よりも高いレベル番号を有する場合(例えば、レベル3は、レベル2又は1よりも高いレベル番号である)、より高いレベル番号を有する自動走行車両は、より低いレベル番号を有する車両と比べて、自動走行機能のより多くの組み合わせ及び量をもたらす。自動走行車両の様々なレベルは、以下に簡単に説明される。
レベル0:車両にインストールされるADASシステムのセット180は、車両制御を有してない。ADASシステムのセット180は、車両の運転者に警告を発してもよい。レベル0の車両は、自動走行車両でも半自動走行車両でもない。
レベル1:運転者は、いつでも自動走行車両の運転制御を引き受ける準備ができていなくてはならない。自動走行車両にインストールされるADASシステムのセット180は、以下のうちの1つ又は複数の自動走行機能を任意に組み合わせて提供してもよい。アダプティブクルーズコントロール(ACC)、及び、自動操縦及び車線維持支援(LKA)タイプIIを用いたパーキング支援。
レベル2:運転者は、道路環境内の物体及びイベントを検出し、自動走行車両にインストールされたADASシステムのセット180が適切に対応し損なった(運転者の主観的判断に基づく)場合に対応する義務を負う。自動走行車両にインストールされたADASシステムのセット180は、加速、制動、及び操縦を実行する。自動走行車両にインスト
ールされたADASシステムのセット180は、運転者に引き継がれると即座に停止することができる。
レベル3:既知の制限された環境(高速道路等)内で、運転者は、運転タスクから自身の注意を安全に逸らすことができるが、依然として、必要な場合は自動走行車両の制御を引き受けるように備えていなくてはならない。
レベル4:自動走行車両にインストールされたADASシステムのセット180は、厳しい天候等のいくつかの環境を除く全てにおいて自動走行車両を制御することができる。運転者は、安全な場合にのみ自動化システム(車両にインストールされたADASシステムのセット180から構成される)を有効にしなくてはならない。自動化システムが有効にされると、自動走行車両が安全に承認基準に準拠して動作するために運転者の注意は必要とされない。
レベル5:宛先を設定し、システムを始動する以外に、人間の介入は必要とされない。自動化システムは、運転が合法である任意の場所まで運転し、自身で判断を下す(車両が位置する管轄に基づいて変動してもよい)ことができる。
高度自動走行車両(HAV)は、レベル3以上の自動走行車両である。
したがって、一実施形態において、エゴ車両123は、レベル1の自動走行車両、レベル2の自動走行車両、レベル3の自動走行車両、レベル4の自動走行車両、レベル5の自動走行車両、及びHAVのうちの一つである。
ADASシステムのセット180は、以下のADASシステムのうちの1つ又は複数を含む。ACCシステム、アダプティブハイビームシステム、アダプティブライトコントロールシステム、自動パーキングシステム、自動車用ナイトビジョンシステム、ブラインドスポットモニタ、衝突回避システム、横風安定処理システム、運転者眠気検出システム、運転者監視システム、緊急時運転者支援システム、前方衝突警告システム、交差点支援システム、インテリジェントスピードアダプテーションシステム、車線逸脱警告システム(LKAシステムとも呼ばれる)、歩行者保護システム、交通標識認識システム、方向転換支援、逆走運転警告システム、オートパイロット、標識認識、及び標識支援。これらの例示的なADASシステムの各々が、独自の機能及び機能性を提供し、これらはそれぞれ、本明細書において「ADAS機能」又は「ADAS機能性」と呼ばれてもよい。これらの例示的なADASシステムによって提供される機能及び機能性は、それぞれ、本明細書において「自動走行機能」又は「自動走行機能性」とも呼ばれる。
一実施形態では、エゴ車両123は、ADASシステムのセット180、車載ユニット126、プロセッサ125、メモリ127、通信ユニット145、DSRCに準拠したGPSユニット150、センサセット184A、電子ディスプレイ140、及び、知覚システム199を含む。エゴ車両123のこれらの要素は、バス120を介して通信可能に互いに接続される。
ADASシステムのセット180は上記で説明されたため、ここでその説明は繰り返されない。
一実施形態では、プロセッサ125及びメモリ127は、車載車両コンピュータシステムの要素であってもよい。車載車両コンピュータシステムは、エゴ車両123の知覚システム199の動作を開始させるか又は制御してもよい。車載車両コンピュータシステムは、エゴ車両123又はその要素の知覚システム199について本明細書に記載した機能性
を提供するために、メモリ127に記憶されたデータにアクセスし、これを実行してもよい。車載車両コンピュータシステムは、車載車両コンピュータシステムに、図3を参照して以下で説明される方法300の1つ又は複数のステップ、又は図5を参照して以下で説明される処理フロー500の1つ又は複数のステップを実行させる知覚システム199を実行してもよい。車載車両コンピュータシステムは、車載車両コンピュータシステムに、図6を参照して以下で説明される衝突余裕時間(TTC)解析699を実行させる知覚システム199を実行してもよい。一実施形態では、図2に示されるコンピュータシステム200は、車載車両コンピュータシステムの例である。
一実施形態では、プロセッサ125及びメモリ127は、車載ユニット126の要素であってもよい。車載ユニット126は、知覚システム199の動作を開始させるか又は制御可能な電子制御ユニット(本明細書では「ECU」)又は車載車両コンピュータシステムを含む。一実施形態では、車載ユニット126は、本明細書において知覚システム199又はその要素について説明した機能性を提供するために、メモリ127に記憶されたデータにアクセスし、これを実行する。車載ユニット126は、車載ユニット126に、図3を参照して以下で説明される方法300の1つ又は複数のステップ、又は図5を参照して以下で説明される処理フロー500の1つ又は複数のステップを実行させる知覚システム199を実行してもよい。車載ユニット126は、車載ユニット126に、図6を参照して以下で説明されるTTC解析699を実行させる知覚システム199を実行してもよい。
一実施形態では、DSRCに準拠したGPSユニット150は、エゴ車両123又はDSRCに準拠したGPSユニット150を、以下のDSRC規格のうちの、その任意の派生物又はフォークを含めた1つ又は複数に準拠させるのに必要な任意のハードウェア及びソフトウェアを含む。EN12253:2004専用狭域通信−5.8GHzのマイクロ波を用いる物理層(レビュー)、EN12795:2002専用狭域通信(DSRC)−DSRCデータリンク層、媒体アクセス及び論理リンク制御(レビュー)、EN12834:2002専用狭域通信−アプリケーション層(レビュー)、及びEN13372:2004専用狭域通信(DSRC)−RTTTアプリケーションのためのDSRCプロファイル(レビュー)、EN ISO14906:2004電子式料金徴収−アプリケーションインタフェース。
一実施形態では、DSRCに準拠したGPSユニット150は、車線レベルの精度でエゴ車両123の位置を記述するGPSデータを提供する。例えば、エゴ車両123は、道路の車線内を走行している。車線レベルの精度とは、エゴ車両123の位置がGPSデータによって正確に記述されているため、道路内のエゴ車両123の走行車線が、DSRCに準拠したGPSユニット150によって提供されるエゴ車両123のためのGPSデータに基づいて正確に特定されることが可能であることを意味する。一実施形態では、GPSデータは、通信ユニット145Aによって基本CPMデータ193又は補足CPMデータ196それぞれの要素である。
一実施形態では、DSRCに準拠したGPSユニット150は、GPS衛星と無線通信して、DSRC規格に準拠する精度でエゴ車両123の地理的場所を記述するGPSデータを取り出すハードウェアを含む。DSRC規格は、GPSデータが、2つの車両(そのうちの1つが例えばエゴ車両123である)が隣接する走行車線内に位置しているか否かを推測するのに十分精密であることを必要とする。一実施形態では、DSRCに準拠したGPSユニット150は、屋外での時間の68%にわたって実際の位置の1.5メートル以内でその2次元位置を識別、監視及び追跡する。走行車線は通常、3メートル幅以上であるため、GPSデータの2次元の誤差が1.5メートル未満である場合はいつでも、本明細書に記載の知覚システム199は、DSRCに準拠したGPSユニット150によっ
て提供されるGPSデータを解析し、道路上を同時に走行している2つ以上の異なる車両(そのうちの1つが例えばエゴ車両123である)の相対的位置に基づいてエゴ車両123がどの車線を走行しているかを特定してもよい。
DSRCに準拠したGPSユニット150と比較して、DRSC規格に準拠していない従来のGPSユニットは、車線レベルの精度でエゴ車両123の場所を特定することができない。例えば、通常の道路の車線は約3メートル幅である。しかしながら、従来のGPSユニットは、エゴ車両123の実際の場所に対してプラスマイナス10メートルの精度しか有していない。結果として、そのような従来のGPSユニットは、GPSデータのみに基づいてエゴ車両123のための走行車線を識別するのに十分正確でなく、代わりに、従来のGPSユニットのみを有するシステムは、エゴ車両123の走行車線を識別するためにカメラ等のセンサを利用しなくてはならない。車両の走行車線を識別することは、例えば、より正確なLDMデータ192をもたらし、歩行者等の物体との衝突を低減するので有利である。
一実施形態では、エゴ車両123は、センサセット184Aを含んでもよい。センサセット184Aは、エゴ車両123の外部の物理的環境を測定する1つ又は複数のセンサを含む。例えば、センサセット184Aは、エゴ車両123に近接した物理的環境の1つ又は複数の物理的特性を記録する1つ又は複数のセンサを含んでもよい。メモリ127は、センサセット184Aによって記録された1つ又は複数の物理的特性を記述するセンサデータ191を記憶してもよい。センサデータ191はメモリ127に記憶される。センサデータ191は、図2において、コンピュータシステム200のメモリ227に記憶されているものとして示されている。一実施形態では、DSRCに準拠したGPSユニット150は、センサセット184Aの要素である。
一実施形態では、エゴ車両123のセンサセット184Aは、以下の車両センサのうちの1つ又は複数を含んでもよい。クロック、ネットワークトラフィックスニファ、カメラ、LIDARセンサ、レーダセンサ、レーザ高度計、赤外線検出器、動き検出器、サーモスタット、音声検出器、一酸化炭素センサ、二酸化炭素センサ、酸素センサ、空気流量センサ、エンジン冷却剤温度センサ、スロットル位置センサ、クランクシャフト位置センサ、自動車エンジンセンサ、バルブタイマ、空気燃料比メータ、ブラインドスポットメータ、縁石感触機、欠陥検出器、ホール効果センサ、マニホールド絶対圧力センサ、パーキングセンサ、レーダガン、速度計、速度センサ、タイヤ圧監視センサ、トルクセンサ、トランスミッション液温度センサ、タービン速度センサ(TSS)、可変リラクタンスセンサ、車両速度センサ(VSS)、水分センサ、ホイール速度センサ、及び任意の他のタイプの自動車センサ。
一実施形態では、センサセット184Aは、基本CPMデータ193、補足CPMデータ196、及び、知覚データ197のうちの1つ又は複数を作成するのに必要な任意のセンサを含む。
通信ユニット145は、ネットワーク105への及びネットワーク105からの、又は他の通信チャネルへの及びからの、データを送信及び受信する。一実施形態では、通信ユニット145は、エゴ車両123をDSRC装備デバイスたらしめるのに必要なDSRC送受信機、DSRC受信機、及び他のハードウェア又はソフトウェアを含んでもよい。
一実施形態では、通信ユニット145は、ネットワーク105又は別の通信チャネルへの直接の物理的接続のためのポートを含む。例えば、通信ユニット145は、USB、SD、CAT−5、又はネットワーク105との有線通信のための類似のポートを含む。一実施形態では、通信ユニット145は、以下を含む1つ又は複数の無線通信方法を用いて
、ネットワーク105又は他の通信チャネルとデータを交換するための無線送受信機を含む。IEEE802.11、IEEE802.11p、IEEE802.16、BLUETOOTH(登録商標)、EN ISO14906:2004電子式料金徴収−アプリケーションインタフェース、EN11253:2004専用短距離通信−5.8GHzのマイクロ波を用いる物理層(レビュー)、EN12795:2002専用短距離通信(DSRC)−DSRCデータリンク層、媒体アクセス及び論理リンク制御(レビュー)、EN12834:2002専用短距離通信−アプリケーション層(レビュー)、及びEN13372:2004専用短距離通信(DSRC)−RTTTアプリケーションのためのDSRCプロファイル(レビュー)、2014年8月28日に出願され、「Full−Duplex Coordination System」と題する米国特許出願第14/471,387号に記載の通信方法、又は別の適切な無線通信方法。
一実施形態では、通信ユニット145は、参照によりその全体が本明細書に援用される、2014年8月28日に出願され、「Full−Duplex Coordination System」と題する米国特許出願第14/471,387号に記載の全二重協調システムを含む。
一実施形態では、通信ユニット145は、ショートメッセージサービス(SMS)、マルチメディアメッセージサービス(MMS)、ハイパーテキストトランスファープロトコル(HTTP)、直接データ接続、WAP、電子メール、又は別の適切なタイプの電子通信を介したものを含む、セルラ通信ネットワークにわたってデータを送信及び受信するためのセルラ通信送受信機を含む。一実施形態では、通信ユニット145は有線ポート及び無線送受信機を含む。通信ユニット145は、TCP/IP、HTTP、HTTPS、SMTP、mmWave、DSRC等を含む標準的なネットワークプロトコルを用いたファイル又はメディアオブジェクトの配信のための、ネットワーク105への他の従来の接続も提供する。
一実施形態では、通信ユニット145は、V2X無線機146Aを含む。V2X無線機146Aは、任意のV2Xプロトコルを介して無線メッセージを送信及び受信する送信機及び受信機を含むハードウェアユニットである。例えば、V2X無線機146Aは、以下のタイプのV2Xメッセージのうちの1つ又は複数を送信及び受信するのに必要な任意のハードウェア及びソフトウェアを含む。802.11p、DSRC、LTE、mmWave通信、3G、4G、5G、LTE−V2X、LTE−V2V、LTE−D2D、5G−V2X、ITS−G5、ITS−Connect、VoLTE、TV無使用周波数帯、LPWAN、可視光通信、及びここで列挙したV2X通信プロトコルのうちの1つ又は複数の任意の派生物又はフォーク。
一実施形態では、V2X無線機146Aは、複数のチャネルを含むマルチチャネルV2X無線機である。一実施形態では、チャネルのうちのいくつかは、第1のV2Xプロトコルを介してV2Xメッセージを送信及び受信するのに対し、チャネルのうちのいくつかは、N番目のV2Xプロトコル(ここで、「N」は、1よりも大きな任意の正の整数を示す)を介してV2Xメッセージを送信及び受信する。
一実施形態では、V2X無線機146AはDSRC無線機である。例えば、V2X無線機146Aは、DSRCを介して無線メッセージを送信及び受信する。V2X送信機は、5.9GHz帯域にわたってDSRCメッセージを送信及びブロードキャストする。V2X受信機は、5.9GHz帯域にわたってDSRCメッセージを受信する。V2X無線機は、7つのチャネル(例えば、DSRCチャネル番号172、174、176、178、180、182、及び184A)を含み、これらのチャネルのうちの少なくとも1つが、BSMを送信及び受信するために予約される(例えば、DSRCチャネル番号172がB
SMのために予約される)。一実施形態では、参照によりその全体が本明細書に援用される、2017年10月27日に出願された、「PSM Message−based Device Discovery for a Vehicular Mesh Network」と題する米国特許出願第15/796,296号に記載の歩行者安全メッセージ(PSM)を送信及び受信するために、これらのチャネルのうちの少なくとも1つが予約される。一実施形態では、DSRCチャネル番号172が、PSMを送信及び受信するために予約される。
一実施形態では、V2X無線機146Aは、BSMメッセージをブロードキャストするための周波数を制御するデジタルデータを記憶する非一時的メモリを含む。一実施形態では、非一時的メモリは、エゴ車両123のためのGPSデータのバッファリングされたバージョンを記憶し、それによって、エゴ車両123のためのGPSデータは、V2X無線機146Aによって定期的にブロードキャストされるBSMの要素としてブロードキャストされる。BSMは、DSRCのみでなく、様々なV2Xプロトコルを用いてV2X無線機146Aによってブロードキャストされてもよい。
一実施形態では、V2X無線機146Aは、エゴ車両123をDSRC規格に準拠させるのに必要な任意のハードウェア又はソフトウェアを含む。一実施形態では、DSRCに準拠したGPSユニット150は、V2X無線機146Aの要素である。
電子ディスプレイ140は、例えば、以下のうちの1つ又は複数を含む任意のタイプの電子ディスプレイデバイスを含む。エゴ車両123のダッシュメータディスプレイ、エゴ車両123のヘッドアップディスプレイユニット(HUD)、エゴ車両123の拡張現実(AR)ディスプレイ又は視聴デバイス、及びエゴ車両123のヘッドユニット。適切なHUD及びAR視聴デバイスの例は、参照によりその全体が本明細書に援用される、2017年5月23日に出願され、「Providing Traffic Mirror Content to a Driver」と題する米国特許出願第15/603,086号に記載されている。適切なHUD及びAR視聴デバイスの他の例は、参照によりその全体が本明細書に援用される、2017年5月9日に出願された、「Augmented
Reality for Vehicle Lane Guidance」と題する米国特許出願第15/591,100号に記載されている。一実施形態では、電子ディスプレイ140は、誤知覚され、補足CPMに記述された物体を記述するグラフィカルデータを表示し、それによって、運転者は、物体との衝突を避けるための是正措置を行うことができる。
プロセッサ125は、算術論理ユニット、マイクロプロセッサ、汎用コントローラ、又は計算を行い、電子ディスプレイ信号をディスプレイデバイスに提供する何らかの他のプロセッサアレイを含む。プロセッサ125は、データ信号を処理し、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、又は命令セットの組み合わせを実施するアーキテクチャを含む様々なコンピューティングアーキテクチャを含んでもよい。エゴ車両123は、1つ又は複数のプロセッサ125を含んでもよい。他のプロセッサ、オペレーティングシステム、センサ、ディスプレイ、及び物理的構成が可能であってもよい。
メモリ127は、プロセッサ125によってアクセス及び実行可能な命令又はデータを記憶する非一時的メモリである。命令又はデータは、本明細書に記載の技法を実行するためのコードを含んでもよい。メモリ127は、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、フラッシュメモリ、又は何らかの他のメモリデバイスであってもよい。一実施形態では、メモリ127は、不揮発性メモリ又は類似の永続的ストレージデバイス及び媒体も含む。これら
は、ハードディスクドライブ、フロッピーディスクドライブ、CD−ROMデバイス、DVD−ROMデバイス、DVD−RAMデバイス、DVD−RWデバイス、フラッシュメモリデバイス、又はより永続的に情報を記憶するための何らかの他のマスストレージデバイスを含む。メモリ127の一部は、バッファ又は仮想ランダムアクセスメモリ(仮想RAM)として用いるために予約されてもよい。エゴ車両123は、1つ又は複数のメモリ127を含んでもよい。
エゴ車両123のメモリ127は、以下のタイプのデジタルデータのうちの1つ又は複数を記憶する。センサデータ191、LDMデータ192、基本CPMデータ193、補足CPMデータセット194、基本CPMデータセット195、補足CPMデータ196、及び知覚データ197。
図1Bには示されていないが、一実施形態では、メモリ127は、ネットワーク105を介して他の車両エンドポイントから受信される1つ又は複数の基本CPM及び1つ又は複数の補足CPMを記憶する。
一実施形態では、メモリ127は、デジタルデータとして、本明細書に記載の任意のデータを記憶する。一実施形態では、メモリ127は、知覚システム199がその機能性を提供するのに必要な任意のデータを記憶する。
センサデータ191は、センサセット184Aによって捕捉される測定値及び画像を記述するデジタルデータである。
基本CPMデータ193は、基本CPMのためのペイロードである。基本CPMデータ193は、エゴ車両123及び遠隔車両124(又は複数の遠隔車両124)を含む道路環境に関する粗粒度情報を記述するデジタルデータである。特に、基本CPMデータ193によって記述される粗粒度情報は、以下のうちの1つ又は複数を含む。道路環境内の知覚システムによって識別される物体の一意の識別子、これらの物体の位置、物体ごとの分類(例えば、物体が歩行者であるか、自動車であるか、トラックであるか、バンであるか、建物であるか、標識であるか、道のくぼみであるか等)、及び分類が正しいことの信頼値。
一実施形態では、知覚システム199のコード及びルーチンは、物体識別子と、分類子と、基本CPMデータ193を生成し、基本CPMを生成するのに必要な他のソフトウェアとを含む。
一実施形態では、遠隔車両124、及びエゴ車両123は、それらの自身の位置及びセンサの観測点から記録されたセンサ測定値(センサデータ191によって記述される)に基づいて基本CPMデータ193を作成する。これらの車両エンドポイントの各々の知覚システム199は、802.11p又はDSRCを介してブロードキャストされる基本CPMを受信し、これらを用いて基本CPMデータセット195を作成する。基本CPMデータセット195は、遠隔車両の各々から受信した基本CPMデータ193と、エゴ車両123の知覚システム199によって記録された基本CPM193とを保持するデータ構造である。
エゴ車両の知覚システム199は、(1)基本CPMデータセット195と、(2)自身のセンサデータ191に基づいて生成したエゴ車両の自身の基本CPMデータ193とを解析する。エゴ車両123自身の基本CPMデータ193は、エゴ車両123のセンサセット184Aによって知覚及び検出された物体を記述し、基本CPMデータセット195に記憶されたデジタルデータは、1つ又は複数の遠隔車両124によって知覚及び検出
された物体を記述する。この解析に基づいて、知覚システム199は、エゴ車両123によって受信された基本CPMの送信元である遠隔車両124の各々について、遠隔車両124が誤知覚した物体を識別する。誤知覚された物体は、遠隔車両124が、検出しなかったか、誤って分類したか、又は他の形で不十分に知覚したかのいずれかである物体である。この解析に基づいて、エゴ車両123の知覚システム199は、知覚データ197を特定する。知覚データ197は、(1)いずれの遠隔車両124が少なくとも1つの物体を誤知覚したかと、(2)少なくとも1つの物体を誤知覚した遠隔車両124それぞれについて、それらが誤知覚した物体と、を記述するデジタルデータである。
一実施形態では、次に、エゴ車両の知覚システム199は、知覚データ197を解析し、少なくとも1つの物体を誤知覚した遠隔車両それぞれに対して補足CPMを作成する。補足CPMは、補足CPMデータ196を含む電子メッセージである。補足CPMデータ196は、特定の遠隔車両124が誤知覚した物体に基づいてその特定の遠隔車両のためにカスタム作成される、道路環境に関する細粒度情報を記述したデジタルデータである。例えば、補足CPMデータ196は、特定の遠隔車両124が誤知覚した物体を示す3D占有グリッドマップを記述する。補足CPMデータ196は、1087バイトを超過しており、DSRC又は802.11pのいずれを介しても送信することができない(これはDSRC及び802.11pの例示的なペイロード制限である)。代わりに、補足CPMデータ196を作成する際にエゴ車両123の知覚システム199によって検討された特定の遠隔車両124に、mmWave(又は、1087バイトよりも大きなペイロードを有し、補足CPMデータ196を含むのに十分な何らかの他のメッセージフォーマット)を介して補足CPMがユニキャストされる。
一実施形態では、補足CPMデータ196を含む補足CPMを送信するのに必要な最小ペイロードは、ヘッダ及び補足CPMのためのセキュリティオーバヘッドを含めて、1087バイトよりも大きく、2304バイト以下である。一実施形態では、基本CPMデータ193を含む基本CPMを送信するのに必要な最小ペイロードは、ヘッダ及び基本CPMのためのセキュリティオーバヘッドを含めて、1087バイトよりも大きく、2304バイト以下である。一実施形態では、CPM送信に対する制限は、DSRCのチャネル容量であり、したがって、ここで説明される基本CPM及び補足CPMは、DSRCのチャネル容量以上にならないように構成される。
一実施形態では、道路環境内の全ての遠隔車両124が、補足CPMを近傍の車両(エゴ車両123及び他の遠隔車両124等)に送信するプロセスを完了し、それによって、これらの近傍の車両の各々が、補足CPMデータ196を含む補足CPMメッセージのセットを受信し、それらの知覚システムが、次にこの補足CPMデータ196について検討することができる。一実施形態では、エゴ車両の知覚システム199は、遠隔車両124から受信する補足CPMに基づいて補足CPMデータセット194を作成する。補足CPMデータセット194は、エゴ車両123が遠隔車両124から受信する補足CPMに含まれる補足CPMデータ196を含むデータ構造である。
一実施形態では、エゴ車両123及び遠隔車両124は各々、LDMデータ192のインスタンスを記憶する。LDMデータ192は、LDMを記述するデジタルデータである。LDMは、エゴ車両123及び遠隔車両124を含む道路環境内の(1)静的物体及び(2)動的物体の双方の、位置、向き、経路履歴、及び分類を記述する。例えば、LDMデータ192によって記述されるLDMは、静的物体及び動的物体の地理的位置、静的物体及び動的物体の向き、静的物体及び動的物体の経路履歴、静的物体及び動的物体の分類のうちの1つ又は複数を記述する。分類は、例えば、LDMに含まれる特定の物体について「タイプ」又は「クラス」を記述するデジタルデータを含む。例えば、物体のタイプ又はクラスは、歩行者、車両、バイク、動物、道のくぼみ、ライト、標識、縁石、中央分離
帯、線路、道路のごみ、ドライブスルー、交差点、オンランプ、オフランプ、出口、及び何らかの他のタイプ又はクラスの道路物体のうちの1つ又は複数である。知覚システム199は、受信する1組の補足CPMメッセージ、及びこれらのメッセージが含む補足CPMデータ196に基づいて、ローカルに記憶されているLDMを更新する(すなわち、LDMデータ192を更新する)。このようにして、知覚システム199は、有利には、これらの車両エンドポイントが、自身の環境及び環境内の自身の位置をより正確に知覚することを可能にする。
V2X無線機146Aは、様々なタイプのV2X無線機チャネルを含むマルチチャネルV2X無線機であり、したがって、様々なタイプのV2X通信を送信及び受信することができる。
一実施形態では、知覚システム199は、プロセッサ125によって実行されると、プロセッサ125に、図3に示される方法300の1つ又は複数のステップ、又は図5を参照して以下で説明される処理フロー500の1つ又は複数のステップを実行させるソフトウェアを含む。知覚システム199は、プロセッサ125によって実行されると、プロセッサ125に、図6を参照して以下で説明されるTTC解析699を実行させるソフトウェアを含む。
一実施形態では、知覚システム199は、フィールドプログラマブルゲートアレイ(「FPGA」)又は特定用途向け集積回路(「ASIC」)を含むハードウェアを用いて実施される。他の一実施形態では、知覚システム199は、ハードウェア及びソフトウェアの組み合わせを用いて実施される。
遠隔車両124は、エゴ車両123に類似した要素を含み、このため、これらの説明はここでは繰り返されない。例えば、遠隔車両124は、知覚システム199、センサセット184B、及び、V2X無線機146Bを含む通信ユニット145Bのうちの1つ又は複数を含む。遠隔車両124の知覚システム199は、エゴ車両123の知覚システム199と同じ機能性を提供し、したがって、その説明はここでは繰り返されない。遠隔車両124のセンサセット184Bは、エゴ車両123のセンサセット184Aと同じ機能性を提供し、したがって、その説明はここでは繰り返されない。遠隔車両124の通信ユニット145B及びV2X無線機146Bは、エゴ車両123の通信ユニット145A及びV2X無線機146Aと同じ機能性を提供し、したがって、これらの説明はここでは繰り返されない。
図1Bには示されていないが、一実施形態において、遠隔車両124は、エゴ車両123の要素のうちの1つ又は複数を含む。例えば、遠隔車両124は、車載ユニット126、プロセッサ125、メモリ127、ADASシステムのセット180、DSRCに準拠したGPSユニット150、及び電子ディスプレイ140のうちの1つ又は複数を含む。
遠隔車両124の知覚システム199は、エゴ車両123の知覚システム199がエゴ車両123に提供するのと同じ機能性を遠隔車両124に提供し、したがって、その説明はここでは繰り返されない。
RSU122は、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ、路側機、又は、通信ユニット145A等の通信ユニットを含む何らかの他のプロセッサベースのコンピューティングデバイスを含む。一実施形態では、RSU122は、DSRC装備デバイスである。RSU122は、例えば、V2Xメッセージを受信し、これらのメッセージを、エゴ車両123及び遠隔車両124等の他の接続されたデバイスに中継する。このようにして、RSU122は、V2Xメッセージの送信元であるエンドポイント
の送信範囲外にいるエンドポイントにV2Xメッセージを中継することができる。
図示されるように、RSU122は、知覚システム199、センサセット184C、V2X無線機146Cを含む通信ユニット145Cを含む。
RSU122のセンサセット184Cは、エゴ車両123のセンサセット184Aと同じ機能性を提供し、したがって、その説明はここでは繰り返されない。RSU122の通信ユニット145C及びV2X無線機146Cは、エゴ車両123の通信ユニット145A及びV2X無線機146Aと同じ又は類似の機能性を提供し、したがって、これらの説明はここでは繰り返されない。RSU122の知覚システム199は、エゴ車両123のセンサセット184Aと同じ機能性を提供し、したがって、その説明はここでは繰り返されない。
<例示的なコンピュータシステム>
ここで図2を参照すると、一実施形態に係る知覚システム199を含む例示的なコンピュータシステム200を示すブロック図が示されている。一実施形態では、コンピュータシステム200は、図3を参照して以下で説明される方法300の1つ又は複数のステップ、又は、図5を参照して以下で説明される処理フロー500の1つ又は複数のステップを実行するようにプログラムされた専用コンピュータシステムを含んでもよい。一実施形態では、コンピュータシステム200は、コンピュータシステム200に、図6を参照して以下で説明されるTTC解析699を実行させる知覚システム199を実行する。
一実施形態では、コンピュータシステム200は、エゴ車両123又は遠隔車両124等の車両の車載車両コンピュータである。一実施形態では、コンピュータシステム200は、エゴ車両123又は遠隔車両124の車載ユニットである。一実施形態では、コンピュータシステム200は、ECU、ヘッドユニット、又は、エゴ車両123又は遠隔車両124の何らかの他のプロセッサベースのコンピューティングデバイスである。
いくつかの例によれば、コンピュータシステム200は、知覚システム199、プロセッサ225、通信ユニット245、メモリ227、DSRCに準拠したGPSユニット250、電子ディスプレイ240、及びADASシステムのセット280の要素のうちの1つ又は複数を含む。コンピュータシステム200のコンポーネントは、バス220によって通信可能に接続される。
図示される実施形態において、プロセッサ125は、信号線238を介してバス220に通信可能に接続される。通信ユニット245は、信号線226を介してバス220に通信可能に接続される。メモリ127は、信号線242を介してバス220に通信可能に接続される。センサセット284は、信号線244を介してバス220に通信可能に接続される。DSRCに準拠したGPSユニット150は、信号線228を介して、バス220に通信可能に接続される。電子ディスプレイ240は、信号線246を介して、バス220に通信可能に接続される。ADASシステムのセット280は、信号線247を介して、バス220に通信可能に接続される。
プロセッサ225は、上記で図1Bを参照して説明したプロセッサ125と類似の機能性を提供し、したがって、その説明はここでは繰り返されない。通信ユニット245は、上記で図1Bを参照して説明した通信ユニット145と類似の機能性を提供し、したがって、その説明はここでは繰り返されない。メモリ227は、上記で図1Bを参照して説明したメモリ127と類似の機能性を提供し、したがって、その説明はここでは繰り返されない。センサセット284は、上記で図1Bを参照して説明したセンサセット184と類似の機能性を提供し、したがって、その説明はここでは繰り返されない。DSRCに準拠
したGPSユニット250は、上記で図1Bを参照して説明したDSRCに準拠したGPSユニット150と類似の機能性を提供し、したがって、その説明はここでは繰り返されない。電子ディスプレイ240は、上記で図1Bを参照して説明したDSRCに準拠した電子ディスプレイ140と類似の機能性を提供し、したがって、その説明はここでは繰り返されない。ADASシステムのセット280は、上記で図1Bを参照して説明したADASシステムのセット180と類似の機能性を提供し、したがって、その説明はここでは繰り返されない。
メモリ227は、図1A及び図1Bを参照して上記で説明した、又は図2〜図6を参照して以下で説明されるデータのうちの任意のものを記憶してもよい。メモリ227は、コンピュータシステム200がその機能性を提供するために必要な任意のデータを記憶してもよい。
図2に示される実施形態の一例において、知覚システム199は、通信モジュール202及び判定モジュール204を含む。
通信モジュール202は、知覚システム199と、図1Bの動作環境100の他の構成要素との間の通信を扱うためのルーチンを含むソフトウェアであり得る。
一実施形態では、通信モジュール202は、プロセッサ225によって、知覚システム199と、コンピュータシステム200の他の構成要素との間の通信を扱うために以下で説明される機能性を提供するために実行可能な命令のセットであり得る。一実施形態では、通信モジュール202は、コンピュータシステム200のメモリ227に記憶され得、プロセッサ225によってアクセス可能及び実行可能であり得る。通信モジュール202は、プロセッサ225、及びコンピュータシステム200の他の構成要素との信号線222を介した協働及び通信のために適合されてもよい。
通信モジュール202は、通信ユニット245を介して、動作環境100の1つ又は複数の要素に、及びこれらの要素から、データを送信及び受信する。例えば、通信モジュール202は、通信ユニット245を介して、メモリ227に記憶されたデジタルデータのうちのいくつか又は全てを受信又は送信する。通信モジュール202は、図1Bを参照して上記で説明した、又は、図2〜図6を参照して以下で説明されるデジタルデータ又はメッセージのうちの任意のものを、通信ユニット245を介して送信又は受信してもよい。
一実施形態では、通信モジュール202は、知覚システム199の構成要素からデータを受信し、このデータをメモリ227(又はメモリ227のバッファ又はキャッシュ、又は図2に示されていないスタンドアロンバッファ又はキャッシュ)に記憶する。例えば、通信モジュール202は、通信ユニット245から基本CPMデータ193を受信し、基本CPMデータ193をメモリ227の基本CPMデータセット195に記憶する。
一実施形態では、通信モジュール202は、知覚システム199の構成要素間の通信を扱ってもよい。
判定モジュール204は、図3を参照して以下で説明される方法300の1つ又は複数のステップを実行するためのルーチンを含むソフトウェアであり得る。一実施形態では、判定モジュール204は、図5を参照して以下で説明される処理フロー500のステップを実行するためのルーチンを含むソフトウェアであり得る。一実施形態では、判定モジュール204は、図6を参照して以下で説明される解析699を提供するためのルーチンを含むソフトウェアであり得る。
一実施形態では、判定モジュール204は、コンピュータシステム200のメモリ227に記憶され得、プロセッサ225によってアクセス可能及び実行可能であり得る。判定モジュール204は、プロセッサ225、及びコンピュータシステム200の他の構成要素との信号線222を介した協働及び通信のために適合されてもよい。
判定モジュール204は、図5及び図6を参照して以下でより詳細に説明される。
<例示的な方法>
ここで図3を参照すると、一実施形態に係る、知覚システム199が、マルチレベルハイブリッドV2V通信を用いて2つ以上のコネクテッド車両間で協働知覚を提供するための方法300が示される。方法300のステップは、必ずしも図3に示される順序ではなく、任意の順序で実行可能である。
ステップ301では、遠隔車両の知覚システムは、802.11p又はDSRCを用いて基本CPMを周期的に送信する。基本CPMは基本CPMデータを含む。基本CPMデータは、遠隔車両の知覚システムによって知覚される全ての物体の粗粒度情報(すなわち、位置、物体タイプ、及び位置又は物体タイプ判定の信頼値)を記述するデジタルデータである。基本CPMデータは、遠隔車両の知覚システムによって、1087バイトに制限されている802.11p又はDSRCのペイロード制限を超えないように特別に構成される。
ステップ303では、エゴ車両は、基本CPMを受信する。
ステップ305では、エゴ車両の知覚システムは、ステップ303において遠隔車両から受信された基本CPMに含まれる基本CPMデータ及びエゴ車両自身の知覚データを解析する。この解析に基づいて、エゴ車両の知覚システムは、遠隔車両に関連しているが、遠隔車両によって検出されなかったか、誤って分類されたか、又は他の形で不十分に知覚された選択物体を特定する。物体は、例えば、遠隔車両が物体と衝突する経路上にあり、衝突余裕時間が所定の時間閾値未満の場合に関連する。一実施形態では、ステップ305は、図6に示されたTTC解析699を含む。一実施形態において、時間閾値は、エゴ車両のメモリに記憶された閾値データによって記述される。
ステップ307では、エゴ車両の知覚システムは、補足CPMデータを生成する。補足CPMデータは、遠隔車両が誤知覚した選択された物体に基づいて遠隔車両のためにカスタムで作成される、道路環境に関する細粒度情報を記述したデジタルデータである。一実施形態では、補足CPMデータは、選択物体、及び、選択物体の周りのエリアを含む3次元占有グリッドマップを含む。
ステップ309では、エゴ車両の知覚システムは、補足CPMを遠隔車両に送信する。補足CPMは、DSRCではなく、mmWaveを介して送信される。なぜなら、802.11p及びDSRCのペイロード制限は、細粒度情報が802.11p又はDSRCを介して送信されることを許可しないためである。
図4Aを参照すると、一実施形態に係る、基本CPMの送信範囲及び補足CPMの送信範囲を示すブロック図が示されている。図示されているように、802.11p又はDSRCを介して送信される基本CPMの送信範囲は、障害物の存在、及び地域が都市であるか又は田舎であるか(障害物が増えると送信範囲が減少する)等の変数に依拠して約300メートル〜1000メートルである。mmWaveを介して送信される補足CPMの送信範囲は、障害物の存在、及び地域が都市であるか又は田舎であるか(障害物が増えると送信範囲が減少する)等の変数に依拠して約30メートル〜100メートルである。
図4Bを参照すると、一実施形態に係る、基本CPM及び補足CPMの属性を示す表401が示されている。略記「Mb/s」は、メガバイト毎秒を示す。略記「Gb/s」は、ギガバイト毎秒を示す。
ここで図5を参照すると、一実施形態に係る、知覚システム199の判定モジュール204によって実施される処理フロー500が示されている。処理フロー500は、判定モジュール204及びV2X無線機146Aを含む。図示される実施形態は、処理フロー500がエゴ車両の知覚システム199によって実行されることを想定するが、これに限定されることを意図しない。一実施形態において、処理フローは、遠隔車両の知覚システムによって実行される。
図示されるように、判定モジュール204は、エンコーダ(基本層)502、デコーダ(基本層)503、エンコーダ(補足層)504、及びデコーダ(補足層)505を含む。V2X無線機146Aは、ネットワークインタフェース(基本層)506及びネットワークインタフェース(補足層)507を含む。
一実施形態では、エンコーダ(基本層)502は、プロセッサによって実行されると、エゴ車両のローカルで生成された基本CPMデータを受信し(515)、この基本CPMデータから基本CPMをエンコードし、次に、ネットワークインタフェース(基本層)506に基本CPMをブロードキャストさせる(516)、コード及びルーチンを含む。ネットワークインタフェース(基本層)506は、基本CPMを送信及び受信する役割を果たすV2X無線機146Aのインタフェースである。
一実施形態では、デコーダ(基本層)503は、プロセッサによって実行されると、遠隔車両によって送信される基本CPMを受信し(510)、この基本CPMから、基本CPMに含まれる基本CPMデータを復号し、次に、この基本CPMからの基本CPMデータをLDMデータ192に記憶する(514)コード及びルーチンを含む。このようにして、一実施形態によれば、LDMデータ192によって記述されるLDMは、判定モジュール204によって更新される。
一実施形態では、エンコーダ(補足層)504は、プロセッサによって実行されると、(1)遠隔車両によって知覚された物体を記述する基本CPMデータを受信し(511)、(2)エゴ車両によって知覚された物体を記述するエゴ車両のローカルで生成された基本CPMデータを受信し(512)、(3)これらの入力に基づいて、基本CPMデータ(すなわち、受信された基本CPMデータ511)によって示される遠隔車両に関連し、当該遠隔車両によって誤知覚された物体を特定し、(4)これらの誤知覚された物体に基づいて補足CPMデータを生成し、(5)補足CPMデータを含む補足CPMを生成し、(6)ネットワークインタフェース(補足層)に、基本CPMデータ(すなわち、受信した基本CPMデータ511)によって示される遠隔車両に補足CPMをユニキャストさせる、コード及びルーチンを含む。ネットワークインタフェース(補足層)507は、補足CPMを送信及び受信する役割を果たすV2X無線機146Aのインタフェースである。
一実施形態では、デコーダ(補足層)505は、プロセッサによって実行されると、1つ又は複数の遠隔車両によって送信された1つ又は複数の補足CPMを受信し(517)、これらの基本CPMから、これらの基本CPMに含まれる基本CPMデータを復号し、次にこれらの基本CPMからの基本CPMデータをLDMデータ192に記憶する(518)、コード及びルーチンを含む。このようにして、一実施形態によれば、LDMデータ192によって記述されるLDMは、判定モジュール204によって更新される。
ここで図6を参照すると、一実施形態に係る、知覚システムによって提供される例示的なTTC解析699を示すブロック図が示されている。
図6は、物体「j」601、遠隔車両「i」624、及びエゴ車両623を含む交差点666を示す。図6に示される物体「j」601は歩行者であるが、実際は、物体は道路環境内に存在する任意の有形の物体である。
遠隔車両「i」624は、上記で図1Bについて説明した遠隔車両124と類似の機能性を提供し、したがって、その説明はここでは繰り返されない。エゴ車両623は、上記で図1Bについて説明したエゴ車両123と類似の機能性を提供し、したがって、その説明はここでは繰り返されない。
エゴ車両623は、物体「j」601を知覚するエゴ車両センサカバレッジ163を有する車載センサを含む。遠隔車両「i」624は、物体「j」601を知覚しない。遠隔車両「i」624は、物体「j」601から距離「Dij」離れている。遠隔車両「i」624は、速度vで走行している。物体「j」601は、速度vで走行している。解析699は、遠隔車両「i」624が物体「j」601と衝突する衝突余裕時間を求める。この時間が時間閾値未満である場合、エゴ車両623の知覚システムは、物体「j」601が遠隔車両「i」624に関連していると判断する。例えば、図3に示されている方法300のステップ305を参照されたい。
以上の説明では、本明細書を十分に理解できるように、多くの具体的な詳細について説明した。しかしながら、これらの具体的な詳細無しでも実施可能であることは当業者にとって明らかであろう。また、説明が不明瞭になることを避けるために、構造や装置をブロック図の形式で表すこともある。例えば、一実施形態は、ユーザインタフェースおよび特定のハードウェアとともに説明される。しかし、上述の実施形態は、データおよびコマンドを受信可能な任意のタイプのコンピュータシステムおよび任意の周辺機器について適用できる。
本明細書における「一実施形態」又は「ある実施形態」等という用語は、その実施形態と関連づけて説明される特定の特徴、構造、性質が少なくとも本明細書の一つの実施形態に含まれることを意味する。「一実施形態では」等という用語は本明細書内で複数用いられるが、これらは必ずしも同一の実施形態を示すものとは限らない。
以上の詳細な説明の一部は、コンピュータメモリに記憶されたデータビットに対する動作のアルゴリズムおよび記号的表現として提供される。これらのアルゴリズム的な説明および表現は、データ処理技術分野の当業者によって、他の当業者に対して自らの成果の本質を最も効果的に説明するために用いられるものである。なお、本明細書において、及び、一般的に、アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必須ではないが、通常は、これらの量は記憶、伝送、結合、比較、およびその他の処理が可能な電気的又は磁気的信号の形式を取る。通例にしたがって、これらの信号をビット、値、要素、エレメント、シンボル、特徴、項、数値などとして称することが簡便である。
なお、これらの用語および類似する用語はいずれも、適切な物理量と関連付いているものであり、これら物理量に対する簡易的なラベルに過ぎないということに留意する必要がある。以下の説明から明らかなように、特に断らない限りは、本明細書において「処理」「計算」「コンピュータ計算(処理)」「判定」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的(電子的)量を、他のメモリやレジスタ又は同様の情
報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。
本明細書の実施形態は、本明細書で説明される動作を実行する装置にも関する。この装置は要求される目的のために特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な、例えば、フロッピー(登録商標)ディスク、光ディスク、CD−ROM、磁気ディスクなど任意のタイプのディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光学式カード、USBキーを含む不揮発性フラッシュメモリ、電子的命令を格納するために適した任意のタイプの媒体などの、非一時的なコンピュータ可読記憶媒体に記憶される。ただし、これらに限定されない。
本明細書は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態は、ソフトウェアによって実現される。ここでソフトウェアとは、ファームウェア、常駐ソフトウェア、マイクロコードやその他のソフトウェアを含むものである。ただし、これらに限定されない。
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。明細書の目的によって、コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
プログラムコードを格納、実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接又は間接的に接続された少なくとも1つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。
入力/出力(I/O)装置(キーボード、ディスプレイ、ポインティング装置などを含み、これらに限定されない)は、I/Oコントローラを介して直接あるいは間接的にシステムに接続される。
システムにはネットワークアダプタも接続されており、これにより、私的ネットワークや公共ネットワークを介して、他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。モデム、ケーブルモデム、イーサネット(登録商標)カードは、現在利用可能なネットワークアダプタのほんの一例である。
本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがったプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以上の説明において明らかにされる。さらに、本発明は、特定のプログラミング言語と関連づけられるものではない。本明細書で説明される教示内容を実装するために種々のプログラミング言語を利用できることは明らかであろう。
本明細書の実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。上記の開示にしたがって、種々の変形が可能である。本開示の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。当該技術に詳しい者であれば、本明細書はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール、処理、特徴、属性、方法およびその他の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本明細書やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。さらに、当業者であれば、モジュール、処理、特徴、属性、方法およびその他の本開示の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本明細書をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって現在又は未来において既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本開示は限定的なものではなく例示的なものであり、本明細書の範囲は添付の特許請求の範囲にしたがって定められる。
123 :エゴ車両
124 :遠隔車両
125 :プロセッサ
126 :車載ユニット
127 :メモリ
140 :電子ディスプレイ
145 :通信ユニット
146 :V2X無線機
150 :GPSユニット
184 :センサセット
191 :センサデータ
192 :LDMデータ
193 :基本CPMデータ
194 :補足CPMデータセット
195 :基本CPMデータセット
196 :補足CPMデータ
197 :知覚データ
199 :知覚システム
200 :コンピュータシステム
202 :通信モジュール
204 :判定モジュール
225 :プロセッサ
227 :メモリ
240 :電子ディスプレイ
245 :通信ユニット
250 :GPSユニット
284 :センサセット

Claims (8)

  1. 車両に搭載されているコンピュータによって実行される方法であって、
    他の車両から、前記他の車両に搭載されているセンサによって知覚された物体に関する第1の情報を含む第1のメッセージを受信し、
    前記第1の情報と、自車両に搭載されているセンサによって知覚された物体に関する情報とに基づいて、前記他の車両が第1の物体を誤知覚したこと、及び、前記他の車両が前記第1の物体との衝突の可能性があることを判定し、
    前記他の車両に、前記第1の物体に関する第2の情報を含む第2のメッセージを送信して、前記他の車両に前記第1の物体の存在を警告する、
    方法。
  2. 前記第1のメッセージは、第1の無線通信方式を用いて送信され、
    前記第2のメッセージは、前記第1の無線通信方式とは異なる第2の無線通信方式で送信される、
    請求項1に記載の方法。
  3. 前記第1のメッセージは、ブロードキャストされる、
    請求項2に記載の方法。
  4. 前記第2のメッセージは、前記他の車両にユニキャスト送信される、
    請求項2又は3に記載の方法。
  5. 前記第2の無線通信方式は、前記第1の無線通信方式よりも送信範囲が狭い、
    請求項2から4のいずれか一項に記載の方法。
  6. 前記他の車両が前記第1の物体と衝突するまでの予想時間を求め、
    前記予想時間が所定の閾値である場合に、前記第2のメッセージを送信する、
    請求項1から5のいずれか一項に記載の方法。
  7. 車両に搭載されているプロセッサであって、
    他の車両から、前記他の車両に搭載されているセンサによって知覚された物体に関する第1の情報を含む第1のメッセージを受信することと、
    前記第1の情報と、自車両に搭載されているセンサによって知覚された物体に関する情報とに基づいて、前記他の車両が第1の物体を誤知覚したこと、及び、前記他の車両が前記第1の物体との衝突の可能性があることを判定することと、
    前記他の車両に、前記第1の物体に関する第2の情報を含む第2のメッセージを送信して、前記他の車両に前記第1の物体の存在を警告することと、
    を実行するプロセッサ、
    を備えるシステム。
  8. 車両に搭載されているコンピュータに、
    他の車両から、前記他の車両に搭載されているセンサによって知覚された物体に関する第1の情報を含む第1のメッセージを受信することと、
    前記第1の情報と、自車両に搭載されているセンサによって知覚された物体に関する情報とに基づいて、前記他の車両が第1の物体を誤知覚したこと、及び、前記他の車両が前記第1の物体との衝突の可能性があることを判定することと、
    前記他の車両に、前記第1の物体に関する第2の情報を含む第2のメッセージを送信して、前記他の車両に前記第1の物体の存在を警告することと、
    を実行させるためのプログラム。
JP2019064156A 2018-04-20 2019-03-28 協働知覚のためのマルチレベルハイブリッドv2x通信 Active JP6844642B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/958,969 US10789848B2 (en) 2018-04-20 2018-04-20 Multi-level hybrid vehicle-to-anything communications for cooperative perception
US15/958,969 2018-04-20

Publications (2)

Publication Number Publication Date
JP2019192225A true JP2019192225A (ja) 2019-10-31
JP6844642B2 JP6844642B2 (ja) 2021-03-17

Family

ID=66439860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019064156A Active JP6844642B2 (ja) 2018-04-20 2019-03-28 協働知覚のためのマルチレベルハイブリッドv2x通信

Country Status (4)

Country Link
US (1) US10789848B2 (ja)
EP (1) EP3557893B1 (ja)
JP (1) JP6844642B2 (ja)
CN (1) CN110392336B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210160323A1 (en) * 2019-05-27 2021-05-27 Canon Research Centre France Communication methods and devices in intelligent transport systems
WO2023171371A1 (ja) * 2022-03-09 2023-09-14 株式会社デンソー 通信装置および通信方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11235776B2 (en) * 2019-01-31 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling a vehicle based on driver engagement
US10873840B1 (en) * 2019-07-30 2020-12-22 Continental Teves Ag & Co. Ohg Communication apparatus for vehicle-to-X communication, method and use
ES2927868T3 (es) * 2019-08-22 2022-11-11 Kapsch Trafficcom Ag Estación de servicio para un sistema de transporte inteligente
KR20190109333A (ko) * 2019-09-05 2019-09-25 엘지전자 주식회사 V2x 메시지를 처리하는 방법 및 장치
US10999719B1 (en) * 2019-12-03 2021-05-04 Gm Cruise Holdings Llc Peer-to-peer autonomous vehicle communication
US20220388505A1 (en) * 2019-12-12 2022-12-08 Intel Corporation Vulnerable road user safety technologies based on responsibility sensitive safety
CN113362646B (zh) * 2020-03-05 2023-04-07 本田技研工业株式会社 信息处理装置、车辆、计算机可读存储介质以及信息处理方法
JP7463146B2 (ja) * 2020-03-17 2024-04-08 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
CN111431983A (zh) * 2020-03-18 2020-07-17 斑马网络技术有限公司 用于Adasis服务的数据的处理方法、装置及电子设备
EP3896639A1 (en) * 2020-04-16 2021-10-20 Zenuity AB Methods and systems for managing an automated driving system of a vehicle
JP7238850B2 (ja) 2020-05-07 2023-03-14 トヨタ自動車株式会社 自動運転システムおよび自動運転方法
EP3907468A1 (en) * 2020-05-08 2021-11-10 Volkswagen Aktiengesellschaft Vehicle, apparatus, method, and computer program for determining a merged environmental map
CN111652153B (zh) * 2020-06-04 2023-12-22 北京百度网讯科技有限公司 场景自动识别方法、装置、无人车及存储介质
US11659372B2 (en) 2020-07-30 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive sensor data sharing for a connected vehicle
CN114071417A (zh) * 2020-08-06 2022-02-18 索尼公司 用于无线通信的电子设备和方法、计算机可读存储介质
JP7310764B2 (ja) 2020-09-11 2023-07-19 トヨタ自動車株式会社 配車システム、配車サーバ、及び配車方法
US11405762B2 (en) * 2020-09-30 2022-08-02 Ford Global Technologies, Llc Vehicle-to-infrastructure communication control
US11622226B2 (en) 2020-12-03 2023-04-04 Qualcomm Incorporated Determining an object presence using information from vehicle user equipments
US11804128B2 (en) 2021-03-31 2023-10-31 Honda Motor Co., Ltd. Target classification
JP7203902B2 (ja) * 2021-06-08 2023-01-13 本田技研工業株式会社 制御装置、移動体、制御方法及びプログラム
AT525387A1 (de) * 2021-08-31 2023-03-15 Tom Robotics Gmbh Verteilungsverfahren für ein vertellen von objektdaten von verkehrsteilnehmern erfasster objekte
US20230095194A1 (en) * 2021-09-30 2023-03-30 AyDeeKay LLC dba Indie Semiconductor Dynamic and Selective Pairing Between Proximate Vehicles
US11651692B2 (en) * 2021-10-07 2023-05-16 Qualcomm Incorporated Presenting relevant warnings to a vehicle operator
WO2023060479A1 (en) * 2021-10-13 2023-04-20 Qualcomm Incorporated Scheduled visible light vehicular transmission
US11915584B2 (en) * 2021-10-27 2024-02-27 GM Global Technology Operations LLC Reverse operation detection systems and methods
US20230154248A1 (en) * 2021-11-17 2023-05-18 Qualcomm Incorporated Misbehavior detection using sensor sharing and collective perception
US20230192117A1 (en) * 2021-12-20 2023-06-22 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicles and methods for sharing sensor data based on criticality
GB2614735A (en) * 2022-01-14 2023-07-19 Canon Kk Improved communication within an intelligent transport system
EP4307269A1 (en) * 2022-01-14 2024-01-17 Canon Kabushiki Kaisha Improved communication within an intelligent transport system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225786A (ja) * 2007-03-12 2008-09-25 Toyota Motor Corp 道路状況検出システム
JP2008293099A (ja) * 2007-05-22 2008-12-04 Mazda Motor Corp 車両の運転支援装置
JP2009157438A (ja) * 2007-12-25 2009-07-16 Nissan Motor Co Ltd 車載警報装置及び車両用警報方法
JP2009211309A (ja) * 2008-03-03 2009-09-17 Honda Motor Co Ltd 走行支援装置
JP2016212663A (ja) * 2015-05-11 2016-12-15 富士重工業株式会社 他車位置検出装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229663B2 (en) 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
US7994902B2 (en) 2009-02-25 2011-08-09 Southwest Research Institute Cooperative sensor-sharing vehicle traffic safety system
US8655588B2 (en) 2011-05-26 2014-02-18 Crown Equipment Limited Method and apparatus for providing accurate localization for an industrial vehicle
CN103592903B (zh) * 2013-08-18 2015-12-23 北京联合大学 一种汽车智能驾驶测试数据远程监测方法及系统
US10486701B2 (en) 2015-03-18 2019-11-26 Nec Corporation Driving control device, driving control method and vehicle-to-vehicle communication system
US10068336B1 (en) * 2015-04-20 2018-09-04 Hrl Laboratories, Llc Generic frontal and side doorway detection with line tracking and vanishing point based verification
CN106470383A (zh) 2015-08-17 2017-03-01 中兴通讯股份有限公司 车联网信息传输方法、装置及系统
US9723473B2 (en) 2015-10-14 2017-08-01 Toyota Jidosha Kabushiki Kaisha Millimeter wave communication system
WO2017144350A1 (en) * 2016-02-25 2017-08-31 Nec Europe Ltd. Method for motion planning for autonomous moving objects
JP6531698B2 (ja) 2016-04-01 2019-06-19 トヨタ自動車株式会社 接近車両通知装置
DE102016211750B4 (de) * 2016-06-29 2019-06-19 Volkswagen Aktiengesellschaft Verfahren zur spektral-effizienten Ermittlung von kollektiver Umfeld-Information für das kooperative und/oder autonome Fahren, sowie berichtendes Fahrzeug und weiteres Fahrzeug zur Verwendung bei dem Verfahren
EP3291201B1 (en) 2016-09-02 2021-02-24 Volvo Car Corporation Method and system for enabling a vehicle to discard non-pertinent road sign information
US10178531B2 (en) * 2016-09-15 2019-01-08 Qualcomm Incorporated Methods and apparatus for efficient sensor data sharing in a vehicle-to-vehicle (V2V) network
US20180149730A1 (en) * 2016-11-26 2018-05-31 Wenhua Li Cognitive MIMO Radar with Multi-dimensional Hopping Spread Spectrum and Interference-Free Windows for Autonomous Vehicles
US10742381B2 (en) * 2017-03-31 2020-08-11 Qualcomm Incorporated Techniques for multiple HARQ transmissions
WO2018230866A1 (ko) * 2017-06-13 2018-12-20 엘지전자 주식회사 이동 its 스테이션 및 상기 이동 its 스테이션의 동작 방법
US10525845B2 (en) * 2017-07-26 2020-01-07 Ford Global Technologies, Llc Electric vehicle charging station parking spot monitoring system
US10721027B2 (en) * 2017-07-27 2020-07-21 Qualcomm Incorporated Radio vehicle-to-anything negative acknowledgement based multicast
US11757994B2 (en) * 2017-09-25 2023-09-12 Intel Corporation Collective perception messaging for source-sink communication
US10871777B2 (en) * 2017-11-30 2020-12-22 Uatc, Llc Autonomous vehicle sensor compensation by monitoring acceleration
US20190163201A1 (en) * 2017-11-30 2019-05-30 Uber Technologies, Inc. Autonomous Vehicle Sensor Compensation Using Displacement Sensor
US11197042B2 (en) * 2017-12-20 2021-12-07 Intel Corporation Distributed 3D video for navigation
US11003193B2 (en) * 2017-12-29 2021-05-11 Intel Corporation Broadcasting map segments for individualized maps
US11411683B2 (en) * 2018-01-29 2022-08-09 Qualcomm Incorporated Techniques for interference management in millimeter wave communications systems
US10599152B2 (en) * 2018-02-12 2020-03-24 Ford Global Technologies, Llc Earthquake emergency management system for automotive vehicles
US10752172B2 (en) * 2018-03-19 2020-08-25 Honda Motor Co., Ltd. System and method to control a vehicle interface for human perception optimization
EP3621274B1 (en) * 2018-09-04 2022-04-20 Volkswagen Aktiengesellschaft Method for predicting a quality of service for a communication between at least two moving communication partners, apparatus for performing steps of the method, vehicle, backend server and computer program
US10992752B2 (en) * 2019-03-28 2021-04-27 Intel Corporation Sensor network configuration mechanisms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225786A (ja) * 2007-03-12 2008-09-25 Toyota Motor Corp 道路状況検出システム
JP2008293099A (ja) * 2007-05-22 2008-12-04 Mazda Motor Corp 車両の運転支援装置
JP2009157438A (ja) * 2007-12-25 2009-07-16 Nissan Motor Co Ltd 車載警報装置及び車両用警報方法
JP2009211309A (ja) * 2008-03-03 2009-09-17 Honda Motor Co Ltd 走行支援装置
JP2016212663A (ja) * 2015-05-11 2016-12-15 富士重工業株式会社 他車位置検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210160323A1 (en) * 2019-05-27 2021-05-27 Canon Research Centre France Communication methods and devices in intelligent transport systems
US11575750B2 (en) * 2019-05-27 2023-02-07 Canon Kabushiki Kaisha Communication methods and devices in intelligent transport systems
WO2023171371A1 (ja) * 2022-03-09 2023-09-14 株式会社デンソー 通信装置および通信方法

Also Published As

Publication number Publication date
US20190325751A1 (en) 2019-10-24
JP6844642B2 (ja) 2021-03-17
US10789848B2 (en) 2020-09-29
EP3557893B1 (en) 2021-02-17
CN110392336A (zh) 2019-10-29
CN110392336B (zh) 2021-03-16
EP3557893A1 (en) 2019-10-23

Similar Documents

Publication Publication Date Title
JP6844642B2 (ja) 協働知覚のためのマルチレベルハイブリッドv2x通信
JP6747531B2 (ja) 車両間ミリ波通信における運転意図の共有に基づくビームアライメント
JP7167887B2 (ja) 自動化車両の向けのVehicle-to-Everythingデータ転送
US10281925B2 (en) Estimate of geographical position of a vehicle using wireless vehicle data
US10531254B2 (en) Millimeter wave vehicle-to-vehicle communication system for data sharing
CN111554119B (zh) 用于本车的方法和用于本车的系统
US11113969B2 (en) Data-to-camera (D2C) based filters for improved object detection in images based on vehicle-to-everything communication
JP2017228286A (ja) 無線車両データに基づく交通障害物通知システム
US10802110B2 (en) Vehicular radar interference management using basic safety messages
JP2019212297A (ja) 車線変更タイミングインジケータ
JP2019026250A (ja) 車両のadas機能を更新する方法
JP2020021470A (ja) 飛行範囲の改善のための車両の選択および接近における飛行ドローンの支援
US20180105182A1 (en) Method and system to improve sensor accuracy for adas systems using geographical information
US11697410B2 (en) Vehicle-to-everything communication-based lane change collision avoidance warning
JP7351164B2 (ja) V2xレシーバ向けのv2x全二重位置特定支援
CN111417065B (zh) 基于v2x消息变量匹配第一联网设备和第二联网设备
JP7078022B2 (ja) V2xレシーバによるv2x通信の理解を改善するコンテキストシステム
EP3565286B1 (en) Disaster mitigation system for connected vehicles having hidden vehicle functionality
US11328605B2 (en) Adjustable blind spot monitor
CN117280720A (zh) 通信设备、通信方法和车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210208

R151 Written notification of patent or utility model registration

Ref document number: 6844642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151