JP2021102437A - 路車協調情報処理方法、装置、設備、自動運転車両、及びプログラム - Google Patents

路車協調情報処理方法、装置、設備、自動運転車両、及びプログラム Download PDF

Info

Publication number
JP2021102437A
JP2021102437A JP2021048067A JP2021048067A JP2021102437A JP 2021102437 A JP2021102437 A JP 2021102437A JP 2021048067 A JP2021048067 A JP 2021048067A JP 2021048067 A JP2021048067 A JP 2021048067A JP 2021102437 A JP2021102437 A JP 2021102437A
Authority
JP
Japan
Prior art keywords
data
vehicle
obstacle
target
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021048067A
Other languages
English (en)
Inventor
カオ，フオ
Huo Cao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021102437A publication Critical patent/JP2021102437A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】スマート運転車両のデータ収集および処理を補助するため、２つの異なるデータ収集システムによって収集されたデータを迅速かつ正確に融合する方法を提供する。【解決手段】ターゲット車両が感知したターゲット車両の周囲に位置する障害物データを含む、ターゲット車両の第１車載感知データを取得することと、ターゲット車両の位置データに基づいて、ターゲット車両を表すのに用いられる仮想障害物データを生成することと、仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを生成することと、第２車載感知データと路側感知データとを融合し、第２車載感知データと路側感知データとにおける全ての障害物の障害物データを含む融合データを取得することと、を含み、路側感知データにおける障害物データは、ターゲット車両を表す障害物データを含む。【選択図】図１

Description

本開示は高度道路交通、自動運転および路車協調の分野に関する。
従来の技術では、スマート運転車両のデータ収集および処理を補助するため、しばしば車載感知システムを用いて、車両走行時の周囲環境道路データを取得する。車載感知システム自体に情報収集の漏れが存在しているため、路側感知システムの取得した道路環境データを用いてデータ融合を行うことができる。路側感知システムの取得したデータと車載感知システムの取得したデータは、漏れデータの相補的な役割を果たすことができる。しかし、この２種類のデータは、２つの異なるデータ収集システムによって収集され、融合時にかなり多くのデータ処理操作を行う必要があるため、両者を迅速かつ正確に融合できるデータ融合方法が必要である。
本開示は、従来技術における少なくとも１つの問題を解決するため、路車協調情報処理方法、装置、設備および自動運転車両を提供する。
本開示の第１態様は、路車協調情報処理方法を提供し、当該方法は、
ターゲット車両が感知したターゲット車両の周囲に位置する障害物のデータを含む、ターゲット車両の第１車載感知データを取得することと、
ターゲット車両の位置データに基づいて、ターゲット車両を表す仮想障害物データを生成することと、
仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを生成することと、
第２車載感知データと路側感知データとを融合し、第２車載感知データと路側感知データとにおける全ての障害物の障害物データを含む融合データを取得することと、を含み、
路側感知データにおける障害物データは、ターゲット車両を表す障害物データを含む。
本開示の第２態様は、路車協調情報処理装置を提供し、当該装置は、
ターゲット車両が感知したターゲット車両の周囲に位置する障害物のデータを含む、ターゲット車両の第１車載感知データを取得するための第１車載感知データモジュールと、
ターゲット車両の位置データに基づいて、ターゲット車両を表す仮想障害物データを生成するための仮想障害物データモジュールと、
仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを取得するための第２車載感知データモジュールと、
第２車載感知データと路側感知データとを融合し、第２車載感知データと路側感知データとにおける全ての障害物の障害物データを含む融合データを取得するための第１融合モジュールと、を備え、
路側感知データにおける障害物データは、ターゲット車両を表す障害物データを含む。
本開示の第３態様は、電子設備をさらに提供し、当該電子設備は、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
命令は、少なくとも１つのプロセッサにより実行される場合、本開示の実施形態の任意の路車協調情報処理方法を実行させることを特徴とする。
本開示の第４態様は、コンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体をさらに提供し、当該コンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体は、本開示の実施形態の任意の路車協調情報処理方法をコンピュータに実行させる。
本開示の第５態様は、自動運転車両を提供し、当該自動運転車両は、本開示の任意の実施形態の電子設備を備える。
上述の発明の１つの実施形態は、以下のメリットまたは有益な効果を有する。
ターゲット車両の車両感知システムの取得した第１車載感知データに、ターゲット車両の仮想障害物データを加え、第２車載感知データを得て、そして、第２車載感知データと路側感知システムが取得した路側感知データとの融合を行うことで、第１車載感知データに対する処理が比較的容易であり、車両収集システムが収集データを生成した直後に行うことができるため、比較的簡易的なデータ前記処理作業を通して、比較的迅速な融合操作により第２車載感知データと路側感知データとを融合することができ、下流製品の融合データ使用により効率的な準備データを提供することができる。
本開示の他の特徴については、下記の明細書を通して説明を促す。
添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。
本開示の実施形態による路車協調情報処理方法の模式図１である。 本開示の他の実施形態による路車協調情報処理方法の模式図２である。 本開示の実施形態による路車協調情報処理模式図である。 本開示の実施形態による路車協調情報処理装置の模式図である。 本開示の実施形態による路車協調情報処理装置の模式図である。 本開示の実施形態による路車協調情報処理装置の模式図である。 本開示の実施形態による路車協調情報処理装置の模式図である。 本開示の実施形態による路車協調情報処理装置の模式図である。 本開示の実施形態による路車協調情報処理装置の模式図である。 本開示の実施形態による路車協調情報処理装置の模式図である。 本開示の実施形態による路車協調情報処理装置の模式図である。 本開示の実施形態による路車協調情報処理方法を実現するための電子設備のブロック図である。
以下において、本開示の例示的な実施形態を、理解を容易にするために本開示の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲および精神を逸脱することなく、本明細書に記載された実施形態に様々な変更および修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能および構成については、明確化および簡明化のために説明を省略する。
本開示の実施の形態は、路車協調情報処理方法を提供し、図１に示すように、以下を含む。
ステップＳ１１において、ターゲット車両が感知したターゲット車両の周囲に位置する障害物のデータを含む、ターゲット車両の第１車載感知データを取得する。
ステップＳ１２において、ターゲット車両の位置データに基づいて、ターゲット車両を表す仮想障害物データを生成する。
ステップＳ１３において、仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを生成する。
ステップＳ１４において、第２車載感知データと路側感知データとを融合し、第２車載感知データと路側感知データとにおける全ての障害物の障害物データを含む融合データを取得し、路側感知データにおける障害物データは、ターゲット車両を表す障害物データを含む。
本実施形態において、ターゲット車両の周囲で、ターゲット車両により感知された障害物データを含む第１車載感知データは、ターゲット車両の車載感知システムにより取得することができ、すなわち、第１車載感知データは、複数の障害物データを含むことができる。車載感知システムは、レーザーレーダー、映像撮影装置などを含むことができる。
本実施形態において、障害物は、車載感知システムにより検出され得るすべての物体を指すことができ、例えば、人、車両、動物、または道路における固定障害物などである。車載感知システムにより感知され得るそれぞれの障害物は、第１車載感知データにおいて、対応する１つの障害物データを生成する。例えば、車載感知システムを通して、ターゲット車両の周囲の第１車両、第２車両を感知すると、相応的に、第１車載感知データには、第１車両の障害物データと第２車両の障害物データとが含まれる。
さらに、例えば、車載感知システムを通して、ターゲット車両の周囲の第１歩行者、第２歩行者を感知すると、相応的に、第１車載感知データには、第１歩行者の障害物データと第２歩行者の障害物データとが含まれる。
第１車載感知データは、ターゲット車両が車載感知システムを通して感知したものであるため、ターゲット車両自身の障害物データを含まず、一般に、ターゲット車両の周囲の他の障害物障害物データを含むものである。
本実施形態において、ターゲット車両の位置データは、車載測位装置を通して取得することができる。例えば、車載ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ Ｓｙｓｔｅｍ、全地球側位システム）によりターゲット車両の位置データを取得することができる。さらに、例えば、車載基地局測位システムによりターゲット車両の位置データを取得することができる。
ターゲット車両の位置データは、具体的に、ターゲット車両の地理座標位置、高精度マップにおけるターゲット車両の位置する道路区間および車線位置、ターゲット車両の向き（Ｈｅａｄｉｎｇ）などを含むことができる。
ターゲット車両の仮想障害物データは、車載感知システムにより実際に収集され得たものでなく、車載感知データにおいて仮想的に生成したものである。第１車載感知データにはターゲット車両の障害物データが存在しないため、ターゲット車両に従う位置データを人為的に設定し、ターゲット車両の仮想的な障害物データを生成する。仮想障害物データは、１つの四角フレームと向き情報を有する他の図形であってもよく、仮想障害物データの向き情報は、ターゲット車両の実際の向きに基づいて設定される。
前記仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを生成することは、ターゲット車両の中心の位置データに基づいて、車両の位置する地理的位置を決定し、仮想障害物の中心を第１車載感知データにおける位置データと対応する位置に加え、仮想障害物データが加えられら第１車載感知データを第２車載感知データとすることであってもよい。
本実施形態において、路側感知データは、道路の両側または道路の交差点に設置された感知装置が収集した道路上の交通データであってもよい。例えば、路側感知データは、道路の交差点に設置されたレーダ装置により収集した道路のデータであってもよく、または、道路の両側に設置された映像収集装置により収集した道路のデータであってもよい。路側感知データは、路側感知システムが感知した全ての障害物を含む。本実施形態における路側感知データは、ターゲット車両と同じ道路区間にある路側感知システムにより収集されたデータであり、路側感知システムは、一般的に、所在の道路区間の全ての障害物を感知することができるため、路側感知データには、ターゲット車両が路側感知システムにより実際に感知されることにより生じた障害物データが含まれる。
本開示の実施形態を自動運転車両に応用したとき、自動運転車両は車載ユニット（ＯＢＵ、Ｏｎ Ｂｏａｒｄ Ｕｎｉｔ）を通して路側感知システムと通信することができ、路側感知システムは、路側感知設備と路側計算設備とを含み、路側感知装置の取得した感知データを路側計算装置に送信して処理を行い、さらに、自動運転車両は、ＯＢＵを通して路側計算設備にて処理された後に送信した感知データを受信し、自身の車載感知データと融合することができる。路側計算設備は、路側ユニットＲＳＵ（Ｒｏａｄ Ｓｉｄｅ Ｕｎｉｔ、路側ユニット）を通してＯＢＵと無線通信してもよく、または、直接ＯＢＵと無線通信してもよい。
路側感知データは、少なくとも１つまたは１組の路側感知システムにより収集したデータを含むことができる。１つまたは１組の路側感知システムにより収集したデータを、ワンウェイ路側感知データとし、複数または複数組の路側感知システムにより収集したデータを、マルチウェイ路側感知データとする。融合するとき、マルチウェイ路側感知データが存在する場合、まずマルチウェイ路側感知データを融合し、その後に第２車載感知データと融合することができる。マルチウェイ路側感知データと第２車載感知データとを同時に融合することもできる。
第２車載感知データと路側感知データとを融合することは、第２車載感知データにおける障害物データと路側感知データにおける障害物データとを融合し、第２車載感知データにおける障害物データと路側感知データにおける障害物データとの和集合を得ることであってもよい。
路側感知システムがターゲット車両の障害物データを実際に収集することができるが、車載感知装置がターゲット車両自身の障害物データを収集することができないため、ターゲット車両の車載感知システムにより収集したデータと路側感知システムにより収集したデータとには障害物が一致しない場合が存在する。本開示の実施形態は、ターゲット車両の車両感知システムの取得した第１車載感知データに、ターゲット車両の仮想障害物データを加え、第２車載感知データを得て、そして、第２車載感知データと路側感知システムが取得した路側感知データとの融合を行うことで、第１車載感知データに対する処理が比較的容易であり、車両収集システムが収集データを生成した直後に行うことができる。そのため、本開示の実施形態による方法では、ホスト車両（ターゲット車両）の発見し統合した全データ感知融合フレームワークを構築し、比較的簡易的なデータ前記処理作業を通して、比較的迅速な融合操作により第２車載感知データと路側感知データとを融合することができ、下流製品の融合データ使用により効率的な準備データを提供することができる。
ターゲット車両の位置データに基づいて、ターゲット車両を表す仮想障害物データを生成することは、
ターゲット車両の外観情報を取得することと、
ターゲット車両の外観情報に基づいて、仮想データフレームを生成することと、
ターゲット車両の位置データに基づいて、ターゲット車両の中心点位置と向きとを取得することと、
仮想データフレームおよびターゲット車両の中心点位置と向きに基づいて、ターゲット車両を表す仮想障害物データを生成することと、を含む。
本実施形態において、ターゲット車両の外観情報は、ターゲット車両の工場出荷時の設定データより取得することができ、具体的に、ターゲット車両の型番、色、サイズなどの情報を含むことができる。仮想データフレームのサイズ、形状は、ターゲット車両の外観情報と一致させることができる。
他の実施形態において、位置データに基づいてターゲット車両上の他の固定点の位置を取得でき、例えば、ターゲット車両上の前端中央位置などを取得する。仮想データフレームを、仮想障害物データが第２車載感知データにおいてターゲット車両の外観情報、向き情報、位置情報と一致する障害物を表すように、ターゲット車両の中心点位置、向き、および他のターゲット車両の外観情報に応じて設定を行う。
第１車載感知データは、ターゲット車両の側で生成されるため、ターゲット車両にとって、第１車載感知データに自身を１つの表す障害物を加えるだけでよく、データ処理量が少なく、データ処理の難易度が低く、路側感知データのデータソースが増加したとき、ターゲット車両について行う必要なデータ処理操作も多くなく、比較的高いデータ処理効率を有する。
１つの実施形態において、仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを生成することは、
ターゲット車両を表す仮想障害物データのタイプを第１ターゲット値として代入することと、
第１ターゲット値として代入された仮想障害物データを第１車載感知データに加え、第２車載感知データを取得することと、を含む。
本実施形態において、ターゲット車両の仮想障害物データは、タイプフィールドを含み、ターゲット車両の仮想障害物データを作成するとき、タイプフィールドを第１ターゲット値として代入し、該障害物がターゲット車両であることを表すのに用いられる。または、ターゲット車両の仮想障害物データを作成した後、ターゲット車両の仮想障害物データを第１車載感知データに加え、第２車載感知データを取得し、第２車載感知データにおけるターゲット車両の仮想データのタイプを第１ターゲット値として代入する。
本実施形態において、ターゲット車両の仮想障害物データのタイプを第１ターゲット値として代入することにより、仮想障害物と他の障害物とを区別することができ、その後の、融合データにおけるターゲット車両の障害物データの識別やターゲット車両の取り除きなどの操作を行うことを容易にする。
１つの実施形態において、第２車載感知データと路側感知データとを融合し、融合データを取得することは、
第２車載感知データにおけるターゲット車両を表す仮想障害物データおよび路側感知データにおけるターゲット車両を表す障害物データに基づいて、ターゲット車両を表す第１障害物データを生成することと、
第２車載感知データと路側感知データとに基づいて、死角障害物を決定し、死角障害物に基づいて第２障害物データを生成することと、ここで、前記第２障害物データのタイプは第２ターゲット値として代入され、
第１障害物データと第２障害物データとに基づいて、融合データを取得することと、を含む。
本実施形態において、第１仮想障害物データのタイプは、仮想障害物データのタイプに応じて代入を行う。
ターゲット車両の仮想障害物データを第１障害物データとして直接使用し、かつ、第１障害物データのタイプを第１ターゲット値として代入することができる。
路側感知データにおけるターゲット車両の障害物データを直接使用して、第１障害物データとし、かつ、第１障害物データのタイプを第１ターゲット値として代入することができる。
ターゲット車両の仮想障害物データとターゲット車両の障害物データとに対してを計算を行い、計算結果を第１障害物データとし、かつ、第１障害物データのタイプを第１ターゲット値として代入することができる。
最後に、第１障害物データ、および融合データにおける他の障害物データに基づいて、融合データを取得する。
ターゲット車両の仮想障害物データとターゲット車両の障害物データとに基づいて、第１障害物データを生成し、そして、第１障害物データに基づいて融合データを生成し、かつ、第１障害物データのタイプを第１ターゲット値として代入することにより、データ融合時に、車載感知データにおいて、路側感知データにおけるターゲット車両と一致する障害物データが見つからないことを回避するために、路側用感知データからターゲット車両を取り除く必要がない。また、その後、融合データからターゲット車両を取り除くとき、複数の障害物データの中から探す必要がなく、直接第１ターゲット値を通して第１障害物データを識別することができ、その後のデータ処理を容易にする。
第２車載感知データと路側感知データとに基づいて、死角障害物を決定することは、
第２車載感知データのみに存在する障害物を死角障害物と決定することと、
および、路側感知データにのみ存在する障害物を死角障害物と決定することと、を含む。
他の実施形態において、路側感知データは、複数の異なる路側感知システムにより収集したデータであってもよく、ここで、各路側感知システムが収集した路側感知データはワンウェイデータであり、あるワンウェイ路側感知データにおいて欠落しているが他の路側感知データに存在する、またはあるワンウェイ路側感知データにおいて欠落しているが第２車載感知データに存在する障害物を死角障害物とする。
第２ターゲット値は、障害物データの対応する障害物が死角障害物であることを示すために用いられる。
他の実施形態において、第２車載感知データにおける死角障害物と路側感知データにおける死角障害物とを区別することができる。異なる第２ターゲット値を用いて、第２車載感知データにおける死角障害物と路側感知データにおける死角障害物とを区別して代入を行うことができる。融合データにおいて、第１障害物データと第２障害物データとを同時に加え、かつ、第１障害物データのタイプは第１ターゲット値として代入され、第２障害物データのタイプは第２ターゲット値として代入されることにより、融合データにおいてどの障害物がターゲット車両であるか、どのまたはどれらの障害物が死角障害物であるかを容易かつ迅速に判定することができ、ターゲット車両または路側収集装置のデータ収集の死角の決定にデータサポートを提供する。
本実施形態において、路車協調情報処理方法は、第２車載感知データにおける非死角障害物と路側感知データにおける非死角障害物とを融合し、融合データにおける少なくとも１つの非死角障害物を得ることをさらに含む。融合データに対して変換を行うとき、非死角障害物の対応するフィールドを埋め込み、非死角障害物に対してはタグを行わなくてもよい。非死角障害物は、路側感知データと第２車載感知データとのいずれにも存在する障害物である。
１つの実施形態において、図２に示すように、路車協調情報処理方法は、さらに以下を含む。
ステップＳ２１において、融合データに基づいて、ターゲットフォーマットにおける埋め込まれるべきフィールドを埋め込み、フォーマット変換後の融合データを得る。ここで、ターゲットフォーマットは、複数の埋め込まれるべきフィールドを含む。
本実施形態において、データフォーマットを変換した後、融合データをターゲット車両側にて表示を行うことができる。
本実施形態において、データ融合を行う前にも、第１車載感知データと路側感知データとをそれぞれフォーマット変換を行い、同一のフォーマットに変換する。あるいは、第２車載感知データと路側感知データとをそれぞれフォーマット変換を行い、同一のフォーマットに変換する。
データ変換後の融合データはデータ転送が容易であるため、車両通信などの用途を実現することができ、融合後のデータの表示装置における表示も容易である。
１つの実施形態において、融合データに基づいて、ターゲットフォーマットにおける埋め込まれるべきフィールドを埋め込み、フォーマット変換後の融合データを得ることは、
前記ターゲットフォーマットにおける第１障害物データの対応する第１埋め込まれるべきフィールドをスキップし、第１埋め込み結果を得ることと、
前記融合データにおける前記第２障害物データを前記ターゲットフォーマットにおいて対応する第２埋め込まれるべきフィールドに埋め込み、かつ、死角障害物タグを加え、第２埋め込み結果を取得することと、
第１埋め込み結果と第２埋め込み結果とに基づいて、フォーマット変換後の融合データを得ることと、を含む。
本実施形態において、ターゲットフォーマットのデータにおける第１障害物の対応するフィールドに埋め込まれるとき、埋め込まれるべきフィールドをスキップし、埋め込まれるべきフィールドを空となるようにすることで、フォーマット変換の融合データからターゲット車両を取り除くことができる。
ターゲットフォーマットのデータにおける第２障害物の対応するフィールドに埋め込まれるとき、埋め込まれるべきフィールドにタグ付けを行い、タグを用いて障害物が死角障害物であることを示すことにより、下流のデータ利用を容易にし、例えば、ターゲット車両は、融合データに基づいて自身の死角を決定することができる。
本開示の実施形態による路車協調情報処理方法は、車載センサシステムを有さない車両にも応用でき、ワンウェイまたはマルチウェイ路側感知データに対して融合を行うことのみに用いられる。車載センサシステムを有さない車両に応用するとき、路側感知データのうち、ワンウェイまたはマルチウェイ路側感知データに対して融合を行うことで、路側感知データにおいて、ターゲット車両を識別して取り除くことができ、また、ワンウェイまたはマルチウェイ路側感知データの融合後のデータから、ターゲット車両を識別して取り除くこともできる。
１つの実施形態において、本開示による路車協調情報処理方法の処理する各情報は、図３に示すように、まず、位置情報、第１車載感知情報、および路側感知情報を含むマルチウェイコールバック情報を取得し、マルチウェイコールバック情報のＰＢ（Ｐｒｏｔｏｃｏｌ Ｂｕｆｆｅｒｓ、プロトコルバッファー）フォーマットを統一のＯｂｊｅｃｔ（オブジェクト）フォーマットのデータ構造に変換し、Ｏｂｊｅｃｔフォーマットのマルチウェイデータを融合し、融合の前に、まず位置情報に基づいて、第１車載感知情報にターゲット車両の仮想障害物データを加え、第２車載感知情報を得、その後、第２車載感知情報と路側感知情報とを融合し、具体的に、Ｖ２Ｘ（Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ、車車間／路車間通信技術）の車端融合アダプタ（Ａｄａｐｔｅｒ）によりデータ融合を行うことができる。
具体的な動作時に、第１車載感知情報をＯｂｊｅｃｔデータフォーマットに変換すると同時に、第１車載感知情報にターゲット車両の仮想障害物データを加え、Ｏｂｊｅｃｔフォーマットの第２車載感知情報を得ることができる。
Ｏｂｊｅｃｔフォーマットの第２車載感知情報とＯｂｊｅｃｔフォーマットの路側感知情報とを融合し、Ｏｂｊｅｃｔフォーマットの融合データを得、Ｏｂｊｅｃｔフォーマットの融合データをＶ２Ｘ ＰＢ情報フォーマットに変換することができる。
さらに、車載感知システムまたは路側感知システムがデータをキャプチャするとき、時折データの欠落が存在する可能性があり、融合後や融合前のデータに対してターゲット車両追跡を行い、ターゲット車両の欠落について、ターゲット車両データの補充を行うことができる。また、データ融合を行うとき、ターゲット車両追跡を行い、ターゲット車両の欠落について、ターゲット車両データの補充を行うこともできる。
同時に、融合後または融合前のデータに対して融合追跡を行い、他の障害物の欠落について、他の障害物データの補充を行うことができる。また、データ融合を行うとき、融合追跡を行い、他の障害物の欠落について、他の障害物データの補充を行うこともできる。
最後に、Ｖ２Ｘ ＰＢ情報フォーマットの融合データに基づいて、死角障害物データを含む出力結果を取得することができる。
１つの実施形態において、路車協調情報処理方法は、
融合データに基づいてターゲット車両の制御を行うこと、をさらに含む。
融合データに基づいてターゲット車両の制御を行うことは、例えば、融合データにおいて車載死角車やゾンビ車（公共道路およびその両側、駐車場、住宅団地、緑地帯などのエリアを長時間占有し駐車されており、長期にわたってメンテナンスと使用が行われておらず、外観が古く破損しており、ほこりがたまっている、タイヤの空気が抜けている、ナンバープレートが欠けているなどの１つまたは複数の状況が存在する自動車）において特有のメッセージがあり、融合データに基づいて自動運転車両の決定と制御を行う。例えば、車載感知システムの感知していない死角車または他の死角障害物に対して、融合データにより発見した後、自動運転計画経路において障害物を即時に回避し、安全上の危険性を回避することができる。さらに、融合データに基づいて決定されたゾンビ車が、自動運転経路計画にあるとき、回避を行うことができる。
本実施形態は、路側感知メッセージと車端感知メッセージとの融合問題を解決し、より包括的なメッセージを提供し、自動運転車両の決定および制御に有利な情報を提供する。
また、本実施形態は、図４に示すように、路車協調情報処理装置をさらに提供し、
ターゲット車両が感知したターゲット車両の周囲に位置する障害物のデータを含む、ターゲット車両の第１車載感知データを取得するための第１車載感知データモジュール４１と、
ターゲット車両の位置データに基づいて、ターゲット車両を表す仮想障害物データを生成するための仮想障害物データモジュール４２と、
仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを取得するための第２車載感知データモジュール４３と、
第２車載感知データと路側感知データとを融合し、第２車載感知データと路側感知データとにおける全ての障害物の障害物データを含む融合データを取得するための第１融合モジュール４４と、を備え、
路側感知データにおける障害物データは、前記ターゲット車両を表す障害物データを含む。
１つの実施形態において、図５に示すように、仮想障害物データモジュール４２は、
ターゲット車両の外観情報を取得するための外観ユニット５１と、
ターゲット車両の外観情報に基づいて、仮想データフレームを生成するためのデータフレームユニット５２と、
ターゲット車両の位置データに基づいて、ターゲット車両の中心点位置と向きとを取得するための方位ユニット５３と、
仮想データフレームに基づいて、ターゲット車両の中心点位置と向きにより、ターゲット車両を表す仮想障害物データを生成するためのデータユニット５４と、を備える。
１つの実施形態において、図６に示すように、第２車載感知データモジュール４３は、
ターゲット車両を表す仮想障害物データのタイプを第１ターゲット値として代入するための第１ターゲット値ユニット６１と、
第１ターゲット値として代入された仮想障害物データを第１車載感知データに加え、第２車載感知データを取得するための加えユニット６２と、を備える。
１つの実施形態において、図７に示すように、第１融合モジュールは、
第２車載感知データにおけるターゲット車両を表す仮想障害物データおよび路側感知データにおけるターゲット車両を表す障害物データに基づいて、ターゲット車両を表す第１障害物データを生成するための第１融合ユニット７１と、
第２車載感知データと路側感知データとに基づいて、死角障害物を決定し、死角障害物に基づいて第２障害物データを生成するための第２融合ユニット７２と、ここで、第２障害物データのタイプは第２ターゲット値として代入され、
第１障害物データと第２障害物データとに基づいて、融合データを取得するための第３融合ユニット７３と、を備える。
１つの実施形態において、図８に示されるように、
前記融合データに基づいて、ターゲットフォーマットにおける埋め込まれるべきフィールドを埋め込み、フォーマット変換後の融合データを得るための変換モジュール９１、をさらに備え、
ここで、前記ターゲットフォーマットは、複数の埋め込まれるべきフィールドを含む。
１つの実施形態において、図９に示すように、変換モジュール９１は、
前記ターゲットフォーマットにおける第１障害物データの対応する第１埋め込まれるべきフィールドをスキップし、第１埋め込み結果を得るための第１変換ユニット１０１と、
前記融合データにおける前記第２障害物データを前記ターゲットフォーマットにおいて対応する第２埋め込まれるべきフィールドに埋め込み、かつ、死角障害物タグを加え、第２埋め込み結果を取得するための第２変換ユニット１０２と、
前記第１埋め込み結果と前記第２埋め込み結果とに基づいて、前記フォーマット変換後の融合データを得るための第３変換ユニット１０３と、を備える。
本開示の１つの実施形態において、路車協調情報処理装置は、図１０に示されるような構成を有し、感知情報受信モジュール１１１と、位置モジュール１１２と、感知モジュール１１３と、融合モジュール１１４と、表示モジュール１１５とを備える。
感知情報受信モジュール１１１は、路側感知情報を受信するのに用いられ、位置モジュール１１２は、ターゲット車両の位置情報を取得するのに用いられ、感知モジュール１１３は、ターゲット車両の車載感知システムの収集した車載感知情報を取得するのに用いられ、融合モジュール１１４は、位置モジュール１１２の位置情報と、感知情報受信モジュール１１１の路側感知情報と、感知モジュール１１３の車載感知情報とに基づいて融合情報を取得するのに用いられる。表示モジュール１１５は、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ、ヒューマンマシンインターフェース）装置であってもよく、融合情報を表示する、またはターゲット車両を除去した後の融合情報を表示するのに用いられる。本実施形態において、図１０に示される感知情報受信モジュール１１１、位置モジュール１１２、感知モジュール１１３、融合モジュール１１４、表示モジュール１１５は、ホスト車両（ターゲット車両）の発見し統合した全データ感知融合フレームワークを構成し、フレームワーク構造が簡単であり、モジュール数が少なく、データ処理過程が簡略化されると同時に、路側感知メッセージと車載感知メッセージとの融合の問題を解決し、より全面的な情報を提供し、車端融合データにおいて車載死角車およびゾンビ車などの路側感知特有のメッセージを表示する製品の需要を解決する。
１つの実施形態において、図１１に示すように、路車協調情報処理装置は、
前記融合データに基づいて前記ターゲット車両の制御を行うための制御モジュール１２１、をさらに備える。
本開示の実施形態における各装置の各モジュールの機能は、上述の方法の対応する説明を参照してもよく、ここでは繰り返し説明することを省略する。
本開示の実施形態によれば、本開示は、電子設備および可読記憶媒体をさらに提供する。
図１２に示すよう、本開示の実施形態による路車協調情報処理方法を実現する電子設備のブロック図である。電子設備は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、および他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことができる。また、電子設備は携帯情報端末、携帯電話、スマートフォン、装着可能デバイス、およびその他の類似のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。ここで示した構成要素、それらの接続と関係、およびそれらの機能は例示的なものに過ぎず、本開示で説明されたものおよび／または要求される本開示の実施を制限することは意図されない。
図１２に示すよう、当該電子設備は、１つ又は複数のプロセッサ１２０１と、メモリ１２０２と、高速インターフェースと低速インターフェースとを含む各構成要素を接続するためのインターフェースとを含む。各構成要素は、異なるバスを利用して互いに接続し、共通のマザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子設備内で実行される命令を処理してもよく、また、外部入出力デバイス（例えば、インターフェースに接続された表示デバイス）にグラフィックユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＧＵＩ）を表示するための、メモリまたはメモリ上に記憶されたグラフィカル情報の命令を含む。他の実施形態において、必要に応じて、複数のプロセッサおよび／または複数のバスを複数のメモリおよび複数のメモリとともに使用することができる。同様に、複数の電子設備を接続してもよく、各デバイスは、部分的に必要
な動作、例えば、サーバアレイ、ブレードサーバの集合、またはマルチプロセッサシステムとして、提供する。図１２においてプロセッサ１２０１を例とする。
メモリ１２０２は、本開示にて提供された非一過性のコンピュータ可読記憶媒体である。メモリは、本開示で提供される路車協調情報処理方法を少なくとも１つのプロセッサに実行させるように、少なくとも１つのプロセッサによって実行されることができる命令を記憶する。本開示における非一過性のコンピュータ可読記憶媒体は、本開示で提供された路車協調情報処理方法をコンピュータに実行させるためのコンピュータ命令を記憶する。
メモリ１２０２は、非一過性のコンピュータ可読記憶媒体として、非一過性のソフトウェアプログラム、非一過性のコンピュータ実行可能なプログラムおよびモジュールを記憶するために使用されてもよく、本開示の実施形態における路車協調情報処理方法に対応するプログラム命令／モジュール、（例えば、図４に示される、第１車載感知データモジュール４１、仮想障害物データモジュール４２、第２車載感知データモジュール４３および融合モジュール４４）である。プロセッサ１２０１は、メモリ１２０２に記憶されている非一過性のソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理、即ち上述した方法に関する実施形態に係る路車協調情報処理方法を実行する。
メモリ１２０２は、オペレーティングシステムや少なくとも１つの機能に必要なアプリケーションを記憶することができるプログラムの記憶領域と、路車協調情報処理方法に係る電子設備の使用によって生成されたデータなどを記憶することができるデータの記憶領域と、を含むことができる。
さらに、メモリ１２０２は、高速ランダムアクセスメモリを含んでもよく、非一過性の固体記憶装置を含んでもよい。例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の非一過性の固体記憶装置を含むことができる。いくつかの実施形態において、メモリ１２０２はオプションとして、プロセッサ１２０１に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介して路車協調情報処理方法に係る電子設備に接続されてもよい。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワークおよびその組み合わせを含むが、これらに限定されない。
本開示の実施形態の路車協調情報処理方法に対応する電子設備は、入力装置１２０３と出力装置１２０４とをさらに含むことができる。プロセッサ１２０１、メモリ１２０２、入力装置１２０３、および出力装置１２０４は、バスまたは他の方法で接続されてもよく、図１２ではバスを介して接続されている。
入力装置１２０３は、入力された数字または文字を受信し、路車協調情報処理方法に係る電子設備のユーザ設定および機能制御に関するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックボード、タッチパッド、指示棒、１つまたは複数のマウスボタン、トラックボール、ジョイスティックなどを含むことができる。出力装置１２０４は、表示装置、補助照明装置（例えばＬＥＤ）、および触覚フィードバック装置（例えば、振動モータ）などを含むことができる。この表示装置は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）ディスプレイおよびプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。
本開示の実施形態は、本開示のいずれかの実施形態により提供される電子設備を含む自動運転車両を提供し、ホスト車両の発見し統合した全データ感知融合フレームワークを実現し、融合データにおいて車載死角車および長時間停止されていて走っていない車両などの路側感知特有のメッセージを表示する。
本開示におけるシステムおよび技術に係る様々な実施形態は、デジタル電子回路システム、集積回路システム、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ、ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせによって実現されることができる。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムにおいて実装されてもよく、この１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行されてもよく、および／または解釈されてもよく、このプログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置より、データと命令を受信し、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置に、データと命令を送信する。
これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードともいう）は、プログラマブルプロセッサのマシン命令を含み、過程指向および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／マシン言語を用いてこれらの計算プログラムを実施することができる。本開示で使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、マシン命令および／またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、編集可能論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）を意味し、機械読み取り可能な信号としてのマシン命令を受信する機械可読媒体を含む。「機械読み取り可能な信号」という用語は、マシン命令および／またはデータをプログラマブルプロセッサに提供するための任意の信号を意味する。
ユーザとのイントラクションを提供するために、本開示で説明されているシステムや技術は、コンピュータ上で実施されてもよく、また、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ブラウン管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、入力をコンピュータに提供するためのキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えてもよい。他の種類の装置も、ユーザとのイントラクションを提供するために使用され得る。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、いかなる形式（音響入力、音声入力、または触覚入力を含む）で受信されてもよい。
本開示で説明されているシステムおよび技術は、バックグラウンド構成要素を含む計算システム（例えば、データサーバとして）、または中間部構成要素を含む計算システム（例えば、アプリケーションサーバ）、または、フロントエンド構成要素を含む計算システム（例えば、グラフィカルユーザインタフェースまたはネットワークブラウザを備えたユーザコンピュータであって、ユーザがこのグラフィカルユーザインタフェースまたはネットワークブラウザを介して本開示で説明されたシステムおよび技術に係る実施形態とインタラクションを行うことができるユーザコンピュータ）に実行されてもよく、または、このようなバックグラウンド構成要素、中間部構成要素、またはフロントエンド構成要素の任意の組合せを含む計算システムにおいて実行されてもよい。システムの構成要素は、任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてもよい。通信ネットワークの例えとして、ローカルネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）およびインターネットを含む。
コンピュータシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは一般的に相互に離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係を持つコンピュータプログラムがそれぞれのコンピュータ上で実行されることによって、クライアントとサーバとの関係は構築される。
本開示の実施形態によれば、ターゲット車両の車両感知システムの取得した第１車載感知データに、ターゲット車両の仮想障害物データを加え、第２車載感知データを得て、そして、第２車載感知データと路側感知システムが取得した路側感知データとの融合を行うことで、第１車載感知データに対する処理が比較的容易であり、車両収集システムが収集データを生成した直後に行うことができるため、比較的簡易的なデータ前記処理作業を通して、比較的迅速な融合操作により第２車載感知データと路側感知データとを融合することができ、下流製品の融合データ使用により効率的な準備データを提供することができる。
上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、または削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。
上記具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、および代替が可能であることを理解するべきである。本開示の要旨および原則内における変更、均等な置換および改善等は、いずれも本開示の保護範囲に含まれるべきである。

Claims (18)

  1. ターゲット車両が感知した前記ターゲット車両の周囲に位置する障害物のデータを含む、ターゲット車両の第１車載感知データを取得することと、
    前記ターゲット車両の位置データに基づいて、ターゲット車両を表す仮想障害物データを生成することと、
    前記仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを生成することと、
    前記第２車載感知データと路側感知データとを融合し、前記第２車載感知データと路側感知データとにおける全ての障害物の障害物データを含む融合データを取得することと、を含み、
    前記路側感知データにおける障害物データは、前記ターゲット車両を表す障害物データを含む
    ことを特徴とする路車協調情報処理方法。
  2. 前記ターゲット車両の位置データに基づいて、ターゲット車両を表す仮想障害物データを生成することは、
    前記ターゲット車両の外観情報を取得することと、
    前記ターゲット車両の外観情報に基づいて、仮想データフレームを生成することと、
    前記ターゲット車両の位置データに基づいて、前記ターゲット車両の中心点位置と向きとを取得することと、
    前記仮想データフレームおよび前記ターゲット車両の中心点位置と向きに基づいて、前記ターゲット車両を表す前記仮想障害物データを生成することと、を含む
    ことを特徴とする請求項１に記載の路車協調情報処理方法。
  3. 前記仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを生成することは、
    前記ターゲット車両を表す仮想障害物データのタイプを第１ターゲット値として代入することと、
    第１ターゲット値として代入された前記仮想障害物データを前記第１車載感知データに加え、前記第２車載感知データを取得することと、を含む
    ことを特徴とする請求項１または２に記載の路車協調情報処理方法。
  4. 前記第２車載感知データと路側感知データとを融合し、融合データを取得することは、
    前記第２車載感知データにおける前記ターゲット車両を表す仮想障害物データおよび前記路側感知データにおける前記ターゲット車両を表す障害物データに基づいて、前記ターゲット車両を表す第１障害物データを生成することと、
    前記第２車載感知データと路側感知データとに基づいて、死角障害物を決定し、死角障害物に基づいて第２障害物データを生成することと、
    前記第１障害物データと前記第２障害物データとに基づいて、前記融合データを取得することと、を含み、
    前記第２障害物データのタイプは第２ターゲット値として代入される、
    ことを特徴とする請求項３に記載の路車協調情報処理方法。
  5. 前記融合データに基づいて、ターゲットフォーマットにおける埋め込まれるべきフィールドを埋め込み、フォーマット変換後の融合データを得ること、をさらに含み、
    前記ターゲットフォーマットは、複数の埋め込まれるべきフィールドを含む
    ことを特徴とする請求項４に記載の路車協調情報処理方法。
  6. 前記融合データに基づいて、ターゲットフォーマットにおける埋め込まれるべきフィールドを埋め込み、フォーマット変換後の融合データを得ることは、
    前記ターゲットフォーマットにおける第１障害物データの対応する第１埋め込まれるべきフィールドをスキップし、第１埋め込み結果を得ることと、
    前記融合データにおける前記第２障害物データを前記ターゲットフォーマットにおいて対応する第２埋め込まれるべきフィールドに埋め込み、かつ、死角障害物のタグを加え、第２埋め込み結果を取得することと、
    前記第１埋め込み結果と前記第２埋め込み結果とに基づいて、前記フォーマット変換後の融合データを得ることと、を含む
    ことを特徴とする請求項５に記載の路車協調情報処理方法。
  7. 前記融合データに基づいて前記ターゲット車両の制御を行うこと、をさらに含む
    ことを特徴とする請求項１に記載の路車協調情報処理方法。
  8. ターゲット車両が感知した前記ターゲット車両の周囲に位置する障害物のデータを含む、ターゲット車両の第１車載感知データを取得する第１車載感知データモジュールと、
    前記ターゲット車両の位置データに基づいて、ターゲット車両を表す仮想障害物データを生成する仮想障害物データモジュールと、
    前記仮想障害物データおよび第１車載感知データに基づいて、第２車載感知データを取得する第２車載感知データモジュールと、
    前記第２車載感知データと路側感知データとを融合し、前記第２車載感知データと路側感知データとにおける全ての障害物の障害物データを含む融合データを取得する第１融合モジュールと、を備え、
    前記路側感知データにおける障害物データは、前記ターゲット車両を表す障害物データを含む
    ことを特徴とする路車協調情報処理装置。
  9. 前記仮想障害物データモジュールは、
    前記ターゲット車両の外観情報を取得する外観ユニットと、
    前記ターゲット車両の外観情報に基づいて、仮想データフレームを生成するデータフレームユニットと、
    前記ターゲット車両の位置データに基づいて、前記ターゲット車両の中心点位置と向きとを取得する方位ユニットと、
    前記仮想データフレームに基づいて、前記ターゲット車両の中心点位置と向きにより、前記ターゲット車両を表す前記仮想障害物データを生成するデータユニットと、を備える
    ことを特徴とする請求項８に記載の路車協調情報処理装置。
  10. 前記第２車載感知データモジュールは、
    前記ターゲット車両を表す仮想障害物データのタイプを第１ターゲット値として代入する第１ターゲット値ユニットと、
    第１ターゲット値として代入された前記仮想障害物データを前記第１車載感知データに加え、前記第２車載感知データを取得する加えユニットと、を備える
    ことを特徴とする請求項８または９に記載の路車協調情報処理装置。
  11. 前記第１融合モジュールは、
    前記第２車載感知データにおける前記ターゲット車両を表す仮想障害物データおよび前記路側感知データにおける前記ターゲット車両を表す障害物データに基づいて、前記ターゲット車両を表す第１障害物データを生成する第１融合ユニットと、
    前記第２車載感知データと路側感知データとに基づいて、死角障害物を決定し、死角障害物に基づいて第２障害物データを生成する第２融合ユニットと、
    前記第１障害物データと前記第２障害物データとに基づいて、前記融合データを取得する第３融合ユニットと、を備え、
    前記第２障害物データのタイプは第２ターゲット値として代入される、
    ことを特徴とする請求項１０に記載の路車協調情報処理装置。
  12. 前記融合データに基づいて、ターゲットフォーマットにおける埋め込まれるべきフィールドを埋め込み、フォーマット変換後の融合データを得る変換モジュール、をさらに備え、
    前記ターゲットフォーマットは、複数の埋め込まれるべきフィールドを含む
    ことを特徴とする請求項１１に記載の路車協調情報処理装置。
  13. 前記変換モジュールは、
    前記ターゲットフォーマットにおける第１障害物データの対応する第１埋め込まれるべきフィールドをスキップし、第１埋め込み結果を得る第１変換ユニットと、
    前記融合データにおける前記第２障害物データを前記ターゲットフォーマットにおいて対応する第２埋め込まれるべきフィールドに埋め込み、かつ、死角障害物タグを加え、第２埋め込み結果を取得する第２変換ユニットと、
    前記第１埋め込み結果と前記第２埋め込み結果とに基づいて、前記フォーマット変換後の融合データを得る第３変換ユニットと、を備える
    ことを特徴とする請求項１２に記載の路車協調情報処理装置。
  14. 前記融合データに基づいて前記ターゲット車両の制御を行う制御モジュール、をさらに備える
    ことを特徴とする請求項８に記載の路車協調情報処理装置。
  15. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
    前記命令は、前記少なくとも１つのプロセッサにより実行される場合、請求項１〜７のいずれか１項に記載の路車協調情報処理方法を実行させることを特徴とする電子設備。
  16. 請求項１〜７のいずれか１項に記載の路車協調情報処理方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体。
  17. 請求項１５に記載の電子設備を備えることを特徴とする自動運転車両。
  18. コンピュータにおいて、プロセッサにより実行される場合、請求項１〜７いずれか１項に記載の路車協調情報処理方法を実現することを特徴とするプログラム。
JP2021048067A 2020-09-21 2021-03-23 路車協調情報処理方法、装置、設備、自動運転車両、及びプログラム Pending JP2021102437A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010995950.8 2020-09-21
CN202010995950.8A CN112085960A (zh) 2020-09-21 2020-09-21 车路协同信息处理方法、装置、设备及自动驾驶车辆

Publications (1)

Publication Number Publication Date
JP2021102437A true JP2021102437A (ja) 2021-07-15

Family

ID=73740047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021048067A Pending JP2021102437A (ja) 2020-09-21 2021-03-23 路車協調情報処理方法、装置、設備、自動運転車両、及びプログラム

Country Status (5)

Country Link
US (1) US11636764B2 (ja)
EP (1) EP3822848B1 (ja)
JP (1) JP2021102437A (ja)
KR (1) KR102554621B1 (ja)
CN (1) CN112085960A (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012429B (zh) * 2021-02-23 2022-07-15 云控智行(上海)汽车科技有限公司 一种车路多传感器数据融合方法及系统
CN113160571B (zh) * 2021-06-28 2021-10-01 智道网联科技(北京)有限公司 基于车路协同的多数据源的数据融合处理方法和装置
CN113205087B (zh) * 2021-07-06 2022-06-03 中汽创智科技有限公司 一种感知信息处理方法、装置、设备及计算机可读存储介质
CN113724520B (zh) * 2021-08-31 2023-06-13 上海商汤临港智能科技有限公司 车路协同信息处理方法、装置、电子设备以及存储介质
CN113724519A (zh) * 2021-08-31 2021-11-30 上海商汤临港智能科技有限公司 一种车辆控制系统、路侧设备以及车路协同系统
CN117795579A (zh) * 2021-12-02 2024-03-29 华为技术有限公司 一种数据融合方法、装置、设备、存储介质、车辆
CN114155731A (zh) * 2021-12-27 2022-03-08 阿波罗智联(北京)科技有限公司 自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN114333312A (zh) * 2021-12-28 2022-04-12 阿波罗智联(北京)科技有限公司 一种道路交通环境信息的展示方法、装置以及电子设备
CN114228735A (zh) * 2021-12-29 2022-03-25 阿波罗智联(北京)科技有限公司 智能驾驶车辆的可视化方法、装置及系统
CN114627442B (zh) * 2022-01-30 2024-06-28 清华大学 基于后融合的车路协同三维目标检测方法及系统
CN114584949B (zh) * 2022-03-02 2023-05-23 阿波罗智能技术(北京)有限公司 车路协同确定障碍物属性值的方法、设备及自动驾驶车辆
CN114882717B (zh) * 2022-03-16 2024-05-17 仓擎智能科技(上海)有限公司 一种基于车路协同的物体检测系统和方法
CN115273530A (zh) * 2022-07-11 2022-11-01 上海交通大学 一种基于协同感知的停车场定位与感知系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195641A (ja) * 2005-01-12 2006-07-27 Nissan Motor Co Ltd 車両用情報提供装置
JP2008191988A (ja) * 2007-02-06 2008-08-21 Denso Corp 車両周辺監視装置
JP2009122838A (ja) * 2007-11-13 2009-06-04 Denso Corp 走行支援装置
JP2011242846A (ja) * 2010-05-14 2011-12-01 Hitachi Ltd 車載通信装置、周辺車両情報処理方法およびプログラム
JP2017173948A (ja) * 2016-03-22 2017-09-28 三菱電機株式会社 移動体認識システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013211109A1 (de) 2013-06-14 2014-12-31 Robert Bosch Gmbh Assistenzvorrichtung und Verfahren zum Unterstützen eines Fahrers des Fahrzeugs
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
CN106920412A (zh) * 2015-12-28 2017-07-04 上海擎感智能科技有限公司 适用于车路协同的智能交通运行系统及方法
CN107702716B (zh) * 2017-08-31 2021-04-13 广州小鹏汽车科技有限公司 一种无人驾驶路径规划方法、系统和装置
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108182817A (zh) * 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
US10866103B2 (en) * 2018-02-12 2020-12-15 Aptiv Technologies Limited Vehicle perception-data gathering system and method
CN108762245B (zh) * 2018-03-20 2022-03-25 华为技术有限公司 数据融合方法以及相关设备
CN108447291B (zh) * 2018-04-03 2020-08-14 南京锦和佳鑫信息科技有限公司 一种智能道路设施系统及控制方法
CN110874945A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 基于车路协同的路侧感知系统及其车辆控制方法
CN110928284B (zh) * 2018-09-19 2024-03-29 阿波罗智能技术(北京)有限公司 辅助控制车辆的自动驾驶的方法、设备、介质和系统
DE102018217840A1 (de) 2018-10-18 2020-04-23 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen eines Umfeldmodells für ein Fahrzeug
GB201906813D0 (en) * 2019-05-16 2019-06-26 Roboraca Ltd Metaverse
CN110083163A (zh) * 2019-05-20 2019-08-02 三亚学院 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
CN110335488A (zh) * 2019-07-24 2019-10-15 深圳成谷科技有限公司 一种基于车路协同的车辆自动驾驶方法和装置
CN112712717B (zh) * 2019-10-26 2022-09-23 华为技术有限公司 一种信息融合的方法、装置和设备
CN111127931B (zh) * 2019-12-24 2021-06-11 国汽(北京)智能网联汽车研究院有限公司 一种智能网联汽车的车路云协同方法、装置及系统
US11560159B2 (en) * 2020-03-25 2023-01-24 Baidu Usa Llc Group and combine obstacles for autonomous driving vehicles
CN111540237B (zh) * 2020-05-19 2021-09-28 河北德冠隆电子科技有限公司 基于多数据融合的车辆安全行驶保障方案自动生成的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195641A (ja) * 2005-01-12 2006-07-27 Nissan Motor Co Ltd 車両用情報提供装置
JP2008191988A (ja) * 2007-02-06 2008-08-21 Denso Corp 車両周辺監視装置
JP2009122838A (ja) * 2007-11-13 2009-06-04 Denso Corp 走行支援装置
JP2011242846A (ja) * 2010-05-14 2011-12-01 Hitachi Ltd 車載通信装置、周辺車両情報処理方法およびプログラム
JP2017173948A (ja) * 2016-03-22 2017-09-28 三菱電機株式会社 移動体認識システム

Also Published As

Publication number Publication date
US20210225171A1 (en) 2021-07-22
EP3822848A3 (en) 2021-11-10
EP3822848A2 (en) 2021-05-19
EP3822848B1 (en) 2023-05-31
CN112085960A (zh) 2020-12-15
KR20210040325A (ko) 2021-04-13
US11636764B2 (en) 2023-04-25
KR102554621B1 (ko) 2023-07-11

Similar Documents

Publication Publication Date Title
JP2021102437A (ja) 路車協調情報処理方法、装置、設備、自動運転車両、及びプログラム
JP6494719B2 (ja) 交通信号マップ作成及び検出
US10369994B2 (en) Rear camera stub detection
US11550623B2 (en) Distributed system task management using a simulated clock
EP3772862A1 (en) Vehicle information interacting method, device, apparatus and storage medium
US20180224284A1 (en) Distributed autonomous mapping
US11480964B2 (en) Distributed system execution using a serial timeline
CN111784837B (zh) 高精地图生成方法、装置、设备、存储介质和程序产品
CN113728310B (zh) 用于分布式系统仿真的架构
US20220092233A1 (en) Architecture for configurable distributed system simulation timing
WO2020168747A1 (zh) 基于高精地图的人机交互方法和装置
WO2021027967A1 (zh) 一种路线确定方法、可行进设备、和存储介质
US20200219389A1 (en) Visualiziing real-time intersection occupancy and calculated analytics in 3d
US20200241555A1 (en) Information processing device, information processing method, and program
CN110942665A (zh) 一种车辆的定位方法、车载设备及存储介质
CN113091737A (zh) 一种车路协同定位方法、装置、自动驾驶车辆及路侧设备
CN113483774A (zh) 导航方法、装置、电子设备及可读存储介质
CN113126120B (zh) 数据标注方法、装置、设备、存储介质以及计算机程序产品
JP2019519051A (ja) 知的照明システム、照明デバイス、車両、車載端末、車両運転支援システム及び車両運転支援方法
US11809790B2 (en) Architecture for distributed system simulation timing alignment
CN113011298A (zh) 截断物体样本生成、目标检测方法、路侧设备和云控平台
US11669657B2 (en) Architecture for distributed system simulation with realistic timing
CN115743100B (zh) 泊车路线信息生成方法、装置、设备和计算机可读介质
CN114166231A (zh) 众包数据采集方法、装置、设备、存储介质以及程序产品
CN115394116A (zh) 车位信息共享方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210323

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220921

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231026