CN114413880A - 一种车路协同感知和数据融合方法、介质及自动驾驶系统 - Google Patents

一种车路协同感知和数据融合方法、介质及自动驾驶系统 Download PDF

Info

Publication number
CN114413880A
CN114413880A CN202111661320.8A CN202111661320A CN114413880A CN 114413880 A CN114413880 A CN 114413880A CN 202111661320 A CN202111661320 A CN 202111661320A CN 114413880 A CN114413880 A CN 114413880A
Authority
CN
China
Prior art keywords
vehicle
data
road
real
time information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111661320.8A
Other languages
English (en)
Inventor
张宇超
秦超
林新雨
王凤军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Original Assignee
Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd filed Critical Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Priority to CN202111661320.8A priority Critical patent/CN114413880A/zh
Publication of CN114413880A publication Critical patent/CN114413880A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种车路协同感知和数据融合方法、介质及自动驾驶系统，所述方法应用于车载处理器中，包括以下步骤：获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；获取路侧单元采集的实时信息；将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据。与现有技术相比，本发明能同时感知路口道路交通图像和毫米波雷达点云数据，使得车路两端实时协同快速感知周围环境信息，具有提高采集数据的可靠性，提高后续应用的识别效果，能够抵抗不良天气和道路情况等优点。

Description

一种车路协同感知和数据融合方法、介质及自动驾驶系统
技术领域
本发明属于自动驾驶技术领域，尤其是涉及一种车路协同感知和数据融合方法、介质及自动驾驶系统。
背景技术
现有自动驾驶往往是由车端、路端或者车路两端对周围环境信息进行探测，进而提供自动驾驶所需的数据。感知设备通常使用视觉感知技术(相机)、激光雷达感知技术或者毫米波雷达感知技术中的一种或者多种，因此车路两端多个传感器得到的信息需要融合处理，之后才能交由计算机系统进行决策使用。
现有技术对于车路两端协同感知和数据融合的应用效果难以达到工业化水平，路端和车端的通讯延时问题以及两端数据融合算法不够成熟。自动驾驶车辆在道路上行驶时，周围环境动态变化很快，对于环境信息的准确度和及时性要求很高，如果车路两端数据处理速度不够快，将会影响到自动驾驶系统的决策，增大自动驾驶的风险。
目前，现有车路协同感知融合技术很难满足工业化应用的需求，有必要进行进一步的研发。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种鲁棒性好、快速实时的车路协同感知和数据融合方法、介质及自动驾驶系统。
本发明的目的可以通过以下技术方案来实现：
一种车路协同感知和数据融合方法，该方法应用于车载处理器中，包括以下步骤：
获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；
获取路侧单元采集的实时信息；
将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据。
进一步地，所述传感器包括车端毫米波雷达、车端激光雷达和车端相机。
进一步地，所述神经网络算法为基于深度学习模型构建的融合算法。
进一步地，所述深度学习模型为ResNet34模型。
进一步地，所述实时信息包括位置、速度和航向角。
进一步地，通过基于卡尔曼滤波的神经网络算法将所述第一汇总数据与所述实时信息进行融合。
进一步地，所述车载处理器通过车载单元接收所述路侧单元采集的实时信息，所述车载单元与路侧单元通过5G无线通信连接。
本发明还提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上所述车路协同感知和数据融合方法的指令。
本发明还提供一种自动驾驶系统，包括依次连接的路侧单元、车载单元和车载处理器，所述车载处理器连接有多种传感器，其内存储有计算机程序，该计算机程序被调用时执行如下操作：
获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；
获取路侧单元采集的实时信息；
将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据；
基于所述第二汇总数据生成自动驾驶策略。
进一步地，所述车载单元与路侧单元通过5G无线通信连接。
与现有技术相比，本发明具有以下有益效果：
1、本发明能同时感知路口道路交通图像和毫米波雷达点云数据，使得车路两端实时协同快速感知周围环境信息，提高采集数据的可靠性，提高后续应用的识别效果。
2、本发明通过两步数据融合处理，将传感器计算前置，能快速融合车路两端的数据，得到可供系统决策的准确的环境数据。
3、本发明通过5G将感知数据在车辆和路端间传输，传感速度快，通讯延时小。
4、本发明采用多个传感器进行数据采集，鲁棒性好，在恶劣环境下应用效果稳定，能够抵抗不良天气和道路情况。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
本实施例提供一种车路协同感知和数据融合方法，该方法应用于车载处理器中，包括以下步骤：
1)获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据，作为车端汇总数据，其中，传感器包括车端毫米波雷达、车端激光雷达和车端相机，神经网络算法为基于深度学习模型构建的融合算法；
2)获取路侧单元RSU采集的实时信息，包括位置、速度和航向角等；
3)通过基于卡尔曼滤波的神经网络算法将第一汇总数据与实时信息进行融合，获得第二汇总数据，该第二汇总数据可以作为自动驾驶系统决策执行的基础数据。
在具体实施方式中，深度学习模型可采用ResNet34模型。
在步骤1)中，车载处理器通过车载单元接收路侧单元采集的实时信息，车载单元与路侧单元通过5G无线通信连接，以减小通讯时延。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例2
本实施例提供一种自动驾驶系统，包括依次连接的路侧单元、车载单元和车载处理器，车载单元与路侧单元通过5G无线通信连接，车载处理器连接有多种传感器，其内存储有计算机程序，该计算机程序被调用时执行如下操作：
获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据，其中，传感器包括车端毫米波雷达、车端激光雷达和车端相机；
获取路侧单元采集的实时信息，包括位置、速度和航向角等；
将第一汇总数据与实时信息进行融合，获得第二汇总数据；
基于第二汇总数据生成自动驾驶策略。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种车路协同感知和数据融合方法，其特征在于，该方法应用于车载处理器中，包括以下步骤：
获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；
获取路侧单元采集的实时信息；
将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据。
2.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，所述传感器包括车端毫米波雷达、车端激光雷达和车端相机。
3.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，所述神经网络算法为基于深度学习模型构建的融合算法。
4.根据权利要求3所述的车路协同感知和数据融合方法，其特征在于，所述深度学习模型为ResNet34模型。
5.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，所述实时信息包括位置、速度和航向角。
6.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，通过基于卡尔曼滤波的神经网络算法将所述第一汇总数据与所述实时信息进行融合。
7.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，所述车载处理器通过车载单元接收所述路侧单元采集的实时信息，所述车载单元与路侧单元通过5G无线通信连接。
8.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-7任一所述车路协同感知和数据融合方法的指令。
9.一种自动驾驶系统，其特征在于，包括依次连接的路侧单元、车载单元和车载处理器，所述车载处理器连接有多种传感器，其内存储有计算机程序，该计算机程序被调用时执行如下操作：
获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；
获取路侧单元采集的实时信息；
将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据；
基于所述第二汇总数据生成自动驾驶策略。
10.根据权利要求9所述的自动驾驶系统，其特征在于，所述车载单元与路侧单元通过5G无线通信连接。
CN202111661320.8A 2021-12-31 2021-12-31 一种车路协同感知和数据融合方法、介质及自动驾驶系统 Pending CN114413880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111661320.8A CN114413880A (zh) 2021-12-31 2021-12-31 一种车路协同感知和数据融合方法、介质及自动驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111661320.8A CN114413880A (zh) 2021-12-31 2021-12-31 一种车路协同感知和数据融合方法、介质及自动驾驶系统

Publications (1)

Publication Number Publication Date
CN114413880A true CN114413880A (zh) 2022-04-29

Family

ID=81270728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111661320.8A Pending CN114413880A (zh) 2021-12-31 2021-12-31 一种车路协同感知和数据融合方法、介质及自动驾驶系统

Country Status (1)

Country Link
CN (1) CN114413880A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190040550A (ko) * 2017-10-11 2019-04-19 현대모비스 주식회사 차량에서의 장애물 검출장치 및 그 제어방법
CN111833631A (zh) * 2020-06-24 2020-10-27 武汉理工大学 基于车路协同的目标数据处理方法、系统和存储介质
CN112071063A (zh) * 2020-09-15 2020-12-11 苏州映赛智能科技有限公司 一种路侧感知系统
CN112289059A (zh) * 2020-10-22 2021-01-29 中电智能技术南京有限公司 一种车路协同道路交通系统
CN113167860A (zh) * 2018-11-30 2021-07-23 高通股份有限公司 雷达深度学习
CN113581211A (zh) * 2021-08-30 2021-11-02 深圳清航智行科技有限公司 一种车辆行驶控制方法、系统、装置及可读存储介质
CN113689695A (zh) * 2021-08-11 2021-11-23 上海智能网联汽车技术中心有限公司 路侧感知系统的数据采集、可视化和标定的方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190040550A (ko) * 2017-10-11 2019-04-19 현대모비스 주식회사 차량에서의 장애물 검출장치 및 그 제어방법
CN113167860A (zh) * 2018-11-30 2021-07-23 高通股份有限公司 雷达深度学习
CN111833631A (zh) * 2020-06-24 2020-10-27 武汉理工大学 基于车路协同的目标数据处理方法、系统和存储介质
CN112071063A (zh) * 2020-09-15 2020-12-11 苏州映赛智能科技有限公司 一种路侧感知系统
CN112289059A (zh) * 2020-10-22 2021-01-29 中电智能技术南京有限公司 一种车路协同道路交通系统
CN113689695A (zh) * 2021-08-11 2021-11-23 上海智能网联汽车技术中心有限公司 路侧感知系统的数据采集、可视化和标定的方法及系统
CN113581211A (zh) * 2021-08-30 2021-11-02 深圳清航智行科技有限公司 一种车辆行驶控制方法、系统、装置及可读存储介质

Similar Documents

Publication Publication Date Title
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN105892471B (zh) 汽车自动驾驶方法和装置
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN109829395B (zh) 基于无人车的数据处理方法、装置、设备以及存储介质
CN110599497A (zh) 一种基于深度神经网络的可行驶区域分割方法
CN114212110A (zh) 障碍物轨迹预测方法、装置、电子设备及存储介质
US20230080076A1 (en) Platooning processing method and apparatus, computer-readable medium, and electronic device
CN113050122A (zh) 一种基于卷积神经网络感知动态障碍物速度的方法及系统
CN109946688A (zh) 换道场景数据提取方法、装置和服务器
CN117128979A (zh) 一种多传感器融合方法、装置、电子设备及存储介质
CN117612127B (zh) 场景生成方法、装置和存储介质及电子设备
CN117648929B (zh) 基于类人化广义感知机制的目标误识别纠正方法
Jiang et al. An obstacle detection and distance measurement method for sloped roads based on VIDAR
CN112085101A (zh) 一种高性能高可靠的环境融合感知方法及系统
CN114413880A (zh) 一种车路协同感知和数据融合方法、介质及自动驾驶系统
CN114596706B (zh) 路侧感知系统的检测方法及装置、电子设备和路侧设备
CN114443860B (zh) 一种基于知识图谱的船舶意图识别与推理方法及系统
CN116242375A (zh) 一种基于多传感器的高精度电子地图生成方法和系统
CN112258602B (zh) 一种停止线生成方法、装置、电子设备及存储介质
Yan [Retracted] Vehicle Safety‐Assisted Driving Technology Based on Computer Artificial Intelligence Environment
CN112232312A (zh) 基于深度学习的自动驾驶方法、装置和电子设备
CN115879294B (zh) 一种基于多车环境感知的全样车流轨迹生成方法及系统
CN112364800B (zh) 一种基于人工智能的自动驾驶偏离处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination