CN112950678A - 一种基于车路协同的超视距融合感知系统 - Google Patents

一种基于车路协同的超视距融合感知系统 Download PDF

Info

Publication number
CN112950678A
CN112950678A CN202110317097.9A CN202110317097A CN112950678A CN 112950678 A CN112950678 A CN 112950678A CN 202110317097 A CN202110317097 A CN 202110317097A CN 112950678 A CN112950678 A CN 112950678A
Authority
CN
China
Prior art keywords
vehicle
road
target
surrounding environment
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110317097.9A
Other languages
English (en)
Inventor
张培志
余卓平
史戈松
王晓
蒋屹晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Intelligent New Energy Vehicle Technology Innovation Platform Co ltd
Original Assignee
Shanghai Intelligent New Energy Vehicle Technology Innovation Platform Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Intelligent New Energy Vehicle Technology Innovation Platform Co ltd filed Critical Shanghai Intelligent New Energy Vehicle Technology Innovation Platform Co ltd
Priority to CN202110317097.9A priority Critical patent/CN112950678A/zh
Publication of CN112950678A publication Critical patent/CN112950678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/40—Transportation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本发明涉及一种基于车路协同的超视距融合感知系统，车端感知子系统用于获取车辆周边环境结构化特征信息；路端感知子系统用于获取路端周边环境结构化特征信息；通讯子系统，包括无线通信方式连接的路端通讯模块和车端通讯模块；协同感知子系统利用粒子滤波算法，经过坐标转换后，将车辆周边环境结构化特征信息和路端周边环境结构化特征信息进行融合，得到超视距融合感知。与现有技术相比，本发明基于LTE‑V、5G等先进车联网技术，充分利用车端传感信息及路端传感信息，通过目标级的感知融合技术，来提高目标的检测视场范围及检测精度，克服了仅依靠单车感知手段在路口、障碍物遮挡等存在单车感知盲区而导致感知失效的缺陷。

Description

一种基于车路协同的超视距融合感知系统
技术领域
本发明涉及智能网联汽车感知领域，尤其是涉及一种基于车路协同的超视距融合感知系统。
背景技术
随着汽车普及量的不断上升，汽车已经成为一种常用的交通工具，为了满足用户的需要，智能化成为汽车发展的方向。在智能网联汽车领域，环境感知系统是智能网联汽车的关键系统之一，环境感知的视场覆盖范围以及准确性直接关系到自动驾驶的安全性。而目前智能网联汽车主要依靠车辆装载的摄像头、激光雷达、毫米波雷达等传感器进行感知，这种仅依靠单车感知的手段无法适用于路口、障碍物遮挡等存在单车感知盲区的场景，因此极易引发交通事故。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于车路协同的超视距融合感知系统，基于LTE-V、5G等先进车联网技术，充分利用车端传感信息及路端传感信息，通过目标级的感知融合技术，来提高目标的检测视场范围及检测精度，克服了仅依靠单车感知手段在路口、障碍物遮挡等存在单车感知盲区而导致感知失效的缺陷。
本发明的目的可以通过以下技术方案来实现：
一种基于车路协同的超视距融合感知系统，包括：车端感知子系统、路端感知子系统、通讯子系统和协同感知子系统，其中：
车端感知子系统，用于获取车辆周边环境结构化特征信息并将其通过以太网传输至协同感知子系统，包括车端传感模块和车端数据处理模块；
路端感知子系统，用于获取路端周边环境结构化特征信息并将其通过通讯子系统传输至协同感知子系统，包括路端传感模块和路端数据处理模块；
通讯子系统，包括路端通讯模块和车端通讯模块，所述路端通讯模块通过以太网与路端感知子系统通信连接，所述车端通讯模块通过以太网与协同感知子系统通信连接；路端通讯模块与车端通讯模块之间通过无线通信方式连接；
协同感知子系统，所述协同感知子系统利用粒子滤波算法，经过坐标转换后，将车辆周边环境结构化特征信息和路端周边环境结构化特征信息进行融合，得到超视距融合感知。
进一步的，所述车端传感模块包括车端摄像头，车端激光雷达和车端毫米波雷达，所述车端摄像头用于采集车辆周边环境图像数据并将其传输至车端数据处理模块，所述车端激光雷达用于采集车辆周边环境点云数据并将其传输至车端数据处理模块，所述车端毫米波雷达用于获取第一车辆周边目标特征信息并将其传输至车端数据处理模块。
更进一步的，所述车端数据处理模块基于预先训练的深度学习神经网络，利用车辆周边环境图像数据和车辆周边环境点云数据，得到第二车辆周边目标特征信息；利用粒子滤波算法，经过坐标转换后，将第一车辆周边目标特征信息和第二车辆周边目标特征信息进行融合，得到车辆周边环境结构化特征信息。
更进一步的，车端数据处理模块得到第二车辆周边目标特征信息的具体过程为：
基于预先训练的深度学习神经网络，利用降噪处理后的车辆周边环境图像数据得到多个目标及各个目标的特征信息；基于预先训练的深度学习神经网络，利用降噪处理后的车辆周边环境点云数据得到多个目标及各个目标的特征信息；利用粒子滤波算法，经过坐标转换后，将基于车辆周边环境图像数据得到的目标及目标的特征信息与基于车辆周边环境点云数据得到的目标及目标的特征信息进行融合，得到第二车辆周边目标特征信息。
更进一步的，所述目标包括行人、车牌、车辆、道路、交通标志和其他障碍物；目标的特征信息基于UTM坐标系，包括目标ID、时间戳、目标类型、X坐标、Y坐标、目标航向角、长度、宽度、高度、平面X轴速度、平面Y轴速度、平面X轴加速度、平面Y轴加速度、目标跟踪状态和目标运动状态。
进一步的，所述路端传感模块包括路端摄像头和路端激光雷达，路端传感模块的安装位置为路口，所述路端摄像头用于采集路端周边环境图像数据并将其传输至路端数据处理模块，所述路端激光雷达用于采集路端周边环境点云数据并将其传输至路端数据处理模块。
更进一步的，所述路端数据处理模块基于预先训练的深度学习神经网络，利用路端周边环境图像数据和路端周边环境点云数据，得到路端周边环境结构化特征信息。
更进一步的，路端数据处理模块得到路端周边环境结构化特征信息的具体过程为：
基于预先训练的深度学习神经网络，利用降噪处理后的路端周边环境图像数据得到多个目标及各个目标的特征信息；基于预先训练的深度学习神经网络，利用降噪处理后的路端周边环境点云数据得到多个目标及各个目标的特征信息；利用粒子滤波算法，经过坐标转换后，将基于路端周边环境图像数据得到的目标及目标的特征信息与基于路端周边环境点云数据得到的目标及目标的特征信息进行融合，得到路端周边环境结构化特征信息。
更进一步的，所述目标包括行人、车牌、车辆、道路、交通标志和其他障碍物；目标的特征信息基于UTM坐标系，包括目标ID、时间戳、目标类型、X坐标、Y坐标、目标航向角、长度、宽度、高度、平面X轴速度、平面Y轴速度、平面X轴加速度、平面Y轴加速度、目标跟踪状态和目标运动状态。
进一步的，所述路端通讯模块与车端通讯模块之间的无线通信方式包括5G、LTE-V和DSRC通信。
与现有技术相比，本发明基于LTE-V、5G等先进车联网技术，充分利用车端传感信息及路端传感信息，通过目标级的感知融合技术，来提高目标的检测视场范围及检测精度，克服了仅依靠单车感知手段在路口、障碍物遮挡等存在单车感知盲区而导致感知失效的缺陷。
附图说明
图1为本发明的结构示意图；
图2为超视距融合感知系统的数据流动示意图；
附图标记：1、车端感知子系统，11、车端传感模块，111、车端摄像头，112、车端激光雷达，113、车端毫米波雷达，12、车端数据处理模块，2、路端感知子系统，21、路端传感模块，211、路端摄像头，212、路端激光雷达，22、路端数据处理模块，3、通讯子系统，31、路端通讯模块，32、车端通讯模块，4、协同感知子系统。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1：
一种基于车路协同的超视距融合感知系统，包括：车端感知子系统1、路端感知子系统2、通讯子系统3和协同感知子系统4，其中：
车端感知子系统1，用于获取车辆周边环境结构化特征信息并将其通过以太网传输至协同感知子系统4，包括车端传感模块11和车端数据处理模块12；
路端感知子系统2，用于获取路端周边环境结构化特征信息并将其通过通讯子系统3传输至协同感知子系统4，包括路端传感模块21和路端数据处理模块22；
通讯子系统3，包括路端通讯模块31和车端通讯模块32，路端通讯模块31通过以太网与路端感知子系统2通信连接，车端通讯模块32通过以太网与协同感知子系统4通信连接；路端通讯模块31与车端通讯模块31之间通过无线通信方式连接；路端通讯模块31与车端通讯模块32之间的无线通信方式包括5G、LTE-V和DSRC通信。在行驶的车辆上安装了车端通讯模块32，设置了位置固定的路端通讯模块31，路端通讯模块31与车端通讯模块32之间基于LTE-V、5G等先进车联网技术通信，信息传输更加可靠。
车端数据处理模块12将车辆周边环境结构化特征信息通过以太网传输至协同感知子系统4；路端数据处理模块22将路端周边环境结构化特征信息通过以太网传输至路端通讯模块31，路端通讯模块31再通过5G或LTE-V或DSRC等通信方式将路端周边环境结构化特征信息发送至车端通讯模块32，从而被协同感知子系统4获取。
协同感知子系统4，协同感知子系统4利用粒子滤波算法，经过坐标转换后，将车辆周边环境结构化特征信息和路端周边环境结构化特征信息进行融合，得到超视距融合感知。
车端传感模块11包括车端摄像头111，车端激光雷达112和车端毫米波雷达113，车端摄像头111用于采集车辆周边环境图像数据并将其传输至车端数据处理模块12，车端激光雷达112用于采集车辆周边环境点云数据并将其传输至车端数据处理模块12，车端毫米波雷达113用于获取第一车辆周边目标特征信息并将其传输至车端数据处理模块12。
本实施例中，车端摄像头111为单目摄像头，通过以太网将车辆周边环境图像数据传输至车端数据处理模块12；车端激光雷达112为32线束激光雷达，通过以太网将车辆周边环境点云数据传输至车端数据处理模块12；车端毫米波雷达113为中远距毫米波雷达，通过CAN总线将第一车辆周边目标特征信息传输至车端数据处理模块12。
车端数据处理模块12基于预先训练的深度学习神经网络，利用车辆周边环境图像数据和车辆周边环境点云数据，得到第二车辆周边目标特征信息；利用粒子滤波算法，经过坐标转换后，将第一车辆周边目标特征信息和第二车辆周边目标特征信息进行融合，得到车辆周边环境结构化特征信息。
车端数据处理模块12得到第二车辆周边目标特征信息的具体过程为：基于预先训练的深度学习神经网络，利用降噪处理后的车辆周边环境图像数据得到多个目标及各个目标的特征信息；基于预先训练的深度学习神经网络，利用降噪处理后的车辆周边环境点云数据得到多个目标及各个目标的特征信息；利用粒子滤波算法，经过坐标转换后，将基于车辆周边环境图像数据得到的目标及目标的特征信息与基于车辆周边环境点云数据得到的目标及目标的特征信息进行融合，得到第二车辆周边目标特征信息。
目标包括行人、车牌、车辆、道路、交通标志和其他障碍物；目标的特征信息基于UTM坐标系，包括目标ID、时间戳、目标类型、X坐标、Y坐标、目标航向角、长度、宽度、高度、平面X轴速度、平面Y轴速度、平面X轴加速度、平面Y轴加速度、目标跟踪状态和目标运动状态。通过获取行人、车牌、车辆、道路、交通标志和其他障碍物的特征信息，可以更好地保证自动驾驶的安全性。
基于图像数据，更容易进行目标的类型的判定，基于点云数据，对距离的判断更精准，本申请基于车端摄像头111获取的车辆周边环境图像数据得到多个目标及各个目标的特征信息，基于车端激光雷达112获取的车辆周边环境点云数据得到多个目标及各个目标的特征信息，之后进行融合，得到第二车辆周边目标特征信息，发挥了摄像头和激光雷达的优势，检测到的目标及特征信息更加准确。
车端毫米波雷达113可以直接得到第一车辆周边目标特征信息，为了进一步提升精确度，将第一车辆周边目标特征信息与得到第二车辆周边目标特征信息再次融合。
路端传感模块21包括路端摄像头211和路端激光雷达212，路端传感模块21的安装位置为路口，路端摄像头211用于采集路端周边环境图像数据并将其传输至路端数据处理模块22，路端激光雷达211用于采集路端周边环境点云数据并将其传输至路端数据处理模块22。
路端传感模块21安装在路口，如常规路口和十字路口，能够获取更加全面的数据，以应对复杂多变的交通环境。
本实施例中，路端摄像头211为双目摄像头，将路端周边环境图像数据通过以太网传输至路端数据处理模块22，路端激光雷达211为高线束激光雷达，将路端周边环境点云数据通过以太网传输至路端数据处理模块22。
路端数据处理模块22基于预先训练的深度学习神经网络，利用路端周边环境图像数据和路端周边环境点云数据，得到路端周边环境结构化特征信息。
路端数据处理模块22得到路端周边环境结构化特征信息的具体过程为：基于预先训练的深度学习神经网络，利用降噪处理后的路端周边环境图像数据得到多个目标及各个目标的特征信息；基于预先训练的深度学习神经网络，利用降噪处理后的路端周边环境点云数据得到多个目标及各个目标的特征信息；利用粒子滤波算法，经过坐标转换后，将基于路端周边环境图像数据得到的目标及目标的特征信息与基于路端周边环境点云数据得到的目标及目标的特征信息进行融合，得到路端周边环境结构化特征信息。
目标包括行人、车牌、车辆、道路、交通标志和其他障碍物；目标的特征信息基于UTM坐标系，包括目标ID、时间戳、目标类型、X坐标、Y坐标、目标航向角、长度、宽度、高度、平面X轴速度、平面Y轴速度、平面X轴加速度、平面Y轴加速度、目标跟踪状态和目标运动状态。
基于图像数据，更容易进行目标的类型的判定，基于点云数据，对距离的判断更精准，本申请基于路端摄像头211获取的路端周边环境图像数据得到多个目标及各个目标的特征信息，基于路端激光雷达212获取的路端周边环境点云数据得到多个目标及各个目标的特征信息，之后进行融合，得到路端周边环境结构化特征信息，发挥了摄像头和激光雷达的优势，检测到的目标及特征信息更加准确。
在进行车牌识别时，识别方法包括基于模板匹配的字符识别算法和基于特征统计匹配法；在进行行人识别时，识别方法包括基于特征分类的行人识别方法、基于模型的行人识别方法、基于形状模型的行人识别方法、小波变换和支持向量机、神经网络方法等；在进行道路识别时，识别流程为：原始图像采集、图像灰度化，图像滤波、图像二值化(图像边缘增强和图像边缘检测)、车道线提取；在进行交通标志识别时，识别流程为：原始图像采集、图像预处理、图像分割检测、图像特征提取、交通标志识别。
由于在车端和路端的摄像头、激光雷达等的安装位置是固定的，仅依靠车端的车端摄像头111，车端激光雷达112和车端毫米波雷达113可能会出现盲区，因此，将路端周边环境结构化特征信息和车端周边环境结构化特征信息进行融合，既提高了检测目标的准确性，也扩大了检测范围。
在车端，先基于车端摄像头111和车端激光雷达112获取的数据进行目标检测，将结果进行融合，发挥了摄像头和激光雷达的优势，检测到的目标及特征信息更加准确，再将结果与车端毫米波雷达113检测的目标特征信息进行融合，降低了误差；在路端，基于路端摄像头211和路端激光雷达212获取的数据进行目标检测，将结果进行融合，发挥了摄像头和激光雷达的优势，检测到的目标及特征信息更加准确；最后将车端和路端得到的目标特征信息进行融合，既提高了检测目标的准确性，也扩大了检测范围。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于车路协同的超视距融合感知系统，其特征在于，包括：车端感知子系统(1)、路端感知子系统(2)、通讯子系统(3)和协同感知子系统(4)，其中：
车端感知子系统(1)，用于获取车辆周边环境结构化特征信息并将其通过以太网传输至协同感知子系统(4)，包括车端传感模块(11)和车端数据处理模块(12)；
路端感知子系统(2)，用于获取路端周边环境结构化特征信息并将其通过通讯子系统(3)传输至协同感知子系统(4)，包括路端传感模块(21)和路端数据处理模块(22)；
通讯子系统(3)，包括路端通讯模块(31)和车端通讯模块(32)，所述路端通讯模块(31)通过以太网与路端感知子系统(2)通信连接，所述车端通讯模块(32)通过以太网与协同感知子系统(4)通信连接；路端通讯模块(31)与车端通讯模块(31)之间通过无线通信方式连接；
协同感知子系统(4)，所述协同感知子系统(4)利用粒子滤波算法，经过坐标转换后，将车辆周边环境结构化特征信息和路端周边环境结构化特征信息进行融合，得到超视距融合感知。
2.根据权利要求1所述的一种基于车路协同的超视距融合感知系统，其特征在于，所述车端传感模块(11)包括车端摄像头(111)，车端激光雷达(112)和车端毫米波雷达(113)，所述车端摄像头(111)用于采集车辆周边环境图像数据并将其传输至车端数据处理模块(12)，所述车端激光雷达(112)用于采集车辆周边环境点云数据并将其传输至车端数据处理模块(12)，所述车端毫米波雷达(113)用于获取第一车辆周边目标特征信息并将其传输至车端数据处理模块(12)。
3.根据权利要求2所述的一种基于车路协同的超视距融合感知系统，其特征在于，所述车端数据处理模块(12)基于预先训练的深度学习神经网络，利用车辆周边环境图像数据和车辆周边环境点云数据，得到第二车辆周边目标特征信息；利用粒子滤波算法，经过坐标转换后，将第一车辆周边目标特征信息和第二车辆周边目标特征信息进行融合，得到车辆周边环境结构化特征信息。
4.根据权利要求3所述的一种基于车路协同的超视距融合感知系统，其特征在于，车端数据处理模块(12)得到第二车辆周边目标特征信息的具体过程为：
基于预先训练的深度学习神经网络，利用降噪处理后的车辆周边环境图像数据得到多个目标及各个目标的特征信息；基于预先训练的深度学习神经网络，利用降噪处理后的车辆周边环境点云数据得到多个目标及各个目标的特征信息；利用粒子滤波算法，经过坐标转换后，将基于车辆周边环境图像数据得到的目标及目标的特征信息与基于车辆周边环境点云数据得到的目标及目标的特征信息进行融合，得到第二车辆周边目标特征信息。
5.根据权利要求4所述的一种基于车路协同的超视距融合感知系统，其特征在于，所述目标包括行人、车牌、车辆、道路、交通标志和其他障碍物；目标的特征信息基于UTM坐标系，包括目标ID、时间戳、目标类型、X坐标、Y坐标、目标航向角、长度、宽度、高度、平面X轴速度、平面Y轴速度、平面X轴加速度、平面Y轴加速度、目标跟踪状态和目标运动状态。
6.根据权利要求1所述的一种基于车路协同的超视距融合感知系统，其特征在于，所述路端传感模块(21)包括路端摄像头(211)和路端激光雷达(212)，路端传感模块(21)的安装位置为路口，所述路端摄像头(211)用于采集路端周边环境图像数据并将其传输至路端数据处理模块(22)，所述路端激光雷达(211)用于采集路端周边环境点云数据并将其传输至路端数据处理模块(22)。
7.根据权利要求6所述的一种基于车路协同的超视距融合感知系统，其特征在于，所述路端数据处理模块(22)基于预先训练的深度学习神经网络，利用路端周边环境图像数据和路端周边环境点云数据，得到路端周边环境结构化特征信息。
8.根据权利要求7所述的一种基于车路协同的超视距融合感知系统，其特征在于，路端数据处理模块(22)得到路端周边环境结构化特征信息的具体过程为：
基于预先训练的深度学习神经网络，利用降噪处理后的路端周边环境图像数据得到多个目标及各个目标的特征信息；基于预先训练的深度学习神经网络，利用降噪处理后的路端周边环境点云数据得到多个目标及各个目标的特征信息；利用粒子滤波算法，经过坐标转换后，将基于路端周边环境图像数据得到的目标及目标的特征信息与基于路端周边环境点云数据得到的目标及目标的特征信息进行融合，得到路端周边环境结构化特征信息。
9.根据权利要求8所述的一种基于车路协同的超视距融合感知系统，其特征在于，所述目标包括行人、车牌、车辆、道路、交通标志和其他障碍物；目标的特征信息基于UTM坐标系，包括目标ID、时间戳、目标类型、X坐标、Y坐标、目标航向角、长度、宽度、高度、平面X轴速度、平面Y轴速度、平面X轴加速度、平面Y轴加速度、目标跟踪状态和目标运动状态。
10.根据权利要求1所述的一种基于车路协同的超视距融合感知系统，其特征在于，所述路端通讯模块(31)与车端通讯模块(32)之间的无线通信方式包括5G、LTE-V和DSRC通信。
CN202110317097.9A 2021-03-25 2021-03-25 一种基于车路协同的超视距融合感知系统 Pending CN112950678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110317097.9A CN112950678A (zh) 2021-03-25 2021-03-25 一种基于车路协同的超视距融合感知系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110317097.9A CN112950678A (zh) 2021-03-25 2021-03-25 一种基于车路协同的超视距融合感知系统

Publications (1)

Publication Number Publication Date
CN112950678A true CN112950678A (zh) 2021-06-11

Family

ID=76228081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110317097.9A Pending CN112950678A (zh) 2021-03-25 2021-03-25 一种基于车路协同的超视距融合感知系统

Country Status (1)

Country Link
CN (1) CN112950678A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689695A (zh) * 2021-08-11 2021-11-23 上海智能网联汽车技术中心有限公司 路侧感知系统的数据采集、可视化和标定的方法及系统
CN113763738A (zh) * 2021-09-14 2021-12-07 上海智能网联汽车技术中心有限公司 车路协同系统路侧感知与车端感知实时匹配的方法及系统
CN113848921A (zh) * 2021-09-29 2021-12-28 中国第一汽车股份有限公司 车路云协同感知的方法和系统
CN113895442A (zh) * 2021-10-11 2022-01-07 苏州智加科技有限公司 一种基于路侧与车端协同感知的车辆行驶决策方法及系统
CN114084129A (zh) * 2021-10-13 2022-02-25 武汉光庭信息技术股份有限公司 一种基于融合的车辆自动驾驶控制方法及系统
CN114622469A (zh) * 2022-01-28 2022-06-14 南通威而多专用汽车制造有限公司 一种自动敷旧线控制系统及其控制方法
CN114783184A (zh) * 2022-04-19 2022-07-22 江苏大学 一种基于车、路、无人机信息融合的超视距感知系统
CN114884994A (zh) * 2022-05-09 2022-08-09 山东高速建设管理集团有限公司 一种基于迁移学习的车路协同信息融合方法及系统
CN115002196A (zh) * 2022-05-25 2022-09-02 国汽智图(北京)科技有限公司 一种数据处理方法、装置、车端采集设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108986450A (zh) * 2018-07-25 2018-12-11 北京万集科技股份有限公司 车辆环境感知方法、终端及系统
CN111476999A (zh) * 2020-01-17 2020-07-31 武汉理工大学 基于车路多传感器协同的智能网联汽车超视距感知系统
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108986450A (zh) * 2018-07-25 2018-12-11 北京万集科技股份有限公司 车辆环境感知方法、终端及系统
CN111476999A (zh) * 2020-01-17 2020-07-31 武汉理工大学 基于车路多传感器协同的智能网联汽车超视距感知系统
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689695B (zh) * 2021-08-11 2022-07-08 上海智能网联汽车技术中心有限公司 路侧感知系统的数据采集、可视化和标定的方法及系统
CN113689695A (zh) * 2021-08-11 2021-11-23 上海智能网联汽车技术中心有限公司 路侧感知系统的数据采集、可视化和标定的方法及系统
CN113763738A (zh) * 2021-09-14 2021-12-07 上海智能网联汽车技术中心有限公司 车路协同系统路侧感知与车端感知实时匹配的方法及系统
CN113763738B (zh) * 2021-09-14 2022-11-11 上海智能网联汽车技术中心有限公司 车路协同系统路侧感知与车端感知实时匹配的方法及系统
CN113848921A (zh) * 2021-09-29 2021-12-28 中国第一汽车股份有限公司 车路云协同感知的方法和系统
CN113848921B (zh) * 2021-09-29 2023-10-13 中国第一汽车股份有限公司 车路云协同感知的方法和系统
CN113895442A (zh) * 2021-10-11 2022-01-07 苏州智加科技有限公司 一种基于路侧与车端协同感知的车辆行驶决策方法及系统
CN114084129A (zh) * 2021-10-13 2022-02-25 武汉光庭信息技术股份有限公司 一种基于融合的车辆自动驾驶控制方法及系统
CN114622469A (zh) * 2022-01-28 2022-06-14 南通威而多专用汽车制造有限公司 一种自动敷旧线控制系统及其控制方法
CN114783184A (zh) * 2022-04-19 2022-07-22 江苏大学 一种基于车、路、无人机信息融合的超视距感知系统
CN114884994A (zh) * 2022-05-09 2022-08-09 山东高速建设管理集团有限公司 一种基于迁移学习的车路协同信息融合方法及系统
CN115002196A (zh) * 2022-05-25 2022-09-02 国汽智图(北京)科技有限公司 一种数据处理方法、装置、车端采集设备
CN115002196B (zh) * 2022-05-25 2024-01-26 国汽智图(北京)科技有限公司 一种数据处理方法、装置、车端采集设备

Similar Documents

Publication Publication Date Title
CN112950678A (zh) 一种基于车路协同的超视距融合感知系统
CN110077399B (zh) 一种基于道路标线、车轮检测融合的车辆防碰撞方法
CN109844762B (zh) 车载用图像处理装置
Gandhi et al. Pedestrian protection systems: Issues, survey, and challenges
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
JP4871909B2 (ja) 物体認識装置、および物体認識方法
CN107991671A (zh) 一种基于雷达数据和视频信号融合识别危险目标的方法
CN111797741A (zh) 车辆检测方法、装置、车辆和存储介质
Arenado et al. Monovision‐based vehicle detection, distance and relative speed measurement in urban traffic
CN102685516A (zh) 立体视觉主动安全辅助驾驶方法
CN114419874B (zh) 基于路侧感知设备数据融合的目标行车安全风险预警方法
CN113568002A (zh) 基于激光和图像数据融合的轨道交通主动障碍物检测装置
CN113160594B (zh) 变化点检测装置以及地图信息发布系统
CN110682907A (zh) 一种汽车防追尾控制系统及方法
CN114415171A (zh) 一种基于4d毫米波雷达的汽车可行驶区域检测方法
Cualain et al. Multiple-camera lane departure warning system for the automotive environment
CN114783184A (zh) 一种基于车、路、无人机信息融合的超视距感知系统
CN114155720A (zh) 一种路侧激光雷达的车辆检测和轨迹预测方法
CN113870246A (zh) 一种基于深度学习的障碍物探测和识别方法
CN113064193A (zh) 一种基于车路云协同的组合定位系统
CN116311113A (zh) 一种基于车载单目摄像头的驾驶环境感知方法
Pan et al. Vision-based Vehicle Forward Collision Warning System Using Optical Flow Algorithm.
Beresnev et al. Automated Driving System based on Roadway and Traffic Conditions Monitoring.
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210611