CN115257784A - 基于4d毫米波雷达的车路协同系统 - Google Patents
基于4d毫米波雷达的车路协同系统 Download PDFInfo
- Publication number
- CN115257784A CN115257784A CN202210675870.3A CN202210675870A CN115257784A CN 115257784 A CN115257784 A CN 115257784A CN 202210675870 A CN202210675870 A CN 202210675870A CN 115257784 A CN115257784 A CN 115257784A
- Authority
- CN
- China
- Prior art keywords
- road
- data
- information
- vehicle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010039203 Road traffic accident Diseases 0.000 claims abstract description 65
- 230000002159 abnormal effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000002592 echocardiography Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 230000010354 integration Effects 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 239000011435 rock Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000004148 unit process Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
- B60W2050/0031—Mathematical model of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B60W2420/408—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于4D毫米波雷达的车路协同系统,包括:4D毫米波雷达系统单元、云端服务器单元、道路交通信息服务单元和用户终端单元;4D毫米波雷达系统单元发射电磁波并接收目标回波,取车辆信息和道路环境信息,生成道路数据;云端服务器单元接收和存储道路数据,并作为处理道路数据的平台;道路交通信息服务单元判别交通事故,提取道路特征,并识别道路上的异常状况和危险驾驶车辆,得到交通道路信息数据,用户终端单元接收交通道路信息数据,将其转换为3D模型展示给驾驶员,并为自动驾驶系统提供辅助信息。本发明能为有关部门提供全面的道路信息,用于对道路协同管理,并可为驾驶员及自动驾驶系统实时提供辅助驾驶数据,提高驾驶安全性。
Description
技术领域
本发明属于毫米波雷达的探测、雷达信号处理、雷达应用技术领域,也属于智能交通技术领域,特别涉及一种基于4D毫米波雷达的车路协同系统,基于毫米波实现道路信息获取、监控,并实现车路协同。
背景技术
随着车辆增多,交通拥堵及交通事故变得频发,且在未来,自动驾驶汽车将成为主流的交通工具,人们需要新的道路服务产品实现获取融合全面的交通道路信息,保证驾驶员与自动驾驶系统对车辆有效控制,确保有关部门对道路进行实时管理。车路协同系统利用路侧传感器获取道路环境数据,并向自动驾驶系统提供辅助信息以保证自动驾驶安全性,向道路管理部门提供交通细节信息以供实时交通调控,缓解交通拥堵。
现有车路协同技术使用的路测传感器有:激光雷达、毫米波雷达、摄像头传感器。激光雷达是一种新型雷达传感器,它的发射信号及接收信号为波长较短的激光,该雷达探测距离远,精度高,能够对探测到的物体的具体轮廓成像,但成本较高,且由于激光信号的绕射能力弱,在存在恶劣天气,强光干扰,或障碍物遮挡的情况下,激光雷达的探测精度会受到很大影响;摄像头传感器成本较低,且基于摄像头生成图像的信息处理技术较为成熟,但该传感器有数据量大,受环境干扰严重的缺点;毫米波雷达是一种工作在毫米波频段的雷达传感器,传统的毫米波雷达传感器成本较低,能够对目标的速度,距离,方向角进行检测,由于毫米波段电磁波对雨,雾,灰尘等有较强的穿透能力,所以该雷达具有全天候工作的能力,但其相对激光雷达探测精度较低,无法对目标的轮廓、静态环境进行成像。
通过多传感器融合检测的方法可以克服上述传感器单一探测时的局限性,但由于传感器工作原理的差异,对不同类型的传感器数据进行融合检测很难保证获取的信息在时域与空域上的精度,因此采取新的路侧传感器方案,并对其数据进行定制化处理以获取全面,高精度,全天候的道路交通服务信息十分必要。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种基于4D毫米波雷达的车路协同系统,以确保有关部门对道路进行更加有效的实时管理,并为驾驶员及自动驾驶汽车提供更全面的道路信息。
为了实现上述目的,本发明采用的技术方案是:
一种基于4D毫米波雷达的车路协同系统,包括:
4D毫米波雷达系统单元,用于获取车辆信息和道路环境信息,生成道路数据;所述车辆信息包括道路上的车辆的速度、距离、角度和高度;所述道路环境信息包括雷达对道路上各种静态目标所获取的距离、角度和高度信息;所述道路数据包括车辆信息、车辆轨迹和道路环境点云图像;
云端服务器单元,接收和存储4D毫米波雷达系统单元发送的所有道路数据,同时作为处理道路数据的平台;
道路交通信息服务单元,根据云端服务器内部存储的道路数据,判别交通事故,提取道路特征,并识别道路上的异常状况和危险驾驶车辆,得到交通道路信息数据;所述道路特征包括车流量、排队长度、平均速度,所述交通道路信息数据包括任何路段的危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境点云图像,交通事故数据;
用户终端单元,接收云端服务器传输的交通道路信息数据,将其转换为3D模型展示给驾驶员,并为自动驾驶系统提供辅助信息。
在一个实施例中,所述4D毫米波雷达系统单元包括:
天线单元,发射电磁波并接收目标回波,获取车辆以及道路环境的原始数据;
信号处理单元,处理所述原始数据,获得包含车辆信息和道路环境信息的数据集;
速度和距离提取单元,基于CFAR检测算法,从所述数据集求得车辆的速度和距离;
角度计算单元,基于DOA检测算法,从所述数据集获得车辆的角度;所述车辆的角度包括其俯仰角和方向角;
目标跟踪单元,基于车辆的速度、距离和角度,利用卡尔曼滤波算法和航迹起始算法对车辆进行多目标跟踪并生成车辆轨迹;
环境感知单元,基于点云成像算法处理数据集中的道路环境信息,构建道路环境的三维图像,即道路环境点云图像;
信息输出单元,将车辆的速度、距离、角度、车辆轨迹以及道路环境点云图像输出到云端服务器单元;
在一个实施例中,所述道路交通信息服务单元包括:
交通信息获取单元,获取所述道路数据;
交通事故判别单元,利用基于广义回归神经网络的交通事故判别分类算法处理道路环境点云图像,实现交通事故判别,对交通事故所在区域进行标签,并将交通事故信息传输至数据整合发送单元;所述交通事故信息包括:标签出交通事故区域范围的道路环境点云图像;
危险驾驶检测单元,将车辆轨迹与道路环境点云图像按时间、空间匹配,生成完整的交通图像,利用基于广义回归神经网络的深度学习算法处理匹配后的交通图像,通过建立危险驾驶识别模型,对涉及危险驾驶的目标车辆及其具体的违规行为进行标签,并将危险驾驶数据传输至数据整合发送单元;
道路异常检测单元,利用基于YOLOv3的图像检测算法对道路环境点云图像进行处理,训练程序识别道路环境点云图像中的异常状况,对道路异常所在区域及其可能的异常状态进行标签,并将道路异常数据传输至数据整合发送单元;
道路特征提取单元,利用车辆的速度、距离和车辆轨迹,通过数据分析获取道路上车流量、排队长度、道路平均速度作为道路特征,并将道路特征数据传输至数据整合发送单元;
数据整合发送单元:按时间归纳交通事故数据、危险驾驶数据、道路异常数据、道路特征数据,以及道路车辆信息、车辆轨迹信息和道路环境数据,存储上传至交管部门以供随时查询,并向用户终端单元传输危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境数据,以为驾驶员及自动驾驶系统提供有用的道路信息。
在一个实施例中,所述交通事故判别分类算法包括:
首先,对所获取的道路环境点云图像提取空域一阶、二阶偏导数作为对交通事故判别分类的特征,利用该特征确定广义回归神经网络的输入节点,实现神经网络的初始化;
其次,从存储的道路环境点云图像库选择包含各类交通事故的图像组成道路异常检测的训练样本对广义回归神经网络进行学习,并确定网络的实际输出和各层神经元状态;
然后,利用梯度下降算法确定广义回归神经网络的隐含层和输出层间的权值和阈值,根据输出误差对权值和阈值进行更新操作,校正广义神经网络的隐含层节点内部非线性转移函数;
最后,计算交通事故判别分类的误差,如果交通事故判别分类误差达到实际应用要求,则广义回归神经网络终止学习,否则重新选择图像进行学习,至此,完成对交通事故判别分类器的构建,基于构建的交通事故判别分类器进行交通事故判别。
在一个实施例中,所述危险驾驶识别模型能够识别的危险驾驶行为包括超速、强行变更车道、强行超车、占道行驶;所述道路异常包括障碍、落石、坍塌、损坏。
在一个实施例中,所述道路异常数据的识别是标示出异常状况的道路环境点云图像,方法如下:
将存储的道路环境点云图像作为数据集,对数据集通过基础特征提取网络提取特征,得到特征图;
在输入图像上设定与特征图相同大小的网格,如果所需检测的目标即道路异常状况的中心坐标落在该网格,则由该网格对其进行预测;
每个网格预测出三个关联框,最终选择和需检测的目标最相关的关联框来标示出该目标。
在一个实施例中,所述用户终端单元包括:
信息接收单元:接收来自道路交通信息服务单元处理后信息,包括:任何路段的危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境点云图像,交通事故数据;
3D成像单元:将接收到的交通事故数据,危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境数据进行匹配,演算及拟合,建立3D图像模型,最终将道路中行驶车辆模型,道路环境模型,危险驾驶预警模型传输至车辆终端展示,并传输至自动驾驶辅助单元;
自动驾驶辅助单元:将接收到的模型数据处理为自动驾驶系统所能处理的数据形式,通过终端传送至自动驾驶系统,与自动驾驶系统自主获取的信息结合,辅助自动驾驶系统。
与现有技术相比,本发明的有益效果是:
(1)本发明涉及到的4D毫米波雷达系统相比常规的道路交通雷达能够实现对车辆目标高度信息的探测,对道路环境进行点云成像,且成本更低,获取道路信息的精度更高。
(2)本发明涉及到的道路交通信息服务单元,能够处理雷达数据以提取全面的道路信息,并上传全部道路数据至有关部门确保其对道路进行协同管理。
(3)本发明涉及到的车路协同系统,能够对道路交通信息服务单元所获取的道路状态数据进行3D建模,实时展示给驾驶员帮助其在驾驶时做出及时判断,并传输至自动驾驶系统作为辅助信息,提高自动驾驶的安全性。
附图说明
图1是本发明的实现流程图。
图2是本发明的系统结构框图。
图3是本发明的系统应用示意图。
图4是本发明系统中的毫米波雷达系统单元框图。
图5是本发明系统中的云端服务器单元框图。
图6是本发明系统中的道路交通信息服务单元框图。
图7是本发明系统中的用户终端单元框图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
本发明为一种基于4D毫米波雷达的车路协同系统,基于4D毫米波雷达引入车辆高度信息,并对道路环境进行点云成像,实现车路协同管理。
4D毫米波雷达是一种在毫米波雷达传感器基础上发展出的新型传感器,与传统的毫米波雷达相比,它可以对目标的速度,方向,高度,距离四个维度信息进行高精度的检测,可以利用该雷达探测所得数据对动目标的轮廓、类别、行为,以及静态环境进行成像,这意味着该雷达可以满足车路协同系统对路侧传感器性能的需求,包括识别较小的物体,被遮挡的部分物体以及静止物体和横向移动障碍物的检测等,以更高的精度及分辨率、全天候的探测道路上的各种信息。
本发明利用4D毫米波雷达获取数据,并进行处理得到详细的交通信息(如前方道路流量、排队长度、危险驾驶信息、道路异常信息、事故场景信息等)以供有关部门进行交通调控,缓解道路拥堵;同时,处理得到3D建模的道路场景信息,实时展示给驾驶员帮助其在驾驶时做出及时判断,并可传输至自动驾驶系统作为辅助信息,提高自动驾驶的安全性。
具体地,如图1和图2所示,本发明车路协同系统主要包括4D毫米波雷达系统单元、云端服务器单元、道路交通信息服务单元和用户终端单元。
参照图3,本发明系统的应用场景中,安装在道路两旁的4D毫米波雷达获取道路上车辆及道路环境的信息得到目标信息、道路环境信息,并将其发送给云端服务器单元;运行于云端服务器内的道路交通信息服务单元处理接收的信息,处理后得到交通事故数据、道路特征数据、道路异常数据,危险驾驶数据。并将全部交通道路信息上传至有关部门用以交通管理,将能够辅助驾驶的交通道路信息发送给安装在车辆上的用户终端单元。
本发明4D毫米波雷达系统单元主要用于获取车辆信息和道路环境信息,生成道路数据。本发明中,车辆信息包括道路上的车辆的速度、距离、角度和高度。道路环境信息包括雷达对道路上各种静态目标所获取的距离、角度和高度信息。道路数据包括车辆信息、车辆轨迹和道路环境点云图像。
参照图4,本发明4D毫米波雷达系统单元主要包括:天线单元、信号处理单元、速度和距离提取单元、角度计算单元、目标跟踪单元、环境感知单元以及信息输出单元。通过天线单元发射电磁波并接收目标回波,获取道路车辆以及道路环境的原始数据;原始数据经过信号处理单元生成包含车辆信息和道路环境信息的数据集;速度和距离提取单元采用CFAR检测算法从数据集获得车辆目标的速度和距离,并将所得目标速度和距离信息传输至目标跟踪单元及信息输出单元;角度计算单元基于DOA检测算法从数据集获得车辆目标的角度(包括俯仰角和方向角),并将所得角度信息传输至目标跟踪单元及信息输出单元;目标跟踪单元基于车辆的速度、距离和角度,采用卡尔曼滤波算法和航迹起始算法对车辆目标进行多目标跟踪并生成轨迹点数据,即得到了车辆轨迹,将其输入至信息输出单元;环境感知单元则基于点云成像算法,从数据集获取道路环境信息,构建道路环境的三维图像,即道路环境点云图像;信息输出单元将车辆的速度、距离、角度、轨迹以及道路环境点云图像输出到云端服务器单元。
参照图5,云端服务器单元主要包括云服务器,在云服务器,存储4D毫米波雷达系统单元发送的所有道路数据,包括道路车辆信息,车辆轨迹数据,道路环境点云图像,经道路交通信息服务单元处理后所得数据等,并运行处理以上信息的道路交通信息服务单元,作为处理道路数据的平台。
参照图6,本发明道路交通信息服务单元根据云端服务器内部存储的道路数据,判别交通事故,提取道路特征,并识别道路上的异常状况和危险驾驶车辆,其主要包括:交通信息获取单元、交通事故判别单元、危险驾驶检测单元、道路异常检测单元、道路特征提取单元以及数据整合发送单元。通过交通信息获取单元获取前述的道路数据,生成道路交通服务信息。交通事故判别单元判别道路中是否发生有事故;道路特征提取单元获取道路上车流量、排队长度、平均速度作为道路特征;道路异常检测单元对道路上的障碍、落石、坍塌、损坏等异常状况进行检测;危险驾驶检测单元对涉及危险驾驶的目标车辆及其具体的违规数据进行检测,最后将从雷达获取的车辆信息,以及从交通事故判别单元、道路特征提取单元、道路异常检测单元、危险驾驶检测单元获取到的结果传输给数据整合发送单元,并将全部交通道路信息上传至有关部门用以交通管理,将能够辅助驾驶的交通道路信息发送给安装在车辆上的用户终端单元。
具体地,本发明交通事故判别单元利用基于广义回归神经网络的交通事故判别分类算法处理道路环境点云图像,实现交通事故判别,对交通事故所在区域进行标签,并将交通事故信息传输至数据整合发送单元;其中交通事故信息至少包括标签出交通事故区域范围的道路环境点云图像,算法包括:
首先,对所获取的道路环境点云图像提取空域一阶、二阶偏导数作为对交通事故判别分类的特征,利用该特征确定广义回归神经网络的输入节点,实现神经网络的初始化;
其次,从存储的道路环境点云图像库选择包含各类交通事故的图像组成道路异常检测的训练样本对广义回归神经网络进行学习,并确定网络的实际输出和各层神经元状态;
然后,利用梯度下降算法确定广义回归神经网络的隐含层和输出层间的权值和阈值,根据输出误差对权值和阈值进行更新操作,校正广义神经网络的隐含层节点内部非线性转移函数;
最后,计算交通事故判别分类的误差,如果交通事故判别分类误差达到实际应用要求,则广义回归神经网络终止学习,否则重新选择图像进行学习,至此,完成对交通事故判别分类器的构建,基于构建的交通事故判别分类器进行交通事故判别,其识别的危险驾驶行为包括超速、强行变更车道、强行超车、占道行驶等。
本发明危险驾驶检测单元将车辆轨迹与道路环境点云图像按时间、空间匹配,生成完整的交通图像,利用基于广义回归神经网络的深度学习算法处理匹配后的交通图像,通过建立危险驾驶识别模型,对涉及危险驾驶的目标车辆及其具体的违规行为(包括超速,强行变更车道、强行超车、占道行驶等)进行标签,并将危险驾驶数据传输至数据整合发送单元。
本发明道路异常检测单元利用基于YOLOv3的图像检测算法对道路环境点云图像进行处理,训练程序识别道路环境点云图像中的异常状况,对道路异常所在区域及其可能的异常状态进行标签,并将道路异常数据传输至数据整合发送单元,其识别的道路异常包括障碍、落石、坍塌、损坏等。本发明通过标示出异常状况的道路环境点云图像实现道路异常数据的识别,方法如下:
将存储的道路环境点云图像作为数据集,对数据集通过基础特征提取网络提取特征,得到特征图;
在输入图像上设定与特征图相同大小的网格,如果所需检测的目标即道路异常状况的中心坐标落在该网格,则由该网格对其进行预测;
每个网格预测出三个关联框,最终选择和需检测的目标最相关的关联框来标示出该目标。
本发明道路特征提取单元利用车辆的速度、距离和车辆轨迹,通过数据分析获取道路上车流量、排队长度、道路平均速度作为道路特征,并将道路特征数据传输至数据整合发送单元。
本发明数据整合发送单元按时间归纳交通事故数据、危险驾驶数据、道路异常数据、道路特征数据,以及道路车辆信息、车辆轨迹信息和道路环境数据,存储上传至交管部门以供随时查询、下载,并向服务范围内的用户终端单元传输危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境数据,以为驾驶员及自动驾驶系统提供有用的道路信息。
参照图7,本发明用户终端单元接收云端服务器传输的交通道路信息数据(包括任何路段的危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境点云图像,交通事故数据),将其转换为3D模型展示给驾驶员,并为自动驾驶系统提供辅助信息。其主要包括:信息接收单元、3D成像单元以及自动驾驶辅助单元。
信息接收单元接收经由道路交通信息服务单元处理的信息,包括:任何路段的危险驾驶数据、道路异常数据、车辆轨迹信息、道路环境点云图像、交通事故数据等,将这些信息发送给3D成像单元及自动驾驶辅助单元。3D成像单元将接收到的交通事故数据,危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境数据进行匹配,演算,拟合,建立3D图像模型,最终将道路中行驶车辆模型,道路环境模型,危险驾驶预警模型等传输至车辆终端展示,并传输至自动驾驶辅助单元。自动驾驶辅助单元则将接收到的模型数据处理为自动驾驶系统所能处理的数据形式,通过终端传送至自动驾驶系统,与自动驾驶系统自主获取的信息结合,辅助自动驾驶系统。
综上,本发明能为有关部门提供全面的道路信息,用于对道路协同管理,并可为驾驶员及自动驾驶系统实时提供辅助驾驶数据,提高驾驶安全性。
Claims (7)
1.一种基于4D毫米波雷达的车路协同系统,其特征在于,包括:
4D毫米波雷达系统单元,用于获取车辆信息和道路环境信息,生成道路数据;所述车辆信息包括道路上的车辆的速度、距离、角度和高度;所述道路环境信息包括雷达对道路上各种静态目标所获取的距离、角度和高度信息;所述道路数据包括车辆信息、车辆轨迹和道路环境点云图像;
云端服务器单元,接收和存储4D毫米波雷达系统单元发送的所有道路数据,同时作为处理道路数据的平台;
道路交通信息服务单元,根据云端服务器内部存储的道路数据,判别交通事故,提取道路特征,并识别道路上的异常状况和危险驾驶车辆,得到交通道路信息数据;所述道路特征包括车流量、排队长度、平均速度,所述交通道路信息数据包括任何路段的危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境点云图像,交通事故数据;
用户终端单元,接收云端服务器传输的交通道路信息数据,将其转换为3D模型展示给驾驶员,并为自动驾驶系统提供辅助信息。
2.根据权利要求1所述基于4D毫米波雷达的车路协同系统,其特征在于,所述4D毫米波雷达系统单元包括:
天线单元,发射电磁波并接收目标回波,获取车辆以及道路环境的原始数据;
信号处理单元,处理所述原始数据,获得包含车辆信息和道路环境信息的数据集;
速度和距离提取单元,基于CFAR检测算法,从所述数据集求得车辆的速度和距离;
角度计算单元,基于DOA检测算法,从所述数据集获得车辆的角度;所述车辆的角度包括其俯仰角和方向角;
目标跟踪单元,基于车辆的速度、距离和角度,利用卡尔曼滤波算法和航迹起始算法对车辆进行多目标跟踪并生成车辆轨迹;
环境感知单元,基于点云成像算法处理数据集中的道路环境信息,构建道路环境的三维图像,即道路环境点云图像;
信息输出单元,将车辆的速度、距离、角度、车辆轨迹以及道路环境点云图像输出到云端服务器单元。
3.根据权利要求1所述基于4D毫米波雷达的车路协同系统,其特征在于,所述道路交通信息服务单元包括:
交通信息获取单元,获取所述道路数据;
交通事故判别单元,利用基于广义回归神经网络的交通事故判别分类算法处理道路环境点云图像,实现交通事故判别,对交通事故所在区域进行标签,并将交通事故信息传输至数据整合发送单元;所述交通事故信息包括:标签出交通事故区域范围的道路环境点云图像;
危险驾驶检测单元,将车辆轨迹与道路环境点云图像按时间、空间匹配,生成完整的交通图像,利用基于广义回归神经网络的深度学习算法处理匹配后的交通图像,通过建立危险驾驶识别模型,对涉及危险驾驶的目标车辆及其具体的违规行为进行标签,并将危险驾驶数据传输至数据整合发送单元;
道路异常检测单元,利用基于YOLOv3的图像检测算法对道路环境点云图像进行处理,训练程序识别道路环境点云图像中的异常状况,对道路异常所在区域及其可能的异常状态进行标签,并将道路异常数据传输至数据整合发送单元;
道路特征提取单元,利用车辆的速度、距离和车辆轨迹,通过数据分析获取道路上车流量、排队长度、道路平均速度作为道路特征,并将道路特征数据传输至数据整合发送单元;
数据整合发送单元:按时间归纳交通事故数据、危险驾驶数据、道路异常数据、道路特征数据,以及道路车辆信息、车辆轨迹信息和道路环境数据,存储上传至交管部门以供随时查询,并向用户终端单元传输危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境数据,以为驾驶员及自动驾驶系统提供有用的道路信息。
4.根据权利要求3所述基于4D毫米波雷达的车路协同系统,其特征在于,所述交通事故判别分类算法包括:
首先,对所获取的道路环境点云图像提取空域一阶、二阶偏导数作为对交通事故判别分类的特征,利用该特征确定广义回归神经网络的输入节点,实现神经网络的初始化;
其次,从存储的道路环境点云图像库选择包含各类交通事故的图像组成道路异常检测的训练样本对广义回归神经网络进行学习,并确定网络的实际输出和各层神经元状态;
然后,利用梯度下降算法确定广义回归神经网络的隐含层和输出层间的权值和阈值,根据输出误差对权值和阈值进行更新操作,校正广义神经网络的隐含层节点内部非线性转移函数;
最后,计算交通事故判别分类的误差,如果交通事故判别分类误差达到实际应用要求,则广义回归神经网络终止学习,否则重新选择图像进行学习,至此,完成对交通事故判别分类器的构建,基于构建的交通事故判别分类器进行交通事故判别。
5.根据权利要求3所述基于4D毫米波雷达的车路协同系统,其特征在于,所述危险驾驶识别模型能够识别的危险驾驶行为包括超速、强行变更车道、强行超车、占道行驶;所述道路异常包括障碍、落石、坍塌、损坏。
6.根据权利要求3所述基于4D毫米波雷达的车路协同系统,其特征在于,所述道路异常数据的识别是标示出异常状况的道路环境点云图像,方法如下:
将存储的道路环境点云图像作为数据集,对数据集通过基础特征提取网络提取特征,得到特征图;
在输入图像上设定与特征图相同大小的网格,如果所需检测的目标即道路异常状况的中心坐标落在该网格,则由该网格对其进行预测;
每个网格预测出三个关联框,最终选择和需检测的目标最相关的关联框来标示出该目标。
7.根据权利要求1所述基于4D毫米波雷达的车路协同系统,其特征在于,所述用户终端单元包括:
信息接收单元:接收来自道路交通信息服务单元处理后信息,包括:任何路段的危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境点云图像,交通事故数据;
3D成像单元:将接收到的交通事故数据,危险驾驶数据,道路异常数据,车辆轨迹信息,道路环境数据进行匹配,演算及拟合,建立3D图像模型,最终将道路中行驶车辆模型,道路环境模型,危险驾驶预警模型传输至车辆终端展示,并传输至自动驾驶辅助单元;
自动驾驶辅助单元:将接收到的模型数据处理为自动驾驶系统所能处理的数据形式,通过终端传送至自动驾驶系统,与自动驾驶系统自主获取的信息结合,辅助自动驾驶系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210675870.3A CN115257784A (zh) | 2022-06-15 | 2022-06-15 | 基于4d毫米波雷达的车路协同系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210675870.3A CN115257784A (zh) | 2022-06-15 | 2022-06-15 | 基于4d毫米波雷达的车路协同系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115257784A true CN115257784A (zh) | 2022-11-01 |
Family
ID=83761147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210675870.3A Pending CN115257784A (zh) | 2022-06-15 | 2022-06-15 | 基于4d毫米波雷达的车路协同系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115257784A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229726A (zh) * | 2023-05-08 | 2023-06-06 | 湖南车路协同智能科技有限公司 | 用于调控目标道路车辆行驶状态的车路协同方法及系统 |
CN116504070A (zh) * | 2023-06-27 | 2023-07-28 | 苏州旭安交通科技有限公司 | 一种结合道路特征的交通事故预警方法及系统 |
CN116630909A (zh) * | 2023-06-16 | 2023-08-22 | 广东特视能智能科技有限公司 | 基于无人机的无人值守智能监控系统及其方法 |
CN116884214A (zh) * | 2023-07-10 | 2023-10-13 | 珠海大横琴城市公共资源经营管理有限公司 | 市政车辆的监测预警方法及系统 |
CN117727183A (zh) * | 2024-02-18 | 2024-03-19 | 南京淼瀛科技有限公司 | 结合车路协同的自动驾驶安全预警方法及系统 |
CN117727183B (zh) * | 2024-02-18 | 2024-05-17 | 南京淼瀛科技有限公司 | 结合车路协同的自动驾驶安全预警方法及系统 |
-
2022
- 2022-06-15 CN CN202210675870.3A patent/CN115257784A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229726A (zh) * | 2023-05-08 | 2023-06-06 | 湖南车路协同智能科技有限公司 | 用于调控目标道路车辆行驶状态的车路协同方法及系统 |
CN116229726B (zh) * | 2023-05-08 | 2023-08-08 | 湖南车路协同智能科技有限公司 | 用于调控目标道路车辆行驶状态的车路协同方法及系统 |
CN116630909A (zh) * | 2023-06-16 | 2023-08-22 | 广东特视能智能科技有限公司 | 基于无人机的无人值守智能监控系统及其方法 |
CN116630909B (zh) * | 2023-06-16 | 2024-02-02 | 广东特视能智能科技有限公司 | 基于无人机的无人值守智能监控系统及其方法 |
CN116504070A (zh) * | 2023-06-27 | 2023-07-28 | 苏州旭安交通科技有限公司 | 一种结合道路特征的交通事故预警方法及系统 |
CN116504070B (zh) * | 2023-06-27 | 2023-09-05 | 苏州旭安交通科技有限公司 | 一种结合道路特征的交通事故预警方法及系统 |
CN116884214A (zh) * | 2023-07-10 | 2023-10-13 | 珠海大横琴城市公共资源经营管理有限公司 | 市政车辆的监测预警方法及系统 |
CN116884214B (zh) * | 2023-07-10 | 2024-01-26 | 珠海大横琴城市公共资源经营管理有限公司 | 市政车辆的监测预警方法及系统 |
CN117727183A (zh) * | 2024-02-18 | 2024-03-19 | 南京淼瀛科技有限公司 | 结合车路协同的自动驾驶安全预警方法及系统 |
CN117727183B (zh) * | 2024-02-18 | 2024-05-17 | 南京淼瀛科技有限公司 | 结合车路协同的自动驾驶安全预警方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
CN107161141B (zh) | 无人驾驶汽车系统及汽车 | |
CN107346612B (zh) | 一种基于车联网的车辆防碰撞方法和系统 | |
CN115257784A (zh) | 基于4d毫米波雷达的车路协同系统 | |
US20190204834A1 (en) | Method and apparatus for object detection using convolutional neural network systems | |
CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警系统 | |
CN112693466A (zh) | 一种车辆环境感知传感器性能测评系统及方法 | |
US20060111841A1 (en) | Method and apparatus for obstacle avoidance with camera vision | |
CN110400478A (zh) | 一种路况通知方法及装置 | |
CN104290753A (zh) | 一种前方车辆运动状态追踪预测装置及其预测方法 | |
WO2022184127A1 (zh) | 一种车辆、传感器的仿真方法及装置 | |
CN113706737B (zh) | 基于自动驾驶车辆的路面巡检系统及方法 | |
US10839263B2 (en) | System and method for evaluating a trained vehicle data set familiarity of a driver assitance system | |
CN111094095B (zh) | 自动地感知行驶信号的方法、装置及运载工具 | |
CN111477010A (zh) | 一种用于路口全息感知的装置及其控制方法 | |
CN112379674B (zh) | 一种自动驾驶设备及系统 | |
CN112116031A (zh) | 基于路侧设备的目标融合方法、系统、车辆及存储介质 | |
KR102093237B1 (ko) | 비접촉식 자동 차량 감지기를 이용한 차종 분류시스템 | |
CN111551938A (zh) | 一种基于矿区环境的无人驾驶技术感知融合方法 | |
CN110007669A (zh) | 一种用于汽车的智能驾驶避障方法 | |
CN111796287A (zh) | 一种自动驾驶汽车道路数据采集分析装置 | |
CN112784679A (zh) | 车辆避障方法和装置 | |
CN111123262A (zh) | 自动驾驶3d建模方法、装置及系统 | |
DE102022131625A1 (de) | Bordsteinbasierte merkmalsextraktion für lokalisierung und fahrspurerkennung mittels radar | |
CN204124125U (zh) | 一种前方车辆运动状态追踪预测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |