CN116347385A - 一种面向车路协同的通信感知及边缘计算一体化系统 - Google Patents
一种面向车路协同的通信感知及边缘计算一体化系统 Download PDFInfo
- Publication number
- CN116347385A CN116347385A CN202211737809.3A CN202211737809A CN116347385A CN 116347385 A CN116347385 A CN 116347385A CN 202211737809 A CN202211737809 A CN 202211737809A CN 116347385 A CN116347385 A CN 116347385A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- fusion
- millimeter wave
- wave radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 110
- 238000004364 calculation method Methods 0.000 title claims description 45
- 230000008447 perception Effects 0.000 title claims description 35
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 93
- 238000001514 detection method Methods 0.000 claims description 40
- 238000011176 pooling Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 240000007651 Rubus glaucus Species 0.000 claims description 3
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 3
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000010267 cellular communication Effects 0.000 claims description 2
- 230000001413 cellular effect Effects 0.000 claims description 2
- 239000003638 chemical reducing agent Substances 0.000 claims description 2
- 238000007639 printing Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/502—Proximity
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种面向车路协同的通信感知及边缘计算一体化系统，包括感知及边缘计算单元、路侧通信单元、智能车载终端以及云平台，其中感知及边缘计算单元由毫米波雷达、摄像头和边缘计算模块组成；路侧通信单元由控制模块、通信模块和定位模块组成；智能车载终端获取附近交通目标的类别、距离信息，结合自身交通状态判断是否需要进行刹车避险或者继续行驶操作；云平台收集路侧单元上传的路况信息进行分析处理，将已接入驾驶车辆与交通目标信息打印至云端地图，通过流量、车速、位置进行综合判断，实现宏观交通调控。本发明具有结构简单、方便部署、协同性强、适用于各类场景、易于扩展等优点，在不同场景中能够准确获取交通目标信息，提高道路交通安全性。
Description
技术领域
本发明涉及车路协同技术领域，具体涉及一种面向车路协同的通信感知及边缘计算一体化系统。
背景技术
车路协同系统针对不同的应用场景，有不同的感知和通信需求。由于单一传感器存在感知局限性，无法满足某些场景的精确感知需求，而现有的多传感器融合感知大部分应用于单车智能，虽在一定程度上弥补上了单一传感器的感知能力，但局限于单车的感知盲区，无法进行单车视距外的感知。为了弥补单车视距外的感知盲区，提高车辆行驶的安全性和可靠性，提升路侧端的感知能力显得尤为重要。
发明内容
本发明的目的在于提供一种面向车路协同的通信感知及边缘计算一体化系统，以解决上述背景技术中提出的问题。
实现本发明目的的技术解决方案为：一种面向车路协同的通信感知及边缘计算一体化系统，包括：感知及边缘计算单元、路侧通信单元、智能车载终端以及云平台，其中：
感知及边缘计算单元由毫米波雷达、摄像头和边缘计算模块组成，其中毫米波雷达和摄像头获取路侧交通目标数据；边缘计算模块通过有线方式接收到采集的各类交通目标信息，对强、弱交通参与对象的实时检测、识别与分类，获取路侧范围内的交通目标类型和该目标与主驾驶车辆的相对距离信息；
路侧通信单元由控制模块、通信模块和定位模块组成，其中通信模块包括两类：LTE通信模块与PC5通信模块，分别支持基于V2X的蜂窝通信模式与直连通信模式，与路侧范围内的智能车载终端实现通信互联；路侧通信单元与感知及边缘计算单元中的边缘计算模块通过WiFi通信方式连接，并由控制模块控制通信模块将边缘计算模块所处理得到的数据以MQTT或PC5方式下发到智能车载终端，在不同的应用场景下实现通信模式的切换，同时智能车载终端向路侧通信单元发送车辆基本行驶信息；路侧通信单元通过通信模块将边缘计算模块所处理得到的数据与车辆基本行驶信息以HTTP协议上传到云平台；路侧通信单元通过定位模块确定其经纬度信息，通过将经纬度信息上传到云平台和下发到智能车载终端，从而完成在路侧通信单元在云端地图的信息打印，并实现与智能车载终端位置信息的交换；
智能车载终端获取附近交通目标的类别、距离信息，结合自身交通状态判断是否需要进行刹车避险或者继续行驶操作；
云平台收集路侧单元上传的路况信息进行分析处理，将已接入驾驶车辆与交通目标信息打印至云端地图，通过流量、车速、位置进行综合判断，实现宏观交通调控。
进一步的，所述感知及边缘计算单元中，摄像头通过USB接口连接边缘计算模块，毫米波雷达通过CAN总线连接总线分析仪，CAN总线分析仪通过CAN总线转USB接口连接边缘计算模块，毫米波雷达和摄像头分别获取交通目标数据，并由USB接口实时传输数据到边缘计算模块。
进一步的，所述边缘计算模块基于Jetson Xavier NX套件开发，将毫米波雷达获取的点云数据和摄像头获取的图像数据通过雷视融合目标检测方法进行数据融合，完成交通目标的实时检测，具体方法为：
所述雷视融合目标检测方法包括雷达数据预处理、雷视数据时空对齐、雷视数据融合、融合模型检测步骤，其中雷达数据预处理与雷视数据时空对齐属于前融合部分，负责处理雷达异常数据，并实现毫米波雷达与视觉数据时空坐标系的统一；雷视数据融合与融合模型检测属于后融合部分，负责将包含有效特征的雷达数据在图像垂直平面上进行投影，从而生成包含雷达特征信息的增强图像，最终送入融合模型进行目标检测与识别，雷视融合具体流程为：
第一步，剔除毫米波雷达产生的异常数据：对毫米波雷达采集的原始数据进行预处理，对空目标、静止目标、假目标进行剔除，以避免影响融合目标检测的准确率；
第二步，使摄像头与雷达保持视角的一致：完成摄像头与毫米波雷达的空间坐标系融合，将毫米波雷达数据在视觉数据所在的像素坐标系进行映射，映射顺序分别为毫米波雷达坐标系、三维世界坐标系、摄像头坐标系、图像坐标系以及像素坐标系，按照以上顺序依次进行从毫米波雷达坐标系到二维像素坐标系的转换，使得雷达与图像数据能够实现空间上的一致；
第三步，保证系统的实时性：完成摄像头与毫米波雷达的时间同步，即根据采样频率对两个传感器进行时间帧率的联合标定，计算两者两次采样之间的时间间隔的公倍数，在时间上保证同步；
第四步，完成两种传感器数据的深层次融合：对毫米波雷达和视觉数据进行融合，即将包含有效特征的雷达数据在图像垂直平面上投影，从而将具有RGB三维通道的图像数据进行维度扩展，增加一维雷达数据通道，生成了包含雷达特征信息的增强图像，作为融合目标检测模型的输入，选取的雷达特征信息分别是毫米波雷达散射截面积RCS与距离信息；
第五步，应用摄像头和毫米波雷达的融合数据进行目标识别：融合检测模型基于RetinaNet建立，其主干网络包括毫米波雷达数据通路和融合网络输出数据通路，由7个最大池化层和5个VGG块连接而成，将融合检测模型的输入记作C0，即通过一次毫米波雷达与视觉数据融合生成的初始增强图像，5个最大池化层和5个VGG块组成前5层，在每一层内，毫米波雷达数据通过最大池化层以相应比例对数据进行处理，处理完毕后与上一层输出的融合数据合并到由VGG块构成的融合网络数据通路上进行融合，在本层融合结束后，毫米波雷达数据继续沿通路进入下一层次的最大池化层改变尺寸，再与上一层输出的融合数据合并到由VGG块构成的融合网络数据通路上进行融合，毫米波雷达数据与C0分别通过了5个最大池化层和VGG块，即执行了5次融合操作，输出的融合数据记作C1、C2、C3、C4与C5；剩下2个最大池化层组成后2层，毫米波雷达依次再通过两个最大池化层，此时融合数据不再与之合并，输出的毫米波雷达数据分别为C6、C7；
在融合检测模型的深层次网络引入特征金字塔，分别记作P3、P4、P5、P6与P7，将C3、C4、C5、C6、C7依次送入特征金字塔P3、P4、P5、P6、P7，并在特征金字塔的每个层次对相应的毫米波雷达数据进行合并操作，生成特征输出分别记为X3、X4、X5、X6与X7；
目标分类子网络与边界框回归子网络处理特征金字塔的输出X3、X4、X5、X6与X7，最终生成相应的分类和回归结果。
进一步的，所述路侧通信单元中，控制模块基于树莓派4B开发，通信模块包含LTE与PC5两个子模块，对应于路侧通信单元的两类通信模式，分别采用移远EC20-LTE模块与辰芯CX7101-PC5模块；
在默认情况下，路侧通信单元的控制模块将边缘计算模块获取到的交通目标识别结果，上传到云平台和下发到车载终端App的工具均为4G蜂窝网络，信息传输方式为MQTT，如果在无网络覆盖的场景下，路侧通信单元的通信方式将自动切换为基于PC5模块的直连模式。
进一步的，所述车辆基本驾驶信息为包括部分BSM消息特征的自定义消息，消息体内容包含车辆ID、车辆位置、车辆速度、方向角以及车辆状态。
进一步的，所述摄像头、毫米波雷达、边缘计算模块以及蓄电池放置于同一设备盒中，并保持摄像头和雷达检测视角一致，由蓄电池通过降压器为三者供电，安装于路侧端，所述边缘计算模块与摄像头和毫米波雷达通过有线方式连接；路侧通信单元与边缘计算模块通过WiFi方式传输信息，安装在交通信号灯灯杆上方；智能车载终端App搭载在手机或平板电脑上，放置在车辆中，供驾驶员实时查看下发的路侧信息。
一种面向车路协同的通信感知及边缘计算一体化方法，基于所述的面向车路协同的通信感知及边缘计算一体化系统，实现基于车路协同的通信感知一体化。
本发明与现有技术相比，其显著优点为：1)感知及边缘计算单元与路侧通信单元分离，可以在交叉路口多车道布置多套感知及边缘计算单元，共用同一路侧通信单元进行信息的上传及下发，减少设备的冗余度，有效降低成本。2)系统整合各单元，将车端作为路侧的信息分发节点，将路侧作为车端的通信感知中心，通过各个单元的互联互通可实现在不同场景下的通信、感知与边缘计算的一体化。3)相比于单车融合感知，本系统采用路侧融合感知的方案，将毫米波雷达和摄像头作为感知单元，并采取了一种多层次融合的特征级雷视融合目标检测方法作为核心感知算法，不仅弥补单车视距外的感知盲区的缺陷，还能够满足路侧各类场景感知需求。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明面向车路协同的通信感知及边缘计算一体化系统的整体架构示意图；
图2为本发明面向车路协同的通信感知及边缘计算一体化系统的工作流程示意图。
图3为本发明面向车路协同的通信感知及边缘计算一体化系统的融合检测模型网络结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
面向车路协同系统，为了增强路侧范围内的感知能力，需要准确地提取各传感器在不同时空维度下的数据，对提取到的数据进行融合，再将融合后的数据进行检测与识别，通过V2X通信技术在一定时延范围内将感知结果发送到车辆和云端，从而实现在各类交通场景下的感知和通信。本发明将摄像头和毫米波雷达作为路侧传感器，将其与边缘计算模块、路侧通信单元、智能车载终端以及云平台整合为面向车路协同的一体化系统，旨在实现车端与路侧的通信、感知及边缘计算，其将车端作为路侧的信息分发节点，将路侧作为车端的通信感知中心，通过各个单元的互联互通可实现在不同场景下的通信、感知与预警。
如图1所示，一种基于车路协同和雷视融合的通信感知及边缘计算一体化方法及系统，包括以下部分组成内容：感知及边缘计算单元、路侧通信单元、智能车载终端、云平台。感知及边缘计算单元用于采集视频和毫米波雷达的原始数据，并对数据进行实时检测和识别；路侧通信单元用于进行数据的上传及下发；智能车载终端用于接收路侧信息，并上传车辆行驶信息；云平台将路侧信息和车辆行驶信息收集起来，用于宏观交通调控。
上述各单元，感知及边缘计算单元安装于路侧端，面向路侧的信号灯朝向；路侧通信单元与感知及边缘计算单元通过WiFi方式传输信息，安装在交通信号灯灯杆上方；智能车载终端App搭载在手机或平板电脑上，放置在车辆中，驾驶员可实时查看下发的路侧信息。
下面对各单元的组成设计进行展开介绍。
(一)感知及边缘计算单元
感知及边缘计算单元包括毫米波雷达、摄像头和边缘计算模块，其中摄像头通过USB接口连接边缘计算模块，毫米波雷达通过CAN总线连接总线分析仪，CAN总线分析仪通过CAN总线转USB接口连接边缘计算模块，通过毫米波雷达和摄像头分别获取交通目标数据，并由USB接口实时传输数据到边缘计算模块。本发明中，毫米波雷达使用德国大陆77GHz毫米波雷达ARS408，摄像头使用USB单目摄像头，边缘计算模块使用Jetson Xavier NX套件。边缘计算模块利用Jetson Xavier NX开发套件上部署好的融合感知模型，对于感知及边缘计算单元采集到的视频、雷达原始数据进行数据融合，最后进行实时检测识别，获取到交通目标类型和距离信息。下面简要介绍雷视融合目标检测流程。
第一步，为了剔除毫米波雷达产生的异常数据，需要对毫米波雷达采集的原始数据进行预处理，对空目标、静止目标、假目标进行剔除，避免影响融合目标检测的准确率。
第二步，为了使摄像头与雷达保持视角的一致，首先需要在边缘计算模块上完成摄像头与毫米波雷达的空间坐标系融合，将毫米波雷达数据在视觉数据所在的像素坐标系进行映射，映射顺序分别为毫米波雷达坐标系、三维世界坐标系、摄像头坐标系、图像坐标系以及像素坐标系，按照以上顺序依次进行从毫米波雷达坐标系到二维像素坐标系的转换，使得雷达与图像数据能够实现空间上的一致。
第三步，为了保证系统的实时性，需要在边缘计算模块上完成摄像头与毫米波雷达的时间同步，即根据采样频率对两个传感器进行时间帧率的联合标定，计算两者两次采样之间的时间间隔的公倍数，本发明取0.66s作为时间戳，在时间上保证同步。
第四步，为了完成两种传感器数据的深层次融合，需要对毫米波雷达和视觉数据进行融合，主要操作是将包含有效特征的雷达数据在图像垂直平面上投影，从而将具有RGB三维通道的图像数据进行维度扩展，增加一维雷达数据通道，生成了包含雷达特征信息的增强图像，作为融合目标检测模型的输入，本发明选取的雷达特征信息分别是毫米波雷达散射截面积RCS与距离信息。
第五步，为了应用摄像头和毫米波雷达的融合数据进行目标识别，所以需要搭建深度学习模型，本发明的雷视融合目标检测模型是基于RetinaNet建立的，包括Backbone模块、特征金字塔模块、目标分类与边界框回归模块。Backbone模块采用VGG16网络，特征金字塔模块和目标分类与边界框回归模块均与RetinaNet一致。网络的输入为所述第四步毫米波雷达与视觉数据融合后生成的增强图像，输出为边界框回归坐标、检测出的交通目标类别与分类得分值。
将网络的输入记作C0，即通过一次毫米波雷达与视觉数据融合生成的初始增强图像。融合检测模型主干网络的左侧为毫米波雷达数据通路，右侧为融合网络输出数据通路，由左侧的7个最大池化层和右侧的5个VGG块连接而成。在每一层内，毫米波雷达数据通过最大池化层以相应比例对数据进行处理，处理完毕后与上一层输出的融合数据合并到由VGG块构成的融合网络右侧主管道上。在本层融合结束后，毫米波雷达数据继续沿左侧通路进入下一层次的最大池化层改变尺寸，融合后的数据继续沿右侧通路同样进入下一层次，待左侧毫米波雷达数据完成最大池化后，与其在右侧主管道进行融合。毫米波雷达数据与初始网络输入C0分别通过了5个最大池化层和VGG块，即执行了5次融合操作，输出的融合数据记作C1、C2、C3、C4与C5。然后毫米波雷达依次再通过两个最大池化层，此时融合数据不再与之合并，输出的毫米波雷达数据分别为C6、C7。在融合检测模型中，融合网络的输出数据与毫米波雷达数据在每层依次进行融合，并采用逻辑回归的方式定位最优的融合层次，最后由网络通过学习来确定不同层次的融合权重。
进一步地，在融合检测模型的深层次网络引入特征金字塔，网络结构中分别记作P3、P4、P5、P6与P7，并将C3，C4，C5，C6，C7依次送入特征金字塔，并在特征金字塔的每个层次对相应的雷达通道进行合并操作，生成特征输出分别记为X3、X4、X5、X6与X7，最后通过目标分类子网络与边界框回归子网络处理特征金字塔的输出X3、X4、X5、X6与X7，最终生成相应的分类和回归结果。
经验证，本发明中的雷视融合识别模型具有较高的精度和鲁棒性。
(二)路侧通信单元
路侧通信单元包括控制模块、通信模块和定位模块，其中通信模块和定位模块分别通过USB接口连接到控制模块。本发明中，控制模块基于树莓派4B开发，通信模块采用移远EC20-LTE模块与辰芯CX7101-PC5模块，定位模块采用ATGM332D双模定位模块。通过定位模块可以获取路侧单元的位置信息，控制模块从边缘计算模块获取到处理结果之后，通过通信模块将所处理得到的结果以MQTT或PC5方式下发到智能车载终端App，同时将处理结果和路侧通信单元的位置信息经HTTP协议上传到云平台。
(三)智能车载终端
智能车载终端App搭载在手机或平板电脑上，可以实时获取到路侧通信单元下发的处理结果，驾驶人通过智能车载终端获取到附近交通目标的类别、距离信息，判断是否需要进行刹车避险或者继续行驶操作。同时智能车载终端App向路侧通信单元发送主驾驶车辆的基本行驶信息，包含车辆ID、车辆位置、车辆速度、方位角和车辆状态。
(四)云平台
云平台收集路侧单元上传的路况信息进行分析处理，将已接入驾驶车辆与交通目标信息打印至云端地图，通过流量、车速、位置等信息进行综合判断，进行宏观交通调控。
综上所述，面向车路协同的通信感知及边缘计算一体化系统，以毫米波雷达和摄像头作为传感器，基于边缘计算模块和嵌入式设备实现，提供雷达与视频原始数据采集及预处理；雷达与视频数据时空维度对齐；交通目标检测；数据生成；数据下发及上传；车载终端信息显示；云平台信息显示等功能。
基于此，本发明还提出一种面向车路协同的通信感知及边缘计算一体化方法。首先，感知及边缘计算单元的毫米波雷达和摄像头对交通目标数据进行采集，边缘计算模块获取到雷达和视频原始数据，通过雷视融合目标检测方法进行数据预处理、数据时空同步、数据融合、目标检测与识别，然后将所处理得到的结果发送到路侧通信单元；路侧通信单元将处理结果通过MQTT或PC5方式下发到智能车载终端App，同时将处理结果和路侧通信单元的位置信息经HTTP协议上传到云平台；智能车载终端显示交通目标信息和距离信息；云平台对上传的信息进行汇总、分析和处理，并在网页界面上进行显示，具体实现方案可设计为：
雷视原始数据采集及预处理：将毫米波雷达和摄像头接入Jetson XavierNX套件，采用Python脚本对视觉数据进行收集，并对毫米波雷达CAN报文进行解析，然后对毫米波雷达数据进行预处理，剔除异常信号，最后获取到视觉原始数据和经预处理后的雷达数据。
雷视数据时空维度对齐及融合：将获取到的数据用Python代码进行空间坐标系融合和时间同步，然后将包含RCS和距离信息的雷达数据在时空对齐操作后的图像平面进行投影，生成包含雷达特征信息的增强图像，通过Python脚本将数据进行持续处理，实现雷视数据的时空维度对齐以及融合。
交通目标检测：采用基于RetinaNet建立的，基于特征层融合的深度学习模型，主干网络为VGG16，网络的输入为经过数据融合后生成的增强图像，输出为边界框回归坐标、检测出的交通目标类别与分类得分值，雷达与图像数据在多层网络中分别进行融合，能够保证目标识别的实时性和准确性。
数据生成：通过部署在Jetson Xavier NX套件的基于雷视融合的深度学习模型，对数据进行读取并完成识别检测，生成txt文件，包括交通目标类型和距离信息。
数据下发和上传：路侧通信单元通过定位模块获取到自身位置信息，控制模块从边Jetson XavierNX套件获取到最终处理数据，通过通信模块将结果数据以MQTT或PC5方式下发到智能车载终端App，同时将结果数据和路侧通信单元的位置信息经HTTP协议上传到云平台。
车载终端信息显示：用户通过车载终端APP获取路侧通信单元下发的交通目标信息和距离信息，可以实时对道路情况做出判断，同时App默认向路侧通信单元发送车辆的基本行驶信息，包含车辆ID、车辆位置、车辆速度、方位角和车辆状态。
云平台信息显示：云平台通过收集路侧通信单元上传的打包数据与位置信息，进行汇总、分析和处理，并在网页界面上进行显示，从而实现宏观交通调控。
综上所述，本发明具有以下优势：结构简单，方便部署，协同性强，适用于各类场景，识别效果好，易于扩展，适用于交通目标的实时感知与通信，在不同场景中能够准确获取交通目标信息，提高道路交通安全性，加强道路宏观调控，实现车路协同。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种面向车路协同的通信感知及边缘计算一体化系统，其特征在于，包括：感知及边缘计算单元、路侧通信单元、智能车载终端以及云平台，其中：
感知及边缘计算单元由毫米波雷达、摄像头和边缘计算模块组成，其中毫米波雷达和摄像头获取路侧交通目标数据；边缘计算模块通过有线方式接收到采集的各类交通目标信息，对强、弱交通参与对象的实时检测、识别与分类，获取路侧范围内的交通目标类型和该目标与主驾驶车辆的相对距离信息；
路侧通信单元由控制模块、通信模块和定位模块组成，其中通信模块包括两类：LTE通信模块与PC5通信模块，分别支持基于V2X的蜂窝通信模式与直连通信模式，与路侧范围内的智能车载终端实现通信互联；路侧通信单元与感知及边缘计算单元中的边缘计算模块通过WiFi通信方式连接，并由控制模块控制通信模块将边缘计算模块所处理得到的数据以MQTT或PC5方式下发到智能车载终端，在不同的应用场景下实现通信模式的切换，同时智能车载终端向路侧通信单元发送车辆基本行驶信息；路侧通信单元通过通信模块将边缘计算模块所处理得到的数据与车辆基本行驶信息以HTTP协议上传到云平台；路侧通信单元通过定位模块确定其经纬度信息，通过将经纬度信息上传到云平台和下发到智能车载终端，从而完成在路侧通信单元在云端地图的信息打印，并实现与智能车载终端位置信息的交换；
智能车载终端获取附近交通目标的类别、距离信息，结合自身交通状态判断是否需要进行刹车避险或者继续行驶操作；
云平台收集路侧单元上传的路况信息进行分析处理，将已接入驾驶车辆与交通目标信息打印至云端地图，通过流量、车速、位置进行综合判断，实现宏观交通调控。
2.根据权利要求1所述的面向车路协同的通信感知及边缘计算一体化系统，其特征在于，所述感知及边缘计算单元中，摄像头通过USB接口连接边缘计算模块，毫米波雷达通过CAN总线连接总线分析仪，CAN总线分析仪通过CAN总线转USB接口连接边缘计算模块，毫米波雷达和摄像头分别获取交通目标数据，并由USB接口实时传输数据到边缘计算模块。
3.根据权利要求1所述的面向车路协同的通信感知及边缘计算一体化系统，其特征在于，所述边缘计算模块基于Jetson Xavier NX套件开发，将毫米波雷达获取的点云数据和摄像头获取的图像数据通过雷视融合目标检测方法进行数据融合，完成交通目标的实时检测，具体方法为：
所述雷视融合目标检测方法包括雷达数据预处理、雷视数据时空对齐、雷视数据融合、融合模型检测步骤，其中雷达数据预处理与雷视数据时空对齐属于前融合部分，负责处理雷达异常数据，并实现毫米波雷达与视觉数据时空坐标系的统一；雷视数据融合与融合模型检测属于后融合部分，负责将包含有效特征的雷达数据在图像垂直平面上进行投影，从而生成包含雷达特征信息的增强图像，最终送入融合模型进行目标检测与识别，雷视融合具体流程为：
第一步，剔除毫米波雷达产生的异常数据：对毫米波雷达采集的原始数据进行预处理，对空目标、静止目标、假目标进行剔除，以避免影响融合目标检测的准确率；
第二步，使摄像头与雷达保持视角的一致：完成摄像头与毫米波雷达的空间坐标系融合，将毫米波雷达数据在视觉数据所在的像素坐标系进行映射，映射顺序分别为毫米波雷达坐标系、三维世界坐标系、摄像头坐标系、图像坐标系以及像素坐标系，按照以上顺序依次进行从毫米波雷达坐标系到二维像素坐标系的转换，使得雷达与图像数据能够实现空间上的一致；
第三步，保证系统的实时性：完成摄像头与毫米波雷达的时间同步，即根据采样频率对两个传感器进行时间帧率的联合标定，计算两者两次采样之间的时间间隔的公倍数，在时间上保证同步；
第四步，完成两种传感器数据的深层次融合：对毫米波雷达和视觉数据进行融合，即将包含有效特征的雷达数据在图像垂直平面上投影，从而将具有RGB三维通道的图像数据进行维度扩展，增加一维雷达数据通道，生成了包含雷达特征信息的增强图像，作为融合目标检测模型的输入，选取的雷达特征信息分别是毫米波雷达散射截面积RCS与距离信息；
第五步，应用摄像头和毫米波雷达的融合数据进行目标识别：融合检测模型基于RetinaNet建立，其主干网络包括毫米波雷达数据通路和融合网络输出数据通路，由7个最大池化层和5个VGG块连接而成，将融合检测模型的输入记作C0，即通过一次毫米波雷达与视觉数据融合生成的初始增强图像，5个最大池化层和5个VGG块组成前5层，在每一层内，毫米波雷达数据通过最大池化层以相应比例对数据进行处理，处理完毕后与上一层输出的融合数据合并到由VGG块构成的融合网络数据通路上进行融合，在本层融合结束后，毫米波雷达数据继续沿通路进入下一层次的最大池化层改变尺寸，再与上一层输出的融合数据合并到由VGG块构成的融合网络数据通路上进行融合，毫米波雷达数据与C0分别通过了5个最大池化层和VGG块，即执行了5次融合操作，输出的融合数据记作C1、C2、C3、C4与C5；剩下2个最大池化层组成后2层，毫米波雷达依次再通过两个最大池化层，此时融合数据不再与之合并，输出的毫米波雷达数据分别为C6、C7；
在融合检测模型的深层次网络引入特征金字塔，分别记作P3、P4、P5、P6与P7，将C3、C4、C5、C6、C7依次送入特征金字塔P3、P4、P5、P6、P7，并在特征金字塔的每个层次对相应的毫米波雷达数据进行合并操作，生成特征输出分别记为X3、X4、X5、X6与X7；
目标分类子网络与边界框回归子网络处理特征金字塔的输出X3、X4、X5、X6与X7，最终生成相应的分类和回归结果。
4.根据权利要求1所述的面向车路协同的通信感知及边缘计算一体化系统，其特征在于，所述路侧通信单元中，控制模块基于树莓派4B开发，通信模块包含LTE与PC5两个子模块，对应于路侧通信单元的两类通信模式，分别采用移远EC20-LTE模块与辰芯CX7101-PC5模块；
在默认情况下，路侧通信单元的控制模块将边缘计算模块获取到的交通目标识别结果，上传到云平台和下发到车载终端App的工具均为4G蜂窝网络，信息传输方式为MQTT，如果在无网络覆盖的场景下，路侧通信单元的通信方式将自动切换为基于PC5模块的直连模式。
5.根据权利要求1所述的面向车路协同的通信感知及边缘计算一体化系统，其特征在于，所述车辆基本驾驶信息为包括部分BSM消息特征的自定义消息，消息体内容包含车辆ID、车辆位置、车辆速度、方向角以及车辆状态。
6.根据权利要求1所述的面向车路协同的通信感知及边缘计算一体化系统，其特征在于，所述摄像头、毫米波雷达、边缘计算模块以及蓄电池放置于同一设备盒中，并保持摄像头和雷达检测视角一致，由蓄电池通过降压器为三者供电，安装于路侧端，所述边缘计算模块与摄像头和毫米波雷达通过有线方式连接；路侧通信单元与边缘计算模块通过WiFi方式传输信息，安装在交通信号灯灯杆上方；智能车载终端App搭载在手机或平板电脑上，放置在车辆中，供驾驶员实时查看下发的路侧信息。
7.一种面向车路协同的交通目标感知与通信方法，其特征在于，基于权利要求1-6任一项所述的面向车路协同的通信感知及边缘计算一体化系统，实现面向车路协同的交通目标感知与通信。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211737809.3A CN116347385A (zh) | 2022-12-31 | 2022-12-31 | 一种面向车路协同的通信感知及边缘计算一体化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211737809.3A CN116347385A (zh) | 2022-12-31 | 2022-12-31 | 一种面向车路协同的通信感知及边缘计算一体化系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116347385A true CN116347385A (zh) | 2023-06-27 |
Family
ID=86882887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211737809.3A Pending CN116347385A (zh) | 2022-12-31 | 2022-12-31 | 一种面向车路协同的通信感知及边缘计算一体化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116347385A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116806069A (zh) * | 2023-08-21 | 2023-09-26 | 中电信数字城市科技有限公司 | 路灯控制系统及路灯控制方法 |
| CN117061994A (zh) * | 2023-10-12 | 2023-11-14 | 南京高达软件有限公司 | 一种轨道交通正线与试车线无线通道隔离方法和设备 |
| CN117315432A (zh) * | 2023-11-30 | 2023-12-29 | 北京航空航天大学 | 一种动态多目标识别的车路多模态传感器数据融合方法 |
| CN117456748A (zh) * | 2023-12-25 | 2024-01-26 | 北京华创智芯科技有限公司 | 基于车路协同技术的交通信号智能调控方法及系统 |
| CN117496711A (zh) * | 2023-11-14 | 2024-02-02 | 南京智慧交通信息股份有限公司 | 一种基于5g的人车路一体化智慧交通系统及方法 |
| CN117636671A (zh) * | 2024-01-24 | 2024-03-01 | 四川君迪能源科技有限公司 | 乡村道路智能会车的协同调度方法和系统 |
| CN117864206A (zh) * | 2024-03-11 | 2024-04-12 | 四川九通智路科技有限公司 | 低成本分布式轨道车路协同局部主动报警系统及方法 |
-
2022
- 2022-12-31 CN CN202211737809.3A patent/CN116347385A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116806069A (zh) * | 2023-08-21 | 2023-09-26 | 中电信数字城市科技有限公司 | 路灯控制系统及路灯控制方法 |
| CN116806069B (zh) * | 2023-08-21 | 2023-11-17 | 中电信数字城市科技有限公司 | 路灯控制系统及路灯控制方法 |
| CN117061994A (zh) * | 2023-10-12 | 2023-11-14 | 南京高达软件有限公司 | 一种轨道交通正线与试车线无线通道隔离方法和设备 |
| CN117496711A (zh) * | 2023-11-14 | 2024-02-02 | 南京智慧交通信息股份有限公司 | 一种基于5g的人车路一体化智慧交通系统及方法 |
| CN117315432A (zh) * | 2023-11-30 | 2023-12-29 | 北京航空航天大学 | 一种动态多目标识别的车路多模态传感器数据融合方法 |
| CN117315432B (zh) * | 2023-11-30 | 2024-02-13 | 北京航空航天大学 | 一种动态多目标识别的车路多模态传感器数据融合方法 |
| CN117456748A (zh) * | 2023-12-25 | 2024-01-26 | 北京华创智芯科技有限公司 | 基于车路协同技术的交通信号智能调控方法及系统 |
| CN117456748B (zh) * | 2023-12-25 | 2024-03-05 | 北京华创智芯科技有限公司 | 基于车路协同技术的交通信号智能调控方法及系统 |
| CN117636671A (zh) * | 2024-01-24 | 2024-03-01 | 四川君迪能源科技有限公司 | 乡村道路智能会车的协同调度方法和系统 |
| CN117636671B (zh) * | 2024-01-24 | 2024-04-30 | 四川君迪能源科技有限公司 | 乡村道路智能会车的协同调度方法和系统 |
| CN117864206A (zh) * | 2024-03-11 | 2024-04-12 | 四川九通智路科技有限公司 | 低成本分布式轨道车路协同局部主动报警系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116347385A (zh) | 一种面向车路协同的通信感知及边缘计算一体化系统 | |
| CN107274695B (zh) | 智能照明系统、智能车辆及其车辆辅助驾驶系统和方法 | |
| CN111554088B (zh) | 一种多功能v2x智能路侧基站系统 | |
| CN109920246B (zh) | 一种基于v2x通信与双目视觉的协同局部路径规划方法 | |
| US10565458B2 (en) | Simulation system, simulation program and simulation method | |
| CN110430401B (zh) | 车辆盲区预警方法、预警装置、mec平台和存储介质 | |
| CN112740725B (zh) | 驾驶数据采集方法及装置 | |
| US10678255B2 (en) | Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis | |
| CN112693466A (zh) | 一种车辆环境感知传感器性能测评系统及方法 | |
| CN113870553B (zh) | 一种面向混合交通流的路网运行状态检测系统及方法 | |
| US11148594B2 (en) | Apparatus and method for around view monitoring using lidar | |
| CN111477010A (zh) | 一种用于路口全息感知的装置及其控制方法 | |
| CN114332494A (zh) | 车路协同场景下基于多源融合的三维目标检测与识别方法 | |
| CA3020190C (en) | Intelligent lighting system, intelligent vehicle and auxiliary vehicle driving system and method therefor | |
| CN111311942A (zh) | 基于v2x技术的路况显示方法、系统、v2x终端及v2x服务器 | |
| CN117111085A (zh) | 一种自动驾驶汽车车路云融合感知方法 | |
| CN115236673A (zh) | 一种大型车辆多雷达融合感知系统和方法 | |
| CN113033493A (zh) | 目标物巡检方法、装置、电子设备及存储介质 | |
| CN116092314B (zh) | 一种基于5g和车路协同技术的动态限速提示系统 | |
| CN114845267B (zh) | 一种基于车联网的传感器数据共享方法和装置 | |
| CN113099473A (zh) | 基于实时交通路况的车载短距离通信网的模拟测试方法 | |
| CN115240470A (zh) | 基于nr-v2x的弱势交通参与者碰撞预警系统与方法 | |
| CN112735121A (zh) | 一种基于图像级激光雷达全息感知系统 | |
| EP4212902A1 (en) | Positioning system and calibration method of object location | |
| CN117037545B (zh) | 一种多车超视距协同感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |