CN117315432B - 一种动态多目标识别的车路多模态传感器数据融合方法 - Google Patents
一种动态多目标识别的车路多模态传感器数据融合方法 Download PDFInfo
- Publication number
- CN117315432B CN117315432B CN202311616549.9A CN202311616549A CN117315432B CN 117315432 B CN117315432 B CN 117315432B CN 202311616549 A CN202311616549 A CN 202311616549A CN 117315432 B CN117315432 B CN 117315432B
- Authority
- CN
- China
- Prior art keywords
- data
- fusion
- vehicle
- sensor
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000003139 buffering effect Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 11
- 238000004891 communication Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 230000005484 gravity Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本申请涉及智能交通系统领域，提供了一种动态多目标识别的车路多模态传感器数据融合方法，用于解决车路协同环境下不同端侧的同构、异构传感器信息交换与融合问题，并在通过信息协同实现多目标的识别与跟踪。其基于现有通信设备实现车载端和路侧端的信息互联，将相应的传感器数据由车载端、路侧端发送至边缘计算中心，实现不同端在时间、空间上的配准；针对异构与同构传感器数据，分别自适应的采用数据集、特征级、目标级的融合算法，在数据融合的基础上实现目标识别与跟踪。本申请可以拓展单车车载传感器的感知局限，同时将感知计算重心放置于边缘设施，有效降低车载单元计算负载，对于推动智能交通系统发展以及自动驾驶落地有重要意义。
Description
技术领域
本申请涉及智能交通技术领域，主要涉及车路协同融合感知，尤其涉及一种动态多目标识别的车路多模态传感器数据融合方法。
背景技术
本部分的陈述仅仅是提供了与本申请相关的背景技术信息，不必然构成在先技术。
网联化智能汽车的研发需要融合智能汽车和车联网两大领域技术，其技术内涵涉及汽车、信息通信、交通等诸多领域。目标识别是感知领域及其重要的一环，现在的自动驾驶汽车通常会搭载摄像头、激光雷达、毫米波雷达等多个传感器，以得到更精确的目标识别结果。但单车智能由于传感器特性以及感知范围的局限性，不能很有效的满足复杂环境下的感知要求。同时，面向网联化智能汽车群体安全保障的感知任务不仅仅涉及车端融合感知，还涉车端-路侧等多个层级信息的融合感知、多物理场景特征的表达和关联，目前针对网联环境下多源数据融合感知以及车路云协同感知解决方案亟待进一步拓展，并需要将云计算、移动边缘计算范式引入车路云协同感知框架中，实现基于车-车、车-路的双向融合感知技术，从而进一步实现一体化、全方位、跨区域数据融合感知与数据共享，增强智能汽车的行驶安全性。
发明内容
有鉴于此，本申请提供一种动态多目标识别的车路多模态传感器数据融合方法。该方法是一种用于动态多目标识别的车路多模态传感器数据自适应融合方法，在该方法中首先提出一种融合架构用于解决车路协同环境下不同端侧的同构、异构传感器信息交换与融合问题，其次在信息协同的基础上实现了多目标的识别与跟踪。
本申请解决现有技术存在的问题所采用的技术方案是：
本申请提供了一种动态多目标识别的车路多模态传感器数据融合方法，包括以下步骤：
第一步：进行软件架构设计；
所述软件架构包括信息采集层、数据协同层、自适应融合层和目标识别层；信息采集层，用于依托各传感器进行信息采集；数据协同层，用于依托边缘计算设施进行传感器信息同步；自适应融合层，用于依托边缘计算设施进行数据融合；目标识别层，用于依托边缘计算设施进行车路协同场景下的目标识别与跟踪；
第二步：进行硬件架构设计；
第三步：通过信息采集层对数据进行采集，通过数据协同层对数据进行对齐与配准；
第四步：通过自适应融合层对数据进行融合；
第五步：通过目标识别层对融合数据进行识别与跟踪，然后返回第三步。
优选地，
所述硬件架构，采用车-边-云端多终端架构；
其中：
所述信息采集层所需硬件部署于硬件架构的车端、边端；
所述数据协同层、自适应融合层、目标识别层所需硬件均部署于硬件架构的边端；
所述硬件架构的车端与边端连接，边端与云端连接。
优选地，
所述数据协同层包括：
基于时间戳的多模态数据时间同步模块，用于通过基于时间戳的多模态数据时间同步方法对多模态同构、异构数据进行软件层面的时间对齐；
基于联合标定与坐标变换的空间同步模块，用于通过基于联合标定与坐标变换的空间同步方法对多模态同构、异构数据进行空间配准。
优选地，
所述自适应融合层包括：
传感器融合模式自适应判断模块，用于对多模态数据进行融合方法判断；
异构传感器融合模块，用于对异构传感器的数据进行特征级融合和目标级融合；
同构传感器融合模块，用于对同构传感器的数据进行数据级融合。
优选地，
所述目标识别层包括：
目标识别模块，通过传统识别方法、深度学习识别方法对融合数据进行识别；
目标跟踪模块，通过传统跟踪方法、基于深度学习的跟踪方法实现对融合数据的跟踪。
优选地，
所述基于时间戳的多模态数据时间同步方法包括以下步骤：
第一步，开辟数据缓存区；在边侧设备开辟多个线程分别用于接收和存储硬件架构中车端与边端的传感器数据；
第二步，确定融合频率；所需数据每经过约定时间进行一次融合，该融合频率小于所需融合传感器的最小频率；
第三步，数据修正；到达融合时间时，对缓冲区中车端的传感器数据结合当前跟踪的车辆目标速度数据进行修正。
优选地，
所述传感器融合模式自适应判断模块包括以下步骤：
第一步，确定传感器类型；
第二步，根据传感器数据内容，确定当前帧数需要进行数据融合的传感器，包括同构传感器和异构传感器；
第三步，确定所需融合算法；
第四步，输出融合算法标识。
优选地，
所述同构传感器融合的数据，包括车端的毫米波雷达数据与边端毫米波雷达数据、车端激光雷达数据与边端激光雷达数据、车端摄像头数据与边端摄像头数据；
所述异构传感器融合的数据，包括车端激光雷达与边端摄像头，车端毫米波雷达与边端摄像头数据。
优选地，
所述融合算法标识用于调用后续模块中的融合算法。
优选地，
所述特征级融合的方法包含步骤如下：
第一步，将车载激光雷达数据坐标变换到路侧激光雷达坐标系；
第二步，将车载激光雷达数据与路侧激光雷达数据在上述路侧激光雷达坐标系内进行拼接，实现二者统一；
第三步，将统一后的激光雷达数据坐标变换到路侧摄像头坐标系，对每个点进行标号；
第四步，通过透视投影将激光雷达点云映射到摄像机图像上，同时建立两者对应关系；
第五步，通过Range投影将激光雷达点云映射到Range图像上，同时建立两者对应关系；
第六步，根据第四步和第五步筛选出共有投射点，将摄像头RGB信息映射到激光雷达上，再次使用Range投影，输出摄像头与激光雷达共有信息的range图像；
第七步，分离上一步中共有信息的range图像中的RGB通道与激光雷达的xyzi通道，形成两张稠密化的特征图像，完成异构传感器数据的特征级数据融合；所述特征图像用于后续进行双流特征提取。
与现有技术相比，本申请的有益效果是：
1. 构建一种用于动态多目标识别的车路多模态传感器数据自适应融合方法，该方法通过以信息采集层、数据协同层、自适应融合层、目标识别层在内的四个基本流程，可以实现传感器同构、异构在多个端侧情况下的数据融合以及目标识别。
2. 提出一种基于时间戳的多模态数据时间同步方法，该方法建立在硬件进行了时钟同步的基础上，能有效对运动过程中的数据进行修正。
3. 提出一种传感器融合模式自适应判断方法，该方法可以根据当前缓冲区的存储数据自适应进行传感器融合方法的选择，实现传感器有效信息的最大化利用。
4. 提出一种激光雷达与摄像头进行特征级融合的方法，该方法针对激光雷达和摄像头两种异构传感器，在建立像素、点云之间的映射关系后，提出一种可以融合激光雷达xyzi数据以及摄像头RGB数据的方法，可以一次实现特征级的融合。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本申请提供的一种动态多目标识别的车路多模态传感器数据融合方法的架构；
图2为本申请提供的一种动态多目标识别的车路多模态传感器数据融合方法的流程。
具体实施方式
下面结合附图与实施例对本申请作进一步说明。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本申请提供的一种动态多目标识别的车路多模态传感器数据融合方法，其架构参考图1所示，方法的流程参考图2所示，本实施例中的一种动态多目标识别的车路多模态传感器数据融合方法，包括以下步骤：
第一步：进行软件架构设计；
所述软件架构包括信息采集层、数据协同层、自适应融合层和目标识别层；信息采集层，用于依托各传感器进行信息采集；数据协同层，用于依托边缘计算设施进行传感器信息同步；自适应融合层，用于依托边缘计算设施进行数据融合；目标识别层，用于依托边缘计算设施进行车路协同场景下的目标识别与跟踪；
第二步：进行硬件架构设计；
第三步：通过信息采集层对数据进行采集，通过数据协同层对数据进行对齐与配准；
第四步：通过自适应融合层对数据进行融合；
第五步：通过目标识别层对融合数据进行识别与跟踪，然后返回第三步。
本实施例中的一种动态多目标识别的车路多模态传感器数据融合方法包括构建针对多目标识别任务的协同融合系统架构，其包括软件架构及其所依托的硬件架构，所述软件架构包括：
信息采集层，用于依托各传感器进行信息采集；
所述信息采集层主要功能如下所述：
依托在车载以及路侧部署的传感器进行信息采集，通常情况下包含六路数据，假设车端和边端都部署了毫米波雷达、摄像头、激光雷达等传感器，以一个边缘计算节点为中心，其分别采集数据表示如下：
车载激光雷达数据car_lidar_info，包括：当前的车辆唯一编号；车辆位置/>，即当前车辆中心所在经纬度；激光雷达相对车辆中心坐标/>；经过车载计算单元处理后的点云数据集合/>,其中包含/>个点，任意点/>的四维格式为，其中/>为点云在车载激光雷达坐标系下的三维位置，/>为反射强度；当前数据的时间戳/>。
车载摄像头数据car_camera_info，包括：当前的车辆唯一编号；车辆位置/>，即当前车辆中心所在经纬度；/>个摄像头数据，每个摄像头数据包括摄像头编号/>、摄像头/>相对车辆中心的坐标/>、当前摄像头采集图像信息；当前数据的时间戳为/>。
车载毫米波雷达数据car_radar_info，包括：当前的车辆唯一编号；车辆位置/>，即当前车辆中心所在经纬度；/>多个毫米波雷达数据，每个毫米波雷达数据包括雷达编号、其相对车辆中心坐标/>、当前雷达采集的信息，当前数据的时间戳/>。
路侧激光雷达数据edge_lidar_info，包括：当前激光雷达唯一编号，当前激光雷达经纬度信息/>；点云数据集合/>,其中包含/>个点，任意点/>的四维格式为，其中/>为点云在路侧激光雷达坐标系下的三维位置，/>为反射强度；当前数据的时间戳/>。
路侧摄像头数据包edge_camera_info，包括：当前路侧摄像头唯一编号，当前路侧摄像头采集图像信息；当前数据的时间戳/>。
路侧毫米波雷达数据edge_rader_info，包括：当前路侧毫米波雷达唯一编号，当前路侧毫米波雷达采集信息；当前数据的时间戳/>。
所述数据协同层包括：
基于时间戳的多模态数据时间同步模块，用于通过基于时间戳的多模态数据时间同步方法对多模态同构、异构数据进行软件层面的时间对齐；基于联合标定与坐标变换的空间同步模块，用于通过基于联合标定与坐标变换的空间同步方法对多模态同构、异构数据进行空间配准。
数据协同层，用于依托边缘计算设施进行传感器信息同步；
所述数据协同用到两种方法，一是基于时间戳的多模态数据时间同步方法，用于对多模态同构、异构数据进行软件层面的时间对齐；另一个是基于联合标定与坐标变换的空间同步方法，用于对多模态同构、异构数据进行空间配准，其中：
基于时间戳的多模态数据时间同步方法：
该方法建立于已有硬件层面时钟同步基础上，其步骤如下所述：
第一步，开辟数据缓存区；在边侧设备开辟多个线程分别用于接收和存储硬件架构中车端与边端的传感器数据；
第二步，确定融合频率；所需数据每经过约定时间进行一次融合，该融合频率小于所需融合传感器的最小频率；
第三步，数据修正；到达融合时间时，对缓冲区中车端的传感器数据结合当前跟踪的车辆目标速度数据进行修正。
具体地，在一些实施例中，其步骤为：
第一步：开辟数据缓存区。在边侧设备开个线程/>用于接收和存储信息采集层的数据，其中对于每个线程/>具有缓冲容量/>,当接收到的数据超过该容量时，对之前的数据进行舍弃；
第二步：确定融合频率。所需数据每经过定量时间进行一次融合，该融合频率应小于所有需要融合的线程频率即：/>；
第三步：到达融合时间时，对缓冲区中车端的传感器数据结合当前跟踪的车辆目标速度数据进行修正，有修正公式：/>，其中/>为每个缓冲区中点云或者雷达的位置信息，/>为数据采集过程中的时间误差。
基于坐标变换的多模态数据空间同步方法：
由于激光雷达、毫米波雷达、摄像头探测场景一般属于刚体，传感器的坐标配准的实质是通过刚体变换方法将两个非同一坐标系下的数据变换至同一个参考坐标系，因此：
假设两个待配准传感器分别由表示，其中/>为源传感器，/>为目标传感器，有配准公式：
。
其中表示标准3/>3正交旋转矩阵，主要用于描述传感器的旋转运动，/>是3/>1的平移向量，用于表示传感器的平移运动，有：
，/>。
虽然旋转矩阵包含9个元素，但由于/>是正交矩阵，具有6个约束，所以旋转矩阵/>独立的参数仅有3个，有：
基于以上公式，可知旋转矩阵R有多种三参数独立表示法。通过标定和定位信息解算出刚体变换矩阵，即可在此基础上实现多模态数据的空间同步。
自适应融合层，用于依托边缘计算设施进行数据融合，所述数据融合包括目标级、特征级、数据级数据融合；
所述自适应融合层包括传感器融合模式自适应判断模块和同构传感器数据级融合模块，以及异构传感器特征级融合模块，其中：
传感器融合模式自适应判断模块，用于对多模态数据进行融合方法判断；
异构传感器融合模块，用于对异构传感器的数据进行特征级融合和目标级融合；
同构传感器融合模块，用于对同构传感器的数据进行数据级融合。
传感器融合模式自适应判断模块的判断方法包含以下步骤：
所述传感器融合模式自适应判断模块包括以下步骤：
第一步，确定传感器类型；即确定数据协同层与协同缓冲区的传感器类型，通常包含毫米波雷达、摄像头、激光雷达；
第二步，根据传感器数据内容，确定当前帧数需要进行数据融合的传感器，包括同构传感器和异构传感器；所述同构传感器融合的数据，包括车端的毫米波雷达数据与边端毫米波雷达数据、车端激光雷达数据与边端激光雷达数据、车端摄像头数据与边端摄像头数据；
所述异构传感器融合的数据，包括车端激光雷达与边端摄像头，车端毫米波雷达与边端摄像头数据。
第三步，确定所需融合算法；该算法根据上述第二步的接收内容进行确定，由相应的场景进行自行构建；
第四步，输出融合算法标识；所述融合算法标识用于调用后续模块中的融合算法。
对于同构传感器数据级融合模块，其针对路侧和车载端的同构激光雷达进行数据级融合，采用基于点云曲率特征的关键点提取算法（ISS）提取的点云同步算法步骤如下：
假设路侧和车载端的同构激光雷达的点云数据共有个，任意点云/>的三维坐标为/>，该算法计算步骤如下：
第一步：以同一激光点云的任意点为坐标原点建立局部坐标系，并对所有查询点设定其搜索半径/>；
第二步：查询点云集中点/>与其邻域半径/>区域内各点的欧式距离，并由如下公式计算权重值/>；
第三步：计算得到任意点与其邻域内所有点的协方差矩阵/>, 如下公式所示：
第四步：计算上述协方差矩阵的所有特征值/>，并进行降序排列；
第五步：设置阈值与/>，当特征值满足公式如下公式，则点/>即为ISS特征点；
第六步：重复第一步至第五步的步骤，直到完成所有点的查询。
对于异构传感器特征级融合模块，其针对路侧激光雷达、路侧摄像头、车载激光雷达进行特征级融合，包含以下步骤：
第一步，将车载激光雷达数据坐标变换到路侧激光雷达坐标系；
第二步，将车载激光雷达数据与路侧激光雷达数据在上述路侧激光雷达坐标系内进行拼接，实现二者统一；
第三步，将统一后的激光雷达数据坐标变换到路侧摄像头坐标系，对每个点进行标号；
第四步，通过透视投影将激光雷达点云映射到摄像机图像上，同时建立两者对应关系；
第五步，通过Range投影将激光雷达点云映射到Range图像上，同时建立两者对应关系；
第六步，根据第四步和第五步筛选出共有投射点，将摄像头RGB信息映射到激光雷达上，再次使用Range投影，输出摄像头与激光雷达共有信息的range图像；
第七步，分离上一步中共有信息的range图像中的RGB通道与激光雷达的xyzi通道，形成两张稠密化的特征图像，完成异构传感器数据的特征级数据融合；所述特征图像用于后续进行双流特征提取。
目标识别层，用于依托边缘计算设施进行车路协同场景下的目标识别与跟踪，包括目标识别模块和目标跟踪模块，其中：
所述目标识别层包括：
目标识别模块，通过传统识别方法、深度学习识别方法对融合数据进行目标识别；
目标跟踪模块，通过传统跟踪方法、基于深度学习的跟踪方法实现对融合数据即识别结果进行跟踪。
所述硬件架构，采用车-边-云端多终端架构；
其中：
所述信息采集层所需硬件部署于硬件架构的车端、边端；
所述数据协同层、自适应融合层、目标识别层所需硬件均部署于硬件架构的边端；
所述硬件架构的车端与边端连接，边端与云端连接，在一些实施例中，所述硬件架构的车端与边端通过无线网络连接，边端与云端通过有线网络连接，其目的是为了保证数据传输的便捷和可靠。
本申请提供的一种动态多目标识别的车路多模态传感器数据融合方法可以实现车端和路端的协同感知，优化数据融合效果，拓展单车目标识别的局限性，有效降低车载单元计算负载，可以实现车路协同环境下鲁棒性更高的目标识别，对推动车路协同的落地有重要意义。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本申请的具体实施方式进行了描述，但并非对本申请保护范围的限制，所属领域技术人员应该明白，在本申请的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本申请的保护范围以内。
Claims (7)
1.一种动态多目标识别的车路多模态传感器数据融合方法，其特征在于，包括以下步骤：
第一步：进行软件架构设计；
所述软件架构包括信息采集层、数据协同层、自适应融合层和目标识别层；信息采集层，用于依托各传感器进行信息采集；数据协同层，用于依托边缘计算设施进行传感器信息同步；自适应融合层，用于依托边缘计算设施进行数据融合；目标识别层，用于依托边缘计算设施进行车路协同场景下的目标识别与跟踪；
第二步：进行硬件架构设计；
第三步：通过信息采集层对数据进行采集，通过数据协同层对数据进行对齐与配准；
第四步：通过自适应融合层对数据进行融合；
第五步：通过目标识别层对融合数据进行识别与跟踪，然后返回第三步；
所述数据协同层包括：
基于时间戳的多模态数据时间同步模块，用于通过基于时间戳的多模态数据时间同步方法对多模态同构、异构数据进行软件层面的时间对齐；
基于联合标定与坐标变换的空间同步模块，用于通过基于联合标定与坐标变换的空间同步方法对多模态同构、异构数据进行空间配准；
所述基于时间戳的多模态数据时间同步方法包括以下步骤：
第一步，开辟数据缓存区；在边侧设备开辟多个线程分别用于接收和存储硬件架构中车端与边端的传感器数据；
第二步，确定融合频率；所需数据每经过约定时间进行一次融合，该融合频率小于所需融合传感器的最小频率；
第三步，数据修正；到达融合时间时，对缓冲区中车端的传感器数据结合当前跟踪的车辆目标速度数据进行修正；
其步骤为：
第一步：开辟数据缓存区，在边侧设备开个线程/>用于接收和存储信息采集层的数据，其中对于每个线程/>具有缓冲容量/>,当接收到的数据超过该容量时，对之前的数据进行舍弃；
第二步：确定融合频率，所需数据每经过定量时间进行一次融合，该融合频率应小于所有需要融合的线程频率即：/>；
第三步：到达融合时间时，对缓冲区中车端的传感器数据结合当前跟踪的车辆目标速度数据进行修正，有修正公式：，其中/>为每个缓冲区中点云或者雷达的位置信息，/>为数据采集过程中的时间误差；
所述自适应融合层包括：
传感器融合模式自适应判断模块，用于对多模态数据进行融合方法判断；
异构传感器融合模块，用于对异构传感器的数据进行特征级融合和目标级融合；
同构传感器融合模块，用于对同构传感器的数据进行数据级融合；
对于同构传感器数据级融合模块，其针对路侧和车载端的同构激光雷达进行数据级融合，采用基于点云曲率特征的关键点提取算法提取的点云同步算法步骤如下：
假设路侧和车载端的同构激光雷达的点云数据共有个，任意点云/>的三维坐标为，该算法计算步骤如下：
第一步：以同一激光点云的任意点为坐标原点建立局部坐标系，并对所有查询点设定其搜索半径/>；
第二步：查询点云集中点/>与其邻域半径/>区域内各点的欧式距离，并由如下公式计算权重值/>；
第三步：计算得到任意点与其邻域内所有点的协方差矩阵/>, 如下公式所示：
第四步：计算上述协方差矩阵的所有特征值/>，并进行降序排列；
第五步：设置阈值与/>，当特征值满足公式如下公式，则点/>即为ISS特征点；
第六步：重复第一步至第五步的步骤，直到完成所有点的查询。
2.根据权利要求1所述的一种动态多目标识别的车路多模态传感器数据融合方法，其特征在于：
所述硬件架构，采用车-边-云端多终端架构；
其中：
所述信息采集层所需硬件部署于硬件架构的车端、边端；
所述数据协同层、自适应融合层、目标识别层所需硬件均部署于硬件架构的边端；
所述硬件架构的车端与边端连接，边端与云端连接。
3.根据权利要求1所述的一种动态多目标识别的车路多模态传感器数据融合方法，其特征在于：
所述目标识别层包括：
目标识别模块，通过传统识别方法、深度学习识别方法对融合数据进行识别；
目标跟踪模块，通过传统跟踪方法、基于深度学习的跟踪方法实现对融合数据的跟踪。
4.根据权利要求1所述的一种动态多目标识别的车路多模态传感器数据融合方法，其特征在于：
所述传感器融合模式自适应判断模块包括以下步骤：
第一步，确定传感器类型；
第二步，根据传感器数据内容，确定当前帧数需要进行数据融合的传感器，包括同构传感器和异构传感器；
第三步，确定所需融合算法；
第四步，输出融合算法标识。
5.根据权利要求4所述的一种动态多目标识别的车路多模态传感器数据融合方法，其特征在于：
所述同构传感器融合的数据，包括车端的毫米波雷达数据与边端毫米波雷达数据、车端激光雷达数据与边端激光雷达数据、车端摄像头数据与边端摄像头数据；
所述异构传感器融合的数据，包括车端激光雷达与边端摄像头，车端毫米波雷达与边端摄像头数据。
6.根据权利要求4所述的一种动态多目标识别的车路多模态传感器数据融合方法，其特征在于：
所述融合算法标识用于调用后续模块中的融合算法。
7.根据权利要求1所述的一种动态多目标识别的车路多模态传感器数据融合方法，其特征在于：
所述特征级融合的方法包含步骤如下：
第一步，将车载激光雷达数据坐标变换到路侧激光雷达坐标系；
第二步，将车载激光雷达数据与路侧激光雷达数据在上述路侧激光雷达坐标系内进行拼接，实现二者统一；
第三步，将统一后的激光雷达数据坐标变换到路侧摄像头坐标系，对每个点进行标号；
第四步，通过透视投影将激光雷达点云映射到摄像机图像上，同时建立两者对应关系；
第五步，通过Range投影将激光雷达点云映射到Range图像上，同时建立两者对应关系；
第六步，根据第四步和第五步筛选出共有投射点，将摄像头RGB信息映射到激光雷达上，再次使用Range投影，输出摄像头与激光雷达共有信息的range图像；
第七步，分离上一步中共有信息的range图像中的RGB通道与激光雷达的xyzi通道，形成两张稠密化的特征图像，完成异构传感器数据的特征级数据融合；所述特征图像用于后续进行双流特征提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311616549.9A CN117315432B (zh) | 2023-11-30 | 2023-11-30 | 一种动态多目标识别的车路多模态传感器数据融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311616549.9A CN117315432B (zh) | 2023-11-30 | 2023-11-30 | 一种动态多目标识别的车路多模态传感器数据融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117315432A CN117315432A (zh) | 2023-12-29 |
| CN117315432B true CN117315432B (zh) | 2024-02-13 |
Family
ID=89274171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311616549.9A Active CN117315432B (zh) | 2023-11-30 | 2023-11-30 | 一种动态多目标识别的车路多模态传感器数据融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117315432B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767475A (zh) * | 2020-12-30 | 2021-05-07 | 重庆邮电大学 | 一种基于c-v2x、雷达与视觉的智能路侧感知系统 |
| CN113065590A (zh) * | 2021-03-26 | 2021-07-02 | 清华大学 | 一种基于注意力机制的视觉与激光雷达多模态数据融合方法 |
| US11334069B1 (en) * | 2013-04-22 | 2022-05-17 | National Technology & Engineering Solutions Of Sandia, Llc | Systems, methods and computer program products for collaborative agent control |
| CN116347385A (zh) * | 2022-12-31 | 2023-06-27 | 南京理工大学 | 一种面向车路协同的通信感知及边缘计算一体化系统 |
| CN117111085A (zh) * | 2023-08-25 | 2023-11-24 | 河南科技大学 | 一种自动驾驶汽车车路云融合感知方法 |
-
2023
- 2023-11-30 CN CN202311616549.9A patent/CN117315432B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11334069B1 (en) * | 2013-04-22 | 2022-05-17 | National Technology & Engineering Solutions Of Sandia, Llc | Systems, methods and computer program products for collaborative agent control |
| CN112767475A (zh) * | 2020-12-30 | 2021-05-07 | 重庆邮电大学 | 一种基于c-v2x、雷达与视觉的智能路侧感知系统 |
| CN113065590A (zh) * | 2021-03-26 | 2021-07-02 | 清华大学 | 一种基于注意力机制的视觉与激光雷达多模态数据融合方法 |
| CN116347385A (zh) * | 2022-12-31 | 2023-06-27 | 南京理工大学 | 一种面向车路协同的通信感知及边缘计算一体化系统 |
| CN117111085A (zh) * | 2023-08-25 | 2023-11-24 | 河南科技大学 | 一种自动驾驶汽车车路云融合感知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117315432A (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11915099B2 (en) | Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data | |
| WO2021143286A1 (zh) | 车辆定位的方法、装置、控制器、智能车和系统 | |
| CN107122770B (zh) | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 | |
| CN107636679B (zh) | 一种障碍物检测方法及装置 | |
| CN111882612A (zh) | 一种基于三维激光检测车道线的车辆多尺度定位方法 | |
| CN112396650A (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| US11544940B2 (en) | Hybrid lane estimation using both deep learning and computer vision | |
| WO2013133129A1 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
| CN105205459B (zh) | 一种图像特征点类型的识别方法和装置 | |
| CN103901895A (zh) | 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人 | |
| CN112365549B (zh) | 车载相机的姿态校正方法、装置和存储介质及电子装置 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN116449392B (zh) | 一种地图构建方法、装置、计算机设备及存储介质 | |
| TW201819225A (zh) | 載具控制系統及載具控制方法 | |
| CN113985405A (zh) | 障碍物检测方法、应用于车辆的障碍物检测设备 | |
| CN112883058A (zh) | 用于车辆定位的标定方法、装置、设备、车辆和介质 | |
| CN113034586A (zh) | 道路倾角检测方法和检测系统 | |
| CN112130153A (zh) | 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法 | |
| CN114199235A (zh) | 一种基于扇面深度相机的定位系统及定位方法 | |
| CN117315432B (zh) | 一种动态多目标识别的车路多模态传感器数据融合方法 | |
| CN111753901B (zh) | 一种数据融合方法、装置、系统及计算机设备 | |
| CN113971697A (zh) | 一种空地协同车辆定位定向方法 | |
| Darms et al. | Data fusion strategies in advanced driver assistance systems | |
| CN116543143A (zh) | 一种目标检测模型的训练方法、目标检测方法及装置 | |
| CN112798020B (zh) | 一种用于评估智能汽车定位精度的系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |