CN114925769B - 一种多传感器数据融合处理系统 - Google Patents

一种多传感器数据融合处理系统 Download PDF

Info

Publication number
CN114925769B
CN114925769B CN202210581421.2A CN202210581421A CN114925769B CN 114925769 B CN114925769 B CN 114925769B CN 202210581421 A CN202210581421 A CN 202210581421A CN 114925769 B CN114925769 B CN 114925769B
Authority
CN
China
Prior art keywords
point cloud
map
feature
voxel
tensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210581421.2A
Other languages
English (en)
Other versions
CN114925769A (zh
Inventor
冯阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Qingyu Technology Co Ltd
Original Assignee
Suzhou Qingyu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Qingyu Technology Co Ltd filed Critical Suzhou Qingyu Technology Co Ltd
Priority to CN202210581421.2A priority Critical patent/CN114925769B/zh
Publication of CN114925769A publication Critical patent/CN114925769A/zh
Application granted granted Critical
Publication of CN114925769B publication Critical patent/CN114925769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例涉及一种多传感器数据融合处理系统，所述系统包括：第一传感器模块、第二传感器模块、第三传感器模块、第四传感器模块和传感器数据融合模块。通过本发明系统可以获得一个无论距离远近都能保证特征信息足够丰富的特征张量，解决了激光雷达点云无法提供较远距离环境特征的问题。

Description

一种多传感器数据融合处理系统
技术领域
本发明涉及数据处理技术领域，特别涉及一种多传感器数据融合处理系统。
背景技术
自动驾驶的安全性依赖于自动驾驶系统对障碍物的检测识别准确度。常规情况下自动驾驶系统主要以激光雷达产生的点云数据作为障碍物检测识别的原始数据，通过对点云原始数据的特征提取处理得到对应的点云特征张量，并使用预置的目标检测模型对点云特征张量进行障碍物目标的检测识别处理。激光雷达点云的点分布特点是近距离分布稠密、远距离分布稀疏，且远、近距离的分布密度与距离差值不呈线性关系，也就是说随着距离增大激光雷达点云的数量会发生急剧衰减。激光雷达点云的这种特征，就决定了常规基于激光雷达点云数据的目标检测识别处理方式只能对近距离障碍物的检测识别准确度有保障，很难保障较远距离障碍物的检测识别准确度。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种多传感器数据融合处理系统，该系统包括：第一传感器模块、第二传感器模块、第三传感器模块、第四传感器模块和传感器数据融合模块；其中，第一传感器模块包括多个第一相机，第二传感器模块包括多个第一激光雷达，第三传感器模块包括多个第一毫米波雷达，第四传感器模块包括高精地图处理单元。该系统通过第一、第二、第三和第四传感器模块得到四类相同鸟瞰(Birds EyeViews，BEV)视角的特征张量，并通过传感器数据融合模块对这四类特征张量进行融合得到一个结合了环境中物体图像、物体间距、物体速度、环境地图特征的并且是基于鸟瞰视角的第一鸟瞰特征张量。通过本发明系统可以获得一个无论距离远近都能保证特征信息足够丰富的特征张量，解决了激光雷达点云无法提供较远距离环境特征的问题；将本发明系统产生的第一鸟瞰特征张量送入自动驾驶系统中进行障碍物检测识别，能同时提升近距离障碍物和较远距离障碍物的检测识别准确度，尤其能大幅度提升较远距离障碍物的检测识别准确度。
为实现上述目的，本发明实施例提供了一种多传感器数据融合处理系统，所述系统包括：第一传感器模块、第二传感器模块、第三传感器模块、第四传感器模块和传感器数据融合模块；
所述第一传感器模块与所述传感器数据融合模块连接；所述第一传感器模块用于对自车周围环境进行图像拍摄和图像特征提取处理生成对应的第一图像特征张量和图像时间戳；并将所述第一图像特征张量和所述图像时间戳向所述传感器数据融合模块发送；
所述第二传感器模块与所述传感器数据融合模块连接；所述第二传感器模块用于对自车周围环境进行雷达测距和测距点云特征提取处理生成对应的第一点云特征张量和第一点云时间戳；并将所述第一点云特征张量和所述第一点云时间戳向所述传感器数据融合模块发送；
所述第三传感器模块与所述传感器数据融合模块连接；所述第三传感器模块用于对自车周围环境进行雷达测速和测速点云特征提取处理生成对应的第二点云特征张量和第二点云时间戳；并将所述第二点云特征张量和所述第二点云时间戳向所述传感器数据融合模块发送；
所述第四传感器模块与所述传感器数据融合模块连接；所述第四传感器模块用于获取自车周围环境对应的高精地图并对高精地图进行特征提取处理生成对应的第一地图特征张量和地图时间戳；并将所述第一地图特征张量和所述地图时间戳向所述传感器数据融合模块发送；
所述传感器数据融合模块用于根据所述第一、第二、第三和第四传感器模块的发送数据进行鸟瞰特征张量融合处理生成对应的第一鸟瞰特征张量。
优选的，所述第一传感器模块包括多个第一相机和图像特征处理单元；所述多个第一相机按各自预先分配的拍摄角度排列；各个所述第一相机分别与所述图像特征处理单元连接；所述图像特征处理单元与所述传感器数据融合模块连接。
进一步的，所述第一传感器模块具体用于在所述对自车周围环境进行图像拍摄和图像特征提取处理时，由各个所述第一相机对自车周围环境进行图像拍摄处理，并由所述图像特征处理单元根据各个所述第一相机的发送数据进行鸟瞰栅格特征图转换处理生成对应的所述第一图像特征张量和所述图像时间戳，并由所述图像特征处理单元将所述第一图像特征张量和所述图像时间戳向所述传感器数据融合模块发送；
各个所述第一相机具体用于在所述对自车周围环境进行图像拍摄处理时，按预设拍摄频率对自车周围环境进行图像拍摄得到对应的第一图像；并根据所述第一图像的实时拍摄时间生成对应的第一时间戳；并由所述第一图像和所述第一时间戳组成发送数据向所述图像特征处理单元发送；
所述图像特征处理单元具体用于在所述根据各个所述第一相机的发送数据进行鸟瞰栅格特征图转换处理时，按预先分配的拍摄角度对各个所述第一相机进行顺序编号生成对应的第一相机编号；并接收各个所述第一相机发送的所述第一图像和所述第一时间戳；并按所述第一相机编号的顺序，对所述第一时间戳匹配的多个所述第一图像进行排序生成对应的第一图像序列；并为所述第一图像序列分配一个对应的时间戳作为所述图像时间戳；并使用BEVFormer模型基于预设的以自车为中心的鸟瞰栅格图尺寸H*W，对所述第一图像序列进行图像特征提取和鸟瞰栅格特征分割处理得到形状为H*W*C1的鸟瞰栅格特征图；并将所述鸟瞰栅格特征图作为所述第一图像特征张量；所述第一图像特征张量的形状为H*W*C1，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、C1为鸟瞰栅格图的栅格特征维度。
优选的，所述第二传感器模块包括多个第一激光雷达和第一点云特征处理单元；所述多个第一激光雷达按各自预先分配的安装角度水平排列；各个所述第一激光雷达分别与所述第一点云特征处理单元连接；所述第一点云特征处理单元与所述传感器数据融合模块连接。
进一步的，所述第二传感器模块具体用于在所述对自车周围环境进行雷达测距和测距点云特征提取处理时，由各个所述第一激光雷达对自车周围环境进行雷达测距处理，并由所述第一点云特征处理单元根据各个所述第一激光雷达的发送数据进行激光雷达点云体素特征提取处理生成对应的所述第一点云特征张量和所述第一点云时间戳，并由所述第一点云特征处理单元将所述第一点云特征张量和所述第一点云时间戳向所述传感器数据融合模块发送；
各个所述第一激光雷达具体用于在所述对自车周围环境进行雷达测距处理时，按预设扫描频率对自车周围环境进行雷达扫描得到对应的第一激光雷达点云；并根据本次扫描的起始时间生成对应的第一激光雷达时间戳；并由所述第一激光雷达点云和所述第一激光雷达时间戳组成发送数据向所述第一点云特征处理单元发送；
所述第一点云特征处理单元具体用于在所述根据各个所述第一激光雷达的发送数据进行激光雷达点云体素特征提取处理时，按预先分配的安装角度对各个所述第一激光雷达进行顺序编号生成对应的第一激光雷达编号；并接收各个所述第一激光雷达发送的所述第一激光雷达点云和所述第一激光雷达时间戳；并按所述第一激光雷达编号的顺序，对所述第一激光雷达时间戳匹配的多个所述第一激光雷达点云进行点云融合处理生成对应的第一融合点云；并为所述第一融合点云分配一个对应的时间戳作为所述第一点云时间戳；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W和预设的点云体素高度Z构建以自车为中心的点云体素空间，并将所述第一融合点云中落入形状为H*W*Z的所述点云体素空间的部分点云提取出出来作为对应的第二融合点云；并使用VoxelNet模型对所述第二融合点云按所述点云体素空间中的各个单位体素进行体素点云切割得到H*W*Z组第一体素点云，并对各组所述第一体素点云进行降采样和体素特征编码生成对应的第一体素特征，并由得到的H*W*Z个所述第一体素特征构成所述第一点云特征张量；所述第一点云特征张量的形状为H*W*Z*C2，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、Z为预设的点云体素高度、C2为所述第一体素特征的特征维度。
优选的，所述第三传感器模块包括多个第一毫米波雷达和第二点云特征处理单元；所述多个第一毫米波雷达按各自预先分配的安装角度水平排列；各个所述第一毫米波雷达分别与所述第二点云特征处理单元连接；所述第二点云特征处理单元与所述传感器数据融合模块连接。
进一步的，所述第三传感器模块具体用于在所述对自车周围环境进行雷达测速和测速点云特征提取处理时，由各个所述第一毫米波雷达对自车周围环境进行雷达测速处理，并由所述第二点云特征处理单元根据各个所述第一毫米波雷达的发送数据进行毫米波雷达点云体素特征提取处理生成对应的所述第二点云特征张量和所述第二点云时间戳，并由所述第二点云特征处理单元将所述第二点云特征张量和所述第二点云时间戳向所述传感器数据融合模块发送；
各个所述第一毫米波雷达具体用于在所述对自车周围环境进行雷达测速处理时，按预设扫描频率对自车周围环境进行雷达扫描得到对应的第一扫描点云，并基于多普勒效应原理根据所述第一扫描点云中各点的接收反射波频移量算出各点对应的速度向量，并将各点对应的所述速度向量作为新增数据维度向所述第一扫描点云的各点中添加从而得到对应的第一毫米波雷达点云；并根据本次扫描的起始时间生成对应的第一毫米波雷达时间戳；并由所述第一毫米波雷达点云和所述第一毫米波雷达时间戳组成发送数据向所述第二点云特征处理单元发送；所述速度向量包括三个维度的速度值(vx，vy，vz)；
所述第二点云特征处理单元具体用于在所述根据各个所述第一毫米波雷达的发送数据进行毫米波雷达点云体素特征提取处理时，按预先分配的安装角度对各个所述第一毫米波雷达进行顺序编号生成对应的第一毫米波雷达编号；并接收各个所述第一毫米波雷达发送的所述第一毫米波雷达点云和所述第一毫米波雷达时间戳；并按所述第一毫米波雷达编号的顺序，对所述第一毫米波雷达时间戳匹配的多个所述第一毫米波雷达点云进行点云融合处理生成对应的第三融合点云；并为所述第三融合点云分配一个对应的时间戳作为所述第二点云时间戳；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W和预设的点云体素高度Z构建以自车为中心的点云体素空间，并将所述第三融合点云中落入形状为H*W*Z的所述点云体素空间的部分点云提取出出来作为对应的第四融合点云；并对所述第四融合点云中各点的多维度数据进行整形，在原始的多维度数据中只保留其中与点云坐标(x，y，z)和速度向量(vx，vy，vz)对应的6个维度的数据从而使得所述第四融合点云中各点的数据维度为6；并对所述第四融合点云按所述点云体素空间中的各个单位体素进行体素点云切割得到H*W*Z组第二体素点云；并对各组所述第二体素点云中的点进行降采样处理；并在完成降采样的各组所述第二体素点云中，对所有点三个维度的速度值(vx，vy，vz)按维度对应关系分别进行均值速度计算得到对应的三个均值速度v* x、v* y和v* z；并为各组所述第二体素点云分配一个对应的体素动静态数据；并根据各组第二体素点云的所述三个均值速度v* x、v* y和v* z对所述体素动静态数据进行设置，若所述三个均值速度v* x、v* y和v* z全低于预设的最小速度阈值则将所述体素动静态数据设为静态体素类型值，若所述三个均值速度v* x、v* y和v* z不全低于预设的最小速度阈值则将所述体素动静态数据设为动态体素类型值；并由各组第二体素点云的所述三个均值速度v* x、v* y和v* z和所述体素动静态数据组成对应的第二体素特征；并由得到的H*W*Z个所述第二体素特征构成所述第二点云特征张量；所述第二点云特征张量的形状为H*W*Z*C3，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、Z为预设的点云体素高度、C3为所述第二体素特征的特征维度，C3＝4。
优选的，所述第四传感器模块包括高精地图处理单元和地图特征处理单元；所述高精地图处理单元与所述地图特征处理单元连接；所述地图特征处理单元与所述传感器数据融合模块连接。
进一步的，所述第四传感器模块具体用于在所述获取自车周围环境对应的高精地图并对高精地图进行特征提取处理时，由所述高精地图处理单元对自车周围环境对应的高精地图进行地图裁剪处理，并由所述地图特征处理单元根据所述高精地图处理单元的发送数据进行高精地图特征提取处理生成对应的所述第一地图特征张量和所述地图时间戳，并由所述地图特征处理单元将所述第一地图特征张量和所述地图时间戳向所述传感器数据融合模块发送；
所述高精地图处理单元具体用于在所述对自车周围环境对应的高精地图进行地图裁剪处理时，从自车的定位系统获取自车的实时定位信息作为对应的第一地图坐标；并从自车的高精地图系统获取自车所在区域的大面积地图作为对应的大地图；并在所述大地图上以所述第一地图坐标为截取地图中心，将所述截取地图中心周围与预设的鸟瞰图平面大小匹配的地图提取出来作为对应的鸟瞰地图；并根据所述鸟瞰地图的提取时间生成对应的鸟瞰地图时间戳；并将由所述鸟瞰地图和所述鸟瞰地图时间戳组成的发送数据向所述地图特征处理单元发送；
所述地图特征处理单元具体用于在所述根据所述高精地图处理单元的发送数据进行高精地图特征提取处理时，接收所述高精地图处理单元发送的所述鸟瞰地图和所述鸟瞰地图时间戳；并将所述鸟瞰地图时间戳作为对应的所述地图时间戳；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W对所述鸟瞰地图进行栅格切分得到H*W个栅格地图；并提取各个所述栅格地图中所有采样点的地图特征组成对应的栅格地图特征；并由得到的H*W个所述栅格地图特征组成对应的所述第一地图特征张量；所述第一地图特征张量的形状为H*W*D*C4，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、D为所述栅格地图中的采样点数量、C3为所述鸟瞰地图的地图特征维度；各个所述栅格地图中的所述采样点数量D都是相等的，D＝鸟瞰地图采样点精度*栅格地图面积。
优选的，所述传感器数据融合模块具体用于在所述根据所述第一、第二、第三和第四传感器模块的发送数据进行鸟瞰特征张量融合处理时，接收所述第一传感器模块发送的所述第一图像特征张量和所述图像时间戳并保存；并接收所述第二传感器模块发送的所述第一点云特征张量和所述第一点云时间戳并保存；并接收所述第三传感器模块发送的所述第二点云特征张量和所述第二点云时间戳并保存；并接收所述第四传感器模块发送的所述第一地图特征张量和所述地图时间戳并保存；并将所述图像时间戳、所述第一点云时间戳、所述第二点云时间戳和所述地图时间戳满足预设的时间戳匹配规则的所述第一图像特征张量、所述第一点云特征张量、所述第二点云特征张量和所述第一地图特征张量作为时间匹配的待融合张量纳入到一组对应的待融合张量集合中；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W对各个所述待融合张量集合中的四个特征张量进行特征融合处理得到对应的所述第一鸟瞰特征张量；
其中，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度；所述第一图像特征张量的形状为H*W*C1，C1为鸟瞰栅格图的栅格特征维度；所述第一点云特征张量的形状为H*W*Z*C2，Z为预设的点云体素高度、C2为所述第一体素特征的特征维度；所述第二点云特征张量的形状为H*W*Z*C3，C3为所述第二体素特征的特征维度；所述第一地图特征张量的形状为H*W*D*C4，D为所述栅格地图中的采样点数量、C3为所述鸟瞰地图的地图特征维度，D＝鸟瞰地图采样点精度*栅格地图面积；所述第一鸟瞰特征张量的形状为H*W*C5，C5为所述第一鸟瞰特征张量的特征维度，C5＝(C1+Z*C2+Z*C3+D*C4)。
本发明实施例提供了一种多传感器数据融合处理系统，该系统包括：第一传感器模块、第二传感器模块、第三传感器模块、第四传感器模块和传感器数据融合模块；其中，第一传感器模块包括多个第一相机，第二传感器模块包括多个第一激光雷达，第三传感器模块包括多个第一毫米波雷达，第四传感器模块包括高精地图处理单元。第一传感器模块通过多个第一相机获得实时的场景图像并对其进行鸟瞰视角的特征转换得到对应的第一图像特征张量；第二传感器模块通过多个第一激光雷达对场景的实时扫描获得可以体现场景中各个物体表面点到自车距离的激光雷达点云数据的并对其同样进行鸟瞰视角的特征转换得到对应的第一点云特征张量；第三传感器模块通过多个第一毫米波雷达对场景的实时扫描与速度分析获得可以体现场景中各个物体表面点速度的毫米波雷达点云数据的并对其同样进行鸟瞰视角的特征转换得到对应的第二点云特征张量；第四传感器模块通过高精地图处理单元获得与第一图像特征张量、第一点云特征张量和第二点云特征张量相同的鸟瞰平面的高精地图数据并对其进行特征张量转换得到对应的第一地图特征张量；传感器数据融合则用于对第一、第二、第三和第四传感器模块得到的四类相同鸟瞰视角的特征张量进行特征融合从而得到结合了环境中物体图像、物体间距、物体速度、环境地图特征的并且是基于鸟瞰视角的第一鸟瞰特征张量。通过本发明系统可以获得一个无论距离远近都能保证特征信息足够丰富的特征张量，解决了激光雷达点云无法提供较远距离环境特征的问题；将本发明系统产生的第一鸟瞰特征张量送入自动驾驶系统中进行障碍物检测识别，能同时提升近距离障碍物和较远距离障碍物的检测识别准确度，尤其能大幅度提升较远距离障碍物的检测识别准确度。
附图说明
图1为本发明实施例提供的一种多传感器数据融合处理系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种多传感器数据融合处理系统的结构示意图，如图1所示，本多传感器数据融合处理系统包括：第一传感器模块1、第二传感器模块2、第三传感器模块3、第四传感器模块4和传感器数据融合模块5。
(一)第一传感器模块1
第一传感器模块1与传感器数据融合模块5连接。第一传感器模块1包括多个第一相机11和图像特征处理单元12；多个第一相机11按各自预先分配的拍摄角度排列；各个第一相机11分别与图像特征处理单元12连接；图像特征处理单元12与传感器数据融合模块5连接。
这里，第一相机11实际就是自车的车载相机或摄像头，常规情况下自动驾驶车辆都会安装多个车载相机或摄像头对周围环境进行同时拍摄这样就能获取丰富的场景图像信息，在安装车载相机或摄像头时会为每个车载相机或摄像头分配一个拍摄朝向也即是拍摄角度。
第一传感器模块1用于对自车周围环境进行图像拍摄和图像特征提取处理生成对应的第一图像特征张量和图像时间戳；并将第一图像特征张量和图像时间戳向传感器数据融合模块5发送。
在本发明实施例的一个具体实现方式中，第一传感器模块1具体用于在对自车周围环境进行图像拍摄和图像特征提取处理时，由各个第一相机11对自车周围环境进行图像拍摄处理，并由图像特征处理单元12根据各个第一相机11的发送数据进行鸟瞰栅格特征图转换处理生成对应的第一图像特征张量和图像时间戳，并由图像特征处理单元12将第一图像特征张量和图像时间戳向传感器数据融合模块5发送。
在本发明实施例的另一个具体实现方式中，各个第一相机11具体用于在对自车周围环境进行图像拍摄处理时，按预设拍摄频率对自车周围环境进行图像拍摄得到对应的第一图像；并根据第一图像的实时拍摄时间生成对应的第一时间戳；并由第一图像和第一时间戳组成发送数据向图像特征处理单元12发送。
这里，每个第一相机11都有一个预先设定好的拍摄频率，第一相机11之间的拍摄频率可以相同也可以不相同；时间戳的时间精度可以根据工程实施要求进行设定，诸如设为秒级、毫秒级等。
在本发明实施例的另一个具体实现方式中，图像特征处理单元12具体用于在根据各个第一相机11的发送数据进行鸟瞰栅格特征图转换处理时，按预先分配的拍摄角度对各个第一相机11进行顺序编号生成对应的第一相机编号；并接收各个第一相机11发送的第一图像和第一时间戳；并按第一相机编号的顺序，对第一时间戳匹配的多个第一图像进行排序生成对应的第一图像序列；并为第一图像序列分配一个对应的时间戳作为图像时间戳；并使用BEVFormer模型基于预设的以自车为中心的鸟瞰栅格图尺寸H*W，对第一图像序列进行图像特征提取和鸟瞰栅格特征分割处理得到形状为H*W*C1的鸟瞰栅格特征图；并将鸟瞰栅格特征图作为第一图像特征张量；
其中，第一图像特征张量的形状为H*W*C1，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、C1为鸟瞰栅格图的栅格特征维度。
这里，若预先按360°的环形关系安装了4个第一相机11分别朝向自车的前后左后，并将这4个第一相机11按从左-前-右-后的顺序进行顺序编号就能得到4个编号分别为第一相机编号1、2、3、4，按第一相机编号1、2、3、4的顺序对得到的4张第一图像进行排序得到的第一图像序列实际就是一个按左-前-右-后顺序的全景图像序列；步骤中的BEVFormer模型是一个成熟的可基于一个全景图像序列提取鸟瞰角度图像特征的智能模型，BEVFormer模型的具体实现方式可以参考公开的技术论文《BEVFormer:Learning Bird’s-Eye-ViewRepresentation from Multi-Camera Images via Spatiotemporal Transformers》，在此不做进一步赘述。
需要说明的是，本发明实施例中第一、第二、第三、第三传感器模块都会基于一个预设的鸟瞰范围进行特征提取，该鸟瞰范围就是以自车为中心、自车行驶方向为纵轴、垂直自车行驶方向的侧向为横轴的一个矩形范围，该矩形范围的长、宽距离固定分别为H0、W0；本发明实施例基于两个预先设定的单位长度sh、sw将该鸟瞰范围均分成多个单位栅格，每个单位栅格的单位面积为sh*sw；计算沿纵轴的鸟瞰栅格数目并以之作为鸟瞰栅格图深度H，即H＝H0/sh；计算沿横轴的鸟瞰栅格数目并以之作为鸟瞰栅格图宽度W，即W＝W0/sw；由鸟瞰栅格图深度H、鸟瞰栅格图宽度W确定与该鸟瞰范围对应的鸟瞰栅格图尺寸即H*W；由鸟瞰栅格图尺寸H*W来确定与该鸟瞰范围对应的四类特征张量的基本形状为H*W*栅格特征维度，此处栅格特征维度即每个单位栅格的特征维度。由此可知，BEVFormer模型就是对第一图像序列在预设的鸟瞰范围内的栅格特征进行提取并得到尺寸为预设的鸟瞰栅格图尺寸H*W的鸟瞰栅格特征图即第一图像特征张量；因此，第一图像特征张量的形状自然也就应为H*W*栅格特征维度，栅格特征维度具体为C1。
(二)第二传感器模块2
第二传感器模块2与传感器数据融合模块5连接；第二传感器模块2包括多个第一激光雷达21和第一点云特征处理单元22；多个第一激光雷达21按各自预先分配的安装角度水平排列；各个第一激光雷达21分别与第一点云特征处理单元22连接；第一点云特征处理单元22与传感器数据融合模块5连接。
这里，第一激光雷达21实际就是自车的车载激光雷达，常规情况下自动驾驶车辆都会安装多个车载激光雷达对周围环境进行扫描，因为激光雷达的收发损耗较小、发射脉冲很高，通过激光雷达对周围环境进行扫描可以对周围物体与自车间的相对距离进行精确测距，还可以对周围物体的三维形状进行精确估计；因为车载激光雷达都有固定的视场角(Field of view，FOV)，若期望通过多个车载激光雷达对自车周围360°的环境进行全扫描，就需要安装多个车载激光雷达沿360°进行环形分布，且各个车载激光雷达对应一个朝向也就是安装角度；为保证每个车载激光雷达出来的点云彼此没有过大的高度误差，那么就需要在安装时将这多个车载激光雷达安装在同一水平位置上也即是说需将这多个车载激光雷达进行水平排列。
第二传感器模块2用于对自车周围环境进行雷达测距和测距点云特征提取处理生成对应的第一点云特征张量和第一点云时间戳；并将第一点云特征张量和第一点云时间戳向传感器数据融合模块5发送。
在本发明实施例的另一个具体实现方式中，第二传感器模块2具体用于在对自车周围环境进行雷达测距和测距点云特征提取处理时，由各个第一激光雷达21对自车周围环境进行雷达测距处理，并由第一点云特征处理单元22根据各个第一激光雷达21的发送数据进行激光雷达点云体素特征提取处理生成对应的第一点云特征张量和第一点云时间戳，并由第一点云特征处理单元22将第一点云特征张量和第一点云时间戳向传感器数据融合模块5发送。
在本发明实施例的另一个具体实现方式中，各个第一激光雷达21具体用于在对自车周围环境进行雷达测距处理时，按预设扫描频率对自车周围环境进行雷达扫描得到对应的第一激光雷达点云；并根据本次扫描的起始时间生成对应的第一激光雷达时间戳；并由第一激光雷达点云和第一激光雷达时间戳组成发送数据向第一点云特征处理单元22发送。
这里，每个第一激光雷达21都有一个预先设定好的扫描频率，第一激光雷达21之间的扫描频率可以相同也可以不相同；时间戳的时间精度可以根据工程实施要求进行设定，诸如设为秒级、毫秒级等。需要说明的时，第一激光雷达21在进行扫描时并不能一次就对视场角范围内的所有点完成全扫描，需要按指定的扫描方式(行扫、列扫、8字型扫描等)进行多次扫描才能完成视场角范围的全扫描，也即是说第一激光雷达21的一个周期性扫描动作是有一个执行时间长度的，且不同类型的第一激光雷达21其单周期性扫描时长还可能不同，为保持时间一致性本发明实施例规定第一激光雷达21对应的时间戳也就是第一激光雷达时间戳的采样时间为其单周期性扫描的起始时间也就是本次扫描的起始时间。
在本发明实施例的另一个具体实现方式中，第一点云特征处理单元22具体用于在根据各个第一激光雷达21的发送数据进行激光雷达点云体素特征提取处理时，按预先分配的安装角度对各个第一激光雷达21进行顺序编号生成对应的第一激光雷达编号；并接收各个第一激光雷达21发送的第一激光雷达点云和第一激光雷达时间戳；并按第一激光雷达编号的顺序，对第一激光雷达时间戳匹配的多个第一激光雷达点云进行点云融合处理生成对应的第一融合点云；并为第一融合点云分配一个对应的时间戳作为第一点云时间戳；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W和预设的点云体素高度Z构建以自车为中心的点云体素空间，并将第一融合点云中落入形状为H*W*Z的点云体素空间的部分点云提取出出来作为对应的第二融合点云；并使用VoxelNet模型对第二融合点云按点云体素空间中的各个单位体素进行体素点云切割得到H*W*Z组第一体素点云，并对各组第一体素点云进行降采样和体素特征编码生成对应的第一体素特征，并由得到的H*W*Z个第一体素特征构成第一点云特征张量；
其中，第一点云特征张量的形状为H*W*Z*C2，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、Z为预设的点云体素高度、C2为第一体素特征的特征维度。
这里，若各个第一激光雷达21的视场角为60°，预先按360°的环形关系安装了6个第一激光雷达21，这6个第一激光雷达21的安装角度分别对应0°、60°、120°、180°、240°和300°，从0°开始到300°为止对6个第一激光雷达21进行顺序编号可以得到6个编号分别为第一激光雷达编号1、2、3、4、5、6。
需要说明的是，原理上若将这6个第一激光雷达21选型为同一款雷达并同步启动它们进行扫描就可以产生相同的第一激光雷达时间戳，然而这在现实中是很难实现的，6个第一激光雷达21的第一激光雷达时间戳或多或少都存在时差。为此，本发明实施例给出了一个激光雷达时间戳匹配规则，即：将最近从所有第一激光雷达21接收到的多个第一激光雷达时间戳归入一组时间戳数据组，并对当前时间戳数据组内的各个第一激光雷达时间戳进行两两时差计算得到多个时差数据，若每个时差数据的绝对值都小于预设的最小时差阈值则确定当前时间戳数据组内的各个第一激光雷达时间戳匹配，若不是每个时差数据的绝对值都小于预设的最小时差阈值则确定当前时间戳数据组内的各个第一激光雷达时间戳不匹配。
以上述示例为例，基于该激光雷达时间戳匹配规则对每轮接收的6个第一激光雷达时间戳是否匹配进行确认，若确认匹配则可按第一激光雷达编号1、2、3、4、5、6的顺序，对第一激光雷达时间戳匹配的6个第一激光雷达点云进行点云融合处理。在进行点云融合时，可直接将6个点云合并，合并过程中进行去重和降采样处理。
需要说明的是，在得到第一融合点云之后需要对其分配一个对应的时间戳也即是第一点云时间戳，在分配该时间戳时本法实施例采用中间点时间方式处理，即对第一融合点云对应的多个第一激光雷达时间戳进行均值计算得到一个中间点时间，再将多个第一激光雷达时间戳中与中间点时间最靠近的那个第一激光雷达时间戳提取出来作为第一点云时间戳。
需要说明的是，本发明实施例中第二、第三传感器模块都会在预设的鸟瞰范围之上构建一个三维的点云体素空间，该点云体素空间的高度距离固定为Z0；本发明实施例基于三个预先设定的单位长度sh、sw、sz，将该点云空间均分成多个三维的点云体素(Voxel)，每个点云体素的单位体积为sh*sw*sz；计算点云空间高度方向的点云体素数目并以之作为点云体素高度Z，即Z＝Z0/sz；点云体素空间的鸟瞰平面也就是鸟瞰栅格图平面。第一点云特征张量的形状为H*W*Z*C2，也就是在基本形状H*W*栅格特征维度的基础之上增加了高度Z，第一点云特征张量的特征维度C2实际就是点云体素的特征维度。
本发明实施例通过上述点云体素空间对第一融合点云进行降采样，只将处于该点云体素空间范围内的点提取出来作为第二融合点云。在得到第二融合点云之后，基于VoxelNet模型对各个点云体素进行体素特征提取。VoxelNet模型的具体实现方式可以参考公开的技术论文《VoxelNet:End-to-End Learning for Point Cloud Based 3D ObjectDetection》，在此不做进一步赘述。
(三)第三传感器模块3
第三传感器模块3与传感器数据融合模块5连接；第三传感器模块3包括多个第一毫米波雷达31和第二点云特征处理单元32；多个第一毫米波雷达31按各自预先分配的安装角度水平排列；各个第一毫米波雷达31分别与第二点云特征处理单元32连接；第二点云特征处理单元32与传感器数据融合模块5连接。
这里，第一毫米波雷达31实际就是自车的车载毫米波雷达，常规情况下自动驾驶车辆都会安装多个车载毫米波雷达对周围环境中的点进行测速。车载毫米波雷达与车载激光雷达的区别是，车载激光雷达使用的激光进行扫描，而车载毫米波雷达使用的是波长在4-12毫米的无线电波进行扫描。车载毫米波雷达可以基于多普勒效应根据各点的接收反射波频移量算出各点对应的速度向量。与车载激光雷达近似，车载毫米波雷达也都有固定的视场角，若期望通过多个车载毫米波雷达对自车周围360°的环境进行全点测速，就需要安装多个车载毫米波雷达沿360°进行环形分布，且各个车载毫米波雷达对应一个朝向也就是安装角度；为保证每个车载毫米波雷达出来的点云彼此没有过大的高度误差，那么就需要在安装时将这多个车载毫米波雷达安装在同一水平位置上也即是说需将这多个车载毫米波雷达进行水平排列。
第三传感器模块3用于对自车周围环境进行雷达测速和测速点云特征提取处理生成对应的第二点云特征张量和第二点云时间戳；并将第二点云特征张量和第二点云时间戳向传感器数据融合模块5发送。
在本发明实施例的另一个具体实现方式中，第三传感器模块3具体用于在对自车周围环境进行雷达测速和测速点云特征提取处理时，由各个第一毫米波雷达31对自车周围环境进行雷达测速处理，并由第二点云特征处理单元32根据各个第一毫米波雷达31的发送数据进行毫米波雷达点云体素特征提取处理生成对应的第二点云特征张量和第二点云时间戳，并由第二点云特征处理单元32将第二点云特征张量和第二点云时间戳向传感器数据融合模块5发送。
在本发明实施例的另一个具体实现方式中，各个第一毫米波雷达31具体用于在对自车周围环境进行雷达测速处理时，按预设扫描频率对自车周围环境进行雷达扫描得到对应的第一扫描点云，并基于多普勒效应原理根据第一扫描点云中各点的接收反射波频移量算出各点对应的速度向量，并将各点对应的速度向量作为新增数据维度向第一扫描点云的各点中添加从而得到对应的第一毫米波雷达点云；并根据本次扫描的起始时间生成对应的第一毫米波雷达时间戳；并由第一毫米波雷达点云和第一毫米波雷达时间戳组成发送数据向第二点云特征处理单元32发送；
其中，速度向量包括三个维度的速度值(vx，vy，vz)。
这里，第一毫米波雷达时间戳的处理方式与第一激光雷达时间戳类似，在此不做进一步赘述。车载毫米波雷达基于多普勒效应根据各点的接收反射波频移量算出各点速度向量的技术实现可查询公开的与雷达测速相关的技术实现，在此也不做进一步赘述。
在本发明实施例的另一个具体实现方式中，第二点云特征处理单元32具体用于在根据各个第一毫米波雷达31的发送数据进行毫米波雷达点云体素特征提取处理时，按预先分配的安装角度对各个第一毫米波雷达31进行顺序编号生成对应的第一毫米波雷达编号；并接收各个第一毫米波雷达31发送的第一毫米波雷达点云和第一毫米波雷达时间戳；并按第一毫米波雷达编号的顺序，对第一毫米波雷达时间戳匹配的多个第一毫米波雷达点云进行点云融合处理生成对应的第三融合点云；并为第三融合点云分配一个对应的时间戳作为第二点云时间戳；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W和预设的点云体素高度Z构建以自车为中心的点云体素空间，并将第三融合点云中落入形状为H*W*Z的点云体素空间的部分点云提取出出来作为对应的第四融合点云；并对第四融合点云中各点的多维度数据进行整形，在原始的多维度数据中只保留其中与点云坐标(x，y，z)和速度向量(vx，vy，vz)对应的6个维度的数据从而使得第四融合点云中各点的数据维度为6；并对第四融合点云按点云体素空间中的各个单位体素进行体素点云切割得到H*W*Z组第二体素点云；并对各组第二体素点云中的点进行降采样处理；并在完成降采样的各组第二体素点云中，对所有点三个维度的速度值(vx，vy，vz)按维度对应关系分别进行均值速度计算得到对应的三个均值速度v* x、v* y和v* z；并为各组第二体素点云分配一个对应的体素动静态数据；并根据各组第二体素点云的三个均值速度v* x、v* y和v* z对体素动静态数据进行设置，若三个均值速度v* x、v* y和v* z全低于预设的最小速度阈值则将体素动静态数据设为静态体素类型值，若三个均值速度v* x、v* y和vz *不全低于预设的最小速度阈值则将体素动静态数据设为动态体素类型值；并由各组第二体素点云的三个均值速度v* x、v* y和v* z和体素动静态数据组成对应的第二体素特征；并由得到的H*W*Z个第二体素特征构成第二点云特征张量；
其中，第二点云特征张量的形状为H*W*Z*C3，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、Z为预设的点云体素高度、C3为第二体素特征的特征维度，C3＝4。
这里，对第一毫米波雷达编号的分配处理过程与第一激光雷达雷达编号的分配处理过程近似，确认第一毫米波雷达时间戳是否匹配的毫米波雷达时间戳匹配规则与激光雷达时间戳匹配规则近似，第二点云时间戳的分配处理过程与第一点云时间戳的分配处理过程近似，点云体素空间构建、第四融合点云的提取处理过程也与激光雷达的点云体素空间构建、第二融合点云的提取处理过程近似，在此都不做进一步的重复性说明。第二点云特征张量的形状也与第一点云特征张量的形状，在基本形状H*W*栅格特征维度的基础之上增加了高度Z，第二点云特征张量的特征维度C3实际就是点云体素的特征维度。需要说明的是，第二点云特征张量的第二体素特征与第一点云特征张量的第一体素特征的内容存在很大差异，第二体素特征的维度为4具体为三个平均速度+动静态数据，而这些特征都是第一体素特征不可能具备的。也就是说本发明实施例实际是通过第二点云特征张量的第二体素特征对第一点云特征张量的第一体素特征进行补充。
(四)第四传感器模块4
第四传感器模块4与传感器数据融合模块5连接；第四传感器模块4包括高精地图处理单元41和地图特征处理单元42；高精地图处理单元41与地图特征处理单元42连接；地图特征处理单元42与传感器数据融合模块5连接。
第四传感器模块4用于获取自车周围环境对应的高精地图并对高精地图进行特征提取处理生成对应的第一地图特征张量和地图时间戳；并将第一地图特征张量和地图时间戳向传感器数据融合模块5发送。
在本发明实施例的另一个具体实现方式中，第四传感器模块4具体用于在获取自车周围环境对应的高精地图并对高精地图进行特征提取处理时，由高精地图处理单元41对自车周围环境对应的高精地图进行地图裁剪处理，并由地图特征处理单元42根据高精地图处理单元41的发送数据进行高精地图特征提取处理生成对应的第一地图特征张量和地图时间戳，并由地图特征处理单元42将第一地图特征张量和地图时间戳向传感器数据融合模块5发送。
在本发明实施例的另一个具体实现方式中，高精地图处理单元41具体用于在对自车周围环境对应的高精地图进行地图裁剪处理时，从自车的定位系统获取自车的实时定位信息作为对应的第一地图坐标；并从自车的高精地图系统获取自车所在区域的大面积地图作为对应的大地图；并在大地图上以第一地图坐标为截取地图中心，将截取地图中心周围与预设的鸟瞰图平面大小匹配的地图提取出来作为对应的鸟瞰地图；并根据鸟瞰地图的提取时间生成对应的鸟瞰地图时间戳；并将由鸟瞰地图和鸟瞰地图时间戳组成的发送数据向地图特征处理单元42发送。
需要注意的是，预设的鸟瞰图平面就是前文中提到的预设的鸟瞰范围对应的地图平面。
在本发明实施例的另一个具体实现方式中，地图特征处理单元42具体用于在根据高精地图处理单元41的发送数据进行高精地图特征提取处理时，接收高精地图处理单元41发送的鸟瞰地图和鸟瞰地图时间戳；并将鸟瞰地图时间戳作为对应的地图时间戳；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W对鸟瞰地图进行栅格切分得到H*W个栅格地图；并提取各个栅格地图中所有采样点的地图特征组成对应的栅格地图特征；并由得到的H*W个栅格地图特征组成对应的第一地图特征张量；
其中，第一地图特征张量的形状为H*W*D*C4，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、D为栅格地图中的采样点数量、C3为鸟瞰地图的地图特征维度；各个栅格地图中的采样点数量D都是相等的，D＝鸟瞰地图采样点精度*栅格地图面积。
这里，与前文中对图像的鸟瞰图特征提取处理略有不同的是在对地图进行鸟瞰栅格特征时，将栅格内所有的地图点的特征都提取出来了，所以第一地图特征张量是H*W*D*C4，在基本形状H*W*栅格特征维度的基础之上增加了栅格点数D。
(五)传感器数据融合模块5
传感器数据融合模块5用于根据第一、第二、第三和第四传感器模块4的发送数据进行鸟瞰特征张量融合处理生成对应的第一鸟瞰特征张量。
在本发明实施例的另一个具体实现方式中，传感器数据融合模块5具体用于在根据第一、第二、第三和第四传感器模块的发送数据进行鸟瞰特征张量融合处理时，接收第一传感器模块1发送的第一图像特征张量和图像时间戳并保存；并接收第二传感器模块2发送的第一点云特征张量和第一点云时间戳并保存；并接收第三传感器模块3发送的第二点云特征张量和第二点云时间戳并保存；并接收第四传感器模块4发送的第一地图特征张量和地图时间戳并保存；并将图像时间戳、第一点云时间戳、第二点云时间戳和地图时间戳满足预设的时间戳匹配规则的第一图像特征张量、第一点云特征张量、第二点云特征张量和第一地图特征张量作为时间匹配的待融合张量纳入到一组对应的待融合张量集合中；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W对各个待融合张量集合中的四个特征张量进行特征融合处理得到对应的第一鸟瞰特征张量；
其中，第一鸟瞰特征张量的形状为H*W*C5，C5为第一鸟瞰特征张量的特征维度，C5＝(C1+Z*C2+Z*C3+D*C4)。
这里，传感器数据融合模块5在从第一、第二、第三和第四传感器模块接收数据时，并不能直接确定各个模块发送的哪些数据彼此是匹配的，需要根据各自携带的时间戳(图像时间戳、第一点云时间戳、第二点云时间戳和地图时间戳)来进行特征张量匹配。本发明实施例为此给出了一个时间戳匹配规则，该时间戳匹配规则与前文中的激光雷达时间戳匹配规则类似，即：将最近获得的图像时间戳、第一点云时间戳、第二点云时间戳和地图时间戳归入一组时间戳数据组，并对当前时间戳数据组内的各个时间戳进行两两时差计算得到多个时差数据，若每个时差数据的绝对值都小于预设的最小时差阈值则确定当前时间戳数据组内的各个时间戳满足该时间戳匹配规则，若不是每个时差数据的绝对值都小于预设的最小时差阈值则确定当前时间戳数据组内的各个时间戳不满足该时间戳匹配规则。在确认图像时间戳、第一点云时间戳、第二点云时间戳和地图时间戳满足时间戳匹配规则之后，就可将各自对应的第一图像特征张量、第一点云特征张量、第二点云特征张量和第一地图特征张量作为匹配的特征张量纳入待融合张量集合中进行特征融合。传感器数据融合模块5进行融合的处理方式实际就是以基本形状H*W*栅格特征维度为形状参考，对第一图像特征张量、第一点云特征张量、第二点云特征张量和第一地图特征张量做了一次张量拼接，所以第一鸟瞰特征张量的形状为H*W*C5，C5＝(C1+Z*C2+Z*C3+D*C4)。
本发明实施例提供了一种多传感器数据融合处理系统，该系统包括：第一传感器模块、第二传感器模块、第三传感器模块、第四传感器模块和传感器数据融合模块；其中，第一传感器模块包括多个第一相机，第二传感器模块包括多个第一激光雷达，第三传感器模块包括多个第一毫米波雷达，第四传感器模块包括高精地图处理单元。第一传感器模块通过多个第一相机获得实时的场景图像并对其进行鸟瞰视角的特征转换得到对应的第一图像特征张量；第二传感器模块通过多个第一激光雷达对场景的实时扫描获得可以体现场景中各个物体表面点到自车距离的激光雷达点云数据的并对其同样进行鸟瞰视角的特征转换得到对应的第一点云特征张量；第三传感器模块通过多个第一毫米波雷达对场景的实时扫描与速度分析获得可以体现场景中各个物体表面点速度的毫米波雷达点云数据的并对其同样进行鸟瞰视角的特征转换得到对应的第二点云特征张量；第四传感器模块通过高精地图处理单元获得与第一图像特征张量、第一点云特征张量和第二点云特征张量相同的鸟瞰平面的高精地图数据并对其进行特征张量转换得到对应的第一地图特征张量；传感器数据融合则用于对第一、第二、第三和第四传感器模块得到的四类相同鸟瞰视角的特征张量进行特征融合从而得到结合了环境中物体图像、物体间距、物体速度、环境地图特征的并且是基于鸟瞰视角的第一鸟瞰特征张量。通过本发明系统可以获得一个无论距离远近都能保证特征信息足够丰富的特征张量，解决了激光雷达点云无法提供较远距离环境特征的问题；将本发明系统产生的第一鸟瞰特征张量送入自动驾驶系统中进行障碍物检测识别，能同时提升近距离障碍物和较远距离障碍物的检测识别准确度，尤其能大幅度提升较远距离障碍物的检测识别准确度。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的系统、模块、单元及算法的步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的系统、模块、单元或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多传感器数据融合处理系统，其特征在于，所述系统包括：第一传感器模块、第二传感器模块、第三传感器模块、第四传感器模块和传感器数据融合模块；
所述第一传感器模块与所述传感器数据融合模块连接；所述第一传感器模块用于对自车周围环境进行图像拍摄和图像特征提取处理生成对应的第一图像特征张量和图像时间戳；并将所述第一图像特征张量和所述图像时间戳向所述传感器数据融合模块发送；
所述第二传感器模块与所述传感器数据融合模块连接；所述第二传感器模块用于对自车周围环境进行雷达测距和测距点云特征提取处理生成对应的第一点云特征张量和第一点云时间戳；并将所述第一点云特征张量和所述第一点云时间戳向所述传感器数据融合模块发送；
所述第三传感器模块与所述传感器数据融合模块连接；所述第三传感器模块用于对自车周围环境进行雷达测速和测速点云特征提取处理生成对应的第二点云特征张量和第二点云时间戳；并将所述第二点云特征张量和所述第二点云时间戳向所述传感器数据融合模块发送；
所述第四传感器模块与所述传感器数据融合模块连接；所述第四传感器模块用于获取自车周围环境对应的高精地图并对高精地图进行特征提取处理生成对应的第一地图特征张量和地图时间戳；并将所述第一地图特征张量和所述地图时间戳向所述传感器数据融合模块发送；
所述传感器数据融合模块用于根据所述第一、第二、第三和第四传感器模块的发送数据进行鸟瞰特征张量融合处理生成对应的第一鸟瞰特征张量。
2.根据权利要求1所述的多传感器数据融合处理系统，其特征在于，
所述第一传感器模块包括多个第一相机和图像特征处理单元；所述多个第一相机按各自预先分配的拍摄角度排列；各个所述第一相机分别与所述图像特征处理单元连接；所述图像特征处理单元与所述传感器数据融合模块连接。
3.根据权利要求2所述的多传感器数据融合处理系统，其特征在于，
所述第一传感器模块具体用于在所述对自车周围环境进行图像拍摄和图像特征提取处理时，由各个所述第一相机对自车周围环境进行图像拍摄处理，并由所述图像特征处理单元根据各个所述第一相机的发送数据进行鸟瞰栅格特征图转换处理生成对应的所述第一图像特征张量和所述图像时间戳，并由所述图像特征处理单元将所述第一图像特征张量和所述图像时间戳向所述传感器数据融合模块发送；
各个所述第一相机具体用于在所述对自车周围环境进行图像拍摄处理时，按预设拍摄频率对自车周围环境进行图像拍摄得到对应的第一图像；并根据所述第一图像的实时拍摄时间生成对应的第一时间戳；并由所述第一图像和所述第一时间戳组成发送数据向所述图像特征处理单元发送；
所述图像特征处理单元具体用于在所述根据各个所述第一相机的发送数据进行鸟瞰栅格特征图转换处理时，按预先分配的拍摄角度对各个所述第一相机进行顺序编号生成对应的第一相机编号；并接收各个所述第一相机发送的所述第一图像和所述第一时间戳；并按所述第一相机编号的顺序，对所述第一时间戳匹配的多个所述第一图像进行排序生成对应的第一图像序列；并为所述第一图像序列分配一个对应的时间戳作为所述图像时间戳；并使用BEVFormer模型基于预设的以自车为中心的鸟瞰栅格图尺寸H*W，对所述第一图像序列进行图像特征提取和鸟瞰栅格特征分割处理得到形状为H*W*C1的鸟瞰栅格特征图；并将所述鸟瞰栅格特征图作为所述第一图像特征张量；所述第一图像特征张量的形状为H*W*C1，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、C1为鸟瞰栅格图的栅格特征维度。
4.根据权利要求1所述的多传感器数据融合处理系统，其特征在于，
所述第二传感器模块包括多个第一激光雷达和第一点云特征处理单元；所述多个第一激光雷达按各自预先分配的安装角度水平排列；各个所述第一激光雷达分别与所述第一点云特征处理单元连接；所述第一点云特征处理单元与所述传感器数据融合模块连接。
5.根据权利要求4所述的多传感器数据融合处理系统，其特征在于，
所述第二传感器模块具体用于在所述对自车周围环境进行雷达测距和测距点云特征提取处理时，由各个所述第一激光雷达对自车周围环境进行雷达测距处理，并由所述第一点云特征处理单元根据各个所述第一激光雷达的发送数据进行激光雷达点云体素特征提取处理生成对应的所述第一点云特征张量和所述第一点云时间戳，并由所述第一点云特征处理单元将所述第一点云特征张量和所述第一点云时间戳向所述传感器数据融合模块发送；
各个所述第一激光雷达具体用于在所述对自车周围环境进行雷达测距处理时，按预设扫描频率对自车周围环境进行雷达扫描得到对应的第一激光雷达点云；并根据本次扫描的起始时间生成对应的第一激光雷达时间戳；并由所述第一激光雷达点云和所述第一激光雷达时间戳组成发送数据向所述第一点云特征处理单元发送；
所述第一点云特征处理单元具体用于在所述根据各个所述第一激光雷达的发送数据进行激光雷达点云体素特征提取处理时，按预先分配的安装角度对各个所述第一激光雷达进行顺序编号生成对应的第一激光雷达编号；并接收各个所述第一激光雷达发送的所述第一激光雷达点云和所述第一激光雷达时间戳；并按所述第一激光雷达编号的顺序，对所述第一激光雷达时间戳匹配的多个所述第一激光雷达点云进行点云融合处理生成对应的第一融合点云；并为所述第一融合点云分配一个对应的时间戳作为所述第一点云时间戳；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W和预设的点云体素高度Z构建以自车为中心的点云体素空间，并将所述第一融合点云中落入形状为H*W*Z的所述点云体素空间的部分点云提取出出来作为对应的第二融合点云；并使用VoxelNet模型对所述第二融合点云按所述点云体素空间中的各个单位体素进行体素点云切割得到H*W*Z组第一体素点云，并对各组所述第一体素点云进行降采样和体素特征编码生成对应的第一体素特征，并由得到的H*W*Z个所述第一体素特征构成所述第一点云特征张量；所述第一点云特征张量的形状为H*W*Z*C2，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、Z为预设的点云体素高度、C2为所述第一体素特征的特征维度。
6.根据权利要求1所述的多传感器数据融合处理系统，其特征在于，
所述第三传感器模块包括多个第一毫米波雷达和第二点云特征处理单元；所述多个第一毫米波雷达按各自预先分配的安装角度水平排列；各个所述第一毫米波雷达分别与所述第二点云特征处理单元连接；所述第二点云特征处理单元与所述传感器数据融合模块连接。
7.根据权利要求6所述的多传感器数据融合处理系统，其特征在于，
所述第三传感器模块具体用于在所述对自车周围环境进行雷达测速和测速点云特征提取处理时，由各个所述第一毫米波雷达对自车周围环境进行雷达测速处理，并由所述第二点云特征处理单元根据各个所述第一毫米波雷达的发送数据进行毫米波雷达点云体素特征提取处理生成对应的所述第二点云特征张量和所述第二点云时间戳，并由所述第二点云特征处理单元将所述第二点云特征张量和所述第二点云时间戳向所述传感器数据融合模块发送；
各个所述第一毫米波雷达具体用于在所述对自车周围环境进行雷达测速处理时，按预设扫描频率对自车周围环境进行雷达扫描得到对应的第一扫描点云，并基于多普勒效应原理根据所述第一扫描点云中各点的接收反射波频移量算出各点对应的速度向量，并将各点对应的所述速度向量作为新增数据维度向所述第一扫描点云的各点中添加从而得到对应的第一毫米波雷达点云；并根据本次扫描的起始时间生成对应的第一毫米波雷达时间戳；并由所述第一毫米波雷达点云和所述第一毫米波雷达时间戳组成发送数据向所述第二点云特征处理单元发送；所述速度向量包括三个维度的速度值(vx，vy，vz)；
所述第二点云特征处理单元具体用于在所述根据各个所述第一毫米波雷达的发送数据进行毫米波雷达点云体素特征提取处理时，按预先分配的安装角度对各个所述第一毫米波雷达进行顺序编号生成对应的第一毫米波雷达编号；并接收各个所述第一毫米波雷达发送的所述第一毫米波雷达点云和所述第一毫米波雷达时间戳；并按所述第一毫米波雷达编号的顺序，对所述第一毫米波雷达时间戳匹配的多个所述第一毫米波雷达点云进行点云融合处理生成对应的第三融合点云；并为所述第三融合点云分配一个对应的时间戳作为所述第二点云时间戳；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W和预设的点云体素高度Z构建以自车为中心的点云体素空间，并将所述第三融合点云中落入形状为H*W*Z的所述点云体素空间的部分点云提取出出来作为对应的第四融合点云；并对所述第四融合点云中各点的多维度数据进行整形，在原始的多维度数据中只保留其中与点云坐标(x，y，z)和速度向量(vx，vy，vz)对应的6个维度的数据从而使得所述第四融合点云中各点的数据维度为6；并对所述第四融合点云按所述点云体素空间中的各个单位体素进行体素点云切割得到H*W*Z组第二体素点云；并对各组所述第二体素点云中的点进行降采样处理；并在完成降采样的各组所述第二体素点云中，对所有点三个维度的速度值(vx，vy，vz)按维度对应关系分别进行均值速度计算得到对应的三个均值速度和/>并为各组所述第二体素点云分配一个对应的体素动静态数据；并根据各组第二体素点云的所述三个均值速度/>和/>对所述体素动静态数据进行设置，若所述三个均值速度/>和/>全低于预设的最小速度阈值则将所述体素动静态数据设为静态体素类型值，若所述三个均值速度/>和/>不全低于预设的最小速度阈值则将所述体素动静态数据设为动态体素类型值；并由各组第二体素点云的所述三个均值速度/>和/>和所述体素动静态数据组成对应的第二体素特征；并由得到的H*W*Z个所述第二体素特征构成所述第二点云特征张量；所述第二点云特征张量的形状为H*W*Z*C3，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、Z为预设的点云体素高度、C3为所述第二体素特征的特征维度，C3＝4。
8.根据权利要求1所述的多传感器数据融合处理系统，其特征在于，
所述第四传感器模块包括高精地图处理单元和地图特征处理单元；所述高精地图处理单元与所述地图特征处理单元连接；所述地图特征处理单元与所述传感器数据融合模块连接。
9.根据权利要求8所述的多传感器数据融合处理系统，其特征在于，
所述第四传感器模块具体用于在所述获取自车周围环境对应的高精地图并对高精地图进行特征提取处理时，由所述高精地图处理单元对自车周围环境对应的高精地图进行地图裁剪处理，并由所述地图特征处理单元根据所述高精地图处理单元的发送数据进行高精地图特征提取处理生成对应的所述第一地图特征张量和所述地图时间戳，并由所述地图特征处理单元将所述第一地图特征张量和所述地图时间戳向所述传感器数据融合模块发送；
所述高精地图处理单元具体用于在所述对自车周围环境对应的高精地图进行地图裁剪处理时，从自车的定位系统获取自车的实时定位信息作为对应的第一地图坐标；并从自车的高精地图系统获取自车所在区域的大面积地图作为对应的大地图；并在所述大地图上以所述第一地图坐标为截取地图中心，将所述截取地图中心周围与预设的鸟瞰图平面大小匹配的地图提取出来作为对应的鸟瞰地图；并根据所述鸟瞰地图的提取时间生成对应的鸟瞰地图时间戳；并将由所述鸟瞰地图和所述鸟瞰地图时间戳组成的发送数据向所述地图特征处理单元发送；
所述地图特征处理单元具体用于在所述根据所述高精地图处理单元的发送数据进行高精地图特征提取处理时，接收所述高精地图处理单元发送的所述鸟瞰地图和所述鸟瞰地图时间戳；并将所述鸟瞰地图时间戳作为对应的所述地图时间戳；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W对所述鸟瞰地图进行栅格切分得到H*W个栅格地图；并提取各个所述栅格地图中所有采样点的地图特征组成对应的栅格地图特征；并由得到的H*W个所述栅格地图特征组成对应的所述第一地图特征张量；所述第一地图特征张量的形状为H*W*D*C4，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度、D为所述栅格地图中的采样点数量、C3为所述鸟瞰地图的地图特征维度；各个所述栅格地图中的所述采样点数量D都是相等的，D＝鸟瞰地图采样点精度*栅格地图面积。
10.根据权利要求1所述的多传感器数据融合处理系统，其特征在于，
所述传感器数据融合模块具体用于在所述根据所述第一、第二、第三和第四传感器模块的发送数据进行鸟瞰特征张量融合处理时，接收所述第一传感器模块发送的所述第一图像特征张量和所述图像时间戳并保存；并接收所述第二传感器模块发送的所述第一点云特征张量和所述第一点云时间戳并保存；并接收所述第三传感器模块发送的所述第二点云特征张量和所述第二点云时间戳并保存；并接收所述第四传感器模块发送的所述第一地图特征张量和所述地图时间戳并保存；并将所述图像时间戳、所述第一点云时间戳、所述第二点云时间戳和所述地图时间戳满足预设的时间戳匹配规则的所述第一图像特征张量、所述第一点云特征张量、所述第二点云特征张量和所述第一地图特征张量作为时间匹配的待融合张量纳入到一组对应的待融合张量集合中；并基于预设的以自车为中心的鸟瞰栅格图尺寸H*W对各个所述待融合张量集合中的四个特征张量进行特征融合处理得到对应的所述第一鸟瞰特征张量；
其中，H为预设的鸟瞰栅格图深度、W为预设的鸟瞰栅格图宽度；所述第一图像特征张量的形状为H*W*C1，C1为鸟瞰栅格图的栅格特征维度；所述第一点云特征张量的形状为H*W*Z*C2，Z为预设的点云体素高度、C2为所述第一体素特征的特征维度；所述第二点云特征张量的形状为H*W*Z*C3，C3为所述第二体素特征的特征维度；所述第一地图特征张量的形状为H*W*D*C4，D为所述栅格地图中的采样点数量、C3为所述鸟瞰地图的地图特征维度，D＝鸟瞰地图采样点精度*栅格地图面积；所述第一鸟瞰特征张量的形状为H*W*C5，C5为所述第一鸟瞰特征张量的特征维度，C5＝(C1+Z*C2+Z*C3+D*C4)。
CN202210581421.2A 2022-05-26 2022-05-26 一种多传感器数据融合处理系统 Active CN114925769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210581421.2A CN114925769B (zh) 2022-05-26 2022-05-26 一种多传感器数据融合处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210581421.2A CN114925769B (zh) 2022-05-26 2022-05-26 一种多传感器数据融合处理系统

Publications (2)

Publication Number Publication Date
CN114925769A CN114925769A (zh) 2022-08-19
CN114925769B true CN114925769B (zh) 2024-03-29

Family

ID=82810639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210581421.2A Active CN114925769B (zh) 2022-05-26 2022-05-26 一种多传感器数据融合处理系统

Country Status (1)

Country Link
CN (1) CN114925769B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363615B (zh) * 2023-03-27 2024-02-23 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970518B1 (en) * 2017-11-14 2021-04-06 Apple Inc. Voxel-based feature learning network
CN113420637A (zh) * 2021-06-18 2021-09-21 北京轻舟智航科技有限公司 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970518B1 (en) * 2017-11-14 2021-04-06 Apple Inc. Voxel-based feature learning network
CN113420637A (zh) * 2021-06-18 2021-09-21 北京轻舟智航科技有限公司 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑少武 ; 李巍华 ; 胡坚耀 ; .基于激光点云与图像信息融合的交通环境车辆检测.仪器仪表学报.2019,(12),全文. *

Also Published As

Publication number Publication date
CN114925769A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
WO2021223368A1 (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
JP7297017B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
EP3264364B1 (en) Method and apparatus for obtaining range image with uav, and uav
DE102016104463B4 (de) Mehrdimensionale Verschmelzung von Bildern in Echtzeit
CN107850449B (zh) 用于生成及使用定位参考数据的方法及系统
EP1895472B1 (en) System and method for 3D radar image rendering
CN108549084B (zh) 一种基于稀疏二维激光雷达的目标检测与姿态估计方法
CN111257882B (zh) 数据融合方法、装置、无人驾驶设备和可读存储介质
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN114241211B (zh) 基于激光雷达点云特征的岸线提取方法
CN114925769B (zh) 一种多传感器数据融合处理系统
CN111999744A (zh) 一种无人机多方位探测、多角度智能避障方法
CN116466307B (zh) 一种基于深度图的毫米波雷达点云仿真的方法和装置
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
CN112651405B (zh) 目标检测方法及装置
CN113895482B (zh) 基于轨旁设备的列车测速方法及装置
CN116229224A (zh) 融合感知方法、装置、电子设备及存储介质
CN111123260B (zh) 一种毫米波雷达和可见光摄像的环境物体状态识别方法
CN111414848B (zh) 一种全类别3d障碍物检测方法、系统和介质
CN112802117B (zh) 一种激光雷达和摄像头标定参数盲复原方法
JP7392221B2 (ja) 物体認識システム
CN114170126B (zh) 一种点云稠密化方法、装置和电子设备
CN111414848A (zh) 一种全类别3d障碍物检测方法、系统和介质
Ahat et al. Obstacle Detection in Off-road Environments Based on LiDAR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant