CN115100618A - 一种多源异构感知信息多层级融合表征与目标识别方法 - Google Patents

一种多源异构感知信息多层级融合表征与目标识别方法 Download PDF

Info

Publication number
CN115100618A
CN115100618A CN202210732739.6A CN202210732739A CN115100618A CN 115100618 A CN115100618 A CN 115100618A CN 202210732739 A CN202210732739 A CN 202210732739A CN 115100618 A CN115100618 A CN 115100618A
Authority
CN
China
Prior art keywords
data
point cloud
millimeter wave
laser radar
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210732739.6A
Other languages
English (en)
Other versions
CN115100618B (zh
Inventor
毕欣
翁才恩
仝盼盼
熊璐
张博
杨士超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210732739.6A priority Critical patent/CN115100618B/zh
Publication of CN115100618A publication Critical patent/CN115100618A/zh
Application granted granted Critical
Publication of CN115100618B publication Critical patent/CN115100618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种多源异构感知信息多层级融合表征与目标识别方法，涉及感知信息处理技术领域，该方法包括以下步骤：在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，效果是通过相机、毫米波雷达和激光雷达进行感知目标观测数据的收集，进行多层级融合，解决传感器在异常情况(遮挡、小目标和数据异常等)下目标检测的精度和鲁棒性，从而提高自动驾驶的安全性。

Description

一种多源异构感知信息多层级融合表征与目标识别方法
技术领域
本发明涉及感知信息处理技术领域，更具体地说，它涉及一种多源异构感知信息多层级融合表征与目标识别方法。
背景技术
自动驾驶系统系统采用先进的通信、计算机、网络和控制技术，对车辆实现实时、连续控制。采用现代通信手段，实现双向数据通信，传输速率快，信息量大，使得运行管理更加灵活，控制更为有效，更加适应列车自动驾驶的需求。
在自动驾驶系统中需要通过传感器进行数据采集，然而现有的传感器在异常情况下容易影响目标检测的精度和鲁棒性，比如在遮挡、小目标或数据异常等情况下容易影响目标检测的精度和鲁棒性，从而影响自动驾驶的安全性。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种多源异构感知信息多层级融合表征与目标识别方法。
为实现上述目的，本发明提供了如下技术方案：
一种多源异构感知信息多层级融合表征与目标识别方法，该方法包括以下步骤：
在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；
在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；
将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，并利用感兴趣区域池化操作将不同深度的特征进行串接；
通过解码器进行相机、毫米波雷达和激光雷达数据的特征级融合与表征；
在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，通过全连接进行分类得到相机、毫米波雷达和激光雷达的目标检测结果；
通过匈牙利算法进行数据关联与融合得到目标级的融合与表征；
将获得的数据级、特征级和目标级数据表征对比和融合后进行目标感知。
优选地，在数据级将相机、毫米波雷达和激光雷达的感知数据融合，具体为：
相机、毫米波雷达和激光雷达的感知数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；
相机图像通过透视变换将正视图投影到俯视图；
激光雷达点云数据为三维视图，选择离地的水平平面为俯视投影平面，去除地面的点云后，再将点云投影到该水平平面上；
毫米波雷达稀疏点云数据为俯视的二维平面点云，即将相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换至俯视图。
优选地，多粒度分解具体为：
将俯视图相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换为鸟瞰图；
将相机图像的鸟瞰图与激光雷达点云数据的鸟瞰图进行匈牙利匹配关联；
需要说明的是，由于相机图像鸟瞰图与激光雷达点云数据鸟瞰图的目标无法完全对齐，通过该方法可以实现两个传感器所观测到的目标是同一个目标，其实就是实现激光点云与图像像素对齐。
将相机图像颜色纹理数据用匹配后的激光雷达点云深度数据进行替代，这样的目的是所得的图像其实是一种RGB-D的图像，就可以使用卷积神经网络进行特征提取。
需要注意的是，多粒度分解是指相机图像的鸟瞰图，代表交通目标的粗粒度，分解为代表目标纹理的细粒度像素，在细粒度像素上用点云的深度信息代替，通俗的说就是将像素颜色变成表征距离的像素颜色。
最后对融合后的相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据进行逆变换重建，具体步骤为：通过逆变换将相机图像鸟瞰图变成相机图像正视图。
从而在数据级实现相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据融合与表征，这里的数据表征是一张带有深度信息图像的正视图。
优选地，在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取，具体为：
相机、毫米波雷达和激光雷达的输出数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；
将相机图像进行锐化处理使相机图像边缘突显，相机图像利用resnet50和FPN提取每张图像多尺度的特征图，特征图一般是将图像的不断锐化，将边缘特征突显，同时由于图像的加深也会使得小的边缘特征逐渐消失，因此后续需要进行不同深度的图像进行特征融合；
激光雷达点云数据提取点云的几何边缘特征，激光雷达点云数据用pointnet或VoxelNet提取点云的几何边缘特征，几何边缘特征就是点云的聚类后的外围点、线、面的几何特征，如一辆车的点云形状就是车的外形，只是没有车的颜色、以及玻璃、轮胎等纹理信息；
毫米波雷达稀疏点云数据提取雷达点的特征，毫米波雷达点云用3层的全连接提取雷达点的特征，毫米波雷达的特征其实就是一个比较稀疏的点云，特征比较少，通过这种提取方式可以将同一个物体的几个点云用一个大的点云进行表达。
采用多阶段连续融合思想，结合目标在相机、毫米波雷达和激光雷达的感知数据融合不同层的特征效果，由于目标的大小在图像和点云中特征层的感受野是不一样的，小目标在需要关注浅层的特征，大目标需要关注深层的特征；因为深度学习特征提取的问题，随着网络的加深小目标的特征会慢慢消失，因此对于小目标要关注浅层的特征；因为深度学习卷积网络的特性，随着网络加深小目标的特征消失，但是大目标的特征突显，因此大目标需要深层的特征。这里的深层特征会通过不断的卷积，将不关注的噪点给慢慢滤除了，这里指的目标是自动驾驶交通过程中的交通目标，比如人、车、障碍物等。
利用感兴趣区域池化操作将不同深度的特征进行串接，具体步骤为：
针对需要融合相机图像特征的某一层和点云特征的相同层进行讲解，将相机图像NxNxM的特征层(其中第一个N是横行像素个数，第二个N是竖行像素个数，M代表图像层数，x代表相乘的意思)中的NxN进行拉直变成NxN的向量，在M层上进行对比以数字最大的进行池化表征，最后将这一层的图像用一个NxN的向量进行表示；此时，点云在这一层的特征为KxL的矩阵(其中K代表点云个数，L代表特征数量，x代表相乘的意思)，在L列上对比K行的对应数字的大小，将大的数值留下，最后得到L个最大池化向量；然后将图像特征向量NxN与点云特征向量L进行拼接，得到NxN+L的特征向量。通过解码器，实现多源异构数据特征级融合与表征，将得到的NxN+L的特征向量通过全连接然后再进行softmax，得到融合后的目标分类结果，其中静态目标4类(锥桶、围栏、路沿、以及其他静态物体)，动态目标6类(人、自行车、摩托车、小轿车、大卡车、以及其他动态物体)，通过softmax可以得到这10类的分类结果分数，例如最终人的分数为0.8，自行车的分数为0.1，摩托车的分数为0.1，则该目标为人，因为其分类结果的分数最高。
优选地，在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，具体为：
相机、毫米波雷达和激光雷达的数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；
提取相机图像的纹理特征；
提取激光雷达点云数据的几何边缘特征；
提取毫米波雷达稀疏点云数据的运动特征。
通过全连接进行分类；将相机图像、激光点云、毫米波雷达点云的各自提取的特征通过全连接后再进行softmax，可以得到每个传感器对目标的分类分数，以分数高的为该分类的结果(例如最终人的分数为0.8，自行车的分数为0.1，摩托车的分数为0.1，则该目标为人，因为其分类结果的分数最高。)，获得各传感器目标检测结果(检测结果就是前面所述的分类结果)，然后利用匈牙利算法等进行数据关联与融合，实现目标在目标级的融合与表征，对于相机图像、激光点云、毫米波雷达点云的检测结果，其中结果主要有目标的类型和位置信息，利用通过各传感器目标位置计算两两传感器目标的欧氏距离，并结合目标类型，如果欧氏距离近但是目标类型不匹配，说明两个传感器感知的目标不是同一个目标，在计算下一个较近的欧氏距离，依次不断迭代匹配，直到至少有两个传感器能够实现匹配，如果最终的某个传感器的目标无法与其他传感器找到匹配的目标，则认为该目标是噪点，给予滤除，最终以正视图的方式展示目标匹配结果。
将获得的多层级数据表征进行对比和融合，将前述的数据级融合表征，即含义深度信息的前视图，进行特征提取、分类得到目标感知结果，特征级融合所得目标感知结果，目标级融合所得目标感知结果，三个结果进行对比和融合。进行对比和融合，主要是将三个感知结果进行综合，即进行并集处理，实现目标的精准感知。提高目标检测的精度和鲁棒性，实现对目标的检测，最终实现多传感器感知信息融合表征，在数据级、特征级和目标级三个感知结果融合的基础上，由于这种融合只是说明目标存在及类型，还需将三个传感器感知的信息添加进去，从而通过图像中的目标方框上方展示该目标的类型、距离、速度、位置、位姿等的融合表征方式。
与现有技术相比，本发明具备以下有益效果：
本发明中，通过相机、毫米波雷达和激光雷达进行感知目标观测数据的收集，进行多层级融合，解决传感器在异常情况(遮挡、小目标和数据异常等)下目标检测的精度和鲁棒性，从而提高自动驾驶的安全性。
附图说明
图1为本发明提出一种多源异构感知信息多层级融合表征与目标识别方法的流程示意图。
具体实施方式
参照图1所示，实施例一对本发明提出的一种多源异构感知信息多层级融合表征与目标识别方法做进一步说明。
为了解决传感器在异常情况(遮挡、小目标和数据异常等)下目标检测的精度和鲁棒性，通过相机、毫米波雷达和激光雷达进行感知目标观测数据的收集，进行多层级融合，从而提高自动驾驶的安全性。
一种多源异构感知信息多层级融合表征与目标识别方法，该方法包括以下步骤：
在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；
在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；
将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，并利用感兴趣区域池化操作将不同深度的特征进行串接；
通过解码器进行相机、毫米波雷达和激光雷达数据的特征级融合与表征；
在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，通过全连接进行分类得到相机、毫米波雷达和激光雷达的目标检测结果；
通过匈牙利算法进行数据关联与融合得到目标级的融合与表征；
将获得的数据级、特征级和目标级数据表征对比和融合后进行目标感知。
在数据级将相机、毫米波雷达和激光雷达的感知数据融合，具体为：
相机、毫米波雷达和激光雷达的感知数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；
相机图像通过透视变换将正视图投影到俯视图；
激光雷达点云数据为三维视图，选择离地的水平平面为俯视投影平面，去除地面的点云后，再将点云投影到该水平平面上；
毫米波雷达稀疏点云数据为俯视的二维平面点云，即将相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换至俯视图。
多粒度分解具体为：
将俯视图相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换为鸟瞰图；
将相机图像的鸟瞰图与激光雷达点云数据的鸟瞰图进行匈牙利匹配关联；
需要说明的是，由于相机图像鸟瞰图与激光雷达点云数据鸟瞰图的目标无法完全对齐，通过该方法可以实现两个传感器所观测到的目标是同一个目标，其实就是实现激光点云与图像像素对齐。
将相机图像颜色纹理数据用匹配后的激光雷达点云深度数据进行替代，这样的目的是所得的图像其实是一种RGB-D的图像，就可以使用卷积神经网络进行特征提取。
需要注意的是，多粒度分解是指相机图像的鸟瞰图，代表交通目标的粗粒度，分解为代表目标纹理的细粒度像素，在细粒度像素上用点云的深度信息代替，通俗的说就是将像素颜色变成表征距离的像素颜色。
最后对融合后的相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据进行逆变换重建，具体步骤为：通过逆变换将相机图像鸟瞰图变成相机图像正视图。
从而在数据级实现相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据融合与表征，这里的数据表征是一张带有深度信息图像的正视图。
在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取，具体为：
相机、毫米波雷达和激光雷达的输出数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；
将相机图像进行锐化处理使相机图像边缘突显，相机图像利用resnet50和FPN提取每张图像多尺度的特征图，特征图一般是将图像的不断锐化，将边缘特征突显，同时由于图像的加深也会使得小的边缘特征逐渐消失，因此后续需要进行不同深度的图像进行特征融合；
激光雷达点云数据提取点云的几何边缘特征，激光雷达点云数据用pointnet或VoxelNet提取点云的几何边缘特征，几何边缘特征就是点云的聚类后的外围点、线、面的几何特征，如一辆车的点云形状就是车的外形，只是没有车的颜色、以及玻璃、轮胎等纹理信息。
毫米波雷达稀疏点云数据提取雷达点的特征，毫米波雷达点云用3层的全连接提取雷达点的特征，毫米波雷达的特征其实就是一个比较稀疏的点云，特征比较少，通过这种提取方式可以将同一个物体的几个点云用一个大的点云进行表达。
采用多阶段连续融合思想，结合目标在相机、毫米波雷达和激光雷达的感知数据融合不同层的特征效果，由于目标的大小在图像和点云中特征层的感受野是不一样的，小目标在需要关注浅层的特征，大目标需要关注深层的特征；因为深度学习特征提取的问题，随着网络的加深小目标的特征会慢慢消失，因此对于小目标要关注浅层的特征；因为深度学习卷积网络的特性，随着网络加深小目标的特征消失，但是大目标的特征突显，因此大目标需要深层的特征。这里的深层特征会通过不断的卷积，将不关注的噪点给慢慢滤除了，这里指的目标是自动驾驶交通过程中的交通目标，比如人、车、障碍物等。
利用感兴趣区域池化操作将不同深度的特征进行串接，具体步骤为：
针对需要融合相机图像特征的某一层和点云特征的相同层进行讲解，将相机图像NxNxM的特征层(其中第一个N是横行像素个数，第二个N是竖行像素个数，M代表图像层数，x代表相乘的意思)中的NxN进行拉直变成NxN的向量，在M层上进行对比以数字最大的进行池化表征，最后将这一层的图像用一个NxN的向量进行表示；此时，点云在这一层的特征为KxL的矩阵(其中K代表点云个数，L代表特征数量，x代表相乘的意思)，在L列上对比K行的对应数字的大小，将大的数值留下，最后得到L个最大池化向量；然后将图像特征向量NxN与点云特征向量L进行拼接，得到NxN+L的特征向量。通过解码器，实现多源异构数据特征级融合与表征，将得到的NxN+L的特征向量通过全连接然后再进行softmax，得到融合后的目标分类结果，其中静态目标4类(锥桶、围栏、路沿、以及其他静态物体)，动态目标6类(人、自行车、摩托车、小轿车、大卡车、以及其他动态物体)，通过softmax可以得到这10类的分类结果分数，例如最终人的分数为0.8，自行车的分数为0.1，摩托车的分数为0.1，则该目标为人，因为其分类结果的分数最高。
在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，具体为：
相机、毫米波雷达和激光雷达的数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；
提取相机图像的纹理特征；
提取激光雷达点云数据的几何边缘特征；
提取毫米波雷达稀疏点云数据的运动特征。
通过全连接进行分类；将相机图像、激光点云、毫米波雷达点云的各自提取的特征通过全连接后再进行softmax，可以得到每个传感器对目标的分类分数，以分数高的为该分类的结果(例如最终人的分数为0.8，自行车的分数为0.1，摩托车的分数为0.1，则该目标为人，因为其分类结果的分数最高。)，获得各传感器目标检测结果(检测结果就是前面所述的分类结果)，然后利用匈牙利算法等进行数据关联与融合，实现目标在目标级的融合与表征，对于相机图像、激光点云、毫米波雷达点云的检测结果，其中结果主要有目标的类型和位置信息，利用通过各传感器目标位置计算两两传感器目标的欧氏距离，并结合目标类型，如果欧氏距离近但是目标类型不匹配，说明两个传感器感知的目标不是同一个目标，在计算下一个较近的欧氏距离，依次不断迭代匹配，直到至少有两个传感器能够实现匹配，如果最终的某个传感器的目标无法与其他传感器找到匹配的目标，则认为该目标是噪点，给予滤除，最终以正视图的方式展示目标匹配结果。
将获得的多层级数据表征进行对比和融合，将前述的数据级融合表征，即含义深度信息的前视图，进行特征提取、分类得到目标感知结果，特征级融合所得目标感知结果，目标级融合所得目标感知结果，三个结果进行对比和融合。进行对比和融合，主要是将三个感知结果进行综合，即进行并集处理，实现目标的精准感知。提高目标检测的精度和鲁棒性，实现对目标的检测，最终实现多传感器感知信息融合表征，在数据级、特征级和目标级三个感知结果融合的基础上，由于这种融合只是说明目标存在及类型，还需将三个传感器感知的信息添加进去，从而通过图像中的目标方框上方展示或者通过3D点云视图中的方框上方展示目标的类型、距离、速度、位置、位姿等的融合表征方式。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，该方法包括以下步骤：
在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；
在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；
将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，并利用感兴趣区域池化操作将不同深度的特征进行串接；
通过解码器进行相机、毫米波雷达和激光雷达数据的特征级融合与表征；
在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，通过全连接进行分类得到相机、毫米波雷达和激光雷达的目标检测结果；
通过匈牙利算法进行数据关联与融合得到目标级的融合与表征；
将获得的数据级、特征级和目标级数据表征对比和融合后进行目标感知。
2.根据权利要求1所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，在数据级将相机、毫米波雷达和激光雷达的感知数据融合，具体为：
相机、毫米波雷达和激光雷达的感知数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；
相机图像通过透视变换将正视图投影到俯视图；
激光雷达点云数据为三维视图，选择离地的水平平面为俯视投影平面，去除地面的点云后，再将点云投影到该水平平面上；
毫米波雷达稀疏点云数据为俯视的二维平面点云，即将相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换至俯视图。
3.根据权利要求2所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，多粒度分解具体为：
将俯视图相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换为鸟瞰图；
将相机图像的鸟瞰图与激光雷达点云数据的鸟瞰图进行匈牙利匹配关联；
将相机图像颜色纹理数据用匹配后的激光雷达点云深度数据进行替代。
4.根据权利要求3所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取，具体为：
相机、毫米波雷达和激光雷达的输出数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；
将相机图像进行锐化处理使相机图像边缘突显；
激光雷达点云数据提取点云的几何边缘特征；
毫米波雷达稀疏点云数据提取雷达点的特征。
5.根据权利要求4所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，具体为：
相机、毫米波雷达和激光雷达的数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；
提取相机图像的纹理特征；
提取激光雷达点云数据的几何边缘特征；
提取毫米波雷达稀疏点云数据的运动特征。
CN202210732739.6A 2022-06-27 2022-06-27 一种多源异构感知信息多层级融合表征与目标识别方法 Active CN115100618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210732739.6A CN115100618B (zh) 2022-06-27 2022-06-27 一种多源异构感知信息多层级融合表征与目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210732739.6A CN115100618B (zh) 2022-06-27 2022-06-27 一种多源异构感知信息多层级融合表征与目标识别方法

Publications (2)

Publication Number Publication Date
CN115100618A true CN115100618A (zh) 2022-09-23
CN115100618B CN115100618B (zh) 2024-04-12

Family

ID=83292495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210732739.6A Active CN115100618B (zh) 2022-06-27 2022-06-27 一种多源异构感知信息多层级融合表征与目标识别方法

Country Status (1)

Country Link
CN (1) CN115100618B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN113012193A (zh) * 2019-12-20 2021-06-22 四川大学 一种基于深度学习的多行人跟踪方法
US20210241026A1 (en) * 2020-02-04 2021-08-05 Nio Usa, Inc. Single frame 4d detection using deep fusion of camera image, imaging radar and lidar point cloud
CN113255504A (zh) * 2021-05-19 2021-08-13 燕山大学 一种基于深度学习的路侧视角超视距全域融合感知系统
CN113688738A (zh) * 2021-08-25 2021-11-23 北京交通大学 一种基于激光雷达点云数据的目标识别系统及方法
CN113763418A (zh) * 2021-03-02 2021-12-07 华南理工大学 一种基于头肩检测的多目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012193A (zh) * 2019-12-20 2021-06-22 四川大学 一种基于深度学习的多行人跟踪方法
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
US20210241026A1 (en) * 2020-02-04 2021-08-05 Nio Usa, Inc. Single frame 4d detection using deep fusion of camera image, imaging radar and lidar point cloud
CN113763418A (zh) * 2021-03-02 2021-12-07 华南理工大学 一种基于头肩检测的多目标跟踪方法
CN113255504A (zh) * 2021-05-19 2021-08-13 燕山大学 一种基于深度学习的路侧视角超视距全域融合感知系统
CN113688738A (zh) * 2021-08-25 2021-11-23 北京交通大学 一种基于激光雷达点云数据的目标识别系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAN WU 等: "Study on Target Tracking Based on vision and Radar Sensor Fusion", 《SAE INTERNATIONAL》, 3 April 2018 (2018-04-03), pages 1 - 8 *
XIN BI: "Multimodal Sensor Collaborative Information Sensing Technology", 《ENVIRONMENTAL PERCEPTION TECHNOLOGY FOR UNMANNED SYSTEMS》, 1 October 2020 (2020-10-01), pages 169 *
宫铭钱: "基于激光雷达和相机信息融合的车辆识别与跟踪研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 1, 15 January 2022 (2022-01-15), pages 035 - 552 *
肖雨晴 等: "目标检测算法在交通场景中应用综述", 《计算机工程与应用》, vol. 57, no. 6, 15 March 2021 (2021-03-15), pages 30 - 41 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN117130010B (zh) * 2023-10-23 2024-05-24 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车

Also Published As

Publication number Publication date
CN115100618B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN104036323B (zh) 一种基于卷积神经网络的车辆检测方法
CN104902261B (zh) 用于低清晰度视频流中的路面识别的装置和方法
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN105313782A (zh) 车辆行驶辅助系统及其方法
CN111209777A (zh) 车道线检测方法、装置、电子设备及可读存储介质
CN115049700A (zh) 一种目标检测方法及装置
KR101285106B1 (ko) 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
CN112329623A (zh) 雾天能见度检测与能见度安全等级划分预警方法
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN113688738A (zh) 一种基于激光雷达点云数据的目标识别系统及方法
CN115100618B (zh) 一种多源异构感知信息多层级融合表征与目标识别方法
Mehtab et al. 3D vehicle detection using cheap LiDAR and camera sensors
CN106803073B (zh) 基于立体视觉目标的辅助驾驶系统及方法
CN115410181A (zh) 双头解耦对齐的全场景目标检测方法、系统、装置及介质
CN115205813A (zh) 一种基于卷积神经网络的多视角道路车辆匹配系统及方法
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
CN106960193A (zh) 一种车道线检测装置和方法
CN113569826A (zh) 一种辅助驾驶的视角补偿系统
CN117593707A (zh) 一种车辆识别方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant