CN115100618B - 一种多源异构感知信息多层级融合表征与目标识别方法 - Google Patents

Abstract

本发明公开了一种多源异构感知信息多层级融合表征与目标识别方法，涉及感知信息处理技术领域，该方法包括以下步骤：在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，效果是通过相机、毫米波雷达和激光雷达进行感知目标观测数据的收集，进行多层级融合，解决传感器在异常情况(遮挡、小目标和数据异常等)下目标检测的精度和鲁棒性，从而提高自动驾驶的安全性。

Description

一种多源异构感知信息多层级融合表征与目标识别方法

技术领域

本发明涉及感知信息处理技术领域，更具体地说，它涉及一种多源异构感知信息多层级融合表征与目标识别方法。

背景技术

自动驾驶系统系统采用先进的通信、计算机、网络和控制技术，对车辆实现实时、连续控制。采用现代通信手段，实现双向数据通信，传输速率快，信息量大，使得运行管理更加灵活，控制更为有效，更加适应列车自动驾驶的需求。

在自动驾驶系统中需要通过传感器进行数据采集，然而现有的传感器在异常情况下容易影响目标检测的精度和鲁棒性，比如在遮挡、小目标或数据异常等情况下容易影响目标检测的精度和鲁棒性，从而影响自动驾驶的安全性。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种多源异构感知信息多层级融合表征与目标识别方法。

为实现上述目的，本发明提供了如下技术方案：

一种多源异构感知信息多层级融合表征与目标识别方法，该方法包括以下步骤：

在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；

在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；

将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，并利用感兴趣区域池化操作将不同深度的特征进行串接；

通过解码器进行相机、毫米波雷达和激光雷达数据的特征级融合与表征；

在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，通过全连接进行分类得到相机、毫米波雷达和激光雷达的目标检测结果；

通过匈牙利算法进行数据关联与融合得到目标级的融合与表征；

将获得的数据级、特征级和目标级数据表征对比和融合后进行目标感知。

优选地，在数据级将相机、毫米波雷达和激光雷达的感知数据融合，具体为：

相机、毫米波雷达和激光雷达的感知数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；

相机图像通过透视变换将正视图投影到俯视图；

激光雷达点云数据为三维视图，选择离地的水平平面为俯视投影平面，去除地面的点云后，再将点云投影到该水平平面上；

毫米波雷达稀疏点云数据为俯视的二维平面点云，即将相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换至俯视图。

优选地，多粒度分解具体为：

将俯视图相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换为鸟瞰图；

将相机图像的鸟瞰图与激光雷达点云数据的鸟瞰图进行匈牙利匹配关联；

需要说明的是，由于相机图像鸟瞰图与激光雷达点云数据鸟瞰图的目标无法完全对齐，通过该方法可以实现两个传感器所观测到的目标是同一个目标，其实就是实现激光点云与图像像素对齐。

将相机图像颜色纹理数据用匹配后的激光雷达点云深度数据进行替代，这样的目的是所得的图像其实是一种RGB-D的图像，就可以使用卷积神经网络进行特征提取。

需要注意的是，多粒度分解是指相机图像的鸟瞰图，代表交通目标的粗粒度，分解为代表目标纹理的细粒度像素，在细粒度像素上用点云的深度信息代替，通俗的说就是将像素颜色变成表征距离的像素颜色。

最后对融合后的相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据进行逆变换重建，具体步骤为：通过逆变换将相机图像鸟瞰图变成相机图像正视图。

从而在数据级实现相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据融合与表征，这里的数据表征是一张带有深度信息图像的正视图。

优选地，在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取，具体为：

相机、毫米波雷达和激光雷达的输出数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；

将相机图像进行锐化处理使相机图像边缘突显，相机图像利用resnet50和FPN提取每张图像多尺度的特征图，特征图一般是将图像的不断锐化，将边缘特征突显，同时由于图像的加深也会使得小的边缘特征逐渐消失，因此后续需要进行不同深度的图像进行特征融合；

激光雷达点云数据提取点云的几何边缘特征，激光雷达点云数据用pointnet或VoxelNet提取点云的几何边缘特征，几何边缘特征就是点云的聚类后的外围点、线、面的几何特征，如一辆车的点云形状就是车的外形，只是没有车的颜色、以及玻璃、轮胎等纹理信息；

毫米波雷达稀疏点云数据提取雷达点的特征，毫米波雷达点云用3层的全连接提取雷达点的特征，毫米波雷达的特征其实就是一个比较稀疏的点云，特征比较少，通过这种提取方式可以将同一个物体的几个点云用一个大的点云进行表达。

采用多阶段连续融合思想，结合目标在相机、毫米波雷达和激光雷达的感知数据融合不同层的特征效果，由于目标的大小在图像和点云中特征层的感受野是不一样的，小目标在需要关注浅层的特征，大目标需要关注深层的特征；因为深度学习特征提取的问题，随着网络的加深小目标的特征会慢慢消失，因此对于小目标要关注浅层的特征；因为深度学习卷积网络的特性，随着网络加深小目标的特征消失，但是大目标的特征突显，因此大目标需要深层的特征。这里的深层特征会通过不断的卷积，将不关注的噪点给慢慢滤除了，这里指的目标是自动驾驶交通过程中的交通目标，比如人、车、障碍物等。

利用感兴趣区域池化操作将不同深度的特征进行串接，具体步骤为：

针对需要融合相机图像特征的某一层和点云特征的相同层进行讲解，将相机图像NxNxM的特征层(其中第一个N是横行像素个数，第二个N是竖行像素个数，M代表图像层数，x代表相乘的意思)中的NxN进行拉直变成NxN的向量，在M层上进行对比以数字最大的进行池化表征，最后将这一层的图像用一个NxN的向量进行表示；此时，点云在这一层的特征为KxL的矩阵(其中K代表点云个数，L代表特征数量，x代表相乘的意思)，在L列上对比K行的对应数字的大小，将大的数值留下，最后得到L个最大池化向量；然后将图像特征向量NxN与点云特征向量L进行拼接，得到NxN+L的特征向量。通过解码器，实现多源异构数据特征级融合与表征，将得到的NxN+L的特征向量通过全连接然后再进行softmax，得到融合后的目标分类结果，其中静态目标4类(锥桶、围栏、路沿、以及其他静态物体)，动态目标6类(人、自行车、摩托车、小轿车、大卡车、以及其他动态物体)，通过softmax可以得到这10类的分类结果分数，例如最终人的分数为0.8，自行车的分数为0.1，摩托车的分数为0.1，则该目标为人，因为其分类结果的分数最高。

优选地，在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，具体为：

相机、毫米波雷达和激光雷达的数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；

提取相机图像的纹理特征；

提取激光雷达点云数据的几何边缘特征；

提取毫米波雷达稀疏点云数据的运动特征。

通过全连接进行分类；将相机图像、激光点云、毫米波雷达点云的各自提取的特征通过全连接后再进行softmax，可以得到每个传感器对目标的分类分数，以分数高的为该分类的结果(例如最终人的分数为0.8，自行车的分数为0.1，摩托车的分数为0.1，则该目标为人，因为其分类结果的分数最高。)，获得各传感器目标检测结果(检测结果就是前面所述的分类结果)，然后利用匈牙利算法等进行数据关联与融合，实现目标在目标级的融合与表征，对于相机图像、激光点云、毫米波雷达点云的检测结果，其中结果主要有目标的类型和位置信息，利用通过各传感器目标位置计算两两传感器目标的欧氏距离，并结合目标类型，如果欧氏距离近但是目标类型不匹配，说明两个传感器感知的目标不是同一个目标，在计算下一个较近的欧氏距离，依次不断迭代匹配，直到至少有两个传感器能够实现匹配，如果最终的某个传感器的目标无法与其他传感器找到匹配的目标，则认为该目标是噪点，给予滤除，最终以正视图的方式展示目标匹配结果。

将获得的多层级数据表征进行对比和融合，将前述的数据级融合表征，即含义深度信息的前视图，进行特征提取、分类得到目标感知结果，特征级融合所得目标感知结果，目标级融合所得目标感知结果，三个结果进行对比和融合。进行对比和融合，主要是将三个感知结果进行综合，即进行并集处理，实现目标的精准感知。提高目标检测的精度和鲁棒性，实现对目标的检测，最终实现多传感器感知信息融合表征，在数据级、特征级和目标级三个感知结果融合的基础上，由于这种融合只是说明目标存在及类型，还需将三个传感器感知的信息添加进去，从而通过图像中的目标方框上方展示该目标的类型、距离、速度、位置、位姿等的融合表征方式。

与现有技术相比，本发明具备以下有益效果：

本发明中，通过相机、毫米波雷达和激光雷达进行感知目标观测数据的收集，进行多层级融合，解决传感器在异常情况(遮挡、小目标和数据异常等)下目标检测的精度和鲁棒性，从而提高自动驾驶的安全性。

附图说明

图1为本发明提出一种多源异构感知信息多层级融合表征与目标识别方法的流程示意图。

具体实施方式

参照图1所示，实施例一对本发明提出的一种多源异构感知信息多层级融合表征与目标识别方法做进一步说明。

为了解决传感器在异常情况(遮挡、小目标和数据异常等)下目标检测的精度和鲁棒性，通过相机、毫米波雷达和激光雷达进行感知目标观测数据的收集，进行多层级融合，从而提高自动驾驶的安全性。

一种多源异构感知信息多层级融合表征与目标识别方法，该方法包括以下步骤：

在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；

在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；

将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，并利用感兴趣区域池化操作将不同深度的特征进行串接；

通过解码器进行相机、毫米波雷达和激光雷达数据的特征级融合与表征；

在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，通过全连接进行分类得到相机、毫米波雷达和激光雷达的目标检测结果；

通过匈牙利算法进行数据关联与融合得到目标级的融合与表征；

将获得的数据级、特征级和目标级数据表征对比和融合后进行目标感知。

在数据级将相机、毫米波雷达和激光雷达的感知数据融合，具体为：

相机、毫米波雷达和激光雷达的感知数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；

相机图像通过透视变换将正视图投影到俯视图；

激光雷达点云数据为三维视图，选择离地的水平平面为俯视投影平面，去除地面的点云后，再将点云投影到该水平平面上；

毫米波雷达稀疏点云数据为俯视的二维平面点云，即将相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换至俯视图。

多粒度分解具体为：

将俯视图相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换为鸟瞰图；

将相机图像的鸟瞰图与激光雷达点云数据的鸟瞰图进行匈牙利匹配关联；

需要说明的是，由于相机图像鸟瞰图与激光雷达点云数据鸟瞰图的目标无法完全对齐，通过该方法可以实现两个传感器所观测到的目标是同一个目标，其实就是实现激光点云与图像像素对齐。

将相机图像颜色纹理数据用匹配后的激光雷达点云深度数据进行替代，这样的目的是所得的图像其实是一种RGB-D的图像，就可以使用卷积神经网络进行特征提取。

需要注意的是，多粒度分解是指相机图像的鸟瞰图，代表交通目标的粗粒度，分解为代表目标纹理的细粒度像素，在细粒度像素上用点云的深度信息代替，通俗的说就是将像素颜色变成表征距离的像素颜色。

最后对融合后的相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据进行逆变换重建，具体步骤为：通过逆变换将相机图像鸟瞰图变成相机图像正视图。

从而在数据级实现相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据融合与表征，这里的数据表征是一张带有深度信息图像的正视图。

在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取，具体为：

相机、毫米波雷达和激光雷达的输出数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；

将相机图像进行锐化处理使相机图像边缘突显，相机图像利用resnet50和FPN提取每张图像多尺度的特征图，特征图一般是将图像的不断锐化，将边缘特征突显，同时由于图像的加深也会使得小的边缘特征逐渐消失，因此后续需要进行不同深度的图像进行特征融合；

激光雷达点云数据提取点云的几何边缘特征，激光雷达点云数据用pointnet或VoxelNet提取点云的几何边缘特征，几何边缘特征就是点云的聚类后的外围点、线、面的几何特征，如一辆车的点云形状就是车的外形，只是没有车的颜色、以及玻璃、轮胎等纹理信息。

毫米波雷达稀疏点云数据提取雷达点的特征，毫米波雷达点云用3层的全连接提取雷达点的特征，毫米波雷达的特征其实就是一个比较稀疏的点云，特征比较少，通过这种提取方式可以将同一个物体的几个点云用一个大的点云进行表达。

采用多阶段连续融合思想，结合目标在相机、毫米波雷达和激光雷达的感知数据融合不同层的特征效果，由于目标的大小在图像和点云中特征层的感受野是不一样的，小目标在需要关注浅层的特征，大目标需要关注深层的特征；因为深度学习特征提取的问题，随着网络的加深小目标的特征会慢慢消失，因此对于小目标要关注浅层的特征；因为深度学习卷积网络的特性，随着网络加深小目标的特征消失，但是大目标的特征突显，因此大目标需要深层的特征。这里的深层特征会通过不断的卷积，将不关注的噪点给慢慢滤除了，这里指的目标是自动驾驶交通过程中的交通目标，比如人、车、障碍物等。

利用感兴趣区域池化操作将不同深度的特征进行串接，具体步骤为：

针对需要融合相机图像特征的某一层和点云特征的相同层进行讲解，将相机图像NxNxM的特征层(其中第一个N是横行像素个数，第二个N是竖行像素个数，M代表图像层数，x代表相乘的意思)中的NxN进行拉直变成NxN的向量，在M层上进行对比以数字最大的进行池化表征，最后将这一层的图像用一个NxN的向量进行表示；此时，点云在这一层的特征为KxL的矩阵(其中K代表点云个数，L代表特征数量，x代表相乘的意思)，在L列上对比K行的对应数字的大小，将大的数值留下，最后得到L个最大池化向量；然后将图像特征向量NxN与点云特征向量L进行拼接，得到NxN+L的特征向量。通过解码器，实现多源异构数据特征级融合与表征，将得到的NxN+L的特征向量通过全连接然后再进行softmax，得到融合后的目标分类结果，其中静态目标4类(锥桶、围栏、路沿、以及其他静态物体)，动态目标6类(人、自行车、摩托车、小轿车、大卡车、以及其他动态物体)，通过softmax可以得到这10类的分类结果分数，例如最终人的分数为0.8，自行车的分数为0.1，摩托车的分数为0.1，则该目标为人，因为其分类结果的分数最高。

在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，具体为：

相机、毫米波雷达和激光雷达的数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；

提取相机图像的纹理特征；

提取激光雷达点云数据的几何边缘特征；

提取毫米波雷达稀疏点云数据的运动特征。

通过全连接进行分类；将相机图像、激光点云、毫米波雷达点云的各自提取的特征通过全连接后再进行softmax，可以得到每个传感器对目标的分类分数，以分数高的为该分类的结果(例如最终人的分数为0.8，自行车的分数为0.1，摩托车的分数为0.1，则该目标为人，因为其分类结果的分数最高。)，获得各传感器目标检测结果(检测结果就是前面所述的分类结果)，然后利用匈牙利算法等进行数据关联与融合，实现目标在目标级的融合与表征，对于相机图像、激光点云、毫米波雷达点云的检测结果，其中结果主要有目标的类型和位置信息，利用通过各传感器目标位置计算两两传感器目标的欧氏距离，并结合目标类型，如果欧氏距离近但是目标类型不匹配，说明两个传感器感知的目标不是同一个目标，在计算下一个较近的欧氏距离，依次不断迭代匹配，直到至少有两个传感器能够实现匹配，如果最终的某个传感器的目标无法与其他传感器找到匹配的目标，则认为该目标是噪点，给予滤除，最终以正视图的方式展示目标匹配结果。

将获得的多层级数据表征进行对比和融合，将前述的数据级融合表征，即含义深度信息的前视图，进行特征提取、分类得到目标感知结果，特征级融合所得目标感知结果，目标级融合所得目标感知结果，三个结果进行对比和融合。进行对比和融合，主要是将三个感知结果进行综合，即进行并集处理，实现目标的精准感知。提高目标检测的精度和鲁棒性，实现对目标的检测，最终实现多传感器感知信息融合表征，在数据级、特征级和目标级三个感知结果融合的基础上，由于这种融合只是说明目标存在及类型，还需将三个传感器感知的信息添加进去，从而通过图像中的目标方框上方展示或者通过3D点云视图中的方框上方展示目标的类型、距离、速度、位置、位姿等的融合表征方式。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，该方法包括以下步骤：

在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；

在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；

将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，并利用感兴趣区域池化操作将不同深度的特征进行串接；

通过解码器进行相机、毫米波雷达和激光雷达数据的特征级融合与表征；

在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，通过全连接进行分类得到相机、毫米波雷达和激光雷达的目标检测结果；

通过匈牙利算法进行数据关联与融合得到目标级的融合与表征；

将获得的数据级、特征级和目标级数据表征对比和融合后进行目标感知；

在数据级将相机、毫米波雷达和激光雷达的感知数据融合，具体为：

相机、毫米波雷达和激光雷达的感知数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；

相机图像通过透视变换将正视图投影到俯视图；

激光雷达点云数据为三维视图，选择离地的水平平面为俯视投影平面，去除地面的点云后，再将点云投影到该水平平面上；

毫米波雷达稀疏点云数据为俯视的二维平面点云，即将相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换至俯视图；

其中，多粒度分解具体为：

将俯视图相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换为鸟瞰图；

将相机图像的鸟瞰图与激光雷达点云数据的鸟瞰图进行匈牙利匹配关联；

将相机图像颜色纹理数据用匹配后的激光雷达点云深度数据进行替代。

2.根据权利要求1所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取，具体为：

相机、毫米波雷达和激光雷达的输出数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；

将相机图像进行锐化处理使相机图像边缘突显；

激光雷达点云数据提取点云的几何边缘特征；

毫米波雷达稀疏点云数据提取雷达点的特征。

3.根据权利要求2所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，具体为：

相机、毫米波雷达和激光雷达的数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；

提取相机图像的纹理特征；

提取激光雷达点云数据的几何边缘特征；

提取毫米波雷达稀疏点云数据的运动特征。