CN115034324A - 一种多传感器融合感知效能增强方法 - Google Patents

Abstract

本发明公开了一种多传感器融合感知效能增强方法，涉及多传感器融合技术领域，该方法包括以下步骤：通过感知数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度对当前环境传感器的感知效能进行评估，得到相机、激光雷达和毫米波雷达在当前环境下对不同距离的各目标感知可信权重，构建基于动态事件触发的感知效能模型；采用分布式融合结构对传感器数据进行目标融合；效果是通过协同毫米波雷达、相机和激光雷达进行目标鲁棒感知，可以解决不确定的光照和天气导致毫米波雷达、相机和激光雷达性能降低甚至失效问题，进而避免自动驾驶决策和执行出现问题而引发车辆危害的行为。

Description

一种多传感器融合感知效能增强方法

技术领域

本发明涉及多传感器融合技术领域，更具体地说，它涉及一种多传感器融合感知效能增强方法。

背景技术

自动驾驶系统系统采用先进的通信、计算机、网络和控制技术，对车辆实现实时、连续控制。采用现代通信手段，实现双向数据通信，传输速率快，信息量大，使得运行管理更加灵活，控制更为有效，更加适应列车自动驾驶的需求。

在自动驾驶系统中需要通过传感器进行数据采集，然而现有的传感器在进行数据采集时，数据的准确性容易受到不确定的光照和天气的影响，导致毫米波雷达、相机和激光雷达性能降低甚至失效，从而输出出现偏差，进而促使自动驾驶决策和执行出现问题而引发车辆危害行为。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种多传感器融合感知效能增强方法。

为实现上述目的，本发明提供了如下技术方案：

一种多传感器融合感知效能增强方法，该方法包括以下步骤：

通过感知数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度对当前环境传感器的感知效能进行评估，得到相机、激光雷达和毫米波雷达在当前环境下对不同距离的各目标感知可信权重，构建基于动态事件触发的感知效能模型；

采用分布式融合结构对传感器数据进行目标融合；

对各个传感器数据进行处理产生局部的多目标识别与跟踪；

在恶劣环境下实现动态事件触发，将触发得到的毫米波雷达、相机和激光雷达对目标感知的可信权重引入目标数据关联和融合阶段；

协同毫米波雷达、相机和激光雷达进行目标鲁棒感知。

优选地，数据信噪比是指毫米波雷达的自身信号和噪声的比例、以及激光雷达自身信号和噪声的比例。

优选地，目标点航迹质量主要是指对比点迹和航迹说明当前环境下毫米波雷达的可信程度；其中，点迹是指毫米波雷达的探测值，航迹是指通过点迹和预测轨迹加权融合后预测值。

优选地，通过感知数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度对当前环境传感器的感知效能进行评估，具体为：

在不同天气环境下计算信噪比、点航迹质量、探测范围、像素数值特性，得到在不同天气环境下毫米波雷达、相机和激光雷达的数据随天气变化的数值；

在不同天气环境下毫米波雷达、相机和激光雷达分别对交通目标进行跟踪识别，对不同天气环境下毫米波雷达、相机和激光雷达的跟踪识别效果与实际的交通目标进行对比，得到在不同天气环境下毫米波雷达、相机和激光雷达的可信权重。

优选地，构建基于动态事件触发的感知效能模型，具体为：

毫米波雷达、相机和激光雷达在不同天气环境下进行数据采集；

通过数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度评估当前环境状况以及各传感器的可信权重，得到当前天气环境状况；

在不同天气环境下，根据可信权重协调毫米波雷达、相机和激光雷达工作，得到感知效能模型。

例如，在天气良好情况下可以完全信赖相机(目标类型、目标的数量)和激光雷达(目标类型、目标的几何形状、目标数量、距离、位置以及姿态)感知，毫米波雷达只用与对目标的距离和速度，对不同的数值实现联合；对于相同的数值，比如相机和激光雷达都能探测目标数量，就进行核对，选择其中最为清楚、准确的数据作为检测结果。

优选地，采用分布式融合结构对传感器数据进行目标融合，具体为：

通过数据投影的方式，将毫米波雷达感知的目标结果投影到相机采集的图像上，将激光雷达感知的目标结果投影到相机采集的图像上；

在图像上对毫米波雷达、相机和激光雷达目标感知结果进行匈牙利匹配；

将关联后的目标进行分析，将触发得到的毫米波雷达、相机和激光雷达对目标感知的可信权重引入目标数据关联和融合阶段。

优选地，对各个传感器数据进行处理产生局部的多目标识别与跟踪，具体为：

对交通场景中交通目标进行特征提取；

通过特征向量经过全连接和softmax进行分类；

分别对连续两帧的相机图像、激光雷达和毫米波雷达的数据，通过匈牙利匹配方法找寻两帧数据的所探测目标的匹配，实现目标的跟踪。

需要注意的是，根据动态事件触发，也就是天气环境变化导致的毫米波雷达、相机和激光雷达可信权重的变化实现自适应；通过可信权重确定当前天气环境的恶劣程度(良好、低、中、高)，在良好情况下完全信赖图像目标识别的数目，进行激光雷达和相机目标匈牙利匹配关联，毫米波雷达与相机目标的匈牙利匹配关联；在天气恶劣程度低的时候，需要综合激光雷达和相机的目标检测结果，然后与毫米波雷达进行匹配关联；在天气恶劣程度中的时候需要综合激光雷达和毫米波雷达目标检测结果，然后与图像进行匹配关联；在天气恶劣程度高的时候需要完全信赖毫米波雷达进行检测，激光雷达与相机进行辅助目标检测；在融合的时候，在良好情况下融合类别以相机的目标识别结果为准，目标的几何形状、目标数量、位置以及姿态以激光雷达探测的结果为准，目标的距离以激光雷达和毫米波雷达卡尔曼融合的为准，目标的速度以毫米波雷达探测的结果为准；在恶劣程度低的情况下目标类型以相机和激光雷达综合识别的结果为准，目标的几何形状、目标数量、位置以及姿态以激光雷达探测的结果为准，目标的距离以激光雷达和毫米波雷达卡尔曼融合的为准，目标的速度以毫米波雷达探测的结果为准；在恶劣程度中的情况下，目标类型以激光雷达探测的结果为准，目标的几何形状、以及姿态以激光雷达探测的结果为准，目标数量、位置以激光雷达和毫米波雷达综合探测结果为准；目标的距离以激光雷达和毫米波雷达卡尔曼融合的为准，目标的速度以毫米波雷达探测的结果为准；在恶劣程度高的情况下，只有目标的数量、距离、速度和位置，都以毫米波雷达探测的结果为准，其他传感器如果能感知到目标，只进行辅助。

与现有技术相比，本发明具备以下有益效果：

本发明中，通过协同毫米波雷达、相机和激光雷达进行目标鲁棒感知，可以解决不确定的光照和天气导致毫米波雷达、相机和激光雷达性能降低甚至失效问题，进而避免自动驾驶决策和执行出现问题而引发车辆危害的行为。

附图说明

图1为本发明提出一种多传感器融合感知效能增强方法的流程示意图。

具体实施方式

参照图1所示，实施例对本发明提出的一种多传感器融合感知效能增强方法做进一步说明。

为了解决不确定的光照和天气影响，导致毫米波雷达、相机和激光雷达性能降低甚至失效，从而输出出现偏差，进而促使自动驾驶决策和执行出现问题而引发车辆危害行为。首先，采用故障树分析等方法进行动态事件与毫米波雷达、相机和激光雷达感知效能的关联关系分析，分析事件的边界条件，即物理边界(相机、激光雷达、毫米波雷达)，环境边界(雨、雪、雾、光照)，同时基于感知数据信噪比、点航迹质量、传感器探测范围、像素数值特性四个维度，对环境场景动态演进规律进行解析，进而利用故障树逐层向下分解，从而确定导致发生的底层原因，即触发竞争合作模型的相关动态事件。

一种多传感器融合感知效能增强方法，该方法包括以下步骤：

通过感知数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度对当前环境传感器的感知效能进行评估，得到相机、激光雷达和毫米波雷达在当前环境下对不同距离的各目标感知可信权重，构建基于动态事件触发的感知效能模型；

需要注意的是，各目标主要包含动态目标和静态目标；动态目标是指人、自行车、摩托车、汽车以及其他运动物体；静态目标是指护栏、锥桶以及静止的其他障碍物。

采用分布式融合结构对传感器数据进行目标融合；

对各个传感器数据进行处理产生局部的多目标识别与跟踪；

在恶劣环境下实现动态事件触发，将触发得到的毫米波雷达、相机和激光雷达对目标感知的可信权重引入目标数据关联和融合阶段；

协同毫米波雷达、相机和激光雷达进行目标鲁棒感知。

数据信噪比是指毫米波雷达的自身信号和噪声的比例、以及激光雷达自身信号和噪声的比例。

需要注意的是，这里面的信号指的是来自设备外部需要通过这台设备进行处理的电子信号，噪声是指经过该设备后产生的原信号中并不存在的无规则的额外信号(或信息)，信噪比会根据雨雪雾的大小发生变化。

目标点航迹质量主要是指对比点迹和航迹说明当前环境下毫米波雷达的可信程度；其中，点迹是指毫米波雷达的探测值，航迹是指通过点迹和预测轨迹加权融合后预测值。

通过感知数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度对当前环境传感器的感知效能进行评估，具体为：

在不同天气环境下计算信噪比、点航迹质量、探测范围、像素数值特性，得到在不同天气环境下毫米波雷达、相机和激光雷达的数据随天气变化的数值，从而可以确定当前环境的状况；

在不同天气环境下毫米波雷达、相机和激光雷达分别对交通目标进行跟踪识别，对不同天气环境下毫米波雷达、相机和激光雷达的跟踪识别效果与实际的交通目标进行对比，得到在不同天气环境下毫米波雷达、相机和激光雷达的可信权重，需要注意的是，前期是需要通过数据采集才能构建出来。

构建基于动态事件触发的感知效能模型，具体为：

毫米波雷达、相机和激光雷达在不同天气环境下进行数据采集；

通过数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度评估当前环境状况以及各传感器的可信权重，得到当前天气环境状况；

在不同天气环境下，根据可信权重协调毫米波雷达、相机和激光雷达工作，得到感知效能模型。

例如，在天气良好情况下可以完全信赖相机(目标类型、目标的数量)和激光雷达(目标类型、目标的几何形状、目标数量、距离、位置以及姿态)感知，毫米波雷达只用与对目标的距离和速度，对不同的数值实现联合；对于相同的数值，比如相机和激光雷达都能探测目标数量，就进行核对，选择其中最为清楚、准确的数据作为检测结果。

采用分布式融合结构对传感器数据进行目标融合，具体为：

通过数据投影的方式，将毫米波雷达感知的目标结果投影到相机采集的图像上，将激光雷达感知的目标结果投影到相机采集的图像上；

这里的图像是相机得到的视频图像中的连续两帧的图像，一般视频的帧率是每秒30帧，也就是每一秒可以拍30张相片，将任意连续的两张照片进行目标匹配。

激光雷达数据是点云数据，其中激光雷达一般是10Hz，也就是每秒有10张的点云，也是对连续的两帧点云；毫米波雷达也是点云数据，只是非常稀疏，其中毫米波雷达一般是20Hz，也就是每秒有20张的点云，也是对连续的两帧点云。

在图像上对毫米波雷达、相机和激光雷达目标感知结果进行匈牙利匹配，即计算毫米波雷达、相机和激光雷达感知目标结果的欧式距离，欧式距离最短的目标为毫米波雷达、相机和激光雷达观测到的同一目标；

将关联后的目标进行分析，将触发得到的毫米波雷达、相机和激光雷达对目标感知的可信权重引入目标数据关联和融合阶段。

对各个传感器数据进行处理产生局部的多目标识别与跟踪，具体为：

对交通场景中交通目标进行特征提取；

通过特征向量经过全连接和softmax进行分类；

分类的结果是得到交通目标的分数，就是说明检测结果是(人、自行车、摩托车、汽车、其他运动物、锥桶、围栏、以及其他静态物体)，如果分类结果人的分数为0.9，自行车的分数为0.1，其他为0，这表示目标识别的结果人的概率大，就确定为人。

分别对连续两帧的相机图像、激光雷达和毫米波雷达的数据，通过匈牙利匹配方法找寻两帧数据的所探测目标的匹配，实现目标的跟踪。

需要注意的是，根据动态事件触发，也就是天气环境变化导致的毫米波雷达、相机和激光雷达可信权重的变化实现自适应；通过可信权重确定当前天气环境的恶劣程度(良好、低、中、高)，在良好情况下完全信赖图像目标识别的数目，进行激光雷达和相机目标匈牙利匹配关联，毫米波雷达与相机目标的匈牙利匹配关联；在天气恶劣程度低的时候，需要综合激光雷达和相机的目标检测结果，然后与毫米波雷达进行匹配关联；在天气恶劣程度中的时候需要综合激光雷达和毫米波雷达目标检测结果，然后与图像进行匹配关联；在天气恶劣程度高的时候需要完全信赖毫米波雷达进行检测，激光雷达与相机进行辅助目标检测；在融合的时候，在良好情况下融合类别以相机的目标识别结果为准，目标的几何形状、目标数量、位置以及姿态以激光雷达探测的结果为准，目标的距离以激光雷达和毫米波雷达卡尔曼融合的为准，目标的速度以毫米波雷达探测的结果为准；在恶劣程度低的情况下目标类型以相机和激光雷达综合识别的结果为准，目标的几何形状、目标数量、位置以及姿态以激光雷达探测的结果为准，目标的距离以激光雷达和毫米波雷达卡尔曼融合的为准，目标的速度以毫米波雷达探测的结果为准；在恶劣程度中的情况下，目标类型以激光雷达探测的结果为准，目标的几何形状、以及姿态以激光雷达探测的结果为准，目标数量、位置以激光雷达和毫米波雷达综合探测结果为准；目标的距离以激光雷达和毫米波雷达卡尔曼融合的为准，目标的速度以毫米波雷达探测的结果为准；在恶劣程度高的情况下，只有目标的数量、距离、速度和位置，都以毫米波雷达探测的结果为准，其他传感器如果能感知到目标，只进行辅助。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种多传感器融合感知效能增强方法，其特征在于，该方法包括以下步骤：

通过感知数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度对当前环境传感器的感知效能进行评估，得到相机、激光雷达和毫米波雷达在当前环境下对不同距离的各目标感知可信权重，构建基于动态事件触发的感知效能模型；

采用分布式融合结构对传感器数据进行目标融合；

对各个传感器数据进行处理产生局部的多目标识别与跟踪；

在恶劣环境下实现动态事件触发，将触发得到的毫米波雷达、相机和激光雷达对目标感知的可信权重引入目标数据关联和融合阶段；

协同毫米波雷达、相机和激光雷达进行目标鲁棒感知。

2.根据权利要求1所述的一种多传感器融合感知效能增强方法，其特征在于，数据信噪比是指毫米波雷达的自身信号和噪声的比例、以及激光雷达自身信号和噪声的比例。

3.根据权利要求2所述的一种多传感器融合感知效能增强方法，其特征在于，目标点航迹质量主要是指对比点迹和航迹说明当前环境下毫米波雷达的可信程度；其中，点迹是指毫米波雷达的探测值，航迹是指通过点迹和预测轨迹加权融合后预测值。

4.根据权利要求3所述的一种多传感器融合感知效能增强方法，其特征在于，通过感知数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度对当前环境传感器的感知效能进行评估，具体为：

在不同天气环境下计算信噪比、点航迹质量、探测范围、像素数值特性，得到在不同天气环境下毫米波雷达、相机和激光雷达的数据随天气变化的数值；

在不同天气环境下毫米波雷达、相机和激光雷达分别对交通目标进行跟踪识别，对不同天气环境下毫米波雷达、相机和激光雷达的跟踪识别效果与实际的交通目标进行对比，得到在不同天气环境下毫米波雷达、相机和激光雷达的可信权重。

5.根据权利要求4所述的一种多传感器融合感知效能增强方法，其特征在于，构建基于动态事件触发的感知效能模型，具体为：

毫米波雷达、相机和激光雷达在不同天气环境下进行数据采集；

通过数据信噪比、目标点航迹质量、传感器探测范围和像素数值特性四个维度评估当前环境状况以及各传感器的可信权重，得到当前天气环境状况；

在不同天气环境下，根据可信权重协调毫米波雷达、相机和激光雷达工作，得到感知效能模型。

6.根据权利要求5所述的一种多传感器融合感知效能增强方法，其特征在于，采用分布式融合结构对传感器数据进行目标融合，具体为：

通过数据投影的方式，将毫米波雷达感知的目标结果投影到相机采集的图像上，将激光雷达感知的目标结果投影到相机采集的图像上；

在图像上对毫米波雷达、相机和激光雷达目标感知结果进行匈牙利匹配；

将关联后的目标进行分析，将触发得到的毫米波雷达、相机和激光雷达对目标感知的可信权重引入目标数据关联和融合阶段。

7.根据权利要求6所述的一种多传感器融合感知效能增强方法，其特征在于，对各个传感器数据进行处理产生局部的多目标识别与跟踪，具体为：

对交通场景中交通目标进行特征提取；

通过特征向量经过全连接和softmax进行分类；

分别对连续两帧的相机图像、激光雷达和毫米波雷达的数据，通过匈牙利匹配方法找寻两帧数据的所探测目标的匹配，实现目标的跟踪。

Images