CN115593437A - 一种基于外环境多模态信息感知的决策方法及系统 - Google Patents

Abstract

本发明涉及信息处理技术领域，提出了一种基于外环境多模态信息感知的决策方法及系统，在正常天气条件下，将摄像头数据和激光雷达数据进行特征融合，得到第一融合数据，所述第一融合数据用于驾驶决策；在恶劣天气条件下，将第一融合数据和毫米波雷达数据进行特征融合，得到第二融合数据，所述第二融合数据用于驾驶决策。通过上述技术方案，解决了现有技术中无人驾驶汽车对环境感知精度差的问题。

Description

一种基于外环境多模态信息感知的决策方法及系统

技术领域

本发明涉及信息处理技术领域，具体的，涉及一种基于外环境多模态信息感知的决策方法及系统。

背景技术

自动驾驶技术是目前国内创新的重要组成部分，主要涉及感知、决策、执行三大环节。感知环节相当于人的眼和耳，主要通过车载摄像头、激光雷达等各类车载传感器在行车过程中完成对环境及车辆的感知、搜集周围环境数据并将其传输到决策层；决策环节相当于人的大脑，主要通过操作系统、芯片与计算平台等对接收到的数据进行实时处理并输出相应的操作与指令任务；执行端则相当于人的四肢，将接收到的操作指令执行到动力供给、方向控制、车灯控制等车辆终端部分。

感知环节是自动驾驶技术的基础，在正常天气条件下，车载摄像头和激光雷达的数据融合可以很好的完成周围环境感知任务，但是在恶劣天气条件下，感知环节的精度受到很大的影响，成为自动驾驶技术的一个难点。

发明内容

本发明提出一种基于外环境多模态信息感知的决策方法及系统，解决了相关技术中无人驾驶汽车对环境感知精度差的问题。

本发明的技术方案如下：

第一方面，一种基于外环境多模态信息感知的决策方法，应用于无人驾驶汽车控制系统，所述无人驾驶汽车控制系统包括摄像头、激光雷达和毫米波雷达，包括：

在正常天气条件下，将摄像头数据和激光雷达数据进行特征融合，得到第一融合数据，所述第一融合数据用于驾驶决策；

在恶劣天气条件下，将第一融合数据和毫米波雷达数据进行特征融合，得到第二融合数据，所述第二融合数据用于驾驶决策。

第二方面，一种基于外环境多模态信息感知的决策系统，应用于无人驾驶汽车控制系统，所述无人驾驶汽车控制系统包括摄像头、激光雷达和毫米波雷达，包括：

第一融合单元，用于在正常天气条件下，将摄像头数据和激光雷达数据进行特征融合，得到第一融合数据，所述第一融合数据用于驾驶决策；

第二融合单元，用于在恶劣天气条件下，将第一融合数据和毫米波雷达数据进行特征融合，得到第二融合数据，所述第二融合数据用于驾驶决策。

本发明的工作原理及有益效果为：

本发明中通过设置摄像头、激光雷达和毫米波雷达的组合，在正常天气条件下，根据摄像头和激光雷达的融合数据，即可满足自动驾驶的决策需求。在恶劣天气条件下，需要加入毫米波雷达的数据，毫米波雷达是工作在毫米波波段探测的一种雷达，毫米波在传播过程中不易受到环境的影响，对雨、雪、雾等有很好的穿透能力。因此，在恶劣天气条件下，将第一融合数据和毫米波雷达数据进行特征融合，便于对周围环境的识别，应对恶劣天气的影响。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明方法流程图；

图2为本发明中摄像头数据和激光雷达数据融合过程示意图；

图3为本发明中分级融合过程示意图；

图4为本发明系统结构示意图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都涉及本发明保护的范围。

实施例一

如图1所示，一种基于外环境多模态信息感知的决策方法，应用于无人驾驶汽车控制系统，所述无人驾驶汽车控制系统包括摄像头、激光雷达和毫米波雷达，包括：

在正常天气条件下，将摄像头数据和激光雷达数据进行特征融合，得到第一融合数据，所述第一融合数据用于驾驶决策；

在恶劣天气条件下，将第一融合数据和毫米波雷达数据进行特征融合，得到第二融合数据，所述第二融合数据用于驾驶决策。

本发明中通过设置摄像头、激光雷达和毫米波雷达的组合，在正常天气条件下，根据摄像头和激光雷达的融合数据，即可满足自动驾驶的决策需求。在恶劣天气条件下，需要加入毫米波雷达的数据，毫米波雷达是工作在毫米波波段探测的一种雷达，毫米波在传播过程中不易受到环境的影响，对雨、雪、雾等有很好的穿透能力。因此，在恶劣天气条件下，将第一融合数据和毫米波雷达数据进行特征融合，便于对周围环境的识别，应对恶劣天气的影响。

进一步，如图2所示，所述将摄像头数据和激光雷达数据进行特征融合，得到第一融合数据，具体包括：

将所述摄像头数据经过N个不同尺度的特征提取，得到N个特征图G₁，G₂，…G_N；其中N为自然数，且N≥3；

将所述激光雷达数据经过N个不同尺度的特征提取，得到N个特征图M₁，M₂，…M_N；其中，特征图G_i的尺度与特征图M_i的尺度相同，i＝1，2，…N；

执行N次分级融合操作，得到N个分级融合特征；

所述N个分级融合特征作为第一融合数据；

任一次分级融合操作包括：

将特征图G_i和特征图M_i输入融合模块，得到分级融合特征FU_i’。

本实例中，不同尺度特征提取通过不同大小的卷积层实现，卷积核的尺寸依次减小，位于前端的卷积层感受视野小，但细节特征的表达能力强，位于后端的卷积层感受视野大，但有效信息少，小目标的检测能力降低。将摄像头数据和激光雷达数据在不同尺度上进行特征融合，多个尺度的特征融合结果相互补充，有利于提高目标检测的精度。

将第一融合数据和毫米波雷达数据进行特征融合的过程与将摄像头数据和激光雷达数据进行特征融合的过程相同，这里不作赘述。

进一步，如图3所示，所述将特征图G_i和特征图M_i输入融合模块，得到分级融合特征FU_i’，具体包括：

将所述特征图G_i和特征图M_i进行特征拼接，得到拼接特征FU_i，

将所述拼接特征FU_i压缩为两个一维向量W_{C_AVG}、W_{C_MAX}；其中，一维向量W_{C_AVG}通过平均池化得到，W_{C_MAX}通过最大池化得到；

两个一维向量W_{C_AVG}、W_{C_MAX}转发至共享网络，在共享网络应用每个向量后，通过添加输出特征向量产生权重W_C；

将权重W_C和拼接特征FU_i融合，得到分级融合特征FU_i’。

本实施例中将拼接特征FU_i压缩为两个一维向量，并根据两个一维向量计算权重W_C；将权重W_C与拼接特征FU_i融合后得到分级融合特征FU_i’。本实施例能够根据不同模态的特征设置权重Wc，自适应选择需要关注的特征，有利于提高目标检测效果。

进一步，所述正常天气条件的判断方法包括：

根据摄像头数据，通过图像识别方法，得到当前能见度等级；

在当前能见度等级高于设定值时，判断为正常天气条件。

能见度一般分为9级，分别是优能见度、特优能见度、一般能见度、差能见度、差能见度、差能见度、差能见度(大雾)、差能见度(浓雾)、零能见度。根据摄像头数据，采用现有的图像处理方法，建立能见度识别模型，即可得到当前能见度等级，这是本领域的常用手段，这里不再赘述。

实施例二

如图4所示，一种基于外环境多模态信息感知的决策系统，应用于无人驾驶汽车控制系统，所述无人驾驶汽车控制系统包括摄像头、激光雷达和毫米波雷达，包括：

第一融合单元，用于在正常天气条件下，将摄像头数据和激光雷达数据进行特征融合，得到第一融合数据，所述第一融合数据用于驾驶决策；

第二融合单元，用于在恶劣天气条件下，将第一融合数据和毫米波雷达数据进行特征融合，得到第二融合数据，所述第二融合数据用于驾驶决策。

进一步，还包括：

第一计算单元，用于将所述摄像头数据经过N个不同尺度的特征提取，得到N个特征图G₁，G₂，…G_N；其中N为自然数，且N≥3；

第二计算单元，用于将所述激光雷达数据经过N个不同尺度的特征提取，得到N个特征图M₁，M₂，…M_N；其中，特征图G_i的尺度与特征图M_i的尺度相同，i＝1，2，…N；

第一执行单元，用于执行N次分级融合操作，得到N个分级融合特征；

所述N个分级融合特征作为第一融合数据；

任一次分级融合操作包括：

将特征图G_i和特征图M_i输入融合模块，得到分级融合特征FU_i’。

进一步，还包括：

第三计算单元，用于将所述特征图G_i和特征图M_i进行特征拼接，得到拼接特征FU_i，

第四计算单元，用于将所述拼接特征FU_i压缩为两个一维向量W_{C_AVG}、W_{C_MAX}；其中，一维向量W_{C_AVG}通过平均池化得到，W_{C_MAX}通过最大池化得到；

第五计算单元，用于将两个一维向量W_{C_AVG}、W_{C_MAX}转发至共享网络，在共享网络应用每个向量后，通过添加输出特征向量产生权重W_C；

第六计算单元，用于将权重W_C和拼接特征FU_i融合，得到分级融合特征FU_i’。

本实施例系统的工作原理在实施例一中已有详细的描述，为了说明书的简洁，这里不作赘述。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于外环境多模态信息感知的决策方法，应用于无人驾驶汽车控制系统，所述无人驾驶汽车控制系统包括摄像头、激光雷达和毫米波雷达，其特征在于，包括：

在正常天气条件下，将摄像头数据和激光雷达数据进行特征融合，得到第一融合数据，所述第一融合数据用于驾驶决策；

在恶劣天气条件下，将第一融合数据和毫米波雷达数据进行特征融合，得到第二融合数据，所述第二融合数据用于驾驶决策。

2.根据权利要求1所述的一种基于外环境多模态信息感知的决策方法，其特征在于，所述将摄像头数据和激光雷达数据进行特征融合，得到第一融合数据，具体包括：

将所述摄像头数据经过N个不同尺度的特征提取，得到N个特征图G₁，G₂，…G_N；其中N为自然数，且N≥3；

将所述激光雷达数据经过N个不同尺度的特征提取，得到N个特征图M₁，M₂，…M_N；其中，特征图G_i的尺度与特征图M_i的尺度相同，i＝1，2，…N；

执行N次分级融合操作，得到N个分级融合特征；

所述N个分级融合特征作为第一融合数据；

任一次分级融合操作包括：

将特征图G_i和特征图M_i输入融合模块，得到分级融合特征FU_i’。

3.根据权利要求2所述的一种基于外环境多模态信息感知的决策方法，其特征在于，所述将特征图G_i和特征图M_i输入融合模块，得到分级融合特征FU_i’，具体包括：

将所述特征图G_i和特征图M_i进行特征拼接，得到拼接特征FU_i，

将所述拼接特征FU_i压缩为两个一维向量W_{C_AVG}、W_{C_MAX}；其中，一维向量W_{C_AVG}通过平均池化得到，W_{C_MAX}通过最大池化得到；

将两个一维向量W_{C_AVG}、W_{C_MAX}转发至共享网络，在共享网络应用每个向量后，通过添加输出特征向量产生权重W_C；

将权重W_C和拼接特征FU_i融合，得到分级融合特征FU_i’。

4.一种基于外环境多模态信息感知的决策方法，其特征在于，所述正常天气条件的判断方法包括：

根据摄像头数据，通过图像识别方法，得到当前能见度等级；

在当前能见度等级高于设定值时，判断为正常天气条件。

5.一种基于外环境多模态信息感知的决策系统，应用于无人驾驶汽车控制系统，所述无人驾驶汽车控制系统包括摄像头、激光雷达和毫米波雷达，其特征在于，包括：

第一融合单元，用于在正常天气条件下，将摄像头数据和激光雷达数据进行特征融合，得到第一融合数据，所述第一融合数据用于驾驶决策；

第二融合单元，用于在恶劣天气条件下，将第一融合数据和毫米波雷达数据进行特征融合，得到第二融合数据，所述第二融合数据用于驾驶决策。

6.根据权利要求5所述的一种基于外环境多模态信息感知的决策系统，其特征在于，还包括：

第一计算单元，用于将所述摄像头数据经过N个不同尺度的特征提取，得到N个特征图G₁，G₂，…G_N；其中N为自然数，且N≥3；

第二计算单元，用于将所述激光雷达数据经过N个不同尺度的特征提取，得到N个特征图M₁，M₂，…M_N；其中，特征图G_i的尺度与特征图M_i的尺度相同，i＝1，2，…N；

第一执行单元，用于执行N次分级融合操作，得到N个分级融合特征；

所述N个分级融合特征作为第一融合数据；

任一次分级融合操作包括：

将特征图G_i和特征图M_i输入融合模块，得到分级融合特征FU_i’。

7.根据权利要求6所述的一种基于外环境多模态信息感知的决策系统，其特征在于，还包括：

第三计算单元，用于将所述特征图G_i和特征图M_i进行特征拼接，得到拼接特征FU_i，

第四计算单元，用于将所述拼接特征FU_i压缩为两个一维向量W_{C_AVG}、W_{C_MAX}；其中，一维向量W_{C_AVG}通过平均池化得到，W_{C_MAX}通过最大池化得到；

第五计算单元，用于将两个一维向量W_{C_AVG}、W_{C_MAX}转发至共享网络，在共享网络应用每个向量后，通过添加输出特征向量产生权重W_C；

第六计算单元，用于将权重W_C和拼接特征FU_i融合，得到分级融合特征FU_i’。

Images