CN115620263B - 基于摄像机和激光雷达图像融合的智能车障碍物检测方法 - Google Patents

Abstract

本发明公开了一种基于摄像机和激光雷达图像融合的智能车障碍物检测方法，包括以下步骤：S1：利用摄像机采集智能车的原始图像，并对原始图像进行图像分割；S2：利用激光雷达采集智能车的点云图像，并对点云图像进行点云处理；S3：对图像分割后的原始图像和点云处理后的点云图像进行融合，得到融合图像，并对融合图像进行障碍物检测。本发明提出的融合方法对两种传感器采集的图像可以较好的进行融合，确保障碍物的精确度较高，在复杂情况下仍可以做到障碍物的精准识别，并较大程度的还原障碍物的轮廓，有取得较高的识别速率，有一定的实用价值。

Description

基于摄像机和激光雷达图像融合的智能车障碍物检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于摄像机和激光雷达图像融合的智能车障碍物检测方法。

背景技术

自动驾驶作为新时代的重要发展方向，智能车对障碍物的检测与躲避一直以来受到广泛的研究，随着深度学习和计算机视觉的发展，相关的障碍物检测技术已经逐渐成熟，利用激光雷达可以生成目标精确位置信息的点云图，不受环境影响，但它并不总是可靠，RGB摄像机作为视觉系统更可靠，但没有激光雷达的距离功能，且在极端条件下无法看清物体。为了确定驾驶途中的安全，单一的传感器不足以成为一个独立的系统，存在信息不全，误检漏检等多种问题。智能车需要融合多种传感器来获取对环境的全面了解。

发明内容

本发明为了解决上述问题，提出了一种基于摄像机和激光雷达图像融合的智能车障碍物检测方法。

本发明的技术方案是：一种基于摄像机和激光雷达图像融合的智能车障碍物检测方法包括以下步骤：

S1：利用摄像机采集智能车的原始图像，并对原始图像进行图像分割；

S2：利用激光雷达采集智能车的点云图像，并对点云图像进行点云处理；

S3：对图像分割后的原始图像和点云处理后的点云图像进行融合，得到融合图像，并对融合图像进行障碍物检测。

进一步地，步骤S1中，利用DeepLabV3+网络分割原始图像；所述DeepLabV3+网络包括依次连接的特征主干提取模块、通道注意力模块、空间注意力模块和特征输出模块；

所述特征主干提取模块用于提取原始图像的特征图；所述通道注意力模块用于提取特征图的通道注意力特征；所述空间注意力模块用于提取特征图的空间注意力特征；所述特征输出模块用于将通道注意力特征和空间注意力特征相乘，得到注意力输出特征，完成图像分割。

进一步地，特征主干提取模块包括入口层、中间层和输出层；所述入口层用于对原始图像进行卷积操作；所述中间层用于对进行卷积操作后的原始图像进行若干次重复的卷积操作；所述输出层用于输出进行卷积操作后得到的特征图。

进一步地，通道注意力模块提取通道注意力特征包括以下子步骤：

A11：对特征图进行1×1卷积降维，得到尺寸为C×H×W的第一特征，其中，C表示特征图的长，H表示特征图的高，W表示特征图的宽；

A12：对尺寸为C×H×W的第一特征进行全局池化操作，得到池化后的特征图；

A13：利用ReLu函数和Sigmoid函数提取池化后的特征图的非线性特征，得到通道注意力图；

A14：将通道注意力图与池化后的特征图进行点乘，得到通道注意力特征H，其计算公式为：

H＝[1/1+exp(max(0,Gp(D)))]

式中，Gp(D)表示全局池化后的特征矩阵。

进一步地，空间注意力模块提取特征图的空间注意力特征包括以下子步骤：

B11：对特征图进行1×1卷积降维，得到尺寸均为C×H×W的第二特征和第三特征，其中，C表示特征图的长，H表示特征图的高，W表示特征图的宽；

B12：将第二特征进行转换，得到尺寸为C×N的第一特征矩阵，将第三特征进行转换和转置，得到尺寸为N×C的第二特征矩阵，其中，N表示特征图高和宽的乘积；

B13：将第一特征矩阵和第二特征矩阵相乘，得到尺寸为N×N的第三特征矩阵，并利用softmax函数生成空间注意力图；

B14：根据空间注意力图、第一特征矩阵和第二特征矩阵，得到空间注意力特征P，其计算公式为：

式中，B_j表示第一特征矩阵的任意一点，C_i表示第二特征矩阵的任意一点，F1_i表示特征图的任意一点。

进一步地，步骤S2包括以下子步骤：

S21：利用激光雷达采集智能车的点云图像，对点云图像进行栅格化；

S22：去除栅格化后点云图像中的地面点；

S23：对去除地面点后的点云图像进行点云分割，完成点云处理。

进一步地，步骤S21中，进行栅格化的具体方法为：设置栅格，随机选择点云图像中一点，构建该点和栅格的索引关系式，并根据索引关系式生成栅格的中心点，剔除栅格中重复的中心点，完成栅格化，其中，点云图像中随机选择一点和栅格的索引关系式为：

式中，I_x表示索引横坐标位置，I_y表示索引纵坐标位置，I_z表示索引竖直坐标位置，floor(·)表示向下取整函数，a_x表示点云图像中随机选择一点的横坐标，a_y表示点云图像中随机选择一点的纵坐标，a_z表示点云图像中随机选择一点的竖坐标，l表示栅格的尺寸；

栅格的中心点的坐标表达式为：

式中，c_x表示栅格的中心点的横坐标，c_y表示栅格的中心点的纵坐标，c_z表示栅格的中心点的竖坐标。

进一步地，步骤S22包括以下子步骤：

S221：构建平面坐标系，将平面坐标系划分为M个扇形区域，确定栅格化后点云图像各点所处扇形区域S(p_i)，其计算公式为：

式中，x_i表示栅格化后点云图像中点p_i的横坐标，y_i表示栅格化后点云图像中点p_i的纵坐标，Δα表示弧度参数；

S222：在各点所处扇形区域内，确定各点所处子区域以及二维坐标，完成降维处理，各点所处子区域的表达式为其中，d_i表示各点到平面坐标系原点的距离，/>表示子区域的下阈值，/>表示子区域的上阈值；

S223：计算降维处理后各点的水平夹角，并判断是否存在相同水平夹角，若是则进入步骤S224，否则保留各点；

S224：根据各点的水平距离，将存在相同水平夹角的各点依次排序，计算各点的坡度值，判断坡度值是否大于坡度阈值，若是则该点为地面点，并剔除，否则保留该点；其中，各点坡度值Δp的计算公式为：

式中，z_m表示点m竖轴方向距离，z_m+1表示点m+1竖轴方向距离，r_m表示点m的水平距离，r_m+1表示点m+1的水平距离。

进一步地，步骤S3包括以下子步骤：

S31：对图像分割后的原始图像和点云处理后的点云图像进行分解，得到高频子带和低频子带；

S32：对高频子带和低频子带进行融合；

S33：对融合后的低频子带和高频子带进行LNSST逆变换，得到融合图像。

进一步地，步骤S32中，对低频子带进行融合的计算公式为：

式中，表示融合后的第n个低频子带，/>表示融合前的摄像机图像低频子带，/>表示融合前的激光雷达图像低频子带，/>表示图像分割后的原始图像低频子带中(x,y)处的SML值，/>表示点云处理后的点云图像高频子带中(x,y)处的SML值；

所述步骤S32中，对高频子带进行融合的计算公式为：

其中，G^L,O表示融合后的高频子带，α表示融合前的摄像机图像高频子带的权重，β表示融合前的激光雷达图像高频子带/>的权重。

本发明的有益效果是：本发明提出的融合方法对两种传感器采集的图像可以较好的进行融合，确保障碍物的精确度较高，在复杂情况下仍可以做到障碍物的精准识别，并较大程度的还原障碍物的轮廓，有取得较高的识别速率，有一定的实用价值。

附图说明

图1为基于摄像机和激光雷达图像融合的智能车障碍物检测方法的流程图；

图2为点云与射线间的角度示意图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种基于摄像机和激光雷达图像融合的智能车障碍物检测方法，包括以下步骤：

S1：利用摄像机采集智能车的原始图像，并对原始图像进行图像分割；

S2：利用激光雷达采集智能车的点云图像，并对点云图像进行点云处理；

S3：对图像分割后的原始图像和点云处理后的点云图像进行融合，得到融合图像，并对融合图像进行障碍物检测。

本发明主要从三个方面对摄像机和激光雷达采集的图像进行障碍物识别：首先，使用Xception65+注意力机制的组合方案优化DeepLabV3+网络，选择改进的Xception65算法作为特征主干提取网络，结合注意力机制，融合于编码和解码过程，获取图像语义分割中当前任务的更多细节和关键信息，提高分割结果的准确度；其次，激光雷达原始采集到的点云图数据受到环境的影响数据较为杂乱，先对在激光雷达上对采集到的点云数据进行栅格化处理，去除地面无关点，对处理后的点云图采用基于深度投影的点云分割；最后，将摄像机和点云处理后的图像，进行图像融合，通过LNSST和PCNN对图像进行融合处理，获得纹理和细节信息更加丰富的图像，更好的进行障碍物的识别。

在本发明实施例中，步骤S1中，利用DeepLabV3+网络分割原始图像；所述DeepLabV3+网络包括依次连接的特征主干提取模块、通道注意力模块、空间注意力模块和特征输出模块；

所述特征主干提取模块用于提取原始图像的特征图；所述通道注意力模块用于提取特征图的通道注意力特征；所述空间注意力模块用于提取特征图的空间注意力特征；所述特征输出模块用于将通道注意力特征和空间注意力特征相乘，得到注意力输出特征，完成图像分割。

在本发明实施例中，特征主干提取模块包括入口层、中间层和输出层；所述入口层用于对原始图像进行卷积操作；所述中间层用于对进行卷积操作后的原始图像进行若干次重复的卷积操作；所述输出层用于输出进行卷积操作后得到的特征图。

针对语义分割不同应用场景，选择合适的图像语义分割算法可以提高识别精度，常用的特征提取主干网络有ResNet、Xception和MobileNet算法等。本发明选择Xception65算法作为特征主干提取网络，在特征提取和解码过程中使用深度可分离卷积。Xception网络由Entry、Middle和Exit组成，其中的数据流依次经过三者。

Xception算法架构会经过65次卷积操作，并运用深度可分离卷积扩大每一次卷积操作时获取的图像数据感受野。图像数据输入后依次穿过入口层、中间层和输出层。在入口层中图像经过11次卷积操作，在中间层经过3个卷积操作，并将3次卷积重复16次。最后经过6次卷积的输出层，最终结果特征图是特征提取网络处理后的。

使用改良后的DeepLab v3+模型，高级特征在主干网络中提取出后融合通道注意力，低级特征融合空间注意力。以此为图像特征增加一层权重，对关键特征进行有效选择，提高上下文相关性。在经过不同的注意力机制处理后，高级特征和低级特征具有较高的互补意识，更好融合，保留更多有效特征，提高特征提取精度。

在本发明实施例中，通道注意力模块主要作用是进行建模特征不同通道之间的依赖关系。通道注意力模块提取通道注意力特征包括以下子步骤：

A11：对特征图进行1×1卷积降维，得到尺寸为C×H×W的第一特征，其中，C表示特征图的长，H表示特征图的高，W表示特征图的宽；

A12：对尺寸为C×H×W的第一特征进行全局池化操作，得到池化后的特征图；

A13：利用ReLu函数和Sigmoid函数提取池化后的特征图的非线性特征，得到通道注意力图；

A14：将通道注意力图与池化后的特征图进行点乘，得到通道注意力特征H，其计算公式为：

H＝[1/1+exp(max(0,Gp(D)))]

式中，Gp(D)表示全局池化后的特征矩阵。

在本发明实施例中，空间注意力模块提取特征图的空间注意力特征包括以下子步骤：

B11：对特征图进行1×1卷积降维，得到尺寸均为C×H×W的第二特征和第三特征，其中，C表示特征图的长，H表示特征图的高，W表示特征图的宽；

B12：将第二特征进行转换，得到尺寸为C×N的第一特征矩阵，将第三特征进行转换和转置，得到尺寸为N×C的第二特征矩阵，其中，N表示特征图高和宽的乘积；

B13：将第一特征矩阵和第二特征矩阵相乘，得到尺寸为N×N的第三特征矩阵，并利用softmax函数生成空间注意力图；

B14：根据空间注意力图、第一特征矩阵和第二特征矩阵，得到空间注意力特征P，其计算公式为：

式中，B_j表示第一特征矩阵的任意一点，C_i表示第二特征矩阵的任意一点，F1_i表示特征图的任意一点。

在本发明实施例中，步骤S2包括以下子步骤：

S21：利用激光雷达采集智能车的点云图像，对点云图像进行栅格化；

S22：去除栅格化后点云图像中的地面点；

S23：对去除地面点后的点云图像进行点云分割，完成点云处理。

对于激光雷达点云图进行采集后用中心点算法进行栅格化得到较为规整的点云图然后去除地面点干扰，借助深度投影图像方法进行地面与非地面目标的目标划分与分割。

在本发明实施例中，步骤S21中，进行栅格化的具体方法为：设置栅格，随机选择点云图像中一点，构建该点和栅格的索引关系式，并根据索引关系式生成栅格的中心点，剔除栅格中重复的中心点，完成栅格化，其中，点云图像中随机选择一点和栅格的索引关系式为：

式中，I_x表示索引横坐标位置，I_y表示索引纵坐标位置，I_z表示索引竖直坐标位置，floor(·)表示向下取整函数，a_x表示点云图像中随机选择一点的横坐标，a_y表示点云图像中随机选择一点的纵坐标，a_z表示点云图像中随机选择一点的竖坐标，l表示栅格的尺寸；

栅格的中心点的坐标表达式为：

式中，c_x表示栅格的中心点的横坐标，c_y表示栅格的中心点的纵坐标，c_z表示栅格的中心点的竖坐标。

由于激光雷达点云图受到自然环境以及车辆行驶过程中的不稳定影响，得到的点云数据较为散乱，通过对点云数据的栅格化处理能得到较为规整的点云数据。传统的栅格化算法通过在点云图中划分栅格单元，将点云赋予在栅格单元中，删除没有赋点的栅格单元，计算栅格单元的中心代表点，该算法能减少点云数量并保持较好的点云形状，但是在海量数据中计算中心点需要耗费一定的时间，优化后的中心点算法能提高该算法的效率。

在本发明实施例中，步骤S22包括以下子步骤：

S221：构建平面坐标系，将平面坐标系划分为M个扇形区域，确定栅格化后点云图像各点所处扇形区域S(p_i)，其计算公式为：

式中，x_i表示栅格化后点云图像中点p_i的横坐标，y_i表示栅格化后点云图像中点p_i的纵坐标，Δα表示弧度参数；

S222：在各点所处扇形区域内，确定各点所处子区域以及二维坐标，完成降维处理，各点所处子区域的表达式为其中，d_i表示各点到平面坐标系原点的距离，/>表示子区域的下阈值，/>表示子区域的上阈值；/>

S223：计算降维处理后各点的水平夹角，并判断是否存在相同水平夹角，若是则进入步骤S224，否则保留各点；

S224：根据各点的水平距离，将存在相同水平夹角的各点依次排序，计算各点的坡度值，判断坡度值是否大于坡度阈值，若是则该点为地面点，并剔除，否则保留该点；其中，各点坡度值Δp的计算公式为：

式中，z_m表示点m竖轴方向距离，z_m+1表示点m+1竖轴方向距离，r_m表示点m的水平距离，r_m+1表示点m+1的水平距离；

激光雷达扫描过程中获取的地面点形状基本固定且点云较为杂乱，去除地面点可有效减少计算量，增大障碍物检测精度，借助基于扫描线束的分割算法进行分割，该算法主要是以某中心点来发出射线的形式来将点云排序，将点云的(x，y，z)三维空间降到(x，y)平面来看，首先建立激光雷达点云坐标系，以几何中心O为坐标原点，建立右手空间直角坐标系，水平向前为X轴，水平向左为Y轴，垂直Z轴。设置弧度参数Δα，建立地平面坐标系XOY，其中水平向前为X轴，水平左边是Y轴，XOY平面被视为一个无限半径的圆面，XOY平面可看做被划分为M个扇形区域：

去除地面点等无关点后更容易被处理，增加了处理速度，根据非地面点云的空间几何特征，借用深度投影图像分割并加入自适应角度阈值进行自动判断来对点云目标分割。

使用以下公式将三维激光雷达的空间直角坐标系(x,y,z)深度投影为图像二维坐标点(R,C)

式中，x,y,z为激光雷达空间直角坐标系三条坐标，h为激光雷达水平角分辨率，v为激光雷达垂直角分辨率。

如图2所示，三维点云图转化完成后，算出不同点云之间的角度差，从激光雷达O处任意射出两条扫描射线OA、OB，A和B两点产生一条线，该线估计物体的表面，假设A和B的坐标在以O为中心的坐标点钟，y轴沿着两条激光束中较长的一条取向，角度β定义为激光束与远离扫描仪处的点和AB形成的线中间的夹角。这个夹角可以推断点A和点B预估的物体是否是相同的目标，角度值β的计算公式为：

设定点云角度阈值为θ，当夹角β>θ时，认为在目标上的两点代表该目标为同一物体，由于行驶道路的不同，阈值会发生变化。激光雷达扫描时，其中阈值随着点云密度变化而变化，利用激光雷达扫描距离和点云角度阈值之间的关系可以得到回归方程，自适应阈值θ为：

式中，l为激光雷达扫描到的距离。

经过摄像机与激光雷达采集图像，通过对摄像机图像进行分割与激光雷达图像进行点云处理，可以获得最终需要的两幅图像。通过以下算法对图像进行融合，生成更加精确的图像，更精确的对采集的障碍物图像进行识别。

在本发明实施例中，步骤S3包括以下子步骤：

S31：对图像分割后的原始图像和点云处理后的点云图像进行分解，得到高频子带和低频子带；

S32：对高频子带和低频子带进行融合；

S33：对融合后的低频子带和高频子带进行LNSST逆变换，得到融合图像。

针对摄像机图像进行图像分割获取图像信息更加全面的图像，针对激光雷达图像，进行点云处理，对处理后的两类图像进行融合，获得细节信息更加丰富的融合图像。首先使用LNSST域算法将处理后的摄像机图像和点云图像进行多尺度分解，将图像分解为高频子带与低频子带；然后，针对低频子带信息，处理的方法是基于能量属性(EA)和修正拉普拉斯能量和(SML)，对两低频子带进行融合；高频子带处理的方法是采用平均法则进行融合；最后，融合后的高频子带与低频子带都包含更多的图像细节信息，对高低频子带运用LNSST逆变换进行处理，最终得到融合图像。

LNSST分解分为两个部分。第一部分：对处理后的摄像机与激光雷达图像进行多尺度多方向的分解，普遍使用的方法是非下采样拉普拉斯金字塔(NSLP)，此处理方法的优点是可以获得高频子带与低频子带；

继续分解低频子带，重复N次分解操作，就会获得N+1个子带。1表示有一个低频子带，N表示有N个高频子带。

第二部分：针对第n(n＝1,2,…,N)个高频子带的方向分解，通常使用局部剪切滤波器进行。针对要处理的第n个高频子带假设它的方向分解级数为m_n，通过分解等处理最终会获得个方向子带。LNSST分解会使图像产生/>个子带。

将各方向的系数相加，为了获得高频子带进行伪极向傅里叶变换，再将高频子带与低频子带逐级进行拉普拉斯金字塔重构，最后可以获得LNSST重构的图像。

在本发明实施例中，步骤S32中，对低频子带进行融合的计算公式为：

式中，表示融合后的第n个低频子带，/>表示融合前的摄像机图像低频子带，/>表示融合前的激光雷达图像低频子带，/>表示图像分割后的原始图像低频子带中(x,y)处的SML值，/>表示点云处理后的点云图像高频子带中(x,y)处的SML值；

图像的轮廓和一些细节等信息包含在低频子带中。低频子带有许多处理方法，平均的融合规则是比较常用的一种方法。本发明中低频系数的融合采用基于能量属性(EA)和修正拉普拉斯能量和(SML)，公式如下：

EA_ij＝q_ij-μ-m

ML＝|2q(i,j)-q(i-1,j)-q(i+1,j)|+|2q(i,j)-q(i,j-1)-q(i,j+1)|

图像的灰度值用q表示，图像的均值用μ表示，图像中的位数用m表示。

所述步骤S32中，对高频子带进行融合的计算公式为：

其中，G^L,O表示融合后的高频子带，α表示融合前的摄像机图像高频子带的权重，β表示融合前的激光雷达图像高频子带/>的权重。

图像的细节边缘纹理等大部分信息都包含在高频子带中，在对图像融合是需要格外注意将这些重要信息进行保存。在高频子带的处理时，需要注重细节的提取与保留。

高频的纹理，边缘信息能够通过邻域空间频率(NSF)检测出来，NSF有行频率(RF)与列频率(CF)，对于大小为M×N的图像，对空间频率进行改进，其定义如下：

在这里加入结构相似度(SSIM)避免结构提取不完整，信息不匹配等问题，SSIM表示图像X,Y之间的结构相似度，表达式如下

其中,μ_x和μ_Y分别为X和Y的平均值，σ_X和σ_Y分别为X和Y的标准差，σ_X,Y为X和Y的协方差；a和b为极小常数,用于防止计算出现差错。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种基于摄像机和激光雷达图像融合的智能车障碍物检测方法，其特征在于，包括以下步骤：

S1：利用摄像机采集智能车的原始图像，并对原始图像进行图像分割；

S2：利用激光雷达采集智能车的点云图像，并对点云图像进行点云处理；

所述步骤S2包括以下子步骤：

S21：利用激光雷达采集智能车的点云图像，对点云图像进行栅格化；

S22：去除栅格化后点云图像中的地面点；

所述步骤S22包括以下子步骤：

S221：构建平面坐标系，将平面坐标系划分为M个扇形区域，确定栅格化后点云图像各点所处扇形区域S(p_i)，其计算公式为：

式中，x_i表示栅格化后点云图像中点p_i的横坐标，y_i表示栅格化后点云图像中点p_i的纵坐标，Δα表示弧度参数；

S222：在各点所处扇形区域内，确定各点所处子区域以及二维坐标，完成降维处理，各点所处子区域的表达式为其中，d_i表示各点到平面坐标系原点的距离，D_j ^min表示子区域的下阈值，/>表示子区域的上阈值；

所述降维处理为将三维激光雷达的空间直角坐标系(x,y,z)深度投影为图像二维坐标点(R,C)，其公式为：

式中，x,y,z为激光雷达空间直角坐标系三条坐标，h为激光雷达水平角分辨率，v为激光雷达垂直角分辨率；

S223：计算降维处理后各点的水平夹角，并判断是否存在相同水平夹角，若是则进入步骤S224，否则保留各点；

S224：根据各点的水平距离，将存在相同水平夹角的各点依次排序，计算各点的坡度值，判断坡度值是否大于坡度阈值，若是则该点为地面点，并剔除，否则保留该点；其中，各点坡度值Δp的计算公式为：

式中，z_m表示点m竖轴方向距离，z_m+1表示点m+1竖轴方向距离，r_m表示点m的水平距离，r_m+1表示点m+1的水平距离；

S23：对去除地面点后的点云图像进行点云分割，完成点云处理；

所述步骤S23在进行分割时，将不同的物体分割为不同的点云图像，其中，判断物体为相同物体的方法包括以下分步骤：

S231、从激光雷达O处任意射出两条扫描射线OA、OB，A和B两点产生一条线，线AB估计物体的表面，A和B的坐标在以O为中心的坐标点钟，y轴沿着两条激光束中较长的一条取向，角度值β的计算公式为：

其中，角度β为激光束与远离扫描仪处的点和AB形成的线中间的夹角；

S232、设置定点云角度阈值为θ，当夹角β>θ时，认为在目标上的两点代表该目标为同一物体，θ的计算公式为：

其中，l为激光雷达扫描到的距离；

S3：对图像分割后的原始图像和点云处理后的点云图像进行融合，得到融合图像，并对融合图像进行障碍物检测。

2.根据权利要求1所述的基于摄像机和激光雷达图像融合的智能车障碍物检测方法，其特征在于，所述步骤S1中，利用DeepLabV3+网络分割原始图像；所述DeepLabV3+网络包括依次连接的特征主干提取模块、通道注意力模块、空间注意力模块和特征输出模块；

所述特征主干提取模块用于提取原始图像的特征图；所述通道注意力模块用于提取特征图的通道注意力特征；所述空间注意力模块用于提取特征图的空间注意力特征；所述特征输出模块用于将通道注意力特征和空间注意力特征相乘，得到注意力输出特征，完成图像分割。

3.根据权利要求2所述的基于摄像机和激光雷达图像融合的智能车障碍物检测方法，其特征在于，所述特征主干提取模块包括入口层、中间层和输出层；所述入口层用于对原始图像进行卷积操作；所述中间层用于对进行卷积操作后的原始图像进行若干次重复的卷积操作；所述输出层用于输出进行卷积操作后得到的特征图。

4.根据权利要求2所述的基于摄像机和激光雷达图像融合的智能车障碍物检测方法，其特征在于，所述通道注意力模块提取通道注意力特征包括以下子步骤：

A11：对特征图进行1×1卷积降维，得到尺寸为C×H×W的第一特征，其中，C表示特征图的长，H表示特征图的高，W表示特征图的宽；

A12：对尺寸为C×H×W的第一特征进行全局池化操作，得到池化后的特征图；

A13：利用ReLu函数和Sigmoid函数提取池化后的特征图的非线性特征，得到通道注意力图；

A14：将通道注意力图与池化后的特征图进行点乘，得到通道注意力特征H，其计算公式为：

H＝[1/1+exp(max(0,Gp(D)))]

式中，Gp(D)表示全局池化后的特征矩阵。

5.根据权利要求2所述的基于摄像机和激光雷达图像融合的智能车障碍物检测方法，其特征在于，所述空间注意力模块提取特征图的空间注意力特征包括以下子步骤：

B11：对特征图进行1×1卷积降维，得到尺寸均为C×H×W的第二特征和第三特征，其中，C表示特征图的长，H表示特征图的高，W表示特征图的宽；

B12：将第二特征进行转换，得到尺寸为C×N的第一特征矩阵，将第三特征进行转换和转置，得到尺寸为N×C的第二特征矩阵，其中，N表示特征图高和宽的乘积；

B13：将第一特征矩阵和第二特征矩阵相乘，得到尺寸为N×N的第三特征矩阵，并利用softmax函数生成空间注意力图；

B14：根据空间注意力图、第一特征矩阵和第二特征矩阵，得到空间注意力特征P，其计算公式为：

式中，B_j表示第一特征矩阵的任意一点，C_i表示第二特征矩阵的任意一点，F1_i表示特征图的任意一点。

6.根据权利要求1所述的基于摄像机和激光雷达图像融合的智能车障碍物检测方法，其特征在于，所述步骤S21中，进行栅格化的具体方法为：设置栅格，随机选择点云图像中一点，构建该点和栅格的索引关系式，并根据索引关系式生成栅格的中心点，剔除栅格中重复的中心点，完成栅格化，其中，点云图像中随机选择一点和栅格的索引关系式为：

式中，I_x表示索引横坐标位置，I_y表示索引纵坐标位置，I_z表示索引竖直坐标位置，floor(·)表示向下取整函数，a_x表示点云图像中随机选择一点的横坐标，a_y表示点云图像中随机选择一点的纵坐标，a_z表示点云图像中随机选择一点的竖坐标，l表示栅格的尺寸；

栅格的中心点的坐标表达式为：

式中，c_x表示栅格的中心点的横坐标，c_y表示栅格的中心点的纵坐标，c_z表示栅格的中心点的竖坐标。

7.根据权利要求1所述的基于摄像机和激光雷达图像融合的智能车障碍物检测方法，其特征在于，所述步骤S3包括以下子步骤：

S31：对图像分割后的原始图像和点云处理后的点云图像进行分解，得到高频子带和低频子带；

S32：对高频子带和低频子带进行融合；

S33：对融合后的低频子带和高频子带进行LNSST逆变换，得到融合图像。

8.根据权利要求7所述的基于摄像机和激光雷达图像融合的智能车障碍物检测方法，其特征在于，所述步骤S32中，对低频子带进行融合的计算公式为：

式中，表示融合后的第n个低频子带，/>表示融合前的摄像机图像低频子带，/>表示融合前的激光雷达图像低频子带，/>表示图像分割后的原始图像低频子带中(x,y)处的SML值，/>表示点云处理后的点云图像高频子带中(x,y)处的SML值；

所述步骤S32中，对高频子带进行融合的计算公式为：

其中，G^L,O表示融合后的高频子带，α表示融合前的摄像机图像高频子带的权重，β表示融合前的激光雷达图像高频子带/>的权重。