CN113298810B - 结合图像增强和深度卷积神经网络的道线检测方法 - Google Patents

Abstract

本发明公开了一种结合图像增强和深度卷积神经网络的道线检测方法，在假设道线在图像的局部区域具有相近的宽度，并且沿着道线伸展方向能分割成若干个道线块的基础上，提供了一种基于深度卷积神经网络的方法检测图像中的道线块，该模型的输入不仅包括摄像机采集的道路图像，而且包括多个经对比度受限的自适应直方图均衡化处理的增强图像。本发明方法能有效地克服复杂成像条件下采集的道路图像干扰因素多、图像质量差、道线目标小等困难，从而达到较好的鲁棒性。

Description

结合图像增强和深度卷积神经网络的道线检测方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种结合图像增强和深度卷积神经网络的道线检测方法。

背景技术

雨雾天、沙尘等恶劣天气，逆光、眩光、低照度等恶劣成像条件无疑将对驾驶辅助系统(ADAS)和自动驾驶系统的摄像机成像产生影响，极大地降低所采集图像的质量。无论是传统的基于边缘检测的方法，还是基于深度学习的方法，输入到检测系统的图像质量都将极大地影响检测系统的性能。为了应对复杂成像条件下道线检测所面临的困难，本发明实施例在假设道线在图像的局部区域具有相近的宽度，并且沿着道线伸展方向能分割成若干个道线块的基础上，提供了一种基于深度卷积神经网络的方法检测图像中的道线块，该模型的输入不仅包括摄像机采集的道路图像，而且包括多个经对比度受限的自适应直方图均衡化处理的增强图像。

发明内容

本发明的目的在于解决现有技术在恶劣成像条件下面对的困难，提供一种结合图像增强和深度卷积神经网络的道线检测方法。

本发明具体采用的技术方案如下：一种结合图像增强和深度卷积神经网络的道线检测方法，该方法包括：

(1)获取待处理的含有道线的彩色图像I，包含三个通道I⁽⁰⁾、I⁽¹⁾和I⁽²⁾，分别对应红、绿、蓝颜色分量，对I进行K次基于限制对比度的自适应直方图均衡化算法以增强输入图像的对比度，产生K幅增强图像，其中的第k次处理针对第c个通道I^(c)，其中k＝0,1,…,K-1，c等于k除以3的余数；

(2)构建用于道线检测的深度卷积神经网络，包括输入模块、空间注意力模块、特征提取模块和检测模块四个部分，步骤(1)中彩色图像I的三个分量图像和步骤(1)中以限制对比度的自适应直方图均衡化算法对三个分量图像进行对比度增强处理所产生的K幅增强图像堆叠成包含K+3个通道的张量，作为深度卷积神经网络的输入；

(3)输入模块按数据前向传播时的数据流向，输入数据首先经过一个包含64个7×7卷积核、卷积步长为2的卷积层，接在其后的为批规范化操作和ReLU激活操作，输入模块的最后为采样核大小为3×3、进行最大池化操作、步长为2的池化层；

设输入模块的输出x为一个M₁×N₁×C的特征图，输入到空间注意力模块，其中M₁和N₁分别代表特征图的高度和宽度，C为通道数；

(4)空间注意力模块对输入特征图进行两次池化操作，其中一次为均值池化，另一次为最大值池化，两次池化操作的采样核大小为1×1×C，卷积步长为1；将上述两次池化操作形成的两个M₁×N₁×1的特征图堆叠成一个M₁×N₁×2特征图，经过包含1个7×7卷积核、卷积步长为1的卷积层，最后以Sigmoid函数计算得到M₁×N₁×1大小的空间注意力图；

(5)以空间注意力图中的元素作为权值，输入模块的输出特征图x的每个通道所有位置的值与空间注意力图对应位置的权值作乘法运算，形成权值修正后的特征图，输入到特征提取模块；

(6)采用ResNet50的第2、3和4级卷积层组作为特征提取模块，其中，第3级卷积层组的输出除了输入到第4级卷积层组之外，另有一路输入到一个包含5n_B个大小为1×1的卷积核、卷积步长为1的卷积层，其中n_B为预设的每个锚点位置的检测框数目，且记该卷积层的输出的特征图为F₁；第4级卷积层组的输出经过一个包含5n_B个大小为1×1的卷积核、卷积步长为1的卷积层，产生的特征图经上采样后与F₁作逐个对应元素的求和运算，产生一个M₂×N₂×5n_B的特征图F；特征图F的高度和宽度方向的尺寸分别为M₂和N₂，通道数目为5n_B；

(7)步骤(6)得到的特征图F中M₂×N₂平面上的每个点对应一个锚点，检测模块根据某个锚点(m,n)在所有通道上的值判断该锚点位置是否存在道线块，以及道线块的大小和形状，具体地，设i为整数，且1≤i≤n_B，第i通道的值代表在该锚点采用第i个预设检测框检测到道线块的概率；从第n_B+1到第5n_B个通道，每4个通道对应1个预设检测框检测所得道线块的位置参数，其中，通道n_B+4(i-1)+1和n_B+4(i-1)+2的值分别代表第i个预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道n_B+4(i-1)+3的值代表预设检测框宽度与实际检测框宽度的比值，通道n_B+4i的值代表预设检测框与实际检测框高度的比值；

(8)由深度卷积神经网络检测所得的道线块的中心坐标，以Hough变换算法确定道线模型，即为检测出的道线。

进一步地，步骤(1)中，通过限制对比度的自适应直方图均衡化算法增强输入图像对比度的具体过程为：首先，以滑窗的形式处理图像I^(c)，滑窗的高和宽分别为M_b+kΔ和N_b+kΔ，其中M_b、N_b和Δ分别为预设的常数，可根据图像大小和预期的滑窗数目设置；其次，统计滑窗所覆盖的块图像的灰度直方图，记作H，若直方图中对应灰度级i的幅值H_i超过预设的限定值h，则修正H_i＝h，且按下式累加幅值差值：

T为所有幅值差值累加之和，设图像总的灰度级为L，将直方图H的所有元素加上T/L，形成修正后的直方图再次，以修正后的直方图为输入，采用直方图均衡化算法计算对应每个灰度级的映射函数；进一步地，可置滑窗高和宽两个方向的滑动步长等于滑窗高和宽的一半，以所有覆盖I^(c)中的像素的滑窗计算所得的映射函数值的均值作为增强图像中该像素的值；

进一步地，步骤(2)中所述的深度卷积神经网络的输入模块、空间注意力模块、特征提取模块和检测模块的各个层次的参数以学习的方式确定，包括：

步骤A、准备用于训练的图像：以人工的方式标注图像中的道线区域，沿道线的伸展方向设置包围框，每一个包围框对应一个道线块，包围框将以道线区域为中心，两侧包含部分背景区域，且相邻的包围框存在部分重叠；

步骤B、为训练图像准备预期的输出：每一个训练图像对应一个预期的特征图若训练图像的高和宽分别为M和N，则特征图的高和宽分别为：/>其中代表不大于a的整数，根据标注的包围框覆盖的情况设置预期特征图各个通道的值；

步骤C、训练：每幅训练图像输入到深度卷积神经网络将在检测模块产生相应的输出特征图，由检测模块的输出特征图和该图像的预期特征图计算损失函数；批量加载训练图像，以最小化所有训练样本的损失函数累加和为目标，以随机梯度下降优化算法更新网络参数。

本发明的有益效果：本发明方法能有效地克服复杂成像条件下采集的道路图像干扰因素多、图像质量差、道线目标小等困难，从而达到较好的鲁棒性。

附图说明

图1为本发明结合图像增强和深度卷积神经网络的道线检测方法示意图；

图2为限制对比度的自适应直方图均衡化算法的图像增强结果示例；

图3为道线区域标注和道线块的包围框示意图；

图4为应用本发明实施例提供的方法进行道线检测的结果示例。

具体实施方式

以下结合附图对本发明具体实施方式作进一步详细说明。

下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员更好地理解本发明的实质。

如图1所示，本发明提供一种结合图像增强和深度卷积神经网络的道线检测方法，具体步骤如下；

(1)设I为待处理的彩色图像，包含三个通道I⁽⁰⁾、I⁽¹⁾和I⁽²⁾，分别对应红、绿、蓝三个分量图像，对I进行K次基于限制对比度的自适应直方图均衡化算法的对比度增强处理，产生K幅增强图像，其中的第k次处理针对第c个通道I^(c)，其中k＝0,1,…,K-1，本发明的一个实施例取K＝6，c等于k除以3的余数，算法步骤如下：首先，以滑窗的形式处理整幅图像I^(c)，滑窗的高和宽分别为M_b+kΔ和N_b+kΔ，其中M_b、N_b和Δ分别为预设的常数，可取M_b＝18，N_b＝24，Δ＝4；其次，统计滑窗所覆盖的块图像的灰度直方图，记作H，若直方图中对应灰度级i的幅值H_i超过预设的限定值h，则修正H_i＝h，且按下式累加幅值差值：

设图像总的灰度级为L，将直方图H的所有元素加上T/L，形成修正后的直方图再次，以修正后的直方图为输入，采用直方图均衡化算法计算对应每个灰度级的映射函数；进一步地，本发明的一个实施例置滑窗高和宽两个方向的滑动步长等于滑窗高和宽的一半，I^(c)中的像素(x,y)可能被n个滑窗覆盖，n＝1,2或4，以所有覆盖该像素的滑窗所计算的映射函数值的均值作为增强图像中该像素的值；

参见图2，图2从左到右依次示出了一幅逆光环境下采集的图像和6幅按上述步骤产生的增强图像，不难看出增强图像的道线区域与背景区域之间具有更好的对比度；

(2)待处理图像的三个分量图像和上述步骤以限制对比度的自适应直方图均衡化算法对三个分量图像进行对比度增强处理所产生的K幅增强图像堆叠成包含K+3个通道的张量，形成本发明实施例的深度卷积神经网络的输入；

(3)用于道线检测的深度卷积神经网络包括输入模块、空间注意力模块、特征提取模块和检测模块四个部分，其中的输入模块，按数据前向传播时的数据流向，输入数据首先经过一个包含64个7×7卷积核、卷积步长为2的卷积层，接在其后的为批规范化操作和ReLU激活操作，输入模块的最后为采样核大小为3×3、进行最大池化操作、步长为2的池化层；

(4)设输入模块的输出x为一个M₁×N₁×C的特征图，其中M₁和N₁分别代表高度和宽度，C为通道数，空间注意力模块对输入特征图进行两次池化操作，其中一次为均值池化，另一次为最大池化，两次池化操作的采样核大小为1×1×C，步长为1；将上述两次池化操作形成的两个M₁×N₁×1的特征图堆叠成一个M₁×N₁×2特征图，经过包含1个7×7卷积核、卷积步长为1的卷积层，最后以Sigmoid函数计算得到M₁×N₁×1大小的空间注意力图；

(5)以空间注意力图中的元素作为权值，输入模块的输出特征图x的所有通道依次与注意力图进行对应元素的乘法运算，形成按权值修正后的特征图输入到本发明实施例的特征提取模块；

(6)本发明实施例采用ResNet50的第2、3和4级卷积层组作为特征提取模块，其中，第3级卷积层组的输出除了输入到第4级卷积层组之外，另有一路输入到一个包含5n_B个大小为1×1的卷积核、卷积步长为1的卷积层，其中n_B为预设的每个锚点位置的检测框数目，且记该卷积层的输出特征图为F₁；第4级卷积层组的输出经过一个包含5n_B个大小为1×1的卷积核、卷积步长为1的卷积层，产生的特征图经上采样后与F₁作逐个对应元素的求和运算，产生一个M₂×N₂×5n_B的特征图F；

(7)上述特征图F的高度和宽度方向的尺寸分别为M₂和N₂，通道数目为5n_B，M₂×N₂平面上的每个点对应一个锚点，检测模块根据某个锚点(m,n)在所有通道上的值判断该锚点位置是否存在道线块，以及道线块的大小和形状，具体地，设i为整数，且1≤i≤n_B，第i通道的值代表在该锚点采用第i个预设检测框检测到道线块的概率；从第n_B+1到第5n_B个通道，每4个通道对应1个预设检测框检测所得道线块的位置参数，其中，通道n_B+4(i-1)+1和n_B+4(i-1)+2的值分别代表第i个预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道n_B+4(i-1)+3的值代表预设检测框宽度与实际检测框宽度的比值，通道n_B+4i的值代表预设检测框与实际检测框高度的比值；

(8)检测模块的输出为道线块集合，由集合中所有道线块的中心坐标，以Hough变换算法确定道线模型，具体地，设道线块的中心坐标为(u,v)，将道线写成如下的极坐标形式表示的直线：

ρ＝ucosθ+vsinθ (2)

其中ρ为直角坐标系中原点到直线的距离，θ为直角坐标系中原点到直线的垂线和横坐标之间的夹角；对某个确定的(u,v)，令θ为自变量，在0°≤θ＜180°的取值范围内，按预设的步长依次将自变量代入上式计算ρ的值，从而在ρ-θ平面上形成一条曲线；每个道线块的中心对应ρ-θ平面的一条曲线，在ρ-θ平面的点上累加曲线经过的次数，查找具有较多累加次数的点，由查找所得的点的坐标(ρ',θ')根据公式(2)确定图像平面的一条直线。

本发明技术方案步骤(3)中所述的深度卷积神经网络，其输入模块、空间注意力模块、特征提取模块和检测模块的各个层次的参数以学习的方式确定，包括：

步骤A、准备用于训练的图像：参见图3，以人工的方式标注图像中的道线区域，沿道线的伸展方向设置包围框，每一个包围框对应一个道线块，包围框将以道线区域为中心，两侧包含部分背景区域，且相邻的包围框存在部分重叠；

步骤B、为训练图像准备预期的输出：每一个训练图像对应一个预期的特征图若训练图像的高和宽分别为M和N，则特征图的高和宽分别为：/>其中代表不大于a的整数，根据标注的包围框覆盖的情况设置预期特征图各个通道的值；

步骤C、训练：每幅训练图像输入到深度卷积神经将在检测模块产生相应的输出特征图，由检测模块产生的特征图和该图像的预期特征图计算损失函数，批量加载训练图像，以最小化所有训练样本的损失函数累加和为目标，以随机梯度下降优化算法更新网络参数。

本发明技术方案步骤(6)中所述的采用ResNet50的第2、3和4级卷积层组作为特征提取模块，第2级卷积层组包含3个残差块，记作ResBlock2_i，第3级卷积层组包含4个残差块，记作ResBlock3_i，第4级卷积层组包含6个残差块，记作ResBlock4_i，其中i＝1,2,…,n_R，n_R为卷积层组中的残差块数目；第2、3、4级卷积层组的第1个残差块分别为ResBlock2_1、ResBlock3_1和ResBlock4_1，它们的结构分别包括两路分支，其中的主分支包含3个卷积层，第1个卷积层包含C个1×1卷积核，第2个卷积层包含C个3×3卷积核，第3个卷积层包含4C个1×1卷积核，在每个卷积层后依次接一个批正则化层和ReLU层；ResBlock2_1的3个卷积层的卷积步长都为1，ResBlock3_1和ResBlock4_1的第1个卷积层的卷积步长为2，其它卷积层的卷积步长为1；ResBlock2_1、ResBlock3_1和ResBlock4_1的另一路分支为捷径分支，该分支包含一个卷积层，卷积层之后接一个批正则化层；ResBlock2_1的捷径分支的卷积层具有4C个1×1大小的卷积核、卷积步长为1，ResBlock3_1和ResBlock4_1的捷径分支的卷积层具有4C个1×1大小的卷积核、卷积步长为2；主分支最后一个卷积层的输出和捷径分支的输出进行逐个对应元素的求和运算，作为残差块的输出；ResNet50的第2、3和4级卷积层组中，除了ResBlock2_1、ResBlock3_1和ResBlock4_1之外的任意一个残差块，其结构包括两路分支，其中的主分支包含3个卷积层，第1个卷积层包含C个1×1卷积核，第2个卷积层包含C个3×3卷积核，第3个卷积层包含4C个1×1卷积核，在每个卷积层后依次接了一个批正则化层和ReLU层，所有卷积层的卷积步长都为1；另一路分支直接拷贝输入到该残差块的特征图，与主分支最后一个卷积层的输出进行逐个对应元素的求和运算，作为残差块的输出。

如图4所示为本发明实施例提供的方法对包括逆光、雨雾天、夜晚等多个场景的视频图像进行道线检测所得的结果，图中第一列显示了输入图像，第二列以矩形框显示了深度卷积神经网络模型检测所得的道线块，以直线显示了道线。

以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。

Claims (3)

1.一种结合图像增强和深度卷积神经网络的道线检测方法，其特征在于，该方法包括：

(1)获取待处理的含有道线的彩色图像I，包含三个通道I⁽⁰⁾、I⁽¹⁾和I⁽²⁾，分别对应红、绿、蓝颜色分量，对I进行K次基于限制对比度的自适应直方图均衡化算法以增强输入图像的对比度，产生K幅增强图像，具体通过滑窗处理图像，统计滑窗所覆盖的块图像的灰度直方图，并对灰度级的幅值进行修正，以修正后的直方图计算每个灰度级的映射函数，以所有滑窗计算所得的映射函数值的均值作为增强图像中的像素值；其中的第k次处理针对第c个通道I^(c)，其中k＝0,1,...,K-1，c等于k除以3的余数；

(2)构建用于道线检测的深度卷积神经网络，包括输入模块、空间注意力模块、特征提取模块和检测模块四个部分，步骤(1)中彩色图像I的三个分量图像和步骤(1)中以限制对比度的自适应直方图均衡化算法对三个分量图像进行对比度增强处理所产生的K幅增强图像堆叠成包含K+3个通道的张量，作为深度卷积神经网络的输入；

(3)输入模块按数据前向传播时的数据流向，输入数据首先经过一个包含64个7×7卷积核、卷积步长为2的卷积层，接在其后的为批规范化操作和ReLU激活操作，输入模块的最后为采样核大小为3×3、进行最大池化操作、步长为2的池化层；

设输入模块的输出x为一个M₁×N₁×C的特征图，输入到空间注意力模块，其中M₁和N₁分别代表特征图的高度和宽度，C为通道数；

(4)空间注意力模块对输入特征图进行两次池化操作，其中一次为均值池化，另一次为最大值池化，两次池化操作的采样核大小为1×1×C，卷积步长为1；将上述两次池化操作形成的两个M₁×N₁×1的特征图堆叠成一个M₁×N₁×2特征图，经过包含1个7×7卷积核、卷积步长为1的卷积层，最后以Sigmoid函数计算得到M₁×N₁×1大小的空间注意力图；

(5)以空间注意力图中的元素作为权值，输入模块的输出特征图x的每个通道所有位置的值与空间注意力图对应位置的权值作乘法运算，形成权值修正后的特征图，输入到特征提取模块；

(6)采用ResNet50的第2、3和4级卷积层组作为特征提取模块，其中，第3级卷积层组的输出除了输入到第4级卷积层组之外，另有一路输入到一个包含5n_B个大小为1×1的卷积核、卷积步长为1的卷积层，其中n_B为预设的每个锚点位置的检测框数目，且记该卷积层的输出的特征图为F₁；第4级卷积层组的输出经过一个包含5n_B个大小为1×1的卷积核、卷积步长为1的卷积层，产生的特征图经上采样后与F₁作逐个对应元素的求和运算，产生一个M₂×N₂×5n_B的特征图F；特征图F的高度和宽度方向的尺寸分别为M₂和N₂，通道数目为5n_B；

(7)步骤(6)得到的特征图F中M₂×N₂平面上的每个点对应一个锚点，检测模块根据某个锚点(m,n)在所有通道上的值判断该锚点位置是否存在道线块，以及道线块的大小和形状，具体地，设i为整数，且1≤i≤n_B，第i通道的值代表在该锚点采用第i个预设检测框检测到道线块的概率；从第n_B+1到第5n_B个通道，每4个通道对应1个预设检测框检测所得道线块的位置参数，其中，通道n_B+4(i-1)+1和n_B+4(i-1)+2的值分别代表第i个预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道n_B+4(i-1)+3的值代表预设检测框宽度与实际检测框宽度的比值，通道n_B+4i的值代表预设检测框与实际检测框高度的比值；

(8)由深度卷积神经网络检测所得的道线块的中心坐标，以Hough变换算法确定道线模型，即为检测出的道线。

2.根据权利要求1所述的结合图像增强和深度卷积神经网络的道线检测方法，其特征在于，步骤(1)中，通过限制对比度的自适应直方图均衡化算法增强输入图像对比度的具体过程为：首先，以滑窗的形式处理图像I^(c)，滑窗的高和宽分别为M_b+kΔ和N_b+kΔ，其中M_b、N_b和Δ分别为预设的常数，可根据图像大小和预期的滑窗数目设置；其次，统计滑窗所覆盖的块图像的灰度直方图，记作H，若直方图中对应灰度级i的幅值H_i超过预设的限定值h，则修正H_i＝h，且按下式累加幅值差值：

T为所有幅值差值累加之和，设图像总的灰度级为L，将直方图H的所有元素加上T/L，形成修正后的直方图再次，以修正后的直方图为输入，采用直方图均衡化算法计算对应每个灰度级的映射函数；进一步地，可置滑窗高和宽两个方向的滑动步长等于滑窗高和宽的一半，以所有覆盖I^(c)中的像素的滑窗计算所得的映射函数值的均值作为增强图像中该像素的值。

3.根据权利要求1所述的结合图像增强和深度卷积神经网络的道线检测方法，其特征在于，步骤(2)中所述的深度卷积神经网络的输入模块、空间注意力模块、特征提取模块和检测模块的各个层次的参数以学习的方式确定，包括：

步骤A、准备用于训练的图像：以人工的方式标注图像中的道线区域，沿道线的伸展方向设置包围框，每一个包围框对应一个道线块，包围框将以道线区域为中心，两侧包含部分背景区域，且相邻的包围框存在部分重叠；

步骤B、为训练图像准备预期的输出：每一个训练图像对应一个预期的特征图若训练图像的高和宽分别为M和N，则特征图的高和宽分别为：/>其中/>代表不大于a的整数，根据标注的包围框覆盖的情况设置预期特征图各个通道的值；

步骤C、训练：每幅训练图像输入到深度卷积神经网络将在检测模块产生相应的输出特征图，由检测模块的输出特征图和该图像的预期特征图计算损失函数；批量加载训练图像，以最小化所有训练样本的损失函数累加和为目标，以随机梯度下降优化算法更新网络参数。