CN110765890A - 基于胶囊网络深度学习架构的车道及车道标识检测方法 - Google Patents

Abstract

本发明公开了一种基于胶囊网络深度学习架构的车道及车道标识检测方法，包括以下步骤：S1，在相机捕获画面上，设置两层ROI；S2，使用混合高斯滤波器执行滤波处理；S3，在ROI图像上基于波形描述和阈值分割提取车道线、路面标记组件；S4,在相机捕获图像上分离色彩通道，并在每个通道上使用中值滤波器执行噪声消除；S5，估计红色和蓝色通道的阈值，并对两个通道执行增强操作；S6，构建多通道胶囊网络，进行训练；S7，将训练好的胶囊网络用于输入经分割后的目标组件，并反馈给用户或系统。本发明解决了在复杂的环境条件变化下，对车道及车道标识的智能检测，可以较好地辅助驾驶员或无人汽车完成驾驶任务。

Description

基于胶囊网络深度学习架构的车道及车道标识检测方法

技术领域

本发明属于视觉检测领域，是图像处理与识别技术的应用，具体涉及一种基于胶囊网络深度学习架构的车道及车道标识检测方法。

背景技术

在城市交通和高速路中，车辆的通行必须严格遵循该区域的交通标识和行车规范，因此，对车道及车道标识的准确检测和识别成为了无人驾驶技术急需解决的重要问题。大多数现有车道检测方法需要对通道进行严格的假设，如车道是平行的、是直的或接近直线，这在各种现实场景中并不总是有效的。同时，车道标识的颜色和形状纷繁复杂，且在驾驶过程中或是恶劣环境下，所获取的标志图像易产生失真、扭曲等有碍检测的异常影响。目前卷积神经网络(CNN)已被广泛应用于图像识别的深度学习架构中，但在某些任务中它表现出了无法捕捉到图像的姿态，视图和方向的限制和缺点。胶囊网络是一种新颖的表现优异的深度学习架构，胶囊是一组神经元，可以通过协议算法使用动态路由来表示对象的实例化参数，如姿势和方向。基于胶囊网络的深度学习架构应用于辅助驾驶，可以快速、实时地检测交通标识，为驾驶员提供极大的帮助，同时，为无人驾驶研究贡献一种可行、高效的技术。

发明内容

本发明提出一种基于胶囊网络深度学习架构的车道及车道标识检测方法，以解决在复杂的环境条件变化下，对车道及车道标识的自动检测。其中，车道的检测内容为车道线和路面标记，车道标识的检测内容为交通指示牌。

为达到上述目的，本发明的技术方案是：采用不同的方法分别提取车道及车道标识区域，针对车道的检测，首先，对相机捕获图像做感兴趣区域割取、高斯滤波等预处理操作，然后，采用局部波形描述道路图像以获取感兴趣的区域，基于阈值方法提取包括车道线、路面标记等连接组件；针对车道标识的检测，首先，从原图像中截取右三分之一画面作为待处理图像，接着，通过估计的阈值和形态学操作以及随后的图像增强过程来获得红色和蓝色的交通指示牌区域。最后，将所割取的图像区域输入所提出的改进的胶囊网络，得到车道及车道标识的检测结果。其创新点在于：

发明了一种新型的基于胶囊网络的交通标识检测深度学习模型。针对胶囊网络对目标对象不同姿态、方向的有效识别表现，将其与交通标识包括车道线、路面标记和交通指示牌的智能检测结合，并改进了现有的胶囊网络结构。所提出的新型胶囊网络允许并行执行，可在分布式环境中进行培训和部署。同时，它通过将图像的不同特征关联到每个通道，提高了网络的解释能力。

本发明的技术方案如下：一种基于胶囊网络深度学习架构的车道及车道标识检测方法，其特征在于：包括以下步骤：

S1，在光学相机捕获的交通道路画面上，设置两层ROI以获取关于车道的感兴趣区域；

S2，在所得的ROI图像上使用混合高斯滤波器执行滤波处理；

S3，在ROI图像上基于波形描述和阈值提取车道线、路面标记组件；

S4，在相机捕获图像的靠右部分画面上分离色彩通道，并在每个通道上使用中值滤波器执行噪声消除；

S5，估计红色和蓝色通道的阈值，并对两个通道执行增强操作，使用其各自的阈值分别对增强的红色和蓝色通道进行车道标识区域的分割；

S6，构建多通道胶囊网络，以识别类型如车道线、路面标记、交通指示牌为标签对输入图像做标注，进行训练；

S7，将训练好的胶囊网络用于输入经分割后的目标组件，预测出目标组件的类别，并反馈给用户或系统。

上述步骤S1中的两层ROI的设置步骤如下：

2.1、原始捕获图像中设置静态ROI：

M＝(a×W,b×H,x+Δx,y+Δy)

其中，M是设置的静态ROI，W和H是相机捕获图像的宽和高，a、b是比例调整系数，(x+Δx,y+Δy)是感兴趣区域中心的坐标，Δx、Δy是偏差调整系数；

2.2、根据当前车辆状态和驾驶意图在静态ROI的鸟瞰视图图像上设置动态ROI；当从转向信号检测到车道变换行为，动态ROI的宽度将增加并且偏差系数u将减小，以扩展车道的搜寻范围；而动态ROI的高度由当前车速确定，当速度高时，速度系数v和区域高度H将动态增加，以扩大车辆对前方的感知区域。

上述步骤S3中的车道线、路面标记提取步骤如下：

3.1、使用局部投影来生成车道的波形，局部窗口的大小设为50×150，重叠率为50％，通过在一个图像中绘制所有局部波形，获得整幅图像的全局波形；

3.2、依据波形的峰值设定阈值，分为高阈值和低阈值，高阈值可设为1.8，低阈值可设为0.6，使用低阈值过滤掉许多背景区域并提取一些候选区域，使用高阈值进一步分离那些候选区域。

上述步骤S5中车道标识区域分割的步骤如下：

4.1、计算红色和蓝色通道的平均强度，并将它们进一步相互比较以估计红色和蓝色通道的阈值，获取阈值的公式如下：

h＝log10(η+1)/p

其中，h代表阈值，η是2D离散相关性，p是在图像上基于强度变化的像素值；2D离散相关性η的定义如下：

其中，f(x,y)是原始图像中点(x,y)处的像素强度或灰度值，g(x,y)是在翻译图像中点(x,y)处的灰度值，

和

分别是强度矩阵f和g的平均值；

4.2、在红色和蓝色通道上执行增强操作：

其中E_R(m,n)和E_B(m,n)分别代表图像中被增强的红色和蓝色分量，R(m,n)属于红色像素，B(m,n)属于蓝色像素，G(m,n)属于图像的绿色像素；

4.3、对红色通道进一步锐化，使用反锐化掩模方法锐化图像特征，然后，使用利用下列公式来标准化增强后的红色通道即Im_R：

4.4、使用红色、蓝色通道各自的阈值分别对增强的红色和蓝色分量进行分割，生成二进制图像，然后，在二进制图像中的白色区域中填充包含在前景像素中的一组背景像素，得到二进制图像的更精细版本；接着，通过将每个分割区域作为单独的图像来提取ROI，这些提取的ROI将基于其高度和宽度进行处理；

其中w和h分别代表所提取像素点到分割区域边界的宽度和高度。

上述步骤S6中胶囊网络的构建方法如下：所述胶囊网络架构包括输入层、主胶囊层、交通标识胶囊层，其中，每一组主要胶囊将作为一个通道，负责最终数字胶囊的某一个维度尺寸。

上述交通标识胶囊层由n+m+2个胶囊组成，其中包括1类车道线、1类非交通标识组件、n类路面标记、m类车道标识，计算每个交通标识胶囊对的预测输出向量，并基于Hinton的胶囊网络中的协议算法设计路由路线。

上述步骤S7中，目标组件是指从相机捕获画面中提取的车道线、路面标记、交通指示牌区域，检测结果反馈的形式是文字或语音提示。

本发明的有益效果是：

本发明实现了一种基于胶囊网络的交通标识智能检测方法，该架构包括车道组件分割、车道标识提取以及多通道胶囊网络三块工作。在胶囊网络深度学习架构的基础上进一步开发，解决了在复杂的照明，外观和环境条件变化下，对车道及车道标识难以准确识别的问题，同时，改进的胶囊网络降低了应用的成本，实现了高精度。

附图说明

图1基于胶囊网络深度学习架构的车道及车道标识的检测方法流程；

图2多通道胶囊网络结构图。

具体实施方式

围绕发明内容，本发明的具体实施方式(如图1所示)如下：

1、车道组件的提取

1.1、感兴趣区域获取

在光学相机捕获的的交通道路画面中，设置两层ROI(感兴趣区域)来避免非道路区域的噪声干扰，提高算法的实时性。首先，在原始图像中设置静态ROI：

M＝(a×W,b×H,x+Δx,y+Δy)

其中，M是设置的静态ROI，W和H是相机捕获图像的宽和高，a，b是比例调整系数，(x+Δx,y+Δy)是感兴趣区域中心的坐标，Δx，Δy是偏差调整系数。

然后，根据当前车辆状态和驾驶意图在鸟瞰视图图像上设置动态ROI。当从转向信号检测到车道变换行为，动态ROI的宽度将增加并且偏差系数u将减小，以扩展车道的搜寻范围。而动态ROI的高度由当前车速确定，当速度高时，速度系数v和区域高度H将动态增加，以扩大车辆对前方的感知区域。

1.2、图像滤波

在ROI图像上执行滤波操作。以高斯函数为尺度函数，利用低通平滑高斯滤波器和二阶墨西哥帽小波高通滤波器构造混合高斯滤波器，如下式所示：

其中，

是高斯低通滤波器，

是二阶墨西哥帽小波高通滤波器。θ是滤波器方向的角度输入，

取决于前车道的宽度，

取决于动态ROI上的道路长度。

1.3、车道的波形描述

对于经过预处理的图像，我们可以将车道分成几个连续的部分。与非车道区域相比，每个部分中的车道区域投影呈现出不同的特征。我们使用局部投影来生成波形。局部窗口的大小设为50×150，重叠率为50％。通过在一个图像中绘制所有局部波形，可以获得整幅图像的全局波形。

1.4、阈值分割

由于所有车道标记区域的连续特征和高亮度，包含车道标记的区域总是具有比非车道区域更高的总和值。在车道的波形描述中，每个局部波中将出现若干峰值，我们使用根据峰值设定的阈值来删除背景区域。阈值分为高阈值和低阈值，所提出的基于波形的车道组件提取方法包括：使用低阈值来过滤掉许多背景区域并提取一些候选区域，使用高阈值进一步分离那些候选区域。

最终，分割出车道线、路面标记以及少量其它干扰组件，将用于后续的识别工作。

2、车道标识的提取

2.1、噪声消除及通道分离

为了减少计算量，提高算法的鲁棒性，取相机捕获图像的右三分之一画面作为待处理图像，用于提取车道标识。所提出的方法仅关注红色和蓝色交通标志。在本阶段中，图像将被分成红色(R)，绿色(G)和蓝色(B)通道。此外，为了保留车道标识在图像中所必需保持的边缘，使用中值滤波器对每个通道执行噪声消除。

2.2、估计R和B通道的阈值

紧接着，计算每个通道的平均强度，并将它们进一步相互比较以估计R和B通道的阈值。获取阈值的公式如下：

h＝log10(η+1)/p

其中，h代表阈值，η是相关性，p是在图像上基于强度变化的像素值。2D离散相关性η的定义如下：

其中，f(x,y)是原始图像中点(x,y)处的像素强度或灰度值，g(x,y)是在翻译图像中点(x,y)处的灰度值，

和分别是强度矩阵f和g的平均值。

2.3、通道增强

在阈值决定之后，使用下列公式在红色和蓝色通道上执行增强操作：

其中E_R(m,n)和E_B(m,n)分别代表图像中被增强的红色和蓝色分量，R(m,n)属于红色像素，B(m,n)属于蓝色像素，G(m,n)属于图像的绿色像素。接着，对红色通道进一步锐化，使用反锐化掩模方法锐化图像特征(如边缘)，然后，使用利用下列公式来标准化增强后的红色通道即Im_R：

2.4、组件分割

为了执行车道标识区域的分割，使用它们各自的阈值分别对增强的红色和蓝色分量进行分割，进而生成二进制图像。然后，在二进制图像中的白色区域中填充包含在前景像素中的一组背景像素，得到二进制图像的更精细版本。因为车道标识不能是非常小或大面积的尺寸，使用过滤器提取所有位于指定范围内的连接组件。

接着，通过将每个分割区域作为单独的图像来提取ROI。这些提取的ROI将基于其高度和宽度进行处理，所有其高度和宽度有较大差异的区域都将被忽略、删除。

其中w和h分别代表所提取区域到像素点到分割区域的边界框的宽度和高度。

最终，分割出车道标识组件以及少量其它背景组件，用于后续的识别工作。

3、基于胶囊网络深度学习架构的智能检测

3.1、胶囊网络的构建

现有的胶囊网络通过对原始图像应用两个卷积层来生成一组主要胶囊(PC)。每个PC都乘以一个权值矩阵Wi，最后，使用动态路由算法创建最终的胶囊集合即数字胶囊，每一个数字胶囊向量代表分类问题中的某一个类。然而，除了对类的概率进行编码外，每个向量还包含重构原始图像的信息，向量的不同维数表示图像的不同特征。

本发明提出了一种多通道胶囊网络，每一组PC作为一个通道，负责最终数字胶囊的某一个维度尺寸。如图2所示，为新型胶囊网络的结构图。用于交通标识检测的胶囊网络架构包括输入层、主胶囊层、交通标识胶囊层，下面是对该网络结构的详细分析：

输入层：输入层由所提取的车道或车道标识组件组成。

主胶囊层：为了计算输出，首先使用两个卷积层进行处理。卷积层由内核大小为9的256个滤波器组成，并且不使用填充，使用ReLU作为非线性激活函数。最后，对计算结果应用挤压函数以得到主胶囊的输出矢量。

交通标识胶囊层：交通标识胶囊层由n+m+2个胶囊组成，其中包括1类车道线、1类非交通标识组件、n类路面标记、m类车道标识。为了计算交通标识胶囊的输出，计算每个PC—交通标识胶囊对的预测输出向量，并通过协议算法设计路由路线。

3.2、基于胶囊网络的智能检测

胶囊网络的输出结果将经由重建层把识别结果在原始捕获图像上标示出来。重建层由全连接层组成，通过调整交通标识胶囊层的输出，重建输入图像，其包含掩蔽函数和解码器两个工作模块。

1)掩蔽函数：为了重建输入的交通标识，只需要发送与预测交通标识相对应的特定输出向量，并屏蔽所有剩余的输出。在训练阶段，利用one-hot函数实现重建掩模，对于目标类，它的值为1，对于所有其他类，它的值为0。

2)解码器：解码器由ReLU的非线性激活层和随后的sigmoid激活层组成。

胶囊网络的训练集应包括车道线、n类路面标记、m类车道标识以及若干负样本。经过反复优化训练后，胶囊网络用于输入经分割后的目标组件，预测出组件的类别如车道线、所属车道标识类型。最后，用文字或语音提示反馈检测结果，以帮助驾驶员或无人驾驶汽车保持在车道线内正常行驶，同时依据交通指示牌，执行相应的驾驶操作。

Claims (7)

1.一种基于胶囊网络深度学习架构的车道及车道标识检测方法，其特征在于：包括以下步骤：

S1，在光学相机捕获的交通道路画面上，设置两层ROI以获取关于车道的感兴趣区域；

S2，在所得的ROI图像上使用混合高斯滤波器执行滤波处理；

S3，在ROI图像上基于波形描述和阈值提取车道线、路面标记组件；

S4，在相机捕获图像的靠右部分画面上分离色彩通道，并在每个通道上使用中值滤波器执行噪声消除；

S5，估计红色和蓝色通道的阈值，并对两个通道执行增强操作，使用其各自的阈值分别对增强的红色和蓝色通道进行车道标识区域的分割；

S6，构建多通道胶囊网络，以识别类型如车道线、路面标记、交通指示牌为标签对输入图像做标注，进行训练；

S7，将训练好的胶囊网络用于输入经分割后的目标组件，预测出目标组件的类别，并反馈给用户或系统。

2.根据权利要求1所述的一种基于胶囊网络深度学习架构的车道及车道标识检测方法，其特征在于：所述步骤S1中的两层ROI的设置步骤如下：

2.1、原始捕获图像中设置静态ROI：

M＝(a×W,b×H,x+Δx,y+Δy)

其中，M是设置的静态ROI，W和H是相机捕获图像的宽和高，a、b是比例调整系数，(x+Δx,y+Δy)是感兴趣区域中心的坐标，Δx、Δy是偏差调整系数；

2.2、根据当前车辆状态和驾驶意图在静态ROI的鸟瞰视图图像上设置动态ROI；当从转向信号检测到车道变换行为，动态ROI的宽度将增加并且偏差系数u将减小，以扩展车道的搜寻范围；而动态ROI的高度由当前车速确定，当速度高时，速度系数v和区域高度H将动态增加，以扩大车辆对前方的感知区域。

3.根据权利要求1所述的一种基于胶囊网络深度学习架构的车道及车道标识检测方法，其特征在于：所述步骤S3中的车道线、路面标记提取步骤如下：

3.1、使用局部投影来生成车道的波形，局部窗口的大小设为50×150，重叠率为50％，通过在一个图像中绘制所有局部波形，获得整幅图像的全局波形；

3.2、依据波形的峰值设定阈值，分为高阈值和低阈值，使用低阈值过滤掉许多背景区域并提取一些候选区域，使用高阈值进一步分离那些候选区域。

4.根据权利要求1所述的一种基于胶囊网络深度学习架构的车道及车道标识检测方法，其特征在于：所述步骤S5中车道标识区域分割的步骤如下：

4.1、计算红色和蓝色通道的平均强度，并将它们进一步相互比较以估计红色和蓝色通道的阈值，获取阈值的公式如下：

h＝log10(η+1)/p

其中，h代表阈值，η是2D离散相关性，p是在图像上基于强度变化的像素值；2D离散相关性η的定义如下：

其中，f(x,y)是原始图像中点(x,y)处的像素强度或灰度值，g(x,y)是在翻译图像中点(x,y)处的灰度值，和

分别是强度矩阵f和g的平均值；

4.2、在红色和蓝色通道上执行增强操作：

其中E_R(m,n)和E_B(m,n)分别代表图像中被增强的红色和蓝色分量，R(m,n)属于红色像素，B(m,n)属于蓝色像素，G(m,n)属于图像的绿色像素；

4.3、对红色通道进一步锐化，使用反锐化掩模方法锐化图像特征，然后，使用利用下列公式来标准化增强后的红色通道即Im_R：

4.4、使用红色、蓝色通道各自的阈值分别对增强的红色和蓝色分量进行分割，生成二进制图像，然后，在二进制图像中的白色区域中填充包含在前景像素中的一组背景像素，得到二进制图像的更精细版本；接着，通过将每个分割区域作为单独的图像来提取ROI，这些提取的ROI将基于其高度和宽度进行处理；

其中w和h分别代表所提取像素点到分割区域边界的宽度和高度。

5.根据权利要求1所述的一种基于胶囊网络深度学习架构的车道及车道标识检测方法，其特征在于：所述步骤S6中胶囊网络的构建方法如下：所述胶囊网络架构包括输入层、主胶囊层、交通标识胶囊层，其中，每一组主要胶囊将作为一个通道，负责最终数字胶囊的某一个维度尺寸。

6.根据权利要求5所述的一种基于胶囊网络深度学习架构的车道及车道标识检测方法，其特征在于：所述交通标识胶囊层由n+m+2个胶囊组成，其中包括1类车道线、1类非交通标识组件、n类路面标记、m类车道标识，计算每个交通标识胶囊对的预测输出向量，并基于Hinton的胶囊网络中的协议算法设计路由路线。

7.根据权利要求1所述的一种基于胶囊网络深度学习架构的车道及车道标识检测方法，其特征在于：所述步骤S7中，目标组件是指从相机捕获画面中提取的车道线、路面标记、交通指示牌区域，检测结果反馈的形式是文字或语音提示。

Images