CN109815906A - 基于分步深度学习的交通标志检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于分步深度学习的交通标志检测方法及系统，方法包括对输入的高分辨率图像进行降采样，将降采样图像划分为多个图像块；然后进行区域分割得到二值标签图像；提取连通子区域，并对每个子区域进行膨胀处理；在原图中截取每个子区域所对应的图像信息并缩放到指定大小，利用卷积神经网络对子图像进行交通标志检测；最后，将所有子区域中的检测结果映射到同一张输入图像中，利用非极大抑制过滤得到最终的检测结果。系统包括采集模块、分割模块、处理模块和检测模块。本发明先对图像进行区域分割来确定可能包含目标的区域，能够利用较短的时间过滤掉绝大部分无用区域，因而能够大大提高交通标志检测的效率。

Description

基于分步深度学习的交通标志检测方法及系统

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于分步深度学习的交通标志检测方法及系统。

背景技术

交通标志检测和识别技术是高级驾驶辅助系统中的重要一环，它能够快速获取到车辆前方的交通标志信息，并将信息内容提示给驾驶员，帮助驾驶员快速准确地了解周围交通环境状况。但是在现实交通场景中，由于图像分辨率较大，目标距离较远，使得交通标志在图像中所占的比例非常小，这就给检测和检测过程带来了困难。针对这个问题，目前的解决方法是首先对图像进行降采样，在降采样图像上进行交通标志检测，然后放大检测到的目标区域，并在原图上截取对应的图像信息，再在截取的图像区域中进行二次目标检测，这种方法在服务器上能够达到4FPS左右的检测速度，但是距离实时检测还有很大差距，并且该方法目标召回率不高，主要原因在于降采样图像上目标太小，很难进行精确的位置检测。

发明内容

针对现有技术的缺陷，本发明提出了一种基于分步深度学习的交通标志检测方法及系统，旨在解决现有检测方法中存在的检测速度慢、检测效果差的问题。

为实现上述目的，按照本发明的一方面，提供了一种基于分步深度学习的交通标志检测方法，包括：

(1)首先对输入的高分辨率图像进行降采样，并对降采样图像进行不重叠的区域划分，划分为S*S个图像块；

(2)利用卷积神经网络对S*S个图像块进行区域分割，分割过程即对每个图像块进行前景背景分类，前景标签为1，背景标签为0，由此可以得到一张S*S大小的二值标签图像；

在训练过程中，需要指定每个图像块的分割标签，若交通标志的中心落入第i个图像块中，则设定第i个图像块为前景；或者若交通标志覆盖第j个图像块的面积超过阈值，则设定第j个图像块为前景；否则为背景。在测试过程中，不需要对图像块进行指定标签；

(3)在步骤(2)得到的二值标签图像中，采用回溯法提取连通子区域，对每个连通子区域进行膨胀处理，再将子区域扩张成正方形以适应后续的检测要求；

(4)将步骤(3)中得到的每个连通子区域映射到原高分辨率图像中，然后在原高分辨率图像中对应的位置上截取图像信息，从而得到多个正方形的子图像，子图像与连通子区域一一对应，然后将子图像缩放成K*K的尺寸，进而利用卷积神经网络在每个子图像上进行交通标志检测，得到每张子图像上检测结果；

(5)将步骤(4)中所有子图像中的检测结果映射到原高分辨率图像中以统一位置坐标，然后利用非极大抑制算法对检测结果进行过滤，得到最终的检测和检测结果。

进一步的，步骤(3)的具体实现方式为：

在步骤(2)得到的S*S尺寸大小的二值标签图像中，从左上角位置开始遍历二值标签图像，如果当前的点为前景且没有被访问过，则利用回溯法提取连通子区域。遍历完成后，然后对得到的子区域进行膨胀处理，膨胀规则为：子区域的长宽为w和h(w>h)，

若连通区域较小，即区域长度w≤lth，lth为子区域长度阈值，则直接将其扩张成M*M的大小；

若连通区域较大且呈长条状，即w>lth且w/h>rth，rth为子区域长宽比率阈值，则将子区域扩张成(w+1)*(w+1)的大小；

若连通区域较大且呈方块状，即w>lth且w/h≤rth，则将子区域扩张成(r*w+1)*(r*w+1)的大小，r为目标尺度调节参数，r>1。对所有子区域膨胀完毕后，检测子区域是否超出图像边界，若有子区域超出边界，则将这些子区域朝超出的反方向偏移使其全部置于图像内部。

进一步的，步骤(3)中回溯法的具体实现方式：

首先记录当前点A的位置，然后遍历A的邻域点，在遍历的过程中，如果邻域点B为前景且未被访问过，则记录B的位置。遍历B的邻域点，如果B的邻域中没有为前景且未被访问过的点，则返回到上一层，继续访问A的其他邻域点；如果B的邻域中有为前景且未被访问过的点C，则记录C的位置并遍历C的邻域，以此类推，直到所有邻域点都已遍历完毕，则回溯法停止。在上述过程中，所有被记录的点构成一个连通子区域。

按照本发明的另一方面，提供了一种基于分步深度学习的交通标志检测系统，包括：

采集模块，用于获取车辆前方的高分辨率图像；

分割模块，用于对图像进行区域分割得到二值标签图像；

处理模块，用于对二值标签图像进行膨胀处理；

检测模块，利用卷积神经网络对子图像进行检测、过滤和融合得到检测结果。

通过本发明所构思的以上技术方案，与现有技术相比能够取得以下有益效果：

1、本发明通过先对图像进行区域分割来确定可能包含的目标的区域，能够用较短的时间过滤掉绝大部分无用区域，大大提高交通标志检测识别的效率，提升检测的速度；

2、本发明通过对不同大小和长宽比的区域采用不同的区域膨胀策略，对小目标能够较好地保留细节，对大目标能够进行尺度压缩，从而能够较好地控制子图像目标检测中目标的尺度范围，获得更高的检测精度。

附图说明

图1是本发明实施例提供的一种基于分步深度学习的交通标志检测方法的流程图；

图2是本发明实施例提供的提取连通子区域的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本实施例提供了一种基于分步深度学习的交通标志检测方法，包括：

(1)输入图像分辨率为2048*2048，首先对输入图像进行降采样，得到640*640的降采样图像，对降采样图像进行不重叠的区域划分，划分为80*80个图像块。

(2)利用卷积神经网络对80*80个图像块进行区域分割，卷积神经网络结构选用VGG16中前四个阶段的网络结构，在其中第4个阶段后先接归一化层，然后再连接3x3的卷积层。分割过程输入640*640的低分辨率图像，输出80*80个类别标签，一一对应于步骤(1)中的80*80个图像块，若类别标签为1，则表示该图像块被预测为前景，若类别标签为0，则表示该图像块被预测为背景，由此可以得到一张80*80分辨率的二值标签图像；在训练过程中，需要指定每个图像块的分割标签，若交通标志的中心落入第i个图像块中，则设定第i个图像块为前景；若交通标志覆盖第j个图像块的面积超过阈值0.1，则设定该图像块为前景；否则为背景。在测试过程中，不需要对图像区域指定标签。

(3)在步骤(2)得到的标签图像中，采用回溯法提取图像中的连通子区域，对每个连通子区域进行膨胀处理，再将子区域扩张成正方形以适应后续的检测要求。

(4)将步骤(3)中得到的每个子区域映射到原图中，然后在原图中对应的位置上截取图像信息，从而得到多个正方形的子图像，子图像与子区域一一对应，然后将子图像缩放成128*128的尺寸，进而利用卷积神经网络在每个子图像上进行交通标志检测，得到每张子图像上检测结果；此处卷积神经网络结构采用VGG16，在其中第3、4、5三个阶段后先接归一化层，然后再连接两个3x3的卷积层，分别预测目标类别和位置。

(5)将步骤(4)中所有子图像中的检测结果映射到原图中以统一位置坐标，然后利用非极大抑制算法对检测结果进行过滤，得到最终的检测和检测结果。

进一步的，步骤(3)还包括：

(31)从步骤(2)获取二值标签图像，然后从标签图像左上角开始利用回溯法提取八连通子区域，直到图像中所有位置均已遍历完毕，从而得到可能存在目标的子区域；

(32)对得到的所有子区域进行区域膨胀以保证区域能完整的包含目标；

(33)对所有子区域膨胀完毕后，检测子区域是否超出图像边界，若有子区域超出边界，则将这些子区域朝超出的反方向偏移使其全部置于图像内部。

进一步的，如图2所示，步骤(31)的具体实现方式为：标签图像大小为80*80，不妨设定图像中每一点的坐标为(i,j)，0≤i<80，0≤j<80，i和j均为整数，从(0,0)点开始遍历，若点(i,j)没有被访问过，且(i,j)位置的标签为1，则以该点为起点利用回溯法获取八连通域相连的区域坐标；若点(i,j)被访问过，或者(i,j)位置的标签为0，则跳过，直到遍历完所有的点。由此可以得到二值标签图像中由前景标签组成的连通子区域。

进一步的，步骤(32)的具体实现方式为：

对每个子区域，假如子区域的长宽分别为w和h并且w>h，

若子区域较小，即区域长度w≤lth，lth＝4为子区域长度阈值，则接将子区域大小直接扩张成5*5；

若连通区域较大且呈长条状，即w>lth且w/h>rth，rth＝2为子区域长宽比率阈值，则将子区域大小扩张成(w+1)*(w+1)；

若连通区域较大且呈方块状，即w>lth且w/h≤rth，则将子区域扩张成(r*w+1)*(r*w+1)的大小，r＝1.2为目标尺度调节参数。

本发明设计到区域分割算法、回溯法和目标检测算法，在交通标志检测的过程中，首先利用卷积神经网络对输入图像进行区域分割，分割出可能为前景的目标子区域，然后提取每个目标子区域并进行区域膨胀，进而在原图中截取子区域对应的图像信息并进行交通标志的检测，由于区域分割过程能够利用较短的时间过滤绝大部分无用区域，因而能够大大提高交通标志检测的效率。

本发明实施例还提供了一种基于分步深度学习的交通标志检测系统，包括：

采集模块，用于获取车辆前方的高分辨率图像；

分割模块，用于对图像进行区域分割得到二值标签图像；

处理模块，用于对二值标签图像进行膨胀处理；

检测模块，利用卷积神经网络对子图像进行检测、过滤和融合得到检测结果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于分步深度学习的交通标志检测方法，其特征在于，包括：

对输入的图像进行降采样，并将所述降采样后的图像划分为多个图像块；

对所述多个图像块进行区域分割得到二值标签图像；

提取所述二值标签图像的连通子区域，对所述连通子区域进行膨胀处理；

将所述膨胀处理后的连通子区域映射到所述图像中截取对应位置的子图像，利用卷积神经网络对所述子图像进行检测得到子图像检测结果；

将所述子图像检测结果映射到所述图像中进行过滤后得到检测结果。

2.根据权利要求1所述检测方法，其特征在于，所述对所述多个图像块进行区域分割包括：

设定二值分割标签，前景为1，背景为0；

若所述图像中的交通标志的中心落入第i个图像块中，则所述第i个图像块为前景；

或者，若所述图像中的交通标志覆盖第j个图像块的面积超过阈值，则所述第j个图像块为前景；

否则为背景；

其中，i和j均为正整数。

3.根据权利要求1所述检测方法，其特征在于，所述提取所述二值标签图像的连通子区域包括：

遍历所述二值标签图像，利用回溯法提取八连通子区域，直至所述二值标签图像的所有位置均已遍历完毕。

4.根据权利要求1所述检测方法，其特征在于，所述对所述连通子区域进行膨胀处理包括：

若所述连通子区域的长度w≤lth，则将所述连通子区域扩张成预设的正方形；

若所述连通子区域的长度w＞lth且w/h>rth，则将所述连通子区域扩张成(w+1)*(w+1)的正方形；

若所述连通子区域的长度w＞lth且w/h≤rth，则将所述连通子区域扩张成(r*w+1)*(r*w+1)的正方形；

其中，w和h(w>h)为所述连通子区域的长度和宽度，lth为所述连通子区域的长度阈值，rth为所述连通子区域的长宽比率阈值，r为目标尺度调节参数，r>1。

5.根据权利要求1所述检测方法，其特征在于，所述将所述膨胀处理后的连通子区域映射到所述图像中得到对应位置的子图像还包括缩放所述子图像的尺寸。

6.根据权利要求1所述检测方法，其特征在于，所述将所述子图像检测结果映射到所述图像中进行过滤后得到检测结果包括采用非极大抑制算法进行过滤。

7.基于分步深度学习的交通标志检测系统，其特征在于，包括：

采集模块，所述采集模块用于获取车辆前方的图像；

分割模块，所述分割模块用于对所述图像进行区域分割得到二值标签图像；

处理模块，所述处理模块用于对所述二值标签图像进行膨胀处理；

检测模块，所述检测模块利用卷积神经网络对子图像进行检测、过滤和融合得到检测结果。