CN111382658A - 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法 - Google Patents

Abstract

本发明公开一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法，利用了图像的灰度梯度方向一致性特点，从方形、三角形以及圆形目标的本身特性出发，通过设计多图像梯度滤波器模板进行全图遍历，在不依赖于图像边缘检测的情况下，只提取图像中具有稳定结构特征的边缘，进而通过对图像中候选圆弧段或直线段的判断，实现对图像中方形、三角形以及圆形交通标志区域的检测。在实际使用中可应对不同的光照条件，尽管是边缘较弱的目标区域也能有效的检测，且对目标区域的颜色损失及一定程度的形变都有较好的适应能力。

Description

一种基于图像灰度梯度一致性的自然环境下道路交通标志检 测方法

技术领域

本发明属于计算机视觉及智能交通系统领域，特别是涉及一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法。

背景技术

形状检测是计算机视觉和模式识别中最具有挑战性的任务之一，是自动数字图像处理中目标识别的重要组成部分。从实际场景中所获取的数字图像中，其中所包含的丰富的信息，能够使我们更好的理解周围的环境。圆形物体的检测具有很多应用，尤其是用于辅助驾驶系统的道路交通标志牌的检测，能够为驾驶员和无人驾驶系统提供有关道路的标志信息。

根据道路交通法律法规，交通标志牌是一种图像与数字相结合的公共标识，用图形符号和数字传递特定的信息，广泛分布在马路和高速公路周边，具有明显区别于周围环境的颜色和形状特征。传统的交通标志牌的检测可分为基于颜色特征和基于形状特征的方法以及两种方法的结合使用。基于颜色特征的方法是在RGB空间中，通过对R、G、B三个颜色分量之间的差值及其设定的阈值进行比较来检测标志牌，该方法需要根据不同的环境、光照等条件设置不同的阈值。基于形状的方法最具代表性就是Hough变换方法，该方法虽相比于基于颜色特征的方法来说可靠性更高，对交通标志的色彩没有依赖性，能够成功识别颜色受到损害的交通标志，但是其计算量较大，资源需求较高。这些方法在很多简单场景下都能取得较好的应用，但是在背景较为复杂时，其检测结果不稳定。

针对圆形交通标志的检测，学者在经典的Hough变换法的基础上进行了改进。例如Xu等人提出了随机霍夫变换方法(RHT)，该方法利用了多对一映射的思想，在边缘图像中随机选取三个点，对其进行曲线拟合以此求取圆参数，并对结果进行累积；Chen和Chung提出了随机圆检测方法(RCD)，相比于RHT方法，该方法是从图像的边缘图像中随机选取四个点，其中三个点用于圆曲线拟合，第四个点用于验证所拟合的圆是否是图像中真是存在的圆形目标区域。在RCD方法的基础上，学者们有提出了GRCD-R，GLRCD-R方法，与原来方法所不同的是，增加了对候选圆目标进行基于核密度估计的投票策略，以通过误差线性补偿机制来提供更好的精细化的圆检测参数。这些方法虽然都能用于一般背景下的圆形目标区域检测，但是由于算法本身的随机性，在实际的应用中，资源需求较大，在背景复杂的情况下会引入大量无用的计算，使得检测性能大大的降低，甚至无法有效提取图像中的圆形目标区域。

针对方形和三角形交通标志的检测，经典的方法也是基于Hough变换直线检测实现的。对于整张数字图像而言，Hough变换通常能检测出较多的直线段，而如何有效的整合检出的直线段在图像中的几何位置信息是一件非常困难的事情。则在实际使用中通常需要事先大概确定待检测目标区域在图像中的位置，在小范围内使用Hough变换进行目标位置参数的精确确定。

此外，虽然机器学习和深度学习等先进的方法，在目标提取和分割的需求中，能很好的应对各类复杂的环境，但是其对训练集的依赖性较大，计算量巨大，并不适用于对实时性要求较高的需求。

发明内容

为了满足实际应用中的实时性需求以及对复杂背景环境的自适应，本发明提出一种基于图像灰度梯度一致性的自然场景下道路交通标志检测方法，不依赖于目标颜色，且计算复杂度小，并能满足实际应用需求的复杂背景下的圆形交通标志检测，能够快速有效的检测出图像中复杂背景下的道路交通标志区域。本发明方法利用了图像的灰度梯度方向一致性特点，从方形、三角形以及圆形目标的本身特性出发，通过设计多图像梯度滤波器模板进行全图遍历，在不依赖于图像边缘检测的情况下，只提取图像中具有稳定结构特征的边缘，进而通过对图像中候选圆弧段或直线段的判断，实现对图像中方形、三角形以及圆形交通标志区域的检测。本发明在实际使用中可应对不同的光照条件，尽管是边缘较弱的目标区域也能有效的检测，且对目标区域的颜色损失及一定程度的形变都有较好的适应能力。

本发明一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法，包括以下几个步骤：

步骤一：图像预处理。

1.1、图像格式转换。

通过图像灰度变换将待处理的24位真彩图转化为单通道灰度图。

1.2、图像滤波。

通过图像平滑滤波对图像进行去燥处理。

步骤二：图像梯度表示。

根据图像像素灰度值计算得到图像的像素梯度信息矩阵，并将梯度值较小的像素点进行剔除。

一种基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，步骤如下：

步骤一：图像预处理；

1.1、图像格式转换

通过图像灰度变换将待处理的24位真彩图转化为单通道灰度图。

1.2、图像滤波

通过图像平滑滤波对图像进行去燥处理。

步骤二：图像梯度表示

根据图像像素灰度值计算得到图像的像素梯度信息矩阵，并将梯度值较小的像素点进行剔除。

其特征在于：还包括以下几个步骤：

步骤三：图像梯度区域分类

a、生成用于方形交通标志检测的图像梯度分类集合

以竖直向下的方向为0°方向，将方形交通标志的图像梯度方向矩阵G_d'(x,y)分为0°和90°两个主方向所形成的梯度方向集合，并设置梯度方向差阈值τ₁；则方形交通标志检测的图像梯度分类集合为：

式中，1,2分别表示将图像梯度G_d'(x,y)分为0°和90°两个主方向所对应的集合类别编号，集合中每个像素点的值分别标记为0或者对应的主方向的编号。

b、生成用于三角形交通标志检测的图像梯度分类集合

将用于三角形交通标志检测图像梯度以30°、90°和150°为主方向，并设置梯度方向差阈值τ₂；则用于三角形交通标志检测的图像梯度分类集合为：

式中，1,2,3分别表示将图像梯度G_d'(x,y)分30°、90°和150°三个主方向所对应的集合类别编号，每个集合中每个像素点的值被标记为0或对应主方向的编号。

c、生成用于圆形交通标志检测的图像梯度分类集合

在圆形交通标志原始图像梯度方向矩阵的基础上，以45°、135°、225°、315°四个角度为主方向，将图像的梯度分成了四组具有相同梯度方向的矩阵集合，并将集合中满足对应分类条件的像素点值分别标记为1，2，3，4；同时梯度方向差阈值τ₃；则圆形交通标志检测的图像梯度分类集合为：

式中，矩阵集合中像素点的值被标记为0或对应的主方向的编号。

步骤四：圆弧段和直线段候选区域选择

生成用于方形、三角形的直线边缘检测滤波器模板，分别与步骤三中生成的用于方形和三角形交通标志检测的图像梯度信息分类集合进行卷积，对图像中在邻域内拥有相同主方向上的像素点进行统计，得到对应主方向直线段检测像素统计结果；并对统计结果进行筛选，剔除小于设定阈值的直线段或曲线段，反之保留。

生成用于圆形检测的圆弧边缘滤波器模板，与圆形交通标志检测的图像梯度分类集合进行卷积，统计对应主方向上的同梯度方向的像素点个数，并对统计结果进行筛选，剔除小于设定阈值的直线段或曲线段，反之保留。

步骤五：目标区域确定

对步骤四中保留的直线段或曲线段进行细化；确定方形、三角形与圆形目标区域的参数。

本发明的优点在于：

(1)本发明基于图像灰度梯度一致性的自然环境下道路交通标志检测方法，针对实际应用中获取的自然环境下的图像，设计了一种基于图像灰度梯度方向一致性的道路交通标志牌检测方法，无需对图像进行边缘检测；

(2)本发明基于图像灰度梯度一致性的自然环境下道路交通标志检测方法，能很好的应对道路交通标志目标区域颜色受损的情况，对交通标志的颜色没有依赖性；

(3)本发明基于图像灰度梯度一致性的自然环境下道路交通标志检测方法，设计了一种多图像结构边缘检测滤波器，通过卷积的方式实现对全图的遍历，快速检测图像中具有圆弧特征和稳定直线特征的边缘；

(4)本发明基于图像灰度梯度一致性的自然环境下道路交通标志检测方法，所采用的方法能够应对各种光照条件，对道路交通标志目标区域的检测仅依赖于稳定直线段以及圆弧的有效提取；

(5)本发明基于图像灰度梯度一致性的自然环境下道路交通标志检测方法，在直线段和圆弧段有效检测的基础上，可自适应的检测出图像中不同面积大小的方形和三角形以及不同半径的圆形交通标志牌区域。

附图说明

图1是本发明的一种基于图像灰度梯度一致性的自然场景下道路交通标志检测方法流程图；

图2为自然环境下道路交通标志牌原图像和图像梯度表示对比图；

图3是图2的图像梯度表示在45°主方向的梯度分类结果；

图4是本发明中所设计的直线边缘检测滤波器模板示意图；

图5是本发明中所设计的圆弧边缘检测滤波器模板示意图；

图6是图2所示的原图像的圆弧提取结果；

图7是本发明所设计方法的方形和三角形目标区域检测结果；

图8是本发明所设计方法的圆形目标区域检测结果。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，如图1所示，包括以下几个步骤：

步骤一：图像预处理

在道路交通标志牌检测的过程中，图像预处理是一个非常重要的步骤，它的作用是消除图像中无关信息，增强有效信息的可检测性。具体的预处理技术如下：

1.1、图像格式转换

在实际应用中，摄像机从自然环境中采集到的大多都是彩色图像，即RGB格式，图像中的每个像素都包含了红(R)、绿(G)、蓝(B)三个颜色分量。而自然场景中，颜色本身非常容易受到光照的影响，其RGB值的变化很大，图像像素的梯度信息才能更好的展示图像的本质信息。因此，在进行图像处理前，需要通过图像灰度变换将待处理的24位真彩图转化为单通道灰度图，转化方式如下：

I_Gray＝0.299R+0.587G+0.114B (1)

转化后的单通道灰度图能够节省图像的存储开销，提高后续图像处理的速度。

1.2、图像滤波

由于自然环境的复杂多变、车速过快等情况，采集的图像将会呈现出过亮或过暗的现象，使得图像成像分布不均、图像变得模糊倾斜；此外数字图像的获取、量化以及图像的传输过程都会产生图像噪声，这些因素都可能影响目标区域的检测性能。针对上述问题，且考虑到本发明中所使用的基于图像灰度一致性的目标检测方法，本发明通过图像平滑滤波对图像进行去燥处理。

高斯滤波是图像平滑的一种重要方式，是一种可以极大的消除或压制图像的整体噪声影响的低通滤波器。本发明采用的二维零均值高斯滤波器是依据高斯核函数形状来计算近邻像素均值的线性平滑滤波器，其对应的核函数表示如下：

其中，(x,y)为图像点的坐标，σ为高斯滤波器方差，G(x,y)为高斯滤波器函数值。

本发明中，为了实现图像平滑去燥与主要边缘保留以及处理时间上的平衡，采用了模板尺寸大小为3×3的离散化高斯滤波器模板。该滤波器模板中的对应系数可首先对上述核函数进行离散化，并取均值为0，标准差为0.5得到：

其中，G_f为离散化高斯滤波器模板。

将该滤波器模板与待处理灰度图像进行卷子操作，实现图像的平滑滤波处理，具体实现如下：

I'(x,y)＝G_f*I(x,y) (4)

式中，符号“*”表示卷积运算符，I(x,y)表示原图像的灰度值，I'(x,y)为通过等式(4)进行高斯平滑处理后的图像灰度值。

本发明通过高斯滤波使图像变得更加平滑，并更好的保留了图像的边缘信息，为后续目标区域的有效提取提供了有利条件。

步骤二：图像梯度表示；

待处理灰度图像经过预处理之后，便可根据图像像素灰度值计算得到图像的像素梯度信息。图像梯度是对图像中像素点亮度变化情况的描述，可以用来反应图像中目标的位置和形状。从数学上而言，梯度是函数变化的一种测量方式，则图像的梯度可看作是关于图像灰度的连续函数的取样点阵列，其一阶导数的二维等效形式可表示为：

式中，G_x,G_y分别表示x,y方向的图像灰度梯度。

针对待处理的数字图像，本发明所采用的图像灰度表示的处理方式如下：

2.1、梯度计算操作符选取；

对于数字图像而言，上述的一阶导数可表示为：

在实际的计算中，为了简化计算，提高图像梯度的计算速度，本发明中，将等式(6)的梯度计算方式转化为沿着x方向和y方向的梯度计算操作符与图像进行卷积的方式进行，其对应的梯度计算算子表述如下：

式中，D_x,D_y分别表示x,y方向的梯度计算算子。

2.2、图像像素梯度计算；

根据步骤2.1所选取的图像梯度操作算子，将其与图像进行卷积，得到图像像素(x,y)在x和y两个方向上的梯度表达式：

在此基础上便可进一步将图像的灰度表示转化为图像像素的梯度大小和梯度方向表示。而在本发明中，为了简化计算并减小计算量，采用了等式(9)的合成梯度信息矩阵来表示灰度图像：

从直观上来讲，上述表示反映的是像素点的斜率信息，但其与像素的梯度方向只相差一个三角函数转化的过程，因此本质上两者包含的内容是一致的。

2.3、图像梯度剔除；

一般来说，较小的梯度对应于图像中灰度变化缓慢的单调区域，图像比较平滑；而较大的梯度对应于图像中具有明显分界的边缘。为了提高圆形目标区域的检测效率，本发明设计一个简单的剔除策略将梯度值较小的像素点进行剔除，以此来降低目标区域检出的复杂性，具体方法为：

首先将图像中每个像素点在x方向和y方向上的梯度与设定的经验阈值α进行比较，得到一个只包含0,1的二值图像梯度剔除掩膜矩阵，该矩阵的获取方式如下：

将得到的掩膜矩阵T(x,y)与图像的初始梯度信息矩阵G_d(x,y)进行按位与，得到最终的图像梯度表示：

G_d'(x,y)＝G_d(x,y)&T(x,y) (11)

式中，&表示矩阵的按位与运算符，G_d'(x,y)为剔除了较小的图像梯度像素点的图像梯度表示矩阵，也是之后进行圆形交通标志牌检测的处理对象。结果如图2a、2b所示。

步骤三：图像梯度区域分类；

通常梯度方向一致的像素队列极有可能是某个物体的边缘。在实际的场景中，由于环境的复杂性和不确定性，所捕获的图像中道路交通标志目标区域的边缘常常受到其他物体所产生的直线或曲线边缘的干扰，如果直接在原始图像的梯度信息上进行目标轮廓的提取，可能会产生很多不包含待检测目标的轮廓区域。因此，在进行道路交通标志的目标轮廓提取之前进行合理有效的梯度分类是十分必要的。

本发明中，根据常见的方形、三角形以及圆形交通标志所具有的结构信息特征，将图像梯度方向信息矩阵G_d'(x,y)分成了对应的梯度矩阵集合，以用于后续的进一步计算。其中梯度方向分类的主要依据是，利用了图像中任意一点的像素点梯度方向都基本垂直于该像素点所在的正切空间。具体方法如下：

3.1、生成用于方形交通标志检测的图像梯度分类集合；

如图7所示，位于道路两旁的方形交通标志牌具有比较明显的结构特征，其边缘在图像中的分布大概可分为两个方向：水平方向和竖直方向。则在生成用于交通标志牌检测的图像梯度分类集合时，主要考虑将原始的图像梯度信息矩阵G_d'(x,y)分为水平方向和竖直方向两个主方向的梯度。此处，如图所示，以竖直向下的方向为0°方向，将图像梯度方向矩阵G_d'(x,y)分为0°和90°两个主方向所形成的梯度方向集合。

在进行分类时，为了保证梯度方向分类的鲁棒性和可容错性，设置了一个梯度方向差阈值τ₁，即将与每个主方向相差正负τ₁的梯度方向像素点坐标划分为同一个集合，最终形成如下所示的分类集合：

式中，1,2分别表示将图像梯度信息矩阵G_d'(x,y)分为0°和90°两个主方向所对应的集合类别编号，集合中每个像素点的值分别标记为0或者对应的主方向的编号。

3.2、生成用于三角形交通标志检测的图像梯度分类集合；

本发明根据三角形交通标志在图像中的几何位置分布，将用于三角形交通标志检测图像梯度以30°、90°和150°为主方向，将图像梯度方向信息矩阵分为三类。

与步骤3.1的分类方式类似，设置梯度方向差阈值τ₂，形成如下所示的集合：

式中，1,2,3分别表示将图像梯度信息矩阵G_d'(x,y)分30°、90°和150°三个主方向所对应的集合类别编号，每个集合中每个像素点的值被标记为0或对应主方向的编号。

3.3、生成用于圆形交通标志检测的图像梯度分类集合；

根据待检测的圆形交通标志牌的圆弧结构信息，本发明在原始图像梯度方向矩阵的基础上，以45°、135°、225°、315°四个角度为主方向，将图像的梯度分成了四组具有相同梯度方向的矩阵集合，并将集合中满足对应分类条件的像素点值分别标记为1，2，3，4。形成如下所示的集合：

式中，τ₃的含义与步骤3.1和步骤3.2中定义的梯度方向差阈值τ₁,τ₂一致。集合中像素点的值被标记为0或对应的主方向的编号。图3表示45°方向上的图像梯度信息分类结果。

步骤四：圆弧段和直线段候选区域选择；

经过上述步骤后，将得到多个以特定主方向进行分类的图像梯度分类集合，本发明通过统计图像空间中一定邻域内具有相同图像梯度的像素点，只要像素点的统计值满足一定的数量，则可认为其对应的图像中在空间上存在稳定的结构化直线段或圆弧段，以此确定出图像中用于检测道路交通标志的候选区域。具体的方法如下：

4.1、用于直线段检测的直线边缘检测滤波器设计；

4.1.1、针对方形目标检测的梯度分类结果，设计用于方形检测的直线边缘检测滤波器将方形检测的梯度分类结果，划分为沿着水平方向指向左右两个方向，以及沿着竖直方向指向上下两个方向的有向直线段候选区域。用于方形检测的直线边缘滤波器模板生成的函数映射方式如下：

Line_Rect(i)＝f_LR((i-1)*90°,R,D),i＝1,2,3,4 (15)

式中，Line_Rect为用于获取对应方向的有向直线段的直线边缘检测滤波器，所得到的模板为大小为R×R方形，编号1,2,3,4分别对应的方向为：竖直向上，水平向左，竖直向下，水平向右。D为滤波器模板中的直线边缘宽度。函数f_LR(·)表示将输入的角度，模板尺寸大小以及直线滤波器宽度映射成用于检测方形的直线边缘的滤波器模板。该模板用于从步骤3.1中的梯度分类结果中提取上述4个不同方向的有向直线段候选区域，模板示意图如图4所示。

4.1.2、针对三角形目标检测的梯度分类结果，与4.1.1中的处理类似，生成用于检测指定方向有向线段的用于三角形检测的直线边缘检测滤波器模板。该滤波器模板的函数映射关系如下：

Line_Tria(i)＝f_LT(30°+(i-1)*60°,R,D),i＝1,2,3,4,5,6 (16)

式中，R,D的含义与4.1.1中的定义一致，编号1～6分别对应的主方向为：30°,90°,150°,210°,270°,330°。函数f_LT(·)表示将输入的角度，模板尺寸大小以及直线滤波器宽度映射成用于检测三角形的直线边缘的滤波器模板。用于三角形检测的直线边缘的滤波器模板用于从步骤3.2中的梯度分类结果中提取6个不同方向的有向直线段候选区域。

4.2、用于圆弧段检测的圆弧边缘滤波器设计；

本发明针对圆弧本身所具有的结构特征信息，设计圆弧段区域检测滤波器模板。根据用于圆弧检测的梯度分类结果，设计相对应的四个主方向的圆弧段候选区域检测滤波器。如图5所示，其模板函数的映射关系如下：

Arc_Circ(i)＝f_C(45°+(i-1)*90°,R,D),i＝1,2,3,4 (17)

式中，R,D的含义与4.1.1中的定义一致，编号1～4分别对应的主方向为：

45°,135°,225°,315°；函数f_C(·)表示将输入的角度，模板尺寸大小以及直线滤波器宽度映射成用于检测圆弧段的滤波器模板。该模板用于从步骤3.3中的梯度分类结果中提取4个不同主方向上的圆弧段候选区域，模板示意图如图5所示。

4.3、有向直线段提取；

4.3.1、将步骤4.1.1和步骤4.1.2中生成的用于方形与三角形检测的直线边缘检测滤波器，分别与步骤3.1和步骤3.2中的图像梯度分类集合进行卷积，对图像中在邻域内拥有相同主方向上的像素点进行统计，得到对应主方向直线段检测像素统计结果，其方法如下：

用于方形检测的梯度分类像素统计方法：

用于三角形检测的梯度分类像素统计方法：

4.3.2、根据上述像素点的统计结果，设定阈值TH_line，对步骤4.3.1中对指定主方向上有向直线段的统计结果值进行筛选。若其统计值小于设定阈值TH_line，则认为是较短的直线段或曲线段，将其进行剔除，对应坐标像素点的值置为0；反之则将其进行保留，将其置为1。具体方法如下：

4.4、圆弧段提取；

4.4.1、将步骤4.2中设计的圆弧检测滤波器模板与步骤3.3中得到梯度分类结果进行卷积，统计对应主方向上的同梯度方向的像素点个数：

4.4.2、与步骤4.3.2类似，设定阈值TH_circ，对步骤4.4.1中得到的梯度方向统计结果进行筛选。若其统计结果值小于设定阈值TH_circ，则认为是较短的直线段或曲线段，将其进行剔除，并将对应像素点的值置为0；反之将其进行保留，并将该像素点的值置为与对应主方向编号的值。

步骤五、目标区域确定

目标区域的确定是在有效获取图像的直线段和圆弧段边缘的基础上进行的，其结果是获取能表示对应的目标区域的相关参数。针对方形、三角形以及圆形交通标志的结构信息特征，本发明所采用道路交通标志区域确定的具体方法如下：

5.1、候选区域细化；

细化是将二值图像进行骨架化的运算操作，可以将图像中具有多个像素宽度的直线或曲线段减少到单位像素宽度的直线或曲线段，该操作可以极大的压缩原始图像的数据量，并保持其原有的形状拓扑结构不变。

通过上述步骤所获取的图像中的稳定直线段和圆弧段具有一定的宽度，即具有一致性梯度的像素点在一定空间领域内的点数较多，则为了提高检测的效率并减小计算量，在进行搜索前需要对候选圆弧段和直线段进行细化。

5.2、方形和三角形目标区域确定；

5.2.1、将步骤4.3中所提取的用于方形和三角形检测的有向直线段，分别进行两两组合搭配，对组合中的矩阵元素进行按位与操作，得到由有向线段相交所组成的稳定角点。

角点提取方法如下：

等式(23)获得的角点集合中，Corner_Rect(1)～Corner_Rect(4)四个角点集合中的点坐标分别对应于图像中可能属于方形目标区域的四个角的坐标：即方形目标的左上角，右上角，左下角以及右下角四个几何位置；Corner_Tira(1)～Corner_Tira(3)三个角点集合中的点坐标分别对应于图像中可能属于三角形目标区域的三个角点的坐标。

5.2.2、对Corner_Rect集合中的角点坐标进行遍历，判断角点在空间中的位置是否满足构成方形区域角点的空间分布，将满足的匹配点对进行保存，得到方形目标区域的参数。

设从Corner_Rect集合的四个点集中所取出的点分别为P₁ ^Rect(x₁,y₁),

则当取出的这一组点集满足以下条件时认为时图像中方形区域的四个角点坐标：

式中，参数α,β₁,β₂,γ,k分别对应于角点的像素点坐标差阈值，方形的长宽最小阈值，长宽比值阈值以及判断相对边是否满足平行约束条件阈值；d₁,d₂表示坐标点之间的距离。

5.2.3、与步骤5.2.2的方法类似，对Corner_Tria集合中的角点坐标进行遍历，寻找基本满足等边三角形约束条件的角点组合点对并保存，得到图像中的三角形目标区域的参数。

设从Corner_Tria集合中的三个点集中取出的点坐标分别为：P₁ ^Tria(X₁,Y₁),

则当取出的这一组点集满足如下条件时，认为是图像中三角形目标区域的角点坐标：

式中，α₁,β₃分别表示三角形三边的边长阈值和三边边长的比值阈值，d₃,d₄,d₅表示坐标点之间的距离。

根据上述方法，所检测到图像中的方向和三角形目标区域结果如图7所示。

步骤5.3、圆形目标区域确定；

圆形目标区域确定是确定图像中圆形交通标志牌的圆心位置(x_c,y_c)及其半径r。鉴于圆是中心轴对称图形的结构化特征，若图像中存在圆形目标区域，则任意方向上的圆弧段都存在关于其所在圆形目标区域的圆心成基本对称的另外三个圆弧段。基于这一特征，本发明以45°方向上的圆弧段为搜索起始点，对其他三个方向上的候选圆弧段进行搜索判断，确定目标区域。具体方法如下：

5.3.1、将45°主方向圆弧段转化成点；

候选圆弧段区域经过细化后，虽已极大的减小用于后续计算的数据量，但同一方向上的圆弧段仍包含多个像素点，在搜索过程中，会产生大量的重复工作。则为了进一步简化计算，本发明通过求均值的方式，简单的将同一区域内的圆弧段简化成一个点表示，其转化方式如下：

其中(x_i,y_i)表示图像中第i个候选圆弧段简化后的点坐标，(x_ij,y_ij)表示第i个候选圆弧段上的第j个像素点的坐标，n表示第i个候选圆弧段的像素点个数，符号

表示对计算结果向上取整。

5.3.2、将45°方向的候选圆弧段转化后的点坐标表示成如下集合：

等式中m为圆弧段的个数。

5.3.3、对步骤5.3.2中得到的点集合ARC_p进行遍历，设定搜索邻域半径为L，若在邻域内存在另外两个或三个圆弧段与该点所在的圆弧段，在空间中关于中心点基本对称，且每个方向上构成圆弧段的像素点个数大于设定的点集阈值P_count，则认为图像中该区域内存在圆形目标。存储此时的圆参数(x_c,y_c,r)，点集合ARC_p遍历结束后形成如下的圆参数集合：

等式中，(x_ci,y_ci)为图像中第i个圆形目标区域的初始确定的圆心坐标，r_i为对应的目标区域的半径，M为初始确定的圆形目标区域个数。

由于步骤5.3.3中确定的圆形目标区域的参数是通过在一定范围内进行搜索得到的结果，则求解出的圆心和半径都存在一定的误差，需要进一步采取措施对初始确定的圆参数结果进行精细化。

5.3.4、在步骤5.3.3中初始确定的圆形目标区域内，对于每一个方向上的圆弧候选区域，若其圆弧段的长度为l，取出圆弧段序列中间隔为l/4处的坐标：(x₁,y₁),(x₂,y₂),

(x₃,y₃),(x₄,y₄)。依此方式，最终从四个不同方向的圆弧上16个不同的坐标点。在没有任何误差的情况下，取出的这一组坐标点应该位于圆心为(x_c,y_c)，半径为r的圆上。即每个点都满足如下的关系式：

(x-x_c)²+(y-y_c)²＝r² (29)

5.3.5、针对所取出的一组点，设置一个最小二乘目标函数：

等式中，a＝-2x_c,b＝-2y_c,

通过求解该最小二乘函数，便可得到精细化后的圆形目标区域的圆参数(x_c,y_c,r)，检测结果如图8所示。

通过上述方法，实现了在不依赖于图像边缘检测的情况下，通过设计滤波模板与图像梯度信息进行卷积的方式，提取图像中的方形、三角形以及圆形道路交通标志牌。在实际使用中可应对不同的光照条件，尽管是边缘较弱的目标区域也能有效的检测，且对目标区域的颜色损失及一定程度的形变都有较好的适应能力。

Claims (8)

1.一种基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，步骤如下：

步骤一：图像预处理；

1.1、图像格式转换；

通过图像灰度变换将待处理的24位真彩图转化为单通道灰度图；

1.2、图像滤波；

通过图像平滑滤波对图像进行去噪处理；

步骤二：图像梯度表示；

根据图像像素灰度值计算得到图像的像素梯度信息矩阵，并将梯度值较小的像素点进行剔除；

其特征在于：还包括以下几个步骤：

步骤三：图像梯度区域分类；

a、生成用于方形交通标志检测的图像梯度分类集合：

以竖直向下的方向为0°方向，将图像梯度信息矩阵G_d'(x,y)划分为分别以0°和90°为主方向所形成的两个梯度方向分类集合，并在分类时对每个主方向设置梯度方向差阈值τ₁；生成方形交通标志检测的图像梯度分类集合如下：

式中，1,2分别表示将图像梯度信息矩阵G_d'(x,y)分为0°和90°两个主方向所对应的集合类别编号，集合中每个像素点的值分别被标记为0或者对应的主方向的编号；

b、生成用于三角形交通标志检测的图像梯度分类集合；

以竖直向下的方向为0°方向，将图像梯度信息矩阵G_d'(x,y)划分为分别以30°、90°和150°为主方向所形成的三个梯度方向分类集合，并在分类时对每个主方向设置梯度方向差阈值τ₂；生成用于三角形交通标志检测的图像梯度分类集合如下：

式中，1,2,3分别表示将图像梯度信息矩阵G_d'(x,y)分30°、90°和150°三个主方向所对应的集合类别编号，每个集合中每个像素点的值被标记为0或对应主方向的编号；

c、生成用于圆形交通标志检测的图像梯度分类集合；

在图像梯度信息矩阵G_d'(x,y)的基础上，以45°、135°、225°、315°四个角度为主方向，将图像梯度信息矩阵划分为四组梯度信息分类集合，并将集合中满足对应分类主方向的像素点值分别标记为1，2，3，4；同时在分类时设置梯度信息矩阵分类的梯度方向差阈值τ₃；生成圆形交通标志检测的图像梯度分类集合如下：

式中，所得到的矩阵集合中像素点的值被标记为0或对应的主方向的编号；

步骤四：圆弧段和直线段候选区域选择；

生成用于方形、三角形的直线边缘检测滤波器模板，分别与步骤三中生成的用于方形和三角形交通标志检测的图像梯度信息分类集合进行卷积，对图像中在邻域内拥有相同主方向上的像素点进行统计，得到对应主方向直线段检测像素统计结果；并对统计结果进行筛选，剔除小于设定阈值的直线段或曲线段，反之保留；

生成用于圆形检测的圆弧边缘滤波器模板，与圆形交通标志检测的图像梯度分类集合进行卷积，统计对应主方向上的同梯度方向的像素点个数，并对统计结果进行筛选，剔除小于设定阈值的直线段或曲线段，反之保留；

步骤五：目标区域确定

对步骤四中保留的直线段或曲线段进行细化；确定方形、三角形与圆形目标区域的参数。

2.如权利要求1所述一种基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，其特征在于：步骤四中，方形交通标志检测的直线段候选区域具体选择方式为：

生成用于方形检测的直线边缘检测滤波器模板，用于从步骤三中生成的用于方形交通标志检测的图像梯度分类集中提取0°、90°、180°、270°这4个不同主方向的有向直线段候选区域；用于方形检测的直线边缘检测滤波器模板生成的函数映射方式如下：

Line_Rect(i)＝f_LR((i-1)*90°,R,D),i＝1,2,3,4

式中，Line_Rect为用于获取对应方向的有向直线段的直线边缘检测滤波器，所得到的模板为大小为R×R方形模板，编号1,2,3,4分别对应的方向为：竖直向上，水平向左，竖直向下，水平向右；D为滤波器模板中的直线边缘宽度；函数f_LR(·)表示将输入的角度，模板尺寸大小以及直线滤波器宽度映射成用于检测方形的直线边缘的滤波器模板；

将生成的用于方形检测的直线边缘检测滤波器，与用于方形交通标志检测的图像梯度分类集合进行卷积，对图像中在邻域内拥有相同主方向上的像素点进行统计，得到对应主方向直线段检测像素统计结果，其方法如下：

用于方形检测的梯度分类像素统计方法：

根据上述像素点的统计结果Count_Rect，设定阈值TH_line，对指定主方向上有向直线段的统计结果值进行筛选；若其统计值小于设定阈值TH_line，则认为是较短的直线段或曲线段，将其进行剔除，对应坐标像素点的值置为0；反之则将其进行保留，将其置为1；具体方法如下：

3.如权利要求1所述一种基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，其特征在于：步骤四中，三角形交通标志检测的直线段候选区域具体选择方式为：

生成用于三角形检测的直线边缘检测滤波器模板，用于从步骤三中生成的用于三角形交通标志检测的图像梯度信息分类集合中提取30°,90°,150°,210°,270°,330°这6个不同方向的有向直线段候选区域；用于三角形检测的直线边缘检测滤波器模板的函数映射关系如下：

Line_Tria(i)＝f_LT(30°+(i-1)*60°,R,D),i＝1,2,3,4,5,6

式中，编号1～6分别对应的主方向为：30°,90°,150°,210°,270°,330°；函数f_LT(·)表示将输入的角度，模板尺寸大小以及直线滤波器宽度映射成用于检测三角形的直线边缘的滤波器模板；

将生成的用于三角形检测的直线边缘检测滤波器，与用于三角形交通标志检测的图像梯度分类集合进行卷积，对图像中在邻域内拥有相同主方向上的像素点进行统计，得到对应主方向直线段检测像素统计结果，其方法如下：

用于三角形检测的梯度分类像素统计方法：

根据上述像素点的统计结果，设定阈值TH_line，对指定主方向上有向直线段的统计结果值进行筛选；若其统计值小于设定阈值TH_line，则认为是较短的直线段或曲线段，将其进行剔除，对应坐标像素点的值置为0；反之则将其进行保留，将其置为1；具体方法如下：

4.如权利要求1所述一种基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，其特征在于：步骤四中，圆形交通标志检测的曲线段候选区域具体选择方式为：

生成用于圆弧段检测的圆弧边缘滤波器模板，用于从生成的用于圆形交通标志检测的图像梯度信息分类集合中提取45°,135°,225°,315°这4个不同主方向上的圆弧段候选区域；圆弧边缘滤波器模板的函数的映射关系如下：

Arc_Circ(i)＝f_C(45°+(i-1)*90°,R,D),i＝1,2,3,4

式中，编号1～4分别对应的主方向为：45°,135°,225°,315°；函数f_C(·)表示将输入的角度，模板尺寸大小以及直线滤波器宽度映射成用于检测圆弧段的滤波器模板；

将圆弧检测滤波器模板与圆形交通标志检测的图像梯度分类集合进行卷积，统计对应主方向上的同梯度方向的像素点个数：

根据上述像素点的统计结果，设定阈值TH_circ，对上述梯度方向统计结果进行筛选；若其统计结果值小于设定阈值TH_circ，则认为是较短的直线段或曲线段，将其进行剔除，并将对应像素点的值置为0；反之将其进行保留，并将该像素点的值置为与对应主方向编号的值：

5.如权利要求1所述一种基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，其特征在于：步骤五中，方形目标区域的参数确定方法为:将用于方形检测的有向直线段，分别进行两两组合搭配，对组合中的矩阵元素进行按位与操作，得到由有向直线段相交所组成的稳定角点集合，并分别对集合中的角点坐标进行遍历，根据方形交通标志的特点，判断角点在空间中的位置是否满足构成方形目标区域角点的空间分布，将满足的匹配点对进行保存，得到方形目标区域的参数；

提取用于方形检测的有向直线段相交所组成的稳定角点：

式中，Corner_Rect(1)～Corner_Rect(4)四个角点集合中的点坐标分别对应于图像中可能属于方形目标区域的四个角的坐标：即方形目标的左上角，右上角，左下角以及右下角四个几何位置；

设从Corner_Rect集合的四个点集中所取出的点分别为P₁ ^Rect(x₁,y₁),

则当取出的这一组点集满足以下条件时认为时图像中方形区域的四个角点坐标：

式中，参数α,β₁,β₂,γ,k分别对应于角点的像素点坐标差阈值，方形的长宽最小阈值，长宽比值阈值以及判断相对边是否满足平行约束条件阈值；d₁,d₂表示坐标点之间的距离。

6.如权利要求1所述一种基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，其特征在于：步骤五中，三角形目标区域的参数确定方法为:将用于三角形检测的有向直线段，分别进行两两组合搭配，对组合中的矩阵元素进行按位与操作，得到由有向线段相交所组成的稳定角点集合，并分别对集合中的角点坐标进行遍历，根据三角形交通标志的特点，判断角点在空间中的位置是否满足构成三角形目标区域角点的空间分布，将满足的匹配点对进行保存，得到三角形目标区域的参数；

提取用于三角形检测的稳定角点：

式中，Corner_Tira(1)～Corner_Tira(3)三个角点集合中的点坐标分别对应于图像中可能属于三角形目标区域的三个角点的坐标；

设从Corner_Tria集合中的三个点集中取出的点坐标分别为：P₁ ^Tria(X₁,Y₁),

则当取出的这一组点集满足如下条件时，认为是图像中三角形目标区域的角点坐标：

式中，α₁,β₃分别表示三角形三边的边长阈值和三边边长的比值阈值，d₃,d₄,d₅表示坐标点之间的距离。

7.如权利要求1所述一种基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，其特征在于：步骤五中，圆形目标区域的参数确定方法为:

将45°主方向圆弧段转化成点，转化方式如下：

其中，(x_i,y_i)表示图像中第i个候选圆弧段简化后的点坐标，(x_ij,y_ij)表示第i个候选圆弧段的像素坐标，n表示第i个候选圆弧段的像素点个数；

将45°方向的候选圆弧段转化后的点坐标表示成如下集合：

等式中m为圆弧段的个数；

对ARC_p进行遍历，设定搜索邻域半径为L，若在邻域内存在另外两个或三个圆弧段与该点所在的圆弧段，在空间中关于中心点基本对称，且每个方向上构成圆弧段的像素点个数大于设定的点集阈值P_count，则认为图像中该区域内存在圆形目标，存储此时的圆参数(x_c,y_c,r)，其中圆心为(x_c,y_c)，半径为r；点集合ARC_p遍历结束后形成如下的圆参数集合：

等式中，(x_ci,y_ci)为图像中第i个圆形目标区域的初始确定的圆心坐标，r_i为对应的目标区域的半径，M为初始确定的圆形目标区域个数。

8.如权利要求7所述一种基于图像灰度梯度一致性的自然环境下道路交通标志牌检测方法，其特征在于：步骤五得到的圆参数结果进行精细化，具体方式如下：

在步骤五中确定的圆形目标区域内，对于每一个方向上的圆弧候选区域，若其圆弧段的长度为l，取出圆弧段序列中间隔为l/4处的坐标：(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)；以此方式，最终从四个不同方向的圆弧上16个不同的坐标点；

针对所取出的一组点，设置一个最小二乘目标函数：

等式中，a＝-2x_c,b＝-2y_c,

通过求解该最小二乘函数，便可得到精细化后的圆形目标区域的圆参数(x_c,y_c,r)。

Images