CN111666811A - 一种提取交通场景图像中交通标志牌区域方法及系统 - Google Patents

Abstract

本发明提供一种提取交通场景图像中交通标志牌区域方法及系统，其中方法包括对输入图像进行尺寸调整，还包括以下步骤：对调整后的图像进行颜色区域筛选；对筛选后的图像进行轮廓提取；对完成所述轮廓提取的图像进行裁切，输出最终结果。

Description

一种提取交通场景图像中交通标志牌区域方法及系统

技术领域

本发明涉及图像视觉的技术领域，特别是一种提取交通场景图像中交通标志牌区域方法及系统。

背景技术

交通标志牌的检测和识别是智能驾驶和无人驾驶系统中的重要组成部分，目前检测方法多是基于深度学习的，这些方法在公开的数据集上取得了很好的效果，但是在实际的环境中还是存储各种问题。

公开号为CN107679508A的发明专利申请公开了一种交通标志检测识别方法、装置和系统，综合使用SVF颜色空间与HSV颜色空间分割待识别交通场景图像中标志牌区域与非标志牌区域，能够有效排除干扰色的影响；通过对颜色通道图像进行形状检测与定位，能够实现对圆形、三角形及矩形等多种形状标志牌的检测，以实现标志牌定位，增加了识别种类；最后基于图像特征提取算法提取标志牌图像特征，并送入训练好的预设分类器进行标志牌的分类判别。该方法的缺点是经过对颜色区域的的筛选，再对标志牌进行检测，在检测的速度上会降低；另外上述专利只利用了颜色信息，没有利用标志牌在图像中出现的位置的分布特性，会导致筛选后的区域过大，需要过多的计算时间。

发明内容

为了解决上述的技术问题，本发明提出的提取交通场景图像中交通标志牌区域方法及系统，能够解决交通场景图像的预处理，确定交通标志牌在图像中的区域。

本发明的第一目的是提供一种提取交通场景图像中交通标志牌区域方法，包括对输入图像进行尺寸调整，还包括以下步骤：

步骤1：对调整后的图像进行颜色区域筛选；

步骤2：对筛选后的图像进行轮廓提取；

步骤3：对完成所述轮廓提取的图像进行裁切，输出最终结果。

优选的是，所述尺寸调整包括以下子步骤：

步骤01：计算目标像素在原图像中的位置(sX,sY)；

步骤02：计算目标像素位置上的像素值f(i+u,j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。

在上述任一方案中优选的是，所述位置(sX,sY)的计算公式为：

sX＝(dX+0.5)×(sWidth/dwidth)-0.5

sY＝(dY+0.5)×(sHeight/dHeight)-0.5

其中，(dX,dY)为目标像素的位置坐标，sEidth为源图像的宽度，sHeigh为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。

在上述任一方案中优选的是，所述像素值f(i+u,j+v)的计算公式为：

f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)

其中，f(i,j)为源图像中(i,j)位置上的像素值，f(i,j+1)为源图像中(i,j+1)位置上的像素值，f(i+1,j)为源图像位置(i+1,j)上的像素值，f(i+1,j+1)为源图像位置(i+1,j+1)上的像素值。

在上述任一方案中优选的是，所述步骤1包括以下子步骤：

步骤11：对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间；步骤12：通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内。

在上述任一方案中优选的是，所述颜色空间的转换过程如下：

V＝C_max

其中，C_max＝max(R,G,B)，C_min＝min(R,G,B)，Δ＝C_max-C_min，mmax()、min()分别为取最大、最小值函数。

在上述任一方案中优选的是，所述四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。

在上述任一方案中优选的是，所述步骤2包括以下子步骤：

步骤21：采用大津法将灰度化的图片转换为二值图片，二值化公式为

其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值；

步骤22：通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。

在上述任一方案中优选的是，所述大津法为对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω₀,其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁,其平均灰度为μ₁。图像的总平均灰度记为μ,类间方差记为g,图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N₀,像素灰度大于阈值T的像素个数记作N₁,则有：

N₀+N₁＝M×N、ω₀+ω₁＝1、μ＝ω₀×μ₀+ω₁×μ₁……和g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)²……，合并得到等价公式g＝ω₀×ω₁(μ₀-μ₁)²……。

在上述任一方案中优选的是，所述步骤3包括以下子步骤:

步骤31：将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值；

步骤32：对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSum_n；

步骤33：对eSum_n按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidth_n和sheight_n；

步骤34：对所述提取的区域在原始裁切区域的基础上进行放大处理。

在上述任一方案中优选的是，所述平均值eSum_n的计算公式为

其中，eSum_n表示划分的m×m区域中第n块区域像素的加权平均值,aW_n表示第n块的权重，r_n表示第n个分块，sumr_n表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝m×m。

在上述任一方案中优选的是，所述放大处理的方法的公式为：

width_n＝swidth_n+swidth_n×r

height_n＝sheight_n+sheight_n×r

其中，width_n为最后获取的感兴趣区域的宽度，height_n为最后获取的感兴趣区域的高度，r为放大阈值。

本发明的第二目的是提供一种提取交通场景图像中交通标志牌区域系统，包括用于对输入图像进行尺寸调整的尺寸调整模块，还包括以下模块：

颜色区域筛选模块：用于对调整后的图像进行颜色区域筛选；

轮廓提取模块：用于对筛选后的图像进行轮廓提取；

图像裁切模块：对完成所述轮廓提取的图像进行裁切，输出最终结果。

优选的是，所述尺寸调整包括以下子步骤：

步骤01：计算目标像素在原图像中的位置(sX,sY)；

步骤02：计算目标像素位置上的像素值f(i+u,j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。

在上述任一方案中优选的是，所述位置(sX,sY)的计算公式为：

sX＝(dX+0.5)×(sWidth/dwidth)-0.5

sY＝(dY+0.5)×(sHeight/dHeight)-0.5

其中，(dX,dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。

在上述任一方案中优选的是，所述像素值f(i+u,j+v)的计算公式为：

f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)

其中，f(i,j)为源图像中(i,j)位置上的像素值，f(i,j+1)为源图像中(i,j+1)位置上的像素值，f(i+1,j)为源图像位置(i+1,j)上的像素值，f(i+1,j+1)为源图像位置(i+1,j+1)上的像素值。

在上述任一方案中优选的是，所述颜色区域筛选模块包括以下子模块：颜色空间转换子模块：用于对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间；

判断子模块：用于通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内。

在上述任一方案中优选的是，所述颜色空间的转换过程如下：

V＝C_max

其中，C_max＝max(R,G,B)，C_min＝min(R,G,B)，Δ＝C_max-C_min，mmax()、min()分别为取最大、最小值函数。

在上述任一方案中优选的是，所述四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。

在上述任一方案中优选的是，所述轮廓提取模块包括以下子模块：

图片转换子模块：用于采用大津法将灰度化的图片转换为二值图片，二值化公式为

其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值；

轮廓形状判断子模块：通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。

在上述任一方案中优选的是，所述大津法为对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω₀,其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁,其平均灰度为μ₁。图像的总平均灰度记为μ,类间方差记为g,图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N₀,像素灰度大于阈值T的像素个数记作N₁,则有：

N₀+N₁＝M×N、ω₀+ω₁＝1、μ＝ω₀×μ₀+ω₁×μ₁……和g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)²……，合并得到等价公式g＝ω₀×ω₁(μ₀-μ₁)²……。

在上述任一方案中优选的是，所述图像裁切模块包括以下子模块：

平分子模块：用于将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值；

计算子模块：用于对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSum_n；

排列子模块：用于对eSum_n按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidth_n和Sheight_n；

放大子模块：用于对所述提取的区域在原始裁切区域的基础上进行放大处理。

在上述任一方案中优选的是，所述平均值eSum_n的计算公式为

其中，eSum_n表示划分的m×m区域中第n块区域像素的加权平均值,aW_n表示第n块的权重，r_n表示第n个分块，sumr_n表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝m×m。

在上述任一方案中优选的是，所述放大处理的方法的公式为：

width_n＝swidth_n+swidth_n×r

height_n＝sheight_n+sheight_n×r

其中，width_n为最后获取的感兴趣区域的宽度，height_n为最后获取的感兴趣区域的高度，r为放大阈值。

本发明提出了一种提取交通场景图像中交通标志牌区域方法及系统，可以减少处理时间，并能够提升精度。

附图说明

图1为按照本发明的提取交通场景图像中交通标志牌区域方法的一优选实施例的流程图。

图2为按照本发明的提取交通场景图像中交通标志牌区域系统的一优选实施例的模块图。

图3为按照本发明的提取交通场景图像中交通标志牌区域方法的另一优选实施例的整体流程图。

图4为按照本发明的提取交通场景图像中交通标志牌区域方法的道格拉斯-普克算法的一优选实施例的示意图。

图5为按照本发明的提取交通场景图像中交通标志牌区域方法的图形平分的一优选实施例的示意图。

图6为按照本发明的提取交通场景图像中交通标志牌区域方法的区域放大的一优选实施例的示意图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，执行步骤100，对输入图像进行尺寸调整。尺寸调整包括以下子步骤：执行步骤101，计算目标像素在原图像中的位置(sX,sY)，计算公式为：

sX＝(dX+0.5)×(sWidth/dwidth)-0.5

sY＝(dY+0.5)×(sHeight/dHeight)-0.5

其中，(dX,dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。执行步骤102，计算目标像素位置上的像素值f(i+u,j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。像素值f(i+u,j+v)的计算公式为：

f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)

其中，f(i,j)为源图像中(i,j)位置上的像素值，f(i,j+1)为源图像中(i,j+1)位置上的像素值，f(i+1,j)为源图像位置(i+1,j)上的像素值，f(i+1,j+1)为源图像位置(i+1,j+1)上的像素值。

执行步骤110，对调整后的图像进行颜色区域筛选。在本步骤中，执行步骤111，对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间.颜色空间的转换过程如下：

V＝C_max

其中，C_max＝max(R,G,B)，C_min＝min(R,G,B)，Δ＝C_max-C_min，mmax()、min()分别为取最大、最小值函数。执行步骤112，通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内，在范围内则保留，不在范围内的置为0。四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。

执行步骤120，对筛选后的图像进行轮廓提取。在本步骤中，执行步骤121，采用大津法将灰度化的图片转换为二值图片，二值化公式为

其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值。大津法为对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω₀,其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁,其平均灰度为μ₁。图像的总平均灰度记为μ,类间方差记为g,图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N₀,像素灰度大于阈值T的像素个数记作N₁,则有：

N₀+N₁＝M×N、ω₀+ω₁＝1、μ＝ω₀×μ₀+ω₁×μ₁……和g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)²……，合并得到等价公式g＝ω₀×ω₁(μ₀-μ1)2……。执行步骤122，通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。

执行步骤130，对完成所述轮廓提取的图像进行裁切，输出最终结果。在本步骤中，执行步骤131，将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值。执行步骤132，对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSum_n。平均值eSum_n的计算公式为

其中，eSum_n表示划分的m×m区域中第n块区域像素的加权平均值,aW_n表示第n块的权重，r_n表示第n个分块，sumr_n表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝m×m。执行步骤133，对eSum_n按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidth_n和sheigh_n。执行步骤134，对所述提取的区域在原始裁切区域的基础上进行放大处理。放大处理的方法的公式为：

width_n＝swidth_n+swidth_n×r

height_n＝sheight_n+sheight_n×r

其中，width_n为最后获取的感兴趣区域的宽度，height_n为最后获取的感兴趣区域的高度，r为放大阈值。

实施例二

如图2所示，一种提取交通场景图像中交通标志牌区域系统包括尺寸调整模块200、颜色区域筛选模块210、轮廓提取模块220和图像裁切模块230。

尺寸调整模块200：用于对输入图像进行尺寸调整。尺寸调整包括以下子步骤：步骤01：计算目标像素在原图像中的位置(sX，sY)，计算公式为：

sX＝(dX+0.5)×(sWidth/dwidth)-0.5

sY＝(dY+0.5)×(sHeight/dHeight)-0.5

其中，(dX，dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。步骤02：计算目标像素位置上的像素值f(i+u，j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。像素值f(i+u，j+v)的计算公式为：

f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)

其中，f(i，j)为源图像中(i，j)位置上的像素值，f(i，j+1)为源图像中(i，j+1)位置上的像素值，f(i+1，j)为源图像位置(i+1，j)上的像素值，f(i+1，j+1)为源图像位置(i+1，j+1)上的像素值。

颜色区域筛选模块210：用于对调整后的图像进行颜色区域筛选。颜色区域筛选模块210包括以下子模块：

颜色空间转换子模块211：用于对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间。颜色空间的转换过程如下：

V＝C_max

其中，C_max＝max(R,G,B)，C_min＝min(R,G,B)，Δ＝C_max-C_min，mmax()、min()分别为取最大、最小值函数。判断子模块212：用于通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内。四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。

轮廓提取模块220：用于对筛选后的图像进行轮廓提取。轮廓提取模块220包括以下子模块：图片转换子模块221：用于采用大津法将灰度化的图片转换为二值图片，二值化公式为

其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值.大津法为对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω₀,其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁,其平均灰度为μ₁。图像的总平均灰度记为μ,类间方差记为g,图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N₀,像素灰度大于阈值T的像素个数记作N₁,则有：

N₀+N₁＝M×N、ω₀+ω₁＝1、μ＝ω₀×μ₀+ω₁×μ₁……和g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)²……，合并得到等价公式g＝ω₀×ω₁(μ₀-μ₁)²……。轮廓形状判断子模块222：通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。

图像裁切模块230：对完成所述轮廓提取的图像进行裁切，输出最终结果。图像裁切模块230包括以下子模块：

平分子模块231：用于将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值。

计算子模块232：用于对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSum_n。平均值eSum_n的计算公式为

其中，eSum_n表示划分的m×m区域中第n块区域像素的加权平均值,aW_n表示第n块的权重，r_n表示第n个分块，sumr_n表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝1，2,3，…，m×m。

排列子模块233：用于对eSum_n按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidth_n和sheight_n。

放大子模块234：用于对所述提取的区域在原始裁切区域的基础上进行放大处理。放大处理的方法的公式为：

width_n＝swidth_n+swidth_n×r

height_n＝sheight_n+sheight_n×r其中，width_n为最后获取的感兴趣区域的宽度，height_n为最后获取的感兴趣区域的高度，r为放大阈值。

实施例三

本发明主要解决交通场景图像的预处理，通过本专利中所提方法的处理，能够确定交通标志牌在图像中的区域，这样可以减少处理时间，并能够提升精度。整体流程如图3所示。

一、输入图像尺寸调整：

为了加快算法速度，针对1080P(1920*1080)分辨率的图像进行等比例压缩处理，本专利中为了提高处理速度，将原始的输入图片压缩至320*180像素，同时能够保证得到较好的处理效果。

计算过程：

首先计算目标像素在源图像中的位置(sX，sY)，

sX＝(dX+0.5)×(sWidth/dWidth)-0.5

sY＝(dY+0.5)×(sHeight/dHeight)-0.5

式中(dX，dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度，这里的sX和sY一般是浮点数，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。按照下面的公式计算目标像素位置上的像素值，

f(i+u，j+v)

＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)

式中f(i，j)为源图像中(i，j)位置上的像素值，f(i，j+1)为源图像中(i，j+1)位置上的像素值，f(i+1，j)为源图像位置(i+1，j)上的像素值，f(i+1，j+1)为源图像位置(i+1，j+1)上的像素值。

二、颜色区域筛选：

对于调整大小后的图像，这一步要提取出图像中的交通信号的颜色区域，首先对于图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间。转换的过程如下：

V＝C_max

其中：C_max＝max(R,G,B)，C_min＝min(R,G,B)，Δ＝C_max-C_min，

max()、min()为取最大、最小值函数。

H,S,V为HSV颜色中对应的三个值。HSV颜色模型中三个值中S、V映射为0-255区间内的数字，H映射为0-180区间内的数字。对于交通标志牌而言，主要的颜色包括红色、蓝色和橙色。

红色HSV范围为：(130，10，85)-(180，232，200)。

红色HSV范围为：(0，50，70)-(10，255，255)。

蓝色HSV范围为：(100，145，70)-(115，250，255)。

橙色HSV范围为：(10，65，100)-(20，220，195)。

确定颜色范围以后，通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在上述四个范围之内，在范围内则保留，不在范围内的置为0。由此可以从图片中提取出所有我们需要的颜色。

三、形状区域筛选：

二值化：通过上述步骤的处理，提取出图像HSV颜色空间的V分量，即灰度图像，将灰度化的图片转换为二值图片，采取的方法如下：

大津法：它是按图像的灰度特性，将图像分成背景和目标两部分。背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。对于图像I(x，y)，前景(即目标)和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为ω₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁，其平均灰度为μ₁。图像的总平均灰度记为μ，类间方差记为g。假设图像的背景较暗，并且图像的大小为M×N，图像中像素的灰度值小于阈值T的像素个数记作N₀，像素灰度大于阈值T的像素个数记作N₁，则有：

N₀+N₁＝M×N......(3)

ω₀+ω₁＝1......(4)

μ＝ω₀×μ₀+ω₁×μ₁......(5)

g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)²......(6)

将式(5)代入式(6)，得到等价公式：

g＝ω₀×ω₁(μ₀-μ₁)²......(7)

采用遍历的方法得到使类间方差最大的阈值T，该T作为二值化的阈值可使得不同环境下的图片产生较为良好的二值化效果。

二值化公式如下：

即如果灰度图中(x，y)点处的灰度值大于T，则(x，y)点设置为maxval(该专利中值为255)，否则，(x，y)点设置为0。

寻找形状轮廓：采用多边形拟合来判断轮廓形状。approxPolyDP()函数主要功能是把一个连续光滑曲线折线化，对图像轮廓点进行多边形拟合。

采用是道格拉斯-普克算法(Douglas-Peucker)来实现。

算法描述如下：

(1)在曲线首尾两点A，B之间连接一条直线AB，该直线为曲线的弦；

(2)得到曲线上离该直线段距离最大的点C，计算其与AB的距离d；

(3)比较该距离与预先给定的阈值的大小，如果小于阈值，则该直线段作为曲线的近似，该段曲线处理完毕。

(4)如果距离大于阈值，则用C将曲线分为两段AC和BC，并分别对两段取信进行1～3步的处理。

(5)当所有曲线都处理完毕时，依次连接各个分割点形成的折线，即可以作为曲线的近似。

如图4所示，算法执行完毕后会返回所拟合的顶点个数，通过顶点个数可以判断轮廓的形状，如3个顶点为三角形。

通过该方法可以来确定二值图像中的所有形状。所需要寻找的形状为三角形(警告标志形状)以及边数大于等于10的多边形(包含圆形，即指示标志和禁令标志的形状)。

排除不可能轮廓：正常的道路交通状况下所取得的图片中，交通标志所占有的面积有一定的大小，通常来说在一定的阈值范围内，由此可以用来排除一些不可能的轮廓区域，提高精确度。本专利中所采取的面积阈值为图像面积的3％。

四、计算加权平均值：

对于完成轮廓提取的图片，还需要进一步裁切出面积更小的ROI。本专利中通过对提取完轮廓的图片平分为4×4等份，并根据实际情况分别给予各自区域的权重，再分别计算每等份的像素平均值，最终得到的结果越高说明该份中的有效像素越多，就越有可能成为ROI感兴趣区域。

分成4×4等分的示例如图5所示：

由于现实生活中标志牌通常出现在上方、中央，所以对于一张图片的4×4等份来说，越靠近上方、中央出现标志牌的可能性越大，所以对这4×4等份可以赋予不同的权重来进一步约束ROI出现的区域。按照上图编号顺序，该专利分别赋予权重为：

1：0.3，2：0.3，3：0.3，4：0.3，5：1.0，6：2.0，7：2.0，8：1.0，9：0.2，10：0.5，11：0.5，12：0.2,13：0.1，14：0.1，15：0.1，16：0.1

对每一等分的二值化数组计算行列平均值，并乘上各区域权重，可以得到平均值，即有效像素的量级。

eSum_n表示划分的4×4区域中第n块区域像素的加权平均值,aW_n表示第n块的权重，r_n表示第n个分块，sumr_n表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝1,2,…16。

对于计算得到的eSum_n，按照值从高到低排序，取前1/5的分块作为感兴趣区域。宽度和高度分别为swidth_n和sheight_n：对于选取的分块如果eSum为零，则去除掉。

为了防止出现切割掉标志牌的现象，最后的提取结果，会将区域进行放大处理，例如我们取5号位置区域作为结果，则会在原始裁切区域的基础上进行放大裁切，如图6所示：

width_n＝swidth_n+swidth_n×1/4

height_n＝sheight_n+sheight_n×1/4

width_n为最后获取的感兴趣区域的宽度，height_n为最后获取的感兴趣区域的高度，

则图中标注“*”的区域才是所裁切的结果，具体放大数值为长和宽各放大1/4。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种提取交通场景图像中交通标志牌区域方法，包括对输入图像进行尺寸调整，其特征在于，还包括以下步骤：

步骤1：对调整后的图像进行颜色区域筛选；

步骤2：对筛选后的图像进行轮廓提取；

步骤3：对完成所述轮廓提取的图像进行裁切，输出最终结果。

2.如权利要求1所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述尺寸调整包括以下子步骤：

步骤01：计算目标像素在原图像中的位置(sX，sY)；

步骤02：计算目标像素位置上的像素值f(i+u，j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。

3.如权利要求2所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述位置(sX，sY)的计算公式为：

sX＝(dX+0.5)×(sWidth/dwidth)-0.5

sY＝(dY+0.5)×(sHeight/dHeight)-0.5

其中，(dX，dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。

4.如权利要求3所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述像素值f(i+u，j+v)的计算公式为：

f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)

其中，f(i，j)为源图像中(i，j)位置上的像素值，f(i，j+1)为源图像中(i，j+1)位置上的像素值，f(i+1，j)为源图像位置(i+1，j)上的像素值，f(i+1，j+1)为源图像位置(i+1，j+1)上的像素值。

5.如权利要求1所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述步骤1包括以下子步骤：

步骤11：对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间；

步骤12：通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内。

6.如权利要求5所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述颜色空间的转换过程如下：

V＝C_max

其中，C_max＝max(R，G，B)，C_min＝min(R，G，B)，Δ＝C_max-C_min，mmax()、min()分别为取最大、最小值函数。

7.如权利要求5所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。

8.如权利要求1所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述步骤2包括以下子步骤：

步骤21：采用大津法将灰度化的图片转换为二值图片，二值化公式为

其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值；

步骤22：通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。

9.如权利要求8所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述大津法为对于图像I(x，y)，前景和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为ω₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁，其平均灰度为μ₁。图像的总平均灰度记为μ，类间方差记为g，图像的大小为M×N，图像中像素的灰度值小于阈值T的像素个数记作N₀，像素灰度大于阈值T的像素个数记作N₁，则有：

N₀+N₁＝M×N、ω₀+ω₁＝1、μ＝ω₀×μ₀+ω₁×μ₁……和g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)²……，合并得到等价公式g＝ω₀×ω₁(μ₀-μ₁)²……。

10.一种提取交通场景图像中交通标志牌区域系统，包括用于对输入图像进行尺寸调整的尺寸调整模块，其特征在于，还包括以下模块：

颜色区域筛选模块：用于对调整后的图像进行颜色区域筛选；

轮廓提取模块：用于对筛选后的图像进行轮廓提取；

图像裁切模块：对完成所述轮廓提取的图像进行裁切，输出最终结果。

Images