CN111666811B - 一种提取交通场景图像中交通标志牌区域方法及系统 - Google Patents

一种提取交通场景图像中交通标志牌区域方法及系统 Download PDF

Info

Publication number
CN111666811B
CN111666811B CN202010323271.6A CN202010323271A CN111666811B CN 111666811 B CN111666811 B CN 111666811B CN 202010323271 A CN202010323271 A CN 202010323271A CN 111666811 B CN111666811 B CN 111666811B
Authority
CN
China
Prior art keywords
image
extracting
traffic
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010323271.6A
Other languages
English (en)
Other versions
CN111666811A (zh
Inventor
潘卫国
付恩
潘峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Union University
Original Assignee
Beijing Union University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Union University filed Critical Beijing Union University
Priority to CN202010323271.6A priority Critical patent/CN111666811B/zh
Publication of CN111666811A publication Critical patent/CN111666811A/zh
Application granted granted Critical
Publication of CN111666811B publication Critical patent/CN111666811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种提取交通场景图像中交通标志牌区域方法及系统，其中方法包括对输入图像进行尺寸调整，还包括以下步骤：对调整后的图像进行颜色区域筛选；对筛选后的图像进行轮廓提取；对完成所述轮廓提取的图像进行裁切，输出最终结果。

Description

一种提取交通场景图像中交通标志牌区域方法及系统
技术领域
本发明涉及图像视觉的技术领域，特别是一种提取交通场景图像中交通标志牌区域方法及系统。
背景技术
交通标志牌的检测和识别是智能驾驶和无人驾驶系统中的重要组成部分，目前检测方法多是基于深度学习的，这些方法在公开的数据集上取得了很好的效果，但是在实际的环境中还是存储各种问题。
公开号为CN107679508A的发明专利申请公开了一种交通标志检测识别方法、装置和系统，综合使用SVF颜色空间与HSV颜色空间分割待识别交通场景图像中标志牌区域与非标志牌区域，能够有效排除干扰色的影响；通过对颜色通道图像进行形状检测与定位，能够实现对圆形、三角形及矩形等多种形状标志牌的检测，以实现标志牌定位，增加了识别种类；最后基于图像特征提取算法提取标志牌图像特征，并送入训练好的预设分类器进行标志牌的分类判别。该方法的缺点是经过对颜色区域的的筛选，再对标志牌进行检测，在检测的速度上会降低；另外上述专利只利用了颜色信息，没有利用标志牌在图像中出现的位置的分布特性，会导致筛选后的区域过大，需要过多的计算时间。
发明内容
为了解决上述的技术问题，本发明提出的提取交通场景图像中交通标志牌区域方法及系统，能够解决交通场景图像的预处理，确定交通标志牌在图像中的区域。
本发明的第一目的是提供一种提取交通场景图像中交通标志牌区域方法，包括对输入图像进行尺寸调整，还包括以下步骤：
步骤1：对调整后的图像进行颜色区域筛选；
步骤2：对筛选后的图像进行轮廓提取；
步骤3：对完成所述轮廓提取的图像进行裁切，输出最终结果。
优选的是，所述尺寸调整包括以下子步骤：
步骤01：计算目标像素在原图像中的位置(sX,sY)；
步骤02：计算目标像素位置上的像素值f(i+u,j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。
在上述任一方案中优选的是，所述位置(sX,sY)的计算公式为：
sX＝(dX+0.5)×(sWidth/dwidth)-0.5
sY＝(dY+0.5)×(sHeight/dHeight)-0.5
其中，(dX,dY)为目标像素的位置坐标，sEidth为源图像的宽度，sHeigh为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。
在上述任一方案中优选的是，所述像素值f(i+u,j+v)的计算公式为：
f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)
其中，f(i,j)为源图像中(i,j)位置上的像素值，f(i,j+1)为源图像中(i,j+1)位置上的像素值，f(i+1,j)为源图像位置(i+1,j)上的像素值，f(i+1,j+1)为源图像位置(i+1,j+1)上的像素值。
在上述任一方案中优选的是，所述步骤1包括以下子步骤：
步骤11：对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间；步骤12：通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内。
在上述任一方案中优选的是，所述颜色空间的转换过程如下：
V＝Cmax
其中，Cmax＝max(R,G,B)，Cmin＝min(R,G,B)，Δ＝Cmax-Cmin，mmax()、min()分别为取最大、最小值函数。
在上述任一方案中优选的是，所述四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。
在上述任一方案中优选的是，所述步骤2包括以下子步骤：
步骤21：采用大津法将灰度化的图片转换为二值图片，二值化公式为其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值；
步骤22：通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。
在上述任一方案中优选的是，所述大津法为对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω0,其平均灰度μ0；背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1。图像的总平均灰度记为μ,类间方差记为g,图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于阈值T的像素个数记作N1,则有：N0+N1＝M×N、ω0+ω1＝1、μ＝ω0×μ0+ω1×μ1……和g＝ω0×(μ0-μ)2+ω1×(μ1-μ)2……，合并得到等价公式g＝ω0×ω1(μ0-μ1)2……。
在上述任一方案中优选的是，所述步骤3包括以下子步骤:
步骤31：将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值；
步骤32：对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSumn；
步骤33：对eSumn按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidthn和sheightn；
步骤34：对所述提取的区域在原始裁切区域的基础上进行放大处理。
在上述任一方案中优选的是，所述平均值eSumn的计算公式为
其中，eSumn表示划分的m×m区域中第n块区域像素的加权平均值,aWn表示第n块的权重，rn表示第n个分块，sumrn表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝m×m。
在上述任一方案中优选的是，所述放大处理的方法的公式为：
widthn＝swidthn+swidthn×r
heightn＝sheightn+sheightn×r
其中，widthn为最后获取的感兴趣区域的宽度，heightn为最后获取的感兴趣区域的高度，r为放大阈值。
本发明的第二目的是提供一种提取交通场景图像中交通标志牌区域系统，包括用于对输入图像进行尺寸调整的尺寸调整模块，还包括以下模块：
颜色区域筛选模块：用于对调整后的图像进行颜色区域筛选；
轮廓提取模块：用于对筛选后的图像进行轮廓提取；
图像裁切模块：对完成所述轮廓提取的图像进行裁切，输出最终结果。
优选的是，所述尺寸调整包括以下子步骤：
步骤01：计算目标像素在原图像中的位置(sX,sY)；
步骤02：计算目标像素位置上的像素值f(i+u,j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。
在上述任一方案中优选的是，所述位置(sX,sY)的计算公式为：
sX＝(dX+0.5)×(sWidth/dwidth)-0.5
sY＝(dY+0.5)×(sHeight/dHeight)-0.5
其中，(dX,dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。
在上述任一方案中优选的是，所述像素值f(i+u,j+v)的计算公式为：
f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)
其中，f(i,j)为源图像中(i,j)位置上的像素值，f(i,j+1)为源图像中(i,j+1)位置上的像素值，f(i+1,j)为源图像位置(i+1,j)上的像素值，f(i+1,j+1)为源图像位置(i+1,j+1)上的像素值。
在上述任一方案中优选的是，所述颜色区域筛选模块包括以下子模块：颜色空间转换子模块：用于对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间；
判断子模块：用于通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内。
在上述任一方案中优选的是，所述颜色空间的转换过程如下：
V＝Cmax
其中，Cmax＝max(R,G,B)，Cmin＝min(R,G,B)，Δ＝Cmax-Cmin，mmax()、min()分别为取最大、最小值函数。
在上述任一方案中优选的是，所述四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。
在上述任一方案中优选的是，所述轮廓提取模块包括以下子模块：
图片转换子模块：用于采用大津法将灰度化的图片转换为二值图片，二值化公式为其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值；
轮廓形状判断子模块：通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。
在上述任一方案中优选的是，所述大津法为对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω0,其平均灰度μ0；背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1。图像的总平均灰度记为μ,类间方差记为g,图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于阈值T的像素个数记作N1,则有：N0+N1＝M×N、ω0+ω1＝1、μ＝ω0×μ0+ω1×μ1……和g＝ω0×(μ0-μ)2+ω1×(μ1-μ)2……，合并得到等价公式g＝ω0×ω1(μ0-μ1)2……。
在上述任一方案中优选的是，所述图像裁切模块包括以下子模块：
平分子模块：用于将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值；
计算子模块：用于对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSumn；
排列子模块：用于对eSumn按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidthn和Sheightn；
放大子模块：用于对所述提取的区域在原始裁切区域的基础上进行放大处理。
在上述任一方案中优选的是，所述平均值eSumn的计算公式为
其中，eSumn表示划分的m×m区域中第n块区域像素的加权平均值,aWn表示第n块的权重，rn表示第n个分块，sumrn表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝m×m。
在上述任一方案中优选的是，所述放大处理的方法的公式为：
widthn＝swidthn+swidthn×r
heightn＝sheightn+sheightn×r
其中，widthn为最后获取的感兴趣区域的宽度，heightn为最后获取的感兴趣区域的高度，r为放大阈值。
本发明提出了一种提取交通场景图像中交通标志牌区域方法及系统，可以减少处理时间，并能够提升精度。
附图说明
图1为按照本发明的提取交通场景图像中交通标志牌区域方法的一优选实施例的流程图。
图2为按照本发明的提取交通场景图像中交通标志牌区域系统的一优选实施例的模块图。
图3为按照本发明的提取交通场景图像中交通标志牌区域方法的另一优选实施例的整体流程图。
图4为按照本发明的提取交通场景图像中交通标志牌区域方法的道格拉斯-普克算法的一优选实施例的示意图。
图5为按照本发明的提取交通场景图像中交通标志牌区域方法的图形平分的一优选实施例的示意图。
图6为按照本发明的提取交通场景图像中交通标志牌区域方法的区域放大的一优选实施例的示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1所示，执行步骤100，对输入图像进行尺寸调整。尺寸调整包括以下子步骤：执行步骤101，计算目标像素在原图像中的位置(sX,sY)，计算公式为：
sX＝(dX+0.5)×(sWidth/dwidth)-0.5
sY＝(dY+0.5)×(sHeight/dHeight)-0.5
其中，(dX,dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。执行步骤102，计算目标像素位置上的像素值f(i+u,j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。像素值f(i+u,j+v)的计算公式为：
f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)
其中，f(i,j)为源图像中(i,j)位置上的像素值，f(i,j+1)为源图像中(i,j+1)位置上的像素值，f(i+1,j)为源图像位置(i+1,j)上的像素值，f(i+1,j+1)为源图像位置(i+1,j+1)上的像素值。
执行步骤110，对调整后的图像进行颜色区域筛选。在本步骤中，执行步骤111，对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间.颜色空间的转换过程如下：
V＝Cmax
其中，Cmax＝max(R,G,B)，Cmin＝min(R,G,B)，Δ＝Cmax-Cmin，mmax()、min()分别为取最大、最小值函数。执行步骤112，通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内，在范围内则保留，不在范围内的置为0。四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。
执行步骤120，对筛选后的图像进行轮廓提取。在本步骤中，执行步骤121，采用大津法将灰度化的图片转换为二值图片，二值化公式为 其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值。大津法为对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω0,其平均灰度μ0；背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1。图像的总平均灰度记为μ,类间方差记为g,图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于阈值T的像素个数记作N1,则有：/>N0+N1＝M×N、ω0+ω1＝1、μ＝ω0×μ0+ω1×μ1……和g＝ω0×(μ0-μ)2+ω1×(μ1-μ)2……，合并得到等价公式g＝ω0×ω1(μ0-μ1)2……。执行步骤122，通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。
执行步骤130，对完成所述轮廓提取的图像进行裁切，输出最终结果。在本步骤中，执行步骤131，将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值。执行步骤132，对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSumn。平均值eSumn的计算公式为
其中，eSumn表示划分的m×m区域中第n块区域像素的加权平均值,aWn表示第n块的权重，rn表示第n个分块，sumrn表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝m×m。执行步骤133，对eSumn按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidthn和sheighn。执行步骤134，对所述提取的区域在原始裁切区域的基础上进行放大处理。放大处理的方法的公式为：
widthn＝swidthn+swidthn×r
heightn＝sheightn+sheightn×r
其中，widthn为最后获取的感兴趣区域的宽度，heightn为最后获取的感兴趣区域的高度，r为放大阈值。
实施例二
如图2所示，一种提取交通场景图像中交通标志牌区域系统包括尺寸调整模块200、颜色区域筛选模块210、轮廓提取模块220和图像裁切模块230。
尺寸调整模块200：用于对输入图像进行尺寸调整。尺寸调整包括以下子步骤：步骤01：计算目标像素在原图像中的位置(sX，sY)，计算公式为：
sX＝(dX+0.5)×(sWidth/dwidth)-0.5
sY＝(dY+0.5)×(sHeight/dHeight)-0.5
其中，(dX，dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。步骤02：计算目标像素位置上的像素值f(i+u，j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。像素值f(i+u，j+v)的计算公式为：
f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)
其中，f(i，j)为源图像中(i，j)位置上的像素值，f(i，j+1)为源图像中(i，j+1)位置上的像素值，f(i+1，j)为源图像位置(i+1，j)上的像素值，f(i+1，j+1)为源图像位置(i+1，j+1)上的像素值。
颜色区域筛选模块210：用于对调整后的图像进行颜色区域筛选。颜色区域筛选模块210包括以下子模块：
颜色空间转换子模块211：用于对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间。颜色空间的转换过程如下：
V＝Cmax
其中，Cmax＝max(R,G,B)，Cmin＝min(R,G,B)，Δ＝Cmax-Cmin，mmax()、min()分别为取最大、最小值函数。判断子模块212：用于通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内。四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。
轮廓提取模块220：用于对筛选后的图像进行轮廓提取。轮廓提取模块220包括以下子模块：图片转换子模块221：用于采用大津法将灰度化的图片转换为二值图片，二值化公式为其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值.大津法为对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω0,其平均灰度μ0；背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1。图像的总平均灰度记为μ,类间方差记为g,图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于阈值T的像素个数记作N1,则有：/>N0+N1＝M×N、ω0+ω1＝1、μ＝ω0×μ0+ω1×μ1……和g＝ω0×(μ0-μ)2+ω1×(μ1-μ)2……，合并得到等价公式g＝ω0×ω1(μ0-μ1)2……。轮廓形状判断子模块222：通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。
图像裁切模块230：对完成所述轮廓提取的图像进行裁切，输出最终结果。图像裁切模块230包括以下子模块：
平分子模块231：用于将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值。
计算子模块232：用于对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSumn。平均值eSumn的计算公式为
其中，eSumn表示划分的m×m区域中第n块区域像素的加权平均值,aWn表示第n块的权重，rn表示第n个分块，sumrn表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝1，2,3，…，m×m。
排列子模块233：用于对eSumn按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidthn和sheightn。
放大子模块234：用于对所述提取的区域在原始裁切区域的基础上进行放大处理。放大处理的方法的公式为：
widthn＝swidthn+swidthn×r
heightn＝sheightn+sheightn×r其中，widthn为最后获取的感兴趣区域的宽度，heightn为最后获取的感兴趣区域的高度，r为放大阈值。
实施例三
本发明主要解决交通场景图像的预处理，通过本专利中所提方法的处理，能够确定交通标志牌在图像中的区域，这样可以减少处理时间，并能够提升精度。整体流程如图3所示。
一、输入图像尺寸调整：
为了加快算法速度，针对1080P(1920*1080)分辨率的图像进行等比例压缩处理，本专利中为了提高处理速度，将原始的输入图片压缩至320*180像素，同时能够保证得到较好的处理效果。
计算过程：
首先计算目标像素在源图像中的位置(sX，sY)，
sX＝(dX+0.5)×(sWidth/dWidth)-0.5
sY＝(dY+0.5)×(sHeight/dHeight)-0.5
式中(dX，dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度，这里的sX和sY一般是浮点数，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。按照下面的公式计算目标像素位置上的像素值，
f(i+u，j+v)
＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)
式中f(i，j)为源图像中(i，j)位置上的像素值，f(i，j+1)为源图像中(i，j+1)位置上的像素值，f(i+1，j)为源图像位置(i+1，j)上的像素值，f(i+1，j+1)为源图像位置(i+1，j+1)上的像素值。
二、颜色区域筛选：
对于调整大小后的图像，这一步要提取出图像中的交通信号的颜色区域，首先对于图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间。转换的过程如下：
V＝Cmax
其中：Cmax＝max(R,G,B)，Cmin＝min(R,G,B)，Δ＝Cmax-Cmin，
max()、min()为取最大、最小值函数。
H,S,V为HSV颜色中对应的三个值。HSV颜色模型中三个值中S、V映射为0-255区间内的数字，H映射为0-180区间内的数字。对于交通标志牌而言，主要的颜色包括红色、蓝色和橙色。
红色HSV范围为：(130，10，85)-(180，232，200)。
红色HSV范围为：(0，50，70)-(10，255，255)。
蓝色HSV范围为：(100，145，70)-(115，250，255)。
橙色HSV范围为：(10，65，100)-(20，220，195)。
确定颜色范围以后，通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在上述四个范围之内，在范围内则保留，不在范围内的置为0。由此可以从图片中提取出所有我们需要的颜色。
三、形状区域筛选：
二值化：通过上述步骤的处理，提取出图像HSV颜色空间的V分量，即灰度图像，将灰度化的图片转换为二值图片，采取的方法如下：
大津法：它是按图像的灰度特性，将图像分成背景和目标两部分。背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。对于图像I(x，y)，前景(即目标)和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为ω0，其平均灰度μ0；背景像素点数占整幅图像的比例为ω1，其平均灰度为μ1。图像的总平均灰度记为μ，类间方差记为g。假设图像的背景较暗，并且图像的大小为M×N，图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则有：
N0+N1＝M×N......(3)
ω0+ω1＝1......(4)
μ＝ω0×μ0+ω1×μ1......(5)
g＝ω0×(μ0-μ)2+ω1×(μ1-μ)2......(6)
将式(5)代入式(6)，得到等价公式：
g＝ω0×ω1(μ0-μ1)2......(7)
采用遍历的方法得到使类间方差最大的阈值T，该T作为二值化的阈值可使得不同环境下的图片产生较为良好的二值化效果。
二值化公式如下：
即如果灰度图中(x，y)点处的灰度值大于T，则(x，y)点设置为maxval(该专利中值为255)，否则，(x，y)点设置为0。
寻找形状轮廓：采用多边形拟合来判断轮廓形状。approxPolyDP()函数主要功能是把一个连续光滑曲线折线化，对图像轮廓点进行多边形拟合。
采用是道格拉斯-普克算法(Douglas-Peucker)来实现。
算法描述如下：
(1)在曲线首尾两点A，B之间连接一条直线AB，该直线为曲线的弦；
(2)得到曲线上离该直线段距离最大的点C，计算其与AB的距离d；
(3)比较该距离与预先给定的阈值的大小，如果小于阈值，则该直线段作为曲线的近似，该段曲线处理完毕。
(4)如果距离大于阈值，则用C将曲线分为两段AC和BC，并分别对两段取信进行1～3步的处理。
(5)当所有曲线都处理完毕时，依次连接各个分割点形成的折线，即可以作为曲线的近似。
如图4所示，算法执行完毕后会返回所拟合的顶点个数，通过顶点个数可以判断轮廓的形状，如3个顶点为三角形。
通过该方法可以来确定二值图像中的所有形状。所需要寻找的形状为三角形(警告标志形状)以及边数大于等于10的多边形(包含圆形，即指示标志和禁令标志的形状)。
排除不可能轮廓：正常的道路交通状况下所取得的图片中，交通标志所占有的面积有一定的大小，通常来说在一定的阈值范围内，由此可以用来排除一些不可能的轮廓区域，提高精确度。本专利中所采取的面积阈值为图像面积的3％。
四、计算加权平均值：
对于完成轮廓提取的图片，还需要进一步裁切出面积更小的ROI。本专利中通过对提取完轮廓的图片平分为4×4等份，并根据实际情况分别给予各自区域的权重，再分别计算每等份的像素平均值，最终得到的结果越高说明该份中的有效像素越多，就越有可能成为ROI感兴趣区域。
分成4×4等分的示例如图5所示：
由于现实生活中标志牌通常出现在上方、中央，所以对于一张图片的4×4等份来说，越靠近上方、中央出现标志牌的可能性越大，所以对这4×4等份可以赋予不同的权重来进一步约束ROI出现的区域。按照上图编号顺序，该专利分别赋予权重为：
1：0.3，2：0.3，3：0.3，4：0.3，5：1.0，6：2.0，7：2.0，8：1.0，9：0.2，10：0.5，11：0.5，12：0.2,13：0.1，14：0.1，15：0.1，16：0.1
对每一等分的二值化数组计算行列平均值，并乘上各区域权重，可以得到平均值，即有效像素的量级。
eSumn表示划分的4×4区域中第n块区域像素的加权平均值,aWn表示第n块的权重，rn表示第n个分块，sumrn表示第n个分块中的像素个数，b(i,j)表示第n个分块内(i,j)处的像素值，n＝1,2,…16。
对于计算得到的eSumn，按照值从高到低排序，取前1/5的分块作为感兴趣区域。宽度和高度分别为swidthn和sheightn：对于选取的分块如果eSum为零，则去除掉。
为了防止出现切割掉标志牌的现象，最后的提取结果，会将区域进行放大处理，例如我们取5号位置区域作为结果，则会在原始裁切区域的基础上进行放大裁切，如图6所示：
widthn＝swidthn+swidthn×1/4
heightn＝sheightn+sheightn×1/4
widthn为最后获取的感兴趣区域的宽度，heightn为最后获取的感兴趣区域的高度，
则图中标注“*”的区域才是所裁切的结果，具体放大数值为长和宽各放大1/4。
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种提取交通场景图像中交通标志牌区域方法，包括对输入图像进行尺寸调整，其特征在于，还包括以下步骤：
步骤1：对调整后的图像进行颜色区域筛选；
步骤2：对筛选后的图像进行轮廓提取；
步骤3：对完成所述轮廓提取的图像进行裁切，输出最终结果，包括以下子步骤：
步骤31：将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值；
步骤32：对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSumn；
步骤33：对sSumn按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidthn和sheightn；
步骤34：对提取的区域在原始裁切区域的基础上进行放大处理。
2.如权利要求1所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述尺寸调整包括以下子步骤：
步骤01：计算目标像素在原图像中的位置(sX,sY)；
步骤02：计算目标像素位置上的像素值f(i+u,j+v)，其中，i和j是浮点坐标sX和sY的整数部分，u和v是浮点坐标sX和sY的小数部分。
3.如权利要求2所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述位置(sX,sY)的计算公式为：
sX＝(dX+0.5)×(sWidth/dwidth)-0.5
sY＝(dY+0.5)×(sHeight/dHeight)-0.5
其中，(dX,dY)为目标像素的位置坐标，sWidth为源图像的宽度，sHeight为源图像的高度，dWidth为目标图像的宽度，dHeight为目标图像的高度。
4.如权利要求3所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述像素值f(i+u，j+v)的计算公式为：
f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)
其中，f(i,j)为源图像中(i,j)位置上的像素值，f(i,j+1)为源图像中(i,j+1)位置上的像素值，f(i+1,j)为源图像位置(i+1,j)上的像素值，f(i+1,j+1)为源图像位置(i+1,j+1)上的像素值。
5.如权利要求1所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述步骤1包括以下子步骤：
步骤11：对图像进行颜色空间的转换，从RGB颜色空间转换为HSV颜色空间；
步骤12：通过读取图片、遍历图片中所有像素点，判断像素点颜色是否在四个颜色范围之内。
6.如权利要求5所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述颜色空间的转换过程如下：
V＝Cmax
其中，Cmax＝max(R，G，B)，Cmin＝min(R，G，B)，Δ＝Cmax-Cmin，mmax()、min()分别为取最大、最小值函数。
7.如权利要求5所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述四个颜色范围包括范围为(130，10，85)-(180，232，200)的红色HSV范围、范围为(0，50，70)-(10，255，255)的红色HSV范围、范围为：(100，145，70)-(115，250，255)的蓝色HSV范围和范围为：(10，65，100)-(20，220，195)的橙色HSV。
8.如权利要求1所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述步骤2包括以下子步骤：
步骤21：采用大津法将灰度化的图片转换为二值图片，二值化公式为其中，T为采用遍历的方法得到使类间方差最大的阈值，maxval为固定阈值；
步骤22：通过道格拉斯-普克算法采用多边形拟合来判断轮廓形状。
9.如权利要求8所述的提取交通场景图像中交通标志牌区域方法，其特征在于，所述大津法为对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω0,其平均灰度μ0；背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1,图像的总平均灰度记为μ,类间方差记为g,图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于阈值T的像素个数记作B1,则有：N0+N1＝M×N、ω0+ω1＝1、μ＝ω0×μ0+ω1×μ1和g＝ω0×(μ0-μ)2+ω1×(μ1-μ)2，合并得到等价公式g＝ω0×ω1(μ0-μ1)2。
10.一种提取交通场景图像中交通标志牌区域系统，包括用于对输入图像进行尺寸调整的尺寸调整模块，其特征在于，还包括以下模块：颜色区域筛选模块：用于对调整后的图像进行颜色区域筛选；
轮廓提取模块：用于对筛选后的图像进行轮廓提取；
图像裁切模块：对完成所述轮廓提取的图像进行裁切，输出最终结果，包括以下子模块：
平分子模块：用于将完成所述轮廓提取的图像平分为m×m个等份，并确定每个等分的权重值；
计算子模块：用于对每一等份的二值化数组计算行列平均值，并乘上各区域权重得到平均值eSumn；
排列子模块：用于对eSumn按照从高到低排列，提取前q个分块作为感兴趣的区域，宽度和高度分别为swidthn和sheightn；
放大子模块：用于对提取的区域在原始裁切区域的基础上进行放大处理。
CN202010323271.6A 2020-04-22 2020-04-22 一种提取交通场景图像中交通标志牌区域方法及系统 Active CN111666811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010323271.6A CN111666811B (zh) 2020-04-22 2020-04-22 一种提取交通场景图像中交通标志牌区域方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010323271.6A CN111666811B (zh) 2020-04-22 2020-04-22 一种提取交通场景图像中交通标志牌区域方法及系统

Publications (2)

Publication Number Publication Date
CN111666811A CN111666811A (zh) 2020-09-15
CN111666811B true CN111666811B (zh) 2023-08-15

Family

ID=72382699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010323271.6A Active CN111666811B (zh) 2020-04-22 2020-04-22 一种提取交通场景图像中交通标志牌区域方法及系统

Country Status (1)

Country Link
CN (1) CN111666811B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241714B (zh) * 2020-10-22 2024-04-26 北京字跳网络技术有限公司 图像中指定区域的识别方法、装置、可读介质和电子设备
CN114863109B (zh) * 2022-05-25 2023-05-23 广东飞达交通工程有限公司 一种基于分割技术的交通场景各类目标与元素的精细识别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221657A (zh) * 2008-01-24 2008-07-16 杭州华三通信技术有限公司 一种图像缩放处理方法和装置
CN101365077A (zh) * 2008-09-28 2009-02-11 深圳华为通信技术有限公司 图像缩放方法及装置
CN105809138A (zh) * 2016-03-15 2016-07-27 武汉大学 一种基于分块识别的道路警告标志检测与识别方法
CN107135382A (zh) * 2017-03-02 2017-09-05 广东美电贝尔科技集团股份有限公司 一种基于yuv信号处理的图像快速缩放方法
CN107301405A (zh) * 2017-07-04 2017-10-27 上海应用技术大学 自然场景下的交通标志检测方法
CN107679508A (zh) * 2017-10-17 2018-02-09 广州汽车集团股份有限公司 交通标志检测识别方法、装置及系统
CN108256467A (zh) * 2018-01-15 2018-07-06 河北科技大学 一种基于视觉注意机制和几何特征的交通标志检测方法
CN109325506A (zh) * 2018-09-19 2019-02-12 中南民族大学 一种基于少数民族图像的标志识别方法及装置
CN109389167A (zh) * 2018-09-29 2019-02-26 武汉中海庭数据技术有限公司 交通标志识别方法及系统
CN109685064A (zh) * 2018-10-29 2019-04-26 黑龙江科技大学 一种改进型RoIAlign区域特征聚集算法
CN109816669A (zh) * 2019-01-30 2019-05-28 云南电网有限责任公司电力科学研究院 一种识别电力设备缺陷的改进Mask R-CNN图像实例分割方法
CN110348263A (zh) * 2019-06-24 2019-10-18 西安理工大学 一种基于图像识别的二维随机码图像识别与提取方法
CN110570434A (zh) * 2018-06-06 2019-12-13 杭州海康威视数字技术股份有限公司 一种图像分割标注方法和装置
CN110633635A (zh) * 2019-08-08 2019-12-31 北京联合大学 一种基于roi的交通标志牌实时检测方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221657A (zh) * 2008-01-24 2008-07-16 杭州华三通信技术有限公司 一种图像缩放处理方法和装置
CN101365077A (zh) * 2008-09-28 2009-02-11 深圳华为通信技术有限公司 图像缩放方法及装置
CN105809138A (zh) * 2016-03-15 2016-07-27 武汉大学 一种基于分块识别的道路警告标志检测与识别方法
CN107135382A (zh) * 2017-03-02 2017-09-05 广东美电贝尔科技集团股份有限公司 一种基于yuv信号处理的图像快速缩放方法
CN107301405A (zh) * 2017-07-04 2017-10-27 上海应用技术大学 自然场景下的交通标志检测方法
CN107679508A (zh) * 2017-10-17 2018-02-09 广州汽车集团股份有限公司 交通标志检测识别方法、装置及系统
CN108256467A (zh) * 2018-01-15 2018-07-06 河北科技大学 一种基于视觉注意机制和几何特征的交通标志检测方法
CN110570434A (zh) * 2018-06-06 2019-12-13 杭州海康威视数字技术股份有限公司 一种图像分割标注方法和装置
CN109325506A (zh) * 2018-09-19 2019-02-12 中南民族大学 一种基于少数民族图像的标志识别方法及装置
CN109389167A (zh) * 2018-09-29 2019-02-26 武汉中海庭数据技术有限公司 交通标志识别方法及系统
CN109685064A (zh) * 2018-10-29 2019-04-26 黑龙江科技大学 一种改进型RoIAlign区域特征聚集算法
CN109816669A (zh) * 2019-01-30 2019-05-28 云南电网有限责任公司电力科学研究院 一种识别电力设备缺陷的改进Mask R-CNN图像实例分割方法
CN110348263A (zh) * 2019-06-24 2019-10-18 西安理工大学 一种基于图像识别的二维随机码图像识别与提取方法
CN110633635A (zh) * 2019-08-08 2019-12-31 北京联合大学 一种基于roi的交通标志牌实时检测方法及系统

Also Published As

Publication number Publication date
CN111666811A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN114972329B (zh) 基于图像处理的表面缺陷检测仪的图像增强方法及系统
CN107230202B (zh) 路面病害图像的自动识别方法和系统
US11282185B2 (en) Information processing device, information processing method, and storage medium
CN108960229B (zh) 一种面向多方向的文字检测方法和装置
EP3036730B1 (en) Traffic light detection
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
CN111626190A (zh) 基于聚类分区进行刻度识别的水位监测方法
CN110286126A (zh) 一种基于视觉图像的晶圆表面缺陷分区域检测方法
CN110490839B (zh) 一种检测高速公路中损坏区域的方法、装置及计算机设备
CN105868745B (zh) 基于动态场景感知的天气识别方法
JP2008171417A (ja) 画像内の略矩形のオブジェクトを検出する方法、画像内のバックグラウンド色を推定する方法、コンピュータ可読媒体、画像内の略矩形のオブジェクトを検出する装置、および画像内のバックグラウンド色を推定する装置
CN111091123A (zh) 文本区域检测方法及设备
KR20040050909A (ko) 이미지의 영역들간 판별을 위한 방법 및 장치
US20090110286A1 (en) Detection method
CN111666811B (zh) 一种提取交通场景图像中交通标志牌区域方法及系统
CN107844761B (zh) 交通标志的检测方法及装置
CN111325717B (zh) 手机缺陷位置识别方法及设备
CN110288612B (zh) 铭牌定位与校正方法及设备
CN111612747B (zh) 产品表面裂缝快速检测方法及检测系统
CN111539980B (zh) 一种基于可见光的多目标追踪方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN111861979A (zh) 一种定位方法、设备及计算机可读存储介质
CN111369570B (zh) 一种视频图像的多目标检测跟踪方法
CN109800641B (zh) 基于阈值自适应二值化和连通域分析的车道线检测方法
JP7151742B2 (ja) 画像変換装置、画像変換方法及び画像変換用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant