CN107578044B - 一种基于车牌边缘纹理特征的车牌定位方法 - Google Patents

Abstract

本发明公开了一种基于车牌边缘纹理特征的车牌定位方法。它通过比较车牌边缘区域与其周围边缘区域的纹理差别来进行车牌定位，可以有效避免车牌旁边的干扰边缘与车牌字符边缘进行连接，避免干扰边缘对车牌定位的影响，并且该车牌定位方法不受光照的影响，可以在复杂环境下得到良好的车牌定位效果。

Description

一种基于车牌边缘纹理特征的车牌定位方法

技术领域

本发明属于计算机视觉及智能交通技术领域，具体是一种通过比较车牌边缘区域与其周围边缘区域的纹理差别来进行车牌定位的基于车牌边缘纹理特征的车牌定位方法。

背景技术

随着智能交通领域的不断发展，目前车牌识别技术在道路交通安全监测系统、自动收费系统、小区车辆管理系统等应用场景都得到了非常广泛的应用，并且各个应用场景对车牌识别的准确率要求也越来越高。而车牌定位是车牌识别的前提，因此提高车牌定位准确率是提高车牌识别准确率的关键。

当前有许多学者提出了不同的车牌定位方法，主要可以分为基于车牌颜色信息的车牌定位方法、基于机器学习的车牌定位方法以及基于车牌边缘纹理信息的车牌定位方法等。其中与本发明较接近的技术方案为：文献(李刚,曾锐利,林凌,等.基于数学形态学的车牌定位算法[J].仪器仪表学报,2007,28(7):1323-1327.)提出在Sobel算子检测得到的边缘图像上运用数学形态学操作得到车牌候选区域，然后利用面积等特征综合分析车牌区域，该算法在复杂背景下得到的边缘图像中干扰边缘非常多，直接在边缘图像上进行形态学操作来得到车牌连通域很容易造成误检或漏检，或者得到的车牌区域不精准；文献(刘濛,吴成东,樊玉泉,等.复杂背景图像中的车牌定位算法[J].中国图象图形学报,2010,15(9):1357-1362.)在图像的Sobel垂直边缘图中将水平跳变点连接成线，提取出车牌的候选区域，然后结合车牌句法特征对候选区域进行评判筛选，该算法在车牌候选区域的提取过程中容易将车牌左右两边的干扰边缘连接到车牌区域，对车牌定位产生干扰；文献(郭捷,施鹏飞.基于颜色和纹理分析的车牌定位方法[J].中国图象图形学报,2002,7(5):472-476.)提出了将图像在HSV颜色空间进行距离和相似度计算，将满足车牌颜色特征的区域保留得到车牌候选区域，然后利用纹理结构特征对候选区域进行进一步分析，该算法首先利用车牌颜色信息进行候选区域筛选，由于车牌颜色容易受到光照因素的影响，会呈现多种不同的颜色，因此会造成车牌漏检；文献(李文举,梁德群,张旗,等.基于边缘颜色对的车牌定位新方法[J].计算机学报,2004,27(2):204-208.)提出在彩色边缘图像中判断以每一个边缘点为中心的线性窗口内像素点颜色是否满足车牌搭配的底色与字符颜色来筛选车牌候选区域，该算法同样会受到光照的影响导致颜色匹配错误。

综上所述，当前的车牌定位方法存在着如下不足：(1)复杂背景下干扰边缘多，容易误检；(2)车牌附近区域的边缘会干扰车牌的精确定位；(3)受光照等因素的影响车牌颜色变色，容易造成车牌漏检。

发明内容

针对现有的车牌定位方法中存在的上述问题，本发明提出了一种通过比较车牌边缘区域与其周围边缘区域的纹理差别来进行车牌定位的基于车牌边缘纹理特征的车牌定位方法。

所述的一种基于车牌边缘纹理特征的车牌定位方法，其特征在于包括如下步骤：

步骤1：对含有车牌的彩色图像提取R通道，记为图像r；

步骤2：对图像r进行Sobel垂直边缘检测，对获得的边缘图像进行二值化操作；

步骤3：在二值化边缘图像中找到所有符合合并条件的两条边缘，记为edge₁和edge₂，在edge₁和edge₂之间连线使之形成同一个连通区域；

步骤4：针对步骤3)得到的图像，计算图中每个连通区域的最小外包矩形rectangle[x,y,w,h]，判断每个最小外包矩形区域是否满足车牌的特征，满足车牌特征的矩形区域作为候选车牌区域，其中x为最小外包矩形rectangle的左上角横坐标，y为最小外包矩形rectangle的左上角纵坐标，w为最小外包矩形rectangle的宽，h为最小外包矩形rectangle的高；

步骤5：针对步骤4)获得的每个候选矩形区域分别在步骤2)获得的二值化边缘图像上对应区域内计算黑白跳变数mutationCount和垂直投影方差S，根据公式(1)计算每个候选矩形区域作为车牌区域的置信度Confidence，选择置信度最大的一个矩形区域作为定位得到的车牌区域，其中k₁为矩形区域中平均每一行黑白跳变数在置信度计算时的权重，k₂为矩形区域中垂直投影方差在置信度计算时的权重，满足k₁+k₂＝1，

所述的一种基于车牌边缘纹理特征的车牌定位方法，其特征在于步骤3)中符合合并条件的两条边缘需满足以下所有条件：

3.1)：leftX₁<leftX₂；

3.2)：|midY₁-midY₂|<midYThresh&&|height₁-height₂|<heightThresh&&min(height₁,height₂)>minHeightThresh；

3.3)：|rightX₁-leftX₂|<xThresh₁&&|leftX₁-rightX₂|<xThresh₂；

3.4)：colorDiffer<colorDifferThresh；

其中leftX₁为边缘edge₁的最小外包矩形的左边界，leftX₂为边缘edge₂的最小外包矩形的左边界，midY₁为边缘edge₁的最小外包矩形的中心点纵坐标，midY₂为边缘edge₂的最小外包矩形的中心点纵坐标，midYThresh为edge₁和edge₂能够进行合并需满足的最小外包矩形的中心点纵坐标之差最大值，由预先设定，height₁为边缘edge₁的最小外包矩形的高度，height₂为边缘edge₂的最小外包矩形的高度，heightThresh为edge₁和edge₂能够进行合并需满足的最小外包矩形的高度之差最大值，由预先设定，min(height₁,height₂)即取height₁和height₂之间较小的值，minHeightThresh为能够进行合并的边缘需满足的最小外包矩形的高度最小值，由预先设定，rightX₁为边缘edge₁的最小外包矩形的右边界，rightX₂为边缘edge₂的最小外包矩形的右边界，xThresh₁为edge₁和edge₂能够进行合并需满足的最小外包矩形之间最近点的横坐标之差最大值，由预先设定，xThresh₂为edge₁和edge₂能够进行合并需满足的最小外包矩形之间最远点的横坐标之差最大值，由预先设定，colorDiffer为edge₁和edge₂所在区域之间的颜色距离，根据公式(2)计算，每个边缘所在区域大小设定为以边缘的最小外包矩形中心点为中心往左右和上下分别扩展距离len，len值取0.5×min(height₁,height₂)，colorDifferThresh为edge₁和edge₂能够进行合并需满足的所在区域之间的颜色距离最大值，由预先设定，

其中，在RGB颜色空间中有256×256×256种颜色，颜色取值范围为#000000～#FFFFFF，将该颜色值范围划分为2097152类，其中第i类颜色的取值范围为[(i-1)*8,i*8]，color₁(i)和color₂(i)分别对应edge₁和edge₂所在区域中属于第i类颜色的像素点个数，i表示RGB颜色空间中颜色的种类，i＝1,2,…,2097152。

所述的一种基于车牌边缘纹理特征的车牌定位方法，其特征在于步骤3)中在符合合并条件的边缘edge₁和edge₂之间连线步骤如下：

步骤3.1)：取edge₁的最小外包矩形最左边一列的中点记为point₁；

步骤3.2)：取edge₂的最小外包矩形最右边一列的中点记为point₂；

步骤3.3)：在point₁和point₂之间画直线连接；

所述的一种基于车牌边缘纹理特征的车牌定位方法，其特征在于步骤4)中判断矩形区域rectangle[x,y,w,h]满足车牌特征需同时满足以下条件：

4.1)：minArea<w×h<maxArea；

4.2)：minRatio<w/h<maxRatio；

4.3)：mutationCount/h>mutationThresh；

其中maxArea、minArea分别为车牌区域可能的最大面积和最小面积，由预先设定，maxRatio、minRatio分别为车牌区域长宽比值的最大值和最小值，由预先设定，mutationCount为步骤2中获得的二值化边缘图像在rectangle[x,y,w,h]对应区域内总的黑白跳变数，mutationThresh为车牌区域中平均每一行可能的黑白跳变数，由预先设定。

通过使用本发明的方法对车牌进行定位操作，可以有效避免车牌旁边的干扰边缘与车牌字符边缘进行连接，避免干扰边缘对车牌定位的影响，并且该车牌定位方法不受光照的影响，可以在复杂环境下得到良好的车牌定位效果。

附图说明

图1为本发明实施例中提取的R通道图；

图2为本发明实施例中图像r经过Sobel垂直边缘检测的结果图；

图3为本发明实施例中对边缘图进行二值化的结果图；

图4为本发明实施例中对二值化边缘图进行边缘合并的结果图；

图5为本发明实施例中车牌定位结果图。

具体实施方式

下面结合实施例来详细阐述本发明的基于车牌边缘纹理特征的车牌定位方法。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明的一种基于车牌边缘纹理特征的车牌定位方法，包括如下步骤：

步骤1：对含有车牌的彩色图像提取R通道，记为图像r如图1所示；

步骤2：对图像r进行Sobel垂直边缘检测，得到的边缘图如图2所示，对边缘图像进行二值化操作，得到的二值化边缘图像如图3所示；

步骤3：在二值化边缘图像中找到所有符合合并条件的边缘，在边缘之间连线使之形成同一个连通区域，在本实施例中处理结果如图4所示；

该步骤中符合合并条件的两条边缘需满足以下所有条件：

3.1)：leftX₁<leftX₂；

3.2)：|midY₁-midY₂|<midYThresh&&|height₁-height₂|<heightThresh&&min(height₁,height₂)>minHeightThresh；

3.3)：|rightX₁-leftX₂|<xThresh₁&&|leftX₁-rightX₂|<xThresh₂；

3.4)：colorDiffer<colorDifferThresh；

其中leftX₁为边缘edge₁的最小外包矩形的左边界，leftX₂为边缘edge₂的最小外包矩形的左边界，midY₁为边缘edge₁的最小外包矩形的中心点纵坐标，midY₂为边缘edge₂的最小外包矩形的中心点纵坐标，midYThresh为edge₁和edge₂能够进行合并需满足的最小外包矩形的中心点纵坐标之差最大值，在本实施例中设定为10，height₁为边缘edge₁的最小外包矩形的高度，height₂为边缘edge₂的最小外包矩形的高度，heightThresh为edge₁和edge₂能够进行合并需满足的最小外包矩形的高度之差最大值，在本实施例中设定为15，min(height₁,height₂)即取height₁和height₂之间较小的值，minHeightThresh为能够进行合并的边缘需满足的最小外包矩形的高度最小值，在本实施例中设定为10，rightX₁为边缘edge₁的最小外包矩形的右边界，rightX₂为边缘edge₂的最小外包矩形的右边界，xThresh₁为edge₁和edge₂能够进行合并需满足的最小外包矩形之间最近点的横坐标之差最大值，在本实施例中设定为20，xThresh₂为edge₁和edge₂能够进行合并需满足的最小外包矩形之间最远点的横坐标之差最大值，在本实施例中设定为160，colorDiffer为edge₁和edge₂所在区域之间的颜色距离，根据公式(2)计算，每个边缘所在区域大小设定为以边缘的最小外包矩形中心点为中心往左右和上下分别扩展距离len，len值取0.5×min(height₁,height₂)，colorDifferThresh为edge₁和edge₂能够进行合并需满足的所在区域之间的颜色距离最大值，在本实施例中设定为400。

其中，在RGB颜色空间中有256×256×256种颜色，颜色取值范围为#000000～#FFFFFF，将该颜色值范围划分为2097152类，其中第i类颜色的取值范围为[(i-1)*8,i*8]，color₁(i)和color₂(i)分别对应edge₁和edge₂所在区域中属于第i类颜色的像素点个数，i表示RGB颜色空间中颜色的种类，i＝1,2,…,2097152。

该步骤中符合合并条件的边缘edge₁和edge₂之间连线步骤如下：

步骤3.1)：取edge₁的最小外包矩形最左边一列的中点记为point₁；

步骤3.2)：取edge₂的最小外包矩形最右边一列的中点记为point₂；

步骤3.3)：在point₁和point₂之间画直线连接；

步骤4：针对步骤3得到的图像，计算图中每个连通区域的最小外包矩形rectangle[x,y,w,h]，判断每个最小外包矩形区域是否满足车牌的特征，满足车牌特征的矩形区域作为候选车牌区域，其中x为最小外包矩形rectangle的左上角横坐标，y为最小外包矩形rectangle的左上角纵坐标，w为最小外包矩形rectangle的宽，h为最小外包矩形rectangle的高；

所述判断矩形区域rectangle[x,y,w,h]满足车牌特征需同时满足以下条件：

4.1)：minArea<w×h<maxArea；

4.2)：minRatio<w/h<maxRatio；

4.3)：mutationCount/h>mutationThresh；

其中maxArea、minArea分别为车牌区域可能的最大面积和最小面积，在本实施例中分别设定为6000和600，maxRatio、minRatio分别为车牌区域长宽比值的最大值和最小值，在本实施例中分别设定为5.8和1.5，mutationCount为步骤2中获得的二值化边缘图像在rectangle[x,y,w,h]对应区域内总的黑白跳变数，mutationThresh为车牌区域中平均每一行可能的黑白跳变数，在本实施例中设定为10；

步骤5：针对步骤4获得的每个候选矩形区域分别在步骤2获得的二值化边缘图像上对应区域内计算黑白跳变数mutationCount和垂直投影方差S，根据公式(1)计算每个候选矩形区域作为车牌区域的置信度Confidence，选择置信度最大的一个矩形区域作为定位得到的车牌区域，其中k₁为矩形区域中平均每一行黑白跳变数在置信度计算时的权重，k₂为矩形区域中垂直投影方差在置信度计算时的权重，满足k₁+k₂＝1，在本实施例中取k₁＝0.7，k₁＝0.3。

在本实施例中，通过以上处理，可以看到图5中的车牌被精确定位出来。

Claims (1)

1.一种基于车牌边缘纹理特征的车牌定位方法，其特征在于包括如下步骤：

步骤1：对含有车牌的彩色图像提取R通道，记为图像r；

步骤2：对图像r进行Sobel垂直边缘检测，对获得的边缘图像进行二值化操作；

步骤3：在二值化边缘图像中找到所有符合合并条件的两条边缘，记为edge₁和edge₂，在edge₁和edge₂之间连线使之形成同一个连通区域；

步骤4：针对步骤3)得到的图像，计算图中每个连通区域的最小外包矩形rectangle[x,y,w,h]，判断每个最小外包矩形区域是否满足车牌的特征，满足车牌特征的矩形区域作为候选车牌区域，其中x为最小外包矩形rectangle的左上角横坐标，y为最小外包矩形rectangle的左上角纵坐标，w为最小外包矩形rectangle的宽，h为最小外包矩形rectangle的高；

步骤5：针对步骤4)获得的每个候选矩形区域分别在步骤2)获得的二值化边缘图像上对应区域内计算黑白跳变数mutationCount和垂直投影方差S，根据公式(1)计算每个候选矩形区域作为车牌区域的置信度Confidence，选择置信度最大的一个矩形区域作为定位得到的车牌区域，其中k₁为矩形区域中平均每一行黑白跳变数在置信度计算时的权重，k₂为矩形区域中垂直投影方差在置信度计算时的权重，满足k₁+k₂＝1，

步骤3)中符合合并条件的两条边缘需满足以下所有条件：

3.1)：leftX₁<leftX₂；

3.2)：|midY₁-midY₂|<midYThresh&&|height₁-height₂|<heightThresh&&min(height₁,height₂)>minHeightThresh；

3.3)：|rightX₁-leftX₂|<xThresh₁&&|leftX₁-rightX₂|<xThresh₂；

3.4)：colorDiffer<colorDifferThresh；

其中leftX₁为边缘edge₁的最小外包矩形的左边界，leftX₂为边缘edge₂的最小外包矩形的左边界，midY₁为边缘edge₁的最小外包矩形的中心点纵坐标，midY₂为边缘edge₂的最小外包矩形的中心点纵坐标，midYThresh为edge₁和edge₂能够进行合并需满足的最小外包矩形的中心点纵坐标之差最大值，由预先设定，height₁为边缘edge₁的最小外包矩形的高度，height₂为边缘edge₂的最小外包矩形的高度，heightThresh为edge₁和edge₂能够进行合并需满足的最小外包矩形的高度之差最大值，由预先设定，min(height₁,height₂)即取height₁和height₂之间较小的值，minHeightThresh为能够进行合并的边缘需满足的最小外包矩形的高度最小值，由预先设定，rightX₁为边缘edge₁的最小外包矩形的右边界，rightX₂为边缘edge₂的最小外包矩形的右边界，xThresh₁为edge₁和edge₂能够进行合并需满足的最小外包矩形之间最近点的横坐标之差最大值，由预先设定，xThresh₂为edge₁和edge₂能够进行合并需满足的最小外包矩形之间最远点的横坐标之差最大值，由预先设定，colorDiffer为edge₁和edge₂所在区域之间的颜色距离，根据公式(2)计算，每个边缘所在区域大小设定为以边缘的最小外包矩形中心点为中心往左右和上下分别扩展距离len，len值取0.5×min(height₁,height₂)，colorDifferThresh为edge₁和edge₂能够进行合并需满足的所在区域之间的颜色距离最大值，由预先设定，

其中，在RGB颜色空间中有256×256×256种颜色，颜色取值范围为#000000～#FFFFFF，将该颜色值范围划分为2097152类，其中第i类颜色的取值范围为[(i-1)*8,i*8]，color₁(i)和color₂(i)分别对应edge₁和edge₂所在区域中属于第i类颜色的像素点个数，i表示RGB颜色空间中颜色的种类，i＝1,2,…,2097152；

步骤3)中在符合合并条件的边缘edge₁和edge₂之间连线步骤如下：

步骤3.1)：取edge₁的最小外包矩形最左边一列的中点记为point₁；

步骤3.2)：取edge₂的最小外包矩形最右边一列的中点记为point₂；

步骤3.3)：在point₁和point₂之间画直线连接；

步骤4)中判断矩形区域rectangle[x,y,w,h]满足车牌特征需同时满足以下条件：

4.1)：minArea<w×h<maxArea；

4.2)：minRatio<w/h<maxRatio；

4.3)：mutationCount/h>mutationThresh；

其中maxArea、minArea分别为车牌区域可能的最大面积和最小面积，由预先设定，maxRatio、minRatio分别为车牌区域长宽比值的最大值和最小值，由预先设定，mutationCount为步骤2中获得的二值化边缘图像在rectangle[x,y,w,h]对应区域内总的黑白跳变数，mutationThresh为车牌区域中平均每一行可能的黑白跳变数，由预先设定。

Images