CN103854025A - 基于图像卡通-纹理分解的车牌定位方法 - Google Patents

Abstract

本发明公开了一种基于图像卡通-纹理分解的车牌定位方法，包括：用卡通-纹理分解模型对车牌的灰度图像进行卡通-纹理分解，将车牌的边缘信息保留在卡通部分中，而背景中的弱边缘和小尺度细节分离到纹理部分，并利用卡通部分的梯度函数刻画边缘，使得卡通部分的边缘尽可能简单；利用数学形态学方法对边缘图进行几何处理，消除孤立的边缘，并使车牌和类似的对象形成连通的车牌候选区域；联合车牌的颜色、长宽比等先验知识确定车牌区域。本发明能有效克服复杂背景的环境干扰、光照影响、背景噪声等复杂背景下的应用场景干扰，准确定位车牌区域。

Description

基于图像卡通-纹理分解的车牌定位方法

技术领域

本发明属于图像处理领域，涉及车牌识别过程中的车牌定位。

技术背景

车牌定位是车牌识别的基础和车牌识别系统（VehicleLicensePlateRecognition,简称VLPR）的关键。基于图像或视频处理的方法是目前车牌定位和识别的主要方法。在不同环境和光照条件下获取的车牌图像，由于背景复杂、车辆种类繁多、颜色多样和光线强弱等原因，车牌定位的准确性受到严重影响。我国车牌有一些固有的特征，即普通车牌的规格为440mm×140mm，字符总长度409mm，单个字符宽45mm、高90mm，整个车牌的宽高比近似为3:1；车牌由7个字符组成，各个字符水平排列成一行（呈矩形），在矩形内部存在较丰富的垂直边缘和斜边缘;车牌的颜色组合有白底黑字或红字、蓝底白字、黑底白字和黄底黑字，蓝底白字是小型民用汽车牌照。针对国内车牌，目前较好的定位方法有：基于纹理特征分析的算法、基于数学形态学的算法、基于边缘检测的算法以及基于颜色特征的算法。纹理特征分析是根据车牌区域丰富的字符纹理特征来确定车牌区域，该方法对于光照偏强、偏弱和不均匀性，牌照倾斜和变形等情况具有很好的适应性，但是遇到与车牌纹理特征相似的区域时，正确率会大大降低；数学形态学方法是运用形态学的基本运算对二值化后的图像进行去噪，最终形成连通区域，再利用车牌的先验知识确定车牌区域，此类方法虽然简单高效，但要求背景简单；而边缘检测算法则是充分利用车牌区域丰富的边缘信息来确定车牌区域，通常与形态学方法结合使用,当背景复杂时，这类方法的准确率不高；基于颜色特征的算法计算量大，影响实时性。

近年来在图像处理中提出了一个新的图像表示方法：卡通-纹理分解，即将图像表示成卡通成分和纹理成分的叠加。其中卡通部分包含图像的主要结构和慢变成分，而纹理部分包含具有周期变化特性或震荡特性的小尺度细节以及随机噪声等成分。光学车牌图像背景复杂，比如路面，道路边的树木，房屋等，其中包含了大量边缘和小尺度细节，这些边缘和细节会形成与车牌特征相似的区域，严重影响车牌定位的准确性。

发明内容

本发明针对上述复杂背景下光学车牌定位准确率低的问题，提出一种基于图像卡通-纹理分解的车牌定位方法，本发明给出一种新的卡通纹理分解模型和边缘检测算子，将卡通-纹理分解应用到车牌图像以解决相应的问题，提高车牌定位的准确性和鲁棒性。

为实现上述目的，本发明包括以下步骤：

步骤1，对目标车牌的彩色图像做灰度化处理，得到所述目标车牌的灰度图像；

步骤2，用卡通-纹理分解求解模型对所述灰度图像进行卡通-纹理分解，将卡通部分和纹理部分分解开来；

步骤3，用所述卡通部分的梯度函数提取所述卡通部分的边缘；

步骤4，运用形态滤波处理所述边缘，得到闭合的车牌候选区域；

步骤5，将所述车牌候选区域对应到所述目标车牌的彩色图像，得出所述车牌候选区域的RGB彩色空间图像，并将所述RGB彩色空间图像转换成HIS空间图像；

步骤6，对所述HIS空间图像进行颜色和长宽比的判定，提取车牌区域。

本发明有益效果在于：

本发明提出的卡通-纹理分解模型能有效的进行图像的卡通纹理分解，与Vese和Osher提出的卡通-纹理分解模型相比，能更好的保护较强的边缘同时去除噪声、弱纹理和弱边缘；

本发明的边缘检测算子，与现有的Roberts等边缘检测算子相比，能更好的保护车牌区域的强边缘同时去除干扰边缘；

本发明的车牌定位算法能有效克服复杂背景的环境干扰、光照影响、背景噪声等复杂背景下的应用场景干扰，与现有的车牌定位技术相比，对于有复杂背景的光学车牌图像，车牌定位的准确率较高。

附图说明

图1为本发明基于图像卡通-纹理分解的车牌定位流程图；

图2为本发明在λ＝0.0005,μ＝1,ε＝5时车牌图像的卡通-纹理分解分解示意图，其中(a)为原图，(b)为卡通图，(c)为纹理图；

图3为本发明在T＝0.85时卡通图的边缘示意图；

图4为数学形态学处理结果示意图；

图5为本发明基于图像卡通纹理分解的车牌定位结果示意图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，本实施例将以车牌底色为蓝色的小型车辆车牌为例，并参照附图，对本发明的实施方式进行进一步详述。需要说明的是，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，所述车牌定位方法包括以下步骤：

步骤1，对目标车牌的彩色图像做灰度化处理，具体为：按照下式将RGB的车牌图像转化成灰度图像：

f(x,y)＝0.299R+0.587G+0.114B

其中R,G,B分别表示所述彩色图像的像素点(x,y)处红，绿，蓝的值，f(x,y)是其灰度化后的值，也可以直接采用灰度图像进行车牌定位。

步骤2，用卡通-纹理分解求解模型对所述灰度图像进行卡通纹理分解；

所述卡通-纹理分解是指，设f:Ω→R是给定的灰度图像，将f分解成u,v两部分：

f(x,y)＝u(x,y)+v(x,y)

其中u(x,y)是卡通部分，包含图像的主要结构和慢变成分；v(x,y)是纹理部分，包含图像的细小纹理和噪声。

本发明采用卡通-纹理分解求解模型：

$\begin{array}{c}\underset{u,z=(z_1,z_2)}{\inf }G(u,z)={\∫}_{\mathrm{\Ω}}b|\▿u|\mathrm{dxdy}+\frac{\mathrm{\λ}}{2}{\∫}_{\mathrm{\Ω}}{|f-(u+\mathrm{div}\left(z\right))|}^2\mathrm{dxdy}\\ +\mathrm{\μ}{\∫}_{\mathrm{\Ω}}\sqrt{{\left(z_1\right)}^2+{\left(z_2\right)}^2}\mathrm{dxdy}\end{array}$

其中，G(u,z)，f＝f(x,y)，u＝u(x,y)，分别表示所述所述卡通-纹理分解的损失能量、所述灰度图像、所述卡通部分和所述纹理部分，(x,y)表示所述灰图像上的点；第一项∫_Ωb|▽u|dxdy是用总变差刻画所述卡通部分，▽u是所述卡通部分的梯度；第二项

为所述灰度图像的噪声部分，确保将图像分解为卡通部分和纹理部分后能量损失尽可能的小；第三项

是对所述纹理部分的度量；λ,μ是可调参数，平衡所述第一项、所述第二项和所述第三项在总能量中的作用；b＝b(x,y)，为所述梯度函数。

具体求解步骤为：

卡通-纹理分解模型求解，初始化：取u⁽⁰⁾＝f,z⁽⁰⁾＝(z₁,z₂)⁽⁰⁾＝(0,0)，给定参数λ,μ和ε的值，然后进行迭代，迭代过程如下：

步骤2.1,固定z＝z⁽ⁿ⁾＝(z₁,z₂)⁽ⁿ⁾，求解

问题等价于

$u^{(n+1)}=\arg \underset{u}{\inf }\left\{{\∫}_{\mathrm{\Ω}}b\right|\▿u|\mathrm{dxdy}+\frac{\mathrm{\λ}}{2}{\∫}_{\mathrm{\Ω}}{|\tilde{f}-u|}^2\mathrm{dxdy}\}$

其中

为了简化计算，本发明取b＝b⁽ⁿ⁾＝1/(ε+|▽u⁽ⁿ⁾|)，从而b对u是常数。上述问题可通过其Euler-Lagrange方程来求解：

$u+\frac{1}{\mathrm{\λ}}\mathrm{div}\left(\frac{b^{\left(n\right)}\▿u}{|\▿u|}\right)=\tilde{f}$

步骤2.2，固定u＝u⁽ⁿ⁺¹⁾，求解

问题等价于

$z^{(n+1)}={(z_1,z_2)}^{(n+1)}=\arg \underset{z}{\inf }\{\frac{\mathrm{\λ}}{2}{\∫}_{\mathrm{\Ω}}{|\stackrel{\‾}{f}-\mathrm{div}z|}^2\mathrm{dxdy}+\mathrm{\μ}{\∫}_{\mathrm{\Ω}}\sqrt{{\left(z_1\right)}^2+{\left(z_2\right)}^2}\mathrm{dxdy}\}$

其中该问题的Euler-Lagrange方程为

$\left\{\begin{array}{c}\mathrm{\λ}\frac{\∂}{\∂x}(\stackrel{\‾}{f}-\mathrm{div}z)+\mathrm{\μ}\frac{z_1}{\sqrt{z_1^2+z_2^2}}=0\\ \mathrm{\λ}\frac{\∂}{\∂y}(\stackrel{\‾}{f}-\mathrm{div}z)+\mathrm{\μ}\frac{z_2}{\sqrt{z_1^2+z_2^2}}=0\end{array}\right..$

对于上述两个Euler-Lagrange方程,通常给出如下边界条件:

$\left\{\begin{array}{c}{b}^{\left(n\right)}\▿u/|\▿u|\·\stackrel{\→}{n}=0\\ {(\stackrel{\‾}{f}-\mathrm{div}z)}_x{n}_x=0\\ {(\stackrel{\‾}{f}-\mathrm{div}z)}_x{n}_y=0\end{array}\right.$

其中

是边界

上的单位外法向量。对上述方程组进行离散化求解，本实施例中取λ＝0.0005,μ＝1,ε＝5，卡通纹理分解结果如图2所示。

步骤3，用所述卡通部分的梯度函数提取所述卡通部分的边缘，具体就是利用公式

$b^{\left(n\right)}(x,y)\left|{\▿u}^{\left(n\right)}(x,y)\right|=\frac{\left|{\▿u}^{\left(n\right)}(x,y)\right|}{\mathrm{\ϵ}+\left|{\▿u}^{\left(n\right)}(x,y)\right|}$

对所述卡通部分进行阈值判断得到，边缘的二值子图，其中b(x,y)＝1/(ε+|▽u(x,y)|)，▽u是所述卡通部分的梯度，ε相当于一个梯度模的阈值参数；n为所述交替化迭代的次数：

若b⁽ⁿ⁾(x,y)|▽u⁽ⁿ⁾(x,y)|＞T，其中T为阈值参数，则认为(x,y)点是边缘点，否则为光滑区域，本实施例中取T=0.85，边缘检测结果如图3所示。

步骤4，运用形态滤波处理所述边缘得到闭合的车牌候选区域；具体包括如下步骤：

步骤4.1，对于所述步骤3得到的边缘图进行开运算，以平滑车牌区域，断开所述车牌区域与车灯、散热片之间的间断区域，消除细小的突出物；

步骤4.2，对于步骤4.1得到的图形进行闭运算和膨胀运算，以消除字符间出现的小的空洞，形成闭合的车牌候选区域，本实施例中取开运算结构算子为4×1矩形模板，闭运算和膨胀运算结构算子为8×24矩形模板。所述车牌候选区域如图4所示.

步骤5，将所述车牌候选区域对应到所述目标车牌的彩色图像，得出所述车牌候选区域的RGB彩色空间图像，并将所述RGB彩色空间图像转换成HIS空间图像，具体步骤为：

步骤5.1，提取所述步骤4得到的车牌候选区域的外接矩形，并将其映射到所述目标车牌的彩色图像；

步骤5.2，将所述步骤5.1得到的RGB颜色空间的矩形利用下式映射到HIS空间：

其中，R、G、B分别表示所述RGB颜色空间的红色分量、绿色分量和蓝色分量的值，H、S、I分别表示所述HIS颜色空间的色度、饱和度和亮度。

步骤6，对所述HIS空间图像进行颜色和长宽比的判定，提取车牌区域，具体方法为：当所述车牌候选区域的长宽比和符合所述目标车牌底色的像素点与所述车牌候选区域总点数的比值符合预设值时为车牌区域，所述预设值是根据所述目标车牌底色像素点的个数与车牌区域像素点的总个数的比值设定的一个区间。本实施例中，取长宽比的范围为2～5，蓝色点与车牌候选区域总点数的比值范围为0.25～0.85，得到最终结果如图5。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (6)

1.一种基于图像卡通-纹理分解的车牌定位方法，其特征在于，该方法包括以下步骤：

步骤1，对目标车牌的彩色图像做灰度化处理，得出所述目标车牌的灰度图像；

步骤2，用卡通-纹理分解求解模型对所述灰度图像进行卡通-纹理分解，将所述灰度图像的卡通部分和纹理部分分解开来；

步骤3，用所述卡通部分的梯度函数提取所述卡通部分的边缘；

步骤4，运用形态滤波处理所述边缘，得到闭合的车牌候选区域；

步骤5，将所述车牌候选区域对应到所述目标车牌的彩色图像，得出所述车牌候选区域的RGB彩色空间图像，并将所述RGB彩色空间图像转换成HIS空间图像；

步骤6，对所述HIS空间图像进行颜色和长宽比的判定，提取车牌区域。

2.根据权利要求1所述的基于图像卡通-纹理分解的车牌定位方法，其特征在于，所述步骤2中的卡通-纹理分解求解模型用公式表示为：

$\begin{array}{c}\underset{u,z=(z_1,z_2)}{\inf }G(u,z)={\∫}_{\mathrm{\Ω}}b|\▿u|\mathrm{dxdy}+\frac{\mathrm{\λ}}{2}{\∫}_{\mathrm{\Ω}}{|f-(u+\mathrm{div}\left(z\right))|}^2\mathrm{dxdy}\\ +\mathrm{\μ}{\∫}_{\mathrm{\Ω}}\sqrt{{\left(z_1\right)}^2+{\left(z_2\right)}^2}\mathrm{dxdy}\end{array};$

其中，G(u,z)，f＝f(x,y)，u＝u(x,y)，

分别表示所述卡通-纹理分解的损失能量、所述灰度图像、所述卡通部分和所述纹理部分，(x,y)表示所述灰图像上的点；第一项∫_Ωb|▽u|dxdy是用总变差刻画所述卡通部分，▽u是所述卡通部分的梯度；第二项

为所述灰度图像的噪声部分；第三项

是对所述纹理部分的度量，；λ,μ是可调参数，平衡所述第一项、所述第二项和所述第三项在总能量中的作用；b＝b(x,y)为所述梯度函数。

3.根据权利要求1所述的基于图像卡通-纹理分解的车牌定位方法，其特征在于，所述步骤3中的用卡通部分的梯度函数提取所述卡通部分的边缘的方法为：

利用公式 $b^{\left(n\right)}(x,y)\left|{\▿u}^{\left(n\right)}(x,y)\right|=\frac{\left|{\▿u}^{\left(n\right)}(x,y)\right|}{\mathrm{\ϵ}+\left|{\▿u}^{\left(n\right)}(x,y)\right|}$ 对所述卡通部分进行阈值判断，从而得到边缘的二值子图，其中，b(x,y)为所述梯度函数，

且b(x,y)＝1/(ε+|▽u(x,y)|)，▽u是所述卡通部分的梯度，ε相当于一个梯度模的阈值参数；n为所述交替化迭代的次数；

若b⁽ⁿ⁾(x,y)|▽u⁽ⁿ⁾(x,y)|＞T，其中T为阈值参数，则认为点(x,y)是边缘点，否则点(x,y)为光滑区域点。

4.根据权利要求1的基于图像卡通-纹理分解的车牌定位方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1，对于步骤3得到的所述边缘的二值子图进行开运算；

步骤4.2，对于所述步骤4.1得到的图像进行闭运算和膨胀运算。

5.根据权利要求1的基于图像卡通-纹理分解的车牌定位方法，其特征在于，所述步骤5包括以下步骤：

步骤5.1，提取所述步骤4得到的所述车牌候选区域的外接矩形，并将其映射到所述目标车牌的彩色图像，得出RGB颜色空间的矩形；

步骤5.2，将所述RGB颜色空间的矩形映射到HIS空间。

6.根据权利要求1的基于图像卡通-纹理分解的车牌定位方法，其特征在于，所述步骤6中的对所述车牌候选区域进行颜色和长宽比的判定方法为：

当所述车牌候选区域的长宽比和符合所述目标车牌底色的像素点与所述车牌候选区域总点数的比值符合预设值时为车牌区域，所述预设值是根据所述目标车牌底色像素点的个数与所述车牌区域像素点的总个数的比值设定的一个区间。

Images