一种基于级联形态学变换的车牌定位方法及系统
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于级联形态学变换的车牌定位方法及系统。
背景技术
智能交通广泛用于智慧城市中车辆的管理。车牌识别是其中的核心技术之一,是计算机图像处理技术和模式识别技术在智能交通领域的应用。车牌识别技术被广泛的应用于高速路卡口抓拍系统、智能停车场系统以及社区车辆管理系统中。车牌识别过程基本分为三个步骤:车牌定位、字符切割和字符识别,技术是车牌识别技术中至关重要的一步,作为整个车牌识别过程的第一步,车牌的成功定位与否直接影响到后续的步骤,从而决定了车牌识别的速度和识别率。
现有的车牌定位方法主要是基于模板和先验知识的匹配方法。专利CN102214290A(车牌定位方法及车牌定位模板训练方法),提出了用模板进行车牌的判断,但该方法在模板发生变化时,则无法成功匹配,且当模板过多时,其需要的匹配时间较长。专利CN101183425(粤港两地车牌定位方法)是利用大陆车牌和香港车牌定位的先验知识进行区分。先验知识的匹配方法比较容易受光照、污染,环境的影响,准确度较低。
现有的车牌定位方法大多只适合用在收费站、治安卡等背景变化不大的场景中,而对于复杂的全景图(例如,街景全景图)中的各种自然环境场景,其背景千变万化,特别是对于那些含有大量树木和条纹纹理物品的全景图中,现有的车牌定位方法很难适用。而且,现有的车牌定位方法对于采集的图片的质量有较高的要求,对于光照比较敏感,如果车牌过亮或者过暗,现有的车牌定位方法都无法进行很好的处理,其抗干扰性较差(即其robust--鲁棒性不高)。
发明内容
本发明的目的是克服现有技术的不足和缺陷,提供一种基于级联形态学变换的车牌定位方法及系统,提高车牌定位的鲁棒性。
本发明的目的通过以下技术方案来实现:一种基于级联形态学变换的车牌定位方法,包括以下步骤:
S1对原图像进行降采样及灰度处理得到灰度图像;
S2对灰度图像进行级联形态学变换并二值化,并对联通区域进行初步筛选得到若干个候选区域;
S3计算各候选区域的颜色直方图信息分别与标准车牌的颜色直方图信息的相似度,并根据相似度判定车牌区域;
S4通过降采样的逆运算将各车牌区域映射到原图像中得到相应的原车牌区域。
优选地,所述对灰度图像进行级联形态学变换并二值化的过程具体采用公式(1)、(2)、(3)、(4)、(5)进行计算:
MPT(I)=Dilate(Otsu(WTH(I)+BTH(I))) (1)
WTH(I)=I-(IοE) (2)
BTH(I)=(I·E)-I (3)
其中,Dilate为膨胀变换,Otsu为最大类间算法,对图像进行二值化,WTH为冒顶变换,BTH为帽底变换,和分别为腐蚀操作和膨胀操作,I为经过步骤S1得到的灰度图像,E为形态学的结构元素。
优选地,所述步骤S1之前还包括预先获取T种标准车牌的颜色直方图信息的步骤;
所述步骤S3包括以下步骤:
S31计算候选区域的颜色直方图信息;
S32计算候选区域颜色直方图信息分别与T种标准车牌的颜色直方图信息的相似度;
S33根据相似度及预设的相似度阈值THRESH_PLATE判定候选区域是否为车牌区域。
优选地,所述步骤S32具体采用公式(6)依次计算候选区域的颜色直方图信息与标准车牌的颜色直方图信息的相似度:
其中,HX(i)为候选区域的颜色直方图信息;HSt(i)为标准车牌的颜色直方图信息;d0为颜色直方图的维度;Rt为候选区域的颜色直方图信息与第t种标准车牌的颜色直方图信息的相似度。
优选地,所述步骤S33中判定候选区域是否为车牌区域的具体过程如下:
S331判断该候选区域的颜色直方图信息与T种标准车牌的颜色直方图信息的最大相似度Rmax是否大于预设的相似度阈值THRESH_PLATE,若是则执行步骤S332,否则执行S334;
S332判定该候选区域为车牌区域;
S333判定该候选区域对应的车牌颜色为最大相似度Rmax对应的标准车牌的颜色;
S334判定该候选区域为非车牌区域。
优选地,所述步骤S4中将车牌区域映射到原图像中得到相应的原车牌区域的步骤具体采用公式(7)、(8)、(9)、(10)进行逆映射:
原车牌区域开始横坐标X=M*x0 (7)
原车牌区域开始纵坐标Y=N*y0 (8)
原车牌区域的宽度W=M*w0 (9)
原车牌区域的高度H=N*h0 (10)
其中,x0,y0,w0,h0分别为车牌区域对应的开始横坐标、开始纵坐标、宽度、高度。
优选地,所述步骤S1的具体过程如下:
S11对原图像进行降采样处理:
dWidth=((width/M)/BITWIDE)*BITWIDE (11)
dHeight=height/N (12)
其中,width和height分别为原图像的宽度和高度,dWidth和dHeight分别为降采样后的图像的宽度和高度,BITWIDE为原图像中的位宽;
S12对降采样后的彩色图像灰度化;
S13对灰度化后的灰度图像进行增强变换:
其中,a,b为图像增强前的灰度值,c,d为图像增强后分别对应的灰度值,L为图像增强前的像素值,L′为图像增强后的像素值。
本发明的另一目的在于提供一种基于级联形态学变换的车牌定位系统。
一种基于级联形态学变换的车牌定位系统,包括:
图像预处理单元,对原图像进行降采样及灰度处理得到灰度图像;
候选区域定位单元,对灰度图像进行级联形态学变换并二值化,并对联通区域进行初步筛选得到若干个候选区域;
车牌判决单元,计算各候选区域的颜色直方图信息分别与标准车牌的颜色直方图信息的相似度,并根据相似度判定车牌区域;
车牌定位结果映射单元,通过降采样的逆运算将各车牌区域映射到原图像中得到相应的原车牌区域。
优选地,所述候选区域定位单元具体采用公式(1)、(2)、(3)、(4)、(5)对灰度图像进行级联形态学变换并二值化:
MPT(I)=Dilate(Otsu(WTH(I)+BTH(I))) (1)
WTH(I)=I-(IοE) (2)
BTH(I)=(I·E)-I (3)
其中,Dilate为膨胀变换,Otsu为最大类间算法,对图像进行二值化,WTH为冒顶变换,BTH为帽底变换,和分别为腐蚀操作和膨胀操作,I为降采样之后的灰度图像,E为形态学的结构元素。膨胀变换Dilate后得到的PMT(I)是一幅二值化图像。通过级联形态学变换凸显车牌的候选区域,提高车牌的候选区域定位的鲁棒性,准确度高达99.5%。
优选地,所述车牌定位系统还包括用于预先获取T种标准车牌的颜色直方图信息的标准车牌信息获取单元;
所述车牌判决单元包括:
颜色直方图计算模块,计算候选区域的颜色直方图信息;
相似度计算模块,计算候选区域的颜色直方图信息分别与T种标准车牌的颜色直方图信息的相似度;
车牌区域判断模块,根据相似度及预设的相似度阈值THRESH_PLATE判定候选区域是否为车牌区域。
优选地,所述相似度计算模块具体采用公式(6)计算候选区域的颜色直方图信息与标准车牌的颜色直方图信息的相似度:
其中,HX(i)为候选区域的颜色直方图信息;HSt(i)为标准车牌的颜色直方图信息;d0为颜色直方图的维度;Rt为候选区域的颜色直方图信息与第t种标准车牌的颜色直方图信息的相似度。
本发明相比现有技术包括以下优点及有益效果:
(1)本发明通过对图像进行灰度处理、级联形态学变换及二值化处理提高车牌的候选区域定位的鲁棒性和车牌定位速度,同时抑制强光照的干扰,增强车牌区域文字的对比度,提高车牌区域的筛选准确度,本发明提供的车牌定位方法及系统在不同光照环境下、场景复杂的环境下均适用,且能同时定位多个车牌。
(2)通过对原图像进行降采样处理,进一步提高图像中车牌的定位速度。
(3)通过获取标准车牌的颜色直方图及候选区域的颜色直方图,并通过两者的颜色直方图相似度及预设的相似度阈值THRESH_PLATE判定候选区域是否为车牌区域,车牌区域判定的准确度高达98%以上,且同时能判定出车牌区域对应的车牌颜色。
(4)通过对灰度处理后的图像进行图像增强处理,进一步提高车牌的定位速度和鲁棒性。
附图说明
图1为基于级联形态学变换的车牌定位方法的主流程图;
图2为图1中步骤S1的具体流程图;
图3为图1中步骤S2的具体流程图;
图4为实施例中步骤S3的具体流程图;
图5为实施例中基于级联形态学变换的车牌定位系统的原理框图;
图6为实施例中车牌判决单元的原理框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示,一种基于级联形态学变换的车牌定位方法,预先获取T种标准车牌的颜色直方图信息。可以在首次使用时计算T种标准车牌的颜色直方图信息,并进行存储,供后续的直接使用,不需要重复计算或下载。由于目前市场上应用的标准车牌包括蓝牌、黄牌、白牌、黑牌四种车牌,故在本实施例中预先获取蓝牌、黄牌、白牌、黑牌四种标准车牌的72维HSV颜色直方图信息,即T=4。可以通过离线下载、在线下载、外接设备、出厂预设等方式获取标准车牌的72维HSV颜色直方图信息,也可以通过上述方式直接获取标准车牌的颜色、类型等基本信息,再根据标准车牌的基本信息计算标准车牌的72维HSV颜色直方图信息。所述车牌定位方法包括以下步骤:
S1对原图像进行降采样、灰度处理及增强处理得到灰度图像。如图2所示,具体过程如下:
S11对输入的原彩色图像I0进行降采样处理,具体为对原彩色图像I0宽度方向采样1/M,高度方向采样1/N:
dWidth=((width/M)/BITWIDE)*BITWIDE (11)
dHeight=height/N (12)
其中,width和height分别为原图像的宽度和高度,dWidth和dHeight分别为降采样后的图像I1的宽度和高度,BITWIDE为原彩色图像I0中的位宽。在实际应用中,M可以在[2,8]之间取值,N可以在[2,4]之间取值。在本实施例中优选为M=3,N=2。
S12对降采样后的彩色图像灰度化,得到灰度图像I2。具体灰度变换公式(14):
灰度图像I2的像素值L=0.299*R+0.587*G+0.114*B (14)
其中,R、G、B分别为灰度化前彩色图像中红、绿、蓝的颜色强度值。
S13对灰度化后的灰度图像I2进行增强变换,得到图像I3:
其中,a,b为图像增强前的灰度值,c,d为图像增强后分别对应的灰度值,L为图像I2增强前的像素值,L′为图像I3增强后的像素值。在本实施例中设置a=30,c=60,b=210,d=180。
S2对灰度图像I3进行级联形态学变换并二值化,并对联通区域进行初步筛选得到若干个候选区域。所述对灰度图像进行级联形态学变换并二值化的过程具体采用公式(1)、(2)、(3)、(4)、(5)进行计算:
MPT(I3)=Dilate(Otsu(WTH(I3)+BTH(I3))) (1)
WTH(I3)=I3-(I3οE) (2)
BTH(I3)=(I3·E)-I3 (3)
其中,Dilate为膨胀变换,Otsu为最大类间算法,对图像进行二值化,WTH为冒顶变换,BTH为帽底变换,和分别为腐蚀操作和膨胀操作,I3为经过步骤S1得到的灰度图像,E为形态学的结构元素。
如图3所示,所述步骤S2具体过程如下:
S21对步骤S1得到的图像进行帽顶变换WTH(I3)和帽底变换BTH(I3);
WTH(I3)=I3-(I3◇E) (2)
BTH(I3)=(I3·E)-I3 (3)
S22将帽顶变换WTH(I3)和帽底变换BTH(I3)进行相加运算;
S23将帽顶变换WTH(I3)和帽底变换BTH(I3)相加后的结果进行二值化Otsu;
S24将二值化后的结果进行膨胀变换Dilate,膨胀变换后的图像为二值化图像;
S25在膨胀变换后的二值化图像上求取联通区域;
S26根据标准车牌的宽高比和面积大小信息对连通区域进行初步筛选。在本实施例中,筛选条件设为:候选区域图像宽度/标准车牌宽度大于3并且小于5,且候选区域面积大于设定的面积阈值。所述面积阈值根据经验值进行选取。经过筛选后得到的G个候选区域RS,其中,G为自然数,第g个候选区域表示为RS(g)。
S3计算每一个(总共有G个)候选区域的72维HSV颜色直方图信息分别与每一种(总共有T=4种)标准车牌的72维HSV颜色直方图信息的相似度,并根据相似度判定车牌区域。
如图4所示,在本实施例中所述步骤S3的具体流程如下:
s31获取下一候选区域的72维HSV颜色直方图信息。其中候选区域的72维HSV颜色直方图信息的计算过程具体为:将H色调空间划分8等分区域;在饱和度和亮度空间分别划分为3个等分区域,该候选区域的72维HSV颜色直方图为该候选区域图像在每个维度上的平均值。
s32计算当前候选区域的72维HSV颜色直方图信息分别与T种标准车牌的72维HSV颜色直方图信息的相似度,即颜色直方图的NNC计算。具体采用公式(6)依次计算候选区域的72维HSV颜色直方图信息与标准车牌的72维HSV颜色直方图信息的相似度:
其中,HX(i)为该候选区域的72维HSV颜色直方图信息;HSt(i)为第t种标准车牌的72维HSV颜色直方图信息;d0为颜色直方图的维度,d0=72;Rt为该候选区域的72维HSV颜色直方图信息与第t种标准车牌的颜色直方图信息的相似度。
s33对当前候选区域的72维HSV颜色直方图信息与T种标准车牌的72维HSV颜色直方图信息的相似度(R1,R2,……Rt,……,RT)进行排序。
s34判断当前候选区域的72维HSV颜色直方图信息与T种标准车牌的72维HSV颜色直方图信息的最大相似度Rmax是否大于预设的相似度阈值THRESH_PLATE,若是则执行步骤s35,否则执行步骤s37。
s35判定该候选区域为车牌区域,执行步骤S36。
s36判定该候选区域对应的车牌颜色为最大相似度Rmax对应的标准车牌的颜色,执行步骤s38。
s37判定该候选区域为非车牌区域,执行步骤S38。
s38判断当前候选区域是否为最后一个候选区域,若是则步骤S3结束,否则返回步骤s31。
S4通过降采样的逆运算将各车牌区域映射到原图像中得到相应的原车牌区域。具体采用公式(7)、(8)、(9)、(10)进行逆映射:
原车牌区域开始横坐标X=M*x0 (7)
原车牌区域开始纵坐标Y=N*y0 (8)
原车牌区域的宽度W=M*w0 (9)
原车牌区域的高度H=N*h0 (10)
其中,x0,y0,w0,h0分别为车牌区域对应的开始横坐标、开始纵坐标、宽度、高度。
步骤S4得到原车牌区域后,判断原车牌区域的坐标是否在原彩色图像I0中,丢弃原车牌区域中不在原彩色图像I0中的像素点。
如图5所示,一种基于级联形态学变换的车牌定位系统,包括:
标准车牌信息获取单元10,预先获取T种标准车牌的颜色直方图信息;
图像预处理单元20,对原图像进行降采样及灰度处理得到灰度图像;
候选区域定位单元30,对灰度图像进行级联形态学变换并二值化,并对联通区域进行初步筛选得到若干个候选区域;
车牌判决单元40,计算各候选区域的颜色直方图信息分别与标准车牌的颜色直方图信息的相似度,并根据相似度判定车牌区域;
车牌定位结果映射单元50,通过降采样的逆运算将各车牌区域映射到原图像中得到相应的原车牌区域。
所述候选区域定位单元具体采用公式(1)、(2)、(3)、(4)、(5)对灰度图像进行级联形态学变换并二值化:
MPT(I)=Dilate(Otsu(WTH(I)+BTH(I))) (1)
WTH(I)=I-(IοE) (2)
BTH(I)=(I·E)-I (3)
其中,Dilate为膨胀变换,Otsu为最大类间算法,对图像进行二值化,WTH为冒顶变换,BTH为帽底变换,和分别为腐蚀操作和膨胀操作,I为降采样之后的灰度图像,膨胀变换Dilate后得到的PMT(I)是一幅二值化图像。通过级联形态学变换凸显车牌的候选区域,提高车牌的候选区域定位的鲁棒性,准确度高达99.5%。
如图6所示,所述车牌判决单元包括:
颜色直方图计算模块401,分别计算各候选区域的颜色直方图信息;
相似度计算模块402,计算各候选区域的颜色直方图信息分别与T种标准车牌的颜色直方图信息的相似度;
车牌区域判断模块403,根据相似度及预设的相似度阈值THRESH_PLATE依次判定各候选区域是否为车牌区域。
所述相似度计算模块具体采用公式(6)计算候选区域的颜色直方图信息与标准车牌的颜色直方图信息的相似度:
其中,HX(i)为候选区域的颜色直方图信息;HSt(i)为标准车牌的颜色直方图信息;d0为颜色直方图的维度,d0=72;Rt为候选区域的颜色直方图信息与第t种标准车牌的颜色直方图信息的相似度。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。