CN106778741B - 一种基于手持终端拍摄的复杂背景图像中的车牌定位方法 - Google Patents

Abstract

本发明涉及图像处理领域，具体公开了一种基于手持终端拍摄的复杂背景图像中的车牌定位方法。使用手持终端设备拍摄含有车牌的复杂背景图像，建立复杂背景图像中车辆区域的检测分割模型，分割出位于图像前景中的车辆区域后，提取车辆区域的色调特征信息，结合车牌的先验色调信息实现车牌粗定位，进一步提取粗定位的车牌区域的几何高宽比特征和区域字符‑背景颜色像素比，去除伪车牌，实现车牌的精确定位。本方法基于手持终端采集含车牌的复杂背景图像，能快速地实现车牌定位，具有较高的车牌定位准确率。

Description

一种基于手持终端拍摄的复杂背景图像中的车牌定位方法

技术领域

本发明主要涉及到数字图像处理领域，特指一种基于手持终端拍摄的复杂背景图像中的车牌定位方法。

背景技术

随着经济和社会的飞速发展，车辆的发展随之呈现爆发式增长，车辆的科学化管理成为日益凸显的一个重要的研究课题，车牌号码的自动识别是其中的一个重要研究方面。传统的车牌识别系统主要是基于固定平台和固定场景，图像采集不够灵活，识别方法较为单一，车牌识别系统的应用范围受到极大限制。

基于手持终端的车牌号码识别系统，是基于便携的手持终端设计的一种使用灵活的车牌识别系统，可以广泛的应用到各个场景的车牌识别，具有很高的实用价值。在车牌号码识别中首先要解决的问题就是车牌定位，车牌定位是车牌字符分隔和识别的基础，对车牌识别的准确率具有重要的影响，故而在实现车牌识别之前，必须首先解决车牌定位的问题。

基于手持终端的车牌定位，经常会受到一系列的背景因素的干扰，例如与车牌相近的颜色块和亮光区域，去除这一系列的干扰，实现手持终端拍摄的图像在复杂背景中的车牌定位，具有十分重要的意义。

基于手持终端拍摄的复杂背景图像中的车牌定位方法，是基于手持终端采集图像到实现车牌定位的方法。使用手持终端设备拍摄含有车牌的复杂背景图像，建立复杂背景图像中车辆区域的检测分割模型，去除复杂背景的干扰，分割出位于图像前景中的车辆区域；然后提取车辆区域的色调特征信息，结合车牌的先验色调信息，标记蓝、黄、白、黑等不同类型车牌的颜色像素点，将像素点分别在水平方向和垂直方向上做投影，得到车牌的位置坐标区间，在初始拍摄图像上按照投影所得坐标区间进行车牌区域分割，实现车牌的粗定位；进一步提取粗定位的车牌区域的几何高宽比特征和区域字符-背景颜色像素比，去除伪车牌，实现车牌的精确定位。基于手持终端拍摄的复杂背景图像中的车牌定位方法，可以较好的实现在复杂背景中，手持终端拍摄图像中的车牌号码的定位，是基于手持终端的车牌号码识别的重要组成部分。

发明内容

本发明要解决的技术问题在于：针对复杂背景中的车牌定位难的问题，提供一种基于手持终端拍摄的复杂背景图像中的车牌定位方法，提高了车牌定位的运算效率和应用范围，实现精确定位。

为解决上述技术问题，本发明提出的技术方案是：

一种基于手持终端拍摄的复杂背景图像中的车牌定位方法，包括以下步骤：

步骤一：基于手持终端拍摄含有车牌的复杂背景图像，实现图像的采集；

步骤二：建立复杂背景图像中车辆区域的检测分割模型，分割出位于图像前景中的车辆区域图像；

步骤三：提取从复杂背景中检测分割出的车辆区域图像的色调特征信息，结合车牌的先验色调信息，标记蓝、黄、白、黑等不同类型车牌的颜色像素点，将像素点分别在水平方向和垂直方向上做投影，得到车牌的位置坐标区间，在初始拍摄图像上按照投影所得坐标区间进行车牌区域分割，实现车牌的粗定位；

步骤四：提取粗定位的车牌区域的几何高宽比特征和区域字符-背景颜色像素比，去除伪车牌，实现车牌的精确定位。

作为本发明的进一步改进，所述步骤二还包括以下具体步骤：

步骤S21：建立复杂背景图像中车辆区域的检测分割模型。车辆区域和复杂背景分割的过程实质上就是一个二值标记问题，标记X＝{1,0}，其中1表示前景，0表示背景，分配给每一个像素点r(r∈Y，Y是图像所有像素点的集合)，使概率P(X|Y)最大。P(X|Y)的最大似然概率求解等价于吉布斯能量函数P_Λ(X；Y)最小化。前景和背景分割问题的模型可以表述为：

其中，Z_Λ是配分函数；λ1、λ2是表示势函数权重的常数；是所有像素点组成的类c₁的势函数，E_f、E_b分别表示前景边缘点和背景边缘点的集合，N_e表示非边缘点的集合，a₁、a₂为大于0的常数；是所有像素点四邻域点组成的类c2的势函数，N(r)是像素点r的邻域像素点集合，δ²为常数，c_i、c_j为节点r_i、r_j的RGB颜色矢量，函数δ(l_i,l_j)定义为：

其中，l_i、l_j为节点r_i、r_j的标记。

步骤S22：基于图分割的能量函数最小化，实现车辆区域图片的提取。为实现前景背景的最优分割，采用基于图分割的组合优化方法最小化能量函数，图的最小分割对应着最大流，实现图的最小分割即可找到最小化的能量函数。

作为本发明的进一步改进，所述步骤三还包括以下内容：

所述步骤三中提取从复杂背景中检测分割出的车辆区域图像的色调特征信息，是指将车牌区域图像转换为具有表示色调通道的HSI图像，提取车辆区域图像中所蕴含的色调信息分量H，其变换公式描述如下：

基于上述变换公式，可以得到待检测车辆区域HSI图像，提取图像的色调分量H，利用色调信息实现车牌的粗提取，同时利用颜色标记车牌，将定位的车牌进行分类。蓝色、黄色、黑色、白色对应的色调分量H分别是240、60、0、90。考虑到颜色可能受到噪声、光照条件等因素的干扰，H分量存在一定的波动，故分别对各种车牌颜色设定minH和maxH作为H分量检测的限定阈值，Bw表示车辆区域，车牌像素点提取过程描述如下：

在检测过程中加入反馈调节，先设定较小范围的初始阈值进行检测，如果不能检测到车牌，再逐步扩大阈值的检测范围，直到得出相应的车牌区域。将标记像素点分别在水平方向和垂直方向上做投影，得到车牌的位置坐标区间，在初始拍摄图像上按照投影所得坐标区间进行车牌区域分割，实现车牌的粗定位。

作为本发明的进一步改进，所述步骤四提取粗定位的车牌区域的几何高宽比特征和区域字符-背景颜色像素比中，提取车牌的几何特征主要是提取车牌的高宽比，提取颜色边缘检测信息，主要是提取粗定位车牌区域内的字符颜色和背景颜色的像素点的比值。由先验知识可知，标准车牌的高宽比为：140mm：440mm＝1:3.14，考虑到可能出现的形变因素，将这一比例设置为某一阈值范围。首先将区域分别进行水平和垂直的投影，得到区域的高度和宽度，如高宽比超出设定阈值范围，则认为该粗定位区域为伪车牌；进一步对粗定位车牌进行色彩边缘信息检测，得出字符和背景的区域，统计区域字符-背景颜色像素比，不在设定的区域字符-背景颜色像素比波动区间的区域择视为伪车牌，最终得到精确定位的车牌区域。

与现有技术相比较，本发明具有以下有益效果：

充分利用手持终端拍照的图像特征等特点，建立复杂背景图像中车辆区域的检测分割模型，分割出位于图像前景中的车辆区域，提取车辆区域的色调特征信息，结合车牌的先验色调信息实现车牌粗定位，进一步提取粗定位的车牌区域的几何高宽比特征和区域字符-背景颜色像素比，去除伪车牌，实现车牌的精确定位。相较于现有方法，该方法使用较为便携灵活的手持终端设备，较好的解决了复杂背景带来的车牌定位难度，提高了车牌定位的运算效率和应用范围，为基于手持终端的车牌识别系统奠定了基础。

附图说明

图1为本发明基于手持终端拍摄的复杂背景图像中的车牌定位的算法流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述：

如图1所示，本实施例提供的一种基于手持终端拍摄的复杂背景图像中的车牌定位方法，包括如下步骤：

步骤一：基于手持终端拍摄含有车牌的复杂背景图像，实现图像的采集；

步骤二：建立复杂背景图像中车辆区域的检测分割模型。车辆区域和复杂背景分割的过程实质上就是一个二值标记问题，将标记X＝{1,0}，其中1表示前景，0表示背景，分配给每一个像素点r(r∈Y，Y是图像所有像素点的集合)，使概率P(X|Y)最大。P(X|Y)的最大似然概率求解等价于吉布斯能量函数P_Λ(X；Y)最小化。前景和背景分割问题的模型可以表述为：

其中，Z_Λ是配分函数；λ1、λ2是表示势函数权重的常数；是所有像素点组成的类c₁的势函数，E_f、E_b分别表示前景边缘点和背景边缘点的集合，N_e表示非边缘点的集合，a₁、a₂为大于0的常数；是所有像素点四邻域点组成的类c₂的势函数，N(r)是像素点r的邻域像素点集合，δ²为常数，c_i、c_j为节点r_i、r_j的RGB颜色矢量，函数δ(l_i,l_j)定义为：l_i、l_j为节点r_i、r_j的标记。为实现前景和背景的最优分割，采用基于图分割的组合优化方法最小化能量函数，实现车辆区域图片的提取。

步骤三：提取从复杂背景中检测分割出的车辆区域图像的色调特征信息。是指将车辆区域图像转换为具有表示色调通道的HSI图像，提取车辆区域图像中所蕴含的色调信息分量H。其变换过程描述如下：

基于上述变换公式，可以得到待检测车辆区域HSI图像，提取图像的色调分量H，利用色调信息实现车牌的粗提取，同时利用颜色标记车牌，将定位的车牌进行分类。蓝色、黄色、黑色、白色对应的色调分量H分别是240、60、0、90。考虑到颜色可能受到噪声、光照条件等因素的干扰，H分量存在一定的波动，故分别对各种车牌颜色设定minH和maxH作为H分量检测的限定阈值，Bw表示车辆区域，车牌像素点提取过程描述如下：

在检测过程中加入反馈调节，先设定较小范围的初始阈值进行检测，如果不能检测到车牌，再逐步扩大阈值的检测范围，直到得出相应的车牌区域。将标记像素点分别在水平方向和垂直方向上做投影，得到车牌的位置坐标区间，在初始拍摄图像上按照投影所得坐标区间进行车牌区域分割，实现车牌的粗定位。

步骤四：提取粗定位的车牌区域的几何高宽比特征和区域字符-背景颜色像素比。提取车牌的几何特征主要是提取车牌的高宽比，提取颜色边缘检测信息，主要是提取粗定位车牌区域内的字符颜色和背景颜色的像素点的比值。由先验知识可知，标准车牌的高宽比为：140mm：440mm＝1:3.14，考虑到可能出现的形变因素，将这一比例设置为某一阈值范围。首先将区域分别进行水平和垂直的投影，得到区域的高度和宽度，如高宽比超出设定阈值范围，则认为该粗定位区域为伪车牌；进一步对粗定位车牌进行色彩边缘信息检测，得出字符和背景的区域，统计区域字符-背景颜色像素比，不在设定的区域字符-背景颜色像素比波动区间的区域择视为伪车牌，最终得到精确定位的车牌区域。

如上所述，本发明是一种基于手持终端拍摄的复杂背景图像中的车牌定位方法，基于手持终端拍摄的复杂背景图像中的车牌定位方法，充分利用手持终端拍照的图像特征等特点，建立复杂背景图像中车辆区域的检测分割模型，分割出位于图像前景中的车辆区域，提取车辆区域的色调特征信息，结合车牌的先验色调信息实现车牌粗定位，进一步提取粗定位的车牌区域的几何高宽比特征和区域字符-背景颜色像素比，去除伪车牌，实现车牌的精确定位。具体算法流程如图1所示。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则的内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围内。

Claims (3)

1.一种基于手持终端拍摄的复杂背景图像中的车牌定位方法，其特征在于，包括如下步骤：

步骤一：基于手持终端拍摄含有车牌的复杂背景图像，实现图像的采集；

步骤二：建立复杂背景图像中车辆区域的检测分割模型，具体采用基于图分割的组合优化方法最小化能量函数，分割出位于图像前景中的车辆区域图像；

前景和背景分割问题的模型用以下能量函数表示：

其中，Z_Λ是配分函数；λ1、λ2是表示势函数权重的常数；

是所有像素点组成的类c₁的势函数，E_f、E_b分别表示前景边缘点和背景边缘点的集合，N_e表示非边缘点的集合，a₁、a₂为大于0的常数；是所有像素点四邻域点组成的类c₂的势函数，N(r)是像素点r的邻域像素点集合，δ²为常数，c_i、c_j为节点r_i、r_j的RGB颜色矢量，函数δ(l_i,l_j)定义为：l_i、l_j为节点r_i、r_j的标记；

步骤三：提取从复杂背景中检测分割出的车辆区域图像的色调特征信息，将车辆区域图像转换为具有表示色调通道的HSI图像，提取车辆区域图像中所蕴含的色调信息分量H；

再结合车牌的先验色调信息，标记蓝、黄、白、黑不同类型车牌的颜色像素点，将像素点分别在水平方向和垂直方向上做投影，得到车牌的位置坐标区间，在初始拍摄图像上按照投影所得坐标区间进行车牌区域分割，实现车牌的粗定位；

步骤四：提取粗定位的车牌区域的几何高宽比特征和区域字符-背景颜色像素比，去除伪车牌，实现车牌的精确定位。

2.根据权利要求1所述的基于手持终端拍摄的复杂背景图像中的车牌定位方法，其特征在于，所述步骤三中车辆区域图像转换为HSI图像的过程如下：

基于上述变换过程，可以得到待检测车辆区域HSI图像，提取车辆区域图像的色调分量H，利用色调信息实现车牌的粗提取，同时利用颜色标记车牌，将定位的车牌进行分类；蓝色、黄色、黑色、白色对应的色调分量H分别是240、60、0、90；分别对各种车牌颜色设定minH和maxH作为H分量检测的限定阈值，Bw表示车辆区域，车牌像素点提取过程描述如下：

在检测过程中加入反馈调节，先设定较小范围的初始阈值进行检测，如果不能检测到车牌，再逐步扩大阈值的检测范围，直到得出相应的车牌区域；将标记像素点分别在水平方向和垂直方向上做投影，得到车牌的位置坐标区间，在初始拍摄图像上按照投影所得坐标区间进行车牌区域分割，实现车牌的粗定位。

3.根据权利要求1所述的基于手持终端拍摄的复杂背景图像中的车牌定位方法，其特征在于，所述步骤四中提取粗定位的车牌区域的几何高宽比特征和区域字符-背景颜色像素比中，提取车牌的几何特征为提取车牌的高宽比；提取颜色边缘检测信息为提取粗定位车牌区域内的字符颜色和背景颜色的像素点的比值；

设置一车牌高宽比阈值范围，首先将区域分别进行水平和垂直的投影，得到区域的高度和宽度，高宽比超出设定阈值范围，则认为该粗定位区域为伪车牌；进一步对粗定位车牌进行色彩边缘信息检测，得出字符和背景的区域，统计区域字符-背景颜色像素比，不在设定的区域字符-背景颜色像素比波动区间的区域则视为伪车牌，最终得到精确定位的车牌区域。