CN103413147A - 一种车牌识别方法和系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，特别涉及一种车牌识别方法和系统。该方法包括步骤：先进行单排车牌识别，如果识别到，则输出识别结果；如果识别到且是黄颜色的车牌，则获取车牌附近图片信息；在图片的整个区域中，查找黄颜色区域；判断是否找到矩形区域，否，则返回并输出最开始的车牌识别结果，是，则获取图片的彩色特征信息与边缘信息；在所有矩形区域中，找到具有双排车牌特征的矩形区域；把具有双排车牌特征的区域信息提取出来，并进行车牌识别；对双排车牌，用矩形区域位置作为双排车牌的车牌位置；输出第二车牌识别结果。该系统，包括单排车牌识别模块、双排车牌识别模块、输出模块和数据模型训练模块。该方法和系统，提高了车牌识别准确率。

Description

一种车牌识别方法和系统

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种车牌识别方法和系统。

背景技术

交通的智能化与管理自动化是未来的发展趋势，特别是基于视频图像处理的智能交通管理将会快速发展。视频图像处理中，视频识别技术以其方便性、精确性、快捷性得到了广泛的认可，很多交通管理领域都开始使用视频识别技术。其中，视频识别中较为核心的一项应用就是车牌识别。

中国专利申请《一种车牌识别方法及其系统》（申请号201210535195.0）提供了一种车牌识别方法，该方法包括：在监控场安装至少两个摄像机，指定其中一个摄像机为主机，其他摄像机为从机，所述主机与各从机通过网络连接，当监控到有车辆驶入所述监控场时，所述主机和各从机从不同角度拍摄所述车辆的车牌的图像，并依据所述车牌的图像获取拍摄信息，各从机通过网络将获取的拍摄信息发送给所述主机，所述主机对自身获取的拍摄信息和接收到的从机发送的拍摄信息进行仲裁，输出仲裁结果。可见，该方法主要侧重点在于对车牌图像的准确获取，而对于车牌图像如何进行处理以实现识别则一笔带过，而实际情况中，车辆除了具有单排车牌以外，还有一些车辆为双排车牌，除此专利申请外，以前传统的技术中大多都没有考虑车牌具有双排车牌和单排车牌对于车牌识别的影响，因此，以前传统的技术中的车牌识别方法，存在不能对双排车牌和单排车牌进行区分识别而导致识别准确率不高的技术缺陷。

发明内容

本发明的目的在于提供一种车牌识别方法和系统，以解决上述的问题。

在本发明的实施例中提供了一种车牌识别方法，包括步骤：

先进行单排车牌识别，如果识别到，则输出第一车牌识别结果；

如果识别到车牌，且是黄颜色的车牌，则获取包括车牌在内的图片信息；

在所述图片的整个区域中，查找黄颜色区域；

判断是否找到矩形区域，否，则返回并输出最开始的第一车牌识别结果，是，则获取图片的彩色特征信息与边缘信息；

在所有矩形区域中，找到具有双排车牌特征的矩形区域；

把所述具有双排车牌特征的区域信息提取出来，提取包括车牌在内的区域，并进行车牌识别；

对双排车牌，把识别结果前2字改为预设特殊符号，并用矩形区域位置作为双排车牌的车牌位置；

输出第二车牌识别结果。

其中，所述步骤进行单排车牌识别包括步骤：

对图片进行边缘检测；

进行字符笔画检测；

对笔画信息进行整理；

根据笔画信息检测字符；

根据以上信息检测车牌；

确定车牌边界；

对车牌图片进行倾斜矫正；

检测边缘并二值化；

进行字符分割；

检测每个字符，并进行字符识别；

对字符进行尺寸归一化，用神经网络算法进行分类识别，识别时调用经过训练得到的神经网络模型的数据；

得到并输出第一车牌识别结果。

其中，还包括自动识别车牌颜色，对车牌颜色的识别步骤，具体包括：

根据车牌的颜色对的先验知识，再对像素点的HSL颜色统计，计算车牌图像中每个像素点的HSL颜色值，进行统计，计算出车牌整体颜色。

其中，所述步骤对字符尺寸进行归一化之后还包括步骤：

从字符图像中提取特征，对图像中每个像素点，比较当前像素点的值与周围各方向的像素点的值，如果当前像素点的值小于其周围像素点的值，则将当前像素点的分数加上2的n次方，并将该分数保存至byte类型的数组中；

通过计算统计直方图，得到最终用于分类识别的特征向量；

用经过训练得到的神经网络数据模型进行分类识别，把所述特征向量输入到神经网络中，从神经网络运算得到输出结果；选择所有字符中得分最大的一个字符作为最终识别结果。

其中，所述神经网络模型，用于记录车牌字符识别规则，是用神经网络算法进行训练，用图片样本或特征数据作为训练样本，经过不断的迭代运算，最终得到的数据模型；

所述步骤进行字符识别步骤，包括：

通过所述神经网络模型再结合神经网络算法，对每个字符进行分类识别，得到字符识别结果。

其中，所述步骤判断是否找到矩形区域包括步骤：

先把彩色图片转为灰度图片；

进行多次运算，第一次用边缘检测的方法获取二值图，再几次用不同的阈值计算获取二值图；

在二值图中寻找轮廓；

对每个轮廓，用指定精度拟合出多边形，得到多边形边缘线序列；

如果有相互平行的满足矩形特征的边缘线，则认为检测到了矩形。

本发明实施例还提供一种车牌识别系统，包括单排车牌识别模块、双排车牌识别模块、输出模块和数据模型训练模块；

所述单排车牌识别模块，用于对单排车牌进行识别，同时，它也为双排车牌的识别提供信息；

所述双排车牌识别模块，用于对双排的车牌进行识别；进行单排车牌识别后，如果识别到，则输出第一车牌识别结果；如果识别到车牌，且是黄颜色的车牌，则获取包括车牌在内的图片信息；在所述图片的整个区域中，查找黄颜色区域；判断是否找到矩形区域，否，则返回并输出最开始的第一车牌识别结果，是，则获取图片的彩色特征信息与边缘信息；在所有矩形区域中，找到具有双排车牌特征的矩形区域；把所述具有双排车牌特征的区域信息提取出来，提取包括车牌在内的区域，并进行车牌识别；对双排车牌，把识别结果前2字改为预设特殊符号，并用矩形区域位置作为双排车牌的车牌位置；

所述输出模块，用于输出第一车牌识别结果和第二车牌识别结果；

所述数据模型训练模块，用于从图片样本或特征数据中训练得到神经网络模型的数据，训练后，根据这些数据，再结合神经网络算法对各个字符进行识别。

其中，所述单排车牌识别模块，用于对图片进行边缘检测；进行字符笔画检测；对笔画信息进行整理；根据笔画信息检测字符；根据以上信息检测车牌；确定车牌边界；对车牌图片进行倾斜矫正；检测边缘并二值化；进行字符分割；检测每个字符，并进行字符识别；对字符进行尺寸归一化，用神经网络算法进行分类识别，识别时调用经过训练得到的神经网络模型的数据；得到第一车牌识别结果。

其中，所述单排车牌识别模块单独使用或者与所述双排车牌识别模块并行使用。

还包括颜色识别模块；

所述颜色识别模块，用于根据车牌的颜色对的先验知识，再对像素点的HSL颜色统计，计算车牌图像中每个像素点的HSL颜色值，进行统计，计算出车牌整体颜色。

其中，还包括特征提取与分类识别模块；

所述特征提取与分类识别模块，用于从图像中提取特征，对字符图像中每个像素点，比较当前像素点的值与周围各方向的像素点的值，如果当前像素点的值小于其周围像素点的值，则将当前像素点的分数加上2的n次方，并将该分数保存至byte类型的数组中；通过计算统计直方图，得到最终用于分类识别的特征向量；把所述特征向量输入到神经网络中，从神经网络运算得到输出结果；然后，选择所有字符中得分最大的一个字符作为最终识别结果。

本发明上述实施例的一种车牌识别方法和系统，能够实现双排车牌和单排车牌区别处理，能够同时识别单排车牌和双排车牌，可以防止对双排车牌按照单排车牌的识别方式进行识别而导致的识别率不高的问题，进一步提高车牌识别准确率。

附图说明

图1为本发明的一种车牌识别方法的一个实施例的流程图；

图2为本发明的一种车牌识别方法的一个实施例中单排车牌识别的流程图；

图3为本发明的一种车牌识别系统的一个实施例的结构示意图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

本发明实施例提供了一种车牌识别方法，参见图1所示，包括步骤：

先进行单排车牌识别，如果识别到，则输出第一车牌识别结果；

如果识别到车牌，且是黄颜色的车牌，则获取包括车牌在内的图片信息；

在所述图片的整个区域中，查找黄颜色区域；

判断是否找到矩形区域，否，则返回并输出最开始的第一车牌识别结果，是，则获取图片的彩色特征信息与边缘信息；

在所有矩形区域中，找到具有双排车牌特征的矩形区域；

把所述具有双排车牌特征的区域信息提取出来，提取包括车牌在内的区域，并进行车牌识别；

对双排车牌，把识别结果前2字改为预设特殊符号，并用矩形区域位置作为双排车牌的车牌位置；

输出第二车牌识别结果。

其中，判断车牌为双排车牌还是单排车牌，主要是依据车牌底色、车牌边界的矩形区域的宽高比以及车牌上字符分布特征，判断车牌是否为双排车牌。

若双排车牌底色发生变化，则本领域技术人员可根据实际情况去统计不同颜色的车牌底色，本发明实施例不一一列举。

其中，检测该车牌中是否包含矩形区域，包括步骤：先获取车牌区域二值图，获取轮廓边缘线，对边缘线进行拟合，得到边缘线的直线序列，然后判断这些直线序列，如果有4条左右的边缘线，且大致平行，则认为检测到了矩形。

判断在所有矩形区域中，是否具有与双排车牌特征相符的矩形区域，主要是通过如下步骤：

对每个矩形区域计算其与双排车牌的相似度，用4个分数来估计这个相似度，车牌左上角区域一个分数，车牌右上角区域一个分数，车牌整体区域一个分数，黄颜色所占的面积一个分数。

其中的黄颜色是用HSV颜色模型计算并判断得到的。对于左上角区域和右上角区域的分数，当黄颜色像素点比值更高则分数高，当边缘线数量比值低则分数高。对于整体区域的分数，当黄颜色像素点数占所有像素点数的比值高时，分数就高。

然后，把这4个分数计算加权和，得到最终的相似度。

同时，双排车牌宽高比还要满足一定的比例，如果不满足比例，则将相似度置为-1。

在多个矩形区域中，将与双排车牌相似度最大的矩形区域，作为最终的双排车牌区域。

此实施例仅是一种情况，在不同需要时，会依不同情况更改算法，本发明实施例不一一列举。

所述预设特殊符号，可以为“*”“#”号等等，具体可由本领域技术人员根据实际情况具体确定，本发明不一一列举。

在车牌识别过程中，也要识别车牌颜色，优选地，本发明实施例还提供了输出车牌颜色的功能，该功能主要是通过以下步骤实现：根据现行车牌字符颜色与背景颜色设置规则，并计算图像中车牌每个像素点的HSL颜色值，对图像中车牌的像素点进行HSL颜色统计，计算出车牌颜色。也就是说，根据先验知识，比如蓝底白字、黄底黑字等颜色对，再加上对像素点的HSL颜色统计，即计算车牌图像中每个像素点的HSL颜色值，进行统计，最终计算出车牌整体颜色。

参见图2所示，对单排车牌进行识别是对双排车牌进行识别的基础操作，该操作包括：

对图片进行边缘检测；

进行字符笔画检测；

对笔画信息进行整理；

根据笔画信息检测字符；

根据以上信息检测车牌；

确定车牌边界；

对车牌图片进行倾斜矫正；

检测边缘并二值化；

进行字符分割；

检测每个字符，并进行字符识别；

对字符进行尺寸归一化，用神经网络算法进行分类识别，识别时调用经过训练得到的神经网络模型的数据；

得到并输出第一车牌识别结果。

具体地，对字符尺寸进行归一化之后，从字符图像中提取特征，对图像中每个像素点，比较当前像素点的值与周围各方向的像素点的值，如果当前像素点的值小于其周围像素点的值，则将当前像素点的分数加上2的n次方，并将该分数保存至byte类型的数组中；通过计算统计直方图，得到最终用于分类识别的特征向量；把所述特征向量输入到神经网络中，从神经网络运算得到输出结果；选择所有字符中得分最大的一个字符作为最终识别结果。

这里用到了神经网络数据模型，神经网络数据模型中保存了用于字符识别的信息，是用大量图片样本或特征数据训练神经网络模型得到的一个数据文件，用好这个数据文件，就能用神经网络算法识别字符了。

该车牌识别系统，可以包含以下三个函数，分别用于初始化，内存释放，和车牌识别：

bool PLR_Initialize();

void PLR_Release();

int PLR_Process(BYTE*RGBData,int Pic_Width,int Pic_Height,int Pic_BitCount,int nLeftTopX,int nLeftTopY,int nRightBottomX,intnRightBottomY,int*nColor,char*szPlate,int*nCredity,int*nPlateX,int*nPlateY,int*nPlateWidth,int*nPlateHeight);

其中：PLR_Process是车牌识别函数，RGBData是图像数据，Pic_Width是图像宽度，Pic_Height是图像高度，还可输入要识别的区域。然后，函数运行后的返回值为nColor及其后的那些参数，分别代表车牌颜色、车牌号码、确信度、车牌位置等。

需要说明的是，以上的函数只是一种形式，具体的函数名与函数参数会因实际情况而不同，比如不同的操作系统、不同的使用地点，具体函数会有所不同，但都实现了车牌识别功能，本发明虽未一一列举，但是都是本领域技术人员根据本发明的技术构思较容易得到的，因此都属于本发明的保护范围。

所述双排车牌识别包含了单排车牌识别，在识别过程中，会调用单排车牌识别功能。默认的是用“双排或任意车牌识别”，识别过程中会自动判断是否需要进行“单排车牌识别”。在使用过程中，也可以单独仅使用单排车牌识别功能。具体用哪种类型的车牌识别，用户可根据需要而进行选择，调用的函数也可能各不相同。

本发明还提供了一种车牌识别系统，参见图3所示，包括单排车牌识别模块1、双排车牌识别模块2、数据模型训练模块3和输出模块4。

所述单排车牌识别模块1，用于对单排车牌进行识别，同时，它也为双排车牌的识别提供信息。

所述双排车牌识别模块2，用于先进行单排车牌识别，如果识别到，则输出第一车牌识别结果；如果识别到车牌，且是黄颜色的车牌，则获取包括车牌在内的图片信息；在所述图片的整个区域中，查找黄颜色区域；判断是否找到矩形区域，否，则返回并输出最开始的第一车牌识别结果，是，则获取图片的彩色特征信息与边缘信息；在所有矩形区域中，找到具有双排车牌特征的矩形区域；把所述具有双排车牌特征的区域信息提取出来，提取包括车牌在内的区域，并进行车牌识别；对双排车牌，把识别结果前2字改为预设特殊符号，并用矩形区域位置作为双排车牌的车牌位置。

用户可以仅使用单排车牌识别模块，把它作为一个独立可用的模块；也可以同时使用单排车牌识别和双排车牌识别2个模块。即本发明所提供的单排车牌识模块，可以独立于双排车牌识别模块完成单排车牌识别，而无论是仅使用单排车牌识别模块还是同时使用两个模块，都应属于本发明的保护范围。

所述输出模块4，用于输出第一车牌识别结果和第二车牌识别结果。

所述数据模型训练模块3，用于从万张图片样本或特征数据中训练得到神经网络模型的数据，训练后，用这些数据再结合神经网络算法对各个字符进行识别。

优选地，所述双排车牌识别模块2在执行过程中，需要调用单排车牌识别模块1。

所述单排车牌识别模块1，用于对图片进行边缘检测；进行字符笔画检测；对笔画信息进行整理；根据笔画信息检测字符；根据以上信息检测车牌；确定车牌边界；对车牌图片进行倾斜矫正；检测边缘并二值化；进行字符分割；检测每个字符，并进行字符识别；对字符进行尺寸归一化，用神经网络算法进行分类识别，识别时调用经过训练得到的神经网络模型的数据；得到第一车牌识别结果。

优选地，还包括颜色识别模块。

所述颜色识别模块，用于根据车牌的颜色对的先验知识，再对像素点的HSL颜色统计，计算车牌图像中每个像素点的HSL颜色值，进行统计，计算出车牌整体颜色。

优选地，还包括特征提取与分类识别模块。

所述特征提取与分类识别模块，从字符图像中提取特征，对图像中每个像素点，比较当前像素点的值与周围各方向的像素点的值，如果当前像素点的值小于其周围像素点的值，则将当前像素点的分数加上2的n次方，并将该分数保存至byte类型的数组中；通过计算统计直方图，得到最终用于分类识别的特征向量；把所述特征向量输入到神经网络中，从神经网络运算得到输出结果；然后选择所有字符中得分最大的一个字符作为最终识别结果。

该车牌识别算法能运行于Windows、Linux、DSP、嵌入式等，有操作系统和无操作系统都可以使用此车牌识别算法。此算法提供给用户的是一个函数接口，用户调用此函数就能得到车牌识别结果，此功能在任意的硬件平台上都能实现。

本发明实施例所提供的一种车牌识别方法和系统，通过建立识别算法，把含有车牌图像的RGB或JPEG数据输入到函数中，就可以获得含有车牌号码、车牌颜色、车牌具体位置的识别结果，该系统和方法可以对任意分辨率的图像进行识别，其识别速度非常快，小图片能达到30ms，识别率能达到98%，能准确的识别蓝色、黑色、白色及黄色四种车牌，能识别全国各省份的车牌，可以通过设置省份优先级，提高识别率。这样，通过该系统，用户可以把车牌图像数据输入该系统，并输入要识别的区域，就能全自动识别出车牌号码、车牌颜色、车牌位置等，并提供给用户。

另外，该方法和系统，对于单排车牌、双排车牌、任意类型、变分辨率的车牌都可以识别，其识别速度快，识别率高，对环境的适应性强，还可以通过设置省份优先级，提高识别率，能广泛应用于智能交通系统和电子警察系统中。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车牌识别方法，其特征在于，包括步骤：

先进行单排车牌识别，如果识别到，则输出第一车牌识别结果；

如果识别到车牌，且是黄颜色的车牌，则获取包括车牌在内的图片信息；

在所述图片的整个区域中，查找黄颜色区域；

判断是否找到矩形区域，否，则返回并输出最开始的第一车牌识别结果，是，则获取图片的彩色特征信息与边缘信息；

在所有矩形区域中，找到具有双排车牌特征的矩形区域；

把所述具有双排车牌特征的区域信息提取出来，提取包括车牌在内的区域，并进行车牌识别；

对双排车牌，把识别结果前2字改为预设特殊符号，并用矩形区域位置作为双排车牌的车牌位置；

输出第二车牌识别结果。

2.根据权利要求1所述的车牌识别方法，其特征在于，所述步骤进行单排车牌识别包括步骤：

对图片进行边缘检测；

进行字符笔画检测；

对笔画信息进行整理；

根据笔画信息检测字符；

根据以上信息检测车牌；

确定车牌边界；

对车牌图片进行倾斜矫正；

检测边缘并二值化；

进行字符分割；

检测每个字符，并进行字符识别；

对字符进行尺寸归一化，用神经网络算法进行分类识别，识别时调用经过训练得到的神经网络模型的数据；

得到并输出第一车牌识别结果。

3.根据权利要求2所述的车牌识别方法，其特征在于，还包括自动识别车牌颜色，对车牌颜色的识别步骤，具体包括：

根据车牌的颜色对的先验知识，再对像素点的HSL颜色统计，计算车牌图像中每个像素点的HSL颜色值，进行统计，计算出车牌整体颜色。

4.根据权利要求2所述的车牌识别方法，其特征在于，所述步骤对字符进行尺寸归一化之后还包括步骤：

从字符图像中提取特征，对图像中每个像素点，比较当前像素点的值与周围各方向的像素点的值，如果当前像素点的值小于其周围像素点的值，则将当前像素点的分数加上2的n次方，并将该分数保存至byte类型的数组中；

通过计算统计直方图，得到最终用于分类识别的特征向量；

用经过训练得到的神经网络数据模型进行分类识别，把所述特征向量输入到神经网络中，从神经网络运算得到输出结果；选择所有字符中得分最大的一个字符作为最终识别结果。

5.根据权利要求2所述的车牌识别方法其特征在于，所述神经网络模型，用于记录车牌字符识别规则，是用神经网络算法进行训练，用图片样本或特征数据作为训练样本，经过不断的迭代运算，最终得到的数据模型；

所述步骤进行字符识别步骤，包括：

通过所述神经网络模型再结合神经网络算法，对每个字符进行分类识别，得到字符识别结果。

6.根据权利要求1所述的车牌识别方法，其特征在于，所述步骤判断是否找到矩形区域包括步骤：

先把彩色图片转为灰度图片；

进行多次运算，第一次用边缘检测的方法获取二值图，再几次用不同的阈值计算获取二值图；

在二值图中寻找轮廓；

对每个轮廓，用指定精度拟合出多边形，得到多边形边缘线序列；

如果有相互平行的满足矩形特征的边缘线，则认为检测到了矩形。

7.一种车牌识别系统，其特征在于，包括单排车牌识别模块、双排车牌识别模块、输出模块和数据模型训练模块；

所述单排车牌识别模块，用于对单排车牌进行识别；

所述双排车牌识别模块，用于对双排的车牌进行识别；进行单排车牌识别后，如果识别到，则输出第一车牌识别结果；如果识别到车牌，且是黄颜色的车牌，则获取包括车牌在内的图片信息；在所述图片的整个区域中，查找黄颜色区域；判断是否找到矩形区域，否，则返回并输出最开始的第一车牌识别结果，是，则获取图片的彩色特征信息与边缘信息；在所有矩形区域中，找到具有双排车牌特征的矩形区域；把所述具有双排车牌特征的区域信息提取出来，提取包括车牌在内的区域，并进行车牌识别；对双排车牌，把识别结果前2字改为预设特殊符号，并用矩形区域位置作为双排车牌的车牌位置；

所述输出模块，用于输出第一车牌识别结果和第二车牌识别结果；

所述数据模型训练模块，用于从图片样本或特征数据中训练得到神经网络模型的数据，训练后，根据这些数据，再结合神经网络算法对各个字符进行识别。

8.根据权利要求7所述的车牌识别系统，其特征在于，所述单排车牌识别模块，用于：

对图片进行边缘检测；进行字符笔画检测；对笔画信息进行整理；根据笔画信息检测字符；根据以上信息检测车牌；确定车牌边界；对车牌图片进行倾斜矫正；检测边缘并二值化；进行字符分割；检测每个字符，并进行字符识别；对字符进行尺寸归一化，用神经网络算法进行分类识别，识别时调用经过训练得到的神经网络模型的数据；得到第一车牌识别结果。

9.根据权利要求7所述的车牌识别系统，其特征在于，所述单排车牌识别模块单独进行使用或者与所述双排车牌识别模块并行使用；

该系统还包括颜色识别模块，用于根据车牌的颜色对的先验知识，再对像素点的HSL颜色统计，计算车牌图像中每个像素点的HSL颜色值，进行统计，计算出车牌整体颜色。

10.根据权利要求7所述的车牌识别系统，其特征在于，还包括特征提取与分类识别模块；

所述特征提取与分类识别模块，用于从字符图像中提取特征，对图像中每个像素点，比较当前像素点的值与周围各方向的像素点的值，如果当前像素点的值小于其周围像素点的值，则将当前像素点的分数加上2的n次方，并将该分数保存至byte类型的数组中；通过计算统计直方图，得到最终用于分类识别的特征向量；把所述特征向量输入到神经网络中，从神经网络运算得到输出结果；然后选择所有字符中得分最大的一个字符作为最终识别结果。

Images