CN105447487A - 一种车牌识别系统的评测方法及系统 - Google Patents

Abstract

本发明公开了一种车牌识别系统的评测方法及系统，方法包括：获取车牌识别系统评测所需的数据图像集；将获取的数据图像集划分为第一子图像集和第二子图像集，其中，第一子图像集为中国机动车号牌标准中除临时车牌之外的其它27种机动车号牌图像集，第二子图像集为包含中国机动车号牌标准中除临时车牌之外的其它37种机动车号牌汉字的图像集；对车牌识别系统进行车牌种类识别能力评测、车牌定位性能评测以及汉字识别性能评测、数字字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间评测；根据评测结果生成车牌识别系统的评测报告以及系统优化方案。本发明具有全面、系统和准确的优点，可广泛应用于系统评测领域。

Description

一种车牌识别系统的评测方法及系统

技术领域

本发明涉及系统评测领域，尤其是一种车牌识别系统的评测方法及系统。

背景技术

车牌识别系统(LicensePlateRecognition，简称LPR)作为智能交通系统中的一个重要课题，已经成为国内外学者研究的热点问题。它既可以用于高速公路收费系统和停车场智能管理系统，也可以用于安防等方面，大大提高了智能化管理的水平，减少了人力物力，降低了劳动强度，提供了较先进的技术管理手段。

车牌识别技术得以迅速发展主要归功于以下三个因素：车牌识别算法的发展、大规模车牌数据库的获得以及对识别算法进行综合性能评测的方法，其中，对识别算法和系统功能的综合评测是推动识别技术进步的一个动力。通过综合的评测，可以帮助用户找到合适的产品，帮助各研究机构和开发商能够发现自身技术的不足，并通过观察参加综合性能评测各个系统的表现，发现有价值的研究方向，寻求技术上的突破口，从而推动识别技术的总体进步。

近年来，虽然已出现了不少车牌识别商业系统和各种各样的车牌识别算法，但是，车牌识别系统的评测方法并没有得到相应的发展。目前车牌识别系统的评测方法只有《GA/T833-2009机动车号牌图像自动识别技术规范》中规定了一些评测指标，如号牌结构识别率、号牌颜色识别率、号牌号码识别率及识别时间等。

传统车牌识别系统的评测方法存在以下缺陷：

(1)片面性

我国的机动车号牌种类多样，车牌组成元素复杂(包括汉字、字母和数字等)，所以传统车牌识别系统性能的评测描述包括号牌结构识别率、号牌颜色识别率、号牌号码识别率以及识别时间等。常见的车牌识别系统由图像获取、车牌定位、字符分割、字符识别以及识别后处理这几部分组成，实际上这几部分并不是独立的，每一步的识别又与整个车牌的识别效果密不可分。传统的号牌号码识别率仅能表示识别通过的数量比率，各个部分间的识别性能是孤立的，并没有对各部分间的识别性能进行联合比较说明，也不能表示识别通过的质量换句话说，当一种算法在某种条件下的识别性能高于同类算法时，实际上却没有显示出在其他条件下该算法识别性能落后的可能性。所以，传统的车牌识别评价标准不够全面和系统，不足以发现和说明问题，评测结果缺乏指导意义。

(2)缺乏完整的评测方案。

虽然各个研究机构和研究者都会对其算法或者系统进行测试，但是大多数测试在数据选择、测试方法和评价标准等方面不够全面和系统，这容易导致测试所用的数据不准确，测试方法不严谨等问题，而使得测试结果缺乏意义。

发明内容

为了解决上述技术问题，本发明的目的是：提供一种全面、系统和准确的，车牌识别系统的评测方法。

本发明的另一目的是：提供一种全面、系统和准确的，车牌识别系统的评测系统。

本发明解决其技术问题所采用的技术方案是：

一种车牌识别系统的评测方法，包括：

A、获取车牌识别系统评测所需的数据图像集；

B、将获取的数据图像集划分为第一子图像集和第二子图像集，其中，第一子图像集为中国机动车号牌标准中除临时车牌之外的其它27种机动车号牌图像集，第二子图像集为包含中国机动车号牌标准中除临时车牌之外的其它37种机动车号牌汉字的图像集；

C、根据第一子图像集、第二子图像集和获取的数据图像集对车牌识别系统进行车牌种类识别能力评测、车牌定位性能评测以及汉字识别性能评测、数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间评测；

D、根据步骤C的评测结果生成车牌识别系统的评测报告以及系统优化方案。

进一步，所述步骤C，其包括：

C1、根据第一子图像集对车牌识别系统进行车牌种类识别能力评测和车牌定位性能评测，得到车牌种类识别能力和车牌定位率；

C2、根据第二子图像集对车牌识别系统进行车牌省市简称和车牌汉字识别能力评测，得到汉字识别率；

C3、根据获取的数据图像集对车牌识别系统进行数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间性能评测，得到数字和字母识别率、整牌识别率、颜色识别率和识别时间。

进一步，所述车牌定位率包括粗定位率、准确定位率和错误定位率，所述粗定位率为车牌识别系统准确定位到的车牌图像数量加上含有车牌区域的图像数量后得到的数量总和与实际含有的车牌数量的比值，所述准确定位率为车牌识别系统准确定位到的车牌图像数量与实际含有的车牌数量的比值，所述错误定位率为车牌识别系统检测到的非车牌区域图像数量与实际含有的车牌数量的比值。

进一步，所述汉字识别率为车牌识别系统准确识别出的汉字数量与第二子图像集准确定位到的车牌的汉字总数量的比值，所述数字和字母识别率为车牌识别系统准确识别出的字母和数字的数量与获取的数据图像集准确定位到的车牌的字母和数字总数量的比值。

进一步，所述整牌识别率为车牌识别系统能准确定位出车牌并能准确识别出车牌中的每一个字符和车牌颜色的车牌数量，与获取的数据图像集中车牌总数量的比值。

进一步，所述颜色识别率为车牌识别系统能准确识别出车牌颜色的数量，与获取的数据图像集中准确定位到的车牌总数量的比值。

进一步，所述步骤C的评测结果包括功能评测结果和性能评测结果，所述功能评测结果数据包括车牌种类识别能力，所述性能评测结果数据包括粗定位率、准确定位率、错误定位率、数字和字母识别率、整牌识别率、颜色识别率和识别时间。

本发明解决其技术问题所采用的技术方案是：

一种车牌识别系统的评测系统，包括：

获取模块，用于获取车牌识别系统评测所需的数据图像集；

划分模块，用于将获取的数据图像集划分为第一子图像集和第二子图像集，其中，第一子图像集为中国机动车号牌标准中除临时车牌之外的其它27种机动车号牌图像集，第二子图像集为包含中国机动车号牌标准中除临时车牌之外的其它37种机动车号牌汉字的图像集；

评测模块，用于根据第一子图像集和第二子图像集对车牌识别系统进行车牌种类识别能力评测、车牌定位性能评测以及汉字识别性能评测，并根据获取的数据图像集对车牌识别系统进行数字字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间评测；

生成模块，用于根据评测模块的评测结果生成车牌识别系统的评测报告以及系统优化方案；

所述获取模块的输出端依次通过划分模块和评测模块进而与生成模块的输入端连接。

进一步，所述评测模块，其包括：

第一子图像集评测单元，用于根据第一子图像集对车牌识别系统进行车牌种类识别能力评测和车牌定位性能评测，得到车牌种类识别能力和车牌定位率；

第二子图像集评测单元，用于根据第二子图像集对车牌识别系统进行车牌省市简称和车牌汉字识别能力评测，得到汉字识别率；

全图像集评测单元，用于根据获取的数据图像集对车牌识别系统进行数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间性能评测，得到数字和字母识别率、整牌识别率、颜色识别率和识别时间；

所述第一子图像集评测单元的输入端与划分模块的输出端连接，所述第一子图像集评测单元的输出端依次通过第二子图像集评测单元和全图像集评测单元进而与生成模块的输入端连接。

本发明的方法的有益效果是：综合考虑了中国机动车号牌的实际使用情况，将获取的数据图像集按照中国机动车号牌标准划分为第一子图像集和第二子图像集，并结合划分的结果进行车牌种类识别能力评测、车牌定位性能评测以及汉字识别性能评测、数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间性能评测，为系统的进一步优化提供了更加全面和准确的评价结果；根据车牌定位率与识别率的关系对车牌识别系统进行综合评测，在传统评价算法的基础上增加了定位率与识别率的关系评价，将车牌识别系统的各个部分间的识别性能有机结合起来，评价结果更加全面和系统。进一步，将作为车牌定位性能评测指标的车牌定位率划分为粗定位率、准确定位率和错误定位率，评价起来更加全面和准确。

本发明的系统的有益效果是：综合考虑了中国机动车号牌的实际使用情况，将获取的数据图像集按照中国机动车号牌标准划分为第一子图像集和第二子图像集，并结合划分的结果进行车牌种类识别能力评测、车牌定位性能评测以及汉字识别性能评测、数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间性能评测，为系统的进一步优化提供了更加全面和准确的评价结果；根据车牌定位率与识别率的关系对车牌识别系统进行综合评测，在传统评价算法的基础上增加了定位率与识别率的关系评价，将车牌识别系统的各个部分间的识别性能有机结合起来，评价结果更加全面和系统。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明一种车牌识别系统的评测方法的整体流程图；

图2为本发明步骤C的流程图；

图3为本发明一种车牌识别系统的评测系统的整体结构图；

图4为本发明评测模块的结构框图；

图5为《GA36-2007中华人民共和国机动车号牌》标准的一种号牌样式；

图6为本发明实施例一的评价指标体系；

图7为本发明实施例一中准确车牌图像的示意图；

图8为本发明实施例一中含有车牌区域的图像的示意图；

图9为本发明实施例一中非车牌区域的图像的示意图；

图10为本发明实施例一中车牌定位测试结果样图；

图11为本发明实施例一的系统评测方案流程图；

图12为本发明实施例二中五个系统对警用车牌的定位结果示意图；

图13为本发明实施例二中五个系统对香港出入境车牌的定位结果示意图；

图14为本发明实施例二中五个系统对小型汽车牌的定位结果示意图；

图15为本发明实施例二中五个系统对大车后牌的定位结果示意图；

图16为本发明实施例二中五个系统对大车前牌的定位结果示意图；

图17为本发明实施例二中五个系统对教练车牌的定位结果示意图；

图18为本发明实施例二中五个系统对单层军车牌的定位结果示意图；

图19为本发明实施例二中五个系统对单层武警车牌的定位结果示意图；

图20为本发明实施例二警用车牌的粗定位结果示意图；

图21为本发明实施例二武警车牌的粗定位结果示意图；

图22为本发明实施例二大车后牌的粗定位结果示意图；

图23为本发明实施例二系统A的汉字识别结果示意图；

图24为本发明实施例二系统B的汉字识别结果示意图；

图25为本发明实施例二系统C的汉字识别结果示意图；

图26为本发明实施例二系统D的汉字识别结果示意图；

图27为本发明实施例二系统E的汉字识别结果示意图。

具体实施方式

参照图1，一种车牌识别系统的评测方法，包括：

A、获取车牌识别系统评测所需的数据图像集；

B、将获取的数据图像集划分为第一子图像集和第二子图像集，其中，第一子图像集为中国机动车号牌标准中除临时车牌之外的其它27种机动车号牌图像集，第二子图像集为包含中国机动车号牌标准中除临时车牌之外的其它37种机动车号牌汉字的图像集；

C、根据第一子图像集、第二子图像集和获取的数据图像集对车牌识别系统进行车牌种类识别能力评测、车牌定位性能评测以及汉字识别性能评测、数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间评测；

D、根据步骤C的评测结果生成车牌识别系统的评测报告以及系统优化方案。

参照图2，进一步作为优选的实施方式，所述步骤C，其包括：

C1、根据第一子图像集对车牌识别系统进行车牌种类识别能力评测和车牌定位性能评测，得到车牌种类识别能力和车牌定位率；

C2、根据第二子图像集对车牌识别系统进行车牌省市简称和车牌汉字识别能力评测，得到汉字识别率；

C3、根据获取的数据图像集对车牌识别系统进行数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间性能评测，得到数字和字母识别率、整牌识别率、颜色识别率和识别时间。

进一步作为优选的实施方式，所述车牌定位率包括粗定位率、准确定位率和错误定位率，所述粗定位率为车牌识别系统准确定位到的车牌图像数量加上含有车牌区域的图像数量后得到的数量总和与实际含有的车牌数量的比值，所述准确定位率为车牌识别系统准确定位到的车牌图像数量与实际含有的车牌数量的比值，所述错误定位率为车牌识别系统检测到的非车牌区域图像数量与实际含有的车牌数量的比值。

进一步作为优选的实施方式，所述汉字识别率为车牌识别系统准确识别出的汉字数量与第二子图像集准确定位到的车牌的汉字总数量的比值，所述数字和字母识别率为车牌识别系统准确识别出的字母和数字的数量与获取的数据图像集准确定位到的车牌的字母和数字总数量的比值。

进一步作为优选的实施方式，所述整牌识别率为车牌识别系统能准确定位出车牌并能准确识别出车牌中的每一个字符和车牌颜色的车牌数量，与获取的数据图像集中车牌总数量的比值。

进一步作为优选的实施方式，所述颜色识别率为车牌识别系统能准确识别出车牌颜色的数量，与获取的数据图像集中准确定位到的车牌总数量的比值。

进一步作为优选的实施方式，所述步骤C的评测结果包括功能评测结果和性能评测结果，所述功能评测结果数据包括车牌种类识别能力，所述性能评测结果数据包括粗定位率、准确定位率、错误定位率、数字和字母识别率、整牌识别率、颜色识别率和识别时间。

参照图3，一种车牌识别系统的评测系统，包括：

获取模块，用于获取车牌识别系统评测所需的数据图像集；

划分模块，用于将获取的数据图像集划分为第一子图像集和第二子图像集，其中，第一子图像集为中国机动车号牌标准中除临时车牌之外的其它27种机动车号牌图像集，第二子图像集为包含中国机动车号牌标准中除临时车牌之外的其它37种机动车号牌汉字的图像集；

评测模块，用于根据第一子图像集和第二子图像集对车牌识别系统进行车牌种类识别能力评测、车牌定位性能评测以及汉字识别性能评测，并根据获取的数据图像集对车牌识别系统进行数字字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间评测；

生成模块，用于根据评测模块的评测结果生成车牌识别系统的评测报告以及系统优化方案；

所述获取模块的输出端依次通过划分模块和评测模块进而与生成模块的输入端连接。

参照图4，进一步作为优选的实施方式，所述评测模块，其包括：

第一子图像集评测单元，用于根据第一子图像集对车牌识别系统进行车牌种类识别能力评测和车牌定位性能评测，得到车牌种类识别能力和车牌定位率；

第二子图像集评测单元，用于根据第二子图像集对车牌识别系统进行车牌省市简称和车牌汉字识别能力评测，得到汉字识别率；

全图像集评测单元，用于根据获取的数据图像集对车牌识别系统进行数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间性能评测，得到数字和字母识别率、整牌识别率、颜色识别率和识别时间；

所述第一子图像集评测单元的输入端与划分模块的输出端连接，所述第一子图像集评测单元的输出端依次通过第二子图像集评测单元和全图像集评测单元进而与生成模块的输入端连接。

下面结合说明书附图和具体实施例对本发明作进一步详细说明。

实施例一

本发明结合了《GA36-2007中华人民共和国机动车号牌》标准、《GA/T833-2009机动车号牌图像自动识别技术规范》和实际车牌识别的流程，提出了一种新的车牌识别系统评测算法，该算法主要包括：

(1)评测数据

根据《GA36-2007中华人民共和国机动车号牌》中的规定，本发明将待评测的数据分为两类，一类是包含27种机动车号牌图像集(不包含临时号牌)，如表1和图5所示；另一类是包含38个机动车号牌汉字的图像集(不包含临时号牌)，如表2所示。

表127种机动车号牌

序号	机动车号牌种类	颜色及层数
			1	小型汽车	蓝底白字，单层
2	大型汽车(前牌)	黄底黑字，单层

3	大型汽车(后牌)	黄底黑字，双层
			4	挂车	黄底黑字，双层
5	教练汽车	黄底黑字，单层
			6	警用汽车	白底黑字，红“警”字，单层
7	军牌汽车(单层)	白底黑字和红字，单层
			8	军牌汽车(双层)	白底黑字和红字，双层
9	武警牌车(单层)	白底黑字和红字，单层
			10	武警牌车(双层)	白底黑字和红字，双层
11	香港出入境车	黑底白字，单层
			12	澳门出入境车	黑底白字，单层
13	使馆汽车	黑底白字，红“使”字，单层6 -->
			14	领馆汽车	黑底白字，红“领”字，单层
15	普通摩托车(前牌)	黄底黑字，单层
			16	普通摩托车(后牌)	黄底黑字，双层

17	轻便摩托车(前牌)	蓝底白字，单层
			18	轻便摩托车(后牌)	蓝底白字，双层
19	使馆摩托车(前牌)	黑底白字，单层
			20	使馆摩托车(后牌)	黑底白字，红“使”字，双层
21	领馆摩托车(前牌)	黑底白字，红“领”字，单层
			22	领馆摩托车(后牌)	黑底白字，红“领”字，双层
23	教练摩托车(前牌)	黄底黑字，单层
			24	教练摩托车(后牌)	黄底黑字，双层
25	警用摩托车	白底黑字，红“警”字，双层
			26	低速车	黄底黑字，双层
27	拖拉机	绿底白字，双层

表2机动车号牌中的38个汉字

序号	车牌种类	汉字	序号	地区名称	汉字
						1	北京市车辆	京	20	广西壮族自治区车辆	桂
2	天津市车辆	津	21	海南省车辆	琼
						3	河北省车辆	翼	22	重庆市车辆	渝
4	山西省车辆	晋	23	四川省车辆	川

5	内蒙古自治区车辆	蒙	24	贵州省车辆	贵
						6	辽宁省车辆	辽	25	云南省车辆	云
7	吉林省车辆	吉	26	西藏自治区车辆	藏
						8	黑龙江省车辆	黑	27	陕西省车辆	陕
9	上海市车辆	沪	28	甘肃省车辆	甘
						10	江苏省车辆	苏	29	青海省车辆	青
11	浙江省车辆	浙	30	宁夏回族自治区车辆	宁
						12	安徽省车辆	皖	31	新疆维吾尔自治区车辆	新
13	福建省车辆	闽	32	挂车	挂
						14	江西省车辆	赣	33	教练汽车	学
15	山东省车辆	鲁	34	警用汽车	警
						16	河南省车辆	豫	35	香港出入境车	港
17	湖北省车辆	鄂	36	澳门出入境车	澳
						18	湖南省车辆	湘	37	使馆汽车	使
19	广东省车辆	粤	38	领馆汽车	领

(2)评测指标

结合《GA/T833-2009机动车号牌图像自动识别技术规范》和实际车牌识别的流程，本发明将评测指标分为两部分，如图6所示，一部分是系统功能评测，是指系统对于27种机动车号牌的识别能力；另一部分是系统性能评测，性能评测分为5个评测指标：整牌识别率、车牌定位率、字符识别率、颜色识别率、识别时间。其中，车牌定位率又可进一步分为粗定位率、准确定位率和错误定位率，而字符识别率又进一步分为汉字识别率及字母和数字识别率。

对于车牌识别系统来说，车牌定位率和字符识别率是非常关键的两个指标，下面对性能评测指标进行详细论述。

2.1车牌定位性能评测指标

车牌定位的任务是从包含车牌的图像中提取出所有车牌子图像或者判断图片中是否有车牌。这是车牌识别系统中关键的一步，能否定位准确直接影响着后续字符识别的效果。

对于待测图像集G，设其实际含有的车牌数量为N_LP。车牌识别系统测试待测图像集G时，有可能定位到三类图像：准确车牌图像，如图7所示，是指系统定位到的区域是完整的车牌图像区域，其数量为N_A；含有车牌区域的图像，如图8所示，指系统定位到的区域是不完整的车牌图像区域，其数量为N_B；非车牌区域的图像，如图9所示，是指系统定位到的区域是不包含车牌图像区域，其数量为N_C。

对于输入的一张待测图像，车牌定位结果会出现以下几种情况：(1)系统没有输出定位结果；(2)系统只定位到“非车牌区域的图像”；(3)系统只定位到“准确车牌图像”；(4)系统只定位到“含有车牌区域的图像”；(5)系统同时定位到“准确车牌图像”和“非车牌区域图像”；(6)系统同时定位到“含有车牌区域的图像”和“非车牌区域的图像”；(7)系统同时定位到“准确车牌图像”、“含有车牌区域的图像”和“非车牌区域的图像”；(8)系统同时定位到“准确车牌图像”和“含有车牌区域的图像”。一般情况下(7)和(8)不会出现，因为系统一般不会同时定位到“准确车牌图像”和“含有车牌区域的图像”。在上述8种定位结果中最理想的情况是系统只定位到准确车牌图像。

根据上述的描述，在这里给出如下定义：

定义1车牌错误定位率(FalseDetectionRate)R_C

车牌错误定位率R_C是指识别系统检测到的非车牌区域的图像数量N_C与实际含有的车牌数量N_LP的比值，如下式(1)所示。

$R_C=\frac{N_C}{N_{LP}}---\left(1\right)$

定义2车牌粗定位率(ApproximateDetectionRate)R_AB

车牌粗定位率是指系统准确定位到的车牌图像的数量N_A加上含有车牌区域的图像的数量N_B与实际含有的车牌数量N_LP的比值，如下式(2)所示。

$R_{AB}=\frac{N_A+N_B}{N_{LP}}---\left(2\right)$

定义3车牌准确定位率(AccurateDetectionRate)R_A

车牌准确定位率是指系统准确定位到的车牌图像的数量N_A与实际含有的车牌数量N_LP的比值，如下式(3)所示。

$R_A=\frac{N_A}{N_{LP}}---\left(3\right)$

图10是车牌定位测试的结果示意图，横轴为某个车牌识别系统(算法)，纵轴为定位率，长方形的上边缘为粗定位率，长方形的下边缘为准确定位率，长方形上下边缘间的距离表示系统只能定位到一部分车牌图像区域(如双层车牌，只定位到一层)的车牌数量在所有车牌数量中的比率，即N_B/N_LP，这个比率表明系统定位算法的可提升空间大小。

2.2车牌字符识别性能评测指标

经过车牌定位之后，下一步的工作就是把车牌中的每个字符识别出来，字符识别是衡量车牌识别系统性能的最重要的、也是最直接的指标；而字符识别又与车牌定位的效果密切相关，只有定位做好了，字符识别才有可能有好的表现。如图6所示，字符识别率包括汉字识别率和字母数字识别率。

定义4汉字识别率(ChineseCharacterRecognitionRate)R_CC

汉字识别率是指系统能准确识别出汉字的数量N_CC，与待测图像集中准确定位到车牌中的汉字总数量的比值，如下式(4)所示。

$R_{CC}=\frac{N_{CC}}{N_A*m}---\left(4\right)$

公式(4)中，m指每个车牌中汉字的数量(这里默认待测图集中每个车牌的汉字数量相同，如果不相同，则以实际能准确定位到车牌中的汉字总数量为准)。

定义5字母和数字识别率(LetterandNumberRecognitionRate)R_LN

字母和数字识别率是指系统准确识别出的字母和数字的数量N_LN，与待测图像集中准确定位到车牌中的字母和数字总数量的比值，如下式(5)所示。

$R_{LN}=\frac{N_{LN}}{N_A*k}---\left(5\right)$

公式(5)中，k指每个车牌中字母和数字的数量(这里默认待测图集中每个车牌的字母和数字数量相同，如果不相同，则以实际能准确定位到车牌中的字母和数字总数量为准)。

2.3其他识别性能评测指标

定义6整牌识别率(LicensePlateRecognitionRate)R_LPR

整牌识别率是指对于输入的图像集，系统能准确定位出车牌，并且能准确识别出车牌中的每一个字符和车牌颜色的车牌数量N_LPR，与待测样本中车牌总数量N_LP的比值，如下式(6)所示。

$R_{LPR}=\frac{N_{LPR}}{N_{LP}}---\left(6\right)$

定义7颜色识别率(LicensePlateColorRecognitionRate)R_CR

颜色识别率是指系统准确识别出车牌颜色的数量N_CR，与待测图像集中准确定位到的车牌总数量的比值。

$R_{CR}=\frac{N_{CR}}{N_A}---\left(7\right)$

而对于识别时间，本发明以《GA/T833-2009机动车号牌图像自动识别技术规范》规定的识别时间为准。

(3)评测方案流程设计

本发明对于待测图像集G，首先将G按照表1和表2分为G1和G2两类图像集，然后针对不同的评测指标，用不同的测试数据进行测试。图11为车牌识别系统评测方案流程图。

目前车牌定位的方法主要是用车牌的特征信息进行定位，例如基于车牌的颜色特征、纹理特征、区域形状特征等方法，由于表1中27种车牌的结构、车牌的颜色搭配以及车牌中汉字和字母的位置等都不相同，所以可以用27种车牌来测试系统的车牌定位能力，故本发明选用数据G1来测试系统对于车牌种类的识别能力和车牌定位的能力，并选用数据G2来测试系统对于表2中的31个省市的简称和“挂”、“使”、“领”、“港”、“澳”、“学”、“警”等车牌中汉字的识别效果，用所有待测图像集G来测试字母和数字识别率、整牌识别率、颜色识别率、识别时间等评测指标。

实施例二

本实施例采用本发明的方法对5家优秀的商业车牌识别系统(分别是系统A、B、C、D和E)进行了车牌定位测试和车牌识别测试。其中，所采用的测试数据为5242张高速公路卡口高清彩色图片，图像分辨率为1600*1200，包含各种结构类型的车牌，以及各省、自治区、直辖市车牌；图像中车牌区域水平像素分辨率在130-160之间，成像清晰。

下面对本实施例生成评测报告和系统优化建议的过程进行详细说明。

(a)评测报告一---系统功能评测结果

系统功能的评测结果如表3所示，“”表示系统有识别某类车牌的功能。从表3可以看出，对于27种机动车号牌，系统A能识别的种类最多，能够识别15种车牌，系统C能识别的种类最少，只能够识别7种比较常见的车牌，而且这五个系统都不能识别各类摩托车车牌和领馆车牌。

表3五个系统功能评测结果

(b)评测报告二----系统性能评测结果

表4是五个系统性能评测结果，从表4评测指标的数据可以看出：(1)对于本实施例所选的测试数据，这5个车牌识别系统中整牌识别率最好的是系统B，能够达到90％以上，而其他的系统都在80％左右；(2)这5个车牌识别系统除了车牌定位和汉字识别有待改进外，其他的评测指标都能够达到比较高的水平，所以这5个车牌识别系统的瓶颈在于车牌定位和汉字识别。

表4五个系统性能评测结果

图12-19是五个系统对于不同种类车牌定位的测试结果，结果显示，这五个系统对于小型汽车牌的定位效果最好，而对于警用车牌、武警车牌和大车后牌的定位效果最差，会出现很多车牌粗定位的情况。通过测试统计数据得知，这三类车牌粗定位中有95％的定位情况如图20-22所示，图中绿色方框为系统定位到的车牌图像区域，对于图20中的警用车牌，系统没有定位到“警”字，并且错误定位到了警示灯上的“POLICE”；对于图21中的武警车牌，系统没有定位到“W”字母，这是因为警用车牌是白底红“警”字车牌，武警车牌是白底红“WJ+汉字”车牌，由于白底红字的纹理特征和边缘特征不够明显，系统总是不能准确定位这两类车牌中红字的区域，所以这两类车牌的粗定位率比较高；对于图22中的大车后牌，系统只定位到下半部分，这是因为大车后牌是双层车牌，系统对于双层车牌的定位总是会出现偏差，只定位到双层车牌的一半,。

车牌中的字符包括三种：汉字、数字和字母，其中，汉字如表2所示，共38个(不包含临时车牌)；数字有10个，为0-9；字母有26个为A-Z。测试结果表明，这五个系统对于26个字母和10个数字的识别率都在99％以上，而对于汉字的识别能力则各不同。图23-27是这五个系统汉字识别的结果，可以看出系统B的汉字识别能力最好，每个汉字的识别率都能都达到95％或以上，系统D的汉字识别能力最差，只是对于一小部分汉字有较高的识别力，而系统C和系统A则对于个别汉字的识别效果比较差。

(c)系统优化建议

参考上述的评测报告一和二，本发明对这五个系统分别给出了如下优化建议：

系统--A的优化建议为：

1)提高车牌准确定位率，减少车牌漏定位的情况(除小型汽车车牌之外)；

2)减少车牌错误定位率；

3)提高部分汉字的识别率，如“冀”、“鄂”等汉字。

系统B的优化建议为：

1)提高双层车牌和白底红字车牌的准确定位率；

2)减少车牌错误定位率。

系统C的优化建议为：

1)提高双层车牌和白底红字车牌的定位率；

2)提高部分汉字的识别率，如“警”、“琼”、“粤”等汉字；

3)增加能识别车牌的种类。

系统D的优化建议为：

1)提高双层车牌和白底红字车牌的定位率；

2)提高汉字识别率；

3)增加能识别车牌的种类。

系统E的优化建议：

1)提高双层车牌和白底红字车牌的定位率；

2)减少车牌错误定位率；

3)提高汉字识别率。

本实施例针对车牌识别中的不同问题(主要是车牌定位和字符识别)，使用了不同的测试数据，并增加了定位率与识别率的关系评价，能够体现出流程中的不同模块的作用；评价指标系统全面，测试方法简单有效，可以帮助各研究机构和开发商发现自身车牌识别系统的不足之处，从而有针对性地进行改进。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种车牌识别系统的评测方法，其特征在于：包括：

A、获取车牌识别系统评测所需的数据图像集；

B、将获取的数据图像集划分为第一子图像集和第二子图像集，其中，第一子图像集为中国机动车号牌标准中除临时车牌之外的其它27种机动车号牌图像集，第二子图像集为包含中国机动车号牌标准中除临时车牌之外的其它37种机动车号牌汉字的图像集；

C、根据第一子图像集、第二子图像集和获取的数据图像集对车牌识别系统进行车牌种类识别能力评测、车牌定位性能评测以及汉字识别性能评测、数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间评测；

D、根据步骤C的评测结果生成车牌识别系统的评测报告以及系统优化方案。

2.根据权利要求1所述的一种车牌识别系统的评测方法，其特征在于：所述步骤C，其包括：

C1、根据第一子图像集对车牌识别系统进行车牌种类识别能力评测和车牌定位性能评测，得到车牌种类识别能力和车牌定位率；

C2、根据第二子图像集对车牌识别系统进行车牌省市简称和车牌汉字识别能力评测，得到汉字识别率；

C3、根据获取的数据图像集对车牌识别系统进行数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间性能评测，得到数字和字母识别率、整牌识别率、颜色识别率和识别时间。

3.根据权利要求2所述的一种车牌识别系统的评测方法，其特征在于：所述车牌定位率包括粗定位率、准确定位率和错误定位率，所述粗定位率为车牌识别系统准确定位到的车牌图像数量加上含有车牌区域的图像数量后得到的数量总和与实际含有的车牌数量的比值，所述准确定位率为车牌识别系统准确定位到的车牌图像数量与实际含有的车牌数量的比值，所述错误定位率为车牌识别系统检测到的非车牌区域图像数量与实际含有的车牌数量的比值。

4.根据权利要求2所述的一种车牌识别系统的评测方法，其特征在于：所述汉字识别率为车牌识别系统准确识别出的汉字数量与第二子图像集准确定位到的车牌的汉字总数量的比值，所述数字和字母识别率为车牌识别系统准确识别出的字母和数字的数量与获取的数据图像集准确定位到的车牌的字母和数字总数量的比值。

5.根据权利要求2所述的一种车牌识别系统的评测方法，其特征在于：所述整牌识别率为车牌识别系统能准确定位出车牌并能准确识别出车牌中的每一个字符和车牌颜色的车牌数量，与获取的数据图像集中车牌总数量的比值。

6.根据权利要求2所述的一种车牌识别系统的评测方法，其特征在于：所述颜色识别率为车牌识别系统能准确识别出车牌颜色的数量，与获取的数据图像集中准确定位到的车牌总数量的比值。

7.根据权利要求3-6任一项所述的一种车牌识别系统的评测方法，其特征在于：所述步骤C的评测结果包括功能评测结果和性能评测结果，所述功能评测结果数据包括车牌种类识别能力，所述性能评测结果数据包括粗定位率、准确定位率、错误定位率、数字和字母识别率、整牌识别率、颜色识别率和识别时间。

8.一种车牌识别系统的评测系统，其特征在于：包括：

获取模块，用于获取车牌识别系统评测所需的数据图像集；

划分模块，用于将获取的数据图像集划分为第一子图像集和第二子图像集，其中，第一子图像集为中国机动车号牌标准中除临时车牌之外的其它27种机动车号牌图像集，第二子图像集为包含中国机动车号牌标准中除临时车牌之外的其它37种机动车号牌汉字的图像集；

评测模块，用于根据第一子图像集和第二子图像集对车牌识别系统进行车牌种类识别能力评测、车牌定位性能评测以及汉字识别性能评测，并根据获取的数据图像集对车牌识别系统进行数字字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间评测；

生成模块，用于根据评测模块的评测结果生成车牌识别系统的评测报告以及系统优化方案；

所述获取模块的输出端依次通过划分模块和评测模块进而与生成模块的输入端连接。

9.根据权利要求8所述的一种车牌识别系统的评测系统，其特征在于：所述评测模块，其包括：

第一子图像集评测单元，用于根据第一子图像集对车牌识别系统进行车牌种类识别能力评测和车牌定位性能评测，得到车牌种类识别能力和车牌定位率；

第二子图像集评测单元，用于根据第二子图像集对车牌识别系统进行车牌省市简称和车牌汉字识别能力评测，得到汉字识别率；

全图像集评测单元，用于根据获取的数据图像集对车牌识别系统进行数字和字母识别性能评测、整牌识别性能评测、颜色识别性能评测和识别时间性能评测，得到数字和字母识别率、整牌识别率、颜色识别率和识别时间；

所述第一子图像集评测单元的输入端与划分模块的输出端连接，所述第一子图像集评测单元的输出端依次通过第二子图像集评测单元和全图像集评测单元进而与生成模块的输入端连接。