CN100357988C

CN100357988C - 基于三路并行人工神经网络的移动号牌识别方法

Info

Publication number: CN100357988C
Application number: CNB2005100245936A
Authority: CN
Inventors: 金庆江; 刘宗田; 徐秋红
Original assignee: Hefei Wenkang Science And Technology Co ltd; University of Shanghai for Science and Technology
Current assignee: ANHUI VOCATION TECHNOLOGY CO., LTD.
Priority date: 2005-03-24
Filing date: 2005-03-24
Publication date: 2007-12-26
Anticipated expiration: 2025-03-24
Also published as: CN1694130A

Abstract

本发明涉及一种基于三路并行人工神经网络的移动号牌识别方法。识别步骤为：对运动车辆视频图像的采集采用视频触发方式自动触发进行视频捕捉，对视频捕捉信号中的汽车号牌图像部分进行字符分割后作为神经网络的输入信号；所述的神经网络采用各有分工的三个标准的自适应震荡网络，即汉字识别网络、英文字母识别网络和数字识别网络，三个标准网络同时对输入向量信号进行识别，分别输出相似度最高的类别个体，通过号牌模板控制域值属性，经号牌精确识别滤波后，加上号牌颜色属性作为识别结果输出。采用本发明的方法，能对行驶中的车辆在最大允许运动速度下，迅速准确识别其车牌号。

Description

基于三路并行人工神经网络的移动号牌识别方法

技术领域：

本发明涉及一种号牌识别方法，更具体地说是一种针对行驶中的车辆进行目标号牌识别的方法。

背景技术：

行驶中的汽车作为被管理和控制的对象，必须对其身份进行确认。当前，基于汽车号牌视频识别的各种智能交通应用系统主要有：路口闯红灯自动识别系统、汽车超速现场处罚系统、卡口车辆识别系统、汽车自动缴费系统、停车场自动管理系统、移动电子警察系统等，作为上述系统关键传感器器件的汽车号牌自动识别系统必须具有快速、准确、容易获取的特点，这样才能达到实用化目的。

目前，国内外对汽车号牌视频识别主要采用三种模式：

第一种为模板匹配法，利用固定汽车牌照模板与待识别汽车号牌字符逐个像素比对。这种方法简单，但只适合尺寸固定、水平放置的情况，当车牌运动、旋转或观察角度变化时，容易误识别。

第二种为特征向量匹配法，利用汽车号牌中每个字符的笔画特征，把输入字符分解为具有笔画结构特征的集合，与字符库中的特征集合进行匹配，结构特征最匹配的字符就是该输入字符的识别结果。这种方法排除了尺寸、方向变化带来的干扰，但当字符残缺、有污损时不适用。基于这种技术的还有外围轮廓匹配、投影序列特征匹配等方法。

第三种方法为人工神经网络模糊识别法，利用汽车牌照字符点阵与待识别汽车号牌字符对象的模糊对应关系，采用人工神经网络技术对车牌号码进行精确识别。由于一般的神经网络分类器不需要对输入的模式做明显的特征提取，网络的隐层本身就具有特征提取功能，神经网络对模式信息的不完备式特征缺损不太敏感，和传统的模式识别方法比较起来，神经网络分类器在背景噪声统计特性未知的情况下，其性能更好，而且神经网络具有更好的推广和适应能力。这种办法基本克服了上述两种方法的弊端，已成为国际和国内主流技术。

采用人工神经网络技术以对号牌识别的研究主要集中在识别准确率、识别速度、训练学习的简易程度和收敛性等方面，可以采用的神经网络技术主要有BP前馈网络、ART1自适应震荡网络、SA-ART网络、BAM-BP网络等，各种方法各有千秋，数字和英文字母识别率基本可达到98％，汉字字符识别率从80％-90％不等，综合汽车牌照识别率为85％-90％，个别达到了95％。从具体应用情况来看，目前只在BP网络技术上有相关的应用，但BP网络存在训练周期长、聚类收敛慢、适应性差、可能产生极值问题。关于ART网络技术，尚未发现在号牌识别中进行实际应用，同时，已有的ART网络存在有精度与类扩散矛盾的问题。

发明内容：

本发明提供一种针对行驶中的车辆在最大允许运动速度下能够准确、迅速识别其车牌号的基于三路并行人工神经网络的移动号牌识别方法。

本发明解决问题所采用的技术方案是：

一种基于三路并行人工神经网络的移动车辆号牌识别方法，在于识别步骤如下：

1)、采集移动车辆号牌视频图像及对该视频图像的处理：

a)采用摄像机，对移动车辆号牌视频图像的采集，采用运动视频触发方式自动触发进行视频图像捕捉；

b)对上述捕捉到的视频图像进行字符分割后作为神经网络的输入信号；

2)、所述的神经网络采用各有分工的三个标准的自适应震荡神经网络(ART1)，即汉字识别网络(ART1-1)、英文字母识别网络(ART1-2)和数字识别网络(ART1-3)，三个标准网络同时对输入信号进行识别，其操作步骤是：

a、先对三个并行的神经网络分别进行训练，使识别系统达到所需的识别精度和适应性；

b、对输入信号进行识别：

①、从所述的三个识别网络中，对输入信号识别后分别输出相似度最高的三个类别个体，通过预先设定的车辆号牌模板的字符排列属性特点，对输出的所述三个类别个体，按照号牌字符域值属性进行唯一性选择，确保每个字符位输出的结果是最可能和相似度最高的；

②、在相似度达不到设定值时，按容错的方式处理进行输出；

③、当一个完整的车辆号牌经滤波，连续两次精确识别结果一致后，再加上车辆号牌颜色属性作为识别结果输出。

上述的运动视频触发方式自动触发进行视频图像捕捉的方法为：当移动车辆进入摄像机屏幕上的预设虚拟检测线圈时，将引起摄像机屏幕上的视频图像的变化，识别系统采用车辆号牌图形模板对该视频图像画面进行快速扫描，当发现可能号牌区域存在时，系统自动标记，当完成对该视频图像全画面的高速扫描后，再对所发现的多个区域进行分析判断，找出真正的车辆号牌进行分割和处理，这样可以完成对该视频图像单画面存在多个车辆号牌的捕捉和提高捕捉速度。

上述的神经网络的训练，是采用无导师训练和有导师训练相结合，即在三路并行神经网络分别完成所有类别的采样学习任务后，调整系统识别精度控制值，关闭神经网络ART1网络的新增类别功能，继续进行高精度识别训练，当系统提示有新类别产生时，通过人工选择和归类，不断强化识别精度和适应性，较好解决了ART1网络存在的精度与类扩散矛盾的问题。

上述神经网络的识别是采用复式识别法，即：连续两次识别，结果相同则输出，结果不同则重新识别，在可能的识别处理时间内，经多次连续识别，直至前后两次结果相同完成识别输出。

与已有技术相比，本发明的有益效果体现在：本发明针对中国汽车牌照的特点，在识别阶段采用三路并行ART1网络分类识别汉字、英文字母和数字，在神经网络训练阶段采用无导师和有导师干预的方法进行快速聚类，在神经网络输出阶段采用域值滤波和容错技术等。通过多技术的综合运用，克服了BP网络训练周期长、聚类收敛慢、适应性差，可能产生极值等问题，同时也克服了常规的自适应震荡网络ART1精度与类扩散矛盾的问题。实际测试，简单训练后单次识别准确率为80％，复式识别率为90％，5000次训练和容错后，路面移动动态实际识别准确率可达98％(一付汽车牌照7个字符有一位错误判错)，车辆运动速度小于160公里/小时时，系统能准确识别，检测目标和检测者可相对运动，系统稳定，性能可靠，达到了实用化程度。

附图说明：

图1是本发明实施例所识别的号牌例图。

图2是ART1网络信号处理框图。

图3是本发明基于三路并行神经网络的信号处理框图。

具体实施方式：

本发明的一个优选实施实例是：参见图1，本实施例是采用基于三路并行人工神经网络的移动汽车号牌识别办法，对一个号牌例“皖A81770”进行识别；步骤为：

1)、号牌视频图像的采集：

针对视频图像采用预设虚拟线圈运动视频触发方式自动触发进行视频捕捉，对视频捕捉信号进行字符分割后作为神经网络的输入信号。

运动视频触发方式的自动触发具体为，当运动车辆进入屏幕摄像机画面预设虚拟检测线圈时，将引起图像的变化，系统采用汽车号牌图形模板对画面进行快速扫描，当发现可能号牌区域存在时，系统自动标记，当完成对全画面的高速扫描后，再对所发现的多个区域根据牌照的像素对应关系进行分析判断，找出真正的号牌进行分割和处理，这样可以完成对单画面存在多个汽车号牌的捕捉和提高捕捉速度。

具体实施中，可以采用高分辨率数字一体摄像机，完成对运动车辆视频图像的采集，要求摄像机分辨率达500电视线以上，电子快门速度在1/1000秒以上，与计算机直接使用1394数字接口相连。

系统收到捕捉触发信号后，直接对屏幕显存信息进行采集处理，包括直接对单帧图像进行图像增强、图像滤波，将画面进行范化处理，然后再对图像进行二值处理，利用图像直方图展宽技术增强图像对比度，再利用车牌模板长宽关系，自动从下往上进行图像边界匹配搜索，当发现目标后，首先进行粗略定位，同时继续搜索直至完毕，对搜索到的可疑结果，按照牌照黑白色元素的比例关系初步淘汰假牌照，对最后可能的牌照进行图像挖取、大小倾斜调整、字符分割、归一化处理后，最后以矢量数组形式作为神经网络的输入信号，进行号牌的识别和数据的处理。

2)、号牌的识别：

在神经网络中，采用各有分工的三个标准的自适应震荡神经网络(ART1)，包括汉字识别网络ART1-1、英文字母识别网络ART1-2和数字识别网络ART1-3，三个标准网络同时对输入向量进行识别，从三个类中分别输出相似度最高的个体，通过预先设定的汽车号牌模板的字符排列属性特点对上面三个类别输出的个体按照号牌字符域值属性进行唯一性选择，确保每个字符位输出的结果是最可能和相似度最高的；在相似度达不到设定值，按容错的方式处理进行输出；当一个完整的汽车号牌精确识别完成后，再加上号牌颜色属性作为识别结果输出。

对于系统神经网络的训练：

为了解决ART1网络固有的无导师学习中可能产生的新增类别个体的问题，本实施例中，对于系统中神经网络的训练，采用无导师训练和有导师训练相结合，即在系统完成所有类别(三类共99个字符，见附件)的采样学习任务后，调整系统识别精度控制值，关闭ART1网络的新增类别功能，继续进行高精度识别训练，当系统提示有新类别产生时，通过人工选择和归类，不断强化识别精度和适应性。

具体实施中，是在系统完成所有类别的采样学习任务后，调整系统识别精度控制门限ρ值至0.9，关闭ART1网络的新增类别功能，继续进行高精度识别训练，当系统提示有新类别产生时，通过人工选择和归类，反复训练，不断优化识别网络权重；在系统对2000个样本逐步适应的情况下，逐步降低门限ρ值，改用4000个新的样本不断进行适应性训练；当训练完成后，关闭训练功能，用1000个新样本对系统进行检验，如达到预计识别精度，则表示训练成功完成。该训练方法有效克服了ART1固有的弊端。

具体实施中，为了进一步提高识别精度，采用复式识别法，连续两次识别，结果相同则输出，结果不同则重新识别，在可能的识别处理时间内，经多次连续识别，直至前后两次结果相同完成识别输出。

自适应共振理论(ART：Adaptive resonance theory)是美国学者Carpenter于1976年提出，随后又与Crossbty一起提出ART网络，并演变成处理二进制模式的自适应震荡ART1网络和处理连续模拟信号的ART2型网络，陆续又发展了ART3、FART、ARTMAP等基于ART思想的改进型ART网络。基本ART网络如图2所示，由比较层C、识别层R和控制信号G1、G2、门限ρ组成。C和R的连接权向量分别包含在C和R中。

参见附图3，本实施例中的神经网络，采用各有分工的三个标准的ART1网络，包括汉字识别网络ART1-1、英文字母识别网络ART1-2和数字识别网络ART1-3，三个标准网络同时对输入向量进行识别；由于三个神经网络在训练阶段已分别高度聚类在各自识别目标对象范围内，对其它不属于自己识别目标的输入对象不会“感兴趣”，相应输出识别结果的相似度一般不会太高，经过三个神经网络的识别处理，三个神经网络同时分别输出各自相似度最高的类的个体送入域值滤波模块中；在域值滤波模块中，通过号牌模板的牌照字符排列属性特点和识别字符及相似度值进行域值滤波，识别系统精确选择唯一一个识别结果字符放入号牌精确识别滤波模块的号牌缓冲区，识别系统在这里还根据每个号牌的第一个字符值和号牌模板判断号牌类型；在号牌精确识别滤波模块中，系统首先完成一个完整号牌的组装，其次完成连续两次号牌识别结果的比较，当完整的两个号牌识别结果一致时，系统加上在号牌图像处理部分得到的号牌颜色值，作为系统识别结果输出，同时该模块还担负号牌输出抑制功能，当一个识别结果输出后，如果下个待输出识别结果和上一个雷同，则系统不允许输出，这样保证了一个车辆号牌只有一个识别结果输出。在图三中每个ART1网络的精度控制信号主要担负每个ART1网络学习训练阶段的精度调整任务，控制系统的学习效率和系统的聚类。

对于采用复式识别法，当汽车速度为时速150公里时，每秒速度约41米，摄像机有效取景画面景深约为5米，计算机最大有效处理时间约400毫秒，计算机单帧画面识别处理时间约需125毫秒，这样可确保多次连续识别，直至输出正确的识别结果。通常在市区一般车速时速不超过80公里，因此，该方法更为可靠。

以“皖A81700”号牌为例，当某次该汽车号牌图像被捕获后，通过系统处理，对第一位汉字识别，三个ART1分别输出“皖”、“K”、“4”，三个字符的相似度分别为“皖”为85％、“K”为82％、“4”为75％，三个通过号牌域值分析，由于第一位是汉字，同时“皖”字识别相似度大于75％(系统预先设定)，因此判断为“皖”并输出；对应号牌的第二位为字母“A”，三个ART1分别输出“戊”、“A”、“4”，三个字符的相似度分别为“戊”为82％、“A”为94％、“4”为81％，三个通过号牌域值分析，由于第二位是英文字母，同时“A”字识别相似度大于75％，因此判断为“A”并输出；对于第三位输出，系统分别输出“陕”78％、“B”80％、“8”96％，从号牌域值分析可知，该位置可能为字母或数字，则比较ART1-2和ART1-3输出的相似度，相似度大的作为唯一输出，系统选择“8”输出；第四位与第三位识别相似，系统分别输出“丁”58％、“T”60％、“1”100％，系统自动选择“1”输出；对第五位，系统分别输出“丁”83％、“T”91％、“7”92％，系统选择“7”输出；对第六位，系统分别输出“皖”79％、“M”79％、“0”77％，只能是数字，系统输出“0”；同理对第七位，系统分别输出“消”68％、“R”74％、“0”77％，系统选择“0”作为唯一输出；每个汽车号牌因为远近大小尺寸不同、光线变化、倾斜等原因，每次识别时分别输出结果是不同的，即使是一付完全相同的号牌，由于位置等原因，每次识别时三个ART网络输出的结果也不相同，但是由于系统采用综合技术处理，可以获得唯一的精确识别结果输出，其基础和关键还是基于ART神经网络的准确识别输出。当一个完整的号牌分析结束时，记录结果，并对同一车辆进行第二轮识别，并将结果与上次结果比较，如相同，则加上号牌颜色属性后作为识别结果输出；如不同，抛弃上次识别结果，自动记录当前结果，转向下一个识别过程。在车速为140公里时，可完成3-4个识别过程，故可以从容准确地进行识别。字母、数字的识别率很高，基本可达到100％。对于汉字的识别，由于号牌的污损、油漆脱落、光线变化、倾斜等原因，可能导致其相似度达不到设定值，号牌识别时，自动按号牌的地域属性特点进行容错处理，直接用所在地号牌的汉字字符代替；例如对“皖”字识别，某次识别结果为“赣”，相似度为69％，低于系统设定的75％要求，如系统使用地域为安徽省地区，则系统自动用当地汽车号牌“皖”字代替输出，尽最大可能提高识别精度。

附录：

1、车牌汉字字符：共64个

京、津、冀、晋、蒙、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新、渝、港、澳、台、甲、乙、丙、丁、戊、己、庚、辛、壬、癸、子、丑、寅、卯、辰、已、午、未、申、酉、戌、亥、警、学、特、使、消、边、通、WJ

2、英文字符：共25个

A、B、C、D、E、F、G、H、J、K、L、M、N、O、P、Q、R、S、T、U、V、W、X、Y

3、阿拉伯数字字符：共10个：1、2、3、4、5、6、7、8、9、0

Claims

1.一种基于三路并行人工神经网络的移动车辆号牌识别方法，其特征在于识别步骤如下：

1)、采集移动车辆号牌视频图像及对该视频图像的处理：

a、采用摄像机，对移动车辆号牌视频图像的采集，采用运动视频触发方式自动触发进行视频图像捕捉；

b、对上述捕捉到的视频图像进行字符分割后作为神经网络的输入信号；

a.、先对三个并行的神经网络分别进行训练，使识别系统达到所需的识别精度和适应性；

b、对输入信号进行识别：

①、从所述的三个识别网络中，对输入信号识别后分别输出相似度最高的三个类别个体，通过预先设定的车辆号牌模板的字符排列属性特点，对输出的所述三个类别个体，按照车辆号牌字符域值属性进行唯一性选择，确保每个字符位输出的结果是最可能和相似度最高的；

2、根据权利要求1所述的基于三路并行人工神经网络的移动车辆号牌识别方法，其特征是所述运动视频触发方式的自动触发进行视频图像捕捉的方法为：当移动车辆进入摄像机屏幕上的预设虚拟检测线圈时，将引起摄像机屏幕上的视频图像的变化，识别系统采用车辆号牌图形模板对该视频图像画面进行快速扫描，当发现可能号牌区域存在时，系统自动标记，当完成对视频图像全画面的高速扫描后，再对所发现的多个区域进行分析判断，找出真正的车辆号牌进行分割和处理，这样可以完成对视频图像单画面存在多个车辆号牌的捕捉和提高捕捉速度。

3、根据权利要求1所述的基于三路并行人工神经网络的移动车辆号牌识别方法，其特征在于所述的神经网络的训练，是采用无导师训练和有导师训练相结合，即在三路并行神经网络分别完成所有类别的采样学习任务后，调整系统识别精度控制值，关闭神经网络(ART1)网络的新增类别功能，继续进行高精度识别训练，当系统提示有新类别产生时，通过人工选择和归类，不断强化识别精度和适应性。

4、根据权利要求1所述的基于三路并行人工神经网络的移动车辆号牌识别方法，其特征在于所述神经网络的识别是采用复式识别法，即：连续两次识别，结果相同则输出，结果不同则重新识别，在可能的识别处理时间内，经多次连续识别，直至前后两次结果相同完成识别输出。