CN106156768A - 基于视觉的机动车行驶证检测方法 - Google Patents

基于视觉的机动车行驶证检测方法 Download PDF

Info

Publication number
CN106156768A
CN106156768A CN201610511886.5A CN201610511886A CN106156768A CN 106156768 A CN106156768 A CN 106156768A CN 201610511886 A CN201610511886 A CN 201610511886A CN 106156768 A CN106156768 A CN 106156768A
Authority
CN
China
Prior art keywords
image
vehicle
issue
information
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610511886.5A
Other languages
English (en)
Other versions
CN106156768B (zh
Inventor
屈桢深
高珊
白赫
卢均溢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610511886.5A priority Critical patent/CN106156768B/zh
Publication of CN106156768A publication Critical patent/CN106156768A/zh
Application granted granted Critical
Publication of CN106156768B publication Critical patent/CN106156768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明主要涉及一种视觉检测方法,更具体地,涉及一种基于视觉的机动车行驶证检测方法,包括以下步骤:(1)、图像采集:采集含有号码号牌、发动机代码、车辆识别号VIN、注册日期、发证日期和红色印章信息的机动车行驶证图像;(2)、信息定位:利用图像处理对机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期五项信息进行定位;(3)、字符分割:对步骤(2)定位到的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期分别进行字符分割并将分割好的单字符图块分类存储;(4)、字符识别:对步骤(3)分割得到的单字符图块用训练好的人工神经网络分类器进行单字符识别,并输出识别结果。该方法用于行驶证信息识别。

Description

基于视觉的机动车行驶证检测方法
技术领域
本发明主要涉及一种视觉检测方法,更具体地,涉及一种基于视觉的机动车行驶证检测方法。
背景技术
中华人民共和国机动车行驶证,简称行驶证。行驶证作为车辆的身份证,是我国境内准许机动车辆行驶的法定证件。行车证上详细记载了许多重要的信息,包括号码号牌、车主名称、车辆的品牌型号、车辆识别代码VIN、发动机代码和注册日期等。机动车行驶证具有唯一性特点,是车辆上路的凭证,是财产权属凭证,同时也是保险索赔和新车保用的凭证。随着国民经济水平的提高和机动车的普及,越来越多的企业和个人拥有了自己的机动车辆并配备了行驶证,这也促进了相关行业诸如车辆保险行业的发展。
由于机动车行驶证是一款不含芯片的证件,时下车辆保险、保修业务中,其信息还在依赖手工录入。行车证中的信息类目繁多且重要性强,批量的手工录入不仅费力耗时,且准确性无法得到保障。
将计算机视觉技术应用于机动车行驶证,可完成机动车行驶证信息的自动录入、批量录入,同时提高录入信息的准确性。但目前市场上并未得以成功应用。
在识别过程中,需要录入的重要信息包括号码号牌、发动机代码、车辆识别代号(VIN)注册日期和发证日期。这些信息采用的是后期人工打印,虽然文字字符字体相同,但在不同证件上有位置偏差,有时会与信息前端的标题粘连。此外证件的破损、表面污浊都会增加识别的难度。
发明内容
本发明主要针对现有机动车行驶证上重要信息仍然依靠手动录入,耗费人力、耗时长和准确率低的问题,提出了一种基于视觉的机动车行驶证自动检测方法。
为解决上述技术问题,本发明基于视觉的机动车行驶证检测方法,其特征在于,包括以下步骤:
(1)、图像采集:采集含有号码号牌、发动机代码、车辆识别号VIN、注册日期、发证日期和红色印章信息的机动车行驶证图像;
(2)、信息定位:利用图像处理对机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期五项信息进行定位;
(3)、字符分割:对步骤(2)定位到的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期分别进行字符分割并将分割好的单字符图块分类存储;
(4)、字符识别:对步骤(3)分割得到的单字符图块用训练好的人工神经网络分类器进行单字符识别,并输出识别结果。
对于机动车行驶证上的号码号牌、发动机代码和车辆识别号VIN的信息定位,其图像处理包括以下步骤:
(21)、将正向的原始图像高斯滤波、灰度转换、自适应阈值二值化、sobel水平方向滤波突出垂直特征、闭运算,得到包含证件信息的连通区域;
(22)、提取轮廓,提取外接矩形,以整体图片的尺寸为基准,利用相对面积、相对高度及中心坐标对外接矩形筛选,得到号码号牌、发动机代码和车辆识别号VIN的外接矩形块,对这三部分分别定位。
对于机动车行驶证上的注册日期和发证日期的信息定位,其图像处理包括以下步骤:
(23)、将原始的RGB颜色空间图像转换到LAB颜色空间下并提取A通道图像,对A通道图像进行直方图均衡化、选取较高阈值二值化处理,得到含有机动车行驶证上红色印章部分的图像。
(24)、对于步骤(23)的二值化图像进行连通区域分析,找出外接矩形最大的连通区域,以其为基准,遍历图中其他的连通区域,找出外接矩形与基准连通区域有交叠的新连通区域并将它与基准连通区域融合成一个新的基准连通区域;将其余没有交叠的连通区域重新遍历,查看与新的基准连通区域的外接矩形之间是否有重叠,若有重叠融合成新的基准连通区域,并将剩余的继续遍历,循环操作,直到所有外接矩形有重叠的部分全部融合在一起,获得机动车行驶证上红色印章的位置信息;
(25)、根据步骤(23)的二值化图像,获取融合连通区域的外接多边形,判断选取外界多边形最右边与垂直方向的夹角,小于五度忽略,高于此标准作为图像偏斜校正的依据;
(26)、针对调整方向后的图像的红色印章位置信息及步骤(25)得到的偏斜角度,利用相对位置关系定位注册日期,以红色印章的高度作为单位基准,以红色印章最右的横坐标为基准向右量取3/5个单位基准长度为注册日期信息的左上角横坐标,以红色印章的最下纵坐标为基准向上量取1/3个单位基准为注册日期左上角坐标的纵坐标,并分别取3个和0.4个单位基准为注册日期的宽和高,图像倾斜时扩大截取日期的高度为宽度乘以倾斜角的正弦值;
(27)、针对调整方向后的图像的红色印章位置信息及步骤(25)得到的偏斜角度,利用相对位置关系定位发证日期,以红色印章的高度作为单位基准,以红色印章最右的横坐标为基准向右量取3/5个单位基准长度为发证日期信息的左上角横坐标,以红色印章的最下纵坐标为基准向上量取1/3个单位基准为发证日期左上角坐标的纵坐标,并分别取3个和0.4个单位基准为发证日期的宽和高,图像倾斜时扩大截取日期的高度为宽度乘以倾斜角的正弦值。
作为本方案的进一步优化,本发明基于视觉的机动车行驶证检测方法所述步骤(24)中其他的连通区域数量不超过20个。
对于机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期的字符分割,包括以下步骤:
(31)、根据定位得到的号码号牌、发动机代码、车辆识别代号VIN、注册日期和发证日期图块,分别进行灰度图像转换、自适应阈值二值化并提取轮廓和外接矩形,过滤掉面积小于被分割图像面积1/50且高度小于被分割图像1/2的外接矩形,剩余的即为二值化的单字符图块;
(32)、将步骤(31)获得的二值化的单字符图块分别按位置排序,并统一尺寸为20*20像素。
对于机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期的字符识别,包括以下步骤:
(41)、利用步骤(31)、(32)得到二值化单字符图块进行特征提取;
(42)、将步骤(41)提取到的二值化单字符图块的特征作为神经网络的输入,利用训练好的神经网络进行字符识别,识别出的字符按顺序排布,以字符数组的形式输出。
作为本方案的进一步优化,本发明基于视觉的机动车行驶证检测方法所述提取的特征包括单字符二值化图片的垂直直方图,水平直方图和5*5低分辨率图像。
作为本方案的进一步优化,本发明基于视觉的机动车行驶证检测方法所述的人工神经网络为多层感知器,选取BP神经网络。
本发明基于视觉的机动车行驶证检测方法的有益效果为:1)分模块实现机动车行驶证检测系统,共分为定位模块、字符分割和字符识别三部分,便于局部调整改进;2)采用图像预处理过滤噪声及干扰信息,在信息定位环节使机动车行驶证中的有用信息更突出,便于检测;3)采用颜色空间转换的方式,充分利用不同行车证在颜色方面的共性,在LAB空间下更利于对定位分析;4)定位环节以连通区域分析为关键环节,充分利用被检测信息对应连通区域在尺寸、位置、面积方面的特点,使定位准确,过滤无关干扰;5)在字符识别环节,充分利用不同字符、文字之间的区别,同时提取垂直水平直方图和低分辨率像素,为人工神经网络分类器训练和字符识别提供了准确的素材;6)人工神经网络理论应用于字符识别,鲁棒性强,能够提高字符识别的准确率,确保整件识别的准确性。
附图说明
下面结合附图和具体实施方法对本发明做进一步详细的说明。
图1为本发明基于视觉的机动车行驶证检测方法的结构流程框图;
图2为本发明基于视觉的机动车行驶证检测方法模块定位的流程框图;
图3为本发明基于视觉的机动车行驶证检测方法字符识别的流程框图。
具体实施方式
结合图1、2、3说明本发明专利,本发明专利所述的基于视觉的机动车行驶证检测方法,包括以下步骤:
(1)、图像采集:采集含有号码号牌、发动机代码、车辆识别号VIN、注册日期、发证日期和红色印章信息的机动车行驶证图像;
(2)、信息定位:利用图像处理对机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期五项信息进行定位;
(3)、字符分割:对步骤(2)定位到的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期分别进行字符分割并将分割好的单字符图块分类存储;
(4)、字符识别:对步骤(3)分割得到的单字符图块用训练好的人工神经网络分类器进行单字符识别,并输出识别结果。
号码号牌、发动机代码和车辆识别号VIN的定位采用图像预处理、连通区域分析可直接定位。而注册日期和发证日期利用此方法定位精度很低,这是由于机动车行驶证自身不够规范,日期部分往往会与日期的标题发生粘连造成的。解决方案为:针对日期采用间接定位,先定位出日期左侧的红色印章,再根据定位测出的红色印章的尺寸和位置利用相对位置关系定位日期。
所述的字符分割将定位到的号码号牌、发动机代码、车辆识别号VIN、注册日期及发证日期的RGB三通道图像转换为灰度图像,然后采用OTSU自适应阈值二值化处理图像,直接提取轮廓并求外接矩形。过滤掉面积小于被分割图像面积1/50且高度小于被分割图像1/2的外接矩形,得到的是分割后的单字符图块。以二值图像形式保存,并统一大小为20*20像素。
所述的字符识别采用BP人工神经网络识别。训练模型为多层感知器。神经网络的输入包括单字符图像的水平直方图、垂直直方图及低分辨率图像。输出为65个,代表65种在机动车行驶证的被检信息中可能涵盖的字符。它们分别为10个数字、24个英文字母和31个代表各个省缩写的汉字。
对于机动车行驶证上的号码号牌、发动机代码和车辆识别号VIN的信息定位,其图像处理包括以下步骤:
(21)、将正向的原始图像高斯滤波、灰度转换、自适应阈值二值化、sobel水平方向滤波突出垂直特征、闭运算,得到包含证件信息的连通区域;
(22)、提取轮廓,提取外接矩形,以整体图片的尺寸为基准,利用相对面积、相对高度及中心坐标对外接矩形筛选,得到号码号牌、发动机代码和车辆识别号VIN的外接矩形块,对这三部分分别定位。
对于机动车行驶证上的注册日期和发证日期的信息定位,其图像处理包括以下步骤:
(23)、将原始的RGB颜色空间图像转换到LAB颜色空间下并提取A通道图像,对A通道图像进行直方图均衡化、选取较高阈值二值化处理,得到含有机动车行驶证上红色印章部分的图像。
(24)、对于步骤(23)的二值化图像进行连通区域分析,找出外接矩形最大的连通区域,以其为基准,遍历图中其他的连通区域,找出外接矩形与基准连通区域有交叠的新连通区域并将它与基准连通区域融合成一个新的基准连通区域,其中其他的连通区域的数量不超过20个;将其余没有交叠的连通区域重新遍历,查看与新的基准连通区域的外接矩形之间是否有重叠,若有重叠融合成新的基准连通区域,并将剩余的继续遍历,循环操作,直到所有外接矩形有重叠的部分全部融合在一起,获得机动车行驶证上红色印章的位置信息;
(25)、根据步骤(23)的二值化图像,获取融合连通区域的外接多边形,判断选取外界多边形最右边与垂直方向的夹角,小于五度忽略,高于此标准作为图像偏斜校正的依据;
(26)、针对调整方向后的图像的红色印章位置信息及步骤(25)得到的偏斜角度,利用相对位置关系定位注册日期,以红色印章的高度作为单位基准,以红色印章最右的横坐标为基准向右量取3/5个单位基准长度为注册日期信息的左上角横坐标,以红色印章的最下纵坐标为基准向上量取1/3个单位基准为注册日期左上角坐标的纵坐标,并分别取3个和0.4个单位基准为注册日期的宽和高,图像倾斜时扩大截取日期的高度为宽度乘以倾斜角的正弦值;
(27)、针对调整方向后的图像的红色印章位置信息及步骤(25)得到的偏斜角度,利用相对位置关系定位发证日期,以红色印章的高度作为单位基准,以红色印章最右的横坐标为基准向右量取3/5个单位基准长度为发证日期信息的左上角横坐标,以红色印章的最下纵坐标为基准向上量取1/3个单位基准为发证日期左上角坐标的纵坐标,并分别取3个和0.4个单位基准为发证日期的宽和高,图像倾斜时扩大截取日期的高度为宽度乘以倾斜角的正弦值。
对位置定位没有基于形态学分析的定位精准,这里所提取的日期区域可能包含一些空白部分。采用取水平方向直方图的方法,观察直方图,从最上方(第一行)开始分析,若一行的像素个数达到一定数量才能视为文本的开始而非空白部分。基于此方法可以将提取区域的上方空白部分截掉。同样,从最后一行向上观察可以去掉下方的非文本区域。
所述的号码号牌等信息的预处理中利用Sobel算子水平方向滤波操作,可使机动车行驶证中的垂直线条更加明显,而这些正符合所检测的字符信息的特点,因此可使字符信息更突出,而无关信息被削弱。配合OSTU自适应阈值二值化处理和闭操作,使要检测的号码号牌等信息形成自身内部连通并与其他信息分隔的连通块,易于提取。用形态学滤波我们对图像进行开闭运算,腐蚀和膨胀是最基本的形态学工具,利用闭运算对图像先膨胀后腐蚀,使所需信息的图块更加清晰。
所述的注册日期和发证日期定位预处理中的LAB颜色空间转换操作,是鉴于LAB是一个颜色分布均匀的色彩空间,比原始的RGB颜色空间更利于对颜色的判别筛选。A通道的值由高到低代表的是从红到绿,因此,提取出的A通道红色印章已经突显。但由于图片整体对比度不高,又加入了直方图均衡化和固定阈值二值化处理的操作。
所述的注册日期和发证日期定位预处理中的直方图均衡化操作是为了提高图像对比度。直方图均衡化可使聚集在较窄范围内的像素强度更为分散,同时使不同像素强度的像素分布更为均匀。处理后在进行固定阈值二值化处理。以像素强度分布为0-255为例,设置阈值强度为250,即可取得过滤掉绝大多数的干扰并较完整保留红章信息尤其是红色印章的轮廓信息。
所述的连通区域分析环节中,连通区域指的是图像中具有相同像素且位置相邻的前景像素点组成的图像区域。连通区域分析是将图像中的各个连同区域找出来并标记。对机动车行驶证的红色印章检测采用连通区域分析,得出各个连通区域的面积周长和位置信息。经过过滤将面积过小的以及与其他连通域不交叠的连通区域去除,剩余的连通区域相叠加可准确锁定红色印章的位置。
所述的定位红色印章后利用相对位置信息间接定位指的是以红色印章的高度作为单位基准,以红色印章最右的横坐标为基准向右量取3/5个单位基准长度为注册日期信息的左上角横坐标,以红色印章的最下纵坐标为基准向上量取1/3个单位基准为注册日期左上角坐标的纵坐标,并分别取3个和0.4个单位基准为注册日期的宽和高,图像有倾斜时要将角度考虑进去,扩大截取日期的高度为宽度乘以倾斜角的正弦值。以同样的原理定位发证日期。
对于机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期的字符分割,包括以下步骤:
(31)、根据定位得到的号码号牌、发动机代码、车辆识别代号VIN、注册日期和发证日期图块,分别进行灰度图像转换、自适应阈值二值化并提取轮廓和外接矩形,过滤掉面积小于被分割图像面积1/50且高度小于被分割图像1/2的外接矩形,剩余的即为二值化的单字符图块;
(32)、将步骤(31)获得的二值化的单字符图块分别按位置排序,并统一尺寸为20*20像素。
字符分割基于字符几何特征的分割,作用原理为:利用预处理对待分割的图像进行操作,包括一些形态学分析。这样做的目的是去除一些无关干扰,使字符间距离增多,便于分割。其优点是操作简单,效率高。缺点是对分割点的要求较高,必需确保其准确性。并输入图像的质量依赖性很大。
因为机动车行驶证中被分割的字符为统一规范的,大小、间距相同的印刷体字符。同时该系统对效率要求高,因此选取操作简单的基于图像特征的分割策略。
对于机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期的字符识别,包括以下步骤:
(41)、利用步骤(31)、(32)得到二值化单字符图块进行特征提取,提取的特征包括单字符二值化图片的垂直直方图,水平直方图和5*5低分辨率图像;
(42)、将步骤(41)提取到的二值化单字符图块的单字符二值化图片的垂直直方图,水平直方图和5*5低分辨率图像特征作为神经网络的输入,利用训练好的神经网络进行字符识别,识别出的字符按顺序排布,以字符数组的形式输出。人工神经网络为多层感知器,选取BP神经网络。
所述的人工神经网络为BP神经网络。即选取基于BP算法(反向传播算法)的多层感知器模型对目标进行训练。多层感知器模型由一个输入层,一个输出层及一个或多个隐藏层的神经网络组成。每一层由一个或多个神经元互相连结,一个“神经元”的输出就可以是另一个“神经元”的输入。每个神经元都有自己的判定边界,有多个输入和多个输出。不同权重的输入结合激励函数得到不同的输出。激励函数采用Sigmoid函数。在训练中,反向传播算法的权值更新迭代过程会被重复上千次。本系统选用的终止这一学习并更新权值的过程的条件为:当在训练样例上误差降到某阈值以下时停止。既要避免太少的迭代无法达到使误差降到很小的目的,又要避免过多的迭代次数造成的过度拟合。为了训练出分类器,需要创建两个数据矩阵,一个是特征数据矩阵,一个是标签矩阵。但要注意的是标签矩阵是一个的矩阵,表示训练样本数,是类标签。如果第行的样本属于第类,那么该标签矩阵的位置为1。训练的样本矩阵为,矩阵是对每一种高维向量的类别标注,其中行代表各个样本图片的融合特征,列为类别。在机动车行驶证中共有65种字符,0-9和20个英文字母和35个汉字。针对机动车行驶证的字符识别,每个字符对应的图片样本数量对应着等行数的高维向量,也就是融合特征的行数。而65种字符即代表着65个类别。然后根据不同分辨率5*5、10*10、15*15、20*20采样。使用MLP模型之前,先初始化参数,包括神经网络的层数、神经元数,激励函数等。本系统中应用的是BP神经网络用于训练,其学习率为0.05,采用多层感知器模型含有一个隐藏层。BP人工神经网络的输入为65个,分别代表垂直直方图、水平直方图和低分辨率像素。隐藏层设有40个节点,输出为65个,分别代表65个字符,包含10个阿拉伯数字、24个英文字母和31个省份汉字。
所述的训练数据指的是为构建一个能够准确识别字符的分类器,在系统建立初期选取一部分机动车行驶证中真实的字符进行训练,针对65种不同的字符,每种字符的训练集数目要达到100个。目前实现的人工神经网络识别字符的具体步骤为:首先读取一张字符图像,提取该图像的累计直方图和低分辨率图像特征矩阵;调用预先训练好的人工神经网络的xml文件,将该特征矩阵作为神经网络输入,经网络计算,得到预测的字符索引;针对整个有效信息的图块输入,比如号码号牌部分,要先进行字符分割成单个字符的小块再识别,之后再按照每个字符图像的相对位置,进行字符重新排序并存储输出。
特征提取是从原始数据中提取与分类相关的信息,同时可以简化复杂的信息,缩短训练所需的时间。提取出的特征,使类别内差距极小化、类间差距极大化。合理有效的特征提取能把不同图片的差异性特征提取出来。原图像中最能体现字符特征的信息接下来将从处理后的字符中提取出来,一部分将应用于后续的工神经网络训练,同时也是字符识别的输入信息。
针对机动车行驶证字符图片的识别提取的特征为水平、垂直直方图和低分辨率图像所组成的矢量。提取水平直方图,向水平方向投影,统计每一列中非零像素的个数,在统计结束后进行归一化处理。对于20*20像素的单字符图像,取水平直方图后得到的是20个数据。同理提取垂直直方图,可得到20个数据。低分辨率图像选取5*5的图像。得到25个数据。针对每个单字符区域的图像进行特征提取,可得到65个数据。
虽然本发明已以较佳的实施例公开如上,但其并非用以限定本发明,任何熟悉此技术的人,在不脱离本发明的精神和范围内,都可以做各种改动和修饰,因此本发明的保护范围应该以权利要求书所界定的为准。

Claims (8)

1.基于视觉的机动车行驶证检测方法,其特征在于,包括以下步骤:
(1)、图像采集:采集含有号码号牌、发动机代码、车辆识别号VIN、注册日期、发证日期和红色印章信息的机动车行驶证图像;
(2)、信息定位:利用图像处理对机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期五项信息进行定位;
(3)、字符分割:对步骤(2)定位到的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期分别进行字符分割并将分割好的单字符图块分类存储;
(4)、字符识别:对步骤(3)分割得到的单字符图块用训练好的人工神经网络分类器进行单字符识别,并输出识别结果。
2.根据权利要求1所述的基于视觉的机动车行驶证检测方法,其特征在于,对于机动车行驶证上的号码号牌、发动机代码和车辆识别号VIN的信息定位,其图像处理包括以下步骤:
(21)、将正向的原始图像高斯滤波、灰度转换、自适应阈值二值化、sobel水平方向滤波突出垂直特征、闭运算,得到包含证件信息的连通区域;
(22)、提取轮廓,提取外接矩形,以整体图片的尺寸为基准,利用相对面积、相对高度及中心坐标对外接矩形筛选,得到号码号牌、发动机代码和车辆识别号VIN的外接矩形块,对这三部分分别定位。
3.根据权利要求1所述的基于视觉的机动车行驶证检测方法,其特征在于,对于机动车行驶证上的注册日期和发证日期的信息定位,其图像处理包括以下步骤:
(23)、将原始的RGB颜色空间图像转换到LAB颜色空间下并提取A通道图像,对A通道图像进行直方图均衡化、选取较高阈值二值化处理,得到含有机动车行驶证上红色印章部分的图像。
(24)、对于步骤(23)的二值化图像进行连通区域分析,找出外接矩形最大的连通区域,以其为基准,遍历图中其他的连通区域,找出外接矩形与基准连通区域有交叠的新连通区域并将它与基准连通区域融合成一个新的基准连通区域;将其余没有交叠的连通区域重新遍历,查看与新的基准连通区域的外接矩形之间是否有重叠,若有重叠融合成新的基准连通区域,并将剩余的继续遍历,循环操作,直到所有外接矩形有重叠的部分全部融合在一起,获得机动车行驶证上红色印章的位置信息;
(25)、根据步骤(23)的二值化图像,获取融合连通区域的外接多边形,判断选取外界多边形最右边与垂直方向的夹角,小于五度忽略,高于此标准作为图像偏斜校正的依据;
(26)、针对调整方向后的图像的红色印章位置信息及步骤(25)得到的偏斜角度,利用相对位置关系定位注册日期,以红色印章的高度作为单位基准,以红色印章最右的横坐标为基准向右量取3/5个单位基准长度为注册日期信息的左上角横坐标,以红色印章的最下纵坐标为基准向上量取1/3个单位基准为注册日期左上角坐标的纵坐标,并分别取3个和0.4个单位基准为注册日期的宽和高,图像倾斜时扩大截取日期的高度为宽度乘以倾斜角的正弦值;
(27)、针对调整方向后的图像的红色印章位置信息及步骤(25)得到的偏斜角度,利用相对位置关系定位发证日期,以红色印章的高度作为单位基准,以红色印章最右的横坐标为基准向右量取3/5个单位基准长度为发证日期信息的左上角横坐标,以红色印章的最下纵坐标为基准向上量取1/3个单位基准为发证日期左上角坐标的纵坐标,并分别取3个和0.4个单位基准为发证日期的宽和高,图像倾斜时扩大截取日期的高度为宽度乘以倾斜角的正弦值。
4.根据权利要求3所述的基于视觉的机动车行驶证检测方法,其特征在于,所述步骤(24)中其他的连通区域数量不超过20个。
5.根据权利要求1所述的基于视觉的机动车行驶证检测方法,其特征在于,对于机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期的字符分割,包括以下步骤:
(31)、根据定位得到的号码号牌、发动机代码、车辆识别代号VIN、注册日期和发证日期图块,分别进行灰度图像转换、自适应阈值二值化并提取轮廓和外接矩形,过滤掉面积小于被分割图像面积1/50且高度小于被分割图像1/2的外接矩形,剩余的即为二值化的单字符图块;
(32)、将步骤(31)获得的二值化的单字符图块分别按位置排序,并统一尺寸为20*20像素。
6.根据权利要求1所述的基于视觉的机动车行驶证检测方法,其特征在于,对于机动车行驶证上的号码号牌、发动机代码、车辆识别号VIN、注册日期和发证日期的字符识别,包括以下步骤:
(41)、利用步骤(31)、(32)得到二值化单字符图块进行特征提取;
(42)、将步骤(41)提取到的二值化单字符图块的特征作为神经网络的输入,利用训练好的神经网络进行字符识别,识别出的字符按顺序排布,以字符数组的形式输出。
7.根据权利要求6所述的基于视觉的机动车行驶证检测方法,其特征在于,所述提取的特征包括单字符二值化图片的垂直直方图,水平直方图和5*5低分辨率图像。
8.根据权利要求6所述的基于视觉的机动车行驶证检测方法,其特征在于,所述的人工神经网络为多层感知器,选取BP神经网络。
CN201610511886.5A 2016-07-01 2016-07-01 基于视觉的机动车行驶证检测方法 Active CN106156768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610511886.5A CN106156768B (zh) 2016-07-01 2016-07-01 基于视觉的机动车行驶证检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610511886.5A CN106156768B (zh) 2016-07-01 2016-07-01 基于视觉的机动车行驶证检测方法

Publications (2)

Publication Number Publication Date
CN106156768A true CN106156768A (zh) 2016-11-23
CN106156768B CN106156768B (zh) 2019-03-12

Family

ID=57349782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610511886.5A Active CN106156768B (zh) 2016-07-01 2016-07-01 基于视觉的机动车行驶证检测方法

Country Status (1)

Country Link
CN (1) CN106156768B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778791A (zh) * 2017-03-01 2017-05-31 成都天衡电科科技有限公司 一种基于多重感知器的木材视觉识别方法
CN106874901A (zh) * 2017-01-17 2017-06-20 北京智元未来科技有限公司 一种行驶证识别方法及装置
CN106897718A (zh) * 2017-03-24 2017-06-27 深圳汇通智能化科技有限公司 一种识别性能优良的移动终端
CN108427952A (zh) * 2017-02-14 2018-08-21 株式会社Pfu 日期识别装置、日期识别方法及计算机可读存储介质
CN108985287A (zh) * 2018-07-09 2018-12-11 杭州圣吉奥软件有限公司 笔记本纸张和分类图标识别方法
CN109685058A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种图像目标识别方法、装置及计算机设备
CN110222613A (zh) * 2019-05-28 2019-09-10 绍兴数鸿科技有限公司 一种基于卷积神经网络的竖排版繁体中文识别方法
WO2019200802A1 (zh) * 2018-04-17 2019-10-24 平安科技(深圳)有限公司 合同影像图片的识别方法、电子装置及可读存储介质
CN110414385A (zh) * 2019-07-12 2019-11-05 淮阴工学院 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN110414506A (zh) * 2019-07-04 2019-11-05 南京理工大学 基于数据增广和卷积神经网络的银行卡卡号自动识别方法
CN110781890A (zh) * 2019-10-25 2020-02-11 上海德启信息科技有限公司 身份证识别方法、装置、电子设备及可读取存储介质
CN110858306A (zh) * 2018-08-22 2020-03-03 西门子(中国)有限公司 车牌字符识别装置、方法和计算机可读存储介质
CN112464852A (zh) * 2020-12-09 2021-03-09 重庆大学 一种车辆行驶证图片自适应矫正与识别方法
CN115082923A (zh) * 2022-08-24 2022-09-20 成都工业学院 一种基于机器视觉的牛奶包装盒生产日期识别方法
CN117592917A (zh) * 2023-10-27 2024-02-23 深邦智能科技集团(青岛)有限公司 一种基于移动执法的行驶证信息快速录入方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392205A (zh) * 2014-10-24 2015-03-04 浙江力石科技股份有限公司 一种非正常车牌的识别方法和系统
CN204856897U (zh) * 2015-05-08 2015-12-09 天津大学 一种机动车即停即离区域的违章检测装置
US9251430B2 (en) * 2012-12-28 2016-02-02 Nidec Sankyo Corporation Apparatus, method, and program for character recognition using minimum intensity curve of image data
CN105320952A (zh) * 2015-10-15 2016-02-10 广东广信通信服务有限公司 一种基于ocr的行驶证信息识别方法
CN105335743A (zh) * 2015-10-28 2016-02-17 重庆邮电大学 一种车牌识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251430B2 (en) * 2012-12-28 2016-02-02 Nidec Sankyo Corporation Apparatus, method, and program for character recognition using minimum intensity curve of image data
CN104392205A (zh) * 2014-10-24 2015-03-04 浙江力石科技股份有限公司 一种非正常车牌的识别方法和系统
CN204856897U (zh) * 2015-05-08 2015-12-09 天津大学 一种机动车即停即离区域的违章检测装置
CN105320952A (zh) * 2015-10-15 2016-02-10 广东广信通信服务有限公司 一种基于ocr的行驶证信息识别方法
CN105335743A (zh) * 2015-10-28 2016-02-17 重庆邮电大学 一种车牌识别方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874901A (zh) * 2017-01-17 2017-06-20 北京智元未来科技有限公司 一种行驶证识别方法及装置
CN106874901B (zh) * 2017-01-17 2020-07-03 北京智元未来科技有限公司 一种行驶证识别方法及装置
CN108427952A (zh) * 2017-02-14 2018-08-21 株式会社Pfu 日期识别装置、日期识别方法及计算机可读存储介质
CN106778791A (zh) * 2017-03-01 2017-05-31 成都天衡电科科技有限公司 一种基于多重感知器的木材视觉识别方法
CN106897718A (zh) * 2017-03-24 2017-06-27 深圳汇通智能化科技有限公司 一种识别性能优良的移动终端
CN106897718B (zh) * 2017-03-24 2019-09-24 上海矩驰网络科技有限公司 一种移动终端
CN109685058A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种图像目标识别方法、装置及计算机设备
US11347977B2 (en) 2017-10-18 2022-05-31 Hangzhou Hikvision Digital Technology Co., Ltd. Lateral and longitudinal feature based image object recognition method, computer device, and non-transitory computer readable storage medium
WO2019200802A1 (zh) * 2018-04-17 2019-10-24 平安科技(深圳)有限公司 合同影像图片的识别方法、电子装置及可读存储介质
CN108985287A (zh) * 2018-07-09 2018-12-11 杭州圣吉奥软件有限公司 笔记本纸张和分类图标识别方法
CN108985287B (zh) * 2018-07-09 2021-05-25 杭州圣吉奥软件有限公司 笔记本纸张和分类图标识别方法
CN110858306A (zh) * 2018-08-22 2020-03-03 西门子(中国)有限公司 车牌字符识别装置、方法和计算机可读存储介质
CN110222613A (zh) * 2019-05-28 2019-09-10 绍兴数鸿科技有限公司 一种基于卷积神经网络的竖排版繁体中文识别方法
CN110414506A (zh) * 2019-07-04 2019-11-05 南京理工大学 基于数据增广和卷积神经网络的银行卡卡号自动识别方法
CN110414506B (zh) * 2019-07-04 2022-09-06 南京理工大学 基于数据增广和卷积神经网络的银行卡卡号自动识别方法
CN110414385B (zh) * 2019-07-12 2021-06-25 淮阴工学院 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN110414385A (zh) * 2019-07-12 2019-11-05 淮阴工学院 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN110781890A (zh) * 2019-10-25 2020-02-11 上海德启信息科技有限公司 身份证识别方法、装置、电子设备及可读取存储介质
CN112464852A (zh) * 2020-12-09 2021-03-09 重庆大学 一种车辆行驶证图片自适应矫正与识别方法
CN112464852B (zh) * 2020-12-09 2023-12-05 重庆大学 一种车辆行驶证图片自适应矫正与识别方法
CN115082923A (zh) * 2022-08-24 2022-09-20 成都工业学院 一种基于机器视觉的牛奶包装盒生产日期识别方法
CN115082923B (zh) * 2022-08-24 2022-11-08 成都工业学院 一种基于机器视觉的牛奶包装盒生产日期识别方法
CN117592917A (zh) * 2023-10-27 2024-02-23 深邦智能科技集团(青岛)有限公司 一种基于移动执法的行驶证信息快速录入方法和装置
CN117592917B (zh) * 2023-10-27 2024-05-17 深邦智能科技集团(青岛)有限公司 一种基于移动执法的行驶证信息快速录入方法和装置

Also Published As

Publication number Publication date
CN106156768B (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
CN106156768B (zh) 基于视觉的机动车行驶证检测方法
CN105373794B (zh) 一种车牌识别方法
Gonçalves et al. Benchmark for license plate character segmentation
CN107194400B (zh) 一种财务报销全票据图片识别处理方法
Yu et al. An approach to Korean license plate recognition based on vertical edge matching
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
CN102509091B (zh) 一种飞机尾号识别方法
Antonacopoulos et al. ICDAR2015 competition on recognition of documents with complex layouts-RDCL2015
CN107784301A (zh) 用于识别图像中文字区域的方法和装置
Sheikh et al. Traffic sign detection and classification using colour feature and neural network
CN104573685A (zh) 一种基于线性结构提取的自然场景文本检测方法
CN113191358B (zh) 金属零件表面文本检测方法和系统
CN110956167A (zh) 一种基于定位字符的分类判别强化分离的方法
Islam et al. An efficient method for extraction and recognition of bangla characters from vehicle license plates
Kilic et al. Turkish vehicle license plate recognition using deep learning
Han et al. Vision-based crack detection of asphalt pavement using deep convolutional neural network
Habeeb et al. Deep‐Learning‐Based Approach for Iraqi and Malaysian Vehicle License Plate Recognition
CN111611933A (zh) 文档图像的信息提取方法及系统
Sharma et al. Deep Learning and SVM-Based Approach for Indian Licence Plate Character Recognition.
Pham et al. CNN-based character recognition for license plate recognition system
CN105469099A (zh) 基于稀疏表示分类的路面裂缝检测和识别方法
Yaba et al. Plate Number Recognition based on Hybrid Techniques
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法
CN107066997A (zh) 一种基于图像识别的电气元件报价方法
CN111104944A (zh) 一种基于r-fcn的车牌字符检测及分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant