CN110245583A - 一种车辆尾气检验报告的智能识别方法 - Google Patents

Abstract

本发明公开了一种车辆尾气检验报告的智能识别方法：采用仿射变换校正车辆尾气检验报告图像；定位ROI区域并对是否车辆尾气检验报告做标记，并定位红章和MA章，根据定位到的ROI区域进行偏移，得到候选区域并定位签字、结论、车牌号及车架号的矩形框；检测签字是否合格，最后采用基于深度学习网络的字符分割模型提取车牌号字符并与服务器的存档内容进行比对，对整个过程的结果进行统计判断车辆尾气检验报告是否通过。本发明实现了车辆尾气检验报告的自动识别，替换了现有的人工审核方式，提高节约了人力，加快了审核速度，又保证了审核工作的公开、公正。

Description

一种车辆尾气检验报告的智能识别方法

技术领域

本发明涉及图像识别的人工智能判断技术领域，特别涉及车辆尾气检验报告的智能识别技术领域。

背景技术

随着社会经济的快速发展和人民生活水平的持续提高，城市机动车数量迅猛增长。机动车车辆年检的工作量也随之迅速增长。传统的车辆尾气检验报告检测主要是通过人工校验，该方法人工成本较高，而且效率比较低下，长时间工作也会导致错误率提高。

如何准确、快速地对年检完税证明进行核对，同时避免人工核对成本高、效率低，长时间作业导致错误率提高等弊端，是急需解决的技术问题。

发明内容

本发明提出一种自动识别车辆尾气检验报告的系统方案。检测红章、MA章、签字是否存在，识别结论，提取表格里的关键信息与服务器存档内容校对判断是否一致，以满足如今对车辆年检工作效率、准确率的需求。

本发明所采用的技术方案是：

一种自动识别车辆尾气检验报告的系统方案，包括如下步骤：

S1、从服务器下载车辆尾气检验报告图像；

S2、采用仿射变换校正车辆尾气检验报告图像；

S3、采用基于深度学习的车辆尾气检验报告表格格式检测模型检测图像是否为车辆尾气检验报告并定位ROI区域，若是车辆尾气检验报告，则记录此标志为1，否则记录此条标志为0，并保存相关图片；

S4、采用基于深度学习的印章检测模型，定位红章和MA章，若红章存在，则记录此条标志为1，否则记录此条标志为0，并保存相关图片；同理，若MA章存在，则记录此条标志为1，否则记录此条标志为0，并保存相关图片；

S5、根据定位到的ROI区域进行偏移，得到签字、结论、车牌号、车架号的候选区域；

S6、在候选区域中，调用基于深度学习的文本定位模型，定位签字、结论、车牌号及车架号的矩形框；

S7、检测签字是否存在，若存在，则记录此条标志为1，否则则记录此条标志为0，并保存相关图片；定位结论的矩形框，采用基于深度学习网络的字符分割模型提取结论字符并保存，若为合格，则记录此条标志为1，否则记录此条标志为0，并保存相关图片；

S8、定位车牌号的矩形框，采用基于深度学习网络的字符分割模型提取车牌号字符并保存，并与服务器的存档内容进行比对，若一致，记录此条标志为1，否则记录此条标志为0，并保存相关图片；同理定位车架号的矩形框，提取车架号字符，并与服务器的存档内容进行比对，若一致，记录此条标志为1，否则记录此条标志为0，并保存相关图片；

S9、对整个过程的结果进行统计，若记录标志全部为1，则车辆尾气检验报告通过，否则根据标志为0出现的位置获取校验不通过的原因及问题图片。

进一步，所述仿射变换校正表格图像步骤如下：

S21、采用Canny边缘检测算法提取表格图像的边缘；

S22、采用LSD直线检测算法获取表格水平边缘与垂直边缘倾斜角度；

S23、根据获得的倾斜角度对图像进行仿射变换，获取校正后的图像。

进一步，所述基于深度学习的车辆尾气检验报告表格格式检测模型获取步骤如下：

S31、获取不同自然光条件下不同角度的车辆尾气检验报告图像；

S32、采用矩形框标记多种格式的车辆尾气检验报告表格具有明显特征的矩形区域，并记录相应类别标签；

S33、使用所述标记好的图像训练目标检测深度神经网络模型，获得车辆尾气检验报告表格格式检测模型。

进一步，所述基于深度学习的印章检测模型获取步骤如下：

S41、获取不同自然光下不同角度的车辆尾气检验报告图像，所盖红章和MA章的角度任意；

S42、采用矩形框标记红章和MA章区域图像所在位置；

S43、使用所述红章和MA章区域图像训练目标检测深度神经网络模型，获得印章检测模型。

进一步，所述基于深度学习的文本定位模型获取步骤如下：

S51、获取不同自然光下不同角度的车辆尾气检验报告图像；

S52、采用矩形框标记签字、结论、车牌号、车架号图像所在位置；

S53、使用所述签字、结论、车牌号、车架号区域图像训练目标检测深度神经网络模型，获得文本定位模型。

进一步，所述采用基于深度学习网络的字符分割模型获取步骤如下：

S61、获取不同自然光照条件下不同角度的车辆尾气检验报告图像；

S62、采用矩形框标记年检报告表格图像需要识别的结论、车牌号、车架号中各字符所在位置，并记录相应类别标签；

S63、使用字符数据集训练字符分割深度神经网络模型，获得字符分割模型。

本发明的有益效果是：本发明主要应用于车辆尾气检验报告检测，其实现了自动识别车辆尾气检验报告中红章、MA章、签字、识别结论，判断车牌号和车架号是否与服务器存档内容一致。既节约了人力，又保证了校验工作的公正、公开。

附图说明

图1：本发明的车辆尾气检验报告识别校验流程图

图2：本发明的结构示意图

图3：本发明目标区域检测单元的结构示意图

图4：本发明字符分割识别单元的示意图

具体实施方式

以下结合附图，对本发明做进一步说明。

本发明主要基于目标检测模块、字符提取模块及判定模块。

如图2所示，目标检测模块由图像校正单元、表格格式检测单元、印章检测单元、文本检测单元组成。首先，图像校正单元使用Canny边缘检测及LSD直线检测获取图像偏转的角度，对图像进行校正。然后将校正后的图像作为表格格式检测单元的输入，应用表格格式检测模型，获取ROI区域；将校正后的图像作为印章检测单元的输入，应用印章检测模型，检测红章和MA章；根据ROI区域偏移得到文本类信息的候选区域，将候选区域作为文本检测单元的输入，应用文本定位模型。这种分步检测手段可以有效地避免签字、结论、车牌号、车架号等文本信息区域情况复杂、无法确定是否存在所需目标文本信息带来的误检影响，提高文本信息区域定位的准确率，进一步提高文本类信息识别的准确性。

图像校正单元的具体方法包括：

S1、采用Canny边缘检测算法提取表格图像的边缘；

S2、采用LSD直线检测算法获取表格水平边缘与垂直边缘倾斜角度；

S3、根据获得的倾斜角度对图像进行仿射变换，获取校正后的图像。

目标检测单元的具体检测方法包括：如图3所示，检测模块首先将车辆尾气检验报告图像输入到表格格式检测模型，得到N个一维组class，x，y，width，height]，数组第一个元素代表对象类别，是“车辆尾气检验报告图像”则大于等于1，并且每个大于等于1的数值依次代表车辆尾气检验报告的几种格式，不是则为0，数组后四个元素表征目标对象所在矩形区域，x，y代表矩形左上角点坐标，width代表矩形宽度，height代表矩形高度。每个数组均对应一个区域，利用区域矩形框面积大小构建表格区域远近信息以矩形框面积最大的数组作为检测模块输出，然后通过矩形框位置信息获取ROI区域。同理将检验报告图像输入到印章检测模型中，也可以得到N个一维数组[class，x，y，width，height]，用以判断是否是红章、MA章并获取其位置的矩形信息。文本类信息在图像中很小，因此通过前面获得的ROI区域进行偏移，获得文本类信息的候选区域图像，将候选区域图像输入到文本定位模型中，得到N个一维数组[class，x，y，width，height]，用来判断是否是签字、结论、车牌号、车架号，并获得其位置的矩形信息，结论、车牌号、车架号根据矩形信息候选区域图像上进行裁剪获取图像，这些图像将作为字符分割模型的输入。

其中，表格格式检测模型获取步骤如下：

S1、训练数据准备：获取不同自然光条件下不同角度的车辆尾气检验报告图像；

S2、数据标注：采用矩形框标记多种格式的车辆尾气检验报告表格具有明显特征的矩形区域，并记录相应类别标签；

S3、模型训练：采用标注好的训练数据，训练基于深度学习网络的表格格式检测模型。

其中，印章检测模型获取步骤如下：

S1、训练数据准备：获取不同自然光条件下不同角度的车辆尾气检验报告图像；

S2、数据标注：采用矩形框标记MA章、红章所在位置，并记录相应类别标签，每张图像对应多个矩形框，框内包含MA章或红章；

S3、模型训练：采用标注好的训练数据，训练基于深度学习网络的印章检测模型。

其中，文本定位模型获取步骤如下：

S1、训练数据准备：获取不同自然光条件下的文本信息候选区域图像；

S2、数据标注：采用矩形框标记签字、结论、车牌号、车架号所在位置，并记录相应类别标签，每张图像对应多个矩形框，框内包含签字、结论、车牌号、车架号中的一个；

S3、模型训练：采用标注好的训练数据，训练基于深度学习网络的文本定位模型。

如图2所示，字符提取模块包括字符分割单元和判断单元，字符分割单元接收到定位到文本信息的矩形区域位置后，应用字符分割模型提取结论字符、车牌号字符和车架号字符。判断单元接收字符分割单元提供的字符后，首先判断结论区域的字符是否为合格，如果是则相应标志为1，否则为0；然后判断车牌号字符区域字符是否与服务器存档内容一致，如果是则相应标志为1，否则为0；最后判断车架号字符区域字符是否与服务器存档内容一致，如果是则相应标志为1，否则为0。

字符分割单元的具体检测方法包括：如图4所示，采用基于深度学习的字符分割识别模型识别结论、车牌号和车架号，识别模型的输出结果可表示为和结论、车牌号及车架号尺寸相同的灰度图像。灰度图中，每一个点的灰度值只有N+1中可能的取值，其中N表示字符的类别数，其中有一类是背景类。本方案中，字符的类别包括“0”到“9”、“A”到“Z”“不”、“合”、“格”，因此N的取值为39，则灰度图中每个点的取值有40种可能，对应训练字符分割识别模型的40个标签，灰度值为0表示该点为背景，灰度值为1至10分别表示该点为“0”到“9”，11至36分别表示该点为“A”到“Z”，37至39分别表示该点为“不”、“合”、“格”。至此预测出每个像素点的类别，再根据像素点的分布关系，即可预测出字符的位置和类别。具体操作如下，首先对字符分割识别模型输出的灰度图分别用上述39种灰度值过滤，得到39张二值掩码图，例如过滤灰度值为2，则将灰度值为2的点的掩码值置为255，其余的点都置为0.再对二值掩码图做形态学膨胀，膨胀操作核选择矩形核，其长宽均设置为掩码图宽度的百分之一。根据8领域的连通性，将掩码值为255的点分成若干个互不相连的点集，计算点集内点的个数及其外接矩形，并记录对应的灰度值标签。按照点集内点的个数从大到小排序，前三个点集对应的外接矩形即结论字符的位置，前六个点集对应的外接矩形即车牌字符的位置，前十七个点集对应的外接矩形即车架号字符的位置，其灰度值标签即识别出的字符类别。

其中，基于深度学习的字符分割识别模型的获取方法如下：

S1、训练数据准备：基于文本定位模型用矩形框标记的结论、车牌号和车架号区域，得到结论、车牌号和车架号图像，作为标注样本；

S2、数据标注：采用矩形框在结论图像上标记结论中的所有字符的位置和类别，采用矩形框在车牌号图像上标记车牌号中的所有字符的位置和类别，采用矩形框在车架号图像上标记车架号中的所有字符的位置和类别；

S3、模型训练：根据S2中标注的位置和类别，计算出结论图像、车牌号图像和车架号图像上每个像素点所属的类别，生成一幅和标注结论图像、标注车牌号图像及标注车架号图像尺寸相同的标签图像；使用上述结论图像、车牌号图像、车架号图像和对应的标签图像构成的数据集，训练字符分割深度学习网络模型，获得字符分割识别模型。

本发明的年检完税证明检测校验标准如下：图像是否是车辆尾气检验报告；车辆尾气检报告中是否存在红章，是否存在MA章，是否存在签字，结论是否为合格，车牌号是否与服务器中存档内容一致，车架号是否与服务器中存档内容一致。本发明采用一个一维数组[x1，x2，x3，x4，x5，x6，x7]表示校验状态，初始值为[0，0，0，0，0，0，0]，标志位x1代表图像是否是车辆尾气检验报告，若成功则x1为1，否则为0；标志位x2代表车辆尾气检验报告中是否存在红章，若存在则x2为1，否则为0；标志位x3代表车辆尾气检验报告中是否存在MA章，如果是则x3为1，否则为0；标志位x4代表车辆尾气检验报告中是否存在签字，如果是则x4为1，否则为0；标志位x5代表检验结论是否为合格，如果是则x5为1，否则为0，标志位x6代表车牌号和服务器中存档内容是否一致，如果是则x6为1，否则为0，标志位x7代表车架号和服务器中存档内容是否一致，如果是则x7为1，否则为0。最后，统计标志位状态，若标志均为1，则校验通过，若存在0，则校验不通过。

判定模块根据校验标准判断车辆尾气检验报告检测是否通过，若通过则直接返回校验成功标识，若不通过则根据标志位为1的位置返回校验失败原因及相应图片，留待后期审核查证。

Claims (6)

1.一种车辆尾气检验报告的智能识别方法，其特征在于，包括以下步骤：

S1、从服务器下载车辆尾气检验报告图像；

S2、采用仿射变换校正车辆尾气检验报告图像；

S3、采用基于深度学习的车辆尾气检验报告表格格式检测模型检测图像是否为车辆尾气检验报告并定位ROI区域，并对是否车辆尾气检验报告做标记，并保存相关图片；

S4、采用基于深度学习的印章检测模型，定位红章和MA章，并对红章和MA章是否存在做标记并保存相关图片；

S5、根据定位到的ROI区域进行偏移，得到签字、结论、车牌号、车架号的候选区域；

S6、在候选区域中，调用基于深度学习的文本定位模型，定位签字、结论、车牌号及车架号的矩形框；

S7、检测签字是否存在及是否合格并对结果做标记并保存相关图片；

S8、定位车牌号的矩形框，采用基于深度学习网络的字符分割模型提取车牌号字符并保存，并与服务器的存档内容进行比对；定位车架号的矩形框，提取车架号字符，并与服务器的存档内容进行比对，对前述比对结果做标记并保存相关图片；

S9、对整个过程的结果进行统计判断车辆尾气检验报告是否通过。

2.如权利要求1所述的一种车辆尾气检验报告的智能识别方法，其特征在于，所述步骤S2中仿射变换校正表格图像步骤如下：

S21、采用Canny边缘检测算法提取表格图像的边缘；

S22、采用LSD直线检测算法获取表格水平边缘与垂直边缘倾斜角度；

S23、根据获得的倾斜角度对图像进行仿射变换，获取校正后的图像。

3.如权利要求1所述的一种车辆尾气检验报告的智能识别方法，其特征在于，所述步骤S3中基于深度学习的车辆尾气检验报告表格格式检测模型获取步骤如下：

S31、获取不同自然光条件下不同角度的车辆尾气检验报告图像；

S32、采用矩形框标记多种格式的车辆尾气检验报告表格具有明显特征的矩形区域，并记录相应类别标签；

S33、使用所述标记好的图像训练目标检测深度神经网络模型，获得车辆尾气检验报告表格格式检测模型。

4.如权利要求1所述的一种车辆尾气检验报告的智能识别方法，其特征在于，所述步骤S4中基于深度学习的印章检测模型获取步骤如下：

S41、获取不同自然光下不同角度的车辆尾气检验报告图像，所盖红章和MA章的角度任意；

S42、采用矩形框标记红章和MA章区域图像所在位置；

S43、使用所述红章和MA章区域图像训练目标检测深度神经网络模型，获得印章检测模型。

5.如权利要求1所述的一种车辆尾气检验报告的智能识别方法，其特征在于，所述步骤S6中基于深度学习的文本定位模型获取步骤如下：

S61、获取不同自然光下不同角度的车辆尾气检验报告图像；

S62、采用矩形框标记签字、结论、车牌号、车架号图像所在位置；

S63、使用所述签字、结论、车牌号、车架号区域图像训练目标检测深度神经网络模型，获得文本定位模型。

6.如权利要求1所述的一种车辆尾气检验报告的智能识别方法，其特征在于，所述步骤S8中采用基于深度学习网络的字符分割模型获取步骤如下：

S81、获取不同自然光照条件下不同角度的车辆尾气检验报告图像；

S82、采用矩形框标记年检报告表格图像需要识别的结论、车牌号、车架号中各字符所在位置，并记录相应类别标签；

S83、使用字符数据集训练字符分割深度神经网络模型，获得字符分割模型。