CN107886047A - 一种车辆年检检验报告的检测系统及方法 - Google Patents

Abstract

本发明公开了一种车辆年检检验报告的检测系统及方法，包括表格重构模块、字符提取模块、目标检测模块和综合判定模块；表格重构模块对表格图像进行预处理并修正，得到初始表格图像；字符提取模块从初始表格图像中定位并提取字符串，与服务器中的存档进行比对；专用章目标检测模块提取并判断表格中的专用章特征信息；综合判定模块接收字符提取模块输出的结果和目标检测模块输出的结果，综合判断表格是否通过测试。本发明实现了对年检检验报告内容的智能提取和比对，审核过程的全程自动校验，既节约了人力，又保证了校验工作的公正、公开。

Description

一种车辆年检检验报告的检测系统及方法

技术领域

本发明涉及机动车车辆年检的人工智能判断技术领域，特别涉及一种车辆年检检验报告的检测系统及检测方法。

背景技术

随着社会经济的不断发展和人民生活水平的持续提高，城市机动车数量迅猛增长。机动车车辆年检的工作量也随之迅速增大。传统的车辆年检检验报告检测主要是通过人工校验，该方法人工成本较高，效率较低，且长时间重复性校验操作容易产生疲劳，疏忽等不良状态，影响校验准确率。

如何准确、快速地对年检保险单进行核对，同时避免人工核对成本高，易疲劳，易疏忽等弊端，是急需解决的技术问题。

发明内容

针对上述现有技术中存在的问题，本发明的目的是：提供一种车辆年检检验报告的智能检测方法，其能够重构表格，并自动提取车辆年检检验报告里的关键信息，并与服务器存档内容校对判断是否一致，以满足如今对年检工作效率和准确率的需求。

本发明解决其技术问题所采用的技术方案是：

一种车辆年检检验报告的检测系统，其系统结构包括：表格重构模块、字符提取模块、目标检测模块和综合判定模块；其中，

所述表格重构模块对年检检验报告图像进行预处理，并根据表格的结构特征进行修正处理，最终得到初始表格图像；

所述字符提取模块从得到的初始表格图像中定位字符位置，并提取表格内的字符信息与服务器中的存档进行比对；

所述专用章目标检测模块用于提取并判断表格中的专用章特征信息；

所述综合判定模块接收所述字符提取模块输出的结果和所述目标检测模块输出的结果，进行综合判断表格是否通过测试。

进一步，所述表格重建模块包括表格图像预处理单元、表格结构特征检测单元和表格结构特征修正单元；所述表格图像预处理单元采用自适应二值化算法和去噪预处理算法对表格图像进行预处理，并将处理结果发送至所述表格结构特征检测单元，所述表格结构特征检测单元采用仿射变换校正图像算法，重新构造图像的水平和竖直结构元素，并将获得的表格横竖线图发送至所述表格结构特征修正单元，所述表格特征修正单元根据表格的短直线间距进行大小合并，并对运算留下的干扰线加以剔除，最后将横竖线图相加，得到初始表格图。

进一步，所述字符提取模块包括字符定位单元、字符分割单元和字符判断单元；所述字符定位单元根据所述表格结构特征修正单元的输出结果定位关键字符的表格框位置信息，并将其传输至所述字符分割单元，所述字符分割单元应用字符分割模型提取字符信息，并将其发送至所述字符判断单元，所述字符判断单元将字符信息与服务器存档进行比对。

进一步，所述专用章目标检测模块包括专用章检测单元和专用章判断单元；所述专用章检测单元采用基于深度学习网络的专用章目标检测模型检测表格中的专用章特征信息，并传递给所述专用章判断单元判定。

一种车辆年检检验报告的检测方法，包括如下步骤：

S1、从服务器下载车辆年检检验报告表格图片及对应的车牌和车架号信息；

S2、采用自适应二值化算法和去噪算法对所述表格图片进行预处理；

S3、将上述预处理的结果再采用仿射变换算法对表格图片进行校正处理；

S4、构造水平结构元素和竖直结构元素，并利用数学形态学的方法对校正处理后的表格图片进行水平横线和竖直直线的检测；

S5、将水平和竖直短直线进行筛选过滤与合并；

S6、将水平和竖直线图相加重建表格，并根据表格相交特征修正表格；

S7、检测并重建表格各个交点，交点都存在则记录此条标志为1，反之则记录此条标志为0，并保存相关图片；

S8、根据表格各个小框固定的相对位置定位车牌号字符串区域和车架号区域，采用基于深度学习网络的字符分割模型提取车牌号字符串和车架号字符串，并保存，判断车牌号字符串和车架号字符串是否与服务器存档内容一致，以上判断若存在且一致，则记录此条标志为1，反之则记录此条标志为0，并保存相关图片；

S9、采用基于深度学习网络的专用章目标检测模型检测表格中检测专用章，判断专用章目标是否存在，若存在则记录此条标志为1，若不存在则记录此条标志为0，并保存相关图片；

S11、对整个过程的动作结果进行统计分析，记录标志位全部为1，则年检检验报告检测通过；若存在标志0，则不通过，同时，若S1中的表格检测标志位为1，根据标志0出现的位置获取校验不通过的原因及问题图片。

进一步，所述仿射变换校正表格图像步骤如下：

S3-1、采用Sobel边缘检测算法对表格图像进行边缘提取；

S3-2、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度；

S3-3、根据所述水平及垂直边缘倾斜角度进行放射变换，获取校正后的表格图像。

进一步，所述构造水平结构元素和竖直结构元素用数学形态学的方法来分别检测水平横线和竖直直线包括如下步骤：

S4-1：构造水平结构元素和竖直结构元素，结构元素的长度应大于表格的高度和宽度；

S4-2:运用水平结构元素对预处理后的表格图像形态学开运算，可以保留水平表格线上的几乎全部像素，而竖直表格线和文字图像上的绝大部分点都变为0从而得到表格的水平直线，同样的，运用竖直结构元素开运算，可以去除水平线和文字得到竖直直线。

进一步，所述水平和竖直短直线的筛选过滤与合并包括如下步骤：

S5-1：在获得的表格水平线中，检测直线，对紧邻的明显可以认为是在一条直线上的短直线合并。判断直线y轴近似的水平线，其水平间距接近则合并；

S5-2:在获得的表格竖直线中，检测直线，在竖直方向紧邻的明显可以认为是在一条直线上的短直线合并，判断直线x轴近似的竖直线，其竖直间距接近则合并；

S5-3：对于孤立极短的直线是干扰线加以剔除。

进一步，所述水平和竖直线图相加重建表格，根据表格相交特征修正表格步骤如下：

S6-1:把处理好的表格水平线图和表格竖直线图相加得到初步的表格图；

S6-2:将表格水平线和竖线相交。

进一步，所述字符分割模型的获取步骤如下：

S8-1、获取不同自然光照条件下，不同角度的年检检验报告图像；

S8-2、采用矩形框标记年检检验报告图像内需要识别的各字符所在位置，并记录相应类别标签；

S8-3、使用字符数据集训练字符分割深度神经网络模型，获得字符分割模型；

进一步，所述专用章目标检测模型获取步骤如下：

S10-1、获取在不同自然光下拍照的表格，所盖专用章的角度和在表格中的位置随意；

S10-2、采用矩形框标记专用章区域图像所在位置；

S10-3、使用所述专用章区域图像训练目标检测深度神经网络模型，获得专用章目标检测模型。

本发明的有益效果是：本发明主要应用于车辆年检检验报告检测，其实现了表格重构，自动提取车辆年检检验报告的关键信息并与服务器存档内容校对判断是否一致。审核过程的全程自动校验，同时可以将未通过的校验图像及原因传回服务器保存留待取证。既节约了人力，又保证了校验工作的公正、公开。

附图说明

图1：本发明的智能检测系统结构框图。

图2：本发明的智能检测方法实施流程图。

图3：本发明的表格重构流程。

图4：表格线相交特征示意图。

图5：表格线修复示意图。

图6：是本发明的专用章目标检测模块的结构示意图。

具体实施方式

以下结合附图。对本发明做进一步说明。

本发明所述的内容包括车辆年检检验报告的智能检测系统和检测方法，其中智能检测系统如图1所示，由如下系统模块构成：表格重构模块、字符提取模块、目标检测模块和综合判定模块；其中，

表格重构模块对年检检验报告图像进行预处理，并根据表格的结构特征进行修正处理，最终得到初始表格图像；

字符提取模块从得到的初始表格图像中定位字符位置，并提取表格内的字符信息与服务器中的存档进行比对；

专用章目标检测模块用于提取并判断表格中的专用章特征信息；

综合判定模块接收字符提取模块输出的比对结果和所述目标检测模块输出的判断结果，进行综合判断表格是否通过测试。

针对上述各个模块更详细的讲：

表格重建模块包括表格图像预处理单元、表格结构特征检测单元和表格结构特征修正单元。其中，

表格图像预处理单元采用自适应二值化算法和去噪预处理算法对表格图像进行预处理，并将处理结果发送至表格结构特征检测单元。

表格结构特征检测单元采用仿射变换校正图像算法，重新构造图像的水平和竖直结构元素，并将获得的表格横竖线图发送至表格结构特征修正单元。

表格特征修正单元根据表格的短直线间距进行大小合并，并对运算留下的干扰线加以剔除，最后将横竖线图相加，得到初始表格图。

字符提取模块包括字符定位单元、字符分割单元和字符判断单元。

字符定位单元根据表格结构特征修正单元的输出结果定位关键字符的表格框位置信息，并将其传输至字符分割单元。

字符分割单元应用字符分割模型提取字符信息，并将其发送至字符判断单元。

字符判断单元将字符信息与服务器存档进行比对。

专用章目标检测模块包括专用章检测单元和专用章判断单元。

专用章检测单元采用基于深度学习网络的专用章目标检测模型检测表格中的专用章特征信息，并传递给专用章判断单元进行判定。

本发明的检测方法，详细的实施流程步骤如图2所示：

从服务器下载车辆年检检验报告图片及对应的车牌、车架号字符等信息；对表格图片采用自适应二值化和去噪处理；采用仿射变换校正车辆年检检验报告图像；构造水平结构元素和竖直结构元素用数学形态学的方法来分别检测水平横线和竖直直线；水平和竖直短直线的筛选过滤与合并；水平和竖直线图相加重建表格，根据表格相交特征修正表格。检测重建表格各个交点，交点都存在则记录此条标志为1，反之则记录此条标志为0，并保存相关图片。根据表格各个小框固定的相对位置定位车牌号字符串区域，并保存，判断车牌号字符串是否与服务器存档内容一致，以上判断若存在且一致，则记录此条标志为1，反之则记录此条标志为0，并保存相关图片。检测车架号是否与服务器存档内容一致，一致则记录此条标志为1，反之则记录此条标志为0。采用基于深度学习网络的专用章目标检测模型检测表格中检测专用章，判断专用章目标是否存在，若存在则记录此条标志为1，若不存在则记录此条标志为0，并保存相关图片。对整个过程的动作结果进行统计分析，记录标志位全部为1，则年检检验报告检测通过，若存在标志0，则不通过；同时，若第一步的表格检测标志位为1，根据标志0出现的位置获取校验不通过的原因及问题图片。

其中，表格重构流程图如图3所示，表格重构模块由图像预处理、校正、形态学开运算提取表格横竖线、筛选合并短直线和横竖线图相加重构表格。首先，对获得的车辆年检保险单图像采用自适应二值化和去噪预处理，运用仿射变换校正图像，分别构造水平和竖直结构元素对图像开运算，可以获得表格的横线和竖线图。原本在一条直线上的短直线根据间距大小合并，对于孤立极短的直线则是由于字体开运算留下的干扰线加以剔除。最后把横竖线图相加得到初始表格图，因为图像不清晰等原因时有的直线长度不完整、表格中应该纵横相交的直线因为太短而没有相交等，这些都可以通过表格横纵直线相结合的组成规律得到修正。

表格线相交特征如图4所示，表格修复的结构示意图如图5所示。

其中，图像校正单元的具体方法包括：

S1、采用Sobel边缘检测算法对车牌图像进行边缘提取，然后对边缘图像进行细化(公知常识,兹不赘述)；

S2、采用Hough直线检测算法对年检检验报告进行直线检测，选取长度最长的直线作为表格水平方向线，计算其与水平方向夹角，得到水平边缘倾斜角度，垂直边缘与水平边缘具有垂直关系，直接推算即可(公知常识,兹不赘述)；

S3、根据所述水平及垂直边缘倾斜角度进行放射变换，获取校正后的年检检验报告图像；

字符提取模块包括字符分割单元和判断单元，字符分割单元接收定位到关键信息的表格框位置后，应用字符分割模型提取车牌号字符。判断单元接收字符分割单元提供的字符后，首先判断字符位数是否与规定字符位数一致，然后判断字符内容是否与服务器存档内容一致。若字符位数不一致则说明该位置的信息可能破损或者被遮挡，则将此标志位设置为0，并保存相关图片以供后期人工查证。

目标检测模块由专用章检测单元和判断单元组成。专用章检测单元的具体检测方法包括：如图6所示，检测模块首先将年检检验报告输入到专用章目标检测模型，首先得到N个一维数组[class，x，y，width，height]，数组第一个元素代表对象类别，是专用章则为1，不是专用章则为0，数组后四个元素表征目标对象所在矩形区域，x,y代表矩形左上角点坐标，width代表矩形宽度，height代表矩形高度。每个数组均对应一个专用章目标，利用专用章区域矩形框面积大小构建专用章远近信息，以矩形框面积最大的数组作为检测模块输出，然后通过矩形框位置信息从年检保险单图像中提取专用章区域图像。

专用章目标检测模型获取方法如下：

S1、训练数据准备：获取不同自然光照、不同角度拍摄的年检保险单图像。

S2、数据标注：采用矩形框将专用章区域在年检保险单图像中标出，每张车辆图像对应一个矩形框，框内包含专用章目标；

S3、模型训练：采用标注好的训练数据，训练基于深度学习网络的专用章目标检测模型(公知常识,兹不赘述)；

本发明的年检检验报告检测校验标准如下：表格重构是否成功；车牌号字符内容与服务器存档内容是否一致；车架号字符内容与服务器存档内容是否一致；检验结果是否在标准限值范围内；检验专用章是否存在。本发明采用一个一维数组[x1，x2，x3，x4，x5]表示校验状态，初始值为[0，0，0，0，0]，标志位x1代表表格重构是否成功，若成功则x1为1，若不成功则x1为0；标志位x2，代表车牌号字符内容与服务器存档内容是否一致，若一致则x2为1，若不一致则x2为0；标志位x3，代表车架号字符内容与服务器存档内容是否一致，若一致则x3为1，若不一致则x3为0；标志位x4，代表检验结果是否在标准限值范围内，若在标准限值范围内则x4为1，若不一致则x4为0；标志位x5，检验专用章是否存在，若存在x5为1，若不存在x5为0。最后，统计标志位状态，若标志为均为1，则校验通过，若存在0，则校验不通过。根据状态0出现的位置可以得到校验未通过的原因。先检查表格重构是否成功的标志位，若该标志位为0，则直接输出表格重构未成功，而无需检测其他的标志位，可能原始照片太模糊或者没有表格导致不通过；若x2为0，可能车牌字符与服务器存档不一致或者车牌字符识别错误；若x3为0，可能车架字符与服务器存档不一致或者车牌字符识别错误；若x4为0，可能检验结果不在标准限值范围内或者部分数字识别错误；若x5为0，可能检验专用章不存在。

判定模块根据校验标准判断表格检测是否通过，若通过则直接返回校验成功标识，若不通过则根据标志位为1的位置返回校验失败原因及相应图片，留待后期审核查证。

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种车辆年检检验报告的检测系统，其特征在于，系统结构包括：表格重构模块、字符提取模块、目标检测模块和综合判定模块；其中，

所述表格重构模块对年检检验报告图像进行预处理，并根据表格的结构特征进行修正处理，最终得到初始表格图像；

所述字符提取模块从得到的初始表格图像中定位字符位置，并提取表格内的字符信息与服务器中的存档进行比对；

所述专用章目标检测模块用于提取并判断表格中的专用章特征信息；

所述综合判定模块接收所述字符提取模块输出的结果和所述目标检测模块输出的结果，进行综合判断表格是否通过测试。

2.如权利要求1所述的检测系统，其特征在于，所述表格重建模块包括表格图像预处理单元、表格结构特征检测单元和表格结构特征修正单元；所述表格图像预处理单元采用自适应二值化算法和去噪预处理算法对表格图像进行预处理，并将处理结果发送至所述表格结构特征检测单元，所述表格结构特征检测单元采用仿射变换校正图像算法，重新构造图像的水平和竖直结构元素，并将获得的表格横竖线图发送至所述表格结构特征修正单元，所述表格特征修正单元根据表格的短直线间距进行大小合并，并对运算留下的干扰线加以剔除，最后将横竖线图相加，得到初始表格图。

3.如权利要求1所述的检测系统，其特征在于，所述字符提取模块包括字符定位单元、字符分割单元和字符判断单元；所述字符定位单元根据所述表格结构特征修正单元的输出结果定位关键字符的表格框位置信息，并将其传输至所述字符分割单元，所述字符分割单元应用字符分割模型提取字符信息，并将其发送至所述字符判断单元，所述字符判断单元将字符信息与服务器存档进行比对。

4.如权利要求1所述的检测系统，其特征在于，所述专用章目标检测模块包括专用章检测单元和专用章判断单元；所述专用章检测单元采用基于深度学习网络的专用章目标检测模型检测表格中的专用章特征信息，并传递给所述专用章判断单元判定。

5.一种车辆年检检验报告的检测方法，其特征在于，包括如下步骤：

S1、从服务器下载车辆年检保险单的表格图片及对应的被保险人的相关字符存档信息；

S2、采用自适应二值化算法和去噪算法对所述表格图片进行预处理；

S3、将上述预处理的结果再采用仿射变换算法对表格图片进行校正处理；

S4、构造水平结构元素和竖直结构元素，并利用数学形态学的方法对校正处理后的表格图片进行水平横线和竖直直线的检测；

S5、将水平和竖直短直线进行筛选过滤与合并；

S6、将水平和竖直线图相加重建表格，并根据表格相交特征修正表格；

S7、检测并重建表格各个交点，交点都存在则记录此条标志为1，反之则记录此条标志为0，并保存相关图片；

S8、根据表格各个小框固定的相对位置定位车牌号字符串区域和车架号区域，采用基于深度学习网络的字符分割模型提取身份证号码字符串、车牌号字符串和车架号字符串，并保存，判断车牌号字符串和车架号字符串是否与服务器存档内容一致，以上判断若存在且一致，则记录此条标志为1，反之则记录此条标志为0，并保存相关图片；

S9、采用基于深度学习网络的专用章目标检测模型检测表格中检测专用章，判断专用章目标是否存在，若存在则记录此条标志为1，若不存在则记录此条标志为0，并保存相关图片；

S10、对整个过程的动作结果进行统计分析，记录标志位全部为1，则年检检验报告检测通过；若存在标志0，则不通过，同时，若S1中的表格检测标志位为1，根据标志0出现的位置获取校验不通过的原因及问题图片。

6.如权利要求5所述的检测方法，其特征在于，所述仿射变换校正表格图像步骤如下：

S3-1、采用Sobel边缘检测算法对表格图像进行边缘提取；

S3-2、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度；

S3-3、根据所述水平及垂直边缘倾斜角度进行放射变换，获取校正后的表格图像。

7.如权利要求5所述的检测方法，其特征在于，所述构造水平结构元素和竖直结构元素用数学形态学的方法来分别检测水平横线和竖直直线包括如下步骤：

S4-1：构造水平结构元素和竖直结构元素，结构元素的长度应大于表格的高度和宽度；

S4-2:运用水平结构元素对预处理后的表格图像形态学开运算，可以保留水平表格线上的几乎全部像素，而竖直表格线和文字图像上的绝大部分点都变为0从而得到表格的水平直线，同样的，运用竖直结构元素开运算，可以去除水平线和文字得到竖直直线。

8.如权利要求5所述的检测方法，其特征在于，所述水平和竖直短直线的筛选过滤与合并包括如下步骤：

S5-1：在获得的表格水平线中，检测直线，对紧邻的明显可以认为是在一条直线上的短直线合并。判断直线y轴近似的水平线，其水平间距接近则合并；

S5-2:在获得的表格竖直线中，检测直线，在竖直方向紧邻的明显可以认为是在一条直线上的短直线合并，判断直线x轴近似的竖直线，其竖直间距接近则合并；

S5-3：对于孤立极短的直线是干扰线加以剔除。

9.如权利要求5所述的检测方法，其特征在于，所述水平和竖直线图相加重建表格，根据表格相交特征修正表格步骤如下：

S6-1:把处理好的表格水平线图和表格竖直线图相加得到初步的表格图；

S6-2:将表格水平线和竖线相交。

10.如权利要求5所述的检测方法，其特征在于，所述字符分割模型的获取步骤如下：

S8-1、获取不同自然光照条件下，不同角度的年检检验报告图像；

S8-2、采用矩形框标记年检检验报告图像内需要识别的各字符所在位置，并记录相应类别标签；

S8-3、使用字符数据集训练字符分割深度神经网络模型，获得字符分割模型；

所述专用章目标检测模型获取步骤如下：

S10-1、获取在不同自然光下拍照的表格，所盖专用章的角度和在表格中的位置随意；

S10-2、采用矩形框标记专用章区域图像所在位置；

S10-3、使用所述专用章区域图像训练目标检测深度神经网络模型，获得专用章目标检测模型。