CN114037822A - 一种行驶证检测方法和系统 - Google Patents

Abstract

本发明公开了一种行驶证检测方法和系统，包括：基于深度神经网络构建外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值out_w、短边的长度值out_h以及夹角θ；根据中心点、长度、宽度和夹角，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标；根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域；定位校正后的行驶证外框区域上的行驶证信息。本发明能够提高行驶证以及行驶证信息检测的准确率，解决了旋转目标的死角或者临界点出现较大偏差的问题。

Description

一种行驶证检测方法和系统

技术领域

本发明涉及行驶证检测技术领域，具体而言涉及一种行驶证检测方法和系统。

背景技术

行驶证识别代替手工录入驾驶证信息，提升速度，拉高办事效率，并且人工录入错误率也较高。目前的行驶证识别主要采用OCR识别技术，对图像信息进行分析管理，即可将行驶证信息完整的识别出来，识别率高，速度快，并能将采集的图像及头像一并保存下来以便后期核对。它能精确的把识别结果传送到指定的业务系统保存及处理，对业务人员高效的办理行驶证录入相关业务有着积极的意义。

然而传统的针对扫描文档的OCR方法很难做到复杂场景中的文字识别，现有的场景文字识别方法对于场景单一并且对于没有畸变的图像有不错的识别效果。但是对于像行驶证这样的自然目标，存在着扭曲的情况，其识别效果很差。

因此，有技术人员提出了一些针对行驶证图像的校正方法。例如，专利号为CN110569801A的发明中提出一种行驶证关键内容识别方法，对行驶证正页、副页图像区域进行朝向校正、倾斜校正、倒立校正；通过实现行驶证关键内容的自动化识别，可以提高业务办理和管理等应用的效率，确保信息准确性，节省人力和时间。还有部分技术人员提出了采用旋转目标检测的方式，常见的旋转边界框的定于有两种：1)采用的opencv表示法：(x,y,h,w,θ)进行表示，坐标(x,y)代表标注框的几何中心，与x轴正方向角度绝对的边作为宽度w,两一个边作为高度h,角度θ是边界框的宽度w沿X轴逆时针旋转的角度，这个角度的范围是[-90°,0)，如图1所示。2)采用长边表示法：(x,y,h,w,θ)进行表示，坐标(x,y)代表标注框的几何中心，高度h代表标注框的短边，宽度w代表标注框的长边，角度θ是边界框的长边沿X轴旋转的正向角度，这个角度的范围是[-90°,90°)，如图2所示。例如，专利号为CN112464852A的发明中提出一种车辆行驶证图片自适应矫正与识别方法，通过对行驶证进行拍摄，对拍摄得到的图片使用深度神经网络定位红章，基于红章位置状态对行驶证正页进行矫正和提取，并基于霍夫变换采用多种自定义算法对行驶证正页进行处理，使用Tesseract-OCR引擎对行驶证信息进行识别。但是，在当前常用的旋转检测框的角度定义下，由于存在旋转角度的边界问题，会产生不必要的损失，也就存在了定位不准确的问题。

发明内容

本发明针对现有技术中的不足，提供一种行驶证检测方法和系统，结合深度学习和传统图像处理方法，以及重新定义旋转边界框的方式，提高行驶证以及行驶证信息检测的准确率，解决了旋转目标的死角或者临界点出现较大偏差的问题，可以代替人工检测，有效地克服人工检测的低效率与可靠性差等缺陷，从而使行驶证检测工作客观化、规范化和智能化。使交通管理单位能更好的管理车辆。

为实现上述目的，本发明采用以下技术方案：

第一方面，本发明实施例提出了一种行驶证检测方法，所述行驶证检测方法包括以下步骤：

S1，获取行驶证图像；

S2，基于深度神经网络构建外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值、短边的长度值以及长边与x轴的夹角θ；

S3，根据中心点、宽高和旋转角度，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标；

S4，根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域；

S5，定位校正后的行驶证外框区域上的行驶证信息。

进一步地，步骤S2中，基于深度神经网络构建外框预测模型的过程包括以下步骤：

S21，将获取的一定量的不同拍照场地环境、不同光照和不同倾斜角度的行驶证图像作为训练样本；

S22，采用多边形框在样本图像上标记行驶证外框的四个角点；

S23，根据所述标记的行驶证外框的四个角点的json文件，计算出四个角点的最小外界矩形的四个角点，将最小外界矩形的四个角点由左上角(x1,y1)开始顺时针方向排序(x1、y1、x2、y2,x3,y3,x4,y4)，生成一个txt文件，每一张图片对应一个txt文件，txt的文件名为图片的名称，每一个txt文件中的每一行对应一个行驶证外界矩形框坐标组(x1、y1、x2、y2,x3,y3,x4,y4)；

S24，得到所有图片对应的txt文件之后，将所有对应txt的图片的名称放在一个总的txt中，每一个行对应一个图片的路径，将这个总的txt和行驶证图像以及和图片同名的txt构成的数据集，训练基于深度神经网络构建得到的外框预测模型；

S25，利用训练完成的外框预测模型对步骤S1中获取的行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值out_w、短边的长度值out_h以及长边与x轴的夹角θ，0°<＝θ<360°；根据中心点、宽高和角度，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点。

进一步地，步骤S4中，根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域的过程包括以下步骤：

S31，根据步骤S25中预测得到的行驶证外框的四个角点，计算透视变换后的行驶证外框为矩形的四个角点arr_pt；

S32，根据步骤S25中预测得到的行驶证外框的四个角点及步骤S31中得到的四个角点的坐标得到透视矩阵；

S33，根据透视矩阵，对行驶证图像进行透视校正，得到校正后的行驶证图像；

S34，截取四个角点arr_pt在校正后的行驶证图像上的所在区域得到行驶证外框区域，且所截取出的行驶证外框区域为水平矩形，长边为宽，短边为高。

进一步地，步骤S5中，采用旋转目标检测深度学习网络定位校正后的行驶证外框区域上的行驶证信息。

进一步地，所述定位校正后的行驶证外框区域上的行驶证信息的过程包括以下步骤：

S51，根据步骤S22中标记的行驶证外框的四个角点，利用步骤3中的透视校正方法来截取的行驶证外框区域，作为训练行驶证信息的数据集；

S52，根据透视校正矩阵，计算出标记行驶证信息相对于校正后的行驶证外框区域的四个角点坐标值；

S53，使用步骤S51中训练行驶证信息的数据集和旋转目标检测深度学习网络进行训练，获得行驶证信息位置检测模型；

S54，利用得到的行驶证信息位置检测模型预测行驶证信息的位置。

进一步地，所述行驶证信息包括：车牌号、车辆识别号VIN、证芯编号和发证日期信息。

第二方面，本发明实施例提出了一种行驶证检测系统，所述行驶证检测系统包括：

图像采集模块，用于获取行驶证图像；

基于深度神经网络构建的外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值、短边的长度值以及长边与x轴的夹角θ；

角点计算模块，用于根据外框预测模型输出的中心点、宽高和旋转角度，拟合得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标；

校正模块，用于根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域；

行驶证信息定位模块，用于定位校正后的行驶证外框区域上的行驶证信息。

本发明的有益效果是：

本发明的行驶证检测方法包括:接收、并预处理含有行驶证图像；确定图像上行驶证区域的位置；将四边形(通常为非矩形)行驶证区域通过透视变换转为矩形；在透视变换之后的行驶证区域位置再次去定位行驶证信息的位置。本发明提出的检测方法定位行驶证信息位置的准确度高，完全可以替代现有的人工检查，克服了现有技术中人工检测效率、可靠性差等缺陷；通过本发明的方法能够使行驶证检测工作实现客观化、规范化和智能化，降低了人力成本，提高了检测的准确率。最重要的是旋转角度的重新定义方式的使用解决了旋转目标中死角或者临界点处，定位出现较大偏差问题。

附图说明

图1为opencv表示法原理图。

图2为长边表示法原理图。

图3为本发明实施例的行驶证检测方法流程图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例一

图3为本发明实施例的行驶证检测方法流程图。本实施例可适用于通过服务器等设备检测行驶证信息的情况，该方法可以由行驶证检测系统来执行，该系统可以采用软件和/或硬件的方式实现，并可集成在电子设备中，例如集成服务器设备中。

该行驶证检测方法包括以下步骤：

S1，获取行驶证图像。

S2，基于深度神经网络构建外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值、短边的长度值以及长边与x轴的夹角θ。

S3，根据中心点、宽高和旋转角度，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标。

S4，根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域。

S5，定位校正后的行驶证外框区域上的行驶证信息。

本实施例的行驶证检测方法具体包括以下步骤：

步骤一，获取行驶证图像

本实施例的检测方法能够对拍摄的图像质量进行自动判定和自动校正，较少受到拍摄参数影响，理论上允许获取不同拍照场地环境、不同光照和不同倾斜角度的行驶证图像。

步骤二，预测得到行驶证外框参数，计算得到角点坐标

采用基于深度神经网络定位行驶证图像中的行驶证外框的位置，具体包括以下子步骤：

21)将获取的在不同拍照场地环境、不同光照和不同倾斜角度的行驶证图像作为训练样本。

22)采用多边形框在图像上标记行驶证的四个角点。

23)根据所述标记的行驶证外框的四个角点的json文件，计算出四个角点的最小外界矩形的四个角点，将最小外界矩形的四个角点由左上角(x1,y1)开始顺时针方向排序(x1、y1、x2、y2,x3,y3,x4,y4)，生成一个txt文件，每一张图片对应一个txt文件，txt的文件名为图片的名称，每一个txt文件中的每一行对应一个行驶证外界矩形框坐标(x1、y1、x2、y2,x3,y3,x4,y4)，得到所有图片对应的txt文件之后，将所有有对应txt的图片的名称放在一个总的txt中，每一个行对应一个图片的路径，将这个总的txt和行驶证图像以及和图片同名的txt构成的数据集，训练旋转行驶证外框深度神经网络；(示例中采用的改进之后的旋转目标centerNet检测算法：即将原版检测水平矩形框目标改进为旋转目标，已经重新给定义了旋转边界框的表示方法)。在数据预处理的时，将四个角点表示最小外界矩形的方式转为中心点和宽高以及旋转角θ表示，即(x0、y0、w、h、θ)。此处，长边定义为w，短边定义为h，旋转角度θ定位为长边w与x轴的夹角，在本实施例中，0°<＝θ<360°，不同与以往的旋转角度的定义的方式，本实施例的输入角度的定义的改进，可以解决行驶证在临界点出出现定位较大的偏差问题。为了便于说明，在本实施例中，将长边的长度值out_w定义成矩形框的宽度值，将短边的长度值out_h定义成矩形框的高度值。

24)利用步骤23)训练得到的模型对图像进行预测，得到行驶证外框的中心点(out_x、out_y)、宽高(out_w、out_h)以及长边与x轴的夹角θ，即(out_x、out_y、out_w、out_h、θ)；根据中心点、宽高和角度，得到一个包含行驶证的外界矩形框，也便得到矩形框的四个角点。

步骤三，图像校正

根据所述行驶证外框的四个角点调用透视校正函数校正图像，以得到校正后的行驶证外框区域，具体包括以下子步骤：

根据所述四个角点arr_pt1计算透视变换后矩形的四个角点坐标arr_pt2；假设获取到的车辆行驶证图像上的四个角点坐标分别为pt_tl、pt_bl、pt_tr、pt_br，经透视变换后对应的四个角点坐标分别为：new_pt_tl、new_pt_bl、new_pt_tr、new_pt_br；则：

根据变换前后的坐标调用getPerspectiveTransform函数得到透视变换矩阵M，再调用opencv透视变化函数warpPerspective对行驶证图像进行校正，便能得到校正之后的行驶证图像，此时行驶证外框区域为矩形。

步骤四，定位行驶证信息

定位所述校正后的行驶证外框区域上的行驶证信息的过程具体包括以下子步骤：

41)根据所述步骤22)中标记的行驶证外框的四个角点，利用所述步骤3)中的透视校正方法来截取的行驶证外框区域，作为训练行驶证信息的数据集。

42)根据透视校正矩阵，计算出标记行驶证信息相对于校正后的行驶证外框区域的四个角点坐标值。

43)使用步骤41)中训练行驶证信息的数据集和旋转CentenrNet目标检测深度学习网络进行训练，以获得行驶证信息位置检测模型。

44)利用所述得到的行驶证信息位置检测模型预测行驶证信息的位置。

透视校正行驶证，并且已经得到校正之后行驶证四个角点坐标：new_pt_tl、new_pt_bl、new_pt_tr、new_pt_br，根据这四个角点坐标可以得到行驶证区域ROI。对行驶证外框的四个点的样本使用步骤3)的透视校正得到校正后的行驶证区域ROI训练样本。根据透视矩阵计算出相对于在行驶证区域ROI训练样本上多边形框标记车牌号、车辆识别号VIN、证芯编号和发证日期信息等所在位置，即调用opencv中的perspectiveTransform函数，计算出行驶证信息的相对坐标。使用所述图像训练旋转目标检测深度学习网络模型，获得行驶证信息位置检测模型。

将行驶证图像输入行驶证信息位置检测模型，得到N个一维数组[class，score，x，y，width，height,angle]，数组第一个元素class代表对象类别，与训练时的类别顺序一致，0代表背景，1代表行驶证信息；score代表分数，x，y代表矩形中心点坐标，width代表矩形宽度，height代表矩形高D度，angle代表相对于长边逆时针旋转的角度；每个数组均对应一个区域，选取得分最大的为目标输出。

实施例二

本发明实施例提出了一种行驶证检测系统，该行驶证检测系统包括图像采集模块、外框预测模型、角点计算模块、校正模块和行驶证信息定位模块。

图像采集模块，用于获取行驶证图像。

基于深度神经网络构建的外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值、短边的长度值以及长边与x轴的夹角θ。

角点计算模块，用于根据外框预测模型输出的中心点、宽高和旋转角度，拟合得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标。

校正模块，用于根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域。

行驶证信息定位模块，用于定位校正后的行驶证外框区域上的行驶证信息。

本发明实施例所提供的行驶证检测系统可执行本发明任意实施例所提供的行驶证检测方法，具备执行方法相应的功能模块和有益效果。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种行驶证检测方法，其特征在于，所述行驶证检测方法包括以下步骤：

S1，获取行驶证图像；

S2，基于深度神经网络构建外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标、长边的长度值、短边的长度值以及长边与x轴的夹角θ；

S3，根据中心点、长边的长度值、短边的长度值和夹角θ，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标；

S4，根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域；

S5，定位校正后的行驶证外框区域上的行驶证信息。

2.根据权利要求1所述的行驶证检测方法，其特征在于，步骤S2中，基于深度神经网络构建外框预测模型的过程包括以下步骤：

S21，将获取的一定量的不同拍照场地环境、不同光照和不同倾斜角度的行驶证图像作为训练样本；

S22，采用多边形框在样本图像上标记行驶证外框的四个角点；

S23，根据所述标记的行驶证外框的四个角点的json文件，计算出四个角点的最小外界矩形的四个角点，将最小外界矩形的四个角点由左上角(x1,y1)开始顺时针方向排序(x1、y1、x2、y2,x3,y3,x4,y4)，生成一个txt文件，每一张图片对应一个txt文件，txt的文件名为图片的名称，每一个txt文件中的每一行对应一个行驶证外界矩形框坐标组(x1、y1、x2、y2,x3,y3,x4,y4)；

S24，得到所有图片对应的txt文件之后，将所有对应txt的图片的名称放在一个总的txt中，每一个行对应一个图片的路径，将这个总的txt和行驶证图像以及和图片同名的txt构成的数据集，训练基于深度神经网络构建得到的外框预测模型；

S25，利用训练完成的外框预测模型对步骤S1中获取的行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值out_w、短边的长度值out_h以及夹角θ，0°<＝θ<360°；根据中心点、长边的长度值、短边的长度值和夹角θ，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点。

3.根据权利要求2所述的行驶证检测方法，其特征在于，步骤S4中，根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域的过程包括以下步骤：

S31，根据步骤S25中预测得到的行驶证外框的四个角点，计算透视变换后的行驶证外框为矩形的四个角点arr_pt；

S32，根据步骤S25中预测得到的行驶证外框的四个角点及步骤S31中得到的四个角点的坐标得到透视矩阵；

S33，根据透视矩阵，对行驶证图像进行透视校正，得到校正后的行驶证图像；

S34，截取四个角点arr_pt在校正后的行驶证图像上的所在区域得到行驶证外框区域，且所截取出的行驶证外框区域为水平矩形，长边为宽，短边为高。

4.根据权利要求2所述的行驶证检测方法，其特征在于，步骤S5中，采用旋转目标检测深度学习网络定位校正后的行驶证外框区域上的行驶证信息。

5.根据权利要求4所述的行驶证检测方法，其特征在于，所述定位校正后的行驶证外框区域上的行驶证信息的过程包括以下步骤：

S51，根据步骤S22中标记的行驶证外框的四个角点，利用步骤3中的透视校正方法来截取的行驶证外框区域，作为训练行驶证信息的数据集；

S52，根据透视校正矩阵，计算出标记行驶证信息相对于校正后的行驶证外框区域的四个角点坐标值；

S53，使用步骤S51中训练行驶证信息的数据集和旋转目标检测深度学习网络进行训练，获得行驶证信息位置检测模型；

S54，利用得到的行驶证信息位置检测模型预测行驶证信息的位置。

6.根据权利要求1所述的行驶证检测方法，其特征在于，所述行驶证信息包括：车牌号、车辆识别号VIN、证芯编号和发证日期信息。

7.一种行驶证检测系统，其特征在于，所述行驶证检测系统包括：

图像采集模块，用于获取行驶证图像；

基于深度神经网络构建的外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值、短边的长度值以及长边与x轴的夹角θ；

角点计算模块，用于根据外框预测模型输出的中心点、宽高和旋转角度，拟合得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标；

校正模块，用于根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域；

行驶证信息定位模块，用于定位校正后的行驶证外框区域上的行驶证信息。

Images