CN110458168A - 车辆检测报告的处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种车辆检测报告的处理方法、装置、计算机设备和存储介质。所述方法包括：获取待检测图像与标准车牌号码；采用深度学习模型识别出待检测图像中的文本信息；根据文本信息判断待检测图像是否与标准车牌号码匹配；检测待检测图像中是否包含预设图形信息；若待检测图像与标准车牌号码匹配，且待检测图像中包含预设图形信息，则生成审核通过的检测结果。采用本方法能够基于计算机视觉和人工智能技术，将自动化检测引入车辆检测报告的处理过程当中，极大的提高了处理车辆检测报告的准确性。

Description

车辆检测报告的处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及车辆检测技术领域，特别是涉及一种车辆检测报告的处理方法、装置、计算机设备和存储介质。

背景技术

当今我国机动车保有量已经达到3亿多辆，接近每4个人就拥有一辆机动车，并且仍保持持续增长的趋势，而这也导致机动车车辆检验的工作量呈几何级的增加。

传统的车辆检验方式，是由工作人员对车辆检验表格中的项目进行依次检测，并将每个项目的检测结果手动填写进车辆检测表中，再由工作人员审核车辆检验表中的数据并将数据维护进系统中。随着我国机动车数量和车辆检测项目的不断增多，导致传统的人工审核车辆检验表的工作量不断增加。而且长时间的重复性工作，使得审核车辆检测表的工作人员容易产生疲劳，从而造成工作失误，影响车辆检测表审核的准确性。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高处理车辆检测报告准确性的车辆检测报告的处理方法、装置、计算机设备和存储介质。

为了实现上述目的，一方面，本申请实施例提供了一种车辆检测报告的处理方法，所述方法包括：

获取待检测图像与标准车牌号码；

采用深度学习模型识别出待检测图像中的文本信息；

根据文本信息判断待检测图像是否与标准车牌号码匹配；

检测待检测图像中是否包含预设图形信息；

若所述待检测图像与所述标准车牌号码匹配，且所述待检测图像中包含预设图形信息，则生成审核通过的检测结果。

另一方面，本申请实施例还提供了一种车辆检测报告的处理装置，所述装置包括：

获取模块，用于获取待检测图像与标准车牌号码；

文本信息识别模块，用于采用深度学习模型识别出待检测图像中的文本信息；

车牌号码确认模块，用于根据文本信息判断待检测图像是否与标准车牌号码匹配；

图像检测模块，用于检测待检测图像中是否包含预设图形信息；

判定模块，用于根据车牌号码匹配结果和预设图形信息检测结果，判定车辆检测报告审核通过。

又一方面，本申请实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待检测图像与标准车牌号码；

采用深度学习模型识别出待检测图像中的文本信息；

根据文本信息判断待检测图像是否与标准车牌号码匹配；

检测待检测图像中是否包含预设图形信息；

若所述待检测图像与所述标准车牌号码匹配，且所述待检测图像中包含预设图形信息，则生成审核通过的检测结果。

又一方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待检测图像与标准车牌号码；

采用深度学习模型识别出待检测图像中的文本信息；

根据文本信息判断待检测图像是否与标准车牌号码匹配；

检测待检测图像中是否包含预设图形信息；

若所述待检测图像与所述标准车牌号码匹配，且所述待检测图像中包含预设图形信息，则生成审核通过的检测结果。

上述车辆检测报告的处理方法、装置、计算机设备和存储介质，通过获取车辆检测报告的待检测图像与标准车牌号码，采用深度学习模型识别出待检测图像中的文本信息。然后根据所识别的文本信息判断待检测图像是否与标准车牌号码匹配，并检测待检测图像中是否包含可以证明车辆检测报告审核通过的预设图形信息，若待检测图像与标准车牌号码匹配，且待检检测图像中存在可以证明车辆检测报告审核通过的预设图形信息，那么生成审核通过的检测结果。该方法基于计算机视觉和人工智能技术，通过将待检测图像与标准车牌号码匹配，然后进一步检测待检测图像中的审核通过图形，将自动化检测引入车辆检测报告的处理过程当中，极大的提高了处理车辆检测报告的准确性。

附图说明

图1为一个实施例中车辆检测报告的处理方法的应用环境图；

图2为一个实施例中车辆检测报告的处理方法的流程示意图；

图3为一个实施例中采用深度学习模型识别文本信息的流程示意图；

图4为一个实施例中第一深度学习模型的网络结构示意图；

图5为一个实施例中对待检测图像进行旋转矫正以及文本定位的流程示意图；

图6为一个实施例中第一深度学习模型的生成方式的流程示意图；

图7为一个实施例中车辆检测报告的处理方法的流程示意图；

图8为一个实施例中车辆检测报告的处理装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的车辆检测报告的处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。待检测图像可以由终端102发送至服务器104，或者是预先存储在服务器104中。标准车牌号码可以是预先存储在服务器104中。服务器104获取待检测图像和标准车牌号码，采用深度学习模型识别出待检测图像中的文本信息。服务器104根据所检测到的文本信息判断待检测图像是否与标准车牌号码匹配。服务器104检测待检测图像中是否包含预设图形信息，若待检测图像与标准车牌号码匹配且待检测图像中包含预设图形信息，则生成该待检测图像审核通过的检测结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种车辆检测报告的处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤202，获取待检测图像与标准车牌号码。

其中，待检测图像是指待进行处理的图像，待检测图像中可以包含文本信息、验证图形等内容。服务器可以通过网络从终端接收待检测图像信息，也可以从本地获取待检测图像，在此不做限定。标准车牌号码是指准确的车牌号码。标准车牌号码可以预先存储在服务器中。

步骤204，采用深度学习模型识别出待检测图像中的文本信息。

其中，深度学习模型是指已经训练好模型参数的基于深度学习的机器学习模型。文本信息是指待检测图像中包含的文字、数字、字符等信息，例如，可以是指车辆检测报告中的表头名称、车牌号码、检验数据和检验结论等信息。在一个实施例中，深度学习模型可以是指基于深度学习的目标检测模型，和/或CRNN(Convolutional Recurrent NeuralNetwork，卷积循环神经网络)模型等。具体地，服务器在获取待检测图像后，将待检测图像输入至深度学习模型进行定位，得到待检测图像中的文本行。然后，再通过深度学习模型识别文本行，得到文本行中的文本信息。

步骤206，根据文本信息判断待检测图像是否与标准车牌号码匹配。

具体地，在本实施例中，文本信息中包括车牌号码。服务器通过提取文本信息中的车牌号码，将车牌号码与标准车牌号码进行比较，确定待检测图像是否与标准车牌号码匹配。

步骤208，检测待检测图像中是否包含预设图形信息。

步骤210，若待检测图像与标准车牌号码匹配，且待检测图像中包含预设图形信息，则生成审核通过的检测结果。

其中，预设图形信息可以是指能够证明车辆检测报告检测通过的图形信息，例如车辆检测公司印章、检测人员的印章等。具体地，可以通过已训练好的目标检测模型，例如Faster R-CNN(Region-CNN)、SSD(Single Shot Multibox Detector)等模型，来识别待检测图像中是否存在能够证明检验通过的预设图形信息。若检测存在待检测图像中包含该预设图形信息，则可以根据待检测图像与车牌号码匹配的结果，以及待检测图像中存在预设图形信息的结果，判定该待检测图像中的车辆检测报告审核通过。

上述车辆检测报告的处理方法中，通过获取车辆检测报告的待检测图像与标准车牌号码，采用深度学习模型识别出待检测图像中的文本信息。然后根据所识别的文本信息判断待检测图像是否与标准车牌号码匹配，并继续检测待检测图像中是否包含可以证明车辆检测报告审核通过的预设图形信息，若待检测图像与标准车牌号码匹配，且待检检测图像中存在可以证明车辆检测报告审核通过的预设图形信息，那么生成审核通过的检测结果。该方法基于计算机视觉和人工智能技术，通过将待检测图像与标准车牌号码匹配，然后进一步检测待检测图像中的审核通过图形，将自动化检测引入车辆检测报告的处理过程当中，极大的提高了处理车辆检测报告的准确性。

在一个实施例中，如图3所示，采用深度学习模型识别出待检测图像中的文本信息，具体包括以下步骤：

步骤302，采用第一深度学习模型对待检测图像进行旋转矫正以及文本定位。

其中，第一深度学习模型可以是基于深度学习的文本检测模型。具体地，很多时候，所采集的待检测图像往往是歪斜的，本实施例中在采用第一深度学习模型识别待检测图像中的文本信息之前，可以对待检测图像进行预处理。预处理具体是指将待检测图像进行旋转矫正，例如，通过检测待检测图像相对于基准线(例如水平线)的方向偏差，向减小该方向偏差的方向旋转该待检测图像，对待检测图像进行旋转矫正。然后，再次采用第一深度学习模型对旋转矫正后的待检测图像进行文本定位，从而得到精确的文本。

步骤304，采用第二深度学习模型识别定位到的文本中的文本信息。

其中，第二深度学习模型可以是基于深度学习的文字识别模型CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)。CRNN主要分为卷积层、循环层和转录层三部分。具体地，将文本输入至CRNN中的卷积层，经过卷积层提取特征序列，并将该特征序列作为循环层的输入。循环层采取LSTM(Long Short-Term Memory，长短期记忆网络)，通过循环层学习关联序列信息并预测标签分布。最后通过转录层将从循环层获取的标签分布通过去重整合等操作转换成最终的识别结果，从而得到文本中的文本信息，文本信息可以但不限于是文字、数字，字符。本实施例中，通过使用CRNN模型可以识别车辆检测报告中的任意长度的文本序列，且利用CRNN模型速度快、性能好，并且模型参数少等特点，可以帮助提高车辆检测报告的处理效率。

在本实施例中，对第二深度学习模型的训练生成过程进行说明。具体地，获取一定数量(例如2000张)是车辆检测报告图片样本，通过第一深度学习模型检测到图片样本的文本，可以使用标注工具对图片样本的文本进行文字信息类别标注，生成样本集,将该样本集随机按照一定的比例划分成训练集和测试集，例如可以将样本集中的90％文件划分成训练集，10％文件划分成测试集，在此不做限定。然后将样本集的格式转换成第二深度学习模型需要的标准数据格式供模型训练。训练中为了提升模型识别准确率可以将学习率参数设置为0.05，将训练回合数设置为50。使用训练集对第二深度学习模型进行训练，当发现训练过程中准确率达到预设阈值或者准确率趋于稳定时，确定训练达到迭代次数，从而可以停止训练，并得到待测试第二深度学习模型。然后使用测试集对所得到待测试第二深度学习模型进行测试，可以将方差率最小或者鲁棒性最好的待测试第二深度学习模型确定为本实施例中的第二深度学习模型，在此不做限定。

在一个实施例中，如图4所示，第一深度学习模型基于VGG16作为基础网络，去掉VGG16模型的全连接层，保留VGG16模型的输入层和13个卷积层构成的特征提取网络，在特征提取网络后依次接入第一卷积层和第二卷积层，最后再接入一层全连接层，从而形成本实施例中的第一深度学习模型。在本实施例中，如图5所示，采用第一深度学习模型对待检测图像进行旋转矫正以及文本定位，具体包括以下步骤：

步骤502，将待检测图像输入至特征提取网络，通过卷积运算对待检测图像进行特征图提取。

具体地，在获取待检测图像后，将待检测图像通过第一深度学习模型的输入层输入至特征提取网络，由特征提取网络提取文本特征。

步骤504，通过第一卷积层对特征图中的文本和非文本进行预测，得到初选文本行和单个字符。具体地，将所得到的文本特征输入至第一卷积层，通过第一卷积层对文本特征进行文本非文本预测，得到文本特征中的单个字符。

步骤506，通过第二卷积层将初选文本行中单个字符进行连接形成初选文本字段，将距离小于第一预设阈值的相邻两个初选文本字段进行连接，形成文本字段。

步骤508，将初选文本行中，竖直方向距离小于第二预设阈值的初选文本行进行合并，得到待检测图像的文本行。

具体地，通过第二卷积层将所预测的单个字符连接成初选文本字段。同一个初选文本行，若相邻两个初选文本字段间的距离小于第一预设阈值，则将该两个文本字段进行连接形成长的文本字段，第一预设阈值可以根据单个字符宽度的设定，例如是单个字符宽度的1.5倍，在此不做限定。然后将竖直方向上，重叠较多的初选文本行合并成一行，得到待检测图像的文本行。本实施例中可以根据初选文本行间的距离确定重叠度，例如将距离设定为单个字符长度的0.7倍，在此不做限定。

步骤510，通过全连接层输出文本行的外接矩形框，根据外接矩形框相对于水平轴正值方向的角度，对待检测图像进行旋转矫正。具体地，将第二卷积层所得到的文本行输入至全连接层，具体地，将所得到的文本行输入至全连接层进行位置回归，得到文本行的外接矩形框。根据该外接矩形框相对于水平轴正值方向的角度，将待检测图像向减小该角度的方向进行旋转，得到旋转矫正后的待检测图像。

步骤512，通过第一深度学习模型重新检测旋转矫正后的待检测图像，得到旋转矫正后的待检测图像的文本行。具体地，在得到旋转矫正后的待检测图像后，再次通过利用本实施例中的第一深度学习模型，重复步骤502至步骤508，得到旋转矫正后的待检测图像的文本行。

本实施例中，通过采用第一深度学习模型将待检测图像进行旋转矫正，然后再对旋转矫正后的待检测图像进行定位得到精确度文本位置信息，可以帮助提高车辆检测报告处理的准确率，避免因为待检测图像角度歪斜导致的文本信息识别不准确。

在一个实施例中，如图6所示，第一深度学习模型的生成方式包括：

步骤602，获取检测报告图片样本集，图片样本集包括训练样本集和测试样本集。

其中，本实施例中在训练阶段将第一深度学习模型的回归参数从原来的(x,y,w,h)变成(x,y,w,h,θ)，使得后续能够使用该第一深度学习模型检测得到待检测图像的旋转角度，其中(x,y)表示边界框的几何中心的坐标，高度h表示短边的长度，宽度w表示长边的长度，θ表示x正轴到边界框长边的角度。具体地，获取一定数量(例如2000张)不同光照、不同旋转角度下的车辆检测报告图片样本，可以使用标注工具标注文本最小外接矩形与文本旋转角度，生成图片样本集。将该图片样本集随机按照一定的比例划分成训练集和测试集，例如可以将图片样本集中的90％文件划分成训练集，10％文件划分成测试集，在此不做限定。然后将图片样本集的格式转换成第一深度学习模型需要的标准数据格式供模型训练。

步骤604，获取对第一深度学习模型进行训练的超参数。具体地，在设置好训练集和测试集后，用户需要按照实际情况设置好第一深度学习模型中的超参数，例如基础学习率、权重迭代速率、权重初始化方式等，以及每迭代多少次保存一次模型。

步骤606，根据超参数，利用训练样本集训练第一深度学习模型直至达到迭代次数，得到至少一个待测试第一深度学习模型。具体地，开始训练第一深度学习模型，当发现训练过程中准确率达到预设阈值或者准确率趋于稳定时，确定训练达到迭代次数，从而可以停止训练。在训练过程中，根据预先设置的参数和所获取的最终的迭代次数，可能会产生并保存至少一个待测试第一深度学习模型。例如，所获取的超参数中每迭代5000次保存一次模型，而最终的迭代次数为20000次，那么训练过程中会保存4个待测试第一深度学习模型供测试。

步骤608，利用测试样本集对至少一个待测试第一深度学习模型进行测试，将方差率最小的待测试第一深度学习模型，确定为第一深度学习模型。具体地，在模型训练结束后，可以使用测试集对训练过程中保存下来的所有待测试第一深度学习模型进行测试，将测试过程中方差率最小的待测试第一深度学习模型确定为本实施例中的第一深度学习模型。进一步地，也可以将鲁棒性最好的待测试第一深度学习模型确定为本实施例中的第一深度学习模型，依具体情况而定。

在一个实施例中，根据文本信息判断待检测图像是否与标准车牌号码匹配，包括：根据文本信息提取表头名称，根据表头名称判断待检测图像是否为车辆检测报告；根据文本信息提取车牌号码，将车牌号码与标准车牌号码匹配。在本实施例中，若表头名称为车辆检测报告、车牌号码与标准车牌号码匹配，且待检测图像中包含预设图形信息，则生成审核通过的检测结果。

其中，表头名称是指位于车辆检测报告中的第一行、代表车辆检测报告的某种具体类型的标题名称，例如针对车窗玻璃透光率进行检测的报告，表头名称可以是“车窗玻璃透光率检验表”，在此不多做限定。具体地，在获取待检测图片中的文本信息后，可以将文本信息中处于第一行位置的文本内容确定为表头名称，通过识别表头名称，判断待检测图像的类型是否与当前处理的类型一致。继续以车窗玻璃透光率检验表为例进行说明，若识别文本信息中第一行位置的文本内容为“车窗玻璃透光率检验表”，那么可以确定该待检测图像的类型是正确的。通过提取车辆检测报告中的车牌号码信息，将所提取的车牌号码信息与标准车牌号码进行比较，确定所提取的车牌号码信息与标准车牌号码是否一致。在本实施例中，可以通过识别文本信息中的“车牌号码”预设字段，将该字段紧随的文本信息认为是所要提取的车牌号码信息；或者还可以通过识别文本信息中的某一预设位置，将该位置所对应的文本信息确定为是车牌号码信息，在此不作限定。本实施例中，通过首先提取文本信息中的表头名称，确定待检测图像的类型与当前处理的车辆检验报告类型一致，可以鉴别出不同的车辆检测报告类型，提高了车辆检测报告的准确率；且无需人工进行筛选，从而降低了人工成本。

在一个实施例中，采用深度学习模型识别出待检测图像中的文本信息之后，还包括：检测文本信息中是否存在合格字样。在本实施例中，若文本信息中存在合格字样、待检测图像与标准车牌号码匹配，且待检测图像中包含预设图形信息，则生成审核不通过的检测结果。

具体地，若在车辆检测过程中，需要在报告中填写检验结论对应的字样，比如合格、不合格字样，那么在采用深度学习模型识别出待检测图像中的文本信息之后，还可以增加提取并识别文本信息中检验结论对应合格的字样。可以通过识别文本信息中的“检验结论”预设字段，将该字段紧随的文本信息认为是所要提取识别的字样；或者还可以通过识别文本信息中的某一预设位置，将该位置所对应的文本信息确定为是所要提取识别的字样，在此不作限定。以检验结论所对应的字样为合格和不合格为例进行说明，若提取出检验结论对应的字样为“合格”，那么确定识别结果通过；若提取出检验结论对应的字样为“不合格”，则生成审核不通过的检测结果。本实施例中，通过增加识别合格字样，可以帮助进一步提高处理车辆检测报告的准确性。

在一个实施例中，检测待检测图像中是否包含预设图形信息，具体包括：将待检测图像通过目标检测模型的输入层输入至卷积层，通过卷积层得到多个特征图；将多个特征图输入至与卷积层连接的全连接层，得到预设图形信息的预测位置；根据预测位置，确定待检测图像中是否包含预设图形信息。

其中，本实施例中的目标检测模型可以是SSD模型，使用VGG16(Visual GeometryGroup)作为基础网络，去掉VGG16模型的全连接层，保留VGG16模型的输入层和13个卷积层构成的特征提取网络，在特征提取网络后接入6个卷积层，最后再接入一层全连接层。

具体地，在获取待检测图像后，将待检测图像通过目标检测模型的输入层输入至特征提取网络。通过特征提取网络提取待检测图像的特征图,进而在该特征图上进行位置回归，从而可以得到预设图形信息的位置。具体地，将通过特征提取网络所得到的特征图依次输入至6个卷积层，通过该6个卷积层得到尺寸逐渐缩小的若干个特征图，每一个特征图上的每一个像素的周围都有若干个预选框。然后，将卷积得到的若干个尺寸不同的特征图输入至全连接层，由全连接层根据每一个特征图上的每一个像素周围的预选框对安全带扣区域和方向盘区域的进行预测位置，得到预设图形信息候选框。最后，在得到预设图形信息候选框后，可以通过NMS(Non Maximum Suppression,非极大值抑制)将预设图形信息进行得分排序，选中最高分及其对应的候选框。遍历其余的候选框，如果和当前最高分候选框的重叠度IoU(Intersection over Union)大于一定阈值(例如设定阈值为0.7)，则将该候选框删除，从而去除冗余的重叠候选框，得到预设图形信息。

进一步地，在本实施例中，预设图形信息可以包括车辆检测公司的公司印章图像，以及检验员的检验印章。若通过目标检测模型检测确定待检测图像中存在公司印章图像和检验印章，那么则可以根据待检测图像与标准车牌号码匹配的结果，以及该印章确定结果生成审核通过的检测结果。

在本实施例中，对目标检测模型的训练生成过程进行说明。具体以预设图形信息为圆形的公司印章图像，以及三角形的检验印章为例进行说明。由于圆形印章与三角形印章的外接矩形长宽比更接近于1,因此修改目标检测模型的Default box的长宽比为[1,2]。具体地，获取一定数量(例如2000张)不同光照、不同旋转角度下的车辆检测报告图片样本，可以使用标注工具标注图片样本中的公司印章和检验印章，生成图片样本集。将该图片样本集随机按照一定的比例划分成训练集和测试集，例如可以将图片样本集中的95％文件划分成训练集，5％文件划分成测试集，在此不做限定。然后将图片样本集的格式转换成目标检测模型需要的标准数据格式供模型训练。按照实际情况设置好目标检测模型中的超参数，例如基础学习速率，权重迭代速率，学习率每次变化程度值的设置、网络最大迭代次数、模型过拟合防止策略、权重初始化方式等，以及每迭代多少次保存一次模型。

开始训练目标检测模型，当发现训练过程中准确率达到预设阈值或者准确率趋于稳定时，确定训练达到迭代次数，从而可以停止训练。在训练过程中，根据最终的迭代次数，可能会产生并保存至少一个待测试目标检测模型。例如，预先设置每迭代5000次保存一次模型，而最终的迭代次数为20000次，那么训练过程中会保存4个待检测第一深度学习模型供测试。在模型训练结束后，使用测试集对训练过程中保存下来的所有待测试目标检测模型进行测试，可以将测试过程中方差率最小或者鲁棒性最好的待测试目标检测模型确定为本实施例中的第一深度学习模型，依具体情况而定。

在一个实施例中，上述方法还包括：当根据文本信息检测到待检测图片与标准车牌号码不匹配，或者当检测到待检测图像中不包含预设图形图像时，生成审核不通过的检测结果。具体地，若识别文本信息中的车牌号码与标准号码不匹配，或者使用目标检测模型检测到待检测图像中不包含预设图形图像时，可以以此判定该待检测图像中的车辆年检报告审核不通过。进一步地，还可以将审核不通过的原因返回至用户终端，例如识别车牌号码与标准号码不匹配，则可以向终端返回审核不通过结果，并返回审核不通过的原因是“车牌号码错误”，使得用户能够根据所获取的审核不通过原因有针对性的进行后续工作。

在一个实施例中，如图7所示，通过一个具体的实施例说明上述车辆检测报告的处理方法，包括以下步骤：

步骤701，获取待检测图像和标准车牌号码。

步骤702，采用第一深度学习模型对待检测图像进行旋转矫正。

步骤703，采用第一深度学习模型对旋转矫正后的待检测图像进行文本定位。

步骤704，采用第二深度学习模型识别定位到的文本中的文本信息。文本信息包括文字，数字，字符等。

步骤705，根据文本信息提取表头名称，根据表头名称判断待检测图像是否为当前正处理的车辆检测报告。例如，当前正处理的车辆检测报告为车窗玻璃透光率检测报告，若检测表头名称为“车窗玻璃透光率检测表”，则判定通过。进一步地，若判定通过则可以记录此条标志为1，反之记录此条标志为0。

步骤706，根据文本信息提取车牌号码，将车牌号码与标准车牌号码进行匹配。若匹配则可以记录此条标志为1，反之记录此条标志为0。

步骤707，根据文本信息提取检验结论对应的字样，检测文本信息中是否存在合格字样。若识别为“合格”，则可以记录此条标志为1，反之记录此条标志为0。

步骤708，检测待检测图像中是否包含公司印章图像和检验印章。若都存在，则可以记录此条标志为1，反之记录此条标志为0。

步骤709，生成审核结果。具体地，可以根据步骤705至步骤708的记录标志判定待检测图像的审核结果。若上述记录标志全部为1，则车辆年检报告审核通过；否则车辆年检报告审核不通过，可以根据标志0出现的位置获取审核不通过的原因。

应该理解的是，虽然图1-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种车辆检测报告的处理装置800，包括：获取模块801、文本信息识别模块802、车牌号码确认模块803、图像检测模块804和判定模块805，其中：

获取模块801，用于获取待检测图像与标准车牌号码；

文本信息识别模块802，用于采用深度学习模型识别出待检测图像中的文本信息；

车牌号码确认模块803，用于根据文本信息判断待检测图像是否与标准车牌号码匹配；

图像检测模块804，用于检测待检测图像中是否包含预设图形信息；

判定模块805，用于根据车牌号码匹配结果和预设图形信息检测结果，判定车辆检测报告审核通过。

在一个实施例中，文本信息识别模块802具体用于采用第一深度学习模型对待检测图像进行旋转矫正以及文本定位；采用第二深度学习模型识别定位到的文本中的文本信息。

在一个实施例中，第一深度学习模型的构成包括由多个卷积层组成的特征提取网络，与特征提取网络依次连接的第一卷积层、第二卷积层和全连接层；在本实施例中，文本信息识别模块802具体用于将待检测图像输入至特征提取网络，通过卷积运算对待检测图像进行特征图提取；通过第一卷积层对特征图中的文本和非文本进行预测，得到初选文本行和单个字符；通过第二卷积层将初选文本行中单个字符进行连接形成初选文本字段，将距离小于第一预设阈值的相邻两个初选文本字段进行连接，形成文本字段；将初选文本行中，竖直方向距离小于第二预设阈值的初选文本行进行合并，得到待检测图像的文本行；通过全连接层输出文本行的外接矩形框，根据外接矩形框相对于水平轴正值方向的角度，对待检测图像进行旋转矫正；通过第一深度学习模型重新检测旋转矫正后的待检测图像，得到旋转矫正后的待检测图像的文本行。

在一个实施例中，还包括模型生成模块，用于获取检测报告图片样本集，图片样本集包括训练样本集和测试样本集；获取对第一深度学习模型进行训练的超参数；根据超参数，利用训练样本集训练第一深度学习模型直至达到迭代次数，得到至少一个待测试第一深度学习模型；利用测试样本集对至少一个待测试第一深度学习模型进行测试，将方差率最小的待测试第一深度学习模型，确定为第一深度学习模型。

在一个实施例中，车牌号码确认模块803具体用于根据文本信息提取表头名称，根据表头名称判断待检测图像是否为车辆检测报告，若是，则根据文本信息提取车牌号码，将车牌号码与标准车牌号码匹配。

在一个实施例中，文本信息识别模块802还用于检测文本信息中是否存在合格字样，若是，则进入根据文本信息判断待检测图像是否与标准车牌号码匹配的步骤。否则，通过判定模块805生成审核不通过的检测结果。

在一个实施例中，图像检测模块804具体用于将待检测图像通过目标检测模型的输入层输入至卷积层，通过卷积层得到多个特征图；将多个特征图输入至与卷积层连接的全连接层，得到预设图形信息的预测位置；根据预测位置，确定待检测图像中是否包含预设图形信息。

在一个实施例中，判定模块805具体用于当检测待检测图像中包含公司印章图像且待检测图像中包含检验印章时，生成审核通过的检测结果。

在一个实施例中，判定模块805还用于当根据文本信息检测到待检测图片与标准车牌号码不匹配，或者当检测到待检测图像中不包含预设图形图像时，生成审核不通过的检测结果。

关于车辆检测报告的处理装置的具体限定可以参见上文中对于车辆检测报告的处理方法的限定，在此不再赘述。上述车辆检测报告的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待检测图像和标准车牌号码数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆检测报告的处理方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待检测图像与标准车牌号码；采用深度学习模型识别出待检测图像中的文本信息；根据文本信息判断待检测图像是否与标准车牌号码匹配，若是，则检测待检测图像中是否包含预设图形信息，若是，则生成审核通过的检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

采用第一深度学习模型对待检测图像进行旋转矫正以及文本定位；采用第二深度学习模型识别定位到的文本中的文本信息。

在一个实施例中，第一深度学习模型的构成包括由多个卷积层组成的特征提取网络，与特征提取网络依次连接的第一卷积层、第二卷积层和全连接层；处理器执行计算机程序时还实现以下步骤：

将待检测图像输入至特征提取网络，通过卷积运算对待检测图像进行特征图提取；通过第一卷积层对特征图中的文本和非文本进行预测，得到初选文本行和单个字符；通过第二卷积层将初选文本行中单个字符进行连接形成初选文本字段，将距离小于第一预设阈值的相邻两个初选文本字段进行连接，形成文本字段；将初选文本行中，竖直方向距离小于第二预设阈值的初选文本行进行合并，得到待检测图像的文本行；通过全连接层输出文本行的外接矩形框，根据外接矩形框相对于水平轴正值方向的角度，对待检测图像进行旋转矫正；通过第一深度学习模型重新检测旋转矫正后的待检测图像，得到旋转矫正后的待检测图像的文本行。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取检测报告图片样本集，图片样本集包括训练样本集和测试样本集；获取对第一深度学习模型进行训练的超参数；根据超参数，利用训练样本集训练第一深度学习模型直至达到迭代次数，得到至少一个待测试第一深度学习模型；利用测试样本集对至少一个待测试第一深度学习模型进行测试，将方差率最小的待测试第一深度学习模型，确定为第一深度学习模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据文本信息提取表头名称，根据表头名称判断待检测图像是否为车辆检测报告，若是，则根据文本信息提取车牌号码，将车牌号码与标准车牌号码匹配。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

检测文本信息中是否存在合格字样，若是，则进入根据文本信息判断待检测图像是否与标准车牌号码匹配的步骤，否则，生成审核不通过的检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将待检测图像通过目标检测模型的输入层输入至卷积层，通过卷积层得到多个特征图；将多个特征图输入至与卷积层连接的全连接层，得到预设图形信息的预测位置；根据预测位置，确定待检测图像中是否包含预设图形信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

当检测待检测图像中包含公司印章图像且待检测图像中包含检验印章时，生成审核通过的检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

当根据文本信息检测到待检测图片与标准车牌号码不匹配，或者当检测到待检测图像中不包含预设图形图像时，生成审核不通过的检测结果。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待检测图像与标准车牌号码；采用深度学习模型识别出待检测图像中的文本信息；根据文本信息判断待检测图像是否与标准车牌号码匹配，若是，则检测待检测图像中是否包含预设图形信息，若是，则生成审核通过的检测结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

采用第一深度学习模型对待检测图像进行旋转矫正以及文本定位；采用第二深度学习模型识别定位到的文本中的文本信息。

在一个实施例中，第一深度学习模型的构成包括由多个卷积层组成的特征提取网络，与特征提取网络依次连接的第一卷积层、第二卷积层和全连接层；计算机程序被处理器执行时还实现以下步骤：

将待检测图像输入至特征提取网络，通过卷积运算对待检测图像进行特征图提取；通过第一卷积层对特征图中的文本和非文本进行预测，得到初选文本行和单个字符；通过第二卷积层将初选文本行中单个字符进行连接形成初选文本字段，将距离小于第一预设阈值的相邻两个初选文本字段进行连接，形成文本字段；将初选文本行中，竖直方向距离小于第二预设阈值的初选文本行进行合并，得到待检测图像的文本行；通过全连接层输出文本行的外接矩形框，根据外接矩形框相对于水平轴正值方向的角度，对待检测图像进行旋转矫正；通过第一深度学习模型重新检测旋转矫正后的待检测图像，得到旋转矫正后的待检测图像的文本行。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取检测报告图片样本集，图片样本集包括训练样本集和测试样本集；获取对第一深度学习模型进行训练的超参数；根据超参数，利用训练样本集训练第一深度学习模型直至达到迭代次数，得到至少一个待测试第一深度学习模型；利用测试样本集对至少一个待测试第一深度学习模型进行测试，将方差率最小的待测试第一深度学习模型，确定为第一深度学习模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据文本信息提取表头名称，根据表头名称判断待检测图像是否为车辆检测报告，若是，则根据文本信息提取车牌号码，将车牌号码与标准车牌号码匹配。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

检测文本信息中是否存在合格字样，若是，则进入根据文本信息判断待检测图像是否与标准车牌号码匹配的步骤，否则，生成审核不通过的检测结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将待检测图像通过目标检测模型的输入层输入至卷积层，通过卷积层得到多个特征图；将多个特征图输入至与卷积层连接的全连接层，得到预设图形信息的预测位置；根据预测位置，确定待检测图像中是否包含预设图形信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

当检测待检测图像中包含公司印章图像且待检测图像中包含检验印章时，生成审核通过的检测结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

当根据文本信息检测到待检测图片与标准车牌号码不匹配，或者当检测到待检测图像中不包含预设图形图像时，生成审核不通过的检测结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆检测报告的处理方法，其特征在于，所述方法包括：

获取待检测图像与标准车牌号码；

采用深度学习模型识别出所述待检测图像中的文本信息；

根据所述文本信息判断所述待检测图像是否与所述标准车牌号码匹配；

检测所述待检测图像中是否包含预设图形信息；

若所述待检测图像与所述标准车牌号码匹配，且所述待检测图像中包含预设图形信息，则生成审核通过的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述采用深度学习模型识别出所述待检测图像中的文本信息，包括：

采用第一深度学习模型对所述待检测图像进行旋转矫正以及文本定位；

采用第二深度学习模型识别定位到的文本中的文本信息。

3.根据权利要求2所述的方法，其特征在于，所述第一深度学习模型的构成包括由多个卷积层组成的特征提取网络，与所述特征提取网络依次连接的第一卷积层、第二卷积层和全连接层；所述采用第一深度学习模型对所述待检测图像进行旋转矫正以及文本定位，包括：

将所述待检测图像输入至所述特征提取网络，通过卷积运算对所述待检测图像进行特征图提取；

通过第一卷积层对所述特征图中的文本和非文本进行预测，得到初选文本行和单个字符；

通过第二卷积层将初选文本行中所述单个字符进行连接形成初选文本字段，将距离小于第一预设阈值的相邻两个初选文本字段进行连接，形成文本字段；

将所述初选文本行中，竖直方向距离小于第二预设阈值的初选文本行进行合并，得到所述待检测图像的文本行；

通过所述全连接层输出所述文本行的外接矩形框，根据所述外接矩形框相对于水平轴正值方向的角度，对所述待检测图像进行旋转矫正；

通过所述第一深度学习模型重新检测旋转矫正后的待检测图像，得到所述旋转矫正后的待检测图像的文本行。

4.根据权利要求1所述的方法，其特征在于，根据所述文本信息判断所述待检测图像是否与所述标准车牌号码匹配，包括：

根据所述文本信息提取表头名称，根据所述表头名称判断所述待检测图像是否为车辆检测报告；

根据所述文本信息提取车牌号码，将所述车牌号码与所述标准车牌号码匹配；

所述若所述待检测图像与所述标准车牌号码匹配，且所述待检测图像中包含预设图形信息，则生成审核通过的检测结果，包括：

若所述表头名称为车辆检测报告、所述车牌号码与所述标准车牌号码匹配，且所述待检测图像中包含预设图形信息，则生成审核通过的检测结果。

5.根据权利要求1所述的方法，其特征在于，在所述采用深度学习模型识别出所述待检测图像中的文本信息之后，还包括：

检测所述文本信息中是否存在合格字样；

所述若所述待检测图像与所述标准车牌号码匹配，且所述待检测图像中包含预设图形信息，则生成审核通过的检测结果，包括：

若所述文本信息中存在合格字样、所述待检测图像与所述标准车牌号码匹配，且所述待检测图像中包含预设图形信息，则生成审核通过的检测结果。

6.根据权利要求1所述的方法，其特征在于，所述检测所述待检测图像中是否包含预设图形信息，包括：

检测所述待检测图像中包含公司印章图像且所述待检测图像中包含检验印章。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当根据所述文本信息检测到所述待检测图像与所述标准车牌号码不匹配，或者当检测到所述待检测图像中不包含预设图形图像时，生成审核不通过的检测结果。

8.一种车辆检测报告的处理装置，其特征在于，所述装置包括：

获取模块，用于获取待检测图像与标准车牌号码；

文本信息识别模块，用于采用深度学习模型识别出所述待检测图像中的文本信息；

车牌号码确认模块，用于根据所述文本信息判断所述待检测图像是否与所述标准车牌号码匹配；

图像检测模块，用于检测所述待检测图像中是否包含预设图形信息；

判定模块，用于根据所述车牌号码匹配结果和所述预设图形信息检测结果，判定车辆检测报告审核通过。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。