CN110348360B - 一种检测报告识别方法及设备 - Google Patents
一种检测报告识别方法及设备 Download PDFInfo
- Publication number
- CN110348360B CN110348360B CN201910601127.1A CN201910601127A CN110348360B CN 110348360 B CN110348360 B CN 110348360B CN 201910601127 A CN201910601127 A CN 201910601127A CN 110348360 B CN110348360 B CN 110348360B
- Authority
- CN
- China
- Prior art keywords
- detection
- image
- text
- information
- report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000013135 deep learning Methods 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 17
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims 1
- 238000012795 verification Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请的目的是提供一种检测报告识别方法及设备，本申请通过获取目标检测报告的图像；对所述图像分别进行白平衡处理以及倾斜矫正处理，得到处理后的图像；对所述处理后的图像进行文本检测，识别所述处理后的图像中的文本，确定待检测信息；根据数据库中存档信息对所述待检测信息进行比对检测，以及对所述处理后的图像进行印章检测，确定检测结果。实现了判断报告中表格是否是目标报告，自动提取待检测报告图像里的关键信息并与服务器存档内容校对，判断是否一致。审核过程全程自动校验，同时可以将未通过的校验图像及原因传回服务器保存，留待取证。既节约了人力又保证了校验工作的公正、公开，同时极大的提升了检测速度。
Description
技术领域
本申请涉及人工智能领域，尤其涉及一种检测报告识别方法及设备。
背景技术
随着我国经济的高速发展，机动车数量快速增长，机动车年检的工作量也不断增加，当前我国的车辆审核工作主要靠人工完成，人力成本较高且效率低，检验人员在长时间的工作中，容易产生视觉疲劳，影响校验的准确性。
近年来，人工智能技术越来越成熟，特别是深度学习技术的出现，让图像处理领域技术得到了质的飞越，将人工智能技术应用到车辆年检中已经变得可行。
发明内容
本申请的一个目的是提供一种检测报告识别方法及设备，解决现有技术中检测报告的审核时间长、人力成本较高、效率低以及校验准确性低的问题。
根据本申请的一个方面，提供了一种检测报告识别方法，该方法包括：
获取目标检测报告的图像；
对所述图像分别进行白平衡处理以及倾斜矫正处理，得到处理后的图像；
对所述处理后的图像进行文本检测，识别所述处理后的图像中的文本，确定待检测信息；
根据数据库中存档信息对所述待检测信息进行比对检测，以及对所述处理后的图像进行印章检测，确定检测结果。
进一步地，所述目标检测报告包括机动车制动曲线检测报告时，所述待检测信息包括表头名称、号牌号码以及号牌种类。
进一步地，对所述图像进行白平衡处理，包括：
确定所述图像中多个颜色通道的平均像素值，其中，所述多个颜色通道包括蓝色通道、绿色通道及红色通道；
根据所述平均像素值确定所述多个颜色通道的增益系数；
使用所述增益系数对所述图像进行调整。
进一步地，对所述图像进行倾斜矫正处理，包括：
将经过白平衡处理后的图像转为灰度图像，将所述灰度图像二值化处理，使用边缘检测算子对二值化处理后的图像进行边缘检测，得到表格；
使用霍夫变换检测所述表格中的直线，得到直线信息，其中，所述直线信息包括直线角度及长度；
根据所述直线信息对所述经过白平衡处理后的图像进行旋转、倾斜矫正。
进一步地，对所述处理后的图像进行文本检测，识别所述处理后的图像中的文本，确定待检测信息，包括：
通过改进的SSD深度学习文本检测模型对所述处理后的图像进行定位；
通过LSTM深度学习的字符识别模型识别定位出的文本，提取待检测信息。
进一步地，通过改进的SSD深度学习文本检测模型对所述处理后的图像进行定位之前，所述方法包括：
选取样本集合，标注所述样本集合中每行文本的外接矩形框；
根据改进的SSD目标检测分类网络对标注后的样本集合进行训练，生成改进的SSD深度学习文本检测模型，其中，改进的SSD目标检测分类网络由对SSD目标检测分类网络修改默认框信息以及卷积核信息后确定的。
进一步地，通过LSTM深度学习的字符识别模型识别定位出的文本之前，所述方法包括：
获取多个不同光照条件下的机动车制动曲线报告图像；
对获取到的多个图像进行文本检测，得到文本；
对所述文本进行人工识别并标注答案，作为训练集合；
根据所述训练集合以及调整后的LSTM深度学习网络模型训练得到所述LSTM深度学习的字符识别模型，其中，所述调整后的LSTM深度学习网络模型由对LSTM深度学习网络模型按照预设调整进行调整确定的，所述预设调整包括：训练集像素值调整、经模型批处理样本数量的设置以及网络基本学习相关信息的调整。
进一步地，根据数据库中存档信息对所述待检测信息进行比对检测，包括：
根据识别出的表头名称判断所述图像是否为机动车制动曲线检测报告，若在，则将判断结果标志为1，否则标志为0；
将识别出的号牌号码与数据库中存档的号牌号码进行比对，若比对结果一致，则将该比对结果标志为1，否则标志为0；
将识别出的号牌种类与数据库中存档的号牌种类进行比对，若比对结果一致，将该比对结果标志为1，否则标志为0。
进一步地，根据识别出的表头名称判断所述图像是否为机动车制动曲线检测报告，包括：
统计检测到的所有文本行的平均高度，判断检测到的第一行文本的高度是否为所有文本行的最大值，且大于所述平均高度的预设倍数，若满足，则确定该第一行为表头；
判断所述表头中是否存在至少一个预设关键字，若是，则所述图像为机动车制动曲线检测报告。
进一步地，将识别出的号牌号码与数据库中存档的号牌号码进行比对，包括：
根据第一关键字查找所述号牌号码所在的文本行，提取所述文本行中号牌号码后面的字符；
将提取到的字符与数据库中存档的号牌号码进行比对。
进一步地，将识别出的号牌种类与数据库中存档的号牌种类进行比对，包括：
根据第二关键字查找所述号牌种类所在的文本行，提取所述文本行中号牌种类后面的字符；
将提取到的字符与数据库中存档的号牌种类进行比对。
进一步地，对所述处理后的图像进行印章检测，包括：
通过所述改进的SSD深度学习印章检测模型检测所述处理后的图像中是否存在印章，若是，则将检测记录标志为1，否则标志为0。
进一步地，通过所述改进的SSD深度学习印章检测模型检测所述处理后的图像中是否存在印章之前，所述方法包括：
选取样本集合，标注所述样本集合中每个印章的外接矩形；
根据改进的SSD目标检测分类网络对标注后的样本集合进行训练，生成改进的SSD深度学习文本检测模型，其中，改进的SSD目标检测分类网络由对SSD目标检测分类网络修改默认框信息后确定的。
进一步地，所述方法包括：
当所有检测记录均标志为1时，所述机动车制动曲线检测报告审核通过；否则，根据检测记录标志为0所对应的位置确定未通过审核的理由信息。
根据本申请另一个方面，还提供了一种检测报告识别的设备，该设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。
根据本申请再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。
与现有技术相比，本申请通过获取目标检测报告的图像；对所述图像分别进行白平衡处理以及倾斜矫正处理，得到处理后的图像；对所述处理后的图像进行文本检测，识别所述处理后的图像中的文本，确定待检测信息；根据数据库中存档信息对所述待检测信息进行比对检测，以及对所述处理后的图像进行印章检测，确定检测结果。实现了判断报告中表格是否是目标报告，自动提取待检测报告图像里的关键信息并与服务器存档内容校对，判断是否一致。审核过程全程自动校验，同时可以将未通过的校验图像及原因传回服务器保存，留待取证。既节约了人力又保证了校验工作的公正、公开，同时极大的提升了检测速度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请的一个方面提供的一种检测报告识别方法流程示意图；
图2示出本申请一实施例中用于车辆年检机动车制动曲线检测报告识别的方法流程示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
图1示出根据本申请的一个方面提供的一种检测报告识别方法流程示意图，该方法包括：步骤S11～步骤S14，
在步骤S11中，获取目标检测报告的图像；在此，目标检测报告可以为待检测的车辆年检的机动车制动检测曲线报告，所述目标检测报告包括机动车制动曲线检测报告时，所述待检测信息包括表头名称、号牌号码以及号牌种类。识别机动车制动曲线检测报告时，获取该检测报告的图像以及号牌号码与号牌种类答案数据，答案数据是已存储在数据库中的关于机动车的信息，用于后续的数据比对。
在步骤S12中，对所述图像分别进行白平衡处理以及倾斜矫正处理，得到处理后的图像；在此，对获得的图像进行白平衡处理，以消除色偏现象，对经过白平衡处理后的图像进行倾斜矫正处理，通过检测图像中的水平和竖直线段以对图像进行旋转、倾斜矫正。
在步骤S13中，对所述处理后的图像进行文本检测，识别所述处理后的图像中的文本，确定待检测信息；在此，对处理后的图像进行文本定位，可使用改进的SSD深度学习文本定位模型对图像中的文本进行精确定位，将定位出的文本送入识别模型中进行识别，提取出需要的待检测信息，其中，待检测信息包括表头名称、号牌号码、号牌种类信息。接着，在步骤S14中，根据数据库中存档信息对所述待检测信息进行比对检测，以及对所述处理后的图像进行印章检测，确定检测结果。在此，根据数据库中已存储的存档信息根提取出的待检测信息进行比对检测，如根据存档信息中的表头名称、号牌号码以及号牌种类信息跟提取出的待检测信息一一比对，从而确定检测结果，同时需要比对处理后的图像的印章，当待检测信息的比对都通过以及印章检测通过时，该报告审核通过，若不通过则根据比对结果的记录定位到审核不通过的原因。
在本申请一实施例中，对所述图像进行白平衡处理时，可以通过以下实现：确定所述图像中多个颜色通道的平均像素值，其中，所述多个颜色通道包括蓝色通道、绿色通道及红色通道；根据所述平均像素值确定所述多个颜色通道的增益系数；使用所述增益系数对所述图像进行调整。在此，多个颜色通道包括蓝、绿、红三个颜色通道，计算蓝、绿、红三个颜色通道的平均像素值，根据平均像素值计算蓝、绿、红三个颜色通道的增益系数。例如，蓝色颜色通道的增益系数＝[(蓝色颜色通道像素平均值+绿色颜色通道像素平均值+红色颜色通道像素平均值)/3]/蓝色颜色通道像素平均值；绿色颜色通道的增益系数＝[(蓝色颜色通道像素平均值+绿色颜色通道像素平均值+红色颜色通道像素平均值)/3]/绿色颜色通道像素平均值；红色颜色通道的增益系数＝[(蓝色颜色通道像素平均值+绿色颜色通道像素平均值+红色颜色通道像素平均值)/3]/红色颜色通道像素平均值。接着，使用计算得到的增益系数对图像颜色进行调整，完成白平衡处理。
在本申请一实施例中，对所述图像进行倾斜矫正处理时，可以将经过白平衡处理后的图像转为灰度图像，将所述灰度图像二值化处理，使用边缘检测算子对二值化处理后的图像进行边缘检测，得到表格；使用霍夫变换检测所述表格中的直线，得到直线信息，其中，所述直线信息包括直线角度及长度；根据所述直线信息对所述经过白平衡处理后的图像进行旋转、倾斜矫正。在此，将经过白平衡处理后的彩色图像转为灰度图像，将灰度图像二值化处理，通过边缘检测算子(canny)对图像进行边缘检测，采用霍夫变换检测经过边缘检测的图像，提取出该图像中存在的直线，根据检测到的直线角度、长度等信息对图像进行旋转、倾斜矫正。
在本申请一实施例中，在步骤S13中，通过改进的SSD深度学习文本检测模型对所述处理后的图像进行定位；通过LSTM深度学习的字符识别模型识别定位出的文本，提取待检测信息。在此，对待检测报告进行识别时，可以采用改进的SSD深度学习文本检测模型对处理后的图像进行精确定位，其中，建立改进的SSD深度学习文本检测模型，步骤如下：选取样本集合，标注所述样本集合中每行文本的外接矩形框；根据改进的SSD目标检测分类网络对标注后的样本集合进行训练，生成改进的SSD深度学习文本检测模型，其中，改进的SSD目标检测分类网络由对SSD目标检测分类网络修改默认框信息以及卷积核信息后确定的。在此，以机动车制动曲线检测报告为例，选取样本集合，挑选各种光照条件下的机动车制动曲线检测报告；标注样本集合，手工标注机动车制动曲线检测报告每行文本的外接矩形框；采用改进的SSD目标检测分类网络对样本集合进行训练，生成文本检测模型；采用生成的文本检测模型对待检测的机动车制动曲线报告进行文本检测。其中，改进的SSD目标检测分类网络的改进点如下：
修改默认框(default box)的长宽比(apect ration)，设置为[1、3、5、7、9、10]，可以适应单行较长的文本；修改卷积核(calssifier)的大小为1×3，从而可以能够让模型更适用于文本行的检测，可以有效的排除非文本噪声。
在本申请一实施例中，确定LSTM深度学习的字符识别模型，具体步骤如下：获取多个不同光照条件下的机动车制动曲线报告图像；对获取到的多个图像进行文本检测，得到文本；对所述文本进行人工识别并标注答案，作为训练集合；根据所述训练集合以及调整后的LSTM深度学习网络模型训练得到所述LSTM深度学习的字符识别模型，其中，所述调整后的LSTM深度学习网络模型由对LSTM深度学习网络模型按照预设调整进行调整确定的，所述预设调整包括：训练集像素值调整、经模型批处理样本数量的设置以及网络基本学习相关信息的调整。在此，以机动车制动曲线检测报告为例，获取不同光照条件下的机动车制动曲线检测报告图像若干张，对图像进行文本检测；对检测到的文本进行人工识别，并将人工识别的结果作为文本训练集的标签，作为训练集合；采用LSTM深度学习基础网络模型，并对网络模型进行调整，在训练集合上进行模型训练，得到适合识别机动车制动曲线检测报告的文本识别模型，将机动制动曲线检测报告中检测到的文本送入字符识别模型，进行识别；其中，在LSTM深度学习基础网络进行调整包括如下步骤：
将训练集像素值调整到：均值为0，方差为1；经网络的批处理样本数量设置为16；网络基本学习速率调整为0.001，权重衰减系数(weight_decay)调整为0.005，学习率每次变化程度参数(gamma)调整为0.05，上一次梯度更新的权重(momentum)调整为0.95，使用预设的防止网络模型过拟合的策略(如dropout策略)防止网络出现过拟合。
在本申请一实施例中，在步骤S14中，根据识别出的表头名称判断所述图像是否为机动车制动曲线检测报告，若在，则将判断结果标志为1，否则标志为0；将识别出的号牌号码与数据库中存档的号牌号码进行比对，若比对结果一致，则将该比对结果标志为1，否则标志为0；将识别出的号牌种类与数据库中存档的号牌种类进行比对，若比对结果一致，将该比对结果标志为1，否则标志为0。进一步地，还需要对所述处理后的图像进行印章检测，可以通过所述改进的SSD深度学习印章检测模型检测所述处理后的图像中是否存在印章，若是，则将检测记录标志为1，否则标志为0。当所有检测记录均标志为1时，所述机动车制动曲线检测报告审核通过；否则，根据检测记录标志为0所对应的位置确定未通过审核的理由信息。
在此，根本识别出来的表头名称判断经过处理后的图像是否为机动车制动曲线检测报告，若是，则记录此条标志为1，反之则为0；将识别出来的号牌号码与获取的号牌号码答案进行比对，即与数据库中存档的号牌号码进行比对，若比对结果一致，则记录此条标志为1，反之则为0；将识别出来的号牌种类与数据库中存档的号牌种类进行比对，若比对结果一致，则记录此条标志为1，反之则为0；采用改进的SSD深度学习印章检测模型，检测图像中是否有印章，若有则记录此条标志为1，反之为0；若记录标志全部为1，则车辆年检机动车制动曲线检测报告审核通过，否则根据标志0出现的位置反馈出审核不通过的原因。
具体地，根据识别出的表头名称判断所述图像是否为机动车制动曲线检测报告，步骤如下：统计检测到的所有文本行的平均高度，判断检测到的第一行文本的高度是否为所有文本行的最大值，且大于所述平均高度的预设倍数，若满足，则确定该第一行为表头；判断所述表头中是否存在至少一个预设关键字，若是，则所述图像为机动车制动曲线检测报告。若所述第一行不为表头，则将所述图像对应的报告标志为0。在此，统计检测到的所有文本行的平均高度，判断检测到的第一行文本的高度是否是所有文本行高度的最大值，且大于平均高度的n倍(比如1.5倍)，若满足条件，则该行是表头，进入下一步，否则不是，说明表头被遮挡，将机动车制动曲线检测报告标志设置为0；判断识别的表头中是否存在“机动车”、“制动”、“曲线”等关键字符，若满足，则说明该表格是机动车制动曲线检测报告，将机动车制动曲线检测报告标志设置为1，否则设置为0。
具体地，将识别出的号牌号码与数据库中存档的号牌号码进行比对，步骤如下：根据第一关键字查找所述号牌号码所在的文本行，提取所述文本行中号牌号码后面的字符；将提取到的字符与数据库中存档的号牌号码进行比对。在此，第一关键字比如为“号牌号码”，找到存在“号牌号码”的文本行，提取“号牌号码”后面的字符；将提取到的字符与存档的号牌号码进行比对，若结果一致，则记录此条标志为1，反之为0。
具体地，将识别出的号牌种类与数据库中存档的号牌种类进行比对，步骤如下：根据第二关键字查找所述号牌种类所在的文本行，提取所述文本行中号牌种类后面的字符；将提取到的字符与数据库中存档的号牌种类进行比对。在此，第二关键字比如为“号牌种类”，找到存在“号牌种类”的文本行，提取“号牌种类”后面的字符，将提取到的字符与存档的号牌种类进行比对，若比对结果一致，则记录此条标志为1，反之则为0。
具体地，确定改进的SSD深度学习印章检测模型，以及采用该检测模型检测是否存在印章，步骤如下：
选取样本集合，标注所述样本集合中每个印章的外接矩形；
根据改进的SSD目标检测分类网络对标注后的样本集合进行训练，生成改进的SSD深度学习文本检测模型，其中，改进的SSD目标检测分类网络由对SSD目标检测分类网络修改默认框信息后确定的。
在此，选取样本集合，挑选各种光照条件下的机动车制动曲线检测报告；标注样本集合，手工标注机动车制动曲线检测报告中每个印章的外接矩形；采用改进的SSD目标检测分类网络，对样本集合进行训练，生成印章检测模型；采用生成的印章检测模型对待检测的机动车制动曲线检测报告进行印章检测，若检测到印章，则将此条标志设置为1，反之设置为0；其中，改进的SSD目标检测分类模型的确定如下：修改默认框(default box)的长宽比(apect ration)，设置为[1]，可以更适应圆形印章的检测模型，从而可以检测模型参数，节省检测时间，提高效率。
在本申请一优选实施例中，如图2所示，用于车辆年检机动车制动曲线检测报告识别方法，包括如下步骤：
S1，获取牌照申请表图像及对应的号牌号码、号牌种类数据；
S2，对图像进行白平衡处理后，对变形的表格采用旋转、仿射变换矫正图像；
S3，构造水平和竖直结构元素，以检测表格中的水平和竖直线段；
S4，删除纸张边界伪表格线段，确定表格的上下左右边界；
S5，根据检测出的水平和竖直线段重构表格；
S6，根据号牌号码框的相对位置定位号牌号码矩形框，并对号牌号码进行精细定位；
S7，采用基于深度学习的字符分割识别模型，对精细定位出的号牌号码进行识别，将识别结果与获取的号牌号码进行比对，若一致，则记录此条标志为1，反之为0；
S8，采用基于深度学习的字符分割识别模型，对号牌种类框内的字符进行识别，将识别结果与获取的号牌种类进行比对，若一致，则记录此条标志为1，反之为0；
S9，检测签名栏是否存在印章，若存在则记录此条标志为1，反之为0；
S10，对整个过程的记录结果进行统计分析，记录标志位全部为1，则车辆年检机动车牌证申请表检测通过，若存在标志为0，根据标志0出现的位置获取审核不通过的原因。
其中，基于深度学习的字符分割识别模型包括改进的SSD深度学习文本检测模型和LSTM深度学习的字符识别模型。
本申请所述的检测报告识别的方法，可应用于车辆年检机动车制动曲线检测报告的检测识别，实现了判断报告中表格是否是机动车制动曲线检测报告，自动提取机动车制动曲线检测报告图像里的关键信息并与服务器存档内容校对，判断是否一致，以缩短单个车辆年检审核时间，满足车辆年检工作效率、准确率的需求。审核过程全程自动校验，同时可以将未通过的校验图像及原因传回服务器保存，留待取证。既节约了人力又保证了校验工作的公正、公开，同时极大的提升了检测速度。
根据本申请另一个方面，还提供了一种检测报告识别的设备，该设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。
例如，计算机可读指令在被执行时使所述一个或多个处理器：
获取目标检测报告的图像；
对所述图像分别进行白平衡处理以及倾斜矫正处理，得到处理后的图像；
对所述处理后的图像进行文本检测，识别所述处理后的图像中的文本，确定待检测信息；
根据数据库中存档信息对所述待检测信息进行比对检测，以及对所述处理后的图像进行印章检测，确定检测结果。
根据本申请再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。
Claims (9)
1.一种检测报告识别方法，其特征在于，所述方法包括：
获取目标检测报告的图像；
对所述图像分别进行白平衡处理以及倾斜矫正处理，得到处理后的图像；
对所述处理后的图像进行文本检测，识别所述处理后的图像中的文本，确定待检测信息，包括：通过改进的SSD深度学习文本检测模型对所述处理后的图像进行定位以得到所述处理后的图像中的每行文本；通过LSTM深度学习的字符识别模型识别定位出的文本，提取待检测信息，所述改进的SSD深度学习文本检测模型的改进点为修改默认框的长宽比为1、3、5、7、9或10，修改卷积核的大小为1×3；其中，改进的SSD深度学习文本检测模型是根据手工标注机动车制动曲线检测报告每行文本的外接矩形框的样本集合训练得到的；
判断所述图像是否为机动车制动曲线检测报告，包括：统计检测到的所有文本行的平均高度，判断检测到的第一行文本的高度是否为所有文本行的最大值，且大于所述平均高度的预设倍数，若满足，则确定该第一行为表头；判断所述表头中是否存在至少一个预设关键字，若是，则所述图像为机动车制动曲线检测报告；
根据数据库中存档信息对所述待检测信息进行比对检测，以及对所述处理后的图像进行印章检测，确定检测结果；目标检测报告包括机动车制动曲线检测报告时，所述待检测信息包括表头名称、号牌号码以及号牌种类，所述号牌号码的比对包括：根据第一关键字查找所述号牌号码所在的文本行，提取所述文本行中号牌号码后面的字符；将提取到的字符与数据库中存档的号牌号码进行比对；所述号牌种类的比对包括：根据第二关键字查找所述号牌种类所在的文本行，提取所述文本行中号牌种类后面的字符；将提取到的字符与数据库中存档的号牌种类进行比对；
通过改进的SSD深度学习文本检测模型对所述处理后的图像进行定位之前，所述方法包括：
选取样本集合，标注所述样本集合中的机动车制动曲线检测报告的每行文本的外接矩形框，所述样本集合包括各种光照条件下的机动车制动曲线检测报告；
根据改进的SSD目标检测分类网络对标注后的样本集合进行训练，生成改进的SSD深度学习文本检测模型；
通过LSTM深度学习的字符识别模型识别定位出的文本之前，所述方法包括：
获取多个不同光照条件下的机动车制动曲线报告图像；
对获取到的多个图像进行文本检测，得到每个图像对应的多行文本；
对所述多行文本进行人工识别并标注答案，作为训练集合；
根据所述训练集合以及调整后的LSTM深度学习网络模型训练得到所述LSTM深度学习的字符识别模型，其中，所述调整后的LSTM深度学习网络模型由对LSTM深度学习网络模型按照预设调整进行调整确定的，所述预设调整包括：训练集像素值调整、经模型批处理样本数量的设置以及网络基本学习相关信息的调整。
2.根据权利要求1所述的方法，其特征在于，对所述图像进行白平衡处理，包括：
确定所述图像中多个颜色通道的平均像素值，其中，所述多个颜色通道包括蓝色通道、绿色通道及红色通道；
根据所述平均像素值确定所述多个颜色通道的增益系数；
使用所述增益系数对所述图像进行调整。
3.根据权利要求2所述的方法，其特征在于，对所述图像进行倾斜矫正处理，包括：
将经过白平衡处理后的图像转为灰度图像，将所述灰度图像二值化处理，使用边缘检测算子对二值化处理后的图像进行边缘检测，得到表格；
使用霍夫变换检测所述表格中的直线，得到直线信息，其中，所述直线信息包括直线角度及长度；
根据所述直线信息对所述经过白平衡处理后的图像进行旋转、倾斜矫正。
4.根据权利要求1所述的方法，其特征在于，根据数据库中存档信息对所述待检测信息进行比对检测，包括：
根据识别出的表头名称判断所述图像是否为机动车制动曲线检测报告，若在，则将判断结果标志为1，否则标志为0；
将识别出的号牌号码与数据库中存档的号牌号码进行比对，若比对结果一致，则将该比对结果标志为1，否则标志为0；
将识别出的号牌种类与数据库中存档的号牌种类进行比对，若比对结果一致，将该比对结果标志为1，否则标志为0。
5.根据权利要求1所述的方法，其特征在于，对所述处理后的图像进行印章检测，包括：
通过所述改进的SSD深度学习印章检测模型检测所述处理后的图像中是否存在印章，若是，则将检测记录标志为1，否则标志为0。
6.根据权利要求1所述的方法，其特征在于，通过所述改进的SSD深度学习印章检测模型检测所述处理后的图像中是否存在印章之前，所述方法包括：
选取样本集合，标注所述样本集合中每个印章的外接矩形；
根据改进的SSD目标检测分类网络对标注后的样本集合进行训练，生成改进的SSD深度学习文本检测模型，其中，改进的SSD目标检测分类网络由对SSD目标检测分类网络修改默认框信息后确定的。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法包括：
当所有检测记录均标志为1时，所述机动车制动曲线检测报告审核通过；否则，根据检测记录标志为0所对应的位置确定未通过审核的理由信息。
8.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至7中任一项所述的方法。
9.一种检测报告识别的设备，其特征在于，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如如权利要求1至7中所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910601127.1A CN110348360B (zh) | 2019-07-04 | 2019-07-04 | 一种检测报告识别方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910601127.1A CN110348360B (zh) | 2019-07-04 | 2019-07-04 | 一种检测报告识别方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110348360A CN110348360A (zh) | 2019-10-18 |
| CN110348360B true CN110348360B (zh) | 2020-11-24 |
Family
ID=68178046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910601127.1A Expired - Fee Related CN110348360B (zh) | 2019-07-04 | 2019-07-04 | 一种检测报告识别方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110348360B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929738A (zh) * | 2019-11-19 | 2020-03-27 | 上海眼控科技股份有限公司 | 证卡边缘检测方法、装置、设备及可读存储介质 |
| CN111144358A (zh) * | 2019-12-30 | 2020-05-12 | 上海眼控科技股份有限公司 | 车辆合格证的验证方法、装置、计算机设备和存储介质 |
| CN111144355A (zh) * | 2019-12-31 | 2020-05-12 | 北京师范大学 | 数据采集方法、装置、设备及计算机可读存储介质 |
| CN111414866A (zh) * | 2020-03-24 | 2020-07-14 | 上海眼控科技股份有限公司 | 车辆申请表的检测方法、装置、计算机设备和存储介质 |
| CN111932766A (zh) * | 2020-08-11 | 2020-11-13 | 上海眼控科技股份有限公司 | 发票核验方法、装置、计算机设备和可读存储介质 |
| CN113449717B (zh) * | 2021-05-27 | 2023-07-11 | 众安在线财产保险股份有限公司 | 发票图片处理方法、保险理赔方法、装置、设备和介质 |
| CN113593668A (zh) * | 2021-08-10 | 2021-11-02 | 康键信息技术（深圳）有限公司 | 一种体检报告校验方法、装置、设备及介质 |
| CN113762097A (zh) * | 2021-08-18 | 2021-12-07 | 合肥联宝信息技术有限公司 | 一种文档自动审核方法、装置及计算机可读存储介质 |
| CN117152745A (zh) * | 2023-10-23 | 2023-12-01 | 杭州迪安医学检验中心有限公司 | 一种基于图像处理技术的支原体识别和录入方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318231A (zh) * | 2014-10-15 | 2015-01-28 | 南通北城科技创业管理有限公司 | 一种选票图像快速定位的方法 |
| CN106446881A (zh) * | 2016-07-29 | 2017-02-22 | 北京交通大学 | 从医疗化验单图像中提取化验结果信息的方法 |
| CN107958201A (zh) * | 2017-10-13 | 2018-04-24 | 上海眼控科技股份有限公司 | 一种车辆年检保险单表格的智能检测系统及方法 |
| CN109447076A (zh) * | 2018-09-20 | 2019-03-08 | 上海眼控科技股份有限公司 | 一种用于车辆年检的车辆vin码识别检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9454707B1 (en) * | 2015-10-29 | 2016-09-27 | Roger Tracy | System and method for reading a tire code and obtaining tire-related information |
| CN107886047A (zh) * | 2017-10-13 | 2018-04-06 | 上海眼控科技股份有限公司 | 一种车辆年检检验报告的检测系统及方法 |
-
2019
- 2019-07-04 CN CN201910601127.1A patent/CN110348360B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318231A (zh) * | 2014-10-15 | 2015-01-28 | 南通北城科技创业管理有限公司 | 一种选票图像快速定位的方法 |
| CN106446881A (zh) * | 2016-07-29 | 2017-02-22 | 北京交通大学 | 从医疗化验单图像中提取化验结果信息的方法 |
| CN107958201A (zh) * | 2017-10-13 | 2018-04-24 | 上海眼控科技股份有限公司 | 一种车辆年检保险单表格的智能检测系统及方法 |
| CN109447076A (zh) * | 2018-09-20 | 2019-03-08 | 上海眼控科技股份有限公司 | 一种用于车辆年检的车辆vin码识别检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110348360A (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348360B (zh) | 一种检测报告识别方法及设备 | |
| CN110827247A (zh) | 一种识别标签的方法及设备 | |
| CN110276295B (zh) | 车辆识别号码检测识别方法及设备 | |
| CN110930390B (zh) | 基于半监督深度学习的芯片管脚缺失检测方法 | |
| CN112085022B (zh) | 一种用于识别文字的方法、系统及设备 | |
| CN110378258B (zh) | 一种基于图像的车辆座椅信息检测方法及设备 | |
| CN112149667B (zh) | 一种基于深度学习的指针式仪表的自动读数的方法 | |
| WO2020151340A1 (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| CN110135225B (zh) | 样本标注方法及计算机存储介质 | |
| US20210350521A1 (en) | Method for computer-implemented determination of blade-defects of a wind turbine | |
| CN111191649A (zh) | 一种识别弯曲多行文本图像的方法与设备 | |
| CN110765963A (zh) | 车辆制动检测方法、装置、设备及计算机可读存储介质 | |
| CN110288612B (zh) | 铭牌定位与校正方法及设备 | |
| CN111507332A (zh) | 车辆vin码检测方法与设备 | |
| CN111178282A (zh) | 一种道路交通限速标志定位识别方法及装置 | |
| CN110796078A (zh) | 车辆的灯光检测方法、装置、电子设备及可读存储介质 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| EP2447884A1 (en) | Method for detecting and recognising an object in an image, and an apparatus and a computer program therefor | |
| CN116798036B (zh) | 用于识别和校验答题卡客观题识别结果的方法及装置 | |
| CN116228741A (zh) | 一种pcba元器件缺陷检测方法及装置 | |
| CN110728269A (zh) | 一种高铁接触网支柱杆号牌识别方法 | |
| CN114445841A (zh) | 纳税申报表识别方法和装置 | |
| CN111914706B (zh) | 一种文字检测输出结果质量检测和控制的方法与装置 | |
| CN111488846A (zh) | 一种识别水位的方法及设备 | |
| CN114254605A (zh) | 答题卡模板生成方法、答题卡识别方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A detection report identification method and equipment Effective date of registration: 20220211 Granted publication date: 20201124 Pledgee: Shanghai Bianwei Network Technology Co.,Ltd. Pledgor: SHANGHAI EYE CONTROL TECHNOLOGY Co.,Ltd. Registration number: Y2022310000023 |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201124 |