CN113971745B - 一种基于深度神经网络的出入境验讫章识别方法及装置 - Google Patents
一种基于深度神经网络的出入境验讫章识别方法及装置 Download PDFInfo
- Publication number
- CN113971745B CN113971745B CN202111139047.2A CN202111139047A CN113971745B CN 113971745 B CN113971745 B CN 113971745B CN 202111139047 A CN202111139047 A CN 202111139047A CN 113971745 B CN113971745 B CN 113971745B
- Authority
- CN
- China
- Prior art keywords
- network
- date
- seal
- detection
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 82
- 238000012549 training Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于深度神经网络的出入境验讫章识别方法及装置，所述方法首先采集图像，并对图像进行标注，然后通过回归网络对采集好的数据进行回归剪裁，对于剪裁下来的印章，再应用基于注意力机制的网络进行对国别的图像识别，之后应用参数化的Bezier曲线进行对日期的文本识别，最后再将信息整合。最终搭建前端，设计了出入境验讫章识别平台，使用十分方便。
Description
技术领域
本发明属于图像识别技术领域，特别是涉及一种基于深度神经网络的出入境验讫章识别方法及装置。
背景技术
细粒度图像识别是计算机科学技术领域中的一项重要工作，旨在识别同一类别下的不同子类物体。细粒度图像识别问题的难点在于识别对象来自于同一大类，具有大量的相同特征以及有细微差别的部分特征。这要求模型的特征提取能力十分灵敏且具有鲁棒性。至今为止仍没有一种通用且可靠的细粒度图像识别算法被广泛应用。因此，细粒度图像识别领域具有极大的研究价值和意义。
近年来，随着深度学习领域的飞速发展，细粒度识别技术的准确率也有了大幅提升。目前细粒度图像识别的主流方法有：基于端到端的特征编码方法、基于定位-分类子网络的方法、利用外部辅助信息的方法。其中，基于端到端的特征编码方法受到人们最广泛的关注。其主要思想是通过设计细粒度特征提取能力更强大的模型，挖掘更具有区分性的细粒度特征表示，并依据此特征表示进行细粒度图像识别。现有的深度学习与印章识别相结合的研究大多集中于文字识别，提取印章中的文字部分。然而这类提取方法大多对印章形状有所要求，难以应对大量的形状差异较大的印章识别。但是在出入境印章日期识别中，存在诸多方向任意和文字模糊的问题。故而难以将其应用到具有多种类印章的机场安检领域。目前，尚未有研究者提出将分类识别方法与出入境验讫章结合起来，以提升机场安检效率的方法。
因此，本发明针对细粒度图像识别问题，提出了一种实现速度快、识别效果好的基于深度神经网络的出入境验讫章识别方法及装置，具有重要的实际应用价值。
发明内容
本发明为了解决现有印章检测及日期检测识别困难的问题，提出了一种基于深度神经网络的出入境验讫章识别方法及装置。
本发明是通过以下技术方案实现的，本发明提出一种基于深度神经网络的出入境验讫章识别方法，所述方法包括：
对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；
对于国家检测部分：通过搭建细粒度识别分类网络将检测出的国家进行识别分类；
对于日期检测识别部分：定位一张完整的印章图片中所有的日期信息并且进行剪裁，分成若干个时间信息块进行日期检测，将检测出的日期信息进行识别，给出准确的日期，从而可以判断出入境人员在境外国家的活动时间。
进一步地，所述对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；具体为：
步骤一：搭建由卷积和残差网络堆叠而成的主干网络，该主干网络由五个使用CSP网络的分块组成；
步骤二：搭建池化网络；所述池化网络分为四支线，前三支线对池化网络的输入特征分别进行5*5、9*9、13*13步长为1的最大池化，第四支线不对池化网络的输入特征进行池化，最后把四条支线的池化结果进行route相加；
步骤三：搭建上采样网络，共上采样两次：首先对池化网络的输出特征进行卷积，而后进行上采样操作，对所得到的输出特征再次进行卷积，并将卷积后的特征再次进行上采样；
步骤四：搭建头部网络；共有三个头部作为输出：前两个头部网络分别进行2次1步长卷积，第三个头部网络进行1次1步长卷积；
步骤五：输入图片数据通过步骤一至步骤四搭建的网络进行特征提取，对提取后的特征应用特征金字塔，采用三个尺度再次提取特征，得到印章的特征图，对得到的印章的特征图进行国家检测和日期检测识别。
进一步地，在步骤五中，所述得到的印章的特征图包括与国家检测相关的多尺度特征图和与日期检测相关的特征图。
进一步地，所述国家检测部分具体流程为：
搭建国家检测网络：设置网络层数和节点数，设置输入输出的格式，输入为步骤五得到的印章的特征图，输出为印章对应的类别；
在区域预测阶段，将步骤五得到的与国家检测相关的多尺度特征图的每一层用ReLu激活，而后maxpooling，接着采用RPN来产生anchors，而后用非极大值抑制选出最能影响最后结果的前N个预测框从而得到预测区域；该网络在进行区域预测训练时，采用的loss函数为：
其中，Ii,Ij∈{I1,I2,…,IM}为预测出来的M个预测框和其带有的信息量，Ci,Cj∈{C1,C2,…,CM}为将这M个预测框输入全连接网络+softmax网络后的置信度，f(x)＝max{1-x,0}；
将预测出来的区域剪裁出来并进行缩放至步骤五的输入大小；
在网络矫正训练阶段，将缩放后的特征图输入全连接网络，而后接softmax进行预测从而对预测出来的区域进行矫正，所述矫正训练阶段的映射函数记为g(x)，该网络在进行矫正训练时的loss函数为：
其中，Ri∈{R1,R2,…,RM}为预测出来的预测框，X为原图；
在类别预测阶段，将缩放后的特征图和原图的特征图输入卷积层提取特征后，将所提取特征连在一起，输入全连接层后利用softmax输出其预测的类别，所述类别预测阶段的映射函数记为h(x)，其loss函数为：
L3＝-logh(X,R1,R2,…,RM)
将区域预测阶段、矫正训练阶段和类别预测阶段的loss函数进行整合，得到最后的loss函数为：
L＝L1+L2+L3。
进一步地，对日期进行检测识别具体为：
步骤十二：将训练集中的图像年月日分开打标签，以文本阅读顺序，记录左上、右上、右下和左下的边界点，分别记为P0,P1,P2和P3；计算P0和P1的三等分点P00和P01，计算P2和P3的三等分点P20和P21，将{P0,P00,P01,P1}的坐标代入下述参数方程：
利用最小二乘法，计算四个最佳的控制点坐标：
同理将{P2,P20,P21,P3}代入参数方程计算控制点坐标，同文本内容一起作为标签；
步骤十三：搭建日期检测网络，所述日期检测网络分为两个部分，依次为日期检测部分和日期识别部分；输入的特征图为步骤五得到的与日期检测相关的特征图；
步骤十四：在文字检测部分，在五个分辨率为1/8、1/16、1/32、1/64和1/128特征图上利用ROI对齐将不同尺度的特征输出为相同的大小，后接固定通道数的特征层以预测控制点坐标；
步骤十五：在文字识别部分，首先将特征对齐，对三个尺寸为1/4、1/8和1/16的特征图采用Bezier曲线进行对齐；假设文本的上边界的参数方程为c1(t)＝(1-t)3b0+3(1-t)2tb1+3(1-t)t2b2+t3b3，同理假设文本的下边界的参数方程c2(t)；将步骤十四得到的控制点坐标代入以上两个边界参数方程，如果输出的矩形特征图尺寸为hout×wout，其中hout为特征图的高，wout为特征图的宽，则从特征层中选取一个像素点gi＝(giw,gih)，通过计算t，将t带入上边界和下边界的参数方程，得到上边界点c1(t)＝tp和下边界点c2(t)＝bp，通过公式/>获得输出矩形特征图的采样点op；其次，在矩形特征图后接入4个卷积核大小为3×3、步长为1的卷积层，2个卷积核大小为3×3、步长为(2,1)的卷积层和最大池化层，最后接入BLSTM和全连接层，输出文字的预测序列。
进一步地，在日期检测识别过程中，对整个日期检测网络模型进行训练，在训练中，参数设置为：批量大小设置为4，最大迭代次数为100K，初始学习率设置为0.01，后下降为0.001；当损失函数下降到1.0不发生改变，此时将提前终止训练。
进一步地，所述识别方法还包括：在测试集上测试整个印章识别网络模型，输入图片，最后得到的结果为：预测的国家类别和预测的日期。
进一步地，在搭建的头部网络中，网络共有三个头部，输出多尺度的特征以及多尺度的预测框坐标，根据预测框坐标对特征图进行剪裁，得到多尺度局部特征。
进一步地，在整个网络的训练阶段采用随机梯度下降方法进行训练。
本发明还提出一种基于深度神经网络的出入境验讫章识别装置，所述识别装置包括：
回归剪裁模块：用于对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；
国家检测模块；用于通过搭建细粒度识别分类网络将检测出的国家进行识别分类；
日期检测识别模块：用于定位一张完整的印章图片中所有的日期信息并且进行剪裁，分成若干个时间信息块进行日期检测，将检测出的日期信息进行识别，给出准确的日期，从而可以判断出入境人员在境外国家的活动时间。
本发明基于AI智能技术构造了一个快速四阶段图像识别方法。所述方法首先采集图像，并对图像进行标注，然后通过回归网络对采集好的数据进行回归剪裁，对于剪裁下来的印章，再应用基于注意力机制的网络进行对国别的图像识别，之后应用参数化的Bezier曲线进行对日期的文本识别，最后再将信息整合。最终搭建前端，设计了出入境验讫章识别平台。使用十分方便。本发明提出的基于深度神经网络的出入境验讫章识别方法及装置具有以下有益效果：
1、本发明通过一个回归网络将一张图片中所有的出入境章剪裁下来。采用了近些年CNN领域中最优秀的优化策略，在数据处理、主干网络、网络训练、激活函数、损失函数等各个方面进行了不同程度的优化，增加了大量的模块来提高卷积神经网络的精度，因此可以更好地实现对采集好的数据进行回归剪裁。
2、本发明通过基于注意力机制的网络进行对国别的图像识别，网络受到RPN的启发更加精细，从而提升了对国别图像识别的精度，解决了工作人员识别国家印章能力有限以及高错误率等问题。
3、本发明应用参数化的Bezier曲线来拟合任意形状的文本，选取自适应Bezier曲线网络来检测和识别日期极大地适应了印章日期在纵横比、字体样式、日期格式、文字方向等方面的多样性，与标准的矩形边界框检测相比较，检测花费的时间更少，效率更高。
附图说明
图1为原始印章剪裁的两张测试图片示意图；
图2为从两张测试图片上剪裁下来的印章示意图；
图3为从测试的印章图片上剪裁下来的部分日期示意图；
图4为本发明基于深度神经网络的出入境验讫章识别方法的流程图；
图5国家检测部分中的特征金字塔示意图；
图6出入境验讫章识别平台示意图；
图7为本发明具体实施例方法流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1-7，本发明提出一种基于深度神经网络的出入境验讫章识别方法，所述方法包括：
对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；
对于国家检测部分：通过搭建细粒度识别分类网络将检测出的国家进行识别分类；
对于日期检测识别部分：定位一张完整的印章图片中所有的日期信息并且进行剪裁，分成若干个时间信息块进行日期检测，将检测出的日期信息进行识别，给出准确的日期，从而可以判断出入境人员在境外国家的活动时间。
为了对印章目标的位置进行定位；由于印章可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定，最初的技术是采用滑动窗口对整幅图像进行遍历，并且需要设置不同的尺度，不同的长宽比；这种穷举的策略虽然包含了目标所有可能出现的位置，但是缺点也是显而易见的：时间复杂度太高，产生冗余窗口太多，这也严重影响后续特征提取和分类的速度和性能；对于滑动窗口存在的问题，本发明提出了一种基于Anchor box的解决方案，即通过规定不同尺寸的Anchor box来回归计算出预测框，并应用非极大抑制来减少冗余，能保证在选取较少窗口的情况下保持较高的召回率；这样能有效降低后续操作的时间复杂度，并且获取的预测框要比滑动窗口的质量更高。所述对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；具体为：
步骤一：搭建由卷积和残差网络堆叠而成的主干网络，该主干网络由五个使用CSP网络的分块组成；
步骤二：搭建池化网络；所述池化网络分为四支线，前三支线对池化网络的输入特征分别进行5*5、9*9、13*13步长为1的最大池化，第四支线不对池化网络的输入特征进行池化，最后把四条支线的池化结果进行route相加；
步骤三：搭建上采样网络，共上采样两次：首先对池化网络的输出特征进行卷积，而后进行上采样操作，对所得到的输出特征再次进行卷积，并将卷积后的特征再次进行上采样；
步骤四：搭建头部网络；共有三个头部作为输出：前两个头部网络分别进行2次1步长卷积，第三个头部网络进行1次1步长卷积；
步骤五：输入图片数据通过步骤一至步骤四搭建的网络进行特征提取，对提取后的特征应用特征金字塔，采用三个尺度再次提取特征，得到印章的特征图，对得到的印章的特征图进行国家检测和日期检测识别。
在步骤五中，所述得到的印章的特征图包括与国家检测相关的多尺度特征图和与日期检测相关的特征图。
国别分类采用分类网络进行国别和出入境类别的区分，通过搭建分类网络将检测出的国家区域进行识别分类，所述国家检测部分具体流程为：
进行数据预处理并划分训练集，测试集。采用数据增强的方式，对采集到的数据进行处理，方式包括：旋转，加噪声。这里噪声采用高斯白噪声，并以加法的方式作用在图片上。除此之外在训练之前，采用Pytorch框架下的transforms模块对图像进行一些操作：重新调整大小，根据输入图片的大小随机剪裁，将图片转化为张量并归一化。将所有数据按照60：30：10划分为训练集，验证集和测试集。
搭建国家检测网络：设置网络层数和节点数，设置输入输出的格式，输入为步骤五得到的印章的特征图，输出为印章对应的类别；本网络分为三个模块，区域预测模块，矫正模块和类别预测模块。
在区域预测阶段，将步骤五得到的与国家检测相关的多尺度特征图的每一层用ReLu激活，而后maxpooling，接着采用RPN来产生anchors，而后用非极大值抑制选出最能影响最后结果的前N个预测框从而得到预测区域；该网络在进行区域预测训练时，采用的loss函数为：
其中，Ii,Ij∈{I1,I2,…,IM}为预测出来的M个预测框和其带有的信息量，Ci,Cj∈{C1,C2,…,CM}为将这M个预测框输入全连接网络+softmax网络后的置信度，f(x)＝max{1-x,0}；
将预测出来的区域剪裁出来并进行缩放至步骤五的输入大小；
在网络矫正训练阶段，将缩放后的特征图输入全连接网络，而后接softmax进行预测从而对预测出来的区域进行矫正，所述矫正训练阶段的映射函数记为g(x)，该网络在进行矫正训练时的loss函数为：
其中，Ri∈{R1,R2,…,RM}为预测出来的预测框，X为原图；
在类别预测阶段，将缩放后的特征图和原图的特征图输入卷积层提取特征后，将所提取特征连在一起，输入全连接层后利用softmax输出其预测的类别，所述类别预测阶段的映射函数记为h(x)，其loss函数为：
L3＝-logh(X,R1,R2,…,RM)
将区域预测阶段、矫正训练阶段和类别预测阶段的loss函数进行整合，得到最后的loss函数为：
L＝L1+L2+L3。
训练网络时把剪裁好的小图输入分类网络中，根据国家信息进行学习。测试时将剪裁好的没有类别信息的小图输入到网络中，从而直接输出国家类型。
出入境印章日期检测识别部分旨在将步骤五得到的另一支输出，也就是检测出的粗略日期定位进一步检测细化，并将进一步检测出来的日期进行识别，给出准确的日期，从而可以判断出入境人员在境外国家的活动时间。
本实施例的目的是定位一张完整的护照图片中所有的时间信息并且进行剪裁，分成一些小的时间信息块。参照图3；日期检测的具体操作流程为：
步骤一：搭建由卷积和残差网络堆叠而成的主干网络。该主干网络由五个使用CSP网络的分块组成。
步骤二：搭建池化网络。
步骤三：搭建上采样网络。
步骤四：搭建有三个头部用于输出的头部网络。
步骤五：设定好预测框和真实框之间误差的损失函数CIOU_Loss。
步骤六：运用批量梯度下降法，进行反向传播更新网络参数。
将检测出的日期信息进行识别，给出准确的日期，从而可以判断出入境人员在境外国家的活动时间，对日期进行检测识别具体为：
步骤十一：准备数据集，人工裁剪护照印章上面的日期，进行批量重命名，并进行数据增强，数据增强的方式包括旋转、加入不同方差的高斯噪声和对原始图像进行模糊处理，将所有图像按照7:3的比例划分训练集和测试集。
步骤十二：将训练集中的图像年月日分开打标签，以文本阅读顺序，记录左上、右上、右下和左下的边界点，分别记为P0,P1,P2和P3；计算P0和P1的三等分点P00和P01，计算P2和P3的三等分点P20和P21，将{P0,P00,P01,P1}的坐标代入下述参数方程：
利用最小二乘法，计算四个最佳的控制点坐标：
同理将{P2,P20,P21,P3}代入参数方程计算控制点坐标，同文本内容一起作为标签；
步骤十三：搭建日期检测网络，所述日期检测网络分为两个部分，依次为日期检测部分和日期识别部分；输入的特征图为步骤五得到的与日期检测相关的特征图；
步骤十四：在文字检测部分，在五个分辨率为1/8、1/16、1/32、1/64和1/128特征图上利用ROI对齐将不同尺度的特征输出为相同的大小，后接固定通道数的特征层以预测控制点坐标；
步骤十五：在文字识别部分，首先将特征对齐，对三个尺寸为1/4、1/8和1/16的特征图采用Bezier曲线进行对齐；假设文本的上边界的参数方程为c1(t)＝(1-t)3b0+3(1-t)2tb1+3(1-t)t2b2+t3b3，同理假设文本的下边界的参数方程c2(t)，c2(t)＝(1-t)3b0+3(1-t)2tb1+3(1-t)t2b2+t3b3；将步骤十四得到的控制点坐标代入以上两个边界参数方程，如果输出的矩形特征图尺寸为hout×wout，其中hout为特征图的高，wout为特征图的宽，则从特征层中选取一个像素点gi＝(giw,gih)，giw,gih分别为该像素点的横纵坐标，通过计算t，将t带入上边界和下边界的参数方程，得到上边界点c1(t)＝tp和下边界点c2(t)＝bp，通过公式获得输出矩形特征图的采样点op；其次，在矩形特征图后接入4个卷积核大小为3×3、步长为1的卷积层，2个卷积核大小为3×3、步长为(2,1)的卷积层和最大池化层，最后接入BLSTM和全连接层，输出文字的预测序列。
在日期检测识别过程中，对整个日期检测网络模型进行训练，在训练中，参数设置为：批量大小设置为4，最大迭代次数为100K，初始学习率设置为0.01，后下降为0.001；当损失函数下降到1.0不发生改变，此时将提前终止训练。
在日期识别中，本测试数据量为500张，训练完成的模型所得到的结果：年份识别正确率高于90％，对齐输出后正确率高于85％，月份识别正确率高于80％，对齐输出后正确率高于60％。
所述识别方法还包括：在测试集上测试整个印章识别网络模型，输入图片，最后得到的结果为：预测的国家类别和预测的日期。
在搭建的头部网络中，网络共有三个头部，输出多尺度的特征以及多尺度的预测框坐标，根据预测框坐标对特征图进行剪裁，得到多尺度局部特征。
在整个网络的训练阶段采用随机梯度下降方法进行训练。
本发明还提出一种基于深度神经网络的出入境验讫章识别装置，所述识别装置包括：
回归剪裁模块：用于对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；
国家检测模块；用于通过搭建细粒度识别分类网络将检测出的国家进行识别分类；
日期检测识别模块：用于定位一张完整的印章图片中所有的日期信息并且进行剪裁，分成若干个时间信息块进行日期检测，将检测出的日期信息进行识别，给出准确的日期，从而可以判断出入境人员在境外国家的活动时间。
为了测试本发明中模型的性能，对真实出入境验讫章图像进行了一系列实验。首先，直接将护照进行拍照，而后进行回归剪裁，国别分类以及日期识别的操作。对于分类网络，判别网络识别结果的指标主要是分类结果的正确率以及召回率，总体正确率高达97％。对于文本检测网络，在日期检测与识别测试集上，年月日分别识别正确的准确率达到85％，整体识别正确的准确率达到80％。并且观察图2、图3能清楚地观测到本发明方法剪裁的效果很好，细节很精确。
在有关印章识别的研究方面，现有的深度学习的方法大多集中于文字识别，提取印章的文字部分，这类提取方法大多对印章形状有所要求，对形状差异较大的印章识别较为困难。在出入境印章日期识别中，存在诸多方向任意和文字模糊的问题。为了解决现有技术中存在的问题，本发明针对细粒度图像识别问题，提出了一种实现速度快、识别效果好的基于深度神经网络的出入境验讫章识别方法及装置，具有重要的实际应用价值。
以上对本发明所提出的一种基于深度神经网络的出入境验讫章识别方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种基于深度神经网络的出入境验讫章识别方法，其特征在于：所述方法包括：
对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；
对于国家检测部分：通过搭建细粒度识别分类网络将检测出的国家进行识别分类；
对于日期检测识别部分：定位一张完整的印章图片中所有的日期信息并且进行剪裁，分成若干个时间信息块进行日期检测，将检测出的日期信息进行识别，给出准确的日期，从而可以判断出入境人员在境外国家的活动时间；
所述对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；具体为：
步骤一：搭建由卷积和残差网络堆叠而成的主干网络，该主干网络由五个使用CSP网络的分块组成；
步骤二：搭建池化网络；所述池化网络分为四支线，前三支线对池化网络的输入特征分别进行5*5、9*9、13*13步长为1的最大池化，第四支线不对池化网络的输入特征进行池化，最后把四条支线的池化结果进行route相加；
步骤三：搭建上采样网络，共上采样两次：首先对池化网络的输出特征进行卷积，而后进行上采样操作，对所得到的输出特征再次进行卷积，并将卷积后的特征再次进行上采样；
步骤四：搭建头部网络；共有三个头部作为输出：前两个头部网络分别进行2次1步长卷积，第三个头部网络进行1次1步长卷积；
步骤五：输入图片数据通过步骤一至步骤四搭建的网络进行特征提取，对提取后的特征应用特征金字塔，采用三个尺度再次提取特征，得到印章的特征图，对得到的印章的特征图进行国家检测和日期检测识别；
所述国家检测部分具体流程为：
搭建国家检测网络：设置网络层数和节点数，设置输入输出的格式，输入为步骤五得到的印章的特征图，输出为印章对应的类别；
在区域预测阶段，将步骤五得到的与国家检测相关的多尺度特征图的每一层用ReLu激活，而后maxpooling，接着采用RPN来产生anchors，而后用非极大值抑制选出最能影响最后结果的前N个预测框从而得到预测区域；该网络在进行区域预测训练时，采用的loss函数为：
其中，Ii,Ij∈{I1,I2,…,IM}为预测出来的M个预测框和其带有的信息量，Ci,Cj∈{C1,C2,…,CM}为将这M个预测框输入全连接网络+softmax网络后的置信度，f(x)＝max{1-x,0}；
将预测出来的区域剪裁出来并进行缩放至步骤五的输入大小；
在网络矫正训练阶段，将缩放后的特征图输入全连接网络，而后接softmax进行预测从而对预测出来的区域进行矫正，所述矫正训练阶段的映射函数记为g(x)，该网络在进行矫正训练时的loss函数为：
其中，Ri∈{R1,R2,…,RM}为预测出来的预测框，X为原图；
在类别预测阶段，将缩放后的特征图和原图的特征图输入卷积层提取特征后，将所提取特征连在一起，输入全连接层后利用softmax输出其预测的类别，所述类别预测阶段的映射函数记为h(x)，其loss函数为：
L3＝-logh(X,R1,R2,…,RM)
将区域预测阶段、矫正训练阶段和类别预测阶段的loss函数进行整合，得到最后的loss函数为：
L＝L1+L2+L3
对日期进行检测识别具体为：
步骤十二：将训练集中的图像年月日分开打标签，以文本阅读顺序，记录左上、右上、右下和左下的边界点，分别记为P0,P1,P2和P3；计算P0和P1的三等分点P00和P01，计算P2和P3的三等分点P20和P21，将{P0,P00,P01,P1}的坐标代入下述参数方程：
利用最小二乘法，计算四个最佳的控制点坐标：
同理将{P2,P20,P21,P3}代入参数方程计算控制点坐标，同文本内容一起作为标签；
步骤十三：搭建日期检测网络，所述日期检测网络分为两个部分，依次为日期检测部分和日期识别部分；输入的特征图为步骤五得到的与日期检测相关的特征图；
步骤十四：在文字检测部分，在五个分辨率为1/8、1/16、1/32、1/64和1/128特征图上利用ROI对齐将不同尺度的特征输出为相同的大小，后接固定通道数的特征层以预测控制点坐标；
步骤十五：在文字识别部分，首先将特征对齐，对三个尺寸为1/4、1/8和1/16的特征图采用Bezier曲线进行对齐；假设文本的上边界的参数方程为c1(t)＝(1-t)3b0+3(1-t)2tb1+3(1-t)t2b2+t3b3，同理假设文本的下边界的参数方程c2(t)；将步骤十四得到的控制点坐标代入以上两个边界参数方程，如果输出的矩形特征图尺寸为hout×wout，其中hout为特征图的高，wout为特征图的宽，则从特征层中选取一个像素点gi＝(giw,gih)，通过计算t，将t带入上边界和下边界的参数方程，得到上边界点c1(t)＝tp和下边界点c2(t)＝bp，通过公式获得输出矩形特征图的采样点op；其次，在矩形特征图后接入4个卷积核大小为3×3、步长为1的卷积层，2个卷积核大小为3×3、步长为(2,1)的卷积层和最大池化层，最后接入BLSTM和全连接层，输出文字的预测序列。
2.根据权利要求1所述的识别方法，其特征在于：在步骤五中，所述得到的印章的特征图包括与国家检测相关的多尺度特征图和与日期检测相关的特征图。
3.根据权利要求2所述的识别方法，其特征在于：在日期检测识别过程中，对整个日期检测网络模型进行训练，在训练中，参数设置为：批量大小设置为4，最大迭代次数为100K，初始学习率设置为0.01，后下降为0.001；当损失函数下降到1.0不发生改变，此时将提前终止训练。
4.根据权利要求1所述的识别方法，其特征在于：所述识别方法还包括：在测试集上测试整个印章识别网络模型，输入图片，最后得到的结果为：预测的国家类别和预测的日期。
5.根据权利要求1所述的识别方法，其特征在于：在搭建的头部网络中，网络共有三个头部，输出多尺度的特征以及多尺度的预测框坐标，根据预测框坐标对特征图进行剪裁，得到多尺度局部特征。
6.根据权利要求1所述的识别方法，其特征在于：在整个网络的训练阶段采用随机梯度下降方法进行训练。
7.一种基于深度神经网络的出入境验讫章识别装置，其特征在于：所述识别装置包括：
回归剪裁模块：用于对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；
国家检测模块；用于通过搭建细粒度识别分类网络将检测出的国家进行识别分类；
日期检测识别模块：用于定位一张完整的印章图片中所有的日期信息并且进行剪裁，分成若干个时间信息块进行日期检测，将检测出的日期信息进行识别，给出准确的日期，从而可以判断出入境人员在境外国家的活动时间；
所述对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；具体为：
步骤一：搭建由卷积和残差网络堆叠而成的主干网络，该主干网络由五个使用CSP网络的分块组成；
步骤二：搭建池化网络；所述池化网络分为四支线，前三支线对池化网络的输入特征分别进行5*5、9*9、13*13步长为1的最大池化，第四支线不对池化网络的输入特征进行池化，最后把四条支线的池化结果进行route相加；
步骤三：搭建上采样网络，共上采样两次：首先对池化网络的输出特征进行卷积，而后进行上采样操作，对所得到的输出特征再次进行卷积，并将卷积后的特征再次进行上采样；
步骤四：搭建头部网络；共有三个头部作为输出：前两个头部网络分别进行2次1步长卷积，第三个头部网络进行1次1步长卷积；
步骤五：输入图片数据通过步骤一至步骤四搭建的网络进行特征提取，对提取后的特征应用特征金字塔，采用三个尺度再次提取特征，得到印章的特征图，对得到的印章的特征图进行国家检测和日期检测识别；
所述国家检测部分具体流程为：
搭建国家检测网络：设置网络层数和节点数，设置输入输出的格式，输入为步骤五得到的印章的特征图，输出为印章对应的类别；
在区域预测阶段，将步骤五得到的与国家检测相关的多尺度特征图的每一层用ReLu激活，而后maxpooling，接着采用RPN来产生anchors，而后用非极大值抑制选出最能影响最后结果的前N个预测框从而得到预测区域；该网络在进行区域预测训练时，采用的loss函数为：
其中，Ii,Ij∈{I1,I2,…,IM}为预测出来的M个预测框和其带有的信息量，Ci,Cj∈{C1,C2,…,CM}为将这M个预测框输入全连接网络+softmax网络后的置信度，f(x)＝max{1-x,0}；
将预测出来的区域剪裁出来并进行缩放至步骤五的输入大小；
在网络矫正训练阶段，将缩放后的特征图输入全连接网络，而后接softmax进行预测从而对预测出来的区域进行矫正，所述矫正训练阶段的映射函数记为g(x)，该网络在进行矫正训练时的loss函数为：
其中，Ri∈{R1,R2,…,RM}为预测出来的预测框，X为原图；
在类别预测阶段，将缩放后的特征图和原图的特征图输入卷积层提取特征后，将所提取特征连在一起，输入全连接层后利用softmax输出其预测的类别，所述类别预测阶段的映射函数记为h(x)，其loss函数为：
L3＝-logh(X,R1,R2,…,RM)
将区域预测阶段、矫正训练阶段和类别预测阶段的loss函数进行整合，得到最后的loss函数为：
L＝L1+L2+L3
对日期进行检测识别具体为：
步骤十二：将训练集中的图像年月日分开打标签，以文本阅读顺序，记录左上、右上、右下和左下的边界点，分别记为P0,P1,P2和P3；计算P0和P1的三等分点P00和P01，计算P2和P3的三等分点P20和P21，将{P0,P00,P01,P1}的坐标代入下述参数方程：
利用最小二乘法，计算四个最佳的控制点坐标：
同理将{P2,P20,P21,P3}代入参数方程计算控制点坐标，同文本内容一起作为标签；
步骤十三：搭建日期检测网络，所述日期检测网络分为两个部分，依次为日期检测部分和日期识别部分；输入的特征图为步骤五得到的与日期检测相关的特征图；
步骤十四：在文字检测部分，在五个分辨率为1/8、1/16、1/32、1/64和1/128特征图上利用ROI对齐将不同尺度的特征输出为相同的大小，后接固定通道数的特征层以预测控制点坐标；
步骤十五：在文字识别部分，首先将特征对齐，对三个尺寸为1/4、1/8和1/16的特征图采用Bezier曲线进行对齐；假设文本的上边界的参数方程为c1(t)＝(1-t)3b0+3(1-t)2tb1+3(1-t)t2b2+t3b3，同理假设文本的下边界的参数方程c2(t)；将步骤十四得到的控制点坐标代入以上两个边界参数方程，如果输出的矩形特征图尺寸为hout×wout，其中hout为特征图的高，wout为特征图的宽，则从特征层中选取一个像素点gi＝(giw,gih)，通过计算t，将t带入上边界和下边界的参数方程，得到上边界点c1(t)＝tp和下边界点c2(t)＝bp，通过公式获得输出矩形特征图的采样点op；其次，在矩形特征图后接入4个卷积核大小为3×3、步长为1的卷积层，2个卷积核大小为3×3、步长为(2,1)的卷积层和最大池化层，最后接入BLSTM和全连接层，输出文字的预测序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111139047.2A CN113971745B (zh) | 2021-09-27 | 2021-09-27 | 一种基于深度神经网络的出入境验讫章识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111139047.2A CN113971745B (zh) | 2021-09-27 | 2021-09-27 | 一种基于深度神经网络的出入境验讫章识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113971745A CN113971745A (zh) | 2022-01-25 |
| CN113971745B true CN113971745B (zh) | 2024-04-16 |
Family
ID=79587174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111139047.2A Active CN113971745B (zh) | 2021-09-27 | 2021-09-27 | 一种基于深度神经网络的出入境验讫章识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113971745B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998646A (zh) * | 2022-05-12 | 2022-09-02 | 哈尔滨工业大学 | 一种基于神经网络的印章识别系统及识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880876A (zh) * | 2012-09-20 | 2013-01-16 | 深圳市盛视科技有限公司 | 一种印章校验方法及其装置 |
| CN109543606A (zh) * | 2018-11-22 | 2019-03-29 | 中山大学 | 一种加入注意力机制的人脸识别方法 |
| CN110298387A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 融入像素级attention机制的深度神经网络目标检测方法 |
| CN111950354A (zh) * | 2020-06-30 | 2020-11-17 | 深圳市雄帝科技股份有限公司 | 印章归属国识别方法、装置及电子设备 |
| WO2021115490A1 (zh) * | 2020-06-22 | 2021-06-17 | 平安科技（深圳）有限公司 | 面向复杂环境的印章文字检测识别方法、装置及介质 |
-
2021
- 2021-09-27 CN CN202111139047.2A patent/CN113971745B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880876A (zh) * | 2012-09-20 | 2013-01-16 | 深圳市盛视科技有限公司 | 一种印章校验方法及其装置 |
| CN109543606A (zh) * | 2018-11-22 | 2019-03-29 | 中山大学 | 一种加入注意力机制的人脸识别方法 |
| CN110298387A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 融入像素级attention机制的深度神经网络目标检测方法 |
| WO2021115490A1 (zh) * | 2020-06-22 | 2021-06-17 | 平安科技（深圳）有限公司 | 面向复杂环境的印章文字检测识别方法、装置及介质 |
| CN111950354A (zh) * | 2020-06-30 | 2020-11-17 | 深圳市雄帝科技股份有限公司 | 印章归属国识别方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113971745A (zh) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109670429B (zh) | 一种基于实例分割的监控视频多目标人脸检测方法及系统 | |
| CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
| CN112232371B (zh) | 一种基于YOLOv3与文本识别的美式车牌识别方法 | |
| CN109033944B (zh) | 一种全天空极光图像分类与关键局部结构定位方法及系统 | |
| CN113936195B (zh) | 敏感图像识别模型的训练方法、训练装置和电子设备 | |
| CN112270317B (zh) | 一种基于深度学习和帧差法的传统数字水表读数识别方法 | |
| CN111753787A (zh) | 一种分离式的交通标志检测与识别方法 | |
| CN109800755A (zh) | 一种基于多尺度特征的遥感影像小目标检测方法 | |
| CN112733858B (zh) | 基于字符区域检测的图像文字快速识别方法及装置 | |
| CN112307919A (zh) | 一种基于改进YOLOv3的单证图像中数字信息区域识别方法 | |
| CN117830874B (zh) | 一种多尺度模糊边界条件下的遥感目标检测方法 | |
| CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
| CN113971745B (zh) | 一种基于深度神经网络的出入境验讫章识别方法及装置 | |
| CN107886125A (zh) | 基于局部谱分解打分的modis卫星遥感图像标注方法 | |
| CN117437647B (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 | |
| CN116704526B (zh) | 工尺谱扫描机器人及其方法 | |
| CN117809033A (zh) | 一种多尺度融合的岩渣图像分割方法 | |
| CN111145314B (zh) | 一种结合地名标注的扫描电子地图地名符号的提取方法 | |
| CN116309791B (zh) | 一种禽类羽毛面积参数的检测方法 | |
| CN112365508A (zh) | 基于视觉注意与残差网络的sar遥感图像水域分割方法 | |
| CN110135395A (zh) | 一种利用深度学习技术识别火车票的方法 | |
| CN115690605A (zh) | 基于空谱联合的多光谱遥感图像云检测方法 | |
| CN113569835A (zh) | 一种基于目标检测和分割识别的水表数值读取方法 | |
| CN117576658B (zh) | 一种基于视觉的机场跑道异物检测智能预警实现方法 | |
| CN117671694B (zh) | 一种基于检测和融合的文档印章预处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |