CN114937271B - 一种通信数据智能录入校对方法 - Google Patents

一种通信数据智能录入校对方法 Download PDF

Info

Publication number
CN114937271B
CN114937271B CN202210508448.9A CN202210508448A CN114937271B CN 114937271 B CN114937271 B CN 114937271B CN 202210508448 A CN202210508448 A CN 202210508448A CN 114937271 B CN114937271 B CN 114937271B
Authority
CN
China
Prior art keywords
distorted
data
document
communication data
document image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210508448.9A
Other languages
English (en)
Other versions
CN114937271A (zh
Inventor
尹进
洪球
高朝
尹胜
欧军
刘方科
李智军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongweijian Communication Technology Service Co ltd
Original Assignee
Zhongweijian Communication Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongweijian Communication Technology Service Co ltd filed Critical Zhongweijian Communication Technology Service Co ltd
Priority to CN202210508448.9A priority Critical patent/CN114937271B/zh
Publication of CN114937271A publication Critical patent/CN114937271A/zh
Application granted granted Critical
Publication of CN114937271B publication Critical patent/CN114937271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/1607—Correcting image deformation, e.g. trapezoidal deformation caused by perspective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Character Input (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及文档校对的技术领域，公开了一种通信数据智能录入校对方法，包括：构建扭曲文档图像样本数据集合；构建扭曲文档矫正模型，并利用样本数据集合训练所构建的模型，得到最优的扭曲文档矫正模型；利用扭曲文档检测模型对纸质通信数据进行扭曲检测，将检测到扭曲的纸质通信数据作为扭曲数据；利用扭曲文档矫正模型对扭曲数据进行矫正；构建文字识别模型，利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，将识别结果作为电子文本材料，并将电子文本材料与对应的电子注册材料进行信息校对。本发明所述方法通过构建扭曲文档矫正模型实现扭曲文档的矫正处理，进而实现图像中的文本识别。

Description

一种通信数据智能录入校对方法
技术领域
本发明涉及文档校对的技术领域，尤其涉及一种通信数据智能录入校对方法。
背景技术
目前信件通信数据电子化主要通过人工录入的方法，虽然目前光学字符识别已经取得良好效果，但是应用于企业信件通信数据存在如下难点：一是通信票据可能存在弯曲折叠的情况，导致每行文本存在弯曲现象，从而影响文字识别；二是印章中的弯曲文本识别存在较大困难。针对上述问题，本专利提出一种通信数据智能录入校对方法。
发明内容
本发明提供一种通信数据智能录入校对方法，目的在于（1）实现扭曲文档的矫正处理；（2）实现图像中的文本识别。
实现上述目的，本发明提供的一种通信数据智能录入校对方法，包括以下步骤：
S1：构建扭曲文档图像样本数据集合，用于训练扭曲文档矫正模型；
S2：构建扭曲文档矫正模型，并利用样本数据集合训练所构建的模型，得到最优的扭曲文档矫正模型；
S3：利用扭曲文档检测模型对纸质通信数据进行扭曲检测，将检测到扭曲的纸质通信数据作为扭曲数据；
S4：利用扭曲文档矫正模型对扭曲数据进行矫正；
S5：构建文字识别模型，利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，将识别结果作为电子文本材料，并将电子文本材料与对应的电子注册材料进行信息校对。
作为本发明的进一步改进方法：
所述S1步骤中构建扭曲文档图像样本数据集合，包括：
所构建的扭曲文档图像样本数据集合 data为：
Figure 212643DEST_PATH_IMAGE001
其中：
(Ii,ti)表示所采集的第i组扭曲文档图像样本数据，Ii表示扭曲文档图像样本，ti表示Ii矫正后的文档图像数据；
n表示扭曲文档图像样本数据集合data中的样本数量；
在本发明一个具体实施例中，本发明采集n张平整的文档图像数据作为矫正后的文档图像数据
Figure 413598DEST_PATH_IMAGE002
，对于任意文档图像数据ti，从图像数据中任意选择一个像素点ei作为初始扭曲点，并为初始扭曲点随机生成扭曲向量vi=[tvi,vvi]，其中 tvi表示初始扭曲点在水平方向的受力强度，vvi表示初始扭曲点在竖直方向的受力强度，则初始扭曲点的更新位置为
Figure 510867DEST_PATH_IMAGE003
，对所有文档图像的初始扭曲点进行位置更新，使得平整的文档图像发生扭曲形变，得到对应的扭曲文档图像数据
Figure 281377DEST_PATH_IMAGE004
，其中weighti表示初始扭曲点ei的位置更新权重：
Figure 704268DEST_PATH_IMAGE005
其中：
Figure 825807DEST_PATH_IMAGE006
表示扭曲形变的传播程度，
Figure 726767DEST_PATH_IMAGE007
，较小的
Figure 617363DEST_PATH_IMAGE006
会将基于初始扭曲点的图像扭曲形变限制在局部区域，即
Figure 211155DEST_PATH_IMAGE006
值越大，文档图像的扭曲形变范围越大；
distance(ei)表示初始扭曲点ei与图像中心的距离。
所述S2步骤中构建扭曲文档矫正模型，并利用S1步骤中的样本数据集合训练所构建的模型，包括：
所构建的扭曲文档矫正模型包括采样层、控制点生成网络、矫正参数生成网络以及图像生成网络，所述扭曲文档矫正模型的输入为存在扭曲形变的文档图像数据，输出为矫正后的文档图像；
所述扭曲文档矫正模型中采样层的采样公式为：
Figure 554412DEST_PATH_IMAGE008
其中：
s表示对文档图像数据的下采样倍数，即设置s×s大小的像素窗口，计算像素窗口内的像素均值p，将p作为该像素窗口的采样像素值；
Figure 524642DEST_PATH_IMAGE009
表示像素窗口的所有像素的像素值之和；
将采样处理后的文档图像数据输入到控制点生成网络，控制点生成网络分别计算像素灰度值在[0,M)与[M,L]出现的概率P1,P2，其中[0,L]表示灰度级，L=255，P1+P2=1；计算像素灰度值在[0,M)与[M,L]的平均灰度值μ1,μ2，以及文档图像数据整体的平均灰度值μ，则文档图像数据灰度方差σ2的计算公式为：
Figure 66482DEST_PATH_IMAGE010
遍历M∈[0,L]的所有灰度级数M，当σ2最大时的M即为文档图像分割阈值
Figure 768859DEST_PATH_IMAGE011
，则对于采样处理后的文档图像数据，将像素灰度值大于等于
Figure 661728DEST_PATH_IMAGE011
的像素的灰度值调整为255，将其余像素的灰度值调整为0，则灰度值为255的所有像素即为生成的控制点，并在采样处理后的文档图像数据中标记控制点的位置，将标记后的文档图像数据输入到矫正参数生成网络；
矫正参数生成网络将文档图像均分为6个子区域，对于每个子区域，连接子区域中的控制点得到二维曲面R2，则该子区域的矫正参数为：
Figure 842174DEST_PATH_IMAGE012
其中：
z表示子区域垂直于平面的偏移量；
Figure 271143DEST_PATH_IMAGE013
表示矫正参数；
将矫正参数与存在扭曲形变的文档图像数据输入到图像生成网络中，图像生成网络依据矫正参数对存在扭曲形变的文档图像数据进行矫正处理，所述矫正处理的公式为：
Figure 144421DEST_PATH_IMAGE014
其中：
Figure 524587DEST_PATH_IMAGE015
表示卷积层；
I表示存在扭曲形变的文档图像数据；
b表示卷积层的偏置向量；
w表示卷积层的权重；
Figure 508724DEST_PATH_IMAGE016
表示矫正后的文档图像数据；
将所构建的扭曲文档图像样本数据集合data作为扭曲文档矫正模型的训练数据，构建扭曲文档矫正模型训练的损失函数Loss：
Figure 290735DEST_PATH_IMAGE017
其中：
Figure 131652DEST_PATH_IMAGE018
表示图像概率分布密度图计算；
Figure 936797DEST_PATH_IMAGE019
表示模型对训练数据Ii进行矫正的图像数据，ti表示训练数据Ii对应的实际矫正后图像数据；
随机生成图像生成网络中卷积层初始参数w0,b0，所述初始参数分布表示卷积层的权重和偏置向量，并设置参数更新次数为Max，利用梯度下降算法对卷积层中的参数进行更新，参数更新公式如下：
Figure 786941DEST_PATH_IMAGE020
Figure 361142DEST_PATH_IMAGE021
其中：
Figure 638540DEST_PATH_IMAGE022
为学习率，将其设置为0.6；
Figure 665402DEST_PATH_IMAGE023
表示第k次更新得到的卷积层参数值，k的初始值为0；
重复上述更新步骤，直到参数更新次数达到预设的更新次数Max，将最终训练得到的参数作为扭曲文档矫正模型的参数。
所述S3步骤中利用扭曲文档检测模型对纸质通信数据进行扭曲检测，包括：
信件发送方分别向信件接收方提供纸质通信数据以及填写电子注册材料，信件接收方将纸质通信数据扫描为图像数据；
信件接收方利用扭曲文档检测模型对纸质通信数据进行扭曲检测，所述扭曲检测流程为：
1）依据图像分割阈值
Figure 319237DEST_PATH_IMAGE011
，对纸质通信数据进行二值化处理，将像素灰度值大于等于
Figure 747944DEST_PATH_IMAGE011
的像素的灰度值调整为255，将其余像素的灰度值调整为0；
2）利用像素框对二值化处理后纸质通信数据的黑色像素区域进行遍历，并对黑色像素区域进行像素框标记，比较任意一行的黑色像素区域高度是否相同，并比较任意一列的黑色像素区域宽度是否相同，若两者均相同，则认为当前提供的纸质通信数据不存在扭曲，否则认为当前提供的纸质通信区域存在扭曲，并将检测到扭曲的纸质通信数据作为扭曲数据。
所述S4步骤中利用扭曲文档矫正模型对检测到扭曲的纸质通信数据进行矫正，包括：
将检测到扭曲的纸质通信数据作为扭曲数据，并将扭曲数据作为扭曲文档矫正模型的输入，且扭曲文档矫正模型输出矫正后的纸质通信数据。
所述S5步骤中构建文字识别模型，包括：
所构建的文字识别模型的输入为进行扭曲检测后的纸质通信数据，所述扭曲检测后的纸质通信数据具有像素框标记，像素框标记的区域即为文字区域；
所述文字识别模型的结构包括输入层、卷积层、输出层，输入层的输入值为扭曲检测后的纸质通信数据，输入层对纸质通信数据进行尺寸统一处理，即将输入的纸质通信数据尺寸统一处理为100×100像素，并将尺寸统一后的纸质通信数据输入到卷积层；
卷积层对接收到的纸质通信数据进行卷积处理、池化处理以及批归一化处理，所述卷积层的层数为5层，则第k层卷积层的输出结果为：
Figure 196243DEST_PATH_IMAGE024
其中：
Figure 975980DEST_PATH_IMAGE025
表示第k-1层卷积层的输出，第k层卷积层的输入，y0表示尺寸统一后的纸质通信数据；
Figure 666462DEST_PATH_IMAGE026
表示第k层卷积层中卷积处理、池化处理以及批归一化处理的累加；
将最后一层卷积层的输出结果y5作为输出层的输入，输出层利用softmax函数对y5进行文字识别softmax(y5)，输出识别得到的文字，将识别结果作为电子文本材料。
所述S5步骤中利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，并将文字识别结果与对应的电子注册材料进行信息校对，包括：
利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，将识别结果作为电子文本材料，并将电子文本材料与对应的电子注册材料进行信息校对，若信息校对失败则向信件接收方发出警告信息。
相对于现有技术，本发明提出一种通信数据智能录入校对方法，该技术具有以下优势：
首先，由于扭曲文档数据较难采集，且采集结果大多无对应的平整文档图像，因此本方案提出一种扭曲文档数据集的采集方案，通过采集n张平整的文档图像数据作为矫正后的文档图像数据
Figure 949676DEST_PATH_IMAGE002
，对于任意文档图像数据ti，从图像数据中任意选择一个像素点ei作为初始扭曲点，并为初始扭曲点随机生成扭曲向量vi=[tvi,vvi]，其中 tvi表示初始扭曲点在水平方向的受力强度，vvi表示初始扭曲点在竖直方向的受力强度，则初始扭曲点的更新位置为
Figure 568876DEST_PATH_IMAGE003
，对所有文档图像的初始扭曲点进行位置更新，使得平整的文档图像发生扭曲形变，得到对应的扭曲文档图像数据
Figure 632647DEST_PATH_IMAGE004
，其中weighti表示初始扭曲点ei的位置更新权重：
Figure 300389DEST_PATH_IMAGE005
其中：
Figure 766005DEST_PATH_IMAGE027
表示扭曲形变的传播程度，
Figure 759369DEST_PATH_IMAGE028
，较小的
Figure 779278DEST_PATH_IMAGE027
会将基于初始扭曲点的图像扭曲形变限制在局部区域，即
Figure 578606DEST_PATH_IMAGE027
值越大，文档图像的扭曲形变范围越大；
Figure 836412DEST_PATH_IMAGE029
表示初始扭曲点
Figure 797415DEST_PATH_IMAGE030
与图像中心的距离，因此本案得到n张相互对应的扭曲文档图像数据和平整文档图像数据，实现扭曲文档矫正模型的训练。
同时，本方案提出一种扭曲文档矫正模型，所构建的扭曲文档矫正模型包括采样层、控制点生成网络、矫正参数生成网络以及图像生成网络，所述扭曲文档矫正模型的输入为存在扭曲形变的文档图像数据，输出为矫正后的文档图像；所述扭曲文档矫正模型中采样层的采样公式为：
Figure 773461DEST_PATH_IMAGE008
其中：s表示对文档图像数据的下采样倍数，即设置
Figure 110902DEST_PATH_IMAGE031
大小的像素窗口，计算像素窗口内的像素均值
Figure 223214DEST_PATH_IMAGE032
，将p作为该像素窗口的采样像素值；
Figure 122162DEST_PATH_IMAGE033
表示像素窗口的所有像素的像素值之和；将采样处理后的文档图像数据输入到控制点生成网络，控制点生成网络分别计算像素灰度值在
Figure 319926DEST_PATH_IMAGE034
与
Figure 461057DEST_PATH_IMAGE035
出现的概率
Figure 693455DEST_PATH_IMAGE036
,
Figure 730681DEST_PATH_IMAGE037
，其中[0,L]表示灰度级，L=255，
Figure 743637DEST_PATH_IMAGE036
+
Figure 360563DEST_PATH_IMAGE038
；计算像素灰度值在
Figure 509784DEST_PATH_IMAGE034
与
Figure 921174DEST_PATH_IMAGE035
的平均灰度值
Figure 155846DEST_PATH_IMAGE039
,
Figure 576463DEST_PATH_IMAGE040
，以及文档图像数据整体的平均灰度值
Figure 314612DEST_PATH_IMAGE041
，则文档图像数据灰度方差
Figure 224800DEST_PATH_IMAGE042
的计算公式为：
Figure 884451DEST_PATH_IMAGE010
遍历
Figure 398172DEST_PATH_IMAGE043
的所有灰度级数M，当
Figure 459669DEST_PATH_IMAGE042
最大时的M即为文档图像分割阈值
Figure 540758DEST_PATH_IMAGE044
，则对于采样处理后的文档图像数据，将像素灰度值大于等于
Figure 422126DEST_PATH_IMAGE044
的像素的灰度值调整为255，将其余像素的灰度值调整为0，则灰度值为255的所有像素即为生成的控制点，并在采样处理后的文档图像数据中标记控制点的位置，将标记后的文档图像数据输入到矫正参数生成网络；矫正参数生成网络将文档图像均分为6个子区域，对于每个子区域，连接子区域中的控制点得到二维曲面
Figure 246863DEST_PATH_IMAGE045
，则该子区域的矫正参数为：
Figure 162866DEST_PATH_IMAGE012
其中：z表示子区域垂直于平面的偏移量；
Figure 414856DEST_PATH_IMAGE046
表示矫正参数；将矫正参数与存在扭曲形变的文档图像数据输入到图像生成网络中，图像生成网络依据矫正参数对存在扭曲形变的文档图像数据进行矫正处理，所述矫正处理的公式为：
Figure 845837DEST_PATH_IMAGE014
其中：
Figure 146369DEST_PATH_IMAGE047
表示卷积层；I表示存在扭曲形变的文档图像数据；b表示卷积层的偏置向量；w表示卷积层的权重；
Figure 979195DEST_PATH_IMAGE016
表示矫正后的文档图像数据。对于矫正后的图像，本方案利用文本识别模型对纸质通信数据进行文字识别，将识别结果作为电子文本材料，实现将纸质通信数据转化为电子文本，并将电子文本材料与对应的电子注册材料进行信息校对，实现通信数据校对。
附图说明
图1为本发明一实施例提供的一种通信数据智能录入校对方法的流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
S1：构建扭曲文档图像样本数据集合，用于训练扭曲文档矫正模型。
所述S1步骤中构建扭曲文档图像样本数据集合，包括：
所构建的扭曲文档图像样本数据集合data为：
Figure 339769DEST_PATH_IMAGE001
其中：
(Ii,ti)表示所采集的第i组扭曲文档图像样本数据，Ii表示扭曲文档图像样本，ti表示Ii矫正后的文档图像数据；
n表示扭曲文档图像样本数据集合data中的样本数量；
在本发明一个具体实施例中，本发明采集n张平整的文档图像数据作为矫正后的文档图像数据
Figure 258047DEST_PATH_IMAGE002
，对于任意文档图像数据ti，从图像数据中任意选择一个像素点ei作为初始扭曲点，并为初始扭曲点随机生成扭曲向量vi=[tvi,vvi]，其中 tvi表示初始扭曲点在水平方向的受力强度， vvi表示初始扭曲点在竖直方向的受力强度，则初始扭曲点的更新位置为
Figure 362269DEST_PATH_IMAGE003
，对所有文档图像的初始扭曲点进行位置更新，使得平整的文档图像发生扭曲形变，得到对应的扭曲文档图像数据
Figure 315182DEST_PATH_IMAGE004
，其中weighti表示初始扭曲点ei的位置更新权重：
Figure 846657DEST_PATH_IMAGE005
其中：
Figure 753696DEST_PATH_IMAGE027
表示扭曲形变的传播程度，
Figure 396029DEST_PATH_IMAGE028
，较小的
Figure 937869DEST_PATH_IMAGE027
会将基于初始扭曲点的图像扭曲形变限制在局部区域，即
Figure 702563DEST_PATH_IMAGE027
值越大，文档图像的扭曲形变范围越大；
Figure 533116DEST_PATH_IMAGE029
表示初始扭曲点
Figure 41457DEST_PATH_IMAGE030
与图像中心的距离。
S2：构建扭曲文档矫正模型，并利用样本数据集合训练所构建的模型，得到最优的扭曲文档矫正模型。
所述S2步骤中构建扭曲文档矫正模型，并利用S1步骤中的样本数据集合训练所构建的模型，包括：
所构建的扭曲文档矫正模型包括采样层、控制点生成网络、矫正参数生成网络以及图像生成网络，所述扭曲文档矫正模型的输入为存在扭曲形变的文档图像数据，输出为矫正后的文档图像；
所述扭曲文档矫正模型中采样层的采样公式为：
Figure 703383DEST_PATH_IMAGE008
其中：
s表示对文档图像数据的下采样倍数，即设置s×s大小的像素窗口，计算像素窗口内的像素均值p，将p作为该像素窗口的采样像素值；
Figure 576661DEST_PATH_IMAGE048
表示像素窗口的所有像素的像素值之和；
将采样处理后的文档图像数据输入到控制点生成网络，控制点生成网络分别计算像素灰度值在[0,M)与[M,L]出现的概率P1,P2，其中[0,L]表示灰度级，L=255，P1+P2=1；计算像素灰度值在[0,M)与[M,L]的平均灰度值μ1,μ2，以及文档图像数据整体的平均灰度值μ，则文档图像数据灰度方差σ2的计算公式为：
Figure 691248DEST_PATH_IMAGE010
遍历M∈[0,L]的所有灰度级数M，当σ2最大时的M即为文档图像分割阈值
Figure 940963DEST_PATH_IMAGE011
，则对于采样处理后的文档图像数据，将像素灰度值大于等于
Figure 722974DEST_PATH_IMAGE011
的像素的灰度值调整为255，将其余像素的灰度值调整为0，则灰度值为255的所有像素即为生成的控制点，并在采样处理后的文档图像数据中标记控制点的位置，将标记后的文档图像数据输入到矫正参数生成网络；
矫正参数生成网络将文档图像均分为6个子区域，对于每个子区域，连接子区域中的控制点得到二维曲面R2，则该子区域的矫正参数为：
Figure 767154DEST_PATH_IMAGE012
其中：
z表示子区域垂直于平面的偏移量；
Figure 369036DEST_PATH_IMAGE013
表示矫正参数；
将矫正参数与存在扭曲形变的文档图像数据输入到图像生成网络中，图像生成网络依据矫正参数对存在扭曲形变的文档图像数据进行矫正处理，所述矫正处理的公式为：
Figure 156864DEST_PATH_IMAGE014
其中：
Figure 26338DEST_PATH_IMAGE015
表示卷积层；
I表示存在扭曲形变的文档图像数据；
b表示卷积层的偏置向量；
w表示卷积层的权重；
Figure 303735DEST_PATH_IMAGE016
表示矫正后的文档图像数据；
将所构建的扭曲文档图像样本数据集合data作为扭曲文档矫正模型的训练数据，构建扭曲文档矫正模型训练的损失函数Loss：
Figure 596176DEST_PATH_IMAGE017
其中：
Figure 984432DEST_PATH_IMAGE018
表示图像概率分布密度图计算；
Figure 678719DEST_PATH_IMAGE019
表示模型对训练数据Ii进行矫正的图像数据，ti表示训练数据Ii对应的实际矫正后图像数据；
随机生成图像生成网络中卷积层初始参数w0,b0，所述初始参数分布表示卷积层的权重和偏置向量，并设置参数更新次数为Max，利用梯度下降算法对卷积层中的参数进行更新，参数更新公式如下：
Figure 127018DEST_PATH_IMAGE020
Figure 641176DEST_PATH_IMAGE021
其中：
Figure 833122DEST_PATH_IMAGE022
为学习率，将其设置为0.6；
Figure 381916DEST_PATH_IMAGE023
表示第k次更新得到的卷积层参数值，k的初始值为0；
重复上述更新步骤，直到参数更新次数达到预设的更新次数Max，将最终训练得到的参数作为扭曲文档矫正模型的参数。
S3：利用扭曲文档检测模型对纸质通信数据进行扭曲检测，将检测到扭曲的纸质通信数据作为扭曲数据。
所述S3步骤中利用扭曲文档检测模型对纸质通信数据进行扭曲检测，包括：
信件发送方分别向信件接收方提供纸质通信数据以及填写电子注册材料，信件接收方将纸质通信数据扫描为图像数据；
信件接收方利用扭曲文档检测模型对纸质通信数据进行扭曲检测，所述扭曲检测流程为：
1）依据图像分割阈值
Figure 1116DEST_PATH_IMAGE011
，对纸质通信数据进行二值化处理，将像素灰度值大于等于
Figure 799307DEST_PATH_IMAGE011
的像素的灰度值调整为255，将其余像素的灰度值调整为0；
2）利用像素框对二值化处理后纸质通信数据的黑色像素区域进行遍历，并对黑色像素区域进行像素框标记，比较任意一行的黑色像素区域高度是否相同，并比较任意一列的黑色像素区域宽度是否相同，若两者均相同，则认为当前提供的纸质通信数据不存在扭曲，否则认为当前提供的纸质通信区域存在扭曲，并将检测到扭曲的纸质通信数据作为扭曲数据。
S4：利用扭曲文档矫正模型对扭曲数据进行矫正。
所述S4步骤中利用扭曲文档矫正模型对检测到扭曲的纸质通信数据进行矫正，包括：
将检测到扭曲的纸质通信数据作为扭曲数据，并将扭曲数据作为扭曲文档矫正模型的输入，且扭曲文档矫正模型输出矫正后的纸质通信数据。
S5：构建文字识别模型，利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，将识别结果作为电子文本材料，并将电子文本材料与对应的电子注册材料进行信息校对。
所述S5步骤中构建文字识别模型，包括：
所构建的文字识别模型的输入为进行扭曲检测后的纸质通信数据，所述扭曲检测后的纸质通信数据具有像素框标记，像素框标记的区域即为文字区域；
所述文字识别模型的结构包括输入层、卷积层、输出层，输入层的输入值为扭曲检测后的纸质通信数据，输入层对纸质通信数据进行尺寸统一处理，即将输入的纸质通信数据尺寸统一处理为100×100像素，并将尺寸统一后的纸质通信数据输入到卷积层；
卷积层对接收到的纸质通信数据进行卷积处理、池化处理以及批归一化处理，所述卷积层的层数为5层，则第k层卷积层的输出结果为：
Figure 732628DEST_PATH_IMAGE024
其中：
Figure 198245DEST_PATH_IMAGE025
表示第k-1层卷积层的输出，第k层卷积层的输入，y0表示尺寸统一后的纸质通信数据；
Figure 926029DEST_PATH_IMAGE026
表示第k层卷积层中卷积处理、池化处理以及批归一化处理的累加；
将最后一层卷积层的输出结果y5作为输出层的输入，输出层利用softmax函数对y5进行文字识别softmax(y5)，输出识别得到的文字，将识别结果作为电子文本材料。
所述S5步骤中利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，并将文字识别结果与对应的电子注册材料进行信息校对，包括：
利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，将识别结果作为电子文本材料，并将电子文本材料与对应的电子注册材料进行信息校对，若信息校对失败则向信件接收方发出警告信息。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种通信数据智能录入校对方法，其特征在于，所述方法包括：
S1：构建扭曲文档图像样本数据集合，用于训练扭曲文档矫正模型；
S2：构建扭曲文档矫正模型，并利用样本数据集合训练所构建的模型，得到最优的扭曲文档矫正模型；
S3：利用扭曲文档检测模型对纸质通信数据进行扭曲检测，将检测到扭曲的纸质通信数据作为扭曲数据；
S4：利用扭曲文档矫正模型对扭曲数据进行矫正；
S5：构建文字识别模型，利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，将识别结果作为电子文本材料，并将电子文本材料与对应的电子注册材料进行信息校对；
其中，步骤S1中，所构建的扭曲文档图像样本数据集合data为：
data＝{(I1，t1)，(I2，t2)，...，(Ii，ti)，...，(In，tn)}
其中：
(Ii，ti)表示所采集的第i组扭曲文档图像样本数据，Ii表示扭曲文档图像样本，ti表示Ii矫正后的文档图像数据；
n表示扭曲文档图像样本数据集合data中的样本数量，
采集n张平整的文档图像数据作为矫正后的文档图像数据{t1，t2，...，ti，...，tn}，对于任意文档图像数据ti，从图像数据中任意选择一个像素点ei作为初始扭曲点，并为初始扭曲点随机生成扭曲向量vi＝[tvi，vvi]，其中tvi表示初始扭曲点在水平方向的受力强度，vvi表示初始扭曲点在竖直方向的受力强度，则初始扭曲点的更新位置为e′i＝ei+viweighti，对所有文档图像的初始扭曲点进行位置更新，使得平整的文档图像发生扭曲形变，得到对应的扭曲文档图像数据{I1，I2，...，Ii，...，In}，其中weighti表示初始扭曲点ei的位置更新权重：
Figure FDA0004067245450000011
其中：
θi表示扭曲形变的传播程度，0＜θi≤1，θi值越大，文档图像的扭曲形变范围越大；
distance(ei)表示初始扭曲点ei与图像中心的距离；
所述S2步骤中构建扭曲文档矫正模型，并利用S1步骤中的样本数据集合训练所构建的模型，包括：
所构建的扭曲文档矫正模型包括采样层、控制点生成网络、矫正参数生成网络以及图像生成网络，所述扭曲文档矫正模型的输入为存在扭曲形变的文档图像数据，输出为矫正后的文档图像；
所述扭曲文档矫正模型中采样层的采样公式为：
Figure FDA0004067245450000012
其中：
s表示对文档图像数据的下采样倍数，即设置s×s大小的像素窗口，计算像素窗口内的像素均值p，将p作为该像素窗口的采样像素值；
Σxi表示像素窗口的所有像素的像素值之和；
将采样处理后的文档图像数据输入到控制点生成网络，控制点生成网络分别计算像素灰度值在[0，M]与[M，L]出现的概率P1,P2，其中[0,L]表示灰度级，L＝255，P1+P2＝1；计算像素灰度值在[0，M)与[M，L]的平均灰度值μ1,μ2，以及文档图像数据整体的平均灰度值μ，则文档图像数据灰度方差σ2的计算公式为：
σ2＝P1(μ-μ1)2+P2(μ-μ2)2
遍历M∈[0，L}的所有灰度级数M，当σ2最大时的M即为文档图像分割阈值
Figure FDA0004067245450000021
则对于采样处理后的文档图像数据，将像素灰度值大于等于
Figure FDA0004067245450000022
的像素的灰度值调整为255，将其余像素的灰度值调整为0，则灰度值为255的所有像素即为生成的控制点，并在采样处理后的文档图像数据中标记控制点的位置，将标记后的文档图像数据输入到矫正参数生成网络；
矫正参数生成网络将文档图像均分为6个子区域，对于每个子区域，连接子区域中的控制点得到二维曲面R2，则该子区域的矫正参数为：
Figure FDA0004067245450000023
其中：
z表示子区域垂直于平面的偏移量；
α表示矫正参数；
将矫正参数与存在扭曲形变的文档图像数据输入到图像生成网络中，图像生成网络依据矫正参数对存在扭曲形变的文档图像数据进行矫正处理，所述矫正处理的公式为：
I′＝Conv(I，αw，b)
其中：
Conv(·)表示卷积层；
I表示存在扭曲形变的文档图像数据；
b表示卷积层的偏置向量；
w表示卷积层的权重；
I′表示矫正后的文档图像数据；
将所构建的扭曲文档图像样本数据集合data作为扭曲文档矫正模型的训练数据，构建扭曲文档矫正模型训练的损失函数Loss：
Figure FDA0004067245450000024
其中：
pdf(·)表示图像概率分布密度图计算；
Figure FDA0004067245450000027
表示模型对训练数据Ii进行矫正的图像数据，ti表示训练数据Ii对应的实际矫正后图像数据；
随机生成图像生成网络中卷积层初始参数w0，b0，所述初始参数分布表示卷积层的权重和偏置向量，并设置参数更新次数为Max，利用梯度下降算法对卷积层中的参数进行更新，参数更新公式如下：
Figure FDA0004067245450000025
Figure FDA0004067245450000026
其中：
∈为学习率，将其设置为0.6；
wk，bk表示第k次更新得到的卷积层参数值，k的初始值为0；
重复上述更新步骤，直到参数更新次数达到预设的更新次数Max，将最终训练得到的参数作为扭曲文档矫正模型的参数。
2.如权利要求1所述的一种通信数据智能录入校对方法，其特征在于，所述S3步骤中利用扭曲文档检测模型对纸质通信数据进行扭曲检测，包括：
信件发送方分别向信件接收方提供纸质通信数据以及填写电子注册材料，信件接收方将纸质通信数据扫描为图像数据；
信件接收方利用扭曲文档检测模型对纸质通信数据进行扭曲检测，所述扭曲检测流程为：
1)依据图像分割阈值
Figure FDA0004067245450000031
对纸质通信数据进行二值化处理，将像素灰度值大于等于
Figure FDA0004067245450000032
的像素的灰度值调整为255，将其余像素的灰度值调整为0；
2)利用像素框对二值化处理后纸质通信数据的黑色像素区域进行遍历，并对黑色像素区域进行像素框标记，比较任意一行的黑色像素区域高度是否相同，并比较任意一列的黑色像素区域宽度是否相同，若两者均相同，则认为当前提供的纸质通信数据不存在扭曲，否则认为当前提供的纸质通信区域存在扭曲，并将检测到扭曲的纸质通信数据作为扭曲数据。
3.如权利要求2所述的一种通信数据智能录入校对方法，其特征在于，所述S4步骤中利用扭曲文档矫正模型对检测到扭曲的纸质通信数据进行矫正，包括：
将检测到扭曲的纸质通信数据作为扭曲数据，并将扭曲数据作为扭曲文档矫正模型的输入，且扭曲文档矫正模型输出矫正后的纸质通信数据。
4.如权利要求1所述的一种通信数据智能录入校对方法，其特征在于，所述S5步骤中构建文字识别模型，包括：
所构建的文字识别模型的输入为进行扭曲检测后的纸质通信数据，所述扭曲检测后的纸质通信数据具有像素框标记，像素框标记的区域即为文字区域；
所述文字识别模型的结构包括输入层、卷积层、输出层，输入层的输入值为扭曲检测后的纸质通信数据，输入层对纸质通信数据进行尺寸统一处理，即将输入的纸质通信数据尺寸统一处理为100×100像素，并将尺寸统一后的纸质通信数据输入到卷积层；
卷积层对接收到的纸质通信数据进行卷积处理、池化处理以及批归一化处理，所述卷积层的层数为5层，则第k层卷积层的输出结果为：
yk＝Hk(yk-1)+yk-1
其中：
yk-1表示第k-1层卷积层的输出，第k层卷积层的输入，y0表示尺寸统一后的纸质通信数据；
Hk(·)表示第k层卷积层中卷积处理、池化处理以及批归一化处理的累加；
将最后一层卷积层的输出结果y5作为输出层的输入，输出层利用softmax函数对y5进行文字识别softmax(y5)，输出识别得到的文字，将识别结果作为电子文本材料。
5.如权利要求4所述的一种通信数据智能录入校对方法，其特征在于，所述S5步骤中利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，并将文字识别结果与对应的电子注册材料进行信息校对，包括：
利用文字识别模型对矫正后的扭曲数据以及未检测到扭曲的纸质通信数据进行文字识别，将识别结果作为电子文本材料，并将电子文本材料与对应的电子注册材料进行信息校对，若信息校对失败则向信件接收方发出警告信息。
CN202210508448.9A 2022-05-11 2022-05-11 一种通信数据智能录入校对方法 Active CN114937271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210508448.9A CN114937271B (zh) 2022-05-11 2022-05-11 一种通信数据智能录入校对方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210508448.9A CN114937271B (zh) 2022-05-11 2022-05-11 一种通信数据智能录入校对方法

Publications (2)

Publication Number Publication Date
CN114937271A CN114937271A (zh) 2022-08-23
CN114937271B true CN114937271B (zh) 2023-04-18

Family

ID=82864018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210508448.9A Active CN114937271B (zh) 2022-05-11 2022-05-11 一种通信数据智能录入校对方法

Country Status (1)

Country Link
CN (1) CN114937271B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016183380A1 (en) * 2015-05-12 2016-11-17 Mine One Gmbh Facial signature methods, systems and software
CN113435436A (zh) * 2021-06-03 2021-09-24 北京理工大学 一种基于线性约束矫正网络的场景文字识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260586B (zh) * 2020-01-20 2023-07-04 北京百度网讯科技有限公司 扭曲文档图像的矫正方法和装置
CN113034406B (zh) * 2021-04-27 2024-05-14 中国平安人寿保险股份有限公司 扭曲文档恢复方法、装置、设备及介质
CN113792730B (zh) * 2021-08-17 2022-09-27 北京百度网讯科技有限公司 文档图像的矫正方法、装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016183380A1 (en) * 2015-05-12 2016-11-17 Mine One Gmbh Facial signature methods, systems and software
CN113435436A (zh) * 2021-06-03 2021-09-24 北京理工大学 一种基于线性约束矫正网络的场景文字识别方法

Also Published As

Publication number Publication date
CN114937271A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN108108746B (zh) 基于Caffe深度学习框架的车牌字符识别方法
US8644616B2 (en) Character recognition
CN109086714A (zh) 表格识别方法、识别系统及计算机装置
EP2383678A1 (en) Handwritten character recognition method and system
CN114627102B (zh) 一种图像异常检测方法、装置、系统及可读存储介质
CN110647795A (zh) 一种表格识别方法
CN111291696A (zh) 一种基于卷积神经网络的手写东巴文识别方法
CN103295021A (zh) 一种静态图片中车辆特征检测及识别的方法及系统
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN111340041B (zh) 一种基于深度学习的车牌识别方法及装置
CN109784341A (zh) 一种基于lstm神经网络的医疗单据识别方法
CN111553423A (zh) 基于深度卷积神经网络图像处理技术的手写体识别方法
CN111160142B (zh) 一种基于数值预测回归模型的证件票据定位检测方法
CN111126169B (zh) 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN115713772A (zh) 变电站面板文字识别方法、系统、设备及存储介质
CN116563862A (zh) 一种基于卷积神经网络的数字识别方法
CN114937271B (zh) 一种通信数据智能录入校对方法
CN115100068A (zh) 一种红外图像校正方法
US7586627B2 (en) Method and system for optimizing print-scan simulations
JP2002251592A (ja) パターン認識辞書学習方法
CN111582354B (zh) 图片识别方法、装置、设备及存储介质
CN110766001B (zh) 基于cnn和rnn的银行卡卡号定位与端到端识别方法
EP0632404A1 (en) Pattern recognition by generating and using zonal features and anti-features
CN112950655A (zh) 基于深度学习的土地利用信息自动提取方法
CN112836779B (zh) 一种一维码格式的打印装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant