CN114187186A - 一种纸质化验单图像预处理方法及系统 - Google Patents

一种纸质化验单图像预处理方法及系统 Download PDF

Info

Publication number
CN114187186A
CN114187186A CN202111248315.4A CN202111248315A CN114187186A CN 114187186 A CN114187186 A CN 114187186A CN 202111248315 A CN202111248315 A CN 202111248315A CN 114187186 A CN114187186 A CN 114187186A
Authority
CN
China
Prior art keywords
shadow
image
network
crease
free
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111248315.4A
Other languages
English (en)
Other versions
CN114187186B (zh
Inventor
郝怀博
李登旺
黄浦
吴冰
左玉伟
陈萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202111248315.4A priority Critical patent/CN114187186B/zh
Publication of CN114187186A publication Critical patent/CN114187186A/zh
Application granted granted Critical
Publication of CN114187186B publication Critical patent/CN114187186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种纸质化验单图像预处理方法及系统，包括：构建包括背景估计子网络、阴影去除子网络和折痕去除子网络的化验单图像预处理模型；对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。提高图像视觉质量和可读性，并确保对具有不同特征的化验单图像具有较好的效果以及鲁棒性。

Description

一种纸质化验单图像预处理方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种纸质化验单图像预处理方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
目前，纸质化验单依然是医院检查报告的主要载体，但是不易保存。随着手机的普及，人们更倾向于使用手机摄像头拍摄来保存纸质文档，但是这样做往往会存在问题。例如，文档的几何形状可能会由于拍照角度而发生失真，还有可能因为光源被遮挡而形成阴影，特别地，当纸质化验单本身已存在折痕时，其页面光照分布不均匀问题尤其突出。上述问题会导致化验单的视觉质量和可读性变差，降低后续OCR(Optical CharacterRecognition，光学字符识别)提取信息的准确率。
针对手机拍摄的化验单图像失真问题，传统上多使用人工启发式算法解决图像阴影和折痕等失真问题，但是这对拥有不同特征的图像不具有鲁棒性。文档图像通常具有恒定的背景颜色，基于这一观察提出一种估计局部图像块中背景和文本颜色的技术。随后，将这些局部背景颜色估计与全局参考相匹配以生成阴影图，并使用此阴影图校正原始图像生成最终无阴影图。如文献Bako S,Darabi S,Shechtman E,et al.Removing shadows fromimages of documents[C]//Asian Conference on Computer Vision.Springer,Cham,2016:173-183。
除此之外，还有方法是通过图像材料的二维边界来校正几何和光度(阴影)失真，使用边界插值可以计算校正映射以同时消除常见的几何变形。此外，可以使用相同的插值框架来估计本征照明图像，这个估计的照明图像与原始图像一起可用于去除阴影。如文献，Brown M S,Tsoi Y C.Geometric and shading correction for images of printedmaterials using boundary[J].IEEE Transactions on Image Processing,2006,15(6):1544-1554。
目前，基于深度学习还未提出有效的统一方法同时去除各种文档失真问题，大多数技术专注于提出某种失真问题的解决方案。如文献，Li X,Zhang B,Liao J,etal.Document rectification and illumination correction using a patch-based CNN[J].ACM Transactions on Graphics(TOG),2019,38(6):1-11。使用深度学习的方法分别提出两个卷积神经网络来解决文档图像几何和光照失真，但是光照矫正网络对图像阴影和折痕的处理效果不好。
发明内容
为了解决上述问题，本发明提出了一种纸质化验单图像预处理方法及系统，去除纸质化验单图像的阴影和折痕，通过背景估计子网络提取化验单全局背景色特征，同时还学习背景与非背景像素的空间分布特征，以此构建阴影注意力图；结合卷积神经网络和堆叠的条件生成对抗网络生成去除阴影和折痕的化验单图像，提高图像视觉质量和可读性，并确保对具有不同特征的化验单图像具有较好的效果以及鲁棒性。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种纸质化验单图像预处理方法，包括：
构建包括背景估计子网络、阴影去除子网络和折痕去除子网络折痕去除子网络的化验单图像预处理模型；
对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；
根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；
根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。
作为可选择的实施方式，所述背景估计子网络进行特征学习时，以有监督学习方式进行训练，以预测的全局背景色和原始图像间的损失为损失函数LBE；具体为：
Figure BDA0003321588160000031
其中，bi为真实图像下的全局背景色，ΨBE为背景估计子网络的映射，Si为第i个原始纸质化验单图像，N为图像总数目。
作为可选择的实施方式，对所述阴影去除子网络进行训练时的损失函数LSR为：
LSR＝λ1Lfata+λ2LGAN
其中，
Figure BDA0003321588160000032
Figure BDA0003321588160000041
其中，Si为第i个原始纸质化验单图像，Ri为第i个原始纸质化验单图像的真实无阴影图像，
Figure BDA0003321588160000042
为第i个原始纸质化验单图像的无阴影图像，D为图像数据集，λ1和λ2为权重。
作为可选择的实施方式，对所述折痕去除子网络进行训练时的损失函数LCR为：
LCR＝λ1Ldata+λ2LGAN+λ3LVGG
其中，
Figure BDA0003321588160000043
Figure BDA0003321588160000044
Figure BDA0003321588160000045
其中，Ti为第i个原始纸质化验单图像的无阴影无折痕图像，Ri为第i个原始纸质化验单图像的真实无阴影图像，
Figure BDA0003321588160000046
为第i个原始纸质化验单图像的无阴影图像，D为图像数据集，λ1、λ2和λ3为权重。
作为可选择的实施方式，所述背景估计子网络采用注意力机制，以根据注意力的不同生成阴影注意力图和折痕注意力图。
作为可选择的实施方式，根据Grad-CAM方法对全局背景色以及背景和非背景像素的空间分布特征进行编码后得到阴影注意力图。
作为可选择的实施方式，所述阴影去除子网络和折痕去除子网络均采用条件生成对抗网络，所述阴影去除子网络以原始纸质化验单图像、全局背景色和阴影注意力图为输入数据，以无阴影图像为真实图像进行训练；所述折痕去除子网络无阴影图像和折痕注意力图为输入数据，以无阴影无折痕图像为真实图像进行训练。
第二方面，本发明提供一种纸质化验单图像预处理系统，包括：
模型构建模块，被配置为构建包括背景估计子网络、阴影去除子网络和折痕去除子网络的化验单图像预处理模型；
注意力模块，被配置为对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；
去阴影模块，被配置为根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；
去折痕模块，被配置为根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明提供一种基于条件生成对抗学习的纸质化验单图像预处理方法，主要针对纸质化验单图像进行去噪，包括去除阴影和折痕；通过背景估计子网络提取化验单全局背景色特征，同时还学习背景与非背景像素的空间分布特征，以此构建阴影注意力图；结合卷积神经网络和堆叠的条件生成对抗网络生成去除阴影和折痕的化验单图像，提高图像视觉质量和可读性，提高后续OCR操识别准确率，在多重阴影情况下依然具有较好的鲁棒性。
本发明去除化验单图像阴影和折痕的方法，通过使用浅层卷积神经网络作为背景估计模块提取化验单图像全局背景颜色特征，且采用注意力机制可以重点关注敏感区域，更易于模型训练收敛。
本发明去除化验单图像阴影和折痕的方法，利用类似U-Net网络作为条件生成对抗网络的生成器，结合浅层卷积神经网络和堆叠的条件生成对抗网络构建化验单图像预处理模型，条件生成对抗网络生成器使用类似U-Net结构并带有跳跃连接，在提取对象高层次特征时，同样也更好地提取图像的低层次特征；最后再利用包括像素级损失、生成对抗网络损失和VGG感知损失的多项损失策略促进训练收敛，从而提高生成图像的质量。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的纸质化验单图像预处理方法流程图；
图2为本发明实施例1提供的阴影去除子网络的生成器结构示意图；
图3为本发明实施例1提供的阴影去除子网络鉴别器结构示意图；
图4为本发明实施例1提供的折痕去除子网络结构示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
如图1所示，本实施例提供一种纸质化验单图像预处理方法，包括：
S1：构建包括背景估计子网络、阴影去除子网络和折痕去除子网络的化验单图像预处理模型；
S2：对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；
S3：根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；
S4：根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。
在本实施例中，还包括利用像素级损失、生成对抗网络损失和VGG感知损失的多项损失策略促进模型收敛，以得到最终处理后的无阴影无折痕化验单图像。
本实施例基于深度学习方法去除化验单图像的阴影区域和折痕，使用浅层卷积神经网络作为背景估计模块提取化验单图像全局背景颜色信息，利用U-Net作为条件生成对抗网络生成器的主干网络，结合浅层卷积神经网络和堆叠的条件生成对抗网络构建化验单图像预处理模型。
化验单图像预处理模型包括三个子网络，即：背景估计子网络(BackgroundEstimationNetwork,BE-Net)、阴影去除子网络(ShadowRemoval Network,SR-Net)、折痕去除子网络(Crease Removal Network,CR-Net)；
其中，所述背景估计子网络学习全局背景颜色特征，以及背景与非背景像素的空间分布特征，并利用Grad-Cam将之编码为阴影注意力图Attention map；对于纸质化验单图像，阴影和折痕是重点关注的局部对象，因此本实施例引入注意力机制，重点关注感兴趣的特征区域，且对于不同的输入图像生成注意力重点不同的注意力图。
所述阴影去除子网络和折痕去除子网络均为条件生成对抗神经网络，二者的生成器均采用了类似U-Net的网络结构并带有跳跃连接，在提取化验单图像高维特征时，同样更好地提取图像的低维特征(例如几何形状、背景颜色和光照信息)，同时将低维特征与高维特征结合后，更好地生成去除噪声的图像。
具体地，对于带有折痕和阴影的原始输入图像，经过背景估计子网络提取编码信息生成阴影注意力图；将原始图像、全局背景颜色特征和阴影注意力图经过阴影去除子网络后，得到无阴影图像；将无阴影图像再次经过背景估计子网络提取编码信息得到折痕注意力图；依次连接无阴影图和折痕注意力图用来训练折痕去除子网络，利用折痕去除子网络生成最终校正后的图像；此外，本实施例还利用包括像素级损失、生成对抗网络损失和VGG感知损失的多项损失策略促进训练收敛，从而提高生成图像的质量。
具体地，给定图像数据集D，
Figure BDA0003321588160000091
其中，S表示原始图像，R表示无阴影图像(Ground truth)，T表示无阴影无折痕图像(Ground truth)，b表示全局背景色(Ground truth)，N表示图像总数目。
采用
Figure BDA0003321588160000092
以有监督学习方式训练背景估计子网络BE-Net，采用训练后的BE-Net估计全局背景颜色
Figure BDA0003321588160000093
和阴影注意力图
Figure BDA0003321588160000094
即，
Figure BDA0003321588160000095
其中，ΨBE表示背景估计子网络的映射。
将原始图像S和
Figure BDA0003321588160000096
作为输入数据，无阴影图像R作为真实图像，采用
Figure BDA0003321588160000097
训练阴影去除子网络SR-Net，得到无阴影图像
Figure BDA0003321588160000098
即，
Figure BDA0003321588160000099
其中，ΨSR表示阴影去除子网络的映射。
根据无阴影图像
Figure BDA00033215881600000910
采用背景估计子网络BE-Net得到折痕注意力图
Figure BDA00033215881600000911
将无阴影图像
Figure BDA0003321588160000101
和
Figure BDA0003321588160000102
作为输入数据，无阴影无折痕图像T作为真实图像，采用
Figure BDA0003321588160000103
训练折痕去除子网络CR-Net，得到效果类似扫描的去噪化验单图像，即，
Figure BDA0003321588160000104
其中，ΨCR表示折痕去除子网络的映射。
具体地，所述背景估计子网络BE-Net包括四层卷积层、全局最大池化层和全连接层，如图1所示，其中，最后一层卷积层输出特征维度为128，经过全局最大池化层后可以唯一确定全连接层的输入维度也为128，由此带来的好处是输入图像的尺寸可以为任意大小。
背景估计子网络学习提取图像的全局背景颜色，同时，BE-Net的卷积层还学习背景与非背景的空间分布特征；然后利用Grad-CAM方法从最后一层卷积层提取梯度生成与输入图像尺寸一致的Attention Map；Attention Map中的每个数值反映对应像素点属于背景的概率大小。
需要注意的是，图1中化验单图像为待处理的图像，本实施例是对纸质化验单图像的折痕和阴影进去去噪，所以图1中所示出的化验单图像中的文字不清楚不影响对本实施例方案的理解。
背景估计子网络以有监督学习方式进行训练，损失函数为预测全局背景颜色和Ground truth的L1损失之和，即，
Figure BDA0003321588160000105
具体地，所述阴影去除子网络SR-Net是条件生成对抗网络，生成器采用类似U-Net网络结构并带有跳跃连接，如图2所示，提取图像低维几何信息，以及通过跳跃连接结合高维语义信息；其中，收缩路径(左侧)和扩展路径(右侧)各有3层使用相同的层次结构，以此减少参数量；鉴定器如图3所示，鉴别器复用了生成器收缩路径的基本组件，主要用来提取图像的特征，从而鉴别真假图像。
所述阴影去除子网络的损失函数为：
LSR＝λ1Ldata+λ2LGAN#(6)
其中，Ldata指预测的去除阴影图像
Figure BDA0003321588160000111
与ground truthRi的像素级L1损失；LGAN指去除阴影子网络的损失。
其中，
Figure BDA0003321588160000112
Figure BDA0003321588160000113
具体地，所述折痕去除子网络CR-Net是条件生成对抗网络，其结构和阴影去除子网络结构相同，不同点在于输入数据和损失函数；VGG19网络使用19层网络结构，具体结构如图4所示，去除全连接层和softmax，取第五次最大池化层输出作为VGG19网络输出，减少全连接层带来的巨大参数量问题。
所述折痕去除子网络的损失函数为：
LCR＝λ1Ldata+λ2LGAN+λ3LVGG#(9)
其中，
Figure BDA0003321588160000114
Figure BDA0003321588160000115
Figure BDA0003321588160000121
实施例2
本实施例提供一种纸质化验单图像预处理系统，包括：
模型构建模块，被配置为构建包括背景估计子网络、阴影去除子网络和折痕去除子网络的化验单图像预处理模型；
注意力模块，被配置为对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；
去阴影模块，被配置为根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；
去折痕模块，被配置为根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种纸质化验单图像预处理方法，其特征在于，包括：
构建包括背景估计子网络、阴影去除子网络和折痕去除子网络的化验单图像预处理模型：
对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；
根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；
根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。
2.如权利要求1所述的一种纸质化验单图像预处理方法，其特征在于，所述背景估计子网络进行特征学习时，以有监督学习方式进行训练，以预测的全局背景色和原始图像间的损失为损失函数LBE；具体为：
Figure FDA0003321588150000011
其中，bi为真实图像下的全局背景色，ΨBE为背景估计子网络的映射，Si为第i个原始纸质化验单图像，N为图像总数目。
3.如权利要求1所述的一种纸质化验单图像预处理方法，其特征在于，对所述阴影去除子网络进行训练时的损失函数LSR为：
LSR＝λ1Ldata+λ2LGAN
其中，
Figure FDA0003321588150000012
Figure FDA0003321588150000021
其中，Si为第i个原始纸质化验单图像，Ri为第i个原始纸质化验单图像的真实无阴影图像，
Figure FDA0003321588150000022
为第i个原始纸质化验单图像的无阴影图像，D为图像数据集，λ1和λ2为权重。
4.如权利要求1所述的一种纸质化验单图像预处理方法，其特征在于，对所述折痕去除子网络进行训练时的损失函数LCR为：
LCR＝λ1Ldata+λ2LGAN+λ3LVGG
其中，
Figure FDA0003321588150000023
Figure FDA0003321588150000024
Figure FDA0003321588150000025
其中，Ti为第i个原始纸质化验单图像的无阴影无折痕图像，Ri为第i个原始纸质化验单图像的真实无阴影图像，
Figure FDA0003321588150000026
为第i个原始纸质化验单图像的无阴影图像，D为图像数据集，λ1、λ2和λ3为权重。
5.如权利要求1所述的一种纸质化验单图像预处理方法，其特征在于，所述背景估计子网络采用注意力机制，以根据注意力的不同生成阴影注意力图和折痕注意力图。
6.如权利要求1所述的一种纸质化验单图像预处理方法，其特征在于，根据Grad-CAM方法对全局背景色以及背景和非背景像素的空间分布特征进行编码后得到阴影注意力图。
7.如权利要求1所述的一种纸质化验单图像预处理方法，其特征在于，所述阴影去除子网络和折痕去除子网络均采用条件生成对抗网络，所述阴影去除子网络以原始纸质化验单图像、全局背景色和阴影注意力图为输入数据，以无阴影图像为真实图像进行训练；所述折痕去除子网络无阴影图像和折痕注意力图为输入数据，以无阴影无折痕图像为真实图像进行训练。
8.一种纸质化验单图像预处理系统，其特征在于，包括：
模型构建模块，被配置为构建包括背景估计子网络、阴影去除子网络和折痕去除子网络的化验单图像预处理模型；
注意力模块，被配置为对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；
去阴影模块，被配置为根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；
去折痕模块，被配置为根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
CN202111248315.4A 2021-10-26 2021-10-26 一种纸质化验单图像预处理方法及系统 Active CN114187186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111248315.4A CN114187186B (zh) 2021-10-26 2021-10-26 一种纸质化验单图像预处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111248315.4A CN114187186B (zh) 2021-10-26 2021-10-26 一种纸质化验单图像预处理方法及系统

Publications (2)

Publication Number Publication Date
CN114187186A true CN114187186A (zh) 2022-03-15
CN114187186B CN114187186B (zh) 2024-06-04

Family

ID=80540436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111248315.4A Active CN114187186B (zh) 2021-10-26 2021-10-26 一种纸质化验单图像预处理方法及系统

Country Status (1)

Country Link
CN (1) CN114187186B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292408A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于注意力机制的阴影生成方法
CN111626951A (zh) * 2020-05-20 2020-09-04 武汉科技大学 一种基于内容感知信息的图像阴影消除方法
CN112419196A (zh) * 2020-11-26 2021-02-26 武汉大学 一种基于深度学习的无人机遥感影像阴影去除方法
CN113343799A (zh) * 2021-05-25 2021-09-03 山东师范大学 基于混合注意力残差网络实现白细胞自动分类方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292408A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于注意力机制的阴影生成方法
CN111626951A (zh) * 2020-05-20 2020-09-04 武汉科技大学 一种基于内容感知信息的图像阴影消除方法
CN112419196A (zh) * 2020-11-26 2021-02-26 武汉大学 一种基于深度学习的无人机遥感影像阴影去除方法
CN113343799A (zh) * 2021-05-25 2021-09-03 山东师范大学 基于混合注意力残差网络实现白细胞自动分类方法及系统

Also Published As

Publication number Publication date
CN114187186B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
Isikdogan et al. Seeing through the clouds with deepwatermap
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN112308092B (zh) 一种基于多尺度注意力机制的轻量型车牌检测与识别方法
CN112348783B (zh) 基于图像的人物识别方法、装置及计算机可读存储介质
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
CN110188747A (zh) 一种文本图像的倾斜校正方法、装置以及图像处理设备
CN112614136B (zh) 一种红外小目标实时实例分割方法及装置
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
CN109360179B (zh) 一种图像融合方法、装置及可读存储介质
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
CN109685772B (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
CN112949493A (zh) 一种结合语义分割和注意力机制的车道线检测方法及系统
CN113516126A (zh) 一种基于注意力特征融合的自适应阈值场景文本检测方法
CN107563290A (zh) 一种基于图像的行人检测方法及装置
CN113420759B (zh) 一种基于深度学习的抗遮挡与多尺度死鱼识别系统与方法
CN115937552B (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN114444565B (zh) 一种图像篡改检测方法、终端设备及存储介质
CN114926722A (zh) 基于YOLOv5的尺度自适应目标检测的方法及存储介质
CN116681636A (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN112785480A (zh) 基于频域变换和残差反馈模块的图像拼接篡改检测方法
CN115909378A (zh) 单据文本检测模型的训练方法及单据文本检测方法
CN111563462A (zh) 图像元素的检测方法及装置
CN111027637A (zh) 一种文字检测方法及计算机可读存储介质
CN117765363A (zh) 一种基于轻量型记忆库的图像异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant