CN112950458B - 基于对抗生成网络的图像印章去除方法、装置及相关设备 - Google Patents
基于对抗生成网络的图像印章去除方法、装置及相关设备 Download PDFInfo
- Publication number
- CN112950458B CN112950458B CN202110295212.7A CN202110295212A CN112950458B CN 112950458 B CN112950458 B CN 112950458B CN 202110295212 A CN202110295212 A CN 202110295212A CN 112950458 B CN112950458 B CN 112950458B
- Authority
- CN
- China
- Prior art keywords
- image
- seal
- countermeasure
- inputting
- stamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 127
- 238000013145 classification model Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 41
- 230000003115 biocidal effect Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 19
- 239000003242 anti bacterial agent Substances 0.000 claims description 18
- 229940088710 antibiotic agent Drugs 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了基于对抗生成网络的图像印章去除方法、装置及相关设备。该方法包括：获取不同图像类别的样本图像以及图像处理模型；利用分类模型对样本图像进行图像判别，得到有印章类别的样本图像和无印章类别的样本图像；根据图像类别对图像处理模型进行相应训练；通过预置的损失函数计算训练产生的损失值，根据损失值优化图像处理模型的模型参数，得到最优的图像处理模型；获取待去除印章的目标处理图像，输入至图像处理模型的第一对抗生成网络进行去印章处理，得到目标处理图像对应的无印章图像。该方法通过引导模型在转化生成过程中明确区分两类图像，生成正确的无印章图像，从而实现对有印章图像的印章消除效果。
Description
技术领域
本发明实施例涉及图像检测识别领域，尤其涉及一种基于对抗生成网络的图像印章去除方法、装置及相关设备。
背景技术
随着计算机视觉和人工智能技术的发展，人工智能已被广泛应用在人脸识别、车辆识别、物体检测等各个领域，基于人工智能的OCR文字识别技术也同样有着丰富的应用场景。票据、证件证明文件等图像的光学字符识别在业务办理、政务、财务方面的需求日益增强，由于人工处理随附单据、证件效率较低、相关信息可关联程度不够，亟需高效的自动识别与处理系统，以降低查验、业务办理成本。由于印章是这些票据和证件上必不可少的信息，并且印章会覆盖一些文字信息，严重影响了识别的准确率。
目前大多数研究者对于证件、票据印章的研究主要是印章识别与验证。针对证件、票据印章的消除问题，若通过印章定位，而后直接挖除印章则会丢失印章下的证件、票据内容；若采用过滤颜色的方式来消除，会导致证件、票据中于印章颜色相近的文字变得模糊不清，而且不同证件、票据的印章颜色不同。各种图像处理软件也可用在印章消除上，但需要基于软件进行手动处理，效率低，成本消耗较大。
发明内容
本发明实施例提供了一种基于对抗生成网络的图像印章去除方法、装置及相关设备，旨在解决现有技术中图像被印章覆盖的区域文字识别准确率低的问题。
第一方面，本发明实施例提供了一种基于对抗生成网络的图像印章去除方法，其包括：
获取不同图像类别的样本图像以及图像处理模型，其中，所述图像类别包括有印章类别和无印章类别，所述图像处理模型包括第一对抗生成网络、第二对抗生成网络以及分类模型；
利用所述分类模型对样本图像进行图像判别，得到有印章类别的样本图像和无印章类别的样本图像；
将有印章类别的样本图像作为第一原始图像先输入至所述第一对抗生成网络进行去印章处理，得到第一生成图像，并将所述第一生成图像输入所述分类模型进行图像判别；再将所述第一生成图像输入至所述第二对抗生成网络进行印章还原处理，得到第一还原图像，并将所述第一还原图像输入所述分类模型进行图像判别；
将无印章类别的样本图像作为第二原始图像先输入至所述第二对抗生成网络进行印章还原处理，得到第二生成图像，并将所述第二生成图像输入所述分类模型进行图像判别；再将所述第二生成图像输入至所述第一对抗生成网络进行去印章处理，得到第二还原图像，并将所述第二还原图像输入所述分类模型进行图像判别；
根据预置的损失函数计算所述第一原始图像和第一还原图像以及第二原始图像和第二还原图像的损失值，根据所述损失值优化所述图像处理模型的模型参数，得到最优的图像处理模型；
获取待去除印章的目标处理图像，输入至所述第一对抗生成网络进行去印章处理，得到所述目标处理图像对应的无印章图像。
第二方面，本发明实施例提供了一种基于对抗生成网络的图像印章去除装置，其包括：
获取模块，用于获取不同图像类别的样本图像以及图像处理模型，其中，所述图像类别包括有印章类别和无印章类别，所述图像处理模型包括第一对抗生成网络、第二对抗生成网络以及分类模型；
分类模块，用于利用预置的分类模型对所述样本图像进行分类，得到有印章类别的样本图像和无印章类别的样本图像；
训练模块，用于将有印章类别的样本图像作为第一原始图像先输入至所述第一对抗生成网络进行去印章处理，得到第一生成图像，并将所述第一生成图像输入所述分类模型进行图像判别；再将所述第一生成图像输入至所述第二对抗生成网络进行印章还原处理，得到第一还原图像，并将所述第一还原图像输入所述分类模型进行图像判别；和/或，将无印章类别的样本图像作为第二原始图像先输入至所述第二对抗生成网络进行印章还原处理，得到第二生成图像，并将所述第二生成图像输入所述分类模型进行图像判别；再将所述第二生成图像输入至所述第一对抗生成网络进行去印章处理，得到第二还原图像，并将所述第二还原图像输入所述分类模型进行图像判别；
损失计算模块，用于根据预置的损失函数计算所述第一原始图像和第一还原图像以及第二原始图像和第二还原图像的损失值，根据所述损失值优化所述图像处理模型的模型参数，得到最优的图像处理模型；
去印章模块，用于获取待去除印章的目标处理图像，将所述目标处理图像输入至所述第一对抗生成网络进行去印章处理，得到所述目标处理图像对应的无印章图像。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于对抗生成网络的图像印章去除方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于对抗生成网络的图像印章去除方法。
本发明实施例提供了一种基于对抗生成网络的图像印章去除方法、装置及相关设备。该方法包括获取不同图像类别的样本图像以及图像处理模型；利用预置的分类模型对所述样本图像进行分类，得到有印章类别的样本图像和无印章类别的样本图像；将有印章类别的样本图像作为第一原始图像先输入至所述第一对抗生成网络进行去印章处理，得到第一生成图像，并将所述第一生成图像输入所述分类模型进行图像判别；再将所述第一生成图像输入至所述第二对抗生成网络进行印章还原处理，得到第一还原图像，并将所述第一还原图像输入所述分类模型进行图像判别；将无印章类别的样本图像作为第二原始图像先输入至所述第二对抗生成网络进行印章还原处理，得到第二生成图像，并将所述第二生成图像输入所述分类模型进行图像判别；再将所述第二生成图像输入至所述第一对抗生成网络进行去印章处理，得到第二还原图像，并将所述第二还原图像输入所述分类模型进行图像判别；根据预置的损失函数计算所述第一原始图像和第一还原图像以及第二原始图像和第二还原图像的损失值，根据所述损失值优化所述图像处理模型的模型参数，得到最优的图像处理模型；获取待去除印章的目标处理图像，输入至所述第一对抗生成网络进行去印章处理，得到所述目标处理图像对应的无印章图像。该方法通过对有印章图像和无印章图像进行分类，使网络能够更好的学习到有印章图像和无印章图像的特征，引导模型在转化生成过程中明确区分两类图像，生成正确的无印章图像，从而实现对有印章图像的印章消除效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于对抗生成网络的图像印章去除方法的流程示意图；
图2为本发明实施例提供的基于对抗生成网络的图像印章去除方法中步骤S131的流程示意图；
图3为本发明实施例提供的基于对抗生成网络的图像印章去除方法中步骤S131的流程示意图；
图4为本发明实施例提供的基于对抗生成网络的图像印章去除装置的示意性框图；
图5为本发明实施例提供的基于对抗生成网络的图像印章去除方法中第一对抗生成网络和第二对抗生成网络的生成器网络结构；
图6为本发明实施例提供的基于对抗生成网络的图像印章去除方法中第一对抗生成网络和第二对抗生成网络的判别器网络结构；
图7为本发明实施例提供的基于对抗生成网络的图像印章去除方法中图像处理模型的网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1为本发明实施例提供的基于对抗生成网络的图像印章去除方法的流程示意图，该方法包括步骤S110～S150。
步骤S110、获取不同图像类别的样本图像以及图像处理模型，其中，所述图像类别包括有印章类别和无印章类别，所述图像处理模型包括第一对抗生成网络、第二对抗生成网络以及分类模型；
本实施例中，为训练提取印章区域的图像处理模型，获取不同图像类别的样本图像。样本图像的图像类别包括有印章类别和无印章类别。样本图像可以统一缩放为相同尺寸的图像，例如像素256×256大小的图像。图像处理模型包括第一对抗生成网络、第二对抗生成网络以及分类模型。其中，第一对抗生成网络、第二对抗生成网络均包括一个生成器网络和一个判别器网络。
进一步的，生成器网络采用Unet网络结构(如图5所示)。生成器网络包括三个下采样单元、三个残差模块以及三个上采样单元，每一个残差模块由两个卷积层构成。利用生成器网络提取输入图像的特征后生成新的图像。此外，判别器网络采用局部马尔可夫判别器(PatchGANs)，对特征图像块进行原始图像和生成图像的判别。通过PatchGANs输出的一个N×N的矩阵，这个N×N的矩阵的每一个元素，比如a(i,j)只有“原始图像”或“生成图像”两个选择(标签也是N×N的矩阵，每一个元素是“原始图像”或者“生成图像”)，这个结果是通过卷积层得到的，因为逐次叠加的卷积层最终输出的这个N×N的矩阵，其中的每一个元素，实际上代表着图像中的一个比较大的感受野，也就是说对应着图像中的一个图像块。判别器的网络结构为卷积下采样特征提取结构(如图6所示)。例如对256×256大小的图像进行下采样特征提取，得到16×16大小的特征图，遍历特征图中的元素对图像中的一个局部图像块进行“原始图像”或者“生成图像”判断，输出0-1矩阵。
进一步的，Unet网络结构主要分为三部分：下采样，上采样以及跳层连接。生成器网络的编码部分是下采样过程，用于进行特征提取。生成器网络的编码部分主要用于进行分辨率恢复，为了减少下采样过程带来的空间信息损失，引入跳层连接，将上采样和下采样中尺寸相同的卷积层拼接在一起，使上采样过程中可保留更多原始图像的纹理信息，保证特征提取结果的精细程度。此外，为了提高网络拟合能力，同时达到浅层学习效果，防止模型过拟合，引入残差学习。
步骤S120、利用所述分类模型对样本图像进行图像判别，得到有印章类别的样本图像和无印章类别的样本图像；
本实施例中，通过图像处理模型中的分类模型对样本图像进行分类，得到有印章类别的样本图像和无印章类别的样本图像。具体包括，将样本图像输入分类模型，通过分类模型中预设的不同尺寸卷积层提取特征图，再将特征图输入全连接层进行图像分类。
步骤S131、将有印章类别的样本图像作为第一原始图像先输入至所述第一对抗生成网络进行去印章处理，得到第一生成图像，并将所述第一生成图像输入所述分类模型进行图像判别；再将所述第一生成图像输入至所述第二对抗生成网络进行印章还原处理，得到第一还原图像，并将所述第一还原图像输入所述分类模型进行图像判别；
本实施例中，通过分类模型对样本图像进行分类，根据图像类别进行相应处理。其中，若样本图像为有印章类别的样本图像，则将有印章类别的样本图像输入图像处理模型，进行去印章处理及印章还原处理；若样本图像为无印章类别的样本图像，则将无印章类别的样本图像依次输入图像处理模型，进行印章还原处理和去印章处理，训练图像处理模型能够实现图像的无印章图像生成或有印章图像生成。具体的，若样本图像为有印章类别的样本图像，则将有印章类别的样本图像作为第一原始图像先输入第一对抗生成网络进行去印章处理，得到第一生成图像(无印章的图像)，并将第一生成图像输入分类模型进行图像判别；接着将第一生成图像输入至第二对抗生成网络进行印章还原处理，得到第一还原图像，并将第一还原图像输入分类模型进行图像判别。需要知道的是，第一对抗生成网络和第二对抗生成网络的输出图像均会输入分类模型进行图像判别，确定第一对抗生成网络和第二对抗生成网络所输出的图像是有无印章的图像还是无印章的图像。
在一实施例中，如图2所示，步骤S131包括：
步骤S1311、通过所述第一对抗生成网络的下采样单元对所述第一原始图像进行预设多个维度的下采样特征提取，得到所述第一原始图像在所述多个维度内的第一下采样特征；
步骤S1312、通过所述第一对抗生成网络的残差模块组合所述多个维度内的第一下采样特征得到第一中间特征，并通过所述第一对抗生成网络的上采样单元对所述第一中间特征进行上采样特征提取，得到第一上采样特征；
步骤S1313、根据所述第一上采样特征还原出与所述第一原始图像同一维度的图像，作为所述第一生成图像。
本实施例中，通过第一对抗生成网络的下采样单元对第一原始图像进行预设多个维度的下采样特征提取，得到第一原始图像在多个维度内的第一下采样特征；然后通过第一对抗生成网络的残差模块将多个维度内的第一下采样特征进行组合，得到第一中间特征，最后对第一中间特征进行上采样特征提取，得到第一上采样特征；根据第一上采样特征还原出与第一原始图像同一维度的图像，作为第一生成图像。其中，不同维度为不同像素尺寸。第一对抗生成网络的下采样单元、残差模块与上采样单元即为第一对抗生成网络中生成器网络的下采样单元、残差模块与上采样单元。此外，第二对抗生成网络的下采样单元、残差模块与上采样单元即为第二对抗生成网络中生成器网络的下采样单元、残差模块与上采样单元。
例如，如图5所示，将像素大小256×256的原始图像(有印章的图像)依次通过3个不同尺寸维度的下采样单元进行下采样特征提取，得到像素大小为16×16的第一中间特征；其中，3个下采样单元依次为128×128、64×64以及32×32尺寸的维度。通过第一对抗生成网络的残差模块将多个维度内的第一下采样特征进行组合，得到第一中间特征；接着依次通过3个不同维度的上采样单元对第一中间特征进行上采样特征提取，得到第一上采样特征；其中，3个上采样单元依次为32×32、64×64以及128×128尺寸的维度。最后根据上采样特征还原出与原始图像同样尺寸(即像素大小256×256)的第一生成图像(无印章的图像)。
在一实施例中，如图3所示，步骤S131包括：
步骤S1314、通过所述第二对抗生成网络的下采样单元对所述第一生成图像进行所述多个维度的下采样特征提取，得到所述第一生成图像在所述多个维度内的第二下采样特征；
步骤S1315、通过所述第二对抗生成网络的残差模块组合所述多个维度内的第二下采样特征得到第二中间特征，并通过所述第二对抗生成网络的上采样单元对所述第二中间特征进行上采样特征提取，得到第二上采样特征；
步骤S1316、根据所述第二上采样特征还原出与所述第一生成图像同一维度的图像，得到所述第一还原图像。
本实施例中，通过第二对抗生成网络的下采样单元对第一生成图像进行多个维度的下采样特征提取，得到第一生成图像在多个维度内的第二下采样特征；通过所述第二对抗生成网络的残差模块组合多个维度内的第二下采样特征得到第二中间特征，并对第二中间特征进行上采样特征提取，得到第二上采样特征；根据第二上采样特征还原出与第一生成图像同一维度的图像，得到第一还原图像。
例如，将像素大小256×256的第一生成图像(无印章的图像)依次通过3个不同尺寸维度的下采样单元进行下采样特征提取，得到像素大小为16×16的第二下采样特征；其中，3个下采样单元依次为128×128、64×64以及32×32尺寸的维度。通过第二对抗生成网络的残差模块组合多个维度内的第二下采样特征得到第二中间特征，依次通过3个不同维度的上采样单元对对第二中间特征进行上采样特征提取，得到第二上采样特征；其中，3个上采样单元依次为32×32、64×64以及128×128尺寸的维度。最后根据第二上采样特征还原出与第一生成图像同样尺寸(即像素大小256×256)的第一还原图像(有印章的图像)。
步骤S132、将无印章类别的样本图像作为第二原始图像先输入至所述第二对抗生成网络进行印章还原处理，得到第二生成图像，并将所述第二生成图像输入所述分类模型进行图像判别；再将所述第二生成图像输入至所述第一对抗生成网络进行去印章处理，得到第二还原图像，并将所述第二还原图像输入所述分类模型进行图像判别；
本实施例中，为了让第一对抗生成网络生成无印章类别的图像，需要进行反向训练。具体的，分类模型分类得到无印章类别的样本图像，将无印章类别的样本图像作为第二原始图像输入至第二对抗生成网络进行印章还原处理，得到第二生成图像(有印章的图像)，并将第二生成图像输入分类模型进行图像判别；然后将第二生成图像输入至第一对抗生成网络进行去印章处理，得到第二还原图像(无印章的图像)，并将第二还原图像输入分类模型进行图像判别。其中，无印章类别的样本图像的处理过程等同于有印章样本的图像的反向处理过程，此处不再赘述。
步骤S140、根据预置的损失函数计算所述第一原始图像和第一还原图像以及第二原始图像和第二还原图像的损失值，根据所述损失值优化所述图像处理模型的模型参数，得到最优的图像处理模型；
本实施例中，为了优化图像处理模型的模型参数，根据预设的损失函数计算第一原始图像相对于第一还原图像以及第二原始图像相对于第二还原图像的损失值，然后根据损失值优化图像处理模型的模型参数。具体的，损失函数具体如下：
式中，Loss(GAB,DB,x,y)为第一对抗生成网络的对抗损失，Loss(GBA,DA,y,x)为第二对抗生成网络的对抗损失，LossG为第一对抗生成网络和第二对抗生成网络的一致性损失，LossAB为分类模型损失，α和β为损失权重。
其中，由于L2损失驱动的生成图像较为模糊，故第一对抗生成网络和第二对抗生成网络的一致性损失LossG是采用L1损失，得到：
LossG＝∑{|xA-GBA(GAB(xA))+xB-GAB(GBA(xB))}，
式中，|xA-GBA(GAB(xA))表示第一原始图像相对于第一还原图像之间的损失，xB-GAB(GBA(xB))表示第二原始图像相对于第二还原图像之间的损失，xA表示第一原始图像，xB表示第二原始图像。
由于训练时生成器网络和判别器网络交替训练。因此，在训练分类模型时，分类模型DAB的损失函数为：
LossAB＝∑{(D(xA))2+(D(xB)-1)2}，
式中，D(xA)表示分类模型正确判定第一原始图像为有印章类别的样本图像的概率，D(xB)表示分类模型正确判定第二原始图像为无印章类别的样本图像的概率。
在训练生成器网络时，分类模型DAB的损失函数为：
LossAB＝∑{(D(G(xA)-1))2+(D(G(xB)))2}，
式中，D(G(xA)表示分类模型正确判定第一生成图像或第二还原图像为无印章类别的样本图像的概率，D(G(xB)表示分类模型正确判定第一还原图像或第一还原图像为有印章类别的样本图像的概率。
第一对抗生成网络的对抗损失Loss(GAB,DB,x,y)为：
Loss(GAB,DB,x,y)＝∑{(logDB(y))+(log(1-DB(GAB(x))))}，
第二对抗生成网络的对抗损失Loss(GBA,DA,y,x)为：
Loss(GBA,DA,y,x)＝∑{(logDA(x))+(log(1-DA(GBA(y))))}，
式中，x表示有印章类别的样本图像，y表示无印章类别的样本图像，DB(y)表示判别器将第二原始图像正确判定为无印章类别的样本图像的概率，DB(GAB(x))表示判别器将第一生成图像正确判定为无印章类别的样本图像的概率，DA(x)表示判别器将第一原始图像正确判定为有印章类别的样本图像的概率，DA(GBA(y))表示判别器将第二生成图像正确判定为有印章类别的样本图像的概率。
例如图7所示为图像处理模型的网络结构示意图，将印章图像(样本中有印章的图像)输入第一对抗生成网络(GAB)，第一对抗生成网络(GAB)中的生成器网络根据印章图像(有印章的图像)的图像特征生成去除印章图像(无印章的图像)，第一对抗生成网络(GAB)中的判别器(DB)判断第一对抗生成网络(GAB)的生成器网络生成的去除印章图像是否为真实的无印章的图像，并计算第一对抗生成网络的对抗损失Loss(GAB,DB,x,y)；然后将去除印章图像输入分类模型(DAB)中进行图像判别，确定去除印章图像是印章图像还是去除印章图像。将去除印章图像(无印章的图像)输入第二对抗生成网络(GBA)，第二对抗生成网络(GBA)中的生成器网络根据去除印章图像(无印章的图像)的图像特征进行印章还原处理，生成还原印章图像(有印章的图像)，第二对抗生成网络(GBA)中的判别器(DA)判断第二对抗生成网络(GBA)中的生成器网络生成的还原印章图像(有印章的图像)是否为真实印章图像(有印章的图像)，并计算第二对抗生成网络的对抗损失Loss(GBA,DA,y,x)；然后将去除印章图像输入分类模型(DAB)中进行图像判别，确定去除印章图像是印章图像还是去除印章图像。基于印章图像(有印章的图像)和还原印章图像(有印章的图像)计算第一对抗生成网络和第二对抗生成网络的一致性损失LossG，计算分类模型(DAB)分类印章图像(样本中有印章的图像)、还原印章图像(有印章的图像)、去除印章图像(无印章的图像)和无印章图像(样本中无印章的图像)的损失LossAB，集合第一对抗生成网络的对抗损失、第二对抗生成网络的对抗损失、第一对抗生成网络和第二对抗生成网络的一致性损失以及分类模型损失，得到图像处理模型的总损失。
步骤S150、获取待去除印章的目标处理图像，将所述目标处理图像输入至所述第一对抗生成网络进行去印章处理，得到所述目标处理图像对应的无印章图像。
本实施例中，获取待去除印章的目标处理图像，将目标处理图像输入至第一对抗生成网络进行去印章处理，得到目标处理图像的无印章图像。其中，由于是要进行去印章处理，因此目标处理图像只需通过图像处理模型的第一对抗生成网络即可，并且目标处理图像为有印章类别的图像。
该方法通过对有印章图像和无印章图像进行分类，使网络能够更好的学习到有印章图像和无印章图像的特征，引导模型在转化生成过程中明确区分两类图像，生成正确的无印章图像，从而实现对有印章图像的印章消除效果。
本发明实施例还提供一种基于对抗生成网络的图像印章去除装置，该基于对抗生成网络的图像印章去除装置用于执行前述图像印章去除方法的任一实施例。具体地，请参阅图4，图4是本发明实施例提供的基于对抗生成网络的图像印章去除装置的示意性框图。该基于对抗生成网络的图像印章去除装置100可以配置于服务器中。
如图4所示，图像印章去除装置100包括获取模块110、分类模块120、训练模块130、损失计算模块140、去印章模块150。
获取模块110，用于获取不同图像类别的样本图像以及图像处理模型，其中，所述图像类别包括有印章类别和无印章类别，所述图像处理模型包括第一对抗生成网络、第二对抗生成网络以及分类模型；
分类模块120，用于利用所述分类模型对样本图像进行图像判别，得到有印章类别的样本图像和无印章类别的样本图像；
训练模块130，用于将有印章类别的样本图像作为第一原始图像先输入至所述第一对抗生成网络进行去印章处理，得到第一生成图像，并将所述第一生成图像输入所述分类模型进行图像判别；再将所述第一生成图像输入至所述第二对抗生成网络进行印章还原处理，得到第一还原图像，并将所述第一还原图像输入所述分类模型进行图像判别；和/或，将无印章类别的样本图像作为第二原始图像先输入至所述第二对抗生成网络进行印章还原处理，得到第二生成图像，并将所述第二生成图像输入所述分类模型进行图像判别；再将所述第二生成图像输入至所述第一对抗生成网络进行去印章处理，得到第二还原图像，并将所述第二还原图像输入所述分类模型进行图像判别；
损失计算模块140，用于根据预置的损失函数计算所述第一原始图像和第一还原图像以及第二原始图像和第二还原图像的损失值，根据所述损失值优化所述图像处理模型的模型参数，得到最优的图像处理模型；
去印章模块150，用于获取待去除印章的目标处理图像，将所述目标处理图像输入至所述第一对抗生成网络进行去印章处理，得到所述目标处理图像对应的无印章图像。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的基于对抗生成网络的图像印章去除方法。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于对抗生成网络的图像印章去除方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于对抗生成网络的图像印章去除方法，其特征在于，包括：
获取不同图像类别的样本图像以及图像处理模型，其中，所述图像类别包括有印章类别和无印章类别，所述图像处理模型包括第一对抗生成网络、第二对抗生成网络以及分类模型；
利用所述分类模型对样本图像进行图像判别，得到有印章类别的样本图像和无印章类别的样本图像，所述图像判别还用于确定所述第一对抗生成网络和第二对抗生成网络输出的图像为有印章类别或无印章类别；
将有印章类别的样本图像作为第一原始图像先输入至所述第一对抗生成网络进行去印章处理，得到第一生成图像，并将所述第一生成图像输入所述分类模型进行图像判别；再将所述第一生成图像输入至所述第二对抗生成网络进行印章还原处理，得到第一还原图像，并将所述第一还原图像输入所述分类模型进行图像判别；
将无印章类别的样本图像作为第二原始图像先输入至所述第二对抗生成网络进行印章还原处理，得到第二生成图像，并将所述第二生成图像输入所述分类模型进行图像判别；再将所述第二生成图像输入至所述第一对抗生成网络进行去印章处理，得到第二还原图像，并将所述第二还原图像输入所述分类模型进行图像判别；
根据预置的损失函数计算所述第一原始图像和第一还原图像以及第二原始图像和第二还原图像的损失值，根据所述损失值优化所述图像处理模型的模型参数，得到最优的图像处理模型；
获取待去除印章的目标处理图像，将所述目标处理图像输入至所述第一对抗生成网络进行去印章处理，得到所述目标处理图像对应的无印章图像。
2.根据权利要求1所述的图像印章去除方法，其特征在于，所述第一对抗生成网络及第二对抗生成网络均包括生成器网络和判别器网络，所述生成器网络采用Unet网络结构。
3.根据权利要求2所述的图像印章去除方法，其特征在于，所述生成器网络包括三个下采样单元、三个残差模块以及三个上采样单元，每一所述残差模块由两个卷积层构成。
4.根据权利要求1所述的图像印章去除方法，其特征在于，所述将有印章类别的样本图像作为第一原始图像先输入至所述第一对抗生成网络进行去印章处理，得到第一生成图像，包括：
通过所述第一对抗生成网络的下采样单元对所述第一原始图像进行预设多个维度的下采样特征提取，得到所述第一原始图像在所述多个维度内的第一下采样特征；
通过所述第一对抗生成网络的残差模块组合所述多个维度内的第一下采样特征得到第一中间特征，并通过所述第一对抗生成网络的上采样单元对所述第一中间特征进行上采样特征提取，得到第一上采样特征；
根据所述第一上采样特征还原出与所述第一原始图像同一维度的图像，作为所述第一生成图像。
5.根据权利要求1所述的图像印章去除方法，其特征在于，所述将所述第一生成图像输入至所述第二对抗生成网络进行印章还原处理，得到第一还原图像，包括：
通过所述第二对抗生成网络的下采样单元对所述第一生成图像进行多个维度的下采样特征提取，得到所述第一生成图像在所述多个维度内的第二下采样特征；
通过所述第二对抗生成网络的残差模块组合所述多个维度内的第二下采样特征得到第二中间特征，并通过所述第二对抗生成网络的上采样单元对所述第二中间特征进行上采样特征提取，得到第二上采样特征；
根据所述第二上采样特征还原出与所述第一生成图像同一维度的图像，得到所述第一还原图像。
6.根据权利要求1所述的图像印章去除方法，其特征在于，所述损失函数包括第一对抗生成网络和第二对抗生成网络的一致性损失、分类模型损失、第一对抗生成网络的对抗损失和第二对抗生成网络的对抗损失。
7.根据权利要求1所述的图像印章去除方法，其特征在于，所述损失函数如下：
Loss(GAB,GBA,DA,DB,DAB)＝Loss(GAB,DB,x,y)+Loss(GBA,DA,y,x)+αLossG+βLossAB
其中，Loss(GAB,DB,x,y)为第一对抗生成网络的对抗损失，Loss(GBA,DA,y,x)为第二对抗生成网络的对抗损失，LossG为第一对抗生成网络和第二对抗生成网络的一致性损失，LossAB为分类模型损失，α和β为损失权重。
8.一种基于对抗生成网络的图像印章去除装置，其特征在于，包括：
获取模块，用于获取不同图像类别的样本图像以及图像处理模型，其中，所述图像类别包括有印章类别和无印章类别，所述图像处理模型包括第一对抗生成网络、第二对抗生成网络以及分类模型；
分类模块，用于利用所述分类模型对样本图像进行图像判别，得到有印章类别的样本图像和无印章类别的样本图像，所述图像判别还用于确定所述第一对抗生成网络和第二对抗生成网络输出的图像的类别为有印章类别或无印章类别；
训练模块，用于将有印章类别的样本图像作为第一原始图像先输入至所述第一对抗生成网络进行去印章处理，得到第一生成图像，并将所述第一生成图像输入所述分类模型进行图像判别；再将所述第一生成图像输入至所述第二对抗生成网络进行印章还原处理，得到第一还原图像，并将所述第一还原图像输入所述分类模型进行图像判别；和/或，将无印章类别的样本图像作为第二原始图像先输入至所述第二对抗生成网络进行印章还原处理，得到第二生成图像，并将所述第二生成图像输入所述分类模型进行图像判别；再将所述第二生成图像输入至所述第一对抗生成网络进行去印章处理，得到第二还原图像，并将所述第二还原图像输入所述分类模型进行图像判别；
损失计算模块，用于根据预置的损失函数计算所述第一原始图像和第一还原图像以及第二原始图像和第二还原图像的损失值，根据所述损失值优化所述图像处理模型的模型参数，得到最优的图像处理模型；
去印章模块，用于获取待去除印章的目标处理图像，将所述目标处理图像输入至所述第一对抗生成网络进行去印章处理，得到所述目标处理图像对应的无印章图像。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于对抗生成网络的图像印章去除方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于对抗生成网络的图像印章去除方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295212.7A CN112950458B (zh) | 2021-03-19 | 2021-03-19 | 基于对抗生成网络的图像印章去除方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295212.7A CN112950458B (zh) | 2021-03-19 | 2021-03-19 | 基于对抗生成网络的图像印章去除方法、装置及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950458A CN112950458A (zh) | 2021-06-11 |
| CN112950458B true CN112950458B (zh) | 2022-06-21 |
Family
ID=76227909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110295212.7A Active CN112950458B (zh) | 2021-03-19 | 2021-03-19 | 基于对抗生成网络的图像印章去除方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950458B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554872B (zh) * | 2021-07-19 | 2022-09-20 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及系统 |
| CN114241244B (zh) * | 2021-12-21 | 2024-09-24 | 北京邮电大学 | 基于手绘图生成图像的生成对抗网络模型调度系统及方法 |
| CN117351032B (zh) * | 2023-10-23 | 2024-06-07 | 杭州核新软件技术有限公司 | 一种印章去除方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886974A (zh) * | 2019-01-28 | 2019-06-14 | 北京易道博识科技有限公司 | 一种印章去除方法 |
| CN112215276A (zh) * | 2020-09-30 | 2021-01-12 | 深圳壹账通智能科技有限公司 | 一种对抗网络的训练方法、装置、电子设备和存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993190B (zh) * | 2017-11-14 | 2020-05-19 | 中国科学院自动化研究所 | 图像水印去除装置 |
| CN110569864A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像生成方法和装置 |
| CN109359550B (zh) * | 2018-09-20 | 2021-06-22 | 大连民族大学 | 基于深度学习技术的满文文档印章提取与去除方法 |
| CN109345441A (zh) * | 2018-10-19 | 2019-02-15 | 上海唯识律简信息科技有限公司 | 一种基于生成对抗网络的图像去水印方法和系统 |
| CN110517186B (zh) * | 2019-07-30 | 2023-07-07 | 金蝶软件（中国）有限公司 | 消除发票印章的方法、装置、存储介质和计算机设备 |
| CN111105336A (zh) * | 2019-12-04 | 2020-05-05 | 山东浪潮人工智能研究院有限公司 | 一种基于对抗网络的图像去水印的方法 |
| CN111814716A (zh) * | 2020-07-17 | 2020-10-23 | 上海眼控科技股份有限公司 | 印章去除方法、计算机设备和可读存储介质 |
| CN112069973A (zh) * | 2020-09-01 | 2020-12-11 | Pfu上海计算机有限公司 | 印章处理方法、装置、设备及存储介质 |
| CN112330522B (zh) * | 2020-11-09 | 2024-06-04 | 深圳市威富视界有限公司 | 水印去除模型训练方法、装置、计算机设备和存储介质 |
-
2021
- 2021-03-19 CN CN202110295212.7A patent/CN112950458B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886974A (zh) * | 2019-01-28 | 2019-06-14 | 北京易道博识科技有限公司 | 一种印章去除方法 |
| CN112215276A (zh) * | 2020-09-30 | 2021-01-12 | 深圳壹账通智能科技有限公司 | 一种对抗网络的训练方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950458A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112950458B (zh) | 基于对抗生成网络的图像印章去除方法、装置及相关设备 | |
| Bunk et al. | Detection and localization of image forgeries using resampling features and deep learning | |
| Bayar et al. | Augmented convolutional feature maps for robust cnn-based camera model identification | |
| Bayar et al. | Design principles of convolutional neural networks for multimedia forensics | |
| Bayar et al. | On the robustness of constrained convolutional neural networks to jpeg post-compression for image resampling detection | |
| Tang et al. | Median filtering detection of small-size image based on CNN | |
| Chen et al. | Median filtering forensics based on convolutional neural networks | |
| Kang et al. | Robust median filtering forensics using an autoregressive model | |
| WO2018125580A1 (en) | Gland segmentation with deeply-supervised multi-level deconvolution networks | |
| TW202036463A (zh) | 活體檢測方法和裝置、設備和存儲介質 | |
| CN111325687B (zh) | 一种基于端对端深度网络的平滑滤波取证方法 | |
| CN110378254B (zh) | 车损图像修改痕迹的识别方法、系统、电子设备及存储介质 | |
| Khodabakhsh et al. | A generalizable deepfake detector based on neural conditional distribution modelling | |
| CN113920094B (zh) | 基于梯度残差u型卷积神经网络的图像篡改检测技术 | |
| Yu et al. | Robust median filtering forensics by CNN-based multiple residuals learning | |
| CN112215780B (zh) | 基于类特征修复融合的图像取证对抗性攻击防御方法 | |
| CN112257741A (zh) | 一种基于复数神经网络的生成性对抗虚假图片的检测方法 | |
| Huang et al. | Steganalysis of adaptive JPEG steganography based on resdet | |
| CN115116108A (zh) | 基于双流对比学习模型的人脸篡改视频检测方法及系统 | |
| Nowroozi et al. | Detecting high-quality GAN-generated face images using neural networks | |
| CN111476727A (zh) | 一种面向换脸视频检测的视频运动增强方法 | |
| CN111737688A (zh) | 基于用户画像的攻击防御系统 | |
| CN112070714A (zh) | 一种基于局部三元计数特征的翻拍图像检测方法 | |
| Kumar et al. | Detection of Copy-Move Forgery Using Euclidean Distance and Texture Features. | |
| Chen et al. | Identification of image global processing operator chain based on feature decoupling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 801, building 2, Shenzhen new generation industrial park, 136 Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong 518000 Patentee after: China Resources Digital Technology Co.,Ltd. Address before: Room 801, building 2, Shenzhen new generation industrial park, 136 Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong 518000 Patentee before: Runlian software system (Shenzhen) Co.,Ltd. |