CN117495711B - 图像标记去除方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了一种图像标记去除方法、装置、设备及存储介质，该方法包括：将待去除标记图像输入至预设图像标记去除模型，预设图像标记去除模型中设置有粗预测模块和去噪器；通过粗预测模块对待去除标记图像进行粗预测，获得粗糙去标记图像；基于粗糙去标记图像和去噪器生成目标模拟残差图；基于粗糙去标记图像和目标模拟残差图通过通道叠加生成目标无标记图像。本发明通过预设图像标记去除模型中的粗预测模块对待去除标记图像进行粗预测，获得粗预测去标记图像，并基于粗糙去标记图像和目标模拟残差图通过通道叠加生成目标无标记图像，解决了借助软件工具对文档进行去水印和印章的处理过程繁琐且效率低的问题。

Description

图像标记去除方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像标记去除方法、装置、设备及存储介质。

背景技术

电子文档中添加水印和印章可以用于验证身份和合法性、防伪等，其中，由于水印和印章一般以透明或半透明的形式与文档中的文本内容重叠在一起，因此会影响文档的观赏性和阅读性。

目前，用户可以借助软件工具将文档中的水印和印章去除，但该方式需要人工进行操作，且通常一次只能处理文档中的一张图像，从而导致对文档进行去水印和去印章的处理过程繁琐且效率低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种图像标记去除方法、装置、设备及存储介质，旨在解决现有技术中借助软件工具对文档进行去水印和印章的处理过程繁琐且效率低的技术问题。

为实现上述目的，本发明提供了一种图像标记去除方法，所述图像标记去除方法包括：

将待去除标记图像输入至预设图像标记去除模型，所述预设图像标记去除模型中设置有粗预测模块和去噪器；

通过所述粗预测模块对所述待去除标记图像进行粗预测，获得粗糙去标记图像；

基于所述粗糙去标记图像和所述去噪器生成目标模拟残差图；

基于所述粗糙去标记图像和所述目标模拟残差图，通过通道叠加生成目标无标记图像。

可选地，所述将待去除标记图像输入至预设图像标记去除模型，所述预设图像标记去除模型中设置有粗预测模块和去噪器的步骤之前，还包括：

从预设图像数据库中获取若干个无标记清晰图像；

通过预设图像编辑工具对所述无标记清晰图像进行标记添加处理，获得若干个带标记图像；

将所述带标记图像输入至初始图像标记去除模型生成预测的无标记图像；所述预测的无标记图像通过监督所述初始图像标记去除模型的预测效果，以对所述初始图像标记去除模型进行模型训练；

在训练完成时，获得预设图像标记去除模型。

可选地，所述将所述带标记图像输入至初始图像标记去除模型生成预测的无标记图像的步骤，包括：

将所述带标记图像输入至初始图像标记去除模型，所述初始图像标记去除模型中设置有粗预测模块和细节恢复模块，所述细节恢复模块中设置有去噪器；

通过所述粗预测模块生成所述带标记图像对应的粗预测图像；

基于所述粗预测图像和所述粗预测图像对应的目标无标记清晰图像，通过所述去噪器进行残差预测，获得残差信息；

基于所述残差信息生成预测的无标记图像。

可选地，所述基于所述粗预测图像和所述粗预测图像对应的目标无标记清晰图像，通过所述去噪器进行残差预测，获得残差信息的步骤，包括：

通过第一去噪器生成所述粗预测图像对应的模拟残差图；

通过所述细节恢复模块中的第二去噪器对所述粗预测图像和所述粗预测图像对应的目标无标记清晰图像进行残差预测，获得目标残差图；

基于所述模拟残差图和所述目标残差图获得残差信息。

可选地，所述基于所述残差信息生成预测的无标记图像的步骤，包括：

将所述模拟残差图和所述目标残差图输入至高低频滤波器；

通过所述高低频滤波器对所述模拟残差图和所述目标残差图进行滤波处理，获得滤波后的模拟残差图和滤波后的目标残差图；

基于所述滤波后的模拟残差图和所述滤波后的目标残差图生成预测的无标记图像。

可选地，所述基于所述滤波后的模拟残差图和所述滤波后的目标残差图生成预测的无标记图像的步骤，包括：

通过通道拼接方式对所述滤波后的模拟残差图和所述滤波后的目标残差图进行拼接，获得无标记图像。

可选地，所述在训练完成时，获得预设图像标记去除模型的步骤之前，还包括：

在训练过程中，实时确定所述粗预测模块对应的均方差损失函数，以及所述细节恢复模块对应的类扩散模型损失函数；

基于所述均方差损失函数和所述类扩散模型损失函数判断所述初始图像标记去除模型是否收敛；

若是，则所述预设图像标记去除模型训练完成，并返回至所述在训练完成时，获得预设图像标记去除模型的步骤。

此外，为实现上述目的，本发明还提出一种图像标记去除装置，所述装置包括：

图像输入模块，用于将待去除标记图像输入至预设图像标记去除模型，所述预设图像标记去除模型中设置有粗预测模块和去噪器；

粗预测模块，用于通过所述粗预测模块对所述待去除标记图像进行粗预测，获得粗糙去标记图像；

残差图生成模块，用于基于所述粗糙去标记图像和所述去噪器生成目标模拟残差图；

图像生成模块，用于基于所述粗糙去标记图像和所述目标模拟残差图，通过通道叠加生成目标无标记图像。

此外，为实现上述目的，本发明还提出一种图像标记去除设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像标记去除程序，所述图像标记去除程序配置为实现如上文所述的图像标记去除方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像标记去除程序，所述图像标记去除程序被处理器执行时实现如上文所述的图像标记去除方法的步骤。

在本发明中，公开了将待去除标记图像输入至预设图像标记去除模型，预设图像标记去除模型中设置有粗预测模块和去噪器；通过粗预测模块对待去除标记图像进行粗预测，获得粗糙去标记图像；基于粗糙去标记图像和去噪器生成目标模拟残差图；基于粗糙去标记图像和目标模拟残差图通过通道叠加生成目标无标记图像；相较于现有技术中用户借助软件工具去除文档中的水印和印章，处理过程繁琐且效率低，由于本发明通过预设图像标记去除模型中的粗预测模块对待去除标记图像进行粗预测，获得粗预测去标记图像，并基于粗糙去标记图像和去噪器生成的目标模拟残差图通过通道叠加生成目标无标记图像，从而解决了现有技术中借助软件工具对文档进行去水印和印章的处理过程繁琐且效率低的技术问题。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的图像标记去除设备的结构示意图；

图2为本发明图像标记去除方法第一实施例的流程示意图；

图3为本发明图像标记去除方法第一实施例基于生成式对抗学习的流程图；

图4为本发明图像标记去除方法第二实施例的流程示意图；

图5为本发明图像标记去除方法第三实施例的流程示意图；

图6为本发明图像标记去除方法第三实施例中预设图像标记去除模型去除印章水印的流程图；

图7为本发明图像标记去除装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像标记去除设备结构示意图。

如图1所示，该图像标记去除设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对图像标记去除设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像标记去除程序。

在图1所示的图像标记去除设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明图像标记去除设备中的处理器1001、存储器1005可以设置在图像标记去除设备中，所述图像标记去除设备通过处理器1001调用存储器1005中存储的图像标记去除程序，并执行本发明实施例提供的图像标记去除方法。

本发明实施例提供了一种图像标记去除方法，参照图2，图2为本发明图像标记去除方法第一实施例的流程示意图。

本实施例中，所述图像标记去除方法包括以下步骤：

步骤S10：将待去除标记图像输入至预设图像标记去除模型，所述预设图像标记去除模型中设置有粗预测模块和去噪器。

需要说明的是，本实施例的方法的执行主体可以为用于去除文档或图像中的水印和印章的图像标记去除设备，或者是其他能够实现相同或相似功能的、包含了该图像标记去除设备的图像标记去除系统。此处以图像标记去除系统（以下简称系统）对本实施例和下述各实施例提供的图像标记去除方法进行具体说明。

应当理解的是，上述待去除标记图像可以为任意存在标记的图像，其中，本实施例中的标记可以为水印或印章，即本实施例中的待去除标记图像可以为任意存在水印和/或印章的图像。

可以理解的是，上述预设图像标记去除模型可以为预先构建的用于去除图像中的水印和印章的模型。

实际应用中，本实施例中的预设图像标记去除模型中可以通过扩散模型（Diffusion Models）来处理文档中的图像去除印章和水印的任务，其中，扩散模型可以将噪声扩散到图像的所有像素上，并使用一个简单的过滤器来平滑像素值，从而逐步去除噪声，其易于训练和调节、生成图像更稳定且相对安全。

应当说明的是，对于图像去印章水印，目前，基于像素分割模型可以使用Unet作为特征提取主干，使用适应于二值化分割像素的损失函数作为学习目标，典型的模型有SLBR、AIDR以及MPRNet等；基于生成式对抗学习的模型主要遵循cGAN结构，即条件生成对抗网络，参照图3，图3为本发明图像标记去除方法第一实施例基于生成式对抗学习的流程图。典型的模型有CycleGAN、WGAN和DE-GAN等，在传统GAN采用全局判别器的基础上，引入了局部判别，它可以有效地避免局部失真的问题。具体地，生成的增强图像和清晰图像被输入到全局鉴别器，生成的增强图像块和清晰图像块被输入到局部鉴别器，两个鉴别器共同判断生成的图像是真还是假，如果将生成的图像识别为清晰图像，则直接输出生成的图像，否则将判别结果反馈给生成器，生成器继续生成图像以欺骗两个判别器，直到两个鉴别器无法分辨生成的图像和真实图像的真假，训练完成后，不再使用鉴别器。在本实施例中，为了提升文档图像的印章水印去除质量，可以融合像素分割和生成式扩散模型的方法，通过设计粗预测模块和细节恢复模块联合学习图像增强模块，使得可以高质量地生成消除印章和水印的文档图像。

在本实施例中，预设图像标记去除模型中设置有粗预测模块和细节恢复模块，其中，粗预测模块可以为对图像进行粗略预测，获得一个大致的文档去印章水印效果的模块；细节恢复模块可以为对粗预测模块的预测结果进行进一步预测，以获得更准确的残差信息的模块。实际应用中，可以将细节恢复模块获得的残差信息与粗预测模块获得的大致的文档去印章水印效果相结合，得到最终的无印章水印文档。本实施例通过两个模块组合来进行文档去印章水印，既兼顾了分割模型的高效推理特点，又能确保处理结果的高质量和准确性。

应当说明的是，本实施例中训练完成的预设图像标记去除模型中通常只保留粗预测模块和去噪器，当模型接收到系统输入的含有印章或水印的低质量文档页图像后，可以经过粗预测模块和去噪器两部分并行处理，生成粗预测的去水印或印章图像和其辅助残差后，再合成二者以得到高质量的无印章水印图像。

步骤S20：通过所述粗预测模块对所述待去除标记图像进行粗预测，获得粗糙去标记图像。

需要说明的是，上述粗糙去标记图像可以为通过粗预测模块对待去除标记图像进行粗略去印章水印后获得的图像。

在本实施例中，粗预测模块可以恢复文档中的低频信息，在像素级别大致还原有印章水印的文档图像至其清晰版本，即可以将含有印章水印的待去除标记图像大致还原至清晰版本，获得粗糙去标记图像。

应当说明的是，本实施例中粗预测模块可以采用全卷积UNet结构（即全卷积神经网络），其具有四个下采样层以逐步增加图像不同尺度的表示，带有印章和水印的图像输入到粗预测模块后，在原始图像的监督下，粗预测模块逐像素地生成模拟清晰图像的结果。其中，粗预测训练过程中可以通过均方误差来衡量预测结果与真实清晰图像之间的差异，如下式：

式中，表示均方误差，/>表示粗糙去标记图像，/>表示清晰图像，/>表示均方误差运算符。

通过实验对比，本发明可以将卷积网络压缩到能平衡推理性能和预测结果有效性的实用大小。

步骤S30：基于所述粗糙去标记图像和所述去噪器生成目标模拟残差图。

应当理解的是，上述目标模拟残差图可以为用于表征粗预测模型生成的粗糙去标记图像中需要增强的信息的图像。

在具体实现中，将带有印章水印的待去除标记图像输入至预设图像标记去除模型后，首先可以通过预设图像标记去除模型中的粗预测模块生成初步去除印章和水印的粗糙去标记图像，由于该粗糙去标记图像的质量偏低，不能作为最终的结果，此时可以随机向独立于粗预测模块的去噪器中注入高斯噪声，以合成粗预测模块生成的粗糙去标记图像中需要增强的信息，获得目标模拟残差图。其中，去噪器可以采用和粗预测模块中生成器一致的结构，直接生成最终预测图的模拟残差图。

步骤S40：基于所述粗糙去标记图像和所述目标模拟残差图，通过通道叠加生成目标无标记图像。

可以理解的是，上述目标无标记图像可以为无印章和水印的清晰图像，具体为通过预设图像标记去除模型去除待去除标记图像中的水印和印章后获得的清晰图像。

实际应用中，本实施例在获取粗糙去标记图像和目标模拟残差图后，可以通过通道叠加对粗糙去标记图像和目标模拟残差图进行合成，以使目标模拟残差图补充粗糙去标记图像中的缺失内容，得到去除水印和印章后的目标无标记图像。

本实施例公开了将待去除标记图像输入至预设图像标记去除模型，预设图像标记去除模型中设置有粗预测模块和去噪器；通过粗预测模块对待去除标记图像进行粗预测，获得粗糙去标记图像；基于粗糙去标记图像和去噪器生成目标模拟残差图；基于粗糙去标记图像和目标模拟残差图通过通道叠加生成目标无标记图像；相较于现有技术中用户借助软件工具去除文档中的水印和印章，处理过程繁琐且效率低，由于本实施例通过预设图像标记去除模型中的粗预测模块对待去除标记图像进行粗预测，获得粗预测去标记图像，并基于粗糙去标记图像和去噪器生成的目标模拟残差图通过通道叠加生成目标无标记图像，从而解决了现有技术中借助软件工具对文档进行去水印和印章的处理过程繁琐且效率低的技术问题。

参考图4，图4为本发明图像标记去除方法第二实施例的流程示意图。

基于上述第一实施例，为了提高对图像进行去印章水印的效率和质量，本实施例中，所述步骤S10之前，所述方法还包括：

步骤S01：从预设图像数据库中获取若干个无标记清晰图像。

需要说明的是，上述预设图像数据库可以为存储有大量不含印章和水印的清晰图像的数据库。

可以理解的是，上述无标记清晰图像即不带有印章和水印的清晰的图像，其中，本实施例对获取的无标记清晰图像的数量不做限制。

具体地，系统可以从存储有大量不含水印和印章的清晰图像的数据库中随机获取十万张无标记清晰图像。

步骤S02：通过预设图像编辑工具对所述无标记清晰图像进行标记添加处理，获得若干个带标记图像。

应当理解的是，上述预设图像编辑工具可以为具有在图像中添加水印和印章的功能的工具，本实施例对具体的工具类别不做限制。

可以理解的是，上述带标记图像可以为在无标记清晰图像中添加了水印和印章后获得的图像。

在具体实现中，从预设图像数据库中获取十万张无标记清晰图像后，可以通过图像编辑工具在这些无标记清晰图像上添加各种样式的印章或水印，得到十万张带有印章和水印的图像，即上述带标记图像。

步骤S03：将所述带标记图像输入至初始图像标记去除模型生成预测的无标记图像；所述预测的无标记图像通过监督所述初始图像标记去除模型的预测效果，以对所述初始图像标记去除模型进行模型训练。

应当说明的是，上述初始图像标记去除模型可以为未经训练的原始的模型，其中，该模型主要由一个粗预测模块和一个细节恢复模块组成。

进一步地，所述将所述带标记图像输入至初始图像标记去除模型生成预测的无标记图像的步骤，包括：

步骤S031：将所述带标记图像输入至初始图像标记去除模型，所述初始图像标记去除模型中设置有粗预测模块和细节恢复模块，所述细节恢复模块中设置有去噪器。

在本实施例中，细节恢复模块可以采用扩散模型来预测清晰图像与粗预测模块生成的粗预测图像之间的残差，即高频信息，使得可以进一步改善文档的细节和纹理，从而提高最终的去除噪声效果，进而提高预测的去标记图像的质量。

步骤S032：通过所述粗预测模块生成所述带标记图像对应的粗预测图像。

应当理解的是，上述粗预测图像可以为粗预测模块生成的初步去除带标记图像中的印章和水印后获得的图像。

可以理解的是，上述目标无标记清晰图像即粗预测图像对应的无标记的清晰图像。相应的，上述无标记图像可以为图像标记去除模型预测的去除带标记图像中的印章和水印后的图像。

步骤S033：基于所述粗预测图像和所述粗预测图像对应的目标无标记清晰图像，通过所述去噪器进行残差预测，获得残差信息。

在本实施例中，上述残差信息可以为用于表征粗预测图像和其对应的目标无标记清晰图像之间的差异的信息。具体地，残差信息可以包括粗预测图像中需要增强的信息，以及粗预测图像和粗预测图像对应的目标无标记清晰图像之间的差值信息。

步骤S034：基于所述残差信息生成预测的无标记图像。

在具体实现中，系统通过图像编辑工具对十万张无标记的清晰图像添加水印和印章后，可以获得十万张带标记图像，此时可以将这些带水印和印章的图像输入至未经过训练的图像标记去除模型中，然后可以通过该图像标记去除模型中的粗预测模块在像素级别大致还原有印章水印的文档图像至其清晰版本，获得这些带标记图像对应的粗预测图像，此后，可以通过该图像标记去除模型中的去噪器对这些粗预测图像和其对应的无水印和印章的清晰图像进行残差预测，获得用于表征粗预测图像和粗预测图像对应的目标无标记清晰图像之间的差异的残差信息，最后可以利用残差信息补充粗预测图像中的内容，以获得去除了粗预测图像中的水印和印章的无标记图像。

步骤S04：在训练完成时，获得预设图像标记去除模型。

进一步地，所述步骤S04之前，所述方法还包括：在训练过程中，实时确定所述粗预测模块对应的均方差损失函数，以及所述细节恢复模块对应的类扩散模型损失函数；基于所述均方差损失函数和所述类扩散模型损失函数判断所述初始图像标记去除模型是否收敛；若是，则所述预设图像标记去除模型训练完成，并返回至所述在训练完成时，获得预设图像标记去除模型的步骤。

需要说明的是，上述均方差损失函数可以为用于表征粗预测模块的预测值和真实值之间的差值的函数；相应的，上述类扩散模型损失函数可以为用于表征细节恢复模块的预测值和真实值之间的差值的函数。

在本实施例中，可以用统一的目标函数训练两大模块达到模型收敛，将粗预测模块用的均方误差损失函数和细化模块用的类扩散模型损失函数按照应用在高频信息或低频信息上做加权求和得到总体损失，如下式所示：

式中，表示类扩散模型损失函数，/>表示总体损失，/>和/>分别表示训练过程中过滤低频信息和增强高频信息的损失函数，/>表示一组介于0和1之间的超参数，控制每个时间步T的高斯噪声的方差，/>等价于/>，/>，/>表示比重的常数，t时刻的时间编码为一个以时间为种子生成的随机矩阵，/>表示一个服从标准正态分布N(0，I)的随机方阵，I（大写字母I）表示单位矩阵，其大小等同于输入x的分辨率。

实际应用中，系统可以实时通过均方差损失函数和类扩散模型损失函数计算粗预测模块和细节恢复模块对应的损失，以根据计算获得的损失做加权求和得到总体损失，从而判断初始图像标记去除模型是否收敛，若该模型收敛，则表示模型训练完成，此时获得训练完成的预设图像标记去除模型。

本实施例通过预设图像编辑工具对无标记清晰图像进行标记添加处理，获得若干个带标记图像，并将带标记图像输入至初始图像标记去除模型生成预测的无标记图像，以对初始图像标记去除模型进行模型训练，获得预设图像标记去除模型，从而后续可以直接通过预设图像标记去除模型来去除带印章水印图像中的印章和水印，提高了对图像进行去印章水印的效率。同时，本实施例中可以通过初始图像标记去除模型中设置粗预测模块生成带标记图像对应的粗预测图像，并基于粗糙预测图像和粗糙预测图像对应的目标无标记清晰图像，通过去噪器进行残差预测，获得残差信息，再基于残差信息生成预测的无标记图像，从而提高了模型去印章水印的效果。

参考图5，图5为本发明图像标记去除方法第三实施例的流程示意图。

基于上述各实施例，本实施例中，所述步骤S033包括：

步骤S03a：通过第一去噪器生成所述粗预测图像对应的模拟残差图。

需要说明的是，上述第一去噪器可以为用于合成粗预测模块生成的粗预测图像中需要增强的信息的去噪器，其中，本实施例中第一去噪器独立于粗预测模块。相应的，上述模拟残差图可以为用于表征粗预测模块生成的粗预测图像中需要增强的信息的图像。

步骤S03b：通过所述细节恢复模块中的第二去噪器对所述粗预测图像和所述粗预测图像对应的目标无标记清晰图像进行残差预测，获得目标残差图。

应当理解的是，上述第二去噪器可以为细节恢复模块中设置的去噪器，其中，本实施例中第二去噪器可以预测粗预测图像和粗预测图像对应的无标记清晰图像之间的残差。

可以理解的是，上述目标残差图可以为用于表征粗预测图像和粗预测图像对应的无标记清晰图像之间的差值图像。

实际应用中，在文本像素生成的过程中，粗预测模块可能能够有效恢复文本的主要内容，但一般难以精确捕捉文本边缘的高频信息，这可能导致恢复出的文本边缘出现明显的模糊效果。因此，本实施例中可以设计细节恢复模块，为了充分利用低频信息，提高生成图像的质量，细节恢复模块的核心去噪器可以使用预测清晰图像的方式学习，使用扩散模型的训练方法预测上一步预测的低频信息与清晰图片之间的残差，同样使用Unet结构的特征生成器作为去噪器预测残差信息。

步骤S03c：基于所述模拟残差图和所述目标残差图获得残差信息。

在本实施例中，残差信息可以包括粗预测图像中需要增强的信息，以及粗预测图像和粗预测图像对应的目标无标记清晰图像之间的差值信息，即系统可以通过模拟残差图和目标残差图获得残差信息。

进一步地，所述步骤S034包括：将所述模拟残差图和所述目标残差图输入至高低频滤波器；通过所述高低频滤波器对所述模拟残差图和所述目标残差图进行滤波处理，获得滤波后的模拟残差图和滤波后的目标残差图；基于所述滤波后的模拟残差图和所述滤波后的目标残差图生成预测的无标记图像。

需要说明的是，上述高低频滤波器可以为对用于对高频信息和低频信息进行过滤的滤波器。

在本实施例中，为了强化文本边缘这类高频信息和弱化背景一类的低频信息，可以将模拟残差图和目标残差图经过高低频滤波器进行处理，获得滤波后的模拟残差图和滤波后的目标残差图。处理后由目标残差图监督模拟残差图，训练达到收敛，即辅助模拟残差图精准地补充粗预测的缺失内容，最终两图通道合并得到去除印章水印的无标记图像。

在本实施例中，去噪器采用加噪-扩散-去噪的训练模式训练得到，噪声服从零均值正态分布，扩散和去噪的最终结果则是和残差输入满足最小化距离的标准分布。其中，滤波器的目标函数如下式：

式中，和/>分别表示训练过程中过滤低频信息和增强高频信息的损失函数，和/>分别表示过滤低频信息和突出高频信息的标准拉普拉斯核函数，/>表示目标残差图，即/>，/>表示去噪器模型，它的输入/>分别是t时刻的随机噪声图，t时刻的时间编码和粗预测结果。

进一步地，所述基于所述滤波后的模拟残差图和所述滤波后的目标残差图生成预测的无标记图像的步骤，包括：通过通道拼接方式对所述滤波后的模拟残差图和所述滤波后的目标残差图进行拼接，获得无标记图像。

应当理解的是，上述通道拼接方式可以为将残差图在通道对齐拼接的方式。本实施例中在生成模拟残差图和目标残差图后，可以采用在通道维度上拼接的方法，具体可以先预测低分辨率图像（即粗预测图像），再预测高分辨率和低分辨率图像的残差，最后在通道对齐拼接起来获得无标记图像。

在具体实现中，参照图6，图6为本发明图像标记去除方法第三实施例中预设图像标记去除模型去除印章水印的流程图。如图6所示，首先可以将含有印章水印的带标记图像输入至预设图像标记去除模型，此时可以通过预设图像标记去除模型中的粗预测模块对其进行粗预测，在像素级别大致将带标记图像还原至其清晰版本，获得粗糙去标记图像。然后可以随机向独立于粗预测模块的去噪器中注入高斯噪声，以合成粗预测模块生成的粗糙去标记推向中需要增强的信息，获得模拟残差图。此后可以继续进行精细化预测，具体地，在训练过程中，可以逐像素做减法计算粗预测图像和清晰图像之间的差值图像，即目标残差图，然后可以将模拟残差图和目标残差图经高低滤波器进行处理，以强化文本边缘这类高频信息，并弱化背景这一类的低频信息，即辅助模拟残差图精准地补充粗预测的缺失内容，最终通过通道拼接方式合并得到无标记图像。

本实施例通过第一去噪器生成粗预测图像对应的模拟残差图，并通过细节恢复模块中的第二去噪器对粗预测图像和粗预测图像对应的目标无标记清晰图像进行残差预测，获得目标残差图，再基于模拟残差图和目标残差图获得残差信息，从而后续可以基于模拟残差图和目标残差图精准地补充粗预测模块生成的粗预测图像的缺失内容，提高图像去印章水印的质量。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像标记去除程序，所述图像标记去除程序被处理器执行时实现如上文所述的图像标记去除方法的步骤。

参照图7，图7为本发明图像标记去除装置第一实施例的结构框图。

如图7所示，本发明实施例提出的图像标记去除装置包括：

图像输入模块701，用于将待去除标记图像输入至预设图像标记去除模型，所述预设图像标记去除模型中设置有粗预测模块和去噪器；

粗预测模块702，用于通过所述粗预测模块对所述待去除标记图像进行粗预测，获得粗糙去标记图像；

残差图生成模块703，用于基于所述粗糙去标记图像和所述去噪器生成目标模拟残差图；

图像生成模块704，用于基于所述粗糙去标记图像和所述目标模拟残差图，通过通道叠加生成目标无标记图像。

本实施例的图像标记去除装置公开了将待去除标记图像输入至预设图像标记去除模型，预设图像标记去除模型中设置有粗预测模块和去噪器；通过粗预测模块对待去除标记图像进行粗预测，获得粗糙去标记图像；基于粗糙去标记图像和去噪器生成目标模拟残差图；基于粗糙去标记图像和目标模拟残差图通过通道叠加生成目标无标记图像；相较于现有技术中用户借助软件工具去除文档中的水印和印章，处理过程繁琐且效率低，由于本实施例通过预设图像标记去除模型中的粗预测模块对待去除标记图像进行粗预测，获得粗预测去标记图像，并基于粗糙去标记图像和去噪器生成的目标模拟残差图通过通道叠加生成目标无标记图像，从而解决了现有技术中借助软件工具对文档进行去水印和印章的处理过程繁琐且效率低的技术问题。

基于本发明上述图像标记去除装置第一实施例，提出本发明图像标记去除装置的第二实施例。

在本实施例中，所述图像标记去除装置还包括：模型构建模块，其中：

所述模型构建模块，用于从预设图像数据库中获取若干个无标记清晰图像；通过预设图像编辑工具对所述无标记清晰图像进行标记添加处理，获得若干个带标记图像；将所述带标记图像输入至初始图像标记去除模型生成预测的无标记图像；所述预测的无标记图像通过监督所述初始图像标记去除模型的预测效果，以对所述初始图像标记去除模型进行模型训练；在训练完成时，获得预设图像标记去除模型。

进一步地，所述模型构建模块，还用于将所述带标记图像输入至初始图像标记去除模型，所述初始图像标记去除模型中设置有粗预测模块和细节恢复模块，所述细节恢复模块中设置有去噪器；通过所述粗预测模块生成所述带标记图像对应的粗预测图像；基于所述粗预测图像和所述粗预测图像对应的目标无标记清晰图像，通过所述去噪器进行残差预测，获得残差信息；基于所述残差信息生成预测的无标记图像。

进一步地，所述模型构建模块，还用于在训练过程中，实时确定所述粗预测模块对应的均方差损失函数，以及所述细节恢复模块对应的类扩散模型损失函数；基于所述均方差损失函数和所述类扩散模型损失函数判断所述初始图像标记去除模型是否收敛；若是，则所述预设图像标记去除模型训练完成，并返回至所述在训练完成时，获得预设图像标记去除模型的步骤。

本实施例通过预设图像编辑工具对无标记清晰图像进行标记添加处理，获得若干个带标记图像，并将带标记图像输入至初始图像标记去除模型生成预测的无标记图像，以对初始图像标记去除模型进行模型训练，获得预设图像标记去除模型，从而后续可以直接通过预设图像标记去除模型来去除带印章水印图像中的印章和水印，提高了对图像进行去印章水印的效率。同时，本实施例中可以通过初始图像标记去除模型中设置粗预测模块生成带标记图像对应的粗预测图像，并基于粗糙预测图像和粗糙预测图像对应的目标无标记清晰图像，通过去噪器进行残差预测，获得残差信息，再基于残差信息生成预测的无标记图像，从而提高了模型去印章水印的效果。

基于上述各装置实施例，提出本发明图像标记去除装置的第三实施例。

在本实施例中，所述模型构建模块，还用于通过第一去噪器生成所述粗预测图像对应的模拟残差图；通过所述细节恢复模块中的第二去噪器对所述粗预测图像和所述粗预测图像对应的目标无标记清晰图像进行残差预测，获得目标残差图；基于所述模拟残差图和所述目标残差图获得残差信息。

进一步地，所述模型构建模块，还用于将所述模拟残差图和所述目标残差图输入至高低频滤波器；通过所述高低频滤波器对所述模拟残差图和所述目标残差图进行滤波处理，获得滤波后的模拟残差图和滤波后的目标残差图；基于所述滤波后的模拟残差图和所述滤波后的目标残差图生成预测的无标记图像。

进一步地，所述模型构建模块，还用于通过通道拼接方式对所述滤波后的模拟残差图和所述滤波后的目标残差图进行拼接，获得无标记图像。

本实施例通过第一去噪器生成粗预测图像对应的模拟残差图，并通过细节恢复模块中的第二去噪器对粗预测图像和粗预测图像对应的目标无标记清晰图像进行残差预测，获得目标残差图，再基于模拟残差图和目标残差图获得残差信息，从而后续可以基于模拟残差图和目标残差图精准地补充粗预测模块生成的粗预测图像的缺失内容，提高图像去印章水印的质量。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种图像标记去除方法，其特征在于，所述图像标记去除方法包括：

将待去除标记图像输入至预设图像标记去除模型，所述预设图像标记去除模型中设置有粗预测模块和去噪器；

通过所述粗预测模块对所述待去除标记图像进行粗预测，获得粗糙去标记图像；

基于所述粗糙去标记图像和所述去噪器生成目标模拟残差图；

基于所述粗糙去标记图像和所述目标模拟残差图，通过通道叠加生成目标无标记图像；

所述将待去除标记图像输入至预设图像标记去除模型，所述预设图像标记去除模型中设置有粗预测模块和去噪器的步骤之前，还包括：

从预设图像数据库中获取若干个无标记清晰图像；

通过预设图像编辑工具对所述无标记清晰图像进行标记添加处理，获得若干个带标记图像；

将所述带标记图像输入至初始图像标记去除模型，所述初始图像标记去除模型中设置有粗预测模块和细节恢复模块，所述细节恢复模块中设置有去噪器；

通过所述粗预测模块生成所述带标记图像对应的粗预测图像；

通过第一去噪器生成所述粗预测图像对应的模拟残差图；

通过所述细节恢复模块中的第二去噪器对所述粗预测图像和所述粗预测图像对应的目标无标记清晰图像进行残差预测，获得目标残差图；

基于所述模拟残差图和所述目标残差图获得残差信息；

基于所述残差信息生成预测的无标记图像；所述预测的无标记图像通过监督所述初始图像标记去除模型的预测效果，以对所述初始图像标记去除模型进行模型训练；

在训练完成时，获得预设图像标记去除模型。

2.如权利要求1所述的图像标记去除方法，其特征在于，所述基于所述残差信息生成预测的无标记图像的步骤，包括：

将所述模拟残差图和所述目标残差图输入至高低频滤波器；

通过所述高低频滤波器对所述模拟残差图和所述目标残差图进行滤波处理，获得滤波后的模拟残差图和滤波后的目标残差图；

基于所述滤波后的模拟残差图和所述滤波后的目标残差图生成预测的无标记图像。

3.如权利要求2所述的图像标记去除方法，其特征在于，所述基于所述滤波后的模拟残差图和所述滤波后的目标残差图生成预测的无标记图像的步骤，包括：

通过通道拼接方式对所述滤波后的模拟残差图和所述滤波后的目标残差图进行拼接，获得无标记图像。

4.如权利要求1所述的图像标记去除方法，其特征在于，所述在训练完成时，获得预设图像标记去除模型的步骤之前，还包括：

在训练过程中，实时确定所述粗预测模块对应的均方差损失函数，以及所述细节恢复模块对应的类扩散模型损失函数；

基于所述均方差损失函数和所述类扩散模型损失函数判断所述初始图像标记去除模型是否收敛；

若是，则所述预设图像标记去除模型训练完成，并返回至所述在训练完成时，获得预设图像标记去除模型的步骤。

5.一种图像标记去除装置，其特征在于，所述装置包括：

图像输入模块，用于将待去除标记图像输入至预设图像标记去除模型，所述预设图像标记去除模型中设置有粗预测模块和去噪器；

粗预测模块，用于通过所述粗预测模块对所述待去除标记图像进行粗预测，获得粗糙去标记图像；

残差图生成模块，用于基于所述粗糙去标记图像和所述去噪器生成目标模拟残差图；

图像生成模块，用于基于所述粗糙去标记图像和所述目标模拟残差图，通过通道叠加生成目标无标记图像；

所述装置还包括：模型构建模块，其中：

所述模型构建模块，用于从预设图像数据库中获取若干个无标记清晰图像；通过预设图像编辑工具对所述无标记清晰图像进行标记添加处理，获得若干个带标记图像；将所述带标记图像输入至初始图像标记去除模型，所述初始图像标记去除模型中设置有粗预测模块和细节恢复模块，所述细节恢复模块中设置有去噪器；通过所述粗预测模块生成所述带标记图像对应的粗预测图像；通过第一去噪器生成所述粗预测图像对应的模拟残差图；通过所述细节恢复模块中的第二去噪器对所述粗预测图像和所述粗预测图像对应的目标无标记清晰图像进行残差预测，获得目标残差图；基于所述模拟残差图和所述目标残差图获得残差信息；基于所述残差信息生成预测的无标记图像；所述预测的无标记图像通过监督所述初始图像标记去除模型的预测效果，以对所述初始图像标记去除模型进行模型训练；在训练完成时，获得预设图像标记去除模型。

6.一种图像标记去除设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像标记去除程序，所述图像标记去除程序配置为实现如权利要求1至4中任一项所述的图像标记去除方法的步骤。

7.一种存储介质，其特征在于，所述存储介质上存储有图像标记去除程序，所述图像标记去除程序被处理器执行时实现如权利要求1至4任一项所述的图像标记去除方法的步骤。