CN112419135A - 水印识别在线训练、制样、去除方法及装置、设备、介质 - Google Patents
水印识别在线训练、制样、去除方法及装置、设备、介质 Download PDFInfo
- Publication number
- CN112419135A CN112419135A CN202011308484.8A CN202011308484A CN112419135A CN 112419135 A CN112419135 A CN 112419135A CN 202011308484 A CN202011308484 A CN 202011308484A CN 112419135 A CN112419135 A CN 112419135A
- Authority
- CN
- China
- Prior art keywords
- image
- watermark
- background
- original
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000005070 sampling Methods 0.000 title claims description 23
- 238000003709 image segmentation Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 58
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 28
- 238000005520 cutting process Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 27
- 230000015572 biosynthetic process Effects 0.000 claims description 25
- 238000003786 synthesis reaction Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 230000008602 contraction Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 abstract description 3
- 239000002131 composite material Substances 0.000 description 19
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000005464 sample preparation method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0065—Extraction of an embedded watermark; Reliable detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本申请公开一种水印识别在线训练、制样、去除方法及装置、设备、介质,所述训练方法包括:从背景数据集中提取背景图,将其随机裁剪为预设规格;从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;将水印增强图与所述背景图进行合成,以获得相应的合成图;将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练,使该图像分割模型经此训练适于从待识别图片中去除所述水印原图。本申请能够自动在线合成含水印的训练样本即时用于图像分割模型的训练,使该模型具备识别和去除图片中的水印的能力。
Description
技术领域
本申请属于图像识别技术,具体涉及一种水印识别在线训练、制样、去除方法及其各自相应的装置、电子设备、非易失性存储介质。
背景技术
采用卷积神经网络来进行基于人工智能的图像识别的相关技术已经成熟。众所周知,人工智能的实现依赖于大数据及其算法,换言之,一个有效的神经网络,一方面依赖于其训练样本的多样式,另一方面也依赖于其网络原理和结构。
出于各种不同目的,各大互联网平台或者应用程序,会对用户上传的图片添加水印,这些水印有时候会导致不便,特别是图片所有人有时候需要复用原图时,受限于已添加的水印,只能作罢。因此,时下的一种图像识别需求是需要对各种被各大平台、应用程序添加了水印的图片进行水印的识别和清除操作,以便还原出原图,方便图片所有者的重复利用。
现有技术中存在从待识别图片中去除水印的技术,但由于其所依赖的神经网络的不同,以及其训练样本的差异,其识别效果并不理想。具体而言,在训练样本方面,现有技术所依赖的数据集多为采集所得或者多是基于简单处理而得因此其数据量是有限的,且其特征代表性本身较低效,导致训练效果不佳;在其所依赖的神经网络方面,多采用传统的神经网络,这些神经网络本身由于其设计使然,往往依赖于海量样本,对样本需求量特别高。可见,所采用的网络的类型及所采用的样本数两者互相依赖,导致现有的水印识别技术普遍效果不佳,实施成本较高。
发明内容
本申请的目的,旨在提供一种水印识别在线训练方法、一种水印识别在线制样方法、一种水印识别在线去除方法及其各自相应的装置、电子设备、非易失性存储介质。
为满足本申请的各个目的,本申请采用如下技术方案:
适应于本申请的目的之一而提供的一种水印识别在线训练方法,包括如下迭代执行的步骤:
从背景数据集中提取背景图,将其随机裁剪为预设规格;
从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
将水印增强图与所述背景图进行合成,以获得相应的合成图;
将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练,使该图像分割模型经此训练适于从待识别图片中去除所述水印原图。
较佳的实施例中,所述图像分割模型采用基于Residual U-block结构的U2-Net神经网络实现。
更具体的实施例中,所述图像分割模型实施样本训练包括如下步骤:
将所述合成图馈入所述图像分割模型的输入卷积层中进行局部特征提取,获得中间特征映射;
将所述中间特征映射经图像分割模型的收缩路径中的多个编码器逐步下采样提取多尺度特征;
以所述多尺度特征为馈入特征,经图像分割模型的扩展路径中的多个解码器逐步上采样,逐级还原为更高分辨率的特征图,其中,每个解码器以其对应的一个编码器所获得的特征图为参照用于实施所述的还原;
将解码器的所有输出和编码器最后阶段的输出进行融合,获得去除水印后的彩色图。
进一步优化的实施例中,所述图像分割模型实施样本训练包括如下步骤:
将所述背景图作为目标值,将所述去除水印后的彩色图作为预测值,采用由多个损失函数线性叠加而成的总损失函数监督样本训练过程,以使训练所得的预测值随迭代次数的增加而最大化趋近于目标值。
部分实施例中,将该水印原图进行图像变形处理以形成水印增强图的步骤中,按照如下任意一个或任意多个步骤实施所述的图像处理:
对水印原图进行灰度化,使其成为去除色彩的所述水印增强图;
对水印原图进行高斯噪声变换,使其成为画面失真的所述水印增强图;
对水印原图进行裁剪,使其成为画面残缺的所述水印增强图;
对水印原图进行畸变处理,使其成为比例失真的所述水印增强图。
部分实施例中,将所述水印增强图与所述背景图进行合成的步骤中,按照如下任意一个或任意多个步骤进行合成:
将所述水印增强图进行随机缩放后与所述背景图进行合成;
将所述水印增强图随机指定至所述背景图的任意位置进行合成;
以随机确定的包括透明度在内的融合参数将所
述水印增强图与背景图进行合成。
适应本申请的目的之一而提供的一种水印识别在线去除方法,包括如下步骤:
将待识别图片馈入如前所述的水印识别去除方法的任意一种实施例所训练形成的图像分割模型;
由所述图像分割模型从待识别图片中识别出水印并将其清除;
输出在待识别图片的无水印版本相对应的背景图片。
适应本申请的目的之一而提供的一种水印识别在线制样方法,包括如下步骤:
从背景数据集中提取背景图,将其随机裁剪为预设规格;
从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
将水印增强图与所述背景图进行合成,以获得适于用做水印识别的训练样本的合成图。
部分实施例中,将该水印原图进行图像变形处理以形成水印增强图的步骤中,按照如下任意一个或任意多个步骤实施所述的图像处理:
对水印原图进行灰度化,使其成为去除色彩的所述水印增强图;
对水印原图进行高斯噪声变换,使其成为画面失真的所述水印增强图;
对水印原图进行裁剪,使其成为画面残缺的所述水印增强图;
对水印原图进行畸变处理,使其成为比例失真的所述水印增强图。
部分实施例中,将所述水印增强图与所述背景图进行合成的步骤中,按照如下任意一个或任意多个步骤进行合成:
将所述水印增强图进行随机缩放后与所述背景图进行合成;
将所述水印增强图随机指定至所述背景图的任意位置进行合成;
以随机确定的包括透明度在内的融合参数将所述水印增强图与背景图进行合成。
部分实施例中,迭代执行本方法的相应步骤,使每张所述的背景图均与水印数据集中的每张水印原图实施合成,以相应生成多张所述的合成图。
部分实施例中,从水印数据集中提取水印原图,将该水印原图进行图像处理使其产生图像变化以形成水印增强图的步骤中,将每张水印原图进行多种方式的图像处理使其产生多张所述的水印增强图。
部分实施例中,将所述水印增强图与所述背景图进行合成,以获得相应的合成图的步骤中,将每张水印增强图按照多种随机合成效果分别与背景图进行合成以获得多张所述的合成图。
适应本申请的目的之一而提供的一种水印识别在线训练装置,其包括:
背景选取模块,用于从背景数据集中提取背景图,将其随机裁剪为预设规格;
水印选取模块,用于从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
图片合成模块,用于将水印增强图与所述背景图进行合成,以获得相应的合成图;
模型训练模块,用于将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练,使该图像分割模型经此训练适于从待识别图片中去除所述水印原图。
适应本申请的目的之一而提供的一种水印识别制样方法,其包括:
背景选取模块,用于从背景数据集中提取背景图,将其随机裁剪为预设规格;
水印选取模块,用于从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
图片合成模块,用于将水印增强图与所述背景图进行合成,以获得适于用做水印识别的训练样本的合成图。
适应于本申请的目的之一而提供的一种电子设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行所述的水印识别在线训练/制样/去除方法。
适应于本申请的目的之一而提供一种非易失性存储介质,其以计算机可读指令的形式存储用依据所述的水印识别在线训练/制样/去除方法所述实现的计算机程序,该计算机程序被计算机调用时,执行该方法所包括的步骤。
相对于现有技术,本申请具有如下优势:
首先,本申请通过预备背景图和水印图,将水印图进行图像变化处理实现数据增强,在此基础上,将其相应形成的水印增强图馈入图像分割模型中进行训练,可以智能化地生成大量的样本,以供图像分割模型训练之需,使得该图像分割模型习得识别和去除图片中的水印的能力,能够有效地从待识别图片中识别出各种水印。
其次,本申请采用适于捕获多尺度特征的图像分割模型,例如基于Residual U-block结构的U2-Net神经网络,这种模型对样本数量依赖性不高,且,能够捕获多尺度特征,是一种端到端的实现方法,这种端到端的方法由于避免了多阶段设计,可以有效地降低模型训练成本,自然形成一定的发现和修复未知水印的能力。
再者,本申请对水印进行的数据增强方式是直接对其图像进行变形处理,可以运用多种已知的图像变形手段,使水印以多种变化方式与背景图相结合,不仅可以以此产生多个训练样本,而且丰富了提供给图像分割模型的输入特征,从而可以提升图像分割模型的识别准确度;
此外,本申请以迭代的程序运行逻辑实现边制作训练样本边实施训练的效果,训练过程高效且具有长期适用性。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为适于部署本申请的一种网络架构的原理示意图;
图2为本申请的一种水印识别在线制样方法的典型实施例的流程示意图;
图3为图2所揭示的步骤S12所采用的具体步骤所构成的流程示意图;
图4为图2所揭示的步骤S13所采用的具体步骤所构成的流程示意图;
图5为本申请的一种水印识别在线训练方法的典型实施例的流程示意图;
图6为本申请的一种水印识别在线训练方法的典型实施例所采用的图像分割模型的神经网络结构的原理框图;
图7为图5所揭示的步骤S24所采用的具体步骤所构成的流程示意图;
图8为本申请的一种水印识别在线训练方法的另一实施例的流程示意图;
图9为本申请的一种水印识别在线去除方法的典型实施例的流程示意图;
图10为本申请的一种水印识别在线识别装置的原理框图;
图11为本申请的一种水印识别在线制样装置的原理框图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(PersonalCommunications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的电子设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
需要指出的是,本申请所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本申请的网络部署方式的实施方式。
请参阅图1,本申请相关技术方案实施时所需的硬件基础可按图中所示的架构进行部署。本申请所称的服务器80部署在云端,主要用于部署本申请的图像分割模型,其仅为逻辑概念上的服务器,代表着用于实现该图像分割模型或者用于实现图片在线合成的整个服务机群,通过这一逻辑上的服务器来为相关的终端设备例如图中所示的智能手机81和个人计算机82提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网,与云端的服务器80建立数据通信链路,以便启动在线图片合成作业、实施对该图像分割模型的训练、利用该图像分割模型进行水印去除操作等。
在理解上述所揭示的与本申请技术方案相关的相关应用环境和开发环境的基础上,请参阅如下说明继续了解本申请的多种实施方式。需要指出的是,本领域技术人员对此应当知晓:本申请的各种方法,虽然基于相同的概念而进行描述而使其彼此间呈现共通性,但是,除非特别说明,否则这些方法都是可以独立执行的。同理,对于本申请所揭示的各个实施例而言,均基于同一发明构思而提出,因此,对于相同表述的概念,以及尽管概念表述不同但仅是为了方便而适当变换的概念,应被等同理解。
请参阅图2,本申请的一种水印识别在线制样方法,用于制备本申请的图像分割模型所需的训练样本,适宜在云端部署实施,其包括如下迭代执行的步骤:
步骤S11、从背景数据集中提取背景图,将其随机裁剪为预设规格:
为了利用大数据实现深度学习目标,背景数据集中所包括的背景图需要有广泛的代表性,因此背景图的分布必须十分广告,尽量覆盖生活中的各种场景。为此,本申请推荐采用开源的Place365标准数据集,特别是其中的Challenge数据集。Place365-Challenge数据集为Place365-Standard数据集的扩充版,目前为止,包含了800万张额外的图像照片,训练集中总计共有800万张相片。Place365系列数据集是由MIT发布,帮助场景分类的数据集。该数据集应用范围广泛,数据庞大,对于场景分类型模型具有强大的帮助性。这一数据集分辨率为短边512像素、长边为大于512像素的任意值。本领域技术人员应当知晓,尽管本申请采用以上的推荐的数据集可以取得更佳的实施效果,但是,其他类型的可以取得同等以及更优实施效果的数据集,同理也应被目为实施本申请可采用的数据集。
假设该背景数据集被表达为{BGi|i=1……w},其中w表示背景数据集中的背景图总数,也即共计w张背景图。在实施训练的每次迭代过程中,针对每张背景图实施训练时,可以按照顺序或者随机选取背景图的方式进行背景图的提取。
较佳的,为了统一样本、提高训练效率、匹配图像分割模型,本实施例将本步骤提取出的背景图均裁剪为512*512分辨率大小。实施裁剪时,可采用随机定位的方式进行,也即按照512*512分辨率大小的窗格对背景图的随机位置进行定位,然后按照该窗格裁剪去掉窗格之外的图像内容,使该背景图仅余该窗格内部分内容。
步骤S12、从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图:
所述的水印数据集,实践中,可以根据业务需求预先进行采集,确定一批需要去除的目标水印图集,一般尽量采用无背景和无杂质干扰的水印原图,即纯净图,对于水印原图总数为m的水印数据集,记为集合:{Li|i=1……m}。
在训练迭代过程中,针对每一张背景图,需要选用水印原图与之进行合成,为了取得不同的合成效果,需通过本步骤对水印原图进行图像变形处理,先行获得其相应的水印增强图。
此处所称的图像变形处理,不同于图像在平面几何空间中的位置变换,是基于图像算法对水印原图进行的导致其有效图像内容发生形状改变的处理,其目的在于尽量模仿水印原图的各种畸变情况而在对水印原图实施数据增加处理的基础上,通过海量的此类水印增强图来最大程度概括水印图的各种变化形态和误差,以便后续通过图像分割模型实施训练来增强其泛化能力。
从水印数据集中提取水印原图时,既可以按照顺序提取的方式在一次迭代中选定一张水印原图,也可采用随机选取的方式在一次迭代过程中选定一张水印原图。
较佳的改进方案中,考虑到步骤S11中提取背景图与步骤S12中提取水印原图进行有序配合以便使得迭代更有效率,可以在提取背景图时按序提取,而在提取水印原图时则随机提取。或者,在提取背景图时随机提取,而在提取水印原图时则按序提取。
为了便水印原图取得图像变形效果,可以通过多种手段中的单独一种或者混合任意多种来实现所述的图像变形处理,具体而言,请参阅图3,本步骤可以具体执行如下的一种或任意多种具体步骤来实施:
步骤S121、对水印原图进行灰度化,使其成为去除色彩的所述水印增强图:作为其中的一种图像变形处理手段,目的在于去除水印原图的色彩,使其成为灰度图。
步骤S122、对水印原图进行高斯噪声变换,使其成为画面失真的所述水印增强图:高斯变换可以实现包括模糊、颗粒等在内的多种风格化效果,为水印原图添加噪声,造成画面失真效果。
步骤S123、对水印原图进行裁剪,使其成为画面残缺的所述水印增强图:考虑到部分场景的图片的水印会因为裁切而缺失部分信息,因此也可以此处对水印原图进行裁剪,去除其局部画面,例如仅保留其90%的画面内容,使其成为画面残缺的水印增强图。
步骤S124、对水印原图进行畸变处理,使其成为比例失真的所述水印增强图:具体可通过将水印原图进行一定比例范围内的长宽比调整,使其画面产生几何畸变,以便仿真各种画面拉伸效果,获得相应的水印增强图。
以上所列举的各个图像变形处理具体步骤,每一具体步骤用于产生一种画面变形效果,在实施时,可以仅随机选用其中一个具体步骤加以适用,也可选用任意多个甚至全部具体步骤进行适用,视对水印变形处理的复杂度需求而定。即使在此处仅随机选用一个具体步骤来适用,使水印原图随机获得一种画面变形效果,由于多次迭代形成的大数据中,根据随机概率会涵盖各种画面变形效果相关的特征,因此即使以随机选用一个具体步骤的方式来实施,理论上仍能有效表达各种画面变形效果的特征。对此,本领域技术人员可以根据实际需要实施之。
可见,将水印原图经过图像变形处理之后获得的水印增强图,丰富了水印原图的各种变形特征,兼容水印的各种画面变化,当其被用于训练之后,有助于提高神经网络的水印识别准确度。
步骤S13、将水印增强图与所述背景图进行合成,以获得适于用做水印识别的训练样本的合成图:
调用了所述的背景图并依据所述的水印原图获得其水印增强图后,便可利用融合算法将水印增强图与该背景图合成为一张合成图。本实施例推荐采用Alpha-blending融合算法来实施所述的合成。
Alpha-blending融合算法的公式可以表述为:Imerge=(1-a)Ibg+a*Lw。其中Ibg表示背景图片,Lw表示无背景的水印增强图,a表示透明度,Imerge表示合成图。
水印增强图可以不同的方式与背景图进行合成以生成多种不同的合成效果,实践中,可以基于不同的合成效果而采用不同的处理步骤来实现相应的合成效果,具体而言,请参阅图4,以下给出的各个具体步骤,可以随机选用其中之一,或者其中任意多个步骤适用之:
步骤S131、将所述水印增强图进行随机缩放后与所述背景图进行合成:这一方式主要是在几何平面上对水印增强图进行等比例放大或缩小,以便表达水印以各种不同大小与背景图的结合。为了涵盖各种可能性,在每次迭代中,当选用这一方式进行合成时,水印增强图的缩放比例可以随机确定。
步骤S132、将所述水印增强图随机指定至所述背景图的任意位置进行合成:这一方式主要是在几何平面上对水印增强图与背景图之间的结合位置进行表达,同理,可以随机地指定所述的结合位置。
步骤S133、以随机确定的包括透明度在内的融合参数将所述水印增强图与背景图进行合成:这一方式主要是通过调整合成时所采用的融合公式中的融合参数来实现的,例如前述Alpha-blending中的透明度参数a,同理,这一透明度参数也采用随机的方式进行确定,取值通常在1-100之间。
通过以上的各个具体步骤的任意之一或者任意多数个甚至全部适用而融合而成的合成图,使得每张合成图均会呈现一种取决于所述具体步骤的合成效果,这一合成效果是由随机选取的所述具体步骤决定的随机合成效果,具备这些随机合成效果的合成图便成为本申请中用于实施神经网络训练的样本。
一种适配在线训练的需要的方式中,经过本方法各步骤生成由背景数据集中第一张背景图和水印数据集中第一张水印原图构成的一张合成图之后即被馈入至本申请的图像分割模型中进行训练,完成训练后循环执行,而生成由背景数据集中第二张背景图和水印数据集中第二张水印原图构成的一张合成图,继续馈入至本申请的图像分割模型中进行训练,如此循环,直到背景数据集中的所有背景图被全量合成用于训练。为了增强训练效果,当完成这样的一个过程之后,还可进行二次迭代,以便借助前述提供的各种随机控制手段提供更多训练样本,丰富训练样本的多样性。
另一种用于一次性生成整个由所述合成图构成的训练样本库的实施方式中,可以视实际情况选用如下几种具体方式来达到丰富训练样本数量的目的:其一、控制本方法的各个相应步骤,使每张所述的背景图均与水印数据集中的每张水印原图实施合成,以相应生成多张所述的合成图。例如,可以通过多层循环嵌套执行步骤S11至S13,使每一步骤都全量调用其相应元素,如步骤S11中按照背景图总数进行多次循环;步骤S12中按照水印原图总数进行多次循环,甚至针对每张水印原图则按照其图像变形处理的多种不同处理方式分别适应以生成多个水印增强图;步骤S13同理可按所列举的多种手段分别合成一张水印增强图和一张背景图。诸如此类,均可实现相应的控制。
其二、控制步骤S12,确保将每张水印原图进行多种方式的图像处理使其产生多张所述的水印增强图。例如,步骤S12中按照水印原图总数进行多次循环,甚至针对每张水印原图则按照其图像变形处理的多种不同处理方式分别适应以生成多个水印增强图。
其三、控制步骤S13,将每张水印增强图按照多种随机合成效果分别与背景图进行合成以获得多张所述的合成图:步骤S13同理可按所列举的多种手段分别合成一张水印增强图和一张背景图。诸如此类,均可实现相应的控制。
经过以上方式构造而成的训练样本库,可用作多种神经网络训练之用,需要指出的是,本申请后续即将揭示的相关训练方法,并不依赖于这一训练样本库。
请参阅图5,本申请提出的一种水印识别在线训练方法,适于训练本申请的水印识别在线制样方法在线生成的样本,适宜在云端部署实施,包括如下迭代执行的步骤:
步骤S21、从背景数据集中提取背景图,将其随机裁剪为预设规格:与步骤S11同,详见步骤S11的描述。
步骤S22、从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图:与步骤S12同,详见步骤S12的描述。
步骤S23、将水印增强图与所述背景图进行合成,以获得相应的合成图:与步骤S13同,详见步骤S13的描述。
以上,步骤S21至步骤S23即为本申请的水印识别在线制样方法所实施的具体步骤,因此,相关描述内容具体请参阅前文,此处从略,不再赘述。
步骤S24、将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练,使该图像分割模型经此训练适于从待识别图片中去除所述水印原图:
本申请优选基于Residual U-block结构的U2-Net神经网络实现的图像分割模型用于实施训练,U2-Net通过呈U型结构的编码器和解码器来实现特征提取和图像还原,其可以捕获多尺度特征的特点,使其广受图像识别领域开发人员追捧,相关在先论文多见于网络。
请参阅图6,U2-Net网络结构具有一个由多个编码器RSU-En1至RSU-En4构成的收缩路径,以及一个由多个解码器RSU-De3至RSU-De1,构成的扩展路径,收缩路径主要通过各级编码器实施下采样来逐步提升特征提取的语义,扩展路径主要通过各级解码器实施上采样来逐步还原出越来越高分辨率的图片。在扩展路径逐级下采样的过程中会选择上下文信息,因此,为了补偿特征丢失,在图6所示的U型对称结构中,每个解码器级将其上一级的上采样特征映射与其同级的编码器的上采样特征映射的级联作为输入,用于补偿上下文信息,以便确保所还原的图像质量。最后一级解码器还原的图片再经过一个后处理步骤Post-Process,便可还原出更接近原图的色彩。
请结合图6和图7,所述图像分割模型实施样本训练包括如下步骤:
步骤S241、将所述合成图馈入所述图像分割模型的输入卷积层中进行局部特征提取,获得中间特征映射:
如前所述,经过步骤S21至S23所制备的训练样本,即所述的合成图,会被馈入所述的图像分割模型中进行处理,首先经过其中的输入卷积层进行局部特征提取,以便获得相应的中间特征映射。
步骤S242、将所述中间特征映射经图像分割模型的收缩路径中的多个编码器逐步下采样提取多尺度特征:
如图6所示,256*256*3(长*宽*高,其中的高可理解为叠加通道数)的中间特征映射,经过编码器RSU-En1下采样提取特征之后变成128*128*32的特征图片输出给编码器RSU-En2,同理,经过编码器RSU-En2之后,输出64*64*64的图片,再经过编码器RSU-En3即成为32*32*128的图片,最后经编码器RSU-En4做1*1变换之后获得的多尺寸特征被传入扩展路径。
步骤S243、以所述多尺度特征为馈入特征,经图像分割模型的扩展路径中的多个解码器逐步上采样,逐级还原为更高分辨率的特征图,其中,每个解码器以其对应的一个编码器所获得的特征图为参照用于实施所述的还原:
如图6所示,U型结构中除底部用于转换的编码器RSU-En4外,两侧的编码器与解码器呈对称结构,其中,每个解码器均获取两路输入,一路为其上一级的上采样特征映射,另一路为其对称级的编码器的上采样特征映射的级联,后者作为其同级编码器所获得的特征图同时也被用于作为上下文信息参照,与解码器上一级的上采样特征映射相结合,还原出更高分辨率的图片。由图6可见,32*32*128的特征图经过解码器RSU-De3之后,被还原为64*64*64的特征图,然后经解码器RSU-De2还原为128*128*32的特征图,再经解码器RSU-De1还原为256*256*3的特征图,与编码器输入时的特征图尺寸相同。
步骤S244、将解码器的所有输出和编码器最后阶段的输出进行融合,获得去除水印后的彩色图:
本步骤中,各个解码器RSU-De1、RSU-De2、RSU-De3的输出的所有特征图及编码器RSU-En4输出的特征图均被传输到一个融合模块Post-Process中进行显著性融合,其中根据该神经网络固有的原理运用sigmoid函数和正则化处理以保证得到的数值为0至1之间的合理值。经过融合之后的图片,便被还原为所述的彩色图。
请参阅图8所示,另一实施例中,为了监督图像分割模型的训练效果,所述图像分割模型实施样本训练还包括如下步骤:
步骤S245、将所述背景图作为目标值,将所述去除水印后的彩色图作为预测值,采用由多个损失函数线性叠加而成的总损失函数监督样本训练过程,以使训练所得的预测值随迭代次数的增加而最大化趋近于目标值:
由于本申请采用的机器学习原理为在线实施的有监督学习,因此,在步骤S21至步骤S23的制样过程中,背景图及其叠加了水印之后的合成图均需要参与整个学习过程。具体而言,所述的合成图用于图像分割模型的训练,其训练之后输出的彩色图可视为预测值(Ipred),而其对应的背景图(Igt)则可被作为目标值用于与预测值进行比较。通过所述图像分割模型进行机器学习的目标,便是在提供海量训练样本的基础上,通过采用适当的损失函数,利用观测值与目标值之间的关系来不断修正图像分割模型进行训练所需的相关参数,实现对参数的持续优化,使训练所得的预测值随迭代训练次数的增加而最大化趋于目标值。
为此,本申请主要设计了一个总损失函数用于实施对所述相关参数的校正,这一总损失函数由三个具体损失函数线性叠加而成,分别是基于像素级校正的点对点损失函数,基于特征的感知损失函数以及特征相关性的风格损失函数,以下揭示具体公式:
此处假设网络输出为Ipred,显然Ipred的大小为(3,H,W),H和W分别表示图像高和宽,3代表通道数。
(1)点对点的L1损失函数为:
其中C表示通道数,这里是3,H和W与输入图一致,本算法中均为512。点对点损失可以有效的衡量预测值和真实值之间的像素值差距,属于最底层的约束。
(2)感知损失(Perceptual Loss):
风格损失和感知损失,通常都要用预训练的VGG16提取网络输入Igt和输出图Ipred的特征,然后计算特征图之间的L1损失。表示VGG16网络第ith池化层输出的特征图,HiWiCi分别表示该特征图的高、宽和通道数。本申请将水印去除任务当做端到端的生成式任务,为了确保生成图像在高层语义(比如物体形状、轮廓灯)具备合理性,因此在损失函数上增加感知损失,用于约束生成图与目标图之间具备较为相近的高层语义特征。
(3)风格损失函数(Style Loss):
风格损失是图像风格迁移任务中常用的损失函数,该损失函数通过计算高层特征空间中图像的自相关性,有效的提取图像中元素间的位置、色彩对比等语义信息。增加该损失函数可以进一步确保本任务中的生成图和目标图之间风格接近。避免大范围的空间不一致性出现,比如伪色等。
本模型的总损失函数为这三个子损失函数的线性叠加,权重依据损失重要性和具体损失值确定:
Ltotal=λl1L1+λpreceptualLperceptual+λstyleLstyle
在训练过程中,λl1设定为1,λpreceptual设定为0.05,λstyle设定为120。
通过应用以上的损失函数,实测能够取得较佳的训练效果,整体学习效率较高,因此,通常迭代有限数次便可实现良好的水印识别能力,不仅能够识别训练过程中的已知水印,还能识别出部分未知水印。
训练细节:网络训练采用Adam算法,学习率为2e-4,权重衰减为0,β=(0.9,0.99)。用于计算损失的VGG网络在ImageNet上进行预训练,并采用网络全连接层前的池化层输出作为损失计算的特征图。为了防止网络在真实数据上出现色偏等现象,本申请在第5个epoch将训练切换到finetune状态,具体操作是冻住网络中的所有BN层,并将学习率下降到5e-5。在训练过程中,batch_size设置为16。
本申请的水印识别在线训练方法,通过结合基于U2-Net构造的图像分割模型,将在线合成的带水印图片作为该图像分割模型的训练样本,以实测的损失函数用于校正机器学习参数,使得该图像分割模型取得了有效识别和去除水印的效果。
请参阅图9,本申请提出的一种水印识别在线去除方法,其利用前述水印识别在线训练方法实施之后所形成的图像分割模型,部署在云端,向用户开放访问接口,将用户提交的待识别图片作用输入,由图像分割模型从待识别图片中识别并去除其中的水印之后,输出相应的无水印图片。该方法包括如下步骤:
步骤S31、将待识别图片导入所述的图像分割模型:
用户通过前端页面或指令提交的待识别图片,通常是包含水印的待识别图片,水印之外即为其背景,因此,实际上可视为一张叠加了水印的背景图片,该待识别图片被直接馈入至所述的图像分割模型中开始进行识别。
步骤S32、由所述图像分割模型从待识别图片中识别出水印并将其清除:
所述图像分割模型由于经过训练之后,其相关参数得到优化,因此能够以较高准确率从待识别图片中识别出其中的水印并将其去除。
步骤S33、输出在待识别图片的无水印版本相对应的背景图片:
当待识别图片经过图像分割模型识别出水印并将其清除之后,便生成了无水印的彩色图,该彩色图与待识别图片相比较,原有的水印将会消失,而且水印原位置的像素也会被以该图像分割模型以适当的方式填补。
进一步的,可以通过将上述的图像输入方法中的各个实施例进行功能化,构造出本申请的一种水印识别在线制样装置,按照这一思路,请参阅图10,其典型实施例中,该装置包括:
背景选取模块11,用于从背景数据集中提取背景图,将其随机裁剪为预设规格;
水印选取模块12,用于从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
图片合成模块13,用于将水印增强图与所述背景图进行合成,以获得相应的合成图。
同理,可以通过将上述的图像输入方法中的各个实施例进行功能化,构造出本申请的一种水印识别在线识别装置,按照这一思路,请参阅图11,其典型实施例中,该装置包括:
背景选取模块21,用于按序从背景数据集中提取背景图,将其随机裁剪为预设规格;
水印选取模块22,用于随机从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
图片合成模块23,用于将水印增强图与所述背景图进行合成,以获得适于用做水印识别的训练样本的合成图。
模型训练模块24,用于将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练,使该图像分割模型经此训练适于从待识别图片中去除所述水印原图。
为了便于本申请的执行,提供一种电子设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中计算机程序以执行如前述的一种水印识别在线制样/训练/去除方法的步骤。
可以看出,存储器适宜采用非易失性存储介质,通过将前述的方法实现为计算机程序,安装到手机之类电子设备中,相关程序代码和数据便被存储到电子设备的非易失性存储介质中,进一步通过电子设备的中央处理器运行该程序,将其从非易性存储介质中调入内存中运行,便可实现本申请所期望的目的。因此,可以理解,本申请的一个实施例中,还可提供一种非易失性存储介质,其以计算机可读指令的形式存储有依据所述的水印识别在线制样/训练/去除方法的各个实施例所实现的计算机程序,该计算机程序被计算机调用运行时,执行该方法所包括的步骤。
综上所述,本申请能够自动在线合成含水印的训练样本即时用于图像分割模型的训练,使该模型具备识别和去除图片中的水印的能力。
本技术领域技术人员可以理解,本申请包涉及用于执行本申请中所述操作、方法中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其存储器之内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随即存储器)、EPROM(ErasableProgrammable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (15)
1.一种水印识别在线训练方法,其特征在于,包括如下迭代执行的步骤:
从背景数据集中提取背景图,将其随机裁剪为预设规格;
从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
将水印增强图与所述背景图进行合成,以获得相应的合成图;
将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练,使该图像分割模型经此训练适于从待识别图片中去除所述水印原图。
2.根据权利要求1所述的方法,其特征在于:所述图像分割模型采用基于Residual U-block结构的U2-Net神经网络实现。
3.根据权利要求1或2所述的方法,所述图像分割模型实施样本训练包括如下步骤:
将所述合成图馈入所述图像分割模型的输入卷积层中进行局部特征提取,获得中间特征映射;
将所述中间特征映射经图像分割模型的收缩路径中的多个编码器逐步下采样提取多尺度特征;
以所述多尺度特征为馈入特征,经图像分割模型的扩展路径中的多个解码器逐步上采样,逐级还原为更高分辨率的特征图,其中,每个解码器以其对应的一个编码器所获得的特征图为参照用于实施所述的还原;
将解码器的所有输出和编码器最后阶段的输出进行融合,获得去除水印后的彩色图。
4.根据权利要求3所述的方法,其特征在于,所述图像分割模型实施样本训练包括如下步骤:
将所述背景图作为目标值,将所述去除水印后的彩色图作为预测值,采用由多个损失函数线性叠加而成的总损失函数监督样本训练过程,以使训练所得的预测值随迭代次数的增加而最大化趋近于目标值。
5.根据权利要求1所述的方法,其特征在于,将该水印原图进行图像变形处理以形成水印增强图的步骤中,按照如下任意一个或任意多个步骤实施所述的图像处理:
对水印原图进行灰度化,使其成为去除色彩的所述水印增强图;
对水印原图进行高斯噪声变换,使其成为画面失真的所述水印增强图;
对水印原图进行裁剪,使其成为画面残缺的所述水印增强图;
对水印原图进行畸变处理,使其成为比例失真的所述水印增强图。
6.根据权利要求5所述的方法,其特征在于,将所述水印增强图与所述背景图进行合成的步骤中,按照如下任意一个或任意多个步骤进行合成:
将所述水印增强图进行随机缩放后与所述背景图进行合成;
将所述水印增强图随机指定至所述背景图的任意位置进行合成;
以随机确定的包括透明度在内的融合参数将所述水印增强图与背景图进行合成。
7.一种水印识别在线去除方法,其特征在于,包括如下步骤:
将待识别图片馈入权利要求1至6中任意一项所述的图像分割模型;
由所述图像分割模型从待识别图片中识别出水印并将其清除;
输出在待识别图片的无水印版本相对应的背景图片。
8.一种水印识别在线制样方法,其特征在于,包括如下步骤:
从背景数据集中提取背景图,将其随机裁剪为预设规格;
从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
将水印增强图与所述背景图进行合成,以获得适于用做水印识别的训练样本的合成图。
9.根据权利要求8所述的方法,其特征在于,将该水印原图进行图像变形处理以形成水印增强图的步骤中,按照如下任意一个或任意多个步骤实施所述的图像处理:
对水印原图进行灰度化,使其成为去除色彩的所述水印增强图;
对水印原图进行高斯噪声变换,使其成为画面失真的所述水印增强图;
对水印原图进行裁剪,使其成为画面残缺的所述水印增强图;
对水印原图进行畸变处理,使其成为比例失真的所述水印增强图。
10.根据权利要求9所述的方法,其特征在于,将所述水印增强图与所述背景图进行合成的步骤中,按照如下任意一个或任意多个步骤进行合成:
将所述水印增强图进行随机缩放后与所述背景图进行合成;
将所述水印增强图随机指定至所述背景图的任意位置进行合成;
以随机确定的包括透明度在内的融合参数将所述水印增强图与背景图进行合成。
11.根据权利要求8至10中任意一项所述的方法,其特征在于:
迭代执行本方法的相应步骤,使每张所述的背景图均与水印数据集中的每张水印原图实施合成,以相应生成多张所述的合成图;或者,
从水印数据集中提取水印原图,将该水印原图进行图像处理使其产生图像变化以形成水印增强图的步骤中,将每张水印原图进行多种方式的图像处理使其产生多张所述的水印增强图;或者,
将所述水印增强图与所述背景图进行合成,以获得相应的合成图的步骤中,将每张水印增强图按照多种随机合成效果分别与背景图进行合成以获得多张所述的合成图。
12.一种水印识别在线训练装置,其特征在于,其包括:
背景选取模块,用于从背景数据集中提取背景图,将其随机裁剪为预设规格;
水印选取模块,用于从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
图片合成模块,用于将水印增强图与所述背景图进行合成,以获得相应的合成图;
模型训练模块,用于将所述合成图作为训练样本馈入至预设的具有编码解码结构的适于捕获多尺度特征的图像分割模型中实施样本训练,使该图像分割模型经此训练适于从待识别图片中去除所述水印原图。
13.一种水印识别制样方法,其特征在于,其包括:
背景选取模块,用于按序从背景数据集中提取背景图,将其随机裁剪为预设规格;
水印选取模块,用于随机从水印数据集中提取水印原图,将该水印原图进行图像变形处理以形成水印增强图;
图片合成模块,用于将水印增强图与所述背景图进行合成,以获得适于用做水印识别的训练样本的合成图。
14.一种电子设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至11中任一项所述的方法的步骤。
15.一种非易失性存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至11中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行该方法所包括的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011308484.8A CN112419135A (zh) | 2020-11-19 | 2020-11-19 | 水印识别在线训练、制样、去除方法及装置、设备、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011308484.8A CN112419135A (zh) | 2020-11-19 | 2020-11-19 | 水印识别在线训练、制样、去除方法及装置、设备、介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112419135A true CN112419135A (zh) | 2021-02-26 |
Family
ID=74773242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011308484.8A Pending CN112419135A (zh) | 2020-11-19 | 2020-11-19 | 水印识别在线训练、制样、去除方法及装置、设备、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112419135A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095987A (zh) * | 2021-03-26 | 2021-07-09 | 贵州大学 | 一种基于多尺度特征学习的弥散加权图像的鲁棒水印方法 |
CN113158982A (zh) * | 2021-05-17 | 2021-07-23 | 广东中卡云计算有限公司 | 一种半介入式的目标关键点标注方法 |
CN113222804A (zh) * | 2021-06-02 | 2021-08-06 | 景德镇陶瓷大学 | 面向陶瓷工艺的上采样陶瓷水印模型训练方法和嵌密方法 |
CN113436183A (zh) * | 2021-07-09 | 2021-09-24 | 浙江大学 | 一种图像的相关性分析装置 |
CN113658032A (zh) * | 2021-10-20 | 2021-11-16 | 广东迅维信息产业股份有限公司 | 基于深度学习和图像处理的图像水印加解密方法及系统 |
CN114758136A (zh) * | 2022-06-13 | 2022-07-15 | 深圳比特微电子科技有限公司 | 目标去除模型建立方法、装置及可读存储介质 |
CN114842476A (zh) * | 2022-06-29 | 2022-08-02 | 北京百度网讯科技有限公司 | 水印检测方法及装置、模型训练方法及装置 |
WO2023246402A1 (zh) * | 2022-06-23 | 2023-12-28 | 北京火山引擎科技有限公司 | 模型的训练方法、水印文本识别方法及相关设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784181A (zh) * | 2018-12-14 | 2019-05-21 | 平安科技(深圳)有限公司 | 图片水印识别方法、装置、设备及计算机可读存储介质 |
CN110599387A (zh) * | 2019-08-08 | 2019-12-20 | 北京邮电大学 | 一种自动去除图片水印的方法及装置 |
CN110807741A (zh) * | 2019-10-15 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 图像处理网络的训练方法、图像去噪方法及装置 |
CN111062903A (zh) * | 2019-12-06 | 2020-04-24 | 携程计算机技术(上海)有限公司 | 图像水印的自动处理方法、系统、电子设备及存储介质 |
CN111105336A (zh) * | 2019-12-04 | 2020-05-05 | 山东浪潮人工智能研究院有限公司 | 一种基于对抗网络的图像去水印的方法 |
CN111626912A (zh) * | 2020-04-09 | 2020-09-04 | 智者四海(北京)技术有限公司 | 水印去除方法及装置 |
CN111696046A (zh) * | 2019-03-13 | 2020-09-22 | 北京奇虎科技有限公司 | 一种基于生成式对抗网络的水印去除方法和装置 |
CN111798360A (zh) * | 2020-06-30 | 2020-10-20 | 百度在线网络技术(北京)有限公司 | 一种水印检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-19 CN CN202011308484.8A patent/CN112419135A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784181A (zh) * | 2018-12-14 | 2019-05-21 | 平安科技(深圳)有限公司 | 图片水印识别方法、装置、设备及计算机可读存储介质 |
CN111696046A (zh) * | 2019-03-13 | 2020-09-22 | 北京奇虎科技有限公司 | 一种基于生成式对抗网络的水印去除方法和装置 |
CN110599387A (zh) * | 2019-08-08 | 2019-12-20 | 北京邮电大学 | 一种自动去除图片水印的方法及装置 |
CN110807741A (zh) * | 2019-10-15 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 图像处理网络的训练方法、图像去噪方法及装置 |
CN111105336A (zh) * | 2019-12-04 | 2020-05-05 | 山东浪潮人工智能研究院有限公司 | 一种基于对抗网络的图像去水印的方法 |
CN111062903A (zh) * | 2019-12-06 | 2020-04-24 | 携程计算机技术(上海)有限公司 | 图像水印的自动处理方法、系统、电子设备及存储介质 |
CN111626912A (zh) * | 2020-04-09 | 2020-09-04 | 智者四海(北京)技术有限公司 | 水印去除方法及装置 |
CN111798360A (zh) * | 2020-06-30 | 2020-10-20 | 百度在线网络技术(北京)有限公司 | 一种水印检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
XUEBIN等,: "U2-Net: Going deeper with nested U-structure for salient object detection", PATTERN RECOGNITION, 16 May 2020 (2020-05-16), pages 1 - 12 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095987A (zh) * | 2021-03-26 | 2021-07-09 | 贵州大学 | 一种基于多尺度特征学习的弥散加权图像的鲁棒水印方法 |
CN113095987B (zh) * | 2021-03-26 | 2022-02-01 | 贵州大学 | 一种基于多尺度特征学习的弥散加权图像的鲁棒水印方法 |
CN113158982A (zh) * | 2021-05-17 | 2021-07-23 | 广东中卡云计算有限公司 | 一种半介入式的目标关键点标注方法 |
CN113222804A (zh) * | 2021-06-02 | 2021-08-06 | 景德镇陶瓷大学 | 面向陶瓷工艺的上采样陶瓷水印模型训练方法和嵌密方法 |
CN113222804B (zh) * | 2021-06-02 | 2022-03-15 | 景德镇陶瓷大学 | 面向陶瓷工艺的上采样陶瓷水印模型训练方法和嵌密方法 |
CN113436183A (zh) * | 2021-07-09 | 2021-09-24 | 浙江大学 | 一种图像的相关性分析装置 |
CN113658032A (zh) * | 2021-10-20 | 2021-11-16 | 广东迅维信息产业股份有限公司 | 基于深度学习和图像处理的图像水印加解密方法及系统 |
CN113658032B (zh) * | 2021-10-20 | 2022-02-18 | 广东迅维信息产业股份有限公司 | 基于深度学习和图像处理的图像水印加解密方法及系统 |
CN114758136A (zh) * | 2022-06-13 | 2022-07-15 | 深圳比特微电子科技有限公司 | 目标去除模型建立方法、装置及可读存储介质 |
WO2023246402A1 (zh) * | 2022-06-23 | 2023-12-28 | 北京火山引擎科技有限公司 | 模型的训练方法、水印文本识别方法及相关设备 |
CN114842476A (zh) * | 2022-06-29 | 2022-08-02 | 北京百度网讯科技有限公司 | 水印检测方法及装置、模型训练方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112419135A (zh) | 水印识别在线训练、制样、去除方法及装置、设备、介质 | |
CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN112633234A (zh) | 人脸去眼镜模型训练、应用方法及其装置、设备和介质 | |
CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
CN114612289A (zh) | 风格化图像生成方法、装置及图像处理设备 | |
US20230262189A1 (en) | Generating stylized images on mobile devices | |
CN114881888A (zh) | 基于线性稀疏注意力Transformer的视频去摩尔纹方法 | |
Korus et al. | Content authentication for neural imaging pipelines: End-to-end optimization of photo provenance in complex distribution channels | |
CN116091288A (zh) | 一种基于扩散模型的图像隐写方法 | |
CN116645598A (zh) | 一种基于通道注意力特征融合的遥感图像语义分割方法 | |
CN113628116B (zh) | 图像处理网络的训练方法、装置、计算机设备和存储介质 | |
CN113409216A (zh) | 一种基于频带自适应修复模型的图像修复方法 | |
CN116543277A (zh) | 模型构建方法及目标检测方法 | |
CN115131414A (zh) | 基于深度学习的无人机图像对齐方法、电子设备和存储介质 | |
CN117980914A (zh) | 用于以有损方式对图像或视频进行编码、传输和解码的方法及数据处理系统 | |
CN115187775A (zh) | 一种遥感图像语义分割方法及装置 | |
CN115496654A (zh) | 基于自注意力机制的图像超分辨率重建方法、设备及介质 | |
CN114494387A (zh) | 一种生成数据集网络模型及雾图生成方法 | |
CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
CN116958317A (zh) | 一种结合边缘信息和外观流操作的图像修复方法及系统 | |
CN113902647A (zh) | 一种基于双闭环网络的图像去模糊方法 | |
Korus et al. | Neural imaging pipelines-the scourge or hope of forensics? |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |