CN111260568A - 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 - Google Patents
基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 Download PDFInfo
- Publication number
- CN111260568A CN111260568A CN202010027188.4A CN202010027188A CN111260568A CN 111260568 A CN111260568 A CN 111260568A CN 202010027188 A CN202010027188 A CN 202010027188A CN 111260568 A CN111260568 A CN 111260568A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- clean
- discriminator
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 45
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,包括如下步骤:步骤1:建立取样样本;步骤2:根据步骤1中的取样样本,进行预处理,作为最终训练数据集;步骤3:将步骤2中得到的训练数据集输入去噪网络中进行训练,依次更新生成网络权重和辨别网络权重;步骤4:将需要去除噪声的碑帖数据输入步骤3更新后的辨别网络和生成网络中进行去噪,得到去除噪声后的碑帖图像。本发明解决了碑帖图像在数字化过程中因为背景噪声的出现而导致的图像美观度下降、后续研究准确率降低的问题。
Description
技术领域
本发明属于图像处理方法技术领域,具体涉及一种基于多辨别器对抗网 络的碑帖二值化背景噪声去除方法。
背景技术
中国书法不仅承载宝贵的历史信息,更是一件珍贵的艺术品,具有上千 年的历史文化背景,而且还推动了现代信息系统中的字体设计。在现代信息 系统中,可以从中国书法中学习到丰富的知识,以便在出版、广告甚至计算 机的基本人机交互中美化字体和艺术品。但是随着时间的流逝以及人为的破 坏,一些书法碑文图像难免出现破损,从图像上体现出来就是大大小小分布 不均匀的噪声块。这些噪声块影响了书法碑帖图像数字化后的美观度,同时 严重阻碍了人们对其后续的保存与研究。
鉴于以上原因,如何在去除图像背景噪声的同时保护字体结构不受破坏 是当前主要问题。
发明内容
本发明的目的是提供一种基于多辨别器对抗网络的碑帖二值化背景噪 声去除方法,解决了碑帖图像在数字化过程中因为背景噪声的出现而导致的 图像美观度下降、后续研究准确率降低的问题。
本发明所采用的技术方案是,基于多辨别器对抗网络的碑帖二值化背景 噪声去除方法,包括以下步骤:
步骤1:建立取样样本;
步骤2:根据步骤1中的取样样本,进行预处理,作为最终训练数据集;
步骤3:将步骤2中得到的训练数据集输入去噪网络中进行训练,依次 更新生成网络权重和辨别网络权重;
步骤4:将需要去除噪声的碑帖数据输入步骤3更新后的辨别网络和生 成网络中进行去噪,得到去除噪声后的碑帖图像。
本发明的特点还在于:
步骤1的具体过程为:
收集多张碑帖图像,人工将其分为干净图像和噪声图像两类,最终分别 得到m张不配对的带噪声图片和干净图像,即为取样样本。
步骤2的具体过程为:
步骤2.1:对样本进行二值化操作,然后判断图像背景色是否为白色, 对于背景色不为白色的二值化图像进行反色操作;
步骤2.2:将经过步骤2.1处理过后的碑帖图像随机裁剪成w×h大小, 得到2m张大小为w×h带噪碑帖图像和干净碑帖图像;
步骤2.3:对步骤2.2中的干净碑帖图像进行噪声模拟,获得与干净碑帖 图像配对的带噪图像,形成m对图像对{X,Z},其中X表示干净图像,Z 表示加有模拟噪声的带噪图像;
步骤2.4:对步骤2.2中的干净碑帖图像进行高斯模糊,得到m张高斯 模糊后的干净碑帖图像;
步骤2.5:将步骤2.3与步骤2.4得到的图像一起作为最终训练数据集。
步骤3的具体过程为:
步骤3.1:选取步骤2中任意一个带噪声图像Z,输入生成器网络G, 带有噪声的碑帖图像Z经过生成器网络G的计算,输出一张与输入图像大 小相同的干净图像fake_img=G(Z);
步骤3.2:在步骤2中选取与步骤3.1中带噪图像Z配对的干净图像X, 将步骤3.1生成的干净图像fake_img和干净图像X同时与选取的带噪图像Z 配对得到两个图像对,记为:m={Z,fake_img}和n={Z,X},随后将图像 对m,n输入辨别网络D0,得到两个概率值D0(m),D0(n),建立对抗网络损 失函数为公式(1):
其中表示m服从真实数据概率分布的期望;表示 n服从生成数据概率分布的期望;D0(m)表示生成图像对m输入辨别器D0后 的输出值,表示该图像对为真的概率;D0(n)表示真实图像对n输入辨别器D0后的输出值,表示该图像对为真的概率;Ladv0表示生成器和辨别器D0对应 的对抗损失函数;
步骤3.3:在步骤2中随机选取一张干净图像X0,将X0和步骤3.1中 生成图像fake_img输入辨别网络D1,得到两个概率值D1(X0),D1(fake_img), 建立对抗网络损失函数为公式(2):
其中表示X服从真实干净数据概率分布期望,表 示Z服从真实带噪数据分布期望,G(Z)表示带噪图像经过生成器网络G计 算后得到的去噪图像;D1(X)表示干净图像X输入辨别器D1输出的值,表示 该图像为真的概率;D1(G(Z)表示有生成器G生成的图像输入辨别器D1输 出的值,表示将生成图像分为真的概率;Ladv1表示生成器和辨别器D1对应的 对抗损失函数;
步骤3.4:在步骤2中选取步骤3.2中干净图像X对应的高斯模糊后的 图像W,将干净图像X,步骤3.1中生成的干净图像fake_img和高斯模糊后 的图像W输入辨别网络D2,得到三个概率值D2(X),D2(fake_img)和D2(W), 建立对抗网络损失函数为公式(3):
Ladv2=E[log(P0(D2(X)))+log(1-P1(D2(W)))+log(1-P2(D2(G(Z))))](3)
其中E表示X服从真实干净数据概率分布期望、W服从真实高斯模糊 数据概率分布期望、Z服从真实带噪数据分布期望,P0(D2(X))表示辨别网络 D2将图像X分类为标签0的概率,P1(D2(W))表示辨别网络D2将图像W分类 为标签1的概率,P2(D2(G(Z)))表示辨别网络D2将生成图像G(Z)分类为标签 2的概率;Ladv2表示生成器和辨别器D2对应的对抗损失函数;
步骤3.5:将步骤3.2-3.4中三个辨别网络的对抗损失函数结合,得到公 式(4):
Ladv=λLadv0+αLadv1+βLadv2 (4)
其中λ,α,β为常数且λ=10,α=β=1,分别表示各个辨别网络在整体去 噪模型中所占的权重比例;Ladv表示总的生成器和辨别器对应的对抗损失函 数;
最终可得到总的损失函数为:
Loss(ω,θ)=Ladv+ηLL1(G) (5)
其中ω和θ分别表示生成器网络和辨别器网络的权重,η表示常数且 η=1000,L表示损失值,L1表示曼哈顿距离,LL1表示L1距离的损失值; Loss(ω,θ)表示总的损失函数;ω表示生成器的权重参数;θ表示辨别器的 权重参数;
步骤3.6:计算步骤3.5中总的损失函数,使用Adam梯度下降方式依次 更新生成器与辨别器权重参数:Adam(ω,Loss,learning_rate), Adam(θ,Loss,learning_rate);
其中learning_rate表示梯度下降学习率,learning_rate=0.0002,
当D0(n)≈D0(m),D1(G(Z))≈D1(X),D2(G(Z))≈D2(X),即fake_img≈X时, 生成网络G生成的图像与干净图像无线接近时,训练完成。
步骤4的具体过程为:
步骤4.1:对需要去除噪声的碑帖图像进行二值化处理,判断二值化图 像背景是否为白色,若不是则进行反色操作;
步骤4.2:将经过步骤4.1处理后的碑帖图像image输入经过步骤3训练 更新的生成器网络G中,输出生成图像G(image)即为去除噪声后的碑帖图 像。
本发明的有益效果是:
(1)本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法在 原有的GAN网络基础上增加辨别网络个数,提出一种新的生成对抗网络结 构;
(2)本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法使 用一种新的GAN网络结构,能够在有效去除碑帖图像噪声的同时保留字体 结构,并能够保证生成高质量图像;
(3)本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法能 够有效去除碑帖图像上由于历史原因所造成的背景噪声,方便人们对于碑帖 图像后续的欣赏保存以及研究。
附图说明
图1是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 训练流程图;
图2是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 生成器网络结构图;
图3是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 生成器网络结构内残差密集模块(RDB)网络结构图;
图4是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 辨别器D0网络结构图;
图5是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 辨别器D1网络结构图;
图6是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 辨别器D2网络结构图;
图7是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 实例去噪图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,如图1 所示,包括以下步骤:
步骤1建立取样样本的具体操作为:
收集多张碑帖图像,人工将其分为干净图像和噪声图像两类,最终分别 得到m张不配对的带噪声图片和干净图像,即为取样样本;
步骤2中的具体操作为:
步骤2.1,对步骤1中的取样样本进行二值化操作,然后人为判断二值 化后的图像背景色是否为白色,对于背景色不为白色的二值化图像进行反色 操作,即最终二值化图像=1-背景部位白色的二值化图像;
步骤2.2,将经过步骤2.1处理过后的碑帖图像随机裁剪成w×h大小, 得到2m张大小为w×h带噪碑帖图像和干净碑帖图像;
步骤2.3,通过现有的噪声模拟模型对步骤2.2中的干净图像进行噪声模 拟,最终获得与干净图像配对的带噪图像,形成m对图像对{X,Z},其中 X表示干净图像,Z表示加有模拟噪声的带噪图像;
步骤2.4,对步骤2.2中的干净图像进行高斯模糊,得到m张高斯模糊 后的干净碑帖图像,与步骤2.3得到配对图像一起作为最终训练数据集;
步骤3具体步骤为:
步骤3.1,选取步骤2中任意一个带噪声图像Z,输入生成器网络G, 带有噪声的碑帖图像Z经过生成器网络G的计算,具体为:首先经过两个 卷积模块,在经过七层残差密集模块(RDB),然后经过两个反卷积模块和 一个Tanh层,输出一张与输入图像大小相同的干净图像fake_img=G(Z);
如图2所示,在生成器网络结构中,Conv,k7n32s1表示一个卷积操作, 卷积核大小为7×7,卷积核个数为32个,步长为1;ReLU表示一个非线性 激活函数;Conv,k3n64s2表示一个卷积操作,卷积核大小为3×3,卷积核 个数为64个,步长为2;INorm表示InstanceNormalization即实例归一化操 作;Dropout表示随机丢弃操作,增加输出结果的随机性;deConv,k3n32s2 表示一个反卷积操作,卷积核大小为3×3,卷积核个数为32个,步长为1/2; deConv,k7nCs1表示一个反卷积操作,卷积核大小为3×3,卷积核个数为输 入图像通道数,步长为1/2;Tanh表示一个非线性激活函数。
如图3所示是作为生成器网络中重要部分的残差密集模块(RDB),在 生成器网络中有六个循环的残差密集网络层,每一层残差密集网络层包括九 个残差密集模块即RDB0-RDB8,其中每个模块均为一个卷积操作,卷积核 大小均为3×3,卷积核个数均为32,且步长均为1;F1表示第一个RDB模 块输出的特征图,F2表示第二个RDB模块输出的特征图,Fc表示第c个RDB 模块输出的特征图,以此类推;每一个残差模块都将前几个模块所得到的特 征图相加做为本层的输入:Fc+1=F0+…+Fc,c=0,1,…7;
步骤3.2,在步骤2中选取与步骤3.1中带噪图像Z配对的干净图像X, 将步骤3.1生成的干净图像fake_img和干净图像X同时与选取的带噪图像Z 配对得到两个图像对,记为:m={Z,fake_img}和n={Z,X},随后将图像 对m,n输入辨别网络D0,具体为:首先通过随机裁剪层,从输入图片中随 机取80×80大小的块,然后通过四层不同的卷积操作和一个全连接层,最后 通过sigmoid激活函数层得到两个概率值D0(m),D0(n),建立对抗网络损失 函数为公式(1):
其中表示m服从真实数据概率分布的期望;表示 n服从生成数据概率分布的期望;D0(m)表示生成图像对m输入辨别器D0后 的输出值,表示该图像对为真的概率;D0(n)表示真实图像对n输入辨别器D0后的输出值,表示该图像对为真的概率;Ladv0表示生成器和辨别器D0对应 的对抗损失函数。
上述损失函数可分为两个操作:
Glossadv0=-log(D0(n))和Dlossadv0=-log(D0(m))-log(1-D0(n));其中 Glossadv0表示辨别器D0对应的生成器损失函数,Dlossadv0表示辨别器D0的损 失函数,该对抗损失函数期望去噪后的生成图像G(Z)尽可能接近干净图像 X。
步骤3.3,在步骤2中随机选取一张干净图像X0,将X0和步骤3.1中 生成图像fake_img输入辨别网络D1,具体计算过程如步骤3.2,最终得到两 个概率值D1(X0),D1(fake_img),建立对抗网络损失函数为公式(2):
其中表示X服从真实干净数据概率分布期望,表 示Z服从真实带噪数据分布期望,G(Z)表示带噪图像经过生成器网络G计 算后得到的去噪图像;D1(X)表示干净图像X输入辨别器D1输出的值,表示 该图像为真的概率;D1(G(Z)表示有生成器G生成的图像输入辨别器D1输 出的值,表示将生成图像分为真的概率;Ladv1表示生成器和辨别器D1对应的 对抗损失函数。
该对抗损失函数仍可以分为两个操作:
Glossadv1=-log(D1(G(Z)))和Dlossadv1=-log(D1(X))-log(1-D1(G(Z))),其中Glossadv1表示辨别器D1所对应的生成器损失函数,Dlossadv1表示辨别器D1的损 失函数,该对抗损失函数的目标是最大限度的将正确标签分配给生成图像 G(Z),最终期望生成图像G(Z)上的噪声尽可能的少。
步骤3.4,在步骤2中选取步骤3.2中干净图像X对应的高斯模糊后的 图像W,将干净图像X,步骤3.1中生成的干净图像fake_img和高斯模糊后 的图像W输入辨别网络D2,具体操作为:首先经过随机裁剪层取出输入图 像80×80大小的块,然后经过四层不同的卷积操作和一个全连接层,最终通 过softmax激活函数得到三个概率值D2(X),D2(fake_img)和D2(W),建立对 抗网络损失函数为公式(3):
Ladv2=E[log(P0(D2(X)))+log(1-P1(D2(W)))+log(1-P2(D2(G(Z))))](3)
其中E表示X服从真实干净数据概率分布期望、W服从真实高斯模糊 数据概率分布期望、Z服从真实带噪数据分布期望,P0(D2(X))表示辨别网络 D2将图像X分类为标签0的概率,P1(D2(W))表示辨别网络D2将图像W分类 为标签1的概率,P2(D2(G(Z)))表示辨别网络D2将生成图像G(Z)分类为标签 2的概率;Ladv2表示生成器和辨别器D2对应的对抗损失函数。
同上述步骤公式(3)对抗损失函数可分为:Glossadv2=-log(P2(D2(X)))和Dlossadv2=-log(P0(D2(X)))-log(1-P1(D2(W)))-log(1-P2(D2(G(Z)))),其中Glossadv2表示辨别器D2对应的生成器损失函数,Dlossadv2表示辨别器D2的损失函数, 该对抗损失函数期望辨别网络最大限度的将真实图像标签匹配至生成图像, 最终生成质量更高的去噪图像。
如图4、图5、图6所示,Random Crop80x80是随机裁剪层,表示从输 入图像中随机取出80×80大小的块作为辨别器网络输入;Conv,k5n64s2表 示卷积层操作,卷积核大小为5×5,卷积核个数为64个,步长为2;LReLu 表示一个Leakey ReLU非线性激活函数;Conv,k5n128s2表示卷积层操作, 卷积核大小为5×5,卷积核个数为128个,步长为2;INorm表示Instance Normalization即实例归一化操作;Conv,k5n256s2表示卷积层操作,卷积 核大小为5×5,卷积核个数为256个,步长为2;Conv,k5n512s2表示卷积 层操作,卷积核大小为5×5,卷积核个数为512个,步长为2;FC表示一个 全连接层。
步骤3.5,将步骤3.2-3.4中三个辨别网络的对抗损失函数结合,得到公 式(4):
Ladv=λLadv0+αLadv1+βLadv2 (4)
其中λ,α,β为常数且λ=10,α=β=1,分别表示各个辨别网络在整体去 噪模型中所占的权重比例;
最终可得到总的损失函数为:
Loss(ω,θ)=Ladv+ηLL1(G) (5)
其中ω和θ分别表示生成器网络和辨别器网络的权重,η表示常数且 η=1000,L表示损失值,L1表示曼哈顿距离,LL1表示L1距离的损失值; Loss(ω,θ)表示总的损失函数;ω表示生成器的权重参数;θ表示辨别器的 权重参数。
由上述步骤最终可得总的生成器损失函数和辨别器损失函数为:
Gloss=λGlossadv0+αGlossadv1+βGlossadv2+ηLL1,
Dloss=λDlossadv0+αDlossadv1+βDlossadv2。
步骤3.6,计算步骤3.5中总的损失函数,使用Adam梯度下降方式依次 更新生成器与辨别器权重参数:Adam(ω,Gloss,learning_rate),Adam(θ, Dloss,learning_rate);
其中learning_rate表示梯度下降学习率,learning_rate=0.0002,
当D0(n)≈D0(m),D1(G(Z))≈D1(X),D2(G(Z))≈D2(X),即fake_img≈X时,生 成网络G生成的图像与干净图像无限接近时,训练完成。
步骤4具体步骤为:
步骤4.1,对需要去除噪声的碑帖图像进行二值化处理,得到二值化碑 帖图像image_bw,人为判断二值化图像image_bw背景是否为白色,若不是 则进行反色操作即image=1-image_bw;
步骤4.2,将经过步骤4.1处理后的碑帖图像image输入经过步骤3训练 更新的生成器网络G中,输出生成图像G(image)即为去除噪声后的碑帖图 像。
如图7所示是将两张噪声图像输入训练完成后的生成器网络中所得到的 的去噪碑帖图像。
本发明基于多辨别器对抗网络的碑帖二值化背景噪声杂点去除方法在 普通GAN网络的基础上增加辨别器个数,提出了一种新的碑帖图像去噪网 络模型。同时本方法在保留原有字体结构的情况下有效去除了图像背景噪 声,并且能够保证生成的去噪图像的质量和字体细节,为碑帖图像进一步保 存和使用提供了有效的数据预处理方法,具有较高的实用性。
Claims (5)
1.基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,其特征在于,包括如下步骤:
步骤1:建立取样样本;
步骤2:根据步骤1中的取样样本,进行预处理,作为最终训练数据集;
步骤3:将步骤2中得到的训练数据集输入去噪网络中进行训练,依次更新生成网络权重和辨别网络权重;
步骤4:将需要去除噪声的碑帖数据输入步骤3更新后的辨别网络和生成网络中进行去噪,得到去除噪声后的碑帖图像。
2.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,其特征在于,所述步骤1的具体过程为:
收集多张碑帖图像,人工将其分为干净图像和噪声图像两类,最终分别得到m张不配对的带噪声图片和干净图像,即为取样样本。
3.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,其特征在于,所述步骤2的具体过程为:
步骤2.1:对样本进行二值化操作,然后判断图像背景色是否为白色,对于背景色不为白色的二值化图像进行反色操作;
步骤2.2:将经过步骤2.1处理过后的碑帖图像随机裁剪成w×h大小,得到2m张大小为w×h带噪碑帖图像和干净碑帖图像;
步骤2.3:对步骤2.2中的干净碑帖图像进行噪声模拟,获得与干净碑帖图像配对的带噪图像,形成m对图像对{X,Z},其中X表示干净图像,Z表示加有模拟噪声的带噪图像;
步骤2.4:对步骤2.2中的干净碑帖图像进行高斯模糊,得到m张高斯模糊后的干净碑帖图像;
步骤2.5:将步骤2.3与步骤2.4得到的图像一起作为最终训练数据集。
4.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,其特征在于,所述步骤3的具体过程为:
步骤3.1:选取步骤2中任意一个带噪声图像Z,输入生成器网络G,带有噪声的碑帖图像Z经过生成器网络G的计算,输出一张与输入图像大小相同的干净图像fake_img=G(Z);
步骤3.2:在步骤2中选取与步骤3.1中带噪图像Z配对的干净图像X,将步骤3.1生成的干净图像fake_img和干净图像X同时与选取的带噪图像Z配对得到两个图像对,记为:m={Z,fake_img}和n={Z,X},随后将图像对m,n输入辨别网络D0,得到两个概率值D0(m),D0(n),建立对抗网络损失函数为公式(1):
其中表示m服从真实数据概率分布的期望;表示n服从生成数据概率分布的期望;D0(m)表示生成图像对m输入辨别器D0后的输出值,表示该图像对为真的概率;D0(n)表示真实图像对n输入辨别器D0后的输出值,表示该图像对为真的概率;Ladv0表示生成器和辨别器D0对应的对抗损失函数;
步骤3.3:在步骤2中随机选取一张干净图像X0,将X0和步骤3.1中生成图像fake_img输入辨别网络D1,得到两个概率值D1(X0),D1(fake_img),建立对抗网络损失函数为公式(2):
其中表示X服从真实干净数据概率分布期望,表示Z服从真实带噪数据分布期望,G(Z)表示带噪图像经过生成器网络G计算后得到的去噪图像;D1(X)表示干净图像X输入辨别器D1输出的值,表示该图像为真的概率;D1(G(Z)表示有生成器G生成的图像输入辨别器D1输出的值,表示将生成图像分为真的概率;Ladv1表示生成器和辨别器D1对应的对抗损失函数;
步骤3.4:在步骤2中选取步骤3.2中干净图像X对应的高斯模糊后的图像W,将干净图像X,步骤3.1中生成的干净图像fake_img和高斯模糊后的图像W输入辨别网络D2,得到三个概率值D2(X),D2(fake_img)和D2(W),建立对抗网络损失函数为公式(3):
Ladv2=E[log(P0(D2(X)))+log(1-P1(D2(W)))+log(1-P2(D2(G(Z))))] (3)
其中E表示X服从真实干净数据概率分布期望、W服从真实高斯模糊数据概率分布期望、Z服从真实带噪数据分布期望,P0(D2(X))表示辨别网络D2将图像X分类为标签0的概率,P1(D2(W))表示辨别网络D2将图像W分类为标签1的概率,P2(D2(G(Z)))表示辨别网络D2将生成图像G(Z)分类为标签2的概率;Ladv2表示生成器和辨别器D2对应的对抗损失函数;
步骤3.5:将步骤3.2-3.4中三个辨别网络的对抗损失函数结合,得到公式(4):
Ladv=λLadv0+αLadv1+βLadv2 (4)
其中λ,α,β为常数且λ=10,α=β=1,分别表示各个辨别网络在整体去噪模型中所占的权重比例;Ladv表示总的生成器和辨别器对应的对抗损失函数;
最终可得到总的损失函数为:
Loss(ω,θ)=Ladv+ηLL1(G) (5)
其中ω和θ分别表示生成器网络和辨别器网络的权重,η表示常数且η=1000,L表示损失值,L1表示曼哈顿距离,LL1表示L1距离的损失值;Loss(ω,θ)表示总的损失函数;ω表示生成器的权重参数;θ表示辨别器的权重参数;
步骤3.6:计算步骤3.5中总的损失函数,使用Adam梯度下降方式依次更新生成器与辨别器权重参数:Adam(ω,Loss,learning_rate),Adam(θ,Loss,learning_rate);
其中learning_rate表示梯度下降学习率,learning_rate=0.0002,
当D0(n)≈D0(m),D1(G(Z))≈D1(X),D2(G(Z))≈D2(X),即fake_img≈X时,生成网络G生成的图像与干净图像无线接近时,训练完成。
5.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,其特征在于,所述步骤4的具体过程为:
步骤4.1:对需要去除噪声的碑帖图像进行二值化处理,判断二值化图像背景是否为白色,若不是则进行反色操作;
步骤4.2:将经过步骤4.1处理后的碑帖图像image输入经过步骤3训练更新的生成器网络G中,输出生成图像G(image)即为去除噪声后的碑帖图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010027188.4A CN111260568B (zh) | 2020-01-10 | 2020-01-10 | 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010027188.4A CN111260568B (zh) | 2020-01-10 | 2020-01-10 | 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111260568A true CN111260568A (zh) | 2020-06-09 |
CN111260568B CN111260568B (zh) | 2023-05-23 |
Family
ID=70953980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010027188.4A Active CN111260568B (zh) | 2020-01-10 | 2020-01-10 | 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260568B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112927254A (zh) * | 2021-02-26 | 2021-06-08 | 华南理工大学 | 一种单字碑帖图像二值化方法、系统、装置及存储介质 |
CN113052267A (zh) * | 2021-04-28 | 2021-06-29 | 电子科技大学 | 基于生成对抗网络的无监督发射器相位噪声参数提取方法 |
CN113744148A (zh) * | 2021-08-26 | 2021-12-03 | 西安邮电大学 | 一种碑刻书法图像去噪模型建立、去噪方法及系统 |
CN113792723A (zh) * | 2021-09-08 | 2021-12-14 | 浙江力石科技股份有限公司 | 一种石刻文字识别的优化方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
CN108805833A (zh) * | 2018-05-29 | 2018-11-13 | 西安理工大学 | 基于条件对抗网络的字帖二值化背景噪声杂点去除方法 |
US20190333623A1 (en) * | 2018-04-30 | 2019-10-31 | Elekta, Inc. | Radiotherapy treatment plan modeling using generative adversarial networks |
CN110580472A (zh) * | 2019-09-12 | 2019-12-17 | 合肥工业大学 | 一种基于全卷积网络和条件对抗网络的视频前景检测方法 |
-
2020
- 2020-01-10 CN CN202010027188.4A patent/CN111260568B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
US20190333623A1 (en) * | 2018-04-30 | 2019-10-31 | Elekta, Inc. | Radiotherapy treatment plan modeling using generative adversarial networks |
CN108805833A (zh) * | 2018-05-29 | 2018-11-13 | 西安理工大学 | 基于条件对抗网络的字帖二值化背景噪声杂点去除方法 |
CN110580472A (zh) * | 2019-09-12 | 2019-12-17 | 合肥工业大学 | 一种基于全卷积网络和条件对抗网络的视频前景检测方法 |
Non-Patent Citations (1)
Title |
---|
白海娟;周未;王存睿;王磊;: "基于生成式对抗网络的字体风格迁移方法" * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112927254A (zh) * | 2021-02-26 | 2021-06-08 | 华南理工大学 | 一种单字碑帖图像二值化方法、系统、装置及存储介质 |
CN113052267A (zh) * | 2021-04-28 | 2021-06-29 | 电子科技大学 | 基于生成对抗网络的无监督发射器相位噪声参数提取方法 |
CN113052267B (zh) * | 2021-04-28 | 2022-06-14 | 电子科技大学 | 基于生成对抗网络的无监督发射器相位噪声参数提取方法 |
CN113744148A (zh) * | 2021-08-26 | 2021-12-03 | 西安邮电大学 | 一种碑刻书法图像去噪模型建立、去噪方法及系统 |
CN113744148B (zh) * | 2021-08-26 | 2023-10-20 | 西安邮电大学 | 一种碑刻书法图像去噪模型建立、去噪方法及系统 |
CN113792723A (zh) * | 2021-09-08 | 2021-12-14 | 浙江力石科技股份有限公司 | 一种石刻文字识别的优化方法及系统 |
CN113792723B (zh) * | 2021-09-08 | 2024-01-16 | 浙江力石科技股份有限公司 | 一种石刻文字识别的优化方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111260568B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111260568A (zh) | 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 | |
CN112308158B (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
Bayar et al. | Constrained convolutional neural networks: A new approach towards general purpose image manipulation detection | |
CN108805833B (zh) | 基于条件对抗网络的字帖二值化背景噪声杂点去除方法 | |
CN111160533A (zh) | 一种基于跨分辨率知识蒸馏的神经网络加速方法 | |
CN114038037B (zh) | 基于可分离残差注意力网络的表情标签修正和识别方法 | |
CN107169504A (zh) | 一种基于扩展非线性核残差网络的手写字符识别方法 | |
CN103336942A (zh) | 一种基于Radon BEMD变换的国画鉴定方法 | |
CN110287311B (zh) | 文本分类方法及装置、存储介质、计算机设备 | |
CN110334724B (zh) | 基于lstm的遥感对象自然语言描述及多尺度矫正方法 | |
CN110532950B (zh) | 基于微表情视频的视频特征提取方法、微表情识别方法 | |
CN111832573B (zh) | 一种基于类激活映射和视觉显著性的图像情感分类方法 | |
CN109685065A (zh) | 试卷内容自动分类的版面分析方法、系统 | |
CN110287911A (zh) | 一种发票的内容识别方法、装置、设备及存储介质 | |
Shen et al. | Digital forensics for recoloring via convolutional neural network | |
CN116977844A (zh) | 一种轻量级水下目标实时检测方法 | |
Khan et al. | A common convolutional neural network model to classify plain, rolled and latent fingerprints | |
Wijerathna et al. | Recognition and translation of Ancient Brahmi Letters using deep learning and NLP | |
Katoch et al. | Recognition Of Handwritten English Character Using Convolutional Neural Network | |
CN111353577B (zh) | 基于多任务的级联组合模型的优化方法、装置及终端设备 | |
CN111414889A (zh) | 基于文字识别的财务报表识别方法及装置 | |
CN111260570B (zh) | 基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法 | |
CN116091828A (zh) | 一种染色体图像可解释分析方法、装置、设备及存储介质 | |
CN115906937A (zh) | 一种可解释的cnn分类模型的模型剪枝方法 | |
CN109240549A (zh) | 一种基于外接数位设备和大数据智能分析的书法矫正器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |