CN111260568B - 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 - Google Patents

基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 Download PDF

Info

Publication number
CN111260568B
CN111260568B CN202010027188.4A CN202010027188A CN111260568B CN 111260568 B CN111260568 B CN 111260568B CN 202010027188 A CN202010027188 A CN 202010027188A CN 111260568 B CN111260568 B CN 111260568B
Authority
CN
China
Prior art keywords
image
network
clean
discriminator
inscription
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010027188.4A
Other languages
English (en)
Other versions
CN111260568A (zh
Inventor
张九龙
李孟阳
屈小娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010027188.4A priority Critical patent/CN111260568B/zh
Publication of CN111260568A publication Critical patent/CN111260568A/zh
Application granted granted Critical
Publication of CN111260568B publication Critical patent/CN111260568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning

Abstract

本发明公开了基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,包括如下步骤:步骤1:建立取样样本;步骤2:根据步骤1中的取样样本,进行预处理,作为最终训练数据集;步骤3:将步骤2中得到的训练数据集输入去噪网络中进行训练,依次更新生成网络权重和辨别网络权重;步骤4:将需要去除噪声的碑帖数据输入步骤3更新后的辨别网络和生成网络中进行去噪,得到去除噪声后的碑帖图像。本发明解决了碑帖图像在数字化过程中因为背景噪声的出现而导致的图像美观度下降、后续研究准确率降低的问题。

Description

基于多辨别器对抗网络的碑帖二值化背景噪声去除方法
技术领域
本发明属于图像处理方法技术领域,具体涉及一种基于多辨别器对抗网 络的碑帖二值化背景噪声去除方法。
背景技术
中国书法不仅承载宝贵的历史信息,更是一件珍贵的艺术品,具有上千 年的历史文化背景,而且还推动了现代信息系统中的字体设计。在现代信息 系统中,可以从中国书法中学习到丰富的知识,以便在出版、广告甚至计算 机的基本人机交互中美化字体和艺术品。但是随着时间的流逝以及人为的破 坏,一些书法碑文图像难免出现破损,从图像上体现出来就是大大小小分布不均匀的噪声块。这些噪声块影响了书法碑帖图像数字化后的美观度,同时 严重阻碍了人们对其后续的保存与研究。
鉴于以上原因,如何在去除图像背景噪声的同时保护字体结构不受破坏 是当前主要问题。
发明内容
本发明的目的是提供一种基于多辨别器对抗网络的碑帖二值化背景噪 声去除方法,解决了碑帖图像在数字化过程中因为背景噪声的出现而导致的 图像美观度下降、后续研究准确率降低的问题。
本发明所采用的技术方案是,基于多辨别器对抗网络的碑帖二值化背景 噪声去除方法,包括以下步骤:
步骤1:建立取样样本;
步骤2:根据步骤1中的取样样本,进行预处理,作为最终训练数据集;
步骤3:将步骤2中得到的训练数据集输入去噪网络中进行训练,依次 更新生成网络权重和辨别网络权重;
步骤4:将需要去除噪声的碑帖数据输入步骤3更新后的辨别网络和生 成网络中进行去噪,得到去除噪声后的碑帖图像。
本发明的特点还在于:
步骤1的具体过程为:
收集多张碑帖图像,人工将其分为干净图像和噪声图像两类,最终分别 得到m张不配对的带噪声图片和干净图像,即为取样样本。
步骤2的具体过程为:
步骤2.1:对样本进行二值化操作,然后判断图像背景色是否为白色, 对于背景色不为白色的二值化图像进行反色操作;
步骤2.2:将经过步骤2.1处理过后的碑帖图像随机裁剪成w×h大小, 得到2m张大小为w×h带噪碑帖图像和干净碑帖图像;
步骤2.3:对步骤2.2中的干净碑帖图像进行噪声模拟,获得与干净碑帖 图像配对的带噪图像,形成m对图像对{X,Z},其中X表示干净图像,Z 表示加有模拟噪声的带噪图像;
步骤2.4:对步骤2.2中的干净碑帖图像进行高斯模糊,得到m张高斯 模糊后的干净碑帖图像;
步骤2.5:将步骤2.3与步骤2.4得到的图像一起作为最终训练数据集。
步骤3的具体过程为:
步骤3.1:选取步骤2中任意一个带噪声图像Z,输入生成器网络G, 带有噪声的碑帖图像Z经过生成器网络G的计算,输出一张与输入图像大小相同的干净图像fake_img=G(Z);
步骤3.2:在步骤2中选取与步骤3.1中带噪图像Z配对的干净图像X, 将步骤3.1生成的干净图像fake_img和干净图像X同时与选取的带噪图像Z 配对得到两个图像对,记为:m={Z,fake_img}和n={Z,X},随后将图像 对m,n输入辨别网络D0,得到两个概率值D0(m),D0(n),建立对抗网络损 失函数为公式(1):
Figure SMS_1
其中
Figure SMS_2
表示m服从真实数据概率分布的期望;/>
Figure SMS_3
表示 n服从生成数据概率分布的期望;D0(m)表示生成图像对m输入辨别器D0后 的输出值,表示该图像对为真的概率;D0(n)表示真实图像对n输入辨别器D0后的输出值,表示该图像对为真的概率;Ladv0表示生成器和辨别器D0对应 的对抗损失函数;
步骤3.3:在步骤2中随机选取一张干净图像X0,将X0和步骤3.1中 生成图像fake_img输入辨别网络D1,得到两个概率值D1(X0),D1(fake_img), 建立对抗网络损失函数为公式(2):
Figure SMS_4
其中
Figure SMS_5
表示X服从真实干净数据概率分布期望,/>
Figure SMS_6
表 示Z服从真实带噪数据分布期望,G(Z)表示带噪图像经过生成器网络G计 算后得到的去噪图像;D1(X)表示干净图像X输入辨别器D1输出的值,表示 该图像为真的概率;D1(G(Z)表示有生成器G生成的图像输入辨别器D1输 出的值,表示将生成图像分为真的概率;Ladv1表示生成器和辨别器D1对应的 对抗损失函数;
步骤3.4:在步骤2中选取步骤3.2中干净图像X对应的高斯模糊后的 图像W,将干净图像X,步骤3.1中生成的干净图像fake_img和高斯模糊后 的图像W输入辨别网络D2,得到三个概率值D2(X),D2(fake_img)和D2(W), 建立对抗网络损失函数为公式(3):
Ladv2=E[log(P0(D2(X)))+log(1-P1(D2(W)))+log(1-P2(D2(G(Z))))](3)
其中E表示X服从真实干净数据概率分布期望、W服从真实高斯模糊 数据概率分布期望、Z服从真实带噪数据分布期望,P0(D2(X))表示辨别网络 D2将图像X分类为标签0的概率,P1(D2(W))表示辨别网络D2将图像W分类 为标签1的概率,P2(D2(G(Z)))表示辨别网络D2将生成图像G(Z)分类为标签 2的概率;Ladv2表示生成器和辨别器D2对应的对抗损失函数;
步骤3.5:将步骤3.2-3.4中三个辨别网络的对抗损失函数结合,得到公 式(4):
Ladv=λLadv0+αLadv1+βLadv2 (4)
其中λ,α,β为常数且λ=10,α=β=1,分别表示各个辨别网络在整体去 噪模型中所占的权重比例;Ladv表示总的生成器和辨别器对应的对抗损失函数;
最终可得到总的损失函数为:
Loss(ω,θ)=Ladv+ηLL1(G) (5)
其中ω和θ分别表示生成器网络和辨别器网络的权重,η表示常数且 η=1000,L表示损失值,L1表示曼哈顿距离,LL1表示L1距离的损失值; Loss(ω,θ)表示总的损失函数;ω表示生成器的权重参数;θ表示辨别器的 权重参数;
步骤3.6:计算步骤3.5中总的损失函数,使用Adam梯度下降方式依次 更新生成器与辨别器权重参数:Adam(ω,Loss,learning_rate), Adam(θ,Loss,learning_rate);
其中learning_rate表示梯度下降学习率,learning_rate=0.0002,
当D0(n)≈D0(m),D1(G(Z))≈D1(X),D2(G(Z))≈D2(X),即fake_img≈X时, 生成网络G生成的图像与干净图像无线接近时,训练完成。
步骤4的具体过程为:
步骤4.1:对需要去除噪声的碑帖图像进行二值化处理,判断二值化图 像背景是否为白色,若不是则进行反色操作;
步骤4.2:将经过步骤4.1处理后的碑帖图像image输入经过步骤3训练 更新的生成器网络G中,输出生成图像G(image)即为去除噪声后的碑帖图 像。
本发明的有益效果是:
(1)本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法在 原有的GAN网络基础上增加辨别网络个数,提出一种新的生成对抗网络结 构;
(2)本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法使 用一种新的GAN网络结构,能够在有效去除碑帖图像噪声的同时保留字体 结构,并能够保证生成高质量图像;
(3)本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法能 够有效去除碑帖图像上由于历史原因所造成的背景噪声,方便人们对于碑帖 图像后续的欣赏保存以及研究。
附图说明
图1是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 训练流程图;
图2是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 生成器网络结构图;
图3是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 生成器网络结构内残差密集模块(RDB)网络结构图;
图4是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 辨别器D0网络结构图;
图5是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 辨别器D1网络结构图;
图6是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 辨别器D2网络结构图;
图7是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的 实例去噪图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,如图1 所示,包括以下步骤:
步骤1建立取样样本的具体操作为:
收集多张碑帖图像,人工将其分为干净图像和噪声图像两类,最终分别 得到m张不配对的带噪声图片和干净图像,即为取样样本;
步骤2中的具体操作为:
步骤2.1,对步骤1中的取样样本进行二值化操作,然后人为判断二值 化后的图像背景色是否为白色,对于背景色不为白色的二值化图像进行反色 操作,即最终二值化图像=1-背景部位白色的二值化图像;
步骤2.2,将经过步骤2.1处理过后的碑帖图像随机裁剪成w×h大小, 得到2m张大小为w×h带噪碑帖图像和干净碑帖图像;
步骤2.3,通过现有的噪声模拟模型对步骤2.2中的干净图像进行噪声模 拟,最终获得与干净图像配对的带噪图像,形成m对图像对{X,Z},其中 X表示干净图像,Z表示加有模拟噪声的带噪图像;
步骤2.4,对步骤2.2中的干净图像进行高斯模糊,得到m张高斯模糊 后的干净碑帖图像,与步骤2.3得到配对图像一起作为最终训练数据集;
步骤3具体步骤为:
步骤3.1,选取步骤2中任意一个带噪声图像Z,输入生成器网络G, 带有噪声的碑帖图像Z经过生成器网络G的计算,具体为:首先经过两个卷积模块,在经过七层残差密集模块(RDB),然后经过两个反卷积模块和 一个Tanh层,输出一张与输入图像大小相同的干净图像fake_img=G(Z);
如图2所示,在生成器网络结构中,Conv,k7n32s1表示一个卷积操作, 卷积核大小为7×7,卷积核个数为32个,步长为1;ReLU表示一个非线性 激活函数;Conv,k3n64s2表示一个卷积操作,卷积核大小为3×3,卷积核 个数为64个,步长为2;INorm表示InstanceNormalization即实例归一化操 作;Dropout表示随机丢弃操作,增加输出结果的随机性;deConv,k3n32s2 表示一个反卷积操作,卷积核大小为3×3,卷积核个数为32个,步长为1/2; deConv,k7nCs1表示一个反卷积操作,卷积核大小为3×3,卷积核个数为输 入图像通道数,步长为1/2;Tanh表示一个非线性激活函数。
如图3所示是作为生成器网络中重要部分的残差密集模块(RDB),在 生成器网络中有六个循环的残差密集网络层,每一层残差密集网络层包括九 个残差密集模块即RDB0-RDB8,其中每个模块均为一个卷积操作,卷积核 大小均为3×3,卷积核个数均为32,且步长均为1;F1表示第一个RDB模 块输出的特征图,F2表示第二个RDB模块输出的特征图,Fc表示第c个RDB 模块输出的特征图,以此类推;每一个残差模块都将前几个模块所得到的特 征图相加做为本层的输入:Fc+1=F0+…+Fc,c=0,1,…7;
步骤3.2,在步骤2中选取与步骤3.1中带噪图像Z配对的干净图像X, 将步骤3.1生成的干净图像fake_img和干净图像X同时与选取的带噪图像Z 配对得到两个图像对,记为:m={Z,fake_img}和n={Z,X},随后将图像 对m,n输入辨别网络D0,具体为:首先通过随机裁剪层,从输入图片中随 机取80×80大小的块,然后通过四层不同的卷积操作和一个全连接层,最后通过sigmoid激活函数层得到两个概率值D0(m),D0(n),建立对抗网络损失 函数为公式(1):
Figure SMS_7
其中
Figure SMS_8
表示m服从真实数据概率分布的期望;/>
Figure SMS_9
表示 n服从生成数据概率分布的期望;D0(m)表示生成图像对m输入辨别器D0后 的输出值,表示该图像对为真的概率;D0(n)表示真实图像对n输入辨别器D0后的输出值,表示该图像对为真的概率;Ladv0表示生成器和辨别器D0对应 的对抗损失函数。
上述损失函数可分为两个操作:
Glossadv0=-log(D0(n))和Dlossadv0=-log(D0(m))-log(1-D0(n));其中 Glossadv0表示辨别器D0对应的生成器损失函数,Dlossadv0表示辨别器D0的损 失函数,该对抗损失函数期望去噪后的生成图像G(Z)尽可能接近干净图像 X。
步骤3.3,在步骤2中随机选取一张干净图像X0,将X0和步骤3.1中 生成图像fake_img输入辨别网络D1,具体计算过程如步骤3.2,最终得到两 个概率值D1(X0),D1(fake_img),建立对抗网络损失函数为公式(2):
Figure SMS_10
其中
Figure SMS_11
表示X服从真实干净数据概率分布期望,/>
Figure SMS_12
表 示Z服从真实带噪数据分布期望,G(Z)表示带噪图像经过生成器网络G计 算后得到的去噪图像;D1(X)表示干净图像X输入辨别器D1输出的值,表示 该图像为真的概率;D1(G(Z)表示有生成器G生成的图像输入辨别器D1输 出的值,表示将生成图像分为真的概率;Ladv1表示生成器和辨别器D1对应的 对抗损失函数。
该对抗损失函数仍可以分为两个操作:
Glossadv1=-log(D1(G(Z)))和Dlossadv1=-log(D1(X))-log(1-D1(G(Z))),其中Glossadv1表示辨别器D1所对应的生成器损失函数,Dlossadv1表示辨别器D1的损 失函数,该对抗损失函数的目标是最大限度的将正确标签分配给生成图像 G(Z),最终期望生成图像G(Z)上的噪声尽可能的少。
步骤3.4,在步骤2中选取步骤3.2中干净图像X对应的高斯模糊后的 图像W,将干净图像X,步骤3.1中生成的干净图像fake_img和高斯模糊后 的图像W输入辨别网络D2,具体操作为:首先经过随机裁剪层取出输入图 像80×80大小的块,然后经过四层不同的卷积操作和一个全连接层,最终通 过softmax激活函数得到三个概率值D2(X),D2(fake_img)和D2(W),建立对 抗网络损失函数为公式(3):
Ladv2=E[log(P0(D2(X)))+log(1-P1(D2(W)))+log(1-P2(D2(G(Z))))](3)
其中E表示X服从真实干净数据概率分布期望、W服从真实高斯模糊 数据概率分布期望、Z服从真实带噪数据分布期望,P0(D2(X))表示辨别网络 D2将图像X分类为标签0的概率,P1(D2(W))表示辨别网络D2将图像W分类 为标签1的概率,P2(D2(G(Z)))表示辨别网络D2将生成图像G(Z)分类为标签 2的概率;Ladv2表示生成器和辨别器D2对应的对抗损失函数。
同上述步骤公式(3)对抗损失函数可分为:Glossadv2=-log(P2(D2(X)))和Dlossadv2=-log(P0(D2(X)))-log(1-P1(D2(W)))-log(1-P2(D2(G(Z)))),其中Glossadv2表示辨别器D2对应的生成器损失函数,Dlossadv2表示辨别器D2的损失函数, 该对抗损失函数期望辨别网络最大限度的将真实图像标签匹配至生成图像, 最终生成质量更高的去噪图像。
如图4、图5、图6所示,Random Crop80x80是随机裁剪层,表示从输 入图像中随机取出80×80大小的块作为辨别器网络输入;Conv,k5n64s2表 示卷积层操作,卷积核大小为5×5,卷积核个数为64个,步长为2;LReLu 表示一个Leakey ReLU非线性激活函数;Conv,k5n128s2表示卷积层操作, 卷积核大小为5×5,卷积核个数为128个,步长为2;INorm表示InstanceNormalization即实例归一化操作;Conv,k5n256s2表示卷积层操作,卷积 核大小为5×5,卷积核个数为256个,步长为2;Conv,k5n512s2表示卷积层操作,卷积核大小为5×5,卷积核个数为512个,步长为2;FC表示一个 全连接层。
步骤3.5,将步骤3.2-3.4中三个辨别网络的对抗损失函数结合,得到公 式(4):
Ladv=λLadv0+αLadv1+βLadv2 (4)
其中λ,α,β为常数且λ=10,α=β=1,分别表示各个辨别网络在整体去 噪模型中所占的权重比例;
最终可得到总的损失函数为:
Loss(ω,θ)=Ladv+ηLL1(G) (5)
其中ω和θ分别表示生成器网络和辨别器网络的权重,η表示常数且 η=1000,L表示损失值,L1表示曼哈顿距离,LL1表示L1距离的损失值; Loss(ω,θ)表示总的损失函数;ω表示生成器的权重参数;θ表示辨别器的 权重参数。
由上述步骤最终可得总的生成器损失函数和辨别器损失函数为:
Gloss=λGlossadv0+αGlossadv1+βGlossadv2+ηLL1
Dloss=λDlossadv0+αDlossadv1+βDlossadv2
步骤3.6,计算步骤3.5中总的损失函数,使用Adam梯度下降方式依次 更新生成器与辨别器权重参数:Adam(ω,Gloss,learning_rate),Adam(θ, Dloss,learning_rate);
其中learning_rate表示梯度下降学习率,learning_rate=0.0002,
当D0(n)≈D0(m),D1(G(Z))≈D1(X),D2(G(Z))≈D2(X),即fake_img≈X时,生 成网络G生成的图像与干净图像无限接近时,训练完成。
步骤4具体步骤为:
步骤4.1,对需要去除噪声的碑帖图像进行二值化处理,得到二值化碑 帖图像image_bw,人为判断二值化图像image_bw背景是否为白色,若不是则进行反色操作即image=1-image_bw;
步骤4.2,将经过步骤4.1处理后的碑帖图像image输入经过步骤3训练 更新的生成器网络G中,输出生成图像G(image)即为去除噪声后的碑帖图 像。
如图7所示是将两张噪声图像输入训练完成后的生成器网络中所得到的 的去噪碑帖图像。
本发明基于多辨别器对抗网络的碑帖二值化背景噪声杂点去除方法在 普通GAN网络的基础上增加辨别器个数,提出了一种新的碑帖图像去噪网 络模型。同时本方法在保留原有字体结构的情况下有效去除了图像背景噪声,并且能够保证生成的去噪图像的质量和字体细节,为碑帖图像进一步保 存和使用提供了有效的数据预处理方法,具有较高的实用性。

Claims (4)

1.基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,其特征在于,包括如下步骤:
步骤1:建立取样样本;
步骤2:根据步骤1中的取样样本,进行预处理,作为最终训练数据集;
步骤3:将步骤2中得到的训练数据集输入去噪网络中进行训练,依次更新生成网络权重和辨别网络权重;
步骤4:将需要去除噪声的碑帖数据输入步骤3更新后的辨别网络和生成网络中进行去噪,得到去除噪声后的碑帖图像;
所述步骤3的具体过程为:
步骤3.1:选取步骤2中任意一个带噪声图像Z,输入生成器网络G,带有噪声的碑帖图像Z经过生成器网络G的计算,输出一张与输入图像大小相同的干净图像fake_img=G(Z);
步骤3.2:在步骤2中选取与步骤3.1中带噪图像Z配对的干净图像X,将步骤3.1生成的干净图像fake_img和干净图像X同时与选取的带噪图像Z配对得到两个图像对,记为:m={Z,fake_img}和n={Z,X},随后将图像对m,n输入辨别网络D0,得到两个概率值D0(m),D0(n),建立对抗网络损失函数为公式(1):
Ladv0=Em~pdata(m)[log(D0(m))]+En~pdata(n)[log(1-D0(n))] (1)
其中Em~pdata(m)表示m服从真实数据概率分布的期望;En~pdata(n)表示n服从生成数据概率分布的期望;D0(m)表示生成图像对m输入辨别器D0后的输出值,表示该图像对为真的概率;D0(n)表示真实图像对n输入辨别器D0后的输出值,表示该图像对为真的概率;Ladv0表示生成器和辨别器D0对应的对抗损失函数;
步骤3.3:在步骤2中随机选取一张干净图像X0,将X0和步骤3.1中生成图像fake_img输入辨别网络D1,得到两个概率值D1(X0),D1(fake_img),建立对抗网络损失函数为公式(2):
Ladv1=EX~Pdata(X)[log(D1(X))]+EZ~Pdata(Z)[log(1-D1(G(Z)))] (2)
其中EX~Pdata(X)表示X服从真实干净数据概率分布期望,EZ~Pdata(Z)表示Z服从真实带噪数据分布期望,G(Z)表示带噪图像经过生成器网络G计算后得到的去噪图像;D1(X)表示干净图像X输入辨别器D1输出的值,表示该图像为真的概率;D1(G(Z)表示有生成器G生成的图像输入辨别器D1输出的值,表示将生成图像分为真的概率;Ladv1表示生成器和辨别器D1对应的对抗损失函数;
步骤3.4:在步骤2中选取步骤3.2中干净图像X对应的高斯模糊后的图像W,将干净图像X,步骤3.1中生成的干净图像fake_img和高斯模糊后的图像W输入辨别网络D2,得到三个概率值D2(X),D2(fake_img)和D2(W),建立对抗网络损失函数为公式(3):
Ladv2=E[log(P0(D2(X)))+log(1-P1(D2(W)))+log(1-P2(D2(G(Z))))](3)
其中E表示X服从真实干净数据概率分布期望、W服从真实高斯模糊数据概率分布期望、Z服从真实带噪数据分布期望,P0(D2(X))表示辨别网络D2将图像X分类为标签0的概率,P1(D2(W))表示辨别网络D2将图像W分类为标签1的概率,P2(D2(G(Z)))表示辨别网络D2将生成图像G(Z)分类为标签2的概率;Ladv2表示生成器和辨别器D2对应的对抗损失函数;
步骤3.5:将步骤3.2-3.4中三个辨别网络的对抗损失函数结合,得到公式(4):
Ladv=λLadv0+αLadv1+βLadv2 (4)
其中λ,α,β为常数且λ=10,α=β=1,分别表示各个辨别网络在整体去噪模型中所占的权重比例;Ladv表示总的生成器和辨别器对应的对抗损失函数;
最终可得到总的损失函数为:
Loss(ω,θ)=Ladv+ηLL1(G) (5)
其中ω和θ分别表示生成器网络和辨别器网络的权重,η表示常数且η=1000,L表示损失值,L1表示曼哈顿距离,LL1表示L1距离的损失值;Loss(ω,θ)表示总的损失函数;ω表示生成器的权重参数;θ表示辨别器的权重参数;
步骤3.6:计算步骤3.5中总的损失函数,使用Adam梯度下降方式依次更新生成器与辨别器权重参数:Adam(ω,Loss,learning_rate),Adam(θ,Loss,learning_rate);
其中learning_rate表示梯度下降学习率,learning_rate=0.0002,
当D0(n)≈D0(m),D1(G(Z))≈D1(X),D2(G(Z))≈D2(X),即fake_img≈X时,生成网络G生成的图像与干净图像无线接近时,训练完成。
2.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,其特征在于,所述步骤1的具体过程为:
收集多张碑帖图像,人工将其分为干净图像和噪声图像两类,最终分别得到m张不配对的带噪声图片和干净图像,即为取样样本。
3.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,其特征在于,所述步骤2的具体过程为:
步骤2.1:对样本进行二值化操作,然后判断图像背景色是否为白色,对于背景色不为白色的二值化图像进行反色操作;
步骤2.2:将经过步骤2.1处理过后的碑帖图像随机裁剪成w×h大小,得到2m张大小为w×h带噪碑帖图像和干净碑帖图像;
步骤2.3:对步骤2.2中的干净碑帖图像进行噪声模拟,获得与干净碑帖图像配对的带噪图像,形成m对图像对{X,Z},其中X表示干净图像,Z表示加有模拟噪声的带噪图像;
步骤2.4:对步骤2.2中的干净碑帖图像进行高斯模糊,得到m张高斯模糊后的干净碑帖图像;
步骤2.5:将步骤2.3与步骤2.4得到的图像一起作为最终训练数据集。
4.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法,其特征在于,所述步骤4的具体过程为:
步骤4.1:对需要去除噪声的碑帖图像进行二值化处理,判断二值化图像背景是否为白色,若不是则进行反色操作;
步骤4.2:将经过步骤4.1处理后的碑帖图像image输入经过步骤3训练更新的生成器网络G中,输出生成图像G(image)即为去除噪声后的碑帖图像。
CN202010027188.4A 2020-01-10 2020-01-10 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 Active CN111260568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010027188.4A CN111260568B (zh) 2020-01-10 2020-01-10 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010027188.4A CN111260568B (zh) 2020-01-10 2020-01-10 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法

Publications (2)

Publication Number Publication Date
CN111260568A CN111260568A (zh) 2020-06-09
CN111260568B true CN111260568B (zh) 2023-05-23

Family

ID=70953980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010027188.4A Active CN111260568B (zh) 2020-01-10 2020-01-10 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法

Country Status (1)

Country Link
CN (1) CN111260568B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927254A (zh) * 2021-02-26 2021-06-08 华南理工大学 一种单字碑帖图像二值化方法、系统、装置及存储介质
CN113052267B (zh) * 2021-04-28 2022-06-14 电子科技大学 基于生成对抗网络的无监督发射器相位噪声参数提取方法
CN113744148B (zh) * 2021-08-26 2023-10-20 西安邮电大学 一种碑刻书法图像去噪模型建立、去噪方法及系统
CN113792723B (zh) * 2021-09-08 2024-01-16 浙江力石科技股份有限公司 一种石刻文字识别的优化方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108805833A (zh) * 2018-05-29 2018-11-13 西安理工大学 基于条件对抗网络的字帖二值化背景噪声杂点去除方法
CN110580472A (zh) * 2019-09-12 2019-12-17 合肥工业大学 一种基于全卷积网络和条件对抗网络的视频前景检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11557390B2 (en) * 2018-04-30 2023-01-17 Elekta, Inc. Radiotherapy treatment plan modeling using generative adversarial networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108805833A (zh) * 2018-05-29 2018-11-13 西安理工大学 基于条件对抗网络的字帖二值化背景噪声杂点去除方法
CN110580472A (zh) * 2019-09-12 2019-12-17 合肥工业大学 一种基于全卷积网络和条件对抗网络的视频前景检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白海娟 ; 周未 ; 王存睿 ; 王磊 ; .基于生成式对抗网络的字体风格迁移方法.大连民族大学学报.2019,(03),全文. *

Also Published As

Publication number Publication date
CN111260568A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111260568B (zh) 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN107122375A (zh) 基于图像特征的图像主体的识别方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN110532950B (zh) 基于微表情视频的视频特征提取方法、微表情识别方法
CN103336942A (zh) 一种基于Radon BEMD变换的国画鉴定方法
CN110287311B (zh) 文本分类方法及装置、存储介质、计算机设备
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
CN108805833A (zh) 基于条件对抗网络的字帖二值化背景噪声杂点去除方法
CN114926680B (zh) 一种基于AlexNet网络模型的恶意软件分类方法及系统
Hu et al. Deep learning for distinguishing computer generated images and natural images: A survey
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
Chawla et al. Classification of computer generated images from photographic images using convolutional neural networks
Nandhini et al. Sign language recognition using convolutional neural network
CN107563287B (zh) 人脸识别方法和装置
CN116363732A (zh) 人脸情绪识别方法、装置、设备及存储介质
CN111260570B (zh) 基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法
CN108960275A (zh) 一种基于深度玻尔兹曼机的图像识别方法及系统
CN108460772A (zh) 基于卷积神经网络的广告骚扰传真图像检测系统及方法
CN107341485B (zh) 人脸识别方法和装置
Wardak et al. Noise presence detection in QR code images
Mishra et al. Feature Extraction Techniques in Facial Expression Recognition
Huang et al. Bark classification based on gabor filter features using rbpnn neural network
CN116645727B (zh) 一种基于Openpose模型算法的行为捕捉识别方法
Wang et al. CAPTCHA Identification Based on Convolution Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant