CN111260570B - 基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法 - Google Patents

Abstract

本发明基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法，包括如下步骤：步骤1，建立取样样本；步骤2，根据样本，进行预处理，得到最终训练数据；步骤3，将步训练数据进行训练，依次更新辨别器权重和生成器权重；步骤4，将待处理的碑帖数据样本带入经步骤3更新的辨别器和生成器中进行加噪，得到模拟噪声后的配对碑帖数据集。本发明涉及的方法对于古文碑帖、书法汉字由于时间原因所造成的背景杂点，能够正确模拟同时得到与干净碑帖图像对应的带噪图像，为数字化书法图像去噪提供了有效支撑，提高碑帖图像去噪效果，具有很好的使用价值。

Description

基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法

技术领域

本发明属于图像处理方法技术领域，具体涉及一种基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法。

背景技术

书法汉字作为中国传统文化的精髓，在互联网快速发展的现代，大量古文碑帖、书法汉字需要以数字化的形式进行保存研究，但是很多碑帖书法资料由于年代久远，出现了大量背景杂点，如果进一步研究需要对这些背景杂点进行去除，但是大多数字图像去噪算法需要大量的成对干净图像与带噪图像，在现实中干净碑帖图像与对应的带噪碑帖图像总不能同时保留存在，并且碑帖背景噪声的分布未知，这些原因都大大降低了碑帖图像的去噪效果。

鉴于以上原因，如何正确了解碑帖背景杂点噪声分布并进行模拟，为去噪算法提供合适的配对图像数据集，成为当前急需解决的问题。

发明内容

本发明的目的是提供一种基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法，解决了对碑帖二值化背景噪声去除过程中因为噪声分布不可知而导致的噪声无法去除，去噪效果差的问题。

本发明所采用的技术方案是，基于基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法，包括以下步骤：

步骤1，建立取样样本；

步骤2，根据步骤1中的取样样本，进行预处理，得到最终训练数据；

步骤3，将步骤2中得到的最终训练数据进行训练，依次更新辨别器权重和生成器权重；

步骤4，将待处理的碑帖数据样本带入经步骤3更新的辨别器和生成器中进行加噪，得到模拟噪声后的配对碑帖数据集。

本发明的特征还在于，

步骤1建立取样样本的具体操作为：

收集多张碑帖图像，将其人工分为干净图像和噪声图像两类，最终分别得到m张不配对的带噪声图片和干净图像，即为取样样本。

步骤2中的具体操作为：

步骤2.1，对步骤1取样样本中的带噪图片和干净图片，进行二值化操作，若二值化后的图片背景色为黑色则进行反色操作，即将二值化后的碑帖背景由黑色转为白色，字体由白色转为黑色，便于噪声模拟；

步骤2.2，对步骤2.1处理后的2m张图片，将每张图片随机切割成大小为c×r的图片，即得到2m张大小为c×r的图片；汇总后得到训练数据集；

步骤3具体步骤为：

步骤3.1，选取步骤2中任意一个干净图像X，输入生成器网络G，干净的图像X经过生成器网络G计算，输出一张与输入图像一样大小的带有模拟噪声的图像fake_img0＝G(X)，将得到的带有模拟噪声的图像fake_img0输入另一个生成器网络F得到大小与干净图像X相同的对模拟噪声去除后的图像fcleaned_img＝F(G(X))；

步骤3.2，选取步骤2中任意一个带噪声图像Y，输入生成器网络F，带噪声的图像Y经过生成器网络F计算，输出一张与输入图像一样大小的去除噪声后的图像fake_img1＝F(Y)，将得到的去除噪声后的图像fake_img1输入步骤3.1中的生成器网络G得到大小与输入图像Y相同的加上模拟噪声后的图像fnoised_img＝G(F(Y))；

步骤3.3，将步骤3.1得到的图像fake_img0＝G(X)和步骤3.2选取的噪声图像Y分别输入生成网络G对应的辨别器网络D_y，输出概率值D_y(G(X))和D_y(Y)，建立生成器G与辨别器D_y的对抗损失函数；

步骤3.4，将步骤3.2得到的图像fake_img1＝F(Y)和步骤3.1选取的干净图像X分别输入生成器网络F对应的辨别器网络D_x，输出概率是D_x(F(Y))和D_x(X)，建立生成器F与辨别器D_x的对抗损失函数；

步骤3.5，计算出步骤3.4中生成器G和F以及辨别器D_x和D_y的损失，使用Adam梯度下降方法来依次更新辨别器网络权重Adam(ω,D_yLossω,α)，Adam(ω,D_xLossω,α)和生成器网络的权重Adam(θ,G_Lossθ,α)，Adam(θ,F_Lossθ,α)，

其中α表示梯度下降的学习率且α＝0.0002，

当D_y(G(X))≈D_y(Y)，则fake_img0≈Y，得到经过生成器网络G后的图像fake_img0即为加噪后的图像，训练完成。

设定步骤3.1-3.2生成器G和F之间的循环一致性损失函数为公式(1)：

其中

表示X服从真实干净数据概率分布的期望，

表示Y服从真实带噪数据概率分布的期望，||.||₂表示欧式距离，F(G(X))表示干净图像经过生成器G加噪然后经过生成器F进行去噪后的结果，G(F(Y))表示带噪图像经过生成器F去噪然后经过生成器G进行加噪后的结果。

步骤3.3的生成器G与辨别器D_y的对抗损失函数为公式(2)：

公式(2)可分解为：

G_Lossθ＝log(1-D_y(G(X)))+λL_cyc(G) (3)

D_yLossω＝-log D_y(Y)-log(1-D_y(G(X))) (4)

其中D_y(G(X))表示生成图像G(X)输入辨别器网络D_y后的输出值，表示该图像为真的概率；D_y(Y)表示带噪图像Y输入辨别网络D_y后的输出值，表示该图像为真的概率；L_cyc(G)表示生成器G的循环一致性损失，λ为常数且λ＝100，G_Lossθ表示生成器G的损失函数，D_yLossω表示辨别器D_y的损失函数，其中θ和ω分别表示为生成器网络G的权重和辨别器网络D_y的权重。

步骤3.4生成器F与辨别器D_x的对抗损失函数为公式(5)：

公式(5)可分解为：

F_Lossθ＝log(1-D_x(F(Y)))+λL_cyc(F) (3)

D_xLossω＝-log D_x(X)-log(1-D_x(F(Y))) (4)

其中D_x(F(Y))表示生成图像F(Y)输入辨别器网络D_x后的输出值，表示该图像为真的概率；D_x(X)表示干净图像X输入辨别网络D_x后的输出值，表示该图像为真的概率；L_cyc(F)表示生成器F的循环一致性损失，λ为常数且λ＝100，F_Lossθ表示生成器F的损失函数，D_xLossω表示辨别器D_x的损失函数，其中θ和ω分别表示为生成器网络F的权重和辨别器网络D_x的权重。

步骤4具体步骤为：

步骤4.1，将需要加噪的干净碑帖图像二值化，得到二值化碑帖图像img_bw；人为判断二值化碑帖图像img_bw背景是否为白色，如果不是白色则进行操作:img_bw＝1-img_bw；

步骤4.3，将步骤1处理后图像的输入经步骤3更新的生成器G中，得到G(img_bw)，输出结果G(img_bw)即加上模拟噪声后的结果。

本发明字帖二值化背景噪声去除方法的有益效果是：

(1)本发明碑帖二值化背景噪声模拟方法基于循环一致性生成对抗网络(CycleGAN)，通过对不配对的噪声图像与干净图像进行训练和图像生成，能够最大限度的模拟碑帖图像上的真实噪声分布，生成与真实碑帖噪声更相近的噪声图像；

(2)本发明碑帖二值化背景噪声模拟方法，能够模拟真实噪声分布对干净图像加噪组成配对的碑帖图像对，作为去噪数据集进一步提高去噪效果；

(3)本发明的碑帖二值化背景噪声模拟方法，为需要配对数据集的书法图像去噪方法提供了可使用的数据集，具有很好的实用价值。

附图说明

图1是本发明基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法中训练数据的流程图；

图2是本发明基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法中生成器网络结构图；

图3是本发明基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法中生成器网络结构内残差模块(RB)网络结构图；

图4是本发明基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法中辨别器网络结构图；

图5是本发明基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法的总体方法图；

图6是本发明基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法的实施例加噪图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法，如图1所示，包括以下步骤：

步骤1，建立取样样本的具体操作为：

首先收集多张碑帖图像，将其人工分为干净图像和噪声图像两类，最终分别得到m张不配对的带噪声图片和干净图像，即为取样样本。

步骤2，根据步骤1中的取样样本，进行预处理，得到最终训练数据，具体操作为：

步骤2.1，对步骤1取样样本中的带噪图片和干净图片，进行二值化操作，若二值化后的图片背景色为黑色则进行反色操作，即将二值化后的碑帖背景由黑色转为白色，字体由白色转为黑色，便于噪声模拟；

步骤2.2，对步骤2.1处理后的2m张图片，将每张图片随机切割成大小为c×r的图片，即得到2m张大小为c×r的图片；汇总后得到训练数据集；

步骤3，将步骤2中得到的最终训练数据进行训练，依次更新辨别器权重和生成器权重，具体步骤为：

步骤3.1，选取步骤2中任意一个干净图像X，输入生成器网络G，干净的图像X经过生成器网络G计算，具体为：先经过三个卷积模块，在经过9个残差模块(RB)，最后经过两个反卷积层和一个Tanh层，输出一张与输入图像一样大小的带有模拟噪声的图像fake_img0＝G(X)；然后将得到的带有模拟噪声的图像fake_img0输入另一个生成器网络F，具体经过与生成器网络G计算过程相同，最后得到大小与干净图像X相同的对模拟噪声去除后的图像fcleaned_img＝F(G(X))；

步骤3.2，选取步骤2中任意一个带噪声图像Y，输入生成器网络F，带噪声的图像Y经过生成器网络F计算，输出一张与输入图像一样大小的去除噪声后的图像fake_img1＝F(Y)；然后将得到的去除噪声后的图像fake_img1输入步骤3.1中的生成器网络G得到大小与输入图像Y相同的加上模拟噪声后的图像fnoised_img＝G(F(Y))，生成器网络F和G的具体计算过程同步骤3.1相同；

如图2所示，在生成器网络结构中，Conv，k7n32s1表示卷积操作，卷积核为32个，卷积核大小为7×7，步长s设为1；INorm表示Instance Normalization归一化操作；ReLU表示一个非线性激活函数；Conv，k3n64s2表示卷积操作，卷积核为64个，卷积核大小为3×3，步长s设为2；Conv，k3n128s2表示卷积操作，卷积核为128个，卷积核大小为3×3，步长s设为2；deConv，k3n64s2表示反卷积操作，反卷积核为64个，反卷积核大小为3×3，步长s设为1/2；deConv，k3n32s2表示反卷积操作，反卷积核为32个，反卷积核大小为3×3，步长s设为1/2；Tanh表示一个非线性激活函数。

如图3所示，是RB1...RB9中的任一个RB网络结构图，其中包括两个卷积操作：Conv，k7n128s1表示卷积操作，卷积核为128个，卷积核大小为7×7，步长s设为1；ReLU表示一个非线性激活函数。

步骤3.3，将步骤3.1得到的图像fake_img0＝G(X)和步骤3.2选取的噪声图像Y分别输入生成网络G对应的辨别器网络D_y，具体操作为：随机取输入图像70x70大小作为输入，然后经过四个不同的卷积模块和一个全连接层模块，输出概率值D_y(G(X))和D_y(Y)，建立生成器G与辨别器D_y的对抗损失函数；

步骤3.4，将步骤3.2得到的图像fake_img1＝F(Y)和步骤3.1选取的干净图像X分别输入生成器网络F对应的辨别器网络D_x，输出概率是D_x(F(Y))和D_x(X)，建立生成器G与辨别器D_y的对抗损失函数；

如图4所示，在辨别器网络结构中：Random Crop 70x70表示从输入图像中随机裁剪出70x70大小的图像块，Conv，k4n64s2表示卷积操作，卷积核为64个，卷积核大小为4×4，步长s设为2；Conv，k4n128s2表示卷积操作，卷积核为128个，卷积核大小为4×4，步长s设为2；Conv，k4n256s2表示卷积操作，卷积核为256个，卷积核大小为4×4，步长s设为2；Conv，k4n512s2表示卷积操作，卷积核为512个，卷积核大小为4×4，步长s设为2；ReLU表示一个非线性激活函数；FC表示全连接层。

设定步骤3.1-3.2生成器G和F之间的循环一致性损失函数为公式(1)：

其中

表示X服从真实干净数据概率分布的期望，

表示Y服从真实带噪数据概率分布的期望，||.||₁表示曼哈顿距离，F(G(X))表示干净图像经过生成器G加噪然后经过生成器F进行去噪后的结果，G(F(Y))表示带噪图像经过生成器F去噪然后经过生成器G进行加噪后的结果；

该损失函数期望图像经过循环转换可以得到与输入图像相似的图像，包括两个操作，首先对于干净图像X，通过循环转换可以得到：X→G(X)→F(G(X))≈X；对于带噪图像Y，通过循环转换可以得到：Y→F(Y)→G(F(Y))≈Y。

设定步骤3.3中生成器G与辨别器D_y的对抗损失函数为公式(2)：

设步骤3.4中生成器F与辨别器D_x的对抗损失函数为公式(3)：

上述对抗损失函数均可以分为两个操作，对于辨别器D_y和D_x其目的是要正确区分真伪，即区分真实数据X，Y和生成数据G(X)，F(Y)，即要使得D_y(Y)，D_x(X)越大、让D_y(G(X))，D_x(F(Y))越小，此时损失函数值往变大的趋势发展，即表示为max。

然后对于生成器G和F，其目的是要让辨别器区分不出它生成的样本与真实样本的区别，即要使得D_y(Y)，D_x(X)越大越好，此时损失函数的往变小的趋势发展，即表示为min。

公式(2)可分解为：

G_Lossθ＝log(1-D_y(G(X)))+λL_cyc(G) (4)

D_yLossω＝-log D_y(Y)-log(1-D_y(G(X))) (5)

其中D_y(G(X))表示生成图像G(X)输入辨别器网络D_y后的输出值，表示该图像为真的概率；D_y(Y)表示带噪图像Y输入辨别网络D_y后的输出值，表示该图像为真的概率；L_cyc(G)表示生成器G的循环一致性损失，λ为常数且λ＝100，G_Lossθ表示生成器G的损失函数，D_yLossω表示辨别器D_y的损失函数，其中θ和ω分别表示为生成器网络G的权重和辨别器网络D_y的权重；

公式(3)可分解为：

F_Lossθ＝log(1-D_x(F(Y)))+λL_cyc(F) (6)

D_xLossω＝-log D_x(X)-log(1-D_x(F(Y))) (7)

其中D_x(F(Y))表示生成图像F(Y)输入辨别器网络D_x后的输出值，表示该图像为真的概率；D_x(X)表示干净图像X输入辨别网络D_x后的输出值，表示该图像为真的概率；L_cyc(F)表示生成器F的循环一致性损失，λ为常数且λ＝100，F_Lossθ表示生成器F的损失函数，D_xLossω表示辨别器D_x的损失函数，其中θ和ω分别表示为生成器网络F的权重和辨别器网络D_x的权重；

对于公式(4)和公式(6)的生成器损失函数，去掉了对抗损失函数的第一项，同时加上了公式(1)中的循环一致性损失，使得生成图像保留更多细节，与目标图像更相近；对于公式(5)和公式(7)的辨别器损失函数，为了保持其与生成函数的一致性将其由正号改为负号，可以同时使用帝都下降法进行求解。

步骤3.5，计算出步骤3.4中生成器G和F以及辨别器D_x和D_y的损失，使用Adam梯度下降方法来依次更新辨别器网络权重Adam(ω,D_yLossω,α)，Adam(ω,D_xLossω,α)和生成器网络的权重Adam(θ,G_Lossθ,α)，Adam(θ,F_Lossθ,α)；

其中α表示梯度下降的学习率且α＝0.0002，

当D_y(G(X))≈D_y(Y)，则fake_img0≈Y，得到经过生成器网络G后的图像fake_img0即为加噪后的图像，训练完成。

步骤4，将待处理的碑帖数据样本带入经步骤3更新的辨别器和生成器中进行加噪，得到模拟噪声后的配对碑帖数据集，具体步骤为：

步骤4.1，将需要加噪的干净碑帖图像二值化，得到二值化后的图像img_bw；人为判断二值化碑帖图像img_bw背景是否为白色，如果不是白色则进行反色操作:img_bw＝1-img_bw；

步骤4.3，将步骤1处理后图像的输入经步骤3更新的生成器G中，得到G(img_bw)，输出结果G(img_bw)即为加上模拟噪声后的结果。

最终训练数据训练完后，得到更新的生成器网络权重，将需要加噪声的干净碑帖图像输入生成器，得到如图6所示的加噪后的碑帖图像。

本发明碑帖二值化背景模拟方法对于古文碑帖、书法汉字由于时间原因所造成的背景杂点，能够正确模拟同时得到与干净碑帖图像对应的带噪图像，为数字化书法图像去噪提供了有效支撑，提高碑帖图像去噪效果，具有很好的使用价值。

Claims (4)

1.基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法，其特征在于，包括如下步骤：

步骤1，建立取样样本；

步骤2，根据步骤1中的取样样本，进行预处理，得到最终训练数据；

步骤3，将步骤2中得到的最终训练数据进行训练，依次更新辨别器权重和生成器权重；

步骤4，将待处理的碑帖数据样本带入经步骤3更新的辨别器和生成器中进行加噪，得到模拟噪声后的配对碑帖数据集；

所述步骤3的具体过程为：

步骤3.1，选取步骤2中任意一个干净图像X，输入生成器网络G，干净的图像X经过生成器网络G计算，输出一张与输入图像一样大小的带有模拟噪声的图像fake_img0＝G(X)，将得到的带有模拟噪声的图像fake_img0输入另一个生成器网络F得到大小与干净图像X相同的对模拟噪声去除后的图像fcleaned_img＝F(G(X))；

步骤3.2，选取步骤2中任意一个带噪声图像Y，输入生成器网络F，带噪声的图像Y经过生成器网络F计算，输出一张与输入图像一样大小的去除噪声后的图像fake_img1＝F(Y)，将得到的去除噪声后的图像fake_img1输入步骤3.1中的生成器网络G得到大小与输入图像Y相同的加上模拟噪声后的图像fnoised_img＝G(F(Y))；

步骤3.3，将步骤3.1得到的图像fake_img0＝G(X)和步骤3.2选取的噪声图像Y分别输入生成网络G对应的辨别器网络D_y，输出概率值D_y(G(X))和D_y(Y)，建立生成器G与辨别器D_y的对抗损失函数；

步骤3.4，将步骤3.2得到的图像fake_img1＝F(Y)和步骤3.1选取的干净图像X分别输入生成器网络F对应的辨别器网络D_x，输出概率是D_x(F(Y))和D_x(X)，建立生成器F与辨别器D_x的对抗损失函数；

步骤3.5，计算出步骤3.4中生成器G和F以及辨别器D_x和D_y的损失，使用Adam梯度下降方法来依次更新辨别器网络权重Adam(ω,D_yLossω,α)，Adam(ω,D_xLossω,α)和生成器网络的权重Adam(θ,G_Lossθ,α)，Adam(θ,F_Lossθ,α)，

其中α表示梯度下降的学习率且α＝0.0002，

当D_y(G(X))≈D_y(Y)，则fake_img0≈Y，得到经过生成器网络G后的图像fake_img0即为加噪后的图像，训练完成；

设定步骤3.1-3.2生成器G和F之间的循环一致性损失函数为公式(1)：

其中

表示X服从真实干净数据概率分布的期望，

表示Y服从真实带噪数据概率分布的期望，||.||₂表示欧式距离，F(G(X))表示干净图像经过生成器G加噪然后经过生成器F进行去噪后的结果，G(F(Y))表示带噪图像经过生成器F去噪然后经过生成器G进行加噪后的结果；

所述步骤3.3的生成器G与辨别器D_y的对抗损失函数为公式(2)：

公式(2)可分解为：

G_Lossθ＝log(1-D_y(G(X)))+λL_cyc(G) (3)

D_yLossω＝-logD_y(Y)-log(1-D_y(G(X))) (4)

其中D_y(G(X))表示生成图像G(X)输入辨别器网络D_y后的输出值，表示该图像为真的概率；D_y(Y)表示带噪图像Y输入辨别网络D_y后的输出值，表示该图像为真的概率；L_cyc(G)表示生成器G的循环一致性损失，λ为常数且λ＝100，G_Lossθ表示生成器G的损失函数，D_yLossω表示辨别器D_y的损失函数，其中θ和ω分别表示为生成器网络G的权重和辨别器网络D_y的权重；

所述步骤3.4生成器F与辨别器D_x的对抗损失函数为公式(5)：

公式(5)可分解为：

F_Lossθ＝log(1-D_x(F(Y)))+λL_cyc(F) (3)

D_xLossω＝-logD_x(X)-log(1-D_x(F(Y))) (4)

其中D_x(F(Y))表示生成图像F(Y)输入辨别器网络D_x后的输出值，表示该图像为真的概率；D_x(X)表示干净图像X输入辨别网络D_x后的输出值，表示该图像为真的概率；L_cyc(F)表示生成器F的循环一致性损失，λ为常数且λ＝100，F_Lossθ表示生成器F的损失函数，D_xLossω表示辨别器D_x的损失函数，其中θ和ω分别表示为生成器网络F的权重和辨别器网络D_x的权重。

2.如权利要求1所述的基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法，其特征在于，所述步骤1的具体过程为：

收集多张碑帖图像，将其人工分为干净图像和噪声图像两类，最终分别得到m张不配对的带噪声图片和干净图像，即为取样样本。

3.如权利要求1所述的基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法，其特征在于，所述步骤2的具体过程为：

步骤2.1，对步骤1取样样本中的带噪图片和干净图片，进行二值化操作，若二值化后的图片背景色为黑色则进行反色操作，即将二值化后的碑帖背景由黑色转为白色，字体由白色转为黑色，便于噪声模拟；

步骤2.2，对步骤2.1处理后的2m张图片，将每张图片随机切割成大小为c×r的图片，即得到2m张大小为c×r的图片；汇总后得到训练数据集；

4.如权利要求1所述的基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法，其特征在于，所述步骤4的具体过程为：

步骤4.1，将需要加噪的干净碑帖图像二值化，得到二值化碑帖图像img_bw；人为判断二值化碑帖图像img_bw背景是否为白色，如果不是白色则进行操作:img_bw＝1-img_bw；

步骤4.3，将步骤1处理后图像的输入经步骤3更新的生成器G中，得到G(img_bw)，输出结果G(img_bw)即加上模拟噪声后的结果。

Images