CN108805833B - 基于条件对抗网络的字帖二值化背景噪声杂点去除方法 - Google Patents

Abstract

本发明公开的基于条件对抗网络的字帖二值化背景噪声杂点去除方法，包括以下步骤：步骤1，建立取样样本；步骤2，根据步骤1中的取样样本，制作人工噪声数据集，得到最终训练数据；步骤3，将步骤2中得到的最终训练数据进行训练，依次更新辨别器和生成器；步骤4，将待处理的字帖数据样本带入步骤3的辨别器和生成器中进行去噪，得到去除噪声杂点后的字帖。本发明字帖二值化背景噪声杂点去除方法对于文献由于历史原因和数字化操作不当所造成的背景杂点，能够有效地去除杂点，对于数字化平台展览提供一个去噪的操作，美化字体图；同时提高分类识别率和切割精度，有很好的使用价值。

Description

基于条件对抗网络的字帖二值化背景噪声杂点去除方法

技术领域

本发明属于图像处理方法技术领域，具体涉及一种基于条件对抗网络的字帖二值化背景噪声杂点去除方法。

背景技术

通过我国传统文化保护战略的引导，现在越来越多的古文书籍、碑帖、藏经等通过数字化手段保存下来，数字化以后这些资料具有很高的研究价值，但是很多资料在数字化的过程中，由于年代过于久远，出现了很多背景杂点，严重影响了古文的美观度以及后续的研究工作。比如在古文字体分类过程中，字体背景杂点的存在严重影响了古文字体的分类识别率；在字体切割过程中，这些背景杂点对于切割的精度也造成了很大的影响；在数字化平台展览过程中，这些背景杂点的存在，使得作品的美观度大打折扣。

鉴于以上种种原因，如何精准去除杂点，去除的同时又能够保护原有字体细节不受损害，成为当下急需解决的一个问题。

发明内容

本发明的目的是提供一种基于条件对抗网络的字帖二值化背景噪声杂点去除方法，解决了现有字帖数字化过程中，由于背景杂点使分类识别率、切割精度降低的问题。

本发明所采用的技术方案是，基于条件对抗网络的字帖二值化背景噪声杂点去除方法，包括以下步骤：

步骤1，建立取样样本；

步骤2，根据步骤1中的取样样本，制作人工噪声数据集，得到最终训练数据；

步骤3，将步骤2中得到的最终训练数据进行训练，依次更新辨别器权重和生成器权重；

步骤4，将待处理的字帖数据样本带入经步骤3更新的辨别器和生成器中进行去噪，得到去除噪声杂点后的字帖。

本发明的特征还在于，

步骤1建立取样样本的具体操作为：

首先在Word文档中输入m页汉字；然后将该Word文档转成pdf格式；最后将pdf格式转成jpg格式图片，最终将得到m张图片，即为取样样本。

步骤2中的具体操作为：

步骤2.1，对步骤1取样样本中的m张图片，每张图片随机切割出i张、大小为c×r的图片，即得到m×i张、大小为c×r的图片；

步骤2.2，对步骤2.1处理后的m×i张图片，每张均制作n个圆形噪声块和n₁个方形噪声块，汇总后得到人工噪声数据集；

步骤2.3，将步骤2.1中未加噪声和步骤2.2后加噪声后的图像一一对应，形成m×i个图像对X＝{noised_img，clean_img}，其中noised_img和clean_img分别表示添加噪声后的图像和添加噪声前的图像，得到最终训练数据。

步骤2.2制作圆形噪声块具体操作为：

按照公式(1)进行处理：

其中，R₀表示该圆形噪声块的半径，U表示均匀分布，半径R₀大小服从[1，3]的均匀分布；(x₀，y₀)表示噪声块中心点的坐标值，x₀为横坐标值，y₀为纵坐标值；(x，y)表示噪声块中心点的坐标，x为横坐标，y为纵坐标，x服从[R₀，c-R₀]的均匀分布，其中c表示图像的长度，y服从[R₀，r-R₀]的均匀分布，r表示图像的高，n表示圆形噪声块的个数。

步骤2.2制作方形噪声块具体操作为：

按照公式(2)进行处理：

其中，R1_表示该方形噪声块的边长，U表示均匀分布，边长R₁大小服从[1，6]的均匀分布；(x₁，y₁)表示噪声块中心点的坐标值，x₀为横坐标值，y₀为纵坐标值；(x₂，y₂表示噪声块中心点的坐标,x₂横坐标，y₂为纵坐标，x₂服从[R₀，c-R₀]的均匀分布，其中c表示图像的长，y₂服从[R₀，r-R₀]的均匀分布，其中r表示图像的宽，n₁表示方形噪声块的个数。

步骤3具体步骤为：

步骤3.1，选取步骤2中任意一个带噪声的图像noised_img，输入生成器网络G，带噪声的图像noised_img经过生成器网络计算，输出一张与输入图像一样大小的图像fake_img＝G(noised_img)；

步骤3.2，将步骤3.1得到的图像fake_img＝G(noised_img)与带噪声的图像noised_img组成图像对，记为Y＝{noised_img，fake_img}，随后将图像对X和图像对Y分别输入辨别器网络D，输出概率值D(X)和D(Y)；

步骤3.3，设步骤3.2中对抗网络损失函数为公式(3)：

其中，表示X服从真实数据概率分布的期望；表示Y服从生成数据概率分布的期望；

将步骤(3)分解为：

其中，D(X)表示图像对X输入辨别器网络后的输出值，表示该图像对是否为真的概率；D(Y)表示图像对Y输入辨别器网络后的输出值，表示该生成图像对是否为真的概率，表示生成器的损失函数，表示辨别器的损失函数，λ为常数且λ＝100，L表示损失值，L₁表示曼哈顿距离，L_L1表示L₁距离的损失值，w和θ分别表示为辨别器网络D的权重和生成器网络G的权重；

步骤3.4，计算出步骤3.3中生成器的损失和辨别器的损失，使用Adam梯度下降方法来依次更新辨别器网络权重和生成器网络的权重

其中α表示梯度下降的学习率且α＝0.0001，

当D(X)≈D(Y)，则fake_img≈clean_img，得到经过生成器网络G后的图像fake_img即为去噪后的图像，训练完成。

步骤4具体步骤为：

步骤4.1，将带噪声杂点的字帖图像二值化，得到二值化字帖图像img_bw；人为判断二值化字帖图像img_bw背景是否为白色，如果不是白色则进行操作:img_bw＝1-img_bw；

步骤4.3，将步骤1处理后图像的输入经步骤3更新的生成器中，得到G(img_bw)，输出结果G(img_bw)即去除噪声杂点后的结果。

本发明字帖二值化背景噪声杂点去除方法的有益效果是：

(1)本发明字帖二值化背景噪声杂点去除方法主要是基于生成式对抗网络和人工杂点数据集进行训练和图像生成，能够最大限度地去除背景杂点以及保护字体细节；

(2)本发明字帖二值化背景噪声杂点去除方法，能够为古文献数字化的后续研究提供一个很好的预处理操作；

(3)本发明字帖二值化背景噪声杂点去除方法对于文献由于历史原因和数字化操作不当所造成的背景杂点，能够有效地去除杂点，对于数字化平台展览提供一个去噪的操作，美化字体图；同时提高分类识别率和切割精度，有很好的使用价值。

附图说明

图1是本发明基于条件对抗网络的字帖二值化背景噪声杂点去除方法中训练数据的流程图；

图2是本发明基于条件对抗网络的字帖二值化背景噪声杂点去除方法中生成器网络结构图；

图3是本发明基于条件对抗网络的字帖二值化背景噪声杂点去除方法中生成器网络结构内残差稠密模块(RDB)网络结构图；

图4是本发明基于条件对抗网络的字帖二值化背景噪声杂点去除方法中辨别器网络结构图；

图5是本发明基于条件对抗网络的字帖二值化背景噪声杂点去除方法的实施例去噪图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于条件对抗网络的字帖二值化背景噪声杂点去除方法，包括以下步骤：

步骤1，建立取样样本。

首先在Word文档中输入m页汉字；然后将该Word文档转成pdf格式；最后将pdf格式转成jpg格式图片，最终将得到m张图片，即为取样样本。

步骤2，根据步骤1中的取样样本，制作人工噪声数据集，得到最终训练数据。

步骤2.1，对步骤1取样样本中的m张图片，每张图片随机切割出i张、大小为c×r的图片，即得到m×i张、大小为c×r的图片；

步骤2.2，对步骤2.1处理后的m×i张图片，每张均制作n个圆形噪声块和n₁个方形噪声块，汇总后得到人工噪声数据集；

其中制作圆形噪声块具体操作为：

按照公式(1)进行处理：

其中，R₀表示该圆形噪声块的半径，U表示均匀分布，半径R₀大小服从[1，3]的均匀分布；(x₀，y₀)表示噪声块中心点的坐标值，x₀为横坐标值，y₀为纵坐标值；(x，y)表示噪声块中心点的坐标，x为横坐标，y为纵坐标，x服从[R₀，c-R₀]的均匀分布，其中c表示图像的长度，y服从[R₀，r-R₀]的均匀分布，r表示图像的高，n表示圆形噪声块的个数；

制作方形噪声块具体操作为：

按照公式(2)进行处理：

其中，R₁表示该方形噪声块的边长，U表示均匀分布，边长R₁大小服从[1，6]的均匀分布；(x₁，y₁)表示噪声块中心点的坐标值，x₀为横坐标值，y₀为纵坐标值；(x₂，y₂)表示噪声块中心点的坐标,x₂横坐标，y₂为纵坐标，x₂服从[R₀，c-R₀]的均匀分布，其中c表示图像的长，y₂服从[R₀，r-R₀]的均匀分布，其中r表示图像的宽，n₁表示方形噪声块的个数。

步骤2.3，将步骤2.1中未加噪声和步骤2.2后加噪声后的图像一一对应，形成m×i个图像对X＝{noised_img，clean_img}，其中noised_img和clean_img分别表示添加噪声后的图像和添加噪声前的图像，得到最终训练数据。

步骤3，将步骤2中得到的最终训练数据进行训练，依次更新辨别器权重和生成器权重。如图1所示为训练的框架过程图：

步骤3.1，选取步骤2中任意一个带噪声的图像noised_img，输入生成器网络G，带噪声的图像noised_img经过生成器网络计算，具体为：先经过两个卷积模块，然后经过6个RDB模块，最后经过一个反卷积模块和一个Tanh模块，输出一张与输入图像一样大小的图像fake_img＝G(noised_img)；

如图2所示，在生成器网络结构图中：Conv，32，k7，s1表示卷积操作，卷积核为32个、卷积核的大小为7x7、步长s设置为1；ReLU表示一个非线性激活函数；Dropout表示随机丢弃操作，增加输出结果的随机性。Conv，64，k5，s2表示卷积操作，卷积核为64个、卷积核大小为5x5、步长s设置为2；InstanceNorm表示Instance Normalization归一化操作；Conv，32，k5，s1/2，表示反卷积操作，反卷积核为32个、反卷积核大小为5x5、步长为s为1/2，Conv，1，k7，s1表示卷积操作，卷积核为1个，卷积核大小为7x7、步长s为1；Tanh表示一个非线性激活函数。

如图3所示为RDB1…RDB6中任意一个RDB网络结构图。其中，Conv1～Conv6分别表示6个卷积操作，Conv，32，k3，s1表示卷积操作，卷积核为32个、卷积核的大小为3x3、步长s设置为1。使以下公式表示网络结构中国你特征传递过程：

F_n＝ReLU(W_n[F₀，F₁，…，F_n-1])，n∈{1，2，3，4，5，6}

公式中，F₀，F₁，...，F_n-1分别表示每一个ConvBlock的输出，W_n表示每一个ConvBlock内的权重参数，ReLU表示一个非线性激活函数，Concat表示F₀，F₁，...，F₆在第三个通道方向相互连接，经过Conv，k1，s1卷积操作使得F₇与F₀的通道数相同，最后F₇与F₀两个张量相加，输出F₈，即为一个RDB的输出。

步骤3.2，将步骤3.1得到的图像fake_img＝G(noised_img)与带噪声的图像noised_img组成图像对，记为Y＝{noised_img，fake_img}，随后将图像对X和图像对Y分别输入辨别器网络D，输出概率值D(X)和D(Y)；在辨别器网络D具体为：该网络结构分为6个模块，第一个模块为随机取图像对70x70大小的块，作为输入，随后是四个不同的卷积模块，最后一个模块为全卷积模块，最终经过sigmoid激活函数，输出概率值，其中D(X)表示图像对X输入辨别器网络后的输出值，表示该图像对是否为真的概率；D(Y)表示图像对Y输入辨别器网络后的输出值，表示该生成图像对是否为真的概率；

如图4所示，在辨别器网络结构图中：Random Crop 70x70表示输入的图像中随机裁剪出70x70大小的图像块。Conv，64，k5，s2表示卷积操作，卷积核为64个、卷积核大小为5x5、步长s为2。Leaky ReLU表示非线性激活函数。Conv，128，k5，s2表示卷积操作，卷积核为128个、卷积核大小为5x5、步长s为2。InstanceNorm表示Instance Normalization归一化操作。Conv，256，k5，s2表示卷积操作，卷积核为256个、卷积核大小为5x5、步长s为2。Conv，512，k5，s2表示卷积操作，卷积核为512个，卷积核大小为5x5，步长s为2。Fully Conv表示全连接层。Sigmoid表示非线性激活函数。

步骤3.3，设步骤3.2中对抗网络损失函数为公式(3)：

其中，表示X服从真实数据概率分布的期望；表示Y服从生成数据概率分布的期望；

该损失函数包含两个操作，对于辨别器，其目的是要正确区分真伪，即区分真实数据X和生成数据Y，即要使得D(X)越大、让D(Y)越小，此时损失函数值往变大的趋势发展，即表示为max。

然后对于生成器，其目的是要让辨别器区分不出它生成的样本与真实样本的区别，即要使得D(Y)越大越好，此时损失函数的往变小的趋势发展，即表示为min。

将步骤(3)分解为：

其中，D(X)表示图像对X输入辨别器网络后的输出值，表示该图像对是否为真的概率；D(Y)表示图像对Y输入辨别器网络后的输出值，表示该生成图像对是否为真的概率，表示生成器的损失函数，表示辨别器的损失函数，λ为常数且λ＝100，L表示损失值，L₁表示曼哈顿距离，L_L1表示L₁距离的损失值，W和θ分别表示为辨别器网络D的权重和生成器网络G的权重；

不同于对抗网络损失函数定义，对于辨别器的损失函数添加了一个负号，目的是为了统一两个损失函数均为求最小值，能够用梯度下降同时解决。对于生成器的损失函数去掉了第一项，增加了一项L₁距离、曼哈顿距离损失函数，使得fake_img不至于损失太多的细节。

步骤3.4，计算出步骤3.3中生成器的损失和辨别器的损失，使用Adam梯度下降方法来依次更新辨别器网络权重和生成器网络的权重

其中α表示梯度下降的学习率且α＝0.0001，

当D(X)≈D(Y)，则fake_img≈clean_img，得到经过生成器网络G后的图像fake_img即为去噪后的图像，训练完成。

步骤4，将待处理的字帖数据样本带入经步骤3更新的辨别器和生成器中进行去噪，得到去除噪声杂点后的字帖。

步骤4.1，将带噪声杂点的字帖图像二值化，得到二值化字帖图像img_bw；人为判断二值化字帖图像img_bw背景是否为白色，如果不是白色的则进行操作:img_bw＝1-img_bw；

步骤4.3，将步骤1处理后的输入经步骤3更新的生成器中，得到G(img_bw)，输出结果G(img_bw)即去除噪声杂点后的结果。

最终训练数据训练完后，得到更新的生成器网络权重，随后将带噪声的图像输入生成器，如图5所示是噪声图像输入生成器网络后输出的是一张不带噪声的图像。

本发明字帖二值化背景噪声杂点去除方法对于文献由于历史原因和数字化操作不当所造成的背景杂点，能够有效地去除杂点，对于数字化平台展览提供一个去噪的操作，美化字体图；同时提高分类识别率和切割精度，有很好的使用价值。

Claims (3)

1.基于条件对抗网络的字帖二值化背景噪声杂点去除方法，其特征在于，包括以下步骤：

步骤1，建立取样样本；

首先在Word文档中输入m页汉字；然后将该Word文档转成pdf格式；最后将pdf格式转成jpg格式图片，最终将得到m张图片，即为取样样本；

步骤2，根据步骤1中的取样样本，制作人工噪声数据集，得到最终训练数据；

步骤2.1，对步骤1取样样本中的m张图片，每张图片随机切割出i张、大小为c×r的图片，即得到m×i张、大小为c×r的图片；

步骤2.2，对步骤2.1处理后的m×i张图片，每张均制作n个圆形噪声块和n₁个方形噪声块，汇总后得到人工噪声数据集；

制作圆形噪声块具体操作为：

按照公式(1)进行处理：

其中，R₀表示该圆形噪声块的半径，U表示均匀分布，半径R₀大小服从[1,3]的均匀分布；(x₀,y₀)表示噪声块中心点的坐标值，x₀为横坐标值，y₀为纵坐标值；(x,y)表示噪声块中心点的坐标，x为横坐标，y为纵坐标，x服从[R₀,c-R₀]的均匀分布，其中c表示图像的长度，y服从[R₀,r-R₀]的均匀分布，r表示图像的高，n表示圆形噪声块的个数；

制作方形噪声块具体操作为：

按照公式(2)进行处理：

其中，R₁表示该方形噪声块的边长，U表示均匀分布，边长R₁大小服从[1,6]的均匀分布；(x₁,y₁)表示噪声块中心点的坐标值，x₁为横坐标值，y₁为纵坐标值；(x₂,y₂)表示噪声块中心点的坐标,x₂横坐标，y₂为纵坐标，x₂服从[R₁,c-R₁]的均匀分布，其中c表示图像的长，y₂服从[R₁,r-R₁]的均匀分布，其中r表示图像的高，n₁表示方形噪声块的个数；

步骤2.3，将步骤2.1中未加噪声和步骤2.2加噪声后的图像一一对应，形成m×i个图像对X＝{noised_img,clean_img}，其中noised_img和clean_img分别表示添加噪声后的图像和添加噪声前的图像，得到最终训练数据；

步骤3，将步骤2中得到的最终训练数据进行训练，依次更新辨别器权重和生成器权重；

步骤4，将待处理的字帖数据样本带入经步骤3更新的辨别器和生成器中进行去噪，得到去除噪声杂点后的字帖。

2.根据权利要求1所述的基于条件对抗网络的字帖二值化背景噪声杂点去除方法，其特征在于，所述步骤3具体步骤为：

步骤3.1，选取步骤2中任意一个带噪声的图像noised_img，输入生成器网络G，所述带噪声的图像noised_img经过生成器网络计算，输出一张与输入图像一样大小的图像fake_img＝G(noised_img)；

步骤3.2，将步骤3.1得到的图像fake_img＝G(noised_img)与带噪声的图像noised_img组成图像对，记为Y＝{noised_img，fake_img}，随后将图像对X和图像对Y分别输入辨别器网络D，输出概率值D(X)和D(Y)；

步骤3.3，设步骤3.2中对抗网络损失函数为公式(3)：

其中，表示X服从真实数据概率分布的期望；表示Y服从生成数据概率分布的期望；

将步骤(3)分解为：

其中，D(X)表示图像对X输入辨别器网络后的输出值，表示该图像对是否为真的概率；D(Y)表示图像对Y输入辨别器网络后的输出值，表示该生成图像对是否为真的概率，表示生成器的损失函数，表示辨别器的损失函数，λ为常数且λ＝100，L表示损失值，L₁表示曼哈顿距离，L_L1表示L₁距离的损失值，w和θ分别表示为辨别器网络D的权重和生成器网络G的权重；

步骤3.4，计算出步骤3.3中生成器的损失和辨别器的损失，使用Adam梯度下降方法来依次更新辨别器网络权重和生成器网络的权重

其中α表示梯度下降的学习率且α＝0.0001，

当D(X)≈D(Y)，则fake_img≈clean_img，得到经过生成器网络G后的图像fake_img即为去噪后的图像，训练完成。

3.根据权利要求2所述的基于条件对抗网络的字帖二值化背景噪声杂点去除方法，其特征在于，所述步骤4具体步骤为：

步骤4.1，将带噪声杂点的字帖图像二值化，得到二值化字帖图像img_bw；人为判断二值化字帖图像img_bw背景是否为白色，如果不是白色的则进行操作:img_bw＝1-img_bw；

步骤4.3，将步骤1处理后的输入经步骤3更新的生成器中，得到G(img_bw)，输出结果G(img_bw)即去除噪声杂点后的结果。