CN106340027A - 一种基于图像超分辨率的书法背景重建方法 - Google Patents

Abstract

本发明公开了一种基于图像超分辨率的书法背景重建方法，该方法首先在书法背景的彩色图像中选取包含噪声较少的部分背景进行背景重建，同时分割出书法作品中背景、文字和印章信息，并对背景、文字以及印章信息进行像素级的融合，得到最终的重建图像。本发明很好的解决了传统去噪方法导致艺术信息损失的问题，提高了书法作品的艺术信息的完整性；另外，本发明有效的解决了传统方法无法处理书法作品中墨迹扩散、自然风化等噪声的问题，得到了高质量的书法背景图像，提高了书法作品艺术信息的观赏价值。

Description

一种基于图像超分辨率的书法背景重建方法

技术领域

本发明属于图像处理技术领域，涉及一种基于图像超分辨率的书法背景重建方法，用于中国书法艺术研究和历史文化遗产保护中，对包含大量噪声的书法作品的背景图像进行修复。

背景技术

在中国书法艺术研究和历史文化遗产保护领域中，为能够使中国古代书法作品具有更好的观赏价值，去除图像背景中由于人为因素或自然风化造成的墨迹扩散，纸质污染等噪声，一般采用图像去噪的方法。目前对书法图像的去噪主要是针对一般的图像，如均值滤波、引导滤波等。但是这些去噪方法对书法背景中的噪声去除并不完全，并且会对文字和印章这些艺术信息造成损失，因此传统的这些去噪方法不能很好地应用于书法作品中背景的去噪过程。

发明内容

针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于图像超分辨率的书法背景重建方法，以解决现有的去噪技术无法有效去除书法作品中由于风化和人为因素造成的大量噪声的缺点，提高书法作品的观赏价值。

为了实现上述任务，本发明采用以下技术方案：

一种基于图像超分辨率的书法背景重建方法，包括以下步骤：

步骤一，利用软件读取待处理的书法作品的彩色图像；

步骤二，在彩色图像中，选取包含较少噪声的背景区域；

步骤三，对步骤二得到的背景区域进行背景重建，得到重建后的背景图像；

步骤四，分割书法作品彩色图像的背景、文字和印章，得到文字信息与印章信息；

步骤五，对步骤三得到的重建后的背景图像和步骤四中的文字信息、印章信息进行像素级的融合，完成。

进一步地，所述的步骤三中，对背景区域进行背景重建的方法包括：

步骤S30，定义图像退化模型为：

Y＝DP X+N

上式中，X为重建后的背景图像，Y为背景区域图像，D和P分别为衍射效应和欠采样的操作算子，而N为加性高斯白噪声；

步骤S31，利用分层思想，记X′＝PX，则退化模型转化为：

$\left\{\begin{array}{c}Y=D{X}^{\′}+N\\ X^{\′}=PX\end{array}\right.$

步骤S32，为了求解步骤S31中的方程组，构造带约束的能量函数：

$L_2\left(X^{\′}\right)=\frac{1}{2}\left(\right||Y-{\mathrm{DX}}^{\′}|{|}_2^2+T\left|\right|{\mathrm{NX}}^{\′}\left|{|}_2^2\right)$

上式中，T为数值型参数，用于限制约束条件对能量函数的影响；对上式进行求导并令其等于0，可得：

D^TDX'+ΤN^TNX'-D^TY＝0

对上式进行转换，得到：

D'AX'＝N'

其中，D'＝D^TD+ΤN^TN，N'＝D^TY；

通过基于梯度的迭代，对X'₁赋予随机初值，令X'_k+1＝ρX'_k,k＝1,2,3…，ρ∈(1,5]；直至满足收敛条件D'AX'-N'＜10³，即求得X'；其中(X'₁,X'₂,...,X'_k+1)∈X'；

步骤S33，将步骤S32求得的X′代入X′＝PX，同样利用基于梯度的迭代，对X₁赋予随机初值，令X_k+1＝λX_k,k＝1,2,3…，λ∈(1,5]直至满足收敛条件X'-PX＜10³，即求得X；其中(X₁,X₂,...,X_k+1)∈X。

进一步地，所述的步骤四中得到文字信息与印章信息的具体方法包括：

步骤S40，利用彩色图像的颜色和位置信息提取特征向量，公式如下：

X(i)＝(cos(h),sin(h),s,v,x,y)_i

上式中，X(i)是特征向量，h，s，v分别是彩色图像HSV颜色的空间的三个分量，x，y为像素的位置坐标；

步骤S41，定义核函数：

k(i,j)＝1-||X(i)-X(j)||/C

在上式中，k(i,j)为核函数，X(i)和X(j)为不同的特征向量，C为权值调节系数，k(i,j)∈(0,1)；

将核函数k(i,j)代入相似矩阵A中，即A_ij＝k(i,j)，得到拉普拉斯矩阵：

L＝D-A

上式中，D为对角矩阵，D的对角线上的元素D_ii是对角矩阵D上第i行，第i列的元素，A_ij是相似矩阵A中第i行，第j列的元素；

步骤S42，加入用户约束信息得到封闭解α₁：

α₁＝(L+λM)^-1(λV)

上式中，M为对角矩阵，表示用户对已知像素点的标记，V为向量，表示用户对书法作品中文字的标记，λ为约束系数，范围为[10,1000]；

利用封闭解α₁，得到书法中文字信息C：

C＝α₁I

上式中，I为步骤一中所述的书法作品的彩色图像；

步骤S43，利用步骤S41得到的结果，再加入用户约束信息，得到封闭解α₂：

α₂＝(L+λM)^-1(λN)

上式中，M为对角矩阵，表示用户对已知像素点的标记，N为向量，表示用户对书法作品中印章的标记，λ为约束系数，范围为[10,1000]；

利用封闭解α₂，得到印章信息S：

S＝α₂I

本发明与现有技术相比具有以下技术特点：

1.本发明中使用的抠图算法，对复杂墨迹变化和模糊的印章敏感，边缘识别准确，有效的将文字和印章与背景分离，很好的解决了传统去噪方法导致艺术信息损失的问题，提高了书法作品的艺术信息的完整性；

2.本发明中使用的背景重建方法，利用书法作品背景中含有较少噪声的区域，通过图像超分辨率重建得到新的书法背景，有效的解决了传统方法无法处理书法作品中墨迹扩散、自然风化等噪声的问题，得到了高质量的书法背景图像，提高了书法作品艺术信息的观赏价值。

附图说明

图1为本发明方法的整体流程图；

图2为张旭《古诗四首》的局部图像(包含噪声)；

图3为本背景重建和背景、文字、印章分割的示意图，其中(a)为提取出的文字信息，(b)为提取出的印章信息，(c)为重建后的背景图像；

图4为对步骤三得到的结果进行像素级融合后的结果图；

图5为董其昌《册页》实验结果对比；

图6和图7为黄庭坚《松风阁诗》中不同片段的实验结果对比；

图8为怀素《古诗四首》实验结果对比；

在图5至图8中，(a)表示原始图像，(b)表示采用均值滤波方法对原始图像进行处理后得到的图像，(c)表示采用中值滤波方法对原始图像进行处理后得到的图像，(d)表示采用高斯滤波方法对原始图像进行处理后得到的图像，(e)为采用本发明方法对原始图像处理后得到的图像。

具体实施方式

一、步骤详解

本发明的流程图如图1所示，具体过程如下：

一种基于图像超分辨率的书法背景重建方法，包括以下步骤：

步骤一，在计算机中使用软件读取待处理的书法作品的彩色图像；所述的软件可以采用Matlab软件；

步骤二，观察书法作品的彩色图像，从彩色图像中选取包含较少噪声的背景区域；这里的噪声是指外界因素对原图像背景的影响，如模糊点、污点等；而这个步骤需要整体观察书法作品，在除了文字信息、印章信息之外的背景中，找出相对于其他背景中包含噪声较少的背景区域；例如在图5(a)给出的这个示例图像中，除了文字信息和图像中的三个印章信息之外，还存在一些污点和模糊点，而背景的整体色彩是浅黄色。通过对整个书法作品的观察，发现左下角上下两个印章之间的区域背景色彩一致，其中的污点、模糊点相对于其他的背景较少，整体色泽单一，因此可选择这部分区域。

步骤三，以步骤二得到的背景区域作为输入样本图像，对背景区域进行重建，得到重建后的背景图像，重建算法具体过程如下：

步骤S30，定义图像退化模型为：

Y＝DP X+N

上式中，X为重建后的背景图像，Y为背景区域图像，D和P分别为衍射效应和欠采样的操作算子，而N为加性高斯白噪声；

步骤S31，利用分层思想，记X′＝PX，则退化模型转化为：

$\left\{\begin{array}{c}Y=D{X}^{\′}+N\\ X^{\′}=PX\end{array}\right.$

步骤S32，为了求解步骤S31中的方程组，构造如下的能量函数：

$L_1\left(X^{\′}\right)=\frac{1}{2}\left|\right|Y-{\mathrm{DX}}^{\′}|{|}_2^2$

则将退化模型转化为求上式最小值的问题，因此对上式进行求导并令其等于0，可得：

D^T(DX'-N)＝0

但上式无法保证算子D^TD的可逆性，因此其解不唯一，故构造新的带约束的能量函数：

$L_2\left(X^{\′}\right)=\frac{1}{2}\left(\right||Y-{\mathrm{DX}}^{\′}|{|}_2^2+T\left|\right|{\mathrm{NX}}^{\′}\left|{|}_2^2\right)$

上式中，T为数值型参数，用于限制约束条件对能量函数的影响；对上式进行求导并令其等于0，可得：

D^TDX'+ΤN^TNX'-D^TY＝0

对上式进行转换，得到：

D'AX'＝N'

其中，D'＝D^TD+ΤN^TN，N'＝D^TY；

通过基于梯度的迭代，对X'₁赋予随机初值，令X'_k+1＝ρX'_k,k＝1,2,3…，ρ∈(1,5]；直至满足收敛条件D'AX'-N'＜10³，即求得X'；其中(X'₁,X'₂,...,X'_k+1)∈X'；

步骤S33，将步骤S32求得的X′代入X′＝PX，同样利用基于梯度的迭代，对X₁赋予随机初值，令X_k+1＝λX_k,k＝1,2,3…，λ∈(1,5]直至满足收敛条件X'-PX＜10³，即求得X，即为重建后的背景图像；其中(X₁,X₂,...,X_k+1)∈X。

步骤四，利用抠图的方法分割书法作品彩色图像的背景、文字和印章，得到文字信息与印章信息；具体过程包括：

步骤S40，利用彩色图像的颜色和位置信息提取特征向量，公式如下：

X(i)＝(cos(h),sin(h),s,v,x,y)_i

上式中，X(i)是特征向量，h，s，v分别是彩色图像HSV颜色的空间的三个分量，x，y为像素的位置坐标；

步骤S41，定义核函数：

k(i,j)＝1-||X(i)-X(j)||/C

在上式中，k(i,j)为核函数，X(i)和X(j)为不同的特征向量，C为权值调节系数，k(i,j)∈(0,1)；

将核函数k(i,j)代入相似矩阵A中，即A_ij＝k(i,j)，得到拉普拉斯矩阵L：

L＝D-A

上式中，D为对角矩阵，D的对角线上的元素D_ii是对角矩阵D上第i行，第i列的元素，A_ij是相似矩阵A中第i行，第j列的元素；

上式中求得的拉普拉斯矩阵L，是后续求解文字信息以及图像信息的基础。

步骤S42，加入用户约束信息，即用户对书法作品中文字、印章和背景的标记，得到封闭解α₁：

α₁＝(L+λM)^-1(λV)

上式中，M为对角矩阵，表示用户对已知像素点(文字、印章和背景)的标记，V为向量，表示用户对书法作品图像中文字的标记，λ为约束系数，范围为[10,1000]；L为步骤S41中求得的拉普拉斯矩阵；

利用封闭解α₁，得到书法中文字信息C：

C＝α₁I

上式中，I为步骤一中所述的书法作品的彩色图像，即原始图像；

步骤S43，利用步骤S41得到的结果(即最后得到的拉普拉斯矩阵L)，再加入用户约束信息(用户对书法作品图像中文字、印章和背景的标记)，得到封闭解α₂：

α₂＝(L+λM)^-1(λN)

上式中，M为对角矩阵，表示用户对已知像素点(文字、印章和背景)的标记，N为向量，表示用户对图像中印章的标记，λ为约束系数，范围为[10,1000]；

利用封闭解α₂，得到印章信息S：

S＝α₂I

步骤五，对步骤三得到的重建后的背景图像和步骤四中的文字信息、印章信息进行像素级的融合，完成。

将背景图像X，文字信息C,印章信息S进行融合，融合策略用伪代码描述如下：

if C(x,y)<255

f(x,y)＝C(x,y)

else

if S(x,y)<255

f(x,y)＝S(x,y)

else

f(x,y)＝X(x,y)

其中C(x,y)是文字信息图像C中一点，S(x,y)是印章信息图像S中一点，f(x,y)是图像融合结果中一点。

二、仿真实验

对本发明中提出的书法背景重建方法的仿真。

仿真条件是MATLAB R2010a 32位软件下进行。

参照图2至图4，对书法图像张旭的《古诗四首》进行仿真实验的过程。本发明的方法与经典的去噪算法均值滤波、中值滤波、高斯滤波的实验结果进行对比。图5对董其昌《册页》进行仿真实验的结果对比图，图6和图7对黄庭坚《诸上座草书卷》中不同片段进行仿真实验的结果对比图，图8为对怀素《古诗四首》进行仿真实验的结果对比图。对比过程中采用的现有技术算法为：均值滤波算法、中值滤波算法以及高斯滤波算法，分别为图5至图8中的(b)至(d)。(e)为利用本发明方法处理后得到的图像。

从图5至图8中的原始彩色图像(a)中可以看到，这些原始图像包含大量的噪声，影响了书法的观感。从图5至图8的(b)至(d)中可以看到，在现有的方法中，均值滤波、中值滤波、高斯滤波对背景中噪声去除效果十分微小，并导致图像模糊，无法有效进行书法字的背景去噪。

参见图5至图8中的(e)，本发明的方法通过提取文字和印章信息，对噪声背景图像进行图像超分辨率重建，得到新的背景图像，在将文字和印章信息与新的背景进行融合，即可得到最终的结果。在结果图像中，很好的去除了背景中的噪声，书法作品本身的信息也得到了很好的保留。

Claims (3)

1.一种基于图像超分辨率的书法背景重建方法，其特征在于，包括以下步骤：

步骤一，利用软件读取待处理的书法作品的彩色图像；

步骤二，在彩色图像中，选取包含较少噪声的背景区域；

步骤三，对步骤二得到的背景区域进行背景重建，得到重建后的背景图像；

步骤四，分割书法作品彩色图像的背景、文字和印章，得到文字信息与印章信息；

步骤五，对步骤三得到的重建后的背景图像和步骤四中的文字信息、印章信息进行像素级的融合，完成。

2.如权利要求1所述的基于图像超分辨率的书法背景重建方法，其特征在于，所述的步骤三中，对背景区域进行背景重建的方法包括：

步骤S30，定义图像退化模型为：

Y＝DP X+N

上式中，X为重建后的背景图像，Y为背景区域图像，D和P分别为衍射效应和欠采样的操作算子，而N为加性高斯白噪声；

步骤S31，利用分层思想，记X′＝PX，则退化模型转化为：

步骤S32，为了求解步骤S31中的方程组，构造带约束的能量函数：

上式中，T为数值型参数，用于限制约束条件对能量函数的影响；对上式进行求导并令其等于0，可得：

D^TDX'+TN^TNX'-D^TY＝0

对上式进行转换，得到：

D'AX'＝N'

其中，D'＝D^TD+TN^TN，N'＝D^TY；

通过基于梯度的迭代，对X'₁赋予随机初值，令X'_k+1＝ρX'_k,k＝1,2,3…，ρ∈(1,5]；直至满足收敛条件D'AX'-N'＜10³，即求得X'；其中(X'₁,X'₂,...,X'_k+1)∈X'；

步骤S33，将步骤S32求得的X′代入X′＝PX，同样利用基于梯度的迭代，对X₁赋予随机初值，令X_k+1＝λX_k,k＝1,2,3…，λ∈(1,5]直至满足收敛条件X'-PX＜10³，即求得X；其中(X₁,X₂,...,X_k+1)∈X。

3.如权利要求1所述的基于图像超分辨率的书法背景重建方法，其特征在于，所述的步骤四中得到文字信息与印章信息的具体方法包括：

步骤S40，利用彩色图像的颜色和位置信息提取特征向量，公式如下：

X(i)＝(cos(h),sin(h),s,v,x,y)_i

上式中，X(i)是特征向量，h，s，v分别是彩色图像HSV颜色的空间的三个分量，x，y为像素的位置坐标；

步骤S41，定义核函数：

k(i,j)＝1-||X(i)-X(j)||/C

在上式中，k(i,j)为核函数，X(i)和X(j)为不同的特征向量，C为权值调节系数，k(i,j)∈(0,1)；

将核函数k(i,j)代入相似矩阵A中，即A_ij＝k(i,j)，得到拉普拉斯矩阵：

L＝D-A

上式中，D为对角矩阵，D的对角线上的元素D_ii是对角矩阵D上第i行，第i列的元素，A_ij是相似矩阵A中第i行，第j列的元素；

步骤S42，加入用户约束信息得到封闭解α₁：

α₁＝(L+λM)^-1(λV)

上式中，M为对角矩阵，表示用户对已知像素点的标记，V为向量，表示用户对书法作品中文字的标记，λ为约束系数，范围为[10,1000]；

利用封闭解α₁，得到书法中文字信息C：

C＝α₁I

上式中，I为步骤一中所述的书法作品的彩色图像；

步骤S43，利用步骤S41得到的结果，再加入用户约束信息，得到封闭解α₂：

α₂＝(L+λM)^-1(λN)

上式中，M为对角矩阵，表示用户对已知像素点的标记，N为向量，表示用户对书法作品中印章的标记，λ为约束系数，范围为 [10,1000]；

利用封闭解α₂，得到印章信息S：

S＝α₂I 。