CN111915507A - 一种壁画脱落的修复方法 - Google Patents

Abstract

本发明公开了一种壁画脱落的修复方法，依据不同色彩空间中脱落处像素值表现差异，交互式分割出脱落二值图像，获得较为精确的标定掩膜图。针对传统Criminisi算法的不足，充分利用结构张量与图像纹理之间的联系，构建出新的优先权函数，同时对原算法函数进行了分段计算，提高了修复顺序的准确性，克服结构断裂和纹理错误延伸等缺点，有效地提高了图像修复质量。

Description

一种壁画脱落的修复方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种壁画脱落的修复方法。

背景技术

我国作为四大文明古国之一，历史上流传下来的文物种类繁多，数量庞大，并且载体不一，如石刻、建筑、书画和壁画等。其中，壁画因其色彩多变，蕴含的信息丰富，并且上起十六国、下至元代，历史悠久，在世界上享有很高的声誉。这些壁画反映了当时人们的美好愿景和生活习俗，承载着人类历史文化发展的内涵，对于学者研究古代文明具有重要的参考意义。

但是由于长期遭受自然环境的侵蚀以及人为因素的影响，这些壁画受到严重的损害，极易出现不同程度的脱落、龟裂以及起甲等病害，使其艺术价值大打折扣。对脱落壁画的实体修复工作需要经验丰富的专业画师，并且费时费工，风险颇高。而利用计算机技术对破损壁画进行数字化修复不仅可以实现壁画的虚拟展示等工作，还为壁画的实体修复过程提供了可靠的科学依据，降低壁画修复的风险性。

对于壁画脱落这一大面积破损病害，在数字图像修复领域通常采用基于样本块的修复技术进行修复，而这其中最为经典的Criminisi算法更是研究热点。但由于该算法自身存在着优先权归零、数据项等照度线方向判别不准确等问题，容易导致产生纹理延伸等现象，影响修复结果。

发明内容

本发明的目的是提供一种壁画脱落的修复方法，能够克服现有修复方法中结构断裂和纹理错误延伸的问题。

本发明采用的技术方案是，一种壁画脱落的修复方法，具体按照以下步骤实施：

步骤1、采集原始壁画对其进行预处理；

步骤2、输入预处理后的原始壁画，并采用“阈值分割+区域生长”相结合的方法标定其脱落区域，确定脱落区域边界，即待修复边界；

步骤3、根据改进的分段优先权计算方法，计算待修复边界内各像素点的优先权值，找出优先权值最大的像素点所在的区域记为待修复块ψ_p；

步骤4、在未脱落区域中搜索ψ_p的最佳匹配块ψ_q，使ψ_p与ψ_q的颜色差值的平方和最小，并利用ψ_q内的像素修复ψ_p中的缺失部分；

步骤5、将新修复的像素列为已知区域，更新待修复边界，并且更新边界上各点的分段优先权参数；

步骤6、检查待修复区域是否为空，若不为空，返回步骤3；否则，修复结束，得到修复后的图像。

本发明的特点还在于：

步骤1预处理过程为对原始壁画进行直方图均衡化。

步骤2具体过程为：将预处理后的图像转换为灰度图和YCrCb空间图；根据脱落处像素在不同色彩空间表现的像素值差异，设置不同的阈值，分别对灰度图和YCrCb空间图中的Cb分量进行阈值分割，得到二值掩膜图；

同时利用基于区域生长的半自动标注方法在脱落区域标注，得到区域生长效果图；

将得到的二值掩膜图和区域生长效果图进行相加，得到脱落区域，其边界为脱落区域边界，即待修复边界。

利用基于区域生长的半自动标注方法在脱落区域标注具体过程为：

步骤a、手动在脱落区域选定一种子点记为s；

步骤b、在以s为中心的m*n像素块范围内，在R、G、B三个通道上分别比较其他像素点与s的值；如果满足：

该像素点则属于待标定点；

其中，R_sk、G_sk、B_sk为种子点的三通道值，R_qk、G_qk、B_qk为像素块内其他像素点的三通道值，b为分割效果最好的阈值；

步骤c、从上到下，从左往右的顺序依次对脱落边界点的邻域进行判断，直到标记出整个脱落区域，得到生长效果图。

步骤3中改进的分段优先权函数表达式为：

其中，P(p)为优先权函数，C(p)表示置信度项，D(p)为数据项，E(p)为图像局部特征函数；

初始化时C(p)的值为C(p)＝0，

C(p)＝1，

Φ表示未脱落区域，Ω表示已标记区域，即待修复区，Ψ_p表示待修复块；|Ψ_p|表示Ψ_p的面积；

n_p为p点的法向量，

代表p点的等照度线向量；

p点处的图像局部特征函数E(p)表示为：

u为结构张量因子。

p点的等照度线向量

表达式为：

其中，I_x、I_y分别代表待修复块ψ_p中心p点在x、y方向上的偏微分，α为归一化参数，通常取255。

结构张量因子u的计算方法如下：

u＝|λ₁-λ₂|²

λ₁、λ₂分别代表结构张量在像素点出的最大和最小特征值；

设彩色图像I的梯度为

式中，i＝1,2,3分别代表彩色图像的R、G、B分量；

代表彩色图像的每个通道的梯度，I_xi，I_yi分别为x，y方向的偏导数：

则彩色图像的结构张量J_p定义为

式中，G_p是均值为0，方差为p二维高斯函数，即

由于矩阵J_p是对称且半正定的二维矩阵，因此有两个非负特征值，其大小分别为:

步骤4具体过程为：在未脱落区域中搜索ψ_p的最佳匹配块ψ_q，则有：

其中，d(ψ_p,ψ_q)表示ψ_p和ψ_q中相对应且已知像素颜色差的平方和，定义为：

其中，i、j均为像素点坐标。

边界上各点的分段优先权参数为置信度项C(p)。

本发明一种壁画脱落的修复方法有益效果是：

(1)针对壁画色彩结构复杂，依靠单一手段难以分离出脱落病害，本发明依据不同色彩空间中脱落处像素值表现差异，交互式分割出脱落二值图像，获得较为精确的标定掩膜图。

(2)针对传统Criminisi算法的不足，充分利用结构张量与图像纹理之间的联系，构建出新的优先权函数，同时对原算法函数进行了分段计算，提高了修复顺序的准确性，克服结构断裂和纹理错误延伸等缺点，有效地提高了图像修复质量。

附图说明

图1为本发明中一种壁画脱落的修复方法流程图；

图2是本发明实施例中待修复原图；

图3是本发明实施例中预处理后的壁画图；

图4是本发明实施例中灰度图经阈值分割后得到的二值掩膜图；

图5是本发明实施例中YCrCb分量中Cb分量经阈值分割后得到的二值掩膜图；

图6是本发明实施例中脱落区域生长图；

图7是本发明实施例中最终得到的精确标定图；

图8是本发明实施例中Criminisi原理图；

图9是采用经典算法修复后的壁画图；

图10是本发明改进后算法修复的壁画图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种壁画脱落的修复方法，如图1所示，具体按照以下步骤实施：

步骤1、采集原始壁画对其进行预处理；

预处理过程为对原始壁画进行直方图均衡化；提高待处理图像的灰度范围、对比度和清晰度，图2为待修复原图，图3为预处理后的壁画图。

步骤2、输入预处理后的原始壁画，并采用“阈值分割+区域生长”相结合的方法标定其脱落区域，确定脱落区域边界，即待修复边界；

具体过程为：将预处理后的图像转换为灰度图和YCrCb空间图；根据脱落处像素在不同色彩空间表现的像素值差异，设置不同的阈值，分别对灰度图和YCrCb空间图中的Cb分量进行阈值分割，得到二值掩膜图如图4、图5所示；

同时为了提高标定精度，利用基于区域生长的半自动标注方法在脱落区域标注，得到区域生长效果图；

利用基于区域生长的半自动标注方法在脱落区域标注具体过程为：

步骤a、手动在脱落区域选定一种子点记为s；

步骤b、在以s为中心的m*n像素块范围内，在R、G、B三个通道上分别比较其他像素点与s的值；如果满足：

该像素点则属于待标定点；

其中，R_sk、G_sk、B_sk为种子点的三通道值，R_qk、G_qk、B_qk为像素块内其他像素点的三通道值，b为可调节阈值，可根据多次实验确定效果最好的阈值；

步骤c、从上到下，从左往右的顺序依次对脱落边界点的邻域进行判断，直到标记出整个脱落区域，得到生长效果图如图6所示。

将得到的二值掩膜图和区域生长效果图进行相加，得到脱落区域，其边界为脱落区域边界，即待修复边界，如图7所示。

步骤3、根据改进的分段优先权计算方法，计算待修复边界内各像素点的优先权值，找出优先权值最大的像素点所在的区域记为待修复块ψ_p；

原算法中，优先权计算公式为(式中标识参见图8)：

P(p)＝C(p)×D(p)

改进的分段优先权函数表达式为：

其中，P(p)为优先权函数，C(p)表示置信度项，D(p)为数据项，E(p)为图像局部特征函数；

本发明将原算法中P(p)计算方式从乘法变为加法运算，避免了在修复后期，由于待修复点p周围可用像素点变少导致C(p)趋于0，从而导致P(p)归零的问题。提高了修复顺序的准确性。同时将计算公式改为分段式，以0.8作为阈值，在C(p)≥0.8时，采用置信项与数据项相加的形式计算；而C(p)＜0.8时，再引入纹理函数E(p)。即在修复初期，待修复块周围可用像素较多的情况下，P(p)的值仅由C(p)和D(p)得出即可；而在修复中后期，在已知像素点较少的情况下，再引入E(p)构成新的约束项。

初始化时C(p)的值为C(p)＝0，

C(p)＝1，

Φ表示未脱落区域，Ω表示已标记区域，即待修复区，Ψ_p表示待修复块；|Ψ_p|表示Ψ_p的面积；

n_p为p点的法向量，

代表p点的等照度线向量；

p点的等照度线向量

表达式为：

其中，I_x、I_y分别代表待修复块ψ_p中心p点在x、y方向上的偏微分，α为归一化参数，通常取255。

p点处的图像局部特征函数E(p)表示为：

u为结构张量因子。主要反映了当前像素点所处区域的纹理分布情况，u的计算方法如下：

结构张量因子u的计算方法如下：

u＝|λ₁-λ₂|²

λ₁、λ₂分别代表结构张量在像素点出的最大和最小特征值；

结构张量通常可被用来表征图像的局部几何结构，它不仅包含了局部区域的强度信息，同时也包含了特定像素邻域梯度的主要方向和这些方向的相干程度。

设彩色图像I的梯度为

式中，i＝1,2,3分别代表彩色图像的R、G、B分量；

代表彩色图像的每个通道的梯度，I_xi，I_yi分别为x，y方向的偏导数：

则彩色图像的结构张量J_p定义为

式中，G_p是均值为0，方差为p二维高斯函数，即

由于矩阵J_p是对称且半正定的二维矩阵，因此有两个非负特征值，其大小分别为:

λ₁、λ₂分别代表结构张量在像素点出的最大和最小特征值，表明了图像局部像素变化的强度。当像素点p处于图像中变化剧烈的角点或是边缘区域时，E(p)＞0；当p点处于平坦区域时，E(p)≈0。

将λ₁、λ₂引入优先权计算公式中，即可根据待修复点p周围所处的纹理环境得出局部特征函数E(p)的大小，进而控制P(p)值的大小。处于平坦区域的p点的优先权值自然小于处于纹理变化区域p′的值，从而使得p′得以优先被修复，提高了修复顺序的准确性。该部分内容均为改进后优先权公式中E(P)分量的解释内容，主要用于阐述E(P)中u的由来以及构成方式；同时说明相比于原算法，引入E(p)后所带来的优势。

步骤4、在未脱落区域中搜索ψ_p的最佳匹配块ψ_q，使ψ_p与ψ_q的颜色差值的平方和最小，并利用ψ_q内的像素修复ψ_p中的缺失部分；具体过程为：在未脱落区域中搜索ψ_p的最佳匹配块ψ_q，则有：

其中，d(ψ_p,ψ_q)表示ψ_p和ψ_q中相对应且已知像素颜色差的平方和，定义为：

其中，i、j均为像素点坐标。

边界上各点的分段优先权参数为置信度项C(p)。

步骤5、将新修复的像素列为已知区域，更新待修复边界，并且更新边界上各点的分段优先权参数；

步骤6、检查待修复区域是否为空，若不为空，返回步骤3；否则，修复结束，得到修复后的图像。

经典算法修复后的壁画图如图9所示，采用本发明改进后算法修复的壁画图如图10所示。根据图9和图10的对比可知，图9经经典算法未能较好的修复脱落区域，残留的破损较多；图10修复后结构完整，纹理延伸性好。

通过上述方式，本发明一种壁画脱落的修复方法，依据不同色彩空间中脱落处像素值表现差异，交互式分割出脱落二值图像，获得较为精确的标定掩膜图。针对传统Criminisi算法的不足，充分利用结构张量与图像纹理之间的联系，构建出新的优先权函数，同时对原算法函数进行了分段计算，提高了修复顺序的准确性，克服结构断裂和纹理错误延伸等缺点，有效地提高了图像修复质量。

Claims (9)

1.一种壁画脱落的修复方法，其特征在于，具体按照以下步骤实施：

步骤1、采集原始壁画对其进行预处理；

步骤2、输入预处理后的原始壁画，并采用“阈值分割+区域生长”相结合的方法标定其脱落区域，确定脱落区域边界，即待修复边界；

步骤3、根据改进的分段优先权计算方法，计算待修复边界内各像素点的优先权值，找出优先权值最大的像素点所在的区域记为待修复块ψ_p；

步骤4、在未脱落区域中搜索ψ_p的最佳匹配块ψ_q，使ψ_p与ψ_q的颜色差值的平方和最小，并利用ψ_q内的像素修复ψ_p中的缺失部分；

步骤5、将新修复的像素列为已知区域，更新待修复边界，并且更新边界上各点的分段优先权参数；

步骤6、检查待修复区域是否为空，若不为空，返回步骤3；否则，修复结束，得到修复后的图像。

2.根据权利要求1所述一种壁画脱落的修复方法，其特征在于，步骤1所述预处理过程为对原始壁画进行直方图均衡化。

3.根据权利要求1所述一种壁画脱落的修复方法，其特征在于，步骤2具体过程为：将预处理后的图像转换为灰度图和YCrCb空间图；根据脱落处像素在不同色彩空间表现的像素值差异，设置不同的阈值，分别对灰度图和YCrCb空间图中的Cb分量进行阈值分割，得到二值掩膜图；

同时利用基于区域生长的半自动标注方法在脱落区域标注，得到区域生长效果图；

将得到的二值掩膜图和区域生长效果图进行相加，得到脱落区域，其边界为脱落区域边界，即待修复边界。

4.根据权利要求3所述一种壁画脱落的修复方法，其特征在于，所述利用基于区域生长的半自动标注方法在脱落区域标注具体过程为：

步骤a、手动在脱落区域选定一种子点记为s；

步骤b、在以s为中心的m*n像素块范围内，在R、G、B三个通道上分别比较其他像素点与s的值；如果满足：

该像素点则属于待标定点；

其中，R_sk、G_sk、B_sk为种子点的三通道值，R_qk、G_qk、B_qk为像素块内其他像素点的三通道值，b为分割效果最好的阈值；

步骤c、从上到下，从左往右的顺序依次对脱落边界点的邻域进行判断，直到标记出整个脱落区域，得到生长效果图。

5.根据权利要求3所述一种壁画脱落的修复方法，其特征在于，步骤3中所述改进的分段优先权函数表达式为：

其中，P(p)为优先权函数，C(p)表示置信度项，D(p)为数据项，E(p)为图像局部特征函数；

初始化时C(p)的值为C(p)＝0，

C(p)＝1，

Φ表示未脱落区域，Ω表示已标记区域，即待修复区，Ψ_p表示待修复块；|Ψ_p|表示Ψ_p的面积；

n_p为p点的法向量，

代表p点的等照度线向量；

p点处的图像局部特征函数E(p)表示为：

u为结构张量因子。

6.根据权利要求5所述一种壁画脱落的修复方法，其特征在于，所述p点的等照度线向量

表达式为：

其中，I_x、I_y分别代表待修复块ψ_p中心p点在x、y方向上的偏微分，α为归一化参数，通常取255。

7.根据权利要求5所述一种壁画脱落的修复方法，其特征在于，所述结构张量因子u的计算方法如下：

u＝|λ₁-λ₂|²

λ₁、λ₂分别代表结构张量在像素点出的最大和最小特征值；

设彩色图像I的梯度为

式中，i＝1，2，3分别代表彩色图像的R、G、B分量；

代表彩色图像的每个通道的梯度，I_xi，I_yi分别为x，y方向的偏导数：

则彩色图像的结构张量J_p定义为

式中，G_p是均值为0，方差为p二维高斯函数，即

由于矩阵J_p是对称且半正定的二维矩阵，因此有两个非负特征值，其大小分别为:

8.根据权利要求1所述一种壁画脱落的修复方法，其特征在于，步骤4具体过程为：在未脱落区域中搜索ψ_p的最佳匹配块ψ_q，则有：

其中，d(ψ_p,ψ_q)表示ψ_p和ψ_q中相对应且已知像素颜色差的平方和，定义为：

其中，i、j均为像素点坐标。

9.根据权利要求5所述一种壁画脱落的修复方法，其特征在于，所述边界上各点的分段优先权参数为置信度项C(p)。

Images