CN108665416A - 破损壁画修复方法及系统 - Google Patents

Abstract

本发明提供了一种破损壁画修复方法及系统，本发明通过线描预处理、壁画缺损选定、壁画区域分割、缺损复原的流程方法可以提高复原效率、降低复原难度、同时能够取得更加完好的复原效果。复原的效果令人满意，对于无论是划痕、小面积脱落、甚至是很大比例的严重缺损，都可以得到良好的复原。

Description

破损壁画修复方法及系统

技术领域

本发明涉及数据修复领域，尤其涉及一种破损壁画修复方法及系统。

背景技术

敦煌历经汉唐鼎盛时期的文化浸润，有诸多石窟佛洞等文化古迹。包括敦煌壁画在内的敦煌石窟艺术是汲取中外之长的民族佛教艺术，以其历史悠久、规模宏大、艺术精美、内涵深邃而享誉世界，被誉为“人类文明的曙光”、“世界佛教艺术的宝库”。

敦煌壁画受所处自然环境或人为活动等外在因素，以及壁画的制作材料及结构、壁画所依附岩体的矿物组成等内在因素的影响，受到了各种类型的病害。最典型的如壁画颜料的变色、褪色；壁画颜料层龟裂、起甲；壁画地仗层酥碱、粉化、空鼓、脱落；颜料层霉变、污染以及过去的香火和洞窟居住者对壁画造成的烟熏等。

脱落破损，亦简称为缺损，是指壁画的颜料层整块剥落。敦煌壁画的内在结构组成相对脆弱，加之数千年自然侵蚀甚至人为破坏，现今普遍存在着缺损，且程度大多严重。对敦煌壁画、彩塑等文化遗产保护手段研究存在已久。对受损壁画的实体复原工作需要经验丰富的专业画师，并且工作量十分巨大。自上世纪40年代至今的70年间，敦煌研究院的研究人员共复原了280余个洞窟内的约5000平方米壁画。

较实体修复手段，数字化手段可以更低风险地进行复原尝试，借助计算机强大的计算能力，得出一个可以观察和评价的复原结果所需的工作量与迭代周期均大幅降低。然而尽管复原过程对于画师有据可循，该任务对于计算机算法仍表现为一系列难题。由于壁画图像绘制的地仗、颜料的自身特性，对于壁画的处理要难于一般的图像处理问题。

色变通常也存在于受损壁画中，它造成的色彩含混对于图像感知有负面影响，如导致缺损周边信息的模糊、可参考性弱、轮廓无法提取甚至难于辨认。受损壁画的前后景难于区分，破损、模糊、噪声、色变同时存在，基于格式塔完型心理学原理的传统图像补全算法在敦煌壁画复原中难于应用。包括TV噪声模型等已有模型明显已不能完全刻画敦煌壁画的噪声。

对于这些情况严重的缺损，专业的画师通过阅读文献和壁画等途径，长期积累了大量的经验知识，包括壁画所表达的故事、同时期的衣着设定、绘画风格、任务表现方法、绘画技法等，以及壁画缺损相关的物理化学知识，包括颜料的成分、变色原理等。然而画师与算法之间缺乏有效的信息交互方式，以使他们的经验被用来有效地提示算法。如何结合画师丰富的经验与计算机的计算能力，正是交互式虚拟复原壁画缺损的瓶颈所在，亦为可行的研究方向。

数字化复原壁画等文化遗产的基本前提是识别和标定缺损的位置。当前的几乎所有图像补全技术，都需要人为手动选定目标区域，工作量大。因而如何将这一过程通过计算机辅助甚至全自动的完成，大大减轻用户负担，是目前急需解决的问题。

发明内容

针对现有技术中无法自动化的完成壁画的修复的技术问题，提供了一种破损壁画修复方法及系统。

第一方面，本发明提供了一种破损壁画修复方法，所述方法包括如下步骤：

S1、对线描图像进行预处理，其中所述线描图像存储于预置数据库中；

S2、输入待修复的破损壁画，并选定其中的缺损区域；

S3、将预处理后的线描图像与所述待修复的破损壁画进行匹配，根据所述线描图像中的连通域信息将所述待修复的破损壁画划分为多个连通域；

S4、根据第一预定规则选定一个或多个待修复区域，其中所述待修复区域为所述连通域中的一个，并且所述待修复区域中包含所述缺损区域；

S5、根据第二预定规则，为每一个所述待修复区域指定信息参考区域；

S6、将所述待修复区域中与已知区域边界相交的包含缺损区域的区域划分为多个预定尺寸的面片，并选取其中可信度最高的面片作为目的修复面片；

S7、选取对应的信息参考区域中与所述目的修复面片尺寸相同的并且不包含缺损区域的面片作为参考面片；

S8、计算所述参考面片与所述目的修复面片中非缺损区域相似度，并将相似度最高的参考面片的像素信息赋予所述目的修复面片中的缺损区域；

S9、更新所述待修复区域中缺损区域的范围，并重复依次执行步骤S6-S8，直达所述待修复区域中的全部缺损区域修复完毕。

优选地，所述信息参考区域为对应的待修复区域，或者所述信息参考区域为特征图像中的部分或整个图像，其中，所述特征图像从所述待修复的破损壁画中提取出来，并且存储于所述预置数据库中。

优选地，所述步骤S8执行之前还包括如下步骤：

在所有参考面片中，去除像素相隔预定个像素的参考面片。

优选地，所述根据所述线描图像中的连通域信息将所述待修复的破损壁画划分为多个连通域具体为：

第一遍扫描时，每当发现一个未被标记的非边界像素，尝试以其邻域中已存在标记的最小值对其赋值，若失败则赋予其一个新标记；第一遍扫描结束后所有非边界像素已被标记；

同一个连通域内可能会存在含有各种标记的像素，第二遍扫描时，检查像素标记之间的等价关系，并将等价的像素赋予一个相同的新标记，从而将对应的像素归入同一个连通区域。

优选地，所述步骤S2中根据正确率以及召回率选定所述缺损区域。

优选地，所述步骤S1包括如下步骤：

S11、对所述线描图像进行仿射变换；

S12、利用中值滤波提取得到所述线描图像的背景，再将所述线描图像与所述背景做差得到所述线描图像的线条。

优选地，所述方法在所述步骤S1之前还包括如下步骤：

S0、建立所述预置数据库；其中所述预置数据库还存储有所述待修复的破损壁画。

第二方面，本发明还提供了一种用于实现上述方法的系统，所述系统包括：

预置数据库，用于存储线描图像以及待修复的破损壁画；

线描图像处理单元，用于对线描图像进行预处理；

缺损区域确定单元，用于选定输入待修复的破损壁画中的缺损区域；

连通域确定单元，用于将预处理后的线描图像与所述待修复的破损壁画进行匹配，根据所述线描图像中的连通域信息将所述待修复的破损壁画划分为多个连通域；

待修复区域确定单元，用于根据第一预定规则选定一个或多个待修复区域，其中所述待修复区域为所述连通域中的一个，并且所述待修复区域中包含所述缺损区域；

信息参考区域确定单元，用于根据第二预定规则，为每一个所述待修复区域指定信息参考区域；

目的修复面片确定单元，用于将所述待修复区域中与已知区域边界相交的包含缺损区域的区域划分为多个预定尺寸的面片，并选取其中可信度最高的面片作为目的修复面片；

参考面片确定单元，用于选取对应的信息参考区域中与所述目的修复面片尺寸相同的并且不包含缺损区域的面片作为参考面片；

缺损修复单元，用于计算所述参考面片与所述目的修复面片中非缺损区域相似度，并将相似度最高的参考面片的像素信息赋予所述目的修复面片中的缺损区域。

优选地，所述预置数据库还用于存储特征图像，所述述特征图像从所述待修复的破损壁画中提取出来，信息参考区域为对应的待修复区域，或者所述信息参考区域为特征图像中的部分或整个图像。

优选地，所述缺损修复单元包括优化子单元，所述优化子单元用于在所有参考面片中，去除像素相隔预定个像素的参考面片。

由上述技术方案可知，本发明提供一种破损壁画修复方法及系统，本发明通过线描预处理、壁画缺损选定、壁画区域分割、缺损复原的流程方法可以提高复原效率、降低复原难度、同时能够取得更加完好的复原效果。复原的效果令人满意，对于无论是划痕、小面积脱落、甚至是很大比例的严重缺损，都可以得到良好的复原。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1是本发明中预置数据库示意图；

图2A-2H是本发明中壁画病害示意图；

图3A-3B是本发明中整图数据集示意图；

图4A-4B是本发明中线描数据集示意图；

图5A-5C是本发明中特征数据集示意图；

图6是本发明中壁画复原框架示意图；

图7是本发明中修复系统示意图；

图8A是本发明中利用边缘提取算法得到的提取图像的示意图；

图8B是利用本发明的方法对线描图像进行预处理得到的图像的线条图；

图9是本发明中缺损区域选定的准确率、召回率分析示意图；

图10是本发明中缺损交互示意图；

图11是本发明中缺损选定区域示意图；

图12是本发明中划分连通区域方法流程示意图；

图13是本发明中区域分割操作交互流程图；

图14是本发明中区域联合操作交互流程图；

图15是本发明中区域分割与联合结果示意图；

图16是本发明中缺损修复流程图；

图17A-17B是本发明中壁画复原样例；

图18是不同的交互方法得到的壁画复原样例；

图19是利用本发明的方法得到的壁画复原样例；

图20是利用现有方法得到的壁画复原样例；

图21是利用本发明的方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种破损壁画修复方法，如图21所示，所述方法包括如下步骤：

S1、对线描图像进行预处理，其中所述线描图像存储于预置数据库中；

S2、输入待修复的破损壁画，并选定其中的缺损区域；

S3、将预处理后的线描图像与所述待修复的破损壁画进行匹配，根据所述线描图像中的连通域信息将所述待修复的破损壁画划分为多个连通域；

S4、根据第一预定规则选定一个或多个待修复区域，其中所述待修复区域为所述连通域中的一个，并且所述待修复区域中包含所述缺损区域；

S5、根据第二预定规则，为每一个所述待修复区域指定信息参考区域；

S6、将所述待修复区域中与已知区域边界相交的包含缺损区域的区域划分为多个预定尺寸的面片，并选取其中可信度最高的面片作为目的修复面片；

S7、选取对应的信息参考区域中与所述目的修复面片尺寸相同的并且不包含缺损区域的面片作为参考面片；

S8、计算所述参考面片与所述目的修复面片中非缺损区域相似度，并将相似度最高的参考面片的像素信息赋予所述目的修复面片中的缺损区域；

S9、更新所述待修复区域中缺损区域的范围，并重复依次执行步骤S6-S8，直达所述待修复区域中的全部缺损区域修复完毕。

上述方法通过线描预处理、壁画缺损选定、壁画区域分割、缺损复原的流程方法可以提高复原效率、降低复原难度、同时能够取得更加完好的复原效果。复原的效果令人满意，对于无论是划痕、小面积脱落、甚至是很大比例的严重缺损，都可以得到良好的复原。

进一步地，所述信息参考区域为对应的待修复区域，或者所述信息参考区域为特征图像中的部分或整个图像，其中，所述特征图像从所述待修复的破损壁画中提取出来，并且存储于所述预置数据库中。

进一步地，所述步骤S8执行之前还包括如下步骤：

在所有参考面片中，去除像素相隔预定个像素的参考面片。

进一步地，所述根据所述线描图像中的连通域信息将所述待修复的破损壁画划分为多个连通域具体为：

第一遍扫描时，每当发现一个未被标记的非边界像素，尝试以其邻域中已存在标记的最小值对其赋值，若失败则赋予其一个新标记；第一遍扫描结束后所有非边界像素已被标记；

同一个连通域内可能会存在含有各种标记的像素，第二遍扫描时，检查像素标记之间的等价关系，并将等价的像素赋予一个相同的新标记，从而将对应的像素归入同一个连通区域。

步骤S3中将预处理后的二值线描图与壁画图像匹配，并参考线描图中的连通域信息将壁画图像分割为多个子区域，每个区域内像素相似度高。同时，在右侧辅助显示区域，相应的每个区域显示不同的色彩，强烈的可视化对比使用户更易区分各连通域的分布信息。

数字化的线描图像通常需要经过预处理才适用于提供结构信息。以样例壁画图像对应的线描图为例，原线描图是由画师绘制于宣纸上，由于面积较大无法扫描或一次性整体拍摄，其数字化图像是由相机分块拍摄并拼接而成的。

此种情况的线描图像需要经过两个处理过程才能成为可以应用于区域分割的二值图像。首先是配准，即通过仿射变换消除拍摄时的旋转或其他透视作用造成的线描图像与壁画图像之间的错位，第二步是将线描线条从背景中提取。

线描图像根据壁画图像的校准步骤需要指出两幅图像之间的位置对应关系。

下面阐述连通域分割步骤的算法实现。连通域分割有两种通用方法，种子填充(Seed Filling)法，和两轮扫描(Two-Pass)法。前者思路相对简单直观：在目标区域内选取一个像素作为种子，然后迭代地将与种子点相邻且不为边界的像素合并到同一像素集合中并设为种子点，直到该像素集合最终无法扩展，该集合即构成一个连通区域。然而此方法缓慢的生长方式使其运行效率较低。

本发明选择两轮扫描法。该方法第一遍扫描时，每当发现一个未被标记的非边界像素，尝试以其邻域中已存在标记的最小值对其赋值，若失败则赋予其一个新标记。第一遍扫描结束后所有非边界像素已被标记，然而同一个连通域内可能会存在含有各种标记的像素，因此第二遍扫描的工作室检查像素标记之间的等价关系，并将等价的像素赋予一个相同的新标记(通常是等价标记集合中的最小值)，从而将它们归入同一个连通区域，算法流程图如图12所示。

自动的区域分割的结果不一定准确，所以可以引入用户交互，对区域分割的结果进行调整。包括两个相对应的基本操作：区域分割与区域联合。

在某些情况下，用户希望交互式的细分一个区域，比如线描数据中本应相交或闭合的线条没有封闭，导致壁画中两个区域被误视为属于同一个连通域，或者用户认为将某个线描没有分割的区域细分为多个子区域有助于更好的表现和处理壁画内容。区域分割操作即适用于此目的。

交互流程设计如图13所示，用户首先指出需要被分割的区域，之后绘制一条分割该区域的，以已有边缘为起始和终止的曲线作为新添加的边缘。之后点击两个子区域中的一者，被点击区域即被赋予一个新的标记，另一个区域仍保持旧的标记。

区域联合操作，如图14所示，用户可以将多个区域标记为等价，适用于内容含义相近或是色彩纹理相似的区域。联合操作同样是十分有用的，因为如后文所将阐述，在下一步的缺损修补过程中主要有两类操作对象：提供参考信息的区域，与被修补的区域。被标记为等价的区域集合，在作为提供参考信息的区域时，可以丰富参考纹理的来源；而作为被修补区域时，可以沿用一致的修补参数设定，从而减少交互次数提高效率。

交互方式上，用户通过鼠标依次点击不同区域将它们标定为等价，鼠标右键可以取消上一步添加的区域，方便修正误操作。图15展示了区域分割与联合的结果，如图所示，通过区域分割交互的方法，将菩萨的华盖与背景分割开了，通过区域联合交互把菩萨的手臂联合成了同一区域。

进一步地，所述步骤S2中根据正确率以及召回率选定所述缺损区域。具体地，

一个理想的缺损选定的结果应该对两项指标的评价表现良好：正确率和召回率。正确率即选定缺损中真正是缺损部分的所占比例，召回率即整幅图像的全部缺损中已被选定部分的所占比例。两项指标的结果范围均为从0(最差)到1(最佳)。

然而正确率与召回率通常不能同时取得最优，因为对于大多数识别或分类方法，两者的最优解位于不同的参数状态下。简而言之，两者是矛盾的，针对其中一者的优化在达到一定程度后会导致另一者的结果变差。

权衡两者，在优先保证极高的准确率的情况下，尽量提高的召回率，分析结果如图9所示。原因是基于以下考虑：首先，壁画中已知属于未缺损区域的有效信息相对珍贵，因此应尽量避免将其误识别为缺损并重新填充。此外，受损壁画中通常存在一些缺损比例很高的区域，而且表现为缺损与非缺损模糊地混杂在一起，对于此类情况，以现有的任何方式尝试选定缺损都耗费很大的工作量且效果不佳。此时更好的选择是重新绘制整个区域。基于此两点，对召回率的追求意义并不明显。

因此对于缺损选定步骤交互方式的设计是：采用迭代累加的方式选定，在每次选定中保证准确率，并通过迭代中逐次选定的累加实现对于绝大部分缺损的纳入，从而提高召回率。

用户通过在缺损区域中鼠标左键点击目标缺损像素设定参考的缺损颜色，并在控制面板拖动滑块设定RGB阈值，如图10所示，即可在壁画图像显示区域与右侧辅助显示区域得到本次临时缺损区域选定的显示反馈。临时缺损选定区域被合并入选定区域中。此外，对于缺损选定反馈不满意的情况也被考虑到，用户可以通过鼠标右键点击指出误识别为缺损的区域，阈值参数会据此自动调节，并生成新的临时选定结果。缺损选定的结果如图11所示。

进一步地，所述步骤S1包括如下步骤：

S11、对所述线描图像进行仿射变换；

此步骤中，首先需要结果线描图像的校准问题，通常对线描图进行仿射变换即可解决由拍摄透视造成的图像变形不匹配问题，即可校准线描图像。其中，线描数据来源有三种，包括直接使用图像边缘提取方法、计算机辅助生成的线描图，有着几十年绘画经验的敦煌美术所老师手工绘制的线描图，还有各类敦煌相关的专业文献等。

S12、利用中值滤波提取得到所述线描图像的背景，再将所述线描图像与所述背景做差得到所述线描图像的线条；

S13、对步骤S12处理后的图像进行阈值分割，得到二值线描图像。

由于宣纸的褶皱与拍摄时的打光方向，拍摄得到的数字化线描图像存在不同深浅的阴影。并且由于画师勾勒线描的墨线灰度并非纯黑，造成线描图像中部分区域内线条甚至浅于阴影。这些阴影的干扰导致通过简单的阈值分割无法提取线描线条，图8A为利用边缘提取算法生成的线描图像。

需要通过稍复杂的方法滤除阴影。观察发现，阴影区域特点是面积较大，灰度值变化缓慢；而线描部分形态较细且与邻域相比灰度值跳跃较大。因此，可以通过中值滤波首先“提取”出阴影部分，再将线描图像与阴影部分作差，即可基本抵消阴影。最后对结果阈值分割，即可得到较理想的二值线描图像，如图8B所示。

进一步地，所述方法在所述步骤S1之前还包括如下步骤：

S0、建立所述预置数据库；其中所述预置数据库还存储有所述待修复的破损壁画。具体地，

世界范围内的文化遗产正在受到不同程度的破坏和消亡威胁。总体上，文化遗产保护领域存在的主要问题是：自然灾害、环境变化、人为破坏正在加速文化遗产的消亡；许多文化遗产实物保护的速度远远赶不上损坏的速度；而且，在我国和许多发展中国家，由于城市化发展很快，保护与发展的矛盾也越来越尖锐。其中敦煌的石窟受到的病害多种，包括酥碱、脱落、起甲、烟熏、疱疹、粉化、划痕、龟裂等，如图1、2所示，其中图2中从上至下从左至右依次为：酥碱、脱落、起甲、烟熏、疱疹、粉化、划痕、龟裂。

项目期间，课题组成员共4次赴敦煌莫高窟实地采集高清数字化图像。采集包括8窟、9窟、71窟、156窟、159窟、172窟、220窟、254窟、320窟在内的全窟高分辨率数字图像，数量共计2994张。数字图像资料最高分辨率达8272×6200，朝代覆盖北魏、初唐、中唐、盛唐、晚唐等。基于采实地采集的图像和收集的图片资料，目前建立的阈值数据库包括整图数据集、线描数据集以及特征数据集，其中整图数据集用于存储待修复的破损壁画，线描数据集用于存储线描图像，特征数据集用于存储特征图像。

整图数据集中高分辨完整壁画图像，如图3所示，图像均来自实地采集，并经过多照片拼接处理和色彩校正处理。拍摄过程中建立了柔和、均匀的照明环境，使得照片保持图像内容的原始性。使用爱色丽色彩检查器和Adobe Photoshop来校准图像拼接处的彩色。

线描数据集包含来自《敦煌壁画线描精品集》、《中国敦煌壁画全集扫描版》等书籍、国内外资料文献、以及由敦煌艺术家未发表的线描图作品，共计794张，如图4所示。为了消除手工线描数据的噪音，图片均经过了线描预处理与提取、加强处理。处理线过程中，通过用户交互选择对应像素的方式，使用仿射变换来校准线描图像，再使用中值滤波与阈值分割算法相结合得到二值线描图。该数据集为破损壁画虚拟复原中区域分割、区域联合等步骤提供了丰富的图例数据、近似风格的参考。

特征数据集是基于朝代、内容来提取壁画中典型特征数据，如图5所示，如华盖、莲花座、配饰等，用以辅助壁画复原。从壁画数字化数据集中选择了各朝代具有代表性的艺术风格，并尽可能选取一些相对完整的壁画图像。

本步骤依次修补壁画图像各区域内的缺损，是整个缺损复原系统的核心步骤所在。用户在选定待修补区域后，即步骤S4，还需要指定参考区域作为修补信息来源。通常对于大多数情况，区域内的缺损情况并不十分严重，即留存有相对较大面积的未受损部分，此情况下适宜指定该区域自身为信息参考区域，因为该区域自身内容最具相似性与可参考性，当然，用户也可以指定其他区域为参考。另一种亦常见的情况是，待修补区域内破损严重，壁画缺失比例很高且与有效区域混杂，边界区分不明显。此时选定缺损的工作量较大，相对更好的解决方法是指定某一其他区域为参考并完全重新填充待修复区域。

首先在壁画图像分别选定待复原区域与参考区域，可以选择是否彻底重新填充待修复区域，并可以通过滑动条设置期望的填充单元尺寸。采用基于纹理合成的图像补全算法并对其进行扩展。以T表示当前待修补区域，S表示信息参考区域，本发明可以分别指定T和S区域。

在对于指定T区域和S区域的修补过程中，算法迭代地进行以下操作，直到T区域中所有缺损已被填充：

首先穷举所有位于缺损区域与已知区域交界处的指定尺寸，即预定尺寸的面片，计算他们的可信度并取最高者作为本轮迭代修补的对象，之后在整个S区域内穷举与目标尺寸相同且不包含缺损像素的面片作为参考备选，计算它们与目标面片中非缺损部分的相似度，相似度最高者被选中为参考并将像素信息赋值给目标面片中的缺损部分。更新T区域中缺损区域的范围。

填充单元的尺寸大小对于修补结果有影响。尺寸较大时满足条件的可参考备选较少，修补结果会相对单调，而较小的计算量使得运行速度更快。相反的，填充单元尺寸较小时修补结果会更多样，然而运行会更加耗时。对于样例壁画修补时默认的填补面片半径为6像素，即参考面片的半径为6像素。

缺损复原控制面板存在“optimized”选项，如图16所示，可以选择该优化方式运行，在轻微牺牲结果质量的情况下较大程度的降低运行时间。优化的思路是在遍历参考区域穷举备选参考面片时，跳过一些内容相似的面片从而精简备选队列，节省相对耗时的相似度计算。

优化选项对结果的确存在可以预期的细微影响，然而由于优化只需要在备选数量足够庞大时进行，因此仍然可以保证备选的充足性以及修补结果的优良。

优化的具体实现也较为直接，鉴于在穷举备选面片时，相邻备选的面片位置仅相差一个像素，它们含有很高的相似度，而且会被先后加入备选队列，因此只需对备选队列以一定间隔进行筛选即可跳过相似的面片。

对应于上述方法本发明还公开了一种用于实现上述方法的系统，所述系统包括：

预置数据库，用于存储线描图像以及待修复的破损壁画；

线描图像处理单元，用于对线描图像进行预处理；

缺损区域确定单元，用于选定输入待修复的破损壁画中的缺损区域；

连通域确定单元，用于将预处理后的线描图像与所述待修复的破损壁画进行匹配，根据所述线描图像中的连通域信息将所述待修复的破损壁画划分为多个连通域；

待修复区域确定单元，用于根据第一预定规则选定一个或多个待修复区域，其中所述待修复区域为所述连通域中的一个，并且所述待修复区域中包含所述缺损区域；

信息参考区域确定单元，用于根据第二预定规则，为每一个所述待修复区域指定信息参考区域；

目的修复面片确定单元，用于将所述待修复区域中与已知区域边界相交的包含缺损区域的区域划分为多个预定尺寸的面片，并选取其中可信度最高的面片作为目的修复面片；

参考面片确定单元，用于选取对应的信息参考区域中与所述目的修复面片尺寸相同的并且不包含缺损区域的面片作为参考面片；

缺损修复单元，用于计算所述参考面片与所述目的修复面片中非缺损区域相似度，并将相似度最高的参考面片的像素信息赋予所述目的修复面片中的缺损区域。

进一步地，所述预置数据库还用于存储特征图像，所述述特征图像从所述待修复的破损壁画中提取出来，信息参考区域为对应的待修复区域，或者所述信息参考区域为特征图像中的部分或整个图像。

进一步地，所述缺损修复单元包括优化子单元，所述优化子单元用于在所有参考面片中，去除像素相隔预定个像素的参考面片。

数字化复原面临巨大挑战，因造成壁画纹理残损的原因复杂，且残损表面的纹理形态差异巨大。其技术难点在于：前后景难于区分；结构信息不明显；残损、模糊、噪声、色变等多种信息缺失并存；噪声等高频干扰导致梯度光流信息不连续、不确定使其可参考性很低。而现有的图像复原方法或系统存在效率不高、复原结果不理想的问题，缺乏有效的针对壁画虚拟复原方法。壁画等文化遗产的基本前提是识别和标定缺损的位置。当前的几乎所有图像补全技术，都需要人为手动选定目标区域，工作量大，期望通过计算机辅助来减轻用户负担；缺损区域识别与图像区域分割类似，由于涉及计算机视觉的认知过程，国内外研究数字化复原尚缺乏有效能解决的方法，尚未有完全自动的令人满意的通用算法。

因此，本发明依赖于特征数据集、线描数据集提供的色彩、风格、形态等信息，在经典以及前沿的图像处理方法中引入了上述复原方法，提出了知识约束下的破损壁画虚拟复原理论框架，如图6所示。

根据以上复原理论，实现了一套完整的交互式破损壁画复原系统，如图7所示。其复原过程主要包括线描预处理和增强、壁画缺损选定、壁画区域分割、缺损复原等四个步骤。该系统拥有友好的操作环境与界面，可以利用线描稿得到壁画的区域信息，通过易学、易掌握的用户交互功能，得到完整的、复原的壁画。系统已经过科学的用户测试，可为敦煌专家复原提供丰富的参考和帮助。

上述方法或系统的复原效果令人满意，如图17所示，对于无论是划痕、小面积脱落、甚至是很大比例的严重缺损，都可以通过自动或交互式相结合的方式得到良好的复原。当前的全自动算法难以达到相似复原效果。同时利用不同参数修复的壁画可能产生不同的结果，如图18、19所示。

相较于传统的算法自动化复原壁画尝试，上述方法提高了复原效率、降低了复原难度、同时能够取得更加完好的复原效果。对比利用本发明的方法的复原结果(如图17所示)和敦煌破损壁画样本和人工复原后样本(如图20)，本发明的技术方案更好的恢复了敦煌壁画的色彩和纹理结构。

另外，本发明的方法或系统存在很高的易用性。以样例壁画的修补为例，整幅壁画被分割为1173个区域，其中可以参考区域自身信息并完全自动修补的区域有891个，占比为75.96％。需要用户手动指定的参考区域的区域有282个，占比24.04％。整幅壁画复原过程耗时约24小时，主要占用时间的过程是修补算法的执行，用户指定一组区域的操作在5秒内即可完成，交互耗时相对可忽略不计。

本发明以敦煌莫高窟壁画为典型案例，提出了知识约束下的破损壁画虚拟复原理论与方法框架，形成了包括数据采集、数据集建立、交互式复原的理论体系，将壁画线描数据作为参考以获取关键的壁画内容结构信息，并将复原过程分为线描预处理和增强、壁画缺损选定、壁画区域分割、缺损复原等步骤，各步骤的交互方式易用和高效。相较于传统的算法自动化复原壁画尝试，本文提出的框架提高复原效率、降低复原难度、同时能够取得更加完好的复原效果。对于壁画类文物图像的数字化复原也具有一定的参考意义。

本领域普通技术人员可以理解：实现上述方法实施例的全部或者部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种破损壁画修复方法，其特征在于，所述方法包括如下步骤：

S1、对线描图像进行预处理，其中所述线描图像存储于预置数据库中；

S2、输入待修复的破损壁画，并选定其中的缺损区域；

S3、将预处理后的线描图像与所述待修复的破损壁画进行匹配，根据所述线描图像中的连通域信息将所述待修复的破损壁画划分为多个连通域；

S4、根据第一预定规则选定一个或多个待修复区域，其中所述待修复区域为所述连通域中的一个，并且所述待修复区域中包含所述缺损区域；

S5、根据第二预定规则，为每一个所述待修复区域指定信息参考区域；

S6、将所述待修复区域中与已知区域边界相交的包含缺损区域的区域划分为多个预定尺寸的面片，并选取其中可信度最高的面片作为目的修复面片；

S7、选取对应的信息参考区域中与所述目的修复面片尺寸相同的并且不包含缺损区域的面片作为参考面片；

S8、计算所述参考面片与所述目的修复面片中非缺损区域相似度，并将相似度最高的参考面片的像素信息赋予所述目的修复面片中的缺损区域；

S9、更新所述待修复区域中缺损区域的范围，并重复依次执行步骤S6-S8，直达所述待修复区域中的全部缺损区域修复完毕。

2.根据权利要求1所述的方法，其特征在于，所述信息参考区域为对应的待修复区域，或者所述信息参考区域为特征图像中的部分或整个图像，其中，所述特征图像从所述待修复的破损壁画中提取出来，并且存储于所述预置数据库中。

3.根据权利要求1所述的方法，其特征在于，所述步骤S8执行之前还包括如下步骤：

在所有参考面片中，去除像素相隔预定个像素的参考面片。

4.根据权利要求1所述的方法，其特征在于，所述根据所述线描图像中的连通域信息将所述待修复的破损壁画划分为多个连通域具体为：

第一遍扫描时，每当发现一个未被标记的非边界像素，尝试以其邻域中已存在标记的最小值对其赋值，若失败则赋予其一个新标记；第一遍扫描结束后所有非边界像素已被标记；

同一个连通域内可能会存在含有各种标记的像素，第二遍扫描时，检查像素标记之间的等价关系，并将等价的像素赋予一个相同的新标记，从而将对应的像素归入同一个连通区域。

5.根据权利要求1所述的方法，其特征在于，所述步骤S2中根据正确率以及召回率选定所述缺损区域。

6.根据权利要求1所述的方法，其特征在于，所述步骤S1包括如下步骤：

S11、对所述线描图像进行仿射变换；

S12、利用中值滤波提取得到所述线描图像的背景，再将所述线描图像与所述背景做差抵消背景；

S13、对步骤S12处理后的图像进行阈值分割，得到二值线描图像。

7.根据权利要求1所述的方法，其特征在于，所述方法在所述步骤S1之前还包括如下步骤：

S0、建立所述预置数据库；其中所述预置数据库还存储有所述待修复的破损壁画。

8.一种用于实现权利要求1至7任一项所述的方法的系统，其特征在于，所述系统包括：

预置数据库，用于存储线描图像以及待修复的破损壁画；

线描图像处理单元，用于对线描图像进行预处理；

缺损区域确定单元，用于选定输入待修复的破损壁画中的缺损区域；

连通域确定单元，用于将预处理后的线描图像与所述待修复的破损壁画进行匹配，根据所述线描图像中的连通域信息将所述待修复的破损壁画划分为多个连通域；

待修复区域确定单元，用于根据第一预定规则选定一个或多个待修复区域，其中所述待修复区域为所述连通域中的一个，并且所述待修复区域中包含所述缺损区域；

信息参考区域确定单元，用于根据第二预定规则，为每一个所述待修复区域指定信息参考区域；

目的修复面片确定单元，用于将所述待修复区域中与已知区域边界相交的包含缺损区域的区域划分为多个预定尺寸的面片，并选取其中可信度最高的面片作为目的修复面片；

参考面片确定单元，用于选取对应的信息参考区域中与所述目的修复面片尺寸相同的并且不包含缺损区域的面片作为参考面片；

缺损修复单元，用于计算所述参考面片与所述目的修复面片中非缺损区域相似度，并将相似度最高的参考面片的像素信息赋予所述目的修复面片中的缺损区域。

9.根据权利要求8所述的系统，其特征在于，所述预置数据库还用于存储特征图像，所述述特征图像从所述待修复的破损壁画中提取出来，信息参考区域为对应的待修复区域，或者所述信息参考区域为特征图像中的部分或整个图像。

10.根据权利要求8所述的系统，其特征在于，所述缺损修复单元包括优化子单元，所述优化子单元用于在所有参考面片中，去除像素相隔预定个像素的参考面片。