CN103295199B - 古壁画的裂缝智能修复辅助系统 - Google Patents

Abstract

本发明公开了一种古壁画裂缝的智能修复辅助系统，包括图像预处理模块、裂缝标注模块、自动修复模块、图像拼接模块、数字水印嵌入模块、查询检索模块、输出显示模块，该系统可根据壁画的特征和壁画中裂缝分布区域，交互式对壁画进行分割，实现对壁画的分块处理，从而确定修复对象。对壁画中裂缝的标注采用全自动和半自动相结合的识别标注方式，壁画地仗层中的病害采用全自动标注方法；位于壁画前景中的病害采用半自动标注方法。对标注后的壁画分别进行自动修复，根据病害的形状特征，提出了用不同修复方法分别进行修复，对修复后的图像进行无缝拼接，从而完成整个壁画修复工作。对修复好的壁画图像嵌入数字水印，对壁画的版权起到很好的保护作用。

Description

古壁画的裂缝智能修复辅助系统

技术领域

本发明属于数字图像处理研究领域，具体涉及一种古壁画的裂缝智能修复系统，该系统利用图像修复算法对古代壁画图像中裂缝区域进行自动提取和智能虚拟修复，用于博物馆中对古代壁画图像的数字化修复和展示，并可为人工修复壁画提供指导性建议。

背景技术

我国作为一个文物大国，文物保存、研究、修复等方面的工作始终是一个较难解决的问题，很多文物由于无法得到及时修复而不能进行展示，甚至最终损坏。将数字化技术带到文物保护领域，可以使文物研究与保护的方法跨上一个新的台阶，使我国实现从文物保存大国向文物保护研究大国发展。

对于古代壁画来说，数字化壁画保护修复工作能够将壁画信息永久保存，并能够利用计算机对壁画进行虚拟修复，辅助进行壁画保护与临摹，对壁画病害过程进行虚拟演变，实现壁画真实感虚拟展示等工作。数字化壁画保护修复可以为壁画实体的物理保护修复过程提供充足的科学依据和测试环境，将文物保护和修复工作的危险性降至最低。

目前，数字图像修复技术的研究工作主要集中在算法上，虽然近年来对其的应用也有了一定的进展，但大多数应用都是作为功能简单的插件被包含在别的软件中，作为功能完整、独立应用的图像修复系统很少。

古代壁画因为自然风化的原因会出现裂缝、起甲、脱落、疱疹、霉菌等不同的病害，因此必须研究一些技术能对这些病害的区域进行精确、自动的定位并提取，然后对其分割得到不同的对象。综合对象本身的图像信息，选用合适的修复算法进行恢复，一直是本领域技术人员所关心的课题之一。

发明内容

本发明的目的在于，提供一种古壁画的裂缝智能修复系统，该系统能独立完成对古代壁画中裂缝进行自动识别标注和智能修复等一系列功能，从而为壁画的数字化虚拟展示提供支持。

为了实现上述任务，本发明采取如下的技术解决方案：

一种古壁画的裂缝智能修复系统，其特征在于，该系统包括：

—图像预处理模块，用于实现对待修复壁画的处理，该模块中基于维纳滤波算法进行处理，用于提高图像质量，便于裂缝的检测识别；

—划分修复对象模块，用于提取出包含裂缝的图像块单独进行处理；

11—裂缝标注模块，用于对壁画中的裂缝区域进行标注，该裂缝标注模块可提供自动标注和半自动标注两种方式，用户可根据裂缝在图像中的分布情况进行选择；

如果裂缝处于壁画的地仗层(背景区域)中以及纹理和结构较为简单的颜料层(图像的前景)中，利用数学形态学中的高帽变换对裂缝进行自动识别和标注；

如果裂缝处于结构较为复杂的壁画颜料层中，采用区域生长法半自动标注方法进行标注。

—自动修复模块，该模块利用裂缝标注模块提供的裂缝标注图像，利用数字图像修复算法对病害区域进行虚拟修复；

—图像拼接模块，该模块利用基于SURF的图像配准算法和渐入渐出的图像融合算法对虚拟修复后的图像块进行拼接，从而得到修复好的整幅壁画图像；

—数字水印嵌入模块，该模块利用基于分块SVD自适应数字水印算法，实现将水印信息嵌入到修复好的壁画图像中，并对壁画图像进行防伪处理；实现对壁画的版权保护；

—查询检索模块，用于对注册用户信息、归档的壁画图像信息，待修复、已修复图像信息进行管理，并提供查询和检索功能；

输出显示模块，用于对原始壁画图像和修复后的壁画图像进行显示和预览；

19图像预处理模块、划分修复对象模块、裂缝标注模块、自动修复模块、图像拼接模块、数字水印嵌入模块依次相连接，图像预处理模块还和数字水印嵌入模块相连，图像预处理模块和数字水印嵌入模块还连接档案库，档案库通过查询检索模块连接输出显示模块。

所述的自动修复模块还连接修复算法模块，该算法模块有两种图像修复算法，一是基于PDE修复算法，二是基于样本修复算法，可根据标注的区域大小选择不同的修复算法进行修复；即如果标注区域为细小的条状结构，采用基于PDE修复方法，如果标注区域为较大的块状结构，可采用样本修复算法。

本发明的古壁画的裂缝智能修复系统，易于操作，功能丰富，极大地方便了文物修复工作人员的使用。

本发明的古壁画的智能修复辅助系统，带来的技术效果是：

1、可根据壁画的特征和壁画中裂缝分布区域，交互式对壁画进行分块处理，从而确定修复对象。

2、对壁画中的裂缝区域采用自动和半自动相结合的识别标注方式。对于位于壁画地仗层中以及纹理和结构较为简单的前景中的裂缝，利用形态学中高帽变换进行裂缝的检测和标注；对位于壁画纹理和结构较为复杂的前景中的病害为了避免对原始图像的破坏利用基于区域生长的半自动检测方法；根据裂缝的分布区域采用不同的识别算法的标注方式，从标记效率上比较，这种自动和半自动相结合的识别标注方法要好于纯手工的标注方法；从标注精确度上比较，它要好于全自动标注方法。

3、对标注后的壁画分别进行自动修复，根据病害的形状特征，提出了采用不同图像修复算法分别进行修复，并对修复后的图像进行无缝拼接，从而完成整个壁画修复工作。

4、因为壁画的特殊性，通过对修复好的壁画图像嵌入数字水印，对壁画的版权起到很好的保护作用。

附图说明

图1是本发明的古代壁画的智能修复辅助系统的结构示意图；

图2是系统的主界面图；

图3原始图像读入界面图；

图4参数设置界面图；

图5选择标注方法界面图；

图6形态滤波算法参数的调整和选择界面图；

图7标注后图像的界面图；

图8修复后图像的界面图；

以下结合附图和实施例对本发明作进一步的详细说明。

具体实施方式

本发明的技术思路是，针对目前对壁画图像中病害区域只能进行人工标注的缺点，通过对壁画图像的研究分析，提出一种基于计算机的古壁画的裂缝智能修复系统，该系统对古壁画图像中裂缝区域采用自动标注和半自动标注相结合的检测与标注方法，对于位于壁画地仗层中以及纹理和结构较为简单的前景中的裂缝，利用形态学中的高帽变换进行检测和标注；对位于壁画纹理和结构较为复杂的前景中的裂缝为了避免对原始图像的破坏采用基于区域生长法的半自动检测方法。

在以下的实施例中，申请人首先给出以下的基本概念：

1、壁画基本上都是由三个基本部分组成，即壁画的支撑结构(墙壁或岩壁)、地仗层(又叫基础层、灰泥层、泥层)和颜料层(或称画面层)。

壁画的地仗层在数字图像中称为背景区域，颜料层在数字图像中称为图像的前景。

2、数学形态学基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状，以达到图像分析和识别的目的。

3、结构元素就是一定尺寸的背景图像，通过将输入图像与之进行各种形态学运算，实现对输入图像的形态学变换。结构元素的作用是提取图像中与其相似的几何结构特征，而与其无关的特征将被忽略。结构元素可以是任何形状，但是在实际应用中，只有一定数量的结构元素可用，一般为圆盘形、正方形、线段形等。

4、腐蚀和膨胀是数学形态学两种基本的运算。腐蚀在数学形态学运算中的作用是消除物体边界点。如果结构元素取3*3的像素块，腐蚀将使物体的边界沿周边减少一个像素腐蚀可以把小于结构元素的物体去除，这样选取不同大小的结构元素，就可以在原图中去掉不同大小的物体。膨胀与腐蚀作用正好相反，它可以将图像区域扩大。

以下的实施例中所用的算法参考文献如下：

【1】Manuel M.Oliveira.Fast Digital Image Inpainting.Appearedin the Proceedings of the International Conference on Visualization，Imaging and Image Processing(VIIP 2001)，Marbella，Spain.September3-5，2001。

【2】Criminisi A，Perez P，Toyama K.Region filling and objectremoval by exemplar-based image inpainting[J].IEEE Trans on ImageProcessing，2004，13(9)：1200-1212。

【3】贺兆，卢选民，王君本，基于SURF的敦煌壁画数字图像智能拼接系统研究.计算机应用技术，2010。

【4】赵敏，王慧琴，卢麟，基于分块SVD自适应数字水印算法，计算机工程与设计，2011，Vol.32，No.4。

参见图1，本实施例给出一种运行于计算机中的古壁画的裂缝智能修复辅助系统，包括：

—图像预处理模块，用于实现对待修复壁画的处理，该模块中基于维纳滤波算法进行处理，用于提高图像质量，便于以下模块的操作。

从连续的(或离散的)输入数据中滤除噪声和干扰以提取有用信息的过程称为滤波，这是信号处理中经常采用的主要方法之一，具有十分重要的应用价值，而相应的装置称为滤波器。根据滤波器的输出是否为输入的线性函数，可将它分为线性滤波器和非线性滤波器两种。

从噪声中提取信号波形的各种估计方法中，维纳(Wiener)滤波是一种最基本和常用的现代滤波方法，这种滤波以最小均方误差作为最优标准，通过分析输入随机信号和噪声的自相关性，利用傅立叶变换得到原始信号的最优估计。采用维纳滤波后的图像不但有效地平滑了背景，而且对裂缝有较好的增强效果，同时维纳滤波对壁画中纹理的复杂性有很好的适应性和抑制作用。因此本实施例选用维纳滤波作为裂缝图像去噪增强的方法。

—划分修复对象模块，用于提取出包含裂缝的图像块单独进行处理；

因为一幅高清壁画图像大小一般可以达到几个GB，几十个GB，甚至是几TB大小，远远超出了现在一般PC机的内存容量，在对高清壁画图像进行数字虚拟修复时，因为其数据量太大会导致在进行读取图像时会出现延迟、卡机甚至导致死机等问题，而且还会因为图像过度占用内存，会导致算法的运行效率下降，所以在对其进行虚拟修复时，采用分块单独修复的方法。

分块方法具体如下：如果裂缝区域的最左边的端点的位置为(x，y)，最右边的端点的位置为(x+i，y+j)，那么包含这条裂缝的最大矩形块的四个端点为{(x，y)，(x，y+j)，(x+i，y)，(x+i，y+j)}，可以取出包含这条裂缝的最大矩形块。但是为了后面的图像拼接留出匹配点，在提取包含裂缝的图像块时，需要提取出比最大矩形块更大的图像块，这样留出的冗余部分可以在图像拼接时提供匹配点进行拼接。划分修复对象有两面的好处：一方面是小的图像便于处理，另一方面可以明确修复对象，即：只对有病害分布的图像块进行处理；通过对壁画图像的分块处理不仅可以减少因为图像对内存占有而导致系统运行速率慢的问题，而且因为明确了修复对象，所以一定程度上减少了其他病害的干扰，从而提高了检测精度。

—裂缝标注模块，用于对壁画中的裂缝区域进行标注，该裂缝标注模块可提供自动标注和半自动标注两种方式，用户可根据裂缝在图像中的分布情况进行选择；

如果裂缝处于壁画的地仗层(背景)中以及纹理和结构较为简单的颜料层(前景)中，利用形态学中高帽变换进行裂缝的检测和标注；用数学形态学中的高帽变换检测图像中的细节部分已经成为比较常用的技术手段，并且已经成功的运用到了裂缝的检测当中，公式如下：

图像f的高帽变换h为图像I的闭运算与原图I之差。所谓的形态学中的闭运算就是先膨胀后腐蚀。b为结构元素，结构元素的选取取决于裂缝的大小和种类。膨胀的目的是使得一些断裂的裂缝连接起来，选择比裂缝尺寸稍大的结构元素对图像进行腐蚀操作，裂缝将会被腐蚀掉，用原图减去开运算后的图像，就会得到只有裂缝的图像。对高帽变换后的图像利用Otsu’s法进行阈值分割得到包含黑色裂缝的二值图像。将得到的二值图像中裂缝的位置映射到原图中，即可在原图中标记处裂缝的位置。

本实施例采用了一种多尺度形态滤波法，实现了壁画图像中裂纹的提取。不仅能够有效减少误检率，而且能够检测到不同尺度大小的裂缝(从很细的裂缝结构到较大区域的缺失)。所谓的多尺度形态滤波，就是选用不同尺度的结构元素(从3*3一直到n*n的像素块，n的选择取决于裂缝的宽度)对图像进行高帽变换。用小的结构元素不仅提取到了很细的裂缝同时还有一些非裂缝的细小结构，用大的结构元素可以提取到较粗的裂缝和非裂缝的粗结构。然后用Otsu’s阈值法对这些经过多尺度形态滤波后图像进行分割得到不同的“裂缝地图”。将得到的“裂缝地图”映射到原始图像中就实现了在原始图像中对裂缝的检测。

对位于结构较为复杂的壁画颜料层(前景)中的裂缝，为了避免对原始图像的破坏利用基于区域生长的半自动标注方法；区域生长法是图像分割中较为常见的一种方法，区域生长法是根据事先定义的准则将具有相同性质的像素点或者像素块聚合在一起的过程。其基本思想是从一组种子点开始(种子点可以使单个像素，也可以说是某个像素块区域)，将与种子点具有相似性质的相邻像素点或者区域与种子点合并，形成新的种子点，重复此过程直到不能满足设定的条件为止。种子点和相邻区域的相似性判据可以是灰度值、纹理特征、颜色等多种图像信息。这个方法需要人为先选定一个种子点，然后根据设定的阈值进行区域增长和跟踪来检测出裂缝区域。

区域生长算法一般有3个步骤：

(1)选择合适的种子点；

(2)设定相似准则即生长准则；

(3)确定生长停止条件。

因为只有人才能区别出哪些是缺失部分哪些是属于绘画内容的部分，所以需要人为在裂缝上选择一个像素点作为起始点，起始点邻域内的点与起始点逐个进行比较，如果满足设定的阈值即被归为一类。具体实施方法如下:

首先，在裂缝区域内选择一个种子点，记为p。

其次，将以种子点为中心的3*3像素块内的其他像素点与p点像素值进行比较，因为壁画图像为彩色图像，进行像素点比较时，需要在彩色图像的三个通道上分别进行比较。如果满足： $d=\underset{m=1}{\overset{3}{\&Sigma;}}\underset{n=1}{\overset{3}{\&Sigma;}}\{{(R_p-R_{q_{mn}})}^2+{(G_p-G_{q_{mn}})}^2+{(B_p-B_{q_{mn}})}^2\}<T,$ 那么此像素点为裂缝区域内的点。R_p、G_p、B_p为种子点的三原色像素值，为像素块内其他像素点的三原色像素值。T为可调节阈值，选择分割效果最好的阈值。算法将满足条件的像素点标记为裂缝点(将满足条件的像素点变为P点的像素值)，判断一次完成后，算法将自动按照从上到下，从左往右的顺序对裂缝的边界点的邻域进行判断，直到标记出整个裂缝区域。

本实施例根据裂缝的分布区域采用不同的识别算法的检测方式，从标记效率上比较，这种自动和半自动相结合的识别标注方法要好于纯手工的标注方法；从标注精确度上比较，它要好于全自动标注方法。

在修复之前，需要将裂缝区域变为白色(将像素变为255)，实现对裂缝区域的标注，这样标注的目的是为了让计算机更容易寻找到裂缝区域，从而进行虚拟修复。

—自动修复模块，该自动修复模块利用病害标注模块提供的病害标注图像选择合适的修复算法，利用数字图像修复算法对病害区域进行虚拟修复；

如果病害区域为细长型结构，如：裂纹，可以选择基于PDE的修复算法。本实施例所用的用来修复小尺度裂纹的算法是Manuel M.Oliveira等人^【1】提出的基于PDE模型的CDD算法。该算法在修复小尺度破损区域方面具有较好的修复效果。

如果病害区域为大面积的块状，如：脱落或者是尺度较宽的裂缝，可以选择基于样本合成的修复算法。本实施例中所用的算法是Criminisi等人^【2】提出的基于样本合成的图像修复算法。

—图像拼接模块，该图像拼接模块利用贺兆等人^【3】提出的基于SURF的图像匹配算法和渐入渐出的图像融合算法，实现了图像块的无缝拼接，从而得到整幅修复好的壁画图像；

—数字水印嵌入模块，该数字水印嵌入模块利用基于分块SVD自适应数字水印算法^【4】，将水印信息嵌入到修复好的壁画图像中，实现对壁画图像的防伪处理；

—查询检索模块，用于对注册用户信息、归档的壁画图像信息，待修复、已修复图像信息完成查询和检索；

—输出显示模块，用于对原始壁画图像和修复后的壁画图像进行显示和预览；

图像预处理模块、划分修复对象模块、裂缝检测标注模块、自动修复模块、图像拼接模块、数字水印嵌入模块依次相连接，图像预处理模块还和数字水印嵌入模块相连，图像预处理模块和数字水印嵌入模块还连接档案库，档案库通过查询检索模块连接输出显示模块。

本实施例中，裂缝检测标注模块采用自动检测标注和半自动检测标注两种形式，用户需要根据裂缝在图像中的分布情况进行选择：

如果裂缝处于壁画的地仗层(背景)中以及纹理和结构较为简单的前景中，用户可选择形态学中的高帽变换进行自动检测，对壁画地仗层中的裂缝实现标注；

如果裂缝位于结构较为复杂的壁画颜料层(前景)中，用户以选择区域生长法的半自动检测的方法，对裂缝区域进行标注。

自动修复模块还连接修复算法模块，该算法模块有两种图像修复算法，一是基于PDE修复算法，二是基于样本修复算法，由用户根据标注的区域大小选择不同的修复算法进行修复；如果标注区域为细小的条状结构可采用基于PDE修复方法，如果标注区域为较大的块状结构，可采用样本修复算法。

该古壁画智能修复辅助系统，可使用本领域常规的计算机软件进行编程开发，本实施例采用Visual C++2010编程技术完成。

该古壁画智能修复辅助系统的使用如下：

打开入系统后主界面如图2所示，系统中包括：文件、病害类型、自动标注、修复、帮助5个菜单选项。每个菜单下有子菜单，介绍如下：

(1)文件下的子菜单：打开、保存、另存为、退出。

(2)预处理下的子菜单：维纳滤波。

(3)裂缝标注下的子菜单：区域生长法、形态滤波法。

(4)自动修复下的子菜单：PDE算法修复、样本算法修复；

(5)帮助：使用帮助。

原始图像读入界面如图3所示，包括对画面的编辑、预处理、裂缝标注、自动修复和帮助菜单；参数设置界面如图4所示，参数的设置包括结构元素的选择(圆形或矩形)以及结构元素的尺寸。选择标注方法界面如图5包括区域生长法和形态滤波法的选择等，形态滤波算法参数的调整和选择界面如图6所示，参数的设置包括结构元素的选择(圆形或矩形)以及结构元素的尺寸。标注后图像的界面如图7所示，修复后图像的界面如图8所示。

Claims (2)

1.一种古壁画的裂缝智能修复辅助系统，其特征在于，该系统包括：

—图像预处理模块，用于实现对待修复壁画的处理，该模块中基于维纳滤波算法进行处理，用于提高图像质量，便于以下模块的操作；

—划分修复对象模块，用于提取出包含裂缝的图像块单独进行处理；

—裂缝标注模块，用于对壁画中的裂缝区域进行检测标注，裂缝标注模块采用自动检测和半自动检测两种方式，用户需要根据裂缝在图像中的分布情况进行选择；

如果裂缝处于壁画的地仗层中以及纹理和结构较为简单的颜料层中，利用数学形态学中的高帽变换对裂缝进行自动检测和标注；

如果裂缝处于结构较为复杂的壁画颜料层中，则采用区域生长法半自动检测和标注；

—自动修复模块，该模块根据裂缝标注模块提供的裂缝标注图像，利用数字图像修复算法对病害区域进行虚拟修复；

—图像拼接模块，该模块利用基于SURF的图像匹配算法和渐入渐出的图像融合算法对虚拟修复后的图像块进行拼接，从而得到修复好的整幅壁画图像；

—数字水印嵌入模块，该模块利用基于分块SVD自适应数字水印算法，实现将水印信息嵌入到修复好的壁画图像中，并对壁画图像进行防伪处理；实现对壁画的版权保护；

—查询检索模块，用于对注册用户信息、归档的壁画图像信息，待修复、已修复图像信息进行管理，并提供查询和检索功能；

输出显示模块，用于对原始壁画图像和修复后的壁画图像进行显示和预览；

图像预处理模块、划分修复对象模块、裂缝标注模块、自动修复模块、图像拼接模块、数字水印嵌入模块依次相连接，图像预处理模块还和数字水印嵌入模块相连，图像预处理模块和数字水印嵌入模块还连接档案库，档案库通过查询检索模块连接输出显示模块。

2.如权利要求1所述的古壁画的裂缝智能修复辅助系统，其特征在于，所述的自动修复模块还与修复算法模块连接，该算法模块包含有两种图像修复算法：一是基于PDE修复算法，二是基于样本修复算法，根据标注的区域大小选择不同的修复算法进行修复；

如果标注区域为细小的条状结构采用基于PDE修复方法，如果标注区域为较大的块状结构采用样本修复算法。