CN104484676B - 一种交互式古代壁画病害标识方法 - Google Patents

Abstract

本发明公开了一种交互式古代壁画病害标识方法，所述方法包括以下步骤：(1)用户交互式框选区域使用字典训练方法训练本地的目标字典与非目标字典；(2)使用超像素方法对目标图像进行超像素化；(3)建立贝叶斯模型对每个超像素标识；(4)如果标识结果没有达到理想状态，用户交互式框选区域重新训练本地目标字典或者非目标字典，返回步骤(3)。本发明将基于超像素和稀疏编码的用户交互技术图像区域识别应用到壁画病害识别当中，在保证结果的前提下，速度提升10³倍。因此本发明能够有助于提高壁画不同病害识别的效率，同时提高识别古代壁画病害准确度。

Description

一种交互式古代壁画病害标识方法

技术领域

本发明涉及计算机机器学习与模式识别领域，尤其涉及一种交互式古代壁画病害标识方法。

背景技术

壁画作为人类历史上最早的绘画形式之一，是人类历史文明的见证，是古今文化传承的载体。随着年代的推演，大型的壁画由于各种自然以及人为因素有着不同的损坏，由此对壁画的保护一直是人们探索的领域，找到并有针对性的对不同的病害做出措施是其关键。传统手工描绘病害显然效率低下且不易存储以及更新，怎样更好、更高效的找到壁画的病害对壁画保护有着重要的意义。同时，对每幅壁画图像的连续监测可以得到此处壁画病害演变图谱，联系该壁画所处位置空气环境与地理因素，可以分析不同环境因素对相同或不同病害产生的影响，通过对典型病害区域全面实施图像、物理、力学、化学监测和评价，建立病害发展预测模型，提出由现象到成因的评价规范，建立文物与病害科学分类，确定壁画、崖体稳定性和风化程度的风险等级水平，提高对重点区域病害的监测效率和预警能力，为世界遗产地(壁画)风险预控示范基地的建设提供数据和基础。从技术上讲，壁画病害分割技术的效果与两个主要因素有关：一个是模式识别算法在此应用场景下的特征提取方式；另一个为判别病害贝叶斯模型的建立，模型对病害分类具有决定性作用。

特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”：同一场景的不同图像所提取的特征应该是相同的。常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。颜色直方图是颜色特征中常见的方法，如RGB颜色空间、HSV颜色空间，其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。常见的模式识别方法对图像特征提取方法，一种为像素级别，即对图像中每点像素提取特征，优点在于匹配准确度高，但速度慢；另一种为将图像划分为形状规则的子图(Patch)，对每一个子图提取特征，子图越大速度越快，但与此同时准确度越低。显然这两种方法不能同时保证准确度与速度，因此需要提出一种更加合理的同时保证准确度和速度的特征提取方法，以助于提高分割的效率和精度。

现阶段图像识别技术主要针对图片中分布集中的物体，如：动物，人脸，植物等，但在某些领域中，检测物体并非连续集中分布在图像中心区域，而是在整个图片中均匀分布。此时，现有的技术如可变形部件模型(Deformable Parts Model,DPM)、显著性分析(Saliency)^[6]、区域合并(Region Merge)等一般的检测技术均不适用于这种领域。同时，在现有的检测-分割问题中，表现良好的检测算法如稀疏编码等又有着速度极慢的问题，因此，本发明提出一种改进的稀疏编码方法(Sparse Coding)^[3,4]，并应用在古代壁画病害检测分割的具体问题中，大大提升检测结果。

发明内容

本发明提供了一种交互式古代壁画病害标识方法，本发明基于超像素和稀疏编码的快速图像特殊区域识别，使用用户交互技术，提高壁画标识准确率，详见下文描述：

一种交互式古代壁画病害标识方法，所述方法包括以下步骤：

(1)用户交互式框选区域使用字典训练方法训练本地的目标字典与非目标字典；

(2)使用超像素方法对目标图像进行超像素化；

(3)建立贝叶斯模型对每个超像素标识；

(4)如果标识结果没有达到理想状态，用户框选区域重新训练本地目标字典或者非目标字典，返回步骤(3)。

所述使用字典训练方法训练本地的目标字典与非目标字典的步骤具体为：

在想要标识的目标病害图像中，用户手动选取一部分病害区域和非病害区域，即目标样本集合和非目标样本集合；

对目标样本集合和非目标样本集合使用滑动窗口提取特征；

对上一步中归一化后的特征使用在线字典学习方法进行字典训练，得到病害字典和非病害字典。

所述建立贝叶斯模型对每个超像素标识的步骤具体为：

提取每个超像素块的特征；

对每个特征计算稀疏系数，针对每一个超像素块的特征，使用稀疏编码对此特征进行稀疏表示；

建立贝叶斯模型。

本发明提供的技术方案的有益效果是：本方法使用监督式学习产生目标字典，通过交互式学习不同目标特征，可以有效针对不同壁画不同种类的目标，同时通过使用超像素块代替原始像素，大大加快算法识别目标速度。实验结果表明，1)用户交互式选择区域训练本地字典，提升目标标识准确度；2)超像素块大小与实验结果有负相关联系，即超像素块越大，算法运行时间越短，与像素级重构结果相差越大；超像素块越小，算法运行时间越长，与像素级重构结果相差越小。将基于超像素和稀疏编码的用户交互技术图像区域识别应用到壁画病害识别当中，在保证结果的前提下，速度提升103倍。因此本发明能够有助于提高壁画不同病害识别的效率，同时提高识别古代壁画病害准确度。

附图说明

图1为交互式古代壁画病害标识方法的流程图；

图2为疱疹病害结果对比示意图；

第一列为原始图片，之后每列依次为真值图像，交互式壁画病害标识方法，光谱残余显著性，均差显著性，显著滤波产生的结果；白色为病害区域，每幅图片下面为与真值之间的F1-measure。

图3为酥碱病害结果对比示意图。

第一列为原始图片，之后每列依次为真值图像，交互式壁画病害标识方法，光谱残余显著性，均差显著性，显著滤波产生的结果；白色为病害区域，每幅图片下面为与真值之间的F1-measure。

具体实施方式

在本发明中，将使用一种超像素(Superpixel)的方法对图片进行过分割，针对每一个超像素块提取特征。超像素即对图像进行过度分割，使得每一个超像素块中像素具有高度相似性，通常这种超像素方法速度极快。在各种各样的计算机视觉问题中都可以使用超像素方法^[1]，在保证算法可靠性的同时提高算法效率。本发明中使用一种基于图的高效图像分割方法(Efficient Graph-Based Image Segmentation,EGS)^[2]，使用基于图的方式表达两个超像素块的边界距离，制定一种接近线性速度的分割方法。在此分割基础上，本发明提取每个超像素块的特征，完成病害识别过程。

在稀疏编码阶段，字典占据重要角色。全局字典虽然能够对目标有着广泛的识别效果，但在训练集合外并不能完全适应新的测试集合。此时，提出在测试图像中，用户交互式的选取图像一部分作为训练集，训练本地字典后应用于本图像。此时对训练字典时间要求严格，时间越短用户体验越良好。

本发明首先对输入图像进行超像素过分割，然后提取每一个超像素块的特征，之后通过一种改进的稀疏编码的重构误差识别超像素块所属分类，若识别结果不准确，则用户交互训练本地字典，重新进行稀疏编码阶段，最终产生分割结果，参见图1，具体技术方案包括以下内容：

101：在想要标识的目标病害图像中，用户手动选取一部分病害区域和非病害区域，使用字典训练方法^[5]，分别训练本地的目标字典与非目标字典；

本发明在训练集中采用有监督式的机器学习方法，首先生成目标与非目标两个全局字典。

1)在想要标识的目标病害图像中，用户手动选取一部分病害区域和非病害区域，即目标样本集合和非目标样本集合；

2)对目标样本集合和非目标样本集合使用滑动窗口提取特征；

其中，特征提取方法为对每一个像素取周围的像素，向量化之后就得到该像素的特征，并对特征逐一进行归一化操作，因为在线字典学习方法的输入特征通常需要满足以下要求：

a)特征的均值大致为0；

b)不同特征的方差彼此相似；

c)特征的二范数为1。

由于此样本来源于自然图像，所以使用滑动窗口提取的特征具有平稳特性(stationarity)，即使不进行方差归一化操作，条件b)也自然满足，所以在这里只需要进行a)和c)两项操作。

3)对上一步中归一化后的特征使用在线字典学习方法进行字典训练，得到病害字典和非病害字典。对于病害区域提取的特征，使用如下目标函数得到病害字典D₁。

其中，J₁表示病害区域提取特征的个数，x_j表示第j个特征，D₁为病害字典，α_j为第j个特征对应的稀疏系数，为一个人为设定权值参数。这样能够得到病害字典D₁。同理，对非病害区域提取特征，能够得到非病害字典D₀。

在病害检测过程中，对每一幅想要标识的图像都生成病害字典与非病害字典。

102：使用超像素方法对目标图像进行超像素化；

本方法使用一种基于图的高效图像分割方法对图像进行超像素分割。在图分割过程中，一个分割S包括很多图像区域C，每个区域C中像素具有相同的标签。本方法的目标就是找到一个分割，使得每个区域C中的像素具有较大相似性，不同区域中的像素具有较大差异性。主要步骤如下：

1)初始化图；

在图像分割过程开始，初始化图G＝<V，E>，其中顶点V表示图像像素，边E为两个像素之间的边；V＝{v₁，v₂…v_n}，E＝{e₁，e₂…e_m}，假设图像总共有n个像素，则v₁表示第1个像素，v₂表示第2个像素，v_n表示第n个像素。e₁表示一条相邻两个像素建立的边，有权重w₁(如这两个像素明度差)，同理e₂表示另一条相邻两个像素建立的边，有权重w₂(如这两个像素明度差)。

2)将边E按权重升序排序；

边E按权重升序排序后，可以有效避免图分割结果过于粗糙或者过于细腻。图分割结果粗糙，表现为一个分割区域内像素明显有区别，即两个不应该合并的区域被合并了；图分割过细，表现为两个区域没有明显分别却被分开；

π＝E_升序排列＝{o₁，o₂…o_m}

将边E按升序排序后得到新的序列π，其中的元素仍为边，只不过是E中的元素顺序的改变。o₁表示一条相邻两个像素建立的边，有权重w(o₁)，同时o₂表示一条相邻两个像素建立的边，有权重w(o₂），有w(o₁)≤w(o₂)≤…≤w(o_m)。

3)初始化分割结果；

令每个像素为一个区域，即S⁰＝{v₁，v₂…v_n}，S⁰表示第0次循环得到的分割结果。

4)不断的合并两个区域。

将边E从小到大排序之后，每次检测边的两个顶点是否属于两个不同的相邻区域，如果相邻，计算这两个区域之间连接的最小权值边，这个权值称为两个区域的距离。

已知第q-1次循环的分割结果S^q-1。设o_q＝<v_i，v_j>，即第q条边o_q连接第i个和第j个顶点，若v_i与v_j在S^q-1中属于两个不同的区域，设这两个区域之间有连接的边最小权值为w，若w小于两者所在区域的全局差异，合并这两个顶点所在区域。重复这个步骤m次直至最后一个边。于是能够得到最终分割结果S＝S^m。

103：建立贝叶斯模型对每个超像素标识；

信号的稀疏表示并不是新的东西，例如，最简单的JPEG图像压缩算法。压缩感知正是利用的信号的稀疏性这个假设。对于处理的信号，时域上本身就具有稀疏性的信号是很少的。但是，总能找到某种变换，使得在某个变换域之后信号具有稀疏性。这种变换是很多的，最常见的就是DCT变换，小波变换，gabor变换等。目前所采用的一般不是正交变换，而是基于样本采样的。通过大量图像数据学习得到，称为字典，字典中的每一个元素称作原子。学习的目标函数是找到所有样本在这些原子的线性组合表示下是稀疏的，即同时估计字典和稀疏表示的系数这两个目标。这里假设病害字典与背景(非病害)字典已经通过学习得到，病害为单一病害。在古代壁画病害标识中，得到图像的超像素分割后，就需要建立贝叶斯模型对每一个分割区域判别是否为病害。

1)提取每个超像素块的特征；

假设从上一个步骤中已经得到图像的超像素化结果，S＝{C₁，C₂，…C_r}，S为分割结果，由r个分割块组成，C₁，C₂，…C_r代表各个分割块，是图像中的一些不规则区域，每个区域内的像素具有相似性。然后对目标图像的每一个超像素块提取特征，此处为本发明的一个创新点，使用区域特征代替像素特征，缩减特征集合的大小，加快算法速度。

在图像每一个分割块内选取点的特征来代表区域的特征。在图像的任意一个区域C_i中任意选一点为中心，取以为长度的正方形的邻近像素，向量化并归一化后为x_i，此向量即为第i个超像素块的特征。

2)对每个特征计算稀疏系数。针对每一个超像素块的特征，使用稀疏编码对此特征进行稀疏表示；

根据前期已经得到的病害字典与背景(非病害)字典进行稀疏编码，稀疏系数L。不同于普通的使用对应模式字典，(如使用人脸字典检测人脸)，在这里使用D＝{D₁D₂}作为字典，使用OMP算法后得到稀疏系数向量α＝{α₁，α₂，…，α_2n}，通过这种方法，可以建立下面的贝叶斯模型，更好的对目标区域分类。

3)建立贝叶斯模型。

遍历图像超像素化的结果每一个分割块，比较分割块是目标病害的概率，与不是目标病害的概率，概率大的为最终结果。设P(y＝1|x)为特征x对应区域标记为目标病害的概率，P(y＝0|x)为特征x对应区域标记为目标病害的概率。

将α＝{α₁，α₂，…，α_2n}前后部分值设为0，有δ₁(α)＝{α₁，α₂，…，αn_，0，0，…，0}，此时能够得到重构误差为r₁＝||x-Dδ₁(α）||。同理，将α＝{α₁，α₂，…，α_2n}前半部分值设为0，有δ₂(α)＝{0，0，…，0，α_n+1，α_n+2，…，α_2n}，此时能够得到重构误差为r₂＝||x-Dδ₂(α)||。分类函数定义如下

又由于在表示过程中发现超像素块中像素数越小，则该超像素块越有可能为病害区域，于是可以得到标识结果。

104：如果标识结果没有达到理想状态，用户框选区域重新训练本地目标字典或者非目标字典，返回步骤103；

经过步骤103产生初步结果后，由于全局字典的非特殊性，若用户想提升识别结果的准确性，则重新交互式训练本地字典。返回步骤101重新运行。由于本地字典具有特殊性，能够比全局字典得到更优结果。

为了验证本方法的有效性，使用高清单反相机拍摄图片拍摄古代壁画病害，拍摄地址为甘肃敦煌市莫高窟。根据国家标准，人工标注四种主要病害区域。在此基础上，针对每种病害，选取标注数据中一般作为训练集合，通过学习得到病害字典与非病害字典。另外一半作为测试集合。

表1

	疱疹病害	酥碱病害
			交互式标识	0.3314214	0.205278

均差显著性[7]	0.171816	0.33225
			光谱残余显著性[8]	0.199615	0.343987
显著滤波[6]	0.188851	0.32952

表1为敦煌莫高窟数据集合实验结果平均绝对误差对比，数值越小越好。

表2

	疱疹病害	酥碱病害
			交互式标识	0.382479	0.647186
均差显著性[7]	0.004491	0.013186
			光谱残余显著性[8]	0.099195	0.243102
显著滤波[6]	0.035981	0.131995

表2为敦煌莫高窟数据集合实验结果F1-measure对比，数值越大越好。

通过实验结果可以观察到，与传统的稀疏编码相比，本发明中使用超像素的方法在病害标识结果准确性上具有小幅度提升，并且计算速度提高千倍。

参考文献

[1]Liang Li,Wei Feng,Liang Wan,Jiawan Zhang,Maximum Cohesive Grid ofSuperpixels for Fast Object Localization,IEEE Computer Society Conference onComputer Vision and Pattern Recognition(CVPR’2013).

[2]Pedro Felzenszwalb and Daniel Huttenlocher,Efficient graph-basedimage segmentation.IJCV,59(2):167–181,2004.

[3]John Wright,Yi Ma,Julien Mairal,Guillermo Sapiro,Thomas Huang,andShuicheng Yan,Sparse Representation for Computer Vision and PatternRecognition,the Proceedings of the IEEE,June 2010.

[4]John Wright,Allen Yang,Arvind Ganesh,Shankar Sastry,and Yi Ma,Robust Face Recognition via Sparse Representation,IEEE Transactions onPattern Analysis and Machine Intelligence(TPAMI),vol.31.no.2,February 2009.

[5]Julien Mairal,Francis Bach,Jean Ponce,Guillermo Sapiro,Onlinedictionary learning for sparse coding.In Proceedings of the 26th AnnualInternational Conference on Machine Learning(pp.689-696).ACM.

[6]Federico Perazzi,PhilippYael Pritch,Alexander Hornung,Saliency Filters:Contrast Based Filtering for Salient Region Detection,Computer Vision and Pattern Recognition(CVPR),2012 IEEE Conference

[7]Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient regiondetection.In Computer Vision and Pattern Recognition,2009.CVPR2009.IEEEConference on,June 2009:1597–1604.

[8]Hou X,Zhang L.Saliency Detection:A Spectral Residual Approach.InComputer Vision and Pattern Recognition(CVPR),2007 IEEE Conference on,June2007:1–8.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种交互式古代壁画病害标识方法，其特征在于，所述方法用于标识疱疹病害和酥碱病害，包括以下步骤：

(1)用户交互式框选区域使用字典训练方法训练本地的目标字典与非目标字典；

(2)使用超像素方法对目标图像进行超像素化；

(3)建立贝叶斯模型对每个超像素标识；

(4)如果标识结果没有达到预设状态，用户框选区域重新训练本地目标字典或者非目标字典，返回步骤(3)；

其中，所述使用超像素方法对目标图像进行超像素化的步骤具体为：

将边E从小到大排序，检测边的两个顶点是否属于两个不同的相邻区域，如果是，计算两个区域之间连接的最小权值边，这个权值称为两个区域的距离；

已知第q-1次循环的分割结果S^q-1；设o_q＝<v_i，v_j>，即第q条边o_q连接第i个和第j个顶点，若v_i与v_j在S^q-1中属于两个不同的区域，设这两个区域之间有连接的边最小权值为w，若w小于两者所在区域的全局差异，合并这两个顶点所在区域，重复操作直至最后一个边；

其中，所述建立贝叶斯模型对每个超像素标识的步骤具体为：

提取每个超像素块的特征；

对每个特征计算稀疏系数，针对每一个超像素块的特征，使用稀疏编码对此特征进行稀疏表示；

建立贝叶斯模型；

所述方法在标识疱疹病害时，平均绝对误差为0.3314214；所述方法在标识酥碱病害时，平均绝对误差为0.205278。

2.根据权利要求1所述的一种交互式古代壁画病害标识方法，其特征在于，所述使用字典训练方法训练本地的目标字典与非目标字典的步骤具体为：

在想要标识的目标病害图像中，用户手动选取一部分病害区域和非病害区域，即目标样本集合和非目标样本集合；

对目标样本集合和非目标样本集合使用滑动窗口提取特征；

对上一步中归一化后的特征使用在线字典学习方法进行字典训练，得到病害字典和非病害字典。