CN108446017A - 一种基于mr眼镜的古代壁画病害可视分析方法 - Google Patents

Abstract

本发明涉及一种基于MR眼镜的古代壁画病害可视分析方法，包括：建立壁画病害与环境数据库，该数据库中包括病害恶化记录和遗迹现场的环境监测数据；根据用户所在的位置读取附近一定距离内的病害恶化记录和环境数据，各自生成其病害视图和传感器视图；根据用户输入的警报类型条件集T遍历壁画病害与环境数据库，提取病害恶化警报，每条警报包括警报的发生时间、所属病害检测区域和所属警报类型；在病害视图和传感器视图的时间轴上方加入不同颜色的警报标记，并连线属于同一警报的标记，以此展示病害恶化警报的时间和空间分布。

Description

一种基于MR眼镜的古代壁画病害可视分析方法

技术领域

本发明涉及一种采用MR(混合现实)眼镜和交互可视分析技术实现的古代壁画病害现场分析方法，尤其涉及一种结合实物分析壁画病害和环境之间关联性的可视分析方法。

背景技术

壁画是人类文化遗产中的瑰宝，然而世界各地的古壁画普遍在承受多种劣化现象的侵扰。这些劣化现象受环境条件和人为因素影响，是物理、化学、生物、地质等多种作用的综合结果，依照其症状可归类为十余种壁画病害[1]。壁画病害种类多、机理复杂、持续侵蚀壁画，部分类型的病害对壁画造成的损伤不可修复。因此，为了控制病害的发展并合理修复壁画，研究病害机理成为了文物保护领域的一个重要课题。

研究病害机理一方面要实地考察遗迹现场，掌握第一手资料收集信息、采集病害数据和环境数据；另一方面要深入分析数据，挖掘病害和环境之间的关联性。两个方面相辅相成、密不可分，专家们分析数据时会需要对比真实壁画、勘察现场时会需要数据支持，目前专家们进入遗迹现场会携带笔记本、平板电脑等设备分析数据。现有的壁画病害可视化方案虽然可以很好地胜任分析任务，例如[2]，但没有针对现场使用进行专门设计。

在现场勘查时使用传统形式的可视化，存在如下三点弊端：1.专家要经常根据病害查找数据或者根据数据寻找病害的物理位置，付出了重复的时间和精力；2.鼠标键盘的传统桌面操作方式或者触控操作，在现场勘查的时候使用起来不够方便；3.即使专家站在壁画前，要观察当前空间分布模型和数据也只能从屏幕上观察，不方便也不直观。解决这三点有助于为专家提供更好的分析环境，提高分析效率和质量。

目前针对现场使用设计的可视化，按显示和交互方式区分有三类：1.平面显示，安装多个显示器或投影设备来显示图像，移动屏幕、切换投影显示来达到比较灵活的显示效果，如[3,4]，但需要改造现场，交互也主要依赖按键操作；2.视频透视，将虚拟对象合成到实时拍摄的画面上，通过平板电脑、手机等移动设备显示及控制，如[5]，成本低、使用灵活，但与现场结合的效果有限；3.光学透视，计算用户视角能看到的虚拟世界的图像，显示在智能眼镜镜片的透明屏幕上，交互也大多采用手势语音等更自然的方式，如[6]，该类型灵活性很好，视觉效果比前两个更加自然，但技术门槛较高，目前相关成果很少。

近年来随着混合现实技术日益成熟，搭载混合现实技术的准消费级智能眼镜[7,8]越来越普遍地出现在人们的视野中。利用MR智能眼镜可以实现针对现场使用设计的可视化，理由有三点：1.能提供一个虚拟世界和现实世界的融合环境，让用户看到、听到仿佛真正存在于真实世界中的虚拟物体。2.支持直观准确的空间位置表达，对跨学科进行壁画病害分析意义重大。3.支持多种自然的交互手段，且作为穿戴式设备很适合融入日常工作。有了这些性能，可以为人们的工作和生活带来许多便利，有巨大的应用价值。

参考文献

[1]李最雄.敦煌石窟保护工作六十年[J].敦煌研究,2004(3):10-26.

[2]张加万,鄂艳丽,原野,等.一种基于可视分析的古代石窟寺壁画病害模式的确定方法:,CN103473455A[P].2013.

[3]Yapo T C,Sheng Y,Nasman J,et al.Dynamic projection environmentsfor immersive visualization；proceedings of the 2010IEEE Computer SocietyConference on Computer Vision and Pattern Recognition-Workshops,CVPRW 2010,F,2010[C].

[4]Zollmann S,Kalkofen D,Hoppe C,et al.Interactive 4D overview anddetail visualization in augmented reality；proceedings of the ISMAR 2012-11thIEEE International Symposium on Mixed and Augmented Reality 2012,Science andTechnology Papers,F,2012[C].

[5]Schattel D,Tonnis M,Klinker G,et al.[Demo]On-site augmentedcollaborative architecture visualization[J].2014.

[6]Malkawi A,Srinivasan R,Jackson B,et al.Interactive,immersivevisualization for indoor environments:Use of augmented reality,human-computerinteraction and building simulation；proceedings of the Proceedings of theInternational Conference on Information Visualization,F,2004[C].

[7]Hughes C E,Stapleton C B,Hughes D E,et al.Mixed reality ineducation,entertainment,and training[J].IEEE Computer Graphics&Applications,2005,25(6):24-30.

[8]Bosveld P,Denhez N,Yoo Y,et al.Headset with visor:,US D740815S1[P].2015.

发明内容

文物保护专家需要在遗迹现场检索、分析病害数据，本发明的目的是以MR眼镜为媒介，提供一种适合在遗迹现场使用的病害可视分析方法。技术方案如下：

一种基于MR眼镜的古代壁画病害可视分析方法，包括下列步骤：

步骤1：建立壁画病害与环境数据库，该数据库中包括病害恶化记录和遗迹现场的环境监测数据：病害恶化记录包括每个病害区域的空间姿态、同一病害区域不同时间的各类型病害范围标记图、标记时间和病害统计信息高维向量；环境数据包括遗迹内各个类型、各个传感器的位置和这些传感器记录下的不同时间的环境数据，包括空气温度、空气湿度、二氧化碳含量数据等；

步骤2：根据用户所在的位置读取附近一定距离内的病害恶化记录和环境数据，各自生成其病害视图和传感器视图：病害视图为半透明的壁画遮罩面板，附有时间轴和统计数据框；传感器视图为传感器数据的折线图，附有时间轴和统计数据框，遮罩面板叠加在真实病害区域上，用于多类型病害发展情况的可视化；传感器视图显示在对应传感器附近，随用户移动而转动，始终面向用户，其中，病害视图的遮罩面板绘制方法如下：

1)读取同属一个病害区域的病害恶化记录；

2)计算同类型相邻病害范围标记图的差值；

3)按类型为每张差值图着色：每个病害类型的差值图有各自的色调，同类型差值图对应的恶化记录时间越早饱和度越低；

4)按时间顺序将所有差值图叠加，将所得图像叠加在真实病害上显示，即为遮罩面板；

步骤3：根据用户输入的警报类型条件集T遍历壁画病害与环境数据库，提取病害恶化警报，每条警报包括警报的发生时间、所属病害检测区域和所属警报类型；

步骤4：在病害视图和传感器视图的时间轴上方加入不同颜色的警报标记，并连线属于同一警报的标记，以此展示病害恶化警报的时间和空间分布，警报标记和连线符合focus+context设计原则，支持通过时间轴批量选中。

优选地，病害恶化警报的提取算法如下：

1)为病害区域集合A的每个病害区域a就近匹配环境传感器作为数据源，每个类型的环境数据匹配一个；

2)候选警报筛选：设警报类型为t，每个警报类型的目标病害类型为d_t，涉及环境因素类型集合为E_t，判定函数为f(x)，设病害检测区域集合为A，每个病害检测区域a，其病害类型集合为P_a，引用的环境数据集合为Q_a，其类型集合为type(Q_a)，为每个t筛选候选区域集合A′：

3)警报判定：针对f(x)的环境数据类型和病害类型限制筛选A′中的警报，将通过筛选的警报w输入f(x)中计算发生时间，至此，计算出每个警报的发生时间、所属病害检测区域和所属警报类型。

步骤4对每个警报w具体执行如下步骤：

1)生成w的警报标记：在w对应病害视图和每个传感器视图的时间轴上，用警报标记标出w的发生时间；

2)生成警报连线：为每个相关的传感器视图生成一条连线，连线的起点为病害视图上的警报标记，终点为传感器视图上的警报标记；

3)调整警报外观：用w所属警报类型的标志色为标记和连线着色，并旋转警报标记避免完全重叠。

附图说明

附图1病害分析流程图

附图2本发明示意图

附图3敦煌莫高窟窟内监测点布局示意图

附图4病害视图和传感器视图

附图5壁画本体、遮罩面板和叠加效果

附图6警报可视化

附图7警报标记

附图8实机运行效果图

具体实施方式

文物保护专家需要在遗迹现场检索、分析病害数据，而现有的数据分析手段没有针对现场使用的需求进行设计。所幸近来混合现实技术的日渐成熟催生了MR眼镜，很适合用于现场可视分析。本发明以MR眼镜为媒介，提供一个适合在遗迹现场使用的病害可视分析方法。具体步骤如下:

(1)建立壁画病害与环境数据库

我们的分析目的是获取壁画病害和环境之间的关联，本发明以敦煌莫高窟为主要参考对象。我们整理了莫高窟25号洞窟2014至2016年的病害普查数据和窟内传感器回传数据。该洞窟中有三个病害监测区域，监测病害类型为酥碱、起甲、疱疹、裂隙四种；五个环境传感器，包括两个空气温度传感器、两个空气湿度传感器和一个CO₂含量传感器。

首先对病害普查数据和传感器回传数据进行数据清洗。病害普查数据包括以病害监测区域为单位定期采集的病害范围图、采集时间以及依据照片统计的病害数据，包括各病害类型的面积、比例。对于存在多个病害类型的监测区域，不同类型的病害各自标记在一张病害范围图上。环境传感器回传数据包括各个环境传感器回传的环境数据和数据类型。两个数据集都很大，格式不规范，存在冗余。我们编写了基于C#的数据处理脚本来清洗数据并统一格式。此外，数据集中没有记录病害监测区域和环境传感器的位置信息，为了应用于MR技术，我们补录了病害区域和传感器的空间姿态。

整理两种数据分别得到了病害恶化记录和遗迹现场的环境监测数据。病害恶化记录包括每个病害区域的空间姿态、同一病害区域不同时间的各类型病害范围标记图、标记时间和病害统计信息高维向量；环境数据包括遗迹内各个类型、各个传感器的位置和这些传感器记录下的不同时间的环境数据。

(2)病害数据、环境数据可视化

为了直观呈现病害的恶化过程，我们设计了壁画遮罩面板。壁画遮罩面板根据病害范围图生成，根据空间位置紧密贴合在病害区域上，标示目标病害区域内各类型病害的恶化过程。病害和环境数据可视化步骤如下：

1)根据用户位置筛选附近的病害区域和传感器数据，分别记为渲染病害区域集合S_d和传感器集合S_s。

2)可视化S_d，设S_d中每一组病害区域数据B的病害范围图集合为为R_ij，i为病害类型下标(i＝1,2,…,m)，j为时间序号(j＝1,2,…,n)。对每个B执行下列七个步骤：

第一步，用户可以选择壁画遮罩面板的可视化时间范围，根据采集戳排除时间范围外的R_ij，使得j＝x,x+1,…,y，若未指定则x＝1,y＝n。

第二步，计算病害范围变化D_ij，(i＝1,2,…,m,j＝x,x+1,…,y-1)。

D_ij＝R_ij-R_ij-1

第三步，根据病害类别为D_ij着色，不同病害类别的色调不同。

第四步，根据采集时间调整D_ij的着色，j越接近x则着色饱和度越低，按时间刻度插值。

第五步，生成B的壁画遮罩面板M。

第六步，根据病害监测区域的空间姿态信息和MR眼镜的SLAM模型，将M对准其病害监测区域显示。

第七步，为M加上可用手势操作的时间轴，置于M下方；以及显示统计信息的文本框，置于M右方。

3)可视化S_s，设S_d中每一组环境传感器数据为E。对每个E执行下列七个步骤：

第一步，按照E生成折线图L，横轴为时间，纵轴根据环境数据类别和极值自动调整。

第二步，根据环境传感器的空间姿态信息和MR眼镜的SLAM模型，让L显示在目标环境传感器上方30cm处，L可以自身重心为轴心自由旋转，始终面向用户。

第三步，为L加上可用手势操作的时间轴，置于L下方；以及显示统计信息的文本框，置于L右方。

(3)提取病害恶化警报

我们已经帮助用户看到病害和环境数据的变化趋势，接下来要帮助用户挖掘环境变化和病害发展的关联性，因此我们提供了自定义的病害模式搜索机制。由于该机制用于根据用户输入的病害-环境模型搜索实例，每个实例即说明目标病害区域有恶化风险，所以我们将搜索结果称为“警报”，该搜索机制称为“警报机制”。

用户可以输入多个病害模型同时搜索。每个病害模型要规定目标病害类型、涉及环境因素类型和判定函数，判定函数用C#编写。另外为了易于识别不同模型的搜索结果，还要为每个模型规定一个标志色。系统会根据病害和环境因素的类型筛选病害监测区域，并将涉及的环境数据输入判定函数，判定函数输出该病害监测区域警报发生时间的序列。

提取警报分为三个子步骤，分别为环境数据引用、候选警报筛选和警报判定。

1)环境数据引用：遗迹现场的环境因素具有位置差异，同一洞窟内的两个温度传感器在同一时间返回的数值是不同的。然而现有的环境数据并不是按照病害区域收集的，所以在病害监测区域的确切位置上环境因素如何变化是不明确的。这里用现有数据尽可能还原实际情况，为每个病害监测区域引用各类型距离最近的环境传感器作为环境数据源，如果某类型最近的一个传感器距离也较远，则该类型留空。

2)候选警报筛选：设警报类型为t，每个警报类型的目标病害类型为d_t，涉及环境因素类型集合为E_t，判定函数为f(x)。设病害检测区域集合为A，每个病害检测区域a，其病害类型集合为P_a，引用的环境数据集合为Q_a，其类型集合为type(Q_a)。为每个t筛选候选区域集合A′：

3)警报判定：对有警报时间序列S_a′：

S_a′＝f({q|q∈Q_a′,type(q)∈E_t})

至此，已经计算出了每个警报的发生时间、所属病害检测区域和所属警报类型。

(4)警报可视化

接下来对警报进行可视化，为用户展示警报的时间和空间分布。对每个警报w执行如下步骤：

第一步，生成警报标记集合S_mark＝{m₀,m₁,…,m_n}，其中m₀为警报的病害区域标记，m₁,m₂,…,m_n为警报的传感器标记。警报标记外观为半透明、可旋转的长椭圆形状，用w所属警报类型的标志色着色。

第二步，计算m₀的坐标设w所属病害检测区域的病害视图的时间轴为t，记t上对应w发生时间的刻度为tick₀。由于病害视图是三维空间下的可视化视图，则tick₀在世界坐标系下三维坐标为

第三步，计算m₁,m₂,…,m_n各自的坐标。坐标位于与w所属病害监测区域关联的传感视图上，同样为时间轴相应刻度的世界坐标，具体计算方法同第二步。

第四步，为了避免完全重叠而无法辨认警报标记的数量，若存在坐标相同的多个病害标记，依次旋转这些病害标记，每一个比上一个多旋转2°。

第五步，生成警报连线集合S_line＝{l₀,l₁,…,l_n-1}，l_i(i＝1,2,…n-1)的起点为终点为m_i+1的坐标，用w所属警报类型的标志色着色。

Claims (3)

1.一种基于MR眼镜的古代壁画病害可视分析方法，包括下列步骤：

步骤1：建立壁画病害与环境数据库，该数据库中包括病害恶化记录和遗迹现场的环境监测数据：病害恶化记录包括每个病害区域的空间姿态、同一病害区域不同时间的各类型病害范围标记图、标记时间和病害统计信息高维向量；环境数据包括遗迹内各个类型、各个传感器的位置和这些传感器记录下的不同时间的环境数据，包括空气温度、空气湿度、二氧化碳含量数据等；

步骤2：根据用户所在的位置读取附近一定距离内的病害恶化记录和环境数据，各自生成其病害视图和传感器视图：病害视图为半透明的壁画遮罩面板，附有时间轴和统计数据框；传感器视图为传感器数据的折线图，附有时间轴和统计数据框，遮罩面板叠加在真实病害区域上，用于多类型病害发展情况的可视化；传感器视图显示在对应传感器附近，随用户移动而转动，始终面向用户，其中，病害视图的遮罩面板绘制方法如下：

1)读取同属一个病害区域的病害恶化记录；

2)计算同类型相邻病害范围标记图的差值；

3)按类型为每张差值图着色：每个病害类型的差值图有各自的色调，同类型差值图对应的恶化记录时间越早饱和度越低；

4)按时间顺序将所有差值图叠加，将所得图像叠加在真实病害上显示，即为遮罩面板；

步骤3：根据用户输入的警报类型条件集T遍历壁画病害与环境数据库，提取病害恶化警报，每条警报包括警报的发生时间、所属病害检测区域和所属警报类型；

步骤4：在病害视图和传感器视图的时间轴上方加入不同颜色的警报标记，并连线属于同一警报的标记，以此展示病害恶化警报的时间和空间分布，警报标记和连线符合focus+context设计原则，支持通过时间轴批量选中。

2.根据权利要求1所述的可视分析方法，其特征在于，病害恶化警报的提取算法如下：

1)为病害区域集合A的每个病害区域a就近匹配环境传感器作为数据源，每个类型的环境数据匹配一个；

2)候选警报筛选：设警报类型为t，每个警报类型的目标病害类型为d_t，涉及环境因素类型集合为E_t，判定函数为f(x)，设病害检测区域集合为A，每个病害检测区域a，其病害类型集合为P_a，引用的环境数据集合为Q_a，其类型集合为type(Q_a)，为每个t筛选候选区域集合A′：

3)警报判定：针对f(x)的环境数据类型和病害类型限制筛选A′中的警报，将通过筛选的警报w输入f(x)中计算发生时间，至此，计算出每个警报的发生时间、所属病害检测区域和所属警报类型。

3.根据权利要求2所述的可视分析方法，其特征在于，步骤4对每个警报w具体执行如下步骤：

1)生成w的警报标记：在w对应病害视图和每个传感器视图的时间轴上，用警报标记标出w的发生时间；

2)生成警报连线：为每个相关的传感器视图生成一条连线，连线的起点为病害视图上的警报标记，终点为传感器视图上的警报标记；

3)调整警报外观：用w所属警报类型的标志色为标记和连线着色，并旋转警报标记避免完全重叠。