CN107481204A - 一种基于压缩感知的古代壁画起甲病害数字修复方法及智能终端系统 - Google Patents
一种基于压缩感知的古代壁画起甲病害数字修复方法及智能终端系统 Download PDFInfo
- Publication number
- CN107481204A CN107481204A CN201710697987.0A CN201710697987A CN107481204A CN 107481204 A CN107481204 A CN 107481204A CN 201710697987 A CN201710697987 A CN 201710697987A CN 107481204 A CN107481204 A CN 107481204A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mural painting
- image
- msup
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006378 damage Effects 0.000 title claims abstract description 17
- 238000010422 painting Methods 0.000 claims abstract description 168
- 230000008439 repair process Effects 0.000 claims abstract description 66
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000001771 impaired effect Effects 0.000 claims abstract description 16
- 238000002372 labelling Methods 0.000 claims abstract description 16
- 201000010099 disease Diseases 0.000 claims abstract description 15
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 230000003628 erosive effect Effects 0.000 claims abstract description 9
- 230000000877 morphologic effect Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 10
- 230000007812 deficiency Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 241000287196 Asthenes Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 238000013179 statistical model Methods 0.000 claims 2
- 239000003086 colorant Substances 0.000 claims 1
- 238000001914 filtration Methods 0.000 claims 1
- 238000003709 image segmentation Methods 0.000 claims 1
- 230000000630 rising effect Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013477 bayesian statistics method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于压缩感知的壁画起甲病害数字修复方法及智能终端系统，包括壁画图像预处理模块、壁画起甲病害标注模块、壁画图像修复模块；壁画图像预处理模块包括图像去噪和HSV色彩空间转换，壁画起甲病害标注模块实现壁画图像的V分量提取，利用contour函数画出亮度等高线图，通过对其添加阈值分割，得到壁画分割图；然后通过形态学腐蚀操作得到病害区域的闭区间，最后将分割图与受损的壁画图像叠加，标记出壁画起甲病害区域；壁画图像修复模块利用基于PMLE和EM机制的压缩感知的图像修复算法对壁画的起甲病害区域进行修复；本发明能独立完成对古代壁画中起甲病害的标注和智能修复，为壁画的数字化虚拟展示提供支持。
Description
技术领域
本发明属于数字图像处理领域，具体涉及一种基于压缩感知的古代壁画起甲病害数字修复方法及智能终端系统。
背景技术
我国作为一个文物大国，文物保存、研究、修复等方面的工作始终是一个较难解决的问题，很多文物由于无法得到及时修复而不能进行展示，甚至最终损坏。随着计算机图像处理技术的快速发展，数字图像修复技术在文物修复保护领域中的应用日益广泛。
数字图像修复技术的思路是根据图像中完好区域的已知信息推测出受损区域的未知信息，达到修复的目的。压缩感知概念的提出给数字图像修复技术带来了一种新思路。压缩感知能够在保证信息不丢失的条件下，充分考虑信号的稀疏性，然后根据远低于奈奎斯特的采样频率来进行信号采集，再经过信号重构技术使得最初的信号得以恢复出来。
目前，数字图像修复技术的研究工作主要集中在算法上，虽然近年来对其应用研究也有了一定的进展，但大多数应用都是作为功能简单的插件被包含在别的软件中。作为功能完整、独立应用的图像修复系统很少。针对智能终端移动设备设计的壁画病害修复的智能终端系统更是缺少。为了研究工作者更方便地开展研究工作，设计这样一个系统是十分必要的。
发明内容
本发明的目的在于提供一种基于压缩感知的古代壁画起甲数字病害修复方法及智能终端系统，以解决上述技术问题。该系统能独立完成对古代壁画中起甲病害的标注和智能修复等一系列功能，从而为壁画的数字化虚拟展示提供支持。
为了实现上述功能，本发明采取如下的技术方案：
一种基于压缩感知的古代壁画起甲病害数字修复方法，包括以下步骤：
步骤一，对受损的壁画图像进行图像预处理；预处理包括图像去噪和HSV色彩空间转换；
步骤二，提取经过步骤一色彩空间转换后数字图像的HSV空间中V分量数据，通过contour函数画出亮度等高线图，对亮度等高线图进行阈值分割，得到分割图；
步骤三，对分割图进行滤波去噪，再通过形态学腐蚀操作得到病害区域的闭区间；
步骤四，将壁画分割图与受损的壁画图像叠加，标记出壁画的起甲病害区域；
步骤五，利用基于压缩感知的图像修复算法修复壁画的起甲病害区域。
所述的步骤一中图像去噪采用的是TV算法。
所述的步骤五中基于压缩感知的图像修复算法包括PMLE机制和EM修复两个步骤：
(1)PMLE机制
假设受损壁画数字图像Y有n个像素点；首先，暂且不考虑壁画图像的破损区域，根据压缩感知稀疏表示理论可知，壁画图像表示为：
Y＝Φα+ε,ε～N(0,σ2) (1)
其中，Φ为n×p的完备字典，n＜p，p是过完备的列；α是图像Y在过完备Φ上的表示，ε和N(0,σ2)为高斯加性白噪声；通过惩罚性最大似然估计从Y恢复出图像X：
其中，是图像X的恢复图像，是指对数似然函数，pX(x)为先验密度函数；
当X能够被转换成稀疏表示α时，PLME可以看作最大后验概率的贝叶斯模型，则式(2)更新为：
在上式中，Ψ(α)是利用了信号的稀疏性，以促进低复杂度重建与修复的调整函数；
(2)EM修复
对于图像I，假设原图像向量Y中包含了破损的待修复区域Ymiss和观测到的图像Yobs，其中，其中，Imiss是原壁画图像I中的缺失区域，Iobs是原壁画图像I中的可观测区域；虽然观测到的数据不足以恢复出原图所有的信息，但是EM算法通过对当前图中的信息不断地学习迭代来逐步完成信息的猜测补全；
EM算法是通过E和M两个步骤来完成图像的修复，包括以下步骤：
1)进行参数初始化，得到观测到的图像向量Yobs，破损区域的掩码M以及收敛阈值δ；
2)E步骤是对全局数据进行统计观察，然后推断出指定图像向量Y的数据以及对应的噪声数值，并更新全局的估计值；实现公式为(4)：
Y(t)＝Yobs+(1-M) (4)
将上式改写成对应的向量形式为：
3)M步骤是根据PMLE机制来更新X(t+1)和
X(t+1)＝ΦDΦ+Y(t)
其中，n0＝trM＝cardI0是观察到的像素点的个数，trM是矩阵M的迹，cardIobs是求有限集合Iobs中的元素个数；D为软阈值约束，与惩罚函数Ψ(α)相关，将对应的调整应用到Φ的扩张系数上；
与收敛阈值δ相比较，如果满足式(7)则说明修复已经满足要求，否则返回步骤E继续进行迭代；算法的收敛条件为：
进一步的，考虑到实际修复结果可以存在一定小范围的误差，而不会引起人眼视觉观察的不适；所以为防止分母过小，在图像修复已满足人眼观察的情况，仍进行多次的迭代更新，造成不必要的成本浪费；在公式(7)增加常数m，将||X(t)||2改写为则公式(7)变为：
通过以上步骤，EM算法每次迭代都会更新全局的破损数据，然后根据贝叶斯统计模型，不断更新，最终能够实现对破损区域的修复。
一种基于压缩感知的古代壁画起甲病害数字修复的智能终端系统，包括：用户登录模块、注册模块、壁画图像库和主模块；
用户登录模块，用于用户通过已注册的帐号和密码进行登录；
注册模块，用于用户进行注册；
图像库，用于存储待修复的壁画和已经修复的壁画；
主模块，包括壁画图像预处理模块、壁画起甲病害标注模块、壁画图像修复模块；
壁画图像预处理模块，用于对壁画图像进行去噪处理和HSV色彩空间转换；其中图像去噪采用的是TV算法；HSV色彩空间转换是根据壁画特征将图像从RGB空间转换到HSV空间，得到H、S和V三个分量图，V分量图包含图像颜色的明暗程度，因壁画起甲病害区域明暗程度明显，所以可以以此判断起甲病害的区域；
壁画起甲病害标注模块，该模块用于标记出壁画中的起甲病害区域，其中V分量数据通过contour函数画出亮度等高线图，通过阈值的设定，得到壁画分割图，然后进行滤波去噪，再通过形态学腐蚀操作，得到壁画病害区域的闭区间，最后将分割图与受损的壁画图像叠加，标记出壁画起甲病害区域；
壁画图像修复模块，该模块采用基于压缩感知的图像修复算法对壁画病害区域进行修复。
该智能终端系统使用时，包括以下步骤：
步骤一，壁画图像预处理模块对受损的壁画图像，进行壁画图像预处理；预处理包括图像去噪和HSV色彩空间转换；
步骤二，壁画起甲病害标注模块提取经过步骤一HSV色彩空间转换后图像的V分量数据，通过contour函数画出亮度等高线图，对亮度等高线图进行阈值分割，得到壁画分割图；
步骤三，壁画起甲病害标注模块对壁画分割图进行滤波去噪，再通过形态学腐蚀操作得到壁画病害区域的闭区间；
步骤四，壁画起甲病害标注模块将分割图与受损的壁画图像进行叠加，标记出壁画的起甲病害区域；
步骤五，壁画图像修复模块利用基于压缩感知的图像修复算法对壁画的起甲病害区域进行修复。
主模块还包括壁画图像评价模块；壁画图像评价模块采用结构相似性、峰值信噪比、均方误差和修复耗时作为衡量壁画图像修复效果的指标，直观地评价图像的修复效果；结构相似性和峰值信噪比的值越大，均方误差和修复耗时的值越小，表示修复的效果越好。
与现有技术相比，本发明具有以下有益效果：
1、本发明采用非接触的方式修复古代壁画的起甲病害，设计了应用于移动终端设备的智能终端系统，给研究工作者带来方便，同时避免了对壁画造成二次损害；
2、本发明中壁画图像去噪采用的算法是TV模型，该算法不仅能够去除图像中的噪声，而且能有效地保留图像的结构信息。
3、本发明通过HSV色彩空间转换，得到壁画的V分量数据，根据壁画中起甲病害的特征，可以有效标记出起甲病害的区域；
4、本发明通过一种基于压缩感知的图像修复算法对壁画的起甲病害进行数字修复，将压缩感知的概念引入到壁画病害修复中，可以降低计算复杂度，提高修复效率。
附图说明
图1是本发明的古代壁画起甲病害数字修复的智能终端系统的结构示意图；
图2是壁画智能终端修复系统功能图；
图3是传统信息处理过程示意图；
图4是压缩感知原理示意图。
具体实施方式
为了方便对本实施例说明，首先介绍以下五个概念：
1、壁画基本上都是由三个基本部分组成，即壁画的支撑结构(墙壁或岩壁)、地仗层(又叫基础层、灰泥层、泥层)和颜料层(或称画面层)。壁画的地仗层在数字图像中称为背景区域，颜料层在数字图像中称为图像的前景。
2、起甲是指壁画的底色层或颜料层发生龟裂，进而呈鳞片状卷翘。
3、压缩感知是一种新颖的信号采集与处理技术。压缩感知的核心思想是在保证信息不损失的情况下，充分利用信号的稀疏性，将信号的采集和压缩步骤进行合并，以远低于奈奎斯特采样率进行采集，再通过重构技术完全恢复出原始信号。
4、图像修复就是对图像中信息缺损的区域进行信息填充的过程，其目的就是对破损图像进行恢复，并且要使观察者无法察觉到图像曾经缺损或已被修复。
5、EM算法是将压缩感知技术与概率统计理论相结合的图像修复算法。该算法通过计算后验分布的众数或极大似然来填补不完整数据，达到图像修复的目的。
下面结合附图1和附图2对本发明做进一步说明。
本发明涉及一种基于压缩感知的古代壁画起甲病害数字修复智能终端系统，包括：用户登录模块、注册模块、图像库模块和主界面模块。
用户登录模块，用于用户通过已注册的帐号和密码进行登录；
注册模块，用于用户进行注册；
壁画图像库，用于存储待修复的壁画和已经修复的壁画。
主模块，包括图像预处理模块、起甲病害标注模块、图像修复模块和图像评价模块。
图像预处理模块，用于对壁画图像进行去噪处理和HSV色彩空间转换；其中图像去噪采用的是TV算法；HSV色彩空间转换是根据壁画特征使得图像从RGB空间转换到HSV空间，得到H、S和V三个分量图，V分量图包含图像颜色的明暗程度，因壁画起甲病害区域明暗程度明显，所以可以用于判断起甲病害的区域；
壁画起甲病害标注模块，该模块用于标记出壁画中的起甲病害区域，其中V分量数据通过contour函数画出亮度等高线图，通过RGB阈值的设定，得到分割图，然后进行滤波去噪，再通过形态学腐蚀操作，得到病害区域的闭区间，最后将分割图与受损的壁画图像叠加，标记出起甲病害区域；
壁画图像修复模块，该模块采用基于压缩感知的图像修复算法对壁画病害区域进行修复，具体采用的算法是基于EM的修复算法，主要通过PMLE机制和EM方法两个方面实现图像修复；
壁画图像评价模块，该模块采用结构相似性(SSIM)、峰值信噪比(PSNR)、均方误差(MSE)和修复耗时作为衡量壁画图像修复效果的指标，直观地评价图像的修复效果。SSIM和PSNR的值越大，MSE和修复消耗时间的值越小，表示修复的效果越好。
本发明一种基于压缩感知的古代壁画起甲病害数字修复方法，包括以下步骤：
步骤一，从壁画图像库模块输入受损的壁画数字图像，并进行图像预处理。图像预处理部分连接着壁画图像库，从图像库中选取需要修复的壁画图像进行预处理。预处理包括图像去噪和HSV色彩空间转换，其中图像去噪采用的是TV算法；
步骤二，提取经过步骤一HSV色彩空间转换后壁画图像的V分量数据，通过contour函数画出亮度等高线图，对亮度等高线图添加RGB阈值分割，得到壁画分割图；
步骤三，对壁画分割图进行滤波去噪，再通过形态学腐蚀操作得到壁画病害区域的闭区间；
步骤四，将上述分割图与受损的壁画图像叠加，标记出壁画的起甲病害区域；
步骤五，利用基于压缩感知的图像修复算法对壁画的起甲病害区域进行修复，具体采用的算法是基于EM的修复算法。图像修复部分同样连接着壁画图像库，将修复后的壁画图像存储到壁画图像库中。
步骤一中，壁画图像去噪和HSV色彩空间转换是为后面的步骤做铺垫。该步骤中图像去噪采用的算法是TV模型，该算法不仅能够去除壁画图像中的噪声，而且能有效地保留壁画图像的结构信息。HSV色彩空间转换是为了得到壁画图像的V分量图，因为HSV中V代表亮度表示颜色的明暗程度，壁画起甲后该区域明暗程度不一，可以通过提取V分量亮度数据辅助确定壁画起甲病害区域。
步骤五中，图像修复采用一种基于压缩感知的图像数字修复算法修复标记出的壁画起甲病害区域。
所述的一种基于压缩感知的图像数字修复算法即基于EM算法的图像修复算法。EM算法主要采用的理论是带有惩罚机制的极大似然估计(PMLE)和线性的稀疏表示理论。该算法是将稀疏理论与图像修复、概率统计相结合的一种迭代方法，主要用来计算后验分布的众数或极大似然估计，用于不完整数据的填补问题。在EM算法中，每次迭代修补必定填补受损部分，利用上次迭代获得的信息展开新的迭代，修复完成结束迭代。
实施例：
该古代壁画起甲病害数字修复的智能终端系统，本实施例在基于Android平台上完成。
该古代壁画起甲病害数字修复的智能终端系统的使用如下：
打开系统后登录模块。该模块需要用户将已注册的帐号和密码填写，进行核实，完成登录。如果是新用户需要由该界面跳转到注册模块，先完成用户信息的注册，再转到用户登录模块。
完成登录后进入壁画图像库界面。该界面可以看到图库中已存储的壁画图像，选择感兴趣的壁画进行修复研究。同时该模块还有扫码、拍照、知识库查询等功能。
在图像库确定待修复图像后进入主模块，该模块中主要包括：壁画图像预处理模块、壁画起甲病害标注模块、壁画图像修复和壁画图像评价四个模块选项，每个模块有相应的界面。
该古代壁画起甲病害修复的智能终端系统的使用如下：
打开系统后到达用户登录模块。该模块需要用户将已注册的帐号和密码填写，进行核实，完成登录。
如果是新用户需要由该界面跳转到注册模块，先完成用户信息的注册，再转到用户登录模块。
完成登录后进入图像库界面。该界面可以看到图库中存储的壁画图像，选择感兴趣的壁画进行修复学习研究。同时该模块还有扫码、拍照、知识库查询等功能。
在图像库确定待修复图像后进入主界面，该界面中主要包括：图像预处理模块、起甲病害标注模块、图像修复和图像评价4个模块选项。每个模块有相应的界面，介绍如下：
(1)图像预处理界面。该界面显示壁画数字图像去噪后的图像和HSV色彩空间转换后得到的V分量图。采用的去噪算法是TV算法。该步骤是为下一步壁画起甲病害标注做铺垫。
(2)壁画起甲病害标注界面。该界面显示出已标注到壁画起甲病害区域的图像。
(3)壁画图像修复界面。该界面显示出已修复的壁画图像。在系统版本更新过程中可以逐渐加入多种不同的修复算法，以便进行进一步的修复研究。
(4)壁画图像评价界面。该界面显示修复后图像的SSIM、PSNR和MSE值，直观地体现了壁画图像的修复效果。
压缩感知
传统的信号采集必须满足香农采样定理(又叫做Nyquist采样定理)。香农采样定理是指若是需要精确的重构出被采样信号，信号的采样率务必不能低于被采样信号带宽的两倍。传统信息处理过程，如图3所示。
压缩感知(Compressed Sensing，CS)是一种新颖的信号采集与处理理论。2006年，在对稀疏理论和最优化理论更进一步学习研究的情况下，Emmanual Candes和Terence Tao等人提出了压缩感知。CS与Nyquist采样的差异之处在于，将采样和压缩两个步骤同时进行。CS能够以极低的采样频率进行信号采集，因此可以减少后面过程中的传送费用和消耗时间。压缩感知原理图，如图4所示。
CS理论主要由三个方面：
(1)信号的稀疏表示
CS理论最先是对原信号X稀疏表示。将X转换到对应的稀疏域Ψ上，X＝Ψα，其中，α为X在稀疏域Ψ域上的表示。
(2)信号的观测采集
该部分是从(1)中获得的稀疏信号α中得到有效信息。为了保证信号线性表示α避免遭受到毁坏，需要确定与变换基Ψ不相关的一个测量矩阵Φ。其过程：Y＝Φα，Y是经测量得到的结果。
(3)重构信号
该部分的重点是设计出高效的重构算法，使得原始信号能够从线性表示α中恢复出来。
基于稀疏表示的图像修复方法是利用一个字典和待修复图像内的有效信息进行稀疏编码，修复图像上的破损图像。图像修复是求解信号重建的反问题，而CS可由较少的信息映射出较多信息是可以解决反问题的好方法，找到好的变换矩阵就可以恢复出原始信息。图像的受损部分在于图像的整体来看是稀疏的，所以CS能够引入到受损图像的修复工作中。与传统的图像修复相比，基于CS的修复不需要凭借图中自身的结构特征，换句话说就是适用范围更广阔。基于CS的图像修复技术包含的两种重要方法，分别是基于非纹理结构的修复方法和基于纹理结构的图像修复方法。Selesnick等人提出一种使用插值约束的图像小波变换系数推测出图像中受损区域未知信息的方法。根据这个方法，Fadili等人提出EM算法，将最大期望与线性稀疏表示方法相结合，从统计学的角度选择图像块填充受损区域。
目前，基于CS的数字图像修复方法是研究的一个热点方向。CS理论的深入研究和完善，可以肯定基于CS的图像修复技术也会得以发展，数字图像修复技术也会随之提升。
Claims (9)
1.一种基于压缩感知的古代壁画起甲病害数字修复方法，其特征在于，包括以下步骤：
步骤一，对受损的壁画数字图像，进行图像预处理；预处理包括图像去噪和HSV色彩空间转换；
步骤二，提取经过步骤一预处理后的壁画图像HSV空间的V分量数据，利用contour函数画出亮度等高线图，对亮度等高线图进行阈值分割，得到分割图；
步骤三，对分割图进行二次滤波去噪，再通过形态学腐蚀操作得到壁画病害区域的闭区间；
步骤四，将步骤三得到壁画病害区域闭区间的病害分割图与原受损的壁画数字高清图像进行叠加，标记出壁画的起甲病害区域；
步骤五，利用基于压缩感知的数字图像修复算法对壁画的起甲病害区域进行数字修复。
2.根据权利要求1所述的一种基于压缩感知的古代壁画起甲病害数字修复方法，其特征在于，步骤一中图像去噪采用的是TV算法。
3.根据权利要求1所述的一种基于压缩感知的古代壁画起甲病害数字修复方法，其特征在于，步骤五中基于压缩感知的图像修复算法包括PMLE机制和EM修复两个方面：
(1)PMLE机制
假设受损壁画数字图像Y有n个像素点；首先，暂且不考虑壁画图像的破损区域，根据压缩感知稀疏表示理论可知，壁画图像表示为：
Y＝Φα+ε,ε～N(0,σ2) (1)
其中，Φ为n×p的完备字典，n＜p，p是过完备字典的列；α是图像Y在过完备字典Φ上的表示；ε和N(0,σ2)为高斯加性白噪声；通过惩罚性最大似然估计从Y恢复出图像X：
<mrow>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<msub>
<mi>argmin</mi>
<mi>x</mi>
</msub>
<mo>-</mo>
<mi>l</mi>
<mi>l</mi>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>|</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>log</mi>
<mi>p</mi>
</msub>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，是图像X的恢复图像，l是值对数似然函数，pX(x)为先验密度函数；
当X能够被转换成稀疏表示α时，PLME可以看作最大后验概率的贝叶斯模型，则式(2)更新为：
<mrow>
<mover>
<mi>&alpha;</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>min</mi>
<mi>&alpha;</mi>
</munder>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mi>Y</mi>
<mo>-</mo>
<mi>&Phi;</mi>
<mi>&alpha;</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mi>&Psi;</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
在上式中，Ψ(α)是调整函数，利用了信号的稀疏性，以降低重建与修复的复杂度；
(2)EM修复
对于壁画图像I，假设原壁画图像向量Y中包含了起甲病害区域Ymiss和观测到的图像Yobs，其中，其中，Imiss是原壁画图像I中的缺失区域，Iobs是原壁画图像I中的可观测区域；虽然从观测到的数据不足以恢复出原图所有的信息，但是EM算法可以通过对当前图中的信息不断地学习迭代来逐步完成信息的猜测补全；
EM算法是通过E和M两个步骤来完成壁画图像的修复，包括以下步骤：
1)进行参数初始化，得到待修复壁画图像向量Yobs，破损区域的掩码M以及收敛阈值δ；
2)E步骤是对全局数据进行统计观察，然后推断出指定待修复壁画图像向量Y的数据以及对应的噪声数值，并更新全局的估计值Y(t)；Y(t)实现公式为(4)：
Y(t)＝Yobs+(1-M)X(t) (4)
将上式改写成对应的向量形式为：
<mrow>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>=</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mi>&Phi;</mi>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>,</mo>
<msup>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>,</mo>
<msup>
<mi>&sigma;</mi>
<msup>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msup>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mrow>
<msub>
<mi>obs</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
<mo>,</mo>
<mi>i</mi>
<mo>&Element;</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>&Phi;</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msup>
<mi>&alpha;</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>,</mo>
<mi>i</mi>
<mo>&Element;</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>s</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
3)M步骤是根据PMLE机制来更新X(t+1)和
X(t+1)＝ΦDΦ+Y(t)
<mrow>
<msup>
<mi>&sigma;</mi>
<msup>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
</msup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<mo>&lsqb;</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
</munder>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<msub>
<mi>n</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，n0＝trM＝cardIobs是观察到的像素点的个数，trM是矩阵M的迹，cardIobs是求有限集合Iobs中的元素个数；D为软阈值约束，与惩罚函数Ψ(α)相关，将对应的调整应用到Φ的扩张系数上；
与收敛阈值δ相比较，如果满足式(7)则说明修复已经满足要求，否则返回步骤E继续进行迭代；算法的收敛条件为：
<mrow>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mo>-</mo>
<msup>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>&le;</mo>
<mi>&delta;</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
4.根据权利要求3所述的一种基于压缩感知的古代壁画起甲病害数字修复方法，其特征在于，在公式(7)增加常数m，将||X(t)||2改写为则公式(7)变为：
<mrow>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mo>-</mo>
<msup>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msqrt>
<mrow>
<msup>
<mi>X</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</msup>
<mo>+</mo>
<msup>
<mi>m</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>&le;</mo>
<mi>&delta;</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
通过以上步骤，EM算法每次迭代都会更新全局的破损数据，然后根据贝叶斯统计模型，不断更新；通过增加常数m，防止分母过小，从而减少迭代次数，最终能够实现对破损区域的修复。
5.一种基于压缩感知的古代壁画起甲病害数字修复的智能终端系统，其特征在于，包括：用户登录模块、注册模块、图像库和主模块；
用户登录模块，用于用户通过已注册的帐号和密码进行登录；
注册模块，用于用户进行注册；
图像库，用于存储待修复的壁画和已经修复的壁画的数字图像；
主模块，包括壁画图像预处理模块、起甲病害标注模块、壁画图像修复模块；
壁画图像预处理模块，用于对壁画图像进行去噪处理和HSV色彩空间转换；其中图像去噪采用的是TV算法；HSV色彩空间转换是根据壁画图像特征将壁画图像从RGB空间转换到HSV空间，得到H、S和V三个分量图，V分量图包含壁画图像颜色的明暗程度，因壁画起甲病害区域明暗程度明显，所以以此判断壁画起甲病害的区域；
壁画起甲病害标注模块，该模块用于标记出壁画图像中的起甲病害区域，其中V分量数据利用contour函数画出亮度等高线图，通过阈值的设定，得到分割图，然后进行滤波去噪，再通过形态学腐蚀操作，得到壁画病害区域的闭区间，最后将壁画分割图与受损的壁画图像叠加，标记出壁画起甲病害区域；
壁画图像修复模块，该模块采用基于压缩感知的壁画图像修复算法对壁画病害区域进行修复。
6.根据权利要求5所述的智能终端系统，其特征在于，使用时，包括以下步骤：
步骤一，壁画图像预处理模块对受损的壁画图像进行图像预处理；预处理包括去噪和HSV色彩空间转换；
步骤二，壁画起甲病害标注模块提取经过步骤一HSV色彩空间转换后图像的V分量数据，利用contour函数画出亮度等高线图，对亮度等高线图添加RGB阈值分割，得到壁画图像分割图；
步骤三，壁画起甲病害标注模块对壁画分割图进行滤波去噪，再通过形态学腐蚀操作得到壁画病害区域的闭区间；
步骤四，壁画起甲病害标注模块将分割图与受损的壁画图像叠加，标记出壁画的起甲病害区域；
步骤五，壁画图像修复模块利用基于压缩感知的图像修复算法对壁画的起甲病害区域进行修复。
7.根据权利要求6所述的智能终端系统，其特征在于，步骤五中基于压缩感知的图像修复算法包括PMLE机制和EM修复两个步骤。
8.根据权利要求7所述的智能终端系统，其特征在于，在公式(7)增加常数m，将||X(t)||2改写为则公式(7)变为：
<mrow>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mo>-</mo>
<msup>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msqrt>
<mrow>
<msup>
<mi>X</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</msup>
<mo>+</mo>
<msup>
<mi>m</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>&le;</mo>
<mi>&delta;</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
通过以上步骤，EM算法每次迭代都会更新全局的破损数据，然后根据贝叶斯统计模型，不断更新；通过增加常数m，防止分母过小，从而减少迭代次数，最终能够实现对破损区域的修复。
9.根据权利要求5所述的智能终端系统，其特征在于，主模块还包括壁画图像评价模块；
壁画图像评价模块采用结构相似性、峰值信噪比、均方误差和修复耗时作为衡量壁画图像修复效果的指标，直观地评价图像的修复效果；结构相似性和峰值信噪比的值越大，均方误差和修复耗时的值越小，表示修复的效果越好。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710697987.0A CN107481204A (zh) | 2017-08-15 | 2017-08-15 | 一种基于压缩感知的古代壁画起甲病害数字修复方法及智能终端系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710697987.0A CN107481204A (zh) | 2017-08-15 | 2017-08-15 | 一种基于压缩感知的古代壁画起甲病害数字修复方法及智能终端系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107481204A true CN107481204A (zh) | 2017-12-15 |
Family
ID=60599589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710697987.0A Pending CN107481204A (zh) | 2017-08-15 | 2017-08-15 | 一种基于压缩感知的古代壁画起甲病害数字修复方法及智能终端系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107481204A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754426A (zh) * | 2020-06-10 | 2020-10-09 | 天津大学 | 一种基于遗传算法的壁画脱落病害自动修复方法 |
| CN113538408A (zh) * | 2021-08-04 | 2021-10-22 | 陕西科技大学 | 一种古代壁画健康等级的评估方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295199A (zh) * | 2013-05-29 | 2013-09-11 | 西安建筑科技大学 | 古壁画的裂缝智能修复辅助系统 |
| CN103473455A (zh) * | 2013-09-12 | 2013-12-25 | 天津大学 | 一种基于可视分析的古代石窟寺壁画病害模式的确定方法 |
| CN105824907A (zh) * | 2016-03-15 | 2016-08-03 | 西安建筑科技大学 | 一种古代壁画数字信息分析方法及系统 |
| CN105844583A (zh) * | 2016-03-17 | 2016-08-10 | 西安建筑科技大学 | 一种画像石裂缝智能提取及虚拟修复方法 |
| WO2018027584A1 (zh) * | 2016-08-09 | 2018-02-15 | 深圳大学 | 一种目标属性辅助的压缩感知图像恢复方法及其系统 |
-
2017
- 2017-08-15 CN CN201710697987.0A patent/CN107481204A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295199A (zh) * | 2013-05-29 | 2013-09-11 | 西安建筑科技大学 | 古壁画的裂缝智能修复辅助系统 |
| CN103473455A (zh) * | 2013-09-12 | 2013-12-25 | 天津大学 | 一种基于可视分析的古代石窟寺壁画病害模式的确定方法 |
| CN105824907A (zh) * | 2016-03-15 | 2016-08-03 | 西安建筑科技大学 | 一种古代壁画数字信息分析方法及系统 |
| CN105844583A (zh) * | 2016-03-17 | 2016-08-10 | 西安建筑科技大学 | 一种画像石裂缝智能提取及虚拟修复方法 |
| WO2018027584A1 (zh) * | 2016-08-09 | 2018-02-15 | 深圳大学 | 一种目标属性辅助的压缩感知图像恢复方法及其系统 |
Non-Patent Citations (3)
| Title |
|---|
| 党宏社等: "基于贝叶斯压缩感知与形态学成分", 《计算机应用研究》 * |
| 崔国庆: "基于压缩感知的图像修复技术研究", 《中国优秀硕士学位论文全文数据库》 * |
| 申婧妮等: "MCA分解的唐墓室壁画修复算法", 《计算机科学与探索》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754426A (zh) * | 2020-06-10 | 2020-10-09 | 天津大学 | 一种基于遗传算法的壁画脱落病害自动修复方法 |
| CN111754426B (zh) * | 2020-06-10 | 2022-11-29 | 天津大学 | 一种基于遗传算法的壁画脱落病害自动修复方法 |
| CN113538408A (zh) * | 2021-08-04 | 2021-10-22 | 陕西科技大学 | 一种古代壁画健康等级的评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yoo et al. | Photorealistic style transfer via wavelet transforms | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN108460746A (zh) | 一种基于结构和纹理分层预测的图像修复方法 | |
| CN111968053A (zh) | 基于门控卷积生成对抗网络的图像修复方法 | |
| CN102930518B (zh) | 基于改进的稀疏表示的图像超分辨率方法 | |
| CN111179187B (zh) | 基于循环生成对抗网络的单幅图像去雨方法 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN105046672A (zh) | 一种图像超分辨率重建方法 | |
| CN102902961A (zh) | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 | |
| CN101901472B (zh) | 一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法 | |
| CN104301735B (zh) | 城市交通监控视频全局编码方法及系统 | |
| CN104899835B (zh) | 基于盲模糊估计与锚定空间映射的图像超分辨处理方法 | |
| CN111080591A (zh) | 基于编码解码结构结合残差模块的医学图像分割方法 | |
| CN106920214A (zh) | 空间目标图像超分辨率重建方法 | |
| CN110689495A (zh) | 一种深度学习的图像修复方法 | |
| CN105139339A (zh) | 基于多级滤波和样本匹配的偏振图像超分辨率重建方法 | |
| CN111626912A (zh) | 水印去除方法及装置 | |
| CN113256494B (zh) | 一种文本图像超分辨率方法 | |
| CN105590296A (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
| CN105825491A (zh) | 一种基于混合模型的图像融合方法 | |
| CN107481204A (zh) | 一种基于压缩感知的古代壁画起甲病害数字修复方法及智能终端系统 | |
| CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及系统 | |
| CN116993737B (zh) | 一种基于卷积神经网络的轻量型裂缝分割方法 | |
| CN112802186B (zh) | 基于二值化特征编码匹配的动态场景实时三维重建方法 | |
| CN1296871C (zh) | 基于残差的遥感图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171215 |
|
| RJ01 | Rejection of invention patent application after publication |