CN111626954A - 壁画图像色彩还原方法、装置、存储介质及计算机设备 - Google Patents
壁画图像色彩还原方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN111626954A CN111626954A CN202010440462.0A CN202010440462A CN111626954A CN 111626954 A CN111626954 A CN 111626954A CN 202010440462 A CN202010440462 A CN 202010440462A CN 111626954 A CN111626954 A CN 111626954A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- restored
- mural
- mural image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000009467 reduction Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000001629 suppression Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005381 potential energy Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 13
- 238000005562 fading Methods 0.000 abstract description 9
- 238000010422 painting Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000049 pigment Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052956 cinnabar Inorganic materials 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种壁画图像色彩还原方法、装置、存储介质及计算机设备，该方法包括获取待还原壁画图像和参考壁画图像；提取待还原壁画图像和参考壁画图像的色彩特征；根据待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对待还原壁画图像进行全局色彩还原，生成第一色彩还原图像；通过马尔科夫随机场约束，对第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像；最小化第二色彩还原图像与待还原壁画图像之间的欧式距离，得到第三色彩还原图像；对第三色彩还原图像进行噪声抑制处理。本申请能够有效保持壁画图像中原有结构信息，对褪色、变色区域整体还原效果较好，提高了石窟壁画色彩还原的效果。
Description
技术领域
本发明涉及壁画还原领域，具体而言，涉及一种壁画图像色彩还原方法、装置、存储介质及计算机设备。
背景技术
石窟壁画是古人绘制在洞窟墙壁上的画作，是人类最伟大，最辉煌的历史文化遗产之一。通过这些壁画，可以充分了解古代的佛教思想以及中国传统文化、历史、地理、人文等多学科领域的宝贵信息和历史线索。
长期以来，由于受环境、壁画的制造材料、壁画所依附石窟墙体的矿物组成成分等要素的影响，大量现存壁画图像产生了退化和质变问题。其中，较为严重且难治理的问题是壁画颜料的褪色和变色。比如，壁画图像中的红色大量采用朱砂绘制，在长期的光照、温度和湿度影响下，壁画中的这些红色区域往往变成灰黑色。再比如，壁画绘制采用的大量矿物颜料由于受风化作用影响，使壁画的亮度和色彩降低，从而使壁画产生褪色现象。这些褪变色问题在石窟壁画中大量存在，严重影响了壁画图像的研究与展示等相关工作的开展。
传统的石窟壁画色彩还原主要针对壁画颜料成分、褪变色原因分析，壁画画面及背衬加固材料试验等工作展开。这些工作需要修复者具备相当的专业知识和技术水平，而且还原过程具有不可逆性，对于壁画原物也可能产生一定的破坏。目前石窟壁画色彩还原的效果有待进一步提高。
发明内容
为了解决目前石窟壁画色彩还原的效果有待进一步提高的问题，本申请实施例提供了一种壁画图像色彩还原方法、装置、存储介质及计算机设备，能够有效保持壁画图像中原有结构信息，对褪色、变色区域整体还原效果较好，提高了石窟壁画色彩还原的效果。
第一方面，本申请实施例提供了一种壁画图像色彩还原方法，包括：
获取待还原壁画图像和参考壁画图像，所述参考壁画图像为与所述待还原壁画图像结构相似度满足第一阈值的图像；
提取所述待还原壁画图像和参考壁画图像的色彩特征；
根据所述待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对所述待还原壁画图像进行全局色彩还原，生成第一色彩还原图像；
根据所述待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对所述第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像；
最小化所述第二色彩还原图像与所述待还原壁画图像之间的欧式距离，得到第三色彩还原图像；
对所述第三色彩还原图像进行噪声抑制处理。
其中，所述根据所述待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对所述待还原壁画图像进行全局色彩还原，生成第一色彩还原图像，包括：
将所述待还原壁画图像的色彩数据转换为第一核矩阵，将所述参考壁画图像的色彩数据转换为第二核矩阵；
将所述第一核矩阵和第二核矩阵按列方向合并，将合并矩阵的每一行复制n+m份，n是所述待还原壁画图像的宽度，m是所述待还原壁画图像的长度；
计算所述合并矩阵中任意两个数据之间的和；计算高斯核函数；
最小化所述待还原壁画图像和参考壁画图像统计分布之间基于高斯核函数的最大均值差异，生成第一色彩还原图像。
其中，所述根据所述待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对所述待还原壁画图像进行全局色彩还原，生成第一色彩还原图像，包括：
在VGG-19模型的第三层卷积层、第五层卷积层、第九层卷积层上添加最大均值差异约束，所述最大均值差异约束的势能函数为：
式中：EMMD表示最大均值差异约束；
表示网络中参考壁画图像的特征映射；
表示网络中待还原壁画图像的特征映射；MMD表示最大均值差异度量；F表示待还原壁画图像的特征映射；S表示参考壁画图像的特征映射；核函数使用高斯核函数。
其中，所述根据所述待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对所述第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像，包括：
从待还原壁画图像中抽取第一块，使用最近邻算法在参考壁画图像中寻找与所述第一块最相似的第二块；
通过马尔科夫随机场约束，根据所述第二块对所述第一块进行色彩还原。
其中，所述根据所述待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对所述第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像，包括：
在VGG-19模型的第三层卷积层、第五层卷积层、第九层卷积层上添加马尔科夫随机场约束，所述马尔科夫随机场约束为：设
表示从
取局部块的特征映射集，每个图像块被索引为
并且大小为k×k×C，其中k是块的宽度和高度，C是所在层的通道数，所述马尔科夫随机场约束的势能函数为：
式中：EMRF表示马尔科夫随机场约束；
表示网络中输出图像的特征映射；
表示网络中参考壁画图像的特征映射。
其中，所述最小化所述第二色彩还原图像与所述待还原壁画图像之间的欧式距离，得到第三色彩还原图像，包括：
在VGG-19模型的第六层卷积层、第十层卷积层上添加待还原图像约束，所述待还原图像约束为：
式中：Eo表示待还原图像约束；
表示网络中输出图像的特征映射；
表示网络中待还原壁画图像的特征映射。
其中，所述对所述第三色彩还原图像进行噪声抑制处理，包括：
通过添加约束平方梯度正则化项平滑所述第三色彩还原图像。
第二方面，本申请实施例提供了一种壁画图像色彩还原装置，包括：
获取单元，用于获取待还原壁画图像和参考壁画图像，所述参考壁画图像为与所述待还原壁画图像结构相似度满足第一阈值的图像；
提取单元，用于提取所述待还原壁画图像和参考壁画图像的色彩特征；
全局色彩还原单元，用于根据所述待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对所述待还原壁画图像进行全局色彩还原，生成第一色彩还原图像；
局部色彩还原单元，用于根据所述待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对所述第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像；
色彩增强单元，用于最小化所述第二色彩还原图像与所述待还原壁画图像之间的欧式距离，得到第三色彩还原图像；
噪声抑制单元，用于对所述第三色彩还原图像进行噪声抑制处理。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述方法的步骤。
本申请实施例壁画图像色彩还原方法及装置具有如下有益效果：
本申请获取待还原壁画图像和参考壁画图像，参考壁画图像为与待还原壁画图像结构相似度满足第一阈值的图像；提取待还原壁画图像和参考壁画图像的色彩特征；根据待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对待还原壁画图像进行全局色彩还原，然后进行局部色彩还原，生成第二色彩还原图像；最小化第二色彩还原图像与待还原壁画图像之间的欧式距离，以增强色彩。本申请能够有效保持壁画图像中原有结构信息，对褪色、变色区域整体还原效果较好，提高了石窟壁画色彩还原的效果。
附图说明
图1为本申请实施例壁画图像色彩还原方法流程示意图；
图2为本申请实施例壁画图像色彩还原方法中对待还原壁画图像进行全局色彩还原的流程示意图；
图3为本申请实施例壁画图像色彩还原方法中网络模型的示意图；
图4为本申请实施例壁画图像色彩还原装置的结构示意图；
图5为本申请实施例计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的介绍。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本发明的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。
传统的石窟壁画色彩还原主要针对壁画颜料成分、褪变色原因分析，壁画画面及背衬加固材料试验等工作展开。这些工作需要修复者具备相当的专业知识和技术水平，而且还原过程具有不可逆性，对于壁画原物也可能产生一定的破坏。目前石窟壁画色彩还原的效果有待进一步提高。因此，将图像处理技术应用于壁画图像褪变色现象的复原研究就具有了重要的学术和社会价值。
图1为本申请实施例壁画图像色彩还原方法流程示意图，如图1所示，本申请实施例壁画图像色彩还原方法包括步骤：S101，获取待还原壁画图像和参考壁画图像，参考壁画图像为与待还原壁画图像结构相似度满足第一阈值的图像；S103，提取待还原壁画图像和参考壁画图像的色彩特征；S105，根据待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对待还原壁画图像进行全局色彩还原，生成第一色彩还原图像；S107，根据待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像；S109，最小化第二色彩还原图像与待还原壁画图像之间的欧式距离，得到第三色彩还原图像；S111，对第三色彩还原图像进行噪声抑制处理。下面介绍每一步骤。
S101，获取待还原壁画图像和参考壁画图像，参考壁画图像为与待还原壁画图像结构相似度满足第一阈值的图像。
在一些实施例中，待还原壁画图像和参考壁画图像的尺寸相同。参考壁画图像例如为与未退化的待还原壁画图像结构相似度大于0.85的壁画图像。第一阈值可以为其他数值，根据实际需要设置。
S103，提取待还原壁画图像和参考壁画图像的色彩特征。
在一些实施例中，将待还原壁画图像和参考壁画图像输入卷积神经网络中，通过卷积神经网络提取待还原壁画图像和参考壁画图像的色彩特征。
在卷积神经网络中利用卷积层中3*3的卷积核过滤提取待还原壁画图像和参考壁画图像的色彩特征，初始化壁画图像的特征向量集，在反向传播过程中，无限迭代更新此特征集，求解出一个特征向量，从而可以使用此特征向量对壁画图像矩阵进行特征提取。利用最大池化层增加图像结构的感受野和结构平移不变性。在保留结构特征的前提下，降低了图像尺寸。
S105，根据待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对待还原壁画图像进行全局色彩还原，生成第一色彩还原图像。
如图2所示，本申请中对待还原壁画图像进行全局色彩还原过程包括:S301，将待还原壁画图像的色彩数据转换为第一核矩阵，将参考壁画图像的色彩数据转换为第二核矩阵；S303，将第一核矩阵和第二核矩阵按列方向合并，将合并矩阵的每一行复制n+m份，n是待还原壁画图像的宽度，m是待还原壁画图像的长度；S305，计算合并矩阵中任意两个数据之间的和；计算高斯核函数；S307，最小化待还原壁画图像和参考壁画图像统计分布之间基于高斯核函数的最大均值差异，生成第一色彩还原图像。
在一些实施例中，在VGG-19模型的第三层卷积层、第五层卷积层、第九层卷积层上添加最大均值差异约束。VGG-19模型于2014年提出，在文献VERY DEEP CONVOLUTIONALNETWORKS FOR LARGE-SCALE IMAGE RECOGNITION中进行了详细介绍。最大均值差异约束是建立一种映射转换关系。
考虑到壁画的绘制通常是一个层层递进的过程,为了对壁画图像各层全局颜色特征信息进行有效提取和处理，本申请将最大均值差异约束加入网络模型的第3层、第5层和第9层。为了让待还原壁画图像中的特征信息和参考壁画图像的特征信息之间建立一种映射转换关系，可以利用待还原壁画图像的特征表达二阶统计分布去逼近参考壁画图像的特征表达二阶统计分布。本申请中，为了保留壁画图像的特征位置信息且在颜色相关时提取特征，最大均值差异约束的势能函数为：
式中：EMMD表示最大均值差异约束；
表示网络中参考壁画图像的特征映射；
表示网络中待还原壁画图像的特征映射；MMD表示最大均值差异度量；F表示待还原壁画图像的特征映射；S表示参考壁画图像的特征映射；核函数使用高斯核函数，可以映射到无穷维空间且具有旋转对称性，不会偏向任意方向。通过使用二阶多项式核可以得到：
式中：N是归一化项；fl和sl表示F和S的第l列。
S107，根据待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像。
在一些实施例中，本步骤包括：从待还原壁画图像中抽取第一块，使用最近邻算法在参考壁画图像中寻找与第一块最相似的第二块；通过马尔科夫随机场约束，根据第二块对第一块进行色彩还原。
马尔科夫随机场约束对待还原壁画图像进行空间局部限制，使用最近邻算法寻找最相似的块进行色彩还原。首先从卷积层中抽取3*3的块，以stride＝1来密集的抽取块。其次利用多余的卷积层来进行块匹配，每一个抽取的块都可以作为卷积层来滤波。最后对于待还原壁画图像的每一个查找到的块和上一层卷积进行计算，找到最佳匹配块。
在一些实施例中，由于壁画图像局部相似性较强，对其局部细节特征的提取尤为重要。马尔科夫随机场约束可以在最大均值差异约束的基础上对壁画图像颜色未还原部分做进一步处理。本申请在VGG-19模型的第三层卷积层、第五层卷积层、第九层卷积层上添加马尔科夫随机场约束，使用最近邻算法寻找最相似的块来匹配待还原壁画图像，对壁画图像中局部色彩进行还原，从而提高待还原壁画图像的色彩还原质量，减少色彩畸变。
本申请中，马尔科夫随机场约束为：设
表示从
取局部块的特征映射集，每个图像块被索引为
并且大小为k×k×C，其中k是块的宽度和高度，C是所在层的通道数，马尔科夫随机场约束的势能函数为：
式中：EMRF表示马尔科夫随机场约束；
表示网络中输出图像的特征映射；
表示网络中参考壁画图像的特征映射。
从每一个块
中找到最好的匹配块是
使用归一化交叉相关系数在所有
的mr块中：
式中：NN(i)是归一化互相关；m是
的基数；
表示从
取局部块的特征映射集；
表示从
取局部块的特征映射集。与标准马尔科夫随机场约束不同的是本申请使用归一化交叉相关系数可以在较大可变性下匹配和适应参考壁画图像特征。
S109，最小化第二色彩还原图像与待还原壁画图像之间的欧式距离，得到第三色彩还原图像。
本步骤中，为保留待还原壁画图像的结构纹理信息并充分考虑卷积神经网络提取特征的深度，本申请在VGG-19模型的第六层卷积层、第十层卷积层上添加待还原图像约束，这样不仅能够有效降低计算量，而且可以对经色彩还原后壁画图像中的结构纹理信息进行增强。待还原图像约束可以通过
和
的欧氏距离来表示：
式中：Eo表示待还原图像约束；
表示网络中输出图像的特征映射，例如第二色彩还原图像；
表示网络中待还原壁画图像的特征映射。
待还原图像约束是通过最小化第二色彩还原图像特征映射和待还原壁画图像特征映射之间的欧式距离来表示的。
S111，对第三色彩还原图像进行噪声抑制处理。
在一些实施例中，通过添加约束平方梯度正则化项平滑第三色彩还原图像。在对褪变色壁画进行色彩还原的过程中，一些噪声容易被强化，从而导致还原图像中出现假色或伪影。因此，本申请在应用马尔科夫随机场约束的卷积层上添加约束平方梯度范数用于图像色彩还原过程中的噪声抑制：
式中：λ(x)表示平方梯度正则化项；x表示最终的色彩还原结果，i表示x的第i行，j表示x的第j列。
本申请壁画图像色彩还原方法能够有效保持壁画图像中原有结构信息，对褪色、变色区域整体还原效果较好，提高了石窟壁画色彩还原的效果。
如图3所示，本申请提出的基于双重约束CNN的壁画图像色彩还原模型可以表征为优化势能函数并使其最小化：
式中：x表示输出的壁画图像；xr表示参考壁画图像，该图像是选取与待还原壁画图像的结构相似度(SSIM，structural similarity index)大于0.85的壁画图像作为参考壁画图像；xo表示待还原壁画图像；Eo表示待还原图像约束；EMMD表示最大均值差异约束；EMRF表示马尔科夫随机场约束；
表示网络中输出图像的特征映射；
表示网络中待还原壁画图像的特征映射；
表示网络中参考壁画图像的特征映射；λ(x)表示平方梯度正则化项。
本申请使用以VGG-19模型为基础的CNN模型。该网络模型分为5组并使用3×3的卷积核。本申请在模型的第3层、第5层、第9层添加最大均值差异约束保留壁画图像全局位置信息处理颜色特征信息，在第3层、第5层、第9层添加马尔科夫随机场约束获取壁画图像颜色特征并进行空间局部限制，然后在第6层和第10层添加待还原图像约束以保留待还原壁画图像的结构特征，并将这些层标记为卷积约束层。
本申请结合壁画图像的色彩和结构特征，提出了一种基于双重约束卷积神经网络的壁画图像色彩还原方法，该方法采用最大均值差异(MMD)处理壁画图像位置不同但颜色相关区域存在色彩匹配不准确的问题，利用马尔科夫随机场(MRF)的空间布局限制，保留壁画图像中的局部结构信息，并且通过不同卷积层提取颜色信息，克服色彩的过渡失真，提升色彩还原的质量。实验分析显示，本申请方法可以有效保持壁画图像中原有结构信息，对褪色、变色区域整体还原效果较好。
本申请还提出了一种壁画图像色彩还原装置，如图4所示，壁画图像色彩还原装置包括：
获取单元201，用于获取待还原壁画图像和参考壁画图像，参考壁画图像为与待还原壁画图像结构相似度满足第一阈值的图像；
提取单元202，用于提取待还原壁画图像和参考壁画图像的色彩特征；
全局色彩还原单元203，用于根据待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对待还原壁画图像进行全局色彩还原，生成第一色彩还原图像；
局部色彩还原单元204，用于根据待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像；
色彩增强单元205，用于最小化第二色彩还原图像与待还原壁画图像之间的欧式距离，得到第三色彩还原图像；
噪声抑制单元206，用于对第三色彩还原图像进行噪声抑制处理。
本申请中，壁画图像色彩还原装置实施例与壁画图像色彩还原方法实施例基本相似，相关之处请参考壁画图像色彩还原方法实施例的介绍。
本领域的技术人员可以清楚地了解到本发明实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)、IC(Integrated Circuit，集成电路)等。
本发明实施例的各处理单元和/或模块，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件而实现。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述壁画图像色彩还原方法步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。
图5为本申请实施例计算机设备的结构示意图，如图5所示，本申请的计算机设备例如为膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。计算机设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本申请计算机设备包括处理器401、存储器402、输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线405或者其他方式连接。存储器402上存储有计算机程序，该计算机程序可在处理器401上运行，而且处理器401执行程序时实现上述壁画图像色彩还原方法步骤。
输入装置403可接收输入的数字或字符信息，以及产生与数据处理计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器、等离子体显示器和触摸屏。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上介绍仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种壁画图像色彩还原方法，其特征在于，包括：
获取待还原壁画图像和参考壁画图像，所述参考壁画图像为与所述待还原壁画图像结构相似度满足第一阈值的图像；
提取所述待还原壁画图像和参考壁画图像的色彩特征；
根据所述待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对所述待还原壁画图像进行全局色彩还原，生成第一色彩还原图像；
根据所述待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对所述第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像；
最小化所述第二色彩还原图像与所述待还原壁画图像之间的欧式距离，得到第三色彩还原图像；
对所述第三色彩还原图像进行噪声抑制处理。
2.根据权利要求1所述壁画图像色彩还原方法，其特征在于，所述根据所述待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对所述待还原壁画图像进行全局色彩还原，生成第一色彩还原图像，包括：
将所述待还原壁画图像的色彩数据转换为第一核矩阵，将所述参考壁画图像的色彩数据转换为第二核矩阵；
将所述第一核矩阵和第二核矩阵按列方向合并，将合并矩阵的每一行复制n+m份，n是所述待还原壁画图像的宽度，m是所述待还原壁画图像的长度；
计算所述合并矩阵中任意两个数据之间的和；计算高斯核函数；
最小化所述待还原壁画图像和参考壁画图像统计分布之间基于高斯核函数的最大均值差异，生成第一色彩还原图像。
3.根据权利要求2所述壁画图像色彩还原方法，其特征在于，所述根据所述待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对所述待还原壁画图像进行全局色彩还原，生成第一色彩还原图像，包括：
在VGG-19模型的第三层卷积层、第五层卷积层、第九层卷积层上添加最大均值差异约束，所述最大均值差异约束的势能函数为：
式中：EMMD表示最大均值差异约束；
表示网络中参考壁画图像的特征映射；
表示网络中待还原壁画图像的特征映射；MMD表示最大均值差异度量；F表示待还原壁画图像的特征映射；S表示参考壁画图像的特征映射；核函数使用高斯核函数。
4.根据权利要求1所述壁画图像色彩还原方法，其特征在于，所述根据所述待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对所述第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像，包括：
从待还原壁画图像中抽取第一块，使用最近邻算法在参考壁画图像中寻找与所述第一块最相似的第二块；
通过马尔科夫随机场约束，根据所述第二块对所述第一块进行色彩还原。
5.根据权利要求4所述壁画图像色彩还原方法，其特征在于，所述根据所述待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对所述第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像，包括：
在VGG-19模型的第三层卷积层、第五层卷积层、第九层卷积层上添加马尔科夫随机场约束，所述马尔科夫随机场约束为：设
表示从
取局部块的特征映射集，每个图像块被索引为
并且大小为k×k×C，其中k是块的宽度和高度，C是所在层的通道数，所述马尔科夫随机场约束的势能函数为：
式中：EMRF表示马尔科夫随机场约束；
表示网络中输出图像的特征映射；
表示网络中参考壁画图像的特征映射。
6.根据权利要求1-5任一项所述壁画图像色彩还原方法，其特征在于，所述最小化所述第二色彩还原图像与所述待还原壁画图像之间的欧式距离，得到第三色彩还原图像，包括：
在VGG-19模型的第六层卷积层、第十层卷积层上添加待还原图像约束，所述待还原图像约束为：
式中：Eo表示待还原图像约束；
表示网络中输出图像的特征映射；
表示网络中待还原壁画图像的特征映射。
7.根据权利要求1-5任一项所述壁画图像色彩还原方法，其特征在于，所述对所述第三色彩还原图像进行噪声抑制处理，包括：
通过添加约束平方梯度正则化项平滑所述第三色彩还原图像。
8.一种壁画图像色彩还原装置，其特征在于，包括：
获取单元，用于获取待还原壁画图像和参考壁画图像，所述参考壁画图像为与所述待还原壁画图像结构相似度满足第一阈值的图像；
提取单元，用于提取所述待还原壁画图像和参考壁画图像的色彩特征；
全局色彩还原单元，用于根据所述待还原壁画图像和参考壁画图像的色彩特征，通过最大均值差异约束，对所述待还原壁画图像进行全局色彩还原，生成第一色彩还原图像；
局部色彩还原单元，用于根据所述待还原壁画图像和参考壁画图像的色彩特征，通过马尔科夫随机场约束，对所述第一色彩还原图像进行局部色彩还原，生成第二色彩还原图像；
色彩增强单元，用于最小化所述第二色彩还原图像与所述待还原壁画图像之间的欧式距离，得到第三色彩还原图像；
噪声抑制单元，用于对所述第三色彩还原图像进行噪声抑制处理。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010440462.0A CN111626954B (zh) | 2020-05-22 | 2020-05-22 | 壁画图像色彩还原方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010440462.0A CN111626954B (zh) | 2020-05-22 | 2020-05-22 | 壁画图像色彩还原方法、装置、存储介质及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111626954A true CN111626954A (zh) | 2020-09-04 |
| CN111626954B CN111626954B (zh) | 2022-05-06 |
Family
ID=72272779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010440462.0A Active CN111626954B (zh) | 2020-05-22 | 2020-05-22 | 壁画图像色彩还原方法、装置、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626954B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112532872A (zh) * | 2020-11-16 | 2021-03-19 | 北京五一视界数字孪生科技股份有限公司 | 调整摄像头参数的方法、装置、存储介质及电子设备 |
| CN113781318A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 一种图像颜色映射方法、装置、终端设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090297056A1 (en) * | 2008-05-28 | 2009-12-03 | Micron Technology, Inc. | Method and apparatus for extended depth-of-field image restoration |
| CN103679798A (zh) * | 2012-09-17 | 2014-03-26 | 上海商务数码图像技术有限公司 | 一种洞窟壁画数字化还原方法 |
| CN105678710A (zh) * | 2016-01-14 | 2016-06-15 | 佛山华芯微特科技有限公司 | 颜色校正还原系统和颜色校正还原方法 |
| CN109919869A (zh) * | 2019-02-28 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
-
2020
- 2020-05-22 CN CN202010440462.0A patent/CN111626954B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090297056A1 (en) * | 2008-05-28 | 2009-12-03 | Micron Technology, Inc. | Method and apparatus for extended depth-of-field image restoration |
| CN103679798A (zh) * | 2012-09-17 | 2014-03-26 | 上海商务数码图像技术有限公司 | 一种洞窟壁画数字化还原方法 |
| CN105678710A (zh) * | 2016-01-14 | 2016-06-15 | 佛山华芯微特科技有限公司 | 颜色校正还原系统和颜色校正还原方法 |
| CN109919869A (zh) * | 2019-02-28 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| LEON A. GATYS等: "Image Style Transfer Using Convolutional Neural Networks", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| XUEYAN DING等: "Underwater image dehaze using scene depth estimation with adaptive color correction", 《OCEANS 2017 - ABERDEEN》 * |
| 李智敏等: "基于深度学习的灰度图像实际颜色预测", 《计算机应用》 * |
| 陈启超: "基于卷积神经网络的单目视频深度恢复算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112532872A (zh) * | 2020-11-16 | 2021-03-19 | 北京五一视界数字孪生科技股份有限公司 | 调整摄像头参数的方法、装置、存储介质及电子设备 |
| CN113781318A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 一种图像颜色映射方法、装置、终端设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111626954B (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qin et al. | Image inpainting based on deep learning: A review | |
| Cong et al. | Global-and-local collaborative learning for co-salient object detection | |
| CN110021051B (zh) | 一种基于生成对抗网络通过文本指导的人物图像生成方法 | |
| CN111783647B (zh) | 人脸融合模型的训练方法、人脸融合方法、装置及设备 | |
| CN112528976B (zh) | 文本检测模型的生成方法和文本检测方法 | |
| US11704537B2 (en) | Octree-based convolutional neural network | |
| CN111626954B (zh) | 壁画图像色彩还原方法、装置、存储介质及计算机设备 | |
| US20210304413A1 (en) | Image Processing Method and Device, and Electronic Device | |
| CN111768468B (zh) | 图像填充方法、装置、设备及存储介质 | |
| CN111598131B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111967297A (zh) | 图像的语义分割方法、装置、电子设备及介质 | |
| CN112001248B (zh) | 主动交互的方法、装置、电子设备和可读存储介质 | |
| Wang et al. | (2+ 1) D-SLR: an efficient network for video sign language recognition | |
| CN111862031A (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
| Feng et al. | [Retracted] Research and Application of Multifeature Gesture Recognition in Human‐Computer Interaction Based on Virtual Reality Technology | |
| Guo et al. | Inverse transformation sampling-based attentive cutout for fine-grained visual recognition | |
| CN111862030B (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
| Song et al. | Lightweight multi-level feature difference fusion network for RGB-DT salient object detection | |
| Yu et al. | MagConv: Mask-guided convolution for image inpainting | |
| CN107123119A (zh) | 一种针对多结构数据的指导性采样方法 | |
| CN111665934A (zh) | 一种基于zynq软硬件协同处理的手势识别系统及方法 | |
| CN106815844A (zh) | 一种基于流形学习的抠图方法 | |
| CN110738261A (zh) | 图像分类和模型训练方法、装置、电子设备及存储介质 | |
| CN111681183A (zh) | 一种壁画图像色彩还原方法及装置 | |
| Hannuksela et al. | Motion-based finger tracking for user interaction with mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |