CN108416746A - 基于高光谱图像降维与融合的彩绘文物图案增强方法 - Google Patents
基于高光谱图像降维与融合的彩绘文物图案增强方法 Download PDFInfo
- Publication number
- CN108416746A CN108416746A CN201810121680.0A CN201810121680A CN108416746A CN 108416746 A CN108416746 A CN 108416746A CN 201810121680 A CN201810121680 A CN 201810121680A CN 108416746 A CN108416746 A CN 108416746A
- Authority
- CN
- China
- Prior art keywords
- image
- principal component
- component image
- segmentation
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 29
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 18
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000015556 catabolic process Effects 0.000 claims abstract description 9
- 238000002156 mixing Methods 0.000 claims abstract description 9
- 238000000926 separation method Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims description 62
- 238000002310 reflectometry Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 239000004615 ingredient Substances 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000747 cardiac effect Effects 0.000 claims 2
- 238000010422 painting Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于高光谱图像降维与融合的彩绘文物图案增强方法:步骤一,得到校正后的高光谱图像;步骤二,选出合成真彩色图像的子波段,合成真彩色图像;步骤三,采用最小噪声分离方法进行处理得到主成分图像;步骤四,对每个主成分图像进行显著性目标检测,得到最优主成分图像;步骤五,将最优主成分图像中的细节信息通过基于稀疏表示的图像分解提取,并通过细节注入到步骤二的真彩色图像中,得到彩绘文物的最终融合图像。本发明将显著性目标检测技术运用到最小噪声分离结果的最优主成分图像选择中,在降低数据维度和减少处理时长的同时,更加提高了数据处理的科学性和系统的智能性,为大量数据的处理打好了基础。
Description
技术领域
本发明属于信息技术领域,涉及高光谱图像处理技术,具体是一种基于高光谱图像降维与融合的彩绘文物图案增强方法。
背景技术
文物是人类重要的文化遗产,具有丰富的历史、艺术和科学研究价值。但是在发展的岁月长河中,文物会受到不同程度的破坏,尤其是彩绘文物(包括彩绘陶器和彩绘壁画等)的破坏会更加严重。为了挖掘出文物中的隐性信息,更深入的复原文物的内容、了解其研究艺术手法、发现潜在病害以及分析修复保护痕迹等,研究者们提出了一系列解决问题的方法。
随着现代科学技术的飞速发展,高光谱遥感科学作为一种综合性技术,在各个方面得到了广泛的发展,其能够在紫外至近红外范围内获得许多连续的图像,每个图像数据包含了数百的光谱信息。高光谱成像技术是目前最为安全、不易受检测对象和检测环境限制的无损、非接触检测新技术之一,因此对文物的研究逐渐引入高光谱成像的分析技术和手段。
由于高光谱图像数据冗余大、噪声多,所以在现有处理方法中,最小噪声分离技术常常被用于降低数据维度、去除噪声,获取相应的主成分信息作为后续处理的基础。但在选取主成分信息的过程中,一般研究人员根据自身的主观判断选取,这样的选取方式效率低,同时,不具有科学性,导致系统的智能型低。
发明内容
针对上述现有技术中存在的问题,本发明的目的是,提供一种面向彩绘文物隐藏信息挖掘的高光谱图像降维与融合方法。
为了实现上述任务,本发明采用以下技术方案予以解决:
1、一种基于高光谱图像降维与融合的彩绘文物图案增强方法,包括如下步骤:
步骤一,将彩绘文物的原始高光谱图像的像元的亮度值转换为像元的反射率,得到校正后的高光谱图像;
步骤二,计算步骤一得到的校正后的高光谱图像中红、绿、蓝三个波段范围的中心波段,选出合成真彩色图像的子波段,将得到的三个子波段分别对应R,G,B通道合成真彩色图像;
步骤三,对步骤一得到的校正后的高光谱图像采用最小噪声分离方法进行处理,得到主成分图像;
步骤四,对步骤三得到的每个主成分图像进行基于层次轮廓闭合的整体性显著性目标检测,包括基于封闭完整性以及封闭可靠性的显著性目标检测,然后对得到的结果细化后再组合,根据组合的结果得到最优主成分图像;
步骤五,将步骤四的最优主成分图像中的细节信息通过基于稀疏表示的图像分解提取,并通过细节注入到步骤二的真彩色图像中,得到彩绘文物的最终融合图像。
进一步的,所述步骤二包括如下步骤:
步骤21,从校正后的高光谱图像中选出红、绿、蓝三个波段范围中对应的多个波段;
步骤22,对于红色波段范围,利用下式计算得到红色波段范围的中心波段的像素点反射率:
表示第j个波段的第i个像素点的反射率;表示中心波段的第i个像素点的反射率;i=1,2,…,n;j=1,2,…,m;m表示红色波段范围内的波段个数;n表示图像的像素点个数;
步骤23,利用下式分别计算出红色波段范围内每个波段与中心波段的距离Dis,将离中心波段最近的波段作为合成真彩色图像的子波段;
式中,A(i)表示该红色波段范围内的任一波段中的第i个像素点的反射率;
同理,计算得到蓝、绿波段范围的合成真彩色图像的子波段;
步骤24,将得到的红,绿,蓝三个波段范围对应的子波段分别对应R,G,B通道,合成真彩色图像。
进一步的,所述步骤四包括如下步骤:
步骤41,基于封闭完整性的显著性目标检测:对步骤三选取的每个主成分图像分别进行层次分割,得到该主成分图像对应的多层分割图像;对于每个主成分图像,逐层遍历该主成分图像对应的分割图像进行指示图处理,得到每层分割图像对应的指示图Q;具体是利用下式计算任一主成分图像的第ξ层分割图像的任一像素点x的值:
式中,Qξ(x)表示该主成分图像的第ξ层图像的任一像素点x的值;R表示该主成分图像的第ξ层图像的任一区域;是内部区域的集合,其中Ri表示该主成分图像的第ξ层图像的第i个区域,i为1到T,T表示第ξ层图像中的区域个数,B是像素点在主成分图像边界上的点的集合;是边界区域的集合;Pξ表示该主成分图像的第ξ层图像的区域集合,Pξ={Ri};
对于每个主成分图像,利用下式计算该主成分图像上任一像素点x的指示图的期望,得到每个主成分图像对应的基于封闭完整性的显著图SC:
SC(x)=∫Qξ(x)·p(ξ)dξ
式中,SC(x)是每个主成分图像的每个像素点的显著性值,ξ服从概率密度函数p(ξ)的均匀分布;
步骤42,基于封闭可靠性的显著性目标检测:首先,对步骤三选取的每个主成分图像分别进行层次分割,得到该主成分图像对应的多层分割图像;对于每个主成分图像,逐层遍历该主成分图像对应的分割图像进行封闭可靠性图处理,得到每层分割图像对应的封闭可靠性图;
步骤43,对步骤41得到的基于封闭完整性的显著图SC和步骤42的封闭可靠性图SR进行细化,获得细化的封闭完整性图和细化的封闭完整性图;
步骤44,将步骤43得到的细化的封闭完整性图和细化的封闭可靠性图进行组合,得到每个主成分图像的组合显著性图S;
步骤45,对步骤44得到的每个主成分图像的组合显著性图S,利用下式所示的平均梯度计算图像的信息量G,将信息量G最大的组合显著性图S对应的主成分图像作为最优主成分图像;
式中,M×N表示组合显著性图S的大小,表示水平方向的梯度,表示垂直方向的梯度。
进一步的,所述步骤41中,所述层次分割的分割层数取10;所述步骤42中,所述层次分割的分割层数取3。
进一步的,所述步骤42中所述对于每个主成分图像,逐层遍历该主成分图像对应的分割图像进行封闭可靠性图处理,得到每层分割图像对应的封闭可靠性图,包括如下步骤:
计算任一分割图像上任一区域R的封闭可靠性:
s(R)=sr(R)·sb(R)
其中,区域边界轮廓线的长度加权轮廓可靠性sr(R)为:
上式中,J是一个分割图像上任一区域R周边的区域个数;Kj是区域R周边的第j个区域;W(Kj)是Kj的轮廓可靠性,通过区域R与它周围区域的局部二值模式特征(LAB)的差值定义;L(Kj)是Kj的区域长度;B是该主成分图像边缘的像素点集合;|R∩B|是区域R中位于主成分图像边缘的像素点的个数;
sb(R)是一个关于主成分图像边缘区域的惩罚项:
式中,sgn(·)是一个阶跃函数,如果|R∩B|>0,sgn(·)=1;如果|R∩B|=0,sgn(·)=0;α是一个正值;
将每个主成分图像中的所有像素x对应的3个s(R)值中的最大值取出,如果某两个像素点的最大s(R)值在同一层且这两个像素点的位置相邻,则将这两个像素点划分到一个区域,生成一个最佳分割层ξ*;利用下式计算最佳分割层ξ*中任一区域A的封闭可靠性,得到封闭可靠性图SR:
式中,SR(x)是每个主成分图像在最佳分割层ξ*中任一区域A的显著性值,此处的区域A属于最佳分割层ξ*中的任一区域。
进一步的,所述步骤43包括如下步骤:
封闭完整性细化:在步骤41得到的显著图SC中,选择显著性值小于0.2的区域和主成分图像的边界区域作为背景先验,计算非背景先验区域到背景先验的最小测地线距离,获得第一相异性图利用下式结合显著图SC和第一相异性图获得细化的封闭完整性图:
封闭可靠性细化:在步骤42的封闭可靠性图SR中,选择显著性值小于0.2的区域和主成分图像的边界区域作为背景先验,计算非背景先验区域到背景先验的最小测地线距离,获得第二相异图利用下面公式结合封闭可靠性图SR和第二相异图获得细化的封闭可靠性图:
进一步的,所述步骤44包括如下步骤:
利用下式得到细化的封闭完整性图和细化的封闭可靠性图的组合显著性图S:
式中,f是一个逻辑函数,被定义为:
上式中,γ是一个预定义的参数;τ是一个偏差,能够增强比τ大的显著性,抑制比τ小的显著性;x是主成分图像的任一像素点。
进一步的,所述步骤五包括如下步骤:
步骤51,预加工:利用下式计算真彩色图像的强度分量I;将步骤四的最优主成分图像和真彩色图像的强度分量I进行直方图匹配,得到匹配后的最优主成分图像XOPC;
式中,XTC是步骤二的真彩色图像;是XTC图像的第j个波段的像素值,K是波段的数量,值为3;
步骤52,图像分解:利用基于稀疏表示的图像分解方法对步骤51的XOPC进行分解,得到高频率字典和低频率字典,即XOPC=XLF+XHF,其中,XLF和XHF分别是低频率字典和高频率字典;
步骤53,细节注入:利用下式将步骤52含有空间细节的高频率字典XHF注入到步骤51的XTC的每一个波段,获得最终的融合图像XT;
式中,是融合图像的第j个波段,是XTC图像的第j个波段,K是波段的数量,值为3;j指合成真彩色图像的子波段。
与现有技术相比,本发明具有以下有益效果:
1.本发明利用显著性目标检测方法对最小噪声分离结果进行最优主成分图像选择,实现了二次降维效果,并且提高了数据处理效率以及科学性。
2.本发明利用距离测度的方法在可见光波段范围内选出代表性波段合成真彩色图像,保证了数据处理的科学性。
综上,本发明的方法有效的利用了显著性目标检测技术,解决了最小噪声分离结果主观判断的问题,提高了数据处理的科学性和系统的智能性
附图说明
图1为本发明的总体框架图;
图2为步骤四的显著性目标检测的流程图;
图3为步骤五的融合的流程图;
图4为彩绘陶器文物图。其中,(a)为陶器文物的可见光图;(b)为陶器文物的真彩色图;(c)为陶器文物的最小噪声分离第6波段图;(d)为最小噪声分离第6波段图的显著性目标检测图;(e)为陶器文物的融合图;
图5为彩绘壁画文物图。其中,(a)为壁画文物的可见光图;(b)为壁画文物的真彩色图;(c)为壁画文物的最小噪声分离第3波段图;(d)为最小噪声分离第3波段图的显著性目标检测图;(e)为壁画文物的融合图。
具体实施方式
遵从上述技术方案,如图1所示,本发明提供的基于高光谱图像降维与融合的彩绘文物图案增强方法,包括如下步骤:
步骤一,预处理:获取彩绘文物的原始高光谱图像,将原始高光谱图像的像元的亮度值(DN值)转换为像元的反射率,得到校正后的高光谱图像。
利用型号为Gaiafield Pro-V10的高光谱照相机获取彩绘文物的原始高光谱图像,采用辐射校正的方法将原始高光谱图像的像元的亮度值(DN值)转换为像元的反射率,经过校正的图像分别作为步骤二和步骤三的输入图像。该步骤优点:由于拍摄过程中存在自然光以及其他设备的光,对数据产生光污染,利用该步骤可以减少光污染并且把像素点的数据转化为反射率,便于后面处理。
步骤二,根据步骤一得到的校正后的高光谱图像,计算该高光谱图像中红、绿、蓝三个波段范围的中心波段,利用欧式距离选出合成真彩色图像的子波段,将得到的三个子波段分别对应R,G,B通道合成真彩色图像。具体包括以下步骤:
步骤21,从校正后的高光谱图像中选出红,绿,蓝三个波段范围中对应的多个波段。红绿蓝三个波段范围:红:605nm-700nm,绿:510nm-570nm,蓝:450nm-510nm;
步骤22,对于红色波段范围,利用下式计算得到红色波段范围的中心波段的像素点反射率:
表示第j个波段的第i个像素点的反射率;表示中心波段的第i个像素点的反射率;i=1,2,…,n;j=1,2,…,m;m表示红色波段范围内的波段个数;n表示图像的像素点个数。
步骤23,利用下式分别计算出红色波段范围内每个波段与中心波段的距离Dis,将离中心波段最近的波段作为合成真彩色图像的子波段;
式中,A(i)表示该红色波段范围内的任一波段中的第i个像素点的反射率;
用步骤22,步骤23同样的方式计算得到蓝,绿波段范围的合成真彩色图像的子波段。
步骤24,将得到的红,绿,蓝三个波段范围对应的子波段分别对应R,G,B通道,合成真彩色图像(The true color image,TC)。真彩色图像作为步骤五的输入图像。
该步骤优点:通过欧式距离算法选出代表波段,合成真彩色图像更具有科学性。
步骤三,对步骤一得到的校正后的高光谱图像采用最小噪声分离方法(MNF)进行处理,得到主成分图像。
在上述最小噪声分离方法的处理过程中,由于一般情况下,特征值等于小于1的主成分图像含有噪声,又因为文物数据本身噪声较大,所以本发明中选取特征值大于3所对应的主成分图像。该步骤选取的主成分图像作为步骤四的输入数据。该步骤优点:由于高光谱数据维度高、噪声大,利用最小噪声分离技术可以降低数据维度,减小噪声。
步骤四,对步骤三得到的每个主成分图像进行基于层次轮廓闭合的整体性显著性目标检测,包括基于封闭完整性以及封闭可靠性的显著性目标检测,前者通过外轮廓边界的封闭完整性突出输入图像的整体均匀区域,后者通过外轮廓边界的可靠性突出输入图像的整体均匀区域;然后对得到的结果细化后再组合,对组合的结果利用图像的平均梯度做判决条件选择得到最优主成分图像。具体包括以下步骤:
步骤41,基于封闭完整性的显著性目标检测:对步骤三选取的每个主成分图像分别进行层次分割(hierarchical segmentation),得到该主成分图像对应的多层分割图像;此处的分割层数N取10;多层分割图像中,图像所在层数越大,其包含的区域个数越少。对于每个主成分图像,逐层遍历该主成分图像对应的分割图像进行指示图处理,得到每层分割图像对应的指示图Q;具体步骤为:
利用下式计算任一主成分图像的第ξ层分割图像的任一像素点x的值:
上式中,Qξ(x)表示该主成分图像的第ξ层图像的任一像素点x的值;R表示该主成分图像的第ξ层图像的任一区域;是内部区域的集合,其中Ri表示该主成分图像的第ξ层图像的第i个区域,i为1到T,T表示第ξ层图像中的区域个数,B是像素点在主成分图像边界上的点的集合;是边界区域的集合,即是指从Pξ中将去除内部区域去除得到的区域集合;Pξ表示该主成分图像的第ξ层图像的区域集合,Pξ={Ri}。
在指示图Q中,有完整的外轮廓线的区域被激活,有开放的外轮廓线的区域被抑制,随着层数从ξ1到ξN的增加,背景区域被逐渐的剔除,显著性目标逐渐显现。对于每个主成分图像,利用下式计算该主成分图像上任一像素点x的指示图的期望,得到每个主成分图像对应的基于封闭完整性的显著图SC∈[0,1]:
SC(x)=∫Qξ(x)·p(ξ)dξ
式中,SC(x)是每个主成分图像的每个像素点的显著性值,ξ服从概率密度函数p(ξ)的均匀分布。在显著图SC中,高显著性值被分配给在大多数指示图{Qξ}中被激活的区域,低显著性值被分配给在大多数指示图{Qξ}中被抑制的区域。显著图SC用一张灰度图表示,像素值越亮,则越显著,反之亦然。显著图SC作为步骤43的输入。
步骤42,基于封闭可靠性的显著性目标检测:首先,对步骤三选取的每个主成分图像分别进行层次分割(hierarchical segmentation),得到该主成分图像对应的多层分割图像;此处的分割层数M取3。对于每个主成分图像,逐层遍历该主成分图像对应的分割图像进行封闭可靠性图处理,得到每层分割图像对应的封闭可靠性图s,具体步骤为:
计算任一分割图像上任一区域R的封闭可靠性:
s(R)=sr(R)·sb(R)
其中,区域边界轮廓线的长度加权轮廓可靠性sr(R)为:
上式中,J是一个分割图像上任一区域R周边的区域个数;Kj是区域R周边的第j个区域;W(Kj)是Kj的轮廓可靠性,通过区域R与它周围区域的局部二值模式特征(LAB)的差值定义;L(Kj)是Kj的区域长度;B是该主成分图像边缘的像素点集合;|R∩B|是区域R中位于主成分图像边缘的像素点的个数。
sb(R)是一个关于主成分图像边缘区域的惩罚项:
上式中,sgn(·)是一个阶跃函数,如果|R∩B|>0,sgn(·)=1;如果|R∩B|=0,sgn(·)=0;α是一个正值(本发明中取0.5);惩罚在主成分图像边缘的显著性区域。
将每个主成分图像中的所有像素x对应的3个s(R)值中的最大值取出,如果某两个像素点的最大s(R)值在同一层且这两个像素点的位置相邻,则将这两个像素点划分到一个区域,生成一个最佳分割层ξ*;利用下式计算最佳分割层ξ*中任一区域A的封闭可靠性,得到封闭可靠性图SR:
式中,SR(x)是每个主成分图像在最佳分割层ξ*中任一区域A的显著性值(显著性值;越可靠,显著性越高),此处的区域A属于最佳分割层ξ*中的任一区域。最终得到的封闭可靠性图SR用一张灰度图表示,像素值越亮,则越显著,反之亦然;结果SR作为步骤43的输入。
步骤43,对步骤41得到的基于封闭完整性的显著图SC和步骤42的封闭可靠性图SR进行细化。从而进一步提高显著性目标检测效果。
封闭完整性细化:在步骤41得到的显著图SC中,选择显著性值小于0.2的区域和主成分图像的边界区域作为背景先验,计算非背景先验区域到背景先验的最小测地线距离,获得第一相异性图利用下式结合显著图SC和第一相异性图获得细化的封闭完整性图:
封闭可靠性细化:在步骤42的封闭可靠性图SR中,选择显著性值小于0.2的区域和主成分图像的边界区域作为背景先验,计算非背景先验区域到背景先验的最小测地线距离,获得第二相异图利用下面公式结合封闭可靠性图SR和第二相异图获得细化的封闭可靠性图:
细化后的和作为步骤45的输入数据。
步骤44,将步骤43得到的细化的封闭完整性图和细化的封闭可靠性图组合,得到每个主成分图像的组合显著性图S。具体如下:
细化的封闭完整性图突出显示主成分图像内部的显著对象,忽视了主成分图像边缘上的显著对象,而细化的封闭可靠性图突出了任何轮廓可靠性的区域。为了充分利用和这两个细化后的显著性图,利用下式得到它们的组合显著性图S:
式中,f是一个逻辑函数,被定义为:
上式中,γ是一个预定义的参数(本发明中取10);τ是一个偏差(本发明中取0.7),能够增强比τ大的显著性,抑制比τ小的显著性;x是主成分图像的任一像素点。组合处理后得到的组合显著性图(灰度图)作为步骤45的输入数据。
步骤45,对步骤44得到的每个主成分图像的组合显著性图S,利用下式所示的平均梯度计算图像的信息量G,将信息量G最大的组合显著性图S对应的主成分图像作为最优主成分图像(The optimal principal component,OPC),实现了二次降维。
上式中,M×N表示组合显著性图S的大小,表示水平方向的梯度,表示垂直方向的梯度。最优主成分图像作为步骤五的输入数据。
该步骤利用显著性目标检测算法选出最优主成分图像,提高了系统的智能性,使大量文物数据的处理成为可能。
步骤五,将隐藏在步骤四的最优主成分图像中的细节信息通过基于稀疏表示的图像分解从特征图中提取,并通过细节注入模型注入到步骤二的真彩色图像中,以此恢复文物的隐藏信息。具体包括以下步骤:
步骤51,预加工:利用下式计算真彩色图像的强度分量I;将步骤四的最优主成分图像和真彩色图像的强度分量I进行直方图匹配,得到匹配后的最优主成分图像XOPC,作为步骤52的输入数据。
式中,XTC是步骤二的真彩色图像;是XTC图像的第j个波段的像素值,K是波段的数量,值为3;
步骤52,图像分解:利用基于稀疏表示的图像分解方法对步骤51的XOPC进行分解,得到高频率字典和低频率字典,即XOPC=XLF+XHF,其中,XLF和XHF分别是低频率字典和高频率字典。
步骤53,细节注入:利用下式将步骤52含有空间细节的高频率字典XHF注入到步骤51的XTC的每一个波段,获得最终的融合图像XT。
上式中,是融合图像的第j个波段,是XTC图像的第j个波段,K是波段的数量,值为3;j指合成真彩色图像的子波段。
该步骤利用图像融合的方法增强了彩绘文物的图案,观察到了可见光下看不到的内容,且处理时间短。
实施例:
实验数据分为两类:一类是陶器文物数据,于2016年11月份采集于西北大学文博学院;一类是壁画文物数据,于2017年11月份采集于乾陵永泰公主墓。分别对两类数据做辐射校正处理,利用距离测度方法选取可见光代表波段,陶器数据的代表波段为645nm、550nm、479nm,壁画数据的代表波段为639nm、548nm、470nm,合成真彩色图像,如图4(b)、5(b)。对预处理后的数据做最小噪声分离处理,根据特征值的大小,保留特征值大于3的主成分图像,保留的主成分图像中含有隐藏信息的主成分图像如图4(c)、5(c)。对保留的主成分图像采用显著性目标检测的方法提取主成分图像中的显著信息,如图4(d)、5(d),利用图像的平均梯度作为评判标准,对图4(d)、5(d)运算分别得到的值为1.892、0.8954,是所有主成分图像中最大的。把选取到有隐藏信息的最优主成分图像与真彩色图像进行融合,结果如图4(e)、5(e),观察图像会发现文物数据的隐藏信息被挖掘。
通过观察实验结果,处理后的陶器文物图像的隐藏信息用黑色线标记出来,相比于可见光图,能明显观察到陶器文物的图案。壁画文物图像经过处理后,原始的绘画信息被提取出来。
Claims (8)
1.一种基于高光谱图像降维与融合的彩绘文物图案增强方法,其特征在于,包括如下步骤:
步骤一,将彩绘文物的原始高光谱图像的像元的亮度值转换为像元的反射率,得到校正后的高光谱图像;
步骤二,计算步骤一得到的校正后的高光谱图像中红、绿、蓝三个波段范围的中心波段,选出合成真彩色图像的子波段,将得到的三个子波段分别对应R,G,B通道合成真彩色图像;
步骤三,对步骤一得到的校正后的高光谱图像采用最小噪声分离方法进行处理,得到主成分图像;
步骤四,对步骤三得到的每个主成分图像进行基于层次轮廓闭合的整体性显著性目标检测,包括基于封闭完整性以及封闭可靠性的显著性目标检测,然后对得到的结果细化后再组合,根据组合的结果得到最优主成分图像;
步骤五,将步骤四的最优主成分图像中的细节信息通过基于稀疏表示的图像分解提取,并通过细节注入到步骤二的真彩色图像中,得到彩绘文物的最终融合图像。
2.如权利要求1所述的基于高光谱图像降维与融合的彩绘文物图案增强方法,其特征在于,所述步骤二包括如下步骤:
步骤21,从校正后的高光谱图像中选出红、绿、蓝三个波段范围中对应的多个波段;
步骤22,对于红色波段范围,利用下式计算得到红色波段范围的中心波段的像素点反射率:
表示第j个波段的第i个像素点的反射率;表示中心波段的第i个像素点的反射率;i=1,2,…,n;j=1,2,…,m;m表示红色波段范围内的波段个数;n表示图像的像素点个数;
步骤23,利用下式分别计算出红色波段范围内每个波段与中心波段的距离Dis,将离中心波段最近的波段作为合成真彩色图像的子波段;
式中,A(i)表示该红色波段范围内的任一波段中的第i个像素点的反射率;
同理,计算得到蓝、绿波段范围的合成真彩色图像的子波段;
步骤24,将得到的红,绿,蓝三个波段范围对应的子波段分别对应R,G,B通道,合成真彩色图像。
3.如权利要求1所述的基于高光谱图像降维与融合的彩绘文物图案增强方法,其特征在于,所述步骤四包括如下步骤:
步骤41,基于封闭完整性的显著性目标检测:对步骤三选取的每个主成分图像分别进行层次分割,得到该主成分图像对应的多层分割图像;对于每个主成分图像,逐层遍历该主成分图像对应的分割图像进行指示图处理,得到每层分割图像对应的指示图Q;具体是利用下式计算任一主成分图像的第ξ层分割图像的任一像素点x的值:
式中,Qξ(x)表示该主成分图像的第ξ层图像的任一像素点x的值;R表示该主成分图像的第ξ层图像的任一区域;是内部区域的集合,其中Ri表示该主成分图像的第ξ层图像的第i个区域,i为1到T,T表示第ξ层图像中的区域个数,B是像素点在主成分图像边界上的点的集合;是边界区域的集合;Pξ表示该主成分图像的第ξ层图像的区域集合,Pξ={Ri};
对于每个主成分图像,利用下式计算该主成分图像上任一像素点x的指示图的期望,得到每个主成分图像对应的基于封闭完整性的显著图SC:
SC(x)=∫Qξ(x)·p(ξ)dξ
式中,SC(x)是每个主成分图像的每个像素点的显著性值,ξ服从概率密度函数p(ξ)的均匀分布;
步骤42,基于封闭可靠性的显著性目标检测:首先,对步骤三选取的每个主成分图像分别进行层次分割,得到该主成分图像对应的多层分割图像;对于每个主成分图像,逐层遍历该主成分图像对应的分割图像进行封闭可靠性图处理,得到每层分割图像对应的封闭可靠性图;
步骤43,对步骤41得到的基于封闭完整性的显著图和步骤42的封闭可靠性图进行细化,获得细化的封闭完整性图和细化的封闭完整性图;
步骤44,将步骤43得到的细化的封闭完整性图和细化的封闭可靠性图进行组合,得到每个主成分图像的组合显著性图;
步骤45,对步骤44得到的每个主成分图像的组合显著性图,利用下式所示的平均梯度计算图像的信息量G,将信息量G最大的组合显著性图S对应的主成分图像作为最优主成分图像;
式中,M×N表示组合显著性图S的大小,表示水平方向的梯度,表示垂直方向的梯度。
4.如权利要求3所述的基于高光谱图像降维与融合的彩绘文物图案增强方法,其特征在于,所述步骤41中,所述层次分割的分割层数取10;所述步骤42中,所述层次分割的分割层数取3。
5.如权利要求3所述的基于高光谱图像降维与融合的彩绘文物图案增强方法,其特征在于,所述步骤42中所述对于每个主成分图像,逐层遍历该主成分图像对应的分割图像进行封闭可靠性图处理,得到每层分割图像对应的封闭可靠性图,包括如下步骤:
计算任一分割图像上任一区域R的封闭可靠性:
s(R)=sr(R)·sb(R)
其中,区域边界轮廓线的长度加权轮廓可靠性sr(R)为:
上式中,J是一个分割图像上任一区域R周边的区域个数;Kj是区域R周边的第j个区域;W(Kj)是Kj的轮廓可靠性,通过区域R与它周围区域的局部二值模式特征的差值定义;L(Kj)是Kj的区域长度;B是该主成分图像边缘的像素点集合;|R∩B|是区域R中位于主成分图像边缘的像素点的个数;
sb(R)是一个关于主成分图像边缘区域的惩罚项:
式中,sgn(·)是一个阶跃函数,如果|R∩B|>0,sgn(·)=1;如果|R∩B|=0,sgn(·)=0;α是一个正值;
将每个主成分图像中的所有像素x对应的3个s(R)值中的最大值取出,如果某两个像素点的最大s(R)值在同一层且这两个像素点的位置相邻,则将这两个像素点划分到一个区域,生成一个最佳分割层ξ*;利用下式计算最佳分割层ξ*中任一区域A的封闭可靠性,得到封闭可靠性图SR:
式中,SR(x)是每个主成分图像在最佳分割层ξ*中任一区域A的显著性值,此处的区域A属于最佳分割层ξ*中的任一区域。
6.如权利要求3所述的基于高光谱图像降维与融合的彩绘文物图案增强方法,其特征在于,所述步骤43包括如下步骤:
封闭完整性细化:在步骤41得到的显著图SC中,选择显著性值小于0.2的区域和主成分图像的边界区域作为背景先验,计算非背景先验区域到背景先验的最小测地线距离,获得第一相异性图利用下式结合显著图SC和第一相异性图获得细化的封闭完整性图:
封闭可靠性细化:在步骤42的封闭可靠性图SR中,选择显著性值小于0.2的区域和主成分图像的边界区域作为背景先验,计算非背景先验区域到背景先验的最小测地线距离,获得第二相异图利用下面公式结合封闭可靠性图SR和第二相异图获得细化的封闭可靠性图:
7.如权利要求3所述的基于高光谱图像降维与融合的彩绘文物图案增强方法,其特征在于,所述步骤44包括如下步骤:
利用下式得到细化的封闭完整性图和细化的封闭可靠性图的组合显著性图S:
式中,f是一个逻辑函数,被定义为:
上式中,γ是一个预定义的参数;τ是一个偏差,能够增强比τ大的显著性,抑制比τ小的显著性;x是主成分图像的任一像素点。
8.如权利要求1所述的基于高光谱图像降维与融合的彩绘文物图案增强方法,其特征在于,所述步骤五包括如下步骤:
步骤51,预加工:利用下式计算真彩色图像的强度分量I;将步骤四的最优主成分图像和真彩色图像的强度分量I进行直方图匹配,得到匹配后的最优主成分图像XOPC;
式中,XTC是步骤二的真彩色图像;是XTC图像的第j个波段的像素值,K是波段的数量,值为3;
步骤52,图像分解:利用基于稀疏表示的图像分解方法对步骤51的XOPC进行分解,得到高频率字典和低频率字典,即XOPC=XLF+XHF,其中,XLF和XHF分别是低频率字典和高频率字典;
步骤53,细节注入:利用下式将步骤52含有空间细节的高频率字典XHF注入到步骤51的XTC的每一个波段,获得最终的融合图像XT;
式中,是融合图像的第j个波段,是XTC图像的第j个波段,K是波段的数量,值为3;j指合成真彩色图像的子波段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810121680.0A CN108416746B (zh) | 2018-02-07 | 2018-02-07 | 基于高光谱图像降维与融合的彩绘文物图案增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810121680.0A CN108416746B (zh) | 2018-02-07 | 2018-02-07 | 基于高光谱图像降维与融合的彩绘文物图案增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108416746A true CN108416746A (zh) | 2018-08-17 |
CN108416746B CN108416746B (zh) | 2023-04-18 |
Family
ID=63126923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810121680.0A Active CN108416746B (zh) | 2018-02-07 | 2018-02-07 | 基于高光谱图像降维与融合的彩绘文物图案增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108416746B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109285167A (zh) * | 2018-09-20 | 2019-01-29 | 西北大学 | 一种基于深度学习的提取彩绘陶器图案方法 |
CN113378677A (zh) * | 2021-06-01 | 2021-09-10 | 大连海事大学 | 基于空间相似性与修正盐田指数的海岸养殖池提取方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080292194A1 (en) * | 2005-04-27 | 2008-11-27 | Mark Schmidt | Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images |
EP2479725A2 (de) * | 2011-01-20 | 2012-07-25 | DLR Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zur rechnergestützten Verarbeitung digitalisierter Bilder |
CN103729848A (zh) * | 2013-12-28 | 2014-04-16 | 北京工业大学 | 基于光谱显著性的高光谱遥感图像小目标检测方法 |
CN106097355A (zh) * | 2016-06-14 | 2016-11-09 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
CN106529508A (zh) * | 2016-12-07 | 2017-03-22 | 西安电子科技大学 | 基于局部和非局部多特征语义高光谱图像分类方法 |
CN107274416A (zh) * | 2017-06-13 | 2017-10-20 | 西北工业大学 | 基于光谱梯度与层次结构的高光谱图像显著性目标检测方法 |
-
2018
- 2018-02-07 CN CN201810121680.0A patent/CN108416746B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080292194A1 (en) * | 2005-04-27 | 2008-11-27 | Mark Schmidt | Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images |
EP2479725A2 (de) * | 2011-01-20 | 2012-07-25 | DLR Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zur rechnergestützten Verarbeitung digitalisierter Bilder |
CN103729848A (zh) * | 2013-12-28 | 2014-04-16 | 北京工业大学 | 基于光谱显著性的高光谱遥感图像小目标检测方法 |
CN106097355A (zh) * | 2016-06-14 | 2016-11-09 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
CN106529508A (zh) * | 2016-12-07 | 2017-03-22 | 西安电子科技大学 | 基于局部和非局部多特征语义高光谱图像分类方法 |
CN107274416A (zh) * | 2017-06-13 | 2017-10-20 | 西北工业大学 | 基于光谱梯度与层次结构的高光谱图像显著性目标检测方法 |
Non-Patent Citations (2)
Title |
---|
崔宾阁等: "小样本的高光谱图像降噪与分类", 《遥感学报》 * |
汪浩然等: "结合PCA及字典学习的高光谱图像自适应去噪方法", 《计算机应用》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109285167A (zh) * | 2018-09-20 | 2019-01-29 | 西北大学 | 一种基于深度学习的提取彩绘陶器图案方法 |
CN109285167B (zh) * | 2018-09-20 | 2021-09-17 | 西北大学 | 一种基于深度学习的提取彩绘陶器图案方法 |
CN113378677A (zh) * | 2021-06-01 | 2021-09-10 | 大连海事大学 | 基于空间相似性与修正盐田指数的海岸养殖池提取方法 |
CN113378677B (zh) * | 2021-06-01 | 2024-03-12 | 大连海事大学 | 基于空间相似性与修正盐田指数的海岸养殖池提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108416746B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103729848B (zh) | 基于光谱显著性的高光谱遥感图像小目标检测方法 | |
CN105550685B (zh) | 基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法 | |
CN105335966B (zh) | 基于局域同质性指标的多尺度遥感影像分割方法 | |
CN104217196B (zh) | 一种遥感影像圆形油罐自动检测方法 | |
CN108830877A (zh) | 岩心体视显微图像定量描述方法 | |
Liu et al. | Deep multi-level fusion network for multi-source image pixel-wise classification | |
CN107563413A (zh) | 无人机航拍影像农田块对象精准提取方法 | |
CN109766823A (zh) | 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 | |
Wang et al. | Improved YOLOX-X based UAV aerial photography object detection algorithm | |
Zhang et al. | Semantic image segmentation for sea ice parameters recognition using deep convolutional neural networks | |
CN103839267A (zh) | 一种基于形态学建筑物指数的建筑物提取方法 | |
CN109583349A (zh) | 一种用于在真实环境对目标车辆的颜色进行识别的方法及系统 | |
CN104951795A (zh) | 图像分类识别判断方法 | |
Zhang et al. | Fire detection and identification method based on visual attention mechanism | |
CN104217440A (zh) | 一种从遥感图像中提取建成区的方法 | |
CN108416746A (zh) | 基于高光谱图像降维与融合的彩绘文物图案增强方法 | |
Chawda et al. | Extracting building footprints from satellite images using convolutional neural networks | |
CN102231190B (zh) | 冲洪积扇信息的自动提取方法 | |
Li et al. | Small targets recognition in SAR ship image based on improved SSD | |
Deng et al. | Automatic calibration of crack and flaking diseases in ancient temple murals | |
Zhang et al. | Application and evaluation of object-oriented technology in high-resolution remote sensing image classification | |
Zhang et al. | Multiscale target extraction using a spectral saliency map for a hyperspectral image | |
Yin et al. | Headdress Detection Based on Saliency Map for Thangka Portrait Image. | |
CN112487977A (zh) | 一种基于国产gf2遥感影像的机场跑道提取方法 | |
CN111738201A (zh) | 基于感兴趣区域网络的有林地遥感影像提取方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |