CN111832569B - 基于高光谱分类与分割的壁画颜料层脱落病害标注方法 - Google Patents

基于高光谱分类与分割的壁画颜料层脱落病害标注方法 Download PDF

Info

Publication number
CN111832569B
CN111832569B CN202010564567.7A CN202010564567A CN111832569B CN 111832569 B CN111832569 B CN 111832569B CN 202010564567 A CN202010564567 A CN 202010564567A CN 111832569 B CN111832569 B CN 111832569B
Authority
CN
China
Prior art keywords
region
disease
segmentation
hyperspectral
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010564567.7A
Other languages
English (en)
Other versions
CN111832569A (zh
Inventor
彭进业
侯昱岑
王珺
俞凯
张群喜
张二磊
章勇勤
祝轩
赵万青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi History Museum Shaanxi Cultural Relics Exchange Center
NORTHWEST UNIVERSITY
Original Assignee
Shaanxi History Museum Shaanxi Cultural Relics Exchange Center
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi History Museum Shaanxi Cultural Relics Exchange Center, NORTHWEST UNIVERSITY filed Critical Shaanxi History Museum Shaanxi Cultural Relics Exchange Center
Priority to CN202010564567.7A priority Critical patent/CN111832569B/zh
Publication of CN111832569A publication Critical patent/CN111832569A/zh
Application granted granted Critical
Publication of CN111832569B publication Critical patent/CN111832569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，公开了一种基于高光谱图像分类与分割的壁画颜料层脱落病害自动标注的方法。将高光谱图像分类和不同特征提取波段上的图像分割结合有效结合了文物的光谱信息和空间信息，不仅可以标注出可见光下清晰的病害，还可以标注出可见光下隐藏的病害。能自动标注出古代壁画颜料层脱落病害的位置和边缘，在无损情况下呈现病害的分布，实现壁画病害的空间可视化分析和壁画病害位置的虚拟展示，减少大量的人力和时间。

Description

基于高光谱分类与分割的壁画颜料层脱落病害标注方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于高光谱图像分类与分割的壁画颜料层脱落病害自动标注的方法。
背景技术
壁画文化是我国文化遗产不可或缺的一部分，具有独特的历史、文化、科学、艺术、情感等研究价值。但由于自然因素的存在，壁画的保存环境中温度和湿度的变化随着时间的累积，使其不断出现包括颜料层脱落、酥减、烟熏、起甲、空鼓、裂隙、微生物和霉变等二十多种病害。由于文物的不可再生性、本体的脆弱性和不可复制性，壁画颜料层脱落病害的出现使文物修复出现不可逆的影响，在壁画的修复过程中，对壁画病害的识别与标注可以通过病害的面积与分布对壁画的保存现状有一个清晰的认识。
目前，对于古代壁画的病害提取，主要方法有化学分析、人工勾绘、基于传统方法的病害提取方法、病害风险评估、基于人机交互的病害标注等。化学分析法会对壁画造成二次损害；人工勾绘虽然结果准确，但主观性强且耗时耗力；基于传统方法的病害提取和病害风险评估的方法的缺点是对复杂颜料和复杂病害表现的壁画数据提取病害的能力较低；基于人机交互的病害标注的方法与人工勾绘大致相同，需要耗费大量的时间与人力。
高光谱成像技术具有无损、无污染、高效、蕴含信息多等优点，非常适合壁画的病害检查。高光谱成像技术现在已经成功应用于古书画壁画文物研究领域，然而对于颜料层脱落病害的标注研究较少。
发明内容
一种基于高光谱分类与分割的壁画颜料层脱落病害标注方法，解决了现有技术中存在的对于颜料层脱落病害的标注研究较少和现有方法精度较低等问题。为了实现上述任务，本发明采用以下技术方案：
一种基于高光谱图像分类与分割的颜料层脱落病害自动标注方法，包括如下步骤：
步骤1：采集壁画的原始高光谱数据并进行预处理，得到经预处理的高光谱数据Sor，对Sor进行连续统去除得到高光谱数据Scr，对Sor进行RGB三波段合成得到真彩色图像；
步骤2：将步骤1获得Sor和Scr输入高光谱分类网络，输出原始分类结果，所述原始分类结果包含正常区域和病害预提取区域；
步骤3：对步骤1获得的经预处理的高光谱数据Sor进行特征提取，获得各个特征波段的成分灰度图，所有特征波段的成分灰度图作为成分灰度图集合；
对每张特征波段的成分灰度图进行分割，获得多个分割区域，所有包含多个分割区域的特征波段的成分灰度图作为不同特征波段的分割区域集合，其中第j个特征波段的第i个分割区域为i和j为正整数；
对步骤1获得的真彩色图像进行分割，得到真彩色图像分割区域集合，其中第i个真彩色图像分割区域为
步骤4：根据步骤3得到的不同特征成分的分割区域集合、真彩色图像分割区域集合和步骤2得到的病害预提取区域，获得颜料层脱落病害标注区域集合，包括如下子步骤：
步骤4.1：根据步骤2得到的病害预提取区域和步骤3得到的在不同特征成分的分割区域集合中任一区域上的占比进行选择，若病害预提取区域在任一特征成分的分割区域/>的像素点占比满足第一阈值则该特征成分的分割区域为感兴趣区域，所有感兴趣区域的集合为ROI集；
步骤4.2：根据步骤4.1得到的ROI集中任一区域与步骤3得到的真彩色图像分割区域集合中任一区域进行选择，若ROI集中任一区域之间与真彩色图像分割区域集合中任一区域/>的形状相似度满足第二阈值且形状中心距离满足第三阈值，则该真彩色图像分割区域为明显病害区域，所有真彩色图像上明显病害区域集合为Rv；
根据ROI集中任两个区域之间的形状相似度和形状中心距离进行选择，若ROI集中任两个区域之间的形状相似度满足第四阈值且形状中心距离满足第五阈值，则该两个区域均为真彩色图像上的不明显病害区域，所有真彩色图像上不明显病害区域集合为Ru；
步骤4.3：获取颜料层脱落病害区域集合Re，其中Re＝edge(Ru+Rv)，edge(·)为边缘提取算法；
步骤5：将步骤4得到的颜料层脱落病害区域集合与步骤1获得的真彩色图像进行图像融合，获得高光谱图像颜料层脱落病害标注区域集合。
进一步的，所述预处理包括黑白校验和图像裁剪。
进一步的，步骤3中分别采用主成分分析变换方法、最小噪声分离变换方法以及将离散余弦变换用作与处理的独立成分分析方法进行特征提取获得不同特征波段的灰度图。
进一步的，步骤3中的分割方法为SLIC超像素分割和区域合并的方法。
进一步的，步骤2中的高光谱分类网络位基于深度学习的空间-光谱全卷积网络SSFCN。
进一步的，步骤4.1包括如下子步骤：
从不同特征提取波段的分割区域集合中选出满足/>条件的区域作为ROI集，表示为RF；其中，/>为分类结果中病害区域在第j个特征波段的第i个分割区域上的面积，/>为第j个特征波段的第i个分割区域的面积，θf为第一阈值，θf的范围在65％到75％之间。
进一步的，步骤4.2包括如下子步骤：
从中依照同时满足/>和/>的条件筛选出真彩色图像上明显病害区域集合Rv；
其中，为第i个真彩色图像分割区域和第k个ROI区域之间的形状相似度，λv为第二阈值，/>为第i个真彩色图像分割区域和第k个ROI区域之间的形状中心距离，αv为第三阈值；
从集合RF中依照先同时满足 和/>的条件选出预选区域，再从中选择形状相似度最小的区域作为真彩色图像上不明显病害区域集合Ru；
其中，为ROI集中第a个区域与第b个区域之间的形状相似度，a≠b，λu为第四阈值，/>为ROI集中第a个区域与第b个区域(a≠b)之间的形状中心距离，αu为第五阈值，/>则表示选择的区域与之前选出的病害区域在不同位置。
进一步的，步骤4.3中边缘提取算法为canny算子边缘检测的方法。
本发明与现有技术相比具有以下技术特点：
(1)本发明用一种高光谱分类与分割相结合的方法能自动标注出古代壁画颜料层脱落病害的位置和边缘，在无损情况下呈现病害的分布，实现壁画病害的空间可视化分析和壁画病害位置的虚拟展示，减少大量的人力和时间。
(2)本发明将高光谱图像分类和不同特征提取波段上的图像分割结合有效结合了文物的光谱信息和空间信息，不仅可以标注出可见光下清晰的病害，还可以标注出可见光下隐藏的病害。
附图说明
图1是本发明方法的框架图；
图2是模拟实验中不同方法对数据一的病害标记结果示意图；
其中，图2(a)为高光谱图像，图2(b)为人工绘制的参考图像，图2(c)为K-Means方法标记结果，图2(d)为SVM方法方法标记结果，图2(e)为ISODATA方法标记结果，图2(f)为本发明方法标记结果；
图3是模拟实验中不同方法对数据二的病害标记结果示意图；
其中，图3(a)为高光谱图像，图3(b)为人工绘制的参考图像，图3(c)为K-Means方法标记结果，图3(d)为SVM方法方法标记结果，图3(e)为ISODATA方法标记结果，图3(f)为本发明方法标记结果；
图4是模拟实验中不同方法对数据三的病害标记结果示意图；
其中，图4(a)为高光谱图像，图4(b)为人工绘制的参考图像，图4(c)为K-Means方法标记结果，图4(d)为SVM方法方法标记结果，图4(e)为ISODATA方法标记结果，图4(f)为本发明方法标记结果。
具体实施方式
首先对本发明中出现的技术词语进行解释：
主成分分析(Principal Component Analysis,PCA)变换：旨在利用降维的思想，把多指标转化为少数几个综合指标。是在统计特征基础上的多维(多波段)正交线性变换。通过PCA变换,可以把多波段图像中的有用信息集中到数量尽可能少的新的主成分图像中,并使这些主成分图像之间互不相关,从而大大减少总的数据量。
最小噪声分离(Minimum Noise Fraction,MNF)变换：用于判定图像数据内在的维数，分离数据中的噪声，减少随后处理中的计算需求量。MNF本质上是两次层叠的主成分变换。第一次变换(基于估计的噪声协方差矩阵)用于分离和重新调节数据中的噪声，这步操作使变换后的噪声数据只有最小的方差且没有波段间的相关。第二步是对噪声白化数据(Noise-whitened)的标准主成分变换。
独立成分分析(Independent Component Analysis,ICA)变换：独立成分分析是从多元(多维)统计数据中寻找潜在因子或成分的一种方法。
SLIC(Simple Linear Iterative Cluster)超像素分割：是Achanta等人2010年提出的一种思想简单、实现方便的算法，将彩色图像转化为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类的过程。SLIC算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合人们期望的分割效果。
基于深度学习的空间-光谱全卷积网络(SSFCN)：(如果是现有神经网络模型，请简述其结构包括输入输出等)是一种高光谱分类网络，超越了patchwise的高光谱分类方法，减少了计算冗余，可以自适应地调整光谱和空间特征的权重，网络由光谱特征分类和空间特征分类两路，进行合并后分别引入了掩膜矩阵和条件随机场来解决样本高稀疏性的问题和平衡局部与全局信息，SSFCN是一个端到端的网络，网络输入为原始的高光谱数据，输出为分类结果。
在本实施例中公开了一种基于高光谱图像分类与分割的颜料层脱落病害自动标注方法，其特征在于，包括如下步骤：
步骤1：采集壁画的原始高光谱数据并进行预处理，得到经预处理的高光谱数据Sor，对Sor进行连续统去除得到高光谱数据Scr，对Sor进行RGB三波段合成得到真彩色图像；
步骤2：将步骤1获得Sor和Scr输入高光谱分类网络，输出原始分类结果，所述原始分类结果包含正常区域和病害预提取区域；
所述病害预提取区域中的每个像素点满足式Ⅰ：
其中，D(u,v)是预提取的病害区域中像素点(u,v)的标签，Y(u,v)是原始分类结果中像素点(u,v)的标签，d为脱落病害严重程度分类个数；
步骤3：对步骤1获得的经预处理的高光谱数据Sor进行特征提取，获得各个特征波段的成分灰度图，所有特征波段的成分灰度图作为成分灰度图集合；
对每张特征波段的成分灰度图进行分割，获得多个分割区域，所有包含多个分割区域的特征波段的成分灰度图作为不同特征波段的分割区域集合，其中第j个特征波段的第i个分割区域为i和j为正整数；
对步骤1获得的真彩色图像进行分割，得到真彩色图像分割区域集合，其中第i个真彩色图像分割区域为
步骤4：根据步骤3得到的不同特征成分的分割区域集合、真彩色图像分割区域集合和步骤2得到的病害预提取区域，获得颜料层脱落病害标注区域集合，包括如下子步骤：
步骤4.1：根据步骤2得到的病害预提取区域和步骤3得到的在不同特征成分的分割区域集合中任一区域上的占比进行选择，若病害预提取区域在任一特征成分的分割区域/>的像素点占比满足第一阈值则该特征成分的分割区域为感兴趣区域，所有感兴趣区域的集合为ROI集；
步骤4.2：根据步骤4.1得到的ROI集中任一区域与步骤3得到的真彩色图像分割区域集合中任一区域进行选择，若ROI集中任一区域之间与真彩色图像分割区域集合中任一区域/>的形状相似度和形状中心距离满足第二阈值则该真彩色图像分割区域为明显病害区域，所有真彩色图像上明显病害区域集合为Rv；
根据ROI集中任两个区域之间的形状相似度和形状中心距离进行选择，若ROI集中任两个区域之间的形状相似度和形状中心距离满足第三阈值，则满足第三阈值的两个区域均为真彩色图像上的不明显病害区域，所有真彩色图像上不明显病害区域集合为Ru；
步骤4.3：获取颜料层脱落病害区域集合Re，其中Re＝edge(Ru+Rv)，edge(·)为边缘提取算法；
步骤5：将步骤4得到的颜料层脱落病害区域集合Re与步骤1获得的真彩色图像进行图像融合，获得高光谱图像颜料层脱落病害标注区域集合。
具体的，所述预处理包括黑白校验和图像裁剪以提高数据质量，以便后续处理。黑白校正是为了校正光源的影响，使用黑色和白色参考图像对原始高光谱图像R0进行如下校正：
其中，D和W分别为黑色和白色参考图像，R是校准后的图像；
具体的，步骤3采用了主成分分析(Principal Component Analysis,PCA)变换、最小噪声分离(Minimum Noise Fraction,MNF)变换以及一种将离散余弦变换(DiscreteCosine Transform,DCT)用作与处理的独立成分分析(IndependentComponent Analysis,ICA)变换三种方法分别对预处理后的高光谱数据的可见光波段区间(400nm-700nm)和近红外波段区间(700nm-1000nm)进行特征提取，获得多个特征波段且每个特征波段对应一张灰度图。
优选的，主成分分析变换方法选择前3个成分对应的特征波段、最小噪声分离变换方法选择特征值λ>2的成分对应特征波段。
具体的，步骤3中的分割方法为SLIC超像素分割和区域合并的方法，该方法先采用SLIC超像素分割进行初始分区，再基于空间受限颜色纹理模型对区域邻接图进行区域合并，其中合并区域个数r根据数据尺寸大小取不同值，取值范围大概在30-150左右，在本实施例中，三个数据的r取值分别为80、80和30。
SLIC超像素分割和区域合并的方法出自论文Zhongwen Hu,Zhaocong Wu,QianZhang,Qian Fan,and Jiahui Xu,A spatially-Constrained Color–Texture Model forHierarchical VHR Image Segmentation,IEEE GEOSCIENCE AND REMOTE SENSINGLETTERS,VOL.10,NO.1,JANUARY 2013。
具体的，步骤2中的高光谱分类网络位基于深度学习的空间-光谱全卷积网络SSFCN，将步骤1得到的经预处理的高光谱数据Sor和对其进行连续统去除后的数据Scr分别作为网络中空间和光谱部分的输入；连续统去除处理实质上就是将光谱曲线中的吸收谷归一化到吸收谷的连续统线上，可以有效突出光谱曲线的吸收和反射特征，提高分类精度，计算公式为：
Scr＝Sor/Rc
其中，Scr为连续统去除光谱反射率，Sor为原始光谱反射率，Rc为连续统线反射率。
本发明用一种基于分类与分割的病害标注策略分割结果和分类结果进行结合得出脱落病害区域。高光谱分类利用了数据的光谱信息，“同谱异物”及“同物异谱”的情况导致结果中的边缘并不准确且有错分现象，而分割的方法利用了数据的空间信息，因此我们的方法旨在用高光谱分类进行病害预提取，再用分割结果确定病害的位置和边缘。
具体的，步骤4.1包括如下子步骤：
从不同特征提取波段的分割区域集合中选出满足/>条件的区域作为ROI集，表示为RF；
其中，为分类结果中病害部分在第j个特征波段的第i个分割区域上的面积，为第j个特征波段的第i个分割区域的面积，θf为占比阈值，θf的范围在65％到75％之间，i和j为正整数。
具体的，步骤4.2包括如下子步骤：
从真彩色分割结果中提取出真彩色图像上较为明显的病害区域，具体地，从中依照同时满足/>和/>的条件筛选出真彩色图像上较为明显的病害区域集合Rv；
其中，为第i个真彩色图像分割区域和第k个ROI区域之间的形状相似度；λv为形状相似度阈值，因为壁画数据脱落边缘的复杂性，在本方案中λv＝30；/>为第i个真彩色图像分割区域和第k个ROI区域之间的形状中心距离；αv为形心距离阈值，在本方案中αv＝5；
从ROI集中提取出真彩色图像上不明显的病害区域，具体地，从集合RF中依照先同时满足 和/>的条件选出预选区域，再从中选择形状相似度最小的区域作为真彩色图像上不明显的病害区域集合Ru；
其中，为ROI集中第a个区域与第b个区域(a≠b)之间的形状相似度；λu为形状相似度阈值，在本方案中λu＝5；/>为ROI集中第a个区域与第b个区域(a≠b)之间的形状中心距离；αu为形心距离阈值，在本方案中αv＝5；/>则表示选择的区域与之前选出的病害区域在不同位置；
具体的，步骤4.3中边缘提取算法为canny算子边缘检测的方法。
为充分利用高光谱成像技术在文物研究上的优势，以及充分融合壁画数据丰富的光谱信息和空间信息，本发明提出一种基于高光谱图像分类与分割的古代壁画颜料层脱落病害自动标注方法，用一种基于分类与分割的病害标注策略有效地将基于深度学习的高光谱分类方法的结果与在特征提取后的波段上进行分割的结果进行结合得出最后的颜料层脱落病害自动标注结果，能在无损情况下呈现病害的分布位置，实现壁画病害的空间可视化分析和壁画病害位置的虚拟展示，为后期壁画的风险评估以及修复工作奠定基础。
实验效果
图1是本发明方法的框架图，其中，特征提取步骤的结果表示为每个提取结果一张灰度图像，并在这组灰度图像上进行图像分割，结果为分割区域的集合，高光谱分类步骤得到的结果为每个像素的一组不同类别的标签，经过筛选完成病害预提取的步骤得到病害预提取的结果。
图2为数据一的病害标记结果图；图2(a)为高光谱真彩色图像，图2(b)为传统人工绘制的病害标记参考图像，图2(c)～(e)分别为三种对比方法的标记结果图像，图2(f)为本发明中方法的标记结果图像；通过对不同方法标记结果和参考图像进行视觉比较，可以看出所有方法都能提大致标记出病害的位置，但明显能发现图2(c)和(e)中K-Means方法和ISODATA方法存在大量错标现象，图2(d)中SVM也有较多“同谱异物”的现象导致错标；而从图2(f)中可以看到，本发明能较为准确地标记出病害的位置并描绘出病害边缘，大大减少了错标现象，而且本方法能标记出可见光下不明显的肉眼难以辨别的病害。
图3为数据二的病害标记结果图；图3(a)为高光谱真彩色图像，图3(b)为传统人工绘制的病害标记参考图像，图3(c)～(e)分别为三种对比方法的标记结果图像，图3(f)为本发明中方法的标记结果图像；在较为复杂的数据二上明显能发现图3(c)和(d)中K-Means方法和SVM方法存在大量错标现象，图3(e)中ISODATA方法也有较多标记上的冗余；而从图3(f)中可以看到，本发明虽然有漏标现象存在，但大大减少了错标现象。
图4为数据三的病害标记结果图；图4(a)为高光谱真彩色图像，图4(b)为传统人工绘制的病害标记参考图像，图4(c)～(e)分别为三种对比方法的标记结果图像，图4(f)为本发明中方法的标记结果图像；因为数据三较为简单，明显能发现图4(c)～(e)中K-Means方法、ISODATA方法和SVM方法依然存在错标现象，并且病害边缘不准确；而从图2(f)中可以看到，本发明的方法能较为准确地标记出病害的边缘。
视觉评价对比可以对标记结果有比较直观的认识，但单纯依靠主观评价很难对融合结果给出最正确的判断，因此需结合客观指标共同对融合结果进行评估；本发明采用PA、IOU、PFOM这三种客观评价指标对图像进行全面地评估；其中，PA表示像素精度，是一种评价图像的客观标准；IOU为真实值和预测值的交并比，为语义分割的标准度量；PFOM是一种边缘检测的性能度量值。
表1、表2和表3分别为数据一、数据二和数据三的不同方法、病害标记结果的客观指标；从表1、表2和表3可以看到，本发明的大多数客观指标均优于其他方法，其中，本发明的PFOM值远远高于其他方法，即本发明方法标记的病害边缘较其他方法更为准确。
综合视觉评价与客观指标评价，本发明提出的方法能很好地准确标记出脱落病害的位置及边缘。
表1数据一的病害标记结果的客观指标
表2数据二的病害标记结果的客观指标
表3数据三的病害标记结果的客观指标
实施例1
本实施例中采用三个壁画文物数据来验证所提出方法的有效性；其中，数据一和数据二的来源为陕西西安三皇庙壁画，通过Specim IQ高光谱成像仪采集，光谱范围为400nm-1000nm，共采集204个波段，两个数据的空间大小分别为360*300像素和385*248像素，数据三的来源为辽宁锦州奉国寺大雄殿南墙西侧十一面千手观音，通过SOC710高光谱设备采集，光谱范围为400nm-1000nm，共采集128个波段，数据三的空间大小为111*86像素。
本发明主要与基于广泛使用的三种高光谱分类的病害标记方法进行比较：K-Means方法、SVM方法和ISODATA方法，从视觉与客观指标上都可以看出本发明的结果较好。

Claims (6)

1.一种基于高光谱图像分类与分割的颜料层脱落病害自动标注方法，其特征在于，包括如下步骤：
步骤1：采集壁画的原始高光谱数据并进行预处理，得到经预处理的高光谱数据Sor，对Sor进行连续统去除得到高光谱数据Scr，对Sor进行RGB三波段合成得到真彩色图像；
步骤2：将步骤1获得Sor和Scr输入高光谱分类网络，输出原始分类结果，所述原始分类结果包含正常区域和病害预提取区域；
步骤3：对步骤1获得的经预处理的高光谱数据Sor进行特征提取，获得各个特征波段的成分灰度图，所有特征波段的成分灰度图作为成分灰度图集合；
对每张特征波段的成分灰度图进行分割，获得多个分割区域，所有包含多个分割区域的特征波段的成分灰度图作为不同特征波段的分割区域集合，其中第j个特征波段的第i个分割区域为i和j为正整数；
对步骤1获得的真彩色图像进行分割，得到真彩色图像分割区域集合，其中第i个真彩色图像分割区域为
步骤4：根据步骤3得到的不同特征成分的分割区域集合、真彩色图像分割区域集合和步骤2得到的病害预提取区域，获得颜料层脱落病害标注区域集合，包括如下子步骤：
步骤4.1：根据步骤2得到的病害预提取区域和步骤3得到的在不同特征成分的分割区域集合中任一区域上的占比进行选择，若病害预提取区域在任一特征成分的分割区域的像素点占比满足第一阈值则该特征成分的分割区域为感兴趣区域，所有感兴趣区域的集合为ROI集；所述步骤4.1包括如下子步骤：
从不同特征提取波段的分割区域集合中选出满足/>条件的区域作为ROI集，表示为RF；其中，/>为分类结果中病害区域在第j个特征波段的第i个分割区域上的面积，/>为第j个特征波段的第i个分割区域的面积，θf为第一阈值，θf的范围在65％到75％之间；
步骤4.2：根据步骤4.1得到的ROI集中任一区域与步骤3得到的真彩色图像分割区域集合中任一区域进行选择，若ROI集中任一区域之间与真彩色图像分割区域集合中任一区域/>的形状相似度满足第二阈值且形状中心距离满足第三阈值，则该真彩色图像分割区域为明显病害区域，所有真彩色图像上明显病害区域集合为Rv；
根据ROI集中任两个区域之间的形状相似度和形状中心距离进行选择，若ROI集中任两个区域之间的形状相似度满足第四阈值且形状中心距离满足第五阈值，则该两个区域均为真彩色图像上的不明显病害区域，所有真彩色图像上不明显病害区域集合为Ru；
所述步骤4.2包括如下子步骤：
从中依照同时满足/>和/>的条件筛选出真彩色图像上明显病害区域集合Rv；
其中，为第i个真彩色图像分割区域和第k个ROI区域之间的形状相似度，λv为第二阈值，/>为第i个真彩色图像分割区域和第k个ROI区域之间的形状中心距离，αv为第三阈值；
从集合RF中依照先同时满足和/>的条件选出预选区域，再从中选择形状相似度最小的区域作为真彩色图像上不明显病害区域集合Ru；
其中，为ROI集中第a个区域与第b个区域之间的形状相似度，a≠b，λu为第四阈值，/>为ROI集中第a个区域与第b个区域(a≠b)之间的形状中心距离，αu为第五阈值，/>则表示选择的区域与之前选出的病害区域在不同位置；
步骤4.3：获取颜料层脱落病害区域集合Re，其中Re＝edge(Ru+Rv)，edge(·)为边缘提取算法；
步骤5：将步骤4得到的颜料层脱落病害区域集合与步骤1获得的真彩色图像进行图像融合，获得高光谱图像颜料层脱落病害标注区域集合。
2.如权利要求1所述的基于高光谱图像分类与分割的颜料层脱落病害自动标注方法，其特征在于，所述预处理包括黑白校验和图像裁剪。
3.如权利要求1所述的基于高光谱图像分类与分割的颜料层脱落病害自动标注方法，其特征在于，步骤3中分别采用主成分分析变换方法、最小噪声分离变换方法以及将离散余弦变换用作与处理的独立成分分析方法进行特征提取获得不同特征波段的灰度图。
4.如权利要求1所述的基于高光谱图像分类与分割的颜料层脱落病害自动标注方法，其特征在于，步骤3中的分割方法为SLIC超像素分割和区域合并的方法。
5.如权利要求1所述的基于高光谱图像分类与分割的颜料层脱落病害自动标注方法，其特征在于，步骤2中的高光谱分类网络位基于深度学习的空间-光谱全卷积网络SSFCN。
6.如权利要求1所述的基于高光谱图像分类与分割的颜料层脱落病害自动标注方法，其特征在于，步骤4.3中边缘提取算法为canny算子边缘检测的方法。
CN202010564567.7A 2020-06-19 2020-06-19 基于高光谱分类与分割的壁画颜料层脱落病害标注方法 Active CN111832569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010564567.7A CN111832569B (zh) 2020-06-19 2020-06-19 基于高光谱分类与分割的壁画颜料层脱落病害标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010564567.7A CN111832569B (zh) 2020-06-19 2020-06-19 基于高光谱分类与分割的壁画颜料层脱落病害标注方法

Publications (2)

Publication Number Publication Date
CN111832569A CN111832569A (zh) 2020-10-27
CN111832569B true CN111832569B (zh) 2023-10-27

Family

ID=72898065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010564567.7A Active CN111832569B (zh) 2020-06-19 2020-06-19 基于高光谱分类与分割的壁画颜料层脱落病害标注方法

Country Status (1)

Country Link
CN (1) CN111832569B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116754511B (zh) * 2023-08-18 2023-10-27 天津博霆光电技术有限公司 基于光谱技术的吲哚菁绿检测方法及系统
CN117848972B (zh) * 2024-03-07 2024-05-10 宝鸡西工钛合金制品有限公司 一种钛合金阳极氧化前处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2473834A1 (en) * 2009-09-03 2012-07-11 National ICT Australia Limited Illumination spectrum recovery
CN102879099A (zh) * 2012-08-08 2013-01-16 北京建筑工程学院 一种基于高光谱成像的壁画信息提取方法
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
WO2019174572A1 (zh) * 2018-03-12 2019-09-19 浙江大学 一种利用种胚谱图特征波段识别谷物种子冻伤情况的方法
CN110763698A (zh) * 2019-10-12 2020-02-07 仲恺农业工程学院 一种基于特征波长的高光谱柑橘叶片病害识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2473834A1 (en) * 2009-09-03 2012-07-11 National ICT Australia Limited Illumination spectrum recovery
CN102879099A (zh) * 2012-08-08 2013-01-16 北京建筑工程学院 一种基于高光谱成像的壁画信息提取方法
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
WO2019174572A1 (zh) * 2018-03-12 2019-09-19 浙江大学 一种利用种胚谱图特征波段识别谷物种子冻伤情况的方法
CN110763698A (zh) * 2019-10-12 2020-02-07 仲恺农业工程学院 一种基于特征波长的高光谱柑橘叶片病害识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于近红外高光谱技术的敦煌莫高窟壁画起甲病害风险评估方法;孙美君;柴勃隆;张冬;王征;孙济洲;;文物保护与考古科学(04);全文 *

Also Published As

Publication number Publication date
CN111832569A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN110097034B (zh) 一种智能人脸健康程度的识别与评估方法
Chen et al. Combining discriminant analysis and neural networks for corn variety identification
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN111832569B (zh) 基于高光谱分类与分割的壁画颜料层脱落病害标注方法
CN103034838A (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN110070545B (zh) 一种城镇纹理特征密度自动提取城镇建成区的方法
CN109829924A (zh) 一种基于主体特征分析的图像质量评价方法
Ji et al. In-field automatic detection of maize tassels using computer vision
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN111738931B (zh) 光伏阵列无人机航拍图像的阴影去除算法
CN111210447B (zh) 一种苏木精-伊红染色病理图像层次分割的方法及终端
CN111753794A (zh) 水果品质分类方法、装置、电子设备及可读存储介质
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN100593172C (zh) 一种基于显微图像的微生物识别系统及方法
CN116559111A (zh) 一种基于高光谱成像技术的高粱品种识别方法
CN114373079A (zh) 一种快速准确的探地雷达目标检测方法
CN101344928B (zh) 用于确定图像区域和对图像进行分类的方法和设备
CN113743421A (zh) 一种水稻叶片花青素显色区域分割及定量分析的方法
CN116311088B (zh) 一种基于建筑工地的施工安全监测方法
CN116519710A (zh) 一种用于复合绝缘子表面污秽状态的检测方法及系统
Zhao et al. Density peak covariance matrix for feature extraction of hyperspectral image
CN111709427B (zh) 一种基于稀疏卷积核的果实分割方法
CN111563536B (zh) 一种基于机器学习的竹条颜色自适应分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant