CN111738370B - 本质流形结构的图像特征融合与聚类协同表达方法及系统 - Google Patents
本质流形结构的图像特征融合与聚类协同表达方法及系统 Download PDFInfo
- Publication number
- CN111738370B CN111738370B CN202010860432.5A CN202010860432A CN111738370B CN 111738370 B CN111738370 B CN 111738370B CN 202010860432 A CN202010860432 A CN 202010860432A CN 111738370 B CN111738370 B CN 111738370B
- Authority
- CN
- China
- Prior art keywords
- matrix
- iteration
- feature
- follows
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种本质流形结构的图像特征融合与聚类协同表达方法及系统，本发明包括输入一组图像在不同特征空间下相似矩阵，利用基于张量积的非线性融合算子从该组相似矩阵中提取样本流形结构；进一步通过权值学习量化输入相似矩阵中噪声强度对流形结构的影响，增强融合所得流形结构对噪声的鲁棒性；综合运用近邻约束和拉普拉斯低秩约束，保证流形结构的局部性，以及和簇分布的一致性，实现特征融合与聚类的协同表达。本实施例本质流形结构的图像特征融合与聚类协同表达方法能够获取图像数据在不同特征空间下对应拓扑结构的细节信息，具有很强的普适性和鲁棒性，具有抗噪声干扰、聚类精度高等优点。
Description
技术领域
本发明涉及图像特征融合与聚类技术，具体涉及一种受约束的本质流形结构的图像特征融合与聚类协同表达方法及系统。
背景技术
在当前时代，图像已成为一种主要信息载体，在社会发展和经济建设中发挥着日益重要的作用。利用统计或机器学习方法挖掘图像中不同类型特征，使得从多个角度观察图像特性，高精度区分图像中具有不同标签的样本成为可能。与单一特征相比，多种不同类型特征提供了更多角度、不同层次的样本信息，通过相互之间支持、补充、修正，能够提供图像数据之间的本质关联信息，已在高光谱遥感影像分析、建筑物提取、人脸识别等方方面面得到了广泛应用。因此，综合运用不同类别特征刻画图像数据本质关联是一个亟待解决的关键问题。
图是一种刻画和表达数据样本复杂关联关系的数据结构，针对同一成像场景，不同类别特征对应的图的拓扑结构是不一样的。例如，在利用高光谱遥感影像提取城市建筑物应用中，由于建筑物与周围道路材质通常是相近的混凝土，具有相似的光谱反射值，因此仅依靠光谱信息构建的图无法准确反映不同类别之间的关联，导致建筑物提取性能低下。相反地，包括高度信息的高程特征可以更好地反映建筑物和道路之间的差异性。因此，融合高光谱遥感影像在光谱和高程特征空间下的拓扑结构，将有效提升建筑物提取性能。在面向智慧社区无感通行的人脸识别应用中，逆光或弱光等光照条件导致基于自然光的人脸图像存在信息丢失，难以识别。区别于自然光成像的本质差异，近红外图像不受光照条件影响，从而可以通过融合人脸在自然光和近红外特征空间中拓扑结构增强判别性信息。因此，通过构建图像数据在不同特征空间下对应的图，进而采用某种技术手段实现不同图的融合，挖掘图像数据在不同特征空间中的本质关联是增强图像中判别性信息，提升区分不同类型对象的关键。
当前图融合的方式主要有线性融合和非线性融合两大类。线性融合首先为与不同特征空间对应的图分配一个合理权值，进而将这些图进行加权相加。尽管该方式实现简单、计算高效，但是它无法捕获不同对象之间的深层次联系，从而导致一些关键结构信息丢失，无法准确获取图像数据之间的本质关联。不同于线性融合，非线性融合通过定义作用于不同图的非线性算子，挖掘与不同特征空间对应的图之间的深层次关联。基于张量积的扩散融合是一种得到广泛研究和使用的非线性算子。该算子的独特之处在于它具有保流形结构的特性，该特性的有效性已在高光谱遥感影像分析、建筑物提取、人脸识别等多种实际应用中得到了验证。目前这类方法主要存在如下问题：第一，该算子通过如下假设挖掘样本之间关联关系，即若样本a和b、c和d之间的相似程度越高，则样本a和c、b和d之间的关联性越强。然而，该假设在实际应用中并不总是能够被满足，导致一些错误关联信息的扩散传播；第二，该算子在不同特征空间中信息扩散传播是全局性的，与实际应用中数据通常是局部相关的状况相矛盾。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种本质流形结构的图像特征融合与聚类协同表达方法及系统，本发明能够有效挖掘图像数据在不同特征空间下对应拓扑结构的细节信息，具有很强的普适性和鲁棒性，拥有抗噪声干扰、聚类精度高的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种本质流形结构的图像特征融合与聚类协同表达方法，包括：
1）输入由图像在不同特征空间的相似矩阵构成的相似矩阵集合Ω；
2）根据相似矩阵集合Ω初始化初始的关联矩阵G (0)，根据初始的关联矩阵G (0)的特征值分解初始化初始的低维特征矩阵F (0)；将初始的松弛变量B (0)、拉格朗日乘子Z (0)初始化为元素均为0的矩阵，将初始的权值矩阵Q (0)初始化为所有元素值相等且和为 1的矩阵，初始化迭代次数k的值为1，惩罚因子μ的初始值μ (0)为大于 0的数值；
3）利用相似矩阵集合Ω中相似矩阵的张量积和第k-1次迭代的权值矩阵Q (k-1)计算第k次迭代的关联矩阵G (k)；
4）结合近邻约束和拉普拉斯低秩约束计算与第k次迭代的关联矩阵G (k)对应的第k次迭代的松弛变量B (k)；
5）利用第k次迭代的松弛变量B (k)对应的拉普拉斯矩阵的特征值分解计算第k次迭代的低维特征矩阵F (k)；
6）根据相似矩阵集合Ω中相似矩阵的噪声强度调整第k次迭代的权值矩阵Q (k)；
7）更新第k次迭代的拉格朗日算子Z (k)：Z (k) =Z (k-1) +μ (k-1) (G (k)- B (k)) ，更新第k次迭代的惩罚因子μ (k)：μ (k) =ρμ (k-1)，其中Z (k-1)为第k-1次迭代的拉格朗日算子，μ (k-1)为第k-1次迭代的惩罚因子，ρ为步长；
8）判断是否满足预设终止条件，如果满足预设终止条件，则跳转执行下一步；否则，将迭代次数k加1，跳转执行步骤3）；
9）输出在第k次迭代的关联矩阵G (k)进行图切割得到的聚类结果。
可选地，步骤1）中相似矩阵集合Ω的函数表达式如下式所示：
上式中，A p 为图像在第p个特征空间中样本的相似矩阵，m为相似矩阵集合Ω中相似矩阵的个数，p为特征空间的序号。
可选地，步骤2）中根据相似矩阵集合Ω初始化初始的关联矩阵G (0)，根据初始的关联矩阵G (0)的特征值分解初始化初始的低维特征矩阵F (0)的步骤包括：
2.1）根据相似矩阵集合Ω初始化初始的关联矩阵G (0)如下式所示：
上式中，A p 为图像在第p个特征空间中样本的相似矩阵，m为相似矩阵集合Ω中相似矩阵的个数，p为特征空间的序号；
2.2）针对初始的关联矩阵G (0)进行下式所示的特征值分解：
上式中，U (0)为特征向量矩阵，(U (0)) T 为特征向量矩阵U (0)的转置；
2.3）将特征向量矩阵U (0)按照对应特征值从大到小顺序排序，通过保留前c个最大特征值对应特征向量得到由特征向量矩阵U (0)的前c列特征向量构成初始的低维特征矩阵F (0)，其中c为图像数据集中图像类别的数目。
可选地，步骤3）中第k次迭代的关联矩阵G (k)的计算函数表达式如下式所示：
上式中，Q pq (k-1)为第k-1次迭代的权值矩阵中第p行第q列个元素，H pq (k-1)为第k-1次迭代作用于相似矩阵A p和A q的张量积上的非线性融合算子，r为取值大于 1的模型参数，μ (k-1)为第k-1次迭代的惩罚因子，B (k-1)为第k-1次迭代的松弛变量，G为图像在个m特征空间上的非线性关联对应的非线性关联矩阵，Z (k-1)为第k-1次迭代的拉格朗日算子。
可选地，步骤4）中第k次迭代的松弛变量B (k)的计算函数表达式如下式所示：
上式中，B为非线性关联矩阵G对应的松弛变量，λ G 和λ L 为模型参数，tr为迹函数，F (k-1)为第k-1次迭代的低维特征矩阵，L为松弛变量B的拉普拉斯矩阵，μ (k-1)为第k-1次迭代的惩罚因子，G (k)为第k次迭代的关联矩阵，Z (k-1)为第k-1次迭代的拉格朗日算子。
可选地，步骤5）中第k次迭代的低维特征矩阵F (k)的计算函数表达式如下式所示：
上式中，F为低维特征矩阵，tr为迹函数，F T 为低维特征矩阵的转置，L (k) 为第k次迭代的松弛变量B (k) 的拉普拉斯矩阵。
可选地，步骤6）中第k次迭代的权值矩阵Q (k) 的计算函数表达式如下式所示：
上式中，Q为权值矩阵，Q pq r 为权值矩阵中第p行第q列个元素的r次方，H pq (k)为第k次迭代作用于相似矩阵A p和A q的张量积上的非线性融合算子，m为相似矩阵集合Ω中相似矩阵的个数。
可选地，步骤8）中的预设终止条件是指第k次迭代的关联矩阵G (k) 减去第k次迭代的松弛变量B (k)所得差值的无穷范数小于预设的容差参数ε或者迭代次数k等于预设的迭代次数阈值K max。
此外，本发明还提供一种本质流形结构的图像特征融合与聚类协同表达系统，包括计算机设备，该计算机设备被编程或配置以执行所述本质流形结构的图像特征融合与聚类协同表达方法的步骤，或者该计算机设备的存储器中存储有被编程或配置以执行所述本质流形结构的图像特征融合与聚类协同表达方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述本质流形结构的图像特征融合与聚类协同表达方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、本发明建立了可挖掘样本本质关联的图像特征融合与聚类模型，通过分析实际图像数据局部相关的先验知识，构建了受约束的基于张量积的非线性融合算子，通过同时约束顶点的邻居个数和子图个数，有效阻断了融合过程中低质量关联信息的扩散传播，增强了高质量关联信息的影响力，极大地提升了图像数据的聚类准确度，本发明方法具有聚类准确度高、抗噪声干扰等优点。
2、本发明在对图像数据进行特征融合与聚类时，独立于图像的特征空间，可接受具有任意多种特征类型的图像数据，同时无需改变模型结构，具有很强的普适性和鲁棒性。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中基于张量积的非线性融合算子的原理示意图。
具体实施方式
给定一幅涵盖城郊的高光谱遥感影像，其中包括了建筑、道路、草地、树木、水稻幼苗、湖泊六种不同地物目标，为了更好地进行道路规划和高标准农田建设任务，需要对不同地物目标进行聚类，将相同地物目标划分到同一个簇，不同地物目标划分到不同簇。然而，仅利用光谱特征难以实现建筑和道路，及草地、树木和水稻幼苗这两组对象的区分，导致聚类精度无法满足实际需求。下文将以上述解决上述需求作为实例，对本发明本质流形结构的图像特征融合与聚类协同表达方法进行进一步的详细说明。
如图1所示，本实施例本质流形结构的图像特征融合与聚类协同表达方法包括：
1）输入由图像在不同特征空间的相似矩阵构成的相似矩阵集合Ω；
2）根据相似矩阵集合Ω初始化初始的关联矩阵G (0)，根据初始的关联矩阵G (0)的特征值分解初始化初始的低维特征矩阵F (0)；将初始的松弛变量B (0)、拉格朗日乘子Z (0)初始化为元素均为0的矩阵，将初始的权值矩阵Q (0)初始化为所有元素值相等且和为 1的矩阵，初始化迭代次数k的值为1，惩罚因子μ的初始值μ (0)为大于0的数值；
3）利用相似矩阵集合Ω中相似矩阵的张量积和第k-1次迭代的权值矩阵Q (k-1)计算第k次迭代的关联矩阵G (k)；
4）结合近邻约束和拉普拉斯低秩约束计算与第k次迭代的关联矩阵G (k)对应的第k次迭代的松弛变量B (k)；
5）利用第k次迭代的松弛变量B (k)对应的拉普拉斯矩阵的特征值分解计算第k次迭代的低维特征矩阵F (k)；
6）根据相似矩阵集合Ω中相似矩阵的噪声强度调整第k次迭代的权值矩阵Q (k)；
7）更新第k次迭代的拉格朗日算子Z (k)：Z (k) =Z (k-1) +μ (k-1) (G (k)- B (k)) ，更新第k次迭代的惩罚因子μ (k)：μ (k) =ρμ (k-1)，其中Z (k-1)为第k-1次迭代的拉格朗日算子，μ (k-1)为第k-1次迭代的惩罚因子，ρ为步长；
8）判断是否满足预设终止条件，如果满足预设终止条件，则跳转执行下一步；否则，将迭代次数k加 1，跳转执行步骤3）；
9）输出在第k次迭代的关联矩阵G (k)进行图切割得到的聚类结果。
本实施例本质流形结构的图像特征融合与聚类协同表达方法本质流形结构的图像特征融合与聚类协同表达方法包括输入一组图像在不同特征空间下相似矩阵，采用基于张量积的非线性融合从该组相似矩阵中提取样本流形结构；综合运用近邻约束和拉普拉斯低秩约束，保证数据流形结构的局部性，以及和簇分布的一致性；通过权值学习量化输入相似矩阵中噪声强度对融合所得流形结构的影响，提升特征融合结果的鲁棒性；在流形结构上进行图切割获得最终聚类结果。本实施例本质流形结构的图像特征融合与聚类协同表达方法能够有效挖掘样本之间的本质关联，具有抗噪声干扰、聚类精度高等优点。
本实施例中，步骤1）输入由图像在不同特征空间的相似矩阵构成的相似矩阵集合Ω时，构成的相似矩阵集合Ω中图像在不同特征空间的相似矩阵是指不同地物目标在光谱、空间位置、纹理和高程四个特征空间中相似矩阵。
本实施例中，步骤1）中相似矩阵集合Ω的函数表达式如下式所示：
上式中，A p 为图像（本实施例中是指地物的图像）在第p个特征空间中样本的相似矩阵，m为相似矩阵集合Ω中相似矩阵的个数，p为特征空间的序号。其中，相似矩阵A p 可通过高斯核函数、稀疏重构等方法构造，所有相似矩阵的元素值均大于或等于0，且满足A p 等于A p 的转置，保证了相似矩阵的半正定性，为提升不同地物特征之间可区分度奠定基础。本实施例考察了光谱、空间位置、纹理和高程四种不同特征空间，因此有m=4。
本实施例中步骤2）中根据相似矩阵集合Ω初始化初始的关联矩阵G (0) ，避免了随机初始化导致关联矩阵中元素值不确定，没有特定意义的不足，同时具备高效线性计算效率，兼顾了关联矩阵初始化的合理性和高效性。本实施例中步骤2）中根据相似矩阵集合Ω初始化初始的低维特征矩阵F (0)，获取每个样本在标签空间的低维特征，间接编码样本的簇分布信息，尽可能减少信息丢失。
本实施例中，建筑、道路、草地、树木、水稻幼苗、湖泊六种地物在光谱、空间位置、纹理、高程四个特征空间中关联关系均可由对应相似矩阵表达，因此，通过将不同特征空间下的相似矩阵进行线性平均相加，可初步获取不同地物在多个特征空间之间的关联，所以本实施例采用相似矩阵线性平均相加方式初始化关联矩阵。此外，线性平均相加的初始化方式避免了随机初始化带来的不确定性，同时在计算上也是高效的。由于各相似矩阵满足半正定性质，则初始化所得关联矩阵也为半正定矩阵，进一步对关联矩阵进行特征值分解，可获取各地物目标在簇空间的低维特征表示，得到对应低维特征矩阵。
本实施例中，步骤2）中根据相似矩阵集合Ω初始化初始的关联矩阵G (0)，根据初始的关联矩阵G (0)的特征值分解初始化初始的低维特征矩阵F (0)的步骤包括：
2.1）根据相似矩阵集合Ω初始化初始的关联矩阵G (0)如下式所示：
上式中，A p 为图像在第p个特征空间中样本的相似矩阵，m为相似矩阵集合Ω中相似矩阵的个数，p为特征空间的序号；
2.2）针对初始的关联矩阵G (0)进行下式所示的特征值分解：
上式中，U (0)为特征向量矩阵，(U (0)) T 为特征向量矩阵U (0)的转置；
2.3）将特征向量矩阵U (0)按照对应特征值从大到小顺序排序，通过保留前c个最大特征值对应特征向量得到由特征向量矩阵U (0)的前c列特征向量构成初始的低维特征矩阵F (0)，可表示为：
其中，c为图像数据集中图像类别的数目，c取值通常和类别的个数保持一致，本实施例中有建筑、道路、草地、树木、水稻幼苗和湖泊六种待聚类地物目标，则c=6，这样就可以准确度量数据中簇的分布信息。
此外，本实施例步骤2）中还包括初始化下述参数：惩罚因子μ=1.00，步长ρ=1.10，容差参数ε=10-4，模型参数λ G 、λ L 和K（近邻个数），迭代次数阈值K max=500等。
本实施例中，步骤3）利用相似矩阵集合Ω中相似矩阵的张量积和第k-1次迭代的权值矩阵Q (k-1)计算第k次迭代的关联矩阵G (k)时，分别包括计算建筑、道路、草地、树木、水稻幼苗、湖泊六种地物目标在第k次迭代的关联矩阵G (k) 。
本实施例中，步骤3）用于通过相似矩阵集合Ω中相似矩阵之间的张量积计算非线性融合算子，考察图像在m个特征空间上的非线性关联，获取对应的非线性关联矩阵G。步骤3）中第k次迭代的关联矩阵G (k)的计算函数表达式如下式所示：
上式中，Q pq (k-1)为第k-1次迭代的权值矩阵中第p行第q列个元素，H pq (k-1)为第k-1次迭代作用于相似矩阵A p和A q的张量积上的非线性融合算子，r为取值大于 1的模型参数，μ (k-1)为第k-1次迭代的惩罚因子，B (k-1)为第k-1次迭代的松弛变量，G为图像在个m特征空间上的非线性关联对应的非线性关联矩阵，Z (k-1)为第k-1次迭代的拉格朗日算子。
第k次迭代的权值矩阵中第p行第q列个元素Q pq (k) 函数表达式如下式所示：
上式中，m为相似矩阵集合Ω中相似矩阵的个数，r为取值大于1的模型参数，H pq (k)为第k次迭代作用于相似矩阵A p和A q的张量积上的非线性融合算子。
非线性融合算子H pq (k-1)通过同时度量地物目标在任意两个特征空间中流形结构，挖掘不同地物目标之间的非线性关联，其函数表达式如下式所示：
上式中，n为图像数据包含的样本数目，A ij p 为相似矩阵A p的第i行第j列元素，当该元素A ij p 的值为零时，对应两个元素不相关，当该元素A ij p 的值非零时，取值越大表明对应两个元素关联性越强，A ij q 为相似矩阵A q的第i行第j列元素，A ij q 与A ij p 含义相同，G ik (k-1) 为第k-1次迭代的关联矩阵中第i行第k列元素，元素值大小反映了在第k-1次迭代后对应两个元素之间的关联性强弱，G jl (k-1) 为第k-1次迭代的关联矩阵中第j行第l列元素，G jl (k-1) 与G ik (k-1) 含义相同，D ii p 为相似矩阵A p的第i行元素之和，D jj p 为相似矩阵A p的第j行元素之和，D kk q 为相似矩阵A q的第k行元素之和，D ll q 为相似矩阵A q的第l行元素之和。作用于相似矩阵集合Ω中相似矩阵的张量积上的非线性融合算子的原理如图2所示，其中A ij p 为相似矩阵A p的第i行第j列元素，A ij q 为相似矩阵A q的第i行第j列元素，A ij p 表示样本x i 和样本x j 在第p个特征空间的相似程度，A ij q 表示样本x i 和样本x j 在第q个特征空间的相似程度，G ik 表示样本x i 和样本x k 的关联程度，G jl 表示样本x j 和样本x l 的关联程度，实线箭头表示在第p个（或第q个）特征空间的样本x i 和样本x j （或样本x k 和样本x l ）的相似程度是已知的，虚线箭头表示样本x i 和样本x k （或样本x j 和样本x l ）的关联程度是未知的，m表示相似矩阵集合Ω中相似矩阵的个数，图2中左侧的求和表达式表示对样本x i 和样本x k 、样本x j 和样本x l 在不同特征空间上的关联程度求和。
本实施例中，步骤4）用于引入与非线性关联矩阵G对应的松弛变量B将难以有效求解的非凸近邻约束问题转化为具有解析解的优化问题，可快速捕获不同地物之间的局部流形拓扑，并且可依据求解过程中目标函数的变化自适应地对拓扑结构进行调整，获取图像之间局部流形拓扑，计算松弛变量B第k次迭代的松弛变量B (k)。步骤4）中第k次迭代的松弛变量B (k)的计算函数表达式如下式所示：
上式中，B为非线性关联矩阵G对应的松弛变量，λ G 和λ L 为模型参数，tr为迹函数，F (k-1)为第k-1次迭代的低维特征矩阵，L为松弛变量B的拉普拉斯矩阵，μ (k-1)为第k-1次迭代的惩罚因子，G (k)为第k次迭代的关联矩阵，Z (k-1)为第k-1次迭代的拉格朗日算子。λ G 和λ L 为取值大于零的模型参数，分别用来平衡该表达式中第一项和第二项所占的比重，tr((F (k-1)) LF (k-1)) 为矩阵(F (k-1)) LF (k-1)的迹，用来反映不同地物目标在标签空间的流形结构，此外，松弛变量B需满足以下两个约束：其一，松弛矩阵B中所有元素取值大于或等于0；其二，松弛矩阵B中任意一行的非零元素个数等于模型参数K，并且元素之和为1，模型参数K为与每个地物目标向量相关联的邻居数目，用来保证流形结构间的局部性。本实施例中，采用下式更新松弛变量B的第k次迭代B (k)中第i行第j列元素值：
其中，M ij 为矩阵M中第i行第j列的元素，且满足等式：
其中， 
满足等式：
其中，τ满足等式：
矩阵M中第i行元素值满足不等关系：
其中，F i: (k-1) 和F j: (k-1) 分别为第k-1次迭代的低维特征矩阵的第i行和第j行，μ (k-1)为第k-1次迭代的惩罚因子，G ij (k) 为第k次迭代的关联矩阵G (k)中第i行第j列的元素，Z ij (k) 为第k次迭代的拉格朗日算子Z (k)中第i行第j列的元素；K为模型参数。
本实施例中，步骤5）用于利用拉普拉斯矩阵，将第k次迭代的松弛变量B (k)中包含流形拓扑信息编码到样本在标签空间的低维特征矩阵F中以计算第k次迭代的低维特征矩阵F (k)，将局部流形拓扑信息编码到各地物目标在标签空间的低维特征矩阵F中，在对地物目标进行降维的同时，最小化同簇地物目标对应低维特征之间的差异。步骤5）中第k次迭代的低维特征矩阵F (k)的计算函数表达式如下式所示：
上式中，F为低维特征矩阵，tr为迹函数，F T 为低维特征矩阵的转置，L (k) 为第k次迭代的松弛变量B (k) 的拉普拉斯矩阵。
本实施例中，步骤6）中考虑到受不可避免噪声影响，各特征空间下相似矩阵中元素取值并不能完全准确地反映对应地物目标之间真实相似关系，因而结合局部流形结构在不同特征空间中差异程度度量相似矩阵中噪声强度，进一步通过可自适应调整的权值矩阵缓解噪声影响。本实施例中，步骤6）用于利用图像流形结构在不同特征空间中差异程度度量输入相似矩阵中噪声强度，通过可自适应调整的权值矩阵缓解噪声影响。步骤6）中第k次迭代的权值矩阵Q (k) 的计算函数表达式如下式所示：
上式中，Q为权值矩阵，Q pq r 为权值矩阵中第p行第q列个元素的r次方，H pq (k)为第k次迭代作用于相似矩阵A p和A q的张量积上的非线性融合算子，m为相似矩阵集合Ω中相似矩阵的个数。Q pq 的计算函数表达式可参见前文Q pq (k) 的计算函数表达式，H pq (k)的计算函数表达式可参见前文H pq (k-1)的计算函数表达式。
作为一种可选的实施方式，步骤8）中的预设终止条件是指：第k次迭代的关联矩阵G (k) 减去第k次迭代的松弛变量B (k)所得差值的无穷范数小于预设的容差参数ε，可表示为：
|| G (k) - B (k) || ∞≤ε
作为一种可选的实施方式，步骤8）中的预设终止条件是指：迭代次数k等于预设的迭代次数阈值K max。例如预设的迭代次数阈值K max取值为500，即迭代500次就终止迭代。
为了获取本实施例本质流形结构的图像特征融合与聚类协同表达方法的效果，下文将针对本实施例方法进行聚类实验并对比分析。本实验数据为两个真实图像数据集，即MSRCv1数据集和Caltech101-7数据集。MSRCv1数据集是一个具有四个特征空间的图像数据集，该数据集共有210个样本，囊括七个不同的类别，每个类别均有30个样本。Caltech101-7数据集是一个具有六个特征空间的图像数据集，该数据集共有1474个样本，囊括七个不同的类别，不同类别对应的样本数目分别为435个、798个、52个、34个、35个、64个和56个。采用准确率（ACC）、归一化互信息（NMI）和纯度（purity）三个广泛使用的评价指标来度量聚类性能，ACC、NMI和purity的值越大，表明聚类性能越好。表1列出了三种典型图像特征融合与聚类方法（AMGL、MCGC、UEF）与本实施例方法（IGL）在MSRCv1数据集和Caltech101-7数据集上的客观评价指标，最好的数值结果被加黑显示。
表1：本实施例方法与三种典型方法在MSRCv1数据集上聚类性能比较。
表2：本实施例方法与三种典型方法在Caltech101-7数据集上聚类性能比较。
由表1和表2可知，本实施例本质流形结构的图像特征融合与聚类协同表达方法得到的准确率、归一化互信息和纯度明显优于其他三种典型方法，说明本实施例本质流形结构的图像特征融合与聚类协同表达方法在性能上具有更明显的优势。
综上所述，本实施例本质流形结构的图像特征融合与聚类协同表达方法通过综合分析图像数据在不同特征空间的局部连接特性，运用张量积提取非线性信息的优势，建立了由局部近邻和拉普拉斯低秩约束的非线性融合模型，将来自不同特征空间的相似矩阵进行非线性融合，从而能够捕获图像数据本质局部流形结构，并保证了该结构信息和图像数据中簇分布的一致性；同时，考虑到与不同特征空间对应的相似矩阵中噪声问题，利用自学习的加权机制，为成对相似矩阵融合结果赋予合理权值，在无需增加额外计算负担的情况下，提升了对噪声的抗干扰能力。本实施例的优势是图像特征融合过程独立于特征空间，适用于拥有任意多个特征空间的图像数据，抗噪声干扰能力强。通过与其他高性能的图像特征融合与聚类方法相比，本实施例本质流形结构的图像特征融合与聚类协同表达方法得到的聚类准确度更有优势，具有很强的普适性和鲁棒性。
此外，本实施例还提供一种本质流形结构的图像特征融合与聚类协同表达系统，包括计算机设备，该计算机设备被编程或配置以执行前述本质流形结构的图像特征融合与聚类协同表达方法的步骤，或者该计算机设备的存储器中存储有被编程或配置以执行前述本质流形结构的图像特征融合与聚类协同表达方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述本质流形结构的图像特征融合与聚类协同表达方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种本质流形结构的图像特征融合与聚类协同表达方法，其特征在于，包括：
1）输入由图像在不同特征空间的相似矩阵构成的相似矩阵集合Ω，其中不同特征空间的相似矩阵是指光谱、空间位置、纹理和高程四个特征空间中相似矩阵；
2）根据相似矩阵集合Ω初始化初始的关联矩阵G (0)，根据初始的关联矩阵G (0)的特征值分解初始化初始的低维特征矩阵F (0)；将初始的松弛变量B (0)、拉格朗日乘子Z (0)初始化为元素均为0的矩阵，将初始的权值矩阵Q (0)初始化为所有元素值相等且和为1的矩阵，初始化迭代次数k的值为1，惩罚因子μ的初始值μ (0)为大于0的数值；
3）利用相似矩阵集合Ω中相似矩阵的张量积和第k-1次迭代的权值矩阵Q (k-1)计算第k次迭代的关联矩阵G (k)；
4）结合近邻约束和拉普拉斯低秩约束计算与第k次迭代的关联矩阵G (k)对应的第k次迭代的松弛变量B (k)；
5）利用第k次迭代的松弛变量B (k)对应的拉普拉斯矩阵的特征值分解计算第k次迭代的低维特征矩阵F (k)；
6）根据相似矩阵集合Ω中相似矩阵的噪声强度调整第k次迭代的权值矩阵Q (k)；
7）更新第k次迭代的拉格朗日算子Z (k)：Z (k) =Z (k-1) +μ (k-1) (G (k)- B (k)) ，更新第k次迭代的惩罚因子μ (k)：μ (k) =ρμ (k-1)，其中Z (k-1)为第k-1次迭代的拉格朗日算子，μ (k-1)为第k-1次迭代的惩罚因子，ρ为步长；
8）判断是否满足预设终止条件，如果满足预设终止条件，则跳转执行下一步；否则，将迭代次数k加1，跳转执行步骤3）；
9）输出在第k次迭代的关联矩阵G (k)进行图切割得到的聚类结果。
2.根据权利要求1所述的本质流形结构的图像特征融合与聚类协同表达方法，其特征在于，步骤1）中相似矩阵集合Ω的函数表达式如下式所示：
上式中，A p 为图像在第p个特征空间中样本的相似矩阵，m为相似矩阵集合Ω中相似矩阵的个数，p为特征空间的序号。
3.根据权利要求2所述的本质流形结构的图像特征融合与聚类协同表达方法，其特征在于，步骤2）中根据相似矩阵集合Ω初始化初始的关联矩阵G (0)，根据初始的关联矩阵G (0)的特征值分解初始化初始的低维特征矩阵F (0)的步骤包括：2.1）根据相似矩阵集合Ω初始化初始的关联矩阵G (0)如下式所示：
上式中，A p 为图像在第p个特征空间中样本的相似矩阵，m为相似矩阵集合Ω中相似矩阵的个数，p为特征空间的序号；2.2）针对初始的关联矩阵G (0)进行下式所示的特征值分解：
上式中，U (0)为特征向量矩阵，(U (0)) T 为特征向量矩阵U (0)的转置；2.3）将特征向量矩阵U (0)按照对应特征值从大到小顺序排序，通过保留前c个最大特征值对应特征向量得到由特征向量矩阵U (0)的前c列特征向量构成初始的低维特征矩阵F (0)，其中c为图像数据集中图像类别的数目。
4.根据权利要求3所述的本质流形结构的图像特征融合与聚类协同表达方法，其特征在于，步骤3）中第k次迭代的关联矩阵G (k)的计算函数表达式如下式所示：
上式中，Q pq (k-1)为第k-1次迭代的权值矩阵中第p行第q列个元素，H pq (k-1)为第k-1次迭代作用于相似矩阵A p和A q的张量积上的非线性融合算子，r为取值大于1的模型参数，μ (k-1)为第k-1次迭代的惩罚因子，B (k-1)为第k-1次迭代的松弛变量，G为图像在个m特征空间上的非线性关联对应的非线性关联矩阵，Z (k-1)为第k-1次迭代的拉格朗日算子。
5.根据权利要求4所述的本质流形结构的图像特征融合与聚类协同表达方法，其特征在于，步骤4）中第k次迭代的松弛变量B (k)的计算函数表达式如下式所示：
上式中，B为非线性关联矩阵G对应的松弛变量，λ G 和λ L 为模型参数，tr为迹函数，F (k-1)为第k-1次迭代的低维特征矩阵，L为松弛变量B的拉普拉斯矩阵，μ (k-1)为第k-1次迭代的惩罚因子，G (k)为第k次迭代的关联矩阵，Z (k-1)为第k-1次迭代的拉格朗日算子。
6.根据权利要求5所述的本质流形结构的图像特征融合与聚类协同表达方法，其特征在于，步骤5）中第k次迭代的低维特征矩阵F (k)的计算函数表达式如下式所示：
上式中，F为低维特征矩阵，tr为迹函数，F T 为低维特征矩阵的转置，L (k)为第k次迭代的松弛变量B (k)的拉普拉斯矩阵。
7.根据权利要求6所述的本质流形结构的图像特征融合与聚类协同表达方法，其特征在于，步骤6）中第k次迭代的权值矩阵Q (k)的计算函数表达式如下式所示：
上式中，Q为权值矩阵，Q pq r 为权值矩阵中第p行第q列个元素的r次方，H pq (k)为第k次迭代作用于相似矩阵A p和A q的张量积上的非线性融合算子，m为相似矩阵集合Ω中相似矩阵的个数。
8.根据权利要求1所述的本质流形结构的图像特征融合与聚类协同表达方法，其特征在于，步骤8）中的预设终止条件是指第k次迭代的关联矩阵G (k)减去第k次迭代的松弛变量B (k)所得差值的无穷范数小于预设的容差参数ε或者迭代次数k等于预设的迭代次数阈值K max。
9.一种本质流形结构的图像特征融合与聚类协同表达系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～8中任意一项所述本质流形结构的图像特征融合与聚类协同表达方法的步骤，或者该计算机设备的存储器中存储有被编程或配置以执行权利要求1～8中任意一项所述本质流形结构的图像特征融合与聚类协同表达方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述本质流形结构的图像特征融合与聚类协同表达方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010860432.5A CN111738370B (zh) | 2020-08-25 | 2020-08-25 | 本质流形结构的图像特征融合与聚类协同表达方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010860432.5A CN111738370B (zh) | 2020-08-25 | 2020-08-25 | 本质流形结构的图像特征融合与聚类协同表达方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738370A CN111738370A (zh) | 2020-10-02 |
| CN111738370B true CN111738370B (zh) | 2020-11-17 |
Family
ID=72658841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010860432.5A Active CN111738370B (zh) | 2020-08-25 | 2020-08-25 | 本质流形结构的图像特征融合与聚类协同表达方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738370B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898193A (zh) * | 2022-07-11 | 2022-08-12 | 之江实验室 | 基于流形学习的图像特征融合方法、装置及图像分类系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402784A (zh) * | 2011-12-16 | 2012-04-04 | 武汉大学 | 一种基于最近特征线流形学习的人脸图像超分辨率方法 |
| CN104408466A (zh) * | 2014-11-17 | 2015-03-11 | 中国地质大学（武汉） | 基于局部流形学习构图的高光谱遥感图像半监督分类方法 |
| CN105069482A (zh) * | 2015-08-21 | 2015-11-18 | 中国地质大学（武汉） | 基于空间正则化流形学习算法的高光谱遥感图像分类方法 |
| CN106503727A (zh) * | 2016-09-30 | 2017-03-15 | 西安电子科技大学 | 一种高光谱图像分类的方法及装置 |
| CN108140130A (zh) * | 2015-11-05 | 2018-06-08 | 谷歌有限责任公司 | 边缘感知的双边图像处理 |
| US10007856B2 (en) * | 2014-02-14 | 2018-06-26 | National Ict Australia Limited | Processing hyperspectral or multispectral image data |
| CN108550132A (zh) * | 2018-03-16 | 2018-09-18 | 安徽大学 | 一种基于全局紧凑先验和全局相似度显著传播的协同显著目标检测方法 |
| CN110263815A (zh) * | 2019-05-27 | 2019-09-20 | 广东工业大学 | 基于块对角表示和视图一致性的多视图子空间聚类方法 |
| CN111369487A (zh) * | 2020-05-26 | 2020-07-03 | 湖南大学 | 一种高光谱和多光谱图像融合方法、系统及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7756342B2 (en) * | 2004-09-20 | 2010-07-13 | The United States Of America As Represented By The Secretary Of The Navy | Method for image data processing |
| CN102903116B (zh) * | 2012-10-20 | 2016-02-24 | 复旦大学 | 一类基于图像块距离的高光谱图像流形降维方法 |
-
2020
- 2020-08-25 CN CN202010860432.5A patent/CN111738370B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402784A (zh) * | 2011-12-16 | 2012-04-04 | 武汉大学 | 一种基于最近特征线流形学习的人脸图像超分辨率方法 |
| US10007856B2 (en) * | 2014-02-14 | 2018-06-26 | National Ict Australia Limited | Processing hyperspectral or multispectral image data |
| CN104408466A (zh) * | 2014-11-17 | 2015-03-11 | 中国地质大学（武汉） | 基于局部流形学习构图的高光谱遥感图像半监督分类方法 |
| CN105069482A (zh) * | 2015-08-21 | 2015-11-18 | 中国地质大学（武汉） | 基于空间正则化流形学习算法的高光谱遥感图像分类方法 |
| CN108140130A (zh) * | 2015-11-05 | 2018-06-08 | 谷歌有限责任公司 | 边缘感知的双边图像处理 |
| CN106503727A (zh) * | 2016-09-30 | 2017-03-15 | 西安电子科技大学 | 一种高光谱图像分类的方法及装置 |
| CN108550132A (zh) * | 2018-03-16 | 2018-09-18 | 安徽大学 | 一种基于全局紧凑先验和全局相似度显著传播的协同显著目标检测方法 |
| CN110263815A (zh) * | 2019-05-27 | 2019-09-20 | 广东工业大学 | 基于块对角表示和视图一致性的多视图子空间聚类方法 |
| CN111369487A (zh) * | 2020-05-26 | 2020-07-03 | 湖南大学 | 一种高光谱和多光谱图像融合方法、系统及介质 |
Non-Patent Citations (4)
| Title |
|---|
| 《Multi-information fusion sparse coding with preserving local structure for hyperspectral image classification 》;Xiaohui Wei et al；;《Journal of Applied Remote Sensing》;20171231;第045016页； * |
| 《基于聚类集成的半监督多/高光谱图像分类方法》;吕俊伟 等；;《电光与控制》;20160531;第23卷(第5期);第30-36页； * |
| 《局部超图拉普拉斯约束的高光谱影像低秩表示去噪方法》;薛志祥 等；;《光学学报》;20170531;第37卷(第5期);第0510001页 * |
| 《面向高光谱图像分类的特征提取与选择方法研究》;韦晓辉;《中国博士学位论文全文数据库》;20200715;第C028-3页； * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738370A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cai et al. | BS-Nets: An end-to-end framework for band selection of hyperspectral image | |
| Yao et al. | Nonconvex-sparsity and nonlocal-smoothness-based blind hyperspectral unmixing | |
| CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
| Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
| CN107292317B (zh) | 基于浅层特征与t矩阵深度学习的极化sar分类方法 | |
| Sarkar et al. | Hyper-spectral image segmentation using Rényi entropy based multi-level thresholding aided with differential evolution | |
| CN105488528B (zh) | 基于改进自适应遗传算法的神经网络图像分类方法 | |
| CN107145836B (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
| Rahaman et al. | An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm | |
| CN111914728B (zh) | 高光谱遥感影像半监督分类方法、装置及存储介质 | |
| Liu et al. | Multi-Area Target Attention for Hyperspectral Image Classification | |
| Yang et al. | Deep sparse tensor filtering network for synthetic aperture radar images classification | |
| Wang et al. | Multiscale densely connected attention network for hyperspectral image classification | |
| Luo et al. | A new algorithm for bilinear spectral unmixing of hyperspectral images using particle swarm optimization | |
| CN117315381B (zh) | 一种基于二阶有偏随机游走的高光谱图像分类方法 | |
| Zhang et al. | Predicting soil moisture content over partially vegetation covered surfaces from hyperspectral data with deep learning | |
| CN112560966A (zh) | 基于散射图卷积网络的极化sar图像分类方法、介质及设备 | |
| Dalal et al. | ETR: Enhancing transformation reduction for reducing dimensionality and classification complexity in hyperspectral images | |
| CN111738370B (zh) | 本质流形结构的图像特征融合与聚类协同表达方法及系统 | |
| Zhao et al. | Hyperspectral target detection method based on nonlocal self-similarity and rank-1 tensor | |
| Yang et al. | Residual dense autoencoder network for nonlinear hyperspectral unmixing | |
| Bao et al. | An improved DenseNet model to classify the damage caused by cotton aphid | |
| CN114003900A (zh) | 变电站二次系统网络入侵检测方法、装置及系统 | |
| Wang et al. | Classification and extent determination of rock slope using deep learning | |
| CN114065831A (zh) | 基于多尺度随机深度残差网络的高光谱图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230912 Address after: 410001 No. 002, Floor 5, Building B, No. 10, Zone 2, CSCEC Smart Industrial Park, No. 50, Jinjiang Road, Yuelu Street, Yuelu District, Changsha, Hunan Province Patentee after: Hunan Xinxin Xiangrong Intelligent Technology Co.,Ltd. Address before: Yuelu District City, Hunan province 410082 Changsha Lushan Road No. 1 Patentee before: HUNAN University |
|
| TR01 | Transfer of patent right |