CN111814896A - 一种面向多视图特征融合与聚类的联合优化方法 - Google Patents

一种面向多视图特征融合与聚类的联合优化方法 Download PDF

Info

Publication number
CN111814896A
CN111814896A CN202010696076.8A CN202010696076A CN111814896A CN 111814896 A CN111814896 A CN 111814896A CN 202010696076 A CN202010696076 A CN 202010696076A CN 111814896 A CN111814896 A CN 111814896A
Authority
CN
China
Prior art keywords
clustering
matrix
feature fusion
view
joint optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010696076.8A
Other languages
English (en)
Inventor
赵铁松
黄爱萍
裴舒凡
陈炜玲
王郑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010696076.8A priority Critical patent/CN111814896A/zh
Publication of CN111814896A publication Critical patent/CN111814896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种面向多视图特征融合与聚类的联合优化方法，包括以下步骤：步骤S1:获取待聚类图像数据的若干个视图以及聚成的类别数；步骤S2:初始化相关参数和矩阵变量；步骤S3:将面向多视图特征融合与聚类的联合优化问题表示为共享指示矩阵和对应各个视图系数矩阵的矩阵分解范式，写出损失函数，确认优化目标;步骤S4:更新各项参数，直至收敛或达到最大迭代次数；步骤S5:计算得到收敛的共享聚类指示矩阵，以对每个样本标签进行分配，得到最优的聚类结果。本发明面向多视图特征，能够实现准确的聚类。

Description

一种面向多视图特征融合与聚类的联合优化方法
技术领域
本发明属于多视图学习领域，具体涉及一种面向多视图特征融合与聚类的联合优化方法。
背景技术
近年来，多视图技术已引起越来越多研究者的关注，并广泛应用于图像识别，图像分割，自然语言处理和多媒体理解等多个领域。给与特定的学习任务，从这些未标记数据的多个视图中发现隐藏的模式和潜在的语义称为多视图学习。大量研究表明，多视图学习比单视图学习更有效，更鲁棒且更通用，因为它考虑了不同视图的多样性，并充分利用了这些视图的共同优点。然而，如何构建多个视图，评估这些视图并学习有效的融合方法是一个巨大的挑战。
发明内容
有鉴于此，本发明的目的在于提供一种面向多视图特征融合与聚类的联合优化方法，能够有效的实现多视图特征融合与聚类。
为实现上述目的，本发明采用如下技术方案：
一种面向多视图特征融合与聚类的联合优化方法，包括以下步骤：
步骤S1:获取待聚类图像数据的若干个视图以及聚成的类别数；
步骤S2:初始化相关参数和矩阵变量；
步骤S3:将面向多视图特征融合与聚类的联合优化问题表示为共享指示矩阵和对应各个视图系数矩阵的矩阵分解范式，写出损失函数，确认优化目标；
步骤S4:更新各项参数，直至收敛或达到最大迭代次数；
步骤S5:计算得到收敛的共享聚类指示矩阵，以对每个样本标签进行分配，得到最优的聚类结果。
进一步的，所述相关参数包括βi，γ，λ和
Figure BDA0002590938750000021
其中γ是一个预定义常数来增强损失函数的度量学习，βi为正则化参数，λ为权重系数，
Figure BDA0002590938750000022
为惩罚项系数。
进一步的，所述矩阵变量包括α,H,G,W,V和
Figure BDA0002590938750000023
α为不同视图的权重向量，H∈Rn×c为共享聚类指示矩阵，
Figure BDA0002590938750000024
为对应各个视图的聚类系数矩阵，G和V为中间矩阵优化变量，
Figure BDA0002590938750000025
和Y2∈Rn×c为两个惩罚矩阵；c为类别个数,di第i个视图数据矩阵的维数。
进一步的，步骤S3具体为：
步骤S31:将面向多视图特征融合与聚类的联合优化问题表示为:
Figure BDA0002590938750000026
式子满足:
Figure BDA0002590938750000027
其中||·||F和||·||*分别为Frobenius范数和核函数运算符；I为单位矩阵；
步骤S32:引入
Figure BDA0002590938750000031
迹运算符Tr(·)；引入用于衡量矩阵H正交性的重要性参数λ；
将式子改写为:
Figure BDA0002590938750000032
式子满足:α≥0,1Tα＝1,H≥0
其中1∈Rk是一个各项全为1的列向量；
步骤S43:引入两个中间矩阵优化变量
G∈Rn×c和
Figure BDA0002590938750000033
来分离H和W，并将目标函数改写为:
Figure BDA0002590938750000034
式子满足:α≥0,1Tα＝1,H≥0,H-G＝0,W-V＝0
目标函数可以等效地转化为最小化函数
Figure BDA0002590938750000035
式子满足:α≥0,1Tα＝1,H≥0
其中
Figure BDA0002590938750000036
和Y2∈Rn×c为两个惩罚矩阵；
步骤S44:将目标函数通过以下的迭代更新规则进行优化:
Figure BDA0002590938750000037
Figure BDA0002590938750000041
Figure BDA0002590938750000042
Figure BDA0002590938750000043
Figure BDA0002590938750000044
Figure BDA0002590938750000045
Figure BDA0002590938750000046
步骤S45:分别针对α,H,G,W,V找到上述子问题的最优解。
进一步的，所述步骤S3具体为：
按照下式更新α：
Figure BDA0002590938750000047
按照下式更新H：
Figure BDA0002590938750000048
其中[a]+＝max{a,0}；
按照下式更新G：
Figure BDA0002590938750000049
按照下式更新W：
Figure BDA00025909387500000410
其中软阈值运算符Dτ(∑)＝diag([[∑11-τ]+,…,[∑cc-τ]+])，τ为软阈值。
按照下式更新V：
Figure BDA00025909387500000411
按照下式更新Y1,Y2:
Figure BDA0002590938750000051
Figure BDA0002590938750000052
重复以上过程直至收敛或达到最大迭代次数。
进一步的，所述步骤S4具体为：根据最终收敛结果得到收敛的共享聚类指示矩阵H，并通过
Figure BDA0002590938750000053
对样本标签进行分配。
本发明与现有技术相比具有以下优势：本发明将多个视图进行融合，以学习不同视图的融合权重并同时进行聚类；将提出的问题分解为几个可解的小子问题，通过推导各自的闭式解来解决问题；提出一种有效的迭代优化算法，以正确进行样本标签分配并更新融合权重，能够实现准确的聚类。。
附图说明
图1是本发明框架原理图；
图2是本发明一实施例中不同的多视图聚类方法的效果比较。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种面向多视图特征融合与聚类的联合优化算法，包括以下步骤：
步骤S1:获取来自数据的k个视图
Figure BDA0002590938750000054
以及需要聚成c个类；
步骤S2:初始化参数βi，γ，λ和
Figure BDA0002590938750000055
初始化矩阵变量α,H,G,W,V和
Figure BDA0002590938750000056
步骤S3:将面向多视图特征融合与聚类的联合优化问题描述为共享指示矩阵和对应各个视图系数矩阵的矩阵分解范式，写出损失函数，确认优化目标；
步骤S4:重复以下过程直至收敛或达到最大迭代次数(tmax)：
(1).用拉格朗日乘数法更新αt+1。
(2).用闭式解方法更新Ht+1。
(3).用无约束最小化方法更新Gt+1。
(4).用软阈值算子更新Wt+1。
(5).用无约束最小化方法更新Vt+1。
(6).用公式
Figure BDA0002590938750000061
进行更新(梯度下降法)。
(7).用公式
Figure BDA0002590938750000062
进行更新(梯度下降法)。
步骤S5:计算得到收敛的共享聚类指示矩阵H，以对每个样本标签进行分配，得到最优的聚类效果。
在本实施例中，通过步骤S1从MNIST数据集获取来自k个视图的数据矩阵
Figure BDA0002590938750000063
以及需要聚成的c个类，其中k＝3，c＝10。
在本实施例中，所述步骤S2具体为：
初始化α，α为每个样本3个不同视图的权重向量，每个样本的权重向量都含有三个元素；初始化βi；初始化γ，γ是一个预定义常数来增强损失函数的度量学习；初始化H，H∈Rn×c为共享聚类指示矩阵，如图1所示，收敛的H分配最终样本标签；初始化W，
Figure BDA0002590938750000071
为对应各个视图的聚类系数矩阵。
在本实施例中，所述步骤S3具体为：
步骤S31:将面向多视图特征融合与聚类的联合优化问题表示为:
Figure BDA0002590938750000072
式子满足:
Figure BDA0002590938750000073
其中||·||F和||·||*分别为Frobenius范数和核函数运算符；I为单位矩阵。
步骤S32:引入
Figure BDA0002590938750000074
迹运算符Tr(·)；引入衡量矩阵H正交性的重要性的参数λ，λ＞0。将式子改写为:
Figure BDA0002590938750000075
式子满足:α≥0,1Tα＝1,H≥0
其中1∈Rk是一个全1列向量。
步骤S33:引入两个中间矩阵优化变量G∈Rn×c和
Figure BDA0002590938750000076
来分离H和W并将目标函数改写为:
Figure BDA0002590938750000077
式子满足:α≥0,1Tα＝1,H≥0,H-G＝0,W-V＝0
目标函数可以等效地转化为最小化
Figure BDA0002590938750000081
式子满足:α≥0,1Tα＝1,H≥0
其中
Figure BDA0002590938750000082
和Y2∈Rn×c看作两个惩罚矩阵，用于将W-V和H-G缩小到零矩阵0。
步骤b5:将目标函数通过以下的迭代更新规则进行优化:
Figure BDA0002590938750000083
Figure BDA0002590938750000084
Figure BDA0002590938750000085
Figure BDA0002590938750000086
Figure BDA0002590938750000087
Figure BDA0002590938750000088
Figure BDA0002590938750000089
然后分别针对α,H,G,W,V找到上述子问题的最优解。
进一步的，所述步骤S3具体为:
步骤c1:按照下面公式更新α。
Figure BDA00025909387500000810
步骤c2:按照下面公式更新H。
Figure BDA00025909387500000811
其中[a]+＝max{a,0}。
步骤c3:按照下面公式更新G。
Figure BDA0002590938750000091
步骤c4:按照下面公式更新W。
Figure BDA0002590938750000092
其中Dτ(∑)＝diag([[∑11-τ]+,…,[∑cc-τ]+])。
步骤c5:按照下面公式更新V。
Figure BDA0002590938750000093
步骤c6:更新Y1,Y2:
Figure BDA0002590938750000094
Figure BDA0002590938750000095
重复以上过程直至收敛或达到最大迭代次数。
在本实施例中，所述步骤S4具体为：在步骤S3中利用ADMM策略将上述多变量优化问题分解为几个小的可解子问题。迭代结束后得到收敛的共享聚类指示矩阵H，并通过
Figure BDA0002590938750000096
对MNIST数据集样本的标签进行分配。本实施例在MNIST数据集上的聚类效果在图2中予以体现。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种面向多视图特征融合与聚类的联合优化方法，其特征在于，包括以下步骤：
步骤S1:获取待聚类图像数据的若干个视图以及聚成的类别数；
步骤S2:初始化相关参数和矩阵变量；
步骤S3:将面向多视图特征融合与聚类的联合优化问题表示为共享指示矩阵和对应各个视图系数矩阵的矩阵分解范式，写出损失函数，确认优化目标；
步骤S4:更新各项参数，直至收敛或达到最大迭代次数；
步骤S5:计算得到收敛的共享聚类指示矩阵，以对每个样本标签进行分配，得到最优的聚类结果。
2.根据权利要求1所述的一种面向多视图特征融合与聚类的联合优化方法，其特征在于，所述相关参数包括βi，γ，λ和
Figure FDA0002590938740000011
其中γ是一个预定义常数来增强损失函数的度量学习,βi为正则化参数，λ为权重系数，
Figure FDA0002590938740000012
为惩罚项系数。
3.根据权利要求2所述的一种面向多视图特征融合与聚类的联合优化方法，其特征在于，所述矩阵变量包括α,H,G,W,V和
Figure FDA0002590938740000013
α为不同视图的权重向量，H∈Rn×c为共享聚类指示矩阵，
Figure FDA0002590938740000014
为对应各个视图的聚类系数矩阵，G和V为中间矩阵优化变量，
Figure FDA0002590938740000015
和Y2∈Rn×c为两个惩罚矩阵；c为类别个数,di第i个视图数据矩阵的维数。
4.根据权利要求3所述的一种面向多视图特征融合与聚类的联合优化方法，其特征在于，步骤S3具体为：
步骤S31:将面向多视图特征融合与聚类的联合优化问题表示为:
Figure FDA0002590938740000021
式子满足:α≥0,
Figure FDA0002590938740000022
H≥0,HTH＝I
其中||·||F和||·||*分别为Frobenius范数和核函数运算符；I为单位矩阵；
步骤S32:引入
Figure FDA0002590938740000023
迹运算符Tr(·)；引入用于衡量矩阵H正交性的重要性参数λ；
将式子改写为:
Figure FDA0002590938740000024
式子满足:α≥0,1Tα＝1,H≥0
其中1∈Rk是一个项等于1的列向量；
步骤S43:引入两个中间矩阵优化变量
G∈Rn×c和
Figure FDA0002590938740000025
来分离H和W，并将目标函数改写为:
Figure FDA0002590938740000026
式子满足:α≥0,1Tα＝1,H≥0,H-G＝0,W-V＝0
目标函数可以等效地转化为最小化函数
Figure FDA0002590938740000031
式子满足:α≥0,1Tα＝1,H≥0
其中
Figure FDA0002590938740000032
和Y2∈Rn×c为两个惩罚矩阵；
步骤S44:将目标函数通过以下的迭代更新规则进行优化:
Figure FDA0002590938740000033
Figure FDA0002590938740000034
Figure FDA0002590938740000035
Figure FDA0002590938740000036
Figure FDA0002590938740000037
Figure FDA0002590938740000038
Figure FDA0002590938740000039
步骤S45:分别针对α,H,G,W,V找到上述子问题的最优解。
5.根据权利要求1所述的一种面向多视图特征融合与聚类的联合优化方法，其特征在于，所述步骤S3具体为：
按照下式更新α：
Figure FDA00025909387400000310
按照下式更新H：
Figure FDA00025909387400000311
其中[a]+＝max{a,0}；
按照下式更新G：
Figure FDA0002590938740000041
按照下式更新W：
Figure FDA0002590938740000042
其中软阈值运算符Dτ(∑)＝diag([[∑11-τ]+,…,[∑cc-τ]+])，τ为软阈值；
按照下式更新V：
Figure FDA0002590938740000043
按照下式更新Y1,Y2:
Figure FDA0002590938740000044
Figure FDA0002590938740000045
重复以上过程直至收敛或达到最大迭代次数。
6.根据权利要求1所述的一种面向多视图特征融合与聚类的联合优化方法，其特征在于，所述步骤S4具体为：根据最终收敛结果得到收敛的共享聚类指示矩阵H，并通过
Figure FDA0002590938740000046
对样本标签进行分配。
CN202010696076.8A 2020-07-20 2020-07-20 一种面向多视图特征融合与聚类的联合优化方法 Pending CN111814896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010696076.8A CN111814896A (zh) 2020-07-20 2020-07-20 一种面向多视图特征融合与聚类的联合优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010696076.8A CN111814896A (zh) 2020-07-20 2020-07-20 一种面向多视图特征融合与聚类的联合优化方法

Publications (1)

Publication Number Publication Date
CN111814896A true CN111814896A (zh) 2020-10-23

Family

ID=72866197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010696076.8A Pending CN111814896A (zh) 2020-07-20 2020-07-20 一种面向多视图特征融合与聚类的联合优化方法

Country Status (1)

Country Link
CN (1) CN111814896A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139556A (zh) * 2021-04-22 2021-07-20 扬州大学 基于自适应构图的流形多视图图像聚类方法及系统
CN118503733A (zh) * 2024-07-18 2024-08-16 中南大学 基于非负矩阵分解的多视图聚类方法、系统、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139556A (zh) * 2021-04-22 2021-07-20 扬州大学 基于自适应构图的流形多视图图像聚类方法及系统
CN113139556B (zh) * 2021-04-22 2023-06-23 扬州大学 基于自适应构图的流形多视图图像聚类方法及系统
CN118503733A (zh) * 2024-07-18 2024-08-16 中南大学 基于非负矩阵分解的多视图聚类方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN108776812A (zh) 基于非负矩阵分解和多样-一致性的多视图聚类方法
CN109002854A (zh) 基于隐表示和自适应的多视图子空间聚类方法
CN111564183B (zh) 融合基因本体和神经网络的单细胞测序数据降维方法
CN109977994B (zh) 一种基于多示例主动学习的代表性图像选取方法
CN110348579A (zh) 一种领域自适应迁移特征方法及系统
Wang et al. Block diagonal representation learning for robust subspace clustering
CN108564107A (zh) 基于原子拉普拉斯图正则化的半监督字典学习的样本类别归类方法
CN108021930B (zh) 一种自适应的多视角图像分类方法及系统
CN109685093A (zh) 无监督的自适应特征选择方法
CN111814896A (zh) 一种面向多视图特征融合与聚类的联合优化方法
CN106886793B (zh) 基于判别信息和流形信息的高光谱图像波段选择方法
CN115995011B (zh) 基于图正则化的非线性正交非负矩阵分解图像聚类方法
CN113011243A (zh) 基于胶囊网络的面部表情分析方法
CN112270374A (zh) 基于som聚类模型的数学表达式的聚类方法
CN112418286A (zh) 基于约束非负矩阵分解的多视图聚类方法
CN108920900A (zh) 基因表达谱数据的无监督极限学习机特征提取系统及方法
CN115795333A (zh) 一种基于低秩约束自适应图学习的不完整多视图聚类方法
CN108921853A (zh) 基于超像素和免疫稀疏谱聚类的图像分割方法
CN109063725A (zh) 面向多视图聚类的多图正则化深度矩阵分解方法
CN110175631A (zh) 一种基于共同学习子空间结构和聚类指示矩阵的多视图聚类方法
CN110738245A (zh) 一种面向科学数据分析的自动聚类算法选择系统及方法
CN113033626A (zh) 基于多任务协同学习的图像分类方法
JP7283554B2 (ja) 学習装置、学習方法、及び、プログラム
CN116910502A (zh) 一种基于局部标签相关和特征冗余的稀疏特征选择方法
CN109858543B (zh) 基于低秩稀疏表征和关系推断的图像可记忆度预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201023

RJ01 Rejection of invention patent application after publication