CN111209971A - 一种实现有效特征抽取的深度子空间聚类方法及系统 - Google Patents

一种实现有效特征抽取的深度子空间聚类方法及系统 Download PDF

Info

Publication number
CN111209971A
CN111209971A CN202010020060.5A CN202010020060A CN111209971A CN 111209971 A CN111209971 A CN 111209971A CN 202010020060 A CN202010020060 A CN 202010020060A CN 111209971 A CN111209971 A CN 111209971A
Authority
CN
China
Prior art keywords
self
loss function
module
function
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010020060.5A
Other languages
English (en)
Inventor
蔡宏民
黄钦建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010020060.5A priority Critical patent/CN111209971A/zh
Publication of CN111209971A publication Critical patent/CN111209971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种实现有效特征抽取的深度子空间聚类方法和系统，所述方法包括：利用自编码器抽取输入样本特征表达，并通过最小化输入与输出样本的误差获得自编码器损失函数；利用自表达模块实现子空间学习，获取自表达模块损失函数；通过监督特征学习模块从潜在表示中提取与聚类任务相关的特征，得到监督特征学习模块损失函数；根据所述自编码器损失函数、自表达模块损失函数以及监督特征学习模块损失函数得到优化目标函数；根据得到的相关系数矩阵计算出亲和矩阵，并利用所述亲和矩阵进行谱聚类。本发明实施例能够抽取到对于聚类有用的特征，降低噪声数据的影响，提高聚类效果，也避免了标签不对齐的问题。

Description

一种实现有效特征抽取的深度子空间聚类方法及系统
技术领域
本发明涉及机器学习技术领域，尤其涉及一种实现有效特征抽取的深度子空间聚类方法
背景技术
对于许多实际应用程序来说，聚类是无监督学习中一个重要的任务。
在众多的模型中，子空间学习是最常用的方法之一。在现有技术中，子空间聚类方法包括：低秩表示聚类等传统方法、基于自编码器的深度子空间聚类及自我监督机制。
但是，低秩表示聚类等传统方法特征提取和聚类是分开进行的，首先这样会使模型得不到最优解，其次两个步骤之间没有相互促进的过程。基于自编码器的深度子空间聚类在一定程度上解决了这个问题，但是模型仍然不能保证学习到的中间隐藏层表示对聚类任务是有用的；基于自我监督机制的模型会出现标签不一致的情况，不利于特征学习。
发明内容
本发明的目的在于提供一种实现有效特征抽取的深度子空间聚类方法，能够抽取到对于聚类有用的特征，降低噪声数据的影响，提高聚类效果，也避免了标签不对齐的问题。
为了解决上述技术问题，本发明实施例提供一种实现有效特征抽取的深度子空间聚类方法，包括：
利用自编码器抽取输入样本特征表达，并通过最小化输入与输出样本的误差获得自编码器损失函数；
利用自表达模块实现子空间学习，获取自表达模块损失函数；
通过监督特征学习模块从潜在表示中提取与聚类任务相关的特征，得到监督特征学习模块损失函数；所述监督特征学习模块损失函数为通过KL散度进行优化得到的；其中，通过定义一个均匀分布的标签先验分布函数以及平衡标签类别的分布使监督特征学习模块损失函数通过KL散度进行优化；
根据所述自编码器损失函数、自表达模块损失函数以及监督特征学习模块损失函数得到优化目标函数；
根据得到的相关系数矩阵计算出亲和矩阵，并利用所述亲和矩阵进行谱聚类。
进一步地，所述自编码器损失函数用于优化网络参数，所述自编码器损失函数由以下公式确定：
Figure BDA0002360235430000021
其中，X＝{x1,x2,x3,...,xn}为输入样本，
Figure BDA0002360235430000022
是输入样本的重构输出，N为输入样本数量。
进一步地，所述利用自表达模块实现子空间学习，获取自表达模块损失函数，具体的，
自表达模块通过其他样本的线性组合表示每个样本，实现子空间学习，所述子空间学习由以下公式确定：
Z＝ZC
其中，C∈RN×N代表相关系数矩阵，所述C具有块对角的性质，Z＝{z1,z2,z3,...,zn}代表每个输入样本对应的中间向量表达。
所述自表达模块损失函数由以下公式确定：
Figure BDA0002360235430000023
λ是用于平衡不同损失项权重的参数，||·||p表示一个合适的矩阵范数。
进一步地，所述监督特征学习模块损失函数由以下公式确定：
Figure BDA0002360235430000024
，pik为预测标分布中第i个样本属于第k个类的概率qik为目标分布中第i个样本属于第k个类的概率。
进一步地，所述优化目标函数由以下公式确定：
min L1+γ1L2+γ2L3 s.t. diag(C)＝0
其中，L1为自编码器损失函数，L2为自表达模块损失函数，L3为监督特征学习模块损失函数，γ1,γ2为正则化参数。
进一步地，所述亲和矩阵由以下公式确定：
Figure BDA0002360235430000025
第二方面，本发明实施例提供一种实现有效特征抽取的深度子空间聚类系统，其特征在于，包括：
自编码器损失函数获取模块，用于利用自编码器抽取输入样本特征表达，并通过最小化输入与输出样本的误差获得自编码器损失函数；
自表达模块损失函数获取模块，用于利用自表达模块实现子空间学习，获取自表达模块损失函数；
监督特征学习模块损失函数获取模块，用于通过监督特征学习模块从潜在表示中提取与聚类任务相关的特征，得到监督特征学习模块损失函数；所述监督特征学习模块损失函数为通过KL散度进行优化得到的；其中，通过定义一个均匀分布的标签先验分布函数以及平衡标签类别的分布使监督特征学习模块损失函数通过KL散度进行优化；
优化目标函数获取模块，用于根据所述自编码器损失函数、自表达模块损失函数以及监督特征学习模块损失函数得到优化目标函数；
聚类模块，用于根据得到的相关系数矩阵计算出亲和矩阵，并利用所述亲和矩阵进行谱聚类。
进一步地，所述优化目标函数由以下公式确定：
min L1+γ1L2+γ2L3 s.t. diag(C)＝0
其中，L1为自编码器损失函数，L2为自表达模块损失函数，L3为监督特征学习模块损失函数，γ1,γ2为正则化参数，C∈RN×N代表相关系数矩阵，所述C具有块对角的性质。
进一步地，所述亲和矩阵由以下公式确定：
Figure BDA0002360235430000031
进一步地，所述自编码器损失函数由以下公式确定：
Figure BDA0002360235430000032
其中，X＝{x1,x2,x3,...,xn}为输入样本，
Figure BDA0002360235430000033
是输入样本的重构输出，N为输入样本数量；
所述自表达模块损失函数由以下公式确定：
Figure BDA0002360235430000034
，Z＝{z1,z2,z3,...,zn}为每个输入样本对应的中间向量表达，λ是用于平衡不同损失项权重的参数，||·||p为一个合适的矩阵范数
所述监督特征学习模块损失函数由以下公式确定：
Figure BDA0002360235430000035
pik为预测标分布中第i个样本属于第k个类的概率qik为目标分布中第i个样本属于第k个类的概率。
本发明实施例具有如下有益效果：
(1)本发明实施例加入的监督特征学习模块能够抽取到对于聚类有用的特征，降低噪声数据的影响，提高聚类效果，也避免了标签不对齐的问题。
(2)本发明实施例通过自编码器、自表达模块实现子空间学习以及基于最小化KL散度的监督特征学习模块把特征学习以及用于聚类的相关系数矩阵学习整合到一个网络中，从而获得深度特征提取和子空间学习特征的优点，包括：能够获取数据的非线性特征，以及对于噪音不敏感的优点。
附图说明
图1为本发明实施例提供的实现有效特征抽取的深度子空间聚类方法的整个网络的总体框架图
图2为本发明实施例提供的实现有效特征抽取的深度子空间聚类方法与现有的11种常用的聚类算法的聚类效果进行比对的示意图
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，本发明实施例提供一种实现有效特征抽取的深度子空间聚类方法，包括：
S1、利用自编码器抽取输入样本特征表达，并通过最小化输入与输出样本的误差获得自编码器损失函数。
在本发明实施例中，利用自编码器抽取输入样本的特征表达，
Figure BDA0002360235430000041
Figure BDA0002360235430000042
其中，X＝{x1,x2,x3,...,xn}代表输入样本，Z＝{z1,z2,z3,...,zn}代表每个输入样本对应的中间向量表达，θe是编码器的参数，θd是解码器的参数，
Figure BDA0002360235430000043
是输入样本的重构输出。
然后通过最小化输入与输出样本的误差来优化网络参数；其中，以最小化输入样本与输出样本的最小误差作为自编码器损失函数，利用自编码器损失函数来优化网络参数，所述自编码器损失函数由以下公式确定：
Figure BDA0002360235430000044
其中，X＝{x1,x2,x3,...,xn}为输入样本，
Figure BDA0002360235430000055
是输入样本的重构输出，N为输入样本数量。
S2、利用自表达模块实现子空间学习，获取自表达模块损失函数。
在本发明实施例中，自表达模块通过其他样本的线性组合表示每个样本，实现子空间学习，所述子空间学习由以下公式确定：
Z＝ZC (4)
其中，C∈RN×N代表相关系数矩阵，所述C具有块对角的性质，Z＝{z1,z2,z3,...,zn}代表每个输入样本对应的中间向量表达。
此外，为了得到的C具有块对角的性质，需要在C上添加一定的正则项，因此，嵌入网络中的自表达模块损失函数可定义成：
Figure BDA0002360235430000051
λ为用于平衡不同损失项权重的参数，||·||p表示一个合适的矩阵范数，例如l1,||·||*,||·||F。
在此，需要说明的是，Z和ZC不是完全相等，因为所述Z＝ZC只在理想情况下才完全相等，而实际上几乎不会相等，在本发明实施例中，需要最小化Z和ZC之间的误差才能使自表达模块损失函数具备优化性能。
S3、通过监督特征学习模块从潜在表示中提取与聚类任务相关的特征，得到监督特征学习模块损失函数；所述监督特征学习模块损失函数为通过KL散度进行优化得到的；其中，通过定义一个均匀分布的标签先验分布函数以及平衡标签类别的分布使监督特征学习模块损失函数通过KL散度进行优化。
在本发明实施例中，在聚类中，通过引入监督特征学习模块来从潜在表示中提取与聚类任务相关的特征，具体的，首先利用softmax函数来表示预测分布中第i个样本属于第k个类的概率。
Figure BDA0002360235430000052
其中，K为聚类样本的类别数，j为第j个神经元，pik表示预测分布中第i个样本属于第k个类的概率，Θ＝[θ1,...,θk]为softmax函数的参数，zi为第i个样本的中间向量表示，
Figure BDA0002360235430000053
为softmax函数中第k个神经元的权重，
Figure BDA0002360235430000054
为softmax函数中第j个神经元的权重，T是一个数学符号，表示向量转置。
在本发明实施例中，通过利用一个辅助目标变量Q不断优化每一轮产生的pik，并通过定义一个均匀分布的标签先验分布函数u以及平衡标签类别的分布f，以使监督特征学习模块可通过KL散度进行优化，
Figure BDA0002360235430000061
其中，P为网络输出的样本分布，
Figure BDA0002360235430000062
通过交替学习的方法对目标函数LKL进行优化，得到：
Figure BDA0002360235430000063
最后，将监督特征学习模块加入到网络中，得到监督特征学习模块损失函数，所述监督特征学习模块损失函数由以下公式确定：
Figure BDA0002360235430000064
S4、根据所述自编码器损失函数、自表达模块损失函数以及监督特征学习模块损失函数得到优化目标函数。
所述优化目标函数由以下公式确定：
min L1+γ1L2+γ2L3 s.t. diag(C)＝0 (10)
其中，γ1,γ2是正则化参数，C∈RN×N代表相关系数矩，所述C具有块对角的性质。
由于无监督子空间聚类的数据集较小，对网络进行从头开始训练是困难的。因此，我们首先在没有自表达层和监督特征学习模块的情况下，对网络进行了预训练。也就是说，我们在这一阶段优化损失函数。然后用预训练权重初始化自编码器的参数，这时再训练整个网络，通过最小化总损失迭代更新参数。
S5、根据得到的相关系数矩阵计算出亲和矩阵。
所述亲和矩阵由以下公式确定：
Figure BDA0002360235430000065
其中，C∈RN×N代表相关系数矩阵。
S6、利用所述亲和矩阵进行谱聚类，得到聚类结果。
为了验证本发明实施例的有效性，我们在五个数据集上进行实验表1数据集描述
Figure BDA0002360235430000071
在上述五个数据集上进行实验，并与现有的11种常用的聚类算法进行对比，请参阅图2，实验结果充分说明了本发明实施例(图中的OURS)的三种指标基本上都达到了当前最优(黑色加粗的代表聚类效果最好结果)。
基于上述实施例，本发明实施例具有如下有益效果：
(1)本发明实施例加入的监督特征学习模块能够抽取到对于聚类有用的特征，降低噪声数据的影响，提高聚类效果，也避免了标签不对齐的问题。
(2)本发明实施例通过自编码器、自表达模块实现子空间学习以及基于最小化KL散度的监督特征学习模块把特征学习以及用于聚类的相关系数矩阵学习整合到一个网络中，从而获得深度特征提取和子空间学习特征的优点，包括：能够获取数据的非线性特征，以及对于噪音不敏感的优点。
(3)本发明实施例的端到端框架联合优化了特征学习和数据自表达的过程。
(4)本发明实施例通过监督特征学习模块来最小化概率聚类分布和目标变量之间的相对熵，进一步保证了学习特征的可靠性。
本发明实施例还提供一种实现有效特征抽取的深度子空间聚类系统，包括：
自编码器损失函数获取模块，用于利用自编码器抽取输入样本特征表达，并通过最小化输入与输出样本的误差获得自编码器损失函数。
在本发明实施例中，利用自编码器抽取输入样本的特征表达，
Figure BDA0002360235430000072
Figure BDA0002360235430000073
其中，X＝{x1,x2,x3,...,xn}代表输入样本，Z＝{z1,z2,z3,...,zn}代表每个输入样本对应的中间向量表达，θe是编码器的参数，θd是解码器的参数，
Figure BDA0002360235430000081
是输入样本的重构输出。
然后通过最小化输入与输出样本的误差来优化网络参数；其中，以最小化输入样本与输出样本的最小误差作为自编码器损失函数，利用自编码器损失函数来优化网络参数，所述自编码器损失函数由以下公式确定：
Figure BDA0002360235430000082
其中，X＝{x1,x2,x3,...,xn}为输入样本，
Figure BDA0002360235430000083
是输入样本的重构输出，N为输入样本数量。
自表达模块损失函数获取模块，用于利用自表达模块实现子空间学习，获取自表达模块损失函数。
在本发明实施例中，自表达模块通过其他样本的线性组合表示每个样本，实现子空间学习，所述子空间学习由以下公式确定：
Z＝ZC (4)
其中，C∈RN×N代表相关系数矩阵，所述C具有块对角的性质，Z＝{z1,z2,z3,...,zn}代表每个输入样本对应的中间向量表达。
此外，为了得到的C具有块对角的性质，需要在C上添加一定的正则项，因此，嵌入网络中的自表达模块损失函数可定义成：
Figure BDA0002360235430000084
λ为用于平衡不同损失项权重的参数，||·||p表示一个合适的矩阵范数，例如l1,||·||*,||·||F。
在此，需要说明的是，Z和ZC不是完全相等，因为所述Z＝ZC只在理想情况下才完全相等，而实际上几乎不会相等，在本发明实施例中，需要最小化Z和ZC之间的误差才能使自表达模块损失函数具备优化性能。
监督特征学习模块损失函数获取模块，用于通过监督特征学习模块从潜在表示中提取与聚类任务相关的特征，得到监督特征学习模块损失函数；所述监督特征学习模块损失函数为通过KL散度进行优化得到的；其中，通过定义一个均匀分布的标签先验分布函数以及平衡标签类别的分布使监督特征学习模块损失函数通过KL散度进行优化。
在本发明实施例中，在聚类中，通过引入监督特征学习模块来从潜在表示中提取与聚类任务相关的特征，具体的，首先利用softmax函数来表示预测分布中第i个样本属于第k个类的概率。
Figure BDA0002360235430000085
其中，pik表示预测分布中第i个样本属于第k个类的概率，Θ＝[θ1,...,θk]为softmax函数的参数，zi为第i个样本的中间向量表示。
在本发明实施例中，通过利用一个辅助目标变量Q不断优化每一轮产生的pik，并通过定义一个均匀分布的标签先验分布函数u以及平衡标签类别的分布f，以使监督特征学习模块可通过KL散度进行优化。
Figure BDA0002360235430000091
其中，
Figure BDA0002360235430000092
通过交替学习的方法对目标函数LKL进行优化，得到：
Figure BDA0002360235430000093
最后，将监督特征学习模块加入到网络中，得到监督特征学习模块损失函数，所述监督特征学习模块损失函数由以下公式确定：
Figure BDA0002360235430000094
优化目标函数获取模块，用于根据所述自编码器损失函数、自表达模块损失函数以及监督特征学习模块损失函数得到优化目标函数。
所述优化目标函数由以下公式确定：
min L1+γ1L2+γ2L3 s.t. diag(C)＝0 (10)
其中，γ1,γ2是正则化参数，C∈RN×N代表相关系数矩，所述C具有块对角的性质。
由于无监督子空间聚类的数据集较小，对网络进行从头开始训练是困难的。因此，我们首先在没有自表达层和监督特征学习模块的情况下，对网络进行了预训练。也就是说，我们在这一阶段优化损失函数。然后用预训练权重初始化自编码器的参数，这时再训练整个网络，通过最小化总损失迭代更新参数。
聚类模块，用于根据得到的相关系数矩阵计算出亲和矩阵，并利用所述亲和矩阵进行谱聚类，得到聚类结果。
所述亲和矩阵由以下公式确定：
Figure BDA0002360235430000101
其中，C∈RN×N代表相关系数矩阵，所述C具有块对角的性质。
为了验证本发明实施例的有效性，我们在五个数据集上进行实验表1数据集描述
Figure BDA0002360235430000102
在上述五个数据集上进行实验，并与现有的11种常用的聚类算法进行对比，请参阅图2，实验结果充分说明了本发明实施例(图中的OURS)的三种指标基本上都达到了当前最优(黑色加粗的代表最好结果)。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种实现有效特征抽取的深度子空间聚类方法，其特征在于，包括：
利用自编码器抽取输入样本特征表达，并通过最小化输入与输出样本的误差获得自编码器损失函数；
利用自表达模块实现子空间学习，获取自表达模块损失函数；
通过监督特征学习模块从潜在表示中提取与聚类任务相关的特征，得到监督特征学习模块损失函数；所述监督特征学习模块损失函数为通过KL散度进行优化得到的；其中，通过定义一个均匀分布的标签先验分布函数以及平衡标签类别的分布使监督特征学习模块损失函数通过KL散度进行优化；
根据所述自编码器损失函数、自表达模块损失函数以及监督特征学习模块损失函数得到优化目标函数；
根据得到的相关系数矩阵计算出亲和矩阵，并利用所述亲和矩阵进行谱聚类。
2.根据权利要求1所述的实现有效特征抽取的深度子空间聚类方法，其特征在于，所述自编码器损失函数用于优化网络参数，所述自编码器损失函数由以下公式确定：
Figure FDA0002360235420000011
其中，X＝{x1,x2,x3,...,xn}为输入样本，
Figure FDA0002360235420000012
是输入样本的重构输出，N为输入样本数量。
3.根据权利要求2所述的实现有效特征抽取的深度子空间聚类方法，其特征在于，所述利用自表达模块实现子空间学习，获取自表达模块损失函数，具体的，
自表达模块通过其他样本的线性组合表示每个样本，实现子空间学习，所述子空间学习由以下公式确定：
Z＝ZC
其中，C∈RN×N代表相关系数矩阵，所述C具有块对角的性质，Z＝{z1,z2,z3,...,zn}代表每个输入样本对应的中间向量表达；
所述自表达模块损失函数由以下公式确定：
Figure FDA0002360235420000013
λ为用于平衡不同损失项权重的参数，||·||p表示一个合适的矩阵范数。
4.根据权利要求3所述的实现有效特征抽取的深度子空间聚类方法，其特征在于，所述监督特征学习模块损失函数由以下公式确定：
Figure FDA0002360235420000021
，
pik为预测标分布中第i个样本属于第k个类的概率qik为目标分布中第i个样本属于第k个类的概率。
5.根据权利要求4所述的实现有效特征抽取的深度子空间聚类方法，其特征在于，所述优化目标函数由以下公式确定：
min L1+γ1L2+γ2L3 s.t.diag(C)＝0
其中，L1为自编码器损失函数，L2为自表达模块损失函数，L3为监督特征学习模块损失函数，γ1,γ2为正则化参数。
6.根据权利要求5所述的实现有效特征抽取的深度子空间聚类方法，其特征在于，所述亲和矩阵由以下公式确定：
Figure FDA0002360235420000022
7.一种实现有效特征抽取的深度子空间聚类系统，其特征在于，包括：
自编码器损失函数获取模块，用于利用自编码器抽取输入样本特征表达，并通过最小化输入与输出样本的误差获得自编码器损失函数；
自表达模块损失函数获取模块，用于利用自表达模块实现子空间学习，获取自表达模块损失函数；
监督特征学习模块损失函数获取模块，用于通过监督特征学习模块从潜在表示中提取与聚类任务相关的特征，得到监督特征学习模块损失函数；所述监督特征学习模块损失函数为通过KL散度进行优化得到的；其中，通过定义一个均匀分布的标签先验分布函数以及平衡标签类别的分布使监督特征学习模块损失函数通过KL散度进行优化；
优化目标函数获取模块，用于根据所述自编码器损失函数、自表达模块损失函数以及监督特征学习模块损失函数得到优化目标函数；
聚类模块，用于根据得到的相关系数矩阵计算出亲和矩阵，并利用所述亲和矩阵进行谱聚类。
8.根据权利要求7所述的实现有效特征抽取的深度子空间聚类系统，其特征在于，所述优化目标函数由以下公式确定：
min L1+γ1L2+γ2L3 s.t.diag(C)＝0
其中，L1为自编码器损失函数，L2为自表达模块损失函数，L3为监督特征学习模块损失函数，γ1,γ2为正则化参数，C∈RN×N代表相关系数矩阵，所述C具有块对角的性质。
9.根据权利要求8所述的实现有效特征抽取的深度子空间聚类系统，其特征在于，所述亲和矩阵由以下公式确定：
Figure FDA0002360235420000031
10.根据权利要求9所述的实现有效特征抽取的深度子空间聚类系统，其特征在于，所述自编码器损失函数由以下公式确定：
Figure FDA0002360235420000032
其中，X＝{x1,x2,x3,...,xn}为输入样本，
Figure FDA0002360235420000033
是输入样本的重构输出，N为输入样本数量；
所述自表达模块损失函数由以下公式确定：
Figure FDA0002360235420000034
，
Z＝{z1,z2,z3,...,zn}为每个输入样本对应的中间向量表达，λ为用于平衡不同损失项权重的参数，||·||p为一个合适的矩阵范数
所述监督特征学习模块损失函数由以下公式确定：
Figure FDA0002360235420000035
pik为预测标分布中第i个样本属于第k个类的概率qik为目标分布中第i个样本属于第k个类的概率。
CN202010020060.5A 2020-01-08 2020-01-08 一种实现有效特征抽取的深度子空间聚类方法及系统 Pending CN111209971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010020060.5A CN111209971A (zh) 2020-01-08 2020-01-08 一种实现有效特征抽取的深度子空间聚类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010020060.5A CN111209971A (zh) 2020-01-08 2020-01-08 一种实现有效特征抽取的深度子空间聚类方法及系统

Publications (1)

Publication Number Publication Date
CN111209971A true CN111209971A (zh) 2020-05-29

Family

ID=70784104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010020060.5A Pending CN111209971A (zh) 2020-01-08 2020-01-08 一种实现有效特征抽取的深度子空间聚类方法及系统

Country Status (1)

Country Link
CN (1) CN111209971A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348068A (zh) * 2020-10-28 2021-02-09 东南大学 一种基于降噪编码器和注意力机制的时序数据聚类方法
CN113111976A (zh) * 2021-05-13 2021-07-13 华南理工大学 一种基于低秩张量自表示的深度子空间聚类方法及系统
CN113449810A (zh) * 2021-07-15 2021-09-28 东南大学 一种基于自监督和语义风格解耦的图像聚类方法
CN114821142A (zh) * 2022-04-26 2022-07-29 安徽工业大学芜湖技术创新研究院 一种基于深度子空间模糊聚类的图像聚类方法及系统
CN117571742A (zh) * 2024-01-12 2024-02-20 贵州大学 基于人工智能实现芯片质检的方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348068A (zh) * 2020-10-28 2021-02-09 东南大学 一种基于降噪编码器和注意力机制的时序数据聚类方法
CN113111976A (zh) * 2021-05-13 2021-07-13 华南理工大学 一种基于低秩张量自表示的深度子空间聚类方法及系统
CN113449810A (zh) * 2021-07-15 2021-09-28 东南大学 一种基于自监督和语义风格解耦的图像聚类方法
CN113449810B (zh) * 2021-07-15 2022-11-18 东南大学 一种基于自监督和语义风格解耦的图像聚类方法
CN114821142A (zh) * 2022-04-26 2022-07-29 安徽工业大学芜湖技术创新研究院 一种基于深度子空间模糊聚类的图像聚类方法及系统
CN117571742A (zh) * 2024-01-12 2024-02-20 贵州大学 基于人工智能实现芯片质检的方法及装置
CN117571742B (zh) * 2024-01-12 2024-04-05 贵州大学 基于人工智能实现芯片质检的方法及装置

Similar Documents

Publication Publication Date Title
CN111209971A (zh) 一种实现有效特征抽取的深度子空间聚类方法及系统
CN110070183B (zh) 一种弱标注数据的神经网络模型训练方法及装置
CN109345027B (zh) 基于独立成分分析与支持向量机的微电网短期负荷预测方法
CN116526450A (zh) 计及误差补偿的两阶段短期电力负荷组合预测方法
CN109685093A (zh) 无监督的自适应特征选择方法
CN111144214B (zh) 基于多层堆栈式自动编码器的高光谱图像解混方法
CN116468938A (zh) 一种在标签带噪数据上鲁棒的图像分类方法
CN111723914A (zh) 一种基于卷积核预测的神经网络架构搜索方法
CN115858675A (zh) 基于联邦学习框架的非独立同分布数据处理方法
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN114821184B (zh) 一种基于均衡互补熵的长尾图像分类方法及系统
CN113988449A (zh) 基于Transformer模型的风电功率预测方法
CN113627597A (zh) 一种基于通用扰动的对抗样本生成方法及系统
CN117154690A (zh) 一种基于神经网络的光伏发电功率预测方法及系统
CN113109782A (zh) 一种直接应用于雷达辐射源幅度序列的新型分类方法
CN117934890B (zh) 基于局部和全局邻居对齐的原型对比图像聚类方法及系统
CN111798037A (zh) 一种基于堆叠式极限学习机框架的数据驱动最优潮流计算方法
CN112258410A (zh) 一种可微分的低秩学习网络图像修复方法
CN116051924B (zh) 一种图像对抗样本的分治防御方法
CN110544124A (zh) 一种基于模糊神经网络的废旧手机定价方法
CN108388942A (zh) 基于大数据的信息智能处理方法
CN112699271B (zh) 一种提升用户视频网站留存时间的推荐方法
CN115102868A (zh) 一种基于SOM聚类与深度自编码器的web服务QoS预测方法
CN108417204A (zh) 基于大数据的信息安全处理方法
CN111401155B (zh) 基于隐式欧拉跳跃连接的残差神经网络的图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529

RJ01 Rejection of invention patent application after publication