CN111860614A - 基于深度子空间自表达的多标签分类方法 - Google Patents

基于深度子空间自表达的多标签分类方法 Download PDF

Info

Publication number
CN111860614A
CN111860614A CN202010614744.8A CN202010614744A CN111860614A CN 111860614 A CN111860614 A CN 111860614A CN 202010614744 A CN202010614744 A CN 202010614744A CN 111860614 A CN111860614 A CN 111860614A
Authority
CN
China
Prior art keywords
data
label
expression
training
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010614744.8A
Other languages
English (en)
Other versions
CN111860614B (zh
Inventor
杨博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202010614744.8A priority Critical patent/CN111860614B/zh
Publication of CN111860614A publication Critical patent/CN111860614A/zh
Application granted granted Critical
Publication of CN111860614B publication Critical patent/CN111860614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度子空间自表达的多标签分类方法，具体为：首先利用深度子空间神经网络结构表示数据间的相似程度，接着利用数据相似性与训练数据的标签集合构建数据的实数值标签预测值，最后利用深度分类网络实现多标签数据的分类。本发明的基于深度子空间自表达的多标签分类方法，利用数据间的相似程度构建数据的实数值标签，再利用深度神经网络可自动对无标注的多标签数据进行标注，提高了多标签数据分类的精度与效果。

Description

基于深度子空间自表达的多标签分类方法
技术领域
本发明属于数据挖掘与模式识别技术领域，涉及一种基于深度子空间自表达的多标签分类方法。
背景技术
随着互联网与存储技术的不断提高，数据的收集与呈现形式更加便捷与丰富。传统的二值分类，即将数据与互不相交的标签集合中的一个标签元素相对应的分类方式无法有效表达现实中的许多问题。例如例如一位患者可能患有多种疾病，一篇新闻报道可能涉及多个领域，一位用户可能购买多种商品等。这种同时具有多重语义的分类问题为多标签分类问题。多标签分类已成功应用于多媒体内容的自动标注、关联规则挖掘、信息检索、标签推荐、推荐系统等领域。
多标签分类概念自提出以来，一直是国内外的研究热点。Wright等人提出基于稀疏表示的分类(Classification Based on Sparse Representation，SRC)算法(文献1：Wright J,Yang AY,Ganesh A,et al.Robust face recognition via sparserepresentation[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2008,31(2):210-227.)，将稀疏表示理论应用到分类中。由于超完备字典能用尽可能稀疏的方式表示数据，并且冗余系统对噪声与误差的容忍更为稳健，因而算法取得较为显著的效果。由于基于稀疏表示的分类算法取得较为显著的效果，学者们将其改编为一系列基于稀疏表示的多标签分类算法。这一系列的算法通过计算测试样本与所有训练样本之间的重构关系，获得每一个训练样本对应的系数，这些系数构成对测试数据的表示。这样的处理过程，可充分考虑测试样本的全局信息，但并没有考虑样本的局部信息。此外，这一类方法未能考虑标签之间的关联。
张敏灵等人将K近邻与最大后验概率原理结合，提出基于K近邻的多标签分类算法(Multi-label K Nearest Neighbor，ML-KNN)(文献2：Zhang M L,Zhou Z H.ML-KNN:Alazylearning approach to multi-label learning[J].Pattern Recognition,2007,40(7):2038-2048.)。后续又涌现一系列针对该算法没有考虑标签相关性、类别不一致、类别不平衡等问题提出的改进算法和将KNN与其它算法或理论相结合的算法。虽然基于局部的多标签分类系列算法在实际应用中取得较好的分类效果，但存在着只考虑测试数据的局部信息，未能考虑测试数据的全局信息、对噪声和K值比较敏感、未能利用标签间的高阶关联等缺点。
发明内容
本发明的目的是提供一种基于深度子空间自表达的多标签分类方法，利用数据间的相似程度构建数据的实数值标签，再利用深度神经网络可自动对无标注的多标签数据进行标注，提高了多标签数据分类的精度与效果。
本发明所采用的技术方案是，基于深度子空间自表达的多标签分类方法，具体按照如下步骤实施：
步骤1，预训练自动编码器神经网络
读取多标签数据并进行预处理，使用深度自动编码器神经网络，以数据重构为目标，以经预处理的多标签数据作为输入数据，对输入数据进行训练获得网络参数的初始值；
步骤2，训练深度子空间自表达神经网络
构建深度子空间自表达神经网络，以步骤1预训练的结果权值作为初始值赋值于深度子空间自表达神经网络，以数据重构误差、线性层的权值稀疏度以及稀疏表示的重构误差最小化为目标进行训练，训练深度子空间自表达神经网络；
步骤3，将经步骤2训练好的深度子空间自表达神经网络中的第三层自表达层参数取出，获得数据间相似关系的实数值表示；
步骤4，构建深层全连接分类网络，利用数据的相似关系与训练数据的二值标签构建数据的实数值预测标签，并以此实数值标签为输入，真实的二值标签为输出，训练深层全连接分类网络，直到达到终止条件。
本发明的特征还在于，
步骤1中读取多标签数据并进行预处理具体为：
忽视数据标签仅读取数据特征，将缺失特征的数据剔除，然后对多标签数据进行归一化处理，以进行归一化处理的多标签数据作为输入数据，即就是训练数据，用X＝[x1,x2,...,xm]表示经归一化处理的多标签数据的集合，Y＝{l1,l2,...,lq}表示由q个标签组成的标签空间，S＝{(xi,yi)|1≤i≤m}表示训练数据集合，其中，xi∈X为数据特征向量，
Figure BDA0002563338820000031
为数据xi的标签集合，X＝RD表示D维特征空间。
步骤1中的深度自动编码器神经网络为具有输入结点数、输出结点数与训练数据特征维数相同的网络结构，深度自动编码器神经网络具有四个全连接层，目标函数为最小化重构误差，即
Figure BDA0002563338820000032
其中，X表示输入数据，
Figure BDA0002563338820000033
表示输出数据，||.||F表示Frobenius范数。
预训练深度自动编码器神经网络的步骤为：
将训练数据的数据特征输入至未经训练的深度自动编码器神经网络中，然后以最小数据重构误差为目标，在GPU上进行训练，采用随机梯度下降方法进行求解，待训练达到终止条件后，保存深度自动编码器神经网络的权值。
深度子空间自表达神经网络的结构为：前两层为全连接层，第三层为自表达层，第三层中的响应函数为线性函数；第四、五层为全连接层。
深度子空间自表达网络的训练过程为：
深度子空间自表达神经网络的第一、二、四、五层的网络参数初始化为步骤1保存的深度自动编码器神经网络的权值，随机赋值给第三层，以如下目标进行训练：
Figure BDA0002563338820000041
s.t.diag(ΘS)＝0.
求解上述公式获得通过学习得到的网络参数
Figure BDA0002563338820000042
的最优值，其中，
Figure BDA0002563338820000043
表示通过深度子空间自表达神经网络后的重构数据，
Figure BDA0002563338820000044
表示网络参数，包含编码参数Θe、自表达层参数ΘS，X表示输入数据，
Figure BDA0002563338820000045
表示输入数据X经过神经网络的编码层后的输出数据，||.||F表示Frobenius范数，diag(·)表示取矩阵的主对角线元素操作，λ1与λ2为平衡参数。
步骤3中将训练好的深度子空间自表达神经网络中的第三层自表达层参数取出，获得数据间相似关系的实数值表示具体为：
通过步骤2训练完成的深度子空间自表达神经网络所有参数的值
Figure BDA0002563338820000046
后，读取网络自表达层，即第三层的参数ΘS，ΘS为矩阵，其中，第三层中结点i与结点j之间连接的权值表示为ΘSij，即就是矩阵ΘS中第i行、第j列的元素值，数据间的相似关系采用矩阵W表示，数据i与数据j之间的相似度，即就是数据i与数据j的相似关系的实数值用矩阵W的第i行、第j列的元素值表示，矩阵W的通过ΘS计算获得，即将W矩阵中的第i行，第j列的元素值赋值为
Figure BDA0002563338820000051
其中|·|表示绝对值函数，ΘSji为第三层中结点j与结点i之间连接的权值。
步骤4中利用数据的相似关系与训练数据的二值标签构建数据的实数值预测标签，具体为利用如下公式计算实数值预测标签ri：
Figure BDA0002563338820000052
其中，wij为表示数据i与数据j相似关系的相似度，yi为训练数据xi的二值标签，ri为xi的实数值预测标签。
深层全连接分类网络的结构为：网络共五层，包括依次相连的输入层、三层中间层、输出层，输入层的结点数与输出层的结点个数与数据类别标签个数相同，即输入层与输出层的网络节点数与ri的维度相同。
训练深层全连接分类网络具体为：以ri为输入，以yi为期待输出，进行训练，在训练时，将按照十折交叉验证的方式将数据集划分为训练集与验证集，寻找在验证集上平均性能最好的网络结构与权值参数，从而避免过拟合，直至达到训练预设的终止条件。
本发明的有益效果是：
本发明首先利用数据间的相似程度构建数据的实数值标签，能更精确的描述数据所属类别的可能性，其次利用深度神经网络可自动对无标注的多标签数据进行标注，提高多标签数据分类的精度与效果。
附图说明
图1是本发明基于深度子空间自表达的多标签分类方法的流程图；
图2是本发明基于深度子空间自表达的多标签分类方法中深层全连接分类网络的结构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于深度子空间自表达的多标签分类方法，其流程如图1所示，具体按照如下步骤实施：
步骤1，预训练自动编码器神经网络
读取多标签数据并进行预处理，使用深度自动编码器神经网络，以数据重构为目标，以经预处理的多标签数据作为输入数据，对输入数据进行训练获得网络参数的初始值；
其中，取多标签数据并进行预处理具体为：
忽视数据标签仅读取数据特征，将缺失特征的数据剔除，然后对多标签数据进行归一化处理，以进行归一化处理的多标签数据作为输入数据，即就是训练数据，用X＝[x1,x2,...,xm]表示经归一化处理的多标签数据的集合，Y＝{l1,l2,...,lq}表示由q个标签组成的标签空间，S＝{(xi,yi)|1≤i≤m}表示训练数据集合，其中，xi∈X为数据特征向量，
Figure BDA0002563338820000061
为数据xi的标签集合，X＝RD表示D维特征空间；
深度自动编码器神经网络为具有输入结点数、输出结点数与训练数据特征维数相同的网络结构，深度自动编码器神经网络具有四个全连接层，目标函数为最小化重构误差，即
Figure BDA0002563338820000062
其中，X表示输入数据，
Figure BDA0002563338820000063
表示输出数据，||.||F表示Frobenius范数；
以经预处理的多标签数据作为输入数据，对输入数据进行训练获得网络参数的初始值具体为：
将训练数据的数据特征输入至未经训练的深度自动编码器神经网络中，以数据重构为损失函数，以最小数据重构误差为目标，利用随机梯度下降方法对网络GPU上进行训练，待训练达到终止条件后，保存深度自动编码器神经网络的权值。
步骤2，训练深度子空间自表达神经网络
构建深度子空间自表达神经网络，以步骤1预训练的结果权值作为初始值赋值于深度子空间自表达神经网络，以数据重构误差、线性层的权值稀疏度以及稀疏表示的重构误差最小化为目标进行训练，在训练时，将数据平均的分为十个等分，以其中九份为训练集，其余一份为验证集，往复循环，保证每一份均作为一次验证集，该过程循环进行十次，以验证集上的损失函数最小值为准则挑选网络模型，避免过拟合，训练深度子空间自表达神经网络；
深度子空间自表达神经网络的结构为：前两层为全连接层，第三层为自表达层，第三层中的响应函数为线性函数；第四、五层为全连接层。
深度子空间自表达网络的训练过程为：
深度子空间自表达神经网络的第一、二、四、五层的网络参数初始化为步骤1保存的深度自动编码器神经网络的权值，随机赋值给第三层，以如下目标进行训练：
Figure BDA0002563338820000071
s.t.diag(ΘS)＝0.
求解上述公式获得通过学习得到的网络参数
Figure BDA0002563338820000072
的最优值，其中，
Figure BDA0002563338820000073
表示通过深度子空间自表达神经网络后的重构数据，
Figure BDA0002563338820000074
表示网络参数，包含编码参数Θe、自表达层参数ΘS，X表示输入数据，
Figure BDA0002563338820000075
表示输入数据X经过神经网络的编码层后的输出数据，||.||F表示Frobenius范数，diag(·)表示取矩阵的主对角线元素操作，λ1与λ2为平衡参数。
步骤3，将经步骤2训练好的深度子空间自表达神经网络中的第三层自表达层参数取出，获得数据间相似关系的实数值表示；
其中，将训练好的深度子空间自表达神经网络中的第三层自表达层参数取出，获得数据间相似关系的实数值表示具体为：
通过步骤2训练完成的深度子空间自表达神经网络所有参数的值
Figure BDA0002563338820000081
后，读取网络自表达层，即第三层的参数ΘS，ΘS为矩阵，其中，第三层中结点i与结点j之间连接的权值表示为ΘSij，即就是矩阵ΘS中第i行、第j列的元素值，数据间的相似关系采用矩阵W表示，数据i与数据j之间的相似度，即就是数据i与数据j的相似关系的实数值用矩阵W的第i行、第j列的元素值表示，矩阵W的通过ΘS计算获得，即将W矩阵中的第i行，第j列的元素值赋值为
Figure BDA0002563338820000082
其中|·|表示绝对值函数，ΘSji为第三层中结点j与结点i之间连接的权值。采用这种方法构造的矩阵W为对称矩阵，因此可以有效体现数据相似关系的对称性，即数据i与数据j的相似度与数据j与数据i的相似度相同。为将数据相似度控制在0到1的范围内，对W矩阵进行归一化处理，即用W矩阵中的每个元素值除以W矩阵中的最大元素值。这里需要说明的是，第三层结点个数与数据样本个数相同，即第三层结点与X＝[x1,x2,...,xm]中的数据一一对应，可视其为重新表示的结果。ΘS与W为m×m的矩阵，这两个矩阵的第i行、第j列表示X＝[x1,x2,...,xm]中的xi与xj之间的关系。
步骤4，构建深层全连接分类网络，利用数据的相似关系与训练数据的二值标签构建数据的实数值预测标签，并以此实数值标签为输入，真实的二值标签为输出，训练深层全连接分类网络，直到达到终止条件；
其中，利用数据的相似关系与训练数据的二值标签构建数据的实数值预测标签，具体为利用如下公式计算实数值预测标签ri：
Figure BDA0002563338820000091
其中，wij为表示数据i与数据j相似关系的相似度，yi为训练数据xi的二值标签，ri为xi的实数值预测标签；
深层全连接分类网络的结构为：网络共五层，包括依次相连的输入层、三层中间层、输出层，输入层的结点数与输出层的结点个数与数据类别标签个数相同，即输入层与输出层的网络节点数与ri的维度相同；
训练深层全连接分类网络具体为：以ri为输入，以yi为期待输出，进行训练，在训练时，将按照十折交叉验证的方式将数据集划分为训练集与验证集，寻找在验证集上平均性能最好的网络结构与权值参数，从而避免过拟合，直至达到训练预设的终止条件。
利用分类网络实现多标签有效分类，对测试数据进行分类时，首先利用已训练完成的深度子空间自表达神经网络获得测试数据与训练数据集中每个数据的相似度，接着利用公式构建测试数据的实数值标签，最后利用深层分类网络完成二值标签值的预测。
本发明能充分利用数据之间的相似关系为多标签数据的自动分类提供解决方案，可有效避免大量人工劳动在多标签数据标注中的重复性工作，能提高数据分类的效率与效果，同时可为图像识别、文本挖掘、数据分析、推荐系统等应用领域提供方法支持。

Claims (10)

1.基于深度子空间自表达的多标签分类方法，其特征在于，具体按照如下步骤实施：
步骤1，预训练自动编码器神经网络
读取多标签数据并进行预处理，使用深度自动编码器神经网络，以数据重构为目标，以经预处理的多标签数据作为输入数据，对输入数据进行训练获得网络参数的初始值；
步骤2，训练深度子空间自表达神经网络
构建深度子空间自表达神经网络，以步骤1预训练的结果权值作为初始值赋值于深度子空间自表达神经网络，以数据重构误差、线性层的权值稀疏度以及稀疏表示的重构误差最小化为目标进行训练，训练深度子空间自表达神经网络；
步骤3，将经步骤2训练好的深度子空间自表达神经网络中的第三层自表达层参数取出，获得数据间相似关系的实数值表示；
步骤4，构建深层全连接分类网络，利用数据的相似关系与训练数据的二值标签构建数据的实数值预测标签，并以此实数值标签为输入，真实的二值标签为输出，训练深层全连接分类网络，直到达到终止条件。
2.根据权利要求1所述的基于深度子空间自表达的多标签分类方法，其特征在于，所述步骤1中读取多标签数据并进行预处理具体为：
忽视数据标签仅读取数据特征，将缺失特征的数据剔除，然后对多标签数据进行归一化处理，以进行归一化处理的多标签数据作为输入数据，即就是训练数据，用X＝[x1,x2,...,xm]表示经归一化处理的多标签数据的集合，Y＝{l1,l2,...,lq}表示由q个标签组成的标签空间，S＝{(xi,yi)|1≤i≤m}表示训练数据集合，其中，xi∈X为数据特征向量，
Figure FDA0002563338810000021
为数据xi的标签集合，X＝RD表示D维特征空间。
3.根据权利要求2所述的基于深度子空间自表达的多标签分类方法，其特征在于，所述步骤1中的深度自动编码器神经网络为具有输入结点数、输出结点数与训练数据特征维数相同的网络结构，所述深度自动编码器神经网络具有四个全连接层，目标函数为最小化重构误差，即
Figure FDA0002563338810000022
其中，X表示输入数据，
Figure FDA0002563338810000023
表示输出数据，||.||F表示Frobenius范数。
4.根据权利要求3所述的基于深度子空间自表达的多标签分类方法，其特征在于，所述预训练深度自动编码器神经网络的步骤为：
将训练数据的数据特征输入至未经训练的深度自动编码器神经网络中，然后以最小数据重构误差为目标，在GPU上进行训练，采用随机梯度下降方法进行求解，待训练达到终止条件后，保存深度自动编码器神经网络的权值。
5.根据权利要求4所述的基于深度子空间自表达的多标签分类方法，其特征在于，所述深度子空间自表达神经网络的结构为：前两层为全连接层，第三层为自表达层，第三层中的响应函数为线性函数；第四、五层为全连接层。
6.根据权利要求5所述的基于深度子空间自表达的多标签分类方法，其特征在于，所述深度子空间自表达网络的训练过程为：
所述深度子空间自表达神经网络的第一、二、四、五层的网络参数初始化为步骤1保存的深度自动编码器神经网络的权值，随机赋值给第三层，以如下目标进行训练：
Figure FDA0002563338810000031
求解上述公式获得通过学习得到的网络参数
Figure FDA0002563338810000032
的最优值，其中，
Figure FDA0002563338810000033
表示通过深度子空间自表达神经网络后的重构数据，
Figure FDA0002563338810000034
表示网络参数，包含编码参数Θe、自表达层参数ΘS，X表示输入数据，
Figure FDA0002563338810000035
表示输入数据X经过神经网络的编码层后的输出数据，||.||F表示Frobenius范数，diag(·)表示取矩阵的主对角线元素操作，λ1与λ2为平衡参数。
7.根据权利要求6所述的基于深度子空间自表达的多标签分类方法，其特征在于，所述步骤3中将训练好的深度子空间自表达神经网络中的第三层自表达层参数取出，获得数据间相似关系的实数值表示具体为：
通过步骤2训练完成的深度子空间自表达神经网络所有参数的值
Figure FDA0002563338810000036
后，读取网络自表达层，即第三层的参数ΘS，ΘS为矩阵，其中，第三层中结点i与结点j之间连接的权值表示为ΘSij，即就是矩阵ΘS中第i行、第j列的元素值，数据间的相似关系采用矩阵W表示，数据i与数据j之间的相似度，即就是数据i与数据j的相似关系的实数值用矩阵W的第i行、第j列的元素值表示，矩阵W的通过ΘS计算获得，即将W矩阵中的第i行，第j列的元素值赋值为
Figure FDA0002563338810000037
其中|·|表示绝对值函数，ΘSji为第三层中结点j与结点i之间连接的权值。
8.根据权利要求7述的基于深度子空间自表达的多标签分类方法，其特征在于，所述步骤4中利用数据的相似关系与训练数据的二值标签构建数据的实数值预测标签，具体为利用如下公式计算实数值预测标签ri：
Figure FDA0002563338810000041
其中，wij为表示数据i与数据j相似关系的相似度，yi为训练数据xi的二值标签，ri为xi的实数值预测标签。
9.根据权利要求8所述的基于深度子空间自表达的多标签分类方法，其特征在于，所述深层全连接分类网络的结构为：网络共五层，包括依次相连的输入层、三层中间层、输出层，输入层的结点数与输出层的结点个数与数据类别标签个数相同，即输入层与输出层的网络节点数与ri的维度相同。
10.根据权利要求9所述的基于深度子空间自表达的多标签分类方法，其特征在于，所述训练深层全连接分类网络具体为：以ri为输入，以yi为期待输出，进行训练，在训练时，将按照十折交叉验证的方式将数据集划分为训练集与验证集，寻找在验证集上平均性能最好的网络结构与权值参数，从而避免过拟合，直至达到训练预设的终止条件。
CN202010614744.8A 2020-06-30 2020-06-30 基于深度子空间自表达的多标签分类方法 Active CN111860614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010614744.8A CN111860614B (zh) 2020-06-30 2020-06-30 基于深度子空间自表达的多标签分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010614744.8A CN111860614B (zh) 2020-06-30 2020-06-30 基于深度子空间自表达的多标签分类方法

Publications (2)

Publication Number Publication Date
CN111860614A true CN111860614A (zh) 2020-10-30
CN111860614B CN111860614B (zh) 2023-09-19

Family

ID=72989615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010614744.8A Active CN111860614B (zh) 2020-06-30 2020-06-30 基于深度子空间自表达的多标签分类方法

Country Status (1)

Country Link
CN (1) CN111860614B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996056A (zh) * 2014-04-08 2014-08-20 浙江工业大学 一种基于深度学习的纹身图像分类方法
CN105531725A (zh) * 2013-06-28 2016-04-27 D-波系统公司 用于对数据进行量子处理的系统和方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN108470025A (zh) * 2018-03-21 2018-08-31 北京理工大学 局部话题概率生成正则化自编码文本嵌入表示方法
CN109919236A (zh) * 2019-03-13 2019-06-21 北京工商大学 一种基于标签相关性的bp神经网络多标签分类方法
US20190244680A1 (en) * 2018-02-07 2019-08-08 D-Wave Systems Inc. Systems and methods for generative machine learning
CN110263236A (zh) * 2019-06-06 2019-09-20 太原理工大学 基于动态多视图学习模型的社交网络用户多标签分类方法
CN110263151A (zh) * 2019-05-06 2019-09-20 广东工业大学 一种面向多视角多标签数据的隐语义学习方法
CN110390273A (zh) * 2019-07-02 2019-10-29 重庆邮电大学 一种基于多核迁移学习的室内人员入侵检测方法
US10685293B1 (en) * 2017-01-20 2020-06-16 Cybraics, Inc. Methods and systems for analyzing cybersecurity threats

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105531725A (zh) * 2013-06-28 2016-04-27 D-波系统公司 用于对数据进行量子处理的系统和方法
CN103996056A (zh) * 2014-04-08 2014-08-20 浙江工业大学 一种基于深度学习的纹身图像分类方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
US10685293B1 (en) * 2017-01-20 2020-06-16 Cybraics, Inc. Methods and systems for analyzing cybersecurity threats
US20190244680A1 (en) * 2018-02-07 2019-08-08 D-Wave Systems Inc. Systems and methods for generative machine learning
CN108470025A (zh) * 2018-03-21 2018-08-31 北京理工大学 局部话题概率生成正则化自编码文本嵌入表示方法
CN109919236A (zh) * 2019-03-13 2019-06-21 北京工商大学 一种基于标签相关性的bp神经网络多标签分类方法
CN110263151A (zh) * 2019-05-06 2019-09-20 广东工业大学 一种面向多视角多标签数据的隐语义学习方法
CN110263236A (zh) * 2019-06-06 2019-09-20 太原理工大学 基于动态多视图学习模型的社交网络用户多标签分类方法
CN110390273A (zh) * 2019-07-02 2019-10-29 重庆邮电大学 一种基于多核迁移学习的室内人员入侵检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KANG Z等: "Structure learning with similarity preserving", 《NEURAL NETWORKS》, vol. 129, pages 138 - 148, XP086239499, DOI: 10.1016/j.neunet.2020.05.030 *
SUN X等: "Self-supervised deep multi-view subspace clustering", 《ASIAN CONFERENCE ON MACHINE LEARNING》, pages 1001 - 1016 *
YANG B等: "Structured feature for multi-label learning", 《NEUROCOMPUTING》, vol. 404, pages 257 - 266, XP086197361, DOI: 10.1016/j.neucom.2020.04.134 *
聂煜等: "基于深度自动编码器的多标签分类研究", 《广西师范大学学报（自然科学版）》, vol. 37, no. 1, pages 71 - 79 *
郭圣等: "基于深度自编码的多视图子空间聚类网络", 《 计算机工程与应用》, pages 1 - 9 *

Also Published As

Publication number Publication date
CN111860614B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN109165306B (zh) 基于多任务哈希学习的图像检索方法
CN110059198B (zh) 一种基于相似性保持的跨模态数据的离散哈希检索方法
CN112733866B (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN112711953A (zh) 一种基于注意力机制和gcn的文本多标签分类方法和系统
CN110516095A (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN113204633B (zh) 一种语义匹配蒸馏方法及装置
CN110941734A (zh) 基于稀疏图结构的深度无监督图像检索方法
CN112949740B (zh) 一种基于多级度量的小样本图像分类方法
Wang et al. Graph neural networks: Self-supervised learning
CN110188827A (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN110647907A (zh) 利用多层分类和字典学习的多标签图像分类算法
CN116383422B (zh) 一种基于锚点的无监督跨模态哈希检索方法
CN111582506A (zh) 基于全局和局部标记关系的偏多标记学习方法
CN116049467A (zh) 一种基于标签视觉联合感知的无监督图像检索方法和系统
CN114170333A (zh) 基于直推式半监督深度学习的图像哈希编码方法
CN112766400A (zh) 高维数据基于多个数据变换空间的半监督分类集成方法
CN114661544A (zh) 基于注意力机制层的大数据平台日志异常检测方法
CN110738245A (zh) 一种面向科学数据分析的自动聚类算法选择系统及方法
Dan et al. PF‐ViT: Parallel and Fast Vision Transformer for Offline Handwritten Chinese Character Recognition
CN114138971A (zh) 一种基于遗传算法的极大多标签分类方法
CN113450870A (zh) 一种药物与靶点蛋白的匹配方法及系统
CN116610846A (zh) 用于牛养殖的配种筛选方法及其系统
CN111144453A (zh) 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备
CN115801152A (zh) 基于层次化transformer模型的WiFi动作识别方法
CN111860614B (zh) 基于深度子空间自表达的多标签分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant