CN105069485A - 一种张量模式下基于极限学习机的模式识别方法 - Google Patents

一种张量模式下基于极限学习机的模式识别方法 Download PDF

Info

Publication number
CN105069485A
CN105069485A CN201510531563.8A CN201510531563A CN105069485A CN 105069485 A CN105069485 A CN 105069485A CN 201510531563 A CN201510531563 A CN 201510531563A CN 105069485 A CN105069485 A CN 105069485A
Authority
CN
China
Prior art keywords
data set
tensor
data
fisher
mode identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510531563.8A
Other languages
English (en)
Inventor
曾德威
王书强
申妍燕
胡金星
卢哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201510531563.8A priority Critical patent/CN105069485A/zh
Publication of CN105069485A publication Critical patent/CN105069485A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种张量模式下基于极限学习机的模式识别方法，包括以下步骤：将数据集以张量模式输入并为所述数据集内的数据设置标签；计算所述数据集内的数据各阶对应的Fisher最优投影；设置隐层节点数量及激励函数的类型；根据Fisher最优投影随机产生各个所述节点的输入权值；随机产生各个所述节点的偏移标量；计算隐层输出矩阵；对所述隐层输出矩阵求逆；统计所述数据集内相异的标签数量C，自动设置输出节点数量为C，并将全部所述标签以C维向量表示；计算输出权值；构建张量分类器，以及对所述数据集进行模式识别。本发明提出的模式识别方法能够直接在张量领域处理数据，用于高效准确识别当前数据所属模式或类别的模式识别模型。

Description

一种张量模式下基于极限学习机的模式识别方法
技术领域
本发明涉及模式识别领域，尤其涉及一种张量模式下基于极限学习机的模式识别方法。
背景技术
传统基于向量模式的极限学习机处理数据、进行模式识别的实现方法，必须先从原始数据中提取特征向量或向量化，这种做法导致：1)原始数据的结构信息极有可能遭到破坏；2)破坏原始数据的内在相关性，掩盖数据原本存在的高阶依赖性；3)向量不能够完整表达原始数据的所有信息，因此会引发诸如破坏数据结构，增加计算复杂度及储存代价等问题。
发明内容
本发明的目的在于，解决向量模式下极限学习机进行模式识别时效率低、精度不高的问题。
本发明的目的及解决其技术问题是采用以下技术方案来实现的。
一种张量模式下基于极限学习机的模式识别方法，其包括以下步骤：将数据集以张量模式输入并为所述数据集内的数据设置标签；计算所述数据集内的数据各阶对应的Fisher最优投影；设置隐层节点数量及激励函数的类型；根据Fisher最优投影随机产生各个所述节点的输入权值；随机产生各个所述节点的偏移标量；计算隐层输出矩阵；对所述隐层输出矩阵求逆；统计所述数据集内相异的标签数量c，自动设置输出节点数量为c，并将全部所述标签以c维向量表示；计算输出权值；构建张量分类器，以及对所述数据集进行模式识别，设所述张量分类器的输出层有c个节点，如果第i个节点的输出值最大，则所述张量分类器的识别结果为第i类，其中i≤c。
本发明一较佳实施方式中，若所述数据集为二阶张量数据集，在将数据集以张量模式输入并为所述数据集内的数据设置标签的步骤中，对所述数据集以各原始数据点或者以各原始数据点所对应的标签为元素串成列向量表示所述二阶张量数据集中的输入数据集。
本发明一较佳实施方式中，在计算所述数据集内的数据各阶对应的Fisher最优投影的步骤中包括以下步骤：
a)矩阵化运算；
b)计算样本总均值；
c)计算各个类内均值；
d)计算类内散布矩阵及类间散布矩阵；
e)计算Fisher最优投影向量，即矩阵Sb最大特征值对应的特征向量，其中，Sw是类内散布矩阵，Sb是类间散布矩阵。
本发明一较佳实施方式中，在根据Fisher最优投影随机产生各个所述节点的输入权值的步骤中，基于Fisher最优投影随机产生的输入权值方向与最优投影的方向一致或相似。
本发明一较佳实施方式中，在对所述隐层输出矩阵求逆的步骤中，基于SVD对所述隐层输出矩阵计算Moore-Penrose广义逆。
相较于现有技术，将极限学习机扩展到张量模式下，并结合Fisher最优投影，直接在张量领域接受数据输入，从而可以大幅降低模式识别时的计算复杂度和存储成本，具有较强的易用性和实用性。另外，张量算法能够有效分析张量数据特有的结构信息，共同保证了算法的精度性能。因此，本发明提出的模式识别方法既能高效处理数据又能保证算法的精度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1是本发明实施例提供的张量模式下基于极限学习机的模式识别方法的流程示意图。
图2是本发明提供的多分类二阶张量极限学习机学习网络示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
以下首先说明本发明所涉及的概念：
1、模式识别
模式识别(PatternRecognition)，就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。对人类来说，特别重要的是对光学信息(通过视觉器官来获得)和声学信息(通过听觉器官来获得)的识别。这是模式识别的两个重要方面。
2、ELM
极限学习机(ExtremeLearningMachine，简称ELM)算法主要针对单隐层前馈神经网络(Single-hiddenLayerFeedforwardNeuralNetwork，简称SLFNs)。ELM最大的特点是隐层参数独立于训练集、目标函数。所以，隐层参数可以事先随机确定，避免耗时的迭代过程，大幅度降低训练时间，更能适应处理海量数据的效率要求。
3、张量数据
在如今的大数据时代数据环境下，在模式识别、计算机可视化和图像处理等研究领域，数据经常以张量模式储存，譬如，灰度图像是二阶张量(矩阵)、彩色图像是三阶张量等等。不同于向量模式表示方法，张量模式表示能够储存更多向量模式无法表示的信息，如原始数据的结构信息、内在依赖性等。
4、张量模式算法
张量模式算法直接在张量领域对数据进行处理，充分利用原始数据内在固有的结构信息进行机器学习。张量模式算法的参数数量远远小于向量模式算法的参数数量，更加适合小样本问题，避免过度学习问题；直接对原始数据进行分析，避免较高的计算复杂度和存储代价，很好地适应了大数据时代的发展趋势。
5、最优投影
最优投影概念源自Fisher线性判别分析，Fisher判别分析基本思想是选择使得Fisher准则函数达到最大值的向量作为最优投影方向,以便使得高维输入空间中的模式样本在该向量投影后,同一类的模式样本相互集中,不同类的样本相互分离,类间散布程度和类内散布程度之比达到最大，最大化分类器的分类性能。
请参考图1，图1是本发明实施例提供的张量模式下基于极限学习机的模式识别方法的流程示意图。
本发明提出的模式识别方法能够直接在张量领域处理数据，用于高效准确识别当前数据所属模式，包括以下步骤：
S1：将数据集以张量模式输入并为所述数据集内的数据设置标签。
也就是将数据集以张量模式表示或者储存，以二阶张量数据集为例，对所述数据集以各原始数据点或者各原始数据点所对应的标签为元素串成列向量表示所述二阶张量数据集中的输入数据集。
S2：计算所述数据集内的数据各阶对应的Fisher最优投影。
最优投影的计算原则是使得Fisher准则函数达到最大值的向量作为最优投影方向，高维数据向最优投影方向投影后使得同类相聚，异类远离。具体运算可以包括：
a.矩阵化运算；
b.计算样本总均值；
c.计算各个类内均值；
d.计算类内散布矩阵及类间散布矩阵；
e.计算Fisher最优投影向量，即矩阵Sb最大特征值对应的特征向量，其中，Sw是类内散布矩阵，Sb是类间散布矩阵。
S3：设置隐层节点数量及激励函数的类型。
极限学习机的性能对隐层节点数量并不是非常敏感，只要隐层节点数量足够多，就能够保证算法的性能。
S4：根据Fisher最优投影随机产生各个所述节点的输入权值。
在S2和S3输出结果的基础上，随机产生的输入权值服从以Fisher最优投影为均值，方差为1的正态分布，从而使得产生的输入权值方向与Fisher最优投影方向一致或相似。
本发明提供的模式识别方法基于Fisher最优投影估计参数，事先根据收集的训练样本数据计算数据各阶对应的Fisher最优投影，隐层节点的输入权值由以对应的最优投影为均值，方差为1的正态分布总体中随机产生。以随机产生3维输入权值为例，假如对应的最优投影为U＝[u1,u2,u3]，则随机产生3维输入权值为X＝[x1,x2,x3],其中xi～N(ui,1)。
S5：随机产生各个所述节点的偏移标量。
S6：计算隐层输出矩阵。
在S4和S5输出结果的基础上，假设输入是二阶张量X,隐层某个节点对应输入权值为U和V,偏移标量为b，激励函数为G(·)，则该节点运算为G(UXVT+b)。每个数据点依次经过各个节点运算，所有数据点都经过隐层节点的处理后，即可输出隐层输出矩阵。
S7：对所述隐层输出矩阵求逆。
具体地，本发明提供的模式识别方法可以采用基于SVD对所述隐层输出矩阵计算Moore-Penrose广义逆。
具体地，首先对矩阵进行SVD(奇异值分解，全名为Singularvaluedecomposition)分解，H＝U*S*VT(U,VT都是正交矩阵)；然后求U,VT的转置UT,V及对S的非零元素求倒获得S的逆矩阵T；最后输出Moore-Penrose广义逆
S8：统计所述数据集内相异的标签数量c(即假设数据集共有c个不同标签)，自动设置输出节点数量为c并将全部所述标签以c维向量表示。
所述标签是在S1中所设置的。
S9：计算输出权值。
结合S8和S9的输出，输出权值其中β＝[β1,β2,...,βL]，βi对应第i个节点到输出层的输出权值。
S10：构建张量分类器。
S11：对所述数据集进行模式识别，设所述张量分类器的输出层有c个节点，如果第i个节点的输出值最大，则所述张量分类器的识别结果为第i类，其中i≤c。
进一步地，还可以识别未知标签数据，即所述数据集以外的数据。
请参阅图2，图2是本发明提供的多分类二阶张量极限学习机学习网络示意图。在传统的向量模式下极限学习机的学习网络中，根据输入数据的阶数，每个隐层节点参数是[1个输入权值&1个偏移标量]，而张量模式下的极限学习机的学习网络中，每个隐层节点参数是[(阶数)个输入权值&1个偏移标量]，由于直接在张量领域接受数据输入可以大幅降低计算复杂度和存储成本，且还结合了Fisher最优投影，使得模式识别方法能够有效分析利用原始数据的结构信息及内在依赖信息，实现分类性能的最优化，有效提高模式识别的精度，因此本发明提供的模式识别方法具有较强的易用性和实用性。
根据本发明的实施例，本发明的目的还可以由计算机可读介质来实现，所述介质存储上述的程序。计算机可读介质可以是能够包含、存储、传达、传播或传送程序，以由执行系统、设备或装置使用的或与指令执行系统、设备或装置相结合的任何装置。该计算机可读介质例如可以是，但不限于，电子、磁、光、电磁、红外或半导体系统、设备、装置或传播介质。该计算机可读介质的更具体的示例(非穷尽列举)可以包括：具有一根或更多根导线的电连接、便携式计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤，以及便携式光盘只读存储器(CDROM)。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种张量模式下基于极限学习机的模式识别方法，其特征在于包括以下步骤：
将数据集以张量模式输入并为所述数据集内的数据设置标签；
计算所述数据集内的数据各阶对应的Fisher最优投影；
设置隐层节点数量及激励函数的类型；
根据Fisher最优投影随机产生各个所述节点的输入权值；
随机产生各个所述节点的偏移标量；
计算隐层输出矩阵；
对所述隐层输出矩阵求逆；
统计所述数据集内相异的标签数量c，自动设置输出节点数量为c，并将全部所述标签以c维向量表示；
计算输出权值；
构建张量分类器；以及
对所述数据集进行模式识别，设所述张量分类器的输出层有c个节点，如果第i个节点的输出值最大，则所述张量分类器的识别结果为第i类，其中i≤c。
2.如权利要求1所述的模式识别方法，其特征在于：若所述数据集为二阶张量数据集，在将数据集以张量模式输入并为所述数据集内的数据设置标签中的步骤中，对所述数据集以各原始数据点或者以各原始数据点所对应的标签为元素串成列向量表示所述二阶张量数据集中的输入数据集。
3.如权利要求1所述的模式识别方法，其特征在于：在计算所述数据集内的数据各阶对应的Fisher最优投影的步骤中，包括以下步骤：
a)矩阵化运算；
b)计算样本总均值；
c)计算各个类内均值；
d)计算类内散布矩阵及类间散布矩阵；
e)计算Fisher最优投影向量，即矩阵最大特征值对应的特征向量，其中，Sw是类内散布矩阵，Sb是类间散布矩阵。
4.如权利要求1所述的模式识别方法，其特征在于：在根据Fisher最优投影随机产生各个所述节点的输入权值的步骤中，基于Fisher最优投影随机产生的输入权值方向与最优投影的方向一致或相似。
5.如权利要求1所述的模式识别方法，其特征在于：在对所述隐层输出矩阵求逆的步骤中，基于SVD对所述隐层输出矩阵计算Moore-Penrose广义逆。
CN201510531563.8A 2015-08-26 2015-08-26 一种张量模式下基于极限学习机的模式识别方法 Pending CN105069485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510531563.8A CN105069485A (zh) 2015-08-26 2015-08-26 一种张量模式下基于极限学习机的模式识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510531563.8A CN105069485A (zh) 2015-08-26 2015-08-26 一种张量模式下基于极限学习机的模式识别方法

Publications (1)

Publication Number Publication Date
CN105069485A true CN105069485A (zh) 2015-11-18

Family

ID=54498846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510531563.8A Pending CN105069485A (zh) 2015-08-26 2015-08-26 一种张量模式下基于极限学习机的模式识别方法

Country Status (1)

Country Link
CN (1) CN105069485A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092022A1 (zh) * 2015-12-04 2017-06-08 深圳先进技术研究院 一种张量模式下的有监督学习优化方法及系统
CN106897737A (zh) * 2017-01-24 2017-06-27 北京理工大学 一种基于超限学习机的高光谱遥感图像地物分类方法
CN108122004A (zh) * 2017-12-19 2018-06-05 杭州电子科技大学 基于Fisher判别稀疏超限学习机的脑电分类方法
CN108182341A (zh) * 2017-12-29 2018-06-19 清华大学 一种识别时间序列的数据模式的方法及装置
CN109325536A (zh) * 2018-09-25 2019-02-12 南京审计大学 一种仿生模式识别方法及其装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092022A1 (zh) * 2015-12-04 2017-06-08 深圳先进技术研究院 一种张量模式下的有监督学习优化方法及系统
US10748080B2 (en) 2015-12-04 2020-08-18 Shenzhen Institutes Of Advanced Technology Method for processing tensor data for pattern recognition and computer device
CN106897737A (zh) * 2017-01-24 2017-06-27 北京理工大学 一种基于超限学习机的高光谱遥感图像地物分类方法
CN106897737B (zh) * 2017-01-24 2019-10-11 北京理工大学 一种基于超限学习机的高光谱遥感图像地物分类方法
CN108122004A (zh) * 2017-12-19 2018-06-05 杭州电子科技大学 基于Fisher判别稀疏超限学习机的脑电分类方法
CN108182341A (zh) * 2017-12-29 2018-06-19 清华大学 一种识别时间序列的数据模式的方法及装置
CN108182341B (zh) * 2017-12-29 2019-05-14 清华大学 一种识别时间序列的数据模式的方法及装置
CN109325536A (zh) * 2018-09-25 2019-02-12 南京审计大学 一种仿生模式识别方法及其装置
CN109325536B (zh) * 2018-09-25 2019-09-17 南京审计大学 一种仿生模式识别方法及其装置

Similar Documents

Publication Publication Date Title
Hammer et al. Learning vector quantization for (dis-) similarities
CN105069485A (zh) 一种张量模式下基于极限学习机的模式识别方法
CN109284406B (zh) 基于差异循环神经网络的意图识别方法
Zhao et al. Hierarchical Feature Selection with Recursive Regularization.
WO2023155508A1 (zh) 一种基于图卷积神经网络和知识库的论文相关性分析方法
Yang et al. Transductive transfer learning based on broad learning system
Yang et al. Joint learning of unsupervised dimensionality reduction and gaussian mixture model
CN115168579A (zh) 一种基于多头注意力机制和二维卷积操作的文本分类方法
CN114374655A (zh) 网络流量特征提取方法、装置、设备及存储介质
Han et al. An efficient genetic algorithm for optimization problems with time-consuming fitness evaluation
Liu et al. A weight-incorporated similarity-based clustering ensemble method
Ayadi et al. MIGSOM: multilevel interior growing self-organizing maps for high dimensional data clustering
Balafar et al. Active learning for constrained document clustering with uncertainty region
CN117173702A (zh) 基于深度特征图融合的多视图多标记学习方法
CN115331754A (zh) 基于哈希算法的分子分类方法
Ali et al. Kernal width selection for svm classification: A meta-learning approach
Liu et al. Multimodal learning based approaches for link prediction in social networks
Li et al. Towards positive unlabeled learning for parallel data mining: a random forest framework
Lu et al. A study on mobile customer churn based on learning from soft label proportions
Shi et al. Density peak clustering using tensor network
Jun Technology marketing using PCA, SOM, and STP strategy modeling
Chen et al. FINC: An efficient and effective optimization method for normalized cut
Thilagaraj et al. Implementation of an Improved K-Means Clustering Algorithm for Balanced Clusters
Liang et al. Multi-label classification based on particle swarm algorithm
Wang et al. Dimensionality reduction by t-Distribution adaptive manifold embedding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151118