CN109558873A - 一种基于变样本栈式自编码网络的模式识别方法 - Google Patents

一种基于变样本栈式自编码网络的模式识别方法 Download PDF

Info

Publication number
CN109558873A
CN109558873A CN201811467778.8A CN201811467778A CN109558873A CN 109558873 A CN109558873 A CN 109558873A CN 201811467778 A CN201811467778 A CN 201811467778A CN 109558873 A CN109558873 A CN 109558873A
Authority
CN
China
Prior art keywords
sample
dimensional space
autoencoder network
stack
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811467778.8A
Other languages
English (en)
Other versions
CN109558873B (zh
Inventor
林琳
王芳
郭丰
钟诗胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201811467778.8A priority Critical patent/CN109558873B/zh
Publication of CN109558873A publication Critical patent/CN109558873A/zh
Application granted granted Critical
Publication of CN109558873B publication Critical patent/CN109558873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于变样本栈式自编码网络的模式识别方法，属于大数据模式识别领域。现有的模式识别方法在数据维度逐渐增高时，会出现模式识别精度和效率下降问题的问题。一种基于变样本栈式自编码网络的模式识别方法，一、通过变样本栈式自编码网络滤除高维空间样本中噪声，映射成低维空间去噪样本集合；二、利用步骤一获得的低维空间去噪样本集合对样本训练分类器进行训练，得到低维空间去噪样本集合中的典型样本集合；三、基于步骤二获得的典型样本集合，采用逆映射到高维空间获得高维空间典型样本集合，并利用待测试样本与高维空间典型样本集合的相似度识别方法进行模式识别，完成待测试样本的类别判定。本发明与其它算法进行对比，提高了分类准确率。

Description

一种基于变样本栈式自编码网络的模式识别方法
技术领域
本发明涉及一种模式识别方法，特别涉及一种采用变样栈式自编码网络的大规模高维度模式识别方法。
背景技术
目前，各领域数据都表现出大规模、非线性、高维度的特性。例如，民航发动机的巡航信息包括排气温度偏差值、核心机转速偏差值、燃油流量偏差值等至少27个维度的数据，人脸识别中的一张图片可以看作几百维、甚至上千维的数据向量，医学上用于心脏诊断的数据包括主动脉瓣峰值压差、二尖瓣A峰流速、肺动脉瓣峰值流速等十几个维度的数据。这些高维数据在时间维度上的动态信息，就形成了大规模数据记录，例如民航发动机一个小时内的巡航记录通常以每秒钟以37.5kHz的频率采集，长时间连续记录的动态心电图更是数量庞大的数据记录。高维度、大数据量样本的噪声、非线性、高通量问题使得利用这些数据进行模式识别、故障诊断、状态预测时有较大的精度和效率问题。
发明内容
本发明的目的是为了解决现有的模式识别方法在数据维度逐渐增高时，会出现模式识别精度和效率下降问题的问题，而提出一种基于变样本栈式自编码网络的模式识别方法。
一种基于变样本栈式自编码网络的模式识别方法，所述的方法通过以下步骤实现：
步骤一、通过变样本栈式自编码网络滤除高维空间样本中噪声，映射成低维空间去噪样本集合；
步骤二、利用步骤一获得的低维空间去噪样本集合对样本训练分类器进行训练，得到低维空间去噪样本集合中的典型样本集合；
步骤三、基于步骤二获得的典型样本集合，采用逆映射到高维空间获得高维空间典型样本集合，并利用待测试样本与高维空间典型样本集合的相似度识别方法进行模式识别，完成类别判定。
本发明的有益效果为：
工程领域数据都表现出大规模、非线性、高维度的特性，使得使用现有机器学习方法会产生较大的识别精度误差和识别效率问题。而且在样本空间不完备的情况下，是无法基于现有样本获得最优样本。为了提高栈式自编码网络的特征学习能力，本发明提出了基于变样本栈式自编码网络和遗传算法相结合的模式识别方法。利用自编码网络具有非线性自相关学习、随机噪声在层间学习后会离群的特点，引入基于无迹变换的层间自筛选路径，保留典型样本作为下一层自编码网络的输入，建立变样本栈式自编码网络。采用遗传算法对映射后的低维样本进行进化学习，获得进化后的低维空间样本，以此缩短了识别所需时间。基于低维空间样本及其逆映射还原到高维空间的样本，获得了最优样本。本方法对比多种模式识别方案，利用MNIST手写数字数据库和航空发动机性能参数数据，对方法进行实验验证，并与其它算法进行对比，证明本发明的识别结果获得的分类准确率高于其他识别方法的2倍。
附图说明
图1为本发明涉及的变样本栈式自编码网络示意图；
图2为本发明涉及的获得低维典型样本的单次迭代过程图；
图3为本发明涉及的非线性可分低维样本映射到线性可分高维样本；
图4为本发明涉及的线性可分低维样本映射到线性可分高维样本；
图5为本发明涉及的低维向量到高维向量的还原过程；
图6为本发明涉及的低维空间统计模式识别方案示意图；
图7为本发明涉及的高维空间SVM模式识别方案；
图8为本发明涉及的部分MNIST数据；
图9为本发明涉及的MDL示意图；
图10为本发明涉及的典型样本的可视化表达示例；
图11为本发明涉及的样本构造过程；
图12为本发明的流程图。
具体实施方式
具体实施方式一：
本实施方式的一种基于变样本栈式自编码网络的模式识别方法，所述方法包括以下步骤：
步骤一、通过变样本栈式自编码网络滤除高维空间样本中噪声，映射成低维空间去噪样本集合；
步骤二、利用步骤一获得的低维空间去噪样本集合对样本训练分类器进行训练，通过进化学习过程得到低维空间去噪样本集合中的典型样本集合；
步骤三、基于步骤二获得的典型样本集合，采用逆映射到高维空间获得高维空间典型样本集合，并利用待测试样本与高维空间典型样本集合的相似度识别方法进行模式识别，完成待测试样本的类别判定。
具体实施方式二：
与具体实施方式一不同的是，本实施方式的一种基于变样本栈式自编码网络的模式识别方法，所述的步骤一中，通过变样本栈式自编码网络滤除高维空间样本中噪声，映射成低维空间去噪样本集合的过程，具体为：
首先，建立栈式自编码网络，通过栈式自编码网络在聚类方法下逐层筛掉高维空间样本边缘的样本，在栈式底部获得高聚合度的低维空间样本集合，提高低维样本的典型性。
具体实施方式三：
与具体实施方式二不同的是，本实施方式的一种基于变样本栈式自编码网络的模式识别方法，所述的建立栈式自编码网络，之后通过栈式自编码网络在聚类方法下逐层筛掉高维空间样本边缘的样本，在栈式底部获得高聚合度的低维空间样本集合的过程，变样本栈式自编码网络的低维空间映射。高维空间通过栈式自编码网络映射到低维空间，如图3所示。由于高维空间样本中随机噪声的独立不相关性在映射过程中会产生离群样本，为提高样本集合的代表性，采用基于无迹变换的无监督聚类在层间筛掉离群样本。因此在自编码网络学习过程中，层间样本集合是变化的，在栈式底部获得高聚合度的低维空间样本集合。
栈式自编码网络具有高效特征学习能力，基于深度学习获得高维样本的非线性低维映射，如图4所示。由于样本中存在噪声，传统自编码网络学习过程将噪声也同时映射到了低维空间。在降维映射过程中，含噪声样本点离群，其离群特点使含噪声样本与无噪声样本具有区分度，支持去噪过程。为提高低维样本的典型性，去掉样本中噪声，在栈式自编码网络训练过程中，采用聚类技术逐层筛掉空间边缘的样本。具体为：
步骤一一、建立栈式自编码网络：
(1)、建立n层栈式自编码网络模型：M＝[H1,H2,…,Hn]，，构造出n-1层自编码网络；
其中，
所述的n层栈式自编码网络模型中，输入层H1对应高维训练样本，输出层Hn对应低维去噪样本集合；H2至Hn-1为栈式自编码网络模型M的中间层，表示输入样本H1的抽象映射空间；
所述的n-1层自编码网络的第i层自编码网络为其模型参数矩阵为Wi、Bi、如图1所示，Hi表示自编码网络的输入向量；表示重构的自编码网络的输出向量；Hi+1表示自编码网络的隐含层向量；
(2)、训练自编码网络，使由自编码网络的输出向量与自编码网络的输入向量Hi之间的误差所成的重构误差达到最小，如式1所示：
其中，表示激活函数；s.t.表示使得
满足min
步骤一二、层间无监督聚类分离离群样本：
首先，对于步骤一一建立的n层栈式自编码网络模型M，将第i层自编码网络的输入样本Hi设置为Ii，数量是Ni；
在自编码逐层训练过程中，特征空间类间距增大、类内距减小。类内距减小时，大部分特征样本趋于平均值，含噪声样本边缘化。为了获得高聚类度或高辨识度样本，减少由于层间非线性映射造成含噪声样本中的噪声叠加与干扰，层间增加聚类去除噪声样本。之后，设定聚类阈值α，获得聚类度或分类辨识度大于α的样本作为第i+1层自编码网络的输入，即：
Ii+1＝{Hi+1|F(Hi+1)≥α} (2)
其中，Hi+1是第i+1层自编码网络的隐含层向量，Ii+1是第i+1层自编码网络的输入向量，F(·)是聚类函数或分类器；
之后，设计基于无迹变换的聚类器F(·)，进行第i层自编码器AEi与第i+1层自编码器AEi+1的层间去噪；根据设置的聚类阈值α，以F(·)<α为条件选择敏感特征进入网络下一层自编码器AEi+1。
具体实施方式四：
与具体实施方式三不同的是，本实施方式的一种基于变样本栈式自编码网络的模式识别方法，所述的步骤一二中，设计基于无迹变换的聚类器F(·)，进行第i层自编码器AEi与第i+1层自编码器AEi+1的层间去噪，根据设置的聚类阈值α，以F(·)<α为条件选择敏感特征进入网络下一层自编码器AEi+1，具体为：
(1)、通过式(3)计算自编码器AEi输入样本的均值，通过式(4)计算自编码器AEi输入样本的方差：
(2)、工程领域中的高维数据通常呈现高斯分布特点。采用式(5)生成能捕获高斯随机变量均值和协方差的2n+1个sigma采样点：
其中，κ是一个比例参数，是矩阵(n+κ)P第j行的平方根，ωj是权重，且
(3)、计算sigma点非线性变换后隐含层样本：
其中，M(·)为栈式自编码网络模型(非线性变换)；
计算均值估计EUT和方差估计SUT：
(4)、以EUT为聚类中心，计算变换样本点到聚类中心EUT的广义距离Di，定义聚类器F(·)：
根据设置的聚类阈值α，以F(·)<α为条件选择敏感特征进入网络下一层自编码器AEi+1；但是，变换后样本的方差影响聚类阈值α值的选取，因为当变换样本方差大，说明样本点分散，选择较大的α值才能保留一定比例的特征样本；当变换样本方差小时，说明特征样本较集中，此时含噪声样本边缘化，选择较小的α值就能保留去噪特征样本进入下一层自编码器。其中，设计聚类阈值α为：
α＝k·V (10)
其中，V为无迹变换样本方差，k为比例系数。
具体实施方式五：
与具体实施方式四不同的是，本实施方式的一种基于变样本栈式自编码网络的模式识别方法，所述的步骤二中，利用步骤一获得的低维空间去噪样本集合对样本训练分类器进行训练，通过进化学习过程得到低维空间去噪样本集合中的典型样本集合的过程，具体为：
经过深度学习迭代映射，低维空间去噪样本Hn各维度变得无明显物理意义，且各维度的数量级相当，可采用遗传算法对低维空间中的样本进行进化学习。
步骤二一、设置低维典型样本集合为遗传初始群体Hn，群体规模为Nn-1，采用浮点数编码经过g次迭代进化后，获得低维空间中典型特征集合如图2所示。
步骤二二、在进化学习中最重要的是建立合适的适应度指标，由于本发明主要是为了抽取典型样本集合支持样本分类，样本的区分度是最为关注的，因此采用分类器作为适应度函数。但是如果采用计算代价较高的高精度的分类器，对于样本量较大的问题，其工程适应性太差。
已证明如下定理：对任意给定规模有限样本集，必存在一个函数，将样本集映射为高维空间中线性可分的子集。如图3所示，基于非线性变换φ(x)将非线性可分低维样本映射为线性可分高维样本。
鉴于此理论，对线性可分低维样本集，必存在一个函数将其映射到高维空间中的样本集，在高维空间中也线性可分。例如，二维线性可分样本集(x,y)的分界线是y＝ax+b，则三维映射(X＝x,Y＝y,Z＝0)一定使三维样本是线性可分的，其分界面是Y＝aX+b，即二维分界线y＝ax+b沿Z轴拉伸形成二维平面Y＝aX+b,如图4所示。
因此，设计低维空间中的线性分类器S(x)，基于进化中的遗传初始群体和已知类别j构造分类器输入样本将输出遗传初始群体属于类别j的概率作为遗传算法的适应度值，即适应度函数f为：
其中，P表示概率；
步骤二三、如图5所示，利用步骤一获得的低维空间去噪样本集合Hn训练样本训练分类器S(x)；在进化过程中，计算进化个体在每次迭代中的分类正确概率并作为适应度值，即计算复杂度为C·g·m·O(S(x))，利用低维样本集合Hn训练线性分类器S(x)，选择线性分类器S(x)：
其中，C为所有样本的分类数，g为迭代次数，m为遗传规模，O(S(x))为分类器S(x)的复杂度；wi表示分类器S(x)的权重；w0表示分类器S(x)的偏置；xi表示第i个低维空间去噪样本。
具体实施方式六：
与具体实施方式五不同的是，本实施方式的一种基于变样本栈式自编码网络的模式识别方法，所述的步骤三中，基于步骤二获得的典型样本集合，采用逆映射到高维空间获得高维空间典型样本集合，并利用待测试样本与高维空间典型样本集合的相似度识别方法进行模式识别，完成待测试样本的类别判定的过程，具体为：
为了获得具有物理意义的典型高维样本支持模式识别，增强特征向量的可解释性，设计高维度空间相似度模式识别方案，简称为HDSI：
分别从低维空间中典型特征集合选出C类样本集合，从每类样本中选择适应度最大的样本作为支持模式分类的典型样本，并通过栈式编码器逆映射到高维空间，得到C个类别的典型样本
之后，计算与测试样本T的相似度Sj，相似度最高的所属类别j即为对测试样本的判定类别。
具体实施方式七：
与具体实施方式六不同的是，本实施方式的一种基于变样本栈式自编码网络的模式识别方法，所述的分别从低维空间中典型特征集合选出C类样本集合，从每类样本中选择适应度最大的样本作为支持模式分类的典型样本，并通过栈式编码器逆映射到高维空间，得到C个类别的典型样本之后，计算与测试样本T的相似度Sj，相似度最高的所属类别j即为对测试样本的判定类别的过程具体为：
(1)、通过自编码网络译码过程进行典型样本从低维空间逆向映射到高维空间的过程：
按照倒序逐层译码，将栈式自编码Mj的第n层向量的典型样本还原到高维向量，如式(13)所示：
即将还原到维度的过程为：①计算②将①的结果赋值给③计算如图5所示。
(2)、相似度Sj的设置采用欧氏距离、余弦夹角、曼哈顿距离或切比雪夫距离方法中的一种。
具体实施方式八：
与具体实施方式七不同的是，本实施方式的一种基于变样本栈式自编码网络的模式识别方法，所述的相似度Sj的设置采用余弦夹角表示C个类别的典型样本与测试样本T的相似度Sj，如式14所示：
对于步骤三的基于步骤二获得的典型样本集合，采用逆映射到高维空间获得高维空间典型样本集合，并利用待测试样本与高维空间典型样本集合的相似度识别方法进行模式识别，完成待测试样本的类别判定的过程，其他模式识别方案对照说明：
(1)低维空间相似度模式识别方案(LDSI)
由于高维空间是样本的原始表达空间，其在HDSI中存在计算复杂度大的问题。为了比较同一样本在不同空间中的分类效果和效率，设计基于低维空间典型样本进行模式识别的方案。将测试样本T分别输入栈式自编码网络Mj(j∈[1,C])得到C个测试特征计算测试特征向量与对应类别典型特征的相似度Sj，最大Sj所属类别j即为识别结果。
(2)低维空间统计模式识别方案(LDST)
在LDSI中，虽然基于低维典型特征相似度的识别方法能够减小计算复杂度，但是直接选择与测试样本最相似的典型特征所属类别作为分类结果的方法使模式识别结果理论上具有偶然性，分类精度具有分散性。所以基于统计方法选择典型特征所属分类频数最多的类别作为分类结果，根据该方法设计对比方案如下：
将测试样本T分别输入栈式自编码网络Mj(j∈[1,C])得到C类测试特征，计算第j类测试特征与典型特征集合中元素的相似度Sj，构成相似度集合{Sj}(j∈[1,C])，统计{Sj}中相似度最小的u个分类，最多类别即为识别结果，如图6所示。
(3)高维空间SVM模式识别方案(HDSVM)
通过栈式自编码网络M将低维空间典型样本集合逆向映射到高维空间，利用典型样本集合训练支持向量机，对测试样本分类。此时变样本栈式自编码器和低维空间样本的学习过程起到样本去噪和样本优化的作用。如图7所示。
三个模式识别方案与的复杂度分析如表1所示。
表1模式识别方案复杂度分析
其中，O(sta)是栈式自编码网络初始化复杂度，O(GA)是遗传算法复杂度，O(res)是还原过程复杂度，O(sim)是测试特征与典型特征集合的匹配过程复杂度，O(com)是特征提取过程的复杂度，O(SVM)是SVM复杂度。
如表1所示，HDSI和LDSI的复杂度相同，因为栈式自编码网络特征提取过程与还原过程互逆，O(res)＝O(com)；LDST比HDSI、LDSI复杂度高，因为增加了相似度匹配和统计过程；HDSVM比HDSI、LDSI复杂度高，虽然只训练一个栈式自编码，但由于所有类训练样本共同训练模型，效率低且特征典型性差。LDSI需要将测试样本压缩成C类测试特征，再进行模式匹配。通过对比所有方案，HDSI较其他方案具有更大实用性，其计算复杂度低，直接利用测试样本匹配典型样本，获得识别结果。
为了验证上述方案的有效性，分别用MNIST手写数字数据库和民航发动机在线性能参数进行实验验证。
1.MNIST手写数字数据库实验
MNIST是一个手写数字数据库，它有60000个训练样本和10000个测试样本，在图片识别领域是应用广泛的公共数据，共有0到9十个类别，如图8所示。为了提高实验效率，本方法截取训练样本集的前10000个数据作为训练样本，截取测试样本集的前500个作为测试样本。每张图片大小是28×28像素，看作28×28＝784维向量，共得到10000×784的训练样本，500×784的测试样本。
设置实验参数如下：变样本栈式自编码网络设计三层网络[500，300，100](即n1＝500，n2＝300，n3＝100),筛选阈值α＝0.9；交叉、变异概率P＝[0.8，0.2]。
为了验证HDSI的优越性，在对比LDSI、LDST、HDSVM的基础上，再设置如下对比实验：
(1)成熟深度学习模式识别(MDL)
利用训练样本Xj,j＝1,...,C训练一个栈式自编码网络M，获得网络权重和偏置矩阵W，基于W初始化同结构的神经网络分类器N，并训练该分类器，计算测试样本分类误差确定识别结果，如图9所示。
(2)支持向量机(SVM)
利用训练样本Xj,j＝1,...,C训练支持向量机G，计算测试样本分类误差确定识别结果。将所有实验重复做20次，所有实验结果如表2所示。
表2基于MNIST数据集各方案模式识别正确率(％)
HDSI对部分MNIST手写数字数据库的模式分类效果要远远好于其他方法，从以下几个方面分析：
(1)低维和高维空间中的模式分类对比分析
通过对比HDSI、LDSI、LDST，发现基于低维空间中的典型样本的分类准确率要低于基于高维典型样本的分类准确率(HDSI分类准确率均值(下同)：40.17％；LDSI：11.8％；LDST：12.02％)，结果显示HDSL的分类正确率比其他方案分类正确率均值高出2倍多。HDSI分类正确率高可能是由于低维空间典型样本集合逆映射到高维空间获得的典型样本很好的支持了模式分类。
(2)采用分类后样本和未分类样本模式分类对比分析
在HDSI中每类样本分别训练一个栈式自编码网络，但在HDSVM中，所有类别样本一起训练一个栈式自编码网络。通过对比发现采用分类后样本训练栈式自编码网络的分类正确率要高于采用未分类样本的识别结果(HDSI：40.17％；HDSVM：11.4％)，这与理论分析一致，因为所有类别样本集合包含较多噪声。
(3)变样本栈式自编码网络与传统方法的对比分析
通过对比HDSI、MDL、SVM，发现HDSI的分类效果好于基于传统栈式自编码网络的模式识别方法(MDL)和传统支持向量机分类器(SVM)(HDSI：40.17％；MDL：14.83％；SVM：11.4％)。该结果验证了基于变样本栈式自编码网络获得的低维去噪样本、遗传算法进化低维去噪样本获得的低维典型样本及其逆映射到高维空间获得的高维典型样本支持模式识别的有效性。
(4)分散性对比分析
对于方法的分散性，HDSVM、SVM的分类正确率最集中，其方差都为0，HDSI、LDSI、LDST、MDL的分类正确率较分散，其方差分别为68.71、9.79、7.30、55.10。分类结果的分散性是由自编码网络训练时的随机初始化、遗传算法的随机搜索等因素造成的。由于HDSI是将低维典型样本还原回高维典型样本支持分类，在还原的过程中也会存在误差的随机性，所以分类结果的分散性较大。
为了更加直观地查看分类结果，将高维典型样本可视化，如下图10所示。
如图10所示，可以直观辨认出图中数字，说明基于变样本栈式自编码网络模型能够有效挖掘出该类样本数据的特征。
在实验中各方案的分类正确率都较低(<50％)，这是由于本方法选用了部分MNIST手写数字数据库作为训练样本，样本数量占总数据库数据数量的1/6。即便是成熟的深度学习模式识别方法和支持向量机利用该实验数据得到的分类正确率也很低(<15％)，说明基于栈式自编码网络的模式识别方法在信息量较少的训练样本中也能获得较完备的典型样本支持模式识别，获得较好的分类准确率。
2.工程数据实验
航空发动机采用模块化设计，典型双转子涡扇航空发动机主要由6个气路单元体组成，沿发动机进口到出口方向依次为：风扇(Fan)、低压压气机(low pressurecompressor，LPC)、高压压气机(high pressure compressor，HPC)、燃烧室(combustor)、高压涡轮(high pressure turbine，HPT)、以及低压涡轮(low pressure turbine，LPT)。它的监控数据包括多个传感器测量值，如排气温度(exhaust gas temperature，EGT)、燃油流量(Fuel flow，FF)、低压转子转速N1、高压转子转速N2等性能参数测量值。这些参数由机载设备采集后，在起飞阶段与巡航阶段，以ACARS(Aircraft CommunicationAddressing andReporting System)报文的形式发送到地面系统。航空发动机运行过程中，会出现不同工况(飞行高度、马赫数)。发动机的性能参数测量值同时受到发动机性能衰退与发动机工况的影响，而性能衰退的影响往往会被工况的影响掩盖。为消除工况影响，发动机制造商基于发动机的物理模型，得出可表征发动机性能衰退状态的参数，主要包括气路参数偏差值，如排气温度偏差值DEGT、核心机转速偏差值(GPCN)、燃油流量偏差值(GWFM)等。这些参数随时间的变化趋势可表征并预测发动机的健康状态。
本实验采用民航发动机巡航阶段排气温度偏差值(DEGT)、核心机转速偏差值(GPCN)、燃油流量偏差值(GWFM)和飞行高度(ZALT)四个在线性能参数进行实验验证。分类类别为2类：正常、故障。综合这四个参数构造一个样本，由于航空发动机的状态趋势是判断其是否故障的重要因素，所以将连续50个时间点的参数串接起来构造出200维度的训练样本。样本构造方式如图11所示。共60个训练样本和16个测试样本，部分样本数据如表3所示。
表3部分样本数据表
实验参数的设置：变样本栈式自编码网络为为3层，每层网络的神经元数是[200，150,50],筛选阈值α＝1；交叉、变异概率P＝[0.8，0.2]。
基于上述数据将所有实验重复做20次，实验结果如表4所示。
表4基于航空发动机数据集各方案模式识别正确率(％)
HDSI对民航发动机性能参数的模式分类效果要远远好于其他方法，与MNIST数据实验结果表现出较大相似性，从以下几个方面分析：
(1)低维和高维空间中的模式分类对比分析
通过对比HDSI、LDSI、LDST，发现基于低维空间中的典型样本的分类准确率要低于基于高维典型样本的分类准确率(HDSI：53.43％；LDSI：50.93％；LDST：49.37％)，结果显示HDSL的分类正确率比其他方案分类正确率高。HDSI分类正确率高可能是由于低维空间典型样本集合逆映射到高维空间获得的典型样本很好的支持了模式分类。
(2)采用分类后样本和未分类样本模式分类对比分析
在HDSI中每类样本分别训练一个栈式自编码网络，但在HDSVM中，所有类别样本一起训练一个栈式自编码网络。通过对比发现采用分类后样本训练栈式自编码网络的分类正确率要高于采用未分类样本的识别结果(HDSI：53.43％；HDSVM：50％)，这与理论分析一致，因为所有类别样本集合包含较多噪声。
(3)变样本栈式自编码网络与传统方法的对比分析
通过对比HDSI、MDL、SVM，发现HDSI的分类效果好于基于传统栈式自编码网络的模式识别方法(MDL)和传统支持向量机分类器(SVM)(HDSI：53.43％；MDL：50％；SVM：43.75％)。该结果验证了基于变样本栈式自编码网络获得的低维去噪样本、遗传算法进化低维去噪样本获得的低维典型样本及其逆映射到高维空间获得的高维典型样本支持模式识别的有效性。
实验中训练样本数量为60个，维度为200维，样本数目少于样本维度的30％，说明训练模型不充分。即使在这种小样本的条件下，HDSI分类效果依旧表现出一定优越性
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于变样本栈式自编码网络的模式识别方法，其特征在于：所述方法包括以下步骤：
步骤一、通过变样本栈式自编码网络滤除高维空间样本中噪声，映射成低维空间去噪样本集合；
步骤二、利用步骤一获得的低维空间去噪样本集合对样本训练分类器进行训练，得到低维空间去噪样本集合中的典型样本集合；
步骤三、基于步骤二获得的典型样本集合，采用逆映射到高维空间获得高维空间典型样本集合，并利用待测试样本与高维空间典型样本集合的相似度识别方法进行模式识别，完成待测试样本的类别判定。
2.根据权利要求1所述的一种基于变样本栈式自编码网络的模式识别方法，其特征在于：所述的步骤一中，通过变样本栈式自编码网络滤除高维空间样本中噪声，映射成低维空间去噪样本集合的过程，具体为：
首先，建立栈式自编码网络，通过栈式自编码网络在聚类方法下逐层筛掉高维空间样本边缘的样本，在栈式底部获得低维空间样本集合。
3.根据权利要求1或2所述的一种基于变样本栈式自编码网络的模式识别方法，其特征在于：所述的建立栈式自编码网络，之后通过栈式自编码网络在聚类方法下逐层筛掉高维空间样本边缘的样本，在栈式底部获得低维空间样本集合的过程，具体为：
步骤一一、建立栈式自编码网络：
(1)、建立n层栈式自编码网络模型：M＝[H1,H2,…,Hn]，构造出n-1层自编码网络；
其中，
所述的n层栈式自编码网络模型中，输入层H1对应高维训练样本，输出层Hn对应低维去噪样本集合；H2至Hn-1为栈式自编码网络模型M的中间层，表示输入样本H1的抽象映射空间；
所述的n-1层自编码网络的第i层自编码网络为其模型参数为Wi、Bi、Hi表示自编码网络的输入向量；表示重构的自编码网络的输出向量；Hi+1表示自编码网络的隐含层向量；
(2)、训练自编码网络，使由自编码网络的输出向量与自编码网络的输入向量Hi之间的误差所成的重构误差达到最小，如式1所示：
其中，表示激活函数；
步骤一二、层间无监督聚类分离离群样本：
(1)、对于步骤一一建立的n层栈式自编码网络模型M，将第i层自编码网络的输入样本Hi设置为Ii，数量是Ni；
(2)、设定聚类阈值α，获得聚类度或分类辨识度大于α的样本作为第i+1层自编码网络的输入，即：
Ii+1＝{Hi+1|F(Hi+1)≥α} (2)
其中，Hi+1是第i+1层自编码网络的隐含层向量，Ii+1是第i+1层自编码网络的输入向量，F(·)是聚类函数或分类器；
(3)、设计基于无迹变换的聚类器F(·)，进行第i层自编码器AEi与第i+1层自编码器AEi+1的层间去噪；根据设置的聚类阈值α，以F(·)<α为条件选择敏感特征进入网络下一层自编码器AEi+1。
4.根据权利要求3所述的一种基于变样本栈式自编码网络的模式识别方法，其特征在于：所述的步骤一二中，设计基于无迹变换的聚类器F(·)，进行第i层自编码器AEi与第i+1层自编码器AEi+1的层间去噪，根据设置的聚类阈值α，以F(·)<α为条件选择敏感特征进入网络下一层自编码器AEi+1，具体为：
(1)、通过式(3)计算自编码器AEi输入样本的均值，通过式(4)计算自编码器AEi输入样本的方差：
(2)、采用式(5)生成能捕获高斯随机变量均值和协方差的2n+1个sigma采样点：
其中，κ是比例参数，是矩阵(n+κ)P第j行的平方根，ωj是权重，且
(3)、计算sigma点非线性变换后隐含层样本：
其中，M(·)为栈式自编码网络模型；
计算均值估计EUT和方差估计SUT：
(4)、以EUT为聚类中心，计算变换样本点到聚类中心EUT的广义距离Di，定义聚类器F(·)：
根据设置的聚类阈值α，以F(·)<α为条件选择敏感特征进入网络下一层自编码器AEi+1；其中，设计聚类阈值α为：
α＝k·V (10)
其中，V为无迹变换样本方差，k为比例系数。
5.根据权利要求4所述的一种基于变样本栈式自编码网络的模式识别方法，其特征在于：
所述的步骤二利用步骤一获得的低维空间去噪样本集合对样本训练分类器进行训练，得到低维空间去噪样本集合中的典型样本集合的过程，具体为：
步骤二一、设置低维典型样本集合为遗传初始群体Hn，群体规模为Nn-1，采用浮点数编码经过g次迭代进化后，获得低维空间中典型特征集合
步骤二二、设计低维空间中的线性分类器S(x)，基于进化中的遗传初始群体和已知类别j构造分类器输入样本将输出遗传初始群体属于类别j的概率作为遗传算法的适应度值，即适应度函数f为：
其中，P表示概率；
步骤二三、利用步骤一获得的低维空间去噪样本集合Hn训练样本训练分类器S(x)：
在进化过程中，计算进化个体在每次迭代中的分类正确概率并作为适应度值，即计算复杂度为C·g·m·O(S(x))，利用低维样本集合Hn训练线性分类器S(x)，所述的择线性分类器S(x)：
其中，C为所有样本的分类数，g为迭代次数，m为遗传规模，O(S(x))为分类器S(x)的复杂度；wi表示分类器S(x)的权重；w0表示分类器S(x)的偏置；xi表示第i个低维空间去噪样本。
6.根据权利要求5所述的一种基于变样本栈式自编码网络的模式识别方法，其特征在于：所述的步骤三中，基于步骤二获得的典型样本集合，采用逆映射到高维空间获得高维空间典型样本集合，并利用待测试样本与高维空间典型样本集合的相似度识别方法进行模式识别，完成待测试样本的类别判定的过程，具体为：
分别从低维空间中典型特征集合选出C类样本集合，从每类样本中选择适应度最大的样本作为支持模式分类的典型样本，并通过栈式编码器逆映射到高维空间，得到C个类别的典型样本
之后，计算与测试样本T的相似度Sj，相似度最高的所属类别j即为对测试样本的判定类别。
7.根据权利要求6所述的一种基于变样本栈式自编码网络的模式识别方法，其特征在于：所述的分别从低维空间中典型特征集合选出C类样本集合，从每类样本中选择适应度最大的样本作为支持模式分类的典型样本，并通过栈式编码器逆映射到高维空间，得到C个类别的典型样本之后，计算与测试样本T的相似度Sj，相似度最高的所属类别j即为对测试样本的判定类别的过程具体为：
(1)、通过自编码网络译码过程进行典型样本从低维空间逆向映射到高维空间的过程：
按照倒序逐层译码，将栈式自编码Mj的第n层向量的典型样本还原到高维向量，如式(13)所示：
即将还原到维度的过程为：①计算②将①的结果赋值给③计算
(2)、相似度Sj的设置采用欧氏距离、余弦夹角、曼哈顿距离或切比雪夫距离方法中的一种。
8.根据权利要求7所述的一种基于变样本栈式自编码网络的模式识别方法，其特征在于：所述的相似度Sj的设置采用余弦夹角表示C个类别的典型样本与测试样本T的相似度Sj，如式14所示：
CN201811467778.8A 2018-12-03 2018-12-03 一种基于变样本栈式自编码网络的模式识别方法 Active CN109558873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811467778.8A CN109558873B (zh) 2018-12-03 2018-12-03 一种基于变样本栈式自编码网络的模式识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811467778.8A CN109558873B (zh) 2018-12-03 2018-12-03 一种基于变样本栈式自编码网络的模式识别方法

Publications (2)

Publication Number Publication Date
CN109558873A true CN109558873A (zh) 2019-04-02
CN109558873B CN109558873B (zh) 2019-11-05

Family

ID=65868531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811467778.8A Active CN109558873B (zh) 2018-12-03 2018-12-03 一种基于变样本栈式自编码网络的模式识别方法

Country Status (1)

Country Link
CN (1) CN109558873B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796171A (zh) * 2019-09-27 2020-02-14 北京淇瑀信息科技有限公司 机器学习模型的未分类样本处理方法、装置及电子设备
CN110796482A (zh) * 2019-09-27 2020-02-14 北京淇瑀信息科技有限公司 用于机器学习模型的金融数据分类方法、装置及电子设备
CN111079116A (zh) * 2019-12-29 2020-04-28 钟艳平 基于模拟驾驶舱的身份识别方法、装置和计算机设备
CN111275109A (zh) * 2020-01-20 2020-06-12 国网山东省电力公司枣庄供电公司 基于自编码器的电力设备状态数据特征选优方法及系统
CN111669396A (zh) * 2020-06-15 2020-09-15 绍兴文理学院 一种软件定义物联网自学习安全防御方法及系统
CN113449787A (zh) * 2021-06-23 2021-09-28 西安交通大学 基于汉字笔画结构的字体库补全方法及系统
CN113486922A (zh) * 2021-06-01 2021-10-08 安徽大学 基于栈式自编码器的数据融合优化方法及其系统
CN113496222A (zh) * 2021-09-09 2021-10-12 南方电网数字电网研究院有限公司 基于无标签图表数据的模式识别方法、装置和计算机设备
CN114548765A (zh) * 2022-02-22 2022-05-27 支付宝(杭州)信息技术有限公司 用于风险识别的方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295199A (zh) * 2016-08-15 2017-01-04 中国地质大学（武汉） 基于自动编码器和多目标优化的自动历史拟合方法及系统
US20170076224A1 (en) * 2015-09-15 2017-03-16 International Business Machines Corporation Learning of classification model
CN106991132A (zh) * 2017-03-08 2017-07-28 南京信息工程大学 一种基于图集重构与图核降维的图分类方法
CN107330357A (zh) * 2017-05-18 2017-11-07 东北大学 基于深度神经网络的视觉slam闭环检测方法
CN107506775A (zh) * 2016-06-14 2017-12-22 北京陌上花科技有限公司 模型训练方法及装置
CN107609637A (zh) * 2017-09-27 2018-01-19 北京师范大学 一种结合数据表示与伪逆学习自编码器的提高模式识别精度的方法
US20180144130A1 (en) * 2016-11-21 2018-05-24 Cylance Inc. Icon based malware detection
CN108564121A (zh) * 2018-04-09 2018-09-21 南京邮电大学 一种基于自编码器的未知类别图像标签预测方法
CN108763576A (zh) * 2018-05-28 2018-11-06 大连理工大学 一种用于高维文本数据的并行k-means算法
CN108776806A (zh) * 2018-05-08 2018-11-09 河海大学 基于变分自编码器和密度峰值的混合属性数据聚类方法
CN108881196A (zh) * 2018-06-07 2018-11-23 中国民航大学 基于深度生成模型的半监督入侵检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076224A1 (en) * 2015-09-15 2017-03-16 International Business Machines Corporation Learning of classification model
CN107506775A (zh) * 2016-06-14 2017-12-22 北京陌上花科技有限公司 模型训练方法及装置
CN106295199A (zh) * 2016-08-15 2017-01-04 中国地质大学（武汉） 基于自动编码器和多目标优化的自动历史拟合方法及系统
US20180144130A1 (en) * 2016-11-21 2018-05-24 Cylance Inc. Icon based malware detection
CN106991132A (zh) * 2017-03-08 2017-07-28 南京信息工程大学 一种基于图集重构与图核降维的图分类方法
CN107330357A (zh) * 2017-05-18 2017-11-07 东北大学 基于深度神经网络的视觉slam闭环检测方法
CN107609637A (zh) * 2017-09-27 2018-01-19 北京师范大学 一种结合数据表示与伪逆学习自编码器的提高模式识别精度的方法
CN108564121A (zh) * 2018-04-09 2018-09-21 南京邮电大学 一种基于自编码器的未知类别图像标签预测方法
CN108776806A (zh) * 2018-05-08 2018-11-09 河海大学 基于变分自编码器和密度峰值的混合属性数据聚类方法
CN108763576A (zh) * 2018-05-28 2018-11-06 大连理工大学 一种用于高维文本数据的并行k-means算法
CN108881196A (zh) * 2018-06-07 2018-11-23 中国民航大学 基于深度生成模型的半监督入侵检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
C. TAO 等: "Unsupervised Spectral–Spatial Feature Learning With Stacked Sparse Autoencoder for Hyperspectral Imagery Classification", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
S.X. CAO 等: "Online News Recommender Based on Stacked Auto-Encoder", 《ACIS 16TH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCE》 *
Y. JU 等: "A Deep Learning Method Combined Sparse Autoencoder with SVM", 《2015 INTERNATIONAL CONFERENCE ON CYBER-ENABLED DISTRIBUTED COMPUTING AND KNOWLEDGE DISCOVERY》 *
赵飞翔 等: "基于栈式降噪稀疏自动编码器的雷达目标识别方法", 《雷达学报》 *
高妮 等: "基于自编码网络特征降维的轻量级入侵检测模型", 《电子学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796171A (zh) * 2019-09-27 2020-02-14 北京淇瑀信息科技有限公司 机器学习模型的未分类样本处理方法、装置及电子设备
CN110796482A (zh) * 2019-09-27 2020-02-14 北京淇瑀信息科技有限公司 用于机器学习模型的金融数据分类方法、装置及电子设备
CN111079116A (zh) * 2019-12-29 2020-04-28 钟艳平 基于模拟驾驶舱的身份识别方法、装置和计算机设备
CN111275109A (zh) * 2020-01-20 2020-06-12 国网山东省电力公司枣庄供电公司 基于自编码器的电力设备状态数据特征选优方法及系统
CN111669396A (zh) * 2020-06-15 2020-09-15 绍兴文理学院 一种软件定义物联网自学习安全防御方法及系统
CN111669396B (zh) * 2020-06-15 2022-11-29 绍兴文理学院 一种软件定义物联网自学习安全防御方法及系统
CN113486922A (zh) * 2021-06-01 2021-10-08 安徽大学 基于栈式自编码器的数据融合优化方法及其系统
CN113449787A (zh) * 2021-06-23 2021-09-28 西安交通大学 基于汉字笔画结构的字体库补全方法及系统
CN113449787B (zh) * 2021-06-23 2022-12-09 西安交通大学 基于汉字笔画结构的字体库补全方法及系统
CN113496222A (zh) * 2021-09-09 2021-10-12 南方电网数字电网研究院有限公司 基于无标签图表数据的模式识别方法、装置和计算机设备
CN114548765A (zh) * 2022-02-22 2022-05-27 支付宝(杭州)信息技术有限公司 用于风险识别的方法和装置

Also Published As

Publication number Publication date
CN109558873B (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN109558873B (zh) 一种基于变样本栈式自编码网络的模式识别方法
CN111476263B (zh) 一种基于sdae和改进gwo-svm的轴承缺陷识别方法
CN112131760B (zh) 基于cbam模型的航空发动机剩余寿命预测方法
CN110132598B (zh) 旋转设备滚动轴承故障噪声诊断算法
CN106248801B (zh) 一种基于多声发射事件概率的钢轨裂纹检测方法
CN105224872B (zh) 一种基于神经网络聚类的用户异常行为检测方法
CN111368885B (zh) 一种航空发动机气路故障诊断方法
CN110609524B (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
CN109635928A (zh) 一种基于深度学习模型融合的电压暂降原因识别方法
CN109147817B (zh) 一种基于变异受限玻尔兹曼机的去噪音频特征提取方法
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN115828140A (zh) 邻域互信息与随机森林相融合故障检测方法、系统及应用
CN113538353B (zh) 基于单通道图数据增强和迁移训练残差网络的五相异步电动机滚动轴承故障诊断方法
CN112926645B (zh) 一种基于边缘计算的窃电检测方法
CN115343676B (zh) 密封电子设备内部多余物定位技术的特征优化方法
CN114329826A (zh) 一种基于生成式对抗网络的平面叶栅定常流动预测方法
CN114169377A (zh) 基于g-mscnn的有噪环境中滚动轴承故障诊断方法
CN113268833A (zh) 一种基于深度联合分布对齐的迁移故障诊断方法
CN110348287A (zh) 一种基于字典和样本相似图的无监督特征选择方法和装置
CN104809478B (zh) 一种面向大规模三维重建的图像分块方法及装置
CN108985462B (zh) 基于互信息和分形维数的无监督特征选择方法
CN114357372A (zh) 一种基于多传感器数据驱动的飞机故障诊断模型生成方法
CN110046590A (zh) 一种基于粒子群优化深度学习特征选择的一维像识别方法
CN116400168A (zh) 一种基于深度特征聚类的电网故障诊断方法及系统
CN113537010B (zh) 基于单通道图数据增强和迁移训练残差网络的十五相异步电动机滚动轴承故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant