CN108764320A - 基于分数阶特征线分析的特征提取方法 - Google Patents
基于分数阶特征线分析的特征提取方法 Download PDFInfo
- Publication number
- CN108764320A CN108764320A CN201810488357.7A CN201810488357A CN108764320A CN 108764320 A CN108764320 A CN 108764320A CN 201810488357 A CN201810488357 A CN 201810488357A CN 108764320 A CN108764320 A CN 108764320A
- Authority
- CN
- China
- Prior art keywords
- matrix
- class
- feature
- training sample
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 9
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 96
- 239000013598 vector Substances 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000009795 derivation Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于人工智能领域,提供基于分数阶特征线分析的特征提取方法,所述特征提取方法利用特征线度量来衡量训练样本的类内散度和类间散度,提出了分数阶特征线类内散度和分数阶特征线类间散度,目标是最大化分数阶特征线类间散度,同时最小化分数阶特征线类内散度,从而达到提高特征提取的灵活性,改善特征提取性能的目的。
Description
技术领域
本发明属于人工智能领域,尤其涉及基于分数阶特征线分析的特征提取方法。
背景技术
两类分类问题在计算机辅助诊断等实际应用中有广泛的应用,在分类过程中特征提取是一个很重要的步骤,目前存在的子空间学习方法对小样本问题效果显著,子空间学习方法就是要寻找一个最优变换,然后将原始样本变换到特征空间,从而完成特征提取的过程,并在此过程中同时完成降维。
发明内容
本发明的目的在于提供基于分数阶特征线分析的特征提取方法,旨在解决两类分类任务中的特征提取的技术问题。
本发明是这样实现的基于分数阶特征线分析的特征提取方法,所述脑电信号特征选择方法包括以下步骤:
步骤S1:将训练样本数据集中的训练样本进行分析并计算训练样本到本类别和其他类别特征线上的特征点,l(Xi)表示Xi的类别标签,假设包含2个类别,即l(Xi)∈{1,2},每个类别包括n个训练样本,总训练样本个数为2n;
首先构造特征点矩阵,最近特征线的计算方式:给定一个样本Xq∈Rm,该样本在同一类别的两个样本Xi,Xj所生成的特征线上的特征点Xp∈Rm为
Xp=Xi+t(Xj-Xi)
其中
t=<Xq-Xi,Xj-Xi>/<Xj-Xi,Xj-Xi>,<·>表示内积;
则Xq到该特征线的距离为||Xq-Xp||2,这里||·||2为2范数;
对于训练样本Xi,则该训练样本的类内特征点是指Xi到l(Xi)类别中除了Xi之外的其他训练样本两两生成的特征线的特征点,则训练样本Xi的类内特征点个数为这里表示组合数,则对于第i类训练样本,所有训练样本的类内特征点总数应为将所有第1类训练样本的类内特征点放在一起,可以构成一个矩阵,记作Y1=[Y1Y2…YN]∈Rm ×N,将所有第2类训练样本的类内特征点放在一起,可以构成一个矩阵,记作Y2=[Y1'Y2'…YN']∈Rm×N;
步骤S2:利用步骤S1中计算出的第1类训练样本的矩阵及第2类训练样本的矩阵计算分数阶散度矩阵,
记Gi=YiYiT/N为类内散度矩阵,这里T表示矩阵的转置,i=1,2,则Gi为对称矩阵,对Gi进行特征分解得到:
Gi=ViDiVi T
这里,Vi是Gi的特征向量组成的矩阵,Di是一个对角线为Gi特征值的对角矩阵,即Di=diag(μ1,μ2,…,μm),其中μ1,μ2,…,μm为Gi的特征值,diag()表示由括号中的向量生成的对角矩阵,
记为第i类的分数阶特征线类内散度矩阵,α是阶数为一个常数,i=1,2,其中
记G12=Y1Y2T/N为类间散度矩阵,对G12进行奇异值分解得到:G12=PΛQT,这里P和Q分别为左右奇异向量矩阵,Λ是一个对角线为降序排列的奇异值的对角矩阵,其中Λ=diag(v1,v2,…,vm),v1,v2,…,vm为矩阵G12的奇异值;
记为分数阶特征线类间散度矩阵,其中β是阶数为一个常数;
步骤S3:根据步骤S2中计算的出的分数阶特征线类内散度矩阵和分数阶特征线类间散度矩阵计算投影矩阵;投影矩阵可以通过最大化下面的优化目标函数J得到
对J(u)关于u求导,并令之为0,可以得到J(u)取得最大值的条件为
和为两个标量,所以该条件可以转化为
即说明u为矩阵相对于矩阵的广义特征向量,当满秩时,广义特征向量问题可以转化为求解矩阵的普通特征向量问题,即
Gu=λu,当G12不满秩时,令G12=εI+G12,其中ε是一个常数,I为单位矩阵,然后就可以转化为矩阵G的普通矩阵特征值向量问题,
记U=[u1,u2,…,ud],其中u1,u2,…,ud是矩阵G的对应于特征值λ1,λ2,…,λd的特征向量,且λ1≥λ2≥…≥λd,则U即为所需的投影矩阵;
步骤S4:根据步骤S3中的投影矩阵计算训练样本特征矩阵,对于训练样本Xi,Fi=UTXi即为利用分数阶特征线分析提取的特征,F=[F1,F2,…,F2n]即为训练样本特征矩阵,与投影矩阵U一起备用,以备在分类任务中使用。
本发明的有益效果是:对两类分类任务中的特征提取进行优化,让计算机自主通过我们设计的学习机制对样本进行特征提取。
附图说明
具体实施方式
本发明的基于L2,1范数的脑电信号特征选择方法,所述脑电信号特征选择方法包括以下步骤:
步骤S1:将训练样本数据集中的训练样本进行分析并计算训练样本到本类别和其他类别特征线上的特征点,l(Xi)表示Xi的类别标签,假设包含2个类别,即l(Xi)∈{1,2},每个类别包括n个训练样本,总训练样本个数为2n;
首先构造特征点矩阵,最近特征线的计算方式:给定一个样本Xq∈Rm,该样本在同一类别的两个样本Xi,Xj所生成的特征线上的特征点Xp∈Rm为
Xp=Xi+t(Xj-Xi)
其中
t=<Xq-Xi,Xj-Xi>/<Xj-Xi,Xj-Xi>,<·>表示内积;
则Xq到该特征线的距离为||Xq-Xp||2,这里||·||2为2范数;
对于训练样本Xi,则该训练样本的类内特征点是指Xi到l(Xi)类别中除了Xi之外的其他训练样本两两生成的特征线的特征点,则训练样本Xi的类内特征点个数为这里表示组合数,则对于第i类训练样本,所有训练样本的类内特征点总数应为将所有第1类训练样本的类内特征点放在一起,可以构成一个矩阵,记作Y1=[Y1Y2…YN]∈Rm ×N,将所有第2类训练样本的类内特征点放在一起,可以构成一个矩阵,记作Y2=[Y1'Y2'…YN']∈Rm×N;
步骤S2:利用步骤S1中计算出的第1类训练样本的矩阵及第2类训练样本的矩阵计算分数阶散度矩阵,
记Gi=YiYiT/N为类内散度矩阵,这里T表示矩阵的转置,i=1,2,则Gi为对称矩阵,对Gi进行特征分解得到:
Gi=ViDiVi T
这里,Vi是Gi的特征向量组成的矩阵,Di是一个对角线为Gi特征值的对角矩阵,即Di=diag(μ1,μ2,…,μm),其中μ1,μ2,…,μm为Gi的特征值,diag()表示由括号中的向量生成的对角矩阵,
记为第i类的分数阶特征线类内散度矩阵,α是阶数为一个常数,i=1,2,其中
记G12=Y1Y2T/N为类间散度矩阵,对G12进行奇异值分解得到:G12=PΛQT,这里P和Q分别为左右奇异向量矩阵,Λ是一个对角线为降序排列的奇异值的对角矩阵,其中Λ=diag(v1,v2,…,vm),v1,v2,…,vm为矩阵G12的奇异值;
记为分数阶特征线类间散度矩阵,其中β是阶数为一个常数;
步骤S3:根据步骤S2中计算的出的分数阶特征线类内散度矩阵和分数阶特征线类间散度矩阵计算投影矩阵;投影矩阵可以通过最大化下面的优化目标函数J得到
对J(u)关于u求导,并令之为0,可以得到J(u)取得最大值的条件为
和为两个标量,所以该条件可以转化为
即说明u为矩阵相对于矩阵的广义特征向量,当满秩时,广义特征向量问题可以转化为求解矩阵的普通特征向量问题,即
Gu=λu,当G12不满秩时,令G12=εI+G12,其中ε是一个常数,I为单位矩阵,然后就可以转化为矩阵G的普通矩阵特征值向量问题,
记U=[u1,u2,…,ud],其中u1,u2,…,ud是矩阵G的对应于特征值λ1,λ2,…,λd的特征向量,且λ1≥λ2≥…≥λd,则U即为所需的投影矩阵;
步骤S4:根据步骤S3中的投影矩阵计算训练样本特征矩阵,对于训练样本Xi,Fi=UTXi即为利用分数阶特征线分析提取的特征,F=[F1,F2,…,F2n]即为训练样本特征矩阵,与投影矩阵U一起备用,以备在分类任务中使用。
对两类分类任务中的特征提取进行优化,让计算机自主通过我们设计的学习机制对样本进行特征提取。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.基于分数阶特征线分析的特征提取方法,其特征在于,所述特征提取方法包括以下步骤:
步骤S1:将训练样本数据集中的训练样本进行分析并计算训练样本到本类别和其他类别特征线上的特征点,l(Xi)表示Xi的类别标签,假设包含2个类别,即l(Xi)∈{1,2},每个类别包括n个训练样本,总训练样本个数为2n;
首先构造特征点矩阵,最近特征线的计算方式:给定一个样本Xq∈Rm,该样本在同一类别的两个样本Xi,Xj所生成的特征线上的特征点Xp∈Rm为
Xp=Xi+t(Xj-Xi)
其中
t=<Xq-Xi,Xj-Xi>/<Xj-Xi,Xj-Xi>,<·>表示内积;
则Xq到该特征线的距离为||Xq-Xp||2,这里||·||2为2范数;
对于训练样本Xi,则该训练样本的类内特征点是指Xi到l(Xi)类别中除了Xi之外的其他训练样本两两生成的特征线的特征点,则训练样本Xi的类内特征点个数为这里表示组合数,则对于第i类训练样本,所有训练样本的类内特征点总数应为将所有第1类训练样本的类内特征点放在一起,可以构成一个矩阵,记作Y1=[Y1 Y2…YN]∈Rm×N,将所有第2类训练样本的类内特征点放在一起,可以构成一个矩阵,记作Y2=[Y1' Y2'…YN']∈Rm ×N;
步骤S2:利用步骤S1中计算出的第1类训练样本的矩阵及第2类训练样本的矩阵计算分数阶散度矩阵,
记Gi=YiYiT/N为类内散度矩阵,这里T表示矩阵的转置,i=1,2,则Gi为对称矩阵,对Gi进行特征分解得到:
Gi=ViDiVi T
这里,Vi是Gi的特征向量组成的矩阵,Di是一个对角线为Gi特征值的对角矩阵,即Di=diag(μ1,μ2,…,μm),其中μ1,μ2,…,μm为Gi的特征值,diag(·)表示由括号中的向量生成的对角矩阵,
记为第i类的分数阶特征线类内散度矩阵,α是阶数为一个常数,i=1,2,其中
记G12=Y1Y2T/N为类间散度矩阵,对G12进行奇异值分解得到:G12=PΛQT,这里P和Q分别为左右奇异向量矩阵,Λ是一个对角线为降序排列的奇异值的对角矩阵,其中Λ=diag(v1,v2,…,vm),v1,v2,…,vm为矩阵G12的奇异值;
记为分数阶特征线类间散度矩阵,其中β是阶数为一个常数;
步骤S3:根据步骤S2中计算的出的分数阶特征线类内散度矩阵和分数阶特征线类间散度矩阵计算投影矩阵;投影矩阵可以通过最大化下面的优化目标函数J得到
对J(u)关于u求导,并令之为0,可以得到J(u)取得最大值的条件为
和为两个标量,所以该条件可以转化为
即说明u为矩阵相对于矩阵的广义特征向量,当满秩时,广义特征向量问题可以转化为求解矩阵的普通特征向量问题,即
Gu=λu,当G12不满秩时,令G12=εI+G12,其中ε是一个常数,I为单位矩阵,然后就可以转化为矩阵G的普通矩阵特征值向量问题,
记U=[u1,u2,…,ud],其中u1,u2,…,ud是矩阵G的对应于特征值λ1,λ2,…,λd的特征向量,且λ1≥λ2≥…≥λd,则U即为所需的投影矩阵;
步骤S4:根据步骤S3中的投影矩阵计算训练样本特征矩阵,对于训练样本Xi,Fi=UTXi即为利用分数阶特征线分析提取的特征,F=[F1,F2,…,F2n]即为训练样本特征矩阵,与投影矩阵U一起备用,以备在分类任务中使用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810488357.7A CN108764320A (zh) | 2018-05-21 | 2018-05-21 | 基于分数阶特征线分析的特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810488357.7A CN108764320A (zh) | 2018-05-21 | 2018-05-21 | 基于分数阶特征线分析的特征提取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108764320A true CN108764320A (zh) | 2018-11-06 |
Family
ID=64007347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810488357.7A Pending CN108764320A (zh) | 2018-05-21 | 2018-05-21 | 基于分数阶特征线分析的特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108764320A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353534A (zh) * | 2020-02-27 | 2020-06-30 | 电子科技大学 | 一种基于自适应分数阶梯度的图数据类别预测方法 |
CN111951319A (zh) * | 2020-08-21 | 2020-11-17 | 清华大学深圳国际研究生院 | 一种图像立体匹配方法 |
-
2018
- 2018-05-21 CN CN201810488357.7A patent/CN108764320A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353534A (zh) * | 2020-02-27 | 2020-06-30 | 电子科技大学 | 一种基于自适应分数阶梯度的图数据类别预测方法 |
CN111951319A (zh) * | 2020-08-21 | 2020-11-17 | 清华大学深圳国际研究生院 | 一种图像立体匹配方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6192010B2 (ja) | 重み設定装置および方法 | |
Chen et al. | Model Metric Co-Learning for Time Series Classification. | |
Lajugie et al. | Large-margin metric learning for constrained partitioning problems | |
CN102663447B (zh) | 基于判别相关分析的跨媒体检索方法 | |
CN106203483B (zh) | 一种基于语义相关多模态映射方法的零样本图像分类方法 | |
CN106067034B (zh) | 一种基于高维矩阵特征根的配电网负荷曲线聚类方法 | |
Ramachandran et al. | Evaluation of dimensionality reduction techniques for big data | |
Yumeng et al. | Research on PCA data dimension reduction algorithm based on entropy weight method | |
CN102142082A (zh) | 用于人脸识别的基于虚拟样本的核鉴别方法 | |
CN108764320A (zh) | 基于分数阶特征线分析的特征提取方法 | |
Sivasankar et al. | Feature reduction in clinical data classification using augmented genetic algorithm | |
Fan et al. | An efficient KPCA algorithm based on feature correlation evaluation | |
CN106056167A (zh) | 一种基于高斯核混合人工蜂群算法的归一化可能性模糊熵聚类方法 | |
CN107943916B (zh) | 一种基于在线分类的网页异常检测方法 | |
Bouneffouf et al. | Theoretical analysis of the Minimum Sum of Squared Similarities sampling for Nyström-based spectral clustering | |
CN112966734B (zh) | 一种基于分数阶谱的判别多重集典型相关分析方法 | |
Yu et al. | ECG identification based on PCA-RPROP | |
Shi et al. | A generalized kernel fisher discriminant framework used for feature extraction and face recognition | |
Rahman et al. | Kernel k-mace clustering | |
Sivasathya et al. | Image feature extraction using non linear principle component analysis | |
CN113111845A (zh) | 一种基于正则的rkhs子空间学习的bci脑肌电信号识别 | |
Weber et al. | Diffeomorphic Temporal Alignment Nets for Time-series Joint Alignment and Averaging | |
Kumar et al. | Brain fiber clustering using non-negative kernelized matching pursuit | |
Guo et al. | A cross-session non-stationary attention-based motor imagery classification method with critic-free domain adaptation | |
Kathirgamanathan et al. | Correlation based feature subset selection for multivariate time-series data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181106 |