CN110826640B - 一种无监督式的传感器阵列干扰特征去除方法 - Google Patents
一种无监督式的传感器阵列干扰特征去除方法 Download PDFInfo
- Publication number
- CN110826640B CN110826640B CN201911101048.0A CN201911101048A CN110826640B CN 110826640 B CN110826640 B CN 110826640B CN 201911101048 A CN201911101048 A CN 201911101048A CN 110826640 B CN110826640 B CN 110826640B
- Authority
- CN
- China
- Prior art keywords
- feature
- list
- ith
- dimension
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明涉及一种传感器阵列优化方法,尤其涉及一种无监督式的传感器阵列中干扰特征去除方法。
背景技术
在使用传感器阵列进行检测时,通常是基于现有的数据,选择并固定使用识别性能较好的特征。然而,在实际检测过程中,在测试数据上往往有些特征会受到各种不可测因素的干扰。这些干扰在现有数据上没有显现,会极大的降低传感器阵列系统的检测性能。
发明内容
本发明的目的是提供一种无监督式的传感器阵列干扰特征去除方法,可以无监督的去除传感器阵列中被严重干扰的特征,提高系统检测性能。
本发明采用下述技术方案:
一种无监督式的传感器阵列干扰特征去除方法,包括以下步骤:
A:对待选的传感器阵列特征提取方法进行识别性能评估,然后根据评估结果,从多种传感器阵列特征提取方法中选择识别性能高的若干种提取方法作为本传感器阵列特征提取方法使用;并将所选择的若干种本传感器阵列特征提取方法所对应的传感器阵列特征作为初始特征;
B:根据步骤A中得到若干种初始特征,构成初始特征数据集 X=[xi,j]p×n,其中,p代表特征维度数目,n代表样本个数,i是第i维特征,j是第j个样本,i,j均为自然数;
C:对初始特征数据集X进行标准化后做PCA变换,计算经标准化后的初始特征数据集X中每一维特征的重要程度Fj,然后根据计算得到的每一维特征的重要程度Fj,按照降序对标准化后的初始特征进行排序,得到特征列表L1,L1(i)表示特征列表L1中的第i个特征;
D:基于特征列表L1,通过计算特征间的相关性去掉相关性的绝对值低于所设定阈值的特征,得到最终的特征列表L2,最终的特征列表L2中的 s个特征即为使用本申请所述方法进行干扰特征去除后,所得到的未被严重干扰的特征。
所述的步骤A中,某种传感器阵列特征提取方法的识别性能按照单独使用该特征提取方法下,传感器阵列的识别精度来评价。
所述的识别精度按照多次随机划分数据集下的测试集平均识别率计算。
所述的步骤C包含以下具体步骤:
C1:对初始特征数据集X划分训练集和测试集;
其中,A=(ai,j)是变换系数矩阵,p代表特征维度数目,n代表样本个数,(ai,j)是变换系数矩阵A中第i行第j列的元素,Y是变换后在变换空间中的数据;变换系数矩阵A的第i行ai,为矩阵的协方差矩阵第i 个最大特征值λi所对应的特征向量,也是变换空间的第i个维度方向;
C4:去掉特征值λi≤1所对应的维度方向后得到新的变换系数矩阵 Bt×p=(bi,j),其中bi,j为变换系数矩阵B中第i行第j列的元素,t代表去掉特征值λi≤1所对应的维度方向后剩余的特征维度,p代表特征维度;
其中,下角标j表示中第j维特征,Pi是变换空间内第i个特征维度的重要性,λi是第i个维度方向对应的特征值;bi,j是第i个维度方向bi的第j维分量,|bij|r是新的变换系数矩阵B中第i行第j列元素的绝对值的r 次幂,||bi||r是新的变换系数矩阵B的第i行的r阶范数;
C5:根据计算得到的标准化后的初始特征数据集中的特征的重要程度 Fj,经由大到小排序,得到特征列表L1。
所述的相关性的计算采用欧氏距离、马氏距离、余弦相似度、皮尔森相关系数或KL散度计算。
所述的步骤D包含以下具体步骤:
D1:新建并初始化一个特征列表L2,令L2(1)=L1(1);对特征列表L1中的第2个特征及往后所有的特征分别进行考察,分别计算特征列表L1中每个特征与特征列表L2中每个特征的相关性,相关性通过相关系数R来表示,L2(i)表示特征列表L2中的第i个特征;
D2:如果特征列表中L1中的第i个特征L1(i)与特征列表L2中的某个特征的相关系数R的绝对值低于所设定的阈值THR,则认为该特征L1(i)是受到干扰的特征,然后继续考察特征列表L1中的下一个特征;如果特征列表中L1中的第i个特征L1(i)与特征列表L2中的所有特征的相关系数R的绝对值均高于阈值THR,则把特征列表中L1中的第i个特征L1(i)放置到特征列表L2中的最后一个特征,并更新特征列表L2 ;THR的取值范围为(0, 0.4];
按照上述方法依次考察特征列表L1中的第二个特征L1(2)到最后一个特征L1(p),得到最终的特征列表L2,令s表示最终的特征列表L2所含有的特征数目。最终的特征列表L2中的s个特征即为使用本申请所述方法进行干扰特征去除后,所得到的未被严重干扰的特征。
所述的皮尔森相关系数的计算公式为:
其中,R是皮尔森相关系数,Cov(ξ,ζ)表示两个特征ξ和ζ的协方差,σξ和σζ分别表示两个特征ξ和ζ的标准差。
本发明通过选取本传感器阵列特征提取方法和初始特征,将初始特征构成初始特征数据集,并对初始特征数据集依次进行标准化和PCA变换处理得到特征列表,通过计算相关性去掉重要程度低于所设定的阈值的特征,得到特征列表L2,特征列表L2中的s个特征即为使用本申请所述方法进行干扰特征去除后,所得到的未被严重干扰的特征。本发明能够有效除传感器阵列中被严重干扰的特征,大幅度提高系统检测性能。本发明是一种无监督式的干扰去除方法,即在不需要样本标签信息的情况下,过滤掉可能受到干扰的特征。
附图说明
图1为本发明的流程示意图。
具体实施方式
以下结合附图和实施例对本发明作以详细的描述:
如图1所示,本发明所述的无监督式的传感器阵列干扰特征去除方法,依次包括以下步骤:
A:对待选的传感器阵列特征提取方法进行识别性能评估,然后根据评估结果,从多种传感器阵列特征提取方法中选择识别性能高的若干种提取方法作为本传感器阵列特征提取方法使用;并将所选择的若干种本传感器阵列特征提取方法所对应的传感器阵列特征作为初始特征。
本实施例中,某种传感器阵列特征提取方法的识别性能按照单独使用该特征提取方法下,传感器阵列的识别精度来评价。识别精度按照多次(100 次以上)随机划分数据集下的测试集平均识别率计算。假设样本数据集为D,有M1到M7共7种原始特征提取方法,首先分别使用这7种原始特征提取方法对样本数据集D进行特征提取,得到F1到F7共7个特征数据集。然后根据选定的分类模型C,分别在特征数据集F1到F7上进行随机测试。按照识别精度进行降序排列并选择前若干种传感器特征作为初始特征;同时,将选取的这若干种初始特征所对应的传感器阵列特征提取方法,作为本传感器阵列特征提取方法使用。
B:根据步骤A中得到若干种初始特征,构成初始特征数据集 X=[xi,j]p×n,其中,p代表特征维度数目,n代表样本个数,i是第i维特征,j是第j个样本,i,j均为自然数;
C:对初始特征数据集X进行标准化后做PCA变换,计算经标准化后的初始特征数据集X中每一维特征的重要程度Fj,然后根据计算得到的每一维特征的重要程度Fj,按照降序对标准化后的初始特征进行排序,得到特征列表L1,L1(i)表示特征列表L1中的第i个特征;
所述的步骤C包含以下步骤:
C1:对初始特征数据集X划分训练集和测试集;
本实施例中,采用交叉验证的方式进行训练集和测试集划分。
其中,A=(ai,j)是变换系数矩阵,p代表特征维度数目,n代表样本个数,(ai,j)是变换系数矩阵A中第i行第j列的元素,Y是变换后在变换空间中的数据;变换系数矩阵A的第i行ai,为矩阵的协方差矩阵第i 个最大特征值λi所对应的特征向量,也是变换空间的第i个维度方向。
C4:去掉特征值λi≤1所对应的维度方向后得到新的变换系数矩阵 Bt×p=(bi,j),其中bi,j为变换系数矩阵B中第i行第j列的元素,t代表去掉特征值λi≤1所对应的维度方向后剩余的特征维度,p代表特征维度;
其中,下角标j表示中第j维特征,Pi是变换空间内第i个特征维度的重要性,λi是第i个维度方向对应的特征值;bi,j是第i个维度方向bi的第j维分量,|bij|r是新的变换系数矩阵B中第i行第j列元素的绝对值的r 次幂,||bi||r是新的变换系数矩阵B的第i行的r阶范数;
C5:根据计算得到的标准化后的初始特征数据集中的特征的重要程度 Fj,经由大到小排序,得到特征列表L1。
D:基于特征列表L1,通过计算特征间的相关性去掉相关性的绝对值低于所设定阈值的特征,得到最终的特征列表L2;
D1:新建并初始化一个特征列表L2,令L2(1)=L1(1);对特征列表L1中的第2个特征及往后所有的特征分别进行考察,分别计算特征列表L1中每个特征与特征列表L2中每个特征的相关性;L2(i)表示特征列表L2中的第i个特征;
相关性的计算可采用多种方法,如欧氏距离、马氏距离、余弦相似度、皮尔森相关系数或KL散度,本申请中采用皮尔森相关系数公式(5)来计算。
其中,R是皮尔森相关系数,Cov(ξ,ζ)表示两个特征ξ和ζ的协方差,σξ和σζ分别表示两个特征ξ和ζ的标准差。
D2:如果特征列表中L1中的第i个特征L1(i)与特征列表L2中的某个特征的相关系数R的绝对值低于所设定的阈值THR,则认为该特征L1(i)是受到干扰的特征,然后继续考察特征列表L1中的下一个特征;如果特征列表中L1中的第i个特征L1(i)与特征列表L2中的所有特征的相关系数R的绝对值均高于阈值THR,则把特征列表中L1中的第i个特征L1(i)放置到特征列表L2中的最后一个特征,并更新特征列表L2 ;THR的取值范围为(0, 0.4];
按照上述方法依次考察特征列表L1中的第二个特征L1(2)到最后一个特征L1(p),得到最终的特征列表L2,令s表示最终的特征列表L2所含有的特征数目。最终的特征列表L2中的s个特征即为使用本申请所述方法进行干扰特征去除后,所得到的未被严重干扰的特征。
实施例:现有包含30个传感器的原始传感器阵列(传感器分别编号1 到30),要通过气味检测来识别新鲜肉类和腐败肉类。为此,共采集到数据样本600个(其中新鲜肉类样本300个,腐败肉类样本300个),每个数据样本都包含了30个传感器响应曲线。初选最大值、峰面积、最大差值、最大斜率共4种传感器阵列特征提取方法。
A:首先评估各种传感器阵列特征提取方法的性能,即:分别用每一种传感器阵列特征提取方法单独提取特征送入SVM(支持向量机)分类器进行新鲜肉类和腐败肉类的判别。四种传感器阵列特征提取方法中最好的识别结果为:最大值法的精度为81%,峰面积法的精度为75%,最大差值法的精度为78%,最大斜率法的精度为61%。由于最大斜率法的识别相对其他3种较低,因此将其排除。同时,分别利用最大值、峰面积和最大差值法从每个传感器响应曲线上提取出特征,每种特征提取方法均在一条响应曲线上提取出1个实数特征
B:将步骤A中每种特征提取方法在一条响应曲线上所提取出的1个实数特征,分别表示为一个90×1的向量,600个数据样本提取出的初始特征数据集为X=[xi,j]90×600,其中每一行代表一个初始特征变量的观测值,每一列代表一个样本。
C:对初始特征数据集X进行标准化后得到标准化后的初始特征数据集 X*,然后对标准化后的初始特征数据集X*做PCA变换,计算标准化后的初始特征数据集X*中每一维特征的重要程度Fj,然后根据计算得到的每一维特征的重要程度Fj,按照Fj的大小对标准化后的初始特征降序排列,得到特征列表L1。
D:基于特征列表L1,通过计算皮尔森相关系数,计算特征间的相关性去掉相关性的绝对值低于所设定阈值的特征,得到特征列表L2,L2中含有37个特征,这37个特征即为使用本申请所述方法进行干扰特征去除后,所得到的未被严重干扰的特征。
Claims (2)
1.一种无监督式的传感器阵列干扰特征去除方法,其特征在于,包括以下步骤:
A:对待选的传感器阵列特征提取方法进行识别性能评估,然后根据评估结果,从多种传感器阵列特征提取方法中选择识别性能高的若干种提取方法作为本传感器阵列特征提取方法使用;并将所选择的若干种本传感器阵列特征提取方法所对应的传感器阵列特征作为初始特征;
B:根据步骤A中得到若干种初始特征,构成初始特征数据集X=[xi,j]p×n,其中,p代表特征维度数目,n代表样本个数,i是第i维特征,j是第j个样本,i,j均为自然数;
C:对初始特征数据集X进行标准化后做PCA变换,计算经标准化后的初始特征数据集X中每一维特征的重要程度Fj,然后根据计算得到的每一维特征的重要程度Fj,按照降序对标准化后的初始特征进行排序,得到特征列表L1,L1(i)表示特征列表L1中的第i个特征;
D:基于特征列表L1,通过计算特征间的相关性去掉相关性的绝对值低于所设定阈值的特征,得到最终的特征列表L2,最终的特征列表L2中的s个特征即为使用所述方法进行干扰特征去除后,所得到的未被严重干扰的特征;
所述的步骤A中,某种传感器阵列特征提取方法的识别性能按照单独使用该特征提取方法下,传感器阵列的识别精度来评价;
所述的识别精度按照多次随机划分数据集下的测试集平均识别率计算;
所述的步骤C包含以下具体步骤:
C1:对初始特征数据集X划分训练集和测试集;
其中,A=(ai,j)是变换系数矩阵,p代表特征维度数目,n代表样本个数,(ai,j)是变换系数矩阵A中第i行第j列的元素,Y是变换后在变换空间中的数据;变换系数矩阵A的第i行ai,为矩阵的协方差矩阵第i个最大特征值λi所对应的特征向量,也是变换空间的第i个维度方向;
C4:去掉特征值λi≤1所对应的维度方向后得到新的变换系数矩阵Bt×p=(bi,j),其中bi,j为变换系数矩阵B中第i行第j列的元素,t代表去掉特征值λi≤1所对应的维度方向后剩余的特征维度,p代表特征维度;
其中,下角标j表示中第j维特征,Pi是变换空间内第i个特征维度的重要性,λi是第i个维度方向对应的特征值;bi,j是第i个维度方向bi的第j维分量,|bij|r是新的变换系数矩阵B中第i行第j列元素的绝对值的r次幂,||bi||r是新的变换系数矩阵B的第i行的r阶范数;
C5:根据计算得到的标准化后的初始特征数据集中的特征的重要程度Fj,经由大到小排序,得到特征列表L1;
所述的相关性的计算采用皮尔森相关系数;
所述的步骤D包含以下具体步骤:
D1:新建并初始化一个特征列表L2,令L2(1)=L1(1);对特征列表L1中的第2个特征及往后所有的特征分别进行考察,分别计算特征列表L1中每个特征与特征列表L2中每个特征的相关性,相关性通过皮尔森相关系数R来表示,L2(i)表示特征列表L2中的第i个特征;
D2:如果特征列表中L1中的第i个特征L1(i)与特征列表L2中的某个特征的皮尔森相关系数R的绝对值低于所设定的阈值THR,则认为该特征L1(i)是受到干扰的特征,然后继续考察特征列表L1中的下一个特征;如果特征列表中L1中的第i个特征L1(i)与特征列表L2中的所有特征的皮尔森相关系数R的绝对值均高于阈值THR,则把特征列表中L1中的第i个特征L1(i)放置到特征列表L2中的最后一个特征,并更新特征列表L2 ;THR的取值范围为(0,0.4];
按照上述方法依次考察特征列表L1中的第二个特征L1(2)到最后一个特征L1(p),得到最终的特征列表L2,令s表示最终的特征列表L2所含有的特征数目;最终的特征列表L2中的s个特征即为使用所述方法进行干扰特征去除后,所得到的未被严重干扰的特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911101048.0A CN110826640B (zh) | 2019-11-12 | 2019-11-12 | 一种无监督式的传感器阵列干扰特征去除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911101048.0A CN110826640B (zh) | 2019-11-12 | 2019-11-12 | 一种无监督式的传感器阵列干扰特征去除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110826640A CN110826640A (zh) | 2020-02-21 |
CN110826640B true CN110826640B (zh) | 2022-07-05 |
Family
ID=69554267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911101048.0A Active CN110826640B (zh) | 2019-11-12 | 2019-11-12 | 一种无监督式的传感器阵列干扰特征去除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110826640B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107714038A (zh) * | 2017-10-12 | 2018-02-23 | 北京翼石科技有限公司 | 一种脑电信号的特征提取方法及装置 |
CN109002859A (zh) * | 2018-07-25 | 2018-12-14 | 郑州轻工业学院 | 基于主成分分析的传感器阵列特征选择和阵列优化方法 |
CN109117982A (zh) * | 2018-07-05 | 2019-01-01 | 安徽大学 | 一种基于深度学习与特征组合的房价预测方法 |
CN109799269A (zh) * | 2019-01-24 | 2019-05-24 | 山东工商学院 | 基于动态特征重要度的电子鼻气体传感器阵列优化方法 |
CN110288096A (zh) * | 2019-06-28 | 2019-09-27 | 江苏满运软件科技有限公司 | 预测模型训练及预测方法、装置、电子设备、存储介质 |
-
2019
- 2019-11-12 CN CN201911101048.0A patent/CN110826640B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107714038A (zh) * | 2017-10-12 | 2018-02-23 | 北京翼石科技有限公司 | 一种脑电信号的特征提取方法及装置 |
CN109117982A (zh) * | 2018-07-05 | 2019-01-01 | 安徽大学 | 一种基于深度学习与特征组合的房价预测方法 |
CN109002859A (zh) * | 2018-07-25 | 2018-12-14 | 郑州轻工业学院 | 基于主成分分析的传感器阵列特征选择和阵列优化方法 |
CN109799269A (zh) * | 2019-01-24 | 2019-05-24 | 山东工商学院 | 基于动态特征重要度的电子鼻气体传感器阵列优化方法 |
CN110288096A (zh) * | 2019-06-28 | 2019-09-27 | 江苏满运软件科技有限公司 | 预测模型训练及预测方法、装置、电子设备、存储介质 |
Non-Patent Citations (1)
Title |
---|
面向伤口感染辅助诊断的气味感知系统机器学习算法研究;孙彤;《万方数据 知识服务平台》;20210701;第43-45页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110826640A (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109086793B (zh) | 一种风力发电机的异常识别方法 | |
CN109002859B (zh) | 基于主成分分析的传感器阵列特征选择和阵列优化方法 | |
CN103942562B (zh) | 基于多分类器组合的高光谱图像分类方法 | |
CN109241741B (zh) | 一种基于图像纹理指纹的恶意代码分类方法 | |
CN111738309A (zh) | 多尺度分析和集成学习的气敏传感器故障模式识别方法 | |
CN103632155A (zh) | 基于慢特征分析的遥感影像变化检测方法 | |
CN106446011B (zh) | 数据处理的方法及装置 | |
CN102880875A (zh) | 基于lrr图的半监督学习人脸识别方法 | |
CN113489685A (zh) | 一种基于核主成分分析的二次特征提取及恶意攻击识别方法 | |
CN113571133B (zh) | 一种基于图神经网络的乳酸菌抗菌肽预测方法 | |
CN103839078A (zh) | 一种基于主动学习的高光谱图像分类方法 | |
CN110991422A (zh) | 基于多元时移多尺度排列熵的滚动轴承故障诊断方法 | |
CN115563494B (zh) | 基于迁移学习的多模式流程工业过程的数据驱动故障检测方法 | |
CN112763155A (zh) | 一种压力容器气体泄漏检测方法 | |
CN116735170A (zh) | 一种基于自注意力多尺度特征提取的智能故障诊断方法 | |
CN112000081A (zh) | 基于多块信息提取和马氏距离的故障监测方法及系统 | |
CN115659143A (zh) | 一种基于试验设计的故障实时诊断方法 | |
JP7537203B2 (ja) | 学習用データの生成装置、モデル学習装置、試料の特性推定装置、及びクロマトグラフ質量分析装置 | |
CN110826640B (zh) | 一种无监督式的传感器阵列干扰特征去除方法 | |
CN110096708B (zh) | 一种定标集确定方法及装置 | |
CN111127407B (zh) | 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法 | |
Abas et al. | Agarwood oil quality classifier using machine learning | |
CN116610990A (zh) | 一种基于特征空间差异化的断路器隐患识别方法及装置 | |
CN111199209A (zh) | 一种基于iwo-kfcm算法的轴承时频谱图识别方法 | |
CN111581640A (zh) | 一种恶意软件检测方法、装置及设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |