CN111291832A - 基于Stack集成神经网络的传感器数据分类方法 - Google Patents

基于Stack集成神经网络的传感器数据分类方法 Download PDF

Info

Publication number
CN111291832A
CN111291832A CN202010167099.XA CN202010167099A CN111291832A CN 111291832 A CN111291832 A CN 111291832A CN 202010167099 A CN202010167099 A CN 202010167099A CN 111291832 A CN111291832 A CN 111291832A
Authority
CN
China
Prior art keywords
learner
layer
basic
sensor data
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010167099.XA
Other languages
English (en)
Inventor
刘然
陈希
易琳
王明雪
田逢春
钱君辉
郑杨婷
刘亚琼
赵洋
崔珊珊
王斐斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Chongqing University Cancer Hospital
Original Assignee
Chongqing University
Chongqing University Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University, Chongqing University Cancer Hospital filed Critical Chongqing University
Priority to CN202010167099.XA priority Critical patent/CN111291832A/zh
Publication of CN111291832A publication Critical patent/CN111291832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明基于Stack集成神经网络的传感器数据分类方法,其包括1)构建基础学习器,基础学习器包括特征提取单元和与特征提取单元连接的特征分类单元;2)将若干个基础学习器的输出作为元学习器的输入,构建成Stacking模型;3)将传感器数据同时输入各个基础学习器的各个特征提取单元的一维卷积层,各个基础学习器的输出作为Stacking模型的元学习器的输入,经元学习器处理后由元学习器的softmax函数层输出最终分类结果。本发明结合卷积神经网络和长短期记忆网络提取传感器数据特征的优势,提高了对传感器数据分类的准确性,并且采用Stacking模型降低了由于卷积神经网络的参数随机初始化造成分类结果波动的影响。

Description

基于Stack集成神经网络的传感器数据分类方法
技术领域
本发明涉及数据分类技术领域,特别涉及一种传感器数据分类的方法。
背景技术
传感器数据(时间序列数据)是由感知设备或传感设备感受、测量及传输的数据。对于传感器数据的分类可以采用神经网络算法进行处理。在神经网络算法中,对传感器数据分类的时候,很少使用一维卷积神经网络来处理。然而,一维卷积神经网络通过卷积、池化可以自动的提取数据中的特征,这一优点是各种传统的传感器数据分类算法所没有的。因此,一维卷积神经网络具有大幅提升分类能力的潜力。
传感器数据也是一种时间序列数据,故传感器数据之间也是有时间信息的,然而这些时间信息在传感器数据分类时几乎没有被使用到。
发明内容
有鉴于此,为了解决以上描述的现存问题,本发明的目的是提供一种基于Stack集成神经网络的传感器数据分类方法,以解决传感器数据分类时如何提高分类准确性的技术问题。
本发明基于Stack集成神经网络的传感器数据分类方法,包括以下步骤:
1)构建基础学习器,所述基础学习器包括特征提取单元和与特征提取单元连接的特征分类单元,所述特征提取单元由依次连接的一维卷积层、第一批量归一化层、长短期记忆网络层、第二批量归一化层、池化层和扁平层组成,所述特征分类单元由依次连接的融合层、第一全连接层、批量归一化层、第二全连接层、激活函数层、丢弃层和softmax函数层组成,所述特征提取单元至少为两个,各特征提取单元的输出作为特征分类单元融合层的输入;
2)将若干个基础学习器的输出作为元学习器的输入,构建成Stacking模型;
3)将传感器数据同时输入各个基础学习器的各个特征提取单元的一维卷积层,并将传感器数据输入各个基础学习器的特征分类单元的融合层,每个基础学习器的各个特征提取单元的输出数据和传感器数据经特征分类单元的融合层处理后形成新的数据流,新的数据流经特征分类单元处理后输出初步分类概率值;各个基础学习器的输出作为Stacking模型的元学习器的输入,经元学习器处理后由元学习器的softmax函数层输出最终分类结果。
本发明的有益效果:
本发明基于Stack集成神经网络的传感器数据分类方法,是将卷积神经网络应用在传感器数据处理上,利用卷积神经网络提取传感器数据的特征,可以更加全面和准确地进行特征提取;并且其通过长短期记忆网络持续保存信息,从而使传感器数据中含有的时间信息得到保留和利用。
本发明基于Stack集成神经网络的传感器数据分类方法,其基础学习器通过集成多个特征提取单元,对于数据的输入采用了类似宽度学习的思想,并结合卷积神经网络和长短期记忆网络提取传感器数据特征的优势,提高了对传感器数据分类的准确性。
不仅如此,本发明基于Stack集成神经网络的传感器数据分类方法,还采用了Stacking模型,对所搭建的多个基础模型进行集成学习,从而降低了卷积神经网络的参数随机初始化造成分类结果波动的影响,进一步提高了分类结果。
附图说明
图1是基础学习器的结构图;
图2是Stacking模型的结构图;
图3为使用VIMSL数据对基础学习器进行检验的训练过程图;
图4为使用VIMSL数据对基础学习器进行检验的训练过程loss图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。
本实施例基于Stack集成神经网络的传感器数据分类方法,包括以下步骤:
1)构建基础学习器,所述基础学习器包括特征提取单元和与特征提取单元连接的特征分类单元,所述特征提取单元由依次连接的一维卷积层、第一批量归一化层、长短期记忆网络层、第二批量归一化层、池化层和扁平层组成,所述特征分类单元由依次连接的融合层、第一全连接层、批量归一化层、第二全连接层、激活函数层、丢弃层和softmax函数层组成,所述特征提取单元至少为两个,各特征提取单元的输出作为特征分类单元融合层的输入;
2)将若干个基础学习器的输出作为元学习器的输入,构建成Stacking模型;本实施例中,所述元学习器由依次连接的第一全连接层、第二全连接层和softmax函数层组成;元学习器的种类较多,在不同实施例中可选择不同形式,如其全连接层还可由KNN、SVM分类算法等替换。
3)将传感器数据同时输入各个基础学习器的各个特征提取单元的一维卷积层,并将传感器数据输入各个基础学习器的特征分类单元的融合层,每个基础学习器的各个特征提取单元的输出数据和传感器数据经特征分类单元的融合层处理后形成新的数据流,新的数据流经特征分类单元处理后输出初步分类概率值;各个基础学习器的输出作为Stacking模型的元学习器的输入,经元学习器处理后由元学习器的softmax函数层输出最终分类结果。
本实施例中,一维卷积层的卷积核选择使用Xavier uniform initializer初始化方法:
Figure BDA0002407838050000031
其中m和n表示输入和输出的单元数。
本实施例中,对于训练集的标签采用One-Hot编码。
本实施例中,将基础学习器中的卷积核的权重初始化为小的随机数,用于训练模型的随机优化算法的期望,即随机梯度下降。所搭建的基础学习器选择“categorical_crossentropy”作为模型的损失函数,同时选择随机梯度下降(SGD)作为优化函数。
本实施例中,对于基础学习器的超参数使用贝叶斯优化算法对其进行选择,选择出一组较为优秀的超参数组合见表1&2:
Figure BDA0002407838050000041
上述公式为贝叶斯公式,公式中,事件Bi的概率为P(Bi),事件Bi已发生条件下事件A的概率为P(A|Bi),事件A发生条件下事件Bi的概率为P(Bi|A)。
参数 filters1 filters2 filters3 units1 units2 unites3 dense1 dense2
数值 16 24 32 128 256 512 512 128
表1超参数选择
参数 drop_out kernel1 kernel2 kernel3 batch_size epochs
数值 0.5 8 12 12 256 200
表2超参数选择
其中filters1-filters3表示卷积核的核数,units1-units3表示为LSTM的隐藏神经元数,dense1、dense2表示全连接层神经元的个数,drop_out表示丢失率,kernel1-kernel3表示卷积的大小,batch_size表示批量大小,epochs表示迭代次数。
本实施例中使用EEG data(脑电数据)来验证基于Stack集成神经网络的传感器数据分类方法的分类效果。
实验数据集描述
Muse API基于原始数据的功率谱密度(PSD)为每个通道产生绝对和相对的逐段功率输出。PSD描述了给定时频域上信号的能量分布,并且是指每单位频率的功率量与频率的关系。
绝对功率谱(ABP)由五个频段组成:delta_ABP,theta_ABP,alpha_ABP,beta_ABP,gamma_ABP,每个频段对应4个电极的数据,因此形成了具有20个维的特征向量(特征集)。
相对功率谱(RBP)同样也由五个频段组成:delta_RBP,theta_RBP,alpha_RBP,beta_RBP,gamma_RBP,每个频段对应4个电极的数据,形成了具有20个维的特征向量(特征集)。
最后通过把绝对功率谱数据集和相对功率谱数据集结合一起形成40维的晕动数据集,同时本实验把标签分为:晕动-0级,晕动-1级,晕动-2级,晕动-3级,晕动-4级,五分类标签,形成实验的原始数据集(VIMSL)。
对原始数据进行均匀采样得到本次实验的数据,采样的数据为原始数据的1/20,形成本次实验的数据集。因数据文件较大,只截取部分数据展示,如下表所示:
Figure BDA0002407838050000051
相对功率谱
Figure BDA0002407838050000061
绝对功率谱
实验结果
使用VIMSL数据对所搭建的基础模型进行检验,把实验数据划分为训练集和测试集,使用训练集来训练模型,测试集测试模型的实用性。训练过程见图3,通过对训练过程图的分析,可以清楚的看到此基础模型在五分类的情况下,训练准确率可达到90%以上,测试准确率也可以稳定在80%左右,模型比较稳定,图4为训练过程中的loss图。同时和常规的机器学习分类器支持向量机(SVM),K近邻(KNN),决策树(DecisionTree),XGBoost,LightGBM进行对比,同时测量模型的Kappa系数(Kappa系数是用于一致性检验的指标,Kappa系数越大性能越好)。实验结果见表3:
分类器 SVM KNN DecisionTree XGBoost LightGBM 1DCLSTM
准确率 0.5556 0.8056 0.7597 0.8153 0.7806 0.8403
Kappa 0.3599 0.6598 0.5948 0.6750 0.5949 0.7080
表3分类器对比实验
从表3可以清楚的看到本实施例中的基础学习器(1DCLSTM)的准确率可以到达0.8403是高于其它的机器学习分类器,而Kappa系数也达到了0.7080高于其他分类器,从Kappa系数和准确率都可以说明本实施例中的基础学习器能够提高传感器数据的分类准确率。这得益于一维卷积神经网络提取了更多的数值特征,长短期记忆网络保留了数据之间的时间信息,充分地利用了数据特性,这是其他算法不能达到的。
神经网络因为随机初始化参数(内部参数,非超参数)的缘故会导致测试的结果会有所波动。为了提高基础学习器对VIMSL数据的分类效果,减少模型的测试波动性,对此采用了Stacking的思想进行集成,训练结果见表4。
Stacking集成的流程可以见图2,它是把训练集分别输入到基础分类器中,同时保存每一个基础分类器的最好模型,然后使用测试集进行测试,再把测试输入到已经构建好的元学习器中(meta-learner),元学习器的选择可以是SVM等机器学习算法或者神经网络算法。本算例采用了神经网络的算法,采用两个Dense层和Softmax层进行分类学习。
Figure BDA0002407838050000071
表4集成训练
通过对表4实验结果的观察,可以清楚的看到基础学习器的最高测试准确率是84.0278%,最低的测试结果是79.7222%,这说明神经网络的参数随机初始化会对实验结果造成一定的波动;使用Stacking集成的效果较为稳定,最高可达84.8611%,最低也达到了83.75%,五次平均集成结果为84.22224%,比最低的实验测试结果提升了约4.5个百分点,这说明了Stacking集成可以进一步提高传感器数据分类准确率。
最后说明的是,以上实施例仅用以说明本发明的技术方案,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于Stack集成神经网络的传感器数据分类方法,其特征在于,包括以下步骤:
1)构建基础学习器,所述基础学习器包括特征提取单元和与特征提取单元连接的特征分类单元,所述特征提取单元由依次连接的一维卷积层、第一批量归一化层、长短期记忆网络层、第二批量归一化层、池化层和扁平层组成,所述特征分类单元由依次连接的融合层、第一全连接层、批量归一化层、第二全连接层、激活函数层、丢弃层和softmax函数层组成,所述特征提取单元至少为两个,各特征提取单元的输出作为特征分类单元融合层的输入;
2)将若干个基础学习器的输出作为元学习器的输入,构建成Stacking模型;
3)将传感器数据同时输入各个基础学习器的各个特征提取单元的一维卷积层,并将传感感器数据输入各个基础学习器的特征分类单元的融合层,每个基础学习器的各个特征提取单元的输出数据和传感器数据经特征分类单元的融合层处理后形成新的数据流,新的数据流经特征分类单元处理后输出初步分类概率值;各个基础学习器的输出作为Stacking模型的元学习器的输入,经元学习器处理后由元学习器的softmax函数层输出最终分类结果。
CN202010167099.XA 2020-03-11 2020-03-11 基于Stack集成神经网络的传感器数据分类方法 Pending CN111291832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010167099.XA CN111291832A (zh) 2020-03-11 2020-03-11 基于Stack集成神经网络的传感器数据分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010167099.XA CN111291832A (zh) 2020-03-11 2020-03-11 基于Stack集成神经网络的传感器数据分类方法

Publications (1)

Publication Number Publication Date
CN111291832A true CN111291832A (zh) 2020-06-16

Family

ID=71020701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010167099.XA Pending CN111291832A (zh) 2020-03-11 2020-03-11 基于Stack集成神经网络的传感器数据分类方法

Country Status (1)

Country Link
CN (1) CN111291832A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857352A (zh) * 2020-07-30 2020-10-30 太原科技大学 一种基于想象式脑机接口的手势识别方法
CN112793797A (zh) * 2021-02-03 2021-05-14 东航技术应用研发中心有限公司 一种飞机着陆弹跳预警方法和系统
CN112990437A (zh) * 2021-03-24 2021-06-18 厦门吉比特网络技术股份有限公司 一种基于因果多输出的强化学习神经网络及其构建方法
CN113361269A (zh) * 2021-06-11 2021-09-07 南京信息工程大学 一种用于文本情感分类的方法
CN113422720A (zh) * 2021-06-22 2021-09-21 河北卓智电子技术有限公司 基于边缘计算网关的异常检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597539A (zh) * 2018-02-09 2018-09-28 桂林电子科技大学 基于参数迁移和语谱图的语音情感识别方法
CN108959566A (zh) * 2018-07-04 2018-12-07 哈尔滨工业大学 一种基于Stacking集成学习的医疗文本去隐私方法和系统
CN110287320A (zh) * 2019-06-25 2019-09-27 北京工业大学 一种结合注意力机制的深度学习多分类情感分析模型
CN110348624A (zh) * 2019-07-04 2019-10-18 内蒙古工业大学 一种基于Stacking集成策略的沙尘暴等级预测方法
CN110414554A (zh) * 2019-06-18 2019-11-05 浙江大学 一种基于多模型改进的Stacking集成学习鱼类识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597539A (zh) * 2018-02-09 2018-09-28 桂林电子科技大学 基于参数迁移和语谱图的语音情感识别方法
CN108959566A (zh) * 2018-07-04 2018-12-07 哈尔滨工业大学 一种基于Stacking集成学习的医疗文本去隐私方法和系统
CN110414554A (zh) * 2019-06-18 2019-11-05 浙江大学 一种基于多模型改进的Stacking集成学习鱼类识别方法
CN110287320A (zh) * 2019-06-25 2019-09-27 北京工业大学 一种结合注意力机制的深度学习多分类情感分析模型
CN110348624A (zh) * 2019-07-04 2019-10-18 内蒙古工业大学 一种基于Stacking集成策略的沙尘暴等级预测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857352A (zh) * 2020-07-30 2020-10-30 太原科技大学 一种基于想象式脑机接口的手势识别方法
CN112793797A (zh) * 2021-02-03 2021-05-14 东航技术应用研发中心有限公司 一种飞机着陆弹跳预警方法和系统
CN112990437A (zh) * 2021-03-24 2021-06-18 厦门吉比特网络技术股份有限公司 一种基于因果多输出的强化学习神经网络及其构建方法
CN112990437B (zh) * 2021-03-24 2024-05-14 厦门吉比特网络技术股份有限公司 一种基于因果多输出的强化学习神经网络及其构建方法
CN113361269A (zh) * 2021-06-11 2021-09-07 南京信息工程大学 一种用于文本情感分类的方法
CN113361269B (zh) * 2021-06-11 2023-07-18 南京信息工程大学 一种用于文本情感分类的方法
CN113422720A (zh) * 2021-06-22 2021-09-21 河北卓智电子技术有限公司 基于边缘计算网关的异常检测方法
CN113422720B (zh) * 2021-06-22 2023-04-25 河北卓智电子技术有限公司 基于边缘计算网关的异常检测方法

Similar Documents

Publication Publication Date Title
CN111291832A (zh) 基于Stack集成神经网络的传感器数据分类方法
CN108491765B (zh) 一种蔬菜图像的分类识别方法及系统
JP2925435B2 (ja) 入力分類方法、トレーニング方法、調整方法、及び装置
CN107368807A (zh) 一种基于视觉词袋模型的监控视频车型分类方法
CN107292350A (zh) 大规模数据的异常检测方法
CN108491864B (zh) 基于自动确定卷积核大小卷积神经网络的高光谱图像分类
CN110161388B (zh) 一种高压设备的故障类型识别方法及其系统
CN110636445B (zh) 基于wifi的室内定位方法、装置、设备及介质
CN109993236A (zh) 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
CN104834940A (zh) 一种基于支持向量机的医疗影像检查疾病分类方法
CN108573209A (zh) 一种基于人脸的单模型多输出的年龄性别识别方法及系统
CN111125469B (zh) 一种社交网络的用户聚类方法、装置以及计算机设备
CN113077444A (zh) 一种基于cnn的超声无损检测图像缺陷分类方法
CN112926645B (zh) 一种基于边缘计算的窃电检测方法
CN109858972B (zh) 广告点击率的预测方法和装置
CN111044287A (zh) 一种基于概率输出弹性凸包的滚动轴承故障诊断方法
JP2925434B2 (ja) 入力分類方法、トレーニング方法、及び装置
US8572071B2 (en) Systems and methods for data transformation using higher order learning
Zhang et al. A fault diagnosis method of power transformer based on cost sensitive one-dimensional convolution neural network
CN107220656A (zh) 一种基于自适应特征降维的多标记数据分类方法
CN107578063B (zh) 基于快速选取地标点的图像谱聚类方法
Cheung et al. Local kernel regression score for selecting features of high-dimensional data
CN107729918B (zh) 基于代价敏感支持向量机的元胞自动机涌现现象的分类方法
CN112541530B (zh) 针对聚类模型的数据预处理方法及装置
CN110210412B (zh) 一种基于深度学习和多示例学习的高光谱影像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616