CN106909972A - 一种传感器数据校准模型的学习方法 - Google Patents

一种传感器数据校准模型的学习方法 Download PDF

Info

Publication number
CN106909972A
CN106909972A CN201710014247.2A CN201710014247A CN106909972A CN 106909972 A CN106909972 A CN 106909972A CN 201710014247 A CN201710014247 A CN 201710014247A CN 106909972 A CN106909972 A CN 106909972A
Authority
CN
China
Prior art keywords
learning device
learner
linear
round
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710014247.2A
Other languages
English (en)
Other versions
CN106909972B (zh
Inventor
董玮
卜佳俊
高艺
陈纯
陈远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710014247.2A priority Critical patent/CN106909972B/zh
Publication of CN106909972A publication Critical patent/CN106909972A/zh
Application granted granted Critical
Publication of CN106909972B publication Critical patent/CN106909972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

传感器数据校准模型的学习方法，步骤为：1.选择合适的线性学习器和非线性学习器分别针对初始样本进行训练，利用权重二次学习得到的权重判断线性学习器和非线性学习器的重要性。2.通过相关理论控制第一轮学习器的学习程度，线性学习器通过信息准则选择合适的特征子集，非线性学习器通过随机森林的特征选择方法选择合适的特征子集。3.选择重要性强的学习器作为第一轮学习器，第一轮学习器针对初始样本进行训练，第二轮学习器针对第一轮学习器学习后的残差进行学习。

Description

一种传感器数据校准模型的学习方法
技术领域
本发明涉及一种传感器数据校准模型的学习方法，特别是线性学习器和非线性学习器的重要性判定、学习程度的控制方法以及线性学习器和非线性学习器的结合方法。
背景技术
由于受到时间偏移，环境因素，移动场景等方面的影响，传感器的数据较真实值之间具有较大的偏差。Air-cloud使用实现了面向每个人的空气质量监测系统，其中实验表明PM2.5传感器的原始数据和真实值之间的关系是非线性的。融合了温湿度特征，Air-cloud使用基于线性人工神经网络的校准方法，并在云端实现了数据校准的模型。基于神经网络的多元线性回归模型相对于一元线性回归有了较大提升，但校准后数据相对于真实值偏差仍然较大。目前数据校准方法都是基于多元线性回归模型，在粒子传感器的数据校准上表现较差。
机器学习的回归方法可以分为线性回归方法和树回归方法。线性回归方法可以分为最小二乘回归，岭回归，基于人工神经网络的多元线性回归。性回归方法可以有效的拟合所有样本点(局部加权线性回归除外)。当数据拥有众多特征并且特征之间关系十分复杂时，构建全局模型的想法一个是困难一个是笨拙。此外，实际中很多问题为非线性的，例如常见到的分段函数，不可能用全局线性模型来进行拟合。树回归将数据集切分成多份易建模的数据，然后利用线性回归进行建模和拟合。最经典的树回归是CART(classificationand regression trees，分类回归树)算法。利用集成学习将多个基回归器组合，可以起到增强的作用。目前随机森林回归和渐进梯度回归树(GBRT)。
针对多元线性回归模型在数据校准中缺点，本文提出了一种传感器数据校准模型的学习方法。
发明内容
本发明要克服现有技术的上述缺点,提供了一种传感器数据校准特征的提取和评估方法。
为实现以上目的，本发明所采取的技术方案是：一种传感器数据校准模型的学习方法，包括以下步骤：
步骤1，线性学习器和非线性学习器的重要性学习，包括：
(1.1)选择学习器，选择合适的线性学习器和非线性学习器。线性学习器选择多元线性回归模型，如线性人工神经网络(ANN)和多元最小二乘；非线性学习器选择树回归模型，如CART回归树，随机森林和渐进梯度回归树(GBRT)。
(1.2)学习器的多样性增强，通过引入数据样本扰动和输入属性扰动来增强学习器的多样性。
(1.3)学习器训练，分别对线性学习器和非线性学习器进行训练。
(1.4)权重的二次学习，利用二次学习法来学习线性学习器和非线性学习的权重。
(1.5)重要性判断，通过权重的值来判断线性学习器和非线性学习器结合策略
步骤2，通过相关理论控制第一轮学习的程度，包括：
(2.1)控制第一轮学习的程度，通过输入特征子集来控制第一轮学习的程度，通过相关理论来选择合适的特征子集。
(2.1.1)线性学习器的模型选择，线性学习器的特征子集选择，通过信息准则的思想来选择合适的特征子集，信息准则给出了模型的准确率和模型的复杂性权衡的方程，选择最流行的信息准则，赤池信息量准则(AIC)。
(2.1.2)非线性学习器的模型选择，非线性学习器的特征子集选择，可以使用随机森林的特征重要性评估方法。
步骤3，线性学习和非线性学习器结合
(3.1)第一轮学习，基于步骤(1.5)中的结论，选择重要性强的学习器进行第一轮训练，通过步骤2中的方法为步骤2中的学习器选择合适的特征子集，学习出合适的第一轮学习器模型。
(3.2)生成第二轮训练样本，用学习好的第一轮学习器的学习残差结合第一轮的训练样本生成第二轮的训练样本。
(3.3)第二轮残差的学习，用重要性较弱的传感器基于第二轮的训练样本进行残差的学习。
本发明的有益效果是：本方法提出了线性学习器和非线性学习器的重要性判定方法和线性学习器和非线性学习器的结合方法。提出了控制第一轮学习程度的方法。
附图说明
图1是本发明方法的工作流程图。
具体实施方式
下面结合附图对本发明作进一步描述。本发明的具体实施方式如下：
步骤1，线性学习器和非线性学习器的重要性学习，包括：
(1.3)选择学习器，选择合适的线性学习器和非线性学习器。线性学习器选择多元线性回归模型，如线性人工神经网络(ANN)和多元最小二乘；非线性学习器选择树回归模型，如CART回归树，随机森林和渐进梯度回归树(GBRT)。
(1.4)学习器的多样性增强，通过引入数据样本扰动和输入属性扰动来增强学习器的多样性。
(1.3)学习器训练，分别对线性学习器和非线性学习器进行训练。
(1.4)权重的二次学习，利用二次学习法来学习线性学习器和非线性学习的权重。权重的二次学习采取stacking-MLS的二次学习法。
(1.5)重要性判断，通过权重的值来判断线性学习器和非线性学习器结合策略。
步骤2，通过相关理论控制第一轮学习的程度，包括：
(2.1)控制第一轮学习的程度，通过输入特征子集来控制第一轮学习的程度，通过相关理论来选择合适的特征子集。
(2.1.1)线性学习器的模型选择，线性学习器的特征子集选择，通过信息准则的思想来选择合适的特征子集，信息准则给出了模型的准确率和模型的复杂性权衡的方程，选择最流行的信息准则，赤池信息量准则(AIC)。模型限定为多元线性回归模型，AIC可简化为：
其中S代表特征子集，|S|表示特征子集的特征个数，N代表训练样本的个数
其中f是线性神经网络模型，zn是第n个训练样本的特征数据，rn是第n个训练样本的参考数据，通过AIC信息准则最小化的标准来选择特征子集。当训练样本的数据量和特征维度很大时，为了提高算法的执行效率，可以将每个特征子集计算AIC的过程并行化。同时，这里提出了一种贪心的策略来选取最优子集。具体过程如下：
1)设初始特征子集大小k为1，依次计算每单个特征的AIC值，将所有特征按照AIC的值排序，选取第一个特征作为局部最优特征子集。
2)k的值加1，选取前k个特征构成的特征子集，该特征子集的AIC值小于局部最优特征子集的AIC值，更新该特征子集为历史最优特征子集，重复2)，否则进入3)
3)输出最优特征子集
(2.1.2)非线性学习器的模型选择，非线性学习器的特征子集选择，可以使用随机森林的特征重要性评估方法。
步骤3，线性学习和非线性学习器结合
(3.1)第一轮学习，基于步骤(1.5)中的结论，选择重要性强的学习器进行第一轮训练，通过步骤2中的方法为步骤2中的学习器选择合适的特征子集，学习出合适的第一轮学习器模型。
(3.2)生成第二轮训练样本，用学习好的第一轮学习器的学习残差结合第一轮的训练样本生成第二轮的训练样本。
(3.3)第二轮残差的学习，用重要性较弱的传感器基于第二轮的训练样本进行残差的学习。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种传感器数据校准模型的学习方法，包括以下步骤：
步骤1，线性学习器和非线性学习器的重要性学习，包括：
(1.1)选择学习器，选择合适的线性学习器和非线性学习器；线性学习器选择多元线性回归模型；非线性学习器选择树回归模型；
(1.2)学习器的多样性增强，通过引入数据样本扰动和输入属性扰动来增强学习器的多样性；
(1.3)学习器训练，分别对线性学习器和非线性学习器进行训练；
(1.4)权重的二次学习，利用二次学习法来学习线性学习器和非线性学习的权重；
(1.5)重要性判断，通过权重的值来判断线性学习器和非线性学习器结合策略；
步骤2，通过相关理论控制第一轮学习的程度，包括：
(2.1)控制第一轮学习的程度，通过输入特征子集来控制第一轮学习的程度，通过相关理论来选择合适的特征子集；
(2.1.1)线性学习器的模型选择，线性学习器的特征子集选择，通过信息准则的思想来选择合适的特征子集，信息准则给出了模型的准确率和模型的复杂性权衡的方程，选择最流行的信息准则，赤池信息量准则(AIC)；
(2.1.2)非线性学习器的模型选择，非线性学习器的特征子集选择，可以使用随机森林的特征重要性评估方法；
步骤3，线性学习和非线性学习器结合；
(3.1)第一轮学习，基于步骤(1.5)中的结论，选择重要性强的学习器进行第一轮训练，通过步骤2中的方法为步骤2中的学习器选择合适的特征子集，学习出合适的第一轮学习器模型；
(3.2)生成第二轮训练样本，用学习好的第一轮学习器的学习残差结合第一轮的训练样本生成第二轮的训练样本；
(3.3)第二轮残差的学习，用重要性较弱的传感器基于第二轮的训练样本进行残差的学习。
2.根据权利要求1所述的一种传感器数据校准模型的学习方法，其特征在于在所述步骤(1.4)所述的学习器权重二次学习法，是通过staking-MLR算法来学习出线性学习器和非线性学习器的权重。
3.根据权利要求1所述的一种传感器数据校准模型的学习方法，其特征在于在所述步骤(2.2)所述的线性学习器第一轮学习程度控制方法，是通过信息准则来为线性学习器选择合适的特征子集。
CN201710014247.2A 2017-01-09 2017-01-09 一种传感器数据校准模型的学习方法 Active CN106909972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710014247.2A CN106909972B (zh) 2017-01-09 2017-01-09 一种传感器数据校准模型的学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710014247.2A CN106909972B (zh) 2017-01-09 2017-01-09 一种传感器数据校准模型的学习方法

Publications (2)

Publication Number Publication Date
CN106909972A true CN106909972A (zh) 2017-06-30
CN106909972B CN106909972B (zh) 2020-04-10

Family

ID=59207202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710014247.2A Active CN106909972B (zh) 2017-01-09 2017-01-09 一种传感器数据校准模型的学习方法

Country Status (1)

Country Link
CN (1) CN106909972B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874959A (zh) * 2018-06-06 2018-11-23 电子科技大学 一种基于大数据技术的用户动态兴趣模型建立方法
CN109583926A (zh) * 2017-09-29 2019-04-05 优估（上海）信息科技有限公司 一种二手车定价方法装置及系统
CN109631973A (zh) * 2018-11-30 2019-04-16 苏州数言信息技术有限公司 一种传感器的自动校准方法和系统
CN109668856A (zh) * 2017-10-17 2019-04-23 中国石油化工股份有限公司 预测lco加氢原料与产物的烃族组成的方法和装置
CN109668854A (zh) * 2017-10-17 2019-04-23 中国石油化工股份有限公司 预测lco加氢原料与产物的烃族组成的方法和装置
CN111712842A (zh) * 2017-12-15 2020-09-25 谷歌有限责任公司 使用监督学习细化量子位校准模型
CN117315466A (zh) * 2023-09-20 2023-12-29 北京佳格天地科技有限公司 一种生长监测管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211425A (zh) * 2007-12-21 2008-07-02 浙江大学 一种高炉炼铁专家系统决策合成方法
US8380647B2 (en) * 2009-08-14 2013-02-19 Xerox Corporation Training a classifier by dimension-wise embedding of training data
CN104050242A (zh) * 2014-05-27 2014-09-17 哈尔滨理工大学 基于最大信息系数的特征选择、分类方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211425A (zh) * 2007-12-21 2008-07-02 浙江大学 一种高炉炼铁专家系统决策合成方法
US8380647B2 (en) * 2009-08-14 2013-02-19 Xerox Corporation Training a classifier by dimension-wise embedding of training data
CN104050242A (zh) * 2014-05-27 2014-09-17 哈尔滨理工大学 基于最大信息系数的特征选择、分类方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHAKEB A. KHAN 等: "Sensor calibration and compensation using artificial neural network", 《ISA TRANSACTIONS》 *
郭华平: "一种新的组合分类器学习方法", 《计算机科学》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583926A (zh) * 2017-09-29 2019-04-05 优估（上海）信息科技有限公司 一种二手车定价方法装置及系统
CN109668856B (zh) * 2017-10-17 2021-06-11 中国石油化工股份有限公司 预测lco加氢原料与产物的烃族组成的方法和装置
CN109668856A (zh) * 2017-10-17 2019-04-23 中国石油化工股份有限公司 预测lco加氢原料与产物的烃族组成的方法和装置
CN109668854A (zh) * 2017-10-17 2019-04-23 中国石油化工股份有限公司 预测lco加氢原料与产物的烃族组成的方法和装置
CN109668854B (zh) * 2017-10-17 2021-06-11 中国石油化工股份有限公司 预测lco加氢原料与产物的烃族组成的方法和装置
CN111712842B (zh) * 2017-12-15 2023-11-28 谷歌有限责任公司 使用监督学习细化量子位校准模型
CN111712842A (zh) * 2017-12-15 2020-09-25 谷歌有限责任公司 使用监督学习细化量子位校准模型
US11829844B2 (en) 2017-12-15 2023-11-28 Google Llc Refining qubit calibration models using supervised learning
CN108874959B (zh) * 2018-06-06 2022-03-29 电子科技大学 一种基于大数据技术的用户动态兴趣模型建立方法
CN108874959A (zh) * 2018-06-06 2018-11-23 电子科技大学 一种基于大数据技术的用户动态兴趣模型建立方法
CN109631973B (zh) * 2018-11-30 2021-04-16 苏州数言信息技术有限公司 一种传感器的自动校准方法和系统
CN109631973A (zh) * 2018-11-30 2019-04-16 苏州数言信息技术有限公司 一种传感器的自动校准方法和系统
CN117315466A (zh) * 2023-09-20 2023-12-29 北京佳格天地科技有限公司 一种生长监测管理方法及系统
CN117315466B (zh) * 2023-09-20 2024-04-09 北京佳格天地科技有限公司 一种生长监测管理方法及系统

Also Published As

Publication number Publication date
CN106909972B (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN106909972A (zh) 一种传感器数据校准模型的学习方法
Mukti et al. Transfer learning based plant diseases detection using ResNet50
CN105046277B (zh) 特征显著性在图像质量评价中的鲁棒机理研究方法
CN105488528B (zh) 基于改进自适应遗传算法的神经网络图像分类方法
CN106683091B (zh) 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN104834748B (zh) 一种利用基于深度语义排序哈希编码的图像检索方法
CN104598611B (zh) 对搜索条目进行排序的方法及系统
CN107577945A (zh) Url攻击检测方法、装置以及电子设备
CN103761311B (zh) 基于多源领域实例迁移的情感分类方法
CN107229904A (zh) 一种基于深度学习的目标检测与识别方法
CN106845530A (zh) 字符检测方法和装置
CN103324954B (zh) 一种基于树结构的图像分类方法及其系统
CN106682696A (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN106339355B (zh) 一种舰载机着舰短期航迹在线预测方法
CN110321862B (zh) 一种基于紧致三元损失的行人再识别方法
CN110619059B (zh) 一种基于迁移学习的建筑物标定方法
CN107003834B (zh) 行人检测设备和方法
CN114842208A (zh) 一种基于深度学习的电网危害鸟种目标检测方法
CN109886295A (zh) 一种基于神经网络的蝴蝶识别方法及相关设备
CN109886554A (zh) 违规行为判别方法、装置、计算机设备和存储介质
CN110084245A (zh) 基于视觉注意机制强化学习弱监督图像检测方法、系统
CN113269252A (zh) 一种基于改进麻雀搜索算法优化elm的电力电子电路故障诊断方法
CN105447566B (zh) 训练装置、训练方法以及检测装置
CN107481218A (zh) 图像美感评估方法及装置
CN109840413A (zh) 一种钓鱼网站检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant