CN112990618A - 一种工业物联网中基于机器学习方法的预测方法 - Google Patents

一种工业物联网中基于机器学习方法的预测方法 Download PDF

Info

Publication number
CN112990618A
CN112990618A CN201911213612.8A CN201911213612A CN112990618A CN 112990618 A CN112990618 A CN 112990618A CN 201911213612 A CN201911213612 A CN 201911213612A CN 112990618 A CN112990618 A CN 112990618A
Authority
CN
China
Prior art keywords
output
layer
neural network
error
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911213612.8A
Other languages
English (en)
Inventor
杨波
江元
魏军
李策
苏蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd
Priority to CN201911213612.8A priority Critical patent/CN112990618A/zh
Publication of CN112990618A publication Critical patent/CN112990618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种工业物联网中基于机器学习方法的预测方法，所述方法包括步骤1、将工艺参数以及环境参数作为输入，并将生产过程关注的关键性能指标作为输出；步骤2、根据步骤1中的输入输出数据采用BP神经网络算法建立训练模型；步骤3、基于建立的训练模型利用当前输入对输出结果进行预测，从而对关键性能指标进行预警及预处理操作。本发明利用真实的工业物联网数据进行了仿真和验证，证明了基于BP神经网络的预测方法性能优于线性回归预测技术。

Description

一种工业物联网中基于机器学习方法的预测方法
技术领域
本发明属于工业物联网技术领域，特别是涉及一种工业物联网中基于机器学习方法的预测方法。
背景技术
面对各类应用带来的数据规模指数及增长，利用传统人工设置假设前提并利用统计等方法来有效发现数据中规律越来越不现实，同时数据量的爆发式增长也为机器学习方法的发展和大规模应用塑造了有利的前提条件。在金融和互联网领域如用户信用状况评价、计算广告、智能推荐、机器翻译、自然语言识别乃至无人驾驶领域都取得了突破性的进展。
工业互联网技术伴随工业化信息化的融合得到了长足的发展。虽然针对不同客体物联网应用各不相同，但站在数据及信息采集、通信传输、处理与有效使用的过程来看，可以大致将物联网分为四层：感知层、传输层、数据层及应用层。其中数据层实现数据的汇聚、管理及分析处理等相关工作，工业互联网数据实时性要求高、数据量大、数据结构复杂并异构等特点，有效的对数据进行相关的加工的相关算法是工业智能系统关键技术，也是主要工业国未来竞争力的重要体现。
发明内容
本发明目的是为了解决现有技术中的问题，提出了一种工业物联网中基于机器学习方法的预测方法。
本发明是通过以下技术方案实现的，本发明提出一种工业物联网中基于机器学习方法的预测方法，所述方法包括以下步骤：
步骤1、将工艺参数以及环境参数作为输入，并将生产过程关注的关键性能指标作为输出；
步骤2、根据步骤1中的输入输出数据采用BP神经网络算法建立训练模型；
步骤3、基于建立的训练模型利用当前输入对输出结果进行预测，从而对关键性能指标进行预警及预处理操作。
进一步地，在步骤2中，所述BP神经网络包括输入层、隐层和输出层三层结构；神经网络的训练过程包括正向传播的代价函数计算过程和基于代价或误差结果的反向传播过程；前者数据通过输入层经由隐层到达输出层，这一过程逐级对数据进行处理，并通过比较实际输出结果和期望结果进行误差计算；在反向传播过程中，对正向过程中计算得到的误差进行反向传播，从而自适应调整各神经元的加权值及阈值，从而降低误差值并使其最小化。
进一步地，所述BP神经网络算法具体为：
输入层同隐层间的加权值为vki，隐层同输出层之间的加权值为wjk，隐层传递函数为f1，输出层传递函数为f2；从而，隐层节点与输出层结点的输出分别为：
Figure BDA0002298853570000021
Figure BDA0002298853570000022
有p个学习样本x1,x2,...,xp，设样本l通过神经网络正向传播得到的实际输出为yj l，而相应期望输出为tj l，那么有，样本l真实输出值与期望输出值之间的误差为：
Figure BDA0002298853570000023
p个样本产生的全局误差为：
Figure BDA0002298853570000024
那么权值的改变量为：
Figure BDA0002298853570000025
其中，η为学习率，需要根据应用选取合适的值；若η选取过大则网络不稳定，η过小则会收敛速度过慢学习周期过长；
定义误差信号：
Figure BDA0002298853570000026
其中，Sj为输出层神经元求和单元的净输出；
Figure BDA0002298853570000027
Figure BDA0002298853570000031
根据式(10)-(12)有，
Figure BDA0002298853570000032
又，
Figure BDA0002298853570000033
所以有，
Figure BDA0002298853570000034
由式(9)和式(15)，可知，调整输出层权值改变量为：
Figure BDA0002298853570000035
同理，易知隐层权值改变量为，
Figure BDA0002298853570000036
通过改变隐层各个神经元的权值即达到构建整个网络的目的。
进一步地，所述学习率η取值为0.01至0.8之间。
本发明的有益效果：
本发明在工业互联网环境下，工业智能系统在训练阶段利用有监督的机器学习方法，将工艺参数以及环境参数作为输入，并将生产过程关注的关键性能指标作为输出，从而对生产线复杂系统进行建模；在生产阶段利用训练阶段的系统模型及当前输入对关键性能指标进行预测。本发明分别利用多元线性回归和非线性的BP神经网络方法进行建模，并利用当前输入对输出结果进行预测，从而可以对关键性能指标进行预警及预处理操作。本发明还利用真实的工业物联网数据进行了仿真和验证，证明了基于BP神经网络的预测方法性能优于线性回归预测技术。
附图说明
图1为本发明所述工业物联网中基于机器学习方法的预测方法流程图；
图2为反向传播神经网络的学习过程示意图；
图3为利用多元线性回归方法在模型训练流程的输出结果示意图；其中(a)为y1的拟合值与真实值结果，(b)为y2的真实值与拟合值结果；
图4为利用多元线性回归方法在模型工作流程的验证结果示意图；其中(a)为y1的预测值与真实值之间的残差，(b)为y2的预测值与真实值之间的残差；
图5为利用BP神经网络方法在模型训练流程的输出结果示意图；其中(a)为y1的拟合值与真实值结果，(b)为y2的真实值与拟合值结果；
图6为利用多元线性回归方法在模型训练应用流程的验证结果示意图；其中(a)为y1的预测值与真实值之间的残差，(b)为y2的预测值与真实值之间的残差。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，本发明提出一种工业物联网中基于机器学习方法的预测方法，所述方法包括以下步骤：
步骤1、将工艺参数以及环境参数作为输入，并将生产过程关注的关键性能指标作为输出；
步骤2、根据步骤1中的输入输出数据采用BP神经网络算法建立训练模型；
步骤3、基于建立的训练模型利用当前输入对输出结果进行预测，从而对关键性能指标进行预警及预处理操作。
结合图2，在步骤2中，所述BP神经网络包括输入层、隐层和输出层三层结构；神经网络的训练过程包括正向传播的代价函数计算过程和基于代价或误差结果的反向传播过程；前者数据通过输入层经由隐层到达输出层，这一过程逐级对数据进行处理，并通过比较实际输出结果和期望结果进行误差计算；在反向传播过程中，对正向过程中计算得到的误差进行反向传播，从而自适应调整各神经元的加权值及阈值，从而降低误差值并使其最小化。
所述BP神经网络算法具体为：
输入层同隐层间的加权值为vki，隐层同输出层之间的加权值为wjk，隐层传递函数为f1，输出层传递函数为f2；从而，隐层节点与输出层结点的输出分别为：
Figure BDA0002298853570000051
Figure BDA0002298853570000052
有p个学习样本x1,x2,...,xp，设样本l通过神经网络正向传播得到的实际输出为yj l，而相应期望输出为tj l，那么有，样本l真实输出值与期望输出值之间的误差为：
Figure BDA0002298853570000053
p个样本产生的全局误差为：
Figure BDA0002298853570000054
那么权值的改变量为：
Figure BDA0002298853570000055
其中，η为学习率，需要根据应用选取合适的值；若η选取过大则网络不稳定，η过小则会收敛速度过慢学习周期过长；所述学习率η取值为0.01至0.8之间，还可以根据梯度大小自适应设置。
定义误差信号：
Figure BDA0002298853570000056
其中，Sj为输出层神经元求和单元的净输出；
Figure BDA0002298853570000057
Figure BDA0002298853570000058
根据式(10)-(12)有，
Figure BDA0002298853570000059
又，
Figure BDA0002298853570000061
所以有，
Figure BDA0002298853570000062
由式(9)和式(15)，可知，调整输出层权值改变量为：
Figure BDA0002298853570000063
同理，易知隐层权值改变量为，
Figure BDA0002298853570000064
通过改变隐层各个神经元的权值即达到构建整个网络的目的。
利用多元线性回归方法和本发明所述方法对物联网数据分别进行性能仿真。
所述多元线性回归方法具体为：
回归分析(regression analysis)是由高尔顿(Galton)在19世纪末提出，其中最简便的分析方法——线性回归方法是通过最小二乘法对线性回归方程进行求解，从而得到一个或数个自变量同因变量之间简单线性关系进行建模的一种回归分析。单自变量的回归分析也被叫做简单线性回归。然而在具体应用中，某个因变量通常会受到多个因素的影响，简单的单独变量的回归方法不足以达到解决问题的目的，所以引入处理多个变量的多元线性回归的方法，大于一个自变量情况的叫做多元线性回归(multivariate linearregression modeling，MLRM)。
多元线性回归的模型的表达式如下：
Y＝β0+β1x1+β2x2+...+βpxp+ε,ε～N(0,σ2) (1)
其中，x1,x2,...,xp是p个自变量，p≥2，Y是因变量，β0,β1,β2,...,βp是p+1个模型参数，ε为随机误差；
若进行n次观测，采集到的n组数据样本为xi1,xi2,...,xip,Yi(i＝0,1,…,n,n>p),用矩阵的形式把这n次得到的观测值表示如下：
Figure BDA0002298853570000071
那么，称Y＝Xβ+ε为线性回归的数据模型，X是设计矩阵，ε是误差向量，须满足随机条件；
线性回归的目的则是找出使得关于x1,x2,...,xp的线性函数
E(Y)＝β0+β1x1+β2x2+...+βpxp (3)的均方误差Q(β)＝||Y-Xβ||2最小的无偏估计，即回归方程：
Figure BDA0002298853570000072
β的最小二乘估计为
Figure BDA0002298853570000073
求出Y的无偏估计量。
本发明采用一组7输入2输出的食品工业物联网数据，输入为7项由工业物联网中传感器采集到的性能指标，分别为：温度、湿度、烘干时间、原件配比、各原料加工时间等环境及工业参数，而输出值y1为产品的含水量和y2某营养含量。数据集规模为5000条，分别用多元线性回归模型及BP神经网络模型对数据进行拟合并进行趋势分析，通过拟合的模型对数据进行预测检验，并用均方误差(MSE)对两种不同模型的性能进行评估。其中用3725条进行模型学习，1225条进行验证。
图3为利用多元线性回归方法在模型训练流程的输出结果，纵坐标为关键指标数值，横坐标为验证数据集的数据记录索引。可以看到y1和y2的拟合值除了个别尖峰值外，均收敛于真实值。
图4为利用多元线性回归方法在模型工作流程的验证结果，纵坐标为关键指标的预测值与真实值的残差，横坐标为验证数据集的数据记录索引。可以看到残差基本为0，但在较多的离散点上，残差值较大，影响了总体的预测性能。
图5为利用BP神经网络方法在模型训练流程的输出结果。可以看到利用非线性模型条件下，y1和y2的拟合值除了个别尖峰值外，也均收敛于真实值。
图6为利用多元线性回归方法在模型训练应用流程的验证结果。可以看到残差基本为0，同线性多元回归模型相比较，残差较大的峰值点显著减少，预测结果明显好于线性方法。
表1多元线性回归模型与BP神经网络模型性能比较
MSE(y<sub>1</sub>/y<sub>2</sub>) 多元线性回归模型 BP神经网络模型
训练阶段 10.0/20.5 7.5/11.1
工作阶段 9.9/23.1 9.3/14.5
表1为多元线性回归模型同BP神经网络模型训练和工作阶段的均方误差性能的定量比较，可以看到无论在训练阶段还是工作阶段非线性的BP神经网络模型均能取得更好的均方误差性能。特别是输出值y2，相对线性模型，神经网络模型分别取得43％和37％的改善。
以上对本发明所提出的一种工业物联网中基于机器学习方法的预测方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种工业物联网中基于机器学习方法的预测方法，其特征在于：所述方法包括以下步骤：
步骤1、将工艺参数以及环境参数作为输入，并将生产过程关注的关键性能指标作为输出；
步骤2、根据步骤1中的输入输出数据采用BP神经网络算法建立训练模型；
步骤3、基于建立的训练模型利用当前输入对输出结果进行预测，从而对关键性能指标进行预警及预处理操作。
2.根据权利要求1所述的方法，其特征在于：在步骤2中，所述BP神经网络包括输入层、隐层和输出层三层结构；神经网络的训练过程包括正向传播的代价函数计算过程和基于代价或误差结果的反向传播过程；前者数据通过输入层经由隐层到达输出层，这一过程逐级对数据进行处理，并通过比较实际输出结果和期望结果进行误差计算；在反向传播过程中，对正向过程中计算得到的误差进行反向传播，从而自适应调整各神经元的加权值及阈值，从而降低误差值并使其最小化。
3.根据权利要求2所述的方法，其特征在于：所述BP神经网络算法具体为：
输入层同隐层间的加权值为vki，隐层同输出层之间的加权值为wjk，隐层传递函数为f1，输出层传递函数为f2；从而，隐层节点与输出层结点的输出分别为：
Figure FDA0002298853560000011
Figure FDA0002298853560000012
有p个学习样本x1,x2,...,xp，设样本l通过神经网络正向传播得到的实际输出为yj l，而相应期望输出为tj l，那么有，样本l真实输出值与期望输出值之间的误差为：
Figure FDA0002298853560000013
p个样本产生的全局误差为：
Figure FDA0002298853560000014
那么权值的改变量为：
Figure FDA0002298853560000021
其中，η为学习率，需要根据应用选取合适的值；若η选取过大则网络不稳定，η过小则会收敛速度过慢学习周期过长；
定义误差信号：
Figure FDA0002298853560000022
其中，Sj为输出层神经元求和单元的净输出；
Figure FDA0002298853560000023
Figure FDA0002298853560000024
根据式(10)-(12)有，
Figure FDA0002298853560000025
又，
Figure FDA0002298853560000026
所以有，
Figure FDA0002298853560000027
由式(9)和式(15)，可知，调整输出层权值改变量为：
Figure FDA0002298853560000028
同理，易知隐层权值改变量为，
Figure FDA0002298853560000029
通过改变隐层各个神经元的权值即达到构建整个网络的目的。
4.根据权利要求3所述的方法，其特征在于：所述学习率η取值为0.01至0.8之间。
CN201911213612.8A 2019-12-02 2019-12-02 一种工业物联网中基于机器学习方法的预测方法 Pending CN112990618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911213612.8A CN112990618A (zh) 2019-12-02 2019-12-02 一种工业物联网中基于机器学习方法的预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911213612.8A CN112990618A (zh) 2019-12-02 2019-12-02 一种工业物联网中基于机器学习方法的预测方法

Publications (1)

Publication Number Publication Date
CN112990618A true CN112990618A (zh) 2021-06-18

Family

ID=76331227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911213612.8A Pending CN112990618A (zh) 2019-12-02 2019-12-02 一种工业物联网中基于机器学习方法的预测方法

Country Status (1)

Country Link
CN (1) CN112990618A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113848706A (zh) * 2021-09-13 2021-12-28 无锡宏源机电科技股份有限公司 一种丝线张力检测方法、控制方法及控制装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172560A1 (zh) * 2014-05-16 2015-11-19 华南理工大学 基于bp神经网络的中央空调冷负荷的预测方法
CN106980897A (zh) * 2017-02-27 2017-07-25 浙江工业大学 一种基于变学习率的bp人工神经网络的喷射器性能参数预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172560A1 (zh) * 2014-05-16 2015-11-19 华南理工大学 基于bp神经网络的中央空调冷负荷的预测方法
CN106980897A (zh) * 2017-02-27 2017-07-25 浙江工业大学 一种基于变学习率的bp人工神经网络的喷射器性能参数预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周晓铭;陶俊才;: "基于BP神经网络的线切割工艺指标预测", 微计算机信息, no. 07 *
金声琅;姜杨日;: "改进型B-P神经网络优选木耳牛奶发酵酸乳工艺参数的研究", 乳业科学与技术, no. 02, pages 2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113848706A (zh) * 2021-09-13 2021-12-28 无锡宏源机电科技股份有限公司 一种丝线张力检测方法、控制方法及控制装置
CN113848706B (zh) * 2021-09-13 2024-01-12 无锡宏源机电科技股份有限公司 一种丝线张力检测方法、控制方法及控制装置

Similar Documents

Publication Publication Date Title
CN109960759B (zh) 基于深度神经网络的推荐系统点击率预测方法
CN108448610B (zh) 一种基于深度学习的短期风功率预测方法
CN108764540B (zh) 基于并行lstm串联dnn的供水管网压力预测方法
CN111881342A (zh) 一种基于图孪生网络的推荐方法
Gaur Neural networks in data mining
CN108197773A (zh) 电力负荷预测方法、电力负荷预测装置及终端设备
CN107622307A (zh) 一种基于深度学习的无向网络连边权重预测方法
CN105760344B (zh) 一种化学放热反应的分布式主元分析神经网络建模方法
CN104050547A (zh) 一种油田开发规划方案非线性优选决策方法
CN112578089B (zh) 一种基于改进tcn的空气污染物浓度预测方法
Abbas et al. Curve fitting predication with artificial neural networks: A comparative analysis
CN113052373A (zh) 一种基于改进elm模型的月径流变化趋势预测方法
CN112650933A (zh) 一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法
CN115099519A (zh) 一种基于多机器学习模型融合的油井产量预测方法
CN110289987B (zh) 基于表征学习的多智能体系统网络抗攻击能力评估方法
CN112990618A (zh) 一种工业物联网中基于机器学习方法的预测方法
Chen et al. Adaptive hierarchical spatiotemporal network for traffic forecasting
Juuso Tuning of large-scale linguistic equation (LE) models with genetic algorithms
CN113128666A (zh) 基于Mo-S-LSTMs模型的时间序列多步预测方法
CN112884513A (zh) 基于深度因子分解机的营销活动预测模型结构和预测方法
Muqtadir et al. The Implementation of Grey Forecasting Model for Forecast Result’s Food Crop Agricultural
Heydari et al. New formulation for representing higher order tsk fuzzy systems
CN116663745A (zh) 一种基于pca_ dwt的lstm流域水流量预测方法
CN114202063A (zh) 一种基于遗传算法优化的模糊神经网络温室温度预测方法
CN112561599A (zh) 一种融合域特征交互的基于注意力网络学习的点击率预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination