CN114253242A - 一种基于vpn的物联网云端设备数据采集系统 - Google Patents
一种基于vpn的物联网云端设备数据采集系统 Download PDFInfo
- Publication number
- CN114253242A CN114253242A CN202111571028.7A CN202111571028A CN114253242A CN 114253242 A CN114253242 A CN 114253242A CN 202111571028 A CN202111571028 A CN 202111571028A CN 114253242 A CN114253242 A CN 114253242A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- unit
- data acquisition
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000004891 communication Methods 0.000 claims abstract description 36
- 238000004519 manufacturing process Methods 0.000 claims description 44
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000007405 data analysis Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000003066 decision tree Methods 0.000 claims description 10
- 238000009795 derivation Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000000611 regression analysis Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 12
- 238000011084 recovery Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000011958 production data acquisition Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003912 environmental pollution Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32252—Scheduling production, machining, job shop
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于VPN的物联网云端设备数据采集系统，包括通信单元、数据采集单元、设备故障处理单元和产品质量预测分析单元，所述产品质量预测分析单元的工作步骤如下：S1、将当前数据输入Model0中得到一组预测数据，得到预测质量与真实质量之间的残差,残差越大，代表模型的预测能力越弱；S2、构建模型Model1去预测步骤S1的样本，目标值为步骤S1中的残差，得到新的残差。本发明中，通过部署在云端服务器中由于灾备等措施可以保证服务器的稳定运行，采集软件在云端部署使得软件的运维由线下转到云上，大大降低了厂家运维的成本，专业的运维人员可以在云端同时管理多个工厂的数据采集软件。
Description
技术领域
本发明涉及数据采集系统技术领域，尤其涉及一种基于VPN的物联网云端设备数据采集系统。
背景技术
在全面升级工业4.0的背景下，打造基于物联网平台的智能工厂成为工厂升级改造的重点，传统的物联网接入设备是通过在工厂部署网关服务器，通过本地的服务器采集厂内设备将数据上传至物联网平台进行分析处理。然而，其中存在问题有：
1、本地服务器较云端服务器比不够稳定，受环境网络等因素影响较大，会影响数据采集；
2、本地服务器需要的维护成本比较高，需要专业的运维人员，一旦出现问题，需要人员在进入厂内处理；
3、数据采集软件系统迭代升级响应困难，数据采集系统的升级需要现场在服务器上处理，造成系统升级的滞后。
发明内容
为了解决上述背景技术中所提到的技术问题，而提出的一种基于VPN的物联网云端设备数据采集系统。
为了实现上述目的，本发明采用了如下技术方案：
一种基于VPN的物联网云端设备数据采集系统，包括通信单元、数据采集单元、设备故障处理单元、数据采集预处理单元和产品质量预测分析单元，数据采集单元通过专用通信网络与工厂设备建立通信，定时采集工厂中的设备实时数据信息，采集上来的数据经过数据采集预处理单元进行处理之后上传至云端大数据分析平台，设备故障处理单元会对采集上来的数据做设备故障分析，实时反馈设备故障，云端大数据分析平台获取到数据之后，会对相应的数据进行设备产能分析、设备综合效率分析、产品质量预测、设备自定义数据的分析处理，产品质量预测分析单元的工作步骤如下：
S1、将当前数据输入Model0中得到一组预测数据，得到预测质量与真实质量之间的残差,残差越大，代表模型的预测能力越弱；
S2、构建模型Model1去预测步骤S1的样本，目标值为步骤S1中的残差，得到新的残差；
S3、构建模型Model2去预测步骤S2的样本，目标值为Model1预测的结果残差；
S4、重复步骤S3，直到模型的精确性达到要求；
所述步骤S1中构建模型的具体步骤如下：
S11、构建目标函数
假设已训练K棵决策树，则
其中fk为第k个决策树，xi为预测样本，
为最终预测值，构造的目标函数如下：
S12、迭代训练模型
在迭代过程中，损失函数
是由多个决策树共同参与，不断迭代得到的，递推训练的过程如下：
根据上述推导，可将S11中的公式简化为：
S13、用泰勒级数近似代替目标函数
根据泰勒展开式：
对S12中得到的目标函数进行泰勒展开，得到如下公式：
S14、构建树和确定树的复杂度
定义一颗树q为
其中，w是长度为T的一维向量，代表树各个叶子结点的权重，定义树q的复杂度由叶子结点和所有结点权重所组成的向量L2范数共同决定，公式如下：
将术语第j个结点的样本x划入到一个叶子结点的样本集合中，它的数学表示为：
I＝{i|q(xi)＝j}
上式即为第j个叶子结点的样本集合，由此，得到最终目标函数为：
S15、最终目标函数求极值
对S14中得到的目标函数进行求导，求极值：
令
可以得到：
作为上述技术方案的进一步描述：
还包括设备自定义数据分析单元，所述设备自定义数据分析单元的分析算法步骤如下：
S1、K-近邻算法
K-近邻算法主要是将采集得到的数据进行分类，主要用于产品质量和参数分析，分析获得不合格产品时参数的情况，算法主要根据不同特征值和数据集之间的距离来进行分类，其公式如下：
S2、岭回归
岭回归是加了二阶正则项的最小二乘，主要适用于过拟合严重或各变量之间存在多重共线性的情况：
最小二乘法公式：
岭回归增加二阶正则项：
S3、Logistics回归
对采集的数据进行回归分析，Logistics回归算法会根据现有数据对分类边界线建立回归公式，找到最佳拟合参数集，其中，
预测函数为：
Cost函数为：
根据梯度下降法求J(θ)的最小值：
Logistics回归算法首先选取一个预测函数，用来预测输入数据的判断结果，然后选取一个损失函数，该函数表示预测的输出(h)与训练数据类别(y)之间的偏差，可以是二者之间的差(h-y)或者是其他的形式，综合考虑所有训练数据的“损失”，将Cost求和或者求平均，记为J(θ)函数，表示所有训练数据预测值与实际类别的偏差，显然，J(θ)函数的值越小表示预测函数越准确(即h 函数越准确)，所以这一步需要做的是找到J(θ)函数的最小值，通过梯度下降获取J(θ)最小值。Logistics回归算法适用于数据量大，不要求预测精度高的一些参数分析，其消耗的算力少，速度快。
作为上述技术方案的进一步描述：
所述通信单元内置支持http、mqtt、modbus、opc、opcua通信协议，可支持配置rpc等定制化协议，可采集的设备类型有基于串口通讯的PLC控制的非标自动化设备，基于网口(串口)通讯的数控系统，基于标准的OPC协议通讯的自动化设备。
作为上述技术方案的进一步描述：
所述数据采集单元通过通信单元与设备建立通信，根据协议对网口信息、串口信息进行解析，获取设备的实时数据信息，生产数据采集单元根据预设的频率获取设备的运行，将采集的数据流转到设备故障处理单元和数据采集预处理单元进行处理。
作为上述技术方案的进一步描述：
包括设备故障处理单元，所述设备故障处理单元对采集上来的数据中设备运行状态和报警信息进行实时分析处理，分析系统当前状态，对于可能出现的故障进行记录和上报，并产生警报。
作为上述技术方案的进一步描述：
还包括数据采集预处理单元，所述数据采集预处理单元的工作步骤如下：
S1、元数据处理
根据不同类型数据采取不通处理策略，对采集上传的数据缺失值处理,具体的策略如下：
a.采集频率高、重要性高：删除本次采集数据，待下次采集后进行上传，防止错误数据污染关键性数据。记录最后一次错误时间，对数据错误出现频率进行统计，作为故障分析模块的参考指标。
b.采集频率高、重要性低：作为垃圾数据丢弃，待下次采集；
c.采集频率低、重要性高：等待短暂时间之后主动发起二次采集请求，对于错误数据和时间上传服务器进行记录，作为故障分析模块的参考指标；
d.采集频率低、重要性低：根据一段时间内数据的计算值，均值、中位数和众数等统计学方法，对缺失值进行填充；
S2、附加信息的填充,对设备采集的原始数据增加标签信息；
S3、数据格式归一化，对设备采集的原始数据做归一化处理，统一数据结构格式。
作为上述技术方案的进一步描述：
包括设备产能分析单元、设备数据采集单元和产能分析单元；
所述设备产能分析单元作用是优化工厂的生产过程和合理的制订工程的排产计划；
所述设备数据采集单元通过其通信单元将采集的数据推送到云端大数据处理平台；
所述产能分析单元获取设备数据中的运转时间和产量数据，根据系统预设的一系列公式计算得到产品的标准工时并记录数据库，工厂执行排产计划时，根据产品标准工时可以准确预测交货时间。
作为上述技术方案的进一步描述：
还包括设备综合效率分析单元，所述设备综合效率分析单元帮助企业持续改善设备生产绩效的重要指标，帮助管理者评估设备产能，发现和减少生产中的损失。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，通过部署在云端服务器中由于灾备等措施可以保证服务器的稳定运行，采集软件在云端部署使得软件的运维由线下转到云上，大大降低了厂家运维的成本，专业的运维人员可以在云端同时管理多个工厂的数据采集软件。
2、本发明中，云端的采集软件通过同意的版本控制，可以及时的更新迭代，由于云端的操作系统和软件环境统一，数据采集软件的开发可以专注在效率和功能上，不需要考虑系统兼容性问题。
3、本发明中，通过实时的云端数据采集，远程动态监控，大数据后台智能决策等手段，再通过网页将数据分析的结果可视化的展示，形成制造过程透明化，降低制造成本、提高生产效率，具有高度的智能性和集成性。
附图说明
图1示出了根据本发明实施例提供的一种基于VPN的物联网云端设备数据采集系统的通信网络搭建方案的结构示意图；
图2示出了根据本发明实施例提供的一种基于VPN的物联网云端设备数据采集系统的模块结构示意图；
图3示出了根据本发明实施例提供的一种基于VPN的物联网云端设备数据采集系统的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
全面推进是是制造强国的战略是我国工业领域发展的方向，加快工厂升级改造，打造智能化工厂成为工业发展的重中之重。而工厂设备的数据采集则是智能化工厂的基石。通过部署在工厂的网络将设备的数据信息采集上传至大数据平台，进行分析和建模，挖掘相关的细节，进而提高和优化工厂的生产效率，实现智能工厂。在工厂的生产运作过程中，生产设备的自动化数据采集可以及时捕捉生产过程的第一手信息，能耗监控设备的数据采集可以获得企业的能耗和环保的数据，在各类设备数据综合的分析下，提高生产效率和降低能耗、环境污染可以整合成一个问题进行处理，从而改善生产制造过程，大大提升工厂效率和降低环境污染。
现有的工厂数据采集，往往通过部署在工厂的软件系统采集设备的生产的数据，进行本地化的数据处理和展示或是上传至数据处理平台进行处理。这种方式对企业的本地化服务器的软件以及硬件维护提出很高的要求，造成企业的运营成本的增加。同时现有物联网平台，对于一线生产数据的自动化采集、统计、分析和反馈已经是一个完整的闭环路线。云端大数据的分析结果会随时对生产过程中的数据采集提出新的要求。现有的数据采集软件的由于部署在工厂，升级往往具有滞后性，无法及时响应云端的要求。
请参阅图1-3，本发明是一种用于动态采集分析反馈于一体工厂设备的数据采集方案，共分为三个模块，包括专有通信网络搭建方案、设备数据采集软件、大数据智能分析处理。
专有通信网络搭建方案包括联网设备和VPN专用通信隧道搭建。采集软件包括通信单元、生产数据采集单元、设备故障处理单元、数据采集预处理单元。大数据智能分析处理包括设备产能分析单元、设备综合效率(OEE)和效率损失分析单元、设备自定义数据分析单元、产品质量预测系统分析单元。
通信单元内置支持http、mqtt、modbus、opc、opcua通信协议，可支持配置rpc等定制化协议，可采集的设备类型有基于串口通讯的PLC控制的非标自动化设备，基于网口(串口)通讯的数控系统，基于标准的OPC协议通讯的自动化设备，基于串口的监控采集设备，智能电表系统、温度传感系统等设备。
数据采集单元
通过通信单元与设备建立通信，根据协议对网口信息、串口信息进行解析，获取设备的实时数据信息。生产数据采集单元根据预设的频率获取设备的运行，将采集的数据流转到设备故障处理单元和数据采集预处理单元进行处理。
设备故障处理单元
该单元对采集上来的数据中设备运行状态和报警信息进行实时分析处理，分析系统当前状态，对于可能出现的故障进行记录和上报，并产生警报。
数据采集预处理单元
步骤一、元数据处理。根据不同类型数据采取不通处理策略，对采集上传的数据缺失值处理，具体的策略如下：
采集频率高、重要性高：删除本次采集数据，待下次采集后进行上传，防止错误数据污染关键性数据。记录最后一次错误时间，对数据错误出现频率进行统计，作为故障分析模块的参考指标。
采集频率高、重要性低：作为垃圾数据丢弃，待下次采集。
采集频率低、重要性高：等待短暂时间之后主动发起二次采集请求。对于错误数据和时间上传服务器进行记录，作为故障分析模块的参考指标。
采集频率低、重要性低：根据一段时间内数据的计算值，均值、中位数和众数等统计学方法，对缺失值进行填充。
步骤二、附加信息的填充，对设备采集的原始数据增加标签信息，如时间戳、设备ID和一些标记信息。
步骤三、数据格式归一化。对设备采集的原始数据做归一化处理，统一数据结构格式。
大数据智能分析处理
大数据智能分析处理模块包括设备产能分析单元、设备综合效率(OEE)单元、设备自定义数据分析单元、产品质量预测分析单元。
设备产能分析单元
产能分析单元主要作用是优化工厂的生产过程和合理的制订工程的排产计划。设备数据采集软件通过其通信单元将采集的数据推送到云端大数据处理平台。产能分析单元获取设备数据中的运转时间和产量数据，根据系统预设的一系列公式计算得到产品的标准工时并记录数据库。工厂执行排产计划时，根据产品标准工时可以准确预测交货时间。以下以流水线机械作业为例，介绍产能分析单元计算产品标准工时的过程。
标准工时(ST)＝上料传送时间(TT)+机械作业时间(MT)+宽放时间(AT)
上料传送时间：料放上传送带开始到物料进入机场加工的时间。通过传送带的感应器可以记录设备上传送带的时间t1和出传送带的时间t2，t2-t1就是上料传送时间。
机械作业时间：物料进入机床进行加工的时间。从进入机床加工的时间t1 到加工完成停止作业时间t2，t2-t1就是机床的机械作业时间。
宽放时间：是指产品完成当前工序之后到下一个工序之间的滞留时间
假设此时有一批待生产产品P，数量为N，则该批次产品的总计时长为：
T总＝N*(TT+MT+AT)
该批次产品的最终生产合格率为E，则该产品的标准工时为：
对于产品P的标准工时ST会记录到产品数据库中。当有新的一批产品P生产加工之后，我们根据数据采集的结果计算出当前批次标准工时为ST1，此时我们更新：
其中k为影响系数，一般设为0.5。
设备综合效率(OEE)分析单元
OEE是帮助企业持续改善设备生产绩效的重要指标，帮助管理者评估设备产能，发现和减少生产中的损失。OEE用来表现实际的生产能力相对于理论产能的比率，为了计算OEE，首先定义设备的可用性、表现性和质量指数三个概念。其中可用性用来考虑停工所带来的损失，包括引起计划生产发生停工的任何事件，如设备故障，原料短缺以及生产方法的改变等。其定义如下：
可用性＝实际生产实际/计划生产时间
表现性考虑生产速度上的损失。包括任何导致生产不能以最大速度运行的因素，如设备的磨损，材料的不合格以及操作人员的失误。其定义如下：
表现性＝净生产时间/实际生产时间
质量指数用来评价质量的损失，反映没有满足质量要求的产品：
质量指数＝合格品/总产量
设备综合效率和效率损失分析单元根据数据采集软件推送上来的数据，通过上述公式计算得到可用性、表现性和质量指数，再根据OEE的计算公式得到设备的综合效率。
OEE＝可用性*表现性*质量指数
设备自定义数据分析单元
对于软件采集获取不同类型数据，自定义数据分析单元可以选用不同的处理算法。本单元内置的数据分析算法包括如下：
K-近邻算法
K-近邻算法主要是将采集得到的数据进行分类，主要用于产品质量和参数分析，分析获得不合格产品时参数的情况，算法主要根据不同特征值和数据集之间的距离来进行分类。其公式如下：
K近邻算法的优点是精度高、对异常值不敏感、无数据输入假定，适用于数据范围为数值型和标称型的采集数据。
岭回归
传统方式对于采集数据的拟合分析主要使用最小二乘法，由于样本的问题会存在过拟合的现象。岭回归是加了二阶正则项(lambda*I)的最小二乘，主要适用于过拟合严重或各变量之间存在多重共线性的时候，岭回归是有bias的，这里的bias是为了让variance更小。(bias:指的是模型在样本上的输出与真实值的误差；variance：指的是每个模型的输出结果与所有模型平均值(期望)之间的误差)。
最小二乘法公式：
岭回归增加二阶正则项：
采用了岭回归算法参数趋势分析可以去掉过多的不重要参数，使得模型更好的匹配采集数据集，提高预测效果。同时，岭回归增加了二阶正则项，减少了过拟合或各变量之间存在多重共线性的场景导致的预测误差增大。
Logistics回归
对采集的数据进行回归分析，Logistics回归算法会根据现有数据对分类边界线建立回归公式，找到最佳拟合参数集。其中，
预测函数(式1)：
Cost函数(式2)：
根据梯度下降法求J(θ)的最小值
Logistics回归算法首先选取一个预测函数(式1)，它用来预测输入数据的判断结果。然后选取一个损失函数(式2)，该函数表示预测的输出(h)与训练数据类别(y)之间的偏差，可以是二者之间的差(h-y)或者是其他的形式。综合考虑所有训练数据的“损失”，将Cost求和或者求平均，记为J(θ)函数，表示所有训练数据预测值与实际类别的偏差。显然，J(θ)函数的值越小表示预测函数越准确(即h函数越准确)，所以这一步需要做的是找到J(θ)函数的最小值，通过梯度下降获取J(θ)最小值。Logistics回归算法适用于数据量大，不要求预测精度高的一些参数分析，其消耗的算力少，速度快。
产品质量预测分析单元
产品质量预测分析单元提出了一种基于XGBoost的质量预测分析方法。较传统的质量分析算法相比，XGBoost每一次迭代结果都是根据上一次迭代的预测结果对样本进行加权，所以随着迭代不断进行，误差会越来越小，所以模型的误差会不断降低。因此对于工程生产过程中的工艺流程改进，XGBoost构造的模型能够很好的适应。我们基于历史数据使用XGBoost训练出来的模型Model0，同时使用最新采集的数据导入模型进行训练，和历史模型预测结果加权处理，不断迭代，得到预测准确度较高结果。其步骤如下：
步骤一、将当前数据输入Model0中得到一组预测数据，得到预测质量与真实质量之间的残差。残差越大，代表模型的预测能力越弱。
步骤二、构建模型Model1去预测步骤一中的样本，目标值为步骤一中的残差，得到新的残差。
步骤三、构建模型Model2去预测步骤二中的样本，目标值为Model1预测的结果残差。步骤四：重复步骤三，直到模型的精确性达到要求。
对于步骤一中的构建模型，其数学表达主要分为以下四个方面：
构建目标函数
根据上述步骤，假设我们已经训练了K棵决策树，则
其中fk为第k个决策树，xi为预测样本，
为最终预测值。我们构造的目标函数如下：
迭代训练模型
右式的第一项是损失值，第二项是正则项。在迭代过程中，损失函数
是由多个决策树共同参与，不断迭代得到的。递推训练的过程如下：
根据上述的推导，我们可以将1中的公式简化为：
用泰勒级数近似代替目标函数
根据泰勒展开式：
我们对2中得到的目标函数进行泰勒展开，得到如下公式：
构建树和确定树的复杂度
定义一颗树q为
其中，w是长度为T的一维向量，代表树各个叶子结点的权重。定义树q的复杂度由叶子结点和所有结点权重所组成的向量L2范数共同决定，公式如下：
我们将术语第j个结点的样本x划入到一个叶子结点的样本集合中，它的数学表示为：
I＝{i|q(xi)＝j}
上式即为第j个叶子结点的样本集合。由此，得到最终目标函数
最终目标函数求极值
对4中得到的目标函数进行求导，求极值：
令
可以得到：
由上式可知，目标值越小，整个树的结构也就越优，模型的精确度也就越高。
数据采集单元通过专用通信网络与工厂设备建立通信，定时采集工厂中的设备实时数据信息，采集上来的数据经过数据采集预处理单元进行处理之后上传至云端大数据分析平台，同时，所述设备故障处理单元会对采集上来的数据做设备故障分析，实时反馈设备故障。云端大数据分析平台获取到数据之后，会对相应的数据进行设备产能分析、设备综合效率分析、产品质量预测、设备自定义数据的分析处理。云端大数据分析的结果通过网页、App多个终端进行展示。
该方案通过pptd、l2tp等VPN技术将工厂设备接入同一个网络内，然后通过部署在云端服务器上的设备数据采集软件采集工厂设备信息，上传至物联网平台进行数据分析，无需在工厂内部署任何数据采集软件。该方案的提出解决了传统方案的几大痛点。
1、部署在云端服务器中由于灾备等措施可以保证服务器的稳定运行。
2、采集软件在云端部署使得软件的运维由线下转到云上，大大降低了厂家运维的成本，专业的运维人员可以在云端同时管理多个工厂的数据采集软件。
3、云端的采集软件通过同意的版本控制，可以及时的更新迭代。
4、由于云端的操作系统和软件环境统一，数据采集软件的开发可以专注在效率和功能上，不需要考虑系统兼容性问题。
5、云端的大数据分析平台使用人工智能算法对数据进行实时处理，在生产加工过程中实时、快速、准确地检测识别其中的故障，实时反映工厂的关键指标。
6、本方案通过实时的云端数据采集，远程动态监控，大数据后台智能决策等手段，再通过网页将数据分析的结果可视化的展示，形成制造过程透明化，降低制造成本、提高生产效率，具有高度的智能性和集成性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于VPN的物联网云端设备数据采集系统，其特征在于，包括通信单元、数据采集单元、设备故障处理单元、数据采集预处理单元和产品质量预测分析单元，所述数据采集单元通过专用通信网络与工厂设备建立通信，定时采集工厂中的设备实时数据信息，采集上来的数据经过数据采集预处理单元进行处理之后上传至云端大数据分析平台，所述设备故障处理单元会对采集上来的数据做设备故障分析，实时反馈设备故障，所述云端大数据分析平台获取到数据之后，会对相应的数据进行设备产能分析、设备综合效率分析、产品质量预测、设备自定义数据的分析处理，所述产品质量预测分析单元的工作步骤如下：
S1、将当前数据输入Model0中得到一组预测数据，得到预测质量与真实质量之间的残差,残差越大，代表模型的预测能力越弱；
S2、构建模型Model1去预测步骤S1的样本，目标值为步骤S1中的残差，得到新的残差；
S3、构建模型Model2去预测步骤S2的样本，目标值为Model1预测的结果残差；
S4、重复步骤S3，直到模型的精确性达到要求；
所述步骤S1中构建模型的具体步骤如下：
S11、构建目标函数
假设已训练K棵决策树，则
其中fk为第k个决策树，xi为预测样本，
为最终预测值，构造的目标函数如下：
S12、迭代训练模型
在迭代过程中，损失函数
是由多个决策树共同参与，不断迭代得到，递推训练的过程如下：
……
根据上述推导，可将S11中的公式简化为：
S13、用泰勒级数近似代替目标函数
根据泰勒展开式：
对S12中得到的目标函数进行泰勒展开，得到如下公式：
S14、构建树和确定树的复杂度
定义一颗树q为
其中，w是长度为T的一维向量，代表树各个叶子结点的权重，定义树q的复杂度由叶子结点和所有结点权重所组成的向量L2范数共同决定，公式如下：
将术语第j个结点的样本x划入到一个叶子结点的样本集合中，它的数学表示为：
I＝{i|q(xi)＝j}
上式即为第j个叶子结点的样本集合，由此，得到最终目标函数为：
S15、最终目标函数求极值
对S14中得到的目标函数进行求导，求极值：
令
可以得到：
2.根据权利要求1所述的一种基于VPN的物联网云端设备数据采集系统，其特征在于，还包括设备自定义数据分析单元，所述设备自定义数据分析单元的分析算法步骤如下：
S1、K-近邻算法
K-近邻算法采集得到的数据进行分类，用于产品质量和参数分析，分析获得不合格产品时参数的情况，算法根据不同特征值和数据集之间的距离来进行分类，其公式如下：
S2、岭回归
岭回归是加了二阶正则项的最小二乘，适用于过拟合严重或各变量之间存在多重共线性的情况：
最小二乘法公式：
岭回归增加二阶正则项：
S3、Logistics回归
对采集的数据进行回归分析，Logistics回归算法根据现有数据对分类边界线建立回归公式，找到最佳拟合参数集，其中，
预测函数为：
Cost函数为：
根据梯度下降法求J(θ)的最小值：
3.根据权利要求2所述的一种基于VPN的物联网云端设备数据采集系统，其特征在于，所述通信单元内置支持http、mqtt、modbus、opc、opcua通信协议，可支持配置rpc等定制化协议，可采集的设备类型有基于串口通讯的PLC控制的非标自动化设备，基于网口(串口)通讯的数控系统，基于标准的OPC协议通讯的自动化设备。
4.根据权利要求3所述的一种基于VPN的物联网云端设备数据采集系统，其特征在于，所述数据采集单元通过通信单元与设备建立通信，根据协议对网口信息、串口信息进行解析，获取设备的实时数据信息；
所述数据采集单元根据预设的频率获取设备的运行，将采集的数据流转到设备故障处理单元和数据采集预处理单元进行处理。
5.根据权利要求4所述的一种基于VPN的物联网云端设备数据采集系统，其特征在于，所述设备故障处理单元对采集上来的数据中设备运行状态和报警信息进行实时分析处理，分析系统当前状态，对于可能出现的故障进行记录和上报，并产生警报。
6.根据权利要求5所述的一种基于VPN的物联网云端设备数据采集系统，其特征在于，所述数据采集预处理单元的工作步骤如下：
S1、元数据处理
根据不同类型数据采取不通处理策略，对采集上传的数据缺失值处理,具体的策略如下：
a.采集频率高、重要性高：删除本次采集数据，待下次采集后进行上传，防止错误数据污染关键性数据，记录最后一次错误时间，对数据错误出现频率进行统计，作为故障分析模块的参考指标；
b.采集频率高、重要性低：作为垃圾数据丢弃，待下次采集；
c.采集频率低、重要性高：等待短暂时间之后主动发起二次采集请求，对于错误数据和时间上传服务器进行记录，作为故障分析模块的参考指标；
d.采集频率低、重要性低：根据一段时间内数据的计算值，均值、中位数和众数等统计学方法，对缺失值进行填充；
S2、附加信息的填充,对设备采集的原始数据增加标签信息；
S3、数据格式归一化，对设备采集的原始数据做归一化处理，统一数据结构格式。
7.根据权利要求6所述的一种基于VPN的物联网云端设备数据采集系统，其特征在于，还包括设备产能分析单元、设备数据采集单元和产能分析单元；
所述设备产能分析单元作用是优化工厂的生产过程和合理的制订工程的排产计划；
所述设备数据采集单元通过其通信单元将采集的数据推送到云端大数据处理平台；
所述产能分析单元获取设备数据中的运转时间和产量数据，根据系统预设的一系列公式计算得到产品的标准工时并记录数据库，工厂执行排产计划时，根据产品标准工时可以准确预测交货时间。
8.根据权利要求7所述的一种基于VPN的物联网云端设备数据采集系统，其特征在于，还包括设备综合效率分析单元，所述设备综合效率分析单元帮助企业持续改善设备生产绩效的重要指标，帮助管理者评估设备产能，发现和减少生产中的损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111571028.7A CN114253242B (zh) | 2021-12-21 | 2021-12-21 | 一种基于vpn的物联网云端设备数据采集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111571028.7A CN114253242B (zh) | 2021-12-21 | 2021-12-21 | 一种基于vpn的物联网云端设备数据采集系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114253242A true CN114253242A (zh) | 2022-03-29 |
| CN114253242B CN114253242B (zh) | 2023-12-26 |
Family
ID=80796261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111571028.7A Active CN114253242B (zh) | 2021-12-21 | 2021-12-21 | 一种基于vpn的物联网云端设备数据采集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114253242B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827253A (zh) * | 2022-04-01 | 2022-07-29 | 南京戎光软件科技有限公司 | 基于云边物模型的智慧建筑物联网系统 |
| CN116795066A (zh) * | 2023-08-16 | 2023-09-22 | 南京德克威尔自动化有限公司 | 远程io模块的通信数据处理方法、系统、服务器及介质 |
| CN118488084A (zh) * | 2024-07-16 | 2024-08-13 | 四川万物纵横科技股份有限公司 | 一种智能化物联设备数据采集方法及系统 |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160179993A1 (en) * | 2014-12-22 | 2016-06-23 | Rockwell Automation Technologies, Inc. | Predictive analysis having data source integration for industrial automation |
| CN105975443A (zh) * | 2016-05-04 | 2016-09-28 | 西南大学 | 基于Lasso的异常检测方法及系统 |
| CN106777527A (zh) * | 2016-11-24 | 2017-05-31 | 上海市特种设备监督检验技术研究院 | 基于神经网络模型的起重机小车运行能耗分析方法 |
| CN108334033A (zh) * | 2018-02-28 | 2018-07-27 | 中国科学院重庆绿色智能技术研究院 | 基于物联网与机器学习的冲床组故障预测方法及其系统 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| US20190347590A1 (en) * | 2014-03-12 | 2019-11-14 | Bahwan CyberTek Private Limited | Intelligent Decision Synchronization in Real Time for both Discrete and Continuous Process Industries |
| KR20190134879A (ko) * | 2018-05-03 | 2019-12-05 | 손영욱 | 클라우드 기반 인공지능 음성인식을 이용한 맞춤형 스마트팩토리 생산관리 통합 서비스 제공 방법 |
| CN111275288A (zh) * | 2019-12-31 | 2020-06-12 | 华电国际电力股份有限公司十里泉发电厂 | 基于XGBoost的多维数据异常检测方法与装置 |
| KR20200074652A (ko) * | 2018-12-17 | 2020-06-25 | 김홍규 | 스마트팩토리 데이터 관리 및 플랫폼 서비스를 위한 장치 |
| CN111596629A (zh) * | 2020-06-02 | 2020-08-28 | 曲阜师范大学 | 一种云边协同的工业数据融合方法和安全控制器 |
| CN111736566A (zh) * | 2019-03-25 | 2020-10-02 | 南京智能制造研究院有限公司 | 一种基于机器学习与边缘计算的远程设备健康预测方法 |
| CN112002114A (zh) * | 2020-07-22 | 2020-11-27 | 温州大学 | 一种基于5G-ZigBee通信的机电设备无线数据采集系统和方法 |
| CN112286751A (zh) * | 2020-11-24 | 2021-01-29 | 华中科技大学 | 一种基于边云协同的高端装备故障智能诊断系统及方法 |
| CN112541702A (zh) * | 2020-12-23 | 2021-03-23 | 张思炀 | 一种工业互联网大数据服务平台系统 |
| CN112660211A (zh) * | 2021-01-16 | 2021-04-16 | 湖南科技大学 | 铁路机车智能运维管理系统 |
| CN112698618A (zh) * | 2020-12-29 | 2021-04-23 | 济南浪潮高新科技投资发展有限公司 | 一种基于机器视觉技术的服务器告警识别系统 |
| CN112731876A (zh) * | 2020-12-22 | 2021-04-30 | 浙江工业大学 | 一种基于生产数据的工业设备管理系统 |
| CN112950231A (zh) * | 2021-03-19 | 2021-06-11 | 广州瀚信通信科技股份有限公司 | 一种基于XGBoost算法的异常用户识别方法、设备及计算机可读存储介质 |
| CN112990284A (zh) * | 2021-03-04 | 2021-06-18 | 安徽大学 | 一种基于XGBoost算法的个体出行行为预测方法、系统及终端 |
| CN113238544A (zh) * | 2021-04-27 | 2021-08-10 | 深圳市益普科技有限公司 | 基于动作信号的设备数据采集系统及方法 |
| CN113408186A (zh) * | 2021-05-10 | 2021-09-17 | 包头钢铁（集团）有限责任公司 | 一种冶金焦炭质量预测影响因素确定方法 |
| CN113469343A (zh) * | 2021-07-08 | 2021-10-01 | 江苏苏云信息科技有限公司 | 工业时序数据处理方法及系统 |
| CN113762329A (zh) * | 2021-07-06 | 2021-12-07 | 山东钢铁股份有限公司 | 一种大型轧机状态预测模型的构建方法及构建系统 |
-
2021
- 2021-12-21 CN CN202111571028.7A patent/CN114253242B/zh active Active
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190347590A1 (en) * | 2014-03-12 | 2019-11-14 | Bahwan CyberTek Private Limited | Intelligent Decision Synchronization in Real Time for both Discrete and Continuous Process Industries |
| US20160179993A1 (en) * | 2014-12-22 | 2016-06-23 | Rockwell Automation Technologies, Inc. | Predictive analysis having data source integration for industrial automation |
| CN105975443A (zh) * | 2016-05-04 | 2016-09-28 | 西南大学 | 基于Lasso的异常检测方法及系统 |
| CN106777527A (zh) * | 2016-11-24 | 2017-05-31 | 上海市特种设备监督检验技术研究院 | 基于神经网络模型的起重机小车运行能耗分析方法 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN108334033A (zh) * | 2018-02-28 | 2018-07-27 | 中国科学院重庆绿色智能技术研究院 | 基于物联网与机器学习的冲床组故障预测方法及其系统 |
| KR20190134879A (ko) * | 2018-05-03 | 2019-12-05 | 손영욱 | 클라우드 기반 인공지능 음성인식을 이용한 맞춤형 스마트팩토리 생산관리 통합 서비스 제공 방법 |
| KR20200074652A (ko) * | 2018-12-17 | 2020-06-25 | 김홍규 | 스마트팩토리 데이터 관리 및 플랫폼 서비스를 위한 장치 |
| CN111736566A (zh) * | 2019-03-25 | 2020-10-02 | 南京智能制造研究院有限公司 | 一种基于机器学习与边缘计算的远程设备健康预测方法 |
| CN111275288A (zh) * | 2019-12-31 | 2020-06-12 | 华电国际电力股份有限公司十里泉发电厂 | 基于XGBoost的多维数据异常检测方法与装置 |
| CN111596629A (zh) * | 2020-06-02 | 2020-08-28 | 曲阜师范大学 | 一种云边协同的工业数据融合方法和安全控制器 |
| CN112002114A (zh) * | 2020-07-22 | 2020-11-27 | 温州大学 | 一种基于5G-ZigBee通信的机电设备无线数据采集系统和方法 |
| CN112286751A (zh) * | 2020-11-24 | 2021-01-29 | 华中科技大学 | 一种基于边云协同的高端装备故障智能诊断系统及方法 |
| CN112731876A (zh) * | 2020-12-22 | 2021-04-30 | 浙江工业大学 | 一种基于生产数据的工业设备管理系统 |
| CN112541702A (zh) * | 2020-12-23 | 2021-03-23 | 张思炀 | 一种工业互联网大数据服务平台系统 |
| CN112698618A (zh) * | 2020-12-29 | 2021-04-23 | 济南浪潮高新科技投资发展有限公司 | 一种基于机器视觉技术的服务器告警识别系统 |
| CN112660211A (zh) * | 2021-01-16 | 2021-04-16 | 湖南科技大学 | 铁路机车智能运维管理系统 |
| CN112990284A (zh) * | 2021-03-04 | 2021-06-18 | 安徽大学 | 一种基于XGBoost算法的个体出行行为预测方法、系统及终端 |
| CN112950231A (zh) * | 2021-03-19 | 2021-06-11 | 广州瀚信通信科技股份有限公司 | 一种基于XGBoost算法的异常用户识别方法、设备及计算机可读存储介质 |
| CN113238544A (zh) * | 2021-04-27 | 2021-08-10 | 深圳市益普科技有限公司 | 基于动作信号的设备数据采集系统及方法 |
| CN113408186A (zh) * | 2021-05-10 | 2021-09-17 | 包头钢铁（集团）有限责任公司 | 一种冶金焦炭质量预测影响因素确定方法 |
| CN113762329A (zh) * | 2021-07-06 | 2021-12-07 | 山东钢铁股份有限公司 | 一种大型轧机状态预测模型的构建方法及构建系统 |
| CN113469343A (zh) * | 2021-07-08 | 2021-10-01 | 江苏苏云信息科技有限公司 | 工业时序数据处理方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| 曹明路;胡钢;沈航;周峰;: "面向工业设备故障预测与健康管理系统的信息物理系统架构设计", 工业技术创新, no. 04 * |
| 权鹏宇;车文刚;余任;周志元;: "云资源池探针的故障检测方法研究", 软件, no. 08 * |
| 李晓波;饶丰;郭丽;马荣路;: "基于云服务的物流设备故障预测研究", 制造业自动化, no. 07 * |
| 李益文;: "湖南烟草商业系统基于大数据在云计算平台运维中应用的思考与设计", 经营管理者, no. 33 * |
| 耿庆安;: "智能工厂大数据分析平台软件的开发与应用", 石油化工自动化, no. 06 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827253A (zh) * | 2022-04-01 | 2022-07-29 | 南京戎光软件科技有限公司 | 基于云边物模型的智慧建筑物联网系统 |
| CN114827253B (zh) * | 2022-04-01 | 2024-02-23 | 南京戎光软件科技有限公司 | 基于云边物模型的智慧建筑物联网系统 |
| CN116795066A (zh) * | 2023-08-16 | 2023-09-22 | 南京德克威尔自动化有限公司 | 远程io模块的通信数据处理方法、系统、服务器及介质 |
| CN116795066B (zh) * | 2023-08-16 | 2023-10-27 | 南京德克威尔自动化有限公司 | 远程io模块的通信数据处理方法、系统、服务器及介质 |
| CN118488084A (zh) * | 2024-07-16 | 2024-08-13 | 四川万物纵横科技股份有限公司 | 一种智能化物联设备数据采集方法及系统 |
| CN118488084B (zh) * | 2024-07-16 | 2024-09-24 | 四川万物纵横科技股份有限公司 | 一种智能化物联设备数据采集方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114253242B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047082B (zh) | 设备的预警方法及装置、存储介质和电子装置 | |
| CN114253242B (zh) | 一种基于vpn的物联网云端设备数据采集系统 | |
| Diez-Olivan et al. | Data fusion and machine learning for industrial prognosis: Trends and perspectives towards Industry 4.0 | |
| US20190347590A1 (en) | Intelligent Decision Synchronization in Real Time for both Discrete and Continuous Process Industries | |
| KR101825881B1 (ko) | 빅 데이터 분석을 이용한 제조 공정 관리 방법 및 이를 이용한 제조 공정 관리 시스템 | |
| CN115097788A (zh) | 一种基于数字孪生工厂的智能管控平台 | |
| CN110709789B (zh) | 用于监测可再生发电装置或微电网内的子系统的状况的方法和设备 | |
| CN114418177B (zh) | 基于生成对抗网络的数字孪生车间的新产品物料配送预测方法 | |
| Bastos et al. | A maintenance prediction system using data mining techniques | |
| CN117670378B (zh) | 一种基于大数据的食品安全监控方法及系统 | |
| CN117393076B (zh) | 耐热环氧树脂生产过程智能监测方法及系统 | |
| CN117829382A (zh) | 一种公路施工进度智能预测方法及系统 | |
| CN117932976B (zh) | 一种工艺机台组用能数据的获取方法及装置 | |
| CN118311914B (zh) | 一种智能化车间的生产线数据采集控制方法及系统 | |
| CN118485311B (zh) | 基于云的数控设备管理系统及方法 | |
| CN116992346A (zh) | 一种基于人工智能大数据分析的企业生产数据处理系统 | |
| CN117390529A (zh) | 多因素溯源的数据中台信息管理方法 | |
| CN112541633A (zh) | 一种基于神经网络的超高精度光伏发电功率预测方法及系统 | |
| CN117076891A (zh) | 一种清洁能源发电数据清洗、功率预测分析方法和系统 | |
| CN117252851B (zh) | 一种基于图像检测识别的标准质量检测管理平台 | |
| CN117494472A (zh) | 一种基于仿真验证的离散工艺优化方法及装置 | |
| CN112255969A (zh) | 一种数控机床的数据采集分析展示系统及方法 | |
| Suleykin et al. | Associative Rules-Driven Intelligent Production Schedule Control System for Digital Manufacturing Ecosystem | |
| EP3413153A1 (en) | Method and distributed control system for carrying out an automated industrial process | |
| CN115146837A (zh) | 一种基于gcn-gru的订单剩余完工期预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |