CN115793590A - 适用于系统安全运维的数据处理方法及平台 - Google Patents

适用于系统安全运维的数据处理方法及平台 Download PDF

Info

Publication number
CN115793590A
CN115793590A CN202310045129.3A CN202310045129A CN115793590A CN 115793590 A CN115793590 A CN 115793590A CN 202310045129 A CN202310045129 A CN 202310045129A CN 115793590 A CN115793590 A CN 115793590A
Authority
CN
China
Prior art keywords
data
production
equipment
fault
fault prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310045129.3A
Other languages
English (en)
Inventor
洪智
刘雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Dake Digital Intelligence Technology Co ltd
Original Assignee
Jiangsu Dake Digital Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Dake Digital Intelligence Technology Co ltd filed Critical Jiangsu Dake Digital Intelligence Technology Co ltd
Priority to CN202310045129.3A priority Critical patent/CN115793590A/zh
Publication of CN115793590A publication Critical patent/CN115793590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80Management or planning

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种系统安全运维的数据处理方法及平台。在具体的应用过程中,在获取到每个生产设备的实时的生产数据后,首先对数据中的冗余数据进行剔除,然后将剔除后的数据输入预先基于神经网络模型训练得到的故障预测模型,得到该生产设备的故障预测结果,根据故障预测结果向检修人员进行预警,以便检修人员能够及时对设备进行维护,并且在人员有限的情况下,可以根据故障预测结果的有针对性的进行设备维护,有效降低人工成本,避免由于设备故障对生产造成严重影响。

Description

适用于系统安全运维的数据处理方法及平台
技术领域
本发明涉及大数据技术,尤其涉及一种系统安全运维的数据处理方法及平台。
背景技术
随着经济和科学技术的飞速发展,无论是在建筑,还是在工业生产,还是其他各行各业的产业中,为了满足实际的应用需求,自动化设备的使用已经较为普遍,生产线上安装了海量的硬件设备。
对于建筑行业,或者是自动化生产工厂来说,由于安装了大量的硬件设备,每个硬件设备都有自己的功能,每个设备在生产过程中对应各自不同的职能,与其他设备之间进行配合才能够完成整个生产,当其中任意一个设备发生了故障,则会导致整个生产流程全部出现问题。目前现有的方式自动化生产工厂中通过配置检修工人,定时对设备进行检查,并在出现问题后对问题设备进行修理,来维护整个生产过程。
然而,这种方式只能在出现问题之后作为补救,实际上还是影响了整个生产过程,因此对于自动化生产过程中,设备的故障预测,成为了当下亟待解决的问题。
发明内容
本发明实施例提供一种系统安全运维的数据处理方法及平台,用于在自动化工厂生产的过程中,对任一种生产设备进行故障预测,提前对可能发生故障的设备进行维护,避免发生故障耽误生产。
本发明实施例的第一方面,提供一种适用于系统安全运维的数据处理方法,包括:
针对自动化工厂中每个生产设备对应的生产数据,采用基于纹理基原直方图原理进行筛查处理,剔除所述生产数据中的冗余数据,得到处理后的生产数据;
将所述处理后的生产数据,输入预先获取的故障预测模型中进行处理分析,得到所述生产设备的故障预测结果,所述故障预测结果用于指示所述设备在预设时间段内出现故障的可能性;所述故障预测模型是根据神经网络模型训练得到的对设备数据进行分析确定是否可能发生故障的预测模型;
根据所述的故障预测结果,向检修人员的终端设备发送预警信息,所述预警信息用于指示所述检修人员对所述生产设备进行检修。
在一种具体实现中,所述故障预测模型包括:特征提取器,领域判别器以及图注意力单元;
其中,所述特征提取器用于提取输入的数据中影响设备运行的特征;
所述领域判别器用于从特征提取器中输出的特征的领域,并与所述特征提取器相互对抗,使得所述特征提取器提取的特征为与领域无关的特征;
所述图注意力单元用于学习每个生产设备中影响性能的特有数据特征,在输入所述生产设备的数据中提取出的特征之后,对所述生产设备发生故障的可能性进行预测。
在一种具体实现中,所述方法还包括:
当所述生产设备的生产数据中存在图像数据时,所述特征提取器选择卷积神经网络进行特征提取;
当所述生产设备的生产数据中存在文本数据时,所述特征提取器选择循环神经网络进行特征提取。
在一种具体实现中,所述自动化工厂中包括以下至少一个生产设备:
中央控制器,工业机器人,伺服电动机,多个传感器,变频器以及工业镜头,多个仪器仪表以及至少一种电气控制柜。
在一种具体实现中,所述方法还包括:
针对每个生产设备,采集获取所述生产设备在一段时间内的生产数据,所述生产数据包括所述生产设备正常运行的数据以及在多种故障状态下的数据;
对所述生产数据采用随机森林算法,计算所述生产数据中每个维度的数据样本的重要性指标;
根据每个维度的数据样本的重要性指标,选择其中与所述生产设备故障相关的至少一个特征进行特征重构,得到重构特征集合;
将所述重构特征,以及所述生产数据所在的时间序列作为时间卷积网络的输入,将所述生产数据中的出现的故障以及故障所在的时间序列作为所述时间卷积网络的输出,对所述时间卷积网络进行模型训练,得到所述故障预测模型。
在一种具体实现中,采用随机森林算法计算每个维度的数据样本的重要性指标的公式为:
Figure SMS_1
;
其中,ntree为所述每个维度的数据的个数,
Figure SMS_2
表示决策树扰动前的袋外数据分类准确率,
Figure SMS_3
表示决策树扰动后的袋外数据分类准确率,袋外数据准确率是通过将样本i放置在第j颗决策树上进行样本测试得到的。
在一种具体实现中,所述方法还包括:
针对每个生产设备,采集获取所述生产设备运行过程中的运行数据,组成数据集合,所述运行数据中包括所述生产设备正常运行和故障时的数据;
将所述数据集合划分为训练数据集和测试数据集;
基于深度置信网络DBN构建初始预测模型;
根据所述训练数据集对所述初始预测模型进行训练,并采用反向传播BP算法对训练后的模型进行微调,最后采用所述测试数据集对训练后的模型进行测试和验证,得到所述故障预测模型。
在一种具体实现中,所述深度置信网络为由三层受限玻尔兹曼机RBM堆叠构成的三层深度置信网络。
本发明实施例的第二方面,提供一种适用于系统安全运维的数据处理装置,包括:
第一处理模块,用于针对自动化工厂中每个生产设备对应的生产数据,采用基于纹理基原直方图原理进行筛查处理,剔除所述生产数据中的冗余数据,得到处理后的生产数据;
第二处理模块,用于将所述处理后的生产数据,输入预先获取的故障预测模型中进行处理分析,得到所述生产设备的故障预测结果,所述故障预测结果用于指示所述设备在预设时间段内出现故障的可能性;所述故障预测模型是根据神经网络模型训练得到的对设备数据进行分析确定是否可能发生故障的预测模型;
预警模块,用于根据所述的故障预测结果,向检修人员的终端设备发送预警信息,所述预警信息用于指示所述检修人员对所述生产设备进行检修。
本发明实施例的第三方面,提供一种计算机设备,包括:
处理器,存储器以及与所述其他设备进行数据传输的传输接口;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现第一方面任一项所述的方法。
本发明实施例的第四方面,提供一种适用于系统安全运维的数据处理平台,包括:数据收集系统,数据存储系统,数据处理系统以及用户输出的I/O接口;
其中,数据收集系统用于实时获取自动化工厂中的至少一个生产设备的生产数据,所述数据存储系统用于存储所述数据收集系统的收集的每个生产设备的生产数据,所述数据处理系统用于执行第一方面任一项所述的方法。
本发明实施例的第五方面,提供一种计算机存储介质,其中存储有计算机程序指令,所述计算机程序执行用于实现第一方面任一项所述的方法。
本发明提供的一种系统安全运维的数据处理方法及平台,通过机器学习的方式预先对自动化工厂中的每个生产设备都训练对应的故障识别模型,故障识别模型可以根据每个生产设备运行的过程中的数据的变化,预测未来预设时间段内该生产设备出现故障的可能性,避免生产设备发生重大故障导致停机,影响生产。
并且,在具体的应用过程中,在获取到每个生产设备的实时的生产数据后,首先对数据中的冗余数据进行剔除,然后将剔除后的数据输入预先基于神经网络模型训练得到的故障预测模型,得到该生产设备的故障预测结果,根据故障预测结果向检修人员进行预警,以便检修人员能够及时对设备进行维护,并且在人员有限的情况下,可以根据故障预测结果的有针对性的进行设备维护,有效降低人工成本,避免因为生产设备故障影响生产效率。
附图说明
图1为本发明提供的适用于系统安全运维的数据处理平台的示意图;
图2为本发明提供的适用于系统安全运维的数据处理方法实施例一的流程示意图;
图3为本发明提供的适用于系统安全运维的数据处理方法实施例二的流程示意图;
图4为本发明提供的适用于系统安全运维的数据处理方法实施例三的流程示意图;
图5为本发明提供的适用于系统安全运维的数据处理装置实施例一的示意图;
图6为本发明提供的适用于系统安全运维的数据处理装置实施例二的示意图;
图7为本发明提供的计算机设备实施例的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
应当理解,在本发明中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本发明中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含,“包含A、B或C”是指包含A、B、C三者之一,“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解,在本发明中,“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”,表示B与A相关联,根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。A与B的匹配,是A与B的相似度大于或等于预设的阈值。
取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
针对现有技术中存在的问题,本发明提供的一种适用于系统安全运维的数据处理方法及平台。
图1为本发明提供的适用于系统安全运维的数据处理平台的示意图,如图该适用于系统安全运维的数据处理平台包括计算机设备,用于进行数据采集的数据采集系统,用于进行数据存储的数据存储系统。可选的,还可以包括检修人员的终端设备,以及自动化工厂中的各个生产设备,该生产设备包括以下至少一个:中央控制器,工业机器人,伺服电动机,多个传感器,变频器以及工业镜头,多个仪器仪表以及至少一种电气控制柜等等。
该适用于系统安全运维的数据处理方法主要应用在上述平台中的计算机设备侧,该计算机设备可以是服务器,云服务器,电脑,大型计算器等能够进行数据分析处理的设备。具体的设备形态不做限制,能够进行数据处理分析即可。
检修人员的终端设备可以是工厂提供的智能终端,工业显示器,智能手机,电脑等能够被用户持有,并且能够进行内容的显示和输出的设备。
基于上述系统平台的架构,下面对本发明提供的适用于系统安全运维的数据处理方法进行详细说明。
图2为本发明提供的适用于系统安全运维的数据处理方法实施例一的流程示意图,如图2所示,该方案应用于前述架构中的计算机设备中,具体包括以下步骤:
S101:针对自动化工厂中每个生产设备对应的生产数据,采用基于纹理基原直方图原理进行筛查处理,剔除所述生产数据中的冗余数据,得到处理后的生产数据。
在本步骤中,自动化工厂中的生产设备在运行的过程中,会不断的产生的运行数据,这些运行数据能够从一定程度上提现生产设备的自身情况,因此在生产过程中,计算机设备会通过数据收集系统不断的收集自动化工厂中涉及的各个生产设备的运行数据,针对任一个生产设备,将一段时间内的运行数据确定为该生产设备的生产数据,以便基于这些数据动态的对该生产设备未来一段时间内的运行进行预测。
该方案中,应理解采集的生产设备的生产数据指的是当前时刻之前的一段时间的运行数据,例如:之前24小时,28小时,或者7天,14天,1个月等,主要目的是基于过去的一段时间的运行情况来预测未来一段时间内的运行情况。
整个数据的采集过程是实时进行的,因此采集到的生产设备的生产数据是连续的,并且数据两非常大,其中包含具有极大相似性数据(即存在冗余数据),因此判断海量的数据中是否存在相似程度较高的数据是最终进行数据数据分析处理的关键。本方案中可以采用基于纹理基原直方图原理,对相似性数据进行筛查,从而实现冗余数据的剔除,得到处理后的生产数据。
在一种具体的实现方式中,针对任一生产设备,举例来说,该生产设备的生产数据可以表示为:
x(t)=(x1-X), (x2-X), (x3-X),…, (xn-X);
式中:t是数据的采样时间,x1,x2,x3,…xn是x(t)在各采样点的数据的实际数据值,X代表整个生产数据的均值。
在实际生产数据中,冗余数据均值是动态变化的,因此需要设定固定时间对数据进行采集,以此来防止数据间的突变现象。根据纹理基原直方图,得出生产数据在一定阈值范围内变化的特征,可以表示为:
Figure SMS_4
其中,Y表示数据的变化特征,j表示取值系数,p表示数据总体的长度,K和T为预先设置的常数,是根据生产数据的阈值范围确定的。
在计算出数据的变化特征之后,需要设置一个变化特征的阈值,当一个数据的变化特征大于该阈值时,则认为该数据为冗余数据,需要将其剔除。应理解,该变化特征的阈值可以根据数据的均值进行计算确定。
本方案只是提供了一种具体进行冗余处理的示例,在实际应用过程中,可以选择其他的方式对冗余数据进行剔除,例如设置一定的采样间隔,对数据进行重采样,以降低冗余数据,或者通过设置数据滤波器对数据进行过滤,剔除冗余数据,对此本方案不做限制。通过上述任一种方式进行冗余数据剔除后,得到处理后的生产数据,以便对该生产设备的运行情况进行预测。
S102:将所述处理后的生产数据,输入预先获取的故障预测模型中进行处理分析,得到所述生产设备的故障预测结果,所述故障预测结果用于指示所述设备在预设时间段内出现故障的可能性。
本方案中,所述故障预测模型是根据神经网络模型训练得到的对设备数据进行分析确定是否可能发生故障的预测模型。
在本步骤中,计算机设备对任一个生产设备的生产数据进行了冗余数据剔除之后,可以将处理后的生产数据输入故障预测模型进行数据分析处理,最终输出故障预测结果,该故障预测结果用来指示未来一段时间内该生产设备是否可能发生故障,并且还可以指示具体可能发生的故障类型。具体的预设时间段的时长由模型训练过程中的设置确定,可以是24小时,7天,或者更长时间。
该故障预测模型有多重实现方式,是基于采集获取到的样本数据以及神经网络模型进行训练得到的。计算机设备可以采集一段时间内该生产设备的所有运行数据其中,包括正常运营时的数据和故障时候的运行数据。通过将故障点之前的数据作为学习对象,将发生故障时的数据作为验证目标,进行机器学习训练,训练出该故障预测模型。
具体的,训练过程中可以采用卷积神经网络模型,基于对抗网络的神经网络模型训练,时间卷积网络,或者还可以采用深度置信网络进行模型训练,对于具体训练过程中选用什么模型算法,本方案不做限定,可以根据实际的数据类型和数据特征进行选择。例如,生产数据中包括图像数据,则可以选择卷积神经网络模型进行训练,该模型对图像的识别处理效果更好,生产数据为文本数据时,可以选择循环神经网络进行模型训练等。
S103,根据所述的故障预测结果,向检修人员的终端设备发送预警信息,所述预警信息用于指示所述检修人员对所述生产设备进行检修。
在本步骤中,当计算机设备对生产设备的数据进行预测,确定出故障预测结果之后,可以基于该故障预测结果向检修人员进行预警。具体的预警方式可以实现为以下几种方式:
当故障预测结果指示在未来预设时间段内生产设备可能发生故障,并且指示了发生故障的特征或者故障类型时候,计算机设备可以向检修人员的手机,电脑等终端设备发送预警信息,其中包括设备标识,故障特征或者类型,以及可能发生的时间,指示检修人员及时进行检修。
当故障预测结果指示在未来预设时间段内生产设备不会发生故障或者发生故障的可能性较小,则可以不向检修人员的终端设备发送预警,或者可以发送提示正常运行,按照预设维护时间进行维护即可。
本实施例提供的适用于系统安全运维的数据处理方法,在获取到每个生产设备的实时的生产数据后,首先对数据中的冗余数据进行剔除,然后将剔除后的数据输入预先基于神经网络模型训练得到的故障预测模型,得到该生产设备的故障预测结果,根据故障预测结果向检修人员进行预警,以便检修人员能够及时对设备进行维护,并且在人员有限的情况下,可以根据故障预测结果的有针对性的进行设备维护,有效降低人工成本,避免因为生产设备故障影响生产效率。
在上述实施例的一种具体实现中,为了提高预测效果,提出了基于对抗机制和图注意力网络的模型,将模型学习分为两部分。第一步,为了让模型具有更强的推断未知数据源的能力,利用对抗机制去学习不同数据源的共有特征。对抗机制是通过两个模组进行最小最大博弈而只保留样本的共有特征。而第二步,提出一个数据特有的特征对模型的预测有重要作用,而数据内部的相互结构可以很大程度上反映这些特有特征,因此可以利用图注意力网络去学习内部的特有特征。最终训练得到的故障预测模型能够通过学习共有特征,使得模型获得较强的迁移能力;并进一步的,通过学习数据内部的特征,显著地提升模型的预测能力。通过这种方式训练的故障预测模型包括:特征提取器,领域判别器以及图注意力单元;
其中,所述特征提取器用于提取输入的数据中影响设备运行的特征;
所述领域判别器用于从特征提取器中输出的特征的领域,并与所述特征提取器相互对抗,使得所述特征提取器提取的特征为与领域无关的特征;
所述图注意力单元用于学习每个生产设备中影响性能的特有数据特征,在输入所述生产设备的数据中提取出的特征之后,对所述生产设备发生故障的可能性进行预测。
在该方案中,特征提取器从获取到的生产设备的生产数据中提取重要的特征(这些特征是会直接影响设备运行的特征),之后将提取到的特征输入到领域判别器中。领域判别器对这些特征进行预测判断该特征的具体领域(在生产数据中该领域指的是参数的类型,对用一个生产设备,其产生的数据也是多种多样的,多个类型的参数可以认为是多个领域)。同时特征提取器与领域判别器进行对抗:特征提取器努力提取出让领域判别器无法判别的特征,而领域判别器努力提高自己的能力以更精确地识别出特征来自的领域(参数类型)。这个对抗的过程使得特征提取器最终能够提取出领域无关的特征,这些特征有助于模型对来自新领域的数据进行预测。特征提取器的提取的特征同时送入到图注意力模块中。在上一步学习到数据的参数类型不变的特征之后,需要继续学习各参数内特有的特征。在图注意力模块中,每个参数都有各自预先定义好的图关系。这些能够刻画不同类型的参数的各自的特殊结构。通过注意力层对这些结构以及结构图中各个数据不变特征的学习,模型最终输出得到用于指示预测结果的标签。
在这种实现方式中,特征提取器是整个模型比较重要的部分,可以按照如下方式选择合适的模型构建特征提取器:当所述生产设备的生产数据中存在图像数据时,所述特征提取器选择卷积神经网络进行特征提取;当所述生产设备的生产数据中存在文本数据时,所述特征提取器选择循环神经网络进行特征提取。
该实现方式中提供的模型训练方式训练得到的故障预测模型,不但可以的对同一个生产设备的多个参数进行整体预测,还可以对多个生产设备对应的生产数据进行预测,得到每个生产设备对应的故障预测结果,识别预测效果相较于单一的类型模型训练得到的预测模型,性能较高。
图3为本发明提供的适用于系统安全运维的数据处理方法实施例二的流程示意图,如图3所示,在图2所示的实施例的中,故障预测模型可以按照如下方式进行训练:
S201:针对每个生产设备,采集获取所述生产设备在一段时间内的生产数据,所述生产数据包括所述生产设备正常运行的数据以及在多种故障状态下的数据。
在本步骤中,以任一种生产设备为例,为了能够训练得到其对应的故障预测模型,需要预先采集样本数据。为了提高最终训练得到的模型的预测效果,可以延长数据采集的时间,例如可以采集设备在半年或者一年内的生产数据,该生产数据中包括该生产设备正常运行时候的所有运行数据以及在各个不同故障状态下的所有运行数据。并在采集到该生产设备的各参数类型的运行数据(共同组成了生产数据)之后,需要手动对故障时候的数据进行标定,即需要为所有数据中发生了故障阶段的数据标注上故障数据,而且可以进一步标注上故障类型,得到能够进行模型训练的样本数据。
S202:对所述生产数据采用随机森林算法,计算所述生产数据中每个维度的数据样本的重要性指标。
在该方案中,在获取了作为训练样本的生产数据之后,可以对该生产数据进行处理。应理解,随机森林算法是一种集成学习方法,通过在训练时构建大量决策树来进行操作,然后通过随机森林算法计算所有数据特征的重要性,从而得出特征等级。通过排列所有样本的特征值,袋外数据(Out of Bag,OOB)误差的增量或者是OOB准确率的降低,可用于计算该数据特征的重要性。
在一种具体的实现方式中,将获取到的生产数据中的数据样本放置在第j棵树上,并计算其精度
Figure SMS_5
,j = 1,2,…, ntree;对于第i条特征(也就是样本),为数据样本排列其值,并在第j棵树上测试这些数据样本,以获得其精度
Figure SMS_6
,i=1,2,…,n, j = 1,2,…,ntree。
具体实现中,计算每个维度的数据样本的重要性指标的公式为:
Figure SMS_7
其中,ntree为所述每个维度的数据的个数,
Figure SMS_8
表示决策树扰动前的袋外数据分类准确率,
Figure SMS_9
表示决策树扰动后的袋外数据分类准确率,袋外数据准确率是通过将样本i放置在第j颗决策树上进行样本测试得到的。i表示具体的样本,
Figure SMS_10
表示数据样本i的重要性指标。
S203:根据每个维度的数据样本的重要性指标,选择其中与所述生产设备故障相关的至少一个特征进行特征重构,得到重构特征集合。
在本步骤中,在按照上述的方式进行了样本的重要性指标的计算之后,计算机设备得到了收集的生产设备的生产数据中不同维度(指的就是不同的参数类型)的数据样本的重要性指标。在这之后,计算机设备可以基于每个维度的数据样本的重要性指标对特征进行重构,即选择出跟生产设备故障相关的一些特征,并对这些重要特征的特征数据进行滚动平均值和滚动标准差提取,得到重构特征。应理解,最终得到的重构特征集合中包括多个与设备故障相关的维度的重构特征的数据。
S204:将重构特征,以及生产数据所在的时间序列作为时间卷积网络的输入,将所述生产数据中的出现的故障以及故障所在的时间序列作为所述时间卷积网络的输出,对所述时间卷积网络进行模型训练,得到所述故障预测模型。
在本步骤中,计算机设备需要基于时间卷积网络预先构建初始模型,在上述步骤得到的重构特征集合之后,将重构特征集合中的每个重构特征的数据,以及产生这些数据的时间序列作为初始模型的输入,将其中发生的故障点和时间序列,作为该初始模型的输出,进行模型训练,以便该模型能够模拟对生产设备的故障预测过程,最终训练得到前述方案中的故障预测模型。
本实施例提供的适用于系统安全运维的数据处理方法,提供了一种故障预测模型的训练方案,在构建故障预测模型之前对采集到的作为样本的生产数据进行特征处理,通过筛选与故障更相关的特征变量,以及对特征变量进行提取重构,提高数据特征与故障之间的关联性,从而达到提高模型训练效果的作用。也可以提高故障预测模型的预测准确度,降低模型训练过程中的数据处理量,
图4为本发明提供的适用于系统安全运维的数据处理方法实施例三的流程示意图,如图4所示,在图2所示的实施例的中,故障预测模型可以按照如下方式进行训练:
S301:针对每个生产设备,采集获取所述生产设备运行过程中的运行数据,组成数据集合,所述运行数据中包括所述生产设备正常运行和故障时的数据。
在本步骤中,以任一种生产设备为例,为了能够训练得到其对应的故障预测模型,需要预先采集样本数据。为了提高最终训练得到的模型的预测效果,可以延长数据采集的时间,例如可以采集设备在半年或者一年内的正常运行时候的所有运行数据以及在各个不同故障状态下的所有运行数据。并在采集到该生产设备的各参数类型的运行数据(共同组成了生产数据)之后,需要手动对故障时候的数据进行标定,即需要为所有数据中发生了故障阶段的数据标注上故障数据,而且可以进一步标注上故障类型,得到能够进行模型训练的数据集合。
S302:将所述数据集合划分为训练数据集和测试数据集。
在本步骤中,在获取到数据集合之后,按照一定的比例将数据集合划分成训练数据集和测试数据集,一般来说训练数据集的数据需要比测试数据集更多一些。例如,可以选择按照7:3,8:2或者9:1的比例,将该数据集合进行划分。
S303:基于深度置信网络DBN构建初始预测模型。
在本步骤中,选择使用深度置信网络(Deep Belief Network,简称:DBN)构建初始模型。应理解,DBN是由受限波尔茨曼机(RBM)和Sigmoid信念网络(SBN)构成的混合生成模型(hybrid model)。基于 DBN 的故障诊断与预测可以用来特征提取或用作分类器使用,DBN 对工业过程中高随机的海量数据有很好的特征表示能力,在故障诊断与预测领域有很大发展潜力,因此本方案中选择该DBN模型进行初始模型训练。
在本方案的一种具体实现中,可以选择由三层受限玻尔兹曼机RBM堆叠构成的三层深度置信网络进行初始模型的构建。
S304:根据所述训练数据集对所述初始预测模型进行训练,并采用反向传播(Error Back Propagation,简称:BP)算法对训练后的模型进行微调,最后采用所述测试数据集对训练后的模型进行测试和验证,得到所述故障预测模型。
在本步骤中,当计算机设备处理得到了针对生产设备的故障预测的训练数据集和训练数据集之后,采用训练数据集对该初始模型进行训练。具体的训练过程包括:采用训练数据集中的数据分别单独无监督地训练每一层 RBM 网络,确保每个维度的数据对应的特征向量映射到不同特征空间时,都尽可能多地保留特征信息。然后再在 DBN 的最后一层设置 BP 网络,接收 RBM 的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器。而且每一层 RBM 网络只能确保自身层内的权值对该层特征向量映射达到最优,并不是对整个 DBN 的特征向量映射达到最优,所以反向传播网络还将错误信息自顶向下传播至每一层 RBM,微调整个 DBN 网络。RBM 网络训练模型的过程可以看作对一个深层 BP网络权值参数的初始化,使DBN 克服了 BP 网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点。
通过上述两个步骤训练得到模型之后,采用测试数据集中的数据对训练得到的网络模型进行测试验证,得到最终的故障预测模型。
本实施例提供的适用于系统安全运维的数据处理方法,提供了一种采用深度置信网络进行生产设备的故障预测模型进行训练的方案,可以同时对生产设备中的多种故障进行多目标演化训练,通过提取生产设备的故障数据中的隐藏特征,并进行训练,提高模型对故障预测的准确度。
图5为本发明提供的适用于系统安全运维的数据处理装置实施例一的示意图,如图5所示,该适用于系统安全运维的数据处理装置10包括:
第一处理模块11,用于针对自动化工厂中每个生产设备对应的生产数据,采用基于纹理基原直方图原理进行筛查处理,剔除所述生产数据中的冗余数据,得到处理后的生产数据;
第二处理模块12,用于将所述处理后的生产数据,输入预先获取的故障预测模型中进行处理分析,得到所述生产设备的故障预测结果,所述故障预测结果用于指示所述设备在预设时间段内出现故障的可能性;所述故障预测模型是根据神经网络模型训练得到的对设备数据进行分析确定是否可能发生故障的预测模型;
预警模块13,用于根据所述的故障预测结果,向检修人员的终端设备发送预警信息,所述预警信息用于指示所述检修人员对所述生产设备进行检修。
可选的,所述故障预测模型包括:特征提取器,领域判别器以及图注意力单元;
其中,所述特征提取器用于提取输入的数据中影响设备运行的特征;
所述领域判别器用于从特征提取器中输出的特征的领域,并与所述特征提取器相互对抗,使得所述特征提取器提取的特征为与领域无关的特征;
所述图注意力单元用于学习每个生产设备中影响性能的特有数据特征,在输入所述生产设备的数据中提取出的特征之后,对所述生产设备发生故障的可能性进行预测。
可选的,当所述生产设备的生产数据中存在图像数据时,所述特征提取器选择卷积神经网络进行特征提取;
当所述生产设备的生产数据中存在文本数据时,所述特征提取器选择循环神经网络进行特征提取。
可选的,所述自动化工厂中包括以下至少一个生产设备:
中央控制器,工业机器人,伺服电动机,多个传感器,变频器以及工业镜头,多个仪器仪表以及至少一种电气控制柜。
图6为本发明提供的适用于系统安全运维的数据处理装置实施例二的示意图,如图6所示,该适用于系统安全运维的数据处理装置10还包括:
数据采集模块14,用于针对每个生产设备,采集获取所述生产设备在一段时间内的生产数据,所述生产数据包括所述生产设备正常运行的数据以及在多种故障状态下的数据;
计算模块15,用于对所述生产数据采用随机森林算法,计算所述生产数据中每个维度的数据样本的重要性指标;
特征重构模块16,用于根据每个维度的数据样本的重要性指标,选择其中与所述生产设备故障相关的至少一个特征进行特征重构,得到重构特征集合;
模型训练模块17,用于将所述重构特征,以及所述生产数据所在的时间序列作为时间卷积网络的输入,将所述生产数据中的出现的故障以及故障所在的时间序列作为所述时间卷积网络的输出,对所述时间卷积网络进行模型训练,得到所述故障预测模型。
可选的,采用随机森林算法计算每个维度的数据样本的重要性指标的公式为:
Figure SMS_11
;
其中,ntree为所述每个维度的数据的个数,
Figure SMS_12
表示决策树扰动前的袋外数据分类准确率,
Figure SMS_13
表示决策树扰动后的袋外数据分类准确率,袋外数据准确率是通过将样本i放置在第j颗决策树上进行样本测试得到的。
可选的,所述数据采集模块14还用于:
针对每个生产设备,采集获取所述生产设备运行过程中的运行数据,组成数据集合,所述运行数据中包括所述生产设备正常运行和故障时的数据;
所述第二处理模块12,还用于将所述数据集合划分为训练数据集和测试数据集;基于深度置信网络DBN构建初始预测模型;
所述模型训练模块17还用于根据所述训练数据集对所述初始预测模型进行训练,并采用反向传播BP算法对训练后的模型进行微调,最后采用所述测试数据集对训练后的模型进行测试和验证,得到所述故障预测模型。
可选的,所述深度置信网络为由三层受限玻尔兹曼机RBM堆叠构成的三层深度置信网络。
前述任一实施例提供的适用于系统安全运维的数据处理装置,用于执行前述任一方法实施例中的技术方案,其实现原理和技术效果类似,在此不再赘述。
图7为本发明提供的计算机设备实施例的示意图,如图7所示,该计算机设备20包括:
处理器21,存储器22以及与所述其他设备进行数据传输的传输接口23;
所述存储器22存储计算机执行指令;
所述处理器21执行所述存储器22存储的计算机执行指令,以实现前述任一方法实施例中的技术方案。
本发明还提供一种可读存储介质,所述可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现前述任一方法实施例的技术方案。
在上述计算机设备的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:DigitalSignal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种适用于系统安全运维的数据处理方法,其特征在于,包括:
针对自动化工厂中每个生产设备对应的生产数据,采用基于纹理基原直方图原理进行筛查处理,剔除所述生产数据中的冗余数据,得到处理后的生产数据;
将所述处理后的生产数据,输入预先获取的故障预测模型中进行处理分析,得到所述生产设备的故障预测结果,所述故障预测结果用于指示所述设备在预设时间段内出现故障的可能性;所述故障预测模型是根据神经网络模型训练得到的对设备数据进行分析确定是否可能发生故障的预测模型;
根据所述的故障预测结果,向检修人员的终端设备发送预警信息,所述预警信息用于指示所述检修人员对所述生产设备进行检修。
2.根据权利要求1所述的方法,其特征在于,所述故障预测模型包括:特征提取器,领域判别器以及图注意力单元;
其中,所述特征提取器用于提取输入的数据中影响设备运行的特征;
所述领域判别器用于从特征提取器中输出的特征的领域,并与所述特征提取器相互对抗,使得所述特征提取器提取的特征为与领域无关的特征;
所述图注意力单元用于学习每个生产设备中影响性能的特有数据特征,在输入所述生产设备的数据中提取出的特征之后,对所述生产设备发生故障的可能性进行预测。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当所述生产设备的生产数据中存在图像数据时,所述特征提取器选择卷积神经网络进行特征提取;
当所述生产设备的生产数据中存在文本数据时,所述特征提取器选择循环神经网络进行特征提取。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述自动化工厂中包括以下至少一个生产设备:
中央控制器,工业机器人,伺服电动机,多个传感器,变频器以及工业镜头,多个仪器仪表以及至少一种电气控制柜。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
针对每个生产设备,采集获取所述生产设备在一段时间内的生产数据,所述生产数据包括所述生产设备正常运行的数据以及在多种故障状态下的数据;
对所述生产数据采用随机森林算法,计算所述生产数据中每个维度的数据样本的重要性指标;
根据每个维度的数据样本的重要性指标,选择其中与所述生产设备故障相关的至少一个特征进行特征重构,得到重构特征集合;
将所述重构特征,以及所述生产数据所在的时间序列作为时间卷积网络的输入,将所述生产数据中的出现的故障以及故障所在的时间序列作为所述时间卷积网络的输出,对所述时间卷积网络进行模型训练,得到所述故障预测模型。
6.根据权利要求5所述的方法,其特征在于,采用随机森林算法计算每个维度的数据样本的重要性指标的公式为:
Figure QLYQS_1
其中,ntree为所述每个维度的数据的个数,
Figure QLYQS_2
表示决策树扰动前的袋外数据分类准确率,
Figure QLYQS_3
表示决策树扰动后的袋外数据分类准确率,袋外数据准确率是通过将样本i放置在第j颗决策树上进行样本测试得到的。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
针对每个生产设备,采集获取所述生产设备运行过程中的运行数据,组成数据集合,所述运行数据中包括所述生产设备正常运行和故障时的数据;
将所述数据集合划分为训练数据集和测试数据集;
基于深度置信网络DBN构建初始预测模型;
根据所述训练数据集对所述初始预测模型进行训练,并采用反向传播BP算法对训练后的模型进行微调,最后采用所述测试数据集对训练后的模型进行测试和验证,得到所述故障预测模型。
8.根据权利要求7所述的方法,其特征在于,所述深度置信网络为由三层受限玻尔兹曼机RBM堆叠构成的三层深度置信网络。
9.一种计算机设备,其特征在于,包括:
处理器,存储器以及与所述其他设备进行数据传输的传输接口;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现权利要求1至8任一项所述的方法。
10.一种适用于系统安全运维的数据处理平台,其特征在于,包括:数据收集系统,数据存储系统,数据处理系统以及用户输出的I/O接口;
其中,数据收集系统用于实时获取自动化工厂中的至少一个生产设备的生产数据,所述数据存储系统用于存储所述数据收集系统的收集的每个生产设备的生产数据,所述数据处理系统用于执行权利要求1至8任一项所述的方法。
CN202310045129.3A 2023-01-30 2023-01-30 适用于系统安全运维的数据处理方法及平台 Pending CN115793590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310045129.3A CN115793590A (zh) 2023-01-30 2023-01-30 适用于系统安全运维的数据处理方法及平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310045129.3A CN115793590A (zh) 2023-01-30 2023-01-30 适用于系统安全运维的数据处理方法及平台

Publications (1)

Publication Number Publication Date
CN115793590A true CN115793590A (zh) 2023-03-14

Family

ID=85429201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310045129.3A Pending CN115793590A (zh) 2023-01-30 2023-01-30 适用于系统安全运维的数据处理方法及平台

Country Status (1)

Country Link
CN (1) CN115793590A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116627093A (zh) * 2023-04-19 2023-08-22 济南海马机械设计有限公司 一种丁腈手套加工控制方法、系统、设备及存储介质
CN116976862A (zh) * 2023-09-20 2023-10-31 山东国研自动化有限公司 一种工厂设备信息化管理系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520301A (zh) * 2018-04-17 2018-09-11 重庆大学 一种基于深度置信网络的电路间歇故障诊断方法
CN109710636A (zh) * 2018-11-13 2019-05-03 广东工业大学 一种基于深度迁移学习的无监督工业系统异常检测方法
CN110737732A (zh) * 2019-10-25 2020-01-31 广西交通科学研究院有限公司 一种机电设备故障预警方法
CN113033833A (zh) * 2021-02-25 2021-06-25 江苏大学 一种联合收割机脱粒滚筒收获状态故障诊断方法
CN113642754A (zh) * 2021-04-23 2021-11-12 北京工业大学 一种基于rf降噪自编码信息重构和时间卷积网络的复杂工业过程故障预测方法
CN114879628A (zh) * 2022-04-23 2022-08-09 北京工业大学 基于对抗局部最大均值差异的多模态工业过程故障诊断方法
CN115186904A (zh) * 2022-07-13 2022-10-14 清华大学 基于Transformer的工业设备故障预测方法及装置
CN115310837A (zh) * 2022-08-15 2022-11-08 北京航空航天大学 基于因果图注意力神经网络的复杂机电系统故障检测方法
CN115563553A (zh) * 2022-09-29 2023-01-03 南京理工大学 波动工况下深度迁移图卷积网络的航空轴承故障诊断方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520301A (zh) * 2018-04-17 2018-09-11 重庆大学 一种基于深度置信网络的电路间歇故障诊断方法
CN109710636A (zh) * 2018-11-13 2019-05-03 广东工业大学 一种基于深度迁移学习的无监督工业系统异常检测方法
CN110737732A (zh) * 2019-10-25 2020-01-31 广西交通科学研究院有限公司 一种机电设备故障预警方法
CN113033833A (zh) * 2021-02-25 2021-06-25 江苏大学 一种联合收割机脱粒滚筒收获状态故障诊断方法
CN113642754A (zh) * 2021-04-23 2021-11-12 北京工业大学 一种基于rf降噪自编码信息重构和时间卷积网络的复杂工业过程故障预测方法
CN114879628A (zh) * 2022-04-23 2022-08-09 北京工业大学 基于对抗局部最大均值差异的多模态工业过程故障诊断方法
CN115186904A (zh) * 2022-07-13 2022-10-14 清华大学 基于Transformer的工业设备故障预测方法及装置
CN115310837A (zh) * 2022-08-15 2022-11-08 北京航空航天大学 基于因果图注意力神经网络的复杂机电系统故障检测方法
CN115563553A (zh) * 2022-09-29 2023-01-03 南京理工大学 波动工况下深度迁移图卷积网络的航空轴承故障诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王娜娜: "混合云存储中网络稀疏大数据渗透迁移算法", 《计算机工程与设计》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116627093A (zh) * 2023-04-19 2023-08-22 济南海马机械设计有限公司 一种丁腈手套加工控制方法、系统、设备及存储介质
CN116627093B (zh) * 2023-04-19 2024-02-27 济南海马机械设计有限公司 一种丁腈手套加工控制方法、系统、设备及存储介质
CN116976862A (zh) * 2023-09-20 2023-10-31 山东国研自动化有限公司 一种工厂设备信息化管理系统及方法
CN116976862B (zh) * 2023-09-20 2024-01-02 山东国研自动化有限公司 一种工厂设备信息化管理系统及方法

Similar Documents

Publication Publication Date Title
CN110703057B (zh) 基于数据增强和神经网络的电力设备局部放电诊断方法
Zhang et al. Feature selection for high-dimensional machinery fault diagnosis data using multiple models and radial basis function networks
CN115793590A (zh) 适用于系统安全运维的数据处理方法及平台
CN113901977A (zh) 一种基于深度学习的电力用户窃电识别方法及系统
CN108304567B (zh) 高压变压器工况模式识别与数据分类方法及系统
CN112906764B (zh) 基于改进bp神经网络的通信安全设备智能诊断方法及系统
CN111273125A (zh) 基于rst-cnn的电力电缆沟道故障诊断方法
CN110794254B (zh) 一种基于强化学习的配电网故障预测方法及系统
CN117034143B (zh) 一种基于机器学习的分布式系统故障诊断方法及装置
CN115526258A (zh) 基于Spearman相关系数特征提取的电力系统暂稳评估方法
CN111881159A (zh) 一种基于代价敏感极端随机森林的故障检测方法及装置
CN114139589A (zh) 故障诊断方法、装置、设备与计算机可读存储介质
KR102047815B1 (ko) 플랜트 이상 예측 장치 및 방법
CN112327096B (zh) 一种基于自适应策略的故障诊断信息融合方法及装置
CN117592865B (zh) 一种装备零备件质量状态预测方法及装置
CN115831339B (zh) 基于深度学习的医疗系统风险管控事前预测方法、系统
CN114819108B (zh) 一种综合能源系统故障识别方法及装置
CN110633874B (zh) 一种变电站二次设备状态监测方法及可读存储介质
Zhou et al. Automatic classification method of fault data in low voltage distribution network based on svm
CN114418125A (zh) 基于知识迁移的模糊推理系统小样本缺陷检测方法及装置
CN115684835A (zh) 配电网故障诊断方法、装置、设备及存储介质
CN116306212A (zh) 电抗器故障预测方法、装置、设备及存储介质
JP2022114332A (ja) クラス判定システム、クラス判定方法及びクラス判定プログラム
CN117473367A (zh) 一种配电网绝缘故障态势检测方法、装置和设备
CN117975999A (zh) 阀冷设备故障检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination