CN112256686A - 一种基于mes的故障数据压缩与预测方法及系统 - Google Patents
一种基于mes的故障数据压缩与预测方法及系统 Download PDFInfo
- Publication number
- CN112256686A CN112256686A CN202011262765.4A CN202011262765A CN112256686A CN 112256686 A CN112256686 A CN 112256686A CN 202011262765 A CN202011262765 A CN 202011262765A CN 112256686 A CN112256686 A CN 112256686A
- Authority
- CN
- China
- Prior art keywords
- data
- fault
- detection model
- abnormal
- fault data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013144 data compression Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 75
- 230000005856 abnormality Effects 0.000 claims abstract description 34
- 238000013500 data storage Methods 0.000 claims abstract description 29
- 238000004519 manufacturing process Methods 0.000 claims description 48
- 238000009826 distribution Methods 0.000 claims description 35
- 238000012544 monitoring process Methods 0.000 claims description 23
- 238000007499 fusion processing Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 11
- 238000013075 data extraction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000012847 principal component analysis method Methods 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 abstract description 8
- 238000009825 accumulation Methods 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
本发明公开了一种基于MES的故障数据压缩与预测方法及系统。该方法包括:对历史故障数据信息进行异常数据种类划分,得到旧故障数据;将实时故障数据信息进行异常数据种类划分后,输入相应的训练好的故障异常检测模型,得到新故障数据;判断与新故障数据对应的异常数据存储区是否存满,若未存满,则将新故障数据存入异常数据存储区,若存满,则将旧故障数据和新故障数据进行压缩融合,得到核心数据点;根据核心数据点对训练好的故障异常检测模型进行更新,然后清空异常数据存储区内的数据。采用本发明的方法及系统,能够方便对故障数据进行管理,有效缓解因工业设备故障数据积累过多而带来的存储空间不足问题。
Description
技术领域
本发明涉及故障诊断技术领域,特别是涉及一种基于MES的故障数据压缩与预测方法及系统。
背景技术
故障诊断技术是一种通过收集监测设备的状态参数,通过一定的分析手段,发现设备的异常并分析设备故障产生原因的技术。其宗旨是为了采用现有的技术发现设备存在的隐患,达到早发现早排除的目的。随着工业互联网的发展,基于对设备大量数据的采集与分析,使得故障诊断技术在工业中的应用更加成熟,同时将故障诊断技术运用于MES(Manufacturing Execution System,制造企业生产过程执行系统),可以大大减少由于设备故障而带来的损失,提高了生产效率,具有很高的经济效益。
但是,故障诊断技术在工业背景下由于其特殊性,仍存在一些问题与可以改进的地方。第一,故障诊断作为一种技术,直接运用于工业环境时无法用通用的模型对所有故障进行诊断,通用性较差,需要对不同的运用场景分别设计诊断方案。第二,工业生产背景下设备数据特征繁多,维数高,给故障诊断带来了很大的困难。第三,在工业生产背景下,设计出的设备故障诊断系统随着时间推移,由于硬件存储空间有限等原因,会出现知识落后而使得故障诊断准确率下降,需要适当地进行知识库的更新,并对知识进行适当的压缩精简以缓解存储空间不足的问题。
发明内容
本发明的目的是提供一种基于MES的故障数据压缩与预测方法及系统,能够方便对故障数据进行管理,有效缓解因工业设备故障数据积累过多而带来的存储空间不足问题。
为实现上述目的,本发明提供了如下方案:
一种基于MES的故障数据压缩与预测方法,包括:
获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息;
对所述历史故障数据信息进行异常数据种类划分,得到旧故障数据;所述旧故障数据包括生产异常数据、设备异常数据和监测异常数据;
将所述实时故障数据信息进行异常数据种类划分后,输入相应的训练好的故障异常检测模型,得到新故障数据;所述故障异常检测模型包括生产异常检测模型、设备异常检测模型和监测异常检测模型;所述新故障数据包括生产故障类型、设备故障类型和监测故障类型;
判断与所述新故障数据对应的异常数据存储区是否存满,得到第一判断结果;
若所述第一判断结果为未存满,则将所述新故障数据存入所述异常数据存储区,然后返回步骤“获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息”;
若所述第一判断结果为存满,则将所述旧故障数据和所述新故障数据进行压缩融合,得到核心数据点;根据所述核心数据点对所述训练好的故障异常检测模型进行更新,得到更新后的故障异常检测模型,将所述训练好的故障异常检测模型替换为所述更新后的故障异常检测模型,然后清空所述异常数据存储区内的数据,并返回步骤“获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息”。
可选的,在所述将所述实时故障数据信息进行异常数据种类划分后,输入相应的训练好的故障异常检测模型,得到新故障数据,之后还包括:
根据所述新故障数据的故障类型发出预警信息。
可选的,所述将所述旧故障数据和所述新故障数据进行压缩融合,得到核心数据点,具体包括:
将所述旧故障数据和所述新故障数据进行拼接,得到待压缩融合的数据集;
对所述待压缩融合的数据集进行归一化处理,得到归一化后的数据集;
对所述归一化后的数据集采用主成分分析法进行降维处理,得到降维后的数据集;
判断所述降维后的数据集的数据分布结构,得到第二判断结果;
若所述第二判断结果为数据分布均匀,则随机选取所述降维后的数据集中的数据作为核心数据点;
若所述第二判断结果为数据分布不均匀,则根据数据密度确定核心数据点。
可选的,所述判断所述降维后的数据集的数据分布结构,得到第二判断结果,具体包括:
根据欧式距离计算公式计算所述降维后的数据集中任意两个数据样本的距离;
根据所述距离,采用求取平均值的方法确定数据样本的密度,并根据每一个数据样本的密度生成密度集;
在所述密度集中确定最大密度值和最小密度值,并计算所述最大密度值和所述最小密度值的平均值,得到密度预设值;
判断所述密度集中密度小于所述密度预设值的数量是否大于或等于第一预设阈值,得到第二判断结果;所述第二判断结果包括数据分布均匀和数据分布不均匀;当所述数量大于或等于所述第一预设阈值时为数据分布均匀,当所述数量小于所述第一预设阈值时为数据分布不均匀;所述第一预设阈值为在(0,1)范围内的可调阈值与所述降维后的数据集中数据样本总数的乘积。
可选的,所述根据数据密度确定核心数据点,具体包括:
将所述降维后的数据集中的数据样本的密度按照由大到小的顺序排列,选取密度最大对应的数据样本,得到第一数据样本;
确定所述降维后的数据集与所述第一数据样本的邻域的交集内样本点的个数,得到第一个数;
判断所述第一个数是否大于第二预设阈值,得到第三判断结果;
若所述第三判断结果为是,则将所述第一数据样本确定为核心样本点;
若所述第三判断结果为否,则判断所述第一数据样本是否在核心样本点的超球内,得到第四判断结果;
若所述第四判断结果为是,则在所述核心样本点的超球内将所述第一数据样本剔除;
若所述第四判断结果为否,则将所述第一数据样本确定为核心样本点;
判断是否遍历完所述降维后的数据集中的所有数据样本,若是,则输出所有核心样本点,若否,则根据密度大小顺序更新所述第一数据样本,然后返回步骤“确定所述降维后的数据集与所述第一数据样本的邻域的交集内样本点的个数,得到第一个数”。
本发明还提供一种基于MES的故障数据压缩与预测系统,包括:
采集日志数据模块,用于获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息;
异常数据提取与分类模块,用于对所述历史故障数据信息进行异常数据种类划分,得到旧故障数据;所述旧故障数据包括生产异常数据、设备异常数据和监测异常数据;
故障异常检测模块,用于将所述实时故障数据信息输入所述异常数据提取与分类模块进行异常数据种类划分后,将划分结果输入相应的训练好的故障异常检测模型,得到新故障数据;所述故障异常检测模型包括生产异常检测模型、设备异常检测模型和监测异常检测模型;所述新故障数据包括生产故障类型、设备故障类型和监测故障类型;
所述故障异常检测模块,还用于判断与所述新故障数据对应的异常数据存储区是否存满,得到第一判断结果;若所述第一判断结果为未存满,则将所述新故障数据存入所述异常数据存储区,然后执行所述采集日志数据模块;若所述第一判断结果为存满,则执行数据压缩融合处理模块;
数据压缩融合处理模块,用于将所述旧故障数据和所述新故障数据进行压缩融合,得到核心数据点;
所述故障异常检测模块,还用于根据所述核心数据点对所述训练好的故障异常检测模型进行更新,得到更新后的故障异常检测模型,将所述训练好的故障异常检测模型替换为所述更新后的故障异常检测模型,然后清空所述异常数据存储区内的数据,并执行所述采集日志数据模块。
可选的,还包括:
报警模块,用于根据所述新故障数据的故障类型发出预警信息。
可选的,所述数据压缩融合处理模块,具体包括:
拼接单元,用于将所述旧故障数据和所述新故障数据进行拼接,得到待压缩融合的数据集;
归一化单元,用于对所述待压缩融合的数据集进行归一化处理,得到归一化后的数据集;
降维单元,用于对所述归一化后的数据集采用主成分分析法进行降维处理,得到降维后的数据集;
判断单元,用于判断所述降维后的数据集的数据分布结构,得到第二判断结果;
核心数据点确定单元,用于在所述第二判断结果为数据分布均匀时,随机选取所述降维后的数据集中的数据作为核心数据点;在所述第二判断结果为数据分布不均匀时,根据数据密度确定核心数据点。
与现有技术相比,本发明的有益效果是:
本发明提出了一种基于MES的故障数据压缩与预测方法及系统,获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息;对历史故障数据信息进行异常数据种类划分,得到旧故障数据;将实时故障数据信息进行异常数据种类划分后,输入相应的训练好的故障异常检测模型,得到新故障数据;判断与新故障数据对应的异常数据存储区是否存满,若未存满,则将新故障数据存入异常数据存储区,若存满,则将旧故障数据和新故障数据进行压缩融合,得到核心数据点;根据核心数据点对训练好的故障异常检测模型进行更新,然后清空异常数据存储区内的数据,因此,本发明能够方便对故障数据进行管理,有效缓解因工业设备故障数据积累过多而带来的存储空间不足问题。
此外,本发明针对MES系统,采用异常数据提取与分类模块进行数据提取及存储,将生产异常数据、设备异常数据、监测异常数据或其他异常数据分别存储,该结构即方便了对故障数据的管理,又有利于后续对故障数据的诊断操作。并且,针对MES生产条件下的设备故障数据,采用数据归一化与PCA(主成分分析)对原始数据进行降维,将高维故障数据通过映射转换为低维数据,大大降低了模型训练的运算量;利用基于密度的数据压缩融合方法,更大程度地保持了原始数据的分布结构,还保持了扩充样本与原样本的相似度,大大降低了过拟合风险,采用增量式学习的思想,将原有的故障数据与新故障数据进行融合,不断更新知识库,使得故障诊断系统能不断吸收最新的判断经验,同时采用了基于密度的大数据压缩融合方法,在知识库更新的同时有效缓解了因工业设备故障数据积累过多而带来的存储空间不足问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于MES的故障数据压缩与预测方法流程图;
图2为本发明实施例中基于MES的故障数据压缩与预测系统结构图;
图3为本发明实施例中数据压缩融合模块工作流程图;
图4为本发明实施例中故障数据压缩及预测系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于MES的故障数据压缩与预测方法及系统,能够方便对故障数据进行管理,有效缓解因工业设备故障数据积累过多而带来的存储空间不足问题。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例
图1为本发明实施例中基于MES的故障数据压缩与预测方法流程图,如图1所示,一种基于MES的故障数据压缩与预测方法,包括:
步骤101:获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息。
步骤102:对历史故障数据信息进行异常数据种类划分,得到旧故障数据;旧故障数据包括生产异常数据、设备异常数据和监测异常数据。
步骤103:将实时故障数据信息进行异常数据种类划分后,输入相应的训练好的故障异常检测模型,得到新故障数据,同时执行步骤104和步骤108;故障异常检测模型包括生产异常检测模型、设备异常检测模型和监测异常检测模型;新故障数据包括生产故障类型、设备故障类型和监测故障类型。
步骤104:判断与新故障数据对应的异常数据存储区是否存满,得到第一判断结果;若第一判断结果为未存满,则执行步骤105,若第一判断结果为存满,则执行步骤106。
步骤105:将新故障数据存入异常数据存储区,然后返回步骤“获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息”。
步骤106:将旧故障数据和新故障数据进行压缩融合,得到核心数据点。
步骤106,具体包括:
将旧故障数据和新故障数据进行拼接,得到待压缩融合的数据集;
对待压缩融合的数据集进行归一化处理,得到归一化后的数据集;
对归一化后的数据集采用主成分分析法进行降维处理,得到降维后的数据集;
判断降维后的数据集的数据分布结构,得到第二判断结果;
若第二判断结果为数据分布均匀,则随机选取降维后的数据集中的数据作为核心数据点;
若第二判断结果为数据分布不均匀,则根据数据密度确定核心数据点。
其中,判断降维后的数据集的数据分布结构,得到第二判断结果,具体包括:
根据欧式距离计算公式计算降维后的数据集中任意两个数据样本的距离;
根据距离,采用求取平均值的方法确定数据样本的密度,并根据每一个数据样本的密度生成密度集;
在密度集中确定最大密度值和最小密度值,并计算最大密度值和最小密度值的平均值,得到密度预设值;
判断密度集中密度小于密度预设值的数量是否大于或等于第一预设阈值,得到第二判断结果;第二判断结果包括数据分布均匀和数据分布不均匀;当数量大于或等于第一预设阈值时为数据分布均匀,当数量小于第一预设阈值时为数据分布不均匀;第一预设阈值为在(0,1)范围内的可调阈值与降维后的数据集中数据样本总数的乘积。
根据数据密度确定核心数据点,具体包括:
将降维后的数据集中的数据样本的密度按照由大到小的顺序排列,选取密度最大对应的数据样本,得到第一数据样本;
确定降维后的数据集与第一数据样本的邻域的交集内样本点的个数,得到第一个数;
判断第一个数是否大于第二预设阈值,得到第三判断结果;
若第三判断结果为是,则将第一数据样本确定为核心样本点;
若第三判断结果为否,则判断第一数据样本是否在核心样本点的超球内,得到第四判断结果;
若第四判断结果为是,则在核心样本点的超球内将第一数据样本剔除;
若第四判断结果为否,则将第一数据样本确定为核心样本点;
判断是否遍历完降维后的数据集中的所有数据样本,若是,则输出所有核心样本点,若否,则根据密度大小顺序更新第一数据样本,然后返回步骤“确定降维后的数据集与第一数据样本的邻域的交集内样本点的个数,得到第一个数”。
步骤107:根据核心数据点对训练好的故障异常检测模型进行更新,得到更新后的故障异常检测模型,将训练好的故障异常检测模型替换为更新后的故障异常检测模型,然后清空异常数据存储区内的数据,并返回步骤“获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息”。
步骤108:根据新故障数据的故障类型发出预警信息。
图2为本发明实施例中基于MES的故障数据压缩与预测系统结构图。如图2所示,一种基于MES的故障数据压缩与预测系统,包括:
采集日志数据模块201,用于获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息。
异常数据提取与分类模块202,用于对历史故障数据信息进行异常数据种类划分,得到旧故障数据;旧故障数据包括生产异常数据、设备异常数据和监测异常数据。
故障异常检测模块203,用于将实时故障数据信息输入异常数据提取与分类模块进行异常数据种类划分后,将划分结果输入相应的训练好的故障异常检测模型,得到新故障数据;故障异常检测模型包括生产异常检测模型、设备异常检测模型和监测异常检测模型;新故障数据包括生产故障类型、设备故障类型和监测故障类型。
故障异常检测模块203,还用于判断与新故障数据对应的异常数据存储区是否存满,得到第一判断结果;若第一判断结果为未存满,则将新故障数据存入异常数据存储区,然后执行采集日志数据模块;若第一判断结果为存满,则执行数据压缩融合处理模块。
数据压缩融合处理模块204,用于将旧故障数据和新故障数据进行压缩融合,得到核心数据点。
数据压缩融合处理模块204,具体包括:
拼接单元,用于将旧故障数据和新故障数据进行拼接,得到待压缩融合的数据集;
归一化单元,用于对待压缩融合的数据集进行归一化处理,得到归一化后的数据集;
降维单元,用于对归一化后的数据集采用主成分分析法进行降维处理,得到降维后的数据集;
判断单元,用于判断降维后的数据集的数据分布结构,得到第二判断结果;
核心数据点确定单元,用于在第二判断结果为数据分布均匀时,随机选取降维后的数据集中的数据作为核心数据点;在第二判断结果为数据分布不均匀时,根据数据密度确定核心数据点。
故障异常检测模块203,还用于根据核心数据点对训练好的故障异常检测模型进行更新,得到更新后的故障异常检测模型,将训练好的故障异常检测模型替换为更新后的故障异常检测模型,然后清空异常数据存储区内的数据,并执行采集日志数据模块。
报警模块205,用于根据新故障数据的故障类型发出预警信息。
对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
为了进一步说明本发明提供的方法及系统,如图3-4所示。
步骤1:访问设备信息管理层,采集MES系统内的生产过程日志数据。
步骤2:提取故障数据并分类存储。
步骤2.1:提取日志数据中的历史故障数据信息,根据故障种类划分为生产异常数据、设备异常数据、监测异常数据及其他异常数据,对四种类型的故障数据作为旧故障数据分别存储,实现初步划分与管理。
步骤2.2:提取日志数据中的实时故障数据信息,判断实时故障数据类型,送入数据压缩融合处理模块。
步骤3:根据每类故障新旧数据提取核心数据点。
步骤3.1:首先根据实时数据所属的故障类型,判断数据压缩融合处理模块是否收到该类型的融合更新请求。若未收到则直接进入故障异常检测模块进行在线诊断。若收到该类型的请求,则进行下一步骤,数据压缩融合。
步骤3.2:数据压缩融合。将异常数据提取与分类模块中的故障数据作为旧故障数据,故障异常检测模块中的故障数据作为新故障数据,将二者进行压缩融合,提取核心数据点。
以生产异常数据为例,具体方法如下:
首先定义重视因子α,旧故障数据量表示为n1,新故障数据量表示为n2,由于新故障数据量远小于旧故障数据量,因此通过随机过采样的方式将新故障数据量扩充为αn1。
将扩充后的新故障数据与旧故障数据拼接得到待压缩融合的数据集,数据量为n=n1+αn。
采用one-hot编码将待压缩融合的数据中非数值数据转化为数值型数据,将得到的数值型数据集做归一化处理。利用的公式如下:
其中,x*是归一化后的特征值,x为原始数据中的特征值,xmin为原始数据中该特征的最小值,xmax为原始数据中该特征的最大值,处理后得到的数据用X1来表示。
式中,n为数据量(数据条数),m为一条数据的维度,xn,m为第n条数据的第m个随机变量对应的值。
归一化后采用PCA技术进行降维处理。目标维度为10,具体方法如下:
首先计算样本X1的协方差矩阵:
其中,
bi=x.i=[x0i x2i … xni]T,i=1,2,…,m;
式中,cij为协方差,∑为协方差矩阵,cmm为协方差矩阵第m行第m列元素,xi为第i个样本,bi为第i个随机变量,xni为第n条数据的第i个随机变量对应的值。
得到协方差矩阵Σ后对其进行特征值分解,得到其特征值[λ1,λ2,...,λm]与特征向量[μ1,μ2,...,μm],将特征值进行从大到小排列,取前10个特征值对应的特征向量组成变换矩阵Am×10=[μ1,μ2,...,μ10],利用公式X2=X1×Am×10计算出数据降维后得到的数据X2=[x1,x2,x3,...,xn]T,之后进入下一步。
首先判断X2的数据分布结构,用欧式距离表征任意两个样本间的距离:
定义任意样本x的密度计算公式:
ρ较小表示该样本处于整体样本分布较边缘的位置,ρ较大表示该样本处于整体样本分布较集中的位置。计算样本集X2中所有样本对应的样本密度ρ并进行归一化,得到密度集[ρ1,ρ2,...,ρn]。
则认为样本集数据分布较均匀,采用随机抽取的方式从样本集中抽取核心数据,得到核心数据集Xc。
若有:
则认为样本集数据分布不均匀,采用如下方法进行核心数据点提取:
定义以样本点xi为中心,以ε为半径的超球为样本点xi的ε邻域。用Nε(xi,X2)表示样本集X2与该邻域的交集的样本点个数,Nε(xi,X2)越大表示xi附近样本密度越大。设定ε为可调半径与阈值q,计算数据集X2各数据对应的Nε。
将样本集X2按照ρ(xi)值从大到小的顺序排列,从ρ(xi)最大的数据点开始逐个作如下的操作:
若Nε(xi,X2)>q,代表该样本点附近样本密度超过阈值,则将该点提取为核心样本点。
若Nε(xi,X2)≤q,代表该样本点附近样本密度低于阈值,此时判断该点是否在已有核心样本点的超球内,若不在超球内则代表该点为离散点,也将该点提取为核心样本点,若在超球内则将该点删除。
经过以上操作后得到核心数据集Xc。
步骤4:利用核心数据点训练检测模型,根据实时日志数据利用模型进行在线诊断。
以生产异常数据为例,当故障异常检测模块接收到生产异常数据的核心数据集后,首先将生产异常数据进行标记,划分为不同的子类,然后采用机器学习的技术进行模型的训练,得到成熟的分类器。针对生产异常数据、设备异常数据、监测异常数据及其他异常数据,最终得到四个不同的分类器。
当实时日志数据输入故障异常检测模块时,用对应的分类器进行诊断,判断是否发生故障以及故障的具体类型。若有故障发生则通过短信、邮件、警报等方式通知工作人员。
将故障数据存储至对应的新异常数据存储区。
步骤5:当某一类故障类型存储区满后向数据压缩融合处理模块发出请求。
当故障异常检测模块中的新生产异常数据存储区、新设备异常数据存储区、新监测异常数据存储区、新其他异常数据存储区中有任意一个存储区满时,向数据压缩融合处理模块发出请求,表示该类型新数据可进行压缩融合,数据压缩融合处理模块收到请求后进行对应类型数据的处理。
利用上述步骤,可以实现故障数据的压缩融合,基于核心数据点进行模型训练,可以有效减小计算量,提升效率,同时异常数据提取与分类模块将故障进行预分类,用不同的模型对不同种类的故障数据进行再分类,提升诊断准确率。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于MES的故障数据压缩与预测方法,其特征在于,包括:
获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息;
对所述历史故障数据信息进行异常数据种类划分,得到旧故障数据;所述旧故障数据包括生产异常数据、设备异常数据和监测异常数据;
将所述实时故障数据信息进行异常数据种类划分后,输入相应的训练好的故障异常检测模型,得到新故障数据;所述故障异常检测模型包括生产异常检测模型、设备异常检测模型和监测异常检测模型;所述新故障数据包括生产故障类型、设备故障类型和监测故障类型;
判断与所述新故障数据对应的异常数据存储区是否存满,得到第一判断结果;
若所述第一判断结果为未存满,则将所述新故障数据存入所述异常数据存储区,然后返回步骤“获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息”;
若所述第一判断结果为存满,则将所述旧故障数据和所述新故障数据进行压缩融合,得到核心数据点;根据所述核心数据点对所述训练好的故障异常检测模型进行更新,得到更新后的故障异常检测模型,将所述训练好的故障异常检测模型替换为所述更新后的故障异常检测模型,然后清空所述异常数据存储区内的数据,并返回步骤“获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息”。
2.根据权利要求1所述的基于MES的故障数据压缩与预测方法,其特征在于,在所述将所述实时故障数据信息进行异常数据种类划分后,输入相应的训练好的故障异常检测模型,得到新故障数据,之后还包括:
根据所述新故障数据的故障类型发出预警信息。
3.根据权利要求2所述的基于MES的故障数据压缩与预测方法,其特征在于,所述将所述旧故障数据和所述新故障数据进行压缩融合,得到核心数据点,具体包括:
将所述旧故障数据和所述新故障数据进行拼接,得到待压缩融合的数据集;
对所述待压缩融合的数据集进行归一化处理,得到归一化后的数据集;
对所述归一化后的数据集采用主成分分析法进行降维处理,得到降维后的数据集;
判断所述降维后的数据集的数据分布结构,得到第二判断结果;
若所述第二判断结果为数据分布均匀,则随机选取所述降维后的数据集中的数据作为核心数据点;
若所述第二判断结果为数据分布不均匀,则根据数据密度确定核心数据点。
4.根据权利要求3所述的基于MES的故障数据压缩与预测方法,其特征在于,所述判断所述降维后的数据集的数据分布结构,得到第二判断结果,具体包括:
根据欧式距离计算公式计算所述降维后的数据集中任意两个数据样本的距离;
根据所述距离,采用求取平均值的方法确定数据样本的密度,并根据每一个数据样本的密度生成密度集;
在所述密度集中确定最大密度值和最小密度值,并计算所述最大密度值和所述最小密度值的平均值,得到密度预设值;
判断所述密度集中密度小于所述密度预设值的数量是否大于或等于第一预设阈值,得到第二判断结果;所述第二判断结果包括数据分布均匀和数据分布不均匀;当所述数量大于或等于所述第一预设阈值时为数据分布均匀,当所述数量小于所述第一预设阈值时为数据分布不均匀;所述第一预设阈值为在(0,1)范围内的可调阈值与所述降维后的数据集中数据样本总数的乘积。
5.根据权利要求4所述的基于MES的故障数据压缩与预测方法,其特征在于,所述根据数据密度确定核心数据点,具体包括:
将所述降维后的数据集中的数据样本的密度按照由大到小的顺序排列,选取密度最大对应的数据样本,得到第一数据样本;
确定所述降维后的数据集与所述第一数据样本的邻域的交集内样本点的个数,得到第一个数;
判断所述第一个数是否大于第二预设阈值,得到第三判断结果;
若所述第三判断结果为是,则将所述第一数据样本确定为核心样本点;
若所述第三判断结果为否,则判断所述第一数据样本是否在核心样本点的超球内,得到第四判断结果;
若所述第四判断结果为是,则在所述核心样本点的超球内将所述第一数据样本剔除;
若所述第四判断结果为否,则将所述第一数据样本确定为核心样本点;
判断是否遍历完所述降维后的数据集中的所有数据样本,若是,则输出所有核心样本点,若否,则根据密度大小顺序更新所述第一数据样本,然后返回步骤“确定所述降维后的数据集与所述第一数据样本的邻域的交集内样本点的个数,得到第一个数”。
6.一种基于MES的故障数据压缩与预测系统,其特征在于,包括:
采集日志数据模块,用于获取MES系统内生产过程日志数据的历史故障数据信息和实时故障数据信息;
异常数据提取与分类模块,用于对所述历史故障数据信息进行异常数据种类划分,得到旧故障数据;所述旧故障数据包括生产异常数据、设备异常数据和监测异常数据;
故障异常检测模块,用于将所述实时故障数据信息输入所述异常数据提取与分类模块进行异常数据种类划分后,将划分结果输入相应的训练好的故障异常检测模型,得到新故障数据;所述故障异常检测模型包括生产异常检测模型、设备异常检测模型和监测异常检测模型;所述新故障数据包括生产故障类型、设备故障类型和监测故障类型;
所述故障异常检测模块,还用于判断与所述新故障数据对应的异常数据存储区是否存满,得到第一判断结果;若所述第一判断结果为未存满,则将所述新故障数据存入所述异常数据存储区,然后执行所述采集日志数据模块;若所述第一判断结果为存满,则执行数据压缩融合处理模块;
数据压缩融合处理模块,用于将所述旧故障数据和所述新故障数据进行压缩融合,得到核心数据点;
所述故障异常检测模块,还用于根据所述核心数据点对所述训练好的故障异常检测模型进行更新,得到更新后的故障异常检测模型,将所述训练好的故障异常检测模型替换为所述更新后的故障异常检测模型,然后清空所述异常数据存储区内的数据,并执行所述采集日志数据模块。
7.根据权利要求6所述的基于MES的故障数据压缩与预测系统,其特征在于,还包括:
报警模块,用于根据所述新故障数据的故障类型发出预警信息。
8.根据权利要求7所述的基于MES的故障数据压缩与预测系统,其特征在于,所述数据压缩融合处理模块,具体包括:
拼接单元,用于将所述旧故障数据和所述新故障数据进行拼接,得到待压缩融合的数据集;
归一化单元,用于对所述待压缩融合的数据集进行归一化处理,得到归一化后的数据集;
降维单元,用于对所述归一化后的数据集采用主成分分析法进行降维处理,得到降维后的数据集;
判断单元,用于判断所述降维后的数据集的数据分布结构,得到第二判断结果;
核心数据点确定单元,用于在所述第二判断结果为数据分布均匀时,随机选取所述降维后的数据集中的数据作为核心数据点;在所述第二判断结果为数据分布不均匀时,根据数据密度确定核心数据点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011262765.4A CN112256686B (zh) | 2020-11-12 | 2020-11-12 | 一种基于mes的故障数据压缩与预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011262765.4A CN112256686B (zh) | 2020-11-12 | 2020-11-12 | 一种基于mes的故障数据压缩与预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112256686A true CN112256686A (zh) | 2021-01-22 |
CN112256686B CN112256686B (zh) | 2022-11-11 |
Family
ID=74265763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011262765.4A Active CN112256686B (zh) | 2020-11-12 | 2020-11-12 | 一种基于mes的故障数据压缩与预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112256686B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113271106A (zh) * | 2021-04-25 | 2021-08-17 | 江苏方天电力技术有限公司 | 一种稀疏表示的电厂数据压缩方法 |
CN115941807A (zh) * | 2022-12-22 | 2023-04-07 | 陕西通信规划设计研究院有限公司 | 一种园区安防系统数据高效压缩方法 |
CN116678072A (zh) * | 2023-06-05 | 2023-09-01 | 耀昶嵘相变材料科技(广东)有限公司 | 中央空调系统的故障处理方法、终端及中央空调系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600140A (zh) * | 2016-12-07 | 2017-04-26 | 河海大学常州校区 | 基于改进支持向量机的燃气管道故障预测预警系统及方法 |
CN108108765A (zh) * | 2017-12-28 | 2018-06-01 | 北京理工大学 | 一种基于概率密度比的数据融合的设备故障诊断方法 |
US20200128307A1 (en) * | 2012-06-26 | 2020-04-23 | BTS Software Solutions, LLC | Realtime Multimodel Lossless Data Compression System and Method |
CN111580506A (zh) * | 2020-06-03 | 2020-08-25 | 南京理工大学 | 基于信息融合的工业过程故障诊断方法 |
-
2020
- 2020-11-12 CN CN202011262765.4A patent/CN112256686B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200128307A1 (en) * | 2012-06-26 | 2020-04-23 | BTS Software Solutions, LLC | Realtime Multimodel Lossless Data Compression System and Method |
CN106600140A (zh) * | 2016-12-07 | 2017-04-26 | 河海大学常州校区 | 基于改进支持向量机的燃气管道故障预测预警系统及方法 |
CN108108765A (zh) * | 2017-12-28 | 2018-06-01 | 北京理工大学 | 一种基于概率密度比的数据融合的设备故障诊断方法 |
CN111580506A (zh) * | 2020-06-03 | 2020-08-25 | 南京理工大学 | 基于信息融合的工业过程故障诊断方法 |
Non-Patent Citations (2)
Title |
---|
WEI ZHAO等: "The Planning, Design and Application of MES", 《ICITEE "18: PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY AND ELECTRICAL ENGINEERING》 * |
李娟莉等: "基于三层信息融合的提升机制动系统故障诊断", 《振动、 测试与诊断》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113271106A (zh) * | 2021-04-25 | 2021-08-17 | 江苏方天电力技术有限公司 | 一种稀疏表示的电厂数据压缩方法 |
CN113271106B (zh) * | 2021-04-25 | 2022-07-08 | 江苏方天电力技术有限公司 | 一种稀疏表示的电厂数据压缩方法 |
CN115941807A (zh) * | 2022-12-22 | 2023-04-07 | 陕西通信规划设计研究院有限公司 | 一种园区安防系统数据高效压缩方法 |
CN115941807B (zh) * | 2022-12-22 | 2024-02-23 | 陕西通信规划设计研究院有限公司 | 一种园区安防系统数据高效压缩方法 |
CN116678072A (zh) * | 2023-06-05 | 2023-09-01 | 耀昶嵘相变材料科技(广东)有限公司 | 中央空调系统的故障处理方法、终端及中央空调系统 |
CN116678072B (zh) * | 2023-06-05 | 2024-05-10 | 耀昶嵘相变材料科技(广东)有限公司 | 中央空调系统的故障处理方法、终端及中央空调系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112256686B (zh) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112256686B (zh) | 一种基于mes的故障数据压缩与预测方法及系统 | |
KR101984730B1 (ko) | 서버 장애 자동 예측 시스템 및 자동 예측 방법 | |
CN108805202B (zh) | 一种用于电解槽故障预警的机器学习方法及其应用 | |
CN113391209B (zh) | 电池健康状态的预测方法、装置、系统和电池 | |
CN111538311B (zh) | 一种基于数据挖掘的机械设备柔性多状态自适应预警方法及装置 | |
CN116485020B (zh) | 一种基于大数据的供应链风险识别预警方法、系统及介质 | |
CN116678552B (zh) | 一种变温度环境下光纤应力传感器异常监测方法 | |
CN115858794B (zh) | 用于网络运行安全监测的异常日志数据识别方法 | |
CN111077876B (zh) | 一种电站设备状态智能评价和预警方法、装置及系统 | |
CN116061690A (zh) | 一种电动汽车充电过程中的安全预警方法及装置 | |
CN117391458B (zh) | 基于数据分析的安全生产风险检测预警方法及系统 | |
CN108171271B (zh) | 一种设备劣化早期预警方法和系统 | |
CN117131425B (zh) | 一种基于反馈数据的数控机床加工状态监测方法及系统 | |
CN116502155B (zh) | 一种用于数控电动螺旋压力机的安全监管系统 | |
CN116030955B (zh) | 基于物联网的医疗设备状态监测方法及相关装置 | |
CN117411780A (zh) | 一种基于多源数据特征的网络日志异常检测方法 | |
CN115856694A (zh) | 电池寿命预测方法、装置、计算机设备和存储介质 | |
Singh et al. | Multiclass imbalanced big data classification utilizing spark cluster | |
CN115619539A (zh) | 贷前风险评价方法以及装置 | |
CN112733903B (zh) | 基于svm-rf-dt组合的空气质量监测与告警方法、系统、装置和介质 | |
CN111443686B (zh) | 基于多目标优化与证据迭代更新的工业报警器设计方法 | |
CN109978038B (zh) | 一种集群异常判定方法及装置 | |
CN114037016A (zh) | 非平衡高维数据分类方法、装置、终端设备及存储介质 | |
CN113221998A (zh) | 一种基于ssa-svm的稀土萃取搅拌轴故障诊断方法及系统 | |
CN118071154B (zh) | 基于数据处理的内控智能审核系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |