CN112114571B - 一种工业数据处理方法、系统及设备 - Google Patents

一种工业数据处理方法、系统及设备 Download PDF

Info

Publication number
CN112114571B
CN112114571B CN202011018363.XA CN202011018363A CN112114571B CN 112114571 B CN112114571 B CN 112114571B CN 202011018363 A CN202011018363 A CN 202011018363A CN 112114571 B CN112114571 B CN 112114571B
Authority
CN
China
Prior art keywords
data
collector
industrial
early warning
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011018363.XA
Other languages
English (en)
Other versions
CN112114571A (zh
Inventor
马文圣
汤槟
陶涛
毛尚伟
余文涵
胥泽彬
杜思君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202011018363.XA priority Critical patent/CN112114571B/zh
Publication of CN112114571A publication Critical patent/CN112114571A/zh
Application granted granted Critical
Publication of CN112114571B publication Critical patent/CN112114571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31282—Data acquisition, BDE MDE
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明提供一种工业数据处理方法、系统及设备，通过编号后的采集器采集工业数据；对工业数据进行聚类分析，离线识别工业数据中的异常数据，获取正常数据样本和异常数据样本；对正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；根据数据样本异常分析结果对采集工业数据的采集器进行异常分析，获取采集器异常分析结果；基于采集器异常分析结果生成数据采集质量报告，并根据数据采集质量报告进行数据采集质量预警。本发明解决了现有技术数据优化范围窄，采集器采集质量分析与预警缺失的技术问题。而且本发明还利用对数据的异常分析实现对采集质量的评价，进而对采集器调试进行即时和周期性预警。

Description

一种工业数据处理方法、系统及设备
技术领域
本发明涉及智能制造技术领域，特别是涉及一种工业数据处理方法、系统及设备。
背景技术
随着数据挖掘技术在工业生产中的应用越来越成熟，大量能够表达工业生产状态，反映生产质量的数据被广泛的收集起来。大量工业数据的收集，使得基于数据驱动的人工智能技术在工业生产中发挥价值打下重要的基础。在目前工业效率与质量并重的生产要求下，如何对工业数据进行异常数据排查，提升数据可信度，并且根据不同的需求进行数据分类优化，提升更快的后续项目实施效率，以及对数据采集质量进行评价和预警，成为了工业数据释放巨大潜能的核心问题。
在对工业数据进行分析与处理中，现有技术大多采取在定制需求下开发的方式实现对于数据的基础分析、预处理、算法建模等离线分析过程，进一步将训练好的模型嵌入在线应用系统中实现数据在模型中的实时接入分析。
现有工业数据处理的技术方案中存在着以下的缺陷：
其一，在不同的应用对象和应用场景下，需求数据的特征存在差异，具体的问题有着具体的数据优化需求，定制化需求下的开发，容易忽略数据之间具体需求下的隐形逻辑关系，构建的算法模型不能完全满足需求。
其二，数据采集质量的好坏，将直接影响下一步的数据分析、处理、应用，而现有技术方案中未对数据采集质量进行分析、预警和指导性调试。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种工业数据处理方法、系统及设备，用于解决现有技术中存在的技术问题。
为实现上述目的及其他相关目的，本发明提供一种工业数据处理方法，包括以下步骤：
通过编号后的采集器采集工业数据；
对所述工业数据进行聚类分析，离线识别所述工业数据中的异常数据，获取正常数据样本和异常数据样本；
对所述正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；
根据所述数据样本异常分析结果和所述工业数据对所述采集器进行异常分析，获取采集器异常分析结果；
基于所述采集器异常分析结果生成数据采集质量报告，并根据所述数据采集质量报告进行数据采集质量预警。
可选地，还包括：
获取使用所述工业数据的目标需求；
基于所述目标需求在预先提供的数据优化组件中选择优化组件，并根据所述优化组件对所述正常数据样本进行优化。
可选地，预先提供的数据优化组件包括：数据优化框架库、数据处理算法库和自主编辑模块；其中，
所述自主编辑模块用于编辑所述数据优化框架库中的数据优化框架，和编辑所述数据处理算法库中的数据处理算法。
可选地，所述数据采集质量预警包括：紧急性预警、周期性预警和自定义预警；其中，
所述紧急性预警用于在当日数据样本总体以及所述采集器均存在异常时，进行即时调试预警；所述数据样本总体包括正常数据样本和异常数据样本；
所述周期性预警用于按照月度数据采集质量报告和/或年度数据采集质量报告进行预警；所述月度数据采集质量报告按照月度检修周期生成，所述年度数据采集质量报告按照年度检修周期生成；
所述自定义预警用于根据实际工业生产需求设备预先生成时间的预警形式，个性化获取采集器紧急预警或者定期检修目的。
可选地，所述对所述正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果的具体过程包括有：
提供由工业场景与聚类算法确定的数据样本总体异常阈值AN；其中AN∈(0，1)；
计算数据样本总体异常率
Figure GDA0003279923530000021
其中，num_abnormal为异常样本数；num_total为总样本数量；
当R＜AN时判定数据样本总体正常；
当R≥AN时判定数据样本总体呈现异常，并同时对采集器进行异常分析。
可选地，对所述采集器进行编号时的编号内容包括：位置编码Li、功能编码Fj和顺序序号k。
可选地，所述根据所述数据样本异常分析结果对采集所述工业数据的采集器进行异常分析，获取采集器异常分析结果的具体过程包括：
根据采集器编号对将所述工业数据进行分类；
提供每类工业数据的标准值范围Nij，
Nij＝[Dij，Uij]；
其中，Nij由采集器的位置Li与功能Fj以及所采集的工业数据的量级确定，Dij表示标准范围下限，Uij表示标准范围上限；
启动采集器异常判别计算，包括：
对编号为LiFjk的采集器采集到的所有样本Sij，k＝[s1，s2，...，sm}中任意sm，有
Figure GDA0003279923530000031
且样本平均偏差
Figure GDA0003279923530000032
提供采集器采集质量异常阈值tij，
tij＝anij；
其中，anij由采集器的位置Li与功能Fj以及所采集的工业数据的量级确定；
根据所述采集器异常判别计算结果生成采集器异常分析报告；包括：当Adij，k＜anij时，采集器正常运行；当Adij，k≥anij时，采集器存在异常。
本发明还提供一种工业数据处理系统，包括有：
采集模块，用于通过编号后的采集器采集工业数据；
异常数据识别模块，用于对所述工业数据进行聚类分析，离线识别所述工业数据中的异常数据，获取正常数据样本和异常数据样本；
数据样本分析模块，用于对所述正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；
采集器分析模块，用于根据所述数据样本异常分析结果对采集所述工业数据的采集器进行异常分析，获取采集器异常分析结果；
预警模块，用于基于所述采集器异常分析结果生成数据采集质量报告，并在所述采集器异常时进行数据采集质量预警。
可选地，还包括有数据质量优化模块，用于获取使用所述工业数据的目标需求；并基于所述目标需求在预先提供的数据优化组件中选择优化组件，根据所述优化组件对所述正常数据样本进行优化。
本发明还提供一种工业数据处理设备，包括：
处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述工业数据处理设备执行如上述中任一项所述工业数据处理方法。
如上所述，本发明提供一种工业数据处理方法、系统及设备，具有以下有益效果：通过编号后的采集器采集工业数据；对工业数据进行聚类分析，离线识别工业数据中的异常数据，获取正常数据样本和异常数据样本；对正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；根据数据样本异常分析结果对采集工业数据的采集器进行异常分析，获取采集器异常分析结果；基于采集器异常分析结果生成数据采集质量报告，并根据数据采集质量报告进行数据采集质量预警。本发明解决了现有技术数据优化范围窄，采集器采集质量分析与预警缺失的技术问题。并且本发明在对数据进行初步异常数据分离后，可针对后续流程设定数据优化模型，提升了后续数据开发的价值，增大了数据处理方法的适用范围；而且还利用对数据的异常分析实现对采集质量的评价，进而对采集器调试进行即时和周期性预警。
附图说明
图1为本发明一实施例提供的工业数据处理方法的流程示意图；
图2为本发明另一实施例提供的工业数据处理方法的流程示意图；
图3为本发明另一实施例提供的工业数据处理方法的流程示意图；
图4为本发明一实施例提供的数据优化组件框架示意图；
图5为本发明一实施例提供的数据采集质量报告示意图；
图6为本发明一实施例提供的数据处理系统的硬件结构示意图；
图7为本发明另一实施例提供的数据处理系统的硬件结构示意图；
图8为一实施例提供的终端设备的硬件结构示意图；
图9为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10 采集模块
M20 异常数据识别模块
M30 数据样本分析模块
M40 采集器分析模块
M50 预警模块
M60 数据质量优化模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 音频组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1至图9。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
请参阅图1所示，本实施例提供一种工业数据处理方法，包括以下步骤：
S100，通过编号后的采集器采集工业数据；作为示例，采集的工业数据包含采集工业数据的采集器编号；
S200，提取采集器采集的工业数据，对工业数据进行聚类分析，离线识别工业数据中的异常数据，获取正常数据样本和异常数据样本；其中，提取采集器采集的工业数据至少包含一种类别。
S300，对正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；
S400，根据数据样本异常分析结果和工业数据对采集器进行异常分析，获取采集器异常分析结果；
S500，基于采集器异常分析结果生成数据采集质量报告，并根据数据采集质量报告进行数据采集质量预警。
本方法解决了现有技术数据优化范围窄，采集器采集质量分析与预警缺失的技术问题。并且本方法在对数据进行初步异常数据分离后，可针对后续流程设定数据优化模型，提升了后续数据开发的价值，增大了数据处理方法的适用范围；而且还利用对数据的异常分析实现对采集质量的评价，进而对采集器调试进行即时和周期性预警。
具体地，如图2和图3所示，包括有：步骤101：对工业生产中的采集器按照放置位置、功能、顺序序号进行编号；作为示例，例如将采集器放置位置记为Li，功能记为Fj，序号记为k，则放置在位置Li，功能为Fj的第k个采集器的编号为：LiFjk。
步骤102：启动采集器以采集工业数据，并添加采集器编号后存储到相应数据库中；
步骤103：提取数据库中的工业数据进行聚类分析，对工业数据的异常数据进行识别，得到正常数据样本和异常数据样本；
步骤104：根据正常数据样本和异常数据样本进行数据样本异常分析，得到数据样本异常分析结果，选择性启动采集器异常分析，获得采集器异常分析结果，根据上诉结果即时或者周期性生成数据采集质量报告；
步骤105：在后续流程对所采集的工业数据有应用需求时，针对性使用数据优化组件对正常数据样本进行数据优化，得到优化结果后供后续流程使用。
其中，数据样本异常分析步骤如下：
对正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果的具体过程包括有：
提供由工业场景与聚类算法确定的数据样本总体异常阈值AN；其中AN∈(0，1)；
计算数据样本总体异常率
Figure GDA0003279923530000071
其中，num_abnormal为异常样本数；num_total为总样本数量；
当R＜AN时判定数据样本总体正常；
当R≥AN时判定数据样本总体呈现异常，并同时对采集器进行异常分析。
采集器异常分析步骤如下：
根据采集器编号对将工业数据进行分类；
提供每类工业数据的标准值范围Nij，
Nij＝[Dij，Uij]；
其中，Nij由采集器的位置Li与功能Fj以及所采集的工业数据的量级确定，Dij表示标准范围下限，Uij表示标准范围上限；
启动采集器异常判别计算，包括：
对编号为LiFjk的采集器采集到的所有样本Sij，k＝{s1，s2，...，sm}中任意sm，有
Figure GDA0003279923530000072
且样本平均偏差
Figure GDA0003279923530000073
提供采集器采集质量异常阈值tij，
tij＝anij；
其中，anij由采集器的位置Li与功能Fj以及所采集的工业数据的量级确定；
根据采集器异常判别计算结果生成采集器异常分析报告；包括：当Adij，k＜anij时，采集器正常运行；当Adij，k≥anij时，采集器存在异常。
根据采集器异常分析结果和数据异常分析结果生成数据采集质量报告。数据采集质量报告结果请参阅图5。
在一示例性实施例中，还包括获取使用工业数据的目标需求；基于目标需求在预先提供的数据优化组件中选择优化组件，并根据优化组件对正常数据样本进行优化。预先提供的数据优化组件包括：数据优化框架库、数据处理算法库和自主编辑模块；其中，自主编辑模块用于编辑数据优化框架库中的数据优化框架，和编辑数据处理算法库中的数据处理算法。选用数据优化组件包括直接调用数据优化框架和自主编辑两种方式。具体地，请参阅图4中数据优化组件的具体构成，其中自主编辑模块包括数据优化框架编辑和数据处理算法编辑。操作人员可根据实际需要在自主编辑模块中选定单一和组合多个提供的框架或者算法，以及自主编辑新的算法模型；数据优化组件将对历史编辑的算法和框架进行管理和分类。
根据上述记载，在一些示例性实施例中，数据采集质量报告包括采集数据异常分析报告和各采集器异常分析报告。数据采集质量预警包括：紧急性预警、周期性预警和自定义预警；其中，
紧急性预警用于在当日数据样本总体以及采集器均存在异常时，进行即时调试预警；数据样本总体包括正常数据样本和异常数据样本；
周期性预警用于按照月度数据采集质量报告和/或年度数据采集质量报告进行预警；月度数据采集质量报告按照月度检修周期生成，年度数据采集质量报告按照年度检修周期生成；
自定义预警用于根据实际工业生产需求设备预先生成时间的预警形式，个性化获取采集器紧急预警或者定期检修目的。
本方法通过编号后的采集器采集工业数据；对工业数据进行聚类分析，离线识别工业数据中的异常数据，获取正常数据样本和异常数据样本；对正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；根据数据样本异常分析结果对采集工业数据的采集器进行异常分析，获取采集器异常分析结果；基于采集器异常分析结果生成数据采集质量报告，并根据数据采集质量报告进行数据采集质量预警。同时，提供一套数据优化组件；根据后续流程对数据的使用需求在所述数据优化组件中选用优化组件，对所述正常数据样本进行优化。本方法解决了现有技术数据优化范围窄，采集器采集质量分析与预警缺失的技术问题。并且本方法在对数据进行初步异常数据分离后，可针对后续流程设定数据优化模型，提升了后续数据开发的价值，增大了数据处理方法的适用范围；而且利用对数据的异常分析实现对采集质量的评价，进而对采集器调试进行即时和周期性预警。
如图5至图7所示，本发明还提供一种工业数据处理系统，包括有：
采集模块M10，用于通过编号后的采集器采集工业数据；
异常数据识别模块M20，用于对工业数据进行聚类分析，离线识别工业数据中的异常数据，获取正常数据样本和异常数据样本；
数据样本分析模块M30，用于对正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；
采集器分析模块M40，用于根据数据样本异常分析结果对采集工业数据的采集器进行异常分析，获取采集器异常分析结果；
预警模块M50，用于基于采集器异常分析结果生成数据采集质量报告，并根据数据采集质量报告进行数据采集质量预警。
本系统通过编号后的采集器采集工业数据；对工业数据进行聚类分析，离线识别工业数据中的异常数据，获取正常数据样本和异常数据样本；对正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；根据数据样本异常分析结果对采集工业数据的采集器进行异常分析，获取采集器异常分析结果；基于采集器异常分析结果生成数据采集质量报告，并根据数据采集质量报告进行数据采集质量预警。本系统解决了现有技术数据优化范围窄，采集器采集质量分析与预警缺失的技术问题。并且本系统在对数据进行初步异常数据分离后，可针对后续流程设定数据优化模型，提升了后续数据开发的价值，增大了数据处理系统的适用范围；而且利用对数据的异常分析实现对采集质量的评价，进而对采集器调试进行即时和周期性预警。
在一示例性实施例中，还包括有数据质量优化模块M60，用于获取使用工业数据的目标需求；并基于目标需求在预先提供的数据优化组件中选择优化组件，根据优化组件对正常数据样本进行优化。本实施例通过提供一套数据优化组件；根据后续流程对数据的使用需求在所述数据优化组件中选用优化组件，对所述正常数据样本进行优化。
在一示例性实施例中，如图7所示，该系统包括：
采集器模块，用以采集工业生产数据；
异常数据处理模块，用以识别所述采集工业数据中的异常数据，达到分离正常数据与异常数据的目的；
数据质量优化模块，用以根据后续流程对数据的使用需求在选用数据优化组件针对性的对正常数据进行优化；
采集质量评价模块，用以对采集的数据样本进行分析并反馈采集器数据采集质量，对采集器的工作状态进行监测和预警。
具体的，所述的采集质量评价模块包含预警提示接口；
采集数据库模块，用以存储各个采集器采集到的数据，以及聚类后的异常数据与正常数据。
根据上述记载，数据样本异常分析步骤如下：
对正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果的具体过程包括有：
提供由工业场景与聚类算法确定的数据样本总体异常阈值AN；其中AN∈(0，1)；
计算数据样本总体异常率
Figure GDA0003279923530000101
其中，num_abnormal为异常样本数；num_total为总样本数量；
当R＜AN时判定数据样本总体正常；
当R≥AN时判定数据样本总体呈现异常，并同时对采集器进行异常分析。
采集器异常分析步骤如下：
根据采集器编号对将工业数据进行分类；
提供每类工业数据的标准值范围Nij，
Nij＝[Dij，Uij]；
其中，Nij由采集器的位置Li与功能Fj以及所采集的工业数据的量级确定，Dij表示标准范围下限，Uij表示标准范围上限；
启动采集器异常判别计算，包括：
对编号为LiFjk的采集器采集到的所有样本Sij，k＝{s1，s2，...，sm}中任意sm，有
Figure GDA0003279923530000102
且样本平均偏差
Figure GDA0003279923530000103
提供采集器采集质量异常阈值tij，
tij＝anij；
其中，anij由采集器的位置Li与功能Fj以及所采集的工业数据的量级确定；
根据采集器异常判别计算结果生成采集器异常分析报告；包括：当Adij，k＜anij时，采集器正常运行；当Adij，k≥anij时，采集器存在异常。
根据采集器异常分析结果和数据异常分析结果生成数据采集质量报告。数据采集质量报告结果请参阅图5。
综上所述，本系统通过编号后的采集器采集工业数据；对工业数据进行聚类分析，离线识别工业数据中的异常数据，获取正常数据样本和异常数据样本；对正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；根据数据样本异常分析结果对采集工业数据的采集器进行异常分析，获取采集器异常分析结果；基于采集器异常分析结果生成数据采集质量报告，并根据数据采集质量报告进行数据采集质量预警。同时，提供一套数据优化组件；根据后续流程对数据的使用需求在所述数据优化组件中选用优化组件，对所述正常数据样本进行优化。本系统解决了现有技术数据优化范围窄，采集器采集质量分析与预警缺失的技术问题。并且本系统在对数据进行初步异常数据分离后，可针对后续流程设定数据优化模型，提升了后续数据开发的价值，增大了数据处理系统的适用范围；而且利用对数据的异常分析实现对采集质量的评价，进而对采集器调试进行即时和周期性预警。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。
图8为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器110l、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图9为本申请的另一个实施例提供的终端设备的硬件结构示意图。图9是对图8在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图9实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图8实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种工业数据处理方法，其特征在于，包括以下步骤：
通过编号后的采集器采集工业数据；
对所述工业数据进行聚类分析，离线识别所述工业数据中的异常数据，获取正常数据样本和异常数据样本；
对所述正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；
根据所述数据样本异常分析结果和所述工业数据对所述采集器进行异常分析，获取采集器异常分析结果；
基于所述采集器异常分析结果生成数据采集质量报告，并根据所述数据采集质量报告进行数据采集质量预警；
所述数据采集质量预警包括：紧急性预警、周期性预警和自定义预警；其中，
所述紧急性预警用于在当日数据样本总体以及所述采集器均存在异常时，进行即时调试预警；所述数据样本总体包括正常数据样本和异常数据样本；
所述周期性预警用于按照月度数据采集质量报告和/或年度数据采集质量报告进行预警；所述月度数据采集质量报告按照月度检修周期生成，所述年度数据采集质量报告按照年度检修周期生成；
所述自定义预警用于根据实际工业生产需求设备预先生成时间的预警形式，个性化获取采集器紧急预警或者定期检修目的。
2.根据权利要求1所述的工业数据处理方法，其特征在于，还包括：
获取使用所述工业数据的目标需求；
基于所述目标需求在预先提供的数据优化组件中选择优化组件，并根据所述优化组件对所述正常数据样本进行优化。
3.根据权利要求2所述的工业数据处理方法，其特征在于，预先提供的数据优化组件包括：数据优化框架库、数据处理算法库和自主编辑模块；其中，
所述自主编辑模块用于编辑所述数据优化框架库中的数据优化框架，和编辑所述数据处理算法库中的数据处理算法。
4.根据权利要求1所述的工业数据处理方法，其特征在于，所述对所述正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果的具体过程包括有：
提供由工业场景与聚类算法确定的数据样本总体异常阈值AN；其中AN∈(0，1)；
计算数据样本总体异常率
Figure FDA0003279923520000021
其中，num_abnormal为异常样本数；num_total为总样本数量；
当R<AN时判定数据样本总体正常；
当R≥AN时判定数据样本总体呈现异常，并同时对采集器进行异常分析。
5.根据权利要求1或4所述的工业数据处理方法，其特征在于，对所述采集器进行编号时的编号内容包括：位置编码Li、功能编码Fj和顺序序号k。
6.根据权利要求1或4所述的工业数据处理方法，其特征在于，所述根据所述数据样本异常分析结果对采集所述工业数据的采集器进行异常分析，获取采集器异常分析结果的具体过程包括：
根据采集器编号对将所述工业数据进行分类；
提供每类工业数据的标准值范围Nij，
Nij＝[Dij，Uij]；
其中，Nij由采集器的位置Li与功能Fj以及所采集的工业数据的量级确定，Dij表示标准范围下限，Uij表示标准范围上限；
启动采集器异常判别计算，包括：
对编号为LiFjk的采集器采集到的所有样本Sij，k＝{s1，s2，...，sm}中任意sm，有
Figure FDA0003279923520000022
且样本平均偏差
Figure FDA0003279923520000023
提供采集器采集质量异常阈值tij，
tij＝anij；
其中，αnij由采集器的位置Li与功能Fj以及所采集的工业数据的量级确定；
根据所述采集器异常判别计算结果生成采集器异常分析报告；包括：当Adij，k<anij时，采集器正常运行；当Adij，k≥anij时，采集器存在异常。
7.一种工业数据处理系统，其特征在于，包括有：
采集模块，用于通过编号后的采集器采集工业数据；
异常数据识别模块，用于对所述工业数据进行聚类分析，离线识别所述工业数据中的异常数据，获取正常数据样本和异常数据样本；
数据样本分析模块，用于对所述正常数据样本和异常数据样本进行数据样本异常分析，获取数据样本异常分析结果；
采集器分析模块，用于根据所述数据样本异常分析结果对采集所述工业数据的采集器进行异常分析，获取采集器异常分析结果；
预警模块，用于基于所述采集器异常分析结果生成数据采集质量报告，并在所述采集器异常时进行数据采集质量预警；
所述数据采集质量预警包括：紧急性预警、周期性预警和自定义预警；其中，
所述紧急性预警用于在当日数据样本总体以及所述采集器均存在异常时，进行即时调试预警；所述数据样本总体包括正常数据样本和异常数据样本；
所述周期性预警用于按照月度数据采集质量报告和/或年度数据采集质量报告进行预警；所述月度数据采集质量报告按照月度检修周期生成，所述年度数据采集质量报告按照年度检修周期生成；
所述自定义预警用于根据实际工业生产需求设备预先生成时间的预警形式，个性化获取采集器紧急预警或者定期检修目的。
8.根据权利要求7所述的工业数据处理系统，其特征在于，还包括有数据质量优化模块，用于获取使用所述工业数据的目标需求；并基于所述目标需求在预先提供的数据优化组件中选择优化组件，根据所述优化组件对所述正常数据样本进行优化。
9.一种工业数据处理设备，其特征在于，包括：
处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述工业数据处理设备执行如权利要求1至6中任一项所述工业数据处理方法。
CN202011018363.XA 2020-09-24 2020-09-24 一种工业数据处理方法、系统及设备 Active CN112114571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011018363.XA CN112114571B (zh) 2020-09-24 2020-09-24 一种工业数据处理方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011018363.XA CN112114571B (zh) 2020-09-24 2020-09-24 一种工业数据处理方法、系统及设备

Publications (2)

Publication Number Publication Date
CN112114571A CN112114571A (zh) 2020-12-22
CN112114571B true CN112114571B (zh) 2021-11-30

Family

ID=73801146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011018363.XA Active CN112114571B (zh) 2020-09-24 2020-09-24 一种工业数据处理方法、系统及设备

Country Status (1)

Country Link
CN (1) CN112114571B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1950771A (zh) * 2004-05-04 2007-04-18 费舍-柔斯芒特系统股份有限公司 用于过程控制的集成图形用户界面
CN106250988A (zh) * 2016-07-28 2016-12-21 武汉理工大学 基于样本特性的相关向量回归增量学习算法及系统
CN106888205A (zh) * 2017-01-04 2017-06-23 浙江大学 一种非侵入式基于功耗分析的plc异常检测方法
CN107341444A (zh) * 2017-06-07 2017-11-10 北京星网锐捷网络技术有限公司 数据异常预警方法及装置
CN108027911A (zh) * 2015-07-29 2018-05-11 伊利诺斯工具制品有限公司 促进焊接即服务软件的系统及方法
CN108197280A (zh) * 2018-01-10 2018-06-22 上海电气集团股份有限公司 一种基于工业设备数据的可挖掘性评估方法
CN108614487A (zh) * 2018-05-31 2018-10-02 深圳市晟达机械设计有限公司 用于多机器人的智能数据采集系统
CN109523752A (zh) * 2018-11-28 2019-03-26 润电能源科学技术有限公司 一种设备故障预警方法、装置、电子设备和介质
CN109801364A (zh) * 2019-01-23 2019-05-24 厦门嵘拓物联科技有限公司 一种三维数字建模方法和数字化车间管理系统
CN109933500A (zh) * 2019-03-27 2019-06-25 新奥数能科技有限公司 设备故障告警方法、装置、可读介质及电子设备
CN110214071A (zh) * 2017-01-30 2019-09-06 Abb瑞士股份有限公司 用于收集工业机器人应用的操作数据的方法和设备
CN110287456A (zh) * 2019-06-30 2019-09-27 张家港宏昌钢板有限公司 基于数据挖掘的大盘卷轧制表面缺陷分析方法
CN111541640A (zh) * 2018-12-28 2020-08-14 卡巴斯基实验室股份公司 在具有确定特性的网络物理系统中检测异常的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW559706B (en) * 2001-06-08 2003-11-01 Hon Hai Prec Ind Co Ltd Method and system for collecting and monitoring shop floor information
GB0415951D0 (en) * 2004-07-16 2004-08-18 Meadwestvaco Packaging Systems A method for identifying abnormal operation of a machine and an apparatus therefor
US20110098974A1 (en) * 2008-02-29 2011-04-28 Shou-Hua Zhang Adaptive differential ratio-metric detector
CN104950754A (zh) * 2015-06-12 2015-09-30 成都德麦科技有限公司 一种用于工业制冷控制系统的智能化手机监控方法
EP3379357B1 (en) * 2017-03-24 2019-07-10 ABB Schweiz AG Computer system and method for monitoring the technical state of industrial process systems
US10620612B2 (en) * 2017-06-08 2020-04-14 Rockwell Automation Technologies, Inc. Predictive maintenance and process supervision using a scalable industrial analytics platform
CN109973329B (zh) * 2018-12-27 2020-09-25 积成电子股份有限公司 风力发电机机舱变频器柜温度异常的判断方法
CN111176245A (zh) * 2019-10-29 2020-05-19 中国电子科技集团公司第三十八研究所 基于数字孪生技术的多终端工业设备巡检监控系统及方法
CN110908346A (zh) * 2019-11-13 2020-03-24 中冶赛迪重庆信息技术有限公司 一种多工序智能管控系统、方法及设备
CN111429425B (zh) * 2020-03-20 2023-04-07 中冶赛迪信息技术(重庆)有限公司 一种基于深度学习的轧机入口异常识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1950771A (zh) * 2004-05-04 2007-04-18 费舍-柔斯芒特系统股份有限公司 用于过程控制的集成图形用户界面
CN108027911A (zh) * 2015-07-29 2018-05-11 伊利诺斯工具制品有限公司 促进焊接即服务软件的系统及方法
CN106250988A (zh) * 2016-07-28 2016-12-21 武汉理工大学 基于样本特性的相关向量回归增量学习算法及系统
CN106888205A (zh) * 2017-01-04 2017-06-23 浙江大学 一种非侵入式基于功耗分析的plc异常检测方法
CN110214071A (zh) * 2017-01-30 2019-09-06 Abb瑞士股份有限公司 用于收集工业机器人应用的操作数据的方法和设备
CN107341444A (zh) * 2017-06-07 2017-11-10 北京星网锐捷网络技术有限公司 数据异常预警方法及装置
CN108197280A (zh) * 2018-01-10 2018-06-22 上海电气集团股份有限公司 一种基于工业设备数据的可挖掘性评估方法
CN108614487A (zh) * 2018-05-31 2018-10-02 深圳市晟达机械设计有限公司 用于多机器人的智能数据采集系统
CN109523752A (zh) * 2018-11-28 2019-03-26 润电能源科学技术有限公司 一种设备故障预警方法、装置、电子设备和介质
CN111541640A (zh) * 2018-12-28 2020-08-14 卡巴斯基实验室股份公司 在具有确定特性的网络物理系统中检测异常的系统和方法
CN109801364A (zh) * 2019-01-23 2019-05-24 厦门嵘拓物联科技有限公司 一种三维数字建模方法和数字化车间管理系统
CN109933500A (zh) * 2019-03-27 2019-06-25 新奥数能科技有限公司 设备故障告警方法、装置、可读介质及电子设备
CN110287456A (zh) * 2019-06-30 2019-09-27 张家港宏昌钢板有限公司 基于数据挖掘的大盘卷轧制表面缺陷分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A generic data analytics system for manufacturing production;Hang Zhang;《Big Data Mining and Analytics》;20180412;全文 *
基于时序数据挖掘的工业设备异常检测分析;苏中鲜;《中国优秀硕士学位论文全文数据库 工程科技I辑》;20170315;全文 *
工业大数据技术在石化设备预警预测中的研究与实践;贺宗江;《当代石油化工》;20200620;全文 *

Also Published As

Publication number Publication date
CN112114571A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN111444236B (zh) 一种基于大数据的移动终端用户画像构建方法及系统
CN110674982B (zh) 一种温室气体排放量核算、分析和预测的系统、方法及设备
CN111598012B (zh) 一种图片聚类管理方法、系统、设备及介质
CN113052079B (zh) 一种基于人脸聚类的区域客流统计方法、系统、设备和介质
CN112241789A (zh) 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN112949172A (zh) 一种数据处理方法、装置、机器可读介质及设备
CN114078008A (zh) 异常行为检测方法、装置、设备及计算机可读存储介质
CN209326697U (zh) 一种开关柜带电检测移动作业终端
CN112114571B (zh) 一种工业数据处理方法、系统及设备
CN111178455A (zh) 图像聚类方法、系统、设备及介质
CN111091152A (zh) 图像聚类方法、系统、设备及机器可读介质
CN116843395A (zh) 一种业务系统的告警分级方法、装置、设备及存储介质
CN116453125A (zh) 基于人工智能的数据录入方法、装置、设备及存储介质
CN110796071A (zh) 行为检测方法、系统、机器可读介质及设备
CN115757075A (zh) 任务异常检测方法、装置、计算机设备及存储介质
CN114240663A (zh) 数据对账方法、装置、终端及存储介质
CN112650796A (zh) 一种自动化的应用数据收集、存储管理系统
CN116340864B (zh) 一种模型漂移检测方法、装置、设备及其存储介质
CN110767224B (zh) 一种基于特征权级的业务管理方法、系统、设备和介质
CN114021660A (zh) 一种特征挖掘模型的训练方法、装置、介质及设备
CN115271026A (zh) 生成人脸质量评估模型的方法、系统、设备及介质
CN110751459A (zh) 一种基于时间信息的业务管理方法、系统、设备和介质
CN116795882A (zh) 数据获取方法、装置、计算机设备及存储介质
CN112765388A (zh) 一种目标数据标注方法、系统、设备及介质
CN116186322A (zh) 一种音乐推荐方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Patentee after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: 20-24 / F, No.7 Longjing Road, North New District, Yubei District, Chongqing

Patentee before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address