CN115509187B - 一种工业大数据处理方法和系统 - Google Patents

一种工业大数据处理方法和系统 Download PDF

Info

Publication number
CN115509187B
CN115509187B CN202211142341.3A CN202211142341A CN115509187B CN 115509187 B CN115509187 B CN 115509187B CN 202211142341 A CN202211142341 A CN 202211142341A CN 115509187 B CN115509187 B CN 115509187B
Authority
CN
China
Prior art keywords
parameter
industrial
data
combination
industrial equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211142341.3A
Other languages
English (en)
Other versions
CN115509187A (zh
Inventor
于翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongjia Ruitong Technology Co ltd
Original Assignee
Beijing Zhongjia Ruitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongjia Ruitong Technology Co ltd filed Critical Beijing Zhongjia Ruitong Technology Co ltd
Priority to CN202211142341.3A priority Critical patent/CN115509187B/zh
Publication of CN115509187A publication Critical patent/CN115509187A/zh
Application granted granted Critical
Publication of CN115509187B publication Critical patent/CN115509187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31282—Data acquisition, BDE MDE
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种工业大数据处理方法和系统，所述方法包括:数据处理服务器从大数据服务器获取请求相关的数据子集；将所述数据子集整理成为参数组合；将参数组合按照时间顺序对其中第二部分的参数值做聚类分区，得到第二部分的一个或多个参数值分区组合，以及和每个参数值分区组合对应的第三部分的敏感参数部分以构成大数据表；基于参数组合序列中的每个参数组合查找大数据表，以得到控制数据。本发明能够从大量的数据中抽取真正有用的数据，发现和利用多个工业设备联合工作时所产生的数据特性，从而对现场工业设备作有效的工业控制。

Description

一种工业大数据处理方法和系统
【技术领域】
本发明属于工业控制技术领域，尤其涉及一种工业大数据处理方法和系统。
【背景技术】
数据是现代企业的重要资源，是企业运用科学管理、决策分析的基础。据统计，数据量每2到3年就会成倍增长，这些数据蕴含着巨大的商业价值，充分利用已存在的数据资源，把数据转换为信息和知识，已经成为提高其核心竞争力的主要瓶颈；
工业大数据是指在工业领域中产生的大数据，是指由工业设备高速产生的大量数据，对应不同时间下的设备状态，是物联网中的信息。随着科技的进步发展，在工业行业中也在不断发生变化，其中数字化、信息化、已经渗透进工业生产的每个角落，在工业大数据使用的过程中，就会用到工业大数据。
随着信息化与工业化的深度融合，信息技术渗透到了工业企业产业链的各个环节，工业产品的全生命周期从市场规划、设计、制造、销售到维护的过程中也会产生大量的结构化和非结构化数据，从而形成了工业大数据，而目前的工业大数据仍需不断升级才能助力智能制造。工业大数据有数据容量大的特点，而数据的大小决定所考虑的数据的价值和潜在的信息；工业数据体量比较大，大量机器设备的高频数据和互联网数据持续涌入，大型工业企业的数据集将达到PB级甚至EB级别。另一方面，目前对工业设备的异常和故障的检测存在极大的难度，现场生产系统的组成往往很庞大，工序复杂物联网节点庞大，传感器键槽的监测数据的参数维度高范围广，采用传统特征提取方法很难提取到可以反映其内在表现的特征；而实际生产过程中。生产现场发生故障或者需要进行和模态转换相关的工业过程控制的发生概率较低，一般情况下工业设备的工作都是有序进行的，因此收集相关数据缺乏目标性，代价极高且很困难。针对上述问题，现有技术中不能对各个部分进行数据统一化分析处理，无法从大量的数据中抽取真正有用的数据，在进行工业控制时，不能够发现和利用多个工业设备联合工作时所产生的数据特性，从而无法对现场工业设备作有效的工业控制。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种工业大数据处理方法和系统，所述系统包含：
步骤S1：数据处理服务器获取来自移动终端的工业大数据处理请求；
步骤S2：数据处理服务器从大数据服务器获取请求相关的数据子集；具体为：数据处理服务器基于工业设备之间的连接关系从大数据服务器的大数据集中抽取数据子集；所抽取的数据子集是关于所述工业大数据处理请求所涉及工业设备集合中具备特定连接关系的一个或多个工业设备的数据子集；所述特定连接关系是局部显著工业设备簇的连接关系；局部显著工业设备簇是多个特定参数值存在显著性的工业设备组成的；
步骤S3：将所述数据子集整理成为参数组合；每个参数组合对应一个局部显著工业设备簇；每个参数组合中包含三个部分；其中：第一部分为标识参数部分，包括工业设备参数组合中的固定部分；第二部分为不敏感参数部分，所述不敏感参数部分是不容易发生数值变化的参数部分；第三部分为敏感参数部分，是容易发生数值变化的参数部分；
步骤S4：将参数组合按照时间顺序对其中第二部分的参数值做聚类分区，得到第二部分的一个或多个参数值分区组合，以及和每个参数值分区组合对应的第三部分的敏感参数部分以构成大数据表；每个参数值分区组合中包含一个或多个工业设备的一个或多个参数类型的数据值聚类后形成的数值范围；
步骤S5：采集生产现场的工业设备参数；将所述工业设备参数整理成为参数组合序列；
步骤S6：基于参数组合序列中的每个参数组合查找大数据表，并将参数组合序列和查找到的敏感数据作对比以得到控制数据；数据处理服务器基于控制数据控制现场工业设备。
进一步的，所述步骤S6具体包括如下步骤：
步骤S61：按照时间顺序依次提取参数组合序列中参数组合；
步骤S62：将参数组合的第二部分中的每个参数值和大数据表中第二部分的相应类型的多个参数值分区依次作比较，以判断参数组合所落入的参数值分区组合；
步骤S63：当多个连续的参数组合均落入相同的参数值分区组合中时，提取所落入的参数值分区组合所关联的大数据表中第三部分的敏感数据作为指导敏感数据；并进入步骤S64；
所述步骤S63还包括：当多个连续的参数组合均落入相同的第一参数值分区组合中，而其后续的多个连续的参数组合均落入相同的第二参数值分区组合中时，进入步骤S65；
步骤S64：将当前参数组合的第三部分中的敏感数据和指导敏感数据作比较以得到控制数据；数据处理服务器基于控制数据控制现场工业设备；
步骤S65：确定现场工业设备发生了模式转换；现场工业设备从多个连续的参数组合均落入相同的参数值分区组合对应的第一模式转换到后续的多个连续的参数组合均落入相同的第二参数值分区组合对应的第二模式；基于模式转换进行工业设备控制。
进一步的，当参数组合序列中多个连续的参数组合均未落入任何参数值分区组合，进行人工反馈以检查生产现场的工业设备。
进一步的，判断当前参数组合的第三部分中的敏感数据和指导敏感数据数据之间的差异，当差异偏离正常差异范围时，生成和所述偏离正常差异范围的敏感数据类型对应工业设备的异常报警，将所述异常报警数据作为控制数据；当差异落入正常差异范围时，不产生控制数据；不对工业设备的运行作干涉。
进一步的，所述异常关联表中还设置有干预策略字段，在查找所述异常关联表时，能够同时找到异常报警类型和干预策略，在进行异常报警的同时，给出相应的干预策略以进行工业设备控制。
一种基于上述工业大数据处理方法的工业大数据处理系统，其特征在于，包括：大数据服务器，数据处理服务器，工业设备，移动终端。
进一步的，所述工业设备为一个或多个，基于所述一个或多个工业设备搭建生产现场。
进一步的，所述移动终端为一个或多个。
一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的工业大数据处理方法。
一种大数据平台，其特征在于，所述大数据平台被配置为执行所述的工业大数据处理方法。
本发明的有益效果包括：
(1)通过和生产过程所对应的工业设备连接关系作局部显著性计算和分析，从大量数据中抽取关键数据子集，大大减少了可能产生的数据存储和后续的分析处理开销，为分析效率的提升提供基础；另一方面基于连接关系子集进行数据获取避免了过渡减少导致的常见问题；
(2)通过和局部显著工业设备簇对应的参数值区间组合作数据对标，使得一份有用数据和多维度的工业设备及其连接关系形成对应关系，为有用数据提取以及工业设备现场的设备控制形成有益而准确的指导；
(3)通过基于参数值分区精准的确定控制的方向，打破异常敏感数据类型和工业设备本身之间关联性，通过敏感数据类型组合对敏感数据命中情况进行累计，精准的确定报警类型，为工业设备控制提供有用有效的控制；
(4)通过连续的参数组合判断，有效利用时间序列中的时序特征对高度异常的现场工业设备模式异常进行发现和可能的后续控制，能够满足模式多变的序列异常检测的需求。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1为本发明所涉及的工业设备所搭建的生产现场示意图。
图2为本发明提供的工业大数据处理方法示意图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定；
附图1所示，本发明提供的一种工业大数据处理方法，具体包括如下步骤：
步骤S1：数据处理服务器获取来自移动终端的工业大数据处理请求；具体为：根据所述工业大数据处理请求确定处理请求所涉及的工业设备标识集合、工业设备类型和/或其工业设备连接关系等信息；
优选的：所述工业设备包括工作流水线上的数控车床、工业机器人、机械臂、加工设备、运行轨道、工装设备、供料设备等；工业设备之间存在连接关系以完成具有先后顺序的工序；
优选的：所述工业设备包括生产现场中的物联网节点；
优选的：所述工业大数据处理请求中包括对生产现场的描述信息；
优选的：所述移动终端为物联网终端；
步骤S2：数据处理服务器从大数据服务器获取请求相关的数据子集；具体为：数据处理服务器基于工业设备之间的连接关系从大数据服务器的大数据集中抽取数据子集；所抽取的数据子集是关于所述工业设备标识集合的，具备特定连接关系的工业设备的数据子集；也就是说，所述数据子集是工业大数据集中的显著数据集合；其中：所述特定连接关系是指工业设备之间存在连接关系中的部分连接关系；也就是说，特定连接关系是所有连接关系中的子集；所述特定连接关系
优选的：所述工业大数据集包括工业设备类型、标识以及和工业设备工作时所产生的相关控制参数；所述控制参数包括：工业设备控制数据、工业设备产品数据、工业设备的生产过程数据、生产进度数据、生产质量数据、生产环境参数等；
所述步骤S2具体包括如下步骤：
步骤S21：从工业设备集合中确定显著工业设备；具体的：基于一个或多个工业设备显著参数从工业设备集合中确定一个或多个显著工业设备；例如：基于工业设备单件加工时长、工业设备平均异常率、工业设备重要度或可替代度、工业设备价值等；具体的确定方法可以是针对每个工业设备显著参数确定一个显著工业设备使得所述显著工业设备的显著参数值最大，或基于这些工业设备显著参数的组合确定一个显著工业设备使得所述显著工业设备的显著参数的组合参数值最大；
可替换的：通过人工标注的方式确定显著工业设备；
步骤S22：对于每个显著工业设备，根据随着工业设备簇尺寸的增加其显著值的变化情况获得和显著工业设备对应的局部显著工业设备簇；所述局部显著工业设备簇中至少有两个工业设备之间存在直接的连接关系；
所述步骤S22包括如下步骤：
步骤S221：获取一个未处理的显著工业设备；
步骤S222：初始化和所述未处理的显著工业设备对应的工业设备簇为包含所述未处理的显著工业设备；
步骤S223：计算所述工业设备簇的显著值SG＝∑kSPk/SZC；其中：SPk是工业设备簇中第k工业设备的显著参数值；判断显著值是否呈现局部最大，如果是，则进入步骤S225，否则，进入步骤S224；其中：SZC是工业设备簇的当前尺寸；局部最大是指随着工业设备簇的尺寸的增加，显著值不会呈现增加反而会减少，则认为所述工业设备簇呈现局部最大；
优选的：对显著参数的参数作数值化和归一化，使得显著参数值越大其对应的显著性越强，反之，显著参数值越小其对应的显著性越小；
所述判断显著值是否呈现局部最大，具体为：若满足如下条件中的1个或者多个，则确定显著值呈现局部最大；
条件1：(SGt≤SGt-1)且(SGt-1≤SGt-2)且(SGt-2≤SGt-3)
条件2：(SGt≤SGt-1)且(SGt-1≤SGt-2)；
条件3：ω×|SGt-SGt-1|<|SGt-1-SGt-2|且ω×|SGt-1-SGt-2|<|SGt-2-SGt-3|；
条件4：ω×|SGt-SGt-1|<|SGt-1-SGt-2|；ω≥1；其中：SGt是工业设备簇尺寸SZC＝t时的显著值；SGt-1，SGt-2，SGt-3也是类似的；通过调整ω来调整局部下降程度，提高或者降低显著程度，从而调整敏感度；
步骤S224：判断所述工业设备簇的尺寸SZC是否大于局部尝试值，如果是，则进入步骤S225：否则，在所述工业设备簇中增加一个工业设备，并返回步骤S223；
优选的：局部尝试值越大则局部范围越大，计算开销越大，反之亦然；例如：设置所述局部尝试值等于
Figure BDA0003854149890000041
所述在所述工业设备簇中增加一个工业设备，具体为：在未加入工业设备簇的工业设备中选择和所述显著工业设备之间的连接距离最小的工业设备；其中：所述连接距离是两个工业设备之间直接连接关系的个数；当两个工业设备之间存在超过预设大小的数据交互时，认为这两个工业设备之间存在直接关联关系；
可替换的：所述连接距离是两个工业设备之间加权的直接连接关系的个数；加权的方式可以是两个工业设备之间的交互频率等；当两个工业设备之间发生频繁的交互时，两者之间的连接距离小，反之，连接距离大；
步骤S225：将当前的工业设备簇作为局部显著工业设备簇；
步骤S23：获取和每个局部显著工业设备簇相关的数据作为所抽取的数据子集；具体为：从大数据服务器中获取连接关系、工业设备标识参数部分均和工业大数据处理请求一致的局部显著工业设备簇中每个工业设备的数据作为所抽取的数据子集；
工业设备标识参数部分和后面的第一部分相同；例如：工业大数据处理请求对应的局部显著工业设备簇包含3个设备A1，A2，A3，从大数据服务器中仅仅获取连接关系和A1，A2，A3的连接关系相一致，且标识参数是A1，A2，A3即可；当然，这里的A1，A2，A3可以是唯一性标识、版本号、类型、出厂版本等；
通过基于连接关系的工业设备局部显著性计算和分析，从大量数据中抽取数据子集，大大减少了可能产生的数据存储和计算开销，为后续分析效率的提升提供基础；现有技术中往往是基于单独的工业设备做数据抽取，工业设备应用在不同场景不同时期其产生的大数据量也是惊人的，但是通过连接关系来进行数据抽取，会呈现指数级降低数据量；另一个方面也可以看到，如果完全按照生产现场完全复原的方式来获取全部连接关系所涉及的数据，数据量可能会相当的小而不足以进行后续指导性支撑，毕竟完全相同的两个生产现场，且生产现场中涉及的设备类型也是相同的，是很难得的，这样就无法在大数据环境下获得足够的信息，这显然也是不是预期的；而基于连接关系子集做信息的获取就能够在一定程度上缓解或者解决的这个问题；
步骤S24：数据处理服务器将数据子集存储在本地存储空间中；
步骤S3：将所述数据子集整理成为参数组合；每个参数组合对应一个局部显著工业设备簇；因此，针对一个数据采集时刻来说，所述参数组合为一个或者多个；其中：每个参数组合中包含三个部分；其中：第一部分为标识参数部分，包括工业设备参数组合中的固定部分；第二部分为不敏感参数部分，所述不敏感参数部分是不容易发生变化的参数部分；第三部分为敏感参数部分，是容易发生变化的参数部分；例如：第二部分为生产环境参数，第三部分为生产过程数据或生产质量数据；可以具体的对其中的数据类型做限制；
优选的：所述第一部分为局部显著工业设备簇的标识组合、型号组合或类型组合；例如：局部显著工业设备簇中包括工业设备A1，A2，A3，三者之间为顺序连接；整理后第一部分为(A1，A2，A3)；
优选的：在整理数据子集的过程中发现参数中的敏感部分和不敏感部分；具体包括如下步骤：
步骤SA1：获取一未处理参数类型作为当前类型s；
步骤SA2：获取所述当前类型的局部显著工业设备簇中每个工业设备的参数值；在一工业设备不存在所述当前类型的参数时，设置其对应的参数值为默认值；
步骤SA3：将当前类型的参数值按照采集时间顺序分为PD个间隔，其中pd表示第pd个间隔，每个间隔中包含IT个数据，其中pd_it表示第pd个间隔中第it个参数；
优选的：PD和IT均是预设值；
步骤SA4：计算当前类型参数的全局均匀度；也就是参数值在不同采集时间的数值分布均匀性；
所述步骤SA4具体包括：
步骤SA41：先计算局部分布均匀度LAVpd，基于局部分布均匀度计算当前类型参数全局均匀度HAVs；
Figure BDA0003854149890000051
其中：Papd_it是第pd个间隔中第it参数的参数值；
步骤SA42：计算当前类型参数全局均匀度HAVs；
Figure BDA0003854149890000052
可替换的：根据参数值和平均参数值之间的平均距离衡量参数的全局均匀度；
步骤SA5：计算均匀度的一致程度；
Figure BDA0003854149890000053
Figure BDA0003854149890000054
其中：
Figure BDA0003854149890000055
步骤SA6：若局部显著工业设备簇中的每个工业设备的当前类型参数满足全局均匀性和均匀度一致性，则将所述当前类型参数确定为不敏感部分；
若局部显著工业设备簇中的每个工业设备的当前类型参数均不满足全局均匀性和均匀度一致性，则将所述当前类型参数确定为不敏感部分；当然，而可以采用和敏感部分确定方式中完全相反的确定方式，选择均匀性和一致性都很低参数部分作为不敏感部分；
优选的：若局部显著工业设备簇中的每个工业设备的当前类型参数的全局平均度HAVs均小于第一预设值，且一致程度COs_tpd中的任一者小于第二预设值，则确定满足全局均匀性和均匀度一致性；其中：第一预设值和第二预设值都是较小的值；反向的，为了选择不敏感部分，若局部显著工业设备簇中的每个工业设备的当前类型参数的全局平均度HAVs均大于第三预设值，且一致程度COs_tpd中的任一者或者几者大于第四预设值，则确定不满足全局均匀性和均匀度一致性；
步骤S4：将参数组合按照时间顺序对其中第二部分的参数值做聚类，得到第二部分的一个或多个参数值分区组合，以及和每个参数值分区组合对应的第三部分的参数数据以构成大数据表；每个参数值分区组合中包含一个或多个工业设备的一个或多个参数类型的数据值聚类后形成的数值范围；也就是说，参数值分区组合中涉及工业设备、参数类型及其对应的数值范围；而这些数值范围在共现时就形成一个参数值分区组合，和其共现的敏感数据部分关联起来形成大数据表中的一条记录；
优选的：计算第二部分的多个参数值分区的索引值以便于快速查找；
所述步骤S4具体包括如下步骤：
步骤S41：获取一未处理参数类型；此处需要对所有非敏感参数对应的参数类型作后续的聚类处理；
步骤S42：对所述未处理参数类型对应局部显著工业设备簇中的每个工业设备的参数值作聚类处理；得到和每个工业设备对应的参数值区间；将局部显著工业设备簇中每个工业设备对应的参数值区间组合以构成参数值区间组合；
步骤S43：判断是否所有参数类型均处理完毕，如果是，则返回步骤S42，否则，进入下一步骤；
步骤S44：将所有参数类型对应的参数值区间组合拼接起来以得到第二部分的一个或多个参数值分区组合；这里拼接的方式是全类型组合拼接；
例如：([A1.d1，A1，u1]，[A2.d1，A2，u1]，[A3.d1，A3，u1])是一个参数值分区组合的示例，([A1.d1，A1，u1]，[A2.d1，A2，u1]，[A3.d1，A3，u1]，[A2.d2，A2，u2]，[A3.d3，A3，u3])也是一个参数值分区组合的示例，涉及了多个数据类型以及多个工业设备；多个非敏感参数对应的区间组合就是多个，其中后缀u和d分别表示上限值和下限值标识，由于每个工业设备对应多个区间，因此其组合后产生的参数值区间组合会成倍增长，例如：N1*N2*N3，其中N1，N2，N3分别对应工业设备A1，A2，A3的参数值区间；在采用单独参数类型作数据对标时稳定性较差，而本发明基于和局部显著工业设备簇对应的参数值区间作数据对标，形成多维度的和工业设备及其连接关系对应的有用参数查找，为工业设备现场的设备控制形成有益而准确的指导；进一步的，当类型数量较多，且每个类型对应参数值分区组合较多时，最后拼接得到的组合数量就会快速增长，因此，可以做精简处理；
优选的：所述步骤还包括对参数值区间作精简处理，以除去不可能出现的组合以及出现概率较低的组合；一种精简的方法是删除参数值分区组合中的非典型分区；例如：([A1.d1,A1,u1],[A2.d1,A2,u1],[A3.d1,A3,u1])中的[A2.d1,A2,u1]是非典型分区，也就是不具备区分效果的数据值分区，那么可以删除[A2.d1,A2,u1]，从而减少组合的复杂度；
步骤S45：将每个参数值区间组合和第三部分的敏感参数部分对应起来；对应的方式就是共现对应；将以采集时刻采集到的落入每个参数值区间组合中的参数和其共现的敏感参数部分对应起来；
优选的：为每个参数值区间组合构建索引以提高后续的查找速度；
步骤S5：采集现场工业设备参数；将所述工业设备参数整理成为参数组合序列；每个参数组合对应一个局部显著工业设备簇；这里的参数组合及其整理方式和步骤S3相同，序列为按照时间顺序整理的参数组合；
优选的：所述采集的现场工业设备参数包括部分历史参数和部分实时参数；
优选的：对采集到的现场工业设备参数作预处理，例如：数字化、规范化和归一化；
步骤S6：基于参数组合序列查找大数据表，并将参数组合序列和查找结果作对比以得到控制数据；数据处理服务器基于控制数据控制现场工业设备；
所述步骤S6具体包括如下步骤：
步骤S61：按照时间顺序依次提取参数组合序列中参数组合；
步骤S62：将参数组合的第二部分中的每个参数值和大数据表中第二部分的相应类型的多个参数值分区依次作比较，以判断参数组合所落入的参数值分区组合；
优选的：当参数组合序列中多个连续的参数组合均未落入任何参数值分区组合，则进行人工反馈以检查现场工业设备；
步骤S63：当多个连续的参数组合均落入相同的参数值分区组合中时，提取所落入的参数值分区组合所关联的大数据表中第三部分的敏感数据作为指导敏感数据；并进入步骤S64；
所述步骤S63还包括：当多个连续的参数组合均落入相同的第一参数值分区组合中，而其后续的多个连续的参数组合均落入相同的第二参数值分区组合中时，进入步骤S65；
步骤S64：将当前参数组合的第三部分中的敏感数据和指导敏感数据作比较以得到控制数据；数据处理服务器基于控制数据控制现场工业设备；
优选的：判断当前参数组合的第三部分中的敏感数据和指导敏感数据数据之间的差异，当差异偏离正常差异范围时，生成和所述偏离正常差异范围的敏感数据类型对应工业设备的异常报警，将所述异常报警数据作为控制数据；当差异落入正常差异范围时，不产生控制数据；也就是不对工业设备的运行作干涉；
进一步的：异常报警分为多个报警等级，将工业设备按照所对应敏感数据类型数量的多少从高到底排序，并按照排序结果生成相应报警等级，使得排序高者对应高的报警等级，排序低者对应低的报警等级；
可替换的：将所述偏离正常差异范围的敏感数据类型及其组合和报警类型关联起来，使得每个报警类型对应一个或多个偏离正常差异范围的敏感数据类型并形成异常关联表；基于出现偏离正常差异范围的敏感数据类型时，基于类型查找所述异常关联表，选择异常关联表中被命中敏感数据类型数量最多者对应的异常类型作为异常报警类型；其中：异常关联表中一个记录中的敏感数据类型及其组合和一个或多个不同的工业设备相关；例如：如下表所示，当表中的三条记录1,2,3均被命中时，选择记录1对应的异常报警类型TP1作为报警类型；而R1，R2，R3是关于相同或者不同工业设备的；
表1 异常关联表
记录编号 敏感数据类型组合 异常报警类型 干预策略 优先等级
1 R1，R2，R3 TP1 STR1 2
2 R1，R3 TP2 STR2 1
3 R2 TP3 STR3 3
可替换的：选择异常关联表中被命中记录的优先等级最高的异常报警类型作为报警类型；例如：选择表1中TP2作为报警类型；
可以看出，通过局部显著工业设备簇及其对应的第二部分敏感数据分区能够相对精准的确定控制的方向，此时出现异常的敏感数据是散列出现的，可能和多个不同的工业设备相关，而由于其敏感性，因此可参照的往往并不是其数值本身的变化情况，而现有技术中往往仅仅是着重于对其数值变化的研究上，实际上，由于工业设备本身的之间的连接关系不同，其敏感数据的出现并非是独立事件，本发明通过基于参数值分区精准的确定控制的方向，并进一步的打破异常敏感数据类型和工业设备本身之间关联性，借助大数据优势，通过敏感数据类型组合对敏感数据命中情况进行累计，从而精准的确定报警类型，为工业设备控制提供有用有效的控制；
优选的：所述异常关联表中还设置有干预策略字段，在查找所述异常关联表时，能够同时找到异常报警类型和干预策略，在进行异常报警的同时，给出相应的干预策略以进行工业设备控制；
步骤S65：确定现场工业设备发生了模式转换；现场工业设备从多个连续的参数组合均落入相同的参数值分区组合对应的第一模式转换到后续的多个连续的参数组合均落入相同的第二参数值分区组合对应的第二模式；基于模式转换进行工业设备控制；
所述基于模式转换进行工业设备控制，具体为：当第一模式和第二模式的转换为正常模式转换时，重复执行步骤S64，继续将当前参数组合的第三部分中的敏感数据和指导敏感数据作比较以得到控制数据；否则，人工反馈现场工业设备发生非正常模式转换；
优选的：当第一模式和第二模式的转换为正常模式转换时，继续判断第二参数值分区组合对应第三部分敏感数据和后续的多个连续的参数组合对应的敏感数据是否相一致，如果是，则重复执行步骤S64，继续将当前参数组合的第三部分中的敏感数据和指导敏感数据作比较以得到控制数据；否则，人工反馈现场工业设备发生非正常模式转换；显然是否为正常模式切换可以通过历史数据分析来获取；
通过连续的参数组合判断，有效利用时间序列中的时序特征对高度异常的现场工业设备模式异常进行发现和可能的后续控制，能够满足模式多变的序列异常检测的需求；
优选的：数据处理服务器基于控制数据下发控制指令以控制现场工业设备；
基于相同的发明构思,本发明还提供了一种工业大数据处理系统,所述系统包括：大数据服务器，数据处理服务器，工业设备，移动终端；所述系统用于执行上述工业大数据处理方法；
优选的：所述工业设备为一个或多个，基于所述一个或多个工业设备搭建生产现场；
优选的：所述移动终端为一个或多个，为物联网终端；
术语“大数据服务器”、“数据处理服务器”、“移动终端”包涵用于处理数据的所有种类的装置、设备和机器，举例包括可编程处理器、计算机、片上系统、或者上述中的多个或其组合。所述装置能够包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件，所述装置还可以包括代码，创建用于所述计算机程序的执行环境，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或上述一个或多个的组合的代码。该装置和执行环境可以实现各种不同计算模型基础设施，诸如web服务、分布式计算、和网格计算基础设施。
计算机程序(也被称为程序、软件、软件应用、脚本或代码)能够以编程语言的任何形式来撰写，包括汇编或解释语言、说明或过程性语言，且其可以以任何形式部署，包括作为单机程序或者作为模块、组件、子例程、对象或适于在计算环境中使用的其他单元。计算机程序可以但不必与文件系统中的文件相对应。程序能够存储在保持其他程序或数据(例如存储在标记语言文档中的一个或多个脚本)的文件的一部分中，在专用于所述程序的单个文件中，或者在多个协同文件中(例如，存储一个或多个模块、子例程或代码部分的文件)。计算机程序可以部署为在一个计算机上或位于一个站点或跨多个站点分布且由通信网络互连的多个计算机上执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种工业大数据处理方法，其特征在于，所述方法包含：
步骤S1：数据处理服务器获取来自移动终端的工业大数据处理请求；
步骤S2：数据处理服务器从大数据服务器获取请求相关的数据子集；具体为：数据处理服务器基于工业设备之间的连接关系从大数据服务器的大数据集中抽取数据子集；所抽取的数据子集是关于所述工业大数据处理请求所涉及工业设备集合中具备特定连接关系的一个或多个工业设备的数据子集；所述特定连接关系是局部显著工业设备簇的连接关系；
局部显著工业设备簇是多个特定参数值存在显著性的工业设备组成的；
步骤S3：将所述数据子集整理成为参数组合；每个参数组合对应一个局部显著工业设备簇；每个参数组合中包含三个部分；其中：第一部分为标识参数部分，包括工业设备参数组合中的固定部分；第二部分为不敏感参数部分，所述不敏感参数部分是不容易发生数值变化的参数部分；第三部分为敏感参数部分，是容易发生数值变化的参数部分；
步骤S4：将参数组合按照时间顺序对其中第二部分的参数值做聚类分区，得到第二部分的一个或多个参数值分区组合，以及和每个参数值分区组合对应的第三部分的敏感参数部分以构成大数据表；每个参数值分区组合中包含一个或多个工业设备的一个或多个参数类型的数据值聚类后形成的数值范围；
步骤S5：采集生产现场的工业设备参数；将所述工业设备参数整理成为参数组合序列；
步骤S6：基于参数组合序列中的每个参数组合查找大数据表，并将参数组合序列和查找到的敏感数据作对比以得到控制数据；数据处理服务器基于控制数据控制现场工业设备。
2.根据权利要求1所述的工业大数据处理方法，其特征在于，所述步骤S6具体包括如下步骤：
步骤S61：按照时间顺序依次提取参数组合序列中参数组合；
步骤S62：将参数组合的第二部分中的每个参数值和大数据表中第二部分的相应类型的多个参数值分区依次作比较，以判断参数组合所落入的参数值分区组合；
步骤S63：当多个连续的参数组合均落入相同的参数值分区组合中时，提取所落入的参数值分区组合所关联的大数据表中第三部分的敏感数据作为指导敏感数据；并进入步骤S64；
所述步骤S63还包括：当多个连续的参数组合均落入相同的第一参数值分区组合中，而其后续的多个连续的参数组合均落入相同的第二参数值分区组合中时，进入步骤S65；
步骤S64：将当前参数组合的第三部分中的敏感数据和指导敏感数据作比较以得到控制数据；数据处理服务器基于控制数据控制现场工业设备；
步骤S65：确定现场工业设备发生了模式转换；现场工业设备从多个连续的参数组合均落入相同的参数值分区组合对应的第一模式转换到后续的多个连续的参数组合均落入相同的第二参数值分区组合对应的第二模式；基于模式转换进行工业设备控制。
3.根据权利要求2所述的工业大数据处理方法，其特征在于，当参数组合序列中多个连续的参数组合均未落入任何参数值分区组合，进行人工反馈以检查生产现场的工业设备。
4.根据权利要求3所述的工业大数据处理方法，其特征在于，判断当前参数组合的第三部分中的敏感数据和指导敏感数据数据之间的差异，当差异偏离正常差异范围时，生成和所述偏离正常差异范围的敏感数据类型对应工业设备的异常报警，将所述异常报警数据作为控制数据；当差异落入正常差异范围时，不产生控制数据；不对工业设备的运行作干涉。
5.一种基于权利要求1-4中任一工业大数据处理方法的工业大数据处理系统，其特征在于，包括：大数据服务器，数据处理服务器，工业设备，移动终端。
6.根据权利要求5所述的工业大数据处理系统，其特征在于，所述工业设备为一个或多个，基于所述一个或多个工业设备搭建生产现场。
7.根据权利要求5所述的工业大数据处理系统，其特征在于，所述移动终端为一个或多个。
8.一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1-4中任一项所述的工业大数据处理方法。
9.一种大数据平台，其特征在于，所述大数据平台被配置为执行如权利要求1-4中任一项所述的工业大数据处理方法。
CN202211142341.3A 2022-09-20 2022-09-20 一种工业大数据处理方法和系统 Active CN115509187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211142341.3A CN115509187B (zh) 2022-09-20 2022-09-20 一种工业大数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211142341.3A CN115509187B (zh) 2022-09-20 2022-09-20 一种工业大数据处理方法和系统

Publications (2)

Publication Number Publication Date
CN115509187A CN115509187A (zh) 2022-12-23
CN115509187B true CN115509187B (zh) 2023-04-18

Family

ID=84504550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211142341.3A Active CN115509187B (zh) 2022-09-20 2022-09-20 一种工业大数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN115509187B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008565A (zh) * 2019-03-28 2019-07-12 浙江大学 一种基于运行参数关联性分析的工业过程异常工况预测方法
CN111429034A (zh) * 2020-04-21 2020-07-17 国网信通亿力科技有限责任公司 一种配电网故障预测的方法
WO2021033132A1 (en) * 2019-08-20 2021-02-25 Abb Schweiz Ag Condition monitoring device and a method thereof
CN113656389A (zh) * 2021-08-12 2021-11-16 北京可视化智能科技股份有限公司 一种智能工厂异常数据处理方法、装置、系统及存储介质
CN114664070A (zh) * 2020-12-22 2022-06-24 中国石油化工股份有限公司 工业装置的报警处理方法、装置及该工业装置
CN114859020A (zh) * 2022-05-05 2022-08-05 中铁工程装备集团有限公司 盾构机液压油寿命预测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716011B2 (en) * 2007-02-28 2010-05-11 Microsoft Corporation Strategies for identifying anomalies in time-series data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008565A (zh) * 2019-03-28 2019-07-12 浙江大学 一种基于运行参数关联性分析的工业过程异常工况预测方法
WO2021033132A1 (en) * 2019-08-20 2021-02-25 Abb Schweiz Ag Condition monitoring device and a method thereof
CN111429034A (zh) * 2020-04-21 2020-07-17 国网信通亿力科技有限责任公司 一种配电网故障预测的方法
CN114664070A (zh) * 2020-12-22 2022-06-24 中国石油化工股份有限公司 工业装置的报警处理方法、装置及该工业装置
CN113656389A (zh) * 2021-08-12 2021-11-16 北京可视化智能科技股份有限公司 一种智能工厂异常数据处理方法、装置、系统及存储介质
CN114859020A (zh) * 2022-05-05 2022-08-05 中铁工程装备集团有限公司 盾构机液压油寿命预测方法及装置

Also Published As

Publication number Publication date
CN115509187A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN111340063B (zh) 一种磨煤机数据异常检测方法
CN111680820B (zh) 分布式光伏电站故障诊断方法和装置
CN112987666B (zh) 电厂机组运行优化调控方法及系统
CN112181758B (zh) 一种基于网络拓扑及实时告警的故障根因定位方法
US20230213895A1 (en) Method for Predicting Benchmark Value of Unit Equipment Based on XGBoost Algorithm and System thereof
CN104268064A (zh) 产品日志的异常诊断方法和装置
Raza et al. Autonomic performance prediction framework for data warehouse queries using lazy learning approach
CN112565422B (zh) 一种对电力物联网故障数据的识别方法、系统和存储介质
CN115617830A (zh) 一种基于机器学习的数据查询优化处理方法及装置
CN116245019A (zh) 一种基于Bagging抽样及改进随机森林算法的负荷预测方法、系统、装置及存储介质
CN117556369B (zh) 一种动态生成的残差图卷积神经网络的窃电检测方法及系统
Bagozi et al. Interactive data exploration as a service for the smart factory
CN114238474A (zh) 基于排水系统的数据处理方法、装置、设备及存储介质
CN115509187B (zh) 一种工业大数据处理方法和系统
CN117093260B (zh) 一种基于决策树分类算法的融合模型网站结构解析方法
CN114418146A (zh) 基于规则引擎的机电设备故障诊断方法、系统及终端
CN111767324B (zh) 一种智能关联的自适应数据分析方法及装置
Fister Jr et al. A brief overview of swarm intelligence-based algorithms for numerical association rule mining
CN109189840A (zh) 一种流式在线日志解析方法
CN116302984A (zh) 一种测试任务的根因分析方法、装置及相关设备
CN116756373A (zh) 基于知识图谱更新的项目评审专家筛选方法、系统及介质
CN111079809B (zh) 电连接器智能统型方法
CN107545072A (zh) 一种融合深度学习的智能决策平台及其构建方法
Chhabra Search-based object-oriented software re-structuring with structural coupling strength
CN113610225A (zh) 质量评估模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant