CN112732698A - 用于工业互联网和智能制造的数据处理方法及大数据平台 - Google Patents
用于工业互联网和智能制造的数据处理方法及大数据平台 Download PDFInfo
- Publication number
- CN112732698A CN112732698A CN202110086319.0A CN202110086319A CN112732698A CN 112732698 A CN112732698 A CN 112732698A CN 202110086319 A CN202110086319 A CN 202110086319A CN 112732698 A CN112732698 A CN 112732698A
- Authority
- CN
- China
- Prior art keywords
- data
- screening
- industrial
- list
- redundant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012216 screening Methods 0.000 claims abstract description 239
- 238000012545 processing Methods 0.000 claims abstract description 99
- 239000011159 matrix material Substances 0.000 claims description 161
- 238000009826 distribution Methods 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 41
- 230000003993 interaction Effects 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 15
- 230000002035 prolonged effect Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 108091026890 Coding region Proteins 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书公开的用于工业互联网和智能制造的数据处理方法及大数据平台，首先周期性地从每个工业设备中采集待处理工业数据，其次基于获取到的处理记录确定与待处理工业数据对应的线程配置参数并对业务处理线程进行更新，然后运行更新后的业务处理线程以对待处理工业数据进行分类得到有效工业数据和冗余工业数据，在将有效工业数据上传至云端时并行地提取冗余工业数据的冗余特征以识别得到冗余标签，最后将冗余标签进行存储并删除冗余工业数据。如此，将进行冗余数据筛选和剔除的大数据平台部署在云端之前，这样能够确保进入云端的数据是有用的工业数据，进而在确保工业控制系统的安全可靠运行的前提下降低云端负载并提高工业控制的时间精度。
Description
技术领域
本申请涉及工业互联网的数据处理技术领域，尤其涉及用于工业互联网和智能制造的数据处理方法及大数据平台。
背景技术
随着科技的发展，制造业在发展过程中逐渐由满足产品和服务功能的阶段转向个性化定制的阶段，生产模式也由单一的管道型转变为生态型。在这种大环境下，工业制造与工业互联网的联系越来越紧密，工业制造正朝着数字化、网络化、自动化和智能化方向发展。
然而，随着工业制造规模的不断扩大，一些问题也逐渐暴露出来。例如，在规模较大的工业制造体系中，常常出现云端负载过高且工业控制的时间精度差的技术问题。
发明内容
本说明书提供了一种用于工业互联网和智能制造的数据处理方法及大数据平台，以解决或者部分解决现有技术存在的技术问题。
本说明书公开了一种用于工业互联网和智能制造的数据处理方法，所述方法包括：
根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据；
基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新；
运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据；
在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签；
将所述冗余标签进行存储并删除所述冗余工业数据。
可替换地，所述方法还包括：
在对下一时段的待处理工业数据进行筛分时，采用所存储的冗余标签对业务处理线程进行更新。
可替换地，采用所存储的冗余标签对业务处理线程进行更新，包括：
根据所述冗余标签对应的标签编码序列在所述业务处理线程中的映射编码序列，提取所述业务处理线程的线程配置清单以及业务互动轨迹曲线；分别构建所述线程配置清单对应的线程配置列表以及所述业务互动轨迹曲线对应的互动轨迹列表；
确定所述线程配置列表的第一列表特征数组以及所述互动轨迹列表对应的第二列表特征数组，确定所述第一列表特征数组与所述第二列表特征数组之间的逐位比较结果集，确定所述逐位比较结果集中用于表征所述第一列表特征数组和所述第二列表特征数组在相同数组位上的数值为相同的目标比较结果的数量在所述逐位比较结果集中的占比；
基于所述占比确定所述业务处理线程对应的参数更新列表并从所述参数更新列表中抽取存在列表分隔标识的多个列表单元，计算每两个列表单元之间的列表距离；对列表距离大于设定距离的列表单元进行标记，并确定标记次数最大的列表单元为目标列表单元；
将所述目标列表单元对应的列表描述数据列出，并生成与所述列表描述数据对应的描述轨迹曲线；计算所述描述轨迹曲线与所述业务互动轨迹曲线的曲线特征相似度，并根据所述曲线特征相似度确定所述描述轨迹曲线与所述业务互动轨迹曲线之间的目标曲线交点对应的待更新数据；将所述冗余标签以目标格式添加到所述待更新数据中以实现对业务处理线程的更新。
可替换地，运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据，包括：
运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度；
根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集；其中，所述第一筛分集用于表征所述有效工业数据，所述第二筛分集用于表征所述冗余工业数据；
计算所述第一筛分集与所述第二筛分集的重叠率；在所述重叠率大于设定比率时基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度；基于所述第二数量个筛分维度执行与根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集类似的步骤，直至计算得到的重叠率小于等于所述设定比率；将计算得到的重叠率小于等于所述设定比率时对应的第一目标筛分集确定为有效工业数据，将计算得到的重叠率小于等于所述设定比率时对应的第二目标筛分集确定为冗余工业数据。
可替换地，运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度，包括：
通过更新后的业务处理线程提取所述待处理工业数据的数据字段序列；
从所述数据字段序列中确定出多个序列分段标识；
根据所述序列分段标识对应的标识指向确定所述待处理工业数据的第一数量个筛分维度。
可替换地，根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集，包括：
基于确定出的用于表征所述待处理工业数据的数据流分段标识的数量对所述待处理工业数据进行切分以得到多段在时序上连续的数据流，并将每段数据流中不随时序变化而变化的数据单元进行标定，根据每段数据流中所标定的数据单元在对应的数据流中的时序相对位置分布确定每段数据流的数据特征集合；其中，所述数据特征集合中包括多个特征描述值，不同特征描述值对应不同的描述权重；
确定所述第一数量个筛分维度中的每个筛分维度的维度指向信息以及每个筛分维度的筛分优先级，建立每个维度指向信息与对应的筛分优先级之间的关联关系并摘取所述关联关系的关系型数据列表，将摘取到的关系型数据列表按照对应的筛分优先级的由大到小的顺序进行排序得到关系型数据列表序列，并根据所述关系型列表序列的列表序列集中度为所述关系型列表中的每个关系型数据列表设置筛分持续时长以及与筛分持续时长所对应的调整因子；
按照所述关系型数据列表序列中的关系型数据列表的先后顺序依次对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集；其中，在基于所述关系型数据列表序列中的每个关系型数据列表对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集的过程中，如果聚类时长达到对应的筛分持续时长但还未完成聚类，则根据聚类时长达到的对应的筛分持续时长所对应的调整因子对该筛分持续时长进行延长；如果聚类时长在达到延长后的筛分持续时长时仍未完成聚类，则将聚类时长在达到延长后的筛分持续时长时的聚类结果作为该次针对该关系型数据库对所述待处理工业数据的聚类结果；
对获取到的多个聚类结果进行整合以得到第一筛分集和第二筛分集；其中，对获取到的多个聚类结果进行整合具体包括对多个第一聚类集的整合以及对多个第二聚类集的整合。
可替换地，基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度，包括：
提取所述第一数据分布矩阵的第一矩阵特征以及所述第二数据分布矩阵的第二矩阵特征，并计算所述第一数据分布矩阵与所述第二数据分布矩阵中的每个相对的矩阵单元组之间的映射指标系数、所述第一数据分布矩阵中的每个第一矩阵单元的第一关联中心度以及所述第二数据分布矩阵中的每个第二矩阵单元的第二关联中心度；
基于所述第一矩阵特征以及所述第二矩阵特征对所述第一数据分布矩阵与所述第二数据分布矩阵中的相对的矩阵单元组进行筛选得到目标矩阵单元组；其中，所述目标矩阵单元组与其他矩阵单元组之间的映射指标系数的均值为最大值，所述目标矩阵单元组中的第一矩阵单元的第一关联中心度与所述目标矩阵单元组中的第二矩阵单元的第二关联中心度之间的差值位于设定数值范围内；
根据所述目标矩阵单元组中的第一矩阵单元的第一单元参数在所述第二数据分布矩阵中的第一映射参数以及所述目标矩阵单元组中的第二矩阵单元的第二单元参数在所述第一数据分布矩阵中的第二映射参数之间的加权值，对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度。
本说明书公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本说明书公开了一种大数据平台，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
通过本说明书的一个或者多个技术方案，本说明书具有以下有益效果或者优点：
首先周期性地从每个工业设备中采集待处理工业数据，其次基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数并对业务处理线程进行更新，然后运行更新后的业务处理线程以对待处理工业数据进行分类得到有效工业数据和冗余工业数据，进而在将有效工业数据上传至云端时并行地提取冗余工业数据的冗余特征以识别得到冗余标签，最后将冗余标签进行存储并删除冗余工业数据。如此，将进行冗余数据筛选和剔除的大数据平台部署在云端之前，这样能够确保进入云端的数据是有用的工业数据，进而在确保工业控制系统的安全可靠运行的前提下降低云端负载并提高工业控制的时间精度。
上述说明仅是本说明书技术方案的概述，为了能够更清楚了解本说明书的技术手段，而可依照说明书的内容予以实施，并且为了让本说明书的上述和其它目的、特征和优点能够更明显易懂，以下特举本说明书的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本说明书一个实施例的用于工业互联网和智能制造的数据处理系统的架构示意图；
图2示出了根据本说明书一个实施例的用于工业互联网和智能制造的数据处理方法的流程示意图；
图3示出了根据本说明书一个实施例的用于工业互联网和智能制造的数据处理装置的模块框图；
图4示出了根据本说明书一个实施例的一种大数据平台的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
发明人在对背景技术中的技术问题进行研究时发现，造成云端负载过高且工业控制时间精度差的主要原因是工业数据的激增。随着工业数据的激增，一些无用的冗余数据也会传输到云端，这会导致云端的数据载荷过大。进一步地，控制端在对工业数据进行分析时，冗余数据会占用控制端较多的时间片资源，这会导致控制端无法及时地下发控制指令，从而导致工业控制的时间精度降低。
发明人还发现，如果在云端执行冗余数据的筛选和剔除，可能会造成正在使用的工业数据的丢失，从而影响到整个工业控制系统的安全可靠运行。对此，发明人创新性地提出了一种用于工业互联网和智能制造的数据处理方法及大数据平台，能够将进行冗余数据筛选和剔除的大数据平台部署在云端之前，这样能够确保进入云端的数据是有用的工业数据，进而在确保工业控制系统的安全可靠运行的前提下降低云端负载并提高工业控制的时间精度。
可以理解，用于工业互联网和智能制造的数据处理方法及大数据灵台可以应用于大数据领域、物联网领域、车联网领域、区块链领域、边缘计算领域、5g通信领域、智能医疗领域以及基于在线电商的个性化产品定制领域等。在此不作限定。
为实现上述目的，首先提供如图1所示的用于工业互联网和智能制造的数据处理系统100的框架示意图，所述数据处理系统100可以包括大数据平台110、工业设备120、云端130以及控制端140。其中，大数据平台110分别与工业设备120以及云端130通信，所述云端130与所述控制端140通信。在本实施例中，工业设备120的数量可以为多个，云端130可以是云服务器，控制端140可以是控制器，且控制端140与每个工业设备120通信，如此形成大数据平台110、云端130、控制端140以及工业设备120的闭环工业控制系统。
在上述基础上，请结合参阅图2，提供了用于工业互联网和智能制造的数据处理方法的流程示意图，所述数据处理方法可以应用于图1中的大数据平台110，具体可以包括以下步骤S21-步骤S25所描述的内容。
步骤S21，根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据。
在本实施例中，不同工业设备的协议层标识不同，api接口用于传输对应的工业数据，待处理工业数据中包括有效工业数据和冗余工业数据。
步骤S22，基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新。
在本实施例中，不同时段可以根据采集工业设备中的工业数据的周期性设定参数确定。
步骤S23，运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据。
步骤S24，在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签。
步骤S25，将所述冗余标签进行存储并删除所述冗余工业数据。
例如，可以将冗余标签存储在缓存区。
在上述方案中，通过执行以上步骤S21-步骤S25，首先周期性地从每个工业设备中采集待处理工业数据，其次基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数并对业务处理线程进行更新，然后运行更新后的业务处理线程以对待处理工业数据进行分类得到有效工业数据和冗余工业数据，进而在将有效工业数据上传至云端时并行地提取冗余工业数据的冗余特征以识别得到冗余标签，最后将冗余标签进行存储并删除冗余工业数据。如此，将进行冗余数据筛选和剔除的大数据平台部署在云端之前，这样能够确保进入云端的数据是有用的工业数据，进而在确保工业控制系统的安全可靠运行的前提下降低云端负载并提高工业控制的时间精度。
可以理解，为了提高业务处理线程的更新时效性和准确性，在上述步骤S21-步骤S25的基础上，所述方法还可以包括步骤S26所描述的如下内容：在对下一时段的待处理工业数据进行筛分时，采用所存储的冗余标签对业务处理线程进行更新。这样以来，能够根据最新存储的冗余标签对业务处理线程进行迭代更新，从而确保业务处理线程的更新时效性和准确性。
在一个具体的实施方式中，为了进一步确保业务处理线程的更新时效性和准确性，步骤S26所描述的采用所存储的冗余标签对业务处理线程进行更新，具体可以包括以下步骤S261-步骤S264所描述的内容。
步骤S261，根据所述冗余标签对应的标签编码序列在所述业务处理线程中的映射编码序列，提取所述业务处理线程的线程配置清单以及业务互动轨迹曲线；分别构建所述线程配置清单对应的线程配置列表以及所述业务互动轨迹曲线对应的互动轨迹列表。
步骤S262，确定所述线程配置列表的第一列表特征数组以及所述互动轨迹列表对应的第二列表特征数组，确定所述第一列表特征数组与所述第二列表特征数组之间的逐位比较结果集，确定所述逐位比较结果集中用于表征所述第一列表特征数组和所述第二列表特征数组在相同数组位上的数值为相同的目标比较结果的数量在所述逐位比较结果集中的占比。
步骤S263，基于所述占比确定所述业务处理线程对应的参数更新列表并从所述参数更新列表中抽取存在列表分隔标识的多个列表单元，计算每两个列表单元之间的列表距离；对列表距离大于设定距离的列表单元进行标记，并确定标记次数最大的列表单元为目标列表单元。
步骤S264，将所述目标列表单元对应的列表描述数据列出，并生成与所述列表描述数据对应的描述轨迹曲线；计算所述描述轨迹曲线与所述业务互动轨迹曲线的曲线特征相似度，并根据所述曲线特征相似度确定所述描述轨迹曲线与所述业务互动轨迹曲线之间的目标曲线交点对应的待更新数据；将所述冗余标签以目标格式添加到所述待更新数据中以实现对业务处理线程的更新。
可以理解，基于上述步骤S261-步骤S264，能够进一步确保业务处理线程的更新时效性和准确性。
在具体实施时发明人发现，在对待处理工业数据进行筛分时，经常会出现有效工业数据和冗余工业数据之间存在部分交叉的问题，这样会导致后续在删除冗余数据时有效工业数据的部分缺失。究其原因，是没有充分考虑待处理工业数据的不同筛分维度，这样导致了筛分的精准性偏低。为改善这一技术问题，步骤S23所描述的运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据，示例性地可以通过以下步骤S231-步骤S233所描述的内容实现。
步骤S231，运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度。
步骤S232，根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集；其中，所述第一筛分集用于表征所述有效工业数据，所述第二筛分集用于表征所述冗余工业数据。
步骤S233，计算所述第一筛分集与所述第二筛分集的重叠率；在所述重叠率大于设定比率时基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度；基于所述第二数量个筛分维度执行与根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集类似的步骤，直至计算得到的重叠率小于等于所述设定比率；将计算得到的重叠率小于等于所述设定比率时对应的第一目标筛分集确定为有效工业数据，将计算得到的重叠率小于等于所述设定比率时对应的第二目标筛分集确定为冗余工业数据。
在具体实施过程中，通过应用上述步骤S231-步骤S233所描述的内容，能够充分考虑待处理工业数据的不同筛分维度，从而确保筛分的精准性，改善有效工业数据和冗余工业数据之间存在部分交叉的问题，进而改善后续在删除冗余数据时有效工业数据的部分缺失。
在一个可以实现的实施方式中，步骤S231所描述的运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度，具体可以包括以下步骤S2311-步骤S2313所描述的内容。
步骤S2311，通过更新后的业务处理线程提取所述待处理工业数据的数据字段序列。
步骤S2312，从所述数据字段序列中确定出多个序列分段标识。
步骤S2313，根据所述序列分段标识对应的标识指向确定所述待处理工业数据的第一数量个筛分维度。
可以理解，通过上述步骤S2311-步骤S2313，能够基于序列分段标识的标识指向确保所述待处理工业数据的筛分维度之间的特征区分度和特征识别度。
进一步地，步骤S232所描述的根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集，具体可以包括以下步骤S2321-步骤S2324所描述的内容。
步骤S2321，基于确定出的用于表征所述待处理工业数据的数据流分段标识的数量对所述待处理工业数据进行切分以得到多段在时序上连续的数据流，并将每段数据流中不随时序变化而变化的数据单元进行标定，根据每段数据流中所标定的数据单元在对应的数据流中的时序相对位置分布确定每段数据流的数据特征集合；其中，所述数据特征集合中包括多个特征描述值，不同特征描述值对应不同的描述权重。
步骤S2322，确定所述第一数量个筛分维度中的每个筛分维度的维度指向信息以及每个筛分维度的筛分优先级，建立每个维度指向信息与对应的筛分优先级之间的关联关系并摘取所述关联关系的关系型数据列表，将摘取到的关系型数据列表按照对应的筛分优先级的由大到小的顺序进行排序得到关系型数据列表序列，并根据所述关系型列表序列的列表序列集中度为所述关系型列表中的每个关系型数据列表设置筛分持续时长以及与筛分持续时长所对应的调整因子。
步骤S2323，按照所述关系型数据列表序列中的关系型数据列表的先后顺序依次对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集；其中，在基于所述关系型数据列表序列中的每个关系型数据列表对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集的过程中，如果聚类时长达到对应的筛分持续时长但还未完成聚类，则根据聚类时长达到的对应的筛分持续时长所对应的调整因子对该筛分持续时长进行延长；如果聚类时长在达到延长后的筛分持续时长时仍未完成聚类，则将聚类时长在达到延长后的筛分持续时长时的聚类结果作为该次针对该关系型数据库对所述待处理工业数据的聚类结果。
步骤S2324，对获取到的多个聚类结果进行整合以得到第一筛分集和第二筛分集；其中，对获取到的多个聚类结果进行整合具体包括对多个第一聚类集的整合以及对多个第二聚类集的整合。
在具体实施过程中，基于上述步骤S2321-步骤S2324，能够准确得到第一筛分集以及第二筛分集。
在一个可以实现的实施方式中，为了确保对筛分维度的增加不会出现过度现象从而导致数据筛分出现遗漏，步骤S233所描述的基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度，具体可以包括以下步骤S2331-步骤S2333所描述的内容。
步骤S2331，提取所述第一数据分布矩阵的第一矩阵特征以及所述第二数据分布矩阵的第二矩阵特征，并计算所述第一数据分布矩阵与所述第二数据分布矩阵中的每个相对的矩阵单元组之间的映射指标系数、所述第一数据分布矩阵中的每个第一矩阵单元的第一关联中心度以及所述第二数据分布矩阵中的每个第二矩阵单元的第二关联中心度。
步骤S2332，基于所述第一矩阵特征以及所述第二矩阵特征对所述第一数据分布矩阵与所述第二数据分布矩阵中的相对的矩阵单元组进行筛选得到目标矩阵单元组；其中，所述目标矩阵单元组与其他矩阵单元组之间的映射指标系数的均值为最大值，所述目标矩阵单元组中的第一矩阵单元的第一关联中心度与所述目标矩阵单元组中的第二矩阵单元的第二关联中心度之间的差值位于设定数值范围内。
步骤S2333，根据所述目标矩阵单元组中的第一矩阵单元的第一单元参数在所述第二数据分布矩阵中的第一映射参数以及所述目标矩阵单元组中的第二矩阵单元的第二单元参数在所述第一数据分布矩阵中的第二映射参数之间的加权值，对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度。
在具体实施过程中，通过上述步骤S2331-步骤S2333所描述的内容，能够确保对筛分维度的增加不会出现过度现象从而导致数据筛分出现遗漏。
在一个可替换的实施方式中，为了确保采集到的待处理工业数据的可靠性和准确性，步骤S21所描述的根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据，具体可以包括以下步骤S211-步骤S213所描述的内容。
步骤S211，从每个工业设备的协议层标识中确定出与每个工业设备对应的协议加密密钥。
步骤S212，基于与每个工业设备预先建立的api接口的接口传输参数生成与所述协议加密密钥对应的协议解密密钥。
步骤S213，计算所述协议加密密钥与所述协议解密密钥之间的密钥匹配度；在所述密钥匹配度大于目标阈值时按照第一时间步长间隔从每个工业设备中采集待处理工业数据；在所述密钥匹配度小于等于目标阈值时按照第二时间步长间隔从每个工业设备中采集待处理工业数据；其中，所述第一时间步长间隔小于所述第二时间步长间隔。
可以理解，在应用上述步骤S211-步骤S213所描述的内容时，能够确保采集到的待处理工业数据的可靠性和准确性。
在一个可以实现的实施例中，为了确保业务处理线程的更新可靠性以确保业务处理线程的时序连续性，在步骤S22，基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新，进一步可以包括以下步骤S221-步骤S225所描述的内容。
步骤S221，获取所述处理记录中的多条记录消息并提取每条记录消息中在所述上一时段内存在权重变化的目标消息字段；其中，每个目标消息字段具有不同的字段连续系数。
步骤S222，在将每个目标消息字段按照每条记录消息对应的记录时刻的先后顺序进行排列之后，计算每相邻两个目标消息字段之间的字段连续系数的和值；判断每相邻两个目标消息字段之间的字段连续系数的和值是否达到预定和值；若达到预定和值则确定该相邻两个目标消息字段之间存在连续关系，若没有达到预定和值则确定该相邻两个目标消息字段之间不存在连续关系。
步骤S223，根据存在连续关系的目标消息字段绘制所述处理记录的记录轨迹曲线，计算所述记录轨迹曲线在时序上的曲线失真率。
步骤S224，在所述曲线失真率大于设定失真率的情况下，从所述处理记录中获取存在第一时序标签的多个第一记录消息并基于所述第一记录消息中的消息参数确定与所述待处理工业数据对应的线程配置参数；在所述曲线失真率小于等于设定失真率的情况下，从所述处理记录中获取存在第二时序标签的多个第二记录消息并基于所述第二记录消息中的消息参数确定与所述待处理工业数据对应的线程配置参数。
步骤S225，从所述线程配置参数中提取参数更新包，将所述参数更新包输入所述业务处理线程对应的运行表单中以对所述业务处理线程进行更新。
在具体实施过程中，通过上述步骤S231-步骤S225所描述的内容，能够确保业务处理线程的更新可靠性以确保业务处理线程的时序连续性。
可选地，步骤S24所描述的在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签，示例性地可以包括以下步骤S241-步骤S244所描述的内容。
步骤S241，在将所述有效工业数据上传至云端时，并行地确定所述冗余工业数据的数据容量值以及所述冗余工业数据的数据描述信息。
步骤S242，根据所述数据容量值以及所述数据描述信息对所述冗余工业数据进行特征提取以得到所述冗余工业数据的冗余特征。
步骤S243，将所述冗余特征以数组形式输入预设卷积神经网络并获取所述预设卷积神经网络输出的识别结果。
步骤S244，从所述识别结果中确定出与所述冗余特征对应的冗余标签。
如此，基于上述步骤S241-步骤S244，能够准确地确定出冗余标签。
基于与上述实施例相同的发明构思，请结合参阅图3，提供了用于工业互联网和智能制造的数据处理装置300的功能模块框图，关于这些功能模块的具体描述如下。
A1.一种用于工业互联网和智能制造的数据处理装置300，所述装置包括：
数据采集模块310，用于根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据；具体用于：从每个工业设备的协议层标识中确定出与每个工业设备对应的协议加密密钥；基于与每个工业设备预先建立的api接口的接口传输参数生成与所述协议加密密钥对应的协议解密密钥；计算所述协议加密密钥与所述协议解密密钥之间的密钥匹配度；在所述密钥匹配度大于目标阈值时按照第一时间步长间隔从每个工业设备中采集待处理工业数据；在所述密钥匹配度小于等于目标阈值时按照第二时间步长间隔从每个工业设备中采集待处理工业数据；其中，所述第一时间步长间隔小于所述第二时间步长间隔。
线程更新模块320，用于基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新；
数据分类模块330，用于运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据；
标签识别模块340，用于在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签；
数据删除模块350，用于将所述冗余标签进行存储并删除所述冗余工业数据。
A2.如A1所述的装置，所述线程更新模块320还用于：
在对下一时段的待处理工业数据进行筛分时，采用所存储的冗余标签对业务处理线程进行更新。
A3.如A2所述的装置，所述线程更新模块320进一步用于：
根据所述冗余标签对应的标签编码序列在所述业务处理线程中的映射编码序列，提取所述业务处理线程的线程配置清单以及业务互动轨迹曲线；分别构建所述线程配置清单对应的线程配置列表以及所述业务互动轨迹曲线对应的互动轨迹列表；
确定所述线程配置列表的第一列表特征数组以及所述互动轨迹列表对应的第二列表特征数组，确定所述第一列表特征数组与所述第二列表特征数组之间的逐位比较结果集，确定所述逐位比较结果集中用于表征所述第一列表特征数组和所述第二列表特征数组在相同数组位上的数值为相同的目标比较结果的数量在所述逐位比较结果集中的占比；
基于所述占比确定所述业务处理线程对应的参数更新列表并从所述参数更新列表中抽取存在列表分隔标识的多个列表单元，计算每两个列表单元之间的列表距离；对列表距离大于设定距离的列表单元进行标记，并确定标记次数最大的列表单元为目标列表单元；
将所述目标列表单元对应的列表描述数据列出，并生成与所述列表描述数据对应的描述轨迹曲线；计算所述描述轨迹曲线与所述业务互动轨迹曲线的曲线特征相似度，并根据所述曲线特征相似度确定所述描述轨迹曲线与所述业务互动轨迹曲线之间的目标曲线交点对应的待更新数据；将所述冗余标签以目标格式添加到所述待更新数据中以实现对业务处理线程的更新。
A4.如A1-A3任一项所述的装置，所述数据分类模块330，具体用于：
运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度；
根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集；其中，所述第一筛分集用于表征所述有效工业数据，所述第二筛分集用于表征所述冗余工业数据；
计算所述第一筛分集与所述第二筛分集的重叠率；在所述重叠率大于设定比率时基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度；基于所述第二数量个筛分维度执行与根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集类似的步骤，直至计算得到的重叠率小于等于所述设定比率；将计算得到的重叠率小于等于所述设定比率时对应的第一目标筛分集确定为有效工业数据，将计算得到的重叠率小于等于所述设定比率时对应的第二目标筛分集确定为冗余工业数据。
A5.如A4所述的装置，所述数据分类模块330，进一步用于：
通过更新后的业务处理线程提取所述待处理工业数据的数据字段序列；
从所述数据字段序列中确定出多个序列分段标识；
根据所述序列分段标识对应的标识指向确定所述待处理工业数据的第一数量个筛分维度。
A6.如A4所述的装置，所述数据分类模块330，进一步用于：
基于确定出的用于表征所述待处理工业数据的数据流分段标识的数量对所述待处理工业数据进行切分以得到多段在时序上连续的数据流，并将每段数据流中不随时序变化而变化的数据单元进行标定，根据每段数据流中所标定的数据单元在对应的数据流中的时序相对位置分布确定每段数据流的数据特征集合；其中，所述数据特征集合中包括多个特征描述值，不同特征描述值对应不同的描述权重；
确定所述第一数量个筛分维度中的每个筛分维度的维度指向信息以及每个筛分维度的筛分优先级，建立每个维度指向信息与对应的筛分优先级之间的关联关系并摘取所述关联关系的关系型数据列表，将摘取到的关系型数据列表按照对应的筛分优先级的由大到小的顺序进行排序得到关系型数据列表序列，并根据所述关系型列表序列的列表序列集中度为所述关系型列表中的每个关系型数据列表设置筛分持续时长以及与筛分持续时长所对应的调整因子；
按照所述关系型数据列表序列中的关系型数据列表的先后顺序依次对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集；其中，在基于所述关系型数据列表序列中的每个关系型数据列表对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集的过程中，如果聚类时长达到对应的筛分持续时长但还未完成聚类，则根据聚类时长达到的对应的筛分持续时长所对应的调整因子对该筛分持续时长进行延长；如果聚类时长在达到延长后的筛分持续时长时仍未完成聚类，则将聚类时长在达到延长后的筛分持续时长时的聚类结果作为该次针对该关系型数据库对所述待处理工业数据的聚类结果；
对获取到的多个聚类结果进行整合以得到第一筛分集和第二筛分集；其中，对获取到的多个聚类结果进行整合具体包括对多个第一聚类集的整合以及对多个第二聚类集的整合。
A7.如A4所述的装置，所述数据分类模块330，进一步用于：
提取所述第一数据分布矩阵的第一矩阵特征以及所述第二数据分布矩阵的第二矩阵特征，并计算所述第一数据分布矩阵与所述第二数据分布矩阵中的每个相对的矩阵单元组之间的映射指标系数、所述第一数据分布矩阵中的每个第一矩阵单元的第一关联中心度以及所述第二数据分布矩阵中的每个第二矩阵单元的第二关联中心度；
基于所述第一矩阵特征以及所述第二矩阵特征对所述第一数据分布矩阵与所述第二数据分布矩阵中的相对的矩阵单元组进行筛选得到目标矩阵单元组；其中，所述目标矩阵单元组与其他矩阵单元组之间的映射指标系数的均值为最大值，所述目标矩阵单元组中的第一矩阵单元的第一关联中心度与所述目标矩阵单元组中的第二矩阵单元的第二关联中心度之间的差值位于设定数值范围内；
根据所述目标矩阵单元组中的第一矩阵单元的第一单元参数在所述第二数据分布矩阵中的第一映射参数以及所述目标矩阵单元组中的第二矩阵单元的第二单元参数在所述第一数据分布矩阵中的第二映射参数之间的加权值，对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度。
关于上述功能模块的详细描述请参阅对图2所示的方法的描述，在此不进行赘述。
基于上述同样的发明构思，还提供了用于工业互联网和智能制造的数据处理系统，具体描述如下。
B1.一种用于工业互联网和智能制造的数据处理系统，包括大数据平台、工业设备、云端以及控制端；所述大数据平台分别与所述工业设备以及所述云端通信，所述云端与所述控制端通信；所述大数据平台用于：
根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据，具体包括：从每个工业设备的协议层标识中确定出与每个工业设备对应的协议加密密钥；基于与每个工业设备预先建立的api接口的接口传输参数生成与所述协议加密密钥对应的协议解密密钥；计算所述协议加密密钥与所述协议解密密钥之间的密钥匹配度；在所述密钥匹配度大于目标阈值时按照第一时间步长间隔从每个工业设备中采集待处理工业数据；在所述密钥匹配度小于等于目标阈值时按照第二时间步长间隔从每个工业设备中采集待处理工业数据；其中，所述第一时间步长间隔小于所述第二时间步长间隔。
基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新；
运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据；
在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签；
将所述冗余标签进行存储并删除所述冗余工业数据。
B2.如B1所述的系统，所述大数据平台还用于：
在对下一时段的待处理工业数据进行筛分时，采用所存储的冗余标签对业务处理线程进行更新。
B3.如B2所述的系统，所述大数据平台进一步用于：
根据所述冗余标签对应的标签编码序列在所述业务处理线程中的映射编码序列，提取所述业务处理线程的线程配置清单以及业务互动轨迹曲线；分别构建所述线程配置清单对应的线程配置列表以及所述业务互动轨迹曲线对应的互动轨迹列表；
确定所述线程配置列表的第一列表特征数组以及所述互动轨迹列表对应的第二列表特征数组，确定所述第一列表特征数组与所述第二列表特征数组之间的逐位比较结果集，确定所述逐位比较结果集中用于表征所述第一列表特征数组和所述第二列表特征数组在相同数组位上的数值为相同的目标比较结果的数量在所述逐位比较结果集中的占比；
基于所述占比确定所述业务处理线程对应的参数更新列表并从所述参数更新列表中抽取存在列表分隔标识的多个列表单元，计算每两个列表单元之间的列表距离；对列表距离大于设定距离的列表单元进行标记，并确定标记次数最大的列表单元为目标列表单元；
将所述目标列表单元对应的列表描述数据列出，并生成与所述列表描述数据对应的描述轨迹曲线；计算所述描述轨迹曲线与所述业务互动轨迹曲线的曲线特征相似度，并根据所述曲线特征相似度确定所述描述轨迹曲线与所述业务互动轨迹曲线之间的目标曲线交点对应的待更新数据；将所述冗余标签以目标格式添加到所述待更新数据中以实现对业务处理线程的更新。
B4.如B1-B3任一项所述的系统，所述大数据平台具体用于：
运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度；
根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集；其中，所述第一筛分集用于表征所述有效工业数据，所述第二筛分集用于表征所述冗余工业数据；
计算所述第一筛分集与所述第二筛分集的重叠率；在所述重叠率大于设定比率时基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度；基于所述第二数量个筛分维度执行与根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集类似的步骤，直至计算得到的重叠率小于等于所述设定比率；将计算得到的重叠率小于等于所述设定比率时对应的第一目标筛分集确定为有效工业数据，将计算得到的重叠率小于等于所述设定比率时对应的第二目标筛分集确定为冗余工业数据。
B5.如B4所述的系统，所述大数据平台进一步用于：
通过更新后的业务处理线程提取所述待处理工业数据的数据字段序列；
从所述数据字段序列中确定出多个序列分段标识；
根据所述序列分段标识对应的标识指向确定所述待处理工业数据的第一数量个筛分维度。
B6.如B4所述的系统，所述大数据平台进一步用于：
基于确定出的用于表征所述待处理工业数据的数据流分段标识的数量对所述待处理工业数据进行切分以得到多段在时序上连续的数据流，并将每段数据流中不随时序变化而变化的数据单元进行标定，根据每段数据流中所标定的数据单元在对应的数据流中的时序相对位置分布确定每段数据流的数据特征集合；其中，所述数据特征集合中包括多个特征描述值，不同特征描述值对应不同的描述权重；
确定所述第一数量个筛分维度中的每个筛分维度的维度指向信息以及每个筛分维度的筛分优先级，建立每个维度指向信息与对应的筛分优先级之间的关联关系并摘取所述关联关系的关系型数据列表，将摘取到的关系型数据列表按照对应的筛分优先级的由大到小的顺序进行排序得到关系型数据列表序列，并根据所述关系型列表序列的列表序列集中度为所述关系型列表中的每个关系型数据列表设置筛分持续时长以及与筛分持续时长所对应的调整因子；
按照所述关系型数据列表序列中的关系型数据列表的先后顺序依次对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集；其中，在基于所述关系型数据列表序列中的每个关系型数据列表对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集的过程中，如果聚类时长达到对应的筛分持续时长但还未完成聚类，则根据聚类时长达到的对应的筛分持续时长所对应的调整因子对该筛分持续时长进行延长；如果聚类时长在达到延长后的筛分持续时长时仍未完成聚类，则将聚类时长在达到延长后的筛分持续时长时的聚类结果作为该次针对该关系型数据库对所述待处理工业数据的聚类结果；
对获取到的多个聚类结果进行整合以得到第一筛分集和第二筛分集；其中，对获取到的多个聚类结果进行整合具体包括对多个第一聚类集的整合以及对多个第二聚类集的整合。
B7.如B4所述的系统，所述大数据平台进一步用于：
提取所述第一数据分布矩阵的第一矩阵特征以及所述第二数据分布矩阵的第二矩阵特征，并计算所述第一数据分布矩阵与所述第二数据分布矩阵中的每个相对的矩阵单元组之间的映射指标系数、所述第一数据分布矩阵中的每个第一矩阵单元的第一关联中心度以及所述第二数据分布矩阵中的每个第二矩阵单元的第二关联中心度；
基于所述第一矩阵特征以及所述第二矩阵特征对所述第一数据分布矩阵与所述第二数据分布矩阵中的相对的矩阵单元组进行筛选得到目标矩阵单元组；其中，所述目标矩阵单元组与其他矩阵单元组之间的映射指标系数的均值为最大值，所述目标矩阵单元组中的第一矩阵单元的第一关联中心度与所述目标矩阵单元组中的第二矩阵单元的第二关联中心度之间的差值位于设定数值范围内；
根据所述目标矩阵单元组中的第一矩阵单元的第一单元参数在所述第二数据分布矩阵中的第一映射参数以及所述目标矩阵单元组中的第二矩阵单元的第二单元参数在所述第一数据分布矩阵中的第二映射参数之间的加权值，对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度。
基于与前述实施例中同样的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文任一所述方法的步骤。
基于与前述实施例中同样的发明构思，本说明书的实施例还提供一种大数据平台，如图4所示，包括存储器114、处理器112及存储在存储器114上并可在处理器112上运行的计算机程序，所述处理器112执行所述程序时实现前文任一所述方法的步骤。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本说明书也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本说明书的内容，并且上面对特定语言所做的描述是为了披露本说明书的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本说明书的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本说明书的示例性实施例的描述中，本说明书的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本说明书要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本说明书的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本说明书的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本说明书的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本说明书实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本说明书还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本说明书的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本说明书进行说明而不是对本说明书进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本说明书可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (9)
1.一种用于工业互联网和智能制造的数据处理方法，其特征在于，所述方法包括：
根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据；
其中：
不同工业设备的协议层标识不同，api接口用于传输对应的工业数据，待处理工业数据中包括有效工业数据和冗余工业数据；
基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新；
其中：
不同时段根据采集工业设备中的工业数据的周期性设定参数确定；
运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据；
在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签；
将所述冗余标签进行存储并删除所述冗余工业数据。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
在对下一时段的待处理工业数据进行筛分时，采用所存储的冗余标签对业务处理线程进行更新。
3.如权利要求2所述的方法，其特征在于，采用所存储的冗余标签对业务处理线程进行更新，包括：
根据所述冗余标签对应的标签编码序列在所述业务处理线程中的映射编码序列，提取所述业务处理线程的线程配置清单以及业务互动轨迹曲线；分别构建所述线程配置清单对应的线程配置列表以及所述业务互动轨迹曲线对应的互动轨迹列表；
确定所述线程配置列表的第一列表特征数组以及所述互动轨迹列表对应的第二列表特征数组，确定所述第一列表特征数组与所述第二列表特征数组之间的逐位比较结果集，确定所述逐位比较结果集中用于表征所述第一列表特征数组和所述第二列表特征数组在相同数组位上的数值为相同的目标比较结果的数量在所述逐位比较结果集中的占比；
基于所述占比确定所述业务处理线程对应的参数更新列表并从所述参数更新列表中抽取存在列表分隔标识的多个列表单元，计算每两个列表单元之间的列表距离；对列表距离大于设定距离的列表单元进行标记，并确定标记次数最大的列表单元为目标列表单元；
将所述目标列表单元对应的列表描述数据列出，并生成与所述列表描述数据对应的描述轨迹曲线；计算所述描述轨迹曲线与所述业务互动轨迹曲线的曲线特征相似度，并根据所述曲线特征相似度确定所述描述轨迹曲线与所述业务互动轨迹曲线之间的目标曲线交点对应的待更新数据；将所述冗余标签以目标格式添加到所述待更新数据中以实现对业务处理线程的更新。
4.如权利要求1-3任一项所述的方法，其特征在于，运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据，包括：
运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度；
根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集；其中，所述第一筛分集用于表征所述有效工业数据，所述第二筛分集用于表征所述冗余工业数据；
计算所述第一筛分集与所述第二筛分集的重叠率；在所述重叠率大于设定比率时基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度；基于所述第二数量个筛分维度执行与根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集类似的步骤，直至计算得到的重叠率小于等于所述设定比率；将计算得到的重叠率小于等于所述设定比率时对应的第一目标筛分集确定为有效工业数据，将计算得到的重叠率小于等于所述设定比率时对应的第二目标筛分集确定为冗余工业数据。
5.如权利要求4所述的方法，其特征在于，运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度，包括：
通过更新后的业务处理线程提取所述待处理工业数据的数据字段序列；
从所述数据字段序列中确定出多个序列分段标识；
根据所述序列分段标识对应的标识指向确定所述待处理工业数据的第一数量个筛分维度。
6.如权利要求4所述的方法，其特征在于，根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集，包括：
基于确定出的用于表征所述待处理工业数据的数据流分段标识的数量对所述待处理工业数据进行切分以得到多段在时序上连续的数据流，并将每段数据流中不随时序变化而变化的数据单元进行标定，根据每段数据流中所标定的数据单元在对应的数据流中的时序相对位置分布确定每段数据流的数据特征集合；其中，所述数据特征集合中包括多个特征描述值，不同特征描述值对应不同的描述权重；
确定所述第一数量个筛分维度中的每个筛分维度的维度指向信息以及每个筛分维度的筛分优先级，建立每个维度指向信息与对应的筛分优先级之间的关联关系并摘取所述关联关系的关系型数据列表，将摘取到的关系型数据列表按照对应的筛分优先级的由大到小的顺序进行排序得到关系型数据列表序列，并根据所述关系型列表序列的列表序列集中度为所述关系型列表中的每个关系型数据列表设置筛分持续时长以及与筛分持续时长所对应的调整因子；
按照所述关系型数据列表序列中的关系型数据列表的先后顺序依次对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集；其中，在基于所述关系型数据列表序列中的每个关系型数据列表对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集的过程中，如果聚类时长达到对应的筛分持续时长但还未完成聚类，则根据聚类时长达到的对应的筛分持续时长所对应的调整因子对该筛分持续时长进行延长；如果聚类时长在达到延长后的筛分持续时长时仍未完成聚类，则将聚类时长在达到延长后的筛分持续时长时的聚类结果作为该次针对该关系型数据库对所述待处理工业数据的聚类结果；
对获取到的多个聚类结果进行整合以得到第一筛分集和第二筛分集；其中，对获取到的多个聚类结果进行整合具体包括对多个第一聚类集的整合以及对多个第二聚类集的整合。
7.如权利要求4所述的方法，其特征在于，基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度，包括：
提取所述第一数据分布矩阵的第一矩阵特征以及所述第二数据分布矩阵的第二矩阵特征，并计算所述第一数据分布矩阵与所述第二数据分布矩阵中的每个相对的矩阵单元组之间的映射指标系数、所述第一数据分布矩阵中的每个第一矩阵单元的第一关联中心度以及所述第二数据分布矩阵中的每个第二矩阵单元的第二关联中心度；
基于所述第一矩阵特征以及所述第二矩阵特征对所述第一数据分布矩阵与所述第二数据分布矩阵中的相对的矩阵单元组进行筛选得到目标矩阵单元组；其中，所述目标矩阵单元组与其他矩阵单元组之间的映射指标系数的均值为最大值，所述目标矩阵单元组中的第一矩阵单元的第一关联中心度与所述目标矩阵单元组中的第二矩阵单元的第二关联中心度之间的差值位于设定数值范围内；
根据所述目标矩阵单元组中的第一矩阵单元的第一单元参数在所述第二数据分布矩阵中的第一映射参数以及所述目标矩阵单元组中的第二矩阵单元的第二单元参数在所述第一数据分布矩阵中的第二映射参数之间的加权值，对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
9.一种大数据平台，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110086319.0A CN112732698A (zh) | 2020-08-14 | 2020-08-14 | 用于工业互联网和智能制造的数据处理方法及大数据平台 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110086319.0A CN112732698A (zh) | 2020-08-14 | 2020-08-14 | 用于工业互联网和智能制造的数据处理方法及大数据平台 |
| CN202010817159.8A CN111984641B (zh) | 2020-08-14 | 2020-08-14 | 基于工业互联网和智能制造的数据处理方法及大数据平台 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010817159.8A Division CN111984641B (zh) | 2020-08-14 | 2020-08-14 | 基于工业互联网和智能制造的数据处理方法及大数据平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112732698A true CN112732698A (zh) | 2021-04-30 |
Family
ID=73435221
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110086297.8A Withdrawn CN112859788A (zh) | 2020-08-14 | 2020-08-14 | 基于工业互联网和智能制造的数据处理方法及系统 |
| CN202010817159.8A Active CN111984641B (zh) | 2020-08-14 | 2020-08-14 | 基于工业互联网和智能制造的数据处理方法及大数据平台 |
| CN202110086319.0A Withdrawn CN112732698A (zh) | 2020-08-14 | 2020-08-14 | 用于工业互联网和智能制造的数据处理方法及大数据平台 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110086297.8A Withdrawn CN112859788A (zh) | 2020-08-14 | 2020-08-14 | 基于工业互联网和智能制造的数据处理方法及系统 |
| CN202010817159.8A Active CN111984641B (zh) | 2020-08-14 | 2020-08-14 | 基于工业互联网和智能制造的数据处理方法及大数据平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (3) | CN112859788A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117370329A (zh) * | 2023-12-07 | 2024-01-09 | 湖南易比特大数据有限公司 | 基于工业物联网的设备数据智能化管理方法及系统 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113392086B (zh) * | 2021-05-26 | 2022-08-16 | 上海德衡数据科技有限公司 | 基于物联网的医疗数据库构建方法、装置及设备 |
| CN113837598B (zh) * | 2021-09-18 | 2024-04-16 | 北京精密机电控制设备研究所 | 基于智能制造的信息获取方法 |
| CN113886126A (zh) * | 2021-10-13 | 2022-01-04 | 中里大数据服务(上海)有限公司 | 一种基于容错服务器的智能化管控系统及方法 |
| CN114584620A (zh) * | 2022-02-24 | 2022-06-03 | 中用科技有限公司 | 一种工业互联网数据传输交换方法 |
| CN114817231B (zh) * | 2022-06-30 | 2022-09-30 | 深圳中科智能技术有限公司 | 一种冗余数据识别过滤方法及系统 |
| CN116633976B (zh) * | 2023-07-21 | 2023-10-27 | 江苏未来网络集团有限公司 | 工业互联网主动标识数据采集方法、系统、设备及介质 |
| CN117348491B (zh) * | 2023-11-16 | 2024-05-03 | 安徽睿新智造科技有限公司 | 基于工业互联网的联网设备数据采集系统、方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040158553A1 (en) * | 2003-02-07 | 2004-08-12 | Ise Research Corporation | Method of using a smart device with a separate generic interface application |
| CN103955722B (zh) * | 2014-04-25 | 2016-08-24 | 江苏物联网研究发展中心 | 基于有源rfid的室内定位系统中标签管理方法 |
| CN109086316B (zh) * | 2018-06-27 | 2021-09-14 | 南京邮电大学 | 面向工业物联网资源的知识图谱自主构建系统 |
| CN109165296B (zh) * | 2018-06-27 | 2021-05-18 | 南京邮电大学 | 工业物联网资源知识图谱构建方法、可读存储介质和终端 |
| CN109189762A (zh) * | 2018-09-03 | 2019-01-11 | 深圳市智物联网络有限公司 | 一种工业物联网数据分析方法、系统及相关设备 |
| CN109656997B (zh) * | 2018-12-14 | 2020-05-15 | 广东飞企互联科技股份有限公司 | 工业互联网大数据服务平台系统和服务方法 |
| CN109725614A (zh) * | 2018-12-27 | 2019-05-07 | 中国船舶重工集团公司第七研究院 | 一种应用于智能制造领域的智能终端 |
| CN109857800A (zh) * | 2019-02-25 | 2019-06-07 | 南京世界村云数据产业集团有限公司 | 一种工业互联网能源管理与优化系统的数据处理方法 |
| CN110210237B (zh) * | 2019-05-29 | 2021-02-26 | 北京工业大学 | 基于云雾协同的工业互联网敏感数据保护方法 |
-
2020
- 2020-08-14 CN CN202110086297.8A patent/CN112859788A/zh not_active Withdrawn
- 2020-08-14 CN CN202010817159.8A patent/CN111984641B/zh active Active
- 2020-08-14 CN CN202110086319.0A patent/CN112732698A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117370329A (zh) * | 2023-12-07 | 2024-01-09 | 湖南易比特大数据有限公司 | 基于工业物联网的设备数据智能化管理方法及系统 |
| CN117370329B (zh) * | 2023-12-07 | 2024-02-27 | 湖南易比特大数据有限公司 | 基于工业物联网的设备数据智能化管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111984641A (zh) | 2020-11-24 |
| CN111984641B (zh) | 2021-05-18 |
| CN112859788A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111984641B (zh) | 基于工业互联网和智能制造的数据处理方法及大数据平台 | |
| CN110321910B (zh) | 面向点云的特征提取方法、装置及设备 | |
| CN111179249A (zh) | 一种基于深度卷积神经网络的电力设备检测方法和装置 | |
| Wang et al. | 6G-enabled short-term forecasting for large-scale traffic flow in massive IoT based on time-aware locality-sensitive hashing | |
| CN111984383B (zh) | 基于云网融合和人工智能的业务数据处理方法及云端平台 | |
| CN112182007A (zh) | 基于人工智能的云计算的数据处理方法及人工智能平台 | |
| CN111046895B (zh) | 一种确定目标区域的方法和装置 | |
| CN116562740A (zh) | 一种基于改进型深度学习算法模型的外贸物流平台 | |
| CN114926683A (zh) | 空中飞行目标分类识别方法、装置及计算机可读存储介质 | |
| CN113128584B (zh) | 一种多功能雷达脉冲序列的模式级无监督分选方法 | |
| CN113342799A (zh) | 一种数据修正方法及系统 | |
| CN113723555A (zh) | 异常数据的检测方法及装置、存储介质、终端 | |
| CN116108160A (zh) | 一种基于nlp文本多标签分类的政策匹配系统 | |
| CN113033682B (zh) | 视频分类方法、装置、可读介质、电子设备 | |
| CN112559589A (zh) | 一种远程测绘数据处理方法及系统 | |
| CN111460160A (zh) | 一种基于强化学习的流式文本数据的事件聚类方法 | |
| CN112926368A (zh) | 一种识别障碍物的方法和装置 | |
| CN111901282A (zh) | 一种生成恶意代码流量行为检测结构的方法 | |
| AU2021107017A4 (en) | A machine learning-based system for detection of diseases and other breakout for effective counter measures | |
| Rintoul et al. | PANTHER. Trajectory Analysis | |
| CN115442309B (zh) | 一种基于图神经网络的包粒度网络流量分类方法 | |
| CN114638558B (zh) | 一种综合能源系统运行事故分析的数据集分类方法 | |
| CN113938507B (zh) | 基于智能感知的高速搬运系统决策方法及装置 | |
| CN115908948B (zh) | 一种在线调整模型的智能分选系统及其控制方法 | |
| CN114021788B (zh) | 预测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210430 |