CN117097753A - 基于工业互联网标识的数据采集系统 - Google Patents
基于工业互联网标识的数据采集系统 Download PDFInfo
- Publication number
- CN117097753A CN117097753A CN202310950370.0A CN202310950370A CN117097753A CN 117097753 A CN117097753 A CN 117097753A CN 202310950370 A CN202310950370 A CN 202310950370A CN 117097753 A CN117097753 A CN 117097753A
- Authority
- CN
- China
- Prior art keywords
- data
- identification
- acquisition
- equipment
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 claims abstract description 67
- 238000004891 communication Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 14
- 238000011084 recovery Methods 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000005192 partition Methods 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000013144 data compression Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于工业互联网标识的数据采集系统,涉及了数据采集优化技术领域,包括加密中心、设备标识模块、数据预处理模块、数据采集模块以及数据采集服务器;设备标识模块用于为工业设备分配唯一的工业互联网标识码,工业互联网标识码关联有通信序列,将工业设备的设备数据、工业互联网标识码以及通信序列汇总为数据标识包;通过数据预处理模块获取数据标识包并进行异常值标定筛除、数据负荷核定以及分布式加密,根据数据标识包生成数据流,并构建通信信道进行传输;根据数据流的流量值分配相应数目的数据采集节点,判断节点状态对采集过程进行控制;通过数据采集服务器进行分布式存储,产生若干个存储点位进行数据容灾。
Description
技术领域
本发明涉及数据采集优化技术领域,具体是基于工业互联网标识的数据采集系统。
背景技术
随着工业互联网的快速发展,工业设备和生产过程中产生的数据的规模不断增大,传统的人工采集方式已经无法满足对大规模数据的快速采集和准确管理的需求,在现代工业生产中,数据采集对于实时监测生产环境、优化生产过程、提高生产效率至关重要。
然而,传统的数据采集方法往往存在着采集效率低、数据安全性差、实时性差等问题,无法做到对数据采集的全流程进行实时的跟踪监管,在采集阶段容易收到外部的非法标记窃取数据,高负荷的数据采用一种方式进行处理,容易导致负荷超载,在数据采集完毕后,对数据的存储缺乏一定的安全保障,容易造成数据的丢失泄露,这些都是我们所需要考虑的问题。
发明内容
为了解决上述问题,本发明的目的在于提供基于工业互联网标识的数据采集系统。
本发明的目的可以通过以下技术方案实现:基于工业互联网标识的数据采集系统,包括加密中心,还包括设备标识模块、数据预处理模块、数据采集模块以及数据采集服务器;
所述加密中心通信连接有数据预处理模块、数据采集模块和数据采集服务器;所述设备标识模块与数据预处理模块、数据采集模块以及数据采集服务器依次顺序通信连接;
所述设备标识模块用于为工业设备分配唯一的工业互联网标识码,所述工业互联网标识码关联有通信序列,所述工业设备的设备数据、工业互联网标识码以及通信序列汇总为数据标识包;
所述数据预处理模块用于获取所述数据标识包,并对数据标识包进行异常值标定筛除、数据负荷核定以及分布式加密,对分布式加密后的数据标识包进行数据压缩生成数据流,并构建通信信道用于将数据流传输至数据采集模块;
所述数据采集模块用于根据所述数据流的流量值,分配相应数目的数据采集节点,并判断数据采集节点的节点状态,根据节点状态对采集过程进行控制;
所述数据采集服务器用于对所述数据采集模块的数据流进行分布式存储,分布式存储后产生若干个存储点位,对存储点位进行数据容灾处理。
进一步的,所述工业互联网标识码分配至工业设备的过程包括:
所述工业设备上设置有数据识别终端,数据识别终端包括识别模组、通信序列模组以及终端内置数据库,配备设备巡检人员和相应的手持移动设备终端,巡检人员设置不同工作状态,包括空闲状态和忙碌状态,处于空闲状态的设备巡检人员将工业互联网标识从云端录入至手持移动设备终端内,手持移动设备终端与各个工业设备的数据识别终端通信传输工业互联网标识;识别模组获取工业互联网标识与预先设置的合法标识集合进行比对,根据比对结果对工业互联网标识进行销毁或赋予通信序列;获取工业设备对应的设备数据转存至终端内置数据库,将获取到通信序列的工业互联网标识合并成关联文件并传输至终端内置数据库。
进一步的,所述数据标识包的生成过程包括:
所述终端内置数据库设置有数据读取权限,并关联有读取序列号,通过数据读取权限获取终端内置数据内存储的关联文件和设备数据时,向终端内置数据库发送一条识别指令,所述识别指令内包括有生成的序列号,若该序列号与读取序列号相同,则获取关联文件和设备数据,否则,将禁止数据读取权限的获取;将获取到的关联文件和设备数据汇总生成数据标识包,对数据标识包赋予相应的索引序列,汇总若干个索引序列生成索引对照表,将若干个数据标识包传输至数据预处理模块。
进一步的,对所述数据标识包进行异常值标定筛除、数据负荷核定以及分布式加密的过程包括:
获取若干个数据标识包,数据标识包内的设备数据包括若干个运行参数,运行参数有对应的参数类型和参数值;对每个参数类型的运行参数设置相应的标准规格参数范围,若该参数类型下的运行参数的参数值不处于所述标准规格参数范围,则将该运行参数的参数值标定为异常值,将异常值进行筛除;否则,则不做异常值标定筛除的处理;设备数据有对应的数据负荷,设置负荷裁定节点,将设备数据纳入负荷裁定节点内,负荷裁定节点设置有对应的裁定阈值;根据数据负荷和裁定阈值的大小关系对设备数据关联携带不同的操作标记,不同操作标记的设备数据进行相应操作生成待加密文件,将待加密文件分割处理为若干个子待加密文件,设置分布式加密数据库对子待加密文件进行公钥和私钥的分配,获取公钥私钥进行加密并将子待加密文件压缩为数据流,根据通信序列构建不同的通信信道。
进一步的,根据所述数据流的流量值分配数据采集节点的过程包括:
所述数据流关联有对应的流量值,记流量值为D,数据采集模块设置有数目若干的数据采集节点和临时交互空间,数据采集节点设置有节点容量,设置不同的节点状态,根据进行数据流采集的数据采集节点的数目和节点容量获取工作容量,记为D`,则有;若D≥D`,则继续将数据采集节点的数目N进行加一,直到D<D`,否则,将数据采集节点转移传输至数据采集模块的临时交互空间。
进一步的,根据所述节点状态对采集过程进行控制的过程包括:
所述数据采集节点的节点状态包括采集效率状态、采集安全状态、采集实时性状态以及采集并发性状态;设置节点标准状态,所述节点标准状态包括标准采集效率、标准采集安全系数区间、标准采集实时性数值区间以及标准采集并发阈值,获取数据采集节点的采集效率状态、采集安全状态、采集实时性状态以及采集并发性状态,根据节点状态的不同对应数值和节点标准状态进行比对,根据比对结果进行合格标识的赋予或控制参数的生成,生成文件日志并汇总控制参数,所述控制参数设有对应的采集控制操作,读取日志文件并对数据采集节点的节点状态进行相应的采集控制操作;经过所述采集控制操作后的数据采集节点采集到的数据流传输至数据采集服务器。
进一步的,对所述数据流分布式存储的过程包括:
所述数据采集服务器设置有标识分配程序和异常数据筛选程序,标识分配程序遍历数据流并分配存储标识,将具有存储标识的数据流传输至异常数据筛选程序中,进行数据流是否为异化信息的判断,若是,则剔除,否则,进行分布式存储;设置采集存储分区,将携带存储标识的数据流存储至若干个采集存储分区,标记采集存储分区为存储点位。
进一步的,所述数据容灾的过程包括:
获取若干个存储点位所存储的数据流生成备份数据,将备份数据传输至云端服务器,设置定期备份时间,对若干个存储点位的数据流进行实时监测,若数据流出现损坏、篡改以及丢失,将数据流定义为问题数据,存储点位生成数据更换指令,并将数据更换指令上传至云端服务器;所述云端服务器接收到数据更换指令后,将备份数据传输至对应的存储点位,将问题数据替换为备份数据,并同步对备份数据进行数据备份生成新的备份数据,将新的备份数据上传至云端服务器进行存储。
与现有技术相比,本发明的有益效果是:设置工业互联网标识作为每个工业设备的唯一身份标识,工业设备上设置有数据识别终端,工业互联网标识通过设备巡检人员从云端获取并录入至工业设备内,进而数据识别终端对工业互联网标识进行判断,只有属于合法标识集合的才能被录入,否则对采集到的工业互联网标识进行销毁,一定程度上减少了工业设备被标记到非法的互联网标记,从而窃取数据这种情况的发生,另一方面销毁标识起到了减小内存占用的作用;通过对数据读取权限的相关限定,一定程度上保证了数据的读取安全,防止数据泄密;进行的异常值标定筛除减小了异常数据的影响,对于数据负荷不同的设备数据进行本地计算和异地计算,保证了计算的高效进行;通过对节点状态和节点标准状态的判定对采集过程进行限定,一定程度上保证了数据采集的实时性和并发性,提高了采集效率,数据采集完毕后传输至数据采集服务器中进行分布式存储和数据容灾,进一步保证了数据的存储阶段安全,防止数据丢失造成的损失,实现了数据采集的全流程实时监管。
附图说明
图1为本发明的原理图。
具体实施方式
如图1所示,基于工业互联网标识的数据采集系统,包括加密中心、设备标识模块、数据预处理模块、数据采集模块以及数据采集服务器;
所述加密中心通信连接有数据预处理模块、数据采集模块和数据采集服务器;所述设备标识模块与数据预处理模块、数据采集模块以及数据采集服务器依次顺序通信连接;
所述设备标识模块用于为工业设备分配唯一的工业互联网标识码,所述工业互联网标识码关联有通信序列,所述工业设备的设备数据、工业互联网标识码以及通信序列汇总为数据标识包;
所述数据预处理模块用于获取所述数据标识包,并对数据标识包进行异常值标定筛除、数据负荷核定以及分布式加密,对分布式加密后的数据标识包进行数据压缩生成数据流,并构建通信信道用于将数据流传输至数据采集模块;
所述数据采集模块用于根据所述数据流的流量值,分配相应数目的数据采集节点,并判断数据采集节点的节点状态,根据节点状态对采集过程进行控制;
所述数据采集服务器用于对所述数据采集模块的数据流进行分布式存储,分布式存储后产生若干个存储点位,对存储点位进行数据容灾处理;
具体的,所述工业互联网标识码分配至工业设备的过程包括:
所述工业设备上设置有数据识别终端,所述数据识别终端的组成包括识别模组、通信序列模组以及终端内置数据库;
所述工业设备配备有相应的设备巡检人员,所述设备巡检人员配置关联有相应的手持移动设备终端,所述巡检人员还设置有不同的工作状态,所述工作状态包括空闲状态和忙碌状态;
获取处于空闲状态的设备巡检人员进行所述工业互联网标识的录入操作,所述录入操作即将工业互联网标识从云端录入至手持移动设备终端内,设备巡检人员再将手持移动设备终端与各个工业设备的数据识别终端进行通信,将工业互联网标识通信传输至数据识别终端内;
所述识别模组获取工业互联网标识,并将工业互联网标识与识别模组预先设置并存储的合法标识集合进行比对,若工业互联网标识从属于合法标识集合,则将工业互联网标识输入至通信序列模组,所述通信序列模组对工业互联网标识分配一个通信序列,所述通信序列通过随机函数随机产生,不重复且唯一,若工业互联网标识不从属于合法标识集合,则设置销毁时间,到达销毁时间后将工业互联网标识集进行销毁;
获取工业设备运作时所产生的设备数据,将设备数据转存至终端内置数据库,将获取到通信序列的工业互联网标识合并成关联文件,将关联文件传输至终端内置数据库中进行存储;
具体的,所述数据标识包的生成过程包括:
所述终端内置数据库设置有数据读取权限,所述数据读取权限关联有读取序列号,通过数据读取权限获取终端内置数据库内存储的关联文件和设备数据时,向终端内置数据库发送一条识别指令,所述识别指令内包括有生成的序列号,若该序列号与读取序列号相同,则获取关联文件和设备数据,否则,将禁止数据读取权限的获取;
将获取到的关联文件和设备数据汇总生成数据标识包,对数据标识包赋予相应的索引序列,记为i,则有i=1,2,3,……,n,n为大于0的自然数,汇总若干个索引序列生成索引对照表,每个索引对照表中的索引序列对应一个数据标识包,将若干个数据标识包传输至数据预处理模块;
具体的,对所述数据标识包进行异常值标定筛除、数据负荷核定以及分布式加密的过程包括:
所述数据预处理模块获取若干个数据标识包,所述数据标识包内的设备数据包括若干个运行参数,运行参数有对应的参数类型和参数值;
对每个参数类型的运行参数设置相应的标准规格参数范围,若该参数类型下的运行参数的参数值不处于所述标准规格参数范围,则将该运行参数的参数值标定为异常值,将异常值进行筛除;
若该参数类型下的运行参数的参数值处于标准规格参数范围内,则不做异常值标定筛除的处理;
获取筛除异常值之后的设备数据,所述设备数据有对应的数据负荷,记数据负荷为G,数据预处理模块设置有负荷裁定节点,所述负荷裁定节点用于进行设备数据的数据负荷的核定,将设备数据纳入负荷裁定节点内,负荷裁定节点设置有对应的裁定阈值,记为G`;
若数据负荷G大于等于裁定阈值G`,则赋予“数据负荷超载,不宜在本地进行后续加密操作”的消息提示,并对该数据负荷相对应的设备数据关联携带操作标记“1”;
若数据负荷G小于裁定阈值G`,则赋予“数据负荷可在本地直接进行加密”的消息提示,并对该数据负荷相对应的设备数据关联携带操作标记“0”;
获取到携带操作标记“1”的设备数据则将其上传至加密中心处,由加密中心进行异地计算,将设备数据的数据负荷降低至裁定阈值以下返还至数据预处理单元进行本地计算,若获取到的携带操作标记为“0”,则直接进行本地计算;
通过所述本地计算生成待加密文件,并对待加密文件进行分布式加密,分布式加密的操作内容如下:将待加密文件分割处理为若干个等文件容量大小的子待加密文件,所述数据预处理模块设置有分布式加密数据库,将若干个子待加密文件依次输入至分布式加密数据库中进行公钥和私钥的分配;
分布式加密数据库包括若干个加密子库,每个所述加密子库关联有公钥和私钥,每个子待加密文件与加密子库进行一对一入库匹配,入库成功后的子待加密文件获取公钥作为加密钥进行加密,获取私钥,通过私钥对加密后的子待加密文件进行解密;
加密完成后,子待加密文件被标识为待压缩文件,获取待压缩文件将其压缩为数据流,获取相应数据标识包的通信序列,根据通信序列构建不同的通信信道,并将数据流通过通信信道传输至数据采集模块;
具体的,根据所述数据流的流量值分配数据采集节点的过程包括:
所述数据采集模块通过建立与通信信道的链接获取所述数据流,所述数据流有对应的流量值,记流量值为D,数据采集模块设置有数目若干的数据采集节点;
所述数据采集节点设置有节点容量,记为D,对节点进行编号,记为j,则有j=1,2,3,……,m,其中m为大于0的自然数,则所述数据采集节点可标记为D[j];
依次扫描j个数据采集节点,所述数据采集节点设置有不同的节点状态,获取数据流的流量值D,获取进行数据流采集的数据采集节点的编号,并统计编号对应数据采集节点的数目,记为N;
根据进行数据流采集的数据采集节点的数目和节点容量获取工作容量,记为D`,则有;若D≥D`,则继续将数据采集节点的数目N进行加一,直到D<D`,否则,将数据采集节点转移传输至所设置的数据采集模块所设置的临时交互空间内;
具体的,根据所述节点状态对采集过程进行控制的过程包括:
所述数据采集节点的节点状态包括采集效率状态、采集安全状态、采集实时性状态以及采集并发性状态;
设置节点标准状态,所述节点标准状态包括标准采集效率、标准采集安全系数区间、标准采集实时性数值区间以及标准采集并发阈值,获取数据采集节点的采集效率状态、采集安全状态、采集实时性状态以及采集并发性状态,并分别标记为S1、S2、S3以及S4;
记所述标准采集效率的最小值为min,最大值为max,根据最小值和最大值构建效率区间,记为R1,有R1=[min,max],记标准采集安全系数区间为R2,标准采集实时性数值区间为R3,R3的区间左端点值记为a,右端点值记为b,则有R3=[a,b],记标准采集并发阈值为R4;
根据节点状态和节点标准状态之间的关系对采集过程进行控制;
若S1∈R1,即min≤S1≤max,赋予该节点状态对应的数据采集节点一个一类合格标识,记为PN,否则,S1∉R1,则同步生成一个文件日志和一个控制参数K1;
若S2∈R2,则赋予一个二类合格标识,记为PM,否则,S2∉R2,则生成一个控制参数K2;
若S3∈R3,即a≤S3≤b,则赋予一个三类合格标识,记为PD,否则,若S3<a,则生成一个控制参数K3,若S3>b,则生成一个控制参数K4;
若S4<R4,则赋予一个四类合格标识,记为PF,若S4≥R4,则生成一个控制系数K5;
汇总控制参数K1、K2、K3、K4以及K5至文件日志中进行保存,所述控制参数有对应的采集控制操作,读取日志文件并对数据采集节点的节点状态进行相应的采集控制操作;
经过所述采集控制操作后的数据采集节点采集到的数据流传输至数据采集服务器;
具体的,所述分布式存储以及数据容灾处理的过程包括:
所述数据采集服务器设置有标识分配程序和异常数据筛选程序,数据采集服务器接收到数据流后,标识分配程序启动工作,遍历若干个数据流并依次分配由随机函数生成的存储标识;
将分配过存储标识的数据流传输至异常数据筛选程序中,所述异常数据筛选程序内预设有数据标准存储格式,将数据流的存储格式与数据标准存储格式进行比对,若相同则对数据流进行分布式存储,否则,将数据流标记为异化信息,将异化信息进行剔除;
所述数据采集服务器包括若干个采集存储分区,将携带存储标识的数据流存储至若干个采集存储分区,存储标识写入采集存储分区所设置的标识区域作为采集存储分区的身份识别ID,将存储了数据流的若干个采集存储分区作为若干个存储点位,并对存储点位进行索引标号,生成索引表对应存储索引标号;
获取索引表所包括的若干个索引标号对应的存储点位,将每个存储点位内存储的数据流进行数据备份,数据备份后生成备份数据,将备份数据通过无线传输的方式传输至云端服务器,设置定期备份时间,对若干个存储点位的数据流进行实时监测,若数据流出现损坏、篡改以及丢失等情况,此时数据流被定义为问题数据,存储点位生成数据更换指令,并将数据更换指令上传至云端服务器;
所述云端服务器接收到数据更换指令后,将备份数据传输至对应的存储点位,将问题数据替换为备份数据,并同步对备份数据进行数据备份生成新的备份数据,将新的备份数据上传至云端服务器进行存储;
以上实施例仅用以说明本发明的技术方法而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方法进行修改或等同替换,而不脱离本发明技术方法精神和范围。
Claims (8)
1.基于工业互联网标识的数据采集系统,包括加密中心,其特征在于,还包括设备标识模块、数据预处理模块、数据采集模块以及数据采集服务器;
所述加密中心通信连接有数据预处理模块、数据采集模块和数据采集服务器;所述设备标识模块与数据预处理模块、数据采集模块以及数据采集服务器依次顺序通信连接;
所述设备标识模块用于为工业设备分配唯一的工业互联网标识码,所述工业互联网标识码关联有通信序列,所述工业设备的设备数据、工业互联网标识码以及通信序列汇总为数据标识包;
所述数据预处理模块用于获取所述数据标识包,并对数据标识包进行异常值标定筛除、数据负荷核定以及分布式加密,对分布式加密后的数据标识包进行数据压缩生成数据流,并构建通信信道用于将数据流传输至数据采集模块;
所述数据采集模块用于根据所述数据流的流量值,分配相应数目的数据采集节点,并判断数据采集节点的节点状态,根据节点状态对采集过程进行控制;
所述数据采集服务器用于对所述数据采集模块的数据流进行分布式存储,分布式存储后产生若干个存储点位,对存储点位进行数据容灾处理。
2.根据权利要求1所述的基于工业互联网标识的数据采集系统,其特征在于,所述工业互联网标识码分配至工业设备的过程包括:
所述工业设备上设置有数据识别终端,数据识别终端包括识别模组、通信序列模组以及终端内置数据库,配备设备巡检人员和相应的手持移动设备终端,巡检人员设置不同工作状态,包括空闲状态和忙碌状态,处于空闲状态的设备巡检人员将工业互联网标识从云端录入至手持移动设备终端内,手持移动设备终端与各个工业设备的数据识别终端通信传输工业互联网标识;识别模组获取工业互联网标识与预先设置的合法标识集合进行比对,根据比对结果对工业互联网标识进行销毁或赋予通信序列;获取工业设备对应的设备数据转存至终端内置数据库,将获取到通信序列的工业互联网标识合并成关联文件并传输至终端内置数据库。
3.根据权利要求2所述的基于工业互联网标识的数据采集系统,其特征在于,所述数据标识包的生成过程包括:
所述终端内置数据库设置有数据读取权限,并关联有读取序列号,通过数据读取权限获取终端内置数据内存储的关联文件和设备数据时,向终端内置数据库发送一条识别指令,所述识别指令内包括有生成的序列号,若该序列号与读取序列号相同,则获取关联文件和设备数据,否则,将禁止数据读取权限的获取;将获取到的关联文件和设备数据汇总生成数据标识包,对数据标识包赋予相应的索引序列,汇总若干个索引序列生成索引对照表,将若干个数据标识包传输至数据预处理模块。
4.根据权利要求3所述的基于工业互联网标识的数据采集系统,其特征在于,对所述数据标识包进行异常值标定筛除、数据负荷核定以及分布式加密的过程包括:
获取若干个数据标识包,数据标识包内的设备数据包括若干个运行参数,运行参数有对应的参数类型和参数值;对每个参数类型的运行参数设置相应的标准规格参数范围,若该参数类型下的运行参数的参数值不处于所述标准规格参数范围,则将该运行参数的参数值标定为异常值,将异常值进行筛除;否则,则不做异常值标定筛除的处理;设备数据有对应的数据负荷,设置负荷裁定节点,将设备数据纳入负荷裁定节点内,负荷裁定节点设置有对应的裁定阈值;根据数据负荷和裁定阈值的大小关系对设备数据关联携带不同的操作标记,不同操作标记的设备数据进行相应操作生成待加密文件,将待加密文件分割处理为若干个子待加密文件,设置分布式加密数据库对子待加密文件进行公钥和私钥的分配,获取公钥私钥进行加密并将子待加密文件压缩为数据流,根据通信序列构建不同的通信信道。
5.根据权利要求4所述的基于工业互联网标识的数据采集系统,其特征在于,根据所述数据流的流量值分配数据采集节点的过程包括:
所述数据流关联有对应的流量值,记流量值为D,数据采集模块设置有数目若干的数据采集节点和临时交互空间,数据采集节点设置有节点容量,设置不同的节点状态,根据进行数据流采集的数据采集节点的数目和节点容量获取工作容量,记为D`,则有;若D≥D`,则继续将数据采集节点的数目N进行加一,直到D<D`,否则,将数据采集节点转移传输至数据采集模块的临时交互空间。
6.根据权利要求5所述的基于工业互联网标识的数据采集系统,其特征在于,根据所述节点状态对采集过程进行控制的过程包括:
所述数据采集节点的节点状态包括采集效率状态、采集安全状态、采集实时性状态以及采集并发性状态;设置节点标准状态,所述节点标准状态包括标准采集效率、标准采集安全系数区间、标准采集实时性数值区间以及标准采集并发阈值,获取数据采集节点的采集效率状态、采集安全状态、采集实时性状态以及采集并发性状态,根据节点状态的不同对应数值和节点标准状态进行比对,根据比对结果进行合格标识的赋予或控制参数的生成,生成文件日志并汇总控制参数,所述控制参数设有对应的采集控制操作,读取日志文件并对数据采集节点的节点状态进行相应的采集控制操作;经过所述采集控制操作后的数据采集节点采集到的数据流传输至数据采集服务器。
7.根据权利要求6所述的基于工业互联网标识的数据采集系统,其特征在于,对所述数据流分布式存储的过程包括:
所述数据采集服务器设置有标识分配程序和异常数据筛选程序,标识分配程序遍历数据流并分配存储标识,将具有存储标识的数据流传输至异常数据筛选程序中,进行数据流是否为异化信息的判断,若是,则剔除,否则,进行分布式存储;设置采集存储分区,将携带存储标识的数据流存储至若干个采集存储分区,标记采集存储分区为存储点位。
8.根据权利要求7所述的基于工业互联网标识的数据采集系统,其特征在于,所述数据容灾的过程包括:
获取若干个存储点位所存储的数据流生成备份数据,将备份数据传输至云端服务器,设置定期备份时间,对若干个存储点位的数据流进行实时监测,若数据流出现损坏、篡改以及丢失,将数据流定义为问题数据,存储点位生成数据更换指令,并将数据更换指令上传至云端服务器;所述云端服务器接收到数据更换指令后,将备份数据传输至对应的存储点位,将问题数据替换为备份数据,并同步对备份数据进行数据备份生成新的备份数据,将新的备份数据上传至云端服务器进行存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310950370.0A CN117097753A (zh) | 2023-07-31 | 2023-07-31 | 基于工业互联网标识的数据采集系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310950370.0A CN117097753A (zh) | 2023-07-31 | 2023-07-31 | 基于工业互联网标识的数据采集系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117097753A true CN117097753A (zh) | 2023-11-21 |
Family
ID=88781339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310950370.0A Pending CN117097753A (zh) | 2023-07-31 | 2023-07-31 | 基于工业互联网标识的数据采集系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117097753A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117857457A (zh) * | 2024-01-18 | 2024-04-09 | 东莞本凡网络技术有限公司 | 一种基于边缘计算的物联网流量优化系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160063191A1 (en) * | 2014-08-31 | 2016-03-03 | General Electric Company | Methods and systems for improving connections within a healthcare ecosystem |
WO2019094721A2 (en) * | 2017-11-09 | 2019-05-16 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for the industrial internet of things |
CN112737865A (zh) * | 2021-01-18 | 2021-04-30 | 清华大学 | 基于自动机的物联网设备流量建模、检测方法和装置 |
CN115277220A (zh) * | 2022-07-29 | 2022-11-01 | 西安热工研究院有限公司 | 一种工控网络流量安全分类方法、系统及可读存储设备 |
-
2023
- 2023-07-31 CN CN202310950370.0A patent/CN117097753A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160063191A1 (en) * | 2014-08-31 | 2016-03-03 | General Electric Company | Methods and systems for improving connections within a healthcare ecosystem |
WO2019094721A2 (en) * | 2017-11-09 | 2019-05-16 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for the industrial internet of things |
CN112737865A (zh) * | 2021-01-18 | 2021-04-30 | 清华大学 | 基于自动机的物联网设备流量建模、检测方法和装置 |
CN115277220A (zh) * | 2022-07-29 | 2022-11-01 | 西安热工研究院有限公司 | 一种工控网络流量安全分类方法、系统及可读存储设备 |
Non-Patent Citations (1)
Title |
---|
杨伟;何杰;万亚东;王沁;李;: "基于IEEE802.15.4e标准的工业物联网安全时间同步策略", 计算机研究与发展, no. 09, 15 September 2017 (2017-09-15) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117857457A (zh) * | 2024-01-18 | 2024-04-09 | 东莞本凡网络技术有限公司 | 一种基于边缘计算的物联网流量优化系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107332876B (zh) | 区块链状态的同步方法及装置 | |
CN117097753A (zh) | 基于工业互联网标识的数据采集系统 | |
CN113536376A (zh) | 一种企业财务数据安全管理系统及其方法 | |
CN114640523B (zh) | 一种计算机数据安全加密方法及系统 | |
CN112688822A (zh) | 基于多点协同的边缘计算故障或安全威胁监测系统与方法 | |
CN114567681B (zh) | 一种区块链网络高效率数据传输方法 | |
CN112804348A (zh) | 云监测中心对边缘计算节点上报数据的重复性判定方法 | |
CN111932250A (zh) | 一种基于区块链技术实现电网信息共享的方法 | |
CN113810788A (zh) | 一种智能电表信息传递方法、装置及终端设备 | |
CN115766242A (zh) | 一种基于安全隔离通讯的环保管理系统 | |
CN105281432A (zh) | 一种无线测试及数据传输系统的监控装置 | |
CN111131795A (zh) | 一种基于区块链的城市安全监控平台 | |
CN116527260B (zh) | 一种电网通讯系统的接入方法、装置、设备和介质 | |
CN111327602B (zh) | 一种设备接入处理方法、设备及存储介质 | |
CN113378189A (zh) | 一种用于负荷辨识模组的认证校验方法及系统 | |
CN109547310B (zh) | 一种模块化的总线数据接收方法 | |
CN112256658B (zh) | 日志记录的分流方法及装置、存储介质、电子装置 | |
CN115310960A (zh) | 基于互联网的数字经济化方法 | |
CN114706829A (zh) | 一种应用于元宇宙的大数据处理方法及系统 | |
CN212365076U (zh) | 一种基于量子同态签名的量子投票装置 | |
CN111708795A (zh) | 对象标识生成方法、更新方法、装置、计算机设备和介质 | |
CN117478706B (zh) | 一种基于区块链的机加工平台数据共享系统 | |
CN106888199B (zh) | 智能电网中角色驱动的需求响应安全接入方法 | |
CN111125745A (zh) | 一种基于区块链的互联网用数据管理系统 | |
CN116226064B (zh) | 共享电网运维数据的方法、系统、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |