CN112953913A - 一种实现工业物联网智能设备数据快速接入、汇聚、存储和发布的方法 - Google Patents
一种实现工业物联网智能设备数据快速接入、汇聚、存储和发布的方法 Download PDFInfo
- Publication number
- CN112953913A CN112953913A CN202110123141.2A CN202110123141A CN112953913A CN 112953913 A CN112953913 A CN 112953913A CN 202110123141 A CN202110123141 A CN 202110123141A CN 112953913 A CN112953913 A CN 112953913A
- Authority
- CN
- China
- Prior art keywords
- data
- industrial
- module
- big data
- industrial big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002776 aggregation Effects 0.000 title claims description 18
- 238000004220 aggregation Methods 0.000 title claims description 18
- 238000003860 storage Methods 0.000 title description 16
- 238000004891 communication Methods 0.000 claims abstract description 29
- 238000013523 data management Methods 0.000 claims abstract description 22
- 238000007405 data analysis Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013500 data storage Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000006835 compression Effects 0.000 claims abstract description 7
- 238000007906 compression Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims description 28
- 238000012544 monitoring process Methods 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 239000000654 additive Substances 0.000 description 4
- 230000000996 additive effect Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Abstract
本发明提供一种基于工业物联网设备的数据管理方法和系统，属于工业设备数据管理技术领域，该系统包括数据采集模块，用于通过多线程并发形式采集工业设备的工业大数据，并对所述工业大数据进行协议转换及封包上传；数据解析模块，用于接收封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩处理，并将处理后的所述工业大数据写入缓存池；数据存储模块，用于将放入缓存池的数据进行数据存储；数据发布模块，其用于将缓存池的数据按照规约协议进行数据发布。本发明能够满足不同应用领域、多种通信信道、多种通信协议的大规模感知设备的高并发接入，便于管理，能够及时把多种通讯方式、规约协议的数据进行融合、存储并发布。
Description
技术领域
本发明属于工业设备数据管理技术领域，具体地说，涉及一种基于工业物联网设备的数据管理方法及系统。
背景技术
工业大数据和传统的互联网大数据相比，具有更强的专业性、关联性、流程性、时序性和解析性等特点。工业大数据的采集主要是运用工业互联网技术进行远程数据采集、可视化采集，通过采集软件在工业互联网中进行广域的、大规模的、实时的采集和传递，经过多次汇聚和转发，最终发送给大数据平台作为分析和应用的数据源。
工业大数据主要是三类数据，一是从工业控制系统采集的所有生产数据，二是直接采集智能传感器PLC设备的监视数据，三是工厂内外管理系统的数据，如ERP系统、客户关系管理系统及销售系统等。目前工业大数据采集的数据对象中，第一类和第二类数据，即各种控制系统和大量的智能设备的数据，数据量最多、增长最快、实时性要求较高、难度较大的是：第三类数据主要是通过管理软件之间的接口来实现采集。工业控制系统一般通过协议或规约来提供以工业太网中的现场数据，尤其在电力行业中，经常采用modbus协议、CDT规约、101规约、104规约，DNP协议或其它专有协议。这些协议大部分属于请求/应答式的技术协议，只能用以获取瞬时数据，常用于工业以太网。工业控制系统中另一种常见的提供数据方式，是提供既支持即时产生的实时数据又支持历史实时数据的协议，其中最具有代表性和广泛性的是OPC协议，智能传感器PLC一般通过专有协议提供数据，目前大部分智能传感器都支持OPC协议进行网络数据通信，或者串行RS232/485协议通信。
而在现实使用过程中，工业智能设备涉及了多种通讯方式、多种规约协议，原本通过多套方法、装置的方式把数据融合再进行存储发布，成本高、消耗资源严重、维护代价较大。因此如何通过一种管理系统把多种通讯方式、规约协议的数据进行融合、存储和发布显得尤为重要。
发明内容
、要解决的问题
针对现有的工业设备数据流程流转复杂，难以有效管理的问题，本发明提供一种基于工业物联网设备的数据管理方法及系统；可实现秒频率的实时数据采集，保证工业大数据能够实时且安全地传输，从而有效地缓解数据采集接口和网络传输的压力；且能够满足不同应用领域、多种通信信道、多种通信协议的大规模感知设备的高并发接入，便于管理，能够及时把多种通讯方式、规约协议的数据进行融合、存储并发布。
、技术方案
为解决上述问题，本发明采用如下的技术方案。
本发明第一方面提供一种基于工业物联网设备的数据管理系统，包括：
数据采集模块，其用于通过多线程并发形式采集工业设备的工业大数据，并对所述工业大数据进行协议转换及封包上传；
数据解析模块，其用于接收封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩处理，并将处理后的所述工业大数据写入缓存池；
数据存储模块，其用于将放入缓存池的数据进行数据存储；
数据发布模块，其用于将缓存池的数据按照规约协议进行数据发布。
在一些实施例中，还包括数据监控模块，所述数据监控模块用于获取数据采集模块采集的所述工业大数据，通过阈值判断工业设备的状态；
所述数据监控模块还用于监控数据采集模块与工业设备之间的采集链路的网络通讯状态，并在异常时发出告警信息。
在一些实施例中，所述数据采集模块通过数据采集接口的UDP网络传输协议，将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；所述数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据解析模块。
在一些实施例中，所述数据解析模块还用于在数据解析完后，根据测点的乘系数和加系数进行数据处理，将解析后的数据转换成数据字典的形式编入队列。
在一些实施例中，所述队列为先进先出的线程安全队列，并对队列的入队出队进行加解锁控制。
在一些实施例中，数据存储模块在数据存储过程中：
先根据测点个数在数据库中创建数据表，数据表中包含时间字段和数值字段；
再建立测点和数据字段的对应关系，在存储数据时，按照所述对应关系将时间字段和数值字段进行批量存储。
相应地，本发明第二方面提供一种基于工业物联网设备的数据管理方法，包括：
通过多线程并发形式采集工业设备的工业大数据，并对所述工业大数据进行协议转换及封包上传；
接收封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩处理，并将处理后的所述工业大数据写入缓存池；
将放入缓存池的数据进行数据存储；
将缓存池的数据按照规约协议进行数据发布。
在一些实施例中，获取数据采集模块采集的所述工业大数据，通过阈值判断工业设备的状态；
监控数据采集模块与工业设备之间的采集链路的网络通讯状态，并在异常时发出告警信息。
在一些实施例中，通过数据采集接口的UDP网络传输协议，将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；所述数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据解析模块；
在一些实施例中，在数据解析完后，根据测点的乘系数和加系数进行数据处理，将解析后的数据转换成数据字典的形式编入队列；所述队列为先进先出的线程安全队列，并对队列的入队出队进行加解锁控制。
、有益效果
相比于现有技术，本发明的有益效果为：
（1）本发明可实现秒频率的实时数据采集，保证工业大数据能够实时且安全地传输，从而有效地缓解数据采集接口和网络传输的压力；
（2）本发明能够满足不同应用领域、多种通信信道、多种通信协议的大规模感知设备的高并发接入，便于管理，实现多种通讯协议和规约协议的融合，接入的实时数据存入缓存池，历史数据存入数据库，根据标准规约协议或第三方要求的数据格式进行数据发布；涉及的通讯协议和规约协议广泛，具有极大的市场效益和推广价值；
（3）本发明能够实现海量采集数据的实时并行化传输与处理，并支持异构数据的融合、大数据的管理，为物联网业务应用提供标准格式的高质量数据支撑，保障物联网相关业务的开展。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：
图1为本发明实施例提供的一种基于工业物联网设备的数据管理方法流程图；
图2为本发明实施例提供的一种基于工业物联网设备的数据管理系统框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示例性系统
如图2所示，一种基于工业物联网设备的数据管理系统，包括：
数据采集模块20，其用于通过多线程并发形式采集工业设备的工业大数据，并对所述工业大数据进行协议转换及封包上传；数据解析模块30，其用于接收封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩处理，并将处理后的所述工业大数据写入缓存池；数据存储模块40，其用于将放入缓存池的数据进行数据存储；数据发布模块50，其用于将缓存池的数据按照规约协议进行数据发布。
需要说明的是，这里的工业大数据可包括来自于工业控制系统的数据或者来自于智能传感器的数据。所述数据采集系统通过多线程并发形式采集工业大数据，可实现秒频率的实时数据采集，从而缓解数据采集接口的压力；通过对所述工业大数据进行统一的协议转换和封包上传，可保证工业大数据能够实时且安全地传输，从而缓解网络传输的压力。本示例中的工业设备包含通讯装置、逆变器、风机MODBUS、环境检测仪等。
在具体实施过程中，数据采集模块可以是数据采集接口，其通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口，数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口。对于大型工业控制系统，数据点多达数十万点，秒级变化的数据采集量巨大，所述数据采集接口和所述数据汇聚接口设置在厂内局域网，所述数据接收接口通过广域网接收数据。基于UDP网络传输协议面向非连接的特性，在所述数据采集接口通过所述UDP网络传输协议传输所述工业大数据，可保证数据的高效安全的传输；基于TCP网络传输协议的三次握手和四次断开的特性，在所述数据汇聚接口采用TCP网络传输协议可保证数据在广域网的安全可靠传输。本领域技术人员应当理解，这里的数据采集模块还可以支持COM、OPC、PLC、MODBUS、MQTT、RS232、RS485等通讯协议，在此不作为对本发明的限定。
在一些实施例中，还包括数据监控模块60，所述数据监控模块用于获取数据采集模块采集的所述工业大数据，通过阈值判断工业设备的状态；所述数据监控模块还用于监控数据采集模块与工业设备之间的采集链路的网络通讯状态，并在异常时发出告警信息。
具体的，这里的数据监控异常判断分为两种，一种是工业设备，是通过设备采集的状态量和模拟量进行判断，模拟量可以根据不同的工业设备在某个特定的数据范围（阈值）进行判断，状态量根据数据指定的值进行判断。另一种数据异常监控，是指通过获取设备当前的CPU、内存、磁盘容量、采集程序的状态以及采集链路之间的网络通讯是否正常进行判断，当发现异常时，及时发出告警信息。
在一些实施例中，所述数据解析模块还用于在数据解析完后，根据测点的乘系数和加系数进行数据处理，将解析后的数据转换成数据字典的形式编入队列。
这里的测点指的是测量时被观测的点；例如，测点可以包含开关量、模拟量，开关量及0或1，只有两种状态，测量量为实际的测量数值；乘系数是一个数值，某些工业设备中的数值不能为小数，所以以整数传输，传输后以系数的形式进行计算，得到实际的值；加系数是一个数值，某些设备中的数值存在一定的值域范围，不能超出这个值域范围，实际的值和设备中的数值存在一个固定加系数关系。
在一些实施例中，所述队列为先进先出的线程安全队列，所谓先进先出是先进入队列的测点数据先出队列，所谓线程安全是在多线程中使用时，对队列的入队出队进行加解锁控制，保证线程的安全。
在一些实施例中，数据存储模块在数据存储过程中：先根据测点个数在数据库中创建数据表，数据表中包含时间字段和数值字段；再建立测点和数据字段的对应关系，在存储数据时，按照所述对应关系实现数值字段进行批量存储。
具体的，数据存储过程，首先根据测点个数在数据库中创建数据表，例如数据表中包含一个时间字段和100个数值字段（datetime和V00到V99），并建立测点和数据字段的对应关系，在存储数据时，按照对应关系实现一张表的101个字段批量存储，这里的101个字段指的是100个数值字段和1个时间字段。关系型数据可和非关系型数据库之间没有关系，关系型数据库需要按照特定数据表结构进行存储，非关系型数据库不需要按照特定的表结构。以上阐述的是使用关系型数据库进行存储，非关系型数据库采用标准的InfluxDB进行存储。
数据发布模块50，其用于将缓存池的数据按照规约协议，具体的，缓存池中存储的数据是按照测点编码，即测点值得形式存储，没有按照规约进行存储；本示例将缓存池中的数据按照规约协议重新组包，供使用方进行请求调用。还需要说明的是，数据发布模块50中的数据发布支持多种发布规约，包括电力规约101、电力规约102、电力规约103、电力规约104、智深规约、RYQ3环境检测仪、华为逆变器、科华逆变器、海装风机等规约协议以及实时数据的取数。
示例性方法
如图1所示，一种基于工业物联网设备的数据管理方法，包括如下步骤：
S102：通过多线程并发形式采集工业设备的工业大数据，并对所述工业大数据进行协议转换及封包上传；
S104：接收封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩处理，并将处理后的所述工业大数据写入缓存池；
S106：将放入缓存池的数据进行数据存储；
S108：将缓存池的数据按照规约协议进行数据发布。
需要说明的是，这里的工业大数据可包括来自于工业控制系统的数据或者来自于智能传感器的数据。所述数据采集系统通过多线程并发形式采集工业大数据，可实现秒频率的实时数据采集，从而缓解数据采集接口的压力；通过对所述工业大数据进行统一的协议转换和封包上传，可保证工业大数据能够实时且安全地传输，从而缓解网络传输的压力。本示例中的工业设备包含通讯装置、逆变器、风机MODBUS、环境检测仪等。
在具体步骤S102实施过程中，数据采集模块可以是数据采集接口，其通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口，数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口。对于大型工业控制系统，数据点多达数十万点，秒级变化的数据采集量巨大，所述数据采集接口和所述数据汇聚接口设置在厂内局域网，所述数据接收接口通过广域网接收数据。基于UDP网络传输协议面向非连接的特性，在所述数据采集接口通过所述UDP网络传输协议传输所述工业大数据，可保证数据的高效安全的传输；基于TCP网络传输协议的三次握手和四次断开的特性，在所述数据汇聚接口采用TCP网络传输协议可保证数据在广域网的安全可靠传输。本领域技术人员应当理解，这里的数据采集模块还可以支持COM、OPC、PLC、MODBUS、MQTT、RS232、RS485等通讯协议，在此不作为对本发明的限定。
作为一个变化例，获取数据采集模块采集的所述工业大数据，通过阈值判断工业设备的状态；监控数据采集模块与工业设备之间的采集链路的网络通讯状态，并在异常时发出告警信息。
具体的，这里的数据监控异常判断分为两种，一种是工业设备，是通过设备采集的状态量和模拟量进行判断，模拟量可以根据不同的工业设备在某个特定的数据范围（阈值）进行判断，状态量根据数据指定的值进行判断。另一种数据异常监控，是指通过获取设备当前的CPU、内存、磁盘容量、采集程序的状态以及采集链路之间的网络通讯是否正常进行判断，当发现异常时，及时发出告警信息。
作为一个变化例，在数据解析完后，根据测点的乘系数和加系数进行数据处理，将解析后的数据转换成数据字典的形式编入队列。
这里的测点指的是测量时被观测的点；例如，测点包含开关量、模拟量，开关量及0或1，只有两种状态，测量量为实际的测量数值；乘系数是一个数值，某些工业设备中的数值不能为小数，所以以整数传输，传输后以系数的形式进行计算，得到实际的值；加系数是一个数值，某些设备中的数值存在一定的值域范围，不能超出这个值域范围，实际的值和设备中的数值存在一个固定加系数关系。
在一些实施例中，所述队列为先进先出的线程安全队列，所谓先进先出是先进入队列的测点数据先出队列，所谓线程安全是在多线程中使用时，对队列的入队出队进行加解锁控制，保证线程的安全。
作为一个变化例，在S106的数据存储过程中：先根据测点个数在数据库中创建数据表，数据表中包含时间字段和数值字段；再建立测点和数据字段的对应关系，在存储数据时，按照所述对应关系实现数值字段进行批量存储。
具体的，数据存储过程，首先根据测点个数在数据库中创建数据表，例如数据表中包含一个时间字段和100个数值字段（datetime和V00到V99），并建立测点和数据字段的对应关系，在存储数据时，按照对应关系实现一张表的101个字段批量存储，这里的101个字段指的是100个数值字段和1个时间字段。关系型数据可和非关系型数据库之间没有关系，关系型数据库需要按照特定数据表结构进行存储，非关系型数据库不需要按照特定的表结构。以上阐述的是使用关系型数据库进行存储，非关系型数据库采用标准的InfluxDB进行存储。
在步骤S108的数据发布支持多种发布规约，包括电力规约101、电力规约102、电力规约103、电力规约104、智深规约、RYQ3环境检测仪、华为逆变器、科华逆变器、海装风机等规约协议以及实时数据的取数。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种基于工业物联网设备的数据管理系统，其特征在于，包括：
数据采集模块，其用于通过多线程并发形式采集工业设备的工业大数据，并对所述工业大数据进行协议转换及封包上传；
数据解析模块，其用于接收封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩处理，并将处理后的所述工业大数据写入缓存池；
数据存储模块，其用于将放入缓存池的数据进行数据存储；及
数据发布模块，其用于将缓存池的数据按照规约协议进行数据发布。
2.根据权利要求1所述的一种基于工业物联网设备的数据管理系统，其特征在于：还包括数据监控模块，所述数据监控模块用于获取数据采集模块采集的所述工业大数据，通过阈值判断工业设备的状态；
所述数据监控模块还用于监控数据采集模块与工业设备之间的采集链路的网络通讯状态，并在异常时发出告警信息。
3.根据权利要求1所述的一种基于工业物联网设备的数据管理系统，其特征在于：所述数据采集模块通过数据采集接口的UDP网络传输协议，将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；所述数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据解析模块。
4.根据权利要求3所述的一种基于工业物联网设备的数据管理系统，其特征在于：所述数据解析模块还用于在数据解析完后，根据测点的乘系数和加系数进行数据处理，将解析后的数据转换成数据字典的形式编入队列。
5.根据权利要求4所述的一种基于工业物联网设备的数据管理系统，其特征在于：所述队列为先进先出的线程安全队列，并对队列的入队出队进行加解锁控制。
6.根据权利要求4所述的一种基于工业物联网设备的数据管理系统，其特征在于：数据存储模块在数据存储过程中：
先根据测点个数在数据库中创建数据表，数据表中包含时间字段和数值字段；
再建立测点和数据字段的对应关系，在存储数据时，按照所述对应关系将时间字段和数值字段进行批量存储。
7.一种基于工业物联网设备的数据管理方法，其特征在于，包括：
通过多线程并发形式采集工业设备的工业大数据，并对所述工业大数据进行协议转换及封包上传；
接收封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩处理，并将处理后的所述工业大数据写入缓存池；
将放入缓存池的数据进行数据存储；
将缓存池的数据按照规约协议进行数据发布。
8.根据权利要求7所述的一种基于工业物联网设备的数据管理方法，其特征在于：
获取数据采集模块采集的所述工业大数据，通过阈值判断工业设备的状态；
监控数据采集模块与工业设备之间的采集链路的网络通讯状态，并在异常时发出告警信息。
9.根据权利要求7所述的一种基于工业物联网设备的数据管理方法，其特征在于：
通过数据采集接口的UDP网络传输协议，将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；所述数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据解析模块。
10.根据权利要求7所述的一种基于工业物联网设备的数据管理方法，其特征在于：
在数据解析完后，根据测点的乘系数和加系数进行数据处理，将解析后的数据转换成数据字典的形式编入队列；
所述队列为先进先出的线程安全队列，并对队列的入队出队进行加解锁控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110123141.2A CN112953913A (zh) | 2021-01-29 | 2021-01-29 | 一种实现工业物联网智能设备数据快速接入、汇聚、存储和发布的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110123141.2A CN112953913A (zh) | 2021-01-29 | 2021-01-29 | 一种实现工业物联网智能设备数据快速接入、汇聚、存储和发布的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112953913A true CN112953913A (zh) | 2021-06-11 |
Family
ID=76239222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110123141.2A Pending CN112953913A (zh) | 2021-01-29 | 2021-01-29 | 一种实现工业物联网智能设备数据快速接入、汇聚、存储和发布的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112953913A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106257874A (zh) * | 2016-08-01 | 2016-12-28 | 上海海事大学 | 一种不稳定网络中大数据量远程采集方法与系统 |
| US20170102696A1 (en) * | 2013-03-04 | 2017-04-13 | Fisher-Rosemount Systems, Inc. | Distributed industrial performance monitoring and analytics |
| CN108566369A (zh) * | 2018-02-11 | 2018-09-21 | 中国神华能源股份有限公司 | 基于工业大数据的数据采集系统及方法 |
| CN109670227A (zh) * | 2018-12-10 | 2019-04-23 | 张辉 | 一种基于大数据的仿真数学模型参数对的估量方法 |
| CN111813782A (zh) * | 2020-07-14 | 2020-10-23 | 杭州海康威视数字技术股份有限公司 | 一种时序数据的存储方法、装置 |
| CN111966695A (zh) * | 2020-10-23 | 2020-11-20 | 山东鼎滏软件科技有限公司 | 一种用于油气田生产的时序数据库系统 |
| CN112163015A (zh) * | 2020-09-22 | 2021-01-01 | 南京信息职业技术学院 | 一种物联网时序数据实时监控方法、装置和系统 |
-
2021
- 2021-01-29 CN CN202110123141.2A patent/CN112953913A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170102696A1 (en) * | 2013-03-04 | 2017-04-13 | Fisher-Rosemount Systems, Inc. | Distributed industrial performance monitoring and analytics |
| CN106257874A (zh) * | 2016-08-01 | 2016-12-28 | 上海海事大学 | 一种不稳定网络中大数据量远程采集方法与系统 |
| CN108566369A (zh) * | 2018-02-11 | 2018-09-21 | 中国神华能源股份有限公司 | 基于工业大数据的数据采集系统及方法 |
| CN109670227A (zh) * | 2018-12-10 | 2019-04-23 | 张辉 | 一种基于大数据的仿真数学模型参数对的估量方法 |
| CN111813782A (zh) * | 2020-07-14 | 2020-10-23 | 杭州海康威视数字技术股份有限公司 | 一种时序数据的存储方法、装置 |
| CN112163015A (zh) * | 2020-09-22 | 2021-01-01 | 南京信息职业技术学院 | 一种物联网时序数据实时监控方法、装置和系统 |
| CN111966695A (zh) * | 2020-10-23 | 2020-11-20 | 山东鼎滏软件科技有限公司 | 一种用于油气田生产的时序数据库系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8744807B2 (en) | Scalable and extensible framework for storing and analyzing sensor data | |
| CN105427193B (zh) | 一种基于分布式时序数据服务的大数据分析装置及方法 | |
| CN105608144B (zh) | 一种基于多层模型迭代的大数据分析平台装置及方法 | |
| CN111464336B (zh) | 一种基于电力通信机房高并发数据处理方法及系统 | |
| CN111367241A (zh) | 一种企业综合能源管控系统及方法 | |
| CN109413141A (zh) | 一种电网主子站间的访问方法与系统 | |
| KR101813066B1 (ko) | Dnp3.0과 iec 61850을 수용하기 위한 스카다 게이트웨이 장치 및 그의 프로토콜 변환방법 | |
| US20150213035A1 (en) | Search Engine System and Method for a Utility Interface Platform | |
| CN112615742A (zh) | 用于预警的方法、装置、设备以及存储介质 | |
| CN108540304B (zh) | 基于工业大数据的远程采集监视系统及方法 | |
| CN115391444A (zh) | 一种异构数据采集与交互方法、装置、设备及存储介质 | |
| CN113766026B (zh) | 一种应用于能源工业网的数据处理方法及系统 | |
| CN115344207A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN112953913A (zh) | 一种实现工业物联网智能设备数据快速接入、汇聚、存储和发布的方法 | |
| CN112988876B (zh) | 一种工业数据采集管理方法及系统 | |
| CN103778501A (zh) | 电力调度自动化系统事故反演系统及事故反演方法 | |
| CN110535972B (zh) | 一种平台化的燃气检测设备集中管控及通信系统，设备及可读存储介质 | |
| WO2020037634A1 (zh) | 一种工控设备网络的信息监控系统、方法、计算机可读存储介质及计算机设备 | |
| CN108595120A (zh) | 一种scada准实时数据存储方法及系统 | |
| CN109149637A (zh) | 开放式监测管理并网系统及其监测管理方法 | |
| CN111107161A (zh) | 一种数据采集方法及装置 | |
| CN207992800U (zh) | 一种危化品生产设备远程监控系统 | |
| CN111245632A (zh) | 一种基于云分析的安全日志存储与管理系统 | |
| CN112710915B (zh) | 监控电力设备的方法、装置、电子设备和计算机存储介质 | |
| Cao et al. | Cloud-based Approach for Prevention Maintenance Management Platform of Printing Press equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210611 |