CN113672455A - 工业物联网的数据采集分析方法 - Google Patents

工业物联网的数据采集分析方法 Download PDF

Info

Publication number
CN113672455A
CN113672455A CN202110884640.3A CN202110884640A CN113672455A CN 113672455 A CN113672455 A CN 113672455A CN 202110884640 A CN202110884640 A CN 202110884640A CN 113672455 A CN113672455 A CN 113672455A
Authority
CN
China
Prior art keywords
data
agent
acquisition
central server
things
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110884640.3A
Other languages
English (en)
Inventor
陈锡军
潘韵天
李沁涛
冀鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Guan'anjian Information Technology Co ltd
Original Assignee
Suzhou Guan'anjian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Guan'anjian Information Technology Co ltd filed Critical Suzhou Guan'anjian Information Technology Co ltd
Priority to CN202110884640.3A priority Critical patent/CN113672455A/zh
Publication of CN113672455A publication Critical patent/CN113672455A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种工业物联网的数据采集分析方法，包括以下步骤：由代理端通过网络向中心服务端发送心跳数据包；中心服务端收到心跳数据包后根据数据库的配置要求，将代理端采集参数生成配置数据字符串应答发送至代理端；代理端收到代理端采集参数后启动数据采集，由多个与代理端处于同一子网络的数据源设备获取原始数据，代理端将获取的原始数据规格化模块形成统一的数据格式并发送至中心服务端；中心服务端收到统一的数据格式的数据后启动处理线程模块，对收到的数据进行解析、过滤并转存至数据库中；数据库通过接口方式向第三方系统提供数据。本发明解决终端的数据源信息孤岛、数据采集存储问题，以接口的方式提供给第三方系统进行数据调用。

Description

工业物联网的数据采集分析方法
技术领域
本发明涉及一种数据采集分析系统，特别是涉及一种工业物联网的数据采集分析方法。
背景技术
随着新一轮的科技革命和产业变革的蓬勃兴起，工业正加速向数字化、网络化、智能化方向延伸拓展，软件、数据、平台、服务、智能等多元主导的特征日趋明显。而在工业物联网中，各种原始数据的获取终端通常具有自己的数据格式，因此应用系统难以通过一个标准从各终端获取需要的数据，必须整合各种协议以便达到对各类设备兼容，获取相应数据实现系统功能的目的。如此使得应用系统臃肿庞大不利于使用，或者只能放弃部分终端形成信息孤岛。
发明内容
针对上述现有技术的缺陷，本发明提供了一种工业物联网的数据采集分析方法，解决采集端数据源格式不统一、数据需要集中上传到服务器的时候需要针对每种格式或者协议进行传输的问题，以及解决应用系统无法直接读取和利用原始数据的问题。
本发明技术方案如下：一种工业物联网的数据采集分析方法，包括以下步骤：由代理端通过网络向中心服务端发送心跳数据包；所述中心服务端收到所述心跳数据包后根据数据库的配置要求，将代理端采集参数生成配置数据字符串应答发送至代理端；所述代理端收到代理端采集参数后启动数据采集，由多个与所述代理端处于同一子网络的数据源设备获取原始数据，所述代理端将获取的原始数据导入规格化模块形成统一的数据格式并发送至所述中心服务端；所述中心服务端收到所述统一的数据格式的数据后启动处理线程模块，对收到的数据进行解析、过滤并转存至数据库中；所述数据库通过接口方式向第三方系统提供数据。
进一步地，所述代理端通过网络向中心服务端发送心跳数据包是按照设定时间间隔通过标准TCP/IP socket方式发送，所述中心服务端将代理端采集参数生成配置数据字符串应答发送至代理端是通过TCP/IP socket方式发送。
进一步地，所述中心服务端收到所述心跳数据包后通过对应的所述代理端的注册ID号判断所述代理端是否注册，如果所述代理端未注册则所述中心服务端强制关闭网络socket连接。
进一步地，所述代理端启动数据采集是启动多个实例以TCP Server模式监听端口被动接收原始数据或者通过TCP Client模式启动采集线程主动抓取原始数据。
进一步地，所述代理端将统一数据格式后的数据发送至所述中心服务端是通过启动发送模块接收多个规格化模块推送的统一数据格式后的数据然后通过标准TCP/IPsocket方式发送至所述中心服务端。
进一步地，所述代理端采集参数包括采集量、采集频率、采集方式、上传间隔和心跳间隔。
进一步地，所述处理线程模块首先对收到的数据进行完整性甄别并抛弃不完整的数据，然后对数据切割收取每个参数名和值并根据预置单位转换成统一的数值，再对每个参数的值进行合理性判断抛弃异常数据，剩余的正常数据的一个参数为一条记录颗粒度，通过CURL接口存储到所述数据库。
进一步地，所述统一的数据格式是WITS。
进一步地，所述代理端通过网络向中心服务端发送心跳数据包包括代理端软件版本，所述中心服务端收到所述心跳数据包后比对所述心跳数据包的代理端软件版本与本地最新软件版本，如果本地最新软件版本较高，则在所述中心服务端应答所述代理端时同时将较新的代理端软件推送至代理端。
本发明所提供的技术方案的优点在于：
本发明利用工业互联网、大数据技术，由代理端集中近距离统一获取数据源的原始数据，打破信息孤岛，通过标准协议将数据汇总到中心服务端进行大数据流式处理，实现数据的集中化管理。通过工业物联网网关实现大范围、深层次的数据采集，以及异构数据的协议转换与边缘处理，构建工业云平台的数据基础，完成从物联数据的采集、处理、存储、分析、应用等，对应用提供可视化实现对海量数据进行能耗统计分析、运维检修、设备监控管理、智能决策优化等多方面的业务功能支持。
附图说明
图1为工业物联网的数据采集分析方法的系统流程示意图。
具体实施方式
下面结合实施例对本发明作进一步说明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本说明之后，本领域技术人员对本说明的各种等同形式的修改均落于本申请所附权利要求所限定的范围内。
请结合图1所示，本实施例的工业物联网的数据采集分析方法对应系统包括代理端和中心服务端。
代理端部署于多个数据源处于同一子网络，采用软件埋点的方式部署于计算机中，以系统服务的方式运行。代理端每隔60秒通过标准TCP/IP socket方式向中心服务端发送心跳数据包，该心跳数据包内容包含代理端软件版本、配置版本、代理端注册ID号等；中心服务端接收到代理端的心跳数据包后，执行2个操作：1)首先将代理端是否在线标志更新数据库，让应用界面可以实时显示代理端是否在线状态；2)根据数据库中的配置要求，将控制代理端采集参数(参数包括采集频率、上传间隔时间等)生成配置数据字符串，通过TCP/IP socket应答发送到代理端。
当代理端接收到服务端的采集任务后启动采集模块，采集模块同时启动多个实例根据代理端采集参数启动TCP Server或者TCP Client模式直接采集数据源的原始数据。其中TCP Server模式通过监听端口模式，被动接收来自数据源设备发送的原始数据，监听模式实现同时获取多个数据源连接需要，可同时连接多个数据源设备；TCPClient模式通过启动采集线程的方式，主动感知数据源设备，向数据源设备抓取数据源。
每个采集模块在采集到原始数据后，都启动一个对原始数据进行统一化处理的规格化模块，规格化模块根据预置算法引擎对原始数据进行解析，最终形成统一的数据格式WITS。WITS是一种多级格式，它提供一个容易实现的具有灵活性不断增加的较高级别的进入点。在低级别时，使用一种固定格式的数据流；而在高级别时，可应用一种自定义的定制的数据流。WITS数据流由不连续的数据记录组成。每个数据记录的产生都是独立于其它数据类型，并且每个数据记录都有唯一的触发变量和采样间距。通常，终端动作决定了在其一给定时间内使用哪个记录，以便只有合适的数据被传输。WITS还包括远程计算机系统向发送系统发送指令的方式，以便设置或改变某些参数，其中包括传输的数据类型和传输间距。WITS使用一个简单的带数据项的ASCII码格式，数据项是由其所在预定义数据记录内的位置标记的。这种特殊方法的目的主要在于用联机(“实时”)方式，而不是批量方式传输数据，但是它可以适用于相当简单的批传输方法，传输双方必须就通信参数、传输频率均达成一致意见。一般情况下，接收方希望数据在预先定义的记录中一定的形式表示出来(一般是平均值)。然而如果双方预先达成了一致意见，传输的数据可以基本上是原始的，然后再由接收方自行处理。零级传输会话由一组数据集组成，数据集表示一组相关的数据项。例如，来自相同时间间距的几个泥浆罐体积数据项。一个数据集可以仅由一项组成，也可以包括很多项。事实上，连续的数据集可以包含不同的项目号。以下是WITS与ISO/OSI模型的关系：
Figure BDA0003193570890000031
Figure BDA0003193570890000041
在一个具体实施例中，代理端解析引擎实现了JT808(北斗)协议，将JT808原始十六进制数据源按照协议切割出每个参数(如经度、方向等)，将每个参数按照WITS格式重新生成统一数据样式。规格化模块线程完成解析操作后，WITS格式数据被推送到发送模块；发送模块是一个软件线程，可以同时接收多个规格化模块推送的WITS格式数据；发送模块对多个WITS格式数据进行组合，通过标准TCP/IP socket方式发送到中心服务端。
代理端除了完成数据接收、转存之外，还可以自动升级代理端软件，即通过每次心跳数据包向中心服务端汇发送代理端软件版本，当服务端有新的代理端软件版本的时候，通过socket推送软件二进制文件内容的方式发送到代理端本地，代理端通过自身升级模块自动替换软件二进制文件，并实现软件自动重启，完成软件升级；通过软件升级可以实现无需重新安装代理端软件实现扩展代理端采集数据源种类，修复BUG等功能。另外中心服务端对代理端完成安全管理，即代理端需要在部署的时候向中心服务端进行注册(注册时候需要输入注册密码)，只有注册成功的终端客户端才允许发送数据，中心服务端每次接收心跳数据包后都会检查代理端是否注册过，没有注册的代理端发送的数据会被中心服务端抛弃，并强制关闭连接socket。
中心服务端实现对接收、解析、过滤、转存功能，实现对代理端软件升级管理、心跳状态管理、任务下发设置代理端数据采集量管理。中心服务端通过心跳数据包将代理端采集的参数，包括采集量、采集频率、采集方式(TCPServer或者TCPClient)、上传间隔、心跳间隔等推送到发送至代理端；并通过每次心跳数据包中代理端注册ID号来判断代理端是否合法，非法连接服务端直接强制关闭网络socket连接，实现安全管理。
中心服务端采用TCPServer模式，监听指定端口，当接收到来自代理端发送的WITS数据时，启动一个处理线程模块，负责处理数据的解析、过滤、转存功能。处理线程模块首先对数据进行完整性甄别，根据WITS协议要求检查数据是否在网络传输过程中有损坏。比如WITS要求以&&\r\n开始，！！结束字符串为完整一组，每个参数都用\r\n字符串隔开，如果发现数据开始和结束符不是成对出现，或者参数不是以\r\n字符串隔开，不完整的数据被直接抛弃。完整的数据由解析模块按照&&\r\n开始，！！结束字符串为一组进行切割，对每组中每个参数切割成参数项，按照参数项key+value的排列抽取每个参数名和值，并根据预置单位转换成统一的数值。过滤模块按照每个参数的合理性进行判断(例如温度参数值如果抽取值为大于200这种超出量程的情况等)，抛弃异常数据。正常数据的一个参数为一条记录颗粒度，通过CURL接口存储到NoSQL数据库中。
中心服务端对代理端软件二进制管理，当开发人员开发完成代理端新软件后，中心服务端把每次代理端心跳数据包中的软件版本和本地最新软件版本进行比对，如果中心服务端本地的代理端软件版本高于心跳数据包中的软件版本，在应答心跳数据包的时候同时将二进制软件推送到代理端，完成代理端在本地的软件升级。
数据库采集数据信息采用influxDB(Time Series Database，时序数据库)和MySQL(关系型数据库)双数据库的模式。InfluxDB负责存储终端原始数据，为其他应用提供分析、实时展示功能：当influxDB数据库异常时候，MySQL临时存储WITS数据，并在influxDB数据库恢复后传递到influxDB。

Claims (9)

1.一种工业物联网的数据采集分析方法，其特征在于，包括以下步骤：由代理端通过网络向中心服务端发送心跳数据包；所述中心服务端收到所述心跳数据包后根据数据库的配置要求，将代理端采集参数生成配置数据字符串应答发送至代理端；所述代理端收到代理端采集参数后启动数据采集，由多个与所述代理端处于同一子网络的数据源设备获取原始数据，所述代理端将获取的原始数据导入规格化模块形成统一的数据格式并发送至所述中心服务端；所述中心服务端收到所述统一的数据格式的数据后启动处理线程模块，对收到的数据进行解析、过滤并转存至数据库中；所述数据库通过接口方式向第三方系统提供数据。
2.根据权利要求1所述的工业物联网的数据采集分析方法，其特征在于，所述代理端通过网络向中心服务端发送心跳数据包是按照设定时间间隔通过标准TCP/IP socket方式发送，所述中心服务端将代理端采集参数生成配置数据字符串应答发送至代理端是通过TCP/IP socket方式发送。
3.根据权利要求2所述的工业物联网的数据采集分析方法，其特征在于，所述中心服务端收到所述心跳数据包后通过对应的所述代理端的注册ID号判断所述代理端是否注册，如果所述代理端未注册则所述中心服务端强制关闭网络socket连接。
4.根据权利要求1所述的工业物联网的数据采集分析方法，其特征在于，所述代理端启动数据采集是启动多个实例以TCP Server模式监听端口被动接收原始数据或者通过TCPClient模式启动采集线程主动抓取原始数据。
5.根据权利要求1所述的工业物联网的数据采集分析方法，其特征在于，所述代理端将统一数据格式后的数据发送至所述中心服务端是通过启动发送模块接收多个规格化模块推送的统一数据格式后的数据然后通过标准TCP/IP socket方式发送至所述中心服务端。
6.根据权利要求1所述的工业物联网的数据采集分析方法，其特征在于，所述代理端采集参数包括采集量、采集频率、采集方式、上传间隔和心跳间隔。
7.根据权利要求1所述的工业物联网的数据采集分析方法，其特征在于，所述处理线程模块首先对收到的数据进行完整性甄别并抛弃不完整的数据，然后对数据切割收取每个参数名和值并根据预置单位转换成统一的数值，再对每个参数的值进行合理性判断抛弃异常数据，剩余的正常数据的一个参数为一条记录颗粒度，通过CURL接口存储到所述数据库。
8.根据权利要求7所述的工业物联网的数据采集分析方法，其特征在于，所述统一的数据格式是WITS。
9.根据权利要求1所述的工业物联网的数据采集分析方法，其特征在于，所述代理端通过网络向中心服务端发送心跳数据包包括代理端软件版本，所述中心服务端收到所述心跳数据包后比对所述心跳数据包的代理端软件版本与本地最新软件版本，如果本地最新软件版本较高，则在所述中心服务端应答所述代理端时同时将较新的代理端软件推送至代理端。
CN202110884640.3A 2021-08-03 2021-08-03 工业物联网的数据采集分析方法 Pending CN113672455A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110884640.3A CN113672455A (zh) 2021-08-03 2021-08-03 工业物联网的数据采集分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110884640.3A CN113672455A (zh) 2021-08-03 2021-08-03 工业物联网的数据采集分析方法

Publications (1)

Publication Number Publication Date
CN113672455A true CN113672455A (zh) 2021-11-19

Family

ID=78541374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110884640.3A Pending CN113672455A (zh) 2021-08-03 2021-08-03 工业物联网的数据采集分析方法

Country Status (1)

Country Link
CN (1) CN113672455A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697293A (zh) * 2022-03-30 2022-07-01 西安北方华创微电子装备有限公司 一种数据传输方法、下位机和控制器
CN114710237A (zh) * 2022-03-25 2022-07-05 湖南鼎一致远科技发展有限公司 通讯接口的数据处理方法、装置、电子设备及存储介质
CN115277756A (zh) * 2022-07-10 2022-11-01 江西泉新电气有限公司 一种用于物联网终端设备的数据高效采集传输方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752396A (zh) * 2012-07-17 2012-10-24 上海成业科技工程有限公司 嵌入式传感服务器及其数据控制方法
CN110413673A (zh) * 2019-07-08 2019-11-05 中国人民银行清算总中心 数据库数据统一采集与分发方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752396A (zh) * 2012-07-17 2012-10-24 上海成业科技工程有限公司 嵌入式传感服务器及其数据控制方法
CN110413673A (zh) * 2019-07-08 2019-11-05 中国人民银行清算总中心 数据库数据统一采集与分发方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710237A (zh) * 2022-03-25 2022-07-05 湖南鼎一致远科技发展有限公司 通讯接口的数据处理方法、装置、电子设备及存储介质
CN114710237B (zh) * 2022-03-25 2024-01-26 湖南鼎一致远科技发展有限公司 通讯接口的数据处理方法、装置、电子设备及存储介质
CN114697293A (zh) * 2022-03-30 2022-07-01 西安北方华创微电子装备有限公司 一种数据传输方法、下位机和控制器
CN114697293B (zh) * 2022-03-30 2023-11-10 西安北方华创微电子装备有限公司 一种数据传输方法、下位机和控制器
CN115277756A (zh) * 2022-07-10 2022-11-01 江西泉新电气有限公司 一种用于物联网终端设备的数据高效采集传输方法
CN115277756B (zh) * 2022-07-10 2024-04-05 江西泉新电气有限公司 一种用于物联网终端设备的数据高效采集传输方法

Similar Documents

Publication Publication Date Title
CN113672455A (zh) 工业物联网的数据采集分析方法
CN103546343A (zh) 网络流量分析系统的网络流量展示方法和系统
CN109995643B (zh) 业务邮件推送方法及装置
CN107659453A (zh) 通过zabbix监控大量TCP服务端口的方法
CN108833148A (zh) 通信网络告警信息处理方法和系统
CN110932918B (zh) 日志数据采集方法、装置及存储介质
CN113381876B (zh) 基于智能网关的总线日志采集方法及智能网关
CN113992646B (zh) 一种物联网设备协议整合方法和系统
CN111405501A (zh) 视频彩铃业务异常检测方法、装置、电子设备和存储介质
CN111741007B (zh) 一种基于网络层报文解析的金融业务实时监控系统及方法
CN113965904A (zh) 设备注册方法、装置和存储介质
CN110417875B (zh) 一种云服务器之间的对接方法、系统、设备及存储介质
US6799211B1 (en) Management of multiple non-standard networks and systems with smart agents
CN107302529A (zh) 基于场景感知的数据库安全审计系统及方法
CN111884938A (zh) 路由器信息采集方法及装置
CN109040286B (zh) 一种基于内存数据库的客户端在线状态维护方法
CN110635951A (zh) 电力安全监测范式化通讯方法、安全监测装置及主站管理平台
CN114138771B (zh) 异常数据的处理方法、装置及电子设备
CN104125440B (zh) 云计算的屏幕监控系统及监控方法
CN109782631B (zh) 一种基于特征值比对的智能家居设备识别方法
CN111209171A (zh) 安全风险的闭环处置方法、装置及存储介质
CN111526087B (zh) 一种基于物联网平台对各式网关的自动接入方法
CN110278219B (zh) 过程性的物联网设备模拟工具和模拟方法
CN113949626A (zh) 一种配置方法、终端、服务端、配置系统
CN114882609A (zh) 一种基于蓝牙通信和云通信的实时飞检系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination