CN108769121B - 智能工业装备物联网数据采集系统及采集数据的上传方法 - Google Patents
智能工业装备物联网数据采集系统及采集数据的上传方法 Download PDFInfo
- Publication number
- CN108769121B CN108769121B CN201810375666.3A CN201810375666A CN108769121B CN 108769121 B CN108769121 B CN 108769121B CN 201810375666 A CN201810375666 A CN 201810375666A CN 108769121 B CN108769121 B CN 108769121B
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- processing
- rule
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer And Data Communications (AREA)
Abstract
智能工业装备物联网数据采集系统及采集数据的上传方法,数据采集系统包括与智能工业装备连接的数据采集设备以及与数据采集设备连接的云服务器;所述云服务器包括消息接收模块、消息分发模块、由多个消息处理模块组成的消息处理模块集群、异步消息处理模块、数据模型处理建立模块和数据库;所述消息分发模块从数据模型处理建立模块获取消息分发规则以及依据消息分发规则将装备数据分配给消息处理模块集群的消息处理模块。
Description
技术领域
本发明涉及物联网技术领域,具体涉及智能工业装备物联网数据采集系统及物联网采集数据的上传方法。
背景技术
物联网技术日趋成熟,不仅实现了大型智能工业装备联网,而且民用产品智能化联网也越来越多,例如:智能家居、可穿戴设备都有联网至云服务器的需求。当前以装备提供商提供的装备联网为主,技术上主要涉及单体装备的数据收集和数据上传云服务器,较少涉及在数据收集过程中性能优化、安全和并发量,特别是缺乏解决对设备实时数据要求高、数据信息量大,例如:超过百万、千万设备同时联网的解决方法。
发明内容
本发明的目的在于客服现有技术的缺陷,提供一种物联网采集数据的上传方法,显著提高了数据质量、上传效率和存储效率。
为实现上述目的,本发明采用了如下技术方案:
一种智能工业装备物联网数据采集系统,包括与智能工业装备连接的数据采集设备以及与数据采集设备连接的云服务器;所述云服务器包括消息接收模块、消息分发模块、由多个消息处理模块组成的消息处理模块集群、异步消息处理模块、数据模型处理建立模块和数据库;所述消息接收模块与数据采集设备相连,用于接收由数据采集设备采集的装备数据,并将装备数据传输给消息分发模块;所述消息分发模块与消息接收模块、数据模型处理建立模块、消息处理模块集群相连,用于从消息接收模块获取装备数据、从数据模型处理建立模块获取消息分发规则以及依据消息分发规则将装备数据分配给消息处理模块集群的消息处理模块;所述消息处理模块集群包括多个消息处理模块,消息处理模块集群采用分布式结构,消息处理模块用于从消息分发模块获取装备数据,进行处理并缓存;所述异步消息处理模块,与消息处理模块集群和数据库相连,用于从消息处理模块集群获取装备数据,对装备数据进行处理并传输给数据库进行存储。
优选的,所述异步消息处理模块还与数据模型处理建立模块相连,从数据模型处理建立模块获取异步消息处理规则,并依据异步消息处理规则对装备数据进行处理并存储到数据库。
优选的,所述数据采集设备采集智能工业设备的装备数据,得到原始的装备数据;所述的数据采集设备包括数据处理模块,数据处理模块从数据模型处理建立模块获取数据处理规则并按数据处理规则对装备数据进行处理,数据采集设备将处理后的装备数据传输给消息接收模块。
优选的,数据处理模块通过要处理的智能工业装备的设备类型查找获取设备类型对应的默认的数据处理规则的规则ID,再从数据模型处理建立模块获取对应的数据处理规则。
优选的,数据处理模块首先通过要处理的智能工业装备的设备ID获取对应的数据处理规则的规则ID,然后通过规则ID从数据模型处理建立模块获取对应的数据处理规则;如果通过设备ID未获取到任何的数据处理规则的规则ID,则再通过要处理的智能工业装备的设备类型查找获取设备类型对应的默认的数据处理规则的规则ID,从数据模型处理建立模块获取对应的数据处理规则。
优选的,所述数据模型处理建立模块管理数据处理规则的集合,所述数据处理规则包括规则ID和规则处理过程,所述规则处理过程与一个存储过程对应;消息分发模块基于消息分发的规则ID从数据模型处理建立模块获取对应的规则处理过程作为消息分发规则,作为消息分发规则的执行规则处理过程对应的存储过程,将装备数据分配给消息处理模块集群的消息处理模块;异步消息处理模块与数据模型处理建立模块相连,基于异步消除处理的规则ID从数据模型处理建立模块获取对应的规则处理过程作为异步消息处理规则,执行异步消息处理规则对应的存储过程。
优选的,消息分发模块和异步消息处理模块分别通过默认设好的对应的规则ID来获取对应的数据处理规则。
本发明还提供一种物联网采集数据的上传方法,其包括以下步骤:
(1)数据采集设备获取智能工业装备运行过程中的装备数据并将装备数据传输给云服务器;
(2)云服务器根据消息分发规则将获取的装备数据分发到多个消息处理模块构成的消息处理模块集群;
(3)消息处理模块集群的消息处理模块对收到的装备数据进行处理和缓存;
(4)异步消息处理模块分批次的从消息处理应用服务器集群获取装备数据,并依据获取的异步消息处理规则对获取的装备数据进行处理,然后将处理后的装备数据传输给数据库应用服务器进行存储。
进一步,所述异步消息处理规则为异步消息处理模块每次从消息处理模块集群的各消息处理模块各获取M条装备数据,并将获取的装备数据从各消息处理应用服务器中删除,M≥1,然后将各消息处理应用服务器的M条装备数据分别进行分类,并将同一类的装备数据整合,然后再存入数据库。
进一步,步骤(2)中,消息分发规则为依据装备数据的数据类型和/或区域以及可用的消息处理模块将装备数据分配到消息处理模块集群的消息处理模块。
进一步,所述步骤(1)包括以下步骤:
(11)所述数据采集设备获取智能工业装备运行过程中的装备数据;
(12)所述数据采集设备从云服务器获取数据处理规则,并依据数据处理规则对装备数据进行处理,然后将处理后的装备数据传输给消息接收分发应用服务器。
进一步,所述数据处理规则包括对采集的装备数据进行有效判定,若采集的装备数据不在设定范围内则舍弃;所述数据采集设备对采集的装备数据进行滤波处理以减少存储的数据,所述的滤波处理包括算术平均滤波和或递推平均滤波和或中位置滤波和或合并重复数据。
进一步,所述消息分发规则和异步消息处理规则均从云服务器的数据模型处理建立模块动态获得,所述数据处理规则包括规则ID和规则处理过程,所述规则处理过程与一个存储过程对应;消息分发模块基于消息分发的规则ID从数据模型处理建立模块获取对应的规则处理过程作为消息分发规则,作为消息分发规则的执行规则处理过程对应的存储过程,将装备数据分配给消息处理模块集群的消息处理模块;异步消息处理模块与数据模型处理建立模块相连,基于异步消除处理的规则ID从数据模型处理建立模块获取对应的规则处理过程作为异步消息处理规则,执行异步消息处理规则对应的存储过程。
本发明的物联网采集数据的上传方法,通过消息分发应用服务器依据消息分发规则智能的将装备数据分配给消息处理应用服务器,有利于提高装备数据的处理效率。此外,通过异步消息处理应用服务器依据异步消息处理规则异步的分批次的处理装备数据并输送给数据库应用服务器保存,避免了消息处理应用服务器集群同时将大量数据输送给数据库应用服务器,起到了缓冲效果,保证了数据的安全,提高了数据存储的效率;本发明的物联网采集数据的上传系统,优化了数据处理方法和数据存储方法,提高了数据处理效率和存储效率。
附图说明
图1是本发明智能工业装备组件式组建的物联网系统的结构示意图;
图2是本发明智能工业装备组件式组建的物联网系统的第一实施例的结构示意图;
图3是本发明智能工业装备组件式组建的物联网系统的工作流程示意图;
图4是本发明智能工业装备组件式组建的物联网系统的第二实施例的结构示意图;
图5是本发明智能工业网关的结构示意图;
图6是本发明智能工业网关的工作流程示意图;
图7是本发明手机对智能工业网关进行设置的工作流程示意图;
图8是本发明的智能工业装备组件式组建的物联网系统的第三实施例的结构示意图;
图9是本发明的数据处理模块的工作流程示意图;
图10是本发明消息分发模块的工作流程示意图;
图11是本发明异步消息处理模块的工作流程示意图;
图12是本发明数据模型处理建立模块的优化流程示意图;
图13是本发明智能工业装备组件式组建的物联网系统的第四实施例的工作流程示意图;
图14是本发明异步消息处理模块对装备数据进行处理的流程示意图;
图15是本发明智能工业网关一实施例的结构示意图;
图16是图15的实施例的RS485接口电路图;
图17是图15的实施例的以太网接口电路图;
图18是图15的实施例的蓝牙接口电路图;
图19是图15的实施例的RS232接口电路图。
具体实施方式
以下结合附图给出的实施例,进一步说明本发明的智能工业装备物联网数据采集系统的具体实施方式。本发明的智能工业装备物联网数据采集系统不限于以下实施例的描述。
如图1所示,本发明的智能工业装备组件式组件的物联网系统,包括与智能工业装备连接的数据采集器,以及与数据采集器相连的云服务器;所述数据采集器包括控制MCU、与智能工业装备连接的第一接口、与云服务器连接的第二接口和存储单元,控制MCU与第一接口、第二接口和存储单元连接。
当新的智能工业装备接入时,所述数据采集器从云服务器获取所有未接入的智能工业装备的基础数据,基础数据包括未接入的智能工业装备的装备ID和通讯协议;所述数据采集器遍历云服务器获取的未接入的智能工业装备的基础数据,依次通过未接入的智能工业装备的通讯协议向新接入的智能工业装备发送采集命令,直至收到新接入的智能工业装备的连接成功应答,所述采集命令包括未接入的智能工业装备的装备ID;所述数据采集器收到新接入的智能工业装备的连接成功应答后向云服务器发送连接注册成功的请求,云服务器将新接入的智能工业装备的状态调整为已接入,实现智能工业装备的连接注册。若遍历从云服务器获取的所有未接入的智能工业装备均未获得连接成功应答,则表示新接入的智能工业装备无法建立连接,无法进行通信。需要说明的是,所述数据采集器从云服务器获取所有未接入的智能工业装备的基础数据的时机,可以是在新的智能工业装备接入前获取缓存,也可以是在新的智能工业装备接入时再获取更新。
新接入的智能工业装备收到采集命令并基于其通讯协议进行解析,解析得到的采集命令中的装备ID与自身的装备ID相同,则新接入的智能工业装备与数据采集器能建立连接并通信,其向数据采集器发送连接成功应答,表示连接成功。若新接入的智能工业装备基于其通讯协议解析采集命令不成功,或者采集命令中的装备ID与自身的装备ID不同,则无法建立连接,无法进行通信。
本发明的智能工业装备组件式组件的物联网系统,实现了不同接口、品牌、协议的智能工业装备组件式的接入统一的数据采集器,解决了同一标准的问题,实现了智能工业装备的组件化设计,便于智能工业装备的灵活部署,通过云计算的方式,自动判别智能工业装备的接口、品牌、协议,建立数据读写连接,实现了智能工业装备与数据采集器的自适应适配。
图2为本发明的智能工业装备组件式组件的物联网系统的第一实施例。
本发明的智能工业装备组件式组建的物联网系统,包括与智能工业装备连接的数据采集器,以及与数据采集器相连的云服务器。
所述数据采集器包括控制MCU、与智能工业装备连接的第一接口、与服务器连接的第二接口和存储单元,第一接口为可插拔的物联网接入组件模块,第二接口为可插拔的网络组件接入组件模块,控制MCU分别与物联网接入组件模块、网络接入组件模块和存储单元连接。
所述物联网接入组件模块为可插拔的通用接口,物联网接入组件模块支持多种工业现场总线技术,包括RS485、RS232、RS422、ModBus、ProfiBus、CAN、TCP/IP和Ethernet/IP,支持与不同接口的智能工业装备通信,进一步采用可插拔的方式可根据智能工业装备的接口进行更换,满足应用需求的同时进一步降低成本。
所述网络接入组件模块支持多种网络接入技术,包括Ethernet、GPRS、WiFi和NBIOT,提供远程访问云服务器的网络能力,实现装备数据上传与服务器,采用可插拔的方式根据需要提供不同的网路接入方式。
所述控制MCU与物联网接入组件模块、网络接入组件模块和存储单元连接,根据相应的通讯协议进行通讯和转换,接收云服务器的命令转换协议后传送给智能工业装备,接收智能工业装备的数据,转换协议后传送给云服务器。
所述存储单元为Flash存储,控制MCU和Flash存储依据计算能力和存储的要求进行选择,控制MCU可向Flash存储中存入数据和从Flash存储中读取数据。优选的,存储单元可以用于缓存数据采集器采集的装备数据。
进一步的,所述数据采集器还设有云数据收集模块,为内置于数据采集器的软件,存储在存储单元内,封装了数据采集器与云服务器之间交互的通讯协议,具有协议转换和数据传输的功能。优选的,云数据收集模块具有数据采集器与云服务器之间的设备注册、参数设置以及数据传输等功能,数据采集器与云服务器之间的交互均通过云数据收集模块进行。云数据收集模块实现的方法通过控制MCU执行,执行本发明的智能工业装备组件式组建的方法和数据采集方法。
所述数据采集器与云服务器连接后,数据采集器通过云数据收集模块向云服务器发送设备注册命令(包括数据采集器的ID和相关信息),将数据采集器在云服务器上激活,然后数据采集器会获取装备采集参数,以读取智能工业装备的装备数据。
所述数据采集器通过云服务器获取已接入的智能工业装备的基础数据以及装备采集参数,已接入的智能工业装备的基础数据包括智能工业装备的装备ID、通讯协议和装备访问地址;数据采集器基于获取的装备采集参数转换成智能工业装备对应的通讯协议后向该智能工业装备发送采集命令,智能工业装备将装备数据通过通信协议的返回格式应答返回给数据采集器,数据采集器将接收的装备数据发送给云服务器进行存储。所述数据采集器通过云服务器获取智能工业装备的装备采集参数包括装备ID、采集区域地址、数据起始地址和数据长度,进一步还可以包括通讯协议、采集频率和上传数据频率。装备采集参数根据采集频率定期根据通讯协议向智能工业装备发送采集命令,采集智能工业装备上对应数据起始地址和数据长度的装备数据,数据采集器将接收的装备数据缓冲到存储单元;根据上传数据频率定期将缓冲的装备数据打包封装到云服务器对应的网络协议,发送给云服务器。
表一为数据采集器从云服务器获取的装备采集参数的一个示例的数据结构,参数设置的内容包括设备ID、通讯协议、采集频率、上传数据频率、采集区域地址、数据起始地址和数据长度具体如下:
表一:
数据名 | 数据类型 | 备注 |
Devid | ulnt16 | 设备ID |
Protocol | uchar | 通讯协议 |
CollectFreq | ulnt16 | 采集频率 |
UploadFreq | ulnt16 | 上传数据频率 |
AreaCode | uChar | 采集区域地址 |
StartAddr | ulnt16 | 数据起始地址 |
DataLen | ulnt16 | 数据长度 |
所述云服务器用于实现数据采集以及数据采集过程中对所需的装备类型、通讯协议、取数方法和数据格式进行参数化管理,其包括装备注册服务模块、装备管理服务模块、数据采集服务模块以及其它扩展服务模块;所述装备注册服务模块、装备管理服务模块和数据采集服务模块为软件实现的模块,上述模块实现的方法存储在云服务器的存储介质上,通过云服务器的处理器或虚拟处理器执行。
所述装备注册服务模块,用于注册需要组网的智能工业装备,由用户或者其它平台通过装备注册服务模块添加需要组网的智能工业装备,添加的信息包括设备ID、通讯协议、接口类型等信息。
所述装备管理服务模块,与数据采集器的云数据收集模块通讯,数据采集器通过装备管理服务模块获取未接入的智能工业装备的基础数据,以及已接入的智能工业装备的基础数据。装备管理服务模块用于记录支持的通讯协议、传输方式、传输格式和数据包格式的不同装备类型,记录的内容主要包含:装备提供商、采用的芯片、采用的通讯协议和数据包的解析规则;
所述数据采集参数服务模块,用于记录智能工业装备需要采集的装备采集参数。数据采集器从数据采集参数服务模块获取智能工业装备的装备采集参数,装备采集参数包括设备ID、通讯协议、采集频率、上传数据频率、采集区域地址、数据起始地址和数据长度;数据采集器向数据采集参数服务模块反馈其采集到的装备数据,在汇总、打包后发送给云服务器。
如图3所示,本发明的基于云计算的智能工业装备组件式组建的物联网系统,其工作流程如下:
(1)所述云服务器的装备注册服务模块从装备管理服务模块获取智能工业装备的基础数据,基础数据包括装备ID、协议类型、接口类型、装备访问地址、数据采集周期、装备提供商、注册日期和登记人;
优选的,所述基础数据可通过人工输入的方式或者数据导入的方式存储到云服务器的装备管理服务模块。
(2)所述智能工业装备接入数据采集器的物联网接入组件模块,数据采集器的云数据收集模块从云服务器的装备管理服务模块获取所有未接入的智能工业装备的基础数据;
(3)所述数据采集器向所接入的智能工业装备发送带通讯协议的采集命令,通讯协议为所接入的智能工业装备支持的通讯协议,所接入的智能工业装备收到信号并解析命令中的装备ID,命令中的装备ID与该智能工业装备的装备ID相同,则该智能工业装备与物联网接入组件模块建立连接并通信,若所接入的智能工业装备无法解析该命令或者解析命令后得到的装备ID与所接入的智能工业装备的装备ID不同,则所接入的智能工业装备无法与物联网接入组件模块建立连接和通信;
优选的,所接入的智能工业装备与物联网接入组件模块建立连接并通信后,所接入的智能工业装备向物联网接入组件模块返回一个应答信号,以确认连接成功。优选的,所述通讯协议是Host Link协议,ModeBus协议或ProfiBus协议等。
(4)所述智能工业装备的云数据收集模块向云服务器发送连接注册成功的请求,云服务器的装备注册管理服务模块将连接成功的智能工业装备记录到已连接队列中,组件式的智能工业装备联网组建成功。
(5)所述数据采集器通过云服务器的数据采集参数服务模块获取智能工业装备的装备采集参数,收集该智能工业装备的装备数据,数据采集器基于获取的装备采集参数生成采集命令,将采集命令打包成智能工业装备支持的通讯协议,向该智能工业装备发送采集命令,如所述数据采集器向该智能工业装备发送采集周期内的电流值命令;
(6)该智能工业装备将电流值通过所述通信协议的返回格式应答返回给数据采集器,数据采集器依据从云服务器的数据采集参数服务模块获取装备数据采集参数设置的内容,定期收集上传该智能工业装备的装备数据,并对收集的装备数据进行汇总,即将采集的装备数据按照对应的网络协议的格式进行排序,打包封装到网络接入组件模块对应的网络协议;
(7)所述网络接入组件模块将打包封装的装备数据通过以太网向云服务器的数据采集服务模块发送请求,数据采集服务模块将该打包封装的装备数据持久化到DB(数据库)。
如图4所示,为本发明智能工业装备组件式组建的物联网系统的第二实施例,以欧姆龙PLC型号CP1H的智能工业装备(以下简称“该智能工业装备”)为例,具体如下:
该智能工业装备采用Host Link协议,接口采用RS422,协议格式如下:
命令格式
@ | 0 | 0 | R | D | … | X | X | * | CR |
Unit NO.HeadercodeFCSTerminator
返回格式
@ | 0 | 0 | R | D | 0 | 0 | … | X | X | * | CR |
Unit NO.Header code End codeFCSTerminator
(1)所述云服务器的装备注册服务组件获取CP1H的基础数据,基础数据包括装备ID(即Unit NO.单元号)、装备访问地址、数据采集周期、装备提供商、注册日期和登记人;
(2)通过CP1H的RS-422接口连接数据采集器的物联网接入组件模块,数据采集器的云数据收集模块从云服务器的装备管理服务组件获取所有未接入的智能工业装备的基础数据;
(3)数据采集器的物联网接入组件模块向该智能工业装备发送一个带有HostLink协议的采集命令,CP1H受到该信号且解析命令中的装备ID,解析出的装备ID与CP1H的装备ID相同,则CP1H与物联网接入组件模块建立连接并通信,然后,CP1H向物联网接入组件模块返回一个应答信号,确认连接成功;
(4)数据采集器的云数据收集模块向云服务器发送连接注册成功的请求,云服务器的装备注册管理服务组件将该智能工业装备记录到已连接装备队列,CP1H接入物联网成功;
(5)数据采集器从云服务器的数据采集参数服务模块获取CP1H的装备采集参数,数据采集器向CP1H按采集周期发送采集命令;
(6)所述CP1H将电流值通过Host Link协议的返回格式应答返回给通用化数据采集器,通用化数据采集器通过装备数据采集参数设置的内容,收集所需要的CP1H的装备数据并对所收集的装备数据进行简单汇总,打包封装到网络接入组件模块对应的以太网TCP/IP协议;
需要指出的是,通用化数据采集器采集的数据,是一个地址范围的数据,这些数据可能包括电流、电压、产量等参数,云服务器需要根据设置的点位参数地址、参数类型等,对采集到的数据进行解析。
(7)通用化数据采集器的网络接入组件模块将打包封装的装备数据通过以太网向云服务器的数据采集服务区组件发送请求,数据采集服务组件将数据持久化到数据库。
如图5所示,本发明的数据采集器的一种优选实施例,优选为一种智能工业网关,具体如下:
所述智能工业网关,其包括控制MCU,以及与控制MCU连接的第一接口、第二接口和存储单元,第一接口与智能工业装备连接,第二接口与云服务器连接。
所述控制MCU采集智能工业装备运行过程中的装备数据,将有效的装备数据缓存至存储单元,然后通过以太网接口将有效的装备数据存储至云服务器。所述智能工业网关,其控制MCU支持多种通讯协议,可实现对于多种不同协议的智能工业装备的装备数据采集,将有效的装备数据缓存至存储单元,而且可以通过以太网接口传输给云服务器进行持久化存储,此外还可以通过手机与蓝牙接口连接,进行现场参数设置和实时查看采集的数据。
优选的一种方案,控制MCU还可以对采集的装备数据进行有效判定、多重滤波和计算分析,得到有效的装备数据,并将有效的装备数据缓存至存储单元,有利于提高采集的装备数据的质量和提高装备数据的传输效率。
优选的,如图15所示,所述控制MCU为嵌入式主控芯片,型号为STM32F407,通过编程实现智能工业网关的具体功能;所述第一接口包括多个RS485接口,与属于同一生产线的多个智能工业装备连接,RS485接口采用SP485芯片,第二接口为以太网接口,与云服务器相连,以太网接口包括型号为W5500的以太网芯片,优选的,智能工业网关还包括第三接口,第三接口为蓝牙接口,与手机相连,蓝牙接口包括型号为CC2541的蓝牙芯片,手机通过网路与云服务器连接;所述输入按键用于使控制MCU复位或其他信号输入,如智能工业网关的启停以及参数设定,指示灯用于提示相关状态,如工作状态、通讯状态和错误状态等;所述存储单元,为SD卡存储或者Flash存储。优选的,所述第一接口还包括多个RS232接口,RS232接口采用SP3232芯片;所述智能工业网关还包括与控制MCU相连的SWD下载口,以及其他保留接口。嵌入式主控芯片的型号为STM32F407,还具有3个SPI接口,3个I2C接口,6个USART接口,2个CAN口,1个以太网和1个USB接口等,能够同时实现多种数据通讯方式。蓝牙部分使用了蓝牙串口模块,采用模块的方式简化了设计,而且替换容易,比如串口转wifi模块、串口转无线模块等。
如图16所示,RS485接口的具体电路图,包括SP485芯片,SP485芯片的RO端与嵌入式主控芯片的RS485_TX端连接,DI端与嵌入式主控芯片的RS485_RX端连接,RE端和DE端均与嵌入式主控芯片的RS485_RE端连接;SP485芯片的A端和B端分别与485接口的两个端角连接,在SP485芯片的A端和B端之间还连接有电阻R21;SP485芯片的VCC端接3.3V电源,且SP485芯片的VCC端经电阻R15与485接口的一个端口连接,并且经电容C1和电阻R14与485接口的另一个端口连接,电容C1和电阻R14之间的连接点接地;SP485芯片的GND端接地。
如图17所示,以太网接口电路图,以太网接口包括W5500芯片,H1102NL芯片和RJ45芯片,W5500芯片与嵌入式主控芯片连接,W5500芯片与RJ45芯片连接,W5500芯片与H1102NL芯片连接,RJ45芯片和H1102NL芯片连接。具体的,W5500芯片的W5500_INTn端、W5500_MOSI端、W5500_MISO端、W5500_SCLK端、W5500_SCSn端和W5500_nRST端分别与嵌入式主控芯片连接,ACTLED端、LINKLED端与RJ45芯片连接,TXN端、TXP端、RXN端、RXP端与H1102NL芯片连接,RJ45芯片的TD+端和TD-端分别与H1102NL芯片的TX+端和TX-端连接;RJ45芯片的NC1端和NC2端分别经过电阻R30和电阻R33与电阻R31的一端连接,电阻R31的另一端经电阻R37与H1102NL芯片的CT3端连接,RJ45芯片的RX+端和RX-端分别与H1102NL芯片的RX+端和RX-端连接,并且RJ45芯片的RX+端和RX-端分别与电阻R35和电阻R38一端连接,电阻R35和电阻R38另一端并联且经电阻37与H1102NL芯片的CT3端连接,RJ45芯片的NC3端和NC4端分别与电阻R42和电阻R42一端连接,电阻R41和电阻R43另一端并联且经电阻42和电阻37与H1102NL芯片的CT3端连接。
如图18所示的蓝牙接口电路,和图19所示的RS232接口电路图。
所述智能工业网关通过RS485接口采集和存储同一生产线的多台不同类型的智能工业装备的装备数据,本实施例中控制MCU还对装备数据进行有效判定、滤波处理、计算分析等处理,得到有效的装备数据,然后对有效的装备数据进行加密并通过网络方式上传到云服务器进行存储。例如,有效判定为判定采集的数据是否落于设定范围内,若不在设定范围内则舍弃采集的数据,若在范围内则保留采集的数据,像判断x>10,符合则认为数据有效。滤波处理可以为多重滤波,可以使用限幅滤波、算术平均滤波和或递推平均滤波和或中位置滤波和或合并重复数据、删除无变化的装备数据等算法进行滤波处理,像取到5个数据2/5/6/4/3,进行平均值滤波得到4就是滤波后的值;计算分析即将采集的数据通过相关的转换公式进行转换计算得到值,像取到电流和电压信息,则利用公式电流*电压=功率,可计算得到功率的数值。同时保留异常的装备数据、报警数据便于进行分析预警。
进一步,本实施例的智能工业网关对智能工业装备进行管理和设置,智能工业装备的装备信息会存储到智能工业网关的本地存储里,当连接手机或者云服务器的时候,那么对应的智能工业网关会把相关的智能工业装备的装备信息发送到手机APP或者云服务器上,用户可以通过手机APP或者云服务器来添加和删除对应智能工业网关下面的智能工业装备的装备信息,比如生产装备的ID、厂家、通讯协议、需要读取数据的地址等,如此智能工业网关就能根据设置的内容来实现装备数据的智能化采集处理,比如采集时用的具体协议和采集数据的地址等,并定时上传到服务器。
优选的,所述通讯协议是Host Link协议、ModeBus协议或ProfiBus协议。
需要指出的是,传输层的装备数据使用循环荣誉校验码CRC16进行校验,以确保在装备数据传输过程中识别装备数据的丢失。
如图6所示,所述智能工业网关的工作流程如下:
(1)装备数据的采集:所述智能工业网关使用相关的通讯协议,定时对智能工业装备的装备数据进行采集,并对所采集的装备数据进行过滤处理,得到有效的装备数据,然后将有效的装备数据和智能工业网关的状态存储至存储单元;例如一种过滤方法为,本次采集的数据*比例+上次采集的数据*比例,即得到所需数据,当然也可以采用滤波处理等其它过滤方式。
(2)有效装备数据的上传:上传时经由两种途径,途径一是经由以太网接口定时上传至云服务器,上传过程中进行数据加密,以使云服务器安全获取智能工业装备的有效装备数据,避免数据在传输过程中发生泄露;途径二是通过蓝牙接口与手机进行通讯,用户可通过手机APP实时查看智能工业装备的相关数据。
优选的,所述手机通过蓝牙接口与智能工业网关进行通信,采用手机下发相应机制,不仅可以满足手机与智能工业网关连接状态下查看装备数据的功能,而且在无需通过手机查看装备数据时,则停止手机与智能工业网关的通信。
需要指出的,所述智能工业网关将数据传输给云服务器后,数据仍在存储单元内缓存,待下次采集到新的数据后,旧数据被新数据替换;用户通过手机仅可以查看智能工业网关采集的数据。
优选的,如图7所示,所述手机通过蓝牙接口与智能工业网关连接并通讯时,还可以通过手机APP对智能工业网关进行设置,具体流程如下:
所述手机内置手机APP,通过蓝牙接口与智能工业网关进行通信。
(1)启动手机APP,通过蓝牙接口与智能工业网关连接;
(2)所述手机APP自动获取智能工业网关数据,智能工业网关数据为智能工业装备的装备信息,例如装备ID、生产厂家、通讯协议、需要读取数据的地址等;
(3)用户通过手机APP添加或删除智能工业装备,并将命令下发给智能工业网关;
(4)所述智能工业网关接收到手机APP的命令后,根据命令自动更改装备信息,例如生产装备的ID、厂家、通讯协议、需要读取数据的地址等;
(5)所述智能工业网关依据新的装备信息对智能工业装备进行装备数据采集;
(6)所述智能工业网关对所采集的装备数据进行加工处理,得到有效的装备数据;
(7)所述智能工业网关将有效的装备数据上传给云服务器进行存储;
(8)所述云服务器依据上传的装备数据实时监控智能工业装备的运行状态。
当然,所述智能工业网关还可以通过以太网接口与上位机相连,通过上位机对智能工业网关进行设置,或者通过输入按键直接对智能工业网关进行设置。
如图8所示,为本发明的智能工业装备组建的物联网系统的第三实施例。
本实施例的智能工业装备组建的物联网系统,包括与智能工业装备连接的数据采集设备以及与数据采集设备连接的云服务器。本实施例的智能工业装备组建的物联网系统,可以采用本发明的组件式组建的方法,也可以采用其它方式组件。
所述数据采集设备包括数据处理模块,数据采集设备与智能工业装备连接,用于采集智能工业装备运行过程中的装备数据,数据处理模块与云服务器的数据模型处理建立模块连接,用于从数据模型处理建立模块获取数据处理规则、判断装备数据上传前是否需要处理以及依据数据处理规则对装备数据进行处理。数据处理模块实现的方法通过数据采集设备的控制MCU执行。
表三为系统规则表,示出了数据处理规则的数据结构,具体如下:
表三:
英文字段名 | 数据类型 | 中文字段名 |
RULE_ID | VARchar(30) | 规则ID |
RULE_ITEM | VARchar(10) | 处理序号 |
RULE_NAME | VARchar(50) | 规则说明 |
RULE_PROC | VARchar(500) | 规则处理过程 |
CREATE_TIME | DATETIME | 创建时间 |
CREATE_BY | VARchar(30) | 创建人 |
其中,规则处理过程,是一段处理逻辑,可以对应一个扩展的存储过程,规则ID对应处理过程中需要调用规则的业务场景。
以下为数据处理模块使用数据处理规则进行数据处理的逻辑的一个示例:
确定数据处理模块对应规则ID为CJQ001;
获取对应的规则处理过程RULE_PROC处理过程,直接用于对数据进行初加工;
例如:取到一条规则数据:
其中:PROC_SJCL cjq001:是一个数据处理的存储过程代码,引用它对采集的数据进行重复判断删除后一条。PROC_SJCL cjq001遍历数据,如果相邻的两条数据存在重复则删除后一条。
所述数据采集设备为数据采集器,数据采集器包括控制MCU以及与控制MCU连接的第一接口、第二接口、第三接口、存储单元,第一接口和第二接口为插拔式通用接口,第三接口为蓝牙接口,控制MCU通过第一接口与智能工业装备连接,用于采集智能工业装备运行过程中的装备数据,控制MCU通过第二接口与云服务器连接,通过第三接口与手机连接;所述数据处理模块通过应用程序实现,控制MCU执行数据处理规则以实现数据处理模块。
优选的,所述智能工业装备的个数为多个,如图8所示,多个智能工业装备分别设置在区域一和区域二,区域一内设置m个智能工业设备,m≥1,区域二内设置n个智能工业装备,n≥1;所述数据采集设备可同时采集区域一和区域二内的智能工业装备运行过程中的装备数据。
如图9所示,为所述数据采集设备的数据处理模块的工作流程。
数据采集设备与智能工业装备连接,采集智能工业装备运行过程中的装备数据,然后数据处理模块与云服务器的数据模型处理建立模块连接,用于从数据模型处理建立模块获取数据处理规则的模型,如果有模型则依据数据处理规则模型进行加工处理,然后将数据上传,如果没有模型则直接将数据上传。当然,在采集数据后也可以先缓存,定期在进行数据的加工处理和上传。数据采集设备与云服务器连接,如与装备管理服务模块连接,通过设备ID和或设备类型获取对应数据处理规则,优先是设备ID、没有指定对特点设备ID定义数据处理模型,取该设备类型对应的默认数据处理模型。具体的,数据采集设备与云服务器连接,首先通过智能工业装备的设备ID获取对应的数据处理规则的规则ID,然后通过规则ID从数据模型处理建立模块获取对应的数据处理规则;如果通过特定的设备ID未获取到任何的数据处理规则的规则ID,则通过设备类型查找获取设备类型对应的默认的数据处理规则的规则ID列表。
所述云服务器包括消息接收模块、消息分发模块、由多个消息处理模块组成的消息处理模块集群、异步消息处理模块、数据模型处理建立模块和数据库。
所述消息接收模块,与数据采集设备相连,用于接收由数据采集设备采集的原始的装备数据和经由数据处理模块处理的装备数据,并将装备数据传输给消息分发模块。
所述消息分发模块,与消息接收模块、数据模型处理建立模块、消息处理模块集群相连,用于从消息接收模块获取装备数据、从数据模型处理建立模块获取消息分发规则以及依据消息分发规则将装备数据分配给消息处理模块集群的消息处理模块。
需要指出的,所述消息分发规则与数据处理规则的数据结构和处理逻辑均相同,只是规则ID不同,规则处理过程RULE_PROC不一样。
如图10所示,为所述消息分发模块的工作流程。消息接收模块接收到数据采集设备发送的装备数据后,检测是否存在消息分发规则模型,如果存在则根据消息分发规则从消息处理模块集群中选择符合要求的消息处理模块并分发消息,消息处理模块集群中对应的消息处理模块进行处理并缓存。
所述消息处理模块集群包括多个消息处理模块,个数为n,n≥1,消息处理模块集群采用分布式结构,可根据业务场景的大小扩展资源,即增加或减少消息处理模块的个数,消息处理模块用于从消息分发模块获取装备数据,进行处理并缓存。
所述异步消息处理模块,与消息处理模块集群、数据库、数据模型处理建立模块相连,用于从消息处理模块集群获取装备数据、从数据模型处理建立模块获取异步消息处理规则以及依据异步消息处理规则对装备数据进行处理并传输给数据库进行存储。需要指出的是,所述异步消息处理规则和数据处理规则的数据结构和处理逻辑均相同,只是规则ID不同,规则处理过程RULE_PROC不一样。异步消息处理模块对来自来自消息处理服务器集群的装备数据进行的处理包括数据粗加工、数据细加工和数据持久化,数据粗加工包括对装备参数进行分配和暂存,数据细加工包括数据汇总、数据的结果运算以及达到数据可用于展现的工作,数据持久化即将结果数据保存至数据库。如异步消息处理模块每次从消息处理模块集群的各消息处理模块各获取M条装备数据,并将获取的装备数据从各消息处理应用服务器中删除,M≥1,然后将各消息处理应用服务器的M条装备数据分别进行分类,并将同一类的装备数据整合,然后存入数据库应用服务器。
如图11所示,为所述异步消息处理模块的工作流程。
如图12所示,所述数据模型处理建立模块通过人工干预调整、数据分析以及人工智能等手段,生成一个不断优化的数据模型,与数据处理模块、消息分发模块和异步消息处理模块相连,为三者分别提供数据处理规则、消息分发规则和异步数据处理规则,并给相对应的模块(包括数据处理模块、消息分发模块和异步消息处理模块)提供服务。
所述数据模型为一串数据处理规则的集合,数据处理规则包括规则ID、处理序号、规则说明、规则处理过程、创建时间、创建人等信息;所述的规则处理过程是一段处理逻辑,可以对应一个扩展的存储过程,规则ID对应处理过程中需要调用规则的业务场景,数据处理模块、消息分发模块和异步消息处理模块分别基于各自的规则ID动态获取规则处理过程,执行规则处理过程对应的存储过程,执行需要调用规则的业务场景。例如,消息分发模块基于消息分发的规则ID从数据模型处理建立模块获取对应的规则处理过程作为消息分发规则,执行规则处理过程对应的存储过程,将装备数据分配给消息处理模块集群的消息处理模块;异步消息处理模块与数据模型处理建立模块相连,基于异步消除处理的规则ID从数据模型处理建立模块获取对应的规则处理过程作为异步消息处理规则,执行异步消息处理规则对应的存储过程;数据处理模块与数据模型处理建立模块相连,基于数据处理的规则ID从数据模型处理建立模块获取对应的规则处理过程作为数据处理规则,执行数据处理规则对应的存储过程对装备数据进行处理。数据处理模块、消息分发模块和异步消息处理模块,通过部署应用时默认设好对应的规则ID,再通过规则ID检索对应数据处理规则。每个模块对应的规则ID是唯一的。
进一步,数据处理规则还包括处理序号,数据处理模块、消息分发模块和异步消息处理模块可以分别从数据模型处理建立模块获取多个数据处理规则,然后依据处理序号的顺序执行,执行需要调用规则的业务场景。例如异步消息处理规则可以获取多个异步消息处理规则,分别用于进行数据的粗加工、细加工和持久化等。
本发明通过数据模型处理建立模块对数据处理规则的集合进行管理,使得各模块,包括括数据处理模块、消息分发模块和异步消息处理模块可以实时动态获取数据处理规则,便于在线对数据的采集、分发规则进行调整。
优选的,所述云服务器为多台应用服务器构成的应用服务器集群,消息接收模块、消息分发模块、异步消息处理模块、数据库和数据模型处理建立模块均通过内置在应用服务器上的应用程序实现,应用服务器集群包括部署有消息接收模块和消息分发模块的消息接收分发应用服务器、部署有消息处理模块的消息处理模块应用服务器、部署有数据库的数据库应用服务器、部署有异步消息处理模块的异步消息处理应用服务器和部署有数据模型处理建立模块的数据模型处理建立应用服务器。需要指出的是,各应用服务器可根据需要处理的数据量,进行增减,若数据量很小,可以将上述各模块设置于一个或两个应用服务器上;进一步的,云服务器也可以采用虚拟服务器实现,例如阿里云、腾讯云和亚马逊云等。云服务器包括存储介质,存储有实现本发明一种物联网采集数据的上传方法的计算机程序。
本发明还公开一种物联网采集数据的上传方法,第三实施例的智能工业装备组件式组件的物联网系统通过本方法进行数据的上传,具体如下:
(1)所述数据采集器的数据采集设备获取智能工业设备运行过程中的装备数据,得到原始的装备数据;根据不同的该智能工业装备获取的装备数据不同,例如包括装备ID,根据装备采集参数从装备上对应数据起始地址和数据长度采集的数据,根据不同的该智能工业装备,数据内容可能是电流值、电压值,还可以是计算后的功率值。此外,数据采集设备还可以提供与其连接的智能工业设备的运行情况数据,包括装备运行当前状态、装备故障数据、装备运行时间、装备产量、装备合格数。(2)所述数据采集器的数据处理模块从数据模型处理建立模块获取数据处理规则,若原始的装备数据在上传前需要进行处理,则数据处理模块按所述的数据处理规则对原始的装备数据进行处理,得到一次处理的装备数据并传输给消息接收模块,否则,数据采集设备将采集的原始的装备数据直接传输给消息接收模块;
优选的,所述数据处理规则包括对采集的装备数据进行有效判定,若采集的装备数据不在设定范围内则舍弃;所述数据采集器对采集的装备数据进行滤波处理以减少存储的数据,所述的滤波处理包括算术平均滤波和或递推平均滤波和或中位置滤波和或合并重复数据;以及保留异常数据、报警数据。
(3)所述云服务器的消息分发模块从数据模型处理建立模块获取消息分发规则;
优选的,所述消息分发规则主要依据装备数据的数据类型和/或区域(即装备来源的地理区域),以及可用的服务器(即空闲的消息处理模块部署的应用服务器)等建立,以进行资源调配,实现负载均衡、故障转移,提高并发处理能力。
(4)所述云服务器的消息分发模块依据消息分发规则将消息接收模块接收的装备数据分配给云服务器的消息处理模块集群;
(5)所述消息处理模块集群的消息处理模块对接收的装备数据进行处理,得到二次处理的装备数据,然后将二次处理的装备数据进行缓存;
(6)异步消息处理模块从消息处理应用服务器集群获取二次处理的装备数据,所述异步消息处理模块从数据模型处理建立模块获取异步消息处理规则,依据异步消息处理规则对二次处理的装备数据进行处理并得到三次处理的装备数据,然后将三次处理的装备数据传输给云服务器的数据库进行存储。所述异步消息处理规则为异步消息处理模块每次从消息处理模块集群的各消息处理模块各获取M条装备数据,并将获取的装备数据从各消息处理应用服务器中删除,M≥1,然后将各消息处理应用服务器的M条装备数据分别进行分类,并将同一类的装备数据整合,然后存入数据库应用服务器,
所述消息分发规则和异步消息处理规则均从云服务器的数据模型处理建立模块动态获得,所述数据处理规则包括规则ID和规则处理过程,所述规则处理过程与一个存储过程或执行代码对应;
消息分发模块基于消息分发的规则ID从数据模型处理建立模块获取对应的规则处理过程作为消息分发规则,作为消息分发规则的执行规则处理过程对应的存储过程,将装备数据分配给消息处理模块集群的消息处理模块;
异步消息处理模块与数据模型处理建立模块相连,基于异步消除处理的规则ID从数据模型处理建立模块获取对应的规则处理过程作为异步消息处理规则,执行异步消息处理规则对应的存储过程;
数据处理模块与数据模型处理建立模块相连,基于数据处理的规则ID从数据模型处理建立模块获取对应的规则处理过程作为数据处理规则,执行数据处理规则对应的存储过程对装备数据进行处理。
如图13所示,为本发明的智能工业装备组件式组建的物联网系统的第四实施例,以采集NA1万能式断路器的装备数据和数据上传为例,具体如下:
NA1万能式断路器与智能工业网关连接,智能工业网关为数据采集设备,其包括控制MCU,以及与控制MCU连接的RS485接口、以太网接口和存储单元,控制MCU支持多种通讯协议,通过RS485接口与NA1万能式断路器相连,通过以太网接口与云服务器相连。所述云服务器为多台应用该服务器构成的服务器集群,应用服务器可以包括部署有消息接收模块和消息分发模快的消息接受分发应用服务器,部署有消息处理模块的消息处理应用服务器,部署有数据库的数据服务器、部署有数据模型处理建立模块的数据模型处理建立应用服务器,部署有异步消息处理模块的异步消息处理应用服务器,上述各模块均通过软件实现;根据需要处理的消息数据量,分别设置多台相应的应用服务器构成应用服务器集群,例如,数据量非常大的情况下,可以设置多台消息处理应用服务器以构成消息处理应用服务器集群,根据需要还可以增减;数据量较小时,还可以将各模块部署在一个应用服务器上,例如将消息接收模块、消息分发模块和数据模型处理建立模块部署在同一个应用服务器上。当然,所述云服务器也可以采用虚拟服务器实现,例如阿里云、腾讯云和亚马逊云等。
(1)所述智能工业网关的控制MCU执行数据处理规则以实现数据处理模块,对采集到的NA1万能式断路器的装备数据进行初步处理,以提高装备数据的质量。
所述智能工业网关的数据处理模块根据数据处理规则对装备数据进行处理,数据处理模块设有初始的数据处理规则,还可以定期从云服务器的数据模型处理建立模块获取更新。例如,
初始的数据处理规则为:与电流、电压、功率相关的数据,合并重复率达到95%的数据,删除智能工业装备运行过程中状态无变化的数据,保留全部异常数据以及报警数据,每5秒通过窄带物联网NB-IOT通讯方式上传数据。
需要指出的是,所述数据处理规则可以根据每季度上传的装备数据的统计结构以及业务需求尽心该修改,通过云服务器的数据模型处理建立模块进行调整下发到智能工业网关。
(2)所述消息接收分发应用服务器接收装备数据并对接收的数据进行负载均衡,分配到空闲的消息处理应用服务器进行消息暂存;所述消息接收分发应用服务器依据消息分发规则及当前消息处理应用服务器的应用处理资源进行分配,消息接收分发应用服务器设有初始的的消息分发规则,也可以根据应用需要进行修改;
如图13所示,初始的消息分发规则为:例如,一组装备数据来自HD区域且采用NB-IOT通讯方式,另一组装备数据来自FHD且采用非NB-IOT通讯方式,来自HD区域且采用NB-IOT通讯方式的装备数据有限采用消息处理应用服务器1,消息处理应用服务器1忙时,判断消息处理应用服务器2是否空闲,若空闲,则将来自HD区域的装备数据分配给消息处理应用服务器2,否则等待消息处理应用服务器1闲时处理;每5分钟,获取当前各消息处理应用服务器的资源使用情况(主要指监控CPU和内存的使用情况),当资源使用率超过90%时,进行数据保存,当存储空间(主要指用于存放数据的应用服务器)不足100G时,记录当前可用资源,作为原始数据反馈用于数据模型优化,以判断是否增加消息处理应用服务器;采用非NB-IOT通讯方式且来自FHD区域的装备数据,则优先采用消息处理应用服务器2,数据处理规则与上述规则相同。消息处理应用服务器的资源使用情况,主要是指监控CPU和内存的使用情况,存储空间,主要是指数据存放对应的服务器的存储空间。
优选的,每月对当前数据过程的数据(指的是一个全过程产生的数据,包含所有有记录的数据),以及处理过程中应用服务器资源使用率进行分析(可以人工判断也可以通过规则智能判定),决定是否修改消息分发处理规则,包括是否增加消息处理应用服务器。
(3)如图14所示,所述异步消息处理应用服务器的异步消息处理模块依次获取各消息处理应用服务器上的Redis(key-value存储系统)中最早的50条暂存装备数据并将这些暂存装备数据从各消息处理应用服务器的Redis中删除,每条暂存装备数据均包括电流、电压、频率和功率因素的数据,然后以异步处理的方式对50条电流和电压数据进行处理并形成50条A数据,对50条频率和功率因素的数据做处理并形成50条B数据,处理A数据和B数据,得出结果存入数据库。
需要指出的是,从消息处理应用服务器的Redis获取数据的条数以及将那些数据做合并处理的方法,均依据异步数据处理规则进行,数据模型(即异步消息处理规则的集合)来自大数据智能分析或者人工分析。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (12)
1.一种智能工业装备物联网数据采集系统,其特征在于:包括与智能工业装备连接的数据采集设备以及与数据采集设备连接的云服务器;
所述云服务器包括消息接收模块、消息分发模块、由多个消息处理模块组成的消息处理模块集群、异步消息处理模块、数据模型处理建立模块和数据库;
所述消息接收模块与数据采集设备相连,用于接收由数据采集设备采集的装备数据,并将装备数据传输给消息分发模块;
所述消息分发模块与消息接收模块、数据模型处理建立模块、消息处理模块集群相连,用于从消息接收模块获取装备数据、从数据模型处理建立模块获取消息分发规则以及依据消息分发规则将装备数据分配给消息处理模块集群的消息处理模块;所述消息分发规则为依据装备数据的数据类型和/或区域以及可用的消息处理模块将装备数据分配到消息处理模块集群的消息处理模块;
所述消息处理模块集群包括多个消息处理模块,消息处理模块集群采用分布式结构,消息处理模块用于从消息分发模块获取装备数据,进行处理并缓存;
所述异步消息处理模块,与消息处理模块集群和数据库相连,用于从消息处理模块集群获取装备数据,对装备数据进行处理并传输给数据库进行存储。
2.根据权利要求1所述的智能工业装备物联网数据采集系统,其特征在于:所述异步消息处理模块还与数据模型处理建立模块相连,从数据模型处理建立模块获取异步消息处理规则,并依据异步消息处理规则对装备数据进行处理并存储到数据库。
3.根据权利要求1所述的智能工业装备物联网数据采集系统,其特征在于:所述数据采集设备采集智能工业设备的装备数据,得到原始的装备数据;所述的数据采集设备包括数据处理模块,数据处理模块从数据模型处理建立模块获取数据处理规则并按数据处理规则对装备数据进行处理,数据采集设备将处理后的装备数据传输给消息接收模块。
4.根据权利要求3所述的智能工业装备物联网数据采集系统,其特征在于:数据处理模块通过要处理的智能工业装备的设备类型查找获取设备类型对应的默认的数据处理规则的规则ID,再从数据模型处理建立模块获取对应的数据处理规则。
5.根据权利要求4所述的智能工业装备物联网数据采集系统,其特征在于:数据处理模块首先通过要处理的智能工业装备的设备ID获取对应的数据处理规则的规则ID,然后通过规则ID从数据模型处理建立模块获取对应的数据处理规则;如果通过设备ID未获取到任何的数据处理规则的规则ID,则再通过要处理的智能工业装备的设备类型查找获取设备类型对应的默认的数据处理规则的规则ID,从数据模型处理建立模块获取对应的数据处理规则。
6.根据权利要求1所述的智能工业装备物联网数据采集系统,其特征在于:所述数据模型处理建立模块管理数据处理规则的集合,所述数据处理规则包括规则ID和规则处理过程,所述规则处理过程与一个存储过程对应;
消息分发模块基于消息分发的规则ID从数据模型处理建立模块获取对应的规则处理过程作为消息分发规则,作为消息分发规则的执行规则处理过程对应的存储过程,将装备数据分配给消息处理模块集群的消息处理模块;
异步消息处理模块与数据模型处理建立模块相连,基于异步消除处理的规则ID从数据模型处理建立模块获取对应的规则处理过程作为异步消息处理规则,执行异步消息处理规则对应的存储过程。
7.根据权利要求6所述的智能工业装备物联网数据采集系统,其特征在于:消息分发模块和异步消息处理模块分别通过默认设好的对应的规则ID来获取对应的数据处理规则。
8.一种物联网采集数据的上传方法,其特征在于,其包括以下步骤:
(1)数据采集设备获取智能工业装备运行过程中的装备数据并将装备数据传输给云服务器;
(2)云服务器根据消息分发规则将获取的装备数据分发到多个消息处理模块构成的消息处理模块集群;所述消息分发规则为依据装备数据的数据类型和/或区域以及可用的消息处理模块将装备数据分配到消息处理模块集群的消息处理模块;
(3)消息处理模块集群的消息处理模块对收到的装备数据进行处理和缓存;
(4)异步消息处理模块分批次的从消息处理应用服务器集群获取装备数据,并依据获取的异步消息处理规则对获取的装备数据进行处理,然后将处理后的装备数据传输给数据库应用服务器进行存储。
9.根据权利要求8所述的物联网采集数据的上传方法,其特征在于:
所述异步消息处理规则为异步消息处理模块每次从消息处理模块集群的各消息处理模块各获取M条装备数据,并将获取的装备数据从各消息处理应用服务器中删除,M≥1,然后将各消息处理应用服务器的M条装备数据分别进行分类,并将同一类的装备数据整合,然后再存入数据库。
10.根据权利要求8所述的物联网采集数据的上传方法,其特征在于:所述步骤(1)包括以下步骤:
(11)所述数据采集设备获取智能工业装备运行过程中的装备数据;
(12)所述数据采集设备从云服务器获取数据处理规则,并依据数据处理规则对装备数据进行处理,然后将处理后的装备数据传输给消息接收分发应用服务器。
11.根据权利要求10所述的物联网采集数据的上传方法,其特征在于:所述数据处理规则包括对采集的装备数据进行有效判定,若采集的装备数据不在设定范围内则舍弃;所述数据采集设备对采集的装备数据进行滤波处理以减少存储的数据,所述的滤波处理包括算术平均滤波和或递推平均滤波和或中位置滤波和或合并重复数据。
12.根据权利要求10所述的物联网采集数据的上传方法,其特征在于:
所述消息分发规则和异步消息处理规则均从云服务器的数据模型处理建立模块动态获得,所述数据处理规则包括规则ID和规则处理过程,所述规则处理过程与一个存储过程对应;
消息分发模块基于消息分发的规则ID从数据模型处理建立模块获取对应的规则处理过程作为消息分发规则,作为消息分发规则的执行规则处理过程对应的存储过程,将装备数据分配给消息处理模块集群的消息处理模块;
异步消息处理模块与数据模型处理建立模块相连,基于异步消除处理的规则ID从数据模型处理建立模块获取对应的规则处理过程作为异步消息处理规则,执行异步消息处理规则对应的存储过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810375666.3A CN108769121B (zh) | 2018-04-24 | 2018-04-24 | 智能工业装备物联网数据采集系统及采集数据的上传方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810375666.3A CN108769121B (zh) | 2018-04-24 | 2018-04-24 | 智能工业装备物联网数据采集系统及采集数据的上传方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108769121A CN108769121A (zh) | 2018-11-06 |
CN108769121B true CN108769121B (zh) | 2021-11-30 |
Family
ID=64011566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810375666.3A Active CN108769121B (zh) | 2018-04-24 | 2018-04-24 | 智能工业装备物联网数据采集系统及采集数据的上传方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108769121B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109257237A (zh) * | 2018-11-14 | 2019-01-22 | 无锡信捷电气股份有限公司 | 工业设备物联网数据采集方法及装置 |
CN110049095A (zh) * | 2019-03-01 | 2019-07-23 | 湖北三江航天红峰控制有限公司 | 一种激光装备数据上工业云平台的方法 |
CN109933907B (zh) * | 2019-03-14 | 2023-10-20 | 北京五维星宇科技有限公司 | 一种装备管理业务模型的建立方法及装置 |
CN110113715A (zh) * | 2019-04-24 | 2019-08-09 | 天津科技大学 | 一种基于物联网的移动测量系统、方法及其应用 |
CN110245138B (zh) * | 2019-05-17 | 2023-04-07 | 深圳市特区建设发展集团有限公司 | 一种区域数据管理系统 |
CN110207751B (zh) * | 2019-06-14 | 2021-02-23 | 福建鑫程食品有限公司 | 一种白鸭汤制备过程监测系统 |
CN110460526B (zh) * | 2019-06-29 | 2021-08-10 | 天津大学 | 一种用于面向内容的物联网组网数据采集分发的通信方法 |
CN110320842B (zh) * | 2019-07-16 | 2021-09-07 | 东北大学 | 用于氧化铝生产过程的多尺度数据采集与处理装置及方法 |
CN110727846A (zh) * | 2019-09-09 | 2020-01-24 | 杭州玖欣物联科技有限公司 | 一种工业互联网数据采集和分类处理的方法 |
CN110708370B (zh) * | 2019-09-27 | 2022-06-10 | 中移物联网有限公司 | 一种数据处理方法及终端 |
CN110989524A (zh) * | 2019-12-06 | 2020-04-10 | 福建和盛高科技产业有限公司 | 一种多功能工业网关 |
CN112953784B (zh) * | 2019-12-10 | 2023-10-31 | 中盈优创资讯科技有限公司 | 物联网设备性能采集方法、装置、设备及可读存储介质 |
CN111314339B (zh) * | 2020-02-12 | 2021-09-10 | 腾讯科技(深圳)有限公司 | 数据传输方法及装置 |
CN112163015B (zh) * | 2020-09-22 | 2023-09-22 | 南京信息职业技术学院 | 一种物联网时序数据实时监控方法、装置和系统 |
CN112468541B (zh) * | 2020-11-06 | 2023-04-07 | 杭州博联智能科技股份有限公司 | 基于物联网的数据处理方法、装置及系统 |
CN112468578B (zh) * | 2020-11-25 | 2021-12-17 | 常州微亿智造科技有限公司 | 工业数据的实时采集系统和方法 |
CN112702442B (zh) * | 2021-01-25 | 2024-02-09 | 江苏米塔网络科技服务有限公司 | 一种工业物联网盒子激活方法 |
CN112988876B (zh) * | 2021-04-14 | 2023-04-07 | 济南工程职业技术学院 | 一种工业数据采集管理方法及系统 |
CN113114684B (zh) * | 2021-04-14 | 2022-08-16 | 浙江中拓合控科技有限公司 | 一种用于现场设备的信息传输系统、方法和装置 |
WO2023015522A1 (zh) * | 2021-08-12 | 2023-02-16 | 西门子(中国)有限公司 | 一种获取物联网数据的方法、装置、系统和存储介质 |
CN113835877A (zh) * | 2021-08-19 | 2021-12-24 | 重庆恩谷信息科技有限公司 | 一种基于大数据的远程数据信息存储系统 |
CN113922983B (zh) * | 2021-08-31 | 2024-03-08 | 河北智恩网络科技有限公司 | 一种可自定义数据格式的危险源数据采集方法 |
CN114826664B (zh) * | 2022-03-21 | 2022-12-02 | 慧之安信息技术股份有限公司 | 应用于物联网的公开密钥数据传输加密方法 |
CN114598480B (zh) * | 2022-05-06 | 2022-08-23 | 浙江乾冠信息安全研究院有限公司 | 一种网络安全运营平台机器数据处理方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618476A (zh) * | 2015-01-29 | 2015-05-13 | 镇江恒驰科技有限公司 | 基于物联网的运输装备数据采集及传输模块 |
CN105205687A (zh) * | 2015-08-24 | 2015-12-30 | 浪潮通用软件有限公司 | 一种海量数据采集的方法 |
CN106528769A (zh) * | 2016-11-04 | 2017-03-22 | 乐视控股(北京)有限公司 | 一种数据采集方法及装置 |
CN106815125A (zh) * | 2015-12-02 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种日志审计方法及平台 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5226189B2 (ja) * | 2006-03-30 | 2013-07-03 | 富士通株式会社 | 伝票処理プログラムおよび伝票処理装置 |
-
2018
- 2018-04-24 CN CN201810375666.3A patent/CN108769121B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618476A (zh) * | 2015-01-29 | 2015-05-13 | 镇江恒驰科技有限公司 | 基于物联网的运输装备数据采集及传输模块 |
CN105205687A (zh) * | 2015-08-24 | 2015-12-30 | 浪潮通用软件有限公司 | 一种海量数据采集的方法 |
CN106815125A (zh) * | 2015-12-02 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种日志审计方法及平台 |
CN106528769A (zh) * | 2016-11-04 | 2017-03-22 | 乐视控股(北京)有限公司 | 一种数据采集方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108769121A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108769121B (zh) | 智能工业装备物联网数据采集系统及采集数据的上传方法 | |
CN107390650B (zh) | 一种基于物联网的数据采集系统及基于该系统的数据压缩方法 | |
CN108400993A (zh) | 智能工业装备组件式组建的物联网系统和存储介质 | |
CN108199897B (zh) | 一种支持缓存管理的opc ua多服务器聚合方法 | |
CN108833267A (zh) | 智能工业网关 | |
CN105634784B (zh) | 控制数据分发方法、装置及系统 | |
US8484650B2 (en) | Resource management system, resource information providing method and program for providing resource information relating to a plurality of resources | |
CN104699736B (zh) | 一种分布式的基于可移动设备的大规模数据采集系统及方法 | |
US20110271275A1 (en) | Software distribution management method of computer system and computer system for software distribution management | |
CN112925646A (zh) | 一种电力数据边缘计算系统以及计算方法 | |
CN103761309A (zh) | 一种运营数据处理方法及系统 | |
CN103236949A (zh) | 一种服务器集群的监控方法、装置与系统 | |
CN112711612B (zh) | 数据处理方法、装置和存储介质及电子装置 | |
CN113286002B (zh) | 一种基于多优先级队列的电力数据传输方法 | |
CN111740868A (zh) | 告警数据的处理方法和装置及存储介质 | |
CN104363278A (zh) | 一种海量终端通信接入系统 | |
CN103996276A (zh) | 一种电厂数据远程传输系统及方法 | |
CN100488114C (zh) | 一种网元管理方法与系统 | |
CN112417050A (zh) | 数据同步方法和装置、系统、存储介质及电子装置 | |
CN103416026B (zh) | 网络系统和分组处理方法 | |
CN114401284A (zh) | 固定污染源治理工况实时数据采集与传输系统及方法 | |
CN113114508A (zh) | 一种多级可变频率的网络监控数据采集方法及装置 | |
CN102510403B (zh) | 用于车辆数据接收和实时分析的集群分布式系统及方法 | |
CN110398985B (zh) | 一种分布式自适应无人机测控系统及方法 | |
CN105607606A (zh) | 一种基于双主板架构的数据采集装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |