CN112051816A - 数据采集系统和方法 - Google Patents
数据采集系统和方法 Download PDFInfo
- Publication number
- CN112051816A CN112051816A CN202010917329.XA CN202010917329A CN112051816A CN 112051816 A CN112051816 A CN 112051816A CN 202010917329 A CN202010917329 A CN 202010917329A CN 112051816 A CN112051816 A CN 112051816A
- Authority
- CN
- China
- Prior art keywords
- data
- data acquisition
- server
- sending
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000005540 biological transmission Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013480 data collection Methods 0.000 claims description 26
- 240000007651 Rubus glaucus Species 0.000 claims description 22
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 22
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 22
- 238000011161 development Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 14
- 238000011084 recovery Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 229940121710 HMGCoA reductase inhibitor Drugs 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
- G05B19/4186—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication by protocol, e.g. MAP, TOP
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据采集系统和方法。其中，该系统包括：多个数据采集网关，每个数据采集网关安装在对应的被采集设备上，每个数据采集网关用于采集对应的被采集设备的数据，并通过消息队列遥测传输协议发送数据；服务器，与多个数据采集网关连接，用于对接收到的多个数据进行处理。本发明解决了相关技术中数据采集方案的可靠性较差的技术问题。
Description
技术领域
本发明涉及生产制造领域，具体而言，涉及一种数据采集系统和方法。
背景技术
在生产制造领域中，设备数据采集是生产制造数字化的核心。目前设备数据采集方式较多，一种方式可以通过一台主机连接1000台被采集设备，通过多线程15s间隔批量收集数据，但是，由于数据并发较多，容易发生数据流失、线程服务假死现象，导致数据采集可靠性较差。另一种方式可以通过在每个被采集设备上安装一个数据采集网关，由数据采集网关进行数据采集，并推送至服务器主机，减少主机压力，但是，由于数据采集协议补全，导致数据采集可靠性较差。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据采集系统和方法，以至少解决相关技术中数据采集方案的可靠性较差的技术问题。
根据本发明实施例的一个方面，提供了一种数据采集系统，包括：多个数据采集网关，每个数据采集网关安装在对应的被采集设备上，每个数据采集网关用于采集对应的被采集设备的数据，并通过消息队列遥测传输协议发送数据；服务器，与多个数据采集网关连接，用于对接收到的多个数据进行处理。
可选地，该系统还包括：消息代理服务器，分别与多个数据采集网关和服务器连接，用于在检测到任意一个数据采集网关断开连接的情况下，发送任意一个数据采集网关对应的预设消息至服务器。
可选地，服务器包括：消息中间件，分别与多个数据采集网关和服务器连接；每个数据采集网关用于将数据发送至消息中间件进行存储；服务器用于从消息中间件中获取消息中间件中存储的数据。
可选地，每个数据采集网关包括：数据库，用于网络断网的情况下，存储每个数据采集网关采集到的数据；发送模块，与数据库连接，用于在网络恢复的情况下，将数据库中存储的数据发送至消息中间件。
可选地，发送模块用于将数据库中存储的数据和预设标记信息发送至消息中间件。
可选地，每个数据采集网关还用于对采集到的数据进行标签化处理，并将处理后的数据发送至服务器。
可选地，每个数据采集网关采用树莓派开发板和netcore3.1框架。
可选地，树莓派开发板通过镜像工具安装目标系统。
可选地，树莓派开发板安装有虚拟桌面控制台软件。
可选地，树莓派开发板安装有进程管理器。
根据本发明实施例的另一方面，还提供了一种数据采集方法，包括：获取多个数据采集网关采集到的对应的被采集设备的数据；通过消息队列遥测传输协议发送数据至服务器，其中，数据由服务器进行处理。
可选地，该方法还包括：检测多个数据采集网关是否断开连接；如果任意一个数据采集网关断开连接，则发送任意一个数据采集网关对应的预设消息至服务器。
可选地，该方法还包括：发送数据至消息中间件，数据由消息中间件进行存储，其中，服务器用于从消息中间件中获取消息中间件中存储的数据。
可选地，该方法还包括：在检测到网络断网的情况下，将多个数据采集网关采集到的数据存储至对应的数据库；在检测到网络恢复的情况下，将数据库中存储的数据发送至消息中间件。
可选地，将数据库中存储的数据发送至消息中间件包括：将数据库中存储的数据和预设标记信息发送至消息中间件。
可选地，在获取多个数据采集网关采集到的对应的被采集设备的数据之后，该方法还包括：对采集到的数据进行标签化处理；将处理后的数据发送至服务器。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述的数据采集方法。
根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的数据采集方法。
在本发明实施例中，通过安装在被采集设备上的数据采集网关对被采集设备进行数据采集，数据采集网关通过消息队列遥测传输协议将采集到的数据上传至服务器，由服务器进行处理。容易注意到的是，数据采集网关和服务器之间通过MQTT协议进行数据转化，可以保证低质量网络环境下的高质量数据传输，达到了提高数据传输可靠性的技术效果，进而解决了相关技术中数据采集方案的可靠性较差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种数据采集系统的示意图；
图2是根据本发明实施例的一种可选的数据采集网关的软硬件环境的示意图；
图3是根据本发明实施例的一种可选的数据采集系统的示意图；以及
图4是根据本发明实施例的一种数据采集方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种数据采集系统。
图1是根据本发明实施例的一种数据采集系统的示意图，如图1所示，该系统包括：多个数据采集网关10和服务器30，每个数据采集网关10安装在对应的被采集设备20上，服务器30与多个数据采集网关10连接。
其中，每个数据采集网关用于采集对应的被采集设备的数据，并通过消息队列遥测传输协议发送数据；服务器用于对接收到的多个数据进行处理。
上述的被采集设备可以是需要进行数据采集的工业设备，例如，可以是数控机床、工业机器人、可编程控制器、检测设备、自动引导运输车、扫描枪、触摸屏等，但不仅限于此，可以是工业应用场景中任何需要进行数据采集的设备，与具体应用场景相关。
上述的服务器可以是工业应用场景中企业的云服务器，可以提供企业级服务器，包括PAAS(Platform-as-a-Service，平台即服务)层和SAAS(Software-as-a-Service，软件及服务)，在一种可选的实施例中，PAAS层可以直接采用阿里云公版ECS(Elastic ComputeService，弹性计算服务)，SAAS层安装RabbitMQ、Mysql、netcore3.1框架，具体安装流程在此不做赘述。
需要说明的是，数据采集网关和被采集设备之间可以通过RJ45、RS232、RS485等方式进行数据传输，但不仅限于此，可以根据实际应用场景进行确定。数据采集网关和服务器之间可以通过WIFI、以太网、4G、5G等无线传输方式进行数据传输，但不仅限于此，可以根据实际应用场景进行确定。
在一种可选的实施例中，为了保证低质量网络环境下的高质量数据传输，数据采集网关和服务器之间可以通过消息队列遥测传输(Message queuing TelemetryTransport Protocol，MQTT)协议进行数据传输，其中，MQTT是一种硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布/订阅型消息协议，支持消息保留及遗嘱功能，另外MQTT还承担了数据接口的功能，比传统的WebApi具有更高的可靠性。通过MQTT协议转化，可以将OPCUA、Focas、Socket等协议统一转换为MQTT client接口，保证消息传送质量。
需要说明的是，可以在vs nuget管理器中搜索MQTTNet，并点击安装好3.0.1版本。MQTT有三种消息发布服务质量：“至多一次”，消息发布完全依赖底层TCP/IP网络，会发生消息丢失或重复；“至少一次”，确保消息到达，但消息重复可能会发生；“只有一次”，确保消息到达一次。
上述三种消息发布服务质量可以根据实际应用场景进行确定。例如，对于环境传感器数据等应用场景，由于数据持续发送，即使丢失一次读记录，不久会进行第二次发送，因此可以采用“至多一次”，具体实现如下：
await mqttClient.SubscribeAsync(new TopicFilterBuilder()
.WithTopic(topic)
.WithAtMostOnceQoS()
.Build()
又例如，对于计费系统的应用场景中，消息重复或者丢失会导致计费错误的情况，因此可以采用“只有一次”。
需要说明的是，如果无自行搭建MQTT服务的条件，可采用商用版EMQX代替，EMQX支持RabbitMQ、RocketMQ、Kafka等消息桥接功能以及Mysql、Redis、MongoDB等各种数据库转存功能。
可选的，为了降低成本，并提高平台适应性和可迁移性，上述的数据采集网关可以采用树莓派开发板和netcore3.1框架。其中，数据采集网关的硬件可以采用市场中最新版树莓派开发板4B，可以选用内存为4GB的版本，但不仅限于此，也可以通过评估APP的CPU及内存消耗来确定开发板的配置，例如，当应用于更低消耗的APP时，为了进一步降低成本，可以采用更廉价的树莓派开发板3B。如果树莓派开发板无系统或者初始系统为Raspbian，则可以通过镜像工具安装目标系统Ubuntu18.04armhf。
数据采集网关的系统框架可以采用netcore3.1框架，netcore3.1是微软推出的同时兼容MacOS、Windows、Linux等多种平台的框架。可以从微软官方安装好该框架的开发及运行环境，具体实现步骤如下：
从微软官网https://dotnet.microsoft.com/download/dotnet-core/3.1下载SDK 3.1.401Linux arm32版本；
解压安装mkdir-p$HOME/dotnet&&tar zxf dotnet-sdk-3.1.401-linux-arm.tar.gz-C$HOME/dotnet；
创建根链接export DOTNET_ROOT＝$HOME/dotnet；
创建环境链接export PATH＝$PATH:$HOME/dotnet；
修改配置文件使更改永久生效，可以在配置文件～/.bash_profile和～/.bashrc最后分别添加export PATH＝$PATH:$HOME/dotnet和export DOTNET_ROOT＝$HOME/dotnet；
重启树莓派，netcore3.1框架服务即在树莓派搭建完成。
需要说明的是，由于netcore3.1是C#语言，对调用C++有良好的兼容性，从而可以通用某些是C++SDK的采集协议，例如Fanuc Focas。Netcore调用C++实现的步骤如下：
导入c++so文件：[DllImport("libfwlib32.so.1.0.1",EntryPoint＝"cnc_statinfo")]；
声明静态外部接口即可调用：public static extern short cnc_statinfo(ushort FlibHndl,[Out,MarshalAs(UnmanagedType.LPStruct)]ODBST a)；
可选的，由于树莓派开发板未自带显示器，为了方便后续现场调试，避免携带显示器，树莓派开发板安装有虚拟桌面控制台软件vncserver，其中，vncserver是一个虚拟桌面，可直接远程虚拟桌面，无需显示器及键鼠即可远程调试。树莓派出厂自带vncserver授权，其安装步骤如下：sudo raspi-config→Interfacing Options→VNC→Yes→Reboot。
可选的，由于Linux系统无IIS(Internet Information Services，互联网信息)服务，树莓派开发板可以预先安装有进程管理器，例如，可以安装开源工具PM2做网站守护及发布服务，PM2(Process Manager 2)是一款免费的具有内置负载均衡器的Node.js应用程序的生产运行时和进程管理器，允许永久保持应用程序活跃，而且，PM2的功能同样适用于netcore3.1。
通过本发明上述实施例提供的方案，通过安装在被采集设备上的数据采集网关对被采集设备进行数据采集，数据采集网关通过消息队列遥测传输协议将采集到的数据上传至服务器，由服务器进行处理。容易注意到的是，数据采集网关和服务器之间通过MQTT协议进行数据转化，可以保证低质量网络环境下的高质量数据传输，达到了提高数据传输可靠性的技术效果，进而解决了相关技术中数据采集方案的可靠性较差的技术问题。
可选地，在本发明上述实施例中，该系统还包括：消息代理服务器，分别与多个数据采集网关和服务器连接，用于在检测到任意一个数据采集网关断开连接的情况下，发送任意一个数据采集网关对应的预设消息至服务器。
上述的消息代理服务器可以是MQTT broke，其中，数据采集网关可以作为MQTTclient与MQTT broke连接。MQTT协议具有遗嘱功能，在此基础上，预设消息可以是数据采集网关连接上MQTT broke时约定好的遗嘱内容。
在一种可选的实施例中，由于工厂设备存在随时断电关机的风险，因此，可以基于MQTT的遗嘱功能，预定好预设信息，从而当设备断电时，服务器可以接收到该预设消息。预设消息的设定格式如下：{data:state,state:offline}，遗嘱功能的实现方式如下：MqttConnectOptions.setWill(MqttTopic topic,byte[]payload,int qos,booleanretained)。
可选地，在本发明上述实施例中，服务器包括：消息中间件，分别与多个数据采集网关和服务器连接；每个数据采集网关用于将数据发送至消息中间件进行存储；服务器用于从消息中间件中获取消息中间件中存储的数据。
上述的消息中间件可以是RabbitMQ，但不仅限于此，可以根据实际应用场景进行确定。
传统的Restful API需Web服务器来承载，当访问量较大时需要大量的高并发优化工作，可以直接采用MQTT队列充当数据接口提升了数据的传输效率，具体实现流程如下：底层协议→数据→统一数据格式→MQTT Client→MQTT broke。
但是，随着数据采集网关数量的增加，当数据采集网关数量上万时，服务器会面临高并发及数据承压的问题，为了解决上述问题，在一种可选的实施例中，可以采用RabbitMQ将并发形成队列进行数据转发。RabbitMQ的具体实现代码如下：
对于生产者，例如数据采集网关：
对于消费者，例如服务器：
可选地，在本发明上述实施例中，每个数据采集网关包括：数据库，用于网络断网的情况下，存储每个数据采集网关采集到的数据；发送模块，与数据库连接，用于在网络恢复的情况下，将数据库中存储的数据发送至消息中间件。
上述的数据库可以是轻量型数据库，例如，sqlite数据库，但不仅限于此，也可以根据实际应用场景进行确定。上述的发送模块可以是数据采集网关中内置的无线传输模块，例如，可以是WIFI模块、5G模块等，但不仅限于此，可以根据实际应用场景进行确定。
在工业应用场景中，由于工厂网络存在断网的风险，为了避免数据丢失，数据采集网关可以将数据存入本地sqlite中，实现离线数据存储，并且在网络恢复后自动将sqlite中的数据推送至RabbitMQ。
可选地，在本发明上述实施例中，发送模块用于将数据库中存储的数据和预设标记信息发送至消息中间件。
上述的预设标记信息可以是离线标记，表明该数据为离线存储的数据。
在一种可选的实施例中，为了方便服务器确定接收到的数据是实时采集到的数据，还是离线数据，数据采集网关在发送sqlite中的数据的同时，可以携带离线标记。
可选地，在本发明上述实施例中，每个数据采集网关还用于对采集到的数据进行标签化处理，并将处理后的数据发送至服务器。
由于不同工业设备，例如不同机床的采集协议不同，为了方便兼容所有工业设备，在一种可选的实施例中，可以对采集到的数据进行标签化处理，其中，Lable组标签定义如下：{DeviceID,DeviceType,LabelName,LableValue,CollectTime,ColudTime,IsOffline}。
例如，数据采集网关上传至服务器的数据如下表1所示。
表1
下面结合图2和图3对本发明一种优选的实施例进行详细说明，如图3所示，该系统包括：接入的设备20(即上述的被采集设备)、数据采集网关10、服务器30，每个接入的设备20与一个数据采集网关10连接，所有数据采集网关10与服务器30连接。
服务器30可以由企业PAAS和企业SAAS构成，其中，企业SAAS可以提供智能APP应用、消息推送、数据分析、大屏可视化、设备管理、寿命预算、OEE(Overall EquipmentEffectiveness，设备综合效率)计算和工艺告警。
接入的设备20可以包括：数控机床、工业机器人、可编程控制器、检测设备、自动引导运输车、扫描枪和触摸屏，接入的设备20通过RJ45、RS232或RS485与数据采集网关10连接。
数据采集网关10可以采用如图2所示的软硬件环境进行搭载，硬件环境如图2左侧所示，硬件采用树莓派开发板，包括：2GB、4GB或8GB的内存；更强大的处理器；连接电源的USB-C；支持2*4K显示器的微型HDMI(High-Definition Multimedia Interface)端口；USB2；USB 3和千兆以太网端口。软件环境如图2右侧所示，系统映像为Ubuntu18.04armhf；构建应用SDK为Netcore3.1SDK-arm32；执行应用运行时间为ASP.NET Core Runtime 3.1；远程桌面为VNC-Server；进程守护进程为PM2；开发工具为VS2019。关键配置包括：硬件采用购买市场最新版树莓派开发板4B，官方价格为$35，选用内存为4GB版本即可；树莓派开发板无系统或初始系统为Raspbian，需使用树莓派官方镜像工具，安装Ubuntu18.04armhf；从微软官方安装好netcore3.1的开发及运行环境；为使用远程访问，可安装好vncserver，便于后续软件调试及运维；因Linux系统无IIS服务，可安装PM2做网站守护及发布服务。
数据采集网关10和服务器30之间通过WIFI、以太网或5G连接。而且，采用采用MQTT协议来保障数据传输的稳定性及质量，具体可以包括：MQTT的三种消息发布服务质量、MQTT协议的遗嘱功能以及消息接口统一性功能。在此基础上，由于设备数量多，可以采用RabbitMQ来防止解决数据高并发及数据缓存问题；由于各机床采集协议不通，可以标签化所采集的内容，以便于兼容所有设备。
通过上述方案，提供了一种低成本、高稳定的数据采集方案，该方案具备如下有益效果：保证了数据传输的可考靠性，为数据分析提供强有力支撑；适应设备广，一个采集网关可适应多种设备，简单配置即可数据上云，减少客户运维压力；成本低廉，是原来搭载windows系统的硬件成本的10％；平台适应性广，netcore3.1可适应Linux，Mac，Windows等多种平台，可迁移性高。
实施例2
根据本发明实施例，提供了一种数据采集方法，该方法可以由上述实施例中提供的数据采集系统执行，具体实现方式与优选应用场景与上述实施例相同，在此不做赘述。
图4是根据本发明实施例的一种数据采集方法的流程图，如图4所示，该方法包括如下步骤：
步骤S402，获取多个数据采集网关采集到的对应的被采集设备的数据；
步骤S404，通过消息队列遥测传输协议发送数据至服务器，其中，数据由服务器进行处理。
上述步骤S402和S404可以由数据采集系统中的每个数据采集网关执行。
可选地，在本发明上述实施例中，该方法还包括：检测多个数据采集网关是否断开连接；如果任意一个数据采集网关断开连接，则发送任意一个数据采集网关对应的预设消息至服务器。
上述步骤可以由数据采集系统中的消息代理服务器执行。
可选地，在本发明上述实施例中，该方法还包括：发送数据至消息中间件，数据由消息中间件进行存储，其中，服务器用于从消息中间件中获取消息中间件中存储的数据。
上述步骤可以由数据采集系统中的每个数据采集网关执行。
可选地，在本发明上述实施例中，该方法还包括：在检测到网络断网的情况下，将多个数据采集网关采集到的数据存储至对应的数据库；在检测到网络恢复的情况下，将数据库中存储的数据发送至消息中间件。
上述步骤可以由数据采集系统中的每个数据采集网关执行。
可选地，在本发明上述实施例中，将数据库中存储的数据发送至消息中间件包括：将数据库中存储的数据和预设标记信息发送至消息中间件。
上述步骤可以由数据采集系统中的每个数据采集网关执行。
可选地，在本发明上述实施例中，在获取多个数据采集网关采集到的对应的被采集设备的数据之后，该方法还包括：对采集到的数据进行标签化处理；将处理后的数据发送至服务器。
上述步骤可以由数据采集系统中的每个数据采集网关执行。
实施例3
根据本发明实施例，提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述实施例2中的数据采集方法。
实施例4
根据本发明实施例，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述实施例2中的数据采集方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (18)
1.一种数据采集系统，其特征在于，包括：
多个数据采集网关，每个数据采集网关安装在对应的被采集设备上，所述每个数据采集网关用于采集对应的被采集设备的数据，并通过消息队列遥测传输协议发送所述数据；
服务器，与所述多个数据采集网关连接，用于对接收到的多个数据进行处理。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
消息代理服务器，分别与所述多个数据采集网关和所述服务器连接，用于在检测到任意一个数据采集网关断开连接的情况下，发送所述任意一个数据采集网关对应的预设消息至所述服务器。
3.根据权利要求1所述的系统，其特征在于，所述服务器包括：
消息中间件，分别与所述多个数据采集网关和所述服务器连接；
所述每个数据采集网关用于将所述数据发送至所述消息中间件进行存储；
所述服务器用于从所述消息中间件中获取所述消息中间件中存储的数据。
4.根据权利要求3所述的系统，其特征在于，所述每个数据采集网关包括：
数据库，用于网络断网的情况下，存储所述每个数据采集网关采集到的数据；
发送模块，与所述数据库连接，用于在所述网络恢复的情况下，将所述数据库中存储的数据发送至所述消息中间件。
5.根据权利要求4所述的系统，其特征在于，所述发送模块用于将所述数据库中存储的数据和预设标记信息发送至所述消息中间件。
6.根据权利要求1至5中任意一项所述的系统，其特征在于，所述每个数据采集网关还用于对采集到的数据进行标签化处理，并将处理后的数据发送至所述服务器。
7.根据权利要求6所述的系统，其特征在于，所述每个数据采集网关采用树莓派开发板和netcore3.1框架。
8.根据权利要求7所述的系统，其特征在于，所述树莓派开发板通过镜像工具安装目标系统。
9.根据权利要求7所述的系统，其特征在于，所述树莓派开发板安装有虚拟桌面控制台软件。
10.根据权利要求7所述的系统，其特征在于，所述树莓派开发板安装有进程管理器。
11.一种数据采集方法，其特征在于，包括：
获取多个数据采集网关采集到的对应的被采集设备的数据；
通过消息队列遥测传输协议发送所述数据至服务器，其中，所述数据由所述服务器进行处理。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
检测所述多个数据采集网关是否断开连接；
如果任意一个数据采集网关断开连接，则发送所述任意一个数据采集网关对应的预设消息至所述服务器。
13.根据权利要求11所述的方法，其特征在于，所述方法还包括：
发送所述数据至消息中间件，所述数据由所述消息中间件进行存储，其中，所述服务器用于从所述消息中间件中获取所述消息中间件中存储的数据。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
在检测到网络断网的情况下，将所述多个数据采集网关采集到的数据存储至对应的数据库；
在检测到所述网络恢复的情况下，将所述数据库中存储的数据发送至所述消息中间件。
15.根据权利要求14所述的方法，其特征在于，将所述数据库中存储的数据发送至所述消息中间件包括：
将所述数据库中存储的数据和预设标记信息发送至所述消息中间件。
16.根据权利要求11至15中任意一项所述的方法，其特征在于，在获取多个数据采集网关采集到的对应的被采集设备的数据之后，所述方法还包括：
对采集到的数据进行标签化处理；
将处理后的数据发送至所述服务器。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求11至16中任意一项所述的数据采集方法。
18.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求11至16中任意一项所述的数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010917329.XA CN112051816A (zh) | 2020-09-03 | 2020-09-03 | 数据采集系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010917329.XA CN112051816A (zh) | 2020-09-03 | 2020-09-03 | 数据采集系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112051816A true CN112051816A (zh) | 2020-12-08 |
Family
ID=73607354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010917329.XA Pending CN112051816A (zh) | 2020-09-03 | 2020-09-03 | 数据采集系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112051816A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112637301A (zh) * | 2020-12-16 | 2021-04-09 | 华中师范大学 | 一种基于Project Reactor框架的数据传输方法及系统 |
| CN115102672A (zh) * | 2022-06-15 | 2022-09-23 | 珠海格力电器股份有限公司 | 数据处理方法、系统、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106685815A (zh) * | 2017-01-04 | 2017-05-17 | 上海建坤信息技术有限责任公司 | 一种多协议硬件采集网关系统 |
| CN106789459A (zh) * | 2016-12-07 | 2017-05-31 | 中国人民解放军理工大学 | 一种基于树莓派的智能设备控制装置及控制方法 |
| US20180302424A1 (en) * | 2017-04-12 | 2018-10-18 | International Business Machines Corporation | Security for internet of things devices |
| CN208401886U (zh) * | 2018-04-13 | 2019-01-18 | 四川野马科技有限公司 | 物联网设备数据管理系统 |
| CN111031094A (zh) * | 2019-11-06 | 2020-04-17 | 远景智能国际私人投资有限公司 | IoT系统中的数据传输方法、装置、设备及存储介质 |
| CN111107161A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种数据采集方法及装置 |
| CN111371854A (zh) * | 2020-02-24 | 2020-07-03 | 南京甄视智能科技有限公司 | 物联网中的离线消息发送方法、装置、存储介质及服务器 |
-
2020
- 2020-09-03 CN CN202010917329.XA patent/CN112051816A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106789459A (zh) * | 2016-12-07 | 2017-05-31 | 中国人民解放军理工大学 | 一种基于树莓派的智能设备控制装置及控制方法 |
| CN106685815A (zh) * | 2017-01-04 | 2017-05-17 | 上海建坤信息技术有限责任公司 | 一种多协议硬件采集网关系统 |
| US20180302424A1 (en) * | 2017-04-12 | 2018-10-18 | International Business Machines Corporation | Security for internet of things devices |
| CN208401886U (zh) * | 2018-04-13 | 2019-01-18 | 四川野马科技有限公司 | 物联网设备数据管理系统 |
| CN111031094A (zh) * | 2019-11-06 | 2020-04-17 | 远景智能国际私人投资有限公司 | IoT系统中的数据传输方法、装置、设备及存储介质 |
| CN111107161A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种数据采集方法及装置 |
| CN111371854A (zh) * | 2020-02-24 | 2020-07-03 | 南京甄视智能科技有限公司 | 物联网中的离线消息发送方法、装置、存储介质及服务器 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112637301A (zh) * | 2020-12-16 | 2021-04-09 | 华中师范大学 | 一种基于Project Reactor框架的数据传输方法及系统 |
| CN112637301B (zh) * | 2020-12-16 | 2022-08-05 | 华中师范大学 | 一种基于Project Reactor框架的数据传输方法及系统 |
| CN115102672A (zh) * | 2022-06-15 | 2022-09-23 | 珠海格力电器股份有限公司 | 数据处理方法、系统、计算机设备和存储介质 |
| CN115102672B (zh) * | 2022-06-15 | 2024-04-05 | 珠海格力电器股份有限公司 | 数据处理方法、系统、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111163002B (zh) | 一种基于容器的边缘网关系统和能源数据处理方法 | |
| US10469600B2 (en) | Local Proxy for service discovery | |
| US11323519B2 (en) | Internet of things pub-sub data publisher | |
| CN110795503A (zh) | 分布式存储系统的多集群数据同步方法及相关装置 | |
| WO2023246347A1 (zh) | 数字孪生处理方法及数字孪生系统 | |
| EP2832039B1 (en) | Platform independent management controller | |
| CN103414579A (zh) | 一种适用于云计算的跨平台监控系统及其监控方法 | |
| CN106161644B (zh) | 数据处理的分布式系统及其数据处理方法 | |
| CN112235130A (zh) | 一种实现基于sdn网络的运维自动化的方法和装置 | |
| CN107357571A (zh) | 设备组件程序的维护方法、系统及组件服务器 | |
| CN113783831A (zh) | 一种物联网信息处理方法、装置和系统 | |
| CN112051816A (zh) | 数据采集系统和方法 | |
| US9170579B1 (en) | System, method and computer program product for monitoring and controlling industrial energy equipment | |
| CN104834582A (zh) | 一种监控事件展示方法 | |
| CN103034540A (zh) | 分布式消息系统及其设备和协调方法 | |
| US20180331894A1 (en) | System and method for dynamic and extensible management of device nodes | |
| CN105404530B (zh) | 一种实现简易部署和使用私有云的系统及方法 | |
| CN114785830A (zh) | 一种演艺智慧云平台 | |
| CN115412602A (zh) | 一种数字孪生的数据解析流转方法、装置、设备及介质 | |
| CN104219280A (zh) | 一种智能应用数据传输通道 | |
| CN117130730A (zh) | 面向联邦Kubernetes集群的元数据管理方法 | |
| CN104219097A (zh) | 一种分布式系统的快速配置方法 | |
| CN104270432A (zh) | 基于钻井行业实时数据服务系统及数据交互方法 | |
| CN114390093B (zh) | 一种虚拟网关模拟系统 | |
| CN115396523A (zh) | 物联网数据处理方法、装置、设备、介质及物联网软网关 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201208 |
|
| RJ01 | Rejection of invention patent application after publication |