CN110351360B - 一种数据采集方法及装置 - Google Patents

一种数据采集方法及装置 Download PDF

Info

Publication number
CN110351360B
CN110351360B CN201910620866.5A CN201910620866A CN110351360B CN 110351360 B CN110351360 B CN 110351360B CN 201910620866 A CN201910620866 A CN 201910620866A CN 110351360 B CN110351360 B CN 110351360B
Authority
CN
China
Prior art keywords
data
acquired
equipment
program
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910620866.5A
Other languages
English (en)
Other versions
CN110351360A (zh
Inventor
杨建平
陈中川
祝彦明
谢磊
谢峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hollysys Kauber Technology Co ltd
Original Assignee
Ningbo Helishi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Helishi Intelligent Technology Co ltd filed Critical Ningbo Helishi Intelligent Technology Co ltd
Priority to CN201910620866.5A priority Critical patent/CN110351360B/zh
Publication of CN110351360A publication Critical patent/CN110351360A/zh
Application granted granted Critical
Publication of CN110351360B publication Critical patent/CN110351360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种数据采集方法,包括:数据采集装置从Docker镜像中加载并运行网关系统,以实现对待采集设备的数据采集;其中,所述Docker镜像部署在云端;所述网关系统包括对待采集设备进行数据采集的软件程序。将由对待采集设备进行数据采集的软件程序构成的网关系统,预先配置好,部署到Docker镜像,并上传至云端。用户通过数据采集装置从Docker镜像中加载并运行网关系统,就能直接实现对待采集设备进行数据采集,无需再进行繁琐的部署过程,从而使得网关系统的部署变得的简易。本发明还提供了一种与所述数据采集方法相对应的数据采集装置。

Description

一种数据采集方法及装置
技术领域
本发明涉及数据采集技术领域,特别涉及一种数据采集方法及装置。
背景技术
网关系统是一种用于工业现场进行数据采集的软件系统,通常是由工程人员或用户在工程实施时部署到现场的计算机中,对工业现场中的设备进行数据采集。入云网关则是在普通网关的基础上,增加了数据入云的能力。
通常,网关系统是由多套软件共同组成的,所以在网关系统的部署过程中一般需要人工安装建模组态软件、采集软件、数据入云软件等。每套软件通过完成特定的工作,相互协作来实现入云网关系统。并且,在网关系统的实现的过程中,还需要根据待采集设备的参数进行相应的建模组态,才能对该设备进行数据采集。所以,整个网关系统的实现非常的复杂,对用户的专业水平要求比较高。
但是,在物联网高速发展的背景下,网关系统的应用正在高速普及中。在大量的用户群中,存在具有专业基础的工程人员也有没有任何专业基础的普通用户。而网关系统部署的复杂性,使得没有专业基础的用户在部署过程中问题频出或直接望而却步。所以,如何使得入云网关系统的实现更加简易显得尤为重要。
发明内容
基于上述现有技术的不足,本发明提出一种数据采集方法及装置以解决网关系统部署过于复杂,使得没有专业基础的用户在部署过程中问题频出或直接望而却步的问题。
为了实现上述目的,本发明提供了以下技术方案:
本发明一方面提供了一种数据采集方法,包括:
数据采集装置从Docker镜像中加载并运行网关系统,以实现对待采集设备的数据采集;其中,所述Docker镜像部署在云端;所述网关系统包括对待采集设备进行数据采集的软件程序。
可选地,在上述的数据采集方法中,所述网关系统包括:设备资源包、采集服务程序、配置监视程序以及入云程序;
其中,所述数据采集装置运行网关系统以实现对待采集设备的数据采集,包括:
所述数据采集装置执行所述配置监视程序以搭建配置页面;其中,所述配置页面用于用户配置所述待采集设备的地址及云端服务器的地址;
所述数据采集装置执行所述采集服务程序以加载所述设备资源包中包含的所述待采集设备的数据模型及通信协议处理程序,依据所述待采集设备的地址对所述待采集设备进行数据采集,获得所述待采集设备的数据;
所述数据采集装置执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器。
可选地,在上述的数据采集方法中,所述数据采集装置执行所述配置监视程序以搭建配置页面,包括:
所述数据采集装置执行所述配置监视程序以搭建web服务;其中,所述web服务包含所述配置页面、监视页面及说明页面,所述监视页面用于对所述待采集设备的运行状态及数据进行监视,所述说明页面用于提供所述网关系统的使用说明及常见问题的解答。
可选地,在上述的数据采集方法中,所述数据采集装置执行所述采集服务程序以加载所述设备资源包中包含的所述待采集设备的数据模型及通信协议处理程序,依据所述待采集设备的地址对所述待采集设备进行数据采集,获得所述待采集设备的数据,包括:
所述数据采集装置执行所述采集服务程序以按预设路径加载所述资源包中包含的所述待采集设备的数据模型及通信协议处理程序;
所述数据采集装置执行所述采集服务程序以解析所述数据模型,获得所述数据模型的信息,并根据所述数据模型的信息构建采集任务;
所述数据采集装置执行所述采集服务程序以调用所述通信协议处理程序,依据所述待采集设备的地址与所述待采集设备建立连接,并向所述待采集设备发送请求报文;其中,所述请求报文由所述通信协议处理程序根据所述采集任务构建,用于请求采集所述待采集设备的数据;
所述数据采集装置执行所述采集服务程序以调用所述通信协议处理程序解析所述待采集设备对所述请求报文的响应报文,获得所述待采集设备的数据。
可选地,在上述的数据采集方法中,所述数据采集装置执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器,包括:
所述数据采集装置执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据上传至所述云端服务器。
可选地,在上述的数据采集方法中,所述数据采集装置执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器,包括:
所述数据采集装置存储所述待采集设备的数据,并判断所述待采集设备的数据是否出现变化;
若判断出所述待采集设备的数据出现了变化,则所述数据采集装置根据所述待采集设备的数据更新所述数据模型,并执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据以及所述数据模型,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据以及所述数据模型上传至所述云端服务器。
本发明另一方面提供了一种数据采集装置,包括:
加载单元,用于从Docker镜像中加载并运行网关系统,以实现对待采集设备的数据采集;其中,所述Docker镜像部署在云端;所述网关系统包括对待采集设备进行数据采集的软件程序。
可选地,在上述的数据采集装置中,所述网关系统包括:设备资源包、采集服务程序、配置监视程序以及入云程序;
其中,加载单元包括:
第一执行单元,用于执行所述配置监视程序以搭建配置页面;其中,所述配置页面用于用户配置所述待采集设备的地址及云端服务器的地址;
第二执行单元,用于执行所述采集服务程序以加载所述设备资源包中包含的所述待采集设备的数据模型及通信协议处理程序,依据所述待采集设备的地址对所述待采集设备进行数据采集,获得所述待采集设备的数据;
第三执行单元,用于执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器。
可选地,在上述的数据采集装置中,所述第一执行单元,包括:
第四执行单元,用于执行所述配置监视程序以搭建web服务;其中,所述web服务包含所述配置页面、监视页面及说明页面,所述监视页面用于对所述待采集设备的运行状态及数据进行监视,所述说明页面用于提供所述网关系统的使用说明及常见问题的解答。
可选地,在上述的数据采集装置中,所述第二执行单元,包括:
第五执行单元,用于执行所述采集服务程序以按预设路径加载所述资源包中包含的所述待采集设备的数据模型及通信协议处理程序;
第六执行单元,用于执行所述采集服务程序以解析所述数据模型,获得所述数据模型的信息,并根据所述数据模型的信息构建采集任务;
第七执行单元,用于执行所述采集服务程序以调用所述通信协议处理程序,依据所述待采集设备的地址与所述待采集设备建立连接,并向所述待采集设备发送请求报文;其中,所述请求报文由所述通信协议处理程序根据所述采集任务构建,用于请求采集所述待采集设备的数据;
第八执行单元,用于执行所述采集服务程序以调用所述通信协议处理程序解析所述待采集设备对所述请求报文的响应报文,获得所述待采集设备的数据。
可选地,在上述的数据采集装置中,所述第三执行单元,包括:
第九执行单元,用于执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据上传至所述云端服务器。
可选地,在上述的数据采集装置中,所述第三执行单元,包括:
存储单元,用于存储所述待采集设备的数据;
判断单元,用于判断所述待采集设备的数据是否出现变化;
第十执行单元,用于所述判断单元判断出所述待采集设备的数据出现了变化,根据所述待采集设备的数据更新所述数据模型,并执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据以及所述数据模型,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据以及所述数据模型上传至所述云端服务器。
本发明提供的数据采集的方法,通过将包括有对待采集设备进行数据采集的软件程序的网关系统部署在Docker镜像,并将Docker镜像部署在云端。所有的对待采集设备进行数据采集的软件程序都是预先配置好的,用户无需在部署过程中对数据采集的软件程序进行配置。只需要通过数据采集装置从Docker镜像中加载并运行网关系统,就可以实现对待采集设备的数据采集。用户无需再进行复杂的网关系统部署过程,从而使得网关系统的使用变得非常的简易。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据采集方法的流程图;
图2为本发明另一实施例提供的一种数据采集方法的流程示意图;
图3为本发明另一实施例提供的一种数据采集方法的流程示意图;
图4为本发明另一实施例提供的一种数据采集装置的结构示意图;
图5为本发明另一实施例提供的一种数据采集装置的结构示意图;
图6为本发明另一实施例提供的一种数据采集装置的结构示意图;
图7为本发明另一实施例提供的一种数据采集装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供了一种数据采集方法,其特征在于,包括:
数据采集装置从Docker镜像中加载并运行网关系统,以实现对待采集设备的数据采集。
其中,所述Docker镜像部署在云端;所述网关系统包括对待采集设备进行数据采集的软件程序。
需要说明的是,数据采集装置指的是与待采集设备相连接,并且可对待采集设备进行数据采集的装置。而网关系统是一种通常用于工业现场进行数据采集的软件系统,通常是由工程人员或用户在工程实施时部署到现场的计算机中,以对工业现场中的设备进行数据采集。所以,数据采集装置通常指的也就是工程现场的计算机。当然,数据采集装置也可以是待采集设备本身自带的装置,或者一个专门只用于数据采集的装置,又或者是其他能加载并运行网关系统,实现对待采集设备进行数据采集的装置。
在本发明实施例中,网关系统由开发人员预先根据特定的待采集设备进行开发,即网关系统中包括的对待采集设备进行数据采集的软件程序,是由开发人员预先针对特定待采集设备进行开发的。然后将开发完成后的网关系统部署在Docker镜像中,并将包含有网关系统的Docker镜像部署到云端。所以,用户在部署网关系统对待采集设备进行数据采集时,无需再自行根据待采集设备进行配置及部署。每一个Docker镜像都对应着特定的一类待采集设备。用户在需要通过网关系统对待采集设备进行数据采集时,只需要针对待采集设备的类型通过数据采集装置在云端选择相应的Docker镜像,然后加载并运行该Docker镜像,数据采集装置将通过网关系统中包括的对待采集设备进行数据采集的软件程序,实现对待采集设备的数据采集。
可选地,本发明的另一实施例中,所述网关系统包括:设备资源包、采集服务程序、配置监视程序以及入云程序。其中,所述数据采集装置运行网关系统以实现对待采集设备的数据采集,如图1所示,所述方法具体包括:
S101、所述数据采集装置执行所述配置监视程序以搭建配置页面,其中,所述配置页面用于用户配置所述待采集设备的地址及云端服务器的地址。
也就是说,配置监视程序主要用于为数据采集提供地址信息配置的功能其通过搭建配置页面,以让用户在配置页面上配置待采集设备的地址和云端服务器的地址。从而能准确的对待采集设备的地址所对应的设备进行数据采集,以及将数据上传至云端服务器的地址所对应的云端服务器中。
具体的,用户可根据Docker镜像的IP地址,使用浏览器连接配置监视程序,从而获得配置页面,并在配置页面上输入待采集设备的IP地址以及云端服务器的IP地址。
可选地,本发明的另一实施例中,所述步骤S101的一种具体实施方式,包括:所述数据采集装置执行所述配置监视程序以搭建web服务。其中,所述web服务包含所述配置页面、监视页面及说明页面。
其中,所述监视页面用于对所述待采集设备的运行状态及数据进行监视,所述说明页面用于提供所述网关系统的使用说明及常见问题的解答。
也就是说,数据采集装置执行配置监视程序时,配置监视程序将搭建一个包含配置页面、监视页面及说明页面的小型web服务。
由于网关系统是针对特定的待采集设备的,所以配置页面也可以是针对特定的待采集设备进行搭建的;监视页面则可以针对待采集设备,以更加直观向用户的提供监视状态,例如文字或动画等,不用再同现有技术一样仅能以数字的形式提供监视状态。而说明页面,也能相应的提供该网关系统在对应的待采集设备的使用说明和常见问题的解答。当然,这三个页面也可以设置成统一的形式,不用针对特定的待采集设备。
S102、所述数据采集装置执行所述采集服务程序以加载所述设备资源包中包含的所述待采集设备的数据模型及通信协议处理程序,依据所述待采集设备的地址对所述待采集设备进行数据采集,获得所述待采集设备的数据。
也就是说,采集服务程序可以简单的理解为可根据待采集设备的通信协议和数据模型对待采集设备进行数据采集的程序。具体的,可通过执行采集服务程序利用预先配置好的待采集设备的数据模型和通信协议处理程序对待采集设备进行数据采集。
需要说明的是,设备资源包中包含有所述待采集设备的数据模型及通信协议处理程序。数据模型是针对待采集设备所建立的数据采集模型,其内包含有该类待采集设备的数据测点以及每个数据测点对应数据的存储地址。所述通信协议处理程序则主要是用于实现该类待采集设备所支持的通信协议,并能按通信洗衣要求生成并发送请求报文以及对响应报文的解析。所以,设备数据包和待采集设备的种类是一一对应的。
在现有技术中,对于数据模型和通信协议的处理,则需要用户在部署网关系统过程中,先安装建模组态的软件,再利用该软件针对待采集设备进行相应的建模,以及组态待采集设备的通信参数。显然,这个过程是非常的繁琐,并且对用户的专业知识有着一定的要求。而本发明中的数据模型和通信协议都是由专业的开发人员预先,针对待采集设备开发好的,免除用户在部署网关系统时进行建模组态的过程,从而避免了用户在建模组态过程中出现错误,也降低了网关系统对用户的专业知识的要求。
因为,通过待采集设备的数据模型,可获得对待采集设备的进行数据采集的具体采集目标以及数据存储地址等信息,而通信协议处理程序可依据待采集设备的地址与待采集设备建立连接。所以,数据采集装置执行采集服务程序,由采集服务程序从设备资源包加载待采集设备的数据模型以及通信协议处理程序,可以依据所述待采集设备的地址对所述待采集设备进行数据采集,获得所述待采集设备的数据。
可选地,本发明的另一实施例中,所述步骤S102的一种实施方式,如图2所示,包括:
S201、所述数据采集装置执行所述采集服务程序以按预设路径加载所述资源包中包含的所述待采集设备的数据模型及通信协议处理程序。
需要说明的是,对于所述待采集设备的通信协议处理程序,可以是在本步骤中预先加载,在需要使用时直接进行调用。也可以是,不在本步骤中加载,而当需要调用通信协议处理程序时,再对其进行加载并调用。
S202、所述数据采集装置执行所述采集服务程序以解析所述数据模型,获得所述数据模型的信息,并根据所述数据模型的信息构建采集任务。
其中,所述数据模型的信息可以包括数据测点以及每个数据测点对应数据的存储地址。需要说明的是,对待采集设备进行数据采集,实质是对待采集设备中的探测器对数据测点进行探测的数据进行采集,即针对探测器对应的数据的存储地址进行数据采集。因此,根据所述数据模型的信息就可以构建对待采集设备的数据的采集任务。
S203、所述数据采集装置执行所述采集服务程序以调用所述通信协议处理程序,依据所述待采集设备的地址与所述待采集设备建立连接,并向所述待采集设备发送请求报文。
其中,所述请求报文由所述通信协议处理程序根据所述采集任务构建,用于请求采集所述待采集设备的数据。
具体的,数据采集装置通过执行采集服务程序调用通信协议处理程序,由通信协议处理程序基于所述待采集设备支持的通信协议,根据采集任务构建相应的请求报文,并依据用户通过配置页面所配置的待采集设备的地址与待采集设备建立连接,按周期地将请求报文发送给待采集设备,以向待采集设备请所要采集的数据。
需要说明的是,待采集设备在接收到请求报文后,会依据请求报文所请求的数据构建响应报文,并返回。所以,在执行步骤S203后,还可以进一步包括:判断是否接收到待采集设备对请求报文的响应报文,若判断出接收到待采集设备对请求报文的响应报文,则执行步骤S204。
S204、所述数据采集装置执行所述采集服务程序以调用所述通信协议处理程序解析所述待采集设备对所述请求报文的响应报文,获得所述待采集设备的数据。
具体的,由于网关系统与待采集设备之间的数据传输是按一定的协议进行传输的,所以在得到待采集设备对请求报文的响应报文后,需要通过通信协议处理程序解析响应报文,才能获得所述待采集设备的数据。
S103、所述数据采集装置执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器。
也就是说,入云程序的作用就是按通信协议要求与云端服务器建立连接关系,并将采集到的数据上传至云端服务器。
具体的,在获得待采集设备的数据后,执行采集服务程序以调用入云程序,基于相应的通信协议,根据用户通过配置页面配置的所述云端服务器的地址与对应的云端服务器建立通信链路,并建立的通信链路将待采集设备的数据上传至对应的云端服务器。
可选地,本发明的另一实施例中,步骤S103的一种实施方式,包括:
所述数据采集装置执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据上传至所述云端服务器。
也就是说,入云程序需要根据与云端服务器间的通信协议,对待采集设备的数据进行包装,然后才能基于该通信协议,将待采集设备的数据上传至云端服务器。
可选地,本发明实施例中入云程序主要用于实现消息队列遥测传输协议(MessageQueuing Telemetry Transport,MQTT),并以JavaScript对象简谱的数据交换格式,将待采集设备的数据组织到通信报文中,并通过与云端服务器建立的连接将通信报文传输至与云端服务器,从而将待采集设备的数据上传至云端服务器。
可选地,本发明另一实施例中,步骤S103的另一种实施方式,如图3所示,包括:
S301、所述数据采集装置存储所述待采集设备的数据。
需要说明的是,由于通过对待采集设备的数据的采集并不是一次性的,而是持续性的。所以,为了能通过比较前后所采集的数据,确定待采集设备的数据是否出现了变化。所以,需要先将获取到的待采集设备的数据进行存储。
可选地,由于待采集设备的数据会上传到云端,所以可以采用快照的形式存储待采集设备的数据。
S302、判断所述待采集设备的数据是否出现变化。
具体的,通过将当前时刻采集到的待采集设备的数据与上一时刻采集到的待采集设备的数据进行比较,判断待采集设备的数据是否出现了变化。若两个时刻的采集到数据一致,则判断出待采集设备的数据没有出现变化,若两个时刻的采集到数据不一致,则判断出待采集设备的数据出现了变化。
需要说明的是,若当前时刻所采集的待采集设备的数据为第一次采集到待采集设备的数据,则上一时刻采集到的待采集设备的数据可以视为空。所以,当前时刻采集到的待采集设备的数据与上一时刻采集到的待采集设备的数据是不一致的,因此判断出待采集设备的数据出现了变化。
还需要说明的是,在执行步骤S302判断出待采集设备的数据出现了变化,则执行步骤S303。
S303、所述数据采集装置根据所述待采集设备的数据更新所述数据模型,并执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据以及所述数据模型,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据以及所述数据模型上传至所述云端服务器。
需要说明的是,当待采集设备的数据发生了变化,说明可能是待采集设备的出现了变化或数据模型存在问题,此时需要根据发生变化的数据对数据模型进行更新,以能保证以后准确地对待采集设备进行数据采集。将更新后的数据模型和待采集设备的数据一起上传至云端服务器,以备后续的使用。
可选地,可以只待采集设备的数据中发送变化的数据以及数据模型中进行了更新的部分上传至云端服务器。这样可以将上传的数据量,提供数据的上传效率。但是,需要说明的是,若是第一次上传采集设备的数据及数据模型,则需要将所有的待采集设备的数据以及完整的数据模型上传至云端,以保证云端服务器拥有完整的待采集设备的数据及数据模型。
本发明实施例提供的数据采集的方法,通过将包括有对待采集设备进行数据采集的软件程序的网关系统部署在Docker镜像,并将Docker镜像部署在云端。所以,所有的对待采集设备进行数据采集的软件程序都是预先配置好的,用户无需再对数据采集的软件程序进行配置。只需要通过数据采集装置从Docker镜像中加载并运行网关系统,执行网关系统中软件程序,实现对待采集设备的数据采集。用户无需进行复杂的网关系统部署过程,从而使得网关系统的使用更加的简易。
本发明另一实施例提供了一种数据采集装置,如图4所示,包括:
加载单元401,用于从Docker镜像中加载并运行网关系统,以实现对待采集设备的数据采集。
其中,所述Docker镜像部署在云端;所述网关系统包括对待采集设备进行数据采集的软件程序。
具体的,加载单元401的具体工作过程可参见上述方法实施例,此处不再赘述。
本发明实施例提供的数据采集装置,通过预先将包括有对待采集设备进行数据采集的软件程序的网关系统部署在Docker镜像,并将Docker镜像部署在云端。所以,所有的对待采集设备进行数据采集的软件程序都是预先配置好的,用户无需再对数据采集的软件程序进行配置。只需要通过加载单元从Docker镜像中加载并运行网关系统,执行网关系统中软件程序,实现对待采集设备的数据采集。用户无需进行复杂的网关系统部署过程,整个网关系统的加载及运行都由数据采集装置自动进行,从而使得网关系统的使用更加的简易。
可选地,本发明的另一实施例中,所述网关系统包括:设备资源包、采集服务程序、配置监视程序以及入云程序。其中,加载单元,如图5所示,包括:
第一执行单元501,用于执行所述配置监视程序以搭建配置页面。
其中,所述配置页面用于用户配置所述待采集设备的地址及云端服务器的地址。
具体的,第一执行单元501的具体工作过程可参见上述方法实施例中的步骤S101,此处不再赘述。
第二执行单元502,用于执行所述采集服务程序以加载所述设备资源包中包含的所述待采集设备的数据模型及通信协议处理程序,依据所述待采集设备的地址对所述待采集设备进行数据采集,获得所述待采集设备的数据。
具体的,第二执行单元502的具体工作过程可参见上述方法实施例中的步骤S102,此处不再赘述。
第三执行单元503,用于执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器。
具体的,第三执行单元503的具体工作过程可参见上述方法实施例中的步骤S103,此处不再赘述。
可选地,本发明的另一实施例中,第一执行单元,包括:
第四执行单元,用于执行所述配置监视程序以搭建web服务;其中,所述web服务包含所述配置页面、监视页面及说明页面。
其中,所述监视页面用于对所述待采集设备的运行状态及数据进行监视,所述说明页面用于提供所述网关系统的使用说明及常见问题的解答。
具体的,第四执行单元的具体工作过程可参见上述方法实施例中的步骤S101的一种具体实施方式,此处不再赘述。
可选地,本发明另一实施例中,如图6所示,第二执行单元,包括:
第五执行单元601,用于执行所述采集服务程序以按预设路径加载所述资源包中包含的所述待采集设备的数据模型及通信协议处理程序。
具体的,第五执行单元601的具体工作过程可参见上述方法实施例中的步骤S201,此处不再赘述。
第六执行单元602,用于执行所述采集服务程序以解析所述数据模型,获得所述数据模型的信息,并根据所述数据模型的信息构建采集任务。
具体的,第六执行单元602的具体工作过程可参见上述方法实施例中的步骤S202,此处不再赘述。
第七执行单元603,用于执行所述采集服务程序以调用所述通信协议处理程序,依据所述待采集设备的地址与所述待采集设备建立连接,并向所述待采集设备发送请求报文。
其中,所述请求报文由所述通信协议处理程序根据所述采集任务构建,用于请求采集所述待采集设备的数据。
具体的,第七执行单元603的具体工作过程可参见上述方法实施例中的步骤S203,此处不再赘述。
第八执行单元604,用于执行所述采集服务程序以调用所述通信协议处理程序解析所述待采集设备对所述请求报文的响应报文,获得所述待采集设备的数据。
具体的,第八执行单元604的具体工作过程可参见上述方法实施例中的步骤S204,此处不再赘述。
可选地,本发明另一实施例中,第三执行单元,包括:
第九执行单元,用于执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据上传至所述云端服务器。
具体的,第九执行单元的具体工作过程可参见上述方法实施例中的步骤S103的相应的一种具体实施方式,此处不再赘述。
可选地,本发明的另一实施例中,如图7所示,第三执行单元,包括:
存储单元701,用于存储所述待采集设备的数据。
具体的,存储单元701的具体工作过程可参见上述方法实施例中的步骤S301,此处不再赘述。
判断单元702,用于判断所述待采集设备的数据是否出现变化。
具体的,判断单元702的具体工作过程可参见上述方法实施例中的步骤S302,此处不再赘述。
第十执行单元703,用于判断单元702判断出所述待采集设备的数据出现了变化,根据所述待采集设备的数据更新所述数据模型,并执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据以及所述数据模型,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据以及所述数据模型上传至所述云端服务器。
具体的,第十执行单元703的具体工作过程可参见上述方法实施例中的步骤S303,此处不再赘述。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据采集方法,其特征在于,包括:
数据采集装置从Docker镜像中加载并运行网关系统,以实现对待采集设备的数据采集;其中,所述Docker镜像部署在云端;所述网关系统包括对待采集设备进行数据采集的软件程序;每一个所述Docker镜像都预先部署了特定的一类待采集设备的网关系统;
所述网关系统包括:设备资源包、采集服务程序、配置监视程序以及入云程序;
其中,所述数据采集装置运行网关系统以实现对待采集设备的数据采集,包括:
所述数据采集装置执行所述配置监视程序以搭建配置页面;其中,所述配置页面用于用户配置所述待采集设备的地址及云端服务器的地址;
所述数据采集装置执行所述采集服务程序以加载所述设备资源包中包含的所述待采集设备的数据模型及通信协议处理程序,依据所述待采集设备的地址对所述待采集设备进行数据采集,获得所述待采集设备的数据;
所述数据采集装置执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器;
所述数据采集装置执行所述配置监视程序以搭建配置页面,包括:
所述数据采集装置执行所述配置监视程序以搭建web服务;其中,所述web服务包含所述配置页面、监视页面及说明页面,所述监视页面用于对所述待采集设备的运行状态及数据进行监视,所述说明页面用于提供所述网关系统的使用说明及常见问题的解答。
2.根据权利要求1所述的数据采集方法,其特征在于,所述数据采集装置执行所述采集服务程序以加载所述设备资源包中包含的所述待采集设备的数据模型及通信协议处理程序,依据所述待采集设备的地址对所述待采集设备进行数据采集,获得所述待采集设备的数据,包括:
所述数据采集装置执行所述采集服务程序以按预设路径加载所述资源包中包含的所述待采集设备的数据模型及通信协议处理程序;
所述数据采集装置执行所述采集服务程序以解析所述数据模型,获得所述数据模型的信息,并根据所述数据模型的信息构建采集任务;
所述数据采集装置执行所述采集服务程序以调用所述通信协议处理程序,依据所述待采集设备的地址与所述待采集设备建立连接,并向所述待采集设备发送请求报文;其中,所述请求报文由所述通信协议处理程序根据所述采集任务构建,用于请求采集所述待采集设备的数据;
所述数据采集装置执行所述采集服务程序以调用所述通信协议处理程序解析所述待采集设备对所述请求报文的响应报文,获得所述待采集设备的数据。
3.根据权利要求1所述的数据采集方法,其特征在于,所述数据采集装置执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器,包括:
所述数据采集装置执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据上传至所述云端服务器。
4.根据权利要求1所述的数据采集方法,其特征在于,所述数据采集装置执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器,包括:
所述数据采集装置存储所述待采集设备的数据,并判断所述待采集设备的数据是否出现变化;
若判断出所述待采集设备的数据出现了变化,则所述数据采集装置根据所述待采集设备的数据更新所述数据模型,并执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据以及所述数据模型,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据以及所述数据模型上传至所述云端服务器。
5.一种数据采集装置,其特征在于,包括:
加载单元,用于从Docker镜像中加载并运行网关系统,以实现对待采集设备的数据采集;其中,所述Docker镜像部署在云端;所述网关系统包括对待采集设备进行数据采集的软件程序;每一个所述Docker镜像都预先部署了特定的一类待采集设备的网关系统;
所述网关系统包括:设备资源包、采集服务程序、配置监视程序以及入云程序;
其中,加载单元包括:
第一执行单元,用于执行所述配置监视程序以搭建配置页面;其中,所述配置页面用于用户配置所述待采集设备的地址及云端服务器的地址;
第二执行单元,用于执行所述采集服务程序以加载所述设备资源包中包含的所述待采集设备的数据模型及通信协议处理程序,依据所述待采集设备的地址对所述待采集设备进行数据采集,获得所述待采集设备的数据;
第三执行单元,用于执行所述采集服务程序以调用所述入云程序,将所述待采集设备的数据上传至所述云端服务器的地址对应的云端服务器;
所述第一执行单元,包括:
第四执行单元,用于执行所述配置监视程序以搭建web服务;其中,所述web服务包含所述配置页面、监视页面及说明页面,所述监视页面用于对所述待采集设备的运行状态及数据进行监视,所述说明页面用于提供所述网关系统的使用说明及常见问题的解答。
6.根据权利要求5所述的数据采集装置,其特征在于,所述第二执行单元,包括:
第五执行单元,用于执行所述采集服务程序以按预设路径加载所述资源包中包含的所述待采集设备的数据模型及通信协议处理程序;
第六执行单元,用于执行所述采集服务程序以解析所述数据模型,获得所述数据模型的信息,并根据所述数据模型的信息构建采集任务;
第七执行单元,用于执行所述采集服务程序以调用所述通信协议处理程序,依据所述待采集设备的地址与所述待采集设备建立连接,并向所述待采集设备发送请求报文;其中,所述请求报文由所述通信协议处理程序根据所述采集任务构建,用于请求采集所述待采集设备的数据;
第八执行单元,用于执行所述采集服务程序以调用所述通信协议处理程序解析所述待采集设备对所述请求报文的响应报文,获得所述待采集设备的数据。
7.根据权利要求5所述的数据采集装置,其特征在于,所述第三执行单元,包括:
第九执行单元,用于执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据上传至所述云端服务器。
8.根据权利要求5所述的数据采集装置,其特征在于,所述第三执行单元,包括:
存储单元,用于存储所述待采集设备的数据;
判断单元,用于判断所述待采集设备的数据是否出现变化;
第十执行单元,用于所述判断单元判断出所述待采集设备的数据出现了变化,根据所述待采集设备的数据更新所述数据模型,并执行所述采集服务程序以调用所述入云程序包装所述待采集设备的数据以及所述数据模型,并根据所述云端服务器的地址与所述云端服务器建立连接,将包装后的所述待采集设备的数据以及所述数据模型上传至所述云端服务器。
CN201910620866.5A 2019-07-10 2019-07-10 一种数据采集方法及装置 Active CN110351360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910620866.5A CN110351360B (zh) 2019-07-10 2019-07-10 一种数据采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910620866.5A CN110351360B (zh) 2019-07-10 2019-07-10 一种数据采集方法及装置

Publications (2)

Publication Number Publication Date
CN110351360A CN110351360A (zh) 2019-10-18
CN110351360B true CN110351360B (zh) 2022-11-29

Family

ID=68175791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910620866.5A Active CN110351360B (zh) 2019-07-10 2019-07-10 一种数据采集方法及装置

Country Status (1)

Country Link
CN (1) CN110351360B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108092884A (zh) * 2017-11-23 2018-05-29 南京邮电大学 一种无线接入网关系统及应用方法
CN109714358A (zh) * 2019-01-15 2019-05-03 广东工业大学 一种微服务化的注塑mes云平台

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713389B (zh) * 2015-11-13 2019-09-03 深圳华远云联数据科技有限公司 监控方法及监控系统
US10616249B2 (en) * 2016-03-31 2020-04-07 Intel Corporation Adaptive internet of things edge device security
CN107247648B (zh) * 2016-09-30 2020-07-17 北京赢点科技有限公司 基于Docker实现远程项目系统监管的方法、装置及系统
CN106484886A (zh) * 2016-10-17 2017-03-08 金蝶软件(中国)有限公司 一种数据采集的方法及其相关设备
CN106534298B (zh) * 2016-11-09 2020-01-14 深圳华远云联数据科技有限公司 基于物联网的数据商店系统
CN107612710A (zh) * 2017-08-11 2018-01-19 北京百度网讯科技有限公司 一种对物联网的本地网关进行云端配置的方法与系统
US10778579B2 (en) * 2017-08-27 2020-09-15 Nicira, Inc. Performing in-line service in public cloud
CN108681288A (zh) * 2018-06-28 2018-10-19 上海电器科学研究所(集团)有限公司 一种基于云平台的远程运维系统
CN109889551B (zh) * 2019-04-16 2021-08-27 陆伟 一种智能硬件接入的物联网云平台的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108092884A (zh) * 2017-11-23 2018-05-29 南京邮电大学 一种无线接入网关系统及应用方法
CN109714358A (zh) * 2019-01-15 2019-05-03 广东工业大学 一种微服务化的注塑mes云平台

Also Published As

Publication number Publication date
CN110351360A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
US20220329493A1 (en) Method, apparatus, and device for data analytics and storage medium
CN106844137B (zh) 服务器的监控方法和装置
CN105164644B (zh) 钩子框架
RU2605919C2 (ru) Способ и устройство отображения push-сообщений
US10348866B2 (en) Apparatus, system and method to provide IoT cloud backend service
CN110187912B (zh) 一种节点选择方法和装置
EP3420681A1 (en) Cloud verification and test automation
CN108415820B (zh) 应用安装包的测试方法和装置
CN106528143A (zh) 一种配置管理方法及装置
US10445214B2 (en) System and method for tracking callback functions for error identification
CN113055492A (zh) 服务灰度链路的控制方法、装置、计算机设备和存储介质
US20180324031A1 (en) Diagnostic traffic generation for automatic testing and troubleshooting
CN108733553A (zh) 基于docker的测试装置的配置方法、装置和系统
CN106339273A (zh) 一种应用程序修复方法、终端及服务器
US20170033980A1 (en) Agent manager for distributed transaction monitoring system
Saller et al. Reducing feature models to improve runtime adaptivity on resource limited devices
CN106095415A (zh) 开发文件打包方法、装置及系统
CN107360036B (zh) 一种网络故障定位方法、终端和服务器
CN108093036A (zh) 一种获取资源的方法及装置
CN110351360B (zh) 一种数据采集方法及装置
CN111382259A (zh) 一种app崩溃日志的解析方法及装置
CN115004650B (zh) 节点配置方法、装置、分布式系统及计算机可读介质
US11539612B2 (en) Testing virtualized network functions
CN112579398A (zh) 监控部署方法及装置
US10073689B2 (en) Managing application lifecycles within a federation of distributed software applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210414

Address after: 5-7, No.38, building 7, East District, Ningbo new material innovation center, Ningbo hi tech Zone, 315000, Zhejiang Province

Applicant after: NINGBO HELISHI INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 100176 Floor 5 510-1515, No. 1 Building, No. 2 Courtyard, Dishengzhong Road, Daxing District Economic and Technological Development Zone, Beijing

Applicant before: BEIJING HOLLYSYS AUTOMATION & DRIVE Co.,Ltd.

Applicant before: NINGBO HELISHI INTELLIGENT TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 5-7, No.38, building 7, East District, Ningbo new material innovation center, Ningbo hi tech Zone, 315000, Zhejiang Province

Patentee after: Hollysys Kauber Technology Co.,Ltd.

Address before: 5-7, No.38, building 7, East District, Ningbo new material innovation center, Ningbo hi tech Zone, 315000, Zhejiang Province

Patentee before: NINGBO HELISHI INTELLIGENT TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder