CN114090635A - 边缘端自动协议匹配及关键数据提取的数据采集方法 - Google Patents

Abstract

本发明实施例提供一种边缘端自动协议匹配及关键数据提取的数据采集方法、系统、存储介质、处理器及计算机程序产品。方法包括：接收通过硬件采集器采集的接入设备的数据流；将所述数据流缓存到文件系统中；通过数据查找函数查找数据流中的关键数据，以确定所述关键数据所在的位置；根据所述位置确定数据的通讯协议；服务器根据所述通讯协议生成数据过滤脚本；将所述数据过滤脚本推送给所述硬件采集器，以使所述硬件采集器根据所述数据过滤脚本对下一次的数据流进行过滤。

Description

边缘端自动协议匹配及关键数据提取的数据采集方法

技术领域

本发明涉及计算机技术领域，具体地涉及一种边缘端自动协议匹配及关键数据提取的数据采集方法、系统、存储介质、处理器及计算机程序产品。

背景技术

大量私有协议的存量设备存在不能联网的问题，协议种类多，需要行业数据平台依次对接。分析协议并获取数据的难度大，实施的效率低、时间长，存在很多的不确定性。传统的做法，必须针对不同的设备、不同的协议去部署环境、工具去分析，大致有以下方案：

·方案1：人工进行数据抓取，分析协议，区分数据域，确定数据格式，

得到协议，然后开发对应协议解析的采集器。

·方案2：针对特定的协议类型，如modbus协议，现有方案是通过把所有数据都上传到云端，云端分析数据项，设定数据特征和提取规则，得到数据再推送给客户云平台。

可以看出，以上方案存在非常耗时，查找容易遗漏，依赖云解析平台服务提供商等问题，而且数据需要流经第三方数据库，导致数据的安全性较低的问题。

发明内容

本发明实施例的目的是提供一种边缘端自动协议匹配及关键数据提取的数据采集方法、系统、存储介质、处理器及计算机程序产品。

为了实现上述目的，本发明第一方面提供一种边缘端自动协议匹配及关键数据提取的数据采集方法，包括：

接收通过硬件采集器采集的接入设备的数据流；

将所述数据流缓存到文件系统中；

通过数据查找函数查找数据流中的关键数据，以确定所述关键数据所在的位置；

根据所述位置确定数据的通讯协议；

服务器根据所述通讯协议生成数据过滤脚本；

将所述数据过滤脚本推送给所述硬件采集器，以使所述硬件采集器根据所述数据过滤脚本对下一次的数据流进行过滤。

可选地，硬件采集器为micropython架构。

可选地，关键数据是通过输入设备输入的。

可选地，硬件采集器为无线采集器。

可选地，接入设备为无法联网的设备。

本发明第二方面提供一种边缘端自动协议匹配及关键数据提取的数据采集系统，包括：

硬件采集器，用于采集接入设备的数据流；

数据缓存单元，用于缓存所述硬件采集器发送的数据流；

输入单元，用于通过输入设备输入关键数据；

数据查找单元，用于通过数据查找函数查找数据流中的所述关键数据，以确定所述关键数据所在的位置；

过滤单元，用于根据所述位置确定数据的通讯协议，服务器根据所述通讯协议生成数据过滤脚本，将所述数据过滤脚本推送给所述硬件采集器，以使所述硬件采集器根据所述数据过滤脚本对下一次的数据流进行过滤。

本发明第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的边缘端自动协议匹配及关键数据提取的数据采集方法。

本发明第四方面提供一种处理器，被配置成执行上述的边缘端自动协议匹配及关键数据提取的数据采集方法。

本方案通过灵活设计成具备多种物理接口的改进工具，通过固件的长期演进来不断的完善算法和筛选数据，工具可以通过增加无线通讯方式与平台对接，实现远程的配置、升级、分析等功能。本方案中可以自适应通讯协议，并对数据进行自动筛选与过滤，提高了数据的传输效率。且本方案中的数据传输无需经过第三方数据库，也提高了数据的安全性。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1示意性示出了根据本发明实施例的边缘端自动协议匹配及关键数据提取的数据采集系统的结构框图；

图2示意性示出了根据本发明实施例的边缘端自动协议匹配及关键数据提取的数据采集方法的流程示意图；

图3示意性示出了根据本发明实施例的边缘端自动协议匹配及关键数据提取的数据采集方法的数据流向示意图；

图4示意性示出了根据本发明实施例的边缘端自动协议匹配及关键数据提取的数据采集系统的架构图；

图5示意性示出了根据本发明实施例的计算机设备的内部结构图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，在本实施例中，提供了一种边缘端自动协议匹配及关键数据提取的数据采集系统，包括：

硬件采集器101，用于采集接入设备的数据流；

数据缓存单元102，用于缓存硬件采集器发送的数据流；

输入单元103，用于通过输入设备输入关键数据；

数据查找单元104，用于通过数据查找函数查找数据流中的关键数据，以确定关键数据所在的位置；

过滤单元105，用于根据位置确定数据的通讯协议，服务器根据通讯协议生成数据过滤脚本，将数据过滤脚本推送给硬件采集器，以使硬件采集器根据数据过滤脚本对下一次的数据流进行过滤。

图2示意性示出了根据本发明实施例的边缘端自动协议匹配及关键数据提取的数据采集方法的流程示意图。如图2所示，在本发明一实施例中，提供了一种边缘端自动协议匹配及关键数据提取的数据采集方法，包括以下步骤：

步骤201，接收通过硬件采集器采集的接入设备的数据流。

步骤202，将数据流缓存到文件系统中。

步骤203，通过数据查找函数查找数据流中的关键数据，以确定关键数据所在的位置。

步骤204，根据位置确定数据的通讯协议。

步骤205，服务器根据通讯协议生成数据过滤脚本。

步骤206，将数据过滤脚本推送给硬件采集器，以使硬件采集器根据数据过滤脚本对下一次的数据流进行过滤。

其中，接入设备为无法联网的设备。首先，可以通过硬件采集器采集无法联网的接入设备的数据流，数据流可以是根据预设需求所确定的需要从接入设备获取到的数据，如接入设备的运行参数，运行状态数据，或接入设备本身采集到的数据等等。硬件采集器在采集到接入设备的数据流后，可以上传到数据缓存单元，即可以将数据流缓存到文件系统中。其中，硬件采集器可以是无线采集器。

进一步地，可以通过输入设备输入关键数据，即需要查找的数据。其中，输入设备可以是云端软件或APP等。根据输入设备输入的关键数据可以确定出需要查找的数据，即可通过数据查找函数查找数据流中的关键数据，从而可以定位到关键数据所在的位置。定位到关键数据所在的位置后，可以根据数据的格式来确定出数据的通讯协议。然后，服务器可以根据该通讯协议来生成与该协议对应的数据过滤脚本。进一步地，可以将数据过滤脚本推送给硬件采集器，以使硬件采集器根据数据过滤脚本对下一次的数据流进行过滤，从而可以合并完成协议的获取和产品开发，提高了设备接入的速度。

进一步地，随着嵌入式硬件的性能提升，硬件采集器可以使用高级的架构，使用嵌入式的python语言micropython，可以增强物联网终端的处理能力和处理范围。并且，基于增强的处理能力和高级语言特性，可以在终端实现数据标记，达到自学习、自适应的功能。通过python虚拟机脚本热更新的特性，实现数据过滤，筛选的功能，缩短开发周期。

如图3所示，首先可以进行硬件对接，即通过硬件采集器采集接入设备的数据流，并对数据流进行缓存，将数据流缓存到文件系统中。在采集和缓存完毕后，可以发送采集完毕通知至服务器。服务器可以建立本地数据检索机制，并通知云端可以等待接收缓存的数据流。然后，可以通过输入设备输入关键数据，即图3中的特征数据。可以通过数据查找函数查找数据流中的关键数据，以确定出关键数据所在的位置，之后可以对检索结果进行统计。可以通过用户对检索到的结果进行确认，然后根据通讯协议生成数据过滤脚本，将数据过滤脚本推送给硬件采集器，以使硬件采集器根据数据过滤脚本对下一次的数据流进行过滤。

如图4所示的架构图，存量无法联网的接入设备，可以通过以太网/RS485等方式，与硬件采集器进行通信。硬件采集器在采集到接入设备的数据流后，可以将数据流缓存到数据缓存单元中。缓存完毕后，发送完毕通知至特征数据转发单元。同时，PC端浏览器等可以作为输入设备，输入所需要查找的关键数据。特征数据转发单元通过数据查找函数查找数据流中的关键数据，并确定出关键数据所在的位置后，可以根据关键数据的格式确定该数据的通讯协议，并数据过滤脚本推送给硬件采集器，以使硬件采集器根据数据过滤脚本对下一次的数据流进行过滤。其中，还可以包括数据展示单元，用于展示硬件采集器所采集到的数据流。

本方案通过灵活设计成具备多种物理接口的改进工具，通过固件的长期演进来不断的完善算法和筛选数据，工具可以通过增加无线通讯方式与平台对接，实现远程的配置、升级、分析等功能。本方案中可以自适应通讯协议，并对数据进行自动筛选与过滤，提高了数据的传输效率。且本方案中的数据传输无需经过第三方数据库，也提高了数据的安全性。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现边缘端自动协议匹配及关键数据提取的数据采集。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述边缘端自动协议匹配及关键数据提取的数据采集方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述边缘端自动协议匹配及关键数据提取的数据采集方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储接入设备的数据流等。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种边缘端自动协议匹配及关键数据提取的数据采集方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：接收通过硬件采集器采集的接入设备的数据流；将数据流缓存到文件系统中；通过数据查找函数查找数据流中的关键数据，以确定关键数据所在的位置；根据位置确定数据的通讯协议；服务器根据通讯协议生成数据过滤脚本；将数据过滤脚本推送给硬件采集器，以使硬件采集器根据数据过滤脚本对下一次的数据流进行过滤。

在一个实施例中，硬件采集器为micropython架构。

在一个实施例中，关键数据是通过输入设备输入的。

在一个实施例中，硬件采集器为无线采集器。

在一个实施例中，接入设备为无法联网的设备。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：接收通过硬件采集器采集的接入设备的数据流；将数据流缓存到文件系统中；通过数据查找函数查找数据流中的关键数据，以确定关键数据所在的位置；根据位置确定数据的通讯协议；服务器根据通讯协议生成数据过滤脚本；将数据过滤脚本推送给硬件采集器，以使硬件采集器根据数据过滤脚本对下一次的数据流进行过滤。

在一个实施例中，硬件采集器为micropython架构。

在一个实施例中，关键数据是通过输入设备输入的。

在一个实施例中，硬件采集器为无线采集器。

在一个实施例中，接入设备为无法联网的设备。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种边缘端自动协议匹配及关键数据提取的数据采集方法，其特征在于，所述方法包括：

接收通过硬件采集器采集的接入设备的数据流；

将所述数据流缓存到文件系统中；

通过数据查找函数查找数据流中的关键数据，以确定所述关键数据所在的位置；

根据所述位置确定数据的通讯协议；

服务器根据所述通讯协议生成数据过滤脚本；

将所述数据过滤脚本推送给所述硬件采集器，以使所述硬件采集器根据所述数据过滤脚本对下一次的数据流进行过滤。

2.根据权利要求1所述的方法，其特征在于，所述硬件采集器为micropython架构。

3.根据权利要求1所述的方法，其特征在于，所述关键数据是通过输入设备输入的。

4.根据权利要求1所述的方法，其特征在于，所述硬件采集器为无线采集器。

5.根据权利要求1所述的方法，其特征在于，所述接入设备为无法联网的设备。

6.一种边缘端自动协议匹配及关键数据提取的数据采集系统，其特征在于，包括：

硬件采集器，用于采集接入设备的数据流；

数据缓存单元，用于缓存所述硬件采集器发送的数据流；

输入单元，用于通过输入设备输入关键数据；

数据查找单元，用于通过数据查找函数查找数据流中的所述关键数据，以确定所述关键数据所在的位置；

过滤单元，用于根据所述位置确定数据的通讯协议，服务器根据所述通讯协议生成数据过滤脚本，将所述数据过滤脚本推送给所述硬件采集器，以使所述硬件采集器根据所述数据过滤脚本对下一次的数据流进行过滤。

7.根据权利要求6所述的系统，其特征在于，所述硬件采集器为micropython架构。

8.一种处理器，其特征在于，被配置成执行根据权利要求1至5中任意一项所述的边缘端自动协议匹配及关键数据提取的数据采集方法。

9.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至5中任一项所述的边缘端自动协议匹配及关键数据提取的数据采集方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现根据权利要求1至5中任一项所述的边缘端自动协议匹配及关键数据提取的数据采集方法。

Images