CN115766680A - 边缘采集基于远程过程调用框架的数据传输系统及方法 - Google Patents

Abstract

一种边缘采集基于远程过程调用框架的数据传输系统及方法，首先，采集服务模块采集测点数据并发送到客户端；然后，采集服务模块利用远程过程调用框架将测点数据发送到实时服务模块；接着，实时服务模块读取和解析处理并利用远程过程调用框架将测点数据发送到历史服务模块；最后历史服务模块对测点数据进行数据清洗处理并保存在实时数据库系统。本发明利用远程过程调用框架和序列化实现测点数据多通道传输，同时配置压缩与加密算法，增强了海量数据在服务间级联传输的稳定性和安全性。

Description

边缘采集基于远程过程调用框架的数据传输系统及方法

技术领域

本发明属于电网数据领域，具体涉及边缘采集基于远程过程调用框架的数据传输系统及方法。

背景技术

数据作为各个行业业务发展的核心资产，已成为企业进行科学决策、市场预判、调度协同、智能生产、价值创造的源动力，随之而来的首先就是边缘侧海量数据的有效整合和管控手段问题。近年来随着业务应用场景的增加、准确、高效的数据成为信息化项目建设的掣肘，对边缘侧的数据采集也提出了更高的要求。特别是在多种数据库和数据采集协议被同时应用时，对数据采集之数据稳定传输技术是目前面临的重要问题，数据的高效、稳定、安全传输问题成为数据采集系统的关键技术，本研究集中以边缘采集各关键模块服务之间数据传输为应用场景为目标进行的。

针对数据传输技术的研究也有很多，但大部分数据传输研究大多聚焦于传统Socket及相应的第三方序列化技术展开，在传输稳定性、高性能、集成压缩与加密技术存在一定的不足，例如，现有技术缺乏对连续性海量数据测点的传输支持，

现有技术在数据传输过程缺乏对数据量流的压缩与加密环节，不能有效提升数据网络利用效率及数据传输安全性。

发明内容

为解决现有技术中存在的不足，本发明提供一种边缘采集基于远程过程调用框架的数据传输系统及方法。

本发明采用如下的技术方案：

本发明一方面提供了一种边缘采集基于远程过程调用框架的数据传输系统，包括预设调用框架模块，用于根据客户端与服务端的接口协议，预设远程过程调用框架，其中，远程过程调用框架包括各类接口文件，客户端与服务端之间的数据传输通过远程过程调用框架实现，

采集服务模块，对测点数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送；

实时服务模块，调用服务端接受第一序列化数据并反序列化处理，得到还原数据，以及对还原数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送；

历史服务模块，调用服务端接受第二序列化数据并反序列化处理，得到测点数据并进行数据清洗。

优先地，还包括本地数据对象队列，供远程过程调用框架服务端使用，用于实时服务及历史服务将接收数据对象进行缓存的队列数据结构；

优先地，还包括实时数据库系统，与历史服务模块通讯连接，用于存储测点数据的数据库系统。

优先地，客户端与服务端之间的数据传输设置有多个数据传输通道。

另一方面提供了一种边缘采集基于远程过程调用框架的数据传输方法，包括以下步骤：

根据客户端与服务端的接口协议，预设远程过程调用框架，

其中，所述远程过程调用框架包括各类接口文件，每个接口文件内分别配置有远程过程调用对象，

采集服务模块调用客户端对测点数据进行序列化处理，并进行压缩与加密，得到第一序列化数据，同时设置客户端参数以及数据传输通道的连接线程数量，调用客户端利用远程过程调用框架向服务端发送；

服务端接受第一序列化数据并对其进行反序列化处理、解压缩处理和解密处理，得到还原数据，同时服务端将还原数据插入本地数据对象队列，得到数据传送队列，发送到实时服务模块；

实时服务模块接受数据传送队列并对数据传送队列进行读取和解析处理，得到测点数据，同时对测点数据进行缓存；

实时服务模块调用客户端对测点数据进行第二次序列化处理，并进行压缩与加密，得到第二序列化数据，设置客户端参数以及数据传输通道的连接线程数量，实时服务模块调用客户端利用远程过程调用框架向服务端发送；

服务端接受第二序列化数据并对其进行第二次反序列化处理、解压缩处理和解密处理，得到测点数据并传送给历史服务模块；

历史服务模块对测点数据进行数据清洗处理，得到清洗后的数据并保存在实时数据库系统。

优选地，序列化是对测点数据进行序列化接口定义与注册，指定服务端IP及端口，再将测点数据分域划分，组装为各域数组，并将各域数组进行逻辑与拼接成数据对象进行发送。

优先地，第二次序列化处理是利用第一次序列化进行注册的序列化接口再次对测点数据进行序列化并发送。

优先地，压缩可选用snappy或zip压缩方式进行压缩，

其中，zip压缩方式可利用远程过程调用框架内置的压缩技术进行配置完成；

加密可选用DES或MD5加密方式进行加密。

优先地，snappy压缩方式是测点数据在远程过程调用框架传送之前，可以采用自定义压缩方法对数据对象的各数据域数组进行snappy压缩，将压缩后的字节流数组进行逻辑与序列化并发送。

优先地，数据清洗处理包括存储策略分流、测点质量戳判断和坏数据过滤。

优先地，客户端参数包括远程调用超时阈值，一次可处理最大数据包阈值和数据包压缩参数。

优先地，设置数据传输通道的连接数量后，第一序列化数据可以随机选择其中任一数据传输通道传送到服务端。

优先地，当客户端与服务端建立数据传输通道后，可进行不大于5次连接尝试，若连接尝试成功后，连接状态设置为“已连接”，之后的连接状态通过远程过程调用框架进行判断。

优先地，服务端包括线程池，用于接收和处理客户端多个数据传输通道的数据传输。

优先地，步骤3中服务端完成数据传输后，可对数据传输通道进行初始化，包括设置线程池参数，设置单次最大处理数据包大小和绑定客户端注册的序列化接口。

本发明的有益效果在于，与现有技术相比，本发明可根据边缘采集基于远程过程调用框架的数据传输方法在边缘采集系统采集数据入库过程中，解决了以往基于Socket的海量数据传输不稳定，数据通道自检困难，难于嵌入压缩与加密算法的问题。

本发明为海量电力数据稳定可靠传输提供了新思路，通过引入远程过程调用框架机制，增强了海量数据在服务间级联传输的稳定性，实现了压缩与加密算法的可配置，数据通道通信模式可选性，解决了电力数据测点数量大，稳定性与安全性要求高等特点。

本发明具有良好的可扩展性，当部署拓扑图增加不同服务模块如报警，计算时，仅需将该远程过程调用框架API模块在不同服务模块进行简单注册后即可启用。

本发明大大减少了不同服务间使用传统Socket的通信开销及延时，可以满足大批量数据的实时传输与处理，从而显著增强采集系统的可获得性及传输性能。

附图说明

图1是边缘采集基于远程过程调用框架的数据传输系统结构示意图；

图2是边缘采集基于远程过程调用框架的数据传输方法流程示意图；

图3是远程过程调用框架客户端控制流程图；

图4是远程过程调用框架服务端控制流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的有所其它实施例，都属于本发明的保护范围。

风力发现场景中，数据采集分为边缘侧采集与汇聚侧采集。边缘采集指的是将采集数据点部署在边缘侧，即风机所在风场机房中，最后将各个边缘侧采集的风电数据汇聚到汇聚侧，本发明叙述的数据传输正是连接两者的数据通道技术创新。

图1是边缘采集基于远程过程调用框架的数据传输系统结构示意图。

如图1所示，本实施例提供了一种边缘采集基于远程过程调用框架的数据传输系统，包括预设调用框架模块，采集服务模块，实时服务模块，历史服务模块，本地数据对象队列以及时序数据库。

预设调用框架模块，用于根据客户端与服务端的接口协议，预设远程过程调用框架，其中，远程过程调用框架包括各类接口文件，客户端与服务端之间的数据传输通过远程过程调用框架实现。

采集服务模块，对测点数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送。

实时服务模块，调用服务端接受第一序列化数据并反序列化处理，得到还原数据，以及对还原数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送。

历史服务模块，用于通过远程过程调用框架接收实时服务发送的测点数据，对测点数据进行清洗处理并入库，同时调用远程过程调用框架接口对服务端进行设置。

本地数据对象队列，供远程过程调用框架服务端使用，用于实时服务及历史服务将接收数据对象进行缓存的队列数据结构。

实时数据库系统，用于存储测点数据的数据库系统，本实施例采用的是VeStore数据库。

图2是边缘采集基于远程过程调用框架的数据传输方法流程示意图。

如图2所示，本实施例还提供了一种边缘采集基于远程过程调用框架的数据传输方法，包括以下步骤：

步骤1，采集服务模块根据电力规约对电力设备进行采集，得到测点数据并发送到客户端。

采集服务模块先进行初始化过程，采用分布式方式，包括历史服务的各个采集模块加载由配置服务维护的采集ModbusTcpServer点表、VeStore测点属性、测点特征信息后，采集服务模块初始化并得以进入准备就绪状态。

采集服务模块根据电力规约对电力设备的测点进行采集，得到海量的测点数据。

步骤2，采集服务模块调用客户端对测点数据进行序列化处理，并进行压缩与加密，得到第一序列化数据，同时设置客户端参数以及数据传输通道的连接数量，并将第一序列化数据传输到服务端。

图3是远程过程调用框架客户端控制流程图。

如图3所示，测点数据在远程过程调用框架传送以前，在远程过程调用框架客户端，对测点数据进行序列化接口定义与注册，指定服务端IP及端口，测点数据序列化的方式定义为测点数据分域划分，组装为各域数组，并将各数组进行逻辑与拼接成数据对象进行发送。

实时服务模块建立客户端，同时建立多路连接通道，通过指定实时服务端IP端口进行连接尝试，尝试对任一通道进行最多5次的重连尝试。若连接尝试成功后，连接状态设置为“已连接”，之后的连接状态通过远程过程调用框架进行判断。

本实施例中的对数据进行压缩与加密处理，采用可配置压缩与加密算法。本实施例中的压缩与加密处理过程，均采用调用算法封装后的接口形式，并对算法库进行集成，突出模块的低耦合设计，而不涉及具体加密与压缩算法细节，在于说明在进行远程数据传输中便于插入定制算法的设计，同时对通信性能影响有限。

本实施例中压缩方式可选snappy或zip方式，加密方式可选DES或MD5加密方式。

若选择zip压缩方式，可通过在客户端利用框架内置压缩技术进行配置完成。

采集服务模块，实时服务模块以及历史服务模块建立级联数据传输通道后，测点数据在数据传输通道中各个服务间经过压缩与解压缩，加密与解密方式高效稳定传输。

远程过程调用框架(rcf，Remote Procedure Call Protocol)设置数据传输通道为OneWay或TowWay方式，前者提升传输性能但有丢数据得可能性，后者保证数据可全部送达，但性能略逊前者。

步骤3，服务端设置接收数据传输通道线程数量，接受第一序列化数据并对其进行反序列化处理、解压缩处理和解密处理，得到还原数据，同时服务端将还原数据插入本地数据对象队列，得到数据传送队列，发送到实时服务模块。

图4是远程过程调用框架服务端控制流程图。

如图4所示，服务端根据步骤3注册的序列化接口定义对接口进行服务bind绑定。

接收划分的数据域并进行反序列化处理，将反序列化后的数据对象插入本地数据对象队列，实时服务数据处理线程读取该队列数据对象并解析处理存入实时服务模块内存库中。

步骤4，实时服务模块接受数据传送队列并对数据传送队列进行读取和解析处理，得到测点数据，同时对测点数据进行缓存；

步骤5，实时服务模块用客户端对测点数据进行第二次序列化处理，并进行压缩与加密，得到第二序列化数据，

步骤6，将第二序列化数据由客户端传输到至服务端，服务端接受第二序列化数据并对其进行第二次反序列化处理、解压缩处理和解密处理，得到测点数据并传送给历史服务模块。

实时服务模块调用服务端注册绑定接口，接收采集服务数据流，并级联的建立客户端，实时服务模块将数据对象的数据域数组再次进行反序列化将数据发送至历史服务模块。

步骤7，历史服务模块对测点数据进行数据清洗处理，得到清洗后的数据并保存在实时数据库系统。

历史服务模块进行数据清洗处理，最终将测点数据保存入VeStore实时数据库系统。数据清洗处理包括对内存结构数据进行存储策略分流，测点质量戳判断和坏数据过滤。

本发明可根据边缘采集基于远程过程调用框架的数据传输方法,在边缘采集系统采集数据入库过程中，在各个数据服务模块之间为高效稳定传输海量数据提供通道。

本发明利用远程过程调用框架进行数据传输比传统Socket机制相比，远程过程调用框架调用模块的简单性可以忽略通讯的具体细节，不需要过多关心通讯协议，对于传输相同的有效数据，RPC占用更多的网络带宽，具有更好的效果。本发明利用远程过程调用框架可以通过多个数据传输通道对海量数据进行数据传输，为海量数据传输提供了新思路，针对不同的异常场景，能够有效处理数据不丢失的问题。

本发明的有益效果在于，与现有技术相比，本发明可根据边缘采集基于远程过程调用框架的数据传输方法在边缘采集系统采集数据入库过程中，解决了以往基于Socket的海量数据传输不稳定，数据通道自检困难，难于嵌入压缩与加密算法的问题。

本发明为海量电力数据稳定可靠传输提供了新思路，通过引入远程过程调用框架机制，增强了海量数据在服务间级联传输的稳定性，实现了压缩与加密算法的可配置，数据通道通信模式可选性，解决了电力数据测点数量大，稳定性与安全性要求高等特点。

本发明具有良好的可扩展性，当部署拓扑图增加不同服务模块如报警，计算时，仅需将该远程过程调用框架API模块在不同服务模块进行简单注册后即可启用。

本发明大大减少了不同服务间使用传统Socket的通信开销及延时，可以满足大批量数据的实时传输与处理，从而显著增强采集系统的可获得性及传输性能。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其它设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (15)

1.一种边缘采集基于远程过程调用框架的数据传输系统，其特征在于：

包括预设调用框架模块，用于根据客户端与服务端的接口协议，预设远程过程调用框架，其中，远程过程调用框架包括各类接口文件，客户端与服务端之间的数据传输通过远程过程调用框架实现，

采集服务模块，用于对测点数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送；

实时服务模块，用于调用服务端接受第一序列化数据并反序列化处理，得到还原数据，以及对还原数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送；

历史服务模块，用于调用服务端接受第二序列化数据并反序列化处理，得到测点数据并进行数据清洗。

2.根据权利要求1所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

还包括本地数据对象队列，供远程过程调用框架服务端使用，用于实时服务及历史服务将接收数据对象进行缓存的队列数据结构。

3.根据权利要求2所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

还包括实时数据库系统，与历史服务模块通讯连接，用于存储测点数据的数据库系统。

4.根据权利要求3所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

客户端与服务端之间的数据传输设置有多个数据传输通道。

5.一种使用权利要求4所述边缘采集基于远程过程调用框架的数据传输系统的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

包括以下步骤：

根据客户端与服务端的接口协议，预设远程过程调用框架，

其中，所述远程过程调用框架包括各类接口文件，每个接口文件内分别配置有远程过程调用对象，

采集服务模块调用客户端对测点数据进行序列化处理，并进行压缩与加密，得到第一序列化数据，同时设置客户端参数以及数据传输通道的连接线程数量，调用客户端利用远程过程调用框架向服务端发送；

服务端接受第一序列化数据并对其进行反序列化处理、解压缩处理和解密处理，得到还原数据，同时服务端将还原数据插入本地数据对象队列，得到数据传送队列，发送到实时服务模块；

实时服务模块接受数据传送队列并对数据传送队列进行读取和解析处理，得到测点数据，同时对测点数据进行缓存；

实时服务模块调用客户端对测点数据进行第二次序列化处理，并进行压缩与加密，得到第二序列化数据，设置客户端参数以及数据传输通道的连接线程数量，实时服务模块调用客户端利用远程过程调用框架向服务端发送；

服务端接受第二序列化数据并对其进行第二次反序列化处理、解压缩处理和解密处理，得到测点数据并传送给历史服务模块；

历史服务模块对测点数据进行数据清洗处理，得到清洗后的数据并保存在实时数据库系统。

6.根据权利要求5所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

序列化是对测点数据进行序列化接口定义与注册，指定服务端IP及端口，再将测点数据分域划分，组装为各域数组，并将各域数组进行逻辑与拼接成数据对象进行发送。

7.根据权利要求5所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

第二次序列化处理是利用第一次序列化进行注册的序列化接口再次对测点数据进行序列化并发送。

8.根据权利要求5所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

压缩可选用snappy或zip压缩方式进行压缩，

其中，zip压缩方式可利用远程过程调用框架内置的压缩技术进行配置完成；

加密可选用DES或MD5加密方式进行加密。

9.根据权利要求8所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

snappy压缩方式是测点数据在远程过程调用框架传送之前，可以采用自定义压缩方法对数据对象的各数据域数组进行snappy压缩，将序列化后的字节流数组进行压缩处理、并进行逻辑与操作并发送。

10.根据权利要求5所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

数据清洗处理包括存储策略分流、测点质量戳判断和坏数据过滤。

11.根据权利要求5所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

客户端参数包括远程调用超时阈值，一次可处理最大数据包阈值和数据包压缩参数。

12.根据权利要求5所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

设置数据传输通道的连接数量后，第一序列化数据可以随机选择其中任一数据传输通道传送到服务端。

13.根据权利要求5所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

当客户端与服务端建立数据传输通道后，可进行不大于5次连接尝试，若连接尝试成功后，连接状态设置为“已连接”，之后的连接状态通过远程过程调用框架进行判断。

14.根据权利要求5所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

服务端包括线程池，用于接收和管理客户端多个数据传输通道的数据传输。

15.根据权利要求14所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：

服务端完成数据传输后，可对数据传输通道进行初始化，包括设置线程池参数，设置单次最大处理数据包大小和绑定客户端注册的序列化接口。

Images