CN117201627A - 一种边缘计算加速预处理系统及预处理方法 - Google Patents

Abstract

本发明公开了一种边缘计算加速预处理系统及预处理方法，包括数据接口端、协议转换端、数据逐级传递的数据处理端和数据发送模块，本发明首先使用协议转换端实现不同通信规约的采集端和边缘计算端之间的数据通信，完成异构网络之间的信息交互，方便边缘计算端对于数据的处理，另外使用数据处理端对于数据进行预处理，去除了异常数据和同类型数据的重复度，以减少边缘计算的数据传输和处理量，减少数据冗余和存储开销，另外对于数据了分类，优先级高的数据直接放置到云端进行处理，降低边缘计算的负荷，另外数据处理端采用CPU加GPU的异构信号处理平台，提升了数据的处理速度。

Description

一种边缘计算加速预处理系统及预处理方法

技术领域

本发明属于数据处理技术领域，具体的说，涉及一种边缘计算加速预处理系统及预处理方法。

背景技术

边缘计算，是一种分布式计算的架构，将应用程序、数据与服务的运算，由网络中心节点，移往网络逻辑上的边缘节点来处理，边缘运算将原本完全由中心节点处理大型服务加以分解，切割成更小与更容易管理的部份，分散到边缘节点去处理。边缘节点更接近于用户终端装置，可以加快数据的处理与传送速度，减少延迟，换句话说，边缘计算是将采集端的数据进行初步的处理，并不完全将数据放置到云端进行运算处理，因此还能够降低云端的运算负荷。

公开号为CN 111427822 A提供的一种边缘计算系统，其通过让部分节点变成PCIe加速装置。通过安置PCIe Switch在边缘服务器内部进行PCIe的沟通，能够强化各节点高速信号交换传输资源共享，实现提升运算能力的目的，在实际的使用过程中，采集端会实时发送大量的数据，而且加上底层的采集端的通讯协议不同，边缘端不仅要进行数据的判断发送和处理，还需要对数据进行预处理，这就造成边缘端的计算负荷也相对较重。

基于上述问题，本领域中急需一种设置在边缘端和采集端之间的数据预处理系统，能够降低边缘端的负荷。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

为解决现有技术中边缘端运算负荷较大的问题，本发明采用如下的技术方案。

一种边缘计算加速预处理系统，包括数据接口端、协议转换端、数据逐级传递的数据处理端和数据发送模块；

所述数据接口端包括至少两种支持不同通讯协议、以无线或有线方式接收数据的通讯接口，通讯接口将接收的数据发送至协议转换端；

所述协议转换端包括核心控制模块，核心控制模块内部包括配置好的通讯协议，用于接收数据接口端所发送的数据，并对数据的通讯协议进行分析，并转化为指定通讯协议的数据包传递给数据处理端；

所述数据处理端包括具有多个CPU的中央处理单元和多个GPU的图像处理单元，CPU和GPU通过数据总线进行互联以及数据的传输，数据总线还连接有存储单元；

数据处理端还包括有：

清洗模块，所述清洗模块对协议转换端传递的数据包内的异常数据和干扰进行整合清洗，整合清洗后发送至分类模块；

分类模块，所述分类模块将清洗后的数据按照数据的优先级进行分类，将数据分为第一优先级数据和第二优先级数据；

聚合模块，所述聚合模块将同一优先级中的同一类型数据进行聚合和压缩后发送至数据发送模块；

所述数据发送模块具有连接至云端的端口和连接至边缘服务器的端口，所述数据发送模块将聚合压缩后的第一优先级数据发送至边缘服务器，将聚合压缩后的第二优先级数据发送至云端。

上述的边缘计算加速预处理系统，其中，所述协议转换端包括协议分析模块、数据处理端和转换模块，所述通协议分析模块接收通讯接口所发送的数据报文，并按照预设的协议进行报文分析，判断是否需要进行报文拆包，并将判断结果发送至数据处理端，数据整理模块根据分析结果进行具体的报文拆包和组包，并将重新组装的报文发送至转换模块，所述转换模块将要传输的数据放在重新组好的报文中发送出去。

上述的边缘计算加速预处理系统，其中，所述数据处理端中的存储单元中设有阵列结构的磁盘存储装置。

上述的边缘计算加速预处理系统，其中，所述CPU和GPU通过PCIe总线进行互联以及数据的传输。

上述的边缘计算加速预处理系统，其中，所述由中央处理单元和图像处理单元处理数据时首先对数据计算任务进行负载规模预判断，并按照任务计算量的降序构建列表，GPU和CPU分别从列表的头、尾进入，按顺序逐次预分配对应的任务，形成两组调度队列。

上述的边缘计算加速预处理系统，其中，所述清洗模块对数据进行清洗的具体步骤包括：

获取协议转换端传递的数据包内的数据的样本均值；

其中，X_i为数据包内的第i个数据值；

计算数据包内的数据值的残差e_i和标准差σ为：

遍历数据包内的所有数据值判断是否为异常值点，判断方法为：

|e_i|>3σ

若满足，则判断该点为异常点，将该点数值替换为

使用中值滤波器对数据包内的所有数据值进行滤除。

上述的边缘计算加速预处理系统，其中，所述第一优先级数据为报警信息数据，第二优先级数据为采集端的过程信息数据。

上述的边缘计算加速预处理系统，其中，所述聚合模块对数据进行聚合的具体方法为把数据划分为若干个区间，每个区间中包含相同比例的数据，计算每个区间内数据的中值，将区间的数据聚合为该区间的数据的中值。

本发明另外提供一种边缘计算加速预处理方法，所述预处理方法适用于上述的一种边缘计算加速预处理系统，具体步骤包括：

S1:通讯接口接收采集端的数据发送至协议转换端；

S2:协议转换端对数据的通讯协议进行分析，并转化为指定通讯协议的数据包传递给数据处理端；

S3:清洗模块对协议转换端传递的数据包内的异常数据和干扰进行整合清洗，整合清洗后发送至分类模块；

S4:分类模块将清洗后的数据按照数据的优先级进行分类，将数据分为第一优先级数据和第二优先级数据；

S5:聚合模块将同一优先级中的同一类型数据进行聚合和压缩后发送至数据发送模块；

S6:数据发送模块将聚合压缩后的第一优先级数据发送至边缘服务器，将聚合压缩后的第二优先级数据发送至云端。

相比于现有技术，本发明的有益效果为：

本发明首先使用协议转换端实现不同通信规约的采集端和边缘计算端之间的数据通信，完成异构网络之间的信息交互，方便边缘计算端对于数据的处理，另外使用数据处理端对于数据进行预处理，去除了异常数据和同类型数据的重复度，以减少边缘计算的数据传输和处理量，减少数据冗余和存储开销；

另外对于数据了分类，优先级高的数据直接放置到云端进行处理，降低边缘计算的负荷，另外数据处理端采用CPU加GPU的异构信号处理平台，提升了数据的处理速度。

附图说明

图1为本发明中预处理系统的结构示意图；

图2为本发明中预处理方法的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。本发明提供了以下实施例。

如图1-2所示，其为本实施例中的边缘计算加速预处理系统及预处理方法的结构示意图，本实施例提供一种技术方案：

一种边缘计算加速预处理系统，包括数据接口端、协议转换端、数据逐级传递的数据处理端和数据发送模块；

所述数据接口端包括至少两种支持不同通讯协议、以无线或有线方式接收数据的通讯接口，通讯接口将接收的数据发送至协议转换端，所述通讯接口包括支持不同通讯规约的端口，如485、232、RJ45和CAN等类型的端口，

所述协议转换端包括核心控制模块，核心控制模块内部包括配置好的通讯协议，用于接收数据接口端所发送的数据，并对数据的通讯协议进行分析，并转化为指定通讯协议的数据包传递给数据处理端，指定通讯协议由所确定的互联终端进行确定，本实施例中核心控制模块采用AM335x的处理器构成，嵌入式平台采用Li nux操作系统。

本实施例中协议转换端包括协议分析模块、数据处理端和转换模块，所述通协议分析模块接收通讯接口所发送的数据报文，并按照预设的协议进行报文分析，预设的协议为提前所拟定的协议，具有报文分析的功能，可自行对报文进行分析判断，判断是否需要进行报文拆包，并将判断结果发送至数据处理端，数据整理模块根据分析结果进行具体的报文拆包和组包，并将重新组装的报文发送至转换模块，所述转换模块将要传输的数据放在重新组好的报文中发送出去。

本实施例以Modbus RTU和Modbus TCP为实例对本实施例中的协议转换端具体工作方式进行说明，协议分析模块判断Modbus RTU和Modbus TCP设备协议相同，但是物理接口并不相同，因此也需要进行协议的转换，数据处理端对Modbus RTU数据包进行拆包，取出内部的数据值，转换模块按照Modbus TCP的要求将数据重新打包好发送至数据处理端。

所述数据处理端包括具有多个CPU的中央处理单元和多个GPU的图像处理单元，CPU和GPU通过数据总线进行互联以及数据的传输，数据总线还连接有存储单元，所述CPU和GPU通过PCIe总线进行互联以及数据的传输，由于CPU的逻辑运算能力，以及GPU的密集型计算能力的出众表现，形成了CPU主控，GPU主计算的CPU加GPU异构信号处理平台，能够提升数据的处理速度，所述数据处理端中的存储单元中设有阵列结构的磁盘存储装置存储单元数据和处理的程序方法，数据的处理在中央处理单元和图像处理单元内进行。

本实施例中所述由中央处理单元和图像处理单元处理数据时首先对数据计算任务进行负载规模预判断，并按照任务计算量的降序构建列表，GPU和CPU分别从列表的头、尾进入，按顺序逐次预分配对应的任务，形成两组调度队列，头部的数据量较小，尾部较大，在处理粒度小的任务时，由于数据量较小，CPU内的高速缓存存储器能够发挥很大作用，计算速度较快，当任务数据量较大时，能够发挥GPU异步隐藏特性，提高运算的速度。

本实施例中的数据处理端还包括有清洗模块、分类模块和聚合模块。

所述清洗模块对协议转换端传递的数据包内的异常数据和干扰数据进行整合清洗，整合清洗后发送至分类模块，所述清洗模块对数据进行清洗的具体步骤包括：

获取协议转换端传递的数据包内的数据的样本均值；

其中，X_i为数据包内的第i个数据值；

计算数据包内的数据值的残差e_i和标准差σ为：

遍历数据包内的所有数据值判断是否为异常值点，判断方法为：

|e_i|>3σ

若满足，则判断该点为异常点，将该点数值替换为

使用中值滤波器对数据包内的所有数据值进行滤除，中值滤波先将连续采样数值根据大小来排序，然后取中数值作为滤波结果，其中取中数值便就是一串序列内，取中间位置的序列。

通过清洗模块后能够有效的滤除异常的数据，还能够消除噪声数据，以减少后续阶段的数据传输和处理，从而降低运算量和网络延迟。

所述分类模块将清洗后的数据按照数据的优先级进行分类，将数据分为第一优先级数据和第二优先级数据，所述第一优先级数据为报警信息数据，第二优先级数据为采集端的过程信息数据，报警信息数据为报警信号，过程信息数据为采集端监控的数据量、开入开出量等。

所述聚合模块将同一优先级中的同一类型数据进行聚合和压缩后发送至数据发送模块，所述聚合模块对数据进行聚合的具体方法为把数据划分为若干个区间，每个区间中包含相同比例的数据，计算每个区间内数据的中值，且中值＝(区间上限+区间下限)÷2，将区间的数据聚合为该区间的数据的中值，对于同类型的数据进行聚合和压缩，从而减少数据冗余和存储开销，具体的，数据按照中值进行聚合和压缩为现有的一种数据压缩处理方式，压缩聚合是将多个数据点通过某种方法进行压缩，得到一个代表这些数据点的聚合结果；常见的压缩聚合方法有平均值、中位数、加权平均值和分位数等；例如，在传感器数据中，我们可以将每分钟的数据压缩成每小时的平均值，以减少数据量并保留数据的趋势信息，因为现有技术，故此处不作过多赘述。

本实施例中所指的同一优先级中的同一类型数据为报警信号中的相同报警信号或者过程信息数据中采集的相同类型的数据：如采集的电流数据、电压数据等。

所述数据发送模块具有连接至云端的端口和连接至边缘服务器的端口，所述数据发送模块将聚合压缩后的第一优先级数据发送至边缘服务器，将聚合压缩后的第二优先级数据发送至云端，数据发送模块可采用支持有线、无线的通讯管理机。

本发明另外提供一种边缘计算加速预处理方法，所述预处理方法适用于上述的一种边缘计算加速预处理系统，具体步骤包括：

S1:通讯接口接收采集端的数据发送至协议转换端；

S2:协议转换端对数据的通讯协议进行分析，并转化为指定通讯协议的数据包传递给数据处理端；

S3:清洗模块对协议转换端传递的数据包内的异常数据和干扰数据进行整合清洗，整合清洗后发送至分类模块；

S4:分类模块将清洗后的数据按照数据的优先级进行分类，将数据分为第一优先级数据和第二优先级数据；

S5:聚合模块将同一优先级中的同一类型数据进行聚合和压缩后发送至数据发送模块；

S6:数据发送模块具有连接至云端的端口和连接至边缘服务器的端口，所述数据发送模块将聚合压缩后的第一优先级数据发送至边缘服务器，将聚合压缩后的第二优先级数据发送至云端。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种航道水下地形变化分析系统及方法逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种边缘计算加速预处理系统，其特征在于：包括数据接口端、协议转换端、数据逐级传递的数据处理端和数据发送模块；

所述数据接口端包括至少两种支持不同通讯协议、以无线或有线方式接收数据的通讯接口，通讯接口将接收的数据发送至协议转换端；

所述协议转换端包括核心控制模块，核心控制模块内部包括配置好的通讯协议，用于接收数据接口端所发送的数据，并对数据的通讯协议进行分析，并转化为指定通讯协议的数据包，传递给数据处理端；

所述数据处理端包括具有多个CPU的中央处理单元和多个GPU的图像处理单元，CPU和GPU通过数据总线进行互联以及数据的传输，数据总线还连接有存储单元；

数据处理端还包括有：

清洗模块，所述清洗模块对协议转换端传递的数据包内的异常数据和干扰数据进行整合清洗，整合清洗后发送至分类模块；

分类模块，所述分类模块将清洗后的数据按照数据的优先级进行分类，将数据分为第一优先级数据和第二优先级数据；

聚合模块，所述聚合模块将同一优先级中的同一类型数据进行聚合和压缩后发送至数据发送模块；

所述数据发送模块具有连接至云端的端口和连接至边缘服务器的端口，所述数据发送模块将聚合压缩后的第一优先级数据发送至边缘服务器，将聚合压缩后的第二优先级数据发送至云端。

2.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述协议转换端包括协议分析模块、数据处理端和转换模块，所述通协议分析模块接收通讯接口所发送的数据报文，并按照预设的协议进行报文分析，判断是否需要进行报文拆包，并将判断结果发送至数据处理端，数据整理模块根据分析结果进行具体的报文拆包和组包，并将重新组装的报文发送至转换模块，所述转换模块将要传输的数据放在重新组好的报文中发送出去。

3.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述数据处理端中的存储单元中设有阵列结构的磁盘存储装置。

4.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述CPU和GPU通过PCIe总线进行互联以及数据的传输。

5.根据权利要求4所述的一种边缘计算加速预处理系统，其特征在于，所述中央处理单元和图像处理单元处理数据时首先对数据计算任务进行负载规模预判断，并按照任务计算量的降序构建列表，GPU和CPU分别从列表的头、尾进入，按顺序逐次预分配对应的任务，形成两组调度队列。

6.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述清洗模块对数据进行清洗的具体步骤包括：

获取协议转换端传递的数据包内的数据的样本均值；

其中，X_i为数据包内的第i个数据值；

计算数据包内的数据值的残差e_i和标准差σ为：

遍历数据包内的所有数据值判断是否为异常值点，判断方法为：

|e_i|>3σ

若满足，则判断该点为异常点，将该点数值替换为

使用中值滤波器对数据包内的所有数据值进行滤除。

7.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述第一优先级数据为报警信息数据，第二优先级数据为采集端的过程信息数据。

8.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述聚合模块对数据进行聚合的具体方法为把数据划分为若干个区间，每个区间中包含相同比例的数据，计算每个区间内数据的中值，将区间的数据聚合为该区间的数据的中值。

9.一种边缘计算加速预处理方法，其特征在于，所述预处理方法适用于权利要求1-8任一项所述的一种边缘计算加速预处理系统，具体步骤包括：

S1:通讯接口接收采集端的数据发送至协议转换端；

S2:协议转换端对数据的通讯协议进行分析，并转化为指定通讯协议的数据包传递给数据处理端；

S3:清洗模块对协议转换端传递的数据包内的异常数据和干扰进行整合清洗，整合清洗后发送至分类模块；

S4:分类模块将清洗后的数据按照数据的优先级进行分类，将数据分为第一优先级数据和第二优先级数据；

S5:聚合模块将同一优先级中的同一类型数据进行聚合和压缩后发送至数据发送模块；

S6:数据发送模块将聚合压缩后的第一优先级数据发送至边缘服务器，将聚合压缩后的第二优先级数据发送至云端。