CN109831535B - 一种基于边缘计算的大数据智能收集方法 - Google Patents

Abstract

本发明公开了一种基于边缘计算的大数据智能收集方法，首先，边缘计算节点根据收集到的前端数据特性，确定前端数据是否需要传输到云端服务器，通过多条链路同时发起对服务器的数据传输，服务器在接收到请求后，根据边缘计算节点所在区域的所有边缘计算节点各链路历史传输数据信息作为特征，进行预测，随后服务器将生成的预测表发送给边缘计算节点，边缘计算节点根据预测表和相关策略决定各链路的传输属性并开始传输，在传输完成后服务器会记录本次传输各链路情况，并以此更新该区域内各链路的历史数据。本发明充分利用区域内所有链路传输数据的历史信息预测边缘计算节点各链路的性能，能更合理地为多链路分配传输属性，提高大规模数据收集可靠性。

Description

一种基于边缘计算的大数据智能收集方法

技术领域

本发明涉及大数据的技术领域，尤其是指一种基于边缘计算的大数据智能收集方法。

背景技术

随着信息技术的发展，边缘计算可以在靠近物或数据源头的一侧，就近提供最近端服务。边缘计算节点收集到前端数据后，具有与云端服务器实时大数据交互的需求，但是，边缘计算节点与服务器之间的各条链路受运营商网络速度，流量成本等因素影响，在数据传输时的性能有较大差别。

在边缘计算节点发起传输前，往往并不能获得其与服务器建立的各链路性能信息。因此往往需要人工根据经验设置链路传输信息，或采取较普遍的平均传输方法，在实际传输中往往成本较高，花费时间较长，并且未能充分利用各网络资源，很难自动配置较为理想的各链路属性，实现大规模数据的可靠实时收集。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于边缘计算的大数据智能收集方法，充分利用区域内所有链路传输数据的历史信息预测边缘计算节点各链路的性能，从而能更合理高效地为多链路分配传输属性，提高大规模数据收集可靠性。

为实现上述目的，本发明所提供的技术方案为：一种基于边缘计算的大数据智能收集方法，包括以下步骤：

S1、边缘计算节点根据收集到的前端数据特性，确定前端数据是否需要传输到云端服务器，如果不决定传输，则终止传输，传输过程结束；如果决定传输，接收数据采集点的数据，并进入S2；

S2、边缘计算节点通过多条链路同时发起对服务器的数据传输请求，并向服务器发送其所有链路信息和传输数据信息；

S3、服务器根据边缘计算节点所在区域的所有边缘计算节点的各链路历史数据计算各链路的传输属性，生成相应的预测表；

S4、服务器向边缘计算节点发送对应的包含各链路预测属性的预测表；

S5、边缘计算节点根据收到的预测表，根据相关策略决定各链路的传输属性；

S6、边缘计算节点根据所决定的链路的传输属性进行多链路传输，同时，服务器对边缘计算节点多链路传输情况进行记录，并周期性根据各链路情况动态更新历史数据。

在步骤S1中，前端数据特性包括数据总大小、数据形式和数据传输带宽信息；

如果前端数据的特性不符合边缘计算节点所预设的传输条件，则终止传输；如果符合，则接收所对应的各数据采集点的数据。

在步骤S2中，边缘计算节点向服务器发送的各链路信息包括以下参数：

T＝(L，B)

其中，T为链路传输信息向量，L为链路信息向量；B为数据传输的大小参数；

所述链路信息向量L由以下参数决定：

L＝(L1，L2，L3)

其中，L1为链路区域信息，L2为链路类别信息，L3为链路发起传输请求的当前时间信息。

在步骤S3中，服务器生成的链路预测表内各链路的预测属性包含了以下参数：

R＝(R1，R2，R3，R4，R5)

其中，R为所在区域内链路传输预测属性向量，R1为边缘计算节点到服务器链路传输带宽预测值，R2为边缘计算节点到服务器链路传输带宽预测稳定性参数，R3为边缘计算节点到服务器时延预测值，R4为边缘计算节点到服务器时延预测稳定性参数，R5为链路传输成本参数；

所述预测表的生成方法基于大数据回归算法，构建过程如下：

S31、服务器根据获取到的链路区域信息L1，读取所在区域内所有与链路类别信息L2相同的链路历史传输数据向量D，其中，链路历史传输数据向量D由下式确定：

D＝(D1，D2，D3，D4，D5，L)

其中，D1为链路传输数据大小参数，D2为链路传输时间参数，D3为链路传输成本参数，D4为链路传输带宽参数，D5为链路传输时延参数；L为链路信息向量；

S32、将所有链路历史传输数据向量D中链路区域信息L1、链路类别信息L2与该链路相同的链路历史传输数据向量D的链路传输成本参数D3求其平均值，得到链路传输成本参数R5；

S33、采用回归算法，以所有链路历史传输数据向量D的D1、D2、L3作为特征输入，以D4为目标变量，进行回归预测，得到边缘计算节点到服务器链路传输带宽预测值R1；

S34、采用回归算法，以所有链路历史传输数据向量D的D1、D2、L3作为特征输入，以D5为目标变量，进行回归预测，得到边缘计算节点到服务器时延预测值R3；

S35、对所有链路历史传输数据向量D的D4计算标准差，得到边缘计算节点到服务器链路传输带宽预测稳定性参数R2；

S36，对所有链路历史传输数据向量D的D5计算标准差，得到边缘计算节点到服务器时延预测稳定性参数R4。

在步骤S5中，边缘计算节点决定各链路传输属性的策略包含以下步骤：

S51、根据获取的各链路预测属性，计算各链路的链路权重度量，链路权重度量按以下公式确定：

C＝{[R1+R2]*R5}/[R3-R4]

其中，C为链路权重度量值；

S52、根据各链路的权重度量值C，计算各链路对应传输属性，各链路传输属性由下式确定：

K＝(K1，K2)

其中，K为链路特征向量；K1为该链路需传输数据大小信息，单位为千比特；K2为该链路传输的相对总成本参数；

K1按以下公式确定：

K1＝B*[C/Ck]

其中，Ck为该边缘计算节点各链路权重度量之和；

K2按以下公式确定：

K2＝K1*R5。

在步骤S6中，服务器记录的传输链路信息，即链路数据传输的历史数据向量A，其由下式确定：

A＝(A1，A2，A3，A4，A5，L)

其中，A1为本次传输该链路的数据大小参数；A2为本次传输该链路的时间参数；A3为本次传输该链路的成本参数；A4为本次传输该链路的带宽参数；A5为本次传输该链路的时延参数；L为本次传输前边缘计算节点向服务器发送的链路信息向量。

本发明与现有技术相比，具有如下优点与有益效果：

本发明针对目前数据采集的过程中，边缘计算节点往往不能提前预知链路传输情况而无法合理分配传输属性的现状，通过在服务器端对各链路包括传输成本、时延、带宽等历史大数据的分析和预测，帮助边缘计算节点在数据采集过程开始前能够动态分配各链路最佳传输属性，降低了数据采集的传输成本，减少了所需时间，并充分利用了网络资源。

附图说明

图1是本发明实施例所适用的服务器数据采集的示意图。

图2是本发明方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明实施例根据服务器端对各链路历史传输大数据的分析和预测，为边缘计算节点动态决定各链路最佳传输属性。

如图1所示，在本发明实施例中，有多个数据采集点连接到边缘计算节点，而边缘计算节点和服务器端之间存在多个同类型连接链路。

如图2所示，本实施例所提供的基于边缘计算的大数据智能收集方法，包括以下步骤：

第一步：边缘计算节点根据收集到的前端数据特性，确定前端数据是否需要传输到云端服务器，如果不决定传输，则终止传输，传输过程结束；如果决定传输，接收数据采集点的数据，并进入第二步。

在本发明实施例中，前端数据特性包括但不限于数据总大小，数据形式，数据传输带宽等信息。如果前端数据的特性不符合边缘计算节点所预设的传输条件，则终止传输；如果符合，则接收所对应的各数据采集点的数据。其中，边缘计算节点所预设的传输条件为如边缘计算节点所能缓存数据大小，前端数据传输所需时间等与边缘计算节点，前端数据传输特性相关的条件。

第二步：边缘计算节点通过多条链路同时发起对云端服务器的数据传输请求，并向服务器发送其所有链路信息和传输数据信息。

在本发明实施例中，边缘计算节点向云端服务器发送的各链路信息包括以下参数：

T＝(L，B)

其中，T为链路传输信息向量，L为链路信息向量；B为数据传输的大小参数。

B的取值为本次传输边缘计算节点需向云端服务器传输数据的总大小，单位为千比特(KB)。

在本发明实施例中，链路信息向量L由以下参数决定：

L＝(L1，L2，L3)

其中，L1为链路区域信息，L2为链路类别信息，L3为链路发起传输请求的当前时间信息。

L1的取值为预先根据边缘计算节点所在区域的运营商基站，地理位置等一定范围提前划分好的若干区域的代表编号，且在传输前，所有边缘计算节点均已分配好其所在的区域编号；

L2的取值为根据连接方式，运营商，链路性质等预先划分好的链路类别编号；

L3的取值为边缘计算节点发起数据传输请求时的时间，格式为时间戳。

第三步：服务器根据边缘计算节点所在区域的所有各链路历史数据计算各链路的传输属性，生成相应的预测结果。

在本发明实施例中，所述预测表的生成方法基于Lasso回归算法，构建过程如下：

S31，服务器根据获取到的链路区域信息L1，读取所在区域内所有与链路类别信息L2相同的链路历史传输数据向量D；

其中，链路历史传输数据向量D由下式确定：

D＝(D1，D2，D3，D4，D5，L)。

其中，D1为链路传输数据大小参数，单位为千比特；D2为链路传输时间参数，单位为秒；D3为链路传输成本参数；D4为链路传输带宽参数，单位为千比特每秒；D5为链路传输时延参数，单位为毫秒。

D1的取值为该链路该次在传输数据至服务器端传输的数据总大小；

D2的取值为该链路该次在传输数据至服务器端过程中，接收到服务器端接收完成信息时记录的时间戳与发起时间L3相减得到的实际传输时间；

D3的取值根据该链路传输价格设置，取值范围为(0,1]。取值越大，其链路权重越高。对于免费链路，D3＝1。对于WIFI链路，D3＝0.9。对于其他任意链路的流量价格T，D3＝1-[(T*0.7)/Tmax)；其中，Tmax为所有其他链路中价格最高的链路流量价格；

L为该次传输前边缘计算节点向服务器发送的链路信息向量。

在本发明实施例中，服务器生成的链路预测表内各链路的预测属性包含了以下参数：

R＝(R1，R2，R3，R4，R5)

其中，R为所在区域内链路传输预测属性向量，R1为边缘计算节点到服务器链路传输带宽预测值，R2为边缘计算节点到服务器链路传输带宽预测稳定性参数，R3为边缘计算节点到服务器时延预测值，R4为边缘计算节点到服务器时延预测稳定性参数，R5为链路传输成本参数；

R1的取值为该链路传输数据时间段内的平均传输带宽预测值，单位为千比特每秒；

R2的取值为该链路传输数据时间段内，平均传输带宽的抖动计算值，其抖动值由历史传输数据向量D中链路区域信息L1，链路类别信息L2与该链路相同的历史传输数据向量的链路传输带宽参数D4，根据标准差公式计算得到。其中，标准差的计算公式为

式中，N为所有链路历史传输数据向量D中链路区域信息L1，链路类别信息L2与该链路相同的链路历史传输数据向量总个数，X_i为第i个链路区域信息L1，链路类别信息L2与该链路相同的链路历史传输数据向量D的链路传输带宽参数D4，

为所有链路区域信息L1，链路类别信息L2与该链路相同的链路历史传输数据向量D的链路传输带宽参数D4的平均值，R2的单位为千比特每秒；

R3的取值为该链路传输数据时间段内的该链路传输数据的时延预测值，单位为毫秒；

R4的取值为该链路传输数据时间段内，时延的抖动计算值，其抖动值由所有链路历史传输数据向量D中链路区域信息L1，链路类别信息L2与该链路相同的链路历史传输数据向量的链路传输时延参数D5，根据标准差公式计算得到。

其中，标准差的计算公式为：

式中，N为所有链路历史传输数据向量D中链路区域信息L1，链路类别信息L2与该链路相同的历史传输数据向量总个数，X_i为第i个链路区域信息L1，链路类别信息L2与该链路相同的链路历史传输数据向量D的链路传输时延参数D5，

为所有链路区域信息L1，链路类别信息L2与该链路相同的链路历史传输数据向量D的链路传输时延参数D5的平均值，R4的单位为毫秒；

R5的取值为所有链路历史传输数据向量D中链路区域信息L1，链路类别信息L2与该链路相同的链路历史传输数据向量的链路传输成本参数D3的平均值，取值范围为(0,1]；

S32、将所有链路历史传输数据向量D中链路区域信息L1，链路类别信息L2与该链路相同的链路历史传输数据向量的链路传输成本参数D3求其平均值，得到该链路本次传输的链路传输成本参数R5；

S33、采用Lasso回归算法，以所有链路历史传输数据向量D的D1，D2，L3作为特征输入，以D4为目标变量，进行回归预测，得到边缘计算节点到服务器链路传输带宽预测值R1；

S34、采用Lasso回归算法，以所有链路历史传输数据向量D的D1，D2，L3作为特征输入，以D5为目标变量，进行回归预测，得到边缘计算节点到服务器时延预测值R3；

S35、对所有链路历史传输数据向量D的D4计算标准差，得到边缘计算节点到服务器链路传输带宽预测稳定性参数R2；

S36、对所有链路历史传输数据向量D的D5计算标准差，得到边缘计算节点到服务器时延预测稳定性参数R4。

第四步：服务器向边缘计算节点发送对应的包含各链路预测属性的预测表。

第五步：边缘计算节点根据收到的预测表，根据相关策略决定各链路的传输属性。

在本发明实施例中，边缘计算节点决定各链路传输属性的策略包含以下步骤：

S51，根据获取的各链路预测属性，计算各链路的链路权重度量；

S52，根据各链路的权重度量，计算各链路对应的传输属性；

其中，链路权重度量按以下公式确定：

C＝{[R1+R2]*R5}/[R3-R4]

其中，C为链路权重度量值；

其中，各链路传输属性由下式确定：

K＝(K1，K2)

其中，K为链路特征向量；K1为该链路需传输数据大小信息，单位为千比特；K2为该链路传输的相对总成本参数。

K1的取值按以下公式确定：

K1＝B*[C/Ck]；

其中，Ck为该边缘计算节点各链路权重度量之和；

K2的取值按以下公式确定：

K2＝K1*R5

第六步：边缘计算节点根据所决定的链路的传输属性进行多链路传输，同时，云端服务器对边缘计算节点多链路传输情况进行记录，并周期性根据各链路情况动态更新历史数据。

在本发明实施例中，云端服务器记录的传输链路信息，即链路历史数据传输向量A，其由下式确定：

A＝(A1，A2，A3，A4，A5，L)。

其中，A1为本次传输该链路的数据大小参数，单位为千比特；A2为本次传输该链路的时间参数，单位为秒；A3为本次传输该链路的成本参数；A4为本次传输该链路的带宽参数，单位为千比特每秒；A5为本次传输该链路的时延参数，单位为毫秒。

A1，A2，A3，A4，A5的取值同上文所述D1，D2，D3，D4，D5的取值方式；

L为本次传输前边缘计算节点向服务器发送的链路信息向量。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于边缘计算的大数据智能收集方法，其特征在于，包括以下步骤：

S1、边缘计算节点根据收集到的前端数据特性，确定前端数据是否需要传输到云端服务器，如果不决定传输，则终止传输，传输过程结束；如果决定传输，接收数据采集点的数据，并进入S2；

S2、边缘计算节点通过多条链路同时发起对服务器的数据传输请求，并向服务器发送其所有链路信息和传输数据信息；

S3、服务器根据边缘计算节点所在区域的所有边缘计算节点的各链路历史数据计算各链路的传输属性，生成相应的预测表；

服务器生成的链路预测表内各链路的预测属性包含了以下参数：

R＝(R1，R2，R3，R4，R5)

其中，R为所在区域内链路传输预测属性向量，R1为边缘计算节点到服务器链路传输带宽预测值，R2为边缘计算节点到服务器链路传输带宽预测稳定性参数，R3为边缘计算节点到服务器时延预测值，R4为边缘计算节点到服务器时延预测稳定性参数，R5为链路传输成本参数；

所述预测表的生成方法基于大数据回归算法，构建过程如下：

S31、服务器根据获取到的链路区域信息L1，读取所在区域内所有与链路类别信息L2相同的链路历史传输数据向量D，其中，链路历史传输数据向量D由下式确定：

D＝(D1，D2，D3，D4，D5，L)

其中，D1为链路传输数据大小参数，D2为链路传输时间参数，D3为链路传输成本参数，D4为链路传输带宽参数，D5为链路传输时延参数；L为链路信息向量；

S32、将所有链路历史传输数据向量D中链路区域信息L1、链路类别信息L2与该链路相同的链路历史传输数据向量D的链路传输成本参数D3求其平均值，得到链路传输成本参数R5；

S33、采用回归算法，以所有链路历史传输数据向量D的D1、D2、L3作为特征输入，以D4为目标变量，进行回归预测，得到边缘计算节点到服务器链路传输带宽预测值R1；

S34、采用回归算法，以所有链路历史传输数据向量D的D1、D2、L3作为特征输入，以D5为目标变量，进行回归预测，得到边缘计算节点到服务器时延预测值R3；

S35、对所有链路历史传输数据向量D的D4计算标准差，得到边缘计算节点到服务器链路传输带宽预测稳定性参数R2；

S36，对所有链路历史传输数据向量D的D5计算标准差，得到边缘计算节点到服务器时延预测稳定性参数R4；

S4、服务器向边缘计算节点发送对应的包含各链路预测属性的预测表；

S5、边缘计算节点根据收到的预测表，根据相关策略决定各链路的传输属性；边缘计算节点决定各链路传输属性的策略包含以下步骤：

S51、根据获取的各链路预测属性，计算各链路的链路权重度量，链路权重度量按以下公式确定：

C＝{[R1+R2]*R5}/[R3-R4]

其中，C为链路权重度量值，R1为边缘计算节点到服务器链路传输带宽预测值，R2为边缘计算节点到服务器链路传输带宽预测稳定性参数，R3为边缘计算节点到服务器时延预测值，R4为边缘计算节点到服务器时延预测稳定性参数，R5为链路传输成本参数；

S52、根据各链路的权重度量值C，计算各链路对应传输属性，各链路传输属性由下式确定：

K＝(K1，K2)

其中，K为链路特征向量；K1为该链路需传输数据大小信息，单位为千比特；K2为该链路传输的相对总成本参数；

K1按以下公式确定：

K1＝B*[C/Ck]

其中，Ck为该边缘计算节点各链路权重度量之和，B为数据传输的大小参数；

K2按以下公式确定：

K2＝K1*R5；

S6、边缘计算节点根据所决定的链路的传输属性进行多链路传输，同时，服务器对边缘计算节点多链路传输情况进行记录，并周期性根据各链路情况动态更新历史数据。

2.根据权利要求1所述的一种基于边缘计算的大数据智能收集方法，其特征在于：在步骤S1中，前端数据特性包括数据总大小、数据形式和数据传输带宽信息。

3.根据权利要求1所述的一种基于边缘计算的大数据智能收集方法，其特征在于：在步骤S1中，如果前端数据的特性不符合边缘计算节点所预设的传输条件，则终止传输；如果符合，则接收所对应的各数据采集点的数据。

4.根据权利要求1所述的一种基于边缘计算的大数据智能收集方法，其特征在于：在步骤S2中，边缘计算节点向服务器发送的各链路信息包括以下参数：

T＝(L，B)

其中，T为链路传输信息向量，L为链路信息向量；B为数据传输的大小参数。

5.根据权利要求4所述的一种基于边缘计算的大数据智能收集方法，其特征在于：所述链路信息向量L由以下参数决定：

L＝(L1，L2，L3)

其中，L1为链路区域信息，L2为链路类别信息，L3为链路发起传输请求的当前时间信息。

6.根据权利要求1所述的一种基于边缘计算的大数据智能收集方法，其特征在于：在步骤S6中，服务器记录的传输链路信息，即链路历史数据传输向量A，其由下式确定：

A＝(A1，A2，A3，A4，A5，L)

其中，A1为本次传输该链路的数据大小参数；A2为本次传输该链路的时间参数；A3为本次传输该链路的成本参数；A4为本次传输该链路的带宽参数；A5为本次传输该链路的时延参数；L为本次传输前边缘计算节点向服务器发送的链路信息向量。

Images