CN109889599B - 一种数据处理方法及系统 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法及系统，所述方法包括：获取数据处理任务，并判断自身计算资源是否满足所述数据处理任务的计算需求；若是，则对所述数据处理任务进行预处理，并将预处理结果发送至中心服务器；若否，则对所述数据处理任务进行分割，得到多个数据处理子任务，并将所述数据处理子任务发送至其他边缘服务器，以使所述其他边缘服务器进行预处理，并反馈预处理结果。可见，应用本发明实施例提供的数据处理方法及系统，多个边缘服务器可以共同计算和处理较复杂的数据处理任务，解决了现有的单个边缘服务器出现计算压力过大时，导致数据处理存在较大时延的技术问题。

Description

一种数据处理方法及系统

技术领域

本发明涉及通信技术领域，特别是涉及一种数据处理方法及系统。

背景技术

用于视频监控的复杂组网环境中，通常包括智能设备和服务器，智能设备集成了大量的感知、侦测装置，从而产生大量数据，例如图像、视频等，这些数据需要服务器进行处理。然而，随着复杂组网的规模日益扩大，能够处理如此多数据的服务器必须也是大规模的，大规模的服务器通常建在偏远地区，这导致数据的传输成本较高，且处理数据时会产生较大的时延。

为了应对上述问题，出现了移动边缘计算技术。移动边缘计算技术中，包括智能设备，边缘云层和中心云层，其中边缘云层通常包含多个边缘服务器，各个边缘服务器都具有较强的数据处理能力，处于智能设备的周边；中心云层中包含中心服务器，具有更强的数据处理能力，处于偏远地区。边缘服务器能够对智能设备产生的数据进行预处理，并将预处理后的数据发送至中心服务器进行进一步处理，由于对数据进行了预处理，能够显著降低传输成本，并降低了处理数据的时延。

然而，在实际应用中，智能设备通常是移动设备，例如侦测车辆，无人机等，当智能设备处于高速移动时，整个移动边缘网络的状态、连接关系也会随之变化，可能出现单个边缘服务器计算压力过大的情况，从而使得数据处理存在较大时延。

发明内容

本发明实施例的目的在于提供一种数据处理方法及系统，以解决单个边缘服务器计算压力过大的情况，从而使得数据处理存在较大时延的技术问题。具体技术方案如下：

为了解决上述技术问题，本发明实施例提供了一种数据处理系统，所述系统包括：多个智能设备，多个边缘服务器以及中心服务器，其中，每个边缘服务器与多个智能设备连接，各个边缘服务器互相连接，每个边缘服务器与中心服务器连接；

所述智能设备，用于获取待处理数据，基于所述待处理数据生成数据处理任务，并向与其连接的边缘服务器下发所述数据处理任务；

所述边缘服务器，用于获取所述数据处理任务，并判断自身计算资源是否满足所述数据处理任务的计算需求；若是，则对所述数据处理任务进行预处理，并将预处理结果发送至中心服务器；若否，则对所述数据处理任务进行分割，得到多个数据处理子任务，将所述数据处理子任务发送至其他边缘服务器，并接收其他边缘服务器反馈的预处理结果；

所述中心服务器，用于接收边缘服务器发送的预处理结果，并对所述预处理结果进一步处理，得到处理结果。

可选的，所述边缘服务器包括信息交互模块，

所述信息交互模块，用于获取其他边缘服务器的计算资源；

所述将所述数据处理子任务发送至其他边缘服务器的步骤，包括：

确定计算资源能够满足所述数据处理子任务的边缘服务器，作为协同服务器；

将所述数据处理子任务发送至所述协同服务器。

可选的，所述智能设备包括数据侦测模块和数据压缩模块，

所述信息交互模块，还用于获取所述智能设备与所述边缘服务器进行数据传输的传输率数据，并将所述传输率数据发送至所述智能设备的数据侦测模块；

所述数据侦测模块，用于接收所述信息交互模块发送的传输率数据，并将所述传输率数据发送至所述数据压缩模块；

所述数据压缩模块，用于基于所述传输率数据，确定数据压缩的码率，并基于所述码率对所述待处理数据进行压缩。

可选的，各个所述边缘服务器的最佳通信区域不同，每个所述边缘服务器还用于：判断当前处于自身最佳通信区域的智能设备是否与自身连接，若否，则将该智能设备确定为待迁移智能设备，并对所述待迁移智能设备进行任务迁移。

可选的，所述对所述待迁移智能设备进行任务迁移的步骤，包括：

确定当前与所述待迁移智能设备连接的边缘服务器，作为待迁移边缘服务器；

从所述待迁移边缘服务器获取针对所述待迁移智能设备的历史数据；

建立与所述待迁移智能设备的连接，并对所述待迁移智能设备的数据处理任务进行处理。

为了解决上述技术问题，本发明实施例还提供了一种数据处理方法，应用于数据处理系统中的边缘服务器，所述数据处理系统包括：多个智能设备，多个边缘服务器以及中心服务器，其中，每个边缘服务器与多个智能设备连接，各个边缘服务器互相连接，每个边缘服务器与中心服务器连接；所述方法包括：

获取数据处理任务，并判断自身计算资源是否满足所述数据处理任务的计算需求；若是，则对所述数据处理任务进行预处理，并将预处理结果发送至中心服务器；若否，则对所述数据处理任务进行分割，得到多个数据处理子任务，并将所述数据处理子任务发送至其他边缘服务器，以使所述其他边缘服务器进行预处理，并反馈预处理结果。

可选的，所述将所述数据处理子任务发送至其他边缘服务器的步骤，包括：

确定计算资源能够满足所述数据处理子任务的边缘服务器，作为协同服务器；

将所述数据处理子任务发送至所述协同服务器。

可选的，所述方法还包括：

获取所述智能设备与所述边缘服务器进行数据传输的传输率数据，并将所述传输率数据发送至所述智能设备，以使所述智能设备基于所述传输率数据，确定数据压缩的码率，并基于所述码率对所述待处理数据进行压缩。

可选的，各个所述边缘服务器的最佳通信区域不同，所述方法还包括：判断当前处于自身最佳通信区域的智能设备是否与自身连接，若否，则将该智能设备确定为待迁移智能设备，并对所述待迁移智能设备进行任务迁移。

可选的，所述对所述待迁移智能设备进行任务迁移的步骤，包括：

确定当前与所述待迁移智能设备连接的边缘服务器，作为待迁移边缘服务器；

从所述待迁移边缘服务器获取针对所述待迁移智能设备的历史数据；

建立与所述待迁移智能设备的连接，并对所述待迁移智能设备的数据处理任务进行处理。

可见，应用本发明实施例提供的数据处理方法及系统，当单个边缘服务器的计算资源不足以满足数据处理任务的计算需求时，可以将对数据处理任务进行分割，得到数据处理子任务，并将数据处理子任务发送至其他边缘服务器进行处理。使用这种分布式协作的方式，多个边缘服务器可以共同计算和处理较复杂的数据处理任务，解决了现有的单个边缘服务器出现计算压力过大时，导致数据处理存在较大时延的技术问题。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据处理系统的一种架构示意图；

图2为本发明实施例提供的协作处理数据的一种示例图；

图3为本发明实施例提供的数据处理方法的一种流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有的单个边缘服务器102计算压力过高导致数据处理存在较大时延的技术问题，本发明实施例提供了一种数据处理系统，可以参见图1，图1为本发明实施例提供的数据处理系统的一种架构示意图，如图1所示，数据处理系统包括：多个智能设备101，多个边缘服务器102以及中心服务器103，其中，每个边缘服务器102与多个智能设备101连接，各个边缘服务器102互相连接，每个边缘服务器102与中心服务器103连接。

本发明实施例中，智能设备101可以是无人机、无人车或智能侦测摄像机等，只要是包含监控组件，能够进行侦测，并获取实时的视频、图像数据的电子设备均可，对此不作限定。

本发明实施例中，数据处理系统中可以包括多个边缘服务器102，边缘服务器102具有较强的计算能力，边缘服务器102通常位于智能设备101的周边区域，避免智能设备101与边缘服务器102进行长途的数据传输。每个边缘服务器102可以与多个智能设备101连接，且各个边缘服务器102可以互相连接。

本发明实施例中，中心服务器103具有相比于边缘服务器102更强的计算能力，相应的，中心服务器103的规模较大，通常建在偏远地区。中心服务器103与各个边缘服务器102均连接。图1所示实施例中数据处理系统包括单一中心服务器，本发明实施例对中心服务器的数量不做限定。

本发明实施例中，智能设备101可以对特定区域进行监控、侦测，并获取图像、视频等数据，这些数据均可作为待处理数据。具体的，智能设备101中可以包括视频侦测模块，视频侦测模块可以获取图像、视频等数据。

智能设备101可以根据待处理数据生成数据处理任务，例如，对视频进行目标检测的处理任务。智能设备101可以将生成好的数据处理任务下发至与其连接的边缘服务器102。

本发明实施例中，边缘服务器102可以获取数据处理任务，并判断自身计算资源是否满足该数据处理任务的计算需求，若满足，则对数据处理任务进行预处理，并将预处理结果发送至中心服务器103；若不满足，则对数据处理任务进行分割，得到多个数据处理子任务，并将数据处理子任务发送至其他边缘服务器102。

本发明一种实施例中，每个边缘服务器102均可以包括信息交互模块，各个信息交互模块之间可以互相通信，通信的信息可以包括边缘服务器102的计算资源使用情况等。则当边缘服务器102将数据处理任务划分为多个数据处理子任务后，可以从相邻的边缘服务器102中，确定计算资源能够满足数据处理子任务的边缘服务器102，作为协同服务器，并将数据处理子任务发送至协同服务器。

作为一个示例，可以参见图2所示的实施例，图2为本发明实施例提供的协作处理数据的一种示例图。

如图2所示，协作处理数据的过程可以包括以下步骤：

步骤21：智能设备向边缘服务器m卸载数据处理任务。

步骤22：边缘服务器m判断本地是否能够处理该数据处理任务。具体的，边缘服务器m可以检测自身当前的计算资源是否满足处理该任务的计算需求，若不满足，需要其他边缘服务器进行协同处理，则开始执行步骤23。

步骤23：边缘服务器m对所述数据处理任务进行分割，得到多个数据处理子任务，并请求边缘服务器n协同处理。

步骤24：边缘服务器n向边缘服务器m回复请求。

步骤25：边缘服务器m向边缘服务器n发送协作子任务。

步骤26：边缘服务器n处理协作子任务，并返回预处理结果。

步骤27：边缘服务器m整合预处理结果，并将预处理结果发送至中心服务器。

可见，本发明实施例中，当单个边缘服务器102的计算资源不足以满足数据处理任务的计算需求时，可以对数据处理任务进行分割，得到数据处理子任务，并将数据处理子任务发送至其他边缘服务器102进行处理。使用这种分布式协作的方式，多个边缘服务器102可以共同计算和处理较复杂的数据处理任务，解决了现有的单个边缘服务器102出现计算压力过大时，导致数据处理存在较大时延的技术问题。

本发明实施例中，为了避免传输的视频出现卡顿或者不连续的现象，智能设备可以根据实时的信道状况调整视频码率。

本发明一种实施例中，智能设备和边缘服务器进行数据传输时，边缘服务器可以实时统计数据传输时的传输率数据，其中，传输率数据用于表征数据在传输过程中未出现误码的传输量，是衡量无线信道环境的一种指标，传输率较大则表明无线信道环境较好。

具体的，边缘服务器中的信息交互模块可以获取智能设备与边缘服务器进行数据传输的传输率数据，并将传输率数据发送至智能设备的数据侦测模块。智能设备的数据侦测模块接收传输率数据，并将传输率数据转发至数据压缩模块。数据压缩模块可以基于传输率数据，确定数据压缩的码率，并基于码率对待处理数据进行压缩。

本发明一种实施例中，边缘服务器可以实时测量与智能设备进行数据交互的信噪比，并根据信噪比计算出实时的信道容量，并基于信道容量确定智能设备上传视频的码率。

作为一个示例，边缘服务器可以实时监测智能设备与自身进行数据传输时的SNR(信噪比，Signal-to-noise ratio)，根据信噪比来衡量信道质量，即信噪比较大，则信道质量较好，进而根据信噪比来确定智能设备上传视频的码率。

一种实施方式中，可以将信噪比从小到大设置为SNR₁,SNR₂…SNR_M共M个等级，相应的，计算出每个信噪比对应的视频码率，从小到大设为β₁,β₂…β_M，共M个等级。则信噪比与视频码率是一一对应的关系，边缘服务器可以直接根据计算出的信噪比，确定相应的视频码率。例如，边缘服务器计算出的信噪比为SNR₃，则可以确定视频码率为β₃。

具体的，边缘服务器可以将确定的视频码率发送至智能设备，智能设备可以基于该视频码率对视频进行编码、压缩，并进行上传。

可见，本发明实施例中，边缘服务器能够实时监测信道质量，并根据信道质量确定传输的视频码率，进而解决了由于组网环境动态多变引起的视频传输不稳定的问题，保障了视频任务能够实时连续的传输。

本发明一种实施例中，各个边缘服务器处于不同区域范围，且每个边缘服务器的最佳通信区域不同，每个边缘服务器与处于自身最佳通信区域的智能设备相连接，保证通信质量。由于智能设备可以进行移动，则当智能设备到达其他边缘服务器的最佳通信区域时，可以进行任务迁移。

具体的，每个边缘服务器还可以判断当前处于自身最佳通信区域的智能设备是否与自身连接，若否，则将智能设备确定为待迁移智能设备，并对待迁移智能设备进行任务迁移。

在进行任务迁移时，可以包括以下步骤：

步骤11：边缘服务器可以确定当前与待迁移智能设备连接的边缘服务器，将其作为待迁移边缘服务器。

步骤12：边缘服务器从待迁移边缘服务器处获取待迁移智能设备的历史数据，其中，历史数据包括待迁移智能设备下发的数据处理任务，以及待迁移边缘服务器预处理得到的计算结果等。

步骤13：边缘服务器建立与待迁移智能设备的连接，并对待迁移智能设备的数据处理任务进行处理。

可见，本发明实施例中，智能设备可以在不同边缘服务器的最佳通信区域内移动，且进入新的边缘服务器的最佳通信区域后，可以进行任务迁移，即建立与新的边缘服务器的连接，新的边缘服务器代替先前的边缘服务器，对智能设备的数据处理任务进行处理，从而解决了复杂组网环境下由于智能设备高速移动带来的数据处理高延迟的问题。

相应于图1所示的数据处理系统，本发明实施例还提供了一种数据处理方法，该方法应用于上述数据处理系统中的边缘服务器，参见图3，图3为本发明实施例提供的数据处理方法的一种流程图，包括以下步骤：

步骤S301：获取数据处理任务，并判断自身计算资源是否满足所述数据处理任务的计算需求；是则执行步骤S302，否则执行步骤S303。

步骤S302：对所述数据处理任务进行预处理，并将预处理结果发送至中心服务器。

步骤S303：对所述数据处理任务进行分割，得到多个数据处理子任务，并将所述数据处理子任务发送至其他边缘服务器，以使所述其他边缘服务器进行预处理，并反馈预处理结果。

可见，应用本发明实施例提供的数据处理方法，当单个边缘服务器的计算资源不足以满足数据处理任务的计算需求时，可以将对数据处理任务进行分割，得到数据处理子任务，并将数据处理子任务发送至其他边缘服务器进行处理。使用这种分布式协作的方式，多个边缘服务器可以共同计算和处理较复杂的数据处理任务，解决了现有的单个边缘服务器出现计算压力过大时，导致数据处理存在较大时延的技术问题。

本发明一种实施例中，将所述数据处理子任务发送至其他边缘服务器的步骤，包括：

确定计算资源能够满足所述数据处理子任务的边缘服务器，作为协同服务器；

将所述数据处理子任务发送至所述协同服务器。

本发明一种实施例中，在图3所示的方法基础上，还可以包括：

获取所述智能设备与所述边缘服务器进行数据传输的传输率数据，并将所述传输率数据发送至所述智能设备，以使所述智能设备基于所述传输率数据，确定数据压缩的码率，并基于所述码率对所述待处理数据进行压缩。

可见，本发明实施例中，边缘服务器能够实时监测信道质量，并根据信道质量确定传输的视频码率，进而解决了由于组网环境动态多变引起的视频传输不稳定的问题，保障了视频任务能够实时连续的传输。

本发明一种实施例中，各个所述边缘服务器的最佳通信区域不同，所述方法还包括：判断当前处于自身最佳通信区域的智能设备是否与自身连接，若否，则将该智能设备确定为待迁移智能设备，并对所述待迁移智能设备进行任务迁移。

本发明一种实施例中，所述对所述待迁移智能设备进行任务迁移的步骤，包括：

确定当前与所述待迁移智能设备连接的边缘服务器，作为待迁移边缘服务器；

从所述待迁移边缘服务器获取针对所述待迁移智能设备的历史数据；

建立与所述待迁移智能设备的连接，并对所述待迁移智能设备的数据处理任务进行处理。

可见，本发明实施例中，智能设备可以在不同边缘服务器的最佳通信区域内移动，且进入新的边缘服务器的最佳通信区域后，可以进行任务迁移，即建立与新的边缘服务器的连接，新的边缘服务器代替先前的边缘服务器，对智能设备的数据处理任务进行处理，从而解决了复杂组网环境下由于智能设备高速移动带来的数据处理高延迟的问题。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理方法实施例而言，由于其基本相似于数据处理系统实施例，所以描述的比较简单，相关之处参见数据处理系统实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据处理系统，其特征在于，所述系统包括：多个智能设备，多个边缘服务器以及中心服务器，其中，每个边缘服务器与多个智能设备连接，各个边缘服务器互相连接，每个边缘服务器与中心服务器连接；

所述智能设备，用于对特定区域进行监控、侦测，获取待处理数据，基于所述待处理数据生成数据处理任务，并向与其连接的边缘服务器下发所述数据处理任务；所述智能设备包含监控组件；所述待处理数据包括实时的视频、图像数据；

所述边缘服务器，用于获取所述数据处理任务，并判断自身计算资源是否满足所述数据处理任务的计算需求；若是，则对所述数据处理任务进行预处理，并将预处理结果发送至中心服务器；若否，则对所述数据处理任务进行分割，得到多个数据处理子任务，将所述数据处理子任务发送至其他边缘服务器，并接收其他边缘服务器反馈的预处理结果；所述数据处理任务为对所述实时的视频、图像数据进行处理的任务；

所述中心服务器，用于接收边缘服务器发送的针对所述数据处理任务的预处理结果，并对所述预处理结果进一步处理，得到处理结果。

2.根据权利要求1所述的系统，其特征在于，所述边缘服务器包括信息交互模块，

所述信息交互模块，用于获取其他边缘服务器的计算资源；

所述将所述数据处理子任务发送至其他边缘服务器的步骤，包括：

确定计算资源能够满足所述数据处理子任务的边缘服务器，作为协同服务器；

将所述数据处理子任务发送至所述协同服务器。

3.根据权利要求2所述的系统，其特征在于，所述智能设备包括数据侦测模块和数据压缩模块，

所述信息交互模块，还用于获取所述智能设备与所述边缘服务器进行数据传输的传输率数据，并将所述传输率数据发送至所述智能设备的数据侦测模块；

所述数据侦测模块，用于接收所述信息交互模块发送的传输率数据，并将所述传输率数据发送至所述数据压缩模块；

所述数据压缩模块，用于基于所述传输率数据，确定数据压缩的码率，并基于所述码率对所述待处理数据进行压缩。

4.根据权利要求1所述的系统，其特征在于，各个所述边缘服务器的最佳通信区域不同，每个所述边缘服务器还用于：判断当前处于自身最佳通信区域的智能设备是否与自身连接，若否，则将该智能设备确定为待迁移智能设备，并对所述待迁移智能设备进行任务迁移。

5.根据权利要求4所述的系统，其特征在于，所述对所述待迁移智能设备进行任务迁移的步骤，包括：

确定当前与所述待迁移智能设备连接的边缘服务器，作为待迁移边缘服务器；

从所述待迁移边缘服务器获取针对所述待迁移智能设备的历史数据；

建立与所述待迁移智能设备的连接，并对所述待迁移智能设备的数据处理任务进行处理。

6.一种数据处理方法，其特征在于，应用于数据处理系统中的边缘服务器，所述数据处理系统包括：多个智能设备，多个边缘服务器以及中心服务器，其中，每个边缘服务器与多个智能设备连接，各个边缘服务器互相连接，每个边缘服务器与中心服务器连接；所述方法包括：

获取数据处理任务，并判断自身计算资源是否满足所述数据处理任务的计算需求；所述数据处理任务为对所述智能设备获得的实时的视频、图像数据进行处理的任务；

若是，则对所述数据处理任务进行预处理，并将预处理结果发送至中心服务器；

若否，则对所述数据处理任务进行分割，得到多个数据处理子任务，并将所述数据处理子任务发送至其他边缘服务器，以使所述其他边缘服务器进行预处理，并反馈预处理结果。

7.根据权利要求6所述的方法，其特征在于，所述将所述数据处理子任务发送至其他边缘服务器的步骤，包括：

确定计算资源能够满足所述数据处理子任务的边缘服务器，作为协同服务器；

将所述数据处理子任务发送至所述协同服务器。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取所述智能设备与所述边缘服务器进行数据传输的传输率数据，并将所述传输率数据发送至所述智能设备，以使所述智能设备基于所述传输率数据，确定数据压缩的码率，并基于所述码率对所述待处理数据进行压缩。

9.根据权利要求6所述的方法，其特征在于，各个所述边缘服务器的最佳通信区域不同，所述方法还包括：判断当前处于自身最佳通信区域的智能设备是否与自身连接，若否，则将该智能设备确定为待迁移智能设备，并对所述待迁移智能设备进行任务迁移。

10.根据权利要求9所述的方法，其特征在于，所述对所述待迁移智能设备进行任务迁移的步骤，包括：

确定当前与所述待迁移智能设备连接的边缘服务器，作为待迁移边缘服务器；

从所述待迁移边缘服务器获取针对所述待迁移智能设备的历史数据；

建立与所述待迁移智能设备的连接，并对所述待迁移智能设备的数据处理任务进行处理。

Images