CN110147278A - 数据处理方法及装置 - Google Patents

Abstract

本公开提供的数据处理方法和装置，涉及数据处理技术领域，能够解决由于集中式服务器的资源限制导致数据处理不及时、效率较低的问题。具体技术方案为：接收零终端的数据处理请求；根据数据处理请求确定需要的计算资源后将数据处理请求分解为N个子请求；将N个子请求分配给N个对应的设备处理；当设备处理完成对应的子请求后，接收处理结果并反馈给零终端。本公开用于提高移动零终端数据处理请求的处理效率。

Description

数据处理方法及装置

技术领域

本公开涉及数据处理技术领域，尤其涉及数据处理方法及装置。

背景技术

零终端是基于云计算技术推出的一种无CPU(中央处理器)、无内存、无硬盘操作系统的终端产品，一般只需要一块高度集成的芯片以及相关外设，通过将传统计算机主机内的数据运算、管理程序、操作系统等全部“转移”到基于云计算技术的远程服务器后，上网浏览、操作软件、编辑保存文件、播放视频等所有工作，都通过网络另一端强大的服务器软硬件系统来完成。

随着云计算技术以及通信技术的不断发展进步，目前零终端已经在办公中应用越来越多，随着零终端的发展将会出现各种形态，例如零终端手机、可穿戴零终端等，传统的集中服务器为零终端提供数据处理的方式会出现由于集中式服务器的资源限制导致数据处理不及时、效率较低的问题。

发明内容

本公开实施例提供一种数据处理方法及装置，能够解决由于集中式服务器的资源限制导致数据处理不及时、效率较低的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法，该方法包括：

接收零终端的数据处理请求；

根据所述数据处理请求确定需要的计算资源后将所述数据处理请求分解为N个子请求；

将N个子请求分配给N个对应的设备处理；

当所述设备处理完成对应的子请求后，接收处理结果并反馈给所述零终端。

通过先确定需要的计算资源再进行任务分解的方式，将零终端的数据处理请求分解成若干个小请求并由具备处理能力的设备进行处理，从而有效提高了移动零终端数据处理请求的处理效率。

一种可能的实现方式中，所述方法还包括：

当所述设备处理对应的子请求发生中断并保存现场后，重新分配设备继续处理。

考虑到处理子请求的设备本身可能也会有突发任务需要处理，只要设备将现场保存后重新分配新的设备继续处理即可，提高了数据处理冗余度。

一种可能的实现方式中，所述根据所述数据处理请求确定需要的计算资源后将所述数据处理请求分解为N个子请求，包括：

根据所述数据处理请求确定需要使用M个计算能力等级的计算资源；

根据M个计算能力等级下的可用设备将所述数据处理请求分解为N个子请求；其中，N≥M。

由于不同设备的计算能力是有区别的，因此通过先确定数据处理请求的所需的若干个计算能力等级的计算资源再结合M个计算能力等级下的可用设备，可以有效搭配使用各个计算能力等级的计算资源，提高效率以及避免使一个/几个计算能力等级下的设备负荷过高。

一种可能的实现方式中，在所述根据M个计算能力等级下的可用设备将所述数据处理请求分解为N个子请求在分配前，所述方法还包括：

查找可用设备表以确定所述每个计算能力等级下的可用设备。

通过查表的方式有效提高分配任务的效率。

一种可能的实现方式中，所述将N个子请求分配给N个对应的设备处理，包括：

根据所述可用设备表中每个设备的信用等级将N个子请求分配给N个对应的设备处理。

通过对设备标记信用等级，分配任务时也能避免出现部分设备无法处理子请求需要重新分配设备的情况的概率，从而有效提高处理效率。

一种可能的实现方式中，所述方法还包括：

根据所述设备完成子请求的历史数据更新所述设备的信用等级。

通过反馈更新设备的信用等级，可以有效提高分配的匹配率从而有效提高处理效率。

根据本公开实施例的第二方面，提供一种数据处理装置，该装置包括：

接收模块，用于接收零终端的数据处理请求；

分解模块，用于根据所述数据处理请求确定需要的计算资源后将所述数据处理请求分解为N个子请求；

分配模块，用于将N个子请求分配给N个对应的设备处理；

处理模块，用于当所述设备处理完成对应的子请求后，接收处理结果并反馈给所述零终端。

一种可能的实现方式中，所述处理模块还用于：

当所述设备处理对应的子请求发生中断并保存现场后，重新分配设备继续处理。

一种可能的实现方式中，所述分解模块包括：

确定子模块，用于根据所述数据处理请求确定需要使用M个计算能力等级的计算资源；

分解子模块，用于根据M个计算能力等级下的可用设备将所述数据处理请求分解为N个子请求；其中，N≥M。

一种可能的实现方式中，所述分解模块还包括：

查找子模块，用于查找可用设备表以确定所述每个计算能力等级下的可用设备。

一种可能的实现方式中，所述分配模块具体用于：

根据所述可用设备表中每个设备的信用等级将N个子请求分配给N个对应的设备处理。

一种可能的实现方式中，所述装置还包括：

更新模块，具体用于根据所述设备完成子请求的历史数据更新所述设备的信用等级。

本公开实施例提供的数据处理方法和装置，接收零终端的数据处理请求；根据所述数据处理请求确定需要的计算资源后将所述数据处理请求分解为N个子请求；将N个子请求分配给N个对应的设备处理；当所述设备处理完成对应的子请求后，接收处理结果并反馈给所述零终端；能够解决由于集中式服务器的资源限制导致数据处理不及时、效率较低的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例适用的应用场景示意图；

图2是本公开实施例提供的一种数据处理方法的流程示意图一；

图3是本公开实施例提供的一种数据处理方法的流程示意图二；

图4是本公开实施例提供的一种数据处理方法中步骤102的流程示意图；

图5是本公开实施例提供的一种数据处理装置的结构示意图一。

图6是本公开实施例提供的一种数据处理装置的结构示意图二。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在介绍本公开实施例提供的技术方案之前，简要对应用场景介绍如下：

如图1所示，是本公开实施例适用的网络框架示意图，其中，零终端通过网络与数据处理装置连接，数据处理装置通过网络与各类设备连接，本公开实施例中所述的设备包括远程服务器、近端服务器、终端等各类可以提供计算能力的设备。

本公开实施例提供一种数据处理方法，应用于图1中的数据处理装置，如图2所示，该方法包括以下步骤：

101、接收零终端的数据处理请求。

具体的，某个零终端需要处理数据时，向数据处理装置发起数据处理请求。

102、根据数据处理请求确定需要的计算资源后将数据处理请求分解为N个子请求。

具体的，在一个实施例中，如图4所示，步骤102包括：

1020、根据数据处理请求确定需要使用M个计算能力等级的计算资源。

示例性的，数据处理装置根据零终端发起的数据处理请求进行计算资源的判断，例如确定需要的计算资源为A、B、C三个计算能力等级的计算资源，或者例如需要的计算资源为B、C两个计算能力等级的计算资源，具体需要几个计算能力等级的计算资源，是数据处理装置根据实际情况判断确定的，其中，A类对应需要通过远程服务器完成，B类对应需要近端服务器完成，C类则可通过附近的其它终端完成。另外，前述需要A、B、C三个计算能力等级的计算资源的示例中M＝3，也只是一种示意性说明，并不表示计算能力等级只有A、B、C三个计算能力等级，实际应用中可以根据各个设备计算能力的高低更加详细划分出较多的计算能力等级。根据实际，M的取值是正整数。

值得一提的是，现有技术方案中由于集中式服务器和零终端的距离比较远，集中式服务器与零终端通信并完成数据处理等操作，一定程度上存在延迟大的问题，本公开实施例提供的数据处理方法中可以尽量就近调用计算能力等级较低的设备(例如上述示例中的B类、C类)参与数据处理请求的处理，一定程度上也可以降低总体延迟，提高数据处理效率。

1022、根据M个计算能力等级下的可用设备将数据处理请求分解为N个子请求；其中，N≥M。

示例性的，例如确定出需要A、B、C三个计算能力等级的计算资源，再根据A、B、C三个计算能力等级下的可用设备的数量将需要数据处理请求分解到4个子请求，其中，A、B、C三个计算能力等级下的可用设备的数量不小于N。根据实际，N的取值是不小于M的正整数。

值得一提的是，上述根据可用设备的数去分解数据处理请求，可以保证可供分配的设备数量不小于子请求的数量。

由于不同设备的计算能力是有区别的，因此通过先确定数据处理请求的所需的若干个计算能力等级的计算资源再结合M个计算能力等级下的可用设备，可以有效搭配使用各个计算能力等级的计算资源，提高效率以及避免使一个/几个计算能力等级下的设备负荷过高。

一种可能的实现方式中，如图4所示，在步骤1022前，该方法还包括：

1021、查找可用设备表以确定每个计算能力等级下的可用设备。

具体的，数据处理装置可以维护一个可用设备表，并动态更新，记录当前各个计算能力等级下可用设备的情况。

通过查表的方式有效提高分配任务的效率。

103、将N个子请求分配给N个对应的设备处理。

其中，每个设备的计算能力等级与对应分配的子请求要求的计算能力能级是对应的。

一个实施例中，如图3所示，步骤103具体包括：

根据可用设备表中每个设备的信用等级将N个子请求分配给N个对应的设备处理。

具体的，数据处理装置会对设备共享计算资源情况进行分析记录，对其划分信用等级，进行管理。信用等级高的表示该设备历史被调用的记录很好，例如调用此处很多且都完成了对应的子请求处理任务，信用等级的划分可以有很多方式或算法，在此不做限定。

示例性的，例如将8个(仅为示例)子请求根据需要分别分配给A类计算能力等级下3个(仅为示例)设备、B类计算能力等级下3个(仅为示例)设备、C类计算能力等级下2个(仅为示例)设备，其中，选取A类计算能力等级下总计10个(仅为示例)设备中信用等级由高到低排序前3的设备分配，选取B类计算能力等级下总计5个(仅为示例)设备中信用等级由高到低排序前3的设备分配，选取C类计算能力等级下总计3个(仅为示例)设备中信用等级由高到低排序前2的设备分配。值得一提的是，假设出现某类计算能力等级下总设备数与需要选取的设备数量刚好相等的情况，按照信用等级高低的分配方式中虽然没有冗余设备可供挑选，但是还是可以根据子请求的重要程度匹配信用等级来进行分配。

通过对设备标记信用等级，分配任务时也能避免出现部分设备无法处理子请求需要重新分配设备的情况的概率，从而有效提高处理效率。

104、当设备处理完成对应的子请求后，接收处理结果并反馈给零终端。

通过先确定需要的计算资源再进行任务分解的方式，将零终端的数据处理请求分解成若干个小请求并由具备处理能力的设备进行处理，从而有效提高了移动零终端数据处理请求的处理效率。

一个实施例中，如图3所示，该方法还包括：

105、当设备处理对应的子请求发生中断并保存现场后，重新分配设备继续处理。

考虑到处理子请求的设备本身可能也会有突发任务需要处理，只要设备将现场保存后重新分配新的设备继续处理即可，提高了数据处理冗余度。

需要说明的是，本公开实施例中的设备上均需要设置计算资源共享开关，例如安装专用软件，该软件用于统计和上报目前设备共享的计算资源情况，只有该软件打开时才允许设备的计算资源被分配，该软件关闭时如果有任务未完成则根据情况延迟一定的时间关闭，并保存现场返回。

一个实施例中，该方法还可以包括：

106、根据设备完成子请求的历史数据更新设备的信用等级。

通过反馈更新设备的信用等级，可以有效提高分配的匹配率从而有效提高处理效率。

本公开实施例提供的数据处理方法，接收零终端的数据处理请求；根据所述数据处理请求确定需要的计算资源后将所述数据处理请求分解为N个子请求；将N个子请求分配给N个对应的设备处理；当所述设备处理完成对应的子请求后，接收处理结果并反馈给所述零终端；能够解决由于集中式服务器的资源限制导致数据处理不及时、效率较低的问题。

基于上述图2或图3对应的实施例中所描述的数据处理方法，下述为本公开装置实施例，可以用于执行上述本公开方法实施例。

本公开实施例提供一种数据处理装置，如图5所示，该装置50包括：

接收模块501，用于接收零终端的数据处理请求；

分解模块502，用于根据数据处理请求确定需要的计算资源后将数据处理请求分解为N个子请求；

分配模块503，用于将N个子请求分配给N个对应的设备处理；

处理模块504，用于当设备处理完成对应的子请求后，接收处理结果并反馈给零终端。

在一个实施例中，处理模块504还用于：

当所述设备处理对应的子请求发生中断并保存现场后，重新分配设备继续处理。

在一个实施例中，如图6所示，分解模块502包括：

确定子模块5020，用于根据数据处理请求确定需要使用M个计算能力等级的计算资源；

分解子模块5022，用于根据M个计算能力等级下的可用设备将数据处理请求分解为N个子请求；其中，N≥M。

在一个实施例中，如图6所示，分解模块502还包括：

查找子模块5021，用于查找可用设备表以确定每个计算能力等级下的可用设备。

在一个实施例中，分配模块503具体用于：

根据可用设备表中每个设备的信用等级将N个子请求分配给N个对应的设备处理。

在一个实施例中，如图6所示，该装置50还包括：

更新模块505，具体用于根据设备完成子请求的历史数据更新设备的信用等级。

本公开实施例提供的数据处理装置，接收零终端的数据处理请求；根据数据处理请求确定需要的计算资源后将数据处理请求分解为N个子请求；将N个子请求分配给N个对应的设备处理；当设备处理完成对应的子请求后，接收处理结果并反馈给零终端；能够解决由于集中式服务器的资源限制导致数据处理不及时、效率较低的问题。

基于上述实施例中所描述的数据处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read OnlyMemory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述实施例中所描述的数据处理方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

接收零终端的数据处理请求；

根据所述数据处理请求确定需要的计算资源后将所述数据处理请求分解为N个子请求；

将N个子请求分配给N个对应的设备处理；

当所述设备处理完成对应的子请求后，接收处理结果并反馈给所述零终端。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述设备处理对应的子请求发生中断并保存现场后，重新分配设备继续处理。

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理请求确定需要的计算资源后将所述数据处理请求分解为N个子请求，包括：

根据所述数据处理请求确定需要使用M个计算能力等级的计算资源；

根据M个计算能力等级下的可用设备将所述数据处理请求分解为N个子请求；其中，N≥M。

4.根据权利要求3所述的方法，其特征在于，在所述根据M个计算能力等级下的可用设备将所述数据处理请求分解为N个子请求在分配前，所述方法还包括：

查找可用设备表以确定所述每个计算能力等级下的可用设备。

5.根据权利要求4所述的方法，其特征在于，所述将N个子请求分配给N个对应的设备处理，包括：

根据所述可用设备表中每个设备的信用等级将N个子请求分配给N个对应的设备处理。

6.一种数据处理装置，其特征在于，所述装置包括：

接收模块，用于接收零终端的数据处理请求；

分解模块，用于根据所述数据处理请求确定需要的计算资源后将所述数据处理请求分解为N个子请求；

分配模块，用于将N个子请求分配给N个对应的设备处理；

处理模块，用于当所述设备处理完成对应的子请求后，接收处理结果并反馈给所述零终端。

7.根据权利要求6所述的装置，其特征在于，所述处理模块还用于：

当所述设备处理对应的子请求发生中断并保存现场后，重新分配设备继续处理。

8.根据权利要求7所述的装置，其特征在于，所述分解模块包括：

确定子模块，用于根据所述数据处理请求确定需要使用M个计算能力等级的计算资源；

分解子模块，用于根据M个计算能力等级下的可用设备将所述数据处理请求分解为N个子请求；其中，N≥M。

9.根据权利要求8所述的装置，其特征在于，所述分解模块还包括：

查找子模块，用于查找可用设备表以确定所述每个计算能力等级下的可用设备。

10.根据权利要求9所述的装置，其特征在于，所述分配模块具体用于：

根据所述可用设备表中每个设备的信用等级将N个子请求分配给N个对应的设备处理。