CN107959703B - 数据处理方法、客户端及分布式计算系统 - Google Patents

Abstract

本发明公开了一种数据处理方法、客户端及分布式计算系统，所述分布式系统包括若干客户端以及服务端，所述数据处理方法包括：客户端获取待处理数据；根据预设规则处理所述待处理数据以获取结果值，其中，所述预设规则为将所述待处理数据中数据类型相同和/或键值相同的数据在本地进行计算；将在本地执行计算后的待处理数据的结果值发送至服务端待处理数据本发明能够降低分布式计算系统的运算负荷，减少需消耗的cpu，内存等资源，而且可以压缩数据节约传输数据时的带宽，同时还能保证批量执行命令时数据的准确性。

Description

数据处理方法、客户端及分布式计算系统

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种数据处理方法、客户端及分布式计算系统。

背景技术

互联网产业的迅速发展在带来数据规模爆炸式增长的同时，也使大数据呈现出越发鲜明的流式特征，传统的批处理模式难以满足流式大数据处理对于计算实时性的要求，因此，更为高效的分布式计算系统得到了越来越广泛的应用。

在流式计算的业务处理过程中，系统使用redis进行数据的计算，并将数据暂存在redis(高性能的key-value数据库，即键-值数据库)。根据业务需求，在计算过程中，海量的数据必定会产生大量的redis命令。为了节约带宽，减少等待时间等，在流式计算中，客户端只能使用批量发送命令到redis服务器进行处理。在这个过程中，可能会因为网络等其他原因，导致命令执行的先后顺序发生改变，这就可能导致结果数据的不准确，并引起某些不可预见的错误。

而且，对于大量数据的传输，流式计算中的传输过程需要消耗大量的带宽、cpu等服务器资源。

发明内容

本发明要解决的技术问题是为了克服现有技术中分布式计算系统运行时消耗系统资源太多且容易出现错误的缺陷，提供一种减少需消耗的cpu，内存等资源，而且可以压缩数据节约传输数据时的带宽，同时还能保证批量执行命令时数据的准确性的数据处理方法、客户端及分布式计算系统。

本发明是通过下述技术方案来解决上述技术问题：

一种数据处理方法，用于分布式计算系统，其特点在于，所述数据处理方法包括：

客户端获取待处理数据；

根据预设规则处理所述待处理数据以获取结果值，其中，所述预设规则为将所述待处理数据中数据类型相同和/或键值相同的数据在本地进行计算；

将在本地执行计算后的待处理数据的结果值发送至服务端待处理数据。

现有的redis命令处理方案存在两个弊端：

1、未采取措施控制命令数量，客户端会发送大量的redis待处理数据到redis服务器，这个过程消需要消耗大量的带宽等其他服务器资源；

2、未采取措施控制命令执行的先后顺序。当命令批量发送到redis服务器时，由于网络等其他原因可能引起命令执行的先后顺序发生改变，从而导致结果数据的不准确。如：先执行一个set的命令，再执行add的命令。若顺序改变，则结果数据不准确。

本发明将待处理数据中可以在本地计算的数据，在发送至服务端之前预先处理，减少服务端处理数据所需要占用的资源，达到一种分布式的数据处理模式。

待处理数据中的有些数据在执行时有一定的顺序，或者根据数据的类型可以做进一步的运算，也就是在本地客户端替远程服务端做一部分数据处理来环节服务端的压力。举例来说，当用户将一个选项的内容替换为新内容，那么用户的操作过程为先删除原内容，然后添加新内容，上述操作形成待处理数据后会记录一个用户的操作过程，但经过计算后就是将选项的值填写为所述新内容，中间的操作过程都会被简化省去。

一项键值项中包括数据类型、键值及键值对应的数值。本发明对数据类型相同或键值相同的待处理数据进行本地简化，缩减数据大小提高数据传输的准确性。

本发明将简化过程在本地客户端中完成，将简化后的待处理数据视为压缩后的数据传输给服务端，不仅能节省服务端的符合还能节约带宽，并且待处理数据中的多个数据经过计算获取一个结果值后，不再存在数据发送顺序错误的现象，提高数据的准确性。

所述预设规则可以是客户端中预存若干运算式，当待处理数据中的数据满足运算式的条件时，可以将数据直接代入运算式中进行计算。

较佳地，所述预设规则为将所述待处理数据中键值相同的数据在本地进行计算，根据预设规则处理所述待处理数据以获取结果值之前，根据系统设定规则对所述键值设定数据类型，以使得每个键值对应一种所述数据类型。

数据类型可以是redis提供的命令当中自带的，比如zadd或者zincrby这样的命令就明确指定了数据类型为集合，如果用命令hadd或hincrby，就说明数据类型是map。系统获得原始数据，根据业务需求，选取redis提供的命令，产生待处理数据。本申请为了便于在本地处理数据，在redis提供的命令中，对待处理数据的键值指定了数据类型。

较佳地，所述根据预设规则处理所述待处理数据以获取结果值的步骤包括：

判断所述键值的数据类型是否存在于本地，

如果是，根据所述预设规则处理所述待处理数据以获取所述结果值；

如果否，在本地创建该键值的数据类型，并根据所述预设规则处理所述待处理数据以获取所述结果值。

较佳地，所述根据预设规则处理所述待处理数据以获取结果值的步骤包括：

根据预设的运算规则记载运算顺序，在本地依次对待处理数据中键值相同的数据进行计算以获取所述结果值。

在客户端使用和redis服务端提供的相同数据类型压缩redis待处理数据，减少客户端发送到redis服务端的命令，实现更高效的批量执行命令；并且避免了在批量命令执行时先后顺序引起的结果数据错误。

较佳地，所述数据处理方法包括：

所述客户端判断根据所述预设规则处理过的待处理数据的总数是否大于预设值；

若是则向所述服务端发送预设值数量的待处理数据。

较佳地，所述数据处理方法包括：

判断当前时刻距离上一次发送待处理数据至服务端的时差是否大于预设时长，若大于预设时长则发送包括所述结果值的待处理数据至服务端。

本发明还提供一种客户端，用于分布式计算系统，其特点在于，所述客户端包括获取模块、处理模块以及发送模块；

所述获取模块用于获取待处理数据；

所述处理模块用于根据预设规则处理所述待处理数据以获取结果值，其中，所述预设规则为将所述待处理数据中数据类型相同和/或键值相同的数据在本地进行计算；

所述发送模块用于将在本地执行计算后的待处理数据的结果值发送至服务端待处理数据。

较佳地，所述预设规则为将所述待处理数据中键值相同的数据在本地进行计算，所述客户端还包括设定模块，所述设定模块用于在根据预设规则处理所述待处理数据以获取结果值之前，根据系统设定规则对所述键值设定数据类型，以使得每个键值对应一种所述数据类型。

较佳地，所述客户端还包括第一判断模块以及创建模块，

所述第一判断模块用于判断所述键值的数据类型是否存在于本地，若是则调用所述处理模块，若否则调用所述创建模块；

所述创建模块用于在本地创建该键值的数据类型，然后调用所述处理模块根据所述预设规则处理所述待处理数据以获取所述结果值。

较佳地，所述客户端还包括第二判断模块，

所述第二判断模块用于判断根据所述预设规则处理过的待处理数据的总数是否大于预设值，若是则向所述服务端发送预设值数量的待处理数据；或，

所述第二判断模块用于判断当前时刻距离上一次发送待处理数据至服务端的时差是否大于预设时长，若是则发送包括所述结果值的待处理数据至服务端。

本发明又提供一种分布式计算系统，其特点在于，所述分布式计算系统包括若干如上所述客户端以及服务端。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

本发明的积极进步效果在于：

1、减少redis服务器。在流式计算的过程中，在本地将产生的redis命令根据数据类型进行简化、压缩，将需要redis服务器集中处理的命令分散在各个流式计算的机器上，可以减少命令发送到redis服务器后执行redis命令所需消耗的cpu，内存等资源。

2、节约带宽。将redis命令在本地压缩后，从客户端批量发送到redis服务器的过程中能明显节约带宽资源。

3、保证批量执行命令时数据的准确性。将redis命令根据数据结构压缩，防止由于竞争或网络问题等在redis服务端先后执行而导致的不一致的错误。并且压缩过程中保持命令本身的数据结构特性，更能保证数据的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图为本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的分布式计算系统的结构示意图。

图2为本发明实施例1的数据处理方法的流程图。

图3为本发明实施例2的数据处理方法的流程图。

图4为本发明实施例3的数据处理方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例为本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1，本实施例提供一种分布式计算系统1，所述分布式计算系统包括5个客户端11、1个服务端12，所述服务端为redis服务端，所述redis服务端包括若干redis实例。

所述5个客户端中的一个客户端为第一客户端，所述第一客户端包括获取模块111、处理模块112、发送模块113、设定模块114、第一判断模块115以及第二判断模块116。

所述获取模块用于获取待处理数据。

所述第一判断模块用于判断所述键值的数据类型是否存在于本地，若是则调用所述处理模块，若否则调用所述创建模块。

所述创建模块用于在本地创建该键值的数据类型，然后调用所述处理模块。

所述处理模块用于根据预设规则处理所述待处理数据以获取结果值。

其中，所述预设规则为将所述待处理数据中数据类型相同或键值相同的数据在本地进行计算。

所述设定模块用于在根据预设规则处理所述待处理数据以获取结果值之前，根据系统设定规则对所述键值设定数据类型，以使得每个键值对应一种所述数据类型。

数据类型可以是redis提供的命令当中自带的，比如zadd或者zincrby这样的命令就明确指定了数据类型为集合，如果用命令hadd或hincrby，就说明数据类型是map。系统获得原始数据，根据业务需求，选取redis提供的命令，产生待处理数据。本实施例为了便于在本地处理数据，在redis提供的命令中，对待处理数据的键值指定了数据类型。

具体来说，所述预设规则还可以为判断所述待处理数据中的数据是否与本地的一预设运算式中的元素匹配，若是则待处理数据中的数据代入所述预设运算式计算以获取所述结果值；以及根据所述待处理数据中数据的执行顺序和类型，在本地计算所述数据以获取所述结果值。

所述第二判断模块用于判断根据所述预设规则处理过的待处理数据的总数是否大于10000，若是则调用所述发送模块。

所述发送模块用于将在本地执行计算后的待处理数据的结果值发送至服务端待处理数据。

参见图2，利用上述的分布式计算系统，本实施例能够实现一种数据处理方法：

步骤100、第一客户端读取待处理数据。

步骤101、根据业务需求及redis提供的命令对所述键值设定数据类型，以使得每个键值对应一种所述数据类型。

步骤102、判断待处理数据的数据结构是否存在于所述第一客户端中，若是则执行步骤103，若否则执行步骤104。

步骤103、根据预设规则处理所述待处理数据以获取结果值，然后执行步骤105。

进一步地，根据预设的运算规则记载运算顺序，在本地依次对待处理数据中键值相同的数据进行计算以获取所述结果值。

待处理数据中包括对键值相同的数值的运算指令，所述运算指令根据待处理数据获取的顺序形成了运算顺序，在本地对待处理数据进行计算时，依据所述运算顺序计算能够确保数据的准确性。

将简化后的待处理数据视为压缩后的数据传输给服务端，不仅能节省服务端的符合还能节约带宽，并且待处理数据中的多个数据经过计算获取一个结果值后，不再存在数据发送顺序错误的现象，提高数据的准确性。

步骤104、在本地创建该键值的数据类型，然后执行步骤103。

所述预设规则为将所述待处理数据中数据类型相同或键值相同的数据在本地进行计算。

若待处理数据中键值的数据结构对于客户端是新的数据结构，则创建这一新的数据结构，在下一次有与新创建的数据结构相同的待处理数据时，可以加快处理速度。

步骤105、判断根据所述预设规则处理过的待处理数据的总数是否大于10000，若是则执行步骤106，若否则返回步骤100。

步骤106、向所述服务端发送10000个在本地执行计算后的待处理数据。

发送获得所述结果值的待处理数据至对应的redis实例的redis服务端。从redis服务端中获取中间结果，所述分布式计算系统将中间结果存储于所述数据库中。

本实施例的数据处理方法、客户端以及分布式计算系统能够达到的效果为：减少redis服务器，因为在流式计算的过程中，在本地将产生的redis命令根据数据类型进行简化、压缩，将需要redis服务器集中处理的命令分散在各个流式计算的机器上，可以减少命令发送到redis服务器后执行redis命令所需消耗的cpu，内存等资源。将redis命令在本地压缩后，从客户端批量发送到redis服务器的过程中能明显节约带宽资源。保证批量执行命令时数据的准确性，将redis命令根据数据结构压缩，防止由于竞争或网络问题等在redis服务端先后执行而导致的不一致的错误。并且压缩过程中保持命令本身的数据结构特性，更能保证数据的准确性。

实施例2

参见图3，本实施例与实施例1基本相同，不同之处仅在于：

步骤104后执行步骤200。

步骤200、判断当前时刻距离上一次发送待处理数据的时长是否大于5秒，若是则执行步骤201，若否则返回步骤100。

步骤201、发送获得所述结果值的待处理数据至redis服务端。

本实施例的数据处理方法、客户端以及分布式计算系统能够达到的效果为：减少redis服务器，因为在流式计算的过程中，在本地将产生的redis命令根据数据类型进行简化、压缩，将需要redis服务器集中处理的命令分散在各个流式计算的机器上，可以减少命令发送到redis服务器后执行redis命令所需消耗的cpu，内存等资源。将redis命令在本地压缩后，从客户端批量发送到redis服务器的过程中能明显节约带宽资源。保证批量执行命令时数据的准确性，将redis命令根据数据结构压缩，防止由于竞争或网络问题等在redis服务端先后执行而导致的不一致的错误。并且压缩过程中保持命令本身的数据结构特性，更能保证数据的准确性。

实施例3

参见图4，本实施例与实施例1基本相同，不同之处仅在于：

步骤105替换为步骤105'。

步骤105'、判断根据所述预设规则处理过的待处理数据的总数是否大于10000，若是则执行步骤106'，若否则执行步骤107'。

步骤106'、向所述服务端发送10000个在本地执行计算后的待处理数据，然后结束流程。

步骤107'、判断当前时刻距离上一次发送待处理数据的时长是否大于5秒，若是则执行步骤108'，若否则返回步骤100。

步骤108'、发送获得所述结果值的待处理数据至redis服务端。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种数据处理方法，用于分布式计算系统，其特征在于，所述分布式计算系统包括若干客户端以及服务端，所述数据处理方法包括：

客户端获取待处理数据；

根据预设规则处理所述待处理数据以获取结果值，其中，本地产生的命令中指定了键值的数据类型，所述预设规则为将所述待处理数据中数据类型相同和/或键值相同的数据在本地进行计算，所述待处理数据中包括对键值相同的数值的运算指令，所述运算指令根据待处理数据获取的顺序形成运算顺序，在本地对待处理数据计算时依据所述运算顺序；

将在本地执行计算后的待处理数据的结果值发送至服务端待处理数据。

2.如权利要求1所述的数据处理方法，其特征在于，所述预设规则为将所述待处理数据中键值相同的数据在本地进行计算，根据预设规则处理所述待处理数据以获取结果值之前，

根据系统设定规则对所述键值设定数据类型，以使得每个键值对应一种所述数据类型。

3.如权利要求2所述的数据处理方法，其特征在于，所述根据预设规则处理所述待处理数据以获取结果值的步骤包括：

判断所述键值的数据类型是否存在于本地，

如果是，根据所述预设规则处理所述待处理数据以获取所述结果值；

如果否，在本地创建该键值的数据类型，并根据所述预设规则处理所述待处理数据以获取所述结果值。

4.如权利要求1所述的数据处理方法，其特征在于，

所述根据预设规则处理所述待处理数据以获取结果值的步骤包括：

根据预设的运算规则记载运算顺序，在本地依次对待处理数据中键值相同的数据进行计算以获取所述结果值。

5.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法包括：

所述客户端判断根据所述预设规则处理过的待处理数据的总数是否大于预设值；

若是则向所述服务端发送预设值数量的待处理数据。

6.如权利要求1或5所述的数据处理方法，其特征在于，所述数据处理方法包括：

判断当前时刻距离上一次发送待处理数据至服务端的时差是否大于预设时长，若大于预设时长则发送包括所述结果值的待处理数据至服务端。

7.一种客户端，用于分布式计算系统，其特征在于，所述客户端包括获取模块、处理模块以及发送模块；

所述获取模块用于获取待处理数据；

所述处理模块用于根据预设规则处理所述待处理数据以获取结果值，其中，本地产生的命令中指定了键值的数据类型，所述预设规则为将所述待处理数据中数据类型相同和/或键值相同的数据在本地进行计算，所述待处理数据中包括对键值相同的数值的运算指令，所述运算指令根据待处理数据获取的顺序形成运算顺序，在本地对待处理数据计算时依据所述运算顺序；

所述发送模块用于将在本地执行计算后的待处理数据的结果值发送至服务端待处理数据。

8.如权利要求7所述的客户端，其特征在于，所述预设规则为将所述待处理数据中键值相同的数据在本地进行计算，所述客户端还包括设定模块，所述设定模块用于在根据预设规则处理所述待处理数据以获取结果值之前，根据系统设定规则对所述键值设定数据类型，以使得每个键值对应一种所述数据类型。

9.如权利要求8所述的客户端，其特征在于，所述客户端还包括第一判断模块以及创建模块，

所述第一判断模块用于判断所述键值的数据类型是否存在于本地，若是则调用所述处理模块，若否则调用所述创建模块；

所述创建模块用于在本地创建该键值的数据类型，然后调用所述处理模块根据所述预设规则处理所述待处理数据以获取所述结果值。

10.如权利要求7所述的客户端，其特征在于，所述客户端还包括第二判断模块，

所述第二判断模块用于判断根据所述预设规则处理过的待处理数据的总数是否大于预设值，若是则向所述服务端发送预设值数量的待处理数据；或，

所述第二判断模块用于判断当前时刻距离上一次发送待处理数据至服务端的时差是否大于预设时长，若是则发送包括所述结果值的待处理数据至服务端。

11.一种分布式计算系统，其特征在于，所述分布式计算系统包括若干如权利要求7至9中任意一项所述客户端以及服务端。

Images