CN105760395A - 一种数据处理的方法、装置及系统 - Google Patents

Abstract

本发明公开了一种数据处理的方法，应用于分布式数据库的服务器，所述服务器用于存储数据，所述分布式数据库还包括用户端，所述方法包括：获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值，根据所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据；根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作。本发明实施例提供的数据处理的方法，可以根据用户端的一次请求，对数据进行处理，从而降低了网络开销，提高了数据处理的速度。

Description

一种数据处理的方法、装置及系统

技术领域

本发明涉及计算机技术领域，具体涉及一种数据处理的方法、装置及系统。

背景技术

(HadoopDatabase，HBase)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可搭建起大规模结构化存储集群。

Hbase数据库作为大数据的核心技术之一，发展非常迅速，广泛应用于网页搜索、社交数据、电商交易等互联网行业应用中，在电信行业中，Hbase在话单、详单、用户标签类的应用中发挥了越来越重要的作用。

在Hbase中，主键(rowkey)唯一标识一条记录，数据的存储结构按rowkey的递增顺序进行。因此，数据增删改查等处理操作是基于rowkey进行，在对Hbase中的数据执行查询、删除、修改等处理操作时需要做全表扫描，才能查找到待处理的数据，导致资源和时间开销很大。

现有技术中除了全表扫描，还可以通过二级索引技术对Hbase中的数据进行查找，二级索引技术即建立条件列与rowkey之间的索引关系，每个条件列包含多个条件，rowkey包含多个rowkey值，数据处理过程为：

用户端设置基于列的判断条件，向服务器端发送数据检索请求；

服务器侧通过索引表定位到符合条件的数据记录，并将符合条件数据记录的rowkey值列表发送给用户端；

用户端根据接收到的rowkey值列表，再逐一对rowkey值列表中的数据进行相应的处理操作。

在本实现方法中，通过索引表查找需要处理的数据记录，避免了对存储海量数据的Hbase表进行全表扫描。但该技术需要服务器与用户端间需要进行多次数据交互，且交互的数据量很大，才能实现数据的处理，从而带来了巨大的网络输入输出(IO)开销，甚至造成数据阻塞、数据在用户端进行准备的时间开销很大，对用户端资源占用率高，无法高效地进行数据清理。

发明内容

本发明实施例提供一种数据处理的方法，可以根据用户端的一次请求，对数据进行处理，从而降低了网络开销，提高了数据处理的速度。本发明实施例还提供了相应的装置及系统。

本发明第一方面提供一种数据处理的方法，所述方法应用于分布式数据库的服务器，所述服务器用于存储数据，所述分布式数据库还包括用户端，所述方法包括：

获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述过滤条件为过滤所述分布式数据库中每条数据的条件；

根据所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据；

根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作。

结合第一方面，在第一种可能的实现方式中，所述数据批量处理请求中还携带分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作，

所述根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作，包括：

根据所述分批处理指示和所述处理操作指示所指示的操作类型，对所述待处理数据分批执行所述操作类型的处理操作。

结合第一方面或第一方面第一种可能的实现方式，在第一种可能的实现方式中，所述根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值之前，所述方法还包括：

从所述分布式数据库的每条数据中确定所述每条数据的主键值；

建立所述每条数据的主键值与所述至少一个过滤条件的对应关系，所述对应关系为所述索引表。

本发明第二方面提供一种数据处理的方法，所述方法应用于分布式数据库的用户端，所述分布式数据库还包括服务器，所述服务器用于存储数据，所述方法包括：

获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

发送数据处理请求到所述服务器，所述数据处理请求中携带所述待处理数据的过滤条件和所述处理操作指示。

结合第二方面，在第一种可能的实现方式中，所述获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示时，所述方法还包括：

获取用户指定的分批处理指示，则所述数据批量处理请求中还携带所述分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作。

本发明第三方面提供一种数据处理的装置，所述装置应用于分布式数据库的服务器，所述服务器用于存储数据所述分布式数据库还包括用户端，所述装置包括：

获取单元，用于获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

主键值确定单元，用于根据预先建立的索引表，确定与所述获取单元获取的所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述过滤条件为过滤所述分布式数据库中每条数据的条件；

数据查找单元，用于根据所述主键值确定单元确定的所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据；

处理单元，用于根据所述获取单元获取的所述处理操作指示所指示的操作类型，对所述数据查找单元确定的所述待处理数据执行所述操作类型的处理操作。

结合第三方面，在第一种可能的实现方式中，

所述处理单元，具体用于当数据处理请求中还携带分批处理指示时，根据所述分批处理指示和所述处理操作指示所指示的操作类型，对所述待处理数据分批执行所述操作类型的处理操作，所述分批处理指示用于对所述待处理数据分批执行处理操作。

结合第三方面或第三方面第一种可能的实现方式，在第二种可能的实现方式中，所述装置还包括建立单元，

所述主键值确定单元，还用于在确定与所述待处理数据的过滤条件对应的待处理数据的主键值之前，从所述分布式数据库的每条数据中确定所述每条数据的主键值；

所述建立单元，用于建立所述主键值确定单元确定的所述每条数据的主键值与所述至少一个过滤条件的对应关系，所述对应关系为所述索引表。

本发明第四方面提供一种数据处理的装置，所述装置应用于分布式数据库的用户端，所述分布式存储系统还包括服务器，所述服务器用于存储数据，所述装置包括：

获取单元，用于获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

发送单元，用于发送数据处理请求到所述服务器，所述数据处理请求中携带所述获取单元获取的所述待处理数据的过滤条件和所述处理操作指示。

结合第四方面，在第一种可能的实现方式中，

所述获取单元，还用于获取用户指定的分批处理指示，则所述数据处理请求中还携带所述分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作。

本发明实施例提供的数据处理的方法，应用于分布式数据库的服务器，所述服务器用于存储数据所述分布式数据库还包括用户端，所述方法包括：获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述过滤条件为过滤所述分布式数据库中每条数据的条件；根据所述待处理数据的主键值，确定所述待处理数据的主键值对应的待处理数据；根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作。与现有技术中服务器与用户端间需要进行多次数据交互，且交互的数据量很大，才能实现数据的处理，从而带来了巨大的网络输入输出(IO)开销相比，本发明实施例提供的数据处理的方法，可以根据用户端的一次请求，对数据进行处理，从而降低了网络开销，提高了数据处理的速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中分布式数据库的一实施例示意图；

图2是本发明实施例中分布式数据库的另一实施例示意图；

图3是本发明实施例中数据处理的方法的一实施例示意图；

图4是本发明实施例中数据处理的方法的另一实施例示意图；

图5是本发明实施例中数据处理的方法的另一实施例示意图；

图6是本发明实施例中数据处理的装置的一实施例示意图；

图7是本发明实施例中数据处理的装置的另一实施例示意图；

图8是本发明实施例中数据处理的装置的另一实施例示意图；

图9是本发明实施例中数据处理的装置的另一实施例示意图；

图10是本发明实施例中数据处理的装置的另一实施例示意图；

图11是本发明实施例中数据处理的装置的另一实施例示意图；

图12是本发明实施例中数据处理的装置的另一实施例示意图；

图13是本发明实施例中分布式数据库的另一实施例示意图。

具体实施方式

本发明实施例提供一种数据处理的方法，可以根据用户端的一次请求，对数据进行处理，从而降低了网络开销，提高了数据处理的速度。本发明实施例还提供了相应的装置及系统。以下分别进行详细说明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参阅图1，本发明实施例提供的分布式数据库的一实施例包括：

所述分布式数据库包括用户端，多个服务节点，如图1中的服务节点1、服务节点2、服务节点3，每个服务节点包括多个存储节点，如图1中服务节点1中的存储节点11、存储节点12、存储节点13，服务节点2中的存储节点21、存储节点22、存储节点23，服务节点3中的存储节点31、存储节点32、存储节点33，也可以将服务节点理解为一级存储节点，将存储节点理解为二级存储节点，分布式数据库中的数据分布在所述多个存储节点中，分布式数据库可以包括Hbase、cassendra，dynamo等分布式数据库，分布式数据库对分布式数据的管理可以采用表的形式，例如：Hbase表。当然用户端、服务节点、存储节点都可以有很多个，图1中只是用于说明，并不限定个数。本发明实施例中的服务节点可以为一个计算机、服务器等设备，存储节点可以为计算机或服务器上的虚拟机。

用户端可以直接与存储节点交互，也可以通过服务节点与存储节点交互，例如：用户端可以直接向存储节点发送数据处理请求，也可以先向服务节点发送数据处理请求，然后由服务节点将数据处理请求分发到存储节点。

以图1中的服务节点1为例，针对每个存储节点对用户端所发送的数据处理请求的数据处理过程可以参阅图2进行理解：

在用户端设置数据处理操作接口，处理操作可以是删除操作、查找操作、修改操作等，接口可以是在用户端提供的相应界面，由用户输入相应的操作，或者操作类型已经预先设置好，由用户选择相应的操作类型，从而发起相应的处理操作请求。

用户端设置的数据处理操作接口提供基于列的条件，该接口提供数据处理的条件设置，针对待处理的数据进行数据处理的条件设置，数据处理的条件可以是数据产生的时间、数据的类型，数据的状态等。

用户端通过数据处理操作接口发起数据处理请求，所述数据处理请求中携带分布式数据库中待处理数据的过滤条件和处理操作指示，所述待处理数据的过滤条件为过滤所述待处理数据的条件，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型，操作类型可以为删除、操作、修改等，该请求可以直接发送到存储节点11、存储节点12和存储节点13上，也可以是，该请求先发送到服务节点1上，然后由服务节点1再将该请求分发到存储节点11、存储节点12和存储节点13上。

以存储节点11中的处理Hbase表中的过程为例：

Hbase表模块11的Hbase表中记录着存储节点11中存储的每条数据的主键值与每条数据的对应关系，索引表模块11中的索引表中记录着条件列与主键的对应关系，条件列可以理解为包含多个条件的队列，主键包含多个主键值，具体可以参阅表1进行理解：

表1：索引表11

主键	条件列1	条件列2
			主键值1	条件11	条件21
主键值2	条件12	条件22
			主键值3	条件13	条件23

当然表1只是举例说明，条件列可以有很多个，主键值和条件也可以有很多个。

Hbase表11中记录着存储节点11中存储的每条数据的主键值与每条数据的对应关系可以参阅表2进行理解：

表2：Hbase表11

主键	数据
		主键值1	数据1
主键值2	数据2
		主键值3	数据3

由表1和表2可知，当待处理数据的过滤条件为条件11时，协处理器11即可查找到对应的主键值为1，根据主键值1在表2中即可查找到对应的待处理数据为数据1，从而根据处理操作指示，对数据1进行相应的处理操作。当然，本处只是举例说明，实际上满足条件11的待处理数据可能有成千上万条，甚者更多，所以，对满足条件11的待处理数据可以调用批量处理模块11进行批量处理。可以理解的是，过滤条件可以用一个字段来表示，即可以表示为过滤条件字段。

当然，过滤条件不限于只有一个，可以有多个过滤条件或者过滤条件的组合关系，例如：同时满足条件11和条件21的数据才属于待处理数据，满足条件11或条件23的数据都属于待处理数据。

本发明实施例中，用户端只需要发送一次处理请求，存储节点既可以通过索引表可以快速定位待处理数据，然后对待处理数据进行处理，不仅降低了网络开销，又提高了数据处理的速度。而且，本发明实施例中对待处理数据的处理为批量处理，即同时对待处理数据进行数据，从而大幅度的提高了数据处理速度。

可选地，用户还可以通过数据批量处理接口指定存储节点对待处理数据进行分批处理，即在所述数据处理请求中还携带分批处理指示，存储节点根据所述分批处理指示，对所述待处理数据分批执行所述处理操作指示所指示的操作类型的处理操作。对待处理的数据进行分批处理可以减少对内存的占用需求。

分批处理可以由用户指定分批处理的次数，或者每次处理的数据条数，也可以是存储节点根据分批处理指示以及待处理数据的条数，确定分批处理的次数，或者每次处理的数量。

可选地，存储节点对待处理数据执行相应的处理操作时，还记录所述待处理数据处理后的处理记录，处理记录可以为处理的条数等，处理完成后，向所述用户端发送对所述待处理数据处理后的处理记录；或者，向所处的服务节点发送所述待处理数据处理后的处理记录，所述待处理数据处理后的处理记录由所述服务节点向所述用户端发送。这样，用户端就可以获知存储节点对数据的处理情况。

对于每个存储节点中的索引表都是在该存储节点获取到所述Hbase表中的数据时建立的，当数据处理的过程中，数据发生变化，索引表也随之更新，例如：条1中的主键值1对应的数据被删除，则表1更新为表3：

表3：更新后的索引表11

主键	条件列1	条件列2
			主键值1	--	条件21
主键值2	条件12	条件22
			主键值3	条件13	条件23

参阅图3，以hbase表数据清理为例，说明本发明实施例中数据批量清理的过程：

S1、用户端设置hbase表数据批量处理的条件，并调用数据批量处理接口，向存储节点发起数据处理请求，所述数据处理请求携带待处理数据的过滤条件和清理操作指示。

S2、hbase表模块接收该数据处理请求，并调用批量处理模块，启动数据清理任务。

S3、批量处理模块根据数据清理条件检索符合条件的数据记录，该检索请求被索引表的协处理器捕获执行。

S4、协处理器向索引表模块进行数据检索请求，索引表模块基于检索条件进行主键值查询。

S5、索引表模块将检索到的符合条件的数据记录列表返回给协处理器，数据记录中包含了hbase表中待处理数据的主键值。

S6、协处理器将数据检索记录返回给批量处理模块。

S7、批量处理模块根据返回的数据记录中的待处理数据的主键值，清理hbase表中本存储节点的数据记录。

在分批清理的情况下，将重复S3～S6步，直至数据清理完毕。

S8、在本存储节点数据清理完成后，批量数据清理模块将本存储节点的数据清理结果返回给hbase表模块。

S9、用户端接收到整个hbase表所有存储节点的数据清理应答后，对清理结果进行汇聚，数据批量清理结束。

本发明实施例中，与现有技术中服务器与用户端间的频繁交互，带来了巨大的网络输入输出(IO)开销，资源占用率高，数据处理效率低相比，本发明实施例提供的数据处理的方法，可以根据用户端的一次请求，对数据进行批量清理，从而降低了网络开销，提高了数据处理的速度。

需要说明的是，虽然上述实施例中都是以hbase为例进行的说明，实际上，本发明实施例提供的数据处理的方法还适用于cassendra，dynamo等分布式数据库中。

参阅图4，本发明实施例提供的数据处理的方法的一实施例，所述方法应用于分布式数据库的服务器，所述服务器用于存储数据，所述分布式数据库还包括用户端，所述方法可以包括：

101、获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型。

本发明实施例中的服务器可以为图1和图2中的存储节点。

102、根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述至少一个过滤条件为过滤所述分布式数据库中每条数据的条件。

103、根据所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据。

104、根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作。

而且，本发明实施例中对所述待处理数据执行所述操作类型的处理操作，可以是批量处理操作，即同时对所述待处理数据进行处理。

本发明实施例提供的数据处理的方法，应用于分布式数据库的存储节点，所述分布式数据库中的所述存储节点有多个，每个存储节点中都存储有分布式数据库中的数据，所述分布式数据库还包括用户端，所述方法包括：获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述至少一个过滤条件为过滤所述分布式数据库中每条数据的条件；根据所述待处理数据的主键值，确定所述待处理数据的主键值对应的待处理数据；根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作。与现有技术中服务器与用户端间需要进行多次数据交互，且交互的数据量很大，才能实现数据的处理，从而带来了巨大的网络输入输出(IO)开销相比，本发明实施例提供的数据处理的方法，可以根据用户端的一次请求，对数据进行处理，从而降低了网络开销，提高了数据处理的速度。

可选地，在上述图4对应的实施例的基础上，本发明实施例提供的数据处理的方法的第一个可选实施例中，所述数据处理请求中还携带分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作，

所述根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作，可以包括：

根据所述分批处理指示和所述处理操作指示所指示的操作类型，对所述待处理数据分批执行所述操作类型的处理操作。

可选地，在上述图4对应的实施例或第一个可选实施例的基础上，本发明实施例提供的数据处理的方法的第二个可选实施例中，所述根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值之前，所述方法还包括：

从所述分布式数据库的每条数据中确定所述每条数据的主键值；

建立所述每条数据的主键值与所述至少一个过滤条件的对应关系，所述对应关系为所述索引表。

另外，在对待处理数据进行处理操作后，还可以更新所述索引表。

可选地，在上述图4对应的实施例、第一个或第二个可选实施例的基础上，本发明实施例提供的数据处理的方法的第三个可选实施例中，所述分布式数据库还包括多个服务节点，每个服务节点包括至少一个所述服务器，所述获取所述用户端所发送的数据处理请求，可以包括：

接收所述用户端发送的所述数据处理请求；或者，

接收服务节点分发的所述数据处理请求，所述数据处理请求为所述服务节点从所述用户端接收的。

可选地，在上述数据处理的方法的第三个可选实施例的基础上，本发明实施例提供的数据处理的方法的第四个可选实施例中，所述方法还可以包括：

向所述用户端发送对所述待处理数据处理后的处理记录；或者，向服务节点发送对所述待处理数据处理后的处理记录，所述待处理数据处理后的处理记录由所述服务节点向所述用户端发送。

本发明图4对应的实施例或可选实施例可以参阅图1至图3部分的描述进行理解，此处不做过多赘述。

参阅图5，本发明实施例提供的数据处理的方法，所述方法应用于分布式数据库的用户端，所述分布式数据库还包括服务器，所述服务器用于存储数据，所述方法包括：

201、获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型。

本发明实施例中的服务器可以为图1和图2中的存储节点。

202、发送数据处理请求到所述服务器，所述数据处理请求中携带所述待处理数据的过滤条件和所述处理操作指示。

所述待处理数据的过滤条件用于所述存储节点根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值，并根据所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系。

所述处理操作指示用于所述存储节点根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作。

本发明实施例所提供的数据处理的方法，应用于分布式数据库的用户端，所述分布式数据库还包括服务器，所述服务器用于存储数据，所述方法包括：获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据的操作类型；发送数据处理请求到所述服务器，所述数据处理请求中携带所述待处理数据的过滤条件和所述处理操作指示。与现有技术中服务器与用户端间需要进行多次数据交互，且交互的数据量很大，才能实现数据的处理，从而带来了巨大的网络输入输出(IO)开销相比，本发明实施例提供的数据处理的方法，可以通过一次请求，对数据进行批量处理，从而降低了网络开销，提高了数据处理的速度。

可选地，在上述图5对应的实施例的基础上，本发明实施例提供的数据处理的方法的第一个可选实施例中，所述获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示时，所述方法还包括：

获取用户指定的分批处理指示，则所述数据处理请求中还携带所述分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作。

可选地，在上述图5对应的实施例或第一个可选实施例的基础上，本发明实施例提供的数据处理的方法的第二个可选实施例中，所述分布式数据库还包括多个服务节点，每个服务节点包括至少一个所述服务器，所述发送数据处理请求，可以包括：

向所述每个服务器发送所述数据处理请求；或者，

向所述每个服务节点发送所述数据处理请求，所述数据处理请求由所述每个服务节点分发到所述多个服务器。

可选地，在上述数据处理的方法的第二个可选实施例的基础上，本发明实施例提供的数据处理的方法的第三个可选实施例中，所述方法还可以包括：

接收所述每个服务器发送的所述待处理数据处理后的处理记录；或者接收所述每个服务节点发送的所述待处理数据处理后的处理记录，所述待处理数据处理后的处理记录为所述多个服务器向所述每个服务节点发送的。

本发明图5对应的实施例或可选实施例可以参阅图1至图3部分的描述进行理解，此处不做过多赘述。

参阅图6，本发明实施例提供的数据处理的装置30，所述装置30应用于分布式数据库的服务器，所述服务器用于存储数据所述分布式数据库还包括用户端，所述装置包括：

获取单元301，用于获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

本发明实施例中的服务器可以为图1和图2中的存储节点。

主键值确定单元302，用于根据预先建立的索引表，确定与所述获取单元301获取的所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述过滤条件为过滤所述分布式数据库中每条数据的条件；

数据查找单元303，用于根据所述主键值确定单元302确定的所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据；

处理单元304，用于根据所述获取单元301获取的所述处理操作指示所指示的操作类型，对所述数据查找单元303确定的所述待处理数据执行所述操作类型的处理操作。

本发明实施例中，所述装置30应用于分布式数据库的服务器，所述服务器用于存储数据所述分布式数据库还包括用户端，所述装置包括：获取单元301获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据的操作类型；主键值确定单元302根据预先建立的索引表，确定与所述获取单元301获取的所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述过滤条件为过滤所述分布式数据库中每条数据的条件；数据查找单元303根据所述主键值确定单元302确定的所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据；处理单元304根据所述获取单元301获取的所述处理操作指示所指示的操作类型，对所述数据查找单元303查找的所述待处理数据执行所述操作类型的处理操作。与现有技术中服务器与用户端间需要进行多次数据交互，且交互的数据量很大，才能实现数据的处理，从而带来了巨大的网络输入输出(IO)开销相比，本发明实施例提供的数据处理的装置，可以根据用户端的一次请求，对数据进行批量处理，从而降低了网络开销，提高了数据处理的速度。

可选地，在上述图6对应的实施例的基础上，本发明实施例提供的数据处理的装置的第一个可选实施例中，

所述处理单元304，具体用于当数据处理请求中还携带分批处理指示时，根据所述分批处理指示和所述处理操作指示所指示的操作类型，对所述待处理数据分批执行所述操作类型的处理操作，所述分批处理指示用于对所述待处理数据分批执行处理操作。

可选地，在上述图6对应的实施例或可选实施例的基础上，参阅图7，本发明实施例提供的数据处理的装置的第二个可选实施例中，所述装置还包括建立单元305，

所述主键值确定单元302，还用于在确定与所述待处理数据的过滤条件对应的待处理数据的主键值之前，从所述分布式数据库的每条数据中确定所述每条数据的主键值；

所述建立单元305，用于建立所述主键值确定单元302确定的所述每条数据的主键值与所述至少一个过滤条件的对应关系，所述对应关系为所述索引表。

可选地，在上述图6对应的实施例、第一个可选实施例或第二个可选实施例的基础上，本发明实施例提供的数据处理的装置的第三个实施例中，所述分布式数据库还包括多个服务节点，每个服务节点包括至少一个所述服务器时，所述装置30还包括：

所述获取单元301，具体用于接收所述用户端发送的所述数据处理请求；或者，接收服务节点分发的所述数据处理请求，所述数据处理请求为所述服务节点从所述用户端接收的。

可选地，在上述装置30的第三个可选实施例的基础上，参阅图8，本发明实施例提供的数据处理的装置的另一实施例中，所述装置还包括发送单元306，

发送单元306，用于向所述用户端发送所述处理单元304对所述待处理数据处理后的处理记录；或者，向服务节点发送对所述待处理数据处理后的处理记录，所述待处理数据处理后的处理记录由所述服务节点向所述用户端发送。

本发明实施例图6-图8部分所描述的内容可以参阅图1至图4部分的内容进行理解，本处不做过多赘述。

参阅图9，本发明实施例提供的数据处理的装置40，所述装置40应用于分布式数据库的用户端，所述分布式数据库还包括服务器，所述服务器用于存储数据，所述装置40包括：

获取单元401，用于获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

本发明实施例中的服务器可以为图1和图2中的存储节点。

发送单元402，用于发送数据处理请求到所述服务器，所述数据处理请求中携带所述获取单元401获取的所述待处理数据的过滤条件和所述处理操作指示。

本发明实施例中，数据处理的装置40应用于应用于分布式数据库的用户端，所述分布式数据库还包括服务器，所述服务器用于存储数据，所述装置40包括：获取单元401获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据的操作类型；发送单元402发送数据处理请求，所述数据处理请求中携带所述获取单元获取的所述待处理数据的过滤条件和所述处理操作指示。与现有技术中服务器与用户端间需要进行多次数据交互，且交互的数据量很大，才能实现数据的处理，从而带来了巨大的网络输入输出(IO)开销相比，本发明实施例提供的数据处理的装置，可以通过一次请求，对数据进行处理，从而降低了网络开销，提高了数据处理的速度。

可选地，在上述图9对应的实施例的基础上，本发明实施例提供的数据处理的装置40的另一实施例中，

所述获取单元401，还用于获取用户指定的分批处理指示，则所述数据处理请求中还携带所述分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作。

可选地，在上述图9对应的实施例或可选实施例的基础上，本发明实施例提供的数据处理的装置40的另一实施例中，所述分布式数据库还包括多个服务节点，每个服务节点包括至少一个所述服务器，

所述发送单元402，具体用于向所述每个服务器发送所述数据处理请求；或者，向所述每个服务节点发送所述数据处理请求，所述数据处理请求由所述每个服务节点分发到所述多个服务器。

可选地，在上述图9对应的实施例或可选实施例的基础上，参阅图10，本发明实施例提供的数据处理的装置40的另一实施例中，所述装置还包括接收单元403，

所述接收单元403，用于在所述发送单元402发送数据处理请求后，接收所述每个服务器发送的所述待处理数据处理后的处理记录；或者，接收所述每个服务节点发送的所述待处理数据处理后的处理记录，所述待处理数据处理后的处理记录为所述多个服务器向所述每个服务节点发送的。

本发明实施例图9和图10部分所描述的内容可以参阅图1至图3，图5部分的内容进行理解，本处不做过多赘述。

图11是本发明实施例中为数据处理的装置30的结构示意图。所述装置应用于分布式数据库的服务器，所述服务器用于存储数据所述分布式数据库还包括用户端，本发明实施例中的服务器可以为图1和图2中的存储节点。数据处理的装置30用可包括输入/输出(I/O)设备310、处理器330和存储器340。

存储器340可以包括只读存储器和随机存取存储器，并向处理器330提供指令和数据。存储器340的一部分还可以包括非易失性随机存取存储器(NVRAM)。

存储器340存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集:

操作指令：包括各种操作指令，用于实现各种操作。

操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

在本发明实施例中，处理器330通过调用存储器340存储的操作指令(该操作指令可存储在操作系统中)，执行如下操作：

获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述过滤条件为过滤所述分布式数据库中每条数据的条件；

根据所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据；

根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作。

与现有技术中服务器与用户端间需要进行多次数据交互，且交互的数据量很大，才能实现数据的处理，从而带来了巨大的网络输入输出(IO)开销相比，本发明实施例提供的数据处理的装置30，可以根据用户端的一次请求，对数据进行批量处理，从而降低了网络开销，提高了数据处理的速度。

处理器330控制为数据处理的装置30的操作，处理器330还可以称为CPU(CentralProcessingUnit，中央处理单元)。存储器340可以包括只读存储器和随机存取存储器，并向处理器330提供指令和数据。存储器340的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中，为数据处理的装置30的各个组件通过总线系统350耦合在一起，其中总线系统350除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统350。

上述本发明实施例揭示的方法可以应用于处理器330中，或者由处理器330实现。处理器330可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器330中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器330可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器340，处理器330读取存储器340中的信息，结合其硬件完成上述方法的步骤。

可选地，处理器330具体用于：当数据处理请求中还携带分批处理指示时，根据所述分批处理指示和所述处理操作指示所指示的操作类型，对所述待处理数据分批执行所述操作类型的处理操作，所述分批处理指示用于对所述待处理数据分批执行处理操作。

可选地，所述处理器330还用于：在确定与所述待处理数据的过滤条件对应的待处理数据的主键值之前，从所述分布式数据库的每条数据中确定所述每条数据的主键值；建立所述主键值确定单元确定的所述每条数据的主键值与所述至少一个过滤条件的对应关系，所述对应关系为所述索引表。

可选地，所述输入/输出(I/O)设备310具体用于：当所述分布式数据库还包括多个服务节点，每个服务节点包括至少一个所述服务器时，接收所述用户端发送的所述数据处理请求；或者，接收服务节点分发的所述数据处理请求，所述数据处理请求为所述服务节点从所述用户端接收的。

可选地，所述输入/输出(I/O)设备310还用于：向所述用户端发送对所述待处理数据处理后的处理记录；或者，向服务节点发送对所述待处理数据处理后的处理记录，所述待处理数据处理后的处理记录由所述服务节点向所述用户端发送。

本发明实施例图11部分所描述的内容可以参阅图1至图4部分的内容进行理解，本处不做过多赘述。

图12是本发明实施例数据处理的装置40的结构示意图。所述装置40应用于分布式数据库的用户端，所述分布式数据库还包括服务器，所述服务器用于存储数据，本发明实施例中的服务器可以为图1和图2中的存储节点。数据处理的装置40可包括输入/输出(I/O)设备410、、处理器430和存储器440。

存储器440可以包括只读存储器和随机存取存储器，并向处理器430提供指令和数据。存储器440的一部分还可以包括非易失性随机存取存储器(NVRAM)。

存储器440存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集:

操作指令：包括各种操作指令，用于实现各种操作。

操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

在本发明实施例中，处理器430通过调用存储器440存储的操作指令(该操作指令可存储在操作系统中)，执行如下操作：

获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据的操作类型；

通过输入输出设备410发送数据处理请求，所述数据处理请求中携带所述待处理数据的过滤条件和所述处理操作指示。

本发明实施例提供的数据处理的装置40，与现有技术中服务器与用户端间的频繁交互，带来了巨大的网络输入输出(IO)开销，资源占用率高，数据处理效率低相比，本发明实施例提供的数据处理的装置，通过一次请求，即可实现对数据进行批量处理，从而降低了网络开销，提高了数据处理的速度。

处理器430控制数据处理的装置40的操作，处理器430还可以称为CPU(CentralProcessingUnit，中央处理单元)。存储器440可以包括只读存储器和随机存取存储器，并向处理器430提供指令和数据。存储器440的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中，数据处理的装置40的各个组件通过总线系统450耦合在一起，其中总线系统450除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统450。

上述本发明实施例揭示的方法可以应用于处理器430中，或者由处理器430实现。处理器430可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器430中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器430可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器440，处理器430读取存储器440中的信息，结合其硬件完成上述方法的步骤。

可选地，所述处理器430还用于在获取用户指定的待处理数据的过滤条件和处理操作指示时，获取用户指定的分批处理指示，则所述数据处理请求中还携带所述分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作。

可选地，所述输入/输出(I/O)设备410具体用于当所述分布式数据库还包括多个服务节点，每个服务节点包括至少一个所述服务器时，向所述每个存储节点发送所述数据处理请求；或者，向所述每个服务节点发送所述数据处理请求，所述数据处理请求由所述每个服务节点分发到所述多个存储节点。

可选地，所述输入/输出(I/O)设备410还用于：

接收所述每个服务器发送的所述待处理数据处理后的处理记录；或者，接收所述每个服务节点发送的所述待处理数据处理后的处理记录，所述待处理数据处理后的处理记录为所述多个服务器向所述每个服务节点发送的。

本发明实施例图12部分所描述的内容可以参阅图1至图3，图5部分的内容进行理解，本处不做过多赘述。

参阅图13，本发明实施例提供的分布式数据库的另一实施例包括：所述分布式数据库系统包括用户端40、多个服务器30，每个服务器30中都存储有数据；

所述用户端40，用于获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型，并发送数据处理请求，所述数据处理请求中携带所述待处理数据的过滤条件和所述处理操作指示；

所述存储节点30用于：获取所述用户端所发送的数据处理请求，根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述过滤条件为过滤所述分布式数据库中每条数据的条件；根据所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据；根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作。

与现有技术中服务器与用户端间需要进行多次数据交互，且交互的数据量很大，才能实现数据的处理，从而带来了巨大的网络输入输出(IO)开销相比，本发明实施例提供的分布式数据库，可以根据用户端的一次请求，对数据进行批量处理，从而降低了网络开销，提高了数据处理的速度。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件(例如处理器)来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例所提供的数据处理的方法、装置以及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理的方法，其特征在于，所述方法应用于分布式数据库的服务器，所述服务器用于存储数据，所述分布式数据库还包括用户端，所述方法包括：

获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述过滤条件为过滤所述分布式数据库中每条数据的条件；

根据所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据；

根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作。

2.根据权利要求1所述的方法，其特征在于，所述数据批量处理请求中还携带分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作，

所述根据所述处理操作指示所指示的操作类型，对所述待处理数据执行所述操作类型的处理操作，包括：

根据所述分批处理指示和所述处理操作指示所指示的操作类型，对所述待处理数据分批执行所述操作类型的处理操作。

3.根据权利要求1或2所述的方法，其特征在于，所述根据预先建立的索引表，确定与所述待处理数据的过滤条件对应的待处理数据的主键值之前，所述方法还包括：

从所述分布式数据库的每条数据中确定所述每条数据的主键值；

建立所述每条数据的主键值与所述至少一个过滤条件的对应关系，所述对应关系为所述索引表。

4.一种数据处理的方法，其特征在于，所述方法应用于分布式数据库的用户端，所述分布式数据库还包括服务器，所述服务器用于存储数据，所述方法包括：

获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

发送数据处理请求到所述服务器，所述数据处理请求中携带所述待处理数据的过滤条件和所述处理操作指示。

5.根据权利要求4所述的方法，其特征在于，所述获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示时，所述方法还包括：

获取用户指定的分批处理指示，则所述数据批量处理请求中还携带所述分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作。

6.一种数据处理的装置，其特征在于，所述装置应用于分布式数据库的服务器，所述服务器用于存储数据所述分布式数据库还包括用户端，所述装置包括：

获取单元，用于获取所述用户端所发送的数据处理请求，所述数据处理请求中携带所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

主键值确定单元，用于根据预先建立的索引表，确定与所述获取单元获取的所述待处理数据的过滤条件对应的待处理数据的主键值，所述索引表包含所述分布式数据库中每条数据的主键值与至少一个过滤条件的对应关系，所述过滤条件为过滤所述分布式数据库中每条数据的条件；

数据查找单元，用于根据所述主键值确定单元确定的所述待处理数据的主键值，查找所述待处理数据的主键值对应的待处理数据；

处理单元，用于根据所述获取单元获取的所述处理操作指示所指示的操作类型，对所述数据查找单元确定的所述待处理数据执行所述操作类型的处理操作。

7.根据权利要求6所述的装置，其特征在于，

所述处理单元，具体用于当数据处理请求中还携带分批处理指示时，根据所述分批处理指示和所述处理操作指示所指示的操作类型，对所述待处理数据分批执行所述操作类型的处理操作，所述分批处理指示用于对所述待处理数据分批执行处理操作。

8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括建立单元，

所述主键值确定单元，还用于在确定与所述待处理数据的过滤条件对应的待处理数据的主键值之前，从所述分布式数据库的每条数据中确定所述每条数据的主键值；

所述建立单元，用于建立所述主键值确定单元确定的所述每条数据的主键值与所述至少一个过滤条件的对应关系，所述对应关系为所述索引表。

9.一种数据处理的装置，其特征在于，所述装置应用于分布式数据库的用户端，所述分布式存储系统还包括服务器，所述服务器用于存储数据，所述装置包括：

获取单元，用于获取用户指定的所述分布式数据库中待处理数据的过滤条件和处理操作指示，所述处理操作指示用于指示对所述待处理数据应进行操作的操作类型；

发送单元，用于发送数据处理请求到所述服务器，所述数据处理请求中携带所述获取单元获取的所述待处理数据的过滤条件和所述处理操作指示。

10.根据权利要求9所述的装置，其特征在于，

所述获取单元，还用于获取用户指定的分批处理指示，则所述数据处理请求中还携带所述分批处理指示，所述分批处理指示用于对所述待处理数据分批执行处理操作。