CN108389124B - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取当前数据分区标识；对所述当前数据分区标识进行哈希计算，得到对应的第一哈希值；根据所述第一哈希值从目标数据库中获取目标偏移值；根据所述目标偏移值从所述当前数据分区标识对应的当前数据分区中获取目标数据，所述目标数据在所述当前数据分区中的偏移值是根据所述目标数据在所述当前数据分区的存储顺序得到的，所述目标数据是根据目标数据标识存储至所述当前数据分区中的；将所述目标数据发送到数据处理设备中进行数据处理。采用本方法能够提高数据处理效率以及减少数据处理错误率。

Description

数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

随着信息技术的发展，产生的数据越来越多，很多场景下都存在对产生的数据进行进一步处理，得到需要的数据的需求。例如，对贷款还款信息进行处理，得到还款余额信息。由于数据量多，很多产生的数据都是通过多个数据存储设备进行存储的，同时，为了提高数据处理效率，可以利用多个数据处理设备对存储的数据进行处理，因此容易导致数据未按照存储的顺序进行处理或者被多个处理设备重复处理，导致数据处理效率低且容易发生错误。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率以及降低错误率的数据处理方法、装置、计算机设备和存储介质。

一种数据处理方法，所述方法包括：获取当前数据分区标识；对所述当前数据分区标识进行哈希计算，得到对应的第一哈希值；根据所述第一哈希值从目标数据库中获取目标偏移值；根据所述目标偏移值从所述当前数据分区标识对应的当前数据分区中获取目标数据，所述目标数据在所述当前数据分区中的偏移值是根据所述目标数据在所述当前数据分区的存储顺序得到的，所述目标数据是根据目标数据标识存储至所述当前数据分区中的；将所述目标数据发送到数据处理设备中进行数据处理。

在一些实施例中，所述方法还包括：接收所述数据处理设备发送的数据获取请求；获取所述数据处理设备对应的设备分组标识；所述获取当前数据分区标识的步骤包括：根据所述设备分组标识获取当前数据分区标识。

在一些实施例中，所述对所述当前数据分区标识进行哈希计算，得到对应的第一哈希值的步骤包括：对所述当前数据分区标识以及所述设备分组标识进行哈希计算，得到对应的第一哈希值。

在一些实施例中，所述方法还包括：接收数据存储请求，所述数据存储请求携带目标数据标识以及所述目标数据标识对应的修改后的目标数据；对所述目标数据标识进行哈希计算，得到对应的第二哈希值；根据第二哈希值获取对应的当前数据分区标识；将所述修改后的目标数据存储到所述当前数据分区中，并按照所述修改后的目标数据在所述当前数据分区中的存储顺序为所述修改后的目标数据分配对应的偏移值。

在一些实施例中，所述根据所述目标偏移值从所述当前数据分区标识对应的当前数据分区中获取目标数据的步骤包括：获取所述目标偏移值的下一偏移值；从所述当前数据分区标识对应的当前数据分区中获取所述下一偏移值对应的数据作为目标数据。

在一些实施例中，所述方法还包括：获取所述目标数据对应的目标数据标识；对所述目标数据标识进行哈希计算，得到第三哈希值；根据所述第三哈希值查找中间存储装置中是否存在所述目标数据的关联数据；所述将所述目标数据发送到数据处理设备中进行数据处理的步骤包括：当存在时，从所述中间存储装置中获取所述关联数据，并将所述目标数据以及所述关联数据发送到数据处理设备中进行数据处理。

在一些实施例中，所述方法还包括：当不存在时，将所述目标数据发送到所述中间存储装置中与所述第三哈希值进行关联存储；当获取到所述目标数据的关联数据时，根据所述第三哈希值从所述中间存储装置中获取所述目标数据；所述将所述目标数据发送到数据处理设备中进行数据处理的步骤包括：将所述目标数据以及所述关联数据发送到数据处理设备中进行数据处理。

一种数据处理装置，所述装置包括：第一分区标识获取模块，用于获取当前数据分区标识；第一哈希值得到模块，用于对所述当前数据分区标识进行哈希计算，得到对应的第一哈希值；目标偏移值获取模块，用于根据所述第一哈希值从目标数据库中获取目标偏移值；第一目标数据获取模块，用于根据所述目标偏移值从所述当前数据分区标识对应的当前数据分区中获取目标数据，所述目标数据在所述当前数据分区中的偏移值是根据所述目标数据在所述当前数据分区的存储顺序得到的，所述目标数据是根据目标数据标识存储至所述当前数据分区中的；目标数据发送模块，用于将所述目标数据发送到数据处理设备中进行数据处理。

在其中一些实施例中，所述装置还包括：获取请求接收模块，用于接收所述数据处理设备发送的数据获取请求；分组标识获取模块，用于获取所述数据处理设备对应的设备分组标识；所述第一分区标识获取模块用于：根据所述设备分组标识获取当前数据分区标识。在其中一些实施例中，所述第一哈希值得到模块用于：对所述当前数据分区标识以及所述设备分组标识进行哈希计算，得到对应的第一哈希值。

在其中一些实施例中，所述装置还包括：存储请求接收模块，用于接收数据存储请求，所述数据存储请求携带目标数据标识以及所述目标数据标识对应的修改后的目标数据；第二哈希值得到模块，用于对所述目标数据标识进行哈希计算，得到对应的第二哈希值；第二分区标识获取模块，用于根据第二哈希值获取对应的当前数据分区标识；存储模块，用于将所述修改后的目标数据存储到所述当前数据分区中，并按照所述修改后的目标数据在所述当前数据分区中的存储顺序为所述修改后的目标数据分配对应的偏移值。

在其中一些实施例中，所述第一目标数据获取模块用于：获取所述目标偏移值的下一偏移值；从所述当前数据分区标识对应的当前数据分区中获取所述下一偏移值对应的数据作为目标数据。

在其中一些实施例中，所述装置还包括：目标标识获取模块，用于获取所述目标数据对应的目标数据标识；第三哈希值得到模块，用于对所述目标数据标识进行哈希计算，得到第三哈希值；关联数据查找模块，用于根据所述第三哈希值查找中间存储装置中是否存在所述目标数据的关联数据；所述目标数据发送模块用于：当存在时，从所述中间存储装置中获取所述关联数据，并将所述目标数据以及所述关联数据发送到数据处理设备中进行数据处理。

在其中一些实施例中，所述装置还包括：关联存储模块，用于当不存在时，将所述目标数据发送到所述中间存储装置中与所述第三哈希值进行关联存储；第二目标数据获取模块，用于当获取到所述目标数据的关联数据时，根据所述第三哈希值从所述中间存储装置中获取所述目标数据；所述目标数据发送模块用于：将所述目标数据以及所述关联数据发送到数据处理设备中进行数据处理。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法的步骤。

上述数据处理方法、装置、计算机设备和存储介质，获取当前数据分区标识，对当前数据分区标识进行哈希计算，得到对应的第一哈希值，根据第一哈希值在目标数据库中获取目标偏移值，根据目标偏移值从当前数据分区标识对应的当前数据分区中获取目标数据，目标数据根据目标数据标识分配到当前数据分区中进行存储，目标数据在当前数据分区中的偏移值是根据目标数据在当前数据分区的存储顺序得到的，将目标数据发送到数据处理设备中进行数据处理。由于存储数据时是根据数据标识分配数据分区的，并根据存储顺序为数据分配偏移值，并在发送待处理数据时根据分区标识获取偏移值，根据偏移值获取对应的数据，因此可以使得数据分区中的数据可以按照存储的顺序进行处理，且不会被多个数据处理设备重复进行处理，故可以提高数据处理效率以及减少数据处理错误率。

附图说明

图1为一个实施例中数据处理方法的应用场景图；

图2为一个实施例中数据处理方法的流程示意图；

图3为另一个实施例中数据处理方法的流程示意图；

图4为另一个实施例中数据处理方法的流程示意图；

图5为另一个实施例中数据处理方法的流程示意图；

图6为一个实施例中数据处理装置的结构框图；

图7为另一个实施例中数据处理装置的结构框图；

图8为另一个实施例中数据处理装置的结构框图；

图9为另一个实施例中数据处理装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一哈希值称为第二哈希值，且类似地，可将第二哈希值称为第一哈希值。

本申请提供的数据处理方法，可以应用于如图1所示的应用环境中。包括协调服务器100、源设备110、数据分区120以及数据处理设备130。源设备110可以将要存储的数据发送到数据分区120中进行存储，协调服务器100可以与各个设备之间可以通过网络进行通信，协调服务器100可以根据源设备110发送的数据的数据标识分配存储数据的数据分区120，数据分区120中存储的数据的偏移值是根据数据在数据分区中的存储顺序进行分配的，当需要对数据进行处理时，协调服务器100获取当前数据分区标识，然后对当前数据分区标识进行哈希计算，得到对应的第一哈希值，并根据第一哈希值从目标数据库中获取目标偏移值，根据目标偏移值从当前数据分区中获取目标数据，并将目标数据发送到数据处理设备130中进行数据处理。本实施例中，数据分区120可以是独立的存储设备，也可以是协调服务器100中的一个存储区域，例如一个文件夹。可以是协调服务器100获取到对应的数据分区标识后，将数据分区标识发送到源设备110中，由源设备110根据数据分区标识将数据发送到数据分区中进行存储。也可以是协调服务器100接收到源设备110发送的数据后，再将数据发送到数据分区120中。源设备110、数据分区120以及数据处理设备130的个数仅是示例，具体的个数可以根据需要进行设置，实行本发明实施例提供的数据处理方的协调服务器100、数据处理设备130可以用独立的服务器或者是多个服务器组成的服务器集群来实现。源设备110可以是终端也可以是服务器，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

在一些实施例中，如图2所示，提供了一种数据处理方法，以该方法应用于图1中的协调服务器为例进行说明，包括以下步骤：

步骤S202，获取当前数据分区标识。

具体地，一个数据分区可以是一个独立的存储设备，也可以是一个存储区域，例如一个文件夹等，具体可以根据需要例如要存储的数据量进行设置。存储数据的数据分区可以有一个或多个。在一些实施例中，当前数据分区标识可以是由协调服务器确定的，例如，可以设置数据处理设备的标识与数据分区标识的对应关系，当接收到数据处理设备发送的数据获取请求时，获取该数据处理设备的标识对应的数据分区标识作为当前数据分区标识。或者，将未处理的数据量达到预设阈值的数据分区的数据分区标识作为当前数据分区标识。在一些实施例中，当前数据分区标识可以是数据处理设备在发送数据获取请求时携带的。

步骤S204，对当前数据分区标识进行哈希计算，得到对应的第一哈希值。

具体地，哈希计算可以把任意长度的输入通过散列算法变换成一定长度的输出的计算方法，散列算法可以为MD5(Message-digest Algorithm5，信息摘要算法5)算法和SHA(Secure Hash Standard、安全哈希标准)算法等，具体可以根据需要进行设置。得到当前数据分区标识后，利用当前数据分区标识以及预设的散列算法进行哈希计算，得到的哈希值作为第一哈希值。例如，若当前数据分区标识为0015，预设的散列算法为MD5散列函数y＝f(x)，则可以计算得到y＝f(0015)时的y值，作为当前数据分区标识为0015时对应的第一哈希值。

在一个实施例中，一个数据分区可以存储一种类型的数据，还可以根据当前数据分区中存储的数据的类型以及当前数据分区标识进行哈希计算，得到对应的第一哈希值。数据的类型可以根据数据表的表名确定，例如，贷款数据表、合同数据表分别对应贷款类型、合同类型。

步骤S206，根据第一哈希值从目标数据库中获取目标偏移值。

具体地，目标数据库为一个KV(key-value、键值)结构的非关系型数据库，目标数据库中可以存储哈希表，哈希表中包括key和key对应的value值。因此，可以根据第一哈希值在目标数据库中获取与第一哈希值相同的key，然后根据key得到对应的value值作为目标偏移值。目标数据库可以是设置在协调服务器中的。

在一些实施例中，目标数据库可以用于存储各个数据分区中最新处理的数据的偏移值，即最新的已经发送到数据处理设备进行处理的数据对应的偏移值。例如，若当前数据分区中依次包括A数据、B数据以及C数据，当A数据已发送到数据处理设备中时，目标数据库存储第一哈希值以及对应的A数据的数据偏移值。

在一些实施例中，目标数据库可以用于存储各个数据分区中最新处理的数据的偏移值的下一个偏移值，即最新的已经发送到数据处理设备进行处理的数据的偏移值的下一个偏移值。例如，若当前数据分区中依次包括A数据、B数据以及C数据，当A数据已发送到数据处理设备中时，目标数据库存储第一哈希值以及对应的B数据的数据偏移值。

在一些实施例中，也可以根据当前数据分区标识以及对应的数据处理设备所在的设备分组标识生成第一哈希值。例如，可以将当前数据标识以及数据分布标识进行拼接，得到拼接标识，然后对拼接标识进行哈希计算，得到的值作为第一哈希值。举个实际的例子，假设当前数据标识为0015，设备分组标识为abc123，散列函数为y＝f(x)，则将当前数据标识0015以及设备分组标识abc123进行拼接得到的拼接标识可以为0015abc123，故可以计算得到y＝f(0015abc123)时对应的y值，作为第一哈希值。由于一个数据可能涉及多个业务流程，例如一个贷款数据在进行合同数据处理以及贷款数据处理时都会被用到，因此可以根据实际需要例如不同的业务类型设置不同的数据处理设备组，数据处理设备组可以包括多个数据处理设备。为了避免数据发送到一个数据处理设备组进行处理后，目标数据库中的偏移值进行更新导致该数据不能发送到其他数据处理设备组进行处理，可以根据当前数据分区标识以及设备分组标识生成第一哈希值。例如，当第一数据分区的A数据发送到第一设备组后，根据第一数据分区标识以及第一设备组标识生成哈希值，并将该哈希值对应的A数据的偏移值发送到目标数据库中，若第二设备组需要获取第一数据分区标识中的数据，则可以根据第二设备组标识以及第一数据分区标识生成另一哈希值，根据该另一哈希值到目标数据库中获取对应的第二偏移值，因此，如第二偏移值比A数据对应的偏移值小，表示第二设备组未处理A数据，则第二设备组还可以获取A数据进行处理。

步骤S208，根据目标偏移值从当前数据分区中获取目标数据，目标数据在当前数据分区中的偏移值是根据目标数据在当前数据分区的存储顺序得到的，目标数据是根据目标数据标识存储至当前数据分区中的。

具体地，目标数据是根据目标数据标识发送到当前数据分区中进行存储的，可以设置数据标识与数据分区的对应关系，例如设置数据标识对应的哈希值与数据分区的对应关系。因此，当接收到源设备发送目标数据时，协调服务器可以根据目标数据标识得到对应的当前数据分区标识，然后将目标数据存储到对应的当前数据分区中。例如，对目标数据标识进行哈希计算，得到第二哈希值，根据第二哈希值确定对应的数据分区标识作为当前数据分区标识。协调服务器可以根据当前数据分区标识将目标数据发送到当前数据分区中，协调服务器也可以将当前数据分区标识发送到源设备，由源设备根据当前数据分区标识将目标数据发送到对应的当前数据分区中。当前数据分区中，目标数据的偏移值是根据目标数据在当前数据分区的存储顺序设置的。例如，若当前数据分区在存储目标数据之前已经存储了20个数据，第一个数据的偏移值为0，则目标数据对应的偏移值可以是20。偏移值的表示方法具体可以根据实际需要进行设置，例如，可以是用数字表示，也可以用字母表示，具体不做限制。得到目标偏移值后，根据目标偏移值从当前数据分区中获取对应的目标数据。

在一些实施例中，还可以根据目标数据的类型以及当前数据分区标识进行哈希计算，得到第二哈希值。得到第二哈希值后，根据第二哈希值得到对应的数据分区标识。例如，可以设置贷款数据类型的数据存储在A分区以及B分区，合同数据类型的数据存储在C分区以及D分区。其中A分区、B分区、C分区、D分区对应的哈希值可以为0～50、51～150、151～249、250～300。若得到的第二哈希值为101，则对应的数据分区标识为B分区的标识。

在一些实施例中，当目标数据库存储的偏移值是各个数据分区中最新处理的数据的偏移值时，根据目标偏移值从当前数据分区标识对应的当前数据分区中获取目标数据的步骤包括：获取目标偏移值的下一偏移值。从当前数据分区标识对应的当前数据分区中获取下一偏移值对应的数据作为目标数据。例如，若当前数据分区中依次包括A数据、B数据以及C数据，当A数据已发送到数据处理设备中时，目标数据库存储第一哈希值以及对应的A数据的数据偏移值，因此，获取到A数据的数据偏移值后，获取该数据偏移值的下一偏移值即B偏移值，然后在当前数据分区中获取B偏移值对应的B数据作为目标数据。

在一些实施例中，当目标数据库存储的偏移值是各个数据分区中最新处理的数据的偏移值的下一个偏移值，可以从当前数据分区中获取该目标偏移值对应的数据作为目标数据。例如，若当前数据分区中依次包括A数据、B数据以及C数据，当A数据已发送到数据处理设备中时，目标数据库存储第一哈希值以及对应的B数据的数据偏移值，则获取到B数据对应的B偏移值后，在当前数据分区中获取B偏移值对应的B数据作为目标数据。

步骤S210，将目标数据发送到数据处理设备中进行数据处理。

具体地，得到目标数据后，将目标数据发送到数据处理设备中进行数据处理。例如，可以设置数据处理设备的标识与数据分区标识的对应关系，若当前数据分区中存在未处理目标数据时，可以将目标数据发送到当前数据分区表示对应的数据处理设备中进行数据处理。可以理解，还可以获取继续获取目标数据的下一个或者多个数据发送到数据处理设备中进行数据处理。

在一些实施例中，还可以监控数据处理设备中目标数据的处理情况，若目标数据处理失败时，标记目标数据的处理状态为“处理失败”，对于“处理失败”的目标数据，可以设置其休眠期的时间长度，当休眠期达到后，再重新获取目标数据，发送到数据处理设备中进行处理，休眠期的时间长度可以根据实际需要进行设置，例如为1分钟。

上述数据处理方法中，获取当前数据分区标识。对当前数据分区标识进行哈希计算，得到对应的第一哈希值。根据第一哈希值在目标数据库中获取目标偏移值。根据目标偏移值从当前数据分区标识对应的当前数据分区中获取目标数据，目标数据根据目标数据标识分配到当前数据分区中进行存储，目标数据在当前数据分区中的偏移值是根据目标数据在当前数据分区的存储顺序得到的。将目标数据发送到数据处理设备中进行数据处理。由于存储数据时是根据数据标识分配数据分区的，并根据存储顺序为数据分配偏移值，并在发送待处理数据时根据分区标识获取偏移值，根据偏移值获取对应的数据，因此可以使得同一数据标识对应的数据可以按照顺序进行处理，且不会被多个数据处理设备重复进行处理，故可以提高数据处理效率以及减少数据处理错误。

在一些实施例中，在获取当前数据分区标识的步骤之前还可以包括：接收数据处理设备发送的数据获取请求，获取数据处理设备对应的设备分组标识。因此，获取当前数据分区标识的步骤包括：根据设备分组标识获取当前数据分区标识。

具体地，若数据处理设备需要获取数据时，可以向协调服务器发送数据获取请求，数据获取请求中携带设备标识或者对应的设备分组标识。协调服务器上可以设置有设备标识与设备分组标识的对应关系以及设备分组标识与数据分区标识的对应关系。因此，若接收到设备标识，可以根据设备标识与设备分组标识的对应关系得到该数据处理设备对应的设备分组标识，当数据获取请求中携带设备分组标识时，获取数据获取请求中携带的设备分组标识。协调服务器可以根据设备分组标识与数据分区标识的对应关系得到设备分组标识得到对应的数据分区标识，作为待进行数据处理的当前数据分区标识。本实施例中，由于接收到数据获取请求时获取的是数据处理设备对应的设备分组标识，并根据设备分组标识获取当前数据分区标识，因此，当采用包括多个设备的设备组对同一分区的数据进行处理以提高数据处理效率时，若数据已发送到设备组的一个数据处理设备进行处理，则与该数据处理设备属于同一设备组的其他数据处理设备不会再接收到已经进行处理的数据。在提高数据处理效率的同时能够避免数据被同一设备分组的设备重复处理。

在一些实施例中，对当前数据分区标识进行哈希计算，得到对应的第一哈希值的的步骤包括：对当前数据分区标识以及设备分组标识进行哈希计算，得到对应的第一哈希值。

具体地，由于数据可能涉及到多个业务流程，例如一个贷款数据在进行贷款合同数据处理以及贷款总额计算时都会被用到，故可以根据实际需要例如不同的业务类型设置不同的数据处理设备组，每一个数据处理设备组包括多个数据处理设备。由于是采用多个设备组，各个设备组可能都需要获取目标数据，因此，对当前数据分区标识以及设备分组标识进行哈希计算，使得各个设备分组对应的哈希值不同，即各个设备组对应的偏移值不同，这样即使目标数据已经发送到其中的一个设备组进行处理，另外一个设备组也还可以获取该目标数据进行处理。

在一些实施例中，如图3所示，数据处理方法还可以包括以下步骤：

步骤S302，接收数据存储请求，数据存储请求携带目标数据标识以及目标数据标识对应的修改后的目标数据。

具体地，数据存储请求可以是源设备发送的，例如，源设备可以是贷款服务器，当源设备与用户交互完成贷款后，将生成的用户的贷款数据发送给协调服务器。修改后的目标数据是指对目标数据标识对应的目标数据进行修改得到的数据，修改的类型可以是插入、更新以及删除。例如，目标数据标识可以是用户标识，在源设备中更新了用户标识对应的贷款总额，因此，源设备将目标数据标识对应的修改后的目标数据发送到协调服务器中。

步骤S304，对目标数据标识进行哈希计算，得到对应的第二哈希值。

具体地，哈希计算可以把任意长度的输入通过散列算法变换成一定长度的输出的计算方法，散列算法可以为MD5(Message-digest Algorithm5，信息摘要算法5)算法和SHA(Secure Hash Standard、安全哈希标准)算法等，具体可以根据需要进行设置。得到目标数据标识后，利用目标数据标识以及预设的散列算法进行哈希计算，得到的哈希值作为第二哈希值。在一个实施例中，可以将第二哈希值作为目标数据的key值，还可以通过封装接口对目标数据进行二次封装，得到包括第二哈希值的目标数据。。

步骤S306，根据第二哈希值获取对应的当前数据分区标识。

具体地，设置了哈希值与数据分区标识的对应关系，因此，得到第二哈希值后，将第二哈希值对应的数据分区标识作为当前数据分区标识。在一个实施例中，可以设置各个哈希数值范围与数据分区标识的对应关系，例如，可以设置哈希值为1～100对应的数据分区标识为001，哈希值为101～200对应的数据分区标识为002，哈希值为201～500对应的数据分区标识为003等。因此得到第二哈希值后，先确定第二哈希值所在的数值范围，将所在的数值范围对应的数据分区标识作为当前数据分区标识。如当第二哈希值为150时，对应的数值范围为101～200，故当前数据分区标识为002。步骤S308，将修改后的目标数据存储到当前数据分区中，并按照修改后的目标数据在当前数据分区中的存储顺序为修改后的目标数据分配对应的偏移值。

具体地，得到当前数据分区后，将目标数据存储到当前数据分区中，其中，目标数据在当前数据分区中的偏移值是根据存储顺序确定的。例如，若第1个存储到当前数据分区的数据的偏移值为0，若目标数据为第5个存储到当前数据分区中的数据，则目标数据对于的偏移值为4。

本发明实施例中，由于根据目标数据标识生成对应的第二哈希值，并根据第二哈希值分配数据分区，而数据分区又是根据存储顺序存储偏移值的。因此，对于同一个数据标识的数据即使在源设备中经过多次修改，可以保证同一目标数据标识对应的数据存储在同一数据分区中，且修改在后的目标数据比修改在前的模板数据的偏移值大。故数据处理设备首先获取修改在前的数据进行处理，从而避免同一数据标识的数据不能按照修改顺序进行处理的问题。

在一个实施例中，如图4所示，数据处理方法还包括以下步骤：

步骤S402，获取目标数据对应的目标数据标识。

具体地，目标数据标识用于标识目标数据，具体可以根据实际需要设置。例如，可以是000001、000A01等。

步骤S404，对目标数据标识进行哈希计算，得到第三哈希值。

具体地，哈希计算可以把任意长度的输入通过散列算法变换成一定长度的输出的计算方法，散列算法可以为MD5(Message-digest Algorithm5，信息摘要算法5)算法和SHA(Secure Hash Standard、安全哈希标准)算法等，第二哈希值与第三哈希值可以相同也可以不同。可以采用不同的散列算法进行哈希计算。

步骤S406，根据第三哈希值查找中间存储装置中是否存在目标数据的关联数据。

具体地，数据之间可以存在关联关系，目标数据的关联数据需要与目标数据一起由数据处理设备进行处理，关联的数据可能存储在不同的数据分区里，而导致关联数据到达数据处理设备的时间不同步。因此对于需要存在关联关系的关联数据都接收到时才能进行处理的数据，可以设置数据设置中间存储装置，中间存储装置用于临时存储需要等待关联数据到达时才能进一步进行处理的数据，中间存储装置可以是一个key-value结构的存储设备。因此，当要将数据发送到数据处理设备中进行处理时，根据第三哈希值查找中间存储装置中是否存在目标数据的关联数据，以确定与目标数据存在关联关系的关联数据是否已经存在。关联数据与目标数据存在共同的数据标识，因此，得到第三哈希值后，查询中间存储装置中是否存在与第三哈希值相同的key值，若存在，获取与第三哈希值相同的key值对应的value值作为关联数据。例如，对于同一个用户的贷款数据以及合同数据，可以利用该用户的用户标识作为该贷款数据以及合同数据的数据标识。

步骤S210即将目标数据发送到数据处理设备中进行数据处理的步骤包括：当存在时，获取关联数据，将目标数据以及关联数据发送到数据处理设备中进行数据处理。

具体地，若中间存储装置存在关联数据时，从中间存储装置中获取该关联数据，然后将目标数据以及关联数据发送到数据处理设备中进行数据处理。

在一个实施例中，当不存在与目标数据的关联数据时，如图5所示，数据处理方法还包括：

步骤S502，当不存在时，将目标数据发送到中间存储装置中与第三哈希值进行关联存储。

具体地，当不存在与目标数据的关联数据时，说明还未获取到关联数据，因此将目标数据发送到中间存储装置中，并将第三哈希值作为key值，目标数据作为第三哈希值对应的value值，将第三哈希值进行关联存储。可以理解，当从当前数据分区获取到目标数据并存储在中间存储装置时，需要将目标数据库中当前数据分区对应的偏移值数据进行更新。

步骤S504，当获取到目标数据的关联数据时，根据第三哈希值从中间存储装置中获取目标数据。

具体地，若协调服务器接收到目标数据的关联数据时，例如，从另一数据分区获取到相同的用户标识对应的数据时，从该中间存储装置中获取与第三哈希值关联存储的数据，作为目标数据。

步骤S210即将目标数据发送到数据处理设备中进行数据处理的步骤包括：将目标数据以及关联数据发送到数据处理设备中进行数据处理。

具体地，由于已经获取到目标数据的关联数据，因此可以将目标数据以及关联数据发送到数据处理设备中进行数据处理。本实施例中，由于设置了中间存储装置用于临时存储还未获取到关联数据的数据，因此，当目标数据的关联数据还未获取得到时，也能够从当前数据分区获取目标数据存储在中间存储装置中，使得当前数据分区中偏移值在目标数据的偏移值之后的数据也能够及时发送到数据处理设备中进行处理，提高了数据处理效率。

应该理解的是，虽然上述的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，如图6所示，提供了一种数据处理装置，包括：第一分区标识获取模块602、第一哈希值得到模块604、目标偏移值获取模块606、第一目标数据获取模块608和目标数据发送模块610，其中：

第一分区标识获取模块602，用于获取当前数据分区标识。

第一哈希值得到模块604，用于对当前数据分区标识进行哈希计算，得到对应的第一哈希值。

目标偏移值获取模块606，用于根据第一哈希值从目标数据库中获取目标偏移值。

第一目标数据获取模块608，用于根据目标偏移值从当前数据分区标识对应的当前数据分区中获取目标数据，目标数据在当前数据分区中的偏移值是根据目标数据在当前数据分区的存储顺序得到的，目标数据是根据目标数据标识存储至当前数据分区中的。

在其中一些实施例中，第一目标数据获取模块608用于：获取目标偏移值的下一偏移值。从当前数据分区标识对应的当前数据分区中获取下一偏移值对应的数据作为目标数据。目标数据发送模块610用于将目标数据发送到数据处理设备中进行数据处理。

在其中一些实施例中，装置还包括：获取请求接收模块，用于接收数据处理设备发送的数据获取请求。分组标识获取模块，用于获取数据处理设备对应的设备分组标识。第一分区标识获取模块602用于：根据设备分组标识获取当前数据分区标识。

在其中一些实施例中，第一哈希值得到模块604用于：对当前数据分区标识以及设备分组标识进行哈希计算，得到对应的第一哈希值。

在其中一些实施例中，如图7所示，数据处理装置还包括：

存储请求接收模块702，用于接收数据存储请求，数据存储请求携带目标数据标识以及目标数据标识对应的修改后的目标数据。

第二哈希值得到模块704，用于对目标数据标识进行哈希计算，得到对应的第二哈希值。

第二分区标识获取模块706，用于根据第二哈希值获取对应的当前数据分区标识。

存储模块708，用于将修改后的目标数据存储到当前数据分区中，并按照修改后的目标数据在当前数据分区中的存储顺序为修改后的目标数据分配对应的偏移值。

在其中一些实施例中，如图8所示，装置还包括：

目标标识获取模块802，用于获取目标数据对应的目标数据标识。

第三哈希值得到模块804，用于对目标数据标识进行哈希计算，得到第三哈希值。

关联数据查找模块806，用于根据第三哈希值查找中间存储装置中是否存在目标数据的关联数据。

目标数据发送模块610用于：当存在时，从中间存储装置中获取关联数据，并将目标数据以及关联数据发送到数据处理设备中进行数据处理。

在其中一些实施例中，如图9所示，装置还包括：

关联存储模块902，用于当不存在时，将目标数据发送到中间存储装置中与第三哈希值进行关联存储。

第二目标数据获取模块904，用于当获取到目标数据的关联数据时，根据第三哈希值从中间存储装置中获取目标数据。

目标数据发送模块610用于：将目标数据以及关联数据发送到数据处理设备中进行数据处理。

关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取当前数据分区标识；对当前数据分区标识进行哈希计算，得到对应的第一哈希值；根据第一哈希值从目标数据库中获取目标偏移值；根据目标偏移值从当前数据分区标识对应的当前数据分区中获取目标数据，目标数据在当前数据分区中的偏移值是根据目标数据在当前数据分区的存储顺序得到的，目标数据是根据目标数据标识存储至当前数据分区中的；将目标数据发送到数据处理设备中进行数据处理。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：接收数据处理设备发送的数据获取请求；获取数据处理设备对应的设备分组标识；获取当前数据分区标识的步骤包括：根据设备分组标识获取当前数据分区标识。

在一些实施例中，处理器所执行的对当前数据分区标识进行哈希计算，得到对应的第一哈希值的步骤包括：对当前数据分区标识以及设备分组标识进行哈希计算，得到对应的第一哈希值。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：接收数据存储请求，数据存储请求携带目标数据标识以及目标数据标识对应的修改后的目标数据；对目标数据标识进行哈希计算，得到对应的第二哈希值；根据第二哈希值获取对应的当前数据分区标识；将修改后的目标数据存储到当前数据分区中，并按照修改后的目标数据在当前数据分区中的存储顺序为修改后的目标数据分配对应的偏移值。

在一些实施例中，处理器所执行的根据目标偏移值从当前数据分区标识对应的当前数据分区中获取目标数据的步骤包括：获取目标偏移值的下一偏移值；从当前数据分区标识对应的当前数据分区中获取下一偏移值对应的数据作为目标数据。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：获取目标数据对应的目标数据标识；对目标数据标识进行哈希计算，得到第三哈希值；根据第三哈希值查找中间存储装置中是否存在目标数据的关联数据；将目标数据发送到数据处理设备中进行数据处理的步骤包括：当存在时，从中间存储装置中获取关联数据，并将目标数据以及关联数据发送到数据处理设备中进行数据处理。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：当不存在时，将目标数据发送到中间存储装置中与第三哈希值进行关联存储；当获取到目标数据的关联数据时，根据第三哈希值从中间存储装置中获取目标数据；将目标数据发送到数据处理设备中进行数据处理的步骤包括：将目标数据以及关联数据发送到数据处理设备中进行数据处理。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取当前数据分区标识；对当前数据分区标识进行哈希计算，得到对应的第一哈希值；根据第一哈希值从目标数据库中获取目标偏移值；根据目标偏移值从当前数据分区标识对应的当前数据分区中获取目标数据，目标数据在当前数据分区中的偏移值是根据目标数据在当前数据分区的存储顺序得到的，目标数据是根据目标数据标识存储至当前数据分区中的；将目标数据发送到数据处理设备中进行数据处理。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：接收数据处理设备发送的数据获取请求；获取数据处理设备对应的设备分组标识；获取当前数据分区标识的步骤包括：根据设备分组标识获取当前数据分区标识。

在一些实施例中，处理器所执行的对当前数据分区标识进行哈希计算，得到对应的第一哈希值的步骤包括：对当前数据分区标识以及设备分组标识进行哈希计算，得到对应的第一哈希值。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：接收数据存储请求，数据存储请求携带目标数据标识以及目标数据标识对应的修改后的目标数据；对目标数据标识进行哈希计算，得到对应的第二哈希值；根据第二哈希值获取对应的当前数据分区标识；将修改后的目标数据存储到当前数据分区中，并按照修改后的目标数据在当前数据分区中的存储顺序为修改后的目标数据分配对应的偏移值。

在一些实施例中，处理器所执行的根据目标偏移值从当前数据分区标识对应的当前数据分区中获取目标数据的步骤包括：获取目标偏移值的下一偏移值；从当前数据分区标识对应的当前数据分区中获取下一偏移值对应的数据作为目标数据。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：获取目标数据对应的目标数据标识；对目标数据标识进行哈希计算，得到第三哈希值；根据第三哈希值查找中间存储装置中是否存在目标数据的关联数据；将目标数据发送到数据处理设备中进行数据处理的步骤包括：当存在时，从中间存储装置中获取关联数据，并将目标数据以及关联数据发送到数据处理设备中进行数据处理。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：当不存在时，将目标数据发送到中间存储装置中与第三哈希值进行关联存储；当获取到目标数据的关联数据时，根据第三哈希值从中间存储装置中获取目标数据；将目标数据发送到数据处理设备中进行数据处理的步骤包括：将目标数据以及关联数据发送到数据处理设备中进行数据处理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理方法，所述方法包括：

获取当前数据分区标识；

对所述当前数据分区标识进行哈希计算，得到对应的第一哈希值；

根据所述第一哈希值从目标数据库中获取目标偏移值；

根据所述目标偏移值从所述当前数据分区标识对应的当前数据分区中获取目标数据，所述目标数据在所述当前数据分区中的偏移值是根据所述目标数据在所述当前数据分区的存储顺序得到的，所述目标数据是根据目标数据标识存储至所述当前数据分区中的；

将所述目标数据发送到数据处理设备中进行数据处理，监控所述数据处理设备中所述目标数据的处理情况；

接收数据存储请求，所述数据存储请求携带目标数据标识以及所述目标数据标识对应的修改后的目标数据；

对所述目标数据标识进行哈希计算，得到对应的第二哈希值；

根据所述第二哈希值获取对应的当前数据分区标识；

将所述修改后的目标数据存储到所述当前数据分区中，并按照所述修改后的目标数据在所述当前数据分区中的存储顺序为所述修改后的目标数据分配对应的偏移值；

获取所述目标数据对应的目标数据标识；

对所述目标数据标识进行哈希计算，得到第三哈希值；

根据所述第三哈希值查找中间存储装置中是否存在所述目标数据的关联数据；

所述将所述目标数据发送到数据处理设备中进行数据处理的步骤包括：

当存在时，从所述中间存储装置中获取所述关联数据，并将所述目标数据以及所述关联数据发送到数据处理设备中进行数据处理；

当不存在时，将所述目标数据发送到所述中间存储装置中与所述第三哈希值进行关联存储；

当获取到所述目标数据的关联数据时，根据所述第三哈希值从所述中间存储装置中获取所述目标数据；

所述将所述目标数据发送到数据处理设备中进行数据处理的步骤包括：

将所述目标数据以及所述关联数据发送到所述数据处理设备中进行数据处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述数据处理设备发送的数据获取请求；

获取所述数据处理设备对应的设备分组标识；

所述获取当前数据分区标识的步骤包括：

根据所述设备分组标识获取所述当前数据分区标识。

3.根据权利要求2所述的方法，其特征在于，所述对所述当前数据分区标识进行哈希计算，得到对应的第一哈希值的步骤包括：

对所述当前数据分区标识以及所述设备分组标识进行哈希计算，得到对应的第一哈希值。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标偏移值从所述当前数据分区标识对应的当前数据分区中获取目标数据的步骤包括：

获取所述目标偏移值的下一偏移值；

从所述当前数据分区标识对应的当前数据分区中获取所述下一偏移值对应的数据作为目标数据。

5.一种数据处理装置，所述装置包括：

第一分区标识获取模块，用于获取当前数据分区标识；

第一哈希值得到模块，用于对所述当前数据分区标识进行哈希计算，得到对应的第一哈希值；

目标偏移值获取模块，用于根据所述第一哈希值从目标数据库中获取目标偏移值；

第一目标数据获取模块，用于根据所述目标偏移值从所述当前数据分区标识对应的当前数据分区中获取目标数据，所述目标数据在所述当前数据分区中的偏移值是根据所述目标数据在所述当前数据分区的存储顺序得到的，所述目标数据是根据目标数据标识存储至所述当前数据分区中的；

目标数据发送模块，用于将所述目标数据发送到数据处理设备中进行数据处理，监控所述数据处理设备中目标数据的处理情况；

存储请求接收模块，用于接收数据存储请求，所述数据存储请求携带目标数据标识以及所述目标数据标识对应的修改后的目标数据；

第二哈希值得到模块，用于对所述目标数据标识进行哈希计算，得到对应的第二哈希值；

第二分区标识获取模块，用于根据所述第二哈希值获取对应的当前数据分区标识；

存储模块，用于将所述修改后的目标数据存储到所述当前数据分区中，并按照所述修改后的目标数据在所述当前数据分区中的存储顺序为所述修改后的目标数据分配对应的偏移值；

目标标识获取模块，用于获取所述目标数据对应的目标数据标识；

第三哈希值得到模块，用于对所述目标数据标识进行哈希计算，得到第三哈希值；

关联数据查找模块，用于根据所述第三哈希值查找中间存储装置中是否存在所述目标数据的关联数据；

关联存储模块，用于当存在时，从所述中间存储装置中获取所述关联数据，并将所述目标数据以及所述关联数据发送到数据处理设备中进行数据处理；

第二目标数据获取模块，用于当不存在时，将所述目标数据发送到所述中间存储装置中与所述第三哈希值进行关联存储；

目标数据发送模块，用于当获取到所述目标数据的关联数据时，根据所述第三哈希值从所述中间存储装置中获取所述目标数据；

所述目标数据发送模块还用于：

将所述目标数据以及所述关联数据发送到所述数据处理设备中进行数据处理。

6.根据权利要求5所述的装置，其特征在于，所述第一目标数据获取模块用于：获取所述目标偏移值的下一偏移值，从所述当前数据分区标识对应的当前数据分区中获取所述下一偏移值对应的数据作为目标数据。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：获取请求接收模块，用于接收所述数据处理设备发送的数据获取请求，分组标识获取模块，用于获取所述数据处理设备对应的设备分组标识。

8.根据权利要求5所述的装置，其特征在于，所述第一哈希值得到模块用于：对所述当前数据分区标识以及所述设备分组标识进行哈希计算，得到对应的第一哈希值。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

Images