CN111580755B - 分布式数据处理系统、分布式数据处理方法 - Google Patents

Abstract

本申请实施例提供的分布式数据处理系统、方法，涉及数据处理技术领域，通过管理节点将基准编号发送给存储节点，存储节点按照基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号，管理节点用于确定覆盖编号，将覆盖编号发送给存储节点，存储节点用根据覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块，存储数据块时，根据节点维护编号存储数据块，然后根据编号对数据块进行删除，清理内存，解决了现有技术中因管理节点与存储节点时间不统一而造成的存储数据误删除的问题，减少存储节点中存储数据误删除的情况。

Description

分布式数据处理系统、分布式数据处理方法

技术领域

本申请涉及数据处理技术领域，特别是涉及分布式数据处理系统、分布式数据处理方法。

背景技术

目前，大数据应用系统已得到了普及，广泛应用于众多领域，产生了各种实时流式大数据，例如城市交通管理、网络监控管理、金融交易管理、移动社交网络分析等。可以使用对象存储系统保存海量的视频数据，考虑到存储空间等因素，每隔一定的存储周期需要将之前的数据清理掉，释放存储空间，以便最新的数据可以成功保存。

现有技术中，分布式数据处理系统通过根据计算机系统时间统一各存储节点的时间，管理节点向各存储节点下达删除指令，删除指定时间之前的数据，但是由于管理节点与存储节点的时间可能不统一，会造成数据的误删，例如当前时间为10号，其中存储节点A时间显示为5号，存储节点A记录数据的时间为5号，管理节点确定覆盖6号之前的数据，则存储节点A根据管理节点下达的覆盖6号之前的数据，会将存储节点A存储的数据全部删除。

发明内容

本申请实施例的目的在于提供分布式数据处理系统、分布式数据处理方法，以减少存储节点中存储数据误删除的情况。

具体技术方案如下：

在本申请实施的第一方面，本申请实施例提供了一种分布式数据处理系统，所述系统包括：

存储节点，管理节点；

所述管理节点用于将基准编号发送给所述存储节点；

所述存储节点用于在接收所述管理节点发送的所述基准编号后，按照所述基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号；

所述管理节点还用于确定覆盖编号，将所述覆盖编号发送给所述存储节点；

所述存储节点还用于接收所述管理节点发送的所述覆盖编号，根据所述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

可选的，所述存储节点还用于按照预设频率，将所述节点维护编号发送给所述管理节点；

所述管理节点用于根据所述节点维护编号更新所述基准编号，然后将所述更新后的基准编号发送给所述存储节点，以使所述存储节点用于根据所述更新后的基准编号更新所述节点维护编号。

可选的，所述管理节点具体用于：

从各所述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。

可选的，所述系统首次运行时，所述管理节点生成预设编号作为基准编号，然后将所述基准编号发送给所述存储节点。

可选的，所述存储节点具体用于：

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将所述节点维护编号增加一个预设步长值。

在本申请实施的第二方面，本申请实施例提供了一种分布式数据处理方法，应用于分布式数据处理系统，所述分布式数据处理系统包括存储节点，管理节点，所述方法包括：

所述管理节点将基准编号发送给所述存储节点；

所述存储节点在接收所述管理节点发送的所述基准编号后，按照所述基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号；

所述管理节点确定覆盖编号，将所述覆盖编号发送给所述存储节点；

所述存储节点接收所述管理节点发送的所述覆盖编号，根据所述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

可选的，所述方法还包括：

所述存储节点按照预设频率，将所述节点维护编号发送给所述管理节点；

所述管理节点根据所述节点维护编号更新所述基准编号，然后将所述更新后的基准编号发送给所述存储节点，以使所述存储节点根据所述更新后的基准编号更新所述节点维护编号。

可选的，所述管理节点根据所述节点维护编号更新所述基准编号，包括：

所述管理节点从各所述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。

可选的，所述系统首次运行时，所述管理节点生成预设编号作为基准编号，然后将所述基准编号发送给所述存储节点。

可选的，所述在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号，包括：

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将所述节点维护编号增加一个预设步长值。

在本申请实施的第三方面，本申请实施例提供了一种分布式数据处理方法，应用于分布式数据处理系统中的存储节点，所述分布式数据处理系统还包括管理节点，所述方法包括：

在接收所述管理节点发送的基准编号后，按照所述基准编号，设置自身的节点维护编号；

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号；

接收所述管理节点发送的覆盖编号，根据所述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

可选的，所述方法还包括：

按照预设频率，将所述节点维护编号发送给所述管理节点，以使所述管理节点根据所述节点维护编号更新所述基准编号，然后将所述更新后的基准编号发送给所述存储节点；

接收所述管理节点发送的所述更新后的基准编号，根据所述更新后的基准编号更新所述节点维护编号。

可选的，所述系统首次运行时，所述管理节点生成预设编号作为基准编号，然后将所述基准编号发送给所述存储节点。

可选的，所述在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号，包括：

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将所述节点维护编号增加一个预设步长值。

在本申请实施的第四方面，本申请实施例提供了一种分布式数据处理方法，应用于分布式数据处理系统中的管理节点，所述分布式数据处理系统还包括存储节点，所述方法包括：

将基准编号发送给所述存储节点，以使所述存储节点在接收所述基准编号后，按照所述基准编号，设置自身的节点维护编号，在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号；

确定覆盖编号，将所述覆盖编号发送给所述存储节点，以使所述存储节点接收所述覆盖编号，根据所述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

可选的，所述方法还包括：

接收所述存储节点发送的节点维护编号，根据所述节点维护编号更新所述基准编号；

将所述更新后的基准编号发送给所述存储节点，以使所述存储节点根据所述更新后的基准编号更新所述节点维护编号。

可选的，所述接收所述存储节点发送的节点维护编号，根据所述节点维护编号更新所述基准编号，包括：

接收所述存储节点发送的节点维护编号；

从各所述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。

可选的，所述系统首次运行时，生成预设编号作为基准编号，然后将所述基准编号发送给所述存储节点。

本申请实施例提供的分布式数据处理系统、分布式数据处理方法，通过所述管理节点将基准编号发送给所述存储节点，所述存储节点按照所述基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号，所述管理节点用于确定覆盖编号，将所述覆盖编号发送给所述存储节点，所述存储节点用根据所述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块，存储数据块时，根据节点维护编号存储数据块，然后根据编号对数据块进行删除，清理内存，不需要对存储节点校对时间，解决了现有技术中因管理节点与存储节点时间不统一而造成的存储数据误删除的问题，减少存储节点中存储数据误删除的情况。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的分布式数据处理系统的一种示意图；

图2为本申请实施例的分布式数据处理方法的第一种示意图；

图3为本申请实施例的分布式数据处理方法的第二种示意图；

图4为本申请实施例的分布式数据处理方法的第三种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了分布式数据处理系统、分布式数据处理方法，以下分别进行说明。

本申请实施例提供了分布式数据处理系统，参见图1，图1为本申请实施例的分布式数据处理系统的一种示意图，包括：

存储节点110，管理节点120；

上述管理节点120用于将基准编号发送给上述存储节点110；

上述存储节点110用于在接收上述管理节点120发送的上述基准编号后，按照上述基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号。

分布式数据处理系统包括有存储节点110，存储节点110可以为1个，也可以为多个。上述管理节点120将基准编号发送给上述存储节点110，上述存储节点110在接收上述基准编号后，按照上述基准编号，设置自身的节点维护编号，可以将上述基准编号作为设置为自身的节点维护编号，也可以按照上述基准编号，按照一定的运算规则，进行计算，将计算值作为自身的节点维护编号，例如，将上述基准编号加1进行运算，加1结果作为自身的节点维护编号等，也可将上述基准编号减1进行运算，减1结果作为自身的节点维护编号等，为了便于管理，以及减少计算量，存储节点110可以将上述基准编号作为自身的节点维护编号。

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号，例如，每存储一个数据块，自身的节点维护编号加1，或者每存储一个数据块，自身的节点维护编号减1，或者按照其他的运算规则，更新自身的节点维护编号，具体的可根据实际需要进行设置。例如，分布式数据处理系统包括有3个存储节点110，分别为A存储节点，B存储节点，C存储节点，基准编号为001，上述管理节点120将基准编号001分别发送给A存储节点，B存储节点，C存储节点，A存储节点，B存储节点，C存储节点接收到上述基准编号001后，按照上述基准编号001，设置自身的节点维护编号为001，存储当前数据块时，将当前的节点维护编号001存储到当前存储的数据块，当前数据块存储后，将自身的节点维护编号加1更新，即更新后的节点维护编号为002，存储下一数据块时，将节点维护编号002存储到下一存储的数据块，然后再次加1更新节点维护编号。

上述管理节点120还用于确定覆盖编号，将上述覆盖编号发送给上述存储节点110。

管理节点可以每隔一定的周期确定覆盖编号，将上述覆盖编号发送给上述存储节点110，以使上述存储节点110根据上述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。其中，管理节点确定覆盖编号的方式，可以为，管理节点根据存储节点数据块的大小，计算覆盖编号，例如，在安防领域，各摄像机的码率固定，存储节点110每个数据块可以存储10分钟的视频数据，假设视频数据要求保存的时长为72小时，各存储节点110的节点维护编号以加1的方式进行更新。管理节点120确定当前的基准编号，可以从各存储节点110中获取最大的节点维护编号，作为当前的基准编号；也可以按照管理节点120向存储节点110发送基准编号的时间及当前时间，计算编号的增量，从而确定当前的基准编号。管理节点120从当前的基准编号的基础上减去60÷10×72＝432，得到覆盖编号。另外，管理节点120根据当前覆盖编号确定下一覆盖编号，具体的，当前覆盖编号利用一定的预算规则计算得到下一覆盖编号，例如根据当前覆盖编号加预设步长，具体的，当前覆盖编号加5得到下一覆盖编号。在首次运行时，管理节点120可根据实际需要设定初始覆盖编号。首次运行是指分布式数据处理系统上电后的首次运行或初始化后的首次运行等。

上述存储节点110还用于接收上述管理节点120发送的上述覆盖编号，根据上述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

例如，当存储节点110的节点维护编号以加1的方式进行更新时，上述管理节点120将覆盖编号003发送给各上述存储节点110，各上述存储节点110根据上述覆盖编号003及已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。例如，分布式数据处理系统包括有3个存储节点110，分别为A存储节点，B存储节点，C存储节点，A存储节点1个小时后存储了4个数据块，各数据块的存储编号分别为，001，002，003，004；B存储节点1个小时后存储了5个数据块，各数据块的存储编号分别为，001，002，003，004，005，C存储节点1个小时后存储了6个数据块，各数据块的存储编号分别为，001，002，003，004，005，006，则A存储节点根据上述覆盖编号003，将A存储节点存储的存储编号为001，002，003的数据块删除；B存储节点根据上述覆盖编号003，将B存储节点存储的存储编号为001，002，003的数据块删除；C存储节点根据上述覆盖编号003，将C存储节点存储的存储编号为001，002，003的数据块删除。

更进一步的，在存储当前数据块时，记录存储的数据块的存储编号和存储数据块时的时间戳，并将存储的数据块的存储编号和上述时间戳建立相应的对应关系，这样当需要删除某一时间节点之前的数据块时，管理节点120可根据已存储的数据块的存储编号和已存储的数据块的时间戳，确定需要删除的数据块对应的编号，管理节点120将上述需要删除的数据块对应的编号发送给给存储节点110，存储节点110根据上述需要删除的数据块对应的编号和已存储数据块的存储编号，从已存储的数据块中删除指定数据块，解决了存储节点多次校时，按照时间点覆盖，造成的数据误删除问题。

通过上述管理节点将基准编号发送给上述存储节点，上述存储节点按照上述基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号，上述管理节点用于确定覆盖编号，将上述覆盖编号发送给上述存储节点，上述存储节点用根据上述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块，存储数据块时，根据节点维护编号存储数据块，然后根据编号对数据块进行删除，清理内存，不需要对存储节点校对时间，解决了因管理节点与存储节点时间不统一而造成的存储数据误删除的问题，减少存储节点中存储数据误删除的情况，同时，也解决了存储节点多次校对时间时，按照时间点删除数据块时造成的数据误删除问题。

在一种可能的实施方式中，上述存储节点110还用于按照预设频率，将上述节点维护编号发送给上述管理节点120；

上述管理节点120用于根据上述节点维护编号更新上述基准编号，然后将上述更新后的基准编号发送给上述存储节点110，以使上述存储节点110用于根据上述更新后的基准编号更新上述节点维护编号。

上述存储节点110按照预设频率，例如，根据每隔一小时，将自身的节点维护编号发送给上述管理节点120，以使上述管理节点120用于根据上述节点维护编号更新上述基准编号，然后将上述更新后的基准编号发送给上述存储节点110，以使上述存储节点110用于根据上述更新后的基准编号更新上述节点维护编号。

例如，分布式数据处理系统包括有3个存储节点110，分别为A存储节点，B存储节点，C存储节点，A存储节点1个小时后存储了4个数据块，各数据块的存储编号分别为，001，002，003，004；B存储节点1个小时后存储了5个数据块，各数据块的存储编号分别为，001，002，003，004，005，C存储节点1个小时后存储了6个数据块，各数据块的存储编号分别为，001，002，003，004，005，006。一个小时后，A存储节点将自身的节点维护编号005发送给上述管理节点，B存储节点将自身的节点维护编号006发送给上述管理节点，C存储节点将自身的节点维护编号007发送给上述管理节点，则上述管理节点120用于根据各上述节点维护编号更新上述基准编号，例如，根据各上述节点维护编号中的最大值007，作为更新后的基准编号，即更新后的基准编号为007，或者将各上述节点维护编号中的最大值加一定的数值后，例如加1，即将008作为更新后的基准编号，具体可根据实际需要进行设定。

更进一步的，为减少计算量，上述管理节点也可根据上述节点维护编号确定覆盖编号，例如A存储节点的节点维护编号为005，B存储节点的节点维护编号为006，C存储节点的节点维护编号为007，则根据上述节点维护编号中的最小值确定覆盖编号，例如，最小节点维护编号为005，则在005的基础上减去一个预设值，例如，005减去2，得到003，则确定覆盖编号为003，具体可根据实际需要进行设定。

在一种可能的实施方式中，上述管理节点120具体用于：

从各上述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。

例如，根据各上述节点维护编号中的最大值007，作为更新后的基准编号，即更新后的基准编号为007，以此可减少计算量。

在一种可能的实施方式中，上述系统首次运行时，上述管理节点120生成预设编号作为基准编号，然后将上述基准编号发送给上述存储节点110。

当系统首次运行时，上述管理节点120可以生成预设编号作为基准编号，具体可以根据实际需要进行设定，然后将上述基准编号发送给上述存储节点110。

预设编号可以为自定义设定的，也可以为随机生成的。此处的首次运行是指分布式数据处理系统上电后的首次运行或初始化后的首次运行等。

在一种可能的实施方式中，上述存储节点110具体用于：

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将上述节点维护编号增加一个预设步长值。

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将上述节点维护编号增加一个预设步长值，例如，上述节点维护编号加1，加2等。

本申请实施例提供了分布式数据处理方法，参见图2，图2为本申请实施例的分布式数据处理方法的第一种示意图，应用于分布式数据处理系统，包括以下步骤：

步骤210，上述管理节点将基准编号发送给上述存储节点；

步骤220，上述存储节点在接收上述管理节点发送的上述基准编号后，按照上述基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号；

步骤230，上述管理节点确定覆盖编号，将上述覆盖编号发送给上述存储节点；

步骤240，上述存储节点接收上述管理节点发送的上述覆盖编号，根据上述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

在一种可能的实施方式中，上述方法还包括：

上述存储节点按照预设频率，将上述节点维护编号发送给上述管理节点；

上述管理节点根据上述节点维护编号更新上述基准编号，然后将上述更新后的基准编号发送给上述存储节点，以使上述存储节点根据上述更新后的基准编号更新上述节点维护编号。

在一种可能的实施方式中，上述管理节点根据上述节点维护编号更新上述基准编号，包括：

上述管理节点从各上述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。

在一种可能的实施方式中，上述系统首次运行时，上述管理节点生成预设编号作为基准编号，然后将上述基准编号发送给上述存储节点。

在一种可能的实施方式中，上述在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号，包括：

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将上述节点维护编号增加一个预设步长值。

关于上述实施例中的方法，其中各个方法执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例提供了分布式数据处理方法，参见图3，图3为本申请实施例的分布式数据处理方法的第二种示意图，应用于分布式数据处理系统中的存储节点，上述分布式数据处理系统还包括管理节点，包括以下步骤：

步骤310，在接收上述管理节点发送的基准编号后，按照上述基准编号，设置自身的节点维护编号；

步骤320，在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号；

步骤330，接收上述管理节点发送的覆盖编号，根据上述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

在一种可能的实施方式中，上述方法还包括：

按照预设频率，将上述节点维护编号发送给上述管理节点，以使上述管理节点根据上述节点维护编号更新上述基准编号，然后将上述更新后的基准编号发送给上述存储节点；

接收上述管理节点发送的上述更新后的基准编号，根据上述更新后的基准编号更新上述节点维护编号。

在一种可能的实施方式中，上述系统首次运行时，上述管理节点生成预设编号作为基准编号，然后将上述基准编号发送给上述存储节点。

在一种可能的实施方式中，上述在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号，包括：

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将上述节点维护编号增加一个预设步长值。

本申请实施例提供了分布式数据处理方法，参见图4，图4为本申请实施例的分布式数据处理方法的第三种示意图，应用于分布式数据处理系统中的管理节点，上述分布式数据处理系统还包括存储节点，包括以下步骤：

步骤410，将基准编号发送给上述存储节点，以使上述存储节点在接收上述基准编号后，按照上述基准编号，设置自身的节点维护编号，在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号；

步骤420，确定覆盖编号，将上述覆盖编号发送给上述存储节点，以使上述存储节点接收上述覆盖编号，根据上述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

在一种可能的实施方式中，上述方法还包括：

接收上述存储节点发送的节点维护编号，根据上述节点维护编号更新上述基准编号；

将上述更新后的基准编号发送给上述存储节点，以使上述存储节点根据上述更新后的基准编号更新上述节点维护编号。

在一种可能的实施方式中，上述接收上述存储节点发送的节点维护编号，根据上述节点维护编号更新上述基准编号，包括：

接收上述存储节点发送的节点维护编号；

从各上述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。

在一种可能的实施方式中，上述系统首次运行时，生成预设编号作为基准编号，然后将上述基准编号发送给上述存储节点。

关于上述实施例中的方法，其中各个方法执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上上述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种分布式数据处理系统，其特征在于，所述系统包括：存储节点和管理节点；

所述管理节点用于将基准编号发送给所述存储节点；

所述存储节点用于在接收所述管理节点发送的所述基准编号后，按照所述基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号；

所述管理节点还用于确定覆盖编号，将所述覆盖编号发送给所述存储节点；

所述存储节点还用于接收所述管理节点发送的所述覆盖编号，根据所述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

2.根据权利要求1所述的系统，其特征在于，所述存储节点还用于按照预设频率，将所述节点维护编号发送给所述管理节点；

所述管理节点用于根据所述节点维护编号更新所述基准编号，然后将所述更新后的基准编号发送给所述存储节点，以使所述存储节点用于根据所述更新后的基准编号更新所述节点维护编号。

3.根据权利要求2所述的系统，其特征在于，所述管理节点具体用于：从各所述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。

4.根据权利要求1所述的系统，其特征在于，所述系统首次运行时，所述管理节点生成预设编号作为基准编号，然后将所述基准编号发送给所述存储节点。

5.根据权利要求1-4任一所述的系统，其特征在于，所述存储节点具体用于：在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将所述节点维护编号增加一个预设步长值。

6.一种分布式数据处理方法，其特征在于，应用于分布式数据处理系统，所述分布式数据处理系统包括存储节点，管理节点，所述方法包括：

所述管理节点将基准编号发送给所述存储节点；

所述存储节点在接收所述管理节点发送的所述基准编号后，按照所述基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号；

所述管理节点确定覆盖编号，将所述覆盖编号发送给所述存储节点；

所述存储节点接收所述管理节点发送的所述覆盖编号，根据所述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

所述存储节点按照预设频率，将所述节点维护编号发送给所述管理节点；

所述管理节点根据所述节点维护编号更新所述基准编号，然后将所述更新后的基准编号发送给所述存储节点，以使所述存储节点根据所述更新后的基准编号更新所述节点维护编号。

8.根据权利要求7所述的方法，其特征在于，所述管理节点根据所述节点维护编号更新所述基准编号，包括：

所述管理节点从各所述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。

9.根据权利要求6所述的方法，其特征在于，所述系统首次运行时，所述管理节点生成预设编号作为基准编号，然后将所述基准编号发送给所述存储节点。

10.根据权利要求6-9任一所述的方法，其特征在于，所述在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号，包括：

在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将所述节点维护编号增加一个预设步长值。

Images