CN104580512B - 数据处理方法和装置，及分布式文件系统 - Google Patents

Abstract

本发明实施例提供一种数据处理方法和装置，及分布式文件系统。本发明数据处理方法，应用于分布式文件系统，分布式文件系统包括用户终端和多个服务器；方法由用户终端执行，则方法包括：分别向至少两个服务器发送订阅消息；接收至少两个服务器发送的数据更新消息，并将数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；若数据更新消息中的更新数据的版本号大于本地存储的数据的版本号，则存储数据更新消息中的更新数据，并删除本地存储的数据；或者，若比较出数据更新消息中的更新数据的版本号小于或等于本地存储的数据的版本号，则删除数据更新消息。本发明实施例有效地解决了现有技术中用户终端在获取最新数据时出现了一定的时延的问题。

Description

数据处理方法和装置，及分布式文件系统

技术领域

本发明实施例涉及通信技术，尤其涉及一种数据处理方法和装置，及分布式文件系统。

背景技术

目前，分布式文件系统主要包括：用户终端和服务器(也可以称之为服务器)，其中，该服务器可以为存储设备等，多个服务器共同构成一个集群。现有技术中用户终端向集群中的节点(即上述的服务器)获取数据的方法主要以订阅数据的方式来实现，具体的，用户终端向集群内某个节点发送订阅消息，接收到该订阅消息的节点，在本地数据发生变化后，会将变化后的数据发送给该用户终端，从而使得该用户终端能够同步获得最新的数据。

另外，用户终端可以实时检测该节点是否脱离集群，并在检测到脱离集群后，需要重新发起订阅消息给集群内其他的节点，以重新通过其他的节点获取最新的数据，以实现数据同步，因此，使得用户终端在获取最新数据时出现了一定的时延。

发明内容

本发明实施例提供一种数据处理方法和装置，及分布式文件系统，以克服现有技术中用户终端在获取最新数据时出现了一定的时延的问题。

本发明实施例第一方面提供一种数据处理方法，应用于分布式文件系统，所述分布式文件系统包括用户终端和多个服务器；其中，所述方法由所述用户终端执行，则所述方法包括：

分别向至少两个服务器发送订阅消息；

接收所述至少两个服务器发送的数据更新消息，并将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；

若所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号，则存储所述数据更新消息中的更新数据，并删除所述本地存储的数据；或者，若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号，则删除所述数据更新消息。

在第一方面的第一种可能实现方式中，还包括：

分别向所述至少两个服务器发送心跳检测消息；

若在预设时间没有接收所述至少两个服务器中的一个或多个服务器的心跳反馈消息，则确认所述一个或多个服务器故障，并向所述至少两个服务器之外的其他服务器发送订阅消息，以保证能够接收至少两个服务器发送的数据更新消息。

本发明实施例第二方面提供一种数据处理方法，应用于分布式文件系统，所述分布式文件系统包括用户终端和多个服务器；其中，所述方法由所述服务器执行，则所述方法包括：

接收所述用户终端发送的至少两个订阅消息中一个订阅消息；

在本地数据更新后，将更新后的数据和对应的版本号携带在数据更新消息中发送给所述用户终端，以供所述用户终端将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；并在比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号时，存储所述数据更新消息中的更新数据，并删除所述本地存储的数据；或者，若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号，则删除所述数据更新消息。

本发明实施例第三方面提供一种数据处理装置，设置在分布式文件系统，所述分布式文件系统还包括：多个服务器，其中，所述数据处理装置包括：

收发模块，用于分别向所述多个服务器中的至少两个服务器发送订阅消息；

所述收发模块还用于接收所述至少两个服务器发送的数据更新消息；

处理模块，用于将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；若比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号，则存储所述数据更新消息中的更新数据，并删除所述本地存储的数据；或者，若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号，则删除所述数据更新消息。

在第三方面的第一种可能实现方式中，所述收发模块还用于分别向所述至少两个服务器发送心跳检测消息；

所述处理模块还用于若在预设时间所述收发模块没有接收所述至少两个服务器中的一个或多个服务器的心跳反馈消息，则确认所述一个或多个服务器故障；

所述收发模块还用于向所述至少两个服务器之外的其他服务器发送订阅消息，以保证能够接收至少两个服务器发送的数据更新消息。

本发明实施例第四方面提供一种数据处理装置，设置在所述分布式文件系统中，所述分布式文件系统还包括：用户终端，其中，所述数据处理装置包括：

收发模块，用于接收所述用户终端发送的至少两个订阅消息中一个订阅消息；

处理模块，用于在本地数据更新后，将更新后的数据和对应的版本号携带在数据更新消息中发送给所述用户终端，以供所述用户终端将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；并在比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号时，存储所述数据更新消息中的更新数据，并删除所述本地存储的数据；或者，若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号，则删除所述数据更新消息。

本发明实施例第五方面提供一种分布式文件系统，其中，包括：用户终端和多个服务器；其中，所述用户终端为如上述第三方面所述的数据处理装置；所述服务器为如上述第四面所述的数据处理装置。

本发明实施例数据处理方法和装置，及分布式文件系统，通过用户终端分别向至少两个服务器发送订阅消息，并在接收至少两个服务器发送的数据更新消息后，将数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；若比较出数据更新消息中的更新数据的版本号大于本地存储的数据的版本号，则存储数据更新消息中的更新数据，并删除本地存储的数据，或者，若比较出数据更新消息中的更新数据的版本号小于或等于本地存储的数据的版本号，则删除数据更新消息；由于用户终端同时向至少两个服务器发送订阅消息，相较于现有技术中用户终端获取数据可能存在时延而言，本发明有效地保证了用户终端能够及时获取最新的数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明数据处理方法的所基于的分布式文件系统的架构示意图；

图2为本发明数据处理方法的实施例一的流程图；

图3为本发明数据处理方法的实施例二的流程图；

图4为本发明数据处理方法的实施例三的流程图；

图5为本发明数据处理装置的实施例一的结构示意图；

图6为本发明数据处理装置的实施例三的结构示意图；

图7为本发明分布式文件系统的实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明数据处理方法的所基于的分布式文件系统的架构示意图，如图1所示，该分布式文件系统包括：用户终端11和多个服务器12；其中，多个服务器12可以共同构成一个集群，每个服务器12在集群中可以称之为节点。另外，在集群中，至少两个服务器12之间能互相正常通信，从而有效地保证了集群的稳定性。

图2为本发明数据处理方法的实施例一的流程图，应用于图1所示的分布式系统中，如图2所示，该方法可以由用户终端执行，则该方法包括：

步骤101、分别向至少两个服务器发送订阅消息。

步骤102、接收至少两个服务器发送的数据更新消息，并将该数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；若比较出该数据更新消息中的更新数据的版本号大于该本地存储的数据的版本号，则执行步骤103；若比较出该数据更新消息中的更新数据的版本号小于或等于该本地存储的数据的版本号，则执行步骤104。

步骤103、存储该数据更新消息中的更新数据，并删除该本地存储的数据。结束。

步骤104、删除该数据更新消息。

在本实施例中，举例来说，以服务器数量为N个为例，详细介绍本实施例的技术方案，其中，N为正整数，且大于或等于3。具体的，用户终端分别向至少|N/2+1|个服务器发送订阅消息；其中，该至少|N/2+1|个服务器之间能互相通信。另外，集群中的服务器若接收到用户终端发送的订阅消息后，则会在数据发生变化后，就会主动推送更新后的数据给用户终端，以保证用户终端能够同步获得更新的数据。另外，由于用户终端可以接收到至少|N/2+1|个服务器发送的数据更新消息，因此，用户终端需要比较该数据更新消息中的更新数据的版本号与本地存储的数据的版本号，以保证用户终端接收到的更新后的数据是最新的。

本实施例，通过用户终端分别向至少两个服务器发送订阅消息，并在接收至少两个服务器发送的数据更新消息后，将数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；若比较出数据更新消息中的更新数据的版本号大于本地存储的数据的版本号，则存储数据更新消息中的更新数据，并删除本地存储的数据，或者，若比较出数据更新消息中的更新数据的版本号小于或等于本地存储的数据的版本号，则删除数据更新消息；由于用户终端同时向至少两个服务器发送订阅消息，相较于现有技术中用户终端获取数据可能存在时延而言，本发明有效地保证了用户终端能够及时获取最新的数据。

下面采用几个具体的实施例，对图2所示方法实施例的技术方案进行详细说明。

图3为本发明数据处理方法的实施例二的流程图，如图3所示，在上述图2所示实施例的基础上，本实施例的方法还进一步包括：

步骤201、分别向至少两个服务器发送心跳检测消息；

步骤202、若在预设时间没有接收该至少两个服务器中的一个或多个服务器的心跳反馈消息，则确认该一个或多个服务器故障，并向该至少两个服务器之外的其他服务器发送订阅消息，以保证能够接收至少两个服务器发送的数据更新消息。

在本实施例中，当订阅的至少两个服务器中某一个或多个服务器出现故障时，则进行服务器替换，即实现替换非脱离集群的服务器，以保证至少两个服务器向用户终端返回数据更新消息，从而更为有效地保证了用户终端能够实时获取最新的数据。

图4为本发明数据处理方法的实施例三的流程图，应用于图1所示的分布式系统中，如图4所示，该方法可以由服务器执行，则该方法包括：

步骤301、接收所述用户终端发送的至少两个订阅消息中一个订阅消息。

在本实施例中，举例来说，以N个服务器为例，其中，N为正整数，且大于或等于3。则该用户终端发送至少|N/2+1|个订阅消息，且该服务器可以接收该至少|N/2+1|个订阅消息中一个订阅消息。

另外，在本实施例中，用户终端可以执行上述实施例一至实施例三任一方法的技术方案，其实现原理相类似，此处不再赘述。

步骤302、在本地数据更新后，将更新后的数据和对应的版本号携带在数据更新消息中发送给该用户终端，以供该用户终端将该数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；并在比较出该数据更新消息中的更新数据的版本号大于该本地存储的数据的版本号时，存储该数据更新消息中的更新数据，并删除该本地存储的数据；或者，若比较出该数据更新消息中的更新数据的版本号小于或等于该本地存储的数据的版本号，则删除该数据更新消息。

本实施例，通过用户终端分别向至少两个服务器发送订阅消息，并在接收至少两个服务器发送的数据更新消息后，将数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；若比较出数据更新消息中的更新数据的版本号大于本地存储的数据的版本号，则存储数据更新消息中的更新数据，并删除本地存储的数据，或者，若比较出数据更新消息中的更新数据的版本号小于或等于本地存储的数据的版本号，则删除数据更新消息；由于用户终端同时向至少两个服务器发送订阅消息，相较于现有技术中用户终端获取数据可能存在时延而言，本发明有效地保证了用户终端能够及时获取最新的数据。

图5为本发明数据处理装置的实施例一的结构示意图，如图4所示，本实施例的装置为用户终端，应用在图1所示的分布式文件系统中，则该装置可以包括：收发模块21和处理模块22，其中，收发模块21用于分别向该多个服务器中的至少两个服务器发送订阅消息；收发模块21还用于接收该至少两个服务器发送的数据更新消息；处理模块22用于将该数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；若比较出该数据更新消息中的更新数据的版本号大于该本地存储的数据的版本号，则存储该数据更新消息中的更新数据，并删除该本地存储的数据；或者，若比较出该数据更新消息中的更新数据的版本号小于或等于该本地存储的数据的版本号，则删除该数据更新消息。

本实施例的装置，可以用于执行实施上述实施一或二所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

进一步地，在本发明数据处理装置实施例二中，在上述数据处理装置实施例一的基础上，该收发模块21还用于分别向该至少两个服务器发送心跳检测消息；该处理模块22还用于若在预设时间该收发模块没有接收该至少两个服务器中的一个或多个服务器的心跳反馈消息，则确认该一个或多个服务器故障；该收发模块21还用于向该至少两个服务器之外的其他服务器发送订阅消息，以保证能够接收至少两个服务器发送的数据更新消息。

图6为本发明数据处理装置的实施例三的结构示意图，如图6所示，本实施例的装置设置在集群中，集群设置在图1所示的分布式文件系统中；则该数据处理装置可以包括：收发模块31和处理模块32；其中，收发模块31用于接收该用户终端发送的至少两个订阅消息中一个订阅消息；处理模块32用于在本地数据更新后，将更新后的数据和对应的版本号携带在数据更新消息中发送给该用户终端，以供该用户终端将该数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；并在比较出该数据更新消息中的更新数据的版本号大于该本地存储的数据的版本号时，存储该数据更新消息中的更新数据，并删除该本地存储的数据；或者，若比较出该数据更新消息中的更新数据的版本号小于或等于该本地存储的数据的版本号，则删除该数据更新消息。

本实施例的装置，可以用于执行图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本发明分布式文件系统的实施例一的结构示意图，如图7所示，本实施例的系统包括：用户终端41和多个服务器42，其中，该用户终端41包括：收发器411和处理器412，其中，收发器411用于分别向该多个服务器中的至少两个服务器发送订阅消息；收发器411还用于接收该至少两个服务器发送的数据更新消息；处理器412用于将该数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；若比较出该数据更新消息中的更新数据的版本号大于该本地存储的数据的版本号，则存储该数据更新消息中的更新数据，并删除该本地存储的数据；或者，若比较出该数据更新消息中的更新数据的版本号小于或等于该本地存储的数据的版本号，则删除该数据更新消息。服务器42包括：收发器421和处理器422；其中，收发器421用于接收该用户终端发送的至少两个订阅消息中一个订阅消息；处理器422用于在本地数据更新后，将更新后的数据和对应的版本号携带在数据更新消息中发送给该用户终端，以供该用户终端将该数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；并在比较出该数据更新消息中的更新数据的版本号大于该本地存储的数据的版本号时，存储该数据更新消息中的更新数据，并删除该本地存储的数据；或者，若比较出该数据更新消息中的更新数据的版本号小于或等于该本地存储的数据的版本号，则删除该数据更新消息。

本实施例的用户终端41，可以用于执行实施上述图2或图3所示方法实施例的技术方案，服务器42可以用于执行图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

进一步地，该收发器411还用于分别向该至少两个服务器发送心跳检测消息；该处理器412还用于若在预设时间该收发模块没有接收该至少两个服务器中的一个或多个服务器的心跳反馈消息，则确认该一个或多个服务器故障；该收发器411还用于向该至少两个服务器之外的其他服务器发送订阅消息，以保证能够接收至少两个服务器发送的数据更新消息。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种数据处理方法，应用于分布式文件系统，所述分布式文件系统包括用户终端和N个集群服务器，N为正整数，且大于或等于3；其特征在于，所述方法由所述用户终端执行，则所述方法包括：

分别向N个集群服务器的至少|N/2+1|个集群服务器发送订阅消息；所述至少|N/2+1|个集群服务器之间互相通信；

接收所述至少|N/2+1|个集群服务器发送的数据更新消息，并将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；

若所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号，则存储所述数据更新消息中的更新数据，并删除所述本地存储的数据；或者，若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号，则删除所述数据更新消息。

2.根据权利要求1所述的数据处理方法，其特征在于，还包括：

分别向所述至少|N/2+1|个集群服务器发送心跳检测消息；

若在预设时间没有接收所述至少|N/2+1|个集群服务器中的一个或多个服务器的心跳反馈消息，则确认所述一个或多个服务器故障，并向所述至少|N/2+1|个集群服务器之外的其他服务器发送订阅消息，以保证能够接收至少|N/2+1|个集群服务器发送的数据更新消息。

3.一种数据处理方法，应用于分布式文件系统，所述分布式文件系统包括用户终端和N个集群服务器，N为正整数，且大于或等于3；其特征在于，所述方法由所述集群服务器执行，则所述方法包括：

接收所述用户终端发送的至少|N/2+1|个订阅消息中一个订阅消息；

在本地数据更新后，将更新后的数据和对应的版本号携带在数据更新消息中发送给所述用户终端，以供所述用户终端将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；并在比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号时，存储所述数据更新消息中的更新数据，并删除所述本地存储的数据；或者，若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号，则删除所述数据更新消息。

4.一种数据处理装置，设置在分布式文件系统，所述分布式文件系统还包括：N个集群服务器，N为正整数，且大于或等于3，其特征在于，所述数据处理装置包括：

收发模块，用于分别向所述N个集群服务器中的至少|N/2+1|个集群服务器发送订阅消息；所述至少|N/2+1|个集群服务器之间互相通信；

所述收发模块还用于接收所述至少|N/2+1|个集群服务器发送的数据更新消息；

处理模块，用于将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；若比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号，则存储所述数据更新消息中的更新数据，并删除所述本地存储的数据；或者，若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号，则删除所述数据更新消息。

5.根据权利要求4所述的数据处理装置，其特征在于，所述收发模块还用于分别向所述至少|N/2+1|个集群服务器发送心跳检测消息；

所述处理模块还用于若在预设时间所述收发模块没有接收所述至少|N/2+1|个集群服务器中的一个或多个服务器的心跳反馈消息，则确认所述一个或多个服务器故障；

所述收发模块还用于向所述至少|N/2+1|个集群服务器之外的其他服务器发送订阅消息，以保证能够接收至少|N/2+1|个集群服务器发送的数据更新消息。

6.一种数据处理装置，设置在分布式文件系统中，所述分布式文件系统还包括：用户终端，其特征在于，所述数据处理装置包括：

收发模块，用于接收所述用户终端发送的至少|N/2+1|个订阅消息中一个订阅消息；N为正整数，且大于或等于3；

处理模块，用于在本地数据更新后，将更新后的数据和对应的版本号携带在数据更新消息中发送给所述用户终端，以供所述用户终端将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较；并在比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号时，存储所述数据更新消息中的更新数据，并删除所述本地存储的数据；或者，若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号，则删除所述数据更新消息。

7.一种分布式文件系统，其特征在于，包括：用户终端和N个集群服务器，N为正整数，且大于或等于3；其中，所述用户终端为如权利要求4或5所述的数据处理装置；所述服务器为如权利要求6所述的数据处理装置。