CN113656501A - 一种数据读取方法、装置、设备以及存储介质 - Google Patents

Abstract

本公开提供了一种数据读取方法、装置、设备以及存储介质，涉及数据处理技术领域，尤其涉及分布式数据存储技术领域。具体实现方案为：获取目标应用针对目标复制组生成的第一读请求；确定所述目标复制组对应于所述目标应用的最新提交索引，所述最新提交索引用于表示所述目标应用最后一次在所述目标复制组写入数据后所述目标复制组的提交索引；向所述目标复制组所属的存储端发送携带有所述最新提交索引的第二读请求，第二读请求用于驱动所述存储端从应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；获取所述存储端所读取的数据。可以提高数据读取效率。

Description

一种数据读取方法、装置、设备以及存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及分布式数据存储技术。

背景技术

基于分布式一致性算法构建的分布式存储系统能够保持元数据的一致性，因此被广泛地应用于各种应用场景中对数据进行分布式的存储。

发明内容

本公开提供了一种用于提高数据读取效率的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种数据读取方法，包括：

获取目标应用针对目标复制组生成的第一读请求；

确定所述目标复制组对应于所述目标应用的最新提交索引，所述最新提交索引用于表示所述目标应用最后一次在所述目标复制组写入数据后所述目标复制组的提交索引；

向所述目标复制组所属的存储端发送携带有所述最新提交索引第二读请求，所述第二读请求用于驱动所述存储端从应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

获取所述存储端所读取的数据。

根据本公开的第二方面，提供了一种数据读取方法，包括：

接收客户端发送的携带有最新提交索引的第二读请求，所述最新提交索引用于表示所述客户端的目标应用最后一次在目标复制组写入数据后所述目标复制组的提交索引，所述目标复制组为所述目标应用生成的第一读请求所针对的复制组，且属于所述存储端；

从目标复制组中应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

将所读取的数据发送至所述客户端。

根据本公开的第三方面，提供了一种数据读取装置，包括：

第一请求获取模块，用于获取目标应用针对目标复制组生成的第一读请求；

提交索引确定模块，用于确定所述目标复制组对应于所述目标应用的最新提交索引，所述最新提交索引用于表示所述目标应用最后一次在所述目标复制组写入数据后所述目标复制组的提交索引；

第一请求发送模块，用于向所述目标复制组所属的存储端发送携带有所述最新提交索引第二读请求，所述第二读请求用于驱动所述存储端从应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

数据获取模块，用于获取所述存储端所读取的数据。

根据本公开的第四方面，提供了一种数据读取装置，包括：

第二请求获取模块，用于接收客户端发送的携带有最新提交索引的第二读请求，所述最新提交索引用于表示所述客户端的目标应用最后一次在目标复制组写入数据后所述目标复制组的提交索引，所述目标复制组为所述目标应用生成的第一读请求所针对的复制组，且属于所述存储端；

第一数据读取模块，用于从目标复制组中应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

数据发送模块，用于将所读取的数据发送至所述客户端。

根据本公开提供的第五方面，提供了一种客户端设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面中任一项所述的方法。

根据本公开提供的第六方面，提供了一种存储端设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第二方面中任一项所述的方法。

根据本公开提供的第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据上述第一方面或第二方面中任一项所述的方法。

根据本公开提供的第八方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述第一方面或第二方面中任一项所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开提供的基于Raft的分布式存储系统的一种结构示意图；

图2是根据本公开提供的应用于主副本的数据写入方法的一种示意图；

图3是根据本公开提供的应用于从副本的数据写入方法的一种示意图；

图4是根据本公开提供的应用于客户端的数据读取方法的一种示意图；

图5是根据本公开提供的客户端与存储端的一种交互示意图；

图6是根据本公开提供的应用于客户端的数据读取方法的另一种示意图；

图7是根据本公开提供的应用于存储端的数据读取方法的一种流程示意图；

图8是根据本公开提供的应用于客户端的数据读取装置的一种结构示意图；

图9是根据本公开提供的应用于存储端的数据读取装置的一种流程示意图；

图10是用来实现本公开实施例的数据读取方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种数据读取方法，应用于客户端，可以如图1所示，包括：

S101，获取目标应用针对目标复制组生成的第一读请求。

S102，确定目标复制组对应于目标应用的最新提交索引。

S103，向目标复制组所属的存储端发送携带有最新提交索引的第二读请求，第二读请求用于驱动存储端从应用索引不小于最新提交索引的副本中读取第一读请求所请求的数据。

S104，获取存储端所读取的数据。

选用该实施例，可以利用最新提交索引从存储端读取数据，由于最新提交索引为目标应用最后一次在目标复制组写入数据后目标复制组的提交索引，因此如前述说明，最新提交索引可以视为目标应用最后一次向目标复制组发送的写请求的日志的日志索引，并且由于日志的提交与应用是逐一进行的，因此如果一个副本的应用索引不小于该日志的日志索引，则可以认为该副本已经将目标应用每次向目标复制组发送的写请求的日志应用于该副本的状态机，即该副本中包含目标应用向该复制组写入的所有数据。因此可以从应用索引不小于最新提交索引的副本中成功读取目标应用所请求的数据。同时，由于在目标应用最后一次在目标复制组写入数据后可能还有其他应用在目标复制组写入数据，因此最新提交索引往往小于目标复制组的提交索引，可见相比于应用索引不小于目标复制组的提交索引的副本，目标复制组中应用索引不小于最新提交索引的副本的数量更多，因此更容易从副本中查找到应用索引不小于最新提交索引的副本，即查找应用索引不小于最新提交索引的副本花费的时间相对较少，因此数据读取效率更高。

其中，在S101中，目标应用可以为客户端上的任意应用，目标复制组为目标应用生成的第一读请求所请求的复制组，目标复制组中包括一个主副本和多个从副本。第一读请求所请求的数据为目标应用运行时需要使用到的数据，并且第一读请求所请求的数据为目标复制组的已写入数据，即第一读请求所请求的数据应当已经预先写入目标复制组。

在S102中，最新提交索引用于表示目标应用最后一次在目标复制组写入数据后目标复制组的提交索引，可以理解的是，最新提交索引等于目标应用最后一次向目标复制组发送的写请求的日志的日志索引(可以详见下文关于主副本响应写请求的相关说明)，因此在一种可能的实施例中，可以是将目标应用最后一次向目标复制组发送的写请求的日志的日志索引作为最新提交索引。目标应用最后一次向目标复制组发送的写请求的日志的日志索引可以是根据存储端针对该写请求发送的写应答请求获取得到的。

在另一种可能的实施例中，客户端也可以通过统计各应用向目标复制组发送写请求的次数与顺序确定最新提交索引，示例性的，假设在目标应用最后一次向目标复制组发送写请求之前，各应用累计向目标复制组发送10个写请求，则由于日志的提价是逐一进行的，因此确定最新提交索引为“11”。

关于如何确定最新提交索引将在下文中进行详细地示例说明，在此不再赘述。

可以理解的是，一个客户端往往包含多个应用，因此除目标应用外其他应用也可以在目标复制组写入数据。在目标应用最后一次在目标复制组写入数据后，其他应用还可能在目标复制组写入数据，使得目标复制组的提交索引发生变化，因此最新提交索引小于等于目标复制组的提交索引。

在S103中，如果一个副本的应用索引不小于最新提交索引，则可以认为该副本中已经写入全额数据，其中全额数据是指目标应用最后一次在目标复制组写入数据时以及之前写入目标复制组的数据。

而全额数据中显然包括目标应用在目标复制组中写入的所有数据，因此全额数据包括第一读请求从目标复制组中读取的数据，即可以从该副本中成功读取第一读请求请求的数据。

存储端可以是由多个物理和/或虚拟存储设备构成的具备存储能力的设备，存储端中应当包含目标复制组，并且除目标复制组外，存储端还可以包含其他的复制组。在存储端中包含多个复制组的情况下，为区别目标复制组与其他复制组，客户端可以在第二读请求中携带目标复制组的组标识，组标识用于驱动存储端根据组标识确定目标复制组。

其中，组标识可以是任意形式的标识，并且用于唯一标识复制组，即不同复制组的组标识不同，相同组标识所标识的复制组相同。

第二数据读请求中还可以携带有用于标识第一读请求所请求的数据的数据标识，数据标识用于驱动存储端根据数据标识读取第一读请求所请求的数据。

在S104中，可以是接收存储端发送的数据，存储端发送的数据为存储端从应用索引不小于最新提交索引的副本中读取到的第一读请求所请求的数据。也可以是由存储端将读取到的数据写入预设存储介质，客户端从该预设存储介质中读取这些数据。

为了更清楚的对本公开提供的数据读取方法进行说明，下面将对本公开提供的数据读取方法的一种可能的应用场景进行示例性的说明，可以理解的是，以下示例仅是本公开提供的数据读取方法的一种可能的应用场景，在其他可能的实施例中，本公开提供的数据读取方法也可以应用于其他可能的应用场景，以下示例对此不做任何限制。

基于分布式一致性算法构建的分布式存储系统中可以包括由多个副本组成的复制组，在每个复制组中一个副本为主副本(leader)，其他副本为从副本(follow)，客户端可以通过主副本接入分布式存储系统。主副本与从副本之间通过Raft保持元数据的一致性。

示例性的，基于Raft构建的分布式存储系统的结构可以如图2所示，包括客户端110以及存储端120，存储端120由多个存储节点构成，该多个存储节点可以全部为物理存储节点，也可以全部虚拟存储节点，还可以是一部分为物理存储节点，另一部分为虚拟存储节点。该多个存储节点被划分为多个复制组121，每个复制组121中的各存储节点用于存储相同的数据，即每个存储节点可以视为同一复制组121中其他存储节点的副本，因此下文中称这些存储节点为副本。每个复制组121包括一个主副本121a以及多个从副本121b。

客户端110中的各应用可以向复制组121的主副本121a发送写请求，以在复制组121的各个副本中写入数据。下面将对复制组中主副本响应写请求的流程进行说明，可以参见图3，图3所示为本公开提供的应用于复制组的主副本的数据写入方法，可以包括：

S301，每当主副本接收到应用发送的写请求，生成该写请求的日志，并为该日志(log)分配日志索引。

其中，一个写请求的日志可以用于表示该写请求请求写入的数据，也可以用于表示该写请求请求执行的写入操作。

主副本是按照接收到写请求由早到晚的顺序依次生成各写请求的日志的，即越早接收到的写请求的日志生成的越早。每个日志的日志索引为上一个日志的日志索引加一，其中，上一个日志是指在该日志生成之前最后一个生成的日志，第一个生成的日志的日志索引为“1”。

示例性的，假设主副本一共接收到3个写请求，分别记为写请求1-3，并且主副本最先接收到写请求1，再接收到写请求2，最后接收到写请求3，则主副本最先生成写请求1的日志(下文称日志1)，并为日志1分配日志索引“1”，再生成写请求2的日志(下文称日志2)，并为日志2分配日志索引“2”，再生成写请求3的日志(下文称日志3)，并为日志3分配日志索引“3”。

S302，主副本将日志索引为该复制组的提交索引(commit index)加一的日志复制至各从副本。

示例性的，假设复制组的提交索引为“1”，则主副本将日志索引为“2”的日志，即日志2，复制至各从副本中。复制组的提交索引初始时为“0”，如果不存在日志索引为复制组的提交索引加一的日志，则可以认为所有日志均已成功提交。

S303，当主副本将该日志成功地复制至一定数量的从副本，确定该日志成功提交，并将复制组的提交索引更新为该日志的日志索引。

其中，该日志即S302中日志索引为该复制组的提交索引加一的日志。该一定数量大于复制组中从副本的总数的一半，且不大于复制组中从副本的总数，例如，假设复制组中一共包括10个从副本，则该一定数量可以是指6-10中的任意整数。

示例性的，以该日志为日志2为例，当主副本成功地将日志2复制至一定数量的从副本，则主副本确定日志2成功提交，并将复制组的提交索引更新为日志2的日志索引，即将复制组的提交索引更新为“2”。

S304，主副本将该日志应用(apply)于主副本的状态机(state machine)，以将该日志所属写请求请求写入的数据写入主副本。

示例性的，以该日志为日志2为例，主副本可以将日志2应用于主副本的状态机，从而将写请求2请求写入的数据写入主副本。

S305，主副本针对该应用所属的写请求向客户端发送携带有复制组的提交索引的写应答请求，并返回执行前述S302。

由于在S303中将复制组的提交索引更新为该日志的日志索引，因此写应答请求中携带的提交索引即为该日志的日志索引，以该日志为日志2为例，则写应答请求中携带的日志索引为“2”。

客户端在接收到写应答请求后确定该写应答请求所针对的写请求已经被复制组成功处理，即该写请求请求写入的数据已经被成功写入复制组，下文中为描述方便将成功写入复制组的数据称为已写入数据。

下面将对复制组中从副本响应写请求的流程进行说明，可以参见图4，图4所示为本公开提供的应用于复制组的从副本的数据写入方法，可以包括：

S401，从副本确定该从副本的应用索引(apply index)是否小于复制组的提交索引。

其中，从副本的应用索引初始时为“0”，每个从副本各自维护有各自的应用索引。

S402，如果是，从副本将日志索引为应用索引加一的日志应用于该从副本的状态机，以将该日志所属写请求请求写入的数据写入该从副本。

示例性的，假设从副本的应用索引为“0”，复制组的提交索引为“2”，此时从副本的应用索引小于复制组的提交索引，因此从副本将日志索引为“0”加一的日志应用于从副本的状态机，即将日志1应用于从副本的状态机，以将写请求1请求写入的数据写入从副本。

S403，从副本将该从副本的应用索引更新为该日志的日志索引，并返回执行S401。

其中，该日志即S402中的日志索引为应用索引加一的日志。因此，该步骤也可以视为从副本将该从副本的应用索引自加一。

可以理解的是，复制组的提交索引为复制组最后一个成功提交的日志的日志索引，而从副本的应用索引可以视为该最后一个应用于该从副本的状态机的日志的日志索引，并且日志的提交与应用是逐一进行的。

因此如果从副本的应用索引小于复制组的提交索引，则可以认为存在已经成功提交但是尚未应用于从副本的状态机的日志，这些日志所属的写请求请求写入的数据已经被写入主副本但是尚未被写入从副本，因此从副本需要依次将这些日志应用于该从副本的状态机，以将这些日志所属的写请求请求写入的数据写入从副本，使得从副本与主副本之间的数据保持一致。

如前述说明，可见对于同一日志，各个副本是分别将该日志应用于该副本的状态机的，并且当客户端接收到主副本针对写请求发送的写应答请求时，只有主副本必然已经将该写请求的日志应用于状态机，而从副本可能尚未将该写请求的日志应用于状态机。换言之，当客户端接收到针对写请求发送的写应答请求时，该写请求请求写入的数据可能仅被写入主副本以及一部分的从副本，而尚未被写入另一部分的从副本，即仅有主副本中总是包含所有已写入数据，而部分从副本中可能并不包所有已写入数据。

因此，当客户端的应用需要从复制组的副本中读取已写入数据时。可能仅能够从主副本以及一部分的从副本中成功读取所需要的数据。因此，在一种可能的实施例中，客户端的各应用仅从主副本中读取数据，而不从从副本中读取数据。

但是当出于各种原因导致客户端的应用无法从主副本中读取数据时，例如客户端与主副本之间的网络连接出现故障，又例如主副本发生异常，再例如分布式存储系统暂时处于没有主副本的状态，将导致客户端的应用因无法读取数据而无法正常运行，即影响了客户端中各应用的运行稳定性。

因此相关技术中，客户端的各应用也可以从包含所有已写入数据的从副本中读取数据。示例性的，客户端可以记录并更新复制组的提交索引，当需要从该复制组中读取数据时，可以向分布式存储系统发送携带所记录的提交索引的读请求，以使得分布式存储系统根据读请求所携带的提交索引，查找应用索引不小于提交索引的副本，并从查找到的副本中读取数据。

由于一个副本的应用索引为最后一个应用于该副本的状态机的日志的日志索引，而复制组的提交索引为最后一个成功提交的日志的日志索引，并且如前述说明日志的提交与应用是逐一进行的，因此如果一个副本的应用索引不小于复制组的提交索引，则可以认为所有已经成功提交的日志均已被应用于该副本的状态机，即该副本包含所有成功提交的日志所属写请求请求写入的数据。并且如前述说明，由于一个写请求请求写入的数据被成功写入复制组时，该写请求的日志必然已经成功提交，因此该副本包含所有已写入数据。

可见，如果一个副本的应用索引不小于复制组的提交索引，则可以认为该副本中包含所有已写入数据，因此可以从该副本中读取数据。

但是，由于仅有一部分的从副本的应用索引不小于复制组的提交索引，因此需要消耗一定时间从所有从副本中查找出应用索引不小于复制组的提交索引的从副本，导致数据读取效率较低。

为了更清楚的对本公开提供的数据读取方法进行说明，下面将对如何确定最新提交索引进行示例性的说明，以下示例仅是本公开提供的一种确定最新提交索引的方法，在其他可能的实施例中，也可以是按照其他方式确定最新递交索引的，以下示例对此不做任何限制。

在该示例中，客户端针对每个应用维护有该应用对应的专属映射表，专属映射表中记录有各个复制组对应的提交索引，并且客户端每当接收到存储端发送的复制组针对应用生成的写应答请求，在该应用对应的专属映射表中，将该复制组对应的提交索引更改为写应答请求所携带的提交索引。其中，写应答请求为在该应用在复制组中写入数据后生成的，并且携带有该应用在该复制组中写入数据后该复制组的提交索引。关于写应答请求可以参见前述图3的相关描述，在此不再赘述。

当存储端中存在多个复制组时，为了区别生成写应答请求的复制组与其他复制组，写应答请求中还可以携带生成写应答请求的复制组的组标识。

选用该示例中，可以利用专属映射表分别为每个应用记录各自对应的最后一次写应答请求中携带的提交索引，以便于根据所记录的提交索引准确、便捷地确定出目标复制组对应于目标应用的最新提交索引。

在该示例中，确定目标复制组对应于目标应用的最新提交索引，包括：将目标应用对应的专属映射表中目标复制组对应的提交索引确定为最新提交索引。

可以理解的是，由于理论上每当目标应用成功在目标复制组写入数据，目标复制组将针对目标应用生成写应答请求，并且该写应答请求中携带有目标应用本次在目标复制组写入数据后目标复制组的提交索引，而在目标应用对应的专属映射表中，目标复制组对应的提交索引为最后一次接收到的目标复制组针对目标应用生成的写应答请求中携带的提交索引。因此，目标应用对应的专属映射表中目标复制组对应的提交索引即为最新提交索引。

为方便描述，假设客户端中存在两个应用，分别记为应用A和应用B，存储端中一共存在两个复制组，分别记为复制组1、复制组2，并且复制组1的组标识为rg_id1，复制组2的组标识为rg_id2。并且假设应用A在复制组1中写入第一数据，在复制组2中写入第三数据，应用B在复制组1中写入第二数据，在复制组2中写入第四数据。第一数据至第四数据的写入顺序由先到后为：第一数据、第二数据、第三数据、第四数据。

则在一种可能的应用场景中，写入第一数据至第四数据后，客户端与存储端之间的交互可以如图5所示，包括：

S501，在第一数据写入复制组1后，存储端针对应用A向客户端发送携带有rg_id1、提交索引1的写应答请求。

其中，第一数据写入复制组1是指请求写入第一数据的写请求的日志被应用于复制组1的主副本的状态机。提交索引1为第一数据写入复制组1后复制组1的提交索引。

S502，客户端在应用A对应的专属映射表中，将Rg_id1对应的提交索引更改为提交索引1。

S503，在第二数据写入复制组1后，存储端针对应用B向客户端发送携带有rg_id1、提交索引2的写应答请求。

提交索引2为第二数据写入复制组1后复制组1的提交索引，由于第二数据晚于第一数据写入，因此提交索引2大于提交索引1。

S504，客户端在应用B对应的专属映射表中，将Rg_id1对应的提交索引更改为提交索引2。

S505，在第三数据写入复制组2后，存储端针对应用A向客户端发送携带有rg_id2、提交索引3的写应答请求。

提交索引3为第三数据写入复制组1后复制组1的提交索引。

S506，客户端在应用A对应的专属映射表中，将Rg_id2对应的提交索引更改为提交索引3。

S507，在第四数据写入复制组2后，存储端针对应用B向客户端发送携带有rg_id2、提交索引4的写应答请求。

提交索引4为第四数据写入复制组2后复制组2的提交索引，由于第四数据晚于第三数据写入，因此提交索引4大于提交索引3。

S508，客户端在应用B对应的专属映射表中，将Rg_id2对应的提交索引更改为提交索引4。

此时应用A对应的专属映射表如下所示：

复制组	提交索引
		Rg_id1	提交索引1
Rg_id2	提交索引3

此时应用B对应的专属映射表如下所示：

复制组	提交索引
		Rg_id1	提交索引2
Rg_id2	提交索引4

而此时复制组1的提交索引为提交索引2，复制组2的提交索引为提交索引4。假设目标应用为应用A而目标复制组为复制组1，则通过查询应用A对应的专属映射表可知复制组1对应的提交索引为提交索引1，则此时最新提交索引为提交索引1。

在一些应用场景中，可能因各种原因导致无法成功确定目标复制组对应于目标应用的最新提交索引，例如目标应用未曾在目标复制组中写入数据、记录出错等情况，导致目标应用对应的专属映射表中未记录目标复制组对应的提交索引，因此无法从专属映射表中确定最新提交索引，进而无法根据最新提交索引从存储端中读取数据。在一种实现方式中，可以按照其他方式确定最新提交索引，例如，可以统计历史接收到的写应答请求确定最新提交索引，也可以是利用其他提交索引从存储端读取数据。

示例性的，在一种实现方式中，客户端中除了维护每个应用对应的专属映射表外，还维护共享映射表，并且每当接收到存储端发送的复制组针对应用生成的写应答请求，确定写应答请求携带的提交索引是否大于共享映射表中该复制组对应的提交索引。

如果是，则在共享映射表中将复制组对应的提交索引更新为写应答请求所携带的提交索引。如果否，则不更新共享映射表。

在该实现方式中，如果目标应用对应的专属映射表中未记录目标复制组对应的提交索引，则将共享映射表中目标应用的对应的提交索引确定为目标提交索引。

并向目标复制组所属的存储端发送携带有目标提交索引的第三读请求，第三读请求用于驱动存储端从应用索引不小于目标提交索引的副本中读取第一读请求所请求的数据

选用该实施例，可以通过共享映射表记录所有应用在各复制组写入数据后各复制组的提交索引，由于共享映射表只在写应答请求中携带的提交索引大于记录的提交索引时更新，因此共享映射表中记录的提交索引为各复制组在最后一次被写入数据后的提交索引，即理论上共享映射表中记录的各复制组对应的提交索引将与各复制组各自的提交索引保持同步。

因此共享映射表中记录的目标复制组对应的目标提交索引即为目标复制组的提交索引，因此目标复制组中应用索引不小于目标提交索引的副本可以认为是已经写入所有已写入数据的副本，因此可以从该副本中成功读取第一读请求所请求的数据。即选用该实施例可以利用共享映射表中记录目标提交索引，在目标应用对应的专属映射表中未记录目标复制组对应的提交索引的情况下从写入有所有已写入数据的副本中读取数据，提高了数据读取成功率。

为了更清楚的对共享映射表进行说明，仍以图5所示交互图为例，在S501后，共享映射表如下所示：

复制组	提交索引
		Rg_id1	提交索引1

在S503后，共享映射表如下所示：

复制组	提交索引
		Rg_id1	提交索引2

在S505后，共享映射表如下所示：

复制组	提交索引
		Rg_id1	提交索引2
Rg_id2	提交索引3

在S507后，共享映射表如下所示：

复制组	提交索引
		Rg_id1	提交索引2
Rg_id2	提交索引4

在一些应用场景中，可能因客户端中各应用未曾在目标复制组中写入数据、记录出错等情况，导致共享映射表中未记录目标复制组对应的提交索引，因此无法从共享映射表中确定目标提交索引，进而无法根据目标提交索引从存储端中读取数据。在一种实现方式中，可以按照其他方式确定目标提交索引，例如，可以向存储端发送用于获取目标复制组的提交索引的请求，以从存储端获取目标复制组的提交索引作为目标提交索引。

在另一种实现方式中，如果未成功确定目标复制组对应于目标应用的最新提交索引，则客户端向存储端发送未携带提交索引的第四读请求，第四读请求用于驱动存储端从目标复制组的主副本中读取第一读请求所请求的数据。在又一种实现方式中，如果未成功确定目标复制组对应于目标应用的最新提交索引，且共享映射表中未记录目标复制组对应的提交索引，则客户端向存储端发送未携带提交索引的第四读请求，第四读请求用于驱动存储端从目标复制组的主副本中读取第一读请求所请求的数据。

可以理解的是，由于主副本中写入有最新的数据，因此理论上可以从主副本中成功读取第一读请求所请求的数据。选用该实施例，可以在共享映射表中未记录目标复制组对应的提交索引的情况下从主副本中读取数据，从而进一步提高数据读取成功率。

参见图6，图6所示为本公开提供的数据读取方法的另一种流程示意图，在该实施例中，客户端维护有各应用对应的专属映射表以及共享映射表，关于专属映射表和共享映射表可以参见前述相关说明，在此不再赘述。图6所示的方法可以包括：

S601，获取目标应用针对目标复制组生成的第一读请求。

该步骤与前述S101相同，可以参见前述S101的相关说明，在此不再赘述。

S602，确定目标应用对应的专属映射表中是否记录有目标复制组对应的提交索引，如果是，则执行S603，如果否，则执行S605。

S603，将目标应用对应的专属映射表中目标复制组对应的提交索引确定为最新提交索引。

S604，向目标复制组所属的存储端发送携带有最新提交索引的第二读请求，第二读请求用于驱动存储端从应用索引不小于最新提交索引的副本中读取第一读请求所请求的数据。

该步骤与前述S103相同，可以参见前述S103的相关说明，在此不再不赘述。

S605，确定共享映射表中是否记录有目标复制组对应的提交索引，如果是，则执行S606，如果否，则执行S608。

S606，将共享映射表中目标复制组对应的提交索引确定为目标提交索引。

S607，向存储端发送携带有目标提交索引的第三读请求，第三读请求用于驱动存储端从应用索引不小于目标提交索引的副本中读取第一读请求所请求的数据。

S608，向存储端发送未携带提交索引的第四读请求，第四读请求用于驱动存储端从目标复制组的主副本中读取第一读请求所请求的数据。

S609，获取存储端读取的数据。

选用该实施例，优先利用最新提交索引从存储端中读取数据，在无法从目标应用对应的专属映射表中确定最新提交索引时，利用目标提交索引从存储端中读取数据，在无法从共享映射表中确定目标提交索引时，从目标复制组的主副本中读取数据。可以有效提高数据读取效率。

可以理解的是，前述专属映射表以及共享映射表可以是由客户端维护的，也可以是由客户端以外的其他设备维护的，以上实施例仅是示例，本公开对此不做任何限制。

对应于前述应用于客户端的数据读取方法，本公开还提供了一种数据读取方法，应用于存储端可以如图7所示，包括：

S701，接收客户端发送的携带有最新提交索引的第二读请求，最新提交索引用于表示客户端的目标应用最后一次在目标复制组写入数据后目标复制组的提交索引。

目标复制组为目标应用生成的第一读请求所针对的复制组，且属于存储端。

S702，从目标复制组中应用索引不小于最新提交索引的副本中读取第一读请求所请求的数据。

S703，将所读取的数据发送至客户端。

选用该实施例，可以利用最新提交索引从存储端读取数据，由于最新提交索引为目标应用最后一次在目标复制组写入数据后目标复制组的提交索引，因此如前述说明，最新提交索引可以视为目标应用最后一次向目标复制组发送的写请求的日志的日志索引，并且由于日志的提交与应用是逐一进行的，因此如果一个副本的应用索引不小于该日志的日志索引，则可以认为该副本已经将目标应用每次向目标复制组发送的写请求的日志应用于该副本的状态机，即该副本中包含目标应用向该复制组写入的所有数据。因此可以从应用索引不小于最新提交索引的副本中成功读取目标应用所请求的数据。同时，由于在目标应用最后一次在目标复制组写入数据后可能还有其他应用在目标复制组写入数据，因此最新提交索引往往小于目标复制组的提交索引，可见相比于应用索引不小于目标复制组的提交索引的副本，目标复制组中应用索引不小于最新提交索引的副本的数量更多，因此更容易从副本中查找到应用索引不小于最新提交索引的副本，即查找应用索引不小于最新提交索引的副本花费的时间相对较少，因此数据读取效率更高。

在一种可能的实施例中，存储端还可以接收客户端发送的未携带有提交索引的第四读请求，并从目标复制组的主副本中读取第一读请求所请求的数据。

参见图8，图8所示为本公开提供的应用于客户端的数据读取装置的一种结构示意图，可以包括：

第一请求获取模块801，用于获取目标应用针对目标复制组生成的第一读请求；

提交索引确定模块802，用于确定所述目标复制组对应于所述目标应用的最新提交索引，所述最新提交索引用于表示所述目标应用最后一次在所述目标复制组写入数据后所述目标复制组的提交索引；

第一请求发送模块803，用于向所述目标复制组所属的存储端发送携带有所述最新提交索引第二读请求，第二读请求用于驱动所述存储端从应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

数据获取模块804，用于获取所述存储端所读取的数据。

在一种可能的实施例中，所述装置还包括专属映射表更新模块，用于每当接收到所述存储端发送的复制组针对应用生成的写应答请求，在所述应用对应的专属映射表中，将所述复制组对应的提交索引更改为所述写应答请求所携带的提交索引，所述写应答请求为所述应用在所述复制组中写入数据后生成的，并且携带有所述应用在所述复制组中写入数据后所述复制组的提交索引；

所述提交索引确定模块802，具体用于将所述目标应用对应的专属映射表中所述目标复制组对应的提交索引确定为最新提交索引。

在一种可能的实施例中，所述装置还包括共享映射表更新模块，当接收到所述存储端发送的复制组针对应用生成的写应答请求，并且所述写应答请求所携带的提交索引大于所述共享映射表中该复制组对应的提交索引，则在共享映射表中将所述复制组对应的提交索引更新为所述写应答请求所携带的提交索引；

所述提交索引确定模块802，还用于如果未成功确定所述目标复制组对应于所述目标应用的最新提交索引，将所述共享映射表中所述目标复制组对应的提交索引确定为目标提交索引；

所述装置还包括第二请求发送模块，用于向所述存储端发送携带有所述目标提交索引第三读请求，第三读请求用于驱动所述存储端从应用索引不小于所述目标提交索引的副本中读取所述第一读请求所请求的数据。

在一种可能的实施例中，还包括：

第三请求发送模块，用于如果未成功确定所述目标复制组对应于所述目标应用的最新提交索引，向所述客户端发送未携带提交索引的第四读请求，第四读请求用于驱动所述存储端从所述目标复制组的主副本中读取所述第一读请求所请求的数据。

参见图9，图9所示为本公开提供的应用于存储端的数据读取装置的一种结构示意图，可以包括：

第二请求获取模块901，用于接收客户端发送的携带有最新提交索引的第二读请求，所述最新提交索引用于表示所述客户端的目标应用最后一次在目标复制组写入数据后所述目标复制组的提交索引，所述目标复制组为所述目标应用生成的第一读请求所针对的复制组，且属于所述存储端；

第一数据读取模块902，用于从目标复制组中应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

数据发送模块903，用于将所读取的数据发送至所述客户端。

在一种可能的实施例中，还包括：

第三请求获取模块，用于接收所述客户端发送的未携带有提交索引的第四读请求；

第二数据读取模块，用于从所述目标复制组的主副本中读取所述第一读请求所请求的数据。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品，该电子设备可以为客户端设备也可以为存储端设备。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如当该电子设备为客户端设备时，可以是前述任一所述的应用于客户端的数据读取方法，该电子设备为存储端设备时，可以是前述任一所述的应用于存储端的数据读取方法。例如，在一些实施例中，数据读取方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM1003并由计算单元1001执行时，可以执行上文描述的数据读取方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据读取方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种数据读取方法，包括：

获取目标应用针对目标复制组生成的第一读请求；

确定所述目标复制组对应于所述目标应用的最新提交索引，所述最新提交索引用于表示所述目标应用最后一次在所述目标复制组写入数据后所述目标复制组的提交索引；

向所述目标复制组所属的存储端发送携带有所述最新提交索引的第二读请求，所述第二读请求用于驱动所述存储端从应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

获取所述存储端所读取的数据。

2.根据权利要求1所述的方法，还包括：

当接收到所述存储端发送的复制组针对应用生成的写应答请求，在所述应用对应的专属映射表中，将所述复制组对应的提交索引更改为所述写应答请求所携带的提交索引，所述写应答请求为在所述应用在所述复制组中写入数据后生成的，并且携带有所述应用在所述复制组中写入数据后所述复制组的提交索引；

所述确定所述目标复制组对应于所述目标应用的最新提交索引，包括：

将所述目标应用对应的专属映射表中所述目标复制组对应的提交索引确定为最新提交索引。

3.根据权利1所述的方法，还包括：

当接收到所述存储端发送的复制组针对应用生成的写应答请求，并且所述写应答请求所携带的提交索引大于共享映射表中所述复制组对应的提交索引；则在所述共享映射表中将所述复制组对应的提交索引更新为所述写应答请求所携带的提交索引；

如果未成功确定所述目标复制组对应于所述目标应用的最新提交索引，将所述共享映射表中所述目标复制组对应的提交索引确定为目标提交索引；

向所述目标复制组所属的存储端发送携带有所述目标提交索引的第三读请求，所述第三读请求用于驱动所述存储端从应用索引不小于所述目标提交索引的副本中读取所述第一读请求所请求的数据。

4.根据权利要求1所述的方法，还包括：

如果未成功确定所述目标复制组对应于所述目标应用的最新提交索引，向所述存储端发送未携带最新提交索引的第四读请求，所述第四读请求用于驱动所述存储端从所述目标复制组的主副本中读取所述第一读请求所请求的数据。

5.一种数据读取方法，包括：

接收客户端发送的携带有最新提交索引的第二读请求，所述最新提交索引用于表示所述客户端的目标应用最后一次在目标复制组写入数据后所述目标复制组的提交索引，所述目标复制组为所述目标应用生成的第一读请求所针对的复制组，且属于所述存储端；

从目标复制组中应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

将所读取的数据发送至所述客户端。

6.根据权利要求5所述的方法，还包括：

接收所述客户端发送的未携带有提交索引的第四读请求；

从所述目标复制组的主副本中读取所述第一读请求所请求的数据。

7.一种数据读取装置，包括：

第一请求获取模块，用于获取目标应用针对目标复制组生成的第一读请求；

提交索引确定模块，用于确定所述目标复制组对应于所述目标应用的最新提交索引，所述最新提交索引用于表示所述目标应用最后一次在所述目标复制组写入数据后所述目标复制组的提交索引；

第一请求发送模块，用于向所述目标复制组所属的存储端发送携带有所述最新提交索引第二读请求，所述第二读请求用于驱动所述存储端从应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

数据获取模块，用于获取所述存储端所读取的数据。

8.根据权利要求7所述的装置，所述装置还包括专属映射表更新模块，用于每当接收到所述存储端发送的复制组针对应用生成的写应答请求，在所述应用对应的专属映射表中，将所述复制组对应的提交索引更改为所述写应答请求所携带的提交索引，所述写应答请求为所述应用在所述复制组中写入数据后生成的，并且携带有所述应用在所述复制组中写入数据后所述复制组的提交索引；

所述提交索引确定模块，具体用于将所述目标应用对应的专属映射表中所述目标复制组对应的提交索引确定为最新提交索引。

9.根据权利要求7所述的装置，所述装置还包括共享映射表更新模块，当接收到所述存储端发送的复制组针对应用生成的写应答请求，并且所述写应答请求所携带的提交索引大于所述共享映射表中该复制组对应的提交索引，则在共享映射表中将所述复制组对应的提交索引更新为所述写应答请求所携带的提交索引；

所述提交索引确定模块，还用于如果未成功确定所述目标复制组对应于所述目标应用的最新提交索引，将所述共享映射表中所述目标复制组对应的提交索引确定为目标提交索引；

所述装置还包括第二请求发送模块，用于向所述存储端发送携带有所述目标提交索引第三读请求，所述第三读请求用于驱动所述存储端从应用索引不小于所述目标提交索引的副本中读取所述第一读请求所请求的数据。

10.根据权利要求7所述的装置，还包括：

第三请求发送模块，用于如果未成功确定所述目标复制组对应于所述目标应用的最新提交索引，向所述客户端发送未携带提交索引的第四读请求，所述第四读请求用于驱动所述存储端从所述目标复制组的主副本中读取所述第一读请求所请求的数据。

11.一种数据读取装置，包括：

第二请求获取模块，用于接收客户端发送的携带有最新提交索引的第二读请求，所述最新提交索引用于表示所述客户端的目标应用最后一次在目标复制组写入数据后所述目标复制组的提交索引，所述目标复制组为所述目标应用生成的第一读请求所针对的复制组，且属于所述存储端；

第一数据读取模块，用于从目标复制组中应用索引不小于所述最新提交索引的副本中读取所述第一读请求所请求的数据；

数据发送模块，用于将所读取的数据发送至所述客户端。

12.根据权利要求11所述的装置，还包括：

第三请求获取模块，用于接收所述客户端发送的未携带有提交索引的第四读请求；

第二数据读取模块，用于从所述目标复制组的主副本中读取所述第一读请求所请求的数据。

13.一种客户端设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

14.一种存储端设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求5-6中任一项所述的方法。

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4或5-6中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-4或5-6中任一项所述的方法。

Images