CN108959513A - 一种分布式存储系统下读取数据的方法及其数据处理装置 - Google Patents
一种分布式存储系统下读取数据的方法及其数据处理装置 Download PDFInfo
- Publication number
- CN108959513A CN108959513A CN201810684798.4A CN201810684798A CN108959513A CN 108959513 A CN108959513 A CN 108959513A CN 201810684798 A CN201810684798 A CN 201810684798A CN 108959513 A CN108959513 A CN 108959513A
- Authority
- CN
- China
- Prior art keywords
- data
- request
- memory module
- copy
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种分布式存储系统下读取数据的方法，所述分布式存储系统包括多个存储模块，方法包括：向所述多个存储模块中的第一存储模块发送第一数据读取请求消息，并启动第一定时器，其中，所述第一数据读请求消息用于向所述第一存储模块进行所述第一数据读请求；确定所述第一定时器超过时间阈值仍未收到所述第一存储模块返回的第一数据请求响应消息；将所述第一读数据请求消息进行复制，获得所述第一数据请求消息的第一副本数据请求消息；向所述多个存储模块中还未进行所述第一数据读取请求的任意一个存储模块发送所述第一副本数据请求消息，所述第一副本数据请求消息与所述第一数据请求消息使用不同的标识。
Description
技术领域
本申请涉及通信领域，并且更具体地，涉及一种分布式存储系统下读取数据的方法及其数据处理装置。
背景技术
现在的分布式文件系统，基本都是监控模块通过心跳消息来检测各个存储子模块是否离线，读消息都是等监控模块发现存储模块的最新状态后，将之前发往已经异常的存储模块的读请求，再次将读请求发往其他可用的存储模块。而这种机制主要的问题是效率低反应慢。可能导致系统在有异常的情况下，出现短暂的无法读写的断流情况，比如：节点宕机、节点重启等异常。
因此，亟需一种数据读取的方法，能够提高数据读取效率。
发明内容
本申请提供一种数据读取的方法，能够提高数据读取效率。
第一方面，提供一种分布式存储系统下读取数据的方法，所述分布式存储系统包括多个存储模块，方法包括：向所述多个存储模块中的第一存储模块发送第一数据读取请求消息，并启动第一定时器，其中，所述第一数据读请求消息用于向所述第一存储模块进行所述第一数据读请求；确定所述第一定时器超过时间阈值仍未收到所述第一存储模块返回的第一数据请求响应消息；将所述第一读数据请求消息进行复制，获得所述第一数据请求消息的第一副本数据请求消息；向所述多个存储模块中还未进行所述第一数据读取请求的任意一个存储模块发送所述第一副本数据请求消息，所述第一副本数据请求消息与所述第一数据请求消息使用不同的标识。
结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括：当所述第一数据请求成功时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
结合第一方面及其上述实现方式，在第一方面的第二种可能的实现方式中，所述方法还包括：当收到所述第一数据请求响应消息或所述第一副本读数据请求响应消息时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
结合第一方面及其上述实现方式，在第一方面的第三种可能的实现方式中，所述方法还包括：当所述第一数据请求消息的全部副本请求消息都请求失败时，则将所述第一数据请求记录为失败。
结合第一方面及其上述实现方式，在第一方面的第四种可能的实现方式中，所述方法还包括：当所述分布式存储系统包括的存储模块发生变化时，保留所述第一数据读请求消息，删除所述第一数据请求消息的所有副本请求消息，并删除所述全部副本请求消息的转发记录。
第二方面，提供一种数据处理装置，所述数据处理装置应用于分布式存储系统，所述分布式存储系统包括多个存储模块，所述数据处理装置包括：发送单元，所述发送单元用于向所述多个存储模块中的第一存储模块发送第一数据读取请求消息，并启动第一定时器，其中，所述第一数据读请求消息用于向所述第一存储模块进行所述第一数据读请求；处理单元，所述处理单元用于确定所述第一定时器超过时间阈值仍未收到所述第一存储模块返回的第一数据请求响应消息；所述处理单元还用于将所述第一读数据请求消息进行复制，获得所述第一数据请求消息的第一副本数据请求消息；所述发送单元还用于向所述多个存储模块中还未进行所述第一数据读取请求的任意一个存储模块发送所述第一副本数据请求消息，所述第一副本数据请求消息与所述第一数据请求消息使用不同的标识。
结合第二方面，在第二方面的第一种可能的实现方式中，所述处理单元还用于：当所述第一数据请求成功时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
结合第二方面及其上述实现方式，在第二方面的第二种可能的实现方式中，所述处理单元还用于：当收到所述第一数据请求响应消息或所述第一副本读数据请求响应消息时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
结合第二方面及其上述实现方式，在第二方面的第三种可能的实现方式中，所述处理单元还用于：当所述第一数据请求消息的全部副本请求消息都请求失败时，则将所述第一数据请求记录为失败。
结合第二方面及其上述实现方式，在第二方面的第四种可能的实现方式中，所述处理单元还用于：当所述分布式存储系统包括的存储模块发生变化时，保留所述第一数据读请求消息，删除所述第一数据请求消息的所有副本请求消息，并删除所述全部副本请求消息的转发记录。
本机制的通过在分布式文件系统是以副本冗余方式来存储，而且系统有读操作的前提下，此时通过读消息的耗时来判断是否需要转发。分布式文件系统中，数据几乎是平均分配到每个节点的，每个节点被读到的可能性是均等的。因此，本申请实施例可以提升异常场景下读请求的响应速度，提高系统性能。
附图说明
图1是本申请一个实施例的方法的示意性流程图。
图2是本申请一个实施例的装置的结构性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
图1示出了本申请一个实施例的一种分布式存储系统下读取数据的方法，所述分布式存储系统包括多个存储模块，如图1所示，方法包括：
步骤110，向所述多个存储模块中的第一存储模块发送第一数据读取请求消息，并启动第一定时器，其中，所述第一数据读请求消息用于向所述第一存储模块进行所述第一数据读请求；
步骤120，确定所述第一定时器超过时间阈值仍未收到所述第一存储模块返回的第一数据请求响应消息；将所述第一读数据请求消息进行复制，获得所述第一数据请求消息的第一副本数据请求消息；
步骤130，向所述多个存储模块中还未进行所述第一数据读取请求的任意一个存储模块发送所述第一副本数据请求消息，所述第一副本数据请求消息与所述第一数据请求消息使用不同的标识。
具体地，设置一个超时阈值和一个定时器，当读请求超过这个阈值还没有回响应就认为这个请求是一个超时读请求，超时的原因可能是节点宕机、存储模块进程退出等。读请求超时后，客户端将原读请求克隆一份，并使用不同的唯一标识(比如seq)。计算该请求读的数据在哪几个存储模块上，其中哪个是已经发送过读请求的。从剩余未发送读请求的存储模块中，随机选择一个，将该读请求发往此存储节点。建立转发的读请求和原请求的关联，并共享关联读请求的状态(刚发送、读失败、读超时、读撤销、读成功等状态)。
结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括：当所述第一数据请求成功时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
也就是说，当其中一次的读请求成功后，将其余未完成的读请求撤销掉，并将未超时的读请求的定时器取消，将本次读记为成功并清理相关的记录。
结合第一方面及其上述实现方式，在第一方面的第二种可能的实现方式中，所述方法还包括：当收到所述第一数据请求响应消息或所述第一副本读数据请求响应消息时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
结合第一方面及其上述实现方式，在第一方面的第三种可能的实现方式中，所述方法还包括：当所述第一数据请求消息的全部副本请求消息都请求失败时，则将所述第一数据请求记录为失败。
也就是说，当所有的读请求都失败，用最后一个失败的读请求记录本次读为失败，并清理相关的记录。
应理解，本申请实施例可以同时处理好多线程并发的情况，比如：多个转发的读请求同时回响应或者一个读请求再转发，而另一个转发的读请求已经回响应。
结合第一方面及其上述实现方式，在第一方面的第四种可能的实现方式中，所述方法还包括：当所述分布式存储系统包括的存储模块发生变化时，保留所述第一数据读请求消息，删除所述第一数据请求消息的所有副本请求消息，并删除所述全部副本请求消息的转发记录。
应理解，使用本机制的前提是：
数据是以副本方式存储的，而不是其他方式，比如纠删，因为纠删时读操作会多个节点，超时时，无法判断是哪个节点慢或离线。也就是涉及的节点越多，越不容易区分是否超时，哪个超时。副本每次读时只会涉及一个节点，这种场景超时判断准确高效。
只处理读操作，而不是其他操，因为在副本的前提下，读操作只会涉及一个节点。而写操作会涉及到多个节点，比如写两个副本，就要涉及两个副本都写完才算操作完成，期间若是有超时也不好区分哪个超时。
这种分布式文件系统的读转发机制。具体实施过程如下：
(1)识别请求消息是读消息，并且待读数据的存储方式是副本模式。
(2)消息发送时，将消息的识别码和发送时间记录下来，同时设置定时器。
(3)定时器到时了，但是读请求还没有回响应，则认为该消息为超时消息并触发读转发逻辑。
(4)当读消息回响应时，不论该消息有没有超时，直接将该消息从记录的信息中删除。若是成功，则将本次读标记位成功，并将与之相关的读请求记录撤销掉；若是失败，则等下一个读请求的结果，若所有的读都失败，则将本次读标记位失败。
(5)将监控模块发现文件系统的存储单元发生变化时，则只保留原发送请求，将转发的读请求记录都删除。防止某些请求回复后无法处理的问题。
基于上述技术方案，可以看到，本申请可能具有以下的有益效果：
针对副本读请求，通过计算读请求的耗时，其他检测某些存储单元的异常情况，并提前向其他副本发送读请求。
将原读请求与转发的读请求，关联起来，使之都能知道彼此的状态，防止读请求的重复处理。
充分考虑各种并发的场景，在多线程的情况下保证功能和性能。
当监控模块检测出存储单元变化时，本读转发机制能够第一时间进行适应，防止处理无效的读响应。
可以提前规避由于某些存储单元异常导致的大量读请求超时，进而使客户端读断流的问题。
图2示出了本申请一个实施例的数据处理装置200，所述数据处理装置200应用于分布式存储系统，所述分布式存储系统包括多个存储模块，如图2所示，所述数据处理装置200包括：发送单元210，所述发送单元210用于向所述多个存储模块中的第一存储模块发送第一数据读取请求消息，并启动第一定时器，其中，所述第一数据读请求消息用于向所述第一存储模块进行所述第一数据读请求；处理单元220，所述处理单元220用于确定所述第一定时器超过时间阈值仍未收到所述第一存储模块返回的第一数据请求响应消息；所述处理单元210还用于将所述第一读数据请求消息进行复制，获得所述第一数据请求消息的第一副本数据请求消息；所述发送单元220还用于向所述多个存储模块中还未进行所述第一数据读取请求的任意一个存储模块发送所述第一副本数据请求消息，所述第一副本数据请求消息与所述第一数据请求消息使用不同的标识。
可选地，作为本申请一个实施例，所述处理单元210还用于：当所述第一数据请求成功时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
可选地，作为本申请一个实施例，所述处理单元210还用于：当收到所述第一数据请求响应消息或所述第一副本读数据请求响应消息时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
可选地，作为本申请一个实施例，所述处理单元210还用于：当所述第一数据请求消息的全部副本请求消息都请求失败时，则将所述第一数据请求记录为失败。
可选地，作为本申请一个实施例，所述处理单元210还用于：当所述分布式存储系统包括的存储模块发生变化时，保留所述第一数据读请求消息，删除所述第一数据请求消息的所有副本请求消息，并删除所述全部副本请求消息的转发记录。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者第二设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种分布式存储系统下读取数据的方法，其特征在于，所述分布式存储系统包括多个存储模块，方法包括：
向所述多个存储模块中的第一存储模块发送第一数据读取请求消息，并启动第一定时器，其中，所述第一数据读请求消息用于向所述第一存储模块进行所述第一数据读请求；
确定所述第一定时器超过时间阈值仍未收到所述第一存储模块返回的第一数据请求响应消息；
将所述第一读数据请求消息进行复制，获得所述第一数据请求消息的第一副本数据请求消息；
向所述多个存储模块中还未进行所述第一数据读取请求的任意一个存储模块发送所述第一副本数据请求消息，所述第一副本数据请求消息与所述第一数据请求消息使用不同的标识。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述第一数据请求成功时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
当收到所述第一数据请求响应消息或所述第一副本读数据请求响应消息时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当所述第一数据请求消息的全部副本请求消息都请求失败时，则将所述第一数据请求记录为失败。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当所述分布式存储系统包括的存储模块发生变化时，保留所述第一数据读请求消息，删除所述第一数据请求消息的所有副本请求消息，并删除所述全部副本请求消息的转发记录。
6.一种数据处理装置，其特征在于，所述数据处理装置应用于分布式存储系统，所述分布式存储系统包括多个存储模块，所述数据处理装置包括：
发送单元，所述发送单元用于向所述多个存储模块中的第一存储模块发送第一数据读取请求消息，并启动第一定时器，其中，所述第一数据读请求消息用于向所述第一存储模块进行所述第一数据读请求；
处理单元，所述处理单元用于确定所述第一定时器超过时间阈值仍未收到所述第一存储模块返回的第一数据请求响应消息；
所述处理单元还用于将所述第一读数据请求消息进行复制，获得所述第一数据请求消息的第一副本数据请求消息；
所述发送单元还用于向所述多个存储模块中还未进行所述第一数据读取请求的任意一个存储模块发送所述第一副本数据请求消息，所述第一副本数据请求消息与所述第一数据请求消息使用不同的标识。
7.根据权利要求6所述的数据处理装置，其特征在于，所述处理单元还用于：
当所述第一数据请求成功时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
8.根据权利要求6或7所述的数据处理装置，其特征在于，所述处理单元还用于：
当收到所述第一数据请求响应消息或所述第一副本读数据请求响应消息时，清除所述第一定时器并撤销所述第一数据请求消息的所有副本请求消息。
9.根据权利要求8所述的数据处理装置，其特征在于，所述处理单元还用于：
当所述第一数据请求消息的全部副本请求消息都请求失败时，则将所述第一数据请求记录为失败。
10.根据权利要求9所述的数据处理装置，其特征在于，所述处理单元还用于：当所述分布式存储系统包括的存储模块发生变化时，保留所述第一数据读请求消息，删除所述第一数据请求消息的所有副本请求消息，并删除所述全部副本请求消息的转发记录。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810684798.4A CN108959513A (zh) | 2018-06-28 | 2018-06-28 | 一种分布式存储系统下读取数据的方法及其数据处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810684798.4A CN108959513A (zh) | 2018-06-28 | 2018-06-28 | 一种分布式存储系统下读取数据的方法及其数据处理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108959513A true CN108959513A (zh) | 2018-12-07 |
Family
ID=64487713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810684798.4A Pending CN108959513A (zh) | 2018-06-28 | 2018-06-28 | 一种分布式存储系统下读取数据的方法及其数据处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108959513A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103038742A (zh) * | 2010-02-09 | 2013-04-10 | 谷歌公司 | 用于在分布式存储系统内动态复制数据的方法和系统 |
| CN106406758A (zh) * | 2016-09-05 | 2017-02-15 | 华为技术有限公司 | 一种基于分布式存储系统的数据处理方法及存储设备 |
| CN106598488A (zh) * | 2016-11-24 | 2017-04-26 | 北京小米移动软件有限公司 | 分布式数据读取方法及装置 |
| CN107580013A (zh) * | 2017-07-25 | 2018-01-12 | 阿里巴巴集团控股有限公司 | 跨域请求数据的方法及装置 |
-
2018
- 2018-06-28 CN CN201810684798.4A patent/CN108959513A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103038742A (zh) * | 2010-02-09 | 2013-04-10 | 谷歌公司 | 用于在分布式存储系统内动态复制数据的方法和系统 |
| CN106406758A (zh) * | 2016-09-05 | 2017-02-15 | 华为技术有限公司 | 一种基于分布式存储系统的数据处理方法及存储设备 |
| CN106598488A (zh) * | 2016-11-24 | 2017-04-26 | 北京小米移动软件有限公司 | 分布式数据读取方法及装置 |
| CN107580013A (zh) * | 2017-07-25 | 2018-01-12 | 阿里巴巴集团控股有限公司 | 跨域请求数据的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106406758B (zh) | 一种基于分布式存储系统的数据处理方法及存储设备 | |
| CN106506490B (zh) | 一种分布式计算控制方法以及分布式计算系统 | |
| CN104679611B (zh) | 数据资源复制方法以及装置 | |
| CN110807064B (zh) | Rac分布式数据库集群系统中的数据恢复装置 | |
| CN105302676B (zh) | 一种分布式文件系统的主备机制数据传输方法及装置 | |
| CN106874076B (zh) | 分布式事务处理方法 | |
| CN103559231B (zh) | 一种文件系统配额管理方法、装置及系统 | |
| CN108600045A (zh) | 一种服务链路监控方法及装置 | |
| CN107357688A (zh) | 分布式系统及其故障恢复方法和装置 | |
| CN108572793A (zh) | 数据写入和数据恢复方法、装置、电子设备及存储介质 | |
| CN109726091A (zh) | 一种日志管理方法及相关装置 | |
| CN107623703A (zh) | 全局事务标识gtid的同步方法、装置及系统 | |
| WO2022206439A1 (zh) | 提供跨链消息的方法和装置 | |
| CN106610788B (zh) | 硬盘阵列控制方法及装置 | |
| CN104866242B (zh) | 一种数据删除系统、方法及数据删除中心 | |
| CN105471616B (zh) | 缓存系统管理方法和系统 | |
| US10009151B2 (en) | Packet storage method, information processing apparatus, and non-transitory computer-readable storage medium | |
| CN113055203B (zh) | Sdn控制平面的异常恢复方法及装置 | |
| CN109491767A (zh) | 分布式事务的处理方法和分布式系统 | |
| CN108959513A (zh) | 一种分布式存储系统下读取数据的方法及其数据处理装置 | |
| CN108763517A (zh) | 一种删除元数据的方法以及相关设备 | |
| CN107231284A (zh) | 一种消息的发送方法和终端设备 | |
| CN109905459A (zh) | 一种数据传输方法及装置 | |
| CN109783215A (zh) | 异常任务处理方法及相关装置 | |
| CN107864096B (zh) | 路径调整方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |