CN109783462A - 一种基于分布式文件系统的数据访问方法和装置 - Google Patents
一种基于分布式文件系统的数据访问方法和装置 Download PDFInfo
- Publication number
- CN109783462A CN109783462A CN201811521787.0A CN201811521787A CN109783462A CN 109783462 A CN109783462 A CN 109783462A CN 201811521787 A CN201811521787 A CN 201811521787A CN 109783462 A CN109783462 A CN 109783462A
- Authority
- CN
- China
- Prior art keywords
- address
- target data
- client device
- storage service
- data block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种基于分布式文件系统的数据访问方法和装置，所述分布式文件系统中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该方法应用于任一客户端设备，包括：预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；接收用户的数据访问请求；确定该数据访问请求的各目标数据块；针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。
Description
技术领域
本发明涉及存储技术领域，特别涉及一种基于分布式文件系统的数据访问方法和装置。
背景技术
参见图1，图1是现有技术分布式文件系统的架构图，如图1所示，分布式文件系统中包括多个客户端设备、元数据服务器、以及多个存储服务节点。其中，各存储服务节点中有一个或多个磁盘，这些磁盘空间在分布式文件系统中统一编址。
现有分布式文件系统的数据访问(包括读数据和写数据)过程如下：用户向客户端发送数据访问请求；客户端接收到上述数据访问请求后，向元数据服务器发送请求得到该数据访问请求的目标数据块所在存储服务地址；客户端对该存储服务地址的目标数据块进行访问。
现有对分布式文件系统的整个数据访问过程中，需要多次网络操作，网络吞吐量是整个分布式文件系统的瓶颈。
发明内容
有鉴于此，本发明的目的在于提供一种基于分布式文件系统的数据访问方法和装置，通过提高分布式文件系统的网络吞吐量，提高对分布式文件系统的访问性能。
为了达到上述目的，本发明提供了如下技术方案：
一种基于分布式文件系统的数据访问方法，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该方法应用于任一客户端设备，包括：
预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；
接收用户的数据访问请求；
从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块；
针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。
一种基于分布式文件系统的数据访问装置，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该装置应用于任一客户端设备，包括：
建立单元，用于预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；
接收单元，用于接收用户的数据访问请求；
处理单元，用于从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块；用于针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。
由上面的技术方案可知，本发明中，通过建立客户端设备的所有网口与每个存储服务节点的所有网口之间的IP连接，构成该客户端设备到该存储服务节点的IP连接池，当客户端设备接收到数据访问请求时，向元数据服务器请求该数据访问请求的每一目标数据块的存储服务地址，并利用该客户端到该存储服务地址所在存储服务节点的IP连接池，对该存储服务地址的目标数据块进行访问。可以看出，通过客户端设备和存储服务节点之间建立包括多个IP连接的IP连接池，可以有效提高分布式文件系统的网络吞吐量，进而可以提高对分布式文件系统的访问性能。
附图说明
图1是现有技术分布式文件系统的架构图；
图2是本发明实施例基于分布式文件系统的数据访问方法流程图；
图3是本发明实施例基于分布式文件系统的数据访问装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。
参见图2，图2是本发明实施例基于分布式文件系统的数据访问方法流程图，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该方法应用于任一客户端设备(例如图1中的客户端1)，如图2所示，该方法具体包括以下步骤：
步骤201、预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池。
本步骤201可以在分布式文件系统启动后执行。后续的步骤202至步骤204则是每接收到一个数据访问请求时执行一次。
本步骤201中，将客户端设备中的每个网口与每个存储服务节点中的所有网口均建立IP连接，最终建立该客户端设备的各网口到该存储服务节点中各网口的全连接，假设客户端设备有2个网口，存储服务节点有4个网口，则最重建立的IP连接池中包括2×4＝8个IP连接。
本发明实施例中，基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池，具体包括：
利用该客户端设备中每一网口的IP地址和该存储服务节点中的每一网口的IP地址，建立该客户端设备中该网口与该存储服务节点中的每一网口之间的IP链接；
将该客户端设备中所有网口与该存储服务节点中的每一网口之间的IP连接加入到该客户端设备到该存储服务节点的IP连接池。
步骤202、该客户端设备接收用户的数据访问请求。
步骤203、该客户端设备从元数据服务器获取该数据访问请求的目标数据的起始地址和长度信息，根据该目标数据的起始地址和长度信息将目标数据切分成多个目标数据块。
用户的数据访问请求中携带目标数据信息，例如文件名等可供元数据查找目标数据的起始地址和长度的元数据信息。另外，数据访问请求包括读数据请求和写数据请求，当数据访问请求是写数据请求时，还携带有待写入数据信息。
该客户端设备可以将目标数据信息发送到元数据服务器，元数据服务器根据目标数据信息可以确定目标数据的起始地址和长度信息，然后将目标数据的起始地址和长度信息返回给该客户端设备。
根据该目标数据的起始地址和长度信息将目标数据切分成多个目标数据块的方法具体如下：
根据该目标数据的长度，将目标数据按照预设数据块大小(可以与分布式文件系统中的数据块大小相同)分成多个目标数据块，并根据每个目标数据块与该目标数据的起始地址的位置偏移确定该目标数据块的起始地址，基于该目标数据块的起始地址确定该目标数据块标识(id)。
这里的数据块id可以是该数据块在整个分布式文件系统中的编号，由于目标数据的起始位置明确，将目标数据按预设数据块大小分成多个目标数据块之后，每个目标数据块的起始位置也是确定的，目标数据块的起始位置则决定了其在分布式文件系统中的编号。
步骤204、该客户端设备针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。
本发明实施例中，向元数据服务器请求该目标数据块所在存储服务地址，即将该目标数据块id发送到元数据服务器，元数据服务器根据该目标数据块id可以确定该目标数据块的存储服务地址(包括存储服务节点id和磁盘id)，存储服务地址表明了该目标数据块位于哪个存储服务节点的哪个磁盘上。
本发明实施例中，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问的方法具体如下：
从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接，利用该IP连接对该存储服务地址的目标数据块进行访问。
在实际实现中，需要考虑IP连接断开的情况，当使用某个IP连接进行数据访问时，如果该IP连接断开，需要在同一IP连接池中重新选择一个IP连接并使用重新选择的IP连接进行数据访问。
因此，上述从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接之后，利用该IP连接对该存储服务地址中的目标数据块进行访问时，如果该IP连接断开，则在该IP连接池中重新选择一未断开的IP连接，利用重新选择的IP连接对该存储服务地址的目标数据块进行访问。
另外，如果某个IP连接池中的所有IP连接均断开，则需要重试建立该IP连接池中的所有IP连接。因此，上述基于该客户端设备到该存储服务地址所在存储服务节点的IP连接池，对该存储服务地址中的目标数据块进行访问时，如果该IP连接池中的所有IP连接均断开，则需要进一步基于预设重试次数，重试建立该IP连接池中的所有IP连接。
本发明实施例中，数据访问请求包括写数据请求和读数据请求两种，利用该IP连接对该存储服务地址的目标数据块进行访问操作，也相应分为两种情况：
1)当所述数据访问请求是写数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行写数据操作。
2)当所述数据访问请求是读数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行读数据操作。
以上对本发明实施例基于分布式文件系统的数据访问方法进行了详细说明，本发明还提供了一种基于分布式文件系统的数据访问装置，以下结合图3进行详细说明。
参加图3，图3是本发明实施例基于分布式文件系统的数据访问装置的结构示意图，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该装置应用于任一客户端设备，如图3所示，该装置包括：
建立单元301，用于预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；
接收单元302，用于接收用户的数据访问请求；
处理单元303，用于从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块；用于针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。
图3所示装置中，
所述建立单元301，基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池，包括：
利用该客户端设备中每一网口的IP地址和该存储服务节点中的每一网口的IP地址，建立该客户端设备中该网口与该存储服务节点中的每一网口之间的IP链接；
将该客户端设备中所有网口与该存储服务节点中的每一网口之间的IP连接加入到该客户端设备到该存储服务节点的IP连接池。
图3所示装置中，
所述处理单元303，从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块时，用于：
将该数据访问请求携带的目标数据信息发送到元数据服务器，接收元数据服务器根据该目标数据信息确定并返回的该目标数据的起始地址和长度信息；
根据目标数据的长度信息，将该目标数据按照预设数据块大小分成多个目标数据块，根据每个目标数据块与目标数据的起始地址的偏移确定该目标数据块的起始地址，并基于该目标数据块的起始地址确定该目标数据块的标识id；
所述处理单元303，向元数据服务器请求该目标数据块所在存储服务地址的方法为：将该目标数据块id发送到元数据服务器，接收元数据服务器根据该目标数据块id确定并返回的该目标数据块所在存储服务地址。
图3所示装置中，
所述处理单元303，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问时，用于：
从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接，利用该IP连接对该存储服务地址的目标数据块进行访问。
图3所示装置中，
所处处理单元303，从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接之后，利用该IP连接对该存储服务地址中的目标数据块进行访问时，如果该IP连接断开，则在该IP连接池中重新选择一未断开的IP连接，利用重新选择的IP连接对该存储服务地址的目标数据块进行访问。
图3所示装置中，
所述数据访问请求包括写数据请求和读数据请求；
所述处理单元303，利用该IP连接对该存储服务地址的目标数据块进行访问操作，包括：
当所述数据访问请求是写数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行读数据操作
当所述数据访问请求是读数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行读数据操作。
图3所示装置中，
所述处理单元303，基于该客户端设备到该存储服务地址所在存储服务节点的IP连接池，对该存储服务地址中的目标数据块进行访问时，如果该IP连接池中的所有IP连接均断开，则指示建立单元301基于预设重试次数，重试建立该IP连接池中的所有IP连接。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (14)
1.一种基于分布式文件系统的数据访问方法，其特征在于，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该方法应用于任一客户端设备，包括：
预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；
接收用户的数据访问请求；
从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块；
针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。
2.根据权利要求1所述的方法，其特征在于，
基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池，包括：
利用该客户端设备中每一网口的IP地址和该存储服务节点中的每一网口的IP地址，建立该客户端设备中该网口与该存储服务节点中的每一网口之间的IP链接；
将该客户端设备中所有网口与该存储服务节点中的每一网口之间的IP连接加入到该客户端设备到该存储服务节点的IP连接池。
3.根据权利要求2所述的方法，其特征在于，
从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块的方法为：
将该数据访问请求携带的目标数据信息发送到元数据服务器，接收元数据服务器根据该目标数据信息确定并返回的该目标数据的起始地址和长度信息；
根据目标数据的长度信息，将该目标数据按照预设数据块大小分成多个目标数据块，根据每个目标数据块与目标数据的起始地址的偏移确定该目标数据块的起始地址，并基于该目标数据块的起始地址确定该目标数据块的标识id；
向元数据服务器请求该目标数据块所在存储服务地址的方法为：将该目标数据块id发送到元数据服务器，接收元数据服务器根据该目标数据块id确定并返回的该目标数据块所在存储服务地址。
4.根据权利要求2所述方法，其特征在于，
基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问的方法为：
从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接，利用该IP连接对该存储服务地址的目标数据块进行访问。
5.根据权利要求4所述的方法，其特征在于，
从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接之后，利用该IP连接对该存储服务地址中的目标数据块进行访问时，如果该IP连接断开，则在该IP连接池中重新选择一未断开的IP连接，利用重新选择的IP连接对该存储服务地址的目标数据块进行访问。
6.根据权利要求4或5所述的方法，其特征在于，
所述数据访问请求包括写数据请求和读数据请求；
利用该IP连接对该存储服务地址的目标数据块进行访问操作，包括：
当所述数据访问请求是写数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行写数据操作；
当所述数据访问请求是读数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行读数据操作。
7.根据权利要求5所述的方法，其特征在于，
基于该客户端设备到该存储服务地址所在存储服务节点的IP连接池，对该存储服务地址中的目标数据块进行访问时，如果该IP连接池中的所有IP连接均断开，则基于预设重试次数，重试建立该IP连接池中的所有IP连接。
8.一种基于分布式文件系统的数据访问装置，其特征在于，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该装置应用于任一客户端设备，包括：
建立单元，用于预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；
接收单元，用于接收用户的数据访问请求；
处理单元，用于从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块；用于针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。
9.根据权利要求8所述的装置，其特征在于，
所述建立单元，基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池，包括：
利用该客户端设备中每一网口的IP地址和该存储服务节点中的每一网口的IP地址，建立该客户端设备中该网口与该存储服务节点中的每一网口之间的IP链接；
将该客户端设备中所有网口与该存储服务节点中的每一网口之间的IP连接加入到该客户端设备到该存储服务节点的IP连接池。
10.根据权利要求9所述的装置，其特征在于，
所述处理单元，从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块的方法为：
将该数据访问请求携带的目标数据信息发送到元数据服务器，接收元数据服务器根据该目标数据信息确定并返回的该目标数据的起始地址和长度信息；
根据目标数据的长度信息，将该目标数据按照预设数据块大小分成多个目标数据块，根据每个目标数据块与目标数据的起始地址的偏移确定该目标数据块的起始地址，并基于该目标数据块的起始地址确定该目标数据块的标识id；
所述处理单元，向元数据服务器请求该目标数据块所在存储服务地址的方法为：将该目标数据块id发送到元数据服务器，接收元数据服务器根据该目标数据块id确定并返回的该目标数据块所在存储服务地址。
11.根据权利要求9所述装置，其特征在于，
所述处理单元，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问时，用于：
从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接，利用该IP连接对该存储服务地址的目标数据块进行访问。
12.根据权利要求11所述的装置，其特征在于，
所处处理单元，从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接之后，利用该IP连接对该存储服务地址中的目标数据块进行访问时，如果该IP连接断开，则在该IP连接池中重新选择一未断开的IP连接，利用重新选择的IP连接对该存储服务地址的目标数据块进行访问。
13.根据权利要求11或12所述的装置，其特征在于，
所述数据访问请求包括写数据请求和读数据请求；
所述处理单元，利用该IP连接对该存储服务地址的目标数据块进行访问操作，包括：
当所述数据访问请求是写数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行写数据操作；
当所述数据访问请求是读数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行读数据操作。
14.根据权利要求12所述的装置，其特征在于，
所述处理单元，基于该客户端设备到该存储服务地址所在存储服务节点的IP连接池，对该存储服务地址中的目标数据块进行访问时，如果该IP连接池中的所有IP连接均断开，则指示建立单元基于预设重试次数，重试建立该IP连接池中的所有IP连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811521787.0A CN109783462B (zh) | 2018-12-13 | 2018-12-13 | 一种基于分布式文件系统的数据访问方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811521787.0A CN109783462B (zh) | 2018-12-13 | 2018-12-13 | 一种基于分布式文件系统的数据访问方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109783462A true CN109783462A (zh) | 2019-05-21 |
| CN109783462B CN109783462B (zh) | 2021-01-05 |
Family
ID=66495828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811521787.0A Active CN109783462B (zh) | 2018-12-13 | 2018-12-13 | 一种基于分布式文件系统的数据访问方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109783462B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111193962A (zh) * | 2020-01-15 | 2020-05-22 | 伟乐视讯科技股份有限公司 | 基于多网口的并发大流量输出的流媒体控制系统及方法 |
| CN113132480A (zh) * | 2021-04-16 | 2021-07-16 | 北京京东振世信息技术有限公司 | 一种数据传输方法、装置和系统 |
| CN113395368A (zh) * | 2020-03-13 | 2021-09-14 | 阿里巴巴集团控股有限公司 | 访问配置方法、访问方法及装置 |
| CN113721840A (zh) * | 2019-10-18 | 2021-11-30 | 华为技术有限公司 | 数据访问方法、装置和第一计算设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101997823A (zh) * | 2009-08-17 | 2011-03-30 | 联想(北京)有限公司 | 一种分布式文件系统及其数据访问方法 |
| CN102866995A (zh) * | 2011-07-05 | 2013-01-09 | 中兴通讯股份有限公司 | 对等网络的文件访问方法、管理方法及分布式文件系统 |
| US20130332489A1 (en) * | 2004-02-06 | 2013-12-12 | Vmware, Inc. | Providing multiple concurrent access to a file system |
| CN104320401A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于分布式文件系统的大数据存储访问系统及方法 |
| US20160328412A1 (en) * | 2012-01-31 | 2016-11-10 | International Business Machines Corporation | Retrieving data utilizing a distributed index |
| CN106874383A (zh) * | 2017-01-10 | 2017-06-20 | 清华大学 | 一种分布式文件系统元数据的解耦合分布方法 |
| CN107659644A (zh) * | 2017-09-25 | 2018-02-02 | 郑州云海信息技术有限公司 | 一种访问存储系统的方法、装置、可读存储介质 |
| CN108259603A (zh) * | 2018-01-17 | 2018-07-06 | 新华三技术有限公司 | 一种负载均衡方法及装置 |
| US10133646B1 (en) * | 2014-06-25 | 2018-11-20 | Amazon Technologies, Inc. | Fault tolerance in a distributed file system |
-
2018
- 2018-12-13 CN CN201811521787.0A patent/CN109783462B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130332489A1 (en) * | 2004-02-06 | 2013-12-12 | Vmware, Inc. | Providing multiple concurrent access to a file system |
| CN101997823A (zh) * | 2009-08-17 | 2011-03-30 | 联想(北京)有限公司 | 一种分布式文件系统及其数据访问方法 |
| CN102866995A (zh) * | 2011-07-05 | 2013-01-09 | 中兴通讯股份有限公司 | 对等网络的文件访问方法、管理方法及分布式文件系统 |
| US20160328412A1 (en) * | 2012-01-31 | 2016-11-10 | International Business Machines Corporation | Retrieving data utilizing a distributed index |
| US10133646B1 (en) * | 2014-06-25 | 2018-11-20 | Amazon Technologies, Inc. | Fault tolerance in a distributed file system |
| CN104320401A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于分布式文件系统的大数据存储访问系统及方法 |
| CN106874383A (zh) * | 2017-01-10 | 2017-06-20 | 清华大学 | 一种分布式文件系统元数据的解耦合分布方法 |
| CN107659644A (zh) * | 2017-09-25 | 2018-02-02 | 郑州云海信息技术有限公司 | 一种访问存储系统的方法、装置、可读存储介质 |
| CN108259603A (zh) * | 2018-01-17 | 2018-07-06 | 新华三技术有限公司 | 一种负载均衡方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 白铖: "一种分布式文件系统的设计与实现", 《中国优秀硕士学位论文全文库》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113721840A (zh) * | 2019-10-18 | 2021-11-30 | 华为技术有限公司 | 数据访问方法、装置和第一计算设备 |
| CN111193962A (zh) * | 2020-01-15 | 2020-05-22 | 伟乐视讯科技股份有限公司 | 基于多网口的并发大流量输出的流媒体控制系统及方法 |
| CN111193962B (zh) * | 2020-01-15 | 2021-12-17 | 伟乐视讯科技股份有限公司 | 基于多网口的并发大流量输出的流媒体控制系统及方法 |
| CN113395368A (zh) * | 2020-03-13 | 2021-09-14 | 阿里巴巴集团控股有限公司 | 访问配置方法、访问方法及装置 |
| CN113395368B (zh) * | 2020-03-13 | 2024-05-03 | 阿里巴巴集团控股有限公司 | 访问配置方法、访问方法及装置 |
| CN113132480A (zh) * | 2021-04-16 | 2021-07-16 | 北京京东振世信息技术有限公司 | 一种数据传输方法、装置和系统 |
| CN113132480B (zh) * | 2021-04-16 | 2023-04-07 | 北京京东振世信息技术有限公司 | 一种数据传输方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109783462B (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104618482B (zh) | 访问云数据的方法、服务器、传统存储设备、系统 | |
| CN109783462A (zh) | 一种基于分布式文件系统的数据访问方法和装置 | |
| US8086634B2 (en) | Method and apparatus for improving file access performance of distributed storage system | |
| CN105338297B (zh) | 一种视频数据存储及回放系统、装置和方法 | |
| CN103475682B (zh) | 文件迁移方法及设备 | |
| CN103324533B (zh) | 分布式数据处理方法、装置及系统 | |
| US8909668B2 (en) | Method of distributing contents and system | |
| CN107026876B (zh) | 一种文件数据访问系统及方法 | |
| CN105068758B (zh) | 面向并行数据采集的分布式文件系统数据i/o优化方法 | |
| CN102611745B (zh) | 文件在线迁移方法、装置和系统 | |
| CN103338242B (zh) | 一种基于多级缓存的混合云存储系统和方法 | |
| CN104679665A (zh) | 一种实现分布式文件系统块存储的方法及系统 | |
| CN109446160A (zh) | 一种文件读取方法、系统、装置及计算机可读存储介质 | |
| CN105849688B (zh) | 数据写入的方法、装置、设备和存储系统 | |
| CN103024053A (zh) | 云存储方法、资源调度系统、云存储节点及系统 | |
| CN104079600B (zh) | 文件存储方法、装置、访问客户端及元数据服务器系统 | |
| CN109302448A (zh) | 一种数据处理方法及装置 | |
| WO2016101662A1 (zh) | 一种数据处理方法及相关服务器 | |
| CN108880906A (zh) | 一种元数据服务的故障恢复方法、服务器、客户端及系统 | |
| US20170255393A1 (en) | Storage device and storage method | |
| CN116756096B (zh) | 元数据处理方法、装置、电子设备及存储介质 | |
| CN105426125B (zh) | 一种数据存储方法及装置 | |
| CN102833295B (zh) | 分布式缓存系统中的数据操作方法和装置 | |
| CN109753229A (zh) | 数据迁移方法、装置、网络附属存储设备和存储介质 | |
| US20130058333A1 (en) | Method For Handling Requests In A Storage System And A Storage Node For A Storage System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 505, Taixing Building, 11 Garden East Road, Haidian District, Beijing, 100191 Applicant after: Innovation Technology Co., Ltd. Address before: Room 0801-0805, 51 College Road, Haidian District, Beijing, 100191 Applicant before: Innovation and Technology Storage Technology Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |