CN103678360A - 一种分布式文件系统的数据存储方法和装置 - Google Patents
一种分布式文件系统的数据存储方法和装置 Download PDFInfo
- Publication number
- CN103678360A CN103678360A CN201210338489.4A CN201210338489A CN103678360A CN 103678360 A CN103678360 A CN 103678360A CN 201210338489 A CN201210338489 A CN 201210338489A CN 103678360 A CN103678360 A CN 103678360A
- Authority
- CN
- China
- Prior art keywords
- file
- datanode
- client
- identification
- written document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式文件系统的数据存储方法和装置，属于网络通信领域。所述方法包括：接收分布式文件系统的客户端发送的写文件请求；所述写文件请求中包含所述客户端标识；为所述写文件请求分配对应的数据节点DataNode，所述分配的DataNode至少包括所述客户端标识对应的客户端；将所述客户端所写的文件数据存储在为所述写文件请求分配的DataNode中。所述装置包括：接收模块、分配模块和存储模块。本发明通过将客户端所写的文件数据存储在客户端所对应的机器的DataNode中，降低读写文件时系统产生的读写流量，从而提高文件系统的读写速度，加快处理系统的运算处理速度。
Description
技术领域
本发明涉及网络通信领域，特别涉及一种分布式文件系统的数据存储方法和装置。
背景技术
DFS(Distributed File System，分布式文件系统),是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与存储资源的节点相连。为了增强DFS中的数据安全，目前在DFS中，如常用的GFS(GoogleFile System，可扩展的分布式文件系统)和HDFS(Hadoop Distributed File System，开源的分布式文件系统)，每个文件都会保存数据完全相同的多个副本，每个副本保存在由名字节点NameNode分配的不同的数据节点DataNode上；其中，NameNode在分布式文件系统中负责分配调度DataNode；DataNode是分布式文件系统的数据存储单元，部署在分布式文件系统的多台机器上。
在大规模分布式系统中，分布式文件系统的DataNode除了保存客户端所写的文件数据外，还需要保存用来进行数据运算处理的运算处理系统的输入数据，中间运算数据以及结果输出数据。客户端在写文件的时候，由DFS的NameNode随机分配一些DataNode用来存储数据。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
目前在分布式文件系统在客户端写文件时，都是由NameNode随机分配DataNode来存储数据，这样很可能将所写的文件数据存储到客户端以外的其他DataNode，造成产生大量的写流量，增加系统的负载，降低运算系统的性能，影响其他应用对分布式文件系统的访问速度。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种分布式文件系统的数据存储方法和装置。所述技术方案如下：
一方面，提供了一种分布式文件系统的数据存储方法，所述方法包括：
接收分布式文件系统的客户端发送的写文件请求；所述写文件请求中包含所述客户端的客户端标识；
为所述写文件请求分配对应的数据节点DataNode，所述分配的DataNode至少包括所述客户端标识对应的客户端；
将所述客户端所写的文件数据存储在为所述写文件请求分配的DataNode中。
具体地，所述将所述客户端所写的文件数据存储在为所述写文件请求分配的DataNode中之后，包括：
记录所写文件的文件标识以及所述文件标识对应的所有DataNode。
进一步地，所述记录所写文件的文件标识以及所述文件标识对应的所有DataNode之后，包括：
接收所述客户端发送的读文件请求；所述读文件请求中包含所述文件标识；
根据所述文件标识，查找所述文件标识对应的所有DataNode；
从查找的所有DataNode中选择所述客户端标识对应的DataNode，并从所述选择的DataNode中读取所述文件标识对应的文件数据。
进一步地，所述从选择的所述DataNode中读取所述文件标识对应的文件数据之后，还包括：
对所述文件数据进行处理，将所述处理后的文件数据分别存储在所述客户端标识对应的客户端和为所述文件分配的其他DataNode。
另一方面，提供了一种分布式文件系统的数据存储装置，所述装置包括：
接收模块，用于接收分布式文件系统的客户端发送的写文件请求；所述写文件请求中包含所述客户端的客户端标识；
分配模块，用于为所述写文件请求分配对应的数据节点DataNode，所述分配的DataNode至少包括所述客户端标识对应的客户端；
存储模块，用于将所述客户端所写的文件数据存储在为所述写文件请求分配的DataNode中。
具体地，所述装置包括：
记录模块，用于所述存储模块将所述客户端所写的文件数据存储在为所述写文件请求分配的DataNode中之后，记录所写文件的文件标识以及所述文件标识对应的所有DataNode。
进一步地，所述装置包括：
读文件模块，用于所述记录模块记录所写文件的文件标识以及所述文件标识对应的所有DataNode之后，接收所述客户端发送的读文件请求；所述读文件请求中包含所述文件标识；根据所述文件标识，查找所述文件标识对应的所有DataNode；从查找的所有DataNode中选择所述客户端标识对应的DataNode，并从所述选择的DataNode中读取所述文件标识对应的文件数据。
进一步地，所述装置还包括：
更新模块，用于所述读文件模块从选择的所述DataNode中读取所述文件标识对应的文件数据之后，对所述文件数据进行处理，将所述处理后的文件数据分别存储在所述客户端标识对应的客户端和为所述文件分配的其他DataNode。本发明实施例提供的技术方案带来的有益效果是：
通过引入本地化读写的方法，将在客户端所写的文件数据存储在客户端对应的机器的DataNode中，降低运算处理时系统产生的读写流量，从而提高文件系统的读写速度，加快处理系统的运算处理速度，并且增加其他应用的可用流量，从而提升系统的有效吞吐量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的分布式文件系统的数据存储方法流程图；
图2是本发明实施例二提供的分布式文件系统的数据存储方法流程图；
图3是本发明实施例三提供的分布式文件系统的数据存储装置第一种结构示意图；
图4是本发明实施例三提供的分布式文件系统的数据存储装置第二种结构示意图；
图5是本发明实施例三提供的分布式文件系统的数据存储装置第三种结构示意图；
图6是本发明实施例三提供的分布式文件系统的数据存储装置第四种结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
参见图1，本发明实施例提供了一种分布式文件系统的数据存储方法，该方法包括：
101、接收分布式文件系统的客户端发送的写文件请求；写文件请求中包含客户端的客户端标识；
102、为写文件请求分配对应的数据节点DataNode，分配的DataNode至少包括客户端标识对应的客户端；
103、将客户端所写的文件数据存储在为写文件请求分配的DataNode中。
具体地，将客户端所写的文件数据存储在为写文件请求分配的DataNode中之后，包括：
记录所写文件的文件标识以及文件标识对应的所有DataNode。
进一步地，记录所写文件的文件标识以及文件标识对应的所有DataNode之后，包括：
接收客户端发送的读文件请求；读文件请求中包含文件标识；
根据文件标识，查找文件标识对应的所有DataNode；
从查找的所有DataNode中选择客户端标识对应的DataNode，并从选择的DataNode中读取文件标识对应的文件数据。
进一步地，从选择的DataNode中读取文件标识对应的文件数据之后，还包括：
对文件数据进行处理，将处理后的文件数据分别存储在客户端标识对应的客户端和为文件分配的其他DataNode。
本发明实施例通过引入本地化读写的方法，将在客户端所写的文件数据存储在客户端对应的机器的DataNode中，使得在读文件数据时直接从客户端的DataNode中读取，降低运算处理时系统产生的读写流量，从而提高文件系统的读写速度，加快处理系统的运算处理速度，并且增加其他应用的可用流量，从而提升系统的有效吞吐量。
实施例二
参见图2，本发明实施例提供了一种分布式文件系统的数据存储方法,该方法包括：
201、接收分布式文件系统的客户端发送的写文件请求；写文件请求中包含客户端的客户端标识；
具体地，在分布式文件系统的客户端写文件，在写文件时打开本地化写选项，如果一个文件打开了本地化写选项，则向分布式文件系统中的名字节点NameNode发送写文件请求，该写文件请求中包括客户端标识。
需要说明的是，由于客户端所写文件需要保存多个副本，所述写文件请求中可能还包括客户端设置的所写文件的副本个数，当然也可以不包括副本个数，使用系统默认的副本个数。
202、为写文件请求分配对应的数据节点DataNode，所分配的DataNode至少包括客户端标识对应的客户端；
具体地，分布式文件系统中名字节点NameNode根据写文件请求中的客户端标识，为写文件请求分配对应的DataNode，所分配的DataNode至少包括客户端标识对应的客户端。由于客户端所写文件需要保存多个副本，NameNode将客户端标识对应的客户端作为所写文件的数据存储单元之一，还需分配其他的数据存储单元DataNode保存其他的副本，可以随机分配，也可以根据一定的规则进行分配。
需要说明的是，当客户端标识没有部署DataNode时，则将为写文件请求随机分配对应的DataNode，并将客户端所写的文件数据存储在为写文件请求随机分配的DataNode中，以便后续从随机分配的DataNode中读取文件数据。
203、将客户端所写的文件数据存储在为写文件请求分配的DataNode中；
具体地，在将客户端所写的文件数据分配DataNode后，则将在客户端所写的文件数据分别存储在机器标识对应的DataNode中和为客户端所写文件分配的其他DataNode中，从而保存所写的文件数据的多个副本；通过在客户端写文件，节省了网络流量；比如客户端A要写3个备份的文件，启用了本地化写选项后，NameNode根据客户端标识查找到对应A，将其中一个副本分配给了A，其他两份备份可能随机的分配给了B和C的，假设写文件数据流的顺序为A->B->C，则该次写文件操作便产生了2次网络流量，分别是A->B,B->C；如果没有启用本地化写选项，NameNode可能随机给分配了B，C，D三个DataNode，假设写数据流的顺序为A->B->C->D，该次写操作便产生了3次网络流量，分别是A->B,B->C,C->D；通过启用本地化写选项就节省了1/3的网络流量，可以提高本次写文件的速度。
204、记录所写文件的文件标识以及文件标识对应的所有DataNode；
具体地，在将客户端所写的文件数据存储在为写文件请求分配的DataNode中之后，还需要将所存储的所写文件的文件标识以及该文件标识对应的所有DataNode记录下来，以便后续读文件时根据文件标识获取相应的文件数据。
205、接收客户端发送的读文件请求，根据读文件请求中的文件标识，查找文件标识对应的所有DataNode；从查找的所有DataNode中选择客户端标识对应的DataNode，并从选择的DataNode中读取文件标识对应的文件数据。
具体地，当客户端需要读取该文件时，则可以发送读文件请求，该请求中包含文件标识，NameNode根据该文件标识查找对应的DataNode列表，列表中包含该文件标识对应的所有DataNode，选择客户端标识对应的DataNode，从客户端中读取文件数据，这样客户端在读文件的过程中，由于启用本地化写选项，不会产生网络流量，可以大大提供读取的速度。
比如，客户端A如果没有启用本地化写选项，文件块的副本肯随机存放在B,C和D上面，那么A便需要从B，C或者D读取数据；如果启用本地化写选项，文件块的副本存放在A，B和C上面，那么客户端可以根据文件块的文件标识识别出该文件启用了本地化写选项，全部从本机读取文件。
需要说明的是，从选择的DataNode中读取文件标识对应的文件数据之后，对文件数据进行处理，将处理后的文件数据分别存储在客户端标识对应的客户端和为文件分配的其他DataNode。
本发明实施例通过引入本地化读写的方法，将在客户端所写的文件数据存储在客户端对应的机器的DataNode中，使得在读文件数据时直接从客户端的DataNode中读取，降低运算处理时系统产生的读写流量，从而提高文件系统的读写速度，加快处理系统的运算处理速度，并且增加其他应用的可用流量，从而提升系统的有效吞吐量。
实施例三
参见图3，本发明实施例提供了一种分布式文件系统的数据存储装置，该装置包括：
接收模块301，用于接收分布式文件系统的客户端发送的写文件请求；写文件请求中包含客户端的客户端标识；
分配模块302，用于为写文件请求分配对应的数据节点DataNode，分配的DataNode至少包括客户端标识对应的客户端；
存储模块303，用于将客户端所写的文件数据存储在为写文件请求分配的DataNode中。
具体地，参见图4，该装置包括：
记录模块304，用于存储模块303将客户端所写的文件数据存储在为写文件请求分配的DataNode中之后，记录所写文件的文件标识以及文件标识对应的所有DataNode。
进一步地，参见图5，该装置包括：
读文件模块305，用于记录模块304记录所写文件的文件标识以及文件标识对应的所有DataNode之后，接收客户端发送的读文件请求；读文件请求中包含文件标识；根据文件标识，查找文件标识对应的所有DataNode；从查找的所有DataNode中选择客户端标识对应的DataNode，并从选择的DataNode中读取文件标识对应的文件数据。
进一步地，参见图6，该装置还包括：
更新模块306，用于读文件模块305从选择的DataNode中读取文件标识对应的文件数据之后，对文件数据进行处理，将处理后的文件数据分别存储在客户端标识对应的客户端和为文件分配的其他DataNode
综上，本发明实施例提供的装置，通过引入本地化读写的方法，将在客户端所写的文件数据存储在客户端对应的机器的DataNode中，使得在读文件数据时直接从客户端的DataNode中读取，降低运算处理时系统产生的读写流量，从而提高文件系统的读写速度，加快处理系统的运算处理速度，并且增加其他应用的可用流量，从而提升系统的有效吞吐量。
需要说明的是：上述实施例提供的分布式文件系统的数据存储装置在对分布式文件系统读写时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的分布式文件系统的数据存储装置与分布式文件系统的数据存储方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种分布式文件系统的数据存储方法，其特征在于，所述方法包括：
接收分布式文件系统的客户端发送的写文件请求；所述写文件请求中包含所述客户端的客户端标识；
为所述写文件请求分配对应的数据节点DataNode，所述分配的DataNode至少包括所述客户端标识对应的客户端；
将所述客户端所写的文件数据存储在为所述写文件请求分配的DataNode中。
2.根据权利要求1所述的方法，其特征在于，所述将所述客户端所写的文件数据存储在为所述写文件请求分配的DataNode中之后，包括：
记录所写文件的文件标识以及所述文件标识对应的所有DataNode。
3.根据权利要求2所述的方法，其特征在于，所述记录所写文件的文件标识以及所述文件标识对应的所有DataNode之后，包括：
接收所述客户端发送的读文件请求；所述读文件请求中包含所述文件标识；
根据所述文件标识，查找所述文件标识对应的所有DataNode；
从查找的所有DataNode中选择所述客户端标识对应的DataNode，并从所述选择的DataNode中读取所述文件标识对应的文件数据。
4.根据权利要求3所述的方法，其特征在于，所述从选择的所述DataNode中读取所述文件标识对应的文件数据之后，还包括：
对所述文件数据进行处理，将所述处理后的文件数据分别存储在所述客户端标识对应的客户端和为所述文件分配的其他DataNode。
5.一种分布式文件系统的数据存储装置，其特征在于，所述装置包括：
接收模块，用于接收分布式文件系统的客户端发送的写文件请求；所述写文件请求中包含所述客户端的客户端标识；
分配模块，用于为所述写文件请求分配对应的数据节点DataNode，所述分配的DataNode至少包括所述客户端标识对应的客户端；
存储模块，用于将所述客户端所写的文件数据存储在为所述写文件请求分配的DataNode中。
6.根据权利要求5所述的装置，其特征在于，所述装置包括：
记录模块，用于所述存储模块将所述客户端所写的文件数据存储在为所述写文件请求分配的DataNode中之后，记录所写文件的文件标识以及所述文件标识对应的所有DataNode。
7.根据权利要求6所述的装置，其特征在于，所述装置包括：
读文件模块，用于所述记录模块记录所写文件的文件标识以及所述文件标识对应的所有DataNode之后，接收所述客户端发送的读文件请求；所述读文件请求中包含所述文件标识；根据所述文件标识，查找所述文件标识对应的所有DataNode；从查找的所有DataNode中选择所述客户端标识对应的DataNode，并从所述选择的DataNode中读取所述文件标识对应的文件数据。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
更新模块，用于所述读文件模块从选择的所述DataNode中读取所述文件标识对应的文件数据之后，对所述文件数据进行处理，将所述处理后的文件数据分别存储在所述客户端标识对应的客户端和为所述文件分配的其他DataNode。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210338489.4A CN103678360A (zh) | 2012-09-13 | 2012-09-13 | 一种分布式文件系统的数据存储方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210338489.4A CN103678360A (zh) | 2012-09-13 | 2012-09-13 | 一种分布式文件系统的数据存储方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103678360A true CN103678360A (zh) | 2014-03-26 |
Family
ID=50315952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210338489.4A Pending CN103678360A (zh) | 2012-09-13 | 2012-09-13 | 一种分布式文件系统的数据存储方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103678360A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104965840A (zh) * | 2014-09-26 | 2015-10-07 | 浙江大华技术股份有限公司 | 一种数据节点的随机分配方法及系统 |
| CN104965835A (zh) * | 2014-07-30 | 2015-10-07 | 浙江大华技术股份有限公司 | 一种分布式文件系统的文件读写方法及装置 |
| CN106502795A (zh) * | 2016-11-03 | 2017-03-15 | 郑州云海信息技术有限公司 | 分布式集群上实现科学计算应用部署的方法及系统 |
| CN107657027A (zh) * | 2017-09-27 | 2018-02-02 | 北京小米移动软件有限公司 | 数据存储方法及装置 |
| CN109302497A (zh) * | 2018-11-29 | 2019-02-01 | 北京京东尚科信息技术有限公司 | 基于hadoop的数据处理方法、访问代理装置和系统 |
| CN110825704A (zh) * | 2019-09-27 | 2020-02-21 | 华为技术有限公司 | 一种读数据方法、写数据方法及服务器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520805A (zh) * | 2009-03-25 | 2009-09-02 | 中兴通讯股份有限公司 | 一种分布式文件系统及其文件处理方法 |
| CN102014158A (zh) * | 2010-11-29 | 2011-04-13 | 北京兴宇中科科技开发股份有限公司 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
| CN102142032A (zh) * | 2011-03-28 | 2011-08-03 | 中国人民解放军国防科学技术大学 | 一种分布式文件系统的数据读写方法及系统 |
| CN102187311A (zh) * | 2008-10-29 | 2011-09-14 | Lsi公司 | 用于使用存储区域网络恢复计算机系统的方法和系统 |
| CN102546782A (zh) * | 2011-12-28 | 2012-07-04 | 北京奇虎科技有限公司 | 一种分布式系统及其数据操作方法 |
-
2012
- 2012-09-13 CN CN201210338489.4A patent/CN103678360A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102187311A (zh) * | 2008-10-29 | 2011-09-14 | Lsi公司 | 用于使用存储区域网络恢复计算机系统的方法和系统 |
| CN101520805A (zh) * | 2009-03-25 | 2009-09-02 | 中兴通讯股份有限公司 | 一种分布式文件系统及其文件处理方法 |
| CN102014158A (zh) * | 2010-11-29 | 2011-04-13 | 北京兴宇中科科技开发股份有限公司 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
| CN102142032A (zh) * | 2011-03-28 | 2011-08-03 | 中国人民解放军国防科学技术大学 | 一种分布式文件系统的数据读写方法及系统 |
| CN102546782A (zh) * | 2011-12-28 | 2012-07-04 | 北京奇虎科技有限公司 | 一种分布式系统及其数据操作方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104965835A (zh) * | 2014-07-30 | 2015-10-07 | 浙江大华技术股份有限公司 | 一种分布式文件系统的文件读写方法及装置 |
| CN104965835B (zh) * | 2014-07-30 | 2018-12-07 | 浙江大华技术股份有限公司 | 一种分布式文件系统的文件读写方法及装置 |
| CN104965840A (zh) * | 2014-09-26 | 2015-10-07 | 浙江大华技术股份有限公司 | 一种数据节点的随机分配方法及系统 |
| CN106502795A (zh) * | 2016-11-03 | 2017-03-15 | 郑州云海信息技术有限公司 | 分布式集群上实现科学计算应用部署的方法及系统 |
| CN107657027A (zh) * | 2017-09-27 | 2018-02-02 | 北京小米移动软件有限公司 | 数据存储方法及装置 |
| CN109302497A (zh) * | 2018-11-29 | 2019-02-01 | 北京京东尚科信息技术有限公司 | 基于hadoop的数据处理方法、访问代理装置和系统 |
| CN110825704A (zh) * | 2019-09-27 | 2020-02-21 | 华为技术有限公司 | 一种读数据方法、写数据方法及服务器 |
| CN110825704B (zh) * | 2019-09-27 | 2023-09-01 | 华为云计算技术有限公司 | 一种读数据方法、写数据方法及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103678360A (zh) | 一种分布式文件系统的数据存储方法和装置 | |
| CN104503708B (zh) | 数据散列存储的方法及装置 | |
| CN102142032B (zh) | 一种分布式文件系统的数据读写方法及系统 | |
| CN106843745A (zh) | 容量扩展方法及装置 | |
| CN105630418A (zh) | 一种数据存储方法及装置 | |
| CN103078941A (zh) | 一种分布式计算系统的任务调度方法及系统 | |
| CN102546782A (zh) | 一种分布式系统及其数据操作方法 | |
| JP6779231B2 (ja) | データ処理方法及びシステム | |
| CN103795804A (zh) | 存储资源调度方法及存储计算系统 | |
| CN101840471B (zh) | 文档权限控制方法和装置 | |
| KR20210036226A (ko) | 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 분석 모델 제공 방법 | |
| CN103544077A (zh) | 数据处理方法及装置、共享存储设备 | |
| CN107391532B (zh) | 数据过滤的方法和装置 | |
| CN103152390A (zh) | 分布式存储系统的节点配置方法、装置、节点及系统 | |
| CN104156381A (zh) | Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统 | |
| CN102779183B (zh) | 数据查询的方法、设备及系统 | |
| CN104869140A (zh) | 多集群系统和控制多集群系统的数据存储的方法 | |
| CN110471754A (zh) | 作业调度中的数据展示方法、装置、设备及存储介质 | |
| CN104717247A (zh) | 对云存储系统中存储资源的动态调度方法和系统 | |
| CN104657435A (zh) | 一种应用数据的存储管理方法和网络管理系统 | |
| CN101673374A (zh) | 一种单据处理方法和装置 | |
| CN105049524B (zh) | 一种基于hdfs的大规模数据集装载的方法 | |
| CN104424240A (zh) | 多表关联方法、主服务节点、计算节点及系统 | |
| Tannir | Optimizing Hadoop for MapReduce | |
| CN102970349B (zh) | 一种dht网络的存储负载均衡方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140326 |