CN104144150A - 利用元数据访问信息的方法、装置和系统 - Google Patents
利用元数据访问信息的方法、装置和系统 Download PDFInfo
- Publication number
- CN104144150A CN104144150A CN201310170565.XA CN201310170565A CN104144150A CN 104144150 A CN104144150 A CN 104144150A CN 201310170565 A CN201310170565 A CN 201310170565A CN 104144150 A CN104144150 A CN 104144150A
- Authority
- CN
- China
- Prior art keywords
- metadata
- file
- server
- back end
- specified file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开一种利用元数据访问信息的方法、装置和系统。其中在利用元数据访问信息的方法中，向访问服务器发送查询请求，其中访问服务器为元数据服务器集群中的任一元数据服务器。以便访问服务器在接收到查询请求后，判断本地是否具有指定文件的元数据，若本地具有指定文件的元数据，则从本地获取指定文件的元数据，否则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据。接收访问服务器发送的指定文件元数据，利用元数据中的数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。通过将单一元数据服务器扩展为元数据服务器集群，从而有效避免了单点故障问题，解决了现行分布式文件系统元数据服务器的性能瓶颈。
Description
技术领域
本发明涉及通信领域，特别涉及一种利用元数据访问信息的方法、装置和系统。
背景技术
云计算分布式文件系统利用多台服务器提供大容量高可靠的文件服务，集群包含数据服务器（数据节点）和目录服务器(即元数据服务器)。目录服务器用来维护文件数据块在数据服务器的分布情况（元数据），数据服务器用来存储具体文件数据。
目前，在分布式文件系统中，文件按照数据块（Block）方式进行存储，典型的架构为集中式架构，系统由一台元数据服务器（NameNode）和多台数据节点（DataNode）构成，其中元数据服务器负责存储文件名、文件目录、文件属性、数据块和存储节点（DataNode）之间的映射关系。从逻辑功能看，元服务器在整个分布式文件系统中承担的角色为提供数据定位服务，数据节点提供具体的数据读写/存储服务。在读过程中，客户端（Client）、元数据服务器、数据节点的核心交互过程如图1所示：
步骤101，客户端向远程的元数据服务器发起RPC（RemoteProcedure Call，远程过程调用）请求，请求某个文件名所包含的block信息。
步骤102，元数据服务器会视情况返回文件的block列表，对于每个block，元数据服务器都会返回有该block拷贝的数据节点地址。
步骤103，客户端会选取离客户端最接近的数据节点来读取block。
步骤104，读取完当前block的数据后，关闭与当前的数据节点连接，并为读取下一个block寻找最佳的数据节点。
步骤105，当读完列表的block后，且文件读取还没有结束，客户端会继续向元数据服务器获取下一批的block列表直至完成读操作。
在写过程中，客户端、元数据服务器和数据节点之间的核心交互如图2所示：
步骤201，客户端向远程的元数据服务器发起RPC请求创建指定的文件。
步骤202，元数据服务器会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会向客户端提示异常。
步骤203，当客户端开始写入文件的时候，会将文件切分成多个分组，并在内部以数据队列"data queue"的形式管理这些分组，并向元数据服务器申请新的blocks。
步骤204，客户端获得block信息后，开始向block所在的数据节点写入数据直至完成。
当前，云计算分布式文件系统为了实现简单，目录服务器采用单机设计方案，所有元数据存放在一台节点，存在单点故障问题，并且扩展性不足。
发明内容
本发明要解决的技术问题是提供一种利用元数据访问信息的方法、装置和系统。通过将单一元数据服务器扩展为元数据服务器集群，从而有效避免了单点故障问题，解决了现行分布式文件系统元数据服务器的性能瓶颈。
根据本发明的一个方面，提供一种利用元数据访问信息的方法，包括：
在读取指定文件时，向访问服务器发送查询请求，其中访问服务器为元数据服务器集群中的任一元数据服务器，查询请求用于查询指定文件的元数据；以便访问服务器在接收到查询请求后，判断本地是否具有指定文件的元数据，若本地具有指定文件的元数据，则从本地获取指定文件的元数据，若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；
接收访问服务器发送的指定文件元数据；
从元数据中提取与指定文件的数据块相关联的数据节点地址信息；
利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
根据本发明的另一方面，提供一种利用元数据访问信息的方法，包括：
接收客户端发送的查询请求，其中查询请求用于查询指定文件的元数据；
判断本地是否具有指定文件的元数据；
若本地具有指定文件的元数据，则从本地获取指定文件的元数据；若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；
将获取的指定文件元数据发送给客户端，以便客户端从元数据中提取与指定文件的数据块相关联的数据节点地址信息，并利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
根据本发明的另一方面，提供一种利用元数据访问信息的客户端，包括：
第一发送单元，用于在读取指定文件时，向访问服务器发送查询请求，其中访问服务器为元数据服务器集群中的任一元数据服务器，查询请求用于查询指定文件的元数据；以便访问服务器在接收到查询请求后，判断本地是否具有指定文件的元数据，若本地具有指定文件的元数据，则从本地获取指定文件的元数据，若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；
第一接收单元，用于接收访问服务器发送的指定文件元数据；
第一提取单元，用于从元数据中提取与指定文件的数据块相关联的数据节点地址信息；
读取单元，用于利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
根据本发明的另一方面，提供一种利用元数据访问信息的元数据服务器，包括：
第二接收单元，用于接收客户端发送的查询请求，其中查询请求用于查询指定文件的元数据；
第二识别单元，用于判断本地是否具有指定文件的元数据；
获取单元，用于根据第二识别单元的判断结果，若本地具有指定文件的元数据，则从本地获取指定文件的元数据；若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；
第二发送单元，用于将获取的指定文件元数据发送给客户端，以便客户端从元数据中提取与指定文件的数据块相关联的数据节点地址信息，并利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
根据本发明的另一方面，提供一种利用元数据访问信息的系统，包括客户端和元数据服务器集群，其中元数据服务器集群中至少包括两个元数据服务器，其中：客户端为上述任一实施例涉及的客户端，元数据服务器为上述任一实施例涉及的元数据服务器。
本发明通过向元数据服务器集群中的任一元数据服务器发送查询请求，当接收到元数据服务器发送的元数据时，利用元数据中包括的数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。通过将单一元数据服务器扩展为元数据服务器集群，从而有效避免了单点故障问题，解决了现行分布式文件系统元数据服务器的性能瓶颈。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中读取文件一个实施例的示意图。
图2为现有技术中写操作一个实施例的示意图。
图3为本发明利用元数据访问信息方法一个实施例的示意图。
图4为本发明创建文件一个实施例的示意图。
图5为本发明利用元数据访问信息方法另一实施例的示意图。
图6为本发明创建文件另一实施例的示意图。
图7为本发明客户端一个实施例的示意图。
图8为本发明读取单元一个实施例的示意图。
图9为本发明客户端另一实施例的示意图。
图10为本发明元数据服务器一个实施例的示意图。
图11为本发明元数据服务器另一实施例的示意图。
图12为本发明元数据服务器又一实施例的示意图。
图13为本发明利用元数据访问信息方法一个实施例的示意图。
图14为本发明分布式文件系统元数据服务集群扩展的网络示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图3为本发明利用元数据访问信息方法一个实施例的示意图。优选的，该实施例可由客户端执行。
步骤301：在读取指定文件时，向访问服务器发送查询请求，其中访问服务器为元数据服务器集群中的任一元数据服务器，查询请求用于查询指定文件的元数据。
以便访问服务器在接收到查询请求后，判断本地是否具有指定文件的元数据，若本地具有指定文件的元数据，则从本地获取指定文件的元数据，若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据。
步骤302，接收访问服务器发送的指定文件元数据。
步骤303，从元数据中提取与指定文件的数据块相关联的数据节点地址信息。
步骤304，利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
基于本发明上述实施例提供的利用元数据访问信息的方法，通过向元数据服务器集群中的任一元数据服务器发送查询请求，当接收到元数据服务器发送的元数据时，利用元数据中包括的数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。通过将单一元数据服务器扩展为元数据服务器集群，从而有效避免了单点故障问题，解决了现行分布式文件系统元数据服务器的性能瓶颈。
优选的，上述利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块的步骤包括：
利用数据节点地址信息，判断本地是否具有指定文件的数据块；
若本地具有指定文件的数据块，则从本地获取指定文件的数据块；
若本地没有指定文件的数据块，则在与数据节点地址信息相关联的数据节点中，从距本地最近的数据节点中读取指定文件的数据块。
由于客户端自身也可作为一个数据节点，因此通过判断客户端自身是否具有指定文件的数据块，可进一步提供处理效率。
图4为本发明创建文件一个实施例的示意图。如图4所示，该实施例的方法步骤包括：
步骤401，在创建文件时，向创建文件服务器发送创建文件请求，其中创建文件服务器为元数据服务器集群中的任一元数据服务器。
以便创建文件服务器选择元数据服务器集群中负载最小的元数据服务器作为目标服务器，指示目标服务器创建相关记录。
步骤402，当接收到创建文件服务器发送的创建成功响应时，向创建文件服务器发送数据块分配请求。
以便创建文件服务器指示目标服务器在数据节点集群中选择目标数据节点，在目标数据节点上分配数据块，并将目标数据节点地址信息放置在数据块分配请求响应中；
步骤403，在接收到创建文件服务器发送的数据块分配请求响应时，提取数据块分配请求响应中包括的数据节点地址信息。
步骤404，将相关数据写入与数据节点地址信息相关联的数据节点中。
图5为本发明利用元数据访问信息方法另一实施例的示意图。优选的，该实施例可由元数据服务器执行。
步骤501，接收客户端发送的查询请求，其中查询请求用于查询指定文件的元数据。
步骤502，判断本地是否具有指定文件的元数据。
步骤503，若本地具有指定文件的元数据，则从本地获取指定文件的元数据；若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据。
步骤504，将获取的指定文件元数据发送给客户端，以便客户端从元数据中提取与指定文件的数据块相关联的数据节点地址信息，并利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
基于本发明上述实施例提供的利用元数据访问信息的方法，通过向元数据服务器集群中的任一元数据服务器发送查询请求，当接收到元数据服务器发送的元数据时，利用元数据中包括的数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。通过将单一元数据服务器扩展为元数据服务器集群，从而有效避免了单点故障问题，解决了现行分布式文件系统元数据服务器的性能瓶颈。
图6为本发明创建文件另一实施例的示意图。如图6所示，本实施例的方法步骤如下：
步骤601，当接收到客户端发送的创建文件请求时，选择元数据服务器集群中负载最小的元数据服务器作为目标服务器。
步骤602，指示目标服务器创建相关记录，并向客户端发送创建成功响应。
步骤603，当接收到客户端发送的数据块分配请求时，指示目标服务器在数据节点集群中选择目标数据节点，在目标数据节点上分配数据块，并将目标数据节点地址信息放置在数据块分配请求响应中。
步骤604，将数据块分配请求响应发送给客户端，以便客户端将相关数据写入与数据节点地址信息相关联的数据节点中。
需要说明的是，可以存在这样的情况，由于接收到创建文件请求的元数据服务器自身的负载最小，则此时目标服务器就是其自身。
优选的，当接收到客户端发送的创建文件请求时，还包括：
在元数据服务器集群中检测是否已经存在要创建的文件。
若不存在要创建的文件，进一步判断客户端是否有创建文件的权限。
若客户端具有创建新文件的权限，则执行选择元数据服务器集群中负载最小的元数据服务器作为目标服务器的操作。
通过上述判断，可在提高系统安全性和用户体验。
图7为本发明利用元数据访问信息的客户端一个实施例的示意图。如图7所示，客户端包括：
第一发送单元701，用于在读取指定文件时，向访问服务器发送查询请求，其中访问服务器为元数据服务器集群中的任一元数据服务器，查询请求用于查询指定文件的元数据。
以便访问服务器在接收到查询请求后，判断本地是否具有指定文件的元数据，若本地具有指定文件的元数据，则从本地获取指定文件的元数据，若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据。
第一接收单元702，用于接收访问服务器发送的指定文件元数据。
第一提取单元703，用于从元数据中提取与指定文件的数据块相关联的数据节点地址信息。
读取单元704，用于利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
基于本发明上述实施例提供的利用元数据访问信息的客户端，通过向元数据服务器集群中的任一元数据服务器发送查询请求，当接收到元数据服务器发送的元数据时，利用元数据中包括的数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。通过将单一元数据服务器扩展为元数据服务器集群，从而有效避免了单点故障问题，解决了现行分布式文件系统元数据服务器的性能瓶颈。
图8为本发明读取单元一个实施例的示意图。如图8所示，读取单元具体包括识别模块801、读取模块802，其中：
识别模块801，用于利用数据节点地址信息，判断本地是否具有指定文件的数据块。
读取模块802，用于根据识别模块801的判断结果，若本地具有指定文件的数据块，则从本地获取指定文件的数据块；若本地没有指定文件的数据块，则在与数据节点地址信息相关联的数据节点中，从距本地最近的数据节点中读取指定文件的数据块。
图9为本发明客户端另一实施例的示意图。与图7所示实施例相比，在图9所示实施例中，客户端还包括第二提取单元901和写入单元902。其中：
第一发送单元701还用于在创建文件时，向创建文件服务器发送创建文件请求，其中创建文件服务器为元数据服务器集群中的任一元数据服务器，以便创建文件服务器选择元数据服务器集群中负载最小的元数据服务器作为目标服务器，指示目标服务器创建相关记录；根据第一接收单元702的指示，向创建文件服务器发送数据块分配请求，以便创建文件服务器指示目标服务器在数据节点集群中选择目标数据节点，在目标数据节点上分配数据块，并将目标数据节点地址信息放置在数据块分配请求响应中。
第一接收单元702还用于当接收到创建文件服务器发送的创建成功响应时，指示第一发送单元701向创建文件服务器发送数据块分配请求；在接收到创建文件服务器发送的数据块分配请求响应时，指示第二提取单元901提取数据块分配请求响应中包括的数据节点地址信息。
第二提取单元901，用于根据第一接收单元702的指示，提取数据块分配请求响应中包括的数据节点地址信息。
写入单元902，用于将相关数据写入与数据节点地址信息相关联的数据节点中。
图10为本发明元数据服务器一个实施例的示意图。如图10所示，元数据服务器包括：
第二接收单元1001，用于接收客户端发送的查询请求，其中查询请求用于查询指定文件的元数据。
第二识别单元1002，用于判断本地是否具有指定文件的元数据。
获取单元1003，用于根据第二识别单元1002的判断结果，若本地具有指定文件的元数据，则从本地获取指定文件的元数据；若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据。
第二发送单元1004，用于将获取的指定文件元数据发送给客户端，以便客户端从元数据中提取与指定文件的数据块相关联的数据节点地址信息，并利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
基于本发明上述实施例提供的利用元数据访问信息的元数据服务器，通过向元数据服务器集群中的任一元数据服务器发送查询请求，当接收到元数据服务器发送的元数据时，利用元数据中包括的数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。通过将单一元数据服务器扩展为元数据服务器集群，从而有效避免了单点故障问题，解决了现行分布式文件系统元数据服务器的性能瓶颈。
图11为本发明元数据服务器另一实施例的示意图。与图10所示实施例相比，在图11所示实施例中，元数据服务器还包括扩展单元1101。其中：
第二接收单元1001还用于当接收到客户端发送的创建文件请求时，指示扩展单元1101选择元数据服务器集群中负载最小的元数据服务器作为目标服务器。
扩展单元1101，用于根据第二接收单元1001的指示，选择元数据服务器集群中负载最小的元数据服务器作为目标服务器，指示目标服务器创建相关记录，并指示第二发送单元1004向客户端发送创建成功响应；在第二接收单元1004接收到客户端发送的数据块分配请求时，指示目标服务器在数据节点集群中选择目标数据节点，在目标数据节点上分配数据块，并将目标数据节点地址信息放置在数据块分配请求响应中。
第二发送单元1004用于根据扩展单元的指示，向客户端发送创建成功响应；将数据块分配请求响应发送给客户端，以便客户端将相关数据写入与数据节点地址信息相关联的数据节点中。
图12为本发明元数据服务器又一实施例的示意图。与图11所示实施例相比，在图12所示实施例中，元数据服务器还包括第一验证单元1201和第二验证单元1202。其中：
第一验证单元1201，用于在第二接收单元接收到客户端发送的创建文件请求时，在元数据服务器集群中检测是否已经存在要创建的文件；
第二验证单元1202，用于根据第一验证单元1201的验证结果，若不存在要创建的文件，进一步判断客户端是否有创建文件的权限；若客户端具有创建新文件的权限，则指示扩展单元执行选择元数据服务器集群中负载最小的元数据服务器作为目标服务器的操作。
图13为本发明利用元数据访问信息方法一个实施例的示意图。图14为本发明分布式文件系统元数据服务集群扩展的网络示意图。其中在图13所示实施例中。系统包括客户端1301和元数据服务器集群1302，其中元数据服务器集群1302中至少包括两个元数据服务器1303。其中，客户端为图7-9中任一实施例涉及的客户端，元数据服务器为图10-12中任一实施例涉及的元数据服务器。
在以上各实施例中，元数据服务器集群可采用多种方式进行负载分担以找到相应的元数据服务器（即目标服务器），由于本领域技术人员了解如何实现该技术，因此在这里不展开描述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (13)
1.一种利用元数据访问信息的方法，其特征在于，包括：
在读取指定文件时，向访问服务器发送查询请求，其中访问服务器为元数据服务器集群中的任一元数据服务器，查询请求用于查询指定文件的元数据；以便访问服务器在接收到查询请求后，判断本地是否具有指定文件的元数据，若本地具有指定文件的元数据，则从本地获取指定文件的元数据，若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；
接收访问服务器发送的指定文件元数据；
从元数据中提取与指定文件的数据块相关联的数据节点地址信息；
利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
2.根据权利要求1所述的方法，其特征在于，
利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块的步骤包括：
利用数据节点地址信息，判断本地是否具有指定文件的数据块；
若本地具有指定文件的数据块，则从本地获取指定文件的数据块；
若本地没有指定文件的数据块，则在与数据节点地址信息相关联的数据节点中，从距本地最近的数据节点中读取指定文件的数据块。
3.根据权利要求1或2所述的方法，其特征在于，
在创建文件时，向创建文件服务器发送创建文件请求，其中创建文件服务器为元数据服务器集群中的任一元数据服务器，以便创建文件服务器选择元数据服务器集群中负载最小的元数据服务器作为目标服务器，指示目标服务器创建相关记录；
当接收到创建文件服务器发送的创建成功响应时，向创建文件服务器发送数据块分配请求，以便创建文件服务器指示目标服务器在数据节点集群中选择目标数据节点，在目标数据节点上分配数据块，并将目标数据节点地址信息放置在数据块分配请求响应中；
在接收到创建文件服务器发送的数据块分配请求响应时，提取数据块分配请求响应中包括的数据节点地址信息；
将相关数据写入与数据节点地址信息相关联的数据节点中。
4.一种利用元数据访问信息的方法，其特征在于，包括：
接收客户端发送的查询请求，其中查询请求用于查询指定文件的元数据；
判断本地是否具有指定文件的元数据；
若本地具有指定文件的元数据，则从本地获取指定文件的元数据；若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；
将获取的指定文件元数据发送给客户端，以便客户端从元数据中提取与指定文件的数据块相关联的数据节点地址信息，并利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
5.根据权利要求4所述的方法，其特征在于，
当接收到客户端发送的创建文件请求时，选择元数据服务器集群中负载最小的元数据服务器作为目标服务器；
指示目标服务器创建相关记录，并向客户端发送创建成功响应；
当接收到客户端发送的数据块分配请求时，指示目标服务器在数据节点集群中选择目标数据节点，在目标数据节点上分配数据块，并将目标数据节点地址信息放置在数据块分配请求响应中；
将数据块分配请求响应发送给客户端，以便客户端将相关数据写入与数据节点地址信息相关联的数据节点中。
6.根据权利要求5所述的方法，其特征在于，
当接收到客户端发送的创建文件请求时，还包括：
在元数据服务器集群中检测是否已经存在要创建的文件；
若不存在要创建的文件，进一步判断客户端是否有创建文件的权限；
若客户端具有创建新文件的权限，则执行选择元数据服务器集群中负载最小的元数据服务器作为目标服务器的操作。
7.一种利用元数据访问信息的客户端，其特征在于，包括：
第一发送单元，用于在读取指定文件时，向访问服务器发送查询请求，其中访问服务器为元数据服务器集群中的任一元数据服务器，查询请求用于查询指定文件的元数据；以便访问服务器在接收到查询请求后，判断本地是否具有指定文件的元数据，若本地具有指定文件的元数据，则从本地获取指定文件的元数据，若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；
第一接收单元，用于接收访问服务器发送的指定文件元数据；
第一提取单元，用于从元数据中提取与指定文件的数据块相关联的数据节点地址信息；
读取单元，用于利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
8.根据权利要求7所述的客户端，其特征在于，
读取单元具体包括识别模块、读取模块，其中：
识别模块，用于利用数据节点地址信息，判断本地是否具有指定文件的数据块；
读取模块，用于根据识别模块的判断结果，若本地具有指定文件的数据块，则从本地获取指定文件的数据块；若本地没有指定文件的数据块，则在与数据节点地址信息相关联的数据节点中，从距本地最近的数据节点中读取指定文件的数据块。
9.根据权利要求7或8所述的客户端，其特征在于，客户端还包括第二提取单元和写入单元，其中：
第一发送单元还用于在创建文件时，向创建文件服务器发送创建文件请求，其中创建文件服务器为元数据服务器集群中的任一元数据服务器，以便创建文件服务器选择元数据服务器集群中负载最小的元数据服务器作为目标服务器，指示目标服务器创建相关记录；根据第一接收单元的指示，向创建文件服务器发送数据块分配请求，以便创建文件服务器指示目标服务器在数据节点集群中选择目标数据节点，在目标数据节点上分配数据块，并将目标数据节点地址信息放置在数据块分配请求响应中；
第一接收单元还用于当接收到创建文件服务器发送的创建成功响应时，指示第一发送单元向创建文件服务器发送数据块分配请求；在接收到创建文件服务器发送的数据块分配请求响应时，指示第二提取单元提取数据块分配请求响应中包括的数据节点地址信息；
第二提取单元，用于根据第一接收单元的指示，提取数据块分配请求响应中包括的数据节点地址信息；
写入单元，用于将相关数据写入与数据节点地址信息相关联的数据节点中。
10.一种利用元数据访问信息的元数据服务器，其特征在于，包括：
第二接收单元，用于接收客户端发送的查询请求，其中查询请求用于查询指定文件的元数据；
第二识别单元，用于判断本地是否具有指定文件的元数据；
获取单元，用于根据第二识别单元的判断结果，若本地具有指定文件的元数据，则从本地获取指定文件的元数据；若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；
第二发送单元，用于将获取的指定文件元数据发送给客户端，以便客户端从元数据中提取与指定文件的数据块相关联的数据节点地址信息，并利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。
11.根据权利要求9所述的元数据服务器，其特征在于，元数据服务器还包括扩展单元，其中：
第二接收单元还用于当接收到客户端发送的创建文件请求时，指示扩展单元选择元数据服务器集群中负载最小的元数据服务器作为目标服务器；
扩展单元，用于根据第二接收单元的指示，选择元数据服务器集群中负载最小的元数据服务器作为目标服务器，指示目标服务器创建相关记录，并指示第二发送单元向客户端发送创建成功响应；在第二接收单元接收到客户端发送的数据块分配请求时，指示目标服务器在数据节点集群中选择目标数据节点，在目标数据节点上分配数据块，并将目标数据节点地址信息放置在数据块分配请求响应中；
第二发送单元还用于根据扩展单元的指示，向客户端发送创建成功响应；将数据块分配请求响应发送给客户端，以便客户端将相关数据写入与数据节点地址信息相关联的数据节点中。
12.根据权利要求11所述的元数据服务器，其特征在于，元数据服务器还包括第一验证单元和第二验证单元，其中：
第一验证单元，用于在第二接收单元接收到客户端发送的创建文件请求时，在元数据服务器集群中检测是否已经存在要创建的文件；
第二验证单元，用于根据第一验证单元的验证结果，若不存在要创建的文件，进一步判断客户端是否有创建文件的权限；若客户端具有创建新文件的权限，则指示扩展单元执行选择元数据服务器集群中负载最小的元数据服务器作为目标服务器的操作。
13.一种利用元数据访问信息的系统，其特征在于，包括客户端和元数据服务器集群，其中元数据服务器集群中至少包括两个元数据服务器，其中：
客户端，为权利要求7-9中任一项涉及的客户端；
元数据服务器，为权利要求10-12中任一项涉及的元数据服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310170565.XA CN104144150A (zh) | 2013-05-10 | 2013-05-10 | 利用元数据访问信息的方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310170565.XA CN104144150A (zh) | 2013-05-10 | 2013-05-10 | 利用元数据访问信息的方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104144150A true CN104144150A (zh) | 2014-11-12 |
Family
ID=51853218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310170565.XA Pending CN104144150A (zh) | 2013-05-10 | 2013-05-10 | 利用元数据访问信息的方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104144150A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657115A (zh) * | 2015-03-12 | 2015-05-27 | 浪潮集团有限公司 | 一种集群文件系统客户端多核并发负载实现方法 |
| CN104794073A (zh) * | 2014-07-30 | 2015-07-22 | 北京中科同向信息技术有限公司 | 一种基于存储整合的技术 |
| CN105447162A (zh) * | 2015-12-01 | 2016-03-30 | 腾讯科技（深圳）有限公司 | 群组文件搜索方法和装置 |
| CN105718484A (zh) * | 2014-12-04 | 2016-06-29 | 中兴通讯股份有限公司 | 写文件、读文件、删除文件、查询文件的方法及客户端 |
| CN107026876A (zh) * | 2016-01-29 | 2017-08-08 | 杭州海康威视数字技术股份有限公司 | 一种文件数据访问系统及方法 |
| WO2017174013A1 (zh) * | 2016-04-06 | 2017-10-12 | 中兴通讯股份有限公司 | 数据存储管理方法、装置及数据存储系统 |
| CN109063103A (zh) * | 2018-07-27 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种分布式非易失文件系统 |
| CN111163088A (zh) * | 2019-12-30 | 2020-05-15 | 北京奇艺世纪科技有限公司 | 消息处理方法、系统、装置及电子设备 |
| CN112733183A (zh) * | 2020-12-23 | 2021-04-30 | 苏州浪潮智能科技有限公司 | 一种安全访问指定存储区域的方法、系统及介质 |
| CN113505103A (zh) * | 2021-07-27 | 2021-10-15 | 浙江大华技术股份有限公司 | 文件处理方法及装置、存储介质、电子装置 |
| CN113973137A (zh) * | 2020-07-23 | 2022-01-25 | 戴尔产品有限公司 | 用于使用数据访问网关和投标计数器优化对数据集群的数据节点的访问的方法和系统 |
| WO2023036310A1 (zh) * | 2021-09-10 | 2023-03-16 | 中兴通讯股份有限公司 | 文件下载方法、电子设备、计算机可读存储介质 |
| CN116760824A (zh) * | 2023-08-18 | 2023-09-15 | 安擎计算机信息股份有限公司 | 一种老化测试的测试文件分发方法及装置 |
| CN116842220A (zh) * | 2023-07-06 | 2023-10-03 | 中国科学院青藏高原研究所 | 一种基于逻辑分类和数据角色控制的数据访问方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030233460A1 (en) * | 2002-06-18 | 2003-12-18 | Drucker Steven M. | Media variations browser |
| CN102158546A (zh) * | 2011-02-28 | 2011-08-17 | 中国科学院计算技术研究所 | 一种集群文件系统及其文件服务方法 |
| CN102523105A (zh) * | 2011-11-30 | 2012-06-27 | 广东电子工业研究院有限公司 | 一种数据存储的故障恢复方法及其适用的数据分布架构 |
| CN102855284A (zh) * | 2012-08-03 | 2013-01-02 | 北京联创信安科技有限公司 | 一种集群存储系统的数据管理方法及系统 |
-
2013
- 2013-05-10 CN CN201310170565.XA patent/CN104144150A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030233460A1 (en) * | 2002-06-18 | 2003-12-18 | Drucker Steven M. | Media variations browser |
| CN102158546A (zh) * | 2011-02-28 | 2011-08-17 | 中国科学院计算技术研究所 | 一种集群文件系统及其文件服务方法 |
| CN102523105A (zh) * | 2011-11-30 | 2012-06-27 | 广东电子工业研究院有限公司 | 一种数据存储的故障恢复方法及其适用的数据分布架构 |
| CN102855284A (zh) * | 2012-08-03 | 2013-01-02 | 北京联创信安科技有限公司 | 一种集群存储系统的数据管理方法及系统 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104794073A (zh) * | 2014-07-30 | 2015-07-22 | 北京中科同向信息技术有限公司 | 一种基于存储整合的技术 |
| CN105718484A (zh) * | 2014-12-04 | 2016-06-29 | 中兴通讯股份有限公司 | 写文件、读文件、删除文件、查询文件的方法及客户端 |
| CN104657115B (zh) * | 2015-03-12 | 2017-04-19 | 浪潮集团有限公司 | 一种集群文件系统客户端多核并发负载实现方法 |
| CN104657115A (zh) * | 2015-03-12 | 2015-05-27 | 浪潮集团有限公司 | 一种集群文件系统客户端多核并发负载实现方法 |
| CN105447162A (zh) * | 2015-12-01 | 2016-03-30 | 腾讯科技（深圳）有限公司 | 群组文件搜索方法和装置 |
| CN107026876B (zh) * | 2016-01-29 | 2019-07-19 | 杭州海康威视数字技术股份有限公司 | 一种文件数据访问系统及方法 |
| CN107026876A (zh) * | 2016-01-29 | 2017-08-08 | 杭州海康威视数字技术股份有限公司 | 一种文件数据访问系统及方法 |
| WO2017174013A1 (zh) * | 2016-04-06 | 2017-10-12 | 中兴通讯股份有限公司 | 数据存储管理方法、装置及数据存储系统 |
| CN109063103A (zh) * | 2018-07-27 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种分布式非易失文件系统 |
| CN111163088A (zh) * | 2019-12-30 | 2020-05-15 | 北京奇艺世纪科技有限公司 | 消息处理方法、系统、装置及电子设备 |
| CN111163088B (zh) * | 2019-12-30 | 2022-04-22 | 北京奇艺世纪科技有限公司 | 消息处理方法、系统、装置及电子设备 |
| CN113973137B (zh) * | 2020-07-23 | 2024-05-31 | 戴尔产品有限公司 | 用于使用数据访问网关和投标计数器优化对数据集群的数据节点的访问的方法和系统 |
| CN113973137A (zh) * | 2020-07-23 | 2022-01-25 | 戴尔产品有限公司 | 用于使用数据访问网关和投标计数器优化对数据集群的数据节点的访问的方法和系统 |
| CN112733183A (zh) * | 2020-12-23 | 2021-04-30 | 苏州浪潮智能科技有限公司 | 一种安全访问指定存储区域的方法、系统及介质 |
| CN112733183B (zh) * | 2020-12-23 | 2023-01-10 | 苏州浪潮智能科技有限公司 | 一种安全访问指定存储区域的方法、系统及介质 |
| CN113505103A (zh) * | 2021-07-27 | 2021-10-15 | 浙江大华技术股份有限公司 | 文件处理方法及装置、存储介质、电子装置 |
| WO2023036310A1 (zh) * | 2021-09-10 | 2023-03-16 | 中兴通讯股份有限公司 | 文件下载方法、电子设备、计算机可读存储介质 |
| CN116842220A (zh) * | 2023-07-06 | 2023-10-03 | 中国科学院青藏高原研究所 | 一种基于逻辑分类和数据角色控制的数据访问方法 |
| CN116842220B (zh) * | 2023-07-06 | 2024-01-02 | 中国科学院青藏高原研究所 | 一种基于逻辑分类和数据角色控制的数据访问方法 |
| CN116760824A (zh) * | 2023-08-18 | 2023-09-15 | 安擎计算机信息股份有限公司 | 一种老化测试的测试文件分发方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104144150A (zh) | 利用元数据访问信息的方法、装置和系统 | |
| US11734125B2 (en) | Tiered cloud storage for different availability and performance requirements | |
| CN101313495B (zh) | 数据同步方法、系统及装置 | |
| US11687488B2 (en) | Directory deletion method and apparatus, and storage server | |
| CN104348859B (zh) | 文件同步方法、装置、服务器、终端及系统 | |
| CN102694860A (zh) | 一种云存储的数据处理方法、设备及系统 | |
| CN105025053A (zh) | 基于云存储技术的分布式文件的上传方法及其系统 | |
| CN103036956A (zh) | 一种分布式组态化海量数据归档系统及实现方法 | |
| EP3251028A1 (en) | Regenerated container file storing | |
| CN105701096A (zh) | 索引生成方法、数据查询方法、装置及系统 | |
| JP2014056319A (ja) | 情報処理装置およびプログラム、制御方法 | |
| CN106202492B (zh) | 一种网络文件系统的元数据服务优化方法及系统 | |
| CN103177082A (zh) | 主服务器、从服务器、索引同步系统和索引同步方法 | |
| CN103227818A (zh) | 终端、服务器、文件传输方法、文件存储管理系统和方法 | |
| CN111262822B (zh) | 文件存储方法、装置、区块链节点和系统 | |
| KR20100067976A (ko) | 분산 저장된 컨텐츠 파일의 동기화 방법 | |
| CN109600410A (zh) | 数据存储系统以及方法 | |
| CN111177257A (zh) | 一种区块链的数据存储及访问方法、装置以及设备 | |
| CN104035943B (zh) | 存储数据的方法及相应服务器 | |
| CN103503388B (zh) | 一种分布式队列消息读取方法及设备、系统 | |
| CN104092754B (zh) | 文件存储系统和文件存储方法 | |
| CN108243207B (zh) | 一种网络云盘的数据存储方法 | |
| CN101483668A (zh) | 热点数据的网络存储和访问方法、设备及系统 | |
| CN100357943C (zh) | 一种检查机群文件系统中垃圾文件的方法 | |
| CN107666431B (zh) | 书签通讯消息获取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141112 |