CN102929958A - 元数据的处理方法，代理、转发设备，服务器及计算系统 - Google Patents
元数据的处理方法，代理、转发设备，服务器及计算系统 Download PDFInfo
- Publication number
- CN102929958A CN102929958A CN2012103819951A CN201210381995A CN102929958A CN 102929958 A CN102929958 A CN 102929958A CN 2012103819951 A CN2012103819951 A CN 2012103819951A CN 201210381995 A CN201210381995 A CN 201210381995A CN 102929958 A CN102929958 A CN 102929958A
- Authority
- CN
- China
- Prior art keywords
- metadata
- information
- data object
- equipment
- proxy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000013500 data storage Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000012217 deletion Methods 0.000 claims description 26
- 230000037430 deletion Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 5
- 230000005012 migration Effects 0.000 claims description 5
- 108010001267 Protein Subunits Proteins 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 24
- 239000007787 solid Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
元数据的处理方法，代理、转发设备，服务器及计算系统。本发明公开了一种元数据的处理方法，包括：从元数据服务器获取多个文件的元数据信息；接收输入输出IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。本发明实施例通过元数据代理设备来完成元数据的处理，减轻了元数据服务器的负载，降低了元数据集群的复杂性，提高了元数据处理的灵活性。
Description
技术领域
本发明涉及高性能计算技术领域，具体涉及元数据的处理方法、元数据代理设备、IO转发设备、元数据服务器及高性能计算系统。
背景技术
在高性能计算领域，高性能计算机的计算性能得到飞速的发展，而存储性能却没有得到相应的发展。针对计算能力与存储能力的不平衡，现有技术中主要有两种方案来提高元数据的存储能力。
第一种方案是:元数据集群方案，使用哈希或子树分割的方式将元数据分散的存储在多个不同的服务器上，利用服务器的并发能力提高元数据的存储能力，但服务器的个数有限，扩展的规模有限，而且元数据在多个服务器上的分布相对固定，导致元数据的灵活性降低。
第二种方案是：构建多个存储系统，这样将元数据的请求分布到多个不同的存储系统上以提高元数据的存储能力。但各个存储系统间隔离，数据交互困难；元数据扩展能力有限，导致元数据的灵活性降低。
发明内容
本发明实施例提供一种元数据的处理方法，可以提高元数据处理的灵活性。
本发明实施例第一方面提供一种元数据的处理方法，包括：
从元数据服务器获取多个文件的元数据信息；
接收输入输出IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；
根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；
当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例第二方面提供一种元数据的处理方法，包括：
从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；
根据所述获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；
获取所述元数据代理设备发送的数据对象标识；
根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例第三方面提供一种元数据的处理方法，包括：
将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储；
向IO转发设备发送存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，以使所述IO转发设备根据所述地址信息，从所述元数据代理设备获取数据对象标识，根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例第四方面提供一种元数据代理设备，包括：
第一获取单元，用于从元数据服务器获取多个文件的元数据信息；
第一接收单元，用于接收IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；
第一查找单元，用于根据所述第一接收单元接收到的所述要执行操作的文件路径信息查找所述第一获取单元获取到的对应文件的元数据信息中的数据对象标识；
第一发送单元，用于当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例第五方面提供一种IO转发设备，包括：
第二获取单元，用于从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；
第二发送单元，用于根据所述第二获取单元获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；
所述第二获取单元，还用于获取所述元数据代理设备发送的数据对象标识；
第二查找单元，用于根据所述第二获取单元获取的数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例第六方面提供一种元数据服务器，包括：
迁移单元，用于将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储；
第三发送单元，用于向IO转发设备发送存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，以使所述IO转发设备根据所述地址信息，从所述元数据代理设备获取数据对象标识，根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例第七方面提供一种高性能计算系统，包括：元数据服务器、元数据代理设备、IO转发设备、计算节点设备和数据存储设备；
所述元数据服务器为上述技术方案所述的元数据服务器；
所述元数据代理设备为上述技术方案所述的元数据代理设备；
所述IO转发设备为上述技术方案所述的IO转发设备。
本发明实施例提供的元数据处理方案与现有技术中将元数据分散存储到几个不同的服务器或者不同的存储系统中相比，本发明实施例通过元数据代理设备从元数据服务器获取元数据信息，再提供元数据服务，降低了元数据集群的复杂性，提高了元数据处理的灵活性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的元数据的处理方法的一实施例示意图；
图2是本发明实施例提供的元数据的处理方法的另一实施例示意图；
图3是本发明实施例提供的元数据的处理方法的另一实施例示意图；
图4是本发明实施例中一应用场景实施例示意图；
图5A是本发明实施例中另一应用场景实施例示意图；
图5B是本发明实施例中另一应用场景实施例示意图；
图6是本发明实施例中单作业单元数据代理模式示意图；
图7是本发明实施例中单作业多元数据代理模式示意图；
图8是本发明实施例中元数据代理设备的一实施例示意图；
图9是本发明实施例中元数据代理设备的另一实施例示意图；
图10是本发明实施例中元数据代理设备的另一实施例示意图；
图11是本发明实施例中元数据代理设备的另一实施例示意图；
图12是本发明实施例中IO转发设备的一实施例示意图；
图13是本发明实施例中IO转发设备的另一实施例示意图；
图14是本发明实施例中元数据服务器的一实施例示意图；
图15是本发明实施例中元数据服务器的另一实施例示意图；
图16是本发明实施例中元数据服务器的另一实施例示意图；
图17是本发明实施例中代理设备的一实施例示意图；
图18是本发明高性能计算系统的一实施例示意图；
图19是本发明高性能计算系统的另一实施例示意图。
具体实施方式
本发明实施例提供一种元数据的处理方法，可以提高元数据处理的灵活性。本发明实施例还提供相应的设备及系统。以下分别进行详细说明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，从元数据代理设备的角度来看，本发明实施例提供的元数据的处理方法的一实施例包括：
101、元数据代理设备从元数据服务器获取多个文件的元数据信息。
本发明实施例中所有的元数据信息都存储在元数据服务器上，本发明实施例提供的元数据服务器可以为高可靠、大容量的存储介质。
本发明实施例提供的元数据代理设备的存储介质可以为高性能、小容量的固态硬盘（SSD，solid state disk），也可以为内存。
本发明实施例中的元数据指的是文件系统的元数据，元数据信息可以包括文件路径信息、数据存储路径、文件数据布局信息等。
102、元数据代理设备接收输入输出（IO，Input/Output）转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息。
本发明实施例中的元数据请求实际上是文件系统的元数据请求。
要执行操作包括为查找、删除、更新、创建操作。
文件路径信息：如C:\DOC\A.C。
103、元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识。
数据对象指的是用于存储数据的内存块，数据对象标识用来标识数据对象的位置，数据对象标识是唯一的。
104、元数据代理设备当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。
IO转发设备可以根据数据对象标识查找到对应的数据对象，使计算节点可以从该数据对象中读取数据或者写入数据。
本发明实施例采用从元数据服务器获取多个文件的元数据信息；接收输入输出IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。本发明实施例提供的元数据处理方案与现有技术中将元数据分散存储到几个不同的服务器或者不同的存储系统中相比，本发明实施例通过元数据代理设备从元数据服务器获取元数据信息，再提供元数据服务，降低了元数据集群的复杂性，提高了元数据处理的灵活性。
可选地，在上述图1对应的实施例的基础上，本发明提供的元数据的处理方法的另一实施例中，所述元数据请求中还携带着要执行删除操作的标识；
所述向所述IO转发设备返回所述数据对象标识的步骤之后，还包括：
根据所述删除操作的标识对所述路径信息对应的文件的元数据信息执行删除操作，并向所述元数据服务器发送删除指令，所述删除指令中携带所述文件路径信息，以使所述元数据服务器删除所述路径信息对应的文件的元数据信息。
无论是要执行删除、更新还是创建操作，都需要执行查找操作，所以执行查找操作时可以不携带查找操作的标识，当然也可以携带查找操作的标识。
图1对应的实施例完整的讲述了查找操作的过程，当要执行删除操作时，所述元数据请求中还携带着要执行删除操作的标识，如果要执行删除操作，需要在元数据代理设备上删除文件对应的元数据信息，元数据信息也包括路径信息，先将数据对象标识发送给IO转发设备，IO转发设备即可根据删除操作的标识删除查找到的数据对象，执行删除操作，即可删除该文件对应的所有数据信息。元数据代理设备再删除该文件对应的元数据信息，就完全删除了该文件对应的所有元数据信息和数据信息，并在空闲时，向元数据服务器发送删除指令，使元数据服务器删除该文件对应的元数据信息。
可选地，在上述图1对应的实施例的基础上，本发明提供的元数据的处理方法的另一实施例中，所述元数据请求中还携带着要执行创建操作的标识；
当未查找到所述文件路径信息对应的元数据信息时，根据所述创建操作的标识，为所述路径信息对应的文件在数据存储设备中创建数据对象，所述每个数据对象对应一个数据对象标识，并向所述IO转发设备返回创建的数据对象标识；
将所述文件路径信息与所述创建的数据对象标识关联存储，得到创建后的元数据信息，并向所述元数据服务器发送创建后的元数据信息，以使所述元数据服务器存储所述创建后的元数据信息。
当元数据代理设备根据文件路径信息未查找到任何对应该文件的元数据信息时，即可确认该文件对应的元数据信息不存在，如果没有携带创建操作的标识，即可返回查找失败的响应，如果所述元数据请求中还携带了要执行创建操作的标识，那么元数据代理设备将执行创建操作。创建操作包括在数据存储设备上创建数据对象，所述每个数据对象对应一个数据对象标识，同时将数据对象标识与文件路径信息关联存储，即得到了创建后的元数据信息，在空闲时，即可将创建后的元数据信息异步发送到的元数据服务器，使元数据服务器存储创建后的元数据信息。
可选地，在上述图1对应的实施例的基础上，本发明提供的元数据的处理方法的另一实施例中，所述元数据请求中还携带着要执行更新操作的标识；
所述当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作，具体包括：当查找到所述数据对象标识后，根据所述更新操作的标识更新数据对象和数据对象标识，并向所述IO转发设备返回更新前和更新后的数据对象标识；以使所述IO转发设备根据所述更新前和更新后的数据对象查找对应的更新前和更新后的数据对象，使计算节点设备完成对更新前和更新后数据对象的文件数据操作；
删除更新前的数据对象标识，并将所述文件路径信息与更新后的数据对象关联存储，得到更新后的元数据信息，并向所述元数据服务器发送更新后的元数据信息，以使所述元数据服务器存储所述更新后的元数据信息。
当所述元数据请求中还携带要执行更新操作的标识时，查找到更新前的数据对象标识后，再创建数据对象，所述每个数据对象对应一个数据对象标识，将更新前的数据对象标识和更新后的数据对象标识都发送给IO转发设备，这样IO转发设备即可根据更新前的数据对象标识查找到更新前的数据对象，从中读取数据信息，再根据更新后的数据对象标识查找到更新后的数据对象，向其中写入数据信息。
删除更新前的数据对象标识，并将所述文件路径信息与更新后的数据对象关联存储，得到更新后的元数据信息，在空闲时，即可将更新后的元数据信息异步更新的元数据服务器。
以上实施例中，可以规定查找的标识为1、删除的标识为2、更新的标识为3、创建的标识为4，当然，本实施例中只是举例说明，实际上标识也可以用其他方式表示。
在上述图1对应的实施例及图1对应的可选实施例的基础上，本发明实施例提供的另一实施例中，所述从元数据服务器获取多个文件的元数据信息的步骤之前，还包括：
向元数据服务器发送注册信息，所述注册信息中携带元数据代理设备的地址信息，以使所述元数据服务器存储所述元数据代理设备的地址信息。
对于新增加的元数据代理设备，在与元数据服务器建立连接时，需要向元数据服务器发送注册信息，所述注册信息中携带元数据代理设备的地址信息，在执行数据迁移时，元数据服务器将元数据代理设备的地址信息与迁移到该元数据代理设备上的多个文件的元数据信息关联存储。
在上述图1对应的实施例及图1对应的可选实施例的基础上，本发明实施例提供的另一实施例还包括：
向元数据服务器发送注销信息，以使所述元数据服务器删除所述元数据代理设备的地址信息。
当元数据代理设备要从网络系统中移除时，元数据代理设备向元数据服务器发送注销信息，当元数据服务器检测到已经存储该元数据代理设备上的所有元数据信息后，删除该元数据代理设备的地址信息。
参阅图2，从IO转发设备的角度来看，本发明实施例提供的元数据的处理方法的另一实施例包括：
201、IO转发设备从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息。
IO转发设备在计算网络系统中主要扮演是为计算节点设备与元数据服务器或者元数据代理设备转发信息的角色，计算节点设备向IO转发设备发送IO请求，IO请求包括元数据请求和数据请求两个方面，IO转发设备需要先向元数据服务器或者元数据代理设备发送元数据请求，获得数据对象标识后，再向数据存储设备发送数据请求，从而使计算节点设备完成文件数据操作，本发明实施例中的文件数据操作主要包括文件数据的读操作和写操作。
元数据服务器中存储有每个元数据代理设备的地址信息以及每个元数据代理设备上存储的元数据信息，IO转发设备可以从元数据服务器获取到元数据代理设备的地址信息。
202、IO转发设备根据所述获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识。
203、IO转发设备获取所述元数据代理设备发送的数据对象标识。
204、IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
IO转发设备获取所述元数据代理设备发送的数据对象标识，根据该数据对象标识对应的数据存储设备中查找到存储数据的数据对象，供计算节点设备从该数据对象读取数据，或者向该数据对象中写入数据。
本发明实施例中，从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；根据所述获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；获取所述元数据代理设备发送的数据对象标识；根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。与现有技术相比，本发明实施例通过元数据代理设备来完成元数据的处理，减轻了元数据服务器的负载，提高了元数据处理的灵活性。
可选地，在上述图2对应的实施例的基础上，本发明提供的元数据的处理方法的另一实施例中，所述元数据请求中还携带着要执行更新操作的标识时，
所述获取所述元数据代理设备发送的数据对象标识，具体包括：获取更新前和更新后的数据对象标识；
所述根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作，具体包括：根据所述更新前和更新后的数据对象查找对应的更新前和更新后的数据对象，使计算节点设备完成对更新前和更新后数据对象的文件数据操作。
当获取到更新前的数据对象标识和更新后的数据对象标识时，可根据更新前的数据对象标识查找到更新前的数据对象，从中读取数据信息，再根据更新后的数据对象标识查找到更新后的数据对象，向其中写入数据信息。
可选地，在上述图2对应的实施例及图2对应的可选实施例的基础上，
所述从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，具体包括：
向所述元数据服务器发送元数据地址查找请求，所述元数据地址查找请求中携带要查找的文件路径信息，使所述元数据服务器根据所述要查找的文件路径信息查找存储所述文件路径信息对应的元数据信息的元数据代理设备的地址信息；
接收所述元数据服务器发送的元数据代理设备的地址信息。
举例来说，当IO转发设备向元数据服务器发送的元数据地址查找请求中携带的要查找的文件路径信息为C:\DOC\A.C，元数据服务器根据C:\DOC\A.C查找到对应的元数据信息存储在一个元数据代理设备上，该元数据代理设备的地址信息为IP地址192.168.1.1，索引号为1，IO转发设备即可向该元数据代理设备发送元数据请求。
参阅图3，从元数据服务器的角度来看，本发明实施例提供的元数据的处理方法的另一实施例包括：
301、元数据服务器将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储。
元数据代理设备添加到系统时，元数据代理设备会向元数据服务器发送注册消息，所述所述注册信息中携带元数据代理设备的地址信息；元数据服务器会记录元数据代理设备的地址信息，还可以携带该元数据代理设备的索引编号信息。当元数据代理在使用时，元数据服务器会将文件的元数据信息迁移到元数据代理上，元数据服务器会记录元数据代理和存储的元数据信息的对应关系信息。
302、元数据服务器向IO转发设备发送存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，以使所述IO转发设备根据所述地址信息，从所述元数据代理设备获取数据对象标识，根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例中，将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储；向IO转发设备发送存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，以使所述IO转发设备根据所述地址信息，从所述元数据代理设备获取数据对象标识，根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。本发明实施例提供的元数据处理方案与现有技术中将元数据分散存储到几个不同的服务器或者不同的存储系统中相比，本发明实施例通过元数据代理设备从元数据服务器获取元数据信息，再提供元数据服务，降低了元数据集群的复杂性，提高了元数据处理的灵活性。
可选地，在上述图3对应的实施例的基础上，本发明提供的元数据的处理方法的另一实施例还包括：
接收元数据代理设备发送的送删除指令，所述删除指令中携带所述文件路径信息，根据所述删除指令删除所述路径信息对应的文件的元数据信息；或者，
接收元数据代理设备发送的创建后的元数据信息，并存储所述创建后的元数据信息；或者，
接收元数据代理设备发送的更新后的元数据信息，并存储所述更新后的元数据信息。
本发明提供的元数据服务器会存储每一个元数据信息。
为了便于理解，下面以一个具体的应用场景为例，详细的说明本发明实施例中元数据处理的过程：
S1、元数据服务器将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储。
S2、IO转发设备从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息。
S3、IO转发设备根据所述获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的路径信息。
S4、元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识。
S5、当查找到所述数据对象标识时，元数据代理设备向所述IO转发设备返回数据对象标识。
S6、IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
S7、元数据代理设备根据删除、创建或更新操作的表示执行对应的操作，得到创建后或者更新后的元数据信息。
S8、元数据代理设备将更新后或者创建后的元数据信息异步更新到元数据服务器。
S9、元数据服务器存储更新后或创建后的元数据信息。
本发明应用场景中只画出了一个元数据代理设备和一个IO转发设备，实际上，元数据代理设备和IO转发设备可以有多个，每个元数据代理设备和IO转发设备的工作过程与图4中的元数据代理设备和IO转发设备的工作过程相同。
参阅图5A，图5A为本发明实施例的另一应用场景实施例示意图，具体的：在IO转发架构中，元数据代理设备40中包含存储器400，存储器400可以为高性能、低容量的存储介质，如：固态硬盘（SSD，solid state disk），用于存放元数据以提供更高的每秒进行读写（I/O）操作的次数（IOPS，Input/OutputOperations Per Second)；文件系统客户端需要使用高可靠、大容量的存储介质构建，如服务器60。IO转发设备50包括文件系统客户端520和轻量级文件系统（LWFS，light-weight file system）服务端510；轻量级文件系统服务端510通过元数据代理客户端530与元数据代理设备40交互。
计算节点设备70包括计算端700和轻量级文件系统客户端710。LWFS客户端710主要负责将来自计算端700的IO请求转发到IO转发设备50上，同时维护着计算端700访问存储系统的可移植操作系统接口（POSIX，Portable OperatingSystem Interface of Unix）语义。
来自计算节点设备70的IO请求通过LWFS客户端710发送到IO转发设备50的LWFS服务端510，LWFS服务端510将元数据请求发送给元数据代理设备40，IO请求通过IO转发设备50的文件系统客户端520与元数据代理设备40交互完成。
元数据服务器60将文件的元数据信息迁移到元数据代理设备40的存储器400中，元数据代理节点执行更新或创建操作后得到更新后或创建后的元数据信息；元数据代理节点40将更新后或者创建后的元数据信息通过异步方式刷新到元数据服务器60上。
参阅图5B，图5B为本发明实施例的另一应用场景实施例示意图，具体的：
在一个计算系统中，会有几万甚至几十万个计算节点设备70，在图5B中用计算节点设备集群表示，元数据服务器60在元数据代理设备使用时会首先将存储的对应的元数据的信息迁移到元数据代理设备40上，计算节点设备集群中可能同时会有成千上万、甚至更多的计算节点设备同时发出IO请求，IO转发设备50接收到IO请求后，向元数据服务器60发送元数据地址查找请求，所述元数据地址查找请求中携带要执行操作的文件路径信息，元数据服务器60根据文件路径信息查找到存储该文件路径信息对应的元数据信息的元数据代理设备40的地址信息，然后将地址信息发送给IO转发设备50，IO转发设备50根据地址信息向对应的元数据代理设备40发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，元数据代理设备40根据所述要执行操作的文件路径信息对应的元数据信息中的数据对象标识；当查找到所述数据对象标识时，向所述IO转发设备50返回所述数据对象标识，以使所述IO转发设备50根据所述数据对象标识查找数据存储设备80中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。当所述元数据请求中还携带着要执行删除操作、更新操作或者创建操作的标识时，元数据代理设备40还执行对应的删除、更新或者创建操作，得到更新后或者创建后的元数据信息；并将所述更新后或者创建后的元数据信息异步刷新到元数据服务器60。
参阅图6，图6为单作业单元数据代理模式示意图，在单作业单元数据代理模式中，当运行一个计算任务时，元数据服务器60根据计算节点设备70和元数据代理设备40的连接关系，选出运行该计算任务中连接计算节点设备70最多的元数据代理设备40，服务器60将用于运算该计算任务的元数据迁移至该元数据代理设备40上。在运算任务时，计算节点设备70的IO请求都会在元数据代理设备40上处理。与现有技术中通过一个固定服务器同时提供几个计算任务的元数据相比，单作业单元数据代理模式可以避免多作业间元数据访问干扰，利用多个元数据代理的并行能力加速整个计算系统多个作业的元数据性能。
参阅图7，图7为单作业多元数据代理模式示意图，在单作业多元数据代理模式中计算节点设备70使用哈希方式连接到元数据代理设备40，计算节点设备70的IO请求到达元数据代理设备40后，由元数据代理设备40处理该IO请求，这样单个计算任务的并发元数据操作可以分布到所有的元数据代理设备40上，提高了单个计算任务的元数据吞吐率；且由于元数据代理（MDDS，MetaDataDelegation Server），和元数据服务器（MDS，MetaData Server），维护着文件系统全局一致的视图，文件系统客户端可访问所有的元数据代理设备，因此在作业计算环境发生改变时，不需要进行复杂的数据移动。此外，整机系统还可通过增加元数据代理的数量实现单个作业的元数据性能扩展。
参阅图8，本发明实施例提供的元数据代理设备40的一实施例包括：
第一获取单元401，用于从元数据服务器获取多个文件的元数据信息；
第一接收单元402，用于接收IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；
第一查找单元403，用于根据所述第一接收单元402接收到的所述要执行操作的文件路径信息查找第一获取单元401获取到的对应文件的元数据信息中的数据对象标识；
第一发送单元404，用于当所述第一查找单元403查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例中，第一获取单元401用于从元数据服务器获取多个文件的元数据信息；第一接收单元402用于接收IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；第一查找单元403根据所述第一接收单元402接收到的所述要执行操作的文件路径信息查找第一获取单元401获取到的对应文件的元数据信息中的数据对象标识；第一发送单元404当所述第一查找单元403查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。与现有技术相比，本发明实施例提供的元数据代理设备，可以减轻了元数据服务器的负载，提高了元数据性能和位置灵活性。
在上述图8对应的实施例的基础上，参阅图9，本发明实施例提供的元数据代理设备40的另一实施例中，所述元数据请求中还携带着要执行删除操作的标识；所述元数据代理设备还包括：删除操作单元405，
所述删除操作单元405，用于在所述第一发送单元404返回所述数据对象标识后，根据所述删除操作的标识对所述路径信息对应的文件的元数据信息执行删除操作；
所述第一发送单元404，还用于在所述删除操作单元405执行删除操作后，向所述元数据服务器发送删除指令，所述删除指令中携带所述文件路径信息，以使所述元数据服务器删除所述路径信息对应的文件的元数据信息。
在上述图8对应的实施例的基础上，参阅图10，本发明实施例提供的元数据代理设备40的另一实施例中，
所述元数据请求中还携带着要执行创建操作的标识；所述元数据代理设备40还包括：创建操作单元406和第一存储单元407，
创建操作单元406，用于当所述第一查找单元403未查找到所述文件路径信息对应的元数据信息时，根据所述创建操作的标识，为所述路径信息对应的文件在数据存储设备中创建数据对象，所述每个数据对象对应一个数据对象标识；
所述第一发送单元404，还用于向所述IO转发设备返回所述创建操作单元406创建的数据对象标识；
第一存储单元407，用于将所述文件路径信息与所述创建操作单元406创建的数据对象标识关联存储，得到创建后的元数据信息；
所述第一发送单元404，还用于向所述元数据服务器发送第一存储单元407存储的创建后的元数据信息，以使所述元数据服务器存储所述创建后的元数据信息。
在上述图8对应的实施例的基础上，参阅图11，本发明实施例提供的元数据代理设备40的另一实施例中，所述元数据请求中还携带着要执行更新操作的标识；所述元数据代理设备还包括：更新操作单元408和第二存储单元409
所述更新操作单元408，用于当所述第一查找单元403查找到所述数据对象标识后，根据所述更新操作的标识更新数据对象和数据对象标识；
所述第一发送单元404，还用于向所述IO转发设备返回更新前和更新后的数据对象标识，以使所述IO转发设备根据所述更新前和更新后的数据对象查找对应的更新前和更新后的数据对象，使计算节点设备完成对更新前和更新后数据对象的文件数据操作；
第二存储单元409，用于将所述文件路径信息与所述更新操作单元更新后的数据对象关联存储，得到更新后的元数据信息；
所述第一发送单元404，还用于向所述元数据服务器发送第二存储单元409存储的更新后的元数据信息，以使所述元数据服务器存储所述更新后的元数据信息。
在上述元数据代理设备实施例的基础上，本发明实施例提供的元数据代理设备的另一实施例中，
所述第一发送单元404，还用于向元数据服务器发送注册信息，所述注册信息中携带元数据代理设备的地址信息，以使所述元数据服务器存储所述元数据代理设备的地址信息。
在上述元数据代理设备实施例的基础上，本发明实施例提供的元数据代理设备的另一实施例中，
所述第一发送单元404，还用于向元数据服务器发送注销信息，以使所述元数据服务器删除所述元数据代理设备的地址信息。
参阅图12，本发明实施例提供的输入输出转发设备50的一实施例包括：
第二获取单元501，用于从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；
第二发送单元502，用于根据所述第二获取单元501获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；
所述第二获取单元501，还用于获取所述元数据代理设备发送的数据对象标识；
第二查找单元503，用于根据所述第二获取单元501获取的数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例中，第二获取单元501，用于从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；第二发送单元502，用于根据所述第二获取单元501获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；所述第二获取单元501，还用于获取所述元数据代理设备发送的数据对象标识；第二查找单元503，用于根据所述第二获取单元501获取的数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。与现有技术相比，本发明实施例IO转发设备，可以减轻了元数据服务器的负载，提高了元数据的灵活性。
在上述图12对应的实施例的基础上，本发明实施例提供的IO转发设备50的另一实施例中，
所述第二获取单元501，用于获取更新前和更新后的数据对象标识；
所述第二查找单元503，用于根据所述第二获取单元501获取的更新前和更新后的数据对象查找对应的更新前和更新后的数据对象，使计算节点设备完成对更新前和更新后数据对象的文件数据操作。
在上述图12对应的实施例的基础上，参阅图13，本发明实施例提供的IO转发设备50的另一实施例中，所述第二获取单元501包括：发送子单元5011和接收子单元5012，
所述发送子单元5011，用于向所述元数据服务器发送元数据地址查找请求，所述元数据地址查找请求中携带要查找的文件路径信息，使所述元数据服务器根据所述要查找的文件路径信息查找存储所述文件路径信息对应的元数据信息的元数据代理设备的地址信息；
所述接收子单元5012，用于接收所述元数据服务器发送的元数据代理设备的地址信息。
参阅图14，本发明实施例提供的元数据服务器60的一实施例包括：
迁移单元601，用于将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储；
第三发送单元602，用于向IO转发设备发送存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，以使所述IO转发设备根据所述地址信息，从所述元数据代理设备获取数据对象标识，根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
本发明实施例中，迁移单元601将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储；第三发送单元602向IO转发设备发送存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，以使所述IO转发设备根据所述地址信息，从所述元数据代理设备获取数据对象标识，根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。与现有技术相比，本发明实施例提供元数据服务器，可以将元数据迁移到元数据代理服务器上，降低了元数据服务器的负载，提高了处理元数据的灵活性。
在上述图14对应的实施例的基础上，参阅图15，本发明提供的元数据服务器的另一实施例还包括：第二接收单元603、删除单元604和第三存储单元605，
所述第二接收单元603，用于接收元数据代理设备发送的送删除指令，所述删除指令中携带所述文件路径信息，或者，接收元数据代理设备发送的创建后的元数据信息或者更新后的元数据信息；
删除单元604，用于根据所述第二接收单元603接收到的删除指令删除所述路径信息对应的文件的元数据信息；
所述第三存储单元605，用于存储所述第二接收单元603接收到的创建后的元数据信息或者更新后的元数据信息。
上述图15对应的实施例的基础上，本发明提供的元数据服务器的另一实施例中，
所述第二接收单元603，还用于接收元数据代理设备发送来的注册信息，所述注册信息中携带元数据代理设备的地址信息；
所述第三存储单元605，还用于将所述第二接收单元603接收到的元数据代理设备的地址信息与所述元数据代理设备上存储的元数据信息的路径信息关联存储。
上述图15对应的实施例的基础上，参阅图16，本发明提供的元数据服务器的另一实施例还包括检测单元606，
所述第二接收单元603，还用于接收元数据代理设备发送来的注销信息；
检测单元606，用于在所述第二接收单元603接收到注销信息后，检测所述元数据服务器上是否存储有所述元数据代理设备上的所有文件的元数据信息；
所述删除单元604，还用于当所述检测单元606检测到元数据服务器上存储有所述元数据代理设备上的所有文件的元数据信息时，删除所述元数据代理设备的地址信息。
参阅图17，本发明实施例提供的代理设备10的一实施例包括：IO转发设备50和元数据代理设备40，所述IO转发设备50和元数据代理设备40通信连接；
所述元数据代理设备40，用于从元数据服务器获取多个文件的元数据信息；接收输入输出IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
所述IO转发设备50，用于从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；根据所述获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；获取所述元数据代理设备发送的数据对象标识；根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
实际上，本发明实施例中的代理设备10可以理解为IO转发设备50上集成有元数据代理设备40。
参阅图18，本发明实施例提供的高性能计算系统的一实施例包括：元数据服务器60、元数据代理设备40、IO转发设备50、计算节点设备70和数据存储设备80，所述IO转发设备50和元数据代理设备40通信连接，所述IO转发设备50与所述元数据服务器60通信连接；
所述元数据服务器60，用于将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备40上，并将每个元数据代理设备40的地址信息与所述每个元数据代理设备40上存储的文件路径信息对应存储；
所述IO转发设备50，用于从元数据服务器60获取存储有要执行操作所需要的元数据信息的元数据代理设备40的地址信息；根据所述获取的地址信息，向所述元数据代理设备40发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息；
所述元数据代理设备40，用于根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；当查找到所述数据对象标识时，向所述IO转发设备50返回所述数据对象标识；
所述IO转发设备50获取所述元数据代理设备40发送的数据对象标识；根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备70完成对所述数据对象的文件数据操作；
所述数据存储设备80，用于存储数据；
所述计算节点设备70，用于发送IO请求并进行文件数据操作。
本发明实施例提供的系统，可以减轻元数据服务器的负载，提高元数据处理的灵活性。
参阅图19，本发明实施例提供的高性能计算系统的另一实施例包括：元数据服务器60、代理设备10、计算节点设备70和数据存储设备80；所述代理设备10包括：IO转发设备50和元数据代理设备40，所述IO转发设备50和元数据代理设备40通信连接，所述IO转发设备50与所述元数据服务器60通信连接；
所述元数据服务器60，用于将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备40上，并将每个元数据代理设备40的地址信息与所述每个元数据代理设备40上存储的文件路径信息对应存储；
所述IO转发设备50，用于从元数据服务器60获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；根据所述获取的地址信息，向所述元数据代理设备40发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息；
所述元数据代理设备40，用于根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识；
所述IO转发设备50获取所述元数据代理设备40发送的数据对象标识；根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备70完成对所述数据对象的文件数据操作；
所述数据存储设备80，用于存储数据；
所述计算节点设备70，用于发送IO请求并进行文件数据操作。
本发明实施例提供的系统，可以减轻元数据服务器的负载，提高元数据处理的灵活性。
本发明实施例相当于是将元数据代理设备40集成在IO转发设备50上。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的元数据的处理方法、代理、转发设备、服务器以及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (28)
1.一种元数据的处理方法，其特征在于，包括：
从元数据服务器获取多个文件的元数据信息；
接收输入输出IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；
根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；
当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。
2.根据权利要求1所述的处理方法，其特征在于，所述元数据请求中还携带着要执行删除操作的标识；
所述向所述IO转发设备返回所述数据对象标识的步骤之后，还包括：
根据所述删除操作的标识对所述路径信息对应的文件的元数据信息执行删除操作，并向所述元数据服务器发送删除指令，所述删除指令中携带所述文件路径信息，以使所述元数据服务器删除所述路径信息对应的文件的元数据信息。
3.根据权利要求1所述的处理方法，其特征在于，所述元数据请求中还携带着要执行创建操作的标识；
当未查找到所述文件路径信息对应的元数据信息时，根据所述创建操作的标识，为所述路径信息对应的文件在数据存储设备中创建数据对象，所述每个数据对象对应一个数据对象标识，并向所述IO转发设备返回创建的数据对象标识；
将所述文件路径信息与所述创建的数据对象标识关联存储，得到创建后的元数据信息，并向所述元数据服务器发送创建后的元数据信息，以使所述元数据服务器存储所述创建后的元数据信息。
4.根据权利要求1所述的处理方法，其特征在于，所述元数据请求中还携带着要执行更新操作的标识；
所述当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作，具体包括：当查找到所述数据对象标识后，根据所述更新操作的标识更新数据对象和数据对象标识，并向所述IO转发设备返回更新前和更新后的数据对象标识；以使所述IO转发设备根据所述更新前和更新后的数据对象查找对应的更新前和更新后的数据对象，使计算节点设备完成对更新前和更新后数据对象的文件数据操作；
删除更新前的数据对象标识，并将所述文件路径信息与更新后的数据对象关联存储，得到更新后的元数据信息，并向所述元数据服务器发送更新后的元数据信息，以使所述元数据服务器存储所述更新后的元数据信息。
5.根据权利要求1～4任意一项所述的处理方法，其特征在于，所述从元数据服务器获取多个文件的元数据信息的步骤之前，还包括：
向元数据服务器发送注册信息，所述注册信息中携带元数据代理设备的地址信息，以使所述元数据服务器存储所述元数据代理设备的地址信息。
6.根据权利要求1～4任意一项所述的处理方法，其特征在于，还包括：
向元数据服务器发送注销信息，以使所述元数据服务器删除所述元数据代理设备的地址信息。
7.一种元数据的处理方法，其特征在于，包括：
从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；
根据所述获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；
获取所述元数据代理设备发送的数据对象标识；
根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
8.根据权利要求7所述处理方法，其特征在于，所述元数据请求中还携带着要执行更新操作的标识时，
所述获取所述元数据代理设备发送的数据对象标识，具体包括：获取更新前和更新后的数据对象标识；
所述根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作，具体包括：根据所述更新前和更新后的数据对象查找对应的更新前和更新后的数据对象，使计算节点设备完成对更新前和更新后数据对象的文件数据操作。
9.根据权利要求7或8所述的处理方法，其特征在于，所述从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，具体包括：
向所述元数据服务器发送元数据地址查找请求，所述元数据地址查找请求中携带要查找的文件路径信息，使所述元数据服务器根据所述要查找的文件路径信息查找存储所述文件路径信息对应的元数据信息的元数据代理设备的地址信息；
接收所述元数据服务器发送的元数据代理设备的地址信息。
10.一种元数据的处理方法，其特征在于，包括：
将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储；
向IO转发设备发送存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，以使所述IO转发设备根据所述地址信息，从所述元数据代理设备获取数据对象标识，根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
11.根据权利要求10所述的处理方法，其特征在于，还包括：
接收元数据代理设备发送的送删除指令，所述删除指令中携带所述文件路径信息，根据所述删除指令删除所述路径信息对应的文件的元数据信息；或者，
接收元数据代理设备发送的创建后的元数据信息，并存储所述创建后的元数据信息；或者，
接收元数据代理设备发送的更新后的元数据信息，并存储所述更新后的元数据信息。
12.根据权利要求10或11所述的处理方法，其特征在于，还包括：
接收元数据代理设备发送来的注册信息，所述注册信息中携带元数据代理设备的地址信息；
在元数据迁移时，将所述元数据代理设备的地址信息与所述元数据代理设备上存储的元数据信息的路径信息关联存储。
13.根据权利要求10或11所述的处理方法，其特征在于，还包括：
接收元数据代理设备发送来的注销信息；
当检测到元数据服务器上存储有所述元数据代理设备上的所有文件的元数据信息时，删除所述元数据代理设备的地址信息。
14.一种元数据代理设备，其特征在于，包括：
第一获取单元，用于从元数据服务器获取多个文件的元数据信息；
第一接收单元，用于接收IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；
第一查找单元，用于根据所述第一接收单元接收到的所述要执行操作的文件路径信息查找所述第一获取单元获取到的对应文件的元数据信息中的数据对象标识；
第一发送单元，用于当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。
15.根据权利要求14所述的元数据代理设备，其特征在于，所述元数据请求中还携带着要执行删除操作的标识；所述元数据代理设备还包括：删除操作单元，
所述删除操作单元，用于根据所述删除操作的标识对所述路径信息对应的文件的元数据信息执行删除操作；
所述第一发送单元，还用于在所述删除操作单元执行删除操作后，向所述元数据服务器发送删除指令，所述删除指令中携带所述文件路径信息，以使所述元数据服务器删除所述路径信息对应的文件的元数据信息。
16.根据权利要求14所述的元数据代理设备，其特征在于，所述元数据请求中还携带着要执行创建操作的标识；所述元数据代理设备还包括：创建操作单元和第一存储单元，
创建操作单元，用于当所述第一查找单元未查找到所述文件路径信息对应的元数据信息时，根据所述创建操作的标识，为所述路径信息对应的文件在数据存储设备中创建数据对象，所述每个数据对象对应一个数据对象标识；
所述第一发送单元，还用于向所述IO转发设备返回所述创建操作单元创建的数据对象标识；
所述第一存储单元，用于将所述文件路径信息与所述创建操作单元创建的数据对象标识关联存储，得到创建后的元数据信息；
所述第一发送单元，还用于向所述元数据服务器发送第一存储单元存储的创建后的元数据信息，以使所述元数据服务器存储所述创建后的元数据信息。
17.根据权利要求14所述的元数据代理设备，其特征在于，所述元数据请求中还携带着要执行更新操作的标识；所述元数据代理设备还包括：更新操作单元和第二存储单元，
所述更新操作单元，用于当所述第一查找单元查找到所述数据对象标识后，根据所述更新操作的标识更新数据对象和数据对象标识；
所述第一发送单元，还用于向所述IO转发设备返回更新前和更新后的数据对象标识，以使所述IO转发设备根据所述更新前和更新后的数据对象查找对应的更新前和更新后的数据对象，使计算节点设备完成对更新前和更新后数据对象的文件数据操作；
所述第二存储单元，用于将所述文件路径信息与所述更新操作单元更新后的数据对象关联存储，得到更新后的元数据信息；
所述第一发送单元，还用于向所述元数据服务器发送第二存储单元存储的更新后的元数据信息，以使所述元数据服务器存储所述更新后的元数据信息。
18.根据权利要求14～17任意一项所述的元数据代理设备，其特征在于，
所述第一发送单元，还用于向元数据服务器发送注册信息，所述注册信息中携带元数据代理设备的地址信息，以使所述元数据服务器存储所述元数据代理设备的地址信息。
19.根据权利要求14～17任意一项所述的元数据代理设备，其特征在于，
所述第一发送单元，还用于向元数据服务器发送注销信息，以使所述元数据服务器删除所述元数据代理设备的地址信息。
20.一种IO转发设备，其特征在于，包括：
第二获取单元，用于从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；
第二发送单元，用于根据所述第二获取单元获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；
所述第二获取单元，还用于获取所述元数据代理设备发送的数据对象标识；
第二查找单元，用于根据所述第二获取单元获取的数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
21.根据权利要求20所述的IO转发设备，其特征在于，所述元数据请求中还携带着要执行更新操作的标识时，
所述第二获取单元，用于获取更新前和更新后的数据对象标识；
所述第二查找单元，用于根据所述第二获取单元获取的更新前和更新后的数据对象查找对应的更新前和更新后的数据对象，使计算节点设备完成对更新前和更新后数据对象的文件数据操作。
22.根据权利要求20或21所述的IO转发设备，其特征在于，所述第二获取单元包括：发送子单元和接收子单元，
所述发送子单元，用于向所述元数据服务器发送元数据地址查找请求，所述元数据地址查找请求中携带要查找的文件路径信息，使所述元数据服务器根据所述要查找的文件路径信息查找存储所述文件路径信息对应的元数据信息的元数据代理设备的地址信息；
所述接收子单元，用于接收所述元数据服务器发送的元数据代理设备的地址信息。
23.一种元数据服务器，其特征在于，包括：
迁移单元，用于将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储；
第三发送单元，用于向IO转发设备发送存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，以使所述IO转发设备根据所述地址信息，从所述元数据代理设备获取数据对象标识，根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。
24.根据权利要求23所述的元数据服务器，其特征在于，还包括：
第二接收单元，用于接收元数据代理设备发送的送删除指令，所述删除指令中携带所述文件路径信息，或者，接收元数据代理设备发送的创建后的元数据信息或者更新后的元数据信息；
删除单元，用于根据所述第二接收单元接收到的删除指令删除所述路径信息对应的文件的元数据信息；
所述第三存储单元，用于存储所述第二接收单元接收到的创建后的元数据信息或者更新后的元数据信息。
25.根据权利要求24所述的元数据服务器，其特征在于，
所述第二接收单元，还用于接收元数据代理设备发送来的注册信息，所述注册信息中携带元数据代理设备的地址信息；
所述第三存储单元，还用于将所述第二接收单元接收到的元数据代理设备的地址信息与所述元数据代理设备上存储的元数据信息的路径信息关联存储。
26.根据权利要求24所述的元数据服务器，其特征在于，
所述第二接收单元，还用于接收元数据代理设备发送来的注销信息；
检测单元，用于在所述第二接收单元接收到注销信息后，检测所述元数据服务器上是否存储有所述元数据代理设备上的所有文件的元数据信息；
所述删除单元，还用于当所述检测单元检测到元数据服务器上存储有所述元数据代理设备上的所有文件的元数据信息时，删除所述元数据代理设备的地址信息。
27.一种代理设备，其特征在于，包括：IO转发设备和元数据代理设备，所述IO转发设备和元数据代理设备通信连接；
所述元数据代理设备为上述权利要求14～19任意一项所述的元数据代理设备；
所述IO转发设备为上述权利要求20～22任意一项所述的IO转发设备。
28.一种高性能计算系统，其特征在于，包括：元数据服务器、元数据代理设备、IO转发设备、计算节点设备和数据存储设备；
所述元数据服务器为上述权利要求24～26任意一项所述的元数据服务器；
所述元数据代理设备为上述权利要求14～19任意一项所述的元数据代理设备；
所述IO转发设备为上述权利要求20～22所述的IO转发设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103819951A CN102929958A (zh) | 2012-10-10 | 2012-10-10 | 元数据的处理方法，代理、转发设备，服务器及计算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103819951A CN102929958A (zh) | 2012-10-10 | 2012-10-10 | 元数据的处理方法，代理、转发设备，服务器及计算系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102929958A true CN102929958A (zh) | 2013-02-13 |
Family
ID=47644756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012103819951A Pending CN102929958A (zh) | 2012-10-10 | 2012-10-10 | 元数据的处理方法，代理、转发设备，服务器及计算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102929958A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226607A (zh) * | 2013-04-28 | 2013-07-31 | 北京航空航天大学 | 并行文件系统中支持元数据i/o服务质量的性能需求描述和转换方法 |
| CN103678523A (zh) * | 2013-11-28 | 2014-03-26 | 华为技术有限公司 | 分布式高速缓存cache数据访问方法和装置 |
| WO2014177010A1 (zh) * | 2013-04-28 | 2014-11-06 | 华为终端有限公司 | 一种数据传输的方法、装置及系统 |
| CN105677250A (zh) * | 2016-01-04 | 2016-06-15 | 北京百度网讯科技有限公司 | 对象存储系统中的对象数据的更新方法和更新装置 |
| CN106874334A (zh) * | 2016-08-12 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置、资讯处理系统 |
| CN107169019A (zh) * | 2017-04-06 | 2017-09-15 | 华为技术有限公司 | 一种视频元数据的查询方法、设备及系统 |
| CN107958159A (zh) * | 2017-11-15 | 2018-04-24 | 广东电网有限责任公司电力调度控制中心 | 一种大数据迁移的方法及系统 |
| CN114895851A (zh) * | 2022-05-09 | 2022-08-12 | 北京星辰天合科技股份有限公司 | 数据处理方法、装置、存储介质以及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040054779A1 (en) * | 2002-09-13 | 2004-03-18 | Yoshiteru Takeshima | Network system |
| CN1595905A (zh) * | 2004-07-04 | 2005-03-16 | 华中科技大学 | 基于集群的流媒体缓存代理服务器系统 |
| CN101247417A (zh) * | 2008-03-07 | 2008-08-20 | 中国科学院计算技术研究所 | 双层元数据处理系统及方法 |
| CN101616007A (zh) * | 2008-06-24 | 2009-12-30 | 华为技术有限公司 | 一种map服务器的实现方法、系统和设备 |
| CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
| CN102216930A (zh) * | 2010-12-14 | 2011-10-12 | 华为技术有限公司 | Web请求调度方法及系统 |
-
2012
- 2012-10-10 CN CN2012103819951A patent/CN102929958A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040054779A1 (en) * | 2002-09-13 | 2004-03-18 | Yoshiteru Takeshima | Network system |
| CN1595905A (zh) * | 2004-07-04 | 2005-03-16 | 华中科技大学 | 基于集群的流媒体缓存代理服务器系统 |
| CN101247417A (zh) * | 2008-03-07 | 2008-08-20 | 中国科学院计算技术研究所 | 双层元数据处理系统及方法 |
| CN101616007A (zh) * | 2008-06-24 | 2009-12-30 | 华为技术有限公司 | 一种map服务器的实现方法、系统和设备 |
| CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
| CN102216930A (zh) * | 2010-12-14 | 2011-10-12 | 华为技术有限公司 | Web请求调度方法及系统 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9736872B2 (en) | 2013-04-28 | 2017-08-15 | Huawei Device Co., Ltd. | Data transmission method, apparatus, and system |
| WO2014177010A1 (zh) * | 2013-04-28 | 2014-11-06 | 华为终端有限公司 | 一种数据传输的方法、装置及系统 |
| CN103226607A (zh) * | 2013-04-28 | 2013-07-31 | 北京航空航天大学 | 并行文件系统中支持元数据i/o服务质量的性能需求描述和转换方法 |
| CN103226607B (zh) * | 2013-04-28 | 2017-04-26 | 北京航空航天大学 | 并行文件系统中支持元数据i/o服务质量的性能需求描述和转换方法 |
| CN103678523A (zh) * | 2013-11-28 | 2014-03-26 | 华为技术有限公司 | 分布式高速缓存cache数据访问方法和装置 |
| CN103678523B (zh) * | 2013-11-28 | 2018-03-09 | 华为技术有限公司 | 分布式高速缓存cache数据访问方法和装置 |
| CN105677250A (zh) * | 2016-01-04 | 2016-06-15 | 北京百度网讯科技有限公司 | 对象存储系统中的对象数据的更新方法和更新装置 |
| CN105677250B (zh) * | 2016-01-04 | 2019-07-12 | 北京百度网讯科技有限公司 | 对象存储系统中的对象数据的更新方法和更新装置 |
| US10380103B2 (en) | 2016-01-04 | 2019-08-13 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Object data updating method and apparatus in an object storage system |
| CN106874334A (zh) * | 2016-08-12 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置、资讯处理系统 |
| CN107169019A (zh) * | 2017-04-06 | 2017-09-15 | 华为技术有限公司 | 一种视频元数据的查询方法、设备及系统 |
| CN107169019B (zh) * | 2017-04-06 | 2020-07-24 | 华为技术有限公司 | 一种视频元数据的查询方法、设备及系统 |
| CN107958159A (zh) * | 2017-11-15 | 2018-04-24 | 广东电网有限责任公司电力调度控制中心 | 一种大数据迁移的方法及系统 |
| CN114895851A (zh) * | 2022-05-09 | 2022-08-12 | 北京星辰天合科技股份有限公司 | 数据处理方法、装置、存储介质以及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102929958A (zh) | 元数据的处理方法，代理、转发设备，服务器及计算系统 | |
| US10353742B2 (en) | Tracking large numbers of moving objects in an event processing system | |
| JP7221975B2 (ja) | マルチマスタ分散データ管理システムにおけるトランザクション処理 | |
| US9990265B2 (en) | Diagnosing causes of performance issues of virtual machines | |
| US9720989B2 (en) | Dynamic partitioning techniques for data streams | |
| TWI549060B (zh) | Access methods and devices for virtual machine data | |
| WO2014057520A1 (en) | Migration-destination file server and file system migration method | |
| US20180121129A1 (en) | Data layout schemas for seamless data migration | |
| US20170249246A1 (en) | Deduplication and garbage collection across logical databases | |
| US20140195551A1 (en) | Optimizing snapshot lookups | |
| US20150134626A1 (en) | Partition-based data stream processing framework | |
| CN103870202A (zh) | 一种块设备的分布式存储方法和系统 | |
| US11797494B2 (en) | Snapshot management in distributed file systems | |
| CN109857723B (zh) | 基于可扩容数据库集群的动态数据迁移方法及相关设备 | |
| US20180165469A1 (en) | Access operation request management | |
| CN113760847A (zh) | 日志数据处理方法、装置、设备及存储介质 | |
| WO2021183520A1 (en) | Extensible streams on data sources | |
| US10241716B2 (en) | Global occupancy aggregator for global garbage collection scheduling | |
| CA2702133A1 (en) | Redistribute native xml index key shipping | |
| CN110352410A (zh) | 跟踪索引节点的访问模式以及预提取索引节点 | |
| US20190243807A1 (en) | Replication of data in a distributed file system using an arbiter | |
| US10592530B2 (en) | System and method for managing transactions for multiple data store nodes without a central log | |
| US11593310B2 (en) | Providing writable streams for external data sources | |
| US10313438B1 (en) | Partitioned key-value store with one-sided communications for secondary global key lookup by range-knowledgeable clients | |
| US8645316B2 (en) | Storing records in databases in a randomized manner to effectively utilize database servers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130213 |