CN111737017B - 一种分布式元数据管理方法和系统 - Google Patents

一种分布式元数据管理方法和系统 Download PDF

Info

Publication number
CN111737017B
CN111737017B CN202010840008.4A CN202010840008A CN111737017B CN 111737017 B CN111737017 B CN 111737017B CN 202010840008 A CN202010840008 A CN 202010840008A CN 111737017 B CN111737017 B CN 111737017B
Authority
CN
China
Prior art keywords
metadata
storage node
storage
data
load balancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010840008.4A
Other languages
English (en)
Other versions
CN111737017A (zh
Inventor
张春林
李利军
李春青
常江波
尚雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dongfang tongwangxin Technology Co.,Ltd.
Beijing dongfangtong Software Co.,Ltd.
BEIJING TESTOR TECHNOLOGY Co.,Ltd.
Beijing Tongtech Co Ltd
Original Assignee
Beijing Dongfangtong Software Co ltd
Beijing Microvision Technology Co ltd
Beijing Testor Technology Co ltd
Beijing Tongtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dongfangtong Software Co ltd, Beijing Microvision Technology Co ltd, Beijing Testor Technology Co ltd, Beijing Tongtech Co Ltd filed Critical Beijing Dongfangtong Software Co ltd
Priority to CN202010840008.4A priority Critical patent/CN111737017B/zh
Publication of CN111737017A publication Critical patent/CN111737017A/zh
Application granted granted Critical
Publication of CN111737017B publication Critical patent/CN111737017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Abstract

本发明提供了一种分布式元数据管理方法及系统。包括获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点；在所述储存节点上通过静态负载均衡策略和动态负载均衡策略，得到优化元数据；基于目录重定向表格确定所述目录重定向表格到存储节点的路径，根据所述优化元数据，构建静态和动态均衡调控的元数据储存集群。本发明的有益效果在于：本发明通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略，可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径，通过集群式的分布式储存系统，对元数据进行管理。

Description

一种分布式元数据管理方法和系统
技术领域
本发明涉及数据管理技术领域，特别涉及一种分布式元数据管理方法和系统。
背景技术
信息时代的发展，对存储设备高负载、低时延的要求越来越高，海量数据存储应运而生，以便支持日益膨胀的大数据业务。海量数据存储的容量越大，其需要对应的元数据也越多，而海量数据存储的容量不可能无限大，为此便需要合理的管理元数据。
分布式管理系统是建立在网络上的管理系统，以高聚性和内透性的系统特性，能够对实现对分散的资源和数据进行利用和信息交换。
目前，现有技术中，分布式管理系统在对元数据的控制时，存在负载不均匀，路径不确定，导致元数据传输中断、卡顿的现象。
发明内容
本发明提供一种分布式元数据管理方法和系统，用以解决负载不均匀，路径不确定，导致元数据传输中断、卡顿的情况。
一种分布式元数据管理方法，其特征在于，包括：
获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点；
在所述储存节点上设置静态负载均衡策略和动态负载均衡策略，得到优化元数据；
基于目录重定向表格确定所述目录重定向表格到存储节点的传输路径，根据所述优化元数据和传输路径，构建静态和动态均衡调控的元数据储存集群。
作为本发明的一种实施例：所述获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点，包括：
通过所述分布式管理系统的元数据服务器提取所述元数据，并识别所述元数据的数据类型；
根据所述数据类型，构建所述元数据的分布式图；
根据所述分布式图，确定所述元数据之间的相关关系；
获取所述分布式管理系统的储存节点，并根据所述相关关系和分布式图，将所述储存节点和所述元数据相对应，确定所述元数据在所述储存节点的对应分布图；
根据所述对应分布图，将所述元数据储存在所述储存节点。
作为本发明的一种实施例：在所述储存节点上通过静态负载均衡策略和动态负载均衡策略，得到优化元数据，包括：
通过所述静态负载均衡策略在所述储存节点检查所述元数据的异常情况，判断所述元数据是否存在异常；
当存在异常时，统计所述异常，并通过预设的处理策略库进行处理；
当不存在异常时，给所述储存节点配置加权值，根据所述加权值，判断所述加权后的储存节点和所述储存节点的正常权值比例是否为预设的标准比例；
当不为预设的标准比例时，并通过预设的处理策略库进行处理；
当为预设的标准比例时，设置所述储存节点的优先值，并对所述储存节点优先分级；
根据所述优先分级，对所述储存节点进行循环检查；
通过所述动态负载均衡策略依次判断所述储存节点的连接方式，并对所述连接方式进行动态检查，动态分配连接地址；
依次判断所述储存节点和响应服务器的服务响应时间，并根据所述服务响应时间，动态改变响应服务器；
基于所述动态分配连接地址和动态改变响应服务器，确定所述储存节点的预测性能；
并根据所述预测性能，确定所述储存节点的性能参数；
根据所述性能参数和循环检查，对所述储存节点元数据进行优化，得到优化数据。
作为本发明的一种实施例：所述性能参数通过以下步骤获得，包括：
步骤1：获取所述元数据，确定所述元数据的加权特征 T：
Figure 100002_DEST_PATH_IMAGE001
；
其中，所述
Figure DEST_PATH_IMAGE002
为元数据的数量，所述
Figure 100002_DEST_PATH_IMAGE003
表示第
Figure DEST_PATH_IMAGE004
个元数据的第
Figure 100002_DEST_PATH_IMAGE005
个数据特征；所述
Figure DEST_PATH_IMAGE006
表示第
Figure 100002_DEST_PATH_IMAGE007
个元数据的类型参数，所述
Figure DEST_PATH_IMAGE008
表示第
Figure 100002_DEST_PATH_IMAGE009
个数据特征的类型参数；所述
Figure DEST_PATH_IMAGE010
表示所述加权函数，所述
Figure 100002_DEST_PATH_IMAGE011
；
Figure DEST_PATH_IMAGE012
；
Figure 100002_DEST_PATH_IMAGE013
；
步骤2：根据所述加权特征
Figure DEST_PATH_IMAGE014
和静态负载均衡策略，确定所述元数据的优先值
Figure 100002_DEST_PATH_IMAGE015
：
Figure DEST_PATH_IMAGE016
；
Figure 100002_DEST_PATH_IMAGE017
；
其中，所述
Figure DEST_PATH_IMAGE018
为异常系数；所述
Figure 100002_DEST_PATH_IMAGE019
表示异常判定函 数，当所述
Figure DEST_PATH_IMAGE020
时表示无异常；当所述
Figure 100002_DEST_PATH_IMAGE021
时表示有异常；所述
Figure DEST_PATH_IMAGE022
表示优先级判定函数，所述
Figure 100002_DEST_PATH_IMAGE023
值越大，优先级越高；所述
Figure DEST_PATH_IMAGE024
表示第
Figure 100002_DEST_PATH_IMAGE025
个元数据的第
Figure DEST_PATH_IMAGE026
个数据特征加 权值；所述
Figure 100002_DEST_PATH_IMAGE027
表示第
Figure DEST_PATH_IMAGE028
个元数据的加权特征；所述
Figure 100002_DEST_PATH_IMAGE029
表示第
Figure DEST_PATH_IMAGE030
个元数据的 加权特征；所述
Figure 100002_DEST_PATH_IMAGE031
表示元数据的类型参数的平均值；所述
Figure DEST_PATH_IMAGE032
表示数据特征的类型参数的平均 值；所述
Figure DEST_PATH_IMAGE033
表示数据特征的平均值；
步骤3：根据所述优先值
Figure DEST_PATH_IMAGE034
和动态负载均衡策略，确定所述元数据的性能参数
Figure 100002_DEST_PATH_IMAGE035
；
Figure DEST_PATH_IMAGE036
；
其中，所述
Figure 100002_DEST_PATH_IMAGE037
表示预存的地址参数；所述
Figure DEST_PATH_IMAGE038
表示所述元数据的响应时间。
作为本发明的一种实施例：所述基于目录重定向表格确定所述目录重定向表格到存储节点的传输路径，根据所述优化元数据和传输路径，构建静态和动态均衡调控的元数据储存集群，包括：
根据所述存储节点，确定所述元数据的映射储存区域；
基于所述目录重定向表格，确定所述映射储存区域和所述储存节点的传输路径；
根据所述传输路径，将所述静态负载均衡策略、动态负载均衡策略配置在所述映射储存区域，构成所述数据储存集群。
一种分布式元数据管理系统，其特征在于，包括：
获取模块：用于获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点；
优化模块：用于在所述储存节点上通过静态负载均衡策略和动态负载均衡策略，得到优化元数据；
构建模块：用于基于目录重定向表格确定所述目录重定向表格到存储节点的路径，根据所述优化元数据，构建静态和动态均衡调控的元数据储存集群。
作为本发明的一种实施例：所述获取模块包括：
第一识别单元：用于通过所述分布式管理系统的元数据服务器提取所述元数据，并识别所述元数据的数据类型；
第一构建单元：用于根据所述数据类型，构建所述元数据的分布式图；
第一确定单元：用于根据所述分布式图，确定所述元数据之间的相关关系；
第二确定单元：用于获取所述分布式管理系统的储存节点，并根据所述相关关系和分布式图，将所述储存节点和所述元数据相对应，确定所述元数据在所述储存节点的对应分布图；
第一储存单元：用于根据所述对应分布图，将所述元数据储存在所述储存节点。
作为本发明的一种实施例：所述优化模块包括：
第一异常判断单元：用于通过所述静态负载均衡策略在所述储存节点检查所述元数据的异常情况，判断所述元数据是否存在异常；
当存在异常时，统计所述异常，并通过预设的处理策略库进行处理；
当不存在异常时，给所述储存节点配置加权值，根据所述加权值，判断所述加权后的储存节点和所述储存节点的正常权值比例是否为预设的标准比例；
当不为预设的标准比例时，通过预设的处理策略库进行处理；
第一优先分级单元：用于当为预设的标准比例时，设置所述储存节点的优先值，并对所述储存节点优先分级；
第一配置单元：用于根据所述优先分级，对所述储存节点进行循环检查；
第一动态分配单元：用于依次判断所述储存节点的连接方式，并对所述连接方式进行动态检查，动态分配连接地址；
第一动态响应单元：用于通过所述动态负载均衡策略依次判断所述储存节点和响应服务器的服务响应时间，并根据所述服务响应时间，动态改变响应服务器；
第三确定单元：用于基于所述动态分配连接地址和动态改变响应服务器，确定所述储存节点的预测性能；
第四确定单元：用于根据所述预测性能，确定所述储存节点的性能参数；
优化单元：用于根据所述性能参数和循环检查，对所述储存节点元数据进行优化，得到优化数据。
作为本发明的一种实施例：所述第四确定单元通过以下步骤进行元数据优化：
步骤1：获取所述元数据，确定所述元数据的加权特征T：
Figure 100002_DEST_PATH_IMAGE039
；
其中，所述
Figure DEST_PATH_IMAGE040
为元数据的数量，所述
Figure 100002_DEST_PATH_IMAGE041
表示第
Figure DEST_PATH_IMAGE042
个元数据的第
Figure 100002_DEST_PATH_IMAGE043
个数据特征；所述
Figure 490383DEST_PATH_IMAGE006
表示第
Figure DEST_PATH_IMAGE044
个元数据的类型参数，所述
Figure DEST_PATH_IMAGE045
表示第
Figure 532158DEST_PATH_IMAGE043
个数据特征的类型参数；所述
Figure DEST_PATH_IMAGE046
表示所述加权函数，所述
Figure DEST_PATH_IMAGE047
；
Figure DEST_PATH_IMAGE048
；
Figure DEST_PATH_IMAGE049
；
步骤2：根据所述加权特征
Figure DEST_PATH_IMAGE050
和静态负载均衡策略，确定所述元数据的优先值
Figure DEST_PATH_IMAGE051
：
Figure 561162DEST_PATH_IMAGE016
；
Figure 60498DEST_PATH_IMAGE017
；
其中，所述
Figure DEST_PATH_IMAGE052
为异常系数；所述
Figure 874870DEST_PATH_IMAGE019
表示异常判 定函数，当所述
Figure DEST_PATH_IMAGE053
时表示无异常；当所述
Figure DEST_PATH_IMAGE054
时表示有异常；所述
Figure 821966DEST_PATH_IMAGE022
表示优先级判定函数，所述
Figure 213633DEST_PATH_IMAGE023
值越大，优先级越高；所述
Figure 412533DEST_PATH_IMAGE024
表示第
Figure DEST_PATH_IMAGE055
个元数据的第
Figure 81412DEST_PATH_IMAGE005
个数据特征加权值； 所述
Figure 199410DEST_PATH_IMAGE027
表示第
Figure 953739DEST_PATH_IMAGE028
个元数据的加权特征；所述
Figure 690751DEST_PATH_IMAGE029
表示第
Figure 341700DEST_PATH_IMAGE030
个元数据的加权 特征；所述
Figure 771544DEST_PATH_IMAGE031
表示元数据的类型参数的平均值；所述
Figure 13169DEST_PATH_IMAGE032
表示数据特征的类型参数的平均值； 所述
Figure 412927DEST_PATH_IMAGE033
表示数据特征的平均值；
步骤3：根据所述优先值
Figure DEST_PATH_IMAGE056
和动态负载均衡策略，确定所述元数据的性能参数；
Figure DEST_PATH_IMAGE058
；
其中，所述
Figure DEST_PATH_IMAGE059
表示预存的地址参数；所述
Figure DEST_PATH_IMAGE060
表示所述元数据的响应时间。
作为本发明的一种实施例：所述构建模块包括：
第一映射单元：用于根据所述存储节点，确定所述元数据的映射储存区域；
第五确定单元：用于基于所述目录重定向表格，确定所述映射储存区域和所述储存节点的传输路径；
第一构成单元：用于根据所述传输路径，将所述静态负载均衡策略和动态负载均衡策略配置在所述映射储存区域，构成所述数据储存集群。
本发明的有益效果在于：本发明通过将元数据分别储存在不同的储存节点上，使得元数据可以分别储存在不同的储存节点，通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略，可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径，通过集群式的分布式储存系统，对元数据进行管理。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种分布式元数据管理方法的方法流程图；
图2为本发明实施例中一种分布式元数据管理系统的系统组成图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
元数据为中介数据或中继数据，为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。
实施例1：
如附图1所示，本发明的一种分布式元数据管理方法的方法流程图，本发明包括一下步骤：
步骤100：获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点；本发明首先获取元数据，并将元数据储存在分布式管理系统中，分布式管理系统中预设储存节点，每个储存节点都设置有存储空间，进而可以将不同的元数据储存在不同的储存节点，进而实现元数据的分布式分布。
步骤101：在所述储存节点上设置静态负载均衡策略和动态负载均衡策略，得到优化元数据；本发明作为一个元数据的管理系统，需要对元数据进行管理，本发明的管理除了数据储存管理还包括对数据的优化，通过静态负载均衡策略和动态负载均衡策略，根据两种负载均衡优化方式实现数据的优化。
步骤102：基于目录重定向表格确定所述目录重定向表格到存储节点的传输路径，根据所述优化元数据和传输路径，构建静态和动态均衡调控的元数据储存集群。本发明通过目录重定向表格将储存节点和数据目录相关联，通过数据的传输路径，实现元数据的储存集群。
上述技术方案的有益效果在于：本发明通过将元数据分别储存在不同的储存节点上，使得元数据可以分别储存在不同的储存节点，通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略，可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径，通过集群式的分布式储存系统，对元数据进行管理。
实施例2：
作为本发明的一种实施例：所述获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点，包括：
通过所述分布式管理系统的元数据服务器提取所述元数据，并识别所述元数据的数据类型；元数据服务器是存储元数据的储存服务器，元数据的类型如管理信息型、技术信息型、描述信息型等等。
根据所述数据类型，构建所述元数据的分布式图；每一个类型为一类，储存在一个节点。
根据所述分布式图，确定所述元数据之间的相关关系；例如元数据的管理型信息和描述类信息管理和描述的时同一个书本文件的情况。管理性信息追溯书本文件的著作权，链接的地址途径。而历史性文件，记录和描述的还是这本书的文件。
获取所述分布式管理系统的储存节点，并根据所述相关关系和分布式图，将所述储存节点和所述元数据相对应，确定所述元数据在所述储存节点的对应分布图；
根据所述对应分布图，将所述元数据储存在所述储存节点。
上述技术方案的原理在于：本发明预先通过分布式管理系统对元数据进行提取，并分析得到元数据的数据类型，数据类型确定之后，本发明通过构建元数据的分布式图，对不同的元数据之间的相关关系进行认定，并将储存节点和元数据互相对应，而元数据的分布式图可以在上面标注出元数据的储存节点，进而实现将元数据储存在储存节点对应的分布图上。
上述技术方案的有益效果在于：本发明通过构建分布式图，可以清楚明确的确定储存节点的位置，进而通过对储存节点和元数据相对应应，实现元数据的定点储存。而且储存节点是基于数据类型进行划分的，因此，储存节点和数据类型相对应且适配。
实施例3：
作为本发明的一种实施例：在所述储存节点上通过静态负载均衡策略和动态负载均衡策略，得到优化元数据，包括：
在所述储存节点检查所述元数据的异常情况，判断所述元数据是否存在异常；异常包括元数据无法加载、数据缺失、元数据缺失等等。
当存在异常时，统计所述异常，并通过预设的处理策略库进行处理；处理策略库通过预先进行设置。
当不存在异常时，给所述储存节点配置加权值，根据所述加权值，判断所述加权后的储存节点和所述储存节点的正常权值比例是否为预设的标准比例；本发明不存在异常时，基于数据的加权特征，给元数据进行设置加权值，基于加权值；将加权后的储存节点和正常值的储存节点进行计算，而根据比例可以和预设的标准比例相对应，实现储存节点的加权检验。
当不为预设的标准比例时，并通过预设的处理策略库进行处理；
当为预设的标准比例时，设置所述储存节点的优先值，并对所述储存节点优先分级；本发明通过将储存节点进行优先级的评级，得到优先分级的结果。
根据所述优先分级，对所述储存节点进行循环检查，配置所述存储节点的静态负载均衡策略；本发明通过优先分级可以通过循环的方式根据储存节点的重要程度和静态负载均衡策略。
依次判断所述储存节点的连接方式，并对所述连接方式进行动态检查，动态分配连接地址；通过判断储存节点的连接方式，可以确定储存节点的数据连通通道，进而通过数据连通通道实现地址的调配。
依次判断所述储存节点和响应服务器的服务响应时间，并根据所述服务响应时间，动态改变响应服务器；响应时间决定了数据传输速度，因此，基于响应时间，动态改变响应服务器可以提高系统的反应速度。
基于所述动态分配连接地址和动态改变响应服务器，确定所述储存节点的预测性能；
并根据所述预测性能，确定所述储存节点的性能参数；
根据所述性能参数和循环检查，对所述储存节点元数据进行优化，得到优化数据。
上述技术方案的有益效果在于：本发明通过判断元数据是否存在异常，可以对元数据进行异常检测，并能够通过处理策略库对元数据的异常进行处理。而不存在异常的元数据通过加权方式，确定每种元数据和标准数据的比例，使得每个储存节点储存的元数据具有了优先分级，而通过优先分级，对数据进行循环处理也有了顺序。因此本发明的静态负载均衡策略主要是用于对元数据的异常进行处理。本发明通过对连接方式的判断和检查，可以确定连接方式的效率，而检查可以确定连接方式是否安全，最终通过动态分配连接地址以保证储存节点安全性。而判断响应时间，改变响应的服务器，可以提高响应速度，并且基于连接方式和响应时间预测储存节点的性能。而通过动态负载均衡策略的处理，实现储存节点的动态控制，进而在两种策略配置后，将储存节点的元数据转换为优化数据。
作为本发明的一种实施例：所述性能参数通过以下步骤获得，包括：
步骤1：获取所述元数据，确定所述元数据的加权特征T：
Figure DEST_PATH_IMAGE061
；
其中，所述
Figure 305665DEST_PATH_IMAGE040
为元数据的数量，所述
Figure DEST_PATH_IMAGE062
表示第
Figure DEST_PATH_IMAGE063
个元数据的第
Figure DEST_PATH_IMAGE064
个数据特征；所述
Figure 768395DEST_PATH_IMAGE006
表示第
Figure DEST_PATH_IMAGE065
个元数据的类型参数，所述
Figure DEST_PATH_IMAGE066
表示第
Figure DEST_PATH_IMAGE067
个数据特征的类型参数；所述
Figure DEST_PATH_IMAGE068
表示所述加权函数，所述
Figure DEST_PATH_IMAGE069
；
Figure DEST_PATH_IMAGE070
；
Figure DEST_PATH_IMAGE071
；
步骤2：根据所述加权特征
Figure 871218DEST_PATH_IMAGE014
和静态负载均衡策略，确定所述元数据的优先值
Figure DEST_PATH_IMAGE072
：
Figure 950032DEST_PATH_IMAGE016
；
Figure 575573DEST_PATH_IMAGE017
；
其中，所述
Figure 347220DEST_PATH_IMAGE052
为异常系数；所述
Figure 297859DEST_PATH_IMAGE019
表示异常 判定函数，当所述
Figure DEST_PATH_IMAGE073
时表示无异常；当所述
Figure DEST_PATH_IMAGE074
时表示有异常； 所述
Figure 304998DEST_PATH_IMAGE022
表示优先级判定函数，所述
Figure DEST_PATH_IMAGE075
值越大，优先级越高；所述
Figure 782116DEST_PATH_IMAGE024
表示第
Figure DEST_PATH_IMAGE076
个元数据的第
Figure DEST_PATH_IMAGE077
个数据特征加 权值；所述
Figure 849298DEST_PATH_IMAGE027
表示第
Figure 287232DEST_PATH_IMAGE028
个元数据的加权特征；所述
Figure 707849DEST_PATH_IMAGE029
表示第
Figure 307982DEST_PATH_IMAGE030
个元数 据的加权特征；所述
Figure 421432DEST_PATH_IMAGE031
表示元数据的类型参数的平均值；所述
Figure 346663DEST_PATH_IMAGE032
表示数据特征的类型参数 的平均值；所述
Figure 695604DEST_PATH_IMAGE033
表示数据特征的平均值；
步骤3：根据所述优先值
Figure 757101DEST_PATH_IMAGE015
和动态负载均衡策略，确定所述元数据的性能参数
Figure DEST_PATH_IMAGE078
；
Figure DEST_PATH_IMAGE079
；
其中，所述
Figure 166086DEST_PATH_IMAGE059
表示预存的地址参数；所述
Figure DEST_PATH_IMAGE080
表示所述元数据的响应时间。
上述技术方案的原理和有益效果在于：通过获取元数据，确定元数据的加权特征，加权特征具有预测特性，本发明根据加权特征的预测特性和静态负载均衡策略确定储存节点的元数据的优先值，进而实现优先分级。而通过优先值和动态负载均衡策略可以确定元数据的性能参数，性能参数是由预测参数决定，因此性能参数就是储存节点预测性能，即，理想的数据处理性能，进而基于理想的数据处理性能对元数据进行优化，主在对元数据进行处理上更加迅速、方便，实现高效管控。
作为本发明的一种实施例：所述基于目录重定向表格确定所述目录重定向表格到存储节点的传输路径，构建静态和动态均衡调控的元数据储存集群，包括：
根据所述存储节点，确定所述元数据的映射储存区域；
基于所述目录重定向表格，确定所述映射储存区域和所述储存节点的传输路径；
根据所述传输路径，将所述静态负载均衡策略和动态负载均衡策略配置在所述映射储存区域，构成所述元数据储存集群。
上述技术方案得到原理在于：本发明基于目录重定向表格，可以对元数据进行划分。本发明在构建元数据储存集群时，可以通过元数据的映射储存区域，将元数据在储存节点上的储存空间、映射储存区域和目录重定向表格相关联，通过建立链接方式，构建数据传输通道，进而实现元数据储存集群构成。
上述技术方案的有益效果在于：本发明通过构建元数据储存集群，实现了数据的集群式管控，而通过集群式的管控方式，实现的元数据调控管理和元数据的优化。
实施例6：
如附图2所示的一种分布式元数据管理系统的系统组成图，包括：
获取模块：用于获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点；本发明首先获取元数据，并将元数据储存在分布式管理系统中，分布式管理系统中预设储存节点，每个储存节点都设置有存储空间，进而可以将不同的元数据储存在不同的储存节点，进而实现元数据的分布式分布。
优化模块：用于在所述储存节点上通过静态负载均衡策略和动态负载均衡策略，得到优化元数据；本发明作为一个元数据的管理系统，需要对元数据进行管理，本发明的管理除了数据储存管理还包括对数据的优化，通过静态负载均衡策略和动态负载均衡策略，根据两种负载均衡优化方式实现数据的优化。
构建模块：用于基于目录重定向表格确定所述目录重定向表格到存储节点的传输路径，根据所述优化元数据，构建静态和动态均衡调控的元数据储存集群。本发明通过目录重定向表格将储存节点和数据目录相关联，通过数据的传输路径，实现元数据的储存集群。
上述技术方案的有益效果在于：本发明通过将元数据分别储存在不同的储存节点上，使得元数据可以分别储存在不同的储存节点，通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略，可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径，通过集群式的分布式储存系统，对元数据进行管理。
实施例7：
作为本发明的一种实施例：所述获取模块包括：
第一识别单元：用于通过所述分布式管理系统的元数据服务器提取所述元数据，并识别所述元数据的数据类型；
第一构建单元：用于根据所述数据类型，构建所述元数据的分布式图；
第一确定单元：用于根据所述分布式图，确定所述元数据之间的相关关系；
第二确定单元：用于获取所述分布式管理系统的储存节点，并根据所述相关关系和分布式图，将所述储存节点和所述元数据相对应，确定所述元数据在所述储存节点的对应分布图；
第一储存单元：用于根据所述对应分布图，将所述元数据储存在所述储存节点。
上述技术方案的原理在于：本发明预先通过分布式管理系统对元数据进行提取，并分析得到元数据的数据类型，数据类型确定之后，本发明通过构建元数据的分布式图，对不同的元数据之间的相关关系进行认定，并将储存节点和元数据互相对应，而元数据的分布式图可以在上面标注出元数据的储存节点，进而实现将元数据储存、在储存节点对应的分布图上。
上述技术方案的有益效果在于：本发明通过构建分布式图，可以清楚明确的确定储存节点的位置，进而通过对储存节点和元数据想读应，实现元数据的定点储存。而且储存节点是基于数据类型进行划分的，因此，储存节点和数据类型相对应，适配。
实施例8：
作为本发明的一种实施例：所述优化模块包括：
第一异常判断单元：用于在所述储存节点检查所述元数据的异常情况，判断所述元数据是否存在异常；异常包括元数据无法加载、数据缺失、元数据缺失等等
当存在异常时，统计所述异常，并通过预设的处理策略库进行处理；
当不存在异常时，给所述储存节点配置加权值，根据所述加权值，判断所述加权后的储存节点和所述储存节点的正常权值比例是否为预设的标准比例；本发明不存在异常时，基于数据的加权特征，给元数据进行设置加权值，基于加权值；将加权后的储存节点和正常值的储存节点进行计算，而根据比例可以和预设的标准比例相对应，实现储存节点的加权检验。
当不为预设的标准比例时，通过预设的处理策略库进行处理；
第一优先分级单元：用于当为预设的标准比例时，设置所述储存节点的优先值，并对所述储存节点优先分级；本发明通过将储存节点进行优先级进行评级，得到优先分级的结果。
第一配置单元：用于根据所述优先分级，对所述储存节点进行循环检查，配置所述存储节点的静态负载均衡策略；本发明通过优先分级可以通过循环的方式根据储存节点根据重要程度基于静态负载均衡策略。
第一动态分配单元：用于依次判断所述储存节点的连接方式，并对所述连接方式进行动态检查，动态分配连接地址；通过判断储存节点的连接方式，可以确定储存节点的数据连通通道，进而通过数据连通通道实现地址的调配。
第一动态响应单元：用于依次判断所述储存节点和响应服务器的服务响应时间，并根据所述服务响应时间，动态改变响应服务器；响应时间决定了数据传输速度，因此，基于响应时间，动态改变响应服务器可以提高系统的反应速度。
第三确定单元：用于基于所述动态分配连接地址和动态改变响应服务器，确定所述储存节点的预测性能；
第四确定单元：用于根据所述预测性能，确定所述储存节点的储存性能参数；
第二配置单元：用于根据所述性能参数，配置所述存储节点的动态负载均衡策略。
上述技术方案的有益效果在于：本发明通过判断元数据是否存在异常，可以对元数据进行异常检测，并能够通过处理策略库对元数据的异常进行处理。而不存在异常的元数据通过加权方式，确定每种元数据和标准数据的比例，使得每个储存节点储存的元数据具有了优先分级，而通过优先分级，对数据进行循环处理也有了顺序。因此本发明的静态负载均衡策略主要是用于对元数据的异常进行处理。本发明通过对连接方式的判断和检查，可以确定连接方式的效率，而检查可以确定连接方式是否安全，最终通过动态分配连接地址以保证储存节点安全性。而判断响应时间，改变响应的服务器，可以提高响应速度，并且基于连接方式和响应时间预测储存节点的性能。而通过动态负载均衡策略的处理，实现储存节点的动态控制，进而在两种策略配置后，将储存节点的元数据转换为优化数据。
实施例9：
作为本发明的一种实施例：所述第四确定单元通过以下步骤获得性能参数：
步骤1：获取所述元数据，确定所述元数据的加权特征T：
Figure 703246DEST_PATH_IMAGE061
；
其中，所述
Figure 731245DEST_PATH_IMAGE040
为元数据的数量，所述
Figure 912828DEST_PATH_IMAGE062
表示第
Figure 230064DEST_PATH_IMAGE063
个元数据的第
Figure 129887DEST_PATH_IMAGE064
个数据特征；所述
Figure 695998DEST_PATH_IMAGE006
表示第
Figure 997666DEST_PATH_IMAGE065
个元数据的类型参数，所述
Figure 482874DEST_PATH_IMAGE066
表示第
Figure 869993DEST_PATH_IMAGE067
个数据特征的类型参数；所述
Figure 239794DEST_PATH_IMAGE068
表示所述加权函数，所述
Figure 255024DEST_PATH_IMAGE069
；
Figure 52079DEST_PATH_IMAGE070
；
Figure 660914DEST_PATH_IMAGE071
；
步骤2：根据所述加权特征
Figure 959041DEST_PATH_IMAGE014
和静态负载均衡策略，确定所述元数据的优先值
Figure 969722DEST_PATH_IMAGE072
：
Figure 937678DEST_PATH_IMAGE016
；
Figure 161373DEST_PATH_IMAGE017
；
其中，所述
Figure 872977DEST_PATH_IMAGE052
为异常系数；所述
Figure 738165DEST_PATH_IMAGE019
表示异常判定函数， 当所述
Figure 1656DEST_PATH_IMAGE073
时表示无异常；当所述
Figure 585084DEST_PATH_IMAGE074
时表示有异常；所述
Figure 834800DEST_PATH_IMAGE022
表示优先级判定函数，所述
Figure 820074DEST_PATH_IMAGE075
值越大，优先级越高；所述
Figure 254466DEST_PATH_IMAGE024
表示第
Figure 325190DEST_PATH_IMAGE076
个元数据的第
Figure 378597DEST_PATH_IMAGE077
个数据特征加权值；所 述
Figure 343011DEST_PATH_IMAGE027
表示第
Figure 823671DEST_PATH_IMAGE028
个元数据的加权特征；所述
Figure 116112DEST_PATH_IMAGE029
表示第
Figure 100773DEST_PATH_IMAGE030
个元数据的加权 特征；所述
Figure 795059DEST_PATH_IMAGE031
表示元数据的类型参数的平均值；所述
Figure 446621DEST_PATH_IMAGE032
表示数据特征的类型参数的平均值； 所述
Figure 616571DEST_PATH_IMAGE033
表示数据特征的平均值；
步骤3：根据所述优先值
Figure 11780DEST_PATH_IMAGE015
和动态负载均衡策略，确定所述元数据的性能参数
Figure 560573DEST_PATH_IMAGE078
；
Figure DEST_PATH_IMAGE081
；
其中，所述
Figure 773249DEST_PATH_IMAGE059
表示预存的地址参数；所述
Figure 40282DEST_PATH_IMAGE080
表示所述元数据的响应时间。
上述技术方案的原理和有益效果在于：通过获取元数据，确定元数据的加权特征，加权特征具有预测特性，本发明根据加权特征的预测特性和静态负载均衡策略确定储存节点的元数据的优先值，进而实现优先分级。而通过优先值和动态负载均衡策略可以确定元数据的性能参数。
实施例10：
作为本发明的一种实施例：所述构建模块包括：
第一映射单元：用于根据所述存储节点，确定所述元数据的映射储存区域；
第五确定单元：用于基于所述目录重定向表格，确定所述映射储存区域和所述储存节点的传输路径；
第一构成单元：用于根据所述传输路径，将所述静态负载均衡策略和动态负载均衡策略配置在所述映射储存区域，构成所述数据储存集群。
上述技术方案得到原理在于：本发明基于目录重定向表格，可以对元数据进行划分。本发明在构建元数据储存集群时，可以通过元数据的映射储存区域，将元数据在储存节点上的储存空间、映射储存区域和目录重定向表格相关联，通过建立链接方式，构建数据传输通道，进而实现元数据储存集群构成。
上述技术方案的有益效果在于：本发明通过构建元数据储存集群，实现了数据的集群式管控，而通过集群式的管控方式，实现的元数据调控管理和元数据的优化。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种分布式元数据管理方法，其特征在于，包括：
获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点中；
在所述储存节点上设置静态负载均衡策略和动态负载均衡策略，得到优化元数据；
基于目录重定向表格，确定所述目录重定向表格到存储节点的传输路径，根据所述优化元数据和传输路径，构建静态和动态均衡调控的元数据储存集群；
所述获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点，包括：
通过所述分布式管理系统的元数据服务器提取所述元数据，并识别所述元数据的数据类型；
根据所述数据类型，构建所述元数据的分布式图；
根据所述分布式图，确定所述元数据之间的相关关系；
获取所述分布式管理系统的储存节点，并根据所述相关关系和分布式图，将所述储存节点和所述元数据相对应，确定所述元数据在所述储存节点的对应分布图；
根据所述对应分布图，将所述元数据储存在所述储存节点。
2.根据所述权利要求1所述的一种分布式元数据管理方法，其特征在于，在所述储存节点上通过静态负载均衡策略和动态负载均衡策略，得到优化元数据，包括：
通过所述静态负载均衡策略在所述储存节点检查所述元数据的异常情况，判断所述元数据是否存在异常；
当存在异常时，统计所述异常，并通过预设的处理策略库进行处理；
当不存在异常时，给所述储存节点配置加权值，根据所述加权值，判断所述加权后的储存节点和所述储存节点的正常权值比例是否为预设的标准比例；
当不为预设的标准比例时，通过预设的处理策略库进行处理；
当为预设的标准比例时，设置所述储存节点的优先值，并对所述储存节点优先分级；
根据所述优先分级，对所述储存节点进行循环检查；
通过所述动态负载均衡策略依次判断所述储存节点的连接方式，并对所述连接方式进行动态检查，动态分配连接地址；
依次判断所述储存节点和响应服务器的服务响应时间，并根据所述服务响应时间，动态改变响应服务器；
基于所述动态分配连接地址和动态改变响应服务器，确定所述储存节点的预测性能；
并根据所述预测性能，确定所述储存节点的性能参数；
根据所述性能参数和循环检查，对所述储存节点元数据进行优化，得到优化数据。
3.根据所述权利要求2所述的一种分布式元数据管理方法，其特征在于，所述性能参数通过以下步骤获得，包括：
步骤1：获取所述元数据，确定所述元数据的加权特征
Figure DEST_PATH_IMAGE001
：
Figure 469819DEST_PATH_IMAGE002
；
其中，所述
Figure DEST_PATH_IMAGE003
为元数据的数量，所述
Figure 502497DEST_PATH_IMAGE004
表示第
Figure DEST_PATH_IMAGE005
个元数据的第
Figure DEST_PATH_IMAGE007
个数据特征；所述
Figure 437086DEST_PATH_IMAGE008
表示第
Figure 541308DEST_PATH_IMAGE005
个元数据的类型参数，所述
Figure DEST_PATH_IMAGE009
表示第
Figure 838428DEST_PATH_IMAGE007
个数据特征的类型参数；所述
Figure 307587DEST_PATH_IMAGE010
表示所述加权函数，所述
Figure DEST_PATH_IMAGE011
；
Figure 588527DEST_PATH_IMAGE012
；
Figure DEST_PATH_IMAGE013
；
步骤2：根据所述加权特征
Figure 371806DEST_PATH_IMAGE001
和静态负载均衡策略，确定所述元数据的优先值
Figure 116908DEST_PATH_IMAGE014
：
Figure DEST_PATH_IMAGE015
；
Figure DEST_PATH_IMAGE017
；
其中，所述
Figure 163493DEST_PATH_IMAGE018
为异常系数；所述
Figure DEST_PATH_IMAGE019
表示异常判定函数，当所述
Figure 666149DEST_PATH_IMAGE020
时表示无异常；当所述
Figure DEST_PATH_IMAGE021
时表示有异常；所述
Figure 784278DEST_PATH_IMAGE022
表示优先级判定函数，所述
Figure DEST_PATH_IMAGE023
值越大，优先级越高；所述
Figure 321570DEST_PATH_IMAGE024
表示第
Figure DEST_PATH_IMAGE025
个元数据的第
Figure 866952DEST_PATH_IMAGE007
个数据特征加权值；所述
Figure 364626DEST_PATH_IMAGE026
表示第
Figure 286445DEST_PATH_IMAGE005
个元数据的加权特征；所述
Figure DEST_PATH_IMAGE027
)表示第（
Figure 943823DEST_PATH_IMAGE028
个元数据的加权特征；所述
Figure DEST_PATH_IMAGE029
表示元数据的类型参数的平均值；所述
Figure 863368DEST_PATH_IMAGE030
表示数据特征的类型参数的平均值；所述
Figure DEST_PATH_IMAGE031
表示数据特征的平均值；
步骤3：根据所述优先值
Figure 606196DEST_PATH_IMAGE014
和动态负载均衡策略，确定所述元数据的性能参数
Figure 597286DEST_PATH_IMAGE032
；
Figure 109170DEST_PATH_IMAGE034
其中，所述
Figure DEST_PATH_IMAGE035
表示预存的地址参数；所述
Figure 199617DEST_PATH_IMAGE036
表示所述元数据的响应时间。
4.根据所述权利要求1所述的一种分布式元数据管理方法，其特征在于，所述基于目录重定向表格，确定所述目录重定向表格到存储节点的传输路径，根据所述优化元数据和传输路径，构建静态和动态均衡调控的元数据储存集群，包括：
根据所述存储节点，确定所述元数据的映射储存区域；
基于所述目录重定向表格，确定所述映射储存区域和所述储存节点的传输路径；
根据所述传输路径，将所述静态负载均衡策略和动态负载均衡策略配置在所述映射储存区域，构成所述数据储存集群。
5.一种分布式元数据管理系统，其特征在于，包括：
获取模块：用于获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点；
优化模块：用于在所述储存节点上通过静态负载均衡策略和动态负载均衡策略，得到优化元数据；
构建模块：用于基于目录重定向表格确定所述目录重定向表格到存储节点的路径，根据所述优化元数据，构建静态和动态均衡调控的元数据储存集群；
所述获取模块包括：
第一识别单元：用于通过所述分布式管理系统的元数据服务器提取所述元数据，并识别所述元数据的数据类型；
第一构建单元：用于根据所述数据类型，构建所述元数据的分布式图；
第一确定单元：用于根据所述分布式图，确定所述元数据之间的相关关系；
第二确定单元：用于获取所述分布式管理系统的储存节点，并根据所述相关关系和分布式图，将所述储存节点和所述元数据相对应，确定所述元数据在所述储存节点的对应分布图；
第一储存单元：用于根据所述对应分布图，将所述元数据储存在所述储存节点。
6.根据所述权利要求5所述的一种分布式元数据管理系统，其特征在于，所述优化模块包括：
第一异常判断单元：用于通过所述静态负载均衡策略在所述储存节点检查所述元数据的异常情况，判断所述元数据是否存在异常；
当存在异常时，统计所述异常，并通过预设的处理策略库进行处理；
当不存在异常时，给所述储存节点配置加权值，根据所述加权值，判断所述加权后的储存节点和所述储存节点的正常权值比例是否为预设的标准比例；
当不为预设的标准比例时，通过预设的处理策略库进行处理；
第一优先分级单元：用于当为预设的标准比例时，设置所述储存节点的优先值，并对所述储存节点优先分级；
第一配置单元：用于根据所述优先分级，对所述储存节点进行循环检查；
第一动态分配单元：用于通过所述动态负载均衡策略依次判断所述储存节点的连接方式，并对所述连接方式进行动态检查，动态分配连接地址；
第一动态响应单元：用于依次判断所述储存节点和响应服务器的服务响应时间，并根据所述服务响应时间，动态改变响应服务器；
第三确定单元：用于基于所述动态分配连接地址和动态改变响应服务器，确定所述储存节点的预测性能；
第四确定单元：用于根据所述预测性能，确定所述储存节点的性能参数；
优化单元：用于根据所述性能参数和循环检查，对所述储存节点元数据进行优化，得到优化数据。
7.根据所述权利要求6所述的一种分布式元数据管理系统，其特征在于，所述第四确定单元通过以下步骤获得性能参数，包括：
步骤1：获取所述元数据，确定所述元数据的加权特征
Figure 164162DEST_PATH_IMAGE001
：
Figure 755680DEST_PATH_IMAGE002
；
其中，所述
Figure 122070DEST_PATH_IMAGE003
为元数据的数量，所述
Figure 508052DEST_PATH_IMAGE004
表示第
Figure 428735DEST_PATH_IMAGE005
个元数据的第
Figure DEST_PATH_IMAGE037
个数据特征；所述
Figure 433731DEST_PATH_IMAGE008
表示第
Figure 716945DEST_PATH_IMAGE005
个元数据的类型参数，所述
Figure 477091DEST_PATH_IMAGE009
表示第
Figure 478545DEST_PATH_IMAGE037
个数据特征的类型参数；所述
Figure 349549DEST_PATH_IMAGE010
表示所述加权函数，所述
Figure 690531DEST_PATH_IMAGE011
；
Figure 683895DEST_PATH_IMAGE012
；
Figure 110328DEST_PATH_IMAGE013
；
步骤2：根据所述加权特征
Figure 581761DEST_PATH_IMAGE001
和静态负载均衡策略，确定所述元数据的优先值
Figure 777250DEST_PATH_IMAGE014
：
Figure 941515DEST_PATH_IMAGE015
；
Figure DEST_PATH_IMAGE039
；
其中，所述
Figure 527349DEST_PATH_IMAGE018
为异常系数；所述
Figure 802472DEST_PATH_IMAGE019
表示异常判定函数，当所述
Figure 118047DEST_PATH_IMAGE020
时表示无异常；当所述
Figure 187634DEST_PATH_IMAGE021
时表示有异常；所述
Figure 588660DEST_PATH_IMAGE040
表示优先级判定函数，所述
Figure 605157DEST_PATH_IMAGE023
值越大，优先级越高；所述
Figure DEST_PATH_IMAGE041
表示第
Figure 509659DEST_PATH_IMAGE025
个元数据的第
Figure 750148DEST_PATH_IMAGE007
个数据特征加权值；所述
Figure 638469DEST_PATH_IMAGE026
表示第
Figure 458658DEST_PATH_IMAGE005
个元数据的加权特征；所述
Figure 279983DEST_PATH_IMAGE027
)表示第（
Figure 956952DEST_PATH_IMAGE028
个元数据的加权特征；所述
Figure 66991DEST_PATH_IMAGE029
表示元数据的类型参数的平均值；所述
Figure 690870DEST_PATH_IMAGE030
表示数据特征的类型参数的平均值；所述
Figure 835544DEST_PATH_IMAGE031
表示数据特征的平均值；
步骤3：根据所述优先值
Figure 417835DEST_PATH_IMAGE014
和动态负载均衡策略，确定所述元数据的性能参数
Figure 15169DEST_PATH_IMAGE032
；
Figure DEST_PATH_IMAGE043
其中，所述
Figure 646002DEST_PATH_IMAGE035
表示预存的地址参数；所述
Figure 707499DEST_PATH_IMAGE036
表示所述元数据的响应时间。
8.根据所述权利要求5所述的一种分布式元数据管理系统，其特征在于，所述构建模块包括：
第一映射单元：用于根据所述存储节点，确定所述元数据的映射储存区域；
第五确定单元：用于基于所述目录重定向表格，确定所述映射储存区域和所述储存节点的传输路径；
第一构成单元：用于根据所述传输路径，将所述静态负载均衡策略和动态负载均衡策略配置在所述映射储存区域，构成所述数据储存集群。
CN202010840008.4A 2020-08-20 2020-08-20 一种分布式元数据管理方法和系统 Active CN111737017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010840008.4A CN111737017B (zh) 2020-08-20 2020-08-20 一种分布式元数据管理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010840008.4A CN111737017B (zh) 2020-08-20 2020-08-20 一种分布式元数据管理方法和系统

Publications (2)

Publication Number Publication Date
CN111737017A CN111737017A (zh) 2020-10-02
CN111737017B true CN111737017B (zh) 2020-12-18

Family

ID=72658568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010840008.4A Active CN111737017B (zh) 2020-08-20 2020-08-20 一种分布式元数据管理方法和系统

Country Status (1)

Country Link
CN (1) CN111737017B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404238A (zh) * 2011-12-31 2012-04-04 曙光信息产业股份有限公司 负载均衡方法和装置、以及服务器系统
CN104052677A (zh) * 2013-03-14 2014-09-17 阿里巴巴集团控股有限公司 单一数据源的软负载均衡方法和装置
CN106599308A (zh) * 2016-12-29 2017-04-26 郭晓凤 一种分布式元数据管理方法及系统
CN109218355A (zh) * 2017-06-30 2019-01-15 华为技术有限公司 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942301B (zh) * 2014-04-16 2017-02-15 华中科技大学 一种面向多数据类型访问应用的分布式文件系统
KR102366778B1 (ko) * 2015-10-07 2022-02-24 한국전자통신연구원 가상화 서버 클러스터의 부하 분배 및 전력 관리 장치 및 그 방법
KR20180064876A (ko) * 2016-12-06 2018-06-15 한국전자통신연구원 분산 인메모리 데이터베이스 시스템 및 그의 데이터베이스 관리 방법
CN109407989B (zh) * 2018-10-18 2022-02-18 郑州云海信息技术有限公司 一种元数据刷写的方法和装置
CN111338801B (zh) * 2020-02-29 2022-12-23 苏州浪潮智能科技有限公司 一种实现元数据负载均衡的子树迁移方法、装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404238A (zh) * 2011-12-31 2012-04-04 曙光信息产业股份有限公司 负载均衡方法和装置、以及服务器系统
CN104052677A (zh) * 2013-03-14 2014-09-17 阿里巴巴集团控股有限公司 单一数据源的软负载均衡方法和装置
CN106599308A (zh) * 2016-12-29 2017-04-26 郭晓凤 一种分布式元数据管理方法及系统
CN109218355A (zh) * 2017-06-30 2019-01-15 华为技术有限公司 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法

Also Published As

Publication number Publication date
CN111737017A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
Yao et al. Fog resource provisioning in reliability-aware IoT networks
US7203943B2 (en) Dynamic allocation of processing tasks using variable performance hardware platforms
CN103077197A (zh) 一种数据存储方法装置
CN101938504A (zh) 集群服务器智能调度的方法及系统
JP2007133586A (ja) リソース割当調停装置およびリソース割当調停方法
CN111787060B (zh) 一种流量调度方法、系统及装置
CN103746934A (zh) 一种cdn带宽平衡的方法、cdn控制中心及系统
KR101411321B1 (ko) 액티브 노드와 유사한 특성을 가지는 이웃 노드의 관리방법, 장치 및 그 방법을 구현하기 위한 프로그램이 기록된기록매체
US7308494B1 (en) Reprovisioning technique for an interconnect fabric design
CN107291539A (zh) 基于资源重要程度的集群程序调度方法
CN112272217A (zh) 一种kafka集群负载均衡方法、系统、设备以及介质
CN104202428A (zh) 分布式文件存储系统及文件存储方法
CN103034267A (zh) 用于控制设施装置的设备和方法
CN111614760A (zh) 一种将物联网设备均衡分配接入的方法及装置
EP4170491A1 (en) Resource scheduling method and apparatus, electronic device, and computer-readable storage medium
CN111737017B (zh) 一种分布式元数据管理方法和系统
CN107193940A (zh) 大数据优化分析方法
EP0547992A2 (en) Method and system for enhanced efficiency of data recovery in balanced tree memory structures
US7647592B2 (en) Methods and systems for assigning objects to processing units
CN108063814A (zh) 一种负载均衡方法及装置
CN108259583B (zh) 一种数据动态迁移方法及装置
CN115061811A (zh) 一种资源调度方法、装置、设备及存储介质
CN103841185B (zh) 负载均衡方法和装置
CN113886173A (zh) 多节点分布式集群的监控的方法、装置、设备及可读介质
CN111382196B (zh) 分布式账务处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 311, main building, 139 Fengtai Road crossing, Fengtai District, Beijing

Patentee after: BEIJING TONGTECH Co.,Ltd.

Patentee after: Beijing dongfangtong Software Co.,Ltd.

Patentee after: Beijing Dongfang tongwangxin Technology Co.,Ltd.

Patentee after: BEIJING TESTOR TECHNOLOGY Co.,Ltd.

Address before: Room 311, main building, 139 Fengtai Road crossing, Fengtai District, Beijing

Patentee before: BEIJING TONGTECH Co.,Ltd.

Patentee before: Beijing dongfangtong Software Co.,Ltd.

Patentee before: BEIJING MICROVISION TECHNOLOGY Co.,Ltd.

Patentee before: BEIJING TESTOR TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder