CN112187875A - 一种分布式系统多目标集群挂载策略自动匹配方法、系统 - Google Patents

一种分布式系统多目标集群挂载策略自动匹配方法、系统 Download PDF

Info

Publication number
CN112187875A
CN112187875A CN202010943552.1A CN202010943552A CN112187875A CN 112187875 A CN112187875 A CN 112187875A CN 202010943552 A CN202010943552 A CN 202010943552A CN 112187875 A CN112187875 A CN 112187875A
Authority
CN
China
Prior art keywords
strategy
distributed system
mounting strategy
mounting
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010943552.1A
Other languages
English (en)
Other versions
CN112187875B (zh
Inventor
崔新辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010943552.1A priority Critical patent/CN112187875B/zh
Publication of CN112187875A publication Critical patent/CN112187875A/zh
Application granted granted Critical
Publication of CN112187875B publication Critical patent/CN112187875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分布式系统多目标集群挂载策略自动匹配方法、系统，所述方法包括如下步骤：分布式系统客户端向路由器提交写文件的请求；接收到请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端；分布式系统客户端接收到最优挂载策略时，判断策略是否需要修改；若是，则执行策略修改命令；将修改的路径策略存入状态存储模块；路由器从状态存储模块中查询符合要求的子集群，并转发请求至运行的管理节点，开始执行文件写入操作；若否，则转发请求至运行的管理节点，开始执行文件写入操作。不仅可以保证负载均衡，合理使用集群资源，提高文件读写性能。

Description

一种分布式系统多目标集群挂载策略自动匹配方法、系统
技术领域
本发明涉及分布式系统存储技术领域，具体涉及一种分布式系统多目标集群挂载策略自动匹配方法、系统。
背景技术
在Hadoop中，Namenode在内存中存储的元数据(文件+块)数目会受到Namenode所在JVM的heap size的限制，需要增大集群存储能力，必然需要扩展Namenode，但NameNode内存纵向扩展会导致服务启动花费的时间过长，以50GB的数据为例，服务的启动时间需要半个小时以上；Full GC频率增加且风险增高，应用的停顿时间将达到数百秒。为解决Namenode纵向扩展的弊端，Hadoop先后发布了HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)Federation和Hadoop RBF(Router-based Federation，基于路由的联邦)进行水平扩展Namenode。无论是Hadoop-HDFS-Federation的ViewFS阶段和RBF前期，Mount table支持的映射模式为1对1，即一个虚拟路径地址对应一个实际子集群地址。在这种挂载模式下，当写入的数据量过大时，挂载的集群会出现容量用完，子集群出现高负载，HDFS集群出现负载失衡。
为解决单一集群出现的高负载现象，实现负载均衡，Hadoop RBF从原有的虚拟路径至实际集群路径的1对1映射模式优化为目前的支持多目标集群挂载，并在逻辑实现时提供了HASH、LOCAL、RANDOM、HASH_ALL、SPACE等五种不同策略算法。用户可根据自身需求指定多目标挂载策略，假如挂载路径待写入少量的文件并且需要执行多次read操作，则用户可摒弃RANDOM策略而选择LOCAL策略，因为RANDOM策略调用随机生成函数，将存储数据随机放入某些子集群，对这些文件进行read操作时需要遍历所有子集群，严重降低性能。而LOCAL策略会维护一套【IP,集群id】的映射关系，在客户端发起请求时，进行映射判断，选择最近的集群。
但是由用户主动指定多目标集群挂载策略在虽然可以提高用户使用灵活度，但也有一定的弊端。假如用户对Hadoop RBF多目标挂载策略研究不深，在挂载时未指定挂载策略，系统会以默认策略进行挂载，而此默认挂载策略并不是最优策略，则会影响数据读写性能。
发明内容
针对由用户主动指定多目标集群挂载策略在虽然可以提高用户使用灵活度，但也有一定的弊端。假如用户对Hadoop RBF多目标挂载策略研究不深，在挂载时未指定挂载策略，系统会以默认策略进行挂载，而此默认挂载策略并不是最优策略，则会影响数据读写性能的问题，本发明一种分布式系统多目标集群挂载策略自动匹配方法、系统。
本发明的技术方案是：
一方面，本发明技术方案提供一种分布式系统多目标集群挂载策略自动匹配方法，包括如下步骤：
分布式系统客户端向路由器提交写文件的请求；
接收到请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端；
分布式系统客户端接收到最优挂载策略时，判断策略是否需要修改；
若策略需要修改，则执行策略修改命令；将修改的路径策略存入状态存储模块；路由器从状态存储模块中查询符合要求的子集群，并转发请求至运行的管理节点，开始执行文件写入操作；
若策略不需要修改，则转发请求至运行的管理节点，开始执行文件写入操作。根据写入信息自动的分析出最优策略并提示用户是否修改，不仅可以保证负载均衡，合理使用集群资源，提高文件读写性能。
进一步的，接收到请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端的步骤包括：
判断发送请求的分布式系统客户端路径是否被指定挂载策略；
当分布式系统客户端路径被指定挂载策略时，按照指定策略执行文件写入操作；
当分布式系统客户端路径未指定挂载策略时，状态存储模块中的策略信息为默认策略并做标记；
路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端。不仅在用户指定策略时按照指定策略进行存储，更在用户未指定策略时，能够自适应的转换为较优的挂载策略，使得集群资源得到合理应用，实现集群负载均衡，同时能提高写入进去文件的读写速度，也体现了用户友好性。
进一步的，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端的步骤包括：
当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端。
进一步的，当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端的步骤包括：
当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息并查询符合要求的子集群；
根据挂载策略信息判断是否为默认策略；
若是，路由器根据挂载策略信息分析最优挂载策略并发送至分布式系统客户端；
若否，则转发请求至运行的管理节点，开始执行文件写入操作。一定程度上保证写入HDFS文件的读写能力。
进一步的，路由器根据挂载策略信息分析最优挂载策略并发送至分布式系统客户端的步骤包括：
路由器发送查询待挂载路径要存储的数据类型的请求到分布式系统客户端；
若路由器接收到分布式系统客户端返回的数据类型为第一使用频率段的数据或第三使用频率段的数据时，则再次发送查询存储数据量的请求到分布式系统客户端；
路由器接收到分布式系统客户端返回的存储数据量后，根据数据类型以及对应的存储数据量查询策略表获取最优挂载策略，并发送至分布式系统客户端。
进一步的，路由器发送查询待挂载路径要存储的数据类型的请求到分布式系统客户端的步骤之后还包括：
若路由器接收到分布式系统客户端返回的数据类型为第二使用频率段的数据时，路由器根据数据类型查询策略表获取最优挂载策略，并发送至分布式系统客户端。
另一方面，本发明技术方案提供一种分布式系统多目标集群挂载策略自动匹配系统，包括分布式系统客户端、路由器、状态存储模块和管理节点；
分布式系统客户端，用于向路由器提交写文件的请求；接收路由器发送的最优挂载策略；还用于接收到最优挂载策略时，判断策略是否需要修改；还用于若策略需要修改，则执行策略修改命令并将修改的路径策略存入状态存储模块；还用于若策略不需要修改，则转发请求至运行的管理节点；
路由器，用于接收到请求后，从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端；还用于从状态存储模块中查询符合要求的子集群，并转发请求至运行的管理节点；
管理节点，用于接收到转发的请求时，开始执行文件写入操作；
进一步的，该系统还包括判断模块；
判断模块，用于判断发送请求的分布式系统客户端路径是否被指定挂载策略；
分布式系统客户端，用于当分布式系统客户端路径被指定挂载策略时，按照指定策略执行文件写入操作；
路由器，用于当分布式系统客户端路径未指定挂载策略时，从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端。
进一步的，路由器包括查询模块、策略类型判断模块、最优挂载策略发送模块、转发模块；
查询模块，用于当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，从状态存储模块中查询分布式系统客户端路径的挂载策略信息并查询符合要求的子集群；
策略类型判断模块，用于根据挂载策略信息判断是否为默认策略；
最优挂载策略发送模块，用于若策略类型判断模块输出为默认策略时，根据挂载策略信息分析最优挂载策略并发送至分布式系统客户端；
转发模块，用于若策略类型判断模块输出为非默认策略时，则转发请求至运行的管理节点。
进一步的，最优挂载策略发送模块包括查询请求发送单元、接收单元、最优挂载策略生成单元和最优挂载策略发送单元；
查询请求发送单元，用于发送查询待挂载路径要存储的数据类型的请求到分布式系统客户端；还用于若接收单元接收到分布式系统客户端返回的数据类型为第一使用频率段的数据或第三使用频率段的数据时，则再次发送查询存储数据量的请求到分布式系统客户端；
接收单元，用于接收分布式系统客户端返回的查询信息；
查询请求发送单元；
最优挂载策略生成单元，用于接收到分布式系统客户端返回的存储数据量后，根据数据类型以及对应的存储数据量查询策略表获取最优挂载策略；
最优挂载策略发送单元，用于将最优挂载策略发送至分布式系统客户端。
从以上技术方案可以看出，本发明具有以下优点：提出的多目标集群挂载策略的自动匹配方案，与现有的多目标挂载策略相比，不仅支持用户自主制定挂载策略，而且利用五种策略各自优势，帮助未指定策略的用户选择最优的挂载策略，合理利用集群资源，一定程度上保证写入HDFS文件的读写能力，也体现了用户友好性。在用户未指定挂载策略时，根据写入信息自动的分析出最优策略并提示用户是否修改，不仅可以保证负载均衡，合理使用集群资源，提高文件读写性能。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的方法的示意性流程图。
图3是本发明一个实施例的方法的示意性流程图。
图4是本发明一个实施例的系统的示意性框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。下面对本发明中出现的关键术语进行解释。
如图1所示，本发明实施例提供一种分布式系统多目标集群挂载策略自动匹配方法，包括如下步骤：
S1：分布式系统客户端向路由器提交写文件的请求；
S2：接收到请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息；
S3：根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端；
S4：分布式系统客户端接收最优挂载策略；
S5：判断策略是否需要修改；若是执行步骤S6，若否，执行步骤S9；
S6：执行策略修改命令；
S7：将修改的路径策略存入状态存储模块；
S8：路由器从状态存储模块中查询符合要求的子集群；
S9：转发请求至运行的管理节点，开始执行文件写入操作；
如图2所示，在有些实施例中，步骤S2具体包括：
S21：接收分布式系统客户端提交的请求；
S22：判断发送请求的分布式系统客户端路径是否被指定挂载策略；若是，执行步骤S23,若否，执行步骤S24；
S23：按照指定策略执行文件写入操作；
S24：状态存储模块中的策略信息为默认策略并做标记；执行步骤S25；
S25：路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息。
需要说明的是，当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端。
在有些实施例中，步骤S2中，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息的步骤之后还包括：
S26：根据挂载策略信息判断是否为默认策略；若是，执行步骤S3，若否，执行步骤S9。
如图3所示，在有些实施例中，步骤S3中，根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端的步骤包括：
S31：路由器发送查询待挂载路径要存储的数据类型的请求到分布式系统客户端；
S32：接收分布式系统客户端返回的数据类型；
S33：对接收到的数据类型进行判断，若为第一使用频率段的数据或第三使用频率段的数据时，执行步骤S34；若为第二使用频率段的数据时，执行步骤S37；
S34：再次发送查询存储数据量的请求到分布式系统客户端；
S35：路由器接收分布式系统客户端返回的存储数据量；
S36：根据数据类型以及对应的存储数据量查询策略表获取最优挂载策略，并发送至分布式系统客户端；
S37：路由器根据数据类型查询策略表获取最优挂载策略，并发送至分布式系统客户端。
在这里需要说明的是，第一使用频率段的数据为热数据、第三使用频率段的数据为冷数据、第二使用频率段的数据为温数据；也就是，路由器发送查询待挂载路径要存储的数据类型的请求到分布式系统客户端；
若路由器接收到分布式系统客户端返回的数据类型为热数据或冷数据时，则再次发送查询存储数据量的请求到分布式系统客户端；路由器接收到分布式系统客户端返回的存储数据量后，根据数据类型以及对应的存储数据量查询策略表(如表1所示)获取最优挂载策略，并发送至分布式系统客户端。若路由器接收到分布式系统客户端返回的数据类型为温数据时，路由器根据数据类型查询策略表获取最优挂载策略，并发送至分布式系统客户端。
表1-策略表
RANDOM LOCAL HASH HASH_ALL SPACE
冷数据 √(大数据) √(小数据)
热数据 √(小数据) √(大数据)
温数据 √
具体的，数据类型为冷数据并且存储数据量为大数据时，选择RANDOM挂载策略为最优策略；数据类型为冷数据并且存储数据量为小数据时选择SPACE挂载策略为最优策略；数据类型为热数据并且存储数据量为大数据时，选择HASH_ALL挂载策略为最优策略；数据类型为热数据并且存储数据量为小数据时选择LOCAL挂载策略为最优策略；数据类型为温数据时选择HASH挂载策略为最优策略；并发送至分布式系统客户端。
如图4所示，本发明技术方案提供一种分布式系统多目标集群挂载策略自动匹配系统，包括分布式系统客户端、路由器、状态存储模块和管理节点；
分布式系统客户端，用于向路由器提交写文件的请求；接收路由器发送的最优挂载策略；还用于接收到最优挂载策略时，判断策略是否需要修改；还用于若策略需要修改，则执行策略修改命令并将修改的路径策略存入状态存储模块；还用于若策略不需要修改，则转发请求至运行的管理节点；
路由器，用于接收到请求后，从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端；还用于从状态存储模块中查询符合要求的子集群，并转发请求至运行的管理节点；
管理节点，用于接收到转发的请求时，开始执行文件写入操作；
在有些实施例中，该系统还包括判断模块；
判断模块，用于判断发送请求的分布式系统客户端路径是否被指定挂载策略；
分布式系统客户端，用于当分布式系统客户端路径被指定挂载策略时，按照指定策略执行文件写入操作；
路由器，用于当分布式系统客户端路径未指定挂载策略时，从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端。
在有些实施例中，路由器包括查询模块、策略类型判断模块、最优挂载策略发送模块、转发模块；
查询模块，用于当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，从状态存储模块中查询分布式系统客户端路径的挂载策略信息并查询符合要求的子集群；
策略类型判断模块，用于根据挂载策略信息判断是否为默认策略；
最优挂载策略发送模块，用于若策略类型判断模块输出为默认策略时，根据挂载策略信息分析最优挂载策略并发送至分布式系统客户端；
转发模块，用于若策略类型判断模块输出为非默认策略时，则转发请求至运行的管理节点。
在有些实施例中，最优挂载策略发送模块包括查询请求发送单元、接收单元、最优挂载策略生成单元和最优挂载策略发送单元；
查询请求发送单元，用于发送查询待挂载路径要存储的数据类型的请求到分布式系统客户端；还用于若接收单元接收到分布式系统客户端返回的数据类型为第一使用频率段的数据或第三使用频率段的数据时，则再次发送查询存储数据量的请求到分布式系统客户端；
接收单元，用于接收分布式系统客户端返回的查询信息；
查询请求发送单元；
最优挂载策略生成单元，用于接收到分布式系统客户端返回的存储数据量后，根据数据类型以及对应的存储数据量查询策略表获取最优挂载策略；
最优挂载策略发送单元，用于将最优挂载策略发送至分布式系统客户端。当路径被指定挂载策略时，按照指定策略存储文件；当路径未指定挂载策略时，状态存储模块中的策略信息为默认策略，如HASH_ALL并做标记。当有客户端向该未指定策略路径写入文件时，路由器向状态存储模块中查询挂载信息，若查询出该路径为默认路径，则路由器根据信息分析最优的挂载策略并反馈用户，询问是否修改策略，此操作可避免不指定策略是用户刻意为之的现象，若修改则用户根据提示执行修改策略语句，此时挂载策略会被保存至状态存储模块，然后路由器向状态存储模块查询符合要求的子集群，最后转发请求至对应的隐形的管理节点后，开始执行文件写入流程。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种分布式系统多目标集群挂载策略自动匹配方法，其特征在于，包括如下步骤：
分布式系统客户端向路由器提交写文件的请求；
接收到请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端；
分布式系统客户端接收到最优挂载策略时，判断策略是否需要修改；
若是，则执行策略修改命令；将修改的路径策略存入状态存储模块；路由器从状态存储模块中查询符合要求的子集群，并转发请求至运行的管理节点，开始执行文件写入操作；
若否，则转发请求至运行的管理节点，开始执行文件写入操作。
2.根据权利要求1所述的分布式系统多目标集群挂载策略自动匹配方法，其特征在于，接收到请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端的步骤包括：
判断发送请求的分布式系统客户端路径是否被指定挂载策略；
当分布式系统客户端路径被指定挂载策略时，按照指定策略执行文件写入操作；
当分布式系统客户端路径未指定挂载策略时，状态存储模块中的策略信息为默认策略并做标记；
路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端。
3.根据权利要求2所述的分布式系统多目标集群挂载策略自动匹配方法，其特征在于，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端的步骤包括：
当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端。
4.根据权利要求3所述的分布式系统多目标集群挂载策略自动匹配方法，其特征在于，当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端的步骤包括：
当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，路由器从状态存储模块中查询分布式系统客户端路径的挂载策略信息并查询符合要求的子集群；
根据挂载策略信息判断是否为默认策略；
若是，路由器根据挂载策略信息分析最优挂载策略并发送至分布式系统客户端；
若否，则转发请求至运行的管理节点，开始执行文件写入操作。
5.根据权利要求4所述的分布式系统多目标集群挂载策略自动匹配方法，其特征在于，路由器根据挂载策略信息分析最优挂载策略并发送至分布式系统客户端的步骤包括：
路由器发送查询待挂载路径要存储的数据类型的请求到分布式系统客户端；
若路由器接收到分布式系统客户端返回的数据类型为第一使用频率段的数据或第三使用频率段的数据时，则再次发送查询存储数据量的请求到分布式系统客户端；
路由器接收到分布式系统客户端返回的存储数据量后，根据数据类型以及对应的存储数据量查询策略表获取最优挂载策略，并发送至分布式系统客户端。
6.根据权利要求4所述的分布式系统多目标集群挂载策略自动匹配方法，其特征在于，路由器发送查询待挂载路径要存储的数据类型的请求到分布式系统客户端的步骤之后还包括：
若路由器接收到分布式系统客户端返回的数据类型为第二使用频率段的数据时，路由器根据数据类型查询策略表获取最优挂载策略，并发送至分布式系统客户端。
7.一种分布式系统多目标集群挂载策略自动匹配系统，其特征在于，包括分布式系统客户端、路由器、状态存储模块和管理节点；
分布式系统客户端，用于向路由器提交写文件的请求；接收路由器发送的最优挂载策略；还用于接收到最优挂载策略时，判断策略是否需要修改；还用于若策略需要修改，则执行策略修改命令并将修改的路径策略存入状态存储模块；还用于若策略不需要修改，则转发请求至运行的管理节点；
路由器，用于接收到请求后，从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端；还用于从状态存储模块中查询符合要求的子集群，并转发请求至运行的管理节点；
管理节点，用于接收到转发的请求时，开始执行文件写入操作。
8.根据权利要求7所述的分布式系统多目标集群挂载策略自动匹配系统，其特征在于，该系统还包括判断模块；
判断模块，用于判断发送请求的分布式系统客户端路径是否被指定挂载策略；
分布式系统客户端，用于当分布式系统客户端路径被指定挂载策略时，按照指定策略执行文件写入操作；
路由器，用于当分布式系统客户端路径未指定挂载策略时，从状态存储模块中查询分布式系统客户端路径的挂载策略信息，并根据查询的挂载策略信息分析出最优挂载策略发送至分布式系统客户端。
9.根据权利要求8所述的分布式系统多目标集群挂载策略自动匹配系统，其特征在于，路由器包括查询模块、策略类型判断模块、最优挂载策略发送模块、转发模块；
查询模块，用于当接收到路径未指定挂载策略的分布式系统客户端的写入文件请求后，从状态存储模块中查询分布式系统客户端路径的挂载策略信息并查询符合要求的子集群；
策略类型判断模块，用于根据挂载策略信息判断是否为默认策略；
最优挂载策略发送模块，用于若策略类型判断模块输出为默认策略时，根据挂载策略信息分析最优挂载策略并发送至分布式系统客户端；
转发模块，用于若策略类型判断模块输出为非默认策略时，则转发请求至运行的管理节点。
10.根据权利要求9所述的分布式系统多目标集群挂载策略自动匹配系统，其特征在于，最优挂载策略发送模块包括查询请求发送单元、接收单元、最优挂载策略生成单元和最优挂载策略发送单元；
查询请求发送单元，用于发送查询待挂载路径要存储的数据类型的请求到分布式系统客户端；还用于若接收单元接收到分布式系统客户端返回的数据类型为第一使用频率段的数据或第三使用频率段的数据时，则再次发送查询存储数据量的请求到分布式系统客户端；
接收单元，用于接收分布式系统客户端返回的查询信息；
查询请求发送单元；
最优挂载策略生成单元，用于接收到分布式系统客户端返回的存储数据量后，根据数据类型以及对应的存储数据量查询策略表获取最优挂载策略；
最优挂载策略发送单元，用于将最优挂载策略发送至分布式系统客户端。
CN202010943552.1A 2020-09-09 2020-09-09 一种分布式系统多目标集群挂载策略自动匹配方法、系统 Active CN112187875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010943552.1A CN112187875B (zh) 2020-09-09 2020-09-09 一种分布式系统多目标集群挂载策略自动匹配方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010943552.1A CN112187875B (zh) 2020-09-09 2020-09-09 一种分布式系统多目标集群挂载策略自动匹配方法、系统

Publications (2)

Publication Number Publication Date
CN112187875A true CN112187875A (zh) 2021-01-05
CN112187875B CN112187875B (zh) 2022-05-13

Family

ID=73920404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010943552.1A Active CN112187875B (zh) 2020-09-09 2020-09-09 一种分布式系统多目标集群挂载策略自动匹配方法、系统

Country Status (1)

Country Link
CN (1) CN112187875B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986621A (zh) * 2021-12-29 2022-01-28 深圳市科力锐科技有限公司 数据备份性能的优化方法、装置、设备及存储介质
CN114697353A (zh) * 2022-05-27 2022-07-01 邹平市供电有限公司 一种分布式存储集群电网数据存储控制方法
CN116743511A (zh) * 2023-08-15 2023-09-12 中移(苏州)软件技术有限公司 一种鉴权方法、装置、服务器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387048A (zh) * 2011-10-25 2012-03-21 中兴通讯股份有限公司 一种用于分布式文件系统的监控方法及分布式文件系统
CN105162878A (zh) * 2015-09-24 2015-12-16 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法
CN107145531A (zh) * 2017-04-18 2017-09-08 北京思特奇信息技术股份有限公司 分布式文件系统及分布式文件系统的用户管理方法
CN107944010A (zh) * 2017-12-08 2018-04-20 新浪网技术(中国)有限公司 一种分布式文件系统中读写文件的方法和装置
CN111177105A (zh) * 2019-12-29 2020-05-19 浪潮电子信息产业股份有限公司 分布式文件系统的海量文件写方法、装置、系统及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387048A (zh) * 2011-10-25 2012-03-21 中兴通讯股份有限公司 一种用于分布式文件系统的监控方法及分布式文件系统
CN105162878A (zh) * 2015-09-24 2015-12-16 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法
CN107145531A (zh) * 2017-04-18 2017-09-08 北京思特奇信息技术股份有限公司 分布式文件系统及分布式文件系统的用户管理方法
CN107944010A (zh) * 2017-12-08 2018-04-20 新浪网技术(中国)有限公司 一种分布式文件系统中读写文件的方法和装置
CN111177105A (zh) * 2019-12-29 2020-05-19 浪潮电子信息产业股份有限公司 分布式文件系统的海量文件写方法、装置、系统及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986621A (zh) * 2021-12-29 2022-01-28 深圳市科力锐科技有限公司 数据备份性能的优化方法、装置、设备及存储介质
CN113986621B (zh) * 2021-12-29 2022-03-25 深圳市科力锐科技有限公司 数据备份性能的优化方法、装置、设备及存储介质
CN114697353A (zh) * 2022-05-27 2022-07-01 邹平市供电有限公司 一种分布式存储集群电网数据存储控制方法
CN114697353B (zh) * 2022-05-27 2022-09-06 邹平市供电有限公司 一种分布式存储集群电网数据存储控制方法
CN116743511A (zh) * 2023-08-15 2023-09-12 中移(苏州)软件技术有限公司 一种鉴权方法、装置、服务器及存储介质
CN116743511B (zh) * 2023-08-15 2023-11-03 中移(苏州)软件技术有限公司 一种鉴权方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN112187875B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN112187875B (zh) 一种分布式系统多目标集群挂载策略自动匹配方法、系统
CN110213352B (zh) 名字空间统一的分散自治存储资源聚合方法
US8166063B2 (en) Query routing in distributed database system
CN101471845B (zh) 数据块副本数量调整方法及元数据服务器节点
CN102117309A (zh) 一种数据缓存系统和数据查询方法
CN108462736B (zh) 一种面向QoS的云存储数据副本存储方法
CN104536724A (zh) 一种多核环境下哈希表并发访问性能优化方法
CN110413612A (zh) 一种基于混合索引的混合内存性能优化方法及系统
CN104360825A (zh) 一种混合内存系统及其管理方法
CN101540730A (zh) 地址查找方法、交换机和网络系统
CN103107944B (zh) 一种内容定位方法和路由设备
CN107992270B (zh) 一种多控存储系统全局共享缓存的方法及装置
CN117539915B (zh) 一种数据处理方法及相关装置
CN105760391B (zh) 数据动态重分布的方法、数据节点、名字节点及系统
US12072893B2 (en) System and method for hierarchical database operation accelerator
CN103970678A (zh) 目录设计方法及装置
Sun et al. Dynamic data replication based on access cost in distributed systems
CN101330529B (zh) 一种自修剪式的树型结构网络地址分配方法
CN112579650A (zh) 基于Redis缓存的数据处理方法及系统
CN113157606A (zh) 一种缓存器实现方法、装置和数据处理设备
CN103491124A (zh) 一种对彩信数据进行处理的方法及分布式缓存系统
CN105930519A (zh) 一种基于集群文件系统的全局共享读缓存方法
CN104508647B (zh) 用于扩大超大规模计算系统的存储器容量的方法和系统
CN113297106A (zh) 基于混合存储的数据置换方法、相关方法及装置和系统
Zhao et al. A dynamic convergent replica selection strategy based on cloud storage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant