CN110825791A - 基于分布式系统的数据访问性能优化系统 - Google Patents

基于分布式系统的数据访问性能优化系统 Download PDF

Info

Publication number
CN110825791A
CN110825791A CN201911114812.8A CN201911114812A CN110825791A CN 110825791 A CN110825791 A CN 110825791A CN 201911114812 A CN201911114812 A CN 201911114812A CN 110825791 A CN110825791 A CN 110825791A
Authority
CN
China
Prior art keywords
node
access
module
data
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911114812.8A
Other languages
English (en)
Inventor
周羽
王俊
张彤
张永静
朱英泮
郑宇宁
朱盼盼
高晓琼
司敬
石春刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jinghang Computing Communication Research Institute
Original Assignee
Beijing Jinghang Computing Communication Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jinghang Computing Communication Research Institute filed Critical Beijing Jinghang Computing Communication Research Institute
Priority to CN201911114812.8A priority Critical patent/CN110825791A/zh
Publication of CN110825791A publication Critical patent/CN110825791A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于分布式系统技术领域，具体涉及一种基于分布式系统的数据访问性能优化系统。与现有技术相比，本发明引入“访问频率”的概念，并结合“权重值”共同参与计算数据的存储位置。在选择存储节点进行计算时候，除了优先考虑权重值高的节点，还要考虑被访问节点的访问频率，当一个节点被命中时，该节点的访问频率会增长，而存储请求未命中的节点则会降低其访问频率，当某节点访问频率高于设定值后，将不再作为数据存储的备选节点。该优化系统，根据每个节点的访问频率、节点的容量权重来动态计算数据存储位置，优化了存储数据的分布情况和访问效率，可在分布式系统产品中应用，提升了后台存储的存取效率，提升了分布式系统的数据访问性能。

Description

基于分布式系统的数据访问性能优化系统
技术领域
本发明属于分布式系统技术领域，具体涉及一种基于分布式系统的数据访问性能优化系统。
背景技术
分布式系统作为底层基础设施之一，面临着包括数据量的增长速度、数据种类的多样性、越来越高的性能需求等在内的多方面挑战。在分布式系统中，决定数据存取效率的数据分布算法不仅影响着集群的负载均衡，同时也关系到数据的可靠性。普通的数据分布算法通过实际的集群物理架构，建立一个多层次的映射表，并根据层次结构进行迭代，最后返回一组最适合存储数据对象的存储节点。
实际应用中，由于传统的数据分布算法是将存储节点的剩余存储量抽象成存储节点的权重值，在进行数据存储时，根据各个存储节点的权重值进行计算得出数据的存储位置。如果请求存储的数据对象太小，则对节点权重的变化影响较小，容易造成一组高相关性的数据存入同一组存储节点。针对这一组数据进行访问的时候就会产生负载均衡和I/O请求频繁的问题，使得整个集群的性能下降。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何提供一种优化分布式系统数据访问性能的系统。
(二)技术方案
为解决上述技术问题，本发明提供一种基于分布式系统的数据访问性能优化系统，所述数据访问性能优化系统包括：请求接收模块、节点集合获取模块、节点权重获取模块、访问频率获取模块、频率比对模块、排序模块、消息管理模块；其中，
所述请求接收模块用于接收请求访问存储的请求数据；
所述节点集合获取模块用于根据分布式系统当前的集群映射表计算出可用的存储节点集合；
所述节点权重获取模块用于获取当前所有可用的存储节点的权重值；
所述访问频率获取模块用于获取当前所有可用的存储节点的访问频率；
所述频率比对模块用于将当前所有可用的存储节点的访问频率与一预设频率阈值进行比较，筛选出所有访问频率小于预设频率阈值的可用的存储节点；
所述排序模块用于对于访问频率小于预设频率阈值的所有可用的存储节点，按照其权重值进行排序，生成排序结果，并提交给消息管理模块；
所述消息管理模块用于把数据对象存入计算得出的最佳存储节点。
其中，所述数据访问性能优化系统还包括权重更新模块；
所述权重更新模块用于根据存入的数据对象的数据量更新存取节点的权重值。
其中，所述访问频率更新模块用于对该最佳存储节点的访问次数加一，由此更新存取节点的访问频率。
其中，所述节点权重获取模块根据各个节点的当前数据存储量获取当前所有可用节点的权重值。
其中，所述访问频率获取模块根据各个节点的过往访问次数获取当前所有可用节点的访问频率。
其中，所述最佳存储节点为：访问频率小于预设频率阈值，且权重值最高的存储节点。
(三)有益效果
与现有技术相比较，本发明的区别技术特征在于：引入“访问频率”的概念，并结合“权重值”共同参与计算数据的存储位置。在选择存储节点进行计算时候，除了优先考虑权重值高的节点，还要考虑被访问节点的访问频率，当一个节点被命中时，该节点的访问频率会增长，而存储请求未命中的节点则会降低其访问频率，当某节点访问频率高于设定值后，将不再作为数据存储的备选节点。
由此，与现有技术相比，本发明提供一种优化分布式系统数据访问性能的系统，将存储节点的访问频率作为计算数据分布的约束条件之一，与存储节点的权重值共同参与数据存储位置的计算，改善数据存储时引发的数据分布不均匀问题以及存储单节点访问频繁的问题。
本发明所提出的技术方案中，实现了对数据分布算法进行基于优化，通过用户的数据存储请求，实时更新各节点的权重值，同时动态提高或降低集群中各节点的访问频率，并利用访问频率与节点权重值共同计算出当前最优的存储节点。
综上，本发明所提基于分布式系统的数据访问性能优化系统，根据每个节点的访问频率、节点的容量权重来动态计算数据存储位置，优化了存储数据的分布情况和访问效率。研究成果在分布式系统产品中应用，提升了后台存储的存取效率，提升了分布式系统的数据访问性能。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合实施例，对本发明的具体实施方式作进一步详细描述。
为解决上述技术问题，本发明提供一种基于分布式系统的数据访问性能优化系统，所述数据访问性能优化系统包括：请求接收模块、节点集合获取模块、节点权重获取模块、访问频率获取模块、频率比对模块、排序模块、消息管理模块；其中，
所述请求接收模块用于接收请求访问存储的请求数据；
所述节点集合获取模块用于根据分布式系统当前的集群映射表计算出可用的存储节点集合；
所述节点权重获取模块用于获取当前所有可用的存储节点的权重值；
所述访问频率获取模块用于获取当前所有可用的存储节点的访问频率；
所述频率比对模块用于将当前所有可用的存储节点的访问频率与一预设频率阈值进行比较，筛选出所有访问频率小于预设频率阈值的可用的存储节点；
所述排序模块用于对于访问频率小于预设频率阈值的所有可用的存储节点，按照其权重值进行排序，生成排序结果，并提交给消息管理模块；
所述消息管理模块用于把数据对象存入计算得出的最佳存储节点。
其中，所述数据访问性能优化系统还包括权重更新模块；
所述权重更新模块用于根据存入的数据对象的数据量更新存取节点的权重值。
其中，所述访问频率更新模块用于对该最佳存储节点的访问次数加一，由此更新存取节点的访问频率。
其中，所述节点权重获取模块根据各个节点的当前数据存储量获取当前所有可用节点的权重值。
其中，所述访问频率获取模块根据各个节点的过往访问次数获取当前所有可用节点的访问频率。
其中，所述最佳存储节点为：访问频率小于预设频率阈值，且权重值最高的存储节点。
此外，本发明还提供一种基于分布式系统的数据访问性能优化方法，所述数据访问性能优化方法基于数据访问性能优化系统来实施，所述数据访问性能优化系统包括：请求接收模块、节点集合获取模块、节点权重获取模块、访问频率获取模块、频率比对模块、排序模块、消息管理模块；
所述数据访问性能优化方法包括下列步骤：
步骤1：所述请求接收模块接收请求访问存储的请求数据；
步骤2：所述节点集合获取模块根据分布式系统当前的集群映射表计算出可用的存储节点集合；
步骤3：所述节点权重获取模块获取当前所有可用的存储节点的权重值；
步骤4：所述访问频率获取模块获取当前所有可用的存储节点的访问频率；
步骤5：所述频率比对模块将当前所有可用的存储节点的访问频率与一预设频率阈值进行比较，筛选出所有访问频率小于预设频率阈值的可用的存储节点；
步骤6：所述排序模块对于访问频率小于预设频率阈值的所有可用的存储节点，按照其权重值进行排序，生成排序结果，并提交给消息管理模块；
步骤7：所述消息管理模块把数据对象存入计算得出的最佳存储节点。
其中，所述数据访问性能优化系统还包括权重更新模块；
所述方法还包括：步骤8：所述权重更新模块根据存入的数据对象的数据量更新存取节点的权重值。
其中，所述数据访问性能优化系统还包括：访问频率更新模块；
所述方法还包括：步骤9：所述访问频率更新模块对该最佳存储节点的访问次数加一，由此更新存取节点的访问频率。
其中，所述节点权重获取模块根据各个节点的当前数据存储量获取当前所有可用节点的权重值。
其中，所述访问频率获取模块根据各个节点的过往访问次数获取当前所有可用节点的访问频率。
其中，所述最佳存储节点为：访问频率小于预设频率阈值，且权重值最高的存储节点。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于分布式系统的数据访问性能优化系统，其特征在于，所述数据访问性能优化系统包括：请求接收模块、节点集合获取模块、节点权重获取模块、访问频率获取模块、频率比对模块、排序模块、消息管理模块；其中，
所述请求接收模块用于接收请求访问存储的请求数据；
所述节点集合获取模块用于根据分布式系统当前的集群映射表计算出可用的存储节点集合；
所述节点权重获取模块用于获取当前所有可用的存储节点的权重值；
所述访问频率获取模块用于获取当前所有可用的存储节点的访问频率；
所述频率比对模块用于将当前所有可用的存储节点的访问频率与一预设频率阈值进行比较，筛选出所有访问频率小于预设频率阈值的可用的存储节点；
所述排序模块用于对于访问频率小于预设频率阈值的所有可用的存储节点，按照其权重值进行排序，生成排序结果，并提交给消息管理模块；
所述消息管理模块用于把数据对象存入计算得出的最佳存储节点。
2.如权利要求1所述的基于分布式系统的数据访问性能优化系统，其特征在于，所述数据访问性能优化系统还包括权重更新模块；
所述权重更新模块用于根据存入的数据对象的数据量更新存取节点的权重值。
3.如权利要求1所述的基于分布式系统的数据访问性能优化系统，其特征在于，所述访问频率更新模块用于对该最佳存储节点的访问次数加一，由此更新存取节点的访问频率。
4.如权利要求1所述的基于分布式系统的数据访问性能优化系统，其特征在于，所述节点权重获取模块根据各个节点的当前数据存储量获取当前所有可用节点的权重值。
5.如权利要求1所述的基于分布式系统的数据访问性能优化系统，其特征在于，所述访问频率获取模块根据各个节点的过往访问次数获取当前所有可用节点的访问频率。
6.如权利要求1所述的基于分布式系统的数据访问性能优化系统，其特征在于，所述最佳存储节点为：访问频率小于预设频率阈值，且权重值最高的存储节点。
CN201911114812.8A 2019-11-14 2019-11-14 基于分布式系统的数据访问性能优化系统 Pending CN110825791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911114812.8A CN110825791A (zh) 2019-11-14 2019-11-14 基于分布式系统的数据访问性能优化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911114812.8A CN110825791A (zh) 2019-11-14 2019-11-14 基于分布式系统的数据访问性能优化系统

Publications (1)

Publication Number Publication Date
CN110825791A true CN110825791A (zh) 2020-02-21

Family

ID=69555186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911114812.8A Pending CN110825791A (zh) 2019-11-14 2019-11-14 基于分布式系统的数据访问性能优化系统

Country Status (1)

Country Link
CN (1) CN110825791A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753163A (zh) * 2020-07-08 2020-10-09 北京鼎泰智源科技有限公司 一种数据采集方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118133A (zh) * 2013-02-28 2013-05-22 浙江大学 基于文件访问频次的混合云存储方法
US20150089283A1 (en) * 2012-05-03 2015-03-26 Thomson Licensing Method of data storing and maintenance in a distributed data storage system and corresponding device
CN107562913A (zh) * 2017-09-12 2018-01-09 郑州云海信息技术有限公司 一种分布式文件系统的数据存储方法及装置
CN109298939A (zh) * 2018-09-26 2019-02-01 腾讯科技（深圳）有限公司 分布式系统的访问频率控制方法、装置、系统及服务器
CN109522330A (zh) * 2018-10-18 2019-03-26 上海达家迎信息科技有限公司 基于区块链的云平台数据处理方法、装置、设备及介质
CN109819057A (zh) * 2019-04-08 2019-05-28 科大讯飞股份有限公司 一种负载均衡方法及系统
CN110147372A (zh) * 2019-05-21 2019-08-20 电子科技大学 一种面向htap的分布式数据库智能混合存储方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150089283A1 (en) * 2012-05-03 2015-03-26 Thomson Licensing Method of data storing and maintenance in a distributed data storage system and corresponding device
CN103118133A (zh) * 2013-02-28 2013-05-22 浙江大学 基于文件访问频次的混合云存储方法
CN107562913A (zh) * 2017-09-12 2018-01-09 郑州云海信息技术有限公司 一种分布式文件系统的数据存储方法及装置
CN109298939A (zh) * 2018-09-26 2019-02-01 腾讯科技（深圳）有限公司 分布式系统的访问频率控制方法、装置、系统及服务器
CN109522330A (zh) * 2018-10-18 2019-03-26 上海达家迎信息科技有限公司 基于区块链的云平台数据处理方法、装置、设备及介质
CN109819057A (zh) * 2019-04-08 2019-05-28 科大讯飞股份有限公司 一种负载均衡方法及系统
CN110147372A (zh) * 2019-05-21 2019-08-20 电子科技大学 一种面向htap的分布式数据库智能混合存储方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753163A (zh) * 2020-07-08 2020-10-09 北京鼎泰智源科技有限公司 一种数据采集方法

Similar Documents

Publication Publication Date Title
CA2159269C (en) Method and apparatus for achieving uniform data distribution in a parallel database system
CN101888341B (zh) 在分布式多信任域环境下基于可计算信誉度的访问控制方法
CN107426332B (zh) 一种web服务器集群的负载均衡方法及系统
CN110147372B (zh) 一种面向htap的分布式数据库智能混合存储方法
US20020087798A1 (en) System and method for adaptive data caching
CN110895451A (zh) 基于分布式系统的数据访问性能优化方法
KR20200079169A (ko) 데이터를 처리하기 위한 방법, 장치 및 시스템
CN103198361B (zh) 基于多种优化机制的xacml策略评估引擎系统
KR101411321B1 (ko) 액티브 노드와 유사한 특성을 가지는 이웃 노드의 관리방법, 장치 및 그 방법을 구현하기 위한 프로그램이 기록된기록매체
CN102868542B (zh) 一种服务分发网络中服务质量的控制方法及系统
CN105357247B (zh) 基于分层云对等网络的多维属性云资源区间查找方法
CN113778683A (zh) 一种基于神经网络的Handle标识体系解析负载均衡方法
CN108647266A (zh) 一种异构数据快速分布存储、交互方法
CN110825791A (zh) 基于分布式系统的数据访问性能优化系统
CN102378407B (zh) 一种物联网中的对象名字解析系统及其解析方法
CN107491463A (zh) 数据查询的优化方法和系统
US20110179031A1 (en) Configuration information management device, distributed information management system, and distributed information management method
US10853253B2 (en) Method and systems for master establishment using service-based statistics
CN112765177A (zh) 一种基于负载驱动的分布式图数据分割和复制方法
CN110944050B (zh) 反向代理服务器缓存动态配置方法及系统
Ryeng et al. Site-autonomous distributed semantic caching
Ross et al. Serving datacube tuples from main memory
CN115016889A (zh) 一种用于云计算的虚拟机优化调度方法
CN114781717A (zh) 网点设备推荐方法、装置、设备和存储介质
CN113377544A (zh) 一种基于负荷数据动态更新率的web集群负载均衡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication