CN110309229A - 分布式系统的数据处理方法和分布式系统 - Google Patents

分布式系统的数据处理方法和分布式系统 Download PDF

Info

Publication number
CN110309229A
CN110309229A CN201910383507.2A CN201910383507A CN110309229A CN 110309229 A CN110309229 A CN 110309229A CN 201910383507 A CN201910383507 A CN 201910383507A CN 110309229 A CN110309229 A CN 110309229A
Authority
CN
China
Prior art keywords
memory node
data memory
data
dsc
dispatching platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910383507.2A
Other languages
English (en)
Inventor
周彦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jishu Yunzhou Technology Co Ltd
Original Assignee
Beijing Jishu Yunzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jishu Yunzhou Technology Co Ltd filed Critical Beijing Jishu Yunzhou Technology Co Ltd
Priority to CN201910383507.2A priority Critical patent/CN110309229A/zh
Publication of CN110309229A publication Critical patent/CN110309229A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分布式系统的数据处理方法和分布式系统。该分布式系统包括调度平台、热数据存储节点和冷数据存储节点。该方法包括多次执行的以下操作：调度平台将接收到的数据存入热数据存储节点；当调度平台监控到热数据存储节点中的数据持续预设时间间隔未被访问的情况下，调度平台将该数据从热数据存储节点转存至冷数据存储节点；调度平台根据接收到的目标数据访问请求，在热数据存储节点中访问目标数据，若热数据存储节点中无目标数据，则在冷数据存储节点中访问目标数据。

Description

分布式系统的数据处理方法和分布式系统
技术领域
本发明涉及计算机及软件技术领域，特别地涉及一种分布式系统的数据处理方法和分布式系统。
背景技术
分布式数据库按有没有中心节点，可以分为有中心节点和没有中心节点。对于没有中心节点的情况，各节点的计算机配置基本相同，采用负载均衡算法为各节点分配任务。
随着计算机发展，如今数据呈爆发式增长，有些数据经常被访问，例如近期的新闻或者微博等，称作热数据，导致存储热数据的节点负荷过大。有些数据很少被访问，例如过时的新闻或者微博等。
如果采用传统的无中心节点的分布式数据库，会存在存储和读取效率低、资源配置不合理的问题。
发明内容
有鉴于此，本发明提供一种分布式系统的数据处理方法和分布式系统，有助于提高数据处理效率，并优化资源配置。
为此，本发明第一方面提出一种分布式系统的数据处理方法，所述分布式系统包括调度平台、热数据存储节点和冷数据存储节点，所述方法包括多次执行的以下操作：所述调度平台将接收到的数据存入所述热数据存储节点；当所述调度平台监控到所述热数据存储节点中的数据持续预设时间间隔未被访问的情况下，所述调度平台将该数据从所述热数据存储节点转存至所述冷数据存储节点；所述调度平台根据接收到的目标数据访问请求，在所述热数据存储节点中访问所述目标数据，若所述热数据存储节点中无所述目标数据，则在所述冷数据存储节点中访问所述目标数据。
可选地，所述热数据存储节点的数量为一个。
可选地，所述热数据存储节点的配置高于所述冷数据存储节点的配置。
可选地，所述访问请求为：读取请求或者修改请求。
另外，本发明第二方面提出一种分布式系统，所述分布式系统包括调度平台、热数据存储节点和冷数据存储节点，所述分布式系统能够多次执行以下操作：所述调度平台将接收到的数据存入所述热数据存储节点；当所述调度平台监控到所述热数据存储节点中的数据持续预设时间间隔未被访问的情况下，所述调度平台将该数据从所述热数据存储节点转存至所述冷数据存储节点；所述调度平台根据接收到的目标数据访问请求，在所述热数据存储节点中访问所述目标数据，若所述热数据存储节点中无所述目标数据，则在所述冷数据存储节点中访问所述目标数据。
可选地，所述热数据存储节点的数量为一个。
可选地，所述热数据存储节点的配置高于所述冷数据存储节点的配置。
可选地，所述访问请求为：读取请求或者修改请求。
根据本发明实施例的技术方案，通过将时效性强的数据存入热数据存储节点并且将时效性弱的数据存入冷数据存储节点，读取时优先查询热数据存储节点，能够提高数据处理效率，优化节点硬件资源配置。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例的分布式系统的数据处理方法的流程示意图。
具体实施方式
本发明实施例的一种分布式系统的数据处理方法，分布式系统包括调度平台、热数据存储节点和冷数据存储节点，如图1所示，方法包括多次执行的以下操作。
步骤A：调度平台将接收到的数据存入热数据存储节点。
步骤B：当调度平台监控到热数据存储节点中的数据持续预设时间间隔未被访问的情况下，调度平台将该数据从热数据存储节点转存至冷数据存储节点。
步骤C：调度平台根据接收到的目标数据访问请求，在热数据存储节点中访问目标数据，若热数据存储节点中无目标数据，则在冷数据存储节点中访问目标数据。
其中，热数据存储节点的可以数量为仅有一个。通过设置唯一的热数据存储节点，可以免除遍历调度多个热数据存储节点，提高处理效率。
其中，热数据存储节点的配置可以高于冷数据存储节点的配置，可以将更好的资源匹配给更热门的数据，优化整体资源配置。
其中，访问请求可以为读取请求或者修改请求。
本发明实施例的分布式系统，该分布式系统包括调度平台、热数据存储节点和冷数据存储节点。该分布式系统能够多次执行以下操作：调度平台将接收到的数据存入热数据存储节点；当调度平台监控到热数据存储节点中的数据持续预设时间间隔未被访问的情况下，调度平台将该数据从热数据存储节点转存至冷数据存储节点；调度平台根据接收到的目标数据访问请求，在热数据存储节点中访问目标数据，若热数据存储节点中无目标数据，则在冷数据存储节点中访问目标数据。
其中，热数据存储节点的可以数量为仅有一个。通过设置唯一的热数据存储节点，可以免除遍历调度多个热数据存储节点，提高处理效率。
其中，热数据存储节点的配置可以高于冷数据存储节点的配置，可以将更好的资源匹配给更热门的数据，优化整体资源配置。
其中，访问请求可以为读取请求或者修改请求。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种分布式系统的数据处理方法，所述分布式系统包括调度平台、热数据存储节点和冷数据存储节点，所述方法包括多次执行的以下操作：
所述调度平台将接收到的数据存入所述热数据存储节点；
当所述调度平台监控到所述热数据存储节点中的数据持续预设时间间隔未被访问的情况下，所述调度平台将该数据从所述热数据存储节点转存至所述冷数据存储节点；
所述调度平台根据接收到的目标数据访问请求，在所述热数据存储节点中访问所述目标数据，若所述热数据存储节点中无所述目标数据，则在所述冷数据存储节点中访问所述目标数据。
2.根据权利要求1所述的方法，其特征在于，所述热数据存储节点的数量为一个。
3.根据权利要求1所述的方法，其特征在于，所述热数据存储节点的配置高于所述冷数据存储节点的配置。
4.根据权利要求1所述的方法，其特征在于，所述访问请求为：读取请求或者修改请求。
5.一种分布式系统，所述分布式系统包括调度平台、热数据存储节点和冷数据存储节点，所述分布式系统能够多次执行以下操作：
所述调度平台将接收到的数据存入所述热数据存储节点；
当所述调度平台监控到所述热数据存储节点中的数据持续预设时间间隔未被访问的情况下，所述调度平台将该数据从所述热数据存储节点转存至所述冷数据存储节点；
所述调度平台根据接收到的目标数据访问请求，在所述热数据存储节点中访问所述目标数据，若所述热数据存储节点中无所述目标数据，则在所述冷数据存储节点中访问所述目标数据。
6.根据权利要求5所述的系统，其特征在于，所述热数据存储节点的数量为一个。
7.根据权利要求5所述的系统，其特征在于，所述热数据存储节点的配置高于所述冷数据存储节点的配置。
8.根据权利要求5所述的系统，其特征在于，所述访问请求为：读取请求或者修改请求。
CN201910383507.2A 2019-05-09 2019-05-09 分布式系统的数据处理方法和分布式系统 Pending CN110309229A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910383507.2A CN110309229A (zh) 2019-05-09 2019-05-09 分布式系统的数据处理方法和分布式系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910383507.2A CN110309229A (zh) 2019-05-09 2019-05-09 分布式系统的数据处理方法和分布式系统

Publications (1)

Publication Number Publication Date
CN110309229A true CN110309229A (zh) 2019-10-08

Family

ID=68074647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910383507.2A Pending CN110309229A (zh) 2019-05-09 2019-05-09 分布式系统的数据处理方法和分布式系统

Country Status (1)

Country Link
CN (1) CN110309229A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339105A (zh) * 2020-03-27 2020-06-26 泰康保险集团股份有限公司 数据存储方法、装置及服务器
CN112163013A (zh) * 2020-09-08 2021-01-01 深圳市汉云科技有限公司 数据处理方法、装置、终端设备及存储介质
WO2021249027A1 (zh) * 2020-06-10 2021-12-16 深圳云天励飞技术股份有限公司 数据存储方法、装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150112951A1 (en) * 2013-10-23 2015-04-23 Netapp, Inc. Data management in distributed file systems
CN105488148A (zh) * 2015-11-26 2016-04-13 上海晶赞科技发展有限公司 大数据的存储访问系统及方法
CN105653524A (zh) * 2014-11-10 2016-06-08 阿里巴巴集团控股有限公司 一种数据存储方法、装置和系统
CN107193500A (zh) * 2017-05-26 2017-09-22 郑州云海信息技术有限公司 一种分布式文件系统分层存储方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150112951A1 (en) * 2013-10-23 2015-04-23 Netapp, Inc. Data management in distributed file systems
CN105653524A (zh) * 2014-11-10 2016-06-08 阿里巴巴集团控股有限公司 一种数据存储方法、装置和系统
CN105488148A (zh) * 2015-11-26 2016-04-13 上海晶赞科技发展有限公司 大数据的存储访问系统及方法
CN107193500A (zh) * 2017-05-26 2017-09-22 郑州云海信息技术有限公司 一种分布式文件系统分层存储方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339105A (zh) * 2020-03-27 2020-06-26 泰康保险集团股份有限公司 数据存储方法、装置及服务器
CN111339105B (zh) * 2020-03-27 2023-08-15 泰康保险集团股份有限公司 数据存储方法、装置及服务器
WO2021249027A1 (zh) * 2020-06-10 2021-12-16 深圳云天励飞技术股份有限公司 数据存储方法、装置、终端设备及存储介质
CN112163013A (zh) * 2020-09-08 2021-01-01 深圳市汉云科技有限公司 数据处理方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN107801086B (zh) 多缓存服务器的调度方法和系统
US8984085B2 (en) Apparatus and method for controlling distributed memory cluster
CN102882939B (zh) 负载均衡方法、设备及泛域名加速访问系统
US10235047B2 (en) Memory management method, apparatus, and system
US20060259485A1 (en) System and method for intelligent data caching
CN104050249A (zh) 分布式查询引擎系统和方法及元数据服务器
CN108900626B (zh) 一种云环境下数据存储方法、装置及系统
CN104050250A (zh) 一种分布式键-值查询方法和查询引擎系统
CN110309229A (zh) 分布式系统的数据处理方法和分布式系统
US20170344546A1 (en) Code dispersion hash table-based map-reduce system and method
CN109151512A (zh) Cdn网络中获取内容的方法及装置
CN110383764A (zh) 无服务器系统中使用历史数据处理事件的系统和方法
US20180227139A1 (en) Method of Terminal-Based Conference Load-Balancing, and Device and System Utilizing Same
CN109032803B (zh) 数据处理方法和装置、客户端
CN107105013B (zh) 文件的处理方法、服务器、终端和系统
CN106960011A (zh) 分布式文件系统元数据管理系统及方法
CN106331160A (zh) 一种数据迁移方法及系统
CN107395708B (zh) 一种处理下载请求的方法和装置
CN112600761A (zh) 一种资源分配的方法、装置及存储介质
CN109800236A (zh) 支持多节点的分布式缓存方法及设备
CN106202082A (zh) 组装基础数据缓存的方法及装置
CN114036031B (zh) 一种企业数字中台中资源服务应用的调度系统和方法
CN102970349B (zh) 一种dht网络的存储负载均衡方法
US10606478B2 (en) High performance hadoop with new generation instances
CN106940712A (zh) 序列生成方法与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191008