CN104636345A - 一种基于分布式缓存的数据库读写方法 - Google Patents

一种基于分布式缓存的数据库读写方法 Download PDF

Info

Publication number
CN104636345A
CN104636345A CN201310548911.3A CN201310548911A CN104636345A CN 104636345 A CN104636345 A CN 104636345A CN 201310548911 A CN201310548911 A CN 201310548911A CN 104636345 A CN104636345 A CN 104636345A
Authority
CN
China
Prior art keywords
server
distribution server
caching
method based
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310548911.3A
Other languages
English (en)
Inventor
李军
王世盛
迟宝华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DALIAN EAST STAR INFORMATION TECHNOLOGY Co Ltd
Original Assignee
DALIAN EAST STAR INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DALIAN EAST STAR INFORMATION TECHNOLOGY Co Ltd filed Critical DALIAN EAST STAR INFORMATION TECHNOLOGY Co Ltd
Priority to CN201310548911.3A priority Critical patent/CN104636345A/zh
Publication of CN104636345A publication Critical patent/CN104636345A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827—Management specifically adapted to NAS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于分布式缓存的数据库读写方法，具有如下步骤：将数据库划分成多个带有编号的独立读写区域；为所述的每个独立读写区域建立其内部存储数据的概述和索引；建立分布式缓存，该缓存包括分配服务器和多台缓存服务器；所述的分配服务器首先读取所述概述和索引，预估当前数据的容量；分配服务器实时监控所述的多台缓存服务器当前的任务量，并根据每台缓存服务器的忙闲状态，分配读写任务。由于采用了上述技术方案，本发明提供的一种基于分布式缓存的数据库读写方法，可以有效快速的处理海量的数据，尤其在面对互联网产生的大数据可以做到及时有效的处理，不会产生数据积累，同时也不会在用户感受上带来影响。

Description

一种基于分布式缓存的数据库读写方法
技术领域
本发明涉及一种基于分布式缓存的数据库读写方法。
背景技术
在大数据时代，如何处理海量的数据，成为一个广泛性的问题，尤其是类似微博微信等的数据处理，传统的通信服务器无论如何也无法完成处理。如果单靠增加服务器的数量，成本投入将十分惊人。
分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的，看不出是本地还是远程。在分布式数据库系统中，用户感觉不到数据是分布的，即用户不须知道关系是否分割、有无副本、数据存于哪个站点以及事务在哪个站点上执行等。
发明内容
本发明针对以上问题的提出，而研制的一种基于分布式缓存的数据库读写方法，具有如下步骤：将数据库划分成多个带有编号的独立读写区域；为所述的每个独立读写区域建立其内部存储数据的概述和索引；建立分布式缓存，该缓存包括分配服务器和多台缓存服务器；所述的分配服务器首先读取所述概述和索引，预估当前数据的容量；分配服务器实时监控所述的多台缓存服务器当前的任务量，并根据每台缓存服务器的忙闲状态，分配读写任务。
所述分配服务器具有循环队列；初始状态下，分配服务器按队列顺序将任务派发给各缓存服务器。
具有监控服务器，与所述的分配服务器和缓存服务器通信连接，实时监控所述的各服务器的工作状态。
所述监控服务器定时将系统的运行状况，发送给远程计算机或指定移动终端。
由于采用了上述技术方案，本发明提供的一种基于分布式缓存的数据库读写方法，可以有效快速的处理海量的数据，尤其在面对互联网产生的大数据可以做到及时有效的处理，不会产生数据积累，同时也不会在用户感受上带来影响。
附图说明
为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示：一种基于分布式缓存的数据库读写方法，具有如下步骤：
第一步，将数据库划分成多个带有编号的独立读写区域；
第二步，为所述的每个独立读写区域建立其内部存储数据的概述和索引；
第三步，建立分布式缓存，该缓存包括分配服务器和多台缓存服务器；
最后，所述的分配服务器首先读取所述概述和索引，预估当前数据的容量；分配服务器实时监控所述的多台缓存服务器当前的任务量，并根据每台缓存服务器的忙闲状态，分配读写任务。
更进一步的，在没有出现冲突或者开始循环之前，按照正常程序进行处理，所述分配服务器具有循环队列；初始状态下，分配服务器按队列顺序将任务派发给各缓存服务器。
更进一步的，为了更好的监控系统的运行，作为一个较佳的实施方式。系统还具有监控服务器，与所述的分配服务器和缓存服务器通信连接，实时监控所述的各服务器的工作状态。
通常情况下，服务器只有专人值守，为了方便相关人员掌握当前系统运行的情况，作为一个较佳的实施方式，所述监控服务器定时将系统的运行状况，发送给远程计算机或指定移动终端。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于分布式缓存的数据库读写方法，具有如下步骤：
—将数据库划分成多个带有编号的独立读写区域；
—为所述的每个独立读写区域建立其内部存储数据的概述和索引；
—建立分布式缓存，该缓存包括分配服务器和多台缓存服务器；
—所述的分配服务器首先读取所述概述和索引，预估当前数据的容量；分配服务器实时监控所述的多台缓存服务器当前的任务量，并根据每台缓存服务器的忙闲状态，分配读写任务。
2.根据权利要求1所述的一种基于分布式缓存的数据库读写方法，其特征还在于：所述分配服务器具有循环队列；初始状态下，分配服务器按队列顺序将任务派发给各缓存服务器。
3.根据权利要求1所述的一种基于分布式缓存的数据库读写方法，其特征还在于具有监控服务器，与所述的分配服务器和缓存服务器通信连接，实时监控所述的各服务器的工作状态。
4.根据权利要求3所述的一种基于分布式缓存的数据库读写方法，其特征还在于所述监控服务器定时将系统的运行状况，发送给远程计算机或指定移动终端。
CN201310548911.3A 2013-11-07 2013-11-07 一种基于分布式缓存的数据库读写方法 Pending CN104636345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310548911.3A CN104636345A (zh) 2013-11-07 2013-11-07 一种基于分布式缓存的数据库读写方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310548911.3A CN104636345A (zh) 2013-11-07 2013-11-07 一种基于分布式缓存的数据库读写方法

Publications (1)

Publication Number Publication Date
CN104636345A true CN104636345A (zh) 2015-05-20

Family

ID=53215117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310548911.3A Pending CN104636345A (zh) 2013-11-07 2013-11-07 一种基于分布式缓存的数据库读写方法

Country Status (1)

Country Link
CN (1) CN104636345A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866577A (zh) * 2015-05-26 2015-08-26 深圳市六度人和科技有限公司 一种基于嵌入式数据库的数据处理方法及装置
CN107464001A (zh) * 2016-06-06 2017-12-12 滴滴（中国）科技有限公司 预约单分配处理方法及服务器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866577A (zh) * 2015-05-26 2015-08-26 深圳市六度人和科技有限公司 一种基于嵌入式数据库的数据处理方法及装置
CN107464001A (zh) * 2016-06-06 2017-12-12 滴滴（中国）科技有限公司 预约单分配处理方法及服务器

Similar Documents

Publication Publication Date Title
CN108536761B (zh) 报表数据查询方法及服务器
CN101557427A (zh) 提供分流信息、实现客户端分流的方法、系统及服务器
CN107180113B (zh) 一种大数据检索平台
US9836516B2 (en) Parallel scanners for log based replication
CN103064933A (zh) 数据查询方法及系统
CN107766147A (zh) 分布式的数据分析任务调度系统
CN103399894A (zh) 一种基于共享存储池的分布式事务处理方法
CN104657497A (zh) 一种基于分布式计算的海量用电信息并行计算系统及方法
CN106815254A (zh) 一种数据处理方法和装置
CN104202423A (zh) 一种通过软件架构扩展缓存的系统
CN105138679A (zh) 一种基于分布式缓存的数据处理系统及处理方法
CN111258978A (zh) 一种数据存储的方法
CN104572505A (zh) 一种保证海量数据缓存最终一致性的系统及方法
CN105491078A (zh) Soa系统中的数据处理方法及装置、soa系统
CN104683472A (zh) 一种支持大数据量的数据传输方法
CN106021593A (zh) 一种第一数据库与第二数据库接管过程中的复制处理方法
CN104461929B (zh) 基于拦截器的分布式数据缓存方法
CN103473848A (zh) 一种基于高并发的网络发票查验构架及方法
CN103365987A (zh) 一种基于共享磁盘架构的集群数据库系统及数据处理方法
CN109829003A (zh) 数据库备份方法及装置
CN104636345A (zh) 一种基于分布式缓存的数据库读写方法
CN115964444B (zh) 一种云原生分布式多租户数据库实现方法及系统
CN105354319B (zh) 针对sn架构的mpp数据库集群的数据库连接池管理方法及系统
CN103473368A (zh) 一种基于计数排序的虚拟机实时迁移方法及系统
CN105162837A (zh) 海量数据存储环境下提升i/o吞吐率的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150520

WD01 Invention patent application deemed withdrawn after publication