CN106372115A - 一种数据读写方法、系统及数据库系统 - Google Patents

一种数据读写方法、系统及数据库系统 Download PDF

Info

Publication number
CN106372115A
CN106372115A CN201610708002.5A CN201610708002A CN106372115A CN 106372115 A CN106372115 A CN 106372115A CN 201610708002 A CN201610708002 A CN 201610708002A CN 106372115 A CN106372115 A CN 106372115A
Authority
CN
China
Prior art keywords
data
write
mdl
read
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610708002.5A
Other languages
English (en)
Inventor
郭春江
伍欣
胡明
沈勇
张海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU GANWEI TECHNOLOGY Co Ltd
Original Assignee
CHENGDU GANWEI TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU GANWEI TECHNOLOGY Co Ltd filed Critical CHENGDU GANWEI TECHNOLOGY Co Ltd
Priority to CN201610708002.5A priority Critical patent/CN106372115A/zh
Publication of CN106372115A publication Critical patent/CN106372115A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据读写方法及系统,包括:接收到数据写请求时,将待存储的数据均写入主数据库;按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库;接收到数据读请求时,确定待读取的数据所保存的从数据库标识,根据所述从数据库标识从相应的从数据库读取数据;可见,在本实施例中,数据均写入主数据库,由主数据库写入不同的从数据库,从数据库只响应数据读请求,由此将数据的读写分离,提升数据访问性能,数据库系统通过统一数据平台与业务系统隔离,底层数据维护与扩展不会影响业务系统的正常运行;本发明还公开了一种数据库系统,同样能实现上述技术效果。

Description

一种数据读写方法、系统及数据库系统
技术领域
本发明涉及数据读写技术领域,更具体地说,涉及一种数据读写方法、系统及数据库系统。
背景技术
目前,在处理数据的读写时,一般单台数据库服务器就能满足需求,但随着数据的增长,单台的数据库服务器可能难以支撑庞大的访问压力,并且单台数据库服务器在同时执行多个读写操作时,由于均是对同一个数据库执行读写操作,数据多了之后,对数据库的读写性能就会有很大影响。
因此,如何从数据库读写数据,增强数据库的读写性能是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种数据读写方法、系统及数据库系统,以实现从数据库读写数据,增强数据库的读写性能。
为实现上述目的,本发明实施例提供了如下技术方案:
一种数据读写方法,包括:
接收到数据写请求时,将待存储的数据均写入主数据库;
按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库;
接收到数据读请求时,确定待读取的数据所保存的从数据库标识,根据所述从数据库标识从相应的从数据库读取数据。
其中,按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库,包括:
分析所述主数据库中存储的数据的业务类型;
根据业务类型将所述主数据库中存储的数据分别写入相对应的从数据库。
其中,将待存储的数据均写入主数据库之后,还包括:
检测所述主数据库存储的未写入从服务器的数据大小是否大于预定阈值;若是,则执行按照预定规则将所述主数据库中存储的数据分别写入对应的从数据库的步骤。
其中,通过统一数据平台接收数据读请求和数据写请求。
一种数据读写系统,包括:
第一执行模块,用于接收到数据写请求时,将待存储的数据均写入主数据库;
数据写入模块,用于按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库;
第二执行模块,用于接收到数据读请求时,确定待读取的数据所保存的从数据库标识,根据所述从数据库标识从相应的从数据库读取数据。
其中,所述数据写入模块包括:
分析单元,用于分析所述主数据库中存储的数据的业务类型;
数据写入单元,用于根据业务类型将所述主数据库中存储的数据分别写入相对应的从数据库。
其中,还包括:
检测模块,用于检测所述主数据库存储的未写入从服务器的数据大小是否大于预定阈值;若是,则触发所述数据写入模块。
其中,所述第一执行模块和所述第二执行模块均通过统一数据平台接收数据读请求和数据写请求。
一种数据库系统,包括:主数据库和N个从数据库;其中,N为正整数;
所述主数据库,用于接收并响应数据写请求,并按照预定规则将存储的数据分别写入对应的从数据库;
从数据库,用于接收并响应数据读请求。
其中,所述主数据库和从数据库均通过统一数据平台接收数据读请求和数据写请求。
通过以上方案可知,本发明实施例提供的一种数据读写方法及系统,包括:接收到数据写请求时,将待存储的数据均写入主数据库;按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库;接收到数据读请求时,确定待读取的数据所保存的从数据库标识,根据所述从数据库标识从相应的从数据库读取数据。本发明实施例还提供一种数据库系统,包括:主数据库和N个从数据库;其中,N为正整数;所述主数据库,用于接收并响应数据写请求,并按照预定规则将存储的数据分别写入对应的从数据库;从数据库,用于接收并响应数据读请求;可见,在本实施例中,数据均写入主数据库,由主数据库写入不同的从数据库,从数据库只响应数据读请求,由此将数据的读写分离,提升数据访问性能,数据库系统通过统一数据平台与业务系统隔离,底层数据维护与扩展不会影响业务系统的正常运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据读写方法流程示意图;
图2为本发明实施例公开的一种数据读写系统结构框图;
图3为本发明实施例公开的一种数据库系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种数据读写方法、系统及数据库系统,以实现从数据库读写数据,增强数据库的读写性能。
参见图1,本发明实施例提供的一种数据读写方法,包括:
S101、接收到数据写请求时,将待存储的数据均写入主数据库;
其中,将待存储的数据均写入主数据库之后,还包括:
检测所述主数据库存储的未写入从服务器的数据大小是否大于预定阈值;若是,则执行按照预定规则将所述主数据库中存储的数据分别写入对应的从数据库的步骤。
具体的,在本方案中,写入主数据库的数据可以实时的写入对应的从数据库;也可以按照预定时间周期,周期性的将数据写入从数据库;同样可以检测未被写入的数据大小,当数据大于预定阈值时,则将数据写入从数据库。
S102、按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库;
其中,按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库,包括:
分析所述主数据库中存储的数据的业务类型;
根据业务类型将所述主数据库中存储的数据分别写入相对应的从数据库。
具体的,在本实施例中,可以根据数据库中存数的数据的业务类型的不同、职能的不同,分别写入对应的从数据库,以使数据库响应数据读请求。
S103、接收到数据读请求时,确定待读取的数据所保存的从数据库标识,根据所述从数据库标识从相应的从数据库读取数据。
其中,通过统一数据平台接收数据读请求和数据写请求。
具体的,在本方案中所有数据均写入主数据库,除了在数据写入过程中需要强制性的数据处理逻辑从主库读取数据外,其它业务均不从主数据库读取数据;主库数据写入后,会实时分发到各个从数据库,从数据库只提供数据读取服务。
在本方案中,以业务驱动的设计方式,将各个业务与数据库系统解耦,便于维护和扩展;通过统一数据平台可以将业务系统与数据库隔离,为不同的业务系统提供统一的数据接口,保持数据一致性;同时,数据层采取主从多数据库架构,读写分离,提升数据访问性能,并且被统一数据平台与业务系统隔离,底层数据维护与扩展不会影响业务系统的正常运行。
下面对本发明实施例提供的数据读写系统进行介绍,下文描述的数据读写系统与上文描述的数据读写方法可以相互参照。
参见图2,本发明实施例提供的一种数据读写系统,包括:
第一执行模块100,用于接收到数据写请求时,将待存储的数据均写入主数据库;
数据写入模块200,用于按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库;
第二执行模块300,用于接收到数据读请求时,确定待读取的数据所保存的从数据库标识,根据所述从数据库标识从相应的从数据库读取数据。
其中,所述数据写入模块200包括:
分析单元,用于分析所述主数据库中存储的数据的业务类型;
数据写入单元,用于根据业务类型将所述主数据库中存储的数据分别写入相对应的从数据库。
基于上述技术方案,本方案还包括:
检测模块,用于检测所述主数据库存储的未写入从服务器的数据大小是否大于预定阈值;若是,则触发所述数据写入模块。
其中,所述第一执行模块100和所述第二执行模块300均通过统一数据平台接收数据读请求和数据写请求。
参见图3,本发明实施例提供的一种数据库系统,包括:主数据库10和N个从数据库20;其中,N为正整数;
所述主数据库10,用于接收并响应数据写请求,并按照预定规则将存储的数据分别写入对应的从数据库20;
从数据库20,用于接收并响应数据读请求;其中,所述主数据库和从数据库均通过统一数据平台接收数据读请求和数据写请求。
本发明实施例提供的一种数据读写方法及系统,包括:接收到数据写请求时,将待存储的数据均写入主数据库;按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库;接收到数据读请求时,确定待读取的数据所保存的从数据库标识,根据所述从数据库标识从相应的从数据库读取数据。本发明实施例还提供一种数据库系统,包括:主数据库和N个从数据库;其中,N为正整数;所述主数据库,用于接收并响应数据写请求,并按照预定规则将存储的数据分别写入对应的从数据库;从数据库,用于接收并响应数据读请求;可见,在本实施例中,数据均写入主数据库,由主数据库写入不同的从数据库,从数据库只响应数据读请求,由此将数据的读写分离,提升数据访问性能,数据库系统通过统一数据平台与业务系统隔离,底层数据维护与扩展不会影响业务系统的正常运行。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据读写方法,其特征在于,包括:
接收到数据写请求时,将待存储的数据均写入主数据库;
按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库;
接收到数据读请求时,确定待读取的数据所保存的从数据库标识,根据所述从数据库标识从相应的从数据库读取数据。
2.根据权利要求1所述的数据读写方法,其特征在于,按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库,包括:
分析所述主数据库中存储的数据的业务类型;
根据业务类型将所述主数据库中存储的数据分别写入相对应的从数据库。
3.根据权利要求2所述的数据读写方法,其特征在于,将待存储的数据均写入主数据库之后,还包括:
检测所述主数据库存储的未写入从服务器的数据大小是否大于预定阈值;若是,则执行按照预定规则将所述主数据库中存储的数据分别写入对应的从数据库的步骤。
4.根据权利要求1-3中任意一项所述的数据读写方法,其特征在于,
通过统一数据平台接收数据读请求和数据写请求。
5.一种数据读写系统,其特征在于,包括:
第一执行模块,用于接收到数据写请求时,将待存储的数据均写入主数据库;
数据写入模块,用于按照预定规则,将所述主数据库中存储的数据分别写入对应的从数据库;
第二执行模块,用于接收到数据读请求时,确定待读取的数据所保存的从数据库标识,根据所述从数据库标识从相应的从数据库读取数据。
6.根据权利要求5所述的数据读写系统,其特征在于,所述数据写入模块包括:
分析单元,用于分析所述主数据库中存储的数据的业务类型;
数据写入单元,用于根据业务类型将所述主数据库中存储的数据分别写入相对应的从数据库。
7.根据权利要求6所述的数据读写系统,其特征在于,还包括:
检测模块,用于检测所述主数据库存储的未写入从服务器的数据大小是否大于预定阈值;若是,则触发所述数据写入模块。
8.根据权利要求5-7中任意一项所述的数据读写系统,其特征在于,
所述第一执行模块和所述第二执行模块均通过统一数据平台接收数据读请求和数据写请求。
9.一种数据库系统,其特征在于,包括:主数据库和N个从数据库;其中,N为正整数;
所述主数据库,用于接收并响应数据写请求,并按照预定规则将存储的数据分别写入对应的从数据库;
从数据库,用于接收并响应数据读请求。
10.根据权利要求9所述的数据库系统,其特征在于,所述主数据库和从数据库均通过统一数据平台接收数据读请求和数据写请求。
CN201610708002.5A 2016-08-23 2016-08-23 一种数据读写方法、系统及数据库系统 Pending CN106372115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610708002.5A CN106372115A (zh) 2016-08-23 2016-08-23 一种数据读写方法、系统及数据库系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610708002.5A CN106372115A (zh) 2016-08-23 2016-08-23 一种数据读写方法、系统及数据库系统

Publications (1)

Publication Number Publication Date
CN106372115A true CN106372115A (zh) 2017-02-01

Family

ID=57878161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610708002.5A Pending CN106372115A (zh) 2016-08-23 2016-08-23 一种数据读写方法、系统及数据库系统

Country Status (1)

Country Link
CN (1) CN106372115A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960054A (zh) * 2017-04-01 2017-07-18 北京奇虎科技有限公司 数据文件的存取方法及装置
CN107506378A (zh) * 2017-07-20 2017-12-22 阿里巴巴集团控股有限公司 数据库访问的实现方法和装置
WO2018161760A1 (zh) * 2017-03-09 2018-09-13 深圳壹账通智能科技有限公司 区块链数据存储系统和方法
CN108874834A (zh) * 2017-05-16 2018-11-23 北京嘀嘀无限科技发展有限公司 一种数据处理方法、处理系统及计算机装置
CN110019496A (zh) * 2017-07-27 2019-07-16 北京京东尚科信息技术有限公司 数据读写方法和系统
CN111241455A (zh) * 2020-01-22 2020-06-05 北京字节跳动网络技术有限公司 数据处理装置、计算机设备及存储介质
CN113094431A (zh) * 2021-03-30 2021-07-09 北京达佳互联信息技术有限公司 读写分离方法、装置及服务器
CN113535430A (zh) * 2021-07-16 2021-10-22 深圳华锐金融技术股份有限公司 应用数据读写分离方法、装置、计算机设备和存储介质
CN114595245A (zh) * 2022-03-18 2022-06-07 上海哔哩哔哩科技有限公司 数据处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591935A (zh) * 2011-12-26 2012-07-18 北京地拓科技发展有限公司 一种分布式数据存储管理方法及系统
CN102591964A (zh) * 2011-12-30 2012-07-18 北京新媒传信科技有限公司 数据读写分离机制的实现方法和装置
CN102906751A (zh) * 2012-07-25 2013-01-30 华为技术有限公司 一种数据存储、数据查询的方法及装置
CN103678354A (zh) * 2012-09-11 2014-03-26 中国移动通信集团公司 基于云计算平台的本地关系型数据库节点调度方法和装置
CN104391873A (zh) * 2014-10-29 2015-03-04 上海达梦数据库有限公司 数据库操作分离方法和系统
CN104504145A (zh) * 2015-01-05 2015-04-08 浪潮(北京)电子信息产业有限公司 一种实现数据库读写分离的方法和设备
CN104866556A (zh) * 2015-05-15 2015-08-26 北京奇虎科技有限公司 数据库的故障处理方法、装置和数据库系统
CN105677915A (zh) * 2016-02-29 2016-06-15 浪潮通用软件有限公司 一种基于引擎的分布式业务数据存取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591935A (zh) * 2011-12-26 2012-07-18 北京地拓科技发展有限公司 一种分布式数据存储管理方法及系统
CN102591964A (zh) * 2011-12-30 2012-07-18 北京新媒传信科技有限公司 数据读写分离机制的实现方法和装置
CN102906751A (zh) * 2012-07-25 2013-01-30 华为技术有限公司 一种数据存储、数据查询的方法及装置
CN103678354A (zh) * 2012-09-11 2014-03-26 中国移动通信集团公司 基于云计算平台的本地关系型数据库节点调度方法和装置
CN104391873A (zh) * 2014-10-29 2015-03-04 上海达梦数据库有限公司 数据库操作分离方法和系统
CN104504145A (zh) * 2015-01-05 2015-04-08 浪潮(北京)电子信息产业有限公司 一种实现数据库读写分离的方法和设备
CN104866556A (zh) * 2015-05-15 2015-08-26 北京奇虎科技有限公司 数据库的故障处理方法、装置和数据库系统
CN105677915A (zh) * 2016-02-29 2016-06-15 浪潮通用软件有限公司 一种基于引擎的分布式业务数据存取方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018161760A1 (zh) * 2017-03-09 2018-09-13 深圳壹账通智能科技有限公司 区块链数据存储系统和方法
CN106960054A (zh) * 2017-04-01 2017-07-18 北京奇虎科技有限公司 数据文件的存取方法及装置
CN106960054B (zh) * 2017-04-01 2020-10-02 北京奇虎科技有限公司 数据文件的存取方法及装置
CN108874834A (zh) * 2017-05-16 2018-11-23 北京嘀嘀无限科技发展有限公司 一种数据处理方法、处理系统及计算机装置
CN107506378A (zh) * 2017-07-20 2017-12-22 阿里巴巴集团控股有限公司 数据库访问的实现方法和装置
CN107506378B (zh) * 2017-07-20 2020-06-16 阿里巴巴集团控股有限公司 数据库访问的实现方法和装置
CN110019496A (zh) * 2017-07-27 2019-07-16 北京京东尚科信息技术有限公司 数据读写方法和系统
CN111241455A (zh) * 2020-01-22 2020-06-05 北京字节跳动网络技术有限公司 数据处理装置、计算机设备及存储介质
CN111241455B (zh) * 2020-01-22 2023-08-25 抖音视界有限公司 数据处理装置、计算机设备及存储介质
CN113094431A (zh) * 2021-03-30 2021-07-09 北京达佳互联信息技术有限公司 读写分离方法、装置及服务器
CN113535430A (zh) * 2021-07-16 2021-10-22 深圳华锐金融技术股份有限公司 应用数据读写分离方法、装置、计算机设备和存储介质
CN114595245A (zh) * 2022-03-18 2022-06-07 上海哔哩哔哩科技有限公司 数据处理方法及装置

Similar Documents

Publication Publication Date Title
CN106372115A (zh) 一种数据读写方法、系统及数据库系统
CN103488544B (zh) 检测慢盘的处理方法和装置
KR101259557B1 (ko) 클러스터 데이터 관리 시스템 및 클러스터 데이터 관리 시스템에서 병렬 처리를 이용한 데이터 복구 방법
US8935563B1 (en) Systems and methods for facilitating substantially continuous availability of multi-tier applications within computer clusters
WO2017092480A1 (zh) 一种数据迁移的方法及装置
CN107040578A (zh) 数据同步方法、装置和系统
CN105630418A (zh) 一种数据存储方法及装置
CN106294222A (zh) 一种确定pcie设备与插槽对应关系的方法及装置
CN104246767A (zh) 用于云同步系统的遥测系统
CN103647850B (zh) 一种分布式版本控制系统的数据处理方法、设备及系统
CN108540315A (zh) 分布式存储系统、方法和装置
US20080168226A1 (en) Correction method for reading data of disk array system
CN104484131A (zh) 多磁盘服务器的数据处理装置及对应的处理方法
CN107506266A (zh) 一种数据恢复方法及系统
CN106202098A (zh) 记录及还原网页中点击位置的方法和装置
CN109725823A (zh) 用于管理混合存储盘阵列的方法和设备
CN106155826B (zh) 用于在总线结构中检测及处理错误的方法和系统
CN103729166A (zh) 程序的线程关系确定方法、设备及系统
CN104793899B (zh) 一种基于虚拟磁盘层的检测Raid磁盘拔出的方法及装置
CN102591594A (zh) 一种数据的处理方法和设备
CN111045871A (zh) 一种硬盘坏道检测方法及系统
CN111125088A (zh) 多层级数据处理方法和装置
CN106708445B (zh) 链路选择方法及装置
US20230268022A1 (en) Mediating directed refresh management induced row hammer and row access strobe (ras) clobber failures
CN103176745A (zh) 具有双控制器的储存系统的硬盘阵列接管方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201

RJ01 Rejection of invention patent application after publication