CN106951456B - 一种内存数据库系统及数据处理系统 - Google Patents

一种内存数据库系统及数据处理系统 Download PDF

Info

Publication number
CN106951456B
CN106951456B CN201710102146.0A CN201710102146A CN106951456B CN 106951456 B CN106951456 B CN 106951456B CN 201710102146 A CN201710102146 A CN 201710102146A CN 106951456 B CN106951456 B CN 106951456B
Authority
CN
China
Prior art keywords
data
server
database
unit
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710102146.0A
Other languages
English (en)
Other versions
CN106951456A (zh
Inventor
冯粤松
王立栩
麦江扬
吴松鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Guangxin Communications Services Co Ltd
Original Assignee
Guangdong Guangxin Communications Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Guangxin Communications Services Co Ltd filed Critical Guangdong Guangxin Communications Services Co Ltd
Priority to CN201710102146.0A priority Critical patent/CN106951456B/zh
Publication of CN106951456A publication Critical patent/CN106951456A/zh
Application granted granted Critical
Publication of CN106951456B publication Critical patent/CN106951456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种内存数据库系统及数据处理系统，该内存数据库系统包括：业务系统接口、数据库接口、数据读写单元、数据拆分单元、数据管理单元和N个集群；N≥2；其中，数据拆分单元用于在数据写入时，将需写入数据拆分为N个数据副本；数据读写单元用于在数据写入时，将N个数据副本分别存储到N个集群的主服务器中；以及用于在数据读取时，在需读取数据所在的集群中选择一服务器进行数据读取；数据管理单元用于在数据写入时，控制各主服务器将存储的数据副本依次同步到各自所在集群中的各后备服务器中，以使得同一集群中的所有服务器存储有一致的数据副本。采用本发明实施例能提高了内存数据库系统的扩展灵活性。

Description

一种内存数据库系统及数据处理系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种内存数据库系统及数据处理系统。
背景技术
数据库是按照数据结构来组织、存储和管理数据的仓库，是信息系统经常使用的部分。数据库保存的数据可以供给其他的信息系统使用，如业务系统。现有技术中，业务系统为了提升性能，通常直接连接一个内存数据库，而内存数据库往往只是一台服务器，需要业务系统自行管理其加载和更新。因此，在业务系统使用内存数据库时，需要另外编写相关模块进行管理，横向扩展时还需要编写复杂的数据同步和控制算法，开发复杂，内存数据库扩展困难。
发明内容
本发明实施例提出一种内存数据库系统及数据处理系统，使用内存数据库集群架构，提高了内存数据库系统的扩展灵活性，而且为业务系统提供统一的接口，减少业务系统对数据库的依赖。
本发明实施例提供一种内存数据库系统，业务系统接口、数据库接口、数据读写单元、数据拆分单元、数据管理单元和N个集群；N≥2；
其中，所述每个集群内均设置有一台主服务器和若干台后备服务器；
所述数据管理单元分别与所述业务系统接口、所述数据读写单元、所述N个集群内的各服务器连接；
所述数据读写单元分别与所述数据拆分单元、所述数据库接口、所述N个集群内的各服务器连接；
所述数据拆分单元与所述数据库接口连接；
所述数据拆分单元用于在数据写入时，将需写入数据拆分为N个数据副本；
所述数据读写单元用于在数据写入时，将所述N个数据副本分别存储到所述N个集群的主服务器中；以及用于在数据读取时，按照服务器负载均衡策略和多版本控制策略，在需读取数据所在的集群中选择一服务器进行数据读取；
所述数据管理单元用于在数据写入时，控制各主服务器将存储的数据副本依次同步到各自所在集群中的各后备服务器中，以使得同一个集群中的所有服务器存储有一致的数据副本。
进一步的，所述数据管理单元还用于当所述N个集群中的第一集群的第一主服务器故障时，在所述第一集群中的若干个后备服务器中，选择任意一台后备服务器作为所述第一集群的主服务器。
进一步的，所述内存数据库系统还包括：数据同步单元；
所述数据同步单元分别与所述数据库接口、所述N个集群内的各服务器连接；
所述数据同步单元用于在预设时间内，将所述N个集群内的各主服务器存储的数据整合，并将整合后的数据通过所述数据库接口同步到外部数据库中。
相应地，本发明实施例还提供一种数据处理系统，包括：业务系统、数据库和所述的内存数据库系统；
其中，所述业务系统通过所述业务系统接口与所述内存数据库系统连接；
所述数据库通过所述数据库接口与所述内存数据库系统连接。
进一步的，所述业务系统与所述内存数据库系统使用http的方式进行通讯，并以json的方式组织参数进行传递。
进一步的，所述内存数据库系统使用JDBC的方式与所述数据库进行通讯。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的内存数据库系统及数据处理系统，通过内存数据库集群架构，在数据写入时，将从数据库获取的每份数据进行拆分后，分布到不同集群的主服务中，然后数据管理单元将各主服务器中存储的数据同步到各后备服务器中，使得同一个集群内部的每台服务器中的数据副本相一致的。而在数据读取时，数据读写单元按照服务器负载均衡策略，在需读取数据所在的集群中选择一服务器进行数据读取，提高数据读取速度。可见，本发明技术方案通过增加集群就可以扩展内存数据库系统的处理性能和内存存储容量，而且每个集群采用主备服务器模式，当主服务器故障时，数据管理单元自动从后备服务器中选择一台作为主服务器，避免单台服务器故障造成业务中断和数据丢失，提高了内存数据库系统的可靠性。
进一步的，内存数据库系统还设置有数据同步单元，定时将数据同步回数据库，保证数据的完整性。
附图说明
图1是本发明提供的内存数据库系统的一种实施例的结构示意图；
图2是本发明提供的内存数据库系统的另一种实施例的结构示意图；
图3是本发明提供的数据处理系统的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明提供的内存数据库系统的一种实施例的结构示意图，如图1所示，该内存数据库系统包括业务系统接口101、数据库接口102、数据读写单元103、数据拆分单元104、数据管理单元105和N个集群106；其中，N≥2。
在本实施例中，每个集群内均设置有一台主服务器和若干台后备服务器。数据管理单元105分别与业务系统接口101、数据读写单元103、N个集群106内的各服务器连接。数据读写单元103分别与数据拆分单元104、数据库接口102、N个集群106内的各服务器连接。数据拆分单元104与数据库接口102连接。
在本实施例中，业务系统接口101与外部业务系统连接。数据库接口102与外部数据库连接。
数据拆分单元104用于在数据写入时，将需写入数据拆分为N个数据副本。数据读写单元103用于在数据写入时，将N个数据副本分别存储到N个集群的主服务器中；以及用于在数据读取时，按照服务器负载均衡策略和多版本控制策略，在需读取数据所在的集群中选择一服务器进行数据读取。数据管理单元105用于在数据写入时，控制各主服务器将存储的数据副本依次同步到各自所在集群中的各后备服务器中，以使得同一个集群中的所有服务器存储有一致的数据副本。
在本实施例中，数据拆分是以分区表的形式进行拆分，如按年份为条件划分数据区域。服务器负载均衡策略是指服务器优先选取负载较低的服务器，以平衡集群性能压力。多版本控制策略是指系统中的每条数据都有各自的版本记录，当有事务读取时，只会读取符合该事务版本的数据，从而保证事务完整性的前提下读取服务器上的数据。
在本实施例中的数据读取是指业务系统通过业务系统接口101，读取内存数据库系统中存储的数据。数据写入是指内存数据库系统通过数据库接口102，将数据库中存储的数据写入到内存数据库系统中。
在本实施例中，数据管理单元105用于控制各部件的工作，而且还用于当N个集群106中的第一集群的第一主服务器故障时，在第一集群中的若干个后备服务器中，选择任意一台后备服务器作为第一集群的主服务器，避免单台服务器故障造成的业务中断和数据丢失，提高了内存数据库系统的可靠性。
作为本实施例的一种举例，参见图2，图2是本发明提供的内存数据库系统的另一种实施例的结构示意图。图2与图1的区别在于，该内存数据库系统还包括数据同步单元107。数据同步单元107分别与所述数据库接口102、N个集群106内的各服务器连接。数据同步单元107用于在预设时间内，将N个集群106内的各主服务器存储的数据，通过数据库接口同步到外部数据库中。使用时，将业务数据写入、更新到内存数据库系统，并且同步集群中的各服务器；然后定时将内存数据库系统中的数据同步回数据库，保证了数据的完整性。
相应地，参见图3，图3是本发明提供的数据处理系统的一种实施例的结构示意图。如图3所示，该数据处理系统包括业务系统301、数据库302和内存数据库系统303。
其中，业务系统301通过业务系统接口101与内存数据库系统303连接。数据库302通过数据库接口102与内存数据库系统303连接。
在本实施例中，业务系统301与内存数据库系统303使用http的方式进行通讯，并以json的方式组织参数进行传递。内存数据库系统303使用JDBC的方式与数据库302进行通讯。
由上可见，本发明实施例提供的内存数据库系统及数据处理系统，通过内存数据库集群架构，在数据写入时，将从数据库获取的每份数据进行拆分后，分布到不同集群的主服务中，然后数据管理单元将各主服务器中存储的数据同步到各后备服务器中，使得同一个集群内部的每台服务器中的数据副本相一致的。而在数据读取时，数据读写单元按照服务器负载均衡策略，在需读取数据所在的集群中选择一服务器进行数据读取，提高数据读取速度。可见，本发明技术方案通过增加集群就可以扩展内存数据库系统的处理性能和内存存储容量，而且每个集群采用主备服务器模式，当主服务器故障时，数据管理单元自动从后备服务器中选择一台作为主服务器，避免单台服务器故障造成业务中断和数据丢失，提高了内存数据库系统的可靠性。
进一步的，内存数据库系统还设置有数据同步单元，定时将数据同步回数据库，保证数据的完整性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种内存数据库系统，其特征在于，包括：业务系统接口、数据库接口、数据读写单元、数据拆分单元、数据管理单元和N个集群；N≥2；
其中，每个集群内均设置有一台主服务器和若干台后备服务器；
所述数据管理单元分别与所述业务系统接口、所述数据读写单元、所述N个集群内的各服务器连接；
所述数据读写单元分别与所述数据拆分单元、所述数据库接口、所述N个集群内的各服务器连接；
所述数据拆分单元与所述数据库接口连接；
所述数据拆分单元用于在数据写入时，将需写入数据拆分为N个数据副本；
所述数据读写单元用于在数据写入时，将所述N个数据副本分别存储到所述N个集群的主服务器中；以及用于在数据读取时，按照服务器负载均衡策略和多版本控制策略，在需读取数据所在的集群中选择一服务器进行数据读取；
所述数据管理单元用于在数据写入时，控制各主服务器将存储的数据副本依次同步到各自所在集群中的各后备服务器中，以使得同一个集群中的所有服务器存储有一致的数据副本；
所述数据管理单元还用于当所述N个集群中的第一集群的第一主服务器故障时，在所述第一集群中的若干个后备服务器中，选择任意一台后备服务器作为所述第一集群的主服务器；
还包括：数据同步单元；
所述数据同步单元分别与所述数据库接口、所述N个集群内的各服务器连接；
所述数据同步单元用于在预设时间内，将所述N个集群内的各主服务器存储的数据整合，并将整合后的数据通过所述数据库接口同步到外部数据库中。
2.一种数据处理系统，其特征在于，包括：业务系统、数据库和如权利要求1所述的内存数据库系统；
其中，所述业务系统通过所述业务系统接口与所述内存数据库系统连接；
所述数据库通过所述数据库接口与所述内存数据库系统连接。
3.根据权利要求2所述的数据处理系统，其特征在于，所述业务系统与所述内存数据库系统使用http的方式进行通讯，并以json的方式组织参数进行传递。
4.根据权利要求2所述的数据处理系统，其特征在于，所述内存数据库系统使用JDBC的方式与所述数据库进行通讯。
CN201710102146.0A 2017-02-24 2017-02-24 一种内存数据库系统及数据处理系统 Active CN106951456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710102146.0A CN106951456B (zh) 2017-02-24 2017-02-24 一种内存数据库系统及数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710102146.0A CN106951456B (zh) 2017-02-24 2017-02-24 一种内存数据库系统及数据处理系统

Publications (2)

Publication Number Publication Date
CN106951456A CN106951456A (zh) 2017-07-14
CN106951456B true CN106951456B (zh) 2020-03-17

Family

ID=59467510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710102146.0A Active CN106951456B (zh) 2017-02-24 2017-02-24 一种内存数据库系统及数据处理系统

Country Status (1)

Country Link
CN (1) CN106951456B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451245B (zh) * 2017-07-27 2021-02-19 联想(北京)有限公司 数据同步方法及服务器集群
CN109684079B (zh) * 2018-12-07 2021-03-02 恒生电子股份有限公司 显示数据处理方法、装置以及电子设备
CN110267060B (zh) * 2019-07-24 2021-03-26 北京视界云天科技有限公司 视频文件存储注入方法、装置、计算机设备和存储介质
CN112860794B (zh) * 2021-02-03 2024-08-13 百果园技术(新加坡)有限公司 基于缓存的并发能力提升方法、装置、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514229A (zh) * 2012-06-29 2014-01-15 国际商业机器公司 用于在分布式数据库系统中处理数据库数据的方法和装置
CN103226520B (zh) * 2013-04-02 2016-09-07 中国科学院信息工程研究所 集群内存自适应管理方法、服务器集群系统
US9251011B2 (en) * 2013-12-11 2016-02-02 Sap Se Backup of in-memory databases
CN105335219A (zh) * 2014-07-08 2016-02-17 阿里巴巴集团控股有限公司 一种基于分布式的任务调度方法及系统
CN106126583A (zh) * 2016-06-20 2016-11-16 环球大数据科技有限公司 一种分布式图数据库的集群强一致性处理方法及系统
CN106101290B (zh) * 2016-08-25 2020-12-11 Tcl科技集团股份有限公司 一种服务器集群管理的方法及系统
CN106326012B (zh) * 2016-08-25 2019-09-24 中国农业银行股份有限公司 web应用集群缓存利用方法和系统
CN106354828A (zh) * 2016-08-31 2017-01-25 天津南大通用数据技术股份有限公司 一种分布式数据库数据的分片方法及装置
CN106210151A (zh) * 2016-09-27 2016-12-07 深圳市彬讯科技有限公司 一种zedis分布式缓存及服务器集群监控方法
CN106446268A (zh) * 2016-10-19 2017-02-22 中国工商银行股份有限公司 一种数据库横向扩展系统及方法

Also Published As

Publication number Publication date
CN106951456A (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
CN106951456B (zh) 一种内存数据库系统及数据处理系统
EP3435604B1 (en) Service processing method, device, and system
CN108509462B (zh) 一种同步活动事务表的方法及装置
CN103780638B (zh) 数据同步方法及系统
CN110597910A (zh) 一种异地数据同步方法、装置和系统
CN102158540A (zh) 分布式数据库实现系统及方法
CN107656937B (zh) 用于实现读写数据一致性的方法和装置
CN113987064A (zh) 数据处理方法、系统及设备
US20150254320A1 (en) Using colocation hints to facilitate accessing a distributed data storage system
CN101582076A (zh) 一种基于数据库的重复数据删除方法
CN103229171A (zh) 基于快照的复制
CN103150304A (zh) 云数据库系统
CN103138912A (zh) 数据同步方法及系统
CN103795801A (zh) 一种基于实时应用集群的元数据集群设计方法
US20150006485A1 (en) High Scalability Data Management Techniques for Representing, Editing, and Accessing Data
CN106919473A (zh) 一种数据灾备系统及业务处理方法
Montag Understanding neo4j scalability
CN105468297A (zh) 一种云存储系统内主从设备数据快速同步的方法
US11687533B2 (en) Centralized storage for search servers
CN102693312B (zh) 一种键值库数据存储中柔性事务管理方法
CN103246549A (zh) 一种数据转存的方法及系统
US20150169623A1 (en) Distributed File System, File Access Method and Client Device
CN110083306A (zh) 一种分布式对象存储系统及存储方法
CN113297173B (zh) 分布式数据库集群管理方法及装置、电子设备
US20140122433A1 (en) Storage device and data backup method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant