CN111858765A - 应用于数据库扩容场景的数据处理方法、装置及系统 - Google Patents
应用于数据库扩容场景的数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN111858765A CN111858765A CN202010722622.0A CN202010722622A CN111858765A CN 111858765 A CN111858765 A CN 111858765A CN 202010722622 A CN202010722622 A CN 202010722622A CN 111858765 A CN111858765 A CN 111858765A
- Authority
- CN
- China
- Prior art keywords
- database
- data
- information
- new
- calling service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种应用于数据库扩容场景的数据处理方法、装置及系统,其中,该方法包括:接收数据请求信息,数据请求信息中包括:账户信息和操作信息;基于扩容后数据库的分库规则确定账户信息对应数据的所属新数据库信息,以便于根据所属新数据库信息通过调用服务查找数据,其中,调用服务与所属新数据库具有关联关系;响应于未查找到数据,基于旧数据库的分库规则确定账户信息对应数据的所属旧数据库信息,以便于根据所属旧数据库信息查找数据;当查找到数据时,根据数据请求信息中的操作信息对该数据执行相应的操作。通过本发明,可以实现不停机数据库扩容,在数据库扩容时,能够继续处理作业,从而可以较好地提高客户体验感。
Description
技术领域
本发明涉及数据处理领域,具体涉及一种应用于数据库扩容场景的数据处理方法、装置及系统。
背景技术
近年来,随着银行信息化进程的不断推进,单一的集中式系统作为银行核心系统已经不能满足日益增长的业务要求。银行的系统架构逐步转型为能支持交易高并发且能快速扩容的分布式系统架构。
银行系统是数据密集型系统,交易量大,数据量大。为了提高系统处理能力,银行业务处理系统的数据库一般会采用水平分表分库策略,以分散单个数据库的存储和访问压力。
例如,银行账户表有1亿条记录,测算放到64个数据库中比较合适,每个数据库约156万条记录。则,如图1所示,对账户ID(Account ID)取模64进行运算,平均分布到这64个库中。
水平分库后,业务应用程序的处理会变得复杂,访问数据库的时候需要考虑查询哪个数据库。为了简化业务应用程序的开发,通常的解决办法是增加一层数据库中间件,主要做SQL路由、优化、数据聚合等工作,具体流程如图2所示。
水平分库后,未来如果数据量变化较大,可以通过动态扩充数据库来支持性能的扩展。扩充数据库会导致分库规则的变化,就涉及存量数据的迁移。传统的扩充流程可参见图3所示,由于数据库中间件仅可支持一种路由规则,因而,传统扩充流程为:①停机->②数据迁移->③按新的分库路由规则提供服务。
由于上述数据迁移需要停机实施,而且时间较长,因而导致了银行业务无法办理,影响了客户体验。
发明内容
有鉴于此,本发明提供一种应用于数据库扩容场景的数据处理方法、装置及系统,以解决上述提及的至少一个问题。
根据本发明的第一方面,提供一种应用于数据库扩容场景的数据处理方法,所述方法包括:接收数据请求信息,所述数据请求信息中包括:账户信息和操作信息;基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息,以便于根据所属新数据库信息通过调用服务查找数据,其中,所述调用服务与所述所属新数据库具有关联关系;响应于未查找到数据,基于旧数据库的分库规则确定所述账户信息对应数据的所属旧数据库信息,以便于根据所属旧数据库信息查找数据;当查找到数据时,根据所述数据请求信息中的操作信息对该数据执行相应的操作。
根据本发明的第二方面,提供一种应用于数据库扩容场景的数据处理装置,所述装置包括:数据接收单元,用于接收数据请求信息,所述数据请求信息中包括:账户信息和操作信息;新库信息确定单元,用于基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息,以便于根据所属新数据库信息通过调用服务查找数据,其中,所述调用服务与所述所属新数据库具有关联关系;旧库信息确定单元,用于响应于根据所属新数据库信息未查找到数据,基于旧数据库的分库规则确定所述账户信息对应数据的所属旧数据库信息,以便于根据所属旧数据库信息查找数据;执行单元,用于当查找到数据时,根据所述数据请求信息中的操作信息对该数据执行相应的操作。
根据本发明的第三方面,提供一种应用于数据库扩容场景的数据处理系统,所述系统包括:多个调用服务单元、上述的数据处理装置、以及数据迁移单元,其中,所述调用服务单元与新数据库的分库相对应,所述调用服务单元用于调用新数据库中的数据;所述数据迁移数据,用于在预定时间基于扩容后数据库的分库规则,将旧数据库中的数据迁移到新数据库中。
根据本发明的第四方面,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法的步骤。
根据本发明的第五方面,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
由上述技术方案可知,通过基于新数据库的分库规则确定接收到的账户信息对应数据的所属新数据库信息,通过调用服务查找数据,当未查找到数据时,再基于旧数据库的分库规则确定账户信息对应数据的所属旧数据库信息,进行查找数据,当查找到数据时,根据数据请求信息中的操作信息对该数据执行相应的操作,这样,就可以实现不停机数据库扩容,在数据库扩容时,通过调用服务能够继续处理作业,从而可以较好地提高客户体验感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是相关技术的数据库数据分布示意图;
图2是相关技术的数据库中间件的工作原理示意图;
图3是相关技术的数据迁移工作原理示意图;
图4是根据本发明实施例的应用于数据库扩容场景的数据处理系统的结构框图;
图5是根据本发明实施例的数据处理装置2的结构框图;
图6是现有系统与本发明实施例的数据处理系统的对比示意图;
图7是根据本发明实施例的数据库扩容场景中的数据处理工作原理示意图;
图8是根据本发明实施例的数据库扩容场景中的数据处理流程图;
图9是根据本发明实施例的应用于数据库扩容场景的数据处理方法的流程图;
图10为本发明实施例的电子设备600的系统构成的示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,在扩充数据库时会导致分库规则的变化,并且涉及到了存量数据的迁移。比如64个数据库扩充为128个数据库,分库路由规则就需要由取模64变为取模128,原来64个数据库中的数据,就需要按照取模128的规则重新分布迁移到128个数据库中。由于,现有数据库中间件仅可支持一种路由规则,因此,在数据库扩充过程中,需要停机实施,时间较长,这导致了银行业务无法办理,影响了客户体验。基于此,本发明实施例提供一种应用于数据库扩容场景的数据处理方案,在数据扩容时,提供新旧分库规则的兼容性访问,实现不停机扩容。以下结合附图来详细描述本发明实施例。
图4是根据本发明实施例提供的应用于数据库扩容场景的数据处理系统的结构框图,如图4所示,该系统包括:多个调用服务单元1、数据处理装置2、以及数据迁移单元3,其中,所述调用服务单元与新数据库的分库相对应,具有关联关系,所述调用服务单元用于调用新数据库中的数据;所述数据迁移数据,用于在预定时间(例如,交易较少的时间段)基于扩容后数据库的分库规则,将旧数据库中的数据迁移到新数据库中。
图5是上述数据处理装置2的结构框图,如图5所示,该数据处理装置2包括:数据接收单元21、新库信息确定单元22、旧库信息确定单元23和执行单元24,其中:
数据接收单元21,用于接收数据请求信息,所述数据请求信息中包括:账户信息和操作信息(例如,查找、编辑操作)。
这里的账户信息可以是用于标识用户的字符串。
新库信息确定单元22,用于基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息,以便于根据所属新数据库信息通过调用服务查找数据,其中,所述调用服务与所述所属新数据库具有关联关系。
具体而言,该新库信息确定单元22包括:取模模块和新库信息确定模块,其中:取模模块,用于基于扩容后数据库的分库规则对所述账户信息进行取模操作;新库信息确定模块,用于根据取模操作结果确定所述账户信息对应数据的所属新数据库信息。
旧库信息确定单元23,用于响应于根据所属新数据库信息未查找到数据,基于旧数据库的分库规则确定所述账户信息对应数据的所属旧数据库信息,以便于根据所属旧数据库信息查找数据。
执行单元24,用于当查找到数据时,根据所述数据请求信息中的操作信息对该数据执行相应的操作。
通过新库信息确定单元22先基于新数据库的分库规则确定数据接收单元21接收到的账户信息对应数据的所属新数据库信息,通过调用服务查找数据,当未查找到数据时,旧库信息确定单元23再基于旧数据库的分库规则确定账户信息对应数据的所属旧数据库信息,进行查找数据,当查找到数据时,执行单元24根据数据请求信息中的操作信息对该数据执行相应的操作,这样,就可以实现不停机数据库扩容,在数据库扩容时,能够继续处理作业(或称为交易)。通过本发明实施例,可以克服现有的数据库扩容由于数据库中间件仅可支持一种路由规则而导致的停机实施数据库扩容的问题,本发明实施例可支持两种或者多种路由规则,因而无需停机,通过调用服务可以继续执行银行业务,可以较好地提高客户体验感。
在实际操作中,数据处理装置2还可以包括:存储单元,用于存储调用服务单元与新数据库分库的对应关系信息。
相应地,数据处理装置2还包括:调用服务查找单元和调用服务确定单元,其中:
调用服务查找单元,用于根据所属新数据库信息,查找与该所属新数据库信息相应的多个调用服务单元,调用服务单元与新数据库之间具有关联关系。
调用服务确定单元,从所述多个调用服务单元中确定一个调用服务单元,以用于调用查找到的数据。这里的确定操作可以是随机确定,也可以基于实际操作来确定,本发明不限于此。
在实际操作中,上述各单元、各模块可以组合设置、也可以单一设置,本发明不限于此。
为了更好地理解本发明,以下给出一个系统实施例。
图6是现有系统与本发明实施例的数据处理系统的对比示意图,如图6所示,应用接入层具有上述数据处理装置2的功能,业务服务A具有上述调用服务单元的功能。需要说明的是,为了描述方便,图6中仅描述了业务服务A,在实际操作中,还包括业务服务B、业务服务C等。
与现有技术相比,本发明实施例系统具有如下改进:(1)采用服务路由的方式实现数据分片路由;(2)同时支持多个路由规则的服务路由引擎;(3)存量旧数据通过后台异步方式做数据迁移。以下分别详细描述这三个方面。
(1)采用服务路由的方式实现数据分片路由
在本发明实施例中,为了在数据分片路由处理上有更大的控制自由度,由原来用数据库中间件产品实现的数据路由,更新为用服务路由的方式实现。
继续参见图6,本发明实施例的系统架构做了相应调整:
(a)不再使用数据库中间件访问数据库,改为由业务应用程序(即,业务服务A)直连一个分片数据库。对于同一个业务服务功能A,根据分片库对应于多个不同身份的服务提供者,不同分片库上的服务提供者处理相应的分片数据。服务提供者属于哪个分片库,该身份信息会携带在服务提供者的URL中,URL可以存储在服务消费方(例如,应用接入层),以便服务消费方能根据需要处理的数据,找到正确的服务提供者,实施服务调用。
(b)在业务服务程序前,增加了一层应用接入层,实现服务路由处理。接入层作为业务服务A的消费方,数据分片路由的流程具体包括:①先获取请求要处理的账户数据,可以根据取模操作计算账户属于哪个分片库;②再从业务服务A(或者其他业务服务)的所有服务提供者中,根据URL中的身份信息,挑选出属于该数据分片的服务提供者;③选择对应的服务提供者实施服务调用。从而以服务路由选择的方式,实现数据分片路由。
(2)同时支持多个路由规则的服务路由引擎
基于上述的服务路由的方式实现数据分片路由,服务路由方式给应用程序很大的控制自由度,在服务路由时扩充实现了一个服务路由引擎,支持多个路由规则同时生效,并支持系统在线热修改路由规则。
(a)支持多个路由规则同时处理,可以提供新旧分库规则的兼容性访问。如图7所示,假设扩容前系统按64个分片库做路由,扩容后系统按128个分片库做路由。则接入层的服务路由引擎同时支持扩容前和扩容后两个路由规则,服务调用时做如下服务路由处理:
①数据表要新增数据时,按新的128个分片库规则做服务路由调用,将交易路由到新分库对应的服务提供者中进行处理;
②需要处理存量数据时,先按新的128个分片库规则做路由处理,如果所在分库能找到数据则正常处理,否则返回接入层再按旧的64个分片库规则做路由处理。当新旧两个分库规则都轮询处理完,依然找不到数据,则报错数据不存在。
(b)服务路由引擎中的路由规则支持系统在线热修改。利用Apollo(一种配置技术)等配置中心技术,实现路由规则在线热修改生效。
(3)存量旧数据通过后台异步方式做数据迁移
存量数据通过后台异步方式,按新的128分片库规则迁移到新的所属分库中,逐步减少需要二次路由的存量数据,提升系统处理效率。为了减少迁移过程对正常交易的影响,后台程序一般选择在交易较少的深夜时段处理。
图8是根据本发明实施例系统架构的数据处理流程,如图8所示,该流程包括:
S801:提前准备好新的数据库,构建数据库表结构;对应的业务处理服务器(提供业务服务功能)配套安装,按新的分片库标识服务提供者身份。
S802:将准备好的新数据库和对应的业务处理服务器启动,扩充加入到分布式系统中。此时分库路由规则还没有更新,因此暂时不会有业务跑到新扩充的服务节点中。
S803:通过配置中心,在线热修改服务路由规则。应用接入层的服务路由引擎根据分库路由规则,将交易路由至正确的分库服务提供者进行业务处理。
S804:启动做存量数据迁移的后台程序,将存量数据按新分库规则慢慢迁移到所属新分库中。
S805:当所有的存量数据都迁移完成,再通过配置中心,将旧的分库路由规则删除,提升系统处理效率。
本发明实施例采用数据分片路由的实现方式,由原来的数据库中间件产品实现数据路由,更新为服务路由的方式实现。并在服务路由处理上支持同时多个版本的服务路由规则。在数据扩容时,提供新旧分库规则的兼容性访问,可以实现不停机扩容。
基于相似的发明构思,本发明实施例还提供一种应用于数据库扩容场景的数据处理方法,该方法优选地应用于上述数据处理装置2。
图9是根据本发明实施例的应用于数据库扩容场景的数据处理方法的流程图,如图9所示,该方法包括:
步骤901,接收数据请求信息,所述数据请求信息中包括:账户信息和操作信息。
步骤902,基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息,以便于根据所属新数据库信息通过调用服务查找数据,其中,所述调用服务与所述所属新数据库具有关联关系。
具体地,先基于扩容后数据库的分库规则对所述账户信息进行取模操作;之后根据取模操作结果确定所述账户信息对应数据的所属新数据库信息。
步骤903,响应于未查找到数据,基于旧数据库的分库规则确定所述账户信息对应数据的所属旧数据库信息,以便于根据所属旧数据库信息查找数据。
步骤904,当查找到数据时,根据所述数据请求信息中的操作信息对该数据执行相应的操作。
通过先基于新数据库的分库规则确定接收到的账户信息对应数据的所属新数据库信息,进行查找数据,当未查找到数据时,再基于旧数据库的分库规则确定账户信息对应数据的所属旧数据库信息,进行查找数据,当查找到数据时,根据数据请求信息中的操作信息对该数据执行相应的操作,这样,就可以实现不停机数据库扩容,在数据库扩容时,能够继续处理作业。
在实际操作中,可以设置多个调用服务单元,调用服务单元对应于新数据库中的分库,用于调用数据。
具体而言,在基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息之后,根据所属新数据库信息,查找与该所属新数据库信息相应的多个调用服务单元;从所述多个调用服务单元中确定一个调用服务单元,以用于调用查找到的数据。本发明实施例由于兼容两种路由规则,因而可以克服现有的数据库扩容由于数据库中间件仅可支持一种路由规则而导致的停机实施数据库扩容的问题,本发明实施例无需停机,通过调用服务可以继续执行银行业务,可以较好地提高客户体验感。
本实施例还提供一种电子设备,该电子设备可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该电子设备可以参照上述方法实施例进行实施及应用于数据库扩容场景的数据处理系统的实施例进行实施,其内容被合并于此,重复之处不再赘述。
图10为本发明实施例的电子设备600的系统构成的示意框图。如图10所示,该电子设备600可以包括中央处理器100和存储器140;存储器140耦合到中央处理器100。值得注意的是,该图是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
一实施例中,应用于数据库扩容场景的数据处理功能可以被集成到中央处理器100中。其中,中央处理器100可以被配置为进行如下控制:
接收数据请求信息,所述数据请求信息中包括:账户信息和操作信息;
基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息,以便于根据所属新数据库信息查找数据;
响应于未查找到数据,基于旧数据库的分库规则确定所述账户信息对应数据的所属旧数据库信息,以便于根据所属旧数据库信息查找数据;
当查找到数据时,根据所述数据请求信息中的操作信息对该数据执行相应的操作。
从上述描述可知,本申请实施例提供的电子设备,通过先基于新数据库的分库规则确定接收到的账户信息对应数据的所属新数据库信息,进行查找数据,当未查找到数据时,再基于旧数据库的分库规则确定账户信息对应数据的所属旧数据库信息,进行查找数据,当查找到数据时,根据数据请求信息中的操作信息对该数据执行相应的操作,这样,就可以实现不停机数据库扩容,在数据库扩容时,能够继续处理作业。
在另一个实施方式中,应用于数据库扩容场景的数据处理系统可以与中央处理器100分开配置,例如可以将应用于数据库扩容场景的数据处理系统配置为与中央处理器100连接的芯片,通过中央处理器的控制来实现应用于数据库扩容场景的数据处理功能。
如图10所示,该电子设备600还可以包括:通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是,电子设备600也并不是必须要包括图10中所示的所有部件;此外,电子设备600还可以包括图10中没有示出的部件,可以参考现有技术。
如图10所示,中央处理器100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中,存储器140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序,以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142,该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143,该数据存储部143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132,以经由扬声器131提供音频输出,并接收来自麦克风132的音频输入,从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器130还耦合到中央处理器100,从而使得可以通过麦克风132能够在本机上录音,且使得可以通过扬声器131来播放本机上存储的声音。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时以实现上述应用于数据库扩容场景的数据处理方法的步骤。
综上所述,本发明实施例基于服务路由实现的数据库扩容的方法,实现了不停机实施扩充数据库,保障7×24小时的服务连续性,提升了银行系统的服务能力,改善客户体验。
以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的,因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外,由于本领域的技术人员容易想到很多修改和改变,因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作,而是可以涵盖落入其范围内的所有合适修改和等同物。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种应用于数据库扩容场景的数据处理方法,其特征在于,所述方法包括:
接收数据请求信息,所述数据请求信息中包括:账户信息和操作信息;
基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息,以便于根据所属新数据库信息通过调用服务查找数据,其中,所述调用服务与所述所属新数据库具有关联关系;
响应于未查找到数据,基于旧数据库的分库规则确定所述账户信息对应数据的所属旧数据库信息,以便于根据所属旧数据库信息查找数据;
当查找到数据时,根据所述数据请求信息中的操作信息对该数据执行相应的操作。
2.根据权利要求1所述的方法,其特征在于,基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息包括:
基于扩容后数据库的分库规则对所述账户信息进行取模操作;
根据取模操作结果确定所述账户信息对应数据的所属新数据库信息。
3.根据权利要求1所述的方法,其特征在于,基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息之后,所述方法还包括:
根据所属新数据库信息,查找与该所属新数据库信息相应的多个调用服务单元;
从所述多个调用服务单元中确定一个调用服务单元,以用于调用查找到的数据。
4.一种应用于数据库扩容场景的数据处理装置,其特征在于,所述装置包括:
数据接收单元,用于接收数据请求信息,所述数据请求信息中包括:账户信息和操作信息;
新库信息确定单元,用于基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息,以便于根据所属新数据库信息通过调用服务查找数据,其中,所述调用服务与所述所属新数据库具有关联关系;
旧库信息确定单元,用于响应于根据所属新数据库信息未查找到数据,基于旧数据库的分库规则确定所述账户信息对应数据的所属旧数据库信息,以便于根据所属旧数据库信息查找数据;
执行单元,用于当查找到数据时,根据所述数据请求信息中的操作信息对该数据执行相应的操作。
5.根据权利要求4所述的装置,其特征在于,所述新库信息确定单元包括:
取模模块,用于基于扩容后数据库的分库规则对所述账户信息进行取模操作;
新库信息确定模块,用于根据取模操作结果确定所述账户信息对应数据的所属新数据库信息。
6.根据权利要求4所述的装置,其特征在于,所述装置还包括:
调用服务查找单元,用于根据所属新数据库信息,查找与该所属新数据库信息相应的多个调用服务单元;
调用服务确定单元,从所述多个调用服务单元中确定一个调用服务单元,以用于调用查找到的数据。
7.一种应用于数据库扩容场景的数据处理系统,其特征在于,所述系统包括:多个调用服务单元、如权利要求4至6中任一项所述的数据处理装置、以及数据迁移单元,其中,
所述调用服务单元与新数据库的分库相对应,所述调用服务单元用于调用新数据库中的数据;
所述数据迁移数据,用于在预定时间基于扩容后数据库的分库规则,将旧数据库中的数据迁移到新数据库中。
8.根据权利要求7所述的系统,其特征在于,所述数据处理装置还包括:
存储单元,用于存储调用服务单元与新数据库分库的对应关系信息。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至3中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至3中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010722622.0A CN111858765A (zh) | 2020-07-24 | 2020-07-24 | 应用于数据库扩容场景的数据处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010722622.0A CN111858765A (zh) | 2020-07-24 | 2020-07-24 | 应用于数据库扩容场景的数据处理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111858765A true CN111858765A (zh) | 2020-10-30 |
Family
ID=72949997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010722622.0A Pending CN111858765A (zh) | 2020-07-24 | 2020-07-24 | 应用于数据库扩容场景的数据处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111858765A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113204592A (zh) * | 2021-05-20 | 2021-08-03 | 远景智能国际私人投资有限公司 | 物联网场景下的数据处理方法、系统、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294421A (zh) * | 2015-05-25 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据写入、读取方法及装置 |
CN107870954A (zh) * | 2016-09-28 | 2018-04-03 | 中国移动通信集团广东有限公司 | 一种分布式数据库的扩展方法及装置 |
CN110727738A (zh) * | 2019-12-19 | 2020-01-24 | 北京江融信科技有限公司 | 基于数据分片的全局路由系统、电子设备及存储介质 |
CN110858194A (zh) * | 2018-08-16 | 2020-03-03 | 北京京东尚科信息技术有限公司 | 一种数据库扩容的方法和装置 |
-
2020
- 2020-07-24 CN CN202010722622.0A patent/CN111858765A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294421A (zh) * | 2015-05-25 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据写入、读取方法及装置 |
CN107870954A (zh) * | 2016-09-28 | 2018-04-03 | 中国移动通信集团广东有限公司 | 一种分布式数据库的扩展方法及装置 |
CN110858194A (zh) * | 2018-08-16 | 2020-03-03 | 北京京东尚科信息技术有限公司 | 一种数据库扩容的方法和装置 |
CN110727738A (zh) * | 2019-12-19 | 2020-01-24 | 北京江融信科技有限公司 | 基于数据分片的全局路由系统、电子设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113204592A (zh) * | 2021-05-20 | 2021-08-03 | 远景智能国际私人投资有限公司 | 物联网场景下的数据处理方法、系统、装置及存储介质 |
CN113204592B (zh) * | 2021-05-20 | 2023-07-21 | 远景智能国际私人投资有限公司 | 物联网场景下的数据处理方法、系统、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106815218B (zh) | 数据库访问方法、装置和数据库系统 | |
RU2701124C2 (ru) | Составные функции разбиения | |
CN107402950B (zh) | 基于分库分表的文件处理方法和装置 | |
CN111324665B (zh) | 一种日志回放方法及装置 | |
CN104750740A (zh) | 数据更新的方法及装置 | |
CN112835904A (zh) | 一种数据处理方法和数据处理装置 | |
CN111427918A (zh) | 交易明细数据比对方法及装置 | |
CN111858765A (zh) | 应用于数据库扩容场景的数据处理方法、装置及系统 | |
CN113064919B (zh) | 数据处理方法、数据存储系统、计算机设备及存储介质 | |
CN111930843B (zh) | 基于数据库的数据系统及处理方法 | |
CN111026755B (zh) | 基于全量序号发生器的交易序号获取方法及装置 | |
AU2020203282A1 (en) | Method and system for matching multi-dimensional data units in electronic information system | |
CN116701413A (zh) | 主数据处理方法及装置 | |
CN112187738A (zh) | 业务数据访问控制方法、装置及计算机可读存储介质 | |
CN110837499B (zh) | 数据访问处理方法、装置、电子设备和存储介质 | |
US20200089801A1 (en) | Disturbance-free partitioning and migration of data from one storage account to another storage account | |
CN116233254A (zh) | 业务切流方法、装置、计算机设备和存储介质 | |
EP4187877A1 (en) | Method and apparatus for establishing communication connection, and device, and computer readable storage medium | |
CN113505176A (zh) | 分布式系统集群在线分片扩容方法及装置 | |
CN111460037A (zh) | 金融数据查询方法及装置 | |
CN111291017B (zh) | 镜像仓库的镜像存储、提取方法及装置 | |
CN111901403B (zh) | 会话管理方法和装置、电子设备、及介质 | |
CN113505177A (zh) | 分布式系统集群在线分片扩容方法及装置 | |
CN112927065A (zh) | 批量抛账处理方法及装置 | |
CN113507390A (zh) | 分布式系统集群在线分片扩容方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |