CN107203560B - 数据库、多数据库操作事务一致性保证方法及系统 - Google Patents
数据库、多数据库操作事务一致性保证方法及系统 Download PDFInfo
- Publication number
- CN107203560B CN107203560B CN201610156178.4A CN201610156178A CN107203560B CN 107203560 B CN107203560 B CN 107203560B CN 201610156178 A CN201610156178 A CN 201610156178A CN 107203560 B CN107203560 B CN 107203560B
- Authority
- CN
- China
- Prior art keywords
- data service
- request
- transaction
- client
- service client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据库、多数据库操作事务一致性保证方法及系统,本发明为具有事务的业务请求生成事务ID和重放日志,由数据服务端根据业务请求完成相应的操作,并将结果反馈给数据服务客户端。在处理过程中若出现异常则根据事务ID将对应于这次业务请求的所有操作回滚,若所有操作全部完成,则根据对应的重放日志进行提交,在提交过程中若出现异常则进行回滚处理或异常处理,提交完毕相应的数据库更新完毕。多个用户多次对数据库进行操作时,数据服务端对各个业务请求是否需要进行业务保持进行记录,并根据事务ID为需要业务保持的请求分配独占进程,从而通过事务ID的设置在多用户多次操作数据库以及提交时能够保证事务的一致性。
Description
技术领域
本发明涉及数据业务处理领域,更具体涉及一种数据库、多数据库操作事务一致性保证方法及系统。
背景技术
随着LTE(长期演进)流量运营时代的到来,当前BOSS(业务支撑系统)领域新业务层出不穷,系统性能需求呈几何级的增长,单点数据库已经很难满足业务增长的需求。数据库的拆分和异构(物理数据库、内存数据库、NOSQL数据库等混合使用)成了一项重要诉求,系统的功能集群化分布式处理也成了趋势。
传统常用的中间件系统如CICS、TUXEDO等基于XA框架2PC(两阶段提交)事务一致性保障方式因为限制太多,伸缩性的太差;BOSS系统在“云”化的趋势下,需要逐步剥离出核心系统,引入新的多数据库操作事务一致性保证机制成了一项重要诉求。
如图1为现有技术中数据库系统结构示意图,客户端与应用服务的应用逻辑连接,应用服务的OLT适配层与数据层连接,实现对数据库的操作,其中数据库层包括物理数据库、内存数据库、数据缓存等。
但是现有技术中采用这种简单的连接池或连接代理方案,不能保证多次调用都能使用同一数据库会话(session),不能保证数据资源的透明访问(提交前的中间数据只能在同一会话session内看得到)。同时应用直接连接多个数据源,每个应用都需要考虑多数据源操作事务一致性问题,造成应用逻辑过于复杂。
发明内容
本发明要解决的技术问题是如何以简单有效的方式保证对数据库的单用户或多用户的单次或多次操作的事务的一致性。
为了解决上述技术问题,本发明提供了一种多数据库操作事务一致性保证方法,所述方法包括以下步骤:
S100、第一客户端发起业务请求,第一数据服务客户端根据所述业务请求生成事务ID;其中所述业务请求包括对多个数据库进行操作的多个子请求;一次所述业务请求对应一个所述事务ID;
S102、所述第一数据服务客户端检查所述子请求是否有事务,对于每一个有事务的所述子请求,依次执行以下操作:
S1021、所述第一数据服务客户端根据所述事务ID、对应于所述子请求的操作命令以及绑定变量形成报文信息,将所述报文信息序列化生成重做日志,之后存储所述重做日志并将所述报文信息发送给第一数据服务端;
S1022、所述第一数据服务端解析所述报文信息,并将对应的子请求放入请求队列;
S1023、所述第一数据服务端在有空闲进程时从所述请求队列获取所述子请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第一数据服务客户端;
S103、若所有事务的所述子请求均利用所述步骤S102处理成功,则所述第一客户端向所述第一数据服务客户端发起提交请求;
S104、所述第一数据服务客户端根据所述提交请求,对于每一个处理成功的所述子请求,依次执行以下操作:
S1041、根据所述事务ID获取对应的所述重做日志;
S1042、根据所述重做日志调用对应的所述第一数据服务端提交处理结果给对应的数据库,并将提交结果响应给所述第一数据服务客户端;
S1043、若接收的所有提交结果均为成功则本次业务完成,清除对应的所述事务ID以及重做日志。
优选地,所述步骤S1043中,若接收的第一个所述提交结果为成功,并且存在提交结果为失败,则根据对应的所述重做日志生成错误文件,供异步平账进程重做处理;
所述步骤S1043中,若接收的第一个所述提交结果为失败,则执行回滚处理。
优选地,所述步骤S102之后,所述方法还包括以下步骤:
若所述步骤S102的执行过程中出现异常,则执行回滚处理。
优选地,所述回滚处理包括以下步骤:
所述第一数据服务客户端向所述第一客户端反馈结果响应;
所述第一客户端向所述第一数据服务客户端发送业务回滚指令;
所述第一数据服务客户端根据所述业务回滚指令以及对应的所述事务ID获取所述重做日志;
所述第一数据服务客户端根据所述重做日志,调用对应的所述第一数据服务端对已经处理过的每个所述子请求做对应的回滚操作;
所述第一数据服务客户端清空对应的所述事务ID以及所述重做日志。
优选地,所述步骤S1023之后、所述步骤S103之前,所述方法还包括以下步骤:
判断当前的所述子请求是否需要事务保持,若需要事务保持,则当前进程只能分配给具有相同的所述事务ID的请求使用,若不需要事务保持,则释放当前进程。
优选地,所述第一客户端发起新的业务请求时,所述方法还包括以下步骤:
S105、所述第一数据服务客户端判断该业务请求是否是对于某一数据库的第一次业务请求,若不是第一次业务请求,则所述第一数据服务客户端将所述新的业务请求的事务ID设置为前一次业务请求的事务ID;
S106、所述第一数据服务客户端根据所述新的业务请求的事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第一数据服务端;
S107、所述第一数据服务端解析所述报文信息,并将对应的请求放入请求队列;
S108、所述第一数据服务端判断是否存在所述新的业务请求的事务ID的独占进程,若存在,则从所述请求队列获取所述请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第一数据服务客户端;所述第一数据服务客户端将所述处理结果响应给所述第一客户端;
S109、所述第一客户端向所述第一数据服务客户端发起提交请求;所述第一数据服务客户端将所述提交请求的事务ID设置为前一次业务请求的事务ID,并且所述第一数据服务客户端根据所述提交请求生成报文信息发送给对应的所述第一数据服务端;
S110、所述第一数据服务端根据接收的步骤S109中的所述报文信息,连接对应的数据库,并判断是否存在所述提交请求的事务ID的独占进程,若存在,利用所述独占进程执行提交操作,并在提交完成后向所述第一数据服务客户端反馈提交响应,所述第一数据服务客户端根据所述提交响应向所述第一客户端反馈对应的提交结果。
一种数据库操作事务一致性保证方法,所述方法包括以下步骤:
S200、第二客户端的向第二数据服务客户端发起业务请求,所述第二数据服务客户端根据所述业务请求生成事务ID;
S201、所述第二数据服务客户端调用所述第三数据服务客户端,并且所述第三数据服务客户端产生与所述第二数据服务客户端所产生的事务ID相同的事务ID;
S202、所述第三数据服务客户端根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,并将所述报文信息发送给第二数据服务端;
S203、所述第二数据服务端解析所述报文信息,并将业务请求放入请求队列;
S204、所述第二数据服务端在有空闲进程时从所述请求队列获取所述业务请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;
S205、判断当前的业务请求是否需要事务保持,若需要事务保持,则当前进程只能分配给具有相同的所述事务ID的请求使用,若不需要事务保持,则释放当前进程;
S206、所述第三客户端发起第三次业务请求时,所述第三数据服务客户端产生与上一次业务请求所产生的事务ID相同事务ID;
S207、所述第三数据服务客户端根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端;
S208、所述第二数据服务端解析所述报文信息,并将对应的请求放入请求队列;
S209、所述第二数据服务端判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端将所述处理结果响应给所述第二数据服务客户端;
S2010、第二客户端的向第二数据服务客户端发起第二次业务请求,所述第二数据服务客户端产生与上一次业务请求所产生的事务ID相同事务ID;
S2011、所述第二数据服务客户端根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端;
S2012、所述第二数据服务端解析所述报文信息,并将对应的请求放入请求队列;
S2013、所述第二数据服务端判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端将所述处理结果响应给所述第二数据服务客户端;
S2014、对于同一数据库的业务完成之后,所述第二客户端向所述第二数据服务客户端发起提交请求;所述第二数据服务客户端将所述提交请求的事务ID设置为前一次业务请求的事务ID;并向所述第三数据服务客户端发起请求;
所述第三数据服务客户端判断当前提交请求是否为自己发出的请求,若不是,则所述第三数据服务客户端反馈预定响应给所述第二数据服务客户端,所述第二数据服务客户端收到所述预定响应后,根据所述提交请求生成报文信息发送给对应的所述第二数据服务端;
S2015、所述第二数据服务端根据接收的步骤S2014中的所述报文信息,连接对应的数据库,并判断是否存在所述事务ID的独占进程,若存在,利用所述独占进程执行提交操作,并在提交完成后向所述第二数据服务客户端反馈提交响应。
一种利用上述多数据库操作事务一致性保证方法保证多数据库操作事务一致性的系统,所述系统包括第一客户端、若干个数据库、第一数据服务客户端以及第一数据服务端;
所述第一客户端用于向所述第一数据服务客户端发起业务请求;
所述第一数据服务客户端用于根据所述业务请求生成事务ID;其中所述业务请求包括对多个数据库进行操作的多个子请求;一次所述业务请求对应一个所述事务ID;
所述第一数据服务客户端还用于检查所述子请求是否有事务,对于每一个有事务的所述子请求,所述第一数据服务客户端还用于根据所述事务ID、对应于所述子请求的操作命令以及绑定变量形成报文信息,将所述报文信息序列化生成重做日志,之后存储所述重做日志并将所述报文信息发送给所述第一数据服务端;
所述第一数据服务端用于解析所述报文信息,并将对应的子请求放入请求队列,并且在有空闲进程时,所述第一数据服务端还用于从所述请求队列获取所述子请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第一数据服务客户端;在所有事务的所述子请求均处理成功,则所述第一客户端还用于向所述第一数据服务客户端发起提交请求;对于每一个处理成功的所述子请求,所述第一数据服务客户端还用于根据所述提交请求以及所述事务ID获取对应的所述重做日志,之后根据所述重做日志调用对应的所述第一数据服务端提交处理结果给对应的数据库,并将提交结果响应给所述第一数据服务客户端;在所有提交结果均为成功则本次业务完成,所述第一数据服务客户端还用于清除对应的所述事务ID以及重做日志。
优选地,在所述第一数据服务客户端接收的第一个所述提交结果为成功,并且存在提交结果为失败,则所述第一数据服务客户端还用于根据对应的所述重做日志生成错误文件,供异步平账进程重做处理;
至少一个所述子请求在执行对应的所述操作命令时出现异常时,所述第一数据服务客户端和所述第一数据服务端执行回滚操作。
一种利用上述数据库操作事务一致性保证方法保证数据库操作事务一致性的系统,所述系统包括第二客户端、第二数据服务客户端、第三数据服务客户端以及第二数据服务端;
所述第二客户端用于向所述第二数据服务客户端发起业务请求,所述第二数据服务客户端用于根据所述业务请求生成事务ID;所述第二数据服务客户端还用于调用所述第三数据服务客户端,并且所述第三数据服务客户端用于产生第一次业务请求,并根据所述业务请求产生与所述第二数据服务客户端所产生的事务ID相同的事务ID;
所述第三数据服务客户端还用于根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,并将所述报文信息发送给第二数据服务端;
所述第二数据服务端用于解析所述报文信息,并将业务请求放入请求队列,并且在有空闲进程时,所述第二数据服务端还用于从请求队列获取所述业务请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;
所述第三数据服务客户端还用于判断当前的业务请求是否需要事务保持,若需要事务保持,则所述第三数据服务客户端将当前进程只分配给具有相同的所述事务ID的请求使用,若不需要事务保持,则释放当前进程;
所述第三客户端还用于发起第二次业务请求,此时所述第三数据服务客户端还用于产生与上一次业务请求所产生的事务ID相同事务ID,并且根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端;所述第二数据服务端还用于解析所述报文信息,将对应的请求放入请求队列,并且判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端还用于将所述处理结果响应给所述第二数据服务客户端;
所述第二客户端向第二数据服务客户端发起第二次业务请求时,所述第二数据服务客户端还用于产生与上一次业务请求所产生的事务ID相同事务ID,并且根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端,所述第二数据服务端还用于解析所述报文信息,将对应的请求放入请求队列,并判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端还用于将所述处理结果响应给所述第二数据服务客户端;
对同一数据库的业务完成之后,所述第二客户端还用于向所述第二数据服务客户端发起提交请求;所述第二数据服务客户端还用于将所述提交请求的事务ID设置为前一次业务请求的事务ID;并向所述第三数据服务客户端发起请求;所述第三数据服务客户端还用于判断当前提交请求是否为自己发出的请求,若不是,则所述第三数据服务客户端反馈预定响应给所述第二数据服务客户端,所述第二数据服务客户端收到所述预定响应后,还用于根据所述提交请求生成报文信息发送给对应的所述第二数据服务端;所述第二数据服务端还用于根据接收的所述报文信息,连接对应的数据库,并判断是否存在所述事务ID的独占进程,若存在,利用所述独占进程执行提交操作,并在提交完成后向所述第二数据服务客户端反馈提交响应。
本发明提供了一种数据库、多数据库操作事务一致性保证方法及系统,本发明为具有事务的业务请求生成事务ID和重放日志,将重放日志进行存储,并将该业务请求发送给数据服务客户端,由数据服务端完成相应的操作,并将结果反馈给数据服务客户端。在处理过程中若出现异常则根据事务ID将对应于这次业务请求的所有操作全部回滚,若对应于这次业务请求的所有操作全部完成,则根据对应的重放日志进行提交,在提交过程中若出现异常则进行回滚处理或异常处理,提交完毕相应的数据库更新完毕,本发明保证了多数据库操作的事务一致性。多个用户多次对数据库进行操作时,数据服务端对各个业务请求是否需要进行业务保持进行记录,并为需要业务保持的请求分配独占进程,该独占进程只分配给特定事务ID的请求使用,从而通过事务ID的设置在多用户多次操作数据库以及提交时能够保证事务的一致性。本发明支持对多个数据操作且能保证事务一致性,简化应用开发的复杂度;同时本发明支持对DML操作的回滚和重做(redo),应用层不用处理路由管理和事务管理,从而简化应用,降低开发成本。另外,本发明支持跨服务的数据库连接会话重入,确保一个业务事务中,多个服务进程(或线程)对同一数据的多次修改后脏数据(未做提交中间数据)各个进程(或线程)透明可见。
附图说明
图1为现有技术中数据库系统结构示意图;
图2为本发明的多数据库操作事务一致性保证方法的流程图;
图3为本发明的数据库操作事务一致性保证方法的流程图;
图4为本发明的保证多数据库操作事务一致性的系统结构示意图;
图5为本发明的一个较佳实施例一的保证多数据库操作事务一致性的系统结构示意图;
图6为本发明的一个较佳实施例二的多数据库操作事务一致性保证方法的流程图;
图7为本发明的一个较佳实施例二中回滚处理的流程图;
图8为本发明的一个较佳实施例二中异常处理的流程图;
图9为本发明的一个较佳实施例三的保证多数据库操作事务一致性的系统的结构示意图;
图10为本发明的一个较佳实施例四的保证多数据库操作事务一致性的方法流程图;
图11为本发明的一个较佳实施例五的保证数据库操作事务一致性的系统的结构示意图;
图12为本发明的一个较佳实施例六的保证数据库操作事务一致性的方法流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述。以下实施例用于说明发明,但不能用来限制本发明的范围。
一种多数据库操作事务一致性保证方法,如图2所示,所述方法包括以下步骤:
S100、第一客户端发起业务请求,第一数据服务客户端根据所述业务请求生成事务ID;其中所述业务请求包括对多个数据库进行操作的多个子请求;一次所述业务请求对应一个所述事务ID;
S102、所述第一数据服务客户端检查所述子请求是否有事务,对于每一个有事务的所述子请求,执行对应的所述操作命令,获得处理结果,具体地:
S1021、所述第一数据服务客户端根据所述事务ID、对应于所述子请求的操作命令以及绑定变量形成报文信息,将所述报文信息序列化生成重做日志,之后存储所述重做日志并将所述报文信息发送给第一数据服务端;
S1022、所述第一数据服务端解析所述报文信息,并将对应的子请求放入请求队列;
S1023、所述第一数据服务端在有空闲进程时从所述请求队列获取所述子请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第一数据服务客户端;
其中第一数据服务端有若干个,根据子请求的需求有对应的服务端执行对应的所述操作命令;
S103、若所有事务的所述子请求均利用所述步骤S102处理成功,则所述第一客户端向所述第一数据服务客户端发起提交请求;
S104、所述第一数据服务客户端根据所述提交请求,进行提交操作,具体地对于每一个处理成功的所述子请求,依次执行以下操作:
S1041、根据所述事务ID获取对应的所述重做日志;
S1042、根据所述重做日志调用对应的所述第一数据服务端提交处理结果给对应的数据库,并将提交结果响应给所述第一数据服务客户端;
S1043、若接收的所有提交结果均为成功则本次业务完成,清除对应的所述事务ID以及重做日志。
上述方法保证了多数据库操作的事务一致性。
进一步地,所述步骤S1043中,若接收的第一个所述提交结果为成功,并且存在提交结果为失败,则根据对应的所述重做日志生成错误文件,供异步平账进程重做处理;
所述步骤S1043中,若接收的第一个所述提交结果为失败,则执行回滚处理。
进一步地,所述步骤S102之后,所述方法还包括以下步骤:
若所述步骤S102的执行过程中出现异常,则执行回滚处理。
进一步地,所述回滚处理包括以下步骤:
所述第一数据服务客户端向所述第一客户端反馈结果响应;
所述第一客户端向所述第一数据服务客户端发送业务回滚指令;
所述第一数据服务客户端根据所述业务回滚指令以及对应的所述事务ID获取所述重做日志;
所述第一数据服务客户端根据所述重做日志,调用对应的所述第一数据服务端对已经处理过的每个所述子请求做对应的回滚操作;
所述第一数据服务客户端清空对应的所述事务ID以及所述重做日志。
进一步地,所述步骤S1023之后、所述步骤S103之前,所述方法还包括以下步骤:
判断当前的所述子请求是否需要事务保持,若需要事务保持,则当前进程只能分配给具有相同的所述事务ID的请求使用,若不需要事务保持,则释放当前进程。
进一步地,所述第一客户端发起新的业务请求时,所述方法还包括以下步骤:
S105、所述第一数据服务客户端判断该业务请求是否是对于某一数据库的第一次业务请求,若不是第一次业务请求,则所述第一数据服务客户端将所述新的业务请求的事务ID设置为前一次业务请求的事务ID;
S106、所述第一数据服务客户端根据所述新的业务请求的事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第一数据服务端;
S107、所述第一数据服务端解析所述报文信息,并将对应的请求放入请求队列;
S108、所述第一数据服务端判断是否存在所述新的业务请求的事务ID的独占进程,若存在,则从所述请求队列获取所述请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第一数据服务客户端;所述第一数据服务客户端将所述处理结果响应给所述第一客户端;
S109、所述第一客户端向所述第一数据服务客户端发起提交请求;所述第一数据服务客户端将所述提交请求的事务ID设置为前一次业务请求的事务ID,并且所述第一数据服务客户端根据所述提交请求生成报文信息发送给对应的所述第一数据服务端;
S110、所述第一数据服务端根据接收的步骤S109中的所述报文信息,连接对应的数据库,并判断是否存在所述提交请求的事务ID的独占进程,若存在,利用所述独占进程执行提交操作,并在提交完成后向所述第一数据服务客户端反馈提交响应,所述第一数据服务客户端根据所述提交响应向所述第一客户端反馈对应的提交结果。
本发明还公开了一种数据库操作事务一致性保证方法,如图2所示,所述方法包括以下步骤:
S200、第二客户端的向第二数据服务客户端发起业务请求,所述第二数据服务客户端根据所述业务请求生成事务ID;
S201、所述第二数据服务客户端调用所述第三数据服务客户端,并且所述第三数据服务客户端产生与所述第二数据服务客户端所产生的事务ID相同的事务ID;
S202、所述第三数据服务客户端根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,并将所述报文信息发送给第二数据服务端;
S203、所述第二数据服务端解析所述报文信息,并将业务请求放入请求队列;
S204、所述第二数据服务端在有空闲进程时从所述请求队列获取所述业务请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;
S205、判断当前的业务请求是否需要事务保持,若需要事务保持,则当前进程只能分配给具有相同的所述事务ID的请求使用,若不需要事务保持,则释放当前进程;
S206、所述第三客户端发起第三次业务请求时,所述第三数据服务客户端产生与上一次业务请求所产生的事务ID相同事务ID;
S207、所述第三数据服务客户端根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端;
S208、所述第二数据服务端解析所述报文信息,并将对应的请求放入请求队列;
S209、所述第二数据服务端判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端将所述处理结果响应给所述第二数据服务客户端;
S2010、第二客户端的向第二数据服务客户端发起第二次业务请求,所述第二数据服务客户端产生与上一次业务请求所产生的事务ID相同事务ID;
S2011、所述第二数据服务客户端根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端;
S2012、所述第二数据服务端解析所述报文信息,并将对应的请求放入请求队列;
S2013、所述第二数据服务端判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端将所述处理结果响应给所述第二数据服务客户端;
S2014、对于同一数据库的业务完成之后,所述第二客户端向所述第二数据服务客户端发起提交请求;所述第二数据服务客户端将所述提交请求的事务ID设置为前一次业务请求的事务ID;并向所述第三数据服务客户端发起请求;
所述第三数据服务客户端判断当前提交请求是否为自己发出的请求,若不是,则所述第三数据服务客户端发送预定响应给所述第二数据服务客户端,所述第二数据服务客户端收到所述预定响应后,根据所述提交请求生成报文信息发送给对应的所述第二数据服务端;
S2015、所述第二数据服务端根据接收的步骤S2014中的所述报文信息,连接对应的数据库,并判断是否存在所述事务ID的独占进程,若存在,利用所述独占进程执行提交操作,并在提交完成后向所述第二数据服务客户端反馈提交响应。
一种利用上述多数据库操作事务一致性保证方法保证多数据库操作事务一致性的系统,所述系统包括第一客户端、若干个数据库、第一数据服务客户端以及第一数据服务端;所述第一客户端用于向所述第一数据服务客户端发起业务请求;所述第一数据服务客户端用于根据所述业务请求生成事务ID;其中所述业务请求包括对多个数据库进行操作的多个子请求;一次所述业务请求对应一个所述事务ID;所述第一数据服务客户端还用于检查所述子请求是否有事务,对于每一个有事务的所述子请求,所述第一数据服务客户端还用于根据所述事务ID、对应于所述子请求的操作命令以及绑定变量形成报文信息,将所述报文信息序列化生成重做日志,之后存储所述重做日志并将所述报文信息发送给所述第一数据服务端;所述第一数据服务端用于解析所述报文信息,并将对应的子请求放入请求队列,并且在有空闲进程时,所述第一数据服务端还用于从所述请求队列获取所述子请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第一数据服务客户端;在所有事务的所述子请求均处理成功,则所述第一客户端还用于向所述第一数据服务客户端发起提交请求;对于每一个处理成功的所述子请求,所述第一数据服务客户端还用于根据所述提交请求以及所述事务ID获取对应的所述重做日志,之后根据所述重做日志调用对应的所述第一数据服务端提交处理结果给对应的数据库,并将提交结果响应给所述第一数据服务客户端;在所有提交结果均为成功则本次业务完成,所述第一数据服务客户端还用于清除对应的所述事务ID以及重做日志。
如图4所示,上述第一数据服务客户端,即数据服务(客户端)以及所述第一数据服务端,即数据服务(服务端)位于数据访问层,多个应用位于应用层,数据库层包括若干个内存数据库、物理数据库等。
图4中,应用层用于实现具体业务功能,通过数据访问层(DAL)统一访问数据源。应用层通过数据服务和数据库打交道,从而简化应用的逻辑。数据访问层(DAL)由数据服务(客户端)和数据服务(服务端)两部分组成,数据服务(客户端)以连接库(Lib)形式和应用集成到一起,数据服务(客户端)通过数据服务(服务端)统一和数据库进行交互;数据访问层统一提供路由管理、事务管理、DML语句执行等处理。数据层将所有的数据库(物理数据库、内存数据库、NOSQL数据库等)统一纳入数据层,通过数据访问层统一和数据库进行连接管理和数据交互。
进一步地,在所述第一数据服务客户端接收的第一个所述提交结果为成功,并且存在提交结果为失败,则所述第一数据服务客户端还用于根据对应的所述重做日志生成错误文件,供异步平账进程重做处理;
至少一个所述子请求在执行对应的所述操作命令时出现异常时,所述第一数据服务客户端和所述第一数据服务端执行回滚操作。
一种上述数据库操作事务一致性保证方法保证数据库操作事务一致性的系统,所述系统包括第二客户端、第二数据服务客户端、第三数据服务客户端以及第二数据服务端;所述第二客户端用于向所述第二数据服务客户端发起业务请求,所述第二数据服务客户端用于根据所述业务请求生成事务ID;所述第二数据服务客户端还用于调用所述第三数据服务客户端,并且所述第三数据服务客户端用于产生第一次业务请求,并根据所述业务请求产生与所述第二数据服务客户端所产生的事务ID相同的事务ID;所述第三数据服务客户端还用于根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,并将所述报文信息发送给第二数据服务端;所述第二数据服务端用于解析所述报文信息,并将业务请求放入请求队列,并且在有空闲进程时,所述第二数据服务端还用于从请求队列获取所述业务请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端还用于判断当前的业务请求是否需要事务保持,若需要事务保持,则所述第三数据服务客户端将当前进程只分配给具有相同的所述事务ID的请求使用,若不需要事务保持,则释放当前进程;所述第三客户端还用于发起第二次业务请求,此时所述第三数据服务客户端还用于产生与上一次业务请求所产生的事务ID相同事务ID,并且根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端;所述第二数据服务端还用于解析所述报文信息,将对应的请求放入请求队列,并且判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端还用于将所述处理结果响应给所述第二数据服务客户端;所述第二客户端向第二数据服务客户端发起第二次业务请求时,所述第二数据服务客户端还用于产生与上一次业务请求所产生的事务ID相同事务ID,并且根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端,所述第二数据服务端还用于解析所述报文信息,将对应的请求放入请求队列,并判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端还用于将所述处理结果响应给所述第二数据服务客户端;对同一数据库的业务完成之后,所述第二客户端还用于向所述第二数据服务客户端发起提交请求;所述第二数据服务客户端还用于将所述提交请求的事务ID设置为前一次业务请求的事务ID;并向所述第三数据服务客户端发起请求;所述第三数据服务客户端还用于判断当前提交请求是否为自己发出的请求,若不是,则所述第三数据服务客户端反馈预定响应给所述第二数据服务客户端,所述第二数据服务客户端收到所述预定响应后,还用于根据所述提交请求生成报文信息发送给对应的所述第二数据服务端;所述第二数据服务端还用于根据接收的所述报文信息,连接对应的数据库,并判断是否存在所述事务ID的独占进程,若存在,利用所述独占进程执行提交操作,并在提交完成后向所述第二数据服务客户端反馈提交响应。
下面通过几个实施例对本发明进行详细的介绍。
图5为本发明的一个较佳实施例一的保证多数据库操作事务一致性的系统结构示意图。此实施例用于实现对多个数据库进行一致性操作。此实施例的工作流程如下:
1、客户端发起业务请求,数据服务(客户端)负责生成总事务ID,一次事务只生成一次事务只生成一个事务ID且保证全系统唯一;
2、对于有事务操作的DML请求(UPDATE、INSERT、DELETE等),数据服务(客户端)将报文信息(事务ID、DML语句、绑定变量等)利用序列化工具进行序列化,序列化后的信息称重做(REDO)日志,将重做(REDO)日志缓存在本地内存缓冲区;对于无事务的请求(如SELECT)不生成redo日志;
3、数据服务(客户端)将请求报文(事务ID、DML语句、绑定变量等)封装打包后,发送给数据服务(dataService)服务端;
4、数据服务(服务端)接收请求信息后,将报文反序列化,放入报文容器内,执行该报文的DML语句,并将处理结果响应给数据服务(服务端),注意此时不自动提交(Commit),需要等数据服务(客户端)对该事务ID发起提交请求才成做提交处理;
5、根据业务需要,数据服务(客户端)可多次调用不同的数据服务(服务端),重复步骤2、步骤3和步骤4,直到业务完成;
6、只有所有数据服务处理成功,才能执行下一步的提交操作,否则失败回滚;
7、业务成功,数据服务(客户端)根据本地内存缓冲区记录的重做(REDO)日志,依次对数据服务(服务端)发起提交请求;数据服务(服务端)接收到提交请求后,记录该事务ID对应的事务日志(目的是当客户端不确认成功重做时,用来做排重处理的,对于有记录的表示已处理成功不需要重做,对于没有记录的,需要重做处理)和本事务ID对应的其他DML操作,一块提交确认,响应给数据服务(客户端),提交成功后响应成功,提交失败响应失败。
8、如果第一个提交的数据服务(服务端)响应失败,数据服务(客户端)放弃该业务回滚处理;
9、如果第一个提交的数据服务(服务端)响应成功,其他后续的提交的数据服务(服务端)存在不确认成功,数据服务(客户端)将本地内存缓冲区记录的重做(REDO)日志生成错误文件,对外响应成功,不确认成功的操作,后续靠异步程序进行redo平账处理;
如果所有数据服务(服务端)响应成功,数据服务(客户端)清理该事务ID对应的本地内存缓冲区记录的重做(REDO);下次业务,重新生成一个事务ID,重复以上操作。
图6为本发明的一个较佳实施例二的多数据库操作事务一致性保证方法的流程图;如图所示,该实施例包括以下步骤:
1、应用APP,即客户端接收(或发起)DML(如SELECT查询)请求,通过API接口传递数据服务(客户端lib);
2、数据服务(客户端lib)设置事务ID,并将DML请求1的SQL语句及相关绑定变量装入发送容器;
3、检查该DML请求1是否有事务,有事务则将请求报文序列化文件写入内存缓冲区,生成重做(redo)日志;
4、数据服务(客户端lib)与数据服务(服务端)建立socket套接字连接,通过SOCKET接口将请求报文发送给数据服务(服务端);数据服务(客户端lib)保持该socket连接,等待服务端返回应答信息;
5、数据服务(服务端)端将请求放入请求队列排队;
6、当有空闲的处理进程时,调度空闲进程处理处理该任务;如果没有空闲进程,该请求排队等待;在此过程中,如果有其他应用APP发起socket接入和DML请求,采用相同处理,将请求放入队列排队;
7、空闲处理进程从请求队列中获取请求任务,获取数据库连接,执行DML((如SELECT查询))语句,得到处理结果,将处理结果装入服务端发送容器;
8、数据服务(服务端)将本端发送容器序列化,找到响应请求包的socket套接字连接,将处理结果响应给数据服务(客户端lib);
9、数据服务(客户端lib)根据业务需求,对DML请求n重复执行以上步骤2到步骤8的操作,直到所有DML请求都获得执行处理;
10、业务完成,应用APP发起提交处理,数据服务(客户端lib)按事务ID从内存缓冲区,读取redo日志;
11、数据服务(客户端lib)调用数据服务(服务端)进行提交处理;数据服务(服务端)按事务ID调用进行提交处理;
12、数据服务(客户端lib)重复执行步骤11,提交所有事务的数据服务(服务端);
13、提交成功,处理结束。
图7为本发明的一个较佳实施例二中回滚处理的流程图,该实施例包括以下步骤:
1、应用APP接收(或发起)DML(如SELECT查询)请求,通过API接口传递数据服务(客户端lib);
2、数据服务(客户端lib)设置事务ID,并将DML请求1的SQL语句及相关绑定变量装入发送容器;
3、检查该DML请求1是否有事务,有事务则将请求报文序列化文件写入内存缓冲区,生成重做(redo)日志;
4、数据服务(客户端lib)与数据服务(服务端)建立socket套接字连接,通过SOCKET接口将请求报文发送给数据服务(服务端);数据服务(客户端lib)保持该socket连接,等待服务端返回应答信息;
5、数据服务(服务端)端将请求放入请求队列排队;
6、当有空闲的处理进程时,调度空闲进程处理处理该任务;如果没有空闲进程,该请求排队等待;在此过程中,如果有其他应用APP发起socket接入和DML请求,采用相同处理,将请求放入队列排队;
7、空闲处理进程从请求队列中获取请求任务,获取数据库连接,执行DML((如SELECT查询))语句,得到处理结果,将处理结果装入服务端发送容器;
8、数据服务(服务端)将本端发送容器序列化,找到响应请求包的socket套接字连接,将处理结果响应给数据服务(客户端lib);
9、数据服务(客户端lib)根据业务需求,对DML请求n重复执行以上步骤2到步骤8的操作,直到所有DML请求都获得执行处理;
10、如果其中一个DML请求n处理失败,则认为业务处理失败;
11、应用APP发起回滚处理,数据服务(客户端lib)按事务ID从内存缓冲区,读取redo日志;
12、数据服务(客户端lib)调用数据服务(服务端)进行回滚处理;数据服务(服务端)按事务ID调用进行回滚处理;
13、数据服务(客户端lib)重复执行步骤11,回滚所有事务的数据服务(服务端);
14、回滚成功,处理结束。
图8为本发明的一个较佳实施例二中异常处理的流程图,该实施例包括以下步骤:
1、应用APP接收(或发起)DML(如SELECT查询)请求,通过API接口传递数据服务(客户端lib);
2、数据服务(客户端lib)设置事务ID,并将DML请求1的SQL语句及相关绑定变量装入发送容器;
3、检查该DML请求1是否有事务,有事务则将请求报文序列化文件写入内存缓冲区,生成重做(redo)日志;
4、数据服务(客户端lib)与数据服务(服务端)建立socket套接字连接,通过SOCKET接口将请求报文发送给数据服务(服务端);数据服务(客户端lib)保持该socket连接,等待服务端返回应答信息;
5、数据服务(服务端)端将请求放入请求队列排队;
6、当有空闲的处理进程时,调度空闲进程处理处理该任务;如果没有空闲进程,该请求排队等待;在此过程中,如果有其他应用APP发起socket接入和DML请求,采用相同处理,将请求放入队列排队;
7、空闲处理进程从请求队列中获取请求任务,获取数据库连接,执行DML((如SELECT查询))语句,得到处理结果,将处理结果装入服务端发送容器;
8、数据服务(服务端)将本端发送容器序列化,找到响应请求包的socket套接字连接,将处理结果响应给数据服务(客户端lib);
9、数据服务(客户端lib)根据业务需求,对DML请求n重复执行以上步骤2到步骤8的操作,直到所有DML请求都获得执行处理;
10、业务完成,应用APP发起提交处理,数据服务(客户端lib)按事务ID从内存缓冲区,读取redo日志;
11、数据服务(客户端lib)调用数据服务(服务端)进行提交处理;数据服务(服务端)按事务ID调用进行提交处理;
12、数据服务(客户端lib)重复执行步骤11,提交所有事务的数据服务(服务端);
13、如果第一个数据服务(服务端)提交成功,第2~n(n代表最后一个)个中任何一个数据服务(服务端)失败,则数据服务(客户端lib)读取该事务ID对应的redo日志,生成异常文件,供异步平账进程重做处理;
14、后台异步平账进程,读取(redo日志)异常文件进行重做处理,处理结束。
图10为本发明的一个较佳实施例四的保证多数据库操作事务一致性的方法流程图,该实施例包括以下步骤:
1、应用APP接收(或发起)DML请求(如UPDATE语句),通过API接口传递数据服务(客户端lib);
2、数据服务(客户端lib)设置事务ID,并将DML对于的SQL语句及相关绑定变量装入发送容器;
3、数据服务(客户端lib)将发送容器序列化处理,与数据服务(服务端)建立socket套接字连接,通过TCP/IP协议,将请求报文发送给数据服务(服务端);
4、数据服务(客户端lib)保持该socket连接,等待服务端返回应答信息;
5、数据服务(服务端)端将请求放入请求队列排队;
6、当有空闲的处理进程时,调度空闲进程处理处理该任务;如果没有空闲进程,该请求排队等待;在此过程中,如果有其他应用APP发起socket接入和DML请求,采用相同处理,将请求放入队列排队;
7、空闲处理进程从请求队列中获取请求任务,获取数据库连接,执行DML语句,得到处理结果,将处理结果装入服务端发送容器;
8、数据服务(服务端)将本端发送容器序列化,找到响应请求包的socket套接字连接,将处理结果响应给数据服务(客户端lib);
9、处理进程检查(刚完成响应的)该DML语句是否需要事务保持(对于UPDATE、DELETE等需要提交的操作,都需要做事务保持),如果需要事务保持,则该处理进程设置为“事务ID”独占模式,只处理事务ID相同的请求,暂不处理其他事务ID不一致的请求;如果不需要事务保持,则设置为空闲状态,以便调度进程将新任务派发给自己;
10、应用APP再次发起DML(如UPDATE语句)请求,通过API接口传递数据服务(客户端lib);
11、数据服务(客户端lib)设置事务ID为第一次请求的事务ID以便事务重入(事务重入的目的可以看到相同事务ID修改的“脏数据”),将DML对于的SQL语句及相关绑定变量装入发送容器;
12、数据服务(客户端lib)将发送容器序列化处理,与数据服务(服务端)建立socket套接字连接(如果上次调用的socket没有断开可以复用),通过TCP/IP协议,将请求报文发送给数据服务(服务端);
13、数据服务(客户端lib)保持该socket连接,等待服务端返回应答信息;
14、数据服务(服务端)端将请求放入请求队列排队;
15、检查是否有该事务ID已独占的处理进程,如果有则派发给该处理进程。处理进程得到事务ID相同的处理任务,获取数据库连接执行DML语句,得到处理结果,将处理结果装入服务端发送容器;
16、数据服务(服务端)将本端发送容器序列化,找到响应请求包的socket套接字连接,将处理结果响应给数据服务(客户端lib);
17、数据服务(客户端lib)将处理结果响应给应用APP;
18、业务结束,应用APP发起提交调用到数据服务(客户端lib),数据服务(客户端lib)设置事务ID为第一次请求的事务ID以便事务重入;
19、数据服务(客户端lib)将提交请求发送数据服务(服务端),数据服务(服务端),检查是否有该事务ID已独占的处理进程,如果有则将提交请求派发给该事务ID已独占的处理进程;
20、该事务ID已独占的处理进程提交完毕,数据服务(服务端)响应给数据服务(客户端lib);该事务ID已独占的处理进程释放独占,设置为空闲状态以便处理其他请求调用。
上述实施例四的方法适合于图9所示的系统进行数据库操作。如图9所示,进程APP有两个线程对应两次请求,例如一个线程thread1负责更新余额,更新前原值等于100元,增加100元更新后余额变成200元;另一个线程thread2负责查询余额,在thread1先更新,thread2查询,利用图10所示流程图对应的方法可以确保thread2查询到的是200元(可以看到这个脏数据),而不是100元。
图12为本发明的一个较佳实施例六的保证数据库操作事务一致性的方法流程图,该实施例包括以下步骤:
1、服务A设置事务ID(以下用UID标示),发起业务调用,整个业务过程中事务ID唯一,通过socket接口基于TCP/IP协议,调用服务B;
2、服务B接收服务A的调用请求,设置事务ID为服务A传入的UID,进行业务处理,发起DML请求,通过API接口传递数据服务(客户端lib);
3、服务B的数据服务(客户端lib)设置事务ID等于UID,并将DML对于的SQL语句及相关绑定变量装入发送容器;
4、服务B的数据服务(客户端lib)将发送容器序列化处理,与数据服务(服务端)建立socket套接字连接,通过TCP/IP协议,将请求报文发送给数据服务(服务端);
5、服务B的数据服务(客户端lib)保持该socket连接,等待服务端返回应答信息;
6、数据服务(服务端)端将请求放入请求队列排队;
7、当有空闲的处理进程时,调度空闲进程处理处理该任务;如果没有空闲进程,该请求排队等待;在此过程中,如果有其他应用发起socket接入和DML请求,采用相同处理,将请求放入队列排队;
8、空闲处理进程从请求队列中获取请求任务,获取数据库连接,执行DML语句,得到处理结果,将处理结果装入服务端发送容器;
9、数据服务(服务端)将本端发送容器序列化,找到响应请求包的socket套接字连接,将处理结果响应给服务B的数据服务(客户端lib);
10、处理进程检查(刚完成响应的)该DML语句是否需要事务保持,如果需要事务保持,则该处理进程设置为“事务ID”独占模式,只处理事务ID相同的请求,暂不处理其他事务ID不一致的请求;如果不需要事务保持则设置为空闲状态,以便调度进程将新任务派发给自己;
11、服务B根据业务需要再次发起DML请求,设置事务ID等于UID,通过API接口传递数据服务(客户端lib);以便事务重入(事务重入的目的可以看到相同事务ID修改的“脏数据”);
12、服务B的数据服务(客户端lib)将发送容器序列化处理,与数据服务(服务端)建立socket套接字连接(如果上次调用的socket没有断开可以复用),通过TCP/IP协议,将请求报文发送给数据服务(服务端);
13、服务B的数据服务(客户端lib)保持该socket连接,等待服务端返回应答信息;
14、数据服务(服务端)端将请求放入请求队列排队;
15、检查是否有该事务ID已独占的处理进程,如果有则派发给该处理进程;
16、处理进程得到事务ID相同的处理任务,获取数据库连接执行DML语句,得到处理结果,将处理结果装入服务端发送容器;
17、数据服务(服务端)将本端发送容器序列化,找到响应请求包的socket套接字连接,将处理结果响应给服务B的数据服务(客户端lib);
18、数据服务(客户端lib)将处理结果响应给服务B;
19、服务B将处理结果响应给服务A;
20、服务A根据业务需要再次发起DML请求,设置事务ID等于UID,通过API接口传递数据服务(客户端lib);
21、服务A的数据服务(客户端lib)设置事务ID为UID以便事务重入(事务重入的目的可以看到相同事务ID修改的“脏数据”);
22、服务A的数据服务(客户端lib)将发送容器序列化处理,与数据服务(服务端)建立socket套接字连接(如果上次调用的socket没有断开可以复用),通过TCP/IP协议,将请求报文发送给数据服务(服务端);
23、服务A的数据服务(客户端lib)保持该socket连接,等待服务端返回应答信息;
24、数据服务(服务端)端将请求放入请求队列排队;
25、检查是否有该事务ID已独占的处理进程,如果有则派发给该处理进程;
26、处理进程得到事务ID相同的处理任务,获取数据库连接执行DML语句,得到处理结果,将处理结果装入服务端发送容器;
27、数据服务(服务端)将本端发送容器序列化,找到响应请求包的socket套接字连接,将处理结果响应给数据服务(客户端lib);
28、数据服务(客户端lib)将处理结果响应给服务A;
29、业务完成,服务A设置事务ID等于UID,发起提交请求到服务B;
30、服务B检查事务ID等于UID不是自己发起的事务,记录自己相关DML操作的redo日志,直接响应成功给服务A;
31、服务A收到服务B的正确响应后,继续处理,通过数据服务(客户端lib)发送提交请求;
32、数据服务(客户端lib)将提交请求发送数据服务(服务端),数据服务(服务端),检查是否有该事务ID已独占的处理进程,如果有则将提交请求派发给该事务ID已独占的处理进程;
该事务ID已独占的处理进程提交完毕,数据服务(服务端)响应给数据服务(客户端lib);该事务ID已独占的处理进程释放独占,设置为空闲状态以便处理其他请求调用。
33、提交成功,业务结束。
上述实施例六的方法适合于图11所示的系统进行数据库操作。如图11所示,服务A和服务B同时对一个数据库进行操作。例如更新前余额原值等于100元,服务A、B相互协调来完成一笔业务,A启动一个事务ID,进程A增加100元更新后余额变成200元;进程B更新余额增加200元余额变成400元。如果不支持事务重入,进程A,进程B对于同一数据库的更新可能是两个数据库连接会话,造成结果不确定,可能是200元、300元、或400元,也可能因为碰到数据库并发锁冲突业务不成功。
若利用现有技术进行处理面临如下问题:
1、服务嵌套调用,同一数据库多次操作的事务管理;
2、调用的时序问题;
3、同一个事务ID,脏数据的可视性。
4、事务异常时,最终一致性保证问题。
5、连接数的收敛问题。
通过利用图12所示流程图对应的方法达到如下效果:服务嵌套调用,同一数据库多次操作,通过独占式数据服务进程使用同一数据库会话连接确保、事务无问题、操作时序无问题、同一个事务ID脏数据的可视;通过数据服务(数据访问层)进行请求排队和连接复用,达到数据库连接数收敛的目的。
上述实施例通过新增加数据访问层(DAL)的数据服务(客户端lib)和数据服务(服务端)这种C/S装置,实现了数据连接数管理和收敛,同时还实现了对于同一事实ID的,多次访问同一数据库的会话重入,确保同一事务内的“脏数据”(未提交的中间数据)对每次访问都透明可见。
本发明通过数据访问层(DAL)实现多数据库操作的事务一致性方法和装置;通过数据访问层(DAL)实现同一线程(或进程)访问数据服务,同一事务ID多次操作的会话重入方法和装置;通过数据访问层(DAL)实现服务嵌套调用的事务重入方法和装置。总之本发明的技术方案具有如下有益效果:
1、提供了一个统一的数据服务(数据访问层)支持对多个数据操作且能保证事务一致性,简化应用开发的复杂度。
2、能够支持跨服务的数据库连接会话重入,确保一个业务事务中,多个服务进程(或线程)对同一数据的多次修改后脏数据(未做提交中间数据)各个进程(或线程)透明可见。
3、支持对于应用和数据分离,应用通过数据访问层和多个数据库交互,建设数据访问层支持对DML操作的回滚和重做(redo),应用层不用处理路由管理和事务管理,从而简化应用,降低开发成本。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种多数据库操作事务一致性保证方法,其特征在于,所述方法包括以下步骤:
S100、第一客户端发起业务请求,第一数据服务客户端根据所述业务请求生成事务ID;其中所述业务请求包括对多个数据库进行操作的多个子请求;一次所述业务请求对应一个所述事务ID;
S102、所述第一数据服务客户端检查所述子请求是否有事务,对于每一个有事务的所述子请求,依次执行以下操作:
S1021、所述第一数据服务客户端根据所述事务ID、对应于所述子请求的操作命令以及绑定变量形成报文信息,将所述报文信息序列化生成重做日志,之后存储所述重做日志并将所述报文信息发送给第一数据服务端;
S1022、所述第一数据服务端解析所述报文信息,并将对应的子请求放入请求队列;
S1023、所述第一数据服务端在有空闲进程时从所述请求队列获取所述子请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第一数据服务客户端;
S103、若所有事务的所述子请求均利用所述步骤S102处理成功,则所述第一客户端向所述第一数据服务客户端发起提交请求;
S104、所述第一数据服务客户端根据所述提交请求,对于每一个处理成功的所述子请求,依次执行以下操作:
S1041、根据所述事务ID获取对应的所述重做日志;
S1042、根据所述重做日志调用对应的所述第一数据服务端提交处理结果给对应的数据库,并将提交结果响应给所述第一数据服务客户端;
S1043、若接收的所有提交结果均为成功则本次业务完成,清除对应的所述事务ID以及重做日志;
所述第一客户端发起新的业务请求时,所述方法还包括以下步骤:
S105、所述第一数据服务客户端判断该业务请求是否是对于某一数据库的第一次业务请求,若不是第一次业务请求,则所述第一数据服务客户端将所述新的业务请求的事务ID设置为前一次业务请求的事务ID;
S106、所述第一数据服务客户端根据所述新的业务请求的事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第一数据服务端;
S107、所述第一数据服务端解析所述报文信息,并将对应的请求放入请求队列;
S108、所述第一数据服务端判断是否存在所述新的业务请求的事务ID的独占进程,若存在,则从所述请求队列获取所述请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第一数据服务客户端;所述第一数据服务客户端将所述处理结果响应给所述第一客户端;
S109、所述第一客户端向所述第一数据服务客户端发起提交请求;所述第一数据服务客户端将所述提交请求的事务ID设置为前一次业务请求的事务ID,并且所述第一数据服务客户端根据所述提交请求生成报文信息发送给对应的所述第一数据服务端;
S110、所述第一数据服务端根据接收的步骤S109中的所述报文信息,连接对应的数据库,并判断是否存在所述提交请求的事务ID的独占进程,若存在,利用所述独占进程执行提交操作,并在提交完成后向所述第一数据服务客户端反馈提交响应,所述第一数据服务客户端根据所述提交响应向所述第一客户端反馈对应的提交结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1043中,若接收的第一个所述提交结果为成功,并且存在提交结果为失败,则根据对应的所述重做日志生成错误文件,供异步平账进程重做处理;
所述步骤S1043中,若接收的第一个所述提交结果为失败,则执行回滚处理。
3.根据权利要求1所述的方法,其特征在于,所述步骤S102之后,所述方法还包括以下步骤:
若所述步骤S102的执行过程中出现异常,则执行回滚处理。
4.根据权利要求2或3所述的方法,其特征在于,所述回滚处理包括以下步骤:
所述第一数据服务客户端向所述第一客户端反馈结果响应;
所述第一客户端向所述第一数据服务客户端发送业务回滚指令;
所述第一数据服务客户端根据所述业务回滚指令以及对应的所述事务ID获取所述重做日志;
所述第一数据服务客户端根据所述重做日志,调用对应的所述第一数据服务端对已经处理过的每个所述子请求做对应的回滚操作;
所述第一数据服务客户端清空对应的所述事务ID以及所述重做日志。
5.根据权利要求1所述的方法,其特征在于,所述步骤S1023之后、所述步骤S103之前,所述方法还包括以下步骤:
判断当前的所述子请求是否需要事务保持,若需要事务保持,则当前进程只能分配给具有相同的所述事务ID的请求使用,若不需要事务保持,则释放当前进程。
6.一种数据库操作事务一致性保证方法,其特征在于,所述方法包括以下步骤:
S200、第二客户端向第二数据服务客户端发起业务请求,所述第二数据服务客户端根据所述业务请求生成事务ID;
S201、所述第二数据服务客户端调用第三数据服务客户端,并且所述第三数据服务客户端产生与所述第二数据服务客户端所产生的事务ID相同的事务ID;
S202、所述第三数据服务客户端根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,并将所述报文信息发送给第二数据服务端;
S203、所述第二数据服务端解析所述报文信息,并将业务请求放入请求队列;
S204、所述第二数据服务端在有空闲进程时从所述请求队列获取所述业务请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;
S205、判断当前的业务请求是否需要事务保持,若需要事务保持,则当前进程只能分配给具有相同的所述事务ID的请求使用,若不需要事务保持,则释放当前进程;
S206、所述第三数据服务客户端发起第二次业务请求时,所述第三数据服务客户端产生与上一次业务请求所产生的事务ID相同事务ID;
S207、所述第三数据服务客户端根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端;
S208、所述第二数据服务端解析所述报文信息,并将对应的请求放入请求队列;
S209、所述第二数据服务端判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端将所述处理结果响应给所述第二数据服务客户端;
S2010、第二客户端的向第二数据服务客户端发起第二次业务请求,所述第二数据服务客户端产生与上一次业务请求所产生的事务ID相同事务ID;
S2011、所述第二数据服务客户端根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端;
S2012、所述第二数据服务端解析所述报文信息,并将对应的请求放入请求队列;
S2013、所述第二数据服务端判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端将所述处理结果响应给所述第二数据服务客户端;
S2014、对于同一数据库的业务完成之后,所述第二客户端向所述第二数据服务客户端发起提交请求;所述第二数据服务客户端将所述提交请求的事务ID设置为前一次业务请求的事务ID;并向所述第三数据服务客户端发起请求;
所述第三数据服务客户端判断当前提交请求是否为自己发出的请求,若不是,则所述第三数据服务客户端反馈预定响应给所述第二数据服务客户端,所述第二数据服务客户端收到所述预定响应后,根据所述提交请求生成报文信息发送给对应的所述第二数据服务端;
S2015、所述第二数据服务端根据接收的步骤S2014中的所述报文信息,连接对应的数据库,并判断是否存在所述事务ID的独占进程,若存在,利用所述独占进程执行提交操作,并在提交完成后向所述第二数据服务客户端反馈提交响应。
7.一种利用权利要求1至5任一项所述方法保证多数据库操作事务一致性的系统,其特征在于,所述系统包括第一客户端、若干个数据库、第一数据服务客户端以及第一数据服务端;
所述第一客户端用于向所述第一数据服务客户端发起业务请求;
所述第一数据服务客户端用于根据所述业务请求生成事务ID;其中所述业务请求包括对多个数据库进行操作的多个子请求;一次所述业务请求对应一个所述事务ID;
所述第一数据服务客户端还用于检查所述子请求是否有事务,对于每一个有事务的所述子请求,所述第一数据服务客户端还用于根据所述事务ID、对应于所述子请求的操作命令以及绑定变量形成报文信息,将所述报文信息序列化生成重做日志,之后存储所述重做日志并将所述报文信息发送给所述第一数据服务端;
所述第一数据服务端用于解析所述报文信息,并将对应的子请求放入请求队列,并且在有空闲进程时,所述第一数据服务端还用于从所述请求队列获取所述子请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第一数据服务客户端;在所有事务的所述子请求均处理成功,则所述第一客户端还用于向所述第一数据服务客户端发起提交请求;对于每一个处理成功的所述子请求,所述第一数据服务客户端还用于根据所述提交请求以及所述事务ID获取对应的所述重做日志,之后根据所述重做日志调用对应的所述第一数据服务端提交处理结果给对应的数据库,并将提交结果响应给所述第一数据服务客户端;在所有提交结果均为成功则本次业务完成,所述第一数据服务客户端还用于清除对应的所述事务ID以及重做日志。
8.根据权利要求7所述的系统,其特征在于,在所述第一数据服务客户端接收的第一个所述提交结果为成功,并且存在提交结果为失败,则所述第一数据服务客户端还用于根据对应的所述重做日志生成错误文件,供异步平账进程重做处理;
至少一个所述子请求在执行对应的所述操作命令时出现异常时,所述第一数据服务客户端和所述第一数据服务端执行回滚操作。
9.一种利用权利要求6所述方法保证数据库操作事务一致性的系统,其特征在于,所述系统包括第二客户端、第二数据服务客户端、第三数据服务客户端以及第二数据服务端;
所述第二客户端用于向所述第二数据服务客户端发起业务请求,所述第二数据服务客户端用于根据所述业务请求生成事务ID;所述第二数据服务客户端还用于调用所述第三数据服务客户端,并且所述第三数据服务客户端用于产生第一次业务请求,并根据所述业务请求产生与所述第二数据服务客户端所产生的事务ID相同的事务ID;
所述第三数据服务客户端还用于根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,并将所述报文信息发送给第二数据服务端;
所述第二数据服务端用于解析所述报文信息,并将业务请求放入请求队列,并且在有空闲进程时,所述第二数据服务端还用于从请求队列获取所述业务请求,连接对应的数据库,并执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;
所述第三数据服务客户端还用于判断当前的业务请求是否需要事务保持,若需要事务保持,则所述第三数据服务客户端将当前进程只分配给具有相同的所述事务ID的请求使用,若不需要事务保持,则释放当前进程;
所述第三数据服务客户端还用于发起第二次业务请求,此时所述第三数据服务客户端还用于产生与上一次业务请求所产生的事务ID相同事务ID,并且根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端;所述第二数据服务端还用于解析所述报文信息,将对应的请求放入请求队列,并且判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端还用于将所述处理结果响应给所述第二数据服务客户端;
所述第二客户端向第二数据服务客户端发起第二次业务请求时,所述第二数据服务客户端还用于产生与上一次业务请求所产生的事务ID相同事务ID,并且根据所述事务ID、对应的操作命令以及绑定变量形成报文信息,之后将所述报文信息发送给第二数据服务端,所述第二数据服务端还用于解析所述报文信息,将对应的请求放入请求队列,并判断是否存在所述事务ID的独占进程,若存在,则从所述请求队列获取对应的业务请求,连接对应的数据库,利用所述独占进程执行对应的所述操作命令,获得处理结果,并将所述处理结果响应给所述第三数据服务客户端;所述第三数据服务客户端还用于将所述处理结果响应给所述第二数据服务客户端;
对同一数据库的业务完成之后,所述第二客户端还用于向所述第二数据服务客户端发起提交请求;所述第二数据服务客户端还用于将所述提交请求的事务ID设置为前一次业务请求的事务ID;并向所述第三数据服务客户端发起请求;所述第三数据服务客户端还用于判断当前提交请求是否为自己发出的请求,若不是,则所述第三数据服务客户端反馈预定响应给所述第二数据服务客户端,所述第二数据服务客户端收到所述预定响应后,还用于根据所述提交请求生成报文信息发送给对应的所述第二数据服务端;所述第二数据服务端还用于根据接收的所述报文信息,连接对应的数据库,并判断是否存在所述事务ID的独占进程,若存在,利用所述独占进程执行提交操作,并在提交完成后向所述第二数据服务客户端反馈提交响应。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610156178.4A CN107203560B (zh) | 2016-03-18 | 2016-03-18 | 数据库、多数据库操作事务一致性保证方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610156178.4A CN107203560B (zh) | 2016-03-18 | 2016-03-18 | 数据库、多数据库操作事务一致性保证方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107203560A CN107203560A (zh) | 2017-09-26 |
CN107203560B true CN107203560B (zh) | 2020-07-07 |
Family
ID=59904027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610156178.4A Active CN107203560B (zh) | 2016-03-18 | 2016-03-18 | 数据库、多数据库操作事务一致性保证方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107203560B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110019050A (zh) * | 2017-10-19 | 2019-07-16 | 中兴通讯股份有限公司 | 一种数据回滚方法、系统、设备及计算机可读存储介质 |
CN110046132B (zh) * | 2019-04-15 | 2022-04-22 | 苏州浪潮智能科技有限公司 | 一种元数据请求处理方法、装置、设备及可读存储介质 |
CN110175080A (zh) * | 2019-05-29 | 2019-08-27 | 上海有谱网络科技有限公司 | 进销存软件中保证数据线程安全的方法 |
CN110347533A (zh) * | 2019-07-11 | 2019-10-18 | 中国工商银行股份有限公司 | 数据异常的处理方法、装置、计算设备及介质 |
CN113535665B (zh) * | 2021-07-16 | 2022-07-22 | 北京元年科技股份有限公司 | 一种主数据库与备数据库之间同步日志文件的方法及装置 |
CN114510495B (zh) * | 2022-04-21 | 2022-07-08 | 北京安华金和科技有限公司 | 一种数据库业务数据一致性处理方法和系统 |
CN115150259A (zh) * | 2022-06-16 | 2022-10-04 | 北京三快在线科技有限公司 | 一种故障定位的方法及装置 |
CN115658805B (zh) * | 2022-09-15 | 2023-10-17 | 星环信息科技(上海)股份有限公司 | 一种事务一致性管理引擎及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073540A (zh) * | 2010-12-15 | 2011-05-25 | 北京新媒传信科技有限公司 | 分布式事务提交方法和装置 |
CN104462497A (zh) * | 2014-12-19 | 2015-03-25 | 深圳中兴网信科技有限公司 | 基于关系型数据库的跨库事务处理方法和系统 |
CN104793988A (zh) * | 2014-01-20 | 2015-07-22 | 阿里巴巴集团控股有限公司 | 跨数据库分布式事务的实现方法和装置 |
CN105159991A (zh) * | 2015-09-01 | 2015-12-16 | 北京皮尔布莱尼软件有限公司 | 一种保持数据一致性的方法、装置、系统和应用服务器 |
CN105183879A (zh) * | 2015-09-22 | 2015-12-23 | 浪潮集团有限公司 | 一种云计算下分布式数据库保持事务一致性的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8868514B2 (en) * | 2011-01-07 | 2014-10-21 | Microsoft Corporation | Transaction support for distributed data |
-
2016
- 2016-03-18 CN CN201610156178.4A patent/CN107203560B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073540A (zh) * | 2010-12-15 | 2011-05-25 | 北京新媒传信科技有限公司 | 分布式事务提交方法和装置 |
CN104793988A (zh) * | 2014-01-20 | 2015-07-22 | 阿里巴巴集团控股有限公司 | 跨数据库分布式事务的实现方法和装置 |
CN104462497A (zh) * | 2014-12-19 | 2015-03-25 | 深圳中兴网信科技有限公司 | 基于关系型数据库的跨库事务处理方法和系统 |
CN105159991A (zh) * | 2015-09-01 | 2015-12-16 | 北京皮尔布莱尼软件有限公司 | 一种保持数据一致性的方法、装置、系统和应用服务器 |
CN105183879A (zh) * | 2015-09-22 | 2015-12-23 | 浪潮集团有限公司 | 一种云计算下分布式数据库保持事务一致性的方法 |
Non-Patent Citations (1)
Title |
---|
基于消息队列的分布式系统数据一致性方法研究;于晓鹏等;《吉林大学学报》;20110531;第29卷(第3期);258-262 * |
Also Published As
Publication number | Publication date |
---|---|
CN107203560A (zh) | 2017-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107203560B (zh) | 数据库、多数据库操作事务一致性保证方法及系统 | |
US4274139A (en) | Digital telecommunication network having improved data processing systems | |
KR102072726B1 (ko) | 데이터베이스로의 미들-티어 트랜잭션 로그들의 인라인 위임을 지원하는 시스템들 및 방법들 | |
KR100625595B1 (ko) | 트랜잭션 처리 시스템의 병렬 로깅 방법 및 트랜잭션 로그 처리 시스템 | |
CN105512266A (zh) | 一种实现分布式数据库操作一致性的方法及装置 | |
CN111277639B (zh) | 一种保持数据一致性的方法和装置 | |
US20130246379A1 (en) | System and method for supporting application interoperation in a transactional middleware environment | |
US8683030B2 (en) | Routing of pooled messages via an intermediary | |
US20110258638A1 (en) | Distributed processing of binary objects via message queues including a failover safeguard | |
JP2004531807A (ja) | ステートフル・プログラム・エンティティの作業負荷管理 | |
CN112598525A (zh) | 一种智能合约分簇并行的区块链实现方法及装置 | |
CN110716793A (zh) | 一种分布式事务的执行方法、装置、设备及存储介质 | |
CN113157411B (zh) | 一种基于Celery的可靠可配置任务系统及装置 | |
WO2023082992A1 (zh) | 数据处理方法以及系统 | |
US10318520B2 (en) | System and method for reducing communications overhead in a distributed transactions environment by modifying implementation of the transaction end function | |
US10768974B2 (en) | Specifying an order of a plurality of resources in a transaction according to distance | |
CN111427670A (zh) | 任务调度方法和系统 | |
US7752225B2 (en) | Replication and mapping mechanism for recreating memory durations | |
CN110427427B (zh) | 一种通过引脚桥接实现全局事务分布式处理方法 | |
CN115001990A (zh) | 一种基于声明式API的跨地域openstack集群管理方法及系统 | |
US6839732B1 (en) | Efficient use of domain socket pairs in communication for tightly coupled transactions | |
CN112306695A (zh) | 数据的处理方法、装置、电子设备及计算机存储介质 | |
CN111143041A (zh) | 一种数据一致性方法、分布式协调器及中央协调器 | |
CN112416414A (zh) | 一种基于状态机的微服务架构容器化轻量级工作流系统 | |
US10127122B2 (en) | System and method for supporting transaction affinity based request handling in a middleware environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |