CN114281838A - 基于Java探针技术的柔性分布式事务中心系统 - Google Patents

Abstract

本发明公开了一种基于Java探针技术的柔性分布式事务中心系统，包含：分布式事务客户端和分布式事务服务端；分布式事务客户端包含Java探针监控模块、SQL分析模块、日志记录模块和本地事务回滚模块；分布式事务服务端包含事务注册模块、全局事务回滚模块和分支事务驱动模块。通过Java探针监控模块对服务的接口进行监控，记录各服务之间接口的调用链和调用状态，保存各接口执行之前以及执行之后的数据库快照，生成探针日志，用于回滚操作。本发明所提供的基于Java探针技术的柔性分布式事务中心系统，通过探针取代拦截器或是切面的方式实现代码的低侵入，不需要修改用户代码即可通过修改字节码的方式达成接入系统的特性。

Description

基于Java探针技术的柔性分布式事务中心系统

技术领域

本发明涉及一种基于Java探针技术的柔性分布式事务中心系统。

背景技术

在微服务场景下，多个服务之间存在着相互关联的业务，且需要分别对各自的数据库进行操作，单纯的本地事务仅仅只能保证单个服务的事务一致性，却无法保证多服务之间的事务一致性，因此需要通过分布式事务解决微服务场景下多服务的事务一致性的问题，现有的方案是通过AT、TCC等分布式事务解决方案保证事务的一致性。现有的分布式事务框架，例如Seata、Hmily等，是通过拦截器或代理SQL的方式获取到原始的SQL语句，之后通过对SQL语言的解析分析SQL语句类型，根据类型保存数据库快照用于之后的失物回滚操作，但是这种实现方式难以支持低版本的Java项目的改造，和java RPC框架进行了绑定，并且通过这类分布式事务框架进行改造会存在代码侵入的问题，需要对代码进行部分改造。

现有技术的主要缺陷在于：通过分布式事务框架进行改造的项目需要对原有代码甚至数据库进行改造，工程量大。由于用户现有项目和已经在使用的RPC框架在一定程度上存在绑定关系，现有分布式事务框架难以支持旧项目的改造，支持框架版本较高不适配老版本。部分分布式事务框架在流程中加了锁难以支持高并发场景的分布式事务处理与回滚。

发明内容

本发明提供了一种基于Java探针技术的柔性分布式事务中心系统，采用如下的技术方案：

一种基于Java探针技术的柔性分布式事务中心系统，包含：

分布式事务客户端和分布式事务服务端；

分布式事务客户端连接至分布式事务服务端；

分布式事务客户端包含：

Java探针监控模块，用于对服务的接口进行监控，记录各服务之间接口的调用链和调用状态，保存各接口执行之前以及执行之后的数据库快照，生成探针日志；

SQL分析模块，用于拦截接口调用数据库所执行的SQL语句并对SQL语句进行分析；

日志记录模块，用于根据SQL分析模块的分析结果查询数据库中数据，保存该数据的快照到该接口的调用日志条目中用于之后的回滚操作；

本地事务回滚模块，用于在分布式事务服务端通知回滚及给出回滚范围之后根据分布式事务服务端传过来的traceid查询本地的记录的数据库快照并根据数据库快照对本地事务进行回滚操作；

分布式事务服务端包含：

事务注册模块，用于根据分布式事务客户端在微服务调用接口时发送过来的注册信息创建新的全局事务并生成traceid并返回至分布式事务客户端；

全局事务回滚模块，用于接收分布式事务客户端由于监测到数据库操作异常或失败之后发送过来的traceid后根据该traceid查询对应的全局事务，将对应的全局事务的状态修改为回滚，并发送回滚请求；

分支事务驱动模块，用于在接收到回滚请求后根据traceid查询调用链并通知调用链上的各服务进行回滚操作。

进一步地，SQL分析模块对拦截到的SQL语句进行格式化预处理，之后通过集成的SQL解析器GSP对格式化之后的SQL语句进行解析，将解析出的SQL类型存入探针日志的单条记录中，将解析出的其他信息转换成SELECT语句在数据库中执行，同时获取本次修改的单条记录的值作为快照存放入探针日志。

进一步地，日志记录模块根据SQL分析模块分析得到的SQL类型通过不同的策略查询数据库中数据。

进一步地，事务注册模块通过雪花算法生成全局唯一的traceid用于标志调用链

进一步地，基于Java探针技术的柔性分布式事务中心系统还包含系统接入配置模块；

系统接入配置模块连接至分布式事务客户端用于供用户对接入系统的微服务进行参数配置。

进一步地，系统接入配置模块用于供用户配置需要接入的微服务的数据库类型、数据库地址和用户名密码。

进一步地，系统接入配置模块用于供用户配置SQL语句变量名或连接方式，SQL分析模块根据配置的sql语句变量名拦截该变量以获取SQL语句进行解析或是根据配置好的连接方式直接获取SQL语句。

进一步地，系统接入配置模块用于供用户配置需要接入的微服务的白名单信息，白名单信息包含了需要接入的微服务中无需进行监控的接口信息。

进一步地，系统接入配置模块用于供用户配置自身的网络传输方式。

进一步地，在分支事务驱动模块通知调用链上的各分布式事务客户端进行回滚操作之后还接收各分布式事务客户端的反馈的回滚操作结果，并将收集到的回滚操作结果发送至全局事务回滚模块。

本发明的有益之处在于所提供的基于Java探针技术的柔性分布式事务中心系统，通过探针取代拦截器或是切面的方式实现代码的低侵入，不需要修改用户代码即可通过修改字节码的方式达成接入系统的特性，大大的减少了用户在业务代码程序需要进行的业务改造。

本发明的有益之处还在于所提供的基于Java探针技术的柔性分布式事务中心系统，通过探针日志代替数据库的存取，去除了对用户数据库的侵入，通过日志自动进行数据库的回滚操作，这种方式大大减少了用户需要编写的代码，对用户的代码侵入进一步的减少。

附图说明

图1是本发明的基于Java探针技术的柔性分布式事务中心系统的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

如图1所示为本申请的一种基于Java探针技术的柔性分布式事务中心系统，包含：分布式事务客户端和分布式事务服务端，分布式事务客户端连接至分布式事务服务端。

分布式事务客户端包含Java探针监控模块、SQL分析模块、日志记录模块和本地事务回滚模块。

其中，Java探针监控模块用于对服务的接口进行监控，记录各服务之间接口的调用链和调用状态，保存各接口执行之前以及执行之后的数据库快照，生成探针日志。

在各接口运行之前，Java探针监控模块会将该接口注册到分布式事务服务端并通过分布式事务服务端的雪花算法生成全局唯一的traceid用于标志调用链。在这里生成的traceid会被传递到该接口以及调用的所有下游及分支服务接口，下游服务接口通过该traceid可以将本次数据库操作的事务注册到事务中心的同一全局事务之下。

SQL分析模块用于拦截接口调用数据库所执行的SQL语句并对SQL语句进行分析。具体而言，SQL分析模块对拦截到的SQL语句进行预处理，包括但不限于将多个空格转为单个、大小写替换等处理。之后通过集成的SQL解析器GSP对格式化之后的SQL语句进行解析，提取解析后需要的信息将该信息暂存。解析器会将SQL语句拆成SQL类型、表名、表别名、修改列、修改行、修改值、修改条件、SQL语句Limit和Order By等，根据SQL语句的类型保存不同的值。将解析出的SQL类型存入探针日志的单条记录中(SELECT、INSERT、UPDATE、DELETE等)，将解析出的其他信息，如表名、查询条件、排序及其他限制条件，转化为SELECT语句等，转换成SELECT语句在数据库中执行，同时获取本次修改的单条记录的值作为快照存放入探针日志，用于后续的回滚操作。

日志记录模块用于根据SQL分析模块的分析结果查询数据库中数据，保存该数据的快照到该接口的调用日志条目中用于之后的回滚操作。可以理解的，日志记录模块根据SQL分析模块分析得到并保存的SQL类型，通过不同的策略查询数据库中数据。保存该数据的快照到该接口调用日志条目中用于之后的回滚操作，每一个接口在被调用时都会记录一条调用日志，这些日志是用于在分布式事务服务端发出回滚请求之后或是服务端不响应连接错误时用于本地事务的回滚的。

本地事务回滚模块用于在分布式事务服务端通知回滚及给出回滚范围之后根据分布式事务服务端传过来的traceid查询本地的记录的数据库快照并根据数据库快照对本地事务进行回滚操作。

分布式事务服务端包含事务注册模块、全局事务回滚模块和分支事务驱动模块。

事务注册模块的主要功能在于，当分布式事务客户端在微服务调用接口时发送注册信息至分布式事务服务端，该注册信息中包含了该接口对应的接口信息，事务注册模块判断其中是否携带traceid，若没有携带，则根据接收到的注册信息创建新的全局事务并生成traceid并返回给分布式事务客户端。

全局事务回滚模块用于接收分布式事务客户端由于监测到数据库操作异常或失败之后发送过来的traceid，之后根据该traceid查询对应的全局事务，将对应的全局事务的状态修改为回滚，并发送回滚请求至分支事务驱动模块以回滚调用链上的所有分支事务。之后根据分支事务驱动模块返回的回滚结果执行提前配置好的策略来应对。

分支事务驱动模块在接收到回滚请求后，根据traceid查询调用链并通知调用链上的各服务进行回滚操作。在分支事务驱动模块通知调用链上的各分布式事务客户端进行回滚操作之后还接收各分布式事务客户端的反馈的回滚操作结果，并将收集到的回滚操作结果发送至全局事务回滚模块通知全局事务回滚模块回滚成功或失败。

现有的系统，因为服务端要控制协调事务，提升了可靠性的同时带来性能的损耗。而本申请的基于Java探针技术的柔性分布式事务中心系统，平衡了强一致性，用柔性的方式来换取减小性能的损耗，提高了系统的柔性。由于实际情况是分布式事务出现问题出现的概率极小，那么没必要因为这个极小的情况限制其他正常的业务来提升可靠性。

优选的，基于Java探针技术的柔性分布式事务中心系统还包含系统接入配置模块。系统接入配置模块连接至分布式事务客户端用于供用户对接入系统的微服务进行参数配置。

具体而言，用户将微服务接入系统时需要对自己的项目进行一些配置。系统接入配置模块用于供用户配置需要接入的微服务的数据源，其中，数据源至少包含数据库类型、数据库地址和用户名密码，这关系到数据库的连接以及之后的SQL语句解析。

系统接入配置模块还用于供用户配置SQL语句变量名或连接方式，SQL分析模块根据配置的sql语句变量名拦截该变量以获取SQL语句进行解析或是根据配置好的连接方式直接获取SQL语句。其中，连接方式是指使用的SQL或是JDBC的连接方式。

进一步地，系统接入配置模块还用于供用户配置需要接入的微服务的白名单信息，白名单信息包含了需要接入的微服务中无需进行监控的接口信息。

可以理解的是，针对部分微服务接口不需要探针进行事务托管的情况，系统接入配置模块提供了白名单配置选项，通过该配置选项，用户可以通过配置想要或是不想要进行全局事务托管的接口并选择配置方式，在探针执行时会自动读取配置文件，根据该配置文件中的名单选择全局事务的对象。

系统接入配置模块还用于供用户配置自身的网络传输方式。例如现有的RPC框架，例如Dubbo、Spring Cloud等，系统会根据这些配置获取网络传输请求用于在请求当中添加或拦截traceid等事务运行需要的信息。系统接入配置模块还提供了用户自定义的实现方式，提供实例配置或是用户自实现发送traceid等操作，即便是自己实现的请求框架也可以适配系统中的探针。

通过上述的基于Java探针技术的柔性分布式事务中心系统，微服务接口被调用时，Java探针监控模块检测到该接口被调用同时没有检测到请求带有traceid，判断该接口为事务中首个被调用的。分布式事务客户端向分布式事务服务端发起请求注册全局事务，分布式事务服务端没有检测到分布式事务客户端传来的traceid自动创建新的全局事务。分布式事务服务端首先根据雪花算法生成全局唯一的traceid和当前事务中唯一的spanid，之后根据服务名、接口名、调用时间、traceid、创建时间等创建全局事务并在调用链的表中添加spanid和之前调用的接口的spanid，最后将traceid传输回分布式事务客户端。分布式事务客户端接收到返回的traceid后，开始解析SQL语句，获取SQL语句中的方法、表名、查询条件、限制条件等，如果获取到的SQL方法是SELECT就不计入探针日志不对其进行事务的管控，如果获取到的SQL方法是INSERT或DELETE则保存增加后的或是删除前的数据快照，如果是UPDATE则保存执行前后的数据快照，获取快照的方式是通过SELECT语句根据以上提取的表名和查询条件进行查询。分布式事务客户端通过数据库查询获取到快照之后结合服务端传来的traceid生成本地的探针日志，这里探针日志的属性有traceid、数据快照、回滚状态、创建时间、修改时间等。当前接口调用其他服务接口，探针在请求当中自动添加传递给分支接口的traceid。另一服务接收到了该服务传来的请求，探针检测到带有traceid向分布式事务服务端发起注册全局事务请求。分布式事务服务端接收到传来的带有服务接口信息以及traceid的注册请求，通过traceid以及接口信息在数据库中查询该全局事务，同时生成spanid新增该事务的调用链。之后重复以上过程直到所有分支接口调用完成。

微服务接口执行失败或超时之后，系统进行回滚操作。具体地，接口执行抛出异常时，Java探针监控模块检测到程序抛出异常准备回滚。首先分布式事务服务端将该事务视作一个事件，标记事件需要进行回滚。系统捕捉到该事件后发起反向冲正操作，将前面的子事务进行反向回滚更新。具体地，将traceid传输给分布式事务服务端，分布式事务服务端将全局事务改为回滚中，再根据traceid查询该接事务的调用链，依次携带traceid通知该调用链上的各服务进行回滚操作。各服务收到回滚请求，根据传输过来的traceid查询本地的探针日志，根据SQL类型以及探针日志中保存的数据快照生成对冲的SQL语句并执行。回滚SQL语句执行结束之后，通知分布式事务服务端回滚结果，分布式事务服务端若接收到回滚成功的信息，修改调用链中的该条目为已回滚，若接收到回滚失败的消息则再次通知重试回滚，若多次回滚失败设置该事务为回滚失败。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于Java探针技术的柔性分布式事务中心系统，其特征在于，包含：

分布式事务客户端和分布式事务服务端；

所述分布式事务客户端连接至所述分布式事务服务端；

所述分布式事务客户端包含：

Java探针监控模块，用于对服务的接口进行监控，记录各服务之间接口的调用链和调用状态，保存各接口执行之前以及执行之后的数据库快照，生成探针日志；

SQL分析模块，用于拦截接口调用数据库所执行的SQL语句并对SQL语句进行分析；

日志记录模块，用于根据所述SQL分析模块的分析结果查询数据库中数据，保存该数据的快照到该接口的调用日志条目中用于之后的回滚操作；

本地事务回滚模块，用于在所述分布式事务服务端通知回滚及给出回滚范围之后根据所述分布式事务服务端传过来的traceid查询本地的记录的数据库快照并根据数据库快照对本地事务进行回滚操作；

所述分布式事务服务端包含：

事务注册模块，用于根据所述分布式事务客户端在微服务调用接口时发送过来的注册信息创建新的全局事务并生成traceid并返回至所述分布式事务客户端；

全局事务回滚模块，用于接收所述分布式事务客户端由于监测到数据库操作异常或失败之后发送过来的traceid后根据该traceid查询对应的全局事务，将对应的全局事务的状态修改为回滚，并发送回滚请求；

分支事务驱动模块，用于在接收到回滚请求后根据traceid查询调用链并通知调用链上的各服务进行回滚操作。

2.根据权利要求1所述的基于Java探针技术的柔性分布式事务中心系统，其特征在于，

所述SQL分析模块对拦截到的SQL语句进行格式化预处理，之后通过集成的SQL解析器GSP对格式化之后的SQL语句进行解析，将解析出的SQL类型存入探针日志的单条记录中，将解析出的其他信息转换成SELECT语句在数据库中执行，同时获取本次修改的单条记录的值作为快照存放入探针日志。

3.根据权利要求1所述的基于Java探针技术的柔性分布式事务中心系统，其特征在于，

所述日志记录模块根据所述SQL分析模块分析得到的SQL类型通过不同的策略查询数据库中数据。

4.根据权利要求1所述的基于Java探针技术的柔性分布式事务中心系统，其特征在于，

所述事务注册模块通过雪花算法生成全局唯一的traceid用于标志调用链。

5.根据权利要求1所述的基于Java探针技术的柔性分布式事务中心系统，其特征在于，

所述基于Java探针技术的柔性分布式事务中心系统还包含系统接入配置模块；

所述系统接入配置模块连接至所述分布式事务客户端用于供用户对接入系统的微服务进行参数配置。

6.根据权利要求5所述的基于Java探针技术的柔性分布式事务中心系统，其特征在于，

所述系统接入配置模块用于供用户配置需要接入的微服务的数据库类型、数据库地址和用户名密码。

7.根据权利要求6所述的基于Java探针技术的柔性分布式事务中心系统，其特征在于，

所述系统接入配置模块用于供用户配置SQL语句变量名或连接方式，所述SQL分析模块根据配置的sql语句变量名拦截该变量以获取SQL语句进行解析或是根据配置好的连接方式直接获取SQL语句。

8.根据权利要求7所述的基于Java探针技术的柔性分布式事务中心系统，其特征在于，

所述系统接入配置模块用于供用户配置需要接入的微服务的白名单信息，白名单信息包含了需要接入的微服务中无需进行监控的接口信息。

9.根据权利要求8所述的基于Java探针技术的柔性分布式事务中心系统，其特征在于，

所述系统接入配置模块用于供用户配置自身的网络传输方式。

10.根据权利要求1所述的基于Java探针技术的柔性分布式事务中心系统，其特征在于，

在所述分支事务驱动模块通知调用链上的各所述分布式事务客户端进行回滚操作之后还接收各所述分布式事务客户端的反馈的回滚操作结果，并将收集到的回滚操作结果发送至所述全局事务回滚模块。

Images