CN112559140A - 数据一致性的事务控制方法、系统、设备及存储介质 - Google Patents
数据一致性的事务控制方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN112559140A CN112559140A CN202011499072.7A CN202011499072A CN112559140A CN 112559140 A CN112559140 A CN 112559140A CN 202011499072 A CN202011499072 A CN 202011499072A CN 112559140 A CN112559140 A CN 112559140A
- Authority
- CN
- China
- Prior art keywords
- transaction
- log
- flow chart
- recovery
- distributed system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000011084 recovery Methods 0.000 claims abstract description 87
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据一致性的事务控制方法、系统、设备及存储介质，所述方法包括步骤：生成分布式系统应用的字节码文件；对所述字节码文件进行扫描，获得主事务注解和分支事务注解；基于所述主事务注解和所述分支事务注解，生成全局事务流程图；执行所述分布式系统应用，生成saga事务日志；基于异步线程，扫描所述saga事务日志，获取失败日志节点；将所述失败日志节点在所述全局事务流程图中进行匹配，获得所述失败日志节点对应的分支事务注解中包含的恢复策略；基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复；本申请实现了复杂分布式系统应用的数据一致性保护。
Description
技术领域
本发明涉及分布式系统下数据一致性保护技术领域，具体地说，涉及一种数据一致性的事务控制方法、系统、设备及存储介质。
背景技术
对于分布式系统，可能会产生许多数据一致性问题。比如，(1)需要实现A系统发生扣减的同时B系统发生新增；但实际上A、B系统没有同时执行成功导致的数据一致性问题；(2)长流程业务下若中间步骤失败，却无法全流程恢复。
在分布式系统中，对数据的任一个操作均可能涉及多个系统，比如缓存数据库Redis、分布式数据库Hbase、消息队列等。传统的事务控制方法在复杂的分布式系统下已经不能提供数据一致性的保护。并且传统的事务控制方法主要依赖于向后恢复的实现，而一些业务场景(比如发送短信动作)，是无法进行向后恢复操作的。此场景下只能进行向前恢复以保障各个系统的数据一致性。
目前越来越多的企业采用基于saga(一个数据最终一致性的解决方案)理论的数据一致性方案来保护复杂的分布式系统。基于saga理论的一致性方案一般有两种实现，第一种是基于状态机定义，比如eventuate(一种分布式数据最终一致性软件框架)。第二种是基于注解和拦截器结合实现，比如serviceComb saga(一种微服务应用的数据最终一致性解决方案框架)。第一种方案由于需要手动配置状态图，存在学习成本高、使用成本高、配置复杂等缺点。第二种方案存在无法静态感知saga事务全流程，也就无法依赖全流程事务实现向前恢复操作；还存在若saga分支事务对应的方法升级，历史数据无法恢复等问题。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种数据一致性的事务控制方法、系统、设备及存储介质，用于实现分布式系统应用的数据一致性。
为实现上述目的，本发明提供了一种数据一致性的事务控制方法，用于实现分布式系统应用的数据一致性，所述方法包括以下步骤：
生成分布式系统应用的字节码文件；
对所述字节码文件进行扫描，获得主事务注解和分支事务注解；
基于所述主事务注解和所述分支事务注解，生成全局事务流程图；
执行所述分布式系统应用，生成saga事务日志；
基于异步线程，扫描所述saga事务日志，获取失败日志节点；
将所述失败日志节点在所述全局事务流程图中进行匹配，获得所述失败日志节点对应的分支事务注解中包含的恢复策略；
基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复。
可选地，所述基于所述主事务注解和所述分支事务注解，生成全局事务流程图的步骤包括：
将所述全局事务流程图以链表结构进行结构化。
可选地，在所述执行所述分布式系统应用，生成saga事务日志的步骤之前，所述方法还包括步骤：
建立标识码、版本号和以链表结构表示的所述全局事务流程图相匹配的映射关系；
基于所述映射关系，将以链表结构表示的所述全局事务流程图存储至内存中；
获取历史全局事务流程图；
判断版本号相同的所述历史全局事务流程图和内存中存储的所述全局事务流程图是否一致；
若是则执行所述步骤：执行所述分布式系统应用，生成saga事务日志。
可选地，在所述执行所述分布式系统应用，生成saga事务日志的步骤之前，所述方法还包括步骤：
当不存在与内存中存储的所述全局事务流程图具有相同标识码以及相同版本号的所述历史全局事务流程图时，将所述全局事务流程图存储至预设数据库中。
可选地，所述恢复策略为向前恢复或者向后恢复；所述基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复的步骤包括：
当所述分支事务注解中包含的恢复策略为向前恢复时，则将自所述失败日志节点至最后一个日志节点在所述全局事务流程图中对应的所有分支事务全部恢复。
可选地，所述基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复的步骤还包括：
当所述分支事务注解中包含的恢复策略为向前恢复时，获取自所述失败日志节点至最后一个日志节点之间的日志节点占所有日志节点的比例；
判断所述比例是否大于第一预设阈值，若是则对自所述失败日志节点至最后一个日志节点在所述全局事务流程图中对应的所有分支事务恢复重试的次数为第二阈值；
若否则对自所述失败日志节点至最后一个日志节点在所述全局事务流程图中对应的所有分支事务恢复重试的次数为第三阈值；所述第二阈值小于所述第三阈值。
可选地，所述基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复的步骤还包括：
当所述分支事务注解中包含的恢复策略为向后恢复时，则将自所述失败日志节点至第一个日志节点之间的日志节点在所述全局事务流程图中对应的所有分支事务全部回滚。
可选地，所述执行所述分布式系统应用，生成saga事务日志的步骤包括：
执行所述分布式系统应用，基于AOP拦截器生成saga事务日志。
可选地，所述对所述字节码文件进行扫描的步骤包括：
基于Javassist对所述字节码文件进行扫描。
可选地，所述方法还包括步骤：
基于恢复后的分布式系统应用，对所述saga事务日志进行更新。
本发明还提供了一种数据一致性的事务控制系统，用于实现上述数据一致性的事务控制方法，所述系统包括：
字节码生成模块，用于生成分布式系统应用的字节码文件；
事务注解获取模块，用于对所述字节码文件进行扫描，获得主事务注解和分支事务注解；
全局事务流程图生成模块，基于所述主事务注解和所述分支事务注解，生成全局事务流程图；
事务日志生成模块，用于执行所述分布式系统应用，生成saga事务日志；
失败日志节点获取模块，基于异步线程，扫描所述saga事务日志，获取失败日志节点；
恢复策略获取模块，用于将所述失败日志节点在所述全局事务流程图中进行匹配，获得所述失败日志节点对应的分支事务注解中包含的恢复策略；
应用恢复模块，基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复。
本发明还提供了一种数据一致性的事务控制设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项数据一致性的事务控制方法的步骤。
本发明还提供了一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现上述任意一项数据一致性的事务控制方法的步骤。
本发明与现有技术相比，具有以下优点及突出性效果：
本发明提供的数据一致性的事务控制方法、系统、设备及存储介质通过分析扫描分布式系统应用的字节码文件，获取全局事务流程图，降低了全局事务流程图的获取成本；基于异步线程扫描获得失败日志节点；然后基于全局事务流程图进行异步的全局流程恢复，包括向前恢复或者向后恢复均能实现；有效地保护了复杂的分布式系统应用中的数据一致性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1为本发明一实施例公开的一种数据一致性的事务控制方法的示意图；
图2为本发明一实施例公开的步骤S701的流程示意图；
图3为本发明一实施例公开的一种数据一致性的事务控制系统的结构示意图；
图4为本发明一实施例公开的一种数据一致性的事务控制设备的结构示意图；
图5为本发明一实施例公开的一种计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，本发明实施例公开了一种数据一致性的事务控制方法，用于实现分布式系统应用的数据一致性，该方法包括以下步骤：
S10，生成分布式系统应用的字节码文件。具体来说，可以在分布式系统应用启动之后执行之前，利用JVM(Java Virtual Machine，Java虚拟机)编译获得关于分布式系统应用的字节码文件。该字节码文件是一种二进制的类文件。
S20，对上述字节码文件进行扫描，获得主事务注解和分支事务注解。具体来说，在分布式系统应用启动之后执行之前，利用字节码扫描工具对上述字节码文件进行扫描，获得包括主事务注解和分支事务注解在内的相关事务注解。具体而言，先找到包含主事务注解的主方法，该过程可以以SagaTransaction作为关键字识别。然后以该主方法作为入口，对这个方法中的代码逐行解析，若发现该方法内部调用了其他子方法，则分析被调用的方法是否包含有分支事务注解，该过程可以以BranchTransaction作为关键字识别。比如，主方法可以用于实现转账操作，子方法可以分别用于实现减钱、加钱、发短信和打印账单等操作。也即，主事务可以为转账，分支事务可以为减钱、加钱、发短信和打印账单。
其中，上述字节码扫描工具可以为Javassist(一个开源的分析、编辑和创建Java字节码的类库)。所以，在一优选地实施例中，上述步骤S20包括：基于Javassist对上述字节码文件进行扫描。当然，本申请对上述注解识别的关键字和字节码扫描工具均不作限制。
S30，基于上述主事务注解和上述分支事务注解，生成全局事务流程图。具体而言，在步骤S20中的事务注解扫描过程中，基于扫描到的主方法中包含的主事务注解，以及主方法内各个子方法包含的分支事务注解，梳理得到事务之间的调用流程分析结果，也即得到了全局事务流程图。本实施例中，上述全局事务流程图以链表结构进行结构化。这样可以在后续事务恢复过程中快速找到当前节点的下一个节点和上一个节点等，有利于提高事务恢复效率。
本申请实现了自动生成全局事务流程图，无需人工手动配置全局事务流程图，提高了全局事务流程图的使用成本；并且这样可以使得后续步骤中进行异步的向前恢复操作，避免了由于没有全局事务流程图而必须进行同步恢复操作，提高了该事务控制方法的可用性。
S40，执行上述分布式系统应用，生成saga事务日志。具体而言，本实施例中在执行分布式系统应用时，基于Java语言中的AOP(Aspect Oriented Programming，面向切面编程)拦截器，记录主方法内各个子方法执行时的事务日志，综合得到saga事务日志。也即本实施例基于AOP拦截器生成saga事务日志。
S50，基于异步线程，扫描上述saga事务日志，获取失败日志节点。具体而言，本实施例中采用异步的线程而非同步的线程扫描日志，避免了在某些情况下，由于服务器计算资源有限、分布式系统应用宕机或者网络异常等，无法做到采用同步多线程扫描的情况，可以做到延时扫描，也可以在服务器空闲状态下扫描，或者定时扫描等，提高了该事务控制方法的可用性。
S60，将上述失败日志节点在上述全局事务流程图中进行匹配，获得上述失败日志节点对应的分支事务注解中包含的恢复策略。具体来说，上述所有分支事务注解中均包含有恢复策略。上述saga事务日志中每一个日志节点匹配一个分支事务注解。那么，即可根据上述失败日志节点匹配得到对应的分支事务注解，然后即可获取到该分支事务注解中包含的恢复策略。该恢复策略为向前恢复或者向后恢复。其中，向前恢复或者向后恢复的执行需要依赖上述全局事务流程图。
S70，基于上述恢复策略、上述失败日志节点以及上述全局事务流程图，对上述分布式系统应用进行恢复。具体而言，本实施例中，上述步骤S70包括：
S701，当上述分支事务注解中包含的恢复策略为向前恢复时，则将自上述失败日志节点至最后一个日志节点在上述全局事务流程图中对应的所有分支事务全部恢复。
其中，分布式系统应用下的一个主方法对应一个主事务，主方法下的一个子方法对应一个分支事务，并且分支事务是有先后顺序的。一个日志节点对应一个分支事务。执行失败并需要向前恢复时，依据全局事务流程图，找到自失败日志节点至最后一个日志节点各自对应的分支事务，然后将失败日志节点对应的分支事务至最后一个分支事务全部恢复，即全部重新执行。
示例性地，比如若主事务为转账，分支事务为减钱、加钱、发短信和打印账单，上述失败日志节点对应的分支事务为加钱。其中，上述多个分支事务是有先后顺序的。那么，也即加钱执行失败，此时需要将加钱和加钱分支事务后面的发短信和打印账单全部恢复重试。这样可以实现对向前恢复的较细维度的控制，适合复杂的业务场景需要。其中，可以设定恢复重试N次，若N次均失败后，向运维人员发送告警新信息，及时通知。
在本申请的另一优选实施例中，在上述实施例的基础上，如图2所示，步骤S701可以包括：
S7011，当上述分支事务注解中包含的恢复策略为向前恢复时，获取自上述失败日志节点至最后一个日志节点之间的日志节点占所有日志节点的比例。
S7012，判断上述比例是否大于第一预设阈值。
S7013，若是则对自上述失败日志节点至最后一个日志节点在上述全局事务流程图中对应的所有分支事务恢复重试的次数为第二阈值。
S7014，若否则对自上述失败日志节点至最后一个日志节点在上述全局事务流程图中对应的所有分支事务恢复重试的次数为第三阈值。上述第二阈值小于上述第三阈值。
这样可以在需要恢复重试的分支事务较多时，恢复重试次数较少，有利于提高运行该方法时的系统性能，提高数据一致性的事务控制效率。其中，上述第一预设阈值可以为70％，第二阈值可以为2次，第三阈值可以为3次。当然，本申请对此不作限制。
本实施例中，步骤S70还包括：
S702，当上述分支事务注解中包含的恢复策略为向后恢复时，则将自上述失败日志节点至第一个日志节点之间的日志节点在上述全局事务流程图中对应的所有分支事务全部回滚。具体而言，类似地，依赖全局事务流程图，找到失败日志节点至第一个日志节点之间的日志节点匹配的所有分支事务。然后将这些分支事务对应的子方法全部回滚到被执行之前的状态。具体的回滚逻辑可以定义在各个分支事务对应的分支事务注解中，比如可以为数据库回滚或者利用函数调用回滚逻辑等。
在本申请的另一优选实施例中，在上述实施例的基础上，上述方法还包括步骤：
S80，基于恢复后的分布式系统应用，对上述saga事务日志进行更新。这样可以及时获取到准确的saga事务日志，也即获得每个事务节点准确的执行结果，便于分布式系统应用中各个主事务之间功能的协调。
在本申请的另一优选实施例中，在上述实施例的基础上，在步骤S30和步骤S40之间，上述数据一致性的事务控制方法还可以包括步骤：
建立标识码、版本号和以链表结构表示的上述全局事务流程图相匹配的映射关系。
基于上述映射关系，将以链表结构表示的上述全局事务流程图存储至内存中。
获取历史全局事务流程图。
判断版本号相同的上述历史全局事务流程图和内存中存储的上述全局事务流程图是否一致。
若是则执行后续的步骤S40。若否则结束流程，并生成告警信息发送给运维人员。
其中，一个主方法对应一个标识码、一个版本号以及一个全局事务流程图，也即一个主事务对应一个标识码、一个版本号以及一个全局事务流程图。一个标识码和一个版本号唯一匹配一个全局事务流程图。只有当全局事务流程图和历史全局事务流程图中包含的事务节点一致时，才执行分布式系统应用。这样可以使得只有正确的事务流程才会被执行，有利于保护分布式系统应用的数据一致性。
在本申请的另一优选实施例中，在上述实施例的基础上，在步骤S30和步骤S40之间，上述数据一致性的事务控制方法还可以包括步骤：
当不存在与内存中存储的上述全局事务流程图具有相同标识码以及相同版本号的上述历史全局事务流程图时，将上述全局事务流程图存储至预设数据库中。具体而言，该历史全局事务流程图是从预设数据库中获取的，当预设数据库中没有上述相同的全局事务流程图时，则将该全局事务流程图存储至上述预设数据库中。这样可以及时获取上述分布式系统应用中包含的所有主事务的新的事务信息，更好地实现基于事务控制保护分布式系统应用中的数据一致性。并且可以保护修改或者新增后的saga事务不会被历史数据影响。
在本申请的另一优选实施例中，在上述实施例的基础上，每一个主事务和每一个分支事务分别唯一匹配一个事务ID，使用线程本地化将事务ID进行保存，这样利于saga事务在分布式系统应用中的传播，更好地基于事务控制保护分布式系统应用的数据一致性。
如图3所示，本发明实施例还公开了一种数据一致性的事务控制系统3，该系统包括：
字节码生成模块31，用于生成分布式系统应用的字节码文件。
事务注解获取模块32，用于对所述字节码文件进行扫描，获得主事务注解和分支事务注解。
全局事务流程图生成模块33，基于所述主事务注解和所述分支事务注解，生成全局事务流程图。
事务日志生成模块34，用于执行所述分布式系统应用，生成saga事务日志。
失败日志节点获取模块35，基于异步线程，扫描所述saga事务日志，获取失败日志节点。
恢复策略获取模块36，用于将所述失败日志节点在所述全局事务流程图中进行匹配，获得所述失败日志节点对应的分支事务注解中包含的恢复策略。
应用恢复模块37，基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复。
可以理解的是，本发明的数据一致性的事务控制系统还包括其他支持数据一致性的事务控制系统运行的现有功能模块。图3显示的数据一致性的事务控制系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本实施例中的数据一致性的事务控制系统用于实现上述的数据一致性的事务控制的方法，因此对于数据一致性的事务控制系统的具体实施步骤可以参照上述对数据一致性的事务控制的方法的描述，此处不再赘述。
本发明实施例还公开了一种数据一致性的事务控制设备，包括处理器和存储器，其中存储器存储有所述处理器的可执行指令；处理器配置为经由执行可执行指令来执行上述数据一致性的事务控制方法中的步骤。图4是本发明公开的数据一致性的事务控制设备的结构示意图。下面参照图4来描述根据本发明的这种实施方式的电子设备600。图4显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述数据一致性的事务控制方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明还公开了一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述数据一致性的事务控制方法中的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述数据一致性的事务控制方法中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，通过分析扫描分布式系统应用的字节码文件，获取全局事务流程图，降低了全局事务流程图的获取成本；基于异步线程扫描获得失败日志节点；然后基于全局事务流程图进行异步的全局流程恢复，包括向前恢复或者向后恢复均能实现；有效地保护了复杂的分布式系统应用中的数据一致性。
图5是本发明的计算机可读存储介质的结构示意图。参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例提供的数据一致性的事务控制方法、系统、设备及存储介质通过分析扫描分布式系统应用的字节码文件，获取全局事务流程图，降低了全局事务流程图的获取成本；基于异步线程扫描获得失败日志节点；然后基于全局事务流程图进行异步的全局流程恢复，包括向前恢复或者向后恢复均能实现；有效地保护了复杂的分布式系统应用中的数据一致性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (13)
1.一种数据一致性的事务控制方法，其特征在于，用于实现分布式系统应用的数据一致性，所述方法包括以下步骤：
生成分布式系统应用的字节码文件；
对所述字节码文件进行扫描，获得主事务注解和分支事务注解；
基于所述主事务注解和所述分支事务注解，生成全局事务流程图；
执行所述分布式系统应用，生成saga事务日志；
基于异步线程，扫描所述saga事务日志，获取失败日志节点；
将所述失败日志节点在所述全局事务流程图中进行匹配，获得所述失败日志节点对应的分支事务注解中包含的恢复策略；
基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复。
2.如权利要求1所述的数据一致性的事务控制方法，其特征在于，所述基于所述主事务注解和所述分支事务注解，生成全局事务流程图的步骤包括：
将所述全局事务流程图以链表结构进行结构化。
3.如权利要求2所述的数据一致性的事务控制方法，其特征在于，在所述执行所述分布式系统应用，生成saga事务日志的步骤之前，所述方法还包括步骤：
建立标识码、版本号和以链表结构表示的所述全局事务流程图相匹配的映射关系；
基于所述映射关系，将以链表结构表示的所述全局事务流程图存储至内存中；
获取历史全局事务流程图；
判断版本号相同的所述历史全局事务流程图和内存中存储的所述全局事务流程图是否一致；
若是则执行所述步骤：执行所述分布式系统应用，生成saga事务日志。
4.如权利要求3所述的数据一致性的事务控制方法，其特征在于，在所述执行所述分布式系统应用，生成saga事务日志的步骤之前，所述方法还包括步骤：
当不存在与内存中存储的所述全局事务流程图具有相同标识码以及相同版本号的所述历史全局事务流程图时，将所述全局事务流程图存储至预设数据库中。
5.如权利要求1所述的数据一致性的事务控制方法，其特征在于，所述恢复策略为向前恢复或者向后恢复；所述基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复的步骤包括：
当所述分支事务注解中包含的恢复策略为向前恢复时，则将自所述失败日志节点至最后一个日志节点在所述全局事务流程图中对应的所有分支事务全部恢复。
6.如权利要求5所述的数据一致性的事务控制方法，其特征在于，所述基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复的步骤还包括：
当所述分支事务注解中包含的恢复策略为向前恢复时，获取自所述失败日志节点至最后一个日志节点之间的日志节点占所有日志节点的比例；
判断所述比例是否大于第一预设阈值，若是则对自所述失败日志节点至最后一个日志节点在所述全局事务流程图中对应的所有分支事务恢复重试的次数为第二阈值；
若否则对自所述失败日志节点至最后一个日志节点在所述全局事务流程图中对应的所有分支事务恢复重试的次数为第三阈值；所述第二阈值小于所述第三阈值。
7.如权利要求5所述的数据一致性的事务控制方法，其特征在于，所述基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复的步骤还包括：
当所述分支事务注解中包含的恢复策略为向后恢复时，则将自所述失败日志节点至第一个日志节点之间的日志节点在所述全局事务流程图中对应的所有分支事务全部回滚。
8.如权利要求1所述的数据一致性的事务控制方法，其特征在于，所述执行所述分布式系统应用，生成saga事务日志的步骤包括：
执行所述分布式系统应用，基于AOP拦截器生成saga事务日志。
9.如权利要求1所述的数据一致性的事务控制方法，其特征在于，所述对所述字节码文件进行扫描的步骤包括：
基于Javassist对所述字节码文件进行扫描。
10.如权利要求1所述的数据一致性的事务控制方法，其特征在于，所述方法还包括步骤：
基于恢复后的分布式系统应用，对所述saga事务日志进行更新。
11.一种数据一致性的事务控制系统，用于实现如权利要求1所述的数据一致性的事务控制方法，其特征在于，所述系统包括：
字节码生成模块，用于生成分布式系统应用的字节码文件；
事务注解获取模块，用于对所述字节码文件进行扫描，获得主事务注解和分支事务注解；
全局事务流程图生成模块，基于所述主事务注解和所述分支事务注解，生成全局事务流程图；
事务日志生成模块，用于执行所述分布式系统应用，生成saga事务日志；
失败日志节点获取模块，基于异步线程，扫描所述saga事务日志，获取失败日志节点；
恢复策略获取模块，用于将所述失败日志节点在所述全局事务流程图中进行匹配，获得所述失败日志节点对应的分支事务注解中包含的恢复策略；
应用恢复模块，基于所述恢复策略、所述失败日志节点以及所述全局事务流程图，对所述分布式系统应用进行恢复。
12.一种数据一致性的事务控制设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任意一项所述数据一致性的事务控制方法的步骤。
13.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至10中任意一项所述数据一致性的事务控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011499072.7A CN112559140B (zh) | 2020-12-17 | 2020-12-17 | 数据一致性的事务控制方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011499072.7A CN112559140B (zh) | 2020-12-17 | 2020-12-17 | 数据一致性的事务控制方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112559140A true CN112559140A (zh) | 2021-03-26 |
| CN112559140B CN112559140B (zh) | 2022-07-26 |
Family
ID=75063278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011499072.7A Active CN112559140B (zh) | 2020-12-17 | 2020-12-17 | 数据一致性的事务控制方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112559140B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114528266A (zh) * | 2022-01-28 | 2022-05-24 | 苏州浪潮智能科技有限公司 | 实现数据库和缓存一致性的方法、系统、设备和存储介质 |
| CN114925084A (zh) * | 2022-05-31 | 2022-08-19 | 易保网络技术(上海)有限公司 | 分布式事务处理方法、系统、设备及可读存储介质 |
| WO2024037104A1 (zh) * | 2022-08-19 | 2024-02-22 | 重庆紫光华山智安科技有限公司 | 数据存储方法、子系统、分布式存储系统及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109725987A (zh) * | 2018-12-15 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 一种分布式事务一致性解决方法及相关设备 |
| CN110196760A (zh) * | 2018-07-12 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 分布式事务一致性实现方法及装置 |
| CN110471746A (zh) * | 2019-08-22 | 2019-11-19 | 中国工商银行股份有限公司 | 一种分布式事务回调方法、装置及系统 |
| CN110888718A (zh) * | 2019-11-27 | 2020-03-17 | 武汉虹旭信息技术有限责任公司 | 分布式事务的实现方法及装置 |
| CN110990182A (zh) * | 2019-12-03 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 事务处理方法、装置、设备及存储介质 |
| CN111198751A (zh) * | 2018-11-20 | 2020-05-26 | 北京京东尚科信息技术有限公司 | 业务处理方法和装置 |
| CN111259083A (zh) * | 2020-02-13 | 2020-06-09 | 神州数码融信软件有限公司 | 分布式事务处理方法及装置 |
| CN111753013A (zh) * | 2020-06-24 | 2020-10-09 | 中国银行股份有限公司 | 分布式事务处理方法及装置 |
-
2020
- 2020-12-17 CN CN202011499072.7A patent/CN112559140B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110196760A (zh) * | 2018-07-12 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 分布式事务一致性实现方法及装置 |
| CN111198751A (zh) * | 2018-11-20 | 2020-05-26 | 北京京东尚科信息技术有限公司 | 业务处理方法和装置 |
| CN109725987A (zh) * | 2018-12-15 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 一种分布式事务一致性解决方法及相关设备 |
| CN110471746A (zh) * | 2019-08-22 | 2019-11-19 | 中国工商银行股份有限公司 | 一种分布式事务回调方法、装置及系统 |
| CN110888718A (zh) * | 2019-11-27 | 2020-03-17 | 武汉虹旭信息技术有限责任公司 | 分布式事务的实现方法及装置 |
| CN110990182A (zh) * | 2019-12-03 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 事务处理方法、装置、设备及存储介质 |
| CN111259083A (zh) * | 2020-02-13 | 2020-06-09 | 神州数码融信软件有限公司 | 分布式事务处理方法及装置 |
| CN111753013A (zh) * | 2020-06-24 | 2020-10-09 | 中国银行股份有限公司 | 分布式事务处理方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114528266A (zh) * | 2022-01-28 | 2022-05-24 | 苏州浪潮智能科技有限公司 | 实现数据库和缓存一致性的方法、系统、设备和存储介质 |
| CN114528266B (zh) * | 2022-01-28 | 2024-01-26 | 苏州浪潮智能科技有限公司 | 实现数据库和缓存一致性的方法、系统、设备和存储介质 |
| CN114925084A (zh) * | 2022-05-31 | 2022-08-19 | 易保网络技术(上海)有限公司 | 分布式事务处理方法、系统、设备及可读存储介质 |
| CN114925084B (zh) * | 2022-05-31 | 2023-07-21 | 易保网络技术(上海)有限公司 | 分布式事务处理方法、系统、设备及可读存储介质 |
| WO2024037104A1 (zh) * | 2022-08-19 | 2024-02-22 | 重庆紫光华山智安科技有限公司 | 数据存储方法、子系统、分布式存储系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112559140B (zh) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112559140B (zh) | 数据一致性的事务控制方法、系统、设备及存储介质 | |
| CN110297689B (zh) | 智能合约执行方法、装置、设备及介质 | |
| US20120331449A1 (en) | Device, method and computer program product for evaluating a debugger script | |
| CN111240689A (zh) | 应用程序的构建方法、装置、设备及存储介质 | |
| CN111984303A (zh) | 一种交易数据的处理方法、装置、设备及存储介质 | |
| CN110716866A (zh) | 代码质量扫描方法、装置、计算机设备及存储介质 | |
| CN110659210A (zh) | 一种信息获取方法、装置、电子设备及存储介质 | |
| CN112231403A (zh) | 数据同步的一致性校验方法、装置、设备和存储介质 | |
| CN110045952B (zh) | 代码调用方法与装置 | |
| CN110716804A (zh) | 无用资源的自动删除方法、装置、存储介质及电子设备 | |
| CN112395141B (zh) | 一种数据页管理方法、装置、电子设备及存储介质 | |
| CN118069745A (zh) | 基于事务日志的SQL Server增量获取方法、存储介质及设备 | |
| CN117076457A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN110196952B (zh) | 程序代码的搜索处理方法、装置、设备及存储介质 | |
| CN109146096B (zh) | 报修事件的处理方法、装置、存储介质及电子设备 | |
| CN112818204B (zh) | 一种业务的处理方法、装置、设备及存储介质 | |
| CN112114811A (zh) | 一种编译方法、装置和设备 | |
| CN114090514A (zh) | 分布式系统的日志检索方法及装置 | |
| CN109740027B (zh) | 数据交换方法、装置、服务器和存储介质 | |
| US9298449B2 (en) | Composite program history | |
| US8495033B2 (en) | Data processing | |
| CN112257004B (zh) | 备份页面的方法、装置、服务器及存储介质 | |
| CN110389862B (zh) | 一种数据保存方法、装置、设备及存储介质 | |
| US8839207B2 (en) | Debugging extensible markup language | |
| CN111682991B (zh) | 总线错误消息的处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 210012 4th floor, building 5, no.170-1, software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province Patentee after: Jiangsu Yunmanman Information Technology Co.,Ltd. Address before: 210012 4th floor, building 5, no.170-1, software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province Patentee before: Jiangsu manyun Logistics Information Co.,Ltd. |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210326 Assignee: Nanjing Manyun Cold Chain Technology Co.,Ltd. Assignor: Jiangsu Yunmanman Information Technology Co.,Ltd. Contract record no.: X2023980040393 Denomination of invention: Transaction control methods, systems, devices, and storage media for data consistency Granted publication date: 20220726 License type: Common License Record date: 20230824 |
|
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 210012 3rd floor, building a, Wanbo Science Park, 66 Huashen Avenue, Yuhuatai District, Nanjing City, Jiangsu Province Patentee after: Jiangsu Yunmanman Information Technology Co.,Ltd. Address before: 210012 4th floor, building 5, no.170-1, software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province Patentee before: Jiangsu Yunmanman Information Technology Co.,Ltd. |