CN112104504B - 一种大规模资源访问的事务管理框架、设计方法及云平台 - Google Patents

一种大规模资源访问的事务管理框架、设计方法及云平台 Download PDF

Info

Publication number
CN112104504B
CN112104504B CN202010979424.2A CN202010979424A CN112104504B CN 112104504 B CN112104504 B CN 112104504B CN 202010979424 A CN202010979424 A CN 202010979424A CN 112104504 B CN112104504 B CN 112104504B
Authority
CN
China
Prior art keywords
transaction
resource
cloud
manager
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010979424.2A
Other languages
English (en)
Other versions
CN112104504A (zh
Inventor
李晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhi Lighting Technology Beijing Co ltd
Original Assignee
Huizhi Lighting Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhi Lighting Technology Beijing Co ltd filed Critical Huizhi Lighting Technology Beijing Co ltd
Priority to CN202010979424.2A priority Critical patent/CN112104504B/zh
Publication of CN112104504A publication Critical patent/CN112104504A/zh
Application granted granted Critical
Publication of CN112104504B publication Critical patent/CN112104504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种大规模资源访问的事务管理框架、设计方法及云平台，所述事务管理框架包括：事务管理器，配置于云虚拟主机节点中，在接收到事务服务的云端访问请求时启动，对关键业务的事务全过程管理和控制；虚拟表，运行于云平台的某一云虚拟主机节点中，对大规模物理异构数据库资源进行管理；资源管理器，配置于云虚拟主机节点中，基于云平台的访问通道和虚拟表的服务地址，对关键业务的资源进行管理；一个事务管理器协调运行在多个云虚拟主机节点中的资源管理器，形成运行时结构体，通过运行时结构体完成一次即时性的全局事务服务。本发明在不降低大数据平台本身服务指标优势情况下，可以满足传统关系型数据库的关键业务事务控制需求。

Description

一种大规模资源访问的事务管理框架、设计方法及云平台
技术领域
本发明涉及数据处理技术领域，特别是涉及大规模数据服务平台领域，具体为一种大规模资源访问的事务管理框架、设计方法及云平台。
背景技术
近年随着数字化经济的纵深发展，企业级传统关系型数据库，以及非关系型数据库的应用及数据资源呈现出爆炸式增长，系统和数据的增长促进了业务的精细化分工和协作，而体验良好的智能化的业务流程往往涉及多方系统、多个流程环节、多个资源动态交互，这大幅度提升了整个业务的控制复杂度。
这类大规模数据资源情景下的信息化核心需求，包括集中管控、动态访问、在线事务、综合分析、精准服务、实时响应等。其中访问多个动态的重要资源的事务完整性控制是保证关键业务精准化的基本要求。
传统的基于三层结构的客户/应用服务器/数据库型事务控制系统，比如Tuxedo中间件，由中间服务层实现客户端对后端数据库的读取和更新，中间层具有根据负载情况的动态调度、可扩展等特性。但本质上还是前后端基于固定链接模式的交易事务完整性控制，适用于相对静态固定的、分布式、有限的多个数据源之间的事务协同，接口调用方式适合紧耦合的C/S模式。
这种结构不适合大规模、动态的、跨机构异构的多数据源之间，以及即时性业务驱动的交易事务完整性协同机制的需求。这类需求的特点是：1)针对交易性事务控制和非事务请求统一服务，事务控制标签化、透明化；2)大规模资源通过虚拟化技术动态管理、动态映射访问，非固定链接模式；3)即时性关键业务跨多方互联的松耦合接口；4)无中心协同控制，在线横向伸缩，任何节点都具有对等的全局事务服务能力。
当前，大规模数据服务平台的具体实践中，常常为了提高可扩展性、可用性、吞吐率、响应时间等指标，大幅度牺牲了传统关系型数据库的OLTP业务的数据一致性能力。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种大规模资源访问的事务管理框架、设计方法及云平台，用于解决现有技术中事务管理结构无法满足事务控制需求，服务指标和数据一致性无法有效平衡的问题。
为实现上述目的及其他相关目的，本发明提供一种大规模资源访问的事务管理框架，应用于包含多个云虚拟主机节点的云平台，所述大规模资源访问的事务管理框架包括：事务管理器，配置于云虚拟主机节点中，在接收到事务服务的云端访问请求时启动，对关键业务的事务全过程管理和控制；虚拟表，运行于云平台的某一云虚拟主机节点中，对大规模物理异构数据库资源进行管理；资源管理器，配置于云虚拟主机节点中，基于云平台的访问通道和所述虚拟表的服务地址，对所述关键业务的资源进行管理；一个事务管理器协调运行在多个云虚拟主机节点中的资源管理器，形成运行时结构体，通过运行时结构体完成一次即时性的全局事务服务。
于本发明一实施例中，所述全局事务服务运行时，即时存储事务管理器的事务管理日志和资源管理器的资源管理日志；完成后，所述运行时结构体被摧毁。
于本发明一实施例中，所述虚拟表动态映射所述关键业务对应的一个或多个物理库表，实现所述关键业务访问一个或多个物理资源。
于本发明一实施例中，所述云平台对所述大规模物理异构数据库资源进行分区管理，预设类别数据库资源由预设云虚拟主机节点控制和管理。
于本发明一实施例中，访问大规模物理异构数据库资源的虚拟表接口对所述云平台的所有云虚拟主机节点通用。
于本发明一实施例中，所述事务管理器对关键业务的事务全过程管理和控制包括：创建当前事务运行的事务对象实体，该事务对象实体基于当前业务运行的线程号/进程号/指定的事务键获取；管理访问的虚拟资源及地址，通过该地址，访问到对应的资源管理器构建的资源对象实体；关键业务执行过程中，数据执行、事务准备、事务提交，三个运行时阶段的实时状态管理；事务超时监控、事务异常等状态管理；输出、恢复事务管理日志；事务恢复。
于本发明一实施例中，所述资源管理器对所述关键业务的资源进行的管理包括：事务键的执行数据操作时，即时创建对应资源的资源对象实体，该资源对象实体通过事务键获取；管理资源针对该事务键过程中，数据执行、事务准备、事务提交，三个运行时阶段的实时状态管理；资源处理事务的超时监控、资源异常状态管理；输出、恢复资源管理日志；资源恢复。
对应地，本发明提供一种大规模资源访问的事务管理框架设计方法，应用于包含多个云虚拟主机节点的云平台，所述大规模资源访问的事务管理框架的设计方法包括：于云虚拟主机节点中配置事务管理器，在接收到事务服务的云端访问请求时启动所述事务管理器，并通过所述事务管理器对关键业务的事务全过程管理和控制；于云平台的某一云虚拟主机节点中运行虚拟表，通过所述虚拟表对大规模物理异构数据库资源进行管理；于云虚拟主机节点中配置资源管理器，所述资源管理器基于云平台的访问通道和所述虚拟表的服务地址，对所述关键业务的资源进行管理；一个事务管理器协调运行在多个云虚拟主机节点中的资源管理器，形成运行时结构体，通过运行时结构体完成一次即时性的全局事务服务。
于本发明一实施例中，所述全局事务服务运行时，即时存储事务管理器的事务管理日志和资源管理器的资源管理日志；完成后，所述运行时结构体被摧毁。
本发明提供一种云平台，应用如上所述的大规模资源访问的事务管理框架。
如上所述，本发明的大规模资源访问的事务管理框架、设计方法及云平台，具有以下有益效果：
1)本发明在现有动态可扩展的云架构基础上，提出一种支持分布式大规模异构数据库资源的事务框架和算法，在不降低大数据平台本身服务指标优势情况下，可以满足传统关系型数据库的关键业务事务控制需求。
2)本发明中，TM(事务管理器)和RM(资源管理器)以云平台资源虚拟化管理和访问通道的总体架构为核心适配，它们以运行在独立的、松耦合的多节点上的服务方式动态协作和控制，相对传统的三层架构模型，具有更强的动态适应和可伸缩特性，不仅增强了云平台关键业务的联机事务能力，也不影响其原有架构特性。
3)本发明为企业级跨多数据库的业务事务处理、供应链线上协同金融服务、多分区数据管理事务一致性等需求，提供技术和服务支持。
4)本发明能基于现有云架构、数据处理中间件等拓展，能较好的与现有分布式网络系统对接，业务编写和用户体验能实现平滑转移，因此，在带来新型技术和适用功能的同时，建设、运营、推广成本较低。
附图说明
图1显示为本发明的大规模资源访问的事务管理框架于一实施例中的框架示意图；
图2显示为本发明的大规模资源访问的事务管理框架于一实施例中的架构应用示意图；
图3显示为本发明的大规模资源访问的事务管理框架于一实施例中的数据处理关系示意图；
元件标号说明
100 大规模资源访问的事务管理框架
110 事务管理器
120 资源管理器
130 虚拟表
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
当前，大规模数据服务平台的具体实践中，常常为了提高可扩展性、可用性、吞吐率、响应时间等指标，大幅度牺牲了传统关系型数据库的OLTP业务的数据一致性能力。本发明为这类新型大数据平台提供了一种支持传统OLTP业务的框架和方法，在不降低大数据平台本身服务指标优势情况下，为满足传统关系型数据库的关键业务事务控制需求，提供了可替代之的技术方案。
本实施例的目的在于提供一种大规模资源访问的事务管理框架、设计方法及云平台，用于解决现有技术中事务管理结构无法满足事务控制需求，服务指标和数据一致性无法有效平衡的问题。
以下将详细阐述本实施例的大规模资源访问的事务管理框架、设计方法及云平台的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的一种大规模资源访问的事务管理框架、设计方法及云平台。
如图1和图2所示，本实施例提供一种大规模资源访问的事务管理框架100，应用于包含多个云虚拟主机节点(图1中所示的云虚拟主机节点1、云虚拟主机节点2…云虚拟主机节点N)的云平台，所述大规模资源访问的事务管理框架100包括：事务管理器110，资源管理器120，虚拟表130。
于本实施例中，如图1所示，每一个云虚拟主机节点(VM)均配置有一个所述事务管理器110(TM，Transaction Manager)和一个资源管理器120(RM，Resource Manager)。
于本实施例中，所述事务管理器110(TM，Transaction Manager)配置于云虚拟主机节点中，在接收到事务服务的云端访问请求时启动，对关键业务的事务全过程管理和控制。
所述事务管理器110实现一次关键业务的事务全过程管理和控制，每次事务需要一个或多个独立的资源管理器120(RM，Resource Manager)参与协同，每次事务所述事务管理器110运行在独立的云虚拟主机节点上。
如图3所示，所述事务管理器110(TM)相当于云虚拟主机节点的一个内置核心组件，每个云虚拟主机节点在处理标签为事务的请求时(如图2中的请求1)，会启动所述事务管理器110(TM)，实现全程事务监控和管理。于本实施例中，所述事务管理器110(TM)并不是一个代理应用服务(如Tuxedo架构中的Application Service)，不代理云端进程/线程完成对关键资源的事务访问通路，而是作为一个专门依附并服务于该通路的运行时结构体及其持久存储日志，实现事务管控的。这样，只有标签为事务服务的云端访问请求，才会启动相应的所述事务管理器110(TM)及服务，而针对非事务请求请求2，并不需要TM和RM服务。
具体地，于本实施例中，所述事务管理器110对关键业务的事务全过程管理和控制包括：
创建当前事务运行的事务对象实体，该事务对象实体基于当前业务运行的线程号/进程号/指定的事务键获取；管理访问的虚拟资源及地址，通过该地址，访问到对应的资源管理器120构建的资源对象实体；关键业务执行过程中，数据执行、事务准备、事务提交，三个运行时阶段的实时状态管理；事务超时监控、事务异常等状态管理；输出、恢复事务管理日志；事务恢复。
于本实施例中，资源管理器120(RM，Resource Manager)配置于云虚拟主机节点中，基于云平台的访问通道和所述虚拟表130的服务地址，对所述关键业务的资源进行管理。
资源管理器120(RM)针对每次关键业务事务，资源管理器120(RM)是服务于事务管理器110(TM)，是管理特定资源的资源管理器120。显然，一个事务管理器110(TM)可以协调多个资源管理器120(RM)。每个资源管理器120(RM)运行在独立的云虚拟主机节点上，也即运行在该资源当前的控制服务节点上。
于本实施例中，资源管理器120(RM，Resource Manager)也是云虚拟主机节点的一个内置核心组件。对该云虚拟主机节点管控的某个资源进行事务操作访问时，该云虚拟主机节点启动一个针对该资源的RM实例。跟TM一样，RM不是代理资源访问应用服务的一部分，而是代表运行时结构体及其持久存储日志。
具体地，于本实施例中，所述资源管理器120对所述关键业务的资源进行的管理包括：
事务键的执行数据操作时，即时创建对应资源的资源对象实体，该资源对象实体通过事务键获取；管理资源针对该事务键过程中，数据执行、事务准备、事务提交，三个运行时阶段的实时状态管理；资源处理事务的超时监控、资源异常状态管理；输出、恢复资源管理日志；资源恢复。
于本实施例中，一个事务键(key)可能访问同一个云虚拟主机节点(VM)上的RM服务地址一次或多次，这样同一个RM服务可能为该事务键(key)生成一个或多个RM实例，每个RM实例管理对应的一个资源。
于本实施例中，一个事务管理器110协调运行在多个云虚拟主机节点中的资源管理器120，形成运行时结构体，通过运行时结构体完成一次即时性的全局事务服务。所述全局事务服务运行时，即时存储事务管理器110的事务管理日志和资源管理器120的资源管理日志；完成后，所述运行时结构体被摧毁。
也就是说，一个事务管理器110(TM)通过协调运行在多个独立云虚拟主机节点上的资源管理器120(RM)，共同完成一次即时性的全局事务服务。事务完成后，运行时结构体被摧毁，只保存持久存储的TM和RM事务日志。
于本实施例中，每个云虚拟主机节点单独管理和存储本节点的持久事务日志，所有日志按照TM和RM服务分开存储和管理。为提高处理性能，每个节点可以同时开启多个日志文件并行存储输出日志信息，但是确保每个特定Key的日志最终都映射到同一个物理TM和RM日志文件。每个事务日志文件存储有限量的事务信息，并采取定时清除机制。
于本实施例中，每个云虚拟主机节点都可以提供对等的、独立的、松耦合的事务管理器110(TM)和资源管理器120(RM)服务，实现对所有接入云端资源的全局事务管理。
所以于本实施例中整个事务管理框架中，事务管理器110(TM)和资源管理器120(RM)协同和控制，是以云平台资源虚拟化管理和访问通道的总体架构为核心适配的。而不是受传统的三层结构中，资源注册接入、资源访问通道是以事务管控为核心，都由中间件服务器集中控制。这确保了云平台的总体架构，相对传统的三层架构模型，具有更强的动态适应和可伸缩特性，而本实施例中整个事务管理框架不仅增强了云平台支撑联机事务能力，也不影响其原有架构特性。
云平台要管理和访问海量数据资源，给云应用提供便捷的、轻量级的访问接口，屏蔽海量分布异构物理资源访问的繁琐细节，前提就是必须实现资源的虚拟化管理。本实施例的事务管理框架通过动态定位和动态映射，实现对物理资源的透明访问和控制。
于本实施例中，所述虚拟表130运行于云平台的某一云虚拟主机节点中，对大规模物理异构数据库资源进行管理。具体地，所述虚拟表130动态映射所述关键业务对应的一个或多个物理库表，实现所述关键业务访问一个或多个物理资源。
详细而言，云平台通过虚拟化机制实现对物理异构数据库资源的管理，虚拟表130是云平台的一个抽象资源实体，通过动态映射，映射到对应的一个或多个物理库表。所有虚拟表130在云端又按照社区进行局部的集中管理和控制。云端的数据操作，都是针对虚拟表130的接口。
基于虚拟表130的统一接口编写的关键业务的应用逻辑运行在云平台的某个云虚拟主机节点上，该云虚拟主机节点启动一事务管理器110(TM)服务实例为该业务服务，而通过云平台的动态映射机制，该业务最终要绑定访问的物理资源可能遍布在云平台的其他节点，该事务管理器110(TM)实时协调那些节点上的资源管理器120(RM)服务实例。
于本实施例中，所述云平台对所述大规模物理异构数据库资源进行分区管理，预设类别数据库资源由预设云虚拟主机节点控制和管理。
具体地，大规模异构数据库资源在接入云平台时遵循分区控制的管理机制，即特定数据库资源由特定服务节点集(应用上称为服务社区)控制和管理。这解决了(从资源端需求的)局部自主集中控制，与(从应用端需求的)全局协同一体服务的协作需要。针对这类资源的访问，必须由相应的服务节点(集合)完成。服务节点针对特定资源，实施对应的安全控制策略。
于本实施例中，访问大规模物理异构数据库资源的虚拟表130的接口对所述云平台的所有云虚拟主机节点通用。
具体地，于本实施例中，服务节点(各云虚拟主机节点)和数据库资源，是基于相互独立策略的可伸缩扩展机制，以及动态分配调度机制，实现对资源的局部管控，也就是说服务节点和资源之间不是硬耦合的绑定机制，原则上资源接口对所有服务节点是通用的。
本实施例的大规模资源访问的事务管理框架100是基于X/OPEN组织的XA事务标准，适合大规模资源管理的云平台计算环境的分布式全局事务管理框架。关键事务业务所访问的物理资源，需要支持XA事务标准。
以XA事务为例，具体全局事务框架的工作流程如下：
1)应用程序调用startTransaction()接口访问事务管理器110(TM)服务，依据本线程/进程号，创建并开启全局事务键(key)的事务管理器110(TM)实例；
2)应用程序访问一个虚拟表130资源的服务地址时，将该服务地址加入到全局事务Key的事务管理器110(TM)实例的服务地址列表中；
3)基于云平台的访问通道，会基于事务键(key)访问该虚拟表130服务地址，也即访问对应的资源管理器120(RM)服务。
4)资源管理器120(RM)服务负责管理本服务地址内访问的所有资源，其构建该事务键(key)的资源管理器120(RM)一个或多个实例，由其负责管理该事务键(key)对应访问的一个或多个资源。
5)重复2)至4)步，完成应用程序调用访问多个虚拟资源过程。如果有任何资源访问不成功，直接启动事务第二阶段(即第9步)，回滚已执行操作。
6)资源访问都成功完成后，应用程序访问endTransaction()接口，表示完成数据操作，启动XA事务第一阶段，准备(prepare)阶段。
7)prepare()阶段，依据本事务键(key)的事务管理器110(TM)实例中的服务地址，向该地址所代表的资源管理器120(RM)服务节点，依次发送准备(prepare)操作。
8)资源管理器120(RM)服务接受到准备(prepare)请求时，依据本事务键(key)的资源管理器120(RM)一个或多个实例中的资源，通过资源访问接口轮询执行资源的准备(prepare)操作。如果都成功，给事务管理器110(TM)返回成功标志，如果某个资源失败，直接给事务管理器110(TM)返回失败标志。
9)事务管理器110(TM)汇总所有服务地址的准备(prepare)操作结果，包括事务是否超时，异常等信息，决定是提交确认(Commit)还是回滚(Rollback)。启动事务第二阶段。
10)第二阶段与第一阶段类似，依次向事务管理器110(TM)实例中的服务地址发送提交请求。
11)资源管理器120(RM)接到提交请求后，依据本事务键(key)的资源管理器120(RM)一个或多个实例中的资源，通过资源访问接口，轮询对每个资源做提交请求。如果某个资源提交失败，只能等待人工/系统自动恢复了，然后继续提交下一个资源。
12)事务若最终成功完成，相关的运行时结构体摧毁。若未成功，会保留相关运行时结构，以备事务恢复使用。
13)每执行一步都记录事务日志，包括开始执行标志，以及执行结果。
本实施例还包括：XA事务恢复，XA事务恢复包括：
1)通过全局云虚拟主机节点事务监控，可以实时查看有未成功完成的事务服务节点，针对未完成的事务，需要尽快系统自动，或由人工参与，启动节点上关键业务的事务恢复，避免系统将日志清除。
2)事务恢复时，由于云虚拟主机节点可能已经宕机重启，可能需要预先加载对应的事务日志到内存，生成对应运行时的事务管理器110(TM)实例和资源管理器120(RM)实例对象；
3)恢复时首先需要确定事务执行第二阶段是提交还是回滚操作，如果事务的数据操作阶段或者第一阶段都未完成，直接回滚事务。
4)恢复时与第二阶段提交类似，依次向事务管理器110(TM)实例中的那些未完成第二阶段操作的服务地址，发送提交/回滚请求。
5)资源管理器120(RM)接到提交请求后，依据本事务键(key)的资源管理器120(RM)一个或多个实例中的资源，通过资源访问接口，轮询对那些未完成第二阶段提交的每个资源做提交/回滚请求。
6)日志文件会追加记录事务恢复的日志信息。
由上可见，所以本实施例的大规模资源访问的事务管理框架100是在现有动态可扩展的云架构基础上形成的一种支持分布式大规模异构数据库资源的事务框架，以云平台资源虚拟化管理和访问通道的总体架构为核心适配，它们以运行在独立的、松耦合的多节点上的服务方式动态协作和控制。相对传统的三层架构模型，具有更强的动态适应和可伸缩特性，本实施例的大规模资源访问的事务管理框架100不仅增强了云平台关键业务的联机事务能力，也不影响其原有架构特性。
本实施例的大规模资源访问的事务管理框架100利用大规模数据库资源的虚拟网格化管理机制，可扩展的对等节点的服务架构，实现(关系型)数据库资源的在线接入、动态访问、动态定位、动态映射、标签化事务控制、事务协调器和资源管理器120松耦合协同，实现对最终物理数据源的穿透性、强一致的在线联机事务处理，支持大规模、分布式异构数据库面向全局的、即时性的OLTP业务。为企业级跨多数据库的业务事务处理、供应链线上协同金融服务、多分区数据管理事务一致性等需求，提供技术和服务支持。
本实施例的大规模资源访问的事务管理框架100基于现有云架构、数据处理中间件等拓展，能较好的与现有分布式网络系统对接，业务编写和用户体验能实现平滑转移，因此，在带来新型技术和适用功能的同时，建设、运营、推广成本较低。
本实施例的大规模资源访问的事务管理框架100为大数据平台提供了一种支持传统关系型数据库OLTP业务的框架和方法，在不降低大数据平台本身服务指标优势情况下，为满足传统关系型数据库的关键业务事务控制需求，提供了可替代之的技术方案。
本实施例还提供一种大规模资源访问的事务管理框架100设计方法，应用于包含多个云虚拟主机节点的云平台，所述大规模资源访问的事务管理框架100的设计方法包括：
1)于云虚拟主机节点中配置事务管理器，在接收到事务服务的云端访问请求时启动所述事务管理器，并通过所述事务管理器对关键业务的事务全过程管理和控制；
2)于云平台的某一云虚拟主机节点中运行虚拟表，通过所述虚拟表对大规模物理异构数据库资源进行管理；
3)于云虚拟主机节点中配置资源管理器，所述资源管理器基于云平台的访问通道和所述虚拟表的服务地址，对所述关键业务的资源进行管理；
4)一个事务管理器协调运行在多个云虚拟主机节点中的资源管理器，形成运行时结构体，通过运行时结构体完成一次即时性的全局事务服务。
于本实施例中，所述全局事务服务运行时，即时存储事务管理器的事务管理日志和资源管理器的资源管理日志；完成后，所述运行时结构体被摧毁。
本实施例中，所述大规模资源访问的事务管理框架设计方法的具体实现的技术特征与前述大规模资源访问的事务管理框架100设计系统基本相同，两者间可以通用的技术内容不作重复赘述。
本实施例还提供一种云平台，应用如上所述的大规模资源访问的事务管理框架100。上述已经对大规模资源访问的事务管理框架100进行了详细说明，在此不再赘述。
综上所述，本发明在现有动态可扩展的云架构基础上，提出一种支持分布式大规模异构数据库资源的事务框架和算法，在不降低大数据平台本身服务指标优势情况下，可以满足传统关系型数据库的关键业务事务控制需求；本发明中，TM(事务管理器)和RM(资源管理器)以云平台资源虚拟化管理和访问通道的总体架构为核心适配，它们以运行在独立的、松耦合的多节点上的服务方式动态协作和控制，相对传统的三层架构模型，具有更强的动态适应和可伸缩特性，不仅增强了云平台关键业务的联机事务能力，也不影响其原有架构特性；本发明为企业级跨多数据库的业务事务处理、供应链线上协同金融服务、多分区数据管理事务一致性等需求，提供技术和服务支持；本发明能基于现有云架构、数据处理中间件等拓展，能较好的与现有分布式网络系统对接，业务编写和用户体验能实现平滑转移，因此，在带来新型技术和适用功能的同时，建设、运营、推广成本较低。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种大规模资源访问的事务管理框架，应用于包含多个云虚拟主机节点的云平台，其特征在于：所述大规模资源访问的事务管理框架包括：
事务管理器，配置于云虚拟主机节点中，在接收到处理标签为事务服务的云端访问请求时启动，对关键业务的事务全过程管理和控制；所述事务管理器并不是一个代理应用服务，不代理云端进程/线程完成对关键资源的事务访问通路，而是作为一个依附并服务于该通路的运行时结构体及其持久存储日志，实现事务管控；
虚拟表，运行于云平台的某一云虚拟主机节点中，对大规模物理异构数据库资源进行管理；访问大规模物理异构数据库资源的虚拟表接口对所述云平台的所有云虚拟主机节点通用；
资源管理器，配置于云虚拟主机节点中，基于云平台的访问通道和所述虚拟表的服务地址，对所述关键业务的资源进行管理；所述资源管理器不是代理资源访问应用服务的一部分，而是代表运行时结构体及其持久存储日志；
每一个云虚拟主机节点均配置有一个所述事务管理器和一个资源管理器；一个事务管理器协调运行在多个云虚拟主机节点中的资源管理器，形成运行时结构体，通过运行时结构体完成一次即时性的全局事务服务；
所述事务管理器实现一次关键业务的事务全过程管理和控制，每次事务需要一个或多个独立的资源管理器参与协同，每次事务所述事务管理器运行在独立的云虚拟主机节点上。
2.根据权利要求1所述的大规模资源访问的事务管理框架，其特征在于：所述全局事务服务运行时，即时存储事务管理器的事务管理日志和资源管理器的资源管理日志；完成后，所述运行时结构体被摧毁。
3.根据权利要求1所述的大规模资源访问的事务管理框架，其特征在于：所述虚拟表动态映射所述关键业务对应的一个或多个物理库表，实现所述关键业务访问一个或多个物理资源。
4.根据权利要求1所述的大规模资源访问的事务管理框架，其特征在于：所述云平台对所述大规模物理异构数据库资源进行分区管理，预设类别数据库资源由预设云虚拟主机节点控制和管理。
5.根据权利要求1所述的大规模资源访问的事务管理框架，其特征在于：所述事务管理器对关键业务的事务全过程管理和控制包括：
创建当前事务运行的事务对象实体，该事务对象实体基于当前业务运行的线程号/进程号/指定的事务键获取；
管理访问的虚拟资源及地址，通过该地址，访问到对应的资源管理器构建的资源对象实体；
关键业务执行过程中，数据执行、事务准备、事务提交，三个运行时阶段的实时状态管理；
事务超时监控、事务异常状态管理；
输出、恢复事务管理日志；
事务恢复。
6.根据权利要求1或5所述的大规模资源访问的事务管理框架，其特征在于：所述资源管理器对所述关键业务的资源进行的管理包括：
事务键的执行数据操作时，即时创建对应资源的资源对象实体，该资源对象实体通过事务键获取；
管理资源针对该事务键过程中，数据执行、事务准备、事务提交，三个运行时阶段的实时状态管理；
资源处理事务的超时监控、资源异常状态管理；
输出、恢复资源管理日志；
资源恢复。
7.一种大规模资源访问的事务管理框架的设计方法，应用于包含多个云虚拟主机节点的云平台，其特征在于：所述大规模资源访问的事务管理框架的设计方法包括：
于云虚拟主机节点中配置事务管理器，在接收到处理标签为事务服务的云端访问请求时启动所述事务管理器，并通过所述事务管理器对关键业务的事务全过程管理和控制；所述事务管理器并不是一个代理应用服务，不代理云端进程/线程完成对关键资源的事务访问通路，而是作为一个依附并服务于该通路的运行时结构体及其持久存储日志，实现事务管控；
于云平台的某一云虚拟主机节点中运行虚拟表，通过所述虚拟表对大规模物理异构数据库资源进行管理；访问大规模物理异构数据库资源的虚拟表接口对所述云平台的所有云虚拟主机节点通用；
于云虚拟主机节点中配置资源管理器，所述资源管理器基于云平台的访问通道和所述虚拟表的服务地址，对所述关键业务的资源进行管理；所述资源管理器不是代理资源访问应用服务的一部分，而是代表运行时结构体及其持久存储日志；
每一个云虚拟主机节点均配置有一个所述事务管理器和一个资源管理器；一个事务管理器协调运行在多个云虚拟主机节点中的资源管理器，形成运行时结构体，通过运行时结构体完成一次即时性的全局事务服务；
所述事务管理器实现一次关键业务的事务全过程管理和控制，每次事务需要一个或多个独立的资源管理器参与协同，每次事务所述事务管理器运行在独立的云虚拟主机节点上。
8.根据权利要求7所述的大规模资源访问的事务管理框架的设计方法，其特征在于：所述全局事务服务运行时，即时存储事务管理器的事务管理日志和资源管理器的资源管理日志；完成后，所述运行时结构体被摧毁。
9.一种云平台，其特征在于，应用如权利要求1至权利要求6任一权利要求所述的大规模资源访问的事务管理框架。
CN202010979424.2A 2020-09-17 2020-09-17 一种大规模资源访问的事务管理框架、设计方法及云平台 Active CN112104504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010979424.2A CN112104504B (zh) 2020-09-17 2020-09-17 一种大规模资源访问的事务管理框架、设计方法及云平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010979424.2A CN112104504B (zh) 2020-09-17 2020-09-17 一种大规模资源访问的事务管理框架、设计方法及云平台

Publications (2)

Publication Number Publication Date
CN112104504A CN112104504A (zh) 2020-12-18
CN112104504B true CN112104504B (zh) 2023-06-02

Family

ID=73759502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010979424.2A Active CN112104504B (zh) 2020-09-17 2020-09-17 一种大规模资源访问的事务管理框架、设计方法及云平台

Country Status (1)

Country Link
CN (1) CN112104504B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127102A (zh) * 2021-05-18 2021-07-16 中国农业银行股份有限公司 业务数据的处理方法、装置、设备、存储介质及程序
CN113312165B (zh) * 2021-07-28 2021-11-16 浙江大华技术股份有限公司 一种任务处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103518A (zh) * 2011-02-23 2011-06-22 运软网络科技(上海)有限公司 一种在虚拟化环境中管理资源的系统及其实现方法
CN103605698A (zh) * 2013-11-06 2014-02-26 广东电子工业研究院有限公司 一种用于分布异构数据资源整合的云数据库系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057272B2 (en) * 2014-09-26 2021-07-06 Oracle International Corporation System and method for transactions in a multitenant application server environment
CN104731943B (zh) * 2015-03-31 2019-09-13 华为技术有限公司 一种服务器和数据处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103518A (zh) * 2011-02-23 2011-06-22 运软网络科技(上海)有限公司 一种在虚拟化环境中管理资源的系统及其实现方法
CN103605698A (zh) * 2013-11-06 2014-02-26 广东电子工业研究院有限公司 一种用于分布异构数据资源整合的云数据库系统

Also Published As

Publication number Publication date
CN112104504A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN102103518B (zh) 一种在虚拟化环境中管理资源的系统及其实现方法
US5920863A (en) System and method for supporting transactions for a thin client lacking a persistent store in a distributed object-oriented environment
EP2932370B1 (en) System and method for performing a transaction in a massively parallel processing database
US6466965B1 (en) Centralized affinity maintenance in a workload managed client/server data processing system
US8612406B1 (en) Sharing business data across networked applications
CN100594498C (zh) 海量数据实时处理架构及用于该架构的实时随需处理平台
CN107787490A (zh) 分布式数据库网格中的直接连接功能
CN103473318A (zh) 一种面向内存数据网格的分布式事务保障方法
CN105512266A (zh) 一种实现分布式数据库操作一致性的方法及装置
CN103827832B (zh) 用于在事务中间件机器环境中持久化事务记录的系统与方法
US20210004712A1 (en) Machine Learning Performance and Workload Management
CN112104504B (zh) 一种大规模资源访问的事务管理框架、设计方法及云平台
CN112162846B (zh) 事务处理方法、设备及计算机可读存储介质
WO2023231665A1 (zh) 分布式事务处理方法、系统、设备及可读存储介质
Waqas et al. Transaction management techniques and practices in current cloud computing environments: A survey
US20150178122A1 (en) Method and system for providing a high-availability application
US7752225B2 (en) Replication and mapping mechanism for recreating memory durations
Hellings et al. Byshard: Sharding in a byzantine environment
CN111414356A (zh) 数据存储方法、装置、非关系数据库系统及存储介质
CN109408537A (zh) 基于Spark SQL的数据处理方法及装置、存储介质及计算设备
Carstoiu et al. High performance eventually consistent distributed database Zatara
CN114816682A (zh) 分布式事务处理方法、系统及装置
US20060010026A1 (en) Transaction polymorphism
CN112181377B (zh) 服务调用的事务管理器协同框架、设计方法及云平台
Carstoiu et al. Zatara, the Plug-in-able Eventually Consistent Distributed Database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant