CN110019065B - 日志数据的处理方法、装置及电子设备 - Google Patents

日志数据的处理方法、装置及电子设备 Download PDF

Info

Publication number
CN110019065B
CN110019065B CN201710792766.1A CN201710792766A CN110019065B CN 110019065 B CN110019065 B CN 110019065B CN 201710792766 A CN201710792766 A CN 201710792766A CN 110019065 B CN110019065 B CN 110019065B
Authority
CN
China
Prior art keywords
node
log data
backup
master
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710792766.1A
Other languages
English (en)
Other versions
CN110019065A (zh
Inventor
姜宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710792766.1A priority Critical patent/CN110019065B/zh
Publication of CN110019065A publication Critical patent/CN110019065A/zh
Application granted granted Critical
Publication of CN110019065B publication Critical patent/CN110019065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例提供一种日志数据的处理方法、装置及电子设备,其中,方法包括:各节点监测本节点与其主节点和/或备份节点之间的网络连接状态;如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;和/或,如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。本发明实施例的方案能够在整体上对服务集群的性能不产生较大影响的基础上,降低日志数据不可恢复的可能性,提高系统的可靠性。

Description

日志数据的处理方法、装置及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种日志数据的处理方法、装置及电子设备。
背景技术
分布式事务系统通常包含客户端、资源管理器、事务协调器几个角色。事务协调器负责协调一个分布式事务从开始到完成的所有相关处理流程,是系统核心角色。事务协调器需要做的一件很重要工作,是持久化全局事务和各事务分支的各个状态,也就是持久化事务日志,保证异常情况下数据不丢,这样才能确保数据的一致性。
现有技术中针对持久化事务日志常采用同步双写方案,即如图1所示,在由三个事务协调器的节点(图1中对应为节点A、节点B和节点C)组成的服务集群中,沿同一绕行方向依次互为主、备节点,并且在备节点的内存中同步备份有其主节点上的事务日志。例如,节点B作为节点A的备份节点,在本地除了存储节点B自身的日志数据外,还备份有节点A的日志数据;节点C作为节点B的备份节点,在本地除了存储节点C自身的日志数据外,还备份有节点B的日志数据;节点A作为节点C的备份节点,在本地除了存储节点A自身的日志数据外,还备份有节点C的日志数据。客户端可以接入到任一节点进行事务操作,并在该节点上产生日志数据,同时在节点的备份节点上备份该日志数据。
但是,一旦主节点损坏,在系统恢复期间,其备份节点也损坏,那么该主节点上的日志数据就会丢失,要想保证数据不丢失,就需要增加备份节点的数量,来降低数据不可恢复的可能性,但备份节点数量过多,整体上对服务集群的性能影响会比较大。
发明内容
本发明提供了一种日志数据的处理方法、装置及电子设备,能够在整体上对服务集群的性能不产生较大影响的基础上,降低日志数据不可恢复的可能性,提高系统的可靠性。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供了一种日志数据的处理方法,所述处理方法涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理方法包括:
各节点监测本节点与其主节点和/或备份节点之间的网络连接状态;
如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;
和/或,
如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
第二方面,提供了另一种日志数据的处理方法,所述处理方法涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理方法包括:
当前节点接收其主节点即第一主节点发送的日志数据,所述日志数据为存储在所述第一主节点上的所述第一主节点的主节点即第二主节点的日志数据,所述日志数据为所述第一主节点与所述第二主节点之间的网络连接断开后由所述第一主节点发出;
和/或,
所述当前节点接收其备份节点即第一备份节点发送的日志数据,所述日志数据为存储在所述第一备份节点上的所述第一备份节点的日志数据,所述日志数据为所述第一备份节点与所述第一备份节点对应的备份节点即第二备份节点之间的网络连接断开后发出;
所述当前节点将所述日志数据在本地持久化。
第三方面,提供了一种日志数据的处理装置,所述处理装置涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理装置位于所述节点中,包括:
状态监测模块,用于监测本节点与其主节点和/或备份节点之间的网络连接状态;
第一数据备份模块,用于如果所述状态监测模块监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;
和/或,
第二数据备份模块,用于如果所述状态监测模块监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
第四方面,提供了另一种日志数据的处理装置,所述处理装置涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理装置位于所述节点中,包括:
第一数据处理模块,用于当前节点接收其主节点即第一主节点发送的日志数据,所述日志数据为存储在所述第一主节点上的所述第一主节点的主节点即第二主节点的日志数据,所述日志数据为所述第一主节点与所述第二主节点之间的网络连接断开后由所述第一主节点发出;
和/或,
第二数据处理模块,用于所述当前节点接收其备份节点即第一备份节点发送的日志数据,所述日志数据为存储在所述第一备份节点上的所述第一备份节点的日志数据,所述日志数据为所述第一备份节点与所述第一备份节点对应的备份节点即第二备份节点之间的网络连接断开后发出;
数据存储模块,用于所述当前节点将所述日志数据在本地持久化。
第五方面,提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,所述程序涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;以用于:
各节点监测本节点与其主节点和/或备份节点之间的网络连接状态;
如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;
和/或,
如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
第六方面,提供了另一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,所述程序涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;以用于:
当前节点接收其主节点即第一主节点发送的日志数据,所述日志数据为存储在所述第一主节点上的所述第一主节点的主节点即第二主节点的日志数据,所述日志数据为所述第一主节点与所述第二主节点之间的网络连接断开后由所述第一主节点发出;
和/或,
所述当前节点接收其备份节点即第一备份节点发送的日志数据,所述日志数据为存储在所述第一备份节点上的所述第一备份节点的日志数据,所述日志数据为所述第一备份节点与所述第一备份节点对应的备份节点即第二备份节点之间的网络连接断开后发出;
所述当前节点将所述日志数据在本地持久化。
本发明提供的日志数据的处理方法、装置及电子设备,在由三个事务协调器的节点构成的环形拓扑结构的服务集群中,各节点监测本节点与其主节点和/或备份节点之间的网络连接状态;如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的主节点的日志数据备份存储到本节点的备份节点上;和/或,如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上,从而在服务集群中出现某一节点上的事务协调器宕机时,可将该宕机节点上的日志数据再次备份到其他节点上,和/或将该宕机节点的主节点上的日志数据再次备份到其他节点上,从而降低相应日志数据的不可恢复性,提高整个服务集群的系统的可用性。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为现有技术中的日志数据的处理的系统结构图;
图2为本发明实施例的日志数据的处理的逻辑示意图;
图3为本发明实施例的日志数据的处理方法流程图一;
图4为本发明实施例的日志数据的处理方法流程图二;
图5为本发明实施例的日志数据的处理方法流程图三;
图6为本发明实施例的日志数据的处理方法流程图四;
图7为本发明实施例的日志数据的处理方法流程图五;
图8为本发明实施例的日志数据的处理方法流程图六;
图9为本发明实施例的日志数据的处理装置结构图一;
图10为本发明实施例的日志数据的处理装置结构图二;
图11为本发明实施例的电子设备的结构示意图一;
图12为本发明实施例的电子设备的结构示意图二。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本方案改善了现有技术中,通过静态的设置备份节点对其主节点的日志数据进行备份,从而出现无法恢复日志数据的可能性,其核心思想为,在沿用现有日志数据处理系统的基础上,对如图1所示的处理系统进行功能上的改进,即赋予每个节点动态设置备份节点,和向该备份节点备份日志数据的权限。各节点增加的功能流程可以由各节点执行,或通过在各节点中设置额外的功能模块来完成执行。
相应的,改善后的日志数据处理系统中,各节点除了具备现有技术中的静态备份其主节点的日志数据外,还具备执行如图2所示的日志数据处理逻辑的能力。
如图2所示,当一个服务集群(可有多个节点构成,不限于图2所示的三个)中,一个节点出现宕机,例如节点A出现宕机时,该节点A分别与节点B和节点C之间的网络连接便会断开。这意味着,作为节点A的备份节点B将不能在同步备份节点A的日志数据;作为节点A的主节点C将不能把本节点的日志数据再同步备份到节点A上;该服务集群中关于节点A和节点C的日志数据仅分别有一份日志数据可用,其中,节点A的日志数据位于节点B中存储,节点C的日志数据仅在节点C上存储。但是,一旦节点B或节点C出现宕机,那么势必会导致关于节点A或节点C的日志数据将不可恢复。为了弥补这一缺陷,本方案在现有逻辑的基础上增加了动态设置备份节点和备份数据的处理流程,即:
当节点A出现宕机后,作为节点A的备份节点B会将本节点上存储的关于节点A的日志数据主动再备份一份,并存储到其备份节点C上,从而实现节点A的日志数据的双重备份;作为节点A的主节点C会将本节点上存储的本节点的日志数据主动再备份一份,并存储到其主节点B上,从而实现节点C的日志数据的双重备份。
在实际应用场景中,可以根据各节点上日志数据的重要程度,有选择的赋予各节点动态设置备份节点和备份数据的处理权限,从而提高整个服务集群系统的性能。
下面通过多个实施例来进一步说明本申请的技术方案。
实施例一
基于上述动态设置备份节点和备份数据的方案思想,如图3所示,其为本发明实施例示出的日志数据的处理方法流程图一,该方法的执行主可以为图2中所示的各节点。该日志数据的处理方法涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与第二绕行方向相反,备份节点用于备份其主节点的日志数据。其中,节点的日志数据是指在该节点上执行某些操作时所产生的日志数据。如图3所示,该日志数据的处理方法包括如下步骤:
S310,各节点监测本节点与其主节点和/或备份节点之间的网络连接状态。
在一个服务集群中,通常当一个节点宕机后,该节点会与其主节点和备份节点之间的网络连接断开,从而导致该宕机节点的备份节点,不能再继续接收宕机节点发送的日志数据备份到本节点上;同时也会导致该宕机节点的主节点,不能再继续向宕机节点发送本节点的日志数据到宕机节点上进行备份。因此,可通过监测各节点与其主节点和备份节点之间的网络连接状态来判断是否需要动态设置备份节点以及执行相应的数据备份流程。
具体地,各节点可通过监听本节点与其主节点和/或备份节点之间的网络连接状态对应的网络事件,来获取相应的网络连接状态。
S320,如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上。
如果当前节点监测到本节点与其主节点之间的网络连接断开,则表明当前节点作为备份节点,不能再接收到其主节点发过来的主节点的日志数据,并且当前服务集群中可用的关于该主节点的日志数据,只在当前节点上有一份备份。此时为了保证当前节点在可能发生宕机的情况下,其主节点的日志数据不丢失,当前节点将本节点上已存储的其主节点的日志数据备份存储到本节点的备份节点上。从而实现了主节点的日志数据的双重备份。
S330,如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
如果当前节点监测到本节点与其副本节点之间的网络连接断开,则表明当前节点作为主节点,不能再将本节点上产生的日志数据发送至其备份节点进行备份,并且当前服务集群中可用的关于本主节点的日志数据只在本节点上有一份备份。此时为了保证当前节点在可能发生宕机的情况下,其上存储的本节点的日志数据不丢失,当前节点将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。从而实现了本节点的日志数据的双重备份。
需要说明的是,步骤S320和S330之间不存在先后顺序,这两个步骤在一套执行流程中可以独立执行,即只执行其中一个步骤;也可以同步执行,即两个步骤都执行。具体执行策略,可以根据各节点的日志数据的重要程度进行选择性执行。
进一步地,上述节点的日志数据可为相应节点上进行且尚未完成的事务所产生的事务日志。所谓事务日志即节点在执行分布式事务过程中所产生的日志数据。
在此基础上,作为步骤S320的一种具体实现方式,其执行步骤可包括如下内容:
1,查询本节点上已存储的主节点的事务日志中,是否记录有未完成的事务;
当本节点作为备份节点时,其上备份存储有其主节点的事务日志,该事务日志对应包括主节点已完成的事务和未完成的事务。当一个事务已完成,即被提交后,其在本地的操作痕迹就被持久化,对于这部分事务日志是不需要再额外备份的;而当一个事务未完成,即未被提交时,其在本地的操作痕迹就还没有被持久化,一旦这部分事务对应的事务日志丢失,则会对整个未完成事务造成影响,甚至是永久性不可恢复,因此对于这部分事务日志是需要重点备份的。从服务集群的整体系统性能考虑,为了最大限度的不对整个系统造成较大影响,本实施例中,仅针对本节点上已存储的主节点的事务日志中,未完成的事务对应的事务日志进行备份处理。
具体地,当前节点会先查询本节点上已存储的主节点的事务日志中,是否记录有未完成的事务。
2,如果记录有未完成的事务,则将未完成的事务中包含的各事务分支对应的日志数据发送至本节点的备份节点,以指示备份节点备份存储该日志数据;
当一个未完成事务存在多个事务分支时,可能会存在两种状态,一种是一个事务的各事务分支已经执行完成(实现了两阶段提交协议(Two Phase Commitment Protocol,2PC)中第一阶段),但事务协调器并未下发事务分支提交指示;另一种是一个事务的各事务分支中存在某些事务分支尚未完成(未实现2PC中第一阶段)。
不管是上述哪种状态,当前节点都会将本节点上备份存储的其主节点的事务日志中,未完成事务的各事务分支所对应的日志数据发送至本节点的备份节点,以使得该备份节点对这些事务日志进行备份存储,保证这部分事务日志在整个服务集群中具有双重备份。
另外,当上述节点的日志数据为相应节点上进行且尚未完成的事务所产生的事务日志时,在此基础上,作为步骤S330的一种具体实现方式,其执行步骤可包括如下内容:
1,查询本节点上已存储的本节点的事务日志中,是否记录有未完成的事务;
当本节点作为主节点时,其上存储有本节点的事务日志,该事务日志对应包括本节点已完成的事务和未完成的事务。当一个事务已完成,即被提交后,其在本地的操作痕迹就被持久化,对于这部分事务日志是不需要再额外备份的;而当一个事务未完成,即未被提交时,其在本地的操作痕迹就还没有被持久化,一旦这部分事务对应的事务日志丢失,则会对整个未完成事务造成影响,甚至是永久性不可恢复,因此对于这部分事务日志是需要重点备份的。从服务集群的整体系统性能考虑,为了最大限度的不对整个系统造成较大影响,本实施例中,仅针对本节点的事务日志中,未完成的事务对应的事务日志进行备份处理。
具体地,当前节点会先查询本节点上已存储的本节点的事务日志中,是否记录有未完成的事务。
2,如果记录有未完成的事务,则将未完成的事务中包含的各事务分支对应的日志数据发送至本节点的主节点,以指示主节点备份存储该日志数据。
当一个未完成事务存在多个事务分支时,可能会存在两种状态,具体状态可参见前述内容。
不管是上述哪种状态,当前节点都会将本节点上已存储的本节点的事务日志中,未完成事务的各事务分支所对应的日志数据发送至本节点的主节点,以使得该主节点对这些事务日志进行备份存储,保证这部分事务日志在整个服务集群中具有双重备份。
如图4所示,其为本实施例提供的日志数据的处理方法流程图二,该方法可作为图3所示方法的具体示例。如图4所示,该方法示出了作为备份节点的当前节点,在其主节点与自身的网络连接断开后,如何将其主节点的日志数据进行备份的过程,包括:
S410,监听网络事件;这里的网络事件主要指作为备份节点的当前节点与其主节点之间的网络连接状态。
S420,如果主节点到本节点之间的网络连接断开,则创建“日志合并消息”。该日志合并消息用于后续承载待发送的日志数据。
S421,判断主节点的日志数据中是否记录有未处理的未完成的事务,如果有,则提取一条未完成事务;这里所指的“未处理”是指未将未完成的事务的所有事务分支对应的事务日志添加到“日志合并消息”中;
S422,将提取出的一条未完成事务作为一个全局事务添加到“日志合并消息”中;
S423,判断该全局事务是否有事务分支未处理,如果有,则提取出其中的一条事务分支的事务日志加入到“日志合并消息”中;这里对事务分支的处理指的是,将事务分支对应的事务日志添加到“日志合并消息”中。
每当判断出主节点的日志数据中记录有未处理的未完成的事务时,则按照步骤S421~S423的处理过程,将该未完成事务的分支数据逐一添加到“日志合并消息”中。如果判断出主节点的日志数据中记录的所有未完成的事务都已处理完毕,其对应的事务日志均被添加到了“日志合并消息”中,则可继续执行以下步骤。
S430,将最终生成的“日志合并消息”进行编码,生成“数据同步消息”。
S440,将生成的“数据同步消息”发送至当前节点的备份节点上,以使得备份节点对消息中携带的上述日志数据进行备份存储。
在每次执行一次上述的数据备份过程后,如果当前节点没有收到结束本操作流程的指示,则当前节点循环执行上述处理流程;如果当前节点接收到结束本操作流程的指示,则结束上述执行流程。
如图5所示,其为本实施例提供的日志数据的处理方法流程图三,该方法可作为图3所示方法的具体示例。如图5所示,该方法示出了作为主节点的当前节点,在其备份节点与自身的网络连接断开后,如何将本节点的日志数据进行备份的过程,包括:
S510,监听网络事件;这里的网络事件主要指作为主节点的当前节点与备份节点之间的网络连接状态。
S520,如果备份节点到本节点之间的网络连接断开,则创建“日志合并消息”。该日志合并消息用于后续承载待发送的日志数据。
S521,判断本节点的日志数据中是否记录有未处理的未完成的事务,如果有,则提取一条未完成事务;这里所指的“未处理”是指未将未完成的事务的所有事务分支对应的事务日志添加到“日志合并消息”中;
S522,将提取出的一条未完成事务作为一个全局事务添加到“日志合并消息”中;
S523,判断该全局事务是否有事务分支未处理,如果有,则提取出其中的一条事务分支的事务日志加入到“日志合并消息”中;这里对事务分支的处理指的是,将事务分支对应的事务日志添加到“日志合并消息”中。
每当判断出本节点的日志数据中记录有未处理的未完成的事务时,则按照步骤S521~S523的处理过程,将该未完成事务的分支数据逐一添加到“日志合并消息”中。如果判断出本节点的日志数据中记录的所有未完成的事务都已处理完毕,其对应的事务日志均被添加到了“日志合并消息”中,则可继续执行以下步骤。
S530,将最终生成的“日志合并消息”进行编码,生成“数据同步消息”。
S540,将生成的“数据同步消息”发送至当前节点的主节点上,以使得主节点对消息中携带的上述日志数据进行备份存储。
在每次执行一次上述的数据备份过程后,如果当前节点没有收到结束本操作流程的指示,则当前节点循环执行上述处理流程;如果当前节点接收到结束本操作流程的指示,则结束上述执行流程。
本发明实施例的日志数据的处理方法,在由三个事务协调器的节点构成的环形拓扑结构的服务集群中,各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与所述第二绕行方向相反,备份节点用于备份其主节点的日志数据;各节点在监测到本节点与其主节点和/或备份节点之间的网络连接断开后,将本节点上已存储的主节点的日志数据备份存储到本节点的备份节点上,和/或,将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上;从而保证服务集群中,每个日志数据都存在双重备份,降低日志数据不可恢复的可能性。
实施例二
基于上述动态设置备份节点和备份数据的方案思想,如图6所示,其为本发明实施例示出的日志数据的处理方法流程图四,该方法的执行主可以为图2中所示的各节点。该日志数据的处理方法涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与第二绕行方向相反,备份节点用于备份其主节点的日志数据。其中,节点的日志数据是指在该节点上执行某些操作时所产生的日志数据。如图6所示,该日志数据的处理方法包括如下步骤:
S610,当前节点接收其主节点即第一主节点发送的日志数据,该日志数据为存储在第一主节点上的第一主节点的主节点即第二主节点的日志数据,该日志数据为所述第一主节点与第二主节点之间的网络连接断开后由第一主节点发出;
例如,当当前节点作为副本节点时,其主节点即上述第一主节点可根据实施例一中示出的日志数据的处理方法,向当前节点发送日志数据。第一主节点在作为副本节点时,对其相应的主节点即第二主节点存在备份日志数据的义务,当第一主节点与第二主节点之间的网络连接断开后,第一主节点会将存储在本地的第二主节点的日志数据发送给它的副本节点即上述的当前节点,以实现对第二主节点的日志数据的双重备份。
S620,当前节点接收其备份节点即第一备份节点发送的日志数据,该日志数据为存储在第一备份节点上的第一备份节点的日志数据,该日志数据为第一备份节点与第一备份节点对应的备份节点即第二备份节点之间的网络连接断开后发出;
例如,当当前节点作为主节点时,其备份节点即第一备份节点可根据实施例一中示出的日志数据的处理方法,备份当前节点的日志数据。当前节点的备份节点即第一备份节点在作为主节点时,其相应的副本节点即第二备份节点存在对该第一备份节点的日志数据进行备份的义务,当第一备份节点与第二一备份节点之间的网络连接断开后,第一备份节点会将存储在本地的本节点的日志数据发送给第一备份节点的主节点即当前节点,以实现对第一备份节点的日志数据的双重备份。
需要说明的是,步骤S610和S620之间不存在先后顺序,这两个步骤在一套执行流程中可以独立执行,即只执行其中一个步骤;也可以同步执行,即两个步骤都执行。具体执行策略,需由发送日志数据的对方节点根据各节点的日志数据的重要程度进行选择性执行。
S630,当前节点将日志数据在本地持久化。所谓持久化,即将日志数据写入到本地的文件中。
进一步地,上述节点的日志数据可为相应节点上进行且尚未完成的事务所产生的事务日志。
进一步地,在步骤S610,当前节点接收其主节点发送的日志数据后,当前节点还可将当前节点上已存储的当前节点的日志数据备份存储到该主节点上;
和/或,
在步骤S620,当前节点接收其备份节点发送的日志数据后,当前节点还可将当前节点上已存储的当前节点的主节点的日志数据备份存储到该备份节点上。
这里需要说明的是,由于在三个事务协调器的节点构成的环形拓扑结构的服务集群中,按实施例一种所示的日志数据的处理方法,当一个节点出现宕机,则势必会导致另外至少一个节点执行数据备份的处理流程。
当当前节点作为备份节点接收到其主节点发送的其他节点的日志数据后,则即可判断当前节点的备份节点出现宕机,存储在该备份节点上的当前节点的日志数据将不可用。因此,当前节点可基于其主节点的这一动作(向当前节点发送非本节点的日志数据),将当前节点上已存储的当前节点的日志数据备份存储到该主节点上。
当当前节点作为主节点接收到其备份节点发送的其他节点的日志数据后,则即可判断当前节点的主节点出现宕机,存储在该主节点上的该节点的日志数据将不可用。因此,当前节点可基于其备份节点的这一动作(向当前节点发送本节点的日志数据),将当前节点上已存储的主节点的日志数据备份存储到该备份节点上。
如图7所示,其为本实施例提供的日志数据的处理方法流程图五,该方法可作为图6所示方法的具体示例。如图7所示,该方法示出了当构成服务集群的事务协调器的节点为三个时,作为备份节点的当前节点,在接收到其主节点发送的非主节点的日志数据后,如何进行日志数据备份的过程,包括:
S710,当前节点接收其主节点发送的“数据同步消息”;该“数据同步消息”中携带了该主节点(第一主节点)作为备份节点时,其主节点(第二主节点)的日志数据(未完成事务的事务日志)。
S720,当前节点对接收到的日志数据写入到本地文件中,完成日志数据的持久化。
S721,当前节点判断本节点的日志数据中是否记录有未处理的未完成的事务,如果有,则提取一条未完成事务;这里所指的“未处理”是指未将未完成的事务的所有事务分支对应的事务日志添加到“日志合并消息”中;
S722,将提取出的一条未完成事务作为一个全局事务添加到“日志合并消息”中;
S723,判断该全局事务是否有事务分支未处理,如果有,则提取出其中的一条事务分支的事务日志加入到“日志合并消息”中;这里对事务分支的处理指的是,将事务分支对应的事务日志添加到“日志合并消息”中。
每当判断出本节点的日志数据中记录有未处理的未完成的事务时,则按照步骤S721~S723的处理过程,将该未完成事务的分支数据逐一添加到“日志合并消息”中。如果判断出本节点的日志数据中记录的所有未完成的事务都已处理完毕,其对应的事务日志均被添加到了“日志合并消息”中,则可继续执行以下步骤。
S730,将最终生成的“日志合并消息”进行编码,生成“数据同步消息”。
S740,将生成的“数据同步消息”发送至当前节点的主节点上,以使得主节点对消息中携带的上述日志数据进行备份存储。
在每次执行一次上述的数据备份过程后,如果当前节点没有收到结束本操作流程的指示,则当前节点循环执行上述处理流程;如果当前节点接收到结束本操作流程的指示,则结束上述执行流程。
如图8所示,其为本实施例提供的日志数据的处理方法流程图六,该方法可作为图6所示方法的具体示例。如图8所示,该方法示出了当构成服务集群的事务协调器的节点为三个时,作为主节点的当前节点,在接收到其备份节点发送的备份节点的日志数据后,如何进行日志数据备份的过程,包括:
S810,当前节点接收其备份节点发送的“数据同步消息”;该“数据同步消息”中携带了该备份节点的日志数据。
S820,当前节点对接收到的日志数据写入到本地文件中,完成日志数据的持久化。
S821,当前节点判断本地存储的当前节点的主节点的日志数据中是否记录有未处理的未完成的事务,如果有,则提取一条未完成事务;这里所指的“未处理”是指未将未完成的事务的所有事务分支对应的事务日志添加到“日志合并消息”中;
S822,将提取出的一条未完成事务作为一个全局事务添加到“日志合并消息”中;
S823,判断该全局事务是否有事务分支未处理,如果有,则提取出其中的一条事务分支的事务日志加入到“日志合并消息”中;这里对事务分支的处理指的是,将事务分支对应的事务日志添加到“日志合并消息”中。
每当判断出主节点的日志数据中记录有未处理的未完成的事务时,则按照步骤S821~S823的处理过程,将该未完成事务的分支数据逐一添加到“日志合并消息”中。如果判断出主节点的日志数据中记录的所有未完成的事务都已处理完毕,其对应的事务日志均被添加到了“日志合并消息”中,则可继续执行以下步骤。
S830,将最终生成的“日志合并消息”进行编码,生成“数据同步消息”。
S840,将生成的“数据同步消息”发送至当前节点的备份节点上,以使得备份节点对消息中携带的上述日志数据进行备份存储。
在每次执行一次上述的数据备份过程后,如果当前节点没有收到结束本操作流程的指示,则当前节点循环执行上述处理流程;如果当前节点接收到结束本操作流程的指示,则结束上述执行流程。
本发明实施例的日志数据的处理方法,在由多个事务协调器的节点构成的环形拓扑结构的服务集群中,各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与所述第二绕行方向相反,备份节点用于备份其主节点的日志数据;当当前节点接收到其主节点和/或备份节点发送的日志数据后,将该日志数据在本地持久化。
进一步地,当构成服务集群的事务协调器的节点的数目为三个是,还可在接收到非正常的备份数据后,将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上,和/或将本节点上已存储的本节点的主节点的日志数据备份存储到本节点的备份节点上,从而保证服务集群中,每个日志数据都存在双重备份,降低日志数据不可恢复的可能性。
实施例三
如图9所示,为本发明实施例的日志数据的处理装置结构图一,该日志数据的处理装置可用于执行如图3、图4和图5所示的方法步骤,该处理装置涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与第二绕行方向相反,备份节点用于备份其主节点的日志数据;
该处理装置位于节点中,其包括:
状态监测模块910,用于监测本节点与其主节点和/或备份节点之间的网络连接状态;
第一数据备份模块920,用于如果所述状态监测模块监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;
和/或,
第二数据备份模块930,用于如果所述状态监测模块监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
进一步地,上述节点的日志数据为相应节点上进行且尚未完成的事务所产生的事务日志。
进一步地,上述第一数据备份模块920还可用于,
查询本节点上已存储的主节点的事务日志中,是否记录有未完成的事务;
如果记录有未完成的事务,则将未完成的事务中包含的各事务分支对应的日志数据发送至本节点的备份节点,以指示所述备份节点备份存储该日志数据。
进一步地,上述第二数据备份模块930还可用于,
查询本节点上已存储的本节点的事务日志中,是否记录有未完成的事务;
如果记录有未完成的事务,则将未完成的事务中包含的各事务分支对应的日志数据发送至本节点的主节点,以指示主节点备份存储该日志数据。
本发明实施例的日志数据的处理装置,在由多个事务协调器的节点构成的环形拓扑结构的服务集群中,各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与所述第二绕行方向相反,备份节点用于备份其主节点的日志数据;各节点在通过该装置监测到本节点与其主节点和/或备份节点之间的网络连接断开后,将本节点上已存储的主节点的日志数据备份存储到本节点的备份节点上,和/或,将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上;从而保证服务集群中,每个日志数据都存在双重备份,降低日志数据不可恢复的可能性。
实施例四
如图10所示,为本发明实施例的日志数据的处理装置结构图二,该日志数据的处理装置可用于执行如图6、图7和图8所示的方法步骤,该处理装置涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与第二绕行方向相反,备份节点用于备份其主节点的日志数据;
该处理装置位于节点中,包括:
第一数据处理模块101,用于当前节点接收其主节点即第一主节点发送的日志数据,该日志数据为存储在第一主节点上的第一主节点的主节点即第二主节点的日志数据,该日志数据为第一主节点与第二主节点之间的网络连接断开后由第一主节点发出;
和/或,
第二数据处理模块102,用于当前节点接收其备份节点即第一备份节点发送的日志数据,该日志数据为存储在第一备份节点上的第一备份节点的日志数据,该日志数据为第一备份节点与第一备份节点对应的备份节点即第二备份节点之间的网络连接断开后发出;
数据存储模块103,用于当前节点将日志数据在本地持久化。
进一步地,上述第一数据处理模块101还可用于,在当前节点接收其主节点发送的日志数据后,将当前节点上已存储的当前节点的日志数据备份存储到主节点上;
和/或,
第二数据处理模块102还可用于,在当前节点接收其备份节点发送的日志数据后,将当前节点上已存储的当前节点的主节点的日志数据备份存储到备份节点上。
本发明实施例的日志数据的处理装置,在由三个事务协调器的节点构成的环形拓扑结构的服务集群中,各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与所述第二绕行方向相反,备份节点用于备份其主节点的日志数据;利用该处理装置,当当前节点接收到其主节点和/或备份节点发送的日志数据后,可将该日志数据在本地持久化。
进一步地,各节点还可在接收到非正常的备份数据后,将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上,和/或将本节点上已存储的本节点的主节点的日志数据备份存储到本节点的备份节点上,从而保证服务集群中,每个日志数据都存在双重备份,降低日志数据不可恢复的可能性。
实施例五
前面描述了日志数据的处理装置的整体架构,该装置的功能可借助一种电子设备实现完成,如图11所示,其为本发明实施例的电子设备的结构示意图,具体包括:存储器111和处理器112。
存储器111,用于存储程序。
除上述程序之外,存储器111还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器111可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器112,耦合至存储器111,用于执行存储器111中的程序,该程序涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与第二绕行方向相反,备份节点用于备份其主节点的日志数据;以用于:
各节点监测本节点与其主节点和/或备份节点之间的网络连接状态;
如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的主节点的日志数据备份存储到本节点的备份节点上;
和/或,
如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
上述的具体处理操作已经在前面实施例中进行了详细说明,在此不再赘述。
进一步,如图11所示,电子设备还可以包括:通信组件113、电源组件114、音频组件115、显示器116等其它组件。图11中仅示意性给出部分组件,并不意味着电子设备只包括图11所示组件。
通信组件113被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件113经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件113还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
电源组件114,为电子设备的各种组件提供电力。电源组件114可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件115被配置为输出和/或输入音频信号。例如,音频组件115包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器111或经由通信组件113发送。在一些实施例中,音频组件115还包括一个扬声器,用于输出音频信号。
显示器116包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
实施例六
前面描述了日志数据的处理装置的整体架构,该装置的功能可借助一种电子设备实现完成,如图12所示,其为本发明实施例的电子设备的结构示意图,具体包括:存储器121和处理器122。
存储器121,用于存储程序。
除上述程序之外,存储器121还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器121可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器122,耦合至存储器121,用于执行存储器121中的程序,该程序涉及由多个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,第一绕行方向与第二绕行方向相反,备份节点用于备份其主节点的日志数据;以用于:
当前节点接收其主节点即第一主节点发送的日志数据,所述日志数据为存储在所述第一主节点上的所述第一主节点的主节点即第二主节点的日志数据,所述日志数据为所述第一主节点与所述第二主节点之间的网络连接断开后由所述第一主节点发出;
和/或,
当前节点接收其备份节点即第一备份节点发送的日志数据,该日志数据为存储在第一备份节点上的第一备份节点的日志数据,该日志数据为第一备份节点与第一备份节点对应的备份节点即第二备份节点之间的网络连接断开后发出;
当前节点将日志数据在本地持久化。
上述的具体处理操作已经在前面实施例中进行了详细说明,在此不再赘述。
进一步,如图12所示,电子设备还可以包括:通信组件123、电源组件124、音频组件125、显示器126等其它组件。图12中仅示意性给出部分组件,并不意味着电子设备只包括图12所示组件。
通信组件123被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件123经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件123还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
电源组件124,为电子设备的各种组件提供电力。电源组件124可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件125被配置为输出和/或输入音频信号。例如,音频组件125包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器121或经由通信组件123发送。在一些实施例中,音频组件125还包括一个扬声器,用于输出音频信号。
显示器126包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种日志数据的处理方法,其特征在于,所述处理方法涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理方法包括:
各节点监测本节点与其主节点和/或备份节点之间的网络连接状态;
如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;
和/或,
如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
2.根据权利要求1所述的处理方法,其特征在于,所述日志数据为相应节点上进行且尚未完成的事务所产生的事务日志。
3.根据权利要求2所述的处理方法,其特征在于,所述将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上包括:
查询本节点上已存储的所述主节点的事务日志中,是否记录有未完成的事务;
如果记录有未完成的事务,则将所述未完成的事务中包含的各事务分支对应的日志数据发送至本节点的备份节点,以指示所述备份节点备份存储该日志数据。
4.根据权利要求2所述的处理方法,其特征在于,所述将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上包括:
查询本节点上已存储的本节点的事务日志中,是否记录有未完成的事务;
如果记录有未完成的事务,则将所述未完成的事务中包含的各事务分支对应的日志数据发送至本节点的主节点,以指示所述主节点备份存储该日志数据。
5.一种日志数据的处理方法,其特征在于,所述处理方法涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理方法包括:
当前节点接收其主节点即第一主节点发送的日志数据,所述日志数据为存储在所述第一主节点上的所述第一主节点的主节点即第二主节点的日志数据,所述日志数据为所述第一主节点与所述第二主节点之间的网络连接断开后由所述第一主节点发出;
和/或,
所述当前节点接收其备份节点即第一备份节点发送的日志数据,所述日志数据为存储在所述第一备份节点上的所述第一备份节点的日志数据,所述日志数据为所述第一备份节点与所述第一备份节点对应的备份节点即第二备份节点之间的网络连接断开后发出;
所述当前节点将所述日志数据在本地持久化。
6.根据权利要求5所述的处理方法,其特征在于,所述处理方法还包括:
在所述当前节点接收其主节点发送的日志数据后,将所述当前节点上已存储的所述当前节点的日志数据备份存储到所述主节点上;
和/或,
在所述当前节点接收其备份节点发送的日志数据后,将所述当前节点上已存储的所述当前节点的主节点的日志数据备份存储到所述备份节点上。
7.一种日志数据的处理装置,其特征在于,所述处理装置涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理装置位于所述节点中,包括:
状态监测模块,用于监测本节点与其主节点和/或备份节点之间的网络连接状态;
第一数据备份模块,用于如果所述状态监测模块监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;
和/或,
第二数据备份模块,用于如果所述状态监测模块监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
8.一种日志数据的处理装置,其特征在于,所述处理装置涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理装置位于所述节点中,包括:
第一数据处理模块,用于当前节点接收其主节点即第一主节点发送的日志数据,所述日志数据为存储在所述第一主节点上的所述第一主节点的主节点即第二主节点的日志数据,所述日志数据为所述第一主节点与所述第二主节点之间的网络连接断开后由所述第一主节点发出;
和/或,
第二数据处理模块,用于所述当前节点接收其备份节点即第一备份节点发送的日志数据,所述日志数据为存储在所述第一备份节点上的所述第一备份节点的日志数据,所述日志数据为所述第一备份节点与所述第一备份节点对应的备份节点即第二备份节点之间的网络连接断开后发出;
数据存储模块,用于所述当前节点将所述日志数据在本地持久化。
9.一种电子设备,其特征在于,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,所述程序涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;以用于:
各节点监测本节点与其主节点和/或备份节点之间的网络连接状态;
如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;
和/或,
如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
10.一种电子设备,其特征在于,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,所述程序涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;以用于:
当前节点接收其主节点即第一主节点发送的日志数据,所述日志数据为存储在所述第一主节点上的所述第一主节点的主节点即第二主节点的日志数据,所述日志数据为所述第一主节点与所述第二主节点之间的网络连接断开后由所述第一主节点发出;
和/或,
所述当前节点接收其备份节点即第一备份节点发送的日志数据,所述日志数据为存储在所述第一备份节点上的所述第一备份节点的日志数据,所述日志数据为所述第一备份节点与所述第一备份节点对应的备份节点即第二备份节点之间的网络连接断开后发出;
所述当前节点将所述日志数据在本地持久化。
CN201710792766.1A 2017-09-05 2017-09-05 日志数据的处理方法、装置及电子设备 Active CN110019065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710792766.1A CN110019065B (zh) 2017-09-05 2017-09-05 日志数据的处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710792766.1A CN110019065B (zh) 2017-09-05 2017-09-05 日志数据的处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110019065A CN110019065A (zh) 2019-07-16
CN110019065B true CN110019065B (zh) 2023-05-05

Family

ID=67186203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710792766.1A Active CN110019065B (zh) 2017-09-05 2017-09-05 日志数据的处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110019065B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115378803B (zh) * 2022-04-13 2023-12-12 网易(杭州)网络有限公司 日志管理方法、装置、区块链节点和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567237A (zh) * 2003-06-09 2005-01-19 浪潮电子信息产业股份有限公司 构建高可用分布式存储系统的方法
CN1741489A (zh) * 2005-09-01 2006-03-01 西安交通大学 构建多机系统高可用的自愈合逻辑环故障检测与容忍方法
CN103516734A (zh) * 2012-06-20 2014-01-15 阿里巴巴集团控股有限公司 数据处理方法、设备和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567237A (zh) * 2003-06-09 2005-01-19 浪潮电子信息产业股份有限公司 构建高可用分布式存储系统的方法
CN1741489A (zh) * 2005-09-01 2006-03-01 西安交通大学 构建多机系统高可用的自愈合逻辑环故障检测与容忍方法
CN103516734A (zh) * 2012-06-20 2014-01-15 阿里巴巴集团控股有限公司 数据处理方法、设备和系统

Also Published As

Publication number Publication date
CN110019065A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
JP6830984B2 (ja) 音声スマート機器のウェイクアップ方法、音声スマート機器のウェイクアップ装置、スマート機器及びコンピュータ読み取り可能な記憶媒体
EP3493471B1 (en) Data disaster recovery method, apparatus and system
CN101043310B (zh) 核心控制系统的双核心控制的镜像备份方法
CN110688254B (zh) 一种数据同步方法、装置、电子设备及存储介质
CN111090699A (zh) 业务数据的同步方法和装置、存储介质、电子装置
EP2902922B1 (en) Distributed file system and data backup method for distributed file system
US8726082B2 (en) Method and system for providing incomplete action monitoring and service for data transactions
JP2013122772A (ja) 分散されたバックアップおよび回復システム
CN107729515B (zh) 一种数据同步的方法、装置及存储介质
CN109412821B (zh) 消息处理方法和装置以及电子设备
CN110837407B (zh) 无服务器云服务系统及其资源管理方法以及电子设备
CN113051110A (zh) 集群切换方法、装置及设备
CN112380062A (zh) 一种基于系统备份点多次快速恢复系统的方法及系统
CN111865632A (zh) 分布式数据存储集群的切换方法及切换指令发送方法和装置
CN110019065B (zh) 日志数据的处理方法、装置及电子设备
CN110209526A (zh) 一种存储层同步系统、及存储介质
CN108495175A (zh) 一种智能电视互联外接设备时控制通讯消息的方法和装置
CN113242263B (zh) 一种会议服务器及音视频会议数据的修正方法
JP2010231257A (ja) 高可用性システム、高可用性システムの対障害対策方法
CN109697110B (zh) 事务协调处理系统、方法、装置及电子设备
CN112637337B (zh) 一种数据处理方法及装置
CN108400881A (zh) 基于状态机的消息引擎动态调整方法、装置及电子设备
US20110055499A1 (en) Managing Backup Relationships in a Data Storage System
CN113032021A (zh) 系统切换及其数据处理方法、装置、设备及存储介质
WO2016086579A1 (zh) 一种网管系统中网元数据智能备份恢复的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant