CN102591740A - 用于从主站向次站备份事务块的系统和方法 - Google Patents

用于从主站向次站备份事务块的系统和方法 Download PDF

Info

Publication number
CN102591740A
CN102591740A CN2011103484154A CN201110348415A CN102591740A CN 102591740 A CN102591740 A CN 102591740A CN 2011103484154 A CN2011103484154 A CN 2011103484154A CN 201110348415 A CN201110348415 A CN 201110348415A CN 102591740 A CN102591740 A CN 102591740A
Authority
CN
China
Prior art keywords
main website
transaction information
information log
transaction
log blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103484154A
Other languages
English (en)
Other versions
CN102591740B (zh
Inventor
R·曼沙拉纳米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tata Consultancy Services Ltd
Original Assignee
Tata Consultancy Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tata Consultancy Services Ltd filed Critical Tata Consultancy Services Ltd
Publication of CN102591740A publication Critical patent/CN102591740A/zh
Application granted granted Critical
Publication of CN102591740B publication Critical patent/CN102591740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了故障恢复备份系统和方法,用于诸如核心银行业务或股票交易那样保证高吞吐量和低延迟的应用。一种用于从主站向位于远程的次站备份事务数据日志块的方法,其特征在于具有高吞吐量和低响应时间,其中所述方法包括计算机实现的以下步骤:定义大小为“n”的事务数据日志块;从主站向次站备份所述事务块;在主站将处于备份的事务标记为“部分完成”;由次站接收事务块并向主站发送确认;由次站异步地处理块事务的日志写入或事务;由主站在从次站收到该确认并随后提交所有部分完成的事务后向一个或多个端用户发送响应。

Description

用于从主站向次站备份事务块的系统和方法
技术领域
本发明涉及从主站的数据中心向故障恢复站点备份数据,且更为具体地涉及一种用于从主站向位于远程的次站备份事务数据日志块的系统和方法。
背景技术
故障恢复(DR)计划在大多数大型组织中已经是强制性的,且其通常通过具有每当主站关闭就接管的DR站/次站(SS)来实现。DR站/次站具有主站的IT基础结构的完全拷贝或减少的覆盖区。为了确保在DR站/次站的恢复点目标(RPO)被保持尽可能小,在主站的数据中心(DC)和DR站/次站之间具有实时备份。
DR站/次站离主站越远,针对灾害的保护就越安全。然而,保持DR站/次站远意味着在主站的DC和DR站/次站之间备份时间上更大的延迟。在国家本身界限内传播延迟可以达到几到几百毫秒级别。这禁止诸如核心银行业务或股票交易这样保证高吞吐量的应用的同步备份。
结果大型组织通常主张双路备份。首先,应用日志获得同步写入至近站。然后应用日志被异步写入传统DR站/次站。如果在主站的DC存在较大故障,则日志从近站获得。如果近站也恰好在那次事件上发生故障,则在DR站/次站上将损失数据(在故障时进行中的事务以及在向DR站/次站传送中的事务)。
在现有技术的情况下,不同类型的故障恢复(DR)方案被提议以解决上面提及的问题。
在现有技术情况下其中一个提议的故障恢复备份方案是异步备份方案。在异步备份方案中,应用(诸如数据库)异步地通过网络将事务日志从PS送至SS。SS系统保持接收(并应用)事务日志。PS不等待任何来自SS的确认并且保持继续处理事务。该提议的数据备份方案中的问题是,某些时候网络链接可能很慢或者可能中断,这可能减缓日志写入。注意到这种情况,该应用通常将日志文件写入存储设备,并且另一个进程获得日志文件并将它们送至SS。这可影响提议的系统的性能并可能不适于诸如核心银行业务或股票交易这样保证高吞吐量的应用。
在现有技术情况下其中一个提议的故障恢复备份方案是同步日志备份。在该同步日志备份中,PS处应用的事务日志被同步写入至SS。仅在SS确认在其端上写入日志后,PS才将事务视为已提交并发送响应至端用户。这种方式确保了PS处的任何事务日志还被提交给SS并且没有数据损失。然而,这个方案遭受通过广域网(WAN)执行同步入的高性能处罚。
在现有技术情况下,其中一个提议的故障恢复备份方案是全同步备份。在全同步备份方案中,PS处应用的事务日志在SS被同步处理。仅在SS确认日志已经被处理后,PS才将事务视为已提交并发送响应至端用户。换句话说,这是一个两阶段提交,此处PS和SS两者同步写入每个和每一事务。这具有比同步日志备份更高的开销并且该方案唯一的效用是当希望具有从PS至SS的即时切换时,或如果用户事务也可藉由适当的负载均衡逻辑被重定向至SS。该方案对高在线事务处理(OLTP)事务速率是不实际的。
上面提及的故障恢复备份方案在没有任何关于即将到来的应用的假定时正常工作。然而,如果考虑IT行业中大多数应用,商业事务有足够的独立性以保证更有效的故障恢复备份。
上面提及的故障恢复备份方案由于其低吞吐量和高响应时间限制,在像股票交易那样需要每秒好几万(tps)事务的高吞吐量和低延时系统的情况下可能是不适合的。
因此,鉴于上面提及的现有技术,需要一个系统和方法:
●提供用于诸如核心银行业务或股票交易那样保证高吞吐量的应用的故障恢复备份方案;
●提供用于例如核心银行业务或股票交易那样保证低延时或低响应时间的应用的故障恢复备份方案;
●需要最小的基础结构;
●减少硬件设置的成本以改进吞吐量并且减少故障恢复备份系统的延时或响应时间;以及
●容易在现有系统上部署;
本发明的其他特征和优点将参考附图在下面的本发明描述中进行解释。
发明目标
本发明的基本目标是提供用于诸如核心银行业务或股票交易那样保证高吞吐量和低延时或低响应时间的应用的故障恢复备份系统和方法。
本发明的另一个显著目标是提供一种用于从主站向位于远程的次站备份事务数据日志块的系统和方法。
本发明的又一个目标是提供用于诸如核心银行业务或股票交易等应用的成本有效高吞吐量和低延时或低响应时间的故障恢复备份系统和方法。
本发明的再一个目标是提供用于诸如核心银行业务或股票交易那样需要最小基础结构的应用的故障恢复备份系统和方法。
本发明的更一个目标是提供一种故障恢复备份系统和方法,其能容易地用现有、常规和传统系统来配置。
发明概述
在描述本方法和系统实现之前,需要理解本发明不限制于描述的特定方法体系和系统,因为可存在本发明的多个可能实施例并且它们并未在本公开中明确解说。还需要理解在本说明书中使用的术语仅是出于描述特定版本或实施例,并且不意图限制本发明的范围,本发明的范围将仅由附加的权利要求限制。
在故障恢复备份系统和方法中,DR站/次站离主站越远,则针对灾害的保护就越安全。然而,保持DR站/次站远意味着在主站的DC和DR站/次站之间备份时间上更大的延迟。在国家本身界限内传播延迟可以达到几十到几百毫秒级别。这禁止对诸如核心银行业务或股票交易那样保证高吞吐量的应用的同步备份。
结果大型组织通常主张双路备份。首先,应用日志获得同步写入至近站。然后应用日志被异步写入传统DR站/次站。如果在主站的DC存在较大故障,则日志从近站获得。如果近站也恰好在那次事件上发生故障,则在DR站/次站上将损失数据(在故障时进行中的事务以及在向DR站/次站传送中的事务)。
在像股票交易那样需要每秒好几万(tps)事务数的高吞吐量和低延时系统的情况下,近站备份也提出了问题。
因此,本发明提供了一种用于诸如核心银行业务或股票交易等保证高吞吐量和低延时或低响应时间的应用的故障恢复备份系统和方法。
在本发明优选实施例中,用于从主站向位于远程的次站备份事务数据日志块的系统,其特征在于具有高吞吐量和低响应时间,包括:
a)主站包括
i.一个或多个用于数据处理的计算机工作站;以及
ii.服务器,用于存储从由一个或多个计算机工作站进行的数据处理获得的输出数据,其中所述一个或多个工作站通过通信网络与服务器通信地耦合;
b)次站,用于存储来自所述主站的备份数据,其中所述主站通过通信网络与所述次站通信地耦合,用于备份事务数据日志块,所述主站具有配置为执行可编程指令的处理器,用于:
1)定义大小为“n”的事务数据日志块;
2)在“n”事务块可用或发生超时的情况下,从主站向次站备份所述事务数据日志块;
3)在主站将处于备份的步骤2)的事务标记为“部分完成”;
4)由次站接收所述事务数据日志块;
5)由次站在接收所述事务数据日志块后向主站发送确认;
6)由次站向主站发送该确认后,异步地处理事务数据日志块的日志写入或事务处理;以及
7)在从次站接收该确认并随后提交所有部分完成的事务后,由向一个或多个端用户发送响应。
根据本发明的另一个方面,提供一种从主站向位于远程的次站备份事务数据日志块的系统,其特征在于具有高吞吐量和低响应时间,包括:
a)主站包括
i.一个或多个用于数据处理的计算机工作站;以及
ii.服务器,用于存储从由一个或多个计算机工作站进行的数据处理获得的输出数据,其中所述一个或多个工作站通过通信网络与服务器通信地耦合;
b)次站,用于存储来自所述主站的备份数据,其中所述主站通过通信网络与所述次站通信地连接,用于备份事务数据日志块,所述主站具有配置为执行可编程指令的处理器,用于:
1)定义大小为“n”的事务数据日志块;
2)当“n”事务块可用或发生超时时,从主站向次站备份所述事务数据日志块;
3)在主站将处于备份的步骤2)的事务标记为“部分完成”;
4)由次站接收所述事务数据日志块;
5)由次站异步地处理块事务数据日志的日志写入或事务处理;
6)由次站在处理所述事务数据日志块后向主站发送一确认;以及
7)在从次站接收该确认并随后提交所有部分完成的事务后,由主站向一个或多个端用户发送响应。
上面所述的系统优选地是核心银行业务或金融交易系统但也可用于很多其它应用。
附图简述
当连同附图一起阅读时可更好的理解前述概要以及以下的优选实施例的详细描述。为了解说本发明,附图示出了本发明示例结构;然而本发明并不限于公开的特定方法和系统。在附图中:
图1是根据本发明从主站向位于远程的次站备份事务数据日志块的系统的框图。
图2是解说根据本发明一个示例性实施例用于从主站向位于远程的次站备份事务数据日志块的块确认备份方法的流程图。
图3是解说根据本发明另一个示例性实施例用于从主站向位于远程的次站备份事务数据日志块的块同步备份方法的流程图。
本发明的详细描述
现在将详细讨论本发明的某些实施例,解说其所有特征。
词语“组成”、“具有”、“包含”以及“包括”及其其他形式意指在含义上等同并且是开放式结尾,因为跟随这些词的任一个之后的一个或多个项不意味着是此项或此类项的详尽列出,或者不意味着仅被限制为这些列出的一个或多个项。
还必须注意,如本文和所附权利要求中使用的,单数形式“一个”和“该”包括复数引用,除非上下文中明确地指示并非如此。虽然与本文描述的类似或等同的任何系统和方法可在本发明的实施例中的实践或测试中使用,但现在仍说明优选系统和方法。公开的实施例对于本发明仅是示例性的,其可用各种方式表现。
定义
数据处理:由计算机进行的数据存储或处理被称作数据处理,其中数据可以是音频、视频、文本、图像、HTML等等。数据处理可在诸如核心银行业务和股票交易等的应用中使用。
一种用于从主站向位于远程的次站备份事务数据日志块的方法,主站和次站通过通信网络连接,其特征在于具有高吞吐量和低响应时间,其中所述方法包括计算机实现的以下步骤:
a)定义大小为“n”的事务数据日志块;
b)在“n”事务块可用或发生超时的情况下,从主站向次站备份所述事务数据日志块;
c)在主站将处于备份的步骤b)的事务标记为“部分完成”;
d)由次站接收所述事务数据日志块;
e)在接收所述事务数据日志块后,由次站向主站发送确认;
f)在次站向主站发送该确认后,异步地处理块事务数据日志的日志写入或事务处理;
g)在从次站接收该确认并随后提交所有部分完成的事务后,由主站向一个或多个端用户发送响应。
在故障恢复备份系统和方法中,DR站/次站离主站越远,则针对灾害的保护就越安全。然而,保持DR站/次站远意味着在主站的DC和DR站/次站之间备份时间上更大的延迟。在国家本身界限内传播延迟可以达到几十到几百毫秒级别。这禁止对诸如核心银行业务或股票交易那样保证高吞吐量的应用的同步备份。
结果大型组织通常主张双路备份。首先,应用日志获得同步写入至近站。然后应用日志被异步写入传统DR站/次站。如果在主站的DC处存在较大故障,则日志从近站获得。如果近站也恰好在那次事件中发生故障,则在DR站/次站上将损失数据(在故障时进行中的事务以及在向DR站/次站传送中的事务)。
在像股票交易那样需要每秒好几万(tps)事务的高吞吐量和低延时系统的情况下,近站备份也提出了问题。
因此,本发明提供了一种用于诸如核心银行业务或股票交易那样保证高吞吐量和低延时或低响应时间的应用的故障恢复备份系统和方法。
图1是根据本发明用于从主站向位于远程的次站备份事务数据日志块的系统100的框图。系统100包括主站110和位于远程的次站150,其中所述主站110通过通信网络120与次站150通信地耦合。所述通信网络120可从广域网(WAN)、局域网(LAN)、城域网(MAN)、互联网、内联网、电信网和TCP/IC等的组中选择。在本发明的一个优选实施例中,通信网可以是电信网。所述主站110进一步包括一个或多个计算机工作站和服务器(图中未示出)。根据本发明的一个实施例,四个计算机工作站20、40、60和80通过通信网络120与服务器通信地耦合。所述通信网络120可从广域网(WAN)、局域网(LAN)、城域网(MAN)、互联网、内联网、电信网和TCP/IC等的组中选择。在本发明的一个优选实施例中,通信网络可以是电信网。所述计算机工作站20、40、60和80用于数据处理。数据处理可用于各种应用。根据一个优选实施例,数据处理可用于诸如核心银行业务或股票交易这样的应用。数据处理的输出被存储在服务器中用于在需要数据的任何时候恢复数据。存储在服务器中的数据在次站150中被连续不断地取回接收。
每当主站110发生故障,然后次站150通过提供存储其中的数据来支持数据处理。上面所述的主站110具有处理器,处理器配置为执行可编程指令以从主站110向次站150备份事务数据日志块。可编程指令被存储在主站110的服务器中,用于驱动所述处理器备份事务数据日志块。根据本发明的一个优选实施例,次站150可以是服务器。
以上所述的主站110的处理器配置为执行可编程指令用于从主站110向次站150备份事务数据日志块,其遵循图2和3中提及的两个方法中任意一个。
图2是解说根据本发明一个示例性实施例用于从主站向位于远程的次站备份事务数据日志块的块确认备份方法200的流程图。以上所述的主站110的处理器配置为执行可编程指令用于从主站110向次站150备份事务数据日志块,其遵循下面提及的步骤:在第一个步骤205中,上面所述的处理器定义大小为“n”的事务数据日志块,其中“n”是用于控制吞吐量和响应时间的可配置参数;在下一步骤210中,每当“n”事务块可用或发生超时时,处理器从主站110向次站150备份所述事务数据日志块;在下一步骤215中,处理器在主站110将处于备份的事务标记为“部分完成”;在下面步骤220和225中,次站150接收所述事务数据日志块并向主站110发送确认(Ack);在下一步骤230中,次站150在发送确认后异步地继续处理该块(日志写入或事务处理),在最后的步骤230中,主站110一从次站150接收确认就提交所有部分完成的事务并向一个或多个端用户发送响应。根据本发明的一个优选实施例,主站110向与之连接的四个端用户发送响应。
根据本发明的一个实施例,即使当主站110等待来自次站150的确认时,它继续处理更多的事务只要商业语义允许其这样做。主站110处处理的所有事务由处理器标志为部分完成直到其确认从次站150进入。在诸如核心银行业务或金融业务的大多数商业中,有成百上千的在线客户和好几万个事务相互不重叠的客户。这些自然地与该提议的故障恢复备份系统和方法相拟合。
根据本发明的一个实施例,如果在超时内主站110没有收到确认,则部分提交的事务被退回或者做出无备份地允许对一个或多个端用户的受限业务或全业务的商业决定,其中超时是管理响应时间SLA的控制参数。一般超时由管理员设置。上面所述系统和方法的性能依赖于事务数据日志的块大小“n”、通信网络的带宽和主站110至次站150之间的重要消息的数量、从主站110至次站150的传播延迟以及超时参数。
图3是解说根据本发明另一个典型实施例用于从主站向位于远程的次站备份事务数据日志块的块同步备份方法300的流程图。上面所述的主站110的处理器配置为执行可编程指令以从主站110向次站150备份事务数据日志块,其遵循下面提及的步骤:在第一个步骤305中,上面所述处理器定义一个大小为“n”的事务数据日志块,其中“n”是用于控制吞吐量和响应时间的可配置参数;在下一步骤310中,处理器从主站110向次站150备份所述事务数据日志块,每当“n”事务块可用或发生超时;在下一步骤315中,在主站110处理器将处于备份的事务标记为“部分完成”;在下一步骤320中,次站150接收所述事务数据日志块;在下一步骤325中,次站150在接收事务数据日志块后异步地继续处理该块(日志写入或事务处理);在下一步骤330中,次站150在处理所述事务数据日志块后向主站发送确认(Ack),并且在最后的步骤335中,主站110一从次站150接收确认就提交所有部分完成的事务并且向一个或多个端用户发送响应。根据本发明的一个优选实施例,主站110向与之连接的四个端用户发送响应。
根据本发明的一个实施例,即使当主站110等待来自次站150的确认时,它继续处理更多的事务只要商业语义允许其这样做。主站110处处理的所有事务由处理器标志为部分完成直到它们的确认从次站150进入。在诸如核心银行业务或金融服务的大多数商业中有几百个在线客户和好几万个事务相互不重叠的客户。这些自然地与提议的故障恢复备份系统和方法相拟合。
根据本发明的一个实施例,如果在一个超时内主站110没有接收到确认,则部分提交事务被退回或者做出无备份地允许对一个或多个端用户的受限业务或全业务的商业决定,其中超时是管理响应时间SLA的控制参数。一般超时由管理员设置。上面所述系统和方法的性能依赖于事务数据日志块的大小“n”、通信网络的带宽和主站110至次站150之间的重要消息的数量、从主站110至次站150的传播延迟以及超时参数。
即使当次站150还没有响应重要块,提议的故障恢复备份系统和方法允许事务被处理。然而,没有事务被标记为完成直到从次站150收到确认(Ack)。由于建立了与次站150的处理管线而允许高吞吐量。其提供了用于诸如核心银行业务或股票交易那样需要最小基础结构并能容易用现有、常规和传统系统配置的应用的成本有效高吞吐量和低延迟或低响应时间故障恢复备份系统和方法。
注意根据RPO观点不存在由上面提及的故障恢复备份系统和方法施加的额外处罚因为事务仅在接收确认(Ack)后才被视为已提交。
故障恢复备份系统和方法的性能分析:
根据不同的实施例,本发明遵循在表1中提及的以下相关项:
表1:用于性能分析的标记
  标记   说明
  R   基线下的平均响应时间(无备份方案)
  X   基线下的吞吐量(tps)(无备份方案)
  B   从PS至SS链路带宽
  τ   从PS至SS(单向)传播延迟
  L   用于一个(需要被送至SS的)事务的日志大小(以字节计)
  ΔL   在SS处每个事务的日志写入时间
  ΔP   在SS处每个事务的日志事务处理时间
常规方法1(基线:无备份):
该方法作为基线用于性能分析。根本没有备份,仅是主站PS。如果主站故障,则不可能恢复。基线的目的是作为用于性能的比较。在缺少任何备份的情况下,应用的吞吐量和响应时间两者将是最好。无备份情况下的平均响应时间和吞吐量分别由R和X指示。
常规方法2(异步备份):
在异步备份中日志将以Xtps的速率被写入。只要日志写入设备能X*L字节/秒写入并且网络能从主站向次站X*L比特/秒写入,则吞吐量将保持在Xtps。每个事务的响应时间将仅由日志写入时间增加。
注意在所有方案中异步备份在项R和X上最接近基线,但相比同步方案代价是更差的RPO。
常规方法3(同步日志备份):
在主站的事务完成后,等待来自次站的确认的时间是(2τ+L/B+ΔL)个时间单元。因此,该方案下的响应时间(R’)将比R大并且吞吐量(X’)将比X小。我们得到
R’≥R+(2τ+L/B+ΔL)
X’≤1/(1/X+2τ+L/B+ΔL)
常规方法4(全同步备份):
在主站的事务完成后,等待来自次站的确认的时间是(2τ+L/B+ΔLP)个时间单元。因此,该方案下的响应时间(R’)将比R大并且吞吐量(X’)将比X小。我们得到
R’≥R+(2τ+L/B+ΔLP)
X’≤1/(1/X+2τ+L/B+ΔLP)
块确认备份系统和方法:
假定重要事务的数量不导致溢出,在该系统和方法中没有改变事务吞吐量X因为在主站继续处理。响应时间的确增加了取决于块大小的附加量。
对于大小为n的事务块(实际事务日志)以及Xtps的吞吐量,空间将在n/X秒内被占满。该方案下的响应时间(R’)将是:
R’=R+n/X+2τ+nL/B
块同步备份系统和方法:
假定重要事务的数量不导致溢出,在该系统和方法中没有改变事务吞吐量X因为在主站继续处理。响应时间增加了取决于块大小的附加量。
对于大小为n的事务块(实际事务日志)以及Xtps的吞吐量,空间将在n/X秒内被占满。该方案下的响应时间(R’)将是:
R’=R+n/X+2τ+nL/B+nΔL
其中我们假定在次站写入日志。如果在确认前由日志处理代替,则我们将需要增加另一个nΔP
在块同步备份系统和方法中,我们需要注意随着n增加,块处理的效率也增加,也就是说,ΔL和ΔP一般地将随着n减小。
本发明工作的最佳模式/示例
在下面给出的示例中描述本发明,这些示例仅提供用以解说本发明且因此将不被解释为限制本发明的范围。
让我们在从实际股票交易中收集的数据的上下文中解说上面提议的系统和方法的性能。表2提供了用于分析所要求的相关输入量的值。
表2:用于性能分析的标记
Figure BSA00000607472700111
该交易对一个热门股票需要每秒1500个交易并需要跨股票的高缩放性达到至少每秒3600个交易。
常规方法2(异步备份):
具有25%应用消息开销的45Mbps导致每秒4.5MB(兆字节),其在每事务日志200字节的情况下导致无压缩的每秒22500个事务。因此网络带宽对异步备份是足够的。
常规方法3(同步日志备份):
每个事务的往返时间至少为
2*1毫秒+200/4.5×106秒+0.3毫秒=2.34毫秒
这意味着热门股票被限制为每秒427个交易,这低于每秒1500个交易的需求。
结果同步日志备份将不为交易工作。
常规方法4(全同步备份):
其比同步日志备份具有更高的处罚,因此也不为热门股票需求工作。
块确认备份系统和方法:
对于块大小n,在对于热门股票X=1500交易/每秒的情况下,我们假设我们可忍受最大d毫秒的延迟。这包括填充块的时间n/X,加上往返传播2毫秒,再加上块的传输时间nL/B(0.04n毫秒)。
因此我们必然获得:
n/1500*1000+2+0.04n<d
也就是0.7n<(d-2)
对于d=5毫秒我们需要n<4.28或等于缓存区大小的4个事务。
因此块确认备份系统和方法对响应时间的额外延迟是适合的。
事实上如果主站可以处理更高吞吐量,如果d保持相同,我们也能处置更大的n。例如如果d是5毫秒,则我们需要
1000n/X+2+0.04n<5
或(1000/X+0.04)*n<3
或n<3/(1000/X+0.04)
如果说X=10000tps,则n<3/0.14=21.14
如果单个实例可以处理每秒1500个交易,则该系统和方法对于多个实例的缩放可良好地到高达每秒3600个交易。
块同步备份系统和方法:
系统和方法如上,除了我们向延迟增加的额外nΔL ,其对于n<10计算出0.3n毫秒,而对于更大n值计算出0.1n毫秒。
对于d=5毫秒这意味着
1000n/1500+2+0.04n+0.3n<5
对于n=3将几乎满足热门股票的每秒1500个交易的需求。
如果主站可处理更高的吞吐量,则将计算出一个较大n值。例如如果d=5毫秒,则我们需要
1000n/X+2+0.04n+0.3n<5
或者n<3/(1000/X+0.34)
如果说X=10000tps,则n<3/0.44=6.88
如果单个实例可以处理每秒1500个交易,则该系统和方法对多个实例的缩放可良好地到高达每秒3600个交易。
已参照本发明的不同实施例提出了前述描述。有关本发明的本领域技术人员将意识到可实践对所描述的操作系统或方法的替换或改变,而不意图脱离本发明的原理、精神和范围。

Claims (25)

1.一种用于从主站向位于远程的次站备份事务数据日志块的方法,所述主站和所述次站通过通信网络相连接,其特征在于,具有高吞吐量和低响应时间,其中所述方法包括计算机实现的以下步骤:
a)定义大小为“n”的事务数据日志块;
b)在“n”事务块可用或发生超时的情况下,从主站向次站备份所述事务数据日志块;
c)在主站将处于备份的步骤b)的事务标记为“部分完成”;
d)由次站接收所述事务数据日志块;
e)由次站在接收所述事务数据日志块后向主站发送确认;
f)由次站在向主站发送所述确认后异步地处理所述事务数据日志块的日志写入或事务处理;以及
g)由主站在从所述次站接收所述确认并随后提交所有部分完成的事务后向一个或多个端用户发送响应。
2.如权利要求1所述的方法,进一步包括在主站正等待来自所述次站的所述确认的情况下,由所述主站处理更多事务。
3.如权利要求1所述的方法,进一步包括将在主站处理的所有事务标记为“部分完成”,直到它们的确认从所述次站进入。
4.如权利要求1所述的方法,进一步包括在一个超时时段内主站没有收到任何确认的情况下,退回部分提交的事务或做出无备份地允许对一个或多个端用户的受限业务或全业务的商业决定。
5.如权利要求1所述的方法,其特征在于,所述通信网络可从广域网(WAN)、局域网(LAN)、城域网(MAN)、互联网、内联网、电信网或TCP/IC的组中选择。
6.如权利要求1所述的方法,其特征在于,所述方法的性能依赖于事务数据日志块的大小、主站和次站之间通信网络的带宽、从主站至次站的传播延迟、超时参数以及主站和次站之间的重要消息的数量。
7.一种用于从主站向位于远程的次站备份事务数据日志块的系统,其特征在于具有高吞吐量和低响应时间,包括:
a)主站,包括
i.一个或多个用于数据处理的计算机工作站;以及
ii.服务器,用于存储从由一个或多个计算机工作站进行的数据处理中获得的输出数据,其中所述一个或多个工作站通过通信网络与所述服务器通信地耦合;
b)次站,用于存储来自所述主站的备份数据,其中所述主站通过通信网络与所述次站通信地耦合,用于备份事务数据日志块,所述主站具有配置为执行可编程指令的处理器,所述指令用于:
1)定义大小为“n”的事务数据日志块;
2)在“n”事务块可用或发生超时的情况下,从主站向次站备份所述事务数据日志块;
3)在主站将处于备份的步骤2)的事务标记为“部分完成”;
4)由次站接收所述事务数据日志块;
5)由次站在接收所述事务数据日志块后向主站发送确认;
6)由次站在向主站发送所述确认后异步地处理所述事务数据日志块的日志写入或事务处理;以及
7)由主站在从次站接收所述确认并随后提交所有部分完成的事务后向一个或多个端用户发送响应。
8.如权利要求7所述的系统,其特征在于,在主站正等待来自所述次站的确认的情况下,所述主站处理更多事务。
9.如权利要求7所述的系统,其特征在于,所述主站将被处理的所有事务标记为“部分完成”直到它们的确认从所述次站进入。
10.如权利要求7所述的系统,其特征在于,在一个超时时段内没有收到任何确认的情况下,所述主站退回部分提交的事务或做出无备份地允许对一个或多个端用户的受限制业务或全业务的商业决定。
11.如权利要求7所述的系统,其特征在于,所述通信网络可从广域网(WAN)、局域网(LAN)、城域网(MAN)、互联网、内联网、电信网或TCP/IC的组中选择。
12.如权利要求7所述的系统,其特征在于,所述系统的性能依赖于所述事务数据日志块的大小、主站和次站之间通信网络的带宽、从主站至次站的传播延迟、超时参数以及主站和次站之间重要消息的数量。
13.一种用于从主站向位于远程的次站备份事务数据日志块的方法,所述主站和所述次站通过通信网络相连接,其特征在于,具有高吞吐量和低响应时间,其中所述方法包括计算机实现的以下步骤:
a)定义大小为“n”的事务数据日志块;
b)当“n”事务块可用或发生超时,从主站向次站备份所述事务数据日志块;
c)在主站将处于备份的步骤b)的事务标记为“部分完成”;
d)由次站接收所述事务数据日志块;
e)由次站异步地处理所述事务数据日志块的日志写入或事务处理;
f)由次站在处理所述事务数据日志块后向主站发送确认;以及
g)由主站在从所述次站接收所述确认并随后提交所有部分完成的事务后向一个或多个端用户发送响应。
14.如权利要求13所述的方法,进一步包括在主站正等待来自次站的确认的情况下,由所述主站处理更多事务。
15.如权利要求13所述的方法,进一步包括将在主站处理的所有事务标记为“部分完成”直到它们的确认从所述次站进入。
16.如权利要求13所述的方法,进一步包括在一个超时时段内主站没有收到任何确认的情况下,退回部分提交的事务或做出无备份地允许对一个或多个端用户受限制业务或全业务的商业决定。
17.如权利要求13所述的方法,其中所述通信网络可从广域网(WAN)、局域网(LAN)、城域网(MAN)、互联网、内联网、电信网或TCP/IC的组中选择。
18.如权利要求13所述的方法,其中所述方法的性能依赖于所述事务数据日志块的大小、主站和次站之间通信网络的带宽、从主站至次站的传播延迟、超时参数以及主站和次站之间重要消息的数量。
19.一种用于从主站向位于远程的次站备份事务数据日志块的系统,其特征在于,具有高吞吐量和低响应时间,包括:
a)主站,包括
i.一个或多个用于数据处理的计算机工作站;以及
ii.服务器,用于存储从由一个或多个计算机工作站进行的数据处理中获得的输出数据,其中所述一个或多个工作站与所述服务器通过通信网络通信地耦合;
b)次站。用于存储来自所述主站的备份数据,其中所述主站与所述次站通过通信网络通信地耦合,用于备份事务数据日志块,所述主站具有配置为执行可编程指令的处理器,所述指令用于:
1)定义大小为“n”的事务数据日志块;
2)在“n”事务块可用或发生超时时,从主站向次站备份所述事务数据日志块;
3)在主站将处于备份的步骤2)的事务标记为“部分完成”;
4)由次站接收所述事务数据日志块;
5)由次站异步地处理所述事务数据日志块的日志写入或事务处理;
6)由次站在处理所述事务数据日志块后向主站发送确认;以及
7)由主站在从所述次站接收所述确认并随后提交所有部分处理事务后向一个或多个端用户发送响应。
20.如权利要求19所述的系统,其特征在于,在主站正等待来自所述次站的确认的情况下,所述主站处理更多事务。
21.如权利要求19所述的系统,其特征在于,所述主站将处理的所有事务标记为“部分完成”直到它们的确认从所述次站进入。
22.如权利要求19所述的系统,其特征在于,在一个超时时段内没有收到任何确认的情况下,主站退回部分提交的事务或做出无备份地允许对一个或多个端用户的受限业务或全业务的商业决定。
23.如权利要求19所述的系统,其特征在于,所述通信网络可从广域网(WAN)、局域网(LAN)、城域网(MAN)、互联网、内联网、电网或TCP/IC的组中选择。
24.如权利要求19所述的系统,其特征在于,所述系统的性能依赖于所述事务数据日志块的大小、主站和次站之间通信网络的带宽、从主站至次站的传播延迟、超时参数以及主站和次站之间重要消息的数量。
25.如所有在先权利要求所述的系统,其特征在于,所述系统是核心银行业务或金融交易应用。
CN201110348415.4A 2010-09-15 2011-09-02 用于从主站向次站备份事务块的系统和方法 Active CN102591740B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN2550/MUM/2010 2010-09-15
IN2550MU2010 2010-09-15

Publications (2)

Publication Number Publication Date
CN102591740A true CN102591740A (zh) 2012-07-18
CN102591740B CN102591740B (zh) 2014-11-12

Family

ID=45908095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110348415.4A Active CN102591740B (zh) 2010-09-15 2011-09-02 用于从主站向次站备份事务块的系统和方法

Country Status (3)

Country Link
CN (1) CN102591740B (zh)
AU (1) AU2011218627B2 (zh)
ZA (1) ZA201106261B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484568A (zh) * 2016-09-30 2017-03-08 郑州云海信息技术有限公司 一种数据灾难备份方法及其系统
CN111046051A (zh) * 2019-11-08 2020-04-21 网联清算有限公司 数据一致性实现方法、装置及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332018B2 (en) 2016-03-01 2019-06-25 International Business Machines Corporation Service level agreement risk analysis with exogenous architecture
CN113806664B (zh) * 2021-09-24 2024-06-07 广州至真信息科技有限公司 一种站点快速复制方法、装置及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536802A (zh) * 2003-04-03 2004-10-13 中兴通讯股份有限公司 一种数据同步方法
US20050165851A1 (en) * 2004-01-05 2005-07-28 Pawan Goyal Asynchronous remote mirroring techniques for databases
US20050193245A1 (en) * 2004-02-04 2005-09-01 Hayden John M. Internet protocol based disaster recovery of a server
US7546364B2 (en) * 2002-05-16 2009-06-09 Emc Corporation Replication of remote copy data for internet protocol (IP) transmission
CN1983153B (zh) * 2003-02-27 2013-03-13 株式会社日立制作所 数据处理系统中执行远程复制的方法和存储数据的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4283576B2 (ja) * 2003-03-27 2009-06-24 株式会社日立製作所 トランザクション同期方法、データベースシステム及びデータベース装置
US20090157766A1 (en) * 2007-12-18 2009-06-18 Jinmei Shen Method, System, and Computer Program Product for Ensuring Data Consistency of Asynchronously Replicated Data Following a Master Transaction Server Failover Event

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546364B2 (en) * 2002-05-16 2009-06-09 Emc Corporation Replication of remote copy data for internet protocol (IP) transmission
CN1983153B (zh) * 2003-02-27 2013-03-13 株式会社日立制作所 数据处理系统中执行远程复制的方法和存储数据的方法
CN1536802A (zh) * 2003-04-03 2004-10-13 中兴通讯股份有限公司 一种数据同步方法
US20050165851A1 (en) * 2004-01-05 2005-07-28 Pawan Goyal Asynchronous remote mirroring techniques for databases
US20050193245A1 (en) * 2004-02-04 2005-09-01 Hayden John M. Internet protocol based disaster recovery of a server

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484568A (zh) * 2016-09-30 2017-03-08 郑州云海信息技术有限公司 一种数据灾难备份方法及其系统
CN111046051A (zh) * 2019-11-08 2020-04-21 网联清算有限公司 数据一致性实现方法、装置及存储介质

Also Published As

Publication number Publication date
AU2011218627B2 (en) 2013-02-14
CN102591740B (zh) 2014-11-12
AU2011218627A1 (en) 2012-03-29
ZA201106261B (en) 2012-10-31

Similar Documents

Publication Publication Date Title
US20070226230A1 (en) Parallel asynchronous order-preserving transaction processing
US7177886B2 (en) Apparatus and method for coordinating logical data replication with highly available data replication
US7546485B2 (en) Method and system for efficient journal-based resynchronization
US8812393B2 (en) Publish and subscribe system including buffer
US20100082921A1 (en) Systems And Methods For Data Snapshot Replication
CN102591740B (zh) 用于从主站向次站备份事务块的系统和方法
CN108038767B (zh) 基于消息队列的电商订单异步分发系统及方法
US20190026353A1 (en) Method and system for implementing a redo repeater
DE112012004216T5 (de) Nachrichtenabgleich während einer Wiederherstellung nach einem Systemausfall
US7519633B2 (en) Asynchronous replication of data
US20030225857A1 (en) Dissemination bus interface
US20080046644A1 (en) Method and System to Provide a Redundant Buffer Cache for Block Based Storage Servers
WO2006076329A2 (en) Distributed trade match service
US9201745B2 (en) Method of improving replica server performance and a replica server system
CN113220730B (zh) 业务数据的处理系统
CN101834873B (zh) 一种商业数据库的数据传输方法
US9971654B2 (en) Safe storing data for disaster recovery
US20050114407A1 (en) High-performance asynchronous peer-to-peer remote copy for databases
CN105721400A (zh) 数据完整性传输方法及其pos机和数据加密服务器
CN101198950A (zh) 分布式处理系统、分布式处理方法以及程序
US20200210094A1 (en) Method and distributed computer system for processing data
CN114780299B (zh) 基于磁盘cbt的bmr备份系统及方法
US11327847B2 (en) Methods, devices, systems, and computer-readable mediums for reduced recovery point objective duration
CN118096303A (zh) 一种场内做市报盘分流网关
CN114331703A (zh) 一种交易信息处理方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant