CN109002370B - 在线清结算系统的备份方法及装置、存储介质 - Google Patents

在线清结算系统的备份方法及装置、存储介质 Download PDF

Info

Publication number
CN109002370B
CN109002370B CN201710420286.2A CN201710420286A CN109002370B CN 109002370 B CN109002370 B CN 109002370B CN 201710420286 A CN201710420286 A CN 201710420286A CN 109002370 B CN109002370 B CN 109002370B
Authority
CN
China
Prior art keywords
resource
backup
mirror image
current
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710420286.2A
Other languages
English (en)
Other versions
CN109002370A (zh
Inventor
张帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710420286.2A priority Critical patent/CN109002370B/zh
Publication of CN109002370A publication Critical patent/CN109002370A/zh
Application granted granted Critical
Publication of CN109002370B publication Critical patent/CN109002370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments

Abstract

一种在线清结算系统的备份方法、装置及存储介质,一个实施例的方法包括:在满足备份触发条件时,根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,各所述资源包括各镜像备份资源与各业务资源;根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源;将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置。本实施例方案,在对在线清结算系统的业务理解的基础上进行镜像备份,提高了在线清结算系统的安全保障能力。

Description

在线清结算系统的备份方法及装置、存储介质
技术领域
本发明涉及网络信息技术领域,特别是涉及一种在线清结算系统的备份方法、一种在线清结算系统的备份装置、以及一种存储介质。
背景技术
第三方支付(第三方支付是买卖双方在交易过程中的资金中间平台,是在银行监管下保障交易双方利益的独立机构)的在线资金清结算系统,由于其数据涉及了实际的现金或实物资产,当发生信息灾难时会给客户、公司带来极大的经济损失,因此系统对业务数据的安全有很高的要求,有必要在系统设计层面保证信息安全。这里的信息灾难可以分为两方面:基础设施方面和业务信息方面。基础设施方面指信息系统所存在的物理硬件环境,该部分的信息安全尤其是数据防灭失和灾难恢复,可以使用物理硬件的冗余备份、磁盘的RAID(Redundant Arrays of Independent Disks,磁盘阵列)机制、设备的物理隔离部署等方式保证无单点故障的数据丢失风险。业务信息方面指由于存在业务上的版本或逻辑问题,导致无法恢复的数据更新操作、导致基础设施方面的灾难恢复措施完全失效,不能依靠现有的硬件环境恢复业务数据状态结果。
目前针对业务信息方面的方案,通常采用数据冷备的方式,数据冷备指根据周期定时定量对核心关键数据(交易单、流水、余额)进行离线保存。其中,定时一般是为了在备份时,能够与前次备份有足够多的变动数据供备份,以保证备份的效果。而定量则是根据数据的新增的速率,来稳定备增量,以提供可预测的存储资源规划的目标。
目前的这种通用方案是针对数据本身的物理恢复能力,并不关心或理解业务本身,而如果数据本身就存在问题,就会导致问题的传播和蔓延。
发明内容
基于此,本发明实施例的目的在于提供一种在线清结算系统的备份方法、一种在线清结算系统的备份装置以及一种存储介质。
为达到上述目的,一个实施例中采用以下技术方案:
一种在线清结算系统的备份方法,包括:
在满足备份触发条件时,根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,各所述资源包括各镜像备份资源与各业务资源;
根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源;
将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置。
一种在线清结算系统的备份装置,包括:
资源获取模块,用于在满足备份触发条件时,根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,各所述资源包括各镜像备份资源与各业务资源;
备份资源确定模块,用于根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源;
备份存储模块,用于将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置。
一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的在线清结算系统的备份方法。
如上所述的实施例中的方案,其在进行备份时,不是简单地对要备份的数据复制一份进行存储,而是根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,在获取与当前镜像备份资源关联的当前备份周期内的业务资源的基础上,根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源,再将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置,从而是在对在线清结算系统的业务理解的基础上进行镜像备份,可以基于对业务的理解,便于及时发现数据本身存在的问题,提高了在线清结算系统的安全保障能力。
附图说明
图1是一个本实施例方案的应用环境的示意图;
图2是一个实施例的服务器的组成结构的示意图;
图3是一个实施例中的在线清结算系统的备份方法的流程示意图;
图4是一个实施例中的在线清结算系统的备份方法的流程示意图;
图5是一个实施例中的在线清结算系统的备份方法的流程示意图;
图6是一个应用示例中的各资源的要素之间的关系示意图;
图7是一个实施例中的在线清结算系统的备份装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。
图1示出了本发明一个实施例中的工作环境示意图,如图1所示,终端101的用户在应用过程中,针对业务服务器102提供的相关业务,例如商品、服务等各各种业务,需要为业务服务器102提供的相关业务支付相关的业务费用,并基于资产服务器103(例如银行提供的服务器)的交互提供该业务费用。在这个过程中,可以基于第三方支付平台提供的服务器104实现该支付过程,该第三方支付平台服务器104可以通过与终端101、业务服务器102、资产服务器103进行网络交互完成该支付过程。另一方面,基于第三方支付平台服务器104,也可以实现从一个资产服务器103到另外一个资产服务器103之间的资金转移,例如转账。此外,基于第三方平台服务器104,还可以实现资产服务器103与第三方平台服务器104之间的资金转移,例如充值、提现等。可以理解的是,第三方支付平台服务器104,还可以实现其他的基于相关功能。
在第三方支付平台服务器104的应用过程中,可以实现各种不同类型的在线资金的结算等过程,因此,在第三方支付平台服务器104上会配置有在线清结算系统,以完成上述各类型的在线资金的结算并进行记录。本发明实施例中,第三方支付平台服务器104上的在线清结算系统的记录的相关资源信息,可记录在资源服务器105,相关的镜像备份资源也可通过镜像备份的方式备份到资源服务器105,该资源服务器105可以是一个或者多个,资源服务器105作为存储记录的业务资源或者镜像备份资源的服务器,是对应的资源的物理资源位置。此外,资源服务器105可以是与第三方支付平台服务器104独立设置,也可以是与作为第三方支付平台服务器104的物理资源的一部分进行设置。本发明实施例涉及的是对第三方支付平台服务器104上的在线清结算系统的备份方案,其可以设置运行在图1所示的第三方支付平台服务器104上,也可以运行在其他的相关服务器平台上,只要能实现对在线清结算系统的备份即可。
以将本实施例的在线清结算系统的备份方案运行在第三方支付平台服务器104上为例,图2为一个实施例中的服务器104的组成结构示意图。如图2所示,服务器包括通过系统总线连接的处理器、供电模块、存储介质、内存和通信接口。其中,该处理器用于提供计算和控制能力,支撑整个服务器的运行。服务器的存储介质存储有操作系统、数据库和一种在线清结算系统的备份装置的计算机应用程序,该在线清结算系统的备份装置的计算机应用程序被处理器执行时实现一种在线清结算系统的备份方法。服务器中的内存为存储介质中的在线清结算系统的备份装置的运行提供环境,通信接口用于与用户终端及其他服务器进行网络通信。本领域技术人员可以理解,图2中示出的结构,仅仅是与实施例方案相关的部分结构的框图,并不构成对本实施例方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
图3中示出了一个实施例中的在线清结算系统的备份方法的流程示意图。如图3所示,该实施例中的方法包括:
步骤S301:在满足备份触发条件时,根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,各所述资源包括各镜像备份资源与各业务资源;其中,在本实施例的具体应用中,可以有如下设定:任意一个资源部署在一个物理存储位置,且任意一个物理存储位置仅部署一个资源,各资源在对应的物理存储位置的部署结构相同;
步骤S302:根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源;
步骤S303:将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置。
基于如上所述的实施例中的方案,其在进行备份时,不是简单地对要备份的数据复制一份进行存储,而是根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,在获取与当前镜像备份资源关联的当前备份周期内的业务资源的基础上,根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源,再将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置,从而是在对在线清结算系统的业务理解的基础上进行镜像备份,可以基于对业务的理解,便于及时发现数据本身存在的问题,提高了在线清结算系统的安全保障能力。
其中,上述备份触发条件,可以做任何的设定,例如一天结束,或者是一个备份周期结束等等,只要能够触发执行备份的操作即可。
在上述实施例的基础上,图4示出了另一个实施例中的在线清结算系统的备份方法的流程示意图,该实施例在上述图3对应的实施例的基础上,进一步增加了进行核验的过程。
如图4所示,该实施例的方法包括:
步骤S301:在满足备份触发条件时,根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,各所述资源包括各镜像备份资源与各业务资源;
步骤S302:根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源;
步骤S3021:根据基于所述在线清结算系统的业务关系确定的镜像备份资源核验关系,获取与所述当前镜像备份资源存在核验关系的各业务资源;
步骤S3022:根据获取的与所述当前镜像备份资源存在核验关系的各业务资源,对所述当前备份周期末当前镜像备份资源进行完整性校验。
步骤S303:将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置。
从而,在获得当前备份周期末当前镜像备份资源之后,进一步对其进行核验,从而可以进一步确保镜像备份的数据的正确性和完整性。
在上述实施例的基础上,图5示出了另一个实施例中的在线清结算系统的备份方法的流程示意图,该实施例在上述图3对应的实施例的基础上,进一步增加了进行数据恢复的过程。
如图5所示,该实施例的方法包括:
步骤S301:在满足备份触发条件时,根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,各所述资源包括各镜像备份资源与各业务资源;
步骤S302:根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源;
步骤S3021:根据基于所述在线清结算系统的业务关系确定的镜像备份资源核验关系,获取与所述当前镜像备份资源存在核验关系的各业务资源;
步骤S3022:根据获取的与所述当前镜像备份资源存在核验关系的各业务资源,对所述当前备份周期末当前镜像备份资源进行完整性校验。
步骤S303:将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置;
步骤S304:在存在失效的资源时,根据基于所述在线清结算系统的业务关系确定的资源恢复关系,获取与所述失效的资源存在资源恢复关系的各资源;根据获取的与所述失效的资源存在资源恢复关系的各资源,进行资源的数据恢复。
其中,在进行数据恢复之后,还可以进一步根据所述各资源的逻辑关系、当前镜像备份资源核验关系进行校验,以确保整个系统的数据的完整性和正确性。
基于如上所述的各实施例的方案,以下结合其中一个具体示例进行详细说明。本实施例方案中通过镜像的方式进行备份,所谓镜像可以是一种使用相同初始条件和业务触发条件产生的资金业务结果核对检查标准实体。
本发明实施例的目标,是提供在理解业务的前提下的对数据多源头的检查能力,以保证检查和备份的同步进行,同时支持周期粒度的进一步切分,为整体系统的处理性能和业务变化频度提供一个折中权衡的选择,而不是固定刻板的计划任务。
在线清结算系统的交易核心的三要素包括:交易单、流水和余额,均是在实时支付交易链路中完成记录。其中,交易单是第三方支付机构记录客户资金变动行为情况的业务单据,记录了账户资金变动的原因(如支付、转账、充值、提现)、参与方、变动金额、变动时间和当前状态等核心交易信息。余额是第三方支付机构记录的用户资金独立账户。流水是交易单或余额的变更记录,是遵循事件发生的自然时间顺序的记录。
从核心职能角度分析,交易单跟进整个业务生命周期的阶段状态,例如下单、支付成功、发起退款、退款成功、退票、转入代发等等,各状态的变更直接决定了账户间的资金变动,同时也必然带来相应业务流水的产生,因此,交易单中的状态信息最需要进行业务级别的容灾准备和镜像备份核验。
流水是认证交易单和余额变更历史的决定性凭证,因此流水的记录时间是在灾难发生时进行信息恢复的关键指标,同时也是生成重要检查镜像数据的凭据和进行业务重放的数据源。
余额是第三方在线支付系统记录每个客户的信息载体,是客户所有交易单状态流转后的最终结果,同时也限制了客户进行透支交易的发生,长期处于变动中,在引入日切、日终观点后,可以在某一个设定的日切点锚定其金额,作为静态的基础信息,进行相应的正确性检查核对,连续两次日切锚定点间的数据差异性也是验证流水是否缺失的一个参考。
据此可以分析总结出各要素的灾难核心关注点如下:交易单的关注点为状态,流水的关注点为时间和金额明细,余额的关注点为金额。并可以在此基础上据此可以分析出各要素之间的关系如图6所示,具体可以总结为如下所述:
交易循环中:交易单触发余额变更;余额变更引起记录余额流水的动作;余额流水跟进交易单的状态变迁;
镜像产生中:镜像交易单根据期初值和当期发生流水值累计而成;镜像余额根据期初值和当期发生流水累计而成;
余额:跟进所有交易发生后的一个最终结果,反应客户资产情况。
基于此,本示例方案的基本思路为:在给定的限制条件和物理部署下,针对一阶一次问题,将核心数据及其镜像系统划分为彼此联系的六个资源点,在本示例中为针对交易单、流水、余额、镜像交易单、镜像流水和镜像余额的资源点,任意两个资源点在具备前后逻辑关系或核验关系的情况下,可以建立一个推导连接,这样原始关系图可以生成抽象的DAG图(Directed Acyclic Graph,有向无环图),通过分析关键路径上的点,确定是否具备毁灭后的重新恢复能力,也即通过寻找删除一个点后是否存在反向路径连接,使得不同资源类型的两个点可以到达原始点的位置。其中,镜像余额指从业务发生日开始持续使用的实际业务资金流水,重放于独立账户中产生的与实际线上账户余额相同或存在微量跨天在途差异的同质余额。镜像流水指从业务发生日开始持续使用固定间隔时间段前后的交易单或余额的变动结果,模拟计算出来的资金变动或业务变动记录,与流水同质存在多对一的汇总情况。镜像交易单指每个业务会计周期,根据流水反向重放生成的交易单在会计周期末的实际情况记录。
本示例提供的方案,可对一阶一次灾难进行恢复。一阶一次指核心关键资源和其对应的镜像备份资源中出现任何一个业务级的数据灾难(如人为误操作的全量更新、程序异常的全量或大量错误更新等),且发生问题后没有再次出现相同或其他场景下的异常更新动作。
本示例方案应用的系统,需满足如下前提条件:核心关键资源和其对应的镜像备份资源满足独立同分布特性。所谓独立同分布,一方面是指六个资源(交易单、流水、余额、镜像交易单、镜像流水和镜像余额)在物理部署上彼此独立,不会出现部署在相同物理环境下的情况,从而以避免业务级数据灾难影响范围的恶化,另一方面是指资源在物理部署上具有同构的特性,例如余额根据用户id进行Sharding,那余额镜像同样根据用户id进行Sharding,物理结构相同,以保证每个镜像备份资源对其所镜像的资源有核验和检查的能力。即任意一个资源部署在一个物理存储位置,且任意一个物理存储位置仅部署一个资源,各资源在对应的物理存储位置的部署结构相同。
本示例方案涉及三分部分:核心镜像的生成,核心关键数据的核验,数据恢复,以下分别进行举例说明。
在进行核心镜像的生成时,基于上述分析出的各要素之间的关系,可以根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,然后根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源。例如:
针对镜像余额,即当前镜像备份资源为镜像余额时,可以根据上一备份周期镜像余额与当前备份周期内流水发生额,确定当前备份周期镜像余额,即获取的当前备份周期内的业务资源为当前备份周期内流水发生额。以一个备份周期为一天为例,即根据上日镜像余额和本日流水发生额,确定日终镜像余额,具体可采用下式(1)表示:
上日镜像余额+/-本日流水发生额=日终镜像余额(1)
以一个周期为一天为例,可以从系统上线的T0日开始,每日日终进行连续处理,以保证数据的延续性。
针对镜像交易单,可以称之为镜像单类,即当前镜像备份资源为镜像交易单时,可以根据上一备份周期镜像单类与当前备份周期内流水发生额,确定当前备份周期镜像单类,即获取的当前备份周期内的业务资源为当前备份周期内流水发生额。以一个备份周期为一天为例,即根据上日镜像单类和本日流水发生额,确定日终镜像单类,具体可采用下式(2)表示:
上日镜像单类+/-本日流水发生额=日终镜像单类(2)
以一个备份周期为一天为例,可以从系统上线的T0日开始,每日日终进行连续处理,以保证数据的延续性。
另一方面,由于单类数据量远大于余额,针对镜像交易单,还可以额外定期地进行相应的终结单退库处理(例如已全额退款、超过退款周期、超过冲正周期等)。
针对镜像流水,即当前镜像备份资源为镜像流水时,由于流水具有存在不变性,因此在产生之后不会继续流转状态,因此,在本示例的方案中,可以在该当前备份周期内的采样周期内、对业务流水进行间隔抽样获得的抽样粒度。例如使用间隔的方式抽样逻辑采样周期(例如1小时)作为抽样粒度。为了保证数据完整性,还可以使用延迟+增量采样方式,即当出现超过上一采样周期的新增流水后,即停止对上一采样周期的数据采样,并触发后续的归档阶段程序功能。
基于如上所述的核心镜像的生成方式,保存了所有单细节,可以最大限度地保留交易信息。另一方面,对于海量交易流水的情况,也可以采用有损保存的方式,在接受一定的信息丢失的情况下支持系统容量设计。
在该示例的一个应用示例中,针对镜像数据备份,针对余额、交易单,可以采用双账户定时轮换的方式进行镜像,包括但不限于按小时、按日、按周、按月维度轮换账户,换出的账户需计算镜像。此外,余额、交易单可以采用按sharding方式汇总账户为虚拟账户统一计算的方式,而镜像流水可以采用汇总有损保存方式的方式进行镜像,在单类日终退库处理时,可以采用合并登记单、抛弃明细项方式的进行。在对流水进行抽样时,可以采用等差时间间隔循环兜底的方式进行抽样,采样周期可以按斐波那契数列排列。
在生成核心镜像数据后,在本示例方案中还可以对该核心镜像数据进行核验。在现实应用中,核心系统连续运行,并不为镜像数据的核验做单独的日切,以便能提供最大的系统吞吐能力。因此,在本示例方案中,针对镜像数据的核验,可以满足在线系统实时状态到会计周期日终状态的反向推导过程。据此,在本示例中,可以根据基于所述在线清结算系统的业务关系确定的镜像备份资源核验关系,获取与所述当前镜像备份资源存在核验关系的各业务资源;根据获取的与所述当前镜像备份资源存在核验关系的各业务资源,对所述当前备份周期末当前镜像备份资源进行完整性校验。例如:
一个具体示例中针对镜像数据的校验,可以采用下述方式进行。
针对镜像余额的校验,即当前镜像备份资源为镜像余额时,可以根据在线余额、当前备份周期末流水确定,即获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:在线余额、当前备份周期末流水。以当前备份周期为一天为例,可以采用下述式(3)表示:
日终镜像余额=在线余额+/-日终后流水(3)
其中,在具体的系统实现中,在线余额与流水中引起其达到该结果的那一条流水具备唯一的关系,也就是说,如果在线余额关联流水为x,则满足:
Σ小于x时间的流水=当前在线余额(4)
针对镜像单类的校验,即当前镜像备份资源为镜像交易单时,可以根据在线单和当前周期流水确定,即获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:在线交易单、当前备份周期末流水。以当前备份周期为一天为例,可以采用下述式(5)表示:
日终镜像单=在线单+/-日终后进出流水(5)
单类通常包含进出关系(例如进=支付,出=退款),该流水实际上在不发生汇总入账的情况下与用户变更流水保持一对一关系,因此也可以根据余额流水完成相应的公式计算,结果也必然相同。
针对镜像流水的校验,一方面可以根据上一备份周期末余额镜像和当前备份周期末单类镜像,确定当前备份周期流水镜像。即当前镜像备份资源为镜像流水时,获取的所述当前镜像备份资源存在核验关系的各业务资源包括:上一备份周期末镜像余额、当前备份周期末镜像交易单。以一个备份周期为一天为例,当日流水镜像的确定可以采用下式(6)表示:
本日流水镜像=上日日终余额镜像-本日日终单类镜像(6)
另一方面,也可以根据余额流水明细确定单类流水明细。即当前镜像备份资源为镜像交易单流水明细时,获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:余额流水明细。具体可以采用下式(7)表示:
单类流水明细=余额流水明细(7)
可以理解的是,这两种校验方式可以同时进行。通过采用这两种方式进行核验,可以从不同层次上进行核验,其中,单类流水明细可以保证过程的正确性,而本日流水镜像可以保证结果的正确性。而且,由于使用不同资源的镜像数据做差值,可以实实在在确保整个保障系统的一致完备性,使得整个推导循环形成闭环结构。由于在镜像备份的校验的过程中,是基于各资源的逻辑关系进行数据核验,因此,也可以称之为是镜像核验。
基于如上所述的镜像数据的生成和镜像数据的校验,从而在发现有核心关键数据发现异常时,采用相对应的恢复策略恢复出相应的数据。即在存在失效的资源时,根据基于所述在线清结算系统的业务关系确定的资源恢复关系,获取与所述失效的资源存在资源恢复关系的各资源;根据获取的与所述失效的资源存在资源恢复关系的各资源,进行资源的数据恢复。以下结合其中几种恢复策略进行举例说明。
在单类失效时,可以根据镜像交易单和当前流水进行恢复。即失效的资源为交易单时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像交易单、当前流水。
在余额失效时,可以根据镜像流水加当前流水进行恢复。即失效的资源为余额时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像流水、当前流水。
在余额流水失效时,可根据镜像单、在线状态和镜像流水进行恢复,用公式表示可以表示为:镜像余额–在线状态+镜像流水,其中镜像流水为明细时为无损恢复。即失效的资源为余额流水时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像余额、在线状态和镜像流水。
在单流水失效时,可根据镜像单、在线状态和镜像流水进行恢复,用公式表示可以表示为:镜像单–在线状态+镜像流水,其中,镜像流水为明细时为无损恢复。即失效的资源为单流水时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像单、在线状态和镜像流水。
在镜像余额失效时,可根据在线余额和流水进行恢复,用公式可以表示为:在线余额-流水。即失效的资源为镜像余额,获取的与所述失效的资源存在资源恢复关系的各资源包括:在线余额和流水。
在镜像单失效时,可根据在线单和流水进行恢复,用公式可以表示为:在线单–流水。即失效的资源为镜像单时,获取的与所述失效的资源存在资源恢复关系的各资源包括:在线单和流水。
在镜像流水失效时,可以通过重新计算流水、抽查等方式进行恢复。
其中,在流水失效时,其中流水失效需要离线操作,用以确保余额的不变性和恢复数据落在同一个时间切面上的要求,避免恢复出来的不同账户或单类处于不同的时间点上的尴尬。
此外,在进行数据恢复的过程中,还可以采用离线数据全盘重放恢复的机制进行数据恢复,另一方面,还可以采用物理Sharding规则并行核验、定位、修复的精细化恢复机制进行数据恢复。可见,由于是对镜像备份数据进行恢复,且在恢复过程中,是基于各资源的逻辑关系即镜像备份资源核验关系进行数据恢复,因此,也可以称之为是镜像恢复。
在上述完成资源的数据恢复之后,还可以再次采用上述公式(1)、(2)、(3)、(5)、(6)再次进行检验,以再次确认整体系统的数据的一致性和完整性。
如上所述的示例中的方案,完成了对整个在线支付系统清结算数据的安全保障,具备数据随业务保存、业务进行完整性核验和数据可靠恢复的基本能力。不仅支持海量级的数据安全保障,而且同时可以进行按业务维度的细分降级为关键业务的重点保护系统。
基于与上述方法相同的思想,本发明实施例还提供一种在线清结算系统的备份装置。图7示出了一个实施例中的在线清结算系统的备份装置的结构示意图。
如图7所示,该实施例中的在线清结算系统的备份装置包括:
资源获取模块701,用于在满足备份触发条件时,根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,各所述资源包括各镜像备份资源与各业务资源;其中,在本实施例的具体应用中,可以有如下设定:任意一个资源部署在一个物理存储位置,且任意一个物理存储位置仅部署一个资源,各资源在对应的物理存储位置的部署结构相同;
备份资源确定模块702,用于根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源;
备份存储模块703,用于将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置。
基于如上所述的实施例中的方案,其在进行备份时,不是简单地对要备份的数据复制一份进行存储,而是根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,在获取与当前镜像备份资源关联的当前备份周期内的业务资源的基础上,根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源,再将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置,从而是在对在线清结算系统的业务理解的基础上进行镜像备份,可以基于对业务的理解,便于及时发现数据本身存在的问题,提高了在线清结算系统的安全保障能力。
在一个具体示例中,如图7所示,该装置还可以包括:
校验资源获取模块7021,用于根据基于所述在线清结算系统的业务关系确定的镜像备份资源核验关系,获取与所述当前镜像备份资源存在核验关系的各业务资源;
核验模块7022,用于根据获取的与所述当前镜像备份资源存在核验关系的各业务资源,对所述当前备份周期末当前镜像备份资源进行完整性校验。
此时,备份存储模块703是在核验模块7022校验通过后,再将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置。
在一个应用示例中,如图7所示,该实施例的装置还可以包括:
失效资源获取模块704,用于在存在失效的资源时,根据基于所述在线清结算系统的业务关系确定的资源恢复关系,获取与所述失效的资源存在资源恢复关系的各资源;
资源数据恢复模块705,用于根据获取的与所述失效的资源存在资源恢复关系的各资源,进行资源的数据恢复。
从而可以据此基于在线清结算系统的业务关系,实现资源的数据恢复。
进一步地,如图7所示,该装置还可以包括:
校验模块706,用于在所述资源数据恢复模块恢复资源数据后,根据所述各资源的逻辑关系、当前镜像备份资源核验关系对各资源进行校验。
从而,在进行数据恢复之后,还可以进一步根据所述各资源的逻辑关系、镜像备份资源核验关系进行校验,以确保整个系统的数据的完整性和正确性。
在一个应用示例中,在当前镜像备份资源为镜像余额时,获取的当前备份周期内的业务资源可以当前备份周期内流水发生额。在当前镜像备份资源为镜像交易单时,获取的当前备份周期内的业务资源可以为当前备份周期内流水发生额。其中,还可以进一步对交易单中的终结单,进行退库处理。在当前镜像备份资源为镜像流水时,获取的当前备份周期内的业务资源可以为:在该当前备份周期内的采样周期内、对业务流水进行间隔抽样获得的抽样粒度。其中,在间隔抽样的过程中,当出现超过上一采样周期的新增时,停止对上一采样周期的数据抽样。
在另一个应用示例中,在当前镜像备份资源为镜像余额时,获取的与所述当前镜像备份资源存在核验关系的各业务资源可以包括:在线余额、当前备份周期末流水。在当前镜像备份资源为镜像交易单时,获取的与所述当前镜像备份资源存在核验关系的各业务资源可以包括:在线交易单、当前备份周期末流水。在当前镜像备份资源为镜像流水时,获取的与所述当前镜像备份资源存在核验关系的各业务资源可以包括:上一备份周期末镜像余额、当前备份周期末镜像交易单。在当前镜像备份资源为镜像交易单流水明细,获取的与所述当前镜像备份资源存在核验关系的各业务资源可以包括:余额流水明细。
在另一个应用示例中,在失效的资源为交易单时,获取的与所述失效的资源存在资源恢复关系的各资源可以包括:镜像交易单、当前流水。在失效的资源为余额时,获取的与所述失效的资源存在资源恢复关系的各资源可以包括:镜像流水、当前流水。在失效的资源为余额流水时,获取的与所述失效的资源存在资源恢复关系的各资源可以包括:镜像余额、在线状态和镜像流水。在失效的资源为单流水时,获取的与所述失效的资源存在资源恢复关系的各资源可以包括:镜像单、在线状态和镜像流水。失效的资源为镜像余额时,获取的与所述失效的资源存在资源恢复关系的各资源在另一个应用示例中,包括:在线余额和流水。失效的资源为镜像单时,获取的与所述失效的资源存在资源恢复关系的各资源在另一个应用示例中,包括:在线单和流水。失效的资源为镜像流水时,可以通过重新计算流水的方式进行恢复。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性的计算机可读取存储介质中,如本发明实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
基于如上所述的示例,一个实施例中还提供一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上所述的在线清结算系统的备份方法。
此外,在一个实施例中,还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如上所述任一示例的在线清结算系统的备份方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种在线清结算系统的备份方法,其特征在于,包括:
在满足备份触发条件时,根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,各所述资源包括各镜像备份资源与各业务资源;
根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源;
将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置;
在存在失效的资源时,根据基于所述在线清结算系统的业务关系确定的资源恢复关系,获取与所述失效的资源存在资源恢复关系的各资源;
根据获取的与所述失效的资源存在资源恢复关系的各资源,进行资源的数据恢复。
2.根据权利要求1所述的在线清结算系统的备份方法,其特征在于,在将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置之前,还包括步骤:
根据基于所述在线清结算系统的业务关系确定的镜像备份资源核验关系,获取与所述当前镜像备份资源存在核验关系的各业务资源;
根据获取的与所述当前镜像备份资源存在核验关系的各业务资源,对所述当前备份周期末当前镜像备份资源进行完整性校验。
3.根据权利要求1所述的在线清结算系统的备份方法,其特征在于,在进行资源的数据恢复之后,还包括步骤:
根据所述各资源的逻辑关系、当前镜像备份资源核验关系进行校验。
4.根据权利要求1所述的在线清结算系统的备份方法,其特征在于,任意一个资源部署在一个物理存储位置,且任意一个物理存储位置仅部署一个资源,各资源在对应的物理存储位置的部署结构相同。
5.根据权利要求1所述的在线清结算系统的备份方法,其特征在于,包括以下各项中的至少一项:
所述当前镜像备份资源为镜像余额时,获取的所述当前备份周期内的业务资源包括当前备份周期内流水发生额;
所述当前镜像备份资源为镜像交易单时,获取的所述当前备份周期内的业务资源包括当前备份周期内流水发生额;
所述当前镜像备份资源为镜像流水时,获取的所述当前备份周期内的业务资源包括:在该当前备份周期内的采样周期内、对业务流水进行间隔抽样获得的抽样粒度。
6.根据权利要求2所述的在线清结算系统的备份方法,其特征在于,包括以下各项中的至少一项:
所述当前镜像备份资源为镜像余额时,获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:在线余额、当前备份周期末流水;
所述当前镜像备份资源为镜像交易单时,获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:在线交易单、当前备份周期末流水;
所述当前镜像备份资源为镜像流水时,获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:上一备份周期末镜像余额、当前备份周期末镜像交易单;
当前镜像备份资源为镜像交易单流水明细时,获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:余额流水明细。
7.根据权利要求1所述的在线清结算系统的备份方法,其特征在于,包括以下各项中的至少一项:
所述失效的资源为交易单时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像交易单、当前流水;
所述失效的资源为余额时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像流水、当前流水;
所述失效的资源为余额流水时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像余额、在线状态和镜像流水;
失效的资源为单流水时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像单、在线状态和镜像流水;
失效的资源为镜像余额时,获取的与所述失效的资源存在资源恢复关系的各资源包括:在线余额和流水;
失效的资源为镜像单时,获取的与所述失效的资源存在资源恢复关系的各资源包括:在线单和流水。
8.一种在线清结算系统的备份装置,其特征在于,包括:
资源获取模块,用于在满足备份触发条件时,根据基于所述在线清结算系统的业务关系确定的各资源的逻辑关系,获取与当前镜像备份资源关联的当前备份周期内的业务资源,各所述资源包括各镜像备份资源与各业务资源;
备份资源确定模块,用于根据获取的当前备份周期内的业务资源以及上一备份周期末当前镜像备份资源,确定当前备份周期末当前镜像备份资源;
备份存储模块,用于将当前备份周期末当前镜像备份资源存储到该当前镜像备份资源对应的物理资源位置;
失效资源获取模块,用于在存在失效的资源时,根据基于所述在线清结算系统的业务关系确定的资源恢复关系,获取与所述失效的资源存在资源恢复关系的各资源;
资源数据恢复模块,用于根据获取的与所述失效的资源存在资源恢复关系的各资源,进行资源的数据恢复。
9.根据权利要求8所述的在线清结算系统的备份装置,其特征在于,还包括:
校验资源获取模块,用于根据基于所述在线清结算系统的业务关系确定的镜像备份资源核验关系,获取与所述当前镜像备份资源存在核验关系的各业务资源;
核验模块,用于根据获取的与所述当前镜像备份资源存在核验关系的各业务资源,对所述当前备份周期末当前镜像备份资源进行完整性校验。
10.根据权利要求8所述的在线清结算系统的备份装置,其特征在于,还包括:
校验模块,用于在所述资源数据恢复模块恢复资源数据后,根据所述各资源的逻辑关系、当前镜像备份资源核验关系对各资源进行校验。
11.根据权利要求8所述的在线清结算系统的备份装置,其特征在于,任意一个资源部署在一个物理存储位置,且任意一个物理存储位置仅部署一个资源,各资源在对应的物理存储位置的部署结构相同。
12.根据权利要求8所述的在线清结算系统的备份装置,其特征在于,包括以下各项中的至少一项:
所述当前镜像备份资源为镜像余额时,获取的所述当前备份周期内的业务资源包括当前备份周期内流水发生额;
所述当前镜像备份资源为镜像交易单时,获取的所述当前备份周期内的业务资源包括当前备份周期内流水发生额;
所述当前镜像备份资源为镜像流水时,获取的所述当前备份周期内的业务资源包括:在该当前备份周期内的采样周期内、对业务流水进行间隔抽样获得的抽样粒度。
13.根据权利要求9所述的在线清结算系统的备份装置,其特征在于,包括以下各项中的至少一项:
所述当前镜像备份资源为镜像余额时,获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:在线余额、当前备份周期末流水;
所述当前镜像备份资源为镜像交易单时,获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:在线交易单、当前备份周期末流水;
所述当前镜像备份资源为镜像流水时,获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:上一备份周期末镜像余额、当前备份周期末镜像交易单;
当前镜像备份资源为镜像交易单流水明细时,获取的与所述当前镜像备份资源存在核验关系的各业务资源包括:余额流水明细。
14.根据权利要求8所述的在线清结算系统的备份装置,其特征在于,包括以下各项中的至少一项:
所述失效的资源为交易单时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像交易单、当前流水;
所述失效的资源为余额时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像流水、当前流水;
所述失效的资源为余额流水时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像余额、在线状态和镜像流水;
失效的资源为单流水时,获取的与所述失效的资源存在资源恢复关系的各资源包括:镜像单、在线状态和镜像流水;
失效的资源为镜像余额时,获取的与所述失效的资源存在资源恢复关系的各资源包括:在线余额和流水;
失效的资源为镜像单时,获取的与所述失效的资源存在资源恢复关系的各资源包括:在线单和流水。
15.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7任意一项所述的在线清结算系统的备份方法。
16.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
CN201710420286.2A 2017-06-06 2017-06-06 在线清结算系统的备份方法及装置、存储介质 Active CN109002370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710420286.2A CN109002370B (zh) 2017-06-06 2017-06-06 在线清结算系统的备份方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710420286.2A CN109002370B (zh) 2017-06-06 2017-06-06 在线清结算系统的备份方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN109002370A CN109002370A (zh) 2018-12-14
CN109002370B true CN109002370B (zh) 2022-10-25

Family

ID=64572809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710420286.2A Active CN109002370B (zh) 2017-06-06 2017-06-06 在线清结算系统的备份方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN109002370B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163742B (zh) * 2019-04-22 2023-08-04 创新先进技术有限公司 一种账户资源数据确定方法及系统
CN115311092B (zh) * 2022-08-22 2023-06-27 中国国际金融股份有限公司 用于资源处理系统的方法、装置,资源处理系统以及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046761A (zh) * 2007-04-29 2007-10-03 华为技术有限公司 一种取快照数据的装置及方法
US20130326279A1 (en) * 2012-05-29 2013-12-05 International Business Machines Corporation Resource planning for data protection validation
CN106096854A (zh) * 2016-06-20 2016-11-09 财付通支付科技有限公司 一种数据处理方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046761A (zh) * 2007-04-29 2007-10-03 华为技术有限公司 一种取快照数据的装置及方法
US20130326279A1 (en) * 2012-05-29 2013-12-05 International Business Machines Corporation Resource planning for data protection validation
CN106096854A (zh) * 2016-06-20 2016-11-09 财付通支付科技有限公司 一种数据处理方法和装置

Also Published As

Publication number Publication date
CN109002370A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
Hamilton On Designing and Deploying Internet-Scale Services.
CN108108967A (zh) 面向复杂数字资产的多阶段pbft共识系统及方法
CN108536521B (zh) 基于仿真平台离线环境核对方法及装置
CN102254238B (zh) 带有聚集器中的去重复的可缩放记帐
Keeton et al. On the road to recovery: restoring data after disasters
CN109002370B (zh) 在线清结算系统的备份方法及装置、存储介质
CN109377120A (zh) 基于云服务的库存管理方法、装置及电子设备
JP4478092B2 (ja) ネッティング処理装置、ネッティング処理方法およびネッティング処理プログラム
CN107093053B (zh) 一种提示日期的生成方法及装置
US11307955B2 (en) Graphical user interface and analysis system for determining platform stability and resiliency
US20240103909A1 (en) Methods and systems for improving hardware resiliency during serial processing tasks in distributed computer networks
AU2020271840B2 (en) Ensuring data quality through deployment automation in data streaming applications
Baset Cloud service level agreement
US11429571B2 (en) Ensuring data quality through self-remediation of data streaming applications
Mendonça et al. Evaluation of a backup-as-a-service environment for disaster recovery
CN111382028A (zh) 批量处理系统日期切换错误的处理方法、装置和服务器
US20230087584A1 (en) Reconciliating payment transactions performed by a payment service provider
US20170102998A1 (en) Data protection and recovery system
CN111274255B (zh) 业务数据监控方法及系统、监控架构、设备、存储介质
US10991045B2 (en) Blockchain-based settlement method, apparatus, and electronic device
US20070099157A1 (en) Milestone manager
Crespo et al. Cost-driven design for archival repositories
CN114119243A (zh) 基于区块链的池融资管理方法、装置、介质和电子设备
WO2022159094A1 (en) Methods and systems for improving hardware resiliency during serial processing tasks in distributed computer networks
Sabila et al. Blockchain based school operational funding recording system design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant