CN105119762A - 云平台基于日志实现交易回放和重做的系统及方法 - Google Patents

Abstract

本发明涉及一种云平台基于日志实现交易回放和重做的系统及方法，其中所述的实现交易回放和重做的系统包括日志记录推送引擎、日志分析报送模块、日志查看导出模块以及交易回放和重做引擎。采用该种云平台基于日志实现交易回放和重做的系统及方法，摒弃了传统的日志记录和查看的方式，将企业所有系统的日志收集归拢到一起，提高了查看效率；将异常报送告警功能集中到一起，使管理员能及时得到系统的运行状况，并对原系统的影响做到最小；交易的回放和重做采用了用户界面上一键初始化环境和执行的模式，比传统的手工备份生产环境数据再恢复到验证环境执行再比对结果，操作简便执行效率上有所提高，能报送直观的报表数据，具有更广泛的应用范围。

Description

云平台基于日志实现交易回放和重做的系统及方法

技术领域

本发明涉及计算机软件技术领域，尤其涉及云平台应用系统领域，具体是指一种云平台基于日志实现交易回放和重做的系统及方法。

背景技术

随着云平台技术的发展越来越成熟,一些企业和机构也更愿意把业务系统放到云服务上运行。在云平台微服务的架构下,应用部署相对比较零散，日志也没有做到统一规整。业务系统在日常运行交易处理中不可避免会有异常情况的发生。可能会遇到如下三个普遍性的问题和需求：业务系统交易异常需要一个统一处理和报送的机制、异常后排查问题需要将发生异常的业务进行回放、交易数据需要通过交易重做来核对。因此，需要有一套系统性的方法来解决交易时异常预警、事后业务回放和交易重做等一系列问题。

针对此需求，目前各大金融领域的企业有传统的解决方案。在异常捕获和报送功能的实现方案，一般采用的是在代码级别捕获异常后进行处理和报送，每个系统有着独立的报送程序。在交易重现和交易重做的实现方案，一般采用线下模拟的方式。例如：将线上的数据库和文件系统等备份到磁盘，再将磁盘的数据导入线下环境执行一遍后和线上数据做比对，得出交易结果。

上述传统的异常捕获和报送方案，存在以下弊端：首先，异常分析和报送程序依附于原系统上，当异常处理压力较大时，会对原系统造成很大的影响，甚至更严重的会导致宕机事故。其次，当一个企业拥有多个系统时，异常不能统一收集、分析和报送，不利于归总整理。

上述传统的交易重现和交易重做方案，存在以下弊端：首先，一般交易系统数据库和文件系统的数据量非常大，备份和还原的整个过程会消耗大量时间，导致效率不高。其次，此方案无法重复执行验证，操作不方便。

发明内容

本发明的目的是克服了上述现有技术中异常和日志分布零散、交易重现和重做执行效率低下、操作不便的缺点，提供了一种能够实现统一日志收集、异常报送以及高效率的交易重现和交易重做、具有更广泛应用范围的云平台基于日志实现交易回放和重做的系统及方法。

为了实现上述目的，本发明的云平台基于日志实现交易回放和重做的系统及方法具有如下构成：

该云平台基于日志实现交易回放和重做的系统，其主要特点是，所述的实现交易回放和重做的系统包括：

日志记录推送引擎，用以记录业务系统的异常运行日志、正常运行日志和交易记录日志并将记录的日志文件推送至日志分析报送模块；

日志分析报送模块，用以接收推送的日志文件并分析得到异常运行数据、正常运行数据或交易进行数据以及将异常运行数据报送至业务系统管理员；

日志查看导出模块，用以根据用户选择的条件查询用户所需要的日志内容或交易信息并将查询结果导出为报表；

交易回放和重做引擎，用以根据用户选择需要回放或重做的交易提取所述的交易进行数据并执行交易回放或交易重做。

较佳地，所述的日志记录推送引擎包括：

日志记录单元，用以配置日志记录规则并记录业务系统的异常运行日志、正常运行日志和交易记录日志；

日志推送引擎，用以将记录的日志文件推送至日志分析报送模块。

更佳地，所述的日志分析报送模块包括：

日志收集单元，用以接收所述的日志推送引擎推送的日志文件；

日志分析单元，用以根据所述的日常记录单元配置的日志记录规则对日志文件进行分析得到异常运行数据、正常运行数据或交易进行数据；

异常报送单元，用以当分析异常运行日志时将异常运行数据报送至业务系统管理员。

较佳地，所述的日志查看导出模块包括：

日志查询单元，用以根据用户选择的条件从日志索引中查询用户需要的日志内容并进行展示；

交易查询单元，用以通过用户选择的条件从日志提取的交易进行数据中查询需要的交易信息并进行展示；

结果报表导出单元，用以将用户查询的内容生成结果报表。

较佳地，所述的交易回放和重做引擎包括：

交易环境初始化数据生成单元，用以根据用户选择需要回放或重做的交易提取所述的交易进行数据，以及根据提取的交易进行数据和配置的规则，生成数据库初始化脚本；

业务系统交易回放代理单元，用以根据需要回放的交易的数据库初始化脚本执行交易回放；

业务系统交易重做代理单元，用以根据需要重做的交易的数据库初始化脚本执行交易重做；

交易重做结果比对单元，用以将重做的结果与原结果进行比对生成数据比对报表。

本发明还涉及一种基于所述的实现交易回放和重做的系统于云平台基于日志实现交易回放和重做的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的日志记录推送引擎记录业务系统的异常运行日志、正常运行日志和交易记录日志并将记录的日志文件推送至日志分析报送模块；

(2)所述的日志分析报送模块接收推送的日志文件并分析得到异常运行数据、正常运行数据或交易进行数据以及将异常运行数据报送至业务系统管理员

(3)所述的日志查看导出模块根据用户选择的条件查询用户所需要的日志内容或交易信息并将查询结果导出为报表；

(4)所述的交易回放和重做引擎根据用户选择需要回放的交易提取所述的交易进行数据并执行交易回放；

(5)所述的交易回放和重做引擎根据用户选择需要重做的交易提取所述的交易进行数据并执行交易重做。

较佳地，所述的日志记录推送引擎包括日志记录单元和日志推送引擎，所述的步骤(1)包括以下步骤：

(1-1)将所述的日志记录推送引擎部署到各业务系统中，并初始化运行环境；

(1-2)所述的日志记录单元中配置异常运行日志记录规则，修改原业务系统的日志记录功能逻辑，使业务系统异常后的错误信息按照配置的规则写入日志文件；

(1-3)所述的日志记录单元中配置正常运行日志记录规则，修改原业务系统的日志记录功能逻辑，使业务系统正常运行的日志记录按照配置的规则写入日志文件；

(1-4)所述的日志记录单元中配置交易类日志记录规则，修改原业务系统的日志记录功能逻辑，使业务系统将交易数据按照配置的规则写入日志文件；

(1-5)所述的日志推送引擎中配置日志推送参数并将日志文件推送至日志分析报送模块。

更佳地，所述的日志分析报送模块包括日志收集单元、日志分析单元和异常报送单元，所述的步骤(2)包括以下步骤：

(2-1)部署日志分析报送模块并初始化运行环境；

(2-2)所述的日志收集单元接收各个所述的日志记录推送引擎推送过来的日志内容并存储；

(2-3)所述的日志分析单元根据所述的日志记录单元中的日志记录规则分析日志内容；

(2-4)所述的日志分析单元中判断分析到的日志的类型，如果是异常运行日志，则继续步骤(2-5)，如果是正常运行日志，则继续步骤(2-6)，如果是交易记录日志，则继续步骤(2-7)；

(2-5)所述的日志分析单元提取异常运行数据并存储和建立查询索引，然后继续步骤(2-8)；

(2-6)所述的日志分析单元提取正常运行数据并存储和建立查询索引，然后继续步骤(3)；

(2-7)所述的日志分析单元提取交易进行数据并存储和建立查询索引，然后继续步骤(3)；

(2-8)所述的异常报送单元将日志分析单元中得到的异常运行的数据向业务系统管理员报送。

较佳地，所述的日志查看导出模块包括日志查询单元、交易查询单元和结果报表导出单元，所述的步骤(3)包括以下内容：

(3-1)所述的日志查询单元中根据用户选择的日志查询条件和索引匹配到用户需要的日志内容并进行展示；

(3-2)所述的交易查询单元中根据用户选择的交易查询条件分析得到用户需要的交易信息并进行展示；

(3-3)所述的结果报表导出单元中将查询结果选择导出报表文件供离线查看。

较佳地，所述的交易回放和重做引擎包括交易环境初始化数据生成单元和业务系统交易回放代理单元，所述的步骤(4)包括以下步骤：

(4-1)部署原业务系统环境，部署并启动交易回放和重做引擎；

(4-2)所述的交易环境初始化数据生成单元选择需要回放的交易，提取所述的日志分析报送模块中所记录的交易进行数据；

(4-3)所述的交易环境初始化数据生成单元根据提取的交易进行数据和日志记录单元配置的日志记录规则，生成数据库初始化脚本；

(4-4)所述的交易环境初始化数据生成单元将数据库初始化脚本发送到业务系统交易回放代理单元中；

(4-5)所述业务系统交易回放代理单元接收数据库初始化脚本以及当前交易的配置数据；

(4-6)所述业务系统交易回放代理单元执行数据库初始化脚本以及初始化交易运行环境；

(4-7)所述系统交易回放代理单元中，由代理自动调用该交易进行各环节的场景回放或由用户手动触发该交易的交易回放。

较佳地，所述的交易回放和重做引擎还包括业务系统交易重做代理单元和交易重做结果比对单元，所述的步骤(5)包括以下步骤：

(5-11)所述的交易环境初始化数据生成单元中，选择需要重做的一个或一批交易，提取所述的日志分析报送模块中所记录的交易进行数据；

(5-2)所述的交易环境初始化数据生成单元根据提取的交易进行数据和日志记录单元配置的日志记录规则，生成数据库初始化脚本；

(5-3)所述的交易环境初始化数据生成单元将数据库初始化脚本发送到业务系统交易重做代理单元中；

(5-4)所述业务系统交易重做代理单元接收数据库初始化脚本以及当前交易的配置数据；

(5-5)所述系统交易重做代理单元执行数据库初始化脚本以及初始化交易运行环境；

(5-6)所述系统交易重做代理单元中，由代理自动调用执行该交易；

(5-7)所述系统交易重做代理单元中，代理调用执行交易结束后，收集本次交易执行的结果数据并发送到所述的交易重做结果比对单元；

(5-8)所述交易重做结果比对单元接收所述的本次交易执行结果数据；

(5-9)所述交易重做结果比对单元提取原交易结果数据，与本次交易结果数据进行比对得出比对结果并统计出报表；

(5-10)所述交易重做结果比对单元将得到的比对结果报送至业务系统管理员。

采用了该发明中的云平台基于日志实现交易回放和重做的系统及方法，首先，摒弃了传统的日志记录和查看的方式，将企业所有系统的日志收集归拢到一起，提高了查看效率，方便分析和统计；其次，将异常报送告警功能集中到一起，使管理员能及时得到系统的运行状况，并对原系统的影响做到最小；再次，交易的回放和重做采用了用户界面上一键初始化环境和执行的模式，比传统的手工备份生产环境数据再恢复到验证环境执行再比对结果，操作简便执行效率上有所提高，能报送直观的报表数据，具有更广泛的应用范围。

附图说明

图1为本发明的云平台基于日志实现交易回放和重做的系统的总体架构图。

图2为本发明的日志收集分析的流程图。

图3为本发明的云平台基于日志实现交易回放和重做的系统的物理部署结构图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的云平台基于日志实现交易回放和重做的系统中，主要包括日志记录推送引擎，日志分析报送模块、日志查看导出模块、交易回放重做引擎。其主要特点是，所述的日志记录推送引擎包括：

日志记录单元，此单元部署嵌套在各个业务系统中，其作用是记录系统正常交易日志和系统发生异常的日志。记录时需要按照规定的格式，正常交易日志需要记录当前交易的详细数据，异常日志需要记录详细的异常对象以及异常发生时的上下文数据。

日志推送引擎，其作用是将各个系统记录的日志及时的推送到日志分析报送模块，可采用审计日志定时推送，异常日志即时推送的机制，保证不极大的增加系统压力的情况下也能及时得到系统异常的报送。

所述的日志分析报送模块，是独立部署的应用服务，不依赖于各个应用系统，是日志分析处理的核心，主要包括：

日志收集单元，其作用是接收各个应用系统推送过来的日志，根据系统、日志类型、推送时间等维度分类、分级存放与目录下，等待分析处理。

日志分析单元，其作用是将各个系统推送过来的日志文件进行分析，由于日志都是根据特定的规则记录，解析时也按照特定的规则解析。如果是异常记录日志，则分析出相关异常的信息，包括发生时间、异常名称、异常堆栈、异常发生时上下文数据等，记录到数据库。如果是正常交易日志，则提取出交易的各种信息，存放到数据库。

异常报送单元，其作用是当有分析到系统有严重的异常发生，需要报送警告时，通过此模块向系统维护人员发送警告的邮件或者短信，提醒及时处理。

所述日志查看导出模块，让用户可以查看到各个系统发生的日志以及交易的执行情况，主要包括：

日志查询单元，其作用是通过用户选择的条件，包括来源系统、日志类型、发生时间等，从日志索引中查询用户需要的内容，进行展示。

交易查询单元，其作用时通过用户选择的条件，包括来源系统、交易名称、交易环节、发生时间等，从日志提取的交易记录数据中，查询该交易的详细过程和结果，进行展示。

结果报表导出单元，其作用是将用户查询的内容通过生成excel或pdf文件，提供下载。

业务系统日志查询引擎，其作用是提供各个系统日志查询界面，和各个系统中各监控的交易运行的记录和结果，可输出图形报表，提供业务分析的依据。

所述交易回放和重做引擎，处理交易回放和重做，主要包括：

交易环境初始化数据生成单元，其作用是根据提取的数据，生成用户选择的交易的初始化环境的脚本。包括数据库操作语句和文件系统操作语句。

业务系统交易回放代理单元，部署在各应用系统回放环境中，其作用是初始化执行环境，执行交易和交易结果收集。

业务系统交易重做代理单元，部署在各应用系统重做环境中，其作用是初始化执行环境，执行交易和交易结果收集。

交易重做结果比对单元，其作用是将重做的结果与原结果进行比对，生成数据比对报表，向用户发送结果报告。

基于上述的云平台基于日志交易回放和重做的系统的方法，其主要特点是，所述的方法包括日志记录收集流程，日志分析流程，日志查询导出流程，交易回放流程，交易重做流程。

所述的日志记录流程包括以下步骤：

(1)将所述日志记录推送引擎部署到各业务系统中，并初始化运行环境。

(2)所述日志记录单元中，配置异常日志记录规则，修改原业务系统的日志记录功能逻辑，使之系统异常后的错误信息按照配置的规则写入日志文件。

(3)所述日志记录单元中，配置日常日志记录规则，修改原业务系统的日志记录功能逻辑，使之正常运行的日志记录按照配置的规则写入日志文件。

(4)所述的日志记录单元中，配置交易类功能的日志记录规则，修改原业务系统的日志记录功能逻辑，使之将交易发生前、交易过程中、交易发生后等各个环节流转的数据按照配置的规则写入日志文件。

(5)所述的日志推送引擎中，配置日志推送参数，启动定时循环任务，根据参数配置的频率扫描读取本业务系统所记录的日志文件。

(6)所述的日志推送引擎中，扫描到的日志内容，提取循环周期内产生的增量日志内容，进行封装压缩。

(7)所述的日志推送引擎中，将压缩封装好的日志内容，采用http或者tcp等协议，调用日志分析服务器的推送接口，送到日志分析报送模块。

日志分析报送流程，包括以下步骤：

(1)部署日志分析报送模块，初始化运行环境。包括执行数据库操作语句和文件操作语句以及配置文件参数的初始化。

(2)所述的日志收集单元中，启动日志接收服务，等待所述日志记录推送引擎发送过来的日志内容。

(3)所述的日志收集单元中，接收到各个日志记录推送引擎推送过来的日志内容，写入到本地文件系统中，并记录到数据库表。

(4)所述的日志分析单元中，启动日志分析线程，使用定时循环任务，读取接收的日志内容。

(5)读取日志内容后，按照所述日志记录单元中的日志记录规则，分析日志内容。

(6)所述的日志分析单元中，如果分析到日志属于异常日志，则按照规则提取异常的类型、严重程度、发生时间等关键数据，保存到数据库和文件系统中，建立相关查询索引。

(7)所述的日志分析单元中，如果分析到日志属于系统正常运行日志，则按照规则提取出记录的信息、发生时间等关键数据，保存到数据库和文件系统中，建立相关查询索引。

(8)所述的日志分析单元中，如果分析到日志属于交易记录日志，则按照规则提取出交易类型、发生时间以及交易前、交易过程中、交易完成后等各个节点的流转数据等关键信息，保存到数据库或文件系统中，建立查询索引。

(9)所述的异常报送单元中，将日志分析单元中得到的异常结果进行整理和压缩后，通过短信或者邮件的方式向业务系统管理员报送。

日志查询导出流程，包括以下步骤：

(1)所述的日志查询单元中，用户通过日志查询操作界面选择日志查询条件，根据索引匹配到日志信息，通过图形化界面展示。

(2)所述的交易查询单元中，用户选择某业务系统的某交易，读取历史日志数据，统计分析得到改业务交易的报表，通过图形化界面展示。

(3)所述的结果报表导出单元中，用户查询到日志结果后，将结果选择导出为excel或者pdf等文件供离线查看。

交易回放流程，包括以下步骤：

(1)所述的交易回放模块中，需要先部署一套原交易系统环境，部署并启动系统交易回放和重做代理模块。

(2)所述的交易环境初始化数据生成单元中，选择需要回放的交易，提取日志分析单元中所记录的交易发生前、交易过程中、交易发生后等环节的数据。

(3)所述的交易环境初始化数据生成单元中，根据提取的数据和配置的规则，生成数据库初始化脚本。

(4)所述的交易环境初始化数据生成单元中，将数据库初始化脚本和当前交易的配置数据发送到业务系统交易回放代理单元中。

(5)所述业务系统交易回放代理单元中，接收数据库初始化脚本以及当前交易的配置数据。

(6)所述业务系统交易回放代理单元中，执行数据库初始化脚本以及初始化交易运行环境。

(7)所述业务系统交易回放代理单元中，由代理自动调用该交易进行各环节的场景回放或者由用户手动触发该交易的交易回放。

(8)所述的交易重做模块中，需要先部署一套原交易系统环境，部署并启动系统交易回放和重做代理模块。

交易重做流程，包括以下步骤：

(1)所述的交易环境初始化数据生成单元中，选择需要重做的一个或一批交易，提取日志分析单元中所记录的交易发生前、交易发生后等数据。

(2)所述的交易环境初始化数据生成单元中，根据提取的数据和配置的规则，生成数据库初始化脚本。

(3)所述的交易环境初始化数据生成单元中，将数据库初始化脚本和当前交易的配置数据发送到业务系统交易重做代理单元中。

(4)所述业务系统交易重做代理单元中，接收数据库初始化脚本以及当前交易的配置数据。

(5)所述业务系统交易重做代理单元中，执行数据库初始化脚本以及初始化交易运行环境。

(6)所述业务系统交易重做代理单元中，由代理自动调用执行该交易。

(7)所述业务系统交易重做代理单元中，代理调用执行交易结束后，收集本次交易执行的结果数据，发送到交易重做结果比对单元。

(8)所述交易重做结果比对单元中，接收业务系统交易重做代理单元中发送过来的本次交易执行结果数据。

(9)所述交易重做结果比对单元中，提取原交易结果数据，与本次交易结果数据进行比对，得出比对结果，并统计出报表。

(10)所述交易重做结果比对单元中，将得到的比对结果通过短信或者邮件发送给业务系统管理员。

在实际应用中，本发明的云平台基于日志实现交易回放和重做的方法的具体过程如下：

1、日志记录和推送

日志记录和推送环节是嵌入部署在各个应用系统中执行的，负责收集日志和推送到日志分析服务器。需要制定一套日志记录的规则，然后将被嵌入系统的日志记录功能按照规则进行改造。按照规则记录的日志需要定时推送到分析服务器端，具体过程如下：

(1)制定日志记录规则，包括日志来源系统、日志类型、发生时间、当前交易逻辑的上下文数据等信息；

(2)改造被嵌入系统的日志记录功能，按照制定的规则将需要记录的信息记录为日志文件；

(3)创建日志推送定时循环任务，例如每10秒钟执行一次。读取被嵌入系统中记录的未发送的日志，经过压缩后推送到日志分析服务器。已被发送过的日志应记录为已发送；

2、日志分析和异常报送

日志分析和异常报送是本发明的核心环节，日志分析服务器需要接收来自不同系统推送过来的日志，进行文件分析、信息存档、数据提取、异常报送等关键操作。具体过程如下：

(4)设计日志接收流水表，包括日志唯一ID、来源系统、发生时间、文件路径等信息；

(5)设计日志分析流水表，包括日志分析唯一ID、分析时间、分析结果等信息，并与日志唯一ID形成一对一关联；

(6)设计异常记录表，包括异常唯一ID、来源系统、异常名称、发生时间、异常模块、严重级别、是否报送等信息，与日志分析唯一ID形成多对一或者一对一的关联；

(7)设计系统交易记录表，包括交易唯一ID、来源系统、交易名称、交易环节、发生时间、交易执行前数据上下文、交易执行后数据上下文等信息，与日志分析唯一ID形成一对多或者一对一关联；

(8)设计交易回放重现记录表，包括回放重现唯一ID、交易记录ID、执行时间、交易执行前数据上下文、交易执行后数据上下文、执行结果等信息。与交易唯一ID形成一对多或者一对一的关联；

(9)订阅各个系统日志的推送，将接收到的日志文件保存到服务器下，并且将此记录保存到日志接收流水表中；

(10)创建日志读取定时循环任务，例如每10秒钟执行一次，读取日志接收流水表中的记录，获取日志文件路径，读取到相关的日志信息；

(11)使用特定的规则解析日志内容，日志分别为如下三种类型：异常日志、正常日志和交易日志。

(12)所有日志整理存放为文件，使用Lucene建立索引，供检索使用。

(13)如果是异常日志，则提取相应异常的来源系统、异常名称、发生时间、异常模块、严重级别、是否报送等信息，保存到异常记录表中。

(14)如果是交易日志，则提取出来源系统、交易名称、交易环节、发生时间、交易执行前数据上下文、交易执行后数据上下文等信息，保存到系统交易记录表中。

(15)创建异常报送定时循环任务，例如每10秒钟执行一次，扫描异常记录表中的数据，将未报送的异常通过邮件或者短信报送到业务系统管理员处。

3、日志查询和导出

日志的查询和导出是给业务系统管理员提供用户界面查询各个系统日志的工具，包括按条件日志查询、交易查询、统计报表导出等，具体过程如下：

(16)日志查询展现，业务系统管理员通过用户界面输入查询条件，包括日志来源、日志类型、发生时间等维度，通过Lucene索引进行检索查询展现。

(17)交易查询展现，业务系统管理员通过用户界面输入交易查询条件，包括交易名称、交易环节、发生时间等维度，通过检索数据库系统交易记录表，将相应交易的详情展现到用户界面。

(18)报表导出，业务系统管理员查询到相应的数据列表后，点击界面的导出，生成excel或pdf格式的报表文件，提供下载。

4、交易回放

交易回放，是通过记录的日志中提取的数据，将各个系统发生的交易进行回放，还原交易场景方便异常问题的定位。具体过程如下：

(19)部署交易回放执行环境。需要做交易回放的系统，部署一套与生产环境相同的应用，以便在线下回放交易；

(20)部署交易执行代理。创建交易执行代理部署到交易回放执行环境中，调用执行系统中的交易；

(21)生成交易回放初始化脚本。用户在界面上选择某一交易点击开始回放，则查询系统交易记录表提取该交易所有环节的详细数据，根据上下文数据生成初始化环境脚本，并传送到交易执行代理；

(22)初始化执行环境。交易执行代理接收到初始化脚本后，执行该脚本进行环境的初始化；

(23)执行交易回放。交易执行代理调用该系统的交易进行回放执行。并将执行结果保存到交易回放重现记录表；

5、交易重做

交易重做，是通过记录的日志中提取的数据，将应用系统发生的某一批交易使用同样的初始数据进行重做，将重做结果与原结果进行比对，以保障交易数据的正确性，具体步骤如下：

(24)部署交易重做执行环境。需要做交易重做的系统，部署一套与生产环境相同的应用，以便在线下重做交易；

(25)部署交易执行代理。创建交易执行代理部署到交易重做执行环境中，调用执行系统中的交易；

(26)生成交易重做初始化脚本。用户在界面上选择某一批交易点击开始重做，则查询系统交易记录表提取该交易所有环节的详细数据，根据上下文数据生成初始化环境脚本，并传送到交易执行代理；

(27)初始化执行环境。交易执行代理接收到初始化脚本后，执行该脚本进行环境的初始化；

(28)执行交易重做。交易执行代理调用该系统的交易进行回放执行。并将执行结果保存到交易回放重现记录表；

(29)数据比对。提取交易重做数据结果与原交易数据结果进行比对，获得比对结果列表，将比对结果通过邮件发送到用户的邮箱。

采用了该发明中的云平台基于日志实现交易回放和重做的系统及方法，首先，摒弃了传统的日志记录和查看的方式，将企业所有系统的日志收集归拢到一起，提高了查看效率，方便分析和统计；其次，将异常报送告警功能集中到一起，使管理员能及时得到系统的运行状况，并对原系统的影响做到最小；再次，交易的回放和重做采用了用户界面上一键初始化环境和执行的模式，比传统的手工备份生产环境数据再恢复到验证环境执行再比对结果，操作简便执行效率上有所提高，能报送直观的报表数据，具有更广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (11)

1.一种云平台基于日志实现交易回放和重做的系统，其特征在于，所述的实现交易回放和重做的系统包括：

日志记录推送引擎，用以记录业务系统的异常运行日志、正常运行日志和交易记录日志并将记录的日志文件推送至日志分析报送模块；

日志分析报送模块，用以接收推送的日志文件并分析得到异常运行数据、正常运行数据或交易进行数据以及将异常运行数据报送至业务系统管理员；

日志查看导出模块，用以根据用户选择的条件查询用户所需要的日志内容或交易信息并将查询结果导出为报表；

交易回放和重做引擎，用以根据用户选择需要回放或重做的交易提取所述的交易进行数据并执行交易回放或交易重做。

2.根据权利要求1所述的云平台基于日志实现交易回放和重做的系统，其特征在于，所述的日志记录推送引擎包括：

日志记录单元，用以配置日志记录规则并记录业务系统的异常运行日志、正常运行日志和交易记录日志；

日志推送引擎，用以将记录的日志文件推送至日志分析报送模块。

3.根据权利要求2所述的云平台基于日志实现交易回放和重做的系统，其特征在于，所述的日志分析报送模块包括：

日志收集单元，用以接收所述的日志推送引擎推送的日志文件；

日志分析单元，用以根据所述的日常记录单元配置的日志记录规则对日志文件进行分析得到异常运行数据、正常运行数据或交易进行数据；

异常报送单元，用以当分析异常运行日志时将异常运行数据报送至业务系统管理员。

4.根据权利要求1所述的云平台基于日志实现交易回放和重做的系统，其特征在于，所述的日志查看导出模块包括：

日志查询单元，用以根据用户选择的条件从日志索引中查询用户需要的日志内容并进行展示；

交易查询单元，用以通过用户选择的条件从日志提取的交易进行数据中查询需要的交易信息并进行展示；

结果报表导出单元，用以将用户查询的内容生成结果报表。

5.根据权利要求1所述的云平台基于日志实现交易回放和重做的系统，其特征在于，所述的交易回放和重做引擎包括：

交易环境初始化数据生成单元，用以根据用户选择需要回放或重做的交易提取所述的交易进行数据，以及根据提取的交易进行数据和配置的规则，生成数据库初始化脚本；

业务系统交易回放代理单元，用以根据需要回放的交易的数据库初始化脚本执行交易回放；

业务系统交易重做代理单元，用以根据需要重做的交易的数据库初始化脚本执行交易重做；

交易重做结果比对单元，用以将重做的结果与原结果进行比对生成数据比对报表。

6.一种通过权利要求1至5中任一项所述的实现交易回放和重做的系统于云平台基于日志实现交易回放和重做的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的日志记录推送引擎记录业务系统的异常运行日志、正常运行日志和交易记录日志并将记录的日志文件推送至日志分析报送模块；

(2)所述的日志分析报送模块接收推送的日志文件并分析得到异常运行数据、正常运行数据或交易进行数据以及将异常运行数据报送至业务系统管理员

(3)所述的日志查看导出模块根据用户选择的条件查询用户所需要的日志内容或交易信息并将查询结果导出为报表；

(4)所述的交易回放和重做引擎根据用户选择需要回放的交易提取所述的交易进行数据并执行交易回放；

(5)所述的交易回放和重做引擎根据用户选择需要重做的交易提取所述的交易进行数据并执行交易重做。

7.根据权利要求6所述的云平台基于日志实现交易回放和重做的方法，其特征在于，所述的日志记录推送引擎包括日志记录单元和日志推送引擎，所述的步骤(1)包括以下步骤：

(1-1)将所述的日志记录推送引擎部署到各业务系统中，并初始化运行环境；

(1-2)所述的日志记录单元中配置异常运行日志记录规则，修改原业务系统的日志记录功能逻辑，使业务系统异常后的错误信息按照配置的规则写入日志文件；

(1-3)所述的日志记录单元中配置正常运行日志记录规则，修改原业务系统的日志记录功能逻辑，使业务系统正常运行的日志记录按照配置的规则写入日志文件；

(1-4)所述的日志记录单元中配置交易类日志记录规则，修改原业务系统的日志记录功能逻辑，使业务系统将交易数据按照配置的规则写入日志文件；

(1-5)所述的日志推送引擎中配置日志推送参数并将日志文件推送至日志分析报送模块。

8.根据权利要求7所述的云平台基于日志实现交易回放和重做的方法，其特征在于，所述的日志分析报送模块包括日志收集单元、日志分析单元和异常报送单元，所述的步骤(2)包括以下步骤：

(2-1)部署日志分析报送模块并初始化运行环境；

(2-2)所述的日志收集单元接收各个所述的日志记录推送引擎推送过来的日志内容并存储；

(2-3)所述的日志分析单元根据所述的日志记录单元中的日志记录规则分析日志内容；

(2-4)所述的日志分析单元中判断分析到的日志的类型，如果是异常运行日志，则继续步骤(2-5)，如果是正常运行日志，则继续步骤(2-6)，如果是交易记录日志，则继续步骤(2-7)；

(2-5)所述的日志分析单元提取异常运行数据并存储和建立查询索引，然后继续步骤(2-8)；

(2-6)所述的日志分析单元提取正常运行数据并存储和建立查询索引，然后继续步骤(3)；

(2-7)所述的日志分析单元提取交易进行数据并存储和建立查询索引，然后继续步骤(3)；

(2-8)所述的异常报送单元将日志分析单元中得到的异常运行的数据向业务系统管理员报送。

9.根据权利要求6所述的云平台基于日志实现交易回放和重做的方法，其特征在于，所述的日志查看导出模块包括日志查询单元、交易查询单元和结果报表导出单元，所述的步骤(3)包括以下内容：

(3-1)所述的日志查询单元中根据用户选择的日志查询条件和索引匹配到用户需要的日志内容并进行展示；

(3-2)所述的交易查询单元中根据用户选择的交易查询条件分析得到用户需要的交易信息并进行展示；

(3-3)所述的结果报表导出单元中将查询结果选择导出报表文件供离线查看。

10.根据权利要求6所述的云平台基于日志实现交易回放和重做的方法，其特征在于，所述的交易回放和重做引擎包括交易环境初始化数据生成单元和业务系统交易回放代理单元，所述的步骤(4)包括以下步骤：

(4-1)部署原业务系统环境，部署并启动交易回放和重做引擎；

(4-2)所述的交易环境初始化数据生成单元选择需要回放的交易，提取所述的日志分析报送模块中所记录的交易进行数据；

(4-3)所述的交易环境初始化数据生成单元根据提取的交易进行数据和日志记录单元配置的日志记录规则，生成数据库初始化脚本；

(4-4)所述的交易环境初始化数据生成单元将数据库初始化脚本发送到业务系统交易回放代理单元中；

(4-5)所述业务系统交易回放代理单元接收数据库初始化脚本以及当前交易的配置数据；

(4-6)所述业务系统交易回放代理单元执行数据库初始化脚本以及初始化交易运行环境；

(4-7)所述系统交易回放代理单元中，由代理自动调用该交易进行各环节的场景回放或由用户手动触发该交易的交易回放。

11.根据权利要求10所述的云平台基于日志实现交易回放和重做的方法，其特征在于，所述的交易回放和重做引擎还包括业务系统交易重做代理单元和交易重做结果比对单元，所述的步骤(5)包括以下步骤：

(5-11)所述的交易环境初始化数据生成单元中，选择需要重做的一个或一批交易，提取所述的日志分析报送模块中所记录的交易进行数据；

(5-2)所述的交易环境初始化数据生成单元根据提取的交易进行数据和日志记录单元配置的日志记录规则，生成数据库初始化脚本；

(5-3)所述的交易环境初始化数据生成单元将数据库初始化脚本发送到业务系统交易重做代理单元中；

(5-4)所述业务系统交易重做代理单元接收数据库初始化脚本以及当前交易的配置数据；

(5-5)所述系统交易重做代理单元执行数据库初始化脚本以及初始化交易运行环境；

(5-6)所述系统交易重做代理单元中，由代理自动调用执行该交易；

(5-7)所述系统交易重做代理单元中，代理调用执行交易结束后，收集本次交易执行的结果数据并发送到所述的交易重做结果比对单元；

(5-8)所述交易重做结果比对单元接收所述的本次交易执行结果数据；

(5-9)所述交易重做结果比对单元提取原交易结果数据，与本次交易结果数据进行比对得出比对结果并统计出报表；

(5-10)所述交易重做结果比对单元将得到的比对结果报送至业务系统管理员。