CN115981979A - 日志数据处理方法、装置、设备、介质和计算机程序产品 - Google Patents

Abstract

本申请涉及大数据技术领域，提供了一种日志数据处理方法、装置、计算机设备、存储介质和计算机程序产品，可具体应用于金融领域或其他相关领域。本申请能够实现提高确定主机端的双活切换性能数据的准确性和效率。该方法包括：接收主机端发送的日志数据，日志数据为主机端在进行双活切换的过程中产生的数据，根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据，分别提取出各条单独日志数据中的目标数据，目标数据用于表示与主机端的双活切换性能相关的数据，对目标数据进行性能识别，得到针对主机端的双活切换性能数据。

Description

日志数据处理方法、装置、设备、介质和计算机程序产品

技术领域

本申请涉及大数据技术领域，特别是涉及一种日志数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着计算机技术的发展，数据中心等大型主机已被应用于众多领域，扮演着极其重要的角色。数据中心在双活架构下，主机核心系统与并行系统同时运行，在主机核心系统发生重大突发事件后，业务可快速从主机核心系统切换到并行系统，确保业务连续可用，所以，主机端的双活切换功能的正常使用尤其重要。因此，如何确定主机端的双活切换性能数据成为了重要的研究方向。

传统技术通常是专业人员在主机端中人工计算主机端的双活切换性能数据，但是该方式主要依据人工计算，导致确定主机端的双活切换性能数据的准确性较低。

发明内容

基于此，有必要针对上述技术问题，提供一种日志数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种日志数据处理方法。方法包括：

接收主机端发送的日志数据；日志数据为主机端在进行双活切换的过程中产生的数据；

根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据；

分别提取出各条单独日志数据中的目标数据；目标数据用于表示与主机端的双活切换性能相关的数据；

对目标数据进行性能识别，得到针对主机端的双活切换性能数据。

在其中一个实施例中，分别提取出各条单独日志数据中的目标数据，包括：

确定各条单独日志数据中包含的开始消息和结束消息；开始消息为记录双活切换的各个阶段的开始的消息，结束消息为记录双活切换的各个阶段的结束的消息；

分别提取出各条单独日志数据中包含的开始消息、结束消息和异常信息，5作为目标数据。

在其中一个实施例中，开始消息中包含开始时间戳，结束消息中包含结束时间戳；

对目标数据进行性能识别，得到针对主机端的双活切换性能数据，包括：

根据开始时间戳和结束时间戳，识别双活切换的各个阶段的耗时信息；0根据耗时信息和异常信息，得到双活切换性能数据。

在其中一个实施例中，根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据，包括：

根据主机端的日志数据格式，确定时间字段的第一位置和预设位置的第一

字符信息；

5根据日志数据中的时间字段的第二位置和预设位置的第二字符信息，以及

第一位置和第一字符信息，对日志数据进行拆解处理，得到各条单独日志数据。

在其中一个实施例中，在对目标数据进行性能识别，得到针对主机端的双活切换性能数据之后，还包括：

响应于检索请求，确定检索条件；

0根据检索条件，从双活切换性能数据中选取目标双活切换性能数据；

对目标双活切换性能数据进行排序处理，得到目标双活切换性能数据序列；

展示目标双活切换性能数据序列。

在其中一个实施例中，主机端包括主站点、备站点和控制站点；

接收主机端发送的日志数据，包括：5接收控制站点发送的日志数据；控制站点用于触发主站点和备站点进行双

活切换，并将主站点和备站点在进行双活切换的过程中产生的数据，作为日志数据。

第二方面，本申请还提供了一种日志数据处理装置。所述装置包括：

日志数据接收模块，用于接收主机端发送的日志数据；所述日志数据为所述主机端在进行双活切换的过程中产生的数据；

日志数据拆解模块，用于根据所述主机端的日志数据格式，对所述日志数据进行拆解处理，得到各条单独日志数据；

目标数据提取模块，用于分别提取出所述各条单独日志数据中的目标数据；所述目标数据用于表示与所述主机端的双活切换性能相关的数据；

性能数据得到模块，用于对所述目标数据进行性能识别，得到针对所述主机端的双活切换性能数据。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

接收主机端发送的日志数据；日志数据为主机端在进行双活切换的过程中产生的数据；根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据；分别提取出各条单独日志数据中的目标数据；目标数据用于表示与主机端的双活切换性能相关的数据；对目标数据进行性能识别，得到针对主机端的双活切换性能数据。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

接收主机端发送的日志数据；日志数据为主机端在进行双活切换的过程中产生的数据；根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据；分别提取出各条单独日志数据中的目标数据；目标数据用于表示与主机端的双活切换性能相关的数据；对目标数据进行性能识别，得到针对主机端的双活切换性能数据。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

接收主机端发送的日志数据；日志数据为主机端在进行双活切换的过程中产生的数据；根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据；分别提取出各条单独日志数据中的目标数据；目标数据用于表示与主机端的双活切换性能相关的数据；对目标数据进行性能识别，得到针对主机端的双活切换性能数据。

上述日志数据处理方法、装置、计算机设备、存储介质和计算机程序产品，接收主机端发送的日志数据，日志数据为主机端在进行双活切换的过程中产生的数据，根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据，分别提取出各条单独日志数据中的目标数据，目标数据用于表示与主机端的双活切换性能相关的数据，对目标数据进行性能识别，得到针对主机端的双活切换性能数据。该方案通过接收主机端在进行双活切换时产生的日志数据，对日志数据进行拆解，得到各个单条日志数据，从而实现提高日志数据的可读性和可操作性，从各个单条日志数据中提取出与双活切换性能相关的数据，对该双活切换性能相关的数据进行性能分析，自动识别得到主机端的双活切换性能数据，从而提高确定主机端的双活切换性能数据的准确性和效率。

附图说明

图1为一个实施例中日志数据处理方法的流程示意图；

图2为一个实施例中日志数据处理方法的装置示意图；

图3为一个实施例中任务暂停恢复等设置装置的实现流程示意图；

图4为一个实施例中任务下发装置的实现流程示意图；

图5为一个实施例中交互调度装置的实现流程示意图；

图6为一个实施例中双活切换的流程示意图；

图7为一个实施例中任务主体执行装置的实现流程示意图；

图8为一个实施例中任务数据缓存模型装置的实现流程示意图；

图9为一个实施例中可视化装置的实现流程示意图；

图10为一个实施例中日志数据处理装置的结构框图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种日志数据处理方法，本实施例以该方法应用于终端进行举例说明，包括以下步骤：

步骤S101，接收主机端发送的日志数据。

本步骤中，日志数据为主机端在进行双活切换的过程中产生的数据，日志数据可以是计算机中的日志；主机端可以包括主站点(主服务器)、备站点(备服务器)和控制站点(控制服务器)。

具体的，主机端进行双活切换，产生双活切换的日志数据，终端发送双活切换的日志数据的请求信息至主机端，主机端反馈对应的日志数据，终端接收主机端发送的日志数据。

示例性的，如图2所示，主机端中可包括D001任务暂停恢复等设置装置和D002任务下发装置，终端中可包括D003交互调度装置、D004任务主体执行装置、D005数据缓存模型装置和D006可视化装置，例如，如图3所示，主机端通过D001任务暂停恢复等设置装置接收到终端发送的请求信息后，可将日志数据和日志解析规则(日志数据格式)发送至终端(也可称为平台端，如安装了双活切换管理平台的终端)，也可以通过触发一键式流程时将数据传输至终端的数据库中，创建基于任务配置的任务ID模型(任务ID模型为唯一索引，其他的性能和功能数据都以此为主键展开)、创建与任务暂停恢复信号的交互接口等预先设置的配置，使得终端可通过调用数据库读操作，读取相关任务ID的信号状态，响应于用户触发的一键式指令，执行任务操作并将交互结果返回到任务调度；如图4所示，主机端通过D002任务下发装置部署通过相关信息头可触发脚本运行的收数模块(在主机端部署的日志数据收集的程序脚本)，实现在切换窗口期间当收数模块识别到相关信息头时便打开日志采集开关，完成主机端双活切换日志数据收集，终端响应于一键式指令，执行数据下传、数据解析入库以及数据备份任务，主机端日志下传任务中，通过读取主机端环境配置并下发命令到主机端，实现主机端日志远程FTP(FileTransferProtocol，文件传输协议)到终端(平台端)，日志到终端后，终端经消息头配置表筛选匹配，完成日志过滤解析，使得可提取双活站点切换总耗时、切换各阶段耗时、各阶段执行时段以及各专业在切换中异常信息，将上述日志解析结果入数据库保存，为保证原型日志不丢失，将其解析后导入到文件中(即平台端完成日志解析入库)，完成日志备份保存(即平台端完成原型日志备份)；如图5所示，主机端在双活站点切换中，利用主机端的自动化解决方案，部署自动化收数模块配置，在切换控制端采集切换开始消息头、切换终止信息头控制各个切换站点端收数脚本的启停，通过以上配置部署，实现切换控制端与切换站点端消息交互，完成切换日志数据写入文件(主机端自动调度，实现主机日志收集)，终端可通过D003交互调度装置(任务交互调度装置可包含主机端自动调度装置、平台与主机端交互调度装置和前端与后端调度装置)，利用一键式触发指令，通过Socket(套接字)通讯模块将主机系统与终端系统间建立信息通道，将多个主机系统信息使用FTP模块下传至终端的多节点数据库中进行统一日志管理(终端与主机端交互调度，实现主机日志下传)，下传的日志完成解析后，解析数据将存储到数据库中，并通过接口，实现数据库与前端数据读取的交互(终端前端与终端后端调度，实现终端切换关键性能指标查询和日志检索功能)。

步骤S102，根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据。

本步骤中，主机端的日志数据格式可以是主机端生成的日志数据对应的数据格式(日志格式)；拆解处理可以是拆分处理，例如将一份日志数据拆分成多个单条日志的处理。

具体的，终端根据预先存储的主机端的日志数据格式(也可以是发送日志数据格式请求获取信息至主机端，接收主机端反馈的日志数据格式)，确定日志数据中各条日志之间的分隔标识，根据分隔标识，对日志数据进行拆解处理，使得将日志数据拆分成各条单独日志数据。

步骤S103，分别提取出各条单独日志数据中的目标数据。

本步骤中，目标数据用于表示与主机端的双活切换性能相关的数据，可以是用于记录特定事件的数据。

具体的，终端分别从各条单独日志数据中，识别目标数据，将识别到的目标数据从各条单独日志数据中提取。

步骤S104，对目标数据进行性能识别，得到针对主机端的双活切换性能数据。

本步骤中，性能识别可以是从目标数据中识别出主机端的双活切换性能的处理；双活切换性能数据可以包括双活切换中各个阶段的耗时和异常信息。

具体的，终端对目标数据进行性能识别(性能分析)，得到主机端在进行双活切换过程中的性能信息，根据性能信息，确定主机端的双活切换性能数据。

上述日志数据处理方法中，接收主机端发送的日志数据，日志数据为主机端在进行双活切换的过程中产生的数据，根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据，分别提取出各条单独日志数据中的目标数据，目标数据用于表示与主机端的双活切换性能相关的数据，对目标数据进行性能识别，得到针对主机端的双活切换性能数据。该方案通过接收主机端在进行双活切换时产生的日志数据，对日志数据进行拆解，得到各个单条日志数据，从而实现提高日志数据的可读性和可操作性，从各个单条日志数据中提取出与双活切换性能相关的数据，对该双活切换性能相关的数据进行性能分析，自动识别得到主机端的双活切换性能数据，从而提高确定主机端的双活切换性能数据的准确性和效率。

在一个实施例中，上述步骤S103的分别提取出各条单独日志数据中的目标数据具体包括：确定各条单独日志数据中包含的开始消息和结束消息；分别提取出各条单独日志数据中包含的开始消息、结束消息和异常信息，作为目标数据。

本实施例中，开始消息为记录双活切换的各个阶段的开始的消息，结束消息为记录双活切换的各个阶段的结束的消息，其中，如图6所示，双活切换的各个阶段可以是主机端中的主站点和备站点进行双活切换过程中实现的各个阶段，例如，各个阶段可以包括主备站点数据库状态检查(主站点和备站点的数据库状态检查)、拦截主站点联机交易(拦截主站点联机交易，只允许交易返回，不允许交易发送)、停止网关与主站点连接、停止主站点在途交易进程、打开主站点数据库写保护、停止主站点数据库数据复制、关闭备站点数据库写保护、激活网关与备站点连接和备站点联机开启并正常接管业务；开始消息可以是开始消息头，例如主机端在双活切换的各个阶段的开始时会生成一个携带(或包含)时间戳的信息头；结束消息可以是结束消息头，例如主机端在双活切换的各个阶段的结束时会生成一个携带(或包含)时间戳的信息头；异常信息可以是双活站点切换的报警信息，可以包括报警信息头和具体的报警信息。

具体的，终端根据主机端的日志数据格式，确定主机端的开始消息、结束消息和异常信息所对应的数据格式，在各条单独日志数据中，识别并确定出开始消息、结束消息和异常信息，分别从各条单独日志数据中提取出开始消息、结束消息和异常信息，作为目标数据。

本实施例的技术方案，通过将开始消息、结束消息和异常信息作为目标数据，有利于快速并准确地确定目标数据，从而有利于后续提高确定主机端的双活切换性能数据的准确性和效率。

在一个实施例中，上述步骤S104的对目标数据进行性能识别，得到针对主机端的双活切换性能数据具体包括：根据开始时间戳和结束时间戳，识别双活切换的各个阶段的耗时信息；根据耗时信息和异常信息，得到双活切换性能数据。

本实施例中，开始消息中包含开始时间戳，结束消息中包含结束时间戳；耗时信息可以是耗时(时间)。

具体的，终端根据双活切换的各个阶段的开始消息和结束消息，确定双活切换的各个阶段的开始时间戳和结束时间戳，根据双活切换的各个阶段的开始时间戳和结束时间戳之间的差值(时间差)，确定双活切换的各个阶段的耗时，并对日志数据进行识别(分析)，确定主机端部署的各类应用组件(如数据库、中间件、存储等)在双活切换时间段内于切换站点端的表现(运行信息)，整合(或融合/合并)双活切换版本信息、双活切换方向、时间、各类应用组件、系统、信息类型、报警信息头和具体的报警信息，以及双活切换的各个阶段的耗时，得到双活切换性能数据。

示例性的，如图7所示，终端通过D004任务主体执行装置，根据主机端的日志数据格式，解析日志数据并计算双活站点各阶段耗时的性能数据，如主备站点数据库状态检查耗时为出现GEO4574I和GEOCALLN消息头的时间差、拦截主站点联机交易耗时为出现GEOCALLN和GEOGOODT消息头的时间差、停止网关与主站点连接耗时为出现GEO4825I和GEO1560I消息头的时间差、停止主站点在途交易进程耗时为出现GEO1569I和GEO1537I消息头的时间差、打开主站点数据库写保护耗时为出现GEO1537I和GEO1533I消息头的时间差、停止主站点数据库数据复制耗时为出现GEO4602I和GEO1582I消息头的时间差、关闭备站点数据库写保护耗时为出现GEO1537I和GEO1533I消息头的时间差、激活网关与备站点连接耗时为出现GEO4823I和GEO1589I消息头的时间差、备站点联机开启耗时为出现GEO1589I和GEOSWEND消息头的时间差，最后根据以上计算结果，确定双活切换的各个阶段的耗时信息(终端解析日志数据并计算双活站点各阶段耗时的性能数据)，以及，对日志数据进行分析，确定主机端部署的各类应用组件(如数据库、中间件、存储等)在双活切换时间段内于切换站点端的表现(运行信息)，整合双活切换版本信息、双活切换方向、时间、各类应用组件、系统、信息类型、报警信息头和具体的报警信息(终端解析日志数据并收集双活站点切换的报警信息)，以及双活切换的各个阶段的耗时，得到双活切换性能数据。

本实施例的技术方案，通过耗时信息和异常信息，得到双活切换性能数据，有利于快速地和准确地确定双活切换性能数据，从而有利于提高确定主机端的双活切换性能数据的多样性、准确性和效率。

在一个实施例中，上述步骤S102的根据主机端的日志数据格式，对日志数据进行拆解处理，得到各条单独日志数据具体包括：根据主机端的日志数据格式，确定时间字段的第一位置和预设位置的第一字符信息；根据日志数据中的时间字段的第二位置和预设位置的第二字符信息，以及第一位置和第一字符信息，对日志数据进行拆解处理，得到各条单独日志数据。

本实施例中，时间字段可以是用于表示时间戳或记录时间的字段；时间字段的第一位置可以是用于判断日志数据中各条单独日志数据之间的分隔标识的位置，例如各行的位置和各行的第a个字符，a可以是30；预设位置可以是用于判断日志数据中各条单独日志数据之间的分隔标识的另一个位置，例如各行的第b个字符，b可以是39；第一字符信息可以是用于判断日志数据中各条单独日志数据之间的分隔标识的字符，例如可以是双引号字符(如”)；时间字段的第二位置可以是日志数据中的时间字段的实际位置；预设位置的第二字符信息可以是日志数据中的预设位置的实际字符。

具体的，终端根据主机端的日志数据格式，确定时间字段的数据格式，和用于判断日志数据中各条单独日志数据之间的分隔标识的时间字段的第一位置，以及预设位置的位置信息和第一字符信息的数据格式，在日志数据中识别出时间字段的第二位置(实际位置)，和预设位置的第二字符信息(预设位置的字符)，通过判断第二位置和第一位置是否匹配，以及判断第二字符信息和第一字符信息是否匹配，确定各行日志是新的一条日志或者与上一行为同一条日志，从而对日志数据进行拆解处理，得到各条单独日志数据。

示例性的，如图8所示，步骤1，终端通过D005任务数据缓存模型装置，按行遍历日志文件，读取日志数据；步骤2，判断行内是否存在时间字段；步骤3，若行内存在时间字段，判断本行内第39个字符是否为“＂”；步骤4，若本行内不存在时间字段，则本行与上一行为同一条日志；步骤5，若本行的第39个字符是“＂”，判断上一行日志的第39个字符是否为“＂”；步骤6，若本行的第39个字符不是“＂”，判断时间字段首字符是否是行内的第30个字符；步骤7，若本行与上一行的第39个字符均是“＂”，则本行与上一行为同一条日志；步骤8，若本行第39个字符是“＂”，而上一行第39个字符不是“＂”，则本行为新的一条日志；步骤9，若本行第39个字符是“＂”，而时间字段首字符不是行内的第30个字符，则本行与上一行为同一条日志；步骤10，若本行第39个字符是“＂”，时间字段首字符是行内的第30个字符，则本行为新的一条日志；步骤11，终端从而对日志数据进行拆解处理，得到各条单独日志数据，将拆解重组后完整的单条日志入库(存储至数据库)。

本实施例的技术方案，通过根据时间字段的第一位置、第二位置以及预设位置的第一字符信息、第二字符信息，从而有利于准确地对日志数据进行拆解处理，得到各条单独日志数据，从而有利于后续提高确定主机端的双活切换性能数据的准确性。

在一个实施例中，上述方法还可以通过如下步骤展示目标双活切换性能数据序列，具体包括：响应于检索请求，确定检索条件；根据检索条件，从双活切换性能数据中选取目标双活切换性能数据；对目标双活切换性能数据进行排序处理，得到目标双活切换性能数据序列；展示目标双活切换性能数据序列。

本实施例中，检索请求可以是用户触发的检索请求，例如对日期进行筛选的检索请求；检索条件可以包括对日期进行筛选的条件；排序处理可以是从性能好到性能差的排序处理，也可以是从耗时短到耗时长的排序处理；目标双活切换性能数据序列可以是从性能好到性能差的序列，也可以是从耗时短到耗时长的序列。

具体的，终端在对目标数据进行性能识别，得到针对主机端的双活切换性能数据之后，可接收用户触发的检索请求，响应于检索请求，确定对应的检索条件，根据检索条件，从双活切换性能数据中选取出满足检索条件的目标双活切换性能数据，可对目标双活切换性能数据进行从优到差的排序处理，得到目标双活切换性能数据序列，向用户展示目标双活切换性能数据序列。

示例性的，如图9所示，终端可通过D006可视化装置(可分为切换关键性能指标查询功能模块和切换日志检索功能模块)配置网络应用程序接口实现双活切换管理平台(终端)与数据缓存数据库间的交互，通过筛选切换日期，展示切换各阶段耗时及整体的业务影响耗时，并可实时展示切换耗时较少的TOP10排名，以及最后一次切换耗时的排名(即配置性能数据展示及检索方式)，另外，也可通过筛选切换日期，展示筛选日期的报警信息，并可通过筛选信息头，展示信息报警次数、报警日期等属性数据(即配置报警日志展示及检索方式)。

本实施例的技术方案，通过根据检索请求，展示目标双活切换性能数据序列，从而有利于提高对双活切换性能数据进行分析的便捷性、可操作性和功能性。

在一个实施例中，上述步骤S101的接收主机端发送的日志数据具体包括：接收控制站点发送的日志数据。

本实施例中，主机端包括主站点、备站点和控制站点；控制站点用于触发主站点和备站点进行双活切换，并将主站点和备站点在进行双活切换的过程中产生的数据，作为日志数据。

具体的，在主站点出现重大错误或重大异常等情况需要进行双活切换时，控制站点检测到主站点满足进行双活切换的条件时，触发主站点和备站点进行双活切换，主站点和备站点在进行双活切换的过程中会产生双活切换的日志数据，控制站点会从主站点和备站点处备份该双活切换的日志数据，在控制端接收到终端的双活切换的日志数据的请求信息时，反馈日志数据至终端，终端接收控制站点发送的日志数据。

本实施例的技术方案，通过接收用于触发主站点和备站点进行双活切换的控制站点发送的日志数据，从而有利于终端获取到完整的双活切换的日志数据，从而有利于后续提高确定主机端的双活切换性能数据的准确性。

以下以一个实施例说明本申请提供的日志数据处理方法，本实施例以该方法应用于终端进行举例说明，主要步骤包括：

第一步，终端接收控制站点发送的日志数据。

第二步，终端根据主机端的日志数据格式，确定时间字段的第一位置和预设位置的第一字符信息。

第三步，终端根据日志数据中的时间字段的第二位置和预设位置的第二字符信息，以及第一位置和第一字符信息，对日志数据进行拆解处理，得到各条单独日志数据。

第四步，终端确定各条单独日志数据中包含的开始消息和结束消息。

第五步，终端分别提取出各条单独日志数据中包含的开始消息、结束消息和异常信息，作为目标数据。

第六步，终端根据开始时间戳和结束时间戳，识别双活切换的各个阶段的耗时信息。

第七步，终端根据耗时信息和异常信息，得到双活切换性能数据。

第八步，终端响应于检索请求，确定检索条件。

第九步，终端根据检索条件，从双活切换性能数据中选取目标双活切换性能数据。

第十步，终端对目标双活切换性能数据进行排序处理，得到目标双活切换性能数据序列。

第十一步，终端展示目标双活切换性能数据序列。

其中，日志数据为主机端在进行双活切换的过程中产生的数据；主机端包括主站点、备站点和控制站点；控制站点用于触发主站点和备站点进行双活切换，并将主站点和备站点在进行双活切换的过程中产生的数据，作为日志数据；目标数据用于表示与主机端的双活切换性能相关的数据；开始消息为记录双活切换的各个阶段的开始的消息，结束消息为记录双活切换的各个阶段的结束的消息；开始消息中包含开始时间戳，结束消息中包含结束时间戳。

举例来说，终端基于主机双活站点切换功能，构建切换验收的性能解析和日志分析平台，首先配置切换启停消息头，通过消息头控制主机端收数脚本启停，然后通过设置启动、暂停及恢复信号控制任务执行，在任务正常执行时，日志将一键式下传到终端，利用性能指标计算规则表和日志解析规则表，完成切换管理的关键信息提取，最后在展示端实现切换性能展示、日志搜索、筛选和分析等常用和高阶日志检索功能。其中，终端和主机端中可包含D001任务暂停恢复等设置装置、D002任务下发装置、D003交互调度装置、D004任务主体执行装置、D005数据缓存模型装置和D006可视化装置，D001任务暂停恢复等设置装置可设置在前端(终端的前端)部署，当用户设置任务暂停或恢复信号请求时，前端就携带该信号传入后端任务主体模型(终端的后端)，主体模型收到信号后将执行信号暂停或恢复命令；D002任务下发装置负责将任务分解，分解为日志下传、日志解析入库及日志备份等日志管理任务，并将每个任务创建一个子任务模型ID，该ID将用于缓存待与任务操作对象交互的信息，并将交互结果传入子任务模型；D003交互调度装置包含自动触发收数设置、安全控制与命令模块、以及前后端接口设置，实现了主机端收数模块自动调度、平台端与主机端日志下传任务的交互调度及日志解析端与日志查询端间的交互；D004任务主体执行装置实现性能数据分析和日志解析功能，该功能由冲突检测、环境配置、产品消息头配置、切换指标消息配置、Python(计算机程序设计语言)解析、日志关联分析等模块组成，完成了原型日志的分解、关键性指标的提取以及异常消息的整合；D005数据缓存模型即将日志解析数据存储到多节点数据库中，便于后续数据读取；D006可视化装置是在数据解析后，将存储到数据库内的解析结果渲染到前端，实现切换关键性能指标查询及日志检索功能。

本实施例的技术方案，通过接收主机端在进行双活切换时产生的日志数据，对日志数据进行拆解，得到各个单条日志数据，从而实现提高日志数据的可读性和可操作性，从各个单条日志数据中提取出与双活切换性能相关的数据，对该双活切换性能相关的数据进行性能分析，自动识别得到主机端的双活切换性能数据，从而提高确定主机端的双活切换性能数据的准确性和效率，而且，通过终端与主机端的交互方式，方便用户以终端的视角操作主机端的日志数据，降低了主机端的日志数据的查看门槛，提供了更为丰富的日志功能，完善主机端双活切换中关键性能指标查询和各配置的表现，为评估主机端应用版本、主机端系统补丁验收、主机端系统软件升级等项目提供了有效数据及判断依据，实现测试人员人工经验向自动化功能的进一步转变，可直观地展示主机双活切换场景下的性能和功能表现，无需专业人员通过手工操作分析，具有较好的普适性，对评估主机端双活切换高可用功能方面有很大的应用价值。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的日志数据处理方法的日志数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个日志数据处理装置实施例中的具体限定可以参见上文中对于日志数据处理方法的限定，在此不再赘述。

在一个实施例中，如图10所示，提供了一种日志数据处理装置，该装置1000可以包括：

日志数据接收模块1001，用于接收主机端发送的日志数据；所述日志数据为所述主机端在进行双活切换的过程中产生的数据；

日志数据拆解模块1002，用于根据所述主机端的日志数据格式，对所述日志数据进行拆解处理，得到各条单独日志数据；

目标数据提取模块1003，用于分别提取出所述各条单独日志数据中的目标数据；所述目标数据用于表示与所述主机端的双活切换性能相关的数据；

性能数据得到模块1004，用于对所述目标数据进行性能识别，得到针对所述主机端的双活切换性能数据。

在一个实施例中，目标数据提取模块1003，还用于确定所述各条单独日志数据中包含的开始消息和结束消息；所述开始消息为记录所述双活切换的各个阶段的开始的消息，所述结束消息为记录所述双活切换的各个阶段的结束的消息；分别提取出所述各条单独日志数据中包含的所述开始消息、所述结束消息和异常信息，作为所述目标数据。

在一个实施例中，所述开始消息中包含开始时间戳，所述结束消息中包含结束时间戳；性能数据得到模块1004，还用于根据所述开始时间戳和所述结束时间戳，识别所述双活切换的各个阶段的耗时信息；根据所述耗时信息和所述异常信息，得到所述双活切换性能数据。

在一个实施例中，日志数据拆解模块1002，还用于根据所述主机端的日志数据格式，确定时间字段的第一位置和预设位置的第一字符信息；根据所述日志数据中的所述时间字段的第二位置和所述预设位置的第二字符信息，以及所述第一位置和所述第一字符信息，对所述日志数据进行拆解处理，得到所述各条单独日志数据。

在一个实施例中，该装置1000还包括：数据展示模块，用于响应于检索请求，确定检索条件；根据所述检索条件，从所述双活切换性能数据中选取目标双活切换性能数据；对所述目标双活切换性能数据进行排序处理，得到目标双活切换性能数据序列；展示所述目标双活切换性能数据序列。

在一个实施例中，所述主机端包括主站点、备站点和控制站点；日志数据接收模块1001，还用于接收所述控制站点发送的所述日志数据；所述控制站点用于触发所述主站点和所述备站点进行双活切换，并将所述主站点和所述备站点在进行双活切换的过程中产生的数据，作为所述日志数据。

上述日志数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

需要说明的是，本申请提供的日志数据处理的方法和装置可用于金融领域涉及日志数据处理的应用领域中，也可用于除金融领域之外的任意领域涉及日志数据处理的处理中，本申请提供的日志数据处理的方法和装置的应用领域不做限定。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种日志数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种日志数据处理方法，其特征在于，所述方法包括：

接收主机端发送的日志数据；所述日志数据为所述主机端在进行双活切换的过程中产生的数据；

根据所述主机端的日志数据格式，对所述日志数据进行拆解处理，得到各条单独日志数据；

分别提取出所述各条单独日志数据中的目标数据；所述目标数据用于表示与所述主机端的双活切换性能相关的数据；

对所述目标数据进行性能识别，得到针对所述主机端的双活切换性能数据。

2.根据权利要求1所述的方法，其特征在于，所述分别提取出所述各条单独日志数据中的目标数据，包括：

确定所述各条单独日志数据中包含的开始消息和结束消息；所述开始消息为记录所述双活切换的各个阶段的开始的消息，所述结束消息为记录所述双活切换的各个阶段的结束的消息；

分别提取出所述各条单独日志数据中包含的所述开始消息、所述结束消息和异常信息，作为所述目标数据。

3.根据权利要求2所述的方法，其特征在于，所述开始消息中包含开始时间戳，所述结束消息中包含结束时间戳；

所述对所述目标数据进行性能识别，得到针对所述主机端的双活切换性能数据，包括：

根据所述开始时间戳和所述结束时间戳，识别所述双活切换的各个阶段的耗时信息；

根据所述耗时信息和所述异常信息，得到所述双活切换性能数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述主机端的日志数据格式，对所述日志数据进行拆解处理，得到各条单独日志数据，包括：

根据所述主机端的日志数据格式，确定时间字段的第一位置和预设位置的第一字符信息；

根据所述日志数据中的所述时间字段的第二位置和所述预设位置的第二字符信息，以及所述第一位置和所述第一字符信息，对所述日志数据进行拆解处理，得到所述各条单独日志数据。

5.根据权利要求1所述的方法，其特征在于，在对所述目标数据进行性能识别，得到针对所述主机端的双活切换性能数据之后，还包括：

响应于检索请求，确定检索条件；

根据所述检索条件，从所述双活切换性能数据中选取目标双活切换性能数据；

对所述目标双活切换性能数据进行排序处理，得到目标双活切换性能数据序列；

展示所述目标双活切换性能数据序列。

6.根据权利要求1所述的方法，其特征在于，所述主机端包括主站点、备站点和控制站点；

所述接收主机端发送的日志数据，包括：

接收所述控制站点发送的所述日志数据；所述控制站点用于触发所述主站点和所述备站点进行双活切换，并将所述主站点和所述备站点在进行双活切换的过程中产生的数据，作为所述日志数据。

7.一种日志数据处理装置，其特征在于，所述装置包括：

日志数据接收模块，用于接收主机端发送的日志数据；所述日志数据为所述主机端在进行双活切换的过程中产生的数据；

日志数据拆解模块，用于根据所述主机端的日志数据格式，对所述日志数据进行拆解处理，得到各条单独日志数据；

目标数据提取模块，用于分别提取出所述各条单独日志数据中的目标数据；所述目标数据用于表示与所述主机端的双活切换性能相关的数据；

性能数据得到模块，用于对所述目标数据进行性能识别，得到针对所述主机端的双活切换性能数据。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images