CN110990335B - 日志归档方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种日志归档方法、装置、设备及计算机可读存储介质，涉及金融科技领域，该方法包括步骤：当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，探测可达的接收端；通过断点续传的方式发送包含待归档日志的归档指令给可达的接收端，并检测发送归档指令过程中是否存在异常中断操作，其中，待归档日志为日志归档平台应用实例的日志；若检测到发送归档指令过程中存在异常中断操作，则通过执行回滚操作，并将异常中断操作对应的归档指令重新发送给接收端，以供接收端对归档指令中的待归档日志执行归档操作。本发明降低了日志归档难度，现了在日志归档过程中，无需更改日志的内容，可以对原始完整的日志进行归档。

Description

日志归档方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及金融科技(Fintech)的日志处理技术领域，尤其涉及一种日志归档方法、装置、设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，日志处理技术也不例外，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。

随着互联网技术的发展，越来越多的用户通过互联网进行交易，海量的用户带来海量的交易，海量的交易带来海量的日志文件需要存储。在监管的要求下，日志文件包括登录尝试、数据修改、系统事件、网络事件、错误信息等对应的文件。

目前常用的日志归档管理为使用开源分布式日志组件或者通过关系型数据库组建日志归档平台。其中，开源分布式日志组件的技术栈属于编程型方案，原生态功能主要偏向于流处理计算，以及内容搜索。因此开源分布式日志组件所用的工具链较为复杂，需要一定的运营经验做指导，实际部署存在一定的难度。对于单纯的日志归档存放这一原始需求场景而言，使用开源分布式日志组件所带来的复杂性，远超出其便捷性。借助关系型数据库进行日志归档的方案存在如下缺点：日志因不同应用系统开发规范松紧不一，原始的日志格式千差万别，然而需要将不同格式的日志存入设定好的数据库表，必不可少的需要进行格式规范约定，或者进行ETL(Extract-Transform-Load，抽取、清洗、转换、装载)工序，以便日志能够顺序进入关系型数据库。可见能够进入关系型数据库存放的日志数据，已非原始的完整的日志内容，而是抽取了某些字段信息。

由此可知，目前通过开源分布式日志组件进行日志归档难度大，复杂性大，而借助关系型数据库进行日志归档无法保存完整的日志。

发明内容

本发明的主要目的在于提供一种日志归档方法、装置、设备及计算机可读存储介质，旨在解决现有的通过开源分布式日志组件进行日志归档难度大，复杂性大，而借助关系型数据库进行日志归档无法保存完整的日志的技术问题。

为实现上述目的，本发明提供一种日志归档方法，所述日志归档方法应用于客户端，所述客户端部署在日志归档平台应用系统节点上，所述日志归档平台为分布式架构平台，所述日志归档方法包括步骤：

当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，探测可达的接收端；

通过断点续传的方式发送包含待归档日志的归档指令给可达的所述接收端，并检测发送所述归档指令过程中是否存在异常中断操作，其中，所述待归档日志为所述日志归档平台应用实例的日志；

若检测到发送所述归档指令过程中存在异常中断操作，则通过执行回滚操作，将所述异常中断操作对应的归档指令重新发送给所述接收端，以供所述接收端对所述归档指令中的所述待归档日志执行归档操作。

优选地，所述当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，探测可达的接收端的步骤包括：

当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，检测所述归档指令携带的待归档日志的合法性；

若检测到所述待归档日志合法，则探测可达的接收端；

所述检测发送所述归档指令过程中是否存在异常中断操作的步骤之后，还包括：

若检测到发送所述归档指令过程中存在异常中断操作，则删除所述接收端已接收的所述待归档日志的日志片段，并生成所述待归档日志对应的状态码。

优选地，所述当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，检测所述归档指令携带的待归档日志的合法性的步骤包括：

当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，获取所述归档指令携带待归档日志的日志文件名称和日志文件创建日期；

若所述日志文件名称符合预设文件命名规范，以及所述日志文件创建日期符合预设日期规范，则确定所述待归档日志合法。

此外，为实现上述目的，本发明还提供一种日志归档方法，所述日志归档方法应用于接收端，所述日志归档方法包括步骤：

当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，检测所述归档指令携带的待归档日志是否符合预设鉴权条件，其中，所述客户端通过断点续传的方式发送所述归档指令给所述接收端，所述日志归档平台为分布式架构平台，所述待归档日志为所述日志归档平台应用实例的日志；

若所述待归档日志符合所述鉴权条件，则接收所述待归档日志，并将所述待归档日志存储至预设缓冲区中；

当成功接收所述待归档日志后，按照预设存储规则将所述待归档日志从所述缓冲区中存储至存储系统中，以完成所述待归档日志的归档操作。

优选地，所述当成功接收所述待归档日志后，按照预设存储规则将所述待归档日志从所述缓冲区中存储至存储系统中，以完成所述待归档日志的归档操作的步骤之后，还包括：

获取应用实例的部署信息，根据所述部署信息调整日志审计规则，以根据调整的日志审计规则审计日志，其中，所述部署信息包括应用实例在虚拟机和/或容器上的部署数量，应用实例部署在自营业务系统和/或非自营业务系统中的数量，应用实例对应主机在私有云端和/或公有云端的数量。

优选地，所述若所述待归档日志符合所述鉴权条件，则接收所述待归档日志，并将所述待归档日志存储至预设缓冲区中的步骤包括：

若所述待归档日志符合所述鉴权条件，则检测所述待归档日志是否处于有效状态；

若所述待归档日志处于有效状态，则接收所述待归档日志，并将所述待归档日志存储至预设缓冲区中。

优选地，所述若所述待归档日志符合所述鉴权条件，则检测所述待归档日志是否处于有效状态的步骤包括：

若所述待归档日志符合所述鉴权条件，则提取所述待归档日志的存储信息；

提取所述归档指令携带的第一散列值，并根据所述存储信息计算第二散列值；

若检测到所述第一散列值和所述第二散列值相等，则确定所述待归档日志处于有效状态。

优选地，所述当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，检测所述归档指令携带的待归档日志是否符合预设鉴权条件的步骤包括：

当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，获取所述归档指令对应主机的第一网际互联协议IP地址，并检测所述第一IP地址是否在预设白名单中；

若所述第一IP地址在所述白名单中，则检测所述归档指令对应的连接令牌和连接密钥是否通过校验；

若所述连接令牌和所述连接密钥通过校验，则获取所述归档指令对应日志文件名称中的第二IP地址和子系统标记信息；

检测所述第二IP地址、子系统标记信息和第一IP地址是否对应着同一个部门；

若所述第二IP地址、子系统标记信息和第一IP地址对应着同一个部门，则确定所述归档指令携带的待归档日志符合预设鉴权条件。

此外，为实现上述目的，本发明还提供一种日志归档装置，所述客户端部署在日志归档平台应用系统节点上，所述日志归档平台为分布式架构平台，所述日志归档装置应用在客户端中，所述日志归档装置包括：

探测模块，用于当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，探测可达的接收端；

发送模块，用于通过断点续传的方式发送包含待归档日志的归档指令给可达的所述接收端；

检测模块，用于检测发送所述归档指令过程中是否存在异常中断操作，其中，所述待归档日志为所述日志归档平台应用实例的日志；

执行模块，用于若检测到发送所述归档指令过程中存在异常中断操作，则通过执行回滚操作，将所述异常中断操作对应的归档指令重新发送给所述接收端，以供所述接收端对所述归档指令中的所述待归档日志执行归档操作。

此外，为实现上述目的，本发明还提供一种日志归档装置，所述日志归档装置应用在接收端中，所述日志归档装置包括：

检测模块，用于当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，检测所述归档指令携带的待归档日志是否符合预设鉴权条件，其中，所述客户端通过断点续传的方式发送所述归档指令给所述接收端，所述日志归档平台为分布式架构平台，所述待归档日志为所述日志归档平台应用实例的日志；

接收模块，用于若所述待归档日志符合所述鉴权条件，则接收所述待归档日志；

存储模块，用于将所述待归档日志存储至预设缓冲区中；当成功接收所述待归档日志后，按照预设存储规则将所述待归档日志从所述缓冲区中存储至存储系统中，以完成所述待归档日志的归档操作。

此外，为实现上述目的，本发明还提供一种日志归档设备，所述日志归档设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的日志归档程序，所述日志归档程序被所述处理器执行时实现如上所述的日志归档方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志归档程序，所述日志归档程序被处理器执行时实现如上所述的日志归档方法的步骤。

本发明通过将日志归档平台的客户端部署在生成日志的应用系统节点上，不需要采用开源分布式日志组件组建日志归档平台，降低了日志归档平台的部署难度；当客户端接收到归档指令，探测可达的接收端，将携带待归档日志的归档指令发送给接收端，并若在归档指令发送过程中发生异常中断操作时，执行回滚操作，以重新发送归档指令给日志归档平台的接收端，以供接收端对归档指令对应的待归档日志执行归档操作，实现了在日志归档过程中，不需要通过开源分布式日志组件进行日志归档，而是通过分布式架构平台进行日志归档，降低了日志归档的难度和复杂性，且不需要借助关系型数据库进行日志归档，因此不需要对日志本身的数据内容进行分析，只需要分析日志是否合法即可，而分析日志是否合法不需要进行ETL工序，即本发明无需更改日志的内容，可以保存完整的日志内容，对原始完整的日志进行归档，进一步地，本申请的日志归档具体到应用实例中，实现了日志的颗粒度管理。

附图说明

图1是本发明日志归档方法第一实施例的流程示意图；

图2是本发明日志归档方法第二实施例的流程示意图；

图3是本发明日志归档方法第四实施例的流程示意图；

图4是本发明日志归档方法第五实施例的流程示意图；

图5是本发明日志归档装置较佳实施例的功能示意图模块图；

图6是本发明实施例方案涉及的硬件运行环境的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种日志归档方法，参照图1，图1为本发明日志归档方法第一实施例的流程示意图。

本发明实施例提供了日志归档方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

日志归档方法包括：

步骤S10，当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，探测可达的接收端。

步骤S20，通过断点续传的方式发送包含待归档日志的归档指令给可达的所述接收端，并检测发送所述归档指令过程中是否存在异常中断操作，其中，所述待归档日志为所述日志归档平台应用实例的日志。

在本发明实施例中，日志归档平台为分布式架构平台，具体地，日志归档平台采用C/S(Client-Server，客户端-接收端)架构模式设计，其中，客户端部署在日志归档平台应用系统节点上，应用系统节点包括但不限于物理机、虚拟机和容器，容器是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows机器上，也可以实现虚拟化。客户端以通用型的编程语言进行编译，如采用Java进行编译，以确保在各大Linux发行版本操作系统间的兼容性与可移植性，客户端中程序全部功能实现完全依托操作系统原生态功能，无需依赖第三方数据库。

当客户端接收到归档指令后，客户端获取归档指令携带的待归档日志，探测可达的接收端，并通过断点续传的方式发送待归档日志的归档指令给可达的接收端，并检测待归档日志的合法性。其中，待归档日志为日志归档平台应用实例的日志，归档指令可由应用系统节点对应用户根据需要触发，也可在应用系统节点生成日志后自动触发。

进一步地，步骤S10包括：

步骤a1，当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，检测所述归档指令携带的待归档日志的合法性。

步骤b1，若检测到所述待归档日志合法，则探测可达的接收端。

具体地，当客户端接收到归档指令后，检测归档指令携带的待归档日志的合法性，并在检测到待归档日志合法时，探测可达的接收端。客户端检测待归档日志的合法性过程为：当客户端接收到归档指令后，客户端获取归档指令携带的待归档日志，并获取待归档日志的日志文件名称和日志文件创建日期，检测日志文件名称是否符合预设文件命名规范，以及检测日志文件创建日期是否符合预设日期规范。若检测到日志文件名称符合预设文件命名规范，以及检测到日志文件创建日期符合预设日期规范，客户端则确定待归档日志合法；若检测到日志文件名称不符合文件命名规范，和/或检测到日志文件创建日期不符合日期规范，客户端则确定待归档日志不合法。

在本实施例中，文件命名规范可根据具体需要而设置，如可设置日志文件名称中需要包含IP地址和子系统名称等，以及设置IP地址和子系统名在日志文件名称中位置等。日期规范可设定为归档指令对应的待归档日志的生成时间应在固定时间之前，或者将日期规范设置为待归档日志的生成时间应大于归档指令对应主机的创建时间。需要说明的是，一个系统至少对应一个子系统，每个子系统对应着不同的逻辑部署区域，每个逻辑部署区域都存在对应的应用系统节点，每个应用系统节点可以实现对应子系统和子系统对应系统的功能，每个逻辑部署区域都存在对应的应用实例，主机部署在应用系统节点中，每台物理机、每台虚拟机和每台容器都为一个主机。

进一步地，在检测到日志文件名称符合预设文件命名规范，以及日志文件创建日期符合预设日期规范，且待规范日志为压缩文件时，客户端检测待规范日志的压缩格式为预设压缩格式。若检测到待规范日志的压缩格式为预设压缩格式，客户端则确定待归档日志合法；若检测到待规范日志的压缩格式不是预设压缩格式，客户端则确定待归档日志不合法。在本实施例中，预设压缩格式可根据具体需要而设置。需要说明的是，在检测待归档日志是否合法过程中，除了考虑日志文件名称、日志文件创建日期和压缩格式等，还可以考虑待归档日志的文件大小、文件类型等。

需要说明的是，业界常规的日志审计、统计分析，主要是通过对日志本身的数据进行分析，要去分析日志里面的内容，要求比较高，更加费时，所要进行分析的成本也比较高。本实施例通过是对待归档日志的“元数据”进行分析，读取日志的日志文件名称、日志文件创建日期等元数据，通过该元数据来判断待归档日志是否合法，只有在待归档日志合法时，才会进行后续的归档操作，在对待归档日志进行归档过程中，不需要对待归档日志本身的数据内容进行分析，分析更加简单，整体分析的人力成本和各项成本也比较低。

若客户端检测到待归档日志合法，客户端则将归档指令发送给所探测的可达接收端，并检测待发送归档指令过程中是否存在异常中断操作。在本实施例中，客户端通过断点续传方式将待归档日志发送给接收端。可以理解的是，若待归档日志在发送给接收端过程中，客户端与接收端断开连接，或者接收端接收失败等情况出现时，即表明发送归档指令过程中存在异常中断操作。需要说明的是，客户端在发送归档指令给接收端过程中，待归档日志是携带在归档指令中一起发送给接收端的。

进一步地，日志归档方法包括：

步骤c1，若检测到发送所述归档指令过程中存在异常中断操作，则删除所述接收端已接收的所述待归档日志的日志片段，并生成所述待归档日志对应的状态码。

进一步地，若检测到发送归档指令过程中存在异常中断操作，客户端则删除接收端已接收的待归档日志的日志片段，并生成待归档日志对应的状态码，并存储该异常中断对应的状态码。可以理解的是，由于客户端通过断点续传方式发送归档指令，因此归档指令中的待归档日志是分成几部分发送给接收端的，若发送归档指令过程中存在异常中断操作，则会存在接收端只接收了待归档日志的部分日志片段，此时删除接收端已接收的日志片段，避免接收端中存在不完整的待归档日志。

进一步地，若检测到发送归档指令过程存在异常中断操作，客户端可输出提示信息，通过提示信息提示对应的运维人员，归档指令发送失败，请运维人员处理。通过人工界面来将归档指令成功发送给接收端。

步骤S30，若检测到发送所述归档指令过程中存在异常中断操作，则通过执行回滚操作，将所述异常中断操作对应的归档指令重新发送给所述接收端，以供所述接收端对所述归档指令中的所述待归档日志执行归档操作。

若检测到发送归档指令过程中存在异常中断操作，客户端则执行回滚操作，通过执行回滚操作，将异常中断操作对应的归档指令重新发送给接收端，即将异常中断操作对应的待归档日志重新发送给接收端，以供接收端对归档指令对应的待归档日志执行归档操作。进一步地，当客户端成功将归档指令发送给接收端后，客户端生成发送成功的状态码，并存储该状态码。需要说明的是，在客户端发送归档指令给接收端过程中，不管处于何种状态，即不管处于发送成功状态还是处于发送失败状态，客户端都会生成对应的状态码，并存储该状态码，以便于运维人员后续通过该状态码了解相应情况。

本实施例通过将日志归档平台的客户端部署在生成日志的应用系统节点上，不需要采用开源分布式日志组件组建日志归档平台，降低了日志归档平台的部署难度；当客户端接收到归档指令，探测可达的接收端，将携带待归档日志的归档指令发送给接收端，并若在归档指令发送过程中发生异常中断操作时，执行回滚操作，以重新发送归档指令给日志归档平台的接收端，以供接收端对归档指令对应的待归档日志执行归档操作，实现了在日志归档过程中，通过开源分布式日志组件进行日志归档，而是通过分布式架构平台进行日志归档，降低了日志归档的难度和复杂性，且不需要借助关系型数据库进行日志归档，因此不需要对日志本身的数据内容进行分析，只需要分析日志是否合法即可，而分析日志是否合法不需要进行ETL工序，即本发明无需更改日志的内容，可以保存完整的日志内容，对原始完整的日志进行归档，进一步地，本实施例的日志归档具体到应用实例中，实现了日志的颗粒度管理。

进一步地，提出本发明日志归档方法第二实施例。

所述日志归档方法第二实施例与所述日志归档方法第一实施例的区别在于，参照图2，所述日志归档方法还包括：

步骤S40，若接收到查询所述接收端存储的已归档日志的查询指令，则将携带查询关键字的查询指令发送给所述接收端，以供所述接收端根据所述查询关键字返回查询结果。

当客户端接收到查询接收端存储的已归档日志的查询指令后，客户端获取将携带查询关键字的查询指令发谁给接收端，以供接收端在接收到查询指令后，根据查询指令中的查询关键字返回对应的查询结果。其中，查询指令可为用户在接收端中触发的；也可为用户通过其它终端设备触发的，通过该终端设备发送给客户端的。每个查询指令都存在对应的查询关键字，通过该查询关键字可确定所需要查询的待查询日志。查询关键字包括但不限于子系统名称、逻辑部署区域、IP(Internet Protocol，网际互连协议)地址和负责部门名称，子系统名称为生成待查询日志对应子系统的名称，IP地址为生成待查询日志主机的IP地址，负责部门名称为生成待查询日志主机所属部门名称。

需要说明的是，在本实施例中，不限制步骤S40与步骤S10、步骤S20、步骤S30之间的执行顺序，可以先执行步骤S40，后执行步骤S10、步骤S20、步骤S30；也可以将步骤S40放在步骤S30之后执行。

本实施例通过在日志归档平台的客户端中提供查询功能，能对历史上所有成功提交到日志归档平台接收端中的日志，进行实时查询，让用户可以实时获取所需的日志。

进一步地，所述日志归档方法还包括：

步骤d1，若接收到导出所述接收端存储的已归档日志的导出指令，则将携带导出参数的导出指令发送给所述接收端，以供所述接收端根据所述导出参数返回导出结果。

步骤f1，将所述导出结果存储至所述导出指令对应的存储路径中。

当客户端接收到导出接收端存储的已归档日志的导出指令后，客户端将携带导出参数的导出指令发送给接收端，以供接收端在接收到导出指令后，根据导出指令中的导出参数返回导出结果。当客户端接收到接收端发送的导出结果后，客户端提取导出指令中的存储路径，将导出结果存储至该存储路径中，该存储路径是接收端中存储日志的存储路径，即将导出结果存储至导出指令对应的存储路径中。需要说明的是，导出指令可由用户根据需要手动触发，也可由客户端或者其它终端设备根据定时任务定时触发，当导出指令是由其它终端设备根据定时任务触发时，其它终端设备会将导出指令发送给客户端。导出参数和查询关键字类似，也包括子系统名称、逻辑部署区域、IP地址和负责部门名称等。进一步地，导出参数还可以包括重要性级别，不同重要性级别的日志对应的审计规则不一样，日志的重要性级别可根据所在部门、所属逻辑部署区域等确定。通过导出指令，可一次性在接收端导出多条日志，也可只导出一条日志。在通过导出指令导出接收端中已归档日志的过程中，可按照负责部门名称导出某个部门对应的日志，或者重要性级别导出某个级别对应的日志等。

需要说明的是，在本实施例中，不限制步骤d1、步骤f1与步骤S10、步骤S20、步骤S30之间的执行顺序，可以先执行步骤d1、步骤f1，后执行步骤S10、步骤S20、步骤S30；也可以将步骤d1和步骤f1放在步骤S30之后执行。

本实施例通过导出指令在日志归档平台的接收端导出所需的日志，让用户可以根据需要在接收端中下载所需的日志，提高了日志归档平台的可操作性。

进一步地，提出本发明日志归档方法第三实施例。

所述日志归档方法第三实施例与所述日志归档方法第一和/或第二实施例的区别在于，所述日志归档方法还包括：

步骤g1，对所述客户端对应的接收端进行连通性测试，确定未通过所述连通性测试的接收端。

步骤h1，删除未通过所述连通性测试的接收端的接收地址，以避免将所述归档指令发送给未通过所述连通性测试的接收端。

客户端在发送归档指令、查询指令和/或导出指令给接收端之前，客户端对接收端进行连通性测试，具体地，客户端可将发送测试数据包给接收端，若客户端在预设时长接收到接收端返回的，与测试数据包对应的响应数据包，客户端则确定该接收端通过连通性测试；若客户端在预设时长未接收到接收端返回的，与测试数据包对应的响应数据包，客户端则确定该接收端未通过连通性测试。其中，预设时长可根据具体需要而设置，本实施例对预设时长的大小不做具体限制。

当客户端确定日志归档平台中存在未通过连通性测试的接收端时，客户端删除未通过连通性测试的接收端的接收地址，以避免将归档指令发送给未通过连通性测试的接收端。需要说明的是，在日志归档平台中，存在至少一个接收端，每个接收端都存在对应的接收地址，客户端中存储有各个接收端的接收地址，客户端调用该接收地址，可将所需发送的归档指令、查询指令和/或导出指令等发送给接收地址对应的接收端。可以理解的是，客户端只会将归档指令、查询指令和/或导出指令发送为通过连通性测试的接收端。

本实施例通过在检测到日志归档平台中存在未通过连通性测试的接收端时，删除未通过连通性测试接收端的接收地址，以免客户端将归档指令发送给未通过连通性测试的接收端，出现归档指令发送失败的情况，提高了归档指令发送的成功率，即提高了日志归档平台中客户端和接收端之间数据传输的成功率。

此外，提出本发明日志归档方法第四实施例。

参照图3，本发明还提供一种日志归档方法，所述日志归档方法应用于接收端，所述日志归档方法包括以下步骤：

步骤S50，当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，检测所述归档指令携带的待归档日志是否符合预设鉴权条件，其中，所述客户端通过断点续传的方式发送所述归档指令给所述接收端，所述日志归档平台为分布式架构平台，所述待归档日志为所述日志归档平台应用实例的日志。

日志归档平台为分布式架构平台，在日志归档平台的接收端中，设置有日志接收服务模块，日志接收服务模块用于监听日志归档平台中，部署在应用系统节点上客户端发送的操作指令，客户端发送的操作指令包括但不限于归档指令、查询指令和导出指令。当接收端接收到客户端发送的归档指令后，接收端获取归档指令携带的待归档日志，并检测待归档日志是否符合预设鉴权条件，其中，待归档日志为日志归档平台应用实例的日志，客户端是通断点续传的方式是将归档指令发送给接收端的。

进一步地，步骤S50包括：

步骤a2，当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，获取所述归档指令对应主机的第一网际互联协议IP地址，并检测所述第一IP地址是否在预设白名单中。

具体地，当日志归档平台的接收端接收到日志归档平台中，部署在应用系统节点上的客户端发送的归档指令后，接收端获取归档指令对应主机的IP地址，为了区分，本实施例中，接收端将归档指令对应主机的IP地址记为第一IP地址，并检测第一IP地址是否在预设白名单中。需要说明的是，在接收端中，预先存储白名单，该白名单中，存储有可以进行日志归档对应主机的IP地址。进一步地，客户端需要通过ITIL(Information TechnologyInfrastructure Library，信息技术基础架构库)流程申请接入接收端，进行日志归档，才能在接收端中进行日志归档操作。

步骤b2，若所述第一IP地址在所述白名单中，则检测所述归档指令对应的连接令牌和连接密钥是否通过校验。

若检测到第一IP地址在白名单中，接收端则检测归档指令对应的连接令牌(token)和连接密钥是否通过校验。需要说明的是，日志归档平台中的客户端和服务端中都分配有对应的连接令牌和连接密钥。当客户端发送归档指令给接收端之前，客户端会将连接令牌和连接密钥添加至归档指令中，以将连接令牌、连接密钥和归档指令一起发送给接收端。当接收端接收到归档指令后，接收端提取归档指令中的连接令牌和连接密钥，若归档指令中连接令牌和接收端存储的连接令牌一致，且归档指令中的连接密钥和接收端存储的连接密钥一致，接收端则确定连接令牌和连接密钥通过校验；若归档指令中的连接令牌与接收端存储的连接令牌不一致，接收端则确定连接令牌未通过校验；若归档指令中的连接密钥与接收端存储的连接密钥不一致，接收端则确定连接密钥未通过校验。进一步地，若检测到第一IP地址不在白名单中，接收端则确定归档指令中的待归档日志不符合鉴权条件，不执行该归档指令；若检测到连接令牌和/或连接密钥未通过校验，接收端则确定归档指令中的待归档日志不符合鉴权条件，不执行该归档指令。

步骤c2，若所述连接令牌和所述连接密钥通过校验，则获取所述归档指令对应日志文件名称中的第二IP地址和子系统标记信息。

步骤d2，检测所述第二IP地址、子系统标记信息和第一IP地址是否对应着同一个部门。

步骤e2，若所述第二IP地址、子系统标记信息和第一IP地址对应着同一个部门，则确定所述归档指令携带的待归档日志符合预设鉴权条件。

若检测到连接令牌和连接密钥通过校验，接收端则获取归档指令对应待归档日志的日志文件名称，在日志文件名称中获取IP地址和子系统标记信息，子系统标记信息包括子系统名称和子系统标识(ID)等，为了便于区分，将在日志文件名称中获取的IP地址记为第二IP地址。当接收端获取到第一IP地址、第二IP地址和子系统标记信息后，接收端检测第一IP地址、子系统标记信息和第二IP地址是否对应着同一个部门。需要说明的是，在接收端中，存储有各个部门对应的IP地址和子系统标记信息。

若接收端检测到第二IP地址、子系统标记信息和第一IP地址对应着同一个部门，接收端则确定归档指令携带的待归档日志符合预设鉴权条件；若接收端检测到第二IP地址、子系统标记信息、第一IP地址不是对应着同一个部门，接收端则确定归档指令携带的待归档日志符合预设鉴权条件。可以理解的是，在本实施例中，只允许各个部门操作访问各自负责的日志，即只有A部门才能对A部门的日志进行归档操作。可以理解的是，正常情况下，第一IP地址和第二IP地址是相同的，只有在待归档日志发生变更了，被非法篡改了，才有可能出现第一IP地址和第二IP地址不相同的情况。

步骤S60，若所述待归档日志符合所述鉴权条件，则接收所述待归档日志，并将所述待归档日志存储至预设缓冲区中。

当接收端检测到待归档日志符合鉴权条件后，接收端与客户端建立通信连接，接收端待归档日志，并将待归档日志存储至预先设置好的缓冲区中。该缓冲区是设置在接收端接收服务进程所在的服务器中的。需要说明的是，由于客户端和接收端之间是采用断点续传的方式传输待归档日志的，因此，在未完全接收到全部的待归档日志后，接收端先将所接收端的日志片段存储至缓冲区中。

步骤S70，当成功接收所述待归档日志后，按照预设存储规则将所述待归档日志从所述缓冲区中存储至存储系统中，以完成所述待归档日志的归档操作。

当接收端成功接收待归档日志后，即接收端接收到待归档日志对应的所有日志片段后，接收端启动处理线程，通过该处理线程从缓冲区中获取待归档日志，并按照预设存储规则将从缓冲区获取的待归档日志存储至存储系统中，以完成待归档日志的归档操作。具体地，存储规则为按照部门-日志文件创建年份-日志文件创建月份-日志文件创建日-日志文件创建时，及存储规则中一共有5级目录，分别为“部门-年-月-日-时”。可以理解的是，在其它实施例中，也可以将存储规则设置为6级目录或者7级目录等。

具体地，接收端中的接收服务进行可通过待归档日志对应日志文件名称中的第二IP地址和子系统标记信息确定待归档日志所属部门，然后根据待归档日志的日志文件创建日期确定待归档日志的日志文件创建年份、日志文件创建月份、日志文件创建日和日志文件创建时。当接收端成功按照存储规则存储待归档日志后，可生成该待归档日志的归档记录，并将归档记录存储至存储系统中。归档记录中可包括待归档日志的子系统标记信息、IP地址和存储路径等，存储路径为“部门-日志文件创建年份-日志文件创建月份-日志文件创建日-日志文件创建时”。

需要说明的是，不同部门的归档策略可以相同，也可以不相同，如不同部门的存储规则不同，生成归档记录的生成方法不相同。

本实施例通过将日志归档平台的客户端部署在生成日志的应用系统节点上，不需要采用开源分布式日志组件组建日志归档平台，降低了日志归档平台的部署难度；当接收端接收到客户端发送的归档指令，且检测到归档指令对应的待归档日志符合预设鉴权条件时，对待归档日志进行归档操作，实现了在日志归档过程中，不需要对日志本身的数据内容进行分析，只需要分析日志是否合法即可，而分析日志是否合法不需要进行ETL工序，即本发明无需更改日志的内容，可以保存完整的日志内容，对原始完整的日志进行归档。

进一步地，提出本发明日志归档方法第五实施例。

所述日志归档方法第五实施例与所述日志归档方法第四实施例的区别在于，参照图4，所述日志归档方法还包括：

步骤S80，当接收到客户端发送的查询指令，且检测到所述查询指令符合所述鉴权条件后，检测所述查询指令是否满足预设查询条件。

当接收端接收到客户端发送的查询指令，且检测到查询指令符合鉴权条件后，接收端检测查询指令是否满足预设查询条件。需要说明的是，接收端检测查询指令是否符合鉴权条件的过程与接收端检测归档指令是否符合鉴权条件的过程原理一致，在本实施例中不再重复赘述。接收端获取查询指令中携带的用户标识和待查询日志的日志文件名称，检测该用户标识对应用户是否存在查询待查询日志的查询权限，以及检测该用户标识对应用户是否处于在职状态。可以理解的是，只有本部门的用户才可以查询本部门生成的日志。在接收端中，预先存储有各个部门对应的用户标识，因此，通过待查询日志的日志文件名称可确定待查询日志所属部门，若用户标识对应的部门与待查询日志所属部门相同，则确定查询指令对应用户存在查询待查询日志的查询权限；若用户标识对应的部门与待查询日志所属部门不相同，则确定查询指令对应用户不存在查询待查询日志的查询权限。若某个用户处于离职状态，则在接收端中，对应用户标识中添加有离职标签。进一步地，在其它实施例中，若某个用户处于离职状态，也可将接收端中处于离职状态的用户标识删除。

步骤S90，若检测到所述查询指令满足所述查询条件，则在所述存储系统中读取所述查询指令中查询关键字对应的查询结果，并将所述查询结果发送给所述客户端。

若接收端检测到查询指令满足查询条件，即检测到查询指令对应的用户标识中未存在离职标签，且查询指令对应的用户标识存在查询待查询日志的查询权限，接收端则在存储系统读取查询指令中查询关键字对应的查询结果，并将查询结果发送给客户端。如查询关键字为IP地址时，接收端则在存储系统中读取该IP地址对应的日志发送给客户端。具体地，接收端可在存储系统中获取查询关键字对应的归档记录，然后根据归档记录在存储系统获取对应的待查询日志，将所获取的日志作为查询结果发送给客户端。进一步地，若检测到查询指令不满足查询条件，接收端则生成查询失败的失败消息发送给客户端，以通过该失败消息告知客户端日志查询失败。

需要说明的是，在本实施例中，不限制步骤S80、步骤S90与步骤S50、步骤S60、步骤S70之间的执行顺序，可以先执行步骤S80和步骤S90，后执行步骤S50、步骤S60、步骤S70；也可以将步骤S50、步骤S60、步骤S70放在步骤S90之后执行。

本实施例通过在日志归档平台的接收端接收到客户端发送的查询指令时，在检测到查询指令符合鉴权条件，且符合预设查询条件时，在存储系统中读取查询指令中查询关键字对应的查询结果，并将查询结果发送给客户端，在实现日志归档平台的查询功能的基础上，提高了接收端中存储日志的安全性。

进一步地，所述日志归档方法还包括：

步骤f2，当接收到客户端发送的导出指令，且检测到所述导出指令符合所述鉴权条件后，检测所述导出指令是否满足预设导出条件。

当接收端接收到客户端发送的导出指令，且检测到导出指令符合鉴权条件后，接收端检测导出指令是否满足预设导出条件。需要说明的是，接收端检测导出指令是否符合鉴权条件的原理与接收端检测归档指令是否符合鉴权条件的原理一致，在本实施例中不再重复赘述。接收端检测导出指令是否满足预设导出条件的原理与接收端检测查询指令是否满足预设查询条件的原理一致，在本实施例中不再重复赘述。

步骤g2，若检测到所述导出指令满足所述导出条件，则在所述存储系统中读取所述导出指令中导出参数对应的目标日志文件，并将所述目标日志文件作为导出结果发送给所述客户端。

若检测到导出指令满足导出条件，接收端则在存储系统中读取导出指令中导出参数对应的目标日志文件，并将目标日志文件作为导出结果发送给客户端。需要说明的是，接收端在存储系统中读取导出指令中导出参数对应的目标日志文件与接收端在存储系统中读取查询指令中查询关键字对应查询结果的过程一致，本实施例不再重复赘述。进一步地，导出指令还可携带下载路径，此时，接收端需要将目标日志文件读取到下载路径中。进一步地，若检测到导出指令不满足导出条件，接收端则生成导出失败的失败消息发送给客户端，以通过该失败消息告知客户端日志导出失败。

需要说明的是，在本实施例中，不限制步骤f2、步骤g2与步骤S50、步骤S60、步骤S70之间的执行顺序，可以先执行步骤f2、步骤g2，后执行步骤S50、步骤S60、步骤S70；也可以将步骤S50、步骤S60、步骤S70放在步骤g2之后执行。

本实施例通过在日志归档平台的接收端接收到客户端发送的导出指令时，在检测到导出指令符合鉴权条件，且符合预设导出条件时，在存储系统中读取导出指令中导出参数对应的导出结果，并将导出结果发送给客户端，在实现日志归档平台的导出功能的基础上，提高了接收端中存储日志的安全性。

进一步地，提出本发明日志归档方法第六实施例。

所述日志归档方法第六实施例与所述日志归档方法第四和/或第五实施例的区别在于，所述日志归档方法还包括：

步骤h2，当检测到存储系统中存在处于故障状态的存储服务节点后，将处于故障状态的所述存储服务节点的状态设置为离线状态，并将处于离线状态的所述存储服务节点从所述存储系统中删除。

需要说明的是，接收端中的存储系统设置有至少一个存储服务节点，存储系统中的各个存储服务节点是采用分布式方式部署的，存储系统负责日志的长久归档存储。可以理解的是，存储系统是一个存储服务节点的集群。在接收端中，设置有功能检测模块。接收端通过该功能检测模块可检测各个存储服务节点是否处于故障状态。可以理解的是，当某个存储服务节点不能存储日志时，表明该存储服务节点处于故障状态。当接收端检测到存储系统中存在处于故障状态的存储服务节点后，接收端将处于故障状态的存储服务节点的状态设置为离线状态，并将处于离线状态的存储服务节点从存储系统中删除。当某个存储服务节点处于正常状态是，该存储服务节点的状态为在线状态。

进一步地，接收端中的各个存储服务节点可以相互检测是否处于故障状态。具体地，处于正常状态的存储服务节点可发送心跳包给存储系统中的其它存储服务节点，若在一定时间内接收到其它存储服务节点返回的响应，即可确定其它存储服务节点处于正常状态；若在一定时间内未接收到其它存储服务节点返回的响应，则确定其它存储服务节点处于故障状态。

本实施例通过在检测到存储系统中存在处于故障状态的存储服务节点时，将处于故障状态的存储服务节点的状态设置为离线状态，并将离线状态的存储服务节点从存储系统中删除，避免接收端在对日志进行归档过程中，出现归档失败的情况，提高了日志归档的成功率。

进一步地，若接收端中的存储服务节点对应的可用存储空间小于预设空间，接收端则发送扩容请求给管理平台。当管理平台接收到扩容请求后，管理平台根据该扩容请求将备用存储服务节点分配给接收端，以便于接收端进行扩容。可以理解的是，当存储服务节点对应的可用存储空间小于预设空间时，表明接收端中存储系统的负载较重。其中，预设空间的大小可根据具体需要而设置。需要说明的是，接收端可支持限制的增加存储服务节点，即接收端可支持无线扩容，该管理平台可为配置了x86服务器的平台。在接收端进行扩容过程中，不影响存储系统对外提供服务，接收端可以一边进行扩容，一边进行日志归档操作、日志查询操作等。可以理解的是，通过扩容，可以在接收端归档操作繁忙阶段，顺利完成日志的归档操作。

进一步地，为了提高存储系统对日志文件的存储能力，当接收端在对待归档日志进行归档过程中，不仅会存储归档指令中携带的待归档日志，还会对待归档日志进行异步拷贝，得到待归档日志的日志副本，然后将日志副本存储到与存储待归档日志不同的存储服务节点中。在本实施例中，不限制日志副本的数量。通过对日志进行多副本模式的存储，当存储系统中存储待归档日志的存储服务节点被破坏，或者处于故障状态时，可从存储日志副本的存储服务节点中获取对应的待归档日志，提高了存储系统中存储能力，防止存储系统所存储日志的丢失。

进一步地，所述日志归档方法还包括：

步骤i2，获取应用实例的部署信息，根据所述部署信息调整日志审计规则，以根据调整的日志审计规则审计日志，其中，所述部署信息包括应用实例在虚拟机和/或容器上的部署数量，应用实例部署在自营业务系统和/或非自营业务系统中的数量，应用实例对应主机在私有云端和/或公有云端的数量。

应用实例是部署在主机中的，可以产生日志的实例。接收端可对所归档的日志按照预先设置好的审计策略进行审计，得到审计结果。具体地，接收端获取应用实例的部署信息，根据部署信息调整日志审计规则，得到调整后的日志审计规则，基于调整后的日志审计规则审计日志，得到审计结果，根据审计结果得到审计分数。其中，部署信息包括应用实例在虚拟机和/或容器上的部署数量，应用实例部署在自营业务系统和/或非自营业务系统中的数量，应用实例对应服务在私有云端和/或公有云端的数量。需要说明的是，应用实例部署在自营业务系统的数量是指应用实例所对应的主机属于自营业务系统的数量，应用实例部署在非自营业务系统的数量是指应用实例所对应主机属于非自营业务系统的数量。

为了便于理解，以虚拟机和容器进行举例说明。如有5个应用实例，若2个应用实例部署在容器上，3个应用实例部署在虚拟机中，则在对这5个应用实例对应日志进行审计过程中，容器和虚拟机对应分数的权重比为0.4:0.6，权重比之和等于1，在根据审计策略得到的审计结果分别为A、B、C、D和E，这些审计结果也用分数表示，则审计分数为(A+B)×0.4+(C+B+D)×0.6。需要说明的是，在根据部署信息调整日志审计规则过程中，就是根据部署信息调整对应审计结果分数的权重比例。

具体地，审计策略包括但不限于日志的日志文件名称字符数量是否大于预设限制数量、日志文件格式是否为预设文件格式、每个部门日志的增长比例和日志文件名称是否符合预设命名规范。需要说明的是，对应某些日志，也可以设置特定的审计策略和日志审计规则。在本实施例中，对于不同子系统的多活、一主多备(一个主系统对应多个子系统)、一主一备(一个主系统对应一个子系统)等部署情形，日志审计规则也采取差异化统计模式。进一步地，在得到审计分数后，接收端也生成审计报告，在审计报告中，有日志不符合的审计策略，以及审计分数等。

进一步地，接收端可连接数据管理数据库和权限管理数据库，可实时或者定时获取数据管理数据库和权限管理数据库中的数据。在获取数据管理数据库和权限管理数据库中数据的过程中，接收端可主动去获取，也可由数据管理数据库和/或权限管理数据库发送给接收端。不需要用户的干预。

本实施例通过获取应用实例的部署信息，根据部署信息动态调整日志审计规则，实现了接收端中日志的动态审计。

进一步地，提出本发明日志归档方法第七实施例。

所述日志归档方法第七实施例与所述日志归档方法第四、第五和/或第六实施例的区别在于，所述日志归档方法还包括：

步骤j2，若所述待归档日志符合所述鉴权条件，则检测所述待归档日志是否处于有效状态。

若接收端检测到待归档日志符合鉴权条件，接收端则检测到归档日志是否处于有效状态。

进一步地，步骤j2包括：

步骤j21，若所述待归档日志符合所述鉴权条件，则提取所述待归档日志的存储信息。

具体地，若接收端检测到待归档日志符合鉴权条件，接收端则提取待归档日志中的存储信息。其中，存储信息包括但不限于待归档日志的存储时间和存储路径，存储时间可为待归档日志的生成时间，即待归档日志存储至生成该待归档日志主机中的时间，存储路径为待归档日志在主机中的存储路径。需要说明的是，当客户端获取到归档指令对应的待归档日志后，客户端提取待归档日志中的存储信息，计算存储信息的散列值，并将该散列值记为第一散列值，将第一散列值添加至归档指令中发送给接收端。在本实施例中，采用MD5(Message-Digest Algorithm，信息摘要算法)计算存储信息的散列值。在其它实施例中，也可以采用其它算法计算存储信息的散列值，本实施例不限制计算存储信息散列值的计算方法。

步骤j22，提取所述归档指令携带的第一散列值，并根据所述存储信息计算第二散列值。

步骤j23，若检测到所述第一散列值和所述第二散列值相等，则确定所述待归档日志处于有效状态。

接收端提取归档指令携带的第一散列值，并计算所提取的存储信息的散列值，将所计算的散列值记为第二散列值。需要说明的是，在计算散列值过程中，可只计算存储时间的散列值，也可以只计算存储路径的散列值，或者计算存储时间和存储路径的散列值，接收端和客户端计算存储路径散列值的过程是相同的，在此不再详细赘述。可以理解的是，若客户端只计算存储时间的散列值，则接收端也只计算存储时间的散列值；若客户端计算存储时间和存储路径的散列值，则接收端特计算存储时间和存储路径的散列值。

当接收端得到第一散列值和第二散列值之后，接收端检测第一散列值和第二散列值是否相等。若检测到第一散列值和第二散列值相等，接收端则确定待归档日志处于有效状态；若检测到第一散列值和第二散列值不相等，接收端则确定待归档日志处于无效状态。

步骤k2，若所述待归档日志处于有效状态，则接收所述待归档日志，并将所述待归档日志存储至预设缓冲区中。

若检测到待归档日志处于有效状态，接收端则接收待归档日志，并将待归档日志存储至预设的缓冲区中；若检测到待归档日志处于无效状态，接收端则生成归档失败的失败消息，将该失败消息发送给客户端，以根据该失败消息提示客户端待归档日志归档失败。

本实施例通过在确定待归档日志符合鉴权条件时，进一步检测待归档日志是否处于有效状态，只有在待归档日志处于有效状态时，才接收待归档日志，将待归档日志存储至预设的缓冲区中，进一步地提高了接收端所存储日志的安全性。

此外，参照图5，本发明还提供一种日志归档装置，所述日志归档装置应用在客户端中，所述客户端部署在日志归档平台应用系统节点上，所述日志归档平台为分布式架构平台，所述日志归档装置包括：

探测模块10，用于当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，探测可达的接收端；

发送模块20，用于通过断点续传的方式发送包含待归档日志的归档指令给可达的所述接收端；

检测模块30，用于检测发送所述归档指令过程中是否存在异常中断操作，其中，所述待归档日志为所述日志归档平台应用实例的日志；

执行模块40，用于若检测到发送所述归档指令过程中存在异常中断操作，则通过执行回滚操作，将所述异常中断操作对应的归档指令重新发送给所述接收端，以供所述接收端对所述归档指令中的所述待归档日志执行归档操作。

进一步地，所述探测模块10包括：

检测单元，用于当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，检测所述归档指令携带的待归档日志的合法性；

探测单元，用于若检测到所述待归档日志合法，则探测可达的接收端；

所述检测模块30包括：

删除单元，用于若检测到发送所述归档指令过程中存在异常中断操作，则删除所述接收端已接收的所述待归档日志的日志片段；

生成单元，用于生成所述待归档日志对应的状态码。

进一步地，所述发送模块20还用于若接收到查询所述接收端存储的已归档日志的查询指令，则将携带查询关键字的查询指令发送给所述接收端，以供所述接收端根据所述查询关键字返回查询结果。

进一步地，所述发送模块20还用于若接收到导出所述接收端存储的已归档日志的导出指令，则将携带导出参数的导出指令发送给所述接收端，以供所述接收端根据所述导出参数返回导出结果；

所述日志归档装置还包括：

存储模块，用于将所述导出结果存储至所述导出指令对应的存储路径中。

进一步地，所述日志归档装置还包括：

测试模块，用于对所述客户端对应的接收端进行连通性测试；

确定模块，用于确定未通过所述连通性测试的接收端；

第二删除模块，用于删除未通过所述连通性测试的接收端的接收地址，以避免将所述归档指令发送给未通过所述连通性测试的接收端。

进一步地，所述检测模块10包括:

获取单元，用于当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，获取所述归档指令携带待归档日志的日志文件名称和日志文件创建日期；

确定单元，用于若所述日志文件名称符合预设文件命名规范，以及所述日志文件创建日期符合预设日期规范，则确定所述待归档日志合法。

需要说明的是，日志归档装置的各个实施例与上述日志归档方法的各实施例基本相同，在此不再详细赘述。

此外，本发明还提供一种日志归档装置，所述日志归档装置应用在接收端中，所述日志归档装置包括：

检测模块，用于当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，检测所述归档指令携带的待归档日志是否符合预设鉴权条件，其中，所述客户端通过断点续传的方式发送所述归档指令给所述接收端，所述日志归档平台为分布式架构平台，所述待归档日志为所述日志归档平台应用实例的日志；

接收模块，用于若所述待归档日志符合所述鉴权条件，则接收所述待归档日志；

存储模块，用于将所述待归档日志存储至预设缓冲区中；当成功接收所述待归档日志后，按照预设存储规则将所述待归档日志从所述缓冲区中存储至存储系统中，以完成所述待归档日志的归档操作。

进一步地，所述检测模块还用于当接收到客户端发送的查询指令，且检测到所述查询指令符合所述鉴权条件后，检测所述查询指令是否满足预设查询条件；

所述日志归档装置还包括：

第一读取模块，用于若检测到所述查询指令满足所述查询条件，则在所述存储系统中读取所述查询指令中查询关键字对应的查询结果；

第一发送模块，用于将所述查询结果发送给所述客户端。

进一步地，所述检测模块还用于当接收到客户端发送的导出指令，且检测到所述导出指令符合所述鉴权条件后，检测所述导出指令是否满足预设导出条件；

第二读取模块，用于若检测到所述导出指令满足所述导出条件，则在所述存储系统中读取所述导出指令中导出参数对应的目标日志文件；

第二发送模块，用于将所述目标日志文件作为导出结果发送给所述客户端。

进一步地，所述日志归档装置还包括：

设置模块，用于当检测到存储系统中存在处于故障状态的存储服务节点后，将处于故障状态的所述存储服务节点的状态设置为离线状态；

删除模块，用于将处于离线状态的所述存储服务节点从所述存储系统中删除。

进一步地，所述日志归档装置还包括：

获取模块，用于获取应用实例的部署信息；

调整模块，用于根据所述部署信息调整日志审计规则，以根据调整的日志审计规则审计日志，其中，所述部署信息包括应用实例在虚拟机和/或容器上的部署数量，应用实例部署在自营业务系统和/或非自营业务系统中的数量，应用实例对应主机在私有云端和/或公有云端的数量。

进一步地，所述检测模块还用于若所述待归档日志符合所述鉴权条件，则检测所述待归档日志是否处于有效状态；

所述接收模块还用于若所述待归档日志处于有效状态，则接收所述待归档日志。

进一步地，所述检测模块包括：

提取单元，用于若所述待归档日志符合所述鉴权条件，则提取所述待归档日志的存储信息；提取所述归档指令携带的第一散列值；

计算单元，用于根据所述存储信息计算第二散列值；

第一确定单元，用于若检测到所述第一散列值和所述第二散列值相等，则确定所述待归档日志处于有效状态。

进一步地，所述检测模块还包括：

获取单元，用于当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，获取所述归档指令对应主机的第一网际互联协议IP地址；

检测单元，用于检测所述第一IP地址是否在预设白名单中；若所述第一IP地址在所述白名单中，则检测所述归档指令对应的连接令牌和连接密钥是否通过校验；

所述获取单元还用于若所述连接令牌和所述连接密钥通过校验，则获取所述归档指令对应日志文件名称中的第二IP地址和子系统标记信息；

所述检测单元还用于检测所述第二IP地址、子系统标记信息和第一IP地址是否对应着同一个部门；

第二确定单元，用于若所述第二IP地址、子系统标记信息和第一IP地址对应着同一个部门，则确定所述归档指令携带的待归档日志符合预设鉴权条件。

需要说明的是，日志归档装置的各个实施例与上述日志归档方法的各实施例基本相同，在此不再详细赘述。

此外，本发明还提供一种日志归档设备。如图6所示，图6是本发明实施例方案涉及的硬件运行环境的结构示意图。

需要说明的是，图6即可为日志归档设备的硬件运行环境的结构示意图。本发明实施例日志归档设备可以是PC，便携计算机等终端设备。

如图6所示，日志归档设备可为客户端，也可为接收端。该日志归档设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，日志归档设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。

本领域技术人员可以理解，图6中示出的日志归档设备结构并不构成对日志归档设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志归档程序。其中，操作系统是管理和控制日志归档设备硬件和软件资源的程序，支持日志归档程序以及其它软件或程序的运行。

在图6所示的日志归档设备中，当日志归档设备为客户端时，用户接口1003主要用于连接接收端，与接收端进行数据通信；当日志归档设备为接收端时，用户接口1003主要用于连接客户端，与客户端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的日志归档程序，并执行如上所述的日志归档方法的步骤。

本发明日志归档设备具体实施方式与上述日志归档方法各实施例基本相同，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有日志归档程序，所述日志归档程序被处理器执行时实现如上所述的日志归档方法的步骤。

本发明计算机可读存储介质具体实施方式与上述日志归档方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种日志归档方法，其特征在于，所述日志归档方法应用于客户端，所述客户端部署在日志归档平台应用系统节点上，所述日志归档平台为分布式架构平台，所述日志归档方法包括以下步骤：

当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，探测可达的接收端，其中，所述归档指令包括待归档日志，所述探测可达的接收端是在检测到所述待归档日志合法时进行的；

通过断点续传的方式发送包含待归档日志的归档指令给可达的所述接收端，并检测发送所述归档指令过程中是否存在异常中断操作，其中，所述待归档日志为所述日志归档平台应用实例的日志；

若检测到发送所述归档指令过程中存在异常中断操作，则通过执行回滚操作，并将所述异常中断操作对应的归档指令重新发送给所述接收端，以供所述接收端对所述归档指令中的所述待归档日志执行归档操作；

所述检测发送所述归档指令过程中是否存在异常中断操作的步骤之后，还包括：

若检测到发送所述归档指令过程中存在异常中断操作，则删除所述接收端已接收的所述待归档日志的日志片段，并生成所述待归档日志对应的状态码。

2.如权利要求1所述的日志归档方法，其特征在于，所述当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，探测可达的接收端的步骤包括：

当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，检测所述归档指令携带的待归档日志的合法性；

若检测到所述待归档日志合法，则探测可达的接收端。

3.如权利要求2所述的日志归档方法，其特征在于，所述当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，检测所述归档指令携带的待归档日志的合法性的步骤包括：

当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，获取所述归档指令携带待归档日志的日志文件名称和日志文件创建日期；

若所述日志文件名称符合预设文件命名规范，以及所述日志文件创建日期符合预设日期规范，则确定所述待归档日志合法。

4.一种日志归档方法，其特征在于，所述日志归档方法应用于接收端，所述日志归档方法包括以下步骤：

当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，检测所述归档指令携带的待归档日志是否符合预设鉴权条件，其中，所述客户端通过断点续传的方式发送所述归档指令给所述接收端，所述日志归档平台为分布式架构平台，所述待归档日志为所述日志归档平台应用实例的日志，所述客户端在检测到所述待归档日志合法时，通过断点续传的方式发送包含待归档日志的归档指令给所述接收端，并检测发送所述归档指令过程中是否存在异常中断操作，当在所述接收端接收所述归档指令过程中存在异常中断操作时，所述客户端删除所述接收端已接收的所述待归档日志的日志片段，并生成所述待归档日志对应的状态码；

若所述待归档日志符合所述鉴权条件，则接收所述待归档日志，并将所述待归档日志存储至预设缓冲区中；

当成功接收所述待归档日志后，按照预设存储规则将所述待归档日志从所述缓冲区中存储至存储系统中，以完成所述待归档日志的归档操作。

5.如权利要求4所述的日志归档方法，其特征在于，所述当成功接收所述待归档日志后，按照预设存储规则将所述待归档日志从所述缓冲区中存储至存储系统中，以完成所述待归档日志的归档操作的步骤之后，还包括：

获取应用实例的部署信息，根据所述部署信息调整日志审计规则，以根据调整的日志审计规则审计日志，其中，所述部署信息包括应用实例在虚拟机和/或容器上的部署数量，应用实例部署在自营业务系统和/或非自营业务系统中的数量，应用实例对应主机在私有云端和/或公有云端的数量。

6.如权利要求4或5所述的日志归档方法，其特征在于，所述若所述待归档日志符合所述鉴权条件，则接收所述待归档日志，并将所述待归档日志存储至预设缓冲区中的步骤包括：

若所述待归档日志符合所述鉴权条件，则检测所述待归档日志是否处于有效状态；

若所述待归档日志处于有效状态，则接收所述待归档日志，并将所述待归档日志存储至预设缓冲区中。

7.如权利要求6所述的日志归档方法，其特征在于，所述若所述待归档日志符合所述鉴权条件，则检测所述待归档日志是否处于有效状态的步骤包括：

若所述待归档日志符合所述鉴权条件，则提取所述待归档日志的存储信息；

提取所述归档指令携带的第一散列值，并根据所述存储信息计算第二散列值；

若检测到所述第一散列值和所述第二散列值相等，则确定所述待归档日志处于有效状态。

8.如权利要求4或5所述的日志归档方法，其特征在于，所述当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，检测所述归档指令携带的待归档日志是否符合预设鉴权条件的步骤包括：

当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，获取所述归档指令对应主机的第一网际互联协议IP地址，并检测所述第一网际互联协议IP地址是否在预设白名单中；

若所述第一网际互联协议IP地址在所述白名单中，则检测所述归档指令对应的连接令牌和连接密钥是否通过校验；

若所述连接令牌和所述连接密钥通过校验，则获取所述归档指令对应日志文件名称中的第二IP地址和子系统标记信息；

检测所述第二IP地址、子系统标记信息和第一网际互联协议IP地址是否对应着同一个部门；

若所述第二IP地址、子系统标记信息和第一网际互联协议IP地址对应着同一个部门，则确定所述归档指令携带的待归档日志符合预设鉴权条件。

9.一种日志归档装置，其特征在于，所述日志归档装置应用在客户端中，所述客户端部署在日志归档平台应用系统节点上，所述日志归档平台为分布式架构平台，所述日志归档装置包括：

探测模块，用于当部署在日志归档平台应用系统节点上的客户端接收到归档指令后，探测可达的接收端，其中，所述归档指令包括待归档日志，所述探测可达的接收端是在检测到所述待归档日志合法时进行的；

发送模块，用于通过断点续传的方式发送包含待归档日志的归档指令给可达的所述接收端；

检测模块，用于检测发送所述归档指令过程中是否存在异常中断操作，其中，所述待归档日志为所述日志归档平台应用实例的日志；

执行模块，用于若检测到发送所述归档指令过程中存在异常中断操作，则通过执行回滚操作，将所述异常中断操作对应的归档指令重新发送给所述接收端，以供所述接收端对所述归档指令中的所述待归档日志执行归档操作；

所述执行模块，还用于若检测到发送所述归档指令过程中存在异常中断操作，则删除所述接收端已接收的所述待归档日志的日志片段，并生成所述待归档日志对应的状态码。

10.一种日志归档装置，其特征在于，所述日志归档装置应用在接收端中，所述日志归档装置包括：

检测模块，用于当日志归档平台的接收端接收到部署在日志归档平台应用系统节点上的客户端发送的归档指令后，检测所述归档指令携带的待归档日志是否符合预设鉴权条件，其中，所述客户端通过断点续传的方式发送所述归档指令给所述接收端，所述日志归档平台为分布式架构平台，所述待归档日志为所述日志归档平台应用实例的日志，所述客户端在检测到所述待归档日志合法时，通过断点续传的方式发送包含待归档日志的归档指令给所述接收端，并检测发送所述归档指令过程中是否存在异常中断操作，当在所述接收端接收所述归档指令过程中存在异常中断操作时，所述客户端删除所述接收端已接收的所述待归档日志的日志片段，并生成所述待归档日志对应的状态码；

接收模块，用于若所述待归档日志符合所述鉴权条件，则接收所述待归档日志；

存储模块，用于将所述待归档日志存储至预设缓冲区中；当成功接收所述待归档日志后，按照预设存储规则将所述待归档日志从所述缓冲区中存储至存储系统中，以完成所述待归档日志的归档操作。

11.一种日志归档设备，其特征在于，所述日志归档设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的日志归档程序，所述日志归档程序被所述处理器执行时实现如权利要求1至3或4至8中任一项所述的日志归档方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志归档程序，所述日志归档程序被处理器执行时实现如权利要求1至3或4至8中任一项所述的日志归档方法的步骤。