CN110493355A

CN110493355A - 一种系统日志的下载方法及装置

Info

Publication number: CN110493355A
Application number: CN201910858733.1A
Authority: CN
Inventors: 吴业亮
Original assignee: Wuxi Huayun Data Technology Service Co Ltd
Current assignee: Wuxi Huayun Data Technology Service Co Ltd
Priority date: 2019-09-11
Filing date: 2019-09-11
Publication date: 2019-11-22

Abstract

本发明提供了一种系统日志的下载方法及装置，在接收到用户的日志下载请求时，可以通过调用预设日志搜集脚本搜集服务器集群中的目标日志，在将收集到的目标日志上传到目标控制节点中之后，将目标日志的下载路径发送给用户，使用户可以通过下载路径下载目标日志，将目标日志发送给云计算服务提供商，使其可以根据目标日志了解云计算服务在服务器集群中的运行状态，便于及时发现问题并及时解决问题，提高了云计算服务的稳定性。

Description

一种系统日志的下载方法及装置

技术领域

本发明涉及计算机技术领域，更具体的，涉及一种系统日志的下载方法及装置。

背景技术

随着云计算技术的发展，云计算服务得到广泛应用。云计算服务提供商在将产品交付和部署给客户后，后续运维过程中经常需要云计算服务提供商派出专人完成现场运维，云计算服务运行中的问题不能得到及时发现和解决，影响云计算服务的稳定性。

发明内容

有鉴于此，本发明提供了一种系统日志的下载方法及装置，用户可以通过自行下载系统日志，并将系统日志发送给云计算服务提供商，使云计算服务提供商可以通过分析系统日志及时发现和解决问题。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种系统日志的下载方法，包括：

在接收到用户的日志下载请求时，调用目标控制节点中的预设日志搜集脚本搜集服务器集群中的目标日志，所述目标日志与所述日志下载请求相对应；

将收集到的所述目标日志上传到所述目标控制节点中；

将所述目标日志的下载路径发送给用户，使用户通过所述下载路径下载所述目标日志。

可选的，所述目标控制节点为系统中N个控制节点中的任意一个控制节点，N≥3且N为奇数。

可选的，所述方法还包括：

获取系统中每个控制节点的负载信息；

根据每个控制节点的负载信息和预设负载均衡规则，确定所述目标控制节点。

可选的，所述调用目标控制节点中的预设日志搜集脚本搜集服务器集群中的目标日志，包括：

对所述日志下载请求进行解析，得到目标时间段；

根据所述目标控制节点的虚拟IP地址调用所述预设日志搜集脚本，搜集服务器集群中在所述目标时间段内产生的所有所述目标日志。

可选的，系统中的每个控制节点都安装有FTP服务，所述将收集到的所述目标日志上传到所述目标控制节点中，包括：

将收集到的所述目标日志进行压缩，并将所述目标日志的压缩包上传到所述目标控制节点的FTP目录下。

可选的，所述方法还包括：

将所述目标日志的压缩包同步到系统中的其他控制节点的FTP目录下。

可选的，所述将所述目标日志的压缩包同步到系统中的其他控制节点的FTP目录下，包括：

将所述目标日志的压缩包通过SSH同步到系统中的其他控制节点的FTP目录下。

可选的，控制节点的FTP目录下仅保存最新的所述目标日志的压缩包，之前的日志压缩包将自动转存到预设日志归档区。

一种系统日志的下载装置，包括：

日志搜集单元，用于在接收到用户的日志下载请求时，调用目标控制节点中的预设日志搜集脚本搜集服务器集群中的目标日志，所述目标日志与所述日志下载请求相对应；

日志上传单元，用于将收集到的所述目标日志上传到所述目标控制节点中；

下载路径发送单元，用于将所述目标日志的下载路径发送给用户，使用户通过所述下载路径下载所述目标日志。

可选的，所述装置还包括：

负载均衡控制单元，用于获取系统中每个控制节点的负载信息；

可选的，所述日志搜集单元，具体用于：

对所述日志下载请求进行解析，得到目标时间段；

可选的，系统中的每个控制节点都安装有FTP服务，所述日志上传单元，具体用于将收集到的所述目标日志进行压缩，并将所述目标日志的压缩包上传到所述目标控制节点的FTP目录下。

可选的，所述装置还包括：

日志同步单元，用于将所述目标日志的压缩包同步到系统中的其他控制节点的FTP目录下。

可选的，所述日志同步单元，具体用于将所述目标日志的压缩包通过SSH同步到系统中的其他控制节点的FTP目录下。

相对于现有技术，本发明的有益效果如下：

本发明公开的一种系统日志的下载方法，在接收到用户的日志下载请求时，可以通过调用预设日志搜集脚本搜集服务器集群中的目标日志，在将收集到的目标日志上传到目标控制节点中之后，将目标日志的下载路径发送给用户，使用户可以通过下载路径下载目标日志，将目标日志发送给云计算服务提供商，使其可以根据目标日志了解云计算服务在服务器集群中的运行状态，便于及时发现问题并及时解决问题，提高了云计算服务的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种系统日志的下载方法的流程示意图；

图2为本发明实施例公开的一种系统日志的下载装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人通过研究发现，目前云计算服务提供商在将产品交付和部署给客户后，后续运维过程中经常需要云计算服务提供商派出专人完成现场运维，云计算服务提供商不能及时发现和解决云计算服务运行中的问题，对于用户当发现云计算服务异常时，还需要等待云计算服务提供商的运维人员到现场查看，云计算服务异常不能得到及时解决，影响云计算服务的稳定性。

为了解决上述技术问题，本实施例公开了一种系统日志的下载方法，用户可以自行下载系统日志，通过将日志发送给云计算服务提供商，使其及时发现问题并及时解决问题，提高了云计算服务的稳定性。

请参阅图1，本实施例公开的系统日志的下载方法具体包括以下步骤：

S101：在接收到用户的日志下载请求时，调用目标控制节点中的预设日志搜集脚本搜集服务器集群中的目标日志，所述目标日志与所述日志下载请求相对应；

这里的用户为购买云计算服务的用户，只有具有权限的用户才可以下载日志，用户通过鉴权登录到web界面，然后通过web界面向系统发送日志下载请求，如点击一键搜集日志按键等。

目标日志为用户需要下载的日志，目标日志与日志下载请求相对应，即用户可以通过设置日志下载请求选择所要下载的日志，如用户可以下载服务器集群中所有的日志，若服务器集群规模比较大，产生的日志量也比较大，用户也可以通过设置日志下载请求中的目标时间段，仅搜集该目标时间段内服务器集群产生的日志。

S102：将收集到的所述目标日志上传到所述目标控制节点中；

S103：将所述目标日志的下载路径发送给用户，使用户通过所述下载路径下载所述目标日志。

用户通过下载路径可以访问目标日志在目标控制节点的存储路径，并下载目标日志。

用户下载日志后可以通过任何一种方式将目标日志发送至云计算服务提供商，使其可以根据目标日志了解云计算服务在服务器集群中的运行状态，便于及时发现问题并及时解决问题，提高了云计算服务的稳定性。

为了保证日志的高可用性，在系统中部署多个控制节点，为了实现冗余保护，目标控制节点为系统中N个控制节点中的任意一个控制节点，N≥3且N为奇数。

在此基础上，当接收到用户发送的日志下载请求时，首先获取系统中每个控制节点的负载信息，负载信息可以为硬件负载信息也可以为软件负载信息，如haproxy，根据每个控制节点的负载信息和预设负载均衡规则，确定目标控制节点，负载均衡规则有多种，可以根据实际需求进行预先设定，如将负载最低的控制节点作为目标控制节点；获取每个节点的故障情况，将无故障且负载最低的控制节点作为目标控制节点；当遇到多人同时下载日志的情况也可以通过根据多个用户的访问地址将多个用户的访问请求分流到多个控制节点，即目标控制节点为多个等等，在此不做具体限定。

每个控制节点都对应一个虚拟IP地址，每个控制节点都部署有预设日志搜集脚本，通过目标控制节点的虚拟IP地址调用预设日志搜集脚本。

服务器集群出现问题时一般日质量比较大，此时通过传统web下载存在瓶颈，本实施例在每个控制节点都安装FTP服务，FTP下载相对于web下载，下载速度快，且支持超大文件传输，稳定性更高，支持断点续传，下载中断可以从断点继续下载。将收集到的目标日志进行压缩，并将目标日志的压缩包上传到目标控制节点的FTP目录下，用户可以通过FTP下载快速的下载目标日志。

同时，将目标控制节点中的目标日志的压缩包同步到系统中的其他控制节点的FTP目录下，保证日志的高可用性，即使有一个控制节点故障，用户也可以通过其他控制节点实现日志的FTP下载。

为了提高了日志同步的安全性，将目标日志的压缩包通过SSH(英文全称：SpringStruts Hibernate)同步到系统中的其他控制节点的FTP目录下，SSH对目标日志进行加密传输，在网络链路上抓取不到日志的明文，提高了安全性。

进一步，为了提高日志存储效率，控制节点的FTP目录下仅保存最新的所述目标日志的压缩包，之前的日志压缩包将自动转存到预设日志归档区。

基于上述实施例公开的一种系统日志的下载方法，本实施例对应公开了一种系统日志的下载装置，请参阅图2，系统日志下载装置包括：

日志搜集单元201，用于在接收到用户的日志下载请求时，调用目标控制节点中的预设日志搜集脚本搜集服务器集群中的目标日志，所述目标日志与所述日志下载请求相对应；

日志上传单元202，用于将收集到的所述目标日志上传到所述目标控制节点中；

下载路径发送单元203，用于将所述目标日志的下载路径发送给用户，使用户通过所述下载路径下载所述目标日志。

可选的，所述装置还包括：

可选的，所述日志搜集单元201，具体用于：

对所述日志下载请求进行解析，得到目标时间段；

可选的，系统中的每个控制节点都安装有FTP服务，所述日志上传单元202，具体用于将收集到的所述目标日志进行压缩，并将所述目标日志的压缩包上传到所述目标控制节点的FTP目录下。

可选的，所述装置还包括：

本实施例公开的一种系统日志的下载装置，在接收到用户的日志下载请求时，可以通过调用预设日志搜集脚本搜集服务器集群中的目标日志，在将收集到的目标日志上传到目标控制节点中之后，将目标日志的下载路径发送给用户，使用户可以通过下载路径下载目标日志，将目标日志发送给云计算服务提供商，使其可以根据目标日志了解云计算服务在服务器集群中的运行状态，便于及时发现问题并及时解决问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种系统日志的下载方法，其特征在于，包括：

将收集到的所述目标日志上传到所述目标控制节点中；

2.根据权利要求1所述的方法，其特征在于，所述目标控制节点为系统中N个控制节点中的任意一个控制节点，N≥3且N为奇数。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取系统中每个控制节点的负载信息；

4.根据权利要求3所述的方法，其特征在于，所述调用目标控制节点中的预设日志搜集脚本搜集服务器集群中的目标日志，包括：

对所述日志下载请求进行解析，得到目标时间段；

5.根据权利要求2所述的方法，其特征在于，系统中的每个控制节点都安装有FTP服务，所述将收集到的所述目标日志上传到所述目标控制节点中，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述将所述目标日志的压缩包同步到系统中的其他控制节点的FTP目录下，包括：

8.根据权利要求6所述的方法，其特征在于，控制节点的FTP目录下仅保存最新的所述目标日志的压缩包，之前的日志压缩包将自动转存到预设日志归档区。

9.一种系统日志的下载装置，其特征在于，包括：

10.根据权利要求9所述的装置，其特征在于，所述目标控制节点为系统中N个控制节点中的任意一个控制节点，N≥3且N为奇数。