CN111078656A - 一种日志收集的方法及装置 - Google Patents

Abstract

本发明涉及了一种日志收集的方法即装置，其中该方法包括：在多个不同规格的标准日志清单中指定基础日志清单；根据收集需求指定移除日志清单和新增日志清单；基于基础日志清单过滤移除日志清单和新增日志清单；将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单；根据日志收集清单收集相应的日志并打包反馈。利用本发明的方法，一方面能够有效减少待传递日志包的大小，加速问题处理，增强客户体验；另一方面能够选择性的增加一些不常用的日志文件，大大节省了现场工程师的沟通成本与工作量。

Description

一种日志收集的方法及装置

技术领域

本发明涉及存储系统技术领域。本发明进一步涉及一种日志收集的方法及装置。

背景技术

存储系统作为复杂的高可用设备，在客户使用过程中可能会出现各种各样的问题。为了保证客户业务的持续性，如何及时恢复现场是需要优先考虑的问题。如此一来，就要求运维人员在现场收集足够的信息以便于定位问题。收集的信息常常以日志包的方式传递给研发人员来分析。

随着存储系统的演进，在现场收集日志时发现两个问题：一个是收集的日志文件过大，尤其是在节点数目比较多的情况下。由于现场条件有限，一个比较大的日志文件传递给后端需要几个小时甚至更多的时间，极大地影响了现场处理的效率，还会对客户带来不好的影响。另一个问题则是客诉分析过程中发现收集的日志不全，需要工程师收集更多的日志以便进一步分析，所以需要再次进行日志收集，甚至出现二次上门维护的情况。

基于上述问题，需要提出一种存储系统中能够增强可维护性的日志收集方法，提供一种可自定义的收集所需日志的方式。

发明内容

一方面，本发明基于上述目的提出了一种日志收集的方法，其中该方法包括以下步骤：

在多个不同规格的标准日志清单中指定基础日志清单；

根据收集需求指定移除日志清单和新增日志清单；

基于基础日志清单过滤移除日志清单和新增日志清单；

将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单；

根据日志收集清单收集相应的日志并打包反馈。

根据本发明的日志收集的方法的实施例，其中基于基础日志清单过滤移除日志清单和新增日志清单进一步包括：

将移除日志清单与基础日志清单进行对比，删除移除日志清单中不存在于基础日志清单的日志条目。

根据本发明的日志收集的方法的实施例，其中基于基础日志清单过滤移除日志清单和新增日志清单进一步包括：

将新增日志清单与基础日志清单进行对比，删除新增日志清单中已存在于基础日志清单的日志条目。

根据本发明的日志收集的方法的实施例，其中将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单进一步包括：

对基础日志清单与过滤后的移除日志清单做减法集得到已移除日志清单；

对已移除日志清单与过滤后的新增日志清单做加法集得到日志收集清单。

根据本发明的日志收集的方法的实施例，其中根据收集需求指定移除日志清单和新增日志清单进一步包括：

通过用户图形界面接收以命令行输入的移除日志清单的日志条目和新增日志清单的日志条目。

另一方面，本发明还提出了一种日志收集的装置，其特征在于，装置包括：

至少一个处理器；和

存储器，存储器存储有处理器可运行的程序指令，程序指令在被处理器运行时执行以下步骤：

在多个不同规格的标准日志清单中指定基础日志清单；

根据收集需求指定移除日志清单和新增日志清单；

基于基础日志清单过滤移除日志清单和新增日志清单；

将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单；

根据日志收集清单收集相应的日志并打包反馈。

根据本发明的日志收集的装置的实施例，其中基于基础日志清单过滤移除日志清单和新增日志清单进一步包括：

将移除日志清单与基础日志清单进行对比，删除移除日志清单中不存在于基础日志清单的日志条目。

根据本发明的日志收集的装置的实施例，其中基于基础日志清单过滤移除日志清单和新增日志清单进一步包括：

将新增日志清单与基础日志清单进行对比，删除新增日志清单中已存在于基础日志清单的日志条目。

根据本发明的日志收集的装置的实施例，其中将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单进一步包括：

对基础日志清单与过滤后的移除日志清单做减法集得到已移除日志清单；

对已移除日志清单与过滤后的新增日志清单做加法集得到日志收集清单。

根据本发明的日志收集的装置的实施例，其中根据收集需求指定移除日志清单和新增日志清单进一步包括：

通过用户图形界面接收以命令行输入的移除日志清单的日志条目和新增日志清单的日志条目。

采用上述技术方案，本发明至少具有如下有益效果：通过在存储管理界面收集日志时，除了原有的标准、完整日志外，提供一种自定义方式来收集所需日志，在标准类型日志的基础上，能够根据需求移除不必要的文件以减少日志包的大小便于快速传递给后端，同时能够根据需求增加未在清单中的日志文件或满足规则的一组日志文件以减少现场运维工程师的工作量，也就是说，一方面能够有效减少待传递日志包的大小，加速问题处理，增强客户体验；另一方面能够选择性的增加一些不常用的日志文件，大大节省了现场工程师的沟通成本与工作量。

本发明提供了实施例的各方面，不应当用于限制本发明的保护范围。根据在此描述的技术可设想到其它实施方式，这对于本领域普通技术人员来说在研究以下附图和具体实施方式后将是显而易见的，并且这些实施方式意图被包含在本申请的范围内。

下面参考附图更详细地解释和描述了本发明的实施例，但它们不应理解为对于本发明的限制。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对现有技术和实施例描述中所需要使用的附图作简单地介绍，附图中的部件不一定按比例绘制，并且可以省略相关的元件，或者在一些情况下比例可能已经被放大，以便强调和清楚地示出本文描述的新颖特征。另外，如本领域中已知的，结构顺序可以被不同地布置。

图1示出了根据本发明的日志收集的方法的实施例的示意性框图。

具体实施方式

虽然本发明可以以各种形式实施，但是在附图中示出并且在下文中将描述一些示例性和非限制性实施例，但应该理解的是，本公开将被认为是本发明的示例并不意图将本发明限制于所说明的具体实施例。

图1示出了根据本发明的日志收集的方法的实施例的示意性框图。在如图所示的实施例中，该方法至少包括以下步骤：

S1：在多个不同规格的标准日志清单中指定基础日志清单；

S2：根据收集需求指定移除日志清单和新增日志清单；

S3：基于基础日志清单过滤移除日志清单和新增日志清单；

S4：将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单；

S5：根据日志收集清单收集相应的日志并打包反馈。

根据本发明的构思提出了在需要收集日志时，基于不同规格的标准收集方式，例如传统的标准、完整等方式，通过自定义方式收集必须的日志文件。在标准方式的日志清单基础上，自定义移除日志，自定义新增日志，定制化日志清单。为了保证传统的日志收集模式还能正常的运行，因此不对标准日志清单直接进行修改，而是通过建立新的清单的方式来实现定制化的过程。具体地说，首先步骤S1在多个不同规格的标准日志清单中指定基础日志清单。在此，用户可以根据收集任务的需求从多个不同规格的标准日志清单中选择需要进行调整的程度最小的作为基础日志清单。然后，步骤S2根据收集需求指定移除日志清单和新增日志清单。也就是说，用户根据日志收集的需求(例如根据故障的不同表现需要收集不同的日志)，指定不必要收集的日志生成移除日志清单，并指定不常用、但是根据日志收集的需求有必要收集的日志生成新增日志清单。随后步骤S3：基于基础日志清单过滤移除日志清单和新增日志清单，即步骤S2中生成的移除日志清单和新增日志清单需要对照基础日志清单进行过滤，以减小清单的条目数量，从而进一步减小最后收集到的日志的大小。过滤完成后，步骤S4将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并，从而得到根据用户的需求自定义的最终的日志收集清单。最后，根据步骤S4中得到的最终的日志收集清单收集相应的日志并打包反馈给客户端或后台或相应的日志处理、分析的设备或模块。具体的收集、打包、反馈的过程可以以任何合适的、可实施的方式实现，在此不过多赘述。

下文将说明本发明的进一步实施例，需要注意的是，其中提到的步骤的编号在没有特殊说明的情况下，仅用于便捷明确地指示该步骤，并不限定所述步骤的顺序。

在本发明的日志收集的方法的一些实施例中，步骤S3基于基础日志清单过滤移除日志清单和新增日志清单进一步包括：将移除日志清单与基础日志清单进行对比，删除移除日志清单中不存在于基础日志清单的日志条目。由于移除日志清单中的日志条目是用户根据需求指定的，并且用户并不一定完全了解基础日志清单中包含的内容，因此可能出现移除日志清单中存在基础日志清单中本就不包含的内容。为了减少后续合并的工作量，因此在一些实施例中，将这些本就不包含在基础日志清单中的日志条目从移除日志清单中过滤掉，具体地操作是将移除日志清单与基础日志清单进行对比，删除移除日志清单中不存在于基础日志清单的日志条目。

在本发明的日志收集的方法的若干实施例中，步骤S3基于基础日志清单过滤移除日志清单和新增日志清单进一步包括：将新增日志清单与基础日志清单进行对比，删除新增日志清单中已存在于基础日志清单的日志条目。由于新增日志清单中的日志条目是用户根据需求指定的，并且用户并不一定完全了解基础日志清单中包含的内容，因此可能出现新增日志清单中存在基础日志清单中本就已经包含的内容。为了不在后续合并工作中增加校验的过程，同时保证收集到的日志没有重复的内容，因此在一些实施例中，将这些本就已经包含在基础日志清单中的日志条目从新增日志清单中过滤掉，具体地操作是将新增日志清单与基础日志清单进行对比，删除新增日志清单中已存在于基础日志清单的日志条目。

在本发明的日志收集的方法的一个或多个实施例中，步骤S4将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单进一步包括：

S41：对基础日志清单与过滤后的移除日志清单做减法集得到已移除日志清单；

S42：对已移除日志清单与过滤后的新增日志清单做加法集得到日志收集清单。

需要注意的是，基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单的合并过程可以以任意合适的方式实现。但是为了更进一步地减少合并的工作量，在一些实施例中优选地遵循“先减后加”的原则进行上述三个清单的合并工作。具体地说就是，首先步骤S41对基础日志清单与过滤后的移除日志清单做减法集，从基础日志清单中删除过滤后的移除日志清单中的日志条目，从而得到已移除日志清单，即对基础日志清单做“先减”处理。然后步骤S42对已移除日志清单与过滤后的新增日志清单做加法集，将过滤后的新增日志清单中的日志条目添加到步骤S41中得到的已移除日志清单，优选地将过滤后的新增日志清单中的日志条目整体地写入已移除日志清单的末位，从而得到日志收集清单，即对基础日志清单做“后加”处理。

在本发明的日志收集的方法的又一些实施例中，步骤S2根据收集需求指定移除日志清单和新增日志清单进一步包括：通过用户图形界面接收以命令行输入的移除日志清单的日志条目和新增日志清单的日志条目。也就是说，用户可以在存储管理界面的图形界面上优选地通过命令行将需要移除的日志条目(例如日志名称)写入移除日志清单，将需要添加的日志条目(例如日志名称)写入新增日志清单。

另一方面，本发明还提出了一种日志收集的装置，其特征在于，装置包括：至少一个处理器；和存储器，存储器存储有处理器可运行的程序指令，程序指令在被处理器运行时执行以下步骤：

S1：在多个不同规格的标准日志清单中指定基础日志清单；

S2：根据收集需求指定移除日志清单和新增日志清单；

S3：基于基础日志清单过滤移除日志清单和新增日志清单；

S4：将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单；

S5：根据日志收集清单收集相应的日志并打包反馈。

在本发明的日志收集的装置的一些实施例中，步骤S3基于基础日志清单过滤移除日志清单和新增日志清单进一步包括：将移除日志清单与基础日志清单进行对比，删除移除日志清单中不存在于基础日志清单的日志条目。

在本发明的日志收集的装置的若干实施例中，步骤S3基于基础日志清单过滤移除日志清单和新增日志清单进一步包括：将新增日志清单与基础日志清单进行对比，删除新增日志清单中已存在于基础日志清单的日志条目。

在本发明的日志收集的装置的一个或多个实施例中，步骤S4将基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单进一步包括：

S41：对基础日志清单与过滤后的移除日志清单做减法集得到已移除日志清单；

S42：对已移除日志清单与过滤后的新增日志清单做加法集得到日

志收集清单。

在本发明的日志收集的装置的又一些实施例中，步骤S2根据收集需求指定移除日志清单和新增日志清单进一步包括：通过用户图形界面接收以命令行输入的移除日志清单的日志条目和新增日志清单的日志条目。

本发明实施例公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。本发明实施例公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

本文所述的计算机可读存储介质(例如存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

采用上述技术方案，本发明至少具有如下有益效果：通过在存储管理界面收集日志时，除了原有的标准、完整日志外，提供一种自定义方式来收集所需日志，在标准类型日志的基础上，能够根据需求移除不必要的文件以减少日志包的大小便于快速传递给后端，同时能够根据需求增加未在清单中的日志文件或满足规则的一组日志文件以减少现场运维工程师的工作量，也就是说，一方面能够有效减少待传递日志包的大小，加速问题处理，增强客户体验；另一方面能够选择性的增加一些不常用的日志文件，大大节省了现场工程师的沟通成本与工作量。

应当理解的是，在技术上可行的情况下，以上针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外实施例。此外，本文所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤及顺序做出相应修改而不脱离本发明的保护范围。

在本申请中，反意连接词的使用旨在包括连接词。定或不定冠词的使用并不旨在指示基数。具体而言，对“该”对象或“一”和“一个”对象的引用旨在表示多个这样对象中可能的一个。然而，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。此外，可以使用连接词“或”来传达同时存在的特征，而不是互斥方案。换句话说，连接词“或”应理解为包括“和/或”。术语“包括”是包容性的并且具有与“包含”相同的范围。

上述实施例，特别是任何“优选”实施例是实施方式的可能示例，并且仅仅为了清楚理解本发明的原理而提出。在基本上不脱离本文描述的技术的精神和原理的情况下，可以对上述实施例做出许多变化和修改。所有修改旨在被包括在本公开的范围内。

Claims (10)

1.一种日志收集的方法，其特征在于，所述方法包括以下步骤：

在多个不同规格的标准日志清单中指定基础日志清单；

根据收集需求指定移除日志清单和新增日志清单；

基于所述基础日志清单过滤所述移除日志清单和所述新增日志清单；

将所述基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单；

根据所述日志收集清单收集相应的日志并打包反馈。

2.根据权利要求1所述的方法，其特征在于，所述基于所述基础日志清单过滤所述移除日志清单和所述新增日志清单进一步包括：

将所述移除日志清单与所述基础日志清单进行对比，删除所述移除日志清单中不存在于所述基础日志清单的日志条目。

3.根据权利要求1所述的方法，其特征在于，所述基于所述基础日志清单过滤所述移除日志清单和所述新增日志清单进一步包括：

将所述新增日志清单与所述基础日志清单进行对比，删除所述新增日志清单中已存在于所述基础日志清单的日志条目。

4.根据权利要求1所述的方法，其特征在于，所述将所述基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单进一步包括：

对所述基础日志清单与所述过滤后的移除日志清单做减法集得到已移除日志清单；

对所述已移除日志清单与所述过滤后的新增日志清单做加法集得到所述日志收集清单。

5.根据权利要求1所述的方法，其特征在于，所述根据收集需求指定移除日志清单和新增日志清单进一步包括：

通过用户图形界面接收以命令行输入的所述移除日志清单的日志条目和所述新增日志清单的日志条目。

6.一种日志收集的装置，其特征在于，所述装置包括：

至少一个处理器；和

存储器，所述存储器存储有处理器可运行的程序指令，所述程序指令在被处理器运行时执行以下步骤：

在多个不同规格的标准日志清单中指定基础日志清单；

根据收集需求指定移除日志清单和新增日志清单；

基于所述基础日志清单过滤所述移除日志清单和所述新增日志清单；

将所述基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单；

根据所述日志收集清单收集相应的日志并打包反馈。

7.根据权利要求6所述的装置，其特征在于，所述基于所述基础日志清单过滤所述移除日志清单和所述新增日志清单进一步包括：

将所述移除日志清单与所述基础日志清单进行对比，删除所述移除日志清单中不存在于所述基础日志清单的日志条目。

8.根据权利要求6所述的装置，其特征在于，所述基于所述基础日志清单过滤所述移除日志清单和所述新增日志清单进一步包括：

将所述新增日志清单与所述基础日志清单进行对比，删除所述新增日志清单中已存在于所述基础日志清单的日志条目。

9.根据权利要求6所述的装置，其特征在于，所述将所述基础日志清单、过滤后的移除日志清单和过滤后的新增日志清单合并为日志收集清单进一步包括：

对所述基础日志清单与所述过滤后的移除日志清单做减法集得到已移除日志清单；

对所述已移除日志清单与所述过滤后的新增日志清单做加法集得到所述日志收集清单。

10.根据权利要求6所述的装置，其特征在于，所述根据收集需求指定移除日志清单和新增日志清单进一步包括：

通过用户图形界面接收以命令行输入的所述移除日志清单的日志条目和所述新增日志清单的日志条目。

Images