CN109343985A

CN109343985A - 一种数据处理方法、装置及存储介质

Info

Publication number: CN109343985A
Application number: CN201810879073.0A
Authority: CN
Inventors: 王军
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2018-08-03
Filing date: 2018-08-03
Publication date: 2019-02-15
Anticipated expiration: 2038-08-03
Also published as: CN109343985B

Abstract

本发明公开了一种数据处理方法，所述方法包括：接收待处理的日志文件；在所述日志文件对应的一级日志数据中确定故障日志数据；根据所述故障日志数据的日志类别，获取与所述日志类别对应的二级日志数据；调整所述二级日志数据中的日志记录频次。本发明还同时公开了一种数据处理装置。

Description

一种数据处理方法、装置及存储介质

技术领域

本发明涉及数据处理技术，尤其涉及一种数据处理方法、装置及存储介质。

背景技术

在用户设备出现故障，需要导出首次故障数据捕获(FFDC，First Fault DataCapture)的数据对用户设备的故障进行分析时，由于该FFDC数据中的日志记录只显示距离当前时间最近的一次报错信息，无法准确的诊断出用户设备的故障点，另外，由于在导出的FFDC数据中，存在有大量的无效日志数据，使得有效日志数据的容量空间受限，从而造成故障分析过程中的许多不便。

发明内容

有鉴于此，本发明实施例期望提供一种数据处理方法及装置，能够提高有效日志的存储容量。

为达到上述目的，本发明实施例的技术方案是这样实现的：

根据本发明实施例的一方面，提供一种数据处理方法，所述方法包括：

接收待处理的日志文件；

在所述日志文件对应的一级日志数据中确定故障日志数据；

根据所述故障日志数据的日志类别，获取与所述日志类别对应的二级日志数据；

调整所述二级日志数据中的日志记录频次。

上述方案中，所述方法还包括：

提取所述故障日志数据中的日志关键字；

根据所述日志关键字确定所述故障日志数据的日志类别。

上述方案中，所述方法还包括：

根据所述故障日志数据的日志类别，确定与所述日志类别对应的所述二级日志数据的日志类别；

其中，所述二级日志数据的日志类别对应所述一级日志数据中的至少一种日志类别。

上述方案中，所述方法还包括：

获取所述一级日志数据中每条故障日志数据的生成时间；

根据所述生成时间，对所述一级日志数据中的每条故障日志数据进行日志排序；

根据排序结果，调整所述二级日志数据中与每条故障日志数据的日志类别所对应的日志记录优先级。

上述方案中，所述方法还包括：

检测所述日志文件的存储容量；

将所述存储容量与预设容量进行比较；

当比较结果表征所述存储容量达到所述存储容量时，调整再次接收所述日志文件的存储容量。

上述方案中，调整再次接收所述日志文件的存储容量，包括：

将所述一级日志数据中未报错的日志数据确定为无效日志数据；

在所述日志文件中将所述无效日志数据对应的二级日志数据删除，以释放所述无效日志数据在所述日志文件中所占的存储容量。

上述方案中，所述方法还包括：

解析所述日志文件；

在针对所述日志文件的解析过程中，提取预设关键字；

将所述日志文件中包含所述预设关键字的目标日志数据生成所述一级日志数据。

根据本发明实施例的另一方面，提供一种数据处理装置，所述装置包括：接收单元、确定单元、获取单元和调整单元；

所述接收单元，用于接收待处理的日志文件；

所述确定单元，用于在所述日志文件对应的一级日志数据中确定故障日志数据；

所述获取单元，用于根据所述故障日志数据的日志类别，获取与所述日志类别对应的二级日志数据；

所述调整单元，用于调整所述二级日志数据中的日志记录频次。

根据本发明实施例的第三方面，提供一种数据处理装置，所述装置包括：存储器和处理器；

其中，所述存储器，用于存储能够在所述处理器上运行的计算机程序；

所述处理器，用于运行所述计算机程序时，执行上述数据处理方法中任一项所述方法的步骤。

根据本发明实施例中的第四方面，提供一种存储介质，其上存储有可执行程序，其特征在于，所述可执行程序被处理器执行时实现如上述数据处理方法中任一项所述方法的步骤。

本发明实施例所提供的数据处理方法及装置，通过接收待处理的日志文件；在所述日志文件对应的一级日志数据中确定故障日志数据；根据所述故障日志数据的日志类别，获取与所述日志类别对应的二级日志数据；调整所述二级日志数据中的日志记录频次。如此，能够降低无效日志的记录频次，而提高有效日志的记录频次，从而使得对用户设备的故障诊断更加精确。

附图说明

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例中数据处理装置的结构组成示意图一；

图3为本发明实施例中数据处理装置的结构组成示意图二。

具体实施方式

为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

图1为本发明实施例提供的一种数据处理方法的流程示意图，如图1所示，所述方法包括：

步骤101，接收待处理的日志文件；

本发明实施例中，所述方法应用于硬件日志的检测设备，该硬件日志包括但不限于中央处理器(CPU，Central Processing Unit)、硬盘、风扇、内存条等日志。

具体地，当用户设备发生故障时，用户设备可以向检测设备发送用于故障检测的日志文件，该日志文件称为待处理的日志文件。

步骤102，在所述日志文件对应的一级日志数据中确定故障日志数据；

本发明实施例中，当检测设备接收到用户设备发送的日志文件后，首先，使用解析工具对所述日志文件进行解压操作，得到的日志目录作为所述一级日志数据。

具体地，检测设备在针对所述日志文件的解析过程中，在所述日志文件中提取预设关键字；将解压后的所述日志文件中包含有所述预设关键字的目标日志数据，生成所述一级日志数据。

本发明实施例中，在所述一级日志数据里，包含有多个事件的日志数据，例如，风扇、CPU、硬盘等硬件的日志。然后，根据每个事件的日志数据中对应的报错标识，确定该事件是否是故障日志数据。当该事件的日志数据中对应有报错标识时，检测设备将该带有报错标识的日志数据确定为故障日志数据。

步骤103，根据所述故障日志数据的日志类别，获取与所述日志类别对应的二级日志数据；

本发明实施例中，检测设备在一级日志文件中确定出故障日志数据后，提取所述故障日志数据中的日志关键字，然后，根据提取的日志关键字确定所述故障日志数据的日志类别。

这里，日志关键字可以是硬件名称，包括但不限于基板管理控制器(BMC，Baseboard Management Controller)主板、基于输入输出系统(BIOS，Basic Input OutputSystem)等。

当所述检测设备确定出故障日志数据的所属日志类别后，则可以根据所述日志类别，获取与所述日志类别对应的二级日志数据。

本发明实施例中，可以直接在一级日志数据中对应的日志搜索框中，搜索该日志类别，根据搜索结果输出与所述日志类别对应的二级日志数据。

或者，对所述用户设备发送的日志数据进行第二次解压操作，得到后缀名是TZZ的解压数据，将后缀名是TZZ的解压数据进行再次解压，得到后缀名是TAR的解压文件，然后，基于后缀名是TAR的解压文件输出二级日志数据。

本发明实施例中，当检测设备确定出故障日志的日志类别后，可以根据所述故障日志数据的日志类别，确定与所述日志类别对应的所述二级日志数据的日志类别；其中，所述二级日志数据的日志类别对应所述一级日志数据中的至少一种日志类别。

例如，在一级日志数据中包含有CPU和风扇这两种事件的故障日志数据，但是CPU和风扇都会接触到电源，因此，在二级日志数据中的电源的日志数据，对应的日志类别包括CPU和风扇这两个事件。

步骤104，调整所述二级日志数据中的日志记录频次。

本发明实施例中，BMC一旦发现一级日志数据中的某一类日志数据有报错标识，则调整二级日志中与一级日志数据中相同类别的日志记录频次，使得该类别的日志数据的记录频次更密集。从而提高故障检测精度。

具体地，检测设备可以通过获取所述一级日志数据中每条故障日志数据的生成时间；根据所述生成时间，对所述一级日志数据中的每条故障日志数据进行日志排序；然后，根据排序结果，调整所述二级日志数据中与每条故障日志数据的日志类别所对应的日志记录优先级。

本发明实施例中，检测设备还可以检测用户设备发送的日志文件的存储容量；然后，将所述存储容量与预设容量进行比较；当比较结果表征所述存储容量达到所述存储容量时，调整再次接收所述日志文件的存储容量。

这里，调整再次接收所述日志文件的存储容量，包括：

将所述一级日志数据中未报错的日志数据确定为无效日志数据；在所述日志文件中将所述无效日志数据对应的二级日志数据删除，以释放所述无效日志数据在所述日志文件中所占的存储容量。这样，使得用户设备再次发送日志文件时，日志文件中的有效日志多于无效日志，同时提高有效日志的记录频次，降低了无效日志的记录频次。

本发明实施例中，在接收到用户设备发送的日志文件时，通过先给该日志文件进行日志分级，如eventlog的内容作为一级日志文件，除eventlog内容以外的内容作为二级日志文件，甚至三级日志文件。然后，在一级日志文件中对该日志文件进行日志分类。并根据一级日志文件中的分类结果对二级日志文件中的日志文件进行分类，其中，二级日志文件中的日志文件可以对应一级日志文件中的一种或两种以上的日志类别。

然后，BMC一旦发现一级日志文件中的某一类日志有报错，则可以根据同类别的日志记录数据，调整二级日志文件或三级日志文件中相同类别的日志记录优先级，如此，使得有效日志得到更密集的记录，降低无效日志的记录容量。

本发明实施例中，当日志文件的总存储容量超过预设容量阈值时，则将二级日志文件或三级日志文件中与一级日志文件中不相关的日志类别的记录频次调低，或直接删除，以保证有效信息没有丢失的前提下，减少无效日志所占的容量。

图2为本发明实施例中数据处理装置的结构组成示意图一，如图2所示，所述装置包括：接收单元201、确定单元202、获取单元203和调整单元204；

所述接收单元201，用于接收待处理的日志文件；

所述确定单元202，用于在所述日志文件对应的一级日志数据中确定故障日志数据；

所述获取单元203，用于根据所述故障日志数据的日志类别，获取与所述日志类别对应的二级日志数据；

所述调整单元204，用于调整所述二级日志数据中的日志记录频次。

本发明实施例中，所述装置还包括：提取单元205；

所述提取单元205，用于提取所述故障日志数据中的日志关键字；

所述确定单元202，还用于根据所述日志关键字确定所述故障日志数据的日志类别。

本发明实施例中，所述确定单元202，还用于根据所述故障日志数据的日志类别，确定与所述日志类别对应的所述二级日志数据的日志类别；

本发明实施例中，所述装置还包括：排序单元206；

所述获取单元203，用于获取所述一级日志数据中每条故障日志数据的生成时间；

所述排序单元206，用于根据所述生成时间，对所述一级日志数据中的每条故障日志数据进行日志排序；

所述调整单元204，还用于根据排序结果，调整所述二级日志数据中与每条故障日志数据的日志类别所对应的日志记录优先级。

本发明实施例中，所述装置还包括：检测单元207；

所述检测单元207，用于检测所述日志文件的存储容量；

将所述存储容量与预设容量进行比较；

所述调整单元204，还用于当比较结果表征所述存储容量达到所述存储容量时，调整再次接收所述日志文件的存储容量。

本发明实施例中，所述确定单元202，还用于将所述一级日志数据中未报错的日志数据确定为无效日志数据；

所述调整单元204，具体用于在所述日志文件中将所述无效日志数据对应的二级日志数据删除，以释放所述无效日志数据在所述日志文件中所占的存储容量。

本发明实施例中，所述装置还包括：解析单元208；

所述解析单元208，用于解析所述日志文件；

所述提取单元205，还用于在针对所述日志文件的解析过程中，提取预设关键字；

确定单元202，具体将所述日志文件中包含所述预设关键字的目标日志数据生成所述一级日志数据。

通过本发明实施例提供的数据处理装置，通过对用户设备发送的日志文件进行日志分级，例如，分为一级日志数据和二级日志数据；然后再对一级日志数据进行日志分类，并根据一级日志数据中的分类结果对二级日志数据进行日志分类。其中，二级日志数据中的每一类日志数据至少对应一级日志数据中的一种事件或两种以上事件；在实际的日志记录中，BMC一旦发现一级日志数据中的某一类log有记录，则可以根据用户设备发送的日志总容量，调整二级日志数据中相同类别的log的记录优先级，如此，可以对有效日志数据进行更密集的记录；

另一方面，当有效日志数据的总容量达到用户设备发送的日志数据的总容量时，降低二级日志数据中与一级日志数据中故障日志数据无关的无效日志数据的记录优先级，或者，直接将二级日志数据中与一级日志数据中无关的无效日志删除，如此，使得在确保有效信息没有丢失的前提下，减小无效日志所在二级日志数据中的存储容量。

这里，将一级日志数据中没有报错标识的日志数据，作为无效日志数据。

需要说明的是：上述实施例提供的数据处理装置在对有效日志数据的记录频次进行调整时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将控制设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图3为本发明实施例中数据处理装置的结构组成示意图二；如图3所示，所述数据处理装置300可以是移动电话、计算机、数字广播终端、信息收发设备、游戏控制台、平板设备、个人数字助理、信息推送服务器、内容服务器、身份认证服务器等。图3所示的数据处理装置300包括：至少一个处理器301、存储器302、至少一个网络接口304和用户接口303。数据处理装置300中的各个组件通过总线系统305耦合在一起。可理解，总线系统305用于实现这些组件之间的连接通信。总线系统305除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统305。

其中，用户接口303可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器302可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器302旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例中的存储器302用于存储各种类型的数据以支持数据处理装置300的操作。这些数据的示例包括：用于在数据处理装置300上操作的任何计算机程序，如操作系统3021和应用程序3022；其中，操作系统3021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序3022可以包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序3022中。

上述本发明实施例揭示的方法可以应用于处理器301中，或者由处理器301实现。处理器301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器301可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，数据处理装置300可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。

具体所述处理器301运行所述计算机程序时，执行：接收待处理的日志文件；

在所述日志文件对应的一级日志数据中确定故障日志数据；

调整所述二级日志数据中的日志记录频次。

所述处理器301运行所述计算机程序时，还执行：提取所述故障日志数据中的日志关键字；

根据所述日志关键字确定所述故障日志数据的日志类别。

所述处理器301运行所述计算机程序时，还执行：根据所述故障日志数据的日志类别，确定与所述日志类别对应的所述二级日志数据的日志类别；

所述处理器301运行所述计算机程序时，还执行：获取所述一级日志数据中每条故障日志数据的生成时间；

所述处理器301运行所述计算机程序时，还执行：检测所述日志文件的存储容量；

将所述存储容量与预设容量进行比较；

所述处理器301运行所述计算机程序时，还执行：将所述一级日志数据中未报错的日志数据确定为无效日志数据；

所述处理器301运行所述计算机程序时，还执行：解析所述日志文件；

在针对所述日志文件的解析过程中，提取预设关键字；

在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器302，上述计算机程序可由数据处理装置300的处理器301执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、FlashMemory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。

一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，执行：检测到影像启用操作时，生成弹出指令；

向所述设备中的运动机构发送所述弹出指令，使所述运动机构以第一运动方式运动，并驱动所述设备中的拍摄单元向所述设备的第一方向移动，使得所述拍摄单元能够获取影像数据。

该计算机程序被处理器运行时，还执行：接收待处理的日志文件；

在所述日志文件对应的一级日志数据中确定故障日志数据；

调整所述二级日志数据中的日志记录频次。

该计算机程序被处理器运行时，还执行：提取所述故障日志数据中的日志关键字；

根据所述日志关键字确定所述故障日志数据的日志类别。

该计算机程序被处理器运行时，还执行：根据所述故障日志数据的日志类别，确定与所述日志类别对应的所述二级日志数据的日志类别；

该计算机程序被处理器运行时，还执行：获取所述一级日志数据中每条故障日志数据的生成时间；

该计算机程序被处理器运行时，还执行：检测所述日志文件的存储容量；

将所述存储容量与预设容量进行比较；

该计算机程序被处理器运行时，还执行：将所述一级日志数据中未报错的日志数据确定为无效日志数据；

该计算机程序被处理器运行时，还执行：解析所述日志文件；

在针对所述日志文件的解析过程中，提取预设关键字；

需要说明的是：上述实施例提供的数据处理装置在实现对有效日志的记录频次调高时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将数据处理装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的数据处理装置与上述数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

通过将用户设备发送的日志数据分为至少两个级别，分别为一级日志数据和二级日志数据；并对一级日志数据中的日志进行分类；根据一级日志数据中的日志分类对二级日志数据进行分类；然后，发现一级日志数据中有报错日志时，则根据日志总容量调节二级日志中与报错日志的类别相同的日志的记录频次。当日志存储容量达到预设容量的上限时，将二级日志数据中与报错日志无关的日志作为无效日志删除，或降低无效日志的记录频次，以为有效日志提供更多的存储容量。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种数据处理方法，所述方法包括：

接收待处理的日志文件；

在所述日志文件对应的一级日志数据中确定故障日志数据；

调整所述二级日志数据中的日志记录频次。

2.根据权利要求1所述的方法，所述方法还包括：

提取所述故障日志数据中的日志关键字；

根据所述日志关键字确定所述故障日志数据的日志类别。

3.根据权利要求1或2所述的方法，所述方法还包括：

4.根据权利要求1所述的方法，所述方法还包括：

获取所述一级日志数据中每条故障日志数据的生成时间；

5.根据权利要求1所述的方法，所述方法还包括：

检测所述日志文件的存储容量；

将所述存储容量与预设容量进行比较；

6.根据权利要求5所述的方法，调整再次接收所述日志文件的存储容量，包括：

7.根据权利要求1所述的方法，所述方法还包括：

解析所述日志文件；

在针对所述日志文件的解析过程中，提取预设关键字；

8.一种数据处理装置，所述装置包括：接收单元、确定单元、获取单元和调整单元；

所述接收单元，用于接收待处理的日志文件；

9.一种数据处理装置，所述装置包括：存储器和处理器；

所述处理器，用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。

10.一种存储介质，其上存储有可执行程序，其特征在于，所述可执行程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。