CN110321371B - 日志数据异常检测方法、装置、终端及介质 - Google Patents

Abstract

本申请公开了一种日志数据异常检测方法、装置、终端及介质。其中方法包括：将获取的第一日志数据序列转换为第一标识序列，第一日志数据序列为第一网络设备的时序排列的M个系统日志数据，第一标识序列包含M个日志标识，M为大于1的整数，再基于第一标识序列获得预测结果，其中包含至少一个预测日志标识；获取第二日志数据，该第二日志数据为第一网络设备在第一日志数据序列之后产生的下一个的系统日志数据，再将第二日志数据转换为对应的目标日志标识，将目标日志标识与预测结果进行比对，确定第二日志数据是否为异常数据，可以更准确、高效地实现网络设备的系统日志数据的异常检测，以便及时进行异常处理。

Description

日志数据异常检测方法、装置、终端及介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种日志数据异常检测方法、装置、终端及介质。

背景技术

交换机、路由器等网络设备输出的系统日志数据记录了设备运行中的各个状态，包含大量重要有价值的信息。通过这些系统日志数据的检测可以发现网络设备的状态是否发生异常。

系统日志数据的异常检测方法一般是基于规则的关键字匹配，将系统日志数据和已有规则库里的每个规则进行正则表达匹配，如果匹配成功则产生异常告警。但是通常网络运营中会不断地有新设备引入，对每类新设备增加和补全这些规则需要较长时间，导致很多未添加到规则库里面的告警被遗漏。并且，定义每个规则需要大量的人工成本，可使用的规则也无法做到全面覆盖，对于日志数据的检测处理准确度和效率较低。

发明内容

本申请提供了一种日志数据异常检测方法、装置、终端及介质，可以更准确、高效地实现网络设备的系统日志数据的异常检测。

第一方面，提供了一种日志数据异常检测方法，包括：

获取第一日志数据序列，将所述第一日志数据序列转换为对应的第一标识序列，所述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据，所述第一标识序列包含M个日志标识，所述M为大于1的整数；

基于所述第一标识序列预测所述第一标识序列的下一个日志标识，获得预测结果，所述预测结果包含至少一个预测日志标识；

获取第二日志数据，所述第二日志数据为所述第一网络设备在所述第一日志数据序列之后产生的下一个的系统日志数据；

将所述第二日志数据转换为对应的目标日志标识；

将所述目标日志标识与所述预测结果进行比对，确定所述第二日志数据是否为异常数据。

第二方面，提供了一种日志数据异常检测装置，包括获取模块、转换模块、预测模块、检测模块和生成模块，其中：

所述获取模块，用于获取第一日志数据序列，所述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据；

所述转换模块，用于将所述第一日志数据序列转换为对应的第一标识序列，所述第一标识序列包含M个日志标识，所述M为大于1的整数；

所述预测模块，用于基于所述第一标识序列预测所述第一标识序列的下一个日志标识，获得预测结果，所述预测结果包含至少一个预测日志标识；

所述获取模块还用于，获取第二日志数据，所述第二日志数据为所述第一网络设备在所述第一日志数据序列之后产生的下一个的系统日志数据；

所述转换模块还用于，将所述第二日志数据转换为对应的目标日志标识；

所述检测模块，用于将所述目标日志标识与所述预测结果进行比对，确定所述第二日志数据是否为异常数据。

第三方面，本申请实施例提供了一种终端，所述终端包括输入设备和输出设备，所述终端还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：

获取第一日志数据序列，将所述第一日志数据序列转换为对应的第一标识序列，所述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据，所述第一标识序列包含M个日志标识，所述M为大于1的整数；

基于所述第一标识序列预测所述第一标识序列的下一个日志标识，获得预测结果，所述预测结果包含至少一个预测日志标识；

获取第二日志数据，所述第二日志数据为所述第一网络设备在所述第一日志数据序列之后产生的下一个的系统日志数据；

将所述第二日志数据转换为对应的目标日志标识；

将所述目标日志标识与所述预测结果进行比对，确定所述第二日志数据是否为异常数据。

第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如上述第一方面及其任一种可能的实现方式的步骤。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面及其任一种可能的实现方式的方法。

本申请通过获取第一日志数据序列，将上述第一日志数据序列转换为对应的第一标识序列，上述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据，上述第一标识序列包含M个日志标识，上述M为大于1的整数，再基于上述第一标识序列预测上述第一标识序列的下一个日志标识，获得预测结果，上述预测结果包含至少一个预测日志标识；获取第二日志数据，上述第二日志数据为上述第一网络设备在上述第一日志数据序列之后产生的下一个的系统日志数据，将上述第二日志数据也转换为对应的目标日志标识，然后可以将上述目标日志标识与上述预测结果进行比对，确定上述第二日志数据是否为异常数据，可以更准确、高效地实现网络设备的系统日志数据的异常检测，不需要增改规则库的操作，便于后续自动化地进行异常处理。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1为本申请实施例提供的一种日志数据异常检测方法的流程示意图；

图2为本申请实施例提供的另一种日志数据异常检测方法的流程示意图；

图3为本申请实施例提供的一种异常数据处理方法的流程示意图；

图4为本申请实施例提供的一种设备统计信息的界面示意图；

图5为本申请实施例提供的一种异常设备查询的界面示意图；

图6为本申请实施例提供的一种设备异常详情的界面示意图；

图7为本申请实施例提供的一种解析模板的界面示意图；

图8为本申请实施例提供的一种预测网络模型训练方法的流程示意图；

图9为本申请实施例提供的另一种预测网络模型训练方法的流程示意图；

图10为本申请实施例提供的一种日志数据异常检测装置的结构示意图；

图11为本申请实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图1，图1是本申请实施例提供的一种日志数据异常检测方法的流程示意图。

101、获取第一日志数据序列，将上述第一日志数据序列转换为对应的第一标识序列，上述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据，上述M为大于2的整数。

本申请实施例中的执行主体可以为一种日志数据异常检测装置，可以为电子设备，上述电子设备包括终端，具体实现中，上述终端也可称为终端设备，包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

本申请实施例中的日志数据主要指系统日志(syslog)数据，系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监查系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志可细分包括系统日志、应用程序日志和安全日志。

其中，上述第一日志数据序列可以来自第一网络设备，上述第一网络设备可以是与该日志数据异常检测装置通信的网络设备，即在本申请实施例中日志数据异常检测装置可以接收来自第一网络设备的系统日志数据，或者说可以实时获取第一网络设备的系统日志数据。

上述网络设备及部件是连接到网络中的物理实体。网络设备的种类繁多，可包括：计算机(个人电脑或服务器)、交换机、路由器、网桥、网关、打印机和调制解调器等。

具体的，上述第一日志数据序列可包括至少两个(条)日志数据，其为时序排列，由于系统日志数据为带有时间戳的时序数据，可以理解为第一网络设备每产生一个系统日志数据该日志数据异常检测装置可以获取该个系统日志数据，即依靠时间戳确定时序关系，获取到第一网络装置产生的一系列系统日志数据，为上述第一日志数据序列。可选的，该第一日志数据序列中的系统日志数据数量可以预先设置。

具体的，可以预先设置M，在本申请实施例中可以称为窗口阈值，上述窗口阈值M为大于2的整数。即每一个第一日志数据序列包含M个时序排列的系统日志数据。

然后，可以将获取的第一日志数据序列转换为对应的第一标识序列。上述标识序列可以为各种字母、编号或者数值组成的序列，比如数值序列：23415。本申请实施例中，由于系统日志数据是文本数据，可以将第一日志数据序列中的系统日志数据一一转换为相应的日志标识，从而获得上述第一标识序列，其中第一标识序列即包含相应的M个日志标识。具体可以预先设置相应的转换规则将网络设备的系统日志数据转换成对应的日志标识，本申请对此不作限制。

通过将系统日志数据转换为日志标识表示，处理信息更加简捷，以及更加适用于输入神经网络模型进行处理，比如长短期记忆人工神经网络(Long-Short Term Memory，LSTM)。LSTM是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

在获得上述第一标识序列之后，可以执行步骤102。

102、基于上述第一标识序列预测上述第一标识序列的下一个日志标识，获得预测结果，上述预测结果包含至少一个预测日志标识。

可以进行线上系统日志数据的预测，通过上述第一标识序列可以预测下一个日志标识，可以获得至少一个预测日志标识，预测下一个日志标识可以理解为第一网络设备在第一日志数据序列之后产生的下一个的系统日志数据的日志标识，需要注意的是，此处是预测的而不是真实的，需要在之后进行比对，判断真实的数据是否异常。即该日志数据异常检测装置可以预测来自第一网络设备的下一条系统日志数据。

可选的，可以将第一标识序列输入预测网络模型来获得上述预测结果。比如训练后的LSTM模型。LSTM结构主要包括几个门：遗忘门(forget gate)，输入门(input gate)和输出门(output gate)，还可包括学习门、记忆门等。这些阀门可以打开或关闭，用于将判断模型网络的记忆态(之前网络的状态)在该层输出的结果是否达到阈值从而加入到当前该层的计算中。这些门的基本工作原理如下：

长期记忆进入遗忘门，忘记它认为没有用处的数据；

短期记忆和事件在学习门里合并到一起，并移除掉一切不必要的信息，作为学到的新信息，其中学习门可以用于模型训练；

还没遗忘的长期记忆和刚学到的新信息会在记忆门里合并到一起，这个门把这两者放到一起，由于它叫记忆门，所以它会输出更新后的长期记忆；

最后，输出门会决定要从之前知道的信息以及刚学到的信息中挑出什么来使用，从而作出预测，所以它也接受长期记忆和新信息的输入，把它们合并到一起并决定要输出什么。所以输出就包括了预测和新的短期记忆。

在本申请实施例中，回到应用于日志标识的预测网络模型来举例，预测网络模型试图用先前的日志标识预测下一个。每次输入的M个日志标识为当前的新输入的短期记忆；结合学习门之前(训练时)学习到的规则，可以对其中M个日志标识之间的关系进行判断，依据输入分析到的日志标识的时序关系、出现每个日志标识出现的概率等信息即为上述刚学到的信息，比如，在两个连续的日志标识1和5之后必然出现的是日志标识4。输出门设置可规定输出的是预测的下一个日志标识及其可能的概率，则输出门基于已获得信息和预先设置，输出上述预测结果。

103、获取第二日志数据，将上述第二日志数据转换为对应的目标日志标识，上述第二日志数据为上述第一网络设备在上述第一日志数据序列之后产生的下一个的系统日志数据。

上述第二日志数据为上述用于预测的第一日志数据序列的下一条日志数据域，此处为真实的数据，用于转换为日志标识后再与预测结果进行比对。可以接收来自第一网络设备的第二日志数据，并将上述第二日志数据通过与上述步骤101中相同的方法转换为对应的目标日志标识，此处不再赘述。

104、将上述目标日志标识与上述预测结果进行比对，确定上述第二日志数据是否为异常数据。

在获得上述预测结果和上述第二日志数据之后，则可以执行步骤104。

此时，将真实获得的目标日志标识与预测获得的上述预测结果进行比对，来判断目标日志标识是否异常。

经过训练后的预测网络模型可以预测获得第一日志数据序列之后的正常日志数据，通过判断目标日志标识与预测结果中的数据是否一致可以确定上述第二日志数据是否为异常数据。本申请实施例中的步骤可以周期性执行，可以理解为该预测可以是一个实时预测，如果实时获取的网络设备的系统日志数据不在模型的预测范围内，则被认为是异常数据。

在一种可选的实施方式中，若上述预测结果中不包含上述目标日志标识，确定上述第二日志数据为异常数据；若上述预测结果中包含上述目标日志标识，确定上述第二日志数据不为异常数据。

若上述第二日志数据为上述异常数据，可以执行步骤105。

105、若上述第二日志数据为上述异常数据，生成包含上述第二日志数据的异常处理信息，响应于上述异常处理信息，执行上述与第二日志数据对应的异常处理事项。

本申请实施例中，对于网络设备的系统日志数据的处理，不仅仅停留在异常预测，还可以对预测为异常的系统日志数据进行平台化的处理方式，将预测为异常的系统日志数据实时上报到分析平台，进行自动化后续处理。

对于被判断为异常数据的第二日志数据，可以生成包含该第二日志数据的异常处理信息。该异常处理信息可以传输到日志数据分析平台，以进行对该异常数据的自动化处理，具体的，在检测到该异常处理信息之后，可以响应于该异常处理信息，执行与该第二日志数据对应的异常处理事项，解决异常数据问题，维护网络设备的正常工作。可选的，上述异常处理信息还可以向其他终端设备发送，以使其他终端设备进行存储和异常处理，比如日志解析等。

本申请实施例通过获取第一日志数据序列，将上述第一日志数据序列转换为对应的第一标识序列，上述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据，上述第一标识序列包含M个日志标识，上述M为大于1的整数，再基于上述第一标识序列预测上述第一标识序列的下一个日志标识，获得预测结果，上述预测结果包含至少一个预测日志标识；获取第二日志数据，上述第二日志数据为上述第一网络设备在上述第一日志数据序列之后产生的下一个的系统日志数据，将上述第二日志数据也转换为对应的目标日志标识，然后可以将上述目标日志标识与上述预测结果进行比对，确定上述第二日志数据是否为异常数据，若上述第二日志数据为上述异常数据，可以生成包含上述第二日志数据的异常处理信息，上述异常处理信息用于触发与上述第二日志数据对应的异常处理事项，可以更准确、高效地实现网络设备的系统日志数据的异常检测。

一般而言，大多数系统日志数据处理方案侧重点在于时序的异常检测，在实际使用中缺乏对产生异常日志的后续处理。另外在实际运用中，当大量异常产生时，一些很重要且需要及时处理的异常可能被淹没，异常数据处理不够及时和全面。本申请实施例中的异常检测方法可以不依赖于专家规则库进行判断，人工参与较少，更准确、高效地实现网络设备的系统日志数据的异常检测，通过分析平台能够自动化处理异常，提高了处理效率和异常数据处理的及时性和全面度。

请参阅图2，图2是本申请实施例提供的另一种日志数据异常检测方法的流程示意图。图2所示的实施例是在图1所示的实施例的基础上进一步优化得到的，该方法可包括：

201、获取第一日志数据序列，提取上述第一日志数据序列中的各系统日志数据的关键字。

本申请实施例中的执行主体可以为一种日志数据异常检测装置，可以为电子设备，上述电子设备包括终端，具体实现中，上述终端也可称为终端设备，包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

本申请实施例中可以预先设置上述窗口阈值M，用于限制日志序列的系统日志数据数量。即上述第一日志数据序列包含的M个系统日志数据，上述M为大于2的整数。

具体的，可以根据预设关键字提取规则进行系统日志数据的关键字提取。

网络设备中系统日志的信息输出格式一般包含：时间戳、主机名、厂商标识号、版本号、模块名、日志级别、摘要信息，详细信息等信息。比如，Syslog一般具有格式：

TimeStamp HostName％％dd ModuleName/Serverity/Brief:Description，

其中TimeStamp为时间戳，HostName为主机名，％％后面的dd为厂商版本号，ModuleName为模块名，Serverity为日志级别，Brief为摘要信息，Description为详细信息。Syslog较其他日志内容的不同就是ModuleName/Serverity/Brief这段关键字基本包含了该Syslog所要表达的基本信息，类似于文章中的摘要内容。但不同厂商的Syslog输出格式可以不一样，比如厂商Cisco和锐捷的格式和H3C、HW有一定差别，具体可以参见下表1所示，H3C的Syslog内容中包含主机名，而Cisco的Syslog内容中没有主机名，但是一般都包含模块名、日志级别、摘要信息。

因此针对不同厂商的系统日志数据，设置的关键字提取规则可存在不同，如H3C可以提出‘％％’和‘：’之间的内容作为关键字，Cisco可以提取‘％’和‘：’之间的内容作为关键字，具体信息如下表1所示。

表1

上述表1中提供了部分系统日志数据的关键字提取内容的示意，可以对关键字提取规则进行修改和增删，以适应不同网络设备或者不同设备厂商的系统日志数据的关键词提取，本申请实施例对此不作限制。

在提取关键字之后，可以执行步骤202。

202、根据预设的关键字与日志标识的对应关系，确定上述各系统日志数据的关键字所对应的各日志标识，依据上述第一日志数据序列中上述各系统日志数据的排列顺序排列上述各日志标识，获得上述第一日志数据序列对应的第一标识序列。

具体的，可以存储有上述预设的关键字与日志标识的对应关系，在对系统日志数据中的关键字进行提取后，可以赋予每类关键字一个独一无二的日志标识，利用这种方法将文本数据类型的系统日志数据转换成日志标识来表示，更适用于利用上述LSTM模型进行处理和训练。

关键字对应的日志标识可以为单个数值，可称为日志ID，比如可以参见上述表1，关键字DEV/2/FAN_FAILED对应的日志ID为1，关键字FWM-6-MAC_MOVE_NOTIFICATION对应的日志ID为2，等等，即系统日志数据的关键字具有对应的唯一日志ID。

通过上述步骤可以将上述第一日志数据序列转换为对应的第一标识序列，其中上述各日志标识在上述第一标识序列中的排列顺序，与上述第一日志数据序列中上述各系统日志数据的排列顺序是对应的。

获得的第一标识序列为M个日志标识组成的序列，比如上述窗口阈值M为10的情况下，第一日志数据序列转换后获得的第一标识序列以日志ID可表示为：

id2->id3->id4->id4->id5->id3->id9->id3->id4->id4。

203、将上述第一标识序列输入预测网络模型，输出至少一个预测日志标识以及上述预测日志标识对应的预测概率。

本申请实施例中使用的预测网络模型可以为长短期记忆人工神经网络(Long-Short Term Memory，LSTM)。

上述第一标识序列输入上述LSTM模型后，可以获得预测结果，上述预测结果可以包含至少一个预测日志标识以及上述预测日志标识对应的预测概率，上述预测日志标识为该模型预测的上述第一标识序列的下一个日志标识。

其中，不同预测日志标识可以具有不同的概率。可选的，在实际预测中，如果只需要一个预测结果，一般可以选取概率最大的预测日志标识作为模型的预测结果。由于Syslog时序数据的特殊性，在本申请实施例方案中，可以使用至少两个预测日志标识。

在实际情况下，存在很多系统系统日志序列之后产生的系统日志数据是不同的情况，进一步的，主要由于模型的训练集中存在很多输入相同但输出不同的数据，这些时序数据的输入序列相同，输出结果不同，但这些结果都是正常数据。因此可以选择获得至少两个预测日志标识作为预测结果。

204、依据上述预测概率由大到小对上述预测日志标识进行排序，获取上述排序中前N个预测日志标识为预测结果，上述N为正整数。

主要是由于模型的训练集中存在很多输入相同但输出不同的数据，具体如表2包含的4条数据，这些时序数据的输入序列相同，输出结果不同，但这些结果都是正常数据。因此在模型预测结果阶段，可以采用TOP-N分析法判断新来Syslog是否为异常。

上述TOP-N分析法就是通过TOP-N算法从研究对象中得到所需的N个数据，并从排序列表中选取最大或最小的N个数据，这就是一个TOP-N算法。本申请实施例中选由大到小的前N个数据，即预测概率更大的预测日志标识。

具体地，在利用模型对输入数据进行预测后，根据预测概率对预测日志标识进行从高到低排序，可以选取前N个预测概率对应的预测结果作为正常结果集合，即上述预测结果，如果新来的系统日志数据属于该集合，则属于正常数据；如果不属于该集合，则为异常数据。

表2

上述表2给出了相同输入时序数据和预测不同输出数据的示意图，输入时序数据即为上述第一标识序列，输入长度M＝10，即输入时序数据的标识数量为10个，在模型预测结果中，上述输出数据即为预测日志标识，在表2中按照预测概率由大到小排列。其中经过上述步骤202之后获得的序列

id2->id3->id4->id4->id5->id3->id9->id3->id4->id4，其预测结果为4个不同的数值数据，可以预先设置N＝3，即选择表2中前3个预测日志标识作为预测的正常的系统日志数据。此处可以结合后续图8所示的模型训练过程进行理解。

其中，上述N的选定可以利用验证集得到。

具体的，在神经网络模型的训练中一般需要将样本数据分成独立的两部分：训练集和验证集。其中训练集用来估计模型，验证集是用来调整模型的参数的样本集，比如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数。其作用是当通过训练集训练出多个模型后，为了能找出效果最佳的模型(模型中的参数)，使用各个模型对验证集数据进行预测，并记录模型准确率。选出效果最佳的模型所对应的参数，即用来调整模型参数。

训练目标可以理解为，神经网络模型在验证集中效果最好那些参数，就是最后真正使用的参数，这些参数中也可包含上述N。

205、获取上述第二日志数据，将上述第二日志数据转换为对应的目标日志标识，上述第二日志数据为上述第一网络设备在上述第一日志数据序列之后产生的下一个的系统日志数据。

其中，上述步骤205可以参考图1所示实施例中的步骤104的具体描述，此处不再赘述。

206、若上述预测结果中不包含上述目标日志标识，确定上述第二日志数据为异常数据。

在实际预测中，可以获取在上述第一日志数据序列之后新来的一个系统日志数据，再按照前述相同的关键字及对应ID提取技术转换为长度为1的日志标识表示，即上述目标日志标识，用以和模型的预测结果进行比较，判断该数据是否为异常数据。

若上述目标日志标识不在上述预测结果中，则确定上述第二日志数据为异常数据，可以执行步骤207。

207、生成包含上述第二日志数据的异常处理信息。

若上述目标日志标识不在上述预测结果中，即上述第二日志数据为异常数据，需要进行相应的异常处理。

本申请实施例中可以根据上述步骤206中的判断，将确定的异常数据上报进行分析和处理。具体的，可以生成包含上述异常处理信息，包含上述第二日志数据，即确定的异常数据所对应的原始系统日志数据，用于日志解析和异常处理。上述异常处理信息还可以包括异常的系统日志数据对应的设备名称、异常时间等信息。可选的，可以响应于所述异常处理信息，根据预设的数据异常处理规则，执行与上述第二日志数据对应的异常处理事项。

在一种可选的实施方式中，本申请实施例中可以设置系统日志数据分析平台，将异常的系统日志数据上报给该系统日志数据分析平台，再执行步骤208。

208、根据解析模板对上述第二日志数据进行解析，获得上述第一网络设备的异常信息。

可以预先存储多种日志解析的解析模板。在获取到第二日志数据之后，在系统日志数据分析平台可以根据预先设定的解析模板进行日志解析。上述解析模板通常可以自动匹配，或者使用预先设置的解析模板，比如根据不同种类的网络设备或者上述解析即提取该第二日志数据中的关键内容，获得上述第一网络设备的异常信息，可包括：异常类型、异常端口、异常值、异常等级、危险指数等数据。

比如，对于Java的异常分两大类型：Error类代表了编译和系统的错误，不允许捕获；Exception类代表了标准Java库方法所激发的异常。Exception类还包含运行异常类Runtime_Exception和非运行异常类Non_RuntimeException这两个直接的子类。进一步的具体可以包括：算数异常类：ArithmeticExecption、空指针异常类型：NullPointerException、类型强制转换类型：ClassCastException等等。其中，上述异常等级和危险指数等指标是基于对异常数据的判断规则确定的，可以根据实际情况进行划分设置，本申请实施例对此不作限制。

209、根据信息聚合标签获取目标网络设备的异常信息。

异常的系统日志数据解析后，可以获得异常信息，本申请实施例中可以对多个网络设备的系统日志数据进行管理，即上述目标网络设备可以为一个或者多个网络设备，可由信息聚合标签设置决定。在检测到异常时获得上述异常信息。可以将获得的不同异常信息按照不同维度进行聚合。

在应用中，不同的业务需求会产生不同的聚合场景。在一种可选的实施方式中，上述信息聚合标签包含设备标识和时长阈值，上述步骤209可包括：

获取上述时长阈值内上述目标设备标识所对应的网络设备的异常信息。

具体的，可以创建异常信息聚合的方式，举例来讲，可以预先设置上述时长阈值，比如3小时或8小时30分钟，以及设置聚合处理的设备标识(即上述目标设备标识)，从而可以周期性地获取上述时长阈值内上述目标设备标识所对应的网络设备的异常信息。可以获取一个或者多个网络设备的异常信息进行统计分析，以及触发预设处理事项。

可选的，上述信息聚合标签可以包含等级阈值，上述步骤209可包括：获取上述异常等级高于等级阈值的网络设备的异常信息。

上述异常等级可以表示网络设备的异常程度，可以是异常等级越高其异常程度越高。比如预先设置等级阈值为3，则可以获取异常等级大于3的网络设备的异常信息，可以提取出相对高异常等级的网络设备的异常信息，确定对应的网络设备状态，便于进行登记和维护。

举例来讲，如获取某段时间内高危险指数的设备，该场景需要按照设备维度进行异常信息的聚合：获取每台网络设备在某段时间内所有的异常信息，即为上述目标异常信息，利用其中每类异常信息对应的危险指数计算出网络设备的危险指数，并进行从高到低排序，上述计算规则可以提前进行设置，本申请实施例对此不作限制。

又如，可以确定某段时间内发生风扇异常的网络设备，将其异常信息汇总提供给运维员工进行设备维修。该场景可以按照异常类型维度对异常进行聚合：获取某段时间内发生风扇异常的设备信息。

本申请实施例对上述聚合的方式不作限制。

可选的，还可以输出上述异常信息，以提示发生数据异常，便于及时处理，维护设备的正常运行。

210、确定上述目标网络设备的异常信息所对应的异常处理事项，执行上述异常处理事项。

一般进行数据聚合后，还需要进行异常处理。根据不同场景聚合后的异常信息可以称为目标异常信息，可以进一步确定上述目标异常信息对应的异常处理事项，上述异常处理事项指的是在获得上述目标异常信息之后，对该次数据异常可自动执行的处理措施。可选的，可以预先存储目标异常信息与异常处理事项的对应关系，根据该对应关系确定获得的目标异常信息所对应的异常处理事项。

具体的，可以预先设置并存储多种具体的异常处理事项，以及存储有异常等级与异常处理事项的对应关系，则可以根据上述目标异常信息中的异常等级确定其对应的异常处理事项。同理可选的，可以通过异常类型与异常处理事项的对应关系来确定上述异常处理事项。可以设置不同的对应规则，从而通过多种方式确定聚合获得的目标异常信息所对应的异常处理事项，本申请实施例对此不作限制。

比如，对于风扇异常的网络设备可以直接通过建工单的方式处理，即生成异常处理工单，进一步可选的，可以将上述异常处理工单发送给对应的工作人员进行实际处理。

又如，专线BGP异常和专线物理端口异常等需要通知客户，在确定发生上述类型的异常情况时，可以生成包含目标异常信息的通知，并获取该异常网络设备的管理方，向上述异常网络设备的管理方发送上述目标异常信息，以便及时准确地了解网络设备异常情况，进行维护。

211、若上述预测结果中包含上述目标日志标识，确定上述第二日志数据不为异常数据。

若上述预测结果中包含上述目标日志标识，则可以确定上述第二日志数据不为异常数据，为正常数据，可以不进行异常处理。通过周期性地自动检测，可以对网络设备的每个系统日志数据进行异常检测。

在一种可选的实施方式中，上述方法可以结合虚拟机和/或云数据库的技术实现，以存储更多数据和提高处理速度和处理流畅度。比如本申请实施例中的方法可以在3台8核16G虚拟机，100G云数据库的硬件环境中实现。

如图3所示，图3为本申请实施例提供的一种异常数据处理方法的流程示意图。举例来讲，对Syslog的处理方式主要可以按照如图3所示的流程处理：对于获得的异常结果进行处理，异常上报主要将其中的异常Syslog对应的设备名称、原始Syslog、异常时间等数据上报到上述分析平台。然后上述分析平台根据人工设定的模板进行日志解析，异常解析即提取Syslog中的关键内容，如异常类型、异常端口、异常值、异常等级、危险指数等数据，不同解析模板可以解析出不同内容。之后可以进行不同维度的异常聚合，再根据聚合后的信息进行异常处理。

本申请实施例通过获取第一日志数据序列，提取上述第一日志数据序列中的系统日志数据的关键字，根据预设的关键字与日志标识的对应关系，确定上述系统日志数据的关键字所对应的日志标识，依据上述第一日志数据序列中上述系统日志数据的排列顺序排列上述日志标识，获得上述第一日志数据序列对应的第一标识序列。再将上述第一标识序列输入预测网络模型，输出至少一个预测日志标识以及上述预测日志标识对应的预测概率，依据上述预测概率由大到小对上述预测日志标识进行排序，获取上述排序中前N个预测日志标识为预测结果，上述N为正整数；获取上述第二日志数据，上述第二日志数据为上述第一网络设备在上述第一日志数据序列之后产生的下一个的系统日志数据，将上述第二日志数据转换为对应的目标日志标识之后，若上述预测结果中包含上述目标日志标识，确定上述第二日志数据不为异常数据；若上述预测结果中不包含上述目标日志标识，确定上述第二日志数据为异常数据，可以生成包含上述第二日志数据的异常处理信息，根据解析模板对上述第二日志数据进行解析，获得第一网络设备的异常信息，然后根据信息聚合标签获取目标网络设备的异常信息，进而确定上述目标网络设备的异常信息对应的异常处理事项，执行上述异常处理事项，可以更准确、高效地实现网络设备的系统日志数据的异常检测，并且一般而言，大多数系统日志数据处理方案侧重点在于时序的异常检测，在实际使用中缺乏对产生异常日志的后续处理，另外在实际运用中，当大量异常产生时，一些很重要且需要及时处理的异常可能被淹没，异常数据处理不够及时和全面。本申请实施例中的异常检测方法可以不单依赖于专家规则库进行判断，人工参与较少，更准确、高效地实现网络设备的系统日志数据的异常检测，通过分析平台能够自动化处理异常，提高了处理效率和异常数据处理的及时性和全面度。

下面结合实际应用对上述方法进行介绍，通过上述图1或图2所示的实施例可以应用于日志数据的异常检测和处理，应用时其各种数据信息的分析和汇总结果可以在显示界面中展示，便于用户进行查询、查看和检测。

具体可以参考图4，图4为本申请实施例提供的一种设备统计信息的界面示意图，主要针对检测到的异常设备和异常数据进行统计，其中对于网络设备的统计信息可以包括：地理位置分布、云事件等级分布、设备角色分布、故障类型分布、硬件/软件故障类型分布，设备厂商分布、设备危险指数分布等等，可以选择统计周期进行统计，包括本月、本周、昨日、今日，以及显示统计的样本数(统计了多少数量的案例或者多少台设备)可以便捷全面地知晓异常设备的统计信息。图4中在页面中标识1所指示的位置可以进行统计项目的选择，图中选择以本周为统计周期的进行故障统计，显示了如框2中对x例故障案例的地理位置分布统计图、如框3中对y例故障案例的故障类型分布统计图和如框4中对m台设备的危险指数分布统计图，图4仅展示了部分统计图，其中以饼状图的形式展示，还可以以不同颜色区分，本申请实施例对统计结果的展示形式不作限制。

图5为本申请实施例提供的一种异常设备查询的界面示意图。本申请实施例中还可以对某个网络设备进行查询，查看是否为异常设备。其中查询项目如图5中框1中所示，即可以输入其中一个或者多个查询项目来查询网络设备，比如设备名称、设备厂商、设备型号等，从而获取该网络设备的信息，可以查看其异常信息(如有)，比如图5中在框2中显示查询到的设备信息。其中，region：大区名，比如腾讯云可用区的大区名称，ZONE：园区名，Module：模块名。

图6为本申请实施例提供的一种设备异常详情的统计示意图，如图6中所示，是基于某网平模板进行解析统计获得的曲线图，是对华3通用物理端口DOWN告警的异常统计，通常为网络设备的端口(接口)关闭，比如线缆拔掉了，这时该端口自动关闭；由于时钟频率不对而关闭，接口两端的时钟不匹配而关闭；由于硬件故障而关闭等等。应用中，在显示界面中可以展示多个模板获得的统计示意图，比如实时端到端异常流量告警统计图、华3通用ISIS邻居变化统计图等，不同模板获得的统计图内容和形式可以不同，此处不做限制。还可以展示网络设备在一段时间内上报所有的异常内容，异常的系统日志数据经过解析转换成可以理解的文字信息，并采用图形展示异常内容，比如图中a、b、c所示颜色不同的方点和圆点表示该时间点的得分(危险指数)，在不同情况下可以表示其他异常信息，对于不同的统计对象也可以以多条区线表示，以及可以对其进行文字说明，表示该时刻的具体异常内容。

图7为本申请实施例提供的一种解析模板的界面示意图，本申请实施例中可以制定上述解析模板(也可叫异常模板、分析模板)，如图7中所示，该解析模板可确定异常类型、异常等级、异常事件处理和恢复机制等信息，用于前述提到的日志数据解析。日志解析时可以根据预设的日志匹配条件自动匹配日志进行解析，如箭头1所示，模板中可以修改、添加或删除日志与模板的匹配条件；如箭头2所示，也可以修改、添加或删除关键字提取的规则，本申请实施例对此不作限制。其中SLA为服务等级协议(Service Level Agreement)，恢复方式可以包括日志驱动、定时恢复、工单驱动、人工介入等，根据预先设置的恢复方式即可以执行对应异常处理事项。分析模式也可以有多种选择，比如图7中箭头3所示位置所选择的模式为频率统计趋势图，或者其他类型的统计图均可。设定分析模式，可以关联获得类似图6所示的统计图，便于直观了解异常信息。

本申请实施例可以将网络设备的系统日志数据的异常检测和异常处理串起来，实现一站式的异常检测和异常处理方法，操作简单。对于异常数据可以实现自动化处理，减少人工参与。

图8为一种预测网络模型的训练方法的流程示意图。为了进一步理解本申请的日志数据异常检测方法，对线上模型的训练过程进行介绍，结合图8对上述预测网络模型的训练方法进行描述。

其中，通过该方法可以获得前述实施例所提到的预测网络模型，从而实现上述日志数据异常检测方法。比如可以理解为，图8所示的实施例可以在图2所示的实施例之前执行。

301、获取样本网络设备的系统日志数据的时序序列，作为待训练数据序列，上述时序序列包含X个样本日志数据。

在本申请实施例中日志数据异常检测装置可以使用样本网络设备的系统日志数据来进行模型的训练。上述网络设备及部件是连接到网络中的物理实体。网络设备的种类繁多，可包括：计算机(个人电脑或服务器)、交换机、路由器、网桥、网关、打印机和调制解调器等。

在上述步骤301之前，该方法还包括：

根据异常检测规则库中的检测规则对上述样本网络设备的系统日志数据进行检测，确定上述样本网络设备的系统日志数据中的异常数据，删除上述异常数据；

上述步骤301包括：将删除上述异常数据后的上述样本网络设备的上述日志数据的时序序列，作为上述待训练数据序列。

具体的，可以获取交换机、路由器等样本网络设备产生的Syslog数据。利用这些数据作为模型训练数据之前，需要删除里面包含的异常数据。如果网络设备是旧设备且这类设备积累一定的专家库规则，为了获取该设备正常状态下的Syslog，需要利用已有的专家库规则对这些Syslog进行过滤，删除其中包含的异常Syslog。

在一种可选的实施方式中，在上述步骤301之前，该方法还包括：

若上述样本网络设备中不包含上述异常检测规则库，上述方法还包括：

获取第二网络设备的故障记录信息，根据上述故障记录信息确定上述第二网络设备是否发生过故障；

若上述第二网络设备未发生过故障，将上述第二网络设备确定为上述样本网络设备，进而可以执行步骤301。

上述第二网络设备可以理解为待选的样本网络设备，如果网络设备为新设备且无对应的规则库，将发生过故障设备产生的syslog数据删除，这里面可能包含异常数据；将无故障设备作为样本网络设备，可将其产生的syslog数据直接作为训练数据的一部分，可以不用删除。其中对上述故障设备的判断可以依靠该网络设备的故障记录信息进行自动判断，也可以由人工进行筛选，本申请实施例对此不作限制。

通过对异常数据的过滤可以获得正常Syslog作为待训练数据，过滤异常数据对训练准确度的影响，获得更加可靠的预测网络模型，提高预测准确度。

302、将上述待训练数据序列转换为对应的样本标识序列。

在一种可选的实施方式中，步骤302可包括：

提取上述待训练数据序列中的各样本日志数据的关键字；

根据预设的关键字与日志标识的对应关系，确定上述各样本日志数据的关键字所对应的各样本标识；

依据上述待训练数据序列中上述各系统日志数据的排列顺序排列上述各样本标识，获得上述待训练数据序列对应的样本标识序列。

其中，步骤302可以参考图2所示实施例中步骤201以及表1中的具体描述，此处不再赘述。

303、获取上述样本标识序列中连续的M个样本标识组成的序列作为输入数据，上述M个样本标识的下一个样本标识作为验证数据。

由于本申请实施例中使用的预测模型是时序预测模型，在获取待训练数据序列后，还可依据时序关系将待训练数据序列拆分成模型需要的输入数据和验证数据，即分别可以理解为网络模型训练的训练集和验证集。

首先需要确定M，即用多少历史数据作为训练的输入数据进行预测。M可称为上述窗口阈值。M可以为预设，M为大于2的整数。需要注意的是，训练和应用时的输入是相同的窗口阈值M。

举例来讲，可以将待训练数据序列的拆分为第1～第M和第M+1两部分，分别为上述输入数据和上述验证数据。即拆分的上述验证数据为该样本标识序列中最后一个样本日志数据，其之前的序列作为输入数据。

需要注意的是，对于一个样本网络设备，获得多个样本标识序列，而上述步骤303中通过同一条样本标识序列，可以有重叠地获得多组输入数据和验证数据。可以理解为，对于一个X＝13的样本标识序列，M＝11时，可以获取按照时序排列的日志标识1-11为输入数据，对应12为验证数据，同时也获取按照时序排列的系统日志数据2-12为输入数据，对应13为验证数据，以此类推。

比如具体如下表3所示，假设M为10，一段包含14条Syslog的时序序列：

{id2->id3->id4->id4->id5->id3->id9->id3->id4->id4->id5->id7->id1->id6}，

按照上述方法最终可以拆分成如表3所示的4条输入数据和输出数据。即上述窗口阈值M可以对应表3中的输入长度，输出长度为1，表示预测的输出数据为一个系统日志数据，以日志标识(数值)表示。

输入长度	输入时序数据	输出数据	输出长度
				10	id2->id3->id4->id4->id5->id3->id9->id3->id4->id4	Id5	1
10	id3->id4->id4->id5->id3->id9->id3->id4->id4->id5	Id7	1
				10	id4->id4->id5->id3->id9->id3->id4->id4->id5->id7	id1	1
10	id4->id5->id3->id9->id3->id4->id4->id5->id7->id1	id6	1

表3

其中，上述输出数据实际为输入时序数据的下一个系统日志数据(均以数值数据表示)。依据上述表3可见，在利用上述预测网络模型进行预测时，其输出数据作为预测结果，用于判断接收的下一个系统日志数据是否为异常数据，具体可以参考图2所示实施例中的步骤202-步骤206的相关描述，此处不再赘述。

在一种可选的实施方式中，在获取上述样本标识序列中连续的M个样本标识组成的序列作为输入数据之后，可以获取上述M个日志标识之后的连续Y个样本标识作为上述验证数据，Y<X-M。

在训练时获取的时序序列有长度限制，为了提高精度，待训练数据序列通常不会太长，可以通过上述X进行预设。比如可以获取上述M个样本标识之后的第一个和第二个样本标识作为验证数据，同时也可以获取上述M个样本标识之后的第二个和第三个作为验证数据。

需要注意的是，假设m为大于2的整数，若在上述情况下获取m个样本标识作为上述验证数据，在预测时可以判断输入标识序列的下m个样本标识是否为异常数据，即其模型训练和预测应用时的输入和输出是一致的形式(长度和格式)。

在该种情况下，增加了输入数据和验证数据的组合，应用时涵盖更多正常情况的可能性，训练的预测网络模型适应性更强，降低出现误判异常的情况。本申请实施例对训练的输入数据和输出数据的组合不作限制。

304、基于包含上述输入数据和上述输出数据训练网络模型，获得上述预测网络模型。

具体的，可以将上述根据窗口阈值M处理后生成的训练集数据传入LSTM模型进行训练。在一种可选的实施方式中，由于这是一个多分类模型，本申请实施例中的LSTM模型的参数activation设为softmax，损失函数可使用categorical_crossentropy，使用3层神经网络，每层网络的神经元设为64，其中Dropout设为0.2。需要注意的是该时序模型可以通过自动添加训练集的方法进行自动更新。

图9为本申请实施例提供的另一种预测网络模型训练方法的流程示意图，如图9所示，对预测网络模型的训练可以概括为：

获取网络设备的原始syslog数据，使用已有专家库规则过滤异常数据后，提取关键字及对应ID，再将获得的数据集输入LSTM模型进行训练。

针对图1或图2所示实施例中的方案，还可以不断投入人工，比如增加Syslog专家库中各类规则，同时将这些规则的后续处理进行详细规定；或者由网络设备的厂家预先提供上述异常关键字或者应用程序编程接口(Application Programming Interface，API)，并给出后续处理方法，以调用其他程序或软件工具进行后续处理。其中，上述API是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

本申请实施例通过获取样本网络设备的系统日志数据的时序序列，作为待训练数据序列，上述待训练数据序列包含X个系统日志数据，上述X大于上述M，将上述待训练数据序列转换为对应的样本标识序列，获取上述样本标识序列中连续的M个日志标识组成的序列作为输入数据，上述M个日志标识的下一个日志标识作为验证数据，然后基于上述输入数据和上述验证数据训练网络模型，获得上述预测网络模型，可以应用于日志数据异常检测，预测更准确，以提高了处理效率和异常数据处理的及时性和全面度。

本申请实施例可以理解为线下模型训练，可以结合图2中的线上实时预测和平台处理的方案，完成完整的异常检测和处理的应用流程，对于新设备可以直接使用其Syslog数据建模，从而对这些新设备进行监督控制和异常检测，网络设备管理更加方便，增加了该异常检测方法的适应性。上述实施例也可以各自单独实现，本申请实施例对此不作限制。

基于上述日志数据异常检测方法实施例的描述，本申请实施例还公开了一种日志数据异常检测装置，上述日志数据异常检测装置可以是运行于终端中的一个计算机程序(包括程序代码)。该日志数据异常检测装置可以执行图1和/或图2所示的方法。

请参见图10，日志数据异常检测装置1000包括：获取模块110、转换模块120、预测模块130、检测模块140和生成模块150，其中：

上述获取模块110，用于获取第一日志数据序列，上述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据；

上述转换模块120，用于将上述第一日志数据序列转换为对应的第一标识序列，上述第一标识序列包含M个日志标识，上述M为大于1的整数；

上述预测模块130，用于基于上述第一标识序列预测上述第一标识序列的下一个日志标识，获得预测结果，上述预测结果包含至少一个预测日志标识；

上述获取模块110还用于，获取第二日志数据，上述第二日志数据为上述第一网络设备在上述第一日志数据序列之后产生的下一个的系统日志数据；

上述转换模块120还用于，将上述第二日志数据转换为对应的目标日志标识；

上述检测模块140，用于将上述目标日志标识与上述预测结果进行比对，确定上述第二日志数据是否为异常数据。

在一种可能实现的方式中，上述转换模块120具体用于：

提取上述第一日志数据序列中的各系统日志数据的关键字；

根据预设的关键字与日志标识的对应关系，确定上述各系统日志数据的关键字所对应的各日志标识；

依据上述第一日志数据序列中上述各系统日志数据的排列顺序排列上述各日志标识，获得上述第一日志数据序列对应的第一标识序列。

在一种可能实现的方式中，上述预测模块130具体用于：

将上述第一标识序列输入预测网络模型，输出至少一个预测日志标识以及上述预测日志标识对应的预测概率；

依据上述预测概率由大到小对上述各预测日志标识进行排序，获取上述排序中前N个预测日志标识为上述预测结果，上述N为正整数。

在一种可能实现的方式中，上述检测模块140具体用于：

若上述预测结果中不包含上述目标日志标识，确定上述第二日志数据为异常数据；

若上述预测结果中包含上述目标日志标识，确定上述第二日志数据不为异常数据。

在一种可能实现的方式中，还包括生成模块150，用于：

若所述第二日志数据为所述异常数据，生成包含所述第二日志数据的异常处理信息；

响应于所述异常处理信息，执行与所述第二日志数据对应的异常处理事项。

在一种可能实现的方式中，还包括解析模块160和聚合处理模块170，其中：

上述解析模块160，用于若上述第二日志数据为所述异常数据，根据解析模板对上述第二日志数据进行解析，获得上述第一网络设备的异常信息；

上述聚合处理模块170，用于：

根据信息聚合标签获取目标网络设备的异常信息；

确定上述目标网络设备的异常信息对应的异常处理事项，执行上述异常处理事项。

可选的，上述异常信息包含设备标识、异常类型、异常端口、异常值、异常等级、危险指数中的任一种或几种。

在又一种可能实现的方式中，上述信息聚合标签包含上述设备标识和时长阈值；

上述聚合处理模块170具体用于：

获取上述时长阈值内上述目标设备标识所对应的网络设备的异常信息；

根据上述异常信息的上述异常等级或者上述异常类型确定对应的异常处理事项。

在又一种可能实现的方式中，还包括训练模块180，其中：

上述获取模块110还用于，获取样本网络设备的系统日志数据的时序序列，作为待训练数据序列，上述待训练数据序列包含X个样本日志数据，上述X大于上述M；

上述转换模块120还用于，将上述待训练数据序列转换为对应的样本标识序列；

上述训练模块180用于：

获取上述样本标识序列中连续的M个样本标识组成的序列作为输入数据，上述M个样本标识的下一个样本标识作为验证数据；

基于上述输入数据和上述验证数据训练网络模型，获得上述预测网络模型。

在又一种可能实现的方式中，上述转换模块120还具体用于：

提取上述待训练数据序列中的系统日志数据的关键字；

根据预设的关键字与日志标识的对应关系，确定上述系统日志数据的关键字所对应的日志标识；

依据上述待训练数据序列中上述系统日志数据的排列顺序排列上述日志标识，获得上述待训练数据序列对应的样本标识序列。

在又一种可能实现的方式中，还包括过滤模块190，上述过滤模块190用于：

根据异常检测规则库中的检测规则对上述样本网络设备的系统日志数据进行检测，确定上述样本网络设备的系统日志数据中的异常数据，删除上述异常数据；

上述获取模块110还具体用于：将删除上述异常数据后的上述样本网络设备的系统日志数据的时序序列，作为上述待训练数据序列。

在又一种可能实现的方式中，上述获取模块110还用于，获取第二网络设备的故障记录信息；上述过滤模块190具体用于：

根据上述故障记录信息确定上述第二网络设备是否发生过故障；

若上述第二网络设备未发生过故障，将上述第二网络设备确定为上述样本网络设备。

根据本申请的一个实施例，图1、图2和图8所示的方法所涉及的各个步骤均可以是由图10所示的日志数据异常检测装置中的各个模块来执行的。

根据本申请的另一个实施例，图10所示的日志数据异常检测装置中的各个模块可以分别或全部合并为一个或若干个另外的模块来构成，或者其中的某个(些)模块还可以再拆分为功能上更小的多个模块来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个模块来实现，或者多个模块的功能由一个模块实现。在本申请的其它实施例中，基于日志数据异常检测装置也可以包括其它模块，在实际应用中，这些功能也可以由其它模块协助实现，并且可以由多个模块协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图1和/或图2中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图10中所示的日志数据异常检测装置1000，以及来实现本申请实施例的日志数据异常检测方法。上述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

本申请实施例中的日志数据异常检测装置1000，可以获取第一日志数据序列，将上述第一日志数据序列转换为对应的第一标识序列，上述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据，上述第一标识序列包含M个日志标识，上述M为大于1的整数，再基于上述第一标识序列预测上述第一标识序列的下一个日志标识，获得预测结果，上述预测结果包含至少一个预测日志标识；获取第二日志数据，上述第二日志数据为上述第一网络设备在上述第一日志数据序列之后产生的下一个的系统日志数据，将上述第二日志数据也转换为对应的目标日志标识，然后可以将上述目标日志标识与上述预测结果进行比对，确定上述第二日志数据是否为异常数据，若上述第二日志数据为上述异常数据，可以生成包含上述第二日志数据的异常处理信息，上述异常处理信息用于触发与上述第二日志数据对应的异常处理事项，可以更准确、高效地实现网络设备的系统日志数据的异常检测。

基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种终端。请参见图11，该终端至少包括处理器601、输入设备602、输出设备603以及计算机存储介质604。其中，终端内的处理器601、输入设备602、输出设备603以及计算机存储介质604可通过总线或其他方式连接。

计算机存储介质604可以存储在终端的存储器中，上述计算机存储介质604用于存储计算机程序，上述计算机程序包括程序指令，上述处理器601用于执行上述计算机存储介质604存储的程序指令。处理器601(或称CPU(Central Processing Unit，中央处理器))是终端的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本申请实施例上述的处理器601可以用于进行一系列的处理，包括：基于上述第一标识序列进行预测，获得对第二日志数据的预测结果，上述第二日志数据为上述第一网络设备在上述第一日志数据序列之后产生的下一个的系统日志数据，获取上述第二日志数据，将上述第二日志数据转换为对应的目标日志标识，将上述目标日志标识与上述预测结果进行比对，确定上述第二日志数据是否为异常数据，若上述第二日志数据为上述异常数据，生成包含上述第二日志数据的异常处理信息，上述异常处理信息用于触发与上述第二日志数据对应的异常处理事项，等等。

本申请实施例还提供了一种计算机存储介质(Memory)，上述计算机存储介质是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器601加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。

在一个实施例中，可由处理器601加载并执行计算机存储介质中存放的一条或多条指令，以实现上述实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或多条指令可以由处理器601加载并执行图1、图2和图8中的任意步骤。

本申请实施例的终端可以获取第一日志数据序列，将上述第一日志数据序列转换为对应的第一标识序列，上述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据，上述第一标识序列包含M个日志标识，上述M为大于1的整数，再基于上述第一标识序列预测上述第一标识序列的下一个日志标识，获得预测结果，上述预测结果包含至少一个预测日志标识；获取第二日志数据，上述第二日志数据为上述第一网络设备在上述第一日志数据序列之后产生的下一个的系统日志数据，将上述第二日志数据也转换为对应的目标日志标识，然后可以将上述目标日志标识与上述预测结果进行比对，确定上述第二日志数据是否为异常数据，若上述第二日志数据为上述异常数据，可以生成包含上述第二日志数据的异常处理信息，上述异常处理信息用于触发与上述第二日志数据对应的异常处理事项，可以更准确、高效地实现网络设备的系统日志数据的异常检测。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatiledisc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

Claims (12)

1.一种日志数据异常检测方法，其特征在于，包括：

获取第一日志数据序列，所述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据；

提取所述第一日志数据序列中的各系统日志数据的关键字；

根据预设的关键字与日志标识的对应关系，确定所述各系统日志数据的关键字所对应的各日志标识；

依据所述第一日志数据序列中所述各系统日志数据的排列顺序排列所述各日志标识，获得所述第一日志数据序列对应的第一标识序列；所述第一标识序列包含M个日志标识，所述M为大于2的整数；

基于所述第一标识序列预测所述第一标识序列的下一个日志标识，获得预测结果，所述预测结果包含至少一个预测日志标识；

获取第二日志数据，所述第二日志数据为所述第一网络设备在所述第一日志数据序列之后产生的下一个的系统日志数据；

将所述第二日志数据转换为对应的目标日志标识；

将所述目标日志标识与所述预测结果进行比对，确定所述第二日志数据是否为异常数据；

若所述第二日志数据为所述异常数据，根据与所述第一网络设备的种类匹配的解析模板对所述第二日志数据进行解析，获得所述第一网络设备的异常信息；

根据信息聚合标签获取目标网络设备的异常信息；

根据预设的异常信息与异常处理事项的对应关系确定所述目标网络设备的异常信息所对应的异常处理事项；

执行所述异常处理事项。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一标识序列预测所述第一标识序列的下一个日志标识，获得预测结果包括：

将所述第一标识序列输入预测网络模型，输出至少一个预测日志标识以及所述预测日志标识对应的预测概率；

依据所述预测概率由大到小对所述各预测日志标识进行排序，获取所述排序中前N个预测日志标识为所述预测结果，所述N为正整数。

3.根据权利要求1或2所述的方法，其特征在于，所述将所述目标日志标识与所述预测结果进行比对，确定所述第二日志数据是否为异常数据包括：

若所述预测结果中不包含所述目标日志标识，确定所述第二日志数据为异常数据；

若所述预测结果中包含所述目标日志标识，确定所述第二日志数据不为异常数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述第二日志数据为所述异常数据，生成包含所述第二日志数据的异常处理信息；

响应于所述异常处理信息，执行与所述第二日志数据对应的异常处理事项。

5.根据权利要求4所述的方法，其特征在于，所述信息聚合标签包含目标设备标识和时长阈值；

所述根据信息聚合标签获取目标网络设备的异常信息包括：

获取所述时长阈值内所述目标设备标识所对应的网络设备的异常信息。

6.根据权利要求1所述的方法，其特征在于，所述异常信息包含异常类型、异常端口、异常值、异常等级、危险指数中的任一种或几种。

7.根据权利要求2所述的方法，其特征在于，所述预测网络模型的训练方法包括：

获取样本网络设备的系统日志数据的时序序列，作为待训练数据序列，所述待训练数据序列包含X个样本日志数据，所述X大于所述M；

将所述待训练数据序列转换为对应的样本标识序列；

获取所述样本标识序列中连续的M个样本标识组成的序列作为输入数据，所述M个样本标识的下一个样本标识作为验证数据；

基于所述输入数据和所述验证数据训练网络模型，获得所述预测网络模型。

8.根据权利要求7所述的方法，其特征在于，所述获取样本网络设备的系统日志数据的时序序列，作为待训练数据序列之前，所述方法包括：

根据异常检测规则库中的检测规则对所述样本网络设备的系统日志数据进行检测，确定所述样本网络设备的系统日志数据中的异常数据，删除所述异常数据；

所述获取样本网络设备的系统日志数据的时序序列，作为待训练数据序列包括：

将删除所述异常数据后的所述样本网络设备的系统日志数据的时序序列，作为所述待训练数据序列。

9.根据权利要求7所述的方法，其特征在于，所述获取样本网络设备的系统日志数据的时序序列之前，所述方法还包括：

获取第二网络设备的故障记录信息，根据所述故障记录信息确定所述第二网络设备是否发生过故障；

若所述第二网络设备未发生过故障，将所述第二网络设备确定为所述样本网络设备。

10.一种日志数据异常检测装置，其特征在于，包括：获取模块、转换模块、预测模块、检测模块、解析模块和聚合处理模块，其中：

所述获取模块，用于获取第一日志数据序列，所述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据；

所述转换模块，用于提取所述第一日志数据序列中的各系统日志数据的关键字，根据预设的关键字与日志标识的对应关系，确定所述各系统日志数据的关键字所对应的各日志标识，依据所述第一日志数据序列中所述各系统日志数据的排列顺序排列所述各日志标识，获得所述第一日志数据序列对应的第一标识序列；所述第一标识序列包含M个日志标识，所述M为大于1的整数；

所述预测模块，用于基于所述第一标识序列预测所述第一标识序列的下一个日志标识，获得预测结果，所述预测结果包含至少一个预测日志标识；

所述获取模块还用于，获取第二日志数据，所述第二日志数据为所述第一网络设备在所述第一日志数据序列之后产生的下一个的系统日志数据；

所述转换模块还用于，将所述第二日志数据转换为对应的目标日志标识；

所述检测模块，用于将所述目标日志标识与所述预测结果进行比对，确定所述第二日志数据是否为异常数据；

所述解析模块，用于若所述第二日志数据为所述异常数据，根据与所述第一网络设备的种类匹配的解析模板对所述第二日志数据进行解析，获得所述第一网络设备的异常信息；

所述聚合处理模块，用于根据信息聚合标签获取目标网络设备的异常信息，根据预设的异常信息与异常处理事项的对应关系确定所述目标网络设备的异常信息所对应的异常处理事项，并执行所述异常处理事项。

11.一种终端，包括输入设备和输出设备，其特征在于，还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-9任一项所述的日志数据异常检测方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-9任一项所述的日志数据异常检测方法。