CN112115296A - 用于分析日志数据的方法和装置 - Google Patents

Abstract

本发明提供了用于训练日志数据分析模型的方法和装置。该方法可包括并且该装置可用于：接收日志数据；从日志数据中提取经标记的条目；获得与经标记的条目相对应的分析数据；将经标记的条目与分析数据相关联以形成训练数据；以及基于训练数据来训练日志数据分析模型。此外，本发明还提供了用于基于该日志数据分析模型来分析日志数据的方法和装置以及用于分析视频数据的方法和装置。通过采用本发明提供的各种方法和装置，可以自动地且准确地确定日志数据中记录的错误，减少工作负担，提高工作效率。

Description

用于分析日志数据的方法和装置

技术领域

本发明涉及数据处理，更具体地，涉及用于分析日志数据的方法和装置。

背景技术

在系统的运行过程中，为了记录系统的操作、异常等行为，通常将在系统的运行过程中发生的一些事件记录在日志数据中，以便在需要时(例如，在发生故障或者寻找错误时)查阅日志数据，以找到问题并寻求解决问题的办法。目前，分析日志数据是耗时耗力的工作。例如，在对车辆进行24小时测试的情况下，将得到巨大的日志数据。举例而言，该日志数据的大小可高达110MB，并且可包括565987行文字。显然，对于工作人员而言，要在如此巨大的日志数据中找到记录错误的特定条目是很困难的事情。此外，在系统运行过程中还可以进行录像以得到视频数据。对于视频数据，要从头到尾回放24小时视频并从中找到错误也是很麻烦的事情。即使找到错误，工作人员还需要将错误登记下来，以形成记录(在本领域中亦称为“ticket”)。这种记录可指示何时何处发生了错误。然后，专门的工作人员读取记录报告，分析错误原因，并将该记录指派给专业人员以解决问题。虽然能够借助一些计算机辅助工具来帮助完成这项工作，但是仍然需要大量的手动操作。

相应地，存在对于能够自动地分析日志数据以减轻工作负担并且提高工作效率的技术的需要。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步地描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

本发明的目的是采用人工智能手段来自动地分析日志数据以减轻工作负担并且提高工作效率。在一方面，可以利用自然语言处理(NLP)技术、使用历史数据来训练模型，以使得在获得新的日志数据时只需将其输入该模型就能自动地分析该日志数据。在另一方面，对于视频数据，可以利用计算机视觉(CV)技术来将待分析的视频数据与参考视频数据进行比对，以找到待分析的视频数据中记录的错误。

在本发明的一个实施例中，提供了一种用于训练日志数据分析模型的方法，包括：接收日志数据，该日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件；从该日志数据中提取经标记的条目，该经标记的条目指示在系统运行过程中发生了特定事件；获得与该经标记的条目相对应的分析数据；将该经标记的条目与该分析数据相关联以形成训练数据；以及基于该训练数据来训练日志数据分析模型。

在本发明的一个实施例中，提供了一种用于分析日志数据的方法，包括：获得由上述用于训练日志数据分析模型的方法来训练的日志数据分析模型；接收日志数据，该日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件；以及以条目为单位，将该日志数据中的每一个条目输入到该日志数据分析模型中，以确定该条目中是否记录了特定事件。

在本发明的一个实施例中，提供了一种用于训练日志数据分析模型的装置，包括：接收模块，其配置成接收日志数据，该日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件；提取模块，其配置成从该日志数据中提取经标记的条目，该经标记的条目指示在系统运行过程中发生了特定事件；获得模块，其配置成获得与该经标记的条目相对应的分析数据；关联模块，其配置成将该经标记的条目与该分析数据相关联以形成训练数据；以及训练模块，其配置成基于该训练数据来训练日志数据分析模型。

在本发明的一个实施例中，提供了一种用于分析日志数据的装置，包括：模型获得模块，其配置成获得由用于训练日志数据分析模型的方法来训练的日志数据分析模型；接收模块，其配置成接收日志数据，该日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件；以及确定模块，其配置成以条目为单位，将该日志数据中的每一个条目输入到该日志数据分析模型中，以确定该条目中是否记录了特定事件。

在本发明的一个实施例中，提供了一种用于分析视频数据的方法，包括：获得待分析的视频数据；获得参考视频数据；识别待分析的视频数据中的每一帧图像；识别参考视频数据中的每一帧图像；将待分析的视频数据中的每一帧图像与参考视频数据中对应的每一帧图像进行比较，以确定两者是否匹配；以及如果两者不匹配，则确定待分析的视频数据中记录有错误。

在本发明的一个实施例中，提供了一种用于分析视频数据的装置，包括：获得模块，其配置成获得待分析的视频数据和参考视频数据；识别模块，其配置成识别待分析的视频数据中的每一帧图像并且识别参考视频数据中的每一帧图像；比较模块，其配置成将待分析的视频数据中的每一帧图像与参考视频数据中对应的每一帧图像进行比较，以确定两者是否匹配；以及确定模块，其配置成如果两者不匹配，则确定待分析的视频数据中记录有错误。

通过采用本发明提供的技术，可以自动地且准确地确定日志数据中记录的错误，减少工作负担，提高工作效率。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1示出了根据本发明的一个示例性实施例的文本类型日志数据的简化格式。

图2示出了根据本发明的一个示例性实施例的用于训练日志数据分析模型的方法的流程图。

图3示出了根据本发明的一个示例性实施例的用于分析日志数据的方法的流程图。

图4示出了根据本发明的一个示例性实施例的用于训练日志数据分析模型的装置的框图。

图5示出了根据本发明的一个示例性实施例的用于分析日志数据的装置的框图。

图6示出了根据本发明的一个示例性实施例的用于分析视频数据的方法的流程图。

图7示出了根据本发明的一个示例性实施例的用于分析视频数据的装置的框图。

图8示出了根据本发明的一个示例性实施例的示例性计算设备的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践所描述的实施例。在其他示例性实施例中，没有详细描述公知的结构或处理步骤，以避免不必要地模糊本公开的概念。

在本发明的上下文中，日志数据可指代在系统的运行过程中用文字记录的事件集合。日志数据可按预定的方式(例如，按预定的格式)以条目的形式记录在系统运行过程中发生的事件，每个条目可对应于一个事件并且可包含一行或多行语句。

图1示出了根据本发明的一个示例性实施例的日志数据的简化格式。该日志数据可记录在车辆运行过程中发生的事件。该日志数据可包括多个条目110、120、130。该多个条目中的每一者可具有预定的格式(例如，日期、时间、和/或所发生的事件的描述)。应当注意，图1仅是为了解说性目的而示出的。一般而言，日志数据可包括任何数量的条目，并且条目的格式可以不同于图1中所示的格式。

当要查询日志数据以寻找可能发生的问题时，工作人员可逐条目地读取该日志数据，以发现问题。例如，条目110在2019年6月1日13时15分23秒记录了“车厢温度过高”这一特定事件。工作人员甄别出这可能是潜在的问题，并将该特定事件记录下来，分析这可能是系统给出的警报并且导致温度过高的原因是空调未能正常工作，从而可以指派空调维修人员去解决这个问题。因此，工作人员可生成针对条目110的分析数据，该分析数据可包括“车厢温度过高”这一特定事件的事件标识符(例如，以文字、数字、字母或其组合等形式的事件标识符)、该事件的类型(例如，警报)、导致该事件的原因(例如，空调未能正常工作)、和/或处理该事件的解决方案(例如，指派空调维修人员去维修)。

条目120在2019年6月1日13时15分47秒记录了“未接收到速度传感器读数”这一特定事件。工作人员甄别出这可能也是潜在的问题，并将该特定事件记录下来，分析这可能是系统报错并且导致未接收到速度传感器读数的原因是速度传感器发生故障，从而可以指派工程师去更换新的速度传感器。因此，工作人员可生成针对条目120的分析数据，该分析数据可包括“未接收到速度传感器读数”这一特定事件的事件标识符、该事件的类型(例如，错误)、导致该事件的原因(例如，速度传感器发生故障)、和/或处理该事件的解决方案(例如，指派工程师去更换新的速度传感器)。

条目130在2019年6月1日13时16分00秒记录了“打开前车灯”这一事件。工作人员甄别出该事件是系统运行过程中正常发生的事件，因此可以不生成针对条目130的分析数据。

如上所述，工作人员在识别出日志数据中记录的特定事件(例如，警报、错误等)之后，可以生成针对该特定事件的分析数据以包括与该特定事件相关的信息。然而，该项工作是费时费力的。

在本发明中，可以利用现有的自然语言处理和机器学习技术、通过使用历史日志数据和对应的分析数据来训练日志数据分析模型。在得到新的日志数据之际，只需将该日志数据输入到该日志数据分析模型之中，就能自动地分析该日志数据中是否记录有预定的特定事件并且可任选地输出与该特定事件相关联的分析数据，从而显著地减轻工作负担并且提高工作效率。

图2示出了根据本发明的一个示例性实施例的用于训练日志数据分析模型的方法200的流程图。方法200可以在至少一个处理器(例如，图8的处理器804)内实现，该处理器可以位于计算机系统、远程服务器、或其组合中。当然，在本发明的各个方面，方法200还可以由能够执行相关操作的任何合适的装置来实现。

在步骤210，方法200可包括接收日志数据，该日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件。在一个实施例中，可以从生成该日志数据的设备接收该日志数据。在另一个实施例中，可以从存储该日志数据的设备接收该日志数据。该日志数据可包括一个或多个条目，每个条目以预定的格式记录一个事件(例如，该事件发生的日期、时间、对该事件的描述等)并且可包含一行或多行语句。

在步骤220，方法200可包括从日志数据中提取经标记的条目，该经标记的条目指示在系统运行过程中发生了特定事件。特定事件可包括在系统运行过程中发生的警报和/或错误。例如，可以从图1中所示的日志数据中提取条目110，该条目110指示在车辆运行过程中发生了“车厢温度过高”这一特定事件。

在步骤230，方法200可包括获得与经标记的条目相对应的分析数据。分析数据可包括特定事件的事件标识符、特定事件的类型、导致特定事件的原因、和/或处理特定事件的解决方案等。例如，对于图1中所示的条目110，可以获得与该条目110相对应的分析数据，其中该分析数据可包括“车厢温度过高”这一特定事件的事件标识符(例如，以文字、数字、字母或其组合等形式的事件标识符)、该事件的类型(例如，警报)、导致该事件的原因(例如，空调未能正常工作)、和/或处理该事件的解决方案(例如，指派空调维修人员去维修)。

在步骤240，方法200可包括将经标记的条目与对应于该条目的分析数据相关联以形成训练数据。换言之，可以建立经标记的条目与对应于该条目的分析数据之间的对应关系或映射关系。

在步骤250，方法200可包括使用该训练数据来训练日志数据分析模型。在一个实施例中，该日志数据分析模型可以使用现有的人工神经网络来训练。例如，可以使用基于循环神经网络的长短期记忆(LSTM)神经网络和/或任何其他合适的人工神经网络(例如，卷积神经网络)来进行训练。在一个实施例中，可以通过将每个经标记的条目用作人工神经网络的输入并且将与该条目相对应的分析数据用作人工神经网络的输出来训练人工神经网络，以得到日志数据分析模型。

在一个实施例中，步骤250可进一步包括将每个经标记的条目进行分词处理。具体地，可以利用现有的分词工具来进行分词处理，其中分词后的条目由词语组成，如将“车厢温度过高”分词为“车厢|温度|过高”。在分词处理之后，可以进一步确定每个词语对应的词向量。这可以通过利用现有的词向量模型来实现，该词向量模型可以根据输入的词语，给每一个词语生成一个维数相同的唯一的多维数组(即，词向量)。该词向量的维数可以预先定义，比如将“车厢”标记为[1,0,0,0,……]，将“温度”标记为[0,1,0,0,……]，等等。类似的过程也可应用于与每个经标记的条目相对应的分析数据。随后，可以将每个经标记的条目中的各个词语的词向量作为人工神经网络的输入并且将对应的分析数据中的各个词语的词向量作为人工神经网络的输出来训练该人工神经网络，以得到日志数据分析模型。可任选地，在对每个经标记的条目进行分词处理之前，可以对该条目进行预处理，以去除与特定事件的分析无关的内容。例如，可以去除该条目中的标点符号、日期、和/或时间信息等。

在本发明中，由于日志数据分析模型是利用经标记的条目和与其对应的分析数据、通过人工神经网络来训练得到的，因而该人工神经网络中的参数可以记忆这些条目和对应的分析数据的关联组合。在训练好该日志数据分析模型之后，当新的日志数据中存在相同的条目时，该日志数据分析模型能够自动地识别出是否发生了特定事件，并且还能够生成与该特定事件对应的分析数据。

图3示出了根据本发明的一个示例性实施例的用于分析日志数据的方法300的流程图。方法300可以在至少一个处理器(例如，图8的处理器804)内实现，该处理器可以位于计算机系统、远程服务器、或其组合中。当然，在本发明的各个方面，方法300还可以由能够执行相关操作的任何合适的装置来实现。

在步骤310，方法300可包括获得由方法200来训练的日志数据分析模型。在步骤320，方法300可包括接收日志数据，该日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件。在步骤330，方法300可包括将日志数据中的每一个条目输入到日志数据分析模型中，以确定该条目是否记录了特定事件。在一个实施例中，将日志数据中的每一个条目输入到日志数据分析模型中可包括：将每一个条目进行分词处理；确定每个词语对应的词向量；针对该条目，将每个词语的词向量输入到日志数据分析模型中。可任选地，在将每一个条目进行分词处理之前，可以对该条目进行预处理，以去除与特定事件的分析无关的内容(例如，可以去除该条目中的标点符号、日期、和/或时间信息等)。特定事件可包括在系统运行过程中发生的警报和/或错误。可任选地，方法300可进一步包括：如果该条目记录了特定事件，则输出对应的分析数据。该分析数据可包括该特定事件的事件标识符、该特定事件的类型、导致该特定事件的原因、和/或处理该特定事件的解决方案。

例如，由于在训练日志数据分析模型时已经将条目“车厢温度过高”和对应的分析数据作为训练数据来训练日志数据分析模型，因而该日志数据分析模型可以记忆该条目和对应的分析数据的关联组合。当在新的日志数据被输入训练好的日志数据分析模型时，该日志数据分析模型能够自动地识别出该日志数据中的“车厢温度过高”这一条目，并将其指示为警报类型的特定事件。附加地，该日志数据分析模型还能够输出与该条目对应的分析数据。该分析数据可被存储以供进一步处理。例如，该分析数据可被提供给能够解决所指示的警报和/或错误的相关人员。

图4示出了根据本发明的一个示例性实施例的用于训练日志数据分析模型的装置400的框图。装置400的所有功能块(包括在装置400中的各个单元)可通过硬件、软件、硬件和软件的组合来实现。装置400可用于执行以上参照图2所描述的用于训练日志数据分析模型的方法200。本领域技术人员应当理解，图4中描述的功能块可被组合成单个功能块或者划分成多个子功能块。

装置400可包括接收模块410，其配置成接收日志数据，该日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件；提取模块420，其配置成从日志数据中提取经标记的条目，该经标记的条目指示在系统运行过程中发生了特定事件；获得模块430，其配置成获得与经标记的条目相对应的分析数据；关联模块440，其配置成将经标记的条目与对应的分析数据相关联以形成训练数据；以及训练模块450，其配置成基于训练数据来训练日志数据分析模型。在一个实施例中，特定事件可包括在系统运行过程中发生的警报和/或错误，分析数据可包括特定事件的事件标识符、特定事件的类型、导致特定事件的原因、和/或处理特定事件的解决方案。在一个实施例中，该日志数据分析模型可以使用人工神经网络来训练，该人工神经网络可包括基于循环神经网络的长短期记忆神经(LSTM)网络和/或任何其他合适的人工神经网络。

图5示出了根据本发明的一个示例性实施例的用于分析日志数据的装置500的框图。装置500的所有功能块(包括在装置500中的各个单元)可通过硬件、软件、硬件和软件的组合来实现。装置500可用于执行以上参照图3所描述的用于分析日志数据的方法300。本领域技术人员应当理解，图5中描述的功能块可被组合成单个功能块或者划分成多个子功能块。

装置500可包括模型获得模块510，其配置成获得由方法200来训练的日志数据分析模型；接收模块520，其配置成接收日志数据，该日志数据按预定格式、以条目的形式记录在系统运行过程中发生的事件；以及确定模块530，其配置成以条目为单位，将该日志数据中的每一个条目输入到该日志数据分析模型中，以确定该条目是否记录了特定事件。在一个实施例中，如果该条目记录了特定事件，则确定模块530可被进一步配置成输出对应的分析数据。

以上针对文本类型的日志数据描述了用于训练日志数据分析模型的方法和装置以及用于分析日志数据的方法和装置。在实践中，在系统运行过程中，还可以摄录视频，以发现系统运行过程中出现的错误。例如，在对车载导航软件进行测试时，可以对着车载显示器摄录视频，以确定其是否正确显示期望的内容。举例而言，在正常情况下，当导航软件指示在前方100米应当向左转弯时，通常会在显示器上显示左转箭头，以向驾驶员指示应当准备左转操作。然而，如果导航软件出现问题(例如，在数据库中没有与“左转箭头”对应的符号)，则导航软件就不能在显示器上显示左转箭头，这意味着导航软件有瑕疵并且需要开发人员解决这个问题。然而，如果要工作人员盯着视频数据的回放来发现问题，则这将会非常地费时费力。在本申请中，可以通过以下描述的用于分析视频数据的方法来自动地检测视频数据中存在的错误。

图6示出了根据本发明的一个示例性实施例的用于分析视频数据的方法600的流程图。方法600可以在至少一个处理器(例如，图8的处理器804)内实现，该处理器可以位于计算机系统、远程服务器、或其组合中。当然，在本发明的各个方面，方法600还可以由能够执行相关操作的任何合适的装置来实现。

在步骤610，方法600可包括获得待分析的视频数据。在一个实施例中，可以从拍摄该待分析的视频数据的设备获得该视频数据。在另一个实施例中，可以从存储该待分析的视频数据的设备获得该视频数据。在一个示例中，该待分析的视频数据可以是对车载显示器摄录的视频数据。

在步骤620，方法600可包括获得参考视频数据。参考视频数据可指代其中的内容是正确的视频数据。在一个实施例中，可以从存储该参考视频数据的设备获得该参考视频数据。

在步骤630，方法600可包括识别待分析的视频数据中的每一帧图像。如公知的，视频数据是由每秒多帧图像构成的。这里，可以使用各种已知的图像识别技术来识别每一帧图像。例如，可以使用公知的卷积神经网络(CNN)来识别每一帧图像。

在步骤640，方法600可包括识别参考视频数据中的每一帧图像。同样，可以使用各种已知的图像识别技术来识别每一帧图像。

在步骤650，方法600可包括将待分析的视频数据中的每一帧图像与参考视频数据中对应的每一帧图像进行比较，以确定两者是否匹配。即，确定待分析的视频数据中的每一帧图像是否包括参考视频中的对应图像中的图像特征(例如，是否缺少特定的符号标记)。

在步骤660，方法600可包括如果两者不匹配，则确定待分析的视频数据中记录有错误。由此，只需从视频数据中提取出记录有错误的那段视频数据来进行分析，从而极大地节省了时间并且提高了效率。

图7示出了根据本发明的一个示例性实施例的用于分析视频数据的装置700的框图。装置700的所有功能块(包括在装置700中的各个单元)可通过硬件、软件、硬件和软件的组合来实现。装置700可用于执行以上参照图6所描述的用于分析视频数据的方法700。本领域技术人员应当理解，图7中描述的功能块可被组合成单个功能块或者划分成多个子功能块。

装置700可包括获得模块710，其配置成获得待分析的视频数据和参考视频数据；识别模块720，其配置成识别待分析的视频数据中的每一帧图像并且识别参考视频数据中的每一帧图像；比较模块730，其配置成将待分析的视频数据中的每一帧图像与参考视频数据中对应的每一帧图像进行比较，以确定两者是否匹配；以及确定模块740，其配置成如果两者不匹配，则确定待分析的视频数据中记录有错误。

图8示出了根据本发明的一个实施例的示例性计算设备的框图，该计算设备是可应用于本发明的各方面的硬件设备的一个示例。

参考图8，现在将描述一种计算设备800，该计算设备是可应用于本发明的各方面的硬件设备的一个示例。计算设备800可以是可被配置成用于实现处理和/或计算的任何机器，可以是但并不局限于工作站、服务器、桌面型计算机、膝上型计算机、平板计算机、个人数字处理、智能手机、车载计算机或者它们的任何组合。前述的各种方法/装置/服务器/客户端设备可全部或者至少部分地由计算设备800或者类似设备或系统来实现。

计算设备800可包括可经由一个或多个接口和总线802连接或通信的组件。例如，计算设备800可包括总线802、一个或多个处理器804、一个或多个输入设备806以及一个或多个输出设备808。该一个或多个处理器804可以是任何类型的处理器并且可包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如，专门的处理芯片)。输入设备806可以是任何类型的能够向计算设备输入信息的设备并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备808可以是任何类型的能够呈现信息的设备并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备800也可以包括非瞬态存储设备810或者与所述非瞬态存储设备相连接，所述非瞬态存储设备可以是非瞬态的并且能够实现数据存储的任何存储设备，并且所述非瞬态存储设备可以包括但不限于磁盘驱动器、光存储设备、固态存储器、软盘、软磁盘、硬盘、磁带或任何其它磁介质、光盘或任何其它光介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何存储芯片或盒式磁带、和/或计算机可从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备810可从接口分离。非瞬态存储设备810可具有用于实施上述方法和步骤的数据/指令/代码。计算设备800也可包括通信设备812。通信设备812可以是任何类型的能够实现与内部装置通信和/或与网络通信的设备或系统并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙设备、IEEE 1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似设备。

当计算设备800被用作车载设备时，它也可以与外部设备(例如，GPS接收机、用于感测不同环境数据的传感器(诸如加速度传感器、车轮速度传感器、陀螺仪等))连接。以这种方式，计算设备800例如可接收定位数据和表明车辆形式状况的传感器数据。当计算设备800被用作车载设备时，它也可以与用于控制车辆的行驶和操作的其它设备(例如，发动机系统、雨刮器、防抱死制动系统等)连接。

此外，非瞬态存储设备810可以具有地图信息和软件组件，从而处理器804可实现路线引导处理。此外，输出设备806可以包括用于显示地图、显示车辆的定位标记以及显示表明车辆行驶状况的图像的显示器。输出设备806也可以包括扬声器或耳机接口以用于音频引导。

总线802可以包括但不限于工业标准结构(ISA)总线、微通道结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外部设备互连(PCI)总线。特别地，对于车载设备，总线802也可包括控制器局域网(CAN)总线或者为汽车上的应用所设计的其它结构。

计算设备800还可包括工作存储器814，该工作存储器814可以是任何类型的能够存储有利于处理器804的工作的指令和/或数据的工作存储器并且可以包括但不限于随机存取存储器和/或只读存储设备。

软件组件可位于工作存储器814中，这些软件组件包括但不限于操作系统816、一个或多个应用程序818、驱动程序和/或其它数据和代码。用于实现上述方法和步骤的指令可包含在所述一个或多个应用程序818中，并且前述各种装置/服务器/客户端设备的模块/单元/组件可通过处理器804读取和执行所述一个或多个应用程序818的指令来实现。

也应该认识到可根据具体需求而做出变化。例如，也可使用定制硬件、和/或特定组件可在硬件、软件、固件、中间件、微代码、硬件描述语音或其任何组合中实现。此外，可采用与其它计算设备、例如网络输入/输出设备等的连接。例如，可通过具有汇编语言或硬件编程语言(例如，VERILOG、VHDL、C++)的编程硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)利用根据本发明的逻辑和算法来实现所公开的方法和设备的部分或全部。

尽管目前为止已经参考附图描述了本发明的各方面，但是上述方法、系统和设备仅是示例，并且本发明的范围不限于这些方面，而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外，也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外，可以按各种方式组合各种组件。也重要的是，随着技术的发展，所描述的组件中的许多组件可被之后出现的等同组件所替代。

Claims (15)

1.一种用于训练日志数据分析模型的方法，包括：

接收日志数据，所述日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件；

从所述日志数据中提取经标记的条目，所述经标记的条目指示在系统运行过程中发生了特定事件；

获得与所述经标记的条目相对应的分析数据；

将所述经标记的条目与所述分析数据相关联以形成训练数据；以及

基于所述训练数据来训练日志数据分析模型。

2.如权利要求1所述的方法，其特征在于，所述特定事件包括在系统运行过程中发生的警报和/或错误。

3.如权利要求1所述的方法，其特征在于，所述分析数据包括所述特定事件的事件标识符、所述特定事件的类型、导致所述特定事件的原因、和/或处理所述特定事件的解决方案。

4.如权利要求1所述的方法，其特征在于，所述日志数据分析模型是使用人工神经网络来训练的，所述人工神经网络包括基于循环神经网络的长短期记忆神经网络。

5.如权利要求4所述的方法，其特征在于，进一步包括：

通过将每个经标记的条目用作所述人工神经网络的输入并且将与该条目相对应的分析数据用作所述人工神经网络的输出来训练所述人工神经网络。

6.如权利要求5所述的方法，其特征在于，进一步包括：

将每个经标记的条目进行分词处理；

确定每个词语对应的词向量；以及

针对该条目，将每个词语对应的词向量输入到所述人工神经网络。

7.如权利要求6所述的方法，其特征在于，在将每一个经标记的条目进行分词处理之前，对该条目进行预处理，以去除与特定事件的分析无关的内容。

8.一种用于分析日志数据的方法，包括：

获得由根据权利要求1-7中的任一项所述的方法来训练的日志数据分析模型；

接收日志数据，所述日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件；以及

以条目为单位，将所述日志数据中的每一个条目输入到所述日志数据分析模型中，以确定所述条目是否记录了特定事件。

9.如权利要求8所述的方法，其特征在于，将所述日志数据中的每一个条目输入到所述日志数据分析模型中包括：

将每一个条目进行分词处理；

确定每个词语对应的词向量；

针对该条目，将每个词语的词向量输入到所述日志数据分析模型中。

10.如权利要求8所述的方法，其特征在于，如果所述条目记录了特定事件，则输出对应的分析数据。

11.一种用于训练日志数据分析模型的装置，包括：

接收模块，其配置成接收日志数据，所述日志数据按预定的格式、以条目的形式记录在系统运行过程中发生的事件；

提取模块，其配置成从所述日志数据中提取经标记的条目，所述经标记的条目指示在系统运行过程中发生了特定事件；

获得模块，其配置成获得与所述经标记的条目相对应的分析数据；

关联模块，其配置成将所述经标记的条目与所述分析数据相关联以形成训练数据；以及

训练模块，其配置成基于所述训练数据来训练日志数据分析模型。

12.如权利要求11所述的装置，其特征在于，所述特定事件包括在系统运行过程中发生的警报和/或错误，所述分析数据包括所述特定事件的事件标识符、所述特定事件的类型、导致所述特定事件的原因、和/或处理所述特定事件的解决方案。

13.如权利要求11所述的装置，其特征在于，所述日志数据分析模型是使用人工神经网络来训练的，所述人工神经网络包括基于循环神经网络的长短期记忆神经网络。

14.一种用于分析日志数据的装置，包括：

模型获得模块，其配置成获得由根据权利要求1-7中的任一项所述的方法来训练的日志数据分析模型；

接收模块，其配置成接收日志数据，所述日志数据按预定格式、以条目的形式记录在系统运行过程中发生的事件；以及

确定模块，其配置成以条目为单位，将所述日志数据中的每一个条目输入到所述日志数据分析模型中，以确定所述条目是否记录了特定事件。

15.如权利要求14所述的装置，其特征在于，所述确定模块被进一步配置成如果所述条目记录了特定事件，则输出对应的分析数据。

Images