CN114706839A - 日志数据处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了日志数据处理方法、装置、电子设备和存储介质，涉及计算机技术领域。该方法的一具体实施方式包括：接收日志数据采集器发送的日志数据，调用预设的识别模型，以识别日志数据的生成系统标识；调用预设的解析引擎，获取解析规则集合的标记数组，基于生成系统标识和标记数组，从解析规则集合中匹配出目标解析规则，以对日志数据解析，得出解析结果；响应于解析结果为解析成功，存储解析结果；响应于解析结果为解析失败，更新解析引擎，以调用更新后的解析引擎对日志数据再次解析。该实施方式能够解决数据库的日志通常包括多种类型并且分散在不同的工具平台，进行安全审计时不仅花费大量的人力和时间成本，还会降低审计效率的问题。

Description

日志数据处理方法、装置、电子设备和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志数据处理方法、装置、电子设备和存储介质。

背景技术

数据信息化快速发展，数据成为企业生产、经营、战略等等，几乎所有的经营活动所依赖的、不可或缺的信息，所以数据安全审计成为越来越重要的环节，而数据库的日志数据为数据安全审计的重要依据。现有技术中，通常是定时安排工作人员对数据库的日志数据进行安全审计，但是对于大型互联网等企业，其审计项目繁多，数据库的日志通常包括多种类型并且分散在不同的工具平台，所以工作人员需要先对大量的各类型日志进行聚合处理，再进行安全审计，不仅花费大量的人力和时间成本，还会降低审计效率。

发明内容

有鉴于此，本发明实施例提供一种日志数据处理方法、装置、电子设备和存储介质，能够解决数据库的日志通常包括多种类型并且分散在不同的工具平台，进行安全审计时不仅花费大量的人力和时间成本，还会降低审计效率的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种日志数据处理方法。

本发明实施例的一种日志数据处理方法包括：接收日志数据采集器发送的日志数据，调用预设的识别模型，以识别所述日志数据的生成系统标识；调用预设的解析引擎，获取解析规则集合的标记数组，基于所述生成系统标识和所述标记数组，从解析规则集合中匹配出目标解析规则，以对所述日志数据解析，得出解析结果；响应于所述解析结果为解析成功，存储所述解析结果；响应于所述解析结果为解析失败，更新所述解析引擎，以调用更新后的解析引擎对所述日志数据再次解析。

在一个实施例中，基于所述生成系统标识和所述标记数组，从解析规则集合中匹配出目标解析规则，包括：

从标记数组中查找与所述生成系统标识匹配的目标元素，查询元素与解析规则之间的映射关系，以基于所述目标元素和所述映射关系，从解析规则集合中确定所述目标解析规则。

在又一个实施例中，更新所述解析引擎，包括：

调用预设的解析规则库，以获取最新版本的解析规则集合和对应的标记数组；

基于所述最新版本的解析规则集合和对应的标记数组更新所述解析引擎。

在又一个实施例中，存储所述解析结果，包括：

将所述解析结果存储至预设的消息缓冲队列；

基于所述生成系统标识查询对应的消息分发器，以调用所述消息分发器，将所述消息缓冲队列中数据存储至所述消息分发器对应的数据库。

在又一个实施例中，存储所述解析结果，包括：

从所述解析结果中获取预设参数对应的参数值；

调用预设的日志格式模型，以基于所述预设参数对应的参数值生成格式化日志数据，存储所述格式化日志数据。

在又一个实施例中，响应于所述解析结果为解析失败之前，还包括：

获取所述解析结果中是否包括错误提示消息，计算所述错误提示消息的数量和所述目标解析规则的解析规则数量之间的比值；

若所述比值大于预设阈值，则确定所述解析结果为解析失败；若所述比值不大于预设阈值，则确定所述解析结果为解析成功。

在又一个实施例中，调用更新后的解析引擎对所述日志数据解析，包括：

调用更新后的解析引擎对所述日志数据解析，更新所述解析结果；

判断更新后的解析结果是否为解析成功；

若是，则存储更新的解析结果，若否，则发送解析失败提示消息。

为实现上述目的，根据本发明实施例的另一方面，提供了一种日志数据处理装置。

本发明实施例的一种日志数据处理装置包括：识别单元，用于接收日志数据采集器发送的日志数据，调用预设的识别模型，以识别所述日志数据的生成系统标识；解析单元，用于调用预设的解析引擎，获取解析规则集合的标记数组，以基于所述生成系统标识和所述标记数组，从解析规则集合中匹配出目标解析规则，以对所述日志数据解析，得出解析结果；更新单元，用于响应于所述解析结果为解析成功，存储所述解析结果；响应于所述解析结果为解析失败，更新所述解析引擎，以调用更新后的解析引擎对所述日志数据解析。

在一个实施例中，所述解析单元，具体用于：

从标记数组中查找与所述生成系统标识匹配的目标元素，查询元素与解析规则之间的映射关系，以基于所述目标元素和所述映射关系，从解析规则集合中确定所述目标解析规则。

在又一个实施例中，所述更新单元，具体用于：

调用预设的解析规则库，以获取最新版本的解析规则集合和对应的标记数组；

基于所述最新版本的解析规则集合和对应的标记数组更新所述解析引擎。

在又一个实施例中，所述更新单元，具体用于：

将所述解析结果存储至预设的消息缓冲队列；

基于所述生成系统标识查询对应的消息分发器，以调用所述消息分发器，将所述消息缓冲队列中数据存储至所述消息分发器对应的数据库。

在又一个实施例中，所述更新单元，具体用于：

从所述解析结果中获取预设参数对应的参数值；

调用预设的日志格式模型，以基于所述预设参数对应的参数值生成格式化日志数据，存储所述格式化日志数据。

在又一个实施例中，所述更新单元，具体用于：

获取所述解析结果中是否包括错误提示消息，计算所述错误提示消息的数量和所述目标解析规则的解析规则数量之间的比值；

若所述比值大于预设阈值，则确定所述解析结果为解析失败；若所述比值不大于预设阈值，则确定所述解析结果为解析成功。

在又一个实施例中，所述更新单元，具体用于：

调用更新后的解析引擎对所述日志数据解析，更新所述解析结果；

判断更新后的解析结果是否为解析成功；

若是，则存储更新的解析结果，若否，则发送解析失败提示消息。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种电子设备。

本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的日志数据处理方法。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例提供的日志数据处理方法。

上述发明中的一个实施例具有如下优点或有益效果：本发明实施例中，通过日志采集器来采集日志数据，接收日志数据后可以识别其生成系统标识，进而调用解析引擎，通过标记数组匹配出目标解析规则，以对所述日志数据解析，得出解析结果；解析结果为解析成功，则存储所述解析结果；解析结果为解析失败，则更新解析引擎，以调用更新后的解析引擎对日志数据再次解析。本发明实施例中，对不同平台和不同格式的日志数据，可以通过解析引擎来对日志数据进行解析，解析成功后进行存储，如此通过对不同平台和不同格式的日志数据进行解析，以实现对日志数据汇总和聚合，从而减少日志数据安全审计所花费的人力和时间，进而提高日志数据安全审计的效率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据库集群的一种系统架构的示意图；

图2是根据本发明实施例的数据库安全架构平台的一种系统架构示意图；

图3是根据本发明实施例的日志数据处理系统的一种系统架构示意图；

图4是根据本发明实施例的日志数据处理方法的一种主要流程的示意图；

图5是根据本发明实施例的日志数据处理方法的又一种主要流程的示意图；

图6是根据本发明实施例的日志数据处理装置的主要单元的示意图；

图7是本发明实施例可以应用于其中的又一种示例性系统架构图；

图8是适于用来实现本发明实施例的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以互相组合。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

本发明实施例提供一种日志数据处理系统，该系统可以用于对不同格式、不同平台的日志数据进行处理的场景，具体可以用于日志数据安全审计场景下对不同格式、不同平台的日志数据处理。

具体的，对于大型企业，业务涉及多个领域，各领域的业务处理均涉及数据库的数据存储，所以会设置数据库集群，以便于数据存储等数据处理。以图1所示，为一个数据库集群的架构示意图。数据库集群中设置多个DB(数据库)，各数据处理平台与数据库集群连接，例如，数据处理平台可以包括：数据库自动化运维平台、数据库性能展示平台，时间管理系统，数据库审计平台，数据加密脱敏平台，数据库工单系统，数据库查询机，分布式中间件，数据建模平台，数据复制平台，主机监控系统和安全扫描平台等等。各数据处理平台都保存着数据库运行的状态数据和访问操作记录，并且各平台都有各自的日志数据和审计方式。

为了提高数据安全审计的效率，可以建立了数据库安全架构平台，以通过数据库安全架构平台对接各个生态工具(如上述各平台)的日志接口和核心数据指标API，以从中采集各生态工具的日志数据并对采集的日志数据进行处理，实现数据库相关日志的聚合，即数据库安全信息的聚合，进而可以对处理的日志数据进行安全合规处理、隐患分析、安全审计、实时监管、溯源定位和集中展示等，方便工作人员对数据库进行安全审计，实现数据的完整可控。如图2所示，为数据库安全架构平台的一种系统架构示意图。

本发明实施例中，日志数据处理系统可以为数据库安全架构平台的一部分，图3所示可以为日志数据处理系统的一种架构示意图。如图3所示，日志数据处理系统可以包括客户端和服务端，服务端包括收集器、消息缓冲队列、消息分发器和数据库。客户端通常设置于生成日志的系统(如图1所示的各平台)，如图3所示，客户端可以设置agent(代理)来进行日志数据的采集。客户端采集日志数据后可以发送给服务端，服务端中收集器可以接收客户端采集的日志数据，进而对日志数据进行解析，解析成功后可以得出结构化日志，进而对其进行存储，如此可以实现对来自不同日志生成系统、不同格式日志的聚合。如图3所示，服务端的收集器、消息缓存队列和消息分发器均可以设置于各不同的机房，收集器对日志数据解析后可以将解析结果存储至消息缓存队列，消息分发器包括与不同数据库对应的类型，各类型的消息分发器可以从消息缓存队列中读取存储的数据并分发至对应的数据库存储，数据存储可以使用不同类型的数据库，如elasticsearch、MySQL、casssandra等等。服务端中还可以包括配置管理器，以用于对服务端中其他部分的配置和管理。

本发明实施例提供了一种日志数据处理方法，该方法可由图3所示日志数据处理系统中的服务端执行，如图4所示，该方法包括：

S401：接收日志数据采集器发送的日志数据，调用预设的识别模型，以识别日志数据的生成系统标识。

其中，日志数据采集器可以设置于图3所示客户端中，例如可以为图3中所示的agent。日志数据采集器可以采集所在系统生成的日志数据，进而发送给服务端。服务端在接收日志数据后，可以调用预设的识别模型，以识别日志数据的生成系统标识，即生成日志数据的系统标识。识别模型为预先训练。

具体的，识别模型可以通过识别日志数据中系统标识的正则表达式实现，如此调用识别模型即可运行该正则表达式，进而可以识别出生成系统标识。或者，在日志数据中通常会包括用于表示生成系统的特征参数，所以识别模型可以对日志数据中用于表示生成系统的特征参数进行识别，进而得出生成系统标识。

S402：调用预设的解析引擎，获取解析规则集合的标记数组，以基于生成系统标识和标记数组，从解析规则集合中匹配出目标解析规则，以对日志数据解析，得出解析结果。

其中，解析引擎可以用于对日志数据进行解析。由于不同系统生成的日志数据类型会不同，所以本发明实施例中可以对接收的日志数据进行解析，使不同类型的日志数据结构化，进而使各种类型的日志数据均结构化后存储，从而便于日志数据的安全审计。

解析引擎中包括预先配置的规则引擎集合和解析规则集合的标记数组。规则引擎集合中包括了适合不同类型日志的解析规则，并通过标记数据来表示各解析规则所适用的日志类型，具体的，标记数据中各元素可以与解析规则集合中各规则集合一一对应，即配置了元素与解析规则之间的映射关系，而标记数组中元素的值表示该元素对应解析规则集合所适用日志类型的类型标识。

本步骤中调用预设的解析引擎，可以获取到解析规则集合的标记数组，由于各系统生成日志数据的类型是确定的，所以可以基于生成系统标识确定出日志数据类型，即类型标识，进而基于类型标识与标记数组匹配，可以确定出标记数组中与类型标识匹配的目标元素，进而可以基于映射关系从解析规则集合中确定出目标元素对应的目标解析规则。在确定出目标解析规则后，即可对日志数据进行解析，从而可以得出解析结果。

具体地的，规则引擎集合可以具体表1所示。表1中名称标识各解析规则的名称，说明为对解析规则的功能说明，示例为对解析规则的一种示例。

表1

需要说明的是，本发明实施例中，解析引擎可以设置于图3所示的收集器中，解析规则集合中通常包括多个解析规则，目标解析规则可以为一个也可以多个。

S403：响应于解析结果为解析成功，存储解析结果；响应于解析结果为解析失败，更新解析引擎，以调用更新后的解析引擎对日志数据再次解析。

其中，解析结果可以分为解析成功和解析失败。解析成功表示日志数据完成解析，所以可以直接对解析结果进行存储，因此本步骤中确定解析结果为解析成功后，可以执行存储解析结果的操作。解析失败表示日志数据未完成解析，可以为部分解析也可以为未进行解析，此时为了便于后日志数据的安全审计，所以在确定解析结果为解析失败后，对解析引擎进行更新，进而调用更新后的解析引擎对日志数据再次解析。

本发明实施例中，可以配置解析规则库，由于日志数据的内容或类型存在更新，所以日志数据的解析规则也会进行更新，解析规则库可以基于版本来更新解析规则集合和对应的标记数组。所以本步骤中在确定解析结果为解析失败后，可以调用预设的解析规则库，以获取最新版本的解析规则集合和对应的标记数组，进而更新解析引擎。

需要说明的是，本发明实施例中，在调用更新后的解析引擎对日志数据再次解析之后，可以对解析结果进行更新，然后对更新后的解析结果再次判断日志数据是否解析成功。如果解析成功，则可以对更新的解析结果进行存储；如果解析结果为不成功，则可以发送解析失败提示消息，以提示日志数据未完成解析，以便于工作人员对日志数据进行处理。

由于在日志数据解析过程中，如果解析规则无法对日志数据解析则会进行报错，即发送错误提示消息，所以本发明实施例中，可以基于解析结果中错误提示消息来判断解析结果为解析成功还是解析失败。

具体可以执行为：获取解析结果中是否包括错误提示消息，计算错误提示消息的数量和目标解析规则的解析规则数量之间的比值；若比值大于预设阈值，则确定解析结果为解析失败；若比值不大于预设阈值，则确定解析结果为解析成功。其中预设阈值的大小可以基于场景设置。

在一些实施例中，由于对日志数据解析用于对日志数据格式化，所以本发明实施例中可以预设日志格式模型，进而确定各日志数据格式化所需的参数，即预设参数，所以在得出解析结果后，可以从中获取预设参数对应的参数值，进而调用日志格式模型，以基于预设参数对应的参数值生成格式化日志数据并存储。

在又一些实施例中，由于不同的日志数据可以通过不同类型的数据库存储，所以可以设置于各数据库对应的消息分发器来进行数据存储。所以本步骤中可以将解析数据存储于消息缓冲队列，在通过生成系统标识查询对应的消息分发器，进而通过消息分发器将消息缓冲队列中数据存储至消息分发器对应的数据库中。

本发明实施例中，对不同平台和不同格式的日志数据，可以通过解析引擎来对日志数据进行解析，解析成功后进行存储，如此通过对不同平台和不同格式的日志数据进行解析，以实现对日志数据汇总和聚合，从而减少日志数据安全审计所花费的人力和时间，进而提高日志数据安全审计的效率。

下面结合图5所示的实施例，对本发明实施例中日志数据处理方法进行具体说明，如图5所示，该方法包括：

S501：接收日志数据采集器发送的日志数据，调用预设的识别模型，以识别日志数据的生成系统标识。

S502：调用预设的解析引擎，判断是否包括解析规则集合；若是，则执行步骤S503；若否，则执行步骤S506。

S503：获取解析规则集合的标记数组，基于生成系统标识和标记数组，从解析规则集合中匹配出目标解析规则，以对日志数据解析，得出解析结果。

S504：判断解析结果是否为解析成功，若是，则执行步骤S505；若否，则执行步骤S506。

S505：将解析结果存储至预设的消息缓冲队列；基于生成系统标识查询对应的消息分发器，以调用消息分发器，将消息缓冲队列中数据存储至消息分发器对应的数据库。

S506：调用预设的解析规则库，以获取最新版本的解析规则集合和对应的标记数组；基于最新版本的解析规则集合和对应的标记数组更新解析引擎。

S507：调用更新后的解析引擎对日志数据解析，得到解析结果。

S508：判断解析结果是否为解析成功，若是，则执行步骤S505；若否，则发送解析失败提示消息。

本发明实施例中，对不同平台和不同格式的日志数据，可以通过解析引擎来对日志数据进行解析，解析成功后进行存储，如此通过对不同平台和不同格式的日志数据进行解析，以实现对日志数据汇总和聚合，从而减少日志数据安全审计所花费的人力和时间，进而提高日志数据安全审计的效率。

为了解决现有技术存在的问题，本发明实施例提供了一种日志数据处理装置600，如图6所示，该装置600包括：

识别单元601，用于接收日志数据采集器发送的日志数据，调用预设的识别模型，以识别所述日志数据的生成系统标识；

解析单元602，用于调用预设的解析引擎，获取解析规则集合的标记数组，以基于所述生成系统标识和所述标记数组，从解析规则集合中匹配出目标解析规则，以对所述日志数据解析，得出解析结果；

更新单元603，用于响应于所述解析结果为解析成功，存储所述解析结果；响应于所述解析结果为解析失败，更新所述解析引擎，以调用更新后的解析引擎对所述日志数据解析。

应理解的是，实施本发明实施例的方式与实施图4所示实施例的方式相同，在此不再赘述。

在一个实施例中，所述解析单元602，具体用于：

从标记数组中查找与所述生成系统标识匹配的目标元素，查询元素与解析规则之间的映射关系，以基于所述目标元素和所述映射关系，从解析规则集合中确定所述目标解析规则。

在又一个实施例中，所述更新单元603，具体用于：

调用预设的解析规则库，以获取最新版本的解析规则集合和对应的标记数组；

基于所述最新版本的解析规则集合和对应的标记数组更新所述解析引擎。

在又一个实施例中，所述更新单元603，具体用于：

将所述解析结果存储至预设的消息缓冲队列；

基于所述生成系统标识查询对应的消息分发器，以调用所述消息分发器，将所述消息缓冲队列中数据存储至所述消息分发器对应的数据库。

在又一个实施例中，所述更新单元603，具体用于：

从所述解析结果中获取预设参数对应的参数值；

调用预设的日志格式模型，以基于所述预设参数对应的参数值生成格式化日志数据，存储所述格式化日志数据。

在又一个实施例中，所述更新单元603，具体用于：

获取所述解析结果中是否包括错误提示消息，计算所述错误提示消息的数量和所述目标解析规则的解析规则数量之间的比值；

若所述比值大于预设阈值，则确定所述解析结果为解析失败；若所述比值不大于预设阈值，则确定所述解析结果为解析成功。

在又一个实施例中，所述更新单元603，具体用于：

调用更新后的解析引擎对所述日志数据解析，更新所述解析结果；

判断更新后的解析结果是否为解析成功；

若是，则存储更新的解析结果，若否，则发送解析失败提示消息。

应理解的是，实施本发明实施例的方式与实施图4或图5所示实施例的方式相同，在此不再赘述。

本发明实施例中，对不同平台和不同格式的日志数据，可以通过解析引擎来对日志数据进行解析，解析成功后进行存储，如此通过对不同平台和不同格式的日志数据进行解析，以实现对日志数据汇总和聚合，从而减少日志数据安全审计所花费的人力和时间，进而提高日志数据安全审计的效率。

根据本发明的实施例，本发明实施例还提供了一种电子设备和一种可读存储介质。

本发明实施例的电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例所提供的日志数据处理方法。

图7示出了可以应用本发明实施例的日志数据处理方法或日志数据处理装置的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种客户端应用。

终端设备701、702、703可以是但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的日志数据处理方法一般由服务器705执行，相应地，日志数据处理装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本发明实施例的计算机系统800的结构示意图。图8示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分，上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括识别单元、解析单元和更新单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，识别单元还可以被描述为“标识识别功能的单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行本发明所提供的日志数据处理方法。

作为另一方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现本发明实施例提供的日志数据处理方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种日志数据处理方法，其特征在于，包括：

接收日志数据采集器发送的日志数据，调用预设的识别模型，以识别所述日志数据的生成系统标识；

调用预设的解析引擎，获取解析规则集合的标记数组，基于所述生成系统标识和所述标记数组，从解析规则集合中匹配出目标解析规则，以对所述日志数据解析，得出解析结果；

响应于所述解析结果为解析成功，存储所述解析结果；响应于所述解析结果为解析失败，更新所述解析引擎，以调用更新后的解析引擎对所述日志数据再次解析。

2.根据权利要求1所述的方法，其特征在于，基于所述生成系统标识和所述标记数组，从解析规则集合中匹配出目标解析规则，包括：

从标记数组中查找与所述生成系统标识匹配的目标元素，查询元素与解析规则之间的映射关系，以基于所述目标元素和所述映射关系，从解析规则集合中确定所述目标解析规则。

3.根据权利要求1所述的方法，其特征在于，更新所述解析引擎，包括：

调用预设的解析规则库，以获取最新版本的解析规则集合和对应的标记数组；

基于所述最新版本的解析规则集合和对应的标记数组更新所述解析引擎。

4.根据权利要求1所述的方法，其特征在于，存储所述解析结果，包括：

将所述解析结果存储至预设的消息缓冲队列；

基于所述生成系统标识查询对应的消息分发器，以调用所述消息分发器，将所述消息缓冲队列中数据存储至所述消息分发器对应的数据库。

5.根据权利要求1所述的方法，其特征在于，存储所述解析结果，包括：

从所述解析结果中获取预设参数对应的参数值；

调用预设的日志格式模型，以基于所述预设参数对应的参数值生成格式化日志数据，存储所述格式化日志数据。

6.根据权利要求1所述的方法，其特征在于，响应于所述解析结果为解析失败之前，还包括：

获取所述解析结果中是否包括错误提示消息，计算所述错误提示消息的数量和所述目标解析规则的解析规则数量之间的比值；

若所述比值大于预设阈值，则确定所述解析结果为解析失败；若所述比值不大于预设阈值，则确定所述解析结果为解析成功。

7.根据权利要求1所述的方法，其特征在于，调用更新后的解析引擎对所述日志数据解析，包括：

调用更新后的解析引擎对所述日志数据解析，更新所述解析结果；

判断更新后的解析结果是否为解析成功；

若是，则存储更新的解析结果，若否，则发送解析失败提示消息。

8.一种日志数据处理装置，其特征在于，包括：

识别单元，用于接收日志数据采集器发送的日志数据，调用预设的识别模型，以识别所述日志数据的生成系统标识；

解析单元，用于调用预设的解析引擎，获取解析规则集合的标记数组，以基于所述生成系统标识和所述标记数组，从解析规则集合中匹配出目标解析规则，以对所述日志数据解析，得出解析结果；

更新单元，用于响应于所述解析结果为解析成功，存储所述解析结果；响应于所述解析结果为解析失败，更新所述解析引擎，以调用更新后的解析引擎对所述日志数据解析。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images