CN112182160A - 一种日志数据处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种日志数据处理方法、装置、存储介质及电子设备，日志数据处理装置包括数据输入组件、脚本插件以及数据输出组件。本公开通过确定日志事件的事件类型，使用脚本插件调用与该事件类型相匹配的数据处理方式对日志事件进行处理，缩短对日志数据的处理时长，提升了对日志数据的处理效率。

Description

一种日志数据处理方法、装置、存储介质及电子设备

技术领域

本发明涉及日志处理技术领域，特别是涉及一种日志数据处理方法、装置、存储介质及电子设备。

背景技术

在大数据时代下，技术人员可以通过系统、应用程序以及安全维护等产生的日志了解相关服务器的软硬件信息、检查配置过程中的错误以及错误产生的原因，从而及时采取措施纠正错误。技术人员为了更好地从日志数据中获取到相关的信息，需要及时对日志数据进行统计和分析等相关处理。

然而，随着数据业务的不断增长，相关日志数据也不断增多，对日志数据的处理也越来越复杂。现有日志分析平台已经难以满足当前对日志数据的处理需求。

发明内容

鉴于上述问题，本发明提供克服上述问题或者至少部分地解决上述问题的一种日志数据处理方法、装置、存储介质及电子设备，技术方案如下：

一种日志数据处理方法，应用于日志数据处理装置中，所述日志数据处理装置包括数据输入组件、脚本插件以及数据输出组件，所述方法包括：

所述数据输入组件获得日志服务器中的目标日志数据；

所述数据输入组件将所述目标日志数据进行事件封装，获得第一日志事件，其中，所述第一日志事件携带有第一事件标签；

所述数据输入组件将所述第一日志事件传输至所述脚本插件；

所述脚本插件根据所述第一事件标签，确定所述第一日志事件的事件类型；

所述脚本插件调用与所述第一日志事件的事件类型匹配的数据处理方式对所述第一日志事件进行处理，获得至少一个第二日志事件；

所述脚本插件分别为各第二日志事件添加相匹配的第二事件标签，以使各第二日志事件携带有相匹配的第二事件标签；其中，与第二日志事件相匹配的第二事件标签与该第二日志事件的事件类型具有对应关系；

所述脚本插件将至少一个第二日志事件传输至所述数据输出组件；

所述数据输出组件分别根据各第二日志事件携带的第二事件标签，输出各第二日志事件。

一种日志处理装置，包括数据输入组件、脚本插件以及数据输出组件，

所述数据输入组件，被配置为执行获得日志服务器中的目标日志数据，将所述目标日志数据进行事件封装，获得第一日志事件，其中，所述第一日志事件携带有第一事件标签，将所述第一日志事件传输至所述脚本插件；

所述脚本插件，被配置为执行根据所述第一事件标签，确定所述第一日志事件的事件类型，调用与所述第一日志事件的事件类型匹配的数据处理方式对所述第一日志事件进行处理，获得至少一个第二日志事件，分别为各第二日志事件添加相匹配的第二事件标签，以使各第二日志事件携带有相匹配的第二事件标签，其中，与第二日志事件相匹配的第二事件标签与该第二日志事件的事件类型具有对应关系，将至少一个第二日志事件传输至所述数据输出组件；

所述数据输出组件，被配置为执行分别根据各第二日志事件携带的第二事件标签，输出各第二日志事件。

一种存储介质，其上存储有程序，所述程序被处理器执行时实现如上所述的日志数据处理方法。

一种电子设备，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上所述的日志数据处理方法。

本发明实施例提供的一种日志数据处理方法、装置、存储介质及电子设备，日志数据处理装置包括数据输入组件、脚本插件以及数据输出组件。本公开通过确定日志事件的事件类型，使用脚本插件调用与该事件类型相匹配的数据处理方式对日志事件进行处理，缩短对日志数据的处理时长，提升了对日志数据的处理效率。

本公开提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1示出了本公开实施例提供的一种日志数据处理方法的流程时序图；

图2示出了本公开实施例提供的另一种日志数据处理方法的流程时序图；

图3示出了本公开实施例提供的一种日志数据处理装置的结构示意图；

图4示出了本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

如图1所示，本公开实施例提供的一种日志数据处理方法，可以应用于日志数据处理装置中，所述日志数据处理装置包括数据输入组件、脚本插件以及数据输出组件，所述方法可以包括：

S100、所述数据输入组件获得日志服务器中的目标日志数据。

其中，数据输入组件可以由至少一个数据输入插件组成。一个数据输入插件可以至少与一个日志服务器连接。本公开实施例可以根据日志服务器的类型对数据输入插件进行相应配置。例如：当日志服务器为MySql数据库服务器时，本公开实施例可以将与该日志服务器连接的数据输入插件进行配置，以实现读取该日志服务器中的日志数据的功能。

可选的，数据输入组件可以包括本地数据输入插件和远程数据输入插件。本公开实施例可以对本地数据输入插件配置好指定的目录和文件名。例如：本公开实施例对本地数据输入插件配置的目录和文件名为“/home/prouser/applog/searchone/ishop.log”。本公开实施例可以对远程数据输入插件配置好监听端口。例如：将监听端口配置为5044端口。数据输入组件可扩展的特性，便于技术人员根据实际需求对多类型的日志服务器分别配置多个数据输入插件。

具体的，本地数据输入插件可以在配置好的目录和文件名所指向的文件中读取日志数据。用户可以在该文件中添加新的测试信息，以使该文件更新。本地数据输入插件可以按照预设时间间隔对该文件进行扫描检测，确定该文件是否已更新，如果更新，则读取该文件中的日志数据，如果不更新，则不进行任何操作。需要注意的是，在本地数据输入插件首次对文件读取日志数据时，无需确定该文件是否更新。

具体的，远程数据输入插件可以控制日志服务器中的日志扫描程序读取监控端口所监控的文件中的日志数据。

可选的，日志服务器可以是航空运价日志服务器。可选的，所述目标日志数据可以包括运价日志数据。可以理解的是，航空运价日志服务器可以存储有用户对应的航程、航班，运价规则、主承运航司以及次承运航司等信息进行记录、统计、修改、搜索以及校验等操作所生成的运价日志数据。可选的，运价日志数据的格式可以为Json字符串格式。

S200、所述数据输入组件将所述目标日志数据进行事件封装，获得第一日志事件，其中，所述第一日志事件携带有第一事件标签。

为了增强安全性以及简化后续对日志数据的使用，数据输入组件可以对目标日志数据进行事件封装(encapsulation)，使得目标日志数据与具体的行为(或功能)相结合后得到第一日志事件。可选的，数据输入组件可以对Json字符串格式的目标日志数据解析还原为以原生值(对象或数组)格式表达的目标日志数据，进而将原生值格式的运价日志数据进行事件封装，获得第一日志事件。

需要注意的是，数据输入组件获得的第一日志事件携带有第一事件标签，该第一事件标签可以是目标日志数据携带的，也可以是在数据输入组件中设置的。

在通常情况下，数据输入组件获得目标日志数据时，目标日志数据已经携带有与该目标日志数据的事件类型对应的第一事件标签，在该情况下，数据输入组件无需再对根据目标日志数据封装的第一日志事件另外设置事件标签，获得的第一日志事件可以继续携带该第一事件标签。

可选的，当数据输入组件获得的目标日志数据未携带事件标签时，本公开实施例可以根据目标日志数据的事件类型和/或需对目标日志数据进行的处理操作，确定第一日志事件的事件类型，进而根据该事件类型，在所述第一日志事件中添加与该事件类型对应的第一事件标签。可选的，本公开实施例可以预先对各事件类型分别设置不同对应的事件标签，以使后续接收到第一日志事件的脚本插件可以根据该第一事件标签，确定第一日志事件的事件类型。

可选的，所述事件类型可以为user_statistic事件、s1_reshop事件、s1_zt事件、s1_console_error事件、s1_console_detail事件、s1_console_grafana事件、s1_console_nginx_error事件、s1_console_nginx_ngerr事件、s1_console_info事件、s1_console_through_error事件、s1_lowest_price事件以及s1_audit事件中的至少一种。

其中，user_statistic可以为用户请求相关运价信息统计。s1_reshop可以为用户使用reshop系统请求信息。s1_zt可以为中台系统中主流程的日志信息。s1_console_error可以为中台系统的报错信息。s1_console_detail可以为中台系统拆分的处理细节日志。s1_console_grafana可以为中台系统需要到grafana中展示的数据。s1_console_nginx_error可以为中台系统中nginx报错信息中的一种日志。s1_console_nginx_ngerr可以为中台系统中nginx报错信息中的另一种日志。s1_console_info可以为中台系统处理过程中的明细日志信息。s1_console_through_error可以为中台系统中非拆封的报错信息。s1_lowest_price可以为运价搜索系统中实时的最低价信息。s1_audit可以为运价搜索系统中audit日志信息。

可以理解的是，本公开使用不同的事件标签对不同的事件类型进行区分，可以自定义事件标签的内容。当事件类型发生变化时，与该事件类型对应的事件标签也随之变化。需要注意的是，本公开可以在后续增加自定义的事件类型或对已有的事件类型进行修改。

S300、所述数据输入组件将所述第一日志事件传输至所述脚本插件。

具体的，数据输入组件将携带有第一事件标签的第一日志事件传输至所述脚本插件。

S400、所述脚本插件根据所述第一事件标签，确定所述第一日志事件的事件类型。

本公开实施例提供的脚本插件可以通过入口函数实现对脚本的调用。可选的，入口函数可以包括注册函数和过滤函数。脚本插件可以通过注册函数调用预设初始化脚本实现对注册初始化对象的初始化处理。脚本插件可以通过过滤函数实现对第一日志事件的处理过程。

具体的，由于本公开实施例可以预先确定事件标签与事件类型之间的对应关系，因此脚本插件在获得数据输入组件传输过来的第一日志事件以后，可以读取该第一日志事件携带的第一事件标签，确定与该第一事件标签对应的事件类型为该第一日志事件的事件类型。例如：当脚本插件读取第一事件标签为s1_audit时，可以确定第一日志事件的事件类型为s1_audit事件。

S500、所述脚本插件调用与所述第一日志事件的事件类型匹配的数据处理方式对所述第一日志事件进行处理，获得至少一个第二日志事件。

本公开实施例可以预先对各事件类型分别设置相同或不同的数据处理方式，使得各事件类型至少与一种数据处理方式相匹配。可选的，不同数据处理方式对第一日志事件进行处理，获得的第二日志事件的数量可以相同，也可以不相同。可选的，任一种数据处理方式对第一日志事件进行处理后获得的各第二日志事件的事件类型可以相同，也可以不同。可选的，第二日志事件的事件类型可以与第一日志事件的事件类型相同，也可以不同。

可选的，所述数据处理方式可以包括：当所述第一日志事件的事件类型为所述s1_reshop事件时，所述脚本插件对所述第一日志事件中的目标日志数据进行反序列化处理，获得处理后的第一日志数据；所述脚本插件将所述第一日志数据进行解析处理操作，获得第二日志数据；所述脚本插件根据所述第二日志数据中各数据对应的各事件类型，将所述第二日志数据封装为至少一个第二日志事件。

具体的，在第一日志事件的事件类型为s1_reshop事件时，脚本插件可以将第一日志事件中以原生值格式表达的目标日志数据进行反序列化处理，获得处理后以Json字符串格式表达的第一日志数据，再将以Json字符串格式表达的第一日志数据解析处理为预设格式的第二日志数据。例如，将以Json字符串格式表达的第一日志数据解析处理为xml格式的第二日志数据。脚本插件接着按照第二日志数据中各数据分别对应的事件类型，将各数据分别封装为一个第二日志事件。例如：将第二日志数据中与s1_console_nginx_ngerr事件对应的数据封装为一个第二日志事件，将该第二日志数据中与s1_audit事件对应的数据封装为另一个第二日志事件。

可以理解的是，在解析处理过程中，还可以包括对第一日志数据进行预设数据处理操作。其中，预设数据处理操作包括数据分组、数据组织、数据计算、数据校验、数据检索以及数据排序中的至少一种。

可选的，本公开实施例可以在与事件类型对应的预设数据处理方式中设置封装为第二日志事件的数据的目标事件类型。脚本插件可以仅对第二日志数据中目标事件类型的数据封装为第二日志事件。例如：本公开预设设置目标事件类型为s1_console_nginx_error事件和s1_console_nginx_ngerr事件，则脚本插件可以仅对第二日志数据中与s1_console_nginx_error事件对应的数据以及与s1_console_nginx_ngerr事件对应的数据封装为第二日志事件。

S600、所述脚本插件分别为各所述第二日志事件添加相匹配的第二事件标签，以使各所述第二日志事件携带有相匹配的第二事件标签；其中，与第二日志事件相匹配的第二事件标签与该第二日志事件的事件类型具有对应关系。

具体的，脚本插件在得到一个第二日志事件之后，可以根据该第二日志事件的事件类型，为该第二日志事件添加与该事件类型对应的第二事件标签，以使后续接收到该第二日志事件的数据输出组件可以根据该第二事件标签，确定该第二日志事件的事件类型。

S700、所述脚本插件将至少一个第二日志事件传输至所述数据输出组件。

本公开实施例通过脚本插件对日志事件进行处理，可以支持复杂的数据处理操作，提升对日志事件中的日志数据的处理效率，同时脚本插件还可以方便技术人员对数据处理功能的进一步开发，也有利于编码和调试。在实际过程中，脚本插件具备对一个第一日志事件同时进行不同方向的数据处理获得多个第二日志事件的能力，提升对同一日志事件进行不同方向的数据处理的效率。例如，本发明实施例中的脚本插件可以对第一日志事件中的第一日志数据同时进行数据计算和数据校验等数据处理操作，获得的第二日志数据中既包括进行数据计算后的数据，也包括进行数据校验后的数据。

可选的，基于图1所示的方法，如图2所示，本公开实施例提供的另一种日志数据处理方法，在步骤S700之前，所述方法还可以包括：

S10、所述脚本插件将至少一个第二日志事件添加至预设事件队列中。

所述步骤S700可以包括：

S710、所述脚本插件将所述预设事件队列传输至所述数据输出组件。

具体的，脚本插件可以按照获得各第二日志事件的顺序，依次将各第二日志事件添加至预设事件队列中，再将预设事件队列中的第二日志事件统一传输至数据输出组件，以避免脚本插件在获得一个第二日志事件的过程中，同时将另一个第二日志事件传输至数据输出组件造成的脚本插件负担过大的问题，提升了脚本插件的数据处理效率。

本公开虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。

S800、所述数据输出组件分别根据各第二日志事件携带的第二事件标签，输出各第二日志事件。

可选的，本公开实施例提供的另一种日志数据处理方法，所述数据输出组件可以包括ElasticSearch数据输出插件，步骤S800可以包括：所述ElasticSearch数据输出插件根据第二日志事件携带的第二事件标签，确定与该第二事件标签对应的至少一个ElasticSearch服务器以及索引。所述ElasticSearch数据输出插件将该第二日志事件输出至所述至少一个ElasticSearch服务器中进行存储并记录至所述索引中。

本公开实施例可以预先对各事件标签设置对应的ElasticSearch服务器以及索引，以使ElasticSearch数据输出插件可以在根据第二日志事件携带的第二事件标签，确定第二日志事件输出的ElasticSearch服务器以及索引。

需要注意的是，本公开实施例中与该第二事件标签对应的至少一个ElasticSearch服务器以及索引和携带该第二事件标签的第二日志事件存在一一对应关系。例如：ElasticSearch数据输出插件可以将第二日志事件A输出至ElasticSearch服务器B以及索引C中，ElasticSearch数据输出插件可以将第二日志事件D输出至ElasticSearch服务器E以及索引F中，其中，第二日志事件A、ElasticSearch服务器B以及索引C存在一一对应关系，第二日志事件D、ElasticSearch服务器E以及索引F存在一一对应关系。

本公开实施例提供的一种日志数据处理方法，应用于日志数据处理装置中，日志数据处理装置包括数据输入组件、脚本插件以及数据输出组件。本公开通过确定日志事件的事件类型，使用脚本插件调用与该事件类型相匹配的数据处理方式对日志事件进行处理，缩短对日志数据的处理时长，提升了对日志数据的处理效率。

本公开实施例通过脚本插件可以实现对航空运价日志服务器中的运价日志数据进行专业性、目的性的日志数据处理，可以避免现有日志分析平台对运价日志数据进行通用数据处理所造成的数据处理结果不准确以及数据处理结果不完整等问题，可以满足航空运价领域对运价日志数据的处理需求。

本公开实施例可以预先对数据输入组件、脚本插件以及数据输出组件进行调试验证，其中，数据输入组件包括：本地数据输入插件和远程数据输入插件，数据输出组件包括：标准数据输出插件和ElasticSearch数据输出插件。

首先，本公开实施例可以验证数据输入组件和数据输出组件的正确性。具体的，本公开实施例可以将数据输入组件配置为本地数据输入插件，将数据输出组件配置为标准数据输出插件，该标准数据输出插件与屏幕连接。对脚本插件不进行任何配置，即脚本插件不对日志数据进行任何处理。在该配置条件下，执行日志数据处理流程，通过标准数据输出插件输出至屏幕中的信息，验证数据输入组件和数据输出组件的正确性并确定验证结果。

在数据输入组件和数据输出组件的正确性的验证结果为通过之后，本公开实施例接着对脚本插件的正确性进行验证。具体的，本公开实施例在上述配置的基础上，对脚本插件进行配置，确定脚本插件调用数据处理方式的完整路径。在该配置条件下，执行日志数据处理流程，通过标准数据输出插件输出至屏幕中的信息，验证脚本插件的正确性并确定验证结果。

在脚本插件的正确性的验证结果为通过之后，本公开实施例接着对远程数据输入插件与脚本插件的组合的正确性进行验证。具体的，本公开实施例在上述配置的基础上，将数据输入组件由原先的本地数据输入插件切换为远程数据输入插件。在该配置条件下，执行日志数据处理流程，通过标准数据输出插件输出至屏幕中的信息，验证远程数据输入插件与脚本插件的组合的正确性并确定验证结果。

在远程数据输入插件与脚本插件的组合的正确性的验证结果为通过之后，本公开实施例最后对远程数据输入插件、脚本插件以及ElasticSearch数据输出插件的组合的正确性进行验证。具体的，本公开实施例在上述配置的基础上，将数据输出组件由原先的标准数据输出插件切换为ElasticSearch数据输出插件，该ElasticSearch数据输出插件与ElasticSearch服务器连接，ElasticSearch服务器与Kibana可视化平台连接。在该配置条件下，执行日志数据处理流程，通过Kibana可视化平台读取ElasticSearch服务器中存储的信息，验证远程数据输入插件、脚本插件以及ElasticSearch数据输出插件的组合的正确性并确定验证结果。当该验证结果为通过时，本公开实施例可以确定对数据输入组件、脚本插件以及数据输出组件的调试完成。

可以理解的是，本公开实施例可以在对数据输入组件、脚本插件以及数据输出组件进行调试验证的各个阶段开始前，可以向数据输入组件配置的目录和文件名为“/home/prouser/applog/searchone/ishop.log”对应的文件中添加新的目标验证日志信息，以调试验证数据输入组件、脚本插件以及数据输出组件之间各种组合的正确性。

需要注意的是，在更改数据输入组件、脚本插件以及数据输出组件的之间的组合配置之后，需要重新启动程序，以使更改后的组合配置生效，以便准确地验证更改后的数据输入组件、脚本插件以及数据输出组件的之间的组合配置的正确性。

在实际应用场景中，本公开实施例提供的一种日志数据处理方法，可以取代ELK(Elasticsearch搜索服务器、Logstash数据收集和日志解析引擎以及Kibana分析和可视化平台)集成日志分析系统中Logstash数据收集和日志解析引擎的功能，可以避免使用Logstash数据收集和日志解析引擎通过多插件中使用的正则表达式对日志数据进行数据处理所造成的处理效率低下的问题。本公开实施例提供的一种日志数据处理方法，可以有效针对航空运价日志进行数据处理复杂的特性，提供可扩展的脚本插件实现对航空运价日志的运价日志数据的多方向处理，提升了对航空运价日志的处理效率。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本公开可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

与上述方法实施例相对应，本公开实施例还提供了一种日志处理装置，其结构如图3所示，包括数据输入组件100、脚本插件200以及数据输出组件300。

所述数据输入组件100，被配置为执行获得日志服务器中的目标日志数据，将所述目标日志数据进行事件封装，获得第一日志事件，其中，所述第一日志事件携带有第一事件标签，将所述第一日志事件传输至所述脚本插件200。

其中，数据输入组件100可以由至少一个数据输入插件组成。一个数据输入插件可以至少与一个日志服务器连接。本公开实施例可以根据日志服务器的类型对数据输入插件进行相应配置。

可选的，数据输入组件100可以包括本地数据输入插件和远程数据输入插件。本公开实施例可以对本地数据输入插件配置好指定的目录和文件名。

具体的，本地数据输入插件可以被配置为执行在配置好的目录和文件名所指向的文件中读取日志数据。用户可以在该文件中添加新的测试信息，以使该文件更新。本地数据输入插件可以被配置为执行按照预设时间间隔对该文件进行扫描检测，确定该文件是否已更新，如果更新，则读取该文件中的日志数据，如果不更新，则不进行任何操作。需要注意的是，在本地数据输入插件首次对文件读取日志数据时，无需确定该文件是否更新。

具体的，远程数据输入插件可以被配置为执行控制日志服务器中的日志扫描程序读取监控端口所监控的文件中的日志数据。

可选的，日志服务器可以是航空运价日志服务器。可选的，所述目标日志数据可以包括运价日志数据。可以理解的是，航空运价日志服务器可以存储有用户对应的航程、航班，运价规则、主承运航司以及次承运航司等信息进行记录、统计、修改、搜索以及校验等操作所生成的运价日志数据。可选的，运价日志数据的格式可以为Json字符串格式。

为了增强安全性以及简化后续对日志数据的使用，数据输入组件100可以被配置为执行对目标日志数据进行事件封装(encapsulation)，使得目标日志数据与具体的行为(或功能)相结合后得到第一日志事件。可选的，数据输入组件100可以被配置为执行对Json字符串格式的目标日志数据解析还原为以原生值(对象或数组)格式表达的目标日志数据，进而将原生值格式的运价日志数据进行事件封装，获得第一日志事件。

需要注意的是，数据输入组件100获得的第一日志事件携带有第一事件标签，该第一事件标签可以是目标日志数据携带的，也可以是在数据输入组件100中设置的。

在通常情况下，数据输入组件100获得目标日志数据时，目标日志数据已经携带有与该目标日志数据的事件类型对应的第一事件标签，在该情况下，数据输入组件100无需再对根据目标日志数据封装的第一日志事件另外设置事件标签，获得的第一日志事件可以继续携带该第一事件标签。

可选的，数据输入组件100可以被配置为执行当获得的目标日志数据未携带事件标签时，根据目标日志数据的事件类型和/或需对目标日志数据进行的处理操作，确定第一日志事件的事件类型，进而根据该事件类型，在所述第一日志事件中添加与该事件类型对应的第一事件标签。

可选的，所述事件类型为user_statistic事件、s1_reshop事件、s1_zt事件、s1_console_error事件、s1_console_detail事件、s1_console_grafana事件、s1_console_nginx_error事件、s1_console_nginx_ngerr事件、s1_console_info事件、s1_console_through_error事件、s1_lowest_price事件以及s1_audit事件中的至少一种。

其中，user_statistic可以为用户请求相关运价信息统计。s1_reshop可以为用户使用reshop系统请求信息。s1_zt可以为中台系统中主流程的日志信息。s1_console_error可以为中台系统的报错信息。s1_console_detail可以为中台系统拆分的处理细节日志。s1_console_grafana可以为中台系统需要到grafana中展示的数据。s1_console_nginx_error可以为中台系统中nginx报错信息中的一种日志。s1_console_nginx_ngerr可以为中台系统中nginx报错信息中的另一种日志。s1_console_info可以为中台系统处理过程中的明细日志信息。s1_console_through_error可以为中台系统中非拆封的报错信息。s1_lowest_price可以为运价搜索系统中实时的最低价信息。s1_audit可以为运价搜索系统中audit日志信息。

具体的，数据输入组件100可以被配置为执行过将携带有第一事件标签的第一日志事件传输至所述脚本插件200。

所述脚本插件200，被配置为执行根据所述第一事件标签，确定所述第一日志事件的事件类型，调用与所述第一日志事件的事件类型匹配的数据处理方式对所述第一日志事件进行处理，获得至少一个第二日志事件，分别为各第二日志事件添加相匹配的第二事件标签，以使各第二日志事件携带有相匹配的第二事件标签，其中，与第二日志事件相匹配的第二事件标签与该第二日志事件的事件类型具有对应关系，将至少一个第二日志事件传输至所述数据输出组件300。

其中，脚本插件200可以通过入口函数实现对脚本的调用。可选的，入口函数可以包括注册函数和过滤函数。脚本插件200可以被配置为执行通过注册函数调用预设初始化脚本实现对注册初始化对象的初始化处理。脚本插件200可以被配置为执行通过过滤函数实现对第一日志事件的处理过程。

脚本插件200可以被配置为执行在获得数据输入组件100传输过来的第一日志事件以后，可以读取该第一日志事件携带的第一事件标签，确定与该第一事件标签对应的事件类型为该第一日志事件的事件类型。

可选的，所述数据处理方式可以包括：当所述第一日志事件的事件类型为所述s1_reshop事件时，所述脚本插件200对所述第一日志事件中的目标日志数据进行反序列化处理，获得处理后的第一日志数据；所述脚本插件200将所述第一日志数据进行解析处理操作，获得第二日志数据；所述脚本插件200根据所述第二日志数据中各数据对应的各事件类型，将所述第二日志数据封装为至少一个第二日志事件。

具体的，脚本插件200可以被配置为执行在第一日志事件的事件类型为s1_reshop事件时，将第一日志事件中以原生值格式表达的目标日志数据进行反序列化处理，获得处理后以Json字符串格式表达的第一日志数据，再将以Json字符串格式表达的第一日志数据解析处理为预设格式的第二日志数据。

可以理解的是，在解析处理过程中，还可以包括对第一日志数据进行预设数据处理操作。其中，预设数据处理操作包括数据分组、数据组织、数据计算、数据校验、数据检索以及数据排序中的至少一种。

可选的，本公开实施例可以在与事件类型对应的预设数据处理方式中设置封装为第二日志事件的数据的目标事件类型。脚本插件200可以被配置为执行仅对第二日志数据中目标事件类型的数据封装为第二日志事件。

具体的，脚本插件200可以被配置为执行在得到一个第二日志事件之后，可以根据该第二日志事件的事件类型，为该第二日志事件添加与该事件类型对应的第二事件标签，以使后续接收到该第二日志事件的数据输出组件300可以根据该第二事件标签，确定该第二日志事件的事件类型。

本公开实施例通过脚本插件200对日志事件进行处理，可以支持复杂的数据处理操作，提升对日志事件中的日志数据的处理效率，同时脚本插件200还可以方便技术人员对数据处理功能的进一步开发，也有利于编码和调试。在实际过程中，脚本插件200具备对一个第一日志事件同时进行不同方向的数据处理获得多个第二日志事件的能力，提升对同一日志事件进行不同方向的数据处理的效率。

可选的，所述脚本插件200，可以具体被配置为执行将至少一个第二日志事件添加至预设事件队列中，将所述预设事件队列传输至所述数据输出组件300。

具体的，脚本插件200可以被配置为执行按照获得各第二日志事件的顺序，依次将各第二日志事件添加至预设事件队列中，再将预设事件队列中的第二日志事件统一传输至数据输出组件300，以避免脚本插件200在获得一个第二日志事件的过程中，同时将另一个第二日志事件传输至数据输出组件300造成的脚本插件200负担过大的问题，提升了脚本插件200的数据处理效率。

所述数据输出组件300，被配置为执行分别根据各第二日志事件携带的第二事件标签，输出各第二日志事件。

可选的，所述数据输出组件300可以包括ElasticSearch数据输出插件。

所述ElasticSearch数据输出插件，被配置为执行根据第二日志事件携带的第二事件标签，确定与该第二事件标签对应的ElasticSearch服务器以及索引，将该第二日志事件输出至所述ElasticSearch服务器中进行存储并记录至所述索引中。

本公开实施例提供的一种日志数据处理装置，可以包括数据输入组件100、脚本插件200以及数据输出组件300。本公开通过确定日志事件的事件类型，使用脚本插件200调用与该事件类型相匹配的数据处理方式对日志事件进行处理，缩短对日志数据的处理时长，提升了对日志数据的处理效率。

本公开实施例通过脚本插件200可以实现对航空运价日志服务器中的运价日志数据进行专业性、目的性的日志数据处理，可以避免现有日志分析平台对运价日志数据进行通用数据处理所造成的数据处理结果不准确以及数据处理结果不完整等问题，可以满足航空运价领域对运价日志数据的处理需求。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

本公开实施例提供的一种存储介质，其上存储有程序，所述程序被处理器执行时实现如上所述的任一种日志数据处理方法。

在本公开的上下文中，存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。存储介质可以是机器可读信号介质或机器可读储存介质。存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

需要说明的是，本公开上述的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

本公开实施例提供的一种电子设备，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上所述的任一种日志数据处理方法。

可选的，如图4所示，用来实现本公开实施例的电子设备(例如：终端设备或服务器)400的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备400仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种日志数据处理方法，其特征在于，应用于日志数据处理装置中，所述日志数据处理装置包括数据输入组件、脚本插件以及数据输出组件，所述方法包括：

所述数据输入组件获得日志服务器中的目标日志数据；

所述数据输入组件将所述目标日志数据进行事件封装，获得第一日志事件，其中，所述第一日志事件携带有第一事件标签；

所述数据输入组件将所述第一日志事件传输至所述脚本插件；

所述脚本插件根据所述第一事件标签，确定所述第一日志事件的事件类型；

所述脚本插件调用与所述第一日志事件的事件类型匹配的数据处理方式对所述第一日志事件进行处理，获得至少一个第二日志事件；

所述脚本插件分别为各第二日志事件添加相匹配的第二事件标签，以使各第二日志事件携带有相匹配的第二事件标签；其中，与第二日志事件相匹配的第二事件标签与该第二日志事件的事件类型具有对应关系；

所述脚本插件将至少一个第二日志事件传输至所述数据输出组件；

所述数据输出组件分别根据各第二日志事件携带的第二事件标签，输出各第二日志事件。

2.根据权利要求1所述的方法，其特征在于，所述数据输出组件包括ElasticSearch数据输出插件，所述数据输出组件分别根据各第二日志事件携带的第二事件标签，输出各第二日志事件，包括：

所述ElasticSearch数据输出插件根据第二日志事件携带的第二事件标签，确定与该第二事件标签对应的ElasticSearch服务器以及索引；

所述ElasticSearch数据输出插件将该第二日志事件输出至所述ElasticSearch服务器中进行存储并记录至所述索引中。

3.根据权利要求1所述的方法，其特征在于，所述事件类型为user_statistic事件、s1_reshop事件、s1_zt事件、s1_console_error事件、s1_console_detail事件、s1_console_grafana事件、s1_console_nginx_error事件、s1_console_nginx_ngerr事件、s1_console_info事件、s1_console_through_error事件、s1_lowest_price事件以及s1_audit事件中的至少一种。

4.根据权利要求3所述的方法，其特征在于，所述数据处理方式包括：

当所述第一日志事件的事件类型为所述s1_reshop事件时，所述脚本插件对所述第一日志事件中的目标日志数据进行反序列化处理，获得处理后的第一日志数据；

所述脚本插件将所述第一日志数据进行解析处理操作，获得第二日志数据；

所述脚本插件根据所述第二日志数据中各数据对应的各事件类型，将所述第二日志数据封装为至少一个第二日志事件。

5.根据权利要求1所述的方法，其特征在于，在所述脚本插件将至少一个第二日志事件传输至所述数据输出组件之前，所述方法还包括：

所述脚本插件将至少一个第二日志事件添加至预设事件队列中；

所述脚本插件将至少一个第二日志事件传输至所述数据输出组件，包括：

所述脚本插件将所述预设事件队列传输至所述数据输出组件。

6.根据权利要求1所述的方法，其特征在于，所述目标日志数据包括运价日志数据。

7.一种日志处理装置，其特征在于，包括数据输入组件、脚本插件以及数据输出组件，

所述数据输入组件，被配置为执行获得日志服务器中的目标日志数据，将所述目标日志数据进行事件封装，获得第一日志事件，其中，所述第一日志事件携带有第一事件标签，将所述第一日志事件传输至所述脚本插件；

所述脚本插件，被配置为执行根据所述第一事件标签，确定所述第一日志事件的事件类型，调用与所述第一日志事件的事件类型匹配的数据处理方式对所述第一日志事件进行处理，获得至少一个第二日志事件，分别为各第二日志事件添加相匹配的第二事件标签，以使各第二日志事件携带有相匹配的第二事件标签，其中，与第二日志事件相匹配的第二事件标签与该第二日志事件的事件类型具有对应关系，将至少一个第二日志事件传输至所述数据输出组件；

所述数据输出组件，被配置为执行分别根据各第二日志事件携带的第二事件标签，输出各第二日志事件。

8.根据权利要求7所述的装置，其特征在于，所述数据输出组件包括ElasticSearch数据输出插件，

所述ElasticSearch数据输出插件，被配置为执行根据第二日志事件携带的第二事件标签，确定与该第二事件标签对应的ElasticSearch服务器以及索引，将该第二日志事件输出至所述ElasticSearch服务器中进行存储并记录至所述索引中。

9.一种存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的日志数据处理方法。

10.一种电子设备，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至6中任一项所述的日志数据处理方法。

Images