CN112306979B - 基于消息队列的日志信息处理方法、装置及可读介质 - Google Patents

Abstract

本发明提供的基于消息队列的日志信息处理方法、装置及可读介质，通过在发布端创建第一配置文件和在订阅端创建第二配置文件，以及读取第二配置文件中的第二连接方案，以使订阅端订阅消息队列中每一个消息队列主题。根据第一配置文件，将发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的消息队列主题，根据第二连接方案，控制与消息队列连接的订阅端对每一个消息队列主题进行监听。当订阅端监听到消息队列主题中有日志信息传入时，确定该日志信息对应的日志处理类，并利用每一个日志处理类对日志信息进行处理。本发明基于消息队列将网络系统产生的日志信息发送到日志信息处理服务端进行处理，能够减小网络系统处理日志信息的压力。

Description

基于消息队列的日志信息处理方法、装置及可读介质

技术领域

本发明涉及信息处理领域，特别涉及基于消息队列的日志信息处理方法、装置及可读介质。

背景技术

随着互联网技术的不断发展，企业的互联网业务种类增多，网络系统架构也随之越来越复杂，网络系统在运行过程中会产生大量的日志信息。这些日志通常会记录下系统中硬件、软件、应用的问题信息和事件信息，用户可以通过日志来检查网络系统中发生的事件，进而迅速的查找到网络系统运行过程中的问题。

现有的记录系统日志的方法通常是在本地打开一个日志文件，然后各个进程把系统产生的日志记录下来，通过直接查看可读的日志文件浏览系统的日志信息。然而随着系统管理设备的增多和互联网业务的增加，整个系统在运行过程中产生大量的日志信息，若仍采用本地文件记录日志和网络系统处理日志的方式，会严重影响网络系统的正常运行。

针对网络系统中逐渐增加的日志信息，通常采用异步的日志处理方式达到满足异步、低耦合、安全的日志处理要求。但在日志处理过程中可能出现的中断操作会导致日志信息的丢失，同时随着日志记录的增加会导致网络系统日志处理压力大。

发明内容

本发明实施例提供了基于消息队列的日志信息处理方法、装置及可读介质，能够减小网络系统处理日志信息的压力。

第一方面，本发明实施例提供了基于消息队列的日志信息处理方法，包括：

在发布端创建第一配置文件，其中，所述第一配置文件保存有所述发布端与消息队列的第一连接方案，所述消息队列为在日志信息的传输过程中保存所述日志信息的容器，所述消息队列中包括至少一个消息队列主题，每个所述消息队列主题与日志信息所属日志类型的名称相同；

在订阅端创建第二配置文件，其中，所述第二配置文件保存有所述订阅端与所述消息队列的第二连接方案及所述日志类型与至少一个日志处理类的对应关系，每个所述日志处理类用于处理对应日志类型的日志信息；

读取所述第二连接方案，以使所述订阅端完成所述消息队列中每一个消息队列主题的订阅服务；

根据所述第一连接方案，将所述发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的所述消息队列主题中；

根据所述第二连接方案，使所述订阅端与所述消息队列连接，并控制所述订阅端对消息队列中的每一个消息队列主题进行监听；

当所述订阅端监听到所述消息队列主题中有日志信息传入时，根据所述对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个所述日志处理类对所述日志信息进行处理。

可选地，所述当所述订阅端监听到所述消息队列主题中有日志信息传入时，根据所述对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个所述日志处理类对所述日志信息进行处理，包括：

当所述订阅端监听到所述消息队列主题中有日志信息传入时，控制所述订阅端与所述消息队列通过回调接口连接；

控制所述订阅端通过回调接口获取该日志信息和该日志信息所在的消息队列主题；

根据该消息队列主题和所述第二配置文件中的所述对应关系，确定该日志信息的日志类型和该日志类型对应的日志处理类所在的存储全路径；

根据所述存储全路径和所述第二配置文件，确定每一个存储路径对应的日志处理类；

针对每一个日志处理类，通过反射的方式实例化该日志处理类，生成实例化日志处理类，其中，每个所述实例化日志处理类对应一个处理接口和处理方法；

控制所述订阅端通过所述处理接口调用所述实例化日志处理类，以使该实例化日志处理类根据所述处理方法对所述日志信息进行处理。

可选地，所述根据所述第一连接方案，将所述发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的所述消息队列主题中，包括：

利用所述发布端判断所述第一连接方案是否为对应该日志信息所属日志类型的自有连接方案；

若是，则将所述日志信息按照该自有连接方案发送到与所述日志类型名称相同的消息队列主题中；

若不是，则将所述日志信息按照第一连接方案发送到与所述日志类型名称相同的消息队列主题中。

可选地，在所述利用所述发布端判断所述第一连接方案是否为对应该日志信息所属日志类型的自有连接方案之后，进一步包括：

利用所述发布端判断所述第一连接方案中是否存在与所述日志信息所属日志类型名称相同的消息队列主题；

若没有，则创建一个与所述日志类型名称相同的消息队列主题。

第二方面，本发明实施例提供了基于消息队列的日志信息处理装置，包括：

创建模块，用于在发布端创建第一配置文件，其中，所述第一配置文件保存有所述发布端与消息队列的第一连接方案，所述消息队列为在日志信息的传输过程中保存所述日志信息的容器，所述消息队列中包括至少一个消息队列主题，每个所述消息队列主题与日志信息所属日志类型的名称相同；在订阅端创建第二配置文件，其中，所述第二配置文件保存有所述订阅端与所述消息队列的第二连接方案及所述日志类型与至少一个日志处理类的对应关系，每个所述日志处理类用于处理对应日志类型的日志信息；

订阅模块，用于读取所述创建模块创建的所述第二连接方案，以使所述订阅端完成所述消息队列中每一个消息队列主题的订阅服务；

发送模块，用于根据所述创建模块创建的所述第一连接方案，将所述发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的所述消息队列主题中；

监听模块，用于根据所述创建模块创建的所述第二连接方法，使所述订阅端与所述消息队列连接，并控制所述订阅端对消息队列中的每一个消息队列主题进行监听；

处理模块，用于当所述监听模块控制所述订阅端监听到所述消息队列主题中有日志信息传入时，根据所述对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个所述日志处理类对所述日志信息进行处理。

可选地，所述监听模块用于执行以下步骤：

当所述订阅端监听到所述消息队列主题中有日志信息传入时，控制所述订阅端与所述消息队列通过回调接口连接；

控制所述订阅端通过回调接口获取该日志信息和该日志信息所在的消息队列主题；

根据该消息队列主题和所述第二配置文件中的所述对应关系，确定该日志信息的日志类型和该日志类型对应的日志处理类所在的存储全路径；

根据所述存储全路径和所述第二配置文件，确定每一个存储路径对应的日志处理类；

针对每一个日志处理类，通过反射的方式实例化该日志处理类，生成实例化日志处理类，其中，每个所述实例化日志处理类对应一个处理接口和处理方法；

控制所述订阅端通过所述处理接口调用所述实例化日志处理类，以使该实例化日志处理类根据所述处理方法对所述日志信息进行处理。

可选地，所述发送模块，用于执行以下步骤：

利用所述发布端判断所述第一连接方案是否为对应该日志信息所属日志类型的自有连接方案；

若是，则将所述日志信息按照该自有连接方案发送到与所述日志类型名称相同的消息队列主题中；

若不是，则将所述日志信息按照第一连接方案发送到与所述日志类型名称相同的消息队列主题中。

可选地，所述发送模块，还用于执行以下步骤：

利用所述发布端判断所述第一连接方案中是否存在与所述日志信息所属日志类型名称相同的消息队列主题；

若没有，则创建一个与所述日志类型名称相同的消息队列主题。

第三方面，本发明实施例提供了基于消息队列的日志信息处理装置，其特征在于，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行上述第一方面或第一方面的任一可能的实现方式所提供的方法。

第四方面，本发明实施例提供了计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述第一方面或第一方面的任一可能的实现方式所提供的方法。

由上述方案可知，本发明实施例提供的基于消息队列的日志信息处理方法通过在发布端创建第一配置文件和在订阅端创建第二配置文件，以及读取第二配置文件中的第二连接方案，以使订阅端完成消息队列中每一个消息队列主题的订阅服务。根据第一配置文件中的第一连接方案，将发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的消息队列主题中，根据第二配置文件中的第二连接方案，使订阅端与消息队列连接，并控制订阅端对消息队列中的每一个消息队列主题进行监听。当订阅端监听到消息队列主题中有日志信息传入时，根据对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个日志处理类对日志信息进行处理。本发明通过消息队列机制将网络系统产生的日志信息发送到专门的日志信息处理服务端进行处理，能够减小网络系统处理日志信息的压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种基于消息队列的日志信息处理方法的流程图；

图2是本发明一个实施例提供的另一种基于消息队列的日志信息处理方法的流程图；

图3是本发明一个实施例提供的一种基于消息队列的日志信息处理装置所在设备的示意图；

图4是本发明一个实施例提供的一种基于消息队列的日志信息处理装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例提供的一种基于消息队列的日志信息处理方法的流程图。如图1所示，该方法可以包括以下步骤：

步骤101、在发布端创建第一配置文件，其中，第一配置文件保存有发布端与消息队列的第一连接方案，消息队列为在日志信息的传输过程中保存日志信息的容器，消息队列中包括至少一个消息队列主题，每个消息队列主题与日志信息所属日志类型的名称相同；

步骤102、在订阅端创建第二配置文件，其中，第二配置文件保存有订阅端与消息队列的第二连接方案及日志类型与至少一个日志处理类的对应关系，每个日志处理类用于处理对应日志类型的日志信息；

步骤103、读取第二连接方案，以使订阅端完成消息队列中每一个消息队列主题的订阅服务；

步骤104、根据第一连接方案，将发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的消息队列主题中；

步骤105、根据第二连接方案，使订阅端与消息队列连接，并控制订阅端对消息队列中的每一个消息队列主题进行监听；

步骤106、当订阅端监听到消息队列主题中有日志信息传入时，根据对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个日志处理类对日志信息进行处理。

本发明实施例提供的基于消息队列的日志信息处理方法，通过在发布端创建第一配置文件和在订阅端创建第二配置文件，以及读取第二配置文件中的第二连接方案，以使订阅端完成消息队列中每一个消息队列主题的订阅服务。根据第一配置文件中的第一连接方案，将发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的消息队列主题中，根据第二配置文件中的第二连接方案，使订阅端与消息队列连接，并控制订阅端对消息队列中的每一个消息队列主题进行监听。当订阅端监听到消息队列主题中有日志信息传入时，根据对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个日志处理类对日志信息进行处理。本发明通过消息队列机制将网络系统产生的日志信息发送到专门的日志信息处理服务端进行处理，能够减小网络系统处理日志信息的压力。

可选地，如图1所示的基于消息队列的日志信息处理方法，步骤106中当订阅端监听到消息队列主题中有日志信息传入时，根据对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个日志处理类对日志信息进行处理，具体可以通过以下方式实现：

当所述订阅端监听到所述消息队列主题中有日志信息传入时，控制所述订阅端与所述消息队列通过回调接口连接；

控制所述订阅端通过回调接口获取该日志信息和该日志信息所在的消息队列主题；

根据该消息队列主题和所述第二配置文件中的所述对应关系，确定该日志信息的日志类型和该日志类型对应的日志处理类所在的存储全路径；

根据所述存储全路径和所述第二配置文件，确定每一个存储路径对应的日志处理类；

针对每一个日志处理类，通过反射的方式实例化该日志处理类，生成实例化日志处理类，其中，每个所述实例化日志处理类对应一个处理接口和处理方法；

控制所述订阅端通过所述处理接口调用所述实例化日志处理类，以使该实例化日志处理类根据所述处理方法对所述日志信息进行处理。

在本发明实施例中，根据第二连接方案，控制订阅端与消息队列连接，并对消息队列中的每一个消息队列主题进行监听，当订阅端监听到消息队列主题中有日志信息传入时，控制订阅端与消息队列通过回调接口连接，控制订阅端通过回调接口获取传入的日志信息和该日志信息所在的消息队列主题。由于消息队列主题与日志类型的名称相同，因此能够根据消息队列主题，确定该日志信息的日志类型，根据第二配置文件中日志类型与至少一个日志处理类的对应关系，确定该日志类型对应的每一个消息处理类，使用分隔符将每一个消息处理类对应的存储路径表示，并形成该日志类型对应的日志处理类所在的存储全路径。根据第二配置文件中保存的日志处理类和存储全路径，查找到每一个存储路径对应的日志处理类。针对每一个日志处理类，通过反射的方式实例化日志处理类，每个实例化日志处理类对应一个处理接口和处理方法。控制订阅端通过处理接口调用对应的实例化日志处理类，以使该实例化日志处理类根据处理方法对日志信息进行处理。本步骤通过专门的日志信息处理服务器即订阅端对消息队列主题中传入的每一个日志消息进行处理，实现了异步、低耦合、安全的处理方式，也实现了发布端的流量削峰，缓解了发布端的日志信息处理压力。

可选地，如图1所示的基于消息队列的日志信息处理方法，步骤104根据第一连接方案，将发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的消息队列主题中，具体可以通过以下方式实现：

利用所述发布端判断所述第一连接方案是否为对应该日志信息所属日志类型的自有连接方案；

若是，则将所述日志信息按照该自有连接方案发送到与所述日志类型名称相同的消息队列主题中；

若不是，则将所述日志信息按照第一连接方案发送到与所述日志类型名称相同的消息队列主题中。

在本发明实施例中，发布端的配置文件中保存有公共的消息队列连接方案即第一连接方案，所有日志类型的日志信息均可以按照第一连接方案发送到消息队列主题中。由于消息队列与发布端的连接方案不局限于某一个日志类型，使得发布端产生的日志信息均通过第一连接方案发送到消息队列中，不利于不同日志类型的日志信息的规范化传输。如果发布端的配置文件中保存有与日志类型对应的自有连接方案，则可直接根据日志信息所属日志类型按照自有连接方案发送到与日志类型名称相同的消息队列主题中，这能够使得发布端按照更加明确的自有连接方案发送日志信息到消息队列主题中。

可选地，在图1所示的基于消息队列的日志信息处理方法的基础上，在步骤104利用发布端判断第一连接方案是否为对应该日志信息所属日志类型的自有连接方案之后，进一步包括：

利用所述发布端判断所述第一连接方案中是否存在与所述日志信息所属日志类型名称相同的消息队列主题；

若没有，则创建一个与所述日志类型名称相同的消息队列主题。

在本发明实施例中，消息队列主题与日志类型的名称相同，有利于发布端根据日志信息所属日志类型发送到与该日志类型名称相同的消息队列主题中。如果第一连接方案中不存在与日志信息所属日志类型名称相同的消息队列主题，则创建一个与该日志类型名称相同的消息队列主题。采用这种与日志类型名称相同的消息队列主题创建方法简单易行，同时随着消息队列主题数量的不断累积，有利于提高发布端将产生的日志信息向对应的消息队列主题的发送速度。

下面结合具体实例对本发明实施例提供的基于消息队列的日志信息处理方法作进一步详细说明，如图2所示，该方法可以包括如下步骤：

步骤201、在发布端创建第一配置文件，其中，第一配置文件保存有发布端与消息队列的第一连接方案，消息队列中包括至少一个消息队列主题。

在本步骤中，在发布端创建一个配置文件，该配置文件中包括建立的公共消息队列连接方案，其中，该公共消息队列连接方案包括连接用户名、密码、消息队列所在的服务器地址和端口号。如果需要，则可建立与日志类型对应的自有消息队列连接方案，该自有连接方案中同样包括连接用户名、密码、消息队列所在的服务器地址和端口号。需要说明的是，公共消息队列连接方案为必须项，自有消息队列连接方案为可选择项，当存在自有消息队列连接方案时，优先读取自有消息队列连接方案。消息队列为在日志信息的传输过程中保存日志信息的容器。消息队列对应多个消息队列主题，每一个消息队列主题的名称与日志类型的名称相同，消息队列主题的名称由字母和/或数字组成。

例如，在发布端创建一个properties配置文件，将该配置文件的名称命名为发布端配置文件。配置文件中创建公共消息队列连接方案，其中，包括消息队列连接用户名“public.cmsp.username”、密码“public.cmsp.password”、消息队列所在服务器地址“public.cmsp.ip”和端口号“public.cmsp.port”。选择性的建立一个以日志类型为AAA的自有消息队列连接方案，格式为消息队列连接用户名“AAA.cmsp.username”、密码“AAA.cmsp.password”、消息队列所在服务器地址“AAA.cmsp.ip”和端口号“AAA.cmsp.port”。

步骤202、在订阅端创建第二配置文件，其中，第二配置文件保存有订阅端与消息队列的第二连接方案及日志类型与至少一个日志处理类的对应关系。

在本步骤中，在订阅端创建一个配置文件，该配置文件中包括建立的公共消息队列连接方案，其中，该公共消息队列连接方案包括消息队列连接用户名、密码、消息队列所在的服务器地址和端口号以及订阅端标识。该配置文件中保存有日志类型与至少一个日志处理类的对应关系。其中，订阅端标识唯一且不与其他订阅端重复，在本发明中以一个订阅端作为具体实施例。需要说明的是，公共消息队列连接方案为必须项，日志类型对应的回调类全路径为必须项。

例如，在订阅端创建一个properties配置文件，将该配置文件的名称命名为订阅端配置文件。配置文件中创建公共消息队列连接方案，其中，包括消息队列连接用户名“public.mqtt.username”、密码“public.mqtt.password”、消息队列所在服务器地址“public.mqtt.ip”、端口号“public.mqtt.port”和订阅端标识“public.mqtt.clientid”。保存的日志类型与至少一个日志处理类的对应关系，格式为“AAA.mqtt.callback＝NNN；MMM；”，其中“AAA”为日志类型，“NNN”和“MMM”为反射的日志处理类的全路径。

步骤203、读取第二连接方案，以使订阅端完成消息队列中每一个消息队列主题的订阅服务。

在本步骤中，订阅端在服务启动时即读取订阅端的公共消息队列连接方案，在读取公共消息队列连接方案时启动对消息队列中的每一个消息队列主题的消息订阅服务，以用于当消息队列主题中有发布端的日志信息传入时，将该日志信息发送至订阅端。

步骤204、根据第一连接方案，将发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的消息队列主题中。

在本步骤中，发布端的配置文件中保存有公共的消息队列连接方案即第一连接方案，所有日志类型的日志信息均可以按照第一连接方案发送到消息队列主题中。如果发布端的配置文件中保存有与日志类型对应的自有连接方案，则可直接根据日志信息所属日志类型按照自有连接方案发送到与日志类型名称相同的消息队列主题中。由于消息队列主题与日志类型的名称相同，因此发布端可根据日志信息所属日志类型发送到与该日志类型名称相同的消息队列主题中。如果第一连接方案中不存在与日志信息所属日志类型名称相同的消息队列主题，则创建一个与该日志类型名称相同的消息队列主题。采用这种与日志类型名称相同的消息队列主题创建方法简单易行，同时随着消息队列主题数量的不断累积，有利于提高发布端将产生的日志信息向对应的消息队列主题的发送速度。

需要说明的是，根据发布端产生的日志信息的日志类型，通过工具类读取发布端配置文件。配置文件中创建有发布端与消息队列的通信工具类，根据日志信息所属日志类型在发布端配置文件中获取消息队列主题，并判断配置文件中是否保存有该日志类型对应的自有消息队列连接方案，如果存在，按照自有消息队列连接方案完成消息队列与发布端连接，如果不存在，则按照公共消息队列连接方案完成消息队列与发布端连接。在这里，工具类提供了“同步”和“异步”两种日志信息处理方式，如果处理方式为“同步”，日志信息处理完成后会通知发布端结果。如果处理方式为“异步”，则不会收到返回结果。总的来说，通过日志类型选择消息队列连接方案和消息队列主题，如果消息队列主题不存在，则利用回调接口进行新建一个与日志类型名称相同的消息队列主题，最后传输日志信息到对应的消息队列主题。对于需要进行异步处理、解耦功能或者对记录安全有要求的日志功能调用发布端的消息队列工具类，根据业务需求，选择“同步”或者“异步”方式，传入“日志类型”和“日志信息”对象为参数，将日志信息由此工具类传输到指定的消息队列主题中。

步骤205、根据第二连接方案，使订阅端与消息队列连接，并控制订阅端对消息队列中的每一个消息队列主题进行监听。

在本步骤中，订阅端的配置文件中保存有公共的消息队列连接方案即第二连接方案，订阅端通过第二连接方案与消息队列连接，对订阅端配置文件中配置的每一个消息队列主题进行监听。

步骤206、当订阅端监听到消息队列主题中有日志信息传入时，控制订阅端与消息队列通过回调接口连接并获取该日志信息和该日志信息所在的消息队列主题。

在本步骤中，当订阅端监听到消息队列主题中有日志信息传入时加载公共的回调类，该回调类能够实现对消息队列中的消息队列主题和日志信息进行调用的调用接口和调用方法。通过该调用方法从消息队列中获取日志信息和该日志信息所在的消息队列主题。

步骤207、根据消息队列主题和第二配置文件中的对应关系，确定该日志信息的日志类型和该日志类型对应的日志处理类所在的存储全路径。

在本步骤中，由于消息队列主题与日志类型的名称相同，因此能够根据获取到的消息队列主题确定该日志信息的日志类型。根据第二配置文件中日志类型与至少一个日志处理类的对应关系，能够查找到该日志类型对应的所有日志处理类，确定所有日志处理类所在的存储全路径，其中，该存储全路径为以分号作为分隔符组成的日志处理类字符串数组。

步骤208、根据存储全路径和第二配置文件，确定每一个存储路径对应的日志处理类，并通过反射的方式实例化该日志处理类，生成实例化日志处理类，其中，每个实例化日志处理类对应一个处理接口和处理方法。

在本步骤中，根据所有日志处理类所在的存储全路径，从配置文件中查找到每一个存储路径对应的日志处理类，并利用反射的方式实例化日志处理类，每个被实例化的日志处理类均有对应的处理接口和处理方法。

步骤209、控制订阅端通过处理接口调用实例化日志处理类，以使该实例化日志处理类根据处理方法对日志信息进行处理。

在本步骤中，控制订阅端通过处理接口调用实例化日志处理类，通过每个实例化日志处理类对应的处理方法对获取到的日志信息进行加工、处理或持久化操作。

需要说明的是，上述各个步骤的划分仅是为了能够更加清楚地对本发明实施例所提供的基于消息队列的日志信息处理方法进行说明，在实际业务实现过程中各个步骤之间没有绝对的先后顺序，比如，步骤201和步骤202及步骤204和步骤205之间的先后顺序可以调整。

如图3、图4所示，本发明实施例提供了基于消息队列的日志信息处理装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的基于消息队列的日志信息处理装置301的一种硬件结构图，除了图3所示的处理器302、内存303、网络接口304、内部总线305以及非易失性存储器306之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等，处理器与网络接口、内存和非易失性存储器通过内部总线连接。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。

本发明实施例提供的一种基于消息队列的日志信息处理装置，包括：

创建模块401，用于在发布端创建第一配置文件，其中，所述第一配置文件保存有所述发布端与消息队列的第一连接方案，所述消息队列为在日志信息的传输过程中保存所述日志信息的容器，所述消息队列中包括至少一个消息队列主题，每个所述消息队列主题与日志信息所属日志类型的名称相同；在订阅端创建第二配置文件，其中，所述第二配置文件保存有所述订阅端与所述消息队列的第二连接方案及所述日志类型与至少一个日志处理类的对应关系，每个所述日志处理类用于处理对应日志类型的日志信息；

订阅模块402，用于读取所述创建模块401创建的所述第二连接方案，以使所述订阅端完成所述消息队列中每一个消息队列主题的订阅服务；

发送模块403，用于根据所述创建模块401创建的所述第一连接方案，将所述发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的所述消息队列主题中；

监听模块404，用于根据所述创建模块401创建的所述第二连接方法，使所述订阅端与所述消息队列连接，并控制所述订阅端对消息队列中的每一个消息队列主题进行监听；

处理模块405，用于当所述监听模块404控制所述订阅端监听到所述消息队列主题中有日志信息传入时，根据所述对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个所述日志处理类对所述日志信息进行处理。

在本发明实施例中，创建模块401可用于执行上述方法实施例中的步骤101和102，订阅模块402可用于执行上述方法实施例中的步骤103，发送模块403可用于执行上述方法实施例中的步骤104，监听模块404可用于执行上述方法实施例中的步骤105，处理模块405可用于执行上述方法实施例中的步骤106。

可选地，如图4所示的基于消息队列的日志信息处理装置中的监听模块，用于执行以下步骤：

当所述订阅端监听到所述消息队列主题中有日志信息传入时，控制所述订阅端与所述消息队列通过回调接口连接；

控制所述订阅端通过回调接口获取该日志信息和该日志信息所在的消息队列主题；

根据该消息队列主题和所述第二配置文件中的所述对应关系，确定该日志信息的日志类型和该日志类型对应的日志处理类所在的存储全路径；

根据所述存储全路径和所述第二配置文件，确定每一个存储路径对应的日志处理类；

针对每一个日志处理类，通过反射的方式实例化该日志处理类，生成实例化日志处理类，其中，每个所述实例化日志处理类对应一个处理接口和处理方法；

控制所述订阅端通过所述处理接口调用所述实例化日志处理类，以使该实例化日志处理类根据所述处理方法对所述日志信息进行处理。

可选地，如图4所示的基于消息队列的日志信息处理装置中的发送模块，用于执行以下步骤：

利用所述发布端判断所述第一连接方案是否为对应该日志信息所属日志类型的自有连接方案；

若是，则将所述日志信息按照该自有连接方案发送到与所述日志类型名称相同的消息队列主题中；

若不是，则将所述日志信息按照第一连接方案发送到与所述日志类型名称相同的消息队列主题中。

可选地，如图4所示的基于消息队列的日志信息处理装置中的发送模块，还用于执行以下步骤：

利用所述发布端判断所述第一连接方案中是否存在与所述日志信息所属日志类型名称相同的消息队列主题；

若没有，则创建一个与所述日志类型名称相同的消息队列主题。

可以理解的是，本发明实施例示意的结构并不构成对基于消息队列的日志信息处理装置的具体限定。在本发明的另一些实施例中，主机可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。

需要说明的是，上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例还提供了一种基于消息队列的日志信息处理装置，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行本发明任一实施例中的基于消息队列的日志信息处理方法。

本发明实施例还提供了一种计算机可读介质，存储用于使计算机执行如本文所述的基于消息队列的日志信息处理方法的指令。具体地，可以提供配有存储介质的方法或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该方法或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作方法等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

综上所述，本发明各个实施例提供的基于消息队列的日志信息处理方法、装置及可读介质，至少具有如下有益效果：

1、在本发明实施例中，通过在发布端创建第一配置文件和在订阅端创建第二配置文件，以及读取第二配置文件中的第二连接方案，以使订阅端完成消息队列中每一个消息队列主题的订阅服务。根据第一配置文件中的第一连接方案，将发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的消息队列主题中，根据第二配置文件中的第二连接方案，使订阅端与消息队列连接，并控制订阅端对消息队列中的每一个消息队列主题进行监听。当订阅端监听到消息队列主题中有日志信息传入时，根据对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个日志处理类对日志信息进行处理。本发明通过消息队列机制将网络系统产生的日志信息发送到专门的日志信息处理服务端进行处理，能够减小网络系统处理日志信息的压力。

2、在本发明实施例中，根据第二连接方案，控制订阅端与消息队列连接，并对消息队列中的每一个消息队列主题进行监听，当订阅端监听到消息队列主题中有日志信息传入时，控制订阅端与消息队列通过回调接口连接，控制订阅端通过回调接口获取传入的日志信息和该日志信息所在的消息队列主题。由于消息队列主题与日志类型的名称相同，因此能够根据消息队列主题，确定该日志信息的日志类型，根据第二配置文件中日志类型与至少一个日志处理类的对应关系，确定该日志类型对应的每一个消息处理类，使用分隔符将每一个消息处理类对应的存储路径表示，并形成该日志类型对应的日志处理类所在的存储全路径。根据第二配置文件中保存的日志处理类和存储全路径，查找到每一个存储路径对应的日志处理类。针对每一个日志处理类，通过反射的方式实例化日志处理类，每个实例化日志处理类对应一个处理接口和处理方法。控制订阅端通过处理接口调用对应的实例化日志处理类，以使该实例化日志处理类根据处理方法对日志信息进行处理。本步骤通过专门的日志信息处理服务器即订阅端对消息队列主题中传入的每一个日志消息进行处理，实现了异步、低耦合、安全的处理方式，也实现了发布端的流量削峰，缓解了发布端的日志信息处理压力。

3、在本发明实施例中，发布端的配置文件中保存有公共的消息队列连接方案即第一连接方案，所有日志类型的日志信息均可以按照第一连接方案发送到消息队列主题中。由于消息队列与发布端的连接方案不局限于某一个日志类型，使得发布端产生的日志信息均通过第一连接方案发送到消息队列中，不利于不同日志类型的日志信息的规范化传输。如果发布端的配置文件中保存有与日志类型对应的自有连接方案，则可直接根据日志信息所属日志类型按照自有连接方案发送到与日志类型名称相同的消息队列主题中，这能够使得发布端按照更加明确的自有连接方案发送日志信息到消息队列主题中。

4、在本发明实施例中，消息队列主题与日志类型的名称相同，有利于发布端根据日志信息所属日志类型发送到与该日志类型名称相同的消息队列主题中。如果第一连接方案中不存在与日志信息所属日志类型名称相同的消息队列主题，则创建一个与该日志类型名称相同的消息队列主题。采用这种与日志类型名称相同的消息队列主题创建方法简单易行，同时随着消息队列主题数量的不断累积，有利于提高发布端将产生的日志信息向对应的消息队列主题的发送速度。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制情况下，由语句“包括一〃····〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.基于消息队列的日志信息处理方法，其特征在于，包括：

在发布端创建第一配置文件，其中，所述第一配置文件保存有所述发布端与消息队列的第一连接方案，所述消息队列为在日志信息的传输过程中保存所述日志信息的容器，所述消息队列中包括至少一个消息队列主题，每个所述消息队列主题与日志信息所属日志类型的名称相同，并命名为日志处理类；

在订阅端创建第二配置文件，其中，所述第二配置文件保存有所述订阅端与所述消息队列的第二连接方案及所述日志类型与至少一个日志处理类的对应关系，每个所述日志处理类用于处理对应日志类型的日志信息；

读取所述第二连接方案，以使所述订阅端完成所述消息队列中每一个消息队列主题的订阅服务；

根据所述第一连接方案，将所述发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的所述消息队列主题中；

根据所述第二连接方案，使所述订阅端与所述消息队列连接，并控制所述订阅端对消息队列中的每一个消息队列主题进行监听；

当所述订阅端监听到所述消息队列主题中有日志信息传入时，根据所述对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个所述日志处理类对所述日志信息进行处理；

所述当所述订阅端监听到所述消息队列主题中有日志信息传入时，根据所述对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个所述日志处理类对所述日志信息进行处理，包括：

当所述订阅端监听到所述消息队列主题中有日志信息传入时，控制所述订阅端与所述消息队列通过回调接口连接；

控制所述订阅端通过回调接口获取该日志信息和该日志信息所在的消息队列主题；

根据该消息队列主题和所述第二配置文件中的所述对应关系，确定该日志信息的日志类型和该日志类型对应的日志处理类所在的存储全路径；

根据所述存储全路径和所述第二配置文件，确定每一个存储路径对应的日志处理类；

针对每一个日志处理类，通过反射的方式实例化该日志处理类，生成实例化日志处理类，其中，每个所述实例化日志处理类对应一个处理接口和处理方法；

控制所述订阅端通过所述处理接口调用所述实例化日志处理类，以使该实例化日志处理类根据所述处理方法对所述日志信息进行处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一连接方案，将所述发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的所述消息队列主题中，包括：

利用所述发布端判断所述第一连接方案是否为对应该日志信息所属日志类型的自有连接方案；

若是，则将所述日志信息按照该自有连接方案发送到与所述日志类型名称相同的消息队列主题中；

若不是，则将所述日志信息按照第一连接方案发送到与所述日志类型名称相同的消息队列主题中。

3.根据权利要求2所述的方法，其特征在于，在所述利用所述发布端判断所述第一连接方案是否为对应该日志信息所属日志类型的自有连接方案之后，进一步包括：

利用所述发布端判断所述第一连接方案中是否存在与所述日志信息所属日志类型名称相同的消息队列主题；

若没有，则创建一个与所述日志类型名称相同的消息队列主题。

4.基于消息队列的日志信息处理装置，其特征在于，包括：

创建模块，用于在发布端创建第一配置文件，其中，所述第一配置文件保存有所述发布端与消息队列的第一连接方案，所述消息队列为在日志信息的传输过程中保存所述日志信息的容器，所述消息队列中包括至少一个消息队列主题，每个所述消息队列主题与日志信息所属日志类型的名称相同；在订阅端创建第二配置文件，其中，所述第二配置文件保存有所述订阅端与所述消息队列的第二连接方案及所述日志类型与至少一个日志处理类的对应关系，每个所述日志处理类用于处理对应日志类型的日志信息；

订阅模块，用于读取所述创建模块创建的所述第二连接方案，以使所述订阅端完成所述消息队列中每一个消息队列主题的订阅服务；

发送模块，用于根据所述创建模块创建的所述第一连接方案，将所述发布端产生的日志信息发送到与该日志信息所属日志类型名称相同的所述消息队列主题中；

监听模块，用于根据所述创建模块创建的所述第二连接方法，使所述订阅端与所述消息队列连接，并控制所述订阅端对消息队列中的每一个消息队列主题进行监听；

处理模块，用于当所述监听模块控制所述订阅端监听到所述消息队列主题中有日志信息传入时，根据所述对应关系确定该日志信息对应的至少一个日志处理类，并利用每一个所述日志处理类对所述日志信息进行处理；

所述监听模块用于执行以下步骤：

当所述订阅端监听到所述消息队列主题中有日志信息传入时，控制所述订阅端与所述消息队列通过回调接口连接；

控制所述订阅端通过回调接口获取该日志信息和该日志信息所在的消息队列主题；

根据该消息队列主题和所述第二配置文件中的所述对应关系，确定该日志信息的日志类型和该日志类型对应的日志处理类所在的存储全路径；

根据所述存储全路径和所述第二配置文件，确定每一个存储路径对应的日志处理类；

针对每一个日志处理类，通过反射的方式实例化该日志处理类，生成实例化日志处理类，其中，每个所述实例化日志处理类对应一个处理接口和处理方法；

控制所述订阅端通过所述处理接口调用所述实例化日志处理类，以使该实例化日志处理类根据所述处理方法对所述日志信息进行处理。

5.根据权利要求4所述的装置，其特征在于，所述发送模块，用于执行以下步骤：

利用所述发布端判断所述第一连接方案是否为对应该日志信息所属日志类型的自有连接方案；

若是，则将所述日志信息按照该自有连接方案发送到与所述日志类型名称相同的消息队列主题中；

若不是，则将所述日志信息按照第一连接方案发送到与所述日志类型名称相同的消息队列主题中。

6.根据权利要求5所述的装置，其特征在于，所述发送模块，还用于执行以下步骤：

利用所述发布端判断所述第一连接方案中是否存在与所述日志信息所属日志类型名称相同的消息队列主题；

若没有，则创建一个与所述日志类型名称相同的消息队列主题。

7.基于消息队列的日志信息处理装置，其特征在于，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至3中任一项所述的方法。

8.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至3中任一项所述的方法。

Images