CN103559120A - 日志记录方法以及服务器 - Google Patents

Abstract

本发明提供了一种日志记录方法和日志记录服务器。该日志记录方法包括：使用跨平台通信协议从多个不同平台的服务接收针对登记日志的请求消息；将接收到的消息发布到消息队列中；从所述消息队列中读取消息；以及根据预定的配置策略对读取的消息进行处理以将消息中的日志数据记录到数据库中。本发明实施例提供了跨平台跨服务的日志记录服务，改进了操作性能和成本效率。

Description

日志记录方法以及服务器

技术领域

本发明一般地涉及计算机领域，具体地涉及日志记录方法和日志记录服务器。

背景技术

目前随着计算机技术的发展，一个大型系统通常包括多个服务，并且这些服务经常构建在不同的平台上。典型地，目前这种多服务多平台系统中的每个平台或服务的日志记录是各自进行的，每个平台或服务具有各自的数据库，各自实时地登记自己的运行日志。然而，逐个平台/服务查看日志文件非常不方便。而且，由于不同服务实时记录日志，经常存在并行处理的多个日志记录操作，给数据库带来了巨大负荷。系统容易因为过载而引起系统故障。此外，当增加新的服务时，系统需要增加新的日志数据库和对应的数据库操作机制。因此，当前的系统性能较低并且系统的开发和维护成本较大。

发明内容

本发明的目的在于提供一种改进的日志记录机制，其能够克服上述现有系统的至少部分缺陷。

为了实现上述目的，本发明提出可以将多个不同平台服务的日志都记录在一个日志记录服务器上。根据本发明实施例的日志记录服务器经由跨平台跨服务的统一接口接收登记日志记录请求，并且对这些请求统一进行调度处理。于是，在本发明实施例中，在一个服务器上就可以操作和查看所有不同平台服务的日志文件，而且当系统增加新的服务时不需要增加新的日志数据库和对应的数据库操作机制就能够向新添加的服务提供日志记录服务。于是，根据本发明实施例的日志记录服务器具有较高的操作效率和成本效率。

此外，根据本发明实施例的日志记录方案还可以通过设置优先级、启用多线程/线程池等措施来实现错峰处理和负载均衡，减少对数据库的操作压力，从而提高系统性能。

根据本发明的一个方面，提供了一种日志记录方法。所述方法可以包括：使用跨平台通信协议从多个不同平台的服务接收针对登记日志的请求消息；将接收到的消息发布到消息队列中；从所述消息队列中读取消息；以及根据预定的配置策略对读取的消息进行处理以将消息中的日志数据记录到数据库中。

在本发明的一些实施例中，所述跨平台通信协议可以是Thrift协议。

在本发明的一些实施例中，所述配置策略可以包括下述中的至少一个：立即处理、延时处理、分时段错峰处理、以及按优先级处理。

在本发明的一些实施例中，所述对读取的消息进行处理可以进一步包括：从消息中解析出操作类型，并且根据解析出的操作类型，建立与对应的动态链接库的连接；以及经由动态链接库将消息中包含的日志数据记录到对应的数据库中。

在本发明的一些实施例中，所述经由动态链接库将消息中的日志数据记录到对应的数据库中进一步包括：对消息进行解析，以获得消息中的日志数据；连接所述动态链接库对应的数据库；以及在所述数据库中记录所述消息中的日志数据。

根据本发明的第二方面，提供了一种日志记录服务器。所述日志记录服务器可以包括：接口单元、消息管理单元、消息处理单元、以及数据库。所述接口单元可以配置为使用跨平台通信协议从多个不同平台的服务接收针对登记日志的请求消息。所述消息管理单元可以包括：写消息单元、消息存储单元、读消息单元。写消息单元可以配置为将接收到的消息发布到消息队列中。所述消息存储单元可以配置为存储和维护消息队列。所述读消息单元可以配置为从所述消息队列中读取消息。所述消息处理单元可以配置为：根据预定的配置策略对读取的消息进行处理以将消息中的日志数据记录到数据库中。数据库可以配置为存储日志数据。

在本发明的一些实施例中，所述跨平台通信协议可以是Thrift协议，所述接口单元可以包括Thrift协议处理单元。

在本发明的一些实施例中，所述配置策略可以包括下述中的至少一个：立即处理、延时处理、分时段错峰处理、以及按优先级处理。

在本发明的一些实施例中，其中所述消息处理单元可以包括：路由单元和应用单元。

路由单元可以配置为从消息中解析出操作类型，并且根据该操作类型建立与对应的动态链接库的连接。应用单元可以配置为经由动态链接库将从消息解析出的日志数据记录到对应的数据库中。

在本发明的一些实施例中，所述应用单元可以包括动态链接库，所述动态链接库可以配置为：对消息进行解析以获得消息中的日志数据；连接所述动态链接库对应的数据库；以及在所述数据库中记录所述消息中的日志数据。

附图说明

通过下面结合附图说明本发明的优选实施例，将使本发明的上述及其它目的、特征和优点更加清楚，其中：

图1示出了根据本发明的一个实施例的日志记录服务器的示意框图；

图2示出了根据本发明的一个实施例的日记记录方法的流程图；

图3示出了根据本发明的另一实施例的日志记录服务器的示意框图；以及

图4示出了根据本发明的另一实施例的日记记录方法的流程图。

在附图中，相似的标号表示相似的单元。

具体实施方式

现在将参考附图来详细描述本发明，附图中示出了本发明的说明性实施例，以使得本领域技术人员能够实现本发明。应该注意：以下附图和示例不意味着将本发明的范围限制为单一实施例，相反通过互换和组合不同实施例的一些或全部所述或所示元素形成其他实施例也是可能的。此外，在可以使用已知组件来部分或完全实现本发明的特定元素的情况下，将仅描述这些已知组件中为了理解本发明所必需的那部分组件，且将省略对这些已知组件中其他部分的详细描述，以使得本发明更突出。除非本文中另行指出，否则本领域技术人员应该理解：尽管本发明的一些实施例描述为用软件实形式现，但是本发明不受限于此，而是也可以用硬件、软件和硬件的组合来实现，且反之亦然。除非本文中另行明确声明，否则在本说明书中，不应将示出了单一组件的实施例视为是限制性的，而是本发明意在包含包括多个相同组件在内的其他实施例，且反之亦然。此外，本发明包含本文中作为示意所引用的已知组件的当前和将来开发的等价物。

如上所述，本发明提出可以将多个不同平台服务的日志都记录在一个日志记录服务器上。于是，在一个服务器上就可以记录和操作所有不同平台的服务的日志。

应该理解，日志记录服务是系统的一个重要功能，其用于记录系统的活动记录，如何时、何地、何人做了什么或系统在什么时候有什么行为。日志记录可以用于解决系统故障、网络服务问题等等。目前，系统中可能存在众多需要进行日志记录的服务。在本文中，将系统中的需要日志记录服务的各个服务简称为服务，除非另有明示其通常不包括日志记录服务。在本文中，还将系统中的需要日志记录服务的各个服务称为“服务端”，其与日志记录服务器端构成通信的两端。

图1示出了根据本发明的一个实施例的日志记录服务器100的示意框图。如图1所示，日志记录服务器100可以包括：接口单元110、消息管理单元120、消息处理单元130、以及数据库140。

接口单元110可以配置为使用跨平台通信协议从多个不同平台的服务接收针对登记日志的请求消息。

为了便于理解，在图1中还示出了与日志服务器100通信的各种服务。这些服务是需要日志记录的发起者。需要记录日志的不同服务可以是使用相同或不同平台的服务。作为示例，在图中示出了使用Java实现的服务200-1，使用C/C++实现的服务200-2，使用Python实现的服务200-3等等。但是应该理解，尽管图1中示出了三个服务示例，但是在本发明实施例中日志记录服务器100还可以从更多或更少的需要日志记录的服务接收针对登记日志的请求消息。例如在另一实施例中，记录服务器100可以与使用C/C++平台的若干服务以及使用Java实现的不止一个服务等等进行通信。

如图1中所示，在本发明的方案中，可以在各个服务（如服务200-1、200-2、200-3）端建立跨平台通讯协议（如Thrift）客户端。于是，在服务端可以使用Json等协议封装要登记的日志数据，然后使用Thrift接口将数据发送给日志记录服务器端。

对应的，日志记录服务器100可以使用跨平台协议（如Thrift）建立日志记录服务。例如，接口单元110可以使用跨平台协议协议从不同平台的多个服务（如200-1、200-2和200-3）接收针对登记日志的请求消息。优选地，接口单元110可使用多线程或线程池的方式从不同平台的多个服务接收数据。应该理解，本发明不限于Thrift协议，也可以使用现有的或未来开发的其他跨平台通信协议。

如图所示，消息管理单元120可以包括：写消息单元122、消息存储单元124、读消息单元126。写消息单元122可以配置为将接收到的消息发布到消息队列中。消息存储单元124可以配置为存储和维护消息队列。读消息单元126可以配置为从消息队列中读取消息。

在一个示例中，消息管理单元120可以使用消息队列（如Redis）发布者/订阅者设计模式。写消息单元122可以创建写消息队列线程池。当日志记录服务器100通过接口单元110接收到针对日志记录的请求消息时，可以调用写消息队列线程将此请求消息发布到消息队列中，同时该消息队列通知订阅此消息队列的订阅者来获取此消息数据。读消息单元126可以创建订阅消息队列的读消息队列线程池。当收到发布消息通知时，启动读消息队列线程来处理此消息。该读消息队列线程把消息发送到消息处理单元130对消息进行处理。

消息处理单元130可以配置为：根据预定的配置策略132对读取的消息进行处理以将消息中的日志数据记录到数据库中。消息处理单元130可以通过加载配置策略文件来配置处理消息的配置策略。该配置策略可以包括立即处理、延时处理、分时段错峰处理、以及按优先级处理等等，以便均衡数据库的负载，防止过载。

在一些实施例中，消息处理单元130可以包括路由单元和应用单元。路由单元可以配置为从消息中解析出操作类型，并且根据所述操作类型将消息分发给对应的应用单元。应用单元可以配置为经由动态链接库将从消息中解析出的日志数据记录到对应的数据库中。

路由单元（也可称为数据分发路由层）可以使用Plugin Framework（插件框架）的设计模式。在该模式下，可以把日志记录处理的业务流程（包括使用例如Json协议解析消息数据、执行数据库连接、执行数据信息记录等等操作）编译成动态链接库（.so文件）。路由单元加载动态链接库，动态连接库将自己的功能类型配置给路由单元。路由单元使用此功能类型与动态连接库建立对应关系。这样，路由单元可以实现动态数据转发。

应用单元（也可称为应用层）包括上述动态链接库（即业务逻辑处理层）。该动态链接库可以实现以下操作：对消息进行解析以获得消息中的日志数据；连接对应的数据库；以及在数据库中记录从消息中解析出的日志数据等等。本领域技术人员容易理解，解析消息使用的协议与服务端封装数据的协议相一致。例如在服务端使用JSON协议封装数据的情况下，动态链接库应该使用JSON协议来解析数据。

在本发明的实施例中，可以存在单个应用单元，也可以存在多个应用单元。不同的应用单元与日志记录的不同操作类型相关联。所述操作类型例如可以包括：插入、更新以及删除等等。应该理解，尽管本发明实施例主要描述了日志记录功能，但是在服务器100中还可以通过添加不同的应用层来执行更多的业务处理。

数据库140配置为存储日志数据。数据库140可以存储在各种存储设备上，包括但不限于磁存储设备（例如硬盘、软盘、磁带等等）、光盘（例如，压缩盘（CD）、数字多功能盘（DVD）等等）、智能卡、以及闪存设备（例如，卡、带等等）。尽管在图中仅示出一个数据库，但是本领域技术人员应该理解，本发明不限于此，可以存在不止一个数据库，并且这些数据库可以位于单个物理设备上，或者可以分布在多个物理设备上。

根据本发明实施例的日志记录服务器100可以提供多平台多服务统一接口的日志记录服务。日志记录服务器100可以通过跨平台跨服务的统一接口接收登记日志请求，可以设置优先级、延时等操作配置，同步或异步的对数据进行处理，并且可以启动多线程/线程池并发处理，降低对数据库的操作压力。

图2示出了根据本发明的一个实施例的日记记录方法200的流程图。方法200可以由图1的日志记录服务器100来实现。

如图所示，方法200开始于步骤S210。在步骤S210中，日志记录服务器100使用跨平台通信协议从多个不同平台的服务（例如，服务200-1、200-2、200-3等）接收针对登记日志的请求消息。如上所述，该跨平台通信协议可以是Thrift协议，或者可以是现有的或未来开发的其他跨平台通信协议。

在步骤S220中，可以将接收到的消息发布到消息队列中。在步骤S230中可以从消息队列中读取消息。日志记录服务器100可以使用消息队列（如Redis）发布者/订阅者设计模式来实现步骤S220和S230。通过这种消息队列发布者/订阅者设计模式，可以在消息队列中缓存消息，降低对数据库的瞬时操作压力。

在步骤S240中，可以根据预定的配置策略对步骤S230中读取的消息进行处理以将消息中的日志数据记录到数据库中。该配置策略可以包括立即处理、延时处理、分时段错峰处理、以及按优先级处理等等，以便均衡数据库的负载，防止过载。在按优先级处理的情况下，可以从消息中解析出优先级字段的值，然后根据该优先级值的顺序来执行对消息的处理。对消息的处理可以包括：从消息中解析出操作类型，并且根据解析出的操作类型，建立与对应的动态链接库的连接；然后，经由动态链接库将消息中包含的日志数据记录到对应的数据库中。该动态链接库可以实现以下操作：对消息进行解析以获得消息中的日志数据；连接对应的数据库；以及在数据库中记录从消息中解析出的日志数据等等。

在本发明实施例中，方法200的各个步骤可以使用多线程或线程池方式来执行。

图3示出了根据本发明的另一实施例的Thrift日志记录服务器300的示意框图。如图3所示，Thrift日志记录服务器300包括：Thrift协议处理单元310、消息管理单元320、消息处理单元330、以及数据库340。

Thrift协议处理单元310可以视为图1实施例中的接口单元110的具体实现示例。该Thrift协议处理单元310配置为使用Thrift协议从多个不同平台的服务接收针对登记日志的请求消息。如图所示，Thrift协议处理单元310可以从使用Java实现的服务200’-1，使用C/C++实现的服务200’-2，使用Python实现的服务200’-3等等接收针对登记日志的请求消息。其中，在服务端200’-1、200’-2、200’-3需要安装Thrift客户端，用于通过Thrift接口向Thrift日志记录服务器端300发送针对日志记录的请求消息。

消息处理单元330可以视为图1实施例中的消息处理单元130的具体实现示例。消息处理单元330可以配置为：根据预定的配置策略332对读取的消息进行处理以将消息中的日志数据记录到数据库中。消息处理单元330包括配置策略332、路由单元334以及多个应用单元336-1、336-2、336-3。应用单元336-1、336-2和336-3与不同的操作类型相关联，例如分别与插入、更新、删除相关联。路由单元334加载动态链接库，动态连接库将应用336-1、336-2、336-3的功能类型配置给路由单元334。应该理解，尽管图中示出了三个应用单元，但是本发明不限于此，可以存在更多或者更少的应用单元。

路由单元334配置为从消息中解析出操作类型，并且根据操作类型将消息分发给对应的应用单元。例如，当解析结果是消息中包括的操作类型字段的值为“insert（插入）”时，将该消息分发给应用单元336-1。应用单元336-1通过动态链接库A执行数据解析、数据库连接以及数据信息记录等功能，以将日志数据插入数据库340。当解析结果是消息中包括的操作类型字段的值为“update（更新）”时，将该消息分发给应用单元336-2。应用单元336-2通过动态链接库B执行数据解析、数据库连接以及数据信息记录等功能，以更新数据库340中的对应数据。例如，当解析结果是消息中包括的操作类型字段的值为“delete（删除）”时，将该消息分发给应用单元336-3。应用单元336-3通过动态链接库C执行数据解析、数据库连接以及数据信息记录等功能，以删除数据库340中的对应数据。

消息管理单元320和数据库340的结构和功能与图1中的消息管理单元120和数据库140的结构和功能类似，在此不再赘述。

图4示出了根据本发明的另一实施例的日记记录方法400的流程图。方法400可以由图3的日志记录服务器300来实现。

如图所示，方法400开始于步骤S410。在步骤S410中，日志记录服务器300使用Thrift协议从多个不同平台的服务（例如，服务200’-1、200’-2、200’-3等）接收针对登记日志的请求消息。

在步骤S420中，使用消息队列发布者/订阅者设计模式将接收到的消息发布到消息队列中。

在步骤S430中使用消息队列发布者/订阅者设计模式从消息队列中读取消息。

在步骤S440中，根据预定的配置策略，从读取的消息中解析出操作类型，并且根据解析出的操作类型建立与对应的动态链接库的链接。该配置策略可以包括立即处理、延时处理、分时段错峰处理、以及按优先级处理等等，以便均衡数据库的负载，防止过载。在按优先级处理的情况下，可以从消息中解析出优先级字段的值，然后根据该优先级值的顺序来执行对消息的处理。根据消息中包括的操作类型的值为“insert”、“update”或“delete”，可以将该消息相应地链接到动态链接库A、动态链接库B或动态链接库C。

在步骤S450中，经由动态链接库（如动态链接库A、B或C）将消息中包含的日志数据记录到对应的数据库中。例如，通过所连接的动态链接库A将消息中的日志数据插入数据库340，或者通过所连接的动态链接库B更新数据库340中的对应日志数据，或者通过所连接的动态链接库C删除数据库340中的对应数据。然后方法400结束。

上文已经结合优选实施例对本发明进行了描述。本领域技术人员可以理解，上面示出的方法和设备仅是示例性的。本发明的方法并不局限于上面示出的步骤和顺序。本发明的移动终端和服务器可以包括比示出的部件更多或更少的部件。本领域技术人员根据所示实施例的教导可以进行许多变化和修改。

本发明可以实现诸多优点。本发明可以将多个不同平台服务的日志都记录在一个日志记录服务器上，在一个服务器上就可以便利地操作和查看所有不同平台服务的日志文件，而且当系统增加新的服务时不需要添加新的日志数据库和对应的数据库操作模块就可以向新服务提供日志记录服务。根据本发明实施例的日志记录服务因此具有较高的操作效率和成本效率。

本领域技术人员应该理解，尽管通过具体实施例描述了本发明，但是本发明的范围不限于这些具体实施例。本发明的范围由所附权利要求及其任何等同含义限定。

Claims (10)

1.一种日志记录方法，包括：

使用跨平台通信协议从多个不同平台的服务接收针对登记日志的请求消息；

将接收到的消息发布到消息队列中；

从所述消息队列中读取消息；以及

根据预定的配置策略对读取的消息进行处理以将消息中的日志数据记录到数据库中。

2.根据权利要求1所述的方法，其中：

所述跨平台通信协议包括Thrift协议。

3.根据权利要求1或2所述的方法，其中：

所述配置策略包括下述中的至少一个：立即处理、延时处理、分时段错峰处理、以及按优先级处理。

4.根据权利要求1或2所述的方法，其中所述对读取的消息进行处理进一步包括：

从消息中解析出操作类型，并且根据解析出的操作类型，建立与对应的动态链接库的连接；以及

经由动态链接库将消息中包含的日志数据记录到对应的数据库中。

5.根据权利要求4所述的方法，其中，所述经由动态链接库将消息中的日志数据记录到对应的数据库中进一步包括：

对消息进行解析，以获得消息中的日志数据；

连接所述动态链接库对应的数据库；以及

在所述数据库中记录所述消息中的日志数据。

6.一种日志记录服务器，包括：

接口单元，配置为使用跨平台通信协议从多个不同平台的服务接收针对登记日志的请求消息；

消息管理单元，包括：

写消息单元，配置为将接收到的消息发布到消息队列中；

消息存储单元，配置为存储和维护消息队列；

读消息单元，配置为从所述消息队列中读取消息；

消息处理单元，配置为：根据预定的配置策略对读取的消息进行处理以将消息中的日志数据记录到数据库中；以及

数据库，配置为存储日志数据。

7.根据权利要求6所述的服务器，其中，所述跨平台通信协议包括Thrift协议，所述接口单元包括Thrift协议处理单元。

8.根据权利要求6或7所述的服务器，其中：

所述配置策略包括下述中的至少一个：立即处理、延时处理、分时段错峰处理、以及按优先级处理。

9.根据权利要求6或7所述的服务器，其中所述消息处理单元包括：

路由单元，配置为从消息中解析出操作类型，并且根据所述操作类型将消息分发给对应的应用单元；以及

应用单元，配置为经由动态链接库将从消息解析出的日志数据记录到对应的数据库中。

10.根据权利要求9所述的服务器，其中，所述应用单元包括动态链接库，所述动态链接库配置为：

对消息进行解析以获得消息中的日志数据；

连接所述动态链接库对应的数据库；以及

在所述数据库中记录所述消息中的日志数据。

Images