CN107402863B - 一种用于通过日志系统处理业务系统的日志的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种用于通过日志系统处理业务系统的日志的方法与设备。具体地，获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统；对所述日志信息进行过滤处理；对经过滤处理的所述日志信息进行聚合处理；输出经聚合处理的所述日志信息。与现有技术相比，本申请中包含于业务系统中的日志系统获取业务系统输出的日志信息并进行过滤处理，进而对经过滤的日志信息进行聚合处理，最终输出经聚合处理的所述日志信息，从而实现在业务系统中对输出日志进行的实时聚合分析。

Description

一种用于通过日志系统处理业务系统的日志的方法与设备

技术领域

本申请涉及计算机领域，尤其涉及一种用于通过日志系统处理业务系统的日志的技术。

背景技术

随着大数据时代的来临，分布式计算环境应用广泛，业务系统一般通过日志系统分析和解决问题，但是随着业务系统复杂度的升高，通过关键词或者等级划分的日志的过滤管理方法往往会导致重要的信息点被淹没在无效的日志中，且大量的日志分析以及输出会对中央处理器、存储介质等造成不可预测的压力，进而影响到共用该中央处理器以及存储介质的业务系统的关键性能指标。因此，现有技术会采用增加中央处理器、存储介质等硬件性能或将日志系统和分析聚合功能模块分离在其它硬件上进行分析的方法进行日志分析的方式对业务系统的日志进行分析。

然而，现有技术借助外部系统进行日志分析的方法，因需要将日志转送外部系统因此存在一定的延时缺陷，且外部系统的部署较为复杂，无法胜任快速分析问题的需求，在本系统增加硬件性能则会导致成本上升，且在硬件负担较小时会造成资源浪费。

发明内容

本申请的一个目的是提供一种用于通过日志系统处理业务系统的日志的方法与设备，用以解决在业务系统中合理利用资源对日志实时分析的问题。

为实现上述目的，本申请提供了一种用于通过日志系统处理业务系统的日志的方法，该方法解决了在业务系统中合理利用资源对日志实时分析的问题，该方法包括：

获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业

务系统；

对所述日志信息进行过滤处理；

对经过滤处理的所述日志信息进行聚合处理；

输出经聚合处理的所述日志信息。

为实现上述目的，本申请还提供了一种用于通过日志系统处理业务系统的日志的设备，该设备解决了在业务系统中合理利用资源对日志实时分析的问题，该设备包括：

获取装置，用于获取所述业务系统输出的日志信息，其中，所述日志系

统包含于所述业务系统；

过滤装置，用于对所述日志信息进行过滤处理；

聚合装置，用于对经过滤处理的所述日志信息进行聚合处理；

输出装置，用于输出经聚合处理的所述日志信息。

为实现上述目的，本申请还提供了一种用于通过日志系统处理业务系统的日志的设备，包括：

处理器；

以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统；

对所述日志信息进行过滤处理；

对经过滤处理的所述日志信息进行聚合处理；

输出经聚合处理的所述日志信息。

与现有技术相比，本申请中包含于业务系统中的日志系统获取业务系统输出的日志信息并进行过滤处理，进而对经过滤的日志信息进行聚合处理，最终输出经聚合处理的所述日志信息，从而实现在业务系统中对输出日志进行的实时聚合分析。进一步地，部署压力探针调整聚合计算和日志输出，支持用户在不干扰业务系统的情况下对日志系统进行调节，提升了日志系统的灵活性，达到了实时分析日志、灵活利用资源的目的

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种用于通过日志系统处理业务系统的日志的方法流程图；

图2示出根据本申请一个优选实施例的步骤S3的方法流程图；

图3示出根据本申请另一个优选实施例的步骤S3的方法流程图；

图4示出根据本申请另一个优选实施例的步骤S4的方法流程图；

图5示出根据本申请另一个方面的一种用于通过日志系统处理业务系统的日志的设备示意图；

图6示出根据本申请另一个优选实施例的聚合装置的设备示意图；

图7示出根据本申请另一个优选实施例的聚合装置的设备示意图；

图8示出根据本申请另一个优选实施例的输出装置的设备示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

图1示出根据本申请一个方面的一种用于通过日志系统处理业务系统的日志的方法流程图。所述方法包括步骤S1、步骤S2、步骤S3以及步骤S4。

其中，在步骤S1中设备1获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统；在步骤S2中设备1对所述日志信息进行过滤处理；在步骤S3中设备1对经过滤处理的所述日志信息进行聚合处理；在步骤S4中设备1输出经聚合处理的所述日志信息。

具体地，在步骤S1中设备1获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统。其中，所述业务系统是指产生日志并需要进行日志分析的业务程序或业务进程等进行业务运行的系统。所述日志信息是指所述业务系统所产生的需要分析日志以及日志相关的在分析时可能用的其它信息。所述日志系统是指对日志进行过滤以及聚合计算分析等日志处理操作的系统。在此，所述日志系统包含于所述业务系统，即所述日志系统内嵌于业务程序中，例如，将日志系统作为一个库函数写入业务系统中，当需要使用日志系统时以调用函数的方式对日志系统进行调用，从而启动日志系统的相关功能。获取所述业务系统输出的日志信息是指日志系统在业务程序的启动后，业务程序调用日志系统将产生的日志信息进行输入，或日志系统在业务程序产生日志信息后对日志信息主动进行获取，从而在第一时间对日志信息进行后续处理工作，因为日志系统包含于业务系统，因此可以实时获取日志信息进行处理，保障了日志处理的实时性。

本领域技术人员应能理解上述日志系统包含于业务系统的方式，及日志系统获取日志信息的方式仅为举例，其他现有的或今后可能出现的日志系统包含于业务系统的方式，及日志系统获取日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

接着，在步骤S2中设备1对所述日志信息进行过滤处理。其中，所述过滤处理是指日志系统在获取业务系统所输出的日志信息后对根据一定的预先设置条件对日志信息进行过滤，从而筛选出分析日志信息时所需要的相关信息，其中，过滤条件包括但不限于根据时间过滤、根据日志源过滤以及根据日志级别过滤，例如，根据时间过滤，只打印分钟内前30秒的日志；根据日志源过滤，只打印内部某个模块的日志；根据日志级别过滤，只打印ERROR级别以上的日志。通过设置条件进行过滤，使得后续进行聚合分析的日志信息数据更加明确有针对性。

本领域技术人员应能理解上述过滤日志信息的方式仅为举例，其他现有的或今后可能出现的过滤日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

接着，在步骤S3中设备1对经过滤处理的所述日志信息进行聚合处理。其中所述聚合处理是指通过聚合算法对日志信息进行相应的处理，聚合算法例如，针对日志信息中的关键词及其值的与、或、平均值、最大、最小、数量统计等，但不限于此。将过滤处理后的日志信息进行聚合处理即对日志进行了实时分析，从而获得日志信息的实时分析结果。优选地，对于日志信息聚合计算包括但不限于一种类型，可并发进行多种聚合算法分析，更优选地，根据用户设置对聚合算法进行选择，例如用户配置只针对A模块的日志打印log最多的前5条日志。因为日志系统在业务系统中直接获取日志并过滤处理无需转存至别的系统或硬件介质进行聚合分析，故而通过聚合处理将获得日志信息的实时分析结果，避免了因转至其他系统导致的延时。

本领域技术人员应能理解上述聚合处理日志信息的方式仅为举例，其他现有的或今后可能出现的聚合处理日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

接着，在步骤S4中设备1输出经聚合处理的所述日志信息。是指在聚合处理完成后的日志信息通过I/O也就是输入输出端口流控模块输出到存储介质或其它用户可查阅到的单元，例如输出至磁盘以供用户查看。通过将所述日志信息输出，可将日志实时分析结果反馈给用户，从而及时查阅、发现、解决相关的问题。

本领域技术人员应能理解上述输出日志信息的方式仅为举例，其他现有的或今后可能出现的输出日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

图2示出根据本申请一个优选实施例的步骤S3的方法流程图。所述步骤S3包括步骤S31以及步骤S32。

其中，在步骤S31中设备1根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器；在步骤S32中设备1通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。

具体地，在步骤S31中设备1根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器。其中，所述聚合容器是指包含了可对日志信息进行分析的聚合算法的管理模块，每种聚合容器可提供固定的聚合算法对日志信息进行聚合处理。所述设定聚合容器配置信息是指根据用户或系统初始设置进行配置的对日志信息进行聚合处理的方法，即根据设定集合容器配置信息为经过过滤处理后的日志信息选择其所进行处理的聚合容器的种类，其中，不同种类的聚合容器包含了不同的一种或多种聚合算法组合，例如根据用户指令配置只针对A模块的日志打印日志内容最多的前五条日志信息，则日志信息就放入有相应聚合处理功能的聚合容器中进行处理。将日志信息放入对应的聚合容器进行处理，使得日志信息的聚合处理可以根据用户意愿或系统设置的希望方向进行相应的聚合分析计算，从而得出更准确的聚合处理结果。

优选地，对于日志系统设置控制层模块，控制层模块主要对日志系统进行日志信息的控制操作，例如，在业务系统产生日志信息后调用控制层模块将日志信息输入日志系统，获取日志信息后控制层模块对日志信息进行过滤，后控制系统根据设定聚合容器配置信息将经过过滤处理后的日志信息放入对应的聚合容器中进行聚合处理，控制层模块的设置使得日志系统的运转得到良好的调控。

本领域技术人员应能理解上述根据设定聚合容器配置信息确定日志信息处理对应的聚合容器的方式仅为举例，其他现有的或今后可能出现的根据设定聚合容器配置信息确定日志信息处理对应的聚合容器的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

接着，在步骤S32中设备1通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。其中，聚合分析单元是指包含于聚合容器中的聚合算法，不同的聚合分析单元对应不同的聚合算法。在此，并行聚合处理是指通过多个聚合容器中的一个或多个聚合分析单元也就是聚合算法的组合对日志信息进行相应的聚合处理，例如，不同的聚合容器或算法属于不同的线程，同时调用对应的线程即可并发进行聚合处理。每个容器提供固定的聚合分析单元对日志信息进行聚合处理，这些聚合分析单元通过并发的方式进行聚合处理的方法包括但不限于：对相同源或不同源日志信息进行计算，包括关联合并、特殊规则的稀疏、去重、找出符合特定规则的排名前几的日志等，其中，不同源的日志信息是指在一个业务系统中会分成不同粒度的模块，这些模块在内嵌过程中日志系统会针对这些模块提供标识，稀疏是指比如规定某个日志计划每秒输出1000条日志信息，但是实际产生的日志信息量为每秒输出10000条日志信息，这个时候可以根据特殊规则稀疏来丢掉9/10的日志信息。优选地，当日志系统设置控制层模块时，可由控制层模块将经过过滤处理后的日志信息放入对应的多个聚合容器中进行并发的聚合处理。通过不同聚合分析单元以并发的方式聚合处理日志信息，使得日志聚合处理的方式多样化，日志分析结果更加准确和丰富。

本领域技术人员应能理解上述实现多个聚合容器并发聚合处理日志信息的方式仅为举例，其他现有的或今后可能出现的实现多个聚合容器并发聚合处理日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

优选地，所述设备1还包括步骤S5(未示出)，其中，在步骤S5中设备1通过所述日志系统中的压力探针获取所述业务系统对应的资源压力信息，其中，所述压力探针随所述业务系统启动被启动。其中，所述压力探针是指用于获取业务系统中存储介质、中央处理器等硬件运行相关参数信息的功能模块，日志或业务系统通过分析压力探针所获取的资源压力信息可获得业务系统运行时的硬件压力情况。例如，压力探针定时获取磁盘、CPU中央处理器的压力情况，并给予日志系统反馈。在此，所述业务系统对应的资源压力信息为存储介质、中央处理器等会在日志系统运行时所使用的模块性能信息，包括但不限于磁盘中的每秒请求数量，磁盘队列长度和磁盘的请求响应时间，中央处理器中的内核态使用率，用户态使用率。进一步地，在业务系统启动后直接调用压力探针模块，从而对业务系统对应的资源压力进行实时监测，使得业务系统运行尤其在日志系统运行后的资源压力被实时获取。

优选地，为便于日志系统在内部各模块以及与外部进行通讯，可设置通讯层，提供远程通讯接口，在业务程序启动后，日志系统的控制层模块即发送监听命令至通讯层，从而通过通讯层传递监听命令至压力探针从而定期监听业务系统与日志系统所用存储介质和中央处理器等共用模块的资源压力信息并反馈至控制层模块，其中，定期监听压力信息的时间可由用户设置或系统进行初始设置。

通过压力探针可实时获取业务系统对应的资源压力信息，从而检测到日志系统在运行中对资源运行的影响，便于进一步进行分析和基于资源压力信息对日志系统或业务系统的运行进行相应调整。

本领域技术人员应能理解上述通过压力探针获取压力信息的方式仅为举例，其他现有的或今后可能出现的通过压力探针获取压力信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

进一步地，基于步骤S6，所述步骤S3以及所述步骤S4可根据所述压力探针所探测的所述业务系统对应的资源压力信息对日志的聚合分析以及输出过程进行调节，具体如图3以及图4所示。

图3示出根据本申请另一个优选实施例的步骤S3的方法流程图。所述步骤S3中包括步骤S33以及步骤S34。

其中，在步骤S33中设备1根据所述业务系统对应的资源压力信息确定日志聚合控制参数；在步骤S34中设备1根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。

具体地，在步骤S33中设备1根据所述业务系统对应的资源压力信息确定日志聚合控制参数。其中，所述日志聚合控制参数是指会在聚合处理运行时影响业务系统对应的资源压力的相关参数，包括但不限于计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度以及粒度。当所述日志聚合控制参数变大或变小时，业务系统对应的资源压力会随之改变。因此，当所获取的业务系统对应的资源压力信息所反映的业务系统对应资源压力变大时，可对资源压力信息进行分析，并确定相应的需要调节的日志聚合控制参数的值，从而减缓资源压力，例如，设置计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度以及粒度等参数对应的调节阈值，对资源压力信息如中央处理器内核态使用率设置上下限阈值，当其上升至阈值以上，则代表业务系统资源压力较大，则将日志聚合控制参数如聚合容器的数量下调。反之，当所获取的业务系统对应的资源压力信息所反映的业务系统对应资源压力变小时，例如系统压力不大但是日志信息输出流量陡增的情况下，可对资源压力信息进行分析，并确定相应的需要调节的日志聚合控制参数的值，从而更好利用空闲资源，保证激增的日志信息被有效聚合。优选地，当资源压力需要调节时，相关调节信息可反馈至日志系统控制层模块，由控制层模块对所述日志聚合控制参数进行调节，同时设置集合分析算法管理器对聚合容器进行管理，提供聚合容器并接受控制层模块发送的日志聚合控制参数的调节指令对聚合处理过程进行调节，从而减少对中央处理器的消耗，例如，对相同关键词的日志进行不同比例的值的合并，对相同值的日志进行特定的排序输出，能够输出符合特定规则的排名前几的类型的日志等。

通过确定日志聚合控制参数并适应性根据资源压力信息对日志聚合控制参数进行调节，在资源压力过大时适当减少日志系统的操作，在资源空闲时则充分利用资源进行日志系统的相应计算和操作，使得业务系统对应的资源得到灵活利用。

接着，在步骤S34中设备1根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。即在根据业务系统对应的资源压力对日志聚合控制参数进行调节后，日志系统根据调节后的日志聚合控制参数，例如计算频率、算法复杂度、聚合容器的数量等，对日志信息进行聚合处理，使得聚合处理减少或增大，从而缓解资源压力或利用空闲资源的目的。

本领域技术人员应能理解上述通过确定日志聚合控制参数从而调节业务系统对应资源压力的方式仅为举例，其他现有的或今后可能出现的通过确定日志聚合控制参数从而调节业务系统对应资源压力的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

图4示出根据本申请另一个优选实施例的步骤S4的方法流程图。所述步骤S4中包括步骤S41以及步骤S42。

其中，在步骤S41中设备1根据所述业务系统对应的资源压力信息确定日志输出控制参数；在步骤S42中设备1根据所述日志输出控制参数输出经聚合处理的所述日志信息。

具体地，在步骤S41中设备1根据所述业务系统对应的资源压力信息确定日志输出控制参数。其中，所述日志输出控制参数是指会在日志输出时影响业务系统对应的资源压力的相关参数，包括但不限于输出至相应存储或查询模块的方式，以及日志聚合处理的速度和粒度等。当业务系统对应的资源压力信息反应的资源压力过大或过小，则确定需要调节的日志输出控制参数并进行调节。例如，磁盘每秒请求数量，磁盘队列长度，磁盘请求响应时间等参数上升，则代表资源压力较大，尤其是I/O过大，据此确定调节I/O读写的日志输出控制参数是改变日志输出方式，进而更改日志输出方式为延迟、批量、压缩或稀疏，其中，稀疏是指比如规定某个日志计划每秒输出1K条日志，但是实际产生的日志量为每秒输出10K条日志，这个时候可以根据特殊规则稀疏来丢掉9/10的日志。通过确定日志输出参数，使得日志输出可以灵活调节，日志输出对应的资源被灵活利用，避免日志系统运行压力过大引发的资源被占用的情况。

接着，在步骤S42中设备1根据所述日志输出控制参数输出经聚合处理的所述日志信息。即根据所确定的日志输出控制参数对其进行调节，并根据调节后的日志输出控制参数进行日志信息的输出，接上文举例，即采用延迟、批量、压缩或稀疏的方式进行日志输出，从而减小I/O读写压力。优选地，在日志系统中设置I/O流控模块，在调节日志输出控制参数时控制层模块将调节信息发送至I/O流控模块，从而通过I/O流控模块对磁盘的输出频率进行自动调节，从而减少对I/O存储介质的消耗。

本领域技术人员应能理解上述通过确定日志输出控制参数从而调节业务系统对应资源压力的方式仅为举例，其他现有的或今后可能出现的通过确定日志输出控制参数从而调节业务系统对应资源压力的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

优选地，所述设备1还包括步骤S6(未示出)，其中，在步骤S6中设备1在所述业务系统运行期间，获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志系统的日志处理参数。其中，所述用户提交的调整指令信息是指用户通过外部通讯接口对日志系统的相关参数进行调节的指令。所述日志处理参数是指会对日志系统的运行产生影响的相关参数。在此，用户提交调整指令信息时业务系统仍在正常运行，提交调整指令信息的途径例如在日志系统设置控制层模块，将控制层模块写成业务系统可调用的库函数形式，业务系统通过调用控制层模块，对日志系统中的日志处理参数，进而对各功能模块进行控制和调节。通过接受用户的调整指令信息并更新对应的日志处理参数，满足用户对不中断业务系统调整日志处理参数的需求。

本领域技术人员应能理解上述获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志系统的日志处理参数的方式仅为举例，其他现有的或今后可能出现的获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志系统的日志处理参数的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

更优选地，所述日志处理参数包括以下至少任一项：用于日志过滤处理的日志过滤控制参数；用于日志聚合处理的日志聚合控制参数；用于日志输出处理的日志输出控制参数。其中，所述用于日志过滤处理的日志过滤控制参数例如日志的过滤条件，包括但不限于根据时间过滤，根据日志源过滤，根据日志级别过滤；用于日志聚合处理的日志聚合控制参数例如聚合分析算法，包括但不限于上文所有出现的关于聚合分析算法的举例；用于日志输出处理的日志输出控制参数例如相关资源压力信息的监控阈值，包括但不限于阈值的种类为支持int、double、bool、string。

图5示出根据本申请另一个方面的一种用于通过日志系统处理业务系统的日志的设备示意图。所述设备1包括获取装置11、过滤装置12、聚合装置13以及输出装置14。

其中，所述设备1中获取装置11获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统；过滤装置12对所述日志信息进行过滤处理；聚合装置13对经过滤处理的所述日志信息进行聚合处理；输出装置14输出经聚合处理的所述日志信息。

具体地，获取装置11获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统。其中，所述业务系统是指产生日志并需要进行日志分析的业务程序或业务进程等进行业务运行的系统。所述日志信息是指所述业务系统所产生的需要分析日志以及日志相关的在分析时可能用的其它信息。所述日志系统是指对日志进行过滤以及聚合计算分析等日志处理操作的系统。在此，所述日志系统包含于所述业务系统，即所述日志系统内嵌于业务程序中，例如，将日志系统作为一个库函数写入业务系统中，当需要使用日志系统时以调用函数的方式对日志系统进行调用，从而启动日志系统的相关功能。获取所述业务系统输出的日志信息是指日志系统在业务程序的启动后，业务程序调用日志系统将产生的日志信息进行输入，或日志系统在业务程序产生日志信息后对日志信息主动进行获取，从而在第一时间对日志信息进行后续处理工作，因为日志系统包含于业务系统，因此可以实时获取日志信息进行处理，保障了日志处理的实时性。

本领域技术人员应能理解上述日志系统包含于业务系统的方式，及日志系统获取日志信息的方式仅为举例，其他现有的或今后可能出现的日志系统包含于业务系统的方式，及日志系统获取日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

接着，过滤装置12对所述日志信息进行过滤处理。其中，所述过滤处理是指日志系统在获取业务系统所输出的日志信息后对根据一定的预先设置条件对日志信息进行过滤，从而筛选出分析日志信息时所需要的相关信息，其中，过滤条件包括但不限于根据时间过滤、根据日志源过滤以及根据日志级别过滤，例如，根据时间过滤，只打印分钟内前30秒的日志；根据日志源过滤，只打印内部某个模块的日志；根据日志级别过滤，只打印ERROR级别以上的日志。通过设置条件进行过滤，使得后续进行聚合分析的日志信息数据更加明确有针对性。

本领域技术人员应能理解上述过滤日志信息的方式仅为举例，其他现有的或今后可能出现的过滤日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

接着，聚合装置13对经过滤处理的所述日志信息进行聚合处理。其中所述聚合处理是指通过聚合算法对日志信息进行相应的处理，聚合算法例如，针对日志信息中的关键词及其值的与、或、平均值、最大、最小、数量统计等，但不限于此。将过滤处理后的日志信息进行聚合处理即对日志进行了实时分析，从而获得日志信息的实时分析结果。优选地，对于日志信息聚合计算包括但不限于一种类型，可并发进行多种聚合算法分析，更优选地，根据用户设置对聚合算法进行选择，例如用户配置只针对A模块的日志打印log最多的前5条日志。因为日志系统在业务系统中直接获取日志并过滤处理无需转存至别的系统或硬件介质进行聚合分析，故而通过聚合处理将获得日志信息的实时分析结果，避免了因转至其他系统导致的延时。

本领域技术人员应能理解上述聚合处理日志信息的方式仅为举例，其他现有的或今后可能出现的聚合处理日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

接着，输出装置14输出经聚合处理的所述日志信息。是指在聚合处理完成后的日志信息通过I/O也就是输入输出端口流控模块输出到存储介质或其它用户可查阅到的单元，例如输出至磁盘以供用户查看。通过将所述日志信息输出，可将日志实时分析结果反馈给用户，从而及时查阅、发现、解决相关的问题。

本领域技术人员应能理解上述输出日志信息的方式仅为举例，其他现有的或今后可能出现的输出日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

图6示出根据本申请另一个优选实施例的聚合装置的设备示意图。所述聚合装置包括聚合容器确定单元131以及并行聚合处理单元132。

其中，所述聚合装置13中聚合容器确定单元131根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器；并行聚合处理单元132通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。

具体地，聚合容器确定单元131根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器。其中，所述聚合容器是指包含了可对日志信息进行分析的聚合算法的管理模块，每种聚合容器可提供固定的聚合算法对日志信息进行聚合处理。所述设定聚合容器配置信息是指根据用户或系统初始设置进行配置的对日志信息进行聚合处理的方法，即根据设定集合容器配置信息为经过过滤处理后的日志信息选择其所进行处理的聚合容器的种类，其中，不同种类的聚合容器包含了不同的一种或多种聚合算法组合，例如根据用户指令配置只针对A模块的日志打印日志内容最多的前五条日志信息，则日志信息就放入有相应聚合处理功能的聚合容器中进行处理。将日志信息放入对应的聚合容器进行处理，使得日志信息的聚合处理可以根据用户意愿或系统设置的希望方向进行相应的聚合分析计算，从而得出更准确的聚合处理结果。

优选地，对于日志系统设置控制层模块，控制层模块主要对日志系统进行日志信息的控制操作，例如，在业务系统产生日志信息后调用控制层模块将日志信息输入日志系统，获取日志信息后控制层模块对日志信息进行过滤，后控制系统根据设定聚合容器配置信息将经过过滤处理后的日志信息放入对应的聚合容器中进行聚合处理，控制层模块的设置使得日志系统的运转得到良好的调控。

本领域技术人员应能理解上述根据设定聚合容器配置信息确定日志信息处理对应的聚合容器的方式仅为举例，其他现有的或今后可能出现的根据设定聚合容器配置信息确定日志信息处理对应的聚合容器的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

接着，并行聚合处理单元132通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。其中，聚合分析单元是指包含于聚合容器中的聚合算法，不同的聚合分析单元对应不同的聚合算法。在此，并行聚合处理是指通过多个聚合容器中的一个或多个聚合分析单元也就是聚合算法的组合对日志信息进行相应的聚合处理，例如，不同的聚合容器或算法属于不同的线程，同时调用对应的线程即可并发进行聚合处理。每个容器提供固定的聚合分析单元对日志信息进行聚合处理，这些聚合分析单元通过并发的方式进行聚合处理的方法包括但不限于：对相同源或不同源日志信息进行计算，包括关联合并、特殊规则的稀疏、去重、找出符合特定规则的排名前几的日志等，其中，不同源的日志信息是指在一个业务系统中会分成不同粒度的模块，这些模块在内嵌过程中日志系统会针对这些模块提供标识，稀疏是指比如规定某个日志计划每秒输出1000条日志信息，但是实际产生的日志信息量为每秒输出10000条日志信息，这个时候可以根据特殊规则稀疏来丢掉9/10的日志信息。优选地，当日志系统设置控制层模块时，可由控制层模块将经过过滤处理后的日志信息放入对应的多个聚合容器中进行并发的聚合处理。通过不同聚合分析单元以并发的方式聚合处理日志信息，使得日志聚合处理的方式多样化，日志分析结果更加准确和丰富。

本领域技术人员应能理解上述实现多个聚合容器并发聚合处理日志信息的方式仅为举例，其他现有的或今后可能出现的实现多个聚合容器并发聚合处理日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

优选地，所述设备1还包括压力探针装置15(未示出)，其中，所述压力探针装置15通过所述日志系统中的压力探针获取所述业务系统对应的资源压力信息，其中，所述压力探针随所述业务系统启动被启动。其中，所述压力探针是指用于获取业务系统中存储介质、中央处理器等硬件运行相关参数信息的功能模块，日志或业务系统通过分析压力探针所获取的资源压力信息可获得业务系统运行时的硬件压力情况。例如，压力探针定时获取磁盘、CPU中央处理器的压力情况，并给予日志系统反馈。在此，所述业务系统对应的资源压力信息为存储介质、中央处理器等会在日志系统运行时所使用的模块性能信息，包括但不限于磁盘中的每秒请求数量，磁盘队列长度和磁盘的请求响应时间，中央处理器中的内核态使用率，用户态使用率。进一步地，在业务系统启动后直接调用压力探针模块，从而对业务系统对应的资源压力进行实时监测，使得业务系统运行尤其在日志系统运行后的资源压力被实时获取。

优选地，为便于日志系统在内部各模块以及与外部进行通讯，可设置通讯层，提供远程通讯接口，在业务程序启动后，日志系统的控制层模块即发送监听命令至通讯层，从而通过通讯层传递监听命令至压力探针从而定期监听业务系统与日志系统所用存储介质和中央处理器等共用模块的资源压力信息并反馈至控制层模块，其中，定期监听压力信息的时间可由用户设置或系统进行初始设置。

通过压力探针可实时获取业务系统对应的资源压力信息，从而检测到日志系统在运行中对资源运行的影响，便于进一步进行分析和基于资源压力信息对日志系统或业务系统的运行进行相应调整。

本领域技术人员应能理解上述通过压力探针获取压力信息的方式仅为举例，其他现有的或今后可能出现的通过压力探针获取压力信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

进一步地，基于压力探针装置16，所述聚合装置13以及所述输出装置14可根据所述压力探针所探测的所述业务系统对应的资源压力信息对日志的聚合分析以及输出过程进行调节，具体如图7以及图8所示。

图7示出根据本申请另一个优选实施例的聚合装置的设备示意图。所述聚合装置13中包括日志聚合控制参数确定单元133以及聚合处理单元134。

其中，日志聚合控制参数确定单元133根据所述业务系统对应的资源压力信息确定日志聚合控制参数；聚合处理单元134根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。

具体地，日志聚合控制参数确定单元133根据所述业务系统对应的资源压力信息确定日志聚合控制参数。其中，所述日志聚合控制参数是指会在聚合处理运行时影响业务系统对应的资源压力的相关参数，包括但不限于计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度以及粒度。当所述日志聚合控制参数变大或变小时，业务系统对应的资源压力会随之改变。因此，当所获取的业务系统对应的资源压力信息所反映的业务系统对应资源压力变大时，可对资源压力信息进行分析，并确定相应的需要调节的日志聚合控制参数的值，从而减缓资源压力，例如，设置计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度以及粒度等参数对应的调节阈值，对资源压力信息如中央处理器内核态使用率设置上下限阈值，当其上升至阈值以上，则代表业务系统资源压力较大，则将日志聚合控制参数如聚合容器的数量下调。反之，当所获取的业务系统对应的资源压力信息所反映的业务系统对应资源压力变小时，例如系统压力不大但是日志信息输出流量陡增的情况下，可对资源压力信息进行分析，并确定相应的需要调节的日志聚合控制参数的值，从而更好利用空闲资源，保证激增的日志信息被有效聚合。优选地，当资源压力需要调节时，相关调节信息可反馈至日志系统控制层模块，由控制层模块对所述日志聚合控制参数进行调节，同时设置集合分析算法管理器对聚合容器进行管理，提供聚合容器并接受控制层模块发送的日志聚合控制参数的调节指令对聚合处理过程进行调节，从而减少对中央处理器的消耗，例如，对相同关键词的日志进行不同比例的值的合并，对相同值的日志进行特定的排序输出，能够输出符合特定规则的排名前几的类型的日志等。

通过确定日志聚合控制参数并适应性根据资源压力信息对日志聚合控制参数进行调节，在资源压力过大时适当减少日志系统的操作，在资源空闲时则充分利用资源进行日志系统的相应计算和操作，使得业务系统对应的资源得到灵活利用。

接着，聚合处理单元134根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。即在根据业务系统对应的资源压力对日志聚合控制参数进行调节后，日志系统根据调节后的日志聚合控制参数，例如计算频率、算法复杂度、聚合容器的数量等，对日志信息进行聚合处理，使得聚合处理减少或增大，从而缓解资源压力或利用空闲资源的目的。

本领域技术人员应能理解上述通过确定日志聚合控制参数从而调节业务系统对应资源压力的方式仅为举例，其他现有的或今后可能出现的通过确定日志聚合控制参数从而调节业务系统对应资源压力的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

图8示出根据本申请另一个优选实施例的输出装置的设备示意图。所述输出装置14中包括日志输出控制参数确定单元141以及输出单元142。

其中，所述日志输出控制参数确定单元141根据所述业务系统对应的资源压力信息确定日志输出控制参数；输出单元142根据所述日志输出控制参数输出经聚合处理的所述日志信息。

具体地，日志输出控制参数确定单元141根据所述业务系统对应的资源压力信息确定日志输出控制参数。其中，所述日志输出控制参数是指会在日志输出时影响业务系统对应的资源压力的相关参数，包括但不限于输出至相应存储或查询模块的方式，以及日志聚合处理的速度和粒度等。当业务系统对应的资源压力信息反应的资源压力过大或过小，则确定需要调节的日志输出控制参数并进行调节。例如，磁盘每秒请求数量，磁盘队列长度，磁盘请求响应时间等参数上升，则代表资源压力较大，尤其是I/O过大，据此确定调节I/O读写的日志输出控制参数是改变日志输出方式，进而更改日志输出方式为延迟、批量、压缩或稀疏，其中，稀疏是指比如规定某个日志计划每秒输出1K条日志，但是实际产生的日志量为每秒输出10K条日志，这个时候可以根据特殊规则稀疏来丢掉9/10的日志。通过确定日志输出参数，使得日志输出可以灵活调节，日志输出对应的资源被灵活利用，避免日志系统运行压力过大引发的资源被占用的情况。

接着，输出单元142根据所述日志输出控制参数输出经聚合处理的所述日志信息。即根据所确定的日志输出控制参数对其进行调节，并根据调节后的日志输出控制参数进行日志信息的输出，接上文举例，即采用延迟、批量、压缩或稀疏的方式进行日志输出，从而减小I/O读写压力。优选地，在日志系统中设置I/O流控模块，在调节日志输出控制参数时控制层模块将调节信息发送至I/O流控模块，从而通过I/O流控模块对磁盘的输出频率进行自动调节，从而减少对I/O存储介质的消耗。

本领域技术人员应能理解上述通过确定日志输出控制参数从而调节业务系统对应资源压力的方式仅为举例，其他现有的或今后可能出现的通过确定日志输出控制参数从而调节业务系统对应资源压力的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

优选地，所述设备1还包括日志处理参数调整装置16(未示出)，其中，所述日志处理参数调整装置16在所述业务系统运行期间，获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志系统的日志处理参数。其中，所述用户提交的调整指令信息是指用户通过外部通讯接口对日志系统的相关参数进行调节的指令。所述日志处理参数是指会对日志系统的运行产生影响的相关参数。在此，用户提交调整指令信息时业务系统仍在正常运行，提交调整指令信息的途径例如在日志系统设置控制层模块，将控制层模块写成业务系统可调用的库函数形式，业务系统通过调用控制层模块，对日志系统中的日志处理参数，进而对各功能模块进行控制和调节。通过接受用户的调整指令信息并更新对应的日志处理参数，满足用户对不中断业务系统调整日志处理参数的需求。

本领域技术人员应能理解上述获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志系统的日志处理参数的方式仅为举例，其他现有的或今后可能出现的获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志系统的日志处理参数的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

更优选地，所述日志处理参数包括以下至少任一项：用于日志过滤处理的日志过滤控制参数；用于日志聚合处理的日志聚合控制参数；用于日志输出处理的日志输出控制参数。其中，所述用于日志过滤处理的日志过滤控制参数例如日志的过滤条件，包括但不限于根据时间过滤，根据日志源过滤，根据日志级别过滤；用于日志聚合处理的日志聚合控制参数例如聚合分析算法，包括但不限于上文所有出现的关于聚合分析算法的举例；用于日志输出处理的日志输出控制参数例如相关资源压力信息的监控阈值，包括但不限于阈值的种类为支持int、double、bool、string。

结合上述描述，本申请提供了可以在IO密集型或CPU密集型业务程序中使用的日志系统，它可以根据当前存储介质或中央处理器的压力情况自动控制聚合处理量和调节日志输出量或频率，在前存储介质或中央处理器压力空闲时可充分利用资源做更复杂的聚合计算以及输出更细粒度的聚合结果，在前存储介质或中央处理器繁忙时通过降低聚合计算或输出频率来将对前存储介质或中央处理器的自身消耗控制在指定阈值内，并且用户可以在不中止业务系统的情况下会根据情况动态调节聚合分析算法或者被聚合信息。通过这种动态调节、资源受控的日志输出方法可以让用户获得有效的信息，并能够避免内部日志输出泛滥而引发的前存储介质或中央处理器资源抢占影响业务性能指标的情况。

此外，本申请还提供了一种用于通过日志系统处理业务系统的日志的设备，包括：

处理器；

以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统；

对所述日志信息进行过滤处理；

对经过滤处理的所述日志信息进行聚合处理；

输出经聚合处理的所述日志信息。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，不表示特定顺序。

Claims (13)

1.一种用于通过日志系统处理业务系统的日志的方法，包括：

获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统；

对所述日志信息进行过滤处理；

根据所述业务系统对应的资源压力信息确定日志聚合控制参数；所述日志聚合控制参数包括以下至少一项：计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度、日志信息的粒度；

根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理；

输出经聚合处理的所述日志信息。

2.根据权利要求1所述的方法，其中，所述对经过滤处理的所述日志信息进行聚合处理包括：

根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器；

通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。

3.根据权利要求1所述的方法，其中，所述输出经聚合处理的所述日志信息包括：

根据所述业务系统对应的资源压力信息确定日志输出控制参数；

根据所述日志输出控制参数输出经聚合处理的所述日志信息。

4.根据权利要求1所述的方法，其中，所述方法还包括：

通过所述日志系统中的压力探针获取所述业务系统对应的资源压力信息，其中，所述压力探针随所述业务系统启动被启动。

5.根据权利要求1所述的方法，其中，所述方法还包括：

在所述业务系统运行期间，获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志系统的日志处理参数。

6.根据权利要求5所述的方法，其中，所述日志处理参数包括以下至少任一项：

用于日志过滤处理的日志过滤控制参数；

用于日志聚合处理的日志聚合控制参数；

用于日志输出处理的日志输出控制参数。

7.一种用于通过日志系统处理业务系统的日志的设备，包括：

获取装置，用于获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统；

过滤装置，用于对所述日志信息进行过滤处理；

聚合装置，用于对经过滤处理的所述日志信息进行聚合处理；

输出装置，用于输出经聚合处理的所述日志信息;

其中，所述聚合装置包括：

日志聚合控制参数确定单元，用于根据所述业务系统对应的资源压力信息确定日志聚合控制参数；所述日志聚合控制参数包括以下至少一项：计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度、日志信息的粒度；

聚合处理单元，用于根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。

8.根据权利要求7所述的设备，其中，所述聚合装置包括：

聚合容器确定单元，用于根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器；

并行聚合处理单元，用于通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。

9.根据权利要求7所述的设备，其中，所述输出装置包括：

日志输出控制参数确定单元，用于根据所述业务系统对应的资源压力信息确定日志输出控制参数；

输出单元，用于根据所述日志输出控制参数输出经聚合处理的所述日志信息。

10.根据权利要求7所述的设备，其中，所述设备还包括：

压力探针装置，用于通过所述日志系统中的压力探针获取所述业务系统对应的资源压力信息，其中，所述压力探针随所述业务系统启动被启动。

11.根据权利要求7所述的设备，其中，所述设备还包括：

日志处理参数调整装置，用于在所述业务系统运行期间，获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志系统的日志处理参数。

12.根据权利要求11所述的设备，其中，所述日志处理参数包括以下至少任一项：

用于日志过滤处理的日志过滤控制参数；

用于日志聚合处理的日志聚合控制参数；

用于日志输出处理的日志输出控制参数。

13.一种用于通过日志系统处理业务系统的日志的设备，包括：

处理器；

以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取所述业务系统输出的日志信息，其中，所述日志系统包含于所述业务系统；

对所述日志信息进行过滤处理；

根据所述业务系统对应的资源压力信息确定日志聚合控制参数；所述日志聚合控制参数包括以下至少一项：计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度、日志信息的粒度；

根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理；

输出经聚合处理的所述日志信息。

Images