CN106294721B - 一种集群数据统计及导出方法及装置 - Google Patents

Abstract

本发明公开了一种集群数据统计及导出方法及装置，用于高效准确地对日志相关数据进行读取与统计，以供在需要对日志进行统计时读取该日志。所述方法包括：令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引；在接收到所述统计索引的生成完毕报告之后，令集群的第一级设备向所述第三级设备发送导出通知；令所述第三级设备根据所述导出通知将生成的所述统计索引从本地缓存数据库导出至集群数据库。该方案通过对集群内各设备的协调与管理，高效准确地对日志相关数据进行读取与统计，其操作过程简便，提升了工作效率与用户体验。

Description

一种集群数据统计及导出方法及装置

技术领域

本发明涉及集群服务器领域，特别涉及一种集群数据统计及导出方法及装置。

背景技术

集群是由一些互相连接在一起的计算机构成的一个并行或者分布式系统，使得多台服务器可以像一台机器一样进行工作。随着集群服务器技术在计算机领域的推广，将产生海量的日志文件，且随着科学技术的发展，对日志文件保存的快速准确程度的需求越来越高；且在保存之后，还需要按照不同的需求进行不同的数据的读取，进而方便进行数据统计；在这些过程中，既要保证程序的高效性，还要保证数据处理过程的简易性和准确性，因此，目前需要一种高效准确的集群数据统计及导出方法。

发明内容

本发明提供一种集群数据统计及导出方法及装置，通过对集群内各设备的协调与管理，高效准确地对日志相关数据进行读取与统计，其操作过程简便，提升了工作效率与用户体验。

根据本发明实施例的第一方面，提供一种集群数据统计及导出方法，包括：

令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引；

在接收到所述统计索引的生成完毕报告之后，令集群的第一级设备向所述第三级设备发送导出通知；

令所述第三级设备根据所述导出通知将生成的所述统计索引从本地缓存数据库导出至集群数据库。

在一些实施例中，所述令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引之后，还包括：

在将所述统计索引全部生成之后，令所述第三级设备将生成的所述统计索引存储至本地缓存数据库，并向所述第一级设备发送所述统计索引的生成完毕报告。

在一些实施例中，所述方法还包括：

在将所述统计索引完全导出至所述集群数据库之后，令所述第三级设备继续在其配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。

在一些实施例中，所述方法还包括：

在接收到集群内的第三级设备的加入或退出指令时，通过所述第一级设备更新所述集群内的所有第三级设备的配置信息，并将更新的所述配置信息同步至第二级设备；所述配置信息包括各所述第三级设备的配置范围；

令所述第三级设备继续在其更新后的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。

在一些实施例中，所述方法还包括：

在接收到所述第一级设备的退出指令时，通过预设的选举算法在所述集群内的多个第二级设备中选举所述第一级设备。

根据本发明实施例的第二方面，还提供一种集群数据统计及导出装置，包括：

第一生成模块，用于令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引；

通知模块，用于在接收到所述统计索引的生成完毕报告之后，令集群的第一级设备向所述第三级设备发送导出通知；

统计索引导出模块，用于令所述第三级设备根据所述导出通知将生成的所述统计索引从本地缓存数据库导出至集群数据库。

在一些实施例中，所述装置还包括：

报告模块，用于在将所述统计索引全部生成之后，令所述第三级设备将生成的所述统计索引存储至本地缓存数据库，并向所述第一级设备发送所述统计索引的生成完毕报告。

在一些实施例中，所述装置还包括：

第二生成模块，用于在将所述统计索引完全导出至所述集群数据库之后，令所述第三级设备继续在其配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。

在一些实施例中，所述装置还包括：

配置更新模块，用于在接收到集群内的第三级设备的加入或退出指令时，通过所述第一级设备更新所述集群内的所有第三级设备的配置信息，并将更新的所述配置信息同步至第二级设备；所述配置信息包括各所述第三级设备的配置范围；

第三生成模块，用于令所述第三级设备继续在其更新后的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。

在一些实施例中，所述装置还包括：

选举模块，用于在接收到所述第一级设备的退出指令时，通过预设的选举算法在所述集群内的多个第二级设备中选举所述第一级设备。

本发明实施例提供的技术方案可产生以下有益效果：令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引；在接收到所述统计索引的生成完毕报告之后，令集群的第一级设备向所述第三级设备发送导出通知；令所述第三级设备根据所述导出通知将生成的所述统计索引从本地缓存数据库导出至集群数据库。该方案通过对集群内各设备的协调与管理，高效准确地对日志相关数据进行读取与统计，其操作过程简便，提升了工作效率与用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明根据一示例性实施例示出的一种集群数据统计及导出方法的流程图。

图2为本发明根据一示例性实施例示出的另一种集群数据统计及导出方法的流程图。

图3为本发明根据一示例性实施例示出的又一种集群数据统计及导出方法的流程图。

图4为本发明根据一示例性实施例示出的再一种集群数据统计及导出方法的流程图。

图5为本发明根据一示例性实施例示出的又一种集群数据统计及导出方法的流程图。

图6为本发明根据一示例性实施例示出的一种集群数据统计及导出装置的框图。

图7为本发明根据一示例性实施例示出的另一种集群数据统计及导出装置的框图。

图8为本发明根据一示例性实施例示出的又一种集群数据统计及导出装置的框图。

图9为本发明根据一示例性实施例示出的再一种集群数据统计及导出装置的框图。

图10为本发明根据一示例性实施例示出的又一种集群数据统计及导出装置的框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本公开实施例提供了一种集群数据统计及导出方法，用于通过对集群内各设备的协调与管理，高效准确地对日志相关数据进行读取与统计，其操作过程简便，提升了工作效率与用户体验。如图1所示，该方法包括步骤S10-S30：

在步骤S10中，令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引；也即，各个第三级设备均被配置有各自的分片(也即其配置范围)，各第三级设备均读取自身负责的几个分片内的取预设数量的日志。可理解的，所述预设数量可以根据用户需求进行设定。在读取完毕预设数量的日志之后，所述第三级设备将读取的所述日志生成统计索引，并在所述统计索引生成完毕之后，将其存储至本地缓存数据库，并向第一级设备发送所述统计索引的生成完毕报告。

在步骤S20中，在接收到所述统计索引的生成完毕报告之后，令集群的第一级设备向所述第三级设备发送导出通知；所述导出通知用于指示所述第三级设备将所述统计索引从本地缓存数据库导出至集群数据库。

在步骤S30中，令所述第三级设备根据所述导出通知将生成的所述统计索引从本地缓存数据库导出至集群数据库。当需要进行统计时，直接从所述集群数据库中进行调取即可。

在一些实施例中，如图2所示，所述方法的步骤S10之后还包括步骤S40：

在步骤S40中，在将所述统计索引全部生成之后，令所述第三级设备将生成的所述统计索引存储至本地缓存数据库，并向所述第一级设备发送所述统计索引的生成完毕报告。

在一些实施例中，如图3所示，所述方法还包括步骤S50：

在步骤S50中，在将所述统计索引完全导出至所述集群数据库之后，令所述第三级设备继续在其配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。也即，当本次第三级设备读取的预设数量的日志完全导出至所述集群数据库之后，可以转回至步骤S10进入下一次的日志读取过程。

在一些实施例中，如图4所示，所述方法还包括步骤S60-步骤S70：

在步骤S60中，在接收到集群内的第三级设备的加入或退出指令时，通过所述第一级设备更新所述集群内的所有第三级设备的配置信息，并将更新的所述配置信息同步至第二级设备；所述配置信息包括各所述第三级设备的配置范围；可理解的，所述配置信息还可以包括所有需要进行统筹管理的配置信息，或者其他需要进行指定的信息等；在没有第三级设备加入或者退出(且并未接收到需要进行重新配置的指令)时，各个第三级设备均被配置有各自的分片(也即其配置范围)，此时，各第三级设备均读取与存储自身负责的几个分片内的日志。而当有新的第三级设备加入或者退出(或者在特定情况下需要进行重新配置)时，此时所有第三级设备的新的配置信息需要经由唯一的第一级设备来进行决定，且重新配置之后的第三级设备的配置信息，需要同步到所有第二级设备进行备份，以便于后期通过选举选取其中一个第二级设备作为新的第一级设备时，该第一级设备具有原第一级设备的所有信息与功能。

在步骤S70中，令所述第三级设备继续在其更新后的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。也即，在进行更新之后，所述第三级设备需要在新配置的分片(也即其更新后的配置范围)中进行预设数量的日志读取过程。

在一些实施例中，如图5所示，所述方法还包括步骤S80：

在步骤S80中，在接收到所述第一级设备的退出指令时，通过预设的选举算法在所述集群内的多个第二级设备中选举所述第一级设备。也即，当唯一的所述第一级设备退出时，此时集群内不再存在第一级设备，因此，需要从已经备份好原有的第一级设备中所有信息的多个第二级设备中进行选举，并选取其中一个作为新的第一级设备。其中，预设的所述选举算法可以根据需要进行设定，只要能达到选举出其中一个作为新的第一级设备的效果即可。

进一步地，所述步骤S80包括：

在接收到所述第一级设备的退出指令时，令所述集群内的各第二级设备自所有第二级设备中报告选举一个第一级设备；可理解的，预设的所述选举算法也可以根据需要设定为其他算法，只要能达到选举出其中一个作为新的第一级设备的效果即可。在本实施例中，当唯一的所述第一级设备退出时，此时集群内不再存在第一级设备，因此，需要从已经备份好原有的第一级设备中所有信息的多个第二级设备中选举其中一个作为新的第一级设备。

检测是否存在自己报告选举自己的第二级设备；当检测到存在自己报告选举自己的第二级设备时，检测自己报告选举自己且报告速度最快的所述第二级设备是否唯一；当检测到自己报告选举自己且报告速度最快的所述第二级设备唯一时，将报告选举自己速度最快的所述第二级设备选举为第一级设备。当检测到自己报告选举自己且报告速度最快的所述第二级设备并不唯一时，从同时报告选举自己的所述第二级设备之外的其他所述第二级设备中，随机选取一个第二级设备作为第一级设备。当检测到不存在自己报告选举自己的第二级设备时，将被报告选举的次数超过预设次数的所述第二级设备选举为所述第一级设备。可理解的，所述预设次数可以根据用户需求进行设定，比如，将所述预设次数设定为所述第二级设备的数量的三分之二及以上。

本发明实施例提供的上述方法，令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引；在接收到所述统计索引的生成完毕报告之后，令集群的第一级设备向所述第三级设备发送导出通知；令所述第三级设备根据所述导出通知将生成的所述统计索引从本地缓存数据库导出至集群数据库。该方案通过对集群内各设备的协调与管理，高效准确地对日志相关数据进行读取与统计，其操作过程简便，提升了工作效率与用户体验。

对应本发明实施例提供的集群数据统计及导出方法，本发明还提供集群数据统计及导出装置，如图6所示，该装置可包括：

第一生成模块61，用于令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引；也即，各个第三级设备均被配置有各自的分片(也即其配置范围)，各第三级设备均读取自身负责的几个分片内的取预设数量的日志。可理解的，所述预设数量可以根据用户需求进行设定。在读取完毕预设数量的日志之后，所述第三级设备将读取的所述日志生成统计索引，并在所述统计索引生成完毕之后，将其存储至本地缓存数据库，并向第一级设备发送所述统计索引的生成完毕报告。

通知模块62，用于在接收到所述统计索引的生成完毕报告之后，令集群的第一级设备向所述第三级设备发送导出通知；所述导出通知用于指示所述第三级设备将所述统计索引从本地缓存数据库导出至集群数据库。

统计索引导出模块63，用于令所述第三级设备根据所述导出通知将生成的所述统计索引从本地缓存数据库导出至集群数据库。当需要进行统计时，直接从所述集群数据库中进行调取即可。

在一些实施例中，如图7所示，所述装置还包括：

报告模块64，用于在将所述统计索引全部生成之后，令所述第三级设备将生成的所述统计索引存储至本地缓存数据库，并向所述第一级设备发送所述统计索引的生成完毕报告。

在一些实施例中，如图8所示，所述装置还包括：

第二生成模块65，用于在将所述统计索引完全导出至所述集群数据库之后，令所述第三级设备继续在其配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。也即，当本次第三级设备读取的预设数量的日志完全导出至所述集群数据库之后，可以进入下一次的日志读取过程。

在一些实施例中，如图9所示，所述装置还包括：

配置更新模块66，用于在接收到集群内的第三级设备的加入或退出指令时，通过所述第一级设备更新所述集群内的所有第三级设备的配置信息，并将更新的所述配置信息同步至第二级设备；所述配置信息包括各所述第三级设备的配置范围；可理解的，所述配置信息还可以包括所有需要进行统筹管理的配置信息，或者其他需要进行指定的信息等；在没有第三级设备加入或者退出(且并未接收到需要进行重新配置的指令)时，各个第三级设备均被配置有各自的分片(也即其配置范围)，此时，各第三级设备均读取与存储自身负责的几个分片内的日志。而当有新的第三级设备加入或者退出(或者在特定情况下需要进行重新配置)时，此时所有第三级设备的新的配置信息需要经由唯一的第一级设备来进行决定，且重新配置之后的第三级设备的配置信息，需要同步到所有第二级设备进行备份，以便于后期通过选举选取其中一个第二级设备作为新的第一级设备时，该第一级设备具有原第一级设备的所有信息与功能。

第三生成模块67，用于令所述第三级设备继续在其更新后的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。也即，在进行更新之后，所述第三级设备需要在新配置的分片(也即其更新后的配置范围)中进行预设数量的日志读取过程。

在一些实施例中，如图10所示，所述装置还包括：

选举模块68，用于在接收到所述第一级设备的退出指令时，通过预设的选举算法在所述集群内的多个第二级设备中选举所述第一级设备。也即，当唯一的所述第一级设备退出时，此时集群内不再存在第一级设备，因此，需要从已经备份好原有的第一级设备中所有信息的多个第二级设备中进行选举，并选取其中一个作为新的第一级设备。其中，预设的所述选举算法可以根据需要进行设定，只要能达到选举出其中一个作为新的第一级设备的效果即可。

在一些实施例中，所述选举模块68还用于在接收到所述第一级设备的退出指令时，令所述集群内的各第二级设备自所有第二级设备中报告选举一个第一级设备；可理解的，预设的所述选举算法也可以根据需要设定为其他算法，只要能达到选举出其中一个作为新的第一级设备的效果即可。在本实施例中，当唯一的所述第一级设备退出时，此时集群内不再存在第一级设备，因此，需要从已经备份好原有的第一级设备中所有信息的多个第二级设备中选举其中一个作为新的第一级设备。

所述选举模块68还用于在所述集群内的各第二级设备自所有第二级设备中报告选举一个第一级设备时，检测是否存在自己报告选举自己的第二级设备；当检测到存在自己报告选举自己的第二级设备时，检测自己报告选举自己且报告速度最快的所述第二级设备是否唯一；当检测到自己报告选举自己且报告速度最快的所述第二级设备唯一时，将报告选举自己速度最快的所述第二级设备选举为第一级设备。当检测到自己报告选举自己且报告速度最快的所述第二级设备并不唯一时，从同时报告选举自己的所述第二级设备之外的其他所述第二级设备中，随机选取一个第二级设备作为第一级设备。当检测到不存在自己报告选举自己的第二级设备时，将被报告选举的次数超过预设次数的所述第二级设备选举为所述第一级设备。可理解的，所述预设次数可以根据用户需求进行设定，比如，将所述预设次数设定为所述第二级设备的数量的三分之二及以上。

本发明实施例提供的上述装置通过对集群内各设备的协调与管理，高效准确地对日志相关数据进行读取与统计，其操作过程简便，提升了工作效率与用户体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序请求实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序请求到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信息处理设备的处理器执行的请求产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序请求也可存储在能引导计算机或其他可编程信息处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的请求产生包括请求装置的制造品，该请求装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序请求也可装载到计算机或其他可编程信息处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的请求提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种集群数据统计及导出方法，其特征在于，包括：

令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引；

在接收到所述统计索引的生成完毕报告之后，令集群的第一级设备向所述第三级设备发送导出通知；

令所述第三级设备根据所述导出通知将生成的所述统计索引从本地缓存数据库导出至集群数据库；

在接收到所述第一级设备的退出指令时，通过预设的选举算法在所述集群内的多个第二级设备中选举所述第一级设备；

在接收到集群内的第三级设备的加入或退出指令时，通过所述第一级设备更新所述集群内的所有第三级设备的配置信息，并将更新的所述配置信息同步至所述第二级设备；所述配置信息包括各所述第三级设备的配置范围；

令所述第三级设备继续在其更新后的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。

2.如权利要求1所述的方法，其特征在于，所述令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引之后，还包括：

在将所述统计索引全部生成之后，令所述第三级设备将生成的所述统计索引存储至本地缓存数据库，并向所述第一级设备发送所述统计索引的生成完毕报告。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

在将所述统计索引完全导出至所述集群数据库之后，令所述第三级设备继续在其配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。

4.一种集群数据统计及导出装置，其特征在于，包括：

第一生成模块，用于令集群的第三级设备在各自的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引；

通知模块，用于在接收到所述统计索引的生成完毕报告之后，令集群的第一级设备向所述第三级设备发送导出通知；

统计索引导出模块，用于令所述第三级设备根据所述导出通知将生成的所述统计索引从本地缓存数据库导出至集群数据库；

选举模块，用于在接收到所述第一级设备的退出指令时，通过预设的选举算法在所述集群内的多个第二级设备中选举所述第一级设备；

配置更新模块，用于在接收到集群内的第三级设备的加入或退出指令时，通过所述第一级设备更新所述集群内的所有第三级设备的配置信息，并将更新的所述配置信息同步至所述第二级设备；所述配置信息包括各所述第三级设备的配置范围；

第三生成模块，用于令所述第三级设备继续在其更新后的配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。

5.如权利要求4所述的装置，其特征在于，所述装置还包括：

报告模块，用于在将所述统计索引全部生成之后，令所述第三级设备将生成的所述统计索引存储至本地缓存数据库，并向所述第一级设备发送所述统计索引的生成完毕报告。

6.如权利要求4所述的装置，其特征在于，所述装置还包括：

第二生成模块，用于在将所述统计索引完全导出至所述集群数据库之后，令所述第三级设备继续在其配置范围内读取预设数量的日志，并将读取的所述日志生成统计索引。

Images