CN110908792B - 一种数据处理方法及装置 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法及装置，所述方法包括：调度器检测模块获取分布式系统中资源调度器的运行指标，所述调度器检测模块与所述资源调度器相耦合；在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常。通过本申请提供的实施例方法，可以在不影响资源调度器正常运行的情况下，根据所述资源调度器的实时运行指标，确定所述资源调度器是否发生异常。这种方式不仅可以得到准确可靠的检测结果，还可以迅速获取检测结果，提高资源管理器异常处理的效率。

Description

一种数据处理方法及装置

技术领域

本申请涉及软件开发技术领域，特别涉及一种数据处理方法及装置。

背景技术

资源调度器是分布式系统中的重要角色，用于管理整个分布式系统中所有资源节点。资源管理器可以获取各个资源节点的资源，并根据用户发送的资源调度请求(如CPU请求、内存请求)进行资源调度。在实际应用中，资源调度器往往是单点角色，不仅需要管理成千上万个运行在物理节点上的资源节点，还需要承担每秒上万次的资源调度请求，并需要响应于所述资源调度请求，以秒级的频率查询资源可用情况。因此，一旦资源调度器不可服务，整个分布式系统就无法进行资源请求，对于分布式系统来说可能引发比较严重的后果。

即使在发现资源调度器发生不可正常提供服务的情况，需要发现问题所在的时候，往往只能依靠人工发现并处理。人工处理的过程比较困难，不仅因为资源调度器的工作原理比较复杂，运行时的工作指标非常多，而且，人工处理需要耗费较多的时间，短时间内无法发现哪些工作指标出现问题。因此，在现有技术中，人工处理的过程往往只是依据个人经验处理，造成处理不及时，导致分布式系统的资源请求服务不可靠。

因此，现有技术中亟需一种能够快速发现资源调度器异常的处理方法。

发明内容

本申请实施例的目的在于提供一种数据处理方法及装置，不仅可以得到准确可靠的检测结果，还可以迅速获取检测结果，提高资源管理器异常处理的效率。

本申请实施例提供的一种数据处理方法及装置具体是这样实现的：

一种数据处理方法，所述方法包括：

调度器检测模块获取分布式系统中资源调度器的运行指标，所述调度器检测模块与所述资源调度器相耦合；

在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常。

一种数据处理装置，所述装置与分布式系统中资源调度器相耦合，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

获取所述资源调度器的运行指标；

在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常。

本申请提供的数据处理方法及装置，可以通过与资源调度器相耦合的调度器检测模块获取所述资源调度器的运行指标，在所述运行指标超出预设范围的情况下，所述调度器检测模块可以确定所述资源调度器发生异常。通过本申请提供的实施例方法，可以在不影响资源调度器正常运行的情况下，根据所述资源调度器的实时运行指标，确定所述资源调度器是否发生异常。这种方式不仅可以得到准确可靠的检测结果，还可以迅速获取检测结果，提高资源管理器异常处理的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的数据处理方法的一种应用场景的方法流程图；

图2是本申请提供的数据处理方法的一种实施例的方法流程图；

图3是本申请提供的数据处理装置的一种实施例的模块结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

由上文可知，现有技术中发现资源调度器上的问题所在往往比较耗时耗力，在分布式系统中，对资源调度器上行为的可靠性要求较高。如果在资源调度器不能够提供可靠服务的时候，需要靠人工手动去发现并且处理，是一件很困难的事情。因为资源调度器的工作原理比较复杂，各种运行时的指标非常多，依靠人工在短时间内根据众多运行指标来判断此角色是否己经出现问题，是比较困难的。根据一些己有的分布式系统的运维经验来看，很多时候人工判断时所依赖的现象和指标难以真实反映资源调度器运行的核心情况，这往往造成人工介入不及时、资源调度器的不可靠升级、整个服务器集群的不可用等比较严重的后果。

基于类似于上文所述的技术需求，本申请提供的数据处理方法可以设置一个与所述资源调度器相耦合的调度器检测模块，通过所述调度器检测模块可以检测到所述资源调度器的异常状况。

下面结合附图1通过一个具体的应用场景具体说明本申请数据处理方法的实现方式。如图1所示，分布式系统中是由多个服务器组成的服务器集群，其中，资源调度器是分布式系统中用于管理各个资源节点资源调度的单元。如图1所示，所述资源调度器可以管理资源节点1、资源节点2、……、资源节点N等N个资源节点的资源调度。在本申请通过的数据处理方式中，可以设置调度器检测模块，所述调度器检测模块与所述资源调度器相耦合。具体的耦合方式可以包括将所述调度器检测模块设置于所述资源调度器中，即所述调度器检测模块可以与所述资源调度器设置于同一个物理节点中，还可以包括将所述调度器检测模块独立地设置于所述资源调度器的外部，即与所述资源调度器分别设置于不同的物理节点，本申请对于耦合的方式不做限定。基于图1所示的架构，所述调度器检测模块可以与所述资源调度器之间进行数据传输，获取所述资源调度器的运行指标。所述运行指标可以包括下述中的至少一种：所述资源调度器的服务接口的可用性；处于等待状态的资源调度请求的数量；还未处理的资源调度情况查询请求的数量。在上述运行指标中的一个或者多个发生异常时，所述调度器检测模块可以确定所述资源调度器发生异常。

在确定所述资源调度器确定所述资源调度器发生异常时，可以将发生异常的检测结果发送至所述资源调度器。所述资源调度器在接收到所述发生异常的检测结果，确定具体的处理机制，例如重启资源调度器等等。另外，所述调度器检测模块还可以在所述资源调度器发生异常的情况下，存储所述资源调度器发生异常时的异常信息，即保留异常现场，这样可以在后续有助于调查问题所在。

下面结合附图2对本申请所述的数据处理方法进行详细的说明。图2是本申请提供的数据处理方法的一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的数据处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

具体的本申请提供的数据处理方法的一种实施例如图2所示，所述方法可以包括：

S201：调度器检测模块获取分布式系统中资源调度器的运行指标，所述调度器检测模块与所述资源调度器相耦合。

S203：在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常。

本实施例中，可以在分布式系统中设置调度器检测模块，所述调度器检测模块与所述资源调度器相耦合。在一个实施例中，所述调度器检测模块可以与所述资源调度器设置于同一个进程中，这样，当所述资源调度器启动、运行、停止时，所述调度器检测模块与所述资源调度器可以具有同步的操作。所述调度器检测模块可以用于检测所述资源调度器是否发生异常。在本申请的一个实施例中，所述调度器检测模块可以获取所述资源管理器的运行指标，在所述运行指标超出预设范围的情况下，所述调度器检测模块可以确定所述资源调度器发生异常。

在本申请的一个实施例中，所述运行指标可以包括下述中的至少一种：

所述资源调度器的服务接口的可用性；

处于等待状态的资源调度请求的数量；

还未处理的资源调度情况查询请求的数量。

其中，所述资源调度器的服务接口的可用性可以包括所述资源调度器的服务接口是否可用。若所述服务接口可用，则当有资源调度请求发送至所述资源调度器的时候，则所述服务接口可以接受所述资源调度请求，并在预设时间段内回复所述资源调度请求的处理结果。所述处于等待状态的资源调度请求的数量可以包括所述资源调度器上处于等待状态且还未处理的资源调度请求的数量。在分布式系统中，由于资源调度请求比较多，在服务器集群比较繁忙的情况下，资源调度请求通常会大大超过服务器集群可用的总资源，此时，资源调度器可以将暂时不能满足的资源调度请求排队以形成队列，并在之后当资源可用时可以根据所述队列的排序规则查询出等待的资源调度请求去调度资源。若所述处于等待状态的资源调度请求的数量较多时，则所述资源调度器有可能出现异常情况。在用户提交资源调度请求之后，往往需要向资源调度器查询资源调度请求的处理情况。因此，若还未处理的资源调度情况查询请求的数量较多，则所述资源调度器有可能出现异常情况。

在本申请的一个实施例中，所述调度器检测模块在获取所述资源调度器的服务接口的可用性时，可以按照下述方式获取：所述调度器检测模块可以向所述资源调度器发送资源请求量为零的虚拟资源调度请求。若所述资源调度器在预设时间内回复所述虚拟资源调度请求的处理结果，则确定所述资源调度器的服务接口处于可用状态；否则，处于不可用状态。本实施例中，由于所述虚拟资源调度请求的资源请求量为零，则所述虚拟资源调度请求不影响其他真实的资源调度请求。所述预设时间段可以参考所述资源调度器在实际回复资源调度请求处理结果所需的时间，例如，所述预设时间段可以设置为5ms、10ms等等。

在本申请的一个实施例中，可以在将所述调度器检测模块与所述资源调度器进行耦合的过程中，设置所述资源调度器按照预设时间频率向所述调度器检测模块发送运行指标所述处于等待状态的资源调度请求的数量和/或所述还未处理的资源调度情况查询请求的数量。所述预设时间频率例如可以包括3秒、5秒等等。当然，在其他实施例中，所述调度器检测模块可以按照预设时间频率向所述调度器检测模块请求运行指标所述处于等待状态的资源调度请求的数量和/或所述还未处理的资源调度情况查询请求的数量，本申请对于获取以上两个运行指标的方式不做限制。

在本申请的一个实施例中，可以在确定发生下述至少一种情况下，确定所述资源调度器发生异常：

所述资源调度器的服务接口不可用；

所述处于等待状态的资源调度请求的数量大于等于第一阈值；

所述还未处理的资源调度情况查询请求的数量大于等于第二阈值。

本实施例中，可以在发生上述至少一种情况下，确定所述资源调度器发生异常。其中，所述第一阈值包括向所述资源调度器发送资源调度请求的用户数量的K倍。本实施例中，所述第一阈值可以为预先设置的固定值。在一个实施例中，所述发送资源调度请求的用户数量可以为实时的发送资源调度请求的用户数量，即所述调度器检测模块可以实时统计各个时刻发送资源调度请求的用户总数量。其中K值可以根据经验值设置，当然，也可以根据实际的应用场景进行调节。本实施例中，在本申请的一个实施例中，所述第二阈值可以包括所述资源调度器所管理的资源节点的数量。即当所述还未处理的资源调度情况查询请求的数量大于等于所述资源调度器所管理的资源节点的数量，则所述资源管理器很有可能发生异常。其中，所述第二阈值可以为预先设置的固定值，也可以为实时的资源节点的数量。由于分布式系统中服务器集群有可能发生扩容或者收缩等操作，则资源节点的实时数量有可能发生变化，因此，所述调度器检测模块可以根据所述资源节点的实时数量确定所述第二阈值。

在本申请的一个实施例中，所述调度器检测模块可以在所述运行指标连续预设数量次超出预设范围的情况下，确定所述资源调度器发生异常。其中，所述预设数量不小于2，例如可以设置为3、5、6等等。若所述调度器检测模块连续多次检测到所述运行指标超出预设范围，则可以更加准确地确定所述资源调度器发生异常。相对于单词检测就确定所述资源调度器发生异常的方式，本实施例提供的连续多次检测确定所述资源调度器发生异常的方式能够更加准确地进行判断。

当己经确认资源调度器发生异常，即不能提供可靠服务的时候，往往需要做两件比较重要的事。一是保留现场，若资源调度器内部出现比较严重的问题，保留现场则可以极大地便利后续问题的调查。另一件是需要重启一些角色，当资源调度器不能提供可靠服务的时候，有可能是资源调度器内部出现死锁或者其它比较严重的问题，短时间可能无法恢复。此时需要重启一些角色，并依赖分布式系统中重启自动恢复的重要特征，角色重启后资源调度器会自动恢复状态，进而恢复正常。因此上述两件事情如果依靠人工处理，在紧急情况下有可能会出现操作失误或者遗漏步骤的情况。

基于此，在本申请的一个实施例中，所述调度器检测模块在检测到所述资源调度器发生异常时，将发生异常的通知消息发送给所述资源调度器。所述资源调度器在接收到所述通知消息之后，可以确定处理的方式，例如可以包括重启所述资源调度器等等。

在本申请的一个实施例中，所述调度器检测模块还可以存储所述资源调度器发生异常的检测结果，即保留现场以进行后续的问题调查。在此之后，所述调度器检测器可以重新启动。这样，可以防止由于调度器检测模块自身的原因得出所述资源调度器发生异常的检测结果。在本申请的一个实施例中，所述调度器检测模块重新启动的时刻距离所述调度器检测模块上一次重新启动的时刻不小于10分钟。根据实践经验所知，因为10分钟是服务器集群在启动之后可持续正常使用的时间段，因此，将所述调度器检测模块重新启动的时刻距离上一次重新启动的时刻不小于10分钟，可以避免对所述调度器检测模块多次不必要的重启。

本申请提供的数据处理方法，可以通过与资源调度器相耦合的调度器检测模块获取所述资源调度器的运行指标，在所述运行指标超出预设范围的情况下，所述调度器检测模块可以确定所述资源调度器发生异常。通过本申请提供的实施例方法，可以在不影响资源调度器正常运行的情况下，根据所述资源调度器的实时运行指标，确定所述资源调度器是否发生异常。这种方式不仅可以得到准确可靠的检测结果，还可以迅速获取检测结果，提高资源管理器异常处理的效率。

本申请另一方面还提供一种数据处理装置，图3是本申请提供的数据处理装置的一种实施例的模块结构示意图，如图3所示，所述装置与分布式系统中资源调度器相耦合，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时可以实现：

获取所述资源调度器的运行指标；

在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常。

可选的，在本申请的一个实施例中，所述运行指标可以包括下述中的至少一种：

所述资源调度器的服务接口的可用性；

处于等待状态的资源调度请求的数量；

还未处理的资源调度情况查询请求的数量。

可选的，在本申请的一个实施例中，若所述运行指标包括所述资源调度器的服务接口的可用性，则所述处理器在实现步骤获取资源调度器的运行指标时可以包括：

向所述资源调度器发送资源请求量为零的虚拟资源调度请求；

若所述资源调度器在预设时间段内回复所述虚拟资源调度请求的处理结果，则确定所述资源调度器的服务接口处于可用状态；否则，处于不可用状态。

可选的，在本申请的一个实施例中，若所述运行指标包括所述处于等待状态的资源调度请求的数量和/或所述还未处理的资源调度情况查询请求的数量，则所述处理器在实现步骤获取资源调度器的运行指标时可以包括：

按照预设时间频率从所述资源调度器获取到接收处于等待状态的资源调度请求的数量和/或还未处理的资源调度情况查询请求的数量。

可选的，在本申请的一个实施例中，所述处理器在实现步骤在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常时可以包括：

在确定发生下述至少一种情况下，确定所述资源调度器发生异常：

所述资源调度器的服务接口不可用；

所述处于等待状态的资源调度请求的数量大于等于第一阈值；

所述还未处理的资源调度情况查询请求的数量大于等于第二阈值。

可选的，在本申请的一个实施例中，所述第一阈值可以包括向所述资源调度器发送资源调度请求的用户数量的K倍。

可选的，在本申请的一个实施例中，所述第二阈值可以包括所述资源调度器所管理的资源节点的数量。

可选的，在本申请的一个实施例中，所述处理器在实现步骤在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常时可以包括：

在所述运行指标连续预设数量次超出预设范围的情况下，确定所述资源调度器发生异常。

可选的，在本申请的一个实施例中，所述处理器在实现步骤在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常之后，还可以包括：

在存储所述资源调度器发生异常的检测结果后，重新启动所述调度器检测模块。

可选的，在本申请的一个实施例中，所述处理器重新启动的时刻距离所述处理器上一次重新启动的时刻可以不小于10分钟。

本申请另一方面还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时可以实现以上任一实施例所述的数据处理方法。

所述计算机可读存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种数据处理方法，其特征在于，所述方法包括：

调度器检测模块获取分布式系统中资源调度器的运行指标，所述调度器检测模块与所述资源调度器相耦合；

在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常；

其中，若所述运行指标包括所述资源调度器的服务接口的可用性，则所述调度器检测模块获取资源调度器的运行指标包括：

调度器检测模块向资源调度器发送资源请求量为零的虚拟资源调度请求；

若所述资源调度器在预设时间段内回复所述虚拟资源调度请求的处理结果，则确定所述资源调度器的服务接口处于可用状态；否则，处于不可用状态。

2.根据权利要求1所述的方法，其特征在于，所述运行指标还包括下述中的至少一种：

处于等待状态的资源调度请求的数量；

还未处理的资源调度情况查询请求的数量。

3.根据权利要求2所述的方法，其特征在于，若所述运行指标包括所述处于等待状态的资源调度请求的数量和/或所述还未处理的资源调度情况查询请求的数量，则所述调度器检测模块获取资源调度器的运行指标包括：

调度器检测模块按照预设时间频率从资源调度器接收处于等待状态的资源调度请求的数量和/或还未处理的资源调度情况查询请求的数量。

4.根据权利要求2所述的方法，其特征在于，所述在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常包括：

在确定发生下述至少一种情况下，确定所述资源调度器发生异常：

所述资源调度器的服务接口不可用；

所述处于等待状态的资源调度请求的数量大于等于第一阈值；

所述还未处理的资源调度情况查询请求的数量大于等于第二阈值。

5.根据权利要求4所述的方法，其特征在于，所述第一阈值包括向所述资源调度器发送资源调度请求的用户数量的K倍。

6.根据权利要求4所述的方法，其特征在于，所述第二阈值包括所述资源调度器所管理的资源节点的数量。

7.根据权利要求1所述的方法，其特征在于，所述在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常包括：

在所述运行指标连续预设数量次超出预设范围的情况下，确定所述资源调度器发生异常。

8.根据权利要求1所述的方法，其特征在于，在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常之后，所述方法还包括：

所述调度器检测模块在存储所述资源调度器发生异常的检测结果后，重新启动所述调度器检测模块。

9.根据权利要求8所述的方法，其特征在于，所述调度器检测模块重新启动的时刻距离所述调度器检测模块上一次重新启动的时刻不小于10分钟。

10.一种数据处理装置，其特征在于，所述装置与分布式系统中资源调度器相耦合，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

获取所述资源调度器的运行指标；

在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常；

其中，若所述运行指标包括所述资源调度器的服务接口的可用性，则所述处理器在实现步骤获取资源调度器的运行指标时包括：

向所述资源调度器发送资源请求量为零的虚拟资源调度请求；

若所述资源调度器在预设时间段内回复所述虚拟资源调度请求的处理结果，则确定所述资源调度器的服务接口处于可用状态；否则，处于不可用状态。

11.根据权利要求10所述的装置，其特征在于，所述运行指标还包括下述中的至少一种：

处于等待状态的资源调度请求的数量；

还未处理的资源调度情况查询请求的数量。

12.根据权利要求11所述的装置，其特征在于，若所述运行指标包括所述处于等待状态的资源调度请求的数量和/或所述还未处理的资源调度情况查询请求的数量，则所述处理器在实现步骤获取资源调度器的运行指标时包括：

按照预设时间频率从所述资源调度器获取到接收处于等待状态的资源调度请求的数量和/或还未处理的资源调度情况查询请求的数量。

13.根据权利要求11所述的装置，其特征在于，所述处理器在实现步骤在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常时包括：

在确定发生下述至少一种情况下，确定所述资源调度器发生异常：

所述资源调度器的服务接口不可用；

所述处于等待状态的资源调度请求的数量大于等于第一阈值；

所述还未处理的资源调度情况查询请求的数量大于等于第二阈值。

14.根据权利要求13所述的装置，其特征在于，所述第一阈值包括向所述资源调度器发送资源调度请求的用户数量的K倍。

15.根据权利要求13所述的装置，其特征在于，所述第二阈值包括所述资源调度器所管理的资源节点的数量。

16.根据权利要求10所述的装置，其特征在于，所述处理器在实现步骤在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常时包括：

在所述运行指标连续预设数量次超出预设范围的情况下，确定所述资源调度器发生异常。

17.根据权利要求10所述的装置，其特征在于，所述处理器在实现步骤在所述运行指标超出预设范围的情况下，确定所述资源调度器发生异常之后，还包括：

在存储所述资源调度器发生异常的检测结果后，重新启动所述调度器检测模块。

18.根据权利要求17所述的装置，其特征在于，所述处理器重新启动的时刻距离所述处理器上一次重新启动的时刻不小于10分钟。

19.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求1-9中任意一项所述的方法。

Images