CN105429825A - 用于数据流系统的监控方法和装置 - Google Patents

Abstract

本申请公开了用于数据流系统的监控方法和装置。所述方法的一具体实施方式包括：将带有标签的数据流从所述作为入口的数据流处理节点输入所述数据流系统；收集数据流系统中的各个数据流处理节点对数据流的处理而生成的处理结果信息；对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合；基于所述流经节点集合和所述流经节点集合中的节点所生成的处理结果信息，生成所述数据流系统的监控信息。该实施方式生成了数据流系统的准确监控信息。

Description

用于数据流系统的监控方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及数据流技术领域，尤其涉及用于数据流系统的监控方法和装置。

背景技术

数据流系统由多个节点组成，输入数据流系统的数据流在经过这些节点时，数据流系统会通过这些节点对流经的数据流进行处理并将处理后的数据流作为下个节点的输入，直到最后一个节点将最终输出数据流输出数据流系统为止。

然而，由于不同数据流在通过数据流系统时所流经的节点不同，且流经节点的顺序也不同，发生问题时无法获悉问题数据流所流经的节点及流经顺序，因此难以准确获取到对问题数据流进行处理时的完整处理结果信息，从而无法获取到准确的监控信息。

发明内容

本申请的目的在于提出一种用于数据流系统的监控方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种用于数据流系统的监控方法，所述数据流系统包括用于对数据流进行处理的数据流处理节点集合，所述数据流从数据流处理节点集合中的、作为入口的数据流处理节点流入并在流经数据流处理节点集合中的至少一个数据流处理节点之后流出所述数据流系统，所述监控方法包括：将带有标签的数据流从所述作为入口的数据流处理节点输入所述数据流系统；收集数据流系统中的各个数据流处理节点对数据流的处理而生成的处理结果信息；对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合；基于所述流经节点集合和所述流经节点集合中的节点所生成的处理结果信息，生成所述数据流系统的监控信息。

在一些实施例中，所述处理结果信息包括：数据流处理节点的节点标识、数据流处理节点处理数据流前的输入数据流、数据流处理节点处理数据流后的输出数据流。

在一些实施例中，所述对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合，包括：对于所收集的每一个处理结果信息，判断处理结果信息中的输入数据流和/或输出数据流中是否包含对于标签的处理结果信息；若包含，则确定生成该处理结果信息的数据流处理节点属于带有标签的数据流流经的节点；根据带有标签的数据流流经的至少一个节点生成流经节点集合。

在一些实施例中，所述处理结果信息还包括、时间戳、数据流处理节点处理数据流时调用其他数据流处理节点的节点调用信息；以及所述基于所述流经节点集合和所述流经节点集合中的节点所生成的处理结果信息，生成所述数据流系统的监控信息，包括：基于所述流经节点集合中的节点所生成的处理结果信息中的时间戳、节点调用信息确定带有标签的数据流在所述流经节点集合中的节点的流经顺序和所述流经节点集合中的各节点的调用关系；从作为入口的数据流处理节点开始，根据所确定的流经顺序以及所述调用关系递归检测节点生成的处理结果信息中的输入数据流与输出数据流的差别是否异常；若节点生成的处理结果信息中的输入数据流与输出数据流之间的差别存在异常，并且该节点未调用其他节点或者所调用的其他节点的处理结果信息中的输入数据流与输出数据流之间的差别不存在异常时，确认该节点为故障节点。

在一些实施例中，根据已确认故障节点生成的处理结果信息的输入数据流与输出数据流之间的差别确定所述已确认故障节点的故障类型。

第二方面，本申请提供了一种用于数据流系统的监控装置，所述数据流系统包括用于对数据流进行处理的数据流处理节点集合，所述数据流从数据流处理节点集合中的、作为入口的数据流处理节点流入并在流经数据流处理节点集合中的至少一个数据流处理节点之后流出所述数据流系统，所述监控装置包括：输入单元，配置用于将带有标签的数据流从所述作为入口的数据流处理节点输入所述数据流系统；收集单元，配置用于收集数据流系统中的各个数据流处理节点对数据流的处理而生成的处理结果信息；流经节点集合生成单元，配置用于对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合；监控信息生成单元，配置用于基于所述流经节点集合和所述流经节点集合中的节点所生成的处理结果信息，生成所述数据流系统的监控信息。

在一些实施例中，所述处理结果信息包括：数据流处理节点的节点标识、数据流处理节点处理数据流前的输入数据流、数据流处理节点处理数据流后的输出数据流。

在一些实施例中，所述流经节点集合生成单元，包括：判断子单元，对于所收集的每一个处理结果信息，判断处理结果信息中的输入数据流和/或输出数据流中是否包含对于标签的处理结果信息；确定子单元，配置用于若处理结果信息中的输入数据流和/或输出数据流中包含对于标签的处理结果信息，则确定生成该处理结果信息的数据流处理节点属于带有标签的数据流流经的节点；生成子单元，配置用于根据带有标签的数据流流经的至少一个节点生成流经节点集合。

在一些实施例中，所述处理结果信息还包括、时间戳、数据流处理节点处理数据流时调用其他数据流处理节点的节点调用信息；以及所述监控信息生成单元，包括：流经顺序与调用关系确定子单元，配置用于基于所述流经节点集合中的节点所生成的处理结果信息中的时间戳、节点调用信息确定带有标签的数据流在所述流经节点集合中的节点的流经顺序和所述流经节点集合中的各节点的调用关系；递归检测子单元，配置用于从作为入口的数据流处理节点开始，根据所确定的流经顺序以及所述调用关系递归检测节点生成的处理结果信息中的输入数据流与输出数据流的差别是否异常；故障节点确定子单元，配置用于若节点生成的处理结果信息中的输入数据流与输出数据流之间的差别存在异常，并且该节点未调用其他节点或者所调用的其他节点的处理结果信息中的输入数据流与输出数据流之间的差别不存在异常时，确认该节点为故障节点。

在一些实施例中，所述监控信息生成单元还包括：故障类型确定子单元，配置用于根据已确认故障节点生成的处理结果信息的输入数据流与输出数据流之间的差别确定所述已确认故障节点的故障类型。

本申请提供的用于数据流系统的监控方法和装置，通过在数据流中添加标签，使得在收集到各个节点生成的处理结果信息后可以根据标签确定数据流所流经的节点以及获取所流经节点对发生问题的数据流进行处理时生成的处理结果信息，从而可以根据所流经的节点以及其所生成的完整处理结果信息生成准确的监控信息。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的用于数据流系统的监控方法的一个实施例的流程图；

图3是根据本申请的用于数据流系统的监控方法的又一个实施例的流程图；

图4是根据本申请的用于数据流系统的监控装置的一个实施例的结构示意图；

图5是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于数据流系统的监控方法或装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括服务器101、网络102和数据流系统103。其中，数据流系统103可以包括数据流处理节点1031-1039。网络102用以在服务器101和数据流系统103及其数据流处理节点1031-1039之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

数据流系统103可以包括用于对数据流进行处理的数据流处理节点集合。数据流系统103中的数据流处理节点1031-1039可以是硬件、软件，甚至可以是软件中的一个函数。数据流可以从数据流处理节点集合中的、作为入口的数据流处理节点1031流入数据流系统103，并在流经数据流处理节点集合中的至少一个数据流处理节点之后从最后处理数据流的节点处流出数据流系统。其中，数据流处理节点在对流经数据流进行处理后输出的数据流都携带有输入数据流系统的初始数据流。

数据流处理节点可以对流经的数据流进行处理，在处理所流经的数据流时还可以调用其他数据流处理节点(图1中未示出)。

数据流可以如图1中的箭头所示的方式流经数据流系统的节点。例如，一个数据流可以先后流经数据流处理节点1031、1032、1035、1038，另一个数据流可以先后流经数据流处理节点1031、1034、1037、1039。

服务器101可以是用于对数据流系统进行控制的控制服务器。服务器101可以通过网络102向数据流系统103发送控制命令以使数据流处理系统执行对应的操作。例如服务器101可以发送定位开关开启命令以使数据系统103中的各个节点向预设区域输出各节点对数据流进行处理所生成的处理结果信息。服务器101还可以进行信息获取并进行信息处理以生成故障信息。

需要说明的是，本申请实施例所提供的数据流系统的监控方法一般由服务器101执行，相应地，数据流系统的监控装置一般设置于服务器101中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的数据流系统的监控方法的一个实施例的流程200。所述的数据流系统的监控方法，包括以下步骤：

步骤201，将带有标签的数据流从作为入口的数据流处理节点输入数据流系统。

在本实施例中，监控方法运行于其上的电子设备(例如图1所示的服务器)可以通过将带有标签的数据流输入至作为数据流系统的入口的数据流处理节点(以下简称“根节点”)，例如图1中数据流系统103的数据流处理节点1031。

其中，带有标签的数据流可以是电子设备通过如下方式预先获取的。首先，电子设备可以对数据流系统所输出的数据流进行监控，若输出的数据流监控时产生告警信号，则将该数据流所携带的输入数据流系统的初始数据流确定为有问题的数据流。其中，上述监控可以通过预设的正则表达式对数据流系统所输出的数据进行匹配的方式进行监控。然后，电子设备可以给确定为有问题的数据流添加标签，以形成上述带有标签的数据流。其中，该标签可以是各种可对数据流进行标记的标签，例如具有设定数位的一个随机数、字母序列。该标签可以按照预设规则添加在数据流的特定位置。

在将带有标签的数据流输入至数据流系统的根节点后，数据流系统即可对该带有标签的数据流进行处理。

步骤202，收集数据流系统中的各个数据流处理节点对数据流的处理而生成的处理结果信息。

在本实施例中，在基于步骤201中输入至的数据流系统根节点的数据流后，数据流系统中的节点可以将对各个数据流进行处理所生成的处理结果信息输出，电子设备即可以对这些处理结果信息进行收集。可选的，数据流处理系统中的节点可以将数据流处理信息输出至预设的存储区域，电子设备即可以从该预设的存储区域收集到该处理结果信息。数据流系统对处理结果信息的输出可以是根据预先为数据流系统配置的功能执行的。

在本实施例的一些可选实现方式中，电子设备可以在将带有标签的数据流从数据流系统根节点输入的同时，向数据流处理系统发送定位开关启动命令，控制数据流系统中的各个节点在该命令的控制下执行处理结果信息的输出，以使电子设备可以收集到处理结果信息。使用这种方式，可以使处理结果信息在执行该方法时才进行输出，可以有效减少需要存储的处理结果信息的数据量，从而降低所占用的存储空间。

其中，电子设备对数据流处理系统的控制命令可以通过无线或有线连接方式发送。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。

在本实施例的一些可选实现方式中，上述处理结果信息可以包括数据流处理节点的节点标识、数据流处理节点处理数据流前的输入数据流、数据流处理节点处理数据流后的输出数据流。

步骤203，对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合。

在本实施例中，基于步骤202所收集的每一个处理结果信息，电子设备可以基于标签确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点。带有标签的数据流在经过节点处理时，节点所生成的处理结果信息中含有相应的标签，电子设备可以对标签进行查找。带有标签的数据流在经过节点处理时，标签可以是保持不变的，因此电子设备根据处理结果信息中是否带有标签来判断该节点是否为带有标签的数据流所流经的节点。

在一一判断各个结果信息生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点后，即可确定带有标签的数据流流经的一个或多个节点，电子设备可以根据所确定的一个或多个节点生成流经节点集合。

步骤204，基于流经节点集合和流经节点集合中的节点所生成的处理结果信息，生成数据流系统的监控信息。

在本实施例中，电子设备可以根据步骤203获得带有标签的数据流所流经的流经节点集合。电子设备可以根据所流经节点集合以及标签获取到所流经节点集合中的节点所生成的处理结果信息。根据所流经节点集合以及标签获取到所流经节点集合中的节点所呈的处理结果信息，电子设备即可进行处理生成监控信息。该监控信息可以是反映数据流系统的故障的信息。

本实施例提供的监控方法，通过在数据流中添加标签，使得在收集到各个节点生成的处理结果信息后可以根据标签确定数据流所流经的节点以及获取所流经节点对发生问题的数据流进行处理时生成的处理结果信息，从而可以根据所流经的节点以及其所生成的完整处理结果信息最终生成准确的监控信息。

进一步参考图3，其示出了用于数据流系统的监控方法的又一个实施例的流程300。该用于数据流系统的监控方法的流程300，包括以下步骤：

步骤301，将带有标签的数据流从作为入口的数据流处理节点输入数据流系统。

在本实施例中，步骤301与图2对应实施例中的步骤201基本一致，这里不再赘述。

步骤302，收集数据流系统中的各个数据流处理节点对数据流的处理而生成的处理结果信息。

在本实施例中，在基于步骤201中输入至的数据流系统根节点的数据流后，数据流系统中的节点可以将对各个数据流进行处理所生成的处理结果信息输出，电子设备即可以对这些处理结果信息进行收集。其中，节点所生成的处理结果信息可以包括数据流处理节点的节点标识、数据流处理节点处理数据流前的输入数据流、数据流处理节点处理数据流后的输出数据流、时间戳、用于描述数据流处理节点处理数据流时调用其他数据流处理节点的情况的节点调用信息。其中，这些信息都以预设的信息规范进行呈现，以供电子设备在后续步骤中通过正则匹配等方式进行识别。上述时间戳可以是与数据流处理节点完成数据流处理时的时间所对应的时间戳。

步骤303，对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合。

在本实施例中，基于步骤302所收集的每一个处理结果信息，电子设备可以基于标签确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并根据带有标签的数据流流经的至少一个节点而生成流经节点集合。

在本实施例的一些可选的实现方式中，步骤302可以通过判断处理结果信息中的输入数据流和/或输出数据流中是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点。由于结果信息中包含有节点的输入数据流与输出数据流，而带有标签的数据流在经过节点处理后节点生成的处理结果信息也包含对于标签的处理结果信息，因此电子设备可以根据结果信息中的输入数据流和输出数据流中的至少一项即可判断生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点。

步骤304，基于流经节点集合中的节点所生成的处理结果信息中的时间戳、节点调用信息确定带有标签的数据流在流经节点集合中的节点的流经顺序和流经节点集合中的各节点的调用关系。

在本实施例中，在基于步骤303获取到流经节点集合后，电子设备可以基于节点调用信息确定节点之间的调用关系。节点调用信息可以通过预先设置的信息规范来表示关联关系，例如节点的调用信息可以通过plugin：B表示，其中plugin表示该信息为当前节点对其他节点的调用信息，B表示被调用节点的节点标识。电子设备可以使用预先配置好的与信息规范对应的正则表达式对节点调用信息进行匹配，从而确定节点之间的调用关系。

电子设备可以基于流经节点集合中的节点所生成的处理结果信息中的时间戳确定数据流在经过流经节点集合时各个节点执行完带有标签的数据流的时间。同时，电子设备可以基于节点之间的调用关系进一步确定数据流进入各个节点的顺序。当一个节点调用其他节点，被调用的节点处理完数据流的时间早于调用的节点，但数据流进入被调用的节点却晚于调用的节点。因此，结合时间戳以及节点间的调用关系即可确定带有标签的数据流流经上述流经节点集合时各个节点顺序。当节点调用了其他的多个节点时，节点调用信息还可以通过按节点调用顺序进行排序，以使电子根据该排序来确定节点调用顺序。电子设备也可以通过时间戳确定节点调用顺序。

步骤305，从作为入口的数据流处理节点开始，根据所确定的流经顺序以及调用关系递归检测节点生成的处理结果信息中的输入数据流与输出数据流的差别是否异常。

在本实施例中，电子设备从根节点开始，根据所确定的流经顺序以及调用关系对节点生成的处理结果信息中的输入数据流与输出数据流的差别是否异常进行递归检测。

其中递归检测通过如下方式进行：

步骤一：检测节点生成的处理结果信息中的输入数据流与输出数据流的差别是否异常；

步骤二：若不存在异常，则对当前节点的下一个节点从步骤一开始执行；若存在异常，则对依次对当前节点所调用的至少一个节点从步骤一开始执行。

其中，步骤一中检测节点生成的处理结果信息中的输入数据流与输出数据流的差别是否异常可以通过现有技术中的黑盒测试进行，这里不再赘述。

需要说明的是，上述步骤二可以循环执行多次直至满足步骤306中的条件。

可选的，上述检测节点生成的处理结果信息中的输入数据流与输出数据流的差别是否异常可以使用预设的第一正则表达式对输入数据流与输出数据流的差别进行匹配。其中，该第一正则表达式是预先设定的用于判断输入数据流和输出数据流的差别是否异常的正则表达式其可以是与正常状态匹配的表达式，也可以是与异常状态匹配的表达式。当第一正则表达式是与正常状态匹配的表达式，则匹配成功可确定入数据流与输出数据流的差别不存在异常，否则确定入数据流与输出数据流的差别异常；当第一正则表达式是与异常状态匹配的表达式，则匹配成功可确定入数据流与输出数据流的差别异常，否则确定输入数据流与输出数据流的差别不存在异常。

步骤306，若节点生成的处理结果信息中的输入数据流与输出数据流之间的差别存在异常，并且该节点未调用其他节点或者所调用的其他节点的处理结果信息中的输入数据流与输出数据流之间的差别不存在异常时，则确认该节点为故障节点。

在本实施例中，当节点生成的处理结果信息中的输入数据流与输出数据流之间的差别存在异常时，则证明该节点自身或者其处理数据流过程中调用的其他节点有故障。当该节点未调用其他节点或者所调用的其他节点的处理结果信息中的输入数据流与输出数据流之间的差别不存在异常时，则证明只存在当前节点有故障这一种可能性。因此，电子设备可以在此时将当前节点确定为故障节点。

从图3中可以看出，与图2对应的实施例相比，本实施例中的监控方法的流程300突出了生成监控信息的步骤，实现了对故障节点的定位。

在本实施例中的一些实现方式中，上述方法在确认了故障节点后，还可以进一步根据已确认故障节点生成的处理结果信息的输入数据流与输出数据流之间的差别确定已确认为故障节点所发生故障的故障类型。

可选的，电子设备可以使用第二正则表达式对已确认故障节点生成的处理结果信息的输入数据流与输出数据流之间的差别进行匹配，以检测已确认故障节点的故障类型。第二正则表达式可以包括多个与故障类型对应的正则表达式。故障类型可以是各种导致节点发生故障的原因，例如数据库停止服务故障、数据已清空故障。当已确认故障节点生成的处理结果信息的输入数据流与输出数据流之间的差别与第二正则表达式中的一个正则表达式匹配时，则确认该故障类型为所匹配的正则表达式所对应的故障。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种用于数据流系统的监控装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例所述的用于数据流系统的监控装置400包括：输入单元401、收集单元402、流经节点集合生成单元403和监控信息生成单元404。其中，输入单元401配置用于将带有标签的数据流从所述作为入口的数据流处理节点输入数据流系统；收集单元402配置用于收集数据流系统中的各个数据流处理节点对数据流的处理而生成的处理结果信息；流经节点集合生成单元403配置用于对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合；而监控信息生成单元404配置用于基于流经节点集合和流经节点集合中的节点所生成的处理结果信息，生成数据流系统的监控信息。

在本实施例中，用于数据流系统的监控装置400的输入单元401可以通过将带有标签的数据流输入至作为数据流系统的入口的数据流处理节点(以下简称“根节点”)，例如图1中数据流系统103的数据流处理节点1031。其中，带有标签的数据流可以是电子设备通过如下方式预先获取的。

在本实施例中，在基于输入单元401输入至的数据流系统根节点的数据流后，数据流系统中的节点可以将对各个数据流进行处理所生成的处理结果信息输出，收集单元402即可以对这些处理结果信息进行收集。可选的，数据流处理系统中的节点可以将数据流处理信息输出至预设的存储区域，收集单元402即在该存储区域收集到该处理结果信息。数据流系统对处理结果信息的输出可以是根据预先配置的命令执行的。

在本实施例中，基于收集单元402所收集的每一个处理结果信息，流经节点集合生成单元403可以根据该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合。

在本实施例中，上述监控信息生成单元404可以根据流经节点集合生成单元403所生成的流经节点集合以及标签获取到所流经节点集合中的节点所呈的处理结果信息，并根据所流经节点集合以及标签获取到所流经节点集合中的节点所呈的处理结果信息生成监控信息。

本领域技术人员可以理解，上述用于数据流系统的监控装置400还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图4中未示出。

下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统500的结构示意图。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统500操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括输入单元、收集单元、流经节点集合生成单元和监控信息生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，输入单元还可以被描述为“将带有标签的数据流从所述作为入口的数据流处理节点输入所述数据流系统的单元”。

作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：将带有标签的数据流从所述作为入口的数据流处理节点输入所述数据流系统；收集数据流系统中的各个数据流处理节点对数据流的处理而生成的处理结果信息；对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合；基于所述流经节点集合和所述流经节点集合中的节点所生成的处理结果信息，生成所述数据流系统的监控信息。其中，所述数据流系统包括用于对数据流进行处理的数据流处理节点集合，所述数据流从数据流处理节点集合中的、作为入口的数据流处理节点流入并在流经数据流处理节点集合中的至少一个数据流处理节点之后流出所述数据流系统。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种用于数据流系统的监控方法，其特征在于，所述数据流系统包括用于对数据流进行处理的数据流处理节点集合，所述数据流从数据流处理节点集合中的、作为入口的数据流处理节点流入并在流经数据流处理节点集合中的至少一个数据流处理节点之后流出所述数据流系统，所述监控方法包括：

将带有标签的数据流从所述作为入口的数据流处理节点输入所述数据流系统；

收集数据流系统中的各个数据流处理节点对数据流的处理而生成的处理结果信息；

对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合；

基于所述流经节点集合和所述流经节点集合中的节点所生成的处理结果信息，生成所述数据流系统的监控信息。

2.根据权利要求1所述的方法，其特征在于，所述处理结果信息包括：数据流处理节点的节点标识、数据流处理节点处理数据流前的输入数据流、数据流处理节点处理数据流后的输出数据流。

3.根据权利要求2所述的方法，其特征在于，所述对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合，包括：

对于所收集的每一个处理结果信息，判断处理结果信息中的输入数据流和/或输出数据流中是否包含标签；

若包含，则确定生成该处理结果信息的数据流处理节点属于带有标签的数据流流经的节点；

根据带有标签的数据流流经的至少一个节点生成流经节点集合。

4.根据权利要求2所述的方法，其特征在于，所述处理结果信息还包括数据流处理节点处理数据流时调用其他数据流处理节点的节点调用信息、时间戳；以及

所述基于所述流经节点集合和所述流经节点集合中的节点所生成的处理结果信息，生成所述数据流系统的监控信息，包括：

基于所述流经节点集合中的节点所生成的处理结果信息中的时间戳、节点调用信息确定带有标签的数据流在所述流经节点集合中的节点的流经顺序和所述流经节点集合中的各节点的调用关系；

从作为入口的数据流处理节点开始，根据所确定的流经顺序以及所述调用关系递归检测节点生成的处理结果信息中的输入数据流与输出数据流的差别是否异常；

若节点生成的处理结果信息中的输入数据流与输出数据流之间的差别存在异常，并且该节点未调用其他节点或者所调用的其他节点的处理结果信息中的输入数据流与输出数据流之间的差别不存在异常时，确认该节点为故障节点。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据已确认故障节点生成的处理结果信息的输入数据流与输出数据流之间的差别确定所述已确认故障节点的故障类型。

6.一种用于数据流系统的监控装置，其特征在于，所述数据流系统包括用于对数据流进行处理的数据流处理节点集合，所述数据流从数据流处理节点集合中的、作为入口的数据流处理节点流入并在流经数据流处理节点集合中的至少一个数据流处理节点之后流出所述数据流系统，所述监控装置包括：

输入单元，配置用于将带有标签的数据流从所述作为入口的数据流处理节点输入所述数据流系统；

收集单元，配置用于收集数据流系统中的各个数据流处理节点对数据流的处理而生成的处理结果信息；

流经节点集合生成单元，配置用于对于所收集的每一个处理结果信息，基于该处理结果信息是否包含对于标签的处理结果信息确定生成该处理结果信息的数据流处理节点是否属于带有标签的数据流流经的节点，并且根据带有标签的数据流流经的至少一个节点而生成流经节点集合；

监控信息生成单元，配置用于基于所述流经节点集合和所述流经节点集合中的节点所生成的处理结果信息，生成所述数据流系统的监控信息。

7.根据权利要求6所述的装置，其特征在于，所述处理结果信息包括：数据流处理节点的节点标识、数据流处理节点处理数据流前的输入数据流、数据流处理节点处理数据流后的输出数据流。

8.根据权利要求7所述的装置，其特征在于，所述流经节点集合生成单元，包括：

判断子单元，对于所收集的每一个处理结果信息，判断处理结果信息中的输入数据流和/或输出数据流中是否包含标签；

确定子单元，配置用于若处理结果信息中的输入数据流和/或输出数据流中包含对于标签的处理结果信息，则确定生成该处理结果信息的数据流处理节点属于带有标签的数据流流经的节点；

生成子单元，配置用于根据带有标签的数据流流经的至少一个节点生成流经节点集合。

9.根据权利要求7所述的装置，其特征在于，所述处理结果信息还包括时间戳、数据流处理节点处理数据流时调用其他数据流处理节点的节点调用信息；以及所述监控信息生成单元，包括：

流经顺序与调用关系确定子单元，配置用于基于所述流经节点集合中的节点所生成的处理结果信息中的时间戳、节点调用信息确定带有标签的数据流在所述流经节点集合中的节点的流经顺序和所述流经节点集合中的各节点的调用关系；

递归检测子单元，配置用于从作为入口的数据流处理节点开始，根据所确定的流经顺序以及所述调用关系递归检测节点生成的处理结果信息中的输入数据流与输出数据流的差别是否异常；

故障节点确定子单元，配置用于若节点生成的处理结果信息中的输入数据流与输出数据流之间的差别存在异常，并且该节点未调用其他节点或者所调用的其他节点的处理结果信息中的输入数据流与输出数据流之间的差别不存在异常时，确认该节点为故障节点。

10.根据权利要求9所述的装置，其特征在于，所述监控信息生成单元还包括：

故障类型确定子单元，配置用于根据已确认故障节点生成的处理结果信息的输入数据流与输出数据流之间的差别确定所述已确认故障节点的故障类型。