CN105122733A - 队列监控和可视化 - Google Patents

Abstract

一种方法，包括在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息。所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一。所述方法还包括以下步骤：在所述数据处理应用程序的执行期间动态地分析所述信息，以识别与所述数据处理应用程序进行通信的队列；以及在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述数据处理应用程序与所述队列之间的关系，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。

Description

队列监控和可视化

优先权要求

本申请要求2013年2月14日提交的美国专利申请序列号61/764,794和2013年3月15日提交的美国专利申请序列号13/834,491的优先权，这两个申请的全部内容通过引用包含于此。

背景技术

本说明书涉及例如数据处理环境中的队列监控和可视化。

企业使用诸如数据仓库、客户关系管理和数据挖掘等的复杂的数据处理系统来管理数据。在许多数据处理系统中，将数据从诸如数据库文件、操作系统、平面文件、因特网等的许多不同的数据源拉入(pullinto)中央储存库。通常在将数据载入数据系统之前对数据进行变换。变换可以包括清理(cleansing)、集成和提取。为了记录数据、其源和针对数据系统中存储的数据所发生的变换，可以使用元数据。元数据(有时被称为“关于数据的数据(dataaboutdata)”)是描述其它数据的属性、格式、源、历史、相互关系等的数据。元数据管理在复杂的数据处理系统中发挥核心作用。

有时，数据库用户可能想要调查如何根据不同的数据源得出某些数据。例如，数据库用户可能想要知晓如何生成数据集或数据对象、或者从哪个源导入数据集或数据对象。追踪数据集回至其被得出的源，这被称为数据志追踪(或“上游数据志追踪”)。有时数据库用户可能想要调查如何使用了某些数据集(被称为“下游数据志追踪”或“影响分析”)、例如哪个应用程序读取了给定数据集。数据库用户还可能对知晓数据集与其它数据集如何相关感兴趣。例如，用户可能想要知晓数据集是否被修改、哪些表将受到影响等。

发明内容

在一般方面中，一种计算机实现的方法包括在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息。所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一。所述方法包括在所述数据处理应用程序的执行期间动态地分析所述信息，以识别与所述数据处理应用程序进行通信的队列。所述方法包括在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述数据处理应用程序与所述队列之间的关系，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。

实施例可以包括以下内容中的一个或多个。

表示数据的源和数据的目的地至少之一的所述信息包括所述队列的标识符。

所述方法包括在所述数据处理应用程序的执行期间动态地确定所述队列的状态。在一些情况下，所述方法包括基于所述队列的状态来提供通知。在一些情况下，所述状态包括所述队列中的记录的数量和与所述队列相关联的经过时间至少之一。

所述方法包括确定所述数据处理应用程序的状态。

所述方法包括接收识别所述队列的输入。在一些情况下，所述方法包括基于处理并且基于识别所述队列的输入来识别所述数据处理应用程序。

一个或多个所述数据处理应用程序包括计算图形。

所述方法包括生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的可视化表示。在一些情况下，所述方法包括将所述可视化表示显示在用户界面上。在一些情况下，所述可视化表示包括所述队列的状态的表示。

在一般方面中，一种存储在计算机可读介质上的软件，所述软件包括用于使计算机系统在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息的指令。所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一。所述软件包括用于使所述计算机系统进行以下操作的指令：在所述数据处理应用程序的执行期间动态地分析所述信息，以识别与所述数据处理应用程序进行通信的队列；以及在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述数据处理应用程序与所述队列之间的关系，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。

在一般方面中，一种计算系统，包括输入端口，所述输入端口被配置为在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息。所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一。所述系统包括至少一个处理器，所述至少一个处理器被配置为进行以下操作：在所述数据处理应用程序的执行期间动态地分析所述信息，以识别与所述数据处理应用程序进行通信的队列；以及在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述数据处理应用程序与所述队列之间的关系，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。

在一般方面中，一种系统，包括用于在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息的部件。所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一。所述系统包括：用于在所述数据处理应用程序的执行期间动态地分析所述信息以识别与所述数据处理应用程序进行通信的队列的部件；以及用于在所述数据处理应用程序的执行期间动态地分析所述信息以识别所述数据处理应用程序与所述队列之间的关系的部件，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。

在一般方面中，一种计算机实现的方法，包括在数据处理应用程序的执行期间从所述数据处理应用程序接收表示所述数据处理应用程序与队列之间的关系的信息。该关系包括所述队列是所述数据处理应用程序所用的数据的源和所述队列是来自所述数据处理应用程序的数据的目的地至少之一。所述方法包括以下步骤：生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示；以及在所述数据处理应用程序的执行期间，将所述图形表示显示在用户界面上。

实施例可以包括以下内容中的一个或多个。

所述图形表示包括用以表示所述数据处理应用程序的第一节点、用以表示所述队列的第二节点、以及用以表示所述关系的所述数据处理应用程序与所述队列之间的连接。在一些情况下，所述方法包括响应于所述第一节点的用户选择来显示与所述数据处理应用程序有关的信息。在一些情况下，所述方法包括响应于所述第二节点的用户选择来显示与所述队列有关的信息。

所述方法包括在所述数据处理系统的执行期间动态地确定所述队列的动态状态。在一些情况下，所述图形表示包括所述队列的状态的表示。在一些情况下，所述方法包括基于所述队列的状态来提供通知。在一些情况下，所述队列的状态包括第一队列中的记录的数量和与该第一个队列相关联的经过时间至少之一。

所述方法包括在所述数据处理应用程序的执行期间动态地确定所述数据处理应用程序的状态。在一些情况下，所述图形表示包括所述数据处理应用程序的状态的表示。

所述方法包括从多个数据处理应用程序接收表示各数据处理应用程序与至少一个相应之间的关系的信息。生成图形表示的步骤包括生成所述多个数据处理应用程序、多个所述队列和所述关系的图形表示。

接收信息的步骤包括：在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息。所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一。所述接收信息的步骤包括在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述队列和所述关系。

在一般方面中，一种存储在计算机可读介质上的软件，所述软件包括用于使计算系统在数据处理应用程序的执行期间从所述数据处理应用程序接收表示所述数据处理应用程序与队列之间的关系的信息的指令。该关系包括所述队列是所述数据处理应用程序所用的数据的源和所述队列是来自所述数据处理应用程序的数据的目的地至少之一。所述软件包括用于使所述计算系统进行以下操作的指令：生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示；以及在所述数据处理应用程序的执行期间，将所述图形表示显示在用户界面上。

在一般方面中，一种计算系统，包括输入端口，所述输入端口被配置为在数据处理应用程序的执行期间从所述数据处理应用程序接收表示所述数据处理应用程序与队列之间的关系的信息。该关系包括所述队列是所述数据处理应用程序所用的数据的源和所述队列是来自所述数据处理应用程序的数据的目的地至少之一。所述计算系统包括处理器，所述处理器被配置为进行以下操作：生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示；以及在所述数据处理应用程序的执行期间，将所述图形表示显示在用户界面上。

在一般方面中，一种计算系统，包括用于在数据处理应用程序的执行期间从所述数据处理应用程序接收表示所述数据处理应用程序与队列之间的关系的信息的部件。该关系包括所述队列是所述数据处理应用程序所用的数据的源和所述队列是来自所述数据处理应用程序的数据的目的地至少之一。所述计算系统包括：用于生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示的部件；以及用于在所述数据处理应用程序的执行期间将所述图形表示显示在用户界面上的部件。

在一般方面中，一种计算机实现的方法，包括在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息。所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一。所述方法包括在所述数据处理应用程序的执行期间动态地分析所述信息，以识别安装在第三计算机系统上的与所述数据处理应用程序进行通信的队列。所述方法包括在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述数据处理应用程序与所述队列之间的关系，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。所述方法包括以下步骤：生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示；以及在所述数据处理应用程序的执行期间，将所述图形表示显示在用户界面上。

方面可以包括以下优点中的一个或多个。这里所述的用以进行队列监控和可视化的方法呈现在一个或多个完全不同的计算系统上发生的数据处理的可视化表示。数据处理应用程序与队列之间的关系的可视化表示可以容易理解并且容易进行操作。如果在作业的执行期间发生错误，则可以使在处理该作业时涉及的数据处理应用程序与队列的状态可视化，使得用户可以理解错误的性质。

附图说明

图1是计算系统的框图。

图2是数据处理应用程序与队列之间的关系的图。

图3是队列的图。

图4是可视化系统的框图。

图5～10是数据处理环境的示例可视化表示。

图11和12是流程图。

具体实施方式

在数据处理环境中，数据处理应用程序对输入数据进行各种处理，例如以分析或操作该数据。数据处理环境中的数据处理应用程序可以从队列读取输入数据和/或将输出数据写入队列，从而可以用作用以控制数据处理应用程序之间的数据流动的缓冲器。可以实时地(即，在数据处理应用程序的执行期间)自动且动态地检测数据处理应用程序与队列之间的关系。可以实时地(即，在数据处理应用程序的执行期间)生成描述数据处理应用程序、队列和它们的关系的可视化表示。还可以动态地检测表示数据处理应用程序和/或队列的性能的实时状态信息并且以可视化表示进行显示。

图1示出可以使用这里所述的监控和可视化技术的示例数据处理系统100。该系统100包括数据源102，该数据源102可以包括诸如存储装置或指向在线数据流的连接等的一个或多个数据源，其中这一个或多个数据源各自可以以各种格式(例如，数据库表、电子表格文件、纯文本文件或大型机所使用的原生格式)中的任意格式存储或提供数据。执行环境104包括预处理模块106和执行模块112。执行环境104可以安装在计算机系统130上、例如在诸如某版本的UNIX操作系统等的适当操作系统的控制下安装在一个或多个通用计算机上。例如，执行环境104可以包括包含使用多个中央处理单元(CPU)或处理器内核的计算机系统的结构的多节点并行计算环境，其中这些计算机系统可以是本地的(例如，诸如对称多处理(SMP)计算机等的多处理器系统)或本地分布式的(例如，作为集群所连接的多个处理器或大规模并行处理(MPP)系统)、或者远程的或远程分布式的(例如，经由局域网(LAN)和/或广域网(WAN)所连接的多个处理器)、或者它们的任何组合。

预处理模块106从数据源102读取数据。提供数据源102的存储装置可以相对于执行环境104是本地的、例如存储在与安装执行环境104的计算机相连接的存储介质(例如，硬盘驱动器108)上，或者可以相对于执行环境104是远程的、例如安装在经由(例如，云计算基础架构所提供的)远程连接与安装执行环境104的计算机进行通信的远程系统(例如，大型机110)上。

执行模块112处理由预处理模块106从数据源所读取的数据。执行模块112包括一个或多个数据处理应用程序以执行作业、即以对该数据进行特定处理。可以将与执行模块112的数据处理应用程序相关联的元数据存储在诸如数据库、数据表或另一类型的数据结构等的数据储存库152中。可以将如此得到的来自执行模块112的输出数据114存储回到数据源102中或执行环境104可访问的数据存储系统116中、或者使用该输出数据114。

执行模块112的数据处理应用程序可以针对一个或多个队列154进行数据的读取和/或写入。队列154可被视为提供用以管理数据处理应用程序之间的数据交换的机制的数据结构。与数据处理应用程序相关联的(例如，存储在储存库152中的)元数据识别用于数据处理应用程序读取数据(还称为“订阅(subscribing)”)的并且用于数据处理应用程序写入数据(还称为“发布(publishing)”)的队列。在一些示例中，与队列154相关联的元数据可以识别针对该队列进行发布和/或订阅的数据处理应用程序。在所示示例中，队列154安装在与安装执行环境104的计算机系统130不同的计算机系统132上。在一些示例中，队列154可以安装在与执行环境104相同的计算机系统上。

数据存储系统116还可由开发环境118进行访问，其中在该开发环境118中，开发人员120能够配置数据处理应用程序和/或队列。在一些实现中，开发环境118是用于开发应用程序作为数据流图的系统，其中这些数据流图包括由顶点(表示数据处理组件或数据集)之间的有向链接(表示工作元素(即数据)的流)所连接的顶点。例如，在通过引用而包含于此的标题为“ManagingParametersforGraph-BasedApplications”的美国公开2007/0011668中更详细地描述了这种环境。在通过引用而包含于此的标题为“EXECUTINGCOMPUTATIONSEXPRESSEDASGRAPHS”的美国专利5,966,072中描述了用于执行这种基于图形的计算的系统。根据该系统所得到的数据流图提供如下的方法，其中这些方法用于相对于图形组件所表示的各个处理进行信息的流入和流出，用于使信息在这些处理之间移动，并且用于定义这些处理的运行顺序。该系统包括从任何可用的方法中选择处理过程间通信方法的算法(例如，根据图形的链接的通信路径可以使用TCP/IP或UNIX域套接字、或者使用共用存储器以使数据在处理之间传递)。

可视化模块150在数据处理应用程序的执行期间，生成执行模块112所执行的数据处理应用程序以及关联的队列154的可视化表示(这里被称为“数据处理环境”)。可视化表示可以是图形表示、表格表示或另一类型的表示。可视化表示例如可以包括数据处理应用程序、队列、数据处理应用程序与队列之间的关系、与数据处理应用程序和/或队列有关的状态信息、或者其它信息的表示。在所示示例中，可视化模块150安装在与安装执行环境104的计算机系统130和安装队列154的计算机系统132均不同的计算机系统134上。在一些示例中，可视化模块150可以安装在与执行环境104相同的计算机系统和/或与队列154相同的计算机系统上。

为了生成数据处理环境的可视化表示，在数据处理应用程序的执行期间，可以访问与数据处理应用程序相关联的元数据(例如，数据储存库152中所存储的元数据)以动态地识别数据处理应用程序与队列之间的关系。例如，可以使用与数据处理应用程序相关联的元数据，来识别数据处理应用程序中的一个或多个数据处理应用程序的发布和/或订阅所针对的队列。在一些示例中，还可以访问与队列相关联的元数据、诸如数据储存库152中所存储的队列元数据和/或队列接口中所存储的队列数据等。基于所识别出的关系，可以生成数据处理环境的可视化表示以显示在用户界面160上。例如，在图形表示中，可以使用节点来表示数据处理应用程序和队列，并且可以使用连接节点的线来表示数据处理应用程序与队列之间的关系。在表格表示中，可以使用数据的行和列来表示与数据处理应用程序和队列有关的信息。

数据处理环境的可视化表示还可以包括与数据处理应用程序和/或队列有关的动态更新的状态信息。在一些示例中，例如来自用户的外部输入可以识别要监控哪些数据处理应用程序和/或队列。在一些示例中，可以自动指示执行模块112所执行的数据处理应用程序及其关联队列中的一部分或全部以进行监控。在一些示例中，可以将要监控的数据处理应用程序和/或队列的标识符存储在监控数据库中。可以访问在监控数据库中识别出的与数据处理应用程序和/或队列相关联的元数据以确定状态信息。

参考图2，在数据处理应用程序与队列之间的关系的示例中，第一数据处理应用程序200将数据发布至队列202。两个下游数据处理应用程序204和206向队列202进行订阅，从而例如从该队列提供数据。可以通过对与数据处理应用程序200、队列202、数据处理应用程序和队列这两者等相关联的元数据进行分析来确定队列202和第一数据处理应用程序200之间的关系(即，第一数据处理应用程序200向队列202进行发布)。例如，数据处理应用程序200可以具有用于规定数据处理应用程序200向队列202进行发布的关联元数据。同样可以通过对与数据处理应用程序204、206、队列202、数据处理应用程序和队列这两者等相关联的元数据进行分析，来确定队列202和下游数据处理应用程序204、206之间的关系(即，下游数据处理应用程序204、206向队列202进行订阅)。

队列可以用作用以控制从上游数据处理应用程序向下游数据处理应用程序的数据流动的缓冲器。例如，如果与下游数据处理应用程序204、206可以从队列202读取数据的速度相比，第一数据处理应用程序200以更快的速度将数据发布至队列202，则数据可以累积在队列202中，直到下游数据处理应用程序204、206准备好读取数据为止。队列还可以基本维持传入和传出的数据记录的顺序。例如，在先进先出(first-in-first-out)队列中，发布至队列的第一个数据记录可以是在对该队列进行读取的情况下出现的第一个记录。在存在针对单个队列进行发布或订阅的多个数据处理应用程序的情况下，该队列可以有助于确保适当地收集并分发数据记录。例如，队列202可以确保将由第一数据处理应用程序200发布至队列202的数据适当地分发至下游数据处理应用程序204、206。

队列可被视为可以包括文件系统中的目录或多目录的数据结构。队列中的数据(可以是压缩数据)存在于磁盘上的队列目录中。在将数据发布至队列时，数据记录落到队列目录中的磁盘上。例如，参考图3，在文件系统中利用目录/queue_A来体现队列300。从发布的数据处理应用程序所接收到的数据记录302存在于目录/queue_A中。

各队列目录可以具有一个或多个子目录304、306(还被称为订阅者(subscriber))。各订阅者304、306链接至目录/queue_A中的数据记录，其中这些数据记录要被分别提供至向队列300进行订阅的相应数据处理应用程序308、310。在进行订阅的数据处理应用程序消耗(consume)数据记录时，指针312、314(还被称为光标)分别在关联的订阅者子目录304、306中移动。光标用作指向要提供至进行订阅的数据处理应用程序308、310的下一数据记录的一种书签，并且示出相应的进行订阅的数据处理应用程序处理了队列数据中的多少数据。由于各进行订阅的数据处理应用程序308、310可能以自己的速率消耗数据记录，因此向各订阅者目录304、306分配自己的光标312、314。因而，例如，在例示示例中，如光标312所示，与订阅者子目录304相对应的数据处理应用程序308处理完了数据记录5；并且如光标314所示，与订阅者子目录306相对应的数据处理应用程序310处理完了数据记录6。光标312、314可以用作恢复机构：如果进行订阅的数据处理应用程序失败，则可以使用相应光标的位置来从最后的检查点或处理阶段起恢复处理。在针对队列的所有订阅者处理了特定数据记录之后，可以删除该数据记录。

在写事务的提交部分期间，发布的数据处理应用程序可以完成将数据文件写入到磁盘上的队列目录。各数据文件可以包含一个或多个数据记录。各数据记录包含以字节为单位的特定数据量。在一些情况下，可以对队列数据进行压缩，其中在这种情况下，记录中所包含的字节的数量可能大于磁盘上所存储的字节的数量。

可以使用各种性能指标来监控队列和/或数据处理应用程序的状态。例如，可用于监控队列的状态的性能指标可以包括但不限于以下内容中的一个或多个：

·MAX_DISK_SPACE。针对使用最大的磁盘空间的订阅者的磁盘上的字节数量。

·MAX_FILES。针对具有最多的剩余待处理文件的订阅者的文件数量。

·MAX_RECORDS。针对具有最多的剩余待处理记录的订阅者的记录数量。

·MAX_RECORDS_SPACE。针对具有最多的剩余待处理记录的订阅者的记录所占用的磁盘上的字节数量。如果队列数据被压缩，则该值可能不同于MAX_DISK_SPACE值。

·MAX_READ_ELAPSED。自为了读取数据而等待了最长时间的订阅者从队列读取数据起的时间(例如，以秒为单位)。

·WRITE_ELAPSED。自上次将数据写入队列起的时间(例如，以秒为单位)。

·MAX_SKEW。最大分区相对于最小分区的比(例如，表示为百分比)最大的订阅者的该比。

可用于监控数据处理应用程序的状态的示例性能指标可以包括但不限于以下内容中的一个或多个：

·DISK_SPACE。磁盘上剩余的供订阅者进行处理的字节数量。

·FILES。磁盘上剩余的供订阅者进行处理的文件数量。

·RECORDS。磁盘上剩余的供订阅者进行处理的记录数量。

·RECORDS_SPACE。磁盘上剩余的供订阅者进行处理的记录中的未压缩字节的数量。如果队列数据被压缩，则该数据可能不同于MAX_DISK_SPACE值。

·READ_ELAPSED。自进行订阅的数据处理应用程序上次从队列读取数据起的经过时间(例如，以秒为单位)。

·SKEW。订阅者所用的最大分区相对于最小分区的比(例如，表示为百分比)。

可以生成动态地检测到的数据处理应用程序与队列之间的关系的可视化表示(即，数据处理环境)并呈现在用户界面上。该可视化表示可以是交互式的(例如，设置在web浏览器上)，使得用户可以浏览数据处理应用程序和队列，创建新的和/或改变现有的数据处理应用程序，指定数据处理应用程序的参数，调度作业，并且进行其它动作。可以向用户生成基于表单的浏览器界面以搜索并查看数据处理应用程序和队列以及与数据处理应用程序和队列有关的信息。例如可以利用各种图形元素。可以将关系表示为使表示元数据对象或元数据对象的分组的图形节点相连接的图形线。

数据处理环境的可视化表示可以提供可视化表示中所包括的与队列和/或数据处理应用程序的状态有关的信息。例如，可视化表示可以包括与队列是否具有活动的发布者、活动的订阅者、这两者、并非这两者中任一者等有关的指示。可视化表示可以包括与数据处理应用程序是否是针对一个或多个队列的发布者和/或订阅者有关的指示。可以显示针对队列和/或数据处理应用程序的警告、错误和其它运行时间状态指示器。还可以显示向队列进行发布、向队列进行订阅等的数据处理作业的表示。可以以图形形式或以表格格式显示诸如以上列出的性能指标等的性能指标。在一些配置中，可以针对队列和/或数据处理应用程序建立性能指标阈值，使得在一个或多个关联性能指标违反相应的阈值的情况下，可以提供警报(例如，可视化表示内的警报、音频警报或其它类型的警报)。

参考图4，可视化模块150(还参见图1)生成数据处理环境的可视化表示，其中该数据处理环境例如包括一个或多个队列402以及一个或多个数据处理应用程序404。

队列监控子模块406向数据处理环境中的各队列402(标识为队列1-N)的接口进行查询以确定各队列402的状态。队列监控子模块406可以定期(例如，每10分钟)向队列的相应接口进行查询。状态信息例如可以包括以上列出的性能指标中的一个或多个。队列监控子模块406将与各队列402的状态有关的数据提供至报告子模块408。

在一些示例中，数据处理应用程序例如经由与数据处理应用程序相关联的元数据来通知何时这些数据处理应用程序针对队列进行读取或写入。数据处理应用程序404(标识为数据处理应用程序1～N)将表示这些数据处理应用程序读取自或写入至的队列的标识的元数据连同状态和追踪元数据一起提供至报告子模块408。在一些示例中，报告子模块408访问与数据处理应用程序404相关联的元数据，以识别队列并确定状态和追踪元数据。

报告子模块408集合来自数据处理应用程序404和队列监控模块406的信息并且将该集合信息转发至可视化子模块410。可视化子模块410将所接收到的与数据处理环境的队列402和数据处理应用程序404有关的数据存储在数据库412中。可视化子模块410使与队列402有关的信息和与数据处理应用程序404有关的信息相关，以识别各个队列402和各个数据处理应用程序404之间的关系(例如，以识别哪些数据处理应用程序针对哪些队列进行发布和订阅)。基于队列402和数据处理应用程序404之间的相关关系，可视化子模块410生成数据处理环境的表示。该表示例如可以表示队列402和数据处理应用程序404之间的关系、队列和/或数据处理应用程序的状态、以及/或者其它信息。可视化子模块410通常将该表示提供至诸如web浏览器414等的显示界面，以绘制作为诸如图形表示或表格表示等的可视化表示。

图5示出数据处理环境的图形表示500(还被称为队列连接图)的示例。队列连接图500示意性示出表示为节点的数据处理应用程序和队列之间的连接。队列连接图500描述向队列504(标记为“testqueue”)进行发布(写入)的数据处理应用程序502(标记为“publish1.pset”)。队列504具有两个订阅者506、508(第一个标记为“one”并且第二个标记为“two”)。各订阅者506、508分别对应于读取自(订阅)队列504(标记为“testqueue1”)的数据处理应用程序510(标记为“subscribe1.pset”)和512(标记为“subscribe2.pset”)。数据处理应用程序510(标记为“subscribe1.pset”)发布至队列514(标记为“testqueue2”)，其中该队列514具有对应于又一数据处理应用程序516(标记为“subscribe3.pset”)的订阅者(未示出)。数据处理应用程序512(标记为“subscribe2.pset”)向队列518(标记为“testqueue3”)进行发布，其中该队列518具有对应于又一数据处理应用程序520(标记为“subscribe4.pset”)的订阅者(标记为“one”)。

诸如队列连接图500等的队列连接图包括与该队列连接图中所描述的队列和数据处理应用程序有关的信息。在一些示例中，用户可以选择要显示在队列连接图中的信息。例如，队列连接图中所包括的示例信息可以包括以下信息的一部分或全部：

·队列连接图中所描述的各队列的名称。在一些示例中，队列名称可被默认设置为与创建队列的目录的名称相同。

·发布者和订阅者的活动。各队列具有分别连接至一个或多个发布者以及一个或多个订阅者的输入和输出。诸如图标或颜色指示器等的指示器可以表示各发布者或订阅者是否在运行中。例如，如果针对队列的一个或多个发布者正在运行，则队列的输入侧可以呈绿色。如果针对队列的一个或多个订阅者正在运行，则队列的输出侧可以呈绿色。

·队列或数据处理应用程序问题。可以利用诸如图标、颜色指示器或其它类型的指示器等的指示器来描述与队列或数据处理应用程序相关联的诸如错误或警报等的问题。例如，指示器可以指示与队列或数据处理应用程序相关联的问题的数量、最严重问题的严重程度或者问题的另一指示。

·诸如以上列出的性能指标等的性能指标。例如，在所示示例中，示出代表性能指标MAX_RECORDS的数量。最大记录数量大可能暗示数据记录不断累积在队列中，从而可能表示订阅作业存在问题。

·订阅者。可以将针对队列的各订阅者的名称连同针对各订阅者剩余的记录数量、与各订阅者相关联的问题或与订阅者相关联的其它信息一起显示。如以下所述，订阅者名称可以是如下的活动链接：可以(例如，使用诸如鼠标等的指示装置通过点击、轻击来悬停在上方等)选择订阅者名称来打开具有与订阅者有关的更多信息的订阅者对话框。

·发布作业。可以显示与队列相关联的各发布作业的名称、状态或其它信息。如以下所述，作业名称可以是如下的活动链接：可以(例如，使用诸如鼠标等的指示装置通过点击、轻击来悬停在上方等)选择作业名称来打开具有与作业有关的更多信息的作业对话框。

在队列连接图500中，示出队列504(标记为“testqueue1”)的两个订阅者506、508的状态。订阅者506(标记为“one”)耗尽队列，使得在针对订阅者506(标记为“one”)的队列504(标记为“testqueue1”)中没有剩余记录(标记为”0recs”)。成功图标510a(例如，蓝色点、绿色点或表示成功的另一图标)表示与订阅者506(标记为“one”)相对应的数据处理应用程序510(标记为“subscribe1.pset”)成功地运行。订阅者508(标记为“two”)未能耗尽队列504(标记为“testqueue1”)，并且在针对订阅者508(标记为“two”；描述为“398recs”)的队列504(标记为“testqueue1”)中剩余398个记录。失败图标512a(例如，红色点、黑色点或表示失败的另一图标)表示与订阅者508(标记为“two”)相对应的数据处理应用程序512(标记为“subscribe2.pset”)未能正确地运行。警报图标522示出在数据处理应用程序512(标记为“subscribe2.pset”)的执行期间发生了错误。

图6示出在图5的图形表示500中所描述的相同数据处理环境的表格表示600(还称为队列网格图)的示例。队列网格图可以包括队列连接图中的相同信息的一部分或全部。一行数据对应于各监控队列；列提供相应队列的信息，例如该队列向发布者和订阅者的连接等、该队列的状态信息、该队列的订阅者和/或发布者、作业的状态信息、以及其它信息。队列网格图可以是有用的，例如以使具有许多数据处理应用程序和/或许多队列的数据处理环境可视化。队列网格图还使得能够进行分类、搜索和缩放操作。

诸如队列网格图600等的队列网格图包括与队列网格图中所包括的队列和数据处理应用程序有关的信息。在一些示例中，用户可以选择要显示在队列网格图中的信息。例如，队列网格图中所包括的示例信息可以包括以下信息中的一部分或全部：

·队列网格图中所描述的各队列的名称。

·各队列所关联的主机。例如，可以列出各队列所关联的文件系统运行主机的名称。

·队列或数据处理应用程序状态。可以利用诸如图标、颜色指示器或其它类型的指示器等的指示器来描述与队列或数据处理应用程序相关联的诸如错误或警报等的问题。例如，指示器可以指示与队列或数据处理应用程序相关联的问题数量、最严重问题的严重程度或问题的另一指示。

·诸如以上列出的性能指标等的性能指标。

·最后的作业。最后的作业的名称具有来自各订阅者的读取数据。作业名称可以是如下的活动链接：可以(例如，使用诸如鼠标等的指示装置通过点击、轻击来悬停在上方等)选择作业名称来打开具有与作业有关的更多信息的作业对话框。

·作业状态。当前所连接的作业的状态(在存在任何作业的情况下)；或者已连接的最后的作业的状态(在当前不存在作业的情况下)。

·作业问题。与当前作业或最后的作业相关联的问题。

·诸如关联操作系统等的关联系统。

图7示出表示与特定队列(在该示例中为队列504(标记为“testqueue1”))有关的详情的队列对话框700(还称为队列详图)。可以通过从队列连接图或队列网格图中选择队列名称来获得针对特定队列的对话框700。队列详图可以提供在队列连接图和/或队列网格图中所显示的信息的一部分或全部，并且还可以提供以下的与该特定队列有关的附加信息的一部分或全部：

·目录。主机文件系统中的创建队列的位置。

·系统。队列被分配至的执行环境(例如，图1中的执行环境104)。

·队列的类型。例如标准队列或recycle_queue(循环队列)等的各种类型的队列均是可以的。

·版本。队列的软件版本。

·分区。队列多目录中的分区数量。

·属性。在队列创建时分配至该队列的属性的列表。属性例如可以包括是否对队列数据进行了压缩、队列是否包括用以标记检查点或计算没有接收到数据的点的空文件、或者其它属性。

·通知组。队列所关联的任何警告和错误通知组的名称。

图8示出表示与特定队列(在该示例中为队列504)有关的详情的表格图800。可以通过选择队列详图700中的“详情”链接来获得针对特定队列的表格图800。表格图800提供诸如以上列出的信息的一部分或全部等的与队列有关的信息。例如，表格图800可以包括与针对队列的发布者和订阅者、队列的指标等有关的信息。例如，在所示示例中，可以看出，与订阅者508(标记为“two”)相关联的数据处理应用程序512(标记为“subscribe2.pset”)出错。在该示例中，如图5所示，数据处理应用程序512(标记为“subscribe2.pset”)无法正确地运行并且订阅者508(标记为“two”)无法耗尽队列504(标记为“testqueue1”)。

图9示出表示与对应于特定订阅者的作业有关的信息的作业对话框900(被称为作业详图)。可以通过例如从队列连接图500、队列网格图600或表格图800中选择订阅者的名称来获得作业对话框900。例如，在所示示例中，对话框900示出与同订阅者508(标记为“two”)相对应的数据处理应用程序513(标记为“subscribe2.pset”)有关的信息。对话框900示出如下信息，其中该信息例如包括数据处理应用程序的系统详情、状态指示器、性能统计和数据处理应用程序的其它类型的信息。

图10示出表示与跟特定数据处理应用程序(在这种情况下为数据处理应用程序512(标记为“subscribe2.pset”))相关联的队列有关的详情的表格图10。可以通过选择数据处理应用程序详图900中的“详情”链接来获得针对特定数据处理应用程序的表格图10。例如，在所示示例中，表格图10示出数据处理应用程序512(标记为“subscribe2.pset”)从队列504(标记为“testqueue1”)进行读取并且向队列518(标记为“testqueue3”)进行写入。

在一些情况下，数据处理环境可以包括包含限制性信息的队列和/或数据处理应用程序。该限制性信息可能没有显示在数据处理环境的可视化表示中。例如，用户可能有权访问第一系统但不能访问第二系统。如果来自第一系统和第二系统这两者的作业都订阅针对用户的可视化表示上所显示的特定队列，则可能没有显示与来自订阅该队列的第二系统的作业有关的信息。

参考图11，在示例处理中，在数据处理应用程序的执行期间接收该数据处理应用程序所提供的信息(50)。该信息表示该数据处理应用程序所用的数据的源和该数据处理应用程序所用的数据的目的地中的至少一个。例如，该信息可以识别队列。

在数据处理应用程序的执行期间动态地分析该信息以识别与该数据处理应用程序进行通信的队列(52)。在数据处理应用程序的执行期间动态地分析该信息以识别该数据处理应用程序与队列之间的关系(54)。例如，队列可以是数据处理应用程序所用的数据的源(即，数据处理应用程序向队列进行订阅)。队列可以是来自数据处理应用程序的数据的目的地(即，数据处理应用程序向队列进行发布)。

在一些示例中，可以在数据处理应用程序的执行期间确定(例如，动态地确定)队列和/或数据处理应用程序的状态。

参考图12，在示例处理中，在数据处理应用程序的执行期间从数据处理应用程序接收表示数据处理应用程序与队列之间的关系的信息(60)。该关系包括队列是数据处理应用程序所用的数据的源和队列是来自数据处理应用程序的数据的目的地这两者中的至少一个。在一些情况下，可以接收表示多个数据处理应用程序与多个队列之间的关系的信息。

在数据处理应用程序的执行期间，生成数据处理应用程序、队列、以及数据处理应用程序与队列之间的关系的图形表示(62)，并且将该图形表示显示在用户界面上(64)。在一些情况下，该图形表示可以包括用以表示该数据处理应用程序的第一节点、用以表示该队列的第二节点和用以表示该关系的数据处理应用程序与队列之间的连接。在一些情况下，可以确定队列的状态并且可以使该状态的表示包括在图形表示中、或者可以基于该状态来提供通知。

在一个示例实现中，可以将这里所述的队列监控和可视化技术应用于电话记录的处理以进行计费。可以利用账单系统来处理大量电话记录以生成电话账单。用以使处理期间潜在错误的发生和位置可视化的能力可以有助于确保账单处理的准确度和效率。

可以使用执行适当的软件的计算系统来实现以上所述的队列监控和可视化技术。例如，该软件可以包括在一个或多个编程或可编程计算系统(可以具有诸如分布式、客户端/服务器或网格式等的各种架构)上执行的一个或多个计算机程序中的过程，其中该一个或多个编程或可编程计算机系统各自包括至少一个处理器、至少一个数据存储系统(包括易失性和/或非易失性存储器和/或存储元件)、至少一个用户界面(用于使用至少一个输入装置或端口来接收输入、并且用于使用至少一个输出装置或端口来提供输出)。该软件可以包括例如提供与数据流图的设计、结构和执行有关的服务的较大程序的一个或多个模块。可以将该程序的模块(例如，数据流图的元素)实现为数据结构或符合数据储存库中所存储的数据模型的其它有组织数据。

可以将软件设置在诸如CD-ROM或(例如，利用通用或专用计算系统或装置可读取的)其它计算机可读介质等的有形非瞬态介质上、或者经由网络的通信介质(例如，以编码在传播信号中的形式)传递至执行该软件的计算系统的有形非瞬态介质。可以在专用计算机上、或者使用诸如协处理器或现场可编程门阵列(FPGA)或专用型专用集成电路(ASIC)等的专用硬件来进行该处理的一部分或全部。可以以利用不同的计算元件来进行软件所指定的计算的不同部分的分布式方式来实现该处理。优选将各这种计算机程序存储在通用或专用可编程计算机可访问的存储装置的计算机可读存储介质(例如，固态存储器或介质、或者磁性或光学介质)上或者下载至该计算机可读存储介质，以在利用计算机读取存储装置介质以进行这里所述的处理的情况下配置计算机并使该计算机进行工作。本发明的系统还可被视为作为配置有计算机程序的有形非瞬态介质来实现，其中如此配置成的介质使计算机以特定的预定义方式进行工作，以进行这里所述的处理步骤中的一个或多个。

说明了本发明的多个实施例。然而，应当理解，上述说明意图例示而并非限制由所附权利要求书的范围所定义的本发明的范围。因此，其它实施例也在所附权利要求书的范围内。例如，可以在没有背离本发明的范围的情况下进行各种变形。另外，上述步骤中的一部分可以是顺序独立的，因而可以以与所述顺序不同的顺序来进行。

Claims (31)

1.一种计算机实现的方法，包括以下步骤：

在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息，其中所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一；

在所述数据处理应用程序的执行期间动态地分析所述信息，以识别与所述数据处理应用程序进行通信的队列；以及

在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述数据处理应用程序与所述队列之间的关系，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。

2.根据权利要求1所述的计算机实现的方法，其中，表示数据的源和数据的目的地至少之一的所述信息包括所述队列的标识符。

3.根据权利要求1所述的计算机实现的方法，其中，还包括以下步骤：在所述数据处理应用程序的执行期间动态地确定所述队列的状态。

4.根据权利要求3所述的计算机实现的方法，其中，还包括以下步骤：基于所述队列的状态来提供通知。

5.根据权利要求3所述的计算机实现的方法，其中，所述状态包括所述队列中的记录的数量和与所述队列相关联的经过时间至少之一。

6.根据权利要求1所述的计算机实现的方法，其中，还包括以下步骤：确定所述数据处理应用程序的状态。

7.根据权利要求1所述的计算机实现的方法，其中，还包括以下步骤：接收识别所述队列的输入。

8.根据权利要求7所述的计算机实现的方法，其中，还包括以下步骤：基于处理并且基于识别所述队列的输入来识别所述数据处理应用程序。

9.根据权利要求1所述的计算机实现的方法，其中，一个或多个所述数据处理应用程序包括计算图形。

10.根据权利要求1所述的计算机实现的方法，其中，还包括以下步骤：生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的可视化表示。

11.根据权利要求10所述的计算机实现的方法，其中，还包括以下步骤：将所述可视化表示显示在用户界面上。

12.根据权利要求10所述的计算机实现的方法，其中，所述可视化表示包括所述队列的状态的表示。

13.一种存储在计算机可读介质上的软件，所述软件包括用于使计算机系统进行以下操作的指令：

在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息，其中所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一；

在所述数据处理应用程序的执行期间动态地分析所述信息，以识别与所述数据处理应用程序进行通信的队列；以及

在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述数据处理应用程序与所述队列之间的关系，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。

14.一种计算系统，包括：

输入端口，其被配置为在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息，其中所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一；以及

至少一个处理器，其被配置为进行以下操作：

在所述数据处理应用程序的执行期间动态地分析所述信息，以识别与所述数据处理应用程序进行通信的队列；以及

在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述数据处理应用程序与所述队列之间的关系，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。

15.一种计算系统，包括：

用于在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息的部件，其中所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一；

用于在所述数据处理应用程序的执行期间动态地分析所述信息以识别与所述数据处理应用程序进行通信的队列的部件；以及

用于在所述数据处理应用程序的执行期间动态地分析所述信息以识别所述数据处理应用程序与所述队列之间的关系的部件，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一。

16.一种计算机实现的方法，包括以下步骤：

在数据处理应用程序的执行期间从所述数据处理应用程序接收表示所述数据处理应用程序与队列之间的关系的信息，其中所述关系包括所述队列是所述数据处理应用程序所用的数据的源和所述队列是来自所述数据处理应用程序的数据的目的地至少之一；

生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示；以及

在所述数据处理应用程序的执行期间，将所述图形表示显示在用户界面上。

17.根据权利要求16所述的计算机实现的方法，其中，所述图形表示包括用以表示所述数据处理应用程序的第一节点、用以表示所述队列的第二节点、以及用以表示所述关系的所述数据处理应用程序与所述队列之间的连接。

18.根据权利要求17所述的计算机实现的方法，其中，还包括以下步骤：响应于所述第一节点的用户选择来显示与所述数据处理应用程序有关的信息。

19.根据权利要求17所述的计算机实现的方法，其中，还包括以下步骤：响应于所述第二节点的用户选择来显示与所述队列有关的信息。

20.根据权利要求16所述的计算机实现的方法，其中，还包括以下步骤：在所述数据处理系统的执行期间，动态地确定所述队列的动态状态。

21.根据权利要求20所述的计算机实现的方法，其中，所述图形表示包括所述队列的状态的表示。

22.根据权利要求20所述的计算机实现的方法，其中，还包括以下步骤：基于所述队列的状态来提供通知。

23.根据权利要求20所述的计算机实现的方法，其中，所述队列的状态包括第一队列中的记录的数量和与该第一队列相关联的经过时间至少之一。

24.根据权利要求16所述的计算机实现的方法，其中，还包括以下步骤：在所述数据处理应用程序的执行期间，动态地确定所述数据处理应用程序的状态。

25.根据权利要求24所述的计算机实现的方法，其中，所述图形表示包括所述数据处理应用程序的状态的表示。

26.根据权利要求16所述的计算机实现的方法，其中，还包括以下步骤：从多个数据处理应用程序接收表示各数据处理应用程序与至少一个相应之间的关系的信息，

其中，生成图形表示的步骤包括生成所述多个数据处理应用程序、多个所述队列以及所述关系的图形表示。

27.根据权利要求16所述的计算机实现的方法，其中，接收信息的步骤包括：

在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息，其中所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一；以及

在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述队列和所述关系。

28.一种存储在计算机可读介质上的软件，所述软件包括用于使计算系统进行以下操作的指令：

在数据处理应用程序的执行期间从所述数据处理应用程序接收表示所述数据处理应用程序与队列之间的关系的信息，其中所述关系包括所述队列是所述数据处理应用程序所用的数据的源和所述队列是来自所述数据处理应用程序的数据的目的地至少之一；

生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示；以及

在所述数据处理应用程序的执行期间，将所述图形表示显示在用户界面上。

29.一种计算系统，包括：

输入端口，其被配置为在数据处理应用程序的执行期间从所述数据处理应用程序接收表示所述数据处理应用程序与队列之间的关系的信息，其中所述关系包括所述队列是所述数据处理应用程序所用的数据的源和所述队列是来自所述数据处理应用程序的数据的目的地至少之一；以及

处理器，其被配置为进行以下操作：

生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示；以及

在所述数据处理应用程序的执行期间，将所述图形表示显示在用户界面上。

30.一种计算系统，包括：

接收部件，用于在数据处理应用程序的执行期间从所述数据处理应用程序接收表示所述数据处理应用程序与队列之间的关系的信息，其中所述关系包括所述队列是所述数据处理应用程序所用的数据的源和所述队列是来自所述数据处理应用程序的数据的目的地至少之一；

生成部件，用于生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示；以及

显示部件，用于在所述数据处理应用程序的执行期间，将所述图形表示显示在用户界面上。

31.一种计算机实现的方法，包括以下步骤：

在数据处理应用程序的执行期间接收所述数据处理应用程序所提供的信息，其中所述信息表示所述数据处理应用程序所用的数据的源和来自所述数据处理应用程序的数据的目的地至少之一；

在所述数据处理应用程序的执行期间动态地分析所述信息，以识别安装在第三计算机系统上的与所述数据处理应用程序进行通信的队列；

在所述数据处理应用程序的执行期间动态地分析所述信息，以识别所述数据处理应用程序与所述队列之间的关系，其中所述关系包括识别为所述队列是所述数据处理应用程序所用的数据的源和识别为所述队列是来自所述数据处理应用程序的数据的目的地至少之一；

生成所述数据处理应用程序、所述队列以及所述数据处理应用程序与所述队列之间的关系的图形表示；以及

在所述数据处理应用程序的执行期间，将所述图形表示显示在用户界面上。