CN111625410A - 信息处理方法、设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种信息处理方法、设备及计算机存储介质。该信息处理方法包括：确定数据加工链路中的待监控节点；以及对所述待监控节点进行监控以产生监控信息。根据本公开，可以基于数据加工链路对应用的运行状况进行监控。

Description

信息处理方法、设备及计算机存储介质

技术领域

本发明涉及业务监控技术领域，更具体地，涉及一种信息处理方法、设备及计算机存储介质。

背景技术

数据加工链路的可靠性和稳定性一直是在众多场景下被关注的对象。为了确定数据加工链路的稳定运行状态，需要对数据加工链路进行监控。

目前，对数据加工链路进行监控方式主要包括三种。

第一种是性能监控。在性能监控中，监控每个数据加工链路的性能指标的异常情况。第二种是任务监控。在任务监控中，监控单一数据加工链路下的任务的运行状况。第三种是数据内容监控。在数据内容监控中，针对数据加工链路中某个具体的数据源，根据预置好的规则，定时检测其数据内容的变化情况。

在现有的监控方法中，无论是性能监控、任务监控还是数据内容监控，其监控的对象都是独立且分散的。

发明内容

本发明的一个目的是提供一种信息处理的新技术方案。

根据本发明的第一方面，提供了一种信息处理方法，包括：

确定数据加工链路中的待监控节点；以及

对所述待监控节点进行监控以产生监控信息。

可选地，其中，所述方法还包括：

获取所述数据加工链路；

其中，所述数据加工链路包括预设应用的待监控数据加工链路，以及，所述数据加工链路包括多个任务。

可选地，其中，所述获取所述数据加工链路包括：

根据任务之间的数据加工流程，获取任务之间的血缘关系；以及

根据所述任务之间的血缘关系，以及任务的识别标志，获取所述数据加工链路。

可选地，其中，所述数据加工链路包括多个数据表，以及所述待监控节点包括待监控的数据表。

可选地，其中，所述获取所述数据加工链路还包括：

根据数据表与任务的加工引用关系，获取数据表与任务之间的血缘关系和数据表之间的血缘关系；以及

根据所述数据表与任务之间的血缘关系和数据表之间的血缘关系，以及对应的任务的识别标志和对应的数据表的识别标志，获取所述数据加工链路。

可选地，其中，所述任务的类型至少包括数据同步任务、数据开发任务、数据质量监控任务、数据API调用任务。

可选地，其中，所述多个任务对应于多个不同的应用。

可选地，其中，对所述待监控节点进行监控还包括：

预测待监控节点在预设时刻的状态。

可选地，其中，预测所述待监控节点在预设时刻的状态包括：

获取所述待监控节点的识别标志，其中，所述待监控节点的识别标志包括对应的任务的识别标志和对应的数据表的识别标志中的至少一个；

根据所述待监控节点的识别标志和所述待监控节点所属的应用，获取所述待监控节点的历史状态；

基于所述待监控节点的历史状态，确定所述待监控节点的历史变化规律；

基于所述待监控节点的当前状态及所述待监控节点的历史变化规律，预测所述待监控节点在预设时刻的状态。

可选地，其中，所述产生监控信息包括：

基于所述待监控节点的历史变化规律和所述待监控节点在预设时刻的状态，产生监控预警信息，以作为所述监控信息。

可选地，其中，所述对所述待监控节点进行监控以产生监控信息包括：

响应于检测到的所述待监控节点的异常，产生告警信息，以作为所述监控信息。

可选地，其中，所述对所述待监控节点进行监控以产生监控信息包括：

基于所述数据加工链路，确定产生异常的待监控节点及其血缘关系；以及

基于所述产生异常的待监控节点及其血缘关系产生所述监控信息。

根据本发明的第二方面，提供了一种信息处理设备，包括用于执行根据本公开的实施例所述的方法的步骤的装置。

根据本发明的第三方面，提供了一种信息处理设备，包括存储有指令的存储器和处理器，其中，当由所述处理器运行所述指令时，所述指令使得所述处理器执行根据本公开的实施例所述的方法的步骤。

根据本发明的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如本发明第一方面中任意一项所述的信息处理方法。

根据本发明的一个实施例，可以基于数据加工链路对应用服务的运行状况进行监控。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是可用于实现本公开的实施例的计算系统的硬件配置的例子的示意性框图。

图2是根据本公开的一个实施例的方法的示意性流程图。

图3是根据本公开的一个实施例的设备的示意性结构图。

图4是根据本公开的一个例子的示意性流程图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

下面，参照附图描述根据本发明的各个实施例和例子。

<硬件配置>

图1是显示可用于实现本发明的实施例的计算系统1000的硬件配置的例子的框图。

如图1所示，计算系统包括计算装置1110。计算装置1110包含通过系统总线1121连接的处理器1120、系统存储器1130、不可拆卸非易失性存储器接口1140、可拆卸非易失性存储器接口1150、用户输入接口1160、网络接口1170、视频接口1190和输出外设接口1195。

系统存储器1130包含ROM(只读存储器)1131和RAM(随机存取存储器)1132。BIOS(基本输入输出系统)1133驻留于ROM 1131中。操作系统1134、应用程序1135、其它的程序模块1136和一些程序数据1137驻留于RAM 1132中。

诸如硬盘的不可拆卸非易失性存储器1141与不可拆卸非易失性存储器接口1140连接。例如，不可拆卸非易失性存储器1141可存储操作系统1144、应用程序1145、其它的程序模块1146和一些程序数据1147。

诸如软盘驱动器1151和CD-ROM驱动器1155的可拆卸非易失性存储器与可拆卸非易失性存储器接口1150连接。例如，软盘可被插入软盘驱动器1151中，并且，CD(光盘)可被插入CD-ROM驱动器1155中。

诸如鼠标1161和键盘1162的输入设备与用户输入接口1160连接。

计算装置1110可通过网络接口1170与远程计算装置1180连接。例如，网络接口1170可通过局域网络1171与远程计算装置1180连接。作为替代方案，网络接口1170可与调制解调器(调制器-解调器)1172连接，并且调制解调器1172通过广域网络1173与远程计算装置1180连接。

远程计算装置1180可包含存储远程应用程序1185的诸如硬盘的存储器1181。

视频接口1190与监视器1191连接。

输出外设接口1195与打印机1196和扬声器1197连接。

图1所示的计算系统仅是解释性的，并且决不是为了要限制本发明、其应用或用途。

<方法>

图2是根据本公开的一个实施例的信息处理方法的示意性流程图。

在步骤S1100，确定数据加工链路中的待监控节点。

其中，数据加工又称为数据处理，是信息技术领域的通用术语，指的是对数据进行处理以得到期望的结果。

数据加工链路指的是从原始数据到最终的结果信息所经历的加工或处理链路。数据加工链路可以包括多个任务(任务节点)和/或多个数据表(数据节点)等。例如，可以由用户手动设置数据加工链路的各个节点，或者可以由计算系统自动设置数据加工链路的各个节点。

在步骤S1200，对待监控节点进行监控以产生监控信息。

监控信息例如可以是关于待监控节点的当前异常情况的告警信息、对于待监控节点在预设时刻的预测状态的预警信息、包含待监控节点的历史变化规律的稳定性报告等等。监控信息可以是诸如消息、文件等形式的。监控信息可以通过网络传递给用户，例如，可以通过互联网、SMS等方式传递给用户。监控信息可以被显示在屏幕上，也可以通过报警灯进行呈现。在此不作具体限定。

在现有技术中，对应用的监控是独立且分散的。在现有技术的监控方案中，用户无法针对完整的数据加工链路进行监控，也无法做到整体的监控保障。在对应用的实际运行维护过程中，当上层应用出现异常时，需要由用户人工层层排查问题根源，并且还需要用户人工联系相应的技术人员。现有技术的方案需要人为参与并耗费大量的人力成本。

在这里，提出了一种新颖的监控方式，利用应用的数据加工链路来进行监控。这样，在整个技术方案的初始设计上考虑了数据加工流程。当出现异常时，较容易由应用本身来定位异常出现的位置，从而避免了运行维护时的人工参与。对于大数据处理、或者应用服务流程复杂的系统，这是尤其有利的。

在本实施例中，还可以包括：获取数据加工链路。

其中，数据加工链路包括预设应用的待监控数据加工链路，以及，数据加工链路包括多个任务。

本步骤中，可以通过计算系统自动获取数据加工链路。例如，获取数据加工链路还可以包括：根据任务之间的数据加工流程，获取任务之间的血缘关系；以及根据任务之间的血缘关系，以及任务的识别标志，获取数据加工链路。其中，该任务的识别标志用于唯一标识该任务。

“血缘关系”是数据加工技术领域的一个通用术语，它指的是对象之间的相互依赖关系。该对象可以是任务，也可以是数据表。在实际的应用运行中，任务可以体现为线程、例程等。任务之间的加工流程可以体现任务之间的相互关系。例如，第一任务可以调用第二任务，以及第一任务将处理后的数据传递给第二任务。任务之间这种加工流程体现了它们之间的血缘关系，例如，父血缘关系、子血缘关系等。例如，可以通过元数据来表达这种血缘关系。

在这里，可以基于数据加工流程，自动获取数据加工链路的至少一部分。这种方式可以进一步节省用户进行应用服务监控的工作量，从而进一步提升用户的使用体验，节省成本。

例如，数据加工链路还可以包括多个数据表。在这种情况下，待监控节点包括待监控的数据表。

在数据加工链路包括数据表的情况下，也可以实现数据加工链路的自动生成。例如，获取数据加工链路还可以包括：根据数据表与任务的加工引用关系，获取数据表与任务之间的血缘关系和数据表之间的血缘关系；以及根据数据表与任务之间的血缘关系和数据表之间的血缘关系，以及对应的任务的识别标志和对应的数据表的识别标志，获取数据加工链路。该数据表的识别标志用于唯一标识该数据表。

在这里，例如，任务的类型是不同的，例如，任务的类型至少包括数据同步任务、数据开发任务、数据质量监控任务、数据API调用任务。其中，数据开发任务例如可以是结构化查询语言(SQL)开发任务，MR开发任务；数据质量监控任务例如可以是开放数据处理服务(odps)质量监控任务、关系型数据库服务(rds)质量监控任务、流式数据服务(datahub)质量监控任务等。

在这里，例如，多个任务对应于多个不同的应用。这个实施例中的监控方式可以实现跨系统监控不同的任务。

在应用的运行维护中，跨系统的异常情况或者不同类型的任务同时出现异常的情况通常是较复杂且难于定位的。根据本实施例，可以实现跨系统的监控，从而减轻了在发生跨系统的异常情况下的处理复杂度。这有利地提升了复杂系统的监控效率。

此外，由于在这里可以监控数据加工链路的情况，因此，可以获取每个待监控节点的上下级节点的状况。这样，可以对某个待监控节点在预设时刻的状态进行预测，从而产生预警信息，防止异常的出现。例如，对待监控节点进行监控还包括：预测待监控节点在预设时刻的状态。

具体的，预测待监控节点在预设时刻的状态可以包括：获取待监控节点的识别标志，其中，待监控节点的识别标志包括对应的任务的识别标志和对应的数据表的识别标志中的至少一个。根据待监控节点的识别标志和待监控节点所对应的应用，获取待监控节点的历史状态。基于待监控节点的历史状态，确定待监控节点的历史变化规律。基于待监控节点的当前状态及待监控节点的历史变化规律，预测待监控节点在预设时刻的状态；以及基于待监控节点的历史变化规律和待监控节点在预设时刻的状态，产生监控预警信息，以作为监控信息。

进一步的，在获取待监控节点的历史状态时，还可以根据待监控节点的识别标志和待监控节点所对应的应用，获取待监控节点的日志，待监控节点的日志中包含待监控节点的历史状态的详细说明。从而可以基于待监控节点的历史状态和日志，更准确的确定出待监控节点的历史变化规律。

其中，待监控节点的历史状态例如可以包括正常状态、警告状态、异常状态、未到运行周期状态、等待运行状态、运行超时状态以及未知状态等。在此，根据待监控节点的不同历史时刻的状态的变化规律，可以分析得到待监控节点的历史变化规律。并进一步据此生成稳定性报告。

在一个实施例中，对待监控节点进行监控可以包括：响应于检测到的待监控节点的异常，产生告警信息，以作为监控信息。

在一个实施例中，对待监控节点进行监控可以包括：基于数据加工链路，确定产生异常的待监控节点及其血缘关系；以及基于产生异常的待监控节点及其血缘关系产生监控信息。通过这种方式，有利于快速、有效地定位异常产生的根源。这里，异常可以指的是应用运行故障，或者应用的性能(例如，处理负荷、时延等)超过预定门限。

现在，随着信息技术的快速发展，对于数据处理、加工的要求越来越高。计算环境越来越复杂，数据加工链路繁多，数据源的种类不同，以及它们的特性也不同。这对于应用的监控提出了一个更高的要求。

在这里，可以针对跨系统、多数据源、多任务类型的应用环境集中监控。例如，可以实现多种数据源的质量监控、对多个计算环境下的不同任务类型的运行状态的监控。

此外，还可以按照数据加工逻辑(流程)自定义所要监控的链路/节点。

<设备>

本领域技术人员应当理解，在电子技术领域中，可以通过软件、硬件以及软件和硬件结合的方式，将上述方法体现在产品中。本领域技术人员很容易基于上面公开的方法，产生一种信息处理设备，包括用于执行上述方法的步骤的装置。

例如，如图3所示，该信息处理设备3000可以包括：确定模块3100和监控模块3200。

其中，确定模块3100用于确定数据加工链路中的待监控节点。监控模块3200用于对待监控节点进行监控以产生监控信息。

该信息处理设备3000还可以包括获取模块(图中未示出)，该获取模块具体可以用于获取数据加工链路。其中，数据加工链路包括预设应用的待监控数据加工链路，以及，数据加工链路包括多个任务。

具体的，该获取模块可以用于根据任务之间的数据加工流程，获取任务之间的血缘关系；以及根据任务之间的血缘关系，以及任务的识别标志，获取数据加工链路。

进一步的，数据加工链路可以包括多个数据表，以及待监控节点包括待监控的数据表。相应的，该获取模块还可以用于根据数据表与任务的加工引用关系，获取数据表与任务之间的血缘关系和数据表之间的血缘关系；以及根据数据表与任务之间的血缘关系和数据表之间的血缘关系，以及对应的任务的识别标志和对应的数据表的识别标志，获取数据加工链路。

其中，任务的类型至少包括数据同步任务、数据开发任务、数据质量监控任务、数据API调用任务。多个任务对应于多个不同的应用。

在一个实施例中，监控模块3200还可以用于预测待监控节点在预设时刻的状态。具体的，监控模块3200可以用于：获取待监控节点的识别标志，其中，待监控节点的识别标志包括对应的任务的识别标志和对应的数据表的识别标志中的至少一个；根据待监控节点的识别标志和待监控节点所对应的应用，获取待监控节点的历史状态；基于待监控节点的历史状态，确定待监控节点的历史变化规律；基于待监控节点的当前状态及待监控节点的历史变化规律，预测待监控节点在预设时刻的状态。

在一个实施例中，该监控模块3200还可以用于基于待监控节点的历史变化规律和待监控节点在预设时刻的状态，产生监控预警信息，以作为监控信息。

在一个实施例中，该监控模块3200可以用于响应于检测到的待监控节点的异常，产生告警信息，以作为监控信息。

在一个实施例中，该监控模块3200可以用于基于数据加工链路，确定产生异常的待监控节点及其血缘关系；以及基于产生异常的待监控节点及其血缘关系产生监控信息。

此外，在一个例子中，根据本公开的技术方案可以通过图1所述的计算系统来实现。例如，所述技术方案可以通过基于诸如C语言、Java语言所编写的程序来体现。所述程序的指令例如被存储在不可拆卸非易失性存储器1141或可拆卸非易失性存储器中，当计算系统运行时，所述指令被读取到系统存储器1130中，当所述指令被处理器1120运行时，所述指令使得处理器1120实现所述技术方案。

所述技术方案可以在一个计算装置中实现，也可以被分布在多个计算装置中。

因此，在这里，还可以实现一种信息处理设备，包括存储有指令的存储器和处理器，其中，当由所述处理器运行所述指令时，所述指令使得所述处理器执行上述方法的步骤。

<例子>

图4是根据本公开的一个例子的示意性流程图。下面，参照图4描述根据本公开的一个具体例子。

在图4的例子中，首先，创建所要监控的数据加工链路(S2200)。一个平台可以包括多种应用，可以选择期望的应用进行监控。接着，配置待监控节点(S2200)。一个数据加工链路可以包括多个待监控节点，该待监控节点可以是任务节点，也可以是数据节点。可以获取数据加工链路的全部待监控节点(即，全链路)，也可以仅仅在数据加工链路中配置期望的部分节点(较为重要的节点)作为待监控节点。例如，可以通过分析数据加工逻辑来获取数据加工链路。针对不同的待监控节点，可以采用不同的监控任务类型，例如，性能监控、任务监控、数据内容监控等。

可以人工配置数据加工链路中的待监控节点，也可以由系统自动配置待监控节点。例如，如前面针对实施例所描述的那样，根据任务之间的数据加工流程，获取任务之间的血缘关系；以及根据数据表与任务之间的加工引用关系，获取数据表与任务之间的血缘关系和/或数据表之间的血缘关系。接着，基于血缘关系，根据任务的识别标志和数据表的识别标志，串联各个任务/数据表，从而形成全局的数据加工链路。这样可以还原业务的全链路。

可以对数据加工链路的全部节点进行监控。但是，在很多情况下，这种方式不是最有效率的。这里，可以识别期望的待监控节点(核心的待监控节点)。可以对数据加工的逻辑进行整合，形成具有数据加工逻辑的链路视图。所述链路视图可以以数字形式存储在计算系统中，供后续的调用/使用。

针对不同的待监控节点，可以配置不同的监控任务(S2300)，例如，性能监控、任务监控、数据内容监控等。在这里，以举例的形式示出了三种监控任务，即：应用上报任务、DataWorks任务和DQC任务。但是，本领域技术人员应当理解，还可以配置其他类型的监控任务。

然后，当系统运行时，启动对待监控节点的监控(S2400)，对监控任务进行分析(S2500)，并产生所需的监控信息(S2600)。

在一个例子中，由于已经获取了数据加工链路中的多个待监控节点的唯一识别标志及其血缘关系，因此，相对于现有技术的其他方案，可以较容易地预测数据加工链路中某个待监控节点在预设时刻的状态。例如，可以根据所监控的数据加工链路，实时抓取数据加工链路中的待监控节点的当前状态，并分析待监控节点的历史变化规律，以预测该待监控节点在预设时刻的状态，例如，潜在的异常状况等。

具体来说，例如，首先，可以获取待监控节点的识别标志。根据待监控节点的所对应的应用和识别标志，抓取待监控节点的历史状态和日志。对待监控节点的历史状态和日志进行分析，以确定其历史变化规律。在这里，还可以基于数据加工链路，根据血缘关系，根据每个待监控节点的相关节点的历史状态和日志，确定该待监控节点的历史变化规律。预测待监控节点在预设时刻的状态。例如，可以基于数据加工链路，根据血缘关系，预测待监控节点在预设时刻的状态。基于待监控节点在预设时刻的预测状态，形成稳定性分析报告和/或产生监控预警。

在另一个例子中，当监控到待监控节点的异常状况时，可以向用户推送告警信息。例如，通过显示屏幕、SMS消息等推送告警信息。

在这里，由于预先获取数据加工链路的识别标志，并且基于数据加工链路进行监控，因此，可以当发生异常时，相对较容易地定位异常的位置(溯源)及处理异常。

可以人工或定期生成稳定性分析报告。在后续监控中，可以根据该稳定性分析报告，进一步改进数据加工链路的监控配置。例如，可以根据该稳定性分析报告，在数据加工链路中删除待监控节点和/或增加待监控节点。

例如，可以利用Java语言实现这里的技术方案，并例如使用图1所示的计算系统运行Java语言所实现的程序。

在现有的监控方法中，无论是性能监控、任务监控、数据内容监控，均比较独立分散，无法将用户完整的加工链路做到整体的监控保障。在实际的运维过程中，当上层应用出现问题时，需要层层排查问题根源和负责人，耗费了大量的人力成本。

这里公开的实施方式提出了一种新的监控视角，支持用户按照应用的数据加工链路来管理和配置所要监控的内容。例如，这里的监控任务可以包括任务执行情况监控、数据质量情况监控、自定义情况监控(例如，基于心跳、性能等其他复杂逻辑进行监控)。这里公开的实施方式可以帮助用户以逻辑的方式整合各种监控任务，降低了用户的监控成本，并提高了用户对异常溯源的效率。

可选地，可以就应用的全链路(全数据加工链路)进行全局质量情况监控及保障，可以产生监控预警信息。

可选地，可以根据任务之间的血缘关系和/或数据表之间的血缘关系，实现跨系统间的全局数据加工链路的自动生成。

可选地，可以对不同类型的任务进行一体化的监控。

可选地，在这里，除了可以自动生成数据加工链路的各个待监控节点之外，还可以通过人工方式对所生成的数据加工链路的各个待监控节点进行完善。

可选地，在这里，可以针对不同类型的任务，以轮询的方式抓取它们的状态并进行相应的处理。

可选地，可以对任务的历史变化规律进行分析，以便产生监控预警。

可选地，可以结合任务的历史状态，预测任务在预设时刻的状态，以便产生监控预警。

对于异常告警信息，可以以数据加工链路场景化的方式对外透传给用户。

<计算机存储介质>

在本实施例中，还提供一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序在被处理器执行时实现如上述实施例提供的任意一种信息处理方法。

本领域技术人员公知的是，随着诸如大规模集成电路技术的电子信息技术的发展和软件硬件化的趋势，要明确划分计算机系统软、硬件界限已经显得比较困难了。因为，任何操作可以软件来实现，也可以由硬件来实现。任何指令的执行可以由硬件完成，同样也可以由软件来完成。对于某一机器功能采用硬件实现方案还是软件实现方案，取决于价格、速度、可靠性、存储容量、变更周期等非技术性因素。对于技术人员来说，软件实现方式和硬件实现方式是等同的。技术人员可以根据需要选择软件或硬件来实现上述方案。因此，这里不对具体的软件或硬件进行限制。

本发明可以是设备、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如根据因特网服务提供商来通过因特网连接)。在一些实施例中，通过根据计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (15)

1.一种信息处理方法，其特征在于，所述方法包括：

确定数据加工链路中的待监控节点；以及

对所述待监控节点进行监控以产生监控信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述数据加工链路；

其中，所述数据加工链路包括预设应用的待监控数据加工链路，以及，所述数据加工链路包括多个任务。

3.根据权利要求2所述的方法，其特征在于，所述获取所述数据加工链路包括：

根据任务之间的数据加工流程，获取任务之间的血缘关系；以及

根据所述任务之间的血缘关系，以及任务的识别标志，获取所述数据加工链路。

4.根据权利要求3所述的方法，其特征在于，所述数据加工链路包括多个数据表，以及所述待监控节点包括待监控的数据表。

5.根据权利要求4所述的方法，其特征在于，所述获取所述数据加工链路还包括：

根据数据表与任务的加工引用关系，获取数据表与任务之间的血缘关系和数据表之间的血缘关系；以及

根据所述数据表与任务之间的血缘关系和数据表之间的血缘关系，以及对应的任务的识别标志和对应的数据表的识别标志，获取所述数据加工链路。

6.根据权利要求2所述的方法，其特征在于，所述任务的类型至少包括数据同步任务、数据开发任务、数据质量监控任务、数据API调用任务。

7.根据权利要求2所述的方法，其特征在于，所述多个任务对应于多个不同的应用。

8.根据权利要求1所述的方法，其特征在于，对所述待监控节点进行监控还包括：

预测所述待监控节点在预设时刻的状态。

9.根据权利要求8所述的方法，其特征在于，预测所述待监控节点在预设时刻的状态包括：

获取所述待监控节点的识别标志，其中，所述待监控节点的识别标志包括对应的任务的识别标志和对应的数据表的识别标志中的至少一个；

根据所述待监控节点的识别标志和所述待监控节点所对应的应用，获取所述待监控节点的历史状态；

基于所述待监控节点的历史状态，确定所述待监控节点历史变化规律；

基于所述待监控节点的当前状态及所述待监控节点的历史变化规律，预测所述待监控节点在预设时刻的状态。

10.根据权利要求9所述的方法，其特征在于，所述产生监控信息包括：

基于所述待监控节点的历史变化规律和所述待监控节点在预设时刻的状态，产生监控预警信息，以作为所述监控信息。

11.根据权利要求1所述的方法，其特征在于，所述对所述待监控节点进行监控以产生监控信息包括：

响应于检测到的所述待监控节点的异常，产生告警信息，以作为所述监控信息。

12.根据权利要求1所述的方法，其特征在于，所述对所述待监控节点进行监控以产生监控信息包括：

基于所述数据加工链路，确定产生异常的待监控节点及其血缘关系；以及

基于所述产生异常的待监控节点及其血缘关系产生所述监控信息。

13.一种信息处理设备，其特征在于，包括用于执行根据权利要求1-12中的任何一个所述的方法的步骤的装置。

14.一种信息处理设备，其特征在于，包括存储有指令的存储器和处理器，其中，当由所述处理器运行所述指令时，所述指令使得所述处理器执行根据权利要求1-12中的任何一个所述的方法的步骤。

15.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1-12中任意一项所述的信息处理方法。

Images