CN109976929A - 数据生产过程的故障定位方法、装置 - Google Patents

Abstract

本公开涉及一种数据生产过程的故障定位方法、装置，涉及数据处理领域。该方法包括：根据各数据处理系统之间的数据关联情况，在各数据处理系统中确定应用需求的相关数据；根据各相关数据在各数据处理系统中的生产过程、各数据处理系统之间的数据交互过程，建立各相关数据之间的数据血缘关系；根据数据血缘关系，对各相关数据的生产过程进行监控，以定位生产过程中的故障。该方法和装置能够提高故障的分析和定位准确性。

Description

数据生产过程的故障定位方法、装置

技术领域

本公开涉及数据处理领域，特别涉及一种数据生产过程的故障定位方法、数据生产过程的故障定位装置和计算机可读存储介质。

背景技术

数据的应用加工过程包括多级源数据上送、数据汇聚、数据加工、数据共享和数据应用等多个环节。任何环节出现延时或故障，都会大大影响数据应用的效果。因此，对数据生产加工过程进行监控和故障定位就显得尤为重要。

相关技术都是在各环节对应的单系统内进行自监控。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：未实现对数据产生全过程的整体监控，导致对故障的分析和定位不准确。针对上述问题，本公开提出了一种数据生产过程的故障定位技术方案，能够提高故障的分析和定位准确性。

根据本公开的一些实施例，提供了一种数据生产过程的故障定位方法，包括：根据各数据处理系统之间的数据关联情况，在所述各数据处理系统中确定应用需求的相关数据；根据各相关数据在所述各数据处理系统中的生产过程、所述各数据处理系统之间的数据交互过程，建立所述各相关数据之间的数据血缘关系；根据所述数据血缘关系，对所述各相关数据的生产过程进行监控，以定位所述生产过程中的故障。

可选地，所述数据处理系统包括数据应用系统、数据加工系统和数据采集系统；在所述数据应用系统中确定所述应用需求；根据所述各数据处理系统之间的数据关联情况，按照数据应用系统、数据加工系统和数据采集系统的顺序，依次在所述各数据处理系统中确定所述应用需求的相关数据。

可选地，所述数据血缘关系包括所述各相关数据之间的关联情况、与所述各相关数据有关的基础设施、所述数据交互过程中涉及的各数据接口。

可选地，对所述各数据接口的状态、数据采集进度和数据采集质量进行监控；对所述各相关数据的生产质量和共享质量进行监控。

根据本公开的另一些实施例，提供一种数据生产过程的故障定位装置，包括：相关数据确定模块，用于根据各数据处理系统之间的数据关联情况，在所述各数据处理系统中确定应用需求的相关数据；数据血缘关系建立模块，用于根据各相关数据在所述各数据处理系统中的生产过程、所述各数据处理系统之间的数据交互过程，建立所述各相关数据之间的数据血缘关系；生产过程监控模块，用于根据所述数据血缘关系，对所述各相关数据的生产过程进行监控，以定位所述生产过程中的故障。

可选地，所述数据处理系统包括数据应用系统、数据加工系统和数据采集系统；所述相关数据确定模块在所述数据应用系统中确定所述应用需求，根据所述各数据处理系统之间的数据关联情况，按照数据应用系统、数据加工系统和数据采集系统的顺序，依次在所述各数据处理系统中确定所述应用需求的相关数据。

可选地，所述数据血缘关系包括所述各相关数据之间的关联情况、与所述各相关数据有关的基础设施、所述数据交互过程中涉及的各数据接口。

可选地，所述生产过程监控模块对所述各数据接口的状态、数据采集进度和数据采集质量进行监控，对所述各相关数据的生产质量和共享质量进行监控。

根据本公开的又一些实施例，提供一种数据生产过程的故障定位装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例所述的数据生产过程的故障定位方法。

根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例所述的数据生产过程的故障定位方法。

在上述实施例中，从应用需求出发梳理出各系统中的相关数据，根据各系统的数据生产过程和数据交互过程建立数据血缘关系，在此基础上对数据的生产过程进行全程监控。这样通过对数据生产过程的跨系统关系，实现了对数据生产过程的全程监控，从而提高了故障的分析和定位准确性。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1示出本公开的数据生产过程的故障定位方法的一些实施例的流程图；

图2示出本公开的数据血缘关系建立方法的一些实施例的示意图；

图3示出本公开的故障监控方法的一些实施例的示意图；

图4示出本公开的数据生产过程的故障定位装置的一些实施例的框图；

图5示出本公开的数据生产过程的故障定位装置的另一些实施例的框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

针对用户的应用需求的数据生产过程，往往涉及多个相互独立的数据处理系统。相关技术仅在各数据处理系统内部进行监控，无法对整个数据生产过程进行全程监控，从而导致故障定位和分析不准确。

本公开的发明人发现，从用户的应用需求出发可以梳理出各系统为满足应用需求需要生产和提供的数据，以及涉及到的系统构架、接口、基础设施。在此基础上，可以建立贯穿整个数据生产过程的数据血缘关系。基于数据血缘关系就可以对数据生产过程进行整体监控，而不再是孤立的单系统的监控，从而可以提高故障定位和分析的准确性。上述过程具体可以通过下面的实施例实现。

图1示出本公开的数据生产过程的故障定位方法的一些实施例的流程图。

如图1所示，该方法包括：步骤110，确定应用需求的相关数据；步骤120，建立各相关数据之间的数据血缘关系；步骤130，对各相关数据的生产过程进行监控。

在步骤110中，可以根据各数据处理系统之间的数据关联情况，在各数据处理系统中确定应用需求的相关数据。例如，数据处理系统可以包括数据应用系统、数据加工系统和数据采集系统。

在一个实施例中，可以从数据应用系统中获取用户的应用需求。然后从应用需求出发依次确定数据应用系统、数据加工系统和数据采集系统分别需要生产和提供哪些相关数据。

数据的生产过程是按照数据采集系统、数据加工系统和数据应用系统的顺序进行的。本公开按照与数据生产过程相反的顺序确定相关数据，是因为这样可以针对应用需求确定需要监控的数据。即可以有目的地进行监控，而不是漫无目的地对各系统生产和传输的所有数据进行监控，从而可以迅速地找出监控对象，提高故障监控的效率。

在步骤120中，根据各相关数据在各数据处理系统中的生产过程、各数据处理系统之间的数据交互过程，建立各相关数据之间的数据血缘关系。例如，数据血缘关系包括各相关数据之间的关联情况、与各相关数据有关的基础设施、数据交互过程中涉及的各数据接口。

为了满足应用需求，处于生产过程下层的系统需要将生产的相关数据传递给上层的系统。例如，数据采集系统需要调用多个子系统和基础设施来生产相关数据，还需要将其生产的数据通过预设的接口传递给数据加工系统。数据加工系统需要对从数据采集系统获取的数据进行处理以生成相关数据，然后上传给自己的上层系统。数据血缘关系就是基于应用需求将各系统生产的相关数据进行关联，并将生产数据需要的系统构架、基础设施以及传递数据用到的接口也包含在其中。

这样可以确定需要监控的各生产环节和其中涉及到的监控对象(对象、接口、系统构架、基础设施等)，从而提高故障监控的效率和准确性。

在步骤130中，根据数据血缘关系，对各相关数据的生产过程进行监控，以定位生产过程中的故障。例如，对各数据接口的状态、数据采集进度和数据采集质量进行监控，对各相关数据的生产质量和共享质量进行监控。

数据接口的状态可以包括FTP(File Transfer Protocol，文件传输协议)、OGG(Oracle Golden Gate，甲骨文金门系统)、Hbase(Hadoop Database)、DS(Data Service，数据服务系统)和基础设施(IT资源)的状态。数据采集进度可以包括采集启动时间、完成时间等。数据采集质量可以包括采集到的文件大小、数量和波动性等。数据的生产质量可以包括各系统中数据调度任务的执行情况(如是否异常)、执行延时等。数据的共享质量可以包括对各类数据对外应用的API(Application Programming Interface，应用程序编程接口)或数据视图的使用情况，如共享的及时性和成功率。

通过上述技术方案可以对数据生产过程进行端到端监控。这样就可以分析数据的生产质量影响了哪些应用出数(即，应用需要的相关数据是否按时间、按质量进行计算和输出)。另外，这样还可以对应用数据的影响进行分析，即，分析接口出现的问题会对哪些应用产生影响，相对应地，还可以在应用出现问题的情况下进行故障定位。

为了更清楚地说明本公开的技术方案，下面结合图2对本公开的数据血缘关系的建立方法进行说明。

图2示出本公开的数据血缘关系建立方法的一些实施例的示意图。

如图2所示，用户的应用需求是流量轨迹查询，即需要对用户的上网行为、流量去向等数据进行处理。为了给流量轨迹查询提供相关数据，整个相关数据生产过程涉及数据应用系统21、数据加工系统22、第二数据采集系统23和第一数据采集系统24。

数据应用系统21位于生产过程的最上层，例如可以是各种应用门户，用于根据用户的应用需求生成相应的API。例如，通过数据应用系统21可以确定用户的应用需求是进行流量轨迹查询，进而可以确定为了满足用户的应用需求，数据应用系统21需要从数据加工系统22中获取的相关数据为：流量轨迹查询宽表。

数据加工系统22位于数据应用系统21的下层，例如可以是各种大数据平台，用于对从第二数据采集系统23获取的数据进行加工以满足用户的应用需求。例如，数据加工系统22为了生成流量轨迹查询宽表需要调用子系统：产品实例数据采集系统、移动详单数据采集系统和移动DPI(Deep Packet Inspection，深度报文检测)数据采集系统。

产品实例数据采集系统用于采集第二数据采集系统23上传的产品实例汇聚数据(例如，通过OGG接口)。移动详单数据采集系统用于采集第二数据采集系统23上传的移动详单数据采集详单(例如，通过FTP接口)。移动DPI数据采集系统用于采集第二数据采集系统23上传的移动4G DPI数据和移动3G DPI数据(例如，通过FTP接口)。

数据加工系统22还需要调用宽表生成系统对上述数据进行加工，以生成移动详单数据采集详单宽表、移动4G DPI数据宽表和移动3GDPI数据宽表，并根据这三个宽表生成流量轨迹查询宽表。

进而可以确定为了满足用户的应用需求，数据加工系统22需要从第二数据采集系统23获取的相关数据为：产品实例汇聚数据、移动数据汇聚详单、移动4G汇聚DPI数据和移动汇聚3G DPI数据，数据生产过程涉及的接口为：OGG接口和FTP接口。

第二数据采集系统23位于数据加工系统22的下层，例如可以为某运营商的集团系统，用于采集和汇聚第一数据采集系统24上传的数据。例如，为了给数据加工系统22提供上述相关数据，第二数据采集系统23可以调用子系统：融合库、计费中心和上网日志存留系统。

融合库用于通过产品实例数据接口获取第一数据采集系统24上传的产品实例数据，以生产产品实例汇聚数据。计费中心用于通过移动数据详单接口获取第一数据采集系统24上传的移动数据详单，以生产移动数据汇聚详单。上网日志存留系统用于通过移动4GDPI数据接口获取第一数据采集系统24上传的移动4G DPI数据以生产移动4G汇聚DPI数据，和通过移动3G DPI数据接口获取第一数据采集系统24上传的移动3G DPI数据以生产移动汇聚3G DPI数据。

进而可以确定为了满足用户的应用需求，第二数据采集系统23需要从第一数据采集系统24获取的相关数据为：产品实例数据、移动数据详单、移动4G DPI数据和移动3G DPI数据，数据生产过程涉及的接口为：产品实例数据接口、移动数据详单接口、移动4G DPI数据接口和移动3G DPI数据接口。

第一数据采集系统24位于生产过程的最底层，例如某运营商的省分公司系统，负责采集应用需求所需的原始数据。为了给第二数据采集系统23提供应用需求的相关数据数据，采集系统24需要调用子系统：CRM(Customer Relationship Management，客户关系管理)系统、计费系统和DPI系统。

CRM系统用于采集产品实例数据并上传给第二数据采集系统23(例如，通过OGG接口)。计费系统用于采集移动数据详单并上传给第二数据采集系统23(例如，通过FTP接口)。DPI系统用于采集移动移动4G DPI数据和移动3G DPI数据上传给第二数据采集系统23(例如，通过FTP接口)。

进而可以确定为了满足用户的应用需求，第一数据采集系统24在数据生产过程中涉及的接口为：OGG接口和FTP接口。

根据上述步骤就可以构建图2右侧所示的相关数据的血缘关系。数据血缘关系中不但包括了各系统中数据的关联，还可以包括生产这些相关数据涉及的子系统、基础设施、系统构架以及传输这些相关数据涉及的接口。这样就可以基于数据血缘关系对整个数据生产过程进行全程监控，具体可以通过图3示出的方法进行监控。

图3示出本公开的故障监控方法的一些实施例的示意图。

如图3所示，基于图2中的实施例建立的数据血缘关系，可以对各系统生产数据涉及的接口状态、采集进度、采集质量、生产质量和共享质量进行端到端的监控。

在一些实施例中，针对用户的应用需求，确定对相关数据：产品实例数据、移动数据详单、移动4G DPI数据和移动3G DPI数据的生产过程进行监控。根据建立的数据血缘关系，可以确定需要监控第一数据采集系统24中生产上述相关数据涉及的OGG接口和FTP接口的接口状态、采集进度和采集质量。还可以确定需要对涉及到的子系统：CRM系统、计费系统和DPI系统进行监控。

在另一些实施例中，针对用户的应用需求，根据建立的数据血缘关系可以确定需要对相关数据：流量轨迹查询宽表、移动详单数据采集详单宽表、移动4G DPI数据宽表和移动3G DPI数据宽表的生产质量进行监控。还可以确定需要对流量轨迹查询API的共享质量进行监控。

在上述实施例中，从应用需求出发梳理出各系统中的相关数据，根据各系统的数据生产过程和数据交互过程建立数据血缘关系，在此基础上对数据的生产过程进行全程监控。这样通过对数据生产过程的跨系统关系，实现了对数据生产过程的全程监控，从而提高了故障的分析和定位准确性。

图4示出本公开的数据生产过程的故障定位装置的一些实施例的框图。

如图4所示，数据生产过程的故障定位装置4包括相关数据确定模块41、数据血缘关系建立模块42和生产过程监控模块43。

相关数据确定模块41根据各数据处理系统之间的数据关联情况，在各数据处理系统中确定应用需求的相关数据。例如，数据处理系统可以包括数据应用系统、数据加工系统和数据采集系统。相关数据确定模块41在数据应用系统中确定应用需求，根据各数据处理系统之间的数据关联情况，按照数据应用系统、数据加工系统和数据采集系统的顺序，依次在各数据处理系统中确定应用需求的相关数据。

数据血缘关系建立模块42根据各相关数据在各数据处理系统中的生产过程、各数据处理系统之间的数据交互过程，建立各相关数据之间的数据血缘关系。例如，数据血缘关系可以包括各相关数据之间的关联情况、与各相关数据有关的基础设施、数据交互过程中涉及的各数据接口。

生产过程监控模块43根据数据血缘关系，述各相关数据的生产过程进行监控，以定位生产过程中的故障。例如，生产过程监控模块对各数据接口的状态、数据采集进度和数据采集质量进行监控，对各相关数据的生产质量和共享质量进行监控。

在上述实施例中，从应用需求出发梳理出各系统中的相关数据，根据各系统的数据生产过程和数据交互过程建立数据血缘关系，在此基础上对数据的生产过程进行全程监控。这样通过对数据生产过程的跨系统关系，实现了对数据生产过程的全程监控，从而提高了故障的分析和定位准确性。

图5示出本公开的数据生产过程的故障定位装置的另一些实施例的框图。

如图5所示，该实施例的数据生产过程的故障定位装置5包括：存储器51和耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的数据生产过程的故障定位方法。

存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

至此，已经详细描述了根据本公开的数据生产过程的故障定位方法、装置。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种数据生产过程的故障定位方法，包括：

根据各数据处理系统之间的数据关联情况，在所述各数据处理系统中确定应用需求的相关数据；

根据各相关数据在所述各数据处理系统中的生产过程、所述各数据处理系统之间的数据交互过程，建立所述各相关数据之间的数据血缘关系；

根据所述数据血缘关系，对所述各相关数据的生产过程进行监控，以定位所述生产过程中的故障。

2.根据权利要求1所述的故障定位方法，其中，

所述数据处理系统包括数据应用系统、数据加工系统和数据采集系统；

在所述数据应用系统中确定所述应用需求；

根据所述各数据处理系统之间的数据关联情况，按照数据应用系统、数据加工系统和数据采集系统的顺序，依次在所述各数据处理系统中确定所述应用需求的相关数据。

3.根据权利要求1所述的故障定位方法，其中，

所述数据血缘关系包括所述各相关数据之间的关联情况、与所述各相关数据有关的基础设施、所述数据交互过程中涉及的各数据接口。

4.根据权利要求3所述的故障定位方法，其中，对所述各相关数据的生产过程进行监控包括：

对所述各数据接口的状态、数据采集进度和数据采集质量进行监控；

对所述各相关数据的生产质量和共享质量进行监控。

5.一种数据生产过程的故障定位装置，包括：

相关数据确定模块，用于根据各数据处理系统之间的数据关联情况，在所述各数据处理系统中确定应用需求的相关数据；

数据血缘关系建立模块，用于根据各相关数据在所述各数据处理系统中的生产过程、所述各数据处理系统之间的数据交互过程，建立所述各相关数据之间的数据血缘关系；

生产过程监控模块，用于根据所述数据血缘关系，对所述各相关数据的生产过程进行监控，以定位所述生产过程中的故障。

6.根据权利要求5所述的故障定位装置，其中，

所述数据处理系统包括数据应用系统、数据加工系统和数据采集系统；

所述相关数据确定模块在所述数据应用系统中确定所述应用需求，根据所述各数据处理系统之间的数据关联情况，按照数据应用系统、数据加工系统和数据采集系统的顺序，依次在所述各数据处理系统中确定所述应用需求的相关数据。

7.根据权利要求5所述的故障定位装置，其中，

所述数据血缘关系包括所述各相关数据之间的关联情况、与所述各相关数据有关的基础设施、所述数据交互过程中涉及的各数据接口。

8.根据权利要求7所述的故障定位装置，其中，

所述生产过程监控模块对所述各数据接口的状态、数据采集进度和数据采集质量进行监控，对所述各相关数据的生产质量和共享质量进行监控。

9.一种数据生产过程的故障定位装置，包括：

存储器；和

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行权利要求1-4任一项所述的数据生产过程的故障定位方法。

10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-4任一项所述的数据生产过程的故障定位方法。