CN111782679B - 数据处理过程的监管方法、装置、计算机设备及存储介质 - Google Patents

数据处理过程的监管方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111782679B
CN111782679B CN202010575552.0A CN202010575552A CN111782679B CN 111782679 B CN111782679 B CN 111782679B CN 202010575552 A CN202010575552 A CN 202010575552A CN 111782679 B CN111782679 B CN 111782679B
Authority
CN
China
Prior art keywords
task
data
data processing
failed
result table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010575552.0A
Other languages
English (en)
Other versions
CN111782679A (zh
Inventor
刘艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Coocaa Network Technology Co Ltd
Original Assignee
Shenzhen Coocaa Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coocaa Network Technology Co Ltd filed Critical Shenzhen Coocaa Network Technology Co Ltd
Priority to CN202010575552.0A priority Critical patent/CN111782679B/zh
Publication of CN111782679A publication Critical patent/CN111782679A/zh
Application granted granted Critical
Publication of CN111782679B publication Critical patent/CN111782679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明实施例公开了一种数据处理过程的监管方法、装置、计算机设备及存储介质。该方法包括：检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将第一任务标记为失败任务；根据任务依赖关系确定失败任务在数据上游中对应的顶端任务；调度顶端任务进行重试，并在顶端任务成功修复后，根据任务依赖关系继续调度顶端任务在数据下游中对应的第二任务，直至结果表中出现第一任务的更新数据，第二任务包括第一任务。本发明实施例所提供的技术方案，实现了对数据处理过程的监管，及时的发现数据处理链条中的失败信息并自动恢复，保证了数据处理链条的通畅以及数据处理任务的顺利执行。

Description

数据处理过程的监管方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理过程的监管方法、装置、计算机设备及存储介质。
背景技术
在通过互联网向用户提供各种应用服务的行业(OTT)中，所涉及的业务比较分散且多样，如影视播放、体育、教育、少儿以及购物等等业务分类，各个业务线需要不同的报表和数据来支持决策和状态感知。不管是数据仓库本身的建设过程还是为外部服务提供数据支持，过程中通过对原始数据不断的分层处理产生一个数据的处理链条，该处理链条的上下游将会产生大量的数据表，同时这些数据表之间也存在一定的血缘关系。但是当处理链条因其中一个步骤的失败而断开时，将会影响到该步骤之后的数据使用效果，该处理链条也就不再能顺利执行。
发明内容
本发明实施例提供一种数据处理过程的监管方法、装置、计算机设备及存储介质，以实现对数据处理过程的监管，从而保证数据处理任务的顺利执行。
第一方面，本发明实施例提供了一种数据处理过程的监管方法，该方法包括：
检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将所述第一任务标记为失败任务；
根据任务依赖关系确定所述失败任务在数据上游中对应的顶端任务；
调度所述顶端任务进行重试，并在所述顶端任务成功修复后，根据所述任务依赖关系继续调度所述顶端任务在数据下游中对应的第二任务，直至所述结果表中出现所述第一任务的更新数据，所述第二任务包括所述第一任务。
第二方面，本发明实施例还提供了一种数据处理过程的监管装置，该装置包括：
更新检测模块，用于检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将所述第一任务标记为失败任务；
任务确定模块，用于根据任务依赖关系确定所述失败任务在数据上游中对应的顶端任务；
任务重试模块，用于调度所述顶端任务进行重试，并在所述顶端任务成功修复后，根据所述任务依赖关系继续调度所述顶端任务在数据下游中对应的第二任务，直至所述结果表中出现所述第一任务的更新数据，所述第二任务包括所述第一任务。
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的数据处理过程的监管方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的数据处理过程的监管方法。
本发明实施例提供了一种数据处理过程的监管方法，首先检测在预设的时间节点结果表中是否有第一任务的更新数据，若没有更新数据，则将第一任务标记为失败任务，然后可以根据任务依赖关系确定该失败任务在其数据上游中对应的顶端任务，再从该顶端任务开始重新调度顶端任务及在其数据下游中对应的第二任务，其中第二任务包括第一任务，即可以从该顶端任务开始修复，直至结果表中出现了第一任务的更新数据，则完成了整个处理链条的修复过程。本发明实施例所提供的方法，通过检测更新数据的情况确定失败任务，并根据任务之间的依赖关系(即血缘关系)确定最初导致任务失败的顶端任务，再从顶端任务开始重试修复整个处理链条，实现了对数据处理过程的监管，及时的发现数据处理链条中的失败信息并自动恢复，保证了数据处理链条的通畅以及数据处理任务的顺利执行。
附图说明
图1为本发明实施例一提供的数据处理过程的监管方法的流程图；
图2为本发明实施例二提供的数据处理过程的监管装置的结构示意图；
图3为本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的数据处理过程的监管方法的流程图。本实施例可适用于在通过互联网向用户提供各种应用服务的过程中对数据处理过程进行监管以及恢复的情况，该方法可以由本发明实施例提供的数据处理过程的监管装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，该计算机设备具体可以是元数据管理平台下的计算机集群中的一个。如图1所示，具体包括如下步骤：
S11、检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将第一任务标记为失败任务。
OTT是指通过互联网向用户提供各种应用服务，这种服务将由网络运营商之外的第三方提供，即第三方服务商直接面向用户提供服务和计费等功能，使网络运营商仅作为单纯的传输管道。具体的，在电视业中即指通过公共网络向用户提供内容分发业务，而绕过传统的有限电视或直播到户卫星电视等系统。
在实现OTT服务的过程中，经过一系列的处理过程，最终需要向外部用户提供相关数据，可以将相关数据存储在数据库中备用，存储结果可以通过结果表的形式来体现，且结果表的数量可以是一个或多个，而第一任务即是指将当前批次的数据在结果表中进行存储更新的任务。针对每一批次的更新任务，完成任务所需的时间相对接近，或者可以认为存在完成任务所需的最长时间，即可以在第一任务开始后，通过在预设的时间节点检测结果表中是否存在与第一任务对应的更新数据来确定第一任务是否顺利执行，若结果表中不存在与第一任务对应的更新数据，则可以认为第一任务未成功执行，并将第一任务标记为失败任务以便于后续识别出该失败任务并对其进行修复。
可选的，检测在预设的时间节点结果表中是否有第一任务的更新数据，包括：获取每个结果表的最新更新时间；根据最新更新时间确定是否有第一任务的更新数据。具体的，可以通过结构化查询语言(SQL)中的数据表信息查询语句或者数据表最后更新时间查询语句等获得结果表的最新更新时间。若第一任务成功执行，即会有更新数据存储到结果表中，则最新更新时间将会随之发生变化，可以是更新数据开始存储或结束存储的时间等。因此可以将最新更新时间与预设的时间节点进行比较，即可以确定针对第一任务结果表中是否有对应的数据更新。
可选的，在检测在预设的时间节点结果表中是否有第一任务的更新数据之后，还包括：若否，则发出指示任务失败的报警信息。具体的，若在预设的时间节点结果表中不存在与第一任务对应的更新数据，则可以认为第一任务未成功执行，此时可以通过发出报警信息，以在元数据管理平台中公布存在失败任务的信息，从而提示负责修复任务的模块开启对失败任务进行修复的过程，可以节约用于查询是否存在失败任务的时间。同时，还可以通过发出报警信息，以提示开发人员对失败任务进行记录优化或进行手动修复等过程。
可选的，结果表存储于关系型数据库中。具体的，在实现OTT服务的过程中，最终将提供给外部用户的一般是高度聚合的数据指标，数据量较小，因此可以存储在关系型数据库(即传统数据库)中。关系型数据库采用表格的存储方式，数据以行和列的方式进行存储，对于读取和查询的过程都十分方便，且可靠性和稳定性较高。相应的，可以通过关系型数据库管理系统(MySQL)来实现对数据存储以及获取数据等过程的管理。
S12、根据任务依赖关系确定失败任务在数据上游中对应的顶端任务。
其中，任务依赖关系是指其中的任务需要依赖其他任务的执行结果或被其他任务所依赖执行而形成的关系，即血缘关系，可以表明各个任务之间数据上下游的来源去向关系。失败任务通常是数据处理链条中的末端任务，通过任务依赖关系即可以从失败任务出发，向数据上游寻找最初导致任务失败的顶端任务，即数据处理链条的顶端。
可选的，在根据任务依赖关系确定失败任务在数据上游中对应的顶端任务之前，还包括：获取失败任务的执行日志；根据执行日志递归寻找失败任务在数据上游中的依赖任务；根据递归结果确定任务依赖关系。在确定顶端任务之前，需要先确定该任务依赖关系，即建立数据处理链条中各个任务之间的血缘链条。
具体的，可以通过分布式工作流管理器(Azkaban)来获取失败任务的执行日志，Azkaban可以对数据处理链条中各个任务进行调度执行，并存储相应的执行日志。根据失败任务的执行日志即可确定失败任务在数据上游所依赖的第一依赖任务，然后进一步可以根据第一依赖任务的执行日志确定第一依赖任务所依赖的第二依赖任务，经过递归寻找的过程，即可确定失败任务在数据上游中所有的依赖任务，即确定了数据处理链条中各个任务之间依赖或被依赖的关系，从而确定了上述的任务依赖关系。
S13、调度顶端任务进行重试，并在顶端任务成功修复后，根据任务依赖关系继续调度顶端任务在数据下游中对应的第二任务，直至结果表中出现第一任务的更新数据，第二任务包括第一任务。
在确定了顶端任务之后，即可从顶端任务开始重试，以根据任务依赖关系逐步恢复数据处理链条中的各个任务。具体的，可以通过Azkaban来实现有序的对各个任务进行调度，在顶端任务完成重试后，若成功修复顶端任务，则可根据任务依赖关系继续调度顶端任务在数据下游中的第二任务，每次的调度过程均是在被依赖任务成功修复后开始，直至实现了对第一任务的修复，即在结果表中出现了第一任务的更新数据为止，从而实现了对数据处理链条的失败情况进行自动恢复的过程。其中，第二任务是该顶端任务在数据下游中的所有任务，包括上述的第一任务，并且当顶端任务在数据下游中仅包含一个任务时，第二任务即是第一任务。
可选的，调度顶端任务进行重试，并在顶端任务成功修复后，根据任务依赖关系继续调度顶端任务在数据下游中对应的第二任务，直至结果表中出现第一任务的更新数据，包括：获取失败任务对应的执行计划；根据执行计划对顶端任务及第二任务进行调度。
具体的，可以在执行数据处理链条中的各项任务之前，通过Azkaban来生成各项任务对应的执行计划，该执行计划可以是基于数据处理链条中的所有任务组织形成的执行计划，以便于后续可以根据该执行计划对各项任务进行调度执行。在出现失败任务时，即可以通过Azkaban寻找失败任务对应的执行计划，并在确定了失败任务对应的顶端任务后，从该顶端任务开始根据该执行计划对数据处理链条中的所有任务进行调度重试。
可选的，调度顶端任务进行重试，并在顶端任务成功修复后，根据任务依赖关系继续调度顶端任务在数据下游中对应的第二任务，直至结果表中出现第一任务的更新数据，还包括：确定顶端任务的重试时间；根据重试时间对顶端任务及第二任务进行调度。
具体的，可以根据元数据管理平台中集群的资源使用状态确定顶端任务的重试时间，然后根据该重试时间开始对顶端任务进行调度，进而根据任务依赖关系顺序调度执行每个第二任务，以实现对数据处理链条中的所有任务进行调度重试。还可以进一步的确定顶端任务在数据下游中对应的每个第二任务的重试时间，以实现对集群资源更合理的分配，从而减少对其他数据处理链条执行所造成的影响。
本发明实施例所提供的技术方案，首先检测在预设的时间节点结果表中是否有第一任务的更新数据，若没有更新数据，则将第一任务标记为失败任务，然后可以根据任务依赖关系确定该失败任务在其数据上游中对应的顶端任务，再从该顶端任务开始重新调度顶端任务及在其数据下游中对应的第二任务，其中第二任务包括第一任务，即可以从该顶端任务开始修复，直至结果表中出现了第一任务的更新数据，则完成了整个处理链条的修复过程。本发明实施例所提供的方法，通过检测更新数据的情况确定失败任务，并根据任务之间的依赖关系确定最初导致任务失败的顶端任务，再从顶端任务开始重试修复整个处理链条，实现了对数据处理过程的监管，及时的发现数据处理链条中的失败信息并自动恢复，保证了数据处理链条的通畅以及数据处理任务的顺利执行。
实施例二
图2为本发明实施例二提供的数据处理过程的监管装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，该计算机设备具体可以是元数据管理平台下的计算机集群中的一个。如图2所示，该装置包括：
更新检测模块21，用于检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将第一任务标记为失败任务；
任务确定模块22，用于根据任务依赖关系确定失败任务在数据上游中对应的顶端任务；
任务重试模块23，用于调度顶端任务进行重试，并在顶端任务成功修复后，根据任务依赖关系继续调度顶端任务在数据下游中对应的第二任务，直至结果表中出现第一任务的更新数据，第二任务包括第一任务。
本发明实施例所提供的技术方案，首先检测在预设的时间节点结果表中是否有第一任务的更新数据，若没有更新数据，则将第一任务标记为失败任务，然后可以根据任务依赖关系确定该失败任务在其数据上游中对应的顶端任务，再从该顶端任务开始重新调度顶端任务及在其数据下游中对应的第二任务，其中第二任务包括第一任务，即可以从该顶端任务开始修复，直至结果表中出现了第一任务的更新数据，则完成了整个处理链条的修复过程。本发明实施例所提供的方法，通过检测更新数据的情况确定失败任务，并根据任务之间的依赖关系确定最初导致任务失败的顶端任务，再从顶端任务开始重试修复整个处理链条，实现了对数据处理过程的监管，及时的发现数据处理链条中的失败信息并自动恢复，保证了数据处理链条的通畅以及数据处理任务的顺利执行。
在上述技术方案的基础上，可选的，更新检测模块21，包括：
更新时间获取单元，用于获取每个结果表的最新更新时间；
更新数据确定单元，用于根据最新更新时间确定是否有第一任务的更新数据。
在上述技术方案的基础上，可选的，该数据处理过程的监管装置，还包括：
执行日志获取模块，用于在根据任务依赖关系确定失败任务在数据上游中对应的顶端任务之前，获取失败任务的执行日志；
依赖任务寻找模块，用于根据执行日志递归寻找失败任务在数据上游中的依赖任务；
依赖关系确定模块，用于根据递归结果确定任务依赖关系。
在上述技术方案的基础上，可选的，任务重试模块23，包括：
执行计划获取单元，用于获取失败任务对应的执行计划；
第一任务调度单元，用于根据执行计划对顶端任务及第二任务进行调度。
在上述技术方案的基础上，可选的，任务重试模块23，还包括：
重试时间确定单元，用于确定顶端任务的重试时间；
第二任务调度单元，用于根据重试时间对顶端任务及第二任务进行调度。
在上述技术方案的基础上，可选的，该数据处理过程的监管装置，还包括：
报警信息发出模块，用于在检测在预设的时间节点结果表中是否有第一任务的更新数据之后，若否，则发出指示任务失败的报警信息。
在上述技术方案的基础上，可选的，结果表存储于关系型数据库中。
本发明实施例所提供的数据处理过程的监管装置可执行本发明任意实施例所提供的数据处理过程的监管方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，在上述数据处理过程的监管装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例三
图3为本发明实施例三提供的计算机设备的结构示意图，示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图3显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图3所示，该计算机设备包括处理器31、存储器32、输入装置33及输出装置34；计算机设备中处理器31的数量可以是一个或多个，图3中以一个处理器31为例，计算机设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据处理过程的监管方法对应的程序指令/模块(例如，数据处理过程的监管装置中的更新检测模块21、任务确定模块22及任务重试模块23)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的数据处理过程的监管方法。
存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于获取待处理的数据以及计算机设备的用户设置和功能控制有关的键信号输入等。输出装置34可用于将处理后的数据发往外界的用户终端等。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种数据处理过程的监管方法，该方法包括：
检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将第一任务标记为失败任务；
根据任务依赖关系确定失败任务在数据上游中对应的顶端任务；
调度顶端任务进行重试，并在顶端任务成功修复后，根据任务依赖关系继续调度顶端任务在数据下游中对应的第二任务，直至结果表中出现第一任务的更新数据，第二任务包括第一任务。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据处理过程的监管方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据处理过程的监管方法，其特征在于，包括：
检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将所述第一任务标记为失败任务；
根据任务依赖关系确定所述失败任务在数据上游中对应的顶端任务；
调度所述顶端任务进行重试，并在所述顶端任务成功修复后，根据所述任务依赖关系继续调度所述顶端任务在数据下游中对应的第二任务，直至所述结果表中出现所述第一任务的更新数据，所述第二任务包括所述第一任务；
所述调度所述顶端任务进行重试，并在所述顶端任务成功修复后，根据所述任务依赖关系继续调度所述顶端任务在数据下游中对应的第二任务，直至所述结果表中出现所述第一任务的更新数据，还包括：
确定所述顶端任务的重试时间；
根据所述重试时间对所述顶端任务及所述第二任务进行调度；其中，根据元数据管理平台中集群的资源使用状态确定所述顶端任务的重试时间；
所述检测在预设的时间节点结果表中是否有第一任务的更新数据，包括：
获取每个所述结果表的最新更新时间；
根据所述最新更新时间确定是否有第一任务的更新数据；其中，将最新更新时间与预设的时间节点进行比较，根据比较结果确定针对第一任务结果表中是否有对应的数据更新。
2.根据权利要求1所述的数据处理过程的监管方法，其特征在于，在所述根据任务依赖关系确定所述失败任务在数据上游中对应的顶端任务之前，还包括：
获取所述失败任务的执行日志；
根据所述执行日志递归寻找所述失败任务在数据上游中的依赖任务；
根据递归结果确定所述任务依赖关系。
3.根据权利要求1所述的数据处理过程的监管方法，其特征在于，所述调度所述顶端任务进行重试，并在所述顶端任务成功修复后，根据所述任务依赖关系继续调度所述顶端任务在数据下游中对应的第二任务，直至所述结果表中出现所述第一任务的更新数据，包括：
获取所述失败任务对应的执行计划；
根据所述执行计划对所述顶端任务及所述第二任务进行调度。
4.根据权利要求1所述的数据处理过程的监管方法，其特征在于，在所述检测在预设的时间节点结果表中是否有第一任务的更新数据之后，还包括：
若否，则发出指示任务失败的报警信息。
5.根据权利要求1所述的数据处理过程的监管方法，其特征在于，所述结果表存储于关系型数据库中。
6.一种数据处理过程的监管装置，其特征在于，包括：
更新检测模块，用于检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将所述第一任务标记为失败任务；
任务确定模块，用于根据任务依赖关系确定所述失败任务在数据上游中对应的顶端任务；
任务重试模块，用于调度所述顶端任务进行重试，并在所述顶端任务成功修复后，根据所述任务依赖关系继续调度所述顶端任务在数据下游中对应的第二任务，直至所述结果表中出现所述第一任务的更新数据，所述第二任务包括所述第一任务；
所述任务重试模块，还包括：
重试时间确定单元，用于确定所述顶端任务的重试时间；
第二任务调度单元，用于根据所述重试时间对所述顶端任务及所述第二任务进行调度；其中，根据元数据管理平台中集群的资源使用状态确定所述顶端任务的重试时间；
所述更新检测模块，包括：
更新时间获取单元，用于获取每个所述结果表的最新更新时间；
更新数据确定单元，用于根据所述最新更新时间确定是否有第一任务的更新数据；其中，将最新更新时间与预设的时间节点进行比较，根据比较结果确定针对第一任务结果表中是否有对应的数据更新。
7.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据处理过程的监管方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的数据处理过程的监管方法。
CN202010575552.0A 2020-06-22 2020-06-22 数据处理过程的监管方法、装置、计算机设备及存储介质 Active CN111782679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010575552.0A CN111782679B (zh) 2020-06-22 2020-06-22 数据处理过程的监管方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010575552.0A CN111782679B (zh) 2020-06-22 2020-06-22 数据处理过程的监管方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111782679A CN111782679A (zh) 2020-10-16
CN111782679B true CN111782679B (zh) 2024-03-26

Family

ID=72757070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010575552.0A Active CN111782679B (zh) 2020-06-22 2020-06-22 数据处理过程的监管方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111782679B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506911A (zh) * 2020-12-18 2021-03-16 杭州数澜科技有限公司 一种数据质量监控方法、装置、电子设备以及存储介质
CN114936113B (zh) * 2022-04-26 2023-07-21 北京科杰科技有限公司 一种任务雪崩恢复方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071564A1 (en) * 2004-01-21 2005-08-04 Rnc Global Projects A project management method and system
CN105468450A (zh) * 2015-12-29 2016-04-06 华为技术有限公司 任务调度方法及系统
CN106293971A (zh) * 2016-08-15 2017-01-04 张家林 一种分布式任务调度的方法和装置
CN107025129A (zh) * 2016-01-29 2017-08-08 腾讯科技（深圳）有限公司 一种数据处理方法以及装置
CN109614400A (zh) * 2018-11-30 2019-04-12 深圳前海微众银行股份有限公司 失败任务的影响及溯源分析方法、装置、设备及存储介质
CN110134505A (zh) * 2019-05-15 2019-08-16 湖南麒麟信安科技有限公司 一种集群系统的分布式计算方法、系统及介质
CN110516971A (zh) * 2019-08-29 2019-11-29 杭州网易再顾科技有限公司 异常检测的方法、装置、介质和计算设备
CN110764747A (zh) * 2019-10-22 2020-02-07 南方电网科学研究院有限责任公司 基于Airflow的数据计算调度方法
CN110825507A (zh) * 2019-10-31 2020-02-21 杭州米络星科技(集团)有限公司 一种支持多任务重跑的调度方法
CN111125444A (zh) * 2019-12-10 2020-05-08 中国平安财产保险股份有限公司 大数据任务调度管理方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818291B2 (en) * 2006-02-03 2010-10-19 The General Electric Company Data object access system and method using dedicated task object
US20110246823A1 (en) * 2010-04-05 2011-10-06 Et International, Inc. Task-oriented node-centric checkpointing (toncc)
US8453123B2 (en) * 2010-07-16 2013-05-28 International Business Machines Corporation Time-based trace facility
US10949254B2 (en) * 2018-09-28 2021-03-16 Atlassian Pty Ltd. Systems and methods for scheduling tasks

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071564A1 (en) * 2004-01-21 2005-08-04 Rnc Global Projects A project management method and system
CN105468450A (zh) * 2015-12-29 2016-04-06 华为技术有限公司 任务调度方法及系统
CN107025129A (zh) * 2016-01-29 2017-08-08 腾讯科技（深圳）有限公司 一种数据处理方法以及装置
CN106293971A (zh) * 2016-08-15 2017-01-04 张家林 一种分布式任务调度的方法和装置
CN109614400A (zh) * 2018-11-30 2019-04-12 深圳前海微众银行股份有限公司 失败任务的影响及溯源分析方法、装置、设备及存储介质
CN110134505A (zh) * 2019-05-15 2019-08-16 湖南麒麟信安科技有限公司 一种集群系统的分布式计算方法、系统及介质
CN110516971A (zh) * 2019-08-29 2019-11-29 杭州网易再顾科技有限公司 异常检测的方法、装置、介质和计算设备
CN110764747A (zh) * 2019-10-22 2020-02-07 南方电网科学研究院有限责任公司 基于Airflow的数据计算调度方法
CN110825507A (zh) * 2019-10-31 2020-02-21 杭州米络星科技(集团)有限公司 一种支持多任务重跑的调度方法
CN111125444A (zh) * 2019-12-10 2020-05-08 中国平安财产保险股份有限公司 大数据任务调度管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111782679A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN111078504A (zh) 一种分布式调用链跟踪方法、装置、计算机设备及存储介质
US20110161933A1 (en) Software defect tracking
CN111782679B (zh) 数据处理过程的监管方法、装置、计算机设备及存储介质
US9659108B2 (en) Pluggable architecture for embedding analytics in clustered in-memory databases
CN110650036A (zh) 告警处理方法、装置及电子设备
CN103514223A (zh) 一种数据仓库数据同步方法和系统
US20150142764A1 (en) Language tag management on international data storage
CN111190892B (zh) 一种数据回填中处理异常数据的方法和装置
CN110225078B (zh) 一种应用服务更新方法、系统及终端设备
US20100121668A1 (en) Automated compliance checking for process instance migration
TW200821863A (en) Work item event procession
CN111125213A (zh) 数据采集的方法、装置及其系统
CN110543512A (zh) 一种信息同步方法，装置及系统
CN110716804A (zh) 无用资源的自动删除方法、装置、存储介质及电子设备
CN113407973B (zh) 软件功能权限管理方法、系统、服务器及存储介质
CN110780981B (zh) 一种hadoop大数据平台的任务调度管理系统及方法
CN110795259A (zh) 一种分析应用崩溃的方法和装置
CN112527497B (zh) 一种序列化多线程数据处理系统
US9069833B2 (en) Detecting data omissions for an intermittently-connected application
CN108958827B (zh) 一种处理程序升级故障的方法和系统
US7542930B1 (en) Rules based scenario management
CN116109112B (zh) 基于聚合接口的业务数据处理方法、装置、介质和设备
CN113111120B (zh) 业务数据校验的方法和装置
CN112148725B (zh) 一种实现全局唯一索引的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 2306, east block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518057

Applicant after: Shenzhen Kukai Network Technology Co.,Ltd.

Address before: Room 2306, east block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518057

Applicant before: Shenzhen Coocaa Network Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant