CN112749034B - 一种数据异常处理方法、装置、存储介质及电子设备 - Google Patents
一种数据异常处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112749034B CN112749034B CN201911050961.2A CN201911050961A CN112749034B CN 112749034 B CN112749034 B CN 112749034B CN 201911050961 A CN201911050961 A CN 201911050961A CN 112749034 B CN112749034 B CN 112749034B
- Authority
- CN
- China
- Prior art keywords
- task
- scheduling
- abnormal
- completion
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 4
- 230000002159 abnormal effect Effects 0.000 claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据异常处理方法、装置、存储介质及电子设备，其中方法包括：当确定数据异常时，调用用于完成该数据的各调度任务的任务关系树，所述任务关系树包括所述各调度任务的父子关系，以及各所述调度任务的完成状态；确定所述任务关系树中底层异常调度任务；基于所述任务关系树，根据所述底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务。本发明实施例的技术方案实现了自动快速确定异常源头任务，无需人工识别各调度任务，简化了异常源头任务的识别过程，提高了异常源头任务的识别精度和效率。
Description
技术领域
本发明实施例涉及大数据技术领域，尤其涉及一种数据异常处理方法、装置、存储介质及电子设备。
背景技术
随着大数据技术的不断发展，通过数据库对大量数据进行存储和管理成为数据管理的常用手段。通过创建任务对数据库实现数据的读取、查询、编辑等数据管理任务，每一个数据管理任务可由多个调度任务依次执行。
但是，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：当确定大数据的整体数据任务执行失败或者延迟时，需通过人工方式逐一识别对整体数据任务的各单个调度任务是否为数据异常的源头，查询速度慢，耗费大量的人力、时间及设备资源，降低了计算机的使用效率，影响数据任务的执行效率。
发明内容
本发明实施例提供一种数据异常处理方法、装置、存储介质及电子设备，以实现快速确定数据异常源头。
第一方面，本发明实施例提供了一种数据异常处理方法，包括：
当确定数据异常时，调用用于完成该数据的各调度任务的任务关系树，所述任务关系树包括所述各调度任务的父子关系，以及各所述调度任务的完成状态；
确定所述任务关系树中底层异常调度任务；
基于所述任务关系树，根据所述底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务。
第二方面，本发明实施例还提供了一种数据异常处理装置，包括：
任务关系树调用模块，用于当确定数据异常时，调用用于完成该数据的各调度任务的任务关系树，所述任务关系树包括所述各调度任务的父子关系，以及各所述调度任务的完成状态；
底层异常调度任务确定模块，用于确定所述任务关系树中底层异常调度任务；
异常源头任务确定模块，用于基于所述任务关系树，根据所述底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例提供的数据异常处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的数据异常处理方法。
本发明实施例通过在数据异常时，调用各调度任务的完成状态的任务关系树，并基于底层异常调度任务，在任务关系树中确定异常源头任务，实现了自动快速确定异常源头任务，无需人工识别各调度任务，简化了异常源头任务的识别过程，提高了异常源头任务的识别精度和效率。
附图说明
图1为本发明实施例一提供的一种数据异常处理方法的流程示意图；
图2是本发明实施例一提供的一种任务关系树的示例图；
图3是本发明实施例一提供的另一种任务关系树的示例图；
图4是本发明实施例二提供的一种数据异常处理方法的流程示意图；
图5是本发明实施例三提供的一种数据异常处理装置的结构示意图；
图6为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据异常处理方法的流程示意图，本实施例可适用于快速确定导致数据异常的源头任务情况，该方法可以由本发明实施例提供的数据异常处理装置来执行，该装置可采用软件和/或硬件的方式实现。具体包括如下步骤：
S110、当确定数据异常时，调用用于完成该数据的各调度任务的任务关系树，任务关系树包括各调度任务的父子关系，以及各调度任务的完成状态。
S120、确定任务关系树中底层异常调度任务。
S130、基于任务关系树，根据底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务。
本实施例中，数据库中存储有海量数据，通过创建菜单任务对数据库中的数据进行诸如读取、查询、分析等的操作，示例性的，数据库可以存储产品销量数据，其中，数据库中可以包括多个数据表，菜单任务可以是用于基于一个维度信息查询产品销量数据，例如，菜单任务可以是用于查询某品牌产品的销售数据，或者查询某部门的销售数据，或者查询某商品类型的销售数据等。
菜单任务可以由多个调度任务组成，不同的调度任务之间存在调度关系，示例性的，调度任务A执行完成后，触发执行调度任务B等，上级调度任务可以同时触发至少一个下级调度任务。当菜单任务执行完成后，可得到菜单任务对应的数据，将得到的数据发送至显示器、约定的客户端或者约定的服务器等，用于显示给目标用户。示例性的，可以是在BDP(Business Data Platform，商业数据平台)平台上执行上述菜单任务。
根据菜单任务中各调度任务之间的调度关系，可生成任务关系树，其中，任务关系树中包括各调度任务的标识以及各标识的连接关系，每一个调度任务的标识作为一个节点，通过各节点的父子关系表示调度关系。示例性的，在菜单任务中，调度任务A执行完成后，触发执行调度任务B，则在任务关系树中，调度任务A对应的节点为调度任务B的父节点。
本实施例中，数据异常为菜单任务未在约定时刻执行完成，即在约定时刻未得到菜单任务对应的数据，无法显示给目标用户。可选的，数据异常包括数据的完成时间延迟或者菜单任务执行报错，其中菜单任务执行报错可以是任一调度任务执行过程中，出现报错。具体的，当在菜单任务执行过程中，检测到任一调度任务的报错，确定数据异常；当未检测到任一调度任务报错时，确定菜单任务中最后一个调度任务的完成时间，将该最后一个调度任务的完成时间确定为数据完成时间，将该数据完成时间与约定时间进行比对，当数据完成时间未超过约定时间，确定数据正常，当数据完成时间超过约定时间，确定数据异常。其中，每一个类型的数据对应的约定时间，可以根据用户需求确定，或者可以是预先设置的。例如，该约定时间可以是SLA(Service-Level Agreement，服务等级协议)时间，示例性的，某品牌产品的销售数据的完成时刻为每天早上8:00，当在早上8:00未得到某品牌产品的销售数据时，确定数据异常。
在确定数据异常时，通过完成该数据的各调度任务的任务关系树，快速确定导致数据异常的源头任务，便于操作人员快速对该异常源头数据进行调节等处理，省略了操作人员逐一对各调度任务进行排查的过程，提高了数据异常的检测和处理效率。
其中，用于完成每一个类型的数据的初始任务关系树是预先确定，可通过菜单任务或者数据类型调用初始任务关系树。初始任务关系树在包括各调度任务以及各调度任务之间的父子关系。可选的，在菜单任务开始执行时，调用菜单任务对应的初始任务关系树，检测菜单任务中每一个调度任务的完成状态，并实时更新初始任务关系树，当菜单任务执行完成或者出现任务报错时，生成该菜单任务的任务关系树。需要说明的是，当出现任务报错时，停止执行下一级调度任务，并进行报警。
其中，调度任务的完成状态包括正常完成和异常完成，根据完成状态调节初始任务关系树。可选的，各调度任务的完成状态基于不同颜色区别设置，示例性的，任务关系树中，正常完成的调度任务的节点为绿色节点，异常完成的调度任务的节点为红色节点，正在执行的调度任务的节点可以是蓝色节点；可选的，各调度任务的完成状态基于不同标识区别设置，示例性的，正常完成的调度任务设置数字1，异常完成的调度任务的设置数据0。需要说明的是，不限定任务关系树中完成状态的区别方式，只要电子设备可自动识别各调度任务的完成状态即可。
本实施例中，通过设置能够标识各调度任务的完成状态的任务关系树，便于电子设备在调度任务关系树后，自动识别各调度任务的完成状态。示例性的，参见图2，图2是本发明实施例一提供的一种任务关系树的示例图，图2中红色表征异常完成，绿色表征正常完成，图2仅为示例，菜单任务中可以是包括几十、几百或者几千个调度任务，本实施例中不做限定。
将任务关系树中，最底层中完成状态为异常完成的调度任务确定为底层异常调度任务，其中，导致该底层异常调度任务异常完成的源头任务即为导致数据异常的源头任务，本实施例中，通过确定底层异常调度任务，针对性的识别异常源头任务，提高异常源头任务的确定效率和准确性。示例性的，参见图2，图2中，最底层包括四个调度任务，其中，调度任务D的完成状态为异常完成，其他均为正常完成，即调度任务D为底层异常调度任务。
异常源头任务可以是底层异常调度任务本身或者底层异常调度任务的一个父任务。可选的，基于任务关系树，根据底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务，包括：根据任务关系树确定异常任务分布，根据异常任务分布确定异常源头任务。异常任务分布可以是多个异常完成的调度任务连续，或者多个异常完成的调度任务存在间隔。示例性的，参见图2，图2中三个异常完成的调度任务连续，即调度任务D、E、G。参见图3，图3为本发明实施例一提供的另一种任务关系树的示例图，图3中三个异常完成的调度任务间存在间隔。图3中，由于调度任务E正常完成，表明调度任务F的异常完成未对调度任务E造成影响，因此也不是导致调度任务G异常完成的源头。
可选的，根据异常任务分布确定异常源头任务，包括：确定异常任务分布中，与底层异常调度任务距离最近的，且完成状态为正常完成的临界父任务；将底层异常调度任务的父任务中，临界父任务的子任务确定为异常源头任务。从任务关系树最底层依次向上，确定底层异常调度任务的各级父任务中与底层异常调度任务距离最近的正常完成的调度任务，将该调度任务确定临界调度任务，参见图3，调度任务E为临界调度任务，参见图2，调度任务F为临界调度任务。临界调度任务的子任务至底层异常调度任务的分支中，均为异常完成调度任务。相应的，根据临界调度任务确定异常源头任务，即将临界调度任务至底层异常调度任务的分支中的首个异常完成的调度任务确定为异常源头任务，参见图3，调度任务G为异常源头任务，参见图2，调度任务E为异常源头任务。需要说明的是，异常源头任务为底层异常调度任务本身或者底层异常调度任务的某一级父任务，且是临界调度任务的子任务。
本实施例的技术方案，通过在数据异常时，调用各调度任务的完成状态的任务关系树，并基于底层异常调度任务，在任务关系树中确定异常源头任务，实现了自动快速确定异常源头任务，无需人工识别各调度任务，简化了异常源头任务的识别过程，提高了异常源头任务的识别精度和效率。
实施例二
图4是本发明实施例提供的一种数据异常处理方法的流程示意图，在上述实施例的基础上进行了优化，该方法具体包括：
S210、监测各调度任务的完成状态，根据各调度任务的完成状态更新任务关系树。
S220、当确定数据异常时，调用用于完成该数据的各调度任务的任务关系树，任务关系树包括各调度任务的父子关系，以及各调度任务的完成状态。
S230、确定任务关系树中底层异常调度任务。
S240、基于任务关系树，根据底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务。
本实施例中，在菜单任务中各调度任务的执行过程中，实时监测各调度任务的完成状态，以得到任务关系树。其中，在调度任务的执行过程中，可以至少一个调度任务同步执行，且同步监测完成状态。示例性的，可以是基于调度任务的约定完成时刻判断调度任务的完成状态，其中，每一个调度任务均设置有约定完成时刻，不同调度任务的约定完成时刻可以相同或不同。
具体的，监测各调度任务的完成状态，包括：对于任一调度任务，检测当前调度任务的当前执行时刻或完成时刻；根据当前调度任务的当前执行时刻或完成时刻、以及当前调度任务的约定完成时刻，确定当前调度任务的完成状态。具体的，当当前调度任务的当前执行时刻或完成时刻超过约定完成时刻，确定当前调度任务的完成状态为异常完成，其中，当前执行时刻超过约定完成时刻，表明该调度任务的完成时刻必然超过约定完成时刻，确定完成状态为异常完成；当当前调度任务的完成时刻未超过约定完成时刻，确定当前调度任务的完成状态正常完成。
本实施例中，由于电子设备以及运行环境等影响，同一调度任务的执行时长可能存在差异，为提高各调度任务完成状态的检测精度，仅通过调度任务的完成时刻对调度任务进行完成状态检测，降低各影响因素对检测精度的影响。
本实施例中，各调度任务的约定完成时刻可以预先设置的，或者还可以是根据各调度任务的历史完成时刻计算得到。可选的，当前调度任务的约定完成时刻根据预设时间段内，当前调度任务的历史完成时刻的均值或众数确定。其中，预设时间段可以是当前菜单任务执行前的一个月，统计预设时间段内，相同菜单任务中，每一个调度任务的完成时刻。对于当前调度任务，删除统计的各历史完成时刻中的离群值，并将确定的多个历史完成时刻的均值作为当前调度任务的约定完成时刻，或者将确定的多个历史完成时刻的众数作为当前调度任务的约定完成时刻。
可选的，各前调度任务的约定完成时刻可根据预设间隔时间进行更新，以提高对任务执行平台、电子设备等的适应性，进一步提高对各调度任务完成状态进行检测的准确性。
本实施例提供的技术方案，通过在各调度任务的执行过程中，实时监测各调度任务的完成状态，并得到包括各调度任务的完成状态的任务关系树，便于在数据异常时，根据上述任务关系树快速定位异常源头任务，无需人工识别各调度任务，简化了异常源头任务的识别过程，提高了异常源头任务的识别精度和效率。
实施例三
图5是本发明实施例三提供的一种数据异常处理装置的结构示意图，该装置包括任务关系树调用模块310、底层异常调度任务确定模块320和异常源头任务确定模块330，其中：
任务关系树调用模块310，用于当确定数据异常时，调用用于完成该数据的各调度任务的任务关系树，所述任务关系树包括所述各调度任务的父子关系，以及各所述调度任务的完成状态；
底层异常调度任务确定模块320，用于确定所述任务关系树中底层异常调度任务；
异常源头任务确定模块330，用于基于所述任务关系树，根据所述底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务。
在上述实施例的基础上，所述数据的完成时间延迟，确定数据异常；或者，
任一所述调度任务执行过程中，出现报错，确定数据异常。
在上述实施例的基础上，该装置还包括：
完成状态监测模块，用于监测所述各调度任务的完成状态；
任务关系树更新状态，用于根据所述各调度任务的完成状态更新所述任务关系树。
在上述实施例的基础上，完成状态监测模块包括：
任务执行检测单元，用于对于任一调度任务，检测当前调度任务的当前执行时刻或完成时刻；
完成状态确定单元，用于根据所述当前调度任务的当前执行时刻或完成时刻、以及所述当前调度任务的约定完成时刻，确定所述当前调度任务的完成状态。
在上述实施例的基础上，完成状态确定单元用于：
当所述当前调度任务的当前执行时刻或完成时刻超过所述约定完成时刻，确定所述当前调度任务的完成状态为异常完成；
当所述当前调度任务的完成时刻未超过所述约定完成时刻，确定所述当前调度任务的完成状态正常完成。
在上述实施例的基础上，所述当前调度任务的约定完成时刻根据预设时间段内，所述当前调度任务的历史完成时刻的均值或众数确定。
在上述实施例的基础上，异常源头任务确定模块330包括：
异常任务分布确定单元，用于根据所述任务关系树确定异常任务分布；
异常源头任务确定单元，用于根据所述异常任务分布确定所述异常源头任务。
在上述实施例的基础上，异常源头任务确定单元用于：
确定异常任务分布中，与所述底层异常调度任务距离最近的，且完成状态为正常完成的临界父任务；
将所述底层异常调度任务的父任务中，所述临界父任务的子任务确定为异常源头任务。
本发明实施例提供的数据异常处理装置可执行本发明任意实施例所提供的数据异常处理方法，具备执行数据异常处理方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的电子设备412的框图。图6显示的电子设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备412典型的是承担图像分类功能的电子设备。
如图6所示，电子设备412以通用计算设备的形式表现。电子设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。电子设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
电子设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显示器424等)通信，还可与一个或者多个使得用户能与该电子设备412交互的设备通信，和/或与使得该电子设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，电子设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与电子设备412的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的数据异常处理方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的数据异常处理方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据异常处理方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的源代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种数据异常处理方法，其特征在于，包括：
当确定数据异常时，调用用于完成该数据的各调度任务的任务关系树，所述任务关系树包括所述各调度任务的父子关系，以及各所述调度任务的完成状态；
确定所述任务关系树中底层异常调度任务；
基于所述任务关系树，根据所述底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务，其中，所述异常源头任务为所述底层异常调度任务的父任务中临界父任务的子任务，所述临界父任务为与所述底层异常调度任务距离最近的，且完成状态为正常完成的父任务。
2.根据权利要求1所述的方法，其特征在于，所述数据的完成时间延迟，确定数据异常；或者，
任一所述调度任务执行过程中，出现报错，确定数据异常。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
监测所述各调度任务的完成状态，根据所述各调度任务的完成状态更新所述任务关系树。
4.根据权利要求3所述的方法，其特征在于，监测所述各调度任务的完成状态，包括：
对于任一调度任务，检测当前调度任务的当前执行时刻或完成时刻；
根据所述当前调度任务的当前执行时刻或完成时刻、以及所述当前调度任务的约定完成时刻，确定所述当前调度任务的完成状态。
5.根据权利要求4所述的方法，其特征在于，根据所述当前调度任务的当前执行时刻或完成时刻、以及所述当前调度任务的约定完成时刻，确定所述当前调度任务的完成状态，包括：
当所述当前调度任务的当前执行时刻或完成时刻超过所述约定完成时刻，确定所述当前调度任务的完成状态为异常完成；
当所述当前调度任务的完成时刻未超过所述约定完成时刻，确定所述当前调度任务的完成状态正常完成。
6.根据权利要求4所述的方法，其特征在于，所述当前调度任务的约定完成时刻根据预设时间段内，所述当前调度任务的历史完成时刻的均值或众数确定。
7.根据权利要求1所述的方法，其特征在于，基于所述任务关系树，根据所述底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务，包括：
根据所述任务关系树确定异常任务分布；
根据所述异常任务分布确定所述异常源头任务。
8.根据权利要求7所述的方法，其特征在于，根据所述异常任务分布确定所述异常源头任务，包括：
确定异常任务分布中，与所述底层异常调度任务距离最近的，且完成状态为正常完成的临界父任务；
将所述底层异常调度任务的父任务中，所述临界父任务的子任务确定为异常源头任务。
9.根据权利要求1-7任一所述的方法，其特征在于，各所述调度任务的完成状态基于不同颜色区别设置；或者
所述各所述调度任务的完成状态基于不同标识区别设置。
10.一种数据异常处理装置，其特征在于，包括：
任务关系树调用模块，用于当确定数据异常时，调用用于完成该数据的各调度任务的任务关系树，所述任务关系树包括所述各调度任务的父子关系，以及各所述调度任务的完成状态；
底层异常调度任务确定模块，用于确定所述任务关系树中底层异常调度任务；
异常源头任务确定模块，用于基于所述任务关系树，根据所述底层异常调度任务的至少一个父任务的完成状态，确定异常源头任务，其中，所述异常源头任务为所述底层异常调度任务的父任务中临界父任务的子任务，所述临界父任务为与所述底层异常调度任务距离最近的，且完成状态为正常完成的父任务。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9中任一所述的数据异常处理方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的数据异常处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911050961.2A CN112749034B (zh) | 2019-10-31 | 2019-10-31 | 一种数据异常处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911050961.2A CN112749034B (zh) | 2019-10-31 | 2019-10-31 | 一种数据异常处理方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112749034A CN112749034A (zh) | 2021-05-04 |
| CN112749034B true CN112749034B (zh) | 2024-05-17 |
Family
ID=75641266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911050961.2A Active CN112749034B (zh) | 2019-10-31 | 2019-10-31 | 一种数据异常处理方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749034B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115437757A (zh) * | 2021-06-04 | 2022-12-06 | 中兴通讯股份有限公司 | 调度方法、系统、服务器和计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942034A (zh) * | 2014-03-21 | 2014-07-23 | 深圳华大基因科技服务有限公司 | 任务调度方法及实现该方法的电子装置 |
| CN107870948A (zh) * | 2016-09-28 | 2018-04-03 | 平安科技（深圳）有限公司 | 任务调度方法和装置 |
| CN108984284A (zh) * | 2018-06-26 | 2018-12-11 | 杭州比智科技有限公司 | 基于离线计算平台的dag任务调度方法及装置 |
| CN110245023A (zh) * | 2019-06-05 | 2019-09-17 | 欧冶云商股份有限公司 | 分布式调度方法及装置、电子设备以及计算机存储介质 |
| CN110287052A (zh) * | 2019-06-25 | 2019-09-27 | 深圳前海微众银行股份有限公司 | 一种异常任务的根因任务确定方法及装置 |
| WO2019204572A1 (en) * | 2018-04-18 | 2019-10-24 | Alibaba Group Holding Linited | Task processing method, apparatus, and system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9552229B2 (en) * | 2015-05-14 | 2017-01-24 | Atlassian Pty Ltd | Systems and methods for task scheduling |
-
2019
- 2019-10-31 CN CN201911050961.2A patent/CN112749034B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942034A (zh) * | 2014-03-21 | 2014-07-23 | 深圳华大基因科技服务有限公司 | 任务调度方法及实现该方法的电子装置 |
| CN107870948A (zh) * | 2016-09-28 | 2018-04-03 | 平安科技（深圳）有限公司 | 任务调度方法和装置 |
| WO2019204572A1 (en) * | 2018-04-18 | 2019-10-24 | Alibaba Group Holding Linited | Task processing method, apparatus, and system |
| CN108984284A (zh) * | 2018-06-26 | 2018-12-11 | 杭州比智科技有限公司 | 基于离线计算平台的dag任务调度方法及装置 |
| CN110245023A (zh) * | 2019-06-05 | 2019-09-17 | 欧冶云商股份有限公司 | 分布式调度方法及装置、电子设备以及计算机存储介质 |
| CN110287052A (zh) * | 2019-06-25 | 2019-09-27 | 深圳前海微众银行股份有限公司 | 一种异常任务的根因任务确定方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于危险理论的分布式服务异常检测模型;李锦民 等;计算机应用;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112749034A (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9471462B2 (en) | Proactive risk analysis and governance of upgrade process | |
| CN111538634B (zh) | 计算系统、方法及存储介质 | |
| CN109067610B (zh) | 一种监控方法和装置 | |
| CN104991821B (zh) | 批量处理监控任务的方法及装置 | |
| CN110555150B (zh) | 一种数据监控方法、装置、设备和存储介质 | |
| CN110428319B (zh) | 一种数据比对平台、方法、设备和存储介质 | |
| US20240069967A1 (en) | Pipeline task verification for a data processing platform | |
| US20140023185A1 (en) | Characterizing Time-Bounded Incident Management Systems | |
| CN113127050B (zh) | 一种应用资源打包过程监控方法、装置、设备和介质 | |
| CN113407973B (zh) | 软件功能权限管理方法、系统、服务器及存储介质 | |
| US20140136679A1 (en) | Efficient network bandwidth utilization in a distributed processing system | |
| CN112749034B (zh) | 一种数据异常处理方法、装置、存储介质及电子设备 | |
| US10839326B2 (en) | Managing project status using business intelligence and predictive analytics | |
| CN113835830A (zh) | 基于ai的rpa集群管理方法、装置以及存储介质 | |
| US9569614B2 (en) | Capturing correlations between activity and non-activity attributes using N-grams | |
| CN112346952A (zh) | 用于测试用例的回归测试的方法、设备和电子设备 | |
| US20190172003A1 (en) | System and method for iterative improvements to re-count inventory rules | |
| CN110704273A (zh) | 配置信息的处理方法和装置、电子设备和存储介质 | |
| CN111262727B (zh) | 服务的扩容方法、装置、设备及存储介质 | |
| CN111045849A (zh) | 核对异常原因的识别方法、装置、服务器和存储介质 | |
| CN112183982A (zh) | 一种工作流程创建方法、装置、计算机设备及存储介质 | |
| CN113377604A (zh) | 一种数据处理方法、装置、设备和存储介质 | |
| CN110942017B (zh) | 基于自动化的多算法指标对比方法及系统 | |
| CN115145992B (zh) | 多源数据处理方法、装置、电子设备及可读存储介质 | |
| CN114418488A (zh) | 一种库存信息处理方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |