CN117149887A - 一种异常处理方法、装置、电子设备及计算机可读介质 - Google Patents
一种异常处理方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN117149887A CN117149887A CN202311435805.4A CN202311435805A CN117149887A CN 117149887 A CN117149887 A CN 117149887A CN 202311435805 A CN202311435805 A CN 202311435805A CN 117149887 A CN117149887 A CN 117149887A
- Authority
- CN
- China
- Prior art keywords
- node
- nodes
- state
- processed
- running
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 33
- 230000005856 abnormality Effects 0.000 title claims description 10
- 238000003672 processing method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 63
- 230000001960 triggered effect Effects 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007405 data analysis Methods 0.000 abstract description 10
- 230000002159 abnormal effect Effects 0.000 abstract description 8
- 238000007418 data mining Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了异常处理方法、装置、电子设备及计算机可读介质，涉及大数据数据分析与挖掘技术领域，该方法包括：响应于异常处理请求，获取对应的数据源标识；根据数据源标识，确定目标链路，根据目标链路得到待处理节点集合；获取待处理节点集合中各个节点的节点类型和节点状态；根据节点类型和节点状态，确定待处理节点集合中的运行节点；将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；响应于实时状态为成功，更新节点状态，基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。利用节点关系及状态，有顺序的并行重跑ETL链路。提高数据分析效率和准确率，最大规模并行处理异常。
Description
技术领域
本申请涉及大数据数据分析与挖掘技术领域，尤其涉及一种异常处理方法、装置、电子设备及计算机可读介质。
背景技术
目前，随着企业数据量的增长和数据处理的需求不断增加，大数据分析开始融入各行各业，ETL作为大数据处理和分析的基础流程，也被广泛的应用到数仓开发中。ETL链路依赖关系依赖人工排查, 容易出错；若结果表依赖的链路较多，人工分析依赖关系极其容易有疏漏。重跑每个ETL节点，需要人工等待监控结果，浪费时间。ETL链路节点之间存在很多可以并行运行的节点，可并行运行，可大大节约整个链路运行的时间；但人工判断是否能并行容易疏漏，也较难实现最大规模并行处理，数据分析效率与准确率较低。
发明内容
有鉴于此，本申请实施例提供一种异常处理方法、装置、电子设备及计算机可读介质，能够解决现有的数据分析效率与准确率较低的问题。
为实现上述目的，根据本申请实施例的一个方面，提供了一种异常处理方法，包括：
响应于异常处理请求，获取对应的数据源标识；
根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；
获取待处理节点集合中各个节点的节点类型和节点状态；
根据节点类型和节点状态，确定待处理节点集合中的运行节点；
将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；
响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。
可选地，根据目标链路得到待处理节点集合，包括：
确定目标链路上与数据源标识关联的关联节点，以基于关联节点得到对应的待处理节点集合。
可选地，确定待处理节点集合中的运行节点，包括：
对于每一个关联节点，确定对应的父节点；
响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点。
可选地，方法还包括：
响应于实时状态为失败，基于目标链路、运行节点和数据源标识，生成报警信息并输出至预设处理节点。
可选地，在更新触发的运行节点的实时状态之后，方法还包括：
以有向无环图的形式展示实时状态。
可选地，标记运行节点为触发，包括：
确定待处理节点集合对应的执行计划；
将执行计划中的运行节点的节点状态更新为触发。
可选地，获取待处理节点集合中各个节点的节点类型和节点状态，包括：
获取待处理节点集合中各个节点的节点类型；
响应于节点类型中没有父节点，则将父节点的节点状态自动确定为成功。
另外，本申请还提供了一种异常处理装置，包括：
第一获取单元，被配置成响应于异常处理请求，获取对应的数据源标识；
待处理节点集合确定单元，被配置成根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；
第二获取单元，被配置成获取待处理节点集合中各个节点的节点类型和节点状态；
运行节点确定单元，被配置成根据节点类型和节点状态，确定待处理节点集合中的运行节点；
第一更新单元，被配置成将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；
第二更新单元，被配置成响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。
可选地，待处理节点集合确定单元进一步被配置成：
确定目标链路上与数据源标识关联的关联节点，以基于关联节点得到对应的待处理节点集合。
可选地，运行节点确定单元进一步被配置成：
对于每一个关联节点，确定对应的父节点；
响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点。
可选地，装置还包括报警单元，被配置成：
响应于实时状态为失败，基于目标链路、运行节点和数据源标识，生成报警信息并输出至预设处理节点。
可选地，装置还包括展示单元，被配置成：
以有向无环图的形式展示实时状态。
可选地，第一更新单元进一步被配置成：
确定待处理节点集合对应的执行计划；
将执行计划中的运行节点的节点状态更新为触发。
可选地，第二获取单元进一步被配置成：
获取待处理节点集合中各个节点的节点类型；
响应于节点类型中没有父节点，则将父节点的节点状态自动确定为成功。
另外，本申请还提供了一种异常处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的异常处理方法。
另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的异常处理方法。
为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品。
本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的异常处理方法。
上述发明中的一个实施例具有如下优点或有益效果：本申请通过响应于异常处理请求，获取对应的数据源标识；根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；获取待处理节点集合中各个节点的节点类型和节点状态；根据节点类型和节点状态，确定待处理节点集合中的运行节点；将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。利用节点关系及状态，有顺序的并行重跑ETL链路。利用线程池，在保证依赖关系的情况下，并行重跑，大大节约时间；根据节点间关系，自动解析链路，避免人工操作出错，提高数据分析效率和准确率，可以实现最大规模并行处理异常。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本申请，不构成对本申请的不当限定。其中：
图1是根据本申请一个实施例的异常处理方法的主要流程的示意图；
图2是根据本申请一个实施例的异常处理方法的主要流程的示意图；
图3是根据本申请一个实施例的异常处理方法的主要流程示意图；
图4是根据本申请一个实施例的异常处理方法的主要模块示意图；
图5是根据本申请实施例的异常处理装置的主要单元的示意图；
图6是本申请实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，本申请的技术方案中，所涉及的用户个人信息的采集、分析、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法且合理的用途，不在这些合法使用等方面之外共享、泄露或出售，并且接受监管部门的监督管理。应当对用户个人信息采取必要措施，以防止对此类个人信息数据的非法访问，确保有权访问个人信息数据的人员遵守相关法律法规的规定，确保用户个人信息安全。一旦不再需要这些用户个人信息数据，应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。
当使用时，包括在某些相关应用程序中，通过对数据去标识来保护用户隐私，例如在使用时通过移除特定标识符、控制所存储数据的量或特异性、控制数据如何被存储、和/或其他方法去标识。
图1是根据本申请一个实施例的异常处理方法的主要流程的示意图，如图1所示，异常处理方法包括：
步骤S101，响应于异常处理请求，获取对应的数据源标识。
本实施例中，异常处理方法的执行主体（例如，可以是服务器）可以通过有线连接或无线连接的方式，接收异常处理请求。执行主体可以获取异常处理请求对应的数据源标识。具体地，数据源标识用于表征错误数据源的编号或者名称等，示例的，数据源标识例如可以是A或者B，本申请实施例对数据源标识不做具体限定。
步骤S102，根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合。
根据数据源标识解析对应的链路以作为目标链路。根据整个目标链路关系，将与数据源标识相关的所有节点找出，以得到待处理节点集合。
步骤S103，获取待处理节点集合中各个节点的节点类型和节点状态。
各个节点的节点类型可以包括父节点和一般节点。节点状态可以包括成功、失败、触发和预触发。
步骤S104，根据节点类型和节点状态，确定待处理节点集合中的运行节点。
若待处理节点集合中存在节点（例如节点01和节点02）的父节点状态全部为成功SUCCESSFUL，并且节点（例如节点01和节点02）自身未触发，则相对应的节点（例如节点01和节点02）即为待处理节点集合中的运行节点。
步骤S105，将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态。
示例的，节点01和节点02为运行节点，将运行节点（例如，节点01和节点02）放入线程池中并行运行，并标记其节点为触发TRIGGER。在节点状态存储容器中，决策运行的节点（例如，节点01和节点02，命名为D），会首先进入到运行RUNNING状态，再根据运行结果进入失败FAILED 或成功 SUCCESSFUL状态，实时记录并更新这些状态，同时持久化至数据库中，以方便可视化查询运行节点的实时状态。
步骤S106，响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。
示例的，若节点01和节点02运行成功，则更新节点01和节点02的节点状态为成功，以避免被再次决策，则从待处理节点集合剩下的未运行或者未运行成功的节点中再次决策后选出新的运行节点，例如节点04、节点05、节点06。更新运行节点，若最终决策出的运行节点为空，则表明待处理节点集合中节点均运行成功，结束异常处理进程。
具体地，异常处理方法还包括：响应于实时状态为失败，基于目标链路、运行节点和数据源标识，生成报警信息并输出至预设处理节点。
根据运行节点的实时状态，若某一运行节点运行失败，则整个链路重跑失败，将运行失败的运行节点对应的目标链路、该运行失败的运行节点和数据源标识发送给报警模块进行报警，生成对应的报警信息并输出至预设处理节点。示例的，预设处理节点可以是线上或线下的异常处理人员所对应的终端，本申请实施例对预设处理节点不做具体限定。
具体地，在更新触发的运行节点的实时状态之后，方法还包括：以有向无环图的形式展示实时状态。
如果一个有向图无法从某个顶点出发经过若干条边回到该点，则这个图是一个有向无环图（Directed Acyclic Graph ，DAG图）。
本实施例通过响应于异常处理请求，获取对应的数据源标识；根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；获取待处理节点集合中各个节点的节点类型和节点状态；根据节点类型和节点状态，确定待处理节点集合中的运行节点；将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。利用节点关系及状态，有顺序的并行重跑ETL链路。利用线程池，在保证依赖关系的情况下，并行重跑，大大节约时间；根据节点间关系，自动解析链路，避免人工操作出错，提高数据分析效率和准确率，可以实现最大规模并行处理异常。
图2是根据本申请一个实施例的异常处理方法的主要流程示意图，如图2所示，异常处理方法包括：
步骤S201，响应于异常处理请求，获取对应的数据源标识。
当执行主体接收到异常处理请求后，可以获取该请求中所携带的数据源标识。示例的，数据源标识可以是发生异常的数据所在的数据库的地址、连接、编号或者名称等，本申请实施例对数据源标识不做具体限定。
步骤S202，根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合。
执行主体可以确定与获取的数据源标识相关联的各个数据源标识或者节点所在的链路，进而确定为目标链路。将目标链路上与数据源标识可达的各个节点汇集以得到待处理节点集合。
步骤S203，获取待处理节点集合中各个节点的节点类型和节点状态。
具体地，获取待处理节点集合中各个节点的节点类型和节点状态，包括：获取待处理节点集合中各个节点的节点类型；响应于节点类型中没有父节点，则将父节点的节点状态自动确定为成功。
数据源标识例如A、B。根据目标链路整个链路关系，将数据源A和数据源B相关的所有节点找出，以得到待处理节点集合。若待处理节点集合中的各个节点的节点类型中没有父节点，则将父节点的状态自动确定为成功，以便于快速、准确地判断运行节点。
步骤S204，对于每一个关联节点，根据节点类型和节点状态，确定对应的父节点。
根据待处理节点集合中的与数据源标识对应的每一个关联节点的节点类型和节点状态，从而基于节点类型确定出待处理节点集合中的各个关联节点中的父节点。并获取各个关联节点的实时执行状态，进而根据实时执行状态确定关联节点的节点状态。
步骤S205，响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点。
示例的，当某关联节点（例如关联节点01）满足自身未触发，父节点（即上游节点）已经全部触发且运行成功，则将该关联节点（例如关联节点01）确定为运行节点。
步骤S206，将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态。
具体地，标记运行节点为触发，包括：确定待处理节点集合对应的执行计划；将执行计划中的运行节点的节点状态更新为触发。
示例的，在链路解析阶段，根据整个链路关系，将与数据源A和数据源B相关的所有节点找出，并生成执行计划A。在执行计划A中标记运行节点（例如关联节点01）的节点状态为触发TRIGGER。
步骤S207，响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。
在运行节点的实时状态为成功时，更新对应的节点状态为成功。并在节点运行成功后将相应节点从待处理节点集合中剔除，并从剩余的待处理节点中根据自身是否触发以及相对应的父节点的节点状态确定新的运行节点，直至确定出的新的运行节点为空则结束异常处理进程。
图3是根据本申请一个实施例的异常处理方法的主要流程示意图。本申请实施例的异常处理方法，应用于快速重跑离线ETL链路的场景。本申请实施例中的ETL：是英文Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL节点：一个ETL过程在ETL链路中简称为ETL节点。ETL链路：某数据源表经过多次ETL后产出结果表，将每个ETL连接起来，形成ETL链路。数仓开发：具体指数据仓库中某些可以被业务使用的数据表的设计与开发过程，往往经过了多条ETL链路。
本申请实施例中，通过在提交ETL节点时，同步提交该节点的前置依赖节点信息（例如父节点），从而在需要重跑时，自动分析受影响的整个ETL数据链路，然后根据依赖关系和多线程技术并行执行ETL节点，从而达到快速重跑的目的。如图3所示，执行主体在接收到异常处理请求后，可以执行以下步骤：
一、链路解析
步骤1. 查询获取整个ETL链路的关联信息；
步骤2. 根据错误数据源分析出所影响的关联ETL节点，从而生成关联的执行计划（依赖关系+实时执行状态）；
二、决策执行
步骤3. 检查执行计划中所有节点是否全部执行完成，若全部执行完成则直接跳转至步骤7；
步骤4. 根据执行计划（依赖关系+实时执行状态）决策出待执行的节点（即运行节点）；
三、节点状态存储
步骤5. 将待执行的节点（即运行节点）放入线程池中并行运行，执行结束后，将执行状态和结果存储至执行计划中，方便后续决策；
步骤6. 若执行结果为失败，则整个执行计划失败，直接跳转步骤7，若执行成功，跳转至步骤3；
步骤7. 根据执行计划中存储的每个ETL节点的执行状态，判定整个执行计划的成功失败状态。
图4是根据本申请一个实施例的异常处理方法的主要模块示意图。在完成的产品中, 主要包含3个模块：配置模块：负责ETL链路重跑的一些关键配置设置，如：并行度配置可以在保证依赖的情况下，并行部分可以同时运行的ETL节点；错误数据源配置负责生成执行计划，即会规划哪些节点因为错误数据需要重跑，哪些数据不需要重跑，同时，节点实时运行的状态也会存储在其中；通知告警配置负责在重跑过程中若重跑失败，则会自动发送微信或邮件告警，若重跑成功，则会发送成功通知；运行模块：负责具体的ETL链路重跑，有3个功能，第一是链路解析，即从错误数据源和整个ETL链路中，决策出需要重跑的ETL链路片段（执行计划）；第二是执行，具体负责决策，运行具体的ETL节点，运行状态会上报给链路存储模块；第三是链路存储，主要负责将上报的ETL节点具体运行状态存储至持久化数据库中，方便决策和可视化展示；可视化展示模块：负责将当前运行链路以图的形式展示给用户，主要功能有2个；第一是日志查看，在ETL节点运行异常时，方便排查错误；第二是ETL链路和状态图示，用户可以直观的以有向无环图的形式查看当前正在运行的，已经运行的，还未运行的ETL节点以及整体执行计划的执行情况，从而方便用户直观的以图的形式观察节点运行状态，提高异常处理效率。
如下所示为本申请实施例的一个异常处理的示例。示例的：假设数据源A和数据源B中存在错误数据，需要快速重跑关联ETL链路，运行模块具体逻辑如下：
1. 在链路解析阶段，根据整个链路关系，将与数据源A和数据源B相关的所有节点找出，并生成执行计划A，其中，若没有父节点，则父节点状态自动设为成功，生成数据举例如下：
2. 在决策执行中，首先会将执行计划中所有节点加入到一个全局的集合中(去重)，命名为待处理节点集合B，待处理节点集合B中的节点会在节点运行成功后剔除，用途是判断整个重跑链路是否全部运行结束，若集合B为空，则重跑结束，发送成功通知，若集合B中仍有节点，则继续进行决策逻辑；
3. 在决策执行中，决策可执行节点的逻辑是：遍历待处理节点集合B中每一个节点（命名为C），在执行计划A中找出C节点状态为预触发PRE_TRIGGER；同时父节点状态全部为成功SUCCESSFUL的节点，即某节点满足条件：1.自身未触发；2.上游节点已经全部触发且运行成功：示例的，如节点01 和节点 02；将决策的节点放入线程池中并行运行，并在执行计划A中标记其节点为触发TRIGGER。
4. 在节点状态存储容器中，决策运行的节点（命名为D），会首先进入到运行RUNNING状态，再根据运行结果进入失败FAILED 或 成功SUCCESSFUL状态，这些状态会存储在执行计划A中，同时会持久化至数据库中，方便可视化查询实时状态。
5. 根据运行的节点执行状态，若某一节点运行失败，则整个链路重跑失败，发送给报警模块进行报警；若运行成功，则跳转至步骤2，继续决策运行，直到待执行节点集合B为空：
若节点01、节点02运行成功，举例数据如下，可以看到根据步骤3再次决策后选出运行的节点为：节点4、节点5、节点6；
本申请实施例利用节点父子关系存储节点结构和实时运行状态，每次节点运行结束后进行动态决策选取下一轮运行节点。并通过增加可视化模块，方便用户直观地以图的形式观察节点运行状态。利用节点关系及状态，有顺序的并行重跑ETL链路。利用线程池，在保证依赖关系的情况下，并行重跑，大大节约时间。根据节点间关系，自动解析链路，避免人工操作出错；整体失败/成功均有通知，避免用户大量手动操作执行节点，提升异常处理效率。
图5是根据本申请实施例的异常处理装置的主要单元的示意图。如图5所示，异常处理装置500包括第一获取单元501、待处理节点集合确定单元502、第二获取单元503、运行节点确定单元504、第一更新单元505和第二更新单元506。
第一获取单元501，被配置成响应于异常处理请求，获取对应的数据源标识。
待处理节点集合确定单元502，被配置成根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合。
第二获取单元503，被配置成获取待处理节点集合中各个节点的节点类型和节点状态。
运行节点确定单元504，被配置成根据节点类型和节点状态，确定待处理节点集合中的运行节点。
第一更新单元505，被配置成将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态。
第二更新单元506，被配置成响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。
在一些实施例中，待处理节点集合确定单元502进一步被配置成：确定目标链路上与数据源标识关联的关联节点，以基于关联节点得到对应的待处理节点集合。
在一些实施例中，运行节点确定单元504进一步被配置成：对于每一个关联节点，确定对应的父节点；响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点。
在一些实施例中，异常处理装置还包括图5中未示出的报警单元，被配置成：响应于实时状态为失败，基于目标链路、运行节点和数据源标识，生成报警信息并输出至预设处理节点。
在一些实施例中，异常处理装置还包括图5中未示出的展示单元，被配置成：以有向无环图的形式展示实时状态。
在一些实施例中，第一更新单元505进一步被配置成：确定待处理节点集合对应的执行计划；将执行计划中的运行节点的节点状态更新为触发。
在一些实施例中，第二获取单元503进一步被配置成：获取待处理节点集合中各个节点的节点类型；响应于节点类型中没有父节点，则将父节点的节点状态自动确定为成功。
需要说明的是，本申请的异常处理方法和异常处理装置在具体实施内容上具有相应关系，故重复内容不再说明。
图6示出了可以应用本申请实施例的异常处理方法或异常处理装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。
终端设备601、602、603可以是具有异常处理屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所提交的异常处理请求提供支持的后台管理服务器（仅为示例）。后台管理服务器可以响应于异常处理请求，获取对应的数据源标识；根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；获取待处理节点集合中各个节点的节点类型和节点状态；根据节点类型和节点状态，确定待处理节点集合中的运行节点；将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。利用节点关系及状态，有顺序的并行重跑ETL链路。利用线程池，在保证依赖关系的情况下，并行重跑，大大节约时间；根据节点间关系，自动解析链路，避免人工操作出错，提高数据分析效率和准确率，可以实现最大规模并行处理异常。
需要说明的是，本申请实施例所提供的异常处理方法一般由服务器605执行，相应地，异常处理装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本申请实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元（CPU）701，其可以根据存储在只读存储器（ROM）702中的程序或者从存储部分708加载到随机访问存储器（RAM）703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有计算机系统700操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（CRT）、液晶征信授权查询处理器（LCD）等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本申请公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元（CPU）701执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元、待处理节点集合确定单元、第二获取单元、运行节点确定单元、第一更新单元和第二更新单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备响应于异常处理请求，获取对应的数据源标识；根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；获取待处理节点集合中各个节点的节点类型和节点状态；根据节点类型和节点状态，确定待处理节点集合中的运行节点；将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。
本申请的计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本申请实施例中的异常处理方法。
根据本申请实施例的技术方案，利用节点关系及状态，有顺序的并行重跑ETL链路。利用线程池，在保证依赖关系的情况下，并行重跑，大大节约时间；根据节点间关系，自动解析链路，避免人工操作出错，提高数据分析效率和准确率，可以实现最大规模并行处理异常。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (15)
1.一种异常处理方法，其特征在于，包括：
响应于异常处理请求，获取对应的数据源标识；
根据所述数据源标识，确定目标链路，进而根据所述目标链路得到待处理节点集合；
获取所述待处理节点集合中各个节点的节点类型和节点状态；
根据所述节点类型和所述节点状态，确定所述待处理节点集合中的运行节点；
将所述运行节点放入线程池中并行运行，并标记所述运行节点为触发，更新触发的所述运行节点的实时状态；
响应于所述实时状态为成功，更新所述节点状态，进而基于更新后的节点状态更新运行节点，直至所述运行节点为空，结束异常处理进程。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标链路得到待处理节点集合，包括：
确定所述目标链路上与所述数据源标识关联的关联节点，以基于所述关联节点得到对应的待处理节点集合。
3.根据权利要求2所述的方法，其特征在于，所述确定所述待处理节点集合中的运行节点，包括：
对于每一个所述关联节点，确定对应的父节点；
响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述实时状态为失败，基于所述目标链路、所述运行节点和所述数据源标识，生成报警信息并输出至预设处理节点。
5.根据权利要求1所述的方法，其特征在于，在所述更新触发的所述运行节点的实时状态之后，所述方法还包括：
以有向无环图的形式展示所述实时状态。
6.根据权利要求1所述的方法，其特征在于，所述标记所述运行节点为触发，包括：
确定所述待处理节点集合对应的执行计划；
将所述执行计划中的所述运行节点的节点状态更新为触发。
7.根据权利要求1所述的方法，其特征在于，所述获取所述待处理节点集合中各个节点的节点类型和节点状态，包括：
获取所述待处理节点集合中各个节点的节点类型；
响应于所述节点类型中没有父节点，则将父节点的节点状态自动确定为成功。
8.一种异常处理装置，其特征在于，包括：
第一获取单元，被配置成响应于异常处理请求，获取对应的数据源标识；
待处理节点集合确定单元，被配置成根据所述数据源标识，确定目标链路，进而根据所述目标链路得到待处理节点集合；
第二获取单元，被配置成获取所述待处理节点集合中各个节点的节点类型和节点状态；
运行节点确定单元，被配置成根据所述节点类型和所述节点状态，确定所述待处理节点集合中的运行节点；
第一更新单元，被配置成将所述运行节点放入线程池中并行运行，并标记所述运行节点为触发，更新触发的所述运行节点的实时状态；
第二更新单元，被配置成响应于所述实时状态为成功，更新所述节点状态，进而基于更新后的节点状态更新运行节点，直至所述运行节点为空，结束异常处理进程。
9.根据权利要求8所述的装置，其特征在于，所述待处理节点集合确定单元进一步被配置成：
确定所述目标链路上与所述数据源标识关联的关联节点，以基于所述关联节点得到对应的待处理节点集合。
10.根据权利要求9所述的装置，其特征在于，所述运行节点确定单元进一步被配置成：
对于每一个所述关联节点，确定对应的父节点；
响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括报警单元，被配置成：
响应于所述实时状态为失败，基于所述目标链路、所述运行节点和所述数据源标识，生成报警信息并输出至预设处理节点。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括展示单元，被配置成：
以有向无环图的形式展示所述实时状态。
13.根据权利要求8所述的装置，其特征在于，所述第一更新单元进一步被配置成：
确定所述待处理节点集合对应的执行计划；
将所述执行计划中的所述运行节点的节点状态更新为触发。
14.一种异常处理电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311435805.4A CN117149887A (zh) | 2023-11-01 | 2023-11-01 | 一种异常处理方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311435805.4A CN117149887A (zh) | 2023-11-01 | 2023-11-01 | 一种异常处理方法、装置、电子设备及计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117149887A true CN117149887A (zh) | 2023-12-01 |
Family
ID=88901237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311435805.4A Pending CN117149887A (zh) | 2023-11-01 | 2023-11-01 | 一种异常处理方法、装置、电子设备及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117149887A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117321A (zh) * | 2018-07-27 | 2019-01-01 | 山东师范大学 | 一种基于标记图的云平台全链路应用迁移方法 |
| CN110362315A (zh) * | 2019-07-17 | 2019-10-22 | 中国工商银行股份有限公司 | 基于dag的软件系统调度方法及装置 |
| CN110995468A (zh) * | 2019-11-13 | 2020-04-10 | 上海钧正网络科技有限公司 | 待分析系统的系统故障处理方法、装置、设备和存储介质 |
| CN112181397A (zh) * | 2020-09-30 | 2021-01-05 | 平安科技（深圳）有限公司 | 流程可视化监控方法、装置、计算机设备及存储介质 |
| CN116149824A (zh) * | 2023-02-27 | 2023-05-23 | 中国建设银行股份有限公司 | 任务重跑的处理方法、装置、设备及存储介质 |
| CN116226112A (zh) * | 2023-03-22 | 2023-06-06 | 远光软件股份有限公司 | 数据清洗方法、装置、存储介质及电子设备 |
| CN116627599A (zh) * | 2023-06-29 | 2023-08-22 | 平安银行股份有限公司 | 一种任务处理方法、装置、电子设备和存储介质 |
-
2023
- 2023-11-01 CN CN202311435805.4A patent/CN117149887A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117321A (zh) * | 2018-07-27 | 2019-01-01 | 山东师范大学 | 一种基于标记图的云平台全链路应用迁移方法 |
| CN110362315A (zh) * | 2019-07-17 | 2019-10-22 | 中国工商银行股份有限公司 | 基于dag的软件系统调度方法及装置 |
| CN110995468A (zh) * | 2019-11-13 | 2020-04-10 | 上海钧正网络科技有限公司 | 待分析系统的系统故障处理方法、装置、设备和存储介质 |
| CN112181397A (zh) * | 2020-09-30 | 2021-01-05 | 平安科技（深圳）有限公司 | 流程可视化监控方法、装置、计算机设备及存储介质 |
| CN116149824A (zh) * | 2023-02-27 | 2023-05-23 | 中国建设银行股份有限公司 | 任务重跑的处理方法、装置、设备及存储介质 |
| CN116226112A (zh) * | 2023-03-22 | 2023-06-06 | 远光软件股份有限公司 | 数据清洗方法、装置、存储介质及电子设备 |
| CN116627599A (zh) * | 2023-06-29 | 2023-08-22 | 平安银行股份有限公司 | 一种任务处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111460129B (zh) | 标识生成的方法、装置、电子设备和存储介质 | |
| CN111038906B (zh) | 一种订单分拣方法和装置 | |
| CN109901987B (zh) | 一种生成测试数据的方法和装置 | |
| US20200286014A1 (en) | Information updating method and device | |
| CN110795315A (zh) | 监控业务的方法和装置 | |
| CN111126948A (zh) | 用于审批流程的处理方法和装置 | |
| CN114297278A (zh) | 批量数据快速写入方法、系统和装置 | |
| CN113282589A (zh) | 一种数据获取方法和装置 | |
| CN116450622B (zh) | 数据入库的方法、装置、设备和计算机可读介质 | |
| CN110580216B (zh) | 一种应用提测的方法和装置 | |
| CN107679096B (zh) | 数据集市间指标共享的方法和装置 | |
| CN117149887A (zh) | 一种异常处理方法、装置、电子设备及计算机可读介质 | |
| CN111026629A (zh) | 一种测试脚本自动生成的方法和装置 | |
| CN111125163A (zh) | 用于处理数据的方法和装置 | |
| CN111813765B (zh) | 一种异常数据处理的方法、装置、电子设备、计算机可读介质 | |
| US10212116B2 (en) | Intelligently condensing transcript thread history into a single common reduced instance | |
| CN113468218A (zh) | 一种对数据库慢sql进行监测和管理的方法和装置 | |
| CN113282455A (zh) | 一种监控处理方法和装置 | |
| CN113760874A (zh) | 数据质量检测的方法、装置、电子设备和存储介质 | |
| CN112559001A (zh) | 更新应用的方法和装置 | |
| CN115981910B (zh) | 处理异常请求的方法、装置、电子设备和计算机可读介质 | |
| CN117131071B (zh) | 一种数据处理方法、装置、电子设备及计算机可读介质 | |
| CN113268417B (zh) | 一种任务执行方法和装置 | |
| CN113778657B (zh) | 一种数据处理方法和装置 | |
| CN117195204B (zh) | 异常数据检测方法、装置、电子设备及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |