CN114185619B - 基于分布式作业的断点补偿方法、装置、设备及介质 - Google Patents

Abstract

本申请公开一种基于分布式作业的断点补偿方法、装置、设备及介质，其中，该方法包括：获取目标分布式作业对应的第一作业参数和第二作业参；在上述目标分布式作业断点的情况下，根据上述第二作业参数，确定上述目标分布式作业断点的断点位置对应的目标任务；根据上述第一作业参数、上述第二作业参数和上述目标任务对应的第三作业参数，生成上述目标分布式作业的作业实例；为上述作业实例添加执行作业参数；根据上述作业实例和上述分布式节点个数，重新运行上述目标任务并运行上述目标任务之后的剩余任务。如此，可以在基于分布式作业断点时无需重新运行整个作业，节约运行资源，提高运行效率。

Description

基于分布式作业的断点补偿方法、装置、设备及介质

技术领域

本发明实施例涉及风险数据分析领域，尤其是一种基于分布式作业的断点补偿方法、装置、设备及介质。

背景技术

目前，随着电子技术的发展，电子设备中的应用对应的数据资源在不断增多，为了保障应用的流畅运行，一般会采用具备动态伸缩容能力的系统架构，从而在数据资源大幅度变化的情况下，也能够保证应用运行的可靠性。

在采用具备动态伸缩容能力的系统架构后，批量作业将在该具备动态伸缩容能力的系统架构下运行。然而，使用具有动态伸缩容能力的系统架构在某些情况下会造成服务器的中断启停，而中断启停时，某些作业实例恰巧运行至中间环节，在相关技术中，服务器会重新运行该作业实例。

由上述过程可以看出，由于服务器的中断启停后需要重新运行该作业实例，因此会降低运行作业实例的效率。

发明内容

本发明实施例提供一种在基于分布式作业断点时无需重新运行整个作业，节约运行资源，提高运行效率的基于分布式作业的断点补偿方法、装置、设备及介质。

为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种基于分布式作业的断点补偿方法，包括：获取目标分布式作业对应的第一作业参数和第二作业参数，上述第一作业参数包括上述目标分布式作业对应的分布式节点个数，上述第二作业参数包括上述目标分布式作业对应的M个任务及每个任务的参数信息；在上述目标分布式作业断点的情况下，根据上述第二作业参数，确定上述目标分布式作业断点的断点位置对应的目标任务，上述目标任务为M个任务中的任一个；根据上述第一作业参数、上述第二作业参数和上述目标任务对应的第三作业参数，生成上述目标分布式作业对应的目标分布式作业实例；为上述目标分布式作业实例添加执行作业参数；根据上述目标分布式作业实例和上述分布式节点个数，重新运行上述目标任务并运行上述目标任务之后的剩余任务。

可选地，上述获取目标分布式作业对应的第一作业参数和第二作业参数之前，本申请实施例的基于分布式作业的断点补偿方法还包括：分析上述目标分布式作业的运行流程；获取目标分布式作业的运行流程对应的作业模型，所述作业模型包括所述第一作业参数。

可选地，上述获取目标分布式作业对应的第一作业参数和第二作业参数之前，本申请实施例的基于分布式作业的断点补偿方法还包括：分析上述目标分布式作业中每个任务的运行流程；获取目标分布式作业中每个任务的运行流程对应的子作业模型，上述子作业模型包括上述第二作业参数。

可选地，上述分析上述目标分布式作业中每个任务的运行流程之前，本申请实施例的基于分布式作业的断点补偿方法还包括：分解上述目标分布式作业；确定目标分布式作业中包括M个任务，M为正整数。

可选地，上述目标分布式作业实例包括：上述目标分布式作业对应的元数据，上述目标任务及上述剩余任务对应的状态机运行流程。

可选地，上述重新运行上述目标任务并运行上述目标任务之后的剩余任务，包括：根据上述状态机运行流程，以预定方式重新运行上述目标任务并运行上述目标任务之后的剩余任务；上述预定方式包括：本地线程传递，作业上下文传递。

可选地，在上述目标分布式作业包括第一分布式作业和第二分布式作业的情况下，上述方法还包括：上述第一分布式作业和上述第二分布式作业分别独立执行上述技术方案中的步骤。

为解决上述技术问题，本发明实施例还提供一种基于分布式作业的断点补偿装置，包括：获取模块，用于获取目标分布式作业对应的第一作业参数和第二作业参数，上述第一作业参数包括上述目标分布式作业对应的分布式节点个数，上述第二作业参数包括上述目标分布式作业对应的M个任务及上述M个任务中每个任务的参数信息；确定模块，用于在上述目标分布式作业断点的情况下，根据上述获取模块获取的上述第二作业参数，确定上述目标分布式作业断点的断点位置对应的目标任务，上述目标任务为M个任务中的任一个；生成模块，用于根据上述第一作业参数、上述第二作业参数和上述确定模块确定的上述目标任务对应的第三作业参数，生成上述目标分布式作业对应的目标分布式作业实例；添加模块，用于为上述生成模块生成的上述目标分布式作业实例添加执行作业参数；运行模块，用于根据上述目标分布式作业实例和上述分布式节点个数，重新运行上述目标任务并运行上述目标任务之后的剩余任务。

可选地，上述基于分布式作业的断点补偿装置还包括：分析模块；上述分析模块，用于分析上述目标分布式作业的运行流程；上述获取模块，还用于获取上述分析模块分析的目标分布式作业的运行流程对应的作业模型，上述作业模型包括上述第一作业参数。

可选地，上述基于分布式作业的断点补偿装置还包括：分析模块；上述分析模块，还用于分析上述目标分布式作业中每个任务的运行流程；上述获取模块，还用于获取上述分析模块分析的目标分布式作业中每个任务的运行流程对应的子作业模型，上述子作业模型包括上述第二作业参数。

可选地，上述基于分布式作业的断点补偿装置还包括：分解模块和确定模块；分解模块，用于分解上述目标分布式作业；确定模块，用于确定上述分解模块分解的目标分布式作业中包括M个任务，M为正整数。

可选地，上述目标分布式作业实例包括：上述目标分布式作业对应的元数据，上述目标任务及上述剩余任务对应的状态机运行流程。

可选地，上述运行模块具体用于根据上述状态机运行流程，以预定方式重新运行上述目标任务并运行上述目标任务之后的剩余任务；上述预定方式包括：本地线程传递，作业上下文传递。

可选地，在上述目标分布式作业包括第一分布式作业和第二分布式作业的情况下，上述基于分布式作业的断点补偿装置还包括执行模块，上述执行模块用于上述第一分布式作业和上述第二分布式作业分别独立执行上述技术方案中的步骤。

为解决上述技术问题本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述基于分布式作业的断点补偿方法的任务。

为解决上述技术问题本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述基于分布式作业的断点补偿方法的任务。

本发明实施例的有益效果是：在获取到目标分布式作业对应的两种不同的参数后(包括用于确定分布式节点个数的第一作业参数和用于确定目标分布式作业对应的M个任务及每个任务参数信息的第二作业参数)后，在目标分布式作业断点的情况下，根据上述第二作业参数，可以确定目标分布式作业断点的断电位置对应的目标任务，该目标任务为M个任务中的任一个；然后，根据上述第一作业参数、第二作业参数和上述目标任务对应的第三作业参数，生成上述目标分布式作业对应的作业实例；之后，为该作业实例添加执业作业参数，最后，结合作业实例和分布式节点个数，重新运行上述目标任务以及上述目标任务之后的剩余任务。如此，在分布式作业断点后，可以根据之前获取的参数信息以及提前识别的目标分布式作业对应的M个任务，查询到离断点处最近的任务，并生成作业实例重新运行该任务及后续的任务，从而在不改变数据模型的情况下即可完成断点补偿运行，而无需重头运行，且与不同系统均可兼容，风险较小，能够大幅节约运行资源，提高运行效率。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请一具体实施例的基于分布式作业的断点补偿方法的基本流程示意图；

图2为本申请一实施例的基于分布式作业的断点补偿装置基本结构示意图；

图3为本申请一实施例的计算机设备的基本结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、任务、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、任务、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

请参阅图1，图1为本实施例基于分布式作业的断点补偿方法的基本流程示意图，包括步骤201至步骤204：

步骤201：获取目标分布式作业对应的第一作业参数和第二作业参数。

在本申请实施例中，上述第一作业参数包括上述目标分布式作业的节点个数，上述第二作业参数包括上述目标分布式作业中每个任务的参数信息。

示例性地，上述目标分布式作业对应M个任务。进一步地，上述第二作业参数包括上述目标分布式作业对应的M个任务及上述M个任务中每个任务的参数信息。

在本申请实施例中，上述目标分布式作业可以包括数据系统当前运行的多个分布式作业中的至少一个。

在本申请实施例中，当数据系统包括多个分布式节点时，每个分布式节点均具备调用分布式作业的功能，通过确定分布式节点个数，可以在后续调用目标分布式作业的过程中，帮助目标分布式作业确定后续在多个分布式节点中确定分布式节点。例如，当数据系统包括10个分布式节点，而第一参数中确定的分布式节点个数为1时，目标分布式作业将通过10个分布式节点中的任一个分布式节点完成调用。

可选地，在本申请实施例中，上述第一作业参数还包括以下至少一项：上述目标分布式作业的名称，上述目标分布式作业的序列号，上述目标分布式作业的时间参数，上述目标分布式作业的地点参数，上述目标分布式作业的运行参数，上述目标分布式作业的作业参数，上述目标分布式作业的执行参数。

示例性地，上述目标分布式作业的名称和上述目标分布式作业的序列号用于标识目标分布式作业，注明该目标分布式作业的唯一性，解决执行问题(例如作业幂)。

示例性地，上述目标分布式作业的时间参数用于追踪分布式作业运行的时间。

在一种示例中，上述目标分布式作业的时间参数包括以下至少一项：目标分布式作业的创建时间、目标分布式作业的结束时间。

示例性地，上述目标分布式作业的时间参数用于追踪分布式作业运行的地点。

在一种示例中，上述目标分布式作业的地点参数包括目标分布式作业的运行应用标识。

示例性地，上述目标分布式作业的运行参数用于确定目标分布式作业断点续跑的决策，以及持久化之前的运行信息。

在一种示例中，上述目标分布式作业的运行参数包括以下至少一项：目标分布式作业的运行状态、目标分布式作业的运行次数、目标分布式作业的作业上下文。

示例性地，上述目标分布式作业的作业参数用于保存作业运行的元数据。

在一种示例中，上述目标分布式作业的作业参数包括目标分布式作业的作业参数信息。

示例性地，上述目标分布式作业的执行参数用于保存目标分布式作业运行的相关信息，从而使得该目标分布式作业与目标分布式作业名称、序列号共同完成目标分布式作业对应的分布式节点的执行过程。

在一种示例中，上述目标分布式作业的执行参数包括作业运行记录表。

需要说明的是：

1、上述分布式作业一般部署在K8S(数据系统)上，该系统具备动态伸缩容能力，可以保证分布式作业更加灵活、高效率地运行。但该系统有可能会造成部分服务器地中断启停，由此，容易导致分布式作业出现中断的情况。

2、上述分布式作业由调度作业(如调度幂)控制，在数据系统包括多个分布式节点的情况下，同一个调度作业仅能被一个分布式节点调用。

3、调度作业具备自动补偿能力和/或手动补偿能力，且该补偿过程仅能被一个分布式节点调用。

4、该调度作业的每一个节点和/或步骤均可以被追踪，从而使得上述补偿过程追踪到指定的节点和/或步骤。

在本申请实施例中，上述M个任务可以为目标分布式作业的组成部分。例如，目标分布式作业由10个任务构成(即上述M个任务)。

需要说明的是，上述M个任务可以为系统预设的。

可以理解的是，上述目标分布式作业对应的作业模型为提前预设的，不同的分布式作业可以对应不同的模型。根据模型的不同，每个模型可以由一个任务或者多个任务构成，在本申请实施例中，目标分布式作业对应M个任务。

可选地，在本申请实施例中，上述每个任务的参数信息包括：每个任务的名称，每个任务的序列号，上述每个任务的运行状态，上述每个任务的时间参数，上述每个任务的地点参数，上述每个任务的运行参数。

示例性地，上述每个任务的名称和序列号以及运行状态可以用于标识该任务的唯一性，解决分布式节点的调用执行问题。

在一种示例中，上述每个任务地序列号用于标识该任务所属的目标分布式作业。

示例性地，上述每个任务的时间参数用于确定该任务的执行时间。

在一种示例中，上述每个任务的时间参数可以包括以下至少一项：每个任务的创建时间和结束时间

示例性地，上述每个任务的地点参数用于确定每个任务的最终执行地点。

在一种示例中，上述每个任务的地点参数可以包括运行标识。

示例性地，上述每个任务的运行参数可以用于保存该目标分布式作业在运行过程中的相关信息，从而使得该任务与任务名称、任务序列号共同完成任务对应的分布式节点的执行过程。

在一种示例中，上述每个任务的运行参数包括步点运行记录和/或步点运行上下文。

步骤202：在上述目标分布式作业断点的情况下，根据上述第二作业参数，确定上述目标分布式作业断点的断点位置对应的目标任务。

在本申请实施例中，上述目标任务为M个任务中的任一个。

在本申请实施例中，在目标分布式任务断点的情况下，通过查询断点处于第二作业参数的对应信息，确定目标任务。

步骤203：根据上述第一作业参数、上述第二作业参数和上述目标任务对应的第三作业参数，生成上述目标分布式作业的作业实例。

在本申请实施例中，上述第三作业参数用于确定接续断点的目标分布式作业的作业实例的作业名称、序列号以及接续断点的后续流程。

在一种示例中，上述接续断点的后续流程可以为该目标分布式作业所在数据系统的状态机流程模型。

在本申请实施例中，上述目标分布式作业实例为目标分布式作业根据后续实际作业情况生成的抽象业务模型。

可以理解的是，上述目标分布式作业实例并非是最终实质运行的作业，其起到的作用是为目标分布式作业断点处的任务及断点后的任务添加标记，告知数据系统断点位置及后续需要运行的内容，运行的方法，以便于数据系统查找最近的目标任务并完成后续的运行工作。

可选地，在本申请实施例中，上述目标分布式作业实例包括：上述目标分布式作业对应的元数据，上述目标任务及剩余任务对应的状态机运行流程。

示例性地，上述剩余任务可以参照下述描述。

步骤204：为上述作业实例添加执行作业参数。

在本申请实施例中，上述执业作业参数用于为该目标分布式作业的断点运行提供执行的基础能力。

可选地，在本申请实施例中，上述执行作业参数包括：本地作业实例、数据源加载、容器依赖对象。

步骤205：根据上述作业实例和上述分布式节点个数，重新运行上述目标任务并运行上述目标任务之后的剩余任务。

示例性地，重新运行上述目标任务并上述目标任务之后的剩余任务为执行目标分布式作业的断点续传任务。

在本申请实施例提供的基于分布式作业的断点补偿方法中，在获取到目标分布式作业对应的两种不同的参数后(包括用于确定分布式节点个数的第一作业参数和用于确定目标分布式作业对应的M个任务及每个任务参数信息的第二作业参数)后，在目标分布式作业断点的情况下，根据上述第二作业参数，可以确定目标分布式作业断点的断电位置对应的目标任务，该目标任务为M个任务中的任一个；然后，根据上述第一作业参数、第二作业参数和上述目标任务对应的第三作业参数，生成上述目标分布式作业对应的作业实例；之后，为该作业实例添加执业作业参数，最后，结合作业实例和分布式节点个数，重新运行上述目标任务以及上述目标任务之后的剩余任务。如此，在分布式作业断点后，可以根据之前获取的参数信息以及提前识别的目标分布式作业对应的M个任务，查询到离断点处最近的任务，并生成作业实例重新运行该任务及后续的任务，从而在不改变数据模型的情况下即可完成断点补偿运行，而无需重头运行，且与不同系统均可兼容，风险较小，能够大幅节约运行资源，提高运行效率。

可选地，在本申请实施例中，在上述步骤201之前，本申请实施例提供的基于分布式作业的断点补偿方法还包括如下步骤A1和步骤A2：

步骤A1：分析上述目标分布式作业的运行流程。

步骤A2：获取上述目标分布式作业的运行流程对应的作业模型。

示例性地，上述作业模型包括上述第一作业参数。

可以理解的是，在实际运行、发生断点情况之前，需要提前对该目标分布式作业的完整运行情况进行分析，基于分布式作业的断点补偿装置对整个运行流程进行梳理，获取到该目标分布式作业的运行流程对应的作业模型。该作业模型与后续目标分布式作业实际运行中对应的作业过程相同。

示例性地，上述运行流程可以为目标分布式作业运行过程的步骤。

示例性地，上述作业模型可以为运行该目标分布式作业过程中会产生地参数类型。例如，第一作业参数。

示例性地，上述第一作业参数可以参照前述描述，此处不再赘述。

如此，通过分析目标分布式作业地运行流程并获取目标分布式作业作业模型，在后续真正运行发生断点地情况下，可以根据作业模型准确定位断点位置，以便于节约资源，从断点位置处重新开始运行目标分布式作业。

可选地，在本申请实施例中，上述步骤201之前，本申请实施例提供的基于分布式作业的断点补偿方法还包括如下步骤B1和步骤B2：

步骤B1：分析上述目标分布式作业中每个任务的运行流程。

步骤B2：获取上述目标分布式作业中每个任务的运行流程对应的子作业模型。

示例性地，上述子作业模型包括上述第二作业参数。

可以理解的是，在真正运行目标分布式作业之前，可以先行梳理目标分布式作业中每个任务的运行流程，从而获取到每个任务的子作业模型。该子作业模型与后续目标分布式作业实际运行中对应的子作业过程相同。

示例性地，上述运行流程可以为目标分布式作业中每个任务运行过程的步骤。

示例性地，上述作业模型可以为运行该目标分布式作业中每个任务的过程中会产生地参数类型。例如，第二作业参数。

示例性地，上述第二作业参数可以参照前述描述，此处不再赘述。

如此，通过分析目标分布式作业中每个任务的运行流程并获取每个任务的子作业模型，在后续真正运行发生断点地情况下，可以根据作业模型准确定位断点的任务以及任务中的具体位置，以便于节约资源，从断点位置处重新开始运行目标分布式作业。

可选地，在本申请实施例中，在上述步骤B1之前，本申请实施例提供的基于分布式作业的断点补偿方法还包括如下步骤C1和步骤C2：

步骤C1：分解上述目标分布式作业；

步骤C2：确定上述目标分布式作业中包括M个任务，M为正整数。

示例性地，上述目标分布式作业中可以包括1个任务，也可以包括多个任务。

可以理解的是，在分析目标分布式作业之前，可以先行确定目标分布式作业的任务个数，以便于目标分布式作业在分析的过程中可以明确分析内容，并且有利于分析流程清晰化。

可选地，在本申请实施例中，上述步骤205中的重新运行上述目标任务并运行上述目标任务之后的剩余任务中，本申请实施例提供的基于分布式作业的断点补偿方法中包括如下步骤D：

步骤D：根据上述状态机运行流程，以预定方式重新运行上述目标任务并运行上述目标任务之后的剩余任务。

示例性地，上述预定方式包括：本地线程传递，作业上下文传递。

示例性地，目标分布式作业可以根据自身断点情况，选择不同的方式运行目标任务及目标任务后续的任务。

可选地，在本申请实施例中，在上述目标分布式作业包括第一分布式作业和第二分布式作业的情况下，本申请实施例提供的基于分布式作业的断点补偿方法还包括如下步骤E：

步骤E：上述第一分布式作业和上述第二分布式作业分别独立执行上述步骤201至步骤205。

示例性地，在本申请实施例中，很可能同时运行多个分布式作业，且多个分布式作业中的若干个分布式作业发生断点启停情况，断电启停的时间也并不相同，因此，不同的分布式作业均可以按照步骤201至步骤205的过程独立完成上述断点补偿运行工作。

如此，通过上述独立运行过程，可以保证数据系统运行的稳定性，无需整体重新运行，大幅降低运行资源浪费，提高系统的运行效率。

为解决上述技术问题，本发明实施例还提供基于分布式缓存的监控装置。具体请参阅图2，图2为本实施例基于分布式缓存的监控装置基本结构示意图。

如图2所示，一种基于分布式作业的断点补偿装置，包括：获取模块601，用于获取目标分布式作业对应的第一作业参数和第二作业参数，上述第一作业参数包括上述目标分布式作业对应的分布式节点个数，上述第二作业参数包括上述目标分布式作业对应的M个任务及上述M个任务中每个任务的参数信息；确定模块602，用于在上述目标分布式作业断点的情况下，根据上述获取模块601获取的上述第二作业参数，确定上述目标分布式作业断点的断点位置对应的目标任务，上述目标任务为M个任务中的任一个；生成模块603，用于根据上述第一作业参数、上述第二作业参数和上述确定模块602确定的上述目标任务对应的第三作业参数，生成上述目标分布式作业对应的目标分布式作业实例；添加模块604，用于为上述生成模块603生成的上述目标分布式作业实例添加执行作业参数；运行模块605，用于根据上述目标分布式作业实例和上述分布式节点个数，重新运行上述目标任务并运行上述目标任务之后的剩余任务。

基于分布式作业的断点补偿装置在获取到目标分布式作业对应的两种不同的参数后(包括用于确定分布式节点个数的第一作业参数和用于确定目标分布式作业对应的M个任务及每个任务参数信息的第二作业参数)后，在目标分布式作业断点的情况下，根据上述第二作业参数，可以确定目标分布式作业断点的断电位置对应的目标任务，该目标任务为M个任务中的任一个；然后，根据上述第一作业参数、第二作业参数和上述目标任务对应的第三作业参数，生成上述目标分布式作业对应的作业实例；之后，为该作业实例添加执业作业参数，最后，结合作业实例和分布式节点个数，重新运行上述目标任务以及上述目标任务之后的剩余任务。如此，在分布式作业断点后，可以根据之前获取的参数信息以及提前识别的目标分布式作业对应的M个任务，查询到离断点处最近的任务，并生成作业实例重新运行该任务及后续的任务，从而在不改变数据模型的情况下即可完成断点补偿运行，而无需重头运行，且与不同系统均可兼容，风险较小，能够大幅节约运行资源，提高运行效率。

在一些实施方式中，上述基于分布式作业的断点补偿装置，还包括分析模块606；上述分析模块606，用于分析上述目标分布式作业的运行流程；上述获取模块601，还用于获取上述分析模块606分析的上述目标分布式作业的运行流程对应的作业模型，上述作业模型包括上述第一作业参数。

在一些实施方式中，上述基于分布式作业的断点补偿装置，还包括分析模块606；上述分析模块606，用于分析上述目标分布式作业中每个任务的运行流程；上述获取模块601，用于获取上述分析模块606分析的上述目标分布式作业中每个任务的运行流程对应的子作业模型，上述子作业模型包括上述第二作业参数。

在一些实施方式中，上述基于分布式作业的断点补偿装置，还包括分析模块607和确定模块608；上述分解模块607，用于分解上述目标分布式作业；上述确定模块608，用于确定上述分解模块607分解的目标分布式作业中包括M个任务，M为正整数。

在一些实施方式中，上述目标分布式作业实例包括：上述目标分布式作业对应的元数据，上述目标任务及上述剩余任务对应的状态机运行流程。

在一些实施例中，上述运行模块605，具体用于根据上述状态机运行流程，以预定方式重新运行上述目标任务并运行上述目标任务之后的剩余任务；上述预定方式包括：本地线程传递，作业上下文传递。

在一些实施例中，在上述目标分布式作业包括第一分布式作业和第二分布式作业的情况下，上述基于分布式作业的断点补偿装置还包括执行模块606，上述执行模块还用于上述第一分布式作业和上述第二分布式作业分别独立执行上述技术方案中的步骤。

为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备基本结构框图。

如图3所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种数据关系重构方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据关系重构方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图2中获取模块601、确定模块602、生成模块603、添加模块604、运行模块605、执行模块606的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有数据关系重构装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

计算机设备通过将采集的交易节点之间的数据关系构建成为节点特征图和对应的邻接矩阵，并采用图神经网络对节点特征图和邻接矩阵进行特征提取，根据提取的特征进行关系重构，进行关系重构时，图神经网络基于学习到的数据之间隐藏的逻辑关系对数据进行重构，关系重构的过程就是还原数据节点特征图和邻接矩阵的过程。图神经网络在将数据节点特征图和邻接矩阵进行打散-重组的过程中，验证了其学习到的各交易节点之间隐藏的关联关系的正确性，然后，再用学习到的隐藏关系对各交易节点进行关系重构，并挑选出符合条件的目标交易节点进行后续运用，通过图形处理技术，深入的解读出数据背后的逻辑关系，提高了数据分析的深度和效率。

本发明还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例数据关系重构方法的任务。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

本发明还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例数据关系重构方法的任务。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的任务、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他任务、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的任务、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于分布式作业的断点补偿方法，其特征在于，包括：

获取目标分布式作业对应的第一作业参数和第二作业参数，所述第一作业参数包括所述目标分布式作业的节点个数，所述第二作业参数包括所述目标分布式作业中每个任务的参数信息；

在所述目标分布式作业断点的情况下，根据所述第二作业参数，确定所述目标分布式作业的断点位置对应的目标任务；

根据所述第一作业参数、所述第二作业参数和所述目标任务对应的第三作业参数，生成所述目标分布式作业的作业实例，所述第三作业参数用于确定接续断点的目标分布式作业的作业实例的作业名称、序列号以及接续断点的后续流程，所述目标分布式作业实例为目标分布式作业根据后续实际作业情况生成的抽象业务模型；

为所述作业实例添加执行作业参数，所述执行作业参数包括：本地作业实例、数据源加载、容器依赖对象；

根据所述作业实例和所述分布式节点个数，重新运行所述目标任务并运行所述目标任务之后的剩余任务。

2.根据权利要求1所述的方法，其特征在于，所述获取目标分布式作业对应的第一作业参数和第二作业参数之前，所述方法还包括：

分析所述目标分布式作业的运行流程；

获取所述目标分布式作业的运行流程对应的作业模型，所述作业模型包括所述第一作业参数。

3.根据权利要求1所述的方法，其特征在于，所述获取目标分布式作业对应的第一作业参数和第二作业参数之前，所述方法还包括：

分析所述目标分布式作业中每个任务的运行流程；

获取所述目标分布式作业中每个任务的运行流程对应的子作业模型，所述子作业模型包括所述第二作业参数。

4.根据权利要求3所述的方法，其特征在于，所述分析所述目标分布式作业中每个任务的运行流程之前，所述方法还包括：

分解所述目标分布式作业；

确定所述目标分布式作业中包括M个任务，M为正整数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述目标分布式作业实例包括：所述目标分布式作业对应的元数据，所述目标任务及所述剩余任务对应的状态机运行流程。

6.根据权利要求4所述的方法，其特征在于，所述重新运行所述目标任务并运行所述目标任务之后的剩余任务，包括：

根据状态机运行流程，以预定方式重新运行所述目标任务并运行所述目标任务之后的剩余任务；

所述预定方式包括：本地线程传递，作业上下文传递。

7.根据权利要求1所述的方法，其特征在于，在所述目标分布式作业包括第一分布式作业和第二分布式作业的情况下，所述方法还包括：

所述第一分布式作业和所述第二分布式作业分别独立执行权利要求1中的步骤。

8.一种基于分布式作业的断点补偿装置，其特征在于，包括：

获取模块，用于获取目标分布式作业对应的第一作业参数和第二作业参数，所述第一作业参数包括所述目标分布式作业对应的分布式节点个数，所述第二作业参数包括所述目标分布式作业对应的M个任务及所述M个任务中每个任务的参数信息；

确定模块，用于在所述目标分布式作业断点的情况下，根据所述获取模块获取的所述第二作业参数，确定所述目标分布式作业断点的断点位置对应的目标任务，所述目标任务为M个任务中的任一个；

生成模块，用于根据所述第一作业参数、所述第二作业参数和所述确定模块确定的所述目标任务对应的第三作业参数，生成所述目标分布式作业对应的目标分布式作业实例，所述目标分布式作业实例为目标分布式作业根据后续实际作业情况生成的抽象业务模型；

添加模块，用于为所述生成模块生成的所述目标分布式作业实例添加执行作业参数，所述执行作业参数包括：本地作业实例、数据源加载、容器依赖对象；

运行模块，用于根据所述目标分布式作业实例和所述分布式节点个数，重新运行所述目标任务并运行所述目标任务之后的剩余任务。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述基于分布式作业的断点补偿方法的任务。

10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述基于分布式作业的断点补偿方法的任务。