CN116932170A - 一种调度信息的迁移方法、装置、设备及存储介质 - Google Patents
一种调度信息的迁移方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116932170A CN116932170A CN202310932617.6A CN202310932617A CN116932170A CN 116932170 A CN116932170 A CN 116932170A CN 202310932617 A CN202310932617 A CN 202310932617A CN 116932170 A CN116932170 A CN 116932170A
- Authority
- CN
- China
- Prior art keywords
- data
- job
- stock
- scheduling information
- information table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013508 migration Methods 0.000 title claims abstract description 46
- 230000005012 migration Effects 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013500 data storage Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 5
- 230000008676 import Effects 0.000 description 3
- 238000003754 machining Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
- G06F9/4856—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration
- G06F9/4862—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration the task being a mobile agent, i.e. specifically designed to migrate
- G06F9/4875—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration the task being a mobile agent, i.e. specifically designed to migrate with migration policy, e.g. auction, contract negotiation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种调度信息的迁移方法、装置、设备及存储介质，可应用于大数据领域或金融领域。该方法从第一调度平台中获取存量调度信息；基于多个预设字段将存量调度信息划分成存量作业数据、存量作业流数据和存量作业依赖关系数据；将存量作业数据、存量作业流数据和存量作业依赖关系数据存入临时信息表；根据临时信息表中的存量作业数据、存量作业流数据和存量作业依赖关系数据，生成调度信息表；将调度信息表导入至第二调度平台。可见，通过临时信息表中存入的数据自动生成调度信息表，无需人工进行填写，能够减少人工的成本和工作负担，从而提高调度信息的迁移效率。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及一种调度信息的迁移方法、装置、设备及存储介质。
背景技术
随着大数据平台的快速发展，不断有功能更加完善的调度平台投产上线。例如银行的调度平台可以基于作业调度监控平台进行作业流调度，实现自动加工数据并生成数据报表推送给其他分行。但随着新调度平台的上线，需要将旧调度平台上的调度信息迁移至新调度平台。
通常来说，新调度平台和旧调度平台的设计上会存在较大差异，因此需要将旧调度平台中包括大量作业、作业流以及作业依赖关系的调度信息迁移至新调度平台。现有技术中，通常是开发人员手动将旧调度平台中大量的作业、作业流以及作业依赖关系填入调度信息表，再将调度信息表导入新调度平台中，以实现调度信息的迁移。然而，在上述提及的方法中，调度信息迁移的过程中需要耗费大量的人力和时间，容易增加人工的成本和工作负担，导致降低了调度信息的迁移效率。
因此，如何减少人工的成本和工作负担，提高调度信息的迁移效率，已成为目前亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供了一种调度信息的迁移方法、装置、设备及存储介质，旨在减少人工的成本和工作负担，提高调度信息的迁移效率。
第一方面，本申请实施例提供了一种调度信息的迁移方法，所述方法包括：
从第一调度平台中获取存量调度信息；
基于多个预设字段将所述存量调度信息划分成存量作业数据、存量作业流数据和存量作业依赖关系数据；所述多个预设字段包括多个作业字段、多个作业流字段和多个作业依赖关系字段；
将所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据存入临时信息表；
根据所述临时信息表中的所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据，生成调度信息表；
将所述调度信息表导入至第二调度平台。
可选地，所述从第一调度平台中获取存量调度信息，具体包括：
获取配置文件；所述配置文件包括数据库信息；
解析所述配置文件得到所述数据库信息；
根据所述数据库信息，从所述第一调度平台的数据库中获取所述存量调度信息。
可选地，所述配置文件还包括所述临时信息表的加工信息和所述临时信息表的存储路径；所述根据所述临时信息表中的所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据，生成调度信息表，具体包括：
解析所述配置文件得到所述加工信息和所述临时信息表的存储路径；
根据所述临时信息表的存储路径读取所述临时信息表，得到所述临时信息表中的所述存量作业流数据、所述存量作业数据和所述存量作业依赖关系数据；
基于所述加工信息，分别加工所述存量作业流数据、所述存量作业数据和所述存量作业依赖关系数据，得到加工后的存量作业流数据、加工后的存量作业数据和加工后的存量作业依赖关系数据；
根据所述加工后的存量作业流数据、所述加工后的存量作业数据和所述加工后的存量作业依赖关系数据，生成所述调度信息表。
可选地，所述调度信息的迁移方法还包括：
获取增量作业数据、增量作业流数据和增量依赖关系图；所述增量依赖关系图包括增量作业数据的依赖关系；
解析所述增量依赖关系图，得到增量作业依赖关系数据；
将所述增量作业数据、所述增量作业流数据和所述增量作业依赖关系数据，存入所述临时信息表；
所述根据所述临时信息表中的所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据，生成调度信息表，具体包括：
根据所述临时信息表中的所述存量作业数据、所述存量流作业数据、所述存量作业依赖关系数据、所述增量作业数据、所述增量作业流数据和所述增量作业依赖关系数据，生成所述调度信息表。
可选地，所述调度信息的迁移方法还包括：
根据所述调度信息表中的所述增量作业依赖关系数据生成新增量依赖关系图；
比较所述增量依赖关系图和所述新增量依赖关系图；
若所述增量依赖关系图和所述新增量依赖关系图不同，则重新执行所述解析所述增量依赖关系图，得到增量作业依赖关系数据的步骤。
可选地，所述调度信息的迁移方法还包括：
根据所述调度信息表中的所述存量作业依赖关系数据和增量作业依赖关系信息，生成作业依赖关系图。
第二方面，本申请实施例提供了一种调度信息的迁移装置，所述装置包括：
调度信息获取模块，用于从第一调度平台中获取存量调度信息；
信息划分模块，用于基于多个预设字段将所述存量调度信息划分成存量作业数据、存量作业流数据和存量作业依赖关系数据；所述多个预设字段包括多个作业字段、多个作业流字段和多个作业依赖关系字段；
数据存入模块，用于将所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据存入临时信息表；
信息表生成模块，用于根据所述临时信息表中的所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据，生成调度信息表；
信息表导入模块，用于将所述调度信息表导入至第二调度平台。
可选地，所述调度信息获取模块，具体包括：
配置文件获取单元，用于获取配置文件；所述配置文件包括数据库信息；
第一配置文件解析单元，用于解析所述配置文件得到所述数据库信息；
调度信息获取单元，用于根据所述数据库信息，从所述第一调度平台的数据库中获取所述存量调度信息。
第三方面，本申请实施例提供了一种调度信息的迁移设备，所述设备包括存储器以及处理器：
所述存储器，用于存储计算机程序，并将所述计算机程序传输给所述处理器；
所述处理器，用于执行所述计算机程序，以使所述设备执行前述第一方面所述的调度信息的迁移方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被运行时，运行所述计算机程序的设备实现前述第一方面所述的调度信息的迁移方法。
相较于现有技术，本申请实施例具有以下有益效果：
本申请实施例提供了一种调度信息的迁移方法，从第一调度平台中获取存量调度信息；基于多个预设字段将存量调度信息划分成存量作业数据、存量作业流数据和存量作业依赖关系数据；多个预设字段包括多个作业字段、多个作业流字段和多个作业依赖关系字段；将存量作业数据、存量作业流数据和存量作业依赖关系数据存入临时信息表；根据临时信息表中的存量作业数据、存量作业流数据和存量作业依赖关系数据，生成调度信息表；将调度信息表导入至第二调度平台。可见，通过临时信息表中存入的存量作业数据、存量作业流数据和存量作业依赖关系数据，自动生成调度信息表，无需人工进行填写，能够减少人工的成本和工作负担，从而提高调度信息的迁移效率。此外，根据多个预设字段对调度信息进行划分，将复杂的调度信息按照预设字段区分为不同的数据，使得调度信息表的生成过程更加便利，能够进一步提高调度信息的迁移效率。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种调度信息的迁移方法的流程图；
图2为本申请实施例提供的一种具体的调度信息的迁移方法的流程图；
图3为本申请实施例提供的一种调度信息的迁移装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，已有的调度信息迁移方法为：开发人员需要先查找旧调度平台中包括作业、作业流和作业依赖关系的调度信息；然后，将作业、作业流和作业依赖关系手动填入调度信息表；最后，将调度信息表导入到新调度平台中，完成调度信息的迁移。然而，调度信息的数据量过多，容易增加人工的成本和工作负担，导致调度信息迁移的效率降低。
基于此，为了解决上述问题，本申请实施例提供了一种调度信息的迁移方法，从第一调度平台中获取存量调度信息；基于多个预设字段将存量调度信息划分成存量作业数据、存量作业流数据和存量作业依赖关系数据；多个预设字段包括多个作业字段、多个作业流字段和多个作业依赖关系字段；将存量作业数据、存量作业流数据和存量作业依赖关系数据存入临时信息表；根据临时信息表中的存量作业数据、存量作业流数据和存量作业依赖关系数据，生成调度信息表；将调度信息表导入至第二调度平台。可见，通过临时信息表中存入的存量作业数据、存量作业流数据和存量作业依赖关系数据，自动生成调度信息表，无需人工进行填写，能够减少人工的成本和工作负担，从而提高调度信息的迁移效率。此外，根据多个预设字段对调度信息进行划分，将复杂的调度信息按照预设字段区分为不同的数据，使得调度信息表的生成过程更加便利，能够进一步提高调度信息的迁移效率。
需要说明的是，本发明提供的调度信息的迁移方法可用于大数据领域或金融领域。上述仅为示例，并不对本发明提供的调度信息的迁移方法的应用领域进行限定。另外，本申请实施例亦可不限定调度信息的迁移方法的执行主体，例如，本申请实施例的调度信息的迁移方法可以应用于终端设备或服务器等数据处理设备。其中，终端设备可以为智能手机、计算机、平板电脑等电子设备。服务器可以为独立服务器、集群服务器或云服务器等。本申请对上述提及的终端设备或服务器不做具体限定。
下面结合附图，通过实施例来详细说明本申请实施例中调度信息的迁移方法、装置、设备及存储介质的具体实现方式。
接下来，下面以服务器的角度，对本申请实施例提供的调度信息的迁移方法进行具体介绍。
参见图1，该图为本申请实施例提供的一种调度信息的迁移方法的流程图，结合图1所示，具体可以包括：
S101：从第一调度平台中获取存量调度信息。
在本申请实施例中，第一调度平台是指已存储有存量调度信息的调度平台，是需要将存量调度信息迁移出去的调度平台，也可称之为旧调度平台。存量调度信息是指该第一调度平台中已存储的调度信息。
在一种可能的实施方式中，存量调度信息通常存储在调度平台的数据库中，因此开发人员可以预先设计一个第一调度平台的配置文件，该配置文件中包括数据库的账户信息、数据库的互联网协议地址和数据库的端口号，即，数据库信息。因此，S101具体可以包括：服务器获取到配置文件后，可以对配置文件进行解析得到包括数据库的账户信息、数据库的互联网协议地址和数据库的端口号的数据库信息；根据数据库的互联网协议地址和数据库的端口号，确定数据库的位置，再从数据库中获取存量调度信息。可见，获取开发人员预先设计的参数文件，能够实现自动获取存量调度信息的过程，无需开发人员手动查找，减少了人工的成本和工作负担。
S102：基于多个预设字段将存量调度信息划分成存量作业数据、存量作业流数据和存量作业依赖关系数据。
其中，多个预设字段包括多个作业字段、多个作业流字段和多个作业依赖关系字段。举例而言，多个预设作业字段可以包括作业标识、系统号、作业名、程序名、作业描述等；多个作业流字段可以包括作业流名、作业流标识、作业流描述等；多个作业依赖关系字段可以包括父任务标识、子任务标识等。需要说明的是，本申请对于多个预设字段的数量和内容均不进行限定，并不影响本申请实施例的实施。
在本申请实施例中，根据多个预设字段，识别调度信息中所包含的存量作业流数据、所述存量作业数据和所述存量作业依赖关系数据，将这些数据根据多个预设字段区分开，能够将复杂的调度进行拆分，提高后续步骤中生成调度信息表的便利性。
S103：将存量作业数据、存量作业流数据和存量作业依赖关系数据存入临时信息表。
在本申请实施例中，临时信息表中包括上述提及的多个预设字段，可以将根据多个预设字段区分开的存量作业数据、存量作业流数据和存量作业依赖关系数据分别存入对对应的预设字段下。
作为一种示例，表1示例性地展示了一种临时信息表。
表1临时信息表
| 作业信息数据 | 作业流信息数据 | 作业依赖关系数据 |
| 作业编号 | 作业流编号 | 父任务标识 |
| 作业标识 | 系统号 | 子任务标识 |
| 系统号 | 作业流名 | / |
| 作业名 | 描述 | / |
| 程序名 | / | / |
| 作业描述 | / | / |
| 信号量标识 | / | / |
| 服务器标识 | / | / |
| 事件标签 | / | / |
| 调度频率 | / | / |
| 所属工作流标识 | / | / |
结合表1所示，临时信息表中的作业信息数据、作业信息流数据以及作业依赖关系数据下均包含多个预设字段，已根据多个预设字段将存量调度信息进行划分，因此可以将存量调度信息中与字段对应的数据存入到字段旁边的空位中。
此外，开发人员通过查看临时信息表，也可以随时对临时信息表中出现误差的地方进行及时修正，确保后续生成的调度信息表的准确性。开发人员也可以随时在临时信息表中增加新的作业数据等。因此，临时信息表大大提高了开发人员修改数据和增加数据的便利性。
S104：根据临时信息表中的存量作业数据、存量作业流数据和存量作业依赖关系数据，生成调度信息表。
根据临时信息表中不同预设字段对应的存量作业数据、存量作业流数据和存量作业依赖关系数据，可以生成调度信息表，以便导入到第二调度平台中。
此外，在调度信息表的生成过程中，需要根据第二调度平台的设计，对临时信息表中的数据进行加工。因此，在本申请一种可能的实施方式中，上述提及的配置文件中还可以包括临时信息表的加工信息和临时信息表的存储路径；相应地，S104具体可以包括：先解析配置文件得到加工信息和临时信息表的存储路径；再根据临时信息表的存储路径读取临时信息表，即可得到临时信息表中的存量作业流数据、存量作业数据和存量作业依赖关系数据；接着基于临时信息表的加工信息，分别加工存量作业流数据、存量作业数据和存量作业依赖关系数据，得到加工后的存量作业流数据、加工后的存量作业数据和加工后的存量作业依赖关系数据；随后根据加工后的存量作业流数据、加工后的存量作业数据和加工后的存量作业依赖关系数据，生成调度信息表。
举例而言，加工信息可以包括加工作业信息、加工作业流信息、加工作业依赖关系信息、加工脚本信息、加工服务器信息和加工信号量信息等，本申请对此不做限制。其中，加工作业信息可以为使加工后的作业信息的作业名唯一，即，不能存在重复的作业名。此时存入临时信息表中的作业信息的作业名可能有重复的情况，根据加工作业信息，可以为重复的作业名重新命名。
由此可见，充分考虑了第一调度平台和第二调度平台的设计差异，根据解析配置文件得到的加工信息将临时信息表中的数据加工成第二调度平台能够使用的调度信息表，以实现调度信息的迁移。
此外，考虑到在实际应用中，开发人员可能会有为第二调度平台增加调度信息的需求。为了解决该问题，在本申请可选实施例中，该调度信息的迁移方法还可以包括：先获取开发人员增加的调度信息，即，增量作业数据、增量作业流数据和增量依赖关系图；其中，增量依赖关系图包括增量作业数据的依赖关系；再解析增量依赖关系图，得到增量作业依赖关系数据；将增量作业数据、增量作业流数据和增量作业依赖关系数据，根据多个预设字段识别对应的数据存入上文提及的临时信息表中的多个预设字段的空位中；相应的，S104具体可以包括：根据临时信息表中已存入的所有数据，包括存量作业数据、存量流作业数据、存量作业依赖关系数据、增量作业数据、增量作业流数据和增量作业依赖关系数据，生成调度信息表。可见，通过获取开发人员增加的包括增量作业数据、增量作业流数据和增量作业依赖关系数据的增量调度信息，可以生成更符合第二调度平台需要的调度信息表，能够满足更多业务需求。
此外，在服务器解析增量依赖关系图的过程中，可能出现解析错误的情况。因此，在本申请可选实施例中，该调度信息的迁移方法还可以包括：先根据调度信息表中的增量作业依赖关系数据生成新增量依赖关系图；比较增量依赖关系图和新增量依赖关系图；若增量依赖关系图和新增量依赖关系图不同，则重新执行解析增量依赖关系图，得到增量作业依赖关系数据的步骤。可见，由此能够校验增量依赖关系图的解析是否正确，不正确则重新进行解析，能够提高增量作业依赖关系数据的准确性，从而提高调度信息表的准确性。
S105：将调度信息表导入至第二调度平台。
在本申请实施例中，第二调度平台是指是需要将存量调度信息迁移进去的调度平台，也可称之为新调度平台。将生成的第二调度平台能够使用的调度信息表导入第二调度平台，以实现调度信息从第一调度平台迁移至第二调度平台。
此外，在本申请可选实施例中，该调度信息的迁移方法还可以包括：根据调度信息表中的存量作业依赖关系数据和增量作业依赖关系信息，生成作业依赖关系图。由此生成的作业依赖关系图中包括第二调度平台中所有作业的依赖关系，以便开发人员可以随时进行查看，能够提升开发人员的使用体验。
基于上述示例，本申请提供的具体的调度信息的迁移方法可以参见图2，图2为本申请实施例提供的一种具体的调度信息的迁移方法的流程图。结合图2所示，开发人员预先设计配置文件。在获得配置文件之后，解析配置文件可以从第一调度平台中获取包括存量作业、存量作业流以及存量作业依赖关系的存量调度信息。开发人员还可以增加包括增量作业、增量作业流以及增量作业依赖关系的增量调度信息，其中，增量作业依赖关系数据是根据开发人员提供的增量依赖关系图生成的。将存量调度信息和增量调度信息存入临时信息表。再次解析配置文件得到加工信息，利用加工信息加工临时信息表中的数据。随后，根据临时信息表生成调度信息表，以将调度信息表导入到第二调度平台中。此外，根据调度信息表中的增量作业依赖关系数据可以生成新增量依赖关系图，以与增量调度信息中的增量依赖关系图进行对比。也可根据调度信息表中的存量作业依赖关系数据和增量作业依赖关系数据生成作业依赖关系图，以便开发人员随时进行查看。
以上为本申请实施例提供调度信息的迁移方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的装置进行介绍。
参见图3，该图为本申请实施例提供的一种调度信息的迁移装置的结构示意图，该装置300可以包括：
调度信息获取模块310，用于从第一调度平台中获取存量调度信息；
信息划分模块320，用于基于多个预设字段将存量调度信息划分成存量作业数据、存量作业流数据和存量作业依赖关系数据；多个预设字段包括多个作业字段、多个作业流字段和多个作业依赖关系字段；
数据存入模块330，用于将存量作业数据、存量作业流数据和存量作业依赖关系数据存入临时信息表；
信息表生成模块340，用于根据临时信息表中的存量作业数据、存量作业流数据和存量作业依赖关系数据，生成调度信息表；
信息表导入模块350，用于将调度信息表导入至第二调度平台。
作为一种实施方式，调度信息获取模块，具体可以包括：
配置文件获取单元，用于获取配置文件；配置文件包括数据库信息；
第一配置文件解析单元，用于解析配置文件得到数据库信息；
调度信息获取单元，用于根据数据库信息，从第一调度平台的数据库中获取存量调度信息。
作为一种实施方式，配置文件还包括临时信息表的加工信息和临时信息表的存储路径；信息表生成模块340，具体可以包括：
第二配置文件解析单元，用于解析配置文件得到加工信息和临时信息表的存储路径；
信息表读取单元，用于根据临时信息表的存储路径读取临时信息表，得到临时信息表中的存量作业流数据、存量作业数据和存量作业依赖关系数据；
数据加工单元，用于基于加工信息，分别加工存量作业流数据、存量作业数据和存量作业依赖关系数据，得到加工后的存量作业流数据、加工后的存量作业数据和加工后的存量作业依赖关系数据；
信息表生成单元，用于根据加工后的存量作业流数据、加工后的存量作业数据和加工后的存量作业依赖关系数据，生成调度信息表。
作为一种实施方式，该调度信息的迁移装置300，还可以包括：
获取模块，用于获取增量作业数据、增量作业流数据和增量依赖关系图；增量依赖关系图包括增量作业数据的依赖关系；
关系图解析模块，用于解析增量依赖关系图，得到增量作业依赖关系数据；
增量数据存入模块，用于将增量作业数据、增量作业流数据和增量作业依赖关系数据，存入临时信息表；
相应地，信息表生成模块340，具体可以用于：
根据临时信息表中的存量作业数据、存量流作业数据、存量作业依赖关系数据、增量作业数据、增量作业流数据和增量作业依赖关系数据，生成调度信息表。
作为一种实施方式，该调度信息的迁移装置300，还可以包括：
第一关系图生成模块，用于根据调度信息表中的增量作业依赖关系数据生成新增量依赖关系图；
关系图比较模块，用于比较增量依赖关系图和新增量依赖关系图；
步骤执行模块，用于若增量依赖关系图和新增量依赖关系图不同，则重新执行解析增量依赖关系图，得到增量作业依赖关系数据的步骤。
作为一种实施方式，该调度信息的迁移装置300，还可以包括：
第二关系图生成模块，用于根据调度信息表中的存量作业依赖关系数据和增量作业依赖关系信息，生成作业依赖关系图。
本申请实施例还提供了对应的设备以及计算机可读存储介质，用于实现本申请实施例提供的方案。
其中，上述设备包括存储器和处理器，存储器用于存储计算机程序，处理器用于执行计算机程序，以使设备执行本申请任一实施例的调度信息的迁移方法。
上述计算机可读存储介质中存储有计算机程序，当计算机程序被运行时，运行计算机程序的设备实现本申请任一实施例的调度信息的迁移方法。
本申请实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在可读存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种调度信息的迁移方法，其特征在于，所述方法包括：
从第一调度平台中获取存量调度信息；
基于多个预设字段将所述存量调度信息划分成存量作业数据、存量作业流数据和存量作业依赖关系数据；所述多个预设字段包括多个作业字段、多个作业流字段和多个作业依赖关系字段；
将所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据存入临时信息表；
根据所述临时信息表中的所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据，生成调度信息表；
将所述调度信息表导入至第二调度平台。
2.根据权利要求1所述的方法，其特征在于，所述从第一调度平台中获取存量调度信息，具体包括：
获取配置文件；所述配置文件包括数据库信息；
解析所述配置文件得到所述数据库信息；
根据所述数据库信息，从所述第一调度平台的数据库中获取所述存量调度信息。
3.根据权利要求2所述的方法，其特征在于，所述配置文件还包括所述临时信息表的加工信息和所述临时信息表的存储路径；所述根据所述临时信息表中的所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据，生成调度信息表，具体包括：
解析所述配置文件得到所述加工信息和所述临时信息表的存储路径；
根据所述临时信息表的存储路径读取所述临时信息表，得到所述临时信息表中的所述存量作业流数据、所述存量作业数据和所述存量作业依赖关系数据；
基于所述加工信息，分别加工所述存量作业流数据、所述存量作业数据和所述存量作业依赖关系数据，得到加工后的存量作业流数据、加工后的存量作业数据和加工后的存量作业依赖关系数据；
根据所述加工后的存量作业流数据、所述加工后的存量作业数据和所述加工后的存量作业依赖关系数据，生成所述调度信息表。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取增量作业数据、增量作业流数据和增量依赖关系图；所述增量依赖关系图包括所述增量作业数据的依赖关系；
解析所述增量依赖关系图，得到增量作业依赖关系数据；
将所述增量作业数据、所述增量作业流数据和所述增量作业依赖关系数据，存入所述临时信息表；
所述根据所述临时信息表中的所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据，生成调度信息表，具体包括：
根据所述临时信息表中的所述存量作业数据、所述存量流作业数据、所述存量作业依赖关系数据、所述增量作业数据、所述增量作业流数据和所述增量作业依赖关系数据，生成所述调度信息表。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述调度信息表中的所述增量作业依赖关系数据生成新增量依赖关系图；
比较所述增量依赖关系图和所述新增量依赖关系图；
若所述增量依赖关系图和所述新增量依赖关系图不同，则重新执行所述解析所述增量依赖关系图，得到增量作业依赖关系数据的步骤。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述调度信息表中的所述存量作业依赖关系数据和增量作业依赖关系信息，生成作业依赖关系图。
7.一种调度信息的迁移装置，其特征在于，所述装置包括：
调度信息获取模块，用于从第一调度平台中获取存量调度信息；
信息划分模块，用于基于多个预设字段将所述存量调度信息划分成存量作业数据、存量作业流数据和存量作业依赖关系数据；所述多个预设字段包括多个作业字段、多个作业流字段和多个作业依赖关系字段；
数据存入模块，用于将所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据存入临时信息表；
信息表生成模块，用于根据所述临时信息表中的所述存量作业数据、所述存量作业流数据和所述存量作业依赖关系数据，生成调度信息表；
信息表导入模块，用于将所述调度信息表导入至第二调度平台。
8.根据权利要求7所述的装置，其特征在于，所述调度信息获取模块，具体包括：
配置文件获取单元，用于获取配置文件；所述配置文件包括数据库信息；
第一配置文件解析单元，用于解析所述配置文件得到所述数据库信息；
调度信息获取单元，用于根据所述数据库信息，从所述第一调度平台的数据库中获取所述存量调度信息。
9.一种调度信息的迁移设备，其特征在于，所述设备包括存储器以及处理器：
所述存储器，用于存储计算机程序，并将所述计算机程序传输给所述处理器；
所述处理器，用于执行所述计算机程序，以使所述设备执行如权利要求1-6任一项所述的调度信息的迁移方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被运行时，运行所述计算机程序的设备实现如权利要求1-6任一项所述的调度信息的迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310932617.6A CN116932170A (zh) | 2023-07-27 | 2023-07-27 | 一种调度信息的迁移方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310932617.6A CN116932170A (zh) | 2023-07-27 | 2023-07-27 | 一种调度信息的迁移方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116932170A true CN116932170A (zh) | 2023-10-24 |
Family
ID=88392155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310932617.6A Pending CN116932170A (zh) | 2023-07-27 | 2023-07-27 | 一种调度信息的迁移方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116932170A (zh) |
-
2023
- 2023-07-27 CN CN202310932617.6A patent/CN116932170A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665171B (zh) | 自动回归测试方法及装置 | |
| US8954930B2 (en) | System and method for reducing test effort by object risk analysis | |
| CN110209650A (zh) | 数据规整迁移方法、装置、计算机设备和存储介质 | |
| CN105589874A (zh) | Etl任务依赖关系的检测方法、装置及etl工具 | |
| CN108491254A (zh) | 一种数据仓库的调度方法及装置 | |
| CN107016094B (zh) | 一种项目共享文件多人协同开发方法、装置及系统 | |
| US20100121668A1 (en) | Automated compliance checking for process instance migration | |
| CN114691658A (zh) | 一种数据回溯方法、装置、电子设备及存储介质 | |
| Al-Ameen et al. | A systematic and open exploration of faas research | |
| CN113535766B (zh) | 作业流配置方法、装置、电子装置及存储介质 | |
| CN113220597B (zh) | 测试方法、测试装置、电子设备及存储介质 | |
| CN116932170A (zh) | 一种调度信息的迁移方法、装置、设备及存储介质 | |
| US20220365812A1 (en) | Method and system for sustainability measurement | |
| CN111400245B (zh) | 美术资源迁移方法及装置 | |
| CN115438024A (zh) | 数据导入中台的方法、装置、系统、电子设备、存储介质 | |
| CN113986495A (zh) | 一种任务执行方法、装置、设备及存储介质 | |
| CN113342647A (zh) | 一种测试数据的生成方法及装置 | |
| CN113111072A (zh) | 业务数据文件生成方法及装置 | |
| CN113127359A (zh) | 一种测试数据的获得方法及装置 | |
| CN105930329A (zh) | 一种交易日志分析方法及装置 | |
| CN113781237B (zh) | 基于分布式人工智能系统的产品订购单消费方法 | |
| CN115237573B (zh) | 数据处理方法、装置、电子设备和可读存储介质 | |
| CN112148459B (zh) | 节点关联数据的处理方法、装置、可读介质以及设备 | |
| CN112347095B (zh) | 数据表的处理方法、装置和服务器 | |
| Netto et al. | An automated approach for scheduling bug fix tasks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |