CN109918432B - 提取任务关系链的方法、装置、计算机设备和存储介质 - Google Patents
提取任务关系链的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109918432B CN109918432B CN201910082136.4A CN201910082136A CN109918432B CN 109918432 B CN109918432 B CN 109918432B CN 201910082136 A CN201910082136 A CN 201910082136A CN 109918432 B CN109918432 B CN 109918432B
- Authority
- CN
- China
- Prior art keywords
- task
- dependency
- access
- chain
- appointed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000001419 dependent effect Effects 0.000 claims abstract description 46
- 238000012986 modification Methods 0.000 claims description 30
- 230000004048 modification Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000009795 derivation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请中涉及数据处理技术领域，提供了一种提取任务关系链的方法、装置、计算机设备和存储介质，接收导出请求时；首先在预设的配置库中查询所述指定取数任务的依赖取数任务；然后根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；最后将所述指定取数任务的依赖关系链以Json文本格式输出；本申请从配置库中获取到指定取数任务的所有依赖关系，便于梳理出任务调度平台中指定取数任务的依赖关系；同时，以Json文本格式输出，展示页面简洁，便于查看。
Description
技术领域
本申请涉及数据处理的技术领域，特别涉及一种提取任务关系链的方法、装置、计算机设备和存储介质。
背景技术
目前包括有产险业务的不少保险公司的数据平台都使用Linkdo平台(一种任务调度平台)调度取数任务，而新的需求往往需要基于现有的取数任务开发，这便要求开发人员能在短时间内梳理清现有Linkdo平台中相关取数任务的依赖关系。然而Linkdo平台现有的取数任务的依赖关系都是直接在Linkdo平台上以图形化展示，且最多只能从展示中查看10层依赖关系，无法获取出取数任务所有的依赖关系。当取数任务的依赖关系复杂、层次较深时，页面显示会很繁杂，不利于开发人员梳理逻辑。
发明内容
本申请的主要目的为提供一种提取任务关系链的方法、装置、计算机设备和存储介质，旨在梳理出任务调度平台中指定取数任务的依赖关系。
为实现上述目的，本申请提供了一种提取任务关系链的方法，包括以下步骤：
接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链；
在预设的配置库中查询所述指定取数任务的依赖取数任务；其中，所述预设的配置库中配置有所有取数任务之间的依赖关系，所述依赖取数任务与所述指定取数任务之间具有依赖关系；
根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；
将所述指定取数任务的依赖关系链以Json文本格式输出。
进一步地，所述将所述指定取数任务的依赖关系链以Json文本格式输出的步骤之后，包括：
对Json文本格式输出的所述依赖关系链进行Json格式化，以图形化展示所述依赖关系链。
进一步地，所述将所述指定取数任务的依赖关系链以Json文本格式输出的步骤之后，包括：
接收用户对所述指定取数任务的依赖关系链的修改指令；
根据所述修改指令修改所述指定取数任务的依赖关系链，并根据修改后的依赖关系链，同步修改所述预设的配置库中的所述指定取数任务与依赖取数任务之间的依赖关系。
进一步地，所述接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤之后，包括：
对所述导出请求的导出权限进行验证，若验证通过，则执行在预设的配置库中查询所述指定取数任务的依赖取数任务。
进一步地，所述接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤之前，包括：
配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系。
进一步地，所述配置库为预先设置的MySQL数据库，所述配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系的步骤，包括：
在预先设置的MySQL数据库中创建数据表；
从Oracle数据库中导出取数任务之间的依赖关系，并添加至所述MySQL 数据库的数据表中；其中，所述Oracle数据库为任务调度平台存储数据的数据库。
本申请还提供了一种提取任务关系链的装置，包括：
接收单元，用于接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链；
查询单元，用于在预设的配置库中查询所述指定取数任务的依赖取数任务；其中，所述预设的配置库中配置有所有取数任务之间的依赖关系，所述依赖取数任务与所述指定取数任务之间具有依赖关系；
生成单元，用于根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；
输出单元，用于将所述指定取数任务的依赖关系链以Json文本格式输出。
进一步地，所述装置还包括：
展示单元，用于对Json文本格式输出的所述依赖关系链进行Json格式化，以图形化展示所述依赖关系链。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请中提供的提取任务关系链的方法、装置、计算机设备和存储介质，接收导出请求时；首先在预设的配置库中查询所述指定取数任务的依赖取数任务；然后根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；最后将所述指定取数任务的依赖关系链以Json文本格式输出；本申请从配置库中获取到指定取数任务的所有依赖关系，便于梳理出任务调度平台中指定取数任务的依赖关系；同时，以Json 文本格式输出，展示页面简洁，便于查看。
附图说明
图1是本申请一实施例中提取任务关系链的方法步骤示意图；
图2是本申请另一实施例中提取任务关系链的方法步骤示意图；
图3是本申请一实施例中提取任务关系链的装置结构框图；
图4是本申请另一实施例中提取任务关系链的装置结构框图；
图5为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例中提供了一种提取任务关系链的方法，包括以下步骤：
步骤S1，接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链；
步骤S2，在预设的配置库中查询所述指定取数任务的依赖取数任务；其中，所述预设的配置库中配置有所有取数任务之间的依赖关系，所述依赖取数任务与所述指定取数任务之间具有依赖关系；
步骤S3，根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；
步骤S4，将所述指定取数任务的依赖关系链以Json文本格式输出。
在本实施例中，上述方法应用于任务调度平台中，上述指定取数任务指的是任务调度平台(即Linkdo平台)上指定的取数任务中的任意一个，取数任务指的是按照规则从指定数据源(一般为产险的大数据平台)提取数据的计算机任务，一般使用Linux Shell/SQL等语言开发。上述取数任务配置于任务调度平台，例如平安科技自主开发的Linkdo自动化任务调度平台。在该平台中，通过配置取数任务，可以在特定时间、特定条件下触发特定的计算机任务执行，以提取数据。
上述依赖关系链是由取数任务之间的依赖关系所构成的一个关系链，其中不仅包括不同的取数任务，还包括有不同取数任务之间的依赖关系。在任务调度平台的预设配置库(可以是MySQL数据库)中不仅配置有各个取数任务，还根据各个取数任务之间的依赖规则预先配置有所有取数任务之间的依赖关系。具体地，例如，取数任务A的运行需要用到取数任务B的输出结果，则此时取数任务A依赖取数任务B。在Linkdo自动化任务调度平台上配置取数任务时，通常会配置为取数任务A只有在取数任务B成功执行后才触发执行。即取数任务A依赖于取数任务B。取数任务之间一个依赖另一个，环环相扣，即形成了上述依赖关系链。导出取数任务的依赖关系链并加以分析，不仅有助于数据分析人员梳理出任务调度平台中指定取数任务的依赖关系，而且便于理解数据的加工逻辑，从而能正确地根据业务需求对加工逻辑进行修改、补充等。
如上述步骤S1所述的，接收用户(例如开发人员)发出的对指定取数任务的依赖关系链的导出请求。用户可以在上述任务调度平台上选择指定取数任务，触发相应的按钮以发出导出请求，上述任务调度平台位于的终端则接收到上述导出请求。
如上述步骤S2所述的，由于在上述任务调度平台预设的配置库中预先配置有所有取数任务之间的依赖关系，因此可以在预设的配置库中查询到与上述指定取数任务具有依赖关系的依赖取数任务。在本实施例中，上述依赖取数任务可以是上述指定取数任务所依赖的取数任务，也可以是依赖上述指定取数任务的取数任务。由于上述任务调度平台预设的配置库中预先配置有所有取数任务之间的依赖关系，本实施例中，则可以从配置库中查询出所有和上述指定取数任务具有依赖关系的依赖取数任务，便于开发人员梳理出取数任务之间的依赖关系。
如上述步骤S3所述的，将查询出依赖取数任务与指定取数任务形成指定取数任务的依赖关系链。由于在上述任务调度平台预设的配置库中预先配置有所有取数任务之间的依赖关系，在查询出所有和上述指定取数任务具有依赖关系的依赖取数任务之后，则可以根据指定取数任意以及依赖取数任务之间预先配置的依赖关系，则可以自动生成上述指定取数任务的依赖关系链。
如上述步骤S4所述，为了使得上述形成的指定取数任务的依赖关系链便于复制使用，以及更加直观展示，因此将上述指定取数任务的依赖关系链以 Json文本格式输出。其中，在输出结果中，Json文本中外层节点依赖内层节点。本实施例中，将上述指定取数任务的依赖关系链从任务调度平台中直接导出，克服目前只能在任务调度平台上图形化展示的缺陷。
综上，为本实施例中的Linkdo任务关系链自动提取工具，一次性批量导出上述指定取数任务的依赖关系链，导出过程中无查询层次限制，无论层次多深，均可批量导出，节省人力、提高分析效率；开发人员从上述依赖关系链便可以梳理清楚相关取数任务之间的依赖关系，便于梳理逻辑；本方法可满足大量开发人员对取数任务的查阅需求，大大减少了开发人员在上述任务调度平台页面上的操作查询时间，并减轻任务调度平台服务器和数据库的查询压力。
在一实施例中，上述将所述指定取数任务的依赖关系链以Json文本格式输出的步骤S4之后，包括：
步骤S4a，对Json文本格式输出的所述依赖关系链进行Json格式化，以图形化展示所述依赖关系链。
在本实施例中，使用Json格式化工具对Json文本格式输出的所述依赖关系链进行Json格式化，上述Json格式化工具指的是Json数据的图形化展示工具，其作用是将Json格式的文本以图形化的形式展示，从而让阅读变得直观、易理解。本实施例中，配合使用Json格式化工具，查阅时可以方便地根据需要折叠/展开任务节点，减少不必要的过量的信息干扰；不同于现有的任务调度平台的是，本实施例中展示的依赖关系没有层级限制。
参照图2，在一实施例中，所述将所述指定取数任务的依赖关系链以Json 文本格式输出的步骤S4之后，包括：
步骤S5，接收用户对所述指定取数任务的依赖关系链的修改指令；
步骤S6，根据所述修改指令修改所述指定取数任务的依赖关系链，并根据修改后的依赖关系链，同步修改所述预设的配置库中的所述指定取数任务与依赖取数任务之间的依赖关系。
在本实施例中，开发人员获取到上述指定取数任务的依赖关系链之后，可以对其进行修改。如上述步骤S5所述的，接收用户对所述指定取数任务的依赖关系链的修改指令，该修改指令中包括对所述指定取数任务的依赖关系链的修改内容，例如修改(包括删除、增加、更改)某个取数任务，或者修改取数任务之间的依赖关系。
如上述步骤S6所述的，根据上述修改指令，便可以对应修改上述指定取数任务的依赖关系链；同时，为了便于更新上述预设的配置库中对取数任务的配置，则根据上述修改指令修改后的依赖关系链，同步修改预设的配置库中对取数任务的配置，例如修改所述指定取数任务与依赖取数任务之间的依赖关系。其它实施例中，也可以根据上述修改指令，同步更新预设的配置库中对取数任务的配置。
在一实施例中，上述接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤S1之后，包括：
步骤S20，对所述导出请求的导出权限进行验证，若验证通过，则执行在预设的配置库中查询所述指定取数任务的依赖取数任务。
本实施例中，避免所有用户都能在上述任务调度平台上导出指定取数任务的依赖关系链，对用户的导出请求设置有一定的权限，例如只能开发人员或者平台管理员才能导出等。上述验证可以是弹出选框要求用户输入相应的账户、密码，或者验证问题等。
在一实施例中，所述接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤S1之前，包括：
步骤S10，配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系。
在本实施例中，需要预先配置好一个配置库，并在该配置库中存储有所有取数任务之间的依赖关系。上述取数任务之间的依赖关系在配置时，由于需要获取到上述取数任务，为了配置的便利性，通常是直接在上述任务调度平台所使用的数据库进行配置。但是，可以理解的是，本实施例中的配置库也可以不同于上述任务调度平台所使用的数据库，。
上述任务调度平台所使用的数据库通常为Oracle数据库，在该Oracle数据库可以存储上述取数任务之间的依赖关系，若上述配置库即为该Oracle数据库，则在查询上述依赖取数任务的过程中，可能会对Oracle数据库的运行产生影响，因此，优选地，可以配置另外一个配置库中，避免影响Oracle数据库的正常运行，例如可以配置一个MySQL数据库。
在一实施例中，所述配置库为预先设置的MySQL数据库，所述配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系的步骤S10，包括：
步骤S101，在预先设置的MySQL数据库中创建数据表；
步骤S102，从Oracle数据库中导出取数任务之间的依赖关系，并添加至所述MySQL数据库的数据表中；其中，所述Oracle数据库为任务调度平台存储数据的数据库。
本实施例中，任务调度平台中取数任务的依赖关系可以存储在一个Oracle 数据库中。为避免直接影响任务调度平台的运行，不直连上述Oracle数据库，取而代之的做法是：
1.在搭建本方案的运行环境时，在运行环境中安装MySQL数据库，并按照工具运行说明在指定的库、表结构创建好一个数据表；
2.从上述的Oracle配置库中导出依赖关系数据，并按照工具运行说明的映射关系将导出的依赖关系数据注入上述MySQL数据库中创建的数据表中即可。
综上所述，为本申请实施例中提供的提取任务关系链的方法，接收导出请求时；首先在预设的配置库中查询所述指定取数任务的依赖取数任务；然后根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；最后将所述指定取数任务的依赖关系链以Json 文本格式输出；本申请从配置库中获取到指定取数任务的所有依赖关系，便于梳理出任务调度平台中指定取数任务的依赖关系；同时，以Json文本格式输出，展示页面简洁，便于查看。
参照图3，本申请一实施例中还提供了一种提取任务关系链的装置，包括：
接收单元10，用于接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链；
查询单元20，用于在预设的配置库中查询所述指定取数任务的依赖取数任务；其中，所述预设的配置库中配置有所有取数任务之间的依赖关系，所述依赖取数任务与所述指定取数任务之间具有依赖关系；
生成单元30，用于根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；
输出单元40，用于将所述指定取数任务的依赖关系链以Json文本格式输出。
在本实施例中，上述装置应用于任务调度平台中，上述指定取数任务指的是任务调度平台(即Linkdo平台)上指定的取数任务中的任意一个，取数任务指的是按照规则从指定数据源(一般为产险的大数据平台)提取数据的计算机任务，一般使用Linux Shell/SQL等语言开发。上述取数任务配置于任务调度平台，例如平安科技自主开发的Linkdo自动化任务调度平台。在该平台中，通过配置取数任务，可以在特定时间、特定条件下触发特定的计算机任务执行，以提取数据。
上述依赖关系链是由取数任务之间的依赖关系所构成的一个关系链，其中不仅包括不同的取数任务，还包括有不同取数任务之间的依赖关系。在任务调度平台的预设配置库(可以是MySQL数据库)中不仅配置有各个取数任务，还根据各个取数任务之间的依赖规则预先配置有所有取数任务之间的依赖关系。具体地，例如，取数任务A的运行需要用到取数任务B的输出结果，则此时取数任务A依赖取数任务B。在Linkdo自动化任务调度平台上配置取数任务时，通常会配置为取数任务A只有在取数任务B成功执行后才触发执行。即取数任务A依赖于取数任务B。取数任务之间一个依赖另一个，环环相扣，即形成了上述依赖关系链。导出取数任务的依赖关系链并加以分析，不仅有助于数据分析人员梳理出任务调度平台中指定取数任务的依赖关系，而且便于理解数据的加工逻辑，从而能正确地根据业务需求对加工逻辑进行修改、补充等。
如上述接收单元10所述的，接收用户(例如开发人员)发出的对指定取数任务的依赖关系链的导出请求。用户可以在上述任务调度平台上选择指定取数任务，触发相应的按钮以发出导出请求，上述任务调度平台位于的终端则接收到上述导出请求。
如上述查询单元20所述的，由于在上述任务调度平台预设的配置库中预先配置有所有取数任务之间的依赖关系，因此可以在预设的配置库中查询到与上述指定取数任务具有依赖关系的依赖取数任务。在本实施例中，上述依赖取数任务可以是上述指定取数任务所依赖的取数任务，也可以是依赖上述指定取数任务的取数任务。由于上述任务调度平台预设的配置库中预先配置有所有取数任务之间的依赖关系，本实施例中，则可以从配置库中查询出所有和上述指定取数任务具有依赖关系的依赖取数任务，便于开发人员梳理出取数任务之间的依赖关系。
如上述生成单元30所述的，将查询出依赖取数任务与指定取数任务形成指定取数任务的依赖关系链。由于在上述任务调度平台预设的配置库中预先配置有所有取数任务之间的依赖关系，在查询出所有和上述指定取数任务具有依赖关系的依赖取数任务之后，则可以根据指定取数任意以及依赖取数任务之间预先配置的依赖关系，则可以自动生成上述指定取数任务的依赖关系链。
如上述输出单元40所述，为了使得上述形成的指定取数任务的依赖关系链便于复制使用，以及更加直观展示，因此将上述指定取数任务的依赖关系链以Json文本格式输出。其中，在输出结果中，Json文本中外层节点依赖内层节点。本实施例中，将上述指定取数任务的依赖关系链从任务调度平台中直接导出，克服目前只能在任务调度平台上图形化展示的缺陷。
综上，为本实施例中的Linkdo任务关系链自动提取工具，一次性批量导出上述指定取数任务的依赖关系链，导出过程中无查询层次限制，无论层次多深，均可批量导出，节省人力、提高分析效率；开发人员从上述依赖关系链便可以梳理清楚相关取数任务之间的依赖关系，便于梳理逻辑；本方法可满足大量开发人员对取数任务的查阅需求，大大减少了开发人员在上述任务调度平台页面上的操作查询时间，并减轻任务调度平台服务器和数据库的查询压力。
在一实施例中，上述提取任务关系链的装置，还包括：
展示单元，用于对Json文本格式输出的所述依赖关系链进行Json格式化，以图形化展示所述依赖关系链。
在本实施例中，使用Json格式化工具对Json文本格式输出的所述依赖关系链进行Json格式化，上述Json格式化工具指的是Json数据的图形化展示工具，其作用是将Json格式的文本以图形化的形式展示，从而让阅读变得直观、易理解。本实施例中，配合使用Json格式化工具，查阅时可以方便地根据需要折叠/展开任务节点，减少不必要的过量的信息干扰；不同于现有的任务调度平台的是，本实施例中展示的依赖关系没有层级限制。
参照图4，在一实施例中，上述提取任务关系链的装置，还包括：
指令接收单元50，用于接收用户对所述指定取数任务的依赖关系链的修改指令；
修改单元60，用于根据所述修改指令修改所述指定取数任务的依赖关系链，并根据修改后的依赖关系链，同步修改所述预设的配置库中的所述指定取数任务与依赖取数任务之间的依赖关系。
在本实施例中，开发人员获取到上述指定取数任务的依赖关系链之后，可以对其进行修改。如上述指令接收单元50所述的，接收用户对所述指定取数任务的依赖关系链的修改指令，该修改指令中包括对所述指定取数任务的依赖关系链的修改内容，例如修改(包括删除、增加、更改)某个取数任务，或者修改取数任务之间的依赖关系。
如上述修改单元60所述的，根据上述修改指令，便可以对应修改上述指定取数任务的依赖关系链；同时，为了便于更新上述预设的配置库中对取数任务的配置，则根据上述修改指令修改后的依赖关系链，同步修改预设的配置库中对取数任务的配置，例如修改所述指定取数任务与依赖取数任务之间的依赖关系。其它实施例中，也可以根据上述修改指令，同步更新预设的配置库中对取数任务的配置。
在一实施例中，上述提取任务关系链的装置，还包括：
验证单元，用于对所述导出请求的导出权限进行验证，若验证通过，则执行在预设的配置库中查询所述指定取数任务的依赖取数任务。
本实施例中，避免所有用户都能在上述任务调度平台上导出指定取数任务的依赖关系链，对用户的导出请求设置有一定的权限，例如只能开发人员或者平台管理员才能导出等。上述验证可以是弹出选框要求用户输入相应的账户、密码，或者验证问题等。
在一实施例中，上述提取任务关系链的装置，还包括：
配置单元，用于配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系。
在本实施例中，需要预先配置好一个配置库，并在该配置库中存储有所有取数任务之间的依赖关系。可以理解的是，本实施例中的配置库是一个存储数据的数据库，其可以是上述任务调度平台所使用的数据库，也可以不同于上述任务调度平台所使用的数据库。
上述任务调度平台所使用的数据库通常为Oracle数据库，在该Oracle数据库可以存储上述取数任务之间的依赖关系，若上述配置库即为该Oracle数据库，则在查询上述依赖取数任务的过程中，可能会对Oracle数据库的运行产生影响，因此，优选地，可以配置另外一个配置库中，避免影响Oracle数据库的正常运行，例如可以配置一个MySQL数据库。
在一实施例中，所述配置库为预先设置的MySQL数据库，上述配置单元，包括：
创建子单元，在预先设置的MySQL数据库中创建数据表；
添加子单元，从Oracle数据库中导出取数任务之间的依赖关系，并添加至所述MySQL数据库的数据表中；其中，所述Oracle数据库为任务调度平台存储数据的数据库。
本实施例中，任务调度平台中取数任务的依赖关系可以存储在一个Oracle 数据库中。为避免直接影响任务调度平台的运行，不直连上述Oracle数据库，取而代之的做法是：
1、在搭建本方案的运行环境时，创建子单元在运行环境中安装MySQL 数据库，并按照工具运行说明在指定的库、表结构创建好一个数据表；
2、添加子单元从上述的Oracle配置库中导出依赖关系数据，并按照工具运行说明的映射关系将导出的依赖关系数据注入上述MySQL数据库中创建的数据表中即可。
参照图5，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储取数任务之间的依赖关系等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种提取任务关系链的方法。
上述处理器执行上述提取任务关系链的方法的步骤：
接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链；
在预设的配置库中查询所述指定取数任务的依赖取数任务；其中，所述预设的配置库中配置有所有取数任务之间的依赖关系，所述依赖取数任务与所述指定取数任务之间具有依赖关系；
根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；
将所述指定取数任务的依赖关系链以Json文本格式输出。
在一实施例中，上述处理器将所述指定取数任务的依赖关系链以Json文本格式输出的步骤之后，包括：
对Json文本格式输出的所述依赖关系链进行Json格式化，以图形化展示所述依赖关系链。
在一实施例中，上述处理器将所述指定取数任务的依赖关系链以Json文本格式输出的步骤之后，包括：
接收用户对所述指定取数任务的依赖关系链的修改指令；
根据所述修改指令修改所述指定取数任务的依赖关系链，并根据修改后的依赖关系链，同步修改所述预设的配置库中的所述指定取数任务与依赖取数任务之间的依赖关系。
在一实施例中，上述处理器接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤之后，包括：
对所述导出请求的导出权限进行验证，若验证通过，则执行在预设的配置库中查询所述指定取数任务的依赖取数任务。
在一实施例中，上述处理器接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤之前，包括：
配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系。
在一实施例中，所述配置库为预先设置的MySQL数据库，上述处理器配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系的步骤，包括：
在预先设置的MySQL数据库中创建数据表；
从Oracle数据库中导出取数任务之间的依赖关系，并添加至所述MySQL 数据库的数据表中；其中，所述Oracle数据库为任务调度平台存储数据的数据库。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种提取任务关系链的方法，具体为：
接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链；
在预设的配置库中查询所述指定取数任务的依赖取数任务；其中，所述预设的配置库中配置有所有取数任务之间的依赖关系，所述依赖取数任务与所述指定取数任务之间具有依赖关系；
根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；
将所述指定取数任务的依赖关系链以Json文本格式输出。
在一实施例中，上述处理器将所述指定取数任务的依赖关系链以Json文本格式输出的步骤之后，包括：
对Json文本格式输出的所述依赖关系链进行Json格式化，以图形化展示所述依赖关系链。
在一实施例中，上述处理器将所述指定取数任务的依赖关系链以Json文本格式输出的步骤之后，包括：
接收用户对所述指定取数任务的依赖关系链的修改指令；
根据所述修改指令修改所述指定取数任务的依赖关系链，并根据修改后的依赖关系链，同步修改所述预设的配置库中的所述指定取数任务与依赖取数任务之间的依赖关系。
在一实施例中，上述处理器接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤之后，包括：
对所述导出请求的导出权限进行验证，若验证通过，则执行在预设的配置库中查询所述指定取数任务的依赖取数任务。
在一实施例中，上述处理器接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤之前，包括：
配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系。
在一实施例中，所述配置库为预先设置的MySQL数据库，上述处理器配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系的步骤，包括：
在预先设置的MySQL数据库中创建数据表；
从Oracle数据库中导出取数任务之间的依赖关系，并添加至所述MySQL 数据库的数据表中；其中，所述Oracle数据库为任务调度平台存储数据的数据库。
综上所述，为本申请实施例中提供的提取任务关系链的方法、装置、计算机设备和存储介质，接收导出请求时；首先在预设的配置库中查询所述指定取数任务的依赖取数任务；然后根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；最后将所述指定取数任务的依赖关系链以Json文本格式输出；本申请从配置库中获取到指定取数任务的所有依赖关系，便于梳理出任务调度平台中指定取数任务的依赖关系；同时，以Json文本格式输出，展示页面简洁，便于查看。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM) 或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM (SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM (SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (4)
1.一种提取任务关系链的方法，其特征在于，包括以下步骤：
接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链；
在预设的配置库中查询所述指定取数任务的依赖取数任务；其中，所述预设的配置库中配置有所有取数任务之间的依赖关系，所述依赖取数任务与所述指定取数任务之间具有依赖关系；
根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；
将所述指定取数任务的依赖关系链以Json文本格式输出；
所述接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤之前，包括：
配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系；
所述配置库为预先设置的MySQL数据库，所述配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系的步骤，包括：
在预先设置的MySQL数据库中创建数据表；
从Oracle数据库中导出取数任务之间的依赖关系，并添加至所述MySQL数据库的数据表中；其中，所述Oracle数据库为任务调度平台存储数据的数据库；
所述将所述指定取数任务的依赖关系链以Json文本格式输出的步骤之后，包括：
对Json文本格式输出的所述依赖关系链进行Json格式化，以图形化展示所述依赖关系链；
所述将所述指定取数任务的依赖关系链以Json文本格式输出的步骤之后，包括：
接收用户对所述指定取数任务的依赖关系链的修改指令；
根据所述修改指令修改所述指定取数任务的依赖关系链，并根据修改后的依赖关系链，同步修改所述预设的配置库中的所述指定取数任务与依赖取数任务之间的依赖关系；
所述接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链的步骤之后，包括：
对所述导出请求的导出权限进行验证，若验证通过，则执行在预设的配置库中查询所述指定取数任务的依赖取数任务。
2.一种提取任务关系链的装置，其特征在于，包括：
接收单元，用于接收导出请求，所述导出请求用于请求导出指定取数任务的依赖关系链；
查询单元，用于在预设的配置库中查询所述指定取数任务的依赖取数任务；其中，所述预设的配置库中配置有所有取数任务之间的依赖关系，所述依赖取数任务与所述指定取数任务之间具有依赖关系；
生成单元，用于根据所述指定取数任务与查询出的所述依赖取数任务的依赖关系，生成所述指定取数任务的依赖关系链；
输出单元，用于将所述指定取数任务的依赖关系链以Json文本格式输出；
所述提取任务关系链的装置，还包括：
配置单元，用于配置所述配置库，并在所述配置库中存储取数任务之间的依赖关系；
所述配置库为预先设置的MySQL数据库，所述配置单元，包括：
创建子单元，用于在预先设置的MySQL数据库中创建数据表；
添加子单元，用于从Oracle数据库中导出取数任务之间的依赖关系，并添加至所述MySQL数据库的数据表中；其中，所述Oracle数据库为任务调度平台存储数据的数据库；
所述装置还包括：
展示单元，用于对Json文本格式输出的所述依赖关系链进行Json格式化，以图形化展示所述依赖关系链；
所述装置，还包括：
指令接收单元，用于接收用户对所述指定取数任务的依赖关系链的修改指令；
修改单元，用于根据所述修改指令修改所述指定取数任务的依赖关系链，并根据修改后的依赖关系链，同步修改所述预设的配置库中的所述指定取数任务与依赖取数任务之间的依赖关系；
所述装置，还包括：
验证单元，用于对所述导出请求的导出权限进行验证，若验证通过，则执行在预设的配置库中查询所述指定取数任务的依赖取数任务。
3.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1所述方法的步骤。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910082136.4A CN109918432B (zh) | 2019-01-28 | 2019-01-28 | 提取任务关系链的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910082136.4A CN109918432B (zh) | 2019-01-28 | 2019-01-28 | 提取任务关系链的方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109918432A CN109918432A (zh) | 2019-06-21 |
| CN109918432B true CN109918432B (zh) | 2024-05-28 |
Family
ID=66960905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910082136.4A Active CN109918432B (zh) | 2019-01-28 | 2019-01-28 | 提取任务关系链的方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109918432B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112291293B (zh) * | 2019-07-27 | 2023-01-06 | 华为技术有限公司 | 任务处理方法、相关设备及计算机存储介质 |
| CN110908780B (zh) * | 2019-10-12 | 2023-07-21 | 中国平安财产保险股份有限公司 | 调度平台的任务梳理方法、装置、设备及存储介质 |
| CN112164434A (zh) * | 2020-10-14 | 2021-01-01 | 上海妙一生物科技有限公司 | 预约方法、装置、系统、设备和可读存储介质 |
| CN114697398B (zh) * | 2022-03-23 | 2023-10-17 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备、存储介质及产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106164897A (zh) * | 2013-12-02 | 2016-11-23 | 丘贝斯有限责任公司 | 用于寄存内存数据库的系统及方法 |
| CN106293928A (zh) * | 2015-06-05 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种全局任务节点依赖关系可视化方法、装置和系统 |
| WO2018156781A1 (en) * | 2017-02-22 | 2018-08-30 | Anduin Transactions, Inc. | Compact presentation of automatically summarized information according to rule-based graphically represented information |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9921945B2 (en) * | 2015-04-06 | 2018-03-20 | Adp, Llc | Automatic verification of JSON data |
-
2019
- 2019-01-28 CN CN201910082136.4A patent/CN109918432B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106164897A (zh) * | 2013-12-02 | 2016-11-23 | 丘贝斯有限责任公司 | 用于寄存内存数据库的系统及方法 |
| CN106293928A (zh) * | 2015-06-05 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种全局任务节点依赖关系可视化方法、装置和系统 |
| WO2018156781A1 (en) * | 2017-02-22 | 2018-08-30 | Anduin Transactions, Inc. | Compact presentation of automatically summarized information according to rule-based graphically represented information |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109918432A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109918432B (zh) | 提取任务关系链的方法、装置、计算机设备和存储介质 | |
| CN110297672B (zh) | 页面动态生成方法、装置、计算机设备及存储介质 | |
| US10185546B2 (en) | Service extraction and application composition | |
| US10033835B2 (en) | System, method, and device for remotely operating a server | |
| US10114811B2 (en) | Methods and systems for validating multiple methods of input using a unified rule set | |
| JP5644543B2 (ja) | アクセス制御データ編集支援プログラム、アクセス制御データ編集支援装置、及びアクセス制御データ編集支援方法 | |
| CN111783103A (zh) | 基于Maven的依赖管理方法、装置、电子装置及存储介质 | |
| WO2020015191A1 (zh) | 业务规则的发布管理方法、电子装置及可读存储介质 | |
| US10282690B1 (en) | Mainframe workflow manager system and method | |
| CN109657177A (zh) | 升级后页面的生成方法、装置、存储介质及计算机设备 | |
| CN111818175B (zh) | 企业服务总线配置文件生成方法、装置、设备和存储介质 | |
| CN109062925A (zh) | 自动生成insert语句的方法、装置、计算机设备及存储介质 | |
| US20230086854A1 (en) | Dynamically controlling case model structure using case fragments | |
| WO2019223172A1 (zh) | Kettle任务调度方法、系统、计算机设备和存储介质 | |
| CN111881473A (zh) | 隐私文件保护方法、装置、计算机设备和可读存储介质 | |
| US9582270B2 (en) | Effective feature location in large legacy systems | |
| JP5460928B1 (ja) | プログラマブルコントローラ、プログラマブルコントローラシステムおよび実行エラー情報作成方法 | |
| US8219966B2 (en) | Method and system for integrating an application floorplan and an external service | |
| EP2926282A1 (en) | Method and system for context modeling | |
| JP6705482B2 (ja) | システム構築パラメータ管理装置、システム構築パラメータ管理システム、システム構築パラメータ管理方法、及び、システム構築パラメータ管理プログラム | |
| CN111651429B (zh) | 一种大数据调度参数管理方法、装置及分布式平台 | |
| CN113407188B (zh) | 智能合约的构建方法、装置、计算机设备及存储介质 | |
| US20230305817A1 (en) | Dynamic importation of external dependency information to support autocompletion in an interactive development environment | |
| CN110321109B (zh) | 接口服务的获取方法、装置、计算机设备和存储介质 | |
| CN116755689A (zh) | 一种代码发布方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |