CN111782204B - 批量排程编辑方法及装置 - Google Patents
批量排程编辑方法及装置 Download PDFInfo
- Publication number
- CN111782204B CN111782204B CN202010629770.8A CN202010629770A CN111782204B CN 111782204 B CN111782204 B CN 111782204B CN 202010629770 A CN202010629770 A CN 202010629770A CN 111782204 B CN111782204 B CN 111782204B
- Authority
- CN
- China
- Prior art keywords
- batch
- scheduling
- job
- flow chart
- block diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000010586 diagram Methods 0.000 claims abstract description 68
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 239000000872 buffer Substances 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Stored Programmes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种批量排程编辑方法及装置，所述方法包含：获得多个排程任务之间的依赖关系及各排程任务的作业信息；根据所述排程任务的作业信息生成流程框图，通过所述排程任务之间的依赖关系按序连接所述流程框图获得批量排程流程图；通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句，在批量框架数据库执行所生成的执行语句后，可以在批量控制台看到所有定义的作业信息。
Description
技术领域
本发明涉及分布式数据处理领域，尤指一种批量排程编辑方法及装置。
背景技术
现有技术中，很多应用都使用了分布式批量框架——平台应用批量开发的一种框架，主要实现功能：1、实现批量内部各作业步之间的调度。2.批量作业按时开启(传统批量由Entegor控制)。3.控制台对批量进行可视化控制(传统批量由Entegor控制)4.分组分片调度。分布式批量架构主要有几个模块：1、zookeeper:一个分布式协调服务，它是批量调度的基础。2、控制器：是批量系统中负责作业调度工作和作业执行流程控制的管理者，是批量框架的大脑、是作业调度核心。3、执行器(Executor)：是批量系统中负责接收控制器发起作业调度指令的管理者，是批量作业的接收方。执行器在接收到控制器指令后，对指令进行解释；根据指令中的作业实例信息、指令类型等，创建处理器实例对象并执行相应的指令。4、处理器(Processor)：就是各批量作业的程序。根据应用数据处理场景。5、批量调度控制台(Console)：是提供给批量系统运维人员，用于展现批量框架中作业调度的情况、批量作业执行进度等信息以及手工调整任务状态的信息控制平台。如图1所示。
目前很多应用使用分布式批量框架创建批量作业来跑定时任务。新增作业任务需要在分布式框架的表结构中插入作业信息，作业定义和排程设计所涉及的数据库表结构如图2所示；整个分布式调度流程如图3所示。
一个大型应用涉及到的批量作业就可能有几百个，批量框架数据库表又有好几个，目前批量排程发布形式为sql语句，即不利于批量排程的阅读以及修改，生成sql语句也很容易出错，特别不利于开发人员对应用批量排程的维护，加大了开发人员的繁琐的工作量，降低了他们的工作效率。
发明内容
本发明目的在于提供一种适用于应用批量排程维护的批量排程编辑方法及装置，以降低开发人员的繁琐的工作量，提高其工作效率。
为达上述目的，本发明所提供的批量排程编辑方法具体包含：获得多个排程任务之间的依赖关系及各排程任务的作业信息；根据所述排程任务的作业信息生成流程框图，通过所述排程任务之间的依赖关系按序连接所述流程框图获得批量排程流程图；通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句，根据所述执行语句在批量框架数据库执行批量排程。
在上述批量排程编辑方法中，优选的，通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条查询语句包含：通过预定程序语言解析所述批量排程流程图中各所述流程框图获得所述作业信息；根据所述作业信息中预定标识获得作业类型；根据所述流程框图之间的连接关系、所述作业信息与所述作业类型生成对应的批量框架数据库的执行语句。
在上述批量排程编辑方法中，优选的，根据所述排程任务的作业信息生成流程框图还包含：获取所述作业信息的作业类型，根据所述作业类型获得所述流程框图的预设框体形状；根据预设框体形状构建所述流程框图。
在上述批量排程编辑方法中，优选的，通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得批量框架数据库的执行语句包含：根据所述流程框图的框体形状获得所述流程框图所对应的作业类型；通过预定程序语言解析所述流程框图获得所述作业信息；根据所述流程框图之间的连接关系获得所述作业信息之间的依赖关系；将所述作业类型、所述作业信息和所述依赖关系生成对应的批量框架数据库的执行语句。
在上述批量排程编辑方法中，优选的，通过预定程序语言解析所述批量排程流程图包含：通过解码器读取所述批量排程流程图，将所述批量排程流程图转换为字符编码文件；通过预定程序语言的处理API识别处理所述字符编码文件获得所述作业信息和所述作业信息之间的依赖关系。
在上述批量排程编辑方法中，优选的，所述批量排程流程图为visio流程图；所述预定程序语言为Python语言。
在上述批量排程编辑方法中，优选的，所述作业信息包含：批量作业名、执行器组id、批量作业的中文描述和批量作业的分片数。
本发明还提供一种批量排程编辑装置，所述装置包含编辑显示模块和解析模块；所述编辑显示模块用于获得多个排程任务之间的依赖关系及各排程任务的作业信息；以及，根据所述排程任务的作业信息生成流程框图，通过所述排程任务之间的依赖关系按序连接所述流程框图获得批量排程流程图；所述解析模块用于通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句，根据所述执行语句在批量框架数据库执行批量排程。
在上述批量排程编辑装置中，优选的，所述解析模块包含类型确定单元，所述类型确定单元用于通过预定程序语言解析所述批量排程流程图中各所述流程框图获得所述作业信息；根据所述作业信息中预定标识获得作业类型；根据所述流程框图之间的连接关系、所述作业信息与所述作业类型生成对应的批量框架数据库的执行语句。
在上述批量排程编辑装置中，优选的，所述编辑显示模块还包含构图单元，所述构图单元用于获取所述作业信息的作业类型，根据所述作业类型获得所述流程框图的预设框体形状；根据预设框体形状构建所述流程框图。
在上述批量排程编辑装置中，优选的，所述解析模块包含元素提取单元和执行语句生成单元；所述元素提取单元用于根据所述流程框图的框体形状获得所述流程框图所对应的作业类型；通过预定程序语言解析所述流程框图获得所述作业信息；根据所述流程框图之间的连接关系获得所述作业信息之间的依赖关系；所述执行语句生成单元用于将所述作业类型、所述作业信息和所述依赖关系生成对应的批量框架数据库的执行语句。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明的有益技术效果在于：利用流程图绘制批量排程图，由方框代表批量作业，多个方框之间采用连接线相连，通过连接线代表前后两个作业的依赖关系予以显示供编辑；后续通过程序语言解析该流程图，生成查询语句以用于批量排程的发布。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为现有技术中的分布式批量架构的结构示意图；
图2为现有技术中的数据库表的结构示意图；
图3为现有技术中的分布式调度的流程示意图；
图4为本发明一实施例所提供的批量排程编辑方法的流程示意图；
图5为本发明一实施例所提供的批量框架数据库的执行语句生成的流程示意图；
图6为本发明一实施例所提供的批量框架数据库的执行语句生成的流程示意图；
图7为本发明一实施例所提供的VISIO编辑的流程示意图；
图8为本发明一实施例所提供的批量作业中框图编辑示意图；
图9为本发明一实施例所提供的批量排程流程图解析的流程示意图；
图10为本发明一实施例所提供的批量排程编辑装置的结构示意图；
图11为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
请参考图4所示，本发明所提供的一种批量排程编辑方法具体包含：
S101获得多个排程任务之间的依赖关系及各排程任务的作业信息；
S102根据所述排程任务的作业信息生成流程框图，通过所述排程任务之间的依赖关系按序连接所述流程框图获得批量排程流程图；
S103通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句，根据所述执行语句在批量框架数据库执行批量排程。
其中，所述批量排程流程图可为visio流程图；所述预定程序语言可为Python语言。所述作业信息包含：批量作业名、执行器组id、批量作业的中文描述和批量作业的分片数。实际工作中，本发明所提供的批量排程编辑方法可利用Visio基本流程图绘制批量排程图，方框代表批量作业，两个方框之间使用连接线相连，连接线代表前后两个作业的依赖关系，使用Python解析Visio图，生成sql脚本用于批量排程的发布；当然，本领域相关技术人员也可根据实际需要通过其他相似或功能等同的方式替换上述实施例，本发明在此并不做限制。
请参考图5所示，在本发明一实施例中，上述步骤S103中通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句可包含：
S201通过预定程序语言解析所述批量排程流程图中各所述流程框图获得所述作业信息；
S202根据所述作业信息中预定标识获得作业类型；
S203根据所述流程框图之间的连接关系、所述作业信息与所述作业类型生成对应的批量框架数据库的执行语句。
在该实施例中，可根据所述作业信息中所包含的内容确定该作业任务具体属于定时开口作业还是普通批量作业，其依据在于作业信息中不同作业类型包含有不同的特定字符；其后，再根据该作业类型和所述作业信息，以及该连接关系所对应的各任务间的依赖关系去组织查询语句；当然，实际工作中也可采用其他方式予以定义作业类型，例如在本发明另一实施例中，根据所述排程任务的作业信息生成流程框图还可包含：获取所述作业信息的作业类型，根据所述作业类型获得所述流程框图的预设框体形状；根据预设框体形状构建所述流程框图。亦即，工作人员可根据实际需要，在构建流程图时，根据各作业的作业类型，将流程框图构建为菱形、方形或其他形状予以区分不用的作业类型，以此，在后续解析过程中可根据框体的形状予以确定对应的作业类型。
具体的，请参考图6所示，在本发明一实施例中，通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句可包含：
S301根据所述流程框图的框体形状获得所述流程框图所对应的作业类型；
S302通过预定程序语言解析所述流程框图获得所述作业信息；
S303根据所述流程框图之间的连接关系获得所述作业信息之间的依赖关系；
S304将所述作业类型、所述作业信息和所述依赖关系生成对应的批量框架数据库的执行语句。
为便于更清楚的理解本发明所提供的批量排程编辑方法在实际工作中如何实现批量作业信息的可视化流程，以下以visio等制图工具为例，对上述实施例做结合说明，本领域相关技术人员当可知，该实例并不对本发明做任何限制。
借助Visio工具可轻松直观地绘制流程图，方框代表批量作业，两个方框之间使用连接线相连，连接线代表前后两个作业的依赖关系，所有的开发人员都可以直观地了解应用的批量作业信息并进行相应的维护；如图7所示，开发人员只要简单地在方框中维护批量作业的如下相关四点即可。具体请参考图8所示，Visio图的每一个标签页代表作业组的id，批量框架使用SQL接口可以按组group_id刷新作业实例。该接口设计为，vaim通过curl命令，将sql文件及应用名上送到控制台完成发版，请求示例为：
curl-F"file＝@schedule.sql"-s"http://127.0.0.1:8081/batchmanage/servlet/
com.icbc.cte.cs.servlet.WithoutSessionReqServlet？action＝releasetool.flowc&flowActionName＝release&app＝F-BABS&batchNo＝0&refresh＝true&instance＝paramImport:0％23salaryOT:1-5％23dataClean:0％23compress:0％23openCard:1-5"
其中
(instance＝paramImport:0％23salaryOT:1-5％23dataClean:0％23compress:0％23openCard:1-5")代表按组group_id刷新实例；
请参考图9所示，在本发明一实施例中，通过预定程序语言解析所述批量排程流程图包含：
S401通过解码器读取所述批量排程流程图，将所述批量排程流程图转换为字符编码文件；
S402通过预定程序语言的处理API识别处理所述字符编码文件获得所述作业信息和所述作业信息之间的依赖关系。
实际工作中，可采用解码模块，例如codecs模块做编码转换，采用codecs提供的open方法指定打开的文件的语言编码，它会在读取的时候自动转换为内部的unicode。代码如下所示：filepath——文件路径；method——打开方式，r为读，w为写，rw为读写；encoding——文件的编码。python标准库中xml.etree.ElementTree和xml.etree.cElementTree是python的xml处理API，xml.etree.cElementTree较xml.etree.ElementTree更快一点。为此，可以通过python的API可以解析Visio文件(实则也是xml文件)。
接下来就是对文件的解析，运用到ElementTree对象的几个方法：
get(key,default＝None)—获取key对应的属性值，如该属性不存在则返回default值；
items()根据属性字典返回一个列表，列表元素为(key,value)；
find(match)—寻找第一个匹配子元素，匹配对象可以是tag或path；
findtext(match)—寻找第一个匹配子元素，返回其text值，匹配对象可以为tag或者path；
findall(match)—寻找所有匹配子元素，匹配对象可以是tag或path；
iterfind(match)—根据tag或者path寻找所有的后代。
所述Python解析Visio图的原理过程如下：每一个标签页定义为一个组(group_id)的批量作业；菱形方框我们定义成定时开口作业；方形方框我们定义成普通批量作业；方框内表示作业的相关信息；连线表示两个作业的前后依赖关系；Python将如上的各类元素解析出来之后，放到对应的数组里面存放，遍历各类数组，生成相应的sql到codecs模块打开的文档中；亦即批量排程发布的sql。
请参考图10所示，本发明还提供一种批量排程编辑装置，所述装置包含编辑显示模块和解析模块；所述编辑显示模块用于获得多个排程任务之间的依赖关系及各排程任务的作业信息；以及，根据所述排程任务的作业信息生成流程框图，通过所述排程任务之间的依赖关系按序连接所述流程框图获得批量排程流程图；所述解析模块用于通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句，根据所述执行语句在批量框架数据库执行批量排程。其中，所述解析模块可包含类型确定单元，所述类型确定单元用于通过预定程序语言解析所述批量排程流程图中各所述流程框图获得所述作业信息；根据所述作业信息中预定标识获得作业类型；根据所述流程框图之间的连接关系、所述作业信息与所述作业类型生成对应的批量框架数据库的执行语句。在本发明另一实施例中，所述编辑显示模块还包含构图单元，所述构图单元用于获取所述作业信息的作业类型，根据所述作业类型获得所述流程框图的预设框体形状；根据预设框体形状构建所述流程框图。
在上述实施例中，所述解析模块包含元素提取单元和执行语句生成单元；所述元素提取单元用于根据所述流程框图的框体形状获得所述流程框图所对应的作业类型；通过预定程序语言解析所述流程框图获得所述作业信息；根据所述流程框图之间的连接关系获得所述作业信息之间的依赖关系；所述执行语句生成单元用于将所述作业类型、所述作业信息和所述依赖关系生成对应的执行语句。
本发明的有益技术效果在于：利用流程图绘制批量排程图，由方框代表批量作业，多个方框之间采用连接线相连，通过连接线代表前后两个作业的依赖关系予以显示供编辑；后续通过程序语言解析该流程图，生成批量框架数据库的执行语句以用于批量排程的发布。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图11所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图11中所示的所有部件；此外，电子设备600还可以包括图11中没有示出的部件，可以参考现有技术。
如图11所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种批量排程编辑方法，其特征在于，所述方法包含：
获得多个排程任务之间的依赖关系及各排程任务的作业信息；
根据所述排程任务的作业信息生成流程框图，通过所述排程任务之间的依赖关系按序连接所述流程框图获得批量排程流程图；
通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句，根据所述执行语句在批量框架数据库执行批量排程；
通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句包含：
通过预定程序语言解析所述批量排程流程图中各所述流程框图获得所述作业信息；
根据所述作业信息中预定标识获得作业类型；
根据所述流程框图之间的连接关系、所述作业信息与所述作业类型生成对应的批量框架数据库的执行语句；
所述作业信息包含：批量作业名、执行器组id、批量作业的中文描述和批量作业的分片数。
2.根据权利要求1所述的批量排程编辑方法，其特征在于，根据所述排程任务的作业信息生成流程框图还包含：
获取所述作业信息的作业类型，根据所述作业类型获得所述流程框图的预设框体形状；
根据预设框体形状构建所述流程框图。
3.根据权利要求2所述的批量排程编辑方法，其特征在于，通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句包含：
根据所述流程框图的框体形状获得所述流程框图所对应的作业类型；
通过预定程序语言解析所述流程框图获得所述作业信息；
根据所述流程框图之间的连接关系获得所述作业信息之间的依赖关系；
将所述作业类型、所述作业信息和所述依赖关系生成对应的批量框架数据库的执行语句。
4.根据权利要求1所述的批量排程编辑方法，其特征在于，通过预定程序语言解析所述批量排程流程图包含：
通过解码器读取所述批量排程流程图，将所述批量排程流程图转换为字符编码文件；
通过预定程序语言的处理API识别处理所述字符编码文件获得所述作业信息和所述作业信息之间的依赖关系。
5.根据权利要求1至3中任一项所述的批量排程编辑方法，其特征在于，所述批量排程流程图为visio流程图；所述预定程序语言为Python语言。
6.一种批量排程编辑装置，其特征在于，所述装置包含编辑显示模块和解析模块；
所述编辑显示模块用于获得多个排程任务之间的依赖关系及各排程任务的作业信息；以及，根据所述排程任务的作业信息生成流程框图，通过所述排程任务之间的依赖关系按序连接所述流程框图获得批量排程流程图；所述作业信息包含：批量作业名、执行器组id、批量作业的中文描述和批量作业的分片数；
所述解析模块用于通过预定程序语言解析所述批量排程流程图中各所述流程框图及其连接关系获得多条批量框架数据库的执行语句，根据所述执行语句在批量框架数据库执行批量排程；
所述解析模块包含类型确定单元，所述类型确定单元用于通过预定程序语言解析所述批量排程流程图中各所述流程框图获得所述作业信息；根据所述作业信息中预定标识获得作业类型；根据所述流程框图之间的连接关系、所述作业信息与所述作业类型生成对应的批量框架数据库的执行语句。
7.根据权利要求6所述的批量排程编辑装置，其特征在于，所述编辑显示模块还包含构图单元，所述构图单元用于获取所述作业信息的作业类型，根据所述作业类型获得所述流程框图的预设框体形状；根据预设框体形状构建所述流程框图。
8.根据权利要求7所述的批量排程编辑装置，其特征在于，所述解析模块包含元素提取单元和执行语句生成单元；
所述元素提取单元用于根据所述流程框图的框体形状获得所述流程框图所对应的作业类型；通过预定程序语言解析所述流程框图获得所述作业信息；根据所述流程框图之间的连接关系获得所述作业信息之间的依赖关系；
所述执行语句生成单元用于将所述作业类型、所述作业信息和所述依赖关系生成对应的批量框架数据库的执行语句语句。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，处理器执行所述计算机程序时实现权利要求1至4任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010629770.8A CN111782204B (zh) | 2020-07-03 | 2020-07-03 | 批量排程编辑方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010629770.8A CN111782204B (zh) | 2020-07-03 | 2020-07-03 | 批量排程编辑方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111782204A CN111782204A (zh) | 2020-10-16 |
| CN111782204B true CN111782204B (zh) | 2024-04-30 |
Family
ID=72758493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010629770.8A Active CN111782204B (zh) | 2020-07-03 | 2020-07-03 | 批量排程编辑方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111782204B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113391904B (zh) * | 2021-06-23 | 2024-04-26 | 中国工商银行股份有限公司 | 一种基于分布式框架的简批量定制调度方法及装置 |
| CN115562192B (zh) * | 2022-09-27 | 2023-06-27 | 北京虎蜥信息技术有限公司 | 一种装配工艺图形化管理方法、系统、终端及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005107828A (ja) * | 2003-09-30 | 2005-04-21 | Central Computer Services Co Ltd | ジョブフロー作成システム及びプログラム |
| CN103077022A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种作业流程可视化的作业配置方法和装置 |
| CN104866298A (zh) * | 2014-02-26 | 2015-08-26 | 阿里巴巴集团控股有限公司 | 基于流程图的流程化业务实现方法和装置 |
| CN107767008A (zh) * | 2017-03-03 | 2018-03-06 | 平安医疗健康管理股份有限公司 | 流程配置方法及装置 |
| CN108845798A (zh) * | 2018-05-30 | 2018-11-20 | 安徽四创电子股份有限公司 | 一种可视化大数据任务编排框架及处理方法 |
| CN111159270A (zh) * | 2019-12-31 | 2020-05-15 | 杭州依图医疗技术有限公司 | 一种调度Zeppelin任务的方法、系统、计算设备及存储介质 |
-
2020
- 2020-07-03 CN CN202010629770.8A patent/CN111782204B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005107828A (ja) * | 2003-09-30 | 2005-04-21 | Central Computer Services Co Ltd | ジョブフロー作成システム及びプログラム |
| CN103077022A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种作业流程可视化的作业配置方法和装置 |
| CN104866298A (zh) * | 2014-02-26 | 2015-08-26 | 阿里巴巴集团控股有限公司 | 基于流程图的流程化业务实现方法和装置 |
| CN107767008A (zh) * | 2017-03-03 | 2018-03-06 | 平安医疗健康管理股份有限公司 | 流程配置方法及装置 |
| CN108845798A (zh) * | 2018-05-30 | 2018-11-20 | 安徽四创电子股份有限公司 | 一种可视化大数据任务编排框架及处理方法 |
| CN111159270A (zh) * | 2019-12-31 | 2020-05-15 | 杭州依图医疗技术有限公司 | 一种调度Zeppelin任务的方法、系统、计算设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111782204A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10503470B2 (en) | Method for user training of information dialogue system | |
| US8996384B2 (en) | Transforming components of a web page to voice prompts | |
| CN109002510B (zh) | 一种对话处理方法、装置、设备和介质 | |
| US9564149B2 (en) | Method for user communication with information dialogue system | |
| CN111782204B (zh) | 批量排程编辑方法及装置 | |
| CN102209963A (zh) | 对事实数据的脚注的自动指定 | |
| CN112286904A (zh) | 集群迁移方法、装置及存储介质 | |
| CN114138372A (zh) | 前端组件加载方法及装置 | |
| CN110990222B (zh) | 基于大型机的跨平台图形化运行监控方法及装置 | |
| CN115630835A (zh) | 一种基于Activity的工作流通用参数配置方法及系统 | |
| CN111414303A (zh) | 一种用于脚本性能测试的辅助系统及方法 | |
| CN112181417B (zh) | 前端研发配置装置及方法 | |
| CN102508822A (zh) | 泰语显示方法、装置和系统 | |
| CN109918389B (zh) | 基于消息流和图数据库的数据风控方法、装置及存储介质 | |
| CN102246158A (zh) | 用户指定的短语输入学习 | |
| CN107239343B (zh) | 数据处理方法及装置 | |
| CN113110829B (zh) | 多ui组件库数据处理方法及装置 | |
| CN114968917A (zh) | 一种文件数据快速导入方法及装置 | |
| CN113419957A (zh) | 基于规则的大数据离线批处理性能容量扫描方法及装置 | |
| CN115291872A (zh) | 数据处理方法及电子设备和存储介质 | |
| EP3425510A1 (en) | Automated testing method for application program user interface, electronic device, system, and storage medium | |
| CN112783633A (zh) | 基于资源互斥调度模型的数据更新系统及方法 | |
| CN113239119A (zh) | 数据同步方法、设备及存储介质 | |
| KR20210057845A (ko) | 트레이닝 영상 데이터를 사용하여 딥러닝 프레임 워크 기반 영상 인식 방법 및 시스템 | |
| CN111368523A (zh) | 一种影视剧本排版格式转换方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |