CN109033291A - 一种作业调度方法、装置、计算机设备及存储介质 - Google Patents
一种作业调度方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109033291A CN109033291A CN201810771299.9A CN201810771299A CN109033291A CN 109033291 A CN109033291 A CN 109033291A CN 201810771299 A CN201810771299 A CN 201810771299A CN 109033291 A CN109033291 A CN 109033291A
- Authority
- CN
- China
- Prior art keywords
- job
- file
- server
- application program
- loading tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例公开了一种作业调度方法、装置、计算机设备及存储介质。所述方法包括：初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；从所述应用程序中获取作业文件；将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；以及从所述服务器中获取所述作业文件的作业执行结果。通过实施本发明实施例的方法可通过应用程序控制作业触发时机并实时获取作业的执行结果，提高处理效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种作业调度方法、装置、计算机设备及存储介质。
背景技术
随着信息与科技的发展，人们的日常生活中，每天都与大量的数据密切接触。在信息时代里，每天都要生产巨量的数据，每天都要处理巨量的数据。数据处理工具在如今的地位愈发重要，数据是一切科技发展的基础，只有合理妥善地处理好数据才能更好地投入研发。面对处理巨量的数据时，数据的抽取与转换尤为重要，现有的数据处理工具中，通常采用数据抽取转换加载(Extract-Transform-Load，ETL)工具，通过它的作业(Job)与转换(Transformation)实现数据的抽取转换操作。然而，在现有的数据处理方式中，应用程序与ETL工具之间无法直接交互，Job的执行需要手动触发或者通过任务调度触发，每执行完一个作业或转换，想要立即执行查看执行结果必须要通过日志来查看，整个过程效率低下，耗费大量的时间。
发明内容
本发明实施例提供了一种作业调度方法、装置、计算机设备及存储介质，旨在解决现有的数据处理方式效率低下的问题。
第一方面，本发明实施例提供了一种作业调度方法，其包括：初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；从所述应用程序中获取作业文件；将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；以及从所述服务器中获取所述作业文件的作业执行结果。
第二方面，本发明实施例还提供了一种作业调度装置，其包括：初始化单元，用于初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；获取单元，用于从所述应用程序中获取作业文件；发送单元，用于将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；结果单元，用于从所述服务器中获取所述作业文件的作业执行结果。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
本发明实施例提供了一种作业调度方法、装置、计算机设备及存储介质。其中，所述方法包括：初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；从所述应用程序中获取作业文件；将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；以及从所述服务器中获取所述作业文件的作业执行结果。本发明实施例由于将作业文件发送至服务器且由服务器执行作业并返回作业执行结果，可实现通过应用程序控制作业触发时机并实时获取作业的执行结果，提高处理效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的作业调度方法的应用场景示意图；
图2为本发明实施例提供的作业调度方法的流程示意图；
图3为本发明实施例提供的作业调度方法的子流程示意图；
图4为本发明实施例提供的作业调度方法的子流程示意图；
图5为本发明另一实施例提供的作业调度方法的流程示意图；
图6为本发明实施例提供的作业调度装置的示意性框图；
图7为本发明实施例提供的作业调度装置的初始化单元的示意性框图；
图8为本发明实施例提供的作业调度装置的结果单元的示意性框图；
图9为本发明另一实施例提供的作业调度装置的示意性框图；以及
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的作业调度方法的应用场景示意图。图2为本发明实施例提供的作业调度方法的示意性流程图。该作业调度方法在服务器10与终端20交互之间实现，通过应用程序进行调度，应用程序运行在终端中，以使得服务器10可以执行由应用程序调度过来的作业。
需要说明的是，图2中仅仅示意出一个终端20，在实际操作过程中，服务器10可以执行由多个终端20中应用程序调度过来的作业。
图2是本发明实施例提供的作业调度方法的流程示意图。如图所示，该方法包括以下步骤S110-140。
S110、初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中。
在一实施例中，数据抽取转换加载工具为Kettle，Kettle是一款开源的数据抽取转换加载工具，Kettle中包括有两种脚本文件，转换(Transformation)和作业(Job)，转换完成针对数据的基础转换，作业则完成整个工作流的控制。在进行作业调度之前，首先要对数据抽取转换加载工具进行初始化，以保证后续作业调度的可靠性。Kettle中包含有一套接口(Application Programming Interface)，该接口用于提供Kettle必需的运行环境以及应用程序与Carte交互的基础功能。该接口的具体形式是Java归档文件，即Jar包，应用程序通过依赖相关Jar包获得该接口的支持，也即通过调用接口来实现应用程序与服务器之间的交互完成作业调度。
在一实施例中，如图3所示，所述步骤S110可包括步骤S111-S113。
S111、设置数据抽取转换加载工具中监听服务的配置文件。
在一实施例中，监听服务是Kettle的Carte，Carte是一个轻量级的服务进程，运行在服务器中，可以支持远程监控并为转换提供集群的能力，用于接收远程终端命令，这些命令用于作业和转换的部署、管理和监控。其中，监听服务的配置文件用于建立监听服务与应用程序的连接，在开启监听服务之前，首先要设置好配置文件，配置文件包括端口、用户名、密码以及IP地址等，例如，设置端口为8081，用户名为cluster，密码为123456。
S112、开启所述监听服务。
在一实施例中，设置好配置文件后，就可以开启监听服务了。开启监听服务可以监听来自应用程序的作业和转换并执行。具体地，在Linux环境中，通过运行Carte.sh来开启监听服务；在Windows环境中，通过运行Carte.bat来开启监听服务。
S113、根据所述配置文件建立所述数据抽取转换加载工具与应用程序之间的连接以使所述监听服务监听来自所述应用程序的作业文件。
在一实施例中，监听服务开启后监听指定的端口，应用程序在访问监听服务时，输入配置文件中的用户名以及密码即可实现应用程序与监听服务的连接，例如，输入用户名为cluster，密码为123456。监听服务接收到应用程序的访问请求后，判断应用程序输入的用户名和密码是否与配置文件中的用户名和密码相同，若相同，则建立与应用程序之间的连接。现有的数据抽取转换加载工具在使用时，需要每一个终端中的应用程序对应每一台服务器，分别在多台服务器中执行作业，占用较多资源且不便于维护。而本发明只需要部署一台服务器，其他终端中的应用程序通过配置文件与服务器建立连接，不同终端中的应用程序上的作业文件均可在同一台服务器中执行，节省了资源，降低了维护成本。
S120、从所述应用程序中获取作业文件。
在一实施例中，建立好应用程序与监控服务的连接后，在应用程序的文件系统中获取一个作业文件，将作业文件包装成监听服务能够识别的数据形式，具体地，通过Java调用接口生成XML格式的文件，从而使得监听服务能够识别。
S130、将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件。
在一实施例中，首先应用程序将包装好的作业文件发送至服务器，然后服务器中运行的监听服务监听到来自应用程序的作业文件，最终数据抽取转换加载工具在服务器中执行所监听到的作业文件。操作人员可通过应用程序随时控制作业文件的触发时机，可选择在任何时候发送作业文件至服务器以实现控制作业文件的触发。
S140、从所述服务器中获取所述作业文件的作业执行结果。
在一实施例中，服务器在执行完作业文件后返回该作业文件的唯一标识给应用程序，应用程序根据唯一标识来查询作业执行结果。由于不同的作业，其复杂程度不同从而导致其所需要的执行的时间不同。因此，在本实施例中，采用轮询的方式来查询作业文件的作业执行结果。
在一实施例中，如图4所示，所述步骤S140可包括步骤S141-S142。
S141、从所述服务器中获取所述作业文件的唯一标识。
在一实施例中，在服务器执行完作业文件后返回一串代表该作业文件的唯一标识，该唯一标识是作业在监听服务中执行的ID，应用程序接收到该唯一标识后根据该唯一标识来查询作业执行结果。
S142、根据所述唯一标识，通过轮询来获取所述作业文件的作业执行结果。
在一实施例中，根据唯一标识，通过轮询的方法来查看该唯一标识对应的作业文件的作业执行结果。轮询的时间间隔可以根据预判的作业需要执行的时间设置，例如，预估A作业的执行时间需要10s，设置轮询的时间间隔设置为11秒，每隔11s查询A作业的执行结果，第10秒时A作业执行完毕，第11秒查询A作业的执行结果，刚好能够获取到A作业的执行结果。采用轮询的方法来获取作业结果，可以避免因为作业还没有执行完成导致无法查询到执行结果的问题。
在一实施例中，如图5所示，本发明实施例还包括以下步骤：S150-S160
S150、判断所述作业执行结果是否正常。
在一实施例中，在获取到作业执行结果后检查作业结果是否正常，具体地，查看执行结果是否执行异常，例如，执行不成功，执行发生错误等。若作业执行结果为正常，则继续执行后续的应用程序逻辑。
S160、若所述作业执行结果不正常，则进行告警处理。
在一实施例中，若作业执行结果不正常，进行告警处理。具体地，除了告警之外，还将执行异常的原因记录到日志中，以方便查看异常原因。
本发明实施例展示的一种作业调度方法，通过初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；从所述应用程序中获取作业文件；将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；以及从所述服务器中获取所述作业文件的作业执行结果，可以通过应用程序控制作业触发时机并实时获取作业的执行结果，提高处理效率。
图6是本发明实施例提供的一种作业调度装置200的示意性框图。如图6所示，对应于以上作业调度方法，本发明还提供一种作业调度装置200。该作业调度装置200包括用于执行上述作业调度方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地，请参阅图6，该作业调度装置200包括初始化单元210、获取单元220、发送单元230以及结果单元240。
初始化单元210，用于初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中。
在一实施例中，数据抽取转换加载工具为Kettle，Kettle是一款开源的数据抽取转换加载工具，Kettle中包括有两种脚本文件，转换(Transformation)和作业(Job)，转换完成针对数据的基础转换，作业则完成整个工作流的控制。在进行作业调度之前，首先要对数据抽取转换加载工具进行初始化，以保证后续作业调度的可靠性。Kettle中包含有一套接口(Application Programming Interface)，该接口用于提供Kettle必需的运行环境以及应用程序与Carte交互的基础功能。该接口的具体形式是Java归档文件，即Jar包，应用程序通过依赖相关Jar包获得该接口的支持，也即通过调用接口来实现应用程序与服务器之间的交互完成作业调度。
在一实施例中，如图7所示，所述初始化单元210可包括步子单元：设置单元211、开启单元212以及连接单元213。
设置单元211，用于设置数据抽取转换加载工具中监听服务的配置文件。
在一实施例中，监听服务是Kettle的Carte，Carte是一个轻量级的服务进程，运行在服务器中，可以支持远程监控并为转换提供集群的能力，用于接收远程终端命令，这些命令用于作业和转换的部署、管理和监控。其中，监听服务的配置文件用于建立监听服务与应用程序的连接，在开启监听服务之前，首先要设置好配置文件，配置文件包括端口、用户名、密码以及IP地址等，例如，设置端口为8081，用户名为cluster，密码为123456。
开启单元212，用于开启所述监听服务。
在一实施例中，设置好配置文件后，就可以开启监听服务了。开启监听服务可以监听来自应用程序的作业和转换并执行。具体地，在linux环境中，通过运行Carte.sh来开启监听服务；在Windows环境中，通过运行Carte.bat来开启监听服务。
连接单元213，用于根据所述配置文件建立所述数据抽取转换加载工具与应用程序之间的连接以使所述监听服务监听来自所述应用程序的作业文件。
在一实施例中，监听服务开启后监听指定的端口，应用程序在访问监听服务时，输入配置文件中的用户名以及密码即可实现应用程序与监听服务的连接，例如，输入用户名为cluster，密码为123456。监听服务接收到应用程序的访问请求后，判断应用程序输入的用户名和密码是否与配置文件中的用户名和密码相同，若相同，则建立与应用程序之间的连接。现有的数据抽取转换加载工具在使用时，需要每一个终端中的应用程序对应每一台服务器，分别在多台服务器中执行作业，占用较多资源且不便于维护。而本发明只需要部署一台服务器，其他终端中的应用程序通过配置文件与服务器建立连接，不同终端中的应用程序上的作业文件均可在同一台服务器中执行，节省了资源，降低了维护成本。
获取单元220，用于从所述应用程序中获取作业文件。
在一实施例中，建立好应用程序与监控服务的连接后，在应用程序的文件系统中获取一个作业，将作业文件包装成监听服务能够识别的数据形式，具体地，通过Java调用接口生成XML格式的文件，从而使得监听服务能够识别。
发送单元230，用于将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件。
在一实施例中，首先应用程序将包装好的作业文件发送至服务器，然后通过服务器中运行的监听服务监听到来自应用程序的作业文件，最终数据抽取转换加载工具在服务器中执行所监听到的作业文件。操作人员可通过应用程序随时控制作业文件的触发时机，可选择在任何时候发送作业文件至服务器以实现控制作业文件的触发。
结果单元240，用于从所述服务器中获取所述作业文件的作业执行结果。
在一实施例中，服务器在执行完作业文件后返回该作业文件的唯一标识给应用程序，应用程序根据唯一标识来查询作业执行结果。由于不同的作业，其复杂程度不同从而导致其所需要的执行的时间不同。因此，在本实施例中，采用轮询的方式来查询作业文件的作业执行结果。
在一实施例中，如图8所示，所述结果单元240包括以下子单元：标识单元241和轮询单元242。
标识单元241，用于从所述服务器中获取所述作业文件的唯一标识。
在一实施例中，在服务器执行完作业文件后返回一串代表该作业文件的唯一标识，该唯一标识是作业在监听服务中执行的ID，应用程序接收到该唯一标识后根据该唯一标识对应的作业来查询作业执行结果。
轮询单元242，用于根据所述唯一标识，通过轮询来获取所述作业文件的作业执行结果。
在一实施例中，根据唯一标识，通过轮询的方法来查看该唯一标识对应的作业文件的作业执行结果。轮询的时间间隔可以根据预判的作业需要执行的时间设置，例如，预估A作业的执行时间需要10s，设置轮询的时间间隔设置为11秒，每隔11s查询A作业的执行结果，第10秒时A作业执行完毕，第11秒查询A作业的执行结果，刚好能够获取到A作业的执行结果。采用轮询的方法来获取作业结果，可以避免因为作业还没有执行完成导致无法查询到执行结果的问题。
在一实施例中，如图9所示，本发明实施例还包括以下单元：判断单元250和告警单元260。
判断单元250，用于判断所述作业执行结果是否正常。
在一实施例中，在获取到作业执行结果后检查作业结果是否正常，具体地，查看执行结果是否执行异常，例如，执行不成功，执行发生错误等。若作业执行结果为正常，则继续执行后续的应用程序逻辑。
告警单元260，用于若所述作业执行结果不正常，则进行告警处理。
在一实施例中，若作业执行结果不正常，进行告警处理。具体地，除了告警之外，还将执行异常的原因记录到日志中，以方便查看异常原因。
本发明实施例展示的一种作业调度装置，通过初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；从所述应用程序中获取作业文件；将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；以及从所述服务器中获取所述作业文件的作业执行结果，可以通过应用程序控制作业触发时机并实时获取作业的执行结果，提高处理效率。
上述作业调度装置可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种作业调度方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种作业调度方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；从所述应用程序中获取作业文件；将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；以及从所述服务器中获取所述作业文件的作业执行结果。
在一实施例中，处理器502在实现所述初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中步骤时，具体实现如下步骤：设置数据抽取转换加载工具中监听服务的配置文件；开启所述监听服务；根据所述配置文件建立所述数据抽取转换加载工具与应用程序之间的连接以使所述监听服务监听来自所述应用程序的作业文件。
在一实施例中，处理器502在实现所述从所述服务器中获取所述作业文件的作业执行结果步骤时，还实现如下步骤：从所述服务器中获取所述作业文件的唯一标识；根据所述唯一标识，通过轮询来获取所述作业文件的作业执行结果。
在一实施例中，处理器502在实现所述从所述服务器中获取所述作业文件的作业执行结果步骤之后，还实现如下步骤：判断所述作业执行结果是否正常；若所述作业执行结果不正常，则进行告警处理。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；从所述应用程序中获取作业文件；将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；以及从所述服务器中获取所述作业文件的作业执行结果。
在一实施例中，所述处理器在执行所述程序指令而实现所述初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中步骤时，具体实现如下步骤：设置数据抽取转换加载工具中监听服务的配置文件；开启所述监听服务；根据所述配置文件建立所述数据抽取转换加载工具与应用程序之间的连接以使所述监听服务监听来自所述应用程序的作业文件。
在一实施例中，所述处理器在执行所述程序指令而实现所述从所述服务器中获取所述作业文件的作业执行结果步骤时，还实现如下步骤：从所述服务器中获取所述作业文件的唯一标识；根据所述唯一标识，通过轮询来获取所述作业文件的作业执行结果。
在一实施例中，所述处理器在执行所述程序指令而实现所述从所述服务器中获取所述作业文件的作业执行结果步骤之后，还实现如下步骤：判断所述作业执行结果是否正常；若所述作业执行结果不正常，则进行告警处理。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种作业调度方法，其特征在于，包括：
初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；
从所述应用程序中获取作业文件；
将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；以及
从所述服务器中获取所述作业文件的作业执行结果。
2.根据权利要求1所述的作业调度方法，其特征在于，所述初始化数据抽取转换加载工具以建立与应用程序之间的连接，包括：
设置数据抽取转换加载工具中监听服务的配置文件；
开启所述监听服务；
根据所述配置文件建立所述数据抽取转换加载工具与应用程序之间的连接以使所述监听服务监听来自所述应用程序的作业文件。
3.根据权利要求2所述的作业调度方法，其特征在于，所述配置文件包括：端口、用户名以及密码。
4.根据权利要求1所述的作业调度方法，其特征在于，所述从所述服务器中获取所述作业文件的作业执行结果，包括：
从所述服务器中获取所述作业文件的唯一标识；
根据所述唯一标识，通过轮询来获取所述作业文件的作业执行结果。
5.根据权利要求1所述的作业调度方法，其特征在于，还包括：
判断所述作业执行结果是否正常；
若所述作业执行结果不正常，则进行告警处理。
6.一种作业调度装置，其特征在于，包括：
初始化单元，用于初始化数据抽取转换加载工具以建立与应用程序之间的连接，其中所述数据抽取转换加载工具运行在服务器中；
获取单元，用于从所述应用程序中获取作业文件；
发送单元，用于将所述作业文件发送至所述服务器以使所述数据抽取转换加载工具执行所述作业文件；
结果单元，用于从所述服务器中获取所述作业文件的作业执行结果。
7.根据权利要求6所述的作业调度装置，其特征在于，包括：
设置单元，用于设置数据抽取转换加载工具中监听服务的配置文件；
开启单元，用于开启所述监听服务；
连接单元，用于根据所述配置文件建立所述数据抽取转换加载工具与应用程序之间的连接以使所述监听服务监听来自所述应用程序的作业文件。
8.根据权利要求6所述的作业调度装置，其特征在于，包括：
标识单元，用于从所述服务器中获取所述作业文件的唯一标识；
轮询单元，用于根据所述唯一标识，通过轮询来获取所述作业文件的作业执行结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810771299.9A CN109033291A (zh) | 2018-07-13 | 2018-07-13 | 一种作业调度方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810771299.9A CN109033291A (zh) | 2018-07-13 | 2018-07-13 | 一种作业调度方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109033291A true CN109033291A (zh) | 2018-12-18 |
Family
ID=64642675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810771299.9A Pending CN109033291A (zh) | 2018-07-13 | 2018-07-13 | 一种作业调度方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109033291A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930814A (zh) * | 2020-05-29 | 2020-11-13 | 武汉达梦数据库有限公司 | 一种基于etl系统的文件事件的调度方法和etl系统 |
| CN115858310A (zh) * | 2023-03-01 | 2023-03-28 | 美云智数科技有限公司 | 异常任务识别方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090177671A1 (en) * | 2008-01-03 | 2009-07-09 | Accenture Global Services Gmbh | System and method for automating etl application |
| CN106156939A (zh) * | 2015-04-27 | 2016-11-23 | 上海宝信软件股份有限公司 | 基于作业流的分布式调度系统及应用方法 |
| CN106202346A (zh) * | 2016-06-29 | 2016-12-07 | 浙江理工大学 | 一种数据加载清洗引擎、调度与存储系统 |
| CN107463664A (zh) * | 2017-08-01 | 2017-12-12 | 山东浪潮云服务信息科技有限公司 | 一种基于政务数据采集的etl处理方法及装置 |
-
2018
- 2018-07-13 CN CN201810771299.9A patent/CN109033291A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090177671A1 (en) * | 2008-01-03 | 2009-07-09 | Accenture Global Services Gmbh | System and method for automating etl application |
| CN106156939A (zh) * | 2015-04-27 | 2016-11-23 | 上海宝信软件股份有限公司 | 基于作业流的分布式调度系统及应用方法 |
| CN106202346A (zh) * | 2016-06-29 | 2016-12-07 | 浙江理工大学 | 一种数据加载清洗引擎、调度与存储系统 |
| CN107463664A (zh) * | 2017-08-01 | 2017-12-12 | 山东浪潮云服务信息科技有限公司 | 一种基于政务数据采集的etl处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 张欣宇: "基于Kettle的数据传输平台的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930814A (zh) * | 2020-05-29 | 2020-11-13 | 武汉达梦数据库有限公司 | 一种基于etl系统的文件事件的调度方法和etl系统 |
| CN111930814B (zh) * | 2020-05-29 | 2024-02-27 | 武汉达梦数据库股份有限公司 | 一种基于etl系统的文件事件的调度方法和etl系统 |
| CN115858310A (zh) * | 2023-03-01 | 2023-03-28 | 美云智数科技有限公司 | 异常任务识别方法、装置、计算机设备和存储介质 |
| CN115858310B (zh) * | 2023-03-01 | 2023-07-21 | 美云智数科技有限公司 | 异常任务识别方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107294808B (zh) | 接口测试的方法、装置和系统 | |
| CN107592238B (zh) | 接口的自动测试方法及系统、服务终端、存储器 | |
| CN108572919A (zh) | 自动化测试方法、装置、计算机设备及存储介质 | |
| TWI255109B (en) | Autonomic server farm, method of server failure diagnosis, and self-healing in a server farm | |
| US20170006116A1 (en) | Orchestration and management of services to deployed devices | |
| CN108762966A (zh) | 系统异常拦截方法、装置、计算机设备及存储介质 | |
| CN104598241A (zh) | 一种窗口监控方法及系统 | |
| CN109033291A (zh) | 一种作业调度方法、装置、计算机设备及存储介质 | |
| US11429467B2 (en) | Method and system for prediction of correct discrete sensor data based on temporal uncertainty | |
| CN111143185A (zh) | 一种基于日志的故障分析方法及装置 | |
| CN113672441A (zh) | 对智能设备的测试方法及装置 | |
| CN114500343B (zh) | 业务链条运行监控方法及其装置、设备、介质、产品 | |
| CN109612517A (zh) | 产品生产异常的分析方法、数据服务器、监控设备及介质 | |
| CN114745295A (zh) | 数据采集方法、装置、设备和可读存储介质 | |
| CN103577273A (zh) | 共同操作的多映像系统中的第二故障数据捕获 | |
| CN108776604A (zh) | 目标任务的执行方法及系统 | |
| CN108038126A (zh) | 一种数据导出的方法、装置、终端设备及存储介质 | |
| US20190384691A1 (en) | Methods for providing an enterprise synthetic monitoring framework | |
| CN107526584A (zh) | 数据接入方法和装置 | |
| CN109445922A (zh) | 任务处理方法及装置、电子设备及存储介质 | |
| CN104836831A (zh) | 一种用于物联网的物体服务方法 | |
| CN107888690A (zh) | 响应时间的统计方法及系统 | |
| CN116136801B (zh) | 云平台的数据处理方法、装置、电子设备及存储介质 | |
| CN110750425A (zh) | 数据库监控方法、装置、系统和存储介质 | |
| CN108154343B (zh) | 一种企业级信息系统的应急处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181218 |