CN111930539A - 基于标签引擎的任务管理方法、装置、设备及存储介质 - Google Patents

基于标签引擎的任务管理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111930539A
CN111930539A CN202010764750.1A CN202010764750A CN111930539A CN 111930539 A CN111930539 A CN 111930539A CN 202010764750 A CN202010764750 A CN 202010764750A CN 111930539 A CN111930539 A CN 111930539A
Authority
CN
China
Prior art keywords
task
computing platform
target computing
tag
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010764750.1A
Other languages
English (en)
Other versions
CN111930539B (zh
Inventor
崔轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010764750.1A priority Critical patent/CN111930539B/zh
Publication of CN111930539A publication Critical patent/CN111930539A/zh
Application granted granted Critical
Publication of CN111930539B publication Critical patent/CN111930539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种基于标签引擎的任务管理方法、装置、设备及存储介质,涉及人工智能的数据处理技术领域,尤其涉及大数据、标签引擎技术和任务管理技术领域。具体实现方案为:通过预先配置的对外服务接口,获取待执行的标签任务;根据所述标签任务,确定待调用的目标计算平台;根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务。能够提高标签引擎任务管理的便捷性和操作效率,为基于标签引擎的任务管理提供了一种新思路。

Description

基于标签引擎的任务管理方法、装置、设备及存储介质
技术领域
本申请涉及人工智能的数据处理技术领域,尤其涉及大数据、标签引擎技术和任务管理技术领域,具体涉及一种基于标签引擎的任务管理方法、装置、设备及存储介质。
背景技术
随着大数据处理技术的发展,标签引擎系统的应用越来越普遍。目前的标签引擎系统,需要依赖不同的第三方计算平台,如计算引擎Spark平台、分布式系统Hadoop平台或弗林克Flink等计算平台进行标签任务的计算处理,因此,如果标签引擎系统需要进行任务管理,如查看任务进度、任务日志时,需要用户手动跳转到不同的第三方计算平台进行查询,管理操作效率低,亟需改进。
发明内容
本公开提供了一种基于标签引擎的任务管理方法、装置、设备及存储介质。
根据本公开的一方面,提供了一种基于标签引擎的任务管理方法,包括:
通过预先配置的对外服务接口,获取待执行的标签任务;
根据所述标签任务,确定待调用的目标计算平台;
根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务。
根据本公开的另一方面,提供了一种基于标签引擎的任务管理装置,包括:
标签任务获取模块,用于通过预先配置的对外服务接口,获取待执行的标签任务;
计算平台确定模块,用于根据所述标签任务,确定待调用的目标计算平台;
标签任务执行模块,用于根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务。
根据本公开的另一方面,提供了一种电子设备,该电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任一实施例所述的基于标签引擎的任务管理方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行本申请任一实施例所述的基于标签引擎的任务管理方法。
根据本申请的技术提高了标签引擎任务管理的便捷性和操作效率,为基于标签引擎的任务管理提供了一种新思路。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1A是根据本申请实施例提供的一种基于标签引擎的任务管理方法的流程图;
图1B是根据本申请实施例提供的基于标签引擎的任务管理方法的原理示意图;
图2是根据本申请实施例提供的另一种基于标签引擎的任务管理方法的流程图;
图3是根据本申请实施例提供的另一种基于标签引擎的任务管理方法的流程图;
图4是根据本申请实施例提供的另一种基于标签引擎的任务管理方法的流程图;
图5是根据本申请实施例提供的一种基于标签引擎的任务管理装置的结构示意图;
图6是用来实现本申请实施例的基于标签引擎的任务管理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
可选的,在介绍本申请实施例之前,先对本申请实施例的标签引擎进行介绍。本申请实施例的标签引擎可以是用于对大数据进行标签任务计算的平台,该标签引擎的底层配置有多种标签任务的计算逻辑,标签引擎可以基于配置的标签任务的计算逻辑,采用不同的计算平台执行对应的标签任务。例如,采用Spark平台执行第一标签任务;采用Hadoop平台执行第二标签任务;采用Flink平台执行第三标签任务等。本申请各实施例就适用于对这样的标签引擎进行任务管理。
图1A是根据本申请实施例提供的一种基于标签引擎的任务管理方法的流程图;图1B是根据本申请实施例提供的基于标签引擎的任务管理方法的原理示意图。本申请实施例适用于基于标签引擎对标签任务进行管理的情况。该实施例可以由标签引擎来执行,具体由配置于标签引擎所属设备内的基于标签引擎的任务管理装置来执行,该装置可以采用软件和/或硬件来实现。如图1A-1B所示,该方法包括:
S101,通过预先配置的对外服务接口,获取待执行的标签任务。
其中,对外服务接口可以是预先在标签引擎上配置的统一的提供对外操作交互服务的接口。用户可以通过该对外服务接口输入想要请求标签引擎执行的标签任务,例如,输入想要执行的标签任务。标签任务可以是本申请实施例对标签引擎进行任务管理时,涉及到的相关任务,至少包括信息查询任务和操作执行任务两种。所谓信息查询任务主要用于查询相关的任务信息,例如,可以包括查询任务运行状态、任务日志和任务分析结果等中的至少一种。所谓操作执行任务主要用于指示标签引擎执行计算操作的相关任务,例如,可以包括提交任务、启动任务、终止任务和异常处理任务等中的至少一种。
可选的,在本申请实施例中,用户可以通过标签引擎提供的对外服务接口,输入其想通过标签引擎执行的标签任务,此时标签引擎就可以通过该对外服务接口,获取用户输入的标签任务。
需要说明的是,在本申请实施例中,用户请求对不同平台的标签任务进行管理时,都是通过该对外服务接口发起的。即用户可按照对外服务接口提供的统一操作规范,对不同计算平台的标签任务进行管理。例如,工作人员可以通过该对外服务接口配置的信息查询任务的统一操作规范,发起Spark平台的任务运行状态查询,以及发起Hadoop平台的任务日志查询;此时,标签引擎可以通过该对外服务接口获取两个不同计算平台对应的标签任务,即获取Spark平台的任务状态查询任务,和Hadoop平台的任务日志查询任务。
S102,根据标签任务,确定待调用的目标计算平台。
其中,目标计算平台可以是标签引擎所支持的多个计算平台中,执行当前标签任务所要依赖的计算平台。
可选的,在本申请实施例中,标签引擎的不同标签任务,可能需要依赖不同的计算平台来执行,所以标签引擎在获取标签任务后,要为该标签任务,确定执行该标签任务,需要依赖的计算平台,即目标计算平台。
可选的,在根据标签任务,确定待调用的目标计算平台时,可以是预先为不同的标签任务配置好其需要依赖的计算平台,此时本步骤可以是将预先为该标签任务配置的计算平台,作为本次需要调用的目标计算平台。例如,假设获取的标签任务是查询目标对象上网次数的标签计算任务的运行状态,且预先配置查询上网次数的标签计算任务是由Spark平台计算的,此时,本步骤可以确定待调用的目标计算平台为Spark平台。还可以是标签任务中包含有待调用的目标计算平台,此时本步骤可以直接对获取的标签任务进行解析,获取其中包含的目标计算平台。例如,假设获取的标签任务为Hadoop平台的日志查询任务,此时本步骤可以通过分析该标签任务,确定调用的目标计算平台为Hadoop平台。
S103,根据目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过目标计算平台执行标签任务。
其中,在本申请实施例中,计算平台的平台信息可以是按照标签引擎的任务流程,调用该计算平台所需的平台相关信息。例如,可以包括但不限于:计算平台的请求地址、权限、账户、密码和服务地址接口等。该调用接口可以是标签引擎想要调用各计算平台时使用的调用接口。本申请实施例可以是预先在标签引擎中配置好各计算平台的平台信息和调用接口。如将平台信息和调用接口配置在标签引擎的存储空间中。
可选的,在本申请实施例中,需要预先为标签引擎中的各计算平台配置平台信息和调用接口,以实现对各计算平台实例化处理。具体的,可以是将标签引擎的各计算平台的平台信息按照标签引擎的任务流程配置到存储空间的元信息中,并为各计算平台配置对应的调用接口,以实现对各计算平台的实例化处理。其中,该存储空间可以是标签引擎原生的对外服务管理存储空间,其包括分布式文件系统(Hadoop Distributed File System,HDFS)、关系型数据库管理系统MySQL和专家系统(ExpertSystem,ES)等中的至少一个。
可选的,本申请实施例中,标签引擎在确定出执行本次标签任务需要依赖的目标计算平台后,可以是根据预先配置的目标计算平台的平台信息和调用接口,访问目标计算平台,具体的,可以是通过目标计算平台的调用接口,输入目标计算平台的请求地址、权限、账户、密码、服务地址接口等平台信息,完成对目标计算平台的相关验证,成功访问目标计算平台,然后通过该目标计算平台执行本次待执行的标签计算任务。例如,在目标计算平台上查询任务日志、查询任务运行状态,或者控制目标计算平台启动执行某一新的计算任务等。
示例性的,如图1B所示,标签引擎中包含任务管理服务,为实现该任务管理服务,需要预先配置相关信息,如配置计算平台的平台信息、配置计算平台的调用接口、配置对外服务接口等。需要说明的是,图1B中只示出了部分的配置信息,还有一些没有示出,如不同计算平台的任务状态逻辑等。用户可以通过对外服务接口,以应用程序接口(ApplicationProgramming Interface,API)请求交互的方式发送标签任务,标签引擎获取到标签任务后,从多个可选的计算平台,即Hadoop平台、Spark平台和Flink平台等中选择待调用的目标计算平台,进而根据任务管理服务预先配置该目标计算平台的平台信息和调用接口,访问目标计算平台,以通过该目标计算平台执行标签任务。
需要说明的是,本申请实施例不依赖于产品,提供了基于标签引擎平台动态扩展及可配置化接入的任务管理策略,与标签引擎平台无缝衔接。本申请实施例基于标签引擎,设计了一套完全符合标签任务自身业务逻辑的统一业务规范,将任务管理服务与标签引擎依赖的各计算平台完全解耦,按照预先配置的统一的业务规范即可完成基于各计算平台的业务管理,完全摆脱了各计算平台定制化开发任务,以提高任务管理的高效性和便捷性。
本申请实施例的技术方案,通过预先配置的对外服务接口获取标签任务,并确定该标签任务需要调用的目标计算平台,进而基于预先配置的该目标计算平台的平台信息和调用接口,来访问目标计算平台执行该标签任务。本申请实施例的方案能够实现通过标签引擎上配置的统一对外服务接口,为用户提供标签引擎的任务管理操作,无需用户按照目标计算平台的业务逻辑手动触发需要跳转的目标计算平台进行任务管理,提高了标签引擎任务管理的便捷性和操作效率,为基于标签引擎的任务管理提供了一种新思路。
可选的,在本申请实施例中,标签引擎的有些标签任务并不需要调用第三方的计算平台来执行,例如,这样的标签任务可以是对标签引擎自身的标签任务服务逻辑进行增加、删除、修改、查询等操作。所以对于标签任务服务逻辑调整的标签任务,本申请实施例的标签引擎还可以是通过预先配置的对外服务接口,调整标签引擎提供的标签任务服务逻辑。具体的,可以是通过预先配置的对外服务接口,获取用户提交的不需要调用计算平台执行的标签任务(即标签任务服务逻辑调整的标签任务)后,可以是调用标签引擎内部的相关进程,来按照标签任务要求,对标签任务服务逻辑进行增加、删除、修改、查询等调整。这样设置的好处是,本申请实施例的标签引擎不但可以通过统一的对外服务窗口,对依赖计算平台的标签任务进行处理,还可以对其他不需要依赖计算平台的标签任务进行处理,在提高标签任务管理的便捷性和高效性的同时,还提高了标签任务管理的全面性。
图2是根据本申请实施例提供的另一种基于标签引擎的任务管理方法的流程图,本实施例在上述实施例的基础上,进行了进一步的优化,给出了当标签任务为信息查询任务时,如何根据目标计算平台预先配置的平台信息和调用接口,通过目标计算平台执行标签任务的一种具体情况介绍。如图2所示,该方法具体包括:
S201,通过预先配置的对外服务接口,获取待执行的标签任务。
S202,根据标签任务,确定待调用的目标计算平台。
S203,若标签任务为信息查询任务,则根据目标计算平台预先配置的平台信息和调用接口,访问目标计算平台,以通过目标计算平台获取待查询信息。
其中,本申请实施例中的信息查询任务可以是用于查询标签计算任务的相关信息,例如,可以包括查询任务运行状态、任务日志和任务分析结果等中的至少一种。本申请实施例的待查询信息可以是信息查询任务需要从目标计算平台查询的相关信息,相应的,所述待查询信息包括:任务运行状态、任务日志和任务分析结果中的至少一种。
可选的,本申请实施例中,标签引擎在根据预先配置的目标计算平台的平台信息和调用接口,访问目标计算平台时,可以是通过目标计算平台的调用接口,输入目标计算平台的请求地址、权限、账户、密码、服务地址接口等信息,完成对目标计算平台的相关验证,成功访问目标计算平台。
需要说明的是,本申请实施例中,标签引擎访问目标计算平台的过程无需用户按照目标计算平台的业务逻辑手动选择待跳转到的目标计算平台,而是标签引擎通过统一的对外服务接口获取标签任务后自动触发的。对于用户来说,其无需了解待跳转的目标计算平台是什么,也无需了解目标计算平台的访问逻辑,只需要通过标签引擎的对外服务接口输入其查询需求即可。
可选的,本申请实施例中,标签引擎成功访问目标计算平台后,可以根据获取的信息查询任务对应的查询需求,从目标计算平台中查询并获取对应的待查询信息。例如,若信息查询任务为查询计算任务1的任务日志,则此标签引擎可以查询计算平台的日志存储空间,从中查找并获取计算任务1的任务日志作为获取到的待查询信息。
可选的,若标签引擎获取的信息查询任务为任务分析结果查询任务,则此时标签引擎可以直接从目标计算平台中获取目标计算平台对任务的分析结果;还可以是从目标计算平台获取目标计算平台对任务的计算结果、执行过程、资源占用等相关信息,进行分析,得到任务分析结果。
S204,通过预先配置的对外服务接口展示待查询信息。
可选的,本申请实施例的标签引擎中预先配置有展示窗口,标签引擎可以通过对外服务接口将获取的待查询信息传输至该展示窗口,进而通过该展示窗口向用户展示获取的待查询信息。例如,通过预先配置的对外服务接口,将获取的计算任务1的任务日志传输至标签引擎的展示窗口进行展示。可选的,考虑到目标计算平台记录的任务日志的格式可能并不适用于标签引擎,所以本步骤标签引擎还可以是对获取的待查询信息进行格式、显示方式等处理后,再传输至展示窗口进行展示。
需要说明的是,在本申请实施例中,标签引擎向用户展示待查询信息时,并不需要通过目标计算平台来展示,而是通过标签引擎的对外服务接口传输至标签引擎的展示窗口进行展示。
本申请实施例的技术方案,通过预先配置的对外服务接口获取信息查询任务,并确定该信息查询任务需要调用的目标计算平台,进而基于预先配置的该目标计算平台的平台信息和调用接口,访问目标计算平台,以通过目标计算平台获取待查询信息,进而通过对外服务接口展示给用户。本申请实施例的方案,能够通过标签引擎上配置的统一对外服务接口,向用户提供需要访问到目标计算平台的信息查询任务的服务管理,并通过该对外服务接口向用户展示查询结果,在整个信息查询过程中,标签引擎都是基于已配置的相关信息自动进行查询的,无需用户按照目标计算平台的业务逻辑,手动触发需要跳转的目标计算平台查看任务信息,提高了信息查询的便捷性和查询效率。
可选的,本申请实施例在根据目标计算平台预先配置的平台信息和调用接口,访问目标计算平台时,可以是启动信息抓取线程池;采用信息抓取线程池,根据目标计算平台预先配置的平台信息和调用接口,访问目标计算平台。具体的,本申请实施例可以是为每个信息查询任务创建并启动一个信息抓取线程池,进而通过该信息抓取线程池执行本次的信息查询任务,即采用该信息抓取线程池根据目标计算平台预先配置的平台信息和调用接口,访问目标计算平台,获取待查询信息。本申请这样设置的好处是:便于监控任务执行进度,且为每个任务独立设置一个线程池,当信息查询任务有多个时,各信息查询任务可以独立同步进行,提高任务执行效率和准确性。可选的,本申请实施例可以是在信息查询任务执行完,或者任务异常需要强行结束任务时,关闭该信息抓取线程池,释放标签引擎的运行空间。
可选的,在本申请实施例中,标签引擎从目标技术平台获取待查询信息之后,还包括:将待查询信息存储在预设存储空间。这样设置的好处是,当标签引擎后续又需要使用该待查询信息时,快速查找到该信息,无需重复访问目标计算平台查询并获取该待查询信息。
图3是根据本申请实施例提供的另一种基于标签引擎的任务管理方法的流程图,本实施例在上述实施例的基础上,进行了进一步的优化,给出了当标签任务为操作执行任务时,如何根据目标计算平台预先配置的平台信息和调用接口,通过目标计算平台执行所述标签任务的一种具体情况介绍。如图3所示,该方法具体包括:
S301,通过预先配置的对外服务接口,获取待执行的标签任务。
S302,根据标签任务,确定待调用的目标计算平台。
S303,若标签任务为操作执行任务,则根据目标计算平台预先配置的平台信息和调用接口,访问目标计算平台,以控制目标计算平台执行标签任务。
其中,本申请实施例中的操作执行任务可以是用于指示标签引擎执行计算操作的相关任务。该操作执行任务可以包括:提交任务、启动任务、终止任务和异常处理任务等中的至少一种。
可选的,本申请实施例中,标签引擎在根据预先配置的目标计算平台的平台信息和调用接口,访问目标计算平台时,可以是通过目标计算平台的调用接口,输入目标计算平台的请求地址、权限、账户、密码、服务地址接口等信息,完成对目标计算平台的相关验证,成功访问目标计算平台。访问目标计算平台后,标签引擎会控制目标计算平台来执行该操作执行任务,例如,控制目标计算平台,提交、启动、终止或异常处理某一计算任务。
需要说明的是,本申请实施例中,标签引擎访问目标计算平台的过程无需用户按照目标计算平台的业务逻辑手动选择待跳转到的目标计算平台,而是标签引擎通过统一的对外服务接口获取标签任务后自动触发的。对于用户来说,其无需了解待跳转的目标计算平台是什么,也无需了解目标计算平台的访问逻辑,只需要通过标签引擎的对外服务接口输入其任务操作需求即可。
本申请实施例的技术方案,通过预先配置的对外服务接口获取操作执行任务,并确定该操作执行任务需要调用的目标计算平台,进而基于预先配置的该目标计算平台的平台信息和调用接口,访问目标计算平台,控制目标计算平台执行该操作执行任务。本申请实施例的方案,能够通过标签引擎上配置的统一对外服务接口,向用户提供需要访问到目标计算平台的操作执行任务的服务管理,且在整个操作执行任务处理过程中,标签引擎都是基于已配置的相关信息访问到目标计算平台进行任务处理的,无需用户按照目标计算平台的业务逻辑,手动触发需要跳转的目标计算平台进行任务处理操作,提高了操作执行任务处理的便捷性和处理效率。
图4是根据本申请实施例提供的另一种基于标签引擎的任务管理方法的流程图,本实施例在上述实施例的基础上,进行了进一步的优化,给出了执行标签任务过程中的具体操作情况介绍。如图4所示,该方法具体包括:
S401,通过预先配置的对外服务接口,获取待执行的标签任务。
S402,根据标签任务,确定待调用的目标计算平台。
S403,根据目标计算平台预先配置的平台信息和调用接口,访问目标计算平台,并通过目标计算平台执行标签任务,并在执行标签任务的过程中,根据通用任务状态逻辑和目标计算平台的目标任务状态逻辑进行标签任务的状态信息转换。
其中,通用任务状态逻辑可以是标签引擎中表征任务状态的逻辑,其可以是通过文字表征不同的任务状态,例如,可以包括:运行中状态、暂停状态、人为关闭导致的终止状态、任务执行完后的结束状态,以及任务异常状态等。目标计算平台的目标任务状态逻辑可以是目标计算平台中表征任务状态的逻辑。不同计算平台对应的任务状态逻辑不同。例如,Spark平台是通过英文字母表征不同的任务状态,例如,用running表征运行中状态;用pause表征暂停状态;用stop表征终止状态;用finish表征结束状态;用bad表征任务异常状态等。Hadoop平台是通过数字表征不同的任务状态,例如,用1表征运行中状态;用2表征暂停状态;用3表征终止状态;用4表征结束状态;用5表征任务异常状态等。可选的,本申请实施例的标签引擎可以预先配置好自身的通用任务状态逻辑,以及其支持的各计算平台的任务状态逻辑。
可选的,在本申请实施例中,由于标签引擎的任务状态逻辑,和目标计算平台的目标任务状态逻辑不同,所以在执行标签任务的过程中,如果涉及到任务状态的确定操作,就需要根据通用任务状态逻辑和目标计算平台的目标任务状态逻辑进行标签任务的状态信息转换。具体的,若本申请标签任务是信息查询任务,且查询的信息中包含任务状态,如查询任务运行状态,或者查询任务日志(其中,任务日志中包含任务运行状态)等,此时标签引擎在根据目标计算平台预先配置的平台信息和调用接口,访问目标计算平台,获取待查询信息后,需要根据标签引擎的通用任务状态逻辑和目标计算平台的目标任务状态逻辑,将目标任务状态逻辑下表征的任务状态信息转换为通用任务状态逻辑下的表征的任务状态信息,得到最终可以展示给用户的待查询信息。
若本申请的标签任务为操作执行任务,由于操作执行任务就是关于不同任务状态的执行任务(如暂停任务对应暂停状态),且该操作执行任务是通过标签引擎的对外服务接口获取的,所以该操作执行任务中包含的任务运行状态应该是标签引擎的通用任务状态逻辑。此时需要先将操作执行任务从通用任务状态逻辑转换为目标计算平台的目标任务状态逻辑,然后方可根据目标计算平台预先配置的平台信息和调用接口,访问目标计算平台,以控制目标计算平台执行转换为目标任务状态逻辑下的操作执行任务。
本申请实施例的技术方案,通过预先配置的对外服务接口获取标签任务,并确定该标签任务需要调用的目标计算平台,进而基于预先配置的该目标计算平台的平台信息和调用接口,来调用目标计算平台执行该标签任务,且在执行该标签任务的过程中,根据通用任务状态逻辑和目标计算平台的目标任务状态逻辑进行标签任务的状态信息转换。本申请实施例的方案在通过标签引擎上配置的统一对外服务接口,为用户提供标签引擎的任务管理操作时,能够实现将不同目标计算平台的目标任务状态逻辑统一到标签引擎的通用任务状态逻辑下进行任务管理,提高了任务管理的高效性和便捷性。
图5是根据本申请实施例提供的一种基于标签引擎的任务管理装置的结构示意图。本申请实施例适用于基于标签引擎对标签任务进行管理的情况。该装置可实现本申请任意实施例所述的基于标签引擎的数据处理方法。该装置可配置于标签引擎所属设备中。该装置500具体包括:
标签任务获取模块501,用于通过预先配置的对外服务接口,获取待执行的标签任务;
计算平台确定模块502,用于根据所述标签任务,确定待调用的目标计算平台;
标签任务执行模块503,用于根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务。
本申请实施例的有益效果,通过预先配置的对外服务接口获取标签任务,并确定该标签任务需要调用的目标计算平台,进而基于预先配置的该目标计算平台的平台信息和调用接口,来访问目标计算平台执行该标签任务。本申请实施例的方案能够实现通过标签引擎上配置的统一对外服务接口,为用户提供标签引擎的任务管理操作,无需用户按照目标计算平台的业务逻辑手动触发需要跳转的目标计算平台进行任务管理,提高了标签引擎任务管理的便捷性和操作效率,为基于标签引擎的任务管理提供了一种新思路。
进一步的,所述标签任务执行模块503包括查询任务执行单元,所述查询任务执行单元具体包括:
计算平台访问子单元,用于若所述标签任务为信息查询任务,则根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台获取待查询信息;
查询信息展示子单元,用于通过所述预先配置的对外服务接口展示所述待查询信息。
进一步是,所述计算平台访问子单元具体用于:
启动信息抓取线程池;
采用所述信息抓取线程池,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台。
进一步的,所述查询任务执行单元还包括:
查询信息存储子单元,用于将所述待查询信息存储在预设存储空间。
进一步的,所述待查询信息包括:任务运行状态、任务日志和任务分析结果中的至少一种。
进一步的,所述标签任务执行模块503还包括操作任务执行单元;
所述操作任务执行单元具体用于:若所述标签任务为操作执行任务,则根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以控制所述目标计算平台执行所述标签任务。
进一步的,所述操作执行任务包括:提交任务、启动任务、终止任务和异常处理任务中的至少一种。
进一步的,所述的装置,还包括:
状态信息转换模块,用于在执行所述标签任务的过程中,根据通用任务状态逻辑和所述目标计算平台的目标任务状态逻辑进行所述标签任务的状态信息转换。
进一步的,所述的装置,还包括:
任务服务调整模块,用于通过所述预先配置的对外服务接口,调整所述标签引擎提供的标签任务服务逻辑。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例的基于标签引擎的任务管理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的基于标签引擎的任务管理方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的基于标签引擎的任务管理方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的基于标签引擎的任务管理方法对应的程序指令/模块(例如,附图5所示的标签任务获取模块501、计算平台确定模块502和标签任务执行模块503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的基于标签引擎的任务管理方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据基于标签引擎的任务管理方法的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至基于标签引擎的任务管理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
基于标签引擎的任务管理方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与基于标签引擎的任务管理方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
根据本申请实施例的技术方案,通过预先配置的对外服务接口获取标签任务,并确定该标签任务需要调用的目标计算平台,进而基于预先配置的该目标计算平台的平台信息和调用接口,来访问目标计算平台执行该标签任务。本申请实施例的方案能够实现通过标签引擎上配置的统一对外服务接口,为用户提供标签引擎的任务管理操作,无需用户按照目标计算平台的业务逻辑手动触发需要跳转的目标计算平台进行任务管理,提高了标签引擎任务管理的便捷性和操作效率,为基于标签引擎的任务管理提供了一种新思路。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (20)

1.一种基于标签引擎的任务管理方法,包括:
通过预先配置的对外服务接口,获取待执行的标签任务;
根据所述标签任务,确定待调用的目标计算平台;
根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务。
2.根据权利要求1所述的方法,其中,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务,包括:
若所述标签任务为信息查询任务,则根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台获取待查询信息;
通过所述预先配置的对外服务接口展示所述待查询信息。
3.根据权利要求2所述的方法,其中,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,包括:
启动信息抓取线程池;
采用所述信息抓取线程池,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台。
4.根据权利要求2所述的方法,还包括:
将所述待查询信息存储在预设存储空间。
5.根据权利要求2-4中任一项所述的方法,其中,所述待查询信息包括:任务运行状态、任务日志和任务分析结果中的至少一种。
6.根据权利要求1所述的方法,其中,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务,包括:
若所述标签任务为操作执行任务,则根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以控制所述目标计算平台执行所述标签任务。
7.根据权利要求6所述的方法,其中,所述操作执行任务包括:提交任务、启动任务、终止任务和异常处理任务中的至少一种。
8.根据权利要求1所述的方法,还包括:
在执行所述标签任务的过程中,根据通用任务状态逻辑和所述目标计算平台的目标任务状态逻辑进行所述标签任务的状态信息转换。
9.根据权利要求1所述的方法,还包括:
通过所述预先配置的对外服务接口,调整所述标签引擎提供的标签任务服务逻辑。
10.一种基于标签引擎的任务管理装置,包括:
标签任务获取模块,用于通过预先配置的对外服务接口,获取待执行的标签任务;
计算平台确定模块,用于根据所述标签任务,确定待调用的目标计算平台;
标签任务执行模块,用于根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务。
11.根据权利要求10所述的装置,其中,标签任务执行模块包括查询任务执行单元,所述查询任务执行单元具体包括:
计算平台访问子单元,用于若所述标签任务为信息查询任务,则根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台获取待查询信息;
查询信息展示子单元,用于通过所述预先配置的对外服务接口展示所述待查询信息。
12.根据权利要求11所述的装置,其中,所述计算平台访问子单元具体用于:
启动信息抓取线程池;
采用所述信息抓取线程池,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台。
13.根据权利要求11所述的装置,所述查询任务执行单元还包括:
查询信息存储子单元,用于将所述待查询信息存储在预设存储空间。
14.根据权利要求11-13中任一项所述的装置,其中,所述待查询信息包括:任务运行状态、任务日志和任务分析结果中的至少一种。
15.根据权利要求10所述的装置,其中,所述标签任务执行模块还包括操作任务执行单元;
所述操作任务执行单元具体用于:若所述标签任务为操作执行任务,则根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以控制所述目标计算平台执行所述标签任务。
16.根据权利要求15所述的装置,其中,所述操作执行任务包括:提交任务、启动任务、终止任务和异常处理任务中的至少一种。
17.根据权利要求10所述的装置,还包括:
状态信息转换模块,用于在执行所述标签任务的过程中,根据通用任务状态逻辑和所述目标计算平台的目标任务状态逻辑进行所述标签任务的状态信息转换。
18.根据权利要求10所述的装置,还包括:
任务服务调整模块,用于通过所述预先配置的对外服务接口,调整所述标签引擎提供的标签任务服务逻辑。
19.一种电子设备,其中,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的基于标签引擎的任务管理方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的基于标签引擎的任务管理方法。
CN202010764750.1A 2020-07-31 2020-07-31 基于标签引擎的任务管理方法、装置、设备及存储介质 Active CN111930539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010764750.1A CN111930539B (zh) 2020-07-31 2020-07-31 基于标签引擎的任务管理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010764750.1A CN111930539B (zh) 2020-07-31 2020-07-31 基于标签引擎的任务管理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111930539A true CN111930539A (zh) 2020-11-13
CN111930539B CN111930539B (zh) 2024-08-27

Family

ID=73314393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010764750.1A Active CN111930539B (zh) 2020-07-31 2020-07-31 基于标签引擎的任务管理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111930539B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905270A (zh) * 2021-02-19 2021-06-04 北京百度网讯科技有限公司 工作流实现方法、装置、平台、电子设备以及存储介质
CN112988350A (zh) * 2021-03-01 2021-06-18 网易(杭州)网络有限公司 数据任务的处理方法、装置及电子设备
CN113268336A (zh) * 2021-06-25 2021-08-17 中国平安人寿保险股份有限公司 一种服务的获取方法、装置、设备以及可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9026949B1 (en) * 2008-07-22 2015-05-05 Avaya Inc. Configuration-management user interface employing searchable tags
CN105787058A (zh) * 2016-02-26 2016-07-20 广州品唯软件有限公司 一种用户标签系统及基于用户标签系统的数据推送系统
US20170243234A1 (en) * 2016-02-18 2017-08-24 Adobe Systems Incorporated Methods and systems for tag expansion by handling website object variations and automatic tag suggestions in dynamic tag management
US20180285203A1 (en) * 2017-03-29 2018-10-04 International Business Machines Corporation Exploiting object tags to produce a work order across backup engines for a backup job
CN109144501A (zh) * 2018-08-30 2019-01-04 杭州数澜科技有限公司 一种通过标签生成api的方法和系统
CN109697118A (zh) * 2017-10-20 2019-04-30 北京京东尚科信息技术有限公司 流式计算任务管理方法、装置、电子设备及存储介质
CN110517079A (zh) * 2019-08-23 2019-11-29 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9026949B1 (en) * 2008-07-22 2015-05-05 Avaya Inc. Configuration-management user interface employing searchable tags
US20170243234A1 (en) * 2016-02-18 2017-08-24 Adobe Systems Incorporated Methods and systems for tag expansion by handling website object variations and automatic tag suggestions in dynamic tag management
CN105787058A (zh) * 2016-02-26 2016-07-20 广州品唯软件有限公司 一种用户标签系统及基于用户标签系统的数据推送系统
US20180285203A1 (en) * 2017-03-29 2018-10-04 International Business Machines Corporation Exploiting object tags to produce a work order across backup engines for a backup job
CN109697118A (zh) * 2017-10-20 2019-04-30 北京京东尚科信息技术有限公司 流式计算任务管理方法、装置、电子设备及存储介质
CN109144501A (zh) * 2018-08-30 2019-01-04 杭州数澜科技有限公司 一种通过标签生成api的方法和系统
CN110517079A (zh) * 2019-08-23 2019-11-29 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905270A (zh) * 2021-02-19 2021-06-04 北京百度网讯科技有限公司 工作流实现方法、装置、平台、电子设备以及存储介质
CN112905270B (zh) * 2021-02-19 2024-05-07 北京百度网讯科技有限公司 工作流实现方法、装置、平台、电子设备以及存储介质
CN112988350A (zh) * 2021-03-01 2021-06-18 网易(杭州)网络有限公司 数据任务的处理方法、装置及电子设备
CN113268336A (zh) * 2021-06-25 2021-08-17 中国平安人寿保险股份有限公司 一种服务的获取方法、装置、设备以及可读介质
CN113268336B (zh) * 2021-06-25 2023-09-19 中国平安人寿保险股份有限公司 一种服务的获取方法、装置、设备以及可读介质

Also Published As

Publication number Publication date
CN111930539B (zh) 2024-08-27

Similar Documents

Publication Publication Date Title
JP6931684B2 (ja) クラウドベースのターゲットデバッグ
US11928164B2 (en) System to manage document workflows
JP7194162B2 (ja) データ処理方法、装置、電子機器及び記憶媒体
CN111930539B (zh) 基于标签引擎的任务管理方法、装置、设备及存储介质
CN110704162B (zh) 物理机共享容器镜像的方法、装置、设备及存储介质
CN111694857B (zh) 存储资源数据的方法、装置、电子设备及计算机可读介质
EP3177995A1 (en) Placement policy-based allocation of computing resources
WO2022103575A1 (en) Techniques for modifying cluster computing environments
CN113656423B (zh) 更新数据的方法及装置、电子设备和存储介质
CN111290768A (zh) 一种容器化应用系统的更新方法、装置、设备和介质
US12058013B2 (en) Techniques for allocating capacity in cloud-computing environments
CN111740859B (zh) 一种测试环境的部署方法、装置、电子设备及存储介质
EP3828739A2 (en) Parallelization of authentication strategies
CN112486644A (zh) 用于生成信息的方法、装置、设备以及存储介质
CN112532483A (zh) 测试方法、装置、电子设备及存储介质
CN112005217B (zh) 服务于请求的独立线程api调用
CN111506399B (zh) 任务迁移方法、装置、电子设备及存储介质
CN113778973A (zh) 数据存储方法和装置
CN111857887B (zh) 数据采集方法、装置、电子设备和可读存储介质
CN111831391B (zh) 自动驾驶仿真系统之中预置容器的管理方法和装置
CN111833024B (zh) 用于输出信息的方法、装置、设备以及存储介质
CN111597196B (zh) 一种数据处理方法、装置和电子设备
CN114329159A (zh) 搜索方法、装置、电子设备及介质
CN112286552A (zh) 一种任务创建方法、装置、电子设备以及存储介质
CN111597281A (zh) 车辆定位系统、方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant