CN114564253B - 任务创建方法、系统、电子设备及可读存储介质 - Google Patents

任务创建方法、系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114564253B
CN114564253B CN202210205111.0A CN202210205111A CN114564253B CN 114564253 B CN114564253 B CN 114564253B CN 202210205111 A CN202210205111 A CN 202210205111A CN 114564253 B CN114564253 B CN 114564253B
Authority
CN
China
Prior art keywords
task
data
acquisition
data acquisition
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210205111.0A
Other languages
English (en)
Other versions
CN114564253A (zh
Inventor
肖俊俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202210205111.0A priority Critical patent/CN114564253B/zh
Publication of CN114564253A publication Critical patent/CN114564253A/zh
Application granted granted Critical
Publication of CN114564253B publication Critical patent/CN114564253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44505Configuring for program initiating, e.g. using registry, configuration files
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及任务管理技术领域,公开了一种任务创建方法、系统、电子设备及可读存储介质,该方法通过获取至少一个数据获取任务的数据获取规则,并获取包括新增获取规则和新增解析模型的新增任务信息,若存在一数据获取任务的数据获取规则与新增获取规则相同,将数据获取任务确定为目标获取任务,并基于目标获取任务创建新增解析模型对应的新增解析任务,将具有相同数据获取规则任务进行复用,减少运行解析任务时的数据获取任务,进而减少解析任务的资源浪费,避免出现网络拥堵、解析速度慢、任务创建失败等问题。

Description

任务创建方法、系统、电子设备及可读存储介质
技术领域
本发明涉及任务管理技术领域,尤其涉及一种任务创建方法、系统、电子设备及可读存储介质。
背景技术
多算法解析平台在对图像数据进行数据解析的时候,通常方法是采用对每个解析任务单独进行隔离管理,即根据每个任务在显卡的线程中分别创建单独的取流任务、解码任务、算法分析任务。
但是在对同一设备进行取流的过程中,由于缺乏对取流数据的统一管理,这种单任务隔离管理的方法会创建大量单独任务,进而浪费大量的网络资源和解码资源,造成网络拥堵、解析速度慢、任务创建失败等问题。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。所述概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
鉴于以上所述现有技术的缺点,本发明公开了一种任务创建方法、系统、电子设备及可读存储介质,以减少解析任务的资源浪费。
本发明公开了一种任务创建方法,包括:获取至少一个数据获取任务的数据获取规则,并获取新增任务信息,其中,各所述数据获取任务的数据获取规则不同,所述新增任务信息包括新增获取规则和新增解析模型;若存在一数据获取任务的数据获取规则与所述新增获取规则相同,将所述数据获取任务确定为目标获取任务,并基于所述目标获取任务创建所述新增解析模型对应的新增解析任务。
可选地,获取待解析任务信息之后,所述该方法还包括:若各所述数据获取任务的数据获取规则均不同于所述新增获取规则,则根据所述新增获取规则创建新增获取任务,并基于所述数据获取任务创建所述新增解析模型对应的新增解析任务。
可选地,获取至少一个数据获取任务的数据获取规则之后,所述该方法还包括:获取待删除任务信息,所述待删除任务信息包括待删除获取规则和待删除解析模型;从所述数据获取任务中获取待删除获取任务,并获取所述待删除获取任务的数据解析任务数量,其中,所述待删除获取任务的数据获取规则与所述待删除获取规则相同;若所述数据解析任务数量大于或等于2,则删除所述待删除解析模型对应的数据解析任务;若所述数据解析任务数量等于1,则删除所述待删除获取任务,并删除所述待删除解析模型对应的数据解析任务。
可选地,获取至少一个数据获取任务的数据获取规则之前,所述该方法还包括:获取多个原始任务信息,所述原始任务信息包括原始获取规则和原始解析模型;根据所述原始获取规则将所述原始任务信息划分为一个或多个共享任务小组,其中,所述共享任务小组包括具有相同原始获取规则的一个或多个原始任务信息;根据数据获取规则创建数据获取任务,并基于所述数据获取任务创建各数据解析模型对应的数据解析任务,其中,所述数据获取规则为任一共享任务小组的原始获取规则,所述数据解析模型为所述共享任务小组的原始解析模型。
可选地,所述数据获取规则包括取流地址和数据解码类型,基于所述数据获取任务创建各数据解析模型对应的数据解析任务之后,所述该方法还包括:获取原始数据流和多个初始解码类型,根据所述取流地址从所述原始数据流中确定待解码数据;分别根据各所述初始解码类型对所述待解码数据流进行解码,得到各所述初始解码类型对应的解码数据;从所述解码数据中确定所述数据解码类型对应的目标数据,并对所述目标数据分别配置各所述数据解析任务对应的推送规则。
可选地,所述数据解析模型包括解析算法和所述解析算法的顺序信息,所述解析算法为一个或多个,通过以下方式创建数据解析模型对应的数据解析任务:创建所述解析算法对应的算法任务;根据所述顺序信息对所述算法任务进行排序,得到数据解析模型对应的数据解析任务。
可选地,所述方法还包括:通过原始任务ID承载所述原始任务信息,原始任务信息还包括Web地址信息,其中,将通过所述原始任务信息中的原始解析模型解析后的数据发送到Web地址信息;通过源任务标识承载源任务唯一ID、数据获取任务及对应的数据解析任务。
可选地,将新增获取任务或新增解析任务作为新增任务,在创建所述新增任务之前,所述该方法还包括:获取当前占用带宽和所述新增任务对应的新增占用带宽;若当前占用带宽和新增占用带宽之和小于或等于预设带宽阈值,则创建新增任务;若当前占用带宽和新增占用带宽之和大于预设带宽阈值,则提示任务创建失败。
本发明公开了一种任务创建系统,包括:获取模块,用于获取至少一个数据获取任务的数据获取规则,并获取新增任务信息,其中,各所述数据获取任务的数据获取规则不同,所述新增任务信息包括新增获取规则和新增解析模型;创建模块,用于若存在一数据获取任务的数据获取规则与所述新增获取规则相同,将所述数据获取任务确定为目标获取任务,并基于所述目标获取任务创建所述新增解析模型对应的新增解析任务。
本发明公开了一种电子设备,包括:处理器及存储器;所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述电子设备执行上述的方法。
本发明公开了一种计算机可读存储介质,其上存储有计算机程序:所述计算机程序被处理器执行时实现上述的方法。
本发明的有益效果:
通过获取至少一个数据获取任务的数据获取规则,并获取包括新增获取规则和新增解析模型的新增任务信息,若存在一数据获取任务的数据获取规则与新增获取规则相同,将数据获取任务确定为目标获取任务,并基于目标获取任务创建新增解析模型对应的新增解析任务。这样,将具有相同数据获取规则任务进行复用,减少运行解析任务时的数据获取任务,进而减少解析任务的资源浪费,避免出现网络拥堵、解析速度慢、任务创建失败等问题。
附图说明
图1是本发明实施例中一个任务创建方法的流程示意图;
图2是本发明实施例中一个源任务标识的结构示意图;
图3-a是本发明实施例中一个源任务运行方法的流程示意图;
图3-b是本发明实施例中另一个源任务运行方法的流程示意图;
图3-c是本发明实施例中另一个源任务运行方法的流程示意图;
图4是本发明实施例中一个任务创建系统的结构示意图;
图5是本发明实施例中一个电子设备的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的子样本可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在下文描述中,探讨了大量细节,以提供对本发明实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本发明的实施例难以理解。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开实施例的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
除非另有说明,术语“多个”表示两个或两个以上。
本公开实施例中,字符“/”表示前后对象是一种“或”的关系。例如,A/B表示:A或B。
术语“和/或”是一种描述对象的关联关系,表示可以存在三种关系。例如,A和/或B,表示:A或B,或,A和B这三种关系。
结合图1所示,本公开实施例提供了一种任务创建方法,包括:
步骤S101,获取至少一个数据获取任务的数据获取规则,并获取新增任务信息;
其中,各数据获取任务的数据获取规则不同,新增任务信息包括新增获取规则和新增解析模型;
步骤S102,若存在一数据获取任务的数据获取规则与新增获取规则相同,将数据获取任务确定为目标获取任务,并基于目标获取任务创建新增解析模型对应的新增解析任务。
采用本公开实施例提供的任务创建方法,通过获取至少一个数据获取任务的数据获取规则,并获取包括新增获取规则和新增解析模型的新增任务信息,若存在一数据获取任务的数据获取规则与新增获取规则相同,将数据获取任务确定为目标获取任务,并基于目标获取任务创建新增解析模型对应的新增解析任务。这样,将具有相同数据获取规则任务进行复用,减少运行解析任务时的数据获取任务,进而减少解析任务的资源浪费,避免出现网络拥堵、解析速度慢、任务创建失败等问题。
可选地,获取待解析任务信息之后,该方法还包括:若各数据获取任务的数据获取规则均不同于新增获取规则,则根据新增获取规则创建新增获取任务,并基于数据获取任务创建新增解析模型对应的新增解析任务。这样,若不存在可以复用的数据获取任务,则单独创建新增数据信息对应的的数据获取任务和数据解决任务,以完成任务的创建。
可选地,获取至少一个数据获取任务的数据获取规则之后,该方法还包括:获取待删除任务信息,待删除任务信息包括待删除获取规则和待删除解析模型;从数据获取任务中获取待删除获取任务,并获取待删除获取任务的数据解析任务数量,其中,待删除获取任务的数据获取规则与待删除获取规则相同;若数据解析任务数量大于或等于2,则删除待删除解析模型对应的数据解析任务;若数据解析任务数量等于1,则删除待删除获取任务,并删除待删除解析模型对应的数据解析任务。这样,若待删除获取任务还对应其他解析任务,只删除待删除解析任务,若待删除获取任务只对应待删除解析任务,则同时删除待删除获取任务和待删除解析任务,减少带宽资源的浪费,同时提高了任务管理的灵活性。
可选地,获取至少一个数据获取任务的数据获取规则之前,该方法还包括:获取多个原始任务信息,原始任务信息包括原始获取规则和原始解析模型;根据原始获取规则将原始任务信息划分为一个或多个共享任务小组,其中,共享任务小组包括具有相同原始获取规则的一个或多个原始任务信息;根据数据获取规则创建数据获取任务,并基于数据获取任务创建各数据解析模型对应的数据解析任务,其中,数据获取规则为任一共享任务小组的原始获取规则,数据解析模型为共享任务小组的原始解析模型。这样,将各原始任务信息根据原始获取规则进行分类,根据原始获取规则创建数据获取任务,并基于数据获取任务分别根据各原始任务信息的原始解析模型建立各自的数据解析任务,从而达到复用数据获取任务的效果,进而减少运行解析任务时的数据获取任务,减少解析任务的资源浪费,避免出现网络拥堵、解析速度慢、任务创建失败等问题。
在一些实施例中,原始任务信息对应的原始任务包括图像取流节点、图像解码节点、图像送帧节点、算法分析节点、结果发送节点等多个任务节点。
可选地,将数据获取任务和该数据获取任务对应的数据解析任务确定为源任务。
在一些实施例中,在显卡的线程中执行源任务。
可选地,建立并储存源任务和各原始任务信息之间的对应关系。
可选地,获取与待删除任务信息相同的原始任务信息,并根据该原始任务信息的对应关系确定待删除任务信息对应的源任务以及该源任务中待删除任务信息对应的数据获取任务和数据解析任务。
可选地,所述方法还包括:通过原始任务ID承载所述原始任务信息,原始任务信息还包括Web地址信息,其中,将通过所述原始任务信息中的原始解析模型解析后的数据发送到Web地址信息;通过源任务标识承载源任务唯一ID、数据获取任务及对应的数据解析任务。
在一些实施例中,原始任务信息为原始任务唯一对应的原始任务ID,原始任务ID通过参数字符串的方式记录了原始获取规则、原始解析模型和Web地址信息,其中,原始解析模型解析后的数据发送到Web地址信息;根据原始任务信息生成一个或多个具有源任务标识的源任务,源任务标识包括源任务唯一ID、取流地址、解码类型以及各解析任务信息。
可选地,数据获取规则包括取流地址和数据解码类型,基于数据获取任务创建各数据解析模型对应的数据解析任务之后,该方法还包括:获取原始数据流和多个初始解码类型,根据取流地址从原始数据流中确定待解码数据;分别根据各初始解码类型对待解码数据流进行解码,得到各初始解码类型对应的解码数据;从解码数据中确定数据解码类型对应的目标数据,并对目标数据分别配置各数据解析任务对应的推送规则。
可选地,数据获取规则包括取流地址和数据解码类型,基于数据获取任务创建各数据解析模型对应的数据解析任务之后,该方法还包括:获取原始数据流和多个初始解码类型,并根据初始解码类型分别对原始数据流进行数据解码,得到各初始解码类型对应的解码数据流;从解码数据流中确定数据解码类型对应的目标数据流,并根据取流地址从目标数据流中提取目标数据;对目标数据分别配置各数据解析任务对应的推送规则。
在一些实施例中,原始数据流为图像流、视频流、文本流等数据流中的至少一种。
可选地,从解码数据流中确定数据解码类型对应的目标数据流之前,该方法还包括:对数据获取任务和数据解析任务进行初始化,使得数据获取任务的输出数据能够输入该数据获取任务对应的数据解析任务。
可选地,该方法还包括:对目标数据分配数据来源标签和数据推送标签。
在一些实施例中,根据不同解析格式对原始数据流进行解码,得到不同解析格式的解码数据流;从各解码数据流中提取至少一部分数据作为待推送数据,并对所述待推送数据增加送帧逻辑,以针对不同数据解析模型的算法来推送不同的目标数据。
可选地,数据解析模型包括解析算法和解析算法的顺序信息,解析算法为一个或多个,通过以下方式创建数据解析模型对应的数据解析任务:创建解析算法对应的算法任务;根据顺序信息对算法任务进行排序,得到数据解析模型对应的数据解析任务。
结合图2所示,本公开实施例提供了一种源任务标识,依次包括源任务唯一ID、取流地址、解码类型以及四个解析任务信息,其中,数据解析任务分别为算法信息A,算法信息A+算法信息B+算法信息C,算法信息B,算法信息C。
结合图3-a所示,本公开实施例提供了一种源任务运行方法,依次为取流任务、解码任务、算法任务A。
结合图3-b所示,本公开实施例提供了一种源任务运行方法,依次为取流任务、解码任务和两个数据解析任务,其中,数据解析任务分别为算法任务A,算法任务A+算法任务B+算法任务C。
结合图3-c所示,本公开实施例提供了一种源任务运行方法,依次为取流任务、解码任务和三个数据解析任务,其中,数据解析任务分别为算法任务A,算法任务B,算法任务B。
在一些实施例中,获取第一源任务和新增任务信息,第一源任务包括数据获取任务和算法任务A,新增任务信息包括新增获取规则和算法信息A+算法任务B+算法任务C,若数据获取任务的数据获取规则和所述新增获取规则相同,则在所述数据获取任务之后创建算法信息A+算法任务B+算法任务C对应的数据解析任务,得到第二源任务,其中,第一源任务如图3-a所示,第二源任务如图3-b所示。
在一些实施例中,获取第一源任务、第一新增任务信息和第二新增任务信息,第一源任务包括数据获取任务和算法任务A,第一新增任务信息包括第一新增获取规则和算法信息B,第二新增任务信息包括第二新增获取规则和算法信息B,若数据获取任务的数据获取规则与第一新增获取规则、第二新增获取规则三者均相同,则在数据获取任务之后分别创建算法信息B对应的第一数据解析任务和算法信息B对应的第二数据解析任务,得到第三源任务,其中,第三源任务如图3-c所示。
在一些实施例中,获取第一源任务和待删除任务信息,第一源任务包括数据获取任务和算法任务A,待删除任务信息包括待删除获取规则和待删除算法信息A,若数据获取任务的数据获取规则与待删除获取规则相同,同时数据获取任务的算法任务只有1个,则删除待删除获取规则对应的数据获取任务,并删除待删除算法信息A对应的算法任务A,即删除第一源任务。
在一些实施例中,获取第三源任务和待删除任务信息,第三源任务包括数据获取任务、算法任务A、算法任务B和算法任务B,待删除任务信息包括待删除获取规则和待删除算法信B,若数据获取任务的数据获取规则与待删除获取规则相同,同时数据获取任务的算法任务有3个,则删除待删除算法信息B对应的算法任务B。
可选地,将新增获取任务或新增解析任务作为新增任务,在创建新增任务之前,该方法还包括:获取当前占用带宽和新增任务对应的新增占用带宽;若当前占用带宽和新增占用带宽之和小于或等于预设带宽阈值,则创建新增任务;若当前占用带宽和新增占用带宽之和大于预设带宽阈值,则提示任务创建失败。这样,根据占用带宽的情况为均衡负载提供依据,防止占用带宽超过预设带宽阈值,避免出现网络拥堵、解析速度慢、任务创建失败等问题。
可选地,将新增获取任务或新增解析任务作为新增任务,在创建新增任务之前,该方法还包括:获取当前任务权重和新增任务对应的新增任务权重;若当前任务权重和新增任务权重之和小于或等于预设带宽阈值,则创建新增任务;若当前任务权重和新增任务权重之和大于预设带宽阈值,则提示任务创建失败。
在一些实施例中,响应于获取新增任务信息,确定包括所有源任务的当前占用带宽,当前占用带宽根据取流地址对应的取流任务占用带宽、数据解码类型对应的解码任务占用带宽和数据解析模型对应的解析任务占用带宽确定;若创建新增解析任务或新增获取任务,则基于当前占用带宽增加相应的任务占用带宽;若删除数据解析任务或数据获取任务,则基于当前占用带宽减少相应的任务占用带宽;若删除源任务,则基于当前占用带宽减少相应的源任务占用带宽。
在一些实施例中,将任务创建失败信息发送至Web地址信息对应的Web地址。
目前,通过调配服务器对解析任务进行深度解析调度的方法需要复杂的调度逻辑,需要运用web上层其他工作设备和调配服务器,对原有部署不增加额外逻辑。而且,在隔离的容器中运行解析任务的方法同样需要web上层,增加了额外工作量。采用本公开实施例提供的任务创建方法,通过获取至少一个数据获取任务的数据获取规则,并获取包括新增获取规则和新增解析模型的新增任务信息,若存在一数据获取任务的数据获取规则与新增获取规则相同,将数据获取任务确定为目标获取任务,并基于目标获取任务创建新增解析模型对应的新增解析任务。这样,将具有相同数据获取规则任务进行复用,不仅减少运行解析任务时的数据获取任务,进而减少解析任务的资源浪费,避免出现网络拥堵、解析速度慢、任务创建失败等问题,同时,该方法对web上层以及其他设备无感,不需要增加新的逻辑,增加任务管理的灵活性。
结合图4所示,本公开实施例提供了一种任务创建系统,包括获取模块401和创建模块402。获取模块用于获取至少一个数据获取任务的数据获取规则,并获取新增任务信息,其中,各数据获取任务的数据获取规则不同,新增任务信息包括新增获取规则和新增解析模型。创建模块用于若存在一数据获取任务的数据获取规则与新增获取规则相同,将数据获取任务确定为目标获取任务,并基于目标获取任务创建新增解析模型对应的新增解析任务。
采用本公开实施例提供的任务创建系统,通过获取至少一个数据获取任务的数据获取规则,并获取包括新增获取规则和新增解析模型的新增任务信息,若存在一数据获取任务的数据获取规则与新增获取规则相同,将数据获取任务确定为目标获取任务,并基于目标获取任务创建新增解析模型对应的新增解析任务。这样,将具有相同数据获取规则任务进行复用,减少运行解析任务时的数据获取任务,进而减少解析任务的资源浪费,避免出现网络拥堵、解析速度慢、任务创建失败等问题。
结合图5所示,本公开实施例提供了一种电子设备,包括:处理器(processor)500及存储器(memory)501;存储器用于存储计算机程序,处理器用于执行存储器存储的计算机程序,以使终端执行本实施例中任一项方法。可选地,该电子设备还可以包括通信接口(Communication Interface)502和总线503。其中,处理器500、通信接口502、存储器501可以通过总线503完成相互间的通信。通信接口502可以用于信息传输。处理器500可以调用存储器501中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器501中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器501作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令/模块。处理器500通过运行存储在存储器501中的程序指令/模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器501可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器501可以包括高速随机存取存储器,还可以包括非说易失性存储器。
采用本公开实施例提供的电子设备,通过获取至少一个数据获取任务的数据获取规则,并获取包括新增获取规则和新增解析模型的新增任务信息,若存在一数据获取任务的数据获取规则与新增获取规则相同,将数据获取任务确定为目标获取任务,并基于目标获取任务创建新增解析模型对应的新增解析任务。这样,将具有相同数据获取规则任务进行复用,减少运行解析任务时的数据获取任务,进而减少解析任务的资源浪费,避免出现网络拥堵、解析速度慢、任务创建失败等问题。
本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本实施例中的任一项方法。
本公开实施例中的计算机可读存储介质,本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开的电子设备,包括处理器、存储器、收发器和通信接口,存储器和通信接口与处理器和收发器连接并完成相互间的通信,存储器用于存储计算机程序,通信接口用于进行通信,处理器和收发器用于运行计算机程序,使电子设备执行如上方法的各个步骤。
在本实施例中,存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、图形处理器(Graphics Processing Unit,简称GPU),网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上描述和附图充分地示出了本公开的实施例,以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选地,并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的,除非上下文清楚地表明,否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地,如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外,当用于本申请中时,术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素,和/或组件的存在,但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些子样本可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中,不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生,有时不同的操作或步骤之间不存在特定的顺序。例如,两个连续的操作或步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

Claims (9)

1.一种任务创建方法,其特征在于,包括:
获取至少一个数据获取任务的数据获取规则,并获取新增任务信息,其中,各所述数据获取任务的数据获取规则不同,所述新增任务信息包括新增获取规则和新增解析模型;
若存在一数据获取任务的数据获取规则与所述新增获取规则相同,将所述数据获取任务确定为目标获取任务,并基于所述目标获取任务创建所述新增解析模型对应的新增解析任务;
获取至少一个数据获取任务的数据获取规则之后,所述方法还包括,获取待删除任务信息,所述待删除任务信息包括待删除获取规则和待删除解析模型;从所述数据获取任务中获取待删除获取任务,并获取所述待删除获取任务的数据解析任务数量,其中,所述待删除获取任务的数据获取规则与所述待删除获取规则相同;若所述数据解析任务数量大于或等于2,则删除所述待删除解析模型对应的数据解析任务;若所述数据解析任务数量等于1,则删除所述待删除获取任务,并删除所述待删除解析模型对应的数据解析任务;
获取至少一个数据获取任务的数据获取规则之前,所述方法还包括,获取多个原始任务信息,所述原始任务信息包括原始获取规则和原始解析模型;根据所述原始获取规则将所述原始任务信息划分为一个或多个共享任务小组,其中,所述共享任务小组包括具有相同原始获取规则的一个或多个原始任务信息;根据数据获取规则创建数据获取任务,并基于所述数据获取任务创建各数据解析模型对应的数据解析任务,其中,所述数据获取规则为任一共享任务小组的原始获取规则,所述数据解析模型为所述共享任务小组的原始解析模型。
2.根据权利要求1所述的方法,其特征在于,获取待解析任务信息之后,所述方法还包括:
若各所述数据获取任务的数据获取规则均不同于所述新增获取规则,则根据所述新增获取规则创建新增获取任务,并基于所述数据获取任务创建所述新增解析模型对应的新增解析任务。
3.根据权利要求1所述的方法,其特征在于,所述数据获取规则包括取流地址和数据解码类型,基于所述数据获取任务创建各数据解析模型对应的数据解析任务之后,所述方法还包括:
获取原始数据流和多个初始解码类型,根据所述取流地址从所述原始数据流中确定待解码数据;
分别根据各所述初始解码类型对所述待解码数据流进行解码,得到各所述初始解码类型对应的解码数据;
从所述解码数据中确定所述数据解码类型对应的目标数据,并对所述目标数据分别配置各所述数据解析任务对应的推送规则。
4.根据权利要求1所述的方法,其特征在于,所述数据解析模型包括解析算法和所述解析算法的顺序信息,所述解析算法为一个或多个,通过以下方式创建数据解析模型对应的数据解析任务:
创建所述解析算法对应的算法任务;
根据所述顺序信息对所述算法任务进行排序,得到数据解析模型对应的数据解析任务。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过原始任务ID承载所述原始任务信息,原始任务信息还包括Web地址信息,其中,将通过所述原始任务信息中的原始解析模型解析后的数据发送到Web地址信息;
通过源任务标识承载源任务唯一ID、数据获取任务及对应的数据解析任务。
6.根据权利要求1至5任意一项所述的方法,其特征在于,将新增获取任务或新增解析任务作为新增任务,在创建所述新增任务之前,所述方法还包括:
获取当前占用带宽和所述新增任务对应的新增占用带宽;
若当前占用带宽和新增占用带宽之和小于或等于预设带宽阈值,则创建新增任务;
若当前占用带宽和新增占用带宽之和大于预设带宽阈值,则提示任务创建失败。
7.一种任务创建系统,其特征在于,包括:
获取模块,用于获取至少一个数据获取任务的数据获取规则,并获取新增任务信息,其中,各所述数据获取任务的数据获取规则不同,所述新增任务信息包括新增获取规则和新增解析模型;
创建模块,用于若存在一数据获取任务的数据获取规则与所述新增获取规则相同,将所述数据获取任务确定为目标获取任务,并基于所述目标获取任务创建所述新增解析模型对应的新增解析任务;
获取至少一个数据获取任务的数据获取规则之后,获取模块还用于,获取待删除任务信息,所述待删除任务信息包括待删除获取规则和待删除解析模型;从所述数据获取任务中获取待删除获取任务,并获取所述待删除获取任务的数据解析任务数量,其中,所述待删除获取任务的数据获取规则与所述待删除获取规则相同;若所述数据解析任务数量大于或等于2,则删除所述待删除解析模型对应的数据解析任务;若所述数据解析任务数量等于1,则删除所述待删除获取任务,并删除所述待删除解析模型对应的数据解析任务;
获取至少一个数据获取任务的数据获取规则之前,获取模块还用于,获取多个原始任务信息,所述原始任务信息包括原始获取规则和原始解析模型;根据所述原始获取规则将所述原始任务信息划分为一个或多个共享任务小组,其中,所述共享任务小组包括具有相同原始获取规则的一个或多个原始任务信息;根据数据获取规则创建数据获取任务,并基于所述数据获取任务创建各数据解析模型对应的数据解析任务,其中,所述数据获取规则为任一共享任务小组的原始获取规则,所述数据解析模型为所述共享任务小组的原始解析模型。
8.一种电子设备,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述电子设备执行如权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:
所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN202210205111.0A 2022-03-02 2022-03-02 任务创建方法、系统、电子设备及可读存储介质 Active CN114564253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210205111.0A CN114564253B (zh) 2022-03-02 2022-03-02 任务创建方法、系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210205111.0A CN114564253B (zh) 2022-03-02 2022-03-02 任务创建方法、系统、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114564253A CN114564253A (zh) 2022-05-31
CN114564253B true CN114564253B (zh) 2023-06-09

Family

ID=81717526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210205111.0A Active CN114564253B (zh) 2022-03-02 2022-03-02 任务创建方法、系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114564253B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394338A (zh) * 2007-09-21 2009-03-25 华为技术有限公司 一种数据调度的方法、系统和装置
CN102999602A (zh) * 2012-11-20 2013-03-27 北京思特奇信息技术股份有限公司 一种数据解析方法和数据解析系统
CN110580556A (zh) * 2018-06-08 2019-12-17 阿里巴巴集团控股有限公司 数据处理方法及系统、处理器
CN111026568A (zh) * 2019-12-04 2020-04-17 深圳前海环融联易信息科技服务有限公司 数据和任务关系构建方法、装置、计算机设备及存储介质
CN111522868A (zh) * 2020-03-24 2020-08-11 北京三快在线科技有限公司 数据规则的处理方法、装置、电子设备及存储介质
CN112165331A (zh) * 2020-09-22 2021-01-01 上海华东汽车信息技术有限公司 数据压缩方法及其装置、数据解压方法及其装置、存储介质及电子设备
CN112463411A (zh) * 2020-12-10 2021-03-09 重庆紫光华山智安科技有限公司 数据处理方法、装置、服务器及存储介质
CN113792203A (zh) * 2021-09-18 2021-12-14 重庆紫光华山智安科技有限公司 标注数据复用的方法及系统、电子设备、可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030177046A1 (en) * 2001-12-03 2003-09-18 John Socha-Leialoha Method and system for reusing components
US7216163B2 (en) * 2002-05-15 2007-05-08 Oracle International Corporation Method and apparatus for provisioning tasks using a provisioning bridge server

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394338A (zh) * 2007-09-21 2009-03-25 华为技术有限公司 一种数据调度的方法、系统和装置
CN102999602A (zh) * 2012-11-20 2013-03-27 北京思特奇信息技术股份有限公司 一种数据解析方法和数据解析系统
CN110580556A (zh) * 2018-06-08 2019-12-17 阿里巴巴集团控股有限公司 数据处理方法及系统、处理器
CN111026568A (zh) * 2019-12-04 2020-04-17 深圳前海环融联易信息科技服务有限公司 数据和任务关系构建方法、装置、计算机设备及存储介质
CN111522868A (zh) * 2020-03-24 2020-08-11 北京三快在线科技有限公司 数据规则的处理方法、装置、电子设备及存储介质
CN112165331A (zh) * 2020-09-22 2021-01-01 上海华东汽车信息技术有限公司 数据压缩方法及其装置、数据解压方法及其装置、存储介质及电子设备
CN112463411A (zh) * 2020-12-10 2021-03-09 重庆紫光华山智安科技有限公司 数据处理方法、装置、服务器及存储介质
CN113792203A (zh) * 2021-09-18 2021-12-14 重庆紫光华山智安科技有限公司 标注数据复用的方法及系统、电子设备、可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"知识协同工作流建模、服务规划和服务组合研究";高明;《中国博士学位论文全文数据库 信息科技辑》;I138-19 *

Also Published As

Publication number Publication date
CN114564253A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
US11018979B2 (en) System and method for network slicing for service-oriented networks
CN102141995B (zh) 简化并行计算系统中的传输的系统与方法
US10650047B2 (en) Dense subgraph identification
CN104317928A (zh) 一种基于分布式数据库的业务etl方法及系统
EP3320653A1 (en) Parallelized network traffic flow availability simulation using stochastic process and traffic engineering algorithms
US10725494B2 (en) Optimizing neurosynaptic networks
CN106446061A (zh) 用于存储虚拟机镜像的方法及设备
CN105049353A (zh) 一种为业务配置路由路径的方法及控制器
KR102326586B1 (ko) 큰 규모 분산 행렬 곱 처리 방법 및 그 장치
JP6500896B2 (ja) 属性列挙システム、属性列挙方法および属性列挙プログラム
CN114564253B (zh) 任务创建方法、系统、电子设备及可读存储介质
WO2021027745A1 (zh) 一种图重构方法及装置
CN111444309A (zh) 用于对图进行学习的系统
CN103425707A (zh) 数据分析方法和装置
CN113934767A (zh) 一种数据处理的方法及装置、计算机设备和存储介质
CN115705497A (zh) 一种量子计算机操作系统和量子计算机
CN112269803A (zh) 数据集填充方法及系统
CN112416488A (zh) 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质
CN113971428A (zh) 数据处理方法、系统、设备、程序产品及存储介质
CN110852118A (zh) 分布式机器翻译方法及系统
CN116821117B (zh) 流式数据处理方法、系统、设备及存储介质
CN116662396A (zh) 一种处理标识信息的方法、装置、设备及存储介质
Draief et al. Joint Burke's theorem and RSK representation for a queue and a store
CN116737690A (zh) 数据迁移方法、系统及相关装置
CN115543344A (zh) 容器实例的部署方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant