CN109614232B - 任务处理方法、装置、存储介质和电子装置 - Google Patents

任务处理方法、装置、存储介质和电子装置 Download PDF

Info

Publication number
CN109614232B
CN109614232B CN201811496383.0A CN201811496383A CN109614232B CN 109614232 B CN109614232 B CN 109614232B CN 201811496383 A CN201811496383 A CN 201811496383A CN 109614232 B CN109614232 B CN 109614232B
Authority
CN
China
Prior art keywords
task
executed
working node
terminal
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811496383.0A
Other languages
English (en)
Other versions
CN109614232A (zh
Inventor
杜立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201811496383.0A priority Critical patent/CN109614232B/zh
Publication of CN109614232A publication Critical patent/CN109614232A/zh
Application granted granted Critical
Publication of CN109614232B publication Critical patent/CN109614232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/508Monitor

Abstract

本发明公开了一种任务处理方法、装置、存储介质和电子装置。其中,该方法包括:从中心节点获取工作节点的注册信息,其中,中心节点是预设网络环境中的任一终端,任一终端中配置有一个工作节点;基于注册信息与工作节点建立网络连接;将待执行任务发送至工作节点,以指示工作节点执行待执行任务。本发明解决了相关技术中任务处理效率不高的技术问题。

Description

任务处理方法、装置、存储介质和电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种任务处理方法、装置、存储介质和电子装置。
背景技术
在游戏开发中,一般都会面临资源的打包和发布,即把所有资源(包括脚本,贴图等)做格式转换、压缩、加密,最终发布的过程,贴图的格式转换即把开发期使用的贴图转换为不同平台的硬件格式,例如把tga格式的贴图转换为最新的astc格式。这个过程随着游戏资源量的增加通常会比较耗时,其中贴图的格式转换,压缩尤其耗时,举例来说,把一张1024大小的tga贴图转换为高质量astc格式,需要花费大约5-10分钟。目前的资源打包发布基本都是在单机完成,如果耗时很长,会严重影响开发效率。
现有的游戏资源处理方式通常是单机多线程处理资源的打包,例如unity,unreal等游戏引擎,同时会提供多种资源格式和质量选项,例如astc、pvrtc、etc格式,每种格式有best、normal、low等质量选项供选择,对于低等质量的贴图压缩而言,速度比较快,但是效果就比较差,对于高等质量的贴图压缩,所花费的时间是成倍增长的。
现有的单机多线程处理,虽然多线程能充分利用中央处理器(CentralProcessing Unit,简称为CPU),但是单机仍然受限于1个CPU的负荷能力。当资源量较小时或者选择较差的压缩质量而言,影响较小,一旦资源量比较大或者需要较高的压缩质量时,所花费的时间仍然比较长。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种任务处理方法、装置、存储介质和电子装置,以至少解决相关技术中任务处理效率不高的技术问题。
根据本发明实施例的一个方面,提供了一种任务处理方法,包括:从中心节点获取工作节点的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端;基于所述注册信息与所述工作节点建立网络连接;根据所述工作节点的运行状态,将待执行任务对应的可执行文件发送至所述工作节点,以指示所述工作节点执行所述待执行任务。
根据本发明实施例的另一方面,还提供了一种任务处理方法,包括:中心节点接收工作节点发送的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端;将所述注册信息和所述运行状态发送至终端,以指示所述终端与所述工作节点建立网络连接,并将所述终端中的待执行任务对应的可执行文件发送至所述工作节点进行执行。
根据本发明实施例的另一方面,还提供了一种任务处理方法,包括:工作节点将所述注册信息和运行状态发送至中心节点,以指示所述中心节点将所述注册信息和所述运行状态发送至终端,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端,所述注册信息用于所述终端与所述工作节点建立网络连接;从所述终端获取待执行任务对应的可执行文件;基于所述可执行文件和所述运行状态执行所述待执行任务。
根据本发明实施例的另一方面,还提供了一种任务处理装置,包括:第一获取模块,用于从中心节点获取工作节点的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端;建立模块,用于基于所述注册信息与所述工作节点建立网络连接;第一发送模块,用于根据所述工作节点的运行状态,将待执行任务对应的可执行文件发送至所述工作节点,以指示所述工作节点执行所述待执行任务。
根据本发明实施例的另一方面,还提供了一种任务处理装置,包括:接收模块,用于中心节点接收工作节点发送的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端;第二发送模块,用于将所述注册信息和所述运行状态发送至终端,以指示所述终端与所述工作节点建立网络连接,并将所述终端中的待执行任务对应的可执行文件发送至所述工作节点进行执行。
根据本发明实施例的另一方面,还提供了一种任务处理装置,包括:第三发送模块,用于工作节点将所述注册信息和运行状态发送至中心节点,以指示所述中心节点将所述注册信息和所述运行状态发送至终端,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端,所述注册信息用于所述终端与所述工作节点建立网络连接;获取模块,用于从所述终端获取待执行任务对应的可执行文件;执行模块,用于基于所述可执行文件和所述运行状态执行所述待执行任务。
根据本发明的又一个实施例,还提供了一种存储介质,存储介质中存储有计算机程序,其中,计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在本发明实施例中,采用从中心节点获取工作节点的注册信息和运行状态,其中,中心节点是网络环境中的一预设终端,工作节点为网络环境中与中心节点网络连接的至少一个终端预设;基于注册信息与工作节点建立网络连接;根据工作节点的运行状态,将待执行任务对应的可执行文件发送至工作节点,以指示工作节点执行待执行任务。即通过工作节点分布式处理本地终端的任务,从而实现了有效处理任务的技术效果,进而解决了相关技术中任务处理效率不高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种任务处理方法的移动终端的硬件结构框图;
图2是根据本发明实施例提供的任务处理方法的流程示意图(一);
图3是根据本发明实施例提供的任务处理方法的流程示意图(二);
图4是根据本发明实施例提供的任务处理方法的流程示意图(三);
图5是本实施例提供的一种优选实施例;
图6是本实施例提供的一种可执行文件的定义方式的示意图;
图7是本实施例提供的一种定义待执行任务的示意图;
图8是本实施例中对于增量机制的实现方法的流程图;
图9是根据本发明实施例提供的任务处理装置的结构示意图(一);
图10是根据本发明实施例提供的任务处理装置的结构示意图(二);
图11是根据本发明实施例提供的任务处理装置的结构示意图(三)。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种任务处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种任务处理方法的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的任务处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
图2是根据本发明实施例提供的任务处理方法的流程示意图(一),如图2所示,该方法包括如下步骤:
步骤S202,从中心节点获取工作节点的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端;
步骤S204,基于注册信息与工作节点建立网络连接;
步骤S206,根据所述工作节点的运行状态,将待执行任务对应的可执行文件发送至所述工作节点,以指示所述工作节点执行所述待执行任务。
通过上述步骤,采用从中心节点获取工作节点的注册信息和运行状态,其中,中心节点是网络环境中的一预设终端,工作节点为网络环境中与中心节点网络连接的至少一个终端预设;基于注册信息与工作节点建立网络连接;根据工作节点的运行状态,将待执行任务对应的可执行文件发送至工作节点,以指示工作节点执行待执行任务。即通过工作节点分布式处理本地终端的任务,从而实现了有效处理任务的技术效果,进而解决了相关技术中任务处理效率不高的技术问题。
本实施例中的执行主体可以是终端(例如,电脑),但不限于此。
需要说明的是,上述中的注册信息可以包括工作节点对应终端的IP地址和工作节点对应终端的端口号,或者是工作节点IP地址,或者是工作节点的端口号。
本实施例中的预设网络环境可以是单个局域网,也可以是多个小局域网互通组合的大局域网。局域网中的任一终端都可以作为中心节点。
需要说明的是,上述中的中心节点可以是windows系统的电脑,需要建立一个承载注册信息的共享目录,以列表的形式存储注册信息。
需要说明的是,待执行任务可以是对图片进行压缩的任务,也可以是对图片进行转换的任务。
需要说明的是,工作节点可以以串行的方式执行任务,即在空闲状态是,才会从终端获取待执行任务;工作节点也可以以并行的方式执行认为,即可以同时执行多个任务。
在一个可选的实施例中,在工作节点执行待执行任务之前,需要配置可执行文件的参数信息,其中,参数信息中包括可执行文件的路径和运行参数;并以第一预设格式保存参数信息;第一预设格式可以是xml或者json的格式;将参数信息同步至工作节点上,其中,参数信息用于为工作节点执行待执行任务提供执行环境。
在一个可选的实施例中,配置可执行文件的参数信息之后,需要对待执行任务的资源信息进行配置,其中,资源信息包括:待执行任务的输入路径,待执行任务的输出路径,待执行任务的运行参数;以第二预设格式保存资源信息。例如:以类似xml或json格式的文件形式保存资源信息,配置资源信息可以是定义单个资源任务所依赖的内容,包含资源的输入路径,输出路径,资源需要处理时的参数。待执行任务的粒度可自定义控制,比如有1000个资源文件,可按照每一个资源文件拆分为1000个任务,更细的任务拆分可以带来更高的效率提升。
在一个可选的实施例中,通过以下方式根据工作节点的运行状态,将待执行任务对应的可执行文件发送至工作节点,以指示工作节点执行待执行任务:在工作节点处于空闲状态时,将可执行文件发送至工作节点;将待执行任务发送至工作节点,以指示工作节点执行待执行任务。例如:启动终端client程序,client程序会从资源信息的配置中读取待执行任务,同时连接工作节点worker。Worker首先拉取可执行文件,创建执行环境,然后从client拉取待执行任务执行,同时client自身也会执行任务,保证没有空闲的节点。执行完毕后,将执行的结果回传给client,client汇总所有任务结果,等待所有任务完成后退出。此时,资源处理结果已经全部完毕。
需要说明的是,worker节点可以部署在任意的机器上,同时设置为cpu空闲时才运行。此时不会影响该机器上的其他操作。更加有效地利用了局域网内的闲置cpu资源。
在一个可选的实施例中,将待执行任务发送至工作节点时,终端需要判断本地中央处理器CPU是否处于空闲状态,如果处于空闲状态,即会开启本地的线程执行不同于待执行任务的任务,这样多个任务既可以同时由本地CPU和工作节点同时执行。单机就不会受限于1个cpu的负荷能力。这种分布式的处理方式提高了任务的处理效率。
在一个可选的实施例中,将待执行任务发送至工作节点之后,工作节点执行获取的待执行任务,并将执行结果发送至终端,终端接收工作节点发送的执行结果,其中,执行结果中包括执行待执行任务的状态。可以明确的确定待执行任务的执行情况。
需要说明的是,本实施例中为了进一步缩减任务的处理时间,在待处理任务运行之前会去查询待处理任务是否被处理过,例如,在特定的共享目录中查询待处理任务的md5信息,如果与查询到的输入文件的md5值匹配,那么直接拷贝缓存的输出文件;如果输入文件的md5值不匹配,运行资源处理程序,结束之后保存其输入文件的md5以及输出文件到共享目录中。
图3是根据本发明实施例提供的任务处理方法的流程示意图(二),如图3所示,该方法包括如下步骤:
步骤S302,中心节点接收工作节点发送的注册信息和运行状态,其中,中心节点是网络环境中的一预设终端,工作节点为所述网络环境中与中心节点网络连接的至少一个终端;
步骤S304,将注册信息和运行状态发送至终端,以指示终端与工作节点建立网络连接,并将终端中的待执行任务对应的可执行文件发送至工作节点进行执行。
通过上述步骤,采用中心节点接收工作节点发送的注册信息和运行状态,其中,中心节点是网络环境中的一预设终端,工作节点为网络环境中与中心节点网络连接的至少一个终端预设;基于注册信息与工作节点建立网络连接;根据工作节点的运行状态,将待执行任务对应的可执行文件发送至工作节点,以指示工作节点执行待执行任务。即通过工作节点分布式处理本地终端的任务,从而实现了有效处理任务的技术效果,进而解决了相关技术中任务处理效率不高的技术问题。
本实施例中的执行主体可以是中心节点(例如,电脑),但不限于此。
需要说明的是,上述中的注册信息可以包括工作节点对应终端的IP地址和工作节点对应终端的端口号,或者是工作节点的IP地址,或者是工作节点的端口号。
本实施例中的预设网络环境可以是单个局域网,也可以是多个小局域网互通组合的大局域网。局域网中的任一终端都可以作为中心节点。
需要说明的是,上述中的中心节点可以是windows系统的电脑,需要建立一个承载注册信息的共享目录,以列表的形式存储注册信息。
需要说明的是,待执行任务可以是对图片进行压缩的任务,也可以是对图片进行转换的任务。
需要说明的是,工作节点可以以串行的方式执行任务,即在空闲状态是,才会从终端获取待执行任务;工作节点也可以以并行的方式执行认为,即可以同时执行多个任务。
在一个可选的实施例中,将注册信息发送至终端之后,终端基于注册信息和运行状态与工作节点建立网络连接。工作节点从终端获取待执行任务,并对待执行任务进行执行,然后将执行结果发送至中心节点,中心节点接收工作节点发送的执行结果,其中,执行结果中包括执行待执行任务的状态;存储执行结果,以指示工作节点在判断出待执行任务已存储在中心节点中时,从中心节点中调取待执行任务的执行结果发送至终端。有效的节约了网络资源,提高了任务的执行效率。
图4是根据本发明实施例提供的任务处理方法的流程示意图(三),如图4所示,该方法包括如下步骤:
步骤S402,工作节点将注册信息和运行状态发送至中心节点,以指示中心节点将注册信息和运行状态发送至终端,其中,中心节点是网络环境中的一预设终端,工作节点为网络环境中与中心节点网络连接的至少一个终端,注册信息用于终端与工作节点建立网络连接;
步骤S404,从终端获取待执行任务对应的可执行文件;
步骤S406,基于可执行文件和运行状态执行待执行任务。
通过上述步骤,采用工作节点将注册信息和运行状态发送至中心节点,以指示中心节点将注册信息和运行状态发送至终端,其中,中心节点是网络环境中的一预设终端,工作节点为网络环境中与中心节点网络连接的至少一个终端,注册信息用于终端与工作节点建立网络连接;从终端获取待执行任务对应的可执行文件;执行待执行任务。即通过工作节点分布式处理本地终端的任务,从而实现了有效处理任务的技术效果,进而解决了相关技术中任务处理效率不高的技术问题。
本实施例中的执行主体可以是工作节点(例如,电脑),但不限于此。
需要说明的是,上述中的注册信息可以包括工作节点的IP地址和工作节点的端口号,或者是工作节点IP地址,或者是工作节点的端口号。
本实施例中的预设网络环境可以是单个局域网,也可以是多个小局域网互通组合的大局域网。局域网中的任一终端都可以作为中心节点。
需要说明的是,上述中的中心节点可以是windows系统的电脑,需要建立一个承载注册信息的共享目录,以列表的形式存储注册信息。
需要说明的是,待执行任务可以是对图片进行压缩的任务,也可以是对图片进行转换的任务。
需要说明的是,工作节点可以以串行的方式执行任务,即在空闲状态是,才会从终端获取待执行任务;工作节点也可以以并行的方式执行认为,即可以同时执行多个任务。
在一个可选的实施例中通过以下方式从终端获取待执行任务对应的可执行文件:向终端获取可执行文件,其中,可执行文件的参数信息包括:可执行文件的路径和运行参数;将参数信息存储在本地中的预设目录中。可以以xml或者json的格式存储参数信息。
在一个可选的实施例中,通过以下方式基于可执行文件和运行状态执行待执行任务:在确定处于空闲状态时,从终端获取待执行任务,其中,待执行任务的资源信息包括:待执行任务的输入路径,待执行任务的输出路径,待执行任务的运行参数;基于参数信息确定执行待执行任务的执行环境;在执行环境中基于资源信息执行待执行任务。例如:以类似xml或json格式的文件形式保存资源信息,配置资源信息可以是定义单个资源任务所依赖的内容,包含资源的输入路径,输出路径,资源需要处理时的参数。待执行任务的粒度可自定义控制,比如有1000个资源文件,可按照每一个资源文件拆分为1000个任务,更细的任务拆分可以带来更高的效率提升。
启动终端client程序,client程序会从资源信息的配置中读取待执行任务,同时连接工作节点worker。Worker首先拉取可执行文件,创建执行环境,然后从client拉取待执行任务执行,同时client自身也会执行任务,保证没有空闲的节点。执行完毕后,将执行的结果回传给client,client汇总所有任务结果,等待所有任务完成后退出。此时,资源处理结果已经全部完毕。
在一个可选的实施例中,工作节点执行待执行任务之后,会将执行结果发送至中心节点,其中,执行结果中包括执行待执行任务的状态。工作节点在获取待执行任务之后,会判断待执行任务的是否已存储在中心节点中;如果待执行任务已存储在中心节点中,从中心节点中调取待执行任务的执行结果发送至终端。提高了执行任务的效率,节约了网络资源。例如,在特定的共享目录中查询待处理任务的md5信息,如果与查询到的输入文件的md5值匹配,那么直接拷贝缓存的输出文件;如果输入文件的md5值不匹配,运行资源处理程序,结束之后保存其输入文件的md5以及输出文件到共享目录中。
下面结合一个优先实施例对本发明进行详细说明:
针对现有的单机多线程处理,虽然多线程能充分利用cpu,但是单机仍然受限于1个cpu的负荷能力的问题,以及当资源量较小时或者选择较差的压缩质量而言,影响较小,一旦资源量比较大或者需要较高的压缩质量时,所花费的时间仍然比较长的问题,本实施提出了一种分布式的资源处理方法。通过部署一个集群(即局域网中的多个终端),以一定方式把任务分配到各个工作节点,每个工作节点并行地进行任务处理,完成之后把执行结果返回给发起终端(即上述中与待执行任务关联的终端)。最终达到大幅降低任务处理时间的效果。
具体包括以下内容:
(1)在局域网环境中选择一个中心节点,该中心节点负责维护所有的工作节点worker的注册列表以及运行状态,注册列表中包括各个工作节点的注册信息。在该局域网环境中任一终端中部署一个工作节点worker,工作节点启动后会向中心节点发送注册信息,中心节点完成对工作节点的注册服务。
(2)配置待执行任务可执行文件的参数,该配置以类似xml或者json格式的文件形式保存,配置定义了运行资源处理工具的可执行文件路径以及若干参数,其中定义的可执行文件以及其依赖会在后续步骤同步到每一个工作节点上。例如,运行一个python脚本,那么需要依赖python.exe可执行程序,对待执行任务的该配置保存在client端(即上述中包括待执行任务的终端)。
(3)配置待执行任务的资源处理任务,该配置以类似xml或json格式的文件形式保存,配置定义了单个待执行任务所依赖的内容,包含资源的输入路径,输出路径,待执行任务需要处理时的参数。任务的粒度可自定义控制,比如有1000个资源文件,可按照每一个资源文件拆分为1000个待执行任务,更细的任务拆分可以带来更高的效率提升。
(4)启动client程序,该程序会从配置中读取任务,同时连接worker。Worker首先拉取可执行文件,创建执行环境,然后从client拉取待执行任务执行,同时client自身也会执行不同于待执行任务的任务,保证没有空闲的节点。执行完毕后,将执行的结果回传给client,client汇总所有任务结果,等待所有任务完成后退出。此时,任务处理结果已经全部完毕。
(5)工作节点可以部署在任意的机器上,同时可以设置为cpu空闲时才运行。此时不会影响该机器上的其他操作。更加有效地利用了局域网内的闲置cpu资源。
此外,本实施例还包括对任务处理的增量机制,对于没有变化的任务,直接使用上一次的执行结果,进一步缩减处理时间。传统的增量机制一般是在本地保存信息,也就是其他人无法共享。本实施例在分布式的基础上改进了增量机制,增量信息可直接存放于共享目录(如1所说的中心节点),所有的client共享,意味着一个工作节点在运行了任务处理之后,其他节点上的工作节点如果也运行相同的资源处理,那么会直接利用已有的任务处理结果,大大提升了团队的开发效率。具体来说,对于一个资源任务,运行之前会去特定的共享目录中查询md5信息,如果输入文件的md5值匹配,那么直接拷贝缓存的输出文件;如果输入文件的md5值不匹配,运行资源处理程序,结束之后保存其输入文件的md5以及输出文件到共享目录中。
由上述可知,本实施例提供的程序装置,有效解决了资源处理的单点瓶颈,把资源分布到多个物理机上,并且提供自动化部署程序,直接降低了资源处理需要的总时间。同时,有效地利用了局域网内其他机器的闲置cpu资源。提高资源处理的速度,减少总的资源处理耗时,进一步提高游戏的开发和资源发布效率。
图5是本实施例提供的一种优选实施例,具体包括以下步骤:
S501:选择一台中心节点,在局域网内选择多台机器,运行worker程序,该程序启动后向中心节点注册自己的ip信息;
S502:根据资源处理需求配置本地任务信息,该过程可以程序自动化配置,也可手动写配置文件配置,可执行文件的配置如图6所示,图6定义了可执行文件,该文件在本地的路径为Executable参数:K:\H42\trunk\code\src\TXM\Engine\Binaries\Win64\Chef.2017_x64h.exe;该文件依赖的文件列表为ExtraFiles参数,这里只有一个dll文件,即K:\H42\trunk\code\src\TXM\Engine\Binaries\Win64\Account.2017_x64h.dll;
任务的配置文件如图7所示,图7定义了2个任务,分别为camera_1,camera_2,ExecExecutable定义了所依赖的可执行文件,ExecInput定义了输入文件,ExecOutput定义了输出文件,ExecArguments定义了运行的参数。
S503:启动client程序,该程序启动后,首先读取S502的配置文件,然后访问中心节点,获取所有worker的ip列表,然后和worker建立网络连接。Worker首先向client获取可执行文件,保存在本地的临时目录,随后不停向client获取任务(获取任务的输入文件)执行并将执行的结果发送回client,直到没有任务可以获取。配置文件定义了任务的依赖,例如处理贴图需要运行run.exe这么一个可执行文件,那么run.exe就是其依赖。同时,配置文件定义了任务处理的路径,参数等信息,用来在worker上还原改任务的执行环境。
S504:client在发送任务的同时,如果本地cpu有空闲,会开启若干个线程同时运行任务队列中的任务,保证cpu利用率最大化。
S505:获取任务。
S506:任务队列中的所有任务执行完毕之后,资源处理结束,client程序退出。
图8是本实施例中对于增量机制的实现方法的流程图,包括以下步骤:
S801:工作节点从终端获取待执行任务;
S802:计算获取的当前的待执行任务的K-now,K值代表当前任务的索引,计算方式是由可执行文件exepath,可执行文件md5,任务名称name,任务输入文件inputs,输入文件md5,任务运行参数params拼接而成的一个字符串;
S803:工作节点从pathshared目录中获取该待执行任务的K-old;
S804:工作节点判断能够获取从pathshared目录中获取到K-old,如果可以获得转至S805,否则,转至S808;
S805:工作节点判断当前获取的待执行任务的K-now值是否和K-old相等,如果相等,装置S806,否则,转至S808;
S806:如果工作节点判断当前获取的待执行任务的K-now值和K-old相等,直接从pathshared目录获取输出文件,即执行结果;
S807:工作节点将获取的输出文件发送至client;
S808:执行资源处理程序;
S809:K-now以及输出文件写回至pathshared内。
需要说明的是,上述步骤的执行主体可以是上述图1所示的终端,但并不限于此。
本发明实施例还提供了一种任务处理装置,图9是根据本发明实施例提供的任务处理装置的结构示意图(一),如图9所示,该装置包括:
第一获取模块92,用于从中心节点获取工作节点的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端;
建立模块94,用于基于注册信息与工作节点建立网络连接;
第一发送模块96,用于根据所述工作节点的运行状态,将待执行任务对应的可执行文件发送至所述工作节点,以指示所述工作节点执行所述待执行任务。
通过上述步骤,采用从中心节点获取工作节点的注册信息和运行状态,其中,中心节点是网络环境中的一预设终端,工作节点为网络环境中与中心节点网络连接的至少一个终端预设;基于注册信息与工作节点建立网络连接;根据工作节点的运行状态,将待执行任务对应的可执行文件发送至工作节点,以指示工作节点执行待执行任务。即通过工作节点分布式处理本地终端的任务,从而实现了有效处理任务的技术效果,进而解决了相关技术中任务处理效率不高的技术问题。
本实施例中的执行主体可以是终端(例如,电脑),但不限于此。
需要说明的是,上述中的注册信息可以包括工作节点对应终端的IP地址和工作节点对应终端的端口号,或者是工作节点IP地址,或者是工作节点的端口号。
本实施例中的预设网络环境可以是单个局域网,也可以是多个小局域网互通组合的大局域网。局域网中的任一终端都可以作为中心节点。
需要说明的是,上述中的中心节点可以是windows系统的电脑,需要建立一个承载注册信息的共享目录,以列表的形式存储注册信息。
需要说明的是,待执行任务可以是对图片进行压缩的任务,也可以是对图片进行转换的任务。
需要说明的是,工作节点可以以串行的方式执行任务,即在空闲状态是,才会从终端获取待执行任务;工作节点也可以以并行的方式执行认为,即可以同时执行多个任务。
在一个可选的实施例中,在工作节点执行待执行任务之前,需要配置可执行文件的参数信息,其中,参数信息中包括可执行文件的路径和运行参数;并以第一预设格式保存参数信息;第一预设格式可以是xml或者json的格式;将参数信息同步至工作节点上,其中,参数信息用于为工作节点执行待执行任务提供执行环境。
在一个可选的实施例中,配置可执行文件的参数信息之后,需要对待执行任务的资源信息进行配置,其中,资源信息包括:待执行任务的输入路径,待执行任务的输出路径,待执行任务的运行参数;以第二预设格式保存资源信息。例如:以类似xml或json格式的文件形式保存资源信息,配置资源信息可以是定义单个资源任务所依赖的内容,包含资源的输入路径,输出路径,资源需要处理时的参数。待执行任务的粒度可自定义控制,比如有1000个资源文件,可按照每一个资源文件拆分为1000个任务,更细的任务拆分可以带来更高的效率提升。
在一个可选的实施例中,通过以下方式根据工作节点的运行状态,将待执行任务对应的可执行文件发送至工作节点,以指示工作节点执行待执行任务:在工作节点处于空闲状态时,将可执行文件发送至工作节点;将待执行任务发送至工作节点,以指示工作节点执行待执行任务。例如:启动终端client程序,client程序会从资源信息的配置中读取待执行任务,同时连接工作节点worker。Worker首先拉取可执行文件,创建执行环境,然后从client拉取待执行任务执行,同时client自身也会执行任务,保证没有空闲的节点。执行完毕后,将执行的结果回传给client,client汇总所有任务结果,等待所有任务完成后退出。此时,资源处理结果已经全部完毕。
需要说明的是,worker节点可以部署在任意的机器上,同时设置为cpu空闲时才运行。此时不会影响该机器上的其他操作。更加有效地利用了局域网内的闲置cpu资源。
在一个可选的实施例中,将待执行任务发送至工作节点时,终端需要判断本地中央处理器CPU是否处于空闲状态,如果处于空闲状态,即会开启本地的线程执行不同于待执行任务的任务,这样多个任务既可以同时由本地CPU和工作节点同时执行。单机就不会受限于1个cpu的负荷能力。这种分布式的处理方式提高了任务的处理效率。
在一个可选的实施例中,将待执行任务发送至工作节点之后,工作节点执行获取的待执行任务,并将执行结果发送至终端,终端接收工作节点发送的执行结果,其中,执行结果中包括执行待执行任务的状态。可以明确的确定待执行任务的执行情况。
需要说明的是,本实施例中为了进一步缩减任务的处理时间,在待处理任务运行之前会去查询待处理任务是否被处理过,例如,在特定的共享目录中查询待处理任务的md5信息,如果与查询到的输入文件的md5值匹配,那么直接拷贝缓存的输出文件;如果输入文件的md5值不匹配,运行资源处理程序,结束之后保存其输入文件的md5以及输出文件到共享目录中。
本发明实施例还提供了一种任务处理装置,图10是根据本发明实施例提供的任务处理装置的结构示意图(二),如图10所示,该装置包括:
接收模块1002,用于中心节点接收工作节点发送的注册信息和运行状态,其中,中心节点是网络环境中的一预设终端,工作节点为所述网络环境中与中心节点网络连接的至少一个终端;
第二发送模块1004,用于将注册信息和运行状态发送至终端,以指示终端与工作节点建立网络连接,并将终端中的待执行任务对应的可执行文件发送至工作节点进行执行。
通过上述步骤,采用中心节点接收工作节点发送的注册信息和运行状态,其中,中心节点是网络环境中的一预设终端,工作节点为网络环境中与中心节点网络连接的至少一个终端预设;基于注册信息与工作节点建立网络连接;根据工作节点的运行状态,将待执行任务对应的可执行文件发送至工作节点,以指示工作节点执行待执行任务。即通过工作节点分布式处理本地终端的任务,从而实现了有效处理任务的技术效果,进而解决了相关技术中任务处理效率不高的技术问题。
本实施例中的执行主体可以是中心节点(例如,电脑),但不限于此。
需要说明的是,上述中的注册信息可以包括工作节点对应终端的IP地址和工作节点对应终端的端口号,或者是工作节点的IP地址,或者是工作节点的端口号。
本实施例中的预设网络环境可以是单个局域网,也可以是多个小局域网互通组合的大局域网。局域网中的任一终端都可以作为中心节点。
需要说明的是,上述中的中心节点可以是windows系统的电脑,需要建立一个承载注册信息的共享目录,以列表的形式存储注册信息。
需要说明的是,待执行任务可以是对图片进行压缩的任务,也可以是对图片进行转换的任务。
需要说明的是,工作节点可以以串行的方式执行任务,即在空闲状态是,才会从终端获取待执行任务;工作节点也可以以并行的方式执行认为,即可以同时执行多个任务。
在一个可选的实施例中,将注册信息发送至终端之后,终端基于注册信息和运行状态与工作节点建立网络连接。工作节点从终端获取待执行任务,并对待执行任务进行执行,然后将执行结果发送至中心节点,中心节点接收工作节点发送的执行结果,其中,执行结果中包括执行待执行任务的状态;存储执行结果,以指示工作节点在判断出待执行任务已存储在中心节点中时,从中心节点中调取待执行任务的执行结果发送至终端。有效的节约了网络资源,提高了任务的执行效率。
本发明实施例还提供了一种任务处理装置,图11是根据本发明实施例提供的任务处理装置的结构示意图(三),如图11所示,该装置包括:
第三发送模块1102,用于工作节点将注册信息和运行状态发送至中心节点,以指示中心节点将注册信息和运行状态发送至终端,其中,中心节点是网络环境中的一预设终端,工作节点为网络环境中与中心节点网络连接的至少一个终端,注册信息用于终端与工作节点建立网络连接;
获取模块1104,用于从终端获取待执行任务对应的可执行文件;
执行模块1106,用于基于可执行文件和运行状态执行待执行任务。
通过上述步骤,采用工作节点将注册信息和运行状态发送至中心节点,以指示中心节点将注册信息和运行状态发送至终端,其中,中心节点是网络环境中的一预设终端,工作节点为网络环境中与中心节点网络连接的至少一个终端,注册信息用于终端与工作节点建立网络连接;从终端获取待执行任务对应的可执行文件;执行待执行任务。即通过工作节点分布式处理本地终端的任务,从而实现了有效处理任务的技术效果,进而解决了相关技术中任务处理效率不高的技术问题。
本实施例中的执行主体可以是工作节点(例如,电脑),但不限于此。
需要说明的是,上述中的注册信息可以包括工作节点的IP地址和工作节点的端口号,或者是工作节点IP地址,或者是工作节点的端口号。
本实施例中的预设网络环境可以是单个局域网,也可以是多个小局域网互通组合的大局域网。局域网中的任一终端都可以作为中心节点。
需要说明的是,上述中的中心节点可以是windows系统的电脑,需要建立一个承载注册信息的共享目录,以列表的形式存储注册信息。
需要说明的是,待执行任务可以是对图片进行压缩的任务,也可以是对图片进行转换的任务。
需要说明的是,工作节点可以以串行的方式执行任务,即在空闲状态是,才会从终端获取待执行任务;工作节点也可以以并行的方式执行认为,即可以同时执行多个任务。
在一个可选的实施例中通过以下方式从终端获取待执行任务对应的可执行文件:向终端获取可执行文件,其中,可执行文件的参数信息包括:可执行文件的路径和运行参数;将参数信息存储在本地中的预设目录中。可以以xml或者json的格式存储参数信息。
在一个可选的实施例中,通过以下方式基于可执行文件和运行状态执行待执行任务:在确定处于空闲状态时,从终端获取待执行任务,其中,待执行任务的资源信息包括:待执行任务的输入路径,待执行任务的输出路径,待执行任务的运行参数;基于参数信息确定执行待执行任务的执行环境;在执行环境中基于资源信息执行待执行任务。例如:以类似xml或json格式的文件形式保存资源信息,配置资源信息可以是定义单个资源任务所依赖的内容,包含资源的输入路径,输出路径,资源需要处理时的参数。待执行任务的粒度可自定义控制,比如有1000个资源文件,可按照每一个资源文件拆分为1000个任务,更细的任务拆分可以带来更高的效率提升。
启动终端client程序,client程序会从资源信息的配置中读取待执行任务,同时连接工作节点worker。Worker首先拉取可执行文件,创建执行环境,然后从client拉取待执行任务执行,同时client自身也会执行任务,保证没有空闲的节点。执行完毕后,将执行的结果回传给client,client汇总所有任务结果,等待所有任务完成后退出。此时,资源处理结果已经全部完毕。
在一个可选的实施例中,工作节点执行待执行任务之后,会将执行结果发送至中心节点,其中,执行结果中包括执行待执行任务的状态。工作节点在获取待执行任务之后,会判断待执行任务的是否已存储在中心节点中;如果待执行任务已存储在中心节点中,从中心节点中调取待执行任务的执行结果发送至终端。提高了执行任务的效率,节约了网络资源。例如,在特定的共享目录中查询待处理任务的md5信息,如果与查询到的输入文件的md5值匹配,那么直接拷贝缓存的输出文件;如果输入文件的md5值不匹配,运行资源处理程序,结束之后保存其输入文件的md5以及输出文件到共享目录中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以上各步骤的计算机程序。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以上各步骤。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (20)

1.一种任务处理方法,其特征在于,包括:
从中心节点获取工作节点的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端,所述运行状态包括空闲状态;
基于所述注册信息与所述工作节点建立网络连接;
根据所述工作节点的运行状态,将待执行任务对应的可执行文件发送至所述工作节点,以指示所述工作节点执行所述待执行任务;
根据所述工作节点的运行状态,将待执行任务对应的可执行文件发送至所述工作节点,以指示所述工作节点执行所述待执行任务,包括:在所述工作节点的运行状态为空闲状态时,将待执行任务对应的可执行文件发送至所述工作节点,其中,可执行文件用于为工作节点执行待执行任务提供执行环境;将所述待执行任务发送至所述工作节点,以指示所述工作节点执行所述待执行任务。
2.根据权利要求1所述的方法,其特征在于,所述注册信息包括以下至少之一:
所述工作节点对应终端的IP地址;
所述工作节点对应终端的端口号。
3.根据权利要求1所述的方法,其特征在于,根据所述工作节点的运行状态,将待执行任务对应的可执行文件发送至所述工作节点,以指示所述工作节点执行所述待执行任务之前,所述方法还包括:
配置所述可执行文件的参数信息,其中,所述参数信息中包括所述可执行文件的路径和运行参数;
以第一预设格式保存所述参数信息;
将所述参数信息同步至所述工作节点上,其中,所述参数信息用于为所述工作节点执行所述待执行任务提供执行环境。
4.根据权利要求1所述的方法,其特征在于,根据所述工作节点的运行状态,将待执行任务对应的可执行文件发送至所述工作节点,以指示所述工作节点执行所述待执行任务之前,所述方法还包括:
配置所述待执行任务的资源信息,其中,所述资源信息包括:所述待执行任务的输入路径,所述待执行任务的输出路径,所述待执行任务的运行参数;
以第二预设格式保存所述资源信息。
5.根据权利要求4所述的方法,其特征在于,将所述待执行任务发送至所述工作节点时,所述方法还包括:
在确定终端本地的中央处理器CPU空闲时,开启所述本地的线程执行不同于所述待执行任务的任务,其中,所述终端中包括所述待执行任务。
6.根据权利要求1所述的方法,其特征在于,将所述待执行任务发送至所述工作节点之后,所述方法还包括:
接收所述工作节点发送的执行结果,其中,所述执行结果中包括执行所述待执行任务的状态。
7.一种任务处理方法,其特征在于,包括:
中心节点接收工作节点发送的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端,所述运行状态包括空闲状态;
将所述注册信息和所述运行状态发送至终端,以指示所述终端与所述工作节点建立网络连接,并将所述终端中的待执行任务对应的可执行文件发送至所述工作节点进行执行;
将所述终端中的待执行任务对应的可执行文件发送至所述工作节点进行执行,包括:在所述工作节点的运行状态为空闲状态时,将待执行任务对应的可执行文件发送至所述工作节点,其中,可执行文件用于为工作节点执行待执行任务提供执行环境;将所述待执行任务发送至所述工作节点,以指示所述工作节点执行所述待执行任务。
8.根据权利要求7所述的方法,其特征在于,所述注册信息包括以下至少之一:
所述工作节点对应终端的IP地址;
所述工作节点对应终端的端口号。
9.根据权利要求7所述的方法,其特征在于,将所述注册信息和所述运行状态发送至所述终端之后,所述方法还包括:
接收所述工作节点发送的执行结果,其中,所述执行结果中包括执行所述待执行任务的状态;
存储所述执行结果,以指示所述工作节点在判断出所述待执行任务已存储在所述中心节点中时,从所述中心节点中调取所述待执行任务的执行结果发送至所述终端。
10.一种任务处理方法,其特征在于,包括:
工作节点将注册信息和运行状态发送至中心节点,以指示所述中心节点将所述注册信息和所述运行状态发送至终端,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端,所述注册信息用于所述终端与所述工作节点建立网络连接,所述运行状态包括空闲状态;
从所述终端获取待执行任务对应的可执行文件;
基于所述可执行文件和所述运行状态执行所述待执行任务;
从所述终端获取待执行任务对应的可执行文件;包括:在所述工作节点的运行状态为空闲状态时,从所述终端获取待执行任务对应的可执行文件,其中,可执行文件用于为工作节点执行待执行任务提供执行环境。
11.根据权利要求10所述的方法,其特征在于,所述注册信息包括以下至少之一:
所述工作节点对应终端的IP地址;
所述工作节点对应终端的端口号。
12.根据权利要求10所述的方法,其特征在于,从所述终端获取所述待执行任务对应的可执行文件包括:
向所述终端获取所述可执行文件,其中,所述可执行文件的参数信息包括:所述可执行文件的路径和运行参数;
将所述参数信息存储在本地中的预设目录中。
13.根据权利要求12所述的方法,其特征在于,基于所述可执行文件和所述运行状态执行所述待执行任务包括:
在确定处于空闲状态时,从所述终端获取所述待执行任务,其中,所述待执行任务的资源信息包括:所述待执行任务的输入路径,所述待执行任务的输出路径,所述待执行任务的运行参数;
基于所述参数信息确定执行所述待执行任务的执行环境;
在所述执行环境中基于所述资源信息执行所述待执行任务。
14.根据权利要求13所述的方法,其特征在于,执行所述待执行任务之后,所述方法还包括:
将执行结果发送至所述中心节点,其中,所述执行结果中包括执行所述待执行任务的状态。
15.根据权利要求13所述的方法,其特征在于,执行所述待执行任务时,所述方法还包括:
判断所述待执行任务是否已存储在所述中心节点中;
如果所述待执行任务已存储在所述中心节点中,从所述中心节点中调取所述待执行任务的执行结果发送至所述终端。
16.一种任务处理装置,其特征在于,包括:
第一获取模块,用于从中心节点获取工作节点的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端,所述运行状态包括空闲状态;
建立模块,用于基于所述注册信息与所述工作节点建立网络连接;
第一发送模块,用于根据所述工作节点的运行状态,将待执行任务对应的可执行文件发送至所述工作节点,以指示所述工作节点执行所述待执行任务;
所述第一发送模块,还用于:在所述工作节点的运行状态为空闲状态时,将待执行任务对应的可执行文件发送至所述工作节点,其中,可执行文件用于为工作节点执行待执行任务提供执行环境;将所述待执行任务发送至所述工作节点,以指示所述工作节点执行所述待执行任务。
17.一种任务处理装置,其特征在于,包括:
接收模块,用于中心节点接收工作节点发送的注册信息和运行状态,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端,所述运行状态包括空闲状态;
第二发送模块,用于将所述注册信息和所述运行状态发送至终端,以指示所述终端与所述工作节点建立网络连接,并将所述终端中的待执行任务对应的可执行文件发送至所述工作节点进行执行;
所述第二发送模块,还用于:在所述工作节点的运行状态为空闲状态时,将待执行任务对应的可执行文件发送至所述工作节点,其中,可执行文件用于为工作节点执行待执行任务提供执行环境;将所述待执行任务发送至所述工作节点,以指示所述工作节点执行所述待执行任务。
18.一种任务处理装置,其特征在于,包括:
第三发送模块,用于工作节点将注册信息和运行状态发送至中心节点,以指示所述中心节点将所述注册信息和所述运行状态发送至终端,其中,所述中心节点是网络环境中的一预设终端,所述工作节点为所述网络环境中与所述中心节点网络连接的至少一个终端,所述注册信息用于所述终端与所述工作节点建立网络连接,所述运行状态包括空闲状态;
获取模块,用于从所述终端获取待执行任务对应的可执行文件;
执行模块,用于基于所述可执行文件和所述运行状态执行所述待执行任务,
所述获取模块,还用于在所述工作节点的运行状态为空闲状态时,从所述终端获取待执行任务对应的可执行文件,其中,可执行文件用于为工作节点执行待执行任务提供执行环境。
19.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法,或者,执行所述权利要求7至9任一项中所述的方法,或者执行所述权利要求10至15任一项中所述的方法。
20.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法,或者,执行所述权利要求7至9任一项中所述的方法,或者执行所述权利要求10至15任一项中所述的方法。
CN201811496383.0A 2018-12-07 2018-12-07 任务处理方法、装置、存储介质和电子装置 Active CN109614232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811496383.0A CN109614232B (zh) 2018-12-07 2018-12-07 任务处理方法、装置、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811496383.0A CN109614232B (zh) 2018-12-07 2018-12-07 任务处理方法、装置、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN109614232A CN109614232A (zh) 2019-04-12
CN109614232B true CN109614232B (zh) 2021-02-19

Family

ID=66008345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811496383.0A Active CN109614232B (zh) 2018-12-07 2018-12-07 任务处理方法、装置、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN109614232B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124640A (zh) * 2019-12-11 2020-05-08 浙江大华技术股份有限公司 任务分配方法及系统、存储介质、电子装置
CN111045811A (zh) * 2019-12-23 2020-04-21 五八有限公司 一种任务分配方法、装置、电子设备及存储介质
CN112181431A (zh) * 2020-09-30 2021-01-05 完美世界(北京)软件科技发展有限公司 一种分布式数据打包方法及系统、存储介质、计算设备
CN112631738A (zh) * 2021-01-26 2021-04-09 江苏信数科技有限公司 一种基于库容器实现的分布式任务处理的系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN103685416B (zh) * 2012-09-20 2019-04-26 联想(北京)有限公司 分布式任务分配与认领方法以及电子设备
CN104408552A (zh) * 2014-11-13 2015-03-11 华为技术有限公司 任务协作处理方法、装置和系统
CN106411605B (zh) * 2016-10-28 2019-05-31 北京奇虎科技有限公司 一种节点网络自组织方法、装置、服务器和系统
CN108256118B (zh) * 2018-02-13 2023-09-22 腾讯科技(深圳)有限公司 数据处理方法、装置、系统、计算设备以及存储介质

Also Published As

Publication number Publication date
CN109614232A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN109614232B (zh) 任务处理方法、装置、存储介质和电子装置
US10805363B2 (en) Method, device and system for pushing file
CN115328663B (zh) 基于PaaS平台进行资源调度的方法、装置、设备和存储介质
EP3777089A1 (en) Updateable smart contracts
CN112506617B (zh) Kubernetes集群中边车容器的镜像更新方法及装置
CN110377431B (zh) 多注册中心场景下服务调用方法及装置
CN107704310B (zh) 一种实现容器集群管理的方法、装置和设备
CN111064626B (zh) 配置更新方法、装置、服务器及可读存储介质
CN110602250A (zh) 数据同步方法、装置、服务器和终端设备
CN103685496A (zh) 一种文件数据的传输方法和设备
CN112363775A (zh) 动态修改微服务配置信息的方法及系统、存储介质
CN111752582A (zh) 局域网内的软件更新方法、装置及电子设备
CN115023919A (zh) 防火墙规则的更新方法、装置、服务器及存储介质
CN112748961A (zh) 启动任务的执行方法和装置
CN113268310B (zh) 一种Pod资源配额调整方法、装置、电子设备及存储介质
CN105871960B (zh) 调用数据共享的方法、装置及设备
CN115550354A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN110990116B (zh) 在智能网卡和虚拟机之间传输数据的方法、装置和系统
CN116521573A (zh) 一种自动化测试方法、装置、设备及存储介质
CN113326192B (zh) 用于移动端的应用测试方法、装置、设备及存储介质
CN115268951A (zh) 一种操作系统的安装方法、装置、设备及存储介质
CN113504981A (zh) 任务调度方法和装置、存储介质及电子设备
CN109669793B (zh) 中间件进程内对象调用方法
CN110474954B (zh) 基于区块链的文件分享方法、装置、计算机设备及可读存储介质
CN114510325A (zh) 任务调度方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant