CN113114731B - 任务处理方法、装置、服务器及存储介质 - Google Patents

任务处理方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN113114731B
CN113114731B CN202110305937.XA CN202110305937A CN113114731B CN 113114731 B CN113114731 B CN 113114731B CN 202110305937 A CN202110305937 A CN 202110305937A CN 113114731 B CN113114731 B CN 113114731B
Authority
CN
China
Prior art keywords
task
distribution
subtask
content distribution
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110305937.XA
Other languages
English (en)
Other versions
CN113114731A (zh
Inventor
于欣洋
谭培强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110305937.XA priority Critical patent/CN113114731B/zh
Publication of CN113114731A publication Critical patent/CN113114731A/zh
Application granted granted Critical
Publication of CN113114731B publication Critical patent/CN113114731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/34Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5066Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/133Protocols for remote procedure calls [RPC]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开关于一种任务处理方法、装置、服务器及存储介质,涉及计算机技术领域。该方法包括:通过获取一个或多个内容分发任务,确定各内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点,然后根据各内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。由此,通过并行执行至少两个分发子任务,且至少两个分发子任务中各分发子任务占用的服务器资源不同,从而在对子任务调度时,能够更加充分利用现有资源,提高了资源利用率。

Description

任务处理方法、装置、服务器及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种任务处理方法、装置、服务器及存储介质。
背景技术
相关技术中,可在网络直播间中设置挂件等内容,以更方便地向访问直播间的用户推广和宣传各种信息。其中,挂件为悬挂于直播间窗口中用于动态或静态的展示数据的内容。以挂件为例,为了能够将挂件这类内容准时投放至直播间,分片服务器将涉及同一挂件的分发任务添加至任务队列中,并行执行各挂件对应的分发任务。
但是,对于同一个内容的内容分发任务,由于对各内容分发任务进行分发时,需要执行对应任务队列中各分发任务,会存在大量内容分发任务的排队、以及分发时延较长的问题。因此,挂件等内容的分发时延较长成为亟待解决的问题。
发明内容
本公开提供一种任务处理方法、装置、服务器及存储介质,以至少解决相关技术中内容分发时延较长的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供了一种任务处理方法,包括:获取一个或多个内容分发任务,确定各所述内容分发任务对应的分发流程,所述分发流程包括一个或多个分发任务节点;根据各所述内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务;若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务,所述任意至少两个分发子任务中各分发子任务占用的服务器资源不同。
在本公开的一个实施例中,各内容分发任务对应的一个或多个分发子任务包括位于第一顺序的第一子任务和除所述第一子任务之外的第二子任务,所述一个或多个内容分发任务包括位于第一顺序的第一内容分发任务和除所述第一内容分发任务之外的第二内容分发任务;所述若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务,包括:确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源,若确定所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务;或若确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源、所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务。
在本公开的一个实施例中,所述任意至少两个所述分发子任务中包含第一子任务、以及排序在所述第一子任务之后执行的第二子任务;所述若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务,包括:
确定所述第一子任务占服务器资源中的第一服务器资源,若确定所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务;或
若确定所述第一子任务占用服务器资源中的第一服务器资源、所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务。
在本公开的一个实施例中,同一内容分发任务的各子任务之间的执行顺序,是根据对应的分发任务节点在所述分发流程中的执行顺序确定的。
在本公开的一个实施例中,所述基于任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务之后,还包括:监测各所述分发子任务的执行结果;若至少一分发子任务执行失败,则重新执行所述至少一分发子任务,直至达到设定失败次数或所述至少一分发子任务执行成功时,停止执行。
在本公开的一个实施例中,所述获取一个或多个内容分发任务之后,还包括:对所述多个内容分发任务进行任务分片,以得到至少一个任务分片;其中,每个所述任务分片内包含至少一个内容分发任务;将各所述任务分片内的内容分发任务所划分的所述分发子任务分配至对应的服务器单机或服务器集群执行,不同任务分片对应的服务器单机或服务器集群不同。
在本公开的一个实施例中,所述方法还包括:对所述多个内容分发任务周期性监测执行速度;依据所述执行速度,调整任务分片的数量。
在本公开的一个实施例中,所述依据所述执行速度,调整任务分片的数量,包括:根据所述执行速度,预测所述多个内容分发任务执行完毕所需的时长;若所述时长大于阈值上限,则调高分片数;其中,所述调高后的分片数小于或等于分片上限;若所述时长小于阈值下限,则调低分片数;其中,所述调低后的分片数大于或等于分片下限。
本公开的实施例提供的任务处理方法,获取一个或多个内容分发任务,确定各内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点,然后根据各内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。由此,通过并行执两个分发子任务,且两个分发子任务中各分发子任务占用的服务器资源不同,从而在对子任务调度时,能够更加充分利用现有资源,提高了资源利用率,在一定程度上解决了分发时延问题。
根据本公开实施例的第二方面,提供一种任务处理装置,包括:获取模块,被配置为执行获取一个或多个内容分发任务,确定各所述内容分发任务对应的分发流程,所述分发流程包括一个或多个分发任务节点;划分模块,被配置为执行根据各所述内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务;执行模块,被配置为执行若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务,所述任意至少两个分发子任务中各分发子任务占用的服务器资源不同。
在本公开的一个实施例中,各内容分发任务对应的一个或多个分发子任务包括位于第一顺序的第一子任务和除所述第一子任务之外的第二子任务,所述一个或多个内容分发任务包括位于第一顺序的第一内容分发任务和除所述第一内容分发任务之外的第二内容分发任务;所述执行模块,包括:第一执行单元,被配置为执行确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源,若确定所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务;或第二执行单元,被配置为执行若确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源、所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务。
在本公开的一个实施例中,所述任意至少两个所述分发子任务中包含第一子任务、以及排序在所述第一子任务之后执行的第二子任务;所述执行模块,包括:第三执行单元,被配置为确定所述第一子任务占服务器资源中的第一服务器资源,若确定所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务;或第四执行单元,被配置为若确定所述第一子任务占用服务器资源中的第一服务器资源、所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务。
在本公开的一个实施例中,同一内容分发任务的各子任务之间的执行顺序,是根据对应的分发任务节点在所述分发流程中的执行顺序确定的。
在本公开的一个实施例中,所述装置还包括:第一监测模块,被配置为执行监测各所述分发子任务的执行结果;停止执行模块,被配置为执行若至少一分发子任务执行失败,则重新执行所述至少一分发子任务,直至达到设定失败次数或所述至少一分发子任务执行成功时,停止执行。
在本公开的一个实施例中,所述装置还包括:确定模块,被配置为执行对所述多个内容分发任务进行任务分片,以得到至少一个任务分片;其中,每个所述任务分片内包含至少一个内容分发任务;分配模块,被配置为执行将各所述任务分片内的内容分发任务所划分的所述分发子任务分配至对应的服务器单机或服务器集群执行,不同任务分片对应的服务器单机或服务器集群不同。
在本公开的一个实施例中,所述装置还包括:第二监测模块,被配置为执行对所述多个内容分发任务周期性监测执行速度;调整模块,被配置为执行依据所述执行速度,调整任务分片的数量。
在本公开的一个实施例中,所述调整模块,包括:预测时长单元,被配置为执行根据所述执行速度,预测所述多个内容分发任务执行完毕所需的时长;调高单元,被配置为执行若所述时长大于阈值上限,则调高分片数;其中,所述调高后的分片数小于或等于分片上限;调低单元,被配置为执行若所述时长小于阈值下限,则调低分片数;其中,所述调低后的分片数大于或等于分片下限。
本公开的实施例提供的任务处理装置,获取一个或多个内容分发任务,确定各内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点,然后根据各内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。由此,通过并行执两个分发子任务,且两个分发子任务中各分发子任务占用的服务器资源不同,从而在对子任务调度时,能够更加充分利用现有资源,提高了资源利用率,在一定程度上解决了分发时延问题。
根据本公开实施例的第三方面,提供一种服务器,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现本公开第一方面实施例提供的任务处理方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得所述服务器能够执行本公开第一方面实施例提供的任务处理方法。
根据本申请实施例的第五方面,提供一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,执行如上述实施例第一方面实施例提供的任务处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过获取一个或多个内容分发任务,确定各内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点,然后根据一个或多个分发任务节点,划分内容分发任务为一个或多个分发子任务,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。由此,通过并行执行至少两个分发子任务,且至少两个分发子任务中各分发子任务占用的服务器资源不同,从而在对子任务调度时,能够更加充分利用现有资源,提高了资源利用率,在一定程度上解决了分发时延问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种任务处理方法的流程图。
图2是根据一示例性实施例示出的一种具体实施例的任务处理方法的流程图。
图3是根据一示例性实施例示出的另一种任务处理方法的流程图。
图4是根据一示例性实施例示出的另一种具体实施例的任务处理方法的流程图。
图5是根据一示例性实施例示出的另一种任务处理方法的流程图。
图6是根据一示例性实施例示出的另一种任务处理方法的流程图。
图7为现有技术中一种对内容分发任务处理的示例图。
图8为根据本公开实施例一种对内容分发任务处理的示例图。
图9是根据一示例性实施例示出的一种任务处理方法装置框图。
图10是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本公开实施例的任务处理方法可以由本公开实施例的任务处理装置执行,该任务处理装置可以由软件和/或硬件的方式实现,该任务处理装置可配置在服务器中,也可被配置在电子设备中,其中,电子设备可以是PC(Personal Computer,个人电脑)或移动终端(例如智能手机、平板电脑等)。
图1是根据一示例性实施例示出的一种任务处理方法的流程图,如图1所示,本实施例提出的任务处理方法,可以由服务器执行,包括以下步骤。
在步骤S11中,获取一个或多个内容分发任务,确定各内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点。
其中,在本公开的实施例中,可通过页面展示的内容推广与宣传信息,例如,该内容可以为悬挂于直播间窗口中用于动态或静态的展示数据,例如挂件,用户可以通过操作直播间窗口中悬挂的内容进行互动。
举例而言,假设内容为悬挂于直播间窗口中的挂件,内容分发任务的生成通过以下方式实现:预先设置挂件的属性信息和对应的分发流程,其中,挂件的属性信息包括但不仅限于用户类型、直播间类型、时间段、下发挂件类型等,然后服务器发送挂件的属性信息和挂件的分发流程至分发服务器,分发服务器获取到挂件的属性信息和挂件的分发流程后,根据挂件的属性信息和分发流程生成分发任务。例如,生成一个任务为:在T1时间向1号直播间下发三角标识挂件。
其中,获取多个内容分发任务可理解为在不同时间或相同时间向不同的直播间下发不同的挂件。
本公开实施例中,获取到一个或多个内容分发任务,可确定一个或多个内容分发任务对应的分发流程,其中,分发流程包括一个或多个分发任务节点。
在步骤S12中,根据各内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务。
在本公开实施例中,确定各内容分发任务对应的分发流程后,可根据各内容分发任务对应的分发流程中的一个或多个分发任务节点,将各内容分发任务进行划分,以将各内容分发任务划分为一个或多个分发子任务。
在本公开的一个实施例中,可针对各内容分发任务,确定各内容分发任务对应的分发流程后,可根据分发流程中对应的逻辑流程,将内容分发任务对应的分发流程划分为一个或多个分发子任务,其中,一个逻辑流程对应一个分发子任务,可以将各逻辑流程之间的依赖关系作为对应各分发子任务之间的依赖关系。
在本公开的一个实施例中,由于分发流程对应的逻辑流程不同,其分发流程中的一个或多个分发子任务的类型也不同。
举例而言,通过获取逻辑流程和/或下发逻辑流程,可确定分发流程中的分发子任务的类型为接口(Input/Output,IO)类型,通过判断逻辑,可确定分发流程中的分发子任务的类型为计算(Central Processing Unit,CPU)类型。
在步骤S13中,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。
其中,各内容分发任务对应的一个或多个分发子任务包括位于第一顺序的第一子任务和除第一子任务之外的第二子任务。
在本公开的实施例中,根据各内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务后,可以根据一个或多个分发子任务占用服务器资源的情况,确定需要执行的子任务。
在本公开实施例中,可将一个或多个分发子任务承载到对应的任务框中,并根据各分发子任务占用服务器资源的情况,对多个任务框中对应的分发子任务进行调度。
其中,可通过并行任务计算框架的调度模块对任务框进行触发,任务执行模块基于预设的计算逻辑,对任务框中的分发子任务进行调度。
需要解释的是,调度模块是指用于触发各分发子任务的模块,调度模块可以在任意时刻触发各分发子任务,也可以在设定的时间内触发各分发子任务,在此不做限制;任务执行模块是指用于并行执行任务框中的各分发子任务的模块。
需要说明的是,同一内容分发任务的各子任务之间的执行顺序,是根据对应的分发任务节点在所述分发流程中的执行顺序确定的。
作为本公开实施例的一种可能的情况,确定第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源,若确定第一内容分发任务的第二子任务和第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行第一内容分发任务的第一子任务、第二子任务和第二内容分发任务的分发子任务。
作为本公开实施例的另一种可能的情况,若确定第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源、第一内容分发任务的第二子任务和第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行第一内容分发任务的第一子任务、第二子任务和第二内容分发任务的分发子任务。
本公开的实施例提供的任务处理方法,通过获取一个或多个内容分发任务,确定各内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点,然后根据各内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。由此,通过并行执行至少两个分发子任务,且至少两个分发子任务中各分发子任务占用的服务器资源不同,从而在对子任务调度时,能够更加充分利用现有资源,提高了资源利用率,在一定程度上解决了分发时延问题。
上述实施例是基于一个或多个内容分发任务,并行执行至少两个分发子任务,本公开实施例还出一种基于一个内容分发任务,并行执行两个分发子任务的方法。图2是根据一示例性实施例示出的另一种任务处理方法的流程图。如图2所示,本公开实施例的任务处理方法,可以由服务器执行,包括如下步骤。
在步骤S21中,获取内容分发任务,确定内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点。
其中,在本公开的实施例中,可通过页面展示的内容推广与宣传信息,例如,该内容可为悬挂于直播间窗口中用于动态或静态的展示数据,用户可以通过操作直播间窗口中悬挂的内容进行互动。
举例而言,假设内容为悬挂于直播间窗口中的挂件,内容分发任务的生成通过以下方式实现:预先设置挂件的属性信息和对应的分发流程,其中,挂件的属性信息包括但不仅限于用户类型、直播间类型、时间段、挂件类型等,然后服务器设置挂件的分发流程后,发送挂件的属性信息和分发流程至分发服务器,分发服务器获取到挂件的属性信息和分发流程后,根据挂件的属性信息和分发流程生成内容分发任务。例如,生成一个任务为:在T1时间向1号直播间下发三角标识挂件。
获取到内容分发任务后,可确定内容分发任务对应的分发流程,其中,分发流程包括一个或多个分发任务节点。可以理解为,内容分发任务对应的分发流程可以分为一个或多个逻辑流程,每一个逻辑流程对应的分发过程对应于一个分发任务节点。其中,逻辑流程,可以为获取逻辑流程、判断逻辑流程、下发逻辑流程等。
在步骤S22中,根据一个或多个分发任务节点,划分内容分发任务为一个或多个分发子任务。
在本公开的一个实施例中,可针对内容分发任务,确定内容分发任务对应的分发流程后,可根据分发流程中对应的逻辑流程,将内容分发任务对应的分发流程划分为一个或多个分发子任务,其中,一个逻辑流程对应一个分发子任务,可以将各逻辑流程之间的依赖关系作为对应各分发子任务之间的依赖关系。
在本公开的一个实施例中,由于分发流程对应的逻辑流程不同,其分发流程中的一个或多个分发子任务的类型也不同。
举例而言,通过获取逻辑流程和/或下发逻辑流程,可确定分发流程中的分发子任务的类型为IO类型,通过判断逻辑,可确定分发流程中的分发子任务的类型为CPU类型。
在步骤S23中,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。
其中,任意至少两个分发子任务中包含第一子任务、以及排序在第一子任务之后执行的第二子任务。
在本公开的实施例中,根据一个或多个分发任务节点,划分内容分发任务为一个或多个分发子任务后,可以根据一个或多个分发子任务占用服务器资源的情况,确定需要执行的子任务。
在本公开实施例中,可将一个或多个分发子任务承载到对应的任务框中,并根据各分发子任务占用服务器资源的情况,对多个任务框中对应的分发子任务进行调度。
作为一种可能的实现情况,确定排序在前的第一子任务占用服务器资源中的第一服务器资源,排序在后的第二子任务占用的第二服务器资源未被占用,执行第一子任务和第二子任务。由此,通过并行执行第一子任务和第二子任务,充分利用了机器资源,实现了降低时延的目的。
其中,可通过并行任务计算框架的调度模块对任务框进行触发,任务执行模块基于预设的计算逻辑,对任务框中的分发子任务进行调度。
需要解释的是,调度模块是指用于触发各分发子任务的模块,调度模块可以在任意时刻内触发各分发子任务,也可以在设定的时间内触发各分发子任务,在此不做限定;任务执行模块是指用于并行执行任务框中的各分发子任务的模块。
在本公开实施例中,第一子任务和第二子任务之间的执行顺序,是根据对应的分发任务节点在分发流程中的执行顺序确定的。
本公开的实施例提供的任务处理方法,获取内容分发任务,确定内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点,然后根据一个或多个分发任务节点,划分内容分发任务为一个或多个分发子任务,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。由此,通过并行执行两个分发子任务,且两个分发子任务中各分发子任务占用的服务器资源不同,从而在对子任务调度时,能够更加充分利用现有资源,提高了资源利用率,在一定程度上解决了分发时延问题。
为了实现了对分发子任务执行时的异常处理,图3是根据一示例性实施例示出的一种具体实施例的任务处理方法的流程图。如图3所示,本公开实施例的任务处理方法,由服务器执行,包括如下步骤。
在步骤S31中,获取内容分发任务,确定内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点。
在步骤S32中,根据一个或多个分发任务节点,划分内容分发任务为一个或多个分发子任务。
在步骤S33中,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。
其中,任意至少两个分发子任务中包含第一子任务、以及排序在第一子任务之后执行的第二子任务。
在本公开实施例中,步骤S31至步骤S33的实现过程,可以参见上述实施例中步骤S21至步骤S23的实现过程,在此不再赘述。
在步骤S34中,监测各分发子任务的执行结果。
在本公开实施例中,在任意至少两个分发子任务所需的服务器资源未被占用时,执行任意至少两个分发子任务的过程中,可以对各分发子任务的执行状态进行监控,以确定各分发子任务的执行结果。
在步骤S35中,若至少一分发子任务执行失败,则重新执行至少一分发子任务,直至达到设定失败次数或至少一分发子任务执行成功时,停止执行。
其中,分发子任务执行失败可理解为分发子任务未执行完毕。
在本公开实施例的一种可能的情况下,在监测到分发子任务未执行完毕时,可重新执行该分发子任务,直至在执行该分发子任务的次数达到设定失败次数后停止执行该分发子任务。
举例而言,假设向1号直播间下发挂件时,设定失败次数为5次,执行的某一分发子任务为下发任务,在监测到该下发任务执行失败后,可以重复执行该下发任务,直至执行该下发任务的次数为5次时,停止执行该下发任务。
在本公开实施例的一种可能的情况下,在监测到分发子任务执行失败时,可重新执行该分发子任务,直至该分发子任务执行成功,停止执行。
举例而言,假设向1号直播间下发挂件时执行的某一分发子任务为下发任务,在监测到该下发任务执行失败后,可以重复执行该下发任务,直至执行该下发任务成功时,停止执行该下发任务。
需要解释的是,分发子任务的次数达到设定失败次数,可理解为分发子任务本身存在问题,进而停止执行。
本公开的实施例提供的任务处理方法,通过监测各分发子任务的执行结果,若监测到至少一分发子任务执行失败,则重新执行至少一分发子任务,直至达到设定失败次数或至少一分发子任务执行成功时,停止执行。由此,根据各分发子任务的执行结果,确定各分发子任务是否成功执行,以对执行失败的分发子任务进行处理,从而实现了内容分发过程中对分发子任务执行时的异常处理。
为了实现了对分发子任务执行时的异常处理。图4是根据一示例性实施例示出的一种具体实施例的任务处理方法的流程图。如图4所示,本公开的任务处理方法,由服务器执行,包括如下步骤。
在步骤S41中,获取一个或多个内容分发任务,确定各内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点。
在步骤S42中,根据各内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务。
在步骤S43中,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。在本公开实施例中,步骤S41至步骤S43的实现过程,可以参见上述实施例中步骤S11至步骤S13的实现过程,在此不再赘述。
在步骤S44中,监测各分发子任务的执行结果。
在步骤S45中,若至少一分发子任务执行失败,则重新执行至少一分发子任务,直至达到设定失败次数或至少一分发子任务执行成功时,停止执行。
在本公开实施例中,步骤S44至步骤S45的实现过程,可以参见上述实施例中步骤S34至步骤S35的实现过程,在此不再赘述。
在上述实施例的基础上,在获取到多个内容分发任务后,可以对多个内容分发任务进行任务分片,以实现并行执行各任务分片中的内容分发任务。图5是根据一示例性实施例示出的一种具体实施例的任务处理方法的流程图。如图5所示,本公开的任务处理方法,由服务器执行,包括如下步骤。
在步骤S51中,对多个内容分发任务进行任务分片,以得到至少一个任务分片;其中,每个任务分片内包含至少一个内容分发任务。
其中,任务分片,是指对多个内容分发任务进行划分。例如,假设有10个内容分发任务,对这10个内容分发任务进行任务分片时,可以将前4个内容分发任务划分为一个任务分片,将后5个内容分发任务划分为另一个任务分片。
在本公开的实施例中,获取多个内容分发任务之后,可以根据各内容分发任务中包括的分发子任务的个数,对多个内容分发任务进行任务分片,以得到至少一个任务分片。其中,每个任务分片内包含至少一个内容分发任务,即,每个任务分片内包含有至少一个内容分发任务对应的分发子任务。
举例而言,假设某一任务分片包括有内容分发任务A和内容分发任务B,内容分发任务A对应有5个分发子任务,内容分发任务B对应有3个分发子任务,则该任务分片包含有内容分发任务A对应的5个分发子任务和内容分发任务B对应的3个分发子任务。
可以理解:在各内容分发任务中包括的分发子任务的个数较多时,可以将较少个内容分发任务划分为一个任务分片;在各内容分发任务中包括的分发子任务的个数较少时,可以将较多个内容分发任务划分为一个任务分片。实际的划分过程中可以依据各内容分发任务中包括的分发子任务的个数,在此不做限定。
在步骤S52中,将各任务分片内的内容分发任务所划分的分发子任务分配至对应的服务器单机或服务器集群执行,不同任务分片对应的服务器单机或服务器集群不同。
在本公开的一个实施例中,对多个内容分发任务进行任务分片,得到至少一个任务分片后,针对每个任务分片中包括的内容分发任务对应的分发流程,可确定任务分片的分发流程,其中,分发流程包括但不仅限于获取逻辑流程、判断逻辑流程、下发逻辑流程等。
在本公开的一个实施例中,确定各任务分片中包含的内容分发任务对应的分发流程后,可根据内容分发任务对应的逻辑流程,将内容分发任务对应的分发流程划分为多个分发子任务,其中,一个逻辑流程对应一个分发子任务,将各逻辑流程之间的依赖关系或执行顺序作为对应各分发子任务之间的执行顺序。
其中,依赖关系可理解为后一个逻辑的执行条件依赖上一个执行逻辑的判断结果。
需要说明的是,执行逻辑的不同,其划分的分发子任务的类型也不同。
在本公开的一个实施例中,可将分发流程中,用于获取待分发内容的配置数据的执行逻辑,拆分为IO类型的分发子任务;和/或,将分发判断流程中,用于调用信令服务进行内容分发的执行逻辑,拆分为IO类型的分发子任务;将分发判断流程中,用于判断是否对内容进行分发的执行逻辑,拆分为CPU类型的分发子任务。
其中,IO类型可理解为负责获取服务器中存储的内容分发任务对应的数据,以及调用远程过程调用(Remote Procedure Call,RPC)服务器将需要下发的内容发送至信令服务,CPU类型的负责进行内容是否下发的逻辑判断。
举例而言,一个分发任务的分发流程为:获取用户名和直播间号,然后调用反作弊规则判断将要下发的直播间是否存在反作弊行为,若没有,则继续判断当前直播间是否还在进行直播,若是,则通过RPC调用信令服务器,将需要下发至直播间的包装信令发送至信令服务器,该包装信令包括内容分发任务。信令服务器接收到包装信令后,对包装信令进行解码,得到内容分发任务,进而将各内容分发任务进行下发。
需要解释的是,反作弊规则可以理解为通过清理、拦截、加入黑名单实现反作弊的规则。
本公开实施例中,将获取用户名和直播间号的执行逻辑确定为IO类型的分发子任务,将挂件进行下发至信令服务器的执行逻辑确定为IO类型的分发子任务,将判断将要下发的用户是否存在反作弊行为的执行逻辑和判断当前直播间是否还在进行直播的执行逻辑确定为CPU类型的分发子任务。
任务分片中包含的内容分发任务的数量能够影响任务并行执行的速率,从而最终对时延造成影响。因此,基于任务执行情况,动态调整各任务分片中内容分发任务的数量,能够进一步解决内容分发时延较长的问题。作为一种可能的实现方式,服务器还可以可对多个内容分发任务周期性监测执行速度,依据执行速度,调整任务分片的数量。对应地,如图6所示,具体地实现过程可如下。
在步骤S61中,对多个内容分发任务周期性监测执行速度。
其中,监测执行速度可理解为在单位时间内执行各内容分发任务中对应的分发子任务的数量。
在本公开的实施例中,为了避免待分发内容下发等待时间长,可通过对周期性地监测多个内容分发任务的执行速度,以根据各内容分发任务的执行速度,确定分发任务的下发速率。
在步骤S62中,依据执行速度,调整任务分片数量。
在本公开实施例的中,对多个内容分发任务周期性监测执行速度后,根据内容分发任务的执行速度,预测对应内容分发任务执行完毕所需的时长。例如,假设某一内容分发任务的执行速度为1秒内执行4个分发子任务,若该内容分发任务包括10个分发子任务,则该内容分发任务执行完毕所需的时长为2.5秒。
在本公开的实施例中,确定内容分发任务执行完毕所需的时长后,可以判断时长与阈值上限和阈值下限的大小关系。其中,执行速度越快,执行所需的时长越短,执行速度越慢,执行所需的时长越长。
在本公开的实施例的一种可能的情况下,确定内容分发任务执行完毕所需的时长大于阈值上限,则调高分片数。可理解为,时长大于阈值上限,说明执行完毕内容分发任务耗时较长,可在上一周期划分的任务分片的数量的基础上,将多个内容分发任务划分为较多数量的任务分片,使得各任务分片中包含有较少数量的内容分发任务,从而有利于提高各任务分片的处理速度。
举例而言,假设内容分发任务有30个,其中,分3个任务分片,每个任务分片中有10个内容分发任务,在确定各内容分发任务执行完毕所需的执行时长大于阈值上限时,说明执行各任务分片中的内容分发任务的处理速度较慢,可将3个任务分片增加到10个任务分片,即每个任务分片中有3个内容分发任务,进而加快了各任务分片的处理速度,从而有利于提高并行执行各任务分片的速度。
在本公开的实施例的另一种可能的情况下,确定内容分发任务执行完毕所需的时长小于阈值下限,则调低分片数。可理解为,时长小于阈值下限时,内容分发任务执行完毕所需的时长较短,为了避免浪费过多的计算资源,可在上一周期划分的多个任务分片数量的基础上,将多个内容分发任务划分为较少数量的任务分片,使得各任务分片中包含有较多数量的内容分发任务。
举例而言,假设内容分发任务有30个,其中,分5个任务分片,每个任务分片中有6个内容分发任务,在确定执行时长小于阈值下限时,为了避免浪费过多的计算资源,可将5个任务分片减少到3个任务分片,即每个任务分片中有10个内容分发任务,进而减少计算资源浪费,合理利用计算资源,提高资源的利用率。
本公开的实施例提供的任务处理方法,通过对多个内容分发任务周期性监测执行速度,依据执行速度,调整任务分片数量,由此,根据多个内容分发任务的执行速度,适应性地调整任务分片数量,不仅避免了内容分发任务的执行速度慢而任务分片数量过多造成计算资源浪费的情况,还可以避免内容分发任务的执行速度较快而任务分片数量较少,导致并行执行任务分片速度较慢的情况。
本公开实施例在一定程度上解决了分发时延问题,且通过对多个内容分发任务周期性监测执行速度,依据执行速度,主动增加或减少分片数量,进一步解决内容分发时延较长的问题,以及充分利用了IO和CPU资源,且通过单机并发的基础上,充分利用并行计算资源,增加了并行性,提高了资源利用率,避免了采用大量线程处理,导致的增加了线程切换的开销以及浪费较多资源的问题。
为了方便本领域技术人员更加清楚地了解本公开与现有技术的区别,下面分别介绍下现有技术中对内容分发任务的实现过程、以及本公开实施例对内容分发任务的实现过程。
图7为现有技术中对内容分发任务处理的示例图。如图7所示,现有技术中,例如,运行人员预先配置好内容分发任务的属性信息和分发流程后,服务器将内容分发任务的属性信息和分发流程,通过上游服务器发送至分片服务器,分片服务器采用并行发送的方式,向线程池中添加每个要处理的内容分发任务的分发流程,每个内容分发任务的流程互相隔离互不干扰,最终分片服务器对各分发流程进行信令的包装,得到包装信令后,RPC服务器将包装信令发送至信令服务器,该包装信令包括内容分发任务。信令服务器接收到包装信令后,对包装信令进行解码,以获取到包装信令中包含的内容分发任务的属性信息和分发流程,信令服务器依据内容分发任务的属性信息和分发流程将内容分发任务下发给用户设备。需要说明的是,图7中的分片框架用于执行现有技术中对内容进行分发处理的方法。
图8为根据本公开实施例对内容分发任务处理的示例图。如图8所示,运营人员预先配置好多个内容分发任务的属性信息和分发流程后,服务器将多个内容分发任务的属性信息和分发流程通过上游服务器发送至分片服务器,分片服务器对待分发内容的多个内容分发任务进行任务分片,得到待分发内容的多个任务分片,针对每一个任务分片,分别确定任务分片中各内容分发任务采用的分发流程,其中,分发流程包括多个逻辑流程,将各分发任务中的多个逻辑流程拆分为多个分发子任务,其中,一个逻辑流程对应一个分发子任务。
分片服务器将获取待分发内容的配置数据的执行逻辑拆分为接口类型的分发子任务;和/或,将用于调用信令服务进行内容分发的执行逻辑拆分为接口类型的分发子任务;和/或,将判断是否对内容进行分发的执行逻辑,拆分为计算类型的分发子任务。
然后将各任务分片划分得到的多个分发子任务承载到各任务分片对应的多个任务框(Taskbox)中,对集群中各任务分片对应的单机进行负载监测,依据负载均衡原则对各任务分片中包含的分发子任务的数量进行调整,将调度到的多个分发子任务,从承载的Taskbox转移至并行执行的各任务的任务执行程序(Taskhandler)中执行,其中,任务执行程序的类型包括需占用IO接口资源的IO类型、以及包括需占用CPU资源的CPU类型。分片服务器调用信令服务对待分发内容进行内容分发。由此,通过把任务拆分为细粒度的子任务,从而在对子任务调度时,能够更加充分利用现有资源,提高了资源利用率,在一定程度上解决了分发时延问题。
图9是根据一示例性实施例示出的另一种任务处理装置的框图。
如图9所示,该任务处理装置900可以包括:获取模块910、划分模块920和执行模块930,其中:
获取模块910,被配置为执行获取一个或多个内容分发任务,确定各所述内容分发任务对应的分发流程,所述分发流程包括一个或多个分发任务节点;
划分模块920,被配置为执行根据各所述内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务;
执行模块30,被配置为执行若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务,所述任意至少两个分发子任务中各分发子任务占用的服务器资源不同。在本公开的一个实施例中,各内容分发任务对应的一个或多个分发子任务包括位于第一顺序的第一子任务和除所述第一子任务之外的第二子任务,所述一个或多个内容分发任务包括位于第一顺序的第一内容分发任务和除所述第一内容分发任务之外的第二内容分发任务;执行模块920,可以包括:
第一执行单元,被配置为执行确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源,若确定所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务;或
第二执行单元,被配置为执行若确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源、所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务。
在本公开的一个实施例中,任意至少两个所述分发子任务中包含第一子任务、以及排序在所述第一子任务之后执行的第二子任务;执行模块930,还可以包括:
第三执行单元,被配置为确定所述第一子任务占服务器资源中的第一服务器资源,若确定所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务;或
第四执行单元,被配置为若确定所述第一子任务占用服务器资源中的第一服务器资源、所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务。
在本公开的一个实施例中,同一内容分发任务的各子任务之间的执行顺序,是根据对应的分发任务节点在所述分发流程中的执行顺序确定的。
在本公开的一个实施例中,该任务处理装置900,还可以包括:
第一监测模块,被配置为执行监测各所述分发子任务的执行结果;
停止执行模块,被配置为执行若至少一分发子任务执行失败,则重新执行所述至少一分发子任务,直至达到设定失败次数或所述至少一分发子任务执行成功时,停止执行。
在本公开的一个实施例中,该任务处理装置900,还可以包括:
确定模块,被配置为执行对所述多个内容分发任务进行任务分片,以得到至少一个任务分片;其中,每个所述任务分片内包含至少一个内容分发任务;
分配模块,被配置为执行将各所述任务分片内的内容分发任务所划分的所述分发子任务分配至对应的服务器单机或服务器集群执行,不同任务分片对应的服务器单机或服务器集群不同。
在本公开的一个实施例中,该任务处理装置900,还可以包括:
第二监测模块,被配置为执行对所述多个内容分发任务周期性监测执行速度;
调整模块,被配置为执行依据所述执行速度,调整任务分片的数量。
在本公开的一个实施例中,所述调整模块,还可以包括:预测时长单元,被配置为执行根据所述执行速度,预测所述多个内容分发任务执行完毕所需的时长;调高单元,被配置为执行若所述时长大于阈值上限,则调高分片数;其中,所述调高后的分片数小于或等于分片上限;调低单元,被配置为执行若所述时长小于阈值下限,则调低分片数;其中,所述调低后的分片数大于或等于分片下限。
本公开的实施例提供的任务处理装置,通过获取一个或多个内容分发任务,确定各内容分发任务对应的分发流程,分发流程包括一个或多个分发任务节点,然后根据各内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务,若任意至少两个分发子任务所需的服务器资源未被占用,执行任意至少两个分发子任务,任意至少两个分发子任务中各分发子任务占用的服务器资源不同。由此,通过并行执行至少两个分发子任务,且至少两个分发子任务中各分发子任务占用的服务器资源不同,从而在对子任务调度时,能够更加充分利用现有资源,提高了资源利用率,在一定程度上解决了分发时延问题。
为了实现上述实施例,本公开还提供了一种服务器,图10是根据一示例性实施例示出的一种服务器1000的框图。例如,服务器1000可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图10,服务器1000可以包括以下一个或多个组件:处理组件1002,存储器1004,电源组件1006,多媒体组件1008,音频组件1010,输入/输出(I/O)的接口1012,传感器组件1014,以及通信组件1016。
处理组件1002通常控制服务器1000的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1002可以包括一个或多个模块,便于处理组件1002和其他组件之间的交互。例如,处理组件1002可以包括多媒体模块,以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在服务器1000的操作。这些数据的示例包括用于在服务器1000上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1006为服务器1000的各种组件提供电力。电源组件1006可以包括电源管理系统,一个或多个电源,及其他与为服务器1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述服务器1000和用户之间的提供一个输出接口的触控显示屏。在一些实施例中,触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1008包括一个前置摄像头和/或后置摄像头。当服务器1000处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如,音频组件1010包括一个麦克风(MIC),当服务器1000处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中,音频组件1010还包括一个扬声器,用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器,用于为服务器1000提供各个方面的状态评估。例如,传感器组件1014可以检测到服务器1000的打开/关闭状态,组件的相对定位,例如所述组件为服务器1000的显示器和小键盘,传感器组件1014还可以检测服务器1000或服务器1000一个组件的位置改变,用户与服务器1000接触的存在或不存在,服务器1000方位或加速/减速和服务器1000的温度变化。传感器组件1014可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1014还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1016被配置为便于服务器1000和其他设备之间有线或无线方式的通信。服务器1000可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1016还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,服务器1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述任务处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1004,上述指令可由服务器1000的处理器1020执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信组件1016从网络上被下载和安装,或者从存储器1004被安装,或者从ROM被安装。在该计算机程序被存储器1004执行时,执行本公开实施例的方法中限定的上述功能。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器1000的处理器执行时,使得服务器1000能够执行一种任务处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种任务处理方法,其特征在于,包括:
获取一个或多个内容分发任务,确定各所述内容分发任务对应的分发流程,所述分发流程包括一个或多个分发任务节点;
根据各所述内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务,其中,各所述内容分发任务对应的分发流程分为一个或多个逻辑流程,每一个逻辑流程对应的分发过程对应于一个分发任务节点;
若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务,所述任意至少两个分发子任务中各分发子任务占用的服务器资源不同;
所述获取一个或多个内容分发任务之后,还包括:
对所述多个内容分发任务进行任务分片,以得到至少一个任务分片;其中,每个所述任务分片内包含至少一个内容分发任务;
将各所述任务分片内的内容分发任务所划分的所述分发子任务分配至对应的服务器单机或服务器集群执行,不同任务分片对应的服务器单机或服务器集群不同;
其中,所述方法还包括:
对所述多个内容分发任务周期性监测执行速度;
依据所述执行速度,调整任务分片的数量。
2.根据权利要求1所述的任务处理方法,其特征在于,所述各内容分发任务对应的一个或多个分发子任务包括位于第一顺序的第一子任务和除所述第一子任务之外的第二子任务,所述一个或多个内容分发任务包括位于第一顺序的第一内容分发任务和除所述第一内容分发任务之外的第二内容分发任务;
所述若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务,包括:
确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源,若确定所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务;
若确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源、所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务。
3.根据权利要求1所述的任务处理方法,其特征在于,所述任意至少两个所述分发子任务中包含第一子任务、以及排序在所述第一子任务之后执行的第二子任务;所述若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务,包括:
确定所述第一子任务占用服务器资源中的第一服务器资源,若确定所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务;或
若确定所述第一子任务占用服务器资源中的第一服务器资源、所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务。
4.根据权利要求1所述的任务处理方法,其特征在于,
同一内容分发任务的各子任务之间的执行顺序,是根据对应的分发任务节点在所述分发流程中的执行顺序确定的。
5.根据权利要求1所述的任务处理方法,其特征在于,所述若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务之后,还包括:
监测各所述分发子任务的执行结果;
若至少一分发子任务执行失败,则重新执行所述至少一分发子任务,直至达到设定失败次数或所述至少一分发子任务执行成功时,停止执行。
6.根据权利要求1所述的任务处理方法,其特征在于,所述依据所述执行速度,调整任务分片的数量,包括:
根据所述执行速度,预测所述多个内容分发任务执行完毕所需的时长;
若所述时长大于阈值上限,则调高分片数;其中,所述调高后的分片数小于或等于分片上限;
若所述时长小于阈值下限,则调低分片数;其中,所述调低后的分片数大于或等于分片下限。
7.一种任务处理装置,其特征在于,包括:
获取模块,被配置为执行获取一个或多个内容分发任务,确定各所述内容分发任务对应的分发流程,所述分发流程包括一个或多个分发任务节点;
划分模块,被配置为执行根据各所述内容分发任务对应的分发流程包括的一个或多个分发任务节点,划分各内容分发任务为一个或多个分发子任务,其中,各所述内容分发任务对应的分发流程分为一个或多个逻辑流程,每一个逻辑流程对应的分发过程对应于一个分发任务节点;
执行模块,被配置为执行若任意至少两个所述分发子任务所需的服务器资源未被占用,执行所述任意至少两个分发子任务,所述任意至少两个分发子任务中各分发子任务占用的服务器资源不同;
所述装置还包括:
确定模块,被配置为执行对所述多个内容分发任务进行任务分片,以得到至少一个任务分片;其中,每个所述任务分片内包含至少一个内容分发任务;
分配模块,被配置为执行将各所述任务分片内的内容分发任务所划分的所述分发子任务分配至对应的服务器单机或服务器集群执行,不同任务分片对应的服务器单机或服务器集群不同;
第二监测模块,被配置为执行对所述多个内容分发任务周期性监测执行速度;
调整模块,被配置为执行依据所述执行速度,调整任务分片的数量。
8.根据权利要求7所述的任务处理装置,其特征在于,所述各内容分发任务对应的一个或多个分发子任务包括位于第一顺序的第一子任务和除所述第一子任务之外的第二子任务,所述一个或多个内容分发任务包括位于第一顺序的第一内容分发任务和除所述第一内容分发任务之外的第二内容分发任务;
所述执行模块,包括:
第一执行单元,被配置为执行确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源,若确定所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务;
第二执行单元,被配置为执行若确定所述第一内容分发任务的第一子任务占用服务器资源中的第一服务器资源、所述第一内容分发任务的第二子任务和所述第二内容分发任务的分发子任务占用的第二服务器资源未被占用,执行所述第一内容分发任务的第一子任务、第二子任务和所述第二内容分发任务的分发子任务。
9.根据权利要求7所述的任务处理装置,其特征在于,所述任意至少两个所述分发子任务中包含第一子任务、以及排序在所述第一子任务之后执行的第二子任务;所述执行模块,包括:
第三执行单元,被配置为确定所述第一子任务占服务器资源中的第一服务器资源,若确定所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务;或
第四执行单元,被配置为若确定所述第一子任务占用服务器资源中的第一服务器资源、所述第二子任务占用的第二服务器资源未被占用,执行所述第一子任务和第二子任务。
10.根据权利要求7所述的任务处理装置,其特征在于,
同一内容分发任务的各子任务之间的执行顺序,是根据对应的分发任务节点在所述分发流程中的执行顺序确定的。
11.根据权利要求7所述的任务处理装置,其特征在于,所述装置还包括:
第一监测模块,被配置为执行监测各所述分发子任务的执行结果;
停止执行模块,被配置为执行若至少一分发子任务执行失败,则重新执行所述至少一分发子任务,直至达到设定失败次数或所述至少一分发子任务执行成功时,停止执行。
12.根据权利要求7所述的任务处理装置,其特征在于,所述调整模块,包括:
预测时长单元,被配置为执行根据所述执行速度,预测所述多个内容分发任务执行完毕所需的时长;
调高单元,被配置为执行若所述时长大于阈值上限,则调高分片数;其中,所述调高后的分片数小于或等于分片上限;
调低单元,被配置为执行若所述时长小于阈值下限,则调低分片数;其中,所述调低后的分片数大于或等于分片下限。
13.一种服务器,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的任务处理方法。
14.一种存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得所述服务器能够执行如权利要求1至6中任一项所述的任务处理方法。
CN202110305937.XA 2021-03-19 2021-03-19 任务处理方法、装置、服务器及存储介质 Active CN113114731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110305937.XA CN113114731B (zh) 2021-03-19 2021-03-19 任务处理方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110305937.XA CN113114731B (zh) 2021-03-19 2021-03-19 任务处理方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN113114731A CN113114731A (zh) 2021-07-13
CN113114731B true CN113114731B (zh) 2023-03-14

Family

ID=76711478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110305937.XA Active CN113114731B (zh) 2021-03-19 2021-03-19 任务处理方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN113114731B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466236A (zh) * 2022-01-19 2022-05-10 北京百度网讯科技有限公司 直播间的互动方法、装置、电子设备和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134521A (zh) * 2019-05-28 2019-08-16 北京达佳互联信息技术有限公司 资源分配的方法、装置、资源管理器及存储介质
CN111240848A (zh) * 2020-02-14 2020-06-05 腾讯科技(深圳)有限公司 一种任务分配处理方法及系统
CN112241316A (zh) * 2020-09-18 2021-01-19 武汉迎风聚智科技有限公司 一种分布式调度应用的方法以及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458004B2 (en) * 2010-04-12 2013-06-04 International Business Machines Corporation Dynamically pooling unused capacities across an organization to execute atomic tasks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134521A (zh) * 2019-05-28 2019-08-16 北京达佳互联信息技术有限公司 资源分配的方法、装置、资源管理器及存储介质
CN111240848A (zh) * 2020-02-14 2020-06-05 腾讯科技(深圳)有限公司 一种任务分配处理方法及系统
CN112241316A (zh) * 2020-09-18 2021-01-19 武汉迎风聚智科技有限公司 一种分布式调度应用的方法以及装置

Also Published As

Publication number Publication date
CN113114731A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110515709B (zh) 任务调度系统、方法、装置、电子设备及存储介质
US10282561B2 (en) Method and apparatus for managing application
CN105955765B (zh) 应用预加载方法及装置
WO2017211226A1 (zh) 展示媒体文件的方法、终端和存储介质
CN109254849B (zh) 应用程序的运行方法及装置
US20170094065A1 (en) Information reminding method and apparatus, and electronic terminal
CN109542777B (zh) 一种压力测试方法、装置及可读介质
US20200412865A1 (en) Mobile computing device notification mode determination
US10129718B2 (en) Data usage analytics application for dynamic control of data usage on a client device
CN113760080B (zh) 显示方法、装置及存储介质
CN104679218A (zh) 控制功耗的方法和装置
CN113703937B (zh) 动画切换方法及装置、存储介质
CN111581174A (zh) 基于分布式集群系统的资源管理方法及装置
CN112486658B (zh) 一种任务调度方法、装置和用于任务调度的装置
CN115576645B (zh) 一种虚拟处理器调度方法、装置、存储介质及电子设备
US20190012299A1 (en) Displaying page
CN113867927A (zh) 资源分配方法、装置、电子设备和存储介质
CN107436782B (zh) 应用程序静默安装方法及装置
CN113114731B (zh) 任务处理方法、装置、服务器及存储介质
CN109062625B (zh) 应用程序加载的方法、装置及可读存储介质
CN112035246A (zh) 虚拟资源的获取方法、装置、系统、电子设备及存储介质
CN105786561B (zh) 进程调用的方法及装置
CN111783002B (zh) 网页数据加载方法、装置、电子设备及存储介质
CN113961442A (zh) 一种卡顿异常监测方法、装置、终端设备及介质
CN110209910B (zh) 索引切换调度方法及调度装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant