CN104717517A - 一种视频转码任务调度方法及装置 - Google Patents
一种视频转码任务调度方法及装置 Download PDFInfo
- Publication number
- CN104717517A CN104717517A CN201510148332.9A CN201510148332A CN104717517A CN 104717517 A CN104717517 A CN 104717517A CN 201510148332 A CN201510148332 A CN 201510148332A CN 104717517 A CN104717517 A CN 104717517A
- Authority
- CN
- China
- Prior art keywords
- transcoding
- task
- units
- allocated
- transcoding units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种视频转码任务调度方法及装置,一种视频转码任务调度方法,包括以下步骤:获得待分配转码任务;确定可用于处理所述待分配转码任务的转码单元的集合,所述转码单元为用于处理转码任务的转码资源的计量单位;获得所述集合中每个转码单元的负载状态信息;根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元;将所述待分配转码任务分配给所选择的转码单元。应用本发明实施例所提供的技术方案,各个业务方的转码能力可以动态变化,提高了转码资源利用率。
Description
技术领域
本发明涉及多媒体技术领域,特别涉及一种视频转码任务调度方法及装置。
背景技术
在视频网站中,视频转码是视频生产过程中的重要环节。视频转码是指将源视频码流转换成不同的目标视频码流,以适应不同的网络带宽、不同终端的处理能力和不同的用户需求。在视频生产过程中,视频转码具有如下特点:
第一,视频转码任务量大,且增长迅速。在视频网站中,除了PGC(Professional Generated Content,专业生产内容)类视频的转码任务量增长外,更有来自UGC(User Generated Content,用户生产内容)类视频的转码任务量的激增。另外,随着视频播放终端种类的增加,不同用户对视频清晰度等的要求不同,也使得不同码率、不同清晰度的视频转码任务变得更多。
第二,视频转码业务方需求复杂。在视频网站中,业务方来自于很多频道,如电影、电视剧、综艺、动漫、娱乐等频道。各业务方可能会在某段时间内有大量的需要紧急发布的节目,如跟播剧、热门电影、热门综艺等,也就会产生相应的转码任务需求。
第三,转码资源类型多样。在视频网站中,转码资源的类型包括物理机集群、弹性计算Mesos资源、分布式系统基础架构Hadoop资源、GPU(GraphicProcessing Unit,图形处理单元)转码集群等。在不同类型的转码资源下进行视频转码,转码的效率和质量差异较大,不同业务方的某些转码任务,对转码资源有特定要求。
鉴于上述视频网站中视频转码的特点,为了满足不同业务方的需求,现有的一种视频转码任务调度方法是,将不同的转码资源有针对性地分配给各个业务方,调度服务器接收到转码任务后,根据该转码任务所属的业务方,将该转码任务分配给该业务方对应的转码资源。
在现有的这种调度方法中,将不同的转码资源有针对性地分配给各个业务方,使得各个业务方的转码能力比较固定,在实际应用中,对于某个业务方来说,可能在一段时间内都没有大量的转码任务需求,比如,电影频道在没有拿到片源时,不会有大量的转码任务需求,在这段时间内,该业务方对应的转码资源可能处于闲置状态,即使该业务方对应的转码资源能够处理其他业务方的转码任务,且其他业务方的转码任务较多,也无法使用分配给该业务方的转码资源,导致转码资源浪费,转码资源利用率低。
发明内容
为解决上述问题,本发明实施例公开了一种视频转码任务调度方法及装置。技术方案如下:
一种视频转码任务调度方法,包括:
获得待分配转码任务;
确定可用于处理所述待分配转码任务的转码单元的集合,所述转码单元为用于处理转码任务的转码资源的计量单位;
获得所述集合中每个转码单元的负载状态信息;
根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元;
将所述待分配转码任务分配给所选择的转码单元。
在本发明的一种具体实施方式中,所述获得待分配转码任务,包括:
在接收到新的转码任务时,获得该转码任务的优先级信息,并将该转码任务放入任务缓存区中;
根据所述任务缓存区中各转码任务的优先级,确定待分配转码任务。
在本发明的一种具体实施方式中,所述确定可用于处理所述待分配转码任务的转码单元的集合,包括:
确定所述待分配转码任务的任务类型;
根据所述待分配转码任务的任务类型,在全部转码单元中,确定可用于处理该任务类型的转码任务的转码单元的集合。
在本发明的一种具体实施方式中,所述可用于处理所述待分配转码任务的转码单元的集合中所包含的转码单元分为:独享类转码单元和共享类转码单元,其中,
所述独享类转码单元为:专用于处理某一种类型转码任务的转码单元;
所述共享类转码单元为:可用于处理至少两种类型转码任务的转码单元。
在本发明的一种具体实施方式中,所述根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元,包括:
判断所述集合中独享类转码单元是否均满负荷运行;
如果是,则根据所述集合中共享类转码单元的负载状态信息,从所述集合的共享类转码单元中选择一个用于处理所述待分配转码任务的转码单元;
如果否,则根据所述集合中独享类转码单元的负载状态信息,从所述集合的独享类转码单元中选择一个用于处理所述待分配转码任务的转码单元。
一种视频转码任务调度装置,包括:
待分配转码任务获得模块,用于获得待分配转码任务;
转码单元集合确定模块,用于确定可用于处理所述待分配转码任务的转码单元的集合,所述转码单元为用于处理转码任务的转码资源的计量单位;
负载状态信息获得模块,用于获得所述转码单元集合确定模块所确定的集合中每个转码单元的负载状态信息;
转码单元选择模块,用于根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元;
待分配转码任务分配模块,用于将所述待分配转码任务分配给所选择的转码单元。
在本发明的一种具体实施方式中,所述待分配转码任务获得模块,包括:
新的转码任务存储子模块,用于在接收到新的转码任务的情况下,获得该转码任务的优先级信息,并将该转码任务放入任务缓存区中;
待分配转码任务确定子模块,用于根据所述任务缓存区中各转码任务的优先级,确定待分配转码任务。
在本发明的一种具体实施方式中,所述转码单元集合确定模块,包括:
任务类型确定子模块,用于确定所述待分配转码任务的任务类型;
转码单元集合确定子模块,用于根据所述待分配转码任务的任务类型,在全部转码单元中,确定可用于处理该任务类型的转码任务的转码单元的集合。
在本发明的一种具体实施方式中,所述转码单元集合确定模块确定的集合中所包含的转码单元分为:独享类转码单元和共享类转码单元,其中,
所述独享类转码单元为:专用于处理某一种类型转码任务的转码单元;
所述共享类转码单元为:可用于处理至少两种类型转码任务的转码单元。
在本发明的一种具体实施方式中,所述转码单元选择模块,包括:
判断子模块,用于判断所述集合中独享类转码单元是否均满负荷运行,如果是,则触发第一转码单元选择子模块,否则,触发第二转码单元选择子模块;
第一转码单元选择子模块,用于在所述判断子模块的判断结果为是的情况下,根据所述集合中共享类转码单元的负载状态信息,从所述集合的共享类转码单元中选择一个用于处理所述待分配转码任务的转码单元;
第二转码单元选择子模块,用于在所述判断子模块的判断结果为否的情况下,根据所述集合中独享类转码单元的负载状态信息,从所述集合的独享类转码单元中选择一个用于处理所述待分配转码任务的转码单元。
应用本发明实施例所提供的技术方案,根据所有可用于处理待分配转码任务的转码单元的负载状态信息,确定用于处理待分配转码任务的转码单元,转码单元为用于处理转码任务的转码资源的计量单位,没有将转码单元有针对性的分配给各个业务方,也就是同一个转码单元可用于处理不同业务方的转码任务,使得各个业务方的转码能力可以动态变化,提高了转码资源利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中视频转码系统的示意图;
图2为本发明实施例中视频转码任务调度方法的一种实施流程图;
图3为本发明实施例中视频转码任务调度装置的一种结构示意图。
具体实施方式
首先对本发明实施例所提供的一种视频转码任务调度方法进行说明,该方法可以包括以下步骤:
获得待分配转码任务;
确定可用于处理所述待分配转码任务的转码单元的集合,所述转码单元为用于处理转码任务的转码资源的计量单位;
获得所述集合中每个转码单元的负载状态信息;
根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元;
将所述待分配转码任务分配给所选择的转码单元。
上述步骤的执行主体为调度服务器。在实际应用中,可以将调度服务器和所有转码单元作为一个视频转码系统,如图1所示,该系统可以接收视频生产过程中前一生产环节发送的视频转码任务,在本系统中由调度服务器对接收到的视频转码任务进行分配,并由转码单元进行处理后,将转码结果发送到视频生产过程的下一生产环节。转码单元为用于处理转码任务的转码资源的计量单位,可以将一个集群、一台物理机、一台物理机的一个CPU等可以分别作为一个转码单元,本发明实施例对此不做限制。
可以理解的是,在视频转码系统中,包含很多转码单元,以用于处理视频转码任务。同一个转码单元可以处理多种类型的转码任务,同一类型的转码任务可以由多个转码单元进行处理。在视频转码系统中的转码单元中,可用于处理待分配转码任务的转码单元可以有多个,这些转码单元的负载状态各有不同,有的可能正处于处理某转码任务的状态,有的可能正处于空闲状态,调度服务器根据这些转码单元的负载状态信息,选择一个用于处理待分配转码任务的转码单元,并将待分配转码任务分配给所选择的转码单元,完成转码任务的调度。
应用本发明实施例所提供的技术方案,根据所有可用于处理待分配转码任务的转码单元的负载状态信息,确定用于处理待分配转码任务的转码单元,转码单元为用于处理转码任务的转码资源的计量单位,没有将转码单元有针对性的分配给各个业务方,也就是同一个转码单元可用于处理不同业务方的转码任务,使得各个业务方的转码能力可以动态变化,提高了转码资源利用率。
为了使本领域技术人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图2所示,为本发明实施例所提供的视频转码任务调度方法的一种实施流程图,该方法可以包括以下步骤:
S110:获得待分配转码任务;
在视频网站的视频生产过程中,视频转码任务的数量较多,这些转码任务需要由调度服务器分配给各个转码单元,以由转码单元进行相应的转码处理。
在实际应用中,调度服务器可以将其接收到的视频转码任务直接作为待分配转码任务,继续进行步骤S120及以下步骤的操作,即调度服务器每接收到一个新的转码任务,就将其作为待分配转码任务,对其进行分配。
在本发明的一种具体实施方式中,调度服务器在接收到新的转码任务时,可以获得该转码任务的优先级信息,并将该转码任务放入任务缓存区中,然后再根据任务缓存区中各转码任务的优先级,确定待分配转码任务。
在实际应用中,调度服务器可以通过消息队列的方式,将分配给某一转码单元的转码任务打入到该转码单元对应的消息队列中。而因为消息队列具有先进先出的特点,转码单元会按照消息队列中的转码任务的打入顺序进行相应的转码任务的处理,当转码任务较多时,很可能造成消息队列中任务的积压。又因为转码任务的优先级各有不同,有的需要紧急发布的节目所对应的转码任务,其优先级会高于其他转码任务的优先级,如果这类优先级高的转码任务在消息队列中排在后面,就会因为前面任务的积压导致该类转码任务不能被及时处理,影响节目的正常上线。
基于此,调度服务器在接收到新的转码任务时,可以不立即分配,而是将其放入到任务缓存区中。同时,调度服务器在接收新的转码任务时,可以获得该转码任务的优先级信息,各转码任务的优先级可以由转码任务发送方进行确定,或者可以由调度服务器按照转码任务的一些特征进行确定,如根据转码任务所属的业务方或者该转码任务是否属于紧急发布的节目等特征进行确定。
这样,调度服务器可以根据任务缓存区中各转码任务的优先级,确定待分配转码任务,如将任务缓存区中优先级最高的转码任务确定为待分配转码任务。具体的,可以在任务缓存区中按照各转码任务的优先级信息对转码任务进行排序,如果有新的转码任务加入,同样根据其优先级信息与其他转码任务进行实时排序。当需要进行转码任务调度时,就将优先级高的转码任务作为待分配转码任务,可以保证优先级高的转码任务得到优先处理。
获得待分配转码任务后,进一步执行步骤S120的操作。
S120:确定可用于处理所述待分配转码任务的转码单元的集合;
所述转码单元为用于处理转码任务的转码资源的计量单位。
在步骤S110获得了待分配转码任务。可以理解的是,在视频转码系统中,转码单元的类型、对转码任务的处理能力等都可能存在一定的差异。对于待分配转码任务来说,可能有的转码单元并不适合处理这类转码任务,所以需要在视频转码系统的转码单元中确定可用于处理待分配转码任务的转码单元的集合。当然,也可以通过一定的配置,使视频转码系统中所有转码单元均可以处理视频转码系统所接收到的所有转码任务,这种情况下,可用于处理待分配转码任务的转码单元的集合即为视频转码系统中所有转码单元的集合。
在本发明的一种具体实施方式中,步骤S120可以包括以下步骤:
步骤一:确定所述待分配转码任务的任务类型;
步骤二:根据所述待分配转码任务的任务类型,在全部转码单元中,确定可用于处理该任务类型的转码任务的转码单元的集合。
可以理解的是,不同转码任务的任务类型可能相同或者不同,不同任务类型的转码任务对转码单元可能具有不同的要求,如有的转码任务属于某个业务方的某类节目,这类节目所对应的转码任务需要特定的转码单元进行转码,也就是说,某类转码单元只适用于处理某类节目对应的转码任务,那么,对于待分配转码任务,需要根据该待分配转码任务的任务类型,在全部转码单元中,确定可用于处理该任务类型的转码任务的转码单元的集合。
在本发明的另一种具体实施方式中,可用于处理待分配转码任务的转码单元的集合中所包含的转码单元可以分为:独享类转码单元和共享类转码单元。其中,独享类转码单元为:专用于处理某一种类型转码任务的转码单元;共享类转码单元为:可用于处理至少两种类型的转码任务的转码单元。
对于转码任务的类型,可以是其所属的业务方类型,还可以是具体的节目类型。下面以不同类型转码任务对应不同业务方为例来对独享类转码单元和共享类转码单元进行说明。
在实际应用中,为保证各业务方均具有一定的转码能力,可以将一些转码单元作为业务方独享的转码单元,保证在视频转码系统极端拥堵的情况下,各业务方的独享转码单元不会被占用,可以处理该业务方的紧急转码任务。对于某业务方的独享类转码单元,专用于处理该业务方的转码任务,即使该独享类转码单元具有处理其他业务方的转码任务的能力,也不能处理其他业务方的转码任务。相应的,其他非独享的转码单元,可以作为共享的转码单元,处理不同业务方的转码任务。实际处理过程中,可以尽量减少各业务方独享的转码单元数量,这样可以使共享的转码单元数量增多,最大化抵消各个业务方的峰值转码需求。
为方便理解,对独享类转码单元和共享类转码单元进行举例说明。
假设视频转码系统中共有转码单元8个(转码单元A、B、C、D、E、F、G、H),为业务方X设置的独享类转码单元为2个(转码单元A、B),为业务方Y设置的独享类转码单元为1个(转码单元C),为业务方Z设置的独享类转码单元为3个(转码单元F、G、H),这些独享类转码单元只能用于处理相应业务方的转码任务,除这些独享类转码单元外,剩下的转码单元为2个(转码单元D、E),且均可用于处理业务方X、业务方Y和业务方Z的转码任务,即转码单元D、E为共享类转码单元,如果待分配转码任务归属于业务方X,则可用于处理待分配转码任务的转码单元的集合为:{转码单元A、转码单元B、转码单元D、转码单元E}。
S130:获得所述集合中每个转码单元的负载状态信息;
在步骤S120确定了可用于处理待分配转码任务的转码单元的集合,进一步可以获得该集合中每个转码单元的负载状态信息,如其所处理的转码任务的处理进度、其对应的消息队列中有无任务积压等信息。
S140:根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元;
调度服务器在进行转码任务调度时,可以考虑一个或多个维度的信息,如不同类型转码任务的独享转码单元、每类转码任务的最大并发数限制、共享类转码单元的分配比例、分时段运行参数等。在实际应用中,可以综合以上各维度信息,并根据获得的转码单元的负载状态信息,从所确定的集合中选择一个用于处理待分配转码任务的转码单元。
在本发明的一种具体实施方式中,步骤S140可以包括以下步骤:
步骤一:判断所述集合中独享类转码单元是否均满负荷运行;如果是,则执行步骤二,否则,执行步骤三;
步骤二:根据所述集合中共享类转码单元的负载状态信息,从所述集合的共享类转码单元中选择一个用于处理所述待分配转码任务的转码单元;
步骤三:根据所述集合中独享类转码单元的负载状态信息,从所述集合的独享类转码单元中选择一个用于处理所述待分配转码任务的转码单元。
为方便理解,将上述三个步骤结合起来进行说明。
如前所述,调度服务器在进行待分配转码任务的调度时,可以根据待分配转码任务的任务类型,确定可用于处理该待分配转码任务的转码单元的集合,在该集合中选择用于处理该待分配转码任务的转码单元的时候,优先选择独享类转码单元,当该集合中独享类转码单元均处于满负荷运行状态时,选择共享类转码单元。
当然,将待分配转码任务优先分配给独享类转码单元还是共享类转码单元,可以根据实际情况进行设置和调整,如优先分配给共享类转码单元,直到共享类转码单元达到满负荷或者负荷达到一定比例时,再分配给独享类转码单元。
S150:将所述待分配转码任务分配给所选择的转码单元。
将所述待分配转码任务分配给步骤S140所选择的转码单元,完成待分配转码任务的调度。
应用本发明实施例所提供的技术方案,根据所有可用于处理待分配转码任务的转码单元的负载状态信息,确定用于处理待分配转码任务的转码单元,转码单元为用于处理转码任务的转码资源的计量单位,没有将转码单元有针对性的分配给各个业务方,也就是同一个转码单元可用于处理不同业务方的转码任务,使得各个业务方的转码能力可以动态变化,提高了转码资源利用率。
相应于上面的方法实施例,本发明实施例还提供了一种视频转码任务调度装置,参见图3所示,该装置可以包括以下模块:
待分配转码任务获得模块210,用于获得待分配转码任务;
转码单元集合确定模块220,用于确定可用于处理所述待分配转码任务的转码单元的集合,所述转码单元为用于处理转码任务的转码资源的计量单位;
负载状态信息获得模块230,用于获得所述转码单元集合确定模块220所确定的集合中每个转码单元的负载状态信息;
转码单元选择模块240,用于根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元;
待分配转码任务分配模块250,用于将所述待分配转码任务分配给所选择的转码单元。
在本发明的一种具体实施方式中,所述待分配转码任务获得模块210,可以包括以下子模块:
新的转码任务存储子模块,用于在接收到新的转码任务的情况下,获得该转码任务的优先级信息,并将该转码任务放入任务缓存区中;
待分配转码任务确定子模块,用于根据所述任务缓存区中各转码任务的优先级,确定待分配转码任务。
在本发明的一种具体实施方式中,所述转码单元集合确定模块220,可以包括以下子模块:
任务类型确定子模块,用于确定所述待分配转码任务的任务类型;
转码单元集合确定子模块,用于根据所述待分配转码任务的任务类型,在全部转码单元中,确定可用于处理该任务类型的转码任务的转码单元的集合。
在本发明的一种具体实施方式中,所述转码单元集合确定模块220确定的集合中所包含的转码单元分为:独享类转码单元和共享类转码单元,其中,
所述独享类转码单元为:专用于处理某一种类型转码任务的转码单元;
所述共享类转码单元为:可用于处理至少两种类型转码任务的转码单元。
在本发明的一种具体实施方式中,所述转码单元选择模块240,可以包括以下子模块:
判断子模块,用于判断所述集合中独享类转码单元是否均满负荷运行,如果是,则触发第一转码单元选择子模块,否则,触发第二转码单元选择子模块;
第一转码单元选择子模块,用于在所述判断子模块的判断结果为是的情况下,根据所述集合中共享类转码单元的负载状态信息,从所述集合的共享类转码单元中选择一个用于处理所述待分配转码任务的转码单元;
第二转码单元选择子模块,用于在所述判断子模块的判断结果为否的情况下,根据所述集合中独享类转码单元的负载状态信息,从所述集合的独享类转码单元中选择一个用于处理所述待分配转码任务的转码单元。
应用本发明实施例所提供的装置,根据所有可用于处理待分配转码任务的转码单元的负载状态信息,确定用于处理待分配转码任务的转码单元,转码单元为用于处理转码任务的转码资源的计量单位,没有将转码单元有针对性的分配给各个业务方,也就是同一个转码单元可用于处理不同业务方的转码任务,使得各个业务方的转码能力可以动态变化,提高了转码资源利用率。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种视频转码任务调度方法,其特征在于,包括:
获得待分配转码任务;
确定可用于处理所述待分配转码任务的转码单元的集合,所述转码单元为用于处理转码任务的转码资源的计量单位;
获得所述集合中每个转码单元的负载状态信息;
根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元;
将所述待分配转码任务分配给所选择的转码单元。
2.根据权利要求1所述的方法,其特征在于,所述获得待分配转码任务,包括:
在接收到新的转码任务时,获得该转码任务的优先级信息,并将该转码任务放入任务缓存区中;
根据所述任务缓存区中各转码任务的优先级,确定待分配转码任务。
3.根据权利要求1所述的方法,其特征在于,所述确定可用于处理所述待分配转码任务的转码单元的集合,包括:
确定所述待分配转码任务的任务类型;
根据所述待分配转码任务的任务类型,在全部转码单元中,确定可用于处理该任务类型的转码任务的转码单元的集合。
4.根据权利要求1所述的方法,其特征在于,所述可用于处理所述待分配转码任务的转码单元的集合中所包含的转码单元分为:独享类转码单元和共享类转码单元,其中,
所述独享类转码单元为:专用于处理某一种类型转码任务的转码单元;
所述共享类转码单元为:可用于处理至少两种类型转码任务的转码单元。
5.根据权利要求4所述的方法,其特征在于,所述根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元,包括:
判断所述集合中独享类转码单元是否均满负荷运行;
如果是,则根据所述集合中共享类转码单元的负载状态信息,从所述集合的共享类转码单元中选择一个用于处理所述待分配转码任务的转码单元;
如果否,则根据所述集合中独享类转码单元的负载状态信息,从所述集合的独享类转码单元中选择一个用于处理所述待分配转码任务的转码单元。
6.一种视频转码任务调度装置,其特征在于,包括:
待分配转码任务获得模块,用于获得待分配转码任务;
转码单元集合确定模块,用于确定可用于处理所述待分配转码任务的转码单元的集合,所述转码单元为用于处理转码任务的转码资源的计量单位;
负载状态信息获得模块,用于获得所述转码单元集合确定模块所确定的集合中每个转码单元的负载状态信息;
转码单元选择模块,用于根据获得的转码单元的负载状态信息,从所述集合中选择一个用于处理所述待分配转码任务的转码单元;
待分配转码任务分配模块,用于将所述待分配转码任务分配给所选择的转码单元。
7.根据权利要求6所述的装置,其特征在于,所述待分配转码任务获得模块,包括:
新的转码任务存储子模块,用于在接收到新的转码任务的情况下,获得该转码任务的优先级信息,并将该转码任务放入任务缓存区中;
待分配转码任务确定子模块,用于根据所述任务缓存区中各转码任务的优先级,确定待分配转码任务。
8.根据权利要求6所述的装置,其特征在于,所述转码单元集合确定模块,包括:
任务类型确定子模块,用于确定所述待分配转码任务的任务类型;
转码单元集合确定子模块,用于根据所述待分配转码任务的任务类型,在全部转码单元中,确定可用于处理该任务类型的转码任务的转码单元的集合。
9.根据权利要求6所述的装置,其特征在于,所述转码单元集合确定模块确定的集合中所包含的转码单元分为:独享类转码单元和共享类转码单元,其中,
所述独享类转码单元为:专用于处理某一种类型转码任务的转码单元;
所述共享类转码单元为:可用于处理至少两种类型转码任务的转码单元。
10.根据权利要求9所述的装置,其特征在于,所述转码单元选择模块,包括:
判断子模块,用于判断所述集合中独享类转码单元是否均满负荷运行,如果是,则触发第一转码单元选择子模块,否则,触发第二转码单元选择子模块;
第一转码单元选择子模块,用于在所述判断子模块的判断结果为是的情况下,根据所述集合中共享类转码单元的负载状态信息,从所述集合的共享类转码单元中选择一个用于处理所述待分配转码任务的转码单元;
第二转码单元选择子模块,用于在所述判断子模块的判断结果为否的情况下,根据所述集合中独享类转码单元的负载状态信息,从所述集合的独享类转码单元中选择一个用于处理所述待分配转码任务的转码单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510148332.9A CN104717517B (zh) | 2015-03-31 | 2015-03-31 | 一种视频转码任务调度方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510148332.9A CN104717517B (zh) | 2015-03-31 | 2015-03-31 | 一种视频转码任务调度方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104717517A true CN104717517A (zh) | 2015-06-17 |
CN104717517B CN104717517B (zh) | 2018-04-13 |
Family
ID=53416401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510148332.9A Active CN104717517B (zh) | 2015-03-31 | 2015-03-31 | 一种视频转码任务调度方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104717517B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105357546A (zh) * | 2015-11-17 | 2016-02-24 | 国云科技股份有限公司 | 一种基于云计算的视频转码方法 |
CN105577819A (zh) * | 2016-01-26 | 2016-05-11 | 杭州碧创科技有限公司 | 一种虚拟化桌面的分享系统、分享方法以及分享装置 |
CN105872595A (zh) * | 2016-03-31 | 2016-08-17 | 乐视控股(北京)有限公司 | 转码任务分配方法及装置 |
CN105992020A (zh) * | 2015-07-24 | 2016-10-05 | 乐视云计算有限公司 | 一种分配视频转换资源的方法及系统 |
CN106454402A (zh) * | 2016-08-31 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 转码任务调度方法和装置 |
CN106851336A (zh) * | 2017-02-07 | 2017-06-13 | 上海网达软件股份有限公司 | 一种动态资源分配的音视频文件转码方法及系统 |
CN107070686A (zh) * | 2016-12-23 | 2017-08-18 | 武汉烽火众智数字技术有限责任公司 | 一种视频监控平台码流并行转码的系统和方法 |
CN107147867A (zh) * | 2017-05-12 | 2017-09-08 | 网宿科技股份有限公司 | 分布式转码方法和系统 |
CN108512817A (zh) * | 2017-02-28 | 2018-09-07 | 北京大学 | 多视频转码调度方法及装置 |
CN108712422A (zh) * | 2018-05-18 | 2018-10-26 | 网宿科技股份有限公司 | 一种创建转码任务的方法和装置 |
CN108942346A (zh) * | 2018-08-31 | 2018-12-07 | 湖北龙腾电子科技有限公司 | 一种具有换刀功能的切割机 |
CN108965884A (zh) * | 2018-07-13 | 2018-12-07 | 网宿科技股份有限公司 | 一种转码任务的分配方法及调度设备、转码设备 |
CN110113632A (zh) * | 2019-04-22 | 2019-08-09 | 武汉星汉互娱科技有限公司 | 一种流媒体低延时转码任务调度方法及装置 |
CN110324629A (zh) * | 2019-06-27 | 2019-10-11 | 北京奇艺世纪科技有限公司 | 图片转码方法、装置及电子设备 |
CN110351571A (zh) * | 2019-07-05 | 2019-10-18 | 清华大学 | 基于深度强化学习的直播视频云转码资源分配与调度方法 |
CN111031350A (zh) * | 2019-12-24 | 2020-04-17 | 北京奇艺世纪科技有限公司 | 转码资源调度方法、电子设备及计算机可读存储介质 |
CN113891114A (zh) * | 2021-11-18 | 2022-01-04 | 上海哔哩哔哩科技有限公司 | 转码任务调度方法及装置 |
CN114598927A (zh) * | 2022-03-03 | 2022-06-07 | 京东科技信息技术有限公司 | 转码资源的调度方法、系统以及调度装置 |
WO2023160371A1 (zh) * | 2022-02-23 | 2023-08-31 | 华为技术有限公司 | 任务调度方法、装置、电子设备以及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006067483A (ja) * | 2004-08-30 | 2006-03-09 | Sanyo Electric Co Ltd | 映像通信方法及び映像通信装置 |
CN1996854A (zh) * | 2006-12-22 | 2007-07-11 | 中国建设银行股份有限公司 | 不同应用系统间数据交换的统一处理系统及方法 |
CN101917385A (zh) * | 2009-11-17 | 2010-12-15 | 新奥特(北京)视频技术有限公司 | 调度服务器及多媒体转码用的分布式系统 |
CN102882829A (zh) * | 2011-07-11 | 2013-01-16 | 腾讯科技(深圳)有限公司 | 一种转码方法及系统 |
CN103686203A (zh) * | 2013-12-04 | 2014-03-26 | 深圳市融创天下科技股份有限公司 | 视频转码方法及装置 |
CN103686207A (zh) * | 2013-12-04 | 2014-03-26 | 乐视网信息技术(北京)股份有限公司 | 转码任务的调度方法和系统 |
CN104182279A (zh) * | 2014-02-26 | 2014-12-03 | 无锡天脉聚源传媒科技有限公司 | 一种任务调度方法、装置及系统 |
-
2015
- 2015-03-31 CN CN201510148332.9A patent/CN104717517B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006067483A (ja) * | 2004-08-30 | 2006-03-09 | Sanyo Electric Co Ltd | 映像通信方法及び映像通信装置 |
CN1996854A (zh) * | 2006-12-22 | 2007-07-11 | 中国建设银行股份有限公司 | 不同应用系统间数据交换的统一处理系统及方法 |
CN101917385A (zh) * | 2009-11-17 | 2010-12-15 | 新奥特(北京)视频技术有限公司 | 调度服务器及多媒体转码用的分布式系统 |
CN102882829A (zh) * | 2011-07-11 | 2013-01-16 | 腾讯科技(深圳)有限公司 | 一种转码方法及系统 |
CN103686203A (zh) * | 2013-12-04 | 2014-03-26 | 深圳市融创天下科技股份有限公司 | 视频转码方法及装置 |
CN103686207A (zh) * | 2013-12-04 | 2014-03-26 | 乐视网信息技术(北京)股份有限公司 | 转码任务的调度方法和系统 |
CN104182279A (zh) * | 2014-02-26 | 2014-12-03 | 无锡天脉聚源传媒科技有限公司 | 一种任务调度方法、装置及系统 |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105992020A (zh) * | 2015-07-24 | 2016-10-05 | 乐视云计算有限公司 | 一种分配视频转换资源的方法及系统 |
CN105357546A (zh) * | 2015-11-17 | 2016-02-24 | 国云科技股份有限公司 | 一种基于云计算的视频转码方法 |
CN105577819A (zh) * | 2016-01-26 | 2016-05-11 | 杭州碧创科技有限公司 | 一种虚拟化桌面的分享系统、分享方法以及分享装置 |
CN105577819B (zh) * | 2016-01-26 | 2018-10-26 | 杭州碧创科技有限公司 | 一种虚拟化桌面的分享系统、分享方法以及分享装置 |
WO2017166501A1 (zh) * | 2016-03-31 | 2017-10-05 | 乐视控股(北京)有限公司 | 转码任务分配方法及装置 |
CN105872595A (zh) * | 2016-03-31 | 2016-08-17 | 乐视控股(北京)有限公司 | 转码任务分配方法及装置 |
CN106454402A (zh) * | 2016-08-31 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 转码任务调度方法和装置 |
CN106454402B (zh) * | 2016-08-31 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 转码任务调度方法和装置 |
CN107070686A (zh) * | 2016-12-23 | 2017-08-18 | 武汉烽火众智数字技术有限责任公司 | 一种视频监控平台码流并行转码的系统和方法 |
CN106851336B (zh) * | 2017-02-07 | 2020-04-14 | 上海网达软件股份有限公司 | 一种动态资源分配的音视频文件转码方法及系统 |
CN106851336A (zh) * | 2017-02-07 | 2017-06-13 | 上海网达软件股份有限公司 | 一种动态资源分配的音视频文件转码方法及系统 |
CN108512817A (zh) * | 2017-02-28 | 2018-09-07 | 北京大学 | 多视频转码调度方法及装置 |
CN108512817B (zh) * | 2017-02-28 | 2020-09-04 | 北京大学 | 多视频转码调度方法及装置 |
CN107147867A (zh) * | 2017-05-12 | 2017-09-08 | 网宿科技股份有限公司 | 分布式转码方法和系统 |
CN107147867B (zh) * | 2017-05-12 | 2020-09-18 | 网宿科技股份有限公司 | 分布式转码方法和系统 |
CN108712422A (zh) * | 2018-05-18 | 2018-10-26 | 网宿科技股份有限公司 | 一种创建转码任务的方法和装置 |
CN108712422B (zh) * | 2018-05-18 | 2021-05-25 | 网宿科技股份有限公司 | 一种创建转码任务的方法和装置 |
WO2020010709A1 (zh) * | 2018-07-13 | 2020-01-16 | 网宿科技股份有限公司 | 一种转码任务的分配方法及调度设备、转码设备 |
CN108965884A (zh) * | 2018-07-13 | 2018-12-07 | 网宿科技股份有限公司 | 一种转码任务的分配方法及调度设备、转码设备 |
CN108965884B (zh) * | 2018-07-13 | 2020-12-25 | 网宿科技股份有限公司 | 一种转码任务的分配方法及调度设备、转码设备 |
CN108942346A (zh) * | 2018-08-31 | 2018-12-07 | 湖北龙腾电子科技有限公司 | 一种具有换刀功能的切割机 |
CN110113632A (zh) * | 2019-04-22 | 2019-08-09 | 武汉星汉互娱科技有限公司 | 一种流媒体低延时转码任务调度方法及装置 |
CN110324629A (zh) * | 2019-06-27 | 2019-10-11 | 北京奇艺世纪科技有限公司 | 图片转码方法、装置及电子设备 |
CN110324629B (zh) * | 2019-06-27 | 2021-04-09 | 北京奇艺世纪科技有限公司 | 图片转码方法、装置及电子设备 |
CN110351571A (zh) * | 2019-07-05 | 2019-10-18 | 清华大学 | 基于深度强化学习的直播视频云转码资源分配与调度方法 |
CN111031350A (zh) * | 2019-12-24 | 2020-04-17 | 北京奇艺世纪科技有限公司 | 转码资源调度方法、电子设备及计算机可读存储介质 |
CN113891114A (zh) * | 2021-11-18 | 2022-01-04 | 上海哔哩哔哩科技有限公司 | 转码任务调度方法及装置 |
CN113891114B (zh) * | 2021-11-18 | 2023-12-15 | 上海哔哩哔哩科技有限公司 | 转码任务调度方法及装置 |
WO2023160371A1 (zh) * | 2022-02-23 | 2023-08-31 | 华为技术有限公司 | 任务调度方法、装置、电子设备以及计算机可读存储介质 |
CN114598927A (zh) * | 2022-03-03 | 2022-06-07 | 京东科技信息技术有限公司 | 转码资源的调度方法、系统以及调度装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104717517B (zh) | 2018-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104717517A (zh) | 一种视频转码任务调度方法及装置 | |
CN107241281B (zh) | 一种数据处理方法及其装置 | |
CN108268317B (zh) | 一种资源分配方法及装置 | |
CN102301664B (zh) | 多核处理器的流分发方法及装置 | |
CN110474966B (zh) | 处理云平台资源碎片的方法及相关设备 | |
CN111694663B (zh) | 服务器集群的负载均衡方法、装置及系统 | |
CN108965884B (zh) | 一种转码任务的分配方法及调度设备、转码设备 | |
CN105577801B (zh) | 一种业务加速方法及装置 | |
CN104394441A (zh) | 一种视频内容分发的调度方法、装置及系统 | |
CN106303360A (zh) | 终端会议负载均衡方法、装置及系统 | |
CN104063279A (zh) | 任务调度方法、装置和终端 | |
CN112905342B (zh) | 资源调度方法、装置、设备及计算机可读存储介质 | |
CN105337901A (zh) | 一种路由器的智能带宽分配方法及装置 | |
CN112888005B (zh) | 一种面向mec的分布式业务调度方法 | |
CN102469409A (zh) | 一种多媒体会议实现方法和装置 | |
CN100563375C (zh) | Urnti分配方法及其装置 | |
CN109600624A (zh) | 一种基于流媒体的分布式负载均衡方法及装置 | |
CN110738720A (zh) | 特效渲染方法、装置、终端及存储介质 | |
CN116471277A (zh) | 算力分配方法、装置、服务器和计算机可读存储介质 | |
CN103747043A (zh) | 一种cdn服务器调度方法、cdn控制中心及系统 | |
CN111459666A (zh) | 任务派发方法、装置、任务执行系统和服务器 | |
CN107704320B (zh) | 一种分布式系统的任务分配方法及系统 | |
CN110233892A (zh) | Cdn热点资源处理方法、系统及全局热片调度系统 | |
CN115766582A (zh) | 流量控制方法、装置和系统、介质和计算机设备 | |
CN104618492A (zh) | 一种基于多个服务器的数据处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20151008 Address after: 100080 11, 2 North First Street, 1101 Beijing, Haidian District, Haidian Applicant after: Beijing iQIYI Technology Co., Ltd. Address before: A 100080 street Beijing city Haidian District North No. 2, building 10, 11 layers of Goldtron expand Applicant before: Beijing Qiyi Century Technology Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |