CN101909048B - 一种集中式转码处理方法和装置 - Google Patents

一种集中式转码处理方法和装置 Download PDF

Info

Publication number
CN101909048B
CN101909048B CN 200910242116 CN200910242116A CN101909048B CN 101909048 B CN101909048 B CN 101909048B CN 200910242116 CN200910242116 CN 200910242116 CN 200910242116 A CN200910242116 A CN 200910242116A CN 101909048 B CN101909048 B CN 101909048B
Authority
CN
China
Prior art keywords
transcoding
task
trans
server
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200910242116
Other languages
English (en)
Other versions
CN101909048A (zh
Inventor
李军
温晓瑶
闫鹏
王晶晶
魏国荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Digital Video Beijing Ltd
Original Assignee
China Digital Video Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Digital Video Beijing Ltd filed Critical China Digital Video Beijing Ltd
Priority to CN 200910242116 priority Critical patent/CN101909048B/zh
Publication of CN101909048A publication Critical patent/CN101909048A/zh
Application granted granted Critical
Publication of CN101909048B publication Critical patent/CN101909048B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种集中式转码处理方法,包括:接收WEB终端提交的转码任务请求;对所述转码任务请求分配优先级;依据各转码服务器反馈的运行状态信息,将相应优先级的转码任务分发至符合要求的转码服务器进行处理;若在预置的第一时间内,未收到所述转码服务器处理所述转码任务的结果,则向该转码服务器发出状态查询请求;若在预置的第二时间内,未收到所述转码服务器针对所述状态查询请求的响应,则将所述转码任务重新分发至其它符合要求的转码服务器。本发明可以提高转码任务的处理效率,并有效节省系统资源。

Description

一种集中式转码处理方法和装置
技术领域
本发明涉及分布式处理的技术领域,特别是涉及一种集中式转码处理方法及一种集中式转码处理装置。
背景技术
随着互联网和手机网络的不断进化,媒体传播的平台越来越多,相应的传播平台支持的媒体格式也越来越多,从手机,到IPTV、高清数字广播,不同平台对内容的格式要求完全不同。为了使多媒体数据能够在异构网络之间、不同种类的接入设备之间以及不同格式之间透明交换,多媒体数据流之间的转码成为当前较热的研究方向。多媒体转码.就是将一种标准和格式的多媒体数据,处理成更适应于某特定应用的另一种标准和格式的多媒体数据。
由于多媒体转码处理,尤其是视频转码是非常耗时、耗费计算机资源的处理过程,因此,现有技术提出采用多个转码服务器来处理多个多媒体转码任务,一般而言,这些任务会按照堆栈的先进先出规则分发给相应的转码服务器进行处理。然而,这种任务分发方法实现起来虽然简单,但完全没有考虑到实际情况,如某个任务比较紧急,某个任务可以稍后处理,采用现有技术都难以实现,从而不利于用户体验。
并且,在具体应用中,转码服务器不可避免地会出现硬件、软件方面的故障,从而可能导致任务处理阻塞的情形;并且,若某台服务器的被某个任务阻塞,其后的任务往往也无法响应,因而严重影响转码效率。
发明内容
本发明所要解决的技术问题是提供一种集中式转码处理方法,以提高转码任务的处理效率,并有效节省系统资源。
为了解决上述技术问题,本发明实施例公开了一种集中式转码处理方法,包括:
接收WEB终端提交的包括传输起始地址信息和转码格式信息的转码任务请求;
对所述转码任务请求手动分配优先级;所述优先级通过获取WEB终端的预置等级,当前转码任务请求中用户设置的紧急度参数,以及,当前转码任务请求的接收时间三种判断条件中包括当前转码任务请求的接收时间在内的至少两种共同决定;依据各转码服务器反馈的运行状态信息,将相应优先级的转码任务分发至符合要求的转码服务器进行处理;具体包括:将优先级最高的任务优先调度给资源占用最少的服务器;
若在预置的100秒内,未收到所述转码服务器处理所述转码任务的结果,则向该转码服务器发出状态查询请求;
若在预置的50秒内,未收到所述转码服务器针对所述状态查询请求的响应,则将所述转码任务重新分发至其它符合要求的转码服务器;还包括:通知发起该转码任务的WEB终端,和/或,在当前调度服务器上触发报警。
与现有技术相比,本发明具有以下优点:
本发明中,对于所接收到的转码任务请求会分配一个优先级,各转码服务器会向主动、实时反馈其运行状态信息;在转码任务分发时,可以依据优先级所反映的任务的轻重缓急,将优先级较高的任务先行分发至当前运行状态空闲及性能较佳的转码服务器,从而使得转码任务的分发更高效、更合理,并有效节省了系统资源。
再者,本发明可以实时监控转码服务器的任务处理情况,一旦监测到发生任务阻塞,就会主动向对应的转码服务器发起状态查询请求,以确认当时是否发生任务阻塞,若是,则重新分发相应的转码任务至其它符合要求的转码服务器,通知发起该任务的用户获知当前任务处理的情况,还可以在当前调度服务器上进行报警,以通知相关技术人员即时对转码服务器的问题进行排查。从而有效提高了转码任务的处理效率,节省了系统资源。
附图说明
图1是本发明的一种集中式转码处理方法实施例的步骤流程图;
图2是本发明的一种集中式转码处理装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:多处理器系统、服务器、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
参考图1,示出了本发明的一种集中式转码处理方法实施例的步骤流程图,具体可以包括:
步骤101、接收WEB终端提交的转码任务请求;
一般而言,转码任务请求中可以包括传输起始地址信息和转码格式信息,例如,目的地址(从A用户端发送至B用户端),目标转码格式(将MPEG4的视频转成MPEG2的视频),以描述一次转码过程所需进行的操作。
在具体实现中,所述传输起始地址信息和转码格式信息也可以依据源WEB终端或目标WEB终端的信息采用预置模板自动配置。例如,对于各地方电视台的源WEB终端提交的转码任务请求,自动配置其目标WEB终端为中央电视台,目标转码格式为高清格式,从而更进一步提高系统的处理效率。
步骤102、对所述转码任务请求分配优先级;
在本发明的一种优选实施例中,所述优先级可以通过当前转码任务请求中用户设置的紧急度参数,以及,当前转码任务请求的接收时间确定。
即在本实施例中,转码系统内任务分发的次序采用“时间+紧急度”两级判断模式,在这种情况下,系统会预先设置紧急度参数,如设置为紧急、普通、低级。即在一种具体应用的示例中,调度服务器接收转码任务请求的输入参数可以参考如下代码:
<Task>
<TaskID></>
<TaskTime></>
<Priority></>
</Task>
其中,TaskTime为该条任务请求的接收时间,在集群中,由于请求数量众多,故所述接收时间最好精确到秒,如AM10:21:55。Priority即对应系统内紧急、普通或低级三级紧急度参数的设置,Priority与TaskTime共同构成了当前任务请求的优先级。默认情况或用户未做设置的情况下,Priority可以自动赋值普通,当调度服务器接收到任务请求后,所有任务请求进入调度服务器的任务队列中,按接收时间顺序排序。当接收的某条任务Priority为紧急时,该任务自动排在任务队列的首位置;当接收的任务的Priority为低级时,自动排在任务队列的末位置;当队列中的任务Priority属性值都一样时,按照任务请求的接收时间先后顺序执行。
在本发明的另一种优选实施例中,所述优先级还可以通过获取WEB终端的预置等级,以及,当前转码任务请求的接收时间确定。
即在本实施例中,转码系统内任务分发的次序采用“时间+目标端等级”两级判断模式,在这种情况下,系统会预先配置用户端的等级参数,如设置为高级用户、一般用户两级。即当接收的某条任务请求中接收端用户是高级用户时,该任务自动排在任务队列的首位置;当接收端用户是一般用户时,按照任务请求的接收时间先后顺序执行。
在本发明的又一种优选实施例中,所述优先级还可以通过获取WEB终端的预置等级,当前转码任务请求中用户设置的紧急度参数,以及,当前转码任务请求的接收时间确定。
即在本实施例中,转码系统内任务分发的次序采用“时间+紧急度+目标端等级”三级判断模式,在这种情况下,系统会预先设置紧急度参数,如设置为紧急、普通、低级;以及,配置用户端的等级参数,如设置为高级用户、一般用户两级。在具体实现中,还可以对所述目标WEB终端的预置等级及紧急度参数进一步分配权重以计算优先级,如对紧急度参数配置较高权重,对所述目标WEB终端的预置等级配置较低等级,当某个任务的紧急度参数为紧急,但目标WEB终端为一般用户时,仍将该任务自动排在任务队列的首位置。
在具体实现中,所述转码系统还可以开放手动调整优先级的接口,以便于相关技术人员依据相关转码服务器的状态手动调整任务的优先级。
当然,本领域技术人员采用其它易于想到的优先级设置方法都是可行的,本发明对此无需加以限制。
步骤103、依据各转码服务器反馈的运行状态信息,将相应优先级的转码任务分发至符合要求的转码服务器进行处理;
所述运行状态信息具体可以通过转码服务器的当前工作状态信息和资源占用信息来体现,例如,当前是否忙碌还是空闲,以及,转码服务器本身的内存、CPU占用情况等。这些信息由转码服务器主动、实时地进行汇报。
在分发转码任务时,只要直接查看所有空闲转码服务器的性能状态,然后将优先级最高的任务优先调度给性能状态最佳(资源占用最少)的服务器。若所有转码服务器都处于忙碌状态,则暂时不调度转码任务,等到有空闲的转码服务器再进行调度。
当然,上述转码任务的分发方法仅仅用作示例,本领域技术人员依据实际情况采用任一种分发规则都是可行的,例如,针对同一优先级的转码任务采用先进先出的原则进行分发,本发明对此无需加以限制。
步骤104、若在预置的第一时间内,未收到所述转码服务器处理所述转码任务的结果,则向该转码服务器发出状态查询请求;
步骤105、若在预置的第二时间内,未收到所述转码服务器针对所述状态查询请求的响应,则将所述转码任务重新分发至其它符合要求的转码服务器。
在具体实现中,本发明可以从分发转码任务至相应转码服务器后开始计时,若在一定时间内(如100秒)未收到该转码服务器返回的任务处理结果,则向转码服务器发起状态查询请求并开始计时,若在一定时间内(如50秒)未收到该转码服务器对该请求的响应,则可以确定该转码服务器可能出现某方面的故障而导致任务阻塞,从而依据当前各转码服务器的运行状态信息,将该转码任务重新分发至其它符合要求的转码服务器。
在重新分发转码任务时,还可以进一步将该转码任务的优先级调至最高,当前只要有空闲转码服务器,就可以直接将该转码任务分发给它,从而尽量减少任务阻塞产生的影响。
可见,应用本发明实施例,若某个服务器遇到硬件或软件故障,导致任务阻塞,不会继续向其分发任务,而会将其它任务交由其它有条件处理的转码服务器进行处理,从而进一步提高了系统的处理效率。
需要说明的是,对于前述的方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
参考图2,示出了本发明的一种集中式转码处理装置实施例的结构框图,具体可以包括以下单元:
请求接收单元201,用于接收WEB终端提交的转码任务请求;
优先级分配单元202,用于对所述转码任务请求分配优先级;
任务调度单元203,用于依据各转码服务器反馈的运行状态信息,将相应优先级的转码任务分发至符合要求的转码服务器进行处理;
故障处理单元204,用于在预置的第一时间内,未收到所述转码服务器处理所述转码任务的结果时,向该转码服务器发出状态查询请求;
重调度单元205,用于在预置的第二时间内,未收到所述转码服务器针对所述状态查询请求的响应时,将所述转码任务重新分发至其它符合要求的转码服务器。
为使本发明的装置与各转码服务器可以在网络上互相访问,在具体实现中,可以在本发明的装置中注册各转码服务器的信息,该注册信息可以为每个转码服务器的IP地址和设备标识信息。即系统内每个转码服务器都会配置固定的IP地址和设备名,将所述IP地址,或者,IP地址和设备名注册在本发明的装置中,就可实现与各转码服务器的通信互连。
在本发明实施例中,转码服务器的运行状态信息是由转码服务器主动、实时地向本发明的装置汇报的。在这种情况下,本发明的装置就不需要在调度每个任务之前,再与转码服务器发起一次关于其运行状态的交互,只需要依据转码服务器主动反馈的运行状态信息,即读取其内部存储的信息,相应分配转码任务就可以了,从而快速地完成对各个转码任务的调度。
在具体实现中,所述任务调度单元可以进一步包括以下子单元:
优先分发子单元,用于将优先级最高的转码任务,调度给当前工作状态为空闲且资源占用最少的转码服务器;
和/或,
中止分发子单元,用于在当前系统内所有转码服务器的当前工作状态均为忙碌时,暂停所述转码任务的调度处理。
即应用本实施例在分发任务时,若某个服务器遇到硬件或软件故障,导致任务阻塞,本发明的装置也不会继续向其分发任务,而会将其它任务交由其它有条件处理的转码服务器进行处理,从而进一步提高了转码处理效率。
在具体实现中,本发明实施例还可以包括以下单元:
报警单元,用于在预置的第二时间内,未收到所述转码服务器针对所述状态查询请求的响应时,通知发起该转码任务的WEB终端,和/或,在当前调度服务器上触发报警。
在本发明的一种优选实施例中,所述优先级可以通过当前转码任务请求中用户设置的紧急度参数,以及,当前转码任务请求的接收时间确定。
或者,所述优先级也可以通过获取WEB终端的预置等级,以及,当前转码任务请求的接收时间确定。
或者,所述优先级还可以通过获取WEB终端的预置等级,当前转码任务请求中用户设置的紧急度参数,以及,当前转码任务请求的接收时间确定。
由于本实施例基本相应于前述方法实施例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此就不赘述了。
以上对本发明所提供的一种集中式转码处理方法及一种集中式转码处理装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (1)

1.一种集中式转码处理方法,其特征在于,包括:
接收WEB终端提交的包括传输起始地址信息和转码格式信息的转码任务请求;
对所述转码任务请求手动分配优先级;所述优先级通过获取WEB终端的预置等级,当前转码任务请求中用户设置的紧急度参数,以及,当前转码任务请求的接收时间三种判断条件中包括当前转码任务请求的接收时间在内的至少两种共同决定;依据各转码服务器反馈的运行状态信息,将相应优先级的转码任务分发至符合要求的转码服务器进行处理;具体包括:将优先级最高的任务优先调度给资源占用最少的服务器;
若在预置的100秒内,未收到所述转码服务器处理所述转码任务的结果,则向该转码服务器发出状态查询请求;
若在预置的50秒内,未收到所述转码服务器针对所述状态查询请求的响应,则将所述转码任务重新分发至其它符合要求的转码服务器;还包括:通知发起该转码任务的WEB终端,和/或,在当前调度服务器上触发报警。
CN 200910242116 2009-12-08 2009-12-08 一种集中式转码处理方法和装置 Expired - Fee Related CN101909048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200910242116 CN101909048B (zh) 2009-12-08 2009-12-08 一种集中式转码处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200910242116 CN101909048B (zh) 2009-12-08 2009-12-08 一种集中式转码处理方法和装置

Publications (2)

Publication Number Publication Date
CN101909048A CN101909048A (zh) 2010-12-08
CN101909048B true CN101909048B (zh) 2013-03-06

Family

ID=43264367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200910242116 Expired - Fee Related CN101909048B (zh) 2009-12-08 2009-12-08 一种集中式转码处理方法和装置

Country Status (1)

Country Link
CN (1) CN101909048B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547432B (zh) * 2010-12-16 2015-07-29 中国移动通信集团广东有限公司 信息处理系统、多媒体信息处理方法和系统
CN105721901A (zh) * 2014-12-31 2016-06-29 乐视云计算有限公司 视频转码适配方法、装置及系统
CN106295927B (zh) * 2015-05-21 2022-07-05 北京京东尚科信息技术有限公司 给操作员分配任务的方法及装置
CN104994407A (zh) * 2015-06-26 2015-10-21 安徽广行通信科技股份有限公司 一种集中自适应视频转码的方法
CN106686406B (zh) * 2015-11-05 2019-05-17 中国电信股份有限公司 用于实现视频实时转码预处理的方法和装置
CN105898404A (zh) * 2015-12-14 2016-08-24 乐视云计算有限公司 转码系统的优先级控制方法和装置
CN106899649B (zh) * 2016-06-30 2020-09-08 阿里巴巴集团控股有限公司 一种任务请求处理方法、装置和用户设备
CN106454402B (zh) * 2016-08-31 2018-11-23 腾讯科技(深圳)有限公司 转码任务调度方法和装置
CN106375319A (zh) * 2016-09-06 2017-02-01 上海爱数信息技术股份有限公司 一种音视频转码调度的方法、装置、设备及系统
CN107067187A (zh) * 2017-05-09 2017-08-18 北京凤凰理理它信息技术有限公司 电话任务管理方法、存储设备、存储介质和装置
CN108900865B (zh) * 2018-06-11 2021-06-15 网宿科技股份有限公司 服务器、转码任务的调度方法及执行方法
CN109561346A (zh) * 2018-12-25 2019-04-02 上海极链网络科技有限公司 一种视频的分布式解析方法及系统
CN110087144A (zh) * 2019-05-15 2019-08-02 深圳市商汤科技有限公司 视频文件处理方法、装置、电子设备和计算机存储介质
CN112291068B (zh) * 2020-11-02 2023-08-18 重庆捷旭科技有限公司 一种基于云存储的多媒体数据处理方法
CN112565774B (zh) * 2020-11-26 2023-05-02 北京达佳互联信息技术有限公司 视频转码资源调度方法及装置
CN115776579A (zh) * 2021-09-06 2023-03-10 北京字跳网络技术有限公司 多媒体资源处理方法、装置、电子设备以及可读存储介质
CN113726620B (zh) * 2021-11-02 2022-04-22 深圳市发掘科技有限公司 智能料理装置的管理方法、装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064670A (zh) * 2006-04-30 2007-10-31 互联天下科技发展(深圳)有限公司 一种网络多业务处理方法和系统
CN101917387A (zh) * 2009-11-17 2010-12-15 新奥特(北京)视频技术有限公司 一种多媒体转码集群系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764184B (zh) * 2005-10-20 2010-07-07 中兴通讯股份有限公司 一种实时流媒体通讯传输方法
CN101098483A (zh) * 2007-07-19 2008-01-02 上海交通大学 以图像组结构为并行处理单元的视频集群转码系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064670A (zh) * 2006-04-30 2007-10-31 互联天下科技发展(深圳)有限公司 一种网络多业务处理方法和系统
CN101917387A (zh) * 2009-11-17 2010-12-15 新奥特(北京)视频技术有限公司 一种多媒体转码集群系统

Also Published As

Publication number Publication date
CN101909048A (zh) 2010-12-08

Similar Documents

Publication Publication Date Title
CN101909048B (zh) 一种集中式转码处理方法和装置
CN101917385B (zh) 调度服务器及多媒体转码用的分布式系统
CN101917326B (zh) 一种分布式转码系统及其任务调度方法
CN107018175B (zh) 移动云计算平台的调度方法和装置
US20210311781A1 (en) Method and system for scalable job processing
CN101917387A (zh) 一种多媒体转码集群系统
US8825797B2 (en) Method and system for providing user service data
KR100883517B1 (ko) 예측 기반 동적 쓰레드 풀 조정방법 및 이를 사용하는에이전트 플랫폼
CN101917386A (zh) 一种集群式多媒体转码系统及其任务处理方法
CN110769278A (zh) 一种分布式视频转码方法及系统
CN101917606B (zh) 一种转码系统的控制方法及装置
CN102882829A (zh) 一种转码方法及系统
CN101917384B (zh) 一种分布式转码系统的任务分发方法及装置
CN102223454B (zh) 呼叫中心的坐席安排方法及装置
CN110958281A (zh) 基于物联网的数据传输方法及通信装置
CN101702761A (zh) 多媒体视频交互方法和系统
US20230275976A1 (en) Data processing method and apparatus, and computer-readable storage medium
CN111200606A (zh) 深度学习模型任务处理方法、系统、服务器及存储介质
CN104052677A (zh) 单一数据源的软负载均衡方法和装置
CN113364697A (zh) 流量控制方法、装置、设备及计算机可读存储介质
CN114138506A (zh) 消息队列调度方法及其装置、设备、介质、产品
CN111093099B (zh) 一种流媒体服务调度方法、装置及系统
CN115589489B (zh) 视频转码方法、装置、设备、存储介质及视频点播系统
CN111190731A (zh) 基于权重的集群任务调度系统
KR20120128013A (ko) 망 부하 감소를 위한 푸시 서비스 제공 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130306

Termination date: 20161208

CF01 Termination of patent right due to non-payment of annual fee