CN104158909A - 一种分布式媒体处理方法及其系统 - Google Patents

Abstract

一种分布式媒体处理方法及其系统，其方法步骤包括如下：集群服务器接收媒体任务，并将媒体任务分段，形成媒体数据片段；集群服务器将媒体数据片段分发给集群中的分布式服务器进行处理；分布式服务器将处理完毕的媒体数据片段返回给集群服务器；集群服务器将处理完毕的媒体数据片段进行合并，完成媒体的处理；上述步骤过程中，判断集群服务器是否异常；若集群服务器发生异常，则选举产生集群服务器；若集群服务器正常，则继续处理媒体任务，直至媒体任务处理完成。本发明高效利用闲置资源，智能调度优质分布式服务器完成任务；增强源视频数据与处理后输出数据的时效性，在不影响画面质量的前提下大大降低输入与输出的延时。

Description

一种分布式媒体处理方法及其系统

技术领域

本发明涉及媒体数据处理技术领域，尤其是涉及一种分布式媒体处理方法。

背景技术

单机媒体处理系统同一时刻只能完成媒体数据的单一处理，不能充分利用系统闲时的处理能力，以及不能充分发挥其他服务器资源，单机媒体处理系统不能承接高并发的处理任务,而面对当前海量的互联网视频资源和多屏多码率多功能的需求，显然是捉襟见肘。

现有技术中的分布式的视频媒体处理系统不能够充分发挥每台服务器的运算能力，不能够高效利用资源。面对不同的媒体发送平台，面对海量客户端的媒体请求，不能够充分高效的发挥网络分发处理能力。

发明内容

本发明的目的在于设计一种分布式媒体处理方法，解决上述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种分布式媒体处理方法，包括如下步骤：

步骤101，集群服务器接收媒体任务，并将所述媒体任务分段，形成媒体数据片段；

步骤102，所述集群服务器将所述媒体数据片段分发给集群中的分布式服务器进行处理；

步骤103，所述分布式服务器将处理完毕的所述媒体数据片段返回给所述集群服务器；

步骤104，所述集群服务器将处理完毕的所述媒体数据片段进行合并，完成所述媒体的处理；

步骤101～步骤104的过程中，判断所述集群服务器是否异常；

若所述集群服务器发生异常，则选举产生新的集群服务器替代所述集群服务器，返回步骤101；

若所述集群服务器正常，则继续处理所述媒体任务，直至所述媒体任务处理完成。

优选的，步骤102中，所述集群服务器还获取所述分布式服务器的处理能力，根据所述分布式服务器的处理能力进行任务的权重分配。

更加优选的，所述分布式服务器的处理能力包括所述分布式服务器的负载能力。

更加优选的，权重所述述分布式服务器的处理能力包括根据CPU利用率、IO速率、内存使用量、网络吞吐速度和存储容量中一项或多项进行权重。

更加优选的，判断所述集群服务器是否异常，并选举产生新的集群服务器的方法为：

步骤501，将集群内的多个所述分布式服务器进行编号；

步骤502，设一个所述分布式服务器为服务器P；若所述服务器P与所述集群服务器的响应超过预设定时间；则所述服务器P向集群内的其他所述分布式服务器发起选举消息；

若所述集群内无选举响应；则所述服务器P作为新的集群服务器；

若所述集群内有选举响应；则根据响应的分布式服务器的编号的大小选取，作为新的集群服务器。

一种分布式媒体处理系统，包括集群服务器和分布式服务器；

所述集群服务器，用于接收媒体任务，并将所述媒体任务分段，形成媒体数据片段；所述集群服务器将处理完毕的所述媒体数据片段进行合并，完成所述媒体的处理；

所述分布式服务器，用于接收并处理所述媒体数据片段；将处理完毕的所述媒体数据片段返回给所述集群服务器，所述分布式服务器为具有选举新的集群服务器功能的分布式服务器。

优选的，所述集群服务器为通过选举产生的集群服务器。

优选的，所述媒体数据片段包括码率数据、帧率数据和分辨率数据。

优选的，所述分布式服务器为定时向所述集群服务器发起响应请求的分布式服务器；若所述集群服务器无响应，所述分布式服务器为具有选举产生新集群服务器的分布式服务器。

优选的，所述分布式服务器定时向所述集群服务器发起响应请求时，将其运行负载发送到所述集群服务器。

本发明的有益效果可以总结如下：

1.高效利用闲置资源，智能调度优质分布式服务器完成任务；提高了服务器的运算能力；

2.适应前沿视频技术，满足广大的视频客户端播放环境，根据终端的类型、屏幕大小、网络状况等对转码参数做调整，图像清晰度、流畅度均保障用户观看；

3.增强源视频数据与处理后输出数据的时效性，在不影响画面质量的前提下大大降低输入与输出的延时。

附图说明

图1为本发明中分布式媒体处理方法的流程示意图；

图2为本发明中选举产生新的集群服务器方法的流程示意图；

图3为本发明中基于Master/Slave模型，选举集群服务器的实例的时序图；

图4为本发明中基于Master/Slave模型，集群服务器与分布式服务器的工作原理实例时序图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

媒体数据的核心运算是视频，视频转码是指视频从一种编码方式到另一种编码的转换，视频编码是由码率、帧率、分辨率和编码算法决定。而在视频技术和观看设备都高速发展的过程中，差异性的需求异常明显，对不同片源和不同传输方式的需求急剧强烈。为适配不同的设备和网络，分布式高性能的处理能力也需大力提升，优秀的设计流程更能彰显优越性。

如图1所示的一种分布式媒体处理方法，包括如下步骤：

步骤101，集群服务器接收媒体任务，并将媒体任务分段，形成媒体数据片段；

步骤102，集群服务器将媒体数据片段分发给集群中的分布式服务器进行处理；

步骤103，分布式服务器将处理完毕的媒体数据片段返回给集群服务器；

步骤104，集群服务器将处理完毕的媒体数据片段进行合并，完成媒体的处理；

步骤101～步骤104的过程中，判断集群服务器是否异常；

若集群服务器发生异常，则选举产生新的集群服务器替代集群服务器，返回步骤101；

若集群服务器正常，则继续处理媒体任务，直至媒体任务处理完成。

在步骤102中，集群服务器还获取分布式服务器的处理能力，根据分布式服务器的处理能力进行任务的权重分配；分布式服务器的处理能力包括分布式服务器的负载能力；权重述分布式服务器的处理能力包括根据CPU利用率、IO速率、内存使用量、网络吞吐速度和存储容量中一项或多项进行权重。

如图2所示，判断集群服务器是否异常，并选举产生新的集群服务器方法为：

步骤501，将集群内的多个分布式服务器进行编号；

步骤502，设一个分布式服务器为服务器P；若服务器P与集群服务器的响应超过预设定时间；则服务器P向集群内的其他分布式服务器发起选举消息；

若集群内无选举响应；则服务器P作为新的集群服务器；

若集群内有选举响应；则根据响应的分布式服务器的编号的大小选取，作为新的集群服务器。

一种分布式媒体处理系统，包括集群服务器和分布式服务器；

集群服务器，用于接收媒体任务，并将媒体任务分段，形成媒体数据片段；媒体数据片段包括码率数据、帧率数据和分辨率数据；集群服务器将处理完毕的媒体数据片段进行合并，完成媒体的处理；集群服务器为通过选举产生的集群服务器；

分布式服务器，用于接收并处理媒体数据片段；将处理完毕的媒体数据片段返回给集群服务器，分布式服务器为具有选举新的集群服务器功能的分布式服务器。分布式服务器为定时向集群服务器发起响应请求的分布式服务器；若集群服务器无响应，分布式服务器为具有选举产生新集群服务器的分布式服务器；分布式服务器定时向集群服务器发起响应请求时，将其运行负载发送到集群服务器。

在本实施例中采用分布式媒体处理系统能够充分发挥每台服务器的运算能力，高效利用资源。面对不同的媒体发送平台，我们采用开放式的兼容方式给予支持；面对海量客户端的媒体请求，我们拥有高性能网络分发处理能力。

在集群中对流媒体数据采用就近服务器进行处理，减少数据传输，就近利用计算资源；结合集群中的每台服务器的负载情况，计算统计CPU利用率、IO、内存、网络吞吐、存储容量等信息，根据媒体数据处理的功能选择适宜的服务器资源；尽量只进行传输协议的转换、容器封装格式的转换，媒体转码是极其耗计算资源的事情，所以少量处理编码类型的转换；

如图3所示，本实施例中的集群内部基于Master/Slave模型，通过选举算法，选举出唯一的Master作为集群的管理员，即集群服务器，做任务调度；Slave作为集群内部的分布式服务器处理任务。在分布式系统中，Master/Slave的选举采用霸道算法。集群内部的分布式服务器均知道所有服务器编号，Master与Slave保持ping Request和ping Response回话，设定最大消息传输超时时间L，当一个服务器P在2*L时间内发现管理员不没有响应请求时，它就发起选举，重新选取管理员，服务器P负责选举；

霸道选举算法：P向所有服务器发送选举(ELECTION)消息，有服务器编号比P大的才会响应；若无人响应，P获胜成为管理员；若有人响应，响应者接管P的工作；如此循环继续，最终服务器编号最大的获得胜利，成为Master，并将获胜的消息发给其他服务器，均认可Master/Slave集群机制；Master主动向Task Manager Server汇报自己的管理员角色，并获取任务；Master与Slave保持ping Request和ping Response回话；

如图4所示，本发明的处理流程：任务管理服务器(Task Manager Server)向其管理的集群服务器Master发送媒体处理任务和系统设置参数，发送每个任务的流接收白名单、流输入地址、流输出地址、流输出协议类型；针对离线静态文件的转封装和转码任务，Master将片源分段，该集群内所有机器共享片源存储空间，每个Slave机器分别处理不同的片段，任务完成后合并为一个媒体文件；调度策略：

1)Slave定时向Master汇报各自的运行负载情况；

2)Master根据集群最新的负载信息和转封装、转码的文件大小，计算每个Slave需要处理的任务权重，使集群负载均衡，最后发送给Slave处理片段偏移地址等任务信息；

3)Slave完成自己的任务，向Master汇报状态；

4)Master等待所有Slave的任务完成状态汇报后，合并各自的处理结果文件为一个媒体文件。

针对在线的直播任务，根据输出需求和Slave的负载情况Master将不同的任务分发给负载不同机器；调度策略：

1)Slave定时向Master汇报各自的运行负载情况；

2)Master根据集群最新的负载信息和直播转码输出任务的繁重程度，给负载轻的服务器安排转码程度大的任务，给负载重的服务器安排转码程度小的任务；

3)Slave开始处理接收直播数据流，向Master汇报转码后直播输出地址；

4)Master汇总可用直播地址。

如果Master中途宕机，Slave感知Master异常就自动终止内部的所有任务，选举新的Master；

如果更新Master时，Task Manager Server未收到之前的媒体处理结果，将重新给新的Master发送任务；

如果任务正常完成，Master就将任务结果发送给Task Manager Server。通过本发明的方法高效利用闲置资源，智能调度优质服务器完成任务；适应前沿视频技术，满足广大的视频客户端播放环境，根据终端的类型、屏幕大小、网络状况等对转码参数做调整，图像清晰度、流畅度均保障用户观看；增强源视频数据与处理后输出数据的时效性，在不影响画面质量的前提下大大降低输入与输出的延时。

以上通过具体的和优选的实施例详细的描述了本发明，但本领域技术人员应该明白，本发明并不局限于以上所述实施例，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式媒体处理方法，其特征在于，包括如下步骤：

步骤101，集群服务器接收媒体任务，并将所述媒体任务分段，形成媒体数据片段；

步骤102，所述集群服务器将所述媒体数据片段分发给集群中的分布式服务器进行处理；

步骤103，所述分布式服务器将处理完毕的所述媒体数据片段返回给所述集群服务器；

步骤104，所述集群服务器将处理完毕的所述媒体数据片段进行合并，完成所述媒体的处理；

步骤101～步骤104的过程中，判断所述集群服务器是否异常；

若所述集群服务器发生异常，则选举产生新的集群服务器替代所述集群服务器，返回步骤101；

若所述集群服务器正常，则继续处理所述媒体任务，直至所述媒体任务处理完成。

2.根据权利要求1所述的分布式媒体处理方法，其特征在于：步骤102中，所述集群服务器还获取所述分布式服务器的处理能力，根据所述分布式服务器的处理能力进行任务的权重分配。

3.根据权利要求2所述的分布式媒体处理方法，其特征在于：所述分布式服务器的处理能力包括所述分布式服务器的负载能力。

4.根据权利要求3所述的分布式媒体处理方法，其特征在于：权重所述述分布式服务器的处理能力包括根据CPU利用率、IO速率、内存使用量、网络吞吐速度和存储容量中一项或多项进行权重。

5.根据权利要求1所述的分布式媒体处理方法，其特征在于，判断所述集群服务器是否异常，并选举产生新的集群服务器的方法为：

步骤501，将集群内的多个所述分布式服务器进行编号；

步骤502，设一个所述分布式服务器为服务器P；若所述服务器P与所述集群服务器的响应超过预设定时间；则所述服务器P向集群内的其他所述分布式服务器发起选举消息；

若所述集群内无选举响应；则所述服务器P作为新的集群服务器；

若所述集群内有选举响应；则根据响应的分布式服务器的编号的大小选取，作为新的集群服务器。

6.一种分布式媒体处理系统，其特征在于：包括集群服务器和分布式服务器；

所述集群服务器，用于接收媒体任务，并将所述媒体任务分段，形成媒体数据片段；所述集群服务器将处理完毕的所述媒体数据片段进行合并，完成所述媒体的处理；

所述分布式服务器，用于接收并处理所述媒体数据片段；将处理完毕的所述媒体数据片段返回给所述集群服务器，所述分布式服务器为具有选举新的集群服务器功能的分布式服务器。

7.根据权利要求6所述的分布式媒体处理系统，其特征在于：所述集群服务器为通过选举产生的集群服务器。

8.根据权利要求6所述的分布式媒体处理系统，其特征在于：所述媒体数据片段包括码率数据、帧率数据和分辨率数据。

9.根据权利要求6所述的分布式媒体处理系统，其特征在于：所述分布式服务器为定时向所述集群服务器发起响应请求的分布式服务器；若所述集群服务器无响应，所述分布式服务器为具有选举产生新集群服务器的分布式服务器。

10.根据权利要求9所述的分布式媒体处理系统，其特征在于：所述分布式服务器定时向所述集群服务器发起响应请求时，将其运行负载发送到所述集群服务器。