CN101291338B

CN101291338B - 一种媒体处理装置及方法

Info

Publication number: CN101291338B
Application number: CN2008100674047A
Authority: CN
Inventors: 陈重奋
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2008-05-23
Filing date: 2008-05-23
Publication date: 2012-02-29
Anticipated expiration: 2028-05-23
Also published as: CN101291338A

Abstract

本发明涉及一种媒体处理装置，该装置包括：信令控制接口模块、信令派发模块以及至少一个媒体处理组件，媒体处理组件包括信令接口及控制部件、至少一个媒体输入部件、媒体输入切换部件、媒体输出多路派发部件以及至少一个媒体输出部件；本发明还提供了一种媒体处理方法，该方法中，媒体处理装置接收到外部控制装置的控制信令后，通过信令控制接口模块将控制信令发送给信令派发模块；信令派发模块将控制信令派发给相应的媒体处理组件；媒体处理组件启动后按照控制信令对媒体流进行处理后输出。本发明可接受内容分发网络中各种信令控制设备的控制指令，完成绝大部分媒体处理工作，大大简化了内容分发网络的复杂性。

Description

一种媒体处理装置及方法

技术领域

本发明涉及流媒体领域，尤其涉及一种在交互式网络电视(IPTV)、手机电视中提供媒体流分发、传输及存储服务的媒体处理装置及方法。

背景技术

随着近年IP网宽带业务的蓬勃发展，基于分组的多媒体娱乐越来越普及，流媒体技术得到了更加广泛的应用，流媒体以其双向交互控制和单向媒体传输为特点，为终端用户提供了许多有特色的服务。

在流媒体应用中，视频、声音等多媒体内容，被分割为一个个小段，采用实时传输协议(Real Time Transport Protocol，RTP)、传输流((TransportStream，TS)等协议封装成一个个媒体数据封包，按一定的码率(又称比特率、速率等)，以流的形式，连续实时地从媒体源端，向目的地传输，这些连续传输的媒体流又称为码流。

内容分发网络(Content distribution network，CDN)是大规模流媒体应用的基础设施，CDN可以提高流媒体内容传输的服务质量、节省骨干网络带宽的技术。在CDN中，根据功能的不同，需要部署各种不同的媒体处理或信令控制设备。

直播和文件视频点播(Video On Demand，VOD)是流媒体最为广泛的基本应用，CDN中部署的设备相当一部分都是提供直播和文件VOD点播服务的媒体处理设备。

提供直播服务常用的设备有：

一、编码器：负责产生直播的实时媒体流，把媒体内容编码成为连续实时的媒体流，单向地向CDN内部其它设备输出或发送；编码器一般是在CDN的内部信令控制下工作；

二、轮播频道设备：与编码器类似，但需要把多个不同的媒体源(从其它编码器接收到的实时媒体流或从本地源文件读取的媒体流)按一定的时间先后次序，轮番滚动输出到CDN中去，输出的媒体流是连续的；轮播频道设备一般是在CDN的内部信令控制下工作；

三、中继设备：把直播的实时媒体流转发到CDN需要的节点；中继设备一般是在CDN的内部信令控制下工作；

四、实时媒体流存储设备：部署在CDN中需要的节点，把直播的实时媒体流存储到本地存储设备中，生成本地媒体文件，供以后的VOD文件点播应用；实时媒体流存储设备一般是在CDN的内部信令控制下工作；

五、实时媒体流单播分发设备：若实时媒体流不是以组播或广播方式传输给终端用户，则需要通过实时媒体流单播分发设备，以点对点(即单播)的方式，把媒体流传给终端用户；实时媒体流单播分发设备一般是在终端用户，即CDN外部信令控制下工作。

对于文件VOD应用来说，一般通过流媒体服务器提供服务。当前，绝大部分的流媒体服务器，都直接在外部的终端用户信令控制下工作，当信令协商成功后，流媒体服务器从本地媒体文件读取内容，生成媒体流传送到终端用户。

实时媒体流单播分发设备和流媒体服务器，一般在CDN外部信令控制下工作，这些外部信令控制的协议一般是标准化的，例如实时流协议(Real TimeStreaming Protocol，RTSP)。

文件VOD应用需要把媒体文件分发到CDN网络的不同节点中去，这由内容分发设备处理。

媒体的分发可以以文件的方式完整地或部分地分发，也可以通过实时媒体流的方式分发。

采用流式分发时，可以压缩从分发开始到提供的时间，提高响应速度；可以精确地分发一个大型媒体文件中任意一段媒体内容。

采用流式分发时，需要同时使用到文件VOD和实时媒体流存储功能。

在CDN中，媒体处理设备的信令控制接口各异，应用场合不同，媒体处理功能和方式既有不同的地方，又有重叠之处。

同时，随着流媒体应用的发展，网络规模不断扩大，各种业务和应用方式不断涌现，直播和文件VOD功能互相组合，控制流程日益复杂化，需要不断开发各种新的媒体处理设备，或在原有设备基础上增加新的功能，导致CDN网络中各类设备的功能和结构日益复杂，不能很好地满足业务发展的需要。

发明内容

本发明所要解决的技术问题是，提供一种通用的媒体处理装置，该装置可以接受CDN网络中各种信令控制设备的控制指令，完成绝大部分媒体处理工作，大大简化了CDN网络的复杂性，本发明还同时提供一种应用于该装置的媒体处理方法。

一种媒体处理装置，该装置包括：

信令控制接口模块，用于收集并转发外部控制装置的控制指令，报告媒体处理装置内部的工作状态给外部控制装置；

信令派发模块，用于派发信令控制接口模块转发的控制指令给媒体处理组件；

以及至少一个媒体处理组件，用于完成媒体流的处理工作。

所述媒体处理组件包括：

信令接口及控制部件，用于接受外部的信令或指令，控制内部各部件协调工作，并根据需要，向外部控制装置通报媒体处理装置的内部工作状态；

至少一个媒体输入部件，用于输入从本地存储文件生成的或来自网络的媒体流；

媒体输入切换部件，用于对从媒体输入部件输入的媒体流的片源进行切换处理，生成一份媒体流并输出给媒体输出多路派发部件；

媒体输出多路派发部件，用于复制输入的媒体流，并多路分发到不同的媒体流输出部件；

以及至少一个媒体输出部件，用于将媒体流输出到本地存储设备或者网络。

所述信令派发模块为信令派发器。

一种应用于权利要求1所述装置的媒体处理方法，包括以下步骤：

步骤一：媒体处理装置接收到外部控制装置的控制信令后，通过信令控制接口模块将控制信令发送给信令派发模块；

步骤二：信令派发模块将控制信令派发给相应的媒体处理组件；

步骤三：媒体处理组件启动后按照控制信令对媒体流进行处理后输出。

所述步骤三进一步包括：

步骤a：媒体处理组件启动后，媒体输入部件从本地存储设备读取媒体文件，生成媒体流，或者从网络接收媒体流，并输出给媒体切换部件；

步骤b：媒体切换部件对输入的媒体流进行切换处理，生成一份媒体流，输出给媒体输出多路派发部件；

步骤c：媒体输出多路派发部件复制并派发输入的媒体流给媒体输出部件；

步骤d：媒体输出部件将媒体流输出到本地存储设备，或者输出到网络。

所述步骤b中，若来自步骤a的同一项媒体流具有多个不同的片源，则媒体切换部件选择其中一个片源的媒体流作为当前的媒体流，并丢弃其余片源的媒体流。

若当前输入的媒体流由于媒体输入部件结束或停止输入媒体流，或由于外部原因中断，则媒体切换部件需要切换到新的片源。

所述方法中，具有多个片源的媒体流在片源间进行切换时，若新的片源的媒体流输入后，还有少量旧的片源的媒体流输入，则媒体切换部件需丢弃旧的片源的媒体流。

本发明具备下列特征：

一、提供流媒体流的生成、分发和输出功能；

二、对外提供统一的信令控制接口，可以在装置外部信令的控制下，按照外部控制设备的要求，完成媒体流的生成、分发和输出工作；

三、在媒体处理装置的内部，每一项媒体流的处理任务都是独立而不相互干扰或影响的；

四、一个媒体处理装置可以启动多重的不同的媒体流处理任务，并对这些处理任务进行组合，最终完成非常复杂的媒体处理任务；

五、媒体处理装置可以从本地存储文件生成或从网络输入媒体流；

六、媒体处理装置输出媒体流时，可以输出到本地存储文件或发送到网络中；

七、具有媒体流输入切换功能，在同一项媒体流处理任务中，可以切换输入媒体流的源，在切换时，可以有多个不同的源，但经输入切换功能后，只有一个源的媒体流能够输入媒体处理装置，其余的媒体流被丢弃(仅指同一个媒体流处理任务)；

八、具有多路派发功能，在同一项媒体流处理任务中，可以对媒体流进行复制，分发或输出到多种不同的设备或路径去。

采用本发明后，CDN可以演化为一系列根据不同业务流程和组网方式设计的信令控制设备，这些信令控制设备没有媒体处理功能，只负责控制一个或多个媒体处理装置进行工作。当新增、调整业务或者调整组网方式时，只需调整或新开发部分信令控制设备，选择性再部署一部分媒体处理装置，不需要开发新的媒体处理装置。

附图说明

图1是本发明所述装置的结构框图；

图2是所述媒体处理组件的内部结构框图；

图3是本发明实施例一的示意框图；

图4是本发明实施例二的示意框图；

图5是本发明实施例三的示意框图；

图6是本发明实施例四的示意框图；

图7是本发明实施例五的示意框图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

如图1所示，是本发明所述媒体处理装置200的结构框图，包括；

1)信令控制接口模块210，用于收集并转发外部控制装置的控制指令，报告媒体处理装置内部的工作状态给外部控制装置；外部的控制装置可以通过这个接口，控制媒体处理装置200进行各种媒体处理操作；

2)信令派发模块220，负责把信令控制接口模块210收到的控制指令转发给媒体处理组件230处理，该模块是一个信令派发器；

3)媒体处理组件230，每个媒体处理组件230各负责一份媒体流的处理；该图中画出3个媒体处理组件，分别为230-1、230-2、230-3；媒体处理装置200内部由一个或多个媒体处理组件230组成，即其内部的媒体处理组件230的数量是灵活可变的，但至少要有一个；

图中，410代表输入媒体流，420代表输出媒体流，图中有三份媒体流，分别为输入媒体流410-1、410-2、410-3，输出媒体流420-1、420-2、420-3；每个媒体处理组件230处理一份输入媒体流410；非切换状态下，媒体流的数量一般和媒体处理组件230的数量相同。

图2是一个媒体处理组件230的内部结构框图，包括：

1)一个信令接口及控制部件100：用于接受外部的信令或指令，控制内部各部件协调工作，并根据需要，向外部控制装置通报媒体处理装置的内部工作状态；

2)两个媒体输入部件101-1、101-2：其中101-1从本地存储设备读取媒体文件生成输入流媒体；101-2从网络接收媒体流，作为输入流媒体；

3)一个媒体输入切换部件103：把从媒体输入部件101-1和101-2输入的媒体流进行切换处理，生成一份媒体流，输入到媒体输出多路派发部件104中去；

4)一个媒体输出多路派发部件104：把输入的媒体流派发为两份，分别输出到媒体输出部件102-1和102-2中去；

5)两个媒体输出部件102-1、102-2：其中102-1把媒体流输出到网络中去；102-2把媒体流输出到本地存储设备，把媒体流保存为媒体文件。

各个媒体处理组件230之间是相互独立的，它们的媒体流和控制指令也相互独立。

媒体处理组件230的功能有：

一、信令和控制功能：接受外部的控制信令或指令，控制内部各部件协调工作，并根据需要，向外部的控制装置通报媒体处理装置的内部工作状态。

信令控制功能由信令接口及控制部件100完成。

二、媒体流输入功能：媒体输入部件101负责输入媒体流，它支持从不同类型的媒体资源(又称为片源)输入媒体流，这些片源包括但不限于：

a)媒体文件；

b)其它系统以单播/组播/广播发出的媒体流；

c)通过媒体控制协议，从其它系统获取的媒体流。

三、媒体流输入切换功能：可以切换输入的片源，从另一个片源输入媒体流。

以下两种情况下需要切换媒体流：

a)当前输入媒体部件结束或停止输入媒体流，或输入的媒体流由于外部原因中断时，需要切换到新的片源输入媒体流；

b)当一个片源正在连续输入媒体流时，启动新的片源并输入媒体流，然后停止旧片源的输入，若新的片源的媒体输入后，还有少量旧的片源的媒体流输入，则需要丢弃旧片源输入的媒体流。

媒体流输入切换功能由媒体输入切换部件103完成。

若输入媒体输入切换部件103的媒体流是RTP媒体流，那么，切换前后的媒体流是不同的RTP会话，媒体输入切换部件103还需要对切换前后的两个RTP会话进行混合处理，即对RTP包的包头字段进行修正，从媒体输入切换部件103输出后，媒体流修正成一个RTP会话。一般来说，混合处理需要按照下面的要求进行：

a)保证切换前后，媒体流的媒体类型和格式是兼容的，在终端用户侧可以连续地播放；

b)若输入的RTP会话包括多个媒体轨道，尤其是最为常见的音视频轨道，若它们的标识(例如trackid)不同，则也要调整一致；

c)对切换前的媒体轨道进行裁切，丢弃某个轨道的部分媒体包，保证切换前的媒体的各个轨道的播放时间是一样的，切换前各个轨道的播放时间相一致，就不会影响切换后的媒体流的各个轨道的对齐位置；切换后的媒体流的播放位置和原始片源保持一致，对于音视频媒体来说，就是通常所说的，是唇音同步的；

d)若丢包会导致一些不良后果，或即使没有丢包，依然没法保证各个轨道的播放时间一样长，则需要调整切换后某些轨道的媒体流的RTP的时间戳，播放器可以根据切换前后，媒体流中各个轨道的RTP包的时间戳，来调整各个轨道，切换最后一帧媒体的播放时间(又称duration)，来保证切换前各种轨道的播放时间是相同的；

e)修改同一个媒体轨道的RTP包的同步信源标识(SSRC)保证相同；

f)修改同一个媒体轨道的RTP包的RTP序号和时间戳等字段，让RTP序号和时间戳连续。

对RTP会话的混合处理和处理内容都是可选的，若终端用户的播放器对媒体流的变化具有很强的适配能力，也可以不进行混合处理。

四、媒体流输出多路派发功能。

媒体流输出多路派发功能由媒体输出多路派发部件104完成。

五、媒体流输出功能：媒体处理组件230支持以不同方式输出的媒体流：

a)通过不同的协议，把媒体流输出网络中去；

b)把媒体流，按不同的格式，存储到不同的存储设备中去；

c)把媒体流输出到其它类型的媒体设备中去；

媒体流的输出由媒体输出部件102处理。

CDN网络中信令控制装置对媒体处理装置200的控制经信令派发模块220，首先派发到指定的媒体处理组件230，然后控制媒体处理组件230内部的部件进行工作。

图3是本发明实施例一的示意框图，是本发明在文件VOD点播系统中的应用。

以往的VOD点播服务，是通过流媒体服务器提供的。当采用RTSP协议时，流媒体服务器作为一个整体，内部包含RTSP协议处理和媒体处理两部分功能。

采用本发明所述的媒体处理装置200后，则只需一个媒体处理装置200和一个RTSP协议处理装置500组合的系统即可提供相应的服务。

当一个终端用户播放器700点播一个媒体文件时，其工作流程为：

一、终端用户播放器700首先和RTSP协议处理装置500进行信令协商；

二、协商成功后，由RTSP协议处理装置500通过内部控制信令，通知媒体处理装置200，启动一个媒体处理组件230；

三、在RTSP协议处理装置500的控制信令下，控制媒体处理组件230启动一个媒体输入部件101，从本地存储设备读取媒体文件，向媒体处理装置200输入媒体；

四、在RTSP协议处理装置500的控制信令下，媒体处理组件230继续启动一个媒体输出部件102，把媒体流发送到终端用户播放器700处。

图4是本发明实施例二的示意框图，是本发明应用于支持单播、组播、时移频道的CDN系统时的示意图：

所述系统由一个编码器501、一个RTSP协议处理装置500、一个媒体处理装置200和一个CDR控制器600组成。

这个系统同时支持单播和组播两种工作方式，它以组播方式输出直播实时媒体流，当终端用户播放器700侧的网络支持组播时，终端用户播放器700加入组播，接收组播媒体流进行播放；其工作流程为：

一、CDN控制器600向编码器501发送控制信令，编码器501负责产生媒体流，发送到媒体处理装置200；

二、CDN控制器600向媒体处理装置200发控制信令，启动一个媒体处理组件230；

三、在CDN控制器600的控制信令下，媒体处理组件230启动一个媒体输入部件101，接收编码器501发出的媒体流；

四、在CDN控制器600的控制信令下，由媒体处理组件230启动一个媒体输出部件102，媒体输出部件102把媒体流发送到组播地址中去，媒体即在支持组播协议的网络中开始组播，当支持组播的终端用户播放器700开始播放媒体时，可以直接接收它发出的组播媒体流，播放媒体；

五、若终端用户播放器700不支持组播，则通过RTSP协议，连接RTSP协议处理装置500；

六、协商成功后，在CDN控制器600的控制信令下，媒体输出多路派发部件104，对媒体流进行复制时，复制份数增加一份；

七、在CDN控制器600的控制信令下，媒体处理组件230启动一个媒体输出部件102，把复制的媒体流，以单播方式发送到终端用户播放器700处。

时移是指频道系统把实时的直播码流实时存储或录制到本地的媒体文件，并可以通过文件VOD点播服务，按时间点播存储的媒体文件的服务。

时移的录制流程为：

一、在CDN控制器600的控制信令下，媒体输出多路派发部件104，对媒体流进行复制时，复制份数增加一份；

二、在CDN控制器600的控制信令下，媒体处理组件230启动一个媒体输出部件102，把复制的媒体流，保存到本地的媒体文件中去；

时移的点播服务流程同实施例一，播放的媒体文件为上述媒体流程保存到本地的媒体文件。

图5是本发明实施例三的示意框图，是本发明应用于支持单播中继频道的CDN系统中的示意图：

支持单播中继频道的CDN系统由于性能及组网的原因，需要在CDN系统中部署多个媒体处理装置200提供相同的频道服务，把一个编码器输出的媒体流，从CDN的中心位置，以单播方式，中继传输到边缘的多个媒体处理装置200-2。其组网结构为：

一、一个中心的CDN控制器600；

二、一个中心的媒体处理装置200-1；

三、一个或多个的边缘的媒体处理装置200-2；

四、一个中心编码器501。

单播中继的流程为：

一、CDN控制器600通过内部控制信令，通知中心的媒体处理装置200-1启动一个媒体处理组件230，接收编码器501发出的媒体流；

二、在CDN控制器600的控制信令下，媒体处理组件230控制媒体输出多路派发部件104，对输入的媒体流进行复制，复制的份数和边缘的媒体处理装置数量相同；

三、在CDN控制器600的控制信令下，媒体处理组件230启动相应的媒体输出部件102，发送复制的媒体流，发送的地址被指定为边缘的媒体处理装置200-2的地址，媒体就被发送到指定的边缘的媒体处理装置200-2；

四、CDN控制器600通过内部控制信令，通知边缘的媒体处理装置200-2，启动其媒体处理组件230；

五、在CDN控制器600的控制信令下，边缘的媒体处理装置200-2的媒体处理组件230启动一个媒体输入部件101，接收中心媒体处理装置200-1发出的媒体流，构成边缘节点的频道系统，完成频道码流的中继工作。

图6是本发明实施例四的示意框图，是本发明应用于支持轮播频道的CDN系统中的示意图：

所述系统由一个媒体处理装置200和一个CDN控制器600组成。其工作流程为：

一、CDN控制器600通过内部控制信令，通知媒体处理装置200启动一个媒体处理组件230，负责轮播频道的媒体处理工作；

二、在CDN控制器600的控制信令下，媒体处理组件230启动媒体输入部件101，从第一个片源输入媒体流410-1；

三、在CDN控制器600的控制信令下，媒体处理组件230控制媒体输出多路派发部件104，对输入的媒体流进行复制，复制的份数和CDN组网方式相关；

四、在CDN控制器600的控制信令下，媒体处理组件230启动相应的媒体输出部件102，发送复制的媒体流410，发送的地址由控制信令指定，可以为组播地址、边缘节点的媒体处理装置200、终端用户播放器700等的地址；

五、当完成第一个片源的媒体内容后，媒体处理组件230经媒体处理装置200，通知CDN控制器600；

六、当CDN控制器600收到播放结束通知，或规定时间已到时，会发出切换片源的控制信令给媒体处理装置200，媒体处理装置200启动第二个媒体输入部件101，从第二个片源输入源体流410-2；

七、媒体处理组件230内部的媒体输入切换部件103，选择第二个媒体输入部件101输入的媒体流410-2；

八、媒体处理组件230关闭第一个媒体输入部件101；若在此之前，媒体输入部件101继续输入媒体流410-1，则被媒体输入切换部件103丢弃；

九、继续切换播放的片源时，重复步骤五至八。

图7是本发明实施例五的示意框图，是本发明应用于支持播放列表的点播系统时的示意图，所述系统的点播内容同时支持频道或本地媒体文件。

所述系统由一个媒体处理装置200、一个RTSP协议处理装置500和一个播放列表控制装置601组成。

一、首先和RTSP协议处理装置500进行控制信令协商；

三、控制媒体处理组件230启动第一个媒体输入部件101，从本地存储设备读取媒体文件，或从其它频道接收媒体流，然后向媒体处理装置200输入媒体；

四、媒体处理组件230启动一个媒体输出部件102，把媒体流发送到终端用户播放器700处；

五、当第一个媒体输入部件101发现当前片源已经播放结束，则通知播放列表控制装置601；

六、播放列表控制装置601收到播放结束通知，或规定时间已到后，向媒体处理装置200发生内容控制信令，启动第二个媒体输入部件101，从第二个片源输入源体流；

七、媒体处理组件230内部的媒体输入切换部件103，选择第二个媒体输入部件101输入的媒体流；

八、媒体处理组件230关闭第一个媒体输入部件101；若在此之前，媒体输入部件101继续输入媒体流，则被媒体输入切换部件103丢弃；

九、继续切换播放的片源时，重复步骤五至八。

Claims

1.一种媒体处理装置，其特征在于，该装置包括：

以及至少一个媒体处理组件，用于完成媒体流的处理工作；所述媒体处理组件包括：

2.如权利要求1所述的媒体处理装置，其特征在于，所述信令派发模块为信令派发器。

3.一种采用了如权利要求1所述装置的媒体处理方法，其特征在于，包括以下步骤：

4.如权利要求3所述的媒体处理方法，其特征在于，所述步骤三进一步包括：

5.如权利要求4所述的媒体处理方法，其特征在于，所述步骤b中，若来自步骤a的同一项媒体流具有多个不同的片源，则媒体切换部件选择其中一个片源的媒体流作为当前的媒体流，并丢弃其余片源的媒体流。

6.如权利要求5所述的媒体处理方法，其特征在于，若当前输入的媒体流由于媒体输入部件结束或停止输入媒体流，或由于外部原因中断，则媒体切换部件需要切换到新的片源。

7.如权利要求6所述的媒体处理方法，其特征在于，具有多个片源的媒体流在片源间进行切换时，若新的片源的媒体流输入后，还有少量旧的片源的媒体流输入，则媒体切换部件需丢弃旧的片源的媒体流。