CN101272500B - 一种视音频数据流的传输方法及系统 - Google Patents

Abstract

本发明公开了一种视音频数据流的传输方法及系统，涉及移动流媒体领域。本发明提出的视音频数据流的传输方法从待传送的视频或音频流中，按帧边界依次将具有相同时戳且可解码的一帧数据封装为一视频或音频单元后写入复用子帧中，在复用子帧中记录各个视频或音频单元的播放时间信息，将生成的复用子帧发送到终端。本发明方法可以提高CMMB复用效率，降低终端播放延时，提高终端解复用性能。

Description

一种视音频数据流的传输方法及系统 

技术领域

本发明涉及移动流媒体领域，特别涉及一种视音频数据流的传输方法及系统。 

背景技术

中国移动多媒体广播系统(简称CMMB)标准，规定了在广播业务频率范围内，移动多媒体广播系统广播信道传输信号的帧结构、信道编码和调制。《移动多媒体广播第2部分：复用》(简称CMMB复用标准)中规定，采用复用子帧来封装视频、音频等媒体数据传送，并且定义了相应的视频、音频、数据单元的封装结构。 

其中CMMB复用子帧由子帧头和视频或者音频数据段组成，子帧头中记录了诸如视频或者音频段编码类型等信息。视频段又由视频段头及连续的视频单元组成，段头中集中描述了本段中每个视频单元的描述信息如：视频单元长度，帧类型，相对播放时间等。各视频单元物理空间上连续存储，如图1所示。音频段结构也类似。这种分离机制，使得视频、音频单元本身并不需要包含自身的结构信息。 

然而，目前CMMB复用标准中并没有定义如何将视频、音频单元映射到具体的媒体码流上，传统的实现是将编码器直接输出的实时传输协议RTP(Real-time Transport Protocol)包或者传输流TS(Transport Stream)包映射到视频或者音频单元上，形成RTP Over CMMB或者TS Over CMMB的二级复用。而终端在进行播放时，首先需要接收和解析出对应的视频或者音频单元，对于每个视频或者音频单元，还需要进一步解析RTP包或者TS包结构，以产生可解码的视频或者音频帧数据。 

从上述内容可以看出，由于复用帧采用了多级复用形式，带来了重复的头结构，浪费了宝贵的无线信道带宽；而对终端而言，相应地需要多级复用解析，从而增加了终端计算量；另一方面，终端解析出的视音频单元不是可直接解码单元，因此需要增加缓冲和排序机制，从而增加了播放延时，降低了播放效率。 

发明内容

本发明要解决的技术问题是提供一种视音频数据流的传输方法及系统，从而在移动多媒体系统减少无线信道带宽的同时，提高终端的多媒体播放效果。 

为了解决上述问题，本发明提供了一种视音频数据流的传输方法，该方法从待传送的视频或音频流中，按帧边界依次将每一帧数据封装为可直接解码的一CMMB视频或音频单元后写入复用子帧中，所述一帧数据具有相同时戳且可解码，在所述复用子帧中记录各个视频或音频单元的播放时间信息，将生成的复用子帧发送到终端。 

进一步地，上述方法中，所述复用子帧记录的各个视频或者音频单元的播放时间信息，包括在所述复用子帧头中记录的起始播放时间信息，以及在视频或者音频段头中记录所述各视频或者音频单元相对于所述起始播放时间的相对播放时间。 

进一步地，该方法还包括，终端从接收到的复用子帧中依次提取出所述视频或者音频单元数据，并进行解码，然后根据所述复用子帧头中起始播放时间以及所述视频或者音频段头中所述各视频或者音频单元的相对播放时间调度各视频或者音频单元，实现播放。 

进一步地，上述方法中，当所述待传送视音频或频流为编码基本流时，按照帧边界，取出所述各视频或者音频帧； 

当所述待传送视频或音频流为标准复用数据流时，则根据协议规范从所述复用数据流中解析出基本数据流，然后按照帧边界，从基本数据流中取出各视频或者音频帧。 

本发明还公开了一种接收视音频数据流的方法，该方法中，终端从复用 子帧中依次提取具有相同时戳且可直接解码的各视频或者音频单元并进行解码后，根据所述复用子帧中各视频或者音频单元的播放时间调度各视频或者音频单元，实现播放。 

进一步地，上述方法中，所述复用子帧记录的各个视频或者音频单元的播放时间信息，包括在所述复用子帧头中记录的起始播放时间信息，以及在视频或者音频段头中记录所述各视频或者音频单元相对于所述起始播放时间的相对播放时间； 

所述终端根据所述起始播放时间以及各视频或者音频单元的相对播放时间调度各解码后的视频或者音频单元。 

本发明还公开了一种视音频数据流的传输系统，包括发送端和终端，发送端包括彼此连接的封装模块和复用子帧生成模块，其中 

封装模块，用于从待传送的视频或音频流中，按帧边界依次将每一帧数据封装为可直接解码的一CMMB视频或音频单元，并发送到复用子帧生成模块，所述一帧数据具有相同时戳且可解码； 

复用子帧生成模块，用于将收到的所述视频或音频单元依次写入复用子帧中，并在复用子帧中记录各个视频或音频单元的播放时间信息，然后将生成的复用子帧交后续模块发送到终端。 

进一步地，上述系统中，所述终端进一步包括一解复用模块，以及分别与该解复用模块连接的播放控制模块和解码器，其中 

解复用模块，用于从接收到的复用子帧中依次提取出所述视频或者音频单元，并发送到解码器；从复用子帧中获取各视频或者音频单元的播放时间信息，将该时间信息发送到播放控制模块； 

解码器，用于对所述视频或者音频单元进行解码，并将解码后的数据发送到播放控制模块； 

播放控制模块，用于根据所述各视频或者音频单元的播放时间调度各视频或者音频单元，实现播放。 

进一步地，上述系统中，所述封装模块，收到的待传送视频或音频流为 编码基本流时，按照帧边界，取出所述各视频或者音频帧； 

若收到的待传送视频或音频流为标准复用数据流时，则根据协议规范从所述复用数据流中解析出基本数据流，然后按照帧边界，从基本数据流中取出各视频或者音频帧。 

其中，所述发送端，在所述复用子帧头中记录起始播放时间信息，在视频或者音频段头中记录所述各视频或者音频单元相对于所述起始播放时间的相对播放时间； 

所述终端，还用于根据所述起始播放时间以及各视频或者音频单元的相对播放时间调度各解码后的视频或者音频单元。 

本发明还公开了一种接收视音频数据流的终端，该终端包括一解复用模块，以及分别与该解复用模块连接的播放控制模块和解码器，其中 

解复用模块，用于从接收到的复用子帧中依次提取出具有相同时戳且可直接解码的所述视频或者音频单元，并发送到解码器；还用于从复用子帧中获取各视频或者音频单元的播放时间信息，并将其发送到播放控制模块； 

解码器，用于对所述视频或者音频单元进行解码，并将解码后的数据发送到播放控制模块； 

播放控制模块，用于根据所述各视频或者音频单元的播放时间信息调度各视频或者音频单元，实现播放。 

进一步地，上述终端中，所述解复用模块，用于从所述复用子帧头中获取起始播放时间信息，以及从复用子帧的视频或者音频段头中获取所述各视频或者音频单元相对于所述起始播放时间的相对播放时间； 

所述播放控制模块，还用于根据所述起始播放时间以及各视频或者音频单元的相对播放时间调度各解码后的视频或者音频单元。 

本发明方法可以提高CMMB复用效率，降低终端播放延时，提高终端解复用性能。 

附图说明

图1是现有CMMB复用子帧中视频数据段结构示意图； 

图2是本发明方法传送视音频流的流程图； 

图3是本发明方法中终端接收视音频流的流程图； 

图4是应用实施例1中H264视频流封装成视频单元的示意图； 

图5是应用实施例2中AAC音频流封装成音频单元的示意图。 

具体实施方式

本发明的主要构思是，在移动多媒体系统中，复用前端，将每个视频或者音频帧分别映射成一个单独的可直接解码的CMMB视频或者音频单元，然后依次将所述视频或者音频单元写入CMMB复用子帧，复用前端将所述的一个或者若干个复用子帧生成一个完整的复用帧，然后通过CMMB信道发送出去； 

终端接收到上述复用帧后，从中取出播放节目所对应的复用子帧，然后对该复用子帧进行解析获得各可直接解码的视频或者音频单元，进行播放。 

下面结合附图及具体实施方式对本发明技术方案作进一步详细说明： 

一种在CMMB系统中发送视音频数据流的系统，包括发送端和终端，所述发送端由彼此连接的封装模块和复用子帧生成模块组成，其中： 

封装模块，用于从待传送的视频或音频流中，按帧边界依次将具有相同时戳且可解码的一帧数据封装为一视频或音频单元，并发送到复用子帧生成模块； 

复用子帧生成模块，将收到的所述视频或音频单元依次写入复用子帧中，并在复用子帧头记录起始播放时间，在视频或者音频段头中记录各个视频或音频单元相对于起始播放时间的相对播放时间信息，然后将生成的复用子帧发送到终端。 

所述终端进一步包括一解复用模块，以及分别与该解复用模块连接的播放控制模块和解码器，其中： 

解复用模块，用于从接收到的复用子帧中依次提取出所述视频或者音频单元，并发送到解码器；从接收到的复用子帧头中获取起始播放时间，从解析出的视频或者音频段头中获取各视频或者音频单元相对于起始播放时间的相对播放时间信息，并将所述的播放时间发送到播放控制模块； 

解码器，用于对所述视频或者音频单元进行解码，并将解码后的数据发送到播放控制模块； 

播放控制模块，用于根据起始播放时间以及所述各视频或者音频单元的相对播放时间调度各解码后的视频或者音频单元，实现播放。 

上述系统在CMMB系统中发送视音频数据流的过程，如图2所示，包括以下步骤： 

步骤201：复用前端从待传送的视频或者音频流中取出一帧视频或者音频数据，并记录其时间戳； 

该步骤中，所述一帧视频或者音频数据为具有相同时戳，并且可以直接输入解码器的可解码数据单元。 

步骤202：复用前端将每一帧视频或者音频数据封装成一个视频或者音频单元； 

该步骤中，复用前端依次将每一个视频或者音频帧作为一个CMMB视频或者音频单元写入复用子帧，并且将该帧的时间戳转换成CMMB时间戳，其中在复用子帧头中写入起始播放时间，在视频或者音频段头中写入各视频或者音频单元相对于起始播放时间的相对播放时间。 

步骤203：复用前端判断是否是复用子帧的首个视频或者音频单元，如果是，转入步骤204，否则转入步骤205； 

步骤204：复用前端更新起始播放时间，转入步骤206； 

步骤205：复用前端更新相对播放时间； 

步骤206：复用前端判断本复用子帧是否已收集完整，如果是，进入步骤207，否则返回步骤201； 

步骤207：复用前端生成完整的复用子帧和复用帧，并发送到信道传输。 

在CMMB系统中，上述终端接收视音频数据流的过程，如图3所示，包括以下步骤： 

步骤301：终端接收复用帧，并解析复用子帧及其中的视频或者音频单元； 

步骤302：终端依次提取视频或者音频单元数据，并记录时戳； 

步骤303：终端将各视频或者音频单元作为解码单元直接传送解码器进行解码； 

步骤304：终端根据时戳值调度将解码输出单元输出的视频或者音频原始数据进行播放； 

步骤305：终端判断是否结束播放，如果是结束本流程，否则返回步骤301。 

上述流程中，所述的待传送的视频或者音频流包括如下两种： 

1)编码基本流，此时，复用前端按照帧边界，取一帧视频或者音频数据； 

2)其他标准的复用数据流，如RTP或者TS等，复用前端则根据具体的协议规范从复用数据流中解析出基本数据流，然后按照帧边界，从基本数据流中取出一帧视频或者音频数据。 

下面以基于RFC 3984协议的H264 Over RTP流为例对本发明技术方案作进一步说明，如图4所示，由i个RTP包(RTP Payload)组成，第1个RTP包包含2个NALU单元(NAL unit)，第2个RTP包包含一个NALU单元，第i个RTP包包含1个NALU单元，其中，RTP包1和RTP包2的时戳相同，即为一帧。 

此时，复用前端首先从输入的视频RTP包中解析出的H.264的NAL单元；然后在每个NAL的前面插入3字节的起始码(start code：0x00 00 01) 后封装在视频单元中；最后复用前端将具有相同时戳的一个或多个完整的NAL单元组成一个可直接解码的视频单元； 

而对终端而言，其从复用子帧中依次取出H264视频单元数据及其时戳值，可以将视频单元数据填入解码缓冲或者直接调用H264解码器接口进行解码，最后终端根据对应时戳来控制时间对解码输出的显示帧进行显示。 

下面再以基于RFC 3016协议的AAC Over RTP流为例对本发明技术方案作进一步说明，如图5所示。 

复用前端从输入的音频RTP包中解析出的RFC3016格式音频复用元素audio Mux Element；然后将audio Mux Element封装在复用帧结构的音频单元中； 

终端接收复用帧后，从复用子帧中依次取出AAC音频单元数据及其时戳值，终端可以将音频单元数据填入解码缓冲或者直接调用AAC解码器接口进行解码，最后终端根据对应时戳来控制时间对解码输出的显示帧进行显示。 

上述实施例还可以应用于除CMMB以外的其它广播系统。 

从上述实施例可以看出由于本发明技术方案中视频或者音频单元不含其他复用包结构，不仅节省了无线信道带宽，同时还降低了终端解复用的成本；其次，由于视频或者音频单元本身是直接可解码单元，CMMB终端无需缓冲重组可解码单元，降低了缓存需求，提高了终端播放效率；另外，由于视频或者音频单元不包含包结构，终端软件无需解析其他的复用协议(如RTP/TS等)，从而降低了终端开发成本。 

本发明还可有其他多种实例中，在不背离本发明的精神及其实质的情况下，本领域的技术人员可根据本发明作出相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围之内。 

Claims (12)

1.一种视音频数据流的传输方法，其特征在于，

从待传送的视频或音频流中，按帧边界依次将每一帧数据封装为可直接解码的一CMMB视频或音频单元后写入复用子帧中，所述一帧数据具有相同时戳且可解码，在所述复用子帧中记录各个视频或音频单元的播放时间信息，将生成的复用子帧发送到终端。

2.如权利要求1所述的方法，其特征在于，

所述复用子帧记录的各个视频或者音频单元的播放时间信息，包括在所述复用子帧头中记录的起始播放时间信息，以及在视频或者音频段头中记录所述各视频或者音频单元相对于所述起始播放时间的相对播放时间。

3.如权利要求1或2所述的方法，其特征在于，

该方法还包括，终端从接收到的复用子帧中依次提取出所述视频或者音频单元数据，并进行解码，然后根据所述复用子帧头中起始播放时间以及所述视频或者音频段头中所述各视频或者音频单元的相对播放时间调度各视频或者音频单元，实现播放。

4.如权利要求1所述的方法，其特征在于，

当所述待传送视频或音频流为编码基本流时，按照帧边界，取出所述各视频或者音频帧；

当所述待传送视频或音频流为标准复用数据流时，则根据协议规范从所述复用数据流中解析出基本数据流，然后按照帧边界，从基本数据流中取出各视频或者音频帧。

5.一种接收视音频数据流的方法，其特征在于，

终端从复用子帧中依次提取具有相同时戳且可直接解码的各视频或者音频单元并进行解码后，根据所述复用子帧中各视频或者音频单元的播放时间调度各视频或者音频单元，实现播放。

6.如权利要求5所述的方法，其特征在于，

所述复用子帧记录的各个视频或者音频单元的播放时间信息，包括在所述复用子帧头中记录的起始播放时间信息，以及在视频或者音频段头中记录所述各视频或者音频单元相对于所述起始播放时间的相对播放时间；

所述终端根据所述起始播放时间以及各视频或者音频单元的相对播放时间调度各解码后的视频或者音频单元。

7.一种视音频数据流的传输系统，包括发送端和终端，其特征在于，

发送端包括彼此连接的封装模块和复用子帧生成模块，其中

封装模块，用于从待传送的视频或音频流中，按帧边界依次将每一帧数据封装为可直接解码的一CMMB视频或音频单元，并发送到复用子帧生成模块，所述一帧数据具有相同时戳且可解码；

复用子帧生成模块，用于将收到的所述视频或音频单元依次写入复用子帧中，并在复用子帧中记录各个视频或音频单元的播放时间信息，然后将生成的复用子帧交后续模块发送到终端。

8.如权利要求7所述的系统，其特征在于，

所述终端进一步包括一解复用模块，以及分别与该解复用模块连接的播放控制模块和解码器，其中

解复用模块，用于从接收到的复用子帧中依次提取出所述视频或者音频单元，并发送到解码器；从复用子帧中获取各视频或者音频单元的播放时间信息，将该时间信息发送到播放控制模块；

解码器，用于对所述视频或者音频单元进行解码，并将解码后的数据发送到播放控制模块；

播放控制模块，用于根据所述各视频或者音频单元的播放时间调度各视频或者音频单元，实现播放。

9.如权利要求7所述的系统，其特征在于，

所述封装模块，收到的待传送视频或音频流为编码基本流时，按照帧边界，取出所述各视频或者音频帧；

若收到的待传送视频或音频流为标准复用数据流时，则根据协议规范从所述复用数据流中解析出基本数据流，然后按照帧边界，从基本数据流中取出各视频或者音频帧。

10.如权利7或8所述的系统，其特征在于，

所述发送端，在所述复用子帧头中记录起始播放时间信息，在视频或者音频段头中记录所述各视频或者音频单元相对于所述起始播放时间的相对播放时间；

所述终端，还用于根据所述起始播放时间以及各视频或者音频单元的相对播放时间调度各解码后的视频或者音频单元。

11.一种接收视音频数据流的终端，其特征在于，

该终端包括一解复用模块，以及分别与该解复用模块连接的播放控制模块和解码器，其中

解复用模块，用于从接收到的复用子帧中依次提取出具有相同时戳且可直接解码的所述视频或者音频单元，并发送到解码器；还用于从复用子帧中获取各视频或者音频单元的播放时间信息，并将其发送到播放控制模块；

解码器，用于对所述视频或者音频单元进行解码，并将解码后的数据发送到播放控制模块；

播放控制模块，用于根据所述各视频或者音频单元的播放时间调度各视频或者音频单元，实现播放。

12.如权利要求11所述的终端，其特征在于，

所述解复用模块，用于从所述复用子帧头中获取起始播放时间信息，以及从复用子帧的视频或者音频段头中获取所述各视频或者音频单元相对于所述起始播放时间的相对播放时间；

所述播放控制模块，还用于根据所述起始播放时间以及各视频或者音频单元的相对播放时间调度各解码后的视频或者音频单元。

Images