CN100589565C - 视音频流数据恢复iso媒体文件的方法 - Google Patents

Abstract

本发明公开一种视音频流数据恢复ISO媒体文件的方法，涉及文件格式转换，为解决私有格式文件无法在本地播放且在无法在多个厂商之间交换使用的问题而发明。本发明通过获取视音频流数据的媒体轨数、各媒体轨ID、时标、负载类型，确定大块划分方法，为每个媒体轨创建一个媒体大块链表和一个流化大块链表；依次生成每个轨道的每个大块，且同步对应生成所述视音频流数据的媒体轨道大块和流化轨道大块；所有轨道的所有大块生成完毕，完成整个媒体原子的写入；根据大块链表中的信息以及会话描述协议包中的信息，恢复电影原子信息并写入文件。实现私有格式文件到ISO标准格式文件的转换。

Description

视音频流数据恢复ISO媒体文件的方法

技术领域

本发明涉及媒体文件格式转换方法，尤其涉及视音频流数据恢复ISO媒体文件的方法。

背景技术

通常流媒体文件格式有ISO14496-14定义的MP4文件格式，ISO14496-15定义的AVC文件格式，3GPP TS26.244定义的3GPP文件格式，3GPP2 C.S0050-0定义的3GPP2文件格式。这些格式的流媒体文件(视音频流数据)支持媒体播放器本地播放以及通过流媒体服务器远程点播，本文中提到的视音频流数据就是指通过RTP(实时传输协议)传输的视音频流数据。

在流媒体、视讯以及视频监控等领域中通常都有以下需求：

1、流媒体服务器为了实现直播节目的时移播放以及直播后的录播功能，流媒体服务器需要把从直播编码器接收的视音频数据包存储下来。存储视音频流数据供后续使用。

2、流媒体客户端为了实现PVR(个人录像)功能，需要对流媒体视音频数据进行实时接收和存储，以供客户后续本地点播。

3、数字视频监控系统中为了将监控内容存档，需要将摄像头采集的视频信息编码发送到监控中心进行录制。

以上描述的功能需求都涉及到一个关键的步骤：存储视音频流数据供后续使用。传统的做法是用自定义的文件格式保存所有接收到的视音频流数据，在软件系统里面有对自定义缓存文件格式读取发包。但是自定义的文件格式为私有格式，无法在多个厂商系统之间交换使用，而且也无法提供给用户下载到本地播放。

发明内容

为了克服上述缺陷，本发明的目的在于提供一种可以将实时接收或已经缓存在本地的流数据录制成可供流媒体服务器发送及媒体播放器本地播放的视音频流数据恢复ISO媒体文件的方法。

为达到上述目的，本发明视音频流数据恢复ISO媒体文件的方法，包括如下步骤：

(1)获取视音频流数据的媒体轨数、各媒体轨标识(媒体轨ID)、时标、负载类型以及描述信息，确定大块(chunk)的划分方法，并为每个媒体轨创建一个媒体大块(chunk)链表，为每个媒体轨所对应的流化轨创建一个流化大块(chunk)链表；

(2)依次生成每个轨道的每个大块(chunk)，并且同步对应生成所述视音频流数据的媒体轨道大块(chunk)和流化轨道大块(chunk)；

(3)所有轨道的所有大块(chunk)生成完毕，完成整个媒体原子(mdat box)的写入；

(4)根据大块(chunk)链表中的信息以及会话描述协议(sdp)中的信息，恢复电影原子(moov box)信息，并写入文件。

所述步骤(1)中：划分大块(chunk)的方法为：按时间划分或者按数据包的个数划分。

所述步骤(2)中：生成媒体轨道大块(chunk)和流化轨道大块(chunk)的方法为：复原媒体轨道大块(chunk)和流化轨道大块(chunk)中所有采样(sample)数据及其索引，包括如下步骤：

(21)确定每个大块(chunk)中流化采样(sample)边界；

(22)复原媒体采样(sample)，并生成媒体采样(sample)数据和信息；

(23)生成流化采样(sample)数据和信息；

(24)将流化采样(sample)数据和信息写入流化采样(sample)链表；

(25)将媒体采样(sample)数据和信息写入媒体采样(sample)链表；

(26)遍历媒体采样(sample)链表，写入媒体大块(chunk)中所有媒体采样(sample)数据，生成一个完整的媒体大块(chunk)，本媒体大块(chunk)加入所属的媒体大块(chunk)链表；

(27)遍历流化采样(sample)链表，写入流化大块(chunk)中所有流化采样(sample)数据，生成一个完整的流化大块(chunk)，本流化大块(chunk)加入所属的流化大块(chunk)链表。

所述步骤(21)具体为：以实时传输协议(RTP)数据包头的标志(mark)位置1作为流化采样(sample)的边界或者把时戳发生跳转也作为流化采样(sample)的边界。

所述步骤(3)具体为：计算各个轨道的时长，计算各个轨道数据的大小，计算所有数据区的数据长度，更新媒体原子(mdat box)的长度字段，完成整个媒体原子(mdat box)的写入。

所述步骤(4)中恢复电影原子(moov box)信息的方法为：恢复采样表(stbl)中必要的原子(box)，包括：

采样描述表(stsd)，由解析会话描述协议包信息得到媒体轨的采样描述表所需的信息；

时间采样表(stts)，根据大块(chunk)结构中媒体采样(sample)链表或者流化采样(sample)链表中每个采样节点中存储的采样时长得到；

采样同步表(stss)，根据大块(chunk)结构中媒体采样(sample)链表或者流化采样(sample)链表中每个采样节点中存储的是否关键帧信息得到；

采样大块表(stsc)，根据轨道中大块(chunk)链表和大块(chunk)结构中媒体采样(sample)链表或者流化采样(sample)链表中采样节点时长来恢复；

采样大小表(stsz)，根据大块(chunk)结构中媒体采样(sample)链表或者流化采样(sample)链表中每个采样节点中存储的采样大小得到；

大块偏移表(stco/co64)，根据各大块(chunk)结构中记录的文件偏移量得到。

本发明通过获取视音频流数据的媒体轨数、各媒体轨ID，时标，负载类型以及描述信息，轮流生成每个轨道的一个chunk，统一视音频流数据的媒体轨道chunk和流化轨道chunk同步生成；依次完成每个轨道的所有chunk，完成整个mdat box的写入；根据内存中保存的chunk链表中的信息以及sdp中的信息，恢复moov box信息，并写入文件。能够方便实现多媒体通信中视音频流数据的实时及非实时录制，对于不同媒体格式的流数据，仅需要根据媒体格式修改复原sample部分，录制生成的文件符合ISO基本媒体格式，既可以用于流媒体服务器进行流发送，也可以被终端和PC播放器做本地播放，方便了媒体文件的二次分发及多个系统之间的互操作。该方法能够快速的将视音频流数据复原成ISO媒体文件，使流媒体服务器可以实现直播录制，使多媒体终端设备可以有效实现PVR。

附图说明

图1是本发明的视音频流数据恢复ISO媒体文件的方法流程图；

图2是复原媒体sample和流化sample子流程图；

图3是符合RFC3016的3个RTP包：1个流化Sample对应1个媒体sample的结构图；

图4是符合RFC3640的1个RTP包：1个流化Sample对应3个媒体sample的结构图；

图5是基于本发明的方法生成ISO媒体文件结构示例图。

具体实施方式

本发明中的基于ISO媒体文件格式包含但不限于以下所列：ISO14496-14定义的MP4文件格式，ISO14496-15定义的AVC文件格式，3GPP TS26.244定义的3GPP2文件格式。在本发明中，将基于ISO媒体文件格式的文件统称为“ISO媒体文件”，提及的视音频流数据特指通过RTP(实时传输协议)传输的视音频流数据。

通常ISO媒体文件由若干个box组成，以3GPP文件为例，一个3GPP文件基于mpeg4由若干个box(原子)组成，其中，最常见的有：

文件格式：ftyp box，相当于文件头，说明了文件所使用的协议版本等信息；

媒体原子：mdat box，存放了音频、视频和其他的数据，一般的文件至少有2个mdatbox，一个用于音频，一个用于视频，通常还会有一些文本信息也放在mdat box中，各种信息的顺序不固定，如果只是存放音乐一个mdat就够用了；

电影原子：moov box，是一个3GPP文件中最复杂最重要的文件，说明哪个mdat box中存放视频数据，哪个mdat box中存放音频数据。

本发明的技术方案主要通过如下步骤实现的，如图1所示：

(1)创建待生成的媒体文件，写入文件头信息ftyp box，预留mdat类型和大小字段。

(2)获取视音频流的媒体轨数，各媒体轨ID、TimeScale(时标)、负载类型以及描述信息等，确定chunk(大块)划分方法(划分chunk有多种方式，可以按时间，按包个数等方式进行划分chunk，按时间划分时，时间间隔可以是1秒)，为每个媒体轨创建一个媒体chunk链表和一个流化chunk链表。

(3)依次生成每个轨道的每个chunk，统一视音频流的媒体轨道chunk和流化轨道chunk同步生成，每个chunk的基本组成单位为sample(采样)，生成chunk的过程即为复原chunk中所有sample数据及其索引的过程；主要步骤如下：

(3.1)确定流化sample边界；

一个流化sample包括几个RTP数据包中，以mark位置1作为hint sample的边界。(考虑到网络丢包的情况，把时戳发生跳转也作为hint sample的边界)。一个Hint sample(流化采样)包括n个(n＞＝1)RTP数据包。

(3.2)复原媒体sample，并生成媒体sample数据和相关信息(时长，大小，是否关键帧等)。根据具体媒体格式对应的RTP负载格式定义标准，从RTP(实时传输协议)数据包中复原原始的媒体sample，并根据RTP Header和负载的相关定义生成媒体sample的索引；

(3.3)生成流化sample数据和信息；

根据RTP负载格式定义，确定流化sample和媒体sample间映射关系。根据ISO媒体文件格式标准，生成流化sample数据和信息；

(3.4)将流化sample数据和信息加入流化sample链表；

(3.5)将媒体sample数据和信息加入媒体sample链表；

(3.6)遍历媒体sample链表，写入chunk中所有媒体sample数据，生成一个完整的媒体chunk。本chunk加入所属轨的媒体chunk链表；

(3.7)遍历流化sample链表，写入chunk中所有流化sample数据。生成一个完整的流化chunk。本流化chunk加入所属轨的流化chunk链表；

(4)计算各个轨道的时长，依次完成每个轨道的所有chunk，计算所有数据区的数据长度，更新mdat box的长度字段，完成整个mdat box的写入。

(5)根据内存中保存的chunk链表中信息以及sdp(会话描述协议)中的信息，恢复moovbox信息，并写入文件。生成moov box的关键步骤为恢复stbl(采样表)中必要的box：

(5.1)stsd(采样描述表)：解析sdp信息得到媒体轨的stsd所需信息。

(5.2)stts(时间采样表)：根据chunk结构中媒体sample链表或流化sample链表中每个sample节点中存储的sample时长得到。

(5.3)stss(采样同步表)：根据chunk结构中媒体sample链表或液化sample链表中每个sample节点中存储的是否关键帧信息得到。

(5.4)stsc(采样大块表)：根据轨道中chunk链表和chunk结构中媒体sample链表或流化sample链表中sample节点时长来恢复。

(5.5)stsz(采样大小表)：根据chunk结构中媒体sample链表或液化sample链表中每个sample节点中存储的sample大小得到。

(5.6)stco/co64(大块偏移表)：根据各chunk结构中记录的文件偏移量得到。

下面结合附图以mpeg4视频及AAC音频RTP流复原产生MP4文件的详细过程为例来详细描述本发明的技术方案的实施：

mpeg4视频及AAC音频RTP(实时传输协议)流复原产生MP4文件的主要步骤包括：

第一步骤、创建目标文件，写文件类型描述ftyp box信息：

对于MP4文件，major_brand定义为“isom”，compatibale_brand定义为“mp41”或“mp42”。预留mdat原子类型和大小8字节。

第二步骤、获取视音频流的描述信息：

解析sdp信息，获取mpeg4视频流和AAC音频的描述信息(流类型，profile-level id，采样频率等)。按时间间隔1秒划分chunk。

第三步骤、获取mpeg4视频流数据，生成mpeg4视频轨的一个chunk，每个chunk的基本组成单位为sample，生成chunk的过程即为复原chunk中所有sample数据及其索引的过程，生成chunk的过程如下：

初始化媒体sample链表和流化sample链表。

复原媒体sample和流化sample(见图2)，重复下面1-5步骤，直到chunk结束：

1.确定流化sample的边界：一个流化sample包括在几个RTP数据包中，以mark位置1作为流化sample的边界(考虑到网络丢包的情况，把时戳发生跳转也作为hint sample的边界)。一个hint sample包括n个(n＞＝1)RTP数据包。

对于mpeg4视频来说，根据RTP包头的mark位确定目前处理的流化sample包括3个RTP数据包。

2.复原媒体sample，确定媒体sample的边界，并生成媒体sample数据和相关信息(时长，大小，是否关键帧等)。根据具体媒体格式对应的RTP负载格式定义标准，从RTP数据包中复原原始的媒体sample，并根据RTP Header和负载的相关定义生成媒体sample的索引；

对于mpeg4视频来说：按照RFC3016，确定本流化sample对应有1个媒体sample，其内容为上述1中所确定的3个RTP包净荷首尾相连，记为P1-P2-P3，长度为L1+L2+L3。

3.生成流化sample数据和信息：根据RTP负载格式定义，确定流化sample和媒体sample间映射关系，根据ISO媒体文件格式标准，生成流化sample数据和信息；

对于mpeg4视频来说：生成的流化sample有3个RTP包，每个RTP包的负载数据有一个入口：

第1个RTP负载数据入口：从媒体sample的数据0开始，长度为L1。

第2个RTP负载数据入口：从媒体sample的数据L1开始，长度为L2。

第3个RTP负载数据入口：从媒体sample的数据(L1+L2)开始，长度为L3。

流化sample、媒体sample及RTP包的对应关系见图3。

4.将本流化sample数据和信息加入流化sample链表。

5.将本媒体sample数据和信息加入媒体sample链表。

6.遍历媒体sample链表，写入chunk中所有媒体sample数据，生成一个完整的媒体chunk，本chunk加入所属轨的媒体chunk链表。

7.遍历流化sample链表，写入chunk中所有流化sample数据，生成一个完整的流化chunk，本chunk加入所属轨的流化chunk链表。

第四步骤、获取AAC音频流数据，生成AAC音频轨的一个chunk。

初始化媒体sample链表和流化sample链表。

重复下述子过程A-E直到chunk结束：

A.确定流化sample的边界：

根据RTP包头的mark(标志)位确定目前处理的流化sample包括1个RTP数据包。

B.确定媒体sample的边界，生成媒体sample数据：

按照RFC3640中的流化标准，确定本流化sample对应有3个媒体sample，分别为P1，P2，P3。

C.生成流化sample数据：

生成的流化sample有1个RTP包，RTP包的负载数据至少有4个入口。

入口1：保存流化信息，包括AUHeaderLen和每个AUHeader。(这个入口可能有多个，根据流化信息的长度而定，每个入口最多只能保存14个字节)

入口2：从媒体sample(AU1的序号)的数据0开始，长度为AU1的采样数据长度。

入口3：从媒体sample(AU2的序号)的数据0开始，长度为AU2的采样数据长度。

入口4：从媒体sample(AU3的序号)的数据0开始，长度为AU3的采样数据长度。

流化sample、媒体sample及RTP包的对应关系见图4。

D.将本流化sample信息加入流化sample链表。

E.将连续3个媒体sample信息加入媒体sample链表。

F.遍历媒体sample链表，写入chunk中所有媒体sample数据。

G.遍历流化sample链表，写入chunk中所有流化sample数据。

第五步骤、重复第三步骤和第四步骤直到转换完成或收到停止转换消息。

第六步骤、依次完成每个轨道的所有chunk，完成整个mdat box的写入：计算每个轨道数据大小，修改mdat box的长度字段。

第七步骤、根据内存中保存的chunk链表中信息以及sdp中的信息，恢复moov box信息，并写入文件。参照ISO14496-14标准和技术方案第四步骤中所述方法，生成moov box中必要的部分，写入文件尾部。moov box中必要的box包括：

stsd：解析sdp信息得到媒体轨的stsd所需信息。

stts：根据chunk结构中媒体sample链表或流化sample链表中每个sample节点中存储的sample时长得到。

stss：根据chunk结构中媒体sample链表或液化sample链表中每个sample节点中存储的是否关键帧信息得到。

stsc：根据轨道中chunk链表和chunk结构中媒体sample链表或流化sample链表中sample节点时长来恢复。

stsz：根据chunk结构中媒体sample链表或液化sample链表中每个sample节点中存储的sample大小得到。

stco/co64：根据各chunk结构中记录的文件偏移量得到。

采用本发明所述方法，能方便的实现多媒体通信中视音频流数据的实时及非实时录制，对于不同媒体格式的流数据，仅需要根据媒体格式修改复原sample部分。录制生成的文件符合ISO基本媒体文件格式，既可以用于流媒体服务器进行流发送，也可以被终端和PC播放器软件做本地播放，方便了媒体文件的二次分发及多个系统之间的互操作。该方法能够快速的将视音频流数据复原成ISO媒体文件，使流媒体服务器可以实现直播录制，使多媒体终端设备可以有效实现PVR。

Claims (6)

1、视音频流数据恢复ISO媒体文件的方法，包括如下步骤：

(1)获取视音频流数据的媒体轨数、各媒体轨标识、时标、负载类型以及描述信息，确定大块的划分方法，并为每个媒体轨创建一个媒体大块链表，为每个媒体轨所对应的流化轨创建一个流化大块链表；

(2)依次生成每个轨道的每个大块，并且同步对应生成所述视音频流数据的媒体轨道大块和流化轨道大块；

(3)所有轨道的所有大块生成完毕，完成整个媒体原子的写入；

(4)根据大块链表中的信息以及会话描述协议中的信息，恢复电影原子信息，并写入文件。

2、根据权利要求1所述的视音频流数据恢复ISO媒体文件的方法，其特征在于，所述步骤(1)中：划分大块的方法为：按时间划分或者按数据包的个数划分。

3、根据权利要求1或2所述的视音频流数据恢复ISO媒体文件的方法，其特征在于，所述步骤(2)中：生成媒体轨道大块和流化轨道大块的方法为：复原媒体轨道大块和流化轨道大块中所有采样数据及其索引，包括如下步骤：

(21)确定每个大块中流化采样边界；

(22)复原媒体采样，并生成媒体采样数据和信息；

(23)生成流化采样数据和信息；

(24)将流化采样数据和信息写入流化采样链表；

(25)将媒体采样数据和信息写入媒体采样链表；

(26)遍历媒体采样链表，写入媒体大块中所有媒体采样数据，生成一个完整的媒体大块，本媒体大块加入所属的媒体大块链表；

(27)遍历流化采样链表，写入流化大块中所有流化采样数据，生成一个完整的流化大块，本流化大块加入所属的流化大块链表。

4、根据权利要求3所述的视音频流数据恢复ISO媒体文件的方法，其特征在于，所述步骤(21)具体为：以实时传输协议数据包头的标志位置1作为流化采样的边界或者把时戳发生跳转也作为流化采样的边界。

5、根据权利要求4所述的视音频流数据恢复ISO媒体文件的方法，其特征在于，所述步骤(3)具体为：计算各个轨道的时长，计算各个轨道数据的大小，计算所有数据区的数据长度，更新媒体原子的长度字段，完成整个媒体原子的写入。

6、根据权利要求1所述的视音频流数据恢复ISO媒体文件的方法，其特征在于，所述步骤(4)中恢复电影原子信息的方法为：恢复采样表中必要的原子，包括：

采样描述表，由解析会话描述协议包信息得到媒体轨的采样描述表所需的信息；

时间采样表，根据大块结构中媒体采样链表或者流化采样链表中每个采样节点中存储的采样时长得到；

采样同步表，根据大块结构中媒体采样链表或者流化采样链表中每个采样节点中存储的是否关键帧信息得到；

采样大块表，根据轨道中大块链表和大块结构中媒体采样链表或者流化采样链表中采样节点时长来恢复；

采样大小表，根据大块结构中媒体采样链表或者流化采样链表中每个采样节点中存储的采样大小得到；

大块偏移表，根据各大块结构中记录的文件偏移量得到。

Images