CN101193273B

CN101193273B - 一种实时多媒体图像信息存储和播放方法

Info

Publication number: CN101193273B
Application number: CN2006101497549A
Authority: CN
Inventors: 隆岗; 王�忠; 李加周; 刘继年; 王志英
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2006-11-20
Filing date: 2006-11-20
Publication date: 2010-07-14
Anticipated expiration: 2026-11-20
Also published as: CN101193273A

Abstract

本发明公开了一种实时多媒体图像信息存储和播放方法，所述存储方法包括：(a)按照存储文件名建立分片库目录，在分片库目录中建立全局索引文件，所述全局索引文件中存储有多媒体文件的会话描述协议信息和分片文件的索引信息，所述会话描述协议信息以下简称SDP信息；(b)根据全局索引文件中的分片文件的索引信息中记录的规则建立分片文件目录；(c)在分片目录下建立分片文件，所述分片文件包括各媒体数据包的索引信息以及每个数据包的内容。所述播放方法是利用全局索引和分片索引定位数据包，进行播放操作。采用本发明所述方法，文件存储格式简单，实现难度很小，节省了存储设备的代价，也提高了用户对于媒体节目的体验与感受。

Description

一种实时多媒体图像信息存储和播放方法

技术领域

本发明涉及对于实时多媒体图像信息在直播过程中进行存储与回放的方法。

背景技术

目前，对于实时图像采用流方式进行播放的过程中，一般都需要采用进行图像的存储，以便日后的回放。但根据目前大多数行业的做法，都是采用摄像设备，将直播图像最终转换为MP4等文件格式供日后播放，在一些专利中也提出了分段存储来提高播放位置定位的方法。但是对于目前需要支持的时移业务需求，这种存储转存的方式由于存储速度过慢，完整Mp4文件构造需要很长的时间，已经完全不适合几秒钟后的节目点播需求。因此，需要提出新的存储格式，满足多媒体图像的文件存储的需求。目前还没有一种存储格式能解决几秒后的直播节目点播需求。

发明内容

本发明所要解决的技术问题是提供一种实时多媒体图像信息存储方法，克服现有技术中对于采用流化方式节目直播存储中格式过于复杂的问题，提高了存储速度。

为了解决上述技术问题，本发明提供了一种实时多媒体图像信息存储方法，包括以下步骤：

(a)按照存储文件名建立分片库目录，在分片库目录中建立全局索引文件，所述全局索引文件中存储有多媒体文件的会话描述协议SDP信息和所述多媒体文件的各分片文件的索引信息；

(b)根据全局索引文件中的分片文件的索引信息中记录的分片文件的目录变更的规则建立分片文件目录；

(c)在分片文件目录下建立分片文件，所述分片文件包括各媒体数据包的索引信息以及每个数据包的内容；其中，每个分片文件的建立包括如下步骤：

(i)对需要记录的数据包进行数据包的信息分析，获取该数据包的长度、数据帧的类型和数据包的时间戳，将分析结果形成该数据包的临时索引信息；

(ii)记录媒体节目的数据包内容；

(iii)当存储的媒体数据包和临时索引信息形成一个完整的分片文件后，变更全局索引文件中的SDP信息，变更全局索引文件中的该分片文件的索引信息中该分片文件起始的时间信息。

进一步地，上述方法还包括以下特点：所述SDP信息包括多媒体文件的轨道信息、采样信息、在用户请求点播存储的多媒体文件时返回该多媒体文件的描述信息。

进一步地，上述方法还包括以下特点：所述SDP信息是在请求点播媒体节目时由服务器向点播客户端发送，或者通过Announce方式或者Describe方式获取。

进一步地，上述方法还包括以下特点：所述各分片文件的索引信息包括：各分片文件起始的时间信息，各个数据包的概述信息，对本多媒体文件进行分片的依据，媒体分片文件的目录名称，以及媒体分片文件目录变更的条件、方式与规则；所述各个数据包的概述信息包括轨数、最大最小包序号、最大最小时间点、类型。

进一步地，上述方法还包括以下特点：在全局索引文件中记录有各分片文件的索引信息的起始位置。

进一步地，上述方法还包括以下特点：所述数据包的临时索引信息包括数据包的长度、数据包读取的具体位置、数据包的帧类型、数据包的存储序号、数据包的时间戳、对应的实际信息。

进一步地，上述方法还包括以下特点：在所述步骤(iii)中，所述分片文件起始的时间信息是指全局索引文件中对应分片文件存储的数据包的最大时间点和/或最小时间点。

本发明所要解决的另一技术问题是提供一种基于上述的一种实时多媒体图像信息存储方法的实时多媒体图像信息播放方法，解决了直播图像实时转存标准文件格式难度大的问题，提高了节目播放过程中播放点定位的响应速度，提高播放速度。

为了解决上述技术问题，本发明提供了一种实时多媒体图像信息播放方法，包括以下步骤：

(A)当点播分片存储的媒体节目时，服务器读取全局索引文件中存储的相应会话描述协议SDP信息提供给用户；

(B)当用户链路建立成功开始播放时，通过分片库目录中的全局索引文件中的分片文件的索引信息定位用户播放时间点所在的分片文件的位置；

(C)读取分片文件中数据包的索引信息，根据媒体时间点，在用户播放时间点所在的分片文件内查找该媒体时间点对应的数据包的读取位置；

(D)定位到数据包后，从该处数据包开始，按照用户设置的条件进行数据包操作。

进一步地，上述方法还包括以下特点：在所述步骤(C)中，在用户播放时间点所在的分片文件内定位距该媒体时间点最近的关键帧所在的数据包，如果在本分片文件内，查找不到该时间点对应的数据包，则在该分片文件之前或者之后的分片文件中查找。

采用本存储方式，与现有技术相比，文件存储格式简单，实现难度很小，节省了存储设备的代价，也提高了用户对于媒体节目的体验与感受。该存储和播放方法特别适用于多媒体存储领域下需要进行回放的电视行业、监控行业，对于采用RTSP方式进行直播的各种场合，对于数据包的回放更具有实际意义。

附图说明

图1是分片存储格式的整体结构图；

图2是分片存储的全局索引格式；

图3是分片存储的分片文件格式；

图4是分片存储的数据包的索引格式。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

流媒体文件的分片存储格式如图1所示，分为全局索引与分片文件两个部分，两部分通过目录(分片文件的名称)关联在一起。全局索引文件部分，包含该请求存储媒体的基本描述信息(SDP信息)以及各分片文件的索引信息(如图2所示)；分片文件部分，主要用于存储具体的每一个数据包的多媒体信息，也包括各媒体数据包的索引信息(如图3所示)。在全局索引文件中存储分片文件的索引信息，其目的是定位具体数据包位于哪个分片；在分片文件里保存数据包的索引信息，其作用是找到具体数据包在该分片中的位置。

在用户采用流化(rtsp，rtp)的方式进行节目播放过程中，一旦启动开始存储的命令，按照上述文件格式进行存储的过程，包括以下的步骤：

步骤110，按照用户存储文件名的要求，建立一个与当前文件名一致(或相关联)的分片库目录，在此目录下完成后续操作；

步骤120，在分片库目录中建立一个待存储媒体数据的全局索引文件，该文件中存储有流媒体文件的SDP(会话描述协议)信息和各分片文件的索引信息；

所述SDP信息中包含多媒体文件的轨道信息、采样信息、在用户请求存储文件的点播时返回该文件的描述信息等，该文件的SDP信息可以是在请求点播该媒体节目时由服务器向点播客户端发送，也可以通过Announce方式(标准协议术语)或者Describe方式(标准协议术语)获取。由于该SDP信息在媒体节目制作过程中，保持不变，因此只需要启动时存储一份即可。

所述各分片文件的索引信息包括：各分片文件起始的时间信息、各个数据包的概述信息、对本流媒体文件进行分片的依据、媒体分片文件的目录名称，以及媒体分片文件目录变更的条件、方式与规则。

所述当前各分片文件起始的时间信息是随新写入的数据包不断更新的。

所述各个数据包的概述信息包括轨数、最大最小包序号、时间(最大时间点最小时间点)、类型等。每分片的数据包数可以修改设置，一旦数据分片完整或者数据包数据在磁盘中进行过一次更新后，就修正分片文件索引信息中的起始数据包和时间点的概述信息，保证能够使用户实时访问，也能加速媒体节目的检索速度。

所述对媒体文件进行分片的依据是指媒体节目的存储分片可以采用按固定时间、按照节目时长、按照数据包个数等方式进行划分，也可以采用组合的方式进行划分。在全局索引文件中增加分片依据使响应速度加快，更便于全局控制。

所述媒体分片文件的目录名称是根据用户的选择确定的。

所述媒体分片文件目录变更的规则可以有多种，如每个分片文件目录保存多少个分片等。

全局索引与各分片文件的索引信息相关联，或者在全局索引文件中记录有各分片文件的索引信息的起始位置。

步骤130，根据全局索引文件中的分片文件的索引信息中记录的规则建立分片文件所在目录；

全局索引中记录使用何种规则建立分片文件目录，分片文件则会根据该规则命名和保存。建立分片文件所在目录时，从全局索引文件中设置的分片文件的目录名称开始建立。在达到同一目录分片个数的上限后，变更分片文件到新的文件目录。

步骤140，建立若干个存储媒体节目的分片数据文件(简称分片文件)，分片文件存储在对应的分片目录之下；

对于每一个分片文件，形成的步骤如下：

(1)对每一个需要记录的数据包，进行数据包的信息分析，获取该数据包的长度、数据帧的类型、数据包的时间戳等相关信息；

(2)将数据包的分析结果形成该数据包的临时索引信息(由于分片的完整需要数据包数量的要求，待满足完整性要求后，就不再是临时索引信息)，包括数据包的长度、数据包读取的具体位置(在文件中的偏移)、数据包的帧类型、数据包的存储序号、数据包的时间戳、对应的实际信息等内容(见附图4)；

所述对应的实际信息是在文件偏移量指向的位置上，该位置可以在分片索引文件所在的文件中，也可以在与其相关联的文件里，表示读取的数据包的实际内容；

该索引信息可以扩充，其存放在内存中。索引信息在满足一定的数据包的情况下，也定时写入磁盘，保证磁盘存储异常退出时流媒体数据的完整性。

(3)记录媒体节目中每一个RTP数据包的内容；

建立的数据包格式不限于RTP(实时传输协议)数据包，对于内部来说，可以多样化。数据包存储时，根据实际的需要，可以存储RTP数据包的包头，也可以不存储包头。为了加快存储速度，数据包的内容形成在内存之中，当达到一定数目的数据包后，数据包的信息写入磁盘，相当于自己做了缓冲。可根据实际需要调整写包策略，包括按时间写和按包数写。一旦数据包写入磁盘，也同步变更全局索引的该分片的具体信息，保持媒体数据的一致性；

步骤(2)关注数据包的索引内容，步骤(3)关注数据包的负载内容。

(4)分片完整后(即每个分片文件达到要求的包数或时间或空间或其他预定规则)，将存储的媒体数据文件和临时索引信息形成一个完整的分片文件，将每一个数据包的索引信息追加到分片文件的开头或者末尾，也可放在其他位置或其他文件，方便定位即可，同时变更全局索引中分片文件的SDP信息，如变更轨道信息、采样信息以及变更SDP长度等，变更该分片的时间点信息(即变更全局索引文件中分片索引中各分片文件起始的时间信息)，方便日后媒体数据的回放，所述分片的时间点信息是指该全局索引文件对应分片文件存储的数据包的最大时间点和/或最小时间点，有最大时间点在判断具体数据包是否存在某分片中时会方便些，只有最小时间也是可以的，反之亦然。

对于存储的媒体文件进行播放时，采用如下的步骤：

步骤210，当点播分片存储的媒体节目时，用户发出describe请求，服务器读取全局索引中存储的相应SDP信息提供给用户；

步骤220，当用户链路建立成功开始播放时，通过分片库目录全局索引文件中的分片索引信息定位用户播放时间点的所在的分片位置；

步骤230，根据全局索引文件标记的分片文件的索引信息的存储位置(或者分片文件自身记录的索引位置)，读取分片文件中数据包的索引信息，根据媒体时间点，在当前分片内查找该时间点对应的数据包的读取位置；

由于媒体的播放必须从关键帧开始，因此通过片内的索引信息，定位距该媒体时间点最近的关键帧所在的数据包。如果本分片内，不存在具有该特性的数据包，则向前或者向后的分片文件中查找；

步骤240，定位到数据包后，从该处数据包开始，按照用户设置的条件进行数据包的操作，如读包、写包、按时间查找序号、按序号查时间、按时间找包等。

除了时移业务，本发明对于非时移业务也可提高存储和播放的速度。另外，本发明主要应用于流媒体，但不限于此，对于其他实时多媒体图像信息也适用。

Claims

1.一种实时多媒体图像信息存储方法，包括以下步骤：

(ii)记录媒体节目的数据包内容；

2.如权利要求1所述的存储方法，其特征在于，所述SDP信息包括多媒体文件的轨道信息、采样信息、在用户请求点播存储的多媒体文件时所返回该多媒体文件的描述信息。

3.如权利要求1所述的存储方法，其特征在于，所述SDP信息是在请求点播媒体节目时由服务器向点播客户端发送，或者通过Announce方式或者Describe方式获取。

4.如权利要求1所述的存储方法，其特征在于，所述各分片文件的索引信息包括：各分片文件起始的时间信息，各个数据包的概述信息，对本多媒体文件进行分片的依据，媒体分片文件的目录名称，以及媒体分片文件目录变更的条件、方式与规则；所述各个数据包的概述信息包括轨数、最大最小包序号、最大最小时间点、类型。

5.如权利要求1所述的存储方法，其特征在于，在全局索引文件中记录有各分片文件的索引信息的起始位置。

6.如权利要求1所述的存储方法，其特征在于，所述数据包的临时索引信息包括数据包的长度、数据包读取的具体位置、数据包的帧类型、数据包的存储序号、数据包的时间戳、对应的实际信息。

7.如权利要求1所述的存储方法，其特征在于，在所述步骤(iii)中，所述分片文件起始的时间信息是指全局索引文件中对应分片文件存储的数据包的最大时间点和/或最小时间点。

8.一种基于权利要求1所述的一种实时多媒体图像信息存储方法的实时多媒体图像信息播放方法，包括以下步骤：

9.如权利要求8所述的播放方法，其特征在于，在所述步骤(C)中，在用户播放时间点所在的分片文件内定位距该媒体时间点最近的关键帧所在的数据包，如果在本分片文件内，查找不到该时间点对应的数据包，则在该分片文件之前或者之后的分片文件中查找。