CN100591112C - 一种多媒体数据的存储方法及精确定位回放位置的方法 - Google Patents

Abstract

一种多媒体数据的存储方法及精确定位回放位置的方法，涉及多媒体技术领域，所说的存储方法将音频流和视频流存储到数据文件A中，同时在索引文件B中存储视频流中的视频关键帧在数据文件A中存放位置，使得存储的多媒体数据能满足普通播放、快进、快退等方式检索数据的需求，并能一边存储一边播放而无需等到文件存储结束。本发明所述的多媒体数据的存储方法及精确定位回放位置的方法，音、视频数据可以实时存储、实时回放，可以精确定位回放位置。

Description

一种多媒体数据的存储方法及精确定位回放位置的方法

技术领域

本发明涉及多媒体技术领域，具体的说是一种多媒体数据的存储方法及精确定位回放位置的方法。

背景技术

随着编码技术和宽带网络技术的发展，视频流媒体业务得到了迅速发展。IPTV作为一种新型应用业务，已得到广泛发展和重视，在IPTV时移系统中，需要在流媒体存储服务器中存储实时的音、视频数据，这就需要有良好的数据组织方式以满足用户特定的需求。

随着网络带宽的提高，利用以太网络的视频会议系统中的录播系统，电信级的视频监控系统都需要在流媒体存储服务器中存储大量的音、视频实时数据供客户使用。

目前，流媒体存储服务器按通用文件格式存储音、视频主要面临的问题如下：

1、实时存储的音、视频数据在生成一个通用格式文件以前，无法对文件进行回放，例如：实时存储T分钟的音频流和视频流为一个文件，那么在这T分钟内(在这个文件存储结束以前)，将不能对这个文件进行回放，这将不能很好的支持一些领域实时回放的要求，如监控录像的实时回放。

2、快进、快退搜索关键帧的算法不是最优，回放服务器将受制于流媒体存储服务器存储音、视频的文件格式，当流媒体存储服务器采用一种新的文件格式存储音、视频后，回放服务器还要做相应修改。

3、精确定位到某一时间点回放相对困难。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种多媒体数据的存储方法及精确定位回放位置的方法，音、视频数据可以实时存储、实时回放，可以精确定位回放位置。

为达到以上目的，本发明采取的技术方案是：

一种多媒体数据的存储方法，所说的多媒体数据包括音频流和视频流，其特征在于：存储的具体步骤为：

(1)当流媒体存储服务器开始存储音频流和视频流时，流媒体存储服务器先调用存储算法在存储介质上产生一个用于存储音频流和视频流的数据文件A和一个用于记录视频流中的视频关键帧在数据文件A中存放位置的索引文件B，所说的视频关键帧为I帧；

(2)存储算法在索引文件B中写入文件头信息，同时将数据文件A的文件名、音频流和视频流的开始时间、结束时间、所属的视频频道、文件结束标志信息写到数据库中，结束时间暂时以0代替，文件结束标志信息为未结束，所说的文件头信息长度固定，至少包括版本、视频格式、音频格式、采样率、时间刻度和其它信息六项内容；

(3)存储算法接收音、视频捕捉设备发来的多媒体数据包，去掉包头组成音频帧和视频帧后，将音频帧和视频帧写入数据文件A；其记录格式为：音频帧和视频帧的长度、音频帧和视频帧的rtp时间戳、音频帧和视频帧的类型、音频帧和视频帧内容；

(4)存储算法判断当前视频帧是否为视频关键帧I帧，如果是则获取当前视频帧在数据文件A中的位置，然后执行步骤(5)，如果不是，则执行步骤(3)，继续接收下一个多媒体数据包；

(5)存储算法将步骤(4)得到的位置信息写入到索引文件B中，同时在位置信息后面加上边界标志0x0d0a0d0a；

(6)重复步骤(3)到步骤(5)的过程，直到一个文件存储的时间片到期，到期后，存储算法获取流媒体存储服务器的绝对时间，更新数据库中相应的音频流和视频流的结束时间和文件结束标志信息为：存储算法获取的流媒体存储服务器的绝对时间和已结束。

一种多媒体数据的精确定位回放位置的方法，所说的多媒体数据是按权利要求1所述的方法存储的，其特征在于：回放的具体步骤为：

(1)流媒体存储服务器获取用户在终端输入的指定的多媒体文件的播放开始时间点；

(2)流媒体存储服务器从数据库中查找该指定的多媒体文件，如果找不到，流媒体存储服务器向终端发送出错信息，通知用户指定的多媒体文件不存在；

(3)如果找到该指定的多媒体文件，流媒体存储服务器调用定位算法打开索引文件B，计算播放开始时间点在索引文件B中的位置Pb，然后在索引文件B的Pb处获取视频关键帧在数据文件A中的位置信息Pa，计算Pb的算法为：Pb＝(播放开始时间-文件开始时间)/(文件结束时间-文件开始时间)×(索引文件长度-索引文件B的文件头信息长度)；

(4)流媒体存储服务器调用存储算法读取数据文件A中Pa位置的多媒体数据，发送多媒体数据到客户端；

(5)当发送完步骤(4)中的多媒体数据后，存储算法依次读取索引文件B中的下一个视频关键帧在数据文件A中的位置信息Pa，重复步骤(4)，直到多媒体文件的数据全部发送完毕。

本发明所述的多媒体数据的存储方法及精确定位回放位置的方法，音、视频数据可以实时存储、实时回放，可以精确定位回放位置。

附图说明

本发明有如下附图：

图1多媒体数据的存储方法及精确定位回放位置的方法的业务场合的应用模式架构示意图

具体实施方式

以下结合附图对本发明作进一步详细说明。

本发明给出了一种多媒体数据的存储方法，所说的多媒体数据包括音频流和视频流，存储的具体步骤为：

(1)当流媒体存储服务器开始存储音频流和视频流时，流媒体存储服务器先调用存储算法在存储介质上产生一个用于存储音频流和视频流的数据文件A和一个用于记录视频流中的视频关键帧在数据文件A中存放位置的索引文件B，所说的视频关键帧为I帧；

(2)存储算法在索引文件B中写入文件头信息，同时将数据文件A的文件名、音频流和视频流的开始时间、结束时间、所属的视频频道、文件结束标志信息写到数据库中，结束时间暂时以0代替，文件结束标志信息为未结束，所说的文件头信息长度固定，至少包括版本、视频格式、音频格式、采样率、时间刻度和其它信息六项内容；

(3)存储算法接收音、视频捕捉设备发来的多媒体数据包，去掉包头组成音频帧和视频帧后，将音频帧和视频帧写入数据文件A；其记录格式为：音频帧和视频帧的长度、音频帧和视频帧的rtp时间戳、音频帧和视频帧的类型、音频帧和视频帧内容；

(4)存储算法判断当前视频帧是否为视频关键帧I帧，如果是则获取当前视频帧在数据文件A中的位置，然后执行步骤(5)，如果不是，则执行步骤(3)，继续接收下一个多媒体数据包；

(5)存储算法将步骤(4)得到的位置信息写入到索引文件B中，同时在位置信息后面加上边界标志0x0d0a0d0a；

(6)重复步骤(3)到步骤(5)的过程，直到一个文件存储的时间片到期，到期后，存储算法获取流媒体存储服务器的绝对时间，更新数据库中相应的音频流和视频流的结束时间和文件结束标志信息为：存储算法获取的流媒体存储服务器的绝对时间和已结束。边界标志0x0d0a0d0a还可以是其它适合的字符串，边界标志可以采用现有技术实现。

在上述技术方案的基础上，本发明给出了还给出了一种多媒体数据的精确定位回放位置的方法，所说的多媒体数据是按上述的多媒体数据的存储方法存储的，回放的具体步骤为：

(1)流媒体存储服务器获取用户在终端输入的指定的多媒体文件的播放开始时间点；

(2)流媒体存储服务器从数据库中查找该指定的多媒体文件，如果找不到，流媒体存储服务器向终端发送出错信息，通知用户指定的多媒体文件不存在；

(3)如果找到该指定的多媒体文件，流媒体存储服务器调用定位算法打开索引文件B，计算播放开始时间点在索引文件B中的位置Pb，然后在索引文件B的Pb处获取视频关键帧在数据文件A中的位置信息Pa，计算Pb的算法为：Pb＝(播放开始时间-文件开始时间)/(文件结束时间-文件开始时间)×(索引文件长度-索引文件B的文件头信息长度)；

(4)流媒体存储服务器调用存储算法读取数据文件A中Pa位置的多媒体数据，发送多媒体数据到客户端；

(5)当发送完步骤(4)中的多媒体数据后，存储算法依次读取索引文件B中的下一个视频关键帧在数据文件A中的位置信息Pa，重复步骤(4)，直到多媒体文件的数据全部发送完毕。

以下结合图1，进一步说明本发明所述的多媒体数据的存储方法及精确定位回放位置的方法。如图1所示，终端客户的ip地址为192.168.0.10，音、视频监控点一CH1的ip地址为192.168.0.5，音、视频监控点二CH2的ip地址为192.168.0.6，这两个监控点产生实时的音频、视频数据并发往ip地址为192.168.0.155的流媒体存储服务器(简称为存储服务器)，由流媒体存储服务器接收并存储，流媒体存储服务器上还设有数据库。根据上述拓扑结构，应用本发明所述方法的具体过程如下：

假定音、视频监控点一CH1、音、视频监控点二CH2都已经部署好，并向流媒体存储服务器发送实时的音频、视频数据。流媒体存储服务器设置情况如下：对CH1设置的每个文件存储时间片为1个小时，对CH2设置的每个文件存储时间片为1.5小时，存储服务器在绝对时间10003600秒开始存储频道CH1，CH2媒体数据。

当CH1在绝对时间10003600的媒体数据到存储服务器时(CH2媒体数据的存储过程与CH1相同，下面仅以CH1媒体数据的存储为例)：

存储服务器首先调用存储算法(该存储算法保存在存储服务模块中供系统调用)建立数据文件A：A1.av，索引文件B：A1.idx两个空文件，其中A1.av存储音、视频数据，A1.idx存储视频关键帧在A1.av中的位置。

存储算法在A1.idx中写入文件头信息，同时将A1.av的文件名：“A1.av”和音频流和视频流的开始时间：10003600、结束时间：0、所属的视频频道：CH1、文件结束标志信息：未结束写到数据库中，未结束可以用0代替，如果文件已结束则用1代替。

然后，存储算法接收音、视频捕捉设备发来的多媒体数据包，去掉包头对数据包进行组帧处理，组成完整的一个音频帧和视频帧后，写入A1.av，如果存储算法判定视频帧为关键帧，则存储算法还要在A1.idx文件中写入该帧在A1.av中的位置，如果是该文件的第一个关键帧，在数据库中记录文件开始存储的时间，其记录格式如图1，数据库记录格式。

重复接收数据包、组帧、存储音频帧和视频帧、记录关键帧位置过程，直到该文件的时间片结束，关闭A1.av和A1.idx，更新数据库中文件结束时间标记，例如，如图1所示，CH1在10007200秒文件存储完毕，CH2的A2.av在100010800秒结束。准备开始下一个文件的存储，重复上述存储过程。

下面继续描述精确定位回放时间点的方法，依然是以A1.av为例，假设客户想要从绝对时间10005000秒开始观看A1.av记录的视频录像，客户从终端客户上向存储服务器发送回放请求，该请求的格式可以为：rtsp://192.168.0.155/CH1_10005000。存储服务器接收到请求后解析出开始播放时间为10005000、频道为CH1，根据该频道和播放时间定位到要播放的时间段记录条目，本例定位到文件A1.av，开始时间为10003600秒，结束时间为100072000秒，文件录制标志标记文件录制已结束。

打开关键帧索引文件A1.idx，得到文件长度L1和A1.idx的文件头信息长度L2，依据如下公式求出该时间点的关键帧在索引文件中的位置Pb＝(10005000-100036000)/(10007200-10003600)×(L1-12)，在A1.idx的Pb处获取视频关键帧在A1.av中的位置信息Pa，打开A1.av并定位到Pa位置，读出数据及时间戳，按时间戳之间的相对间隔发送数据到客户端。

如图1所示的A3.av，当一个时间片的数据文件A还没有存储完毕时，那么它在数据库中记录的结束时间为0，如用户发送rtsp://192.168.0.155/CH2_100011000，那么存储服务器将会定位到文件A3.av，由于此时A3.av还没有存储完毕，其结束时间为0，表明文件还没结束，这时存储服务器取系统时间T1作为文件结束时间，当然T1要大于100011000，否则回复该时间段文件不存在。取A3.idx的文件长度L1和文件头信息长度L2，依据如下公式求出该时间点的关键帧在索引文件中的位置Pb＝(100011000-100010800)/(T1-100010800)×(L1-L2)，在A3.idx的Pb处获取视频关键帧在A3.av中的位置信息Pa，打开A3.av定位到位置Pa，读出数据及时间戳，按时间戳之间的相对间隔发送数据到客户端。

本发明的特点如下：

1、将多媒体数据和视频数据的关键帧的位置分开存储，可以减少文件指针在一个文件中来回移动的次数。

2、记录关键帧位置的文件使用固定头长，可使得回放时候能提供更多的有用信息给客户，如SDP信息。

3、多媒体数据存放采用固定的记录格式，关键帧索引文件也采用固定的记录格式，并固定每条索引记录的大小，这是精确定位的基础。

4、在每条存取关键帧记录中添加边界识别码提高索引文件的容错性。

5、在数据库中维护每个数据文件的所属频道，开始录制时间，结束时间等信息，能提高存储算法、定位算法的计算效率。

6、给出的定位公式能精确定位到指定的媒体流位置。

本发明文件组织方式简单有效，媒体定位精确，在当前文件还没有存储完毕关闭的情况下，能一边存储一边回放，同时该方法也能精确定位媒体数据。索引文件记录字段加上边界标志具有很好的容错能力。该方法能广泛的用于视频监控、iptv时移、视频会议录播等系统实时存储和回放方案。同时对一些特殊应用稍加变型，就能满足应用需求，具有较好的扩展性。

以上对本发明所提供的一种能即时回放的媒体数据存放方式以及精确定位回放位置的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种多媒体数据的存储方法，所说的多媒体数据包括音频流和视频流，其特征在于：存储的具体步骤为：

(1)当流媒体存储服务器开始存储音频流和视频流时，流媒体存储服务器先调用存储算法在存储介质上产生一个用于存储音频流和视频流的数据文件A和一个用于记录视频流中的视频关键帧在数据文件A中存放位置的索引文件B，所说的视频关键帧为I帧；

(2)存储算法在索引文件B中写入文件头信息，同时将数据文件A的文件名、音频流和视频流的开始时间、结束时间、所属的视频频道、文件结束标志信息写到数据库中，结束时间暂时以0代替，文件结束标志信息为未结束，所说的文件头信息长度固定，至少包括版本、视频格式、音频格式、采样率、时间刻度和其它信息六项内容；

(3)存储算法接收音、视频捕捉设备发来的多媒体数据包，去掉包头组成音频帧和视频帧后，将音频帧和视频帧写入数据文件A；其记录格式为：音频帧和视频帧的长度、音频帧和视频帧的rtp时间戳、音频帧和视频帧的类型、音频帧和视频帧内容；

(4)存储算法判断当前视频帧是否为视频关键帧I帧，如果是则获取当前视频帧在数据文件A中的位置，然后执行步骤(5)，如果不是，则执行步骤(3)，继续接收下一个多媒体数据包；

(5)存储算法将步骤(4)得到的位置信息写入到索引文件B中，同时在位置信息后面加上边界标志0x0d0a0d0a；

(6)重复步骤(3)到步骤(5)的过程，直到一个文件存储的时间片到期，到期后，存储算法获取流媒体存储服务器的绝对时间，更新数据库中相应的音频流和视频流的结束时间和文件结束标志信息为：存储算法获取的流媒体存储服务器的绝对时间和已结束。

2.一种多媒体数据的精确定位回放位置的方法，所说的多媒体数据是按权利要求1所述的方法存储的，其特征在于：回放的具体步骤为：

(1)流媒体存储服务器获取用户在终端输入的指定的多媒体文件的播放开始时间点；

(2)流媒体存储服务器从数据库中查找该指定的多媒体文件，如果找不到，流媒体存储服务器向终端发送出错信息，通知用户指定的多媒体文件不存在；

(3)如果找到该指定的多媒体文件，流媒体存储服务器调用定位算法打开索引文件B，计算播放开始时间点在索引文件B中的位置Pb，然后在索引文件B的Pb处获取视频关键帧在数据文件A中的位置信息Pa，计算Pb的算法为：Pb＝(播放开始时间-文件开始时间)/(文件结束时间-文件开始时间)×(索引文件长度-索引文件B的文件头信息长度)；

(4)流媒体存储服务器调用存储算法读取数据文件A中Pa位置的多媒体数据，发送多媒体数据到客户端；

(5)当发送完步骤(4)中的多媒体数据后，存储算法依次读取索引文件B中的下一个视频关键帧在数据文件A中的位置信息Pa，重复步骤(4)，直到多媒体文件的数据全部发送完毕。