CN1625261A

CN1625261A - 添加时间码的视频流处理技术

Info

Publication number: CN1625261A
Application number: CN 200310116895
Authority: CN
Inventors: 梁肇新
Original assignee: Individual
Current assignee: Individual
Priority date: 2003-12-03
Filing date: 2003-12-03
Publication date: 2005-06-08

Abstract

添加时间码的视频流处理技术属于视频编解码处理技术领域。该技术通过将时间码加入视频流，能够精确计算视频回放时每帧的时间码，将得到的时间码与音频中的时间点一一对应，从而实现了音视频回放以及系统流合成的精确同步，实现了快速地音视频检索剪切编辑处理。它解决了现有技术实现音视频同步时存在的以下问题：1)按照传统工作模式，在视频编码中不考虑时间的问题，这些问题都要放到系统层中去执行，导致系统层的工作量和复杂度大幅提高。2)视频以帧率作为标准，即使采用非常精确的浮点数来表示，经过较长时间后也会出现音视频流不同步的情况。3)因为视频的同步点极难计算，在带宽以及帧率都不能恒定时，同步问题就更加突出。

Description

添加时间码的视频流处理技术

1.技术领域

本技术属于视频编解码技术领域，涉及一种在视频流中添加时间码的处理技术。

2.技术背景

在目前普通的MPEG等的流处理方法中，视频流是恒定帧率的，其实际帧率是30帧/秒，即33.33…毫秒/帧的循环，按照以前传统的工作方式，视频里面不用考虑时间的问题，时间的问题全部由系统层来负责，这样系统层合成的工作量复杂度就会很大，做MEPG2的系统合成中就已碰到这种问题。

音频是时间的标准，音视频合成同步时，以音频为准，视频是以帧率为准，即使帧率是以33.33…这样精确的浮点数来计算，如果时间到达几个小时后，偏差就会非常明显，导致系统合成时，一旦时间长了就很容易出现人物口型与声音对不上等视频时间和音频合成不同步的问题。因为合成时数据的不同步，导致回放时也不同步。这种情况在目前做系统合成工作时，表现的非常明显。

当音视频同步的问题应用到互联网环境、无线环境、实时的直播、采集环境，在网络的带宽不保证，不能恒定条件下，比如在手机、无线网络、互联网上，不是像电视那样固定带宽，带宽是不能保证的，是变动的，那么这种情况下用目前公知的技术作音视频同步的直播就更困难，效果也很差。因为这种环境下帧率是可变的，数据率也是可变的，同步点很难计算，根本无从计算回放时的时间同步方法，在这种可变带宽、可变帧率、位率的情况下，回放的过程很难把音视频进行同步。

3.发明内容

为了解决现有技术音视频不同步的问题，本发明提供了在视频流中添加时间码的技术。该技术使系统层合成的工作量急剧下降，保证长时间回放(即使是经过了1000小时以上)，视频的时间点和音频的时间点同样很容易找到，从而实现音视频的同步。

本发明提供的技术方案是：

(1)将时间码加入视频流。

(2)精确计算视频回放时每帧的时间码。

(3)将得到的视频时间码与音频时间点一一对应，从而实现视音频的精确同步。

(4)音视频快速检索剪切编辑处理。

使用本发明专利可以获得的有益效果是：(1)解决了经过长时间后音视频回放时以及合成为系统流时的同步难题，很好的保证了音视频回放及合成为系统流的同步。(2)在可变位率、可变带宽、不稳定带宽的实时应用环境下，可以利用时间码，调节帧率，适应不断变化的带宽情况，保证画面不停顿及音视频同步。(3)在视频编辑、音视频的剪切时，由于有了时间码就很容易进行时间码的检索，做后期制作时很容易进行编辑，同时可以相应的对音频部分作操作，使得裁减变得非常容易，这种编辑甚至可以在没有合成的情况下进行。

4.附图说明

图1说明了本发明将时间码添加到视频流的方法。

图2以24位表达法为例，说明了本发明在设定的时间码位数表达范围内，关于精确计算视频流中每帧时间码的处理过程。

图3说明了在设定的时间码位数表达范围以外，本发明用“跳”的方法，精确计算视频流中每帧时间码的处理过程。

图4说明了本发明表示时间码适用的位数的分析列表。

图5说明了实现视音频回放以及系统流合成的精确同步的处理过程。

图6说明了在可变带宽环境下，时间和帧率的对应关系。

图7说明了本发明在音视频检索剪切编辑中的应用方法。

5.具体实施方式

图1说明了本发明如何将时间码添加到视频流的解决方法。时间码与帧号对应，不与I、P、B属性对应，时间码的存放与帧数有关，与I、P、B无关。

图2以24位表达法为例，说明了本发明在设定的时间码位数表达范围内，关于精确计算视频流中每帧时间码的处理过程。时间码可以用16-32位数表示，这里以24位表达法为例举例说明精确计算视频流中每帧时间码的处理过程。为了便于检索，使字节对正，每一帧规定一个24位的绝对时间码。绝对时间码从意义上讲，类似于I帧的关键帧。在它之间(比如每秒30帧)，每一帧的时间是基于这个绝对码值中间的差异进行累计，例如平均33毫秒/帧，将它作为一个基本数，在这个基本数中的偏移量就变得很小，比如第一帧34毫秒，就是1的正数值，这个正数值可以用哈夫曼编码，1～4位就可以完成。这个时间段的范围里面每一帧的时间值就变得很容易确定。比如到达第100帧，第100帧有时间码，那么第104帧的时间码如何确定？那就是一个累计值，现在是33毫秒/帧，第一帧的时间应该是加33然后每帧里保留一个值，就是33的+-，比如该值是1，就是33+1＝34就是这一帧的时间值，第二帧的时候就是这个时间值+33，正常情况应该是66，这时34+33＝67，有可能这帧比那帧还慢，假设是-2，那么67-2是这帧的时间值。以此类推，第n帧的时间码值是之前各帧(含第n帧)的绝对时间码值和偏移量的累计值，其中向上浮动与向下浮动的偏移量正负相抵。

图3在设定的时间码位数表达范围以外，本发明用“跳”的方法，精确计算视频流中每帧时间码的处理过程。在视频监控等方面的应用需要长期连续工作，如30天，拍摄下的视频流的时间码会远远超过图2中设定的24位所能表达的；在这种情况下，可以用“跳”的办法解决，相当于到达这个视频流里面他是第几个“跳”。跳的间隔周期等于确定的时间码位数表示的极限时间，该极限时间小时数＝2^位数/3600000毫秒。如图2中设定的24位，按照2²⁴/3600000计算，可表示4.66小时视频流，表达已经满了，落到第二个跳。这个跳的计数不断的向上累加，满足长时间视音频同步的要求。这个跳可以不加标记，因为无符号数只能往上长，到极点掉到零继续长，当出现的时间码值比上一帧小的时候跳自然加1，相当于自然最高位进位，这是时间码本身的特征。

图4说明了本发明表示时间码适用的位数的分析列表。24位的时间码表示，数据量不大(54K字节/小时)，字节对正，便于搜索，跳的间隔期(4.660小时)，符合较大型视频片源播放时间的要求；22、23位时间码表示，数据量稍有减少，跳的间隔期在1小时以上，符合普通视频片源播放时间的要求，字节不对正，检索有一定困难，如果相应的视频编码标准能够做到在非整字节表示条件下使字节对正，可选用此方法；对一般情况而言使用24位，即3个字节表示较好。16位时间码表示，数据量少，字节对正，便于搜索，但跳的间隔期很短，一般视频片源需要很多个跳，复杂度提高。因为每一个时间码占用的位数很少，就很容易把所有码率降下来。用户可以根据实际状况去具体调整时间码的分布。

一般来说采集设备由图像采集设备和音频采集设备，如电影里都会以恒定的30帧/秒，运动的MPEG，运动JPEG，每秒30幅图，每33毫秒采一下，以图的方式存到磁带或大硬盘里。声音采样为WAVE，虽然是同时采样，但如果多帧或少帧，积累下来的视音频不同步的效应就会差别很大。为此在采集的过程中加上时间码，生成视频流时在流中存时间码，合成的工具以音频为时间标准，然后去寻找视频流中的时间码，与音频的时间相对应，从而以此确定合成时音频的位置、视频的位置。这样视音频的差距就能保证在恒定的范围里，如在200毫秒上下浮动，不会出现差距很大的情况。

图6说明了在可变带宽环境下，时间和帧率的对应关系。手机、互联网、第二代互联网、宽带互联网等可变带宽下要运行实时的视频直播、可视化视频会议、可视电话等应用时，回放端如果没有时间码必然导致在带宽差的情况下视频会停顿，带宽好的时候数据传过来，导致回放端会断续，不能满足实时效果要求，有了时间码问题就可以迎刃而解。

带宽可变的环境下在接收端(即回放端)采用时间码而不是帧率作为判断依据。当带宽低的情况下接收端收不到数据，采集端就会缓下来，例如本来30帧/秒在低带宽情况下可能变成10帧/秒，带宽低、数据量小、帧率小，但能够满足流媒体音视频同步传输收看的要求；带宽恢复后，帧率又可回到正常30帧/秒，这样时刻可以保证接收端，如可视电话接收端，能够实时看到对方的画面而不用停顿。这时主要起作用的就是时间码而不是它的帧率，因为有了时间码，回放端可以非常容易的把解出来的图像与声音进行同步，而不是与之前或之后的声音同步(即异步)，保证音视频是对应的，而不是声音出来了与人物口型还对不上。这一点在可变带宽中很容易出现，有了时间码保证音视频时间同步的方法，对这种实时的面向未来的应用变得很重要。

图7说明了本发明音视频快速检索剪切编辑处理的过程。首先按照时间码，检索需要剪切的视频位置的起点和终点，设剪切起点为Ti，剪切终点为Yj；确定剪切时间(位置)Δt＝Tj-Ti，进行剪切；设剪切前视频时间Tk，剪切后Tk’＝Tk-Δt，完成音视频剪切编辑处理过程。

Claims

1.添加时间码的视频流处理技术，可以通过对每帧影像添加时间码，精确计算视频回放时每帧的时间码，从而保证视频与音频的精确同步。该技术包括：

●将时间码加入视频流。

●精确计算视频回放时每帧的时间码。

●将得到的时间码与音频时间点一一对应，实现视音频精确同步。

●音视频快速检索剪切编辑处理。

2.依据权利要求1的方法，其中“将时间码加入视频流”包括以下步骤：

将时间码与视频流中的帧号一一对应，而不与I、P、B帧的属性对应；

对视频流中的每一帧，无论该帧属于I帧、P帧或B帧，均按照相同规则存放时间码。

3.依据权利要求1的方法，其中“精确计算视频回放时每帧的时间码”包括以下方法：

在设定的时间码位数表达范围之内，关于精确计算视频流中每帧时间码的处理过程。

在设定的时间码位数表达范围之外，用“跳”的方法，精确计算视频流中每帧时间码的处理过程。

4.依据权利要求3的方法，其中“在设定的时间码位数表达范围之内，关于精确计算视频流中每帧时间码的处理过程”包括以下步骤：

确定表示时间码的位数；

用该确定的位数规定绝对时间码值，绝对时间码值等于每帧的时间平均值；

以绝对时间码值为基础数，每帧的时间码值在绝对时间码值上下浮动，出现一个很小的偏移量，用1～4位的哈夫曼编码表示它：

第n帧的时间码值是之前各帧(含第n帧)的绝对时间码值和每一帧偏移量的累计值，其中向上浮动与向下浮动的偏移量正负相抵。

5.依据权利要求3的方法，其中“在设定的时间码位数表达范围之外，用‘跳’的方法，精确计算视频流中每帧时间码的处理过程”，包括以下步骤：

确定跳的间隔周期，跳的间隔周期等于确定的时间码位数可表示的极限时间；

在第一个跳内，当时间码位数表达已经满了，达到间隔周期时，落到第二个跳，以此类推，跳的计数不断的向上累加，以此确定长时间视频回放条件下的时间码值。

“跳”不用加标记，无符号数只能向上增长，到极点后该值归零重新增长，当出现的时间码值比上一帧小的时候跳自然加一，相当于自然最高位进位。

6.依据权利要求4的方法，其中“确定表示时间码的位数”，包括以下方法：

时间码的位数可用16-32位表示，在不同条件下，适宜选用不同的位数；

24位的时间码表示，字节对正，便于搜索，数据量不大(54K字节/小时)，跳的间隔期(4.660小时)符合较大型视频片源播放时间的要求；

22、23位时间码表示，数据量稍有减少，但字节不对正，检索有一定困难，如果相应的视频编码标准能够做到在非整字节表示条件下使字节对正，跳的间隔期在1小时以上，则可以符合普通视频片源播放时间的要求；

其他条件下可用其他位数表示时间码。

7.依据权利要求1的方法，其中“将得到的时间码与音频时间点一一对应，实现视音频精确同步。”包括以下方法：

实现音视频回放以及系统流合成的精确同步的方法。

可变带宽下，实现视音频同步的方法。

8.依据权利要求7的方法，其中“实现音视频回放以及系统流合成的精确同步的方法”包括以下步骤：

在采集的过程中加上时间码；

生成视频流时在流中存时间码；

合成的工具以音频为时间标准，然后去寻找视频流中的时间码，与音频的时间相对应，从而以此确定合成时音频的位置、视频的位置。

实现音视频回放以及系统流合成的精确同步。

9.依据权利要求7的方法，其中“可变带宽下，实现视音频同步的方法”包括以下步骤：

带宽可变的环境下在接收端(即回放端)采用时间码而不是帧率作为判断依据；

在带宽低的情况下，接收端接收数据困难，采集端就会缓下来，数据量小、帧率低，但利用权利要求3、4、5中的方法，回放端可以很快的计算出回放时间，把解出来的图像与声音进行同步，而不是异步。

带宽恢复后，帧率又可以回到正常水平，这样时刻可以保证接收端，能够实时看到对方的画面而不会停顿、断续。

10.依据权利要求1的方法，其中“音视频快速检索剪切编辑处理。”包括以下步骤：

按照时间码，确定剪切段的起点和终点，设起点为Ti，终点为Tj；

确定剪切段，剪切时间Δt＝Tj-Ti；

进行剪切；

设剪切前视频时间Tk，剪切后Tk’＝Tk-Δt。