CN1286875A - 利用模数时基和时间增量分辨率的时间戳印的装置和方法 - Google Patents

利用模数时基和时间增量分辨率的时间戳印的装置和方法 Download PDF

Info

Publication number
CN1286875A
CN1286875A CN99801611A CN99801611A CN1286875A CN 1286875 A CN1286875 A CN 1286875A CN 99801611 A CN99801611 A CN 99801611A CN 99801611 A CN99801611 A CN 99801611A CN 1286875 A CN1286875 A CN 1286875A
Authority
CN
China
Prior art keywords
time
base
vop
audio frequency
modulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN99801611A
Other languages
English (en)
Inventor
申省梅
陈朝庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1286875A publication Critical patent/CN1286875A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种时间戳印技术使用模数时基和时间增量分辨率来有效地编码当地时基。该当地时基被编码为两部分:表示在参考时基中的特定间隔的模数时基;以及与参考时间相关的时基增量。使用两种形式的时间增量,以允许不同编码次序和显示次序的可能情况。在此导入用于时间增量的分辨率,以允许不同帧速率的视频/音频源被编码和复用一个位流。并且,还获得保留的数位用于一些视频帧速率。时间增量分辨率的参数可以置于视频对象平面组的报头中。

Description

利用模数时基和时间增量分辨率的时间戳印的装置和方法
本发明涉及利用模数时基和动态时间增量分辨率的时间戳印(timestamping)的装置和方法。本发明在音频和视频内容的编码表示中是有用的，该音频和视频材料中需要音频和视频的时间戳印。
在视频处理领域中，音频和视频数据被记录，然后在存储于记录介质中或通过传输路径发送之前被编码。所存储和发送的数据然后被解码和再现。为了以正常速度再现音频和视频数据，需要使再现速度与记录速度相同。为此目的，在记录和编码过程中，添加必要的时间数据。这种时间数据输出的添加被称为时间戳印。
时间戳印是有用的，因为它能够用于再现的多个音频和视频流的同步。在视频编码中，视频帧的时间戳还被用于插补的目的，以及用于根据帧距离缩放运动矢量的运动补偿。当帧速率不恒定并且可能在相同的序列中大范围变化时，本发明特别有用。
时间戳印的思想不是新的思想。它已经被成功的用于许多应用中，包括在MPEG-1和MPEG-2标准的系统层中。但是，这些时间代码需要大量的数据表达。例如在MPEG-1和MPEG-2的系统中，时间戳需要33个比特。
到目前为止，在MPEG-4 VM7.1中，模数时基(modulo_time_base)和VOP时间增量(VOp_time_inrement)被引入来一同表示当地时基。前者，模数时基，包括组时基，其表示在参考时基中的特定间隔，而后者，VOP时间增量包括与参考时间相关的时基增量。图1和2示出通过使用这两个参数的时间戳印的概念，作为本发明的现有技术。
如图1和2示出，模数时基表示在一秒分辨率单位(1000毫秒)的当地时基。它被表示为在VOP报头中发送的标记。由于同步点由最后显示的I/P-VOP的模数时基所标记，跟随着一个“0”的连续“1”的数目表示已经经过的秒数。在此有两个例外，一个是对于在GOV报头之后的第一I/P-VOP，另一个是对于在GOV报头之后在第一I-VOP之前(按照显示次序)的B-VOP。
对于在GOV报头之后的第一I/P-VOP，模数时基表示与GOV报头中的时间代码相关的时间。
对于在GOV报头之后在第一I-VOP之前(按照显示次序)的B-VOP，模数时基表示与在GOV报头中的时间代码(time_code)相关的时间。
当位流包括B-VOP时，解码器需要存储两个时基，一个由最后显示的I/P-VOP或者GOV报头所表示，并且另一个由最后解码的I/P-VOP所表示。
如图1和2所示，VOP时间增量(VOP_time_increment)表示以毫秒为单位的当地时基。对于I/P和B-VOP，该数值是距由模数时基所标记的同步点的绝对VOP时间增量。
在图1中，按照显示次序的第一VOP(B-VOP)位于I-VOP之前，因此它的时基是指在GOV报头中的时间代码。第三VOP(B-VOP)位于该时间周期中，与由第二VOP(I-VOP)所表示的模数时基相距一秒，因此用于第三VOP(B-VOP)的模数时基应当为“10”。第四VOP(B-VOP)参照第二VOP(I-VOP)，用于第四VOP(B-VOP)的模数时基应当为“10”。第五VOP(B-VOP)参照第二VOP(I-VOP)，用于第五VOP(B-VOP)的模数时基应当为“110”。
在图2中，按照显示次序的第三VOP(B-VOP)位于与GOV报头中时间代码间隔一秒的时间周期中，用于第三VOP(I-VOP)的模数时基应当为“10”，由于第四VOP(B-VOP)参照第三VOP(I-VOP)，因此用于第四VOP(B-VOP)的模数时基应当为“0”。
为了在给定时间产生一幅图像(根据显示帧速率)，最简单的解决办法是使用每个要被显示的VOP的最近解码的数据。另一个更加复杂并且用于非实时的应用中的可能情况是根据它们的时间参考点从所需时刻附近的两个出现帧可以插补每个VOP。
如图1和2中所示，VOP时间增量具有毫秒的分辨率。在当前的工业中，对于不同的应用有不同的帧速率，例如23.976Hz，24Hz，25Hz，29.97Hz，30Hz，50Hz，59.97Hz，60Hz等等。对于25Hz的帧速率，两帧之间的时间间隔为40毫秒
(1000毫秒/25)，在现有技术中时间戳印技术可以处理该帧速率。但是对于29.97Hz的帧速率，两帧之间的时间间隔将为33.3667毫秒(1000毫秒/29.97)。根据现有技术中的时间戳印技术，由于VOP时间增量是以毫秒为单位的，因此VOP时间增量不可以表示这个数字。如果VOP时间增量的分辨率为固定值，类似于现有技术中的那样，则它将不能够处理不同的帧速率。
在涉及计算机图形或者同步视频源的应用中，将有许多种帧速率要被处理。因此要解决的问题是如何以有效的方式和灵活的方式来编码该时间戳，以表现宽范围的帧速率。
基于上述分析，要被解决的主要问题是使VOP时间增量的分辨率为一个可变的量，以处理许多不同的帧速率。这可以通过引入称为VOP时间增量分辨率的新语法元素。该参数可以置于GOV和/或VOL层中，如表1和表2中所示。
表1
group_of_VideoObjectPlane(){ 位数 Mnemonic
group_start_code 32 bslbf
VOP_time_increment_resolution 15 uimsbf
time_code 18 bslbf
closed_gov 1 uimsbf
next_start_code() 1 uimsbf
}
表2
 VideoObjectLayer(){ 位数 Mnemonic
    video_object_layer_start_code  32  bslbf
    video_object_layer_shape  2  uimsbf
    VOP_time_inrement_resolution  15  uimsbf
    if(video_object_layer_shape!=”binary only”){
    if(video_object_layer_shape==”rectangular”){
    video_object_layer_width  13  uimsbf
    video_object_layer_height  13  uimsbf
    }
    sprite_enable  1  uimsbf
    (
    }
表1示出视频对象平面(VOB)组的语法，并且表2表示用于在VOL层中的VOP时间增量分辨率的语法。
在表1中，组起始代码(group start code)是32比特长度的唯一代码。它标识GOV报头的开始。并且，VOP时间增量分辨率是15比特的无符号整数，它以在一个模数时间(在这种情况下为一秒)中的时钟数表示VOP时间增量的分辨率。0数值是被禁止的。
因此，解决该问题的方法是把时间戳分为两部分。第一部分表示时间戳的粗略表示，被称为模数时基。而第二部分，VOP时间增量表示两个连续模数时基间的持续时间。另外，为了解决能够表示宽范围的帧速率的问题，VOP时间增量的分辨率可以通过发送表示两个连续模数时基之间的总时钟数的标志而动态设置。
在本发明中引入的VOP时间增量分辨率与模数时基和VOP时间增量一同可以用于任何帧速率。VOP时间增量分辨率给出在一个模数时基中的总时钟数，并且VOP时间增量对从由上一个模数时基所标记的上一个时间代码开始已经经过的时钟数进行编码。
VOP的时间代码可以通过把在当前参考点的时间代码、由模数时基所标记的经过的秒数以及由VOP时间增量和VOP时间增量分辨率的比率所给出已经过的秒的分数部分求和而计算。
VOP的时间代码
   =时间代码
   +模数时基
   +VOP时间增量/VOP时间增量分辨率
例如，在上述等式中，第一项表示在特定参考时间点处的时间，第二项表示在该参考时间点之后经过的秒数，并且第三项表示秒的小数位。
VOP时间增量分辨率被置于GOV层和/或VOL层中，以表示用于在不同视频组中的不同来源的不同帧速率的相应分辨率。则VOP时间增量将通过利用不同位数表示不同分辨率的帧间距。
图1为示出在编码处理中的现有时间戳印方法的时序图。
图2为示出在编码处理中的现有时间戳印方法的时序图。
图3为示出根据本发明用于表现29.97Hz的帧速率的时间戳印技术的时序图。
图4为示出根据本发明用于表现25Hz的帧速率的时间戳印技术的时序图。
图5为示出时间戳印的基本操作的时序图。
图6为示出根据本发明用于时基编码的位流编码器的方框图。
图7为示出根据本发明用于时基解码的位流解码器的方框图。
图8为示出图6的位流编码器的操作流程图。
图9为示出图6中所示的VOP时间增量分辨率编码器的一个实施例的方框图。
本发明的优选实施例涉及一种编码用于每个视频对象平面位流编码的时基的有效方法，一种用于解码不同视频源的时基的动态设置分辨率的方法。
根据图1和2中所示的现有技术，模数时基和VOP时间增量具有相同的含义，只是在本发明中VOP时间增量具有可变的分辨率，其被表示成GOP层中的VOP时间增量分辨率中。图3和4示出表示用于具有不同帧速率的不同来源的时基的原理。
在图3中示出具有29.97Hz的帧速率(每秒中出现的帧数)的视频源。在这种情况下，VOP时间增量分辨率(帧速率乘以10n(n为正整数)以除去小数部分)为2997。换句话说，当视频源的帧速率为29.97Hz时，在每秒中将出现29.97帧。为了精确地测量该视频源的一个帧周期，需要使用每秒具有2997时钟脉冲(简称为时钟)的时钟信号。为了计数在每秒中的这种时钟数，需要12比特的数据来表示0与2997之间的一个数字。这12比特数据被置于GOV层中，特别是在表1中的第三行(VOP时间增量)或者在VOL层中，特别是在表2中的第四行(VOP时间增量)，其中容纳作为无符号整数的15比特数据。在这种情况下，一个帧周期可以通过计数100时钟而计算。因此，29帧的时间周期等价于2900个时钟。当在第一模数时间中的97个时钟被从第29帧结束处计数时，作为图3中所示的第三个P帧的第30帧结束，加上下一模数时间中的三个时钟。
在图4中示出具有25Hz的帧速率的视频源。在这种情况下，VOP时间增量分辨率为25。为了精确地测量该视频源的一个帧周期，需要使用每秒具有25个时钟的时钟信号。为了计数在每秒中的时钟数，需要一个5比特的数据来表示0与25之间的一个数字。这种5比特数据被按照与上文所述相类似的方式置于GOV层和/或VOL层中。因此，VOP时间增量仅仅需要5比特数据来表示0与25之间的数字。在这种情况下，一个帧周期仅仅是一个对应于40毫秒的时钟周期。5比特数据与用于现有技术中的10比特数据相比是非常小的数据。
并且该方案在编码用于具有不同帧速率的不同视频源的时基中非常灵活和有效。
模数时基和VOP时间增量被置于VOP层中，如表3中所示。
表3
语法
VideoObjectPlane(){ 位数
VOP_start_code
do{ sc+8=32
modulo_time_base 1
}while(modulo_time_base！=“0”
VOP_time_increment 1-15
表3示出用于模数时基和VOP时间增量的语法。
在本发明中，VOP时间增量表示从由模数时基所标志的同步点开始的绝对VOP时间增量，并且由时钟数所测量。可以取在该范围(0与VOP时间增量分辨率之间)中的一个数字。表示该数值的位数被计算为表示上述范围所需的最小位数。以秒为单位的当地时基是通过把该数值除以VOP时间增量分辨率而获得的。
接着，描述时间戳印的基本操作。
参照图5，其中示出用于把压缩数据编码为位流数据的一个实例。如图5中的顶行，压缩视频数据被按照显示次序I1、B1、B2、P1、B3、P3排列，带有插入在VOP组的开端处的GOP(图像组)报头。当显示时，利用当地时钟对每个VOP测量进行显示的当地时间。例如，第一帧(I1-VOP)被显示在从该视频数据最开始计数的1小时23分45秒350毫秒(1：23：45：350)处；第二帧(B1-VOP)显示在1：23：45：750处；第三帧(B2-VOP)显示在1：23：46：150处，如此等等。
为了编码该帧，需要把显示时间数据插入到每一帧中。包括小时、分钟、秒和毫秒的完整时间数据的插入在每一帧的报头部分占用一定的数据空间。本发明的目的是减小这种数据空间，以简化要被插入在每一帧(VOP)中的时间数据。
在图5中的第一行所示的VOP在VOP时间增量区域中存储有毫秒的显示时间数据。在第一行中的每个VOP还被暂时地存储有小时、分钟和秒的显示时间数据。GOP报头存储有用于第一VOP(I1-VOP)的小时、分钟和秒的显示数据。
如图5中的第二行所示，VOP被通过利用缓冲器(未示出)延迟预定的时间。当VOP被从缓冲器中产生时，VOP的次序根据双向预测规则而改变，例如双向VOP(即，B-VOP)应当被置于B-VOP参考的P-VOP之后。因此，VOP按照I1、P1、B1、B2、P2、B3的次序排列。
如图5中的第三行所示，在GOP报头被编码的时间T1，当地时基寄存器存储小时、分钟和秒数据，这与GOP报头中所存储内容相同。在图5中所示的例子中，当地时基寄存器存储1：23：45。则在时间T2之前，用于GOP报头的位流数据是通过利用如图5底行所示被插入的小时、分钟和秒数据而获得的。
则在时间T2，第一VOP(I1-VOP)被占据。时间代码比较器把存储在当地时基寄存器中的时间(小时、分钟、秒)与暂时存储在第一VOP(I1-VOP)中的时间(小时、分钟、秒)相比较。根据该实例，比较的结果是相同的。因此，比较器产生“0”，表示第一VOP(I1-VOP)出现在与保存于当地时基寄存器中的秒数相同的秒中。从比较器产生的结果“0”被添加到在第一模数时基区域的第一VOP(I1-VOP)中。与此同时，暂时存储在第一VOP(I1-VOP)中的小时、分钟和秒数据被消除。因此，在时间T3之前，获得用于第一VOP(I1-VOP)的位流数据，并且“0”插入在模数时基区域中，以及“350”插入在VOP时间增量区域中。
然后在时间T3，第二VOP(P1-VOP)被占据。时间代码比较器把存储在当地时基寄存器中的时间(小时、分钟、秒)与暂时存储在第二VOP(P1-VOP)中的时间(小时、分钟、秒)相比较。根据该实例，比较的结果为暂时存储在第二VOP(P1-VOP)中的时间比存储在当地时基寄存器中的时间大一秒。因此，该比较器产生“10”，表示第二VOP(P1-VOP)出现在被保存于当地时基寄存器中的秒的下一秒中。如果该第二VOP(P1-VOP)出现在被保存于当地时基寄存器中的秒的下下一秒中，则该比较器将产生“110”。
在时间T3之后，B-VOP时基寄存器被设置为等于紧接着在时间T3之前在当地时基寄存器所存储时间的时间。在该实例中，B-VOP时基寄存器被设置为1：23：45。并且，在时间T3之后，当地时基寄存器被增加到等于暂时存储在第二VOP(P1-VOP)中的时间的时间。
从比较器20产生的结果“10”被加到在模数时基区域中的第二VOP(P1-VOP)。与此同时，暂时存储在第二VOP(P1-VOP)中的小时、分钟和秒被消除。因此，在时间T4之前，获得用于第二VOP(P1-VOP)的位流数据，并且“10”插入在该模数时基区域中，以及“550”被插入在VOP时间增量区域中。
然后，在时间T4，第三VOP(B1-VOP)被占据。该时间代码比较器把存储在B-VOP时基寄存器中的时间(小时、分钟、秒)与暂时存储在第三VOP(B1-VOP)中的时间(小时、分钟、秒)相比较。因此，该比较器产生“0”，表示第三VOP(B1-VOP)出现在与被保存在B-VOP时基寄存器中的秒相同的一秒中。从比较器产生的结果“0”被加到在模数时基区域中的第三VOP(B1-VOP)。与此同时，暂时存储在第一VOP(I1-VOP)中的小时、分钟和秒被消除。因此，在时间T5之前，获得用于第三VOP(B1-VOP)的位流数据，并且“0”被插入在模数时基区域中，以及“750”被插入在VOP时间增量区域中。
然后，在时间T5中，第四VOP(B2-VOP)被占据。该时间代码比较器把存储在B-VOP时基寄存器中的时间(小时、分钟、秒)与暂时存储在第四VOP(B2-VOP)中的时间(小时、分钟、秒)相比较。根据该实例，比较的结果为暂时存储在第四VOP(B2-VOP)中的时间比存储在B-VOP时基寄存器中的时间大一秒。因此，该比较器产生“10”，表示第四VOP(B2-VOP)出现在被保存在B-VOP时基寄存器中的秒的下一秒内。
在B型VOP判断处理过程中，不管比较器产生的结果是什么，当地时基寄存器和B-VOP时基寄存器都不增加。
从比较器产生的结果“10”被加到在模数时基区域中的第四VOP(B2-VOP)。与此同时，暂时存储在第四VOP(B2-VOP)中的小时、分钟和秒被消除。因此，在时间T6之前，获得用于第四VOP(B2-VOP)的位流数据，并且“10”插入在该模数时基区域中，以及“150”被插入在VOP时间增量区域中。
然后，在时间T6，第五VOP(P2-VOP)被占据。该时间代码比较器把存储在当地时基寄存器中的时间(小时、分钟、秒)与暂时存储在第五VOP(P2-VOP)中的时间(小时、分钟、秒)相比较。根据该实例，比较的结果为暂时存储在第五VOP(B2-VOP)中的时间比存储在当地时基寄存器中的时间大一秒。因此，该比较器产生“10”，表示第五VOP(P2-VOP)出现在被保存在当地时基寄存器中的秒的下一秒内。
在时间T6之后，B-VOP时基寄存器增加到等于紧接着在时间T6之前的当地时基寄存器中所存储的时间。在该实例中，B-VOP时基寄存器被增加到1：23：46。并且，在时间T6之后，当地时基寄存器被增加到等于暂时存储在第五VOP(P2-VOP)中的时间。因此，在该实例中，当地时基寄存器增加到1：23：47。
从比较器产生的结果“10”被加到在模数时基区域中的第五VOP(P2-VOP)中。与此同时，暂时存储在第五VOP(P2-VOP)中的小时、分钟和秒被消除。因此，在时间T4之前，获得用于第五VOP(P2-VOP)的位流数据，并且“10”被插入在模数时基区域中，以及“350”被插入在VOP时间增量区域中。
在此之后，为了形成用于随后的VOP的位流数据执行类似的操作。
为了解码该位流数据，执行与上文所述相反的操作。首先，存储在GOP报头中的时间(小时、分钟、秒)被读取。该读取时间存储在当地时基寄存器中。
在接收I型或P型VOP时，即，除了B型VOP之外，存储在模数时基区域中的数据被读取。如果所读取数据为“0”，即，在0之前没有任何1，则不在当地时基寄存器中作任何改动，并且也不在B-VOP时基寄存器中作任何改动。如果，所读取数据是“10”，则存储在当地时基寄存器中的时间被增加一秒。如果所读取数据为“110”，则存储在当地时基寄存器中的时间被增加两秒。按照这种方式，应当增加的秒数由被插入在0之前的1的数目所决定。并且，当所读取数据是“10”或“110”时，作为一个存储器的B-VOP时基寄存器复制当地时基寄存器已经在最近增加之前所保存的时间。然后，保存在当地时基寄存器中的时间(小时、分钟、秒)被与保存在VOP时间增量区域中的时间(毫秒)相合并，从而确立I型或P型VOP应当出现的具体时间。
在接收到B型VOP时，存储在模数时基区域中的数据被读取。如果所读取数据为“0”，则存储在B-VOP时基寄存器中的时间(小时、分钟、秒)被与存储在VOP时间增量区域中的时间(毫秒)相合并，以确立B型VOP应当出现的具体时间。如果所读取数据为“10”，则存储在B-VOP时基寄存器中的时间(小时、分钟、秒)被加一秒，并且相加结果被存储在VOP时间增量区域中的时间(毫秒)相合并，以确立B型VOP应当出现的具体时间。如果所读取数据为“110”，则存储在B-VOP时基寄存器中的时间(小时、分钟、秒)被加两秒，并且相加结果被存储在VOP时间增量区域中的时间(毫秒)相合并，以确立B型VOP应当出现的具体时间。
与图5相关的描述已经在本发明以前的PCT申请PCT/JP97/02319中给出，该文献被包含于此以供参考。图6示出用于编码时基的位流编码器的操作的总方框图。当位流编码器启动时，一个初始化装置51把当地时基寄存器初始化为时间代码的初值。相同的时间代码值被编码为位流。在下一个I-VOP的编码开始时，时间代码比较器52把I-VOP的显示时间与当地时基寄存器相比较。其结果被传送给模数时基编码器53。该模数时基编码器53将把等于经过的模数时基增量数的所需数目的“1”插入到位流中。然后跟随着符号“0”，表示模数时基代码的结束。当地时基寄存器被更新为当前模数时基。然后该处理进行到VOP时间增量编码器54，在其中剩余的I-VOP显示时间代码被编码。
根据具有不同帧速率的不同视频源，VOP时间增量分辨率编码器55将用一个15位的数字以在一个模数时间中的时钟数来表示VOP时间增量的分辨率，例如，对于1529Hz的帧速率该数字为2997。根据由VOP时间增量分辨率编码器55所提供的信息；确定VOP时间增量编码器54需要来表示在一个模数时间中的最大时钟数的位数。例如对于最大数2997需要12位。
然后，该处理对作为P-VOP的下一个编码视频对象平面重复进行。该时间代码比较器52把P-VOP的显示时间与当地时基寄存器相比较。该结果被传送到模数时基编码器53。该模数时基编码器53将把等于经过的模数时基增量数的所需数目的“1”插入到位流中。然后跟随着符号“0”，表示模数时基代码的结束。B-VOP时基寄存器被设置为当地时基寄存器的数值，并且该当地时基寄存器被更新为当前模数时基。然后该处理进行到VOP时间增量编码器54，在其中剩余的P-VOP显示时间代码被编码。
然后，该处理对作为B-VOP的下一个编码视频对象平面重复进行。该时间代码比较器52把B-VOP的显示时间与当地时基寄存器相比较。该结果被传送到模数时基编码器53。该模数时基编码器53将把等于经过的模数时基增量数的所需数目的“1”插入到位流中。然后跟随着符号“0”，表示模数时基代码的结束。B-VOP时基寄存器和当地时基寄存器在B-VOP的处理之后都不改变。然后该处理进行到VOP时间增量编码器54，在其中剩余的B-VOP显示时间代码被编码。
当地时基寄存器被在下一个I-VOP复位，该I-VOP标志下一组VOP的开始。在同组VOP中，在VOP时间增量分辨率编码器55中给出的分辨率将为相同。
图7示出实现用于模数时基、VOP时间增量分辨率和VOP时间增量以恢复显示的时间戳的解码器的总方框图。解码次序与编码次序相同，其中I-VOP被解码，其后跟随着P-VOP并在B-VOP之前。
该处理以初始化装置61为开始，其中当地时基寄存器被设置为从位流解码的时间代码的数值。然后，该处理进行到模数时基解码器62，其中模数时基增量被解码。所解码的模数时基增量的总数由在符号“0”之前解码的“1”的数目给出。VOP时间增量分辨率解码器64从在GOV报头中的位流解码分辨率，以传送给VOP时间增量解码器63。然后，VOP时间增量解码器63可以通过解码由VOP时间增量所表示的数目并且用VOP时间增量分辨率来除，获得用于当前VOP的相应时间增量。在时基计算器中65，I-VOP的显示时间被恢复。总的解码模数时基增量值被加到当地时基寄存器。然后，被VOP时间增量所除的VOP时基增量被加到当地时基寄存器中，以获得I-VOP的显示时间，即：
I-VOP的显示时间
         =时间代码
          +模数时基
          +VOP时间增量/VOP时间增量分辨率
然后，该处理进行到视频对象解码器66，其中视频对象被解码。
对于P-VOP，该处理在模数时基解码器62中重复进行，在其中模数时基增量被解码。所解码的模数时基增量的总数是由在符号“0”之前解码的“1”所给出的。VOP时间增量分辨率解码器64从在GOV报头中的位流解码分辨率，以传送给VOP时间增量解码器63。然后，VOP时间增量解码器63可以通过解码由VOP时间增量所表示的数目并且用VOP时间增量分辨率来除，获得用于当前VOP的相应时间增量。在时基计算器中65，P-VOP的显示时间被恢复。B-VOP模数时基解码器被设置为在当地时基寄存器中的数值。总的解码模数时基增量值被加到当地时基寄存器。然后，被VOP时间增量所除的VOP时基增量被加到当地时基寄存器中，以获得P-VOP的显示时间，即：
P-VOP的显示时间
         =时间代码
         +模数时基
         +VOP时间增量/VOP时间增量分辨率
然后，该处理进行到视频对象解码器66，其中视频对象被解码。
对于B-VOP，该处理在模数时基解码器62中重复进行，在其中模数时基增量被解码。所解码的模数时基增量的总数是由在符号“0”之前解码的“1”所给出的。VOP时间增量分辨率解码器64从在GOV报头中的位流解码分辨率，以传送给VOP时间增量解码器63。然后，VOP时间增量解码器63可以通过解码由VOP时间增量所表示的数目并且用VOP时间增量分辨率来除，获得用于当前VOP的相应时间增量。在时基计算器中65，B-VOP的显示时间被恢复。总的所解码模数时基增量值和被VOP时间增量分辨率所除的VOP时基增量被加到B-VOP时基寄存器，以获得B-VOP的显示时间，即：
B-VOP的显示时间
         =时间代码
         +模数时基
         +VOP时间增量/VOP时间增量分辨率
B-VOP模数时基检测器和当地时基寄存器都保持不变。然后，该处理进行到视频对象解码器66，在其中视频对象被解码。
当地时基寄存器被在下一个I-VOP复位，该I-VOP标志下一组VOP的开始。VOP时间增量分辨率解码器64将解码用于下一组VOP的VOP时间增量的分辨率。
图7示出图6的编码器的操作的流程图，特别是VOP时间增量编码器54和VOP时间增量分辨率编码器55。假设所接收视频数据的帧速率X为不同帧速率中的一个，这些帧速率例如23.976Hz，24Hz，25Hz，29.97Hz，30Hz，50Hz，59.97Hz，60Hz。首先，帧速率被检测。
在步骤#1，检测该帧速率是否具有小数位。如果该帧速率没有小数位，例如当该帧速率是24Hz，25Hz，30Hz，50Hz和60Hz中的任何一个时，该程序进行到步骤#2，以产生具有等于该帧速率X的频率C的时钟。在步骤#3，一个时钟被计数，并且在下一个步骤#13中，帧计数器被增加1。在步骤#3中一个时钟的计数等于一个帧周期的计数。
在步骤#4中，检测该帧速率X是否有十分位。如果帧速率X具有十分位，则该程序进行到步骤#5，以产生具有等于帧速率X的十倍的频率C的时钟。在步骤#6，十个时钟被计数，并且在下一步骤#13中，帧计数器增加1。在步骤#6中十个时钟的计数等于一个帧周期的计数。
在步骤#7，检测该帧速率X是否有百分位。如果帧速率X具有百分位，例如当该帧速率为29.97Hz或59.97Hz时，程序进行到步骤#8，以产生具有等于帧速率的一百倍的频率C的时钟。在步骤#9，一百个时钟被计数，并且在下一步骤#13中，帧计数器增加1。在步骤#9中一百个时钟的计数等于一个帧周期的计数。
在步骤#10，检测该帧速率X是否有千分位。如果帧速率X具有千分位，例如当该帧速率为23.976Hz时，程序进行到步骤#11，以产生具有等于帧速率的一千倍的频率C的时钟。在步骤#12，一千个时钟被计数，并且在下一步骤#13中，帧计数器增加1。在步骤#12中一千个时钟的计数等于一个帧周期的计数。
参照图9，其中示出VOP时间增量分辨率编码器55的一个实例。第一、第二、第三、第四、第五、第六、第七和第八时钟发生器80，81，82，83，84，85，86和87产生分别具有频率23976Hz，24Hz，25Hz，2997Hz，30Hz，50Hz，5997Hz和60Hz的时钟。时钟发生器80，81，82，83，84，85，86和87被分别连接到第一转换开关88的端子Ta，Tb，Tc，Td，Te，Tf，Tg和Th。转换开关88的端子Ti连接到第二转换开关89的端子Se。第二转换开关89具有连接到第三转换开关93的端子Ra的端子Sa。第二转换开关89具有通过10-计数器90连接到第三转换开关93的端子Rb的端子Sb。第二转换开关89具有通过100-计数器91连接到第三转换开关93的端子Rc的端子Sc。第二转换开关89具有通过1000-计数器92连接到第三转换开关93的端子Rd的端子Sd。第三转换开关93的一端Re产生对应于一个帧周期的信号。
当输入视频源具有帧速率23.976Hz时，第一转换开关88具有连接到端子Ta的端子Ti，第二转换开关89具有连接到端子Sd的端子Se，并且第三转换开关93具有连接到端子Rd的端子Re。因此，在帧速率为23.976Hz的情况下，具有频率23976Hz的时钟的一千个时钟被在1000-计数器92中计数，以测量一个帧周期。在计数一千个时钟之后，表示一个帧周期的信号被从第三转换开关93的端子Re产生。
当输入视频源具有帧速率24Hz时，第一转换开关88具有连接到端子Tb的端子Ti，第二转换开关89具有连接到端子Sa的端子Se，并且第三转换开关93具有连接到端子Ra的端子Re。因此，在帧速率为24Hz的情况下，具有频率24Hz的时钟的一个时钟被计数以测量一个帧周期。在计数一个时钟之后，表示一个帧周期的信号被从第三转换开关93的端子Re产生。
从上文可以知道，第一转换开关88根据输入视频源的帧速率而切换。并且第二和第三转换开关89和93根据在小数点之后的小数位的数目而切换。在第二和第三转换开关89和93中，当帧速率没有小数位时，端子Sa和Ra分别被连接；当帧速率达到十分位时，端子Sb和Rb分别被连接；当帧速率达到百分位时，端子Sc和Rc分别被连接；当帧速率达到千分位时，端子Sd和Rd分别被连接。
当图9的电路是由计算机所构成时，计数23976Hz，24Hz，25Hz，2997Hz，30Hz，50Hz，5997Hz和60Hz的操作可以分别利用15位数据、5位数据、5位数据、12位数据、5位数据、6位数据、13位数据、6位数据而完成。换句话说，为了表达时间代码，15位数据就足够了。
并且，还可以根据不同的帧速率调节所需位的数目。
本发明的效果使得来自由不同编码器所编码的不同视频源能够被复用。它提供一种用于同步具有不同帧速率的不同视频/音频源的有效和灵活的时间戳印技术。时间增量分辨率的使用能够表现具有非整数毫秒的帧周期的帧速率。下表示出可以被表现的常用帧速率。
表4
帧速率 帧周期 是否可以用现有技术编码 是否可以用本发明编码 所用的时间增量分辨率(在1秒中的时钟数) 对于1帧间隔的时间增量
23.976Hz  41.70837504171ms 否 是 23976  1000
 24Hz  41.66666666667ms 否 是 24  1
 25Hz  40.0ms 是 是 25  1
 29.97Hz  33.36670003337ms 否 是 2997  100
 30Hz  33.33333333333ms 否 是 30  1
 50Hz  20.0ms 是 是 50  1
 59.97Hz  16.67500416875ms 否 是 5997  100
 60Hz  16.66666666667ms 否 是 60  1
表4示出时间增量分辨率与时间增量的结合。如表4所示，可以根据本发明来编码不可能在现有技术中出现的帧速率。
本发明公开涉及包含于在1998年12月21申请的优先权文件日本专利申请第HEI10-362511中的主题，其全部内容被包含于此以供参考。

Claims (20)

1．一种编码装置，其对具有时基分辨率的动态范围的音频视频序列的显示时间代码表示进行编码，其中包括：
用于通过时间采样获得音频视频序列实例的装置；
用于确定要被编码为压缩数据的所述音频视频序列实例的当地时基的装置；
用于根据三个部分编码所述当地时间的装置，该三个部分包括在当地时基上标记固定间距的一组等间隔时间参考的出现的模数时基，给出在所述固定间隔中的总时钟数的时间增量分辨率，以及以与时间参考的出现相关的时钟为单位的时间增量；
用于把时间增量分辨率的代码表示插入在音频视频序列的开头的装置；
用于在已经经过一个或多个固定时间间隔之后把模数时基的代码表示插入在所述音频视频序列实例的压缩数据中的装置；以及
用于把时基的代码表示插入在所述音频视频序列实例的压缩数据中的装置。
2．一种解码具有时基的动态范围的音频视频序列的显示时间代码表示的装置，其中包括：
用于根据三个部分解码所述当地时间的装置，该三个部分包括在当地时基上标记固定间距的一组等间隔时间参考的出现的模数时基，给出在所述固定间隔中的总时钟数的时间增量分辨率，以及以与时间参考的出现相关的时钟为单位的时间增量；
用于提取在音频视频序列的开头的时间增量分辨率的代码表示的装置；
用于从时间增量分辨率计算一帧的持续时间的装置；
用于从在所述音频视频序列实例的压缩数据中提取模数时基的代码表示，并使该时基增加已经过的适当数目的固定间隔的装置；
用于在所述音频视频序列实例的压缩数据中提取时间增量的代码表示，并且把它乘以一帧的持续时间以获得与该时基相关的音频视频序列实例的时间增量的装置，以及
用于把时间增量加到时基中，以获得音频视频序列实例的当地时间的装置。
3．根据权利要求1所述的编码装置，其中还包括用于把编码器时基的时间代码的代码表示插入在音频视频序列的开头的装置。
4．根据权利要求1所述的编码装置，其特征在于，所述模数时基包括跟随着一个“0”的一系列连续“1”，其中每个“1”表示从标记的最后同步点开始已经过的固定时间间隔数。
5．根据权利要求1所述的编码装置，其特征在于所述时间增量包括无符号二进制整数，其中整数的长度是表示由时间增量分辨率所给出的最大时钟数所需的最小二进制位数。
6．根据权利要求1所述的编码装置，其特征在于所述模数时基具有1秒时间间隔的固定间隔。
7．根据权利要求2所述的解密装置，其中还包括用于从音频视频序列的开头提取解码器时基的时间代码的代码表示，并且用它来推导解码器的当地时基的装置。
8．根据权利要求2所述的解密装置，其特征在于所述模数时基包括跟随着一个“0”的一系列连续“1”，其中每个“1”表示从标记的最后同步点开始已经过的固定时间间隔数。
9．根据权利要求2所述的解码装置，其特征在于所述时间增量包括无符号二进制整数，其中整数的长度是表示由时间增量分辨率所给出的最大时钟数所需的最小二进制位数。
10．根据权利要求2所述的解码装置，其特征在于所述模数时基具有1秒时间间隔的固定间隔。
11．一种编码具有时基分辨率的动态范围的音频视频序列的显示时间代码表示的方法，其中包括如下步骤：
通过时间采样获得音频视频序列实例；
确定要被编码为压缩数据的所述音频视频序列实例的当地时基；
根据三个部分编码所述当地时间，该三个部分包括在当地时基上标记固定间距的一组等间隔时间参考的出现的模数时基，给出在所述固定间隔中的总时钟数的时间增量分辨率，以及以与时间参考的出现相关的时钟为单位的时间增量；
把时间增量分辨率的代码表示插入在音频视频序列的开头；
在已经经过一个或多个固定时间间隔之后把模数时基的代码表示插入在所述音频视频序列实例的压缩数据中；以及
把时基的代码表示插入在所述音频视频序列实例的压缩数据中。
12．一种解码具有时基的动态范围的音频视频序列的显示时间代码表示的方法，其中包括如下步骤：
根据三个部分解码所述当地时间的装置，该三个部分包括在当地时基上标记固定间距的一组等间隔时间参考的出现的模数时基，给出在所述固定间隔中的总时钟数的时间增量分辨率，以及以与时间参考的出现相关的时钟为单位的时间增量；
提取在音频视频序列的开头的时间增量分辨率的代码表示；
从时间增量分辨率计算一帧的持续时间；
从在所述音频视频序列实例的压缩数据中提取模数时基的代码表示，并使该时基增加已经过的适当数目的固定间隔；
在所述音频视频序列实例的压缩数据中提取时间增量的代码表示，并且把它乘以一帧的持续时间以获得与该时基相关的音频视频序列实例的时间增量；以及
把时间增量加到时基中，以获得音频视频序列实例的当地时间。
13．根据权利要求11所述的编码方法，其中还包括把编码器时基的时间代码的代码表示插入在音频视频序列的开头的步骤。
14．根据权利要求11所述的编码方法，其特征在于，所述模数时基包括跟随着一个“0”的一系列连续“1”，其中每个“1”表示从标记的最后同步点开始已经过的固定时间间隔数。
15．根据权利要求11所述的编码方法，其特征在于所述时间增量包括无符号整数，其中整数的长度是表示由时间增量分辨率所给出的最大时钟数所需的最小二进制位数。
16．根据权利要求11所述的编码方法，其特征在于所述模数时基具有1秒时间间隔的固定间隔。
17．根据权利要求12所述的解密方法，其中还包括用于从音频视频序列的开头提取解码器时基的时间代码的代码表示，并且用它来推导解码器的当地时基的步骤。
18．根据权利要求12所述的解密方法，其特征在于所述模数时基包括跟随着一个“0”的一系列连续“1”，其中每个“1”表示从标记的最后同步点开始已经过的固定时间间隔数。
19．根据权利要求12所述的解码方法，其特征在于所述时间增量包括无符号整数，其中整数的长度是表示由时间增量分辨率所给出的最大时钟数所需的最小二进制位数。
20．根据权利要求12所述的解码方法，其特征在于所述模数时基具有1秒时间间隔的固定间隔。
CN99801611A 1998-12-21 1999-12-20 利用模数时基和时间增量分辨率的时间戳印的装置和方法 Pending CN1286875A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP362511/1998 1998-12-21
JP36251198A JP2000184373A (ja) 1998-12-21 1998-12-21 モジュロ時刻基準およびダイナミック時間増分解像度を用いたタイムスタンピング方法および装置

Publications (1)

Publication Number Publication Date
CN1286875A true CN1286875A (zh) 2001-03-07

Family

ID=18477042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN99801611A Pending CN1286875A (zh) 1998-12-21 1999-12-20 利用模数时基和时间增量分辨率的时间戳印的装置和方法

Country Status (8)

Country Link
EP (1) EP1014729A3 (zh)
JP (1) JP2000184373A (zh)
KR (1) KR20010032278A (zh)
CN (1) CN1286875A (zh)
BR (1) BR9907124A (zh)
ID (1) ID24586A (zh)
TW (1) TW448631B (zh)
WO (1) WO2000038431A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101091391B (zh) * 2004-10-29 2011-03-16 Nxp股份有限公司 接合mpeg流
CN101193062B (zh) * 2007-07-25 2011-07-13 中兴通讯股份有限公司 一种rohc压缩中ts值还原方法
CN101262605B (zh) * 2002-07-15 2012-05-30 苹果公司 数字视频编码用可变精度图像间定时规定的方法和装置
CN113377060A (zh) * 2021-08-13 2021-09-10 成都博宇利华科技有限公司 信号采集系统中获取每个采样点采样时刻的方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
AU2013204743B2 (en) * 2002-07-15 2016-05-19 Apple Inc Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2008201106C1 (en) * 2002-07-15 2011-06-09 Apple Inc. Method and bitstream for variable accuracy inter-picture timing specification for digital video encoding
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8254461B2 (en) 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
KR101036991B1 (ko) 2003-07-03 2011-05-25 파나소닉 주식회사 기록매체, 기록장치, 기록방법, 재생장치 및 재생방법
JP2006135477A (ja) * 2004-11-04 2006-05-25 Sanyo Electric Co Ltd 画像処理装置
EP2119185B1 (en) 2007-03-08 2015-07-01 Telefonaktiebolaget LM Ericsson (publ) Seeking and synchronization using global scene time

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69707929T2 (de) * 1996-07-05 2002-06-20 Matsushita Electric Ind Co Ltd Verfahren zum Anzeigezeitstempeln und zur Synchronisation mehrerer Videoobjektebenen
IL127274A (en) * 1997-04-01 2006-06-11 Sony Corp Image encryption device, image encryption method, image decryption device, image decryption method, and appropriate medium
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262605B (zh) * 2002-07-15 2012-05-30 苹果公司 数字视频编码用可变精度图像间定时规定的方法和装置
CN101091391B (zh) * 2004-10-29 2011-03-16 Nxp股份有限公司 接合mpeg流
CN101193062B (zh) * 2007-07-25 2011-07-13 中兴通讯股份有限公司 一种rohc压缩中ts值还原方法
CN113377060A (zh) * 2021-08-13 2021-09-10 成都博宇利华科技有限公司 信号采集系统中获取每个采样点采样时刻的方法

Also Published As

Publication number Publication date
TW448631B (en) 2001-08-01
JP2000184373A (ja) 2000-06-30
EP1014729A2 (en) 2000-06-28
BR9907124A (pt) 2000-10-03
EP1014729A3 (en) 2003-11-26
WO2000038431A1 (en) 2000-06-29
ID24586A (id) 2000-07-27
KR20010032278A (ko) 2001-04-16

Similar Documents

Publication Publication Date Title
CN1292598C (zh) 对多个视象物面作显示时间标记和同步的方法
CN1197073C (zh) 记录装置和记录方法
CN1175667C (zh) 对预定场奇偶性的场进行解码的装置和方法
CN1135841C (zh) 编码数据的特殊重现方法和装置
CN1286875A (zh) 利用模数时基和时间增量分辨率的时间戳印的装置和方法
CN1278550C (zh) 用于再现图像的方法和装置以及图像记录装置
MXPA04007020A (es) Agrupamiento de cuadros de imagen para codificacion de video.
EP1349396A3 (en) Video encoding method and apparatus, and video decoding method and apparatus
CN1293868A (zh) 编码设备和方法、解码设备和方法以及译码系统和方法
EP2838267A3 (en) Method and apparatus for encoding video and method and apparatus for decoding video, based on hierarchical structure of coding unit
CN1781313A (zh) 图像编码方法
MX354997B (es) Ponderacion adaptable de imagenes de referencia en codificacion de video.
MY177366A (en) Method and apparatus for encoding video based on scanning order of hierarchical data units, and method and apparatus for decoding video based on scanning order of hierarchical data units
JP2008259217A (ja) 符号化方法、及び符号化装置
EP1679900A3 (en) Apparatus and method for multiresolution encoding and decoding
CN1411280A (zh) 一种制作和发送及接收广播式准视频点播节目的装置
CN1271835C (zh) 运动图像数据的记录再生方法和装置
TW200715870A (en) Image encoding apparatus, picture encoding method and image editing apparatus
ATE471632T1 (de) Videokodierungsverfahren, videodekodierungsverfahren, videokodierungsprogramm, videodekodierungsprogramm, videokodierungsvorrichtung, videodekodierungsvorrichtung
CN1138725A (zh) 记录、记录/重放及重放数字视频信号的装置
SG10201607076UA (en) Efficient use of storage in encoding and decoding video data streams
CN1685368A (zh) 用于编码图像和/或音频数据的方法及设备
CN1199135C (zh) 在消息信号中嵌入辅助数据
CN1717733A (zh) 用于保证多个数据流的无缝再现的方法和设备
CN105245817A (zh) 录像回放方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication