CN1140125C - 视频处理装置和方法 - Google Patents

Abstract

一个宏块由16×16个象素(字节)构成。当将宏块存储由DRAM等构成的帧存储器中时，以如下方式按递增顺序来顺序分配地址，并存储这些宏块，即，将地址0000至0255分配给第一宏块，将地址0256至0512分配给第二宏块。以递增的地址顺序读出以这种方式存储的宏块。

Description

视频处理装置和方法

技术领域

本发明涉及视频处理设备和方法及介质，尤其涉及可适用于对压缩的视频信号进行解码的视频处理设备和方法及介质。

背景技术

近年来，表现为MPEG(运动图像专家组)2的视频压缩技术已得到发展并应用于各个领域。在对由MPEG2方式编码的视频数据进行解码的情况下，对每个宏块进行解码。当将按每个宏块解码的视频数据存储在帧存储器中时，以屏幕显示顺序对视频数据的存储器地址进行顺序分配。亦即，在如图1A所示Y宏块由16×16个象素构成的画面由720×480个象素组成的情况下，按如下状态将这些宏块存储在帧存储器中，即，横向方向排列45个宏块，而在纵向方向排列30个宏块，如图1B所示。

在如上所述地分配存储器地址并存储视频数据情况下，这种分配为对根据存储在帧存储器中的视频数据在屏幕上显示视频数据情况适用的地址分配。例如，在图1A所示的帧存储器中，当显示屏幕顶部的一行时，由于可以连续读出地址0000至0719中的数据(与720个象素一样多的数据)，因此，可以使页面误击(mishit)的出现最少。“缺页(pagemis)”表示的是对设置在诸如DRAM(动态随机存取存储器)之类的存储器中的检测放大器进行预充电所必需的时间(因此，在进行预充电的同时不能进行诸如数据读取之类的处理)。

一般采用DRAM作为帧存储器。DRAM是由行和列构成的，一行由包括256(也有512等情况)×8列的蓄电器件构成。在这些蓄电器件中，8比特器件具有8管脚的外部端子，而16比特器件具有16管脚的外部端子。它表示一个时钟输出的比特数。在8比特器件情况下，一个时钟输出8个比特。在16比特情况下，一个时钟输出16个比特。在相同行连续提取数据。亦即，在8比特器件中，由于一行中已累积了256×8个比特，因此，可连续读出256个时钟的数据(256字节的数据)。

在视频解码器等中，以宏块为单位发送存储在帧存储器中的视频数据，并且解码顺序按宏块顺序设置。在一个Y宏块中，一行由16个行构成，其每个行由16个象素组成(因此为16字节)。因此，例如在第一个Y宏块情况下，以如下方式分割地址(取代串行地址)，并存储数据，即，将地址0000至0015分配给第一行，将地址0720至0735分配给第二行，而将地址1440至1455分配给第三行。

在对MPEG系统数据流中的数字视频信号的数据流进行解码情况下，在解码设备的分析单元中首先进行序列首标(Sequence Header)的检测处理。这是因为，除非检测到序列首标，否则不能规定图像尺寸和宽高比。

亦即，在MPEG数据流中，有这样一种情况，其中发送SDTV(标准清晰度电视)画面或HDTV(高清晰度电视)画面。例如，在数字卫星广播中，有一种将SDTV画面节目和HDTV画面节目进行多路复用并在一个通道中广播的情况。也有一种切换SDTV画面的节目通道和HDTV画面的节目通道的情况。

在对MPEG数据流进行解码的情况下，首先，必需设置图像的尺寸和宽高比。在MPEG系统中，已将序列层确定为最高位层。在一个序列中，图像尺寸和图像比率是相同的。在每个序列的开头发送序列首标。已在序列首标中描述了图像尺寸、宽高比、图像比率等。

因此，到目前为止，在对MPEG系统的比特流进行解码的情况下，为了设置图像尺寸和宽高比，首先检测序列首标。在根据序列首标设置图像尺寸和宽高比之后，从已被场内编码和帧内编码的第一图像开始进行解码。

在提取存储在一行中的数据之后，该处理过程进到下一行，并且该设备必需等待约6个时钟的时间进行预充电，直到读出存储在该下一行中的数据。这样，读出存储在另一行中的数据所必需的预充电被称为上述“缺页”。在前述8比特器件中，每256个时钟出现一次缺页(每当提取256字节的数据时)。在前述16比特器件中，每128个时钟出现一次缺页。应理解的是，如上所述，当可由一个时钟提取的数据量增大时，缺页的出现次数(产生周期)降低。

如图1B所示，在存储视频数据，并且以如下方式逐行顺序读出数据并将其显示的情况下，即，读出地址0000至0719中的数据，从而显示第一水平行，并且顺序读出地址0720至1439中的数据，从而显示第二水平行的情况下，在8比特器件中每256个字节出现一个缺页。由于缺页引起损耗时间，因此，通过以尽可能使缺页不出现的方式设置，可最大限度地利用存储器(DRAM)的容量。

在前述录像机情况下，以宏块为单位存储视频数据，并以宏块为单位读出该视频数据。由于一个Y宏块是如上所述由16行构成的，因此，每当读出一行时出现缺页。亦即，每当读出一个Y宏块时，出现16次缺页。在色度信号(Cb，Cr)情况下，由于一个宏块由8行构成，而每行由8字节组成，因此，每当读出一个Cb(Cr)宏块时，出现8次缺页。

在帧存储器采用16比特器件情况下，由于相应于一个时钟可输出16比特(2字节)的数据，因此，在Y宏块中以每8个时钟一次的速率出现缺页。在Cb宏块和Cr宏块情况下，以每4个时钟一次的速率出现缺页。因此，读出Y宏块中的一行需要8个时钟(Y宏块中的一行由16个字节构成)，而读出一个Y宏块需要8×16个时钟(一个Y宏块由16行构成)。

另一方面，假设一次缺页花费6个时钟的时间，应理解的是，由于在读出一个Y宏块情况下缺页出现16次，因此由缺页引起的损耗时间等于6×16个时钟的时间。这意味着缺页比率远大于读出一个Y宏块所必需的时间(8×16个宏块)。换句话说，这意味着损耗时间较大。另外，在色度宏块情况下，损耗时间与读出数据所必需的时间之间的比率也较大。

在根据运动补偿进行解码情况下也出现缺页。亦即，尽管采用与要被解码的宏块相关的运动矢量在帧存储器的任意位置提取了与一个宏块一样多的视频数据，但由于每当以与上述情况相类似的方式读出该宏块的一行时地址移动一行的量，因此出现缺页。有这样的问题，即，如果用户想要最大限度地发挥DRAM等的能力，则必须尽可能抑制诸如缺页的损耗时间。

本发明是考虑到上述情况而提出的，并且其一个目的是通过以递增顺序给宏块的视频数据分配地址并存储该数据来抑制缺页的出现。

在对MPEG数据流进行解码的情况下，首先，检测序列首标，并设置图像尺寸和宽高比。然而，如果在检测到序列首标之后对MPEG数据流进行解码，则有这样的问题，即，需占用时间来检测序列首标，并且在开始再现之前需要相当长的等待时间。

也就是说，MPEG系统的序列层是其中图像尺寸和图像比率相同的数据流。尽管可以最小GOP(图像组)周期提供序列首标，但是，未确定序列首标的周期。因此，最大序列长度等效于一个视频数据流。所以，迄今为止，例如当切换卫星广播的通道时，有这样一种情况，即，要占用时间来检测序列首标，并且在开始再现之前需要相当长的等待时间。

本发明的另一目的是提供一种视频处理设备和方法，其中，当不检测MPEG数据流的序列首标信息时，预测序列首标的信息并开始进行解码，从而能够使MPEG数据流可被立即解码。

根据本发明，提供了一种视频处理设备，包括：输入装置，用于输入宏块单元的视频数据；存储装置，用于以递增顺序给由输入装置输入的视频数据分配地址，并存储该视频数据；以及读取装置，用于以递增的地址页序读出存储在存储装置中的视频数据。

根据本发明，提供了一种视频处理方法，包括：输入步骤，用于输入宏块单元的视频数据；存储步骤，用于以递增顺序给由输入步骤输入的视频数据分配地址，并存储该视频数据；以及读取步骤，用于以递增的地址顺序读出由存储步骤存储的视频数据。

根据本发明，提供了一种介质的程序，包括：输入步骤，用于输入宏块单元的视频数据；存储步骤，用于以递增顺序给由输入步骤输入的视频数据分配地址，并存储该视频数据；以及读取步骤，用于以递增的地址顺序读出由存储步骤存储的视频数据。

在上述本发明的视频处理设备、视频处理方法、及介质中，以递增顺序给宏块单元的输入视频数据分配地址，存储该数据，并以递增的地址顺序读出所存储的视频数据。

根据本发明，提供了一种用于对具有由序列层、GOP层、图像层、片段(slice)层、宏块层和块层构成的分层结构的视频数据流进行解码的视频处理设备，包括：序列首标信息预测装置，用于根据肯定在图像中出现的信息来预测序列首标信息；和解码装置，用于当未检测到序列首标时，采用由该序列首标信息预测装置预测的信息，来对视频数据进行解码。

根据本发明，还提供了一种用于对具有由序列层、GOP层、图像层、片段层、宏块层和块层构成的分层结构的视频数据流进行解码的视频处理方法，包括下列步骤：根据肯定在图像中出现的信息来预测序列首标信息；和当未检测到所述序列首标时，采用所述预测的序列首标信息来对视频数据进行解码。

片段开始代码(Slice_Start_Code)的第四字节表示片段的垂直位置。因此，通过检测片段开始代码的第四字节来得到屏幕垂直方向上的象素数。宏块地址增量表示宏块的跳跃信息。因此，通过累加每次对宏块进行解码时的宏块地址增量，得到屏幕水平方向上的宏块数。通过将其与宏块尺寸相乘，得到屏幕水平方向上的象素数。

如果采用上述预测信息对MPEG数据流进行解码，则可对MPEG数据流立即解码而不用检测序列首标。

附图的简单说明

图1A和1B是用于解释传统存储视频数据方法的示意图；

图2是表示应用本发明的视频处理设备一实施例的结构框图；

图3是表示图2中解码单元12的详细结构框图；

图4是解释本发明存储视频数据的方法的示意图；

图5是解释本发明存储视频数据的方法的示意图；

图6是解释预测宏块的读取的示意图；

图7是应用本发明的MPEG解码设备示例的框图；

图8是用于解释MPEG系统的分层结构的示意图；

图9是用于解释片段的示意图；

图10是表示在水平方向上图像尺寸的预测电路结构的功能框图；

图11是用于解释宏块的示意图；

图12是表示在垂直方向上图像尺寸的预测电路结构的功能框图；

图13是音频解码器100一实施例结构的框图；

图14是从消息发送程序发送到解码程序的消息示例的示意图；

图15A和15B是解释存储器114中伪块131和BBB链132的示意图；

图16是解释解码器100的处理操作的流程图；和

图17A至17C是解释介质的示意图。

实施发明的最好形式

图2是表示用于对以MPEG系统编码的数据进行解码的视频处理设备的结构框图。由调谐器1接收到的视频数据由解调处理单元2进行解调处理，并由纠错处理单元3进行纠错处理。另外，纠错处理过的视频数据被发送到软件处理单元4。软件处理单元4是由软件程序构成的，该软件程序由CPU(中央处理器)(未示出)执行。对每个通道，软件处理单元4中的多路分解器单元11将输入的数据多路分解成视频数据和音频数据。解码单元12根据MPEG系统对多路分解过的视频数据进行解码。

在显示处理单元13中，解码单元12的输出被例如从由HDTV表示的高清晰度电视信号扫描行数变换为NTSC(国家电视制式委员会)制式的电视信号。控制器14控制除解码单元12外的软件处理单元4中的每个单元，并在对视频数据进行处理的任意时刻使用高速缓冲存储器7。DMAC(直接存储器存取控制器)6控制从高速缓冲存储器7到帧存储器5的DMA传送。帧存储器5例如是由DRAM构成的，并且，所存储的视频数据被输出到视频显示设备(未示出)。

图3是表示图2中所示解码单元12的更详细结构的框图。从多路分解器单元11输出的视频数据被输入到解码单元12中的可变长度解码单元31。可变长度解码单元31对输入的视频数据进行可变长度解码处理，分别向逆量化单元32输出量化步长和视频数据，向运动补偿预测单元35输出运动矢量。根据从可变长度解码单元31提供的量化步长，逆量化单元32对被进行过可变长度编码处理的视频数据进行逆量化。逆量化的视频数据经控制器14存储在高速缓冲存储器7中。

在内宏块(intra-macroblock)情况下，由逆DCT变换单元33进行过逆DCT变换处理的视频数据被原样传送和存储到高速缓冲存储器7中。在非内宏块情况下，运动补偿预测单元35采用由可变长度解码单元31提供的运动矢量和存储在帧存储器5中的参考视频图像，对预测宏块进行算术运算并且视频数据存储在高速缓冲存储器7中。算术运算单元34将由逆DCT变换单元33提供的视频数据(差分数据)和由高速缓冲存储器7提供的预测宏块相加，从而得到解码的视频数据，并将其传送到高速缓冲存储器7。在DMAC6的控制下，存储在高速缓冲存储器7中的视频数据被传送到帧存储器5。

下面将描述图2中所示视频解码设备的操作。调谐器1接收视频数据，并将其输出到解调处理单元2。接收到该视频数据的解调处理单元2对输入的视频数据进行解调处理，并将其输出到纠错处理单元3。纠错处理单元3对被输入并被解调处理过的视频数据进行纠错处理，并将其输出到软件处理单元4。在软件处理单元4中，所输入的视频数据被多路分解器单元11多路分解成视频数据和音频数据，并且它们被输出到解码单元12。

解码单元12受控制器14的控制，通过任意采用高速缓冲存储器7和帧存储器5对视频数据进行解码，并将解码的视频数据输出到显示处理单元13。显示处理单元13对解码的视频数据进行扫描行数变换处理，并将其存储在帧存储器5中。存储在帧存储器5中的视频数据，即，经历过扫描行数变换处理的视频数据，被输出到视频显示设备(未示出)等。

下面将描述图3中所示将视频数据写入解码单元12的帧存储器5中的操作。以宏块为单位，将数据写入帧存储器5，并从帧存储器5中读取数据。由于一个Y宏块由16×16个象素构成，因此，其由256个字节构成。Cb宏块和Cr宏块中的每个由64(＝8×8)个字节构成。因此，如图4中所示，至于Y宏块按递增顺序来顺序分配连续地址，并且采用如下方式存储这些宏块，即，将第一次读取并位于屏幕左上侧的Y宏块存储在帧存储器5的地址0000至0255中，将接下来读取的Y宏块存储在地址0256至0511中，而将再接下来读取的Y宏块存储在地址0512至0768中。

类似地，如图5所示，对于色度宏块Cb宏块和Cr宏块，以递增顺序来顺序分配连续地址，并以如下方式存储这些宏块，即，第一次读取的色度宏块被存储在地址0000至0063中，接下来读取的色度宏块被存储在地址0064至0128中。

通过存储如上所述的宏块单元视频数据，在读出一个宏块时绝不会在Y宏块和Cb(Cr)宏块两者中出现缺页。亦即，当切换作为要被读出的目标的行时出现缺页，并且一行是由256个字节构成的(以下，严格地，将256字节称为一页并且每个单元的定界符被称作页面定界符)。因此，在每次进行256字节的读取操作时至少出现一次缺页。但是，如果如上所述地将数据存储在帧存储器5中，则相对于Y宏块，每个宏块产生一页面定界符。相对于Cb(Cr)宏块，每4个宏块产生一页面定界符。

由于为了使缺页(损耗时间)最小而降低切换行的次数足以满足需要，因此，可通过如上所述地将数据存储到帧存储器5中来降低损耗时间。

下面将针对采用运动补偿矢量从其中已存储视频数据的帧存储器5中提取预测视频数据的情况进行解释。作为示例，将解释将Y宏块设置为目标的情况。如上所述，一个Y宏块由16×16个象素(16×16个字节)构成。

图6是通过预测在屏幕显示设备的屏幕上显示的画面表示要预测的宏块MA_n(解码的宏块)与宏块MA_m之间的位置关系的示意图。在运动补偿矢量MA_n中，图中横向(水平)方向上的运动补偿矢量表示为x，而图中纵向(垂直)方向上的运动补偿矢量表示为y。矢量x和y用于确定水平和垂直方向上的地址偏移，应采用这些地址偏移从宏块MA_m的左上边缘部分提取数据。

预测其位置无条件地由矢量x和y确定的宏块MA_m与图6中所示的4个宏块相重叠的情况。如果这4个宏块以左上至右下的顺序由宏块MA_0、宏块MA_1、宏块MA_2、和宏块MA_3表示，则由下式表示要被解码的宏块MA_n与矢量x和y之间的关系。

MA_0＝MA_n+x/16+MA_w×y/16

MA_1＝MA_0+1

MA_2＝MA_0+MA_w

MA_3＝MA_0+MA_2+1           ...(1)

其中，x和y表示矢量x和y的幅度，MA_w表示在屏幕水平方向的行上排列的宏块数。

另外，通过下式计算宏块MA_0、MA_1、MA_2和MA_3中与宏块MA_m重叠的部分中左上边缘上的地址(开头地址)。假设宏块MA_0、MA_1、MA_2和MA_3的开头地址分别为ad_0、ad_1、ad_2和ad_3。

ad_0＝ad MA_0+x％16+16x(Y％16)

ad_1＝ad_MA_1+16x(y％16)

ad_2＝ad_MA_2+x％16

ad_3＝ad_MA_3                  ...(2)

其中，ad_MA_0、ad_MA_1、ad_MA_2和ad_MA_3表示宏块MA_0、MA_1、MA_2和MA_3的开头地址，x％16表示将矢量x的幅度与16相除后得到的余数，类似地，y％16表示将矢量y的幅度与16相除后得到的余数。

通过下式来计算宏块MA_0、MA_1、MA_2和MA_3中与宏块MA_m重叠的部分中的水平数据数和垂直行数。在下面的式子中，MA_0_h表示宏块MA_m与宏块MA_0重叠部分中的水平数据数，MA_0_v表示宏块MA_m与宏块MA_0重叠部分中的垂直行数。其他叙述表示类似的含义。

MAc0_h＝16-(x％16)，    MA_0_v＝16-(y％16)

MA_1_h＝16-MA_0_h，     MA_1_v＝16-MA_0_v

MA_2_h＝MA_0_h，        MA_2_v＝16-MA_0_v

MA_3_h＝MA_1_h，        MA_3_v＝MA_2_v      ...(3)

如上所述，在从4个宏块MA_0、MA_1、MA_2和MA_3中提取数据的情况下，出现4次缺页。在从相同的宏块(一个宏块)提取数据的情况下，不出现缺页。亦即，有出现至少0次、最多4次缺页的可能。

然而，在DRAM等中设置2个存储组(bank)，并且通过切换存储组来进行数据的写入和读取。在宏块中，在每个行，数据被交替写入不同的存储组。因此，在如图6所示采用两个存储组0和1进行写入的情况下，重复下面的处理：即，从存储组0读出宏块MA_0的一个水平行的数据；从存储组1读出宏块MA_2的一个水平行的数据；从存储组0读出宏块MA_1的一个水平行的数据；接着，从存储组1读出宏块MA_3的一个水平行的数据。

如果如上所述地通过切换存储组0和1来读出数据，则不出现缺页。亦即，由于每个存储组0和1具有独立的检测放大器，因此，它被单独地设置到有效状态(预充电状态)。因此，即使连续地读出其他存储组中存储的宏块(即使通过切换存储组来读出数据)，也可忽略由于切换引起的缺页(损耗时间)。所以，仅有当第一次读出宏块MA_0的数据时出现的缺页才变成损耗时间。

尽管上述已在公式(1)至(3)中描述了读出Y宏块的情况，但是，在色度(Cb，Cr)宏块情况下，在每个公式中用8替代16来进行计算便可。

通过如上所述地写入和读取视频数据，在读出一行Y宏块所必需的时间中进行数据传送所需的时间等于8×16个时钟。假设一个缺页的时间等于6个时钟，则由于缺页引起的损耗时间等于6×1个时钟，因此，可以降低由于缺页引起的损耗时间与数据传送时间之比。类似地，即使在读出一个Cb(Cr)宏块的情况下，也可以降低由于缺页引起的损耗时间与数据传送时间之比。

下面将描述在将视频数据输出到视频显示设备(未示出)情况下的处理。在以如下方式存储宏块单元的视频数据的情况下，即，屏幕上的数据排列和帧存储器中的数据排列与图1B所示的相同，通过以递增的地址顺序读出数据来进行视频显示。但是，在如图4(图5)所示以一行或二行地存储宏块的情况下，不能通过通过以递增的地址顺序读出数据来显示视频图像。

换言之，在如图1B所示地存储视频数据情况下，从每个宏块中读出16个象素的视频数据，以便在屏幕上显示一行。即使自如图4(图5)所示地存储视频数据的情况下，也已从每个宏块类似地读出每16个字节的视频数据。采用该方法，每当读出16个字节时，要切换行，并且每次均出现缺页。为了消除这种不便，如下所述地执行地址变换并将视频数据输出到视频显示设备便足以了。

图3所示的高速缓冲存储器7被用作临时缓冲器，而将一个片段的视频数据从帧存储器5载入高速缓冲存储器7，并转换到如图1B所示的存储结构(地址)。在采用SRAM(静止RAM)作为高速缓冲存储器7情况下，由于没有象DRAM这样的页面，因此，不出现缺页。

下面将具体描述将地址从已如图4所示地存储Y宏块的状态变换到已如图1B所示地存储Y宏块的状态的情况。从其中已如图4所示地存储视频数据的帧存储器5中读出地址0000至0015中的视频数据作为第一行视频数据，并将其存储在高速缓冲存储器7的地址0000至0015中。然后，读出地址0016至0031中的视频数据作为第二行视频数据，并将其存储在高速缓冲存储器7的地址0720至0735中。接着，读出地址0032至0047中的视频数据作为第三行视频数据，并将其存储在高速缓冲存储器7的地址1440至1455中。重复这种处理。

在如上所述从高速缓冲存储器7读出视频数据的情况下，由于以递增的地址顺序执行读取操作本身，因此，仅每256个字节才出现缺页。将存储在高速缓冲存储器7中的视频数据再次传送到帧存储器5并予以存储。如图1B所示存储在帧存储器5中的视频数据被输出到视频显示设备(未示出)。

由于以一一对应关系的地址顺序执行从高速缓冲存储器7到帧存储器5的再传送，因此，如果采用SRAM构成高速缓冲存储器7，则不出现缺页，从而不出现由于上述处理引起的损耗时间。

尽管在上述描述中将视频数据再次从高速缓冲存储器7传送到帧存储器5，但是，视频数据也可从高速缓冲存储器7传送到与帧存储器5不同的、用于显示或缩放的帧存储器(DRAM)。

通过如上所述地写入和读取宏块的视频数据，在完成解码后得到的宏块可顺序存储在包括DRAM等的帧存储器中的相同页面中。因此，可通过采用DRAM的猝发式传送功能来减少缺页的出现次数，并可改善存储器带宽。由于已将宏块存储在帧存储器的相同页面中，因此，即使在采用运动补偿矢量提取参考宏块情况下，也可采用DRAM的猝发式传送来减少缺页次数，并可改善存储器带宽。

当将宏块存储在帧存储器中时，通过针对屏幕的每个水平宽度将它们交替存储在DRAM的其他存储组中，即使在从多个(多至4个)宏块中提取预测数据情况下，也可使缺页最少。此外，由于可采用两个存储组构成存储器，因此，可简化存储器系统的结构，并采用小(较小)容量的DRAM来实现，从而灵活性较高。

下面将描述这样一种视频处理设备，其中当未检测到MPEG数据流的序列首标信息时，预测序列首标的信息，并开始解码，从而能够立即对MPEG数据流进行解码。图7表示的是应用本发明的视频处理设备的示例。图7中，来自多路分解器11的MPEG数据流被提供给MPEG解码器12和序列首标预测电路16。MPEG解码器12对MPEG数据流进行解码处理。

由MPEG解码器12对MPEG数据流进行解码，MPEG解码器12输出数字视频数据的数据流。MPEG解码器12的输出通过显示处理单元13提供给显示器15。因此，基于MPEG数据流的画面被显示在显示器15上。

在由MPEG解码器12对MPEG数据流进行解码的情况下，首先，必须设置图像尺寸、宽高比等。可由序列首标检测这些信息。但是，有需占用时间来检测序列首标的情况。

因此，设置了序列首标预测电路16。序列首标预测电路16采用肯定包括在每个图像中的信息来预测要通过序列首标发送的信息。

也就是说，在序列首标中，发送诸如图像尺寸、宽高比、帧速率、VBV缓冲器尺寸、量化矩阵等的信息。序列首标预测电路16采用片段信息来预测垂直方向上的图像尺寸。水平方向上的图像尺寸是采用宏块信息来预测的。宽高比是采用已预测到的垂直方向上的图像尺寸和水平方向上的图像尺寸进行预测。通过采用DTS/PTS等的时间戳来检测解码定时，来预测帧速率。序列首标预测电路16的输出被提供给MPEG解码器12，并被提供给显示处理单元13。

在MPEG解码器12对MPEG数据流进行解码的情况下，如果可以检测到序列首标，则采用序列首标的信息来设置图像尺寸、宽高比、帧速率、VBV缓冲器尺寸、量化矩阵、逐行序列等。

当MPEG解码器12不能检测序列首标时，设置由序列首标预测电路16预测到的图像尺寸、宽高比、帧速率、VBV缓冲器尺寸、量化矩阵、逐行序列等。

当MPEG解码器12不能检测序列首标时，将由序列首标预测电路16预测到的图像尺寸和宽高比发送到显示处理电路13。根据由序列首标预测电路16预测到的图像尺寸和宽高比，设置显示屏幕。

在上述应用了本发明的MPEG解码设备中，配备用于预测序列首标信息的序列首标预测电路16。当不能检测到序列首标时，采用由序列首标预测电路16预测的图像尺寸和宽高比来执行解码处理。因此，例如即使当在卫星广播中切换通道时，也几乎没有等待时间，并可开始再现。

下面将具体解释序列首标预测电路的原理和结构。

如图8所示，MPEG的数据结构是包括序列层、GOP层、图像层、片段层、宏块层和块层的分层结构。

序列层是具有一系列相同属性如相同图像尺寸和相同视频率的画面组。GOP层是用作随机存取单元的画面组。图像层是一个画面通用的属性组。片段层是通过细分一个画面所得到的组。宏块层是通过对片段层进一步细分所得到的组，并且是用于执行运动矢量检测等的组。块层是用于执行DCT变换的块本身。

在序列的开头设置序列首标(SH)。在序列首标中，记述了如下项等。

(1)水平尺寸值(Horizonal_Size_Value)：视频图像水平方向上的象素数

(2)垂直尺寸值(Vertical_Size_Value)：视频图像垂直方向上的象素数

(3)宽高比信息(Aspect_Ratio_Information)：宽高比

(4)帧速率码(Frame_Rate_Code)：视频图像显示周期

(5)VBV缓冲器尺寸(VBV_ Buffer_Size)：用于控制产生码量的虚拟缓冲器容量(VBV)

(6)加载量化矩阵(Load_Quantization_Matrix)：用于宏块的量化矩阵

(7)逐行序列(Progress_Sequence)：表示逐行扫描

在它们中，可根据片段的信息来预测视频图像垂直方向上的象素数的信息(Horizonal_Size_Value)。

亦即，图9表示一个图像中片段的结构。如图9所示，一个图像被分割成多个片段。在一个图像顶部(Bs＝1)最左边的片段被设置为Slice(1，0)。从顶部左边起的第二片段被设置成Slice(1，1)。以与上述类似的方式，在一个图像底部(Bs＝1)最左边的片段被设置为Slice(N，0)。从底部左边起的第二底片被设置成Slice(N，1)。

尽管如上所述在水平方向上存在多个片段，但是，在图像的左边，该片段肯定被切换到具有作为开始码的新片段ID的片段。因此，可采用片段来预测一个图像垂直方向上的尺寸。

亦即，在每个片段开头插入作为表示片段层开头的同步码的片段开始代码。片段开始代码表示为16进制数“00000101～AF”。该代码的最后一个字节(第四字节的“01～AF”)采用16进制数表示片段的垂直位置。如上所述，片段开始代码的第四字节对应于片段垂直方向上的位置，并且这意味着相同行中的相同数。

根据上述解释，可通过检测一个图像底部片段开始代码的第四字节，来预测屏幕垂直方向上的象素数。

图10的功能框图表示用于根据上述片段的信息预测屏幕垂直方向上的象素数的结构。图10中，MPEG数据流被提供给输入端41。图像开始代码检测单元42检测MPEG数据流中的图像开始代码。片段开始代码检测单元43检测片段开始代码。

图像开始代码是表示图像层的开始的代码。片段开始代码是表示片段层的开始的代码。片段开始代码的第四字节表示垂直位置。

片段开始代码检测单元43的输出被发送到第四字节提取单元44。在第四字节提取单元44中，提取片段开始代码的第四字节信息。第四字节提取单元44的输出被发送到垂直尺寸寄存器45。

图像开始代码检测单元42通过检测图像开始代码来检测一个图像的开头。当检测一个图像的开头时，对垂直尺寸寄存器45进行复位。并且，鉴别是否已由片段开始代码检测单元43检测到片段开始代码。

在由片段开始代码检测单元43检测片段开始代码的情况下，由第四字节提取单元44提取片段开始代码的第四字节信息，并且将片段开始代码的第四字节信息提供给寄存器45。一直到由图像开始代码检测单元42检测下一个图像开始代码之前，当片段开始代码检测单元43检测片段开始代码时，第四字节提取单元44提取提取片段开始代码的第四字节信息，并且寄存器45根据该值进行更新。

当图像开始代码检测单元42检测下一个图像开始代码时，将寄存器45中的信息作为垂直方向上的象素数信息输入到垂直尺寸寄存器46。

以这种方式，片段开始代码检测单元43从图像的开头至结尾中检测片段开始代码，并且当检测到片段开始代码时，由第四字节提取单元44提取第四字节的值，并将其输入到垂直尺寸寄存器45，从而，从垂直尺寸寄存器46中的值中提取垂直方向上象素数的预测值。

可根据宏块的信息来预测水平方向上的象素数(Horizontal_Size_Value)。也就是说，如图11所示，通过进一步分割片段来得到宏块。在该示例中，在Slice(1，0)中有宏块MB1、MB2和MB3，在Slice(1，1)中有宏块MB4、MB5、MB6和MB7。在Slice(1，0)的宏块MB2和MB3之间存在跳跃的宏块。

在宏块的开头设置宏块地址增量(Macroblock_Address_Increment)，它是表示被跳跃的宏块的VLC(可变长度码)。尽管在一般相邻宏块中的块地址增量等于“1”，但是，当存在要跳跃的宏块时，它被设置成增大了跳跃的宏块数的值。

因此，每个宏块累积一个片段中的宏块地址增量的值，并且，在水平方向上存在多个片段情况下，通过将每个片段中宏块地址增量的累积值相加，可识别出每个画面横向方向上的宏块数。通过将所识别出的数与宏块尺寸(即，对于色度信号为“16”，而对于两个色差信号为“8”)相乘，可预测每个图像水平方向上的象素数。

图12的功能框图表示用于根据上述宏块信息来预测画面水平方向上的象素数的结构。

图12中，MPEG数据流被提供给输入端51。片段开始代码检测单元52检测MPEG数据流中的片段开始代码。宏块地址增量检测单元53检测宏块地址增量。

在对水平方向上的象素数进行预测的情况下，不管开始的图像编码类型如何，均由MPEG解码器12采用在这种图像中进行内处理(intra-process)来进行解码。当对宏块执行解码时，输出表示已对宏块进行了解码的信号。表示已对宏块进行了解码的信号从输入端62提供给解码宏块检测单元57。

在由片段开始代码检测单元52检测到一行中最左边处的片段的情况下，对寄存器55、寄存器58A、58B...、水平尺寸寄存器61清零。在宏块地址增量检测单元53中，检测宏块地址增量。

宏块地址增量指的是宏块的跳跃信息，并且对应于“1”至“33”的增量值采用可变长度码写入。当宏块地址增量等于或大于“33”时，也称作宏块逃逸。

宏块地址增量检测单元53的输出被提供给VLC解码单元54。在VLC解码单元54中对宏块地址增量的值进行解码。

VLC解码单元54的输出被提供给加法器56。寄存器55的输出被提供给加法器56。解码宏块检测单元57的输出被提供给寄存器55。当根据解码宏块检测单元57的输出检测到已对宏块进行了解码的事实时，在加法器56中将当前的宏块地址增量的值与先前的宏块地址增量的值相加，并且累积宏块地址增量的值。接着得到相同水平行的每个片段中的宏块地址增量的累积值。

寄存器55的输出被提供给寄存器58A、58B、...。在水平方向上存在多个片段情况下，寄存器58A、58B、...获取每个片段中宏块地址增量的累积值。片段开始代码检测单元52的输出被提供给寄存器58A、58B、...。响应于片段开始代码检测单元52的输出，对于每个片段，将宏块地址增量的累积值输入到寄存器58A、58B、...。例如，将相同水平行第一片段中的宏块地址增量的累积值输入到寄存器58A。将相同水平行下一片段中的宏块地址增量的累积值输入到寄存器58B。

寄存器58A、58B、...的输出被提供给加法器59。在加法器59中，对每个片段中的宏块地址增量的累积值进行相加。如上所述，通过将每个片段中累积的宏块地址增量的值相加，可得到每个画面横向方向上的宏块数。

加法器59的输出被提供给乘法器60。乘法器60将宏块数与宏块尺寸相乘，从而计算水平方向上的象素数。亦即，在乘法器60中，通过将宏块数与宏块水平方向上的尺寸相乘，来计算每个图像水平方向上的象素数。以这种方式得到的水平方向上的象素数被提供给水平尺寸寄存器61。

如上所述，在加法器56和寄存器55中，对每个宏块累积一个片段中的宏块地址增量的值，并且由加法器59将在每个片段中累积的宏块地址增量的值相加，从而计算每个画面横向方向上的宏块数。在乘法器60中，将其与宏块尺寸相乘，从而得到每个图像水平方向上的象素数。

可根据上述得到的视频图像水平方向上的象素数和垂直方向上的象素数来预测宽高比(Aspect_Ratio_Information)。如果图像尺寸等于(720×480)，则TV类型是SDTV。因此，预测到宽高比等于(4∶3)。如果画面尺寸等于(920×1080)，则TV类型是HDTV。因此，预测到宽高比等于(16∶9)。

通过采用DTS/PTS的时间戳等来识别解码定时，非直接地预测视频图像的显示周期(Frame_Rate_Code)。

对于用于控制产生码量的虚拟缓冲器(VBV)的尺寸(VBV_Buffer_Size)，预备具有可能电平分布的最大尺寸的缓冲器。类似地，同样对应于对视频图像的解码，确保相关电平分布中通常可能的最大尺寸的容量。

宏块的量化矩阵(Load_Quantization_Matrix)由缺省值替换。

逐行序列(Progressive_Sequence)由对每个帧多路复用的图像编码类型(Picture_Coding_Type)中的逐行帧(Progressive_Frame)替代。

尽管已在上述示例中描述了对MPEG1或MPEG2的数据流进行解码的情况，但是，本发明也可类似地应用于对类似分层结构的数据流进行解码的情况。

已经描述了采用软件对MPEG视频数据流的解码。下面将描述采用软件对MPEG音频数据流的解码。在MPEG音频解码器中，由外部提供的MPEG音频数据由解码模块进行解码，解码数据被提供给编解码器模块，并由编解码器模块进行数字/模拟转换，转换后的模拟数据被输出到外部设备。

但是，当由解码模块解码的MPEG音频数据被输出到编解码器模块时，如果切换MPEG音频数据的通道，则在预定时间内输出切换通道之前的数据，因此不太方便。

所以，在本发明采用软件实现的音频解码器中，在进行通道切换时，将静音数据(muting data)从解码模块输出到编解码器模块。

图13是表示音频解码器100的一实施例的结构框图。

用户通过操作输入单元111输入所需信息。例如，通过操作输入单元111，用户接通解码器100的电源，切换从外部提供的MPEG音频数据通道，或指示进行静音。

CPU112读出存储在存储器115至117中的程序，如后所述，并根据从输入单元111提供的信息来执行该程序。数据转换开关113切换MPEG音频数据和程序数据。从外部提供的MPEG音频数据被经DMA(直接存储器存取)总线120和数据转换开关113输入到存储器114，并被存储。

存储器115中存储有与电源连接的AC链接程序。当用户经输入单元111接通解码器100的电源时，CPU112经数据转换开关113读出该AC链接程序，并执行该程序。

存储器116中存储有对应于从输入单元111输入的信息、并被用于发送消息的消息发送程序。该消息被发送到存储在存储器117中的解码程序和数据传送处理程序，如后所述。也就是说，当用户经输入单元111输入所需信息时，CPU112经数据转换开关113读出消息发送程序，执行该程序，并将对应于输入信息的消息发送到解码程序和数据传送处理程序。

存储器117中存储有用于以所提供消息的定时对存储在存储器114中的MPEG音频数据进行解码的解码程序及数据传送处理程序。CPU112以所提供的消息的定时对存储在存储器114中的MPEG音频数据进行解码，并能够使在完成解码后得到的数据再次存储在存储器114中。接着，CPU112读出并执行数据传送处理程序，并将在完成解码后得到并被存储在存储器114中的MPEG音频数据传送到输出缓冲器118。在接通电源、切换通道、和静音指令时，先前已被存储在存储器114中的伪数据(为“0”的数据)被传送到输出缓冲器118。

临时存储在输出缓冲器118中的数据经DMA总线120提供给编解码器119。编解码器119对所提供的完成解码后所得到的MPEG音频数据数字/模拟转换，并经DMA总线120将转换后的数据输出到外部设备(未示出)。

接下来，下面将参照图14来描述响应于解码程序和数据传送处理程序从消息发送程序发送的消息的示例。

首先，当用户通过输入单元111接通电源时(在时刻t1)，一“U”消息被发送到解码程序和数据传送处理程序。该“U”消息用于表示已接通电源。接着，在一预定时间内(T2)将一“W”消息发送到解码程序和数据传送处理程序。该“W”消息表示“等待解码”，T2表示的是一直到将预定量的MPEG音频数据存储到存储器114中时的所需时间。

当将预定量的MPEG音频数据存储在存储器114中时，将一“F”消息发送到解码程序和数据传送处理程序。该“F”消息表示的是“开始解码”。当接收到该消息时，CPU112开始对存储在存储器114中的MPEG音频数据进行解码。此后，将一“N”消息发送到解码程序和数据传送处理程序(T3)。该“N”表示的是“继续解码”。CPU112根据该消息继续进行解码。

当用户操作输入单元111并切换通道时，在预定时间(T5)内将该“W”消息发送到解码程序和数据传送处理程序。CPU112等待，直至对新的MPEG音频数据进行解码。T5表示的是一直到将完成通道切换后所得到的预定量的MPEG音频数据存储在存储器114中时所需的时间。

当预定量的MPEG音频数据存储在存储器114中时，将该“F”消息发送到解码程序和数据传送处理程序。CPU112开始对MPEG音频数据进行解码。此后，在预定时间(T6)内将该“N”消息发送到解码程序和数据传送处理程序。CPU112继续进行解码。

当用户操作输入单元111并关闭解码器100时(时刻t7)，将一“D”消息发送到解码程序和数据传送处理程序。MPEG音频数据的解码结束。

接下来，将参照图15来描述CPU112根据消息切换从存储器114传送到输出缓冲器118的数据的功能。

图15A表示的是先前就存在于存储器114中的伪块131。在伪块131中存储了“0”数据。图15B表示的是BBB链132，其中存储有在完成解码后所得到的MPEG音频数据。BBB链132是由6个块(a)块141至(f)块146构成的，并且从(a)块141开始按顺序存储在完成解码后所得到的MPEG音频数据。

在响应于数据传送处理程序从消息发送程序发送“W”消息的情况下(例如，图14中的时间T2和T5)，CPU112从存储器114中的伪块131读出“0”数据，并将所读出的“0”数据传送到输出缓冲器118。因此，在接通电源和通道切换的时刻，在预定时间内将静音数据输出到编解码器119。

当响应于数据传送处理程序从消息发送程序发送“F”消息或“N”消息时(例如，图14中的时间T3和T6)，CPU112从存储器114中BBB链132的(a)块141按顺序读出完成解码后所得到的数据，并将所读出的数据传送到输出缓冲器118。因此，解码后的数据的数据被输出到编解码器119，同时对MPEG音频数据进行解码。

接下来，将参照图16的流程图来描述在当接通解码器100的电源时，CPU112根据消息切换要从存储器114传送到输出缓冲器118的数据情况下的处理操作。

首先，在步骤S11，当用户操作输入单元111并接通解码器100的电源时，CPU112从存储器115读出AC链接程序，并执行该程序。

接着，在步骤S12，CPU112从存储器116读出消息发送程序，并执行该程序。此时，表示电源接通的“U”消息被发送到解码程序和数据传送处理程序。

在步骤S13，表示等待解码开始的“W”数据被发送到解码程序和数据传送处理程序。

在步骤S14，CPU112从存储器114中的伪块131中读出“0”数据，并将该数据传送到输出缓冲器118。

在步骤S15，CPU112鉴别是否已在存储器114中存储了预定量的MPEG音频数据。如果在步骤S15确定未在存储器114中存储了预定量的MPEG音频数据，则处理例程返回到步骤S13。重复执行后续处理。

如果在步骤S15确定已在存储器114中存储了预定量的MPEG音频数据，则处理例程进到步骤S16。表示解码开始的“F”消息被发送到解码程序和数据传送处理程序。

在步骤S17，CPU112开始对存储器114中存储的MPEG音频数据进行解码，并将解码数据存储到存储器114的BBB链132中。

在步骤S18，CPU112从存储器114中的BBB链132中读出解码数据，并将该数据传送到输出缓冲器118。

在步骤S19，CPU112鉴别是否已对全部MPEG音频数据进行了解码。如果在步骤S19确定未对全部MPEG音频数据进行解码，则处理例程返回到步骤S16并重复执行后续处理。如果在步骤S19确定已对全部MPEG音频数据进行了解码，则结束该处理操作。

下面将参照图17来描述被用来将用于执行前述处理系列的程序安装到计算机中并设置由计算机执行这些处理的状态的介质。

如图17A所示，程序可以以被预先安装在作为记录介质内置在个人计算机151(对应于视频解码设备)的硬盘152或半导体存储器153中的形式提供给用户。

否则，如图17B所示，程序可以以被临时或永久存储在诸如软盘161、CD-ROM 162、MO盘163、DVD 164、磁盘165、半导体存储器166中的软件包的形式提供。

另外，如图17C所示，也可以以如下形式提供程序，即，该程序从下载站点171以无线方式经卫星172传送到个人计算机173，或以有线或无线方式经诸如局域网或因特网(Internet)的网络181传送到个人计算机173，并被下载到个人计算机173中的内置硬盘等。

本说明书中的“介质”表示的是包括所有这些介质在内的广义概念。

在本发明的视频处理设备、视频处理方法和介质中，按递增顺序给输入的宏块单元的视频数据分配地址，存储视频数据、并以递增的地址顺序读出所存储的视频数据。因此，可抑制缺页的出现次数。

根据本发明的视频处理设备和方法，当未检测到序列首标时，检测片段开始代码的第四字节，预测画面垂直方向上的象素数，累积宏块地址增量的值，得到画面水平方向上的宏块数，将其与宏块尺寸相乘，并且预测画面水平方向上的象素数。采用如上所述预测的信息来进行MPEG解码。因此，即使在未检测到序列首标时，也能立即对MPEG数据流进行解码。

                  产业上的可利用性

本发明适用于对采用MPEG方式压缩的视频信号的解码。

Claims (8)

1、一种用于对具有由序列层、GOP层、图像层、片段层、宏块层和块层构成的分层结构的视频数据流进行解码的视频处理设备，包括：

序列首标信息预测装置，用于根据肯定在图像中出现的信息来预测序列首标信息；和

解码装置，用于当未检测到所述序列首标时，采用由所述序列首标信息预测装置预测的信息，来对视频数据进行解码。

2、如权利要求1所述的视频处理设备，其中，所述序列首标信息预测装置包括垂直象素数预测装置，用于根据片段中的信息来预测画面垂直方向上的象素数。

3、如权利要求1所述的视频处理设备，其中，所述序列首标信息预测装置包括水平象素数预测装置，用于根据宏块中的信息来预测画面水平方向上的象素数。

4、如权利要求1所述的视频处理设备，其中，所述序列首标信息预测装置包括宽高比预测装置，用于根据片段中的信息来预测画面垂直方向上的象素数，根据宏块中的信息来预测画面水平方向上的象素数，并根据所述预测的垂直方向上的象素数和所述预测的水平方向上的象素数，来预测所述画面的宽高比。

5、一种用于对具有由序列层、GOP层、图像层、片段层、宏块层和块层构成的分层结构的视频数据流进行解码的视频处理方法，包括下列步骤：

根据肯定在图像中出现的信息来预测序列首标信息；和

当未检测到所述序列首标时，采用所述预测的序列首标信息来对视频数据进行解码。

6、如权利要求5所述的视频处理方法，其中，当预测所述序列首标信息时，根据片段中的信息来预测画面垂直方向上的象素数。

7、如权利要求5所述的视频处理方法，其中，当预测所述序列首标信息时，根据宏块中的信息来预测画面水平方向上的象素数。

8、如权利要求5所述的视频处理方法，其中，当预测所述序列首标信息时，根据片段中的信息来预测画面垂直方向上的象素数，根据宏块中的信息来预测画面水平方向上的象素数，并根据所述预测的垂直方向上的象素数和所述预测的水平方向上的象素数，来预测所述画面的宽高比。

Images