CN102948144A - 用于从周围块的统计推断出针对帧内预测的滤波模式 - Google Patents

Abstract

本发明涉及在图像信号的编码和/或解码期间可执行的帧内预测。特别地，本发明涉及在其间将滤波应用到预测信号和/或应用到用于预测的信号的对当前块的帧内预测。依照基于被包括在空间上与当前块相邻的一个或多个块中的图像信号的特性的决定，来应用所述滤波。

Description

用于从周围块的统计推断出针对帧内预测的滤波模式

本发明涉及图片编码方法、设备和用于以软件执行这些方法的程序。具体地，本发明涉及在帧内预测(intra prediction)期间的滤波应用。

背景技术

空间预测已经被用在许多应用中。特别地，空间预测形成了许多图像和视频编码以及处理应用的基本部分。在混合图像或视频编码算法中，通常采用空间预测以基于已编码/解码的块的像素确定图像块的预测。另一方面，也可将空间预测用作后置处理已解码图像或视频信号的一部分，特别是用于错误隐藏。

大部分标准化视频编码算法基于混合视频编码。混合视频编码方法通常将数个不同的无损和有损压缩方案合并，以获得所期望的压缩增益。混合视频编码也是ITU-T标准(H.26x标准，如H.261、H.263)以及ISO/IEC标准(MPEG-X标准，如MPEG-1、MPEG-2和MPEG-4)的基础。当前，最新且最高级的视频编码标准是被标注为H.264/MPEG-4高级视频编码(AVC)的标准，其是由联合视频组(JVT)、ITU-T的联合组和ISO/IECMPEG组标准化努力的结果。当前视频编码联合协作组(JCT-VC)正在开发名为高效视频编码(HEVC)的视频编码的新的视频编码标准，特别地，其目标是提高与高分辨率视频编码相关的效率。

被输入到编码器的视频信号是被称为帧的图像序列，每一个帧是像素的二维矩阵。所有上述基于混合视频编码的标准包括将每一个单独视频帧再分为由多个像素组成的更小块。通常，宏块(一般标注为16×16像素的块)是执行编码的基本图像元素。然而，各种特定编码步骤可针对被标注为子块或简单块并具有例如8×8、4×4、16×8等大小的较小图像元素而被执行。例如，在HEVC中，这样的块的最大可能大小是64×64像素。于是将其称为最大编码单元(LCU)。在HEVC中，将LCU再分成更小块是可能的。一个这样的块被称为编码单元(CU)。CU是执行编码的基本图像元素。

图1是兼容典型的H.264/MPEG-4AVC标准的视频编码器100的示例。减法器105首先确定输入视频图像(输入信号)的要编码当前块和被用于要编码当前块预测的相应预测块之间的差。在H.264/MPEG-4AVC中，通过时间预测或通过空间预测来获得预测信号。预测的类型可基于每帧、每片或每宏块而改变。

将使用时间预测来预测的宏块或CU称为帧间编码，将使用空间预测来预测的宏块或CU称为帧内编码。可通过用户设置或视频编码器选择用于视频帧的预测类型以达到可能高的压缩增益。依照所选的预测类型，帧内/帧间开关175将相应预测信号提供给减法器105。使用时间预测的预测信号来源于被存储在存储器140中的先前编码图像。使用空间预测的预测信号来源于在先前已经被编码、解码并存入存储器140中的相同帧的相邻块中的边界像素值。存储器单元140因而运行作为允许在要编码的当前信号值和自先前信号值生成的预测信号值之间的比较的延迟单元。存储器140可存储多个先前编码视频帧。对被标注为预测误差信号或残余信号的在输入信号和预测信号之间的差进行变换，从而产生被量化的系数110。随后将熵编码器190应用于量化后的系数以使用无损方式进一步减少数据量。这主要通过应用具有可变长码字的代码来实现，其中基于其出现的概率来选择码字的长度。

帧内编码图像(也被称为I类型图像或I帧)仅由帧内编码的宏块或CU所组成，即，帧内编码的图像可被解码而不需参考任意其他先前解码图像。这些帧内编码的图像提供了用于已编码视频帧的错误恢复，因为它们从由于时间预测而在帧之间可能传播的误差来刷新视频序列。而且，I帧使能在编码视频图像的序列内的随机访问。帧内预测使用了帧内预测模式的预定义集。帧内预测模式中的一些使用已编码的相邻块的边界像素来预测当前块。其他帧内预测模式，如模板匹配，使用由属于相同帧的已编码像素组成的搜索区域。帧内预测模式的预定义集包括一些定向空间帧内预测模式。定向空间帧内预测的不同模式涉及所应用的二维预测的不同方向。这允许在各种边缘方向情况中的有效空间帧内预测。通过这样的帧内预测所获得的预测信号随后被如上所述的减法器105从输入信号中减去。另外，将指示预测模式的空间帧内预测模式信息提供给熵编码器190(图1中未示出)，其中其被熵编码并和编码视频信号一起被提供。

在H.264/MPEG-4AVC帧内编码方案中，为4×4、8×8或16×16像素大小的子块执行空间预测以减少空间冗余。帧内预测使用了帧内预测模式的预定义集，其基本上使用已编码的相邻块的边界像素来预测当前块。不同类型的定向空间预测涉及不同的边缘方向，即所应用的二维推断的方向。存在用于4×4和8×8大小的子块的八个不同定向预测模式和一个DC预测模式，用于16×16像素宏块的三个不同定向预测模式和一个DC预测模式。在HEVC中，可为4×4、8×8、16×16或32×32大小的CU执行空间预测。存在用于所有CU大小的34个不同定向预测模式。

在视频编码器100内，将解码单元合并以获得解码视频信号。遵从于编码步骤，解码步骤包括反量化和反变换120。解码预测误差信号不同于由于量化误差(也被称为量化噪声)而导致的原始预测误差信号。随后通过将解码预测误差信号加到125预测信号来获得重建信号。为了保留在编码器端和解码器端之间的兼容性，基于在编码器和解码器两端都已知的编码和后续解码视频信号来获得预测信号。因为量化，将量化噪声叠加到重建视频信号。因为块式(block-wise)编码，所叠加的噪声经常具有块特性，其导致解码图像中的可视块边界，对于强量化尤其如此。为了减少这些伪影，将去块滤波器130应用于每一个重建图像块。

为了被解码，帧间编码的图像需要先前编码和后续解码(重建)的图像。可单方向地，即，仅使用在时间上排序在要编码的当前帧之前的视频帧，或双向地，即也使用当前帧之后的视频帧，来执行时间预测。单向时间预测产生被称为P帧的帧间编码图像；双向时间预测产生被称为B帧的帧间编码图像。一般地，帧间编码图像可包括P-、B-或甚至I-类型宏块的任意一个。通过采用运动补偿预测160，来预测帧间编码宏块(P-或B-宏块)或帧间编码CU。首先，运动估计器165在先前编码和解码视频帧内为当前块寻找最佳匹配块。随后最佳匹配块成为预测信号，在当前块和其最佳匹配之间的相对位移被发信号作为也包括编码视频数据的比特流内的三维(一个时间，两个空间)运动形式的运动数据。为了优化预测精度，运动矢量可用空间子像素分辨率，如半像素或四分之一像素分辨率来确定。这通过插值滤波器150来实现。

对于帧内和帧间编码模式二者，由单元110变换和量化在当前输入信号和预测信号之间的差，从而产生量化后的系数。一般地，采用正交变换，如二维离散余弦变换(DCT)或其整数版本，因为其有效地减少了自然视频图像的相关性。在变换之后，对于图像质量，低频成分通常比高频成分更重要，从而相对于高频成分，更多比特可被使用在编码低频成分。在熵编码器中，将量化后的系数的二维矩阵转换为一维阵列。典型地，通过所谓的锯齿状(zig-zag)扫描执行所述转换，其起始于二维阵列的左上角中的DC系数并以预定序列扫描二维阵列并终止于在右下角中的AC系数。由于能量典型地集中在系数的二维矩阵的左上角，这对应于较低频率，因此锯齿状扫描产生通常最后值为零的阵列。这允许使用作为实际熵编码一部分/之前的游程代码进行的有效编码。H.264/MPEG-4AVC采用了标量量化110，其可被量化参数(QP)和可定制量化矩阵(QM)所控制。通过量化参数来为每一个宏块选择52个量化器中的一个。另外，特别地设计量化矩阵以保持在源中的某些频率以避免损失图像质量。在H.264/MPEG-4AVC中的量化矩阵可适用于视频序列并和视频数据一起被发信号。

H.264/MPEG-4AVC包括两个功能层，视频编码层(VCL)和网络抽象层(NAL)。VCL提供了如上简述的编码功能。NAL根据信息元素的进一步应用(如在信道上传输或存入到存储器中)将信息元素封装入被称为NAL单元的标准化单元。例如，信息元素是编码预测误差信号或其他为视频信号解码所必需的信息，如预测类型、量化参数、运动矢量等。存在包含压缩视频数据和相关信息的VCL NAL单元，也存在封装附加数据的非VCL单元，所述附加数据如与整个视频序列相关的参数集，或提供可用于提高解码性能的附加信息的补充增强信息(SEI)。

为了提高图像质量，可将所谓的后置滤波器280应用在解码器端200。H.264/MPEG-4AVC标准针对这样的后置滤波器通过SEI消息来使能后置滤波器信息的发送。后置滤波器信息通过后置滤波器设计单元180在编码器端被确定，后置滤波器设计单元180将本地解码信号和原始输入信号进行比较。一般地，后置滤波器信息是允许解码器建立合适滤波器的信息。其可以直接包括滤波器系数或其他使能建立所述滤波器的信息。由后置滤波器设计单元180所输出的滤波器信息也被馈送往熵编码单元190，以被编码和插入到编码信号中。例如在HEVC标准中，这样的自适应滤波器也可用作第二后置滤波器。

图2示出了兼容于H.264/MPEG-4AVC视频编码标准的示例性解码器200。编码视频信号(到解码器的输入信号)比特流首先传递到熵解码器290，其解码量化后的系数、用于解码的必需的信息元素(例如运动数据、预测模式等)和后置滤波器信息。在熵解码器290中，空间帧内预测模式信息从所述比特流被提取，指示了被应用到要解码的块的空间预测类型/模式。将提取的信息提供给空间预测单元270(图2中未示出)。反向扫描量化后的系数以获得二维矩阵，其随后被馈送往反量化和反变换220。在反量化和反变换之后，获得解码(量化)的预测误差信号，其对应于在未引入任何量化噪声的情况中从到编码器的信号输入减去预测信号所获得的差。

分别自时间或空间预测260和270处获得预测信号，其依照将编码器处应用的预测信号化的接收信息元素来进行切换275。解码的信息元素进一步包括预测所必需的信息，如在帧内预测情况中的预测类型(空间帧内预测模式信息)和在运动补偿预测情况中的运动数据。取决于运动矢量的当前值，可能需要像素值的插值以执行运动补偿预测。通过插值滤波器250执行这种插值。随后通过加法器225将在空间域中的量化预测误差信号加到从运动补偿预测260或帧内预测270获得的预测信号。可通过去块滤波器230传递重建图像，将产生的解码信号存入存储器240以应用于后续块的时间或空间预测。将后置滤波器信息馈送往后置滤波器280，其相应地建立后置滤波器。随后将后置滤波器应用于解码信号以进一步提高图像质量。

定向帧内预测模式对锐利的边缘的预测非常有效，但是不适合于预测光滑或离焦的区域。对于这些区域，使用低通滤波器平滑参考物特别合适，并提供了与编码效率相关的增益。因而，将低通滤波器应用在用于帧内预测的参考像素上是一种移除增加到重建像素的量化噪声和提高帧内预测的已知技术，特别是当要被预测的图像的区域是模糊或离焦之时。

发明内容

本发明根本问题在于，如果将低通滤波器应用于所述参考物，则可能无法有效预测锐利的边缘。

本发明的目的在于为图像的编码和解码提供提高的和更有效的帧内预测。

通过独立权利要求的特征来实现这些。

本发明的进一步实施例是从属权利要求的主题。

本发明的一种特定方式是区分低通滤波器是否必须应用到参考像素或当前图像区域的预测信号。这种区分基于空间上与当前图像区域相邻的图像信号的特性。

根据本发明的一方面，提供了一种用于对划分为多个块的编码图像数据逐块地进行解码的方法，所述方法包括步骤：导出空间上与当前块相邻的先前解码数据的统计；基于所导出的统计决定是否在帧内预测期间应用滤波；以及根据先前解码块的图像数据来预测当前块。

根据本发明的另一方面，提供了一种用于对划分为多个块的图像数据逐块地进行编码的方法，所述方法包括步骤：导出空间上与当前块相邻的先前解码数据的统计；基于所导出的统计决定是否在帧内预测期间应用滤波；以及根据先前解码块的图像数据来预测当前块。

根据本发明的另一方面，提供了一种用于对划分为多个块的编码图像数据逐块地进行解码的设备，所述设备包括：计算单元，用于导出空间上与当前块相邻的先前解码数据的统计；判决单元，用于基于所导出的统计决定是否在帧内预测期间应用滤波；以及定向预测单元，用于根据先前解码块的图像数据来预测当前块。

根据本发明的另一方面，提供了一种用于对划分为多个块的图像数据逐块地进行编码的设备，所述设备包括：计算单元，用于导出空间上与当前块相邻的先前解码数据的统计；判决单元，用于基于所导出的统计决定是否在帧内预测期间应用滤波；以及定向预测单元，用于根据先前编码块和解码块的图像数据来预测当前块。

依照本发明的又一方面，提供了一种计算机程序产品，包括其上体现有计算机可读程序代码的计算机可读介质，其中所述程序代码适合于执行上述方法。

附图说明

根据结合附图给出的以下描述和优选实施例，本发明的上述和其他目的和特征将变得更为清楚，其中：

图1是示出常规H.264/MPEG-4AVC视频编码器的示例的方框图；

图2是示出常规H.264/MPEG-4AVC视频解码器的示例的方框图；

图3是示出依照本发明的实施例的帧内预测单元的方框图；

图4是示出根据本发明的第一实施例使用边缘检测来进行帧内预测滤波的方法的流程图；

图5是示出根据本发明的第一实施例使用方差计算来进行帧内预测滤波的方法的流程图；

图6是示出根据本发明的第二实施例采用特殊预测模式来进行帧内预测滤波的方法的流程图；

图7是示出根据本发明的第三实施例的滤波应用的示意图；

图8是示出根据本发明的第四实施例的滤波应用的示意图；

图9是用于实现内容分发服务的内容提供系统的整体配置的示意图；

图10是数字广播系统的整体配置的示意图；

图11是示出电视的配置的示例的方框图；

图12是示出从为光盘的记录介质读取信息或在为光盘的记录介质上写信息的信息复制/记录单元的配置的示例的方框图；

图13是示出为光盘的记录介质的配置的示例的示意图；

图14A是示出蜂窝电话的示例的示意图；

图14B是示出蜂窝电话的配置的示例的方框图；

图15是示出复用数据的结构的示意图；

图16是示意性示出如何将流中每一个复用到复用数据中的示意图；

图17是更详细地示出如何将视频流存储到PES包的流中的示意图；

图18是示出在复用数据中TS包和源包的结构的示意图；

图19是示出PMT的数据结构的示意图；

图20是示出复用数据信息的内部结构的示意图；

图21是示出流属性信息的内部结构的示意图；

图22是示出识别视频数据的步骤的示意图；

图23是示出根据实施例的每一个用于实现视频编码方法和视频解码方法的集成电路的配置的示例的方框图；

图24是示出在驱动频率之间切换的配置的示意图；

图25是示出用于识别视频数据和在驱动频率之间切换的步骤的示意图；

图26是示出其中视频数据的标准与驱动频率相关的查找表的示例的示意图；

图27A是示出用于共享信号处理单元的模块的配置的示例的示意图；

图27B是示出用于共享信号处理单元的模块的配置的另一示例的示意图。

具体实施方式

本发明根本问题是基于是否将低通滤波器应用于参考像素或预测信号的观察，无法有效预测锐利的边缘。因此，需要区分是否必须将低通滤波器应用到参考像素或预测信号。

一种可能的解决方案是，通过为每一个块发送标志以信号通知是否要平滑(低通滤波器)。然而，这种方式将可能导致增长的比特率并因而限制整体编码效率。

依据本发明，提供了一种对划分为多个块的图像数据逐块进行解码和/或编码的方法，其中所述方法包括步骤：从先前解码块的图像数据预测当前块，导出与当前块相邻的先前解码数据的统计，如边缘的存在或信号的方差；和基于导出的统计决定是否在帧内预测期间应用滤波。

本发明的优点之一在于，在帧内预测期间所使用的滤波的应用相对于图像信号内容是自适应的，并因而可达到更高的预测质量。

优选地，将滤波应用于为预测所使用的像素。然而，本发明不限于此。依照另一实施例，将滤波应用于预测信号。

有利地，通过计算周围块的信号的方差来执行先前解码信号的统计的导出。或者，通过应用边缘检测方法，如使用Sobel算子或任意其他适合用于2D信号中梯度计算的矩阵来计算梯度；以及将这些梯度的范数与阈值相比较，来执行先前解码信号的统计数据的导出。

特别地，如果周围块的信号的方差小于预定阈值，可应用滤波；如果周围块的信号的方差大于预定阈值，可不应用滤波。

或者，如果未检测到边缘，可应用滤波；如果检测到边缘，可不应用滤波。

依照本发明的实施例，仅仅将滤波应用于位于不被通过延伸检测到的边缘计算出的线相交的区域中的像素。特别地，不将滤波器应用于在参考像素的线中的、比来自检测到的边缘与该像素线相交处的预定数量的像素更近的像素。所述像素线可以是像素的行和/或列。

根据像素相对于延伸检测到的边缘所计算的线的位置，可应用不同的滤波器。

特别地，将第一滤波器应用于参考像素的线中、比来自检测到的边缘与该像素线的相交处的预定数量的像素更近的像素。将第二滤波器应用于剩余像素。然而，本发明不限于此，取决于相关于延长的检测到的边缘要被滤波的参考像素的位置，可应用更多不同的滤波器。有利地，在边缘的方向上对所述边缘附近的像素进行滤波。有利地，使用低通滤波器对不在所述边缘附近的像素进行滤波。

本发明的益处之一在于，锐利的边缘和光滑区域二者都可有效地被预测和编码而没有增加比特率开销。

依照本发明的第一实施例，提供了一种图像编码设备，其具有，替换基于参考相邻像素计算定向预测的H.264/AVC帧内预测单元的新的，该新的帧内预测单元(例如通过执行边缘预测或方差计算)分析相邻信号的统计，并在计算定向预测之后或之前应用滤波。

图3是解释依照本发明第一实施例的帧内预测单元300的特定结构的方框图。这个帧内预测单元300具有计算单元(在此情况中为边缘检测单元)310以确定边缘是否存在于重建的相邻信号中，并在边缘存在时确定其方向和/或位置；第一滤波单元320，用于取决于边缘检测单元310的输出来对用于定向预测的参考像素进行滤波(例如，使用诸如以下的滤波器：在H.264/MPEG-4AVC中应用于8×8帧内预测的低通滤波器，或在文档JCTVC-B205_draft007中的HEVC标准的第一版本中定义的滤波器，该文档为送往于2010年7月21-28日在Geneva，CH召开的JCT-VC会议的输出文档)；定向预测单元330，用于根据一个给定的定向预测来预测块，类似于在编码器170和/或在解码器270中的H.264/MPEG-4AVC帧内预测单元或类似于在EP 2 081 386A1中所述的帧内预测；和第二滤波单元340，用于取决于边缘检测单元310的输出对定向预测单元330的输出进行滤波。

为了增加编码效率，EP 2 081 386 A1提供了一种提高的空间预测，其中用于预测块的像素的预测方向的数量不限于八个。相反，在已经解码的相邻块内执行边缘检测。基于被确定为主要的边缘的方向，从属于相邻块的像素线内的子像素(sub-pel)位置可能预测所述块的像素。

或者，计算单元310可以是用于计算相邻信号方差的方差计算单元。在此情况中，两个滤波单元基于方差计算单元的输出来对参考像素或定向预测单元的输出进行滤波。这里重建的相邻信号涉及在当前块周围的块中的解码像素(样本)。

图4是用于解释可由帧内预测单元执行的示例性方法的流程图。为了执行所述方法，这个帧内预测单元具有边缘检测单元，其能够确定410、430边缘是否存在于重建的相邻信号中；滤波单元，用于在边缘检测单元中未检测到边缘的情况中(步骤410和在步骤430中为“否”)对用于定向预测的参考像素进行滤波440；和定向预测单元，用于根据一个给定的定向预测来预测450块，这可以类似于如上所述的H.264/MPEG-4AVC定向帧内预测方法或类似于在EP 2 081 386A1中所述的帧内预测。

图5是用于解释帧内预测单元的特定结构和执行本发明的方法的另一示例的方框图。这个帧内预测单元具有计算单元(方差计算单元)，用于确定510、530重建的相邻信号的方差是否小于预定阈值；滤波单元，用于在重建的相邻信号的方差小于预定阈值的情况中对用于定向预测的参考像素进行滤波540；和定向预测单元，用于根据一个给定的定向预测来预测550块。

如上所述，第一实施例包括一种通过从重建的相邻信号导出必需信息来有效地编码锐利的边缘和光滑区域二者而不增加比特率开销的方法和设备。这可通过编码器和解码器二者以相同方式来执行。

应当注意，参照图4和5所述的上述方法步骤也可由具有不同于上述示例的结构的任意其他设备所执行。特别地，流程图的步骤也可由任意类型处理器或装置执行。

可能与上述实施例一起出现的问题之一在于，不得不在编码器100和解码器200端独立于所选的定向帧内预测模式为每一个块执行相邻信号的特性分析。这增加了在解码器和优化良好的编码器中帧内预测的复杂度。为了避免为每一个块执行这种分析，除了H.264/MPEG-4AVC定向帧内预测模式(如在EP 2 081 386A1中所述的帧内预测方法)之外，本发明的第二实施例还引入了一种新的帧内预测模式。仅仅当选择了新的帧内预测模式时才执行对相邻信号的分析。仅仅在选择了新的帧内预测模式时，才使用参照图3所述的帧内预测单元。对于所有其他模式，分别使用在编码器和解码器中的H.264/MPEG-4AVC帧内预测单元170和/或270。

这种新的帧内预测模式依赖于在相邻信号中的边缘检测。滤波在未检测到边缘时被应用，在检测到边缘时不被应用。

图6示出了说明根据这种新的帧内预测模式计算预测的处理的流程图。第一步骤是在已经重建的相邻信号中执行边缘检测610。用于边缘检测的一个可能是将Sobel算子应用到在相邻信号中的3×3像素块：

$S_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],$ $S_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right].$

也可使用适合用于2D信号中梯度计算的其他矩阵。

对于每一个3×3像素块，可定义垂直于梯度矢量的边缘矢量。为了确定主要边缘方向，可考虑具有最大范数的边缘矢量，或具有最大范数的边缘矢量的组合。

一般地，可通过确定图像的梯度矢量场来检测图像中的边缘。梯度矢量在边缘上较大并垂直于边缘。检测梯度场的最普遍方式之一是具有如由上述矩阵Sx和Sy给出的Sobel算子的垂直和水平矩阵的图像的卷积。

特别地，随后通过分别使用垂直Sx和水平Sy Sobel掩码对像素p(x，y)滤波，以获得在特定像素p(x，y)中的垂直梯度矢量坐标Gx和水平梯度矢量坐标Gy。

许多应用采用Sobel算子以获得梯度场。然而，本发明不限于通过Sobel算子的方式检测梯度场。一般地，可采用任意提供梯度场的边缘检测机制。例如，可使用具有非Sobel算子的其他大小的掩码，如可使用2×2或4×4，或甚至更大的掩码。特定掩码的选择基于所期望的结果。采用较大掩码可增加小的局部边缘的边缘检测和抑制检测的精度，但是另一方面，其增加了计算的复杂度。或者，可使用非Sobel掩码的掩码用于边缘检测，如Scharr算子，或基于更高阶导数的算子。

在获得梯度G的垂直Gx和水平Gy坐标之后，对于要预测的块的周围块的多个像素，可确定主梯度。其水平和垂直坐标分别为Ex和Ey的主边缘矢量E垂直于梯度矢量G。相应地，主边缘矢量E的水平Ex和垂直Ey分量的大小分别对应于水平Gy和垂直Gx梯度的大小(例如，对于逆时针旋转，Ex＝Gy，Ey＝Gx)。

典型地，将用于当前块的主边缘确定为在与当前块相交的边缘种具有最大范数的边缘。然而，也可使用其他方法，例如，采用边缘的加权平均，或为大多数像素检测边缘方向等。应当注意，没必要对于整个相邻块执行梯度计算。一般地，有利的是，选择接近要预测的块的边界的像素子集并仅仅为这些像素计算梯度。这种方式减少了用于相邻块和边缘检测掩码的卷积所必需的操作数量。而且，为了所述预测，仅仅可能类似于在要预测的块内的实际边缘的边缘是重要的，因而接近边界的边缘检测也减少了检测无用边缘的风险。

最终边缘矢量的范数或每一个计算的边缘矢量的范数可与预定阈值比较。如果一个范数大于阈值，则检测到边缘。在此情况中，这些边缘矢量给出了边缘方向，其中已经计算出最强边缘矢量的3×3像素块的位置给出了所述边缘的位置。如果无范数大于阈值，则未检测到边缘。

随后，估计630检测的结果。如果检测到边缘(在步骤630中“是”)，则基于在EP 2 081 386 A1所述的边缘方向，通过子像素参考像素的插值620执行预测。特别地，通过在参考像素的线和具有检测到的边缘的方向并通过要预测的像素的线之间相交的线性插值来计算预测信号。如果未检测到边缘(在步骤630中为“否”)，则下一步骤包括将低通滤波器应用640到参考像素以平滑用于预测的信号。这里，参考像素可以是顶部相邻块的像素行，所述行最接近于具有当前块的边界。或者，参考像素可以是左边相邻块的像素列，所述列最接近于具有当前块的边界。参考像素还可以是从顶行到左列的像素集。下列步骤包括选择650一个给定预定方向，例如，最接近于具有最大范数的边缘矢量的方向的方向。特别地，其可能是与在边缘检测步骤610期间确定的相邻像素的一般方向相对应的方向。随后使用如为所选择的预定方向定义的预测方法来执行660预测。

或者，可以选择具有最强范数的边缘矢量的方向而非预定方向之一。在此情况中，预测步骤可以使用在EP 2 081 386A1中所述的方法。

根据本发明的第三实施例，针对一些参考像素应用低通滤波器，而针对其他参考像素不应用滤波器，从而使得对于每一个块逐像素地切换平衡滤波器的使用。

图7示意性示出了这个实施例。如果使用了边缘检测，则可能将边缘延伸通过参考像素线并通过要预测的块，如边缘750所示。在此情况中，可有利地关闭对于位于边缘周围的n个像素的滤波，n例如等于1或2。另一方面，可将滤波应用到其他像素。图7示出了用于当前块700的帧内预测的参考像素行730。依照本实施例，在参考像素行730中并接近于边缘750的参考像素未被滤波。未被滤波的像素数量n可以相关于所应用的低通滤波器的长度被定义，从而使得用于滤波的像素不横跨边缘。

根据本发明的第四实施例，为围绕边缘的n个像素和为属于平坦区域的其他像素应用不同类型的滤波。在图8中示出了本实施例。在此情况中，滤波器1是低通滤波器，类似于在现有技术(H.264/MPEG-4AVC标准或HEVC工作草案JCTVC-B205_draft007)中用于对参考像素滤波的低通滤波器。滤波器2有利地是仅仅在边缘方向中的平衡滤波器。滤波器2优选地在垂直边缘的方向不平滑。滤波器2的效果是使边缘锐利。

依照本发明的第五实施例，解码器应用如第一实施例所述的相同技术。在图3中的仅有差别在于，将所选择的定向预测模式作为输入发送到定向预测单元。

一般地，解码器可应用如实施例一到四所述的相同帧内预测技术。

后文将描述在每个实施例中所述的视频编码方法和视频解码方法的应用及使用其的系统。

图9示出了用于实现内容分发服务的内容提供系统ex100的整体配置。将提供通信服务的区域划分为所期望大小的小区，将作为固定无线台的基站ex106、ex107、ex108、ex109和ex110布置在这些小区的每一个中。

内容提供系统ex100分别通过互联网ex101、互联网服务提供方ex102、电话网络ex104以及基站ex106到ex110连接到各种装置，如计算机ex111、个人数字助理(PDA)ex112、相机ex113、蜂窝电话ex114和游戏机ex115。

然而，内容提供系统ex100的配置不限于图9所示的配置，可接受其中连接这些元件任何一个的组合。另外，可直接将每一个装置连接到电话网络ex104，而不是通过作为固定无线台的基站ex106到ex110。而且，这些装置可通过短距离无线通信和其他方式相互互连。

相机ex113，如数字视频相机，能够拍摄视频。相机ex116，如数字视频相机，能够拍摄静止图像和视频二者。而且，蜂窝电话ex114可以是符合如全球移动通信系统(GSM)、码分多址(CDMA)、宽带码分多址(W-CDMA)、长期演进(LTE)和高速分组接入(HSPA)的任何标准的蜂窝电话。或者，蜂窝电话ex114可以是个人手提电话系统(PHS)。

在内容提供系统ex100中，流服务器ex103通过电话网络ex104和基站ex109连接到相机ex113和其他装置，这使能分发现场表演和其他内容的图像。在这样的分发中，将由用户使用相机ex113所拍摄的内容(例如，音乐现场表演的视频)如以上每一个实施例中所述的那样进行编码，将编码的内容发送到流服务器ex103。另一方面，在客户端请求时，流服务器ex103执行发送的内容数据到客户端的流分发。客户端包括能够解码上述编码数据的计算机ex111、PDA ex112、相机ex113、蜂窝电话ex114和游戏机ex115。已经接收到所分发的数据的装置中的每一个对编码数据进行解码和复制。

可由相机ex113或发送数据的流服务器ex103来编码所拍摄的数据，或可将编码处理共享在相机ex113和流服务器ex103之间。类似地，可通过客户端或流服务器ex103解码分发的数据，或可将解码处理共享在客户端和流服务器ex103之间。而且，可将不仅由相机ex113而且由相机ex116所拍摄的静止图像和视频的数据通过计算机ex111发送到流服务器ex103。所述编码处理可通过相机ex113、计算机ex111或流服务器ex103来执行，或被共享在他们之间。

而且，可通过一般被包括在计算机ex111和这些装置的每一个中的LSIex500来执行编码和解码处理。可将LSI ex500配置为单个芯片或多个芯片。可将用于编码和解码视频的软件集成到计算机ex111和其他装置可读的一些类型的记录介质(如CD-ROM，软盘和硬盘)中，可使用软件执行编码和解码处理。而且，当蜂窝电话ex114装配有相机时，可发送由相机获得的图像数据。视频数据是由被包括在蜂窝电话ex114中的LSI ex500所编码的数据。

而且，流服务器ex103可以由服务器和计算机组成，并可以分散数据并处理所分散的数据，记录或分发数据。

如上所述，客户端可以接收和复制在内容提供系统ex100中的编码数据。换句话说，客户端能够接收和解码由用户发送的信息，并在内容提供系统ex100中实时复制解码数据，使得不具有任何特殊权限和设备的用户能够实现个人广播。

除了内容提供系统ex100的该示例之外，可在图10所示的数字广播系统ex200中实现在每一个实施例中所述的视频编码设备和视频解码设备中的至少一个。更具体地，广播台ex201通过无线电波将通过复用音频数据和其他数据到视频数据上所获得的复用数据传送或发送到广播卫星ex202。视频数据是由在每一个实施例中所述的视频编码方法所编码的数据。在接收到复用数据时，广播卫星ex202发送用于广播的无线电波。随后，具有卫星广播接收功能的家用天线ex204接收无线电波。

接下来，如电视(接收机)ex300和机顶盒(STB)ex217的装置解码接收到的复用数据，并复制解码数据。

而且，读取器/记录器ex218(i)读取和解码在如DVD和BD的记录介质ex215上所记录的复用数据，或(i)编码在记录介质ex215中的视频信号，在一些情况中，写入通过将音频数据复用到编码数据所获得的数据。读取器/记录器ex218能够包括如每一个实施例中所示的视频解码设备或视频编码设备。在此情况中，复制的视频信号被显示在监视器ex219上，并能够由使用其上记录复用数据的记录介质ex215的另一装置或系统复制。也能够在机顶盒ex217中实现视频解码设备，机顶盒ex217连接到用于有线电视的电缆ex203或连接到用于卫星和/或地面广播的天线ex204，以将视频信号显示在电视ex300的监视器ex219上。可不在机顶盒而是在电视ex300中实现视频解码设备。

图11示出了使用如每一个实施例中所述的视频编码方法和视频解码方法的电视(接收机)ex300。电视ex300包括：调谐器ex301，其通过接收广播的天线ex204或电缆ex203等获得或提供通过将音频数据复用到视频数据所获得的复用数据；调制/解调单元ex302，其解调接收到的复用数据或将数据调制到要供应到外部的复用数据中；复用/解复用单元ex303，其将调制的复用数据解复用为视频数据和音频数据，或将通过信号处理单元ex306编码的视频数据和音频数据复用为数据。

电视ex300进一步包括：信号处理单元ex306，包括分别解码音频数据和视频数据以及编码音频数据和视频数据的音频信号处理单元ex304和视频信号处理单元ex305；以及输出单元ex308，包括提供解码的音频信号的扬声器ex307，和显示解码的视频信号的显示单元ex308，如显示器。而且，电视ex300包括接口单元ex317，包括接收用户操作输入的操作输入单元ex312。而且，电视ex300包括控制单元ex310，其整体控制电视ex300的每一个组成元件，和电源电路单元ex311，其将电力提供给每一个元件。不同于操作输入单元ex312，接口单元ex317可包括：桥ex313，其连接到外部装置，如读取器/记录器ex218；槽单元ex314，用于使能记录介质ex216的附属，如SD卡；驱动器ex315，连接到外部记录介质，如硬盘；和调制解调器ex316，连接到电话网络。这里，使用用于存储的非易失性/易失性半导体存储元件，记录介质ex216能够电气地记录信息。电视ex300的组成元件通过同步总线相互连接。

首先，将描述其中电视ex300解码通过天线ex204和其他装置从外部获得的复用数据并复制解码的数据的配置。在电视ex300中，在用户通过遥控器ex220和其他装置进行操作时，复用/解复用单元ex303在包括CPU的控制单元ex310的控制下解复用由调制/解调单元ex302所解调的复用数据。而且，在电视ex300中，使用在每一个实施例中所述的解码方法，音频信号处理单元ex304解码解复用的音频数据，视频信号处理单元ex305解码解复用的视频数据。输出单元ex309分别将解码的视频信号和音频信号提供在外部。当输出单元ex309提供视频信号和音频信号时，可将这些信号暂时地存入缓冲器ex318和ex319和其他装置中，使得以相互同步的方式复制这些信号。而且，电视ex300可不通过广播和其他方式读取复用数据，而是从记录介质ex215和ex216，如磁盘，光盘，和SD卡，读取复用数据。接下来，将描述其中电视ex300编码音频信号和视频信号并将数据发送到外部或将数据写在记录介质上的配置。在电视ex300中，在用户通过遥控器ex220和其他装置进行操作时，在使用每一个实施例所述的编码方法的控制单元ex310的控制下，音频信号处理单元ex304编码音频信号，视频信号处理单元ex305编码视频信号。复用/解复用单元ex303复用编码的视频信号和音频信号并将产生的信号提供到外部。当复用/解复用单元ex303复用视频信号和音频信号时，可将这些信号暂时地存入缓冲器ex320和ex321和其他装置中，使得以相互同步的方式复制这些信号。这里，缓冲器ex318、ex319、ex320和ex321可以是如所示的多个，或可在电视ex300中共享至少一个缓冲器。而且，例如，可将数据存入缓冲器中，使得可避免在调制/解调单元ex302和复用/解复用单元ex303之间的系统溢出或下溢。

而且，电视ex300可包括用于从麦克风或相机接收AV输入的配置，该配置不同于用于从广播或记录介质获得音频和视频数据的配置，并且电视ex300可编码获得的数据。尽管描述了电视ex300可编码、复用并提供外部数据，但其可以仅仅能够接收、解码并提供外部数据，而不能编码、复用并提供外部数据。

而且，当读取器/记录器ex218从记录介质读取复用数据或在记录介质上写入复用数据时，电视ex300和读取器/记录器ex218之一可解码或编码复用数据，电视ex300和读取器/记录器ex218可共享解码或编码。

作为示例，图12示出了当从光盘读取数据或在光盘上写入数据时信息复制/记录单元ex400的配置。信息复制/记录单元ex400包括后文要描述的组成元件ex401、ex402、ex403、ex404、ex405、ex406和ex407。光学头ex401将激光光点照射在为光盘的记录介质ex215的记录表面中以写信息，并检测来自记录介质ex215的记录表面的反射光以读取信息。调制记录单元ex402电性地驱动被包括在光学头ex401中的半导体激光器，并根据记录的数据调制激光器的光。复制解调单元ex403放大通过使用被包括在光学头ex401中的照片检测器电性地检测来自记录表面的反射光所获得的复制信号，并通过分开被记录在记录介质ex215上的信号分量来解调复制信号，以复制必需信息。缓冲器ex404暂时保存要被记录在记录介质ex215上的信息和自记录介质ex215处复制的信息。盘式电动机ex405旋转记录介质ex215。当控制盘式电动机ex405的旋转驱动以跟随激光光点时，伺服控制单元ex406移动光学头ex401到预定信息轨道。系统控制单元ex407整体控制信息复制/记录单元ex400。读取和写入处理可以通过使用被存储在缓冲器ex404中的各种信息并在必需时生成和增加新信息的系统控制单元ex407、以及通过在以协调方式操作时经由光学头ex401记录和复制信息的调制记录单元ex402、复制解调单元ex403和伺服控制单元ex406来实现。系统控制单元ex407例如包括微处理器，并通过使得计算机执行用于读写的程序来执行处理。

尽管描述了光学头ex401照射激光光点，但其可以执行使用近场光的高密度记录。

图13示出了为光盘的记录介质ex215。在记录介质ex215的记录表面上，螺旋地形成导槽，根据导槽的形状的改变，信息轨道ex230预先记录指示在盘上绝对位置的地址信息。地址信息包括用于确定为记录数据的单元的记录块ex231的位置的信息。在记录和复制数据的设备中复制信息轨道ex230和读取地址信息能够导致记录块的位置的确定。而且，记录介质ex215包括数据记录区域ex233，内圆周区域ex232和外圆周区域ex234。数据记录区域ex233是用于记录用户数据的区域。在数据记录区域ex233内部和外部的内圆周区域ex232和外圆周区域ex234分别用于除了记录用户数据之外的特别用途。信息复制/记录单元400自记录介质ex215的数据记录区域ex233读取编码音频、编码视频数据，或通过复用编码音频和视频数据所获得的复用数据，以及在记录介质ex215的数据记录区域ex233上写入这些数据。

尽管在说明书中描述了具有一层的光盘(如DVD和BD)作为示例，但是光盘不限于此，并可以是具有多层结构并能够被记录在非表面的部分上的光盘。而且，光盘可具有用于多维记录/复制的结构，如在光盘的相同部分中使用具有不同波长的颜色的光来记录信息，和用于记录具有来自各种角度的不同层的信息的结构。

而且，在数字广播系统ex200中，具有天线ex205的汽车ex210能够接收到来自卫星ex202和其他的数据，并将视频复制在显示装置上，如在设置在汽车ex210中的汽车导航系统ex211上。这里，汽车导航系统ex211的配置将是例如包括来自图10所示配置的GPS接收单元的配置。这些对于计算机ex111、蜂窝电话ex114和其他的配置也将是适用的。

图14(a)示出了使用在实施例中所述的视频编码方法和视频解码方法的蜂窝电话ex114。蜂窝电话ex114包括：天线ex350，用于通过基站ex110发送和接收无线电波；相机单元ex365，能够拍摄运动和静止图像；和如液晶显示器的显示单元ex358，用于显示如由相机单元ex365所拍摄或由天线ex350所接收的解码视频的数据。蜂窝电话ex114进一步包括：主体单元，包括操作键单元ex366；如扬声器的音频输出单元ex357，用于输出音频；如麦克风的音频输入单元ex356，用于输入音频；存储器单元ex367，用于存储拍摄的视频或静止图片、记录的音频、接收的视频的编码或解码的数据、静止图片、电子邮件或其他；和槽单元ex364，其是用于以与存储器单元ex367相同方式存储数据的记录介质的接口单元。

接下来，将参照图14(b)描述蜂窝电话ex114的配置的示例。在蜂窝电话ex114中，设计用来整体控制包括显示单元ex358以及操作键单元ex366的主体的每一个单元的主控制单元ex360通过同步总线ex370相互连接到电源电路单元ex361、操作输入控制单元ex362、视频信号处理单元ex355、相机接口单元ex363、液晶显示器(LCD)控制单元ex359、调制/解调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、槽单元ex364和存储器单元ex367。

当通过用户操作打开结束通话键或电源键时，电源电路单元ex361从电池组向各个单元供电以激活蜂窝电话ex114。

在蜂窝电话ex114中，在包括CPU、ROM和RAM的主控制单元ex360的控制下，音频信号处理单元ex354将通过音频输入单元ex356所采集的音频信号以语音转换模式转换为数字音频信号。随后，调制/解调单元ex352对数字音频信号执行扩频处理，发送和接收单元ex351对数据执行数模转换和频率转换，以通过天线ex350发送产生的数据。

同样，在蜂窝电话ex114中，发送和接收单元ex351以语音转换模式放大由天线ex350所接收的数据并执行对数据的频率转换和模数转换。随后，调制/解调单元ex352对数据执行反扩频处理，音频信号处理单元ex354将其转换为模拟音频信号，以通过音频输出单元ex356将它们输出。

而且，当发送数据通信模式中的电子邮件时，将通过操作主体的操作键单元ex356和其他单元所输入的电子邮件的文本数据通过操作输入控制单元ex362发出到主控制单元ex360。主控制单元ex360使得调制/解调单元ex352执行对文本数据的扩频处理，发送和接收单元ex351对产生的数据执行数模转换和频率转换以将数据通过天线ex350发送到基站ex110。当接收到电子邮件时，对接收到的数据执行与发送电子邮件的处理大致相反的处理，将产生的数据提供给显示单元ex358。

当发送视频、静止图像或数据通信模式中的视频和音频时，视频信号处理单元ex355使用每一个实施例中所示的视频编码方法来压缩并编码自相机单元ex365供应的视频信号，并将编码视频数据发送到复用/解复用单元ex353。相反，在当相机单元ex365拍摄视频、静止图像和其他期间，音频信号处理单元ex354编码由音频输入单元ex356所采集的音频信号，并将编码音频数据发送到复用/解复用单元ex353。

复用/解复用单元ex353使用预定方法复用由视频信号处理单元ex355所供应的编码视频数据和由音频信号处理单元ex354所供应的编码音频数据。

随后，调制/解调单元ex352对复用数据执行扩频处理，发送和接收单元ex351对数据执行数模转换和频率转换以通过天线ex350发送产生的数据。

当接收到以数据通信模式链接到网页和其他的视频文件数据时，或当接收到具有附属视频和/或音频的电子邮件时，为了解码通过天线ex350接收到的复用数据，复用/解复用单元ex353将复用数据解复用为视频数据比特流和音频数据比特流，并通过同步总线ex370，将编码视频数据供应给视频信号处理单元ex355，将编码音频数据供应给音频信号处理单元ex354。视频信号处理单元ex355使用对应于每一个实施例中所示编码方法的视频解码方法对视频信号解码，随后例如，显示单元ex358通过LCD控制单元ex359显示被包括在链接到网页的视频文件中的视频和静止图像。而且，音频信号处理单元ex354解码音频信号，音频输出单元ex357提供音频。

而且，类似于电视ex300，如蜂窝电话ex114的终端可能具有3种类型的实现配置，不仅包括(i)包括编码设备和解码设备二者的发送和接收终端，而且包括(ii)仅仅包括编码设备的发送终端和(iii)仅仅包括解码设备的接收终端。尽管描述了数字广播系统ex200接收并发送通过将音频数据复用到视频数据所获得的复用数据，但是复用数据可以是通过不复用音频数据而是复用与视频相关的字符数据到视频数据所获得的数据，并可以不是复用数据而是视频数据本身。

这样，能够在所述的任意装置和系统中使用每一个实施例中的视频编码方法和视频解码方法。因而，能够获得在每一个实施例中所述的优点。

而且，本发明不限于实施例，能够进行各种修改和修订而不背离本发明的范围。

能够通过在必需时在(i)每一个实施例中所示的视频编码方法或视频编码设备和(ii)与如MPEG-2、MPEG4-AVC和VC-1的不同标准相符的视频编码方法或视频编码设备之间切换，来生成视频数据。

这里，当生成并随后解码符合不同标准的多个视频数据时，需要选择解码方法以符合不同标准。然而，由于无法检测要解码的多个视频数据的每一个符合哪一个标准，所以存在无法选择合适解码方法的问题。

为了解决这个问题，通过将音频数据和其他复用到视频数据所获得的复用数据具有包括指示视频数据符合哪一个标准的识别信息的结构。后文将描述包括用每一个实施例中所示的视频编码方法和视频编码设备所生成的视频数据的复用数据特定结构。复用数据是MPEG-2传输流格式的数字流。

图15示出了复用数据的结构。如图15中所示，能够通过复用视频流、音频流、演示图形流(PG)和交互式图形流的至少一个，来获得复用数据。视频流表示影片的主要视频和次要视频，音频流(IG)表示主要音频部分和要与主要音频部分混合的次要音频部分，演示图形流表示影片的字幕。这里，主要视频是要显示在屏幕上的正常视频，次要视频是要显示在主要视频中的较小窗口上的视频。而且，交互式图形流表示要通过将GUI组件安排在屏幕上所生成的交互式屏幕。用每一个实施例所示的视频编码方法或视频编码设备，或用符合常见标准(如MPEG-2、MPEG4-AVC和VC-1)的视频编码方法或视频编码设备，来对视频流编码。依照如Dolby-AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD和线性PCM的标准对音频流编码。

通过PID识别在复用数据中包括的每一个流。例如，将0x1011分配给要用于影片视频的视频流，将0x1100到0x111F分配给音频流，将0x1200到0x121F分配给演示图形流，将0x1400到0x141F分配给交互式图形流，将0x1B00到0x1B1F分配给要用于影片次要视频的视频流，将0x1A00到0x1A1F分配给要用于与主要音频混合的次要视频的音频流。

图16示意性示出了如何复用数据。首先，分别将由视频帧组成的视频流ex235和由音频帧组成的音频流ex238变换为PES包的流ex236和PES包的流ex239，并进一步变换为TS包ex237和TS包ex240。类似地，分别将演示图形流ex241的数据和交互式图形流ex245的数据变换为PES包的流ex242和PES包的流ex245，并进一步变换为TS包ex243和TS包ex246。将这些TS包复用到流中以获得复用数据ex247。

图17更详细地示出了如何将视频流存储到PES包的流中。在图17中的第一条示出了在视频流中的视频帧流。第二条示出了PES包的流。如图17中被标注为yy1、yy2、yy3和yy4的的箭头所指示的，将视频流划分为作为I图、B图和P图的图片，每一个图片是视频演示单元，并将这些图片存储在每一个PES包的有效载荷中。每一个PES包具有PEG头部，PES头部存储了指示图片显示时间的演示时间戳(PTS)，和指示图片解码时间的解码时间戳(DTS)。

图18示出了最终写在复用数据上的TS包的格式。每一个TS包是188字节固定长度的包，包括具有如识别流的PID的信息的4字节TS头部，和用于存储数据的184字节的TS有效载荷。PES包被分别划分并存储在TS有效载荷中。当使用BD ROM时，为每一个TS包给予4字节的TP_Extra_Header，因而产生192字节的源包。将源包写到复用数据上。TP_Extra_Header存储如Arrival_Time_Stamp(ATS)的信息。ATS示出了将每一个TS包发送到PID滤波器的传送起始时间。将源包安排在如图18底部所示的复用数据中。将自复用数据的头部增加的数量称为源包数(SPN)。

被包括在复用数据中的每一个TS包不仅仅包括音频、视频、字幕和其他的流，还包括节目关联表(PAT)、节目映射表(PMT)和节目时钟参考(PCR)。PAT示出了用于复用数据的PMT中的PID指示什么，PAT自己的PID被注册为零。PMT存储了被包括在复用数据中的视频、音频、字幕和其他的流的PID，和对应于这些PID的流的属性信息。PMT也具有与复用数据相关的各种描述符。这些描述符具有信息，如示出是否允许拷贝复用数据的拷贝控制信息。PCR存储了对应于示出何时将PCR包发送到解码器的ATS的STC时间信息，以获得在为ATS时间轴的到达时间时钟(ATC)和为PTS与DTS时间轴的系统时间时钟(STC)之间的同步。

图19详细示出了PMT的数据结构。将PMT头部放置在PMT的顶部。PMT头部描述了被包括在PMT和其他中的数据的长度。将与复用数据相关的多个描述符放置在PMT头部之后。在这些描述符中描述如拷贝控制信息的信息。在这些描述符之后，放置与被包括在复用数据中的流相关的流信息的多个片段。流信息的每一个片段包括每一个描述信息的流描述符，如用于识别流的压缩编解码器的流类型、流PID和流属性信息(如帧速或宽高比)。这些流描述符在数量上等于在复用数据中的流的数量。

当将复用数据记录到记录介质和其他上时，其被与复用数据信息文件一起被记录。

每一个复用数据信息文件是如图20中所示的复用数据的管理信息。复用数据信息文件与复用数据一一对应，这些文件的每一个包括复用数据信息、流属性信息和入口映射。

如图20中所示，复用数据包括系统速度、复制起始时间和复制结束时间。系统速度指示了随后将描述的系统目标解码器将复用数据传送给PID滤波器的最大传送速度。将被包括在复用数据中的ATS间隔设置为不高于系统速度。复制起始时间指示了在复用数据的头部处的视频帧中的PTS。将一帧的间隔加到在复用数据的结束处的视频帧中的PTS，将该PTS设置为复制结束时间。

如图21中所示，针对被包括在复用数据中的每一个流的每一个PID，将属性信息片段注册在流属性信息中。基于相应流是视频流、音频流、演示图形流还是交互式图形流，属性信息的每一个片段具有不同信息。视频流属性信息的每一个片段携带了包括以下的信息：哪种类型压缩编解码器被用于压缩视频流以及分辨率、宽高比和被包括在视频流中的图片数据片段的帧速。音频流属性信息的每一个片段携带了包括以下的信息：哪种类型压缩编解码器被用于压缩音频流、在音频流中包括多少个声道、音频流支持哪种语言以及采样频率是多高。将视频流属性信息和音频流属性信息用于在播放器回放这些信息之前的解码器的初始化。

要使用的复用数据具有被包括在PMT中的流类型。而且，当将复用数据记录在记录介质上时，使用被包括在复用数据信息中的视频流属性信息。更具体地，在每一个实施例中所述的视频编码方法或视频编码设备包括步骤或单元，用于将指示由每一个实施例中视频编码方法或视频编码设备所生成的视频数据的唯一信息分配给在PMT中所包括的流类型或视频流属性信息。使用这种配置，能够从符合另一标准的视频数据区别出由每一个实施例中所述的视频编码方法或视频编码设备所生成的视频数据。

而且，图22描述了视频解码方法的步骤。在步骤exS100中，从复用数据获得被包括在PMT中的流类型或视频流属性信息。接下来，在步骤exS101中，确定所述流类型或视频流属性信息是否指示由每一个实施例中的视频编码方法或视频编码设备生成所述复用数据。当确定所述流类型或视频流属性信息指示由每一个实施例中的视频编码方法或视频编码设备生成所述复用数据时，在步骤exS102中，由每一个实施例中的视频解码方法执行解码。而且，当所述流类型或视频流属性信息指示符合常见的标准(如MPEG-2、MPEG4-AVC和VC-1)时，在步骤exS103中，由符合这些常见标准的视频解码方法执行解码。

这样，将新的唯一值分配给流类型或视频流属性信息使能确定在每一个实施例中所述的视频解码方法或视频解码设备是否能够执行解码。即使当复用数据符合不同的标准时，能够选择合适的解码方法或设备。因而，解码信息而没有任何误差变为可能。而且，能够将视频编码方法或设备，或视频解码方法或设备用于上述的装置和系统中。

在每一个实施例中的视频编码方法、视频编码设备、视频解码方法和视频解码设备的每一个典型地以集成电路或大规模集成(LSI)电路的形式实现。作为LSI的示例，图23示出了被做出一个芯片的LSI ex500的配置。LSI ex500包括下文将描述的元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508和ex509，将这些元件通过总线ex510相互连接。当打开电源电路单元ex505时，通过为这些元件的每一个供应电力来激活电源电路单元ex505。

例如，当执行编码时，在包括CPU ex502、存储器控制器ex503、流控制器ex504和驱动频率控制单元ex512的控制单元ex501的控制下，LSIex500通过AV IO ex509从麦克风ex117、相机ex113和其他接收AV信号。将接收到的AV信号暂时存储在如SDRAM的外部存储器ex511中。在控制单元ex501的控制下，根据要发送到信号处理单元ex507的处理量和速度，将存储数据分段为数据部分。随后，信号处理单元ex507对音频信号和/或视频信号编码。这里，视频信号的编码是在每一个实施例中所述的编码。而且，信号处理单元ex507有时复用编码音频数据和编码视频数据，流IO ex506将复用数据提供到外部。将提供的复用数据发送到基站ex107，或写在记录介质ex215上。当复用数据集时，应将所述数据暂时存储在缓冲器ex508使得所述数据集相互同步。

尽管存储器ex511是LSI ex500外部的元件，但可将其包括在LSI ex500中。缓冲器ex508不限于一个缓冲器，而是可由多个缓冲器组成。而且，可将LSI ex500做成一个芯片或多个芯片。

而且，尽管控制单元ex510包括CPU ex502、存储器控制器ex503、流控制器ex504、驱动频率控制单元ex512，但是控制单元ex510的配置不限于此。例如，信号处理单元ex507可进一步包括CPU。在信号处理单元ex507中包括另一CPU能够提高处理速度。而且，作为另一示例，CPU ex502可用作或成为信号处理单元ex507的一部分，例如，可包括音频信号处理单元。在这样的情况中，控制单元ex501包括信号处理单元ex507或包括信号处理单元ex507一部分的CPU ex502。

此处使用的名称为LSI，但是也可基于集成的程度将其称为IC、系统LSI、超级LSI或超LSI。

而且，实现集成的方式不限于LSI、专用电路或通用处理器等等也能够实现所述集成。能够在制造LSI之后编程的现场可编程门阵列(FPGA)或允许重配置LSI的连接或配置的可重配置处理器可以用于相同用途。

未来，随着半导体技术的进步，全新的技术可替换LSI。能够使用这样的技术集成功能块。可能性在于将本发明应用于生物工艺学。

当在每一个实施例中所述的视频编码方法或视频编码设备中所生成的视频数据被解码时，与当符合如MPEG-2、MPEG4-AVC和VC-1的常见标准的视频数据被解码时相比，处理量可能增加。因而，当符合常见标准的视频数据被解码时，LSI ex500需要被设置为比要使用的CPU ex502的驱动频率更高的驱动频率。然而，当将驱动频率设置较高时，存在功耗增加的问题。

为了解决这个问题，视频解码设备，如电视ex300和LSI ex500，被配置为确定视频数据符合哪种标准，并根据确定的标准在这些驱动频率之间切换。图24示出了配置ex800。当由在每一个实施例中所述的视频编码方法或视频编码设备生成视频数据时，驱动频率切换单元ex803将驱动频率设置为较高的驱动频率。随后，驱动频率切换单元ex803指示解码处理单元ex801执行在每一个实施例中所述的视频解码方法以解码所述视频数据。当视频数据符合常见标准时，驱动频率切换单元ex803将驱动频率设置为比每一个实施例中所述的视频编码方法或视频编码设备所生成的视频数据的驱动频率更低的驱动频率。随后，驱动频率切换单元ex803指示解码处理单元ex802符合常见标准以解码所述视频数据。

更具体地，驱动频率切换单元ex803包括图23中的CPU ex502和驱动频率控制单元ex512。这里，执行每一个实施例所述的视频解码方法的解码处理单元ex801和符合常见标准的解码处理单元ex802的每一个对应于图23中的信号处理单元ex507。CPU ex502确定视频数据符合哪种标准。随后，驱动频率控制单元ex512基于来自CPU ex502的信号确定驱动频率。而且，信号处理单元ex507基于来自CPU ex502的信号解码视频数据。例如，所述的识别信息可能用于识别视频数据。识别信息不限于上述的信息，而可以是任何信息，只要该信息指示视频数据符合哪种标准即可。例如，当可基于用于确定视频数据用于电视或盘等的外部信号确定视频数据符合哪种标准时，可基于这样的外部信号做出所述确定。而且，CPU ex502例如基于图26中所示的其中视频数据的标准关联于驱动频率的查找表，来选择驱动频率。能够由CPU ex502通过将查找表存储在LSI的缓冲器ex508和外部存储器中，并通过参考该查找表，来选择驱动频率。

图25示出了执行方法的步骤。首先，在步骤exS200中，信号处理单元ex507从复用数据获得识别信息。接下来，在步骤exS201中，CPU ex502基于识别信息确定视频数据是否由每一个实施例所述的编码方法和编码设备生成。当视频数据由每一个实施例所述的视频编码方法和视频编码设备生成时，在步骤exS202中，CPU ex502将用于将驱动频率设置为较高驱动频率的信号发送到驱动频率控制单元ex512。随后，驱动频率控制单元ex512将驱动频率设置为较高驱动频率。在另一方面，当识别信息指示视频数据符合如MPEG-2、MPEG4-AVC和VC-1的常见标准时，在步骤exS203中，CPU ex502将用于将驱动频率设置为较低驱动频率的信号发送到驱动频率控制单元ex512。随后，驱动频率控制单元ex512将驱动频率设置为比在视频数据由每一个实施例所述的视频编码方法和视频编码设备生成的情况中的驱动频率更低的驱动频率。

而且，与驱动频率的切换一起，能够通过改变要应用到LSI ex500或包括LSI ex500的设备的电压来提高节能效果。例如，当将驱动频率设置较低时，可能将要应用到LSI ex500或包括LSI ex500的设备的电压设置为比将驱动频率设置较高的情况中的电压更低的电压。

而且，作为设置驱动频率的方法，当解码的处理量较大时，可将驱动频率设置较高，当解码的处理量较小时，可将驱动频率设置较低。因而，设置方法不限于上述的那些。例如，当解码符合MPEG4-AVC的视频数据的处理量大于解码由每一个实施例所述的视频编码方法和视频编码设备所生成的视频数据的处理量时，可能以与上述设置的相反顺序来设置驱动频率。

而且，设置驱动频率的方法不限于设置较低驱动频率的方法。例如，当识别信息指示视频数据由每一个实施例所述的视频编码方法和视频编码设备所生成时，可能将要应用到LSI ex500或包括LSI ex500的设备的电压设置较高。当识别信息指示视频数据符合如MPEG-2、MPEG4-AVC和VC-1的常见标准时，可能将要应用到LSI ex500或包括LSI ex500的设备的电压设置较低。作为另一示例，当识别信息指示视频数据由每一个实施例所述的视频编码方法和视频编码设备所生成时，CPU ex502的驱动不会不得不被暂停。当识别信息指示视频数据符合如MPEG-2、MPEG4-AVC和VC-1的常见标准时，可能在给定时间处将CPU ex502的驱动暂停，因为CPUex502具有额外处理容量。即使当识别信息指示视频数据由每一个实施例所述的视频编码方法和视频编码设备所生成时，在CPU ex502具有额外处理容量的情况中，也可能在给定时间处将CPU ex502的驱动暂停。在这样的情况中，可能将暂停时间设置比在识别信息指示视频数据符合如MPEG-2、MPEG4-AVC和VC-1的常见标准时的情况中的时间更短。

相应地，通过依照视频数据符合的标准在驱动频率之间切换能够提高节能效果。而且，当使用电池驱动LSI ex500或包括LSI ex500的设备时，能够通过所述节能效果来延长电池寿命。

存在将符合不同标准的多个视频数据被提供给如电视和移动电话的装置和系统的情况。为了使能解码符合不同标准的多个视频数据，LSI ex500的信号处理单元ex507需要符合不同标准。然而，LSI ex500电路规模的增加和成本增加的问题随着单独使用符合各个标准的信号处理单元ex507而出现。

为了解决这个问题，设想了一种配置，其中用于实现每一个实施例所述的视频解码方法的解码处理单元和符合如MPEG-2、MPEG4-AVC和VC-1的常见标准的解码处理单元被部分共享。在图27(a)中的Ex900示出了所述配置的示例。例如，在每一个实施例中所述的视频解码方法和符合MPEG4-AVC的视频解码方法具有部分相同的处理细节，如熵编码、反量化、去块滤波和运动补偿预测。将共享的处理细节可能包括符合MPEG4-AVC的解码处理单元ex902的使用。相对地，专用解码处理单元ex901可能被用于对本发明独特的其他处理。由于本发明特征在于空间预测，例如，依照本发明将专用解码处理单元ex901用于空间预测。否则，可能针对熵编码、反变换、反量化和运动补偿预测之一，或所有处理，共享解码处理单元。可针对要共享的处理，共享用于实现在每一个实施例中所述的视频解码方法的解码处理单元，可将专用解码处理单元用于对MPEG4-AVC来说独特的处理。

而且，在图27(b)中的ex1000示出了部分共享处理的其他示例。这个示例使用这样的配置，其包括支持对本发明独特的处理的专用解码处理单元ex1001，支持对另一常见标准独特的处理的专用解码处理单元ex1002，和支持被共享在本发明中视频解码方法和常见视频解码方法之间的处理的解码处理单元ex1003。这里，专用解码处理单元ex1001和ex1002不必专门分别用于本发明的处理和常见标准的处理，而可以是能够实现通用处理的那些单元。而且，所述配置能够由LSI ex500来实现。

这样，通过针对要共享在本发明视频解码方法和符合常见标准的视频解码方法之间的处理来共享解码处理单元，LSI的电路规模的减小和成本的减少是可能的。

总之，本发明涉及在图像信号编码和/或解码期间可执行的帧内预测。特别地，本发明涉及当前块的帧内预测，在其期间，将滤波应用到预测信号和/或应用到用于预测的信号。依照基于被包括在空间上与当前块相邻的块中的图像信号的特性的决定，来应用滤波。

Claims (21)

1.一种用于对划分为多个块的编码图像数据逐块地进行解码的方法，所述方法包括步骤：

导出空间上与当前块相邻的先前解码数据的统计；

基于所导出的统计决定是否在帧内预测期间应用滤波；以及

根据先前解码块的图像数据来预测当前块。

2.一种用于对划分为多个块的图像数据逐块地进行编码的方法，所述方法包括步骤：

导出空间上与当前块相邻的先前解码数据的统计；

基于所导出的统计决定是否在帧内预测期间应用滤波；以及

根据先前解码块的图像数据来预测当前块。

3.如权利要求1所述的方法，还包括步骤：当决定应用所述滤波时，在所述帧内预测期间进行滤波，其中将所述滤波应用到用于所述预测的已经解码的参考像素。

4.如权利要求1所述的方法，还包括步骤：当决定应用所述滤波时，在所述帧内预测期间进行滤波，其中将所述滤波应用到预测信号。

5.如权利要求1到4中任一项所述的方法，其中通过计算周围块的信号的方差，来执行所述先前解码信号的统计的导出。

6.如权利要求5所述的方法，其中当所述周围块的信号的方差小于预定阈值时，应用所述滤波；以及

当所述周围块的信号的方差大于所述预定阈值时，不应用滤波。

7.如权利要求1到4中任一项所述的方法，其中通过应用边缘检测方法来执行所述先前解码信号的统计的导出。

8.如权利要求7所述的方法，其中当未检测到边缘时，应用所述滤波；以及当检测到边缘时，不应用滤波。

9.如权利要求8所述的方法，其中仅仅将所述滤波应用到位于离通过延伸检测到的边缘所计算的线预定距离的已经解码的参考像素。

10.如权利要求8所述的方法，其中根据参考像素的线中的像素相对于通过延伸检测到的边缘所计算的线的位置，来将不同滤波器应用到所述参考像素的线中的所述像素。

11.一种计算机程序产品，包括其上体现有计算机可读程序代码的计算机可读介质，所述程序代码适合于执行如权利要求1到10中任一项所述的方法。

12.一种用于对划分为多个块的编码图像数据逐块地进行解码的设备，所述设备包括：

计算单元，用于导出空间上与当前块相邻的先前解码数据的统计；

判决单元，用于基于所导出的统计决定是否在帧内预测期间应用滤波；以及

定向预测单元，用于根据先前解码块的图像数据来预测当前块。

13.一种用于对划分为多个块的图像数据逐块地进行编码的设备，所述设备包括：

计算单元，用于导出空间上与当前块相邻的先前解码数据的统计；

判决单元，用于基于所导出的统计决定是否在帧内预测期间应用滤波；以及

定向预测单元，用于根据先前解码块的图像数据来预测当前块。

14.如权利要求12所述的设备，还包括滤波器，其中所述设备被配置为：当所述判决单元决定应用所述滤波时，在所述帧内预测期间将所述滤波器应用到用于所述预测的已经解码的参考像素。

15.如权利要求12所述的设备，还包括滤波器，其中所述设备被配置为：当所述判决单元决定应用所述滤波时，在所述帧内预测期间将所述滤波器应用到预测信号。

16.如权利要求1到15中任一项所述的设备，其中所述计算单元被配置为：通过计算周围块的信号的方差来导出所述先前解码信号的统计。

17.如权利要求16所述的设备，其中当所述计算单元导出的所述周围块的信号的方差小于预定阈值时，应用所述滤波；以及

当所述周围块的信号的方差大于所述预定阈值时，不应用滤波。

18.如权利要求12到15中任一项所述的设备，其中所述计算单元被配置为：通过应用边缘检测方法来导出所述先前解码信号的统计。

19.如权利要求18所述的设备，其中当所述计算单元未检测到边缘时，应用所述滤波；以及当所述计算单元检测到边缘时，不应用滤波。

20.如权利要求19所述的设备，其中仅仅将所述滤波应用到位于离通过延伸检测到的边缘所计算的线预定距离的已经解码的参考像素。

21.如权利要求19所述的设备，其中根据参考像素的线中的像素相对于通过延伸检测到的边缘所计算的线的位置，来将不同滤波器应用到所述参考像素的线中的所述像素。

Images