CN102640497A - 视频编码设备和视频解码设备 - Google Patents

Abstract

公开了能够高效率地减轻轮廓和阶梯伪影的视频编码设备和视频解码设备。公开的视频编码设备设有：重构装置，其通过将内预测信号或帧间预测信号加到由逆频率变换装置获得的重构预测误差图像块来获得重构图像块；噪声混入装置，其将伪随机噪声混入到重构图像中；维纳滤波器装置，其向被混入了伪随机噪声的重构图像应用维纳滤波器；以及参考图像存储装置，其存储被应用了维纳滤波器的重构图像作为帧间预测的参考图像。

Description

视频编码设备和视频解码设备

技术领域

本发明涉及应用了用于减轻轮廓(contour)和阶梯伪影(stair-stepartifact)的视频编码技术的视频编码设备和视频解码设备。

背景技术

一般地，视频编码设备对外部输入的动画信号进行数字化，然后对其执行符合预定的视频编码体系的编码处理，从而生成编码数据或比特流。

预定的视频编码体系可以是非专利文献1中描述的ISO/IEC 14496-10高级视频编码(Advanced Video Coding，AVC)。已知联合模型体系作为AVC编码设备的参考模型(其将被称为一般视频编码设备)。

将参考图21来描述以数字化的视频的每个帧作为输入来输出比特流的一般视频编码设备的结构和操作。

如图21中所示，一般视频编码设备包括MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测(intra prediction)单元110、帧间预测(inter-frame prediction)单元111、编码器控制单元112以及开关100。

一般视频编码设备将每个帧分割成具有16×16像素大小的被称为MB(Macro Block，宏块)的块，将MB进一步分割成具有4×4像素大小的块，并且采取分割获得的4×4块作为编码的最小构成单位。

图22是示出当帧空间分辨率是QCIF(Quarter Common IntermediateFormat，四分之一通用中间格式)时的示例性块分割的说明图。以下为了简明将只关注亮度像素值来描述图21中所示的各个单元的操作。

MB缓冲器101中存储输入图像帧的要编码的MB的像素值。要编码的MB将被称为输入MB。

对于从MB缓冲器101提供来的输入MB，减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。减去了预测信号的输入MB在下文中将被称为预测误差图像块。

内预测单元110利用存储在图片缓冲器107中的与当前帧具有相同显示时刻的重构图像生成内预测信号。用内预测信号编码的MB在下文中将被称为内MB(intra MB)。

帧间预测单元111利用与当前帧具有不同显示时刻并存储在解码图片缓冲器109中的参考图像来生成帧间预测信号。用帧间预测信号编码的MB在下文中将被称为间MB(inter MB)。

仅用内MB编码的帧将被称为I帧。用内MB和间MB两者编码的帧将被称为P帧。对于帧间预测同时使用两个参考图像而不只是一个参考图像的用间MB编码的帧将被称为B帧。

编码器控制单元112把内预测信号和帧间预测信号与存储在MB缓冲器101中的输入MB相比较，选择预测误差图像块的能量低的预测信号，并且控制开关100。关于所选的预测信号的信息被提供给熵编码器104。

编码器控制单元112基于输入MB或预测误差图像块选择适用于预测误差图像块的频率变换的整数DCT的基底块(base block)大小。整数DCT指的是在一般视频编码设备中利用通过用整数值近似DCT基底获得的基底进行的频率变换。基底块大小的选项包括16×16、8×8和4×4这三个块大小。输入MB或预测误差图像块的像素值越平坦，就选择越大的基底块大小。关于所选的整数DCT的基底大小的信息被提供给频率变换单元102和熵编码器104。关于所选的预测信号的信息和关于所选的整数DCT的基底大小的信息在下文中将被称为辅助信息。

另外，为了按目标比特数目或更少的比特数目对帧编码，编码器控制单元112监视熵编码器104输出的比特流中的比特的数目。然后，当输出比特流中的比特的数目大于目标比特数目时，输出用于增大量化步长的量化参数，相反，当输出比特流中的比特的数目小于目标比特数目时，输出用于减小量化步长的量化参数。这样，输出比特流被编码到接近目标比特数目。

频率变换单元102按所选的整数DCT的基底大小对预测误差图像块进行频率变换，从而将其从空间域变换到频率域。被变换到频率域的预测误差被称为转换系数。频率变换可使用诸如DCT(Discrete CosineTransform，离散余弦变换)或阿达玛(Hadamard)变换之类的正交变换。

量化单元103按与从编码器控制单元112提供来的量化参数相对应的量化步长对转换系数进行量化。经量化的转换系数的量化索引也被称为位阶(level)

熵编码器104对辅助信息和量化索引进行熵编码以作为比特串或比特流输出。

逆量化单元105和逆变换单元106对从量化单元103提供来的量化索引进行逆量化以获得用于后续编码的量化代表值，并且进一步对其执行逆频率变换以使其返回到原始空间域。被返回到原始空间域的预测误差图像块在下文中将被称为重构预测误差图像块。经逆量化的量化索引将被称为量化代表值。

图片缓冲器107中存储预测信号与重构预测误差图像块相加的重构图像块，直到当前帧中包括的所有MB都被编码为止。图片缓冲器107中的重构图像构成的图片在下文中将被称为重构图像图片。

解块滤波器单元108从图片缓冲器107中存储的重构图像图片中解除块失真。即，去除块失真。

解码图片缓冲器109中存储从解块滤波器单元108提供来的被去除了块失真的重构图像图片作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。

图21中所示的视频编码设备通过上述处理生成比特流。

引文列表

专利文献

PLT1：日本专利申请国家公布(早期公开)第2007-503166号公报

PLT2：日本专利申请国家公布(早期公开)第2007-507169号公报

非专利文献

NPL1：ISO/IEC 14496-10 Advanced Video Coding

NPL2：Steffen Wittmann和Thomas Wedi，“Transmission of Post-FilterHints For Video Coding Schemes”，ICIP2007，USA，September，2007(2007年9月)

NPL3：Toshiba corporation，“Quadtree-based adaptive loop filter”，ITU-T，COM16C181，January，2009(2009年1月)

NPL4：L.G.Roberts，“Picture coding using pseudorandom noise”，IRETrans.on Information Theory，vol.IT-8，pp145-154，February，1962(1962年2月)

NPL5：T.Chen，“Elimination of subband coding artifacts using thedithering technique”，ICIP94，November，1994(1994年11月)

NPL6：Chono等人，“A complexity Reduction Method for H.264 IntraPrediction Estimator Using the Characteristics of Hadamard Transform”，IEICESociety papers，D-11-52，2005

发明内容

技术问题

利用上述按低比特率压缩和展开的视频生成人类可察觉的伪影。块失真或振铃失真(ringing distortion)是在根据基于块的编码压缩和展开的视频中发生的典型伪影。

非专利文献2中提出了将维纳滤波器(Wiener filter)应用到被去除了块失真的重构图像图片以便减轻解块滤波器单元不能去除的振铃失真。非专利文献3中提出了将非专利文献2中公开的维纳滤波器应用到编码环内处理以按局域区域为单位接通/关断维纳滤波器。然而，非专利文献2和非专利文献3中公开的维纳滤波器是线性滤波器。由于线性滤波器不能破坏由压缩噪声引起的特定结构，所以仅由维纳滤波器是不能减轻轮廓和阶梯伪影的。维纳滤波器也被称为最小平方误差滤波器。

非专利文献4中提出了将伪随机噪声注入到图像中，以便降低对于轮廓和阶梯伪影的人类视觉敏感度。非专利文献5中提出了将伪随机噪声注入到有意义的子带转换系数中，用于基于子带转换编码来压缩静止图像。另外，非专利文献5中描述了用维纳滤波器限制由注入的伪随机噪声引起的白噪声伪影。然而，在非专利文献4和非专利文献5中没有考虑对于使用帧间预测的视频编码，由注入的伪随机噪声引起的不利影响。示例性的不利影响是由注入的伪随机噪声所导致的帧之间生成的差异引起的压缩效率的降低。

非专利文献1和非专利文献2中提出了注入与当前图像的一部分的亮度相关联的量的伪随机噪声或者与先前图像中的像素的附加噪声相关联的量的伪随机噪声以便解决由注入的伪随机噪声引起的帧之间生成的差异所导致的压缩效率的降低。

然而，没有考虑使用非专利文献2和非专利文献3中公开的维纳滤波器的视频编码。从而，专利文献1和专利文献2中描述的视频编码设备具有如下问题，即，对于使用维纳滤波器的视频编码，注入的伪随机噪声的量不足，并且对于轮廓和阶梯伪影的人类视觉敏感度不能被充分降低。

也就是说，一般的技术具有如下问题，即不能提供能够高效率地减轻轮廓和阶梯伪影的使用帧间预测的视频编码和视频解码。

从而，本发明的一个目的是提供一种能够高效率地减轻轮廓和阶梯伪影的视频编码设备和视频解码设备。

解决问题的方案

根据本发明的一种视频编码设备包括：预测装置，用于计算对图像块的内预测信号或帧间预测信号；逆量化装置，用于对图像块的量化索引进行逆量化以获得量化代表值；逆频率变换装置，用于对由逆量化装置获得的量化代表值进行逆变换以获得重构预测误差图像块；重构装置，用于将内预测信号或帧间预测信号加到由逆频率变换装置获得的重构预测误差图像块以获得重构图像块；重构图像存储装置，用于在其中存储由重构装置获得的重构图像块作为重构图像图片；噪声注入装置，用于将伪随机噪声注入到重构图像图片中；维纳滤波器装置，用于向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及参考图像存储装置，用于在其中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

根据本发明的一种视频解码设备包括：熵解码装置，用于对比特串进行熵解码以计算量化索引；预测装置，用于计算对图像块的内预测信号或帧间预测信号；逆量化装置，用于对量化索引进行逆量化以获得量化代表值；逆频率变换装置，用于对由逆量化装置获得的量化代表值进行逆变换以获得重构预测误差图像块；重构装置，用于将内预测信号或帧间预测信号加到由逆频率变换装置获得的重构预测误差图像块以获得重构图像块；重构图像存储装置，用于存储由重构装置获得的重构图像块作为重构图像图片；噪声注入装置，用于将伪随机噪声注入到重构图像图片中；维纳滤波器装置，用于向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及参考图像存储装置，用于存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

根据本发明的一种视频编码方法包括：计算对图像块的内预测信号或帧间预测信号；对图像块的量化索引进行逆量化以获得量化代表值；对所获得的量化代表值进行逆变换以获得重构预测误差图像块；将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块；在重构图像存储装置中存储所获得的重构图像块作为重构图像图片；将伪随机噪声注入到重构图像图片中；向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及在参考图像存储装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

根据本发明的一种视频解码方法包括：对比特串进行熵解码以计算量化索引；计算对图像块的内预测信号或帧间预测信号；对量化索引进行逆量化以获得量化代表值；对所获得的量化代表值进行逆变换以获得重构预测误差图像块；将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块；在重构图像存储装置中存储所获得的重构图像块作为重构图像图片；将伪随机噪声注入到重构图像图片中；向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及在参考图像装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

根据本发明的一种视频编码程序用于使得计算机执行：计算对图像块的内预测信号或帧间预测信号的处理；对图像块的量化索引进行逆量化以获得量化代表值的处理；对所获得的量化代表值进行逆变换以获得重构预测误差图像块的处理；将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块的处理；在重构图像存储装置中存储所获得的重构图像块作为重构图像图片的处理；将伪随机噪声注入到重构图像图片中的处理；向被注入了伪随机噪声的重构图像图片应用维纳滤波器的处理；以及在参考图像存储装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片的处理。

根据本发明的一种视频解码程序用于使得计算机执行：对比特串进行熵解码以计算量化索引的处理；计算对图像块的内预测信号或帧间预测信号的处理；对量化索引进行逆量化以获得量化代表值的处理；对所获得的量化代表值进行逆变换以获得重构预测误差图像块的处理；将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块的处理；在重构图像存储装置中存储所获得的重构图像块作为重构图像图片的处理；将伪随机噪声注入到重构图像图片中的处理；向被注入了伪随机噪声的重构图像图片应用维纳滤波器的处理；以及在参考图像装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片的处理。

发明的有利效果

根据本发明，在使用帧间预测的视频编码和视频解码中能够高效率地减轻轮廓和阶梯伪影。

附图说明

图1是示出根据第一实施例的视频编码设备的框图。

图2是用于说明如何复位伪随机噪声生成器的说明图。

图3是示出根据第二实施例的视频编码设备的框图。

图4是示出根据第三实施例的视频解码设备的框图。

图5是示出根据第四实施例的视频解码设备的框图。

图6是示出如下结构的框图：其中，用于基于像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第一实施例的视频编码设备。

图7是示出如下结构的框图：其中，用于基于像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第二实施例的视频编码设备。

图8是示出如下结构的框图：其中，用于基于像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第三实施例的视频解码设备。

图9是示出如下结构的框图：其中，用于基于像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第四实施例的视频解码设备。

图10是示出如下结构的框图：其中，用于估计变动的噪声注入器被应用到根据第一实施例的视频编码设备。

图11是示出如下结构的框图：其中，用于估计变动的噪声注入器被应用到根据第二实施例的视频编码设备。

图12是示出如下结构的框图：其中，用于估计变动的噪声注入器被应用到根据第三实施例的视频解码设备。

图13是示出如下结构的框图：其中，用于估计变动的噪声注入器被应用到根据第四实施例的视频解码设备。

图14是用于说明平坦预测信号的预测类型的说明图。

图15是用于说明平坦预测信号的预测类型的说明图。

图16是示出能够实现根据本发明的视频编码设备和视频解码设备的功能的信息处理系统的示例性结构的框图。

图17是示出根据本发明的视频编码设备的主要结构的框图。

图18是示出根据本发明的视频解码设备的主要结构的框图。

图19是示出根据本发明的视频编码设备的处理的流程图。

图20是示出根据本发明的视频解码设备的处理的流程图。

图21是示出一般视频编码设备的结构的框图。

图22是示出示例性块分割的说明图。

具体实施方式

第一实施例

图1是示出本发明的第一实施例的框图，其示出了一种视频编码设备，其中，将伪随机噪声注入到块失真去除前的重构图像图片中，并且向块失真去除后的重构图像图片应用维纳滤波器。

如图1中所示，根据本实施例的视频编码设备除了MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测单元110、帧间预测单元111、编码器控制单元112和开关100以外，还包括噪声注入器113和维纳滤波器单元114。

根据本实施例的视频编码设备与图21中所示的一般视频编码设备的不同之处在于提供了噪声注入器113和维纳滤波器单元114，并且从噪声注入器113提供的伪随机噪声被注入到存储在图片缓冲器107中的重构图像图片中并被提供给解块滤波器单元108。在以下描述中，将具体详细描述作为根据本实施例的视频编码设备的特征的噪声注入器113和维纳滤波器单元114的操作。

MB缓冲器101中存储输入图像帧中的要编码的MB的像素值。

从提供自MB缓冲器101的输入MB中减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。

内预测单元110利用存储在图片缓冲器107中的与当前帧具有相同显示时刻的重构图像生成内预测信号。关于内预测的信息包括指示内预测的块大小的内预测模式，以及指示其方向的内预测方向。

帧间预测单元111利用与当前帧具有不同显示时刻并被存储在解码图片缓冲器109中的参考图像来生成帧间预测信号。关于帧间预测的信息可以是指示帧间预测的块大小的帧间预测模式、指示帧间预测的方向的帧间预测方向、用于标识存储在解码图片缓冲器109中的参考图片的参考图片索引、用于帧间预测的运动向量，等等。

编码器控制单元112把内预测信号和帧间预测信号与存储在MB缓冲器101中的输入MB相比较，选择预测误差图像块的能量低的预测信号，并且控制开关100。关于所选预测信号的信息被提供给熵编码器104。

编码器控制单元112基于输入MB或预测误差图像块来选择适用于预测误差图像块的频率变换的整数DCT的基底块大小。所选的整数DCT的基底大小被提供给频率变换单元102和熵编码器104。一般地，输入MB或预测误差图像块的像素值越平坦，就选择越大的基底块大小。换言之，在具有较大的基底块大小的重构图像块中，重构图像较平坦。当预测误差图像块的能量低的预测信号是内预测信号时，所选的整数DCT的基底大小与内预测模式中的块大小相同。

编码器控制单元112监视从熵编码器104输出的比特流中的比特的数目以便按目标比特数目或更少的比特数目对帧编码。当输出比特流中的比特的数目大于目标比特数目时，输出用于增大量化步长的量化参数，相反，当输出比特流中的比特的数目小于目标比特数目时，输出用于减小量化步长的量化参数。这样，输出比特流被编码到接近目标比特数目。

频率变换单元102按所选的整数DCT的基底大小对预测误差图像块进行频率变换，并将其从空间域变换到频率域。

量化单元103按与从编码器控制单元112提供来的量化参数相对应的量化步长对转换系数进行量化。

熵编码器104对关于所选预测信号的信息、整数DCT的基底大小和量化索引进行熵编码，并将其作为比特串或比特流输出。

逆量化单元105和逆变换单元106对从量化单元103提供来的量化索引进行逆量化以用于后续编码，并且还对其执行逆频率变换以使其返回到原始空间域。即，生成重构预测误差图像块。

图片缓冲器107中存储预测信号与重构预测误差图像块相加的重构图像块，直到当前帧中包括的所有MB都被编码为止。

噪声注入器113生成伪随机噪声n(i)。伪随机噪声n(i)可例如按照公式(1)基于线性同余法来生成。

N(i)＝(a×n(i-1)+b)％c                (1)

其中a、b和c是用于确定伪随机噪声的周期的参数，并且假定a＞0，b＞0，a≤c且b＜c。x％y表示返回通过将x除以y获得的余数的处理。

可以使用任何生成方法作为本发明中的伪随机噪声生成方法，但希望可以按视频编码或视频解码的预定单位复位伪随机噪声生成器。图2是用于说明按视频编码或视频解码的预定单位复位伪随机噪声生成器的其他实施例的说明图。视频编码或视频解码的预定单位可以是每个帧的开头MB(参见图2(a))、每个帧中的多个MB(参见图2(b))、利用重构图像中的像素之间的依从关系的MB对，等等。按视频编码或视频解码的预定单位复位伪随机噪声生成器，以使得例如在图2(a)中所示的示例中可以改善对于视频解码的随机可访问性，并且在图2(b)中所示的示例中可以改善对于视频编码和视频解码的并行可处理性。

例如，编码器控制单元112可以按视频编码的预定单位基于线性同余法在伪随机噪声生成器中用预定的值来复位伪随机噪声n(i)的初始值n(0)。视频编码设备可将用于复位的预定值或用于标识该预定值的信息嵌入在比特流中。视频解码设备可读取嵌入在比特流中的用于复位的预定值或用于标识该像素值的信息，以基于该信息生成伪随机噪声，从而生成与视频编码侧相同的伪随机噪声，以使得在视频编码和视频解码之间能够避免由于伪随机噪声引起的图像的失配。

图片缓冲器107和解块滤波器单元108之间的加法器在重构图像图片中的每个位置(i，j){0≤i≤width-1，0≤j≤height-1}处的像素rij处按照公式(2)注入伪随机噪声n_i，j(假定公式(1)中的n(i)被按适当的规则重排列)。

r_ij＝((r_ij＜＜6)+(n_i，j％64)+32)＞＞6             (2)

其中width和height分别是帧的水平分辨率和垂直分辨率。

如公式(2)中所表述的，加上除以64所获得的余数，以使得伪随机噪声的影响强度的绝对值是1个像素以下。假定伪随机噪声的影响强度的绝对值是1像素以下，以便能够限制由于注入的伪随机噪声引起的PSNR(Peak Signal to Noise Ratio，峰值信号噪声比)的降低。

解块滤波器单元108从被注入了噪声的重构图像图片中去除块失真。被去除了块失真的重构图像图片在下文中将被称为块失真去除重构图像图片。

编码器控制单元112使用输入帧(输入图片)和块失真去除重构图像图片来构成维纳滤波器，在该维纳滤波器中块失真去除重构图像图片的均方误差最小。

假定输入图片是S，应用维纳滤波器前的块失真去除重构图像图片是X，并且应用维纳滤波器后的块失真去除重构图像图片是X′，则均方误差E[e²]由公式(3)定义。

[式1]

$E\left[e^2\right]=E\left[{(x^{\′}-s)}^2\right]=E\left[{(x*h-s)}^2\right]$

$=\underset{\mathrm{\τ}}{\overset{n-1}{\mathrm{\Σ}}}\underset{\mathrm{\θ}}{\overset{n-1}{\mathrm{\Σ}}}h\left(\mathrm{\τ}\right)h\left(\mathrm{\θ}\right)R_{\mathrm{xx}}(\mathrm{\τ}-\mathrm{\θ})-E\left[s^2\right]-2\underset{\mathrm{\τ}}{\overset{n-1}{\mathrm{\Σ}}}h\left(\mathrm{\τ}\right)R_{\mathrm{sx}}\left(\mathrm{\τ}\right)...\left(3\right)$

其中*是卷积运算，h(τ){0≤τ≤n-1}是维纳滤波器系数，R_XX是X的自相关系数，并且R_SX是S和X之间的互相关系数。当对于每个滤波器系数对公式(3)进行偏微分并且假定左手侧为0时，获得按照公式(4)的以下关系式(Wiener-hops式)。

[式2]

假定左手侧的列向量是Y，并且右手侧的矩阵和列向量分别是A和X，则获得Y＝AX并且可利用高斯消去来计算滤波器系数h(τ)。即，可构成维纳滤波器。

由编码器控制单元112计算出的维纳滤波器h被提供给维纳滤波器单元114和熵编码器104。熵编码器104把提供来的维纳滤波器h的滤波器系数复用在比特流上。

维纳滤波器单元114将计算出的维纳滤波器h应用到块失真去除重构图像图片X。这被表示为公式(5)。

X′＝X*h            (5)

解码图片缓冲器109存储应用维纳滤波器后的块失真去除重构图像图片X′作为参考图像图片。参考图像图片的图像被用作用于生成帧间预测信号的参考图像。

根据本实施例的视频编码设备通过上述处理生成比特流。

根据本实施例的视频编码设备向块失真去除前的重构图像图片中注入伪随机噪声，并且向被去除了块失真的重构图像图片应用维纳滤波器。特别是在平坦区域中，对于解块滤波器单元，注入的伪随机噪声可使得阶梯伪影减轻。特别是在平坦区域中，对于维纳滤波器，可使得轮廓伪影减轻。即，在根据本实施例的视频编码设备中，适当地组合了注入的伪随机噪声和维纳滤波器以便高效率地减轻轮廓和阶梯伪影。另外，利用了伪随机噪声的影响强度的绝对值是1个像素以下的伪随机噪声，从而既能够限制由注入的伪随机噪声引起的PSNR的降低，又能够限制由帧之间生成的差异引起的压缩效率的降低。

第二实施例

图3是示出根据本发明的第二实施例的框图，其示出了一种视频编码设备，其中，将伪随机噪声注入到被去除了块失真的重构图像图片中并且应用维纳滤波器。

如图3中所示，根据本实施例的视频编码设备除了MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测单元110、帧间预测单元111、编码器控制单元112和开关100以外，还包括噪声注入器113和维纳滤波器单元114。

根据本实施例的视频编码设备与根据第一实施例的视频编码设备的不同之处在于，被解块滤波器单元108去除了块失真的重构图像图片被注入从噪声注入器113提供的伪随机噪声，然后被提供给维纳滤波器单元114。

MB缓冲器101中存储输入图像帧中的要编码的MB的像素值。

从提供自MB缓冲器101的输入MB中减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。

内预测单元110利用存储在图片缓冲器107中的与当前帧具有相同显示时刻的重构图像生成内预测信号。关于内预测的信息包括指示内预测的块大小的内预测模式，以及指示其方向的内预测方向。

帧间预测单元111利用与当前帧具有不同显示时刻并被存储在解码图片缓冲器109中的参考图像来生成帧间预测信号。关于帧间预测的信息包括指示帧间预测的块大小的帧间预测模式、指示帧间预测的方向的帧间预测方向、用于标识存储在解码图片缓冲器109中的参考图片的参考图片索引、用于帧间预测的运动向量，等等。

编码器控制单元112把内预测信号和帧间预测信号与存储在MB缓冲器101中的输入MB相比较，选择预测误差图像块的能量低的预测信号，并且控制开关100。关于所选预测信号的信息被提供给熵编码器104。

编码器控制单元112基于输入MB或预测误差图像块来选择适用于预测误差图像块的频率变换的整数DCT的基底块大小。所选的整数DCT的基底大小被提供给频率变换单元102和熵编码器104。一般地，输入MB或预测误差图像块的像素值越平坦，就选择越大的基底块大小。换言之，在具有较大的基底块大小的重构图像块中，重构图像较平坦。当预测误差图像块的能量低的预测信号是内预测信号时，所选的整数DCT的基底大小与内预测模式中的块大小相同。

另外，编码器控制单元112监视由熵编码器104输出的比特流中的比特的数目以便按目标比特数目或更少的比特数目对帧编码。然后，当输出比特流中的比特的数目大于目标比特数目时，输出用于增大量化步长的量化参数，相反，当输出比特流中的比特的数目小于目标比特数目时，输出用于减小量化步长的量化参数。这样，输出比特流被编码到接近目标比特数目。

频率变换单元102按所选的整数DCT的基底大小对预测误差图像块进行频率变换，从而将其从空间域变换到频率域。

量化单元103按与从编码器控制单元112提供来的量化参数相对应的量化步长对转换系数进行量化。

熵编码器104对关于所选预测信号的信息、整数DCT的基底大小和量化索引进行熵编码，并将其作为比特串或比特流输出。

逆量化单元105和逆变换单元106对从量化单元103提供来的量化索引进行逆量化以用于后续编码，并且还对其执行逆频率变换以使其返回到原始空间域。即，生成重构预测误差图像块。

图片缓冲器107中存储预测信号与重构预测误差图像块相加的重构图像块，直到当前帧中包括的所有MB都被编码为止。

解块滤波器单元108从存储在图片缓冲器107中的重构图像图片中去除块失真。即，生成块失真去除重构图像图片。

与第一实施例类似，噪声注入器113生成伪随机噪声n(i)。

与第一实施例类似，解块滤波器单元108和维纳滤波器单元114之间的加法器在重构图像图片中的每个位置(i，j){0≤i≤width-1，0≤j≤height-1}处的像素r_ij处按照公式(6)注入伪随机噪声n_i，j(假定公式(1)中的n(i)被按适当的规则重排列)。

x_ij＝((x_ij＜＜6)+(n_i，j％64)+32)＞＞6              (6)

与第一实施例类似，编码器控制单元112使用输入帧(输入图片)和被注入了伪随机噪声的块失真去除重构图像图片来计算其中被去除了块失真的重构图像图片的均方误差最小的维纳滤波器h。

由编码器控制单元112计算出的维纳滤波器h被提供给维纳滤波器单元114和熵编码器104。熵编码器104把提供来的维纳滤波器h的滤波器系数复用在比特流上。

与第一实施例类似，维纳滤波器单元114将计算出的维纳滤波器h应用到块失真去除重构图像图片X。这被表示为公式(7)。

X′＝X*h                     (7)

解码图片缓冲器109存储应用维纳滤波器后的块失真去除图像图片X′作为参考图像图片。参考图像图片的图像被用作用于生成帧间预测信号的参考图像。

根据本实施例的视频编码设备通过上述处理生成比特流。

根据本实施例的视频编码设备将伪随机噪声注入到被去除了块失真的重构图像图片中并且向被去除了块失真的重构图像图片应用维纳滤波器。特别是在平坦区域中，对于解块滤波器单元，注入的伪随机噪声可使得阶梯伪影减轻。特别是在平坦区域中，对于维纳滤波器，可使得轮廓伪影减轻。即，在根据本实施例的视频编码设备中，适当地组合了注入的伪随机噪声和维纳滤波器以便高效率地减轻轮廓和阶梯伪影。另外，利用了伪随机噪声的影响强度的绝对值是1个像素以下的伪随机噪声，从而既能够限制由注入的伪随机噪声引起的PSNR的降低，又能够限制由帧之间生成的差异引起的压缩效率的降低。

第三实施例

图4是示出根据本发明的第三实施例的框图，其示出了一种视频解码设备，其中，将伪随机噪声注入到被去除了块失真的重构图像图片中并且应用维纳滤波器。根据本实施例的视频解码设备对应于根据第一实施例的视频编码设备。

如图4中所示，根据本实施例的视频解码设备除了熵解码器201、逆量化单元202、逆频率变换单元203、图片缓冲器204、解块滤波器单元205、解码图片缓冲器206、内预测单元207、帧间预测单元208、解码器控制单元209和开关200以外，还包括噪声注入器210和维纳滤波器211。

熵解码器201对比特流进行熵解码并且将关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引提供给逆量化单元202和解码器控制单元209。复用在比特流上的滤波器系数被提供给解码器控制单元209。

内预测单元207对于帧内MB，基于经由解码器控制单元209提供来的经熵解码的内预测模式和内预测方向，利用与当前解码的帧具有相同显示时刻并被存储在图片缓冲器204中的重构图像来生成内预测信号，并将其提供给开关200。

帧间预测单元208对于帧间MB，基于经由解码器控制单元209提供来的经熵解码的帧间预测模式、帧间预测方向和运动向量，利用与当前解码的帧具有不同显示时刻并被存储在解码图片缓冲器206中的参考图像来生成帧间预测信号，并将其提供给开关200。

解码器控制单元209基于经熵解码的关于预测信号的信息(内MB或间MB)来控制开关200，并且输出内预测信号或帧间预测信号作为预测信号。从熵解码器201提供来的滤波器系数被提供给维纳滤波器单元211。

逆量化单元202和逆变换单元203对从熵解码器201提供来的量化索引进行逆量化以用于后续编码，并且还对其执行逆频率变换以使其返回到原始空间域。即，生成重构预测误差图像块。

图片缓冲器204中存储预测信号与重构预测误差图像块相加的重构图像块，直到当前帧中包括的所有MB都被编码为止。

与第一实施例类似，噪声注入器113生成伪随机噪声n(i)。

与第一实施例类似，图片缓冲器204和解块滤波器单元205之间的加法器将伪随机噪声注入到重构图像图片中。

解块滤波器单元205从被注入了噪声的重构图像图片中去除块失真。即，生成块失真去除重构图像图片。

与第一实施例类似，维纳滤波器211向被去除了块失真的重构图像图片应用从解码器控制单元209提供来的维纳滤波器h。

解码图片缓冲器206中存储应用维纳滤波器后的块失真去除图像图片作为参考图像图片。参考图像图片在适当的显示定时作为展开帧被输出。

根据本实施例的视频解码设备通过上述处理展开比特流。

根据本实施例的视频解码设备将伪随机噪声注入到块失真去除前的重构图像图片中，并且向被去除了块失真的重构图像图片应用维纳滤波器。特别是在平坦区域中，对于解块滤波器单元，注入的伪随机噪声可使得阶梯伪影减轻。特别是在平坦区域中，对于维纳滤波器，可使得轮廓伪影减轻。因此，可高效率地减轻展开帧中的阶梯和轮廓伪影。

第四实施例

图5是示出根据本发明的第四实施例的框图，其示出了一种视频解码设备，其中，将伪随机噪声注入到块失真去除前的重构图像图片中并且向块失真去除后的重构图像图片应用维纳滤波器。根据本实施例的视频解码设备对应于根据第二实施例的视频编码设备。

如图5中所示，根据本实施例的视频解码设备除了熵解码器201、逆量化单元202、逆频率变换单元203、图片缓冲器204、解块滤波器单元205、解码图片缓冲器206、内预测单元207、帧间预测单元208、解码器控制单元209和开关200以外，还包括噪声注入器210和维纳滤波器211。

根据本实施例的视频解码设备与图4中所示的根据第三实施例的视频解码设备的不同之处在于，被解块滤波器单元205去除了块失真的重构图像图片被注入从噪声注入器210提供的伪随机噪声，并被提供给维纳滤波器211。

熵解码器201对比特流进行熵解码并且将关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引提供给逆量化单元202和解码器控制单元209。复用在比特流上的滤波器系数也被提供给解码器控制单元209。

内预测单元207对于帧内MB，基于经由解码器控制单元209提供来的经熵解码的内预测模式和内预测方向，利用与当前解码的帧具有相同显示时刻并被存储在图片缓冲器204中的重构图像来生成内预测信号，并将其提供给开关200。

帧间预测单元208对于帧间MB，基于经由解码器控制单元209提供来的经熵解码的帧间预测模式、帧间预测方向和运动向量，利用与当前解码的帧具有不同显示时刻并被存储在解码图片缓冲器206中的参考图像来生成帧间预测信号，并将其提供给开关200。

解码器控制单元209基于经熵解码的关于预测信号的信息(内MB或间MB)来控制开关200，并且提供内预测信号或帧间预测信号作为预测信号。来自熵解码器201的滤波器系数被提供给维纳滤波器单元211。

逆量化单元202和逆变换单元203对从熵解码器201提供来的量化索引进行逆量化以用于后续编码，并且还对其执行逆频率变换以使其返回到原始空间域。即，生成重构预测误差图像块。

图片缓冲器204中存储预测信号与重构预测误差图像块相加的重构图像块，直到当前帧中包括的所有MB都被编码为止。

与第一实施例类似，噪声注入器113生成伪随机噪声n(i)。

与第一实施例类似，图片缓冲器204和解块滤波器单元205之间的加法器将伪随机噪声注入到重构图像图片中。

解块滤波器单元205从被注入了噪声的重构图像图片中去除块失真。即，生成块失真去除重构图像图片。

与第一实施例类似，维纳滤波器211向被去除了块失真的重构图像图片应用从解码器控制单元209提供来的维纳滤波器h。

解码图片缓冲器206中存储应用维纳滤波器后的块失真去除图像图片作为参考图像图片。参考图像图片在适当的显示定时作为展开帧被输出。

根据本实施例的视频解码设备通过上述处理展开比特流。

根据本实施例的视频解码设备将伪随机噪声注入到被去除了块失真的重构图像图片中，并且向被去除了块失真的重构图像图片应用维纳滤波器。特别是在平坦区域中，对于维纳滤波器，注入的伪随机噪声可使得阶梯伪影减轻。因此，可高效率地减轻展开帧中的阶梯和轮廓伪影。

下面将描述其他实施例。考虑了利用像素值的变动的其他实施例。

轮廓和阶梯伪影在像素值的变动较小的平坦图像区域中倾向于较明显。可以考虑一种实施例，其中，着眼于该倾向，噪声注入器计算重构图像中的像素值的变动并且基于计算出的像素值的变动的量值来确定伪随机噪声注入位置。像素值的变动被用于注入适当量的伪随机噪声，从而降低了对于轮廓和阶梯伪影的人类视觉敏感度。

例如，噪声注入器对于重构图像图片中的每个位置(i，j){0≤i≤width-1，0≤j≤height-1}处的像素x_ij，按照公式(8)来计算周边像素值(x_i+m，j+n{-w≤m≤w，-h≤n≤h})的变动pV_i，j。

[式3]

${\mathrm{pV}}_{i,j}=\underset{n=-h}{\overset{h}{\mathrm{\Σ}}}\underset{m=-w}{\overset{w}{\mathrm{\Σ}}}\left\{\right|x_{i+m,j+n}-x_{i+m+1,j+n}|+|x_{i+m,j+n}-x_{i+m,j+n+1}\left|\right\}...\left(8\right)$

基于公式(9)，伪随机噪声n_i，j仅被注入到pV_i，j小于预定阈值th的位置处的像素x_ij中。

[式4]

当用于基于像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第一至第四实施例的视频编码设备和视频解码设备时，视频编码设备的结构如图6或图7中所示，并且视频解码设备的结构如图8或图9中所示。

即，如图6和图7中所示，在视频编码设备中，噪声注入器113输入存储在图片缓冲器107中的参考图像图片(块失真去除图像图片)并且计算重构图像中的像素值的变动。如图8和图9中所示，在视频解码设备中，噪声注入器210输入存储在图片缓冲器204中的参考图像图片(块失真去除图像图片)并且计算重构图像中的像素值的变动。

图6和图7中所示的视频编码设备使用块失真去除前的重构图像的像素值的变动，而图8和图9中所示的视频编码设备和视频解码设备使用块失真去除后的重构图像中的像素值的变动。图8和图9中所示的视频编码设备和视频解码设备可使用块失真去除前的重构图像的像素值的变动，但像素值的变动受块失真的影响。

取代公式(8)所表述的像素值的变动，可以使用诸如周边像素值的分散或者周边像素值的最大像素值和最小像素值之间的差异之类的用于检测平坦图像区域的图像度量。

可以考虑使用展开信息的其他实施例。

在噪声注入器计算重构图像的像素值的变动并且基于计算出的像素值的变动的量值来确定伪随机噪声注入位置的实施例中，依据计算出的变动，视频编码和视频解码的计算效率可降低。

可以考虑一种实施例，其中，根据与重构图像块相关联的展开信息估计块内或块边缘上的重构图像中的像素值的变动，并且基于所估计的像素值的变动的量值来确定伪随机噪声注入位置或伪随机噪声注入候选位置。伪随机噪声注入候选位置被假定为基于算计出的重构图像中的像素值的变动而被确定为伪随机噪声注入位置的像素位置。

例如，噪声注入器利用作为与重构图像图片的图像相关联的展开信息的关于预测信号的信息、关于整数DCT的基底大小的信息和有意义的交流(AC)量化索引来估计变动。利用该结构，无需比较重构图像中的所有像素值并计算像素值的变动，就可高效率地减轻轮廓和阶梯伪影。

当用于估计变动的噪声注入器被应用到根据第一至第四实施例的视频编码设备和视频解码设备时，视频编码设备的结构如图10或图11中所示，并且视频解码设备的结构如图12或图13中所示。

即，如图10和图11中所示，在视频编码设备中，噪声注入器113输入存储在图片缓冲器107中的参考图像图片(块失真去除图像图片)，输入要被输入到熵编码器104中的关于所选预测信号的信息、整数DCT的基底大小和量化索引，并且估计重构图像中的像素值的变动。如图12和图13中所示，在视频解码设备中，噪声注入器210输入存储在图片缓冲器204中的参考图像图片(块失真去除图像图片)，对从熵解码器201输出的比特流进行熵解码，输入关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引，并且估计重构图像中的像素值的变动。

视频编码设备和视频解码设备可估计符合平坦预测信号的预测类型、较大的整数DCT的基底大小、较小数目的有意义的AC量化索引中的任何一项以具有较小的像素值变动的重构图像，并且可基于估计结果来确定伪随机噪声注入位置或伪随机噪声注入候选位置。

平坦预测信号的预测类型包括DC(参见图14和图15(b)中的“2”)、水平(参见图14和图15(b)中的“1”)和垂直(参见图14和图15(B)中的“0”)内预测。

DC、水平和垂直内预测的重构图像中的像素值的变动较小这个估计是基于如下事实的：即，对于DC、水平和垂直内预测方向上的预测信号的阿达玛变换，有意义的转换系数仅对特定成分生成，如非专利文献6中所述。具体而言，对于DC内预测方向、水平内预测方向和垂直内预测方向分别是仅DC有意义的转换系数、仅DC和垂直成分AC有意义的转换系数和仅DC和水平成分AC有意义的转换系数。

仅对特定成分发生有意义的转换系数表明，在DC内预测方向上图像的变动是零(即预测信号平坦)，在水平内预测方向上图像在水平方向上的变动是零(即预测信号在水平方向上平坦)，并且在垂直内预测方向上图像在垂直方向上的变动是零(即预测信号在垂直方向上平坦)。

由于仅对特定成分有意义的转换系数和平坦预测信号之间的关系不仅对阿达玛变换成立，而且也对整数DCT成立，所以可以估计基于DC、水平和垂直内预测的重构图像中的像素值的变动较小。

基于较大的整数DCT的基底大小的重构图像中的像素值的变动较小这个估计是基于如下事实的：即，输入MB越平坦，也就是变动越小，就选择越大的块大小。

具有有意义的AC量化索引的数目较小的样式的重构图像中的像素值的变动较小这个估计是基于如下事实的：整数DCT中的AC对应于图像的变动。由于变动在高频成分AC中比在低频成分AC中更大，所以可以估计具有有意义的高频成分中的AC量化索引的数目较小的样式的重构图像中的像素值的变动较小(有意义的AC量化索引的数目较小的样式可使用仅对预定的低频成分存在有意义的AC量化索引的样式或者对于所有频率成分粗疏存在有意义的AC量化索引的样式)。

从上述可见，基于以下各项的任何组合或全部，可以估计重构图像的像素值的变动并且可以确定伪随机噪声注入位置或伪随机噪声注入候选位置：平坦预测信号的预测类型、较大的整数DCT的基底大小、以及较小数目的有意义的AC量化索引。

噪声注入器可基于重构图像块的展开信息来确定伪随机噪声注入候选位置并且对于注入候选位置可基于重构图像图片的图像的变动来确定伪随机噪声注入候选位置。

也可考虑一实施例，其中，对于展开信息利用量化参数，并且对于具有小量化步长的重构图像将伪随机噪声调整得较小以不注入伪随机噪声。利用该结构，在具有小量化步长的高比特率编码中，可以减轻由于注入的伪随机噪声引起的不利影响。

可以考虑其他实施例，其中使用具有偏移(offset)系数的维纳滤波器。

即，在根据每个实施例的维纳滤波器中，考虑了一种使用具有偏移系数的维纳滤波器以便校正直流(DC)增益的实现方式。

具有偏移的模型的均方误差E[e²]和Wiener-hops式在公式(10)和公式(11)中表述。公式(11)中的E_x(m)在公式(12)中表述。

[式5]

$E\left[e^2\right]=\underset{\mathrm{\τ}}{\overset{n-1}{\mathrm{\Σ}}}\underset{\mathrm{\θ}}{\overset{n-1}{\mathrm{\Σ}}}h\left(\mathrm{\τ}\right)h\left(\mathrm{\θ}\right)R_{\mathrm{xx}}(\mathrm{\τ}-\mathrm{\θ})+{\mathrm{offset}}^2-E\left[s^2\right]$

$+2\·\mathrm{offset}\underset{\mathrm{\τ}}{\overset{n-1}{\mathrm{\Σ}}}h\left(\mathrm{\τ}\right)E_x\left(\mathrm{\τ}\right)-2\·\mathrm{offsetE}\left[s\right]-2\underset{\mathrm{\τ}}{\overset{n-1}{\mathrm{\Σ}}}\left(\mathrm{\τ}\right)R_{\mathrm{sx}}\left(\mathrm{\τ}\right)...\left(10\right)$

[式6]

[式7]

$E_x\left(m\right)=\frac{1}{N}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}x(n+m)...\left(12\right)$

基于公式(11)中表述的Wiener-hops式，利用具有h(τ){0≤τ≤n-1}和偏移的滤波器系数的维纳滤波器，可以获得校正由于注入的伪随机噪声引起的DC增益的偏移的效果。还可考虑一种实施例，其中，具有偏移的平均值的随机噪声(具有均匀分布、高斯分布或拉普拉斯分布的随机噪声)取代由公式(11)获得的偏移被用作所有像素位置的偏移值。在使用随机噪声的实施例中，即使当噪声注入器不将伪随机噪声注入到图像中时，维纳滤波器也可代为注入伪随机噪声。

每个实施例可用硬件构成，但也可用计算机程序来实现。

图16中所示的信息处理系统包括处理器1001、程序存储器1002、用于在其中存储视频数据的存储介质1003、以及用于在其中存储比特流的存储介质1004。存储介质1003和存储介质1004可以是分开的存储介质或者可以是由同一存储介质构成的一个存储区域。诸如硬盘之类的磁存储介质可用于这些存储介质。

在图16中所示的信息处理系统中，程序存储器1002中存储用于实现图1至5(除了图2以外)、图6至9和图10至13中所示的各个块(除了缓冲器块以外)的功能的程序。处理器1001根据程序存储器1002中存储的程序执行处理以实现图1至5(除了图2以外)、图6至9和图10至13中所示的视频编码设备或视频解码设备的功能。

图17是示出根据本发明的视频编码设备的主要结构的框图。如图17中所示，根据本发明的视频编码设备包括：预测装置11，用于计算对图像块的内预测信号或帧间预测信号；逆量化装置12，用于对图像块的量化索引进行逆量化以获得量化代表值；逆频率变换装置13，用于对由逆量化装置12获得的量化代表值进行逆变换以获得重构预测误差图像块；重构装置14，用于将内预测信号或帧间预测信号加到由逆频率变换装置13获得的重构预测误差图像块以获得重构图像块；重构图像存储装置15，用于存储由重构装置14获得的重构图像块作为重构图像图片；噪声注入装置16，用于将伪随机噪声注入到重构图像图片中；维纳滤波器装置17，用于向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及参考图像存储装置18，用于存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

在每个实施例中，还公开了一种视频编码设备，其中噪声注入装置计算重构图像中的像素值的变动并且基于计算出的像素值的变动的量值来确定伪随机噪声注入位置。

还公开了一种视频编码设备，其包括用于基于与重构图像块相关联的展开信息来估计块内或块边缘上的重构图像中的像素值的变动并且基于所估计的像素值的变动的量值来确定伪随机噪声注入候选位置的装置。

在每个实施例中，还公开了一种视频编码设备，其包括复位装置(例如由编码器控制单元112实现)，用于按视频编码的预定单位来复位噪声注入装置。

图18是示出根据本发明的视频解码设备的主要结构的框图。如图18中所示，根据本发明的视频解码设备包括：熵解码装置20，用于对比特串进行熵解码以计算量化索引；预测装置21，用于计算对图像块的内预测信号或帧间预测信号；逆量化装置22，用于对量化索引进行逆量化以获得量化代表值；逆频率变换装置23，用于对由逆量化装置22获得的量化代表值进行逆变换以获得重构预测误差图像块；重构装置24，用于将内预测信号或帧间预测信号加到由逆频率变换装置23获得的重构预测误差图像块以获得重构图像块；重构图像存储装置25，用于存储由重构装置24获得的重构图像块作为重构图像图片；噪声注入装置26，用于将伪随机噪声注入到重构图像图片中；维纳滤波器装置27，用于向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及参考图像装置28，用于存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

在每个实施例中，还公开了一种视频解码设备，其中，噪声注入装置计算重构图像中的像素值的变动并且基于计算出的像素值的变动的量值来确定伪随机噪声注入位置。

还公开了一种视频解码设备，其包括用于基于与重构图像块相关联的展开信息来估计块内或块边缘上的重构图像中的像素值的变动并且基于所估计的像素值的变动的量值来确定伪随机噪声注入候选位置的装置。

在每个实施例中，还公开了一种视频解码设备，其包括复位装置(例如由解码器控制单元209实现)，用于按视频解码的预定单位来复位噪声注入装置。

图19是示出根据本发明的视频编码方法的主要步骤的流程图。如图19中所示，在根据本发明的视频编码方法中，计算对图像块的内预测信号或帧间预测信号(步骤S11)，对图像块的量化索引进行逆量化以获得量化代表值(步骤S12)，对所获得的量化代表值进行逆变换以获得重构预测误差图像块(步骤S13)，将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块(步骤S14)，在重构图像存储装置中存储所获得的重构图像块作为重构图像图片(步骤815)，将伪随机噪声注入到重构图像图片中(步骤S16)，向被注入了伪随机噪声的重构图像图片应用维纳滤波器(步骤S17)，以及在参考图像存储装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片(步骤S18)。

图20是示出根据本发明的视频解码方法的主要步骤的流程图。如图20中所示，在根据本发明的视频解码方法中，对比特串进行熵解码以计算量化索引(步骤S20)，计算对图像块的内预测信号或帧间预测信号(步骤S21)，对量化索引进行逆量化以获得量化代表值(步骤S22)，对所获得的量化代表值进行逆变换以获得重构预测误差图像块(步骤S23)，将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块(步骤S24)，在重构图像存储装置中存储由重构装置获得的重构图像块作为重构图像图片(步骤S25)，将伪随机噪声注入到重构图像图片中(步骤S26)，向被注入了伪随机噪声的重构图像图片应用维纳滤波器(步骤S27)，以及在参考图像装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片(步骤S28)。

以上已参考实施例和示例描述了本发明，但本发明并不限于这些实施例和示例。本领域技术人员将会理解，在本发明的范围内，可以对本发明的结构和细节进行各种修改。

本申请基于2009年11月30日提交的日本专利申请No.2009-272179要求优先权，这里通过引用将该日本专利申请的公开内容全部并入。

标号列表

11：预测装置

12：逆量化装置

13：逆频率变换装置

14：重构装置

15：重构图像存储装置

16：噪声注入装置

17：维纳滤波器装置

18：参考图像存储装置

20：熵解码装置

21：预测装置

22：逆量化装置

23：逆频率变换装置

24：重构装置

25：重构图像存储装置

26：噪声注入装置

27：维纳滤波器装置

28：参考图像存储装置

100：开关

101：MB缓冲器

102：频率变换单元

103：量化单元

104：熵编码器

105：逆量化单元

106：逆频率变换单元

107：图片缓冲器

108：解块滤波器单元

109：解码图片缓冲器

110：内预测单元

111：帧间预测单元

112：编码器控制单元

113：噪声注入器

114：维纳滤波器单元

200：开关

201：熵解码器单元

202：逆量化单元

203：逆频率变换单元

204：图片缓冲器

205：解块滤波器单元

206：解码图片缓冲器

207：内预测单元

208：帧间预测单元

209：解码器控制单元

210：噪声注入器

211：维纳滤波器单元

1001：处理器

1002：程序存储器

1003：存储介质

1004：存储介质

Claims (45)

1.一种视频编码设备，包括：

预测装置，用于计算对图像块的内预测信号或帧间预测信号；

逆量化装置，用于对所述图像块的量化索引进行逆量化以获得量化代表值；

逆频率变换装置，用于对由所述逆量化装置获得的量化代表值进行逆变换以获得重构预测误差图像块；

重构装置，用于将内预测信号或帧间预测信号加到由所述逆频率变换装置获得的重构预测误差图像块以获得重构图像块；

重构图像存储装置，用于在其中存储由所述重构装置获得的重构图像块作为重构图像图片；

噪声注入装置，用于将伪随机噪声注入到所述重构图像图片中；

维纳滤波器装置，用于向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及

参考图像存储装置，用于在其中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

2.根据权利要求1所述的视频编码设备，还包括：

预测误差计算装置，用于从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块；

频率变换装置，用于对由所述预测误差计算装置获得的预测误差图像块进行变换以获得转换系数；

量化索引计算装置，用于对由所述频率变换装置获得的转换系数进行量化以获得量化索引；以及

熵编码装置，用于对由所述量化索引计算装置获得的量化索引进行熵编码以输出比特串，

其中，所述逆量化装置对由所述量化索引计算装置获得的量化索引进行逆量化。

3.根据权利要求1所述的视频编码设备，还包括：

预测误差计算装置，用于从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块；

频率变换装置，用于对由所述预测误差计算装置获得的预测误差图像块进行变换以获得转换系数；

量化索引计算装置，用于对由所述频率变换装置获得的转换系数进行量化以获得量化索引；以及

熵编码装置，用于对由所述量化索引计算装置获得的量化索引进行熵编码以输出比特串；

其中，所述逆量化装置对由所述量化索引计算装置获得的量化索引进行逆量化；

所述视频编码设备还包括块失真去除装置，用于去除重构图像的块失真；并且

其中，所述噪声注入装置将伪随机噪声注入到被去除了块失真的重构图像图片中。

4.根据权利要求1至3的任何一项所述的视频编码设备，其中，所述噪声注入装置基于重构图像图片的图像的变动来确定伪随机噪声注入位置。

5.根据权利要求1至3的任何一项所述的视频编码设备，其中，所述噪声注入装置基于重构图像块的展开信息来确定伪随机噪声注入位置。

6.根据权利要求1至3的任何一项所述的视频编码设备，其中，所述噪声注入装置基于重构图像块的展开信息来确定伪随机噪声注入候选位置并且对于注入候选位置基于重构图像图片的图像的变动来确定伪随机噪声注入候选位置。

7.根据权利要求1至6的任何一项所述的视频编码设备，还包括复位装置，用于按视频编码的预定单位来复位所述噪声注入装置。

8.根据权利要求1至7的任何一项所述的视频编码设备，其中，所述噪声注入装置注入根据量化步长调整了的伪随机噪声。

9.一种视频解码设备，包括：

熵解码装置，用于对比特串进行熵解码以计算量化索引；

预测装置，用于计算对图像块的内预测信号或帧间预测信号；

逆量化装置，用于对所述量化索引进行逆量化以获得量化代表值；

逆频率变换装置，用于对由所述逆量化装置获得的量化代表值进行逆变换以获得重构预测误差图像块；

重构装置，用于将内预测信号或帧间预测信号加到由所述逆频率变换装置获得的重构预测误差图像块以获得重构图像块；

重构图像存储装置，用于存储由所述重构装置获得的重构图像块作为重构图像图片；

噪声注入装置，用于将伪随机噪声注入到所述重构图像图片中；

维纳滤波器装置，用于向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及

参考图像存储装置，用于存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

10.根据权利要求9所述的视频解码设备，还包括：

块失真去除装置，用于去除重构图像图片的块失真，

其中，所述噪声注入装置将伪随机噪声注入到被去除了块失真的重构图像图片中。

11.根据权利要求9或10所述的视频解码设备，其中，所述噪声注入装置基于重构图像图片的图像的变动来确定伪随机噪声注入位置。

12.根据权利要求9或10所述的视频解码设备，其中，所述噪声注入装置基于重构图像块的展开信息来确定伪随机噪声注入位置。

13.根据权利要求9或10所述的视频解码设备，其中，所述噪声注入装置基于重构图像块的展开信息来确定伪随机噪声注入候选位置并且对于注入候选位置基于重构图像图片的图像的变动来确定伪随机噪声注入候选位置。

14.根据权利要求9至13的任何一项所述的视频解码设备，还包括复位装置，用于按视频解码的预定单位来复位所述噪声注入装置。

15.根据权利要求9至14的任何一项所述的视频解码设备，其中，所述噪声注入装置注入根据量化步长调整了的伪随机噪声。

16.一种视频编码方法，包括：

计算对图像块的内预测信号或帧间预测信号；

对所述图像块的量化索引进行逆量化以获得量化代表值；

对所获得的量化代表值进行逆变换以获得重构预测误差图像块；

将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块；

在重构图像存储装置中存储所获得的重构图像块作为重构图像图片；

将伪随机噪声注入到所述重构图像图片中；

向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及

在参考图像存储装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

17.根据权利要求16所述的视频编码方法，还包括：

从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块；

对所述预测误差图像块进行变换以获得转换系数；

执行对所述转换系数进行量化以获得量化索引的量化索引计算处理；

对由所述量化索引计算处理获得的量化索引进行熵编码以输出比特串；以及

对由所述量化索引计算处理获得的量化索引进行逆量化。

18.根据权利要求16所述的视频编码方法，还包括：

从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块；

对所述预测误差图像块进行变换以获得转换系数；

执行对所述转换系数进行量化以计算量化索引的量化索引计算处理；

对由所述量化索引计算处理获得的量化索引进行熵编码以输出比特串；

对由所述量化索引计算处理获得的量化索引进行逆量化；

去除重构图像块的块失真；以及

将伪随机噪声注入到被去除了块失真的重构图像图片中。

19.根据权利要求16至18的任何一项所述的视频编码方法，还包括：

基于重构图像图片的图像的变动来确定伪随机噪声注入位置。

20.根据权利要求16至18的任何一项所述的视频编码方法，还包括：

基于重构图像块的展开信息来确定伪随机噪声注入位置。

21.根据权利要求16至18的任何一项所述的视频编码方法，还包括：

基于重构图像块的展开信息来确定伪随机噪声注入候选位置；以及

对于注入候选位置基于重构图像图片的图像的变动来确定伪随机噪声注入候选位置。

22.根据权利要求16至18的任何一项所述的视频编码方法，还包括：

生成按视频编码的预定单位复位的伪随机噪声作为伪随机噪声。

23.根据权利要求16至22的任何一项所述的视频编码方法，还包括：

注入根据量化步长调整了的伪随机噪声。

24.一种视频解码方法，包括：

对比特串进行熵解码以计算量化索引；

计算对图像块的内预测信号或帧间预测信号；

对所述量化索引进行逆量化以获得量化代表值；

对所获得的量化代表值进行逆变换以获得重构预测误差图像块；

将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块；

在重构图像存储装置中存储所获得的重构图像块作为重构图像图片；

将伪随机噪声注入到所述重构图像图片中；

向被注入了伪随机噪声的重构图像图片应用维纳滤波器；以及

在参考图像存储装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片。

25.根据权利要求24所述的视频解码方法，还包括：

去除重构图像图片的块失真；以及

将伪随机噪声注入到被去除了块失真的重构图像图片中。

26.根据权利要求24或25所述的视频解码方法，还包括：

基于重构图像图片的图像的变动来确定伪随机噪声注入位置。

27.根据权利要求24或25所述的视频解码方法，还包括：

基于重构图像块的展开信息来确定伪随机噪声注入位置。

28.根据权利要求24或25所述的视频解码方法，还包括：

基于重构图像块的展开信息来确定伪随机噪声注入候选位置，并且对于注入候选位置基于重构图像图片的图像的变动来确定伪随机噪声注入候选位置。

29.根据权利要求24至28的任何一项所述的视频解码方法，还包括：

生成按视频解码的预定单位复位的伪随机噪声作为伪随机噪声。

30.根据权利要求24至29的任何一项所述的视频解码方法，还包括：

注入根据量化步长调整了的伪随机噪声。

31.一种视频编码程序，用于使得计算机执行：

计算对图像块的内预测信号或帧间预测信号的处理；

对所述图像块的量化索引进行逆量化以获得量化代表值的处理；

对所获得的量化代表值进行逆变换以获得重构预测误差图像块的处理；

将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块的处理；

在重构图像存储装置中存储所获得的重构图像块作为重构图像图片的处理；

将伪随机噪声注入到所述重构图像图片中的处理；

向被注入了伪随机噪声的重构图像图片应用维纳滤波器的处理；以及

在参考图像存储装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片的处理。

32.根据权利要求31所述的视频编码程序，用于使得计算机执行：

从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块的处理；

对所述预测误差图像块进行变换以获得转换系数的处理；

对转换系数进行量化以获得量化索引的量化索引计算处理；

对由所述量化索引计算处理获得的量化索引进行熵编码以输出比特串的量化处理；以及

对由所述量化索引计算处理获得的量化索引进行逆量化的处理。

33.根据权利要求31所述的视频编码程序，用于使得计算机执行：

从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块的处理；

对所述预测误差图像块进行变换以获得转换系数的处理；

对所述转换系数进行量化以计算量化索引的量化索引计算处理；

对由所述量化索引计算处理获得的量化索引进行熵编码以输出比特串的熵编码处理；

对由所述量化索引计算处理获得的量化索引进行逆量化的处理；

去除重构图像块的块失真的块失真去除处理；以及

将伪随机噪声注入到被去除了块失真的重构图像图片中的处理。

34.根据权利要求31至33的任何一项所述的视频编码程序，用于使得计算机执行基于重构图像图片的图像的变动来确定伪随机噪声注入位置的处理。

35.根据权利要求31至33的任何一项所述的视频编码程序，用于使得计算机执行基于重构图像块的展开信息来确定伪随机噪声注入位置的处理。

36.根据权利要求31至33的任何一项所述的视频编码程序，用于使得计算机执行基于重构图像块的展开信息来确定伪随机噪声注入候选位置并且对于注入候选位置基于重构图像图片的图像的变动来确定伪随机噪声注入候选位置的处理。

37.根据权利要求31至36的任何一项所述的视频编码程序，用于使得计算机执行生成按视频编码的预定单位复位的伪随机噪声作为伪随机噪声的处理。

38.根据权利要求31至37的任何一项所述的视频编码程序，用于使得计算机执行注入根据量化步长调整了的伪随机噪声。

39.一种视频解码程序，用于使得计算机执行：

对比特串进行熵解码以计算量化索引的处理；

计算对图像块的内预测信号或帧间预测信号的处理；

对所述量化索引进行逆量化以获得量化代表值的处理；

对所获得的量化代表值进行逆变换以获得重构预测误差图像块的处理：

将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块的处理；

在重构图像存储装置中存储所获得的重构图像块作为重构图像图片的处理；

将伪随机噪声注入到所述重构图像图片中的处理；

向被注入了伪随机噪声的重构图像图片应用维纳滤波器的处理；以及

在参考图像存储装置中存储被应用了维纳滤波器的重构图像图片作为帧间预测的参考图像图片的处理。

40.根据权利要求39所述的视频解码程序，用于使得计算机执行：

去除重构图像图片的块失真的处理；以及

将伪随机噪声注入到被去除了块失真的重构图像图片中的处理。

41.根据权利要求39或40所述的视频解码程序，用于使得计算机执行基于重构图像图片的图像的变动来确定伪随机噪声注入位置的处理。

42.根据权利要求39或40所述的视频解码程序，用于使得计算机执行基于重构图像块的展开信息来确定伪随机噪声注入位置的处理。

43.根据权利要求39或40所述的视频解码程序，用于使得计算机执行基于重构图像块的展开信息来确定伪随机噪声注入候选位置并且对于注入候选位置基于重构图像图片的图像的变动来确定伪随机噪声注入候选位置的处理。

44.根据权利要求39至43的任何一项所述的视频解码程序，用于使得计算机执行生成按视频解码的预定单位复位的伪随机噪声作为伪随机噪声的处理。

45.根据权利要求39至44的任何一项所述的视频解码程序，用于使得计算机执行注入根据量化步长调整了的伪随机噪声的处理。

Images