具体实施方式
第一实施例
图1是示出本发明的第一实施例的框图,其示出了用于基于当前展开的重构图像块的信息来确定伪随机噪声注入候选位置并且将伪随机噪声注入到重构预测误差图像块中的视频编码设备。
如图1中所示,根据本实施例的视频编码设备除了MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测单元110、帧间预测单元111、编码器控制单元112和开关100以外,还包括噪声注入器113。
根据本实施例的视频编码设备与图28中所示的一般视频编码设备的不同之处在于提供了噪声注入器113并且噪声注入器113的输出被提供给逆频率变换单元106。在以下描述中,将特别详细描述作为根据本实施例的视频编码设备的特征的噪声注入器113和逆频率变换单元106的操作。
MB缓冲器101中存储输入图像帧中的要编码的MB的像素值。
从提供自MB缓冲器101的输入MB中减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。
从提供自MB缓冲器101的输入MB中减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。
内预测单元110利用存储在图片缓冲器107中的与当前帧具有相同显示时刻的重构图像生成内预测信号。关于内预测的信息包括指示内预测的块大小的内预测模式,以及指示其方向的内预测方向。
对于内预测,如非专利文献1的8.3.1至8.3.3中所述,采用了Intra_4×4、Intra_8×8和Intra_16×16的内预测模式的三种块大小。
参考图2(a)和2(c),可以看出Intra_4×4和Intra_8×8分别用于具有4×4块大小和8×8块大小的内预测。圆圈(O)指示内预测的参考像素,即存储在图片缓冲器107中的重构图像。
对于具有Intra_4×4的内预测,以重构图像的周边像素作为参考像素,参考像素被在图2(b)中所示的九个方向上填充(外插),从而形成预测信号。对于具有Intra_8×8的内预测,以被紧挨图2(c)中所示的右箭头下方所示的低通滤波器(1/2、1/4、1/2)平滑的重构图像的周边像素作为参考图像,参考像素在图2(b)中所示的九个方向上被外插,从而形成预测信号。
参考图3(a),可以看出Intra_16×16是具有16×16块大小的内预测。与图2中所示的示例类似,图3中的圆圈(O)指示内预测的参考像素,即存储在图片缓冲器107中的重构图像。对于具有Intra_16×16的内预测,以重构图像的周边像素作为参考像素,参考像素被在图3(b)中所示的四个方向上外插,从而形成预测信号。
内预测的块大小在下文中将被称为内预测模式。外插的方向将被称为内预测方向。
如非专利文献4中所示,仅分别对DC(参见图2和图3(b)中的“2”)、水平(参见图2和图3(b)中的“1”)和垂直(参见图2和图3(b)中的“0”)的内预测方向上的预测信号的阿达玛变换的特定成分生成有意义的转换系数。具体而言,对于DC内预测方向、水平内预测方向和垂直内预测方向分别是仅DC有意义的转换系数、仅DC和垂直成分AC有意义的转换系数和仅DC和水平成分AC有意义的转换系数。
仅对特定成分发生有意义的转换系数表明,在DC内预测方向上图像的变动是零(即预测信号平坦),在水平内预测方向上图像在水平方向上的变动是零(即预测信号在水平方向上平坦),并且在垂直内预测方向上图像在垂直方向上的变动是零(即预测信号在垂直方向上平坦)。
从图4的说明图中所示的具有8×8块大小的示例性DCT基底清楚可见,对于内预测方向上的预测信号的整数DCT,在DC内预测方向上图像的变动也是零,在水平内预测方向上图像在水平方向上的变动也是零,并且在垂直内预测方向上图像在垂直方向上的变动也是零。从图5和图6分别所示的具有4×4块大小的DCT基底和具有16×16块大小的DCT基底可以看出,与具有8×8块大小的DCT基底类似,对于块大小4×4或16×16,在DC内预测方向上图像的变动也是零,在水平内预测方向上图像在水平方向上的变动也是零,并且在垂直内预测方向上图像在垂直方向上的变动也是零。
从上述可以看出,DC、水平、垂直和平面(Plane)(参见图3(b)中的“3”)的内预测方向是平坦预测的类型。即,可以看出,依据内预测方向,可以估计重构图像的变动的量值。
编码器控制单元112把作为各个内预测模式及其内预测方向的组合的预测信号与输入MB相比较,并且采取预测误差图像块的能量低的预测信号作为内预测信号。
帧间预测单元111利用与当前帧具有不同显示时刻并被存储在解码图片缓冲器109中的参考图像来生成帧间预测信号。关于帧间预测的信息可以是关于参考图片索引或运动向量的信息。
编码器控制单元112把内预测信号和帧间预测信号与存储在MB缓冲器101中的输入MB相比较,选择预测误差图像块的能量低的预测信号,并且控制开关100。关于所选预测信号的信息被提供给熵编码器104。
当预测误差图像块的能量低的预测信号是内预测信号时,关于所选预测信号的信息包括内预测模式和内预测方向。
编码器控制单元112基于输入MB或预测误差图像块来选择适用于预测误差图像块的频率变换的整数DCT的基底块大小。所选的整数DCT的基底大小被提供给频率变换单元102和熵编码器104。一般地,输入MB或预测误差图像块的像素值越平坦,就选择越大的基底块大小。换言之,在具有较大的基底块大小的重构图像块中,重构图像较平坦。当预测误差图像块的能量低的预测信号是内预测信号时,所选的整数DCT的基底大小与内预测模式中的块大小相同。
编码器控制单元112监视从熵编码器104输出的比特流中的比特的数目以便按目标比特数目或更少的比特数目对帧编码。当输出比特流中的比特的数目大于目标比特数目时,输出用于增大量化步长的量化参数,相反,当输出比特流中的比特的数目小于目标比特数目时,输出用于减小量化步长的量化参数。这样,输出比特流被编码到接近目标比特数目。
频率变换单元102按所选的整数DCT的基底大小对预测误差图像块进行频率变换,并将其从空间域变换到频率域。
量化单元103按与从编码器控制单元112提供来的量化参数相对应的量化步长对转换系数进行量化。
从图4中例示的具有8×8块大小的DCT基底可以看出,关注了以下情况,即AC基底是越高频率的(基底在右箭头或下箭头方向上),变动就越大。可以看出,在具有有意义的AC量化索引的数目较小的样式的重构图像中,估计像素值的变动较小。即,可以看出,对于具有有意义的AC量化索引的数目较小的样式的预测误差图像块,其重构图像平坦。
熵编码器104对关于所选预测信号的信息、整数DCT的基底大小和量化索引进行熵编码,并将其作为比特串或比特流输出。
逆量化单元105对从量化单元103提供来的量化索引进行逆量化以用于后续编码。经逆量化的量化索引被称为量化代表值。
噪声注入器113对于提供给熵编码器104的预测误差图像块,监视关于预测信号的信息、整数DCT的基底大小和量化索引。
噪声注入器113基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不比较重构图像中的所有像素值的情况下估计像素值的变动,并且确定伪随机噪声注入候选位置。例如,对于具有如下样式的预测误差图像块,相应的重构图像块中的像素值的变动较小:该样式具有平坦的预测类型、较大的整数DCT的基底大小以及较小数目的有意义的AC量化索引。从而,这种预测误差图像块被确定为伪随机噪声注入候选位置,而其他的则被确定为伪随机噪声非注入候选位置。
与平坦预测类型的预测误差图像块相对应的重构图像块、与整数DCT的基底大小较大(比预定大小更大的基底大小)的预测误差图像块相对应的重构图像块、与具有有意义的AC量化索引的数目较小的样式的预测误差图像块相对应的重构图像块、与平坦预测类型和整数DCT的基底大小较大的预测误差图像块相对应的重构图像块、与具有整数DCT的基底大小较大并且有意义的AC量化索引的数目较小的样式的预测误差图像块相对应的重构图像块、或者与具有平坦预测并且有意义的AC量化索引的数目较小的样式的预测误差图像块相对应的重构图像块可被估计为具有较小的像素值的变动(有意义的AC量化索引的数目较小的样式可使用仅对预定的低频成分存在有意义的AC量化索引的样式或者对于所有频率成分粗疏存在有意义的AC量化索引的样式)。
噪声注入器113对于伪随机噪声注入候选位置生成伪随机噪声n(i)。即,在本实施例中,伪随机噪声注入候选位置相当于伪随机噪声注入位置。伪随机噪声n(i)可例如按照公式(1)基于线性同余法来生成。
N(i)=(a×n(i-1)+b)%c (1)
其中a、b和c是用于确定伪随机噪声的周期的参数,并且假定a>0,b>0,a≤c并且b<c。x%y表示返回通过将x除以y获得的余数的处理。
噪声注入器113对于伪随机噪声非注入候选位置生成等于零的伪随机噪声。生成等于零的伪随机噪声表明伪随机噪声不被注入到预测误差图像块中。
逆变换单元106对量化代表值进行逆频率变换,在其中进一步注入从噪声注入器113提供来的伪随机噪声,并且使其返回到原始空间域。内预测模式的每个块大小的具体处理将在下文中描述。用于逆变换和逆量化的处理被综合在非专利文献1中描述的AVC中,从而将进行包括逆量化在内的说明。
首先将描述Intra_16×16的情况下的逆变换和逆量化。即,在Intra_16×16的情况下,将描述对量化代表值进行逆频率变换并随后从噪声注入器113注入伪随机噪声的操作。在本实施例中,假定如图7中所示,具有16×16块大小的整数DCT是以具有4×4块大小的整数DCT和具有4×4块大小的阿达玛变换的组合构成的。
Intra_16×16中的4×4DC块的逆频率变换由公式(2)定义,假定量化索引是L16={l1600…l1633}并且逆变换系数是F16={f1600…f1633}。
[式1]
Intra_16×16中的4×4DC块的逆量化由公式(3)定义,假定量化参数是qp并且逆量化的输出是dcYij。LevelScale(m,i,j)由公式(4)表述并且M由公式(5)表述。
[式2]
[式3]
[式4]
另外,逆量化的输出是如图4中所示的Intra_16×16中的4×4AC块的DC。稍后描述的4×4块逆变换/逆量化被应用到每个4×4AC块。
在Intra_16×16中的4×4AC块中,执行逆量化,然后应用逆变换。假定MB中的4×4块坐标是(i,j),量化索引是L={l00…l33},并且量化代表值是dij,则4×4AC块的逆量化由公式(6)定义。
[式5]
随后,假定逆变换系数是C={c00…c33},则4×4块的逆变换由公式(7)定义。
[式6]
如公式(8)中所表述的,逆变换系数C被添加以伪随机噪声N={n00…n33}(假定公式(1)中的n(i)被按适当的规则重排列)并且被正规化以获得重构预测误差图像块PD{pd00…pd33}。即,逆变换系数被返回到原始空间域。
pdij=(Cij+(nij%64)+32)>>6 (8)
如公式(8)中所示,加上除以64所获得的余数,以使得伪随机噪声的影响强度的绝对值是1个像素以下。假定伪随机噪声的影响强度的绝对值是1像素以下,以便能够限制由于注入的伪随机噪声引起的PSNR(Peak Signal to Noise Ratio,峰值信号噪声比)的降低。
下面将描述Intra_8×8的情况下的逆变换和逆量化。即,将描述在Intra_8×8的情况下对量化代表值进行逆频率变换并从噪声注入器113注入伪随机噪声的操作。
Intra_8×8中的逆量化由公式(9)定义,假定量化索引是L8={l800…l877}并且量化代表值是D8={d800…d877}。LevelScale8(m,i,j)由公式(10)表述并且M8由公式(11)表述。
[式7]
[式8]
[式9]
随后,假定逆变换系数是C={c00…c77},则Intra_8×8的逆变换由公式(12)定义。T8被表述为公式(13)
C8=T8tD8T8 (12)
[式10]
如公式(14)中所表述的,逆变换系数C被添加以伪随机噪声N={n00…n77}(假定公式(1)中的n(i)被按适当的规则重排列)并且被正规化以获得重构预测误差图像块PD{pd00…pd77}。即,逆变换系数被返回到原始空间域。
pdij=(c8ij+(nij%64)+32>>6 (14)
下面将描述Intra_4×4的情况下的逆变换和逆量化。即,将描述在Intra_4×4的情况下对量化代表值进行逆频率变换并从噪声注入器113注入伪随机噪声的操作。
假定量化索引是L={l00…l33}并且量化代表值是dij,Intra_4×4的逆量化由公式(15)定义。
[式11]
随后,假定逆变换系数是C={c00…c33},则4×4块的逆变换由公式(16)定义。
[式12]
如公式(17)中所表述的,逆变换系数C被添加以伪随机噪声N={n00…n33}并且被正规化以获得重构预测误差图像块PD{pd00…pd33}。即,逆变换系数被返回到原始空间域。
pdij=(cij+(nij%64)+32)>>6 (17)
图片缓冲器107中存储预测信号与重构预测误差图像块相加的重构图像块,直到当前帧中包括的所有MB都被编码为止。
解块滤波器单元108从图片缓冲器107中存储的重构图像图片中去除块失真。
解码图片缓冲器109中存储从解块滤波器108提供来的被去除了块失真的重构图像图片作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。
根据本实施例的视频编码设备通过上述处理生成比特流。
根据本实施例的视频编码设备在不比较重构图像图片中的所有像素值并分析像素值的变动的情况下通过基于展开时的信息估计重构图像中的像素值的变动的量值来确定用于高效率地减轻轮廓和阶梯伪影的伪随机噪声注入候选位置。从而,根据本实施例的视频编码设备可以高效率地减轻高分辨率视频中的轮廓和阶梯伪影。
第二实施例
图8是示出根据本发明的第二实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声不是注入到重构预测误差图像块中而是注入到重构图像块中的视频编码设备。
如图8中所示,根据本实施例的视频编码设备除了MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测单元110、帧间预测单元111、编码器控制单元112和开关100以外,还包括噪声注入器113。
本实施例与第一实施例的不同之处在于从噪声注入器113提供来的伪随机噪声被加到逆频率变换单元106的输出。然而,根据本实施例的视频编码设备中的各个单元的处理与图1中所示的根据第一实施例的视频编码设备中的各个单元的处理基本相同,从而将省略对各个单元的操作的说明。
第三实施例
图9是示出根据本发明的第三实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声注入到重构图像图片中的视频编码设备。
如图9中所示,根据本实施例的视频编码设备除了MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测单元110、帧间预测单元111、编码器控制单元112和开关100以外,还包括噪声注入器113。在本实施例中,从噪声注入器113输出的伪随机噪声被提供给解块滤波器单元108。
根据本实施例的视频编码设备与图28中所示的一般视频编码设备的不同之处在于提供了噪声注入器113并且噪声注入器113的输出被提供给解块滤波器单元108。从而,在以下描述中,将特别详细描述作为根据本实施例的视频编码设备的特征的解块滤波器单元108的操作。
MB缓冲器101中存储输入图像帧中的要编码的MB的像素值。
从提供自MB缓冲器101的输入MB中减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。
内预测单元110利用存储在图片缓冲器107中的与当前帧具有相同显示时刻的重构图像生成内预测信号。
帧间预测单元111利用与当前帧具有不同显示时刻并被存储在解码图片缓冲器109中的参考图像来生成帧间预测信号。
编码器控制单元112把内预测信号和帧间预测信号与MB缓冲器101中的输入MB相比较,选择预测误差图像块的能量低的预测信号,并且控制开关100。关于所选预测信号的信息被提供给熵编码器104。
当预测误差图像块的能量低的预测信号是内预测信号时,关于所选预测信号的信息包括内预测模式和内预测方向。
编码器控制单元112基于输入MB或预测误差图像块来选择适用于预测误差图像块的频率变换的整数DCT的基底块大小。所选的整数DCT的基底大小被提供给频率变换单元102和熵编码器104。当预测误差图像块的能量低的预测信号是内预测信号时,所选的整数DCT的基底大小是与内预测模式相同的块大小。
频率变换单元102按所选的整数DCT的基底大小对预测误差图像块进行频率变换并将其从空间域变换到频率域。
量化单元103按与从编码器控制单元112提供来的量化参数相对应的量化步长对转换系数进行量化。
熵编码器104对关于所选预测信号的信息、整数DCT的基底大小和量化索引进行熵编码,并将其作为比特串或比特流输出。
逆量化单元105对从量化单元103提供来的量化索引进行逆量化以用于后续编码。
噪声注入器113对于提供给熵编码器104的预测误差图像块,监视关于预测信号的信息、整数DCT的基底大小和量化索引。
噪声注入器113基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合在不直接分析重构图像的情况下估计像素值的变动,并且确定伪随机噪声注入候选位置。例如,对于具有如下样式的预测误差图像块,相应的图像块的重构图像的像素值的变动较小:该样式具有平坦的预测类型、较大的整数DCT的基底大小以及较小数目的有意义的AC量化索引。从而,该预测误差图像块被确定为伪随机噪声注入候选位置,而其他的则被确定为伪随机噪声非注入候选位置。
噪声注入器113基于伪随机噪声注入候选位置生成伪随机噪声n(i)。即,在本实施例中,伪随机噪声注入候选位置相当于伪随机噪声注入位置。伪随机噪声n(i)可例如按照公式(1)基于线性同余法等等来生成。
噪声注入器113对于伪随机噪声非注入候选位置生成等于零的伪随机噪声。生成等于零的伪随机噪声表明伪随机噪声不被注入到预测误差图像块中。
逆变换单元106对量化代表值进行逆频率变换,并且注入从噪声注入器113提供来的伪随机噪声,以使其返回到原始空间域。
图片缓冲器107中存储预测信号与重构预测误差图像块相加的重构图像块,直到当前帧中包括的所有MB都被编码为止。
解块滤波器单元108向重构图像中的每个MB和其内部块之间的边缘应用低通滤波器,并且执行从存储在图片缓冲器107中的重构图像中去除块失真的处理。根据本实施例的解块滤波器单元108把从噪声注入器113提供来的伪随机噪声注入到低通滤波器的中间数据中以减轻轮廓和阶梯伪影。
下面将更具体描述解块滤波器单元108的操作。
图10和图11是用于说明解块滤波器单元108的操作的说明图。解块滤波器单元108如图10中所示相对于MB和其内部块之间的水平块边缘在水平方向上应用低通滤波器。如图11中所示,相对于MB和其内部块之间的垂直块边缘,在垂直方向上应用低通滤波器。水平块边缘是4×4块0、4、8、12的左侧的块边缘、4×4块1、5、9、13的左侧的块边缘、4×4块2、6、10、14的左侧的块边缘以及4×4块3、7、11、15的左侧的块边缘。垂直块边缘是4×4块0、1、2、3的上侧的块边缘、4×4块4、5、6、7的上侧的块边缘、4×4块8、9、10、11的上侧的块边缘以及4×4块12、13、14、15的上侧的块边缘。
在具有8×8块大小的整数DCT中,4×4块1、5、9、13的左侧的块边缘、4×4块3、7、11、15的左侧的块边缘、4×4块4、5、6、7的上侧的块边缘和4×4块12、13、14、15的上侧的块边缘不是块失真去除的对象。当具有16×16块大小的整数DCT的基底是通过用整数值近似具有16×16块大小的DCT基底而获得的基底时,只有4×4块0、4、8、12的左侧的块边缘和4×4块0、1、2、3的上侧的块边缘是块失真去除的对象。
对于对水平块边缘的低通滤波器处理,相对于块边缘的左侧的低通滤波器之前的像素被假定为p3、p2、p1、p0,该低通滤波器之后的像素被假定为P3、P2、P1、P0,相对于块边缘的右侧的低通滤波器之前的像素被假定为q0、q1、q2、q3,并且该低通滤波器之后的像素被假定为Q0、Q1、Q2、Q3。
对于对垂直块边缘的低通滤波器处理,相对于块边缘的上侧的低通滤波器之前的像素被假定为p3、p2、p1、p0,该低通滤波器之后的像素被假定为P3、P2、P1、P0,相对于块边缘的下侧的低通滤波器之前的像素被假定为q0、q1、q2、q3,并且该低通滤波器之后的像素被假定为Q0、Q1、Q2、Q3。
假定P3、P2、P1、P0、Q0、Q1、Q2、Q3分别被用p3、p2、p1、p0、q0.q1、q2、q3初始化。
水平方向和垂直方向上对于块边缘的低通滤波器处理是相同的。以下将在不特别区分水平方向和垂直方向的情况下描述对块边缘的低通滤波器处理。
参考非专利文献1中的8.7解块滤波器处理,在对块边缘的低通滤波器处理中,基于与邻居块相关联的展开信息来确定块边缘强度bS(0≤bS≤4)。图12是示出确定bS的处理的流程图。
如图12中所示,当在执行低通滤波器处理之前块边缘的左侧的像素p或者块边缘的右侧的像素q是内MB的像素时(步骤S101),解块滤波器单元108判定像素p和像素q是否是MB边缘的左右像素(步骤S102)。当像素p和像素q是MB边缘的左右像素时,bS被确定为4,而当它们不是MB边缘的左右像素时,bS被确定为3。
当像素p和像素q都不是内MB的像素时,解块滤波器单元108判定在像素p和像素q的哪一个中存在量化索引(步骤S103)。当在像素p和像素q的任一个中存在量化索引时,解块滤波器单元108确定bS为2。当在像素p和像素q中都不存在量化索引时,判定在像素p和像素q之间是否有帧间预测的不连续(步骤S104)。当帧间预测不连续时,确定bS为1,当而帧间预测不是不连续时,确定bS为0。
对确定bS的处理的更详细说明在非专利文献1的8.7.2对跨水平或垂直块边缘的一组样本的滤波处理中描述。
bS的值越大,就确定块边缘处的变动越大,并且就应用强度越高的低通滤波器。当bS=0时,不应用低通滤波器。
随后,仅对bS>0的块边缘,比较块边缘处的像素并且分析块边缘处的不连续性。将对bS=4和bS<4描述对块边缘处的不连续性的分析和使用伪随机噪声的低通滤波器。
在bS=4时,当符合|p0-q0|<α/4并且|p1-p0|<β时,利用伪随机噪声(按公式(1)的n(i)),分别通过用公式(18)、公式(19)和公式(20)表述的低通滤波器来更新P0、P1和P2。
P0=(p2+2×p1+2×p0+2×q0+q1+(n(pos-1)%8)+4)/8 (18)
P1=(p2+p1+p0+q0+(n(pos-2)%4)+2)/4 (19)
P2=(2×p3+3×p2+p1+q0+q1+(n(pos-3)%8)+4)/8 (20)
当|p0-q0|<α/4且|p1-p0|<β的条件不成立时,利用伪随机噪声(按公式(1)的n(i))通过用公式(21)表述的低通滤波器来更新P0。不更新P1和P2。
P0=(2×p1+p0+q0+(n(pos-1)%4)+2)/4 (21)
其中量化参数Q的值越大,α和β就越大。pos是对要处理的块位置的坐标的位置。
在bS=4时,当符合|p0-q0|<α/4并且|q1-q0|<β时,利用伪随机噪声(按公式(1)的n(i)),分别通过用公式(22)、公式(23)和公式(24)表述的低通滤波器来更新Q0、Q1和Q2。
Q0=(q2+2×q1+2×q0+2×p0+p1+(n(pos)%8)+4)/8 (22)
Q1=(q2+q1+q0+p0+(n(pos+1)%4)+2)/4 (23)
Q2=(2×q3+3×q2+q1+p0+p1+(n(pos+2)%8)+4/8 (24)
当|p0-q0|<α/4且|q1-q0|<β的条件不成立时,利用伪随机噪声(按公式(1)的n(i))通过用公式(25)表述的低通滤波器来更新Q0。不更新Q1和Q2。
Q0=(2×q1+q0+p0+(n(pos)%4)+2)/4 (25)
在bS=4时,仅当符合|p0-p2|<β时,利用伪随机噪声(按公式(1)的n(i))通过用公式(26)表述的低通滤波器来更新P0。
P0=p0+Clip3{-tc,tc,(2×(q0-p0)+p1-q1+(n(pos-1)%8)+4/8} (26)
其中tc是随着量化参数Q的值越大就越大的参数。
在bS=4时,仅当符合|q0-q2|<β时,利用伪随机噪声(按公式(1)的n(i))通过用公式(27)表述的低通滤波器来更新Q0。
Q0=q0-Clip3{-tc,tc,(2×(q0-p0)+p1-q1+(n(pos)%8)+4/8} (27)
在公式(18)至(27)中,加上除以4或8所获得的余数,以使得伪随机噪声的影响强度是1个像素以下。伪随机噪声的影响强度是1个像素以下,从而限制由于注入的伪随机噪声引起的PSNR的降低。
如第一实施例中所述,当噪声注入器113估计与具有预测类型平坦、整数DCT的基底大小较大并且有意义的AC量化索引的数目较小的样式的预测误差图像块相对应的图像块的重构图像中的像素值的变动较小时,确定变动较大并且应用有意义的伪随机噪声的块边缘只在内MB的重构图像中。
从而,根据本实施例的解块滤波器单元108等同于采用了图13的流程图中所示的bS确定处理。这意味着解块滤波器单元108使能了在bS确定处理中基于重构图像块的展开时的信息来确定伪随机噪声注入位置的实现方式。
在图13中所示的处理中,解块滤波器单元108执行图12中所示的步骤S101至S104中的处理,并且当像素p和像素q是相对于MB边缘的左右像素时,还额外执行判定在像素p和像素q之间变动是否较小的处理(步骤S105A)。当变动不小时,确定bS为4,而当变动较小时,确定注入伪随机噪声并且确定bS为4。当像素p和像素q不是相对于MB边缘的左右像素时,执行判定在像素p和像素q之间变动是否较小的处理(步骤步骤S105B)。当变动不小时,确定bS为3,而当变动较小时,确定注入伪随机噪声并且确定bS为3。
在解块滤波器单元108的在bS确定处理中确定伪随机噪声注入候选位置的实现方式中,从图13中所示的bS确定流程可以看出,伪随机噪声仅被注入到被确定为伪随机噪声注入候选位置的块边缘中。
解码图片缓冲器109中存储从解块滤波器108提供来的被去除了块失真的重构图像图片作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。
根据本实施例的视频编码设备通过上述处理生成比特流。
与根据第一实施例的视频编码设备类似,根据本实施例的视频编码设备能够高效率地减轻高分辨率视频中的轮廓和阶梯伪影。
第四实施例
图14是示出根据本发明的第四实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声注入到重构预测误差图像块中的视频解码设备。根据本实施例的视频解码设备对应于根据第一实施例的视频编码设备。
如图14中所示,根据本实施例的视频解码设备除了熵解码器201、逆量化单元202、逆频率变换单元203、图片缓冲器204、解块滤波器单元205、解码图片缓冲器206、内预测单元207、帧间预测单元208、解码器控制单元209和开关200以外,还包括噪声注入器210。
熵解码器201对比特流进行熵解码并且输出关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引。与第一实施例类似,关于预测信号的信息是关于内预测模式、内预测方向和帧间预测的信息。
内预测单元207利用与当前解码的帧具有相同显示时刻并被存储在图片缓冲器204中的重构图像来生成内预测信号。
帧间预测单元208利用与当前解码的帧具有不同显示时刻并被存储在解码图片缓冲器206中的参考图像来生成帧间预测信号。
解码器控制单元209控制开关200并且基于经熵解码的帧间预测来提供内预测信号或帧间预测信号。
与根据第一实施例的噪声注入器113类似,噪声注入器210监视从熵解码器201提供来的关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引。
与根据第一实施例的噪声注入器113类似,噪声注入器210基于关于预测信号的信息、整数DCT的基底大小、量化索引或其任何组合在不直接分析重构图像的情况下估计像素值的变动,并且确定伪随机噪声注入候选位置。
噪声注入器210在伪随机噪声注入候选位置处生成有意义的伪随机噪声。即,在本实施例中,伪随机噪声注入候选位置相当于伪随机噪声注入位置。在伪随机噪声非注入候选位置处生成等于零的伪随机噪声。生成等于零的伪随机噪声表明伪随机噪声不被注入到要解码的MB的预测误差图像块中。
逆量化单元202对从熵解码器201提供来的量化索引进行逆量化。
与根据第一实施例的逆变换单元106类似,逆变换单元203对量化代表值进行逆频率变换,并且注入从噪声注入器210提供来的伪随机噪声,以返回到原始空间域。
图片缓冲器204中存储预测信号与被返回到原始空间域的重构预测误差图像块相加的重构图像块,直到当前解码的帧中包括的所有MB都被解码为止。
在当前帧中包括的所有MB都被解码之后,解块滤波器单元205从存储在图片缓冲器204中的重构图像中去除块失真。
解码图片缓冲器206中存储从解块滤波器单元205提供来的被去除了块失真的重构图像作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。参考图像图片在适当的显示定时作为展开帧被输出。
根据本实施例的视频解码设备通过上述处理展开比特流。
根据本实施例的视频解码设备在不比较重构图像的所有像素值并分析像素值的变动的情况下通过基于展开时的信息估计重构图像中的像素值的变动的量值来确定用于高效率地减轻在压缩和展开高分辨率视频时成问题的轮廓和阶梯伪影的伪随机噪声注入候选位置。从而,根据本实施例的视频解码设备可以高效率地减轻高分辨率视频中的轮廓和阶梯伪影。
第五实施例
图15是示出根据本发明的第五实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声不是注入到重构预测误差图像块中而是注入到重构图像块中的视频解码设备。根据本实施例的视频解码设备对应于根据第二实施例的视频编码设备。
如图15中所示,根据本实施例的视频解码设备除了熵解码器201、逆量化单元202、逆频率变换单元203、图片缓冲器204、解块滤波器单元205、解码图片缓冲器206、内预测单元207、帧间预测单元208、解码器控制单元209和开关200以外,还包括噪声注入器210。
本实施例与第四实施例的不同之处在于从噪声注入器210提供来的伪随机噪声被加到逆频率变换单元203的输出。然而,根据本实施例的视频解码设备中的各个单元的处理与图14中所示的根据第四实施例的视频解码设备中的各个单元的处理基本相同,从而将省略对各个单元的操作的说明。
第六实施例
图16是示出根据本发明的第六实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声注入到重构图像图片中的视频解码设备。根据本实施例的视频解码设备对应于根据第三实施例的视频编码设备。
如图16中所示,根据本实施例的视频解码设备除了熵解码器201、逆量化单元202、逆频率变换单元203、图片缓冲器204、解块滤波器单元205、解码图片缓冲器206、内预测单元207、帧间预测单元208、解码器控制单元209和开关200以外,还包括噪声注入器210。在本实施例中,从噪声注入器210输出的伪随机噪声被提供给解块滤波器单元205。
根据本实施例的噪声注入器210等同于根据第一实施例的视频编码设备中的噪声注入器113。根据本实施例的解块滤波器单元205等同于根据第三实施例的视频编码设备中的使用伪随机噪声的解块滤波器单元108。
熵解码器201对比特流进行熵解码并且输出关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引。与第一实施例类似,关于预测信号的信息是关于内预测模式、内预测方向和帧间预测的信息。
内预测单元207利用与当前解码的帧具有相同显示时刻并被存储在图片缓冲器204中的重构图像来生成内预测信号。
帧间预测单元208利用与当前解码的帧具有不同显示时刻并被存储在解码图片缓冲器206中的参考图像来生成帧间预测信号。
解码器控制单元209控制开关200并且基于经熵解码的帧间预测来提供内预测信号或帧间预测信号。
噪声注入器210监视从熵解码器201提供来的关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引。
噪声注入器210基于关于预测信号的信息、整数DCT的基底大小、量化索引或其任何组合在不直接分析重构图像的情况下估计像素值的变动,并且确定伪随机噪声注入候选位置。
噪声注入器210在伪随机噪声注入候选位置处生成有意义的伪随机噪声。即,在本实施例中,伪随机噪声注入候选位置相当于伪随机噪声注入位置。在伪随机噪声非注入候选位置处生成等于零的伪随机噪声。生成等于零的伪随机噪声表明伪随机噪声不被注入到要解码的MB的预测误差图像块中。
逆量化单元202对从熵解码器201提供来的量化索引进行逆量化。
逆变换单元203对量化代表值进行逆频率变换以返回到原始空间域。
图片缓冲器204中存储预测信号与重构预测误差图像块相加的重构图像块,直到当前解码的帧中包括的所有MB都被编码为止。
解块滤波器单元205使用从噪声注入器210提供来的伪随机噪声来从存储在图片缓冲器204中的重构图像中去除块失真。
解块滤波器单元205向重构图像中的每个MB和其内部块之间的边缘应用低通滤波器,并且从存储在图片缓冲器204中的重构图像中去除块失真。根据本实施例的解块滤波器单元205把从噪声注入器210提供来的伪随机噪声注入到低通滤波器的中间数据中,从而减轻轮廓和阶梯伪影。
解码图片缓冲器206中存储从解块滤波器单元205提供来的利用伪随机噪声去除了块失真的重构图像作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。参考图像图片在适当的显示定时作为展开帧被输出。
根据本实施例的视频解码设备通过上述处理展开比特流。
与根据第四实施例的视频解码设备类似,根据本实施例的视频解码设备能够高效率地减轻高分辨率视频中的轮廓和阶梯伪影。
根据第二实施例的视频编码设备基于重构图像块的展开信息来确定伪随机噪声注入位置并且通过直接将伪随机噪声注入到重构图像块中来将伪随机噪声注入到重构图像中。与根据第二实施例的视频编码设备相对应的根据第五实施例的视频解码设备基于重构图像块的展开信息来确定伪随机噪声注入位置并且通过直接将伪随机噪声注入到重构图像块中来将伪随机噪声注入到重构图像中。
如上所述,根据第二实施例和第五实施例的噪声注入器基于作为重构图像块的展开信息的关于预测信号的信息、整数DCT的基底大小或量化索引来估计重构图像块中的像素值的变动的量值,并且确定被估计具有大变动的重构图像块作为伪随机噪声注入位置。在视频解码设备中,展开信息也是在获得重构图像或展开图像之前通过熵解码获得的。
例如,具有如下样式的重构图像块是在块内像素值的变动较小的展开图像或者在块边缘上像素值的变动较小的展开图像:该样式具有平坦预测信号的预测类型、整数DCT的基底大小较大并且有意义的AC量化索引的数目较小。
可以考虑其他实施例,其中噪声注入器采取被估计具有大变动的重构图像块作为伪随机噪声注入候选位置,仅对候选位置处的重构图像块实际计算像素值的变动,并且基于实际计算出的像素值的变动的量值来确定伪随机噪声注入位置。当这样执行处理时,伪随机噪声被注入到重构图像中的更适当的位置处并且对于轮廓和阶梯伪影的人类视觉敏感度可被降低。
具体而言,噪声注入器对于伪随机噪声注入候选位置处的重构图像块中的每个位置(i,j){0≤i≤bsizex-1,0≤j≤bsizey-1}处的像素xij,按照公式(28)来计算周边像素值(xi+m,j+n{-w≤m≤w,-h≤n≤h})的变动pVi,j。
[式13]
例如,基于公式(29),伪随机噪声ni,j仅被注入到pVi,j小于预定阈值th的位置处的像素xij中。
[式14]
其中bsizex是整数DCT的基底大小的水平大小,并且bsizey是整数DCT的基底大小的垂直大小。伪随机噪声不被注入到不在候选位置处的重构图像块中的重构图像中。
也可考虑一实施例,其中,对于展开信息利用量化参数,并且对于具有小量化步长的重构图像将伪随机噪声调整得较小以不注入伪随机噪声。利用该结构,在具有小量化步长的高比特率编码中,可以减轻由于注入的伪随机噪声引起的不利影响。
当用于采取被估计具有大变动的重构图像块作为伪随机噪声注入候选位置、仅对候选位置处的重构图像块实际计算像素值的变动并且基于实际计算出的像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第二实施例的视频编码设备和根据第五实施例的视频解码设备时,视频编码设备的结构如图17中所示,并且视频解码设备的结构如图18中所示。
即,如图17中所示,在视频编码设备中,噪声注入器113基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不直接分析重构图像的情况下,估计像素值的变动,并且基于估计结果来确定伪随机噪声注入候选位置。在伪随机噪声注入候选位置处计算重构图像的像素值的变动。如图18中所示,在视频解码设备中,噪声注入器210基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不直接分析重构图像的情况下,估计像素值的变动,并且基于估计结果来确定伪随机噪声注入候选位置。在伪随机噪声注入候选位置处计算重构图像的像素值的变动。
同样,对于第三和第六实施例,噪声注入器也可采取被估计具有大变动的重构图像块作为伪随机噪声注入候选位置,仅对候选位置处的重构图像块实际计算像素值的变动,并且基于实际计算出的像素值的变动的量值来确定伪随机噪声注入位置。
具体而言,在第三实施例中,当解块滤波器设备通过bS确定处理确定伪随机噪声注入位置时,从图13中所示的bS确定处理可以看出,仅对被确定为伪随机噪声注入候选位置的块边缘,基于公式(30)比较展开图像中的像素以确认邻居像素的变动npV,并且可以仅当邻居像素的变动npV等于或小于预定的阈值th时才通过低通滤波器处理来注入伪随机噪声。
npV=|p3-p2|+|p2-p1|+|p1-p0|+|p0-q0|+|q0-q1|+|q1-q2|+|q2-p3| (30)
利用上述处理,仅对被确定为伪随机噪声注入候选位置的块边缘计算像素变动,从而可以利用期望值的更少量的计算来确定更适当的伪随机噪声注入位置。
当用于采取被估计具有大变动的重构图像块作为伪随机噪声注入候选位置、仅对候选位置处的重构图像块实际计算像素值的变动并且基于实际计算出的像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第三实施例的视频编码设备和根据第六实施例的视频解码设备时,视频编码设备的结构如图19中所示,并且视频解码设备的结构如图20中所示。
即,如图19中所示,在视频编码设备中,噪声注入器113基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不直接分析重构图像的情况下,估计像素值的变动,并且基于估计结果来确定伪随机噪声注入候选位置。仅对伪随机噪声注入候选位置处的边缘确认邻居像素的变动npV。如图20中所示,在视频解码设备中,噪声注入器210基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不直接分析重构图像的情况下,估计像素值的变动,并且基于估计结果来确定伪随机噪声注入候选位置。仅对伪随机噪声注入候选位置处的边缘确认邻居像素的变动npV。
当在平坦区域注入伪随机噪声时,后续平坦区域中的内预测的性能可能由于该影响而降低。
为了防止内预测的性能的降低,可以考虑一实施例,其中,例如,根据第一、第二、第四和第五实施例的噪声注入器不把伪随机噪声注入到内预测的被参考图像(相对于后续图像块的参考图像)的位置处的重构图像中。内预测的被参考图像相当于图21的说明图中的L形区域。
可以考虑其他实施例,其中,在当块边缘处变动较大时应用具有更高强度的低通滤波器的第三和第六实施例中,内预测设备通过更强的低通滤波器利用重构图像的经平滑的周边像素作为参考像素。
在每个实施例中,在噪声注入器中可以使用任何生成方法作为伪随机噪声生成方法,但希望按视频编码或视频解码的预定单位复位伪随机噪声生成器。
图22是用于说明按视频编码或视频解码的预定单位复位伪随机噪声生成器的其他实施例的说明图。
视频编码或视频解码的预定单位可以是每个帧的开头MB(参见图22(A))、每个帧中的多个MB(参见图22(B))、利用重构图像中的像素之间的依从关系的MB对,等等。按视频编码或视频解码的预定单位复位伪随机噪声生成器,以使得例如在图22(A)中所示的示例中可以改善对于视频解码的随机可访问性,并且在图22(B)中所示的示例中可以改善对于视频编码和视频解码的并行可处理性。
例如,编码器控制单元112可以按视频编码的预定单位基于线性同余法用预定的值来复位伪随机噪声生成器中的伪随机噪声n(i)的初始值n(0)。视频编码设备可将用于复位的预定值或用于标识该预定值的信息嵌入在比特流中。视频解码设备可读取嵌入在比特流中的用于复位的预定值或用于标识该像素值的信息,以基于该信息生成伪随机噪声,从而生成与视频编码侧相同的伪随机噪声,以使得在视频编码和视频解码之间能够避免由于伪随机噪声引起的图像的失配。
由帧间预测引起的预测误差在静止或平行移动区域中几乎是零。然而,可以考虑注入伪随机噪声而使得在静止或平行移动区域中预测误差是非零的。从而,可以考虑其他实施例,其中,为了防止这种情形,在每个实施例中,噪声注入器仅对不使用帧间预测的I帧将伪随机噪声注入到重构图像中。
每个实施例可用硬件构成,但也可用计算机程序来实现。
图23中所示的信息处理系统包括处理器1001、程序存储器1002、用于在其中存储视频数据的存储介质1003、以及用于在其中存储比特流的存储介质1004。存储介质1003和存储介质1004可以是分开的存储介质或者可以是由同一存储介质构成的一个存储区域。诸如硬盘之类的磁存储介质可用于这些存储介质。
在图23中所示的信息处理系统中,程序存储器1002中存储用于实现图1、图8、图9和图14至20中所示的各个块(除了缓冲器块以外)的功能的程序。处理器1001根据程序存储器1002中存储的程序执行处理以实现图1、图8、图9和图14至20中所示的视频编码设备或视频解码设备的功能。
图24是示出根据本发明的视频编码设备的主要结构的框图。如图24中所示,根据本发明的视频编码设备包括:逆量化装置12,用于对量化索引进行逆量化以获得量化代表值;逆频率变换装置13,用于对由逆量化装置12获得的量化代表值进行逆变换以获得重构图像块;以及噪声注入装置14,用于基于重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到伪随机噪声注入位置处的图像中。
在每个实施例中,还公开了一种视频编码设备,其中噪声注入装置基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置。
在每个实施例中,还公开了一种视频编码设备,其中噪声注入装置确定具有如下样式的重构图像块作为伪随机噪声注入位置:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
在每个实施例中,还公开了一种视频编码设备,其中噪声注入装置注入根据量化步长调整了的伪随机噪声。
在每个实施例中,还公开了一种视频编码设备,其中噪声注入装置不将伪随机噪声注入到内预测的参考图像位置处的图像中。
在每个实施例中,还公开了一种视频编码设备,其包括复位装置(例如由编码器控制单元112实现),用于按视频编码的预定单位来复位噪声注入装置。
图25是示出根据本发明的视频解码设备的主要结构的框图。如图25中所示,根据本发明的视频解码设备包括:熵解码装置20,用于对比特串进行熵解码以获得量化索引;预测装置21,用于对图像块计算内预测信号或帧间预测信号;逆量化装置22,用于对量化索引进行逆量化以获得量化代表值;逆频率变换装置23,用于对由逆量化装置22获得的量化代表值进行逆变换以获得重构预测误差图像块;重构装置24,用于将内预测信号或帧间预测信号加到由逆频率变换装置获得的重构预测误差图像块以获得重构图像块;以及噪声注入装置25,用于基于重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到伪随机噪声注入位置处的图像中。
在每个实施例中,还公开了一种视频解码设备,其中,噪声注入装置基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置。
在每个实施例中,还公开了一种视频解码设备,其中,噪声注入装置确定具有如下样式的重构图像块作为伪随机噪声注入位置:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
在每个实施例中,还公开了一种视频解码设备,其中噪声注入装置注入根据量化步长调整了的伪随机噪声。
在每个实施例中,还公开了一种视频解码设备,其中噪声注入装置不将伪随机噪声注入到内预测的参考图像位置处的图像中。
在每个实施例中,还公开了一种视频解码设备,其包括复位装置(例如由解码器控制单元209实现),用于按视频解码的预定单位来复位噪声注入装置。
图26是示出根据本发明的视频编码方法的主要步骤的流程图。如图26中所示,在根据本发明的视频编码方法中,对量化索引进行逆量化以获得量化代表值,对所获得的量化代表值进行逆变换以获得重构图像块,基于重构图像块的展开信息来确定伪随机噪声注入位置,并且将伪随机噪声注入到伪随机噪声注入位置处的图像中。
图27是示出根据本发明的视频解码方法的主要步骤的流程图。如图27中所示,在根据本发明的视频解码方法中,对比特串进行熵解码以获得量化索引(步骤S20),对图像块计算内预测信号或帧间预测信号(步骤S21),对量化索引进行逆量化以获得量化代表值(步骤S22),对所获得的量化代表值进行逆变换以获得重构预测误差图像块(步骤S23),将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块(步骤S24),并且基于重构图像块的展开信息来确定伪随机噪声注入位置以将伪随机噪声注入到伪随机噪声注入位置处的图像中(步骤S25)。
以上已参考实施例和示例描述了本发明,但本发明并不限于这些实施例和示例。本领域技术人员将会理解,在本发明的范围内,可以对本发明的结构和细节进行各种修改。
本申请基于2009年11月30日提交的日本专利申请No.2009-272178要求优先权,这里通过引用将该日本专利申请的公开内容全部并入。
标号列表
12:逆量化装置
13:逆频率变换装置
14:噪声注入装置
20:量化索引计算装置
21:预测装置
22:逆量化装置
23:逆频率变换装置
24:重构装置
25:噪声注入装置
100:开关
101:MB缓冲器
102:频率变换单元
103:量化单元
104:熵编码器
105:逆量化单元
106:逆频率变换单元
107:图片缓冲器
108:解块滤波器单元
109:解码图片缓冲器
110:内预测单元
111:帧间预测单元
112:编码器控制单元
113:噪声注入器
200:开关
201:熵解码器单元
202:逆量化单元
203:逆频率变换单元
204:图片缓冲器
205:解块滤波器单元
206:解码图片缓冲器
207:内预测单元
208:帧间预测单元
209:解码器控制单元
210:噪声注入器
1001:处理器
1002:程序存储器
1003:存储介质
1004:存储介质