CN102640494A - 视频编码设备和视频解码设备 - Google Patents

视频编码设备和视频解码设备 Download PDF

Info

Publication number
CN102640494A
CN102640494A CN2010800543807A CN201080054380A CN102640494A CN 102640494 A CN102640494 A CN 102640494A CN 2010800543807 A CN2010800543807 A CN 2010800543807A CN 201080054380 A CN201080054380 A CN 201080054380A CN 102640494 A CN102640494 A CN 102640494A
Authority
CN
China
Prior art keywords
pseudo noise
reconstructed image
piece
prediction signal
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800543807A
Other languages
English (en)
Inventor
蝶野庆一
仙田裕三
田治米纯二
青木启史
仙崎健太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102640494A publication Critical patent/CN102640494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

高效率地减轻了轮廓和阶梯伪影。视频编码设备设有:逆量化装置,用于通过对量化索引执行逆量化来获得量化代表值;逆频率变换装置,用于通过对由逆量化装置获得的量化代表值执行逆变换来获得重构图像块;以及噪声混入装置,用于基于重构图像块的展开信息来确定伪随机混入注入位置并将伪随机噪声混入到伪随机噪声混入位置上的图像中。

Description

视频编码设备和视频解码设备
技术领域
本发明涉及应用了用于减轻轮廓(contour)和阶梯伪影(stair-stepartifact)的视频编码技术的视频编码设备和视频解码设备。
背景技术
一般地,视频编码设备对外部输入的动画信号进行数字化,然后对其执行符合预定的视频编码体系的编码处理,从而生成编码数据或比特流。
预定的视频编码体系可以是非专利文献1中描述的ISO/IEC 14496-10高级视频编码(Advanced Video Coding,AVC)。已知联合模型体系作为AVC编码设备的参考模型(其将被称为一般视频编码设备)。
将参考图28来描述以数字化的视频的每个帧作为输入来输出比特流的一般视频编码设备的结构和操作。
如图28中所示,一般视频编码设备包括MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测(intra prediction)单元110、帧间预测(inter-frame prediction)单元111、编码器控制单元112以及开关100。
一般视频编码设备将每个帧分割成具有16×16像素大小的被称为MB(Macro Block,宏块)的块,将MB进一步分割成具有4×4像素大小的块,并且采取分割获得的4×4块作为编码的最小构成单位。
图29是示出当帧空间分辨率是QCIF(Quarter Common IntermediateFormat,四分之一通用中间格式)时的示例性块分割的说明图。以下为了简明将只关注亮度像素值来描述图28中所示的各个单元的操作。
MB缓冲器101中存储输入图像帧的要编码的MB的像素值。要编码的MB将被称为输入MB。
对于从MB缓冲器101提供来的输入MB,减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。减去了预测信号的输入MB在下文中将被称为预测误差图像块。
内预测单元110利用存储在图片缓冲器107中的与当前帧具有相同显示时刻的重构图像生成内预测信号。用内预测信号编码的MB在下文中将被称为内MB(intra MB)。
帧间预测单元111利用与当前帧具有不同显示时刻并存储在解码图片缓冲器109中的参考图像来生成帧间预测信号。用帧间预测信号编码的MB在下文中将被称为间MB(inter MB)。
仅用内MB编码的帧将被称为I帧。用内MB和间MB两者编码的帧将被称为P帧。同时使用两个参考图像而不只是一个参考图像来生成帧间预测信号的用间MB编码的帧将被称为B帧。
编码器控制单元112把内预测信号和帧间预测信号与存储在MB缓冲器101中的输入MB相比较,选择预测误差图像块的能量低的预测信号,并且控制开关100。关于所选的预测信号的信息被提供给熵编码器104。
编码器控制单元112基于输入MB或预测误差图像块选择适用于预测误差图像块的频率变换的整数DCT的基底块(base block)大小。整数DCT指的是在一般视频编码设备中利用通过用整数值近似DCT基底获得的基底进行的频率变换。基底块大小的选项包括16×16、8×8和4×4这三个块大小。输入MB或预测误差图像块的像素值越平坦,就选择越大的基底块大小。关于所选的整数DCT的基底大小的信息被提供给频率变换单元102和熵编码器104。关于所选的预测信号的信息和关于所选的整数DCT的基底大小的信息在下文中将被称为辅助信息。
另外,为了按目标比特数目或更少的比特数目对帧编码,编码器控制单元112监视熵编码器104输出的比特流中的比特的数目。然后,当输出比特流中的比特的数目大于目标比特数目时,输出用于增大量化步长的量化参数,相反,当输出比特流中的比特的数目小于目标比特数目时,输出用于减小量化步长的量化参数。这样,输出比特流被编码到接近目标比特数目。
频率变换单元102按所选的整数DCT的基底大小对预测误差图像块进行频率变换,从而将其从空间域变换到频率域。被变换到频率域的预测误差被称为转换系数。频率变换可使用诸如DCT(Discrete CosineTransform,离散余弦变换)或阿达玛(Hadamard)变换之类的正交变换。
量化单元103按与从编码器控制单元112提供来的量化参数相对应的量化步长对转换系数进行量化。经量化的转换系数的量化索引也被称为位阶(level)
熵编码器104对辅助信息和量化索引进行熵编码以作为比特串或比特流输出。
逆量化单元105和逆变换单元106对从量化单元103提供来的量化索引进行逆量化以获得用于后续编码的量化代表值,并且进一步对其执行逆频率变换以使其返回到原始空间域。被返回到原始空间域的预测误差图像块在下文中将被称为重构预测误差图像块。
图片缓冲器107中存储预测信号与重构预测误差图像块相加的重构图像块,直到当前帧中包括的所有MB都被编码为止。图片缓冲器107中的重构图像构成的图片在下文中将被称为重构图像图片。
解块滤波器单元108从图片缓冲器107中存储的重构图像图片中去除块失真。
解码图片缓冲器109中存储从解块滤波器单元108提供来的被去除了块失真的重构图像图片作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。
图28中所示的视频编码设备通过上述处理生成比特流。
引文列表
专利文献
PLT1:日本专利申请国家公布(早期公开)第2007-503166号公报
PLT2:日本专利申请国家公布(早期公开)第2007-507169号公报
非专利文献
NPL1:ISO/IEC 14496-10 Advanced Video Coding
NPL2:L.G.Roberts,“Picture coding using pseudorandom noise”,IRETrans.on Information Theory,vol.IT-8,pp145-154,February,1962(1962年2月)
NPL3:G.Conklin和N.Gokhale,“Dithering 5-tap Filter for InloopDeblocking”,Joint Video Team(JVT)of IOS/IEC MPEG & ITU-T VCEG,JVT-C056,May,2002(2002年5月)
NPL4:Chono等人,“A complexity Reduction Method for H.264 IntraPrediction Estimator Using the Characteristics of Hadamard Transform”,IEICESociety papers,D-11-52,2005
发明内容
技术问题
利用上述按低比特率压缩和展开的视频生成人类可察觉的伪影。块失真或振铃失真(ringing distortion)是在根据基于块的编码压缩和展开的视频中发生的典型伪影。
非专利文献2中提出了将伪随机噪声注入到图像中,从而减轻伪影,以便降低对于伪影的人类视觉敏感度。非专利文献3中提出了对于基于块的编码,在非专利文献1中公开的解块滤波器中,对于图像块边缘,把根据像素位置的量的随机噪声抖动加到重构图像,并且重排列被应用解块滤波器的图像块边缘的顺序。
专利文献1和专利文献2中提出了注入与当前图像的一部分的亮度相关联的量的附加噪声或者与先前图像中的像素的附加噪声相关联的量的附加噪声。
然而,在上述文献的每一个中,没有考虑用于确定伪随机噪声注入候选位置的方法来高效率地减轻在根据基于比特的编码对高分辨率视频进行压缩和展开时成问题的轮廓和阶梯伪影。从而,利用上述文献的每一个中描述的技术,无法高效率地减轻高分辨率视频中的轮廓和阶梯伪影。效率不仅包括减轻轮廓和阶梯伪影时的效率,而且包括计算效率。
从而,本发明的一个目的是提供一种能够高效率地减轻轮廓和阶梯伪影的视频编码设备和视频解码设备。
解决问题的方案
根据本发明的一种视频编码设备包括:逆量化装置,用于对量化索引进行逆量化以获得量化代表值;逆频率变换装置,用于对由逆量化装置获得的量化代表值进行逆变换以获得重构图像块;以及噪声注入装置,用于基于重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到伪随机噪声注入位置处的图像中。
根据本发明的一种视频解码设备包括:熵解码装置,用于对比特串进行熵解码以获得量化索引;预测装置,用于对图像块计算内预测信号或帧间预测信号;逆量化装置,用于对量化索引进行逆量化以获得量化代表值;逆频率变换装置,用于对由逆量化装置获得的量化代表值进行逆变换以获得重构预测误差图像块;重构装置,用于将内预测信号或帧间预测信号加到由逆频率变换装置获得的重构预测误差图像块以获得重构图像块;以及噪声注入装置,用于基于重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到伪随机噪声注入位置处的图像中。
根据本发明的一种视频编码方法包括:对量化索引进行逆量化以获得量化代表值;对所获得的量化代表值进行逆变换以获得重构图像块;以及基于重构图像块的展开信息来确定伪随机噪声注入位置,并将伪随机噪声注入到伪随机噪声注入位置处的图像中。
根据本发明的一种视频解码方法包括:对比特串进行熵解码以获得量化索引;对图像块计算内预测信号或帧间预测信号;对量化索引进行逆量化以获得量化代表值;对所获得的量化代表值进行逆变换以获得重构预测误差图像块;将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块;以及基于重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到伪随机噪声注入位置处的图像中。
根据本发明的一种视频编码程序用于使得计算机执行:对量化索引进行逆量化以获得量化代表值的处理;对所获得的量化代表值进行逆变换以获得重构图像块的处理;以及基于重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到伪随机噪声注入位置处的图像中的处理。
根据本发明的一种视频解码程序用于使得计算机执行:对比特串进行熵解码以获得量化索引的处理;对图像块计算内预测信号或帧间预测信号的处理;对量化索引进行逆量化以获得量化代表值的处理;对所获得的量化代表值进行逆变换以获得重构预测误差图像块的处理;将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块的处理;以及基于重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到伪随机噪声注入位置处的图像中的处理。
发明的有利效果
根据本发明,可以在不比较展开图像中的所有像素值并分析像素值的变动的情况下准确地检测轮廓和阶梯伪影明显的位置。从而,可以提供能够高效率地减轻高分辨率视频中的轮廓和阶梯伪影的视频编码设备和视频解码设备。
附图说明
图1是示出根据第一实施例的视频编码设备的框图。
图2是用于说明平坦预测信号的预测类型的说明图。
图3是用于说明平坦预测信号的预测类型的说明图。
图4是示出具有8×8块大小的DCT基底的说明图。
图5是示出具有4×4块大小的DCT基底的说明图。
图6是示出具有16×16块大小的DCT基底的说明图。
图7是示出具有16×16块大小的整数DCT的示例性结构的说明图。
图8是示出根据第二实施例的视频编码设备的框图。
图9是示出根据第三实施例的视频编码设备的框图。
图10是用于说明解块滤波器单元的操作的说明图。
图11是用于说明解块滤波器单元的操作的说明图。
图12是示出确定bS的处理的流程图。
图13是示出确定bS的处理的流程图。
图14是示出根据第四实施例的视频解码设备的框图。
图15是示出根据第五实施例的视频解码设备的框图。
图16是示出根据第六实施例的视频解码设备的框图。
图17是示出如下结构的框图:其中,用于仅对伪随机噪声注入候选位置处的重构图像块实际计算像素值的变动并且基于计算出的像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第二实施例的视频编码设备。
图18是示出如下结构的框图:其中,用于仅对伪随机噪声注入候选位置处的重构图像块实际计算像素值的变动并且基于计算出的像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第二实施例的视频编码设备。
图19是示出如下结构的框图:其中,用于仅对伪随机噪声注入候选位置处的重构图像块实际计算像素值的变动并且基于计算出的像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第五实施例的视频解码设备。
图20是示出如下结构的框图:其中,用于仅对伪随机噪声注入候选位置处的重构图像块实际计算像素值的变动并且基于计算出的像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第三实施例的视频编码设备。
图21是示出如下结构的框图:其中,用于仅对伪随机噪声注入候选位置处的重构图像块实际计算像素值的变动并且基于计算出的像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第六实施例的视频解码设备。
图22是用于说明如何复位伪随机噪声生成器的说明图。
图23是示出能够实现根据本发明的视频编码设备和视频解码设备的功能的信息处理系统的示例性结构的框图。
图24是示出根据本发明的视频编码设备的主要结构的框图。
图25是示出根据本发明的视频解码设备的主要结构的框图。
图26是示出根据本发明的视频编码设备进行的处理的流程图。
图27是示出根据本发明的视频解码设备进行的处理的流程图。
图28是示出一般视频编码设备的结构的框图。
图29是示出示例性块分割的说明图。
具体实施方式
第一实施例
图1是示出本发明的第一实施例的框图,其示出了用于基于当前展开的重构图像块的信息来确定伪随机噪声注入候选位置并且将伪随机噪声注入到重构预测误差图像块中的视频编码设备。
如图1中所示,根据本实施例的视频编码设备除了MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测单元110、帧间预测单元111、编码器控制单元112和开关100以外,还包括噪声注入器113。
根据本实施例的视频编码设备与图28中所示的一般视频编码设备的不同之处在于提供了噪声注入器113并且噪声注入器113的输出被提供给逆频率变换单元106。在以下描述中,将特别详细描述作为根据本实施例的视频编码设备的特征的噪声注入器113和逆频率变换单元106的操作。
MB缓冲器101中存储输入图像帧中的要编码的MB的像素值。
从提供自MB缓冲器101的输入MB中减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。
从提供自MB缓冲器101的输入MB中减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。
内预测单元110利用存储在图片缓冲器107中的与当前帧具有相同显示时刻的重构图像生成内预测信号。关于内预测的信息包括指示内预测的块大小的内预测模式,以及指示其方向的内预测方向。
对于内预测,如非专利文献1的8.3.1至8.3.3中所述,采用了Intra_4×4、Intra_8×8和Intra_16×16的内预测模式的三种块大小。
参考图2(a)和2(c),可以看出Intra_4×4和Intra_8×8分别用于具有4×4块大小和8×8块大小的内预测。圆圈(O)指示内预测的参考像素,即存储在图片缓冲器107中的重构图像。
对于具有Intra_4×4的内预测,以重构图像的周边像素作为参考像素,参考像素被在图2(b)中所示的九个方向上填充(外插),从而形成预测信号。对于具有Intra_8×8的内预测,以被紧挨图2(c)中所示的右箭头下方所示的低通滤波器(1/2、1/4、1/2)平滑的重构图像的周边像素作为参考图像,参考像素在图2(b)中所示的九个方向上被外插,从而形成预测信号。
参考图3(a),可以看出Intra_16×16是具有16×16块大小的内预测。与图2中所示的示例类似,图3中的圆圈(O)指示内预测的参考像素,即存储在图片缓冲器107中的重构图像。对于具有Intra_16×16的内预测,以重构图像的周边像素作为参考像素,参考像素被在图3(b)中所示的四个方向上外插,从而形成预测信号。
内预测的块大小在下文中将被称为内预测模式。外插的方向将被称为内预测方向。
如非专利文献4中所示,仅分别对DC(参见图2和图3(b)中的“2”)、水平(参见图2和图3(b)中的“1”)和垂直(参见图2和图3(b)中的“0”)的内预测方向上的预测信号的阿达玛变换的特定成分生成有意义的转换系数。具体而言,对于DC内预测方向、水平内预测方向和垂直内预测方向分别是仅DC有意义的转换系数、仅DC和垂直成分AC有意义的转换系数和仅DC和水平成分AC有意义的转换系数。
仅对特定成分发生有意义的转换系数表明,在DC内预测方向上图像的变动是零(即预测信号平坦),在水平内预测方向上图像在水平方向上的变动是零(即预测信号在水平方向上平坦),并且在垂直内预测方向上图像在垂直方向上的变动是零(即预测信号在垂直方向上平坦)。
从图4的说明图中所示的具有8×8块大小的示例性DCT基底清楚可见,对于内预测方向上的预测信号的整数DCT,在DC内预测方向上图像的变动也是零,在水平内预测方向上图像在水平方向上的变动也是零,并且在垂直内预测方向上图像在垂直方向上的变动也是零。从图5和图6分别所示的具有4×4块大小的DCT基底和具有16×16块大小的DCT基底可以看出,与具有8×8块大小的DCT基底类似,对于块大小4×4或16×16,在DC内预测方向上图像的变动也是零,在水平内预测方向上图像在水平方向上的变动也是零,并且在垂直内预测方向上图像在垂直方向上的变动也是零。
从上述可以看出,DC、水平、垂直和平面(Plane)(参见图3(b)中的“3”)的内预测方向是平坦预测的类型。即,可以看出,依据内预测方向,可以估计重构图像的变动的量值。
编码器控制单元112把作为各个内预测模式及其内预测方向的组合的预测信号与输入MB相比较,并且采取预测误差图像块的能量低的预测信号作为内预测信号。
帧间预测单元111利用与当前帧具有不同显示时刻并被存储在解码图片缓冲器109中的参考图像来生成帧间预测信号。关于帧间预测的信息可以是关于参考图片索引或运动向量的信息。
编码器控制单元112把内预测信号和帧间预测信号与存储在MB缓冲器101中的输入MB相比较,选择预测误差图像块的能量低的预测信号,并且控制开关100。关于所选预测信号的信息被提供给熵编码器104。
当预测误差图像块的能量低的预测信号是内预测信号时,关于所选预测信号的信息包括内预测模式和内预测方向。
编码器控制单元112基于输入MB或预测误差图像块来选择适用于预测误差图像块的频率变换的整数DCT的基底块大小。所选的整数DCT的基底大小被提供给频率变换单元102和熵编码器104。一般地,输入MB或预测误差图像块的像素值越平坦,就选择越大的基底块大小。换言之,在具有较大的基底块大小的重构图像块中,重构图像较平坦。当预测误差图像块的能量低的预测信号是内预测信号时,所选的整数DCT的基底大小与内预测模式中的块大小相同。
编码器控制单元112监视从熵编码器104输出的比特流中的比特的数目以便按目标比特数目或更少的比特数目对帧编码。当输出比特流中的比特的数目大于目标比特数目时,输出用于增大量化步长的量化参数,相反,当输出比特流中的比特的数目小于目标比特数目时,输出用于减小量化步长的量化参数。这样,输出比特流被编码到接近目标比特数目。
频率变换单元102按所选的整数DCT的基底大小对预测误差图像块进行频率变换,并将其从空间域变换到频率域。
量化单元103按与从编码器控制单元112提供来的量化参数相对应的量化步长对转换系数进行量化。
从图4中例示的具有8×8块大小的DCT基底可以看出,关注了以下情况,即AC基底是越高频率的(基底在右箭头或下箭头方向上),变动就越大。可以看出,在具有有意义的AC量化索引的数目较小的样式的重构图像中,估计像素值的变动较小。即,可以看出,对于具有有意义的AC量化索引的数目较小的样式的预测误差图像块,其重构图像平坦。
熵编码器104对关于所选预测信号的信息、整数DCT的基底大小和量化索引进行熵编码,并将其作为比特串或比特流输出。
逆量化单元105对从量化单元103提供来的量化索引进行逆量化以用于后续编码。经逆量化的量化索引被称为量化代表值。
噪声注入器113对于提供给熵编码器104的预测误差图像块,监视关于预测信号的信息、整数DCT的基底大小和量化索引。
噪声注入器113基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不比较重构图像中的所有像素值的情况下估计像素值的变动,并且确定伪随机噪声注入候选位置。例如,对于具有如下样式的预测误差图像块,相应的重构图像块中的像素值的变动较小:该样式具有平坦的预测类型、较大的整数DCT的基底大小以及较小数目的有意义的AC量化索引。从而,这种预测误差图像块被确定为伪随机噪声注入候选位置,而其他的则被确定为伪随机噪声非注入候选位置。
与平坦预测类型的预测误差图像块相对应的重构图像块、与整数DCT的基底大小较大(比预定大小更大的基底大小)的预测误差图像块相对应的重构图像块、与具有有意义的AC量化索引的数目较小的样式的预测误差图像块相对应的重构图像块、与平坦预测类型和整数DCT的基底大小较大的预测误差图像块相对应的重构图像块、与具有整数DCT的基底大小较大并且有意义的AC量化索引的数目较小的样式的预测误差图像块相对应的重构图像块、或者与具有平坦预测并且有意义的AC量化索引的数目较小的样式的预测误差图像块相对应的重构图像块可被估计为具有较小的像素值的变动(有意义的AC量化索引的数目较小的样式可使用仅对预定的低频成分存在有意义的AC量化索引的样式或者对于所有频率成分粗疏存在有意义的AC量化索引的样式)。
噪声注入器113对于伪随机噪声注入候选位置生成伪随机噪声n(i)。即,在本实施例中,伪随机噪声注入候选位置相当于伪随机噪声注入位置。伪随机噪声n(i)可例如按照公式(1)基于线性同余法来生成。
N(i)=(a×n(i-1)+b)%c                         (1)
其中a、b和c是用于确定伪随机噪声的周期的参数,并且假定a>0,b>0,a≤c并且b<c。x%y表示返回通过将x除以y获得的余数的处理。
噪声注入器113对于伪随机噪声非注入候选位置生成等于零的伪随机噪声。生成等于零的伪随机噪声表明伪随机噪声不被注入到预测误差图像块中。
逆变换单元106对量化代表值进行逆频率变换,在其中进一步注入从噪声注入器113提供来的伪随机噪声,并且使其返回到原始空间域。内预测模式的每个块大小的具体处理将在下文中描述。用于逆变换和逆量化的处理被综合在非专利文献1中描述的AVC中,从而将进行包括逆量化在内的说明。
首先将描述Intra_16×16的情况下的逆变换和逆量化。即,在Intra_16×16的情况下,将描述对量化代表值进行逆频率变换并随后从噪声注入器113注入伪随机噪声的操作。在本实施例中,假定如图7中所示,具有16×16块大小的整数DCT是以具有4×4块大小的整数DCT和具有4×4块大小的阿达玛变换的组合构成的。
Intra_16×16中的4×4DC块的逆频率变换由公式(2)定义,假定量化索引是L16={l1600…l1633}并且逆变换系数是F16={f1600…f1633}。
[式1]
F 16 = 1 1 1 1 1 1 - 1 - 1 1 - 1 - 1 1 1 - 1 1 - 1 l 16 00 l 16 01 l 16 02 l 16 03 l 16 10 l 16 11 l 16 12 l 16 13 l 16 20 l 16 21 l 16 22 l 16 23 l 16 30 l 16 31 l 16 32 l 16 33 1 1 1 1 1 1 - 1 - 1 1 - 1 - 1 1 1 - 1 1 - 1 . . . ( 2 )
Intra_16×16中的4×4DC块的逆量化由公式(3)定义,假定量化参数是qp并且逆量化的输出是dcYij。LevelScale(m,i,j)由公式(4)表述并且M由公式(5)表述。
[式2]
Figure BPA00001563566700132
[式3]
Figure BPA00001563566700133
[式4]
M = 10 16 13 11 18 14 13 20 16 14 23 18 16 25 20 18 29 23 . . . ( 5 )
另外,逆量化的输出是如图4中所示的Intra_16×16中的4×4AC块的DC。稍后描述的4×4块逆变换/逆量化被应用到每个4×4AC块。
在Intra_16×16中的4×4AC块中,执行逆量化,然后应用逆变换。假定MB中的4×4块坐标是(i,j),量化索引是L={l00…l33},并且量化代表值是dij,则4×4AC块的逆量化由公式(6)定义。
[式5]
Figure BPA00001563566700141
随后,假定逆变换系数是C={c00…c33},则4×4块的逆变换由公式(7)定义。
[式6]
C = 1 1 1 1 / 2 1 1 / 2 - 1 - 1 1 - 1 / 2 - 1 1 1 - 1 1 - 1 / 2 d 00 d 01 d 02 d 03 d 10 d 11 d 12 d 13 d 20 d 21 d 22 d 23 d 30 d 31 d 32 d 33 1 1 1 1 1 1 / 2 - 1 / 2 - 1 1 - 1 - 1 1 1 / 2 - 1 1 - 1 / 2 . . . ( 7 )
如公式(8)中所表述的,逆变换系数C被添加以伪随机噪声N={n00…n33}(假定公式(1)中的n(i)被按适当的规则重排列)并且被正规化以获得重构预测误差图像块PD{pd00…pd33}。即,逆变换系数被返回到原始空间域。
pdij=(Cij+(nij%64)+32)>>6                 (8)
如公式(8)中所示,加上除以64所获得的余数,以使得伪随机噪声的影响强度的绝对值是1个像素以下。假定伪随机噪声的影响强度的绝对值是1像素以下,以便能够限制由于注入的伪随机噪声引起的PSNR(Peak Signal to Noise Ratio,峰值信号噪声比)的降低。
下面将描述Intra_8×8的情况下的逆变换和逆量化。即,将描述在Intra_8×8的情况下对量化代表值进行逆频率变换并从噪声注入器113注入伪随机噪声的操作。
Intra_8×8中的逆量化由公式(9)定义,假定量化索引是L8={l800…l877}并且量化代表值是D8={d800…d877}。LevelScale8(m,i,j)由公式(10)表述并且M8由公式(11)表述。
[式7]
[式8]
Figure BPA00001563566700151
[式9]
M 8 = 20 18 32 19 25 24 22 19 35 21 28 26 26 23 42 24 33 31 28 25 45 26 35 33 32 28 51 30 40 38 36 32 58 34 46 43 . . . ( 11 )
随后,假定逆变换系数是C={c00…c77},则Intra_8×8的逆变换由公式(12)定义。T8被表述为公式(13)
C8=T8tD8T8                            (12)
[式10]
T 8 = 1 / 8 8 8 8 8 8 8 8 8 12 10 6 3 - 3 - 6 - 10 - 12 8 4 - 4 - 8 - 8 - 4 4 8 10 - 3 - 12 - 6 6 12 3 - 10 8 - 8 - 8 8 8 - 8 - 8 8 6 - 12 3 10 - 10 - 3 12 - 6 4 - 8 8 - 4 - 4 8 - 8 4 3 - 6 10 - 12 12 - 10 6 - 3 . . . ( 13 )
如公式(14)中所表述的,逆变换系数C被添加以伪随机噪声N={n00…n77}(假定公式(1)中的n(i)被按适当的规则重排列)并且被正规化以获得重构预测误差图像块PD{pd00…pd77}。即,逆变换系数被返回到原始空间域。
pdij=(c8ij+(nij%64)+32>>6          (14)
下面将描述Intra_4×4的情况下的逆变换和逆量化。即,将描述在Intra_4×4的情况下对量化代表值进行逆频率变换并从噪声注入器113注入伪随机噪声的操作。
假定量化索引是L={l00…l33}并且量化代表值是dij,Intra_4×4的逆量化由公式(15)定义。
[式11]
Figure BPA00001563566700161
随后,假定逆变换系数是C={c00…c33},则4×4块的逆变换由公式(16)定义。
[式12]
C = 1 1 1 1 / 2 1 1 / 2 - 1 - 1 1 - 1 / 2 - 1 1 1 - 1 1 - 1 / 2 d 00 d 01 d 02 d 03 d 10 d 11 d 12 d 13 d 20 d 21 d 22 d 23 d 30 d 31 d 32 d 33 1 1 1 1 1 1 / 2 - 1 / 2 - 1 1 - 1 - 1 1 1 / 2 - 1 1 - 1 / 2 . . . ( 16 )
如公式(17)中所表述的,逆变换系数C被添加以伪随机噪声N={n00…n33}并且被正规化以获得重构预测误差图像块PD{pd00…pd33}。即,逆变换系数被返回到原始空间域。
pdij=(cij+(nij%64)+32)>>6                    (17)
图片缓冲器107中存储预测信号与重构预测误差图像块相加的重构图像块,直到当前帧中包括的所有MB都被编码为止。
解块滤波器单元108从图片缓冲器107中存储的重构图像图片中去除块失真。
解码图片缓冲器109中存储从解块滤波器108提供来的被去除了块失真的重构图像图片作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。
根据本实施例的视频编码设备通过上述处理生成比特流。
根据本实施例的视频编码设备在不比较重构图像图片中的所有像素值并分析像素值的变动的情况下通过基于展开时的信息估计重构图像中的像素值的变动的量值来确定用于高效率地减轻轮廓和阶梯伪影的伪随机噪声注入候选位置。从而,根据本实施例的视频编码设备可以高效率地减轻高分辨率视频中的轮廓和阶梯伪影。
第二实施例
图8是示出根据本发明的第二实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声不是注入到重构预测误差图像块中而是注入到重构图像块中的视频编码设备。
如图8中所示,根据本实施例的视频编码设备除了MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测单元110、帧间预测单元111、编码器控制单元112和开关100以外,还包括噪声注入器113。
本实施例与第一实施例的不同之处在于从噪声注入器113提供来的伪随机噪声被加到逆频率变换单元106的输出。然而,根据本实施例的视频编码设备中的各个单元的处理与图1中所示的根据第一实施例的视频编码设备中的各个单元的处理基本相同,从而将省略对各个单元的操作的说明。
第三实施例
图9是示出根据本发明的第三实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声注入到重构图像图片中的视频编码设备。
如图9中所示,根据本实施例的视频编码设备除了MB缓冲器101、频率变换单元102、量化单元103、熵编码器104、逆量化单元105、逆频率变换单元106、图片缓冲器107、解块滤波器单元108、解码图片缓冲器109、内预测单元110、帧间预测单元111、编码器控制单元112和开关100以外,还包括噪声注入器113。在本实施例中,从噪声注入器113输出的伪随机噪声被提供给解块滤波器单元108。
根据本实施例的视频编码设备与图28中所示的一般视频编码设备的不同之处在于提供了噪声注入器113并且噪声注入器113的输出被提供给解块滤波器单元108。从而,在以下描述中,将特别详细描述作为根据本实施例的视频编码设备的特征的解块滤波器单元108的操作。
MB缓冲器101中存储输入图像帧中的要编码的MB的像素值。
从提供自MB缓冲器101的输入MB中减去经由开关100从内预测单元110或帧间预测单元111提供来的预测信号。
内预测单元110利用存储在图片缓冲器107中的与当前帧具有相同显示时刻的重构图像生成内预测信号。
帧间预测单元111利用与当前帧具有不同显示时刻并被存储在解码图片缓冲器109中的参考图像来生成帧间预测信号。
编码器控制单元112把内预测信号和帧间预测信号与MB缓冲器101中的输入MB相比较,选择预测误差图像块的能量低的预测信号,并且控制开关100。关于所选预测信号的信息被提供给熵编码器104。
当预测误差图像块的能量低的预测信号是内预测信号时,关于所选预测信号的信息包括内预测模式和内预测方向。
编码器控制单元112基于输入MB或预测误差图像块来选择适用于预测误差图像块的频率变换的整数DCT的基底块大小。所选的整数DCT的基底大小被提供给频率变换单元102和熵编码器104。当预测误差图像块的能量低的预测信号是内预测信号时,所选的整数DCT的基底大小是与内预测模式相同的块大小。
频率变换单元102按所选的整数DCT的基底大小对预测误差图像块进行频率变换并将其从空间域变换到频率域。
量化单元103按与从编码器控制单元112提供来的量化参数相对应的量化步长对转换系数进行量化。
熵编码器104对关于所选预测信号的信息、整数DCT的基底大小和量化索引进行熵编码,并将其作为比特串或比特流输出。
逆量化单元105对从量化单元103提供来的量化索引进行逆量化以用于后续编码。
噪声注入器113对于提供给熵编码器104的预测误差图像块,监视关于预测信号的信息、整数DCT的基底大小和量化索引。
噪声注入器113基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合在不直接分析重构图像的情况下估计像素值的变动,并且确定伪随机噪声注入候选位置。例如,对于具有如下样式的预测误差图像块,相应的图像块的重构图像的像素值的变动较小:该样式具有平坦的预测类型、较大的整数DCT的基底大小以及较小数目的有意义的AC量化索引。从而,该预测误差图像块被确定为伪随机噪声注入候选位置,而其他的则被确定为伪随机噪声非注入候选位置。
噪声注入器113基于伪随机噪声注入候选位置生成伪随机噪声n(i)。即,在本实施例中,伪随机噪声注入候选位置相当于伪随机噪声注入位置。伪随机噪声n(i)可例如按照公式(1)基于线性同余法等等来生成。
噪声注入器113对于伪随机噪声非注入候选位置生成等于零的伪随机噪声。生成等于零的伪随机噪声表明伪随机噪声不被注入到预测误差图像块中。
逆变换单元106对量化代表值进行逆频率变换,并且注入从噪声注入器113提供来的伪随机噪声,以使其返回到原始空间域。
图片缓冲器107中存储预测信号与重构预测误差图像块相加的重构图像块,直到当前帧中包括的所有MB都被编码为止。
解块滤波器单元108向重构图像中的每个MB和其内部块之间的边缘应用低通滤波器,并且执行从存储在图片缓冲器107中的重构图像中去除块失真的处理。根据本实施例的解块滤波器单元108把从噪声注入器113提供来的伪随机噪声注入到低通滤波器的中间数据中以减轻轮廓和阶梯伪影。
下面将更具体描述解块滤波器单元108的操作。
图10和图11是用于说明解块滤波器单元108的操作的说明图。解块滤波器单元108如图10中所示相对于MB和其内部块之间的水平块边缘在水平方向上应用低通滤波器。如图11中所示,相对于MB和其内部块之间的垂直块边缘,在垂直方向上应用低通滤波器。水平块边缘是4×4块0、4、8、12的左侧的块边缘、4×4块1、5、9、13的左侧的块边缘、4×4块2、6、10、14的左侧的块边缘以及4×4块3、7、11、15的左侧的块边缘。垂直块边缘是4×4块0、1、2、3的上侧的块边缘、4×4块4、5、6、7的上侧的块边缘、4×4块8、9、10、11的上侧的块边缘以及4×4块12、13、14、15的上侧的块边缘。
在具有8×8块大小的整数DCT中,4×4块1、5、9、13的左侧的块边缘、4×4块3、7、11、15的左侧的块边缘、4×4块4、5、6、7的上侧的块边缘和4×4块12、13、14、15的上侧的块边缘不是块失真去除的对象。当具有16×16块大小的整数DCT的基底是通过用整数值近似具有16×16块大小的DCT基底而获得的基底时,只有4×4块0、4、8、12的左侧的块边缘和4×4块0、1、2、3的上侧的块边缘是块失真去除的对象。
对于对水平块边缘的低通滤波器处理,相对于块边缘的左侧的低通滤波器之前的像素被假定为p3、p2、p1、p0,该低通滤波器之后的像素被假定为P3、P2、P1、P0,相对于块边缘的右侧的低通滤波器之前的像素被假定为q0、q1、q2、q3,并且该低通滤波器之后的像素被假定为Q0、Q1、Q2、Q3。
对于对垂直块边缘的低通滤波器处理,相对于块边缘的上侧的低通滤波器之前的像素被假定为p3、p2、p1、p0,该低通滤波器之后的像素被假定为P3、P2、P1、P0,相对于块边缘的下侧的低通滤波器之前的像素被假定为q0、q1、q2、q3,并且该低通滤波器之后的像素被假定为Q0、Q1、Q2、Q3。
假定P3、P2、P1、P0、Q0、Q1、Q2、Q3分别被用p3、p2、p1、p0、q0.q1、q2、q3初始化。
水平方向和垂直方向上对于块边缘的低通滤波器处理是相同的。以下将在不特别区分水平方向和垂直方向的情况下描述对块边缘的低通滤波器处理。
参考非专利文献1中的8.7解块滤波器处理,在对块边缘的低通滤波器处理中,基于与邻居块相关联的展开信息来确定块边缘强度bS(0≤bS≤4)。图12是示出确定bS的处理的流程图。
如图12中所示,当在执行低通滤波器处理之前块边缘的左侧的像素p或者块边缘的右侧的像素q是内MB的像素时(步骤S101),解块滤波器单元108判定像素p和像素q是否是MB边缘的左右像素(步骤S102)。当像素p和像素q是MB边缘的左右像素时,bS被确定为4,而当它们不是MB边缘的左右像素时,bS被确定为3。
当像素p和像素q都不是内MB的像素时,解块滤波器单元108判定在像素p和像素q的哪一个中存在量化索引(步骤S103)。当在像素p和像素q的任一个中存在量化索引时,解块滤波器单元108确定bS为2。当在像素p和像素q中都不存在量化索引时,判定在像素p和像素q之间是否有帧间预测的不连续(步骤S104)。当帧间预测不连续时,确定bS为1,当而帧间预测不是不连续时,确定bS为0。
对确定bS的处理的更详细说明在非专利文献1的8.7.2对跨水平或垂直块边缘的一组样本的滤波处理中描述。
bS的值越大,就确定块边缘处的变动越大,并且就应用强度越高的低通滤波器。当bS=0时,不应用低通滤波器。
随后,仅对bS>0的块边缘,比较块边缘处的像素并且分析块边缘处的不连续性。将对bS=4和bS<4描述对块边缘处的不连续性的分析和使用伪随机噪声的低通滤波器。
在bS=4时,当符合|p0-q0|<α/4并且|p1-p0|<β时,利用伪随机噪声(按公式(1)的n(i)),分别通过用公式(18)、公式(19)和公式(20)表述的低通滤波器来更新P0、P1和P2。
P0=(p2+2×p1+2×p0+2×q0+q1+(n(pos-1)%8)+4)/8              (18)
P1=(p2+p1+p0+q0+(n(pos-2)%4)+2)/4                          (19)
P2=(2×p3+3×p2+p1+q0+q1+(n(pos-3)%8)+4)/8                 (20)
当|p0-q0|<α/4且|p1-p0|<β的条件不成立时,利用伪随机噪声(按公式(1)的n(i))通过用公式(21)表述的低通滤波器来更新P0。不更新P1和P2。
P0=(2×p1+p0+q0+(n(pos-1)%4)+2)/4                          (21)
其中量化参数Q的值越大,α和β就越大。pos是对要处理的块位置的坐标的位置。
在bS=4时,当符合|p0-q0|<α/4并且|q1-q0|<β时,利用伪随机噪声(按公式(1)的n(i)),分别通过用公式(22)、公式(23)和公式(24)表述的低通滤波器来更新Q0、Q1和Q2。
Q0=(q2+2×q1+2×q0+2×p0+p1+(n(pos)%8)+4)/8              (22)
Q1=(q2+q1+q0+p0+(n(pos+1)%4)+2)/4                        (23)
Q2=(2×q3+3×q2+q1+p0+p1+(n(pos+2)%8)+4/8                (24)
当|p0-q0|<α/4且|q1-q0|<β的条件不成立时,利用伪随机噪声(按公式(1)的n(i))通过用公式(25)表述的低通滤波器来更新Q0。不更新Q1和Q2。
Q0=(2×q1+q0+p0+(n(pos)%4)+2)/4                          (25)
在bS=4时,仅当符合|p0-p2|<β时,利用伪随机噪声(按公式(1)的n(i))通过用公式(26)表述的低通滤波器来更新P0。
P0=p0+Clip3{-tc,tc,(2×(q0-p0)+p1-q1+(n(pos-1)%8)+4/8}  (26)
其中tc是随着量化参数Q的值越大就越大的参数。
在bS=4时,仅当符合|q0-q2|<β时,利用伪随机噪声(按公式(1)的n(i))通过用公式(27)表述的低通滤波器来更新Q0。
Q0=q0-Clip3{-tc,tc,(2×(q0-p0)+p1-q1+(n(pos)%8)+4/8}    (27)
在公式(18)至(27)中,加上除以4或8所获得的余数,以使得伪随机噪声的影响强度是1个像素以下。伪随机噪声的影响强度是1个像素以下,从而限制由于注入的伪随机噪声引起的PSNR的降低。
如第一实施例中所述,当噪声注入器113估计与具有预测类型平坦、整数DCT的基底大小较大并且有意义的AC量化索引的数目较小的样式的预测误差图像块相对应的图像块的重构图像中的像素值的变动较小时,确定变动较大并且应用有意义的伪随机噪声的块边缘只在内MB的重构图像中。
从而,根据本实施例的解块滤波器单元108等同于采用了图13的流程图中所示的bS确定处理。这意味着解块滤波器单元108使能了在bS确定处理中基于重构图像块的展开时的信息来确定伪随机噪声注入位置的实现方式。
在图13中所示的处理中,解块滤波器单元108执行图12中所示的步骤S101至S104中的处理,并且当像素p和像素q是相对于MB边缘的左右像素时,还额外执行判定在像素p和像素q之间变动是否较小的处理(步骤S105A)。当变动不小时,确定bS为4,而当变动较小时,确定注入伪随机噪声并且确定bS为4。当像素p和像素q不是相对于MB边缘的左右像素时,执行判定在像素p和像素q之间变动是否较小的处理(步骤步骤S105B)。当变动不小时,确定bS为3,而当变动较小时,确定注入伪随机噪声并且确定bS为3。
在解块滤波器单元108的在bS确定处理中确定伪随机噪声注入候选位置的实现方式中,从图13中所示的bS确定流程可以看出,伪随机噪声仅被注入到被确定为伪随机噪声注入候选位置的块边缘中。
解码图片缓冲器109中存储从解块滤波器108提供来的被去除了块失真的重构图像图片作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。
根据本实施例的视频编码设备通过上述处理生成比特流。
与根据第一实施例的视频编码设备类似,根据本实施例的视频编码设备能够高效率地减轻高分辨率视频中的轮廓和阶梯伪影。
第四实施例
图14是示出根据本发明的第四实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声注入到重构预测误差图像块中的视频解码设备。根据本实施例的视频解码设备对应于根据第一实施例的视频编码设备。
如图14中所示,根据本实施例的视频解码设备除了熵解码器201、逆量化单元202、逆频率变换单元203、图片缓冲器204、解块滤波器单元205、解码图片缓冲器206、内预测单元207、帧间预测单元208、解码器控制单元209和开关200以外,还包括噪声注入器210。
熵解码器201对比特流进行熵解码并且输出关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引。与第一实施例类似,关于预测信号的信息是关于内预测模式、内预测方向和帧间预测的信息。
内预测单元207利用与当前解码的帧具有相同显示时刻并被存储在图片缓冲器204中的重构图像来生成内预测信号。
帧间预测单元208利用与当前解码的帧具有不同显示时刻并被存储在解码图片缓冲器206中的参考图像来生成帧间预测信号。
解码器控制单元209控制开关200并且基于经熵解码的帧间预测来提供内预测信号或帧间预测信号。
与根据第一实施例的噪声注入器113类似,噪声注入器210监视从熵解码器201提供来的关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引。
与根据第一实施例的噪声注入器113类似,噪声注入器210基于关于预测信号的信息、整数DCT的基底大小、量化索引或其任何组合在不直接分析重构图像的情况下估计像素值的变动,并且确定伪随机噪声注入候选位置。
噪声注入器210在伪随机噪声注入候选位置处生成有意义的伪随机噪声。即,在本实施例中,伪随机噪声注入候选位置相当于伪随机噪声注入位置。在伪随机噪声非注入候选位置处生成等于零的伪随机噪声。生成等于零的伪随机噪声表明伪随机噪声不被注入到要解码的MB的预测误差图像块中。
逆量化单元202对从熵解码器201提供来的量化索引进行逆量化。
与根据第一实施例的逆变换单元106类似,逆变换单元203对量化代表值进行逆频率变换,并且注入从噪声注入器210提供来的伪随机噪声,以返回到原始空间域。
图片缓冲器204中存储预测信号与被返回到原始空间域的重构预测误差图像块相加的重构图像块,直到当前解码的帧中包括的所有MB都被解码为止。
在当前帧中包括的所有MB都被解码之后,解块滤波器单元205从存储在图片缓冲器204中的重构图像中去除块失真。
解码图片缓冲器206中存储从解块滤波器单元205提供来的被去除了块失真的重构图像作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。参考图像图片在适当的显示定时作为展开帧被输出。
根据本实施例的视频解码设备通过上述处理展开比特流。
根据本实施例的视频解码设备在不比较重构图像的所有像素值并分析像素值的变动的情况下通过基于展开时的信息估计重构图像中的像素值的变动的量值来确定用于高效率地减轻在压缩和展开高分辨率视频时成问题的轮廓和阶梯伪影的伪随机噪声注入候选位置。从而,根据本实施例的视频解码设备可以高效率地减轻高分辨率视频中的轮廓和阶梯伪影。
第五实施例
图15是示出根据本发明的第五实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声不是注入到重构预测误差图像块中而是注入到重构图像块中的视频解码设备。根据本实施例的视频解码设备对应于根据第二实施例的视频编码设备。
如图15中所示,根据本实施例的视频解码设备除了熵解码器201、逆量化单元202、逆频率变换单元203、图片缓冲器204、解块滤波器单元205、解码图片缓冲器206、内预测单元207、帧间预测单元208、解码器控制单元209和开关200以外,还包括噪声注入器210。
本实施例与第四实施例的不同之处在于从噪声注入器210提供来的伪随机噪声被加到逆频率变换单元203的输出。然而,根据本实施例的视频解码设备中的各个单元的处理与图14中所示的根据第四实施例的视频解码设备中的各个单元的处理基本相同,从而将省略对各个单元的操作的说明。
第六实施例
图16是示出根据本发明的第六实施例的框图,其示出了用于基于重构图像块的展开时的信息来确定伪随机噪声注入候选位置并且将伪随机噪声注入到重构图像图片中的视频解码设备。根据本实施例的视频解码设备对应于根据第三实施例的视频编码设备。
如图16中所示,根据本实施例的视频解码设备除了熵解码器201、逆量化单元202、逆频率变换单元203、图片缓冲器204、解块滤波器单元205、解码图片缓冲器206、内预测单元207、帧间预测单元208、解码器控制单元209和开关200以外,还包括噪声注入器210。在本实施例中,从噪声注入器210输出的伪随机噪声被提供给解块滤波器单元205。
根据本实施例的噪声注入器210等同于根据第一实施例的视频编码设备中的噪声注入器113。根据本实施例的解块滤波器单元205等同于根据第三实施例的视频编码设备中的使用伪随机噪声的解块滤波器单元108。
熵解码器201对比特流进行熵解码并且输出关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引。与第一实施例类似,关于预测信号的信息是关于内预测模式、内预测方向和帧间预测的信息。
内预测单元207利用与当前解码的帧具有相同显示时刻并被存储在图片缓冲器204中的重构图像来生成内预测信号。
帧间预测单元208利用与当前解码的帧具有不同显示时刻并被存储在解码图片缓冲器206中的参考图像来生成帧间预测信号。
解码器控制单元209控制开关200并且基于经熵解码的帧间预测来提供内预测信号或帧间预测信号。
噪声注入器210监视从熵解码器201提供来的关于要解码的MB的预测信号的信息、整数DCT的基底大小和量化索引。
噪声注入器210基于关于预测信号的信息、整数DCT的基底大小、量化索引或其任何组合在不直接分析重构图像的情况下估计像素值的变动,并且确定伪随机噪声注入候选位置。
噪声注入器210在伪随机噪声注入候选位置处生成有意义的伪随机噪声。即,在本实施例中,伪随机噪声注入候选位置相当于伪随机噪声注入位置。在伪随机噪声非注入候选位置处生成等于零的伪随机噪声。生成等于零的伪随机噪声表明伪随机噪声不被注入到要解码的MB的预测误差图像块中。
逆量化单元202对从熵解码器201提供来的量化索引进行逆量化。
逆变换单元203对量化代表值进行逆频率变换以返回到原始空间域。
图片缓冲器204中存储预测信号与重构预测误差图像块相加的重构图像块,直到当前解码的帧中包括的所有MB都被编码为止。
解块滤波器单元205使用从噪声注入器210提供来的伪随机噪声来从存储在图片缓冲器204中的重构图像中去除块失真。
解块滤波器单元205向重构图像中的每个MB和其内部块之间的边缘应用低通滤波器,并且从存储在图片缓冲器204中的重构图像中去除块失真。根据本实施例的解块滤波器单元205把从噪声注入器210提供来的伪随机噪声注入到低通滤波器的中间数据中,从而减轻轮廓和阶梯伪影。
解码图片缓冲器206中存储从解块滤波器单元205提供来的利用伪随机噪声去除了块失真的重构图像作为参考图像图片。参考图像图片的图像被利用来作为用于生成帧间预测信号的参考图像。参考图像图片在适当的显示定时作为展开帧被输出。
根据本实施例的视频解码设备通过上述处理展开比特流。
与根据第四实施例的视频解码设备类似,根据本实施例的视频解码设备能够高效率地减轻高分辨率视频中的轮廓和阶梯伪影。
根据第二实施例的视频编码设备基于重构图像块的展开信息来确定伪随机噪声注入位置并且通过直接将伪随机噪声注入到重构图像块中来将伪随机噪声注入到重构图像中。与根据第二实施例的视频编码设备相对应的根据第五实施例的视频解码设备基于重构图像块的展开信息来确定伪随机噪声注入位置并且通过直接将伪随机噪声注入到重构图像块中来将伪随机噪声注入到重构图像中。
如上所述,根据第二实施例和第五实施例的噪声注入器基于作为重构图像块的展开信息的关于预测信号的信息、整数DCT的基底大小或量化索引来估计重构图像块中的像素值的变动的量值,并且确定被估计具有大变动的重构图像块作为伪随机噪声注入位置。在视频解码设备中,展开信息也是在获得重构图像或展开图像之前通过熵解码获得的。
例如,具有如下样式的重构图像块是在块内像素值的变动较小的展开图像或者在块边缘上像素值的变动较小的展开图像:该样式具有平坦预测信号的预测类型、整数DCT的基底大小较大并且有意义的AC量化索引的数目较小。
可以考虑其他实施例,其中噪声注入器采取被估计具有大变动的重构图像块作为伪随机噪声注入候选位置,仅对候选位置处的重构图像块实际计算像素值的变动,并且基于实际计算出的像素值的变动的量值来确定伪随机噪声注入位置。当这样执行处理时,伪随机噪声被注入到重构图像中的更适当的位置处并且对于轮廓和阶梯伪影的人类视觉敏感度可被降低。
具体而言,噪声注入器对于伪随机噪声注入候选位置处的重构图像块中的每个位置(i,j){0≤i≤bsizex-1,0≤j≤bsizey-1}处的像素xij,按照公式(28)来计算周边像素值(xi+m,j+n{-w≤m≤w,-h≤n≤h})的变动pVi,j
[式13]
pV i , j = Σ n = - h h Σ m = - w w { | x i + m , j + n - x i + m + 1 , j + n | + | x i + m , j + n - x i + m , j + n + 1 | } . . . ( 28 )
例如,基于公式(29),伪随机噪声ni,j仅被注入到pVi,j小于预定阈值th的位置处的像素xij中。
[式14]
Figure BPA00001563566700282
其中bsizex是整数DCT的基底大小的水平大小,并且bsizey是整数DCT的基底大小的垂直大小。伪随机噪声不被注入到不在候选位置处的重构图像块中的重构图像中。
也可考虑一实施例,其中,对于展开信息利用量化参数,并且对于具有小量化步长的重构图像将伪随机噪声调整得较小以不注入伪随机噪声。利用该结构,在具有小量化步长的高比特率编码中,可以减轻由于注入的伪随机噪声引起的不利影响。
当用于采取被估计具有大变动的重构图像块作为伪随机噪声注入候选位置、仅对候选位置处的重构图像块实际计算像素值的变动并且基于实际计算出的像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第二实施例的视频编码设备和根据第五实施例的视频解码设备时,视频编码设备的结构如图17中所示,并且视频解码设备的结构如图18中所示。
即,如图17中所示,在视频编码设备中,噪声注入器113基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不直接分析重构图像的情况下,估计像素值的变动,并且基于估计结果来确定伪随机噪声注入候选位置。在伪随机噪声注入候选位置处计算重构图像的像素值的变动。如图18中所示,在视频解码设备中,噪声注入器210基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不直接分析重构图像的情况下,估计像素值的变动,并且基于估计结果来确定伪随机噪声注入候选位置。在伪随机噪声注入候选位置处计算重构图像的像素值的变动。
同样,对于第三和第六实施例,噪声注入器也可采取被估计具有大变动的重构图像块作为伪随机噪声注入候选位置,仅对候选位置处的重构图像块实际计算像素值的变动,并且基于实际计算出的像素值的变动的量值来确定伪随机噪声注入位置。
具体而言,在第三实施例中,当解块滤波器设备通过bS确定处理确定伪随机噪声注入位置时,从图13中所示的bS确定处理可以看出,仅对被确定为伪随机噪声注入候选位置的块边缘,基于公式(30)比较展开图像中的像素以确认邻居像素的变动npV,并且可以仅当邻居像素的变动npV等于或小于预定的阈值th时才通过低通滤波器处理来注入伪随机噪声。
npV=|p3-p2|+|p2-p1|+|p1-p0|+|p0-q0|+|q0-q1|+|q1-q2|+|q2-p3|   (30)
利用上述处理,仅对被确定为伪随机噪声注入候选位置的块边缘计算像素变动,从而可以利用期望值的更少量的计算来确定更适当的伪随机噪声注入位置。
当用于采取被估计具有大变动的重构图像块作为伪随机噪声注入候选位置、仅对候选位置处的重构图像块实际计算像素值的变动并且基于实际计算出的像素值的变动的量值来确定伪随机噪声注入位置的噪声注入器被应用到根据第三实施例的视频编码设备和根据第六实施例的视频解码设备时,视频编码设备的结构如图19中所示,并且视频解码设备的结构如图20中所示。
即,如图19中所示,在视频编码设备中,噪声注入器113基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不直接分析重构图像的情况下,估计像素值的变动,并且基于估计结果来确定伪随机噪声注入候选位置。仅对伪随机噪声注入候选位置处的边缘确认邻居像素的变动npV。如图20中所示,在视频解码设备中,噪声注入器210基于关于所选预测信号的信息、整数DCT的基底大小、量化索引或其任何组合,在不直接分析重构图像的情况下,估计像素值的变动,并且基于估计结果来确定伪随机噪声注入候选位置。仅对伪随机噪声注入候选位置处的边缘确认邻居像素的变动npV。
当在平坦区域注入伪随机噪声时,后续平坦区域中的内预测的性能可能由于该影响而降低。
为了防止内预测的性能的降低,可以考虑一实施例,其中,例如,根据第一、第二、第四和第五实施例的噪声注入器不把伪随机噪声注入到内预测的被参考图像(相对于后续图像块的参考图像)的位置处的重构图像中。内预测的被参考图像相当于图21的说明图中的L形区域。
可以考虑其他实施例,其中,在当块边缘处变动较大时应用具有更高强度的低通滤波器的第三和第六实施例中,内预测设备通过更强的低通滤波器利用重构图像的经平滑的周边像素作为参考像素。
在每个实施例中,在噪声注入器中可以使用任何生成方法作为伪随机噪声生成方法,但希望按视频编码或视频解码的预定单位复位伪随机噪声生成器。
图22是用于说明按视频编码或视频解码的预定单位复位伪随机噪声生成器的其他实施例的说明图。
视频编码或视频解码的预定单位可以是每个帧的开头MB(参见图22(A))、每个帧中的多个MB(参见图22(B))、利用重构图像中的像素之间的依从关系的MB对,等等。按视频编码或视频解码的预定单位复位伪随机噪声生成器,以使得例如在图22(A)中所示的示例中可以改善对于视频解码的随机可访问性,并且在图22(B)中所示的示例中可以改善对于视频编码和视频解码的并行可处理性。
例如,编码器控制单元112可以按视频编码的预定单位基于线性同余法用预定的值来复位伪随机噪声生成器中的伪随机噪声n(i)的初始值n(0)。视频编码设备可将用于复位的预定值或用于标识该预定值的信息嵌入在比特流中。视频解码设备可读取嵌入在比特流中的用于复位的预定值或用于标识该像素值的信息,以基于该信息生成伪随机噪声,从而生成与视频编码侧相同的伪随机噪声,以使得在视频编码和视频解码之间能够避免由于伪随机噪声引起的图像的失配。
由帧间预测引起的预测误差在静止或平行移动区域中几乎是零。然而,可以考虑注入伪随机噪声而使得在静止或平行移动区域中预测误差是非零的。从而,可以考虑其他实施例,其中,为了防止这种情形,在每个实施例中,噪声注入器仅对不使用帧间预测的I帧将伪随机噪声注入到重构图像中。
每个实施例可用硬件构成,但也可用计算机程序来实现。
图23中所示的信息处理系统包括处理器1001、程序存储器1002、用于在其中存储视频数据的存储介质1003、以及用于在其中存储比特流的存储介质1004。存储介质1003和存储介质1004可以是分开的存储介质或者可以是由同一存储介质构成的一个存储区域。诸如硬盘之类的磁存储介质可用于这些存储介质。
在图23中所示的信息处理系统中,程序存储器1002中存储用于实现图1、图8、图9和图14至20中所示的各个块(除了缓冲器块以外)的功能的程序。处理器1001根据程序存储器1002中存储的程序执行处理以实现图1、图8、图9和图14至20中所示的视频编码设备或视频解码设备的功能。
图24是示出根据本发明的视频编码设备的主要结构的框图。如图24中所示,根据本发明的视频编码设备包括:逆量化装置12,用于对量化索引进行逆量化以获得量化代表值;逆频率变换装置13,用于对由逆量化装置12获得的量化代表值进行逆变换以获得重构图像块;以及噪声注入装置14,用于基于重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到伪随机噪声注入位置处的图像中。
在每个实施例中,还公开了一种视频编码设备,其中噪声注入装置基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置。
在每个实施例中,还公开了一种视频编码设备,其中噪声注入装置确定具有如下样式的重构图像块作为伪随机噪声注入位置:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
在每个实施例中,还公开了一种视频编码设备,其中噪声注入装置注入根据量化步长调整了的伪随机噪声。
在每个实施例中,还公开了一种视频编码设备,其中噪声注入装置不将伪随机噪声注入到内预测的参考图像位置处的图像中。
在每个实施例中,还公开了一种视频编码设备,其包括复位装置(例如由编码器控制单元112实现),用于按视频编码的预定单位来复位噪声注入装置。
图25是示出根据本发明的视频解码设备的主要结构的框图。如图25中所示,根据本发明的视频解码设备包括:熵解码装置20,用于对比特串进行熵解码以获得量化索引;预测装置21,用于对图像块计算内预测信号或帧间预测信号;逆量化装置22,用于对量化索引进行逆量化以获得量化代表值;逆频率变换装置23,用于对由逆量化装置22获得的量化代表值进行逆变换以获得重构预测误差图像块;重构装置24,用于将内预测信号或帧间预测信号加到由逆频率变换装置获得的重构预测误差图像块以获得重构图像块;以及噪声注入装置25,用于基于重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到伪随机噪声注入位置处的图像中。
在每个实施例中,还公开了一种视频解码设备,其中,噪声注入装置基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置。
在每个实施例中,还公开了一种视频解码设备,其中,噪声注入装置确定具有如下样式的重构图像块作为伪随机噪声注入位置:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
在每个实施例中,还公开了一种视频解码设备,其中噪声注入装置注入根据量化步长调整了的伪随机噪声。
在每个实施例中,还公开了一种视频解码设备,其中噪声注入装置不将伪随机噪声注入到内预测的参考图像位置处的图像中。
在每个实施例中,还公开了一种视频解码设备,其包括复位装置(例如由解码器控制单元209实现),用于按视频解码的预定单位来复位噪声注入装置。
图26是示出根据本发明的视频编码方法的主要步骤的流程图。如图26中所示,在根据本发明的视频编码方法中,对量化索引进行逆量化以获得量化代表值,对所获得的量化代表值进行逆变换以获得重构图像块,基于重构图像块的展开信息来确定伪随机噪声注入位置,并且将伪随机噪声注入到伪随机噪声注入位置处的图像中。
图27是示出根据本发明的视频解码方法的主要步骤的流程图。如图27中所示,在根据本发明的视频解码方法中,对比特串进行熵解码以获得量化索引(步骤S20),对图像块计算内预测信号或帧间预测信号(步骤S21),对量化索引进行逆量化以获得量化代表值(步骤S22),对所获得的量化代表值进行逆变换以获得重构预测误差图像块(步骤S23),将内预测信号或帧间预测信号加到重构预测误差图像块以获得重构图像块(步骤S24),并且基于重构图像块的展开信息来确定伪随机噪声注入位置以将伪随机噪声注入到伪随机噪声注入位置处的图像中(步骤S25)。
以上已参考实施例和示例描述了本发明,但本发明并不限于这些实施例和示例。本领域技术人员将会理解,在本发明的范围内,可以对本发明的结构和细节进行各种修改。
本申请基于2009年11月30日提交的日本专利申请No.2009-272178要求优先权,这里通过引用将该日本专利申请的公开内容全部并入。
标号列表
12:逆量化装置
13:逆频率变换装置
14:噪声注入装置
20:量化索引计算装置
21:预测装置
22:逆量化装置
23:逆频率变换装置
24:重构装置
25:噪声注入装置
100:开关
101:MB缓冲器
102:频率变换单元
103:量化单元
104:熵编码器
105:逆量化单元
106:逆频率变换单元
107:图片缓冲器
108:解块滤波器单元
109:解码图片缓冲器
110:内预测单元
111:帧间预测单元
112:编码器控制单元
113:噪声注入器
200:开关
201:熵解码器单元
202:逆量化单元
203:逆频率变换单元
204:图片缓冲器
205:解块滤波器单元
206:解码图片缓冲器
207:内预测单元
208:帧间预测单元
209:解码器控制单元
210:噪声注入器
1001:处理器
1002:程序存储器
1003:存储介质
1004:存储介质

Claims (45)

1.一种视频编码设备,包括:
逆量化装置,用于对量化索引进行逆量化以获得量化代表值;
逆频率变换装置,用于对由所述逆量化装置获得的量化代表值进行逆变换以获得重构图像块;以及
噪声注入装置,用于基于所述重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到所述伪随机噪声注入位置处的图像中。
2.根据权利要求1所述的视频编码设备,还包括:
预测装置,用于对图像块计算内预测信号或帧间预测信号;
预测误差计算装置,用于从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块;
频率变换装置,用于对由所述预测误差计算装置获得的预测误差图像块进行变换以获得转换系数;
量化装置,用于对由所述频率变换装置获得的转换系数进行量化以获得量化索引;以及
熵编码装置,用于对由所述量化装置获得的量化索引进行熵编码以输出比特串,
其中,所述逆频率变换装置对所述量化代表值进行逆变换以计算重构预测误差图像块并且将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块。
3.根据权利要求1所述的视频编码设备,还包括:
预测装置,用于对图像块计算内预测信号或帧间预测信号;
预测误差计算装置,用于从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块;
频率变换装置,用于对由所述预测误差计算装置获得的预测误差图像块进行变换以获得转换系数;
量化装置,用于对由所述频率变换装置获得的转换系数进行量化以获得量化索引;以及
熵编码装置,用于对由所述量化装置获得的量化索引进行熵编码以输出比特串,
其中,所述逆频率变换装置用于对所述量化代表值进行逆变换以计算重构预测误差图像块并且将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块,
所述视频编码设备还包括重构图像存储装置,用于存储由所述逆频率变换装置获得的重构图像块作为重构图像图片;以及
块失真去除装置,用于去除所述重构图像图片的块失真,
其中,所述噪声注入装置用于将伪随机噪声注入到被去除了块失真的重构图像图片中。
4.根据权利要求1至3的任何一项所述的视频编码设备,其中,所述噪声注入装置基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置。
5.根据权利要求4所述的视频编码设备,其中,所述噪声注入装置确定具有如下样式的重构图像块作为伪随机噪声注入位置:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
6.根据权利要求1至5的任何一项所述的视频编码设备,其中,所述噪声注入装置注入根据量化步长调整了的伪随机噪声。
7.根据权利要求1至6的任何一项所述的视频编码设备,其中,所述噪声注入装置不将伪随机噪声注入到内预测的参考图像位置处的图像中。
8.根据权利要求1至7的任何一项所述的视频编码设备,还包括复位装置,用于按视频编码的预定单位来复位所述噪声注入装置。
9.一种视频解码设备,包括:
熵解码装置,用于对比特串进行熵解码以获得量化索引;
预测装置,用于对图像块计算内预测信号或帧间预测信号;
逆量化装置,用于对所述量化索引进行逆量化以获得量化代表值;
逆频率变换装置,用于对由所述逆量化装置获得的量化代表值进行逆变换以获得重构预测误差图像块;
重构装置,用于将内预测信号或帧间预测信号加到由所述逆频率变换装置获得的重构预测误差图像块以获得重构图像块;以及
噪声注入装置,用于基于所述重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到所述伪随机噪声注入位置处的图像中。
10.根据权利要求9所述的视频解码设备,还包括:
重构图像存储装置,用于存储重构图像块作为重构图像图片;以及
块失真去除装置,用于去除所述重构图像图片的块失真,
其中,所述噪声注入装置将伪随机噪声注入到被去除了块失真的重构图像图片中。
11.根据权利要求9或10所述的视频解码设备,其中,所述噪声注入装置基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置。
12.根据权利要求11所述的视频解码设备,其中,所述噪声注入装置确定具有如下样式的重构图像块作为伪随机噪声注入位置:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
13.根据权利要求9至12的任何一项所述的视频解码设备,其中,所述噪声注入装置注入根据量化步长调整了的伪随机噪声。
14.根据权利要求9至13的任何一项所述的视频解码设备,其中,所述噪声注入装置不将伪随机噪声注入到内预测的参考图像位置处的图像中。
15.根据权利要求9至14的任何一项所述的视频解码设备,还包括复位装置,用于按视频解码的预定单位来复位所述噪声注入装置。
16.一种视频编码方法,包括:
对量化索引进行逆量化以获得量化代表值;
对所获得的量化代表值进行逆变换以获得重构图像块;以及
基于所述重构图像块的展开信息来确定伪随机噪声注入位置,并将伪随机噪声注入到所述伪随机噪声注入位置处的图像中。
17.根据权利要求16所述的视频编码方法,还包括:
对图像块计算内预测信号或帧间预测信号;
从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块;
对所获得的预测误差图像块进行变换以获得转换系数;
对所获得的转换系数进行量化以获得量化索引;
对所获得的量化索引进行熵编码以输出比特串;以及
对所述量化代表值进行逆变换以计算重构预测误差图像块并将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块。
18.根据权利要求16所述的视频编码方法,还包括:
对图像块计算内预测信号或帧间预测信号;
从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块;
对所获得的预测误差图像块进行转换以获得转换系数;
对所获得的转换系数进行量化以获得量化索引;
对所获得的量化索引进行熵编码以输出比特串;以及
对所述量化代表值进行逆变换以计算重构预测误差图像块并将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块;
在重构图像存储装置中存储所述重构图像块作为重构图像图片;
去除所述重构图像图片的块失真;以及
将伪随机噪声注入到被去除了块失真的重构图像图片中。
19.根据权利要求16至18的任何一项所述的视频编码方法,还包括:
基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置。
20.根据权利要求19所述的视频编码方法,还包括:
确定具有如下样式的重构图像块作为伪随机噪声注入位置:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
21.根据权利要求16至20的任何一项所述的视频编码方法,还包括:
注入根据量化步长调整了的伪随机噪声。
22.根据权利要求16至21的任何一项所述的视频编码方法,还包括:
不将伪随机噪声注入到内预测的参考图像位置处的图像中。
23.根据权利要求16至22的任何一项所述的视频编码方法,还包括:
生成按视频编码的预定单位复位的伪随机噪声作为伪随机噪声。
24.一种视频解码方法,包括:
对比特串进行熵解码以获得量化索引;
对图像块计算内预测信号或帧间预测信号;
对所述量化索引进行逆量化以获得量化代表值;
对所获得的量化代表值进行逆变换以获得重构预测误差图像块;
将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块;以及
基于所述重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到所述伪随机噪声注入位置处的图像中。
25.根据权利要求24所述的视频解码方法,还包括:
在重构图像存储装置中存储所述重构图像块作为重构图像图片;
去除所述重构图像图片的块失真;以及
将伪随机噪声注入到被去除了块失真的重构图像图片中。
26.根据权利要求24或25所述的视频解码方法,还包括:
基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置。
27.根据权利要求26所述的视频解码方法,还包括:
确定具有如下样式的重构图像块作为伪随机噪声注入位置:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
28.根据权利要求24至27的任何一项所述的视频解码方法,还包括:
注入根据量化步长调整了的伪随机噪声。
29.根据权利要求24至28的任何一项所述的视频解码方法,还包括:
不将伪随机噪声注入到内预测的参考图像位置处的图像中。
30.根据权利要求24至29的任何一项所述的视频解码方法,还包括:
生成按视频解码的预定单位复位的伪随机噪声作为伪随机噪声。
31.一种视频编码程序,用于使得计算机执行:
对量化索引进行逆量化以获得量化代表值的处理;
对所获得的量化代表值进行逆变换以获得重构图像块的处理;以及
基于所述重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到所述伪随机噪声注入位置处的图像中的处理。
32.根据权利要求31所述的视频编码程序,用于使得计算机执行:
对图像块计算内预测信号或帧间预测信号的处理;
从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块的处理;
对所获得的预测误差图像块进行转换以获得转换系数的处理;
对所获得的转换系数进行量化以获得量化索引的处理;
对所获得的量化索引进行熵编码以输出比特串的处理;以及
对所述量化代表值进行逆变换以计算重构预测误差图像块并将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块的处理。
33.根据权利要求31所述的视频编码程序,用于使得计算机执行:
对图像块计算内预测信号或帧间预测信号的处理;
从图像块中减去内预测信号或帧间预测信号以获得预测误差图像块的处理;
对所获得的预测误差图像块进行转换以获得转换系数的处理;
对所获得的转换系数进行量化以获得量化索引的处理;
对所获得的量化索引进行熵编码以输出比特串的处理;以及
对所述量化代表值进行逆变换以计算重构预测误差图像块并将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块的处理;
在重构图像存储装置中存储通过所述逆频率变换处理获得的重构图像块作为重构图像图片的处理;
去除所述重构图像图片的块失真的处理;以及
将伪随机噪声注入到被去除了块失真的重构图像图片中的处理。
34.根据权利要求31至33的任何一项所述的视频编码程序,用于使得计算机执行:
基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置的处理。
35.根据权利要求34所述的视频编码程序,用于使得计算机执行确定具有如下样式的重构图像块作为伪随机噪声注入位置的处理:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
36.根据权利要求31至35的任何一项所述的视频编码程序,用于使得计算机注入根据量化步长调整了的伪随机噪声。
37.根据权利要求31至36的任何一项所述的视频编码程序,用于使得计算机不将伪随机噪声注入到内预测的参考图像位置处的图像中。
38.根据权利要求31至37的任何一项所述的视频编码程序,用于使得计算机生成按视频编码的预定单位复位的伪随机噪声作为伪随机噪声。
39.一种视频解码程序,用于使得计算机执行:
对比特串进行熵解码以获得量化索引的处理;
对图像块计算内预测信号或帧间预测信号的处理;
对所述量化索引进行逆量化以获得量化代表值的处理;
对所获得的量化代表值进行逆变换以获得重构预测误差图像块的处理;
将内预测信号或帧间预测信号加到所述重构预测误差图像块以获得重构图像块的处理;以及
基于所述重构图像块的展开信息来确定伪随机噪声注入位置并将伪随机噪声注入到所述伪随机噪声注入位置处的图像中的处理。
40.根据权利要求39所述的视频解码程序,用于使得计算机执行:
在重构图像存储装置中存储重构图像块作为重构图像图片的处理;
去除所述重构图像图片的块失真的处理;以及
将伪随机噪声注入到被去除了块失真的重构图像图片中的处理。
41.根据权利要求39或40所述的视频解码程序,用于使得计算机执行基于作为展开信息的预测类型、转换块大小、量化索引或其任何组合来确定伪随机噪声注入位置的处理。
42.根据权利要求41所述的视频解码程序,用于使得计算机执行确定具有如下样式的重构图像块作为伪随机噪声注入位置的处理:该样式具有平坦的预测类型、转换块大小较大并且有意义的AC量化索引的数目较小。
43.根据权利要求39至42的任何一项所述的视频解码程序,用于使得计算机注入根据量化步长调整了的伪随机噪声。
44.根据权利要求39至43的任何一项所述的视频解码程序,用于使得计算机不将伪随机噪声注入到内预测的参考图像位置处的图像中。
45.根据权利要求39至44的任何一项所述的视频解码程序,用于使得计算机生成按视频解码的预定单位复位的伪随机噪声作为伪随机噪声。
CN2010800543807A 2009-11-30 2010-10-27 视频编码设备和视频解码设备 Pending CN102640494A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-272178 2009-11-30
JP2009272178 2009-11-30
PCT/JP2010/006343 WO2011064944A1 (ja) 2009-11-30 2010-10-27 映像符号化装置および映像復号装置

Publications (1)

Publication Number Publication Date
CN102640494A true CN102640494A (zh) 2012-08-15

Family

ID=44066060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800543807A Pending CN102640494A (zh) 2009-11-30 2010-10-27 视频编码设备和视频解码设备

Country Status (5)

Country Link
US (1) US20130114690A1 (zh)
EP (1) EP2509317A4 (zh)
JP (1) JPWO2011064944A1 (zh)
CN (1) CN102640494A (zh)
WO (1) WO2011064944A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
KR101892329B1 (ko) 2011-11-03 2018-08-27 톰슨 라이센싱 이미지 정교화에 기초한 비디오 인코딩 및 디코딩
US9872044B2 (en) * 2013-05-15 2018-01-16 Texas Instruments Incorporated Optimized edge order for de-blocking filter
US10027963B2 (en) 2013-11-12 2018-07-17 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
US9877034B2 (en) 2014-04-14 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Pipelined video decoder system
KR102631308B1 (ko) 2016-02-16 2024-01-30 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US9832351B1 (en) * 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204357A (ja) * 2000-12-28 2002-07-19 Nikon Corp 画像復号化装置、画像符号化装置、および記録媒体
CN1857004A (zh) * 2003-09-23 2006-11-01 汤姆森特许公司 视频补偿噪声添加技术
CN1868216A (zh) * 2003-10-14 2006-11-22 汤姆森特许公司 用于添加比特-精确舒适噪声的技术
JP2007324923A (ja) * 2006-05-31 2007-12-13 Sharp Corp Mpeg画質補正装置、及びmpeg画質補正方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746865B2 (ja) * 1985-10-22 1995-05-17 ソニー株式会社 テレビジョン信号の高能率符号化及び復号化方法
JPH06284096A (ja) * 1993-03-25 1994-10-07 Sharp Corp 予測符号化装置および予測復号化装置
JP3896635B2 (ja) * 1997-05-12 2007-03-22 ソニー株式会社 画像データ変換装置及び方法、予測係数生成装置及び方法
US20020071140A1 (en) * 1998-06-03 2002-06-13 Takashi Suzuki Threshold matrix, and method and apparatus of reproducing gray levels using threshold matrix
EP1095505A1 (en) * 1998-07-01 2001-05-02 Equator Technologies, Inc. Image processing circuit and method for modifying a pixel value
WO2003084234A2 (en) * 2002-03-22 2003-10-09 Realnetworks, Inc. Video picture compression artifacts reduction via filtering and dithering
WO2005020585A1 (en) 2003-08-20 2005-03-03 Thomson Licensing S.A. Video comfort noise addition technique
US7680356B2 (en) * 2003-10-14 2010-03-16 Thomson Licensing Technique for bit-accurate comfort noise addition
US8013888B2 (en) * 2005-02-14 2011-09-06 Broadcom Corporation Method and system for implementing film grain insertion
GB2432069A (en) * 2005-11-03 2007-05-09 Tandberg Television Asa Reducing block noise by applying a dither signal in areas of low spatial detail
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
JP5203036B2 (ja) 2008-05-08 2013-06-05 古河電気工業株式会社 接続構造
US8270498B2 (en) * 2009-03-26 2012-09-18 Apple Inc. Dynamic dithering for video compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204357A (ja) * 2000-12-28 2002-07-19 Nikon Corp 画像復号化装置、画像符号化装置、および記録媒体
CN1857004A (zh) * 2003-09-23 2006-11-01 汤姆森特许公司 视频补偿噪声添加技术
CN1868216A (zh) * 2003-10-14 2006-11-22 汤姆森特许公司 用于添加比特-精确舒适噪声的技术
JP2007324923A (ja) * 2006-05-31 2007-12-13 Sharp Corp Mpeg画質補正装置、及びmpeg画質補正方法

Also Published As

Publication number Publication date
EP2509317A1 (en) 2012-10-10
US20130114690A1 (en) 2013-05-09
EP2509317A4 (en) 2016-03-09
WO2011064944A1 (ja) 2011-06-03
JPWO2011064944A1 (ja) 2013-04-11

Similar Documents

Publication Publication Date Title
RU2564245C2 (ru) Адаптивная поддержка для интерполяционных значений субпикселя для кодирования видеосигнала
KR101812395B1 (ko) 비디오 데이터의 컨텍스트 적응 코딩
JP6266535B2 (ja) ビデオコード化において変換係数データをコード化するためのコンテキストの決定
EP2647203B1 (en) Separately coding the position of a last significant coefficient of a video block in video coding
CN104185989B (zh) 用于帧内预测残差的二值化方案和hevc中无损编码中的改进帧内预测
TWI507017B (zh) 在視訊寫碼中之係數掃描
CN106105198B (zh) 对视频数据译码的方法、装置以及计算机可读介质
CN103299620B (zh) 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码
CN102640497A (zh) 视频编码设备和视频解码设备
TWI520584B (zh) 用信號發送用於一葉層級編碼單元之子集的轉換係數的語法元素
US20120093226A1 (en) Adaptive motion vector resolution signaling for video coding
CN102640494A (zh) 视频编码设备和视频解码设备
TW201729595A (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
US20110206118A1 (en) Data Compression for Video
US20120170650A1 (en) Low complexity interpolation filtering with adaptive tap size
US20120163448A1 (en) Coding the position of a last significant coefficient of a video block in video coding
JP2014209743A (ja) 幾何学的動き区分のための固定小数点実装形態
JP2017513342A (ja) ゼロアウトされた係数を使用した低複雑な順変換のためのシステムおよび方法
KR20130095310A (ko) 비디오 코딩에서 블록에 대한 스캐닝 순서에 기초하여 비디오 블록 내의 마지막 유효 계수의 포지션을 코딩
KR20140110957A (ko) 비디오 코딩을 위한 모션 벡터 예측의 수행
KR102218696B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
US9124901B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
KR20130011878A (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR20110043510A (ko) 영상 부호화/복호화 장치 및 방법
TW201352010A (zh) 導出最末位置寫碼之上下文以供視訊寫碼

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Chono Keiichi

Inventor after: Senda Yuzo

Inventor after: No Keiichi, Senda Hiromitajimejuji, Aoki Keishi, Senzaki Kenta

Inventor after: Aoki Hirofumi

Inventor after: Senzaki Kenta

Inventor before: Chono Keiichi

Inventor before: Senda Yuzo

Inventor before: Tajime Junji

Inventor before: Aoki Hirofumi

Inventor before: Senzaki Kenta

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: CHONO KEIICHI SENDA YUZO TAJIME JUNJI AOKI HIROFUMI SENZAKI KENTA TO: CHONO KEIICHI SENDA YUZO TIAN ZHIMI JUNJI AOKI HIROFUMI SENZAKI KENTA

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120815