CN105376548A - 用于3维视频的舒适噪声和胶片颗粒处理 - Google Patents

Abstract

根据图像深度信息向三维图像添加舒适噪声或胶片颗粒形式的噪声，以降低人类对编码伪像的敏感度，从而提高主观图像质量。

Description

用于3维视频的舒适噪声和胶片颗粒处理

本申请是申请日为2010年5月11日，申请号为201080066655.9的专利申请“用于3维视频的舒适噪声和胶片颗粒处理”的分案申请。

技术领域

本发明涉及向数字图像添加噪声。

背景技术

随着时间流逝，电视已经从黑白图像向彩色图像发展，并且现在向高清发展。当前，一些电视设备制造商已经开始在市场上出售能够产生和显示三维(3D)图像的产品。新出现的3D电视显示当前引起了多种视觉不适来源，包括：梯形失真(keystonedistortion)、深度平面曲率、放大、缩小效果、剪切失真(sheardistortion)、串扰、栅栏效应(picketfenceeffect)和图像翻转。此外，视觉不适还可以因缺乏深度提示(depthcue)(例如，具有高运动的画面区域)导致模糊而引起。观看者通常在观看图像中缺乏深度提示的区域时经历不舒服的感觉。与3D图像的左眼视图和右眼视图中的胶片颗粒(filmgrain)相关联的随机噪声的差异还可以导致出现奇怪的视觉效果。

向数字图像添加抖动(dither)信号可以降低对编码伪像(例如，轮廓(contouring)和块(blocking)伪像)的人类敏感度，并且可以改善主观质量。向视频添加噪声(典型地被称作“舒适噪声”)用于实现该目标。尽管存在用于向二维图像添加舒适噪声的技术，但是不存在针对3D图像的舒适噪声的已知技术。

发明内容

简而言之，根据本发明原理的优选实施例，提供了一种用于向三维图像添加噪声的方法，包括根据图像深度向图像的不同区域添加噪声的步骤。

附图说明

图1示出了根据本发明原理的用于向三维图像添加噪声的设备的示例性实施例；

图2示出了根据本发明原理第一示例性实施例的用于由图1的设备来执行以向三维图像添加噪声的方法步骤的流程图；

图3示出了根据第二优选实施例的用于向三维图像添加噪声的方法步骤的流程图；以及

图4示出了根据本发明原理第二优选实施例的用于向三维图像添加胶片颗粒的方法步骤的流程图。

具体实施方式

图1示出了根据本发明原理优选实施例的用于向三维图像(典型地，数字图像)添加噪声的设备10的示意框图。如以下更详细所述，噪声可以采用“舒适”噪声的形式，向图像添加该类型的噪声来减少伪像(artifacts)。备选地，在数字图像包含源自运动画面胶片的视频的情况下，噪声可以采用用于模仿运动画面胶片的外观的胶片颗粒的形式。在下文中，当涉及噪声添加时，添加的噪声可以包括胶片颗粒或舒适噪声。

设备10可以采用不同的形式。在示意实施例中，设备10包括机顶盒，机顶盒从数据源12(例如，有线系统首端)包含视频和深度信息的比特流。解复用器14(在图1中视为“解复用器”)将视频信息和深度信息分离，以分别由视频解码器16和深度解码器17解码。舒适噪声模块18根据已解码的视频和深度信息产生舒适噪声，从而获得三维(3D)视频输出信号，由3D电视接收机(未示出)接收。

舒适噪声模块18包括：舒适噪声产生器20，根据分别从视频解码器16和深度解码器17提供的已解码视频和深度信息来产生舒适噪声。实际上，噪声产生器20可以采用用于执行程序指令的处理器(未示出)的形式。以下参照图2及其相应描述，将更好地理解舒适噪声产生器20根据已解码视频和深度信息产生舒适噪声的方式。舒适噪声和视频混合器22将来自舒适噪声产生器20的舒适噪声与已解码视频和深度信息相结合，来获得3D视频输出信号。

图2示出了根据本发明原理优选实施例的用于产生舒适噪声的方法步骤的流程图。换言之，图2的方法构成噪声产生器20内处理器的指令。图2的方法从开始步骤200开始，在开始步骤200期间进行初始化。此后，执行步骤202以产生针对左视图的舒适噪声值N_L。如根据下文更容易理解的那样，包含运动的典型3D视频图像包括画面对，每对画面包括左视图和右视图。本发明原理的噪声产生技术首先针对画面对中的左视图画面产生舒适噪声，然后使用该值来产生针对画面对中的右视图画面的舒适噪声。

为了产生针对画面对中的左视图画面的噪声，图1的舒适噪声产生器20利用加性噪声模型(additivenoisemodel)，在加性噪声模型中，针对给定画面的噪声(下文中被称作“噪声”画面)N可以在数学上由以下关系表示：

N(k，x，y)＝α(k，x，y)×N(k-1，x，y)+(1-α(k，x，y))×β(k，x，y)×R(k，x，y)(公式1)

其中，k是帧号，x、y是像素的横坐标和纵坐标。R(k，x，y)是随机数，典型地具有高斯或拉普拉斯分布。α(k，x，y)和β(k，x，y)分别是时间相关和亮度因子，并且取0和1之间范围中的值。α(k，x，y)取决于重构的图像像素或其对应块与先前显示画面中相同位置的像素或块之间的时间相关，而β(k，x，y)取决于当前像素或其关联块的亮度。在步骤202期间使用公式(1)产生针对左视图画面的舒适噪声画面(N_L)之后，可以在步骤204期间将该噪声画面添加至左视图画面。

在步骤204之后，进行针对右视图画面的噪声画面(N_R)的合成。右视图噪声画面N_R的合成在多个步骤中进行。首先，在步骤206期间，对左噪声画面N_L进行翘曲(warping)，以获得典型地具有“孔洞”或缺失值的右视图噪声画面(N_RwithHoles)。以下参照图3，将清楚填充这种孔洞的方式。

翘曲3D画面的处理典型地需要将像素从一个或多个图像投影到新的视点(viewpoint)和参考平面。在本领域中存在使用场景和深度信息(可以分别从图1的视频解码器16和深度解码器17获得)来完成3D图像翘曲的多种技术。例如，基于深度的图像渲染(rendering)构成一种使用矩阵乘法根据参考图像和关联的深度信息来合成虚拟视图的公知处理。

在步骤206之后，执行图2的步骤208，以填充右视图噪声画面(N_RwithHoles)中的孔洞，以获得更完整的右视图噪声画面(N_R)。参照图3将更好地理解进行孔洞填充的处理。然后在步骤210期间向右视图添加右视图噪声画面(N_R)。接着，执行步骤212，检查视频图像中是否存在另外的画面供处理。如果不存在另外的画面供处理，则处理在步骤214处结束。否则，再次执行步骤202-212，直到不存在其他画面为止。

图2中示出的舒适噪声添加方法假定左噪声画面和右噪声画面具有与视频图像相同的视差(disparity)。与简单地向右视图和左视图添加相同噪声或分别添加噪声画面相比，本发明原理的依赖于深度信息来合成噪声画面的舒适噪声添加技术在经验上提供最佳观看质量。

图3示出了根据本发明原理的用于填充右视图噪声画面(N_RwithHoles)中的孔洞(缺失值)的方法步骤的流程图。与孔洞区域中的基础真实信息(groundtruthinformation)存在但与其他视点保持非闭合(dis-occluded)的常规孔洞填充问题不同，在翘曲的噪声画面的孔洞区域中不存在这样的基础真实信息。为了克服该问题，本发明原理的孔洞填充方法并不传播背景噪声，而相反产生新的噪声信息。产生新噪声引起伪像减少，从而左视图画面和右视图画面在添加舒适噪声之后看起来更自然。

图3的方法在步骤300处开始，在步骤300期间进行初始化。接着，执行步骤302，标记或另外识别右视图噪声画面(N_RwithHoles)中需要填充的区域(即，“孔洞”)，即，具有需要校正的缺失值的区域。在步骤304期间，针对每个“孔洞”，图1的舒适噪声产生器20基于针对包括该孔洞的像素的图像和深度信息来产生针对该孔洞的舒适噪声。此后，将步骤304期间针对孔洞而产生的噪声值复制到右视图噪声画面(N_RwithHoles)中，以获得更完整的右噪声画面(N_R)。此后，处理在步骤308处结束。

在运动画面胶片上记录的图像通常呈现可感知的颗粒。这样的颗粒构成已处理照片胶片的随机光学纹理，这是由于存在从已经接收到足够光子的卤化银显影的金属银的小颗粒。因此，不同画面或视图中的胶片颗粒彼此无关。当按照3D模式观看胶片时，无关的噪声引起不适的视觉效果。

根据本发明原理的另一实施例，提取图像中原始存在的胶片颗粒，并且用针对3D观看而特殊合成的胶片颗粒来代替，以免不适的视觉效果。图4示出了提取原始颗粒并基于深度信息合成胶片颗粒的方法步骤的流程图。

图4的方法在执行开始步骤400时开始，在开始步骤400期间进行初始化。此后，在步骤402期间提取左视图画面中存在的胶片颗粒(Grain_L)。现有的胶片颗粒提取器(未示出)可以用来提取这种颗粒。由于胶片颗粒在时间上非相关地，但是具有一些空间相关性，因此一个或多个时间滤波器(未示出)可以去除胶片颗粒。滤波之后时间上平滑的图像与原始图像之间的差包括提取的胶片颗粒。在步骤402之后，执行步骤404，在步骤404期间使用相似技术来从右视图画面中提取胶片颗粒(Grain_R)。

在步骤404之后，执行步骤406，以从右视图画面中去除胶片颗粒。此后，在步骤408期间对针对左视图画面提取的胶片颗粒(Grain_L)进行翘曲，以获得针对右视图画面的合成颗粒(Grain_RwithHoles)。对针对左视图提取的胶片颗粒(Grain_L)进行翘曲的方式类似于先前关于图2的步骤206讨论的对左视图舒适噪声画面进行翘曲的处理。在步骤410期间填充合成颗粒(Grain_RwithHoles)中存在的孔洞，填充的方式类似于结合图2的步骤208讨论的方式，以获得针对右视图画面的更多胶片颗粒(Grain_R)。在步骤410之后，执行步骤412，在步骤412期间，将更完整的右颗粒(Grain_R)添加至右视图画面。在步骤412之后是步骤414，在步骤414期间，进行检查以确定视频图像中是否存在另外的画面供处理。如果不存在另外的画面供处理，则处理在步骤416处结束。否则，再次执行步骤402-412，直到不存在供处理的其他画面为止。

如上所述，图4的胶片颗粒噪声添加技术通过提取并去除左视图画面和右视图画面中的胶片颗粒来操作。代替将提取的胶片颗粒从左视图翘曲到右视图，能够使用关于图2和3描述的技术将舒适噪声添加至左视图和右视图。

对于本文描述的所有实施例，与如上所述的对左视图噪声和胶片颗粒进行翘曲相反，本发明原理的噪声添加技术可以通过对右视图画面舒适噪声和胶片颗粒进行翘曲来操作，以分别获得左视图噪声和舒适颗粒。

以上描述了用于向数字图像添加噪声的技术。

Claims (29)

1.一种用于解码胶片颗粒和翘曲信息的方法，所述方法包括：

接收已编码的第一视图画面；

接收与至少第一视图画面的胶片颗粒相对应的信息；

接收用于对第一视图画面进行翘曲以对应于第二视图画面的信息；

对第一视图画面进行解码；

对与至少第一视图画面的胶片颗粒相对应的信息进行解码；以及

对用于对第一视图画面进行翘曲以对应于第二视图画面的信息进行解码，

其中，已解码的用于翘曲的信息能够用于对已解码的第一视图画面进行翘曲，以产生第二视图画面，已解码的与胶片颗粒相对应的信息能够用于产生胶片颗粒画面，所述胶片颗粒画面能够基于已解码的用于翘曲的信息而被翘曲，以产生与第二视图画面相对应的翘曲胶片颗粒画面，并且翘曲胶片颗粒画面能够被添加至第二视图画面。

2.根据权利要求1所述的方法，还包括：

基于已解码的用于翘曲的信息，对第一视图画面进行翘曲，以产生第二视图画面；

基于已解码的与胶片颗粒相对应的信息，产生胶片颗粒画面；

基于已解码的用于翘曲的信息，对胶片颗粒画面进行翘曲，以产生与第二视图画面相对应的翘曲胶片颗粒画面；以及

将翘曲胶片颗粒画面添加至第二视图画面。

3.根据权利要求2所述的方法，其中翘曲胶片颗粒画面具有孔洞。

4.根据权利要求3所述的方法，其中所述孔洞填充有胶片颗粒。

5.根据权利要求1所述的方法，其中第一视图画面对应于3D图像的左视图。

6.根据权利要求1所述的方法，其中第二视图画面对应于3D图像的右视图。

7.一种用于编码三维图像的方法，所述方法包括：

编码第一视图画面；

产生第一视图画面的胶片颗粒信息；以及

产生用于对第一视图画面进行翘曲以对应于第二视图画面的信息，

其中用于翘曲的信息能够用于对第一视图画面进行翘曲，以产生第二视图画面，胶片颗粒信息能够用于产生胶片颗粒画面，所述胶片颗粒画面能够基于用于翘曲的信息而被翘曲，以产生与第二视图画面相对应的翘曲胶片颗粒画面，并且翘曲胶片颗粒画面能够被添加至第二视图画面。

8.根据权利要求7所述的方法，其中产生胶片颗粒信息包括在编码之前从第一视图画面中提取胶片颗粒。

9.根据权利要求7所述的方法，其中第一视图画面对应于3D图像的左视图。

10.一种发送图像的已编码信息的方法，所述方法包括：

发送已编码的第一视图画面；

发送至少第一视图画面的颗粒信息；以及

发送用于对第一视图画面进行翘曲以对应于第二视图画面的信息，

其中用于翘曲的信息能够用于对第一视图画面进行翘曲，以产生第二视图画面，胶片颗粒信息能够用于产生胶片颗粒画面，所述胶片颗粒画面能够基于用于翘曲的信息而被翘曲，以产生与第二视图画面相对应的翘曲胶片颗粒画面，并且翘曲胶片颗粒画面能够被添加至第二视图画面。

11.根据权利要求10所述的方法，其中发送的胶片颗粒信息是在编码之前从第一视图画面获得的。

12.根据权利要求10所述的方法，其中第一视图画面对应于3D图像的左视图。

13.一种存储图像的已编码信息的方法，所述方法包括：

存储已编码的第一视图画面；

存储至少第一视图画面的颗粒信息；以及

存储用于对第一视图画面进行翘曲以对应于第二视图画面的信息，

其中用于翘曲的信息能够用于对第一视图画面进行翘曲，以产生第二视图画面，胶片颗粒信息能够用于产生胶片颗粒画面，所述胶片颗粒画面能够基于用于翘曲的信息而被翘曲，以产生与第二视图画面相对应的翘曲胶片颗粒画面，并且翘曲胶片颗粒画面能够被添加至第二视图画面。

14.根据权利要求13所述的方法，其中存储的胶片颗粒信息是在编码之前从第一视图画面获得的。

15.根据权利要求13所述的方法，其中第一视图画面对应于3D图像的左视图。

16.一种用于向具有第一和第二视图画面的三维图像添加胶片颗粒的设备，包括：

用于接收已编码的第一视图画面的装置；

用于接收与至少第一视图画面的胶片颗粒相对应的信息的装置；

用于接收用于对第一视图画面进行翘曲以对应于第二视图画面的信息的装置；

用于对第一视图画面进行解码的装置；

用于对与至少第一视图画面的胶片颗粒相对应的信息进行解码以产生胶片颗粒画面的装置；以及

用于基于接收到的翘曲信息对第一视图画面进行翘曲以产生第二视图画面的装置，

用于基于接收到的翘曲信息对胶片颗粒画面进行翘曲以产生与第二视图画面相对应的胶片颗粒画面的装置；以及

用于将翘曲胶片颗粒信息添加至第二视图画面的装置，

其中，已解码的用于翘曲的信息能够用于对已解码的第一视图画面进行翘曲，以产生第二视图画面，已解码的与胶片颗粒相对应的信息能够用于产生胶片颗粒画面，所述胶片颗粒画面能够基于已解码的用于翘曲的信息而被翘曲，以产生与第二视图画面相对应的翘曲胶片颗粒画面，并且翘曲胶片颗粒画面能够被添加至第二视图画面。

17.根据权利要求16所述的设备，其中用于对胶片颗粒画面进行翘曲的装置在所述画面中创建孔洞。

18.根据权利要求17所述的设备，其中用于对胶片颗粒画面进行翘曲的装置用胶片颗粒填充孔洞。

19.根据权利要求16所述的设备，其中第一视图画面对应于3D图像的左视图。

20.根据权利要求16所述的设备，其中第二视图画面对应于3D图像的右视图。

21.一种用于编码三维图像的设备，包括：

用于编码第一视图画面的装置；

用于产生至少第一视图画面的胶片颗粒信息的装置；以及

用于产生用于对第一视图画面进行翘曲以对应于第二视图画面的信息的装置，

其中用于翘曲的信息能够用于对第一视图画面进行翘曲，以产生第二视图画面，与胶片颗粒相对应的信息能够用于产生胶片颗粒画面，所述胶片颗粒画面能够基于用于翘曲的信息而被翘曲，以产生与第二视图画面相对应的翘曲胶片颗粒画面，并且翘曲胶片颗粒画面能够被添加至第二视图画面。

22.根据权利要求21所述的设备，其中用于产生胶片颗粒信息的装置在编码之前从第一视图画面中提取胶片颗粒。

23.根据权利要求21所述的设备，其中第一视图画面对应于3D图像的左视图。

24.一种发送三维图像的编码信息的设备，包括：

用于发送已编码的第一视图画面的装置；

用于发送至少第一视图画面的颗粒信息的装置；以及

用于发送用于对第一视图画面进行翘曲以对应于第二视图画面的信息的装置，

其中用于翘曲的信息能够用于对第一视图画面进行翘曲，以产生第二视图画面，与胶片颗粒相对应的信息能够用于产生胶片颗粒画面，所述胶片颗粒画面能够基于用于翘曲的信息而被翘曲，以产生与第二视图画面相对应的翘曲胶片颗粒画面，并且翘曲胶片颗粒画面能够被添加至第二视图画面。

25.根据权利要求24所述的设备，其中用于发送胶片颗粒信息的装置在编码之前从第一视图画面获得胶片颗粒信息。

26.根据权利要求24所述的设备，其中第一视图画面对应于3D图像的左视图。

27.一种存储图像的已编码信息的设备，包括：

用于存储已编码的第一视图画面的装置；

用于存储至少第一视图画面的颗粒信息的装置；以及

用于存储用于对第一视图画面进行翘曲以对应于第二视图画面的信息的装置，

其中用于翘曲的信息能够用于对第一视图画面进行翘曲，以产生第二视图画面，胶片颗粒信息能够用于产生胶片颗粒画面，所述胶片颗粒画面能够基于用于翘曲的信息而被翘曲，以产生与第二视图画面相对应的翘曲胶片颗粒画面，并且翘曲胶片颗粒画面能够被添加至第二视图画面。

28.根据权利要求27所述的设备，其中用于存储胶片颗粒信息的装置在编码之前从第一视图画面获得这样的信息。

29.根据权利要求27所述的设备，其中第一视图画面对应于3D图像的左视图。