CN102884799A - 用于3维视频的舒适噪声和胶片颗粒处理 - Google Patents

Abstract

根据图像深度信息向三维图像添加舒适噪声或胶片颗粒形式的噪声，以降低人类对编码伪像的敏感度，从而提高主观图像质量。

Description

用于3维视频的舒适噪声和胶片颗粒处理

技术领域

本发明涉及向数字图像添加噪声。

背景技术

随着时间流逝，电视已经从黑白图像向彩色图像发展，并且现在向高清发展。当前，一些电视设备制造商已经开始在市场上出售能够产生和显示三维(3D)图像的产品。新出现的3D电视显示当前引起了多种视觉不适来源，包括：梯形失真(keystone distortion)、深度平面曲率、放大、缩小效果、剪切失真(shear distortion)、串扰、栅栏效应(picket fence effect)和图像翻转。此外，视觉不适还可以因缺乏深度提示(depth cue)(例如，具有高运动的画面区域)导致模糊而引起。观看者通常在观看图像中缺乏深度提示的区域时经历不舒服的感觉。与3D图像的左眼视图和右眼视图中的胶片颗粒(film grain)相关联的随机噪声的差异还可以导致出现奇怪的视觉效果。

向数字图像添加抖动(dither)信号可以降低对编码伪像(例如，轮廓(contouring)和块(blocking)伪像)的人类敏感度，并且可以改善主观质量。向视频添加噪声(典型地被称作“舒适噪声”)用于实现该目标。尽管存在用于向二维图像添加舒适噪声的技术，但是不存在针对3D图像的舒适噪声的已知技术。

发明内容

简而言之，根据本发明原理的优选实施例，提供了一种用于向三维图像添加噪声的方法，包括根据图像深度向图像的不同区域添加噪声的步骤。

附图说明

图1示出了根据本发明原理的用于向三维图像添加噪声的设备的示例性实施例；

图2示出了根据本发明原理第一示例性实施例的用于由图1的设备来执行以向三维图像添加噪声的方法步骤的流程图；

图3示出了根据第二优选实施例的用于向三维图像添加噪声的方法步骤的流程图；以及

图4示出了根据本发明原理第二优选实施例的用于向三维图像添加胶片颗粒的方法步骤的流程图。

具体实施方式

图1示出了根据本发明原理优选实施例的用于向三维图像(典型地，数字图像)添加噪声的设备10的示意框图。如以下更详细所述，噪声可以采用“舒适”噪声的形式，向图像添加该类型的噪声来减少伪像(artifacts)。备选地，在数字图像包含源自运动画面胶片的视频的情况下，噪声可以采用用于模仿运动画面胶片的外观的胶片颗粒的形式。在下文中，当涉及噪声添加时，添加的噪声可以包括胶片颗粒或舒适噪声。

设备10可以采用不同的形式。在示意实施例中，设备10包括机顶盒，机顶盒从数据源12(例如，有线系统首端)包含视频和深度信息的比特流。解复用器14(在图1中视为“解复用器”)将视频信息和深度信息分离，以分别由视频解码器16和深度解码器17解码。舒适噪声模块18根据已解码的视频和深度信息产生舒适噪声，从而获得三维(3D)视频输出信号，由3D电视接收机(未示出)接收。

舒适噪声模块18包括：舒适噪声产生器20，根据分别从视频解码器16和深度解码器17提供的已解码视频和深度信息来产生舒适噪声。实际上，噪声产生器20可以采用用于执行程序指令的处理器(未示出)的形式。以下参照图2及其相应描述，将更好地理解舒适噪声产生器20根据已解码视频和深度信息产生舒适噪声的方式。舒适噪声和视频混合器22将来自舒适噪声产生器20的舒适噪声与已解码视频和深度信息相结合，来获得3D视频输出信号。

图2示出了根据本发明原理优选实施例的用于产生舒适噪声的方法步骤的流程图。换言之，图2的方法构成噪声产生器20内处理器的指令。图2的方法从开始步骤200开始，在开始步骤200期间进行初始化。此后，执行步骤202以产生针对左视图的舒适噪声值N_L。如根据下文更容易理解的那样，包含运动的典型3D视频图像包括画面对，每对画面包括左视图和右视图。本发明原理的噪声产生技术首先针对画面对中的左视图画面产生舒适噪声，然后使用该值来产生针对画面对中的右视图画面的舒适噪声。

为了产生针对画面对中的左视图画面的噪声，图1的舒适噪声产生器20利用加性噪声模型(additive noise model)，在加性噪声模型中，针对给定画面的噪声(下文中被称作“噪声”画面)N可以在数学上由以下关系表示：

N(k，x，y)＝α(k，x，y)×N(k-1，x，y)+(1-α(k，x，y))×β(k，x，y)×R(k，x，y) (公式1)

其中，k是帧号，x、y是像素的横坐标和纵坐标。R(k，x，y)是随机数，典型地具有高斯或拉普拉斯分布。α(k，x，y)和β(k，x，y)分别是时间相关和亮度因子，并且取0和1之间范围中的值。α(k，x，y)取决于重构的图像像素或其对应块与先前显示画面中相同位置的像素或块之间的时间相关，而β(k，x，y)取决于当前像素或其关联块的亮度。在步骤202期间使用公式(1)产生针对左视图画面的舒适噪声画面(N_L)之后，可以在步骤204期间将该噪声画面添加至左视图画面。

在步骤204之后，进行针对右视图画面的噪声画面(N_R)的合成。右视图噪声画面N_R的合成在多个步骤中进行。首先，在步骤206期间，对左噪声画面N_L进行翘曲(warping)，以获得典型地具有“孔洞”或缺失值的右视图噪声画面(N_RwithHoles)。以下参照图3，将清楚填充这种孔洞的方式。

翘曲3D画面的处理典型地需要将像素从一个或多个图像投影到新的视点(view point)和参考平面。在本领域中存在使用场景和深度信息(可以分别从图1的视频解码器16和深度解码器17获得)来完成3D图像翘曲的多种技术。例如，基于深度的图像渲染(rendering)构成一种使用矩阵乘法根据参考图像和关联的深度信息来合成虚拟视图的公知处理。

在步骤206之后，执行图2的步骤208，以填充右视图噪声画面(N_RwithHoles)中的孔洞，以获得更完整的右视图噪声画面(N_R)。参照图3将更好地理解进行孔洞填充的处理。然后在步骤210期间向右视图添加右视图噪声画面(N_R)。接着，执行步骤212，检查视频图像中是否存在另外的画面供处理。如果不存在另外的画面供处理，则处理在步骤214处结束。否则，再次执行步骤202-212，直到不存在其他画面为止。

图2中示出的舒适噪声添加方法假定左噪声画面和右噪声画面具有与视频图像相同的视差(disparity)。与简单地向右视图和左视图添加相同噪声或分别添加噪声画面相比，本发明原理的依赖于深度信息来合成噪声画面的舒适噪声添加技术在经验上提供最佳观看质量。

图3示出了根据本发明原理的用于填充右视图噪声画面(N_RwithHoles)中的孔洞(缺失值)的方法步骤的流程图。与孔洞区域中的基础真实信息(ground truth information)存在但与其他视点保持非闭合(dis-occluded)的常规孔洞填充问题不同，在翘曲的噪声画面的孔洞区域中不存在这样的基础真实信息。为了克服该问题，本发明原理的孔洞填充方法并不传播背景噪声，而相反产生新的噪声信息。产生新噪声引起伪像减少，从而左视图画面和右视图画面在添加舒适噪声之后看起来更自然。

图3的方法在步骤300处开始，在步骤300期间进行初始化。接着，执行步骤302，标记或另外识别右视图噪声画面(N_RwithHoles)中需要填充的区域(即，“孔洞”)，即，具有需要校正的缺失值的区域。在步骤304期间，针对每个“孔洞”，图1的舒适噪声产生器20基于针对包括该孔洞的像素的图像和深度信息来产生针对该孔洞的舒适噪声。此后，将步骤304期间针对孔洞而产生的噪声值复制到右视图噪声画面(N_RwithHoles)中，以获得更完整的右噪声画面(N_R)。此后，处理在步骤308处结束。

在运动画面胶片上记录的图像通常呈现可感知的颗粒。这样的颗粒构成已处理照片胶片的随机光学纹理，这是由于存在从已经接收到足够光子的卤化银显影的金属银的小颗粒。因此，不同画面或视图中的胶片颗粒彼此无关。当按照3D模式观看胶片时，无关的噪声引起不适的视觉效果。

根据本发明原理的另一实施例，提取图像中原始存在的胶片颗粒，并且用针对3D观看而特殊合成的胶片颗粒来代替，以免不适的视觉效果。图4示出了提取原始颗粒并基于深度信息合成胶片颗粒的方法步骤的流程图。

图4的方法在执行开始步骤400时开始，在开始步骤400期间进行初始化。此后，在步骤402期间提取左视图画面中存在的胶片颗粒(Grain_L)。现有的胶片颗粒提取器(未示出)可以用来提取这种颗粒。由于胶片颗粒在时间上非相关地，但是具有一些空间相关性，因此一个或多个时间滤波器(未示出)可以去除胶片颗粒。滤波之后时间上平滑的图像与原始图像之间的差包括提取的胶片颗粒。在步骤402之后，执行步骤404，在步骤404期间使用相似技术来从右视图画面中提取胶片颗粒(Grain_R)。

在步骤404之后，执行步骤406，以从右视图画面中去除胶片颗粒。此后，在步骤408期间对针对左视图画面提取的胶片颗粒(Grain_L)进行翘曲，以获得针对右视图画面的合成颗粒(Grain_RwithHoles)。对针对左视图提取的胶片颗粒(Grain_L)进行翘曲的方式类似于先前关于图2的步骤206讨论的对左视图舒适噪声画面进行翘曲的处理。在步骤410期间填充合成颗粒(Grain_RwithHoles)中存在的孔洞，填充的方式类似于结合图2的步骤208讨论的方式，以获得针对右视图画面的更多胶片颗粒(Grain_R)。在步骤410之后，执行步骤412，在步骤412期间，将更完整的右颗粒(Grain_R)添加至右视图画面。在步骤412之后是步骤414，在步骤414期间，进行检查以确定视频图像中是否存在另外的画面供处理。如果不存在另外的画面供处理，则处理在步骤416处结束。否则，再次执行步骤402-412，直到不存在供处理的其他画面为止。

如上所述，图4的胶片颗粒噪声添加技术通过提取并去除左视图画面和右视图画面中的胶片颗粒来操作。代替将提取的胶片颗粒从左视图翘曲到右视图，能够使用关于图2和3描述的技术将舒适噪声添加至左视图和右视图。

对于本文描述的所有实施例，与如上所述的对左视图噪声和胶片颗粒进行翘曲相反，本发明原理的噪声添加技术可以通过对右视图画面舒适噪声和胶片颗粒进行翘曲来操作，以分别获得左视图噪声和舒适颗粒。

以上描述了用于向数字图像添加噪声的技术。

Claims (15)

1.一种用于向三维图像添加噪声的方法，包括：根据图像深度向图像的不同区域添加噪声的步骤。

2.根据权利要求1所述的方法，其中，噪声包括舒适噪声。

3.根据权利要求1所述的方法，其中，噪声包括胶片颗粒。

4.根据权利要求1所述的方法，其中，三维图像具有第一视图和第二视图，并且根据图像深度向第一视图和第二视图添加噪声。

5.根据权利要求1所述的方法，其中，添加噪声的步骤还包括以下步骤：

计算针对图像中第一视图的噪声；

向第一视图画面添加计算的噪声；

基于图像深度，根据针对第一视图画面计算的噪声来合成针对第二视图画面的噪声；

向第二视图画面添加合成的噪声。

6.根据权利要求5所述的方法，其中，合成针对第二视图画面的噪声的步骤还包括以下步骤：

识别合成噪声中值缺失的区域；以及

用噪声填充识别出的区域。

7.一种用于向具有第一视图画面和第二视图画面的三维图像添加胶片颗粒的方法，包括以下步骤：

从第一视图画面中提取胶片颗粒；

从第二视图画面中去除颗粒；

基于图像深度根据针对第一视图画面提取的胶片颗粒来合成针对第二视图画面的胶片颗粒；以及

向第二视图画面添加合成的胶片颗粒。

8.根据权利要求7所述的方法，其中，合成针对第二视图画面的胶片颗粒的步骤还包括以下步骤：

识别合成胶片中值缺失的区域；以及

用胶片颗粒填充识别出的区域。

9.一种用于向具有第一视图画面和第二视图画面的三维图像添加胶片颗粒的方法，包括以下步骤：

从第一视图画面中去除胶片颗粒；

从第二视图画面中去除胶片颗粒；

产生针对第一视图画面的舒适噪声和胶片颗粒之一；

基于图像深度，根据针对第一视图画面的产生的舒适噪声和胶片颗粒之一，合成针对第二视图画面的舒适噪声和胶片颗粒之一；并且

向第二视图画面添加合成的舒适噪声和胶片颗粒之一。

10.根据权利要求9所述的方法，其中，合成针对第二视图画面的舒适噪声和胶片颗粒之一的步骤还包括以下步骤：

识别合成的舒适噪声和胶片颗粒之一中值缺失的区域；以及

用舒适噪声和胶片颗粒之一填充识别出的区域。

11.一种用于向三维图像添加噪声的设备，包括：噪声产生器，用于根据图像深度向图像的不同区域添加噪声。

12.根据权利要求11所述的设备，其中，噪声产生器还包括：

用于计算针对图像中第一视图的噪声的装置；

用于向第一视图画面添加计算的噪声的装置；

用于基于图像深度根据针对第一视图画面计算的噪声来合成针对第二视图画面的噪声的装置；

用于向第二视图画面添加合成的噪声的装置。

13.根据权利要求10所述的设备，其中，用于合成针对第二视图画面的噪声的装置还包括：

用于识别合成噪声中值缺失的区域的装置；以及

用于用噪声填充识别出的区域的装置。

14.一种用于向具有第一视图画面和第二视图画面的三维图像添加胶片颗粒的设备，包括：

用于从第一视图画面中提取胶片颗粒的装置；

用于从第二视图画面中去除颗粒的装置；

用于基于图像深度根据针对第一视图画面提取的胶片颗粒来合成针对第二视图画面的胶片颗粒的装置；以及

用于向第二视图画面添加合成的胶片颗粒的装置。

15.根据权利要求14所述的设备，其中，用于合成针对第二视图画面的胶片颗粒的装置还包括：

用于识别合成胶片中值缺失的区域的装置；以及

用于用胶片颗粒填充识别出的区域的装置。

Images