CN101065970A

CN101065970A - 低复杂度胶片颗粒仿真技术

Info

Publication number: CN101065970A
Application number: CNA2005800401608A
Authority: CN
Inventors: 克里斯蒂娜·戈米拉; 吉恩·拉什; 杰弗里·艾伦·库珀
Original assignee: Thomson Licensing SAS
Current assignee: InterDigital VC Holdings Inc
Priority date: 2004-11-23
Filing date: 2005-09-26
Publication date: 2007-10-31
Anticipated expiration: 2025-09-26
Also published as: AU2005309975A1; BRPI0518052B1; MX2007006211A; ZA200704141B; DE602005015249D1; JP2008521340A; WO2006057703A1; US20080152250A1; BRPI0518052A; CA2586896C; ATE435568T1; RU2007123610A; RU2377651C2; CN101065970B; KR20070088644A; US8472526B2; CA2586896A1; HK1107480A1; EP1815688B1; JP4829893B2

Abstract

通过首先为与期望颗粒图案相关的一组截频f_HL、f_VL、f_HH、和f_VH创建已变换系数块(即矩阵数组)，来在视频图像中仿真胶片颗粒(截频f_HL、f_VL、f_HH、和f_VH表示滤波器的二维截止频率，该滤波器描述了期望胶片颗粒图案的特征)。对已变换系数块进行逆变换以产生比特精确的胶片颗粒样本，并对比特精确样本进行缩放以使能够与视频信号进行混合，从而在信号中仿真胶片颗粒。

Description

低复杂度胶片颗粒仿真技术

相关申请的交叉引用

根据35U.S.C.119(e)，本申请要求2004年11月23日递交的美国临时专利申请序列号60/630640的优先权，将其教益在此引入。

技术领域

本发明涉及一种用于在图像中仿真胶片颗粒的技术。

背景技术

电影胶片包括分散在感光乳剂中的卤化银晶体，所述感光乳剂涂抹在胶片基底上的薄层中。这些晶体的曝光和显影形成了包括银的分散微粒的照相图像。在彩色负片中，在显影后对银进行化学去除，在形成银晶体的位置处出现微小的染料滴。这些染料小滴通常被称作彩色胶片中的颗粒(grain)。由于银晶体随机地形成于原始感光乳剂中，所以颗粒随机地分布在所产生的图像上。在均匀曝光的区域中，一些晶体在曝光后显影，而其它晶体并非如此。

颗粒的大小和形状有所不同。胶片形成越快，所形成的银块和所产生的染料滴就越大，并且更趋于以随机图案组合在一起。典型地，颗粒图案被称作‘颗粒度’。裸眼不能区分变化范围在0.0002mm至大约0.002mm的单个颗粒。然而，眼睛能够分辨被称作滴的颗粒组。观看者把这些滴的组识别为胶片颗粒。随着图像分辨率变得更大，对胶片颗粒的感知变得更高。胶片颗粒在电影图像和高清晰度图像上变得明显可察觉，而胶片颗粒在SDTV中逐渐丧失了重要性，并在较小格式中变得不可察觉。

典型地，电影胶片包含依赖于图像的噪声，这个噪声来自照相胶片的曝光和显影的物理工艺、或来自后续的图像编辑。照相胶片具有特有的准随机图案或纹理，这个图案或纹理来自照相感光乳剂的物理颗粒度。可选择地，可以根据计算产生的图像仿真类似的图案，以便把这些图案与照相胶片相混合。在这两种情况下，这个依赖于图像的噪声被称作颗粒。通常，适度的颗粒纹理在电影中呈现出期望的特征。在某些实例中，胶片颗粒提供了利于二维图像的正确感知的可视提示。胶片颗粒通常在单一胶片中变化，以提供关于时间参考、视点等的多种线索。在电影业中，存在用于控制颗粒纹理的多种其它的技术和艺术用途。因此，在图像处理和传送链中保持图像的颗粒外观已经成为电影业中的需求。

若干商业上可用的产品具有对胶片颗粒进行仿真的能力，通常用于把计算机产生的对象混合到自然场景中。来自Eastman Kodak Co，Rochester New York的Cineon^是一种最早的数字胶片应用程序，用于实现颗粒仿真，它产生了多种颗粒类型的非常真实的结果。然而，由于Cineon^应用程序针对高颗粒尺寸设置产生了可察觉的对角线条纹，所以Cineon^应用程序没有为多种高速胶片产生良好的性能。此外，当对图像进行前期处理时，例如图像被复制或进行数字处理时，Cineon^应用程序不能以足够的保真度来仿真颗粒。

另一个商业上可用的、对胶片颗粒进行仿真的产品是来自VisualInfinity Inc的Grain Surgery^TM，它用作Adobe^After Effects^的插件。Grain Surgery^TM产品通过对随机数的集合进行滤波而产生合成的颗粒。这个方法受到高计算复杂度这个缺点的影响。

这些已有的方案中没有一个方案能够解决对压缩视频中的胶片颗粒进行恢复的问题。胶片颗粒构成了高频准随机现象，典型地不能进行使用常规空间和时间方法的压缩，其中所述方法利用了视频序列冗余的优点。试图使用MPEG-2或ITU-T/ISO H.264压缩技术来处理源自胶片的图像，通常这会导致不可接受的低压缩度或颗粒纹理的完全丢失。

因此，存在对胶片颗粒仿真技术的需求，特别是提供相对低的复杂度的技术。

发明内容

简要地，根据本发明的原理，提供了一种用于对胶片颗粒图案进行仿真的方法。所述方法从响应于与期望颗粒图案相关的通带区而创建已变换系数块(即矩阵数组)开始(通带区由一组截频(cutfrequency)f_HL、f_VL、f_HH、和f_VH所限定，这组截频表示描述期望胶片颗粒图案特征的滤波器的截止频率(二维))。对已变换系数块进行逆变换，以产生比特精确的胶片颗粒样本。如果期望，可以对比特精确样本进行缩放，使之能够与视频信号混合以在信号中仿真胶片颗粒。

实际中，按照如下方式产生已变换系数块。对于块中坐标(x，y)处的每一个系数，其中x和y是分别指定行和列的整数，如果每一个x和y坐标都分别处于截频f_HL、f_VL、f_HH、和f_VH所限定的通带中，则获得随机值(r)。坐标(x，y)处的系数值变为随机值r。针对块中每个条目重复所述过程。

与现有技术中用于胶片颗粒仿真的基于变换的方法相比，本发明的胶片颗粒仿真技术通过避免计算直接变换而提供了减小的复杂度。所述技术还通过存储一小部分已变换系数而不是胶片颗粒图案而减小了基于数据库的方法的存储需求。本发明的方法可以应用于HD DVD系统、BD ROM系统以及卫星广播。

附图说明

图1示出了胶片颗粒处理链中发射机和接收机的组合的示意框图，用于实践本发明原理的技术；

图2以流程图的形式示出了根据本发明原理的第一方法的步骤，所述方法用于创建用于对胶片颗粒进行仿真的已变换系数集合；

图3以流程图的形式示出了根据本发明原理的第二方法的步骤，所述方法用于创建用于对胶片颗粒进行仿真的已变换系数集合；以及

图4以流程图的形式示出了根据本发明原理的方法的步骤，所述方法用于创建胶片颗粒图案数据库。

具体实施方式

为了理解使用描述胶片颗粒图案特征的一组截频对胶片颗粒进行仿真的本发明原理的技术，对胶片颗粒仿真的简要概述将是有益的。图1示出了发射机10的示意框图，它接收输入视频信号并相应地在其输出产生压缩后的视频流。另外，发射机10还产生指示样本中出现胶片颗粒(如果存在的话)的信息。实际中，发射机10可以包括有线电视系统的首端阵列的一部分、或把压缩后的视频分配给一个或多个下游接收机11的其它系统，图1中仅示出一个接收机11。发射机10还可以采取例如DVD的呈现媒体的编码器的形式。接收机11对已编码的视频流进行解码，并根据胶片颗粒信息和已解码的视频(两者均从发射机10接收，或如果是DVD等则直接从媒体自身接收)来仿真胶片颗粒，从而产生具有已仿真胶片颗粒的输出视频流。接收机11可以采取机顶盒的形式、或采取对已压缩的视频进行解码并在该视频中仿真胶片颗粒的其它机制的形式。

胶片颗粒的整体管理要求发射机10(即编码器)提供关于输入视频中的胶片颗粒的信息。换句话说，发射机10对胶片颗粒“建模”。此外，接收机11(即解码器)根据从发射机10接收到的胶片颗粒信息来仿真胶片颗粒。通过使接收机11能够在视频编码过程期间在难以保持胶片颗粒时在视频信号中仿真胶片颗粒，发射机10提高了已压缩视频的品质。

在图1所示的实施例中，发射机10包括视频编码器12，视频编码器12使用任意已知的视频压缩技术对视频流进行编码，例如ITU-TRec.H.264|ISO/IEC 14496-10视频压缩标准。可选地，采用图1中虚线所示滤波器等的形式的胶片颗粒去除器14可以存在于编码器12的上游，以便在编码之前去除输入视频流中的任意胶片颗粒。当输入视频不包含胶片颗粒时，不需要胶片颗粒去除器14。

胶片颗粒建模器16接受输入视频流和胶片颗粒去除器14的输出信号(当存在时)。使用这个输入信息，胶片颗粒建模器16在输入视频信号中建立胶片颗粒。以最简单的形式，胶片颗粒建模器16可以包括查找表，所述查找表包含不同胶片原料的胶片颗粒模型。输入视频信号中的信息可以规定在转换为视频信号前最初用于记录图像的具体胶片原料，从而允许胶片颗粒建模器16针对这个胶片原料选择适合的胶片颗粒模型。可选择地，胶片颗粒建模器16可以包括处理器或专用逻辑电路，它们执行一个或多个算法以对输入视频进行采样并确定所呈现的胶片颗粒图案。

典型地，接收机11包括视频解码器18，用于对从发射机10接收到的压缩后的视频流进行解码。解码器18的结构将取决于发射机10内的编码器12所执行的压缩类型。因此，例如在发射机10内使用采用ITU-TRec.H.264|ISO/IEC 14496-10视频压缩标准来压缩输出视频的编码器12，这表示需要与H.264兼容的解码器18。在接收机11内，胶片颗粒仿真器20从胶片颗粒建模器16接收胶片颗粒信息。胶片颗粒仿真器20可以采取具有对胶片颗粒进行仿真的能力的已编程处理器或专用逻辑电路的形式，从而使胶片颗粒通过组合器22与已解码的视频流进行组合。

胶片颗粒仿真旨在把对原始胶片内容的外观进行仿真的胶片颗粒样本进行合成。如上所述，胶片颗粒建模发生在图1的发射机10中，而胶片颗粒仿真发生在接收机11中。具体地，在解码视频流的输出的上游，胶片颗粒仿真与来自发射机10的输入视频流的解码一同在接收机11中发生。注意，出现在接收机11中的解码过程不会使用具有附加胶片颗粒的图像。相反，胶片颗粒仿真组成了用于在已解码图像中合成所仿真的胶片颗粒以进行显示的后处理方法。为此，ITU-TRec.H.264|ISO/IEC 14496-10视频压缩标准不包含关于胶片颗粒仿真过程的说明。然而，胶片颗粒仿真需要与输入视频信号中的颗粒图案有关的信息，当按照ITU-T Rec.H.264|ISO/IEC 14496-10视频压缩标准的修正1(保真度范围扩展)所规定的而使用该压缩标准时，这个信息典型地在补充增强信息(SEI)消息中传送。

根据本发明，提供了一种用于对胶片颗粒进行仿真的低复杂度方法，该方法假定用于对胶片颗粒进行仿真的变换是线性的。由图1中的胶片颗粒仿真器20实现的本发明原理的方法在包括如下三个步骤的过程中产生胶片颗粒块：(1)根据期望的胶片颗粒图案的截频而创建已变换系数块，(b)计算逆变换，以及(c)对所产生的值进行缩放。下面给出每一个步骤的更加完整的描述。

创建已变换系数块

创建已变换系数块的步骤把描述期望胶片颗粒图案特征的一组截频作为其输入，并产生一组归一化随机数。在优选实施例中，归一化的随机数将遵循归一化高斯随机分布(独立且相等分布的高斯随机变量样本，平均值为0，方差为1)，而截频在ITU-T Rec.H.264|ISO/IEC14496-10标准[1]所规定的胶片颗粒特性SEI消息中传输。

在所示实施例中，以图2所示流程的方式在频域中创建块图像B(例如大小为N×N的已变换系数块)。该过程在起始步骤100处开始，在步骤100中进行初始化。步骤102在步骤100后发生，进入对N×N块中所有系数进行扫描的循环，其中通过将一对运行变量(x，y)设置为整数范围[0，N-1]×[0，N-1]中所有可能的值而进行扫描。变量x和y分别表示这个过程所产生的已变换系数块(例如矩阵数组)中的条目的x和y坐标。在步骤104中，检查x和y的值是否处于截频f_HL、f_VL、f_HH、和f_VH所限定的通带中。如果结果为肯定，则执行步骤106且产生随机数，在步骤108中，把该随机数分配给块中分别与运行变量x和y的当前值相匹配的x和y坐标处的系数。步骤104示出了检查x和y的值以决定这些值是否处于截频所限定的通带中的优选实施例，但也可以使用其它的标准。

如果x和y的当前值不同时处于SEI消息中所传输的期望胶片颗粒图案的截频f_HL、f_VL、f_HH、和f_VH所限定的通带中，那么在步骤110中把与x和y的当前值相关的块中的系数设置为0。步骤112在步骤108或110后发生，在x≤N和y≤N的前提下递增运行变量x和y，然后回到步骤104继续执行。否则，循环在步骤112处结束，所述方法在结束步骤114完成。

图2所示用于创建已变换系数块的方法能够以如下“for”语句的计算机程序循环描述：

for(y＝0；y＜N；y++)

for(x＝0；x＜N；x++)

if((x＜f_HL&&y＜f_VL)||x＞f_HH||y＞f_VH)

B[x][y]＝0

else

B[x][y]＝r

B[0][0]＝0

注意，f_HL和f_VL分别构成期望胶片颗粒图案的水平和垂直低截频；f_HH和f_VH分别构成期望胶片颗粒图案的水平和垂直高截频，而r构成归一化随机数。在实践中，使用如下规定的Box-Muller变换，可根据两个独立且均匀分布的随机值产生高斯随机数r：

r = \sqrt{- 2 \ln (x_{1})} \cdot \sin (2 π x_{2})

其中ln(.)是自然对数，sin(.)是正弦函数，π是阿基米德常数，而x₁和x₂在(0，1)的范围内，不包括0。

图3示出了用于创建已变换系数块的备选优选实施例。图3中的方法流程图包括与图2几乎相同的步骤，因此图3中出现的与图2相似的附图标记用于描述相似的步骤。图3中的方法在如下方面有所不同。代替图2的步骤106中通过数学计算而获得随机数，图3中用于创建已变换系数块的方法包括步骤105，步骤105用于从具有先前已计算的高斯随机数的查找表110中获取随机数。在其它方面，两个方法执行相同的步骤。

可选地，图2和3中用于产生已变换系数块的方法可以使位置0，0处的系数(即DC系数)强制为0，以确保在逆变换后信号的均值为0。DC系数与0的较大偏离可能导致所产生的胶片颗粒块的平均值的较大偏离。结果，当把胶片颗粒与已解码图像进行混合时，块的平均值中可能出现明显的变化(即块可能会变得更暗或更亮)。

如果f_HL和f_VL都等于0，那么可以以如下方式来创建频域中的块图像B：

for(y＝0；y＜N；y++)

for(x＝0；x＜N；x++)

if(x＞f_HH||y＞f_VH)

B[x][y]＝0

else

B[x][y]＝r

B[0][0]＝0

如果还假定能够在块图像的存储分配时完成0值初始化，则可以把先前的方法简化为如下表达：

for(y＝0；y＜N；y++)

for(x＝0；x＜N；x++)

if(x＜＝f_HH&&y＜＝f_VH)

B[x][y]＝r

注意，图2和3所述的过程利用了(f_HH-f_HL+1)*(f_VH-f_VL+1)归一化随机值，从而避免了典型地跟随归一化随机数块的正向变换计算之后的滤波步骤。

计算逆变换

在产生已变换系数块之后，典型地根据如下通式计算逆变换：

b＝a.(C^T×B×C)

其中a构成对产生已变换系数块所引起的强度变化进行补偿的缩放因数。典型地，缩放因数a的值为1(unity)。

当使用DCT变换时，以如下方式计算变换矩阵C：

c_{m, n} = k \cos (\frac{(2 n + 1) mπ}{2 N})

k = \{\begin{matrix} \sqrt{1 / N} & if m = 0 \\ \sqrt{2 / N} & otherwise \end{matrix}

在这种情况下，

a = \frac{1}{| | C | | \cdot | | C^{T} | |} .

对逆变换产生的值进行缩放

在创建已变换系数块并计算所述块的逆变换之后，本发明的胶片颗粒仿真过程典型地包括把胶片颗粒图案缩放至适合的胶片颗粒强度的步骤，尽管该缩放不一定执行。对于视频编码应用，典型地按照ITU-TRec.H.264|ISO/IEC 14496-10标准的规定，把与胶片颗粒强度有关的信息在SEI消息中进行传送。

典型地，根据如下方式执行缩放过程：

for(y＝0；y＜N；y++)

for(x＝0；x＜N；x++)

b[x][y]*＝scaling_factor

与现有技术的方法相比，这个方法体现了复杂度与存储需求之间的折衷。一方面，本发明的缩放方法通过避免计算直接变换和频域滤波而减小了基于变换的方法的复杂度。另一方面，本发明的缩放方法通过仅存储一小部分的已变换系数而不是完整的胶片颗粒图案而减小了基于数据库的方法的存储需求。

本发明的方法可以用于对胶片颗粒图案数据库进行初始化。具体地，如图4中的流程图所示，创建已变换系数块的步骤和计算块的逆变换的步骤可以用于对胶片颗粒图案数据库进行初始化。图4中的方法从执行起始步骤200开始，在步骤200执行初始化。之后，在步骤202中使用图2或图3的方法产生高斯随机值块。当采用图3中的块变换产生方法时，如先前所述，通过访问高斯随机数查找表107而获得每一个随机数条目。在步骤202之后，在步骤204中对高斯随机值块进行逆变换并进行适当的缩放，其中所述逆变换典型地为逆离散余弦变换(IDCT)。在步骤206中，把胶片颗粒图案存储在数据库207中。之后，所述过程在步骤208处结束。图4中的过程允许在系统初始化或复位时创建数据库207，并且能够在常规存储器(通常为SRAM存储器)中进行存储。

上文描述了一种用于对图像中的胶片颗粒进行仿真的技术，该技术提供了低复杂度的优点。

Claims

1.一种用于仿真胶片颗粒的方法，包括步骤：

响应于与期望胶片颗粒图案相关的通带区而创建已变换系数块；以及

建立所创建的已变换系数块的逆变换，以产生胶片颗粒样本。

2.根据权利要求1所述的方法，其中通过如下步骤创建块变换后的系数块：

(a)当x和y处于一组截频f_HL、f_VL、f_HH、和f_VH所限定的通带中且不为0时，为坐标(x，y)处的每一个系数获得一个值，所述值是随机值；

(b)把坐标(x，y)处的系数值设置为所获得的值；以及

(c)重复步骤(a)和(b)，直到为块中每个系数都设置了一个值为止。

3.根据权利要求2所述的方法，还包括步骤：把(0，0)处的块系数设置为0值。

4.根据权利要求2所述的方法，其中当x和y处于一组截频f_HL、f_VL、f_HH、和f_VH所限定的通带中时，所获得的每一个随机值遵循高斯随机分布。

5.根据权利要求2所述的方法，其中通过访问预计算的随机值查找表中的条目而获得每一个随机值。

6.根据权利要求1所述的方法，还包括步骤：对所述胶片颗粒样本进行缩放。

7.一种用于创建用于仿真期望胶片颗粒图案的已变换系数块的方法，包括步骤：

(a)当x和y处于截频f_HL、f_VL、f_HH、和f_VH所限定的通带区中且不为0时，为坐标(x，y)处的每一个系数获得一个值，所述值是随机值；

(b)把坐标(x，y)处的系数值设置为所获得的值；以及

8.根据权利要求7所述的方法，还包括步骤：把(0，0)处的块系数设置为0值。

9.根据权利要求7所述的方法，其中当x和y处于截频f_HL、f_VL、f_HH、和f_VH所限定的通带区中时，所获得的每一个随机值遵循高斯随机分布。

10.根据权利要求7所述的方法，其中通过访问预计算的随机值查找表中的条目而获得每一个随机值。

11.根据权利要求7所述的方法，还包括步骤：建立已变换系数块的逆变换。

12.根据权利要求11所述的方法，还包括步骤：对已变换系数块的逆变换进行缩放，以产生胶片颗粒样本图案。

13.根据权利要求12所述的方法，还包括步骤：使用单一的已变换系数块对胶片颗粒图案数据库进行初始化，从而创建所有可能的胶片颗粒图案。

14.根据权利要求12所述的方法，还包括步骤：使用多个已变换系数块对胶片颗粒图案数据库进行初始化，从而创建所有可能的胶片颗粒图案。

15.一种用于仿真胶片颗粒的装置，包括用于执行如下步骤的已编程处理器和逻辑电路之一：(1)响应于与期望胶片颗粒图案相关的通带区而创建已变换系数块；(2)建立所创建的已变换系数块的逆变换；以及(3)对逆变换后的系数块进行缩放，以创建仿真的胶片颗粒图案。

16.根据权利要求15所述的装置，其中已编程处理器或逻辑电路之一通过执行如下步骤而创建块变换后的系数块：(a)当x和y处于截频f_HL、f_VL、f_HH、和f_VH所限定的通带中且不为0时，为坐标(x，y)处的每一个系数获得一个值，所述值是随机值；(b)把坐标(x，y)处的系数值设置为所获得的值；以及(c)重复步骤(a)和(c)，直到为块中每个系数都设置了一个值为止。

17.根据权利要求15所述的装置，其中已编程处理器或逻辑电路之一通过把(0，0)处的块系数设置为0值而创建块变换后的系数块。

18.根据权利要求15所述的装置，其中已编程处理器或逻辑电路之一创建块变换后的系数块，使得当x＞＝f_HL或y＞＝f_VL以及x＜＝f_HH和y＜＝f_VH时所获得的每一个随机值都遵循高斯随机分布。

19.根据权利要求15所述的装置，其中已编程处理器或逻辑电路之一通过访问预计算的随机值查找表中的条目而获得每一个随机值。

20.一种用于仿真胶片颗粒的装置，包括：

用于响应于与期望胶片颗粒图案相关的通带而创建已变换系数块的装置；

用于建立所创建的已变换系数块的逆变换的装置；以及

用于对已变换系数块进行缩放以创建仿真的胶片颗粒图案的装置。