CN105187844A - 用于减轻图像中的伪影的系统和方法 - Google Patents

Abstract

本申请涉及用于减轻图像中的伪影的系统和方法。本公开的系统和方法提供了基于区块或者说区域的误差扩散过程，用于减轻图像中的伪影。该系统和方法允许了以一种能够较容易地通过压缩过程的方式来生成并控制掩蔽信号(例如，噪声)的空间频率。该系统和方法包括：选择图像的像素的区块大小(204)，将掩蔽信号添加到图像(205)，为图像中的至少一个区块确定量化误差(208)，以及将量化误差分布到图像中的邻居区块以掩蔽图像中的伪影(212)。然后利用压缩函数对输出图像进行编码(214)。

Description

用于减轻图像中的伪影的系统和方法

本申请是申请日为2007年6月12日，申请号为200780049950.1，名称为“用于减轻图像中的伪影的系统和方法”的发明专利申请的分案申请。

技术领域

本公开一般地涉及数字图像处理和显示系统，更具体而言涉及用于减轻图像中的伪影(artifact)的系统和方法。

背景技术

由于产生数字式采样的图像的高质量表示所需的数据文件较大，常见的做法是向该数据文件应用各种形式的压缩，以尝试减小数据文件的大小，而不会不利地影响感知到的图像质量。已经发展了各种公知的技术和标准来解决该需求。这些技术的代表是用于图像编码的联合图片专家组(JPEG)。与JPEG类似但添加了帧间编码以利用运动序列中连续帧的相似性的是运动图片专家组(MPEG)标准。基于小波变换已经开发了其他标准和专属系统。

在商业电影DVD/HD-DVD发行的过程中，从传统的胶片或者从计算机动画电影扫描的数字图像通常具有10比特数据并且在某些应用中具有最多达16比特数据。该数据需要被转换成8比特YUV格式以便进行压缩。由于比特深度精度的减小，带化伪影(bandingartifact)经常出现在具有平滑的颜色变化的图像区域或图像中。抖动(dithering)和误差扩散(errordiffusion)算法常被用于减轻带化伪影。在大多数抖动算法中，具有高空间频率的数字信号被添加到图像以掩蔽掉带化效应。然而，DVD/HD-DVD内的压缩是去除具有高空间频率的信号的有损压缩。因此，即使在压缩之前通过抖动过程掩蔽掉了带化，在压缩之后带化伪影也经常会出现。

用于抖动或颜色深度减小的传统方法是用于显示应用和打印服务的。由于抖动是处理链中的最后一步，因此所添加的高空间频率被很好地保留并且在颜色深度被减小时实现了掩蔽带化效应的目的。误差扩散是另一种常见的方法，其中量化误差被分布在邻居像素中以产生掩蔽效果并且保持整体图像强度。然而，这些方法没有考虑到诸如MPEG1，2，4或H.264之类的往往会减小或者截断高频信号的有损压缩的影响。因此，大多数误差扩散方法将减小压缩过程中的比特率效率，这是因为压缩编码器将会使用若干个比特来表示所添加的量化误差，从而用来表示图像的比特较少。同时，带化伪影在压缩之后易于出现，因为掩蔽信号被减小或截断了。

因此，需要一种用于减轻图像中的伪影的技术，其中，在有损压缩过程之后，伪影仍然得到减轻或抑制。另外，需要一种将在维持高比特率效率的同时减轻图像中的伪影的技术。

发明内容

本公开的系统和方法提供了基于区块(block)或者说区域的误差扩散算法，用于减轻图像中的伪影。该系统和方法允许以一种能够较容易地通过压缩过程的方式来生成并控制掩蔽信号(例如，要应用到图像的噪声)的空间频率。基于区块的误差扩散算法生成能够在很大程度上从压缩过程中幸存的具有低到中空间频率响应的抖动信号，例如，对于图像的给定区块，对于该区块内的每个像素可使用相同的噪声，从而在该区块内噪声样式的空间频率将会较低，这降低了整个图像中的噪声的整体空间频率。该系统和方法还证明，对于具有相同比特率的压缩，提高了峰值信号噪声比(PSNR)，即，提高了压缩中的编码效率。另外，基于区块的误差扩散算法减轻了商业DVD/HD-DVD发行过程中的带化伪影，尤其是对于其中在具有平滑颜色转变的图像区域中带化伪影很明显的动画胶片而言更是如此。

根据本公开的一个方面，提供了一种用于减轻图像中的伪影的方法，包括：选择图像的像素的区块大小；将掩蔽信号添加到图像；为图像中的至少一个区块确定量化误差；以及将量化误差分布到图像中的邻居区块以掩蔽图像中的伪影。

在一个方面中，掩蔽信号是噪声信号。

在另一个方面中，该方法还包括在分布步骤之后利用压缩函数对图像进行编码。压缩函数是有损压缩，例如MPEG1，2，4、h.264等等。

在另一个方面中，确定量化误差的步骤包括：截断至少一个区块中的每个像素；为每个像素确定量化误差；以及对至少一个区块中的每个像素的量化误差求和。

根据本公开的另一个方面，提供了一种用于减轻图像中的伪影的系统。该系统包括：信号生成器，被配置用于生成将被应用到图像的掩蔽信号；区块选择器，被配置用于选择图像的像素的区块大小；以及误差扩散模块，被配置用于确定图像的至少一个区块中的量化误差并且将量化误差分布到邻居区块以减轻图像中的伪影。

在另一个方面中，该系统包括编码器，该编码器被配置用于利用压缩函数对图像进行编码。

在另一个方面中，误差扩散模块还包括误差分布模块，该误差分布模块被配置为基于加权系数将量化误差的一部分分布到邻居区块。误差分布模块还适合于以因果方式分布量化误差。

根据另一个方面，提供了一种可由机器读取的程序存储设备，其有形地包含着可由该机器运行来执行用于减轻图像中的伪影的方法步骤的指令程序，该方法包括：选择图像的像素的区块大小；将掩蔽信号添加到图像；为图像中的至少一个区块确定量化误差；将量化误差分布到图像中的邻居区块以掩蔽图像中的伪影；以及利用压缩函数对图像进行编码。

附图说明

根据以下应当结合附图来阅读的对优选实施例的详细描述将描述或者清楚看到本公开的这些和其他方面、特征和优点。

在附图中，相似的标号在各幅图中指代类似的元件，其中：

图1是示出根据本公开一个方面的基于区块的误差扩散方法的流程图；

图2是根据本公开一个方面的用于减轻图像中的伪影的系统的示例性图示；

图3是根据本公开一个方面的用于减轻图像中的伪影的示例性方法的流程图；

图4是利用基于像素的误差扩散方法来处理的图像的误差图；

图5是图4中处理的那幅图像的误差图，但现在该图像是利用根据本公开的基于区块的误差扩散方法来处理的；以及

图6是示出比较使用基于像素的误差扩散方法和使用基于区块的误差扩散方法的峰值信号噪声比(PSNR)的示图。

应当理解，附图是用于说明本公开的概念的，而不一定是用于图示出本公开的唯一可能的配置。

具体实施方式

应当理解，图中所示的要素可利用各种形式的硬件、软件或其组合来实现。优选地，这些元件是在一个或多个适当编程的通用设备上利用硬件和软件的组合来实现的，所述通用设备可包括处理器、存储器和输入/输出接口。

本说明书例示了本公开的原理。因此将会明白，本领域的技术人员将能够设计出虽然在这里没有明确描述或示出但却实现了本公开的原理并被包括在其精神和范围内的各种布置。

这里记载的所有示例和条件性语言意图用于教导目的以帮助读者理解本公开的原理和发明人为推进技术而贡献的概念，并且应当被解释为并不限于这种具体记载的示例和条件。

另外，这里的所有记载本公开的原理、方面和实施例及其具体示例的陈述都意图涵盖其结构和功能等同物。此外，希望这种等同物包括当前已知的等同物以及未来开发的等同物，即，所开发的任何执行相同功能的要素，无论结构如何。

因此，例如，本领域的技术人员将会明白，这里给出的框图表示实现本公开的原理的示例性电路的概念视图。类似地，将会明白，任何流程图、状态转变图、伪代码等等都表示基本上可被表示在计算机可读介质中表示并且因此可由计算机或处理器来运行的各种过程，无论这里是否明确示出这种计算机或处理器。

附图中示出的各种要素的功能可通过使用专用硬件以及能够联系适当软件来运行软件的硬件来提供。当由处理器来提供时，这些功能可由单个专用处理器、由单个共享处理器或者多个单独的处理器(其中一些可被共享)来提供。另外，对术语“处理器”或“控制器”的明确使用不应当被解释为仅仅指能够运行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)和非易失性存储装置。

还可包括其他传统的和/或定制的硬件。类似地，图中所示的任何开关只是概念性的。其功能可通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至通过手工来执行，具体技术由实现者根据对上下文的更具体理解来选择。

在本申请的权利要求中，被表达为用于执行指定功能的装置的任何要素意图涵盖执行该功能的任何方式，例如包括：a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括固件、微代码等等，这种软件与适当的电路相结合以用于运行该软件以执行该功能。这种权利要求所限定的公开内容存在于以下事实中，即，各种记载的装置所提供的功能按权利要求所要求的方式被组合且集合在一起。因此认为，任何能够提供这些功能的装置都等同于这里示出的那些。

本公开的系统和方法提供了基于区块或者说区域的误差扩散算法，用于减轻图像中的伪影。该系统和方法允许以一种能够较容易地通过压缩过程的方式来生成并控制掩蔽信号(例如，噪声)的空间频率。基于区块的误差扩散算法生成能够在很大程度上从压缩过程中幸存的具有低到中空间频率响应的抖动信号。该系统和方法还证明，对于具有相同比特率的压缩，提高了峰值信号噪声比(PSNR)，即，提高了压缩中的编码效率。

在传统的基于像素的方法中，每个像素的量化误差被分布到其邻居像素，而在本公开的基于区块的方法中，量化误差是根据每个区块来计算的并被分布到其邻居区块。基于区块的方法提供了按区块大小来控制所添加的量化误差的空间频率以及控制每个区块内的误差分布的方式。对于图像的给定区块，对于该区块内的每个像素可使用相同的噪声，从而在该区块内噪声样式的空间频率将会较低，这降低了整个图像中的噪声的整体空间频率。通过按区块来添加具有期望空间频率响应的误差扩散噪声，与基于像素的方法相比，在下游处理的有损压缩中伪影的减轻将得到更好保持。

参考图1，示出了本公开的系统和方法的整体流程。通过各种已知手段来获取要压缩的图像。应当明白，该图像可以是单个静止帧数字图像，或者可以是来自运动图片或胶片的一系列图像中的一个数字图像。该图像被划分成若干个区块，例如B_m，n，其m，n表示区块索引。例如噪声信号之类的掩蔽信号被添加到图像。对图像中的每个区块执行截断函数以减小区块中的像素的比特深度。对于每个区块的像素确定量化误差，并且所有误差的总和产生了区块量化误差E。随后利用加权因子将区块量化误差E分布到每个邻居区块，并且利用所分布的误差将邻居区块的每个像素变换成新的值，这将掩蔽带化伪影并且将会从压缩中存活。由于本公开的处理是因果过程，所以将根据图1中所示的处理方向来按顺序处理区块。该过程开始于第一区块，例如B₀₀。首先利用量化和误差扩散来处理区块B00，然后处理区块B₀₁。在对区块B₀₁的处理中，E是B₀₁的总量化误差。“e”是总量化误差E中被分布到其邻居区块(例如B₁₀、B₁₁、B₀₂)的一部分。分布到每个邻居区块的误差可以是不同的，但是其总和等于总量化误差E。在添加来自先前的处理区块(例如来自区块B₀₁)的误差之后处理区块B₀₂。由于该处理是一个因果过程，所以该处理将会在一个方向上流动，并且将永远不会把误差添加回已经处理过的区块。正如本领域的技术人员已知的，因果过程或系统是具有仅依赖于当前和先前输入值的输出和内部状态的过程。

现在参考图2，示出了根据本公开的实施例的示例性系统组件。扫描设备103可被提供来用于将胶片拷贝(filmprint)104(例如，相机原始负片)扫描成数字格式(例如，Cineon格式或SMPTEDPX文件)。扫描设备103可包括例如电视电影机(telecine)或任何将会从这种胶片生成视频输出的设备，例如具有视频输出的ArriLocPro^TM。或者，可以直接使用来自后期制作过程或数字影院106的文件(例如，已经是计算机可读形式的文件)。计算机可读文件的可能来源是AVID^TM编辑器、DPX文件、D5带，等等。

所扫描的胶片拷贝被输入到后处理设备102，例如计算机。该计算机实现在各种已知的计算机平台中的任何一种上，这些计算机平台具有诸如以下硬件：一个或多个中央处理单元(CPU)、存储器110(例如随机访问存储器(RAM)和/或只读存储器(ROM))以及(一个或多个)输入/输出(I/O)用户接口112(例如键盘、光标控制设备(例如，鼠标、操纵杆等等)和显示设备)。该计算机平台还包括操作系统和微指令代码。这里描述的各种过程和功能可以是经由操作系统运行的微指令代码的一部分或者软件应用程序的一部分(或其组合)。此外，各种其他外围设备可以通过诸如并行端口、串行端口或通用串行总线(USB)之类的各种接口和总线结构连接到该计算机平台。其他外围设备可包括另外的存储设备124和打印机128。打印机128可以用于打印胶片126的经修改版本，例如胶片的立体版本。

或者，已经是计算机可读形式的文件/胶片拷贝106(例如，数字影院，其例如可被存储在外部硬盘驱动器124上)可被直接输入到计算机102中。注意，这里使用的术语“胶片”可以指胶片拷贝或数字影院。

软件程序包括存储在存储器110中的用于减轻图像中的伪影的误差扩散模块114。误差扩散模块114包括噪声或信号生成器116，用于生成一信号来掩蔽图像中的伪影。噪声信号可以是白噪声、高斯噪声、利用不同截止频率的滤波器来调制的白噪声，等等。截断模块118被提供来确定图像的区块的量化误差。误差扩散模块114还包括被配置为将量化误差分布到邻居区块的误差分布模块120。

编码器122被提供来用于将输出图像编码成任何已知的压缩标准，例如MPEG1，2，4、h.264，等等。

图3是根据本公开一个方面用于减轻图像中的伪影的示例性方法的流程图。首先，后处理设备102获取至少一个二维(2D)图像(步骤202)。如上所述，后处理设备102通过获得计算机可读格式的数字主视频文件来获取至少一个2D图像。可以通过利用数字视频相机捕捉视频图像的时间序列来获取数字视频文件。或者，可以利用传统的胶片型相机来捕捉视频序列。在此情形下，经由扫描设备103来扫描胶片。

应当明白，不论胶片被扫描还是已经为数字格式，胶片的数字文件都将包括关于帧的位置的指示或信息，例如帧号码、从胶片开始起的时间，等等。数字视频文件的每个帧将包括一个图像，例如I₁、I₂、……、I_n。

在步骤204中，选择区块大小。图像可被划分成任何数目的区块。区块是包含在矩形区域中的若干个像素。区块在图1中被示为B_m，n，其中m，n表示区块索引。所有区块可具有相同大小，例如2×2、3×3，等等。区块大小也可依据局部图像属性而变化。区块大小可由操作者经由用户接口112来选择，或者它可由图像大小来决定，以便对不同的图像大小保持恒定的比率。如下文将描述的，本公开的误差扩散方法工作在区块级。一旦区块大小被选择，区块大小就将对同一图像保持相同。

一旦确定了区块大小，就将在每个区块内执行两个函数：截断函数和误差扩散函数。首先，在步骤205中，经由噪声生成器116将噪声信号N(例如，掩蔽信号)添加到图像。在步骤206中，经由截断模块118对图像中的每个区块执行截断函数。截断函数被用于通过将比特深度值除以恒定的量化因子Q来减小区块中的每个像素的比特深度，该量化因子Q是2的幂。一般来说，量化因子Q等于2^X，其中X是要截断的比特的数目。例如，对于从10比特数据到8比特数据的截断，恒定的量化因子Q将为4，即Q＝2²。截断函数被定义如下：

$I_{i,j}^{\′}=\frac{I_{i,j}+N_{i,j}}{Q},I_{i,j}\∈B_{m,n}---\left(1\right)$

其中I_i，j是区块内的像素值，N_i，j是噪声生成器116在截断之前添加的信号，Q是量化因子。I′_i，j是被截断的像素值。在截断过程中，对于像素值要考虑舍入问题。例如，如果I′_i，j等于1.75，即7(I′_i，j+N_i，j)除以4(Q)，则I′_i，j将需要利用整数来表示。基于本领域中已知的不同舍入方案，I′_i，j可以是2或1。

在式1内，N_i，j是噪声，例如白噪声，并且它减轻了结构伪影。一般来说，N_i，j具有随机的信号分布。经由用户接口112，操作者可以手工控制N_i，j的值范围。默认地，N_i，j的值范围是从0到Q-1。通过对于图像的所选区块内的每个像素使用相同的噪声，噪声样式的空间频率在区块内将会较低，这降低了整个图像中的噪声的整体空间频率。由于噪声的空间频率被降低，因此噪声(即掩蔽信号)将会从压缩过程中幸存并且在解压缩期间抑制伪影。

在步骤208中，如以下式(2)所示为区块内的每个像素确定量化误差，并且在步骤210中，所有量化误差的总和产生了区块量化误差E_m，n，该区块量化误差E_m，n基于误差扩散系数被分布到邻居区块中。

$E_{m,n}=\underset{i,j}{\Σ}(I_{i,j}-{\mathrm{QI}}_{i,j}^{\′})---\left(2\right)$

对于总的区块量化误差E_m，n，由下式确定的一部分量化误差e将被分布到邻居区块：

e＝c(m，n)*E(3)

其中c(m，n)是误差扩散系数。

在步骤212中，经由误差分布模块120将区块量化误差分布到邻居区块。每个区块内的误差分布函数被定义如下：

I_i，j＝I_i，j+w_i，je，I_i，j∈B_m，n(4)

$w_{i,j}=\frac{1}{NM},I_{i,j}\∈B_{m,n}---\left(5\right)$

其中e是分布到区块B_m，n的总误差，N、M是区块的尺寸，w_i，j是区块B_m，n的加权系数。在一个实施例中，如式(5)所示的均匀分布被用于计算加权系数。可以设计更复杂的函数来计算w_i，j，例如，w_i，j可被设定为与I(i，j)成比例。

区块B_m，n的大小决定了在误差扩散过程中能够控制的空间频率的量，并且被选择来实现最佳的掩蔽伪影的效果。然而，较大的区块大小往往会生成结构化的伪影，在误差扩散过程中这是不合需要的。这种结构化的伪影包括区块边界伪影，其中两个不同区块中的2个相邻像素将被不同地变换。式1中的Ni，j也被用于通过包括随机噪声来破坏潜在的结构化伪影。已经发现，2×2的示例性区块大小足以处理720×480像素(例如DVD分辨率)的图像，而不会有可见的区块伪影。应当明白，可以使用其他区块大小和图像大小，而不会产生可见的伪影。

在已通过误差扩散函数来修改图像之后，可将图像保存在后处理设备的存储器中，例如保存在存储设备124中。一旦已经修改了特定胶片的所有图像，就可以根据任何传统的压缩标准(例如MPEG1，2，4、h.264等等)经由编码器122来对图像进行编码(步骤214)。然而可将经过压缩的胶片130存储在存储设备(例如，存储设备124)中或将其传送到可移动的存储设备(例如，DVD)。

图4和5示出了作为被截断的图像和原始图像的差异的误差。图5表明，本公开的基于区块的方法与图4的利用传统方法(例如，基于像素的方法)来处理的误差图相比具有较少的高空间频率分量。

本公开的基于区块的误差扩散方法还提高了MPEG2压缩过程中的峰值信号噪声比(PSNR)。参考图6，与基于像素的误差扩散方法相比，PSNR被提高到0.2至0.5dB左右。对于相同的比特流大小，本公开的基于区块的方法将给出更好的解码后图像质量，或者对于相同的图像质量，它将使用更少的比特。

虽然这里已经示出并详细描述了结合了本公开的教导的实施例，但是本领域的技术人员可以很容易设计出仍结合这些教导的许多其他改变的实施例。在已经描述了用于减轻图像中的伪影的系统和方法的优选实施例(它们意图为例示性的而非限制性的)后，注意本领域的技术人员在考虑以上教导后可以进行修改和改变。因此，应当理解，在所公开的公开内容的特定实施例中可以进行处于所附权利要求所限定的公开范围和精神之内的变化。在已经利用专利法所要求的细节和特性描述了本公开后，所要求保护并希望由LettersPatent保护的在所附权利要求中阐述。

Claims (12)

1.一种用于防止在有损压缩图像中产生伪影的方法，该方法包括：

选择所述图像的像素的区块大小(204)；

将掩蔽信号添加到所述图像(205)；

截断所述图像的像素的至少一个区块中的每个像素；

为每个像素确定量化误差；

对所述至少一个区块中的每个像素的量化误差求和(210)；以及

将所述量化误差分布到所述图像中的邻居区块以掩蔽所述图像中的伪影(212)；

其中对于图像的所选区块内的每个像素使用相同的掩蔽信号，并且所述掩蔽信号是噪声信号。

2.如权利要求1所述的方法，还包括在所述分布步骤之后利用压缩函数对所述图像进行编码(214)。

3.如权利要求1所述的方法，其中，所述分布步骤还包括基于加权系数向邻居区块分布所述量化误差的一部分。

4.如权利要求1所述的方法，其中，所述分布步骤还包括向所述邻居区块中的每一个分布所述量化误差的相等部分。

5.如权利要求1所述的方法，其中，所述区块大小与所述图像的大小成比例。

6.一种用于防止在有损压缩图像中产生伪影的的系统(100)，该系统包括：

信号生成器(116)，被配置用于生成将被应用到图像的掩蔽信号，其中对于图像的所选区块内的每个像素使用相同的掩蔽信号，并且所述掩蔽信号是噪声信号；

区块选择器，被配置用于选择所述图像的像素的区块大小；以及

误差扩散模块(114)，被配置用于确定所述图像的至少一个区块中的量化误差，所述误差扩散模块(114)还包括截断模块(118)，该截断模块被配置为截断所述至少一个区块中的每个像素，为每个像素确定量化误差并且对所述至少一个区块中的每个像素的量化误差求和；所述误差扩散模块(114)还被配置用于将所述量化误差分布到邻居区块以减轻所述图像中的伪影。

7.如权利要求6所述的系统，还包括编码器(112)，被配置用于利用压缩函数对所述图像进行编码。

8.如权利要求7所述的系统，其中，所述压缩函数是有损压缩函数。

9.如权利要求6所述的系统，其中，所述误差扩散模块(114)还包括误差分布模块(120)，该误差分布模块被配置为基于加权系数向邻居区块分布所述量化误差的一部分。

10.如权利要求6所述的系统，其中，所述误差分布模块(120)还适合于以因果方式分布所述量化误差。

11.如权利要求6所述的系统，其中，所述误差扩散模块(114)还包括误差分布模块(120)，该误差分布模块被配置为向所述邻居区块中的每一个分布所述量化误差的相等部分。

12.一种用于防止在有损压缩图像中产生伪影的的装置，该装置包括：

处理器；以及

包括程序指令的存储设备，当程序指令由处理器执行时，使得处理器：

选择所述图像的像素的区块大小(204)；

将掩蔽信号添加到所述图像(205)；

截断所述图像的像素的至少一个区块中的每个像素；

为每个像素确定量化误差；

对所述至少一个区块中的每个像素的量化误差求和(210)；

将所述量化误差分布到所述图像中的邻居区块以掩蔽所述图像中的伪影(212)；以及

利用压缩函数对所述图像进行编码(214)；

其中对于图像的所选区块内的每个像素使用相同的掩蔽信号，并且所述掩蔽信号是噪声信号。