CN101686321A - 用于减少图像数据中的噪声的方法和系统 - Google Patents

Abstract

本发明名称为“用于减少图像数据中的噪声的方法和系统”。本发明涉及一种用于减少图像数据中的噪声的方法，包括对图像数据执行(S4、S7、S10)空间噪声减少并对空间噪声减少后的图像数据应用(S12)伽马校正的步骤。本发明还涉及一种用于图像数据中的噪声减少的系统。

Description

用于减少图像数据中的噪声的方法和系统

技术领域

本发明涉及一种用于减少图像数据中的噪声的方法、涉及一种用于执行该方法的步骤的程序产品、涉及一种用于图像数据中的噪声减少的系统和涉及一种包括用于噪声减少的系统的成像设备。

背景技术

在获取、处理和显示图像的领域中，多种类型的失真影响了图像的质量。因此，采用多种相关方法和处理步骤来去除失真并增强图像的质量。一个问题是，要通过例如阴极射线管CRT监视器、LC显示器、电视机、扫描仪、数字相机和/或打印系统的部件显示或处理的图像受到图像数据中的噪声影响，图像数据中的噪声是由于图像获取(数字化)和/或传输而产生的。

例如，成像传感器的性能受到多种因素的影响和/或图像可能在传输期间因传输所用的信道的干扰而受到破环。一般，图像噪声是导致图像捕获、传输、编码和/或存储的不完善过程所导致的非期望的视觉现象。

为了去除图像内的噪声，多种噪声减少技术被采用。通常，采用用于减少空间和时间噪声的算法和对应滤波器的组合。

图像处理中的另一个任务是伽玛校正。基于CRT的显示器或LC显示器或任何其他类型的显示器一般在施加的信号电压与所产生的图像强度之间具有非线性关系。伽马校正尝试通过沿相反方向对信号进行预失真来补偿因此类非线性导致的失真。因此，从图像数据，导出单独的颜色信号RGB(红色、绿色和蓝色)，并且这些颜色信号经过伽马校正。

参考图1，下文将解释根据现有技术用于处理图像数据的系统100。将原始图像数据2提交到伽马校正组件3以对图像数据执行伽马校正，然后将伽马校正后的图像数据提交到空间噪声减少组件4，空间噪声减少组件4对伽马校正后的图像数据执行空间噪声减少。

将噪声减少后的图像数据6直接提交到显示器或还可以将其提交到后续处理组件5，例如用于执行运动估计ME和时间噪声减少TNR的组件。

现有技术的系统100的问题在于，噪声减少非常困难。由于伽马校正，原始图像数据中包含的噪声的影响进一步恶化，这使得后续空间噪声减少更费力。这导致图像仍具有显著的噪声和下降的质量。

因此，本发明的目的在于减少现有技术的缺点。确切地来说，本发明的目的在于提供一种用于改进图像数据中的噪声减少的方法和系统。

此目的通过独立权利要求的特征来实现。

有利特征和实施例是从属权利要求的主题。

发明内容

本发明提供一种用于减少图像数据中的噪声的方法，包括以下步骤：对所述图像数据执行空间噪声减少并对空间噪声减少后的图像数据应用伽马校正。

本发明还提供一种当由计算机执行时用于执行上述方法的步骤的计算机程序产品。

本发明还提供一种用于图像数据中的噪声减少的系统，包括处理单元。所述处理单元包括：空间噪声减少组件，用于对所述图像数据执行空间噪声减少；以及伽马校正组件，用于对空间噪声减少后的图像数据应用伽马校正。

本发明还提供一种成像设备，优选地为照相机，包括上述用于噪声减少的系统。

附图说明

现在将结合附图在下文对优选实施例的描述中更详细地解释本发明，其中：

图1示出根据现有技术的噪声减少系统的示意框图，

图2示出根据本发明的噪声减少系统的第一实施例，

图3示出根据本发明的噪声减少系统的另一个实施例，

图4示出包括根据本发明的噪声减少系统的成像设备的示意框图，以及

图5示出根据本发明的方法的过程步骤的流程图。

具体实施方式

本发明的一个基本理念是提供使用的处理步骤的特定次序。确切地来说，本发明提出首先执行空间噪声减少，然后对噪声减少后的图像数据执行伽马校正。

在现有技术中，常常低估伽马校正对原始图像数据2中所含的噪声的影响。因此，伽马校正之后施加空间噪声减少不足以去除伽马校正后的图像数据中的所有噪声，并且保留显著的噪声，这是由于伽马校正的影响所致。

本发明认识到此问题并提供一种有效同时非常简单的解决方案，该解决方案通过按不同的次序，即通过首先执行空间噪声减少，然后对已经执行噪声减少后的数据执行伽马校正来应用处理步骤以减少现有技术中的问题。即使本发明采用更改处理步骤的简单解决方案，仍实现了图像质量上的完全意想不到的显著提高。这不仅能够提高图像质量本身，而且还正面地影响所有后续处理步骤，例如运动估计、时间噪声减少等。

图2示出根据本发明的第一实施例的用于图像数据中噪声减少的系统1。根据此实施例，对原始图像数据2应用空间噪声减少步骤，然后对空间噪声减少后的图像数据执行伽马校正。

因此将原始图像数据2馈送到空间噪声减少组件4以减少图像数据中的空间噪声。然后，将空间噪声减少后的图像数据提交到伽马校正组件3，在伽马校正组件3中执行伽马校正。然后可以直接显示噪声减少后的图像数据9、将其提交到另一个设备、将其存储以供后来显示或传输或可以由另外的组件进行处理，例如由图2所示的运动估计和时间噪声减少组件5来处理。要注意，图2仅示出处理噪声减少后的图像9的一种可能的方式。本发明并不局限于所示的实施例，而是涵盖如上所述的对噪声减少后的图像数据9的处理的任何其他类型。

与在空间噪声减少之前对图像数据应用伽马校正的现有技术相比，本发明提出首先执行空间噪声减少，然后执行伽马校正。正如已经提到的，这具有如下优点：当图像数据被提供到伽马校正时，图像数据的空间噪声已经被去除，从而在伽马校正的情况下，不会使空间噪声进一步恶化，因为空间噪声已经从图像数据去除。因此，最终噪声减少后的图像数据9包括比现有技术噪声减少后的图像数据6更少的噪声，并且因此提供改善的图像质量。

本发明的另一个优点在于，如果此噪声减少后的图像数据9用于后续的运动估计过程，则实现运动估计性能上的显著改进。然后可以使用此改进的运动估计结果来进行噪声的时间滤波以获得最优的噪声减少效果。

根据本发明的空间噪声减少组件4可以采用能够减少图像数据中的空间噪声的任何现有或将来的组件和/或算法。一般，空间噪声减少旨在基于一个图像平面内的数据来减少噪声。空间噪声减少组件4可以例如作为对应的线性或非线性滤波器来实现，这在现有技术中是公知的并且因此将不作进一步论述。在任何情况中，本发明采用任何现有或将来的空间噪声减少方法，并不限于一种类型的空间噪声减少。空间噪声减少组件4可以对整个图像或对图像局部执行空间噪声减少。

同样地，本发明中使用的伽马校正组件3可以采用应用于任何类型的图像数据的任何类型的现有或将来的伽马校正。伽马校正组件3适合于对基于RGB(红绿蓝)色彩空间或sRGB(标准红绿蓝)色彩空间的任何阴极射线管CRT监视器、LC显示器或基于任何类型的色彩空间的任何其他类型的监视器应用伽马校正。

本发明的第一实施例提供一种简单且强大的方法来减少图像数据中的噪声。尽管如此，仍可能存在提出的第一实施例不适于以令人满意的方式减少噪声的原始图像数据2的类型。

根据拍摄一个或多个图像时存在的照明状况和/或照相机特性，与伽马校正组合的公知的空间噪声减少不足以提供噪声减少的图像数据。确切地来说，低亮度状况下拍摄的图像受到与高亮度状况下拍摄的图像不同类型的噪声的影响。根据原始图像数据2中所含的噪声的类型，公知的空间噪声减少方法不足以去除或充分地减少原始图像数据2中所含的噪声。

在此情况中，本发明提出根据图3所示的另一个实施例的系统11。

在此系统11中，在应用空间噪声减少之前，原始图像数据2首先经过变换组件7执行的变换步骤。在此变换步骤中，由用于变换原始图像数据2中所含的噪声的类型的对应算法来变换包含噪声的原始图像数据2。因此，优选地，以这样的方式来选择用于变换原始图像数据2的算法，即：变换的图像数据包含可以最优方式被后续空间噪声减少组件4减少或去除的噪声类型。

在空间噪声减少之后，将图像数据提交到反向变换组件8，反向变换组件8对该图像数据执行反向变换，以反向变换由变换组件7执行的变换。在反向变换之后的图像数据对应于没有已去除的空间噪声的原始图像数据2。

用于变换和反向变换图像数据的任何算法均可以使用，同样地，任何空间噪声减少算法均可以使用。优选地，需要满足如下状况：该变换将图像数据中的噪声以使噪声能够在随后的空间噪声减少步骤期间被有效地去除的方式进行变换。此外，优选地以不丢失原始图像数据的任何信息的方式选择变换算法和反向变换算法。或者，可以选择其中包含少量图像信息的图像的小部分丢失的变换算法。

在反向变换之后，再次将图像数据提交到伽马校正组件3以便执行伽马校正，然后显示、存储、传送噪声减少的图像数据19或由另外的处理组件5对其进一步处理，例如进行运动估计和时间噪声减少。再次要注意，本发明并不局限于包括另外的处理组件5的系统，而且还涵盖包括以不同方式处理噪声减少的图像数据19的任何其他系统。

在本发明中，优选地对于变换算法，使用Anscombe变换算法。同样地，优选地对于反向变换步骤，使用反向Anscombe变换算法。很明显，利用变换步骤，图像数据本身也被变换，但是利用反向变换步骤，该图像数据被无任何信息丢失地复原。下文将解释Anscombe算法的不同优点以及可以使用的Anscombe算法的不同类型。

一般有不同类型的噪声。一方面，有遵循泊松曲线的噪声，下文中称为散粒或量子或泊松噪声。例如CCD检测器上光子到达以及其光子计数的表示可以通过泊松分布建模。另一方面，还有遵循高斯曲线的噪声，下文称为高斯噪声，例如读出噪声。利用根据现有技术的空间噪声减少，只能减少高斯噪声。受高斯噪声和泊松噪声混合影响或主要受泊松噪声影响的图像无法以令人满意的方式得以校正。尤其是利用高ISO设置(例如ISO 6400和ISO 12800)拍摄的图像以及在低亮度状况下拍摄的图像(例如在50LUX或以下拍摄的图像)受泊松噪声严重影响。利用公知的空间噪声减少方法，仅处理高斯噪声，而泊松噪声并未被此过程去除。

在与Anscombe变换组合执行空间噪声减少的本发明中，可以不仅抑制(即减少)高斯噪声，而且抑制泊松噪声。一般，利用Anscombe变换，变换包含噪声的图像数据，并将图像数据中所含的泊松噪声变换成高斯噪声。即如果图像数据中的噪声是泊松类型的，则Anscombe变换起作用，好像该噪声数据源自高斯白噪声模型。

如果原始图像数据2中的噪声主要是泊松噪声，可以使用简化的Anscombe变换。可以由如下公式来表示该简化的Anscombe变换AT_S：

${\mathrm{AT}}_S\left\{I(x,y)\right\}=2\sqrt{I(x,y+\frac{3}{8})},$

其中I(x，y)是原始图像数据。

利用此变换，将整个原始图像数据2变换，并另外也将泊松噪声变换成高斯噪声。然后可以通过公知的空间噪声减少方法来处理高斯噪声，在空间噪声减少步骤之后，根据如下公式对空间噪声减少后的图像数据执行简化的反向Anscombe变换IAT_S：

${\mathrm{IAT}}_S\left\{J(x,y)\right\}={\left(\frac{J(x,y)}{2}\right)}^2-\frac{3}{8},$

其中J(x，y)是空间噪声减少后的图像数据。由此有效地减少空间噪声，并可以实现最优的图像质量。当使用简化的Anscombe变换时，降低了处理图像所需的处理能力，以使本实施例也可以在具有小处理能力的设备中实现。

在另一种情况中，即图像数据中有泊松噪声和高斯噪声的混合的情况中，可以采用常规Anscombe变换，以将高斯和泊松噪声的混合变换成高斯噪声。此处，信号的值I(x，a)被视为均值g和标准偏差σ的高斯变量γ和均值m₀的泊松变量n之和。设置为I(x，y)＝γ+αn，其中α是增益。可以利用如下公式来表示常规Anscombe变换AT_G：

${\mathrm{AT}}_G\left\{I(x,y)\right\}=\frac{2}{\mathrm{\α}}\sqrt{\mathrm{\αI}(x,y)+\frac{3}{8}{\mathrm{\α}}^2+{\mathrm{\σ}}^2-\mathrm{\αg}},$

因此，可以由如下公式来表示反向常规Anscombe变换IAT_G：

${\mathrm{IAT}}_G\left\{J(x,y)\right\}={\left(\frac{J(x,y)}{2}\right)}^2\mathrm{\α}-\frac{3}{8}\mathrm{\α}-\frac{{\mathrm{\σ}}^2}{\mathrm{\α}}+g$

总之，本发明提出用于减少图像数据中的不同实施例：在一个实施例中，执行空间噪声减少然后伽马校正。在另一个实施例中，在空间噪声减少之前执行变换步骤，并在空间噪声减少之后执行反向变换步骤。在另一些实施例中，对于变换，使用简化的或常规Anscombe变换，并且相应地，对于反向变换，使用简化的或常规反向Anscombe变换。在任何执行噪声减少的设备中，可以实现一个或多个实施例。

如果仅在设备中实现一个实施例，则在任何情况中该实施例首先执行空间噪声校正，然后执行伽马校正，从而可以实现相对于现有技术的显著改进。仅选择一个实施例来实现可能源于适应有限的处理能力和/或存储容量的需要。或者，可能出现这样的情况：一个设备期望仅处理包含特定类型的噪声的图像数据，从而可以选择最适于处理该种类噪声的对应实施例。

在其它情况下，在一个设备中实现本发明的两种或两种以上实施例是可能的。然后，可以提供有一种机制用于为每个图像或图像序列选择最适合于该图像数据中的噪声类型的一个实施例。稍后将解释用于确定要使用哪种类型的实施例的机制。作为附加或备选方式，可以提供部件允许用户来选择这些实施例的其中之一。

现在参考图4，将详细解释包括本发明系统1、11的一个或多个实施例的成像设备20。该成像设备可以是允许获取图像数据并处理图像数据的任何类型的设备。优选地，该成像设备是用于静态图像和/或视频序列的照相机、移动电话、PDA、PC、电视机、笔记本或任何其他类型的设备。

成像设备20包括用于获取原始图像数据2的图像获取单元22。根据本发明，图像数据可以是单个图像或图像序列，即可以是静态图像或视频流。因此图像获取单元22可以包括用于拍摄图像的CCD传感器或在成像设备20外部的适合于拍摄物体的图像的任何其他现有或将来的机制。图像获取单元22可以是到任何类型的源(例如存储装置)的连接、因特网连接、广播传输或用于接收图像的任何其他无线或有线连接。

该成像设备还包括显示器24，显示器24可以是例如CRT监视器或LC显示器或适合于显示图像数据的任何其他类型的显示器。成像设备20还包括存储器25，存储器25可以包括易失性和/或非易失性存储装置的一个或多个部分。

可选地，成像设备20包括检测单元21，检测单元21适合于检测指示图像原始数据2中所含的噪声类型的状况。检测单元21可以例如检测当前亮度状况，即拍摄图像时的亮度状况。作为备选或附加方式，检测单元21可以检测曝光值和感光度。检测单元21可以例如是用于检测当前照明或亮度状况的传感器。根据检测单元21检测的亮度状况，将根据预定义的参数来决定要使用哪种类型的噪声减少处理。在存储器中，可以存储例如包含几个亮度值和对应地包含应该用于校正原始图像数据2的处理步骤的几个类型的表。一般，照相机的亮度以LUX为单位来测量。在50LUX或以下捕获的图像被分类为在低亮度状况下拍摄的。但是，具体根据照相机的类型，指示低亮度状况的LUX值可能有所不同，本发明对于检测低亮度状况并不局限于50LUX的值。

备选地，还可以省略检测单元21，并且可以在成像设备20中仅实现一个实施例或用户能够利用对应的开关或通过任何其他类型的输入设备(附图中未示出)自己选择处理方法。

图像获取单元22、检测单元21、显示器24和存储器25全部连接到处理单元23并与处理单元23进行数据通信，处理单元23控制成像设备20中的处理，即在成像设备20内的读、写、存储、传送、删除或任何其他类型的数据处理。

空间噪声减少组件4、伽马校正组件3和(如果存在的话)变换组件7和反向变换组件8被包括在处理单元23中，它们或作为软件执行的步骤或可以作为硬件组件来实现。同样地，用于例如运动估计和时间噪声减少的任何其他处理组件5也可以作为处理单元23中的软件或硬件来实现。

现在将参考图5解释根据本发明的方法执行的详细步骤。该过程开始于步骤S0。

在下一步S1中，获取图像。如前所解释的，该图像可以是单个静态图像或构成视频序列的多个图像的序列。图像的获取可以通过例如使用CCD传感器拍摄图像或通过经任何类型的传输信道接收图像或通过任何其他获取图像的方式来实现。

在下一步S2中，检测单元21将检测亮度状况或指示当前获取的图像中的噪声类型的其他参数。

在随后的步骤S3中，决定是否提供变换。在步骤S3中，基于检测的亮度状况或其他参数，决定是否利用对应的变换和反向变换或不进行变换步骤来执行噪声减少。如果决定不提供变换，则在下一步S4中，执行空间噪声减少。

否则，如果在步骤S3中决定提供变换并且在对于变换提供Anscombe变换的情况中，则在下一步S5中，决定是否提供常规类型的Anscombe变换或是否提供简化类型的Anscombe变换。如果存在不同类型的变换之间选择的可能性，则在此步骤S5中，决定是否提供常规类型的变换，正如上文解释的。如果决定提供常规类型的变换，则在下一步S6中，对图像数据执行常规Anscombe变换，在随后步骤S7中，执行空间噪声减少，并下一步S8中执行常规反向Anscombe变换。

否则，如果决定不提供常规类型的变换，则在下一步S9中，对图像数据执行简化的Anscombe变换，在随后步骤S10中，执行空间噪声减少，并下一步S11中执行简化的反向Anscombe变换。

正如已解释的，也可以省略步骤S2和检测单元21，并且允许用户选择要使用哪种过程。还有可能性，即在设备中仅实现两种不同的过程，从而可以省略S3或S5。在另一个备选方式中，可以在成像设备20中仅实现一个实施例。在此情况中，可以省略整个步骤S2、S3和S5以及检测单元21。

在任何情况中，在利用变换步骤或不利用变换步骤进行空间噪声减少之后，过程继续到步骤S12，其中对空间噪声减少后的图像数据执行伽马校正。

在步骤S13中，可选地，可以实现后续图像处理，例如，运动估计和时间噪声减少。在随后步骤S14中，存储和/或显示噪声减少后的图像数据和/或将其传送到任何其他设备。该过程结束于步骤S15。

除了使用户能够选择这些实施例之一的可能性，本发明采用一种鲁棒且完全自动的能够实现噪声减少的方法和系统。确切地来说，在任何情况中，都无需人工调整参数。

通过在伽马校正之前执行空间噪声减少的第一实施例，本发明已经提供一种有效地减少图像数据中的噪声的方法和系统。此外，在特定亮度状况的情况中，更广义地来说，在原始图像数据中的不同类型的噪声的情况中，本发明采用不同的机制来处理不同类型的噪声，这又促成改进的噪声减少并由此促成增强的图像质量。本发明适于所有噪声水平图像并提供更有效的噪声减少。如果本发明用作运动估计的预处理，则它在运动矢量精度方面优于常规系统。

Claims (15)

1.一种用于减少图像数据中的噪声的方法，

包括以下步骤：

对所述图像数据执行(S4、S7、S10)空间噪声减少并对空间噪声减少后的图像数据应用(S12)伽马校正。

2.如权利要求1所述的方法，

还包括以下步骤：

在执行所述空间噪声减少之前对所述图像数据执行变换步骤(S6、S9)以用于变换所述图像数据中包含的噪声的类型，

以及

在应用伽马校正之前对所述空间噪声减少后的图像数据执行反向变换步骤(S8、S11)。

3.如权利要求2所述的方法，

其中所述变换步骤包括执行(S6、S9)Anscombe变换以用于将所述图像数据中包含的噪声变换成高斯噪声，以及

所述反向变换步骤包括执行(S8、S11)反向Anscombe变换。

4.如权利要求3所述的方法，

其中对于所述Anscombe变换(S9)和所述反向Anscombe变换(S11)，使用简化的变换来实现将泊松噪声变换成高斯噪声。

5.如权利要求3所述的方法，

其中对于所述Anscombe变换(S6)和所述反向Anscombe变换(S8)，使用常规变换来实现将泊松噪声和高斯噪声的混合变换成高斯噪声。

6.如权利要求2至5中任一项所述的方法，

还包括以下步骤：

检测(S2)当前亮度状况。

7.如权利要求6所述的方法，

包括基于检测到的亮度状况决定(S3)是否要对所述图像数据执行变换和对应的反向变换的步骤。

8.如权利要求7所述的方法，

包括基于检测到的亮度状况决定(S5)要使用常规还是简化的变换和对应的反向变换的步骤。

9.一种当由计算机执行时用于执行如权利要求1至8中任一项所述方法的步骤的计算机程序产品。

10.一种用于图像数据中的噪声减少的系统，

包括：

处理单元(23)，

所述处理单元包括：

空间噪声减少组件(4)，用于对所述图像数据执行空间噪声减少，以及

伽马校正组件(3)，用于对空间噪声减少后的图像数据应用伽马校正。

11.如权利要求10所述的系统，

其中所述处理单元(23)还包括：

变换组件(7)，用于在执行所述空间噪声减少之前对所述图像数据执行变换步骤以用于变换所述图像数据中包含的噪声的类型，以及

反向变换组件(8)，所述反向变换组件(8)在应用伽马校正之前对所述空间噪声减少后的图像数据执行反向变换步骤。

12.如权利要求11所述的系统，

还包括检测单元(21)，所述检测单元(21)用于检测当前亮度状况。

13.如权利要求12所述的系统，

其中所述处理单元(23)根据由所述检测单元(21)检测到的亮度状况来决定是否要对所述图像数据执行变换和对应的反向变换。

14.如权利要求13所述的系统，

其中所述处理单元(23)根据由所述检测单元(21)检测到的亮度状况来决定要对所述图像数据执行常规还是简化的变换和对应的反向变换。

15.一种成像设备(20)，优选地为照相机，包括如权利10至14中任一项所述的用于噪声减少的系统。

Images