CN104980626A - 用于降低图像噪声的方法和设备 - Google Patents

Abstract

本发明提供一种用于降低图像噪声的方法和设备。所述设备包括：时间噪声降低单元，被配置为通过基于从输入帧和参考帧检测得到的基于像素的运动程度和基于块的运动程度调整输入帧的时间噪声降低强度来从输入帧去除时间噪声，并产生第一输出帧；空间噪声降低单元，被配置为通过基于第一输出帧的周围像素之间的相似度以及所述基于像素的运动程度和基于块的运动程度调整第一输出帧的空间噪声降低强度来从第一输出帧去除空间噪声，从而产生最终输出帧。

Description

用于降低图像噪声的方法和设备

本申请要求于2014年4月1日在韩国知识产权局提交的第10-2014-0038751号韩国专利申请的优先权，该申请的公开通过引用全部合并于此。

技术领域

与示例性实施例一致的方法和设备涉及降低图像噪声。

背景技术

传统的时间和空间噪声降低技术采用以下方法：所述方法将时间噪声降低和空间噪声降低进行区分，在非运动区域中增加时间噪声降低的权重，并在运动区域中增加空间噪声降低的权重。当执行时间噪声降低时，原样使用先前帧，或者存储和使用在先前帧中计算得到的时间噪声降低结果。

发明内容

一个或更多个示例性实施例包括一种用于降低图像噪声的方法和设备，其中，所述方法和设备能够增强降噪效果并减轻运动模糊。

另外的方面将在下面的描述中部分被阐述，并且部分将通过所述描述而变得清楚，或者可通过示例性实施例的实践而被获知。

根据示例性实施例的一方面，提供一种用于降低图像噪声的设备，所述设备包括：时间噪声降低单元，被配置为通过根据基于像素的运动程度和基于块的运动程度调整输入帧的时间噪声降低强度来从输入帧去除时间噪声，从而产生已从中去除时间噪声的第一输出帧，其中，基于像素的运动程度和基于块的运动程度是从输入帧和参考帧检测得到的；空间噪声降低单元，被配置为通过基于第一输出帧的像素之间的相似度以及基于像素的运动程度和基于块的运动程度调整第一输出帧的空间噪声降低强度来从第一输出帧去除空间噪声，从而产生最终输出帧。

时间噪声降低单元可包括：运动检测单元，被配置为检测基于像素的运动程度和基于块的运动程度，并根据基于像素的运动程度和基于块的运动程度来确定第一运动权重；时间噪声滤波器，被配置为通过使用第一运动权重来对输入帧和参考帧进行加权求和，以产生第一输出帧。

第一运动权重可具有在0到1之间的值，并与基于像素的运动程度和基于块的运动程度成比例增大。

运动检测单元可包括：第一运动检测单元，被配置为基于第一滤波值相对于第一滤波值和第二滤波值之间的最大值的比值来计算指示基于像素的运动程度的第一检测值，其中，第一滤波值是通过对输入帧进行低通滤波而获得的，第二滤波值是通过对参考帧进行低通滤波而获得的；块划分单元，被配置为将输入帧划分成多个块；第二运动检测单元，被配置为计算第二检测值，对包括当前像素的块的第二检测值和包括当前像素的块的周围块的第二检测值进行插值，并计算指示当前像素的基于块的运动程度的第三检测值，其中，所述第二检测值是所述多个块中的每一个块中所包括的像素的第一检测值的平均值；权重确定单元，被配置为基于输入帧的第一检测值和先前输入帧的第三检测值来计算第一运动权重。

权重确定单元可包括：第一权重确定单元，被配置为确定与第一检测值相应的第一权重；第二权重确定单元，被配置为确定与第三检测值相应的第二权重，其中，第一运动权重是通过将第一权重与第二权重相乘而计算得到的。

空间噪声降低单元可包括：图案匹配单元，被配置为测量第一输出帧的在预定窗口内的针对当前像素的图像块与针对当前像素的周围像素的图像块之间的相似度；空间噪声滤波器，被配置为通过根据图像块之间的相似度来将权重应用于周围像素并对周围像素取加权平均值来产生第二输出帧，并通过使用根据基于像素的运动程度和基于块的运动程度的第二运动权重对第一输出帧和第二输出帧进行加权求和来产生最终输出帧。

所述设备还可包括：参考帧产生单元，被配置为通过使用根据基于像素的运动程度和基于块的运动程度的第三运动权重对第一输出帧和第二输出帧进行加权求和来产生下一输入帧的参考帧。

第三运动权重的值可小于第二运动权重的值。

第二运动权重和第三运动权重可具有在0到1之间的值，并与基于像素的运动程度和基于块的运动程度成比例增大。

参考帧可以是已从中去除时间噪声和空间噪声的在输入帧之前的帧。

根据另一示例性实施例的一方面，提供一种降低图像噪声的方法，所述方法包括：通过根据基于像素的运动程度和基于块的运动程度调整输入帧的时间噪声降低强度来从输入帧去除时间噪声，从而产生第一输出帧，其中，基于像素的运动程度和基于块的运动程度是从输入帧和参考帧检测得到的；通过基于第一输出帧的像素之间的相似度以及基于像素的运动程度和基于块的运动程度调整第一输出帧的空间噪声降低强度来从第一输出帧去除空间噪声，从而产生最终输出帧。

产生第一输出帧的步骤可包括：检测基于像素的运动程度和基于块的运动程度，并根据基于像素的运动程度和基于块的运动程度来确定第一运动权重，并且，通过使用第一运动权重来对输入帧和参考帧进行加权求和以产生第一输出帧。

第一运动权重可具有在0到1之间的值，并与基于像素的运动程度和基于块的运动程度成比例增大。

确定第一运动权重的步骤可包括：基于第一滤波值相对于第一滤波值和第二滤波值之间的最大值的比值来计算指示基于像素的运动程度的第一检测值，其中，第一滤波值是通过对输入帧进行低通滤波而获得的，第二滤波值是通过对参考帧进行低通滤波而获得的；将输入帧划分成多个块；计算第二检测值，其中，所述第二检测值是所述多个块中的每一个块中所包括的像素的第一检测值的平均值；对包括当前像素的块第二检测值和包括当前像素的块的周围块的第二检测值进行插值，并计算指示当前像素的基于块的运动程度的第三检测值；基于输入帧的第一检测值和先前输入帧的第三检测值来计算第一运动权重。

计算第一运动权重的步骤可包括：确定与第一检测值相应的第一权重，确定与第三检测值相应的第二权重，并通过将第一权重与第二权重相乘来计算第一运动权重。

产生最终输出帧的步骤可包括：测量第一输出帧的在预定窗口内的针对当前像素的图像块与针对当前像素的周围像素的图像块之间的相似度，通过根据图像块之间的相似度来将权重应用于周围像素并对周围像素取加权平均值来产生第二输出帧，并通过使用根据基于像素的运动程度和基于块的运动程度的第二运动权重对第一输出帧和第二输出帧进行加权求和来产生最终输出帧。

所述方法还可包括：通过使用根据基于像素的运动程度和基于块的运动程度的第三运动权重对第一输出帧和第二输出帧进行加权求和来产生下一输入帧的参考帧。

第三运动权重的值可小于第二运动权重的值。

第二运动权重和第三运动权重可具有在0到1之间的值，并与基于像素的运动程度和基于块的运动程度成比例增大。

参考帧可以是已从中去除时间噪声和空间噪声的在输入帧之前的帧。

附图说明

从下面结合附图对示例性实施例的描述，这些和/或其他方面将变得清楚且更易于理解，其中：

图1是示意性地示出根据示例性实施例的用于降低图像噪声的设备的框图；

图2是示意性地示出根据示例性实施例的运动检测单元的框图；

图3是根据示例性实施例的作为第一查找表的曲线图；

图4是根据示例性实施例的作为第二查找表的曲线图；

图5和图6是根据示例性实施例的用于解释检测基于块的运动程度的方法的示图；

图7是示意性地示出根据示例性实施例的空间噪声滤波器的框图；

图8至图11是根据示例性实施例的降低图像噪声的方法的流程图。

具体实施方式

现将详细描述在附图中示出的示例性实施例，其中，相同的附图标号始终指代相同的组件。就此而言，示例性实施例可具有不同形式，并且不应被解释为受限于这里所阐述的描述。相应地，仅通过参照附图将示例性实施例描述如下，以解释本说明书的各方面。

由于本发明构思允许各种变化和众多实施例，因此将在附图中示出并在书面的说明书中详细地描述某些示例性实施例。然而，这不意图将本发明构思限制为特定的实践模式，并且，将领会的是，不脱离本发明构思的精神和技术范围的所有变化、等同物和替代物均被包含在本发明构思中。在示例性实施例的描述中，当相关领域的某些详细解释被视为会不必要地使得本发明构思的实质模糊时，省略这些详细解释。

虽然诸如“第一”、“第二”等的术语可用于描述各种组件，但是所述组件并不受限于上述术语。上述术语仅用于将一个组件与另一个组件区分开。

在本说明书中使用的术语仅用于描述示例性实施例，并不意图限制本发明构思。以单数形式使用的表述包含复数形式的表述，除非该以单数形式使用的表述在上下文中具有明显不同的含义。在本说明书中，应该理解，诸如“包括”或“具有”等的术语意图表示在本说明书中公开的特征、标号、步骤、操作、组件、部件或它们的组合的存在，并不意图排除可存在或可附加一个或多个其他特征、标号、步骤、操作、组件、部件或它们的组合的可能性。

除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)的含义与本发明构思所属领域的普通技术人员通常所理解的含义相同。还将理解的是，诸如在通用辞典中定义的术语应被解释为具有与所述术语在相关领域的上下文中的含义一致的含义，并且，除非在此明确地如此定义，否则将不以理想化或过于正式的含义解释诸如在通用辞典中定义的术语。

图1是示意性地示出根据示例性实施例的用于降低图像噪声的设备1的框图。

参照图1，用于降低图像噪声的设备1包括：时间噪声降低单元10、空间噪声降低单元50和存储器90。

以帧为单位，将图像(或运动图像)输入到设备1。

时间噪声降低单元10根据从输入帧IN和参考帧PIG检测得到的基于像素的运动程度和基于块的运动程度来调整输入帧IN的时间噪声降低强度(或程度)，以产生和输出第一输出帧OUT_TNF。第一输出帧OUT_TNF为已从输入帧IN中去除时间噪声的帧。参考帧PIG为已从中去除时间噪声和空间噪声的先前帧。

改变时间噪声降低的权重和空间噪声降低的权重，从而使得由运动引起的运动模糊现象最小化。为了在时间和空间噪声降低期间减轻运动模糊现象，选择在运动区域中增加空间噪声降低的权重的常规方法。当没有运动时，时间噪声降低不会使图像模糊，因此，时间噪声降低与空间噪声降低相比具有出色的降噪性能。此外，尽管空间噪声降低的降噪性能次于时间噪声降低的降噪性能，但由于空间噪声降低通过使用当前帧的当前像素及其周围像素来执行滤波，因此不会发生运动模糊。因此，仅增加空间噪声降低的权重的方法可明显去除非运动区域的噪声，然而，所述方法不能像在非运动区域中那样多地去除运动区域中的噪声。

如果通过使用像素级来估计运动，则由于简单噪声被错误地估计为运动，因此难以使得时间噪声降低的性能最大化。

因此，在示例性实施例中，为了提高运动区域的降噪性能，将已被时间和空间滤波的先前帧用作时间噪声降低的参考帧，而不将先前输入帧或已从中去除时间噪声的先前帧用作所述参考帧。

为了防止时间噪声降低效果由于像素级的运动检测而被降低，同时使用像素级的运动检测和块级的运动检测以降低运动误检率。相应地，在示例性实施例中，在运动区域和非运动区域中降噪效果均可被提高。此外，可通过在运动区域中提高降噪效果来减少运动模糊的发生。可通过使用基于块的运动检测结果以及通过使用新的低通滤波绝对比值(LAR)来取代现行的低通滤波绝对差值(LAD)以减少运动检测错误。

随后将详细地描述参考帧PIG的产生。

时间噪声降低单元10可包括运动检测单元20和时间噪声滤波器30。

运动检测单元20可从输入帧IN和参考帧PIG检测运动程度，并根据所述运动程度来确定第一运动权重W。

图2是示意性地示出根据示例性实施例的运动检测单元20的框图。

参照图2，运动检测单元20可包括：第一运动检测单元201、块划分单元202、第二运动检测单元203、权重确定单元204、第一查找表(LUT)205和第二查找表(LUT)207。

第一运动检测单元201可基于第一滤波值LPF(IN)相对于第一滤波值LPF(IN)和第二滤波值LPF(PIG)之间的最大值Max(a,b)的比值，以像素为单位来计算运动程度LAR，并计算和输出指示运动程度LAR的第一检测值pxl_mtn，其中，第一滤波值LPF(IN)是通过对输入帧IN进行低通滤波LPF而获得的，第二滤波值LPF(PIG)是通过对参考帧PIG进行低通滤波LPF而获得的。

通过使用如下面的等式1所示的LAR来计算运动程度LAR，其中，Offset表示用于调整运动检测程度的参数，并可由用户选择性地设置。

【等式1】

$\mathrm{LAR}(i,j)=\frac{\mathrm{LPF}\left(\mathrm{IN}(i,j)\right)}{\mathrm{Max}(\mathrm{LPF}\left(\mathrm{IN}(i,j)\right),\mathrm{LPF}\left(\mathrm{PIG}(i,j)\right))+\mathrm{Offset}}$

当使用LAD(即，针对当前帧的当前像素的掩模的LPF值与在相同位置的作为参考帧的先前帧的LPF值之间的差值)时，实质的运动检测程度根据亮度值而改变，这使得运动检测程度的准确度变差。例如，在低照度环境下，LAD值10被视为运动，然而，在明亮区域中，LAD值10不是运动而通常是噪声。然而，在黑暗区域中，当LAD值被设置为与明亮区域一致时，无法检测到运动。在示例性实施例中，不是根据当前帧与参考帧之间在LPF值上的差值来确定运动检测程度，而是根据当前帧与参考帧的比值来确定运动检测程度，从而无论图像的亮度如何都实现准确的运动检测。

块划分单元202可将输入帧IN划分成多个块。

第二运动检测单元203可计算第二检测值blk_mtn’，其中，第二检测值为每个块中所包括的像素的第一检测值pxl_mtn的平均值。第二运动检测单元203可对包括当前像素的块的第二检测值blk_mtn’和周围块的第二检测值blk_mtn’执行线性插值，并计算和输出指示当前像素的基于块的运动程度的第三检测值blk_mtn。

图5和图6是根据示例性实施例的用于解释检测基于块的运动程度的方法的示图。

参照图5，输入帧IN被划分成预定尺寸的N×N个块。图5示出预定尺寸的N×N个块：B11、B12、B13、…、B21、B22、B23、…、B31、B32、B33、…。每个块包括N×N个像素。将通过对每个块中所包括的N×N个像素的第一检测值pxl_mtn取平均值而获得的值计算为第二检测值blk_mtn’。

参照图6，输入帧IN中包括当前像素P的块B22的周围块(例如，B11、B12和B21)中的每一个周围块的中心像素与当前像素P之间的距离被用于对当前像素P的周围块B11、B12和B21的第二检测值blk_mtn’执行线性插值。因此，可计算指示当前像素P的基于块的运动程度的第三检测值blk_mtn。

周围块可被设置为针对包括当前像素P的块B22的预定数量的块。例如，周围块可被设置为如图6中所示的块B11、B12、B21，或者可被设置为块B12、B13、B23，可被设置为块B12、B21、B23和B32，或可被设置为块B11、B12、B13、B21、B23、B31、B32和B33，但不特定受限于此。

权重确定单元204可基于先前输入帧的第三检测值blk_mtn和当前输入帧的第一检测值pxl_mtn来计算第一运动权重W。例如，可通过从第n个输入帧IN(n)和第n个参考帧PIG(n)检测得到的第一检测值pxl_mtn以及从第n-1个输入帧IN(n-1)和第n-1个参考帧PIG(n-1)检测得到的第三检测值blk_mtn来计算第一运动权重W。也就是说，为了计算第一运动权重W，针对当前帧检测基于像素的运动，并且，针对先前帧检测基于块的运动。

权重确定单元204可包括第一权重确定单元206和第二权重确定单元208。

第一权重确定单元206可通过使用第一LUT 205来确定与第一检测值pxl_mtn相应的第一权重W_pixel。第一权重W_pixel具有在0到1之间的值。运动程度越大，所述值越接近于1，运动程度越小，所述值越接近于0。

第一LUT 205是指示根据基于像素的运动检测结果的第一检测值pxl_mtn与第一权重W_pixel之间的关系的表格或曲线图。图3是根据示例性实施例的作为第一LUT 205的曲线图。在图3的曲线图中，x轴表示根据基于像素的运动检测结果的第一检测值pxl_mtn，y轴表示第一权重W_pixel。

如果第一检测值pxl_mtn小于最小阈值pxl_mtn_A，则第一权重确定单元206可确定第一最小权重下限，如果第一检测值pxl_mtn大于最大阈值pxl_mtn_B，则第一权重确定单元206可确定第一最大权重上限，如果第一检测值pxl_mtn介于最小阈值pxl_mtn_A与最大阈值pxl_mtn_B之间，则第一权重确定单元206可确定介于第一最小权重下限与第一最大权重上限之间的值。就此而言，第一最小权重下限可为0，并且第一最大权重上限可为1。

第二权重确定单元208可通过使用第二LUT 207来确定与第三检测值blk_mtn相应的第二权重W_block。第二权重W_pixel具有在0到1之间的值。运动程度越大，所述值越接近于1，运动程度越小，所述值越接近于0。

第二LUT 207是指示根据基于块的运动检测结果的第三检测值blk_mtn与第二权重W_block之间的关系的表格或曲线图。图4是根据示例性实施例的作为第二LUT 207的曲线图。在图4的曲线图中，x轴表示根据基于块的运动检测结果的第三检测值blk_mtn，y轴表示第二权重W_block。

如果第三检测值blk_mtn小于最小阈值blk_mtn_A，则第二权重确定单元208可确定第二最小权重下限，如果第三检测值blk_mtn大于最大阈值blk_mtn_B，则第二权重确定单元208可确定第二最大权重上限，如果第三检测值blk_mtn介于最小阈值blk_mtn_A与最大阈值blk_mtn_B之间，则第二权重确定单元208可确定介于第二最小权重下限与第二最大权重上限之间的值。就此而言，第二最小权重下限可为0，第二最大权重上限可为1。

根据下面的等式2，权重确定单元204可通过将第一权重W_pixel与第二权重W_block相乘来计算第一运动权重W。

【等式2】

W＝W_block×W_pixel

当检测基于像素的运动时，噪声可能被检测为运动。在这种情况下，在非运动区域中，时间噪声降低效果降低，并且发生图像模糊效应。在示例性实施例中，除了基于像素的运动检测之外还检测基于块的运动，这使得通过使用基于块的运动来补偿基于像素的运动误检，从而降低最终的运动误检率。因此，可提高时间噪声降低效果。

参照回图1，如下面的等式3所示，时间噪声滤波器30可通过使用第一运动权重W对第一输入帧IN和参考帧PIG进行加权求和来产生第一输出帧OUT_ＴＮＦ。

【等式3】

Out_TNF(i，j）＝W(i，j)×IN(i，j)+(1-Ｗ(i，j))×PIG(i，j)

也就是说，输入帧IN的运动程度越小，第一运动权重W的值越接近于0，这提高了时间噪声滤波器30的时间噪声降低强度，从而提高了降噪效果。

空间噪声降低单元50基于其中已去除时间噪声的第一输出帧OUT_TNF的像素之间的相似度及其运动程度来调整第一输出帧OUT_TNF的空间噪声降低强度，并输出其中已去除空间噪声的最终输出帧OUT_SNF。

空间噪声降低单元50可包括：图案匹配单元60、空间噪声滤波器70和参考帧产生单元80。

图案匹配单元60测量第一输出帧OUT_TNF的在预定尺寸的窗口内的针对当前像素的图像块(patch)与针对周围像素的图像块之间的相似度。

图7是示意性地示出根据示例性实施例的空间噪声滤波器70的框图。

参照图7，空间噪声滤波器70可包括第一降噪单元701和第二降噪单元703。

第一降噪单元701根据图像块之间的相似度来将权重应用到周围像素并对周围像素取加权平均值，以产生第二输出帧SPA。第一降噪单元701应用基于非局部均值(NLM)的降噪技术，以增加具有较高相似度的图像块的中心像素的权重并降低具有较低相似度的图像块的中心像素的权重，并对所述像素取加权平均值，从而去除噪声。所述基于NLM的降噪技术是众所周知的，因此省略其细节描述。

如下面的等式4所示，第二降噪单元703根据运动程度来设置第二运动权重W_SNF，并通过使用第二运动权重W_SNF来对第一输出帧OUT_TNF和第二输出帧SPA进行加权求和，从而产生最终输出帧OUT_SNF。第二运动权重W_SNF的值与由运动检测单元20检测得到的运动程度成比例，并且，第二运动权重W_SNF的特性与第一运动权重W的特性类似。也就是说，输入帧IN的运动程度越大，第二运动权重W_SNF的值越接近于1，输入帧IN的运动程度越小，第二运动权重W_SNF的值越接近于0。

【等式4】

OUT_SNF(i，j)＝W_SNF×SPA（i，j)+(1-W_SNF)×OUT_TNF(i，j)

也就是说，输入帧IN的运动程度越大，第二运动权重W_SNF的值越接近于1，这提高了第二输出帧SPA的空间噪声降低强度，输入帧IN的运动程度越小，第二运动权重W_SNF的值越接近于0，这提高了第一输出帧OUT_TNF的权重。

参照回图1，如下面的等式5所示，参考帧产生单元80可根据运动程度来设置第三运动权重W_PIG，并通过使用第三运动权重W_PIG来对第一输出帧OUT_TNF和第二输出帧SPA进行加权求和，从而产生参考帧PIG。

【等式5】

PIG(i，j)＝W_PIG×SPA(i，j)+(1-W_PIG)×OUT_TNF(i，j)

第三运动权重W_PIG的值与由运动检测单元20检测得到的运动程度成比例，并且，第三运动权重W_PIG的特性与第一运动权重W的特性类似。参考帧PIG用于去除下一帧的时间噪声，因此，第三运动权重W_PIG的值小于第二运动权重W_SNF的值。也就是说，用于产生参考帧PIG的第一输出帧OUT_TNF的权重大于用于产生最终输出帧OUT_SNF的第一输出帧OUT_TNF的权重。用于产生参考帧PIG的第二输出帧SPA的权重小于用于产生最终输出帧OUT_SNF的第二输出帧SPA的权重。这是因为时间噪声降低具有无限脉冲响应(IIR)结构的特性，所以原始图像的过度的空间噪声降低对时间噪声降低的影响被最小化。

存储器90存储通过去除时间噪声和空间噪声而产生的参考帧PIG。将该参考帧PIG作为输入到时间噪声降低单元10的下一帧的参考帧PIG。存储器90可被包括在参考帧产生单元80中。

图8至图11是根据示例性实施例的降低图像噪声的方法的流程图。省略了图1至图7与图8至图11之间的多余描述。

参照图8，用于降低图像噪声的设备以帧为单位接收图像(操作S10)。

用于降低图像噪声的设备可根据输入帧的基于像素的运动程度和输入帧的基于块的运动程度来去除输入帧的时间噪声(操作S20)。更具体地，用于降低图像噪声的设备可从输入帧和参考帧检测基于像素的运动程度和基于块的运动程度，根据基于像素的运动程度和基于块的运动程度来调整输入帧的时间噪声降低强度，并产生其中已去除时间噪声的第一输出帧。参考帧是其中已去除时间噪声和空间噪声的先前帧。

当噪声尚未去除的先前帧或已从中去除时间噪声的先前帧被用作参考帧时，由于运动区域的降噪强度与非运动区域的降噪强度不同，因此尽管随后去除空间噪声，但是降噪结果并不自然。因此，出现这样的问题：随后将被描述的用于时间噪声降低的第一运动权重并不完全接近于0。

在示例性实施例中，已从中去除时间噪声和空间噪声的帧被用作参考帧。在这种情况下，由于已从中去除空间噪声的数据被用于运动区域中，因此加快了时间和空间噪声降低的收敛速度，因此，在运动区域和非运动区域获得相似的降噪效果。就此而言，参考帧的空间噪声降低强度低于输入帧的空间噪声降低强度，从而使得由空间噪声降低引起的图像劣化(模糊)最小化。

在示例性实施例中，由于已从中去除时间噪声和空间噪声的帧被用作参考帧，因此加快了时间噪声降低的收敛速度，因此，用于时间噪声降低的第一运动权重可被设置为更接近于1，并且，降噪效果显著，从而减轻运动模糊。

在示例性实施例中，可通过估计像素级和块级的运动而使时间噪声降低性能最大化。

参照图9，用于降低图像噪声的设备可检测输入帧的运动程度，并根据所述运动程度来确定第一运动权重。

用于降低图像噪声的设备可基于第一滤波值相对于第一滤波值和第二滤波值之间的最大值的比值，计算指示基于像素的运动程度的第一检测值(操作S21)，其中，第一滤波值是通过对输入帧进行低通滤波而获得的，第二滤波值是通过对参考帧进行低通滤波而获得的。

用于降低图像噪声的设备可将输入帧划分成多个块(操作S22)。用于降低图像噪声的设备可计算第二检测值(操作S23)，其中，所述第二检测值是每个块中所包括的像素的第一检测值的平均值。

用于降低图像噪声的设备可对包括当前像素的块的第二检测值和周围块的第二检测值进行插值，并计算代表当前像素的基于块的运动程度的第三检测值(操作S24)。可对周围块的范围进行修改。

用于降低图像噪声的设备可基于输入帧的第一检测值和先前输入帧的第三检测值来计算第一运动权重(操作S25)。参照图10，用于降低图像噪声的设备可通过使用第一LUT来确定与第一检测值相应的第一权重(操作S241)，确定与第三检测值相应的第二权重(操作S243)，并通过将第一权重与第二权重相乘来计算第一运动权重(操作S245)。

用于降低图像噪声的设备可通过使用第一运动权重来对输入帧和参考帧进行加权求和，从而产生第一输出帧(操作S26)。

用于降低图像噪声的设备可基于第一输出帧的像素之间的相似度以及基于像素的运动程度和基于块的运动程度来去除输入帧的空间噪声(操作S30)。更具体地，用于降低图像噪声的设备可基于第一输出帧的像素之间的相似度和从输入帧检测得到的运动程度来调整第一输出帧的空间噪声降低强度，并可产生其中已去除空间噪声的最终输出帧。

参照图11，用于降低图像噪声的设备可测量第一输出帧的在预定尺寸的窗口内的针对当前像素的图像块与针对周围像素的图像块之间的相似度(操作S31)。

用于降低图像噪声的设备可根据图像块之间的相似度来将权重应用到周围像素并对周围像素取加权平均值，并产生第二输出帧(操作S33)。用于降低图像噪声的设备可应用基于NLM的降噪技术来产生第二输出帧。

用于降低图像噪声的设备可通过使用根据运动程度的第二运动权重来对第一输出帧和第二输出帧进行加权求和，以产生最终输出帧(操作S35)。第二运动权重具有在0到1之间的值。运动程度越大，所述值越接近于1，运动程度越小，所述值越接近于0。

用于降低图像噪声的设备可通过使用根据运动程度的第三运动权重来对第一输出帧和第二输出帧进行加权求和，以产生参考帧(操作S37)。第三运动权重的值小于第二运动权重的值。第三运动权重具有在0到1之间的值。运动程度越大，所述值越接近于1，运动程度越小，所述值越接近于0。参考帧用于去除下一输入帧的时间噪声。

由图像传感器获得的运动图像具有由传感器、电路等引起的各种类型的噪声。根据示例性实施例的降噪方法通过使用连续图像帧之间的相关性来去除噪声。因此，所述示例性实施例可被应用于获得运动图像的相机系统，诸如，摄像机、CCTV等。

如上所述，根据所述一个或更多个上述实施例，将其中时间噪声和空间噪声均已去除的帧用作参考帧，从而提高了降噪效果，并减轻了运动模糊。

对像素级和块级的运动进行估计，从而使得时间噪声降低性能最大化。

应该理解的是，在此描述的示例性实施例应仅在描述性意义上被考虑，而不是为了限制的目的。每个示例性实施例中对特征或方面的描述一般应被认为可适用于其他示例性实施例中的其他类似的特征或方面。例如，图1示出空间噪声降低单元50被布置为在时间噪声单元10之后，以从自时间噪声降低单元10输出的其中已去除时间噪声的第一输出帧OUT_TNF中去除空间噪声。然而，根据另一示例性实施例，空间噪声降低单元50可被布置为在时间噪声降低单元10之前，以从输入帧IN去除空间噪声，并且，时间噪声降低单元10接收空间噪声降低单元50的输出帧，以从其中已去除空间噪声的所述输出帧中去除时间噪声。

根据示例性实施例，如图1和图2示出的方框代表的组件、元件和单元中的至少一个可被具体化为执行上述各个功能的多种数量的硬件、软件和/或固件结构。例如，这些组件、元件和单元中的至少一个可使用可通过控制一个或更多个微处理器或其他控制设备来执行各个功能的直通电路结构(诸如，存储器、处理、逻辑、查找表等)。此外，这些组件、元件或单元中的至少一个可通过包含一个或更多个用于执行特定逻辑功能的可执行指令的模块、程序或部分代码来具体实施。此外，这些组件、元件或单元中的至少一个还可包括处理器(诸如执行各个功能的中央处理器(CPU))、微处理器等。此外，虽然在上述框图中没有示出总线，但是在组件、元件或单元之间的通信可通过总线来执行。

虽然已经参照附图描述了一个或更多个示例性实施例，但是本领域普通技术人员将理解：在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在示例性实施例中做出形式和细节上的各种改变。

Claims (20)

1.一种用于降低图像中的噪声的设备，所述设备包括：

时间噪声降低单元，被配置为通过基于从输入帧和参考帧检测得到的基于像素的运动程度和基于块的运动程度调整输入帧的时间噪声降低强度来从输入帧去除时间噪声，从而产生第一输出帧；以及

空间噪声降低单元，被配置为通过基于第一输出帧的像素之间的相似度以及所述基于像素的运动程度和基于块的运动程度调整第一输出帧的空间噪声降低强度来从第一输出帧去除空间噪声，从而产生最终输出帧。

2.如权利要求1所述的设备，其中，时间噪声降低单元包括：

运动检测单元，被配置为检测基于像素的运动程度和基于块的运动程度，并根据基于像素的运动程度和基于块的运动程度来确定第一运动权重；以及

时间噪声滤波器，被配置为通过使用第一运动权重来对输入帧和参考帧进行加权求和，以产生第一输出帧。

3.如权利要求2所述的设备，其中，第一运动权重具有在0到1之间的值，并与基于像素的运动程度和基于块的运动程度成比例增大。

4.如权利要求2所述的设备，其中，运动检测单元包括：

第一运动检测单元，被配置为基于第一滤波值相对于第一滤波值和第二滤波值之间的最大值的比值来计算指示基于像素的运动程度的第一检测值，其中，第一滤波值是通过对输入帧进行低通滤波而获得的，第二滤波值是通过对参考帧进行低通滤波而获得的；

块划分单元，被配置为将输入帧划分成多个块；

第二运动检测单元，被配置为计算第二检测值，对包括当前像素的块的第二检测值和包括当前像素的块的周围块的第二检测值进行插值，并计算指示当前像素的基于块的运动程度的第三检测值，其中，所述第二检测值是所述多个块中的每一个块中所包括的像素的第一检测值的平均值；以及

权重确定单元，被配置为基于输入帧的第一检测值和先前输入帧的第三检测值来计算第一运动权重。

5.如权利要求4所述的设备，其中，权重确定单元包括：

第一权重确定单元，被配置为确定与第一检测值相应的第一权重；以及

第二权重确定单元，被配置为确定与第三检测值相应的第二权重，

其中，第一运动权重是通过将第一权重与第二权重相乘而计算得到的。

6.如权利要求1所述的设备，其中，空间噪声降低单元包括：

图案匹配单元，被配置为测量第一输出帧的在预定窗口内的针对当前像素的图像块与针对当前像素的周围像素的图像块之间的相似度；以及

空间噪声滤波器，被配置为通过根据图像块之间的所述相似度将权重应用于所述周围像素并对所述周围像素进行加权平均来产生第二输出帧，并通过使用根据基于像素的运动程度和基于块的运动程度的第二运动权重对第一输出帧和第二输出帧进行加权求和来产生最终输出帧。

7.如权利要求6所述的设备，还包括：参考帧产生单元，被配置为通过使用根据基于像素的运动程度和基于块的运动程度的第三运动权重对第一输出帧和第二输出帧进行加权求和来产生下一输入帧的参考帧。

8.如权利要求7所述的设备，其中，第三运动权重的值小于第二运动权重的值。

9.如权利要求7所述的设备，其中，第二运动权重和第三运动权重具有在0到1之间的值，并与基于像素的运动程度和基于块的运动程度成比例增大。

10.如权利要求1所述的设备，其中，参考帧是已去除时间噪声和空间噪声的在输入帧之前的帧。

11.一种用于降低图像中的噪声的设备，所述设备包括：

空间噪声降低单元，被配置为通过基于输入帧的像素之间的相似度以及从输入帧检测得到的基于像素的运动程度和基于块的运动程度调整输入帧的空间噪声降低强度来从输入帧去除空间噪声，从而产生第一输出帧，以及

时间噪声降低单元，被配置为通过基于从输入帧和参考帧检测得到的基于像素的运动程度和基于块的运动程度调整第一输出帧的时间噪声降低强度来从第一输出帧去除时间噪声，从而产生最终输出帧。

12.一种降低图像中的噪声的方法，所述方法包括：

通过基于从输入帧和参考帧检测得到的基于像素的运动程度和基于块的运动程度调整输入帧的时间噪声降低强度来从输入帧去除时间噪声，从而产生第一输出帧；并且

通过基于第一输出帧的像素之间的相似度以及所述基于像素的运动程度和基于块的运动程度调整第一输出帧的空间噪声降低强度来从第一输出帧去除空间噪声，从而产生最终输出帧。

13.如权利要求12所述的方法，其中，产生第一输出帧的步骤包括：

检测基于像素的运动程度和基于块的运动程度；

根据基于像素的运动程度和基于块的运动程度来确定第一运动权重；并且

通过使用第一运动权重来对输入帧和参考帧进行加权求和，以产生第一输出帧。

14.如权利要求13所述的方法，其中，第一运动权重具有在0到1之间的值，并与基于像素的运动程度和基于块的运动程度成比例增大。

15.如权利要求13所述的方法，其中，确定第一运动权重的步骤包括：

基于第一滤波值相对于第一滤波值和第二滤波值之间的最大值的比值来计算指示基于像素的运动程度的第一检测值，其中，第一滤波值是通过对输入帧进行低通滤波而获得的，第二滤波值是通过对参考帧进行低通滤波而获得的；

将输入帧划分成多个块；

计算第二检测值，其中，所述第二检测值是所述多个块中的每一个块中所包括的像素的第一检测值的平均值；

对包括当前像素的块的第二检测值和包括当前像素的块的周围块的第二检测值进行插值，并计算指示当前像素的基于块的运动程度的第三检测值；并且

基于输入帧的第一检测值和先前输入帧的第三检测值来计算第一运动权重。

16.如权利要求15所述的方法，其中，计算第一运动权重的步骤包括：

确定与第一检测值相应的第一权重；

确定与第三检测值相应的第二权重；并且

通过将第一权重与第二权重相乘来计算第一运动权重。

17.如权利要求12所述的方法，其中，产生最终输出帧的步骤包括：

测量第一输出帧的在预定窗口内的针对当前像素的图像块与针对当前像素的周围像素的图像块之间的相似度；

通过根据图像块之间的所述相似度来将权重应用于所述周围像素并对所述周围像素进行加权平均来产生第二输出帧；并且

通过使用根据基于像素的运动程度和基于块的运动程度的第二运动权重对第一输出帧和第二输出帧进行加权求和来产生最终输出帧。

18.如权利要求17所述的方法，还包括：通过使用根据基于像素的运动程度和基于块的运动程度的第三运动权重对第一输出帧和第二输出帧进行加权求和来产生下一输入帧的参考帧。

19.如权利要求18所述的方法，其中，第二运动权重和第三运动权重具有在0到1之间的值，并与基于像素的运动程度和基于块的运动程度成比例增大。

20.如权利要求12所述的方法，其中，参考帧是已去除时间噪声和空间噪声的在输入帧之前的帧。