CN107005623B - 用于图像处理的方法和装置 - Google Patents

Abstract

一种从图像移除噪声的图像处理方法，包括：获取用于标准图像的标准区域的标准表示值和用于参考图像的参考区域的参考表示值，并且基于所述标准表示值和所述参考表示值获取包括关于所述标准图像和所述参考图像具有不同分辨率的多个分层图像的分层图像结构；从所述分层图像获取所述用于标准图像的标准区域的标准表示值和所述用于参考图像的参考区域的参考表示值；从所述标准表示值和所述参考表示值确定所述标准区域和所述参考区域之间的相似性；以及依据所确定的相似性通过对所述标准图像和所述参考图像应用滤波来移除噪声。

Description

用于图像处理的方法和装置

技术领域

本公开涉及用于处理图像的方法和装置，并且更具体地，涉及从多个输入图像生成具有改善的图像质量的输出图像的、用于处理图像的方法和装置。

背景技术

在诸如照明相对低或背光的黑暗环境的较差图像捕捉环境中通过使用诸如数码相机的图像捕捉装置来捕捉图像的情况下，可能发生图像质量劣化。例如，在为确保足够的曝光时间而设定长曝光时间并执行捕捉的情况下，可能发生由于长快门速度、图像捕捉装置的晃动或对象的移动引起的运动模糊(motion blur)现象。此外，在将相机的灵敏度设定为高灵敏度并执行捕捉的情况下，暗图像与噪声分量一同被放大，使得在整个图像上可能出现大量的噪声。

为了解决在这样的低照明环境中捕捉的图像的图像质量劣化问题，已经开发了基于一个合成图像片(sheet)移除运动模糊的技术、高性能噪声移除技术等。近来，正在开发用于混合和处理多个图像而非仅一个图像片的技术。

发明内容

[技术问题]

提供了一种用于处理图像的方法和装置，其在通过使用多个图像生成具有改善的图像质量的输出图像时，通过减少确定相似性所需的操作量和存储器移动量来提高噪声移除速度。

提供了一种非暂态计算机可读记录介质，其上记录有用于在计算机上执行根据示例实施例的处理图像的方法的程序。通过示例实施例实现的技术目标不限于以上目的，并且可以从下面的示例实施例中推断出其它技术目标。

附加方面将在以下描述中部分地阐述，并且部分地将从描述中显而易见，或者可以通过实践所提供的示例实施例而了解。

[技术的解决方案]

根据示例实施例的方面，一种从图像移除噪声的图像处理方法，所述方法包括：获取用于标准图像的标准区域的标准表示值和用于参考图像的参考区域的参考表示值，并且基于所述标准表示值和所述参考表示值获取包括关于所述标准图像和所述参考图像具有不同分辨率的多个分层图像的分层图像结构；从所述分层图像获取所述用于标准图像的标准区域的标准表示值和所述用于参考图像的参考区域的参考表示值；从所述标准表示值和所述参考表示值确定所述标准区域和所述参考区域之间的相似性；以及依据所确定的相似性通过对所述标准图像和所述参考图像应用滤波来移除噪声。

所述标准表示值从所述标准区域内的像素的像素值获取，并且所述参考表示值从所述参考区域内的像素的像素值获取。

每个标准表示值是所述标准区域内的像素值的平均值或加权平均值，并且每个参考表示值是所述参考区域内的像素值的平均值或加权平均值。

所述方法还可以包括：获取包括所述标准图像的像素和所述参考图像的像素之间的运动矢量的运动信息，所述运动矢量依据将所述标准图像的分层图像与所述参考图像的分层图像相比较的结果而计算。

所述相似性的确定可以包括：基于所述运动信息，通过将所述标准区域的标准表示值和与所述标准表示值相匹配的所述参考区域的参考表示值相比较，来确定所述相似性。

所述相似性的确定可以包括：通过将所述标准表示值和所述参考表示值之间的差的绝对值与预先确定的阈值相比较，来确定所述相似性。

所述噪声的移除可以包括：当确定所述标准图像的标准区域相似于所述参考图像的参考区域时，依据所述标准图像的标准区域和所述参考图像的参考区域之间的相似性将权重添加到所述参考图像的参考区域，并且应用时间滤波以计算所述标准区域和所述参考区域的加权平均；以及当确定所述标准图像的标准区域与所述参考图像的参考区域不相似时，不应用所述滤波。

所述方法可以包括：对所述分层图像结构的最高层的分层图像至最低层的分层图像，顺序地执行所述标准表示值和所述参考表示值的获取、所述相似性的确定、以及所述噪声的移除。

根据另一示例实施例的方面，一种非暂态计算机可读记录介质，在其上记录有用于执行图像处理方法的程序。

根据另一示例实施例的方面，一种用于从图像移除噪声的图像处理装置包括：分级图像结构获取单元，用于获取用于标准图像的标准区域的标准表示值和用于参考图像的参考区域的参考表示值，并且基于所述标准表示值和所述参考表示值获取包括关于所述标准图像和所述参考图像具有不同分辨率的多个分层图像的分层图像结构；表示值获取单元，用于从所述分层图像获取所述用于标准图像的标准区域的标准表示值和所述用于参考图像的参考区域的参考表示值；相似性确定单元，用于从所述标准表示值和所述参考表示值确定所述标准区域和所述参考区域之间的相似性；以及噪声移除单元，用于依据所确定的相似性通过对所述标准图像和所述参考图像应用滤波来移除噪声。

所述分层图像结构获取单元从所述标准区域内的像素的像素值获取所述标准表示值，并且从所述参考区域内的像素的像素值获取所述参考表示值。

所述分层图像结构获取单元使用每个标准表示值作为所述标准区域内的像素值的平均值或加权平均值，并且使用每个参考表示值作为所述参考区域内的像素值的平均值或加权平均值。

所述图像处理装置还可以包括：运动信息获取单元，用于获取包括所述标准图像的像素和所述参考图像的像素之间的运动矢量的运动信息，所述运动矢量依据将所述标准图像的分层图像与所述参考图像的分层图像相比较的结果而计算。

所述相似性确定单元可以基于所述运动信息，通过将所述标准区域的标准表示值和与所述标准表示值相匹配的所述参考区域的参考表示值相比较，来确定所述相似性。

所述相似性确定单元可以通过将所述标准表示值和所述参考表示值之间的差的绝对值与预先确定的阈值相比较，来确定所述相似性。

当确定所述标准图像的标准区域相似于所述参考图像的参考区域时，所述噪声移除单元可以对所述标准图像的标准区域与所述参考图像的参考区域应用时间滤波，以及当确定所述标准图像的标准区域与所述参考图像的参考区域不相似时，不应用所述时间滤波。

所述图像处理装置可以通过对所述分层图像结构的最高层的分层图像至最低层的分层图像，顺序地执行获取所述标准表示值和所述参考表示值的所述表示值获取单元的操作、确定所述相似性的所述相似性确定单元的操作、以及移除所述噪声的所述噪声移除单元的操作，来获取输出图像。

[有益效果]

根据本申请中公开的方法和装置，通过减少操作量和存储器移动量而提高了噪声移除速度。

附图说明

从以下结合附图对示例实施例的描述中，这些和/或其它方面将变得显而易见并且更容易理解，附图中：

图1是用于说明从多个输入图像生成输出图像的图像处理装置的框图；

图2是示出根据示例实施例的图像处理装置的配置的框图；

图3是用于说明根据示例实施例的分层图像结构的图；

图4是示出根据示例实施例的针对每个图像通道而获取的分层图像结构的图；

图5是示出获取累积图像1D曲线的示例实施例的图；

图6是示出估计运动信息的示例实施例的图；

图7是示出基于较高层的运动信息估计较低层的运动信息的示例实施例的图；

图8是示出在计算相似性期间直接比较标准图像和参考图像的情况下对输入图像进行图像处理的方法的示意图；

图9是示出在相似性计算期间将在获取分层图像结构时同时获取的标准表示值和参考表示值作比较的情况下对输入图像进行图像处理的方法的示意图；

图10是用于说明基于分层图像结构执行图像处理的操作的框图；

图11是说明根据示例实施例的图像处理方法的流程图。

最佳实施方式

根据示例实施例的方面，一种从图像中移除噪声的图像处理方法，所述方法包括：获取标准图像的标准区域的标准表示值和参考图像的参考区域的参考表示值，并且基于标准表示值和参考表示值获取包括关于标准图像和参考图像的具有不同分辨率的多个分层图像的分层图像结构；从分层图像中获取标准图像的标准区域的标准表示值和参考图像的参考区域的参考表示值；从标准表示值和参考表示值中确定标准区域和参考区域之间的相似性；以及依据确定的相似性、通过对标准图像和参考图像应用滤波来移除噪声。

根据另一示例实施例的方面，一种用于从图像中移除噪声的图像处理装置，所述装置包括：分级图像结构获取单元，用于获取标准图像的标准区域的标准表示值和参考图像的参考区域的参考表示值，并且基于标准表示值和参考表示值获取包括关于标准图像和参考图像的具有不同分辨率的多个分层图像的分层图像结构；表示值获取单元，用于从分层图像获取标准图像的标准区域的标准表示值和参考图像的参考区域的参考表示值；相似性确定单元，用于从标准表示值和参考表示值中确定标准区域和参考区域之间的相似性；以及噪声移除单元，用于依据确定的相似性对标准图像和参考图像应用时间滤波来移除噪声。

具体实施方式

仅在描述性意义上而非出于限制的目的参照附图来详细描述本发明构思的示例实施例。应当理解，仅出于实施的目的而非用于限制本发明构思的精神和范围来提供以下描述的示例实施例。应当理解，本领域普通技术人员从详细描述和示例实施例中容易推断出的特征或方面属于由所附的权利要求限定的范围。

图1是用于说明从多个输入图像110生成输出图像的图像处理装置100 的框图。

输入图像110表示针对相同对象以时间间隔连续捕捉的或同时捕捉的图像。可以将输入图像110中的一个设置为标准图像112，并且可以将其余输入图像110设置为第一参考图像114至第n参考图像114-n。第一参考图像 114至第n参考图像114-n可以是如图1所示的“n”个图像，并且在此情况下，“n”可以是等于或大于1的整数。

标准图像112表示在由图像处理装置100执行的图像处理中充当标准的图像，并且第一参考图像114至第n参考图像114-n表示用于该图像处理的其余图像。例如，标准图像112可以是针对相同对象的捕捉图像当中首先被捕捉的图像，并且参考图像114可以是在标准图像112之后被捕捉的图像。标准图像112与参考图像114之间的区别不限于以上示例实施例，并且图像处理装置100可以从多个图像当中任意地或根据预定标准来确定标准图像112。参考图像可以是至少一个图像，并且为了便于描述，本说明书仅描述了具有一个参考图像114的情况。

图像处理装置100可以生成通过使用标准图像112和参考图像114作为输入而被图像处理的输出图像120。在以短曝光时间捕捉图像的情况下，由于图像捕捉装置(诸如相机)的移动和对象的移动而引起的图像质量劣化可以包含在标准图像112和参考图像114中，并且图像处理装置100可以移除这样的图像质量劣化并且生成图像质量提升的输出图像120。例如，图像处理装置100可以通过执行图像处理(诸如移除噪声、锐化或对比度提高)来生成高质量输出图像120。

随着可由图像处理装置100(诸如数字相机)的图像传感器处理的分辨率增加，输入图像110的分辨率也增加。为了在对高分辨率的输入图像110 进行图像处理时有效利用存储器空间，输入图像110可以被分割为尺寸小于整个图像的尺寸的图像区域并被处理。图像处理装置100可以估计输入图像之间的全局运动信息，并且基于全局运动信息执行基于平铺(tile)图像的图像处理。

图2是示出根据示例实施例的图像处理装置200的配置的框图。

图像处理装置200可以与图1的图像处理装置100相同。图像处理装置 200可以包括分层(hierarchical)图像结构获取单元210、运动信息获取单元 220、表示值获取单元230、相似性确定单元240和噪声移除单元250。

图像处理装置200可以获取输入图像110。图像处理装置200可以区分标准图像112和输入图像110。如果标准图像112未被预先确定，则图像处理装置200可以从输入图像110中确定标准图像112。

分层图像结构获取单元210可以获取每个输入图像110的分层图像结构。形成分层图像结构的层级数可以是两个或更多个。可以依据输入图像110的分辨率来确定形成分层图像结构的层级数。输入图像110的分层图像结构可以具有相同的层级数。图3和图4示出了下面描述的分层图像结构的示例实施例。

图3是用于说明根据示例实施例的分层图像结构310的图。

图3的图310示出了具有三层分层结构的分层图像结构310，并且图3 的图320以图的形式表示分层图像结构310。为了便于描述，图3假定图310 是拉普拉斯图像金字塔，并且标准图像和参考图像的尺寸是(水平长度H，垂直长度W)＝(H×W)。

在分层图像结构310是拉普拉斯图像金字塔的情况下，最高层(层级＝3) 的金字塔图像可以具有低频带分量，并且随着层级变低，金字塔图像可以具有较高频带分量。因此，最低层(层级＝1)可以具有最高频带分量。并且，如果参考图像的尺寸为(H×W)，则“层级＝1”处的图像的尺寸为(H×W)，“层级＝2”处的图像的尺寸为(H/2×W/2)，并且“层级＝3”处的图像的尺寸为(H/4×W/4)。

通过将高斯平滑(GaussianSmoothing)应用到“层级＝1”处的图像，可以获取高斯图像金字塔中“层级＝2”处的图像。高斯平滑表示进行以下操作的图像处理：获取预定区域中的像素的平均值或加权平均值，将获取的值确定为表示值，并且将具有表示值的像素处理为预定区域的像素的表示像素。例如，可以获取在“层级＝1”处的图像中具有特定尺寸为2×2的区域内的像素的平均值。而且，该平均值可被确定为该特定区域内的像素的表示值。而且，“层级＝2”处的图像的像素当中与该具有特定尺寸为2×2的区域内的像素相对应的像素具有与该具有特定尺寸为2×2的区域内的像素的表示值相同的值。类似地，该图像处理可以同样地应用于“层级＝1”处的图像中具有尺寸为2×2的另一区域内的像素，以及应用于“层级＝2”处的图像的与该像素相对应的像素。

图像处理装置200可以对分层图像结构310的最高层到最低层执行一系列图像处理，并且将相关层级处的处理结果应用到下一个较低层的图像处理。

图4是示出根据示例实施例的针对每个图像通道而获取的分层图像结构的图。

图4以图的形式表示具有三层分层结构的分层图像结构。图像处理装置可以为每个图像通道获取分层图像结构，该每个图像通道配置了标准图像和参考图像。例如，在标准图像和参考图像具有YCbCr的颜色空间的情况下，图像处理装置可以使用针对标准图像和参考图像的每个图像通道所配置的分层图像结构。标准图像可以具有Y通道的分层图像结构410、Cb通道的分层图像结构420和Cr通道的分层图像结构430。参考图像可以具有Y通道的分层图像结构440、Cb通道的分层图像结构450以及Cr通道的分层图像结构460。

图像处理装置可以将图像通道之一的图像处理结果应用于其余图像通道的图像处理。例如，图像处理装置可以将Y通道的分层图像结构410和440处的图像处理结果应用于Cb通道的分层图像结构420和450处的图像处理。

如果标准图像和参考图像具有YCbCr444类型，则图像处理装置可以将在Y通道的图像处理过程期间得到的运动的幅度直接应用于Cb通道和Cr 的图像处理过程。在标准图像和参考图像具有YCbCr422类型的情况下，图像处理装置可以调整在Y通道的图像处理过程期间得到的运动的幅度，并且将调整的幅度应用于Cb通道和Cr通道的图像处理过程。例如，在亮度通道 (Y通道)的图像尺寸为(水平长度H，垂直长度W)并且色度通道(Cb 通道和Cr通道)的图像尺寸为(水平长度H/2，垂直长度W)的情况下，图像处理装置可以将在亮度通道的图像处理过程期间得到的运动的幅度当中的垂直方向上的运动的幅度直接应用于色度通道，并且将水平方向上的运动的幅度减半并将其应用于色度通道。

再次参考图2，分层图像结构获取单元210可以通过将前一层的图像处理结果反映在配置了较高层图像至较低层图像的分层图像结构的相应层的图像中，来确定当前层的分层图像信息。在最高层的情况下，由于不存在前一较高层，因此可以直接使用该最高层的分层图像信息。在非最高层的情况下，可以通过将在前一较高层处处理的结果图像信息和图像处理前的分层图像信息之间的差分图像在当前层级方向上投影并反射到该当前层的分层图像信息，来确定当前层的新的分层图像信息。

运动信息获取单元220可以估计表示参考图像114相对于标准图像112 的运动程度的运动信息。运动信息可以包括存在于标准图像112和参考图像 114之间的运动矢量，并且可以包括全局运动矢量或局部运动矢量的信息，或者包括全局运动矢量和局部运动矢量两者的信息。全局运动矢量表示参考图像114或参考图像114的参考区域相对于标准图像112或标准图像112的标准区域所相对具有的位置差的程度。该运动信息从标准图像112和参考图像114的较高层估计，并且在较高层处估计的运动信息被用于估计标准图像 112和参考图像114的较低层的运动信息。更具体地，当在较低层估计表示参考图像114相对于标准图像112的运动程度的运动信息时，在较高层处估计的运动信息可被用于设置参考图像114内部的探索区域。由于运动信息获取单元220如上所述对较高层至较低层顺序地执行运动信息估计，所以运动信息获取单元220不探索参考图像114的整个区域来估计运动信息，由此迅速地且有效地估计运动信息。

全局运动信息获取单元220可以获取包括标准图像112的每列和每行的累积像素值的水平方向的累积图像1D曲线和垂直方向的累积图像1D曲线，并且获取包括参考图像114的每列和每行的累积像素值的水平方向的累积图像1D曲线和垂直方向的累积图像1D曲线。以下参考图5描述累积图像1D 曲线。

图5是示出获取累积图像1D曲线的示例实施例的图。

图5示出了图像处理装置获取累积图像1D曲线以估计运动信息的示例。图像处理装置可以通过对于标准图像和参考图像两者使用相同的方法来获取累积图像1D曲线。以下参考图5描述获取参考图像510的累积图像1D 曲线的过程。

图像处理装置可以在参考图像510的水平方向(x方向)上移动的同时对位于任意列上的所有图像像素的像素值求和。图像处理装置可以通过将求和结果显示为1D曲线上的高度值来获取水平方向上的累积图像1D曲线520。

而且，图像处理装置可以在参考图像510的垂直方向(y方向)上移动的同时对位于任意行的所有图像像素的像素值进行求和。同样地，图像处理装置可以通过将求和结果显示为1D曲线上的高度值来获取垂直方向上的累积图像1D曲线530。

经由以上过程获取的水平和垂直方向上的累积图像1D曲线520和530 可以表示每个水平方向和每个垂直方向的累积像素值。例如，在水平方向上的累积图像1D曲线520上的任意位置处的曲线值可以表示包含在参考图像 510中的相关位置的列中的像素值的累积值。

再次参考图2，运动信息获取单元220可以通过比较通过连接标准图像 112的每列的累积像素值所获取的水平方向上的累积图像1D曲线和通过连接参考图像114的每列的累积像素值所获取的水平方向上的累积图像1D曲线之间的图案、再通过比较通过连接标准图像112的每行的累积像素值所获取的垂直方向上的累积图像1D曲线和通过连接参考图像114的每行的累积像素值所获取的垂直方向上的累积图像1D曲线之间的图案，来估计运动信息。

全局运动信息获取单元220可以基于标准图像112的水平方向上的累积图像1D曲线中的累积像素值来设置探索区域，并且在探索区域内检测其中标准图像112的水平方向上的累积像素值和参考图像114的水平方向上的累积像素值之间的互相关为最大化的相对位置。运动信息获取单元220可以通过使用互相关为最大化的相对位置，来估计参考图像114在水平方向上的运动。

全局运动信息获取单元220可以通过基于标准图像112的垂直方向上的累积图像1D曲线中的累积像素值设置探索区域、并且在探索区域内检测其中标准图像112的垂直方向上的累积像素值和参考图像114的垂直方向上的累积像素值之间的互相关为最大化的相对位置，来估计参考图像114在垂直方向上的运动。运动信息获取单元220可以使用包括归一化互相关(NCC) 技术的各种技术来估计互相关。以下参考图6描述运动信息估计。

图6是示出估计运动信息的示例实施例的图。图6示出了其中图像处理装置100的运动信息获取单元220通过比较标准图像112和参考图像114的水平方向上的累积图像1D曲线610和620之间的图案、并且比较标准图像 112和参考图像114的垂直方向上的累积图像1D曲线650和660之间的图案，来估计第一运动信息的示例实施例。

图6A示出了水平方向上的标准图像112的累积图像1D曲线610和参考图像114的累积图像1D曲线620。运动信息获取单元220可以基于标准图像112的累积图像1D曲线610来设置预定的探索区域630。例如，运动信息获取单元220可以基于标准图像112的累积图像1D曲线610上的最大点、最小点、拐点等设置探索区域630。

运动信息获取单元220可以检测其中标准图像112的累积图像1D曲线 610和参考图像114的累积图像1D曲线620之间的互相关为最大化的相对位置。在检测到的相对位置处，标准图像112的累积图像1D曲线610和参考图像114的累积图像1D曲线620可以具有最大相似性。运动信息获取单元220可以基于互相关为最大化的相对位置，来估计水平方向上的运动的幅度(Mx)640。

图6B中，运动信息获取单元220可以设置探索区域670，并且基于在探测区域670中其中垂直方向上标准图像112的累积图像1D曲线650和参考图像114的累积图像1D曲线660之间的互相关为最大化的相对位置、对于垂直方向上标准图像112的累积图像1D曲线650和参考图像114的累积图像1D曲线660通过使用与图6A中执行的相同方法来估计垂直方向上的运动的幅度(My)680。

在标准图像112和参考图像114之间的全局运动是平移运动的情况下，图像处理装置100的运动信息获取单元220可以基于水平方向上的运动的幅度(Mx)640和垂直方向的运动的幅度(My)680，来估计第一运动信息。

运动信息获取单元220可以设置多个运动探索区域用于估计标准图像 112和参考图像114的运动，以便处理扩展的运动模型和平移运动。运动信息获取单元220可以通过比较所设置的多个运动探索区域中标准图像112的累积像素值和参考图像114的累积像素值之间的每个水平方向和每个垂直方向，来估计第一运动信息。运动信息获取单元220可以估计每个运动探索区域中的平移运动的运动程度，并且通过分析该估计的结果来估计扩展的运动模型的运动(诸如参考图像114的旋转)。例如，在运动探索区域已被设置在输入图像的上下左右的情况下，运动信息获取单元220可以估计参考图像 114从相应的运动探索区域的位置相比于标准图像112运动的运动程度。运动信息获取单元220可以通过分析四个运动探索区域中的运动程度，来估计参考图像114的旋转运动。

运动信息获取单元220可以更新表示参考图像114相对于标准图像112 的运动程度的运动信息。运动信息获取单元220可以对于标准图像112的分层图像结构中和参考图像114的分层图像结构中的相同层级的图像而估计或更新运动信息。例如，对于分层图像结构中的每个层级的图像，运动信息获取单元220可以通过类似于运动信息获取单元220已执行的用于估计较高层中的运动信息的方法的方法，来估计较低分层中的运动信息。

在标准图像112和参考图像114中的每个的分层图像结构中，运动信息获取单元220可以估计相同层级的图像的运动信息。运动信息获取单元220 可以比较通过连接标准图像112的每列的累积像素值所获取的水平方向上的累积图像1D曲线与通过连接参考图像114的每列的累积像素值所获取的水平方向上的累积图像1D曲线之间的图案。类似地，运动信息获取单元220 可以比较通过连接标准图像112的每行的累积像素值所获取的垂直方向上的累积图像1D曲线与通过连接参考图像114的每行的累积像素值所获取的垂直方向上的累积图像1D曲线之间的图案。而且，运动信息获取单元220可以基于水平方向上的1D曲线之间的图案的比较的结果和垂直方向上的1D 曲线之间的图案的比较的结果，来估计运动信息。但是，运动信息获取单元220可以使用在较高层处估计的运动信息作为基本信息，并且使用该基本信息作为用于估计在较低层处估计的运动信息的初始值。也就是说，运动信息获取单元220可以基于从在较高层处估计的运动信息得到的运动初始值来设置探索区域。因此，运动信息获取单元220可以减少参考图像114中的探索区域，并且更准确地估计运动。

图7是示出基于较高层的运动信息来估计较低层的运动信息的示例实施例的图。

图7示出了其中对于标准图像112和参考图像114的每个的分层图像结构中相同层的图像，图像处理装置100的运动信息获取单元220通过比较标准图像112和参考图像114的水平方向上的累积图像1D曲线之间的图案、并且比较标准图像112和参考图像114的垂直方向上中的累积图像1D曲线之间的图案，来估计较低层的运动信息的示例实施例。

图7A示出标准图像112在水平方向上的累积图像1D曲线710和参考图像114在水平方向上的累积图像1D曲线720。运动信息获取单元220 可以基于标准图像112的累积图像1D曲线710来设置预定的探索区域730。在这种情况下，运动信息获取单元220可以基于从较高层中的运动信息得到的运动初始值来设置探索区域。例如，在估计水平方向上的运动的情况下，运动信息获取单元220可以基于从第一运动信息得到的水平方向上的运动初始值(Mx')740，来设置探索区域730的中心位置750。运动信息获取单元 220可以通过使用探索区域730中标准图像112的累积图像1D曲线710与参考图像114的累积图像1D曲线720之间的互相关为最大化的相对位置，来估计水平方向上的运动的幅度(dMx)745。

图7B中，对于垂直方向上标准图像112的累积图像1D曲线760和参考图像114的累积图像1D曲线770，运动信息获取单元220可以基于从较高层中的运动信息得到的垂直方向上的运动初始值(My')785来设置探索区域780的中心位置795，并且基于探索区域780中的垂直方向上标准图像 112的图像1D曲线760和参考图像114的累积图像1D曲线770之间互相关为最大化的相对位置来估计垂直方向上的运动的幅度(dMy)790。

运动信息获取单元220可以基于从较高层中的运动信息得到的水平方向上的运动初始值(Mx')740、从较高层中的运动信息得到的垂直方向上的运动初始值(My')785、水平方向上的运动幅度(dMx)745以及垂直方向上的运动幅度(dMy)790，来估计较低层处的运动信息。例如，可以通过使用以下等式表示包含在较低层中运动信息中的水平方向和垂直方向上的最终运动的幅度MX和MY。

等式1

MX＝Mx'+dMx

等式2

MY＝My'+dMy

局部运动信息可以以块为基础进行探索。标准图像被分成各种尺寸的块，并且然后从目标图像中找到与标准图像的块最相似的块。在这种情况下，对于找出最相似的块的方法，可以使用两个块的像素的差和(SAD)或均方差和(SSE)等。像全局运动探索一样，为了减少计算量，以块为基础的探索可以提前预测运动信息，并且然后限制信息探索区域以仅对有限的邻近区域进行探索。以块为基础的探索可以利用较高层的相关位置块的运动信息等。

再次参考图2，相似性确定单元240基于由运动信息获取单元220估计的运动信息，来确定标准图像的标准区域和参考图像的参考区域之间的相似性。相似性确定单元240可以通过使用运动信息，将通过将标准图像分割成预定尺寸所获取的标准区域和通过将参考图像分割成预定尺寸所获取的参考区域进行匹配。相似性确定单元240可以在确定相似性时使用表示标准区域和参考区域的标准表示值和参考表示值。表示值获取单元230可以通过使用各种方法来获取标准表示值和参考表示值。取决于确定相似性的方法，相似性确定的操作速度和存储器移动量可以提高。因此，通过将传统相似性确定方法与由示例实施例所提出的相似性确定方法进行比较，来说明相似性确定的操作速度和存储器移动量是否提高。

图8和图9分别示出了传统相似性确定方法和由示例实施例提出的相似性确定方法。参考图8和图9描述在确定相似性时本发明构思的特征和效果。

图8是示出在确定相似性时直接比较标准图像和参考图像的情况下的输入图像的相似性确定方法的示意图。

输入图像810包括标准图像812和参考图像814。图8的标准图像812 和参考图像814分别表示一个层次的图像，该一个层次的运动信息已在图1 的标准图像112和参考图像114的分层图像结构当中确定。

在将标准图像812与参考图像814进行比较之前，图像匹配单元820通过使用标准图像812和参考图像814之间的运动信息，来检测参考图像814 的与标准图像812的每个标准区域相对应的每个参考区域。而且，图像匹配单元820通过使用互相对应的标准区域和参考区域，将标准图像812和参考图像814相匹配。

相似性确定单元830通过将标准图像812的标准区域与参考图像814的对应于相应标准区域的参考区域进行比较，来确定相似性。相似性确定单元 830可以包括图像减法单元832，其通过计算标准区域和对应于该标准区域的参考区域的像素之间亮度差或色差分量的绝对值来获取相减图像，并且包括低通滤波器834，其根据从图像减法单元832获取的相减图像确定相似性。

例如，在通过使用标准区域的每个像素的亮度分量来确定相似性的情况下，图像减法单元832获取标准区域的每个像素的亮度分量和对应于该标准区域的参考区域的每个像素的亮度分量。而且，图像减法单元832获取所获取的像素的亮度分量之间的差的绝对值。并且，图像减法单元832获取具有像素的亮度分量之间的差的绝对值作为每个像素的亮度分量的相减图像。

低通滤波器834可以通过将高斯平滑滤波器应用到由图像减法单元832 获取的相减图像，来获取相减图像的平均值或加权平均值。并且，平均值或加权平均值可被确定为相似性。

噪声移除单元840基于由相似性确定单元830确定的相似性，来移除输入图像810的噪声。

图9是示出将在相似性确定期间将在获取分层图像结构时同时所获取的标准表示值和参考表示值进行比较的情况下的输入图像的相似性确定方法的示意图。

输入图像910与图8的输入图像810相同。

表示值获取单元920可以从图2的分层图像结构获取单元210中获取标准表示值912和参考表示值914，用于相似性确定单元930的确定。表示值获取单元920表示图2的表示值获取单元230。图2的分层图像结构获取单元210在从较低分层图像获取较高分层图像时，获取标准图像和参考图像的表示值。

例如，如图3所示，在“层级＝1”处的图像的尺寸为(H×W)、“层级＝2”处的图像的尺寸为(H/2×W/2)、以及“层级＝3”处的图像的尺寸为(H/4×W/4) 的情况下，表示值获取单元920可以将“层级＝1”处的图像分割成具有2×2 尺寸的区域，以便从“层级＝1”处的图像获取“层级＝2”处的图像。在这种情况下，表示值获取单元920可以获取包含在来自相应区域的四个像素中的亮度分量的平均值。平均值可以是形成“层级＝2”处的图像的像素的亮度分量的值。可以将平均值确定为具有尺寸为2×2的区域的表示值，其中该平均值已从该具有尺寸为2×2的区域中得到。同样地，从“层级＝1”处的图像获取“层级＝2”处的图像的过程期间执行的方法也可以应用到从“层级＝2”处的图像获取“层级＝3”处的图像的过程。

对于另一示例，在获取“层级＝3”处的图像的过程期间获取的“层级＝2”处的图像的具有尺寸为2×2的区域的表示值可以是“层级＝1”处的图像的具有尺寸为4×4的区域的表示值。

相似性确定单元930通过使用表示标准区域的标准表示值912和表示对应于标准区域的参考区域的参考表示值914来确定标准区域是否相似于参考区域，而不是比较标准区域和对应于该标准区域的参考区域。相似性确定单元930表示图2的相似性确定单元240。相似性确定单元930可以包括计算由表示值获取单元920获取的标准表示值912和参考表示值914之间的差的绝对值的表示值减法单元932。

表示值减法单元932计算由表示值获取单元920获取的标准表示值912 和参考表示值914之间的差的绝对值。所计算的绝对值可被确定为相似性。

噪声移除单元940基于由相似性确定单元930确定的相似性，来移除输入图像910的噪声。

等式3

Similarity＝GaussianSmoothing(AbsoluteDifferences(frame0,frame1))

等式4

Similarity＝AbsoluteDifferences(GaussianSmoothing(frame0),GaussianSmoothing(frame1))

基于等式3和等式4，描述图8的相似性确定方法和图9的相似性确定方法之间的差异。等式3和等式4的相似性表示相似程度。GaussianSmoothing 表示通过使用高斯平滑滤波器来获取图像的像素的每个分量的平均值或加权平均值的函数。AbsoluteDifferences表示获取变量之间的差的绝对值的函数。frame0和frame1分别表示输入到GaussianSmoothing或 AbsoluteDifferences的标准图像和参考图像。

图8的相似性确定方法通过使用等式3确定相似性，并且图9的相似性确定方法通过使用等式4确定相似性。在图8的相似性确定方法和图9的相似性确定方法中，由于GaussianSmoothing函数和AbsoluteDifferences函数的应用顺序不同，所以即使当使用相同的标准区域和参考区域用作输入时，也可以输出不同值的相似性。但是，由于运动信息获取单元220将标准区域和彼此对应的参考区域进行比较，所以输出不同值的相似性的概率非常低。因此，由图8的相似性确定方法输出的相似性和由图9的相似性确定方法输出的相似性几乎相同。

而且，也可以以混合形式使用图8的相似性确定方法和图9的相似性确定方法。图9的相似性计算的结果不同于根据等式3和等式4的差的相似性计算的结果。在大多数情况下，通过使用运动信息获取单元220计算出几乎相同的相似性，但在非常极端的情况下，可能发生错误。特别有问题的情况是在两个图像的特定部分中相同方向上的像素值的梯度彼此相反的情况。如本领域普通技术人员所理解的，运动信息获取单元220在大多数捕捉中选择上述两个块是困难的。但是，在捕捉操作期间发生诸如高速移动相机的异常操作的情况下，捕捉的图像变得非常不同，并且在这种情况下，可能发生其中两个图像的特定部分中相同方向上的像素值的梯度彼此相反的情况。在这种情况下，当计算相关块的相似性时，可以基于由运动信息获取单元220计算的两个块的差信息(例如，SAD，SSE等)来选择图8的方法或图9的方法。例如，当SAD值与其它块的运动信息获取结果相比非常大时，相关情况被确定为上述极端情况，并且按图8计算相似性。当SAD值相似于其它块的运动信息获取结果时，可以根据示例实施例按图9计算相似性。

基于等式3和等式4，描述图8的相似性确定方法和图9的相似性确定方法的计算量的差异。图8的方法获取标准区域的像素与互相对应的参考区域的像素之间的差的绝对值，计算所获取的绝对值的平均值或加权平均值，并且将该平均值或加权平均值定义为表示值。也就是说，等式3的 GaussianSmoothing和AbsoluteDifferences二者均在相似性确定操作中被执行。

但是，图9的方法仅执行以下操作：获取由分层图像结构获取单元210 预先获取的标准区域的标准表示值和参考区域的参考表示值，并且计算标准表示值和参考表示值之间的差的绝对值。也就是说，在相似性确定操作中仅执行等式4的AbsoluteDifferences。并且，由于GaussianSmoothing再次利用由分层图像结构获取单元210获取的值，所以计算量减少。因此，图9的相似性确定方法的计算量显著地小于图8的相似性确定方法的计算量。

类似地，即使在存储器移动的量的方面，图9的相似性确定方法比图8 的相似性确定方法更有利。由于图8的相似性确定方法使用整个标准图像和整个参考图像作为输入，而图9的相似性确定方法仅使用相应标准区域的标准表示值并且仅使用相应参考区域的参考表示值，所以图9的相似性确定方法的存储器传输的量更小。

当将上述内容放在一起时，显示出图9的相似性确定方法与图8的相似性确定方法相比，具有显著地减少计算量和存储器移动量而没有性能劣化的效果。由于计算量和存储器移动量减少，所以整个图像处理过程变得快速，并且可以有效地管理存储器。

参考图2，噪声移除单元250依据由相似性确定单元240确定的相似性来移除图像的噪声。噪声移除单元250可以通过使用时间(temporal filter) 滤波器移除噪声。时间滤波器表示获取标准区域和与该标准区域对应的并且位于与该标准区域的时间点不同的时间点的参考区域的平均值或加权平均值、并且移除噪声的滤波器。噪声移除单元250的时间滤波器可以利用参考区域的取决于标准区域和参考区域之间的相似性的不同权重、通过获取标准区域和参考区域的加权平均值来移除噪声。在参考图像不是一个而是两个或更多个的情况下，噪声移除单元250可以取决于参考图像和标准图像之间的相似性、以每个参考图像的不同权重来应用时间滤波器。

仅出于描述的方便，图像处理装置100已被分割为五个分区，包括分层图像结构获取单元210、运动信息获取单元220、表示值获取单元230、相似性确定单元240和噪声移除单元250，并且图像处理装置100可以具有不同种类的分区。

图10是用于说明基于分层图像结构执行图像处理的操作的框图。

图像处理装置可以估计图像分层结构中的最高层(层级＝3)的图像(低频带图像)1005相对于标准图像的运动，执行图像处理以获取结果图像(低频带图像)1010，并且将结果图像1010应用到当前层级。图像处理装置可以获取其图像尺寸已被放大的输出图像1020，以便将在最高层处获取的结果图像1010应用到下一层。

图像处理装置可以通过将最高层处被放大的输出图像1020应用于中间层级(层级＝2)的图像(高频带图像)1015，来获取新的输入图像(低频带图像)1025。最高层的运动估计信息和结果图像1010的图像处理结果可被应用于在中间层级处获取的新输入图像1025。例如，由于金字塔图像结构中较低层的图像尺寸比较高层的图像尺寸大2倍，所以图像处理装置可以将在较高层处估计的运动估计值放大两倍，并且使用放大的运动估计值作为较低层的运动初始值。类似于在最高层中执行的操作，图像处理装置可以估计新输入图像1025相对于标准图像的运动，并且执行图像处理以获取结果图像 (低频带图像)1030。图像处理装置可以将结果图像1030应用到作为当前层的中间层，并且获取其图像尺寸已被放大的输出图像(低频带图像)1040，以便将获取的结果图像1030应用于下一层。

图像处理装置可以通过将在中间层处被放大的输出图像1040应用于最低层(层级＝1)的图像(高频带图像)1035，来获取新输入图像(低频带图像)1045。中间层的运动估计信息和结果图像1030的图像处理结果可被应用到最低层处获取的新输入图像1045。例如，由于金字塔图像结构中较低层的图像尺寸比较高层的图像尺寸大2倍，所以图像处理装置可以将在中间层处估计的运动估计值放大两倍，并且使用放大的运动估计值作为最低层处的运动初始值。

类似于在中间层中执行的操作，图像处理装置可以估计新输入图像1045 相对于标准图像的运动，并且执行图像处理以获取结果图像(低频带图像) 1050。经由以上过程获取的结果图像1050可以是一个参考图像的最终结果图像。当获取了一个参考图像的最终结果图像时，图像处理装置可以对下一个参考图像重复执行以上过程。

图11是根据示例实施例的图像处理方法的操作的流程图。

在S1110中，对于标准图像和参考图像，获取各自包括“n”个层的分层图像的分层图像结构。参考图像可以是多个连续捕捉的图像。在获取分层图像结构的同时，可以从分层图像中一起获取标准图像的标准区域的标准表示值和参考图像的参考区域的参考表示值。在这种情况下，标准表示值和参考表示值不被删除，而是存储在存储器中。

在S1120中，图像处理从作为最高层的层“n”开始。在这种情况下，成为图像处理的对象的层可以被定义为层“N”。因此，层“N”初始被确定为层“n”。

在S1130中，从层“N”的分层图像中获取标准图像的相应标准区域的标准表示值和参考图像的相应参考区域的参考表示值。

在S1140中，获取包括依据标准图像的层“N”的分层图像和参考图像的层“N”的分层图像之间的比较的结果而计算的标准图像的像素和参考图像的像素之间的运动矢量的运动信息。

在S1150中，基于运动信息，从彼此相匹配的标准图像的标准区域的标准表示值和参考图像的参考区域的参考表示值，确定标准图像的标准区域和参考图像的参考区域之间的相似性。从标准区域内的像素的像素值获取标准表示值，并且从参考区域内的像素的像素值获取参考表示值。在这种情况下，像素值表示像素的亮度或色差分量的值。标准表示值可以是标准区域内的像素值的平均值或加权平均值。类似地，参考表示值可以是参考区域内的像素值的平均值或加权平均值。可以通过将标准表示值和参考表示值之间的差的绝对值与预先确定的阈值进行比较，来确定相似性。

在S1160中，依据所确定的相似性，对于层“N”，通过将时间滤波器应用到标准图像和参考图像来移除噪声。可以通过将相似性与预先确定的阈值进行比较，来确定是否执行时间滤波。可以依据相似性的大小、通过向参考图像的参考区域添加权重，来执行时间滤波。

在S1170中，当层“N”是作为最低层的层“1”时，在完成了对于层“N”的噪声移除之后，结束图像处理方法。

在S1180中，当层“N”不是层1时，层“N”的下一个较低层被新确定为层“N”。然后，对新确定的层重复执行S1130至S1170。

因此，表示值获取单元、相似性确定单元和噪声移除单元在分层图像结构的最高层的分层图像上顺序地执行，并且以上构成单元的功能在一较低层的分层图像上被重复执行，并且重复该操作，直到以上构成单元的功能在最低层的分层图像上执行，从而可以获取输出图像。

同时，根据示例实施例的图像处理方法可以被记录为可在计算机上运行的程序，并且可被实现在通用数字计算机上，该通用数字计算机通过使用非暂态计算机可读记录介质来操作程序。非暂态计算机可读记录介质包括诸如磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM、 DVD等)的存储介质。

至此，已经描述了本发明构思的示例实施例。本领域普通技术人员将理解，在不脱离本发明构思的基本特征的情况下，可以对其在形式和细节上进行各种改变。因此，应当理解，本文描述的示例实施例应仅在描述性意义上考虑，而非出于限制的目的。应当理解，本发明构思的范围由所附权利要求限定，而不是以上描述，并且其等同物内的所有差异都包含在本发明构思中。

Claims (13)

1.一种从图像移除噪声的图像处理方法，所述方法包括：

从标准区域内的像素的像素值获取用于标准图像的标准区域的标准表示值以及从参考区域内的像素的像素值获取用于参考图像的参考区域的参考表示值，

基于所述标准表示值和所述参考表示值获取标准图像的分层图像结构和参考图像的分层图像结构，每个分层图像结构包括具有不同分辨率的多个分层图像；

基于所述标准图像和所述参考图像的运动信息，将所述标准图像的分层图像结构中的标准区域与所述参考图像的分层图像结构中的参考区域相匹配；

基于所述标准表示值和所述参考表示值确定所述标准区域和所述参考区域之间的相似性；以及

当所确定的相似性指示基于所述参考区域执行对所述标准区域的时间滤波时，通过基于所述参考区域对所述标准区域应用时间滤波来移除所述标准区域的噪声。

2.如权利要求1所述的方法，其中所述标准表示值是所述标准区域内的像素值的平均值或加权平均值，并且所述参考表示值是所述参考区域内的像素值的平均值或加权平均值。

3.如权利要求1所述的方法，还包括：

获取包括所述标准图像的像素和所述参考图像的像素之间的运动矢量的运动信息，所述运动矢量依据将所述标准图像的分层图像与所述参考图像的分层图像相比较的结果而计算。

4.如权利要求3所述的方法，其中所述相似性的确定包括：

基于所述运动信息，通过将所述标准区域的标准表示值和与所述标准表示值相匹配的所述参考区域的参考表示值相比较，来确定所述相似性。

5.如权利要求1所述的方法，其中所述相似性的确定包括：

通过将所述标准表示值和所述参考表示值之间的差的绝对值与预先确定的阈值相比较，来确定所述相似性。

6.如权利要求1所述的方法，其中所述噪声的移除包括：

当确定所述标准图像的标准区域相似于所述参考图像的参考区域时，依据所述标准图像的标准区域和所述参考图像的参考区域之间的相似性将权重添加到所述参考图像的参考区域，并且应用时间滤波以计算所述标准区域和所述参考区域的加权平均；以及

当确定所述标准图像的标准区域与所述参考图像的参考区域不相似时，不应用所述滤波。

7.如权利要求1所述的方法，包括：

对所述分层图像结构的最高层的分层图像至最低层的分层图像，顺序地执行所述标准表示值和所述参考表示值的获取、所述相似性的确定、以及所述噪声的移除。

8.一种非暂态计算机可读记录介质，在其上记录有被处理器运行时用于执行权利要求1至7之一的图像处理方法的程序。

9.一种用于从图像移除噪声的图像处理装置，所述装置包括：

存储器，被配置为存储指令；和

至少一个处理器，电耦接到所述存储器，当运行所存储的指令时，所述至少一个处理器被配置为：

从标准区域内的像素的像素值获取用于标准图像的标准区域的标准表示值以及从参考区域内的像素的像素值获取用于参考图像的参考区域的参考表示值，

基于所述标准表示值和所述参考表示值获取标准图像的分层图像结构和参考图像的分层图像结构，每个分层图像结构包括具有不同分辨率的多个分层图像；

基于所述标准图像和所述参考图像的运动信息，将所述标准图像的分层图像结构中的标准区域与所述参考图像的分层图像结构中的参考区域相匹配；

基于所述标准表示值和所述参考表示值确定所述标准区域和所述参考区域之间的相似性；以及

当所确定的相似性指示基于所述参考区域执行对所述标准区域的时间滤波时，通过基于所述参考区域对所述标准区域应用时间滤波来移除所述标准区域的噪声。

10.如权利要求9所述的装置，其中，所述至少一个处理器被配置为：

使用所述标准表示值作为所述标准区域内的像素值的平均值或加权平均值，并且

使用所述参考表示值作为所述参考区域内的像素值的平均值或加权平均值。

11.如权利要求9所述的装置，其中，所述至少一个处理器被配置为：

获取包括所述标准图像的像素和所述参考图像的像素之间的运动矢量的运动信息，所述运动矢量依据将所述标准图像的分层图像与所述参考图像的分层图像相比较的结果而计算。

12.如权利要求11所述的装置，其中，所述至少一个处理器被配置为：

基于所述运动信息，通过将所述标准区域的标准表示值和与所述标准表示值相匹配的所述参考区域的参考表示值相比较，来确定所述相似性。

13.如权利要求9所述的装置，其中，所述至少一个处理器被配置为：

通过将所述标准表示值和所述参考表示值之间的差的绝对值与预先确定的阈值相比较，来确定所述相似性。

Images