CN102761682A - 图像处理设备及其控制方法 - Google Patents

Abstract

本发明涉及图像处理设备及其控制方法。在图像处理设备中，基于在应用递归降噪处理之前的当前帧中的像素值以及在进行递归降噪处理之后的先前帧中的像素值来计算表示在当前帧与先前帧之间的相关度的信息。然后，基于相关度和运动图像的帧频来确定递归系数，即先前帧的权重。通过利用递归系数合成先前帧和当前帧中的像素来将递归降噪处理应用到当前帧。对于相同的相关度，帧频越低，则确定为递归系数越小。实现了根据图像帧频的降噪处理。

Description

图像处理设备及其控制方法

技术领域

本发明涉及一种图像处理设备及其控制方法，并且特别地，涉及一种用于降低图像信号中的噪声的图像处理设备及其控制方法。

背景技术

使用图像传感器获得的图像信号一般包含噪声成分。在噪声成分中，时间或者空间上随机发生的随机噪声主要在高感光度拍摄期间发生。特别地，时间上随机发生的噪声是使运动图像的图像质量劣化的因素之一。

作为针对运动图像的随机噪声降低技术，已知使用运动图像帧之间的相关的递归降噪处理。例如，日本特开2000-209507号公报公开了基于当前帧的图像信号与先前帧的图像信号之间的信号差值来控制递归降噪处理中的递归系数的技术。递归系数是表示要用在对当前帧的图像信号的降噪处理中的先前帧的成分的比例的系数。在当前帧与先前帧之间的差值大的情况下，通过使用小的递归系数减少残像，而在差值小的情况下，通过使用大的递归系数降低噪声。

日本特开2000-209507号公报中公开了基于信号差值控制递归系数的方法，这样计算复杂度小并且可以降低成本。然而，在随机噪声与帧间的运动成分之间的分离精度不够，因此降噪之后获得的图像质量不够。

与此同时，在日本特开2009-147822号公报中，当通过使用已进行空间降噪处理的当前帧与一个或多个过去(应用空间降噪处理之后的)帧之间的差值来抑制运动被摄体的残像时，削减了时间的随机噪声。利用日本特开2009-147822号公报公开的方法，随机噪声与帧间的运动成分之间的分离精度得到改进，并且可以获得相对高的图像质量。

然而，日本特开2009-147822号公报没有公开考虑到图像帧频的降噪。帧间的时间上的距离(拍摄时间间隔)根据图像帧频的高低而变化，并且连续帧间的相关度也受到影响。然而，传统上在未考虑帧频的情况下进行统一的降噪处理。相应地，利用日本特开2000-209507和2009-147822号公报公开的方法，在图像帧频可变的情况下不能实现足够的效果。

发明内容

考虑到传统技术中的上述问题作出了本发明，并且本发明提供一种用于对运动图像应用递归降噪处理的图像处理设备及其控制方法，该设备及方法根据图像帧频实现降噪处理。

本发明的第一方面提供一种图像处理设备，用于将递归降噪处理应用到具有预定帧频的运动图像，该图像处理设备包括：计算单元，用于使用将要应用所述递归降噪处理的当前帧的像素值与已应用所述递归降噪处理的、作为所述当前帧的前一帧的先前帧的像素值，计算表示所述当前帧与所述先前帧之间的相关度的信息；确定单元，用于基于所述相关度和所述帧频来确定递归系数，该递归系数是所述先前帧的权重；第一合成单元，用于使用所述递归系数合成所述先前帧与所述当前帧中的像素；以及输出单元，用于将由所述第一合成单元所获得的帧作为已应用所述递归降噪处理的所述当前帧进行输出，其中，对于所述计算单元计算出的所述信息所表示的同一相关度，所述帧频越低，则所述确定单元将所述递归系数确定得越小。

本发明的第二方面提供一种用于控制图像处理设备的方法，该图像处理设备用于将递归降噪处理应用到具有预定帧频的运动图像，该方法包括：由所述图像处理设备中的计算单元执行的计算步骤，用于使用将要应用所述递归降噪处理的当前帧的像素值与已应用所述递归降噪处理的、作为所述当前帧的前一帧的先前帧的像素值，计算表示所述先前帧与所述当前帧之间的相关度的信息；由所述图像处理设备中的确定单元执行的确定步骤，用于基于所述相关度和所述帧频确定递归系数，该递归系数是所述先前帧的权重；由所述图像处理设备中的第一合成单元执行的第一合成步骤，用于使用所述递归系数合成所述先前帧和所述当前帧中的像素；以及由所述图像处理设备中的输出单元执行的输出步骤，用于将由所述第一合成单元所获得的帧作为进行所述递归降噪处理之后的所述当前帧进行输出，其中，在所述确定步骤中，对于由所述计算单元计算的所述信息所表示的同一相关度，所述帧频越低，则所述确定单元将所述递归系数确定得越小。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的第一实施例的作为图像处理设备的例子的数字照相机的典型结构的框图。

图2是示出图1中的降噪单元4的典型结构的框图。

图3是说明由降噪单元4中的空间NR单元402进行的滤波的图。

图4是说明由降噪单元4中的LPF 403进行的滤波的图。

图5A和5B是示出根据本发明的第一实施例的递归系数的具体例子的图。

图6是示出根据本发明的第二实施例的用作图像处理设备的例子的信息处理设备的典型结构的框图。

图7是说明根据第二实施例的信息处理设备的内存映射的例子的图。

图8是说明根据第二实施例通过信息处理设备所进行的图像处理应用程序的执行的流程图。

图9是说明在图8中的S4处的图像处理的细节的流程图。

具体实施方式

以下将根据附图详细说明本发明的典型实施例。

第一实施例

以下将根据附图详细说明本发明的典型实施例。在以下说明中，对具有运动图像拍摄功能的数字照相机作为根据本发明的图像处理设备的例子进行说明。然而，运动图像拍摄功能对本发明来说不是必要的，并且本发明可应用于诸如信息处理设备等的任何能够处理运动图像的装置。

数字照相机的结构

图1是示意性示出根据本实施例的数字照相机中与运动图像拍摄以及降噪处理相关的构成元素的框图。

在数字照相机100中，由包括光圈和镜头的光学系统1形成的光学图像通过诸如CMOS或者CCD图像传感器等的图像传感器2进行光电转换，并且以像素为单位作为模拟图像信号提供给第一信号处理单元3。第一信号处理单元3对模拟图像信号进行A/D转换和增益控制并且将此信号作为数字图像信号提供给降噪单元(NR单元)4。NR单元4对数字图像信号应用递归降噪处理并且将此信号提供给第二信号处理单元5。第二信号处理单元5对已经过降噪处理的数字图像信号进行大小调整、颜色校准等等并且将此信号提供给输出单元6。输出单元6进行下述的一个或多个处理，输出到诸如HDMI等的输出接口、记录在诸如半导体存储卡等的存储介质上、以及输出到数字照相机100中的显示装置(未示出)。

UI单元8具有诸如开关、按钮、以及对显示装置(未示出)设置的触摸面板等的一个或多个输入装置，并且由用户使用以对数字照相机100配置各种设置或者给出指示。用户通过UI单元8向数字照相机100输入：在运动图像拍摄模式与静止图像拍摄模式之间切换的指示，在拍摄模式与再现模式之间切换的指示，运动图像拍摄的开始、暂停以及停止的指示，以及对显示装置上所显示的GUI的操作等。

控制单元9控制数字照相机100的全部操作。控制单元9包括例如CPU、具有非易失性区域的RAM以及ROM，并且将ROM中存储的控制程序展开到RAM，并且CPU随后执行程序以控制每个组件来实现数字照相机100的各种功能。通过UI单元8配置的诸如包括图像帧频和分辨率的图像参数等的设置值存储在例如控制单元9中的非易失性RAM里。图1中示出的组件通过总线7以能够相互通信的方式连接。

NR单元4的结构

图2是示出NR单元4的典型结构的框图。以下参考图2说明NR单元4的结构和操作。

空间NR单元402对通过输入终端401输入的来自第一信号处理单元3的数字图像信号进行二维(空间)降噪处理，并且将此信号提供给低通滤波器(LPF)403、第一合成单元407以及第二合成单元409。

将从例如UI单元8或者控制单元9经由总线7输入的图像帧频提供给递归系数计算单元405以及第二合成单元409。LPF 403对已经过二维降噪处理的数字图像信号进行二维低通滤波并且将信号输出到差值绝对值计算单元404。

差值绝对值计算单元404计算在已经过二维降噪处理和低通滤波的数字图像信号与从帧存储器408输出的数字图像信号之间的差值绝对值，并且将结果提供给递归系数计算单元405。

递归系数计算单元405基于图像帧频和差值绝对值计算递归系数，并且将结果提供给第一合成单元407。这里，递归系数是表示来自帧存储器408的过去帧中的图像信号成分用在当前帧的图像信号的降噪处理中的比例的系数。

第一合成单元407基于来自递归系数计算单元405的递归系数将由空间NR单元402输出的已降噪的(当前帧的)数字图像信号与由帧存储器408输出的数字图像信号进行合成。然后，第一合成单元407将合成图像信号提供给第二合成单元409以及NR单元4下游的第二信号处理单元5。

第二合成单元409基于图像帧频将第一合成单元407所输出的合成图像信号与已由空间NR单元402进行空间降噪处理的当前帧的数字图像信号进行合成，并且将合成信号提供给帧存储器408。

帧存储器408将输入的图像信号延迟一帧的时间，并且将该信号提供给第一合成单元407和差值绝对值计算单元404。

NR单元4的操作的具体例子

对由NR单元4进行的降噪操作的具体例子进行说明。在下面的例子中，假定以从UI单元8所配置的图像帧频来拍摄运动图像信号，但是进行降噪处理的运动图像数据以及用于输入帧频的方法不受特别的限制。例如，可以把由输出单元6从记录介质中读出的运动图像数据和从运动图像数据中的报头等获得的帧频提供给NR单元4。帧频不必须从NR单元4的外部装置输入，并且还可以从运动图像数据提取或者由NR单元4进行判断。

从第一信号处理单元3以帧为单位顺次地输入运动图像信号。在本实施例中，运动图像的分辨率为1920像素x1080像素，并且图像帧频可以从60帧每秒(fps)和24fps中选择。图像感光度(ISO感光度)假定为12800。

空间NR单元402利用ε-滤波器进行空间降噪处理。假定关注像素的像素值为X_n，通过使用相邻像素值X_n-5至X_n+5进行平滑来降低噪声，其中如图3所示、只使用处于关注像素的像素值X_n与ε之间的差值的范围内的像素值。在图3的例子中，X_n-5、X_n-2和X_n+4与X_n的差值超过了ε，它们被替换为X_n，并且计算X_n-5至X_n+5的加权平均。计算公式如下所示：

$y_n=\underset{k=-k}{\overset{5}{\mathrm{\Σ}}}{a}_k{x}_{n-k}---(1-1)$

其中a_k表示每个像素的权重，a_k被配置为像素离x_k的几何距离越远就越小、并且配置为像素离x_k越近就越大。抽头数量(本例中为11)以及在平滑中使用的相邻像素的数量(本例中为10)只是例子，并且不受限制。

空间NR单元402通过将上述的一维滤波应用到图像的水平和垂直方向上来进行二维降噪处理。

LPF 403在3x3区域里使用中值滤波器。在这里，按照像素值对3x3区域内的9个像素排序，并且将中值输出为I_n。图4中示出LPF 403的操作的具体例子。LPF 403对由空间NR单元402输出的图像进行该滤波。

假定由帧存储器408输出的图像称为“先前帧”，并且由LPF403输出的图像称为“当前帧”，差值绝对值计算单元404计算在先前帧中的各个像素与当前帧中相对应的像素之间的差值绝对值。计算公式如下所示：

d_n=|p_n-l_n|     (1-3)

其中l_n和p_n分别为先前帧和当前帧中的像素值。

然后，说明递归系数计算单元405。在本实施例中，递归系数K(1≥K≥0)的确定不仅考虑到差值绝对值d_n，还考虑到图像帧频。具体地，判断为差值绝对值的值d_n越小则递归系数K的值越大，并且对于相同的差值绝对值d_n，判断为图像帧频越高则递归系数K的值越大。或者，判断为差值绝对值d_n越大则递归系数K的值越小，并且对于相同的差值绝对值d_n，判断为图像帧频越低则递归系数K的值越小。

“差值绝对值的值d_n越小则递归系数K就越大”意味着，与d_a和d_b的所有组合(其中d_a<d_b)相对应的递归系数K满足K_a≥K_b。相同的情况适用于对应于相同的差值绝对值d_n和不同的图像帧频的多个递归系数K。

对具体的例子进行说明。例如，假定差值绝对值的取值范围为0到255(8个比特)，并且确定与取例如d_n=0,10,20,30,40,50,60,70,120,150和180等多个离散值的差值绝对值d_n相对应的递归系数K。

例如，假定对应于d_n的递归系数K的值为K_dn，在图像帧频为60fps和24fps的情况下，递归系数K可以确定如下：

表1

与差值绝对值d_n的其它值相对应的递归系数K的值可以通过例如对附近的值进行线性插值来计算。图5A和5B示出在正交坐标系中分别由纵轴表示的K和由横轴表示的d_n之间的关系。图5A和5B示出进行线性插值的状态。与等于或者大于令K=0的d_n的d_n相对应的所有的递归系数K都为0，并且与等于或者小于令K=1的d_n的d_n相对应的所有的递归系数K都为1，因此线性插值对于这些递归系数K不是必须的。

在差值绝对值d_n大或者图像帧频低的情况下，帧间的相关性可能小。因此，判断为差值绝对值d_n越大或者图像帧频越低则递归系数K的值越小。从而，减小了认定为相关性低的过去帧对于像素合成的贡献。

在本例中，确定了用于2种图像帧频的与11种差值绝对值相对应的递归系数K。然而，图像帧频的种类和每个图像帧频的递归系数K的数量不受限制。此外，除了与差值绝对值的多个离散值相对应地计算递归系数K以外，也可以通过为每个图像帧频登记差值绝对值与递归系数的值之间的函数，并且将差值绝对值代入函数来计算递归系数的值。此外，没有必要为每个图像帧频确定与差值绝对值的离散值相同数目的递归系数。也没有必要对全部图像帧频计算对应于同一个差值绝对值的离散值的递归系数。在表1中示出的例子里，在24fps的K₅₀到K₁₈₀以及在60fps的K₀到K₂₀就不是必须计算。

然后递归系数计算单元405使用图像帧频和差值绝对值对每个像素计算递归系数K的值，并且将该值提供给第一合成单元407。

第一合成单元407使用递归系数K如下计算从空间NR单元402输出的当前帧中的像素值y_n与从帧存储器408输出的前一帧中对应位置上的像素值p_n之间的加权平均：

O_n=K*p_n+(1-K)*yn(1-4)

第二合成单元409通过使用某一权重w计算以下所示的值之间的加权平均来进行合成：

-由空间NR单元402输出的进行递归降噪处理之前的当前帧中的像素值y_n；以及

-由第一合成单元407输出的进行递归降噪处理之后的当前帧中对应位置上的像素值o_n。

这里使用的当前帧与第一合成单元407使用的当前帧相同。如果有必要，在例如第二合成单元409处对当前帧进行延迟，直到第一合成单元407进行的处理结束。

m_n=w*o_n+(1-w)*y_n(1-5)

第二合成单元409根据图像帧频而改变权重w。例如，权重设置为在图像帧频为60fps时w=0.9，并且在图像帧频为24fps时w=0.6。以上计算出的值m_n由帧存储器408延迟一帧的时间，并且在下一帧时作为p_n使用。

如上所述，在本例中，图像帧频越低，则第二合成单元409将来自第一合成单元407的图像的权重设置得越小，并且与当前帧图像合成的图像存储在帧存储器408中。或者，图像帧频越高，则将来自第一合成单元407的图像的权重设置得越大，并且与当前帧图像合成的图像存储在帧存储器408中。借助这一配置，通过第一合成单元407所获得的下一帧的图像中被摄体上的模糊或者光晕可以进一步得到抑制。

如上所述，根据本实施例，在通过合成多个帧的图像来降低运动图像中的噪声的递归降噪处理中，图像帧频越低，则将合成中使用的先前帧的权重设置为越小。这样，抑制了相关性小的帧的影响，并且可以进行适当的降噪处理。此外，在图像帧频高的情况下，可以实现使用相关性高的先前帧进行降噪。

此外，作为合成中使用的先前帧图像，不使用延迟的进行降噪处理之后的帧图像，而是使用延迟的进行降噪处理之前与之后的合成帧图像。此时，图像帧频越低，则将进行降噪处理之后(在合成以后)的帧图像的权重设置为越小。这样，可以抑制在经过降噪处理后的帧图像中发生的在被摄体的轮廓上的模糊或者光晕对后续帧的降噪处理的影响。

第一实施例的变形例

在需要减小电路规模或者简化处理的情况下，不需要使用第二合成单元409。具体地，设置可以配置为在图2中使得将由第一合成单元407输出的进行降噪处理之后的帧图像直接输入到帧存储器408。在这种情况下，不能获得由第二合成单元409产生的图像质量上的改进，但是可以实现由第一合成单元407根据图像帧频进行合成带来的改进效果。

第二实施例

此外，本发明还可以通过进行以下处理实现。具体地，通过网络或者各种存储介质将用于实现上述实施例中的功能的软件(程序)提供给系统或者设备，并且系统或者设备的计算机(或者诸如CPU或MPU等的装置)读出并且执行程序。

图6是表示本发明适用的信息处理设备的典型结构的框图。CPU 301控制整个设备并且进行各种处理。存储器302包括存储有BIOS和引导程序的ROM以及被CPU 301用作工作区域的RAM。指示输入单元303包括键盘、诸如鼠标等的定位装置以及各种开关。外部存储装置304提供了为控制本设备所必需的操作系统(OS)，用于使信息处理设备作为根据本发明的图像处理设备而发挥功能的程序(图像处理应用程序)，以及为进行计算所必需的存储区域。外部存储装置304的例子包括硬盘驱动器。读取器305是用于对记录或者存储有运动图像数据的可移除介质(诸如存储卡或者盘状介质等)进行访问的存储装置。照相机306拍摄运动图像。信息处理设备具有用于通过有线或者无线通信线路309与外部装置通信的通信接口308。

当通过指示输入单元303开启设备电源时，CPU 301根据存储器302中的引导程序(存储在ROM中)将OS从外部存储装置304加载到存储器302(RAM)中。然后，根据例如来自用户的指示，图像处理应用程序被从外部存储装置304加载到存储器302中并且由CPU 301执行，因此信息处理设备可以作为根据本发明的图像处理设备而发挥功能。图7示意出应用程序加载到存储器302中的RAM中的内存映射。

存储器302存储有用于控制整个设备和各种软件的OS以及用于进行空间NR和递归NR的图像处理软件。存储器302还存储用于控制照相机306以帧为单位输入(拍摄)运动图像的图像输入软件。存储器302还具有用于存储图像数据的图像区域和用于存储各种参数的工作区域。工作区域中还确保有一块用作帧存储器408的存储器区域。在下面的说明中，该存储器区域称为“帧存储器408”。如表1所示的表可以存储在外部存储装置304中。

图8是表示根据本实施例的信息处理设备中的图像处理应用程序的执行的流程图。

在S1，CPU 301进行诸如对程序中使用的参数设置初始值等的初始化。在S2，CPU 301判断程序是否被指示结束。例如，CPU 301可以判断是否从指示输入单元303输入了用以结束程序的指示。

在S3，CPU 301控制照相机306以读出照相机306以帧为单位拍摄的运动图像，并且将运动图像存储在存储器302中的工作区域中。运动图像可以是实时拍摄的运动图像或者从照相机306中的存储介质再现的运动图像。在S4，CPU 301对读出的帧进行与NR单元4的上述的操作相对应的递归NR并且返回到S2的处理。

参考图9中的流程图说明在S4的递归NR的细节。

在S401，CPU 301通过在二维上应用与ε-滤波器相对应的计算对在S3读出的帧(当前帧)进行空间NR，并且将帧写回到存储器302中。在S402，CPU 301将与LPF 403相对应的低通滤波操作应用到进行空间NR之后的当前帧。然后CPU 301为每个像素计算从帧存储器408(在第一实施例的变形例的情况下)读出的先前帧与进行LPF处理之后的当前帧之间的差值绝对值。在S403，CPU 301使用帧间的差值绝对值、运动图像的图像帧频以及从外部存储装置304读出的表来计算递归系数K。运动图像的图像帧频可以是由用户从图像处理应用程序配置的值，或者在从照相机306读出图像之前从照相机306或者运动图像数据获得的值。在S404，CPU 301基于递归系数K计算两帧之间的加权平均(合成)。在S405，CPU 301将在加权平均处理后获得的帧作为递归NR结果输出到例如外部存储装置304，并且存储在帧存储器408(存储器302)中。

如第二合成单元409中所进行的那样，由此在S404中所获得的帧在存储到帧存储器408之前还可以进一步与当前帧进行合成。

根据本实施例，实现与第一实施例(包括变形例)中相同的效果。

其它实施例

本发明的方面也可以通过系统或者设备的计算机(或者诸如CPU或MPU等的装置)读出并且执行存储器装置上记录的程序以进行上述实施例的功能而实现，以及通过方法实现，该方法的步骤由系统或者设备的计算机通过例如读出并且执行存储器装置上记录的程序以进行上述的实施例的功能而进行。为了该目的，将程序例如通过网络或者从用作存储器装置(例如计算机可读的介质)的各种存储介质提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (6)

1.一种图像处理设备，用于将递归降噪处理应用到具有预定帧频的运动图像，该图像处理设备包括：

计算单元，用于使用将要应用所述递归降噪处理的当前帧的像素值与已应用所述递归降噪处理的、作为所述当前帧的前一帧的先前帧的像素值，计算表示所述当前帧与所述先前帧之间的相关度的信息；

确定单元，用于基于所述相关度和所述帧频来确定递归系数，该递归系数是所述先前帧的权重；

第一合成单元，用于使用所述递归系数合成所述先前帧与所述当前帧中的像素；以及

输出单元，用于将由所述第一合成单元所获得的帧作为已应用所述递归降噪处理的所述当前帧进行输出，

其中，对于所述计算单元计算出的所述信息所表示的同一相关度，所述帧频越低，则所述确定单元将所述递归系数确定得越小。

2.根据权利要求1所述的图像处理设备，其特征在于，对于同一帧频，所述相关度越高，则所述确定单元将所述递归系数确定得越大。

3.根据权利要求1所述的图像处理设备，其特征在于，还包括用于对进行所述递归降噪处理之前的所述当前帧与进行所述递归降噪处理之后的所述当前帧中的像素进行合成的第二合成单元，

其中，所述第二合成单元进行所述合成，以使得所述帧频越低，则进行所述递归降噪处理之后的所述当前帧的权重越小，以及

所述第一合成单元合成由所述第二合成单元获得的帧与所述当前帧中的像素。

4.根据权利要求1所述的图像处理设备，其特征在于，还包括滤波单元，所述滤波单元用于在应用所述递归降噪处理之前对所述当前帧应用空间降噪处理。

5.根据权利要求1至4中任一项所述的图像处理设备，其特征在于，所述计算单元计算所述当前帧与所述先前帧中的像素值之间的差值作为表示所述相关度的信息。

6.一种用于控制图像处理设备的方法，该图像处理设备用于将递归降噪处理应用到具有预定帧频的运动图像，该方法包括：

由所述图像处理设备中的计算单元执行的计算步骤，用于使用将要应用所述递归降噪处理的当前帧的像素值与已应用所述递归降噪处理的、作为所述当前帧的前一帧的先前帧的像素值，计算表示所述当前帧与所述先前帧之间的相关度的信息；

由所述图像处理设备中的确定单元执行的确定步骤，用于基于所述相关度和所述帧频来确定递归系数，该递归系数是所述先前帧的权重；

由所述图像处理设备中的第一合成单元执行的第一合成步骤，用于使用所述递归系数合成所述先前帧与所述当前帧中的像素；以及

由所述图像处理设备中的输出单元执行的输出步骤，用于将由所述第一合成单元所获得的帧作为进行所述递归降噪处理之后的所述当前帧进行输出，

其中，在所述确定步骤中，对于所述计算单元计算出的所述信息所表示的同一相关度，所述帧频越低，则所述确定单元将所述递归系数确定得越小。

Images