CN102150421A - 图像噪声去除装置及方法 - Google Patents

Abstract

空间噪声去除部(20)计算从输入像素值Pin中去除空间噪声之后的空间NR像素值Snr。时间噪声去除部(30)计算从输入像素值Pin中去除时间噪声之后的时间NR像素值Tnr。时间噪声去除结果判断部(50)将输入像素值Pin和空间NR像素值Snr的大小与时间NR像素值Tnr的大小进行比较，基于该比较结果将任一个像素值作为去除噪声的结果即输出像素值Pout输出。由此，既能抑制在移动图像中产生余像，又能对运动图像加强进行时间噪声去除。

Description

图像噪声去除装置及方法

技术领域

本发明涉及一种图像噪声去除装置及方法，特别是涉及一种能够容易而有效地去除运动图像中所含有的噪声的图像噪声去除装置及方法。

背景技术

使用数字摄像机或数字静止相机等拍摄装置所拍摄的运动图像中，含有起因于拍摄环境和图像传感器的特性的噪声。这些噪声包括光散粒噪声(shot noise)、暗噪声、固定模式噪声、以及电路噪声等种类。由于这些噪声引起图像质量(画质)降低，因此需要进行噪声去除(Noise Reduction，NR)处理，即去除(或降低)运动图像中所含有的噪声。

作为噪声去除方法，众所周知的有：利用位于作为处理对象的对象像素的附近的邻近像素的像素值，来对对象像素的像素值进行平滑化处理的方法。为了进行上述平滑化处理，例如可以采用求出对象像素和邻近像素的所有像素值的平均值的方法，或者求出对象像素和邻近像素的所有像素值的中值的方法(中值滤波器)。由于上述方法是用一个图像帧内的像素值来在空间方向上进行处理，因此被称为空间噪声去除。

另外，关于运动图像，已知的方法有：利用在时间方向上连续的多个图像之间的相关性，来对对象像素的像素值进行平滑化处理的方法。为了进行上述平滑化处理，例如可以采用将对象像素的像素值与时间上存在于先的图像的同一坐标的像素值进行加权平均的方法。由于上述方法是用多个图像帧内的像素值来在时间方向上进行处理，因此被称为时间噪声去除。

进一步，作为将该空间噪声去除与该时间噪声去除组合起来的方式，存在以下技术：利用运动图像的运动检测的结果，若对象像素处于静止图像领域中，则选择时间噪声去除；而若对象像素处于移动图像领域中，则选择空间噪声去除(例如，参照专利文献1)。

现有技术文献

专利文献

【专利文献1】：日本专利特开平2-248173号公报

发明的概要

发明要解决的问题

然而，即使采用如上所述的切换空间噪声去除与时间噪声去除的方式，为了提高时间噪声去除的效果，也需要在运动图像的时间方向上加强平滑化处理。但是，若在运动图像的时间方向上加强平滑化处理，则移动图像领域的周边会产生余像而引起画质降低。如此，抑制移动图像领域中产生余像与在运动图像的时间方向上加强平滑化处理之间存在权衡关系，因此，仍然存在对运动图像不能充分提高时间噪声去除效果这一技术问题。

发明内容

因此，本发明的目的在于：提供一种既能抑制移动图像领域中产生余像，又能对运动图像加强进行时间噪声去除的图像噪声去除装置及方法。

用于解决发明的手段

本发明涉及一种去除图像中所含有的噪声的图像噪声去除装置。为达到上述目的，本发明的图像噪声去除装置包括：空间噪声去除部，通过当前的图像帧内的空间方向上的像素值的平滑化，从输入图像中去除噪声；时间噪声去除部，通过当前的图像帧与前一个图像帧之间的时间方向上的像素值的平滑化，从输入图像中去除噪声；像素值范围设定部，根据输入图像的像素值、和空间噪声去除部所输出的图像的像素值，来设定像素值范围；以及范围判断部，在时间噪声去除部所输出的图像的像素值处于像素值范围内的情况下输出时间噪声去除部所输出的图像的像素值，在该像素值大于像素值范围的最大值的情况下输出该最大值，在该像素值小于像素值范围的最小值的情况下输出该最小值。

像素值范围设定部可以由差值计算部、余裕设定部以及加法部构成，该差值计算部计算输入图像的像素值与空间噪声去除部所输出的图像的像素值之间的差值，该余裕设定部将预先被设定的空间噪声去除用余裕(margin)率和输入图像用余裕率分别乘以差值，以求出两个余裕值，该加法部根据差值的符号，将两个余裕值中的一个余裕值加在输入图像的像素值中来求出像素值范围的最大值；将两个余裕值中的另一个余裕值加在输入图像的像素值中来求出像素值范围的最小值。

另外，像素值范围设定部可以由选择部、余裕设定部以及加法部构成，该选择部将输入图像的像素值与空间噪声去除部所输出的图像的像素值进行比较，以选择像素值范围的最大值和最小值，该余裕设定部预先被设定余裕值，该加法部将余裕值分别加在像素值范围的最大值和最小值中。上述构成中，若进一步包括计算输入图像的像素值与空间噪声去除部所输出的图像的像素值之间的差值绝对值的差值绝对值计算部，则可以将乘以差值绝对值之后的余裕值提供给加法部。

如上所述的图像噪声去除装置的各个构成所进行的处理可以被视为是提供一系列的处理步骤的图像噪声去除方法。该方法可以通过用于让计算机执行一系列的处理步骤的程序的形式来提供。可以通过将该程序记录在计算机可读的记录介质中的方式来将该程序导入计算机。另外，如上所述的图像噪声去除装置的各个构成也可以通过利用集成电路的LSI来实现。

发明效果

根据上述本发明，基于去除噪声之前的像素值与去除空间噪声之后的像素值来判断时间噪声去除处理的可靠性，从而能够在抑制移动图像领域中产生余像的同时，对运动图像加强进行时间噪声去除。

附图说明

图1是表示本发明所涉及的一个实施方式所涉及的图像噪声去除装置的构成的图。

图2是表示时间噪声去除结果判断部50的详细构成例的图。

图3是表示像素值范围设定部51的具体构成例1的图。

图4是表示像素值范围设定部51的具体构成例2的图。

图5是表示像素值范围设定部51的具体构成例3的图。

图6是表示像素值范围设定部51的具体构成例4的图。

图7是表示范围判断部52的具体构成例的图。

图8是用于说明本发明的图像噪声去除装置所进行的处理的概念的图。

图9是说明本发明的图像噪声去除方法的步骤的流程图。

图10是构成例4中的像素值范围设定部51所执行的图9的步骤S94的详细流程图。

具体实施方式

下面，参照附图对本发明的具体实施方式进行说明。

图1是表示本发明所涉及的一个实施方式所涉及的图像噪声去除装置的构成的图。图1中，本实施方式的图像噪声去除装置包括空间噪声去除部20、时间噪声去除部30、缓冲器40以及时间噪声去除结果判断部50。

首先，对于具有上述构成的本发明的图像噪声去除装置的概要进行说明。

运动图像经由输入端子10分别被输入至空间噪声去除部20、时间噪声去除部30及时间噪声去除结果判断部50。空间噪声去除部20对于被输入的运动图像的各个像素，通过使用了对象像素的像素值和邻近像素的像素值的平滑化处理，来进行在一个图像帧内的空间方向上的噪声去除。时间噪声去除部30对于被输入的运动图像的各个像素，通过使用了在当前的图像帧中的对象像素的像素值和缓冲器40中所存储的在时间上是前一个的图像帧中的同一坐标的像素值的平滑化处理，来进行在两个图像帧之间的时间方向上的噪声去除。

被输入的运动图像的像素值(以下称为输入像素值Pin)、空间噪声去除部20所输出的从输入像素值Pin中去除了空间噪声之后的像素值(以下称为空间NR像素值Snr)、以及时间噪声去除部30所输出的从输入像素值Pin中去除了时间噪声之后的像素值(以下称为时间NR像素值Tnr)被输入至时间噪声去除结果判断部50，时间噪声去除结果判断部50将根据上述像素值的大小而定的像素值(以下称为输出像素值Pout)作为噪声去除的结果输出至输出端子60。该时间噪声去除结果判断部50所输出的输出像素值Pout暂时被存储于缓冲器40，并依次被利用于时间噪声去除部30的处理。

下面，对时间噪声去除结果判断部50的具体动作进行说明。

图2是表示图1所示的时间噪声去除结果判断部50的详细构成例的图。图2中，时间噪声去除结果判断部50包括像素值范围设定部51和范围判断部52。

输入像素值Pin和空间NR像素值Snr被输入至像素值范围设定部51，像素值范围设定部51将两个像素值中较大的像素值作为最大值MAX，将两个像素值中较小的像素值作为最小值MIN，并将其输出至范围判断部52。作为该像素值范围设定部51，例如可以采用图3～图6所示的具体构成。

<构成例1>

图3所示的像素值范围设定部51的构成中包括MAX选择部511和MIN选择部512。MAX选择部511将输入像素值Pin和空间NR像素值Snr之中较大的像素值输出。MIN选择部512将输入像素值Pin和空间NR像素值Snr之中较小的像素值输出。通过上述构成，可以得到最大值MAX和最小值MIN。

<构成例2>

图4所示的像素值范围设定部51的构成为，在图3的构成例1的基础上，还包括加法器513、加法器514以及余裕设定部515。余裕设定部515将预先被设定的余裕值输出至加法器513和加法器514。加法器513将MAX选择部511所输出的最大值MAX与余裕值进行加算或减算。加法器513将MIN选择部512所输出的最小值MIN与余裕值进行加算或减算。并且，对于最大值MAX和最小值MIN，余裕值可以是相同的，也可以是不同的。通过上述构成，可以任意变更最大值MAX和最小值MIN。

<构成例3>

图5所示的像素值范围设定部51的构成为，在图4的构成例2的基础上，还包括差值绝对值计算部516。差值绝对值计算部516求出输入像素值Pin与空间NR像素值Snr之间的差值绝对值。余裕设定部515将预先被设定的余裕值乘以差值绝对值计算部516所求出的差值绝对值之后的值输出至加法器513和加法器514。通过上述构成，可以使最大值MAX和最小值MIN与输入像素值Pin和空间NR像素值Snr之间的差成比例地任意变更。

<构成例4>

图6所示的像素值范围设定部51的构成中包括加法器513、加法器514、余裕设定部515以及差值计算部517。差值计算部517求出从空间NR像素值Snr减去输入像素值Pin之后的差值。对于余裕设定部515预先设定了空间NR像素值用余裕率和输入像素值用余裕率。然后，在差值计算部517所求出的差值为正值的情况下，余裕设定部515将差值乘以空间NR像素值用余裕率之后的余裕值输出至作为最大值MAX的输出侧的加法器513，并且将差值乘以输入像素值用余裕率之后的余裕值输出至作为最小值MIN的输出侧的加法器514。另一方面，在差值为负值的情况下，余裕设定部515将差值乘以输入像素值用余裕率之后的余裕值输出至加法器513，并且将差值乘以空间NR像素值用余裕率之后的余裕值输出至加法器514。通过上述构成，可以使最大值MAX和最小值MIN与输入像素值Pin和空间NR像素值Snr之间的差成比例地任意变更。此外，希望使最大值MAX和最小值MIN具有互不相同的增减方向时，将空间NR像素值用余裕率和输入像素值用余裕率之中的任一个变为负号即可。

再次参照图2。最大值MAX、最小值MIN以及时间NR像素值Tnr被输入至范围判断部52，范围判断部52在时间NR像素值Tnr处于最大值MAX与最小值MIN之间的情况下将时间NR像素值Tnr作为输出像素值Pout输出，在时间NR像素值Tnr等于或大于最大值MAX的情况下将最大值MAX作为输出像素值Pout输出，在时间NR像素值Tnr等于或小于最小值MIN的情况下将最小值MIN作为输出像素值Pout输出。图7示出该范围判断部52的具体构成例。图7中，比较器521在被输入至“+端子”的像素值大于被输入至“-端子”的像素值的情况下将逻辑值“1”作为比较信号输出，除此之外的情况下将逻辑值“0”作为比较信号输出。选择器522按照比较器521所输出的比较信号，在逻辑值为“1”的情况下选择被输入至“1端子”的像素值来输出，而在逻辑值为“0”的情况下选择被输入至“0端子”的像素值来输出。

以下说明，通过上述构成既能去除移动图像领域中产生余像，又能对运动图像加强进行时间噪声去除的原理。本发明以如下所示的假设成立为前提来进行处理。

上述假设是，理想的空间噪声去除的结果与理想的时间噪声去除的结果相一致。在此，所谓“理想的”是指完全去除噪声的意思。也就是说，本发明基于只要能够完全去除对象像素的噪声成份，无论其手段是空间噪声的去除还是时间噪声的去除，结果都可以得到噪声为零的本来的像素值这样的假设。

实际上，由于难以实现理想的噪声去除，因此使空间噪声去除的结果与时间噪声去除的结果相一致是困难的。然而，若在空间和时间上都向正确地去除噪声的方向作用，则由去除噪声之前的像素值和完全去除噪声之后的本来的像素值来表示的像素值的范围中，会包含去除空间噪声之后的像素值和去除时间噪声之后的像素值这两种像素值。图8是为容易理解上述的概念而将各个像素值表现在一维轴上的图。该图8中表示因噪声成份而使本来的像素值P被减小到输入像素值Pin(噪声成份具有负像素值)的情况。

基于上述解释，空间NR像素值Snr和时间NR像素值Tnr都处于从输入像素值Pin到像素值P所示的范围y内。根据本发明，首先用输入像素值Pin(在此例中是最小值MIN)和空间NR像素值Snr(在此例中是最大值MAX)来确定像素值的范围x，并判定时间NR像素值Tnr是否处于该范围x内。若时间NR像素值Tnr处于范围x内，则视为时间噪声去除和空间噪声去除都在向正确地去除噪声的方向作用，将时间NR像素值Tnr直接作为输出结果(图8的(a))。并且，虽然在时间NR像素值Tnr等于或大于作为范围x的上限的最大值MAX的情况下，也可以视为时间噪声去除和空间噪声去除都在向正确地去除噪声的方向作用，但是去除时间噪声的强度过大就有可能产生余像，因此将最大值MAX作为输出结果(图8的(b))。另一方面，在时间NR像素值Tnr等于或小于为范围x的下限的最小值MIN的情况下，判断为时间噪声去除与空间噪声去除向相反的方向上作用以致哪一种处理的可靠性都低，从而将去除噪声之前的最小值MIN作为输出结果(图8的(c))。

如此，由于根据去除噪声之前的输入像素值Pin和可靠性较高的去除空间噪声之后的空间NR像素值Snr来判断是否适用时间噪声去除处理，因此无论是抑制移动图像领域中产生余像，还是对运动图像加强进行时间噪声去除，都能够在最佳的状况下进行。

图9是说明上述图像噪声去除装置所进行的图像噪声去除方法的步骤的流程图。并且，该图9中表示着处理一个图像帧内的像素的步骤。因此，当要连续处理多个图像帧时，对各个图像帧反复地进行如图9所示的步骤即可。

输入像素值Pin被输入(S91)，则空间噪声去除部20计算从输入像素值Pin中去除了空间噪声之后的空间NR像素值Snr(S92)。另外，时间噪声去除部30计算从输入像素值Pin中去除了时间噪声之后的时间NR像素值Tnr(S93)。其后，时间噪声去除结果判断部50基于空间NR像素值Snr、输入像素值Pin以及规定的余裕值来求出最大值MAX和最小值MIN，并设定范围x(S94)。然后，时间噪声去除结果判断部50将时间NR像素值Tnr和范围x进行比较(S95，S96)；若为MIN＜Tnr＜MAX则将时间NR像素值Tnr作为输出像素值Pout输出(S97)；若为MAX≤Tnr则将最大值MAX作为输出像素值Pout输出(S98)；若为Tnr≤MIN则将最小值MIN作为输出像素值Pout输出(S99)。该输出像素值Pout被存储于缓冲器40(S100)。上述处理对于一个图像帧内的所有像素被反复地进行(S101)。

图10是对上述构成例4的像素值范围设定部51(图6)在图9的步骤S94所进行的范围x的详细设定步骤进行说明的流程图。

首先，在差值计算部517计算差值D(＝Snr-Pin)(S941)。其次，余裕设定部515分别计算差值D乘以空间NR像素值用余裕率sm(正值)之后的余裕值A(＝D×sm)、以及差值D乘以输入像素值用余裕率pm(正值)和负1之后的余裕值B(＝D×pm×(-1))(S942，S943)。然后，余裕设定部515判定差值D的符号(S944)，若差值D为正值，则将输入像素值Pin加上余裕值A之后的值(＝Pin+A)作为最大值MAX输出，并且将输入像素值Pin加上余裕值B之后的值(＝Pin+B)作为最小值MIN输出(S945，S946)；若差值D为负值，则将输入像素值Pin加上余裕值B之后的值(＝Pin+B)作为最大值MAX输出，并且将输入像素值Pin加上余裕值A之后的值(＝Pin+A)作为最小值MIN输出(S947，S948)。

如上所述，根据本发明的一个实施方式所涉及的图像噪声去除装置及方法，基于去除噪声之前的输入像素值Pin和去除空间噪声之后的空间NR像素值Snr来判断时间噪声去除处理的可靠性。由此，由于只在时间噪声去除处理的可靠性较高时才可以输出去除时间噪声之后的时间NR像素值Tnr，因此既能抑制移动图像领域中产生余像，又能对运动图像加强进行时间噪声去除。

特别是采用了上述构成例2～4的像素值范围设定部51的构成，可以在空间NR像素值Snr(最大值MAX)与输入像素值Pin(最小值MIN)之间设定不同的余裕值。由此，即使是在为了抑制图像产生模糊而不能完全去除噪声的层次进行空间噪声去除，也可以只加大在判断时间噪声去除时所使用的最大值MAX侧的值(图8的(d))。因此，即使在希望对运动图像加强进行时间噪声去除的情况下，也能够既抑制移动图像领域中产生余像，又能够扩大适用时间噪声去除的结果的范围。

另外，通常，上述图像噪声去除装置的各个构成可以通过集成电路的LSI(根据集成度的不同，被称为IC、系统LSI、超大LSI、或甚大LSI等)来实现。上述构成可以个别地被集成为一块芯片，也可以被集成为含有一部分或全部的一块芯片。另外，集成电路化的手法不局限于LSI，也可以通过专用电路或通用处理器来实现。此外，也可以采用在制造LSI之后可编程的现场可编程门阵列(FPGA，Field Programmable Gate Array)或可重新构成LSI内部的电路单元的连接和设定的可重构处理器。

进一步，若因半导体技術的发展或派生出来的其他技術而出现代替LSI的集成电路化技術，当然也可以利用该技術来进行功能块的集成化。也有应用生物技术等的可能性。

工业实用性

本发明所涉及的图像噪声去除装置及方法可被应用于数字摄像机和数字照相机等能够拍摄运动图像的拍摄装置等，特别是在希望对运动图像所含有的噪声进行有效的时间噪声去除的情况下发挥作用。

附图标记说明

10、50    端子

20        空间噪声去除部

30        时间噪声去除部

40        缓冲器

50        时间噪声去除结果判断部

51        像素值范围设定部

52        范围判断部

511       MAX选择部

512       MIN选择部

513、514   加法器

515        余裕设定部

516        差值绝对值计算部

517        差值计算部

521        比较器

522        选择器

Claims (7)

1.一种图像噪声去除装置，去除图像中所含有的噪声，所述图像噪声去除装置包括：

空间噪声去除部，通过当前的图像帧内的空间方向上的像素值的平滑化，从输入图像中去除噪声；

时间噪声去除部，通过当前的图像帧与前一个图像帧之间的时间方向上的像素值的平滑化，从所述输入图像中去除噪声；

像素值范围设定部，根据所述输入图像的像素值和所述空间噪声去除部所输出的图像的像素值，来设定像素值范围；以及

范围判断部，在所述时间噪声去除部所输出的图像的像素值处于所述像素值范围内的情况下输出所述时间噪声去除部所输出的图像的像素值，在该像素值大于所述像素值范围的最大值的情况下输出该最大值，在该像素值小于所述像素值范围的最小值的情况下输出该最小值。

2.如权利要求1所述的图像噪声去除装置，

所述像素值范围设定部包括：

差值计算部，计算所述输入图像的像素值与所述空间噪声去除部所输出的图像的像素值之间的差值；

余裕设定部，将预先被设定的空间噪声去除用余裕率和输入图像用余裕率分别乘以所述差值，以求出两个余裕值；

加法部，基于所述差值的符号，将所述两个余裕值中的一个余裕值加在所述输入图像的像素值中来求出所述像素值范围的最大值，将所述两个余裕值中的另一个余裕值加在所述输入图像的像素值中来求出所述像素值范围的最小值。

3.如权利要求1所述的图像噪声去除装置，

所述像素值范围设定部包括：

选择部，将所述输入图像的像素值与所述空间噪声去除部所输出的图像的像素值进行比较，以选择所述像素值范围的最大值和最小值；

余裕设定部，预先被设定余裕值；

加法部，将所述余裕值分别加在所述像素值范围的最大值和最小值中。

4.如权利要求3所述的图像噪声去除装置，

所述像素值范围设定部还包括差值绝对值计算部，所述差值绝对值计算部计算所述输入图像的像素值与所述空间噪声去除部所输出的图像的像素值之间的差值绝对值，

所述余裕设定部将所述预先被设定的余裕值乘以所述差值绝对值之后的余裕值提供给所述加法部。

5.一种图像噪声去除方法，去除图像中所含有的噪声，所述图像噪声去除方法包括：

空间噪声去除步骤，通过当前的图像帧内的空间方向上的像素值的平滑化，从输入图像中去除噪声；

时间噪声去除步骤，通过当前的图像帧与前一个图像帧之间的时间方向上的像素值的平滑化，从所述输入图像中去除噪声；

范围设定步骤，根据所述输入图像的像素值和所述空间噪声去除步骤所输出的图像的像素值，来设定像素值范围；以及

范围判断步骤，在所述时间噪声去除步骤所输出的图像的像素值处于所述像素值范围内的情况下输出所述时间噪声去除步骤所输出的图像的像素值，在该像素值大于所述像素值范围的最大值的情况下输出该最大值，在该像素值小于所述像素值范围的最小值的情况下输出该最小值。

6.如权利要求5所述的图像噪声去除方法，

所述范围设定步骤包括：

差值计算步骤，计算所述输入图像的像素值与所述空间噪声去除步骤所输出的图像的像素值之间的差值；

余裕设定步骤，将预先被设定的空间噪声去除用余裕率和输入图像用余裕率分别乘以所述差值，以求出两个余裕值；

加法步骤，基于所述差值的符号，将所述两个余裕值中的一个余裕值加在所述输入图像的像素值中来求出所述像素值范围的最大值，将所述两个余裕值中的另一个余裕值加在所述输入图像的像素值中来求出所述像素值范围的最小值。

7.一种集成电路，用于去除图像中所含有的噪声的图像噪声去除装置，所述集成电路集成有发挥空间噪声去除部、时间噪声去除部、像素值范围设定部及范围判断部的功能的电路，其中，

所述空间噪声去除部通过当前的图像帧内的空间方向上的像素值的平滑化，从输入图像中去除噪声，

所述时间噪声去除部通过当前的图像帧与前一个图像帧之间的时间方向上的像素值的平滑化，从所述输入图像中去除噪声，

所述像素值范围设定部根据所述输入图像的像素值和所述空间噪声去除部所输出的图像的像素值，来设定像素值范围，

所述范围判断部在所述时间噪声去除部所输出的图像的像素值处于所述像素值范围内的情况下输出所述时间噪声去除部所输出的图像的像素值，在该像素值大于所述像素值范围的最大值的情况下输出该最大值，在该像素值小于所述像素值范围的最小值的情况下输出该最小值。

Images