CN101296315A - 图像降噪装置和方法 - Google Patents

Abstract

提供了一种考虑相机中图像的亮度使用诸如电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)之类的图像拾取部件的图像降噪方法和装置。该方法包括：通过使用来自拾取的多个帧的数据来检测图像运动的程度；检测拾取的图像的亮度；按照图像运动程度和图像的亮度来确定当前帧数据和先前帧数据之间的比率；和按照确定的帧数据比率将当前帧数据与先前帧数据进行组合。

Description

图像降噪装置和方法

相关专利申请的交叉引用

本申请要求于2007年4月23日在韩国知识产权局申请的韩国专利申请No.10-2007-0039436的权益，其公开作为参考整体结合在此处。

技术领域

本发明涉及一种视频信号处理装置和方法，尤其涉及一种考虑相机中图像的亮度使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)之类的图像拾取部件的图像降噪装置和方法。

背景技术

通常，摄像机电子地记录有关目标的二维信息。摄像机将目标的光学图像转换为电子图像以在存储单元中存储电子图像，并且根据需要读取存储在存储器中的图像，以打印图像或者将该图像传送给计算机。摄像机使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)之类的图像拾取部件。

摄像机中的图像拾取部件的图像拾取时间是1/60秒。摄像机以每秒60场输出图像，并且在拾取周期中，连续不断地输出存储在存储器中的拾取图像以保持图像的连续性。

诸如CCD或者CMOS之类的图像拾取部件产生包括来自有缺陷的像素噪声的固定的图形噪声。由于在制造CMOS或者CCD的过程中由各种各样的因素所引起的不均匀性发生固定的图形噪声，并且具有诸如白色/黑色/垂直/有斑点的缺陷和灵敏度不均匀的类型。CCD或者CMOS相机是由各种各样的切换脉冲驱动的，并且由于切换脉冲产生复位噪声。此外，暗电流噪声称为热噪声，其具有与温度成比例的特征，并且暗电流噪声导致视频质量恶化。

通过使用诸如CMOS或者CCD之类的图像拾取部件，相机将光重建为电子图像信号。当光足够时，也就是说，当拍摄环境明亮时，CCD中的噪声显著地小于由光光电地转换和存储的电荷，使得图像拾取部件具有小的图像质量恶化。但是，当拍摄环境暗时，存在一个问题，即，图像拾取部件具有固定的图形噪声、暗电流噪声和传感器复位噪声，其在幅度方面比由光光电地转换和存储的电荷相对地更大。

发明内容

本发明提供了一种能够降低图像噪声的图像降噪装置和方法，其考虑图像的亮度或者拍摄的环境而具有低的时间相关性。

本发明还提供了一种考虑运动信息、图像亮度或者拍摄的环境的亮度而能够降低噪声和图像恶化的摄像机系统。

按照本发明的一个方面，提供了一种图像降噪方法，包括：

通过使用拾取的多个帧的数据来检测图像运动的程度；

检测拾取的图像的亮度；

按照图像运动程度和图像的亮度来确定当前帧数据和先前帧数据之间的比率；和

按照确定的帧数据比率将当前帧数据与先前帧数据进行组合。

按照本发明的另一个方面，提供了一种图像降噪装置，包括：

运动检测器，通过使用拾取的多个帧的数据来检测图像运动信息；

增益确定器，基于有关图像的运动信息和亮度信息，确定用于确定当前帧数据和先前帧数据之间的比率的增益系数；和

滤波器，按照由增益确定器设置的增益系数将当前帧数据与先前帧数据进行组合。

按照本发明的另一个方面，提供了一种摄像机系统，包括：

图像拾取部件，拾取形成在入射平面上的目标图像，并且输出相应的模拟图像信号；

模拟信号处理器，通过自动增益控制(AGC)对从图像拾取部件输出的模拟图像信号执行自动增益控制；

模拟数字转换器，将从模拟信号处理器输出的模拟图像信号转换为数字图像信号；

数字信号处理器，通过使用从模拟数字转换器输出的多个帧的图像信号来检测图像运动的程度，按照拾取图像的运动程度和亮度设置用于确定当前帧数据和先前帧数据之间的比率的增益系数，并且按照增益系数将当前帧数据与先前帧数据进行组合。

附图说明

通过参考附加的附图详细地描述本发明的示范性实施例，本发明的上述和其他的特点以及优势将变得更明显，其中：

图1是示出按照本发明实施例的适用图像降噪装置的摄像机系统的方框图；

图2是示出在图1中示出的数字信号处理器执行的图像降噪装置的方框图；

图3是示出按照本发明实施例的图像降噪方法的流程图；和

图4是示出按照本发明实施例的增益特性的图形。

具体实施方式

在下文中将参考附加的附图详细地描述本发明示范的实施例。

图1是示出按照本发明实施例的适用图像降噪装置的摄像机系统的方框图。

图1中示出的摄像机系统包括拍摄镜头110、图像拾取部件120、模拟信号处理器130、模拟数字转换器(ADC)140、数字信号处理器150、帧存储器154、显示器158、控制器160、定时信号发生器170和驱动信号发生器180。

拍摄镜头110在图像拾取部件120的入射平面上形成将要拍摄的目标的图像。

图像拾取部件120可以具有电荷耦合器件(CCD)类型或者互补金属氧化物半导体(CMOS)类型。图像拾取部件120拾取在入射平面上形成的目标的图像以输出相应的模拟RGB或者YCbCr图像信号。

模拟信号处理器130对由图像拾取部件120输出的模拟RGB信号执行相关双采样，并且经由自动增益控制(AGC)自动地控制RGB模拟信号的增益。例如，当目标较亮并且信号电平高时，模拟信号处理器130降低AGC增益，并且当目标暗并且模拟信号电平低时，模拟信号处理器130增加AGC增益。

ADC 140将从模拟信号处理器130输出的RGB模拟信号转换为RGB数字信号。此外，ADC 140将在模拟信号处理器130中确定的AGC增益转换为数字值。

数字信号处理器150通过使用降噪装置降低从ADC 140输出的RGB数字信号中的噪声，将RGB数字信号转换为用于显示的YCbCr信号，并且产生水平和垂直同步信号，其中所述降噪装置具有包括限定校准、颜色校准、伽马校准、时间滤波等等的功能。尤其是，数字信号处理器150通过使用来自多个拾取的帧的数据检测图像运动的程度，计算帧的平均像素值或者块的平均像素值，通过使用AGC增益或者帧的平均像素值来检测拾取的图像的亮度，按照运动程度和图像的亮度确定在当前帧数据和先前帧数据之间的组合比率，和按照数据组合比率将当前帧数据与先前帧数据组合。这里，先前帧被存储在帧存储器154中，并且是时间滤波帧的图像信号。

帧存储器154存储对应于在数字信号处理器150中处理的帧的RGB信号。

显示器158可以是液晶显示器(LCD)或等离子体显示板(PDF)，并且显示从数字信号处理器150输出的YCbCr信号。

控制器160将由数字信号处理器150产生的水平和垂直同步信号传送给定时信号发生器170，并且按照用户的操作命令控制每个功能操作。

定时信号发生器170按照从控制器160输出的水平和垂直同步信号产生定时信号。

驱动信号发生器180按照由定时信号发生器170产生的定时信号产生用于驱动图像拾取部件120的图像信号拾取操作的驱动信号。

图2是示出图1中示出的数字信号处理器150中执行的图像降噪装置的方框图。

图2中示出的图像降噪装置包括运动检测器210、增益确定器220和滤波器230。

运动检测器210通过使用来自当前帧和先前帧的数据来检测图像运动的程度。按照本发明的实施例，运动检测器210使用总和绝对差(SAD，sumabsolute difference)。更具体地说，运动检测器210获得当前帧的亮度信号和先前帧的亮度信号之间的差值，并且对于该差值获得以块为单位的一总和。这里，如果SAD值较大，则运动程度被确定较大，并且如果SAD值较小，则运动程度被确定较小。

增益确定器220按照由运动检测器210检测的运动程度值和增益因数，确定用于当前帧数据和先前帧数据的组合的增益系数α′和β′这里，增益因数例如是用于拍摄环境的亮度信息，或者用于图像的亮度信息。用于拍摄环境的亮度信息可以表示为由模拟信号处理器130产生的AGC增益值。有关图像的亮度信息可以表示为在数字信号处理器150中帧的平均像素值。

按照由增益确定器220确定的每个帧的增益系数α′和β′，滤波器230执行时间滤波并且组合当前帧数据和先前帧数据。

图3是示出按照本发明实施例的图像降噪方法的流程图。

首先，输入以连续帧为单位的图像信号(操作310)。

接下来，通过使用来自当前帧和先前帧的数据，检测图像运动的程度(操作320)。按照本发明的实施例，运动程度可以表示为总和绝对差值(SAD)。这里，当SAD值变得更大时，运动程度变得更大，并且当SAD值变得更小时，运动程度变得更小。

这里，噪声的幅度按照图像的亮度变化。因此，提取图像亮度信息，诸如，AGC增益、帧的平均像素值、或者块的平均像素值(操作330)。通常，当图像的亮度高时，噪声电平与图像信号电平相比相对地是低的，并且当图像的亮度低时，噪声电平与图像信号电平相比相对地是高的。

接下来，按照SAD值和图像亮度信息(AGC增益或者帧的平均像素值)确定用于当前帧数据和先前帧数据组合的滤波增益系数α′和β′(操作360)。这里，当前帧数据和先前帧数据具有高的相关性，使得通过使用二个帧的组合，可以降低在帧之间具有时间低相关性的噪声。

例如，当SAD值大于一个预定阈值时，当前帧数据增益α被设置为大于先前帧数据增益β，并且当SAD值小于阈值的时候，当前帧数据增益α被设置为小于先前帧数据增益β。换句话说，如果SAD值大，则当前帧数据比率被设置为大于先前帧的数据比率，并且如果SAD值小，则当前帧数据比率被设置为小于先前帧数据比率。因此，按照运动程度，先前帧数据比率和当前帧数据比率被设置和组合。因此，通过调整当前帧数据比率和先前帧数据比率，可以防止由于先前帧和当前帧的总和而造成的图像变坏。

此外，适用于运动信息的增益系数α和β被与适用于亮度信息的增益系数α′和β′一起更新。

例如，当AGC增益高于一阈值时，确定拍摄环境是暗的，使得在适用于运动信息的增益系数α和β之中，当前帧的增益系数被降低为小于先前帧的增益系数。当AGC增益低于阈值时，确定拍摄环境是明亮的，使得在适用于运动信息的增益系数α和β之中，当前帧的增益系数被提高到大于先前帧的增益系数。

因此，适用于AGC增益的增益系数α′和β′可以通过公式1表示。

[公式1]

α′＝α/AGC增益值

β′＝1-α′

换句话说，如果AGC增益高，则为了降低噪声，当前帧数据比率被提高到高于先前帧数据比率，并且如果AGC增益低，则当前帧数据比率被降低到小于先前帧数据比率。因此，通过按照拍摄环境调整适用于运动信息的先前帧数据比率和当前帧数据比率，降噪效率提高。这里，“先前帧数据”指的是从其中滤除了噪声分量的图像信号。

此外，当帧的平均像素值高于一阈值时，表示明亮的环境，使得在适用于运动信息的增益系数α和β之中，当前帧的增益系数被提高为高于先前帧的增益系数。当帧的平均像素值低于阈值时，表示暗的环境，使得在适用于运动信息的增益系数α和β之中，当前帧的增益系数被降低为低于先前帧的增益系数。

因此，适用于帧的平均像素值的增益系数α′和β′可以通过公式2表示。

[公式2]

α′＝帧平均像素值*α

β′＝1-α′

因此，通过按照视频的亮度调整适用于运动信息的先前帧数据和当前帧数据之间的比率，降噪效率可以被提高。

接下来，通过按照最终确定的增益系数α′和β′，如公式3所示将当前帧数据与先前帧数据组合，对图像信号执行时间滤波(操作370)。

[公式3]

y_tf(t)＝α′·y(t)+β′·y_tf(t-1)

这里y_tf(t)表示时间滤波输出图像信号，y(t)表示当前帧的数据，y_tf(t-1)表示先前帧的数据，α′是当前帧的增益系数，并且β′表示先前帧的增益系数。这里，按照SAD值、AGC增益或者帧的平均像素值来确定α′和β′值。此外，α′+β′＝1。

图4是示出按照本发明实施例的增益特性的图形。

参考图4，α是按照SAD值的当前帧数据的增益系数。当SAD增加时，增益系数α增加。此外，α′是按照SAD、AGC增益和/或帧的平均像素值的当前帧数据的增益系数。按照SAD、AGC和/或帧的平均像素值的增益系数α′和β′可以通过公式4表示。

[公式4]

alpha′＝k TIMES{{FrameMean}over{{AGC}}TIMES alpha

β′＝1-α′

这里k表示用于标准化的因子，AGC表示AGC增益，和FrameMean表示帧的平均像素值。

因此，如图4所示，当AGC增益增加，并且帧的平均像素值降低时，用于SAD的增益系数α降低，并且作为新的增益系数α′产生。

因此，考虑当数码相机拾取图像时的运动程度和图像的亮度，通过恰当地调整来自当前帧的数据和来自先前帧的数据之间的比率，可以降低由于来自出现在图像拾取部件中的帧和噪声两者的数据的总和造成的图像恶化。

本发明还可被体现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质可以是任何数据存储装置，其可以存储尔后可以由计算机系统读取的数据。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储器装置和载波(诸如，经由因特网的数据传输)。计算机可读记录介质还可以分布在网络连接的计算机系统上，使得计算机可读代码以分布式方式存储和执行。

虽然参考本发明的示范性实施例已经特别示出和描述了本发明，但是那些本领域技术人员应理解，在不脱离在所附权利要求中限定的本发明的精神和范围的情况下，可以在其中在形式和细节方面进行各种各样的变化。

Claims (13)

1.一种图像降噪方法，包括：

通过使用拾取的多个帧的数据来检测图像运动的程度；

检测拾取的图像的亮度；

按照图像运动程度和图像的亮度来确定当前帧数据和先前帧数据之间的比率；和

按照确定的帧数据比率将当前帧数据与先前帧数据进行组合。

2.根据权利要求1所述的方法，其中图像亮度信息是自动增益控制增益。

3.根据权利要求1所述的方法，其中图像亮度信息是帧的平均像素值。

4.根据权利要求1所述的方法，其中图像亮度信息是图像块的平均像素值。

5.根据权利要求1所述的方法，其中图像运动程度是当前帧的亮度值和先前帧的亮度值之间的绝对差的总和。

6.根据权利要求1所述的方法，其中在确定数据比率的过程中，当总和绝对差值大于预定阈值时，当前帧数据的比率被设置为大于先前帧数据的数据比率。

7.根据权利要求1所述的方法，其中在确定数据比率中，当自动增益控制增益的幅度大于预定阈值时，在按照总和绝对差值的数据组合中，当前帧的比率被降低为小于先前帧的比率。

8.根据权利要求1所述的方法，其中在确定数据比率中，当帧的平均像素值大于预定阈值时，在按照总和绝对差值的数据组合中，当前帧的比率被增加为大于先前帧的比率。

9.根据权利要求1所述的方法，其中在确定数据比率中，当块的平均像素值大于预定阈值时，在按照总和绝对差值的数据组合中，当前帧的比率被增加为大于先前帧的比率。

10.一种图像降噪装置，包括：

运动检测器，通过使用拾取的多个帧的数据来检测图像运动信息；

增益确定器，基于有关图像的运动信息和亮度信息，确定用于确定当前帧数据和先前帧数据之间的比率的增益系数；和

滤波器，按照由增益确定器设置的增益系数将当前帧数据与先前帧数据进行组合。

11.根据权利要求10所述的装置，其中有关图像的亮度信息是自动增益控制增益或者帧的平均像素值。

12.一种摄像机系统，包括：

图像拾取部件，拾取形成在入射平面上的目标图像，并且输出相应的模拟图像信号；

模拟信号处理器，通过自动增益控制对从图像拾取部件输出的模拟图像信号执行自动增益控制；

模拟数字转换器，将从模拟信号处理器输出的模拟图像信号转换为数字图像信号；

数字信号处理器，通过使用从模拟数字转换器输出的多个帧的图像信号来检测图像运动的程度，按照拾取图像的运动程度和亮度来设置用于确定当前帧数据和先前帧数据之间的比率的增益系数，并且按照增益系数将当前帧数据与先前帧数据进行组合。

13.根据权利要求12所述的系统，其中数字信号处理器包括：

运动检测器，通过使用拾取的多个帧的数据来检测图像运动信息；

增益确定器，基于有关图像的运动信息和亮度信息，确定用于确定当前帧数据和先前帧数据之间的比率的增益系数；和

滤波器，按照确定的增益系数将当前帧数据与先前帧数据进行组合。

Images