CN101304483A - 通过使用存储的图像进行图像处理的方法和装置 - Google Patents

Abstract

提供用于在发生图像降级的状况下校正图像的方法和装置。该方法包括：接收输入图像；根据预定标准比较所述输入图像和与所述输入图像有关的存储的图像；以及根据比较结果，基于所述存储的图像有选择地校正所述输入图像。

Description

通过使用存储的图像进行图像处理的方法和装置

相关专利申请交叉引用

本申请要求于2007年5月7日在韩国知识产权局提交的韩国专利申请No.10-2007-0044227的优先权，其全部内容通过引用并入这里。

技术领域

本发明涉及图像处理，尤其涉及在(例如由于发生低光强度)图像降级的情况下校正图像的方法和装置。

背景技术

随着当今使用数字图像设备(包括数字摄像机和摄像电话)的用户数量迅速增长，数字图像设备的功能正变得更加多样化。特别地，快速增长的对于安全的要求需要用于如闭路电视(CCTV)这样固定在特定位置并且拍摄该位置的图像的设备的图像处理技术。

在安装在固定位置上拍摄同一地点的图像的设备(如安全摄像头或CCTV)中，在白天拍摄图像时，因为有充足的光，所以可以获得质量不错、没有降级的数据。然而，当在夜间拍摄图像时，由于缺乏光，因此图像中出现如产生噪声或者动态范围降低这样的问题。

如上所述，在设备(例如安全摄像头)是固定的时候，当常规地存储图像时，光强度可能在充足和不足之间反复地改变。如果当拍摄图像时光强度不足，则可能产生很多噪声，或者可能出现降级，如图像的亮度值的动态范围降低。此时，如果新的对象进入摄像屏幕中，则由于图像的降级而难以将该对象从背景中区分开来。而且由于噪声和动态范围降低也难以识别该对象。

发明内容

本发明提供一种在捕获固定区域的图像或者具有对象的图像的设备中进行图像处理的方法和装置，从而通过使用来自之前在最优状况下捕获的图像的信息来校正在例如由于低光强度而导致发生图像降级的状况下捕获的图像，可以获得优化的图像。

根据本发明的一个方面，提供一种图像处理方法，该方法包括：接收输入图像；根据预定标准比较所述输入图像和与所述输入图像有关的存储的图像；以及根据比较结果，基于所述存储的图像校正所述输入图像。

根据本发明的一个方面，与所述输入图像有关的存储的图像是在与输入图像相同位置的捕获的图像。

根据本发明的一个方面，当基于预定标准所述输入图像的质量比所述存储的图像的质量差时，所述输入图像的校正基于所述存储的图像对所述输入图像进行校正。

根据本发明的一个方面，所述输入图像的校正包括：当基于预定标准所述输入图像的质量比所述存储的图像的质量好时，存储所述输入图像。

根据本发明的一个方面，所述输入图像的校正基于所述存储的图像去除所述输入图像中的噪声。

根据本发明的一个方面，噪声去除包括：计算所述输入图像与所述存储的图像之间的光强度之差；基于计算出的光强度之差，利用所述存储的图像的光强度校正所述输入图像的光强度；以及基于校正了光强度的输入图像与所述存储的图像之间的噪声差，去除输入图像的噪声。

根据本发明的一个方面，所述输入图像的校正包括：基于所述存储的图像感测所述输入图像中的对象。

根据本发明的一个方面，所述输入图像的校正包括：基于所述存储的图像重新设置(rearrange)所述输入图像的亮度值。

根据本发明的一个方面，所述输入图像与所述存储的图像根据预定标准的比较包括：比较所述输入图像与所述存储的图像的平均亮度值。

根据本发明的一个方面，所述输入图像与所述存储的图像根据预定标准的比较包括：比较所述输入图像中与所述存储的图像中超过最大亮度值的像素数量。

根据本发明的一个方面，所述输入图像与所述存储的图像根据预定标准的比较包括：比较所述输入图像与所述存储的图像的亮度值分布。

根据本发明的一个方面，该方法包括显示经校正的输入图像。

根据本发明的一个方面，提供一种图像处理装置，该装置包括：输入单元，接收输入图像；比较单元，根据预定标准比较所述输入图像和与所述输入图像有关的存储的图像；和校正单元，根据比较结果，基于所述存储的图像校正所述输入图像。

根据本发明的另一方面，提供一种计算机可读介质，其上实现有使得计算机能够执行图像处理方法的指令，该方法包括：接收输入图像；根据预定标准比较所述输入图像和与所述输入图像有关的存储的图像；以及根据比较结果，基于所述存储的图像校正所述输入图像。

附图说明

通过参照附图对本发明的示例性实施例的详细描述，本发明的上述和其他特征和优点将变得更加明显，附图中：

图1是根据本发明示例性实施例的图像处理装置的框图；

图2A和图2C示出在示例性光级别上拍摄的示例性图像，并且图2B和图2D示出它们亮度值的直方图；

图3A和图3C示出在示例性光级别上拍摄的其他示例性图像，并且图3B和图3D示出它们亮度值的直方图；

图4A和图4B示出示例性图像的亮度值的示例性分布；

图5示出根据本发明示例性实施例的图像处理装置中的校正单元；

图6示出根据本发明示例性实施例的图像处理装置中的校正单元；

图7是根据本发明示例性实施例的图像处理的方法的流程图；以及

图8是根据本发明另一示例性实施例的图像处理的方法的流程图。

具体实施方式

现在将参照附图更充分地描述本发明，在附图中示出了本发明的示例性实施例。

图1是根据本发明示例性实施例的图像处理装置的框图。

图像处理装置包括输入单元110、比较单元120、校正单元130和显示单元140。

输入单元110接收输入图像数据。输入图像101可以是由诸如摄像头这样的装置拍摄的图像，或者可以是从存储介质发送的图像。

比较单元120基于预定标准，将输入到输入单元110的图像与存储的图像102进行比较。存储的图像102是在与输入图像101相同的位置的捕获的图像，并且可以是从相同位置的捕获的数个图像当中基于预定标准确定的最优图像。

在本发明的当前示例性实施例中，基于预定标准比较输入图像101与存储的图像102，该预定标准包括各种准则，如平均亮度值、超过最大亮度值的像素数量以及图像中的像素亮度的方差。然而，比较单元120比较输入图像101与存储的图像102的质量的优越性，因此该准则并不限于上面列出的准则。

校正单元130根据来自比较单元120的结果，基于存储的图像102来校正输入图像101。

根据来自比较单元120的结果，如果确定输入图像101具有比存储的图像102的质量差的质量，则校正单元130基于存储的图像102校正输入图像101。另一方面，如果确定输入图像101具有比存储的图像102的质量好的质量，则存储输入图像101而不加校正。因此，可以用具有更好质量的输入图像101替换存储的图像102。

在本发明的当前示例性实施例中，具有较高的平均亮度值、较少的超过最大亮度值的像素数量(即，较少的饱和像素数量)以及图像中较大的像素亮度的方差，因此图像的质量较好。

显示单元140显示输入图像101。如果根据比较单元120的结果而在校正单元130中校正输入图像，则显示校正后的图像103，如果未在校正单元130中校正输入图像，则显示未经校正的输入图像101。

显示单元140对于执行本发明来说并不总是必要的，根据另一示例性实施例，可以在没有显示单元140的情况下执行本发明。

图2A是2B分别是在低光强度拍摄的输入图像210和直方图220。

图像210是在低光强度，即，当光量不足时拍摄的图像。直方图220是显示图像中对应于特定亮度值的像素的数量的图。

在低光强度拍摄的输入图像210由于缺少光大部分看起来较暗。换而言之，图像的亮度值总体较低。因此，直方图220偏向左侧。

图2C和2D分别是在高光强度拍摄的输入图像230和直方图240的例子。

高光强度是光量充足的时候。由于光充足，因此图像的亮度值变化得更多。因此，直方图240在所有亮度值上较宽地延展。

在本发明的示例性实施例中，比较单元120计算输入图像210和存储的图像230的平均亮度值。存储的图像230的平均亮度值大于输入图像210的平均亮度值，这是因为与输入图像210相比存储的图像230是在光量充足时拍摄的。因此，存储的图像230的质量好于输入图像210，所以校正单元130校正输入图像210。

图3A和图3B分别是在很高光强度310拍摄的存储的图像310和直方图320的例子。

在很高光强度拍摄的图像310整体上看上去较亮。换而言之，总体上图像的亮度值较高。这里，直方图320偏向右侧。在这种情况下，当用8位格式表示亮度信息时，最大亮度值为255。因此，超过最大亮度值的值表示为255。当特定像素的亮度值等于或大于最大亮度值时，发生饱和。

在很高光强度拍摄的图像310包括多个具有饱和亮度的像素。

图3C和3D分别是在高光强度拍摄的存储的图像330和直方图340的例子。

在高光强度330拍摄的图像具有足够但不过多的光，因此在图像中各像素具有各种亮度值。相应地，直方图在各亮度值上较宽地延展。因此，具有饱和亮度的像素数量较少。

在本发明的示例性实施例中，比较单元120计算输入图像310中和存储的图像330中具有饱和亮度的像素数量。因为存储的图像330中具有饱和亮度的像素数量比输入图像310中的要少，所以确定存储的图像330的质量好于输入图像310的质量。因此，校正单元130校正输入图像310。

图4A示出例如具有小的亮度值方差的输入图像410的直方图。

图4B示出例如具有大的亮度值方差的存储的图像420的直方图。

在本发明的示例性实施例中，比较单元120计算输入图像410中的像素亮度值的方差以及存储的图像420的亮度分布值。当像素亮度值的方差大时，图像的像素亮度值在多数亮度值上较宽地延展，因此具有大的像素亮度值方差的图像的质量好于具有小的像素亮度值方差的图像的质量。相应地，由于存储的图像420的亮度值的方差大于输入图像410的亮度值的方差，因此确定存储的图像420的质量好于输入图像410的质量。因此，校正单元130校正输入图像410。

比较单元120可以基于图2A到图4B所示的任何一个标准对输入图像与存储的图像进行比较，并且可以通过同时应用多个标准对输入图像与存储的图像进行比较。

图5示出根据本示例性实施例的图像处理装置中的校正单元。

根据本发明示例性实施例的图像处理装置中的校正单元包括噪声/对象提取单元510和输入图像处理单元520。

噪声/对象提取单元510基于存储的图像512，从输入图像511中提取噪声或对象。噪声/对象提取单元510可以以各种形式实现。例如，通过存储的图像512的平均亮度值校正输入图像511的平均亮度值，然后可以通过利用存储的图像512与校正了平均亮度值的输入图像之间的差来提取噪声或对象。将在稍后参照图6给出详细说明。

输入图像处理单元520基于提取的噪声/对象来处理输入图像。输入图像处理单元520可以以各种形式实现。

作为例子，输入图像处理单元520分析由噪声/对象提取单元510提取的噪声。基于分析的噪声计算噪声值的方差，然后通过适当的滤波器对图像滤波来去除噪声。

输入图像处理单元520可以被设计成使用从噪声/对象提取单元510发送的信息来处理输入图像，并且输出经处理的图像521。

图6示出根据本发明示例性实施例的图像处理装置中的校正单元。

图像处理装置中的校正单元包括光强度差计算器610、光强度校正单元620、噪声/对象提取单元630和输入图像处理单元640。

光强度差计算器610计算输入图像611与存储的图像612之间的光强度差。一种计算光强度差的方法是，计算输入图像611与存储的图像612的平均亮度值，然后基于平均亮度值的差计算光强度差。

光强度校正单元620基于由光强度差计算器610计算出的、存储的图像612与输入图像611之间的光强度差，用存储的图像的光强度调整输入图像的光强度。一种调节光强度的方法是，将输入图像611的亮度值乘以由光强度差计算器610计算出的光强度差。在这种情况下，使得输入图像611的平均亮度值等于存储的图像612的平均亮度值，从而校正了输入图像611的光强度。

噪声/对象提取单元630通过使用存储的图像612和校正了光强度的输入图像632来提取噪声和对象。例如，可以通过计算存储的图像612与校正了光强度的输入图像632之间的差来执行提取。校正了光强度的输入图像632的直方图的形状，即，校正了光强度的输入图像632中的像素亮度值的分布类似于存储的图像612的直方图的形状。因此，可以通过计算存储的图像612与校正了光强度的输入图像632的亮度值的差来提取噪声信息。然而，提取噪声和对象的方法并不仅限于该方法。

输入图像处理单元640基于由噪声/对象提取单元630提取的信息，处理校正了光强度的输入图像632。在示例性场合中，输入图像处理单元640还可以在输入图像611的光强度被校正之前对输入图像611进行处理。

输入图像处理单元640去除校正了光强度的输入图像632或者其光强度被校正之前的输入图像611的噪声或者重新设置校正了光强度的输入图像632或者其光强度被校正之前的输入图像611的亮度值。

作为去除噪声的例子，通过计算校正了光强度的图像632中的噪声与由噪声/对象提取单元630提取的噪声之间的差，来执行去除。去除噪声的另一例子包括：通过使用由噪声/对象提取单元630提取的噪声信息，通过滤波器(如低通滤波器(LPF))对图像滤波。

当重新设置亮度值时，存储的图像612和校正了光强度的输入图像632的亮度值首先通过比较两个图像612和632中都存在的对象的亮度值来计算。噪声/对象提取单元630基于重新设置的亮度值，提取在校正了光强度的输入图像632中存在的新对象的亮度值。

输入图像处理单元640可以以各种形式实现，并不限于这里所阐述的实施例。

图7是根据本发明实施例的图像处理方法的流程图。

在操作710中，接收输入图像。

输入图像可以是捕获的图像或者发送的图像。

在操作720中，根据预定标准比较输入图像与存储的图像。

存储的图像可以是从输入图像和与输入图像相同位置的捕获的图像当中基于预定标准确定为最优图像的图像。预定标准确定图像质量的优越性。基于预定标准比较输入图像和存储的图像，如果确定输入图像的质量好于存储的图像的质量，则执行操作740，如果确定输入图像的质量差于存储的图像的质量，则执行操作730。

在操作730中，基于存储的图像校正输入图像。

在操作740中，通过存储输入图像来替换存储的图像。

图8是根据本发明示例性实施的的图像处理方法的流程图。

在操作810中，通过使用输入图像和存储的图像的平均亮度值来计算输入图像与存储的图像之间的光强度差。

在操作820中，通过使用计算出的光强度差来校正输入图像的光强度。例如，通过将输入图像的亮度值乘以计算出的光强度差，获得与存储的图像具有相同的光强度的图像。然而，在这种情况下可能会出现噪声增加的问题。

在操作830中，执行噪声去除。与输入图像或校正了光强度的输入图像相比，存储的图像的噪声量很少，这是因为该存储的图像是在光充足的条件下拍摄的。因此，通过使用存储的图像与校正了光强度的输入图像之间的差分析噪声的特性。然后，基于分析的噪声特性，通过使用一方法(如通过滤波器对校正了光强度的输入图像滤波)来去除噪声。

在操作840中，执行对象的提取。

如果输入图像是在低光强度拍摄的，则图像中亮度值的分布范围(换而言之，动态范围)较窄，并且可能出现噪声。此时，如果新对象在屏幕上出现，则由于图像的降级而难以将该对象与背景区分开来。

另一方面，与输入图像相比，存储的图像在与输入图像相同的背景上(除了对象所在的部分)具有更清楚的图像信息，这是因为存储的图像是在与输入图像相同的位置上以高光强度拍摄的。因此，可以通过比较存储的图像与校正了光强度的输入图像来提取对象。

在操作850中，重新设置输入图像的亮度值。

直方图中的图像的亮度的范围称为动态范围。在低光强度或很高光强度拍摄的图像的动态范围很窄。在这种情况下，相邻亮度级看起来相似，因此图像中的背景与另一背景之间或者背景与对象之间的边界不清楚。

存储的图像是以高光强度拍摄的图像，并且动态范围在几乎所有亮度值上较宽地延展。因此，在与输入图像相同的背景中，可以参照存储的图像来重新设置输入图像的亮度值。可以通过使用相同背景中的重新设置的信息来重新设置输入图像中的新对象的亮度值。

尽管在本发明实施例中对输入图像执行所有的操作830到850(噪声去除、对象提取和亮度值重新设置的操作)，但是根据本发明的实施例，也可以对输入图像单独地执行操作830到850中的任一个。这里说明的噪声去除、对象提取和亮度值重新设置仅仅是示例性实施例，并且可以以各种方式执行。

本发明的实施例可以编写为计算机程序，并且可以使用计算机可读记录介质在执行程序的通用数字计算机中实现。计算机可读记录介质的例子包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)和诸如载波这样的存储介质(例如，通过因特网传输)。

如上所述，在例如由于低光强度而发生图像降级的状况下，通过使用在最优状况下捕获的图像中的信息来校正该图像，可以获得优化的图像。

尽管参照本发明的示例性实施例特别示出和描述了本发明，但本领域技术人员将理解，可以对其进行形式和细节做出各种改变，而不背离权利要求书限定的本发明的宗旨和范围。

Claims (23)

1.一种图像处理方法，该方法包括：

接收输入图像；

根据预定标准比较所述输入图像与存储的图像，所述存储的图像是与所述输入图像相同位置的图像；以及

根据比较结果，基于所述存储的图像校正所述输入图像。

2.如权利要求1所述的方法，其中，响应于基于预定标准所述输入图像的质量比所述存储的图像的质量差，发生所述输入图像的校正。

3.如权利要求1所述的方法，其中，校正所述输入图像包括：当基于预定标准所述输入图像的质量比所述存储的图像的质量好时，存储所述输入图像。

4.如权利要求1所述的方法，其中，校正所述输入图像包括：基于所述存储的图像去除所述输入图像中的噪声。

5.如权利要求4所述的方法，其中，去除噪声包括：

计算所述输入图像与所述存储的图像之间的光强度之差；

基于计算出的光强度之差，校正所述输入图像的光强度；以及

基于校正了光强度的输入图像中与所述存储的图像中的像素亮度值之间的差，去除校正了光强度的输入图像的噪声。

6.如权利要求1所述的方法，其中，校正所述输入图像包括：基于所述存储的图像感测所述输入图像中的对象。

7.如权利要求1所述的方法，其中，校正所述输入图像包括：基于所述存储的图像重新设置所述输入图像的亮度值。

8.如权利要求1所述的方法，其中，根据预定标准比较所述输入图像与所述存储的图像包括：比较所述输入图像与所述存储的图像的平均亮度值。

9.如权利要求1所述的方法，其中，根据预定标准比较所述输入图像与所述存储的图像包括：比较所述输入图像中与所述存储的图像中超过最大亮度值的像素的数量。

10.如权利要求1所述的方法，其中，根据预定标准比较所述输入图像与存储的图像包括：比较所述输入图像与所述存储的图像中的像素的亮度值的方差。

11.如权利要求1所述的方法，还包括显示经校正的输入图像。

12.一种图像处理装置，该装置包括：

输入单元，接收输入图像；

比较单元，根据预定标准比较所述输入图像与存储的图像，所述存储的图像是与所述输入图像相同位置的图像；和

校正单元，根据比较结果，基于所述存储的图像校正所述输入图像。

13.如权利要求12所述的装置，其中，校正单元响应于基于预定标准所述输入图像的质量比所述存储的图像的质量差，校正所述输入图像。

14.如权利要求12所述的装置，其中，校正所述输入图像包括：当基于预定标准所述输入图像的质量比所述存储的图像的质量好时，存储所述输入图像。

15.如权利要求12所述的装置，其中，校正单元基于所述存储的图像去除所述输入图像的噪声。

16.如权利要求15所述的装置，其中，校正单元包括：

光强度计算器，计算所述输入图像与所述存储的图像之间的光强度之差；

光强度校正单元，基于计算出的光强度之差，校正所述输入图像的光强度；以及

噪声去除单元，基于校正了光强度的输入图像与所述存储的图像中的像素亮度值之间的差，去除校正了光强度的输入图像的噪声。

17.如权利要求12所述的装置，其中，校正单元基于所述存储的图像感测所述输入图像中的对象。

18.如权利要求12所述的装置，其中，校正单元基于所述存储的图像重新设置所述输入图像的亮度值。

19.如权利要求12所述的装置，其中，校正单元比较所述输入图像与所述存储的图像的平均亮度值。

20.如权利要求12所述的装置，其中，校正单元比较所述输入图像中与所述存储的图像中超过最大亮度值的像素的数量。

21.如权利要求12所述的装置，其中，校正单元比较所述输入图像与所述存储的图像中的像素的亮度值的方差。

22.如权利要求12所述的装置，还包括显示单元，显示经校正的输入图像。

23.一种计算机可读介质，其上实现有使得计算机能够执行以下方法的指令，该方法包括：

接收输入图像；

根据预定标准比较所述输入图像与存储的图像，所述存储的图像是与所述输入图像相同位置的图像；以及

根据比较结果，基于所述存储的图像校正所述输入图像。

Images