CN102138157A

CN102138157A - 颜色恒常方法和系统

Info

Publication number: CN102138157A
Application number: CN2008801309354A
Authority: CN
Inventors: R·吴; Y-W·王
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2008-08-30
Filing date: 2008-08-30
Publication date: 2011-07-27
Anticipated expiration: 2028-08-30
Also published as: EP2321791A4; EP2321791A1; JP5199471B2; US20110158527A1; JP2012501574A; WO2010024824A1; US8655066B2; CN102138157B

Abstract

一种颜色恒常方法及系统包括：将图像分成多个子图像以及将多个颜色恒常算法应用于每个子图像。针对每个子图像，分析每个颜色恒常算法的输出以确定哪些颜色恒常算法在所述子图像上给出不一致的结果。相对于提供一致结果的算法的输出，调整提供不一致结果的算法的输出的影响以降低其影响(例如效果或权重)。基于所述输出的调整，组合来自所述多个颜色恒常算法的输出。

Description

颜色恒常方法和系统

背景技术

在种类繁多的场景照明源下，人类观察者看到相同的颜色范围；一张白纸坚决保持白色，而与在其之下观察该白纸的光的颜色无关。相反，诸如数字照相机之类的颜色成像系统不是那么颜色恒常的。

颜色恒常(color constancy)问题—确定照明场景的光的颜色并校正图像以计及其效果—对于许多成像应用来说是成问题的。特别地，数字照相机依赖于颜色恒常算法来检测照明源并产生最终图像。这些颜色恒常算法的性能直接影响照相机的总体图像质量，并且人眼对这种缺陷是敏感的。

已知的颜色恒常算法的有效性不同。已知的算法均没有给出完美的结果，并且就精确性来说，没有一个算法优于其它算法。然而，这些算法的性能影响照相机的总体图像质量。

因为这些及其它理由，需要本发明。

发明内容

公开了颜色恒常方法和系统的实施例。该方法可以以指令形式存储在存储介质中，当被执行时所述指令实施所公开的方法，该方法包括将图像划分成多个子图像以及将多个颜色恒常算法应用于每个子图像。通常，颜色恒常算法分析和调整图像数据中的数字值以校正用于照明图像的光源的特性差异。对于每个子图像分析每个颜色恒常算法的输出，以确定在子图像上哪些颜色恒常算法给出不一致的结果。相对于提供一致结果的算法的输出，调整提供不一致结果的算法的输出的影响以降低其影响(例如，效果或权重)。基于所述输出的调整，组合来自所述多个颜色恒常算法的输出。

附图说明

包括附图以提供对本发明的进一步理解，并且附图合并在本说明书中并构成本说明书的一部分。附图示出了本发明的实施例，并和说明书一起用来解释本发明的原理。本发明的其它实施例和本发明的许多预期优点将被容易地认识到，因为参照下列详细说明能更好地理解它们。附图的要素不一定相对于彼此成比例。相似的参考数字指代对应的类似部分。

图1是概念性地示出根据本发明的一个或多个实施例的图像处理系统的实施例的方框图。

图2是示出根据本发明的一个或多个实施例的颜色恒常方法的流程图。

图3示出了根据本发明的一个或多个实施例的图像及子图像的示例。

图4是示出合并了图1中示出的图像处理系统的实施例的计算机系统的实施例的方框图。

图5是示出合并了图1中示出的图像处理系统的实施例的照相机系统的实施例的方框图。

图6A和6B分别示出了由现有技术的颜色恒常过程以及由根据本发明的一个或多个实施例的过程产生的图像。

图7A和7B分别示出了由现有技术的颜色恒常过程以及由根据本发明的一个或多个实施例的过程产生的图像。

具体实施方式

在以下详细描述中参考附图，所述附图形成所述描述的一部分，并且其中通过图示示出了其中可以实践本发明的特定实施例。在此方面，诸如“顶部”、“底部”、“前”、“后”、“前面的”、“后面的”等之类的方向术语参照所描述的附图的方位来使用。由于本发明实施例的组件可以沿若干不同的方位定位，所以所述方向术语出于说明的目的来使用而绝非进行限制。所要理解的是，可以利用其它实施例并且可以进行结构或逻辑变化而不背离本发明的范围。因此，以下详细描述不应以限制的意义来理解，并且本发明的范围由所附权利要求书限定。

图1是概念性地示出包括颜色校正模块12的图像处理系统10的实施例的方框图。系统10接收图像14，以及颜色校正模块12输出具有已校正颜色的校正图像16。其中，颜色校正模块12对接收的图像14应用各种颜色恒常算法，从而得到校正图像16。

图2是大致示出由颜色校正模块12执行的方法的流程图。在方框20中，图像14被划分成多个子图像。把图像14划分成子图像18的过程类似于利用广角镜头捕获给定场景中的照片，以及接着利用远摄镜头拍摄相同场景的各部分的更加特写的照片。假设可非常快速地拍摄广角和特写图片以便场景照明源在此期间不变化，应用于广角和特写图片的颜包恒常算法应在该组照片上提供类似结果。在数字照相机中，代替切换镜头或缩放，可仅仅使用来自同一照片内的裁剪。图像14被裁剪若干次以提供整个图像14的若干部分的图像。

图3概念性地示出细分过程，其中图像14被划分成若干子图像18。通常，子图像18的尺寸需要大到足以为颜色恒常分析提供充足的颜色信息。在由数字照相机捕获的典型图像的原始像素计数的情况下，例如，相对小的子图像将携带充足的数据。在示例实施方式中，分析16个子图像18。典型数字照相机有大约10M像素，因此使用16个子图像导致每个子图像有大约625K像素。相信甚至更小的子图像(诸如20-50K像素)也能够提供充足的数据。子图像的数目可以改变，例如在各种实施例中从4个变化到64个子图像。

在方框22中，不同颜色恒常算法被应用于图像14和子图像18。方框22中应用的各种颜色恒常算法可包括例如称为由相关决定颜色(color by correlation)的过程、BV资格(BV Qualification)、灰度世界(Gray World)、最大RGB、寻找灰度(Gray Finding)等。通常来说，颜色恒常算法确定照明及调整图像数据中的数字值以校正用来照明该图像的光源的特性差异。

例如，Gray World颜色恒常算法假设整个图像上的红、绿和蓝色通道中的每个通道的均值在规范照明源下形成固定比率。由于该固定比率通常不是已知的，因此假设该固定比率表示灰色。因此，Gray World算法通常把图像的平均值校正成灰色。参见，E.H.Land的“Recent Advances in Retinex Theory”，Vision Research，26，p.7-21，(1986)；G.Buchsbaum的“A Spatial Processor Model for Object Color Perception”，Journal of the Franklin Institute 310，p.1-26(1980)；以及，R.Gershon，A.D.Jepson和J.K.Tsotsos的“From [R，G，B]to Surface Reflectance：Computing Color Constant Descriptors inImages”，Perception，p.755-758(1988)。

最大RBG算法是基于以下主张的：在红、绿和蓝色通道中单独计算的最大像素响应亦可用作白点估计(我们称这种方法为最大RGB)。参见，E.H.Land的“The Retinex Theory of Color Vision”，Scientific American，p.108-129，(1977)。

在由相关决定颜色的算法中，“相关矩阵存储器”或“关联矩阵存储器”连同贝叶斯或其它相关统计量一起使用。构造相关矩阵存储器以将来自图像的数据与在一系列照明源下的参考图像相关。当数字照相机例如产生图像时，该数据被转换成色度并创建对应于存在于场景中的值的向量。将该向量与相关矩阵中的每一列相乘，从而给出新矩阵。接着，对每一列求和，以及所得值形成表示每个参考源是场景的照明源的似然性的向量。向量值可以被按密度绘制(density plotted)，其中在该特定列的照明的色度处绘制每个值。根据该绘图，常规的统计方法可用来估计场景的可能照明。参见，G.Finlayson等的“Color by Correlation：A simple，Unifying Framework for Color Constancy”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.23，No.11，pp.1209-1221，(2001)和授予Hubel等的美国专利No.6,038,339。

如果特定算法的输出在图像14和/或子图像18之间不同，则该特定算法可能不太适合于图像14。通常，适合于特定图像的颜色恒常算法预期将在图像14和子图像18之间提供一致的结果。类似地，由若干不同算法提供的输出预期将是类似的—如果一种算法的输出显著不同于其它算法的输出，则它可能不太适合于该特定图像。

因此，在方框24中，确定哪些颜色恒常算法在子图像上给出不一致的结果。例如，输出的分析可包括查看给定的其中一种算法在子图像18和整个图像14上的输出的变化，和/或各种颜色恒常算法之间的输出的变化。

在方框25中，相对于提供一致结果的算法的输出，调整提供不一致结果的算法的输出的影响以降低其影响(例如，效果或权重)。例如，将诸如权重之类的影响因子应用于提供不一致结果的算法的输出，以相较于提供一致结果的算法的输出降低其影响(例如，效果或权重)。

在一些实施例中，构建模型以组合各种颜色恒常算法的输出，并且基于所述确定，改变该模型的参数来调整所述影响。因此，组合颜色恒常算法的输出可以是对输出简单加权，或者可按照更复杂的方式改变所述参数。

在示例实施例中，每种颜色恒常算法处理每个子图像，就好像它是完整的独立图像。计算并分析结果，包括例如子图像集上的均值和方差，所述子图像集可标注为F。通过已知函数f(W，F)可计算最终结果，其中W是一组参数。

在某些实施例中，W的值是根据经验设置的。例如，如果一种算法的方差比其它算法的方差高，则降低该算法的影响。在一些实施例中，W的最佳值是利用机器学习及优化技术实时确定的。给定已标记的数据集，这些技术允许确定W的值，以便对于该数据集来说，最终结果将具有最小误差。如果该数据集在尺寸及其内容上是合理的，则该系统将产生更好的整体性能。

在一个实施例中，R是在对所有算法的结果加权之后的最终输出。这也就是色温。R如下确定：

R＝∑(W_i·K_i)/∑W_i

其中

W_{i} = (C - V_{i}^{'}) \cdot W_{i}^{v}

·V_i是通过颜色恒常算法i得到的来自同一图像14的子图像集18上的色温的归一化方差。

·

其中mean(Vij)是在整个图像训练集上针对算法i的归一化方差的均值。

·K_i是通过算法i得到的整个图像14的色温。

对于子图像集中的第j个照片来说，R_j’是场景处测量的真实色温。因此，误差被定义为：

E_{j} = abs (R_{j} - R_{j}^{'}) / R_{j}^{'}

以及整个子图像集的总误差是

E = \underset{j}{Σ} E_{j}

C和W_i ^v是以最小化总误差E为目标、利用训练集在离线的情况下预先确定的自由参数。

颜色恒常算法的组合输出然后可用来调整图像14的颜色并产生最终图像16。

图像处理系统10的实施例可由一个或多个分立的模块(或数据处理组件)实施，所述模块不限于任何特定的硬件、固件、或软件配置。在示出的实施例中，所述模块可在任意计算或数据处理环境中实施，包括在数字电子电路(例如，专用集成电路、数字信号处理器(DSP)，等等)中、或在计算机硬件、固件、设备驱动器、或软件中实施。在一些实施例中，将模块的功能组合成单一数据处理组件。在一些实施例中，一个或多个模块中的每个模块的相应功能由相应的一组多个数据处理组件来执行。

在一些实施方式中，用于实施由图像处理系统10的实施例执行的方法的过程指令(例如，诸如计算机软件之类的机器可读代码)及其产生的数据，被存储在一个或多个计算机可读存储介质中。适合于有形地体现这些指令和数据的存储介质包括所有形式的非易失性计算机可读存储器，包括例如诸如EPROM、EEPROM和闪速存储器设备之类的半导体存储器设备，诸如内部硬盘和可移除硬盘之类的磁盘、磁光盘、DVD-ROM/RAM、和CD-ROM/RAM。

通常，图像处理系统10的实施例可在各种各样的电子设备中的任何一种电子设备中实施，所述电子设备包括桌上型及工作站计算机、视频记录设备和数字照相机设备。图像处理系统10的一些实施例可利用相对小且便宜的组件来实施，该组件具有适度的处理能力和适度的存储容量。结果，这些实施例非常适合于合并在紧凑型照相机环境中，所述紧凑型照相机环境具有显著的尺寸、处理和存储器约束，包括但不限于手持电子设备(移动电话、小型静止图像照相机或摄像机等)、pc摄像头以及其他嵌入式环境。

图4示出了合并本文所描述的图像处理系统10的任意实施例的计算机系统100的实施例。计算机系统100包括处理单元102(CPU)、系统存储器104、和系统总线106，该系统总线将处理单元102耦合至计算机系统100的各个组件。处理单元102典型地包括一个或多个处理器，每个处理器可以是各种商业可用处理器中的任意一种的形式。系统存储器104典型地包括只读存储器(ROM)及随机存取存储器(RAM)，只读存储器(ROM)存储包含计算机系统160的启动例程的基本输入/输出系统(BIOS)。系统总线106可以是存储器总线、外围总线或局部总线，并且可兼容各种总线协议中的任意一种，包括PCI、VESA、微通道、ISA和EISA。计算机系统100也包括持久存储存储器108(硬盘驱动器、软盘驱动器、CD ROM驱动器、磁带驱动器、闪速存储器设备、数字视频盘等等)，其连接至系统总线106并包含一个或多个计算机可读介质盘，该计算机可读介质盘提供数据、数据结构和计算机可执行指令的非易失性或持久存储。

用户可利用一个或多个输入设备110(键盘、计算机鼠标、麦克风、操纵杆、触摸板等)与计算机100交互(例如输入命令或数据)。可通过在显示监视器112上显示给用户的图形用户界面(GUI)呈现信息，显示监视器112受控于显示控制器114。计算机系统100典型地还包括诸如扬声器和打印机之类的外围输出设备。一个或多个远程计算机可通过网络接口卡(NIC)116连接至计算机系统100。

如图4所示，系统存储器104也存储图像处理系统10、GUI驱动器118、和包含对应于图像14和颜色校正图像16的图像文件、中间处理数据、以及输出数据的数据库120。在一些实施例中，图像处理系统10与GUI驱动器118和用户输入110对接以控制增强图像16的创建。在一些实施例中，计算机系统100另外地包括图形应用程序，其配置成将图像数据再现到显示监视器112上并对图像14执行各种图像处理操作。

图5示出了合并本文所描述的图像处理系统10的任意实施例的数字照相机系统122的实施例。数字照相机系统122可配置成捕获静止图像和视频图像帧中之一或二者。数字照相机系统122包括图像传感器124(例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器)、传感器控制器126、存储器128、帧缓冲器130、微处理器132、ASIC(专用集成电路)134、DSP(数字信号处理器)136、I/O(输入/输出)适配器138、和存储介质140。通常，图像处理系统10可由一个或多个硬件和固件组件实施。在示出的实施例中，图像处理系统10以固件实施，所述固件被载入到存储器128中。存储介质140可由任意类型的图像存储技术实施，包括紧凑闪速存储器卡和数字盒式录像带。存储在存储介质140中的图像数据可经由I/O子系统138传输至外部处理系统(例如计算机或工作站)的存储设备(硬盘驱动器、软盘驱动器、CD-ROM驱动器、非易失性数据存储设备等)。

微处理器132控制数字照相机系统122的操作。在一些实施例中，微处理器132被编程有一种操作模式，其中对于一个或多个所捕获的图像计算相应的分类记录。在一些实施例中，对于一个或多个所捕获的图像，基于它们的对应分类记录，计算相应的增强图像16。

图6A和6B分别示出了由现有技术的颜色恒常过程和本文所公开的过程产生的图像的示例。在照片的彩色版本中，图6A示出的图像具有强烈的蓝色色泽，这在图6B示出的图像中进行了校正。图6A和6B中示出的图像是用混合照明源照明的场景的示例，所述混合照明源可能造成仅针对现有技术颜色恒常算法的问题。

图7A和7B分别示出了由现有技术的颜色恒常过程和本文所公开的过程产生的其他图像的示例。所公开的颜色恒常过程更鲁棒，例如在从不同角度拍摄的对象图像之间提供了更一致的结果。在这些图像中，场景的照相机视图在两幅图像之间略有不同。单独利用现有技术的颜色恒常算法，从图7A-1中示出的视图到图7A-2中示出的视图，场景的颜色发生变化。例如，在图7A-1中，叶子的一些部分具有蓝色色调，但在图7A-2中，叶子是绿色的。花瓣的颜色从图7A-1到图7A-2也是变化的。在图7B-1和7B-2中示出的图像中，在视图从一副图像至另一图像变化时，颜色保持更恒常或稳定。

虽然已在本文示出及描述了特定实施例，但是本领域普通技术人员将理解，在不脱离本发明的范围的情况下，各种替代和/或等价的实施方式可代替所示出及描述的特定实施例。本申请意图覆盖本文所讨论的特定实施例的任意适配或变化。因此，本发明意欲仅由权利要求及其等价物来限定。

Claims

1.一种方法，包括：

将图像细分成多个子图像；

将多个颜色恒常算法应用于每个子图像；

确定哪些颜色恒常算法在所述子图像上给出不一致的结果；

相对于提供一致结果的算法的输出，调整提供不一致结果的算法的输出的影响以降低其影响；以及

基于所述输出的调整，组合所述多个颜色恒常算法的输出。

2.权利要求1的方法，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述多个颜色恒常算法之间的输出变化。

3.权利要求1的方法，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述子图像之间的输出变化。

4.权利要求1的方法，其中所述多个颜色恒常算法选自包含由相关决定颜色、Gray World、和最大RGB的组。

5.一种存储有指令的计算机可读存储介质，所述指令在被执行时实施一种方法，该方法包括：

将图像细分成多个子图像；

将多个颜色恒常算法应用于每个子图像；

确定哪些颜色恒常算法在所述子图像上给出不一致的结果；

基于所述输出的调整，组合所述多个颜色恒常算法的输出。

6.权利要求5的计算机可读存储介质，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述多个颜色恒常算法之间的输出变化。

7.权利要求5的计算机可读存储介质，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述子图像之间的输出变化。

8.一种系统，包括：

颜色校正模块，其在操作中将图像细分成多个子图像；将多个颜色恒常算法应用于每个子图像；确定哪些颜色恒常算法给出不一致的结果；相对于提供一致结果的算法的输出，调整提供不一致结果的算法的输出的影响以降低其影响；以及组合包含所调整的输出的所述多个颜色恒常算法的输出。

9.权利要求8的系统，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述多个颜色恒常算法之间的输出变化。

10.权利要求8的系统，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述子图像之间的输出变化。