CN101706964A

CN101706964A - 一种基于图像导数结构的颜色恒常性计算方法及系统

Info

Publication number: CN101706964A
Application number: CN200910091755A
Authority: CN
Inventors: 李兵; 郎丛妍; 须德
Original assignee: Beijing Jiaotong University
Current assignee: Beijing Jiaotong University
Priority date: 2009-08-27
Filing date: 2009-08-27
Publication date: 2010-05-12
Anticipated expiration: 2029-08-27
Also published as: CN101706964B

Abstract

一种基于图像导数结构的颜色恒常性计算方法及系统，属于颜色恒常性计算和图像光照处理技术领域。其包括：首先，基于图像导数结构进行图像特征提取，提出色度直方图特征向量，以便用于计算颜色恒常性；其次，应用ELM神经网络对色度直方图特征向量进行训练，并将每幅训练图像对应的光照色度构成神经网络的输出向量；最后，通过对角模型，对测试图像进行光照校正，以得到白光下的图像颜色。本发明充分利用图像导数结构的特征信息来提高颜色恒常性计算的性能，具有学习速度快，泛化能力强，而且可以同时进行二维光照色度的估计等优点。

Description

一种基于图像导数结构的颜色恒常性计算方法及系统

技术领域

本发明属于颜色恒常性计算和图像光照处理技术领域，具体涉及一种基于图像导数结构的颜色恒常性计算方法。

背景技术

颜色作为一种简单、直接且有效的特征已经广泛应用于物体识别、图像检索、场景理解等各种计算机视觉相关领域。但是颜色又是一种极其不稳定的图像特征，任何一种成像设备所获取的图像颜色至少依赖于三种主要的因素：场景中物体表面的物理反射特性、成像时场景中的光照条件以及成像设备的成像参数，因此，同一场景在不同光照下的图像颜色有可能存在巨大的差异。幸运的是，人类视觉系统的颜色恒常性功能能够很好地消除光照对颜色的影响，得到一种稳定的颜色感知。为了提高计算机视觉系统颜色视觉的稳定性，类似的颜色恒常性功能对于计算机视觉系统来说也是非常必要的。因此，颜色恒常性计算是计算机视觉中一个重要的研究课题。

颜色恒常性计算的目的是将未知光照条件下的图像矫正成标准白光下的图像，这个过程一般可分为两个步骤：首先估计出图像成像时的光照颜色，然后利用Von Kries模型(又称对角模型)将图像映射到标准白光下。W.Xiong将图像的光照估计算法分为无监督的算法和有监督的算法。

无监督的颜色恒常性计算算法是指利用图像本身底层的颜色特征估计得到图像成像时的光照颜色，而不依赖于其他的先验知识。最简单的一种无监督的颜色恒常性算法就是White Patch算法，White Patch算法假定图像中存在白色表面，于是RGB三个颜色通道的最大值将被用作图像的光照颜色，因此，Whitepatch算法又被称为maxRGB算法。Grey World算法是另一个比较简单并且广泛应用的颜色恒常性计算算法，该算法是基于Grey World的假设提出来的。GreyWorld假设认为：场景中所有物理表面的平均反射是无色差的(The averagereflectance in a scene is achromatic)，即灰色的，也就是说，在RGB三个颜色通道下，场景中的对三个颜色通道的平均反射率是相等的，因此，三个通道的平均值可以看作图像的光照颜色。为了将Grey World更一般化，Finlayson等将闵可夫斯基范式(Minkowski-norm)引入到Grey World算法，提出了一种Shades ofGrey(SoG)算法，其利用Minkowski-norm距离代替简单求平均值的方法。最近，J.v.Weijer等通过对对立颜色空间(Opponent Color Space)上的图像颜色导数分布观察，提出一种新的Grey Edge假设：场景中所有物理表面的平均反射差分是无色差的(the average of the reflectance differences in a scene is achromatic)，也即是灰色的。基于Grey Edge假设，J.V.Weijer等提出了一个统一的颜色恒常性计算框架，该框架不仅包含了maxRGB、Grey World、以及Shades of Grey算法，并且可将颜色恒常性计算推广到图像的高阶导数空间。

有监督的颜色恒常性计算就是通过对各种光照条件下可能出现的颜色(或色度)的学习，来预测未知光照图像的光照颜色。色域映射算法(Gamut Mapping)是一种重要的有监督的颜色恒常性计算算法，其由Forsyth等提出，后经Finlayson等扩展，最近Gijsenij等又将其提升到图像的高阶导数空间.基于贝叶斯推理的颜色恒常性计算(Bayesian Color Constancy)也是一种重要的有监督的颜色恒常性计算算法，它最早是由Brainard等提出的，后经Rosenberg，Gehler等进行了一系列改进。为了克服基于贝叶斯推理的颜色恒常性算法计算复杂的缺点，Finlayson等提出了一种更为实用化的算法，基于相关性的颜色恒常性计算(Colorby Correlation)。实际上，Color by Correlation算法就是Bayesian Color Constancy算法的一种离散化的实现，而Color by Correlation算法最大的问题在于，所有光照估计的结果必须是在算法已给出的光照候选集中选取概率最大的。然而，由于候选集本身是离散的，不可能提供所有可能的光照色度。为了解决这个问题，Cardei等引入了BP神经网络的方法来进行图像的光照估计，这种方法最直接的好处是能够给出任意连续的输出结果。最近，W.Xiong等提出的基于支持向量回归SVR(Support Vector Regression)的颜色恒常性算法也是一种重要的有监督的算法，SVR是一种基于全局最优的回归算法。除此之外，其他的有监督的方法还包括基于薄板样条插值的颜色恒常性计算、基于KL-divergence的颜色恒常性计算等等.

目前，有监督的颜色恒常性算法的性能一般要优于无监督的算法。在现有的有监督的颜色恒常性算法中，基于神经网络和基于SVR的算法是两种比较简单实用而且有效的算法。但是，这两种算法都存在比较明显的缺点：

(1)现有技术中有监督的颜色恒常性算法都是以原始图像的二值化的色度直方图构成特征向量，没有充分利用图像的边缘结构等信息。

(2)BP神经网络的训练速度很慢，并且很容易陷入局部最优；而基于SVR方法的核函数及其参数选择是一个比较繁琐的问题，因为存在多个核函数、而且对于每个核函数又有多个参数，因此，如何选择最优的核函数以及其对应的参数对只能通过经验和尝试的方法进行，实现代价比较大。

发明内容

针对现有技术中有监督的颜色恒常性计算方法存在的上述缺陷，本发明的目的是提出一种性能较好、计算速度快的有监督的颜色恒常性计算方法，来进行颜色恒常性计算和进行二维光照色度的估计。本发明在特征提取过程中，将原始图像的色度特征、一阶边缘图像的色度特征和二阶边缘图像的色度特征融合起来，充分利用图像的导数结构，构建出高效丰富的图像特征来进行颜色恒常性计算；在学习算法方面，本发明引入了一种新的快速神经网络学习算法，即基于极限学习机(Extreme Learning Machine，简称ELM)的学习算法。本发明解决其技术问题所采用的技术方案是：

一种基于图像导数结构的颜色恒常性计算方法，其包括以下步骤：

步骤1首先，计算出图像的一阶导数图像和二阶导数图像，并用原始图像、一阶导数图像和二阶导数图像这3幅图像的色度特征来构建图像的特征向量，以便用于计算颜色恒常性；

步骤2分别统计出原始图像，一阶导数图像和二阶导数图像的二值化的色度直方图，并通过逻辑或(OR)操作将这3个色度直方图进行融合，从而构成一个融合各阶图像导数结构特征的色度直方图；

步骤3统计出训练图像集中所有图像融合的色度直方图特征向量，将其作为神经网络的输入向量，每幅训练图像对应的光照色度构成神经网络对应的输出向量；

步骤4利用三重交叉验证的方法为神经网络设定隐藏层神经元个数，并对神经网络进行训练；

步骤5对于测试图像，首先计算出其融合的色度直方图特征向量，将其输入到训练好的神经网络中，得到输出的光照色度；通过对角模型，对测试图像进行光照校正，以得到白光下的图像颜色。

作为本发明的一种优选方案，步骤3中所述神经网络是基于极限学习机(ELM)算法的神经网络学习算法，该算法用来进行图像光照色度的预测。

一种基于图像导数结构的颜色恒常性计算系统，其包括：

图像特征提取模块，其基于图像导数结构进行图像特征提取，提出色度直方图特征向量；

神经网络训练和学习模块，其以图像特征提取模块所提取的色度直方图特征向量作为神经网络训练模块的输入向量，利用三重交叉验证方法为神经网络设定隐藏层神经元个数，并用神经网络进行训练，将每幅训练图像对应的光照色度构成神经网络的输出向量输出；而对于待测试图像，首先计算出其融合的色度直方图特征向量，将其输入到训练好的神经网络中，得到输出的光照色度；以及，

图像光照校正模块，其根据神经网络训练和学习模块学习估计输出的光照色度，通过对角模型对测试图像进行光照校正，以得到白光下的图像颜色。

所述图像导数结构是指原始图像的一阶导数图像和二阶导数图像，所述图像特征提取是指，应用原始图像、一阶导数图像和二阶导数图像这3幅图像的色度特征来构建图像的特征向量，所述构建包括：首先，计算出图像的一阶导数图像和二阶导数图像；其次，分别统计出原始图像、一阶导数图像和二阶导数图像的二值化色度直方图，并通过逻辑或(OR)操作将这3个色度直方图进行融合，从而构成一个融合各阶图像导数结构特征的色度直方图；最后，统计出训练图像集中所有图像融合的色度直方图特征向量，将其作为神经网络的输入向量。

作为本发明的一个优选方案，所述神经网络训练模块采用的神经网络是ELM神经网络训练和学习模块。

本发明的有益效果在于：本发明方法融合了原始图像、一阶导数图像以及二阶导数图像等图像导数结构的色度直方图特征，通过提取更为丰富的图像颜色信息以提高颜色恒常性计算的性能；在此基础上，引入ELM学习算法，，该ELM算法具有泛化能力强，速度极快、参数少(只有一个不敏感参数)、可以同时进行二维光照色度的估计以及多输出等优点，从而进一步提高了本发明的颜色恒常性计算的技术性能。

附图说明

图1是基于图像导数结构的颜色恒常性计算方法的算法流程图；

图2是根据本发明的图像二值化色度直方图计算方法的流程图；

图3是根据本发明的基于图像导数结构的颜色恒常性计算系统的模块结构图；

图4是根据本发明的基于ELM神经网络的训练过程；

图5是根据本发明的基于ELM神经网络的测试过程。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述：

实施例1

图1示出了本发明的总体算法框架，如图1所示，基于图像导数结构的颜色恒常性计算方法，包括以下步骤：

(1)基于图像导数结构的特征提取

基于图像导数结构的特征提取是本算法的关键步骤，对于输入图像f，分别求出它的一阶导数图像和二阶导数图像

为了进一步消除噪音求导的影响，本实施例分别用

和

代替

和

其中，

表示图像f与高斯滤波器G^σ的卷积，如附图1所示。

然后，分别对原始图像、一阶导数图像以及二阶导数图像求色度直方图。将原始的RGB颜色空间转换到rg色度空间，转换公式如下：

\{\begin{matrix} r = \frac{R}{R + G + B} & (0 \leq r \leq 1) \\ g = \frac{G}{R + G + B} & (0 \leq r \leq 1) \\ b = 1 - r - g & (0 \leq r \leq 1) \end{matrix}

由于上式中b是冗余量，所以不予考虑，只剩下rg两个分量，并且rg的变化范围都在0-1之间，分别将r分量和g分量划分为N个bin，在这个rg空间内共构成N²个区域，如附图2。根据每个方格里是否有色度值，从而构成了一个N²维的二值化的色度直方图。对于原始图像、一阶导数图像、以及二阶导数图像共有三个直方图，利用或(OR)操作将这三个直方图融合，构成一个融合的色度直方图特征向量，如附图1中的融合过程。

(2)ELM神经网络的训练

与SVR算法的多个参数相比，ELM算法只有一个不敏感的隐藏层神经元个数参数L。本实施例设定L的选择范围为L＝{10，20，30，...，300}共30个候选值，激励函数选用Sigmod函数或Sine函数；同时使用3重交叉验证方法来选择最优的光照估计参数。

在3重交叉验证的方法中，整个训练集被划分成3个子集。对每一组参数设定，在3个子集中选择1个作为测试集，2个子集作为训练集，如此反复选择不同的训练和测试集3次，3次测试的平均误差将作为这组参数的评定标准。在3重交叉验证中，平均误差最小的参数组合将被选为最优的参数。在本实施例中，将光照色度误差的均方根(RMS)作为3重交叉验证的误差评定的标准。参数选择的训练图像集使用的是321幅SFU的颜色恒常性图像集。

从实验中可以得到，当激励函数为Sigmod函数且L＝200时，ELM算法在测试集表现出最好的性能。于是，Sigmod函数和L＝200将被采用作为最终的基于图像导数结构的颜色恒常性计算方法的参数设置。

(3)图像的光照估计

ELM神经网络的输出值为光照的色度(r_e，g_e)。在得到rg分量后可计算出其b分量，从而构成3维光照色度值(r_e，g_e，1-r_e-g_e)。将图像校正到颜色为(w，w，w)白光下，于是根据对角模型，校正矩阵为：

[\begin{matrix} w / r_{3} & 0 & 0 \\ 0 & w / g_{e} & 0 \\ 0 & 0 & w / (1 - r_{e} - g_{e}) \end{matrix}] = w [\begin{matrix} 1 / r_{e} & 0 & 0 \\ 0 & 1 / g_{e} & 0 \\ 0 & 0 & 1 / (1 - r_{e} - g_{e}) \end{matrix}]

其中，w值可用于调节图像的亮度。通过应用基于图像导数结构的颜色恒常性计算方法，对图像光照进行校正。

实施例2

如图3所示，在本实施例中，基于图像导数结构的颜色恒常性计算系统包括如下模块：

图像光照校正模块，其根据神经网络训练和学习模块学习输出的光照色度，通过对角模型对测试图像进行光照校正，以得到白光下的图像颜色。

所述图像导数结构是指原始图像的一阶导数图像和二阶导数图像，所述图像特征提取是指，应用原始图像、一阶导数图像和二阶导数图像这3幅图像的色度特征来构建图像的特征向量，所述构建包括：首先，计算出图像的一阶导数图像和二阶导数图像；其次，分别统计出原始图像、一阶导数图像和二阶导数图像的二值化色度直方图，并通过逻辑或操作(OR)将这3个色度直方图进行融合，从而构成一个融合各阶图像导数结构特征的色度直方图；最后，统计出训练图像集中所有图像融合的色度直方图特征向量，将其作为神经网络的输入向量。

作为本发明的一个优选方案，所述神经网络训练和学习模块采用的神经网络是ELM神经网络训练和学习模块。

在本实施例中，ELM神经网络的训练过程如图4所示，首先针对训练图像进行图像特征提取，得到基于图像导数结构的色度直方图特征向量；然后将其输入ELM神经网络进行训练，得到已知图像的光照色度。

ELM神经网络的学习过程如图5所示，对测试图像进行图像特征提取，得到基于图像导数结构的色度直方图特征向量；将其输入训练好的神经网络进行学习，估计得到图像光照色度；再通过对角模型对测试图像的光照色度进行光照校正，以得到白光下的图像颜色。

Claims

1.一种基于图像导数结构的颜色恒常性计算方法，其特征是，包括以下步骤：

步骤1计算出图像的一阶导数图像和二阶导数图像，并用原始图像、一阶导数图像和二阶导数图像的色度特征来构建图像的特征向量，以便进行图像的颜色恒常性计算；

步骤2分别统计出原始图像，一阶导数图像和二阶导数图像的二值化色度直方图，并通过逻辑或操作将这3个色度直方图进行融合，从而构成一个融合各阶图像导数结构特征的色度直方图；

步骤3统计出训练图像集中所有图像融合的色度直方图特征向量，将其作为神经网络的输入向量，将每幅训练图像对应的光照色度构成神经网络的输出向量；

步骤4利用三重交叉验证的方法为神经网络设定隐藏层神经元个数，并利用步骤3中得到的输入输出向量对神经网络进行训练；

步骤5对于测试图像，首先计算出其融合的色度直方图特征向量，并输入到训练好的神经网络中，得到输出的光照色度；通过对角模型，对测试图像进行光照校正，以得到白光下的图像颜色。

2.根据权利要求1所述的基于图像导数结构的颜色恒常性计算方法，其特征是，步骤3中所述神经网络是基于极限学习机的神经网络学习算法，其用来进行图像光照色度的预测。

3.一种基于图像导数结构的颜色恒常性计算系统，其特征在于，包括：

图像光照估计模块，其利用训练好的神经网络来估计测试图像的光照色度，通过对角模型对测试图像进行光照校正，以得到白光下的图像颜色。

4.根据权利要求3的所述基于图像导数结构的颜色恒常性计算系统，其特征在于，所述图像导数结构是指原始图像的一阶导数图像和二阶导数图像。

5.根据权利要求3的所述基于图像导数结构的颜色恒常性计算系统，其特征在于，所述图像特征提取是指，应用原始图像、一阶导数图像和二阶导数图像的色度特征来构建图像的特征向量。

6.根据权利要求3的所述基于图像导数结构的颜色恒常性计算系统，其特征在于，所述构建包括：首先，计算出图像的一阶导数图像和二阶导数图像；其次，分别统计出原始图像，一阶导数图像和二阶导数图像的二值化的色度直方图，并通过逻辑或操作将这3个色度直方图进行融合，从而构成一个融合各阶图像导数结构特征的色度直方图；最后，统计出训练图像集中所有图像融合的色度直方图特征向量，将其作为神经网络的输入向量。

7.根据权利要求3的所述基于图像导数结构的颜色恒常性计算系统，其特征在于，所述神经网络训练和学习模块采用的神经网络是基于极限学习机的神经网络训练和学习模块。