CN106651795A - 一种利用光照估计来校正图像颜色的方法 - Google Patents
一种利用光照估计来校正图像颜色的方法 Download PDFInfo
- Publication number
- CN106651795A CN106651795A CN201611098369.6A CN201611098369A CN106651795A CN 106651795 A CN106651795 A CN 106651795A CN 201611098369 A CN201611098369 A CN 201611098369A CN 106651795 A CN106651795 A CN 106651795A
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- value
- color
- sample block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 208
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012937 correction Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 67
- 238000013507 mapping Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 206010003084 Areflexia Diseases 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 4
- 230000008569 process Effects 0.000 abstract description 10
- 230000004438 eyesight Effects 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000036299 sexual function Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种利用光照估计来校正图像颜色的方法属于计算机视觉和图像处理技术领域。该发明速度快且鲁棒性好，实时进行图像颜色校正。颜色是视觉信息中最为基础也最为直接的特征之一；并且被广泛地应用于图像检索、物体识别等应用领域。但是颜色特征也是一种极不稳定的视觉特征，很容易受到光照变化的影响。本发明将未知光照条件下的图像校正到标准白光下的图像，这个过程简要概括为首先估计出图像成像时的光照颜色，然后利用Von Kries模型将图像映射到标准白光下。也就可以获得更好的图像的白平衡效果。本发明具有：参数少，计算简单，速度快，效果好，能够进行实时处理等特点，非常适合于内置的照相机预处理的前端对图像进行颜色校正。
Description
技术领域
本发明涉及一种图像获取系统中的估计图像的光照值来校正图像颜色机构，属于计算机视觉和图像处理技术领域及彩色图像的颜色颜色校正方法，该系统使用Grey-Edge框架颜色恒常性算法通过改变参数系统，估计出图像在标准的白光下的光照值，再通过对角模型对其进行颜色校正。
背景技术
目前，大多数颜光照估计算法都假设场景中光照是均匀分布的，即在整个场景中仅存在一个光照。然而在现实生活中，场景中通常有多个光照。在室内场景中，有的区域主要被室内钨光灯照射,有的区域则既被室内钨光灯照射还被户外光照照射。在户外场景中,阴影区域通常主要处于天空光照下,而非阴影区域通常处在天空和太阳光照射下。颜色是机器视觉信息中最为基础的特征之一，在图像处理和计算机视觉领域已经成为广泛应用，比如图像分割、图像匹配和视频检索等，同时颜色也是一种极不稳定的视觉特征，物体表面颜色会随着环境中光照值的变化而呈现出不同的表观色。由于在多光照场景中，光照值的变化随着其空间位置而变化。
在这种情况下，如果再假设场景中光照均匀分布，利用单光照条件下的颜色估计算法估计场景的光照值，并基于该光照值来矫正图像，将产生很大的偏差，是不能精确的恢复在标准白光下物体表面的固有颜色。相对于单光照颜色估计的研究而言，多光照颜色估计的研究更具有挑战性。
颜色恒常性功能的实现可以分为两类：一类是通过精确估计图像中场景的光照，将图像映射到标准的白光下的图像，从而得到光照标准化后的图像，称之为颜色恒常性计算(Color Constancy Computation)，通过准确估计光源的颜色值，再进行图像的矫正。根据理想的朗波特反射模型，以RGB三个颜色通道的为例，场景中某物理表面上一点的颜色f(x)＝(R,G,B)T其中R,G,B是图像颜色的三个通道,可通过在整个可见光范围内对光谱分布、反射率以及相机的感光系数的乘积得到。
公式如下：其中X表示空间位置三维坐标；λ位光谱的波长，ω代表整个可见光范围。e(λ)为光源的光谱的分布为。
空间中点X处物体表面的对波长为λ的光线的物理反射率为S(X,λ)，程序设备(一般为相机)的感光函数表示为c(λ)＝(R(λ),G(λ),B(λ))T。
在整个成像过程中，由于e(λ)和S(X,λ)都是未知的，因此图像的光照估计本身是一个病态的问题。在没有任何的假设和限定条件下，图像的光照估计是不可解的。
光照估计的目的是将未知光照条件下的图像矫正成标准白光下的图像,这个过程一般可分为两个步骤:首先估计出图像成像时的光照颜色,然后利用VonKrieS模型(又称对角模型)将图像映射到标准白光下,W.Xiong将图像的光照估计算法分为无监督的算法和有监督的算法。
无监督的光照色度估计算法是指仅直接从图像的底层特征估算图像场景的光照颜色,不需要其他的先验知识。主要方法有如下几种：
MaxRGB光照色度估计算法，MaxRGB算法假设：在一幅图像中，RGB彩色图像通道的最大值是由全反射表面引起的。也就是说RGB三个通道的最大像素灰度值反映了图像的光照颜色。MaxRGB算法的优点是计算简单、复杂度低，但是由于其假设RGB三个通道都要有全反射的表面，而现实生活中这一条件往往不能够满足，因此总的来说，MaxRGB算法的光照色度估计效果较差。
Gray World光照色度估计算法，是基于Gray World算法假设，场景的平均反射率是无色差的，如下式：
其中ε是一个取值范围[0,1]的常数，0表示无反射，1表示全反射。无色差(achromatic)是指对一个像素点来说，其RGB三个通道的灰度值是一样的，即是灰色(gray)的,所以这一算法被称为Gray World算法。这就是说,对一幅图像的R通道、G通道、B通道分别求平均值,所得到的颜色值其实就是场景的光照颜色,如下式
Shades of Gray光照色度估计算法，Finlayson等提出了一种使用明科夫斯基范式(Minkowski-norm)的通用算法框架,能够MaxRGB和Gray World算法都包含进去,并且仅需改变明科夫斯基范式的参数,就可以产生一系列不同的光照色度估计算法。该算法基于的假设是对图像中的每一像素点进行非线性的可逆变换后,图像场景仍然是无色差的，其中q是明科夫斯基范式，取值范围是(0,∞)。如下所示：
有监督的颜色恒常性计算就是通过对各种光照条件下可能出现的颜色(或色度)的学习,来预测未知光照图像的光照颜色。
Forsyth等提出的色域映射算法，是一种重要的基于统计的颜色恒常性计算算法，算法基于假设：任何一副图像环境光源颜色种类是有限的；颜色通道的RGB值经过归一化处理后在色度空间上形成一个个封闭的凸包(convex hull)也称之为色域(Gamut)。
Gijsenij等]提出改进的色域映射算法，基于导数图像结构的色域映射算法(Gamut mapping using image derivative structures)，将色域映射算法引入到了高阶图像中，实验表明基于高阶图像结构的映射算法具有更好的光照色度估计最早由D.H.Brainard等]提出的另外一种重要的基于统计的颜色恒性计算算法，基于贝叶斯推理的颜色恒常性计算，后经Rosenberg与Gehler等进行了一系列改进。由于Brainard的假设条件过于苛刻Charles Rosenberg等提出了一种限制条件较弱非高斯模型的假设。由于基于贝叶斯推理的颜色恒常性算法复杂度高、计算量大。在两个不同的场景区域里，准确提取反射率相同的区域难度较大，提取过程比较繁琐，Finlayson等为了克服这些缺点，提出了一种基于相关性的颜色恒常性计算算法(Color by Correlation)。这种算法更为实用，事实上是基于贝叶斯颜色恒常性算法的一种离散化的形式。Barnard等在原始Color byCorrelation算法上加以改进，加上了强度信息，扩展到3D的颜色空间中。实验数据表明，加入颜色的强度信息有利于基于相关性的颜色恒常性计算算法性能的提升。基于相关性的算法[23]首先根据数据中已知光照的图像颜色特征和光照强度信息，并且得到色度特征值下的光照值概率，再根据测试图像的色度特征计算光照；算法的优点是适应范围广、实用性强、可扩展；缺点是算法的精确度不高，需要大量的先验知识。根据图像的数理统计规律来评估场景光源的颜色恒常性研究算法如KL-divergence、薄板样条插值和委员会投票等。
目前,有监督的颜色恒常性算法的性能一般要优于无监督的算法"在现有的有监督的颜色恒常性算法中,基于神经网络和基于SVR的算法是两种比较简单实用而且有效的算法"但是,这两种算法都存在比较明显的缺点:
(1)现有技术中有监督的颜色恒常性算法都是以原始图像的二值化的色度直方图构成特征向量,没有充分利用图像的边缘结构等信息。
(2)BP神经网络的训练速度很慢,并且很容易陷入局部最优；而基于SVR方法的核函数及其参数选择是一个比较繁琐的问题,因为存在多个核函数！而且对于每个核函数又有多个参数,因此,如何选择最优的核函数以及其对应的参数对只能通过经验和尝试的方法进行,实现代价比较大。
发明内容
针对上述存在的问题和不足，本发明提供了一种利用光照估计来校正图像颜色的方法。该方法可以处理自然环境中含多个光源的图像。把一幅图像中不同光源局部区域分割出来，再对每个局部区域的光照值进行估计，把一些光照值相似主要区域进行合并。
最后，我们得到场景中几种主要光源投影的光照区域。为了提高算法的通用性，本文选取5种无监督算法提取图像的多特征，运用Struct-SVM来进行融合研究，建立图像多特征与环境光源的学习模型，进而进行预测分析。
结构化支持向量回归算法(Struct-SVM)算是基于结构最小化原则的学习算法，可取得全局最优解实现多输出可保持光源色度的光学特性且具有处理复杂非线性问题的优势。
基于SSVM建立场景颜色结构信息恢复模型。通过构建图像能量项，利用SSVM框架，使得图像颜色结构与图像特征产生关联，构造了一个基于SSVM的场景颜色结构信息恢复模型。
具体包括如下步骤：
步骤一、样本块提取首先从图像中提取ψ个样本块；对每个图像样本块，估计照射在该块上的有效光照；
步骤二、利用现有的单光照条件下的光照估计算法进行光照估计；基于Grey-Edge颜色恒常性算法框架通过变换参数，产生多个不同的颜色恒常性特征值提取方法；
步骤三、样本块光照估计值的聚类，把来自于同一光照下的图像块被聚类到一起以形成一个大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇；所有的光照估计值被聚类到M类；其中M为场景中的光照个数；
步骤四、聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后，把聚类的结果逐个映射到原始图像，也就是说，属于同一样本块的像素属于同一聚类，这样就得到每种光照的照射位置；由此得到一个光照映射图，即每个像素属于M个光照中的某一个；通过后向映射，得到每个像素的光照估计值，及像素所在光照类的聚类中心值；
步骤五、对于重叠光照的区域，在后向映射的光照估计值的分类结果上使用高斯滤波器；
步骤六、颜色校正，利用每个像素的光照估计值把输入图像校正到标准光照下，得到在标准光照下的输出图像，从而消除场景中光照的影响。
步骤1首先对这些数据集基于光照强度进行图像分类，图像的整体灰度均值是一种全局统计特征，受到局部影响的因素比较小，有很强的滤除局部噪声误差的能力。本文中采用图像的整体灰度均值作为不同光照条件下的图像的数学特征标准，其定义如下，设图像的灰度值分布在1-L级，则图像的整体灰度均值为：
其中,ni为某灰度值的像素数,T为图像总像素数；p(i)为灰度值的概率ni。
步骤2样本块提取首先从图像中提取ψ个样本块。对每个图像样本块，估计照射在该块上的有效光照。假设每个图像样本块5×5像素并且满足光照在该样本上是均匀分布的条件。因此选择的样本块的大小应该满足以下条件：5×5像素且包含颜色信息来准确地估计照射在该样本块上的光照的性质。如基于网格的取样、基于兴趣点的取样及基于图像分割的取样，都满足所有样本块要覆盖整幅图像，样本块足够小且包含足够多的信息来准确地估计照射在该样本块上的光照的性质。
步骤3基于样本快的光照估计假设每个样本块上的光照均匀分布，因此可以利用现有的单光照条件下的光照估计算法进行光照估计。基于Grey-Edge颜色恒常性算法框架通过变换参数，系统地产生多个提取颜色特征的颜色恒常性方法。
步骤4样本块光照估计值的聚类，由于在每个5×5像素的取样块上进行光照估计仅利用了有限的信息量，所以不可避免会引入误差。为了克服信息量缺失的弱点，本发明尝试着把来自于同一光照下的图像块被聚类到一起以形成一个较大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇。因此，所有的光照估计值被聚类到M类(M为场景中的光照个数)
步骤5统计出训练图像集中所有图像融合的色度直方图特征向量,将其作为结构化支持向量机(SSVM)的输入向量,每幅训练图像对应的光照色度构成SSVM的输出向量；
步骤6利用三重交叉验证的方法为SSVM参数值,并对SSVM进行训练；
步骤7聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后(M为场景中的光照数)，把聚类的结果逐个映射到原始图像，也就是说，属于同一样本块的像素属于同一聚类，这样就可以得到每种光照的照射位置。由此得到一个光照映射图，即每个像素属于M个光照中的某一个。通过后向映射，可得到每个像素的光照估计值，及像素所在光照类的聚类中心值。
步骤8对于测试图像，首先计算出M类中每类的光照值,将其输入到训练好的SSVM中,得到输出的光照色度；通过对角模型,对测试图像进行光照校正,以得到白光下的图像颜色。
在步骤8中，假设每个样本块5×5像素并且满足在该样本块中光照是均匀分布的假设。在每个样本块上,使用常用的单光照的颜色恒常性算法估计该样本块上的光照值。我们使用目前常用的基于Grey-Edge假设的单光照颜色恒常性计算框架，
通过变换参数n,q,σ,n是阶乘，q是明科夫斯基范式，σ是高斯滤波器的核函数大小，ε是一个取值范围[0,1]的常数，；f(x)表示空间中x点处的光照值；0表示无反射，1表示全反射；e是指数e得到一系列单光照颜色恒常性算法。
在这里我们考虑以下五种有代表性的算法：
e0,1,0,Grey-world灰色世界方法。
e0,∞,0White-patch(max-RGB)白平衡方法。
e0,8,1，general Grey-world一般的灰色世界方法。
e1,1,1，一阶Grey-Edge一阶Grey-Edge方法。
e2,1,1二阶Grey-Edge。
这五种有代表性的颜色恒常性方法中即包含基于像素信息的颜色恒常性计算方法
又包含基于边信息的颜色恒常性算法。
它们构成了五种候选颜色恒常性计算集合Γ＝{e0,1,0,e0,∞,0,e0,8,1,e1,1,1,e2,1,1}。每个样本块的特征向量是由选择的颜色恒常性算法的光照估计值组成。
重叠光照处理：上述的多光照颜色恒常性算法框架有一个隐含的假设在局部空间中光照均匀分布。例如在户外图像中,两个光照是蓝天和太阳"通过阴影边界可以很清楚的识别这两个光照的照射区域。但是,对于一些图像光照的边界并不是很明显。在这种情况下,这两个光照的临界区域同时受到这两种光照的影响"如果对该区域强制分类,无论它被分类到哪一类光照区域,都会产生误差。
在光照估计值组成的色度空间中,在对各个样本块的光照估计值进行聚类后,第j个样本块的光照估计值到第i聚类中心的距离可以使用欧氏距离计算,该距离用di表示，dk表示k[0,N]中第k个样本块聚类中心的距离，Z是场景中的样本块数，那么该样本块位于第i个光照区域的概率pj，i可以如下计算：第i个光照的覆盖区域概率其中pj,i表示第j个块被第i个光照照射的概率并且p是输入图像中样本块的总数。
为了克服这个问题，第四步骤聚类的后向映射进一步改进：在估计光照值得分类结果上使用一个高斯滤波器和中值滤波器，以期产生光照的平滑过渡。为了获得平滑连续的光照分布，在光照覆盖区域概率映射图上进行滤波。
使用高斯滤波器和中值滤波器，其中高斯滤波器考虑了空间位置信息所以可以计算估计光照范围的逐个像素概率。而中值滤波器的优点是它能很好地保留边的信息，因此这种滤波其使用与有明显的光照变换的场景。
图像矫正：在进行图像矫正之前，每个像素的最终光照估计值根据如[0036]进行计算：其中Ie是场景上的光照估计值，Z是场景中的样本块数，Ie,j是第i个光照的估计值，mi(x)表示第i个光照对位于x处的像素的贡献。
如果mi(x)值较大，那么意味着第i个光照对此像素的影响较大，特别地如果mi(x)＝1意味着此像素完全处于第i个光照的照射下。
在得到每个像素的光照估计值之后，根据对角模型逐个像素进行矫正。fc(x)＝∧u,c(x)fu(x)其中fu(x)表示在未知光照照射下x处的像素值：fc(x)表示经过矫正后其在标准光照照射下呈现出的像素值。∧u,c(x)是在x处从未知光照到标准光照的映射矩阵。
附图说明
图1是本发明一种利用光照估计来校正图像颜色方法的总体流程图。
图2是本发明一种利用光照估计来校正图像颜色方法的模块结构图。
图3是根据本发明的基于结构化支持向量机的训练过程。
图4是根据本发明的基于结构化支持向量机的测试过程。
图5是本发明效果图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步详细描述。
图1示出了本发明的总体算法框架，如图1所示，基于光照估计的颜色恒常性计算方法，包括以下步骤：
步骤1首先，根据图像的灰度均值对图像进行分类。
步骤2对分类图像计算出图像的色度特征来构建图像的特征向量,以便用于计算颜色恒常性；
图2是光照估计模块。S301、样本块提取首先从图像中提取ψ个样本块。并将对象那个划分为多个单元，对每个单元图像样本块。并对每个样本彩色图像分解为RGB三个颜色通道图像，得到三个颜色通道图像。
S302、基于样本快的光照估计假设每个样本块上的光照均匀分布，基于Grey-Edge颜色恒常性算法框架通过变换参数，系统地产生多个颜色恒常性算法，估计样本块的光照值。
可以理解的是，可以对成像设备的光照估计进行数学建模，如式所示：
其中于Grey-Edge颜色恒常性算法框架通过变换参数，通过变换参数n，q和σ，n是阶乘，q是明科夫斯基范式，σ是高斯滤波器的核函数大小，ε是一个取值范围[0,1]的常数，；f(x)表示空间中x点处的光照值；0表示无反射，1表示全反射；e是指数e，系统地产生多个颜色恒常性提取颜色特征向量方法。在该框架下，分割图像得到图像的样本块。
S303、样本块光照估计值的聚类，由于在每个5×5像素的取样块上进行光照估计仅利用了有限的信息量，所以不可避免会引入误差。
S304、判断同一聚类的样本块图像中是否为同一光源。为了克服信息量缺失的弱点，本发明尝试着把来自于同一光照下的图像块被聚类到一起以形成一个大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇。因此，所有的光照估计值被聚类到M类(M为场景中的光照个数)。
S305、聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后(M为场景中的光照数)，把聚类的结果逐个映射到原始图像。
也就是说，属于同一样本块的像素属于同一聚类，这样就可以得到每种光照的照射位置。由此得到一个光照映射图，即每个像素属于M个光照中的某一个。
S306、判断图像样本块像素所在光照类的聚类中心值。通过后向映射，可得到每个像素的光照估计值，及像素所在光照类的聚类中心值。
S307、若不是像素所在光照类的聚类中心，则使用上一图像的聚类系数计算每一样本块的校正后的色彩值。
S308、若是像素所在光照类的聚类中心，则计算图像的对角模型校正系数，进行颜色校正。
利用每个像素的光照估计值可以把输入图像校正到标准光照下，得到在标准光照下的输出图像，从而消除场景中光照的影响。
目前最常用的对角模型来校正图像。
S310、判断是否所有的图像处理完毕。
本发明的有益效果：参数少，计算简单，处理速度快，颜色校正效果好，能够进行实时处理等特点，适合于在成像设备预处理的前端来对图像进行颜色校正。
作为本发明的一个优选方案,所述SSVM结构化支持向量机和学习模块。
在本实施例中,SSVM结构化支持向量机的训练过程如图3所示,首先针对训练图像进行图像特征提取,得到基于图像导数结构的色度直方图特征向量；然后将其输入SSVM结构化支持向量机进行训练,得到已知图像的光照色度。
SSVM结构化支持向量机的学习过程如图4所示,对测试图像进行图像特征提取,得到基于图像直方图特征向量；将其输入训练好的SSVM进行学习,估计得到图像光照色度；再通过对角模型对测试图像的光照色度进行光照校正,以得到白光下的图像颜色。
Claims (9)
1.一种利用光照估计来校正图像颜色的方法，其特征是，包括以下步骤：
步骤一、样本块提取首先从图像中提取ψ个样本块；对每个图像样本块，估计照射在该块上的有效光照；
步骤二、利用现有的单光照条件下的光照估计算法进行光照估计；基于Grey-Edge颜色恒常性算法框架通过变换参数，产生多个不同的颜色恒常性特征值提取方法；
步骤三、样本块光照估计值的聚类，把来自于同一光照下的图像块被聚类到一起以形成一个大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇；所有的光照估计值被聚类到M类；其中M为场景中的光照个数；
步骤四、聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后，把聚类的结果逐个映射到原始图像，也就是说，属于同一样本块的像素属于同一聚类，这样就得到每种光照的照射位置；由此得到一个光照映射图，即每个像素属于M个光照中的某一个；通过后向映射，得到每个像素的光照估计值，及像素所在光照类的聚类中心值；
步骤五、对于重叠光照的区域，在后向映射的光照估计值的分类结果上使用高斯滤波器；
步骤六、颜色校正，利用每个像素的光照估计值把输入图像校正到标准光照下，得到在标准光照下的输出图像，从而消除场景中光照的影响。
2.如权利要求1所述的方法，其特征在于：所述步骤一采用每个图像样本块5×5像素并且满足光照在该样本上的光照值是均匀分布的条件，即只有一种颜色的光照射到该样本上。
3.如权利要求1所述的方法，其特征在于：基于Grey-Edge颜色恒常性算法框架通过变换参数，如下公式所示，通过变换参数n，q和σ系统地产生多个不同的颜色恒常性特征值提取方法；其中n是阶乘，σ是高斯滤波器的核函数大小，ε是一个取值范围[0,1]的常数，0表示无反射，1表示全反射；；f(x)表示空间中x点处的光照值；e是指数e，在该框架下，分割图像得到许多图像的样本块；假设每个样本块是5×5像素并且满足在该样本块中光照是均匀分布的假设；在每个样本块上，使用常用的单光照的颜色恒常性算法估计该样本块上的光照值；
4.如权利要求1所述的方法，其特征在于：不同的颜色恒常性特征值提取方法具体如下：
五种候选颜色恒常性计算集合Γ＝{e0,1,0,e0,∞,0,e0,∞,1,e1,1,1,e2,1,1}；每个样本块的特征是由选择的颜色恒常性算法的光照估计值组成。
5.如权利要求1所述的方法，其特征在于：样本块的特征向量描述为F‘＝[R,G,B]，R,G,B为图像的颜色通道，使用归一化的光照估计值，如下所示，这样样本块的特征向量就转化成F＝[r,g]，一个1×2的向量；
6.如权利要求1所述的方法，其特征在于：在光照估计值组成的色度空间中，在对各个样本块的光照估计值进行聚类后，第j个样本块的光照估计值到第i聚类中心的距离使用欧氏距离计算，该欧式距离用di表示，dk表示k[0,M]中第k个样本块聚类中心的距离，Z是总共的样本块，那么该样本块位于第i个光照区域的概率pj,i如下计算：
第i个光照的覆盖区域概率其中pj,i表示第j个块被第i个光照照射的概率并且p是输入图像中样本块的总数。
7.如权利要求1所述的方法，其特征在于：图像每个像素的光照估计值根据如下式进行计算：
其中Ie是场景上的光照估计值，Ie,j是第i个光照的估计值，mi(x)表示第i个光照对位于x处的像素的贡献；Z表示总共的样本块，如果mi值较大，那么意味着第i个光照对此像素的影响大，如果mi(x)＝1意味着此像素完全处于第i个光照的照射下；光照的覆盖区域概率映射图和输入图像一样大。
8.如权利要求1所述的方法，其特征在于：，在得到每个像素的光照估计值之后，根据对角模型逐个像素进行校正，其中fu(x)表示在未知光照照射下x处的像素值，fc(x)表示经过校正后其在标准光照照射下呈现出的像素值；Λu,c(x)是在x处从未知光照到标准光照的映射矩阵，如下式所示：；
fc(x)＝Λu,c(x)fu(x)。
9.如权利要求8所述利用图像光照估计来校正图像颜色的方法，其特征在于：采用对角模型来校正图像；对角校正模型如下式所示，其中，表示成像时位置：
其中，x表示在图像空间中某一点，R通道测量的光照值；x表示在图像空间中某一点，R通道估计的光照值；空间中某一点R通道的测量光照值比上估计的光照值；为空间中某一点G通道的测量光照值比上估计的光照值；为空间中某一点B通道的测量光照值比上估计的光照值；Λu,c(x)是在x处从未知光照到标准光照的映射矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611098369.6A CN106651795A (zh) | 2016-12-03 | 2016-12-03 | 一种利用光照估计来校正图像颜色的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611098369.6A CN106651795A (zh) | 2016-12-03 | 2016-12-03 | 一种利用光照估计来校正图像颜色的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106651795A true CN106651795A (zh) | 2017-05-10 |
Family
ID=58818402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611098369.6A Pending CN106651795A (zh) | 2016-12-03 | 2016-12-03 | 一种利用光照估计来校正图像颜色的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106651795A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107644409A (zh) * | 2017-09-28 | 2018-01-30 | 深圳Tcl新技术有限公司 | 图像增强方法、显示装置及计算机可读存储介质 |
| CN107704509A (zh) * | 2017-08-31 | 2018-02-16 | 北京联合大学 | 一种联合稳定区域与深度学习的重排序方法 |
| CN108848364A (zh) * | 2018-06-20 | 2018-11-20 | 温州大学 | 一种基于支持向量回归机的颜色空间转换的颜色校正方法 |
| CN109040729A (zh) * | 2018-08-16 | 2018-12-18 | Oppo广东移动通信有限公司 | 图像白平衡校正方法、装置、存储介质及终端 |
| CN109523485A (zh) * | 2018-11-19 | 2019-03-26 | Oppo广东移动通信有限公司 | 图像颜色校正方法、装置、存储介质及移动终端 |
| CN109600596A (zh) * | 2019-01-10 | 2019-04-09 | 华侨大学 | 一种非线性无色恒常的白平衡方法 |
| CN109886875A (zh) * | 2019-01-31 | 2019-06-14 | 深圳市商汤科技有限公司 | 图像超分辨率重建方法及装置、存储介质 |
| WO2019113812A1 (zh) * | 2017-12-13 | 2019-06-20 | 深圳市在田翊方科技有限公司 | 一种基于颜色识别的待测液浓度定量检测方法 |
| CN109978848A (zh) * | 2019-03-19 | 2019-07-05 | 电子科技大学 | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 |
| CN110009701A (zh) * | 2019-04-10 | 2019-07-12 | 北京易诚高科科技发展有限公司 | 一种针对多镜头拍摄的白平衡调整方法 |
| CN110060308A (zh) * | 2019-03-28 | 2019-07-26 | 杭州电子科技大学 | 一种基于光源颜色分布限制的颜色恒常性方法 |
| CN110148097A (zh) * | 2019-05-27 | 2019-08-20 | 电子科技大学 | 白内障图像的颜色校正方法 |
| CN111727412A (zh) * | 2018-03-05 | 2020-09-29 | 欧姆龙株式会社 | 用于设定照明条件的方法、装置、系统及程序以及存储介质 |
| CN112150563A (zh) * | 2019-06-28 | 2020-12-29 | 浙江宇视科技有限公司 | 光源颜色的确定方法、装置、存储介质及电子设备 |
| CN112183551A (zh) * | 2019-07-02 | 2021-01-05 | 佳能株式会社 | 光照颜色预测方法、图像处理方法、装置及存储介质 |
| CN112200207A (zh) * | 2019-07-08 | 2021-01-08 | 浙江宇视科技有限公司 | 光源颜色的确定方法、装置、存储介质及电子设备 |
| CN112567428A (zh) * | 2018-11-09 | 2021-03-26 | 欧姆龙株式会社 | 摄影方法及摄影装置 |
| WO2022011975A1 (zh) * | 2020-07-16 | 2022-01-20 | 浙江宇视科技有限公司 | 白平衡校正方法、装置、设备和存储介质 |
| CN114782274A (zh) * | 2022-04-28 | 2022-07-22 | 哈尔滨工业大学 | 基于光照估计的无人机多光谱图像辐射校正方法 |
| CN117745603A (zh) * | 2024-02-20 | 2024-03-22 | 湖南科洛德科技有限公司 | 基于线阵扫描设备的产品图像校正方法及设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706964A (zh) * | 2009-08-27 | 2010-05-12 | 北京交通大学 | 一种基于图像导数结构的颜色恒常性计算方法及系统 |
| CN102306384A (zh) * | 2011-08-26 | 2012-01-04 | 华南理工大学 | 一种基于单幅图像的颜色恒常性处理方法 |
-
2016
- 2016-12-03 CN CN201611098369.6A patent/CN106651795A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706964A (zh) * | 2009-08-27 | 2010-05-12 | 北京交通大学 | 一种基于图像导数结构的颜色恒常性计算方法及系统 |
| CN102306384A (zh) * | 2011-08-26 | 2012-01-04 | 华南理工大学 | 一种基于单幅图像的颜色恒常性处理方法 |
Non-Patent Citations (5)
| Title |
|---|
| ARJAN GIJSENIJ 等: "Color Constancy for Multiple Light Sources", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 唐正 等: "单一光照颜色恒常性计算研究进展", 《计算机科学》 * |
| 董俊鹏: "基于光照分析的颜色恒常性算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 饶小李 等: "多光源非均匀光照场景的颜色恒常性", 《云南大学学报（自然科学版）》 * |
| 饶小李: "基于视频的交通路口车辆计算研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704509A (zh) * | 2017-08-31 | 2018-02-16 | 北京联合大学 | 一种联合稳定区域与深度学习的重排序方法 |
| CN107644409A (zh) * | 2017-09-28 | 2018-01-30 | 深圳Tcl新技术有限公司 | 图像增强方法、显示装置及计算机可读存储介质 |
| WO2019113812A1 (zh) * | 2017-12-13 | 2019-06-20 | 深圳市在田翊方科技有限公司 | 一种基于颜色识别的待测液浓度定量检测方法 |
| CN111727412B (zh) * | 2018-03-05 | 2023-07-14 | 欧姆龙株式会社 | 用于设定照明条件的方法、装置、系统以及存储介质 |
| CN111727412A (zh) * | 2018-03-05 | 2020-09-29 | 欧姆龙株式会社 | 用于设定照明条件的方法、装置、系统及程序以及存储介质 |
| CN108848364A (zh) * | 2018-06-20 | 2018-11-20 | 温州大学 | 一种基于支持向量回归机的颜色空间转换的颜色校正方法 |
| CN108848364B (zh) * | 2018-06-20 | 2020-12-29 | 温州大学 | 一种基于支持向量回归机的颜色空间转换的颜色校正方法 |
| CN109040729B (zh) * | 2018-08-16 | 2020-04-07 | Oppo广东移动通信有限公司 | 图像白平衡校正方法、装置、存储介质及终端 |
| CN109040729A (zh) * | 2018-08-16 | 2018-12-18 | Oppo广东移动通信有限公司 | 图像白平衡校正方法、装置、存储介质及终端 |
| CN112567428B (zh) * | 2018-11-09 | 2024-01-19 | 欧姆龙株式会社 | 摄影方法及摄影装置 |
| CN112567428A (zh) * | 2018-11-09 | 2021-03-26 | 欧姆龙株式会社 | 摄影方法及摄影装置 |
| CN109523485A (zh) * | 2018-11-19 | 2019-03-26 | Oppo广东移动通信有限公司 | 图像颜色校正方法、装置、存储介质及移动终端 |
| CN109600596B (zh) * | 2019-01-10 | 2020-12-25 | 华侨大学 | 一种非线性无色恒常的白平衡方法 |
| CN109600596A (zh) * | 2019-01-10 | 2019-04-09 | 华侨大学 | 一种非线性无色恒常的白平衡方法 |
| CN109886875A (zh) * | 2019-01-31 | 2019-06-14 | 深圳市商汤科技有限公司 | 图像超分辨率重建方法及装置、存储介质 |
| CN109886875B (zh) * | 2019-01-31 | 2023-03-31 | 深圳市商汤科技有限公司 | 图像超分辨率重建方法及装置、存储介质 |
| CN109978848B (zh) * | 2019-03-19 | 2022-11-04 | 电子科技大学 | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 |
| CN109978848A (zh) * | 2019-03-19 | 2019-07-05 | 电子科技大学 | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 |
| CN110060308A (zh) * | 2019-03-28 | 2019-07-26 | 杭州电子科技大学 | 一种基于光源颜色分布限制的颜色恒常性方法 |
| CN110060308B (zh) * | 2019-03-28 | 2021-02-02 | 杭州电子科技大学 | 一种基于光源颜色分布限制的颜色恒常性方法 |
| CN110009701A (zh) * | 2019-04-10 | 2019-07-12 | 北京易诚高科科技发展有限公司 | 一种针对多镜头拍摄的白平衡调整方法 |
| CN110148097B (zh) * | 2019-05-27 | 2021-06-29 | 电子科技大学 | 白内障图像的颜色校正方法 |
| CN110148097A (zh) * | 2019-05-27 | 2019-08-20 | 电子科技大学 | 白内障图像的颜色校正方法 |
| CN112150563A (zh) * | 2019-06-28 | 2020-12-29 | 浙江宇视科技有限公司 | 光源颜色的确定方法、装置、存储介质及电子设备 |
| CN112150563B (zh) * | 2019-06-28 | 2024-03-26 | 浙江宇视科技有限公司 | 光源颜色的确定方法、装置、存储介质及电子设备 |
| CN112183551A (zh) * | 2019-07-02 | 2021-01-05 | 佳能株式会社 | 光照颜色预测方法、图像处理方法、装置及存储介质 |
| CN112200207A (zh) * | 2019-07-08 | 2021-01-08 | 浙江宇视科技有限公司 | 光源颜色的确定方法、装置、存储介质及电子设备 |
| CN112200207B (zh) * | 2019-07-08 | 2024-02-20 | 浙江宇视科技有限公司 | 光源颜色的确定方法、装置、存储介质及电子设备 |
| WO2022011975A1 (zh) * | 2020-07-16 | 2022-01-20 | 浙江宇视科技有限公司 | 白平衡校正方法、装置、设备和存储介质 |
| CN114782274A (zh) * | 2022-04-28 | 2022-07-22 | 哈尔滨工业大学 | 基于光照估计的无人机多光谱图像辐射校正方法 |
| CN117745603A (zh) * | 2024-02-20 | 2024-03-22 | 湖南科洛德科技有限公司 | 基于线阵扫描设备的产品图像校正方法及设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651795A (zh) | 一种利用光照估计来校正图像颜色的方法 | |
| Gao et al. | Efficient color constancy with local surface reflectance statistics | |
| CN103400110B (zh) | Atm取款机前的异常人脸检测方法 | |
| CN105894484B (zh) | 一种基于直方图归一化与超像素分割的hdr重建算法 | |
| CN107123088B (zh) | 一种自动更换证件照背景颜色的方法 | |
| Li et al. | A multi-scale fusion scheme based on haze-relevant features for single image dehazing | |
| CN112884682B (zh) | 一种基于匹配与融合的立体图像颜色校正方法及系统 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN109543632A (zh) | 一种基于浅层特征融合引导的深层网络行人检测方法 | |
| Hussain et al. | Color constancy algorithm for mixed-illuminant scene images | |
| CN106960182A (zh) | 一种基于多特征集成的行人再识别方法 | |
| CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN102867295A (zh) | 一种彩色图像颜色校正方法 | |
| CN112561813B (zh) | 人脸图像增强方法、装置、电子设备及存储介质 | |
| Kumar et al. | Fusion of RGB and HSV colour space for foggy image quality enhancement | |
| CN103839245B (zh) | 基于统计规律的Retinex夜间彩色图像增强方法 | |
| CN115690513A (zh) | 一种基于深度学习的城市行道树种类识别方法 | |
| Hussain et al. | Color constancy for uniform and non-uniform illuminant using image texture | |
| Choi et al. | Deep learning-based computational color constancy with convoluted mixture of deep experts (CMoDE) fusion technique | |
| CN113506275B (zh) | 一种基于全景城市图像处理方法 | |
| CN109064444B (zh) | 基于显著性分析的轨道板病害检测方法 | |
| Aghaei et al. | A flying gray ball multi-illuminant image dataset for color research | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| Wesolkowski et al. | Shading-and highlight-invariant color image segmentation using the MPC algorithm | |
| Ying et al. | Region-aware RGB and near-infrared image fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170510 |