CN108401148A - 用于对图像执行自动白平衡的方法 - Google Patents

用于对图像执行自动白平衡的方法 Download PDF

Info

Publication number
CN108401148A
CN108401148A CN201810115428.9A CN201810115428A CN108401148A CN 108401148 A CN108401148 A CN 108401148A CN 201810115428 A CN201810115428 A CN 201810115428A CN 108401148 A CN108401148 A CN 108401148A
Authority
CN
China
Prior art keywords
light source
value
pixel
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810115428.9A
Other languages
English (en)
Inventor
李盈仪
李贤哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN108401148A publication Critical patent/CN108401148A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种对图像执行自动白平衡以调整图像的颜色增益的方法。该方法包括：预处理图像以获得多个预处理像素，每一个预处理像素都由包括红值、绿值和蓝值的三色值表示；计算一组候选光源中的每一个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益。通过上述方式，本发明可以使得白平衡方法更加稳定且对场景内容较不敏感。

Description

用于对图像执行自动白平衡的方法
技术领域
本发明涉及彩色摄影，数码相机，彩色打印和数字彩色图像处理领域领域。
背景技术
所有的用户彩色显示设备都经过校准，以便于在颜色通道的红色(R)＝绿色(G)＝蓝色(B)时，显示的色彩为标准的“白点”色度，根据国际照明委员会(InternationalCommission on Illumination，简称CIE)标准，其大部分为D65或D50。使用互补性氧化金属半导体(complementary metal-oxide semiconductor，CMOS)或者电荷耦合元件(charge-coupled device，CCD)的数字彩色相机对RGB通道具有不同的敏感度，从而导致原始图像具有某种偏色(例如，偏绿)。此外，物体的颜色会根据光源的颜色(例如钨丝灯或日光)和周围的物体的彼此反射而变化。因此，在以合适的颜色再现显示和处理图像前，常常需要调节原始图像的“白点”。白点的调节被称为白平衡(white balance，WB)，其通常通过对颜色通道应用适当的增益来执行，这样图像中的中性物件(例如黑色，灰色和白色)被呈现为大致相等的R、G、B值。在数字相机中，白点可以被手动或者自动调节。因此，自动白平衡(Automaticwhite balance，AWB)是彩色成像应用中的重要操作。
大多数传统的AWB算法依赖于自然场景的一些物理特征(例如色域)和统计特征(例如平均颜色分布)。传统的AWB算法对场景内容的统计比较敏感，常常遇到以下一个或多个难点：1)主色色偏影响结果，2)当图像中没有中性色时，预估出现错误的概率很高，3)错误的相机校正会导致场景统计与相机使用的统计不同，4)需要大量的参考标准当训练样本来建立可靠的统计，5)算法的性能受到相机的批量生产中的元件与元件的差异的影响。因此，非常需要开发出一种对多场景内容更加具有稳健性(robust)且相对不敏感的AWB技术。
发明内容
本发明主要解决的技术问题是提供对图像执行自动白平衡的方法和设备，能够降低白平衡对场景内容的敏感性，且提升执行的稳健性。
在一个实施例中，提供了一种用于在图像上执行自动白平衡的方法。该方法包括：对图像进行预处理以获得多个预处理像素，每个预处理像素由包括红(R)值、绿(G)值和蓝(B)值的三色值来表示；计算一组候选光源中的每个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益。
在另一个实施例中，提供了一种在图像上执行自动白平衡的设备。该设备包括：存储器，用于存储图像；以及耦接于存储器的图像处理管道。图像处理管道用于：对图像进行预处理以获得多个预处理像素，每个预处理像素由包括红色(R)值，绿色(G)值和蓝色(B)值的三色值来表示；计算一组候选光源中的每一个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益。该设备还包括耦接于图像处理管道的显示器，用于根据调整后的色彩增益显示所述图像。
本发明的有益效果是：区别于现有技术的情况，本发明通过计算一组候选光源中的每一个候选光源的指示值，找出其中最小的指示值对应的候选光源，将其作为结果光源，再根据该结果光源推导出的色彩比率来调整图像的色彩增益，其中，最小的指示值对应于镜面反射分量的消除，因此该方法对场景内容相对不敏感，且稳健性高。
附图说明
图1A是本发明一实施例中用于色彩校正的图像处理管道的示意图；
图1B本发明一实施例中包括图1A所示的图像处理管道的设备的结构示意图；
图2是本发明一实施例中在垂直于光源向量的平面上的两个颜色表面的投影；
图3是本发明一实施例中执行最小投影面积(minimum projected area，MPA)方法的自动白平衡模块的结构示意图；
图4A、4B和4C是本发明一实施例中使用三种不同候选光源的投影结果；
图5是本发明一实施例中执行块MPA方法的自动白平衡模块的结构示意图；
图6是本发明一实施例的MPA方法的流程示意图；
图7是本发明一实施例中执行最小总变差(minimum totalvariation，MTV)方法的自动白平衡模块的结构示意图；
图8是本发明另一实施例的MTV方法的流程示意图；
图9是本发明一实施例中用于自动白平衡的方法的流程示意图。
具体实施方式
在下面的描述中，陈述了很多具体细节。然而，可以理解的是，本发明的实施例可以在没有这些具体细节的情况下实施。在其他情况下，没有详细的说明众所周知的电路、结构和技术，以免模糊对本说明书的理解。然而，本领域技术人员可以理解，可以在没有这些具体情节的情况下实践本发明。本领域的普通技术人员通过所包含的描述将能够无需过度的实验而实现适当的功能。
本发明提供基于表面反射分解的系统和方法来执行自动白平衡(automaticwhite balance，AWB)。与基于传统的AWB算法的系统和方法相比，该系统和方法具有稳健性且对场景内容相对不敏感。该系统和方法不依赖详细的场景统计或用于训练的大量图像数据库。在下文中，描述了最小投影面积方法(minimum projected area，MPA)和最小总变差(minimum totalvariation，MTV)方法，这两者都基于将表面反射分解为镜面反射分量(specular component)和漫反射分量(diffuse component)，并且基于删除镜面反射分量。
如本文中所使用的，术语“三色值”或等同地“RGB值”或“RGB通道”是指彩色图像的三个颜色值(红，绿，蓝)。术语“光源(illuminant)”和“光源(light source)”可互换使用。此外，色度图像指的是色彩差异图像，其可通过获取一个色彩通道和另一个色彩通道之间的差异来计算，也可以通过色彩通道的线性组合之间的差异来计算。
图1A是本发明一个实施例中，执行色彩校正的图像处理管道100的示意图。图像处理管道100包括AWB模块110，AWB模块110接收原始的RGB值作为输入，并输出白平衡校正后的RGB值。原始的RGB值可以由图像传感器、相机、录像机等生成。AWB模块110的操作可以通过参考图2-图9进行理解。图像处理管道100还包括色彩校正矩阵(color correctionmatrix，CCM)模块120。色彩校正矩阵120对从AWB模块110输出的RGB值执行3×3的矩阵操作。CCM模块120可以降低图像传感器的光谱特性和标准的色彩设备(例如，标准RGB色彩显示器)的光谱响应之间的差异。图像处理管道100还可以包括灰度校正(gammacorrection)模块130，其对从CCM模块120输出的RGB值应用非线性函数来补偿显示设备的非线性亮度效应。图像处理管道100的输出是准备好用于显示的标准RGB(standard RGB，sRGB)值的集合。
图1B是本发明一实施例中包括图1A所示的图像处理管道100的设备150的系统结构示意图，除了图像处理管道100之外，设备150包括存储器160，存储器160用于存储图像数据或者将被图像处理管道100处理的中间图像数据。设备150还包括显示器140，显示器140用于显示具有标准RGB值的图像。可以理解的是，设备150还可以包括其他额外的部件，包括但不限于：图像传感器、一个或者多个处理器、用户接口、网络接口等。在一个实施例中，设备150可以是数码相机，或者，设备150可以是诸如计算机、笔记本电脑、智能手机、智能手表之类的计算和/或通信设备的一部分。
在描述AWB模块110的实施例之前，首先需要解释AWB模块110的操作所根据的原理。
令f(θ；λ)为双向光谱反射分布函数(bidirectional spectral reflectancedistribution function，BSRDF)，其中θ代表所有的角度相关因子(angle-dependentfactor)，而λ代表光的波长。大多数有色物体表面的BSRDF可以被描述为两个反射分量的组合，这两个反射分量为界面反射(镜面)分量和本体反射(漫反射)分量。界面反射(interface reflection)通常是非选择性的，即其对所有具有可见光波长的光进行同样的反射。这个模型被称为中性界面反射(neutralinterface reflection，NIR)模型。基于NIR模型，BSRDF f(θ；λ)可以表示为：
f(θ；λ)＝ρ(λ)h(θ)+ρsk(θ)，(1)
其中ρ(λ)是漫反射率因子(diffuse reflectance factor)，ρs镜面反射率因子(specular reflectance factor)，h(θ)和k(θ)是两个反射率因子的角度相关函数。NIR模型的关键特征在于每种反射分量中的光谱因子和几何因子是完全分开的。
假定L(λ)是光源的光谱功率分布，Sr(λ)、Sg(λ)和Sb(λ)是三个传感器基础(即，光谱响应函数)。RGB色彩空间可以推导为：
R＝∫L(λ)f(θ；λ)Sr(λ)dλ
＝h(θ)∫L(λ)ρ(λ)r(λ)+ρsk(θ)∫L(λ)Sr(λ)dλ，
G＝h(θ)∫L(λ)ρ(λ)Sg(λ)dλ+ρsk(θ)∫L(λ)Sg(λ)dλ，
B＝h(θ)∫L(λ)ρ(λ)Sb(λ)dλ+ρsk(θ)∫L(λ)Sb(λ)dλ。(2)
令
Lr＝∫L(λ)Sr(λ)dλ，Lg＝∫L(λ)Sg(λ)dλ，Lb＝∫L(λ)Sb(λ)dλ,
于是，
R＝Lr[ρrh(θ)+ρsk(θ)]，
G＝Lg[ρgh(θ)+ρsk(θ)]，
B＝Lb[ρbh(θ)+ρsk(θ)]，(3)
其中，Lr、Lg和Lb是光源的三色值，RGB色彩空间可以改写为如下所示的矩阵形式：
令v1和v2是RGB空间中的两个独立向量。如果将RGB值投影到v1和v2所生成的平面V上，投影坐标将为
令L＝[LrLgLb]T为光源向量，在[v1v2]TL＝0时，等式(5)中的第二项消失。这意味着当平面V垂直于光源向量L时，镜面反射分量被消除。
图2是是本发明一实施例中将两个表面的颜色投影到平面V的示意图。根据NIR模型，在给定的表面(例如，S1)上的每个颜色向量是镜面反射分量(由光源向量L表示)和漫反射分量(由C1表示)的线性组合。S1的所有颜色与L和C1在同一平面上。类似的，另一个表面(例如S2)的所有颜色与L和C2在同一平面上。因此，同一光源下的所有颜色所在的平面共享共同向量L。如果所有颜色都沿光源向量L投影，则它们的投影将形成多条线，且这多条线在一点处相交，该点为光源向量的投影点。如果投影的方向不是沿着光源向量L的方向，(即，如果V不垂直于L)，则镜面分量不被消除。在这种情况下，投影的颜色将不再在平面V上形成线，但是会在平面V的二维区域上展开。该二维区域被称为平面V上的投影面积。当v1和v2正交时可以计算出该二维区域的面积。当v1和v2变化时，平面V随之变化。通过改变v1和v2，当平面V垂直于光源向量L时，投影面积会变为最小。使用v1和v2中特定的哪一个作为基础向量并不重要，因为它们都会产生实质相同的结果。
在AWB计算中，真实光源的光源向量L是未知的。MPA方法通过选择不同的候选光源来改变平面V。从候选光源选出的光源向量L＝(Lr，Lg，Lb)，可以计算出正交的基础向量v1和v2，并且也可以计算出给定图像在由v1和v2生成的平面上的投影面积。当选择的光源向量L最接近该图像的真实光源时，投影面积最小。
在一个实施例中，正交的基础向量可以被参数化如下：
当α＝Lg/Lr，且β＝Lg/Lb时，平面V(α，β)垂直于L。
在一个实施例中，光源的搜索范围被缩窄到光源更可能发生的子空间，因为搜索所有可能的平面V(α，β)是非常耗时的。缩小搜索范围也有利于减少发现错误光源的可能性。在一个实施例中，搜索范围可以被设置为在预期的应用领域中用户图像(consumerimage)中经常发生的一组光源。术语“用户图像”指的是内容用户使用的图像显示设备上通常可以看到的彩色图像。或者或另外，可以使用日光轨迹(daylight locus)和黑体辐射轨迹(blackbody radiator locus)的适当混合。这个混合可以提供覆盖了用户图像中大多数的光源的光源轨迹。为了搜索到图像的光源，MPA方法为沿着光源轨迹的一组候选光源中的每一个候选光源计算图像的投影面积。产生最小的投影面积的候选光源就是场景光源(即，真实光源)的最佳估计，且图像根据该场景光源的最佳估计被白平衡。在一个实施例中，MPA方法寻找最小投影面积的表达式如下所示：
argminα，βw(α，β)Area(α，β)，(8)
其中，w(α，β)是偏置函数(bias function)，Area(α，β)是在平面V(α，β)投影的面积，该面积是通过v1(α，β)和v2(α，β)生成的。该偏置函数可以用于修改投影面积，从而改善MPA方法的性能。该偏置函数依赖于总体场景光源分布，而不是场景内容。因此，相机校准后，相同的偏置函数可以适用于任何型号的相机。偏置函数w(α，β)的详细内容将在稍后提供。在其他实施例中，可以省略偏置函数(即，设定为1)。
图3是本发明提供的用于执行MPA方法的AWB模块300的一实施例的结构图。AWB模块300是图1A中所示的AWB模块110的一个示例。AWB模块300包括预处理单元310，预处理单元310用于处理输入图像的原始RGB数据以移除过度曝光、曝光不足和饱和的像素。移除这些像素可以提升AWB的计算速度并可减少噪点。在一个实施例中，如果一个像素的R值、G值和B值中的一个或多个的色彩通道大于阈值时，则认为该像素是过度曝光，则移除该像素。在这些像素被移除后，预处理单元310可以通过将图像划分为多组相邻像素，并计算每一组中的相邻像素的三色值的加权平均值，来对输入图像进行分组平均。每一个组的权重可以是一或其他数值。在另一个实施例中，在计算出分组平均之后，预处理单元310可以从图像中移除曝光不足的像素。如果一个像素的R值、G值和B值之和高于第一阈值，则该像素被过度曝光；如果一个像素的R值、G值和B值之和低于第二阈值，则该像素曝光不足。预处理单元310也可以从图像中移除饱和像素。如果一个像素的R值、G值和B值之一低于预定阈值，则该像素饱和。
在一个实施例中，在移除过度曝光、曝光不足和/或饱和的像素和分组平均操作之后，预处理单元310可以对图像进行子采样以产生预处理图像。预处理后的图像被提供给AWB模块300中的MPA计算器380，用于MPA计算。
在一个实施例中，MPA计算器380包括投影平面计算器320和投影面积计算器330。投影平面计算器320计算两个正交向量v1和v2，v1和v2生成了垂直于候选光源的光源向量L(Lr，Lg，Lb)的平面。在一个实施例中，α和β的值已经被给出或者从候选光源中计算出时，投影平面计算器320可以根据等式(6)和(7)计算出v1和v2。
在确定投影平面之后，投影面积计算器330将预处理图像中的每一个像素的RGB值投影到该投影平面。投影的结果是落在投影平面上的点的集合。如果每种颜色被表示为单点，那么投影的结果将在投影平面上产生一组散乱的点，如图4A、4B和4C的所示的示例，图4A、4B和4C中的每一幅图都是采用不同的候选光源的结果。当沿着真实光源向量进行投影时，局部的点的密度变更高。然而，计算点的密度需要大量的计算。在一个实施例中，投影平面被分成一组空间仓(spatial bins)(例如正方形)。当一个或多个像素投影到正方形中时，计数该正方形。计数的正方形的数量可以作为投影面积的估算结果。
参考图4A、4B和4C，在每一个示例中，“x”标记代表图像的所有像素的投影点。当候选光源越接近真实光源，被“x”标记的投影的总面积就越小。每一个示例都采用了由不同正交基础向量v1和v2所描述的不同候选光源。如图4B所示的投影面积119面积最小，因此其对应的候选光源在三个候选光源中最接近真实光源。
请再次参阅图3，在投影面积计算器330计算出一组不同候选光源的投影面积之后，比较器340比较这些投影面积的大小并识别产生最小投影面积的候选光源。在一个实施例中，在比较之前，比较器340可以将每一个投影面积与前述的偏置函数相乘，以作为改进AWB结果的选项，在本实施例中示为偏置值345(即，权重)。偏置值345可以基于对于在用户图像中光源沿着光源轨迹的频率的先验知识来决定。也就是说，偏置值345代表的是场景光源分布的先验知识，而不与场景内容相关。在一个实施例中，每一个候选光源都与一个偏置值相关联，该偏置值可以被表示为函数w(α，β)，其中α和β是候选光源的色彩比率。从一种相机模型到另一种相机模型，偏置值是稳定不变的。
在比较器340识别出产生最小投影面积的候选光源之后，增益调整单元350根据候选光源的色彩比率α和β调整输入图像的色彩增益。
对于具有多个不同颜色的物体的图像，当投影沿着光源向量时，投影面积通常是最小的，然而对于只有单个主色的图像，当主色的镜面反射分量或者漫反射分量被消除时，才会出现最小投影面积。为了更好地处理这种颜色种类很少的图像，搜索范围被限制在仅由于镜面反射分量被消除而不是漫反射分量被消除所引起的最小投影面积。一种方法是在色度空间中搜索这些靠近潜在光源的所在位置的候选光源。因此，沿着穿过已知光源的群体(population)的光源轨迹搜索到最小投影面积。
在一个实施场景中，色度坐标系(p，q)可以在较小失真的色度域中参数化光源轨迹的分布。该坐标系(p，q)被定义为：
其中，r＝R/(R+G+B)，g＝G/(R+G+B)，b＝B/(R+G+B)。
对于候选光源L(Lr，Lg，Lb)，其(p，q)坐标系可以通过将等式(9)中的R、G、B值更换为Lr、Lg、Lb值来决定。
可以通过拟合(fitting)由参考相机在不同光源下获取的色彩数据得到光源轨迹。例如，对来自三种光源(阴影、日光和钨丝灯)光线进行曲线拟合可以提供非常好的光源轨迹。在一个实施例中，一个给定的光源轨迹可以由二阶多项式函数在(p，q)域中表示，其具有如下的形式：
q＝a1p2+a2p+a3。(10)
给定(p，q)的值，如下所示的等式用于计算(r，g，b)：
色彩比率α和β可以通过如下所示的等式获得：
因此，给出沿着光源轨迹的(p，q)，可以计算色彩比率α和β。正交向量v1(α，β)和v2(α，β)可以使用等式(6)和(7)计算出。并且图像投影到由v1(α，β)和v2(α，β)所展开的平面V的面积也可以计算。
当场景被单个主光源照射时，MPA方法可以准确地估算出光源。但是，有些场景有不止一个光源。在一个实施例中，块MPA方法被用于处理这样的多光源场景。使用块MPA方法，就是将图像分成几个块，并将MPA方法应用于每一个块。
图5是本发明一实施例中执行块MPA方法的AWB模块500的结构示意图。AWB模块500是图1A中所示的AWB模块110的一个示例。AWB模块500包括预处理单元510，预处理单元510还包括块划分单元515，块划分单元515用于将输入图像划分为多个块。预处理单元510在每一个块上执行与图3中所示的预处理单元310相同的像素移除操作，预处理单元510移除过度曝光，曝光不足和饱和的像素。预处理单元510还在移除像素操作之后确定每一个块是否具有足够数量的像素(例如，10个像素)来进行MPA方法。如果具有足够像素的块数量小于阈值数量(例如，块总数的一半)，则预处理单元510将图像重新划分为更少数量的块，使得图像中的新块的数量大于阈值数量。
在一个实施例中，AWB模块500包括一个或多个MPA计算器310，MPA计算器310用于在每一个块上执行MPA方法。每一个块的结果都被加权平均单元540收集，加权平均单元540首先对色度坐标p进行平均，然后基于给定光源轨迹的拟合曲线(例如(10)中的二阶多项式函数)找出另一个色度坐标q。在一个实施例中，加权平均单元540给每一个块都应用一个权重。例如，具有主要物件的块的权重可能高于其他块。在其他实施例中，加权平均单元540可以对所有的块应用相同的权重。加权平均单元540的输出是结果候选光源或其代表候选光源。然后增益调整单元350根据结果候选光源的色彩比率α和β调整输入图像的色彩增益。
图6是本发明一实施例中在彩色图像上执行的MPA方法600的流程示意图。MPA方法600可以由诸如图1B的设备150的设备执行；更具体地说，MPA方法600可以由图1A的AWB模块110、图3的AWB模块300和/或图5的AWB模块500执行。
在MPA方法600中，设备首先开始对图像进行预处理以获得预处理像素，每一个预处理像素由三色值表示，三色值包括红(red，R)值，绿(green，G)值和蓝(blue，B)值(步骤610)。对于一组候选光源中的每一个候选光源，设备执行如下操作：计算与候选光源的三色值的向量垂直的投影平面(步骤620)，将每一个预处理像素的三色值投影到计算出的投影平面以获取投影面积(步骤630)。将候选光源中投影面积最小的一个光源识别为结果光源(resulting illuminant)(步骤640)。设备可以使用结果光源的色彩比率调制图像的色彩增益。
根据另一个实施例，可以使用MTV方法来执行AWB，该MTV方法也基于与MPA方法相同的原理：通过设法消除镜面反射分量。根据NIR模型，可以从给定的图像中，通过缩放一个颜色通道并与另一个颜色通道相减，创建一对色度图像(αC1-C2)和(βC3-C2)。(C1，C2，C3)是三色值(R，G，B)的线性变换。
(αC1-C2)和(βC3-C2)都是图像中空间位置的函数。两个色度图像可以表示为：
(αC1-C2)＝[(αa11-a21)Lrρr+(αa12-a22)Lgρg+(αa13-a23)Lbρb]h(θ)+[(αa11-a21)Lr+(αa12-a22)Lg+(αa13-a23)Lb]ρsk(θ)，
(βC3-C2)＝[(βa31-a21)Lrρr+(βa32-a22)Lgρg+(βa33-a23)Lbρb]h(θ)+[(βa31-a21)Lr+(βa32-a22)Lg+(βa33-a23)Lb]ρsk(θ)。(14)
当α＝(a21Lr+a22Lg+a23Lb)/(a11Lr+a12Lg+a13Lb)，且β＝(a21Lr+a22Lg+a23Lb)/(a31Lr+a32Lg+a33Lb)时：
(αC1-C2)＝[(αa11-a21)Lrρr+(αa12-a22)Lgρg+(αa13-a23)Lbρb]h(θ)，(βC3-C2)＝[(βa31-a21)Lrρr+(βa32-a22)Lgρg+(βa33-a23)Lbρb]h(θ)。
(15)对于(αC1-C2)和(βC3-C2)，镜面反射分量都被消除。当消除发生时，由于镜面反射分量引起的调制消失，所以(αC1-C2)和(βC3-C2)的总变差大大减小。只剩下漫反射分量的信号调制。
通过沿着给定的光源轨迹搜索，MTV方法可以搜索到候选光源，该候选光源由色彩比率α和β表示，使得总变差在接下来的表示中最小化。可以使用等式(11)和(12)从给定的光源轨迹上的给定的点(p，q)计算出色彩比率α和β。本实施例中的总变差可以表示为等式(14)中的两个色度图像的绝对梯度大小之和：
需要注意的是，二维图像的梯度是具有x分量和y分量的向量。为了提升计算效率，可以使用简化的总变差的一维近似：
arg minα，β∑n|α[C1(n)-C1(n+1)]-[C2(n)-
C2(n+1)]|+|β[C3(n)-C3(n+1)]-[C2(n)-C2(n+1)]|(17)
在一个实施例中，如果任何一个相邻像素都由于过度曝光、曝光不足或颜色饱和而已经被移除，则从总变差计算中排除该像素的梯度。
图7是本发明一实施例中执行MTV方法的自动白平衡模块700的结构示意图；AWB模块700是图1A的AWB模块110的另一个示例。AWB模块700包括预处理单元310，预处理单元310用于处理输入图像的原始RGB数据以移除过度曝光、曝光不足和饱和的像素。AWB模块700还包括MTV计算器780，MTV计算器780在一组候选光源中搜索最小总变差的解决方案。更具体地，MTV计算器780还包括差值计算器720和比较器730。差值计算器720计算每一个候选光源的总变差，比较器730比较差值计算器720计算的结果以识别出最小总变差。在一个实施例中，比较器730在比较前可以将每一个总变差乘以偏置值345(即，权重)。偏置值345可以基于在用户图像中光源沿着光源轨迹的频率的先验知识来确定。偏置值345表示场景光源分布的先验知识，并且与场景内容无关。在一个实施例中，每一个候选光源与一个偏置值相关联，该偏置值可被表示为函数w(α，β)，其中α和β是候选光源的色彩比率，从一个相机模型到另一个相机模型，偏置值保持稳定。
在比较器730识别出产生最小总变差的候选光源之后，增益调节单元350使用候选光源的色彩比率α和β调节输入图像的色彩增益。实验结果表明，MTV方法在单个主光源以及多个光源的场景下表现良好。
图8是本发明另一实施例中在彩色图像上执行的MTV方法800的流程示意图。在本实施例中，在计算总变差的过程中采用线性变换来计算三色值。MTV方法800可以由诸如图1B中所示的设备150的设备来执行，更具体地，MTV方法800可以由图1A中所示的AWB模块110和/或图7中所示的AWB模块700来执行。
在MPA方法800中，设备首先开始对图像进行预处理以获得多个预处理像素，每一个预处理像素由三色值表示，三色值包括红(R)值，绿(G)值和蓝(B)值(步骤810)。对于一组候选光源中的每一个候选光源，设备计算预处理像素中的相邻像素之间的三色值总变差(步骤820)。计算总变差的步骤包括如下操作：计算三色值的线性变换以获得三个变换值(步骤830)；计算第一缩放因子(scaling factor)和第二缩放因子，第一缩放因子和第二缩放因子用于表示候选光源的两个色彩比率(步骤840)；通过获取按第一缩放因子缩放的第一变换值与第二变换值之间的差值(difference)来构建第一色度图像(步骤850)；通过获取按第二缩放因子缩放的第三变换值与第二变换值之间的差值来构建第二色度图像(步骤860)；以及通过将第一色度图像的绝对梯度大小和第二色度图像的绝对梯度量幅值相加来计算总变差(步骤870)。在计算出所有候选光源的总变差之后，设备选择在所有总变差中值最小的总变差对应的候选光源(步骤880)。
图9是本发明一实施例中对图像执行自动白平衡的方法的流程示意图。方法900可以由诸如图1B所示的设备150的设备来执行；更具体地，方法900可以由图1A所示的AWB模块110，图3所示的AWB模块300，图5所示的AWB模块500和/或图7所示的AWB模块700来执行。
在方法900中，设备首先开始对图像进行预处理以获得多个预处理像素，每一个预处理像素由三色值表示，三色值包括红(R)值，绿(G)值和蓝(B)值(步骤910)。对于一组候选光源中的每一个候选光源，设备计算其包括镜面反射分量和漫反射分量的指示值(步骤920)。然后设备识别出多个候选光源中的一个候选光源为结果光源，其对应的指示值是所有候选光源中的最小指示值，其中，最小指示值对应于镜面反射分量的消除(步骤930)。根据从结果光源推导出的色彩比率，设备调制图像的色彩增益(步骤940)。在一个实施例中，指示值是如图6中所示的MPA方法600中所描述的投影面积，在其他实施例中，指示值是如图8中所示的MTV方法800所描述的总变差。
图6、8和9所示的流程示意图中的操作可以参考图1A、1B、3、5和7所示的实施例。然而，应当理解的是，图6、8和9所示的流程示意图中的操作可以由除了参考图1A、1B、3、5和7所讨论的实施例之外的其他实施例来执行，并且图1A、1B、3、5和7所讨论的实施例可执行的操作与本发明流程图中所讨论的不同。图6、8和9所示的流程示意图中示出了由本发明的某些实施例执行操作的特定顺序，但是应当理解的是，这样的顺序是示例性的(例如，其他实施例可以以不同的顺序执行操作、结合某些操作、重叠某些操作等)。
区别于现有技术，本发明通过计算一组候选光源中的每一个候选光源的指示值，找出其中最小的指示值对应的候选光源，且该最小的指示值是因为其镜面分量被消除所导致的。将其作为结果光源，再根据该结果光源推导出的色彩比率来调整图像的色彩增益。其中，最小的指示值对应于镜面反射分量的消除，因此该方法对场景内容比较不敏感，且稳健性高。
这里已经描述了各种功能组件或块。如本领域技术人员将理解的，功能块将优选地通过电路(专用电路或在一个或多个处理器和编码指令的控制下操作的通用电路)来实现，其通常包括晶体管，晶体管被配置为根据这里所描述的功能和操作来控制电路的操作。
尽管本发明已经通过若干实施例进行了描述，但是本领域技术人员将认识到，本发明不限于所描述的实施例，并且可以在所附权利要求的精神和范围内进行修改和变更来实施。因此该描述被认为是说明性的而不是限制性的。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (20)

1.一种对图像执行自动白平衡的方法，其特征在于，包括：
对所述图像进行预处理以获得多个预处理像素，所述多个预处理像素中的每一个预处理像素由包括红色值、绿色值和蓝色值的三色值来表示；
计算一组候选光源中的每一个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；
识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及
根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益。
2.根据权利要求1所述的方法，其特征在于，所述计算一组候选光源中的每一个候选光源的指示值的步骤包括：
计算垂直于表示所述候选光源的所述三色值的向量的投影平面；以及
将所述每一个预处理像素的所述三色值投影到计算出的所述投影平面以获得投影面积，将所述投影面积作为所述指示值。
3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
将所述图像划分为多个块；
识别所述多个块的每一个的对应结果光源；以及
基于为所述多个块识别的所有的所述对应结果光源，计算出所述结果光源。
4.根据权利要求3所述的方法，其特征在于，所述结果光源是所有的所述对应结果光源的加权平均值，或者是从所述对应结果光源中选出的一个。
5.根据权利要求1所述的方法，其特征在于，所述一组候选光源在色度空间中由多个点来表示，所述多个点位于图像数据库中已知的光源群体的光源轨迹上，或者来自于至少包括一个日光轨迹和一个黑体辐射轨迹的混合轨迹上。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于所述每一个候选光源，通过与所述候选光源相关的偏置值来加权指示值，其中所述偏置值用于指示所述候选光源是所述图像的真实光源的可能性。
7.根据权利要求1所述的方法，其特征在于，所述对所述图像进行预处理的步骤包括：
将所述图像划分为多组相邻像素；以及
计算所述多组相邻像素的每一组中的相邻像素的所述三色值的加权平均值。
8.根据权利要求1所述的方法，其特征在于，所述对图像进行预处理的步骤进一步包括：
移除所述图像中过度曝光、曝光不足以及饱和的像素。
9.根据权利要求8所述的方法，其特征在于，所述移除所述图像中过度曝光、曝光不足以及饱和的像素的步骤包括：
当像素满足如下一个或多个条件时，移除所述像素：
所述像素的红色值、绿色值和蓝色值中的一个处于所述像素的色彩数据范围中的最大值的预设相邻范围内；
所述像素的红色值、绿色值和蓝色值之和超过第一阈值或低于第二阈值；以及
所述像素的红色值、绿色值和蓝色值中的一个低于第三阈值。
10.根据权利要求1所述的方法，其特征在于，所述计算一组候选光源中的每一个候选光源的指示值的步骤包括：
计算所述预处理像素中的相邻像素之间的所述三色值的总变差，并将其作为所述指示值，其中计算所述总变差的步骤包括：
计算所述三色值的线性变换，以获取三个变换值；
计算第一缩放因子和第二缩放因子，所述第一缩放因子和所述第二缩放因子用于表示所述候选光源的两个色彩比率；
通过获取按所述第一缩放因子缩放后的第一变换值与第二变换值之间的差值来构建第一色度图像；
通过获取按所述第二缩放因子缩放后的第三变换值与第二变换值之间的差值来构建第二色度图像；以及
通过将所述第一色度图像的绝对梯度大小和所述第二色度图像的绝对梯度大小相加来计算所述总变差。
11.一种对图像执行自动白平衡处理的设备，其特征在于，包括：
存储器，用于存储图像；
图像处理管道，耦接于所述存储器，并且用于实现如下操作：
对所述图像进行预处理以获得多个预处理像素，所述多个预处理像素中的每一个预处理像素由包括红色值、绿色值和蓝色值的三色值来表示；
计算一组候选光源中的每一个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；
识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及
根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益；
显示器，耦接于所述图像处理管道，用于根据调整后的色彩增益显示所述图像。
12.根据权利要求11所述的设备，其特征在于，当计算所述每一个候选光源的指示值时，所述图像处理管道进一步用于实现如下操作：
计算垂直于表示所述候选光源的所述三色值的向量的投影平面；以及
将所述每一个预处理像素的所述三色值投影到计算出的所述投影平面以获得投影面积，所述投影面积作为所述指示值。
13.根据权利要求12所述的设备，其特征在于，所述图像处理管道进一步用于实现如下操作：
将所述图像划分为多个块；
识别出所述多个块的每一个的对应结果光源；以及
基于为所述多个块识别出的所有的所述对应结果光源，计算出所述结果光源。
14.根据权利要求13所述的设备，其特征在于，所述结果光源是所有所述对应结果光源的加权平均值，或者是从所述对应结果光源中选出的一个。
15.根据权利要求11所述的设备，其特征在于，所述一组候选光源在色度空间中由多个点来表示，所述多个点位于图像数据库中已知的光源群体的光源轨迹上，或者来自于至少包括一个日光轨迹和一个黑体辐射轨迹的混合轨迹上。
16.根据权利要求11所述的设备，其特征在于，所述图像处理管道进一步用于实现如下操作：
对于所述每一个候选光源，通过与所述候选光源相关的偏置值来加权指示值，其中所述偏置值用于指示所述候选光源是所述图像的真实光源的可能性。
17.根据权利要求11所述的设备，其特征在于，所述图像处理管道进一步用于实现如下操作：
将所述图像划分为多组相邻像素；以及
计算所述多组相邻像素的每一组中的相邻像素的所述三色值的加权平均值。
18.根据权利要求11所述的设备，其特征在于，当对所述图像进行预处理时，所述图像处理管道进一步用于实现如下操作：
移除所述图像中过度曝光、曝光不足以及饱和的像素。
19.根据权利要求18所述的设备，其特征在于，所述图像处理管道进一步用于实现如下操作：
当像素满足如下一个或多个条件时，移除所述像素：
所述像素的红色值、绿色值和蓝色值中的一个处于所述像素的色彩数据范围中的最大值的预设相邻范围内；
所述像素的红色值、绿色值和蓝色值之和超过第一阈值或低于第二阈值；以及
所述像素的红色值、绿色值和蓝色值中的一个低于第三阈值。
20.根据权利要求11所述的设备，其特征在于，当计算所述每一个候选光源的所述指示值时，所述图像处理管道进一步用于实现如下操作：
计算出所述预处理像素中的所述相邻像素之间的所述三色值的总变差，并将其作为所述指示值，其中，在计算所述总变差时，所述图像处理管道进一步用于实现如下操作：
计算所述三色值的线性变换，以获取三个变换值；
计算第一缩放因子和第二缩放因子，所述第一缩放因子和所述第二缩放因子用于表示所述候选光源的两个色彩比率；
通过获取按所述第一缩放因子缩放后的第一变换值与第二变换值之间的差值来构建第一色度图像；
通过获取按所述第二缩放因子缩放后的第三变换值与第二变换值之间的差值来构建第二色度图像；以及
通过将所述第一色度图像的绝对梯度大小和所述第二色度图像的绝对梯度大小相加来计算所述总变差。
CN201810115428.9A 2017-02-06 2018-02-06 用于对图像执行自动白平衡的方法 Withdrawn CN108401148A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/425,113 2017-02-06
US15/425,113 US10224004B2 (en) 2017-02-06 2017-02-06 Automatic white balance based on surface reflection decomposition

Publications (1)

Publication Number Publication Date
CN108401148A true CN108401148A (zh) 2018-08-14

Family

ID=63037891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810115428.9A Withdrawn CN108401148A (zh) 2017-02-06 2018-02-06 用于对图像执行自动白平衡的方法

Country Status (3)

Country Link
US (1) US10224004B2 (zh)
CN (1) CN108401148A (zh)
TW (1) TW201830337A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040729A (zh) * 2018-08-16 2018-12-18 Oppo广东移动通信有限公司 图像白平衡校正方法、装置、存储介质及终端

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803341B2 (en) * 2017-12-26 2020-10-13 Augentix Inc. Method and computer system of white point detection
CN109410877B (zh) * 2018-12-17 2021-02-26 惠科股份有限公司 三色数据到四色数据的转换方法及装置
KR20220077730A (ko) * 2020-12-02 2022-06-09 삼성전자주식회사 이미지 처리 방법 및 장치
TWI766492B (zh) * 2020-12-22 2022-06-01 鴻海精密工業股份有限公司 光源確定方法、裝置、電腦裝置及儲存介質

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200264B2 (en) 2002-04-10 2007-04-03 Hewlett-Packard Development Company, L.P. White point estimation using color by convolution
US8339471B2 (en) 2009-12-31 2012-12-25 DigitalOptics Corporation Europe Limited Auto white balance algorithm using RGB product measure
US9007484B2 (en) 2011-10-12 2015-04-14 Apple Inc. Alleviating dominant color failure in automatic white balance using histogram trimming
TWI498848B (zh) * 2014-10-13 2015-09-01 Quanta Comp Inc 多重曝光成像系統及其白平衡方法
US9336582B1 (en) 2015-04-17 2016-05-10 Google Inc. Convolutional color correction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040729A (zh) * 2018-08-16 2018-12-18 Oppo广东移动通信有限公司 图像白平衡校正方法、装置、存储介质及终端
CN109040729B (zh) * 2018-08-16 2020-04-07 Oppo广东移动通信有限公司 图像白平衡校正方法、装置、存储介质及终端

Also Published As

Publication number Publication date
US20180226054A1 (en) 2018-08-09
US10224004B2 (en) 2019-03-05
TW201830337A (zh) 2018-08-16

Similar Documents

Publication Publication Date Title
CN108401148A (zh) 用于对图像执行自动白平衡的方法
US10542243B2 (en) Method and system of light source estimation for image processing
US9077942B2 (en) Spectral synthesis for image capture device processing
US10949958B2 (en) Fast fourier color constancy
CN103108469B (zh) 控制照明装置输出光的方法及装置、照明系统
WO2012001948A1 (ja) カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
US7555159B2 (en) Image highlight correction using illumination specific HSV color coordinate
WO2005074302A1 (ja) 色再現システム及び色再現方法
CN110930341A (zh) 一种基于图像融合的低光照图像增强方法
Wang et al. Fast automatic white balancing method by color histogram stretching
CN108462865A (zh) 确定图像的光源和对图像进行色觉适配的方法及设备
Zhao et al. Spectral illumination correction: Achieving relative color constancy under the spectral domain
KR101680446B1 (ko) 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
US20180176420A1 (en) Automatic white balance based on surface reflection decomposition and chromatic adaptation
JP5824423B2 (ja) 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
US8611699B2 (en) Apparatus and method for chroma-key processing
Zhao et al. Pixel-wise Illumination Correction Algorithms for Relative Color Constancy Under the Spectral Domain
CN116700646B (zh) 图像色差处理方法和装置
Miyazaki et al. Metamerism-based shading illusion
Jo et al. Adaptive white point extraction based on dark channel prior for automatic white balance
Teng Gain-Pixel Visualization Algorithm Designed for Computational Color Constancy Scheme
Bodner et al. Effect of capture illumination on preferred white point for camera automatic white balance
Muchun et al. Low Illumination Image Color Estimation Based on Gray Scale Supervision
CN109166162A (zh) 基于固定色相的2d变色方法
CN117119317A (zh) 图像处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180814