CN106211804B - 利用对原始图像数据的色度测量进行自动白平衡 - Google Patents

利用对原始图像数据的色度测量进行自动白平衡 Download PDF

Info

Publication number
CN106211804B
CN106211804B CN201580017550.7A CN201580017550A CN106211804B CN 106211804 B CN106211804 B CN 106211804B CN 201580017550 A CN201580017550 A CN 201580017550A CN 106211804 B CN106211804 B CN 106211804B
Authority
CN
China
Prior art keywords
image data
raw image
white point
color channel
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580017550.7A
Other languages
English (en)
Other versions
CN106211804A (zh
Inventor
U·图纳
J·尼卡宁
V·乌祖诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106211804A publication Critical patent/CN106211804A/zh
Application granted granted Critical
Publication of CN106211804B publication Critical patent/CN106211804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

用于从原始图像数据中估计照明色度的装置和方法。在实施例中，基于在传感器色度空间中的所述原始图像数据与在传感器照明色度轨迹内的最近点之间的距离确定一个或多个图像色度权重。在进一步的实施例中，基于在归一化色彩通道值之间的差异确定一个或多个图像色度权重。在某些实施例中，利用图像色度估计来确定所述原始图像数据的白点估计。在实施例中，作为AWB流水线的一部分，包括相机的电子设备估计由所述相机采集的原始图像数据的所述色度值。例如作为所述AWB流水线的一部分，所述电子设备可以进一步至少部分地基于所述(多个)原始图像数据色度值估计来确定白点估计。

Description

利用对原始图像数据的色度测量进行自动白平衡
优先权声明
本申请要求于2014年4月29日提交的题为“Automatic White Balancing withChromaticity Measure of Raw Image Data(利用对原始图像数据的色度测量进行自动白平衡)”的美国专利申请序列号14/264,772的优先权，并且所述专利申请以全部内容通过引用进行结合。
背景技术
数字相机是经常被包括在商用电子介质设备平台中的部件。数字相机现在以可穿戴形状因子可获得(例如，视频采集耳机、视频采集头戴装置、视频采集眼镜等)，并且嵌入在智能电话、平板计算机和笔记本式计算机等等之内。将由相机模块(例如，相机传感器和光学器件)采集的图像数据转换成适于重现和/或显示的值向由设备平台实现的相机控制算法(CCA)造成了挑战性问题。计算色彩恒常性算法(也被称为自动白平衡(AWB)算法)是用于由数字相机实现期望的色彩重现的CCA的一个重要部分。AWB的作用是就相机传感器色彩成分的响应方面对照明色度(或者在多个不同光源情况下的色度)进行估计。AWB通常需要调整不同色彩成分的强度以使用户期待的色彩重现成为可能，其中，所需要的调整高度依赖于图像传感器特性以及采集时的环境照明条件。
了解原始图像数据色度对于可靠地且准确地估计白点是有利的。一项被称为灰度边缘算法的技术前提是基于源白最可能为非彩色的原始图像数据中的边缘的反光。非彩色区域因此从场景内的边缘周围获得。实际上，灰度边缘算法可能要求高分辨信息可用于准确的边缘信息提取，并且因此灰度边缘算法的准确度可以通过原始图像的下采样表示(即，低分辨率)而被显著地降级。因此，灰度边缘可能不会很好地适用于具有有限处理能力或在严格功率约束下工作的某些设备平台，如大多数移动设备平台。并且，灰度边缘技术不处理缺乏边缘或边缘和表面粗糙的场景。例如采用色域映射的其他常规方法或通过相关技术的色彩经常极大地依赖于相机模块表征(CMC)信息，导致它们容易受与相机模块的批量生产相关联的CMC信息误差的影响。CMC密集型方法还可能是计算上昂贵的。
因此，用于在没有图像内容的强假定、对CMC数据具有最小依赖性并且没有高级图像处理的情况下就原始图像数据方面准确地估计照明色度的技术将例如对于改进AWB算法并由此增强数字相机平台的性能而言是有利的。
附图说明
在附图中通过举例而非限制的方式展示了在此所描述的材料。为了展示的简单和清楚，图中所展示的元件不一定按比例绘制。例如，为清楚起见，某些元件的尺寸相对于其他元件可能被放大了。另外，在认为适当的情况下，在附图之间对参考标记加以重复以表示相应的或相似的元件。在附图中：
图1是根据一个或多个实施例的展示了多个图像色度权重的图形，每个权重可以被确定并且被输入到AWB算法中；
图2是根据一个或多个实施例的与原始图像数据块相关联的原始图像像素数据的展示；
图3A是根据一个或多个实施例的展示一种用于确定一个或多个色度权重的方法的流程图；
图3B是根据一个或多个实施例的在[R/G，B/G]传感器色度空间中绘制的彩色或非彩色原始图像数据的图形；
图4A是根据一个或多个实施例的展示一种用于确定一个或多个色度权重的方法的流程图；
图4B是根据一个或多个实施例的在[R/G，B/G]传感器色度空间中绘制的 CMC数据的图形；
图4C是根据一个或多个实施例的示例性相机传感器在归一化之后的相对光谱响应的图形；
图4D是根据一个或多个实施例的原始图像数据的相对光谱响应的图形；
图4E是根据一个或多个实施例的原始图像数据的相对光谱响应的图形；
图5是根据一个或多个实施例的展示一种用于基于色度权重确定至少一个白点估计的AWB方法的流程图；
图6是根据一个或多个实施例的采用包括用于执行图像色度测量和/或用于执行基于图像色度权重的至少一种AWB方法的逻辑的一个或多个处理器的示例性系统的简图；以及
图7是根据一个或多个实施例安排的示例性系统的简图。
具体实施方式
参照附图描述了一个或多个实施例。虽然对特定配置和安排进行了详细的描绘和讨论，但应理解，这样做仅出于说明目的。相关领域中的技术人员将认识到，在不背离本说明的精神和范围的情况下，其他配置和安排是有可能的。将对相关领域的技术人员明显的是，在此描述的技术和/或安排可以在超出在此详细描述的系统和应用之外的各种各样的其他系统和应用中被采用。
在以下详细的说明书中对附图进行参考，这些附图形成说明书的一部分并且展示了示例性实施例。此外，应当理解，在不背离要求保护的主题的范围的情况下，可以利用其他实施例并且可以做出结构的和/或逻辑的改变。因此，以下详细说明不应以限制的含义来理解并且要求保护的主题的范围仅由所附权利要求书及其等效物来限定。
在以下描述中，陈述了许多细节，然而，将对本领域技术人员明显的是，实施例可以在没有限制特定细节的情况下被实践。众所周知的方法和设备是以框图形式而非详细地示出的，以避免模糊更显著的方面。贯穿本说明书对“实施例(an embodiment)”或“一个实施例(one embodiment)”的引用意味着在至少一个实施例中包括了与所述实施例结合描述的具体特征、结构、功能或特性。因此，贯穿本说明书在各处出现的短语“在实施例中(in anembodiment)”或在“在一个实施例中(in one embodiment)”并非必须指同一个实施例。此外，在实施例的上下文中描述的具体特征、结构、功能或特性可以用任何适当的方式组合在一个或多个实施例中。例如，第一实施例可以与第二实施例在任何地方进行组合，其中，与这两个实施例相关联的具体特征、结构、功能或特性不相互排斥。
如在示例性实施例和所附权利要求书的描述中使用的，除非上下文另外明确指示，否则单数形式“一个(a)”、“一个(an)”和“所述(the)”旨在同样包括复数形式。还将理解的是，如本文使用的术语“和/或”指代并且包括相关联的列举项的一个或多个项的任何和所有可能组合。
如贯穿说明书并且在权利要求书中使用的，由术语“的至少一个(at least oneof)”或“的一个或多个(one or more of)”联接的项列表可以意味着所例举的项的任意组合。例如，短语“A、B或C中的至少一者”可以意味着A； B；C；A和B；A和C；B和C；或者A、B和C。
术语“耦接”和“连接”连同其衍生词在此可以用于描述部件之间的功能关系或结构关系。应当理解，这些术语对于彼此并非旨在作为同义词。而是，在具体实施例中，“连接”可以用于指示两个或更多个元件彼此直接进行物理的、光学的或电学的接触。“耦接”可以用于指示两个或更多个元件彼此进行直接的或间接的(在它们之间具有介入元件)物理的、光学的或电学的接触，和/或指示两个或更多个元件彼此合作或交互(例如，由于因果关系的原因)。
就对计算机存储器内的数据比特进行的操作的算法和符号表示而言，呈现在此提供的详细说明书的一些部分。如从以下讨论中明显的是，除非另外特别声明，否则应认识到，贯穿本说明书，使用如“运算(calculating)”、“计算(computing)”、“确定(determining)”、“估计(estimating)”、“存储(storing)”、“收集(collecting)”“显示(displaying)”、“接收(receiving)”、“合并(consolidating)”、“生成(generating)”、“更新(updating)”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，所述计算机系统或类似电子计算装置对表示为计算机系统的包括寄存器和存储器的电路中的物理(电子)量的数据进行操纵并且将其转换成类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置中的物理量的其他数据。
虽然以下描述阐述可以在如例如片上系统(SoC)架构的架构中显现，在此描述的技术和/或安排的实现方式不局限于具体的架构和/或计算系统，并且出于类似目的可以由任何架构和/或计算系统实现。采用例如多个集成电路(IC) 芯片和/或封装体、和/或各种计算设备和/或消费电子产品(CE)设备(如机顶盒、智能电话等)的各架构可以实现在此描述的技术和/或安排。此外，虽然以下描述可以陈述许多特定的细节(如逻辑实现、系统部件的类型和内在关系、逻辑划分/集成选择等)，要求保护的主题可以在没有这些特定细节的情况下被实践。此外，可以不详细示出某些材料(如，例如，控制结构和完整的软件指令序列)，以便不模糊在此公开的材料。
在此公开的材料的某些部分是在硬件(例如，如图形处理器中的逻辑电路) 中实现的。某些其他部分可以在硬件、固件、软件、或其任意组合中实现。在此公开的至少部分材料还可以被实现为存储于机器可读介质上的指令，这些指令可以被一个或多个处理器(图形处理器和/或中央处理器)读取或执行。机器可读介质可以包括用于存储或传输具有由机器(例如，计算设备)可读的形式的信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存器；电、光、声或其他类似非瞬态有形介质。
以下描述了一种或多种用于估计原始图像数据的色度值的系统、装置、方法和计算机可读介质。在某些实施例中，利用图像色度估计来确定原始图像数据的白点估计。在进一步的实施例中，可以通过其他算法(如，CMC依赖型技术)将白点估计与针对原始图像数据确定的一个或多个附加白点估计进行组合。在实施例中，作为AWB流水线的一部分，包括相机的电子设备估计由相机采集的原始图像数据的色度。例如作为AWB流水线的一部分，电子设备可以进一步至少部分地基于原始图像数据色度值估计确定白点估计。
如以下进一步详细描述的，原始图像数据测量可能需要确定原始图像数据距照明色度概率图的参考位置的距离。然后可以基于此距离确定原始图像数据的色度，例如，随着距离白图(white map)的中心的距离减小，图像数据被视为更加没有色彩。针对这种实施例，可以假定在色度空间内，相对更加没有色彩的图像数据位于照明色度图的(多个)高概率区域中，而相对更加色彩丰富的图像数据落入远离高概率区域的区域中。
还如以下更详细描述的，原始图像数据色度测量实施例可能需要将R、G 和B色彩通道能级进行比较。具有会聚通道能量的图像数据相比具有更发散色彩通道能量的图像数据可以被评定为更加没有色彩。在某些这种实施例中，基于由白点校正因子归一化的R、G和B通道值之间的差异确定色度，该白点校正因子取决于相机模块表征(CMC)信息和/或之前确定的“初步”白点估计。
还如以下描述的，相比于彩色图像数据，还可以偏好地由AWB方法利用由以上技术中的一项或多项技术确定为非彩色的图像数据来确定照明色度。“照明色度”是对准从非彩色表面反射的光(相等地反射全部波长而不改变照明光谱，并因此直接指示照明色度)的不同色彩成分(例如，R、G和B色彩成分)的像素块中确定的色度值。基于此“照明色度”，由AWB算法/流水线计算有待应用到ISP图像重构中的R、G和B增益。照明色度与物体的真实色度(即，物体的颜色)进行区分。更确切地，物体颜色的正确重现遵循：(i) 能够正确地估计照明色度的AWB算法；接着是(ii)从传感器RGB到sRGB 的准确的色彩变换。实施例可以在没有累赘的图像分辨率和/或图像内容要求的情况下，并且还没有计算密集的图像处理(例如，边缘检测)的情况下实现更准确且稳健的白点估计。
在此描述的色度测量实施例与如何表示输入图像无关。例如，可以以全图像分辨率应用在此描述的色度测量，或者原始图像区域可以被划分为具有或者固定的相等尺寸或者可变尺寸的块的“栅格”。每个块覆盖具有不同色彩成分 (例如，R、G和B色彩成分)的多个像素的区域。可以计算在块区域中的每个色彩成分的平均水平(例如，针对块i，指示平均值为Ri、Gi和Bi)。在块处的色度值然后等于[Ri/Gi，Bi/Gi)。
如在此使用的，“原始”图像数据是可以由上游图像信号处理(ISP)流水线预处理的图像数据。例如，在一个实施例中，原始图像数据已经被线性化且被色差校正。更确切地，在遵循在此描述的一个或多个实施例计算原始图像数据色度之前，由相机传感器输出的原始拜耳(Bayer)数据或者类似数据可能经历线性化(还包括黑度校正)和色差校正。
图1是根据实施例的展示多个图像色度权重的图形，每个权重可以被确定并且被输入到AWB算法中；图1中的实线箭头展示了在此详细描述的一个示例性实施例。虚线箭头展示了一个或多个替代性实施例，该一个或多个替代性实施例还可以基于在示例性实施例的环境中教导的原理被实践为好的效果。
“色度权重”是原始图像数据色度的度量(例如在0与1之间缩放)，其中，较大的权重值相比较低的权重值与更加非彩色的原始图像相关联。更加非彩色的原始图像数据更准确地反映照明色度，并且因此可以通过在此描述的算法基于被视为足够非彩色的原始图像数据有利地计算AWB白平衡增益。如图 1中所展示的，可以针对具有多个不同色彩成分的像素的原始数据块确定多个图像色度权重(例如，α(1)i、a(2a)i、a(2b)i)。可以使用不同的测量算法独立地(例如，并行地)确定色度权重以得出原始图像数据101的色度的独立的度量。遵循使权重互补以便由这些权重一起表示原始图像数据的稳健的照明色度测量的算法来有利地确定图像色度权重。替代性地，可以在缺乏其他权重的情况下例如根据一些控制信号等利用一个或多个色度权重。
跟随图1中的数据依赖性箭头，可以通过第一算法通过处理原始图像数据来确定色度权重α(1)i。如图1中进一步展示的，然后可以在白点估计105中采用色度权重α(1)i。可以排除任何其他色度权重或者以排除色度权重α(2a)i和/或α(2b)i的方式如此采用色度权重α(1)i。例如，跟随实线箭头，可以对原始图像数据101独立地执行三种色度测量算法，生成色度权重α(1)i、α(2a)i和α(2b)i，这些色度权重随后被线性地或非线性地组合以形成衍生色度权重α3i、α(4i)作为白点估计105的输入。色度权重的示例性组合包括但不限于：两个或更多个权重的乘积、两个或更多个权重的平均值、两个或更多个权重的加权平均值、两个或更多个权重的最大值、两个或更多个权重的最小值、两个或更多个权重的中间值、或者非线性组合(如(a1 m+...ak m)1/n)。
如图1中所展示的，多个图像色度权重中的一个或多个色度权重(例如，α(1)i、α(2a)i、α(2b)i)可以进一步部分地基于CMC表征数据102。针对色度测量生成权重α(1)i、α(2a)i、α(2b)i处于AWB流水线的前端的实施例，以使得色度权重对CMC数据的错误不敏感的有限方式采用CMC数据是有利的。在进一步的实施例中，利用初步白点估计103作为输入来确定一个或多个图像色度权重α(1)i、α(2a)i、α(2b)i。如以下进一步描述的，仍可以用与在本文其他地方描述的用于确定色度权重α(1)i、α(2a)i、α(2b)i的那些算法不同的另一种算法来确定初步白点估计103。因此，在此描述的色度测量实施例不局限于为AWB算法中的第一阶段。串行分段多色度测量可以是组合测量以提高图像场景内容变化的鲁棒性的有利方式。尽管未在图1中描绘，一个或多个色度权重α(1)i、α(2a)i、α(2b)i自己可以是串行分阶段的，其中，一种测量算法输出一个色度权重(例如，α(1)i)，该色度权重以某种方式被利用以通过第二测量算法确定另一个色度权重(例如，α(2a)I和/或α(2b)i)。例如，初步白点估计103可以是基于色度权重α(1)i并且那个初步白点估计然后可以被采用以进一步确定色度权重α(2a)i、α(2b)i。因此，可以跨AWB算法的多个阶段利用在此描述的色度测量实施例。
图2是根据一个示例性实施例的与原始图像数据块Di相关联的原始图像像素数据201的扩展视图的图示。如所展示的，N个原始图像数据块Di形成具有尺寸相等的宽和长以及均匀分布的块Di的图像栅格202。图像栅格202是针对相机模块的像素Pi采集的原始图像像素数据201的阵列的较低分辨率表示。每个数据块Di提供m*n像素的表示。例如，数据块Di可以包括各自在m*n 像素之上求平均的色彩通道值(例如，R、G、B)。原始图像栅格202可以根据相机模块的固有分辨率、根据可用于执行色度测量的处理器带宽以及根据 m*n像素集是否特定于一个块或合并成多个不同块而包括任意数量的原始图像数据块。可以以计算和噪声为代价，针对更高的相机分辨率和/或针对小非彩色区域的更大的敏灵度增加原始图像数据块的数量。如一个示例，原始图像栅格202包括80×60阵列的块(即，N＝4800)。
在实施例中，基于原始图像数据在传感器色度空间中的位置与在传感器照明色度轨迹或区域内和/或周围的最近点之间的距离确定一个或多个图像色度权重。图3A是根据一个这种实施例的展示一种用于确定原始图像数据块Di的一个或多个色度权重α(1)i的方法301的流程图。方法301从接收或访问与图像传感器相关联的CMC数据开始，该图像传感器被采用以采集由有待分析的原始图像数据块Di表示的图像像素数据。CMC数据可以有利地包括例如相机模块的RGB色彩成分的光谱响应、和照明色度的知识、以及在不同的相关色温(CCT)区域处针对色度点的典型照明光谱。在操作305处，从CMC数据中确定在传感器色度空间内的高概率白点的轨迹。替代性地，在操作305处确定色度空间的与预定置信水平相关联的区域。在一个示例性实施例中，白点的轨迹是在[R/G，B/G]传感器空间中沿着通过映射照明色度确定的相关CCT值的平均照明色度。这种二维“白图”被展示在图3B中，其中，平均照明色度 342的轨迹在高概率白点图341内被区分(例如，根据来自平均照明色度342 的轨迹的照明色度响应偏差被确定)。
方法301在操作306处继续，其中，可以可选地基于预定的饱和度值阈值对原始数据块Di进行滤波。在一个示例性实施例中，其中，针对每个原始图像数据块Di存储非饱和的红、绿和蓝像素的平均水平，在那个块内与块中的像素总量相关的饱和像素的量也被存储。从方法301中省略具有太多饱和像素的原始图像数据块Di，因为饱和像素的真实色度信息丢失了。此外，取决于传感器的特性，接近饱和像素的像素可能受像素浮散(blooming)影响。因此，方法301可以仅针对与低于预定最大饱和度阈值的饱和度值相关联的原始图像数据块行进至后续操作。
经测量的原始图像数据更加非彩色的概率随着原始图像数据与传感器色度空间中的高概率白点的轨迹之间的距离减小而增加。此距离因此在操作310 处针对每个原始数据块Di被量化并且可以以各种方式被计算。图3B进一步展示了映射到传感器色度空间的两个原始图像数据值351、352。跟随此处的实施例，原始图像数据值351相比原始图像数据值352被视为更加非彩色，因为原始图像数据值351(距离d1)相比原始图像数据值352(距离d2)更接近平均照明色度342的轨迹。任何距离信息可以充当测量原始图像数据Di的色度的基础。在某些实施例中，可以直接使图像色度权重α(1)i与该距离成比例。例如，传感器色度空间内的绝对欧几里得距离可以在原始图像数据块的R/G、B/G值与在传感器照明色度轨迹内的最近点之间确定。在一个实现方式中，该轨迹是平均照明色度(例如，轨迹342)。在替代性实施例中，可以确定在原始数据与由高概率阈值定义的某个较大区域之间的距离。例如，在白图空间341内，距离可以被假定固定在预定值(例如，1)处，并且如果原始图像数据落到白图空间341之外则确定到白图空间341的边界的距离。
在实施例中，基于在归一化色彩通道值之间的差异确定一个或多个图像色度权重。图4A是根据一个或多个实施例的展示一种用于确定原始图像数据块 Di的一个或多个色度权重α(2a)i、α(2b)i的方法401的流程图。方法401从接收与原始图像数据块Di相关联的色彩通道值开始。在示例性实施例中，色彩通道值包括三个(例如，R、G、B)通道值。在操作405处，基于色彩饱和度值阈值再次对原始数据块Di进行滤波。在一个示例性实施例中，其中，针对每个原始图像数据块Di存储非饱和的红、绿和蓝像素的平均水平，在那个块内与块中的像素总量相关的饱和像素的量也被存储。从方法401中省略具有太多饱和像素的原始图像数据块Di。因此，方法401可以仅针对与低于预定最大饱和度阈值的饱和度值相关联的原始图像数据块行进至后续操作。
在操作410处，利用白点校正因子将色彩通道值归一化。如图4A中所展示的，归一化操作410可以是基于CMC数据402和/或初步白点估计401。在一个实施例中，白点校正因子是基于与被采用以采集由原始图像数据块表示的图像像素数据的图像传感器相关联的图像传感器表征数据(即，CMC数据) 确定的固定值。作为一个示例，白点校正因子可以是基于与日光照射相关联的 CMC数据。图4B是根据实施例的在[R/G，B/G]传感器色度空间中绘制的CMC 数据的图形。可以从CMC数据中确定与特定的照明白点(如，5500K)相关联的R/G和B/G值。然后可以由校正因子(如，[1/(R/G)5500，1，1/(B/G)5500]) 将原始图像数据块Di的RBG色彩通道值的增益归一化。图4C是在归一化操作410之后与示例性相机传感器相关联的原始图像数据的RGB色彩通道的相对光谱响应的图形。
在另一个实施例中，根据在操作403处采用的不同的AWB算法确定归一化点，而不是将归一化点固定在预定CCT处，以生成初步白点估计(例如，图1中的初步估计103)。虽然操作403可以采用任何算法来确定归一化点，但是所采用的算法的操作原理有利地不同于方法401的原理。每种算法的优点和弱点针对不同类型的场景有利地互补。在操作403处利用的算法然后通过归一化操作410的依赖性有利地联接至色度测量方法401的输出。作为一个示例，在传感器色度空间中可以使用基于照明色域的信息执行初始白点估计(或初始CCT范围估计)操作403。针对CCT范围和/或白点的估计可以是基于经测量的原始图像数据落入的照明色域。然后可以基于与在操作403处确定的初步白点估计相关联的色彩通道值确定在操作410处采用的增益校正因子。
跟随归一化，方法401继续操作415，在该操作中，基于R、G和B通道值彼此靠近的程度估计原始图像数据块Di的色度。通道计数越近或越会聚，图像数据块越没有色彩。特别地，针对非彩色物体，远离对应于被用来在评定通道能量会聚度之前将色彩通道归一化的白点校正因子的照明光谱的照明光谱将在色彩成分之间引入较大的差异。然而，针对更加色彩丰富的物体，可以期望发生相同的效应。可以根据归一化的色彩通道值之间的差异确定一个或多个色度权重α(2a)i、α(2b)i。可以在操作415处确定任何变化度量。在一个示例性实施例中，在操作415处从归一化的原始图像数据块Di中确定最小色彩通道值min(Ri，Gi，Bi)和最大色彩通道值max(Ri，Gi，Bi)。色度权重α(2a)然后可以是基于最小与最大色彩通道值之比：
色度权重α(2a)i然后针对每个原始图像数据块Bi被存储于存储器中，以供随后用于针对N个数据块确定白点(例如，作为AWB方法的一部分)。在进一步的实施例中，在操作415处针对归一化的原始图像数据块Di确定平均色彩通道值Yi。可以进一步确定绝对差或第n个权力距离。在一个示例性实施例中，色彩通道值的均方根偏差被确定为：
Yi＝mean(Ri，Gi，Bi)，并且(2)
其中，k是基于最大可容许通道值的归一化常量，并且因此每通道位数b。归一化常量可以被
计算为：
作为一个示例，针对8位数据(即，具有最大通道值255)，k被计算为 14450。针对这些示例性实施例中的每个实施例，色度权重α(2a)i、α(2b)i是色彩通道值之间的差异的反函数，如α(2a)i、α(2b)i针对非彩色原始图像数据更接近于 1，而针对相对更加色彩丰富的原始图像数据更接近于0。
图4D是根据实施例的假定相等能量照明时几乎非彩色物体表面(例如，灰色)的光谱反射461的图形。光谱反射461是在对RGB通道进行求和之后获得的，出于说明目的将RGB通道归一化。对应于蓝色归一化通道能量451、绿色归一化通道能量452以及红色归一化通道能量453中的每一者的数字值几乎是相等的。利用这种原始图像数据，通过等式(1)至(4)确定的色度权重α(2a)i、α(2b)i将接近于1，并且原始图像数据块Bi被视为相对更加没有色彩。
图4E是根据实施例的假定相等能量照明时更加色彩丰富的物体表面(例如，棕色)的光谱反射462的图形。利用此原始图像数据，红色归一化通道能量453显著地高于蓝色和绿色归一化通道能量451、452。通过等式(1)至(4) 确定的色度权重α(2a)i、α(2b)i将远离1、接近0，并且原始图像数据块Bi相应地被视为相对更加色彩丰富。
在实施例中，根据一个或多个图像色度权重确定第一白点估计。利用如以上描述所确定的单独的图像色度权重α(1)i，α(2b)i，这些权重可以被组合以得出针对原始图像数据块Di的一个权重。例如，如图1中所展示的，可以组合色度权重α(2a)i与α(2b)i以推导出色度权重α(3a)i。如以上参照图1指出的，可以用任何线性或非线性方式组合色度权重。在某些实施例中，可以利用如平均值、中值、加权平均值等的统计数字。在一个示例性实施例中，α(3)i是α(2a)i与α(2b)i的乘积。在进一步的实施例中，例如通过采用α(2a)i、α(2b)i与α(1)i的乘积而将色度权重α(3)i与色度权重α(1)i进行组合，从而推导出色度权重α(4a)i。
图5是根据实施例的展示AWB方法501的流程图，在该方法中，基于一个或多个色度权重α(1)i-α(2b)i确定至少一个白点估计。方法501从操作505开始，在该操作中，例如通过执行上述方法(例如，方法301、401等)中的任何一种方法针对N个原始图像数据块Di中的每个原始图像数据块确定图像色度权重α(1)i-α(2b)i。在操作510处，初始白点估计是基于一种或多种相机模块独立算法确定的，如灰度世界(GW)算法、一次计数(one-count)GW算法、或经修改的最大RGB算法等。
白点估计操作510部分地进一步基于在操作505处确定的一个或多个图像色度权重α(1)i-α(2b)i。例如，在对图像的R、G和B成分的值求平均以得出在传感器色度空间中表示非彩色点的公共灰度值的GW算法中，将与原始图像数据块Di相关联的Ri、Gi和Bi色彩通道值乘以图像色度权重并且色度加权值然后在多个数据块之上累积：
在等式(5)中，ai是色度权重α(i)1-α(i)4中的任一项，并且在示例性实施例中为α(i)4(例如，α(i)1、α(2a)i与α(2b)i的乘积)。在某些实施例中，其中，在操作510处利用多于一种的算法，白点的加权平均值或由各算法确定的白点候选项可以输出为白点估计。此估计然后可以被存储于存储器中作为AWB流水线中的一个阶段的结果。
在一个实施例中，AWB流水线以操作510终止。在由方法501展示的示例性实施例中，然而，在操作510处获得的候选白点提供最终白点驻留的CCT 范围的估计。此范围估计被输入到AWB流水线中的一个或多个附加阶段中。根据在操作510处获得的白点的可靠性，可以利用一种或多种依赖CMC-数据的算法来在缩减的CCT范围中搜索最终的白点估计。在操作515处，例如，基于相机模块表征数据、勒克斯水平估计和/或手动CCT范围限制进一步限制 CCT。然后在操作520处采用一种或多种搜索标准/算法执行搜索非彩色区域。在操作525处，基于更高级的特征(如，脸、皮肤、场景信息、用户数据以及地理或其他设备信息)使通过搜索标识的白点更精确以由方法501得出最终的白点估计输出。最终的白点估计然后被存储于存储器中并且可以用于以任何常规的方式进行增益平衡。
图6是根据实施例的示例性系统600的原理图。尽管系统600不局限于此上下文，系统600可以是移动设备。例如，系统600可以并入膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、蜂窝电话、智能设备(例如，智能电话、智能平板机或移动电视)、移动互联网设备(MID)、消息设备、数据通信设备等。系统600还可以是基础设施设备。例如，系统600可以并入大尺寸电视、机顶盒、台式计算机或其他家用或商用网络设备中。
系统600可以实现以上在图3A、图4A和图5的背景中描述的各方法的全部或子集。在各示例性实施例中，处理器615调用或以其他方式实现包括 AWB的视频/图像增强操作。例如，如在本文其他地方所描述的，处理器615 包括用于执行图像色度测量方法的功能性，基于这些方法可以预测AWB过程。例如，在一个实施例中，处理器615实现或包括用于确定一个或多个原始图像色度权重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i的AWB模块617。在进一步的实施例中，AWB模块617进一步用于至少部分地基于图像色度权重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i确定白点。在一个示例性实施例中，处理器615包括用于至少部分地基于来自由相机模块610采集的并且经由总线传输至处理器615和/或图像信号处理器614的图像色度权重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i确定白点的固定功能和/或可编程逻辑电路。在一些实施例中，一个或多个计算机可读介质可以存储指令，所述指令当由处理器615执行时致使所述处理器执行在本文其他地方所描述的一个或多个原始图像色度测量。在替代性实施例中，ISP 614包括被配置为AWB模块616的固件，所述AWB模块确定一个或多个原始图像色度权重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i。在进一步的实施例中，AWB模块616进一步用于至少部分地基于图像色度权重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i确定白点。然后可以将一个或多个白点或图像色度权重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i存储在存储器612中。
在实施例中，系统600包括耦接到人机接口设备(HID)620的平台602。平台602可以接收来自相机模块610的原始图像数据，该原始图像数据然后由 ISP 614和/或处理器615处理、和/或被输出到HID 620和/或经由无线电618 被传达至网络660。包括一个或多个导航特征的导航控制器1050可以用来例如与平台602和/或HID 620交互。在实施例中，HID620可以包括任何电视机类型监测器或显示器。HID 620可以包括例如计算机显示屏、触摸屏显示器、视频监视器、电视机类型的设备和/或电视机。
在一个或多个软件应用616的控制下，平台602可以在HID 620上显示用户界面622。可以通过指针、光标、聚焦环或在显示器上显示的其他视觉指示符的移动在显示器(例如，HID 620)上复制控制器650的导航特征的移动。例如，在软件应用616的控制下，位于导航控制器650上的导航特征可以例如被映射为在用户界面622上显示的虚拟导航特征。
在实施例中，平台602可以包括相机模块610、ISP 614、芯片组605、处理器615、存储器612、存储设备611、应用616和/或无线电618的任意组合。芯片组605可以在处理器610、存储器612、存储设备611、图形处理器615、应用1016或无线电1018之中提供相互通信。
处理器615可以被实现为一个或多个复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元(CPU)。在实施例中，处理器615可以是(多个)多核处理器、(多个)多核移动处理器等。
存储器612可以被实现为易失性存储设备，如但不限于随机存取存储器 (RAM)、动态随机存储器(DRAM)或静态RAM(SRAM)。
存储设备611可以被实现为非易失性存储设备，如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加存储设备、闪存、电池应急 SDRAM(同步DRAM)和/或可接入网络的存储设备。
处理器615可以对如用于显示的静止或视频媒体数据的图像执行处理，或者执行普通的计算功能。处理器615可以例如包括一个或多个CPU、GPU或 SoC。可以使用模拟或数字接口来通信地耦接处理器615与显示器620。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或符合无线HD 的技术中的任何一个接口。处理器615可以与图形处理器一起集成在单芯片(即， SoC)上作为图形核或者图形处理器可以进一步被提供作为芯片组605的一部分。
无线电618可以包括能够使用各种适当的无线通信技术发射并接收信号的一个或多个无线电。这种技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)、蜂窝网和卫星网。在跨这类网络通信时，无线电618 可以根据任意版本的一个或多个可适用标准进行操作。
在实施例中，系统600可以被实现为无线系统、有线系统或二者的组合。当被实现为无线系统时，系统600可以包括适合于通过如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等的无线共享介质进行通信的组件和接口。无线共享介质的示例可以包括无线光谱部分，如RF光谱等。当被实现为有线系统时，系统600可以包括适用于通过有线通信介质(如输入 /输出(I/O)适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。
如在此描述的，可以在各种硬件架构、单元设计或“IP核”中实现图像数据色度测量以及基于这种测量预测的AWB处理。
如上所述，系统600可以用变化的物理风格或形成因子来体现。图7展示了可以用其体现系统700的小形成因数设备600的实施例。例如，在实施例中，设备700可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源(如一个或多个电池)的任何设备。
移动计算设备的示例可以包括个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
移动计算设备的示例还可以包括被配置来由人穿戴的计算机和/或媒体采集/传输设备，如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机以及其他可穿戴计算机。在各实施例中，例如移动计算设备可以实现为能够执行计算机应用程序、以及语音通信和/或数据通信的智能电话。举例来讲，尽管一些实施例可以用被实现为智能电话的移动计算设备描述，可以理解的是，其他实施例也可以使用其他无线移动计算设备实现。实施例并不局限于本上下文中。
如图7中所示，设备700可以包括外壳702、显示器704、输入/输出(I/O) 设备706和天线708。设备700还可以包括导航特征712。显示器704可以包括适合于移动计算设备的用于显示信息的任何适当的显示单元。I/O设备706 可以包括用于将信息输入移动计算设备中的任何适当的I/O设备。I/O设备706 的示例可以包括字母数字键盘、数字小键盘、触摸板、输入建、按钮、开关、摇杆式开关、麦克风、扬声器、话音识别设备和软件等。信息还可以借助于麦克风(未示出)被输入设备700中或者可以由话音识别设备数字化。实施例并不局限于本上下文中。
可以使用硬件元件、软件元件或两者的组合实现在此描述的实施例。硬件元件或模块的示例包括：处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件元件或模块的示例包括：应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、例程、子例程、函数、方法、过程、软件接口、应用程序接口 (API)、指令集、计算代码、计算机代码、代码段、计算机代码段、数据字、值、符号、或其任意组合。判定是否是使用硬件元件和/或软件元件来实现实施例可以根据针对设计选择所考虑的任意数量的因数而变化，如但不限于：期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
至少一个实施例的一个或多个方面可以由存储在机器可读存储介质上的代表性指令实现。这类指令在由机器对其进行执行的过程中可以完全地或至少部分地驻留在主存储器内和/或在处理器内，存储指令的主存储器和处理器部分然后还组成机器可读存储介质。可编程逻辑电路可以具有由实现计算机可读介质的处理器配置的寄存器、状态机等。这种如所编程的逻辑电路然后可以被理解为已经被物理地转换成落入在此描述的实施例的范围内的系统。表示处理器内的各逻辑的指令当由机器读取时还可以致使机器制造遵循在此描述的架构的逻辑和/或执行在此描述的技术。被称为元件设计或IP核的这种表示可以存储在有形的、机器可读的介质上或被供应至不同的消费者或制造设施以加载到实际上制造逻辑的制造机器或处理器中。
虽然已经参照实施例描述了在此阐述的某些特征，并不打算在限制性意义上解释本说明书。因此，本公开涉及的对本领域技术人员而言明显的对在此描述的实现方式以及其他实现方式的各种修改被视为是在本公开的精神和范围内。
以下示例涉及具体的示例性实施例。
在一个或多个第一实施例中，一种用于估计原始图像数据的色度值的计算机实现的方法包括：接收原始图像数据块的色彩通道值；以及利用白点校正因子将所述色彩通道值归一化。所述方法进一步包括：通过对所述归一化色彩通道值之间的差异进行量化来确定一个或多个第一图像色度权重。所述方法进一步包括：将与所述原始图像数据块相关联的所述一个或多个第一图像色度权重存储于存储器中。
为改进所述一个或多个第一实施例，所述方法进一步包括：根据所述一个或多个第一图像色度权重确定第一白点估计；以及将所述第一白点估计存储于存储器中。
为改进所述一个或多个第一实施例，对色彩通道值之间的所述差异进行量化进一步包括：从所述归一化原始图像数据块中确定最小色彩通道值和最大色彩通道值；以及确定所述最小与最大色彩通道值之比。
为改进所述一个或多个第一实施例，对色彩通道值之间的所述差异进行量化进一步包括：从所述归一化原始图像数据块中确定平均色彩通道值；以及从所述平均色彩通道值中确定所述色彩通道值的变化度量。
为改进所述一个或多个第一实施例，确定所述一个或多个第一图像色度权重进一步包括根据所述色彩通道值之间的所述差异确定第一和第二色度权重。
为改进所述一个或多个第一实施例，确定所述第一和所述第二色度权重进一步包括：从所述归一化原始图像数据块中确定最小色彩通道值和最大色彩通道值。所述方法进一步包括：基于所述最小与最大色彩通道值之比确定所述第一色度权重。所述方法进一步包括：从所述归一化原始图像数据块中确定平均色彩通道值。所述方法进一步包括：从所述平均色彩通道值中确定所述色彩通道值的均方根偏差。所述方法进一步包括：基于所述均方根偏差确定所述第二色度权重。
为改进所述一个或多个第一实施例，所述方法进一步包括：从与被采用以采集由所述原始图像数据块表示的图像像素数据的图像传感器相关联的传感器表征数据中确定所述白点校正因子。
为改进所述一个或多个第一实施例，所述方法进一步包括：从所述一个或多个图像色度权重中独立地确定所述白点的初步估计；以及基于所述初步估计确定所述白点校正因子。
为改进所述一个或多个第一实施例，所述方法进一步包括：基于所述原始图像数据在传感器色度空间中的位置与在传感器照明色度轨迹内的最近点之间的距离确定一个或多个第二图像色度权重。所述方法进一步包括：根据所述一个或多个第一色度权重以及所述一个或多个第二色度权重确定所述第一白点估计。
为改进以上紧挨着的实施例，所述方法进一步包括：确定所述一个或多个第二图像色度权重进一步包括：接收与被采用以采集由所述原始图像数据块表示的图像像素数据的图像传感器相关联的传感器表征数据。所述方法进一步包括：基于所述表征数据在所述传感器色度空间内确定所述传感器照明色度轨迹。所述方法进一步包括：确定在所述色度空间内在所述原始图像数据与在所述传感器照明色度轨迹中的所述最近点之间的所述距离。所述方法进一步包括：根据所述确定的距离确定所述图像色度权重。
为改进以上紧挨着的实施例，接收所述原始图像数据进一步包括：接收多个图像数据块，每个图像数据块包括表示多个像素色彩通道值的R、G和B色彩通道值。针对所述多个图像数据块中的每个图像数据块确定所述一个或多个第一图像色度权重以及所述一个或多个第二图像色度权重。确定所述第一白点估计进一步包括以下各项中的至少一项：基于在所述图像数据块之上确定的所述白点的初步估计确定所述白点校正因子；或者将针对所述多个图像数据块中的每个图像数据块确定的所述一个或多个第一图像色度权重与针对所述相应的原始数据块确定的所述一个或多个第二图像色度权重进行组合。确定所述第一白点估计进一步包括：利用所述一个或多个第一图像色度权重或者利用其所述组合对与所述多个图像数据块中的每个图像数据块相关联的所述R、G和B 色彩通道值进行加权；以及在所述多个数据块之上累积所述加权的R、G、B 色彩通道值。
为改进以上紧挨着的实施例，所述一个或多个第一图像色度权重的组合包括以下各项的乘积：第一和第二色度权重，所述第一和第二色度权重各自是每个数据块的所述R、G和B色彩通道值之间的差异的函数；以及第三色度权重，所述第三色度权重基于在所述色度空间内在所述原始图像数据与在所述传感器照明色度轨迹中的所述最近点之间的所述距离。所述方法进一步包括：针对所述原始图像数据块中的每个原始图像数据块确定饱和度值，并且仅基于与低于预定最大饱和度阈值的饱和度值相关联的所述原始图像数据块确定所述第一白点估计。
为改进以上紧挨着的实施例，所述方法进一步包括：至少部分地基于与被采用以采集由所述原始图像数据块表示的图像像素数据的图像传感器相关联的传感器表征数据确定相关色温(CCT)范围。所述方法进一步包括：通过搜索具有在所述CCT范围内的数据值的所述多个原始数据块来标识非彩色区域。所述方法进一步包括：基于所述经标识的非彩色区域确定第二白点估计。所述方法进一步包括：基于所述第一白点估计和所述第二白点估计两者确定白平衡增益。
在一个或多个第二实施例中，一种处理器包括AWB模块。所述AWB模块包括用于接收原始图像数据块的色彩通道值的逻辑电路。所述模块包括用于利用白点校正因子将所述色彩通道值归一化的逻辑电路。所述模块包括用于通过对所述归一化色彩通道值之间的差异进行量化来确定一个或多个第一图像色度权重的逻辑电路。所述模块包括用于将与所述原始图像数据块相关联的所述一个或多个第一图像色度权重存储于存储器中的逻辑电路。
为改进所述一个或多个第二实施例，所述AWB模块进一步包括用于通过以下各项量化所述归一化色彩通道值之间的所述差异的逻辑电路：从所述归一化原始图像数据块中确定最小色彩通道值和最大色彩通道值；以及确定所述最小与最大色彩通道值之比。
为改进所述一个或多个第二实施例，所述AWB模块进一步包括用于基于在传感器色度空间中的所述原始图像数据与在传感器照明色度轨迹内的最近点之间的距离确定一个或多个第二图像色度权重的逻辑电路。所述AWB模块进一步包括用于根据所述一个或多个第一色度权重以及所述一个或多个第二色度权重确定所述第一白点估计的逻辑电路。
在一个或多个第四实施例中，一种移动设备包括用于生成原始图像数据的相机模块。所述设备进一步包括处理器，所述处理器包括AWB模块。所述 AWB模块耦接于所述相机模块，用于接收所述原始图像数据。所述AWB模块用于从所述采集的原始图像数据中生成原始图像数据块。所述AWB模块用于接收原始图像数据块的色彩通道值。所述AWB模块用于利用白点校正因子将所述色彩通道值归一化。所述AWB模块用于通过对所述归一化色彩通道值之间的差异进行量化来确定一个或多个第一图像色度权重。所述移动设备进一步包括存储器，所述存储器用于存储与所述原始图像数据块相关联的所述一个或多个第一图像色度权重。
为改进所述一个或多个第四实施例，所述AWB模块进一步用于基于在传感器色度空间内的所述原始图像数据与在传感器照明色度轨迹内的最近点之间的距离确定一个或多个第二图像色度权重。所述AWB模块进一步用于根据所述一个或多个第一色度权重以及所述一个或多个第二色度权重确定所述第一白点估计。
在一个或多个第五实施例中，一种或多种计算机可读存储介质其上存储有指令，所述指令当由处理器执行时使所述处理器执行一种方法，所述方法包括：接收原始图像数据块的色彩通道值；利用白点校正因子将所述色彩通道值归一化；通过对所述归一化色彩通道值之间的差异进行量化来确定一个或多个第一图像色度权重；以及将与所述原始图像数据块相关联的所述一个或多个第一图像色度权重存储于存储器中。
为改进一个或多个第五实施例，所述介质进一步包括存储在其上的指令，所述指令当由所述处理器执行时，进一步使所述处理器执行所述方法，所述方法进一步包括：基于在传感器色度空间中的所述原始图像数据与在传感器照明色度轨迹内的最近点之间的距离确定一个或多个第二图像色度权重；以及根据所述一个或多个第一色度权重以及所述一个或多个第二色度权重确定所述第一白点估计。
在一个或多个第六实施例中，所述AWB模块包括用于执行任何一种方法的逻辑电路。
在一个或多个第七实施例中，一种或多种计算机可读存储介质其上存储有指令，所述指令当由处理器执行时使所述处理器执行如所述一个或多个第五实施例中的任何一个实施例所述的方法。
在一个或多个第八实施例中，一种处理器包括AWB模块。所述AWB模块包括用于接收原始图像数据块的色彩通道值的接收装置。所述AWB模块包括耦接于所述接收装置的用于利用白点校正因子将所述色彩通道值归一化的归一化装置。所述AWB模块包括耦接于所述归一化装置的用于通过对所述归一化色彩通道值之间的差异进行量化来确定一个或多个第一图像色度权重的色彩通道比较装置。所述AWB模块包括耦接于所述比较装置的用于存储与所述原始图像数据块相关联的所述一个或多个第一图像色度权重的存储装置。
为改进所述一个或多个第八实施例，所述色彩通道比较装置进一步包括用于从所述归一化原始图像数据块中确定最小色彩通道值和最大色彩通道值的最小/最大标识装置。所述色彩通道比较装置进一步包括耦接于所述最小/最大标识装置的用于确定所述最小与最大色彩通道值之比的配给装置。
为改进所述一个或多个第八实施例，所述AWB模块进一步包括色度距离确定装置以及白点估计装置，所述色度距离确定装置用于基于在传感器色度空间中的所述原始图像数据与在传感器照明色度轨迹内的最近点之间的距离确定一个或多个第二图像色度权重；并且所述白点估计装置耦接于所述色度距离确定装置以及所述色彩通道比较装置以便根据所述一个或多个第一色度权重以及所述一个或多个第二色度权重确定所述第一白点估计。
将认识到，这些实施例不局限于如此描述的这些示例性实施例，而是可以在不背离所附权利要求书的范围的情况下通过修改和变更来实践。例如，以上实施例可以包括特征的特定组合。然而，以上实施例不局限于这个方面，并且在实施例中，以上实施例可以包括仅采取这类特征的子集、采取这类特征的不同顺序、采取这类特征的不同组合和/或采取除了明确例举的那些特征之外的附加特征。因此，范围连同被授予权利的这些权利要求书的等效物的全部范围应参照所附权利要求书来确定。

Claims (19)

1.一种用于估计原始图像数据的色度值的计算机实现的方法，所述方法包括：
接收原始图像数据块的色彩通道值；
利用白点校正因子将所述色彩通道值归一化；
通过对所述归一化色彩通道值之间的差异进行量化来确定一个或多个第一图像色度权重；
根据所述一个或多个第一图像色度权重确定第一白点估计；以及
将所述第一白点估计存储于存储器中。
2.如权利要求1所述的方法，其中，对色彩通道值之间的所述差异进行量化进一步包括：
从所述归一化原始图像数据块中确定最小色彩通道值和最大色彩通道值；以及
确定所述最小与最大色彩通道值之比。
3.如权利要求1所述的方法，其中，对色彩通道值之间的所述差异进行量化进一步包括：
从所述归一化原始图像数据块中确定平均色彩通道值；以及
从所述平均色彩通道值中确定所述色彩通道值的变化度量。
4.如权利要求1所述的方法，其中，确定所述一个或多个第一图像色度权重进一步包括根据所述色彩通道值之间的所述差异确定第一和第二色度权重。
5.如权利要求4所述的方法，其中，确定所述第一和所述第二色度权重进一步包括：
从所述归一化原始图像数据块中确定最小色彩通道值和最大色彩通道值；
基于所述最小与最大色彩通道值之比确定所述第一色度权重；
从所述归一化原始图像数据块中确定平均色彩通道值；
从所述平均色彩通道值中确定所述色彩通道值的均方根偏差；以及
基于所述均方根偏差确定所述第二色度权重。
6.如权利要求1所述的方法，进一步包括：
从与被采用来采集由所述原始图像数据块表示的图像像素数据的图像传感器相关联的传感器表征数据中确定所述白点校正因子。
7.如权利要求1所述的方法，进一步包括：
从所述一个或多个第一图像色度权重中独立地确定初步白点估计；以及
基于所述初步白点估计确定所述白点校正因子。
8.如权利要求1所述的方法，进一步包括：
基于所述原始图像数据在传感器色度空间中的位置与在传感器照明色度轨迹内的最近点之间的距离确定一个或多个第二图像色度权重；以及
根据所述一个或多个第一图像色度权重以及所述一个或多个第二图像色度权重确定所述第一白点估计。
9.如权利要求8所述的方法，其中，确定所述一个或多个第二图像色度权重进一步包括：
接收与被采用来采集由所述原始图像数据块表示的图像像素数据的图像传感器相关联的传感器表征数据；
基于所述表征数据在所述传感器色度空间内确定所述传感器照明色度轨迹；
确定在所述色度空间内所述原始图像数据与在所述传感器照明色度轨迹中的所述最近点之间的所述距离；以及
根据所述确定的距离确定所述一个或多个第二图像色度权重。
10.如权利要求8所述的方法，其中：
所述原始图像数据进一步包括接收多个图像数据块，每个图像数据块包括表示多个像素色彩通道值的R、G和B色彩通道值；
针对所述多个图像数据块中的每个图像数据块确定所述一个或多个第一图像色度权重以及所述一个或多个第二图像色度权重；
确定所述第一白点估计进一步包括以下各项中的至少一项：基于在所述图像数据块之上确定的所述白点的初步估计来确定所述白点校正因子；或者将针对所述多个图像数据块中的每个图像数据块确定的所述一个或多个第一图像色度权重与针对相应的原始图像数据块确定的所述一个或多个第二图像色度权重进行组合；以及
确定所述第一白点估计进一步包括：
利用所述一个或多个第一图像色度权重或者利用其所述组合对与所述多个图像数据块中的每个图像数据块相关联的所述R、G和B色彩通道值进行加权；以及
在所述多个图像数据块之上累积所述加权的R、G、B色彩通道值。
11.如权利要求10所述的方法，其中：
所述一个或多个第一图像色度权重的组合包括以下各项的乘积：
第一和第二色度权重，所述第一和第二色度权重各自是每个数据块的所述R、G和B色彩通道值之间的差异的函数；以及
第三色度权重，所述第三色度权重基于所述色度空间内在所述原始图像数据与所述传感器照明色度轨迹中的所述最近点之间的距离；并且
所述方法进一步包括：
针对所述原始图像数据块中的每个原始图像数据块确定饱和度值；并且仅基于与低于预定最大饱和度阈值的饱和度值相关联的所述原始图像数据块确定所述第一白点估计。
12.如权利要求10所述的方法，进一步包括：
至少部分地基于与被采用来采集由所述原始图像数据块表示的图像像素数据的图像传感器相关联的传感器表征数据确定相关色温CCT范围；
通过搜索具有所述CCT范围内的数据值的多个原始图像数据块来标识非彩色区域；
基于所述经标识的非彩色区域确定第二白点估计；以及
基于所述第一白点估计和所述第二白点估计两者确定白平衡增益。
13.一种包括AWB模块的处理器，所述AWB模块包括用于进行以下操作的逻辑电路：
接收原始图像数据块的色彩通道值；
利用白点校正因子将所述色彩通道值归一化；
通过对所述归一化色彩通道值之间的差异进行量化确定一个或多个第一图像色度权重；
根据所述一个或多个第一图像色度权重确定第一白点估计；以及
将所述第一白点估计存储于存储器中。
14.如权利要求13所述的处理器，其中，所述AWB模块进一步包括用于通过以下各项对所述归一化色彩通道值之间的所述差异进行量化的逻辑电路：
从所述归一化原始图像数据块中确定最小色彩通道值和最大色彩通道值；以及
确定所述最小与最大色彩通道值之比。
15.如权利要求13所述的处理器，其中，所述AWB模块进一步包括用于进行以下操作的逻辑电路：
基于传感器色度空间中的所述原始图像数据与传感器照明色度轨迹内的最近点之间的距离确定一个或多个第二图像色度权重；以及
根据所述一个或多个第一图像色度权重以及所述一个或多个第二图像色度权重确定所述第一白点估计。
16.一种移动设备，包括：
相机模块，所述相机模块用于生成原始图像数据；
处理器，所述处理器包括AWB模块，其中，所述AWB模块耦接于用于接收所述原始图像数据的存储器，并且用于：
从采集的原始图像数据中生成原始图像数据块；
接收原始图像数据块的色彩通道值；
利用白点校正因子将所述色彩通道值归一化；
通过对所述归一化色彩通道值之间的差异进行量化来确定一个或多个第一图像色度权重；
根据所述一个或多个第一图像色度权重确定第一白点估计；以及
存储器，所述存储器用于存储所述第一白点估计。
17.如权利要求16所述的移动设备，其中，所述AWB模块进一步用于：
基于传感器色度空间内的所述原始图像数据与传感器照明色度轨迹内的最近点之间的距离确定一个或多个第二图像色度权重；以及
根据所述一个或多个第一图像色度权重以及所述一个或多个第二图像色度权重确定所述第一白点估计。
18.一种包括AWB模块的处理器，所述AWB模块包括用于执行如权利要求1至12中任一项所述的方法的逻辑电路。
19.一种或多种计算机可读存储介质，其上存储有指令，所述指令当由处理器执行时使所述处理器执行如权利要求1至12中任一项所述的方法。
CN201580017550.7A 2014-04-29 2015-03-13 利用对原始图像数据的色度测量进行自动白平衡 Active CN106211804B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/264,772 2014-04-29
US14/264,772 US9386289B2 (en) 2014-04-29 2014-04-29 Automatic white balancing with chromaticity measure of raw image data
PCT/US2015/020370 WO2015167676A1 (en) 2014-04-29 2015-03-13 Automatic white balancing with chromaticity measure of raw image data

Publications (2)

Publication Number Publication Date
CN106211804A CN106211804A (zh) 2016-12-07
CN106211804B true CN106211804B (zh) 2018-06-12

Family

ID=54336001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580017550.7A Active CN106211804B (zh) 2014-04-29 2015-03-13 利用对原始图像数据的色度测量进行自动白平衡

Country Status (6)

Country Link
US (1) US9386289B2 (zh)
EP (1) EP3138283B1 (zh)
JP (1) JP6478129B2 (zh)
KR (1) KR101903626B1 (zh)
CN (1) CN106211804B (zh)
WO (1) WO2015167676A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307215B1 (en) * 2014-12-19 2016-04-05 Omnivision Technologies, Inc. Automatic white balance methods and systems for electronic cameras
US9307214B1 (en) * 2014-12-19 2016-04-05 Omnivision Technologies, Inc. Automatic white balance methods and systems for electronic cameras
CN105611264B (zh) * 2015-12-30 2018-09-14 努比亚技术有限公司 一种自动白平衡方法及装置
CN106485674A (zh) * 2016-09-20 2017-03-08 天津大学 一种基于融合技术的弱光图像增强方法
US20180115757A1 (en) * 2016-10-21 2018-04-26 Qualcomm Incorporated Mesh-based auto white balancing
KR102636465B1 (ko) * 2016-10-24 2024-02-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 전자장치
CN107085858B (zh) * 2017-03-24 2019-04-05 广州市雅江光电设备有限公司 一种混合颜色的校正方法
WO2019026189A1 (ja) * 2017-08-01 2019-02-07 オリンパス株式会社 撮像装置および制御方法
CN107909617B (zh) * 2017-11-13 2020-03-17 四川大学 一种基于非线性对比度加权的光源颜色估计方法
US10477177B2 (en) 2017-12-15 2019-11-12 Intel Corporation Color parameter adjustment based on the state of scene content and global illumination changes
CN109963134A (zh) * 2017-12-25 2019-07-02 合肥君正科技有限公司 一种校正图像的方法及装置
WO2020023675A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Method and system for color calibration of an imaging device
US11361474B2 (en) * 2018-08-03 2022-06-14 Magic Leap, Inc. Method and system for subgrid calibration of a display device
US10791310B2 (en) 2018-10-02 2020-09-29 Intel Corporation Method and system of deep learning-based automatic white balancing
WO2020156653A1 (en) * 2019-01-30 2020-08-06 Huawei Technologies Co., Ltd. Method for generating image data for machine learning based imaging algorithms
US10887567B2 (en) * 2019-03-19 2021-01-05 Microsoft Technology Licensing, Llc Camera color image processing
CN110211191B (zh) * 2019-05-31 2021-02-05 广州市雅江光电设备有限公司 一种混合颜色校正方法、装置、终端设备及可读存储介质
CN114586330B (zh) 2019-11-13 2023-04-21 华为技术有限公司 颜色恒常性的多假设分类
KR20210078656A (ko) * 2019-12-19 2021-06-29 삼성전자주식회사 화이트 밸런스를 제공하는 방법 및 이를 지원하는 전자 장치
KR20220099789A (ko) * 2021-01-07 2022-07-14 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
CN115205163B (zh) * 2022-09-15 2022-12-09 深圳前海量子云码科技有限公司 一种标识图像的处理方法、装置、设备及存储介质
WO2024157224A1 (en) * 2023-01-27 2024-08-02 Huddly As Systems and methods for adjusting color balance and exposure across multiple cameras in a multi-camera system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1574976A (zh) * 2003-06-19 2005-02-02 三星电子株式会社 用于数字图像设备的白平衡调整装置和方法
CN102404582A (zh) * 2010-09-01 2012-04-04 苹果公司 用于自动白平衡处理的灵活的颜色空间选择
CN103093429A (zh) * 2013-01-18 2013-05-08 金三立视频科技（深圳）有限公司 图像增强方法
US8599280B2 (en) * 2009-11-23 2013-12-03 Samsung Electronics Co., Ltd. Multiple illuminations automatic white balance digital cameras

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396225B2 (ja) * 2003-10-31 2010-01-13 コニカミノルタオプト株式会社 ホワイトバランス制御装置及び電子機器
JP4849818B2 (ja) * 2005-04-14 2012-01-11 イーストマン コダック カンパニー ホワイトバランス調整装置及び色識別装置
US20070047803A1 (en) * 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
DE602005016702D1 (de) * 2005-12-01 2009-10-29 Arima Computer Corp Verfahren zum Weissabgleich
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
US8049789B2 (en) * 2006-12-15 2011-11-01 ON Semiconductor Trading, Ltd White balance correction using illuminant estimation
JP5250996B2 (ja) * 2007-04-25 2013-07-31 株式会社ニコン ホワイトバランス調整装置、撮像装置、およびホワイトバランス調整プログラム
US7972266B2 (en) 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
US8004566B2 (en) * 2008-02-13 2011-08-23 Qualcomm Incorporated Self calibration of white balance for a digital camera device using correlated color temperature data
US8149292B2 (en) * 2008-06-11 2012-04-03 Omnivision Technologies, Inc. Automatic white balance using non-uniform averaging
US8243162B2 (en) * 2008-12-11 2012-08-14 Omnivision Technologies, Inc. Automatic white balancing using meter sensors
DE102009025662A1 (de) * 2009-06-17 2010-12-23 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Steuern einer mehrfarbigen Ausgabe eines Bilds eines medizinischen Objekts
WO2011040906A1 (en) 2009-09-29 2011-04-07 Hewlett-Packard Development Company, L.P. White balance correction in a captured digital image
US8698918B2 (en) * 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
TW201142807A (en) * 2010-05-20 2011-12-01 Chunghwa Picture Tubes Ltd RGBW display system and method for displaying images thereof
JP2012028973A (ja) * 2010-07-22 2012-02-09 Nippon Telegr & Teleph Corp <Ntt> 照明光推定装置、照明光推定方法および照明光推定プログラム
US8948545B2 (en) * 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
JP5942522B2 (ja) * 2012-03-23 2016-06-29 株式会社ニコン 撮像装置
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1574976A (zh) * 2003-06-19 2005-02-02 三星电子株式会社 用于数字图像设备的白平衡调整装置和方法
US8599280B2 (en) * 2009-11-23 2013-12-03 Samsung Electronics Co., Ltd. Multiple illuminations automatic white balance digital cameras
CN102404582A (zh) * 2010-09-01 2012-04-04 苹果公司 用于自动白平衡处理的灵活的颜色空间选择
CN103093429A (zh) * 2013-01-18 2013-05-08 金三立视频科技（深圳）有限公司 图像增强方法

Also Published As

Publication number Publication date
US9386289B2 (en) 2016-07-05
EP3138283A1 (en) 2017-03-08
KR101903626B1 (ko) 2018-10-04
KR20160127806A (ko) 2016-11-04
EP3138283A4 (en) 2017-12-13
US20150312540A1 (en) 2015-10-29
CN106211804A (zh) 2016-12-07
WO2015167676A1 (en) 2015-11-05
JP2017510186A (ja) 2017-04-06
JP6478129B2 (ja) 2019-03-06
EP3138283B1 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
CN106211804B (zh) 利用对原始图像数据的色度测量进行自动白平衡
US10542243B2 (en) Method and system of light source estimation for image processing
EP3542347B1 (en) Fast fourier color constancy
US9875724B2 (en) Method and electronic device for adjusting display
CN107004255A (zh) 使用自相似度驱动混合的带细节保留的非局部均值图像去噪
CN107343189B (zh) 白平衡处理方法和装置
CN107431790A (zh) 卷积颜色校正
US20150186743A1 (en) Image processing utilizing reference images
CN107925755A (zh) 针对图像处理进行平面表面检测的方法和系统
CN109741279A (zh) 图像饱和度调整方法、装置、存储介质及终端
US9049407B2 (en) Color correction of images
CN107278314A (zh) 具有自适应有向空间滤波器的非局部均值图像去噪
CN113132704B (zh) 一种图像处理的方法、装置、终端以及存储介质
WO2020215861A1 (zh) 图片显示方法、图片显示装置、电子设备及存储介质
CN107836115A (zh) 使用红外和/或紫外信号的自动白平衡
WO2019195004A1 (en) Color sensing ambient light sensor calibration
WO2023016320A1 (zh) 图像处理方法、装置、设备及介质
TWI411968B (zh) 圖像特徵計算方法以及圖像檢索方法
JP2023538781A (ja) ホワイトバランス補正方法、装置及び電子機器
CN108200352A (zh) 一种调解图片亮度的方法、终端及存储介质
WO2023005870A1 (zh) 一种图像处理方法及相关设备
Ahn et al. Improving color constancy by saturation weighting
CN111918047A (zh) 拍照控制方法及装置、存储介质和电子设备
CN110808002A (zh) 屏幕的显示补偿方法、装置及电子设备
CN113554554B (zh) 图像颜色过滤方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant