CN104052979A - 用于图像处理的装置和技术 - Google Patents

用于图像处理的装置和技术 Download PDF

Info

Publication number
CN104052979A
CN104052979A CN201410087828.5A CN201410087828A CN104052979A CN 104052979 A CN104052979 A CN 104052979A CN 201410087828 A CN201410087828 A CN 201410087828A CN 104052979 A CN104052979 A CN 104052979A
Authority
CN
China
Prior art keywords
gray scale
gray
image
white balance
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410087828.5A
Other languages
English (en)
Other versions
CN104052979B (zh
Inventor
J·达努维茨
S·施瓦茨
Z·阿维夫
D·斯坦希尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104052979A publication Critical patent/CN104052979A/zh
Application granted granted Critical
Publication of CN104052979B publication Critical patent/CN104052979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

一种装置可以包括图像传感器和处理器电路,所述图像传感器包含多种像素元素以检测一个或多个图像,所述处理器电路耦合到所述图像传感器。所述装置可以包括白平衡模块,用于在所述处理器电路上的执行,从而:基于一个或多个图像中的所检测的图像,为多种像素元素中的多个像素元素接收用于相应的三个或更多个颜色通道的三个或更多个灰度级值;为相应的三个或更多个颜色通道确定灰度似然函数,所述三个或更多个灰度似然函数包括来自每一个相应的颜色通道的一个或多个灰度级的、对所检测的图像的灰度像素的比例贡献;以及基于所确定的灰度似然函数,为两个或多个颜色通道确定白平衡增益。说明并要求保护其他实施例。

Description

用于图像处理的装置和技术
技术领域
本文中所描述的实施例概括地涉及电子成像,且具体来说涉及用于图像处理的白平衡。
背景技术
当前用于捕获数字图像的传感器通常包含像素的阵列,每一个像素都记录了光强度或亮度。这样的传感器可以使用电荷耦合器件(CCD)或其他半导体器件作为传感器元件或单元的检测器部分。为了以数字格式记录彩色图像,在光射到传感器像素上之前,通常将二维彩色滤光器应用于滤光。彩色滤光器包括子滤光器的阵列,每一个子滤光器都设计为只将给定波长(范围)的光发射到给定单元或子像素。例如,在某些滤光器中,子滤光器的阵列可以由红色、绿色和蓝色子滤光器组成。因此,由这样的滤光器覆盖的传感器的任何给定检测器都可以接收红色、绿色或蓝色的光,将传感器的每一个检测器渲染为相应的红色、绿色或蓝色子像素。每一个子像素由此记录了相应的红、绿或蓝光波长范围的光子,并将光子转换为与光量成正比的电荷。
在某些相机中,使用了青、品红和黄色(CMY)子滤光器,而不是红、绿、蓝(RGB)滤光器,因为前者发射更多的光。其他滤光器可以使用四个不同的彩色滤光器。无论彩色滤光器的方案如何,所有彩色滤光器阵列传感器或相机中的共同要素在于,相机传感器中的每一个单元都捕获一种颜色的光并将所接收的光转换为该颜色的灰度级强度或灰阶值。
通常,将捕获的灰度级变换为一组新的灰度级,所述一组新的灰度级可以在屏幕上或通过某些介质格式呈现。这个过程通常称为相机图像/信号处理(ISP)。图像经常初始捕获为单通道图像,以使得三通道图像的期望的颜色在捕获后沿着成像传感器矩阵被二次采样(拼接(mosaicke))。
为了输出用于拼接图像的全彩色图像,使用了称为去马赛克的内插处理。然而,在去马赛克之前,通常对捕获的图像执行“白平衡”处理。白平衡指在图像的白色(灰色)区域中对不同的颜色通道调整强度值的过程,以使得用于诸如红、绿和蓝色的不同颜色的调整值尽可能彼此相同。因此,如果以均匀照明捕获了灰色斑块(gray patch),所有子像素或单元(不论是红色、绿色还是蓝色)都应报告几乎相同的强度等级。通常,校正白平衡的已知方法包括对红色、绿色和蓝色单元的全局(全图像)增益的计算。假设从图像中去除了消隐脉冲(pedestal)(黑电平(black level)),如果选择适当的话,则这些增益可以校正图像中的白平衡。
然而,当前使用的基于通常采用的方案的图像处理同等地处理所记录的图像的所有像素,即使在典型图像中,许多或大多数像素没有呈现出灰色区域。因此,基于公知过程的白平衡可能是不准确的。
因此,需要改进的技术和装置来解决这些及其他的问题。
附图说明
图1示出了系统的实施例。
图2A示出了示例性传感器。
图2B示出了图2A的传感器的示例性检测器等级。
图3示出了的示例性白平衡模块的操作。
图4以图形方式示出了示例性功能。
图5示出了示例性白平衡模块的操作的更多细节。
图6示出了另一个示例性功能。
图7示出了进一步的示例性功能。
图8示出了另一个示例性功能。
图9示出了示例性第一逻辑流程。
图10示出了示例性第二逻辑流程。
图11示出了示例性系统架构。
具体实施方式
实施例涉及数字记录的彩色图像的处理。在多个实施例中,提供了技术,以有效且准确地确定应用于诸如RGB传感器之类的彩色传感器系统的彩色像素单元的白平衡增益。各个实施例克服了基于当前白平衡方案的不准确性。
各个实施例利用当前采用的灰色世界和灰色斑块方案的优势,并以利用这两个方案的最大优势的创新且强大的方式组合了这些方案的方面。
一些方法当前在实际中用于确定拼接图像(mosaicked image)的白平衡增益。一个通常的方案称为灰色世界假设(gray world assumption)。这个方法“假设”世界的大部分是灰色的,为此,在整个记录的图像上对红、绿和蓝色像素值求和,且使不同的颜色相等。在一个示例中,如果SR=Sum(红),SG=Sum(绿)且SB=Sum(蓝),将绿色增益GG定义为1.0,则红色增益RG=SG/SR,且蓝色增益BG=SG/SB。
公知的灰色边缘假设的另一个方案假设大多数图像边缘是“灰色的”,且由此以与灰色世界假设中类似的方式,使得红、绿和蓝色像素的梯度相等。称为灰色(白色)斑块的另一组方案包括尝试使用各种策略在图像中对灰色斑块进行定位算法。一旦找到这些斑块,就能够自动地计算白平衡增益。
然而,由于在灰色世界方案中,所有像素值被同等地加权,所以应用于不同像素的适当增益的计算可能是不准确的。
如下详述的那样,本实施例代之以提供的方案是,确定来自每一个颜色通道的、对图像的类灰色像素(gray-like pixel)的比例贡献。由相应的R、G、B灰度似然函数506A、506B和506C示出,一旦处理了整个图像,最终值就指示根据相应的R、G、B颜色通道对图像的类灰色像素的比例贡献。
另外,在多个实施例中,白平衡基于在整个图像上所收集的数据,以使得适当增益的计算比采用局部白色斑块的分析的公知方案更为全面。其优点在于避免了涉及非普通计算(non-trivial calculation)的白色斑块的自动确定的必要性。
多个实施例可以包括一个或多个要素。要素可以包括被布置为执行特定操作的任何结构。按照对一组给定的设计参数或性能约束所期望的那样,一些要素可以实现为硬件、软件或其任意组合。尽管通过例示的方式描述了以特定拓扑结构具有限数量的要素的实施例,但按照对给定实施方式所期望的那样,实施例可以以替换的拓扑结构包括更多或更少的要素。值得注意的是,对“一个实施例”或“实施例”的任何引用表示结合所述实施例描述的特定的特征、结构或特性包括在至少一个实施例中。说明书中多处出现的术语“在一个实施例中”不必然指向同一实施例。
图1示出了符合本实施例的系统100的实施例。系统100包括处理器电路(本文称为“CPU”)102、图像传感器104、白平衡模块106、存储器108和显示设备110。CPU102和图像传感器104可以构成包括其他部件的平台的部分,所述其他部件例如是显示引擎、存储器、存储器控制器以及对于本领域技术人员显而易见的其他部件。在一些实施例中,系统100可以具体化为数码相机、摄像机、智能电话、蜂窝电话、笔记本计算机、平板计算设备、台式计算机、电子游戏设备、家用器具或其他电子设备。实施例不限于该上下文。
具体地,在多个实施例中,CPU102和/或白平衡模块106具体可以包括多个硬件元件、软件元件或二者的结合。硬件元件的示例可以包括设备、部件、处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(PFGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件元件的示例可以包括软件部件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。确定是否使用硬件元件和/或软件元件来实施实施例可以根据许多因素而变化,例如期望的计算速率、功率等级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度,以及如对给定实施方式所希望那样的其他设计或性能约束。
显示设备110的示例包括液晶显示器(LCD)、发光二极管(LED)、触敏显示器、等离子体显示器、阴极射线管、及其他显示类型。在多个实施例中,系统100可以包括多个输入设备(未示出),所述多个输入设备包括但不限于,键盘、小键盘、鼠标、操纵杆、触控屏,或其他输入设备。
在操作中,如以下详述的那样,白平衡模块106可以在诸如CPU102之类的系统100中的处理器上进行执行,以为由图像传感器104记录的图像产生白平衡增益。除非另有指出,本文使用的术语“图像传感器”和“传感器”总体上指代相同的实体,即检测和/或记录能够用于产生图像的电磁辐射的设备。更具体地,本实施例的传感器是以像素的阵列方式被布置的彩色传感器,其采用了大于三个的不同彩色单元或子像素中的三个。在产生了白平衡增益后,例如,根据用于储或在数字显示器上呈现的公知技术可以通过ISP链来处理白平衡图像。
图2A示出了根据多个实施例的传感器200的细节。传感器200包括彩色滤光器202和检测器204。彩色滤光器202被布置为以某方式覆盖检测器204,所述某方式是在光到达检测器204之前拦截入射到传感器200上的光。如下所述,可见波长光由彩色滤光器202滤除。
如图2A中进一步示出的,传感器200的彩色滤光器202包括二维图案或子滤光器208、210、212,其每一个都表示不同的彩色滤光器。每一个子滤光器,连同基础检测器元件214一起可以表示子像素或单元。在一个实施方式中,彩色滤光器202是拜尔滤光器,其中,子滤光器208是红色滤光器,子滤光器210是绿色滤光器,子滤光器212是蓝色滤光器。图2A还示出了像素元素206,该像素元素206表示传感器200内的子像素的2x2阵列。在具体实施例中,像素元素206包括拜尔滤光器部分或部件206A,其包括两个绿色子滤光器(子滤光器210),一个红色滤光器208和一个蓝色子滤光器212。像素元素206还包括位于拜尔滤光器部件206A下方的检测器元件214的2X2阵列206B。与多个实施例一致,像素元素中的子像素可以包括RGGB、BGGR、GRBG或GBRG布置。
为了清楚,图2B仅示出了检测器204,其布置为一系列阵列206B,其每一个都包含四个检测器元件214。如图2A所示,拜尔滤光器部件206A在整个滤光器202上以有规律阵列进行自身的重复。因此,尽管检测器元件214可以基本上彼此相似或相同,但根据叠置给定检测器元件214的相应的子滤光器(208、210、212),邻近的检测器元件214构成了不同的子像素的部分。
与本实施例一致,在像素元素的等级检测并记录灰度级值,像素元素的等级包括表示三个或更多个不同颜色的三个或更多个子像素。如本文所使用的那样,术语“灰度级”和“灰度级值”可互换地用于指代与传感器元件检测到的光强度相关联的离散整数值。该术语可以结合诸如传感器之类的部件、子像素或像素以及诸如本文以下所述的函数的分布来使用。在附图中总体上描述的实施例中,像素元素可以是如上所述的拜尔滤光器传感器的像素元素,但其他实施例可以采用其他公知的彩色滤光器,如同本领域技术人员将理解的那样。在拜尔滤光器的情况下,每一个像素元素都可以在一组特定颜色存储器元件(通道)中进行输出,其包括用于红色子像素的灰度级(值)、用于蓝色子像素的灰度级、和用于两个绿色子像素的灰度级,具有图2A中所示的几何布置。在一些实施方式中,用于两个不同绿色子像素的灰度级输出可以是平均的。
一旦记录了图像,就可以由白平衡模块106处理由传感器像素元素206的阵列所检测的红色、绿色和蓝色的灰度级强度(本文中分别表示为R、G、B),以确定应用于由每一个像素元素206记录的原始图像的适当的白平衡增益。具体地,如下详述的那样,对于每一个像素元素,白平衡模块106将灰度级强度R、G、B转换为相应的归一化强度nR、nG、nB。这些归一化强度用于为即将用于记录图像的不同颜色通道产生一组“灰度似然”函数。当处理了图像的全部像素元素时,最终的灰度似然函数用于为所检测的图像的两个或更多个颜色通道设定白平衡增益。
图3示出了符合本实施例的白平衡模块106的操作的总体特征。由如上所述布置的传感器200检测原始图像302。为了清楚,在图3中,没有明确显示分离的拜尔滤光器。传感器200的每一个像素元素206都记录一组灰度级强度或值R、G、B。具体地,R由子像素222检测,两个子像素220用于检测G,子像素224检测B。为传感器200的不同像素元素206记录这些灰度级强度,所述传感器200产生拜尔图像,所述拜尔图像表示用于记录原始图像302的每一个像素元素206的相应的R、G、B灰度级强度的拼接图像。拼接图像由白平衡模块106接收为拼接图像304,用于进一步的处理。
如图3中进一步示出的那样,白平衡模块106接收可以被储存在存储器108中的灰度指示函数306其。以下相对图4更详细论述灰度指示函数306,其由白平衡模块106使用,以便确定对应于为被处理的给定像素元素206记录的R、G、B值的灰度的程度。随着由像素元素206记录的数据被处理,每一个像素元素206的灰度的程度用于为传感器200的每一个颜色通道(在此情况是R、G、B)递增地构建一组灰度似然函数。
在对传感器200的像素元素206进行处理之后,最终灰度似然函数由白平衡模块106用于产生白平衡增益308。这些白平衡增益随后用于调整颜色通道的相对强度,所述颜色通道对应于用于记录部分原始图像302的像素元素206,包括视为白色(灰色)的原始图像的部分。以此方式,单个红色、绿色和蓝色值在图像的灰色区域中彼此相等,或彼此更接近于匹配。这个过程的效果是:将加权平均方案用于白平衡,以使得每一个像素元素206的贡献都基于像素元素206为灰色的接近性,其中,当不同颜色通道具有相等的灰度级强度时,理想的灰度条件存在。
在特定实施例中,为了确定像素为灰色的似然性,可以将R、G、B值转换可以为归一化的R、G、B值(nR、nG、nB),其中
nR = R R + G + B - - - ( 1 )
nG = G R + G + B - - - ( 2 )
nB = B R + G + B - - - ( 3 )
与本实施例一致,基于那样的像素元素的nR、nG、nB产生函数以确定该像素元素的灰度的量。具体地,这个灰度指示函数(IFUNC)用于指定灰度的程度或量作为被分析的像素元素的nR、nG、nB准确组合的函数。这个灰度指示函数(IFUNC)与可以表示为Pr(Gray|(R,G,B))的概率分布成比例。在以下的论述中,后一函数可以与术语IFUNC互换地使用,用以表示灰度指示函数。
从以上的表达式(1)到(3)显而易见的那样,应当注意,对于任何给定像素元素,三个表达式中仅有两个是独立的。换言之,提供定义,nR+nG+nB的总和等于固定值1。这样,如果指定了三个归一化的值nR,nG,nB中的任意两个,那么也就确定了第三个归一化的值,就是说,将第三个归一化的值固定地指定为在值1与其他两个归一化值的总和之间的差。因此,灰度指示函数IFUNC可以方便地绘制为两个独立归一化值的函数。
与多个实施例一致,产生灰度指示函数,其中,灰度指示函数在所有nR、nG、nB全都相等时达到最大值,且在归一化的灰度级强度中的一个等于1时达到最小值。因此,灰度指示函数中的最大值指示对于给定像素的完美灰度,而灰度指示函数中的最小值指示该像素中的纯单色。图4示出了描绘为nR和nG的函数的一个示例性灰度指示函数306。具体地,图4表示了具有一组相互正交的轴的三维图形,其中,轴402对应于nR的值,轴404对应于nG的值,轴406对应于IFUNC的值。显然,在这个实施例中,IFUNC可以在0和1之间变化。为了以连续且稳定的方式合并给定像素元素的灰度的量,可以按照以下方式来构建灰度指示函数IFUNC。在对应于nR和nG的坐标等于(1/3,1/3)的nR-nG平面408中的点,将灰度指示函数IFUNC的值设定为等于1。注意,在参数空间中的这个点,根据由以上表达式(1)到(3)建立的边界条件,nB的值也为1/3。因此,nR-nG平面408中的点(1/3,1/3)指定了一条件,其中,给定像素元素(例如见图3的像素元素206)的所有归一化的灰度级nR、nG、nB相等。在此条件下,由像素元素记录的图像部分可以视为理想的灰色,其对应于值1,表示灰度指示函数IFUNC的最高值。
应当注意,nR-nG平面中的点(1/3,1/3)可以从传感器中不同的像素元素产生,其中,不同的像素元素对于所记录的图像呈现不同的灰度级强度。例如,使用8位灰度级方案,用于第一像素元素206中的R、G和B的灰度级强度值可以分别为“124”、“124”和“124”。从表达式(1)-(3)和图4中显而易见,这些灰度级强度值为灰度指示函数IFUNC306产生了值1。在第二像素元素206中,用于R、G和B的灰度级强度值可以分别为“193”、“193”和“193”。类似的,这些灰度级强度值为灰度指示函数IFUNC306产生了值1。因此,总体上所检测的亮度可以在不同像素元素中变化,根据灰度指示函数IFUNC306,所述像素元素被确定为理想的灰色。
进一步如图4示出的那样,对于nR-nG平面的任何其他点,灰度指示函数IFUNC306的值从在nR、nG=(1/3,1/3)的1减小。在nR、nG=(0,0)、nR、nG=(1,0)、nR、nG=(0,1),灰度指示函数IFUNC306的值为0。这些点分别对应于灰度级强度R和灰度级强度G为0、灰度级强度R为0且灰度级强度B为0、和灰度级强度R为0且B为0的像素元素。这后三个点中的每一点由此表示仅像素元素的单一颜色单元检测可记录信号的情况。因此,灰度指示函数IFUNC306产生指示这样像素元素与灰色相反的值0,因为仅检测到单一颜色。
在图4的示例中,灰度指示函数IFUNC306以关于如图4中的峰410所示的点nR,nG=(1/3,1/3)对称的方式从值1减小。但在其他实施例中,灰度指示函数IFUNC306无需以对称的方式减小,只要灰度指示函数IFUNC306关于nR,nG=(1/3,1/3)严格减小,并在nR、nG=(0,0)、nR、nG=(1,0)、和nR、nG=(0,1)为0即可。
在多个实施例中,诸如灰度指示函数IFUNC306之类的灰度指示函数可以预先储存在存储器中,以便由白平衡模块在拼接图像的图像处理期间使用。例如,灰度指示函数IFUNC306可以以nR、nG的离散值储存在表或者其他数据结构中。在一些情况下,可以使用单位值的选定位分辨率来使得用于灰度指示函数IFUNC306的值离散化。
根据多个实施例,如以下相对于图6A到6C详述的那样,白平衡模块106可以采用灰度指示函数IFUNC306来为拼接图像的不同颜色构建所谓的灰度似然函数,所述灰度似然函数又用于确定应用于拼接图像的适当白平衡增益。具体地,图5示出了用于构建一系列R、G、B灰度似然函数506的大致流程。R、G、B灰度似然函数506将灰度指示函数IFUNC306投影到由传感器的像素元素记录的每一个单一颜色分量红色、绿色、蓝色中。在总体上如图5所示的多个实施例中,随着每一个像素元素被估值,由白平衡模块106递增地构建R、G、B灰度似然函数506。
在多个实施例中,可以分别由Pr(Gray|R)、Pr(Gray|G)和Pr(Gray|B)来表示R、G、B灰度似然函数506。这些函数可以构成其每一个都具有预定的域的离散函数,例如用于8位方案的[0,255]。R、G、B灰度似然函数506的范围可以是非负实数集的子集。
图6、7和8分别示出了示例性的红色灰度似然函数506A、绿色灰度似然函数506B和蓝色灰度似然函数506C。如图5建议的那样,以柱状图形式显示的灰度似然函数506A、506B和506C可以表示在处理了多个像素元素206之后的情况。灰度似然函数506A、506B和506C可以被认为是边缘条件概率密度,其作为灰度级的函数,为每一个颜色通道表示对图像的类灰色的像素的灰度“贡献”。
具体地转向图6,红色灰度似然函数506A可以定义由沿轴602的不同点所表示的一系列灰度级值。应当注意,在一些实施例中,红色灰度似然函数506A可以横跨总共256个不同等级或值。因此,出于总体上例示的目的而显示了图6-8的柱状图,并非意图指示在给定灰度似然函数中含有的任何特定数量的灰度级。通常,灰度似然函数506A的这些灰度级中的每一个都可以对应于不同红色(像素)灰度级值R,所述灰度级值R在一些实施例中可以对应于8位灰阶。可以将绿色灰度似然函数506B和蓝色灰度似然函数506C布置为横跨相同的灰阶值范围。
具体地,灰度似然函数506A、506B、506C中的每一个都可以如下构建。在处理图像时,对于每一个像素元素206,白平衡模块106可以由给定像素元素206的相应的子像素所检测的接收红色、绿色和蓝色灰度级值R、G、B的三元组。随后,如上所示述,白平衡模块106可以将给定像素的R、G、B三元组转换为该像素元素的归一化RGB值nR、nG和nB的三元组。白平衡模块106随后可以为经确定的归一化RGB三元组估算诸如IFUNC306之类的灰度指示函数。
在图4的示例之后,可以估算灰度指示函数IFUNC或Pr(Gray|(R,G,B))作为为传感器的每一个像素元素206确定的nR、nG的函数。白平衡模块106随后为当前像素元素产生像素灰度因子504,所述灰度因子表示给定了当前像素元素的nR、nG的计算值的情况下的Pr(Gray|(R,G,B))的值(一旦确定了其他的对,就按照表达式(1)-(3)确定nB)。在图4中,示出了由点414指示的灰度因子的确定的示例。这个点表示(nR,nG)=(0.3,0.25)的灰度指示函数IFUNC306的表面。在此情况下,像素灰度因子的值由点412在轴406上的投影414表示。对于所示的特定示例,像素灰度因子等于0.6。
一旦为像素元素计算像素灰度因子,就将像素灰度因子的值加到R、G、B灰度似然函数Pr(Gray|R)、Pr(Gray|G)和Pr(Gray|B)。如图5中的示例所例示的那样,输出像素灰度因子504以更新R、G、B灰度似然函数506。对于任何给定像素元素,将计算的像素灰度因子504加到在像素元素的相应的检测的R、G、B值处的特定R、G、B灰度似然函数。在图4的示例之后,对于(nR,nG)=(0.3,0.25)、(nB=0.45),可以将0.6的像素灰度因子加到柱状图的颜色区间(bin)或列,其对应于确定nR、nG的彩色像素的所检测的灰度级强度。在图6的示例中,这些灰度级对应于相应的R、G、B灰度似然函数506A、506B和506C中的特征(等级)604、606、608,向所述灰度似然函数506A、506B和506C增加像素灰度因子的值0.6。
如由相应的R、G、B灰度似然函数506A、506B和506C进一步所示的那样,一旦处理了整个图像,最终值就指示根据相应的R、G、B颜色通道的、对图像的类灰色像素的比例贡献。换言之,R、G、B灰度似然函数506A、506B和506C指示用于图像中类灰色像素所含的红色、绿色和蓝色子像素的每一个灰度级是多少。因此,例如,在用于红色子像素的灰度似然函数506A中,柱状图高度作为灰度级值的函数而沿轴602强烈地变化。具体地,特征610指示与大多数其他灰度级相比,对该灰度级的相对更大的参与,而特征612指示与大多数其他灰度级相比,对该灰度级的相对更小的参与。
一旦最对全图像作出确定,灰度似然函数就可以用于如下计算应用于拼接图像的白平衡增益。灰度级值R、G、B可以是V的元素,其中,对于8位灰度级图像,V=[0,1,2,…,255]。可以如下确定参数GVAL、RVAL、BVAL:
GVAL=ΣiVi Pr(Gray|Gi=Vi)     (4)
RVAL=ΣiVi Pr(Gray|Ri=Vi)     (5)
BVAL=ΣiVi Pr(Gray|Bi=Vi)     (6)
在一个实施方式中,可以将用于绿色子像素的增益GreenGain设定为等于1的值。以此方式,可以如下确定用于红色子像素的增益RedGain和用于蓝色子像素的增益BlueGain
RedGain=GVAL/RVAL     (7)
BlueGain=GVAL/BVAL     (8)
在确定了相应的白平衡增益后,就可以应用这些增益来调整子像素灰阶值。应当注意,这些白平衡增益表示比由灰色世界或灰色边缘法确定的增益更为准确的增益组,因为本实施例的白平衡增益构成了给定图像内红色、绿色和蓝色的组合“为”灰色的似然性的加权总和。
进一步应当注意的,在多个实施例中,白平衡增益可以与在已知色温的下针对给定传感器的已知的白平衡增益准确相地关或不相关。在一个示例中,可以校准用于所有可能的源温度的给定传感器,之后通过选择沿色温特性图与所计算的增益的最接近增益组来稳定增益。另外,白平衡可以沿着色温特性图而保持,利用在连续图像之间的平滑算法,平滑地从一组增益推进到另一组增益。
在此包括的是一组流程图,表示用于执行公开的架构的创新方面的示例性方法。而为了解释的简单,例如将本文以流程图或程序框图形式示出的一个或多个方法示出并说明为一系列动作,应当理解,方法不受动作的顺序限制,由此,一些操作可以以与本文示出和描述的不同的顺序进行和/或与其他动作同时进行。例如,本领域技术人员应当,方法可以可替换地表示为一系列相关的状态或事件,例如在状态图中。此外,对于创新的实施方式,并非需要在方法中例示的所有动作。
图9示出了示例性第一逻辑流程900。逻辑流程900例如可以由白平衡部件或用于处理图像的模块来实现。在块902处,从传感器阵列的像素元素为三个或多个颜色通道接收灰度级值。在一些实施方式中,像素元素可以包括2X2“超级像素”,所述“超级像素”包括红色子像素、蓝色子像素和两个绿色子像素。在块904处,将用于三个或多个颜色通道的灰度级值转换为用于每一个像素元素的归一化的值。在块906处,基于每一个像素元素的归一化值,为该像素元素产生像素灰度因子。
在块908处,基于为每一个像素确定的像素灰度因子,为每一个颜色通道产生灰度似然函数。在块910处,基于相应的灰度似然函数,为两个或多个颜色通道确定白平衡增益。
图10示出了示例性的第二逻辑流程1000。在块1002处,为包括子像素的2X2阵列的像素元素接收灰度级值,其中每一个子像素都包括由拜尔滤光器元件覆盖的检测器元件。在块1004处,将对应于每一个像素元素的子像素的颜色通道的灰度级值转换为红、绿、蓝(RGB)灰度级三元组。
在块1006处,将用于像素元素的RGB三元组转换为归一化三元组nR、nG、nB,其中
nR = R R + G + B
nG = G R + G + B
nB = B R + G + B .
在块1008处,为nR、nG、nB三元组估算灰度指示函数(IFUNC),其中,当nR=nG=1/3时,IFUNC=1,当nR、nG或nB中的一个或两个=0时,IFUNC=0。在块1010处,基于用于像素元素的灰度指示函数的值,更新一组灰度似然函数Pr(Gray|R)、Pr(Gray|G)、Pr(Gray|B)。
流程随后继续推进到确定块1012,在此做出与是否有更多像素元素要处理有关的确定。如果是,则流程返回到块1002处。如果不是,则流程继续推进到块1014。在块1014处,基于更新的灰度似然函数,为两个或多个颜色通道确定白平衡增益。
图11是示例性系统实施例的图,具体地,图11是示出可以包括各种元件的平台1100的图。例如,图11示出了平台(系统)1100可以包括处理器/图形核心1102、芯片组/平台控制总线(PCH)104、输入/输出(I/O)设备1106、随机存取存储器(RAM)(例如动态RAM(DRAM))1108,和只读存储器(ROM)1110、显示电子设备1120、显示器背光1122和各种其他平台部件1114(例如风扇、贯流式风机、散热器、DTM系统、冷却系统、外壳、通风孔等)。系统1100还可以包括无线通信芯片1116和图形设备1118。但实施例不限于这些元件。
如图11所示,I/O设备1106、RAM1108和ROM1110借助芯片组1104耦合到处理器1102。芯片组1104可以由总线1112耦合到处理器1102。因此,总线1112可以包括多条线路。
处理器1102可以是包括一个或多个处理器核心的中央处理单元,并可以包括具有任意数量的处理器核心的任意数量的处理器。处理器1102可以包括任何类型的处理单元,例如CPU、多处理单元、精简指令集计算机(RISC)、具有流水线的处理器、复杂指令集计算机(CISC)、数字信号处理器(DSP)等。在一些实施例中,处理器1102可以是多个分离的处理器,位于分离的集成电路芯片上。在一些实施例中,处理器1102可以是具有集成图形功能的处理器,而在其他实施例中,处理器1102可以是图形核心或多个图形核心。
以下的示例属于进一步的实施例。
示例1是一种用于处理图像的装置,包括图像传感器,其包含多种像素元素,用以检测一个或多个图像,处理器电路,耦合到图像传感器,和白平衡模块,用于在处理器电路上的执行,以基于一个或多个图像的检测图像,为多种像素元素的多个像素元素接收用于相应的三个或更多个颜色通道的三个或更多个灰度级值;为相应的三个或更多个颜色通道确定三个或更多个灰度似然函数,所述三个或更多个灰度似然函数包括来自每一个相应颜色通道的一个或多个灰度级的、对所检测的图像的灰度像素的比例贡献;以及基于所确定的三个或更多个灰度似然函数,为三个或更多个颜色通道中的两个或更多个颜色通道确定白平衡增益。
在示例2中,示例1的传感器可任选地包括红色通道、绿色通道和蓝色通道,所述白平衡模块可以用于在所述处理器电路上的执行,以将灰度指示函数IFUNC应用于多种像素元素中的每一个像素元素,从而确定每一个灰度似然函数,当归一化红色通道强度nR和归一化绿色通道强度nG等于1/3时,IFUNC具有等于1的值,当nR、nG或nB中的一个或两个等于0时,IFUNC具有0值,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B .
在示例3中,示例1-2中任意一个的主题可任选地包括存储器,用以将所述灰度指示函数储存为归一化值nR、nG、nB的一组离散值。
在示例4中,示例1-3中任意一个的像素元素可任选地包括红色子像素、蓝色子像素和两个绿色子像素,绿色通道包括所述两个绿色子像素的平均强度值。
在示例5中,示例1-4中任意一个的白平衡模块可任选地用于在所述处理器电路上的执行,以通过如下方式来确定灰度似然函数的组:为每一个像素元素相应的红色、绿色和蓝色子像素确定相应的灰度级值R、G和B,为每一个R、G和B确定归一化强度级nR、nG和nB,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B
为每一个像素确定灰度因子,包括在确定的归一化强度级nR、nG的IFUNC的值,以及将所述灰度因子加到对应的相应的R、G、B灰度似然函数的每一个的灰度级,所述灰度级对应于所检测的灰度级值R、G和B。
在示例6中,示例1-5中任意一个的三个或更多个颜色通道可任选地包括红色、绿色和蓝色通道,其包括图像的像素元素的相应的红色、绿色和蓝色分量的强度,其中,每一个像素元素都由红色子像素、蓝色子像素和两个绿色子像素组成。
在示例7中,示例1-6中任意一个的三个或更多个似然函数可任选地包括相应的红色、绿色和蓝色灰度似然函数Pr(Gray|R)、Pr(Gray|G)和Pr(Gray|B),其每一个都横跨灰度值Vi的范围,所述白平衡模块用于在所述处理器电路上的执行,以通过以下的方式来确定白平衡增益:将用于绿色像素分量的增益GreenGain设定为等于1,确定用于红色像素分量的增益RedGain等于GVAL/RVAL,确定用于蓝色像素分量的增益BlueGain等于GVAL/BVAL,其中:GVAL=ΣiVi Pr(Gray|Gi=Vi);RVAL=ΣiVi Pr(Gray|Ri=Vi;)且BVAL=ΣiVi Pr(Gray|Bi=Vi)。
在示例8中,示例1-7中任意一个的白平衡模块可任选地用于在所述处理器电路上的执行,从而:识别图像内的一个或多个白色区域,发送指令以根据相应的两个或更多个确定的白平衡增益来调整与每一个或者一个或多个白色区域中的两个或更多个颜色通道相对应的像素分量的强度。
在示例9中,示例1-8中任意一个的白平衡模块可任选地用于在所述处理器电路上的执行,以通过在为第一图像计算的第一组增益和为在第一图像之后的第二图像计算的第二组增益之间应用平滑算法,来为一个或多个图像的连续图像产生白平衡增益。
在示例10中,示例1-9中任意一个的白平衡模块可任选地用于以后处理所述图像的执行。
在示例11中,示例1-10中任意一个的装置可任选地包括网络接口,用以传送经后处理的图像。
在示例12中,至少一个计算机可读存储介质可任选地包括多条指令,在所述指令被执行时,使得系统基于一个或多个图像的检测图像,为多种像素元素中的多个像素元素接收用于相应的三个或更多个颜色通道的三个或更多个灰度级值,为相应的三个或更多个颜色通道确定三个或更多个灰度似然函数,所述三个或更多个灰度似然函数包括来自每一个相应的颜色通道的一个或多个灰度级的、对所检测的图像的灰度像素的比例贡献;及基于经确定的三个或更多个灰度似然函数,为三个或更多个颜色通道中的两个或更多个颜色通道确定白平衡增益。
在示例13中,示例12的至少一个计算机可读存储介质可任选地包括指令,在所述指令被执行时,使得系统将灰度指示函数IFUNC应用于多种像素元素中的每一个像素元素,从而确定每一个灰度似然函数,当归一化红色通道强度nR和归一化绿色通道强度nG等于1/3时,IFUNC具有等于1的值,当nR、nG或nB中的一个或两个等于0时,IFUNC具有0值,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B .
在示例14中,示例12-13任意一个的至少一个计算机可读存储介质可任选地包括指令,当所述指令被执行时,使得系统通过求两个绿色子像素的平均值来为像素元素确定绿色通道灰度级值。
在示例15中,示例12-14任意一个的至少一个计算机可读存储介质可任选地包括指令,当所述指令被执行时,使得系统通过以下方式来确定灰度似然函数的组:为每一个像素元素相应的红色、绿色和蓝色子像素确定相应的灰度级值R、G和B,从而为每一个R、G和B确定归一化强度级nR、nG和nB,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B
为每一个像素确定灰度因子,包括在确定的归一化强度级nR、nG的IFUNC的值,及将所述灰度因子加到相应的相应的R、G、B灰度似然函数的每一个的灰度级,所述灰度级对应于检测的灰度级值R、G和B。
在示例16中,示例12-15任意一个的至少一个计算机可读存储介质可任选地包括指令,在所述指令被执行时,使得系统通过将用于绿色像素分量的增益GreenGain设定为等于1,确定用于红色像素分量的增益RedGain等于GVAL/RVAL,确定用于蓝色像素分量的增益BlueGain等于GVAL/BVAL,来确定白平衡增益,其中:GVAL=ΣiVi Pr(Gray|Gi=Vi);RVAL=ΣiVi Pr(Gray|Ri=Vi;)且BVAL=ΣiVi Pr(Gray|Bi=Vi),其中,Vi是灰度级范围。
在示例17中,示例12-16任意一个的至少一个计算机可读存储介质可任选地包括指令,在所述指令被执行时,使得系统识别图像内的一个或多个白色区域,发送指令以根据相应的两个或更多个确定的白平衡增益来调整与每一个或者一个或多个白色区域中的两个或更多个颜色通道相对应的像素分量的强度。
在示例18中,示例12-17任意一个的至少一个计算机可读存储介质可任选地包括指令,在所述指令被执行时,使得系统通过在为第一图像计算的第一组增益和为在第一图像之后的第二图像计算的第二组增益之间应用平滑算法,来为一个或多个图像的连续图像产生白平衡增益。
在示例19中,示例12-18任意一个的至少一个计算机可读存储介质可任选地包括指令,在所述指令被执行时,使得系统后处理所述图像。
在示例20中,一种计算机实施的方法,包括:基于检测图像,为多种像素元素中的多个像素元素接收用于相应的三个或更多个颜色通道的三个或更多个灰度级值,为图像的相应的三个或更多个颜色通道确定三个或更多个灰度似然函数的组,所述三个或更多个灰度似然函数包括更具相应的颜色通道的、对图像的灰度像素的比例贡献,及基于确定的三个或更多个灰度似然函数的组,为三个或更多个颜色通道中的两个或更多个颜色通道确定白平衡增益。
在示例21中,示例20的三个或更多个颜色通道可任选地包括红色通道、绿色通道和蓝色通道,所述方法包括将灰度指示函数IFUNC应用于多种像素元素的每一个像素元素,来确定每一个灰度似然函数,当归一化红色通道强度nR和归一化绿色通道强度nG等于1/3时,IFUNC具有等于1的值,当nR、nG或nB中的一个或两个等于0时,IFUNC具有0值,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B .
在示例22中,示例20-21中任意一个的计算机实施的方法可任选地包括将所述灰度指示函数储存为归一化值的一组离散值nR、nG、nB。
在示例23中,示例20-22中任意一个的计算机实施的方法可任选地包括:为每一个像素元素相应的红色、绿色和蓝色子像素确定相应的灰度级值R、G和B,为每一个R、G和B确定归一化强度级nR、nG和nB,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B
为每一个像素确定灰度因子,包括在确定的归一化强度级nR、nG的IFUNC的值,以及将所述灰度因子加到相应的相应的R、G、B灰度似然函数的每一个的灰度级,所述灰度级对应于所检测的灰度级值R、G和B。
在示例24中,示例20-23中任意一个的计算机实施的方法可任选地包括通过以下方式来确定白平衡增益:将用于绿色像素分量的增益GreenGain设定为等于1,确定用于红色像素分量的增益RedGain等于GVAL/RVAL,确定用于蓝色像素分量的增益BlueGain等于GVAL/BVAL,其中:GVAL=ΣiVi Pr(Gray|Gi=Vi);RVAL=ΣiVi Pr(Gray|Ri=Vi;)且BVAL=ΣiVi Pr(Gray|Bi=Vi),其中,Vi是灰度级范围。
在示例25中,示例20-24中任意一个的计算机实施的方法可任选地包括识别图像内的一个或多个白色区域,发送指令以根据相应的两个或更多个经确定的白平衡增益来调整与每一个或者一个或多个白色区域中的两个或更多个颜色通道相对应的像素分量的强度。
在示例26中,示例20-25中任意一个的计算机实施的方法可任选地包括通过在为第一图像计算的第一组增益和为在第一图像之后的第二图像计算的第二组增益之间应用平滑算法,来为连续图像产生白平衡增益。
在示例27中,示例20-26中任意一个的计算机实施的方法可任选地包括对所述图像进行后处理。
在示例28中,一种装置,可任选地包括模块,用以执行示例20-27中任意一个的方法。
在示例29中,至少一个机器可读介质可任选地包括响应于在计算设备上被执行的多条指令,使得所述计算设备执行根据示例20-28任意一个的方法。
在示例30中,一种相机,可以包括图像传感器,用以检测图像,处理器电路,耦合到图像传感器,用以基于检测图像产生拼接图像,所述拼接图像包括用于所述图像传感器的多个像素元素的三个或更多个颜色通道的一组所检测的灰度级,和白平衡模块,用于在处理器电路上执行,从而:为用于所述拼接图像的多个像素元素部分产生用于三个或更多个颜色通道的归一化强度值,基于用于多个像素元素部分的归一化强度值,确定灰度指示函数的值,当用于像素元素的所有归一化强度值相等时,所述灰度指示函数等于最大值,基于为多个像素元素部分确定的指示函数值,为三个或更多个颜色通道的两个或多个颜色通道确定白平衡增益。
在示例31中,示例30中的白平衡模块可任选地用于在所述处理器电路上的执行,从而:为相应的三个或更多个颜色通道产生相应的灰度似然函数,通过为多个像素元素部分将确定的灰度指示函数的值加到对应于用于给定颜色通道的所检测的灰度级的相应的灰度级区间来确定每一个灰度似然函数,及基于产生的相应的灰度似然函数,为三个或更多个颜色通道的两个或多个颜色通道确定白平衡增益。
在示例32中,示例30-31任意一个的三个或更多个灰度似然函数可任选地包括相应的红色、绿色和蓝色灰度似然函数Pr(Gray|R)、Pr(Gray|G)和Pr(Gray|B),其每一个都横跨灰度值Vi的范围,所述白平衡模块用于在所述处理器电路上执行,以通过以下方式来确定白平衡增益:将用于绿色像素分量的增益GreenGain设定为等于1,确定用于红色像素分量的增益RedGain等于GVAL/RVAL,确定用于蓝色像素分量的增益BlueGain等于GVAL/BVAL,其中:GVAL=ΣiVi Pr(Gray|Gi=Vi);RVAL=ΣiVi Pr(Gray|Ri=Vi;)且BVAL=ΣiVi Pr(Gray|Bi=Vi)。
在示例33中,示例30-32任意一个的传感器可任选地包括红色通道、绿色通道和蓝色通道,当归一化红色通道强度nR和归一化绿色通道强度nG等于1/3时,所述灰度指示函数具有等于1的值,当nR、nG或nB中的一个或两个等于0时,所述灰度指示函数具有0值,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B .
在示例34中,示例30-33中任意一个的传感器可任选地包括存储器,用以将所述灰度指示函数储存为归一化值nR、nG、nB的一组离散值。
在示例35中,示例30-34中任意一个的拼接图像可任选地包括拜尔图像,包括由像素元素产生的用于红色、绿色和蓝色通道的检测灰度级,所述像素元素包括红色子像素、蓝色子像素、和两个绿色子像素,绿色通道包括两个绿色子像素的平均强度值。
使用“一个实施例”或“实施例”的表述连同其派生词来描述了一些实施例。这些术语表示结合实施例说明的特定特征、结构或特性包括在至少一个实施例中。说明书中多处出现的短语“在一个实施例中”不一定全都指代相同的实施例。此外,使用“耦合”或“连接”的表述连同其派生词来描述了一些实施例。这些术语不一定旨在作为彼此的同义词。例如,可以使用术语“连接”和/或“耦合”来描述一些实施例,用以指示两个或多个元件彼此直接物理或电接触。但术语“耦合”还可以表示两个或多个元件彼此不直接接触,但仍彼此协作或相互作用。
应当强调,提供本公开内容的摘要以允许读者迅速确定技术公开内容的本质。在理解为所述摘要不用于解释或限制权利要求书的范围或含义的情况下而提交所述摘要。另外,在前述具体实施方式中可见,为了把公开内容串连起来,在单一实施例中,将多种特征分组在一起。公开内容的这个方法不应解释为反映了所要求的实施例需要的特征比在每一个权利要求中明确表述的更多。相反,按照以下权利要求书所反映的,创新的主题存在于比单个公开实施例的全部特征更少的特征之中。从而将以下权利要求书借以并入具体实施方式中,每一个权利要求都独立地作为单独的实施例。在所附权利要求书中,术语“包括”和“在其中”分别用作相应的术语“包括”和“其中”的通俗语的等同形式。此外,术语“第一”、“第二”、“第三”等等仅仅用作标记,并非旨在对其对象施加编号要求。
以上说明的包括所公开的架构的示例。当然,无法说明部件和/或方法的每一个可以想到的组合,但本领域技术人员应当理解,许多进一步的组合和排列是可能的。因此,创新架构旨在包含落入所附权利要求书的精神和范围内的所有这样的变换、变型和改变。
使用硬件元件、软件元件或二者的组合来实施多个实施例。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如,晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(PFGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件元件的示例可以包括软件部件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。确定是否使用硬件元件和/或软件元件来实现实施例可以根据许多因素而变化,例如预期的计算速度、功率级、耐热性、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度,及其他设计或性能约束。
使用“耦合”或“连接”的表述连同其派生词来描述了一些实施例。这些术语并非旨在作为彼此的同义词。例如,可以使用术语“连接”和/或“耦合”来说明一些实施例,用以指示两个或更多个元件彼此直接物理或电接触。但术语“耦合”还可以表示两个或更多个元件彼此不直接接触,但仍彼此协作或相互作用。
例如,可以使用计算机可读介质或制品来实施一些实施例,计算机可读介质或制品可以存储指令或指令集,如果被计算机执行,就可以使得计算机执行根据实施例的方法和/或操作。这个计算机例如可以包括任何适合的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、处理器等,并可以使用硬件和/或软件的任何适合的组合来实现。计算机可读介质或制品例如可以包括任何适合类型的存储器单元、存储器设备、存储器制品、存储器介质、存储设备、存储制品、存储介质和/或存储单元,例如存储器、可移动或不可移动介质、可擦除或不可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、光盘只读存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁介质、磁光介质、可移动存储卡或盘、各种数字多用途盘(DVD)、磁带、盒式磁带等。指令可以包括任何适合类型的代码,例如源代码、编译代码、翻译代码、可执行代码、静态代码、动态代码、加密代码等,使用任何适合的高级、低级。面向对象的、可视化、编译和/或解释编程语言来实现。
除非特别另外陈述,则应当理解,诸如“处理”、“计算”、“运算”、“确定”等的术语指代计算机或计算系统,或者类似的电子计算设备的操作和/或处理,其将表示为计算系统的寄存器和/或存储器内的物理量(例如电子的)的数据操纵和/或变换为其他数据,其类似地表示为计算系统的存储器、寄存器或其他这样的信息存储、传输或显示设备内的物理量。实施例不局限于该上下文。
尽管以特别用于结构特征和/或方法动作的语言描述了主题,但应当理解,在所附权利要求书中定义的主题不一定局限于上述的特定特征或动作。相反,公开了上述的特定特征和动作,作为实施权利要求书的示例形式。
本文阐述了许多特定细节以提供对实施例的透彻理解。但本领域技术人员应当理解,可以实施实施例无需这些特定细节。在其他例子中,没有详细描述公知的操作、部件和电路,从而不会使得实施例模糊不清。应当理解,本文所公开的特定结构和功能细节可以是代表性的,且不必然限制实施例的范围。

Claims (25)

1.一种用于处理图像的装置,包括:
图像传感器,所述图像传感器包含多种像素元素以检测一个或多个图像;
处理器电路,所述处理器电路耦合到所述图像传感器;以及
白平衡模块,所述白平衡模块用于在所述处理器电路上的执行,从而:
基于所述一个或多个图像中的所检测的图像,对于所述多种像素元素中的多个像素元素,接收相应的三个或更多个颜色通道的三个或更多个灰度级值;
为所述相应的三个或更多个颜色通道确定三个或更多个灰度似然函数,所述三个或更多个灰度似然函数包括来自每一个相应的颜色通道的一个或多个灰度级的、对所检测的图像的灰度像素的比例贡献;以及
基于所确定的三个或更多个灰度似然函数,为所述三个或更多个颜色通道中的两个或更多个颜色通道确定白平衡增益。
2.根据权利要求1所述的装置,所述传感器包括红色通道、绿色通道和蓝色通道,
所述白平衡模块用于在所述处理器电路上的执行,以将灰度指示函数IFUNC应用于所述多种像素元素的每一个像素元素,从而确定每一个所述灰度似然函数,
当归一化的红色通道强度nR和归一化的绿色通道强度nG等于1/3时,IFUNC具有等于1的值,并且
当nR、nG或nB中的一个或两个等于0时,IFUNC具有0值,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B .
3.根据权利要求2所述的装置,包括存储器以将所述灰度指示函数储存为归一化值nR、nG、nB的离散值的组。
4.根据权利要求2所述的装置,所述像素元素包括红色子像素、蓝色子像素和两个绿色子像素,绿色通道包括所述两个绿色子像素的平均强度值。
5.根据权利要求2所述的装置,所述白平衡模块用于在所述处理器电路上的执行,以通过以下方式来确定灰度似然函数的组:
为每一个像素元素的相应的红色、绿色和蓝色子像素确定相应的灰度级值R、G和B;
为每一个R、G和B确定归一化的强度等级nR、nG和nB,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B ;
为每一个像素确定灰度因子,所述灰度因子包括采用所确定的归一化的强度等级nR、nG的IFUNC的值;以及
将所述灰度因子加到对应的每一个相应的R、G、B灰度似然函数的灰度级上,所述灰度级对应于所检测的灰度级值R、G和B。
6.根据权利要求1所述的装置,所述三个或更多个颜色通道包括红色通道、绿色通道和蓝色通道,所述红色通道、绿色通道和蓝色通道包括所述图像的像素元素的相应的红色、绿色和蓝色分量的强度,其中,每一个像素元素都由红色子像素、蓝色子像素和两个绿色子像素组成。
7.根据权利要求1所述的装置,所述三个或更多个灰度似然函数包括相应的红色、绿色和蓝色灰度似然函数Pr(Gray|R)、Pr(Gray|G)和Pr(Gray|B),所述灰度似然函数的每一个都横跨灰度值的范围Vi,所述白平衡模块用于在所述处理器电路上的执行以通过以下方式来确定所述白平衡增益:
将用于绿色像素分量的增益GreenGain设定为等于1;
确定用于红色像素分量的增益RedGain等于GVAL/RVAL;以及
确定用于蓝色像素分量的增益BlueGain等于GVAL/BVAL;
其中:
GVAL=ΣiVi Pr(Gray|Gi=Vi);
RVAL=ΣiVi Pr(Gray|Ri=Vi;);和
BVAL=ΣiVi Pr(Gray|Bi=Vi)。
8.根据权利要求1所述的装置,所述白平衡模块用于在所述处理器电路上的执行,从而:
识别所述图像内的一个或多个白色区域;并且
发送指令以根据相应的两个或更多个所确定的白平衡增益来调整与每一个或者一个或多个白色区域中的两个或更多个颜色通道相对应的像素分量的强度。
9.根据权利要求1所述的装置,所述白平衡模块用于在所述处理器电路上的执行,以通过在为第一图像计算的第一组增益和为在所述第一图像之后的第二图像计算的第二组增益之间应用平滑算法,来为所述一个或多个图像的连续图像产生白平衡增益。
10.根据权利要求1所述的装置,所述白平衡模块用于后处理所述图像的执行。
11.根据权利要求10所述的装置,进一步包括网络接口以传送经后处理的图像。
12.一种计算机实施的用于图像处理的方法,包括:
基于所检测的图像,对于多种像素元素中的多个像素元素,接收相应的三个或更多个颜色通道的三个或更多个灰度级值,
为所述图像的相应的三个或更多个颜色通道确定包含三个或更多个灰度似然函数的组,所述三个或更多个灰度似然函数包括来自相应的颜色通道的、对所述图像的灰度像素的比例贡献;以及
基于所确定的包含三个或更多个灰度似然函数的组,为所述三个或更多个颜色通道中的两个或更多个颜色通道确定白平衡增益。
13.根据权利要求12所述的计算机实施的方法,所述三个或更多个颜色通道包括红色通道、绿色通道和蓝色通道,
所述方法包括将灰度指示函数IFUNC应用于所述多种像素元素的每一个像素元素,以确定每一个所述灰度似然函数,
当归一化的红色通道强度nR和归一化的绿色通道强度nG等于1/3时,IFUNC具有等于1的值,以及
当nR、nG或nB中的一个或两个等于0时,IFUNC具有0值,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B .
14.根据权利要求13所述的计算机实施的方法,包括将所述灰度指示函数储存为归一化值nR、nG、nB的离散值的组。
15.根据权利要求13所述的计算机实施的方法,包括:
为每一个像素元素的相应的红色子像素、绿色子像素和蓝色子像素确定相应的灰度级值R、G和B;
为每一个R、G和B确定归一化的强度等级nR、nG和nB,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B ;
为所述每一个像素确定灰度因子,所述灰度因子包括采用所确定的归一化的强度等级nR、nG的IFUNC的值;以及
将所述灰度因子加到对应的每一个相应的R、G、B灰度似然函数的灰度级上,所述灰度级对应于所检测的灰度级值R、G和B。
16.根据权利要求12所述的计算机实施的方法,包括通过以下方式来确定所述白平衡增益:
将用于绿色像素分量的增益GreenGain设定为等于1;
确定用于红色像素分量的增益RedGain等于GVAL/RVAL;以及
确定用于蓝色像素分量的增益BlueGain等于GVAL/BVAL,
其中:
GVAL=ΣiVi Pr(Gray|Gi=Vi);
RVAL=ΣiVi Pr(Gray|Ri=Vi;);及
BVAL=ΣiVi Pr(Gray|Bi=Vi),
其中,Vi是灰度级范围。
17.根据权利要求12所述的计算机实施的方法,包括:
识别所述图像内的一个或多个白色区域;以及
发送指令以根据相应的两个或更多个所确定的白平衡增益来调整与每一个或者一个或多个白色区域中的两个或更多个颜色通道相对应的像素分量的强度。
18.根据权利要求12所述的计算机实施的方法,包括通过在为第一图像计算的第一组增益和为在所述第一图像之后的第二图像计算的第二组增益之间应用平滑算法,来为连续图像产生白平衡增益。
19.根据权利要求12所述的计算机实施的方法,包括对所述图像进行后处理。
20.一种装置,包括用以执行前述权利要求中的任意一项的所述方法的模块。
21.至少一个机器可读介质,可以包括响应于在计算设备上被执行的多条指令,使得所述计算设备执行根据前述权利要求中的任意一项的方法。
22.一种相机,包括:
图像传感器,所述图像传感器用以检测图像;
处理器电路,所述处理器电路耦合到所述图像传感器以基于所检测的图像产生拼接图像,所述拼接图像包括所述图像传感器的多个像素元素的三个或更多个颜色通道的一组所检测的灰度级;以及
白平衡模块,所述白平衡模块用于在所述处理器电路上执行,从而:
为所述拼接图像的多个像素元素部分产生所述三个或更多个颜色通道的归一化的强度值;
基于用于所述多个像素元素部分的所述归一化的强度值来确定灰度指示函数的值,当用于像素元素的所有归一化的强度值相等时,所述灰度指示函数等于最大值;并且
基于为所述多个像素元素部分确定的指示函数值,为所述三个或更多个颜色通道中的两个或更多个颜色通道确定白平衡增益。
23.根据权利要求22所述的相机,所述白平衡模块用于在所述处理器电路上执行,从而:
为相应的所述三个或更多个颜色通道产生相应的灰度似然函数,通过为所述多个像素元素部分将所确定的灰度指示函数的值加到与给定颜色通道的所检测的灰度级相对应的相应的灰度级区间上,来确定每一个灰度似然函数;并且
基于所产生的相应的灰度似然函数,为所述三个或更多个颜色通道中的两个或更多个颜色通道确定白平衡增益。
24.根据权利要求23所述的相机,所述三个或更多个灰度似然函数包括相应的红色灰度似然函数、绿色灰度似然函数和蓝色灰度似然函数Pr(Gray|R)、Pr(Gray|G)和Pr(Gray|B),所述红色灰度似然函数、绿色灰度似然函数和蓝色灰度似然函数的每一个都横跨灰度值的范围Vi,所述白平衡模块用于在所述处理器电路上的执行,以通过以下方式来确定所述白平衡增益:
将用于绿色像素分量的增益GreenGain设定为等于1;
确定用于红色像素分量的增益RedGain等于GVAL/RVAL;并且
确定用于蓝色像素分量的增益BlueGain等于GVAL/BVAL,
其中:
GVAL=ΣiVi Pr(Gray|Gi=Vi);
RVAL=ΣiVi Pr(Gray|Ri=Vi;);以及
BVAL=ΣiVi Pr(Gray|Bi=Vi)。
25.根据权利要求22所述的相机,所述传感器包括红色通道、绿色通道和蓝色通道,
当归一化的红色通道强度nR和归一化的绿色通道强度nG等于1/3时,所述灰度指示函数具有等于1的值,且当nR、nG或nB中的一个或两个等于0时,所述灰度指示函数具有0值,其中,
nR = R R + G + B nG = G R + G + B nB = B R + G + B .
CN201410087828.5A 2013-03-12 2014-03-11 用于图像处理的装置和技术 Active CN104052979B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/797,898 2013-03-12
US13/797,898 US9036047B2 (en) 2013-03-12 2013-03-12 Apparatus and techniques for image processing

Publications (2)

Publication Number Publication Date
CN104052979A true CN104052979A (zh) 2014-09-17
CN104052979B CN104052979B (zh) 2016-05-25

Family

ID=51505299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410087828.5A Active CN104052979B (zh) 2013-03-12 2014-03-11 用于图像处理的装置和技术

Country Status (2)

Country Link
US (1) US9036047B2 (zh)
CN (1) CN104052979B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710766A (zh) * 2015-07-09 2018-02-16 高通股份有限公司 使用子像素打包的显示流压缩像素格式扩展
CN108604389A (zh) * 2016-05-16 2018-09-28 谷歌有限责任公司 连续深度排序图像合成
CN109417616A (zh) * 2016-08-22 2019-03-01 华为技术有限公司 用于图像处理的方法和装置
CN112243118A (zh) * 2019-07-18 2021-01-19 浙江宇视科技有限公司 白平衡校正方法、装置、设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101773934B1 (ko) * 2010-10-21 2017-09-04 삼성디스플레이 주식회사 표시 패널 및 이를 포함하는 표시 장치
CN106454285B (zh) * 2015-08-11 2019-04-19 比亚迪股份有限公司 白平衡的调整系统及调整方法
CN109949377B (zh) * 2019-03-08 2021-10-01 北京旷视科技有限公司 图像处理方法、装置及电子设备
JP2023531492A (ja) * 2020-06-26 2023-07-24 マジック リープ, インコーポレイテッド ディスプレイデバイスの色均一性補正
CN112068097B (zh) * 2020-07-15 2023-10-17 北京百度网讯科技有限公司 雷达遥感数据的标注方法、装置、电子设备和存储介质
CN112821896B (zh) * 2020-12-31 2024-08-09 西安万宏电子科技有限公司 一种基于预处理和简化存储的极化码译码器、译码方法、电子设备及计算机可读存储介质
KR20220140369A (ko) * 2021-04-09 2022-10-18 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030184660A1 (en) * 2002-04-02 2003-10-02 Michael Skow Automatic white balance for digital imaging
US7599550B1 (en) * 2003-11-21 2009-10-06 Arecont Vision Llc Method for accurate real-time compensation for changing illumination spectra in digital video cameras
CN101957988A (zh) * 2009-07-20 2011-01-26 华为技术有限公司 获得图像灰度点概率分布的方法、装置及白平衡方法、装置
CN102209246A (zh) * 2011-05-23 2011-10-05 北京工业大学 一种实时视频白平衡处理系统
CN102271260A (zh) * 2011-09-07 2011-12-07 天津天地伟业数码科技有限公司 白平衡调节的方法
CN102760287A (zh) * 2011-04-29 2012-10-31 国际商业机器公司 固定式摄像机颜色校正的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698918B2 (en) * 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
TWI545964B (zh) * 2012-09-14 2016-08-11 鴻海精密工業股份有限公司 影像白平衡方法及攝像裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030184660A1 (en) * 2002-04-02 2003-10-02 Michael Skow Automatic white balance for digital imaging
US7599550B1 (en) * 2003-11-21 2009-10-06 Arecont Vision Llc Method for accurate real-time compensation for changing illumination spectra in digital video cameras
CN101957988A (zh) * 2009-07-20 2011-01-26 华为技术有限公司 获得图像灰度点概率分布的方法、装置及白平衡方法、装置
CN102760287A (zh) * 2011-04-29 2012-10-31 国际商业机器公司 固定式摄像机颜色校正的方法和装置
CN102209246A (zh) * 2011-05-23 2011-10-05 北京工业大学 一种实时视频白平衡处理系统
CN102271260A (zh) * 2011-09-07 2011-12-07 天津天地伟业数码科技有限公司 白平衡调节的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李峰 等: "基于Raw格式图像的自动白平衡方法", 《计算机工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710766A (zh) * 2015-07-09 2018-02-16 高通股份有限公司 使用子像素打包的显示流压缩像素格式扩展
CN108604389A (zh) * 2016-05-16 2018-09-28 谷歌有限责任公司 连续深度排序图像合成
CN108604389B (zh) * 2016-05-16 2022-11-04 谷歌有限责任公司 连续深度排序图像合成
CN109417616A (zh) * 2016-08-22 2019-03-01 华为技术有限公司 用于图像处理的方法和装置
CN109417616B (zh) * 2016-08-22 2020-05-08 华为技术有限公司 用于图像处理的方法和装置
US10963996B2 (en) 2016-08-22 2021-03-30 Huawei Technologies Co., Ltd. Image processing method and apparatus
CN112243118A (zh) * 2019-07-18 2021-01-19 浙江宇视科技有限公司 白平衡校正方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20140267826A1 (en) 2014-09-18
US9036047B2 (en) 2015-05-19
CN104052979B (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN104052979B (zh) 用于图像处理的装置和技术
US11341371B2 (en) Method, device and terminal for generating training data
CN102273208B (zh) 图像处理设备和图像处理方法
US9721532B2 (en) Color chart detection apparatus, color chart detection method, and color chart detection computer program
US9344690B2 (en) Image demosaicing
CN103238335B (zh) 图像处理装置和图像处理方法
CN101675454A (zh) 采用全色像素的边缘绘图
CN103424409B (zh) 一种基于dsp的视觉检测系统
US20160379073A1 (en) Systems and methods for image processing in a deep convolution network
US20110058065A1 (en) Image processing device and image processing method
US8913135B2 (en) Method and apparatus for measuring response curve of an image sensor
CN107451976A (zh) 一种图像处理方法及装置
CN102970463A (zh) 图像处理设备、图像处理方法以及程序
US11558592B1 (en) Detection of false color in an image
US9779486B2 (en) Image processing apparatus and image processing method
CN105574844B (zh) 辐射响应函数估计方法和装置
CN101232555B (zh) 图像处理方法和图像处理装置
JP2021196451A (ja) 画像変換装置、画像変換方法及び画像変換用コンピュータプログラム
CN106530286A (zh) 确定清晰度级别的方法及装置
JP2014116706A (ja) 二次元カラーコード表示装置、表示方法、読み取り装置、及び読み取り方法
US11543644B2 (en) Digital imaging device and method for generating a digital color image
CN104463898A (zh) 一种物流平台用图像识别计数系统
CN103428506A (zh) 图像处理装置、图像处理方法和程序
Wachira et al. A raspberry-pi centred quasi-flipped learning model to trigger creative-thinking in electrical engineering students
CN107340240A (zh) 变化程度导出装置、变化程度导出系统及已知颜色体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant