CN101911715B - 用于数码相机装置的白平衡校准 - Google Patents
用于数码相机装置的白平衡校准 Download PDFInfo
- Publication number
- CN101911715B CN101911715B CN200980101577.9A CN200980101577A CN101911715B CN 101911715 B CN101911715 B CN 101911715B CN 200980101577 A CN200980101577 A CN 200980101577A CN 101911715 B CN101911715 B CN 101911715B
- Authority
- CN
- China
- Prior art keywords
- cct
- vector
- mean value
- total
- white balance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本发明描述用于数码相机装置的自动自校准技术。在一个方面中,一种用于执行数码相机装置中的校准程序的方法包含:在所述数码相机装置的相机传感器正操作时起始所述校准程序;累积用于所述校准程序的数据,所述数据包含与由所述相机传感器俘获的信息相关联的一个或一个以上相关色温(CCT)平均值;基于所述一个或一个以上CCT平均值计算一个或一个以上CCT向量;以及基于所述一个或一个以上CCT向量产生灰点校正因子。
Description
技术领域
本发明涉及数码相机装置,且更特定来说,涉及用于数码相机装置的校准的技术。
背景技术
数码相机通常并入到广泛多种装置中。在本发明中,数码相机装置指代可俘获一个或一个以上数字图像的任何装置,包括可俘获静态图像的装置和可俘获图像的序列以记录视频的装置。以实例的方式,数码相机装置可包含独立的数码相机或数字视频摄影机、配备有相机的无线通信装置手持机(例如,移动电话、蜂窝式或卫星无线电电话)、配备有相机的个人数字助理(PDA)、包括例如所谓的“网络摄像头”的相机的计算机装置,或具有数字成像或视频能力的任何装置。
在数码相机装置中,经常需要校准以实现适当白平衡。白平衡(有时称为色彩平衡、灰平衡或中性平衡)指代图像或显示中的原色(例如,红、绿和蓝)的相对量的调整,以使得中性色正确再现。白平衡可改变图像中的色彩的总体混合。在无白平衡的情况下,所俘获图像的显示可能含有不合需要的色调。
对于用于白平衡的许多校准技术,需要对相机传感器响应的了解,使得可做出对照明条件的正确估计。在此情况下,可能需要在制造过程期间测量每一相机传感器以便获得稍后执行校准所需的信息。然而,在制造期间测量每一相机传感器的相机传感器响应的需要可向与数码相机装置相关联的制造过程添加显著时间和成本,此情况为不合需要的。
发明内容
本发明描述用于数码相机装置的自动自校准技术。所描述技术不需要事先知晓特定相机传感器的相机传感器响应且可以对用户透明的方式操作。当用户操作数码相机装置时,如果识别出自校准的适当条件,则可起始自动自校准。本发明描述可用以起始自校准的若干因素且还描述用于累积数据和处理此数据以实现有效校准的技术。
所描述技术已经模拟以展示校准的所要结果,且可允许数码相机装置使用在不同相机传感器之间具有较大量传感器变化的较低质量相机传感器。在此情况下,所描述技术可在使用数码相机装置时补偿这些变化,且随时间最终实现适当的白平衡。在制造过程期间可能仅需要测量一个(或可能几个)相机传感器,且经测量传感器的传感器响应可用于其它类似制造的相机传感器的校准程序中。
在一个方面中,本发明提供一种用于执行数码相机装置中的校准程序的方法。所述方法包含:在所述数码相机装置的相机传感器正操作时起始所述校准程序;累积用于所述校准程序的数据,所述数据包含与由所述相机传感器俘获的信息相关联的一个或一个以上相关色温(CCT)平均值;基于所述一个或一个以上CCT平均值计算一个或一个以上CCT向量;以及基于所述一个或一个以上CCT向量产生灰点校正因子。
在另一方面中,本发明提供一种设备,其包含存储用于数码相机装置中的校准程序的数据的存储器和校准单元。所述校准单元在所述数码相机装置的相机传感器正操作时起始所述校准程序;累积用于所述校准程序的数据,所述数据包含与由所述相机传感器俘获的信息相关联的CCT的一个或一个以上平均值;基于所述一个或一个以上CCT平均值计算一个或一个以上CCT向量;以及基于所述一个或一个以上CCT向量产生灰点校正因子。
在另一方面中,本发明提供一种装置,其包含:用于在数码相机装置的相机传感器正操作时起始校准程序的装置;用于累积用于所述校准程序的数据的装置,所述数据包含与由所述相机传感器俘获的信息相关联的CCT的一个或一个以上平均值;用于基于所述一个或一个以上CCT平均值计算一个或一个以上CCT向量的装置;以及用于基于所述一个或一个以上CCT向量产生灰点校正因子的装置。
在另一方面中,本发明提供一种数码相机装置,其包含:相机传感器,其俘获信息;存储器,其存储基于所述经俘获数据的用于校准程序的数据;以及校准单元。所述校准单元在所述相机传感器正操作时起始所述校准程序;累积用于所述校准程序的数据,所述数据包含与由所述相机传感器俘获的信息相关联的CCT的一个或一个以上平均值;基于所述一个或一个以上CCT平均值计算一个或一个以上CCT向量;以及基于所述一个或一个以上CCT向量产生灰点校正因子。
可以硬件、软件、固件或其任何组合实施本发明中所描述的这些和其它技术。如果以软件实施,则软件可在处理器中执行,处理器例如为通用微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它类型的处理器。此软件可最初存储于计算机可读媒体中且加载并执行于处理器中以促进经编码图像的旋转。所述计算机可读媒体可作为计算机程序产品来销售或分配,所述计算机程序产品可包括封装材料。
因此,本发明还预期一种包含在执行时致使处理器执行数码相机装置中的校准程序的指令的计算机可读媒体。具体来说,所述指令致使所述处理器在所述数码相机装置的相机传感器正操作时起始所述校准程序;累积用于所述校准程序的数据,所述数据包含与由所述相机传感器俘获的信息相关联的CCT的一个或一个以上平均值;基于所述一个或一个以上CCT平均值计算一个或一个以上CCT向量;以及基于所述一个或一个以上CCT向量产生灰点校正因子。
在附图和下文的描述中陈述一个或一个以上方面的细节。将从描述和图式以及权利要求书明白其它特征、目的和优点。
附图说明
图1为说明能够实施本发明的白平衡校准技术的示范性数码相机装置的框图。
图2为说明符合本发明的可由数码相机装置实施的示范性白平衡校准技术的流程图。
图3为说明相机传感器的在(R/G,B/G)色彩空间中的示范性灰点的图表。
图4A到图4C为说明累积用于校准程序的数据的过程的图表。
图5为说明基于两个模拟光测量点和一个实际光测量点的实际光线的构造的图表。
图6为说明相对于实际光线而计算相关色温(CCT)向量的图。
图7为说明相对于实际日光线的高CCT平均值、总CCT平均值和低CCT平均值的图。
图8为说明能够实施本发明的技术的无线通信装置48的框图。
具体实施方式
本发明描述用于数码相机装置的自动自校准技术。当用户操作数码相机装置时,可以对用户透明的方式执行所描述技术。根据本发明,如果由数码相机装置识别用于自校准的适当条件(例如,与数码相机装置在晴朗或部分晴朗的条件下的室外使用相关联的条件),则可起始自动自校准。一旦由数码相机装置起始,自动自校准技术即可累积包含一个或一个以上相关色温(CCT)平均值(例如,总平均值、高平均值和低平均值)的数据。
接下来,自动自校准程序可基于所述一个或一个以上CCT平均值相对于实际光线而计算一个或一个以上CCT向量。所述实际光线可基于至少一个预定实际色温测量和至少两个预定模拟色温测量。预定实际色温测量和预定模拟色温测量可经预先计算且编程到与数码相机装置相关联的存储器中。举例来说,预定色温测量可包含与类似于数码相机装置的相机传感器而制造的参考相机传感器相关联的相机传感器响应测量。模拟测量可在照明室中在受控且模拟的日光下进行,且实际测量可在一天中的特定时间(例如中午)可能在地球上的经界定位置处在光亮条件下在阳光下进行。然而,再次,可相对于参考相机传感器(即,不同于经校准的相机传感器的相机传感器)执行这些测量。
通过使用与类似于数码相机装置的相机传感器而制造的参考相机传感器相关联的相机传感器响应测量,所描述技术可避免测量每一所制造相机传感器的响应的需要。而是,所描述技术可测量一批制造的相机传感器中的一个或一个以上示范性参考相机传感器的响应,且可在包括来自那批制造的相机传感器的装置的白平衡校准中使用所述测量。
CCT向量可用以产生灰点校正因子。举例来说,一旦计算出CCT向量,即可将所述CCT向量用于计算组合向量,且可基于所述组合向量产生灰点校正因子。数码相机装置可接着应用所述灰点校正因子以调整其灰点。举例来说,所述灰点校正因子可包含在R/G乘B/G色彩空间中界定的组合向量的红/绿(R/G)和蓝/绿(B/G)分量。
可以迭代方式执行所描述的技术,其中在数码相机装置的后续使用期间界定每一迭代。以此方式,在若干次迭代自校准技术之后,所述灰点校正因子可收敛到所要水平。此外,所述技术可致使装置随使用改进其校准。具体来说,数码相机装置使用越多,其校准便可能越佳。如所提及,所描述技术不需要事先知晓与每一数码相机装置相关联的相机传感器响应,此可消除当制造数码相机装置时执行传感器响应测量的需要。已模拟所描述技术以展示校准的所要结果,且可允许数码相机装置使用在不同相机传感器之间具有较大量的传感器变化的较低质量的相机传感器。在此情况下,所描述技术可通过促进较低成本相机传感器的使用而允许数码相机装置中的成本降低。所描述的技术可在使用数码相机装置时补偿相机传感器变化,且随时间最终实现适当的白平衡。
图1为说明实施本发明的技术的示范性数码相机装置2的框图。以实例的方式,数码相机装置2可包含独立的数码相机、数字视频摄影机、配备有相机的无线通信装置手持机(例如,蜂窝式或卫星无线电电话)、配备有相机的个人数字助理(PDA)、配备有数码相机、网络摄像头等的计算机装置或具有成像或视频能力的任何其它装置。本发明的技术可特别适用于需要限制与相机传感器相关联的成本的装置,例如在配备有相机的无线通信装置手机中。在此情况下,所描述的技术可允许所述数码相机装置使用在不同相机传感器之间具有较大量的传感器变化的较低质量的相机传感器,且可消除当制造所述装置时测量每一相机传感器的响应的需要。
在图1的实例中,装置2包含俘获信息的相机传感器10。所述所俘获信息可包含相机传感器10的输出,其可用以界定一个或一个以上静态图像照片或视频序列的图像帧。然而,所描述的校准技术可在取景器模式期间操作,在取景器模式下,所俘获信息不呈现为经记录图像或经记录视频。所俘获信息可在无用户知晓的情况下用于校准程序中。每当相机传感器10正操作(例如,相机传感器10俘获信息的任何时间)时,可能发生所描述技术。
所俘获信息可经由专用总线13从相机传感器10发送到处理单元12。处理单元12可称为成像“前端”且可包含执行各种图像处理功能的单元或(可能地)单元的管线。由处理单元12执行的功能可包括缩放(scaling)、白平衡、修剪(cropping)、去马赛克(demosaicing)、信号噪声减少、锐化或任何其它前端图像数据处理。遵照本文中所论述的校准程序,校准单元14可向处理器单元12提供灰点校正因子,使得处理单元12可应用所述灰点校正因子来调整数码相机装置2所使用的灰点以控制白平衡。
相机传感器10可包括个别像素传感器元件的二维阵列(例如,布置为行和列)。在一些方面中,相机传感器10的所述元件中的每一者可与单一像素相关联。或者,可存在与每一像素相关联的一个以上像素元件,例如,每一像素可由相机传感器10的红(R)、绿(G)和蓝(B)像素元件的集合来界定。相机传感器10可包含(例如)固态元件的阵列,所述固态元件例如为互补金属氧化物半导体(CMOS)元件、电荷耦合装置(CCD)元件或用以形成数码相机应用中的相机传感器的任何其它元件。虽然图1中未展示,但需要的话,数码相机装置2可包括其它光学组件,例如一个或一个以上透镜、用于焦点调整的透镜致动器、快门、用以照亮图像场景的闪光装置和其它组件。图1中所说明的架构仅为示范性的,因为可以多种其它架构实施本发明中所描述的技术。
相机传感器10将其元件暴露于所述图像场景,例如,在由用户启动数码相机装置2中的相机模式后。在启动相机模式后,相机传感器10便可(例如)俘获表示每一特定像素位置处的所俘获光的强度的强度值。在一些情况下,归因于覆盖传感器的彩色滤光片,相机传感器10的所述元件中的每一者可能仅对一种色彩或一个色带敏感。举例来说,相机传感器10可包含具有适当滤光片的元件的阵列以便界定R、G和B通道。然而,相机传感器10可利用其它类型的彩色滤光片。相机传感器10的所述元件中的每一者可俘获仅一种色彩的强度值。所俘获信息可包括由相机传感器10的所述元件俘获的像素强度和/或色值。给定像素可由R、G和B值的集合界定。
处理器单元12从相机10接收原始数据(即,所俘获信息),且可对此原始数据执行广泛多种图像处理技术中的任一者。如上文所提及,处理单元12可包含处理管线或(可能地)执行不同处理功能的若干不同单元。经俘获和处理的图像数据被存储于存储器16中且(可能地)经由显示器18向用户显示。
校准单元14执行本发明的校准技术以便调整对灰点的灰点校正因子,处理单元12在白平衡期间比较所述灰点与所俘获图像数据。根据本发明,当相机传感器10操作时,校准单元14执行所述校准技术。换句话说,当用户启动相机传感器10时,校准程序发生。在校准程序之后,校准单元14可将所述计算出的灰点校正因子发送到处理单元12以供应用以调整数码相机装置2的灰点。显示器18、存储器16、校准单元14和处理单元12可经由共享数据通信总线15彼此通信地耦合。处理单元12可接着基于所述经调整的灰点对传入的所俘获信息执行白平衡。
存储器16可包含任何形式的易失性或非易失性存储器,例如只读存储器(ROM)、一形式的随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器或某一类型的数据存储驱动器或单元。通常,存储器16可实施为某一类型的RAM或快闪存储器以确保装置2的不同组件之间的快速数据传送。
显示器18可包含数码相机装置2的取景器(例如)以便向用户提供与正由相机传感器10俘获的场景相关联的最新图像。所俘获图像或视频还可呈现于显示器18上以供用户观看。然而,本发明的技术可以对装置2的用户透明的方式发生,即,用户可能不知道校准过程在相机传感器10正操作的任何时间发生。
依据实施方案,装置2还可包括许多其它组件。举例来说,装置2可包括一个或一个以上图像编码器(例如,联合图像专家组(JPEG)编码器)以压缩图像,或一个或一个以上视频编码器(例如,运动图片专家组(MPEG)编码器或国际电信联盟(ITU)H.263或H.264编码器)以压缩视频。而且,如果装置2实施为无线通信装置手持机,则装置2可包括用于无线通信的各种组件,例如无线发射器、无线接收器、调制器-解调制器(MODEM)和一个或一个以上天线。依据实施方案,这些或其它组件可包括于装置2中。为本文中所描述的校准技术的说明的简明性和简易性起见,图1中未展示这些其它组件。
校准单元14可实施为硬件、软件、固件或者硬件、软件或固件的广泛多种组合中的任一者。可由一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其它等效离散或集成逻辑电路或其组合来实现校准单元14。如果以软件实施,则作为校准过程的一部分而执行的指令可存储于计算机可读媒体上且在一个或一个以上处理器中执行以实现校准单元14且致使装置2执行本文中所描述的技术。
图2为说明与可由数码相机装置2实施的本发明一致的示范性技术的流程图。如图2中所示,处理单元12可应用灰点校正因子以调整装置2中的灰点(200)。最初,可将所述灰点校正因子设定为单位值或值1,以使得调整不发生。本发明的校准过程可包括图2的步骤201到205,所述步骤产生新校正因子。凭借图2中所示的技术的每一迭代,可重新产生所述校正因子以便朝向所要白平衡收敛。如果未起始校准(201的否分支),则处理单元12继续应用在校准过程的先前迭代中所产生的灰点校正因子。
应用所述灰点校正因子以调整装置2中的灰点(200)。接着将经调整的灰点用于白平衡。在白平衡的一个实例中,可将与所俘获信息的像素相关联的所俘获R、G和B值与所述灰点进行比较。如果像素界定未大体上或充分对应于所述灰点的R、G和B值,则可将这些像素作为不良数据而丢弃。以此方式,处理单元12可执行白平衡以基于像素是否大体上或充分对应于所述灰点来接受或拒收像素。然而,广泛多种白平衡算法可受益于用以校准灰点的本发明的教示。经适当校准的灰点可改进依赖于白平衡来接受或消除在灰点附近不充分平衡的数据的广泛多种成像技术。
举例来说,所谓的“灰色世界”白平衡算法可包括对“接近灰色”像素的搜寻。在此情况下,经适当校准的灰点是重要的,以便界定这些对“接近灰色”像素的搜寻应在何处发生。而且,对于所谓的校正决定色彩(color by correction)白平衡算法,经适当校准的灰点对促进色彩校正图的产生是重要的。此外,其它类型的白平衡算法可依赖于灰点以预测色域的边界。在此情况下,经适当校准的灰点对促进正确色域边界预测是重要的。在所谓的神经网络类型的白平衡算法中,灰点用以建立突触之间的加权功能。在此情况下,经适当校准的灰点对促进加权功能的建立是重要的。这些和许多其它白平衡算法可受益于本发明的教示。
在校准过程中,校准单元14首先确定是否起始校准(201)。当起始校准时(201的是分支),校准单元14将数据累积到存储器16中(202)。对于校准程序,此累积数据可包含一个或一个以上相关色温(CCT)平均值。CCT为色彩学中的众所周知的参数且是最紧密匹配如人眼所感觉到的与所俘获像素值相关联的光的黑体辐射器的色温。CCT可以绝对单位(例如,开(K)单位)给出。CCT平均值指代在一时间周期内由相机传感器10俘获的场景的一个或一个以上CCT平均值。
在累积所述一个或一个以上CCT平均值之后,校准单元14可相对于实际光线而计算CCT向量(203)。可基于所述CCT平均值计算所述CCT向量。如下文较详细地论述,实际光线可经预先计算且存储于存储器16中以供校准单元14使用。实际光线可表示模拟光线的线性内插且可基于至少两个模拟光测量和与参考相机传感器相关联的至少一个实际光测量而建构。用以产生实际光线的参考相机传感器可类似于数码相机装置的相机传感器10。具体来说,参考相机传感器可具有等同于或类似于相机传感器10的构造的构造。举例来说,参考相机传感器可为来自与相机传感器10相同的制造批次的相机传感器,或大体上与和相机传感器10相同的制造商和/或产品编号相关联的相机传感器。以此方式,与不同但类似建构的参考相机传感器相关联的实际光线可用以辅助校准来自装置2中的相机传感器10的数据。将于下文提供关于模拟光线和实际光线的额外细节。
接下来,校准单元14计算组合向量(204)。所述组合向量可包含所述CCT向量的加权和,且可基于所述CCT向量的可靠性和可能准确度(probable accuracy)而选择权重。举例来说,如下文中较详细地论述,CCT的所述平均值可包含总CCT平均值、高CCT平均值和低CCT平均值。在此情况下,所述总CCT平均值包含由相机传感器10收集的所有CCT样本的平均值,所述高CCT平均值包含大于总CCT平均值的CCT样本的平均值,且所述低CCT平均值包含小于总CCT平均值的CCT样本的平均值。所述组合向量可包含总CCT向量、高CCT向量和低CCT向量的加权和,其中将相应权重应用于个别总CCT向量、高CCT向量和低CCT向量。此外,在一些情况下,如果高CCT向量或低CCT向量中的任一者包含不良数据,则可指派权重以使得所述组合向量对应于总CCT向量。将于下文提供关于CCT平均值和CCT向量的这些概念的额外细节。
接下来,校准单元14可基于所述组合向量产生灰点校正因子(205)。举例来说,如下文较详细地论述,可将R/B乘B/G色彩空间中的组合向量(V)分成R/G方向上的Vx分量和B/G方向上的Vy分量。灰点校正因子可如下产生:
Fx=Vx/(对应于约5000开的模拟R/G值)
Fy=Vy/(对应于约5000开的模拟B/G值)。
一旦产生校正因子,处理单元12便应用所述灰点校正因子以调整灰点(200)。再次,凭借图2中所示的技术的每一迭代,可重新产生所述校正因子以便朝向所要白平衡收敛。
通过调整灰点,白平衡可得到改进。在一个实例中,白平衡为使用灰点确定是接受还是拒收图像场景的像素的过程。在此情况下,可将与所俘获信息的像素相关联的所俘获R、G和B值与所述灰点进行比较。如果像素界定未大体上或充分对应于所述灰点的R、G和B值,则可将这些像素作为不良数据而丢弃。以此方式,白平衡可基于像素是否大体上或充分对应于所述灰点来接受或拒收像素。广泛多种白平衡算法可受益于用以校准灰点的本发明的教示。经适当校准的灰点可改进依赖于白平衡来接受或消除不充分平衡的数据的广泛多种成像技术。
在另一实例中,所谓的“灰色世界”白平衡算法可包括对“接近灰色”像素的搜寻。在此情况下,经适当校准的灰点是重要的,以便界定对“接近灰色”像素的这些搜寻应于何处发生。而且,对于所谓的相关性决定色彩(color by correlation)白平衡算法,经适当校准的灰点对促进色彩相关图的产生是重要的。此外,其它类型的白平衡算法可依赖于灰点以预测色域的边界。在此情况下,经适当校准的灰点对促进正确色域边界预测是重要的。在所谓的神经网络类型的白平衡算法中,灰点用以建立突触之间的加权功能。在此情况下,经适当校准的灰点对促进加权功能的建立是重要的。这些和许多其它白平衡算法可受益于本发明的教示。
是否起始校准的决策(201)可基于若干因素。一般来说,校准单元14可经设计以在所述程序具有俘获用于校准的有用数据的高概率时起始或触发校准。为了使校准单元14界定用于所俘获数据的标准,校准单元14可经设计以自动辨识或确定相机传感器10何时俘获室外光,优选在晴朗条件下。举例来说,校准单元14可将所测量的亮度与阈值进行比较,其中所述阈值界定与室外晴朗(或多云)条件相关联的亮度水平。举例来说,所述阈值可为10,000lux,或与室外晴朗(或多云)条件相关联的另一亮度水平。可基于由图像处理单元12应用的R、G、B增益和与图像传感器10相关联的曝光时间来量化与图像场景相关联的亮度水平。在此情况下,小增益和小曝光时间可归因于高亮度水平。装置2可经配置以基于这些和其它可测量因素来量化亮度。替代地或除此之外,校准单元14可利用对象辨识技术以便识别数码相机装置2的室外使用,例如相机传感器10对树木或其它对象的辨识(其可与室外使用相关联)。
作为一个实例,校准单元14可在所测量亮度大于亮度阈值时起始校准程序(201的是分支)。另外,如果相机传感器10包括自动曝光控制(AEC)单元或与自动曝光控制(AEC)单元相关联,则校准单元14可要求由相机传感器10的AEC单元界定的AEC是稳定的。举例来说,当曝光随时间的变化在经界定的曝光阈值内时,AEC可为稳定的。在此情况下,校准单元14可在所测量亮度大于亮度阈值且AEC经确定为稳定时起始校准程序(201的是分支)。另外,校准单元14还可基于照明条件和R、G和B通道的增益来执行室外确定,所述增益可由处理单元12选择和/或应用。在此情况下,校准单元14可在所测量亮度大于亮度阈值、AEC经确定为稳定且校准单元14作出高置信度室外确定时起始校准程序(201的是分支),其中所述高置信度室外确定是基于照明条件和由处理单元12应用于相机传感器所俘获的信息的R、G和B通道的增益。所述高置信度室外确定可帮助在相机传感器10归因于相机传感器直接指向室内光源而检测到在阈值以上的亮度的情况下消除校准起始。
图3为说明相机传感器的在(R/G,B/G)色彩空间中的示范性灰点的图表。图3中的图表的x轴为具有R、G和B值的像素的R/G值。图3中的图表的y轴为像素的B/G值。R/G值和B/G值以色温单位(即,开(K)度)给出。如图3中以图形所说明,本发明认识到,对于大部分相机传感器,真实灰点在实际日光下的分布具有大体上平行于在模拟6500K色温与模拟5000K色温之间界定的线的分布。所述模拟色温点指代如在模拟光下(例如,在照明室中)界定的灰点。遗憾的是,模拟照明室不准确地复制实际室外光,而是仅近似室外光。本发明的技术使用室外确定以便确保所俘获数据很可能对应于分别对应于实际多云日光条件和实际晴朗日光条件的区域38和39中的数据。此允许灰点调整利用这些区域中的灰点的线性性质且利用沿着线37的模拟灰点以公式化这些调整。
基于图3中所示的数据,与区域38和39的灰点相关联的实际多云或实际晴朗条件可为用于自校准的最佳照明条件。各种室内照明可能不良好地适合于与本发明一致的有效自校准。此外,阴暗条件(例如,与区域36中的灰点相关联)具有大得多的分布区域,且可能更受相机传感器的视野外的其它对象的影响。由于这些原因,本发明的自校准技术试图控制对数据很可能落在图3的区域38或39中的情境的数据俘获。
再次参看图2,当起始校准时(201的是分支),校准单元14将数据累积到存储器16中(202)。再次,此累积数据包含由相机传感器10俘获的图像场景的一个或一个以上相关色温(CCT)平均值。所述平均值可包含总CCT平均值、高CCT平均值和低CCT平均值。所述总CCT平均值包含由相机传感器10收集的CCT样本的平均值,高CCT平均值包含由相机传感器10收集的大于总CCT平均值的CCT样本的平均值,且低CCT平均值包含由相机传感器10收集的小于总CCT平均值的CCT样本的平均值。还可追踪以平均值计数的样本的数目。
举例来说,存储器16可存储界定为“Self_Cal”的数据结构。Self_Cal数据结构可含有:
平均(R/G,B/G)值和计数
低CCT平均(R/G,B/G)值和计数
高CCT平均(R/G,B/G)值和计数
先前R/G增益,先前B/G增益
此可能仅需要Self_Cal数据结构维持11个数字(用于平均值和增益的8个浮点,和用于计数的3个整数)。作为一实例,Self_Cal数据结构可含有以下11个数字:
Overal_Ave_rg,其表示CCT点的针对R/G的总平均值,
Overall_Ave_bg,其表示CCT点的针对B/G的总平均值,
Overall_Ave_cnt,其表示与CCT点的针对R/G和B/G的总平均值相关联的总计数,
Low_cct_rg_ave,其表示CCT点的针对R/G的低平均值,
Low_cct_bg_ave,其表示CCT点的针对B/G的低平均值,
Low_cct_cnt,其表示与CCT点的针对R/G和B/G的低平均值相关联的低计数,
High_cct_rg_ave,其表示CCT点的针对R/G的高平均值,
High_cct_bg_ave,其表示CCT点的针对B/G的高平均值,
High_cct_cnt,其表示与CCT点的针对R/G和B/G的低平均值相关联的高计数,
Previous_rg_gain,其表示用以校正R/G灰点的先前校正因子(Fx),和
Previous_bg_gain,其表示用以校正B/G灰点的先前校正因子(Fy)。
当将新(R/G,B/G)值添加到Self_Cal数据结构时,校准单元14可执行以下计算:
重新计算Overal_Ave_rg和Overall_Ave_bg
递增Overall_Ave_cnt
如果针对新(R/G,B/G)值,B/G小于或等于Low_cct_bg_ave,
则重新计算Low_cct_rg_ave和Low_cct_bg_ave
递增Low_cct_cnt
如果针对新(R/G,B/G)值,B/G大于High_cct_bg_ave,
则重新计算High_cct_rg_ave和High_cct_bg_ave
递增High_cct_cnt。
校准单元14可界定所述计数的最大值,以使得如果所述计数中的给定一者达到预定最大值,则平均值的更新不发生以避免数值溢出。如果需要额外数据高于计数的最大数字,则可将计数数字重设为较低数字(在累积后)。
在校准之前(即,最初),所述self-cal数据结构可如下初始化:
Low_cct_rg_ave=0.0,Low_cct_bg_ave=0.0,Low_cct_cnt=0
High_cct_rg_ave=0.0,High_cct_bg_ave=0.0,High_cct_cnt=0
Overal_Ave_rg=0.0,Overall_ave_bg=0.0,Overall_ave_cnt=0
Previous_rg_gain=1.0,Previous_bg_gain=1.0
这些值可存储于例如存储器16的非易失性存储器或另一存储器位置中。
图4A到图4C为说明累积用于校准程序的数据的过程的图表。图4A到图4C的图表说明包含与所俘获的图像场景相关联的色温测量的样本。可由校准单元14累积这些样本以界定一个或一个以上CCT平均值,例如总CCT平均值、高CCT平均值和低CCT平均值。
图4A到图4C中未展示高CCT平均值,但其以类似于低CCT平均值的方式累积。在自校准开始之前,总平均值与低CCT平均值相同。图4A展示样本计数N处的示范性总平均值41A和低CCT平均值42A,此意味着已获得N个样本以在校准程序期间界定总平均值。当新样本43到达(如图4B中所示)时,总平均值41A和低CCT平均值42A变为图4C中所示的总平均值41C和低CCT平均值42C。此程序以迭代的方式将低CCT平均值42C向下且向右推离总平均值41C。以类似方式,所述程序还以迭代的方式将高CCT平均值(图4A到图4C中未展示)向上且向左推离总平均值。
再次参看图2,在累积所述一个或一个以上CCT平均值(例如,总CCT平均值、高CCT平均值和低CCT平均值)之后,校准单元14相对于实际光线而计算CCT向量(203)。实际光线可经预先计算且存储于存储器16中以供校准单元14使用。实际光线可表示模拟光线的线性内插且可基于至少两个模拟光测量和与不同相机传感器相关联的至少一个实际光测量而建构。用以产生实际光线的不同相机传感器可类似于数码相机装置的相机传感器10,例如,来自与相机传感器10相同的制造批次的相机传感器,或大体上与和相机传感器10相同的制造商和/或产品编号相关联的相机传感器。以此方式,与类似相机传感器相关联的实际光线可用以辅助校准来自装置2中的相机传感器10的数据。
图5为说明实际光线59基于两个模拟光测量点52和53和一个实际光测量点55的构造的图表。在图5中,点51可包含7500K下的模拟光测量,点52可包含6500K下的模拟光测量,且点53可包含5000K下的模拟光测量。可相对于光室中的参考相机传感器执行模拟光测量51、52和53,其中光室模拟5000K和6500K下的光。参考相机传感器可包含具有类似于待校准的相机传感器10(图1)的构造的不同传感器。举例来说,用以建构待校准的传感器10的实际光线59的参考相机传感器可为与所制造传感器的给定批次相关联的示范性传感器。使用例如相机传感器10等其它传感器的装置接着可使用此示范性参考相机传感器的实际光线59作为其相应校准过程中的数据。
实际光测量点55对应于由参考相机传感器在5000K与6500K之间的照明下(例如,在晴朗或多云条件下)进行的实际室外光测量。因此,实际光线59可包含实际日光线,例如,对应于参考传感器在实际日光下的灰点的线。可通过晴朗或部分多云条件下的室外测量界定实际光测量点55。与实际光测量点55相关联的地理位置可经选择或界定以便实现所要实际光的测量,例如,在一年中的经界定日期在地球表面上的特定纬度和经度。
基于两个或两个以上模拟测量(例如,对应于点52和点53),界定模拟光线57。模拟光线57可包含对应于模拟日光下的参考相机传感器的灰点的线。模拟光线57可线性地内插到实际光测量点55以借此界定实际光线59。以此方式,实际光线59大致平行于由所述至少两个预定模拟色温测量(点52和53)界定的模拟光线57,其中举于类似于数码相机装置2的经校准的相机传感器10(图1)而制造的不同参考相机传感器的测量而预定(在校准程序之前)实际色温测量点59和模拟色温点52和53。以此方式,实际光线59可包含相机传感器10的预期灰点的计算,其是基于类似于相机传感器10的参考相机传感器而确定。所描述的校准程序可使用此实际光线59作为相机传感器10的校准的起点。即,校准过程可假设相机传感器10具有与实际光线10相关联的响应,且本文中所描述的校准过程可相对于在实际光线10上界定的灰点来调整实际灰点。
图6为对校准单元14可如何相对于实际光线而计算CCT向量(203)的说明。在图6中,向量v1为总CCT向量,向量v2为高CCT向量,且向量v3为低CCT向量。如图所示,将v1界定为垂直于实际光线59的到总平均值的向量。因此,v1经界定为从实际日光线59上的最近点到由self_cal数据结构的R/G和B/G总平均值点界定的总平均值点。高CCT向量v3为从实际光线59上对应于实际5000K的点到由self_cal数据结构的R/G和B/G高平均值点界定的高CCT平均值点的向量。低CCT向量v2为从实际光线59上对应于实际6500K的点到由self_cal数据结构的R/G和B/G低平均值点界定的低CCT平均值的向量。
如果用以界定实际日光线59的参考相机传感器与经校准的当前相机传感器10之间不存在传感器变化,则总CCT平均值、高CCT平均值和低CCT平均值应全部大致落在实际日光线59上,且应不需要白点调整。
再次参看图2,在计算总CCT向量v1、高CCT向量v3和低CCT向量v2之后,校准单元14计算组合向量(204)。所述组合向量包含所述CCT向量的加权和,且可基于所述CCT向量的可靠性和可能准确度来选择权重。
举例来说,最终组合向量可界定为:
v=w1*v1+w2*v2+w3*v3,其中w1+w2+w3=1.0
w1、w2和w3的值可取决于统计的质量。针对w1、w2和w3而选择的实际权重值经受广泛多种实施方案。在一个实例中:
w1为0.4,
w2为0.3,且
w3为0.3。
在另一实例中:
w1为1.0,
w2为0,且
w3为0(如果v2或v3中任一者包含不良数据)。
在此情况下,如果对应CCT平均值(高或低)的数据点大体上偏离经由总平均值界定的实际日光线59的线性内插,则可确定v2或v3包含不良数据。因此,良好的self-cal数据应具有大致在通过平行于实际光线59的总CCT平均值的直线上的全部3个数据点(总CCT平均值、高CCT平均值和低CCT平均值)。如果低CCT平均值或高CCT平均值偏离那个直线过远(例如,由针对高和低平均值偏离的经界定水平或阈值确定),则校准单元14可通过为那个对应向量指派为零的权重因子来拒收与低CCT平均值、高CCT平均值或其两者相关联的数据。再次,w1、w2和w3的值可取决于统计的质量,且针对w1、w2和w3而选择的实际权重值经受广泛多种实施方案。
图7为对相对于实际日光线71的高CCT平均值、总CCT平均值和低CCT平均值的说明。再次,实际日光线71最初对应于针对参考传感器界定的日光线(例如,基于模拟和实际光测量)。平行于实际日光线71的线72通过总CCT平均值,且大致通过低CCT平均值,但不大致通过高CCT平均值。在此情况下,可将高CCT平均值标记为不良数据,且可基于此而将权重因子w2和w3设定为零。然而,在一些情况下,权重因子w2和w3可分别取决于低CCT平均值和高CCT平均值,且如果将一个点标记为不良数据,则此可能不一定致使与另一点相关联的权重因子为零。再次,w1、w2和w3的值可取决于统计的质量,且针对w1、w2和w3而选择的实际加权值经受广泛多种实施方案。上文列出的示范性加权因子仅为一个实施特定实例,且根据本发明可使用广泛多种其它权重因子。
再次参看图2,在校准单元14计算组合向量之后,校准单元14可基于所述组合向量产生灰点校正因子(205)。举例来说,可将R/B乘B/G色彩空间中的组合向量(V)分成R/G方向上的Vx分量和B/G方向上的Vy分量。灰点校正因子可如下产生:
Fx=Vx/(对应于约5000开的模拟R/G值)
Fy=Vy/(对应于约5000开的模拟B/G值)。
Fx对应于在R/G方向上的对应于D50照明的校正因子,且Fy对应于在B/G方向上的对应于D50照明的校正因子。D50照明一般对应于5000开的灰点色温。
对于例如从7500K向下到2300K的所有真实灰点:
经校准R/G值=Fx*(给定未校准R/G值);以及
经校准B/G值=Fy*(给定未校准B/G值)。
因此,校准单元14可将Fx和Fy的所产生的灰点校正值转发到处理单元12。处理单元12接着将灰点校正因子Fx和Fy应用于来自相机传感器10的未校准数据以便实现适当白平衡。
在初始化时,即,在校准过程的第一次迭代之前的“时间0”:
Fx=Fx(时间0)=1.0且Fy=Fx(时间0)=1.0。
接着,在校准过程的第一次迭代之后(即,“时间1”),如上概述而计算校正因子的新集合且称为Fx(时间1)和Fy(时间1)在此点应用的校正因子为:
Fx=Fx(时间1)*Fx(时间0)且Fy=Fy(时间1)*Fy(时间0)。
接着,在第二次迭代之后(即,“时间2”),如上概述而计算校正因子的新集合且称为Fx(时间2)和Fy(时间2)。在此点应用的校正因子为:
Fx=Fx(时间2)*Fx(时间1)*Fx(时间0)且
Fy=Fy(时间2)*Fy(时间1)*Fy(时间0)。
因此,可由下式给出Fx和Fy的一般表示:
Fx=Fx(当前迭代)*每一Fx(先前迭代)的乘积,且
Fy=Fy(当前迭代)*每一Fy(先前迭代)的乘积。
以此方式,每一次迭代的Fx和Fy为与先前迭代和当前迭代相关联的累积乘积。因此,与当前迭代相关联的当前灰点校正因子包含基于先前迭代的灰点校正因子的乘积。
需要的话,可建立Fx和Fy的极限举例来说,Fx和Fy可已建立0.8和1.2的上限和下限。以此方式,校准技术可针对遇到预期环境的情况帮助限制Fx和Fy的不当补偿。可针对每一次迭代建立极限以限制每一迭代对灰点校正因子的调整量,且需要的话,可能针对总校正因子建立极限以限制对于所有迭代的灰点补偿的总量。
再次,广泛多种白平衡算法可受益于用以校准灰点的本发明的教示。经适当校准的灰点可改进依赖于白平衡来接受或消除不充分平衡的数据的广泛多种成像技术。
如所解释,可以迭代方式执行所描述技术,其中在数码相机装置2的后续使用期间界定每一迭代。以此方式,在自校准技术的若干次迭代之后,灰点校正因子Fx和Fy可收敛于所要水平。此外,所述技术可致使装置2随着使用改进其校准,即,数码相机装置2使用越多,其校准可能越佳。如所提及,所描述技术不需要事先知晓相机传感器10的响应,此可消除当制造数码相机装置时执行传感器响应测量的需要。已模拟所描述技术以展示校准的所要结果,且可允许数码相机装置使用在不同相机传感器之间具有较大量传感器变化的较低质量相机传感器。在此情况下,所描述技术可在使用数码相机装置时补偿这些变化,且随时间最终实现适当的白平衡。
图8为说明能够实施本发明的技术的无线通信装置148的示范性框图。如上文所提及,相机传感器可提供于例如移动无线电电话等无线通信装置内以形成所谓的相机电话或视频电话。在本发明的此方面中,如图8中所示,无线通信装置148可包括数码相机装置2(图1)的各种组件,以及用以支持无线通信和用户接口特征的各种组件。举例来说,无线通信装置148可包括处理器150、音频/视频编码器/解码器(CODEC)152、存储器153、调制解调器154、发射-接收(TX/RX)单元156、射频(RF)天线158、用户输入装置159、显示器驱动器/输出装置160、音频驱动器/输出装置162、相机传感器140和处理单元151。处理器150可用以执行本文中所描述的校准技术。
相机传感器140俘获信息且将所俘获信息发送到处理单元151。处理单元151可执行各种图像处理功能,包括灰点校正因子Fx和Fy的应用。处理器150执行本文中所描述的校准技术以便产生校正因子Fx和Fy。在此意义上,处理器150可执行由图1的数码相机装置2的校准单元14执行的技术。
然而,另外,处理器150还可控制显示器驱动器和相关联的显示器输出160以及音频驱动器和相关联的音频输出162以经由与无线通信装置148相关联的显示器和扬声器向用户呈现图像、视频和相关联的声音。可通过本文中所描述的校准技术改进图像在显示器输出160上的呈现。存储器157可存储供处理器150执行以支持各种操作的指令。虽然图8中未展示,但存储器157(或另一存储器)可耦合到处理单元151或其它组件以存储由此些组件处理或产生的数据。用户输入装置159可包括多种输入媒体(例如,键、按钮、触摸屏媒体等)中的任一者以供用户控制无线通信装置148的操作。
图像和音频以及图像或视频可由音频/视频编解码器152编码以便存储和发射。在图8的实例中,音频/视频编解码器可驻留于较大无线通信装置148内以处置除可由相机传感器140俘获的视频以外的多种音频和视频应用。音频-视频编解码器可根据多种编码技术或格式(例如,MPEG-2、MPEG-4、ITU H.263、ITU H.264、JPEG等)中的任一者对图像或视频进行编码。
另外,在一些方面中,无线通信装置148可编码所述音频、图像或视频且通过无线通信将其发射到其它装置,以及从其它装置接收音频、图像或视频且对其进行编码。举例来说,调制解调器154和TX-RX单元156可用以经由158将经编码的音频和图像或视频信息发射到其它无线通信装置。调制解调器15可调制经编码的信息以用于经由TX-RX单元156和天线158所提供的空中接口进行发射。另外,TX-RX单元156和调制解调器154可处理经由天线158接收的信号,包括经编码的音频、图像或视频。TX-RX单元156可进一步包括合适的混频器、滤波器和放大器电路以支持经由天线158的无线发射和接收。
本发明中所描述的校准技术对于如无线通信装置148的装置(其中需要限制与相机传感器相关联的成本)可为高度合意的。在此情况下,所描述技术可允许以在不同相机传感器之间具有较大量传感器变化的较低质量相机传感器来制造无线通信装置(如装置48),且可消除当制造所述装置时测量每一相机传感器响应的需要。不但如此,相同技术还可适用于广泛多种其它数码相机装置,包括在制造时执行相机传感器响应测量的高质量装置。
可以硬件、软件、固件或其任何组合实施本文中所描述的技术。所描述的单元、模块或组件中的任一者可一起实施于集成逻辑装置中或单独实施为离散的但可互操作的逻辑装置。在一些情况下,各种特征可实施为集成电路装置,例如集成电路芯片或芯片组。如果以软件实施,则可至少部分由包含在执行时执行以上描述的技术中的一者或一者以上的指令的计算机可读媒体实现所述技术。所述计算机可读媒体可形成可包括封装材料的计算机程序产品的一部分。所述计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。除此之外或替代地,可至少部分由载运或传送指令或数据结构且可由计算机存取、读取和/或执行的计算机可读通信媒体实现所述技术。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一个或一个以上处理器来执行所述指令。因此,本文中所使用的术语“处理器”可指代上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可提供于专用软件模块、硬件模块或其任何组合中。
如果以硬件或硬件与软件的组合实施,则本文中所描述的技术可包含在设备、装置或集成电路中,所述设备、装置或集成电路可包含图1中所示的校准单元14或可能包含图1中所示的组件的组合。举例来说,集成电路可经配置以执行本文中所描述的技术中的一者或一者以上。这些和其它实例在所附权利要求书的范围内。
Claims (30)
1.一种用于执行数码相机装置中的白平衡校准程序的方法,所述方法包含:
在所述数码相机装置的相机传感器正操作时起始所述白平衡校准程序;
累积用于所述白平衡校准程序的数据,所述数据包含与由所述相机传感器俘获的信息相关联的一个或一个以上相关色温(CCT)平均值;
基于所述一个或一个以上CCT平均值计算一个或一个以上CCT向量;以及
基于所述一个或一个以上CCT向量产生灰点校正因子。
2.根据权利要求1所述的方法,其进一步包含应用所述灰点校正因子以调整所述数码相机装置中的灰点。
3.根据权利要求1所述的方法,其进一步包含当与图像场景相关联的所测量亮度大于亮度阈值时起始所述白平衡校准程序。
4.根据权利要求3所述的方法,其进一步包含当确定自动曝光控制(AEC)为稳定时起始所述白平衡校准程序。
5.根据权利要求4所述的方法,其进一步包含响应于高置信度室外确定而起始所述白平衡校准程序,其中所述高置信度室外确定是基于照明条件和应用于由所述相机传感器俘获的所述信息的红(R)、绿(G)和蓝(B)通道的增益。
6.根据权利要求1所述的方法,其中基于所述一个或一个以上CCT平均值计算所述一个或一个以上CCT向量包含:基于所述一个或一个以上CCT平均值相对于实际光线而计算所述一个或一个以上CCT向量,其中所述实际光线是基于至少一个预定实际色温测量和至少两个预定模拟色温测量。
7.根据权利要求6所述的方法,其中所述实际光线大致平行于由所述至少两个预定模拟色温测量界定的模拟光线,且其中所述至少一个预定实际色温测量与具有类似于所述数码相机装置的所述相机传感器的构造的参考相机传感器相关联。
8.根据权利要求6所述的方法,所述方法进一步包含:
基于所述一个或一个以上CCT向量计算组合向量;以及
基于所述组合向量产生所述灰点校正因子。
9.根据权利要求8所述的方法,其中累积用于所述白平衡校准程序的数据包含:
累积总CCT平均值、高CCT平均值和低CCT平均值,其中所述总CCT平均值包含由所述相机传感器收集的所有CCT样本的平均值,其中所述高CCT平均值包含大于所述总CCT平均值的所述CCT样本的平均值,且其中所述低CCT平均值包含小于所述总CCT平均值的所述CCT样本的平均值。
10.根据权利要求9所述的方法,其进一步包含:
基于所述总CCT平均值、所述高CCT平均值和所述低CCT平均值相对于所述实际光线而计算总CCT向量、高CCT向量和低CCT向量;以及
基于所述总CCT向量、所述高CCT向量和所述低CCT向量计算所述组合向量。
11.根据权利要求9所述的方法,其进一步包含:
基于所述总CCT平均值、所述高CCT平均值和所述低CCT平均值相对于所述实际光线而计算总CCT向量、高CCT向量和低CCT向量;
确定所述高CCT向量或所述低CCT向量是否包含不良数据;
当所述高CCT向量或所述低CCT向量包含不良数据时,基于所述总CCT向量计算所述组合向量;以及
当所述高CCT向量和所述低CCT向量不包含不良数据时,基于所述总CCT向量、所述高CCT向量和所述低CCT向量计算所述组合向量。
12.根据权利要求6所述的方法,其中所述至少两个预定模拟色温测量包含约5000开和约6500开下的模拟色温测量。
13.根据权利要求8所述的方法,其中所述组合向量驻留于红/绿(R/G)乘蓝/绿(B/G)色彩空间中,其中基于所述组合向量产生灰点校正因子包含:
将所述组合向量(V)分成在R/G方向上的Vx分量和在B/G方向上的Vy分量;
以及
将所述灰点校正因子产生为:
Fx=Vx/(对应于约5000开的模拟R/G值)
Fy=Vy/(对应于约5000开的模拟B/G值)。
14.根据权利要求13所述的方法,其进一步包含应用所述灰点校正因子,其中应用所述灰点校正因子包含:
将补偿的R/G值计算为Fx*(给定R/G值);以及
将补偿的B/G值计算为Fy*(给定B/G值)。
15.根据权利要求1所述的方法,其进一步包含:
以迭代的方式产生所述灰点校正因子,其中与当前迭代相关联的所述灰点校正因子包含基于先前迭代的所述灰点校正因子的乘积。
16.一种用于执行数码相机装置中的白平衡校准程序的设备,其包含:
用于在所述数码相机装置的相机传感器正操作时起始白平衡校准程序的装置;
用于累积用于所述白平衡校准程序的数据的装置,所述数据包含与由所述相机传感器俘获的信息相关联的一个或一个以上相关色温(CCT)平均值;
用于基于所述一个或一个以上CCT平均值计算一个或一个以上CCT向量的装置;以及
用于基于所述一个或一个以上CCT向量组合向量产生灰点校正因子的装置。
17.根据权利要求16所述的设备,其进一步包含用于应用所述灰点校正因子以调整所述数码相机装置中的灰点的装置。
18.根据权利要求16所述的设备,其中用于起始的装置在与图像场景相关联的所测量亮度大于亮度阈值时起始所述白平衡校准程序。
19.根据权利要求18所述的设备,其中用于起始的装置在确定自动曝光控制(AEC)为稳定时起始所述白平衡校准程序。
20.根据权利要求19所述的设备,其中用于起始的装置响应于高置信度室外确定而起始所述白平衡校准程序,其中所述高置信度室外确定是基于照明条件和应用于由所述相机传感器俘获的所述信息的红(R)、绿(G)和蓝(B)通道的增益。
21.根据权利要求16所述的设备,其中用于计算的装置基于所述一个或一个以上CCT平均值相对于实际光线而计算所述一个或一个以上CCT向量,其中所述实际光线是基于至少一个预定实际色温测量和至少两个预定模拟色温测量。
22.根据权利要求21所述的设备,其中所述实际光线大致平行于由所述至少两个预定模拟色温测量界定的模拟光线,且其中所述至少一个预定实际色温测量与具有类似于所述数码相机装置的所述相机传感器的构造的参考相机传感器相关联。
23.根据权利要求21所述的设备,其进一步包含用于基于所述一个或一个以上CCT向量计算组合向量的装置,其中:
用于产生的装置基于所述组合向量产生所述灰点校正因子。
24.根据权利要求23所述的设备,其中用于累积用于所述白平衡校准程序的数据的装置包含:
用于累积总CCT平均值、高CCT平均值和低CCT平均值的装置,其中所述总CCT平均值包含由所述相机传感器收集的所有CCT样本的平均值,其中所述高CCT平均值包含大于所述总CCT平均值的所述CCT样本的平均值,且其中所述低CCT平均值包含小于所述总CCT平均值的所述CCT样本的平均值。
25.根据权利要求24所述的设备,其中:
用于计算一个或一个以上CCT向量的装置包含用于基于所述总CCT平均值、所述高CCT平均值和所述低CCT平均值相对于所述实际光线而计算总CCT向量、高CCT向量和低CCT向量的装置;且
用于计算所述组合向量的装置基于所述总CCT向量、所述高CCT向量和所述低CCT向量计算所述组合向量。
26.根据权利要求24所述的设备:
其中用于计算一个或一个以上CCT向量的装置包含用于基于所述总CCT平均值、所述高CCT平均值和所述低CCT平均值相对于所述实际光线而计算总CCT向量、高CCT向量和低CCT向量的装置;
所述装置进一步包含用于确定所述高CCT向量或所述低CCT向量是否包含不良数据的装置;
其中用于计算所述组合向量的装置在所述高CCT向量或所述低CCT向量包含不良数据时基于所述总CCT向量计算所述组合向量;且
其中用于计算所述组合向量的装置在所述高CCT向量和所述低CCT向量不包含不良数据时基于所述总CCT向量、所述高CCT向量和所述低CCT向量计算所述组合向量。
27.根据权利要求21所述的设备,其中所述至少两个预定模拟色温测量包含约5000开和约6500开下的模拟色温测量。
28.根据权利要求23所述的设备,其中所述组合向量驻留于红/绿(R/G)乘蓝/绿(B/G)色彩空间中,其中用于产生的装置:
将所述组合向量(V)分成在R/G方向上的Vx分量和在B/G方向上的Vy分量,
以及
将所述灰点校正因子产生为:
Fx=Vx/(对应于约5000开的模拟R/G值)
Fy=Vy/(对应于约5000开的模拟B/G值)。
29.根据权利要求28所述的设备,其进一步包含用于应用所述灰点校正因子的装置,其中用于应用的装置包含:
用于将补偿的R/G值计算为Fx*(给定R/G值)的装置;以及
用于将补偿的B/G值计算为Fy*(给定B/G值)的装置。
30.根据权利要求16所述的设备,其中用于产生所述灰点校正因子的装置:
以迭代的方式产生所述灰点校正因子,其中与当前迭代相关联的所述灰点校正因子包含基于先前迭代的所述灰点校正因子的乘积。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/030,814 US8004566B2 (en) | 2008-02-13 | 2008-02-13 | Self calibration of white balance for a digital camera device using correlated color temperature data |
US12/030,814 | 2008-02-13 | ||
PCT/US2009/034121 WO2009102998A1 (en) | 2008-02-13 | 2009-02-13 | White balance calibration for digital camera device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101911715A CN101911715A (zh) | 2010-12-08 |
CN101911715B true CN101911715B (zh) | 2012-12-05 |
Family
ID=40635866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980101577.9A Expired - Fee Related CN101911715B (zh) | 2008-02-13 | 2009-02-13 | 用于数码相机装置的白平衡校准 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8004566B2 (zh) |
EP (1) | EP2091261B1 (zh) |
JP (2) | JP5512550B2 (zh) |
KR (1) | KR101154136B1 (zh) |
CN (1) | CN101911715B (zh) |
CY (1) | CY1117040T1 (zh) |
TW (1) | TW200952502A (zh) |
WO (1) | WO2009102998A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100271489A1 (en) * | 2009-04-23 | 2010-10-28 | Nokia Corporation | Imaging unit, apparatus comprising an imaging unit, a system, and methods for calibrating an imaging apparatus |
US8462227B2 (en) * | 2009-04-24 | 2013-06-11 | Ati Technologies Ulc | Digital camera module white balance calibration method and apparatus using only single illumination source data |
KR101245199B1 (ko) * | 2011-04-20 | 2013-03-19 | (주)아크로엠 | 카메라용 컬러 밸런스 조절 장치 및 조절 방법 |
US20120314086A1 (en) * | 2011-06-08 | 2012-12-13 | Apple Inc. | Camera test and calibration based on spectral monitoring of light |
WO2014057588A1 (ja) * | 2012-10-12 | 2014-04-17 | Necディスプレイソリューションズ株式会社 | 輝度校正装置、プログラムおよび輝度校正方法 |
US8854709B1 (en) * | 2013-05-08 | 2014-10-07 | Omnivision Technologies, Inc. | Automatic white balance based on dynamic mapping |
CN103338383B (zh) * | 2013-06-25 | 2016-12-28 | 努比亚技术有限公司 | 白平衡校准的方法及装置 |
CN103963453B (zh) * | 2014-04-21 | 2016-07-06 | 杭州电子科技大学 | 一种印刷灰平衡预置方法 |
US9386289B2 (en) * | 2014-04-29 | 2016-07-05 | Intel Corporation | Automatic white balancing with chromaticity measure of raw image data |
CN105578166B (zh) * | 2016-01-08 | 2018-06-05 | 浙江宇视科技有限公司 | 一种色温确定方法及装置 |
EP3449628B1 (en) | 2016-04-25 | 2022-12-14 | Zhejiang Dahua Technology Co., Ltd | Methods, systems, and media for image white balance adjustment |
CN106791758B (zh) * | 2016-12-07 | 2018-07-06 | 浙江大华技术股份有限公司 | 一种图像中自然光混合色温的判断方法及装置 |
CN105872513A (zh) * | 2016-06-17 | 2016-08-17 | 刘华英 | 基于环境特征值的白平衡方法和装置 |
US10420186B2 (en) * | 2017-05-31 | 2019-09-17 | Nbcuniversal Media, Llc | Color tunable light with zone control |
EP3553373A1 (en) | 2018-04-13 | 2019-10-16 | NBCUniversal Media, LLC | Digitally adjustable focused beam lighting system |
US10863059B2 (en) * | 2018-06-26 | 2020-12-08 | Microsoft Technology Licensing, Llc | Environmental-based spatial color uniformity correction by using statistical distribution of camera modules |
US10791310B2 (en) * | 2018-10-02 | 2020-09-29 | Intel Corporation | Method and system of deep learning-based automatic white balancing |
US11333342B2 (en) | 2019-05-29 | 2022-05-17 | Nbcuniversal Media, Llc | Light emitting diode cooling systems and methods |
US11047560B2 (en) | 2019-05-29 | 2021-06-29 | Nbcuniversal Media, Llc | Light emitting diode cooling systems and methods |
CN112950635A (zh) * | 2021-04-26 | 2021-06-11 | Oppo广东移动通信有限公司 | 灰点检测方法、灰点检测装置、电子设备及存储介质 |
KR20230023498A (ko) | 2021-08-10 | 2023-02-17 | 삼성전자주식회사 | 언더 디스플레이 카메라를 포함하는 전자 장치 및 그 동작 방법 |
US12025302B1 (en) | 2023-04-28 | 2024-07-02 | NBCUniversal Studios LLC | Light emitting diode lighting systems and methods |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1457022A (zh) * | 2002-05-09 | 2003-11-19 | 精工爱普生株式会社 | 图像处理系统、投影仪、信息存储介质和图像处理方法 |
US7218344B2 (en) * | 2001-08-15 | 2007-05-15 | Sony Corporation | System and method for efficiently performing a white balance operation |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS612487A (ja) * | 1984-06-14 | 1986-01-08 | Sony Corp | カラ−ビデオカメラの自動白バランス調整方法 |
JP2776437B2 (ja) * | 1987-02-18 | 1998-07-16 | ミノルタ株式会社 | 自動ホワイトバランス調整装置 |
JPH05300525A (ja) * | 1991-04-19 | 1993-11-12 | Hitachi Ltd | ホワイトバランス制御装置 |
US5821993A (en) | 1996-01-25 | 1998-10-13 | Medar, Inc. | Method and system for automatically calibrating a color camera in a machine vision system |
US5995142A (en) * | 1996-02-04 | 1999-11-30 | Sony Corporation | Automatic white balance control system for a color video camera |
US6023264A (en) * | 1998-04-24 | 2000-02-08 | Adobe Systems Incorporated | Method to estimate the white point on a display device |
US6654493B1 (en) * | 1998-11-13 | 2003-11-25 | Lightsurf Technologies, Inc. | Charactering and calibrating an image capture device |
KR100304663B1 (ko) * | 1998-12-04 | 2001-09-29 | 윤종용 | 칼라조명색온도검출방법및장치 |
JP2001275122A (ja) * | 2000-03-27 | 2001-10-05 | Minolta Co Ltd | デジタルカメラ |
US6947079B2 (en) * | 2000-12-22 | 2005-09-20 | Eastman Kodak Company | Camera having verification display with reverse white balanced viewer adaptation compensation and method |
US7084907B2 (en) * | 2001-01-15 | 2006-08-01 | Nikon Corporation | Image-capturing device |
JP4059708B2 (ja) * | 2001-06-01 | 2008-03-12 | オリンパス株式会社 | デジタルカメラ及びホワイトバランス調整方法 |
US7184080B2 (en) * | 2001-06-25 | 2007-02-27 | Texas Instruments Incorporated | Automatic white balancing via illuminant scoring |
US7146041B2 (en) * | 2001-11-08 | 2006-12-05 | Fuji Photo Film Co., Ltd. | Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded |
US7218358B2 (en) * | 2004-06-15 | 2007-05-15 | Coretronic Corporation | Method and apparatus for calibrating color temperature of color display devices |
JP2006279459A (ja) * | 2005-03-29 | 2006-10-12 | Seiko Epson Corp | 画像撮影装置、画像撮影方法、画像撮影プログラムおよび記録媒体 |
JP4539432B2 (ja) * | 2005-05-16 | 2010-09-08 | ソニー株式会社 | 画像処理装置および撮像装置 |
US7912279B2 (en) * | 2006-10-26 | 2011-03-22 | Qualcomm Incorporated | Automatic white balance statistics collection |
US8049789B2 (en) * | 2006-12-15 | 2011-11-01 | ON Semiconductor Trading, Ltd | White balance correction using illuminant estimation |
-
2008
- 2008-02-13 US US12/030,814 patent/US8004566B2/en active Active
- 2008-03-31 EP EP08006441.3A patent/EP2091261B1/en not_active Not-in-force
-
2009
- 2009-02-13 KR KR1020107020457A patent/KR101154136B1/ko not_active IP Right Cessation
- 2009-02-13 TW TW098104719A patent/TW200952502A/zh unknown
- 2009-02-13 CN CN200980101577.9A patent/CN101911715B/zh not_active Expired - Fee Related
- 2009-02-13 WO PCT/US2009/034121 patent/WO2009102998A1/en active Application Filing
- 2009-02-13 JP JP2010546929A patent/JP5512550B2/ja active Active
-
2013
- 2013-09-24 JP JP2013197615A patent/JP2014042272A/ja not_active Withdrawn
-
2015
- 2015-09-28 CY CY20151100856T patent/CY1117040T1/el unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7218344B2 (en) * | 2001-08-15 | 2007-05-15 | Sony Corporation | System and method for efficiently performing a white balance operation |
CN1457022A (zh) * | 2002-05-09 | 2003-11-19 | 精工爱普生株式会社 | 图像处理系统、投影仪、信息存储介质和图像处理方法 |
Non-Patent Citations (1)
Title |
---|
JP特开平11-275378A 1999.10.08 |
Also Published As
Publication number | Publication date |
---|---|
WO2009102998A1 (en) | 2009-08-20 |
US8004566B2 (en) | 2011-08-23 |
TW200952502A (en) | 2009-12-16 |
KR101154136B1 (ko) | 2012-06-13 |
JP2014042272A (ja) | 2014-03-06 |
CY1117040T1 (el) | 2017-04-05 |
JP5512550B2 (ja) | 2014-06-04 |
EP2091261A3 (en) | 2014-07-02 |
CN101911715A (zh) | 2010-12-08 |
US20090201374A1 (en) | 2009-08-13 |
JP2011512112A (ja) | 2011-04-14 |
KR20100121665A (ko) | 2010-11-18 |
EP2091261A2 (en) | 2009-08-19 |
EP2091261B1 (en) | 2015-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101911715B (zh) | 用于数码相机装置的白平衡校准 | |
TWI524709B (zh) | 影像擷取設備、影像擷取設備之控制方法及電子裝置 | |
CN106797453B (zh) | 图像处理装置、摄像装置、图像处理方法以及图像处理程序 | |
CN102131040B (zh) | 自适应镜头黑点校正 | |
US8803994B2 (en) | Adaptive spatial sampling using an imaging assembly having a tunable spectral response | |
CN106358030B (zh) | 图像处理装置和图像处理方法 | |
CN103595921B (zh) | 摄像装置 | |
CN101019416A (zh) | 成像设备 | |
CN108028895A (zh) | 有缺陷的图像传感器元件的校准 | |
US9389678B2 (en) | Virtual image signal processor | |
US10771754B2 (en) | Image white balance correction method and electronic device | |
US10341604B2 (en) | Camera system, camera, interchangeable lens, and storage medium storing control program for camera system thereon | |
JP4887680B2 (ja) | ホワイトバランス調整装置、及びホワイトバランス調整方法 | |
KR101185871B1 (ko) | 디지털 이미지 처리장치 및 그 디스플레이 방법 | |
KR101589493B1 (ko) | 플래시를 이용한 화이트 밸런스 조정 방법 및 장치, 이를 이용한 디지털 촬영 장치 | |
CN109391804A (zh) | 摄像装置、图像处理装置及系统、控制方法和存储介质 | |
CN110463184A (zh) | 图像处理装置、图像处理方法及程序 | |
JP5791454B2 (ja) | 撮像装置、及びその制御方法 | |
US20160344932A1 (en) | Omnidirectional camera system | |
Kamath et al. | Prediction of illuminance on the work plane using low dynamic unprocessed image data | |
CN116132784A (zh) | 图像处理方法、装置及存储介质 | |
JP2015204481A (ja) | 色再現補正方法、色再現補正装置及び撮像装置 | |
CN118118788A (zh) | 自动曝光参数确定方法及装置、存储介质 | |
CN112399160A (zh) | 色彩管理方法和设备、终端及存储介质 | |
JP2005176209A (ja) | カメラ付き端末、その調整システム及び調整方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121205 Termination date: 20220213 |
|
CF01 | Termination of patent right due to non-payment of annual fee |