CN101361374A - 提供用于数字成像系统的自动色彩平衡的方法及设备 - Google Patents
提供用于数字成像系统的自动色彩平衡的方法及设备 Download PDFInfo
- Publication number
- CN101361374A CN101361374A CNA2006800510898A CN200680051089A CN101361374A CN 101361374 A CN101361374 A CN 101361374A CN A2006800510898 A CNA2006800510898 A CN A2006800510898A CN 200680051089 A CN200680051089 A CN 200680051089A CN 101361374 A CN101361374 A CN 101361374A
- Authority
- CN
- China
- Prior art keywords
- gain
- channel
- color channel
- calculating
- prime
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000003384 imaging method Methods 0.000 title claims description 18
- 230000009471 action Effects 0.000 claims description 26
- 230000007935 neutral effect Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 208000032325 CEBPE-associated autoinflammation-immunodeficiency-neutrophil dysfunction syndrome Diseases 0.000 claims 6
- 230000000694 effects Effects 0.000 abstract description 3
- 229920006395 saturated elastomer Polymers 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 241000736199 Paeonia Species 0.000 description 1
- 235000006484 Paeonia officinalis Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
Abstract
对来自图像的像素进行取样以用于灰界统计。为避免饱和区域的影响而删改所述像素。如果所述灰界统计中包含预定百分比的像素,则计算色彩通道增益并将其施加到所述图像。因此,以简单且高效的方式实现色彩平衡。
Description
技术领域
本发明涉及成像装置且更特定来说涉及用于成像系统的自动色彩平衡技术。
背景技术
光成像应用中已使用固态成像器,其中包含电荷耦合装置(CCD)、CMOS成像器及其它。固态成像器电路包含像素单元焦平面阵列,所述单元中的每一单元包含光电传感器,其可以是光电门、光电导体或具有用于累积光生电荷的掺杂区域的光电二极管。每一像素单元均具有形成于衬底上或衬底中的电荷存储区域,所述电荷存储区域连接到作为读出电路一部分的输出晶体管的栅极。可将电荷存储区域构造为浮动扩散区域。在某些成像器电路中,每一像素单元均可包含用于将电荷从光电传感器转移到存储区域的至少一个电子装置(例如晶体管)及用于将存储区域重新设定为电荷转移前的预定电荷水平的一个装置,其通常也为晶体管。
在CMOS成像器中,像素单元的有源元件执行以下必要功能:(1)光子转换为电荷;(2)累积图像电荷;(3)将存储区域重新设定为已知状态;(4)将电荷转移到存储区域;(5)选择用于读出的像素单元;及(6)输出并放大表示像素电荷的信号。可在光电荷从初始电荷累积区域向存储区域移动时放大所述光电荷。通常由源极跟随器输出晶体管将存储区域处的电荷转换为像素输出电压。
上述类型的CMOS成像器通常如在(例如)受让于美光科技(Micron Technology)有限公司的美国专利案第6,140,630号、美国专利案第6,376,868号、美国专利案第6,310,366号、美国专利案第6,326,652号、美国专利案第6,204,524号及美国专利案第6,333,205号中所说明而众所周知,所述专利的全部内容以引用方式并入本文中。
色彩恒常性是人类视觉系统特征之一。人类视觉系统擅于在不同照明条件下辨别彩色物体。物体的色彩在极为不同的自然与人造光源类型(例如阳光、月光、白炽光、荧光及烛光)下看起来大致相同。然而,由于照明的光谱功率分布的改变,场景的所察觉的亮度与色彩外观会有所改变。人类视觉系统不会完全移除光源的影响。
一种可能的解释是,人类视觉系统不具有绝对色度装置的作用。所察觉图像含有光源与物体反射率的相互作用。因此,为使从成像装置捕捉的图像看起来自然,必须以与人类视觉系统作用方式类似的方式来保留光源的影响。例如,复制的日落场景必须看起来像日落场景。此假设由R.W.G.亨特(R.W.G.Hunt)的观察所支持,即如果调整色彩平衡使得整个图像整合灰色而不是校正色彩平衡(其中灰色印刷为灰色)而进行彩色印刷,则在彩色印刷中常会产生更令人愉悦的效果。R.W.G.亨特(R.W.G.Hunt)的″色彩复制(The Reproduction of Color)″§16.7。灰界理论假定图片中的所有色彩均应整合(即平均)灰色。因此,需要并期望对所捕捉图像更精确地进行色彩平衡的成像装置。
发明内容
本发明提供一种可更紧密地维持在不同照明下的图像色彩平衡的色彩平衡方法及设备。根据本发明例示性实施例,具有成像器色彩空间(例如红绿蓝(RGB)色彩空间)的来自输入图像的像素经取样以用于灰界统计。为避免饱和区域的影响而删改所述像素。如果所述灰界统计中包含预定百分比的像素,则根据中性白点为每一RGB通道计算增益。将通道增益施加到RGB图像。此过程可产生适于显示的经转变色彩平衡图像。
本发明可经实施以对模拟或数字图像数据进行操作且可采用硬件、软件或二者的组合来执行。
附图说明
参照附图从下面提供的例示性实施例的详细说明将会明白本发明的前述及其它优点与特征,其中:
图1显示图解说明根据本发明例示性实施例的色彩平衡过程的功能性方块图;
图2显示更详细地图解说明图1所示过程的各部分的功能性方块图;
图3显示更详细地图解说明图2所示过程的各部分的流程图;
图4显示根据本发明例示性实施例而构造的成像器的方块图;及
图5显示处理器系统,其并入包含根据本发明实施例所构造的用于计算色彩平衡的电路的至少一个成像装置。
具体实施方式
在下述说明中,将例示性成像器色彩空间描述为RGB色彩空间;然而,本发明中可使用其它色彩成像协议,其中包含(例如)减色CMYK(青色、深红色、黄色、黑色)色彩空间。
现在参照图式来说明本发明的一般处理流程。参照图1,从使用平铺彩色滤光片阵列(例如贝尔(Bayer)马赛克滤光片图案)的图像传感器2获取来自RGB色彩空间的图像传感器数据。施加内插平铺贝尔(Bayer)RBG信号的去马赛克过程3以产生Ri、Gi及Bi信号。通过收集图像的色度统计并如下面参照图3与4更详细地说明计算通道增益,在过程4中对所述Ri、Gi及Bi信号进行色彩平衡以产生Rb、Gb及Bb信号。然后,使所述Rb、Gb及Bb信号经历色彩校正过程5以通过应用常规的色彩校正方案产生Rt、Gt及Bt信号。将显示映射6施加到经色彩校正信号Rt、Gt及Bt信号以产生适合在输出过程7处显示或另外输出RGB图像的R′、G′及B′信号。应了解,在处理方块2、3、5、6及7中可分别使用任何已知的马赛克、去马赛克、色彩校正、显示映射及显示技术。
现在针对图2更详细地说明图1的方块4的色彩平衡过程。首先,在过程4a中计算经删改灰界统计R_Sum、G_Sum、B_Sum及计数。然后在过程方块4b中计算通道增益R_Gain、G_Gain及B_Gain并将所述通道增益施加到输入信号Ri、Gi及Bi以产生经色彩平衡的图像数据Rb、Gb及Bb。
下面关于本发明例示性实施例进一步详细描述图2所图解说明的过程。首先参照处理方块4a,可通过将输入图像整合灰色来导出灰界统计。参见R.W.G.亨特(R.W.G.Hunt)的″色彩复制(The Reproduction of Color)″(源泉出版社(Fountain Press),1987年第4版,ISBN 0-86343-088-0),其揭示内容以引用方式并入本文中。在本发明例示性实施例中,通过处理方块4a对输入图像的每一像素取样以用于整合灰色。在处理方块4a中计算每一像素的色彩通道的色度和(R_SUM、G_SUM及B_SUM)且然后使用所述色度和在处理方块4b中计算灰界概要的色度。将所述灰界概要的色度界定如下:红色值,GW_CR=R_SUM/(R_SUM+G_SUM+B_SUM);绿色值,GW_CG=G_SUM/(R_SUM+G_SUM+B_SUM);及蓝色值,GW_CB=B_SUM/(R_SUM+G_SUM+B_SUM)。在例示性实施例中,所有三个分量的色度的和为1。换句话说,GW_CR+GW_CG+GW_CB=1。应了解,在处理方块4a中可采用任何已知的像素选择方法,其包含但不限于对图像中的像素随机取样,或者任何趋向于选择像素的方法或操作。
可通过删改(即排除明显离群值,例如接近饱和的像素)来进一步改善所述灰界概要的精确度以补偿完全饱和的彩色物体等。图3中的流程图显示例示性删改过程。最初选择像素(步骤10)。在所述例示性删改过程中,如果绿色值高于预先设定的较低值(LOW_GREEN_VALUE)且低于预先设定的较高值(HIGH_GREEN_VALUE);红色值高于所述绿色值预先设定的较低分数(LOW_RED_GREEN_FRACTION)且低于所述绿色值预先设定的较高分数(HIGH_RED_GREEN_FRACTION);且蓝色值高于所述绿色值预先设定的较低分数(LOW_BLUE_GREEN_FRACTION)且低于所述绿色值预先设定的较高分数(HIGH_BLUE_GREEN_FRACTION),则将像素包含在灰界统计中。在图3的步骤20中执行这些测试。
如果所述像素通过上面所列出的准则(步骤20),则将所述像素的红色、绿色及蓝色值分别添加到每一分量的总值(R_SUM、G_SUM及B_SUM)并使有效像素计数COUNT递增(步骤30)。如果选定的像素并非用于取样的最后像素(步骤40),则选择下一像素(步骤10),并再次执行所述删改准则确定(步骤20)。执行相同操作步骤(如上面参照图3所述),直到确定已选定将包含在灰界统计中的最后像素(步骤40)。如果在步骤20处确定所述像素不满足所述删改准则,则如上述执行步骤40。
一旦确定选定的像素为用于取样的来自图像的最后像素(在步骤40处为是),色彩平衡系统便在步骤50处确定是否是经取样图像像素的总数的预定百分比计数,例如等于或大于总取样像素的四分之一。如果等于或大于经取样图像像素总数的预定百分比计数,则认为色彩通道增益有效(步骤60)且应在过程方块4b中计算所述增益并将其施加到图像数据Ri、Gi及Bi。否则,认为所述增益无效且色彩通道保持不变(步骤70)。应注意,步骤50(即确定是否是总取样像素的预定百分比计数)可在计算通道增益之后进行,但在计算通道增益之前做出所述确定更为有效。
处理方块4b(图2)中的通道增益计算围绕在灰界概要的色度与预定的中性白点的色度之间进行平衡而循环出现。色度是以类似于已知的CIE XYZ标准观察者三色刺激色度系统的概念来界定的。参见威泽斯基(Wyszecki)与斯泰尔斯(Stiles)、威利(Wiley)的“色彩科学概念及方法、量化数据与公式(Color Science Concepts andMethods,Quantitative Data and Formulae)″(ISBN 0-471-39918-3),其揭示内容以引用方式并入本文中。图像传感器的光谱响应通常不与CIE标准观察者相同。因为色彩平衡取决于场景施照体,所以需要针对已知光源来校准传感器的中性白点。
在处理方块4b中确定中性白点的色度。可自动地将所述确定计算为图像传感器的光谱响应、基于用户偏好的预先设定或二者的组合。应了解,可使用用于选择中性白点的任何已知的方法。中性白点的色度由三个分量组成:红色值N_CR、绿色值N_CG及蓝色值N_CB。在优选实施例中,所有三个分量的色度的和为1。换句话说,N_CR+N_CG+N_CB=1。
在优选实施例中,可以在处理方块4b中使用系统调谐参数G_BIAS以根据图像传感器的色彩通道灵敏度来精细调谐所呈现的图像。可根据图像传感器的色彩通道灵敏度、基于用户偏好的预先设定或二者的组合来自动地计算G_BIAS。应了解,可使用用于选择系统调谐参数的任何已知的方法。
在本发明实施例中,根据中性白点的色度(N_CR、N_CG、N_CB)、灰界概要的色度(GW_CR、GW_CG、GW_CB)及可选系统调谐参数(G_BIAS)来计算绿色通道增益G_GAIN。根据绿色通道增益计算红色通道增益,而不是独立地计算红色通道增益。最后,根据红色与绿色通道增益计算蓝色通道增益。在本发明的一个实施例中,上面所提及的参数用于在处理方块4b中为每一色彩通道如下计算增益:
在处理方块4b中执行通道增益的优选实施例递归计算,从而允许更完整地规范化通道增益。所述递归计算由方程式(1)、(2)及(3)的计算与可视需要多次重复的以下递归计算组成:
在优选实施例中,在处理方块4b中规范化采用方程式(1)、(2)及(3)或方程式(4)、(5)及(6)计算的通道增益(现在为简单起见表示为R_GAIN、G_GAIN、B_GAIN)以最小化亮度信号变化,同时维持色彩通道增益之间的比率。由于绿色通道构成大多数亮度信号,所以通过将绿色通道增益设定为1.0来最小化亮度信号变化,并重新计算红色通道增益与蓝色通道增益,同时维持红色、绿色及蓝色通道增益之间的比率。这可由以下方程式来实现:
(7)G_GAIN′=1.0
在优选实施例中,在处理方块4b中计算且如上文所述的红色、绿色及蓝色通道增益可分别用于调整处理方块4中的信号Ri、Gi及Bi以产生信号Rb、Gb及Bb。在单个图片快照应用中,可将导出的通道增益应用于后续色彩处理阶段。在其中需要连续的视频数据流的视频应用中,可在处理方块4c中存储每一帧的新通道增益并将其应用于下一帧。如果需要更平滑的转换,则可通过存储多个过去通道增益并执行对所述过去及当前通道增益的低通滤波来实施对通道增益的低通滤波。可由运行均值或移动平均滤波器来操作所述低通滤波,如处理方块4c所示。应了解,可使用任何已知的低通滤波方法。
从上述说明可显而易见,本发明实现明显的色彩平衡,实施较直接且相对容易。因此,以简单且高效的方式实现色彩平衡。
图4图解说明例示性成像装置300,其具有适用于提供图1的方块2所图解说明的处理的像素阵列240。图4的成像装置采用贝尔(Bayer)滤光片并产生R、G、B像素输出信号。由行驱动器245响应于行地址解码器255来选择性地激活阵列240的行线。成像装置300中还包含列驱动器260及列地址解码器270。由定时及控制电路250来操作成像装置300,所述定时及控制电路控制地址解码器255、270。控制电路250还控制行与列驱动器电路245、260。
与列驱动器260相关联的取样及保持电路261针对阵列240的选定像素读取像素重设信号Vrst与像素图像信号Vsig。针对每一像素,由差动放大器262产生差动信号(Vrst-Vsig)并由模拟到数字转换器275(ADC)对其进行数字化。模拟到数字转换器275将经数字化像素信号供应到形成且可输出数字图像的图像处理器280。图像处理器280具有电路(例如处理器),所述电路能够对像素阵列240执行本发明的色彩平衡处理(图1的方块4)。
或者,可由位于放大器262与ADC 275之间的硬连线或逻辑电路(未显示)在所述像素阵列的模拟输出上完成色彩平衡处理,或可由另一装置以软件或硬件在图像处理器280的数字图像输出上完成色彩平衡处理。
图5显示系统1100,所述系统为经修改以包含并入根据本发明的色彩平衡方法的成像装置300(图4)的典型处理器系统。系统1100为具有可包含图像传感器装置的数字电路的例示性系统。在没有限定性的情况下,这一系统可包含计算机系统、静态或视频相机系统、扫描仪、机器视觉、视频电话及自动聚焦系统或其它成像器系统。
系统1100(例如相机系统)通常包括中央处理单元(CPU)1102(例如微处理器),其经由总线1104与输入/输出(I/O)装置1106进行通信。成像装置300还经由总线1104与CPU 1102进行通信。基于处理器的系统1100还包含随机存取存储器(RAM)1110,且可包含可装卸存储器1115(例如快闪存储器),所述存储器也经由总线1104与CPU 1102进行通信。可将成像装置300与处理器(例如,CPU、数字信号处理器或微处理器)结合,而在单个集成电路上或在与所述处理器不同的芯片上的存储装置可有可无。
虽然已如上描述及图解说明了本发明优选实施例,但应了解,这些实施例是本发明的例示且不应被视为限定性。例如,虽然已结合CMOS图像传感器描述了例示性实施例,但本发明可适用于其它电子图像传感器(例如CCD图像传感器)。可进行添加、删除、替代及其它修改而不背离本发明精神或范围。因此,不应将本发明视为受前述说明限定,而仅受随附权利要求书的范围限定。
Claims (65)
1、一种对来自图像传感器的输入图像数据执行色彩平衡操作的方法,其包括以下动作:
为具有色彩通道的所述输入图像数据计算灰界统计;
基于所述灰界统计及中性白点为所述输入图像数据计算色彩通道增益;及
通过将所述色彩通道增益施加到所述输入图像数据的相应色彩通道而将所述输入图像数据转变为输出图像。
2、如权利要求1所述的方法,其中所述计算灰界统计的动作进一步包括基于预定准则来删改在计算所述灰界统计中使用的所述像素。
3、如权利要求2所述的方法,其中所述删改动作进一步包括基于每一色彩通道的高与低阈值范围来选择用于包含在所述灰界统计中的像素。
4、如权利要求2所述的方法,其中所述删改动作进一步包括确定符合所述预定准则的像素总数是否是在所述灰界统计的所述计算中所考虑的所述像素总数的预定百分比。
5、如权利要求1所述的方法,其中所述计算所述色彩通道增益的动作包括使用系统调谐参数以根据所述图像传感器的色彩通道灵敏度来精细调谐所述输出图像。
6、如权利要求1所述的方法,其中所述计算所述色彩通道增益的动作进一步包括以递归方式重新计算所述通道增益的动作。
7、如权利要求1所述的方法,其中所述色彩通道为红色R、绿色G及蓝色B且根据以下方程式计算所述色彩通道增益:
其中G_GAIN为绿色通道的增益,R_GAIN为红色通道的增益,且B_GAIN为蓝色通道的增益;GW_CR、GW_CB及GW_CG表示所述灰界概要的色度;且N_CR、N_CB及N_CG表示所述中性白点的色度。
8、如权利要求7所述的方法,其进一步包括以递归方式如下计算所述通道增益的动作:
其中G_GAIN′为绿色通道的经重新计算增益;R_GAIN′为红色通道的经重新计算增益,且B_GAIN′为蓝色通道的经重新计算增益。
9、如权利要求1所述的方法,其中所述色彩通道为红色R、绿色G及蓝色B且根据以下方程式计算所述色彩通道增益:
其中G_GAIN为绿色通道的增益,R_GAIN为红色通道的增益,且B_GAIN为蓝色通道的增益;GW_CR、GW_CB及GW_CG表示所述灰界概要的色度;G_BIAS表示调谐参数;且N_CR、N_CB及N_CG表示所述中性白点的所述色度。
10、如权利要求9所述的方法,其进一步包括以递归方式如下计算所述通道增益的动作:
其中G_GAIN′为绿色通道的经重新计算增益;R_GAIN′为红色通道的经重新计算增益,且B_GAIN′为蓝色通道的经重新计算增益。
11、如权利要求1所述的方法,其中所述计算所述色彩通道增益的动作进一步包括规范化所述所计算通道增益的动作。
12、如权利要求11所述的方法,其进一步包括如下规范化所述所计算色彩通道增益的动作:
G_GAIN′=1.0
13、如权利要求1所述的方法,其进一步包括使用低通滤波器对所述所计算色彩通道增益进行滤波的动作。
14、如权利要求1所述的方法,其进一步包括以下动作:
存储预定数目的色彩通道增益;及
通过对所述预定数目的所存储色彩通道增益求平均值来计算所述色彩通道增益。
15、如权利要求1所述的方法,其中所述输入图像传感器是视频相机的一部分。
16、如权利要求1所述的方法,其中所述输入图像为RGB图像。
17、如权利要求1所述的方法,其中所述输入图像数据为模拟数据。
18、如权利要求1所述的方法,其中所述输入图像数据为数字数据。
19、一种用于对来自图像传感器的输入图像数据执行色彩平衡操作的成像装置,所述装置包括:
电路,其用于:
为具有色彩通道的所述输入图像数据计算灰界统计;
基于所述灰界统计及中性白点为所述输入图像数据计算色彩通道增益;及
通过将所述色彩通道增益施加到所述输入图像数据的相应色彩通道来将所述输入图像数据转变为输出图像。
20、如权利要求19所述的装置,其中所述电路为微处理器。
21、如权利要求19所述的装置,其中所述用于计算灰界统计的电路进一步基于预定准则来删改在计算所述灰界统计中使用的所述像素。
22、如权利要求21所述的装置,其中所述用于删改的电路进一步基于每一色彩通道的高与低阈值范围来选择用于包含在所述灰界统计中的像素。
23、如权利要求21所述的装置,其中所述用于删改的电路进一步包括确定符合所述预定准则的像素总数是否是在所述灰界统计的所述计算中所考虑的所述像素总数的预定百分比。
24、如权利要求19所述的装置,其中所述用于计算所述色彩通道增益的电路根据所述图像传感器的所述色彩通道灵敏度来精细调谐所述输出图像。
25、如权利要求19所述的装置,其中所述用于计算所述色彩通道增益的电路以递归方式重新计算所述通道增益。
26、如权利要求19所述的装置,其中所述色彩通道为红色R、绿色G及蓝色B且根据以下方程式计算所述色彩通道增益:
其中G_GAIN为绿色通道的增益,R_GAIN为红色通道的增益,且B_GAIN为蓝色通道的增益;GW_CR、GW_CB及GW_CG表示所述灰界概要的色度;且N_CR、N_CB及N_CG表示所述中性白点的色度。
27、如权利要求26所述的装置,其中所述通道增益是以递归方式如下计算的:
其中G_GAIN′为绿色通道的经重新计算增益;R_GAIN′为红色通道的经重新计算增益,且B_GAIN′为蓝色通道的经重新计算增益。
28、如权利要求19所述的装置,其中所述色彩通道为红色R、绿色G及蓝色B且根据以下方程式计算所述色彩通道增益:
其中G_GAIN为绿色通道的增益,R_GAIN为红色通道的增益,且B_GAIN为蓝色通道的增益;GW_CR、GW_CB及GW_CG表示所述灰界概要的色度;G_BIAS表示调谐参数;且N_CR、N_CB及N_CG表示所述中性白点的所述色度。
29、如权利要求28所述的装置,其中所述通道增益是以递归方式如下计算的:
其中G_GAIN′为绿色通道的经重新计算增益;R_GAIN′为红色通道的经重新计算增益,且B_GAIN′为蓝色通道的经重新计算增益。
30、如权利要求19所述的装置,其中所述用于计算所述色彩通道增益的电路进一步包括用于规范化所述所计算通道增益的电路。
31、如权利要求30所述的装置,其进一步包括用于如下规范化所述所计算色彩通道增益的电路:
G_GAIN′=1.0
32、如权利要求19所述的装置,其进一步包括用于使用低通滤波器对所述所计算色彩通道增益进行滤波的电路。
33、如权利要求19所述的装置,其进一步包括用于执行以下动作的电路:
存储预定数目的色彩通道增益;及
通过对所述预定数目的所存储色彩通道增益求平均值来计算所述色彩通道增益。
34、如权利要求19所述的装置,其中所述输入图像传感器为视频相机的一部分。
35、如权利要求19所述的装置,其中所述输入图像为RGB图像。
36、如权利要求19所述的装置,其中所述输入图像数据为模拟数据。
37、如权利要求19所述的装置,其中所述输入图像数据为数字数据。
38、一种对来自图像传感器的输入图像数据执行色彩平衡操作的平衡单元,所述单元包括:
计算构件,其用于为具有色彩通道的所述输入图像数据计算灰界统计;
计算构件,其用于基于所述灰界统计及中性白点为所述输入图像数据计算色彩通道增益;及
转变构件,其用于通过将所述色彩通道增益施加到所述输入图像数据的相应色彩通道来将所述输入图像数据转变为输出图像。
39、如权利要求38所述的单元,其中所述用于计算灰界统计的构件进一步包括基于预定准则删改在计算所述灰界统计中使用的所述像素。
40、如权利要求39所述的单元,其中所述用于删改的构件进一步包括基于每一色彩通道的高与低阈值范围来选择用于包含在所述灰界统计中的像素。
41、如权利要求39所述的单元,其中所述用于删改的构件进一步包括确定符合所述预定准则的像素总数是否是在所述灰界统计的所述计算中所考虑的所述像素总数的预定百分比。
42、如权利要求38所述的单元,其中所述用于计算所述色彩通道增益的构件包括使用系统调谐参数以根据所述图像传感器的所述色彩通道灵敏度来精细调谐所述输出图像。
43、如权利要求38所述的单元,其中所述用于计算所述色彩通道增益的构件进一步包括所述以递归方式重新计算所述通道增益的动作。
44、如权利要求38所述的单元,其中所述用于计算所述色彩通道增益的构件进一步包括所述规范化所述所计算通道增益的动作。
45、如权利要求38所述的单元,其进一步包括用于使用低通滤波器对所述所计算色彩通道增益进行滤波的构件。
46、如权利要求38所述的单元,其进一步包括用于执行以下动作的构件:
存储预定数目的色彩通道增益;及
通过对所述预定数目的所存储色彩通道增益求平均值来计算所述色彩通道增益。
47、一种成像器系统,其包括:
像素阵列,其用于提供图像信号;
读出电路,其用于读出图像信号;及
成像装置,其对从读出图像信号确定的输入图像数据执行色彩平衡操作,所述装置包括经编程用于执行以下动作的图像处理器:
为具有色彩通道的所述输入图像数据计算灰界统计;
基于所述灰界统计及中性白点为所述输入图像数据计算色彩通道增益;及
通过将所述色彩通道增益施加到所述输入图像数据的相应色彩通道来将所述输入图像数据转变为输出图像。
48、如权利要求47所述的系统,其进一步包括用于接收所述成像装置的输出的处理器。
49、如权利要求47所述的系统,其中所述计算灰界统计的动作进一步包括基于预定准则删改在计算所述灰界统计中使用的所述像素。
50、如权利要求49所述的系统,其中所述删改动作进一步包括基于每一色彩通道的高与低阈值范围来选择用于包含在所述灰界统计中的像素。
51、如权利要求49所述的系统,其中所述删改动作进一步包括确定符合所述预定准则的像素总数是否是在所述灰界统计的所述计算中所考虑的所述像素总数的预定百分比。
52、如权利要求47所述的系统,其中所述计算所述色彩通道增益的动作包括使用系统调谐参数以根据所述图像传感器的所述色彩通道灵敏度来精细调谐所述输出图像。
53、如权利要求47所述的系统,其中所述计算所述色彩通道增益的动作进一步包括所述以递归方式重新计算所述通道增益的动作。
54、如权利要求47所述的系统,其中所述色彩通道为红色R、绿色G及蓝色B且所述图像处理器经编程以根据以下方程式计算色彩通道增益:
其中G_GAIN为绿色通道的增益,R_GAIN为红色通道的增益,且B_GAIN为蓝色通道的增益;GW_CR、GW_CB及GW_CG表示所述灰界概要的色度;且N_CR、N_CB及N_CG表示所述中性白点的色度。
55、如权利要求54所述的系统,其中所述图像处理器经编程而以递归方式如下计算所述通道增益:
其中G_GAIN′为绿色通道的经重新计算增益;R_GAIN′为红色通道的经重新计算增益,且B_GAIN′为蓝色通道的经重新计算增益。
56、如权利要求47所述的系统,其中所述色彩通道为红色R、绿色G及蓝色B且所述图像处理器经编程以根据以下方程式计算色彩通道增益:
其中G_GAIN为绿色通道的增益,R_GAIN为红色通道的增益,且B_GAIN为蓝色通道的增益;GW_CR、GW_CB及GW_CG表示所述灰界概要的色度;G_BIAS表示调谐参数;且N_CR、N_CB及N_CG表示所述中性白点的所述色度。
57、如权利要求56所述的系统,其中所述图像处理器经编程而以递归方式如下计算所述通道增益:
其中G_GAIN′为绿色通道的经重新计算增益;R_GAIN′为红色通道的经重新计算增益,且B_GAIN′为蓝色通道的经重新计算增益。
58、如权利要求47所述的系统,其中所述图像处理器经编程以规范化所述所计算通道增益。
59、如权利要求58所述的系统,其中所述图像处理器经编程以如下规范化所述所计算色彩通道增益:
G_GAIN′=1.0
60、如权利要求47所述的系统,其中所述图像处理器经编程以对所述所计算色彩通道增益进行低通滤波。
61、如权利要求47所述的系统,其中所述图像处理器经编程以:
存储预定数目的色彩通道增益;及
通过对所述预定数目的所存储色彩通道增益求平均值来计算所述色彩通道增益。
62、如权利要求47所述的系统,其中所述输入图像传感器是视频相机的一部分。
63、如权利要求47所述的系统,其中所述输入图像为RGB图像。
64、如权利要求47所述的系统,其中所述输入图像数据为模拟数据。
65、如权利要求47所述的系统,其中所述输入图像数据为数字数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/302,126 US7848569B2 (en) | 2005-12-14 | 2005-12-14 | Method and apparatus providing automatic color balancing for digital imaging systems |
US11/302,126 | 2005-12-14 | ||
PCT/US2006/047346 WO2007070502A2 (en) | 2005-12-14 | 2006-12-13 | Method and apparatus providing automatic color balancing for digital imaging systems |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101361374A true CN101361374A (zh) | 2009-02-04 |
CN101361374B CN101361374B (zh) | 2011-09-28 |
Family
ID=38139430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800510898A Active CN101361374B (zh) | 2005-12-14 | 2006-12-13 | 提供用于数字成像系统的自动色彩平衡的方法及设备 |
Country Status (7)
Country | Link |
---|---|
US (3) | US7848569B2 (zh) |
EP (1) | EP1969859B1 (zh) |
JP (1) | JP4877561B2 (zh) |
KR (1) | KR100993047B1 (zh) |
CN (1) | CN101361374B (zh) |
TW (1) | TWI338513B (zh) |
WO (1) | WO2007070502A2 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7733357B2 (en) * | 2006-01-13 | 2010-06-08 | Hewlett-Packard Development Company, L.P. | Display system |
US8041137B2 (en) * | 2007-03-06 | 2011-10-18 | Broadcom Corporation | Tiled output mode for image sensors |
US9058668B2 (en) * | 2007-05-24 | 2015-06-16 | Broadcom Corporation | Method and system for inserting software processing in a hardware image sensor pipeline |
US20080292219A1 (en) * | 2007-05-24 | 2008-11-27 | Gary Keall | Method And System For An Image Sensor Pipeline On A Mobile Imaging Device |
US8013907B2 (en) * | 2008-04-08 | 2011-09-06 | Omnivision Technologies, Inc. | System and method for adaptive local white balance adjustment |
US8165393B2 (en) * | 2008-06-05 | 2012-04-24 | Microsoft Corp. | High dynamic range texture compression |
US20090322777A1 (en) * | 2008-06-26 | 2009-12-31 | Microsoft Corporation | Unified texture compression framework |
US8238653B2 (en) | 2008-07-11 | 2012-08-07 | Silicon Image, Inc. | Methods and mechanisms for probabilistic color correction |
US20100079503A1 (en) * | 2008-09-30 | 2010-04-01 | Texas Instruments Incorporated | Color Correction Based on Light Intensity in Imaging Systems |
FR2937209B1 (fr) * | 2008-10-15 | 2011-07-22 | St Microelectronics Sa | Correction de deviation de blanc dans une image captee |
US8195054B2 (en) * | 2008-11-26 | 2012-06-05 | Samsung Electronics Co., Ltd | Apparatus and method for transmitting and receiving an information symbol in a visible light communication system for color code modulation |
US8886206B2 (en) | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
US9749607B2 (en) | 2009-07-16 | 2017-08-29 | Digimarc Corporation | Coordinated illumination and image signal capture for enhanced signal detection |
US9137432B2 (en) | 2011-09-16 | 2015-09-15 | Samsung Electronics Co., Ltd. | Backside illumination image sensor, operating method thereof, image processing system and method of processing image using the same |
US9593982B2 (en) | 2012-05-21 | 2017-03-14 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
US9621760B2 (en) | 2013-06-07 | 2017-04-11 | Digimarc Corporation | Information coding and decoding in spectral differences |
WO2015077493A1 (en) * | 2013-11-20 | 2015-05-28 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
TWI562636B (en) * | 2014-06-16 | 2016-12-11 | Altek Semiconductor Corp | Image capture apparatus and image compensating method thereof |
US10113910B2 (en) | 2014-08-26 | 2018-10-30 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
US9727941B1 (en) | 2014-11-19 | 2017-08-08 | Digimarc Corporation | Optimizing optical scanners for digital watermark detection |
CN104599241B (zh) * | 2014-12-05 | 2018-04-06 | 上海交通大学 | 全自动高效计算的颜色一致性方法 |
KR101708689B1 (ko) * | 2015-08-24 | 2017-02-21 | 엘지전자 주식회사 | 홀로그래픽 광학 소자를 구비하는 광학계를 포함하는 헤드 마운티드 디스플레이의 화질 개선 방법 |
CN109427041B (zh) * | 2017-08-25 | 2021-10-22 | 中国科学院上海高等研究院 | 一种图像白平衡方法及系统、存储介质及终端设备 |
KR20200129458A (ko) | 2019-05-08 | 2020-11-18 | 삼성전자주식회사 | 인공 신경망 모델을 트레이닝하는 컴퓨팅 장치, 인공 신경망 모델을 트레이닝하는 방법 및 이를 저장하는 메모리 시스템 |
CN110532947A (zh) * | 2019-08-28 | 2019-12-03 | 上海眼控科技股份有限公司 | 一种用于车检表格的去偏色处理的方法及设备 |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2538983B1 (fr) * | 1982-12-30 | 1986-02-07 | Guichard Jacques | Procede de correction de couleur applicable a la prise de vues video et systeme mettant en oeuvre ce procede |
JPH02230869A (ja) * | 1989-03-03 | 1990-09-13 | Ricoh Co Ltd | ゲインコントロール回路 |
EP0411911B1 (en) * | 1989-08-02 | 1996-03-27 | Canon Kabushiki Kaisha | Image processing apparatus |
US5442408A (en) | 1989-11-17 | 1995-08-15 | Sanyo Electric Co., Ltd. | White balance adjusting apparatus for automatically adjusting white balance in response to luminance information signal and color information signal obtained from image sensing device |
US5274439A (en) * | 1992-03-31 | 1993-12-28 | Panasonic Technologies, Inc. | Apparatus for clipping or limiting color signals to maintain color balance |
US6351558B1 (en) * | 1996-11-13 | 2002-02-26 | Seiko Epson Corporation | Image processing system, image processing method, and medium having an image processing control program recorded thereon |
US5907629A (en) * | 1996-11-15 | 1999-05-25 | Funt; Brian Vicent | Method of estimating chromaticity of illumination using neural networks |
JP3413589B2 (ja) * | 1998-03-09 | 2003-06-03 | 富士写真フイルム株式会社 | 画像処理方法および装置 |
JP3664582B2 (ja) * | 1998-03-17 | 2005-06-29 | 富士写真フイルム株式会社 | ホワイトバランス調整方法および装置 |
US6628830B1 (en) * | 1998-06-24 | 2003-09-30 | Canon Kabushiki Kaisha | Image processing method and apparatus and storage medium |
US6140630A (en) * | 1998-10-14 | 2000-10-31 | Micron Technology, Inc. | Vcc pump for CMOS imagers |
US6376868B1 (en) * | 1999-06-15 | 2002-04-23 | Micron Technology, Inc. | Multi-layered gate for a CMOS imager |
US6310366B1 (en) * | 1999-06-16 | 2001-10-30 | Micron Technology, Inc. | Retrograde well structure for a CMOS imager |
US6326652B1 (en) * | 1999-06-18 | 2001-12-04 | Micron Technology, Inc., | CMOS imager with a self-aligned buried contact |
US6204524B1 (en) * | 1999-07-14 | 2001-03-20 | Micron Technology, Inc. | CMOS imager with storage capacitor |
US6333205B1 (en) * | 1999-08-16 | 2001-12-25 | Micron Technology, Inc. | CMOS imager with selectively silicided gates |
US6906744B1 (en) | 1999-09-28 | 2005-06-14 | Nikon Corporation | Electronic camera |
WO2001052557A1 (en) * | 2000-01-12 | 2001-07-19 | University Of East Anglia | Colour signal processing |
JP3706789B2 (ja) * | 2000-05-12 | 2005-10-19 | キヤノン株式会社 | 信号処理装置及び信号処理方法 |
US6681042B1 (en) * | 2000-08-29 | 2004-01-20 | Eastman Kodak Company | Digital color image processing method |
US6937774B1 (en) * | 2000-10-24 | 2005-08-30 | Lockheed Martin Corporation | Apparatus and method for efficiently increasing the spatial resolution of images |
JP3607654B2 (ja) * | 2001-09-14 | 2005-01-05 | 株式会社東芝 | 白バランスを得るための照明光の色推定方法および撮像装置 |
JP4314822B2 (ja) * | 2002-02-13 | 2009-08-19 | 株式会社ニコン | 画像処理装置、画像処理方法、及び画像処理プログラム |
EP1337104B1 (en) * | 2002-02-19 | 2014-01-08 | FUJIFILM Corporation | Method, apparatus, and program for image processing |
JP4024057B2 (ja) | 2002-03-06 | 2007-12-19 | 富士フイルム株式会社 | デジタルカメラ |
GB0211486D0 (en) * | 2002-05-18 | 2002-06-26 | Eastman Kodak Co | Processing of digital images |
JP4213943B2 (ja) * | 2002-07-25 | 2009-01-28 | 富士通マイクロエレクトロニクス株式会社 | 画質を向上させた画像処理回路 |
US7110598B2 (en) * | 2002-08-28 | 2006-09-19 | Micron Technology, Inc. | Automatic color constancy for image sensors |
JP3794367B2 (ja) * | 2002-10-17 | 2006-07-05 | ノーリツ鋼機株式会社 | 画像処理方法、画像処理装置、写真処理装置、画像処理プログラム、および画像処理プログラムを記録した記録媒体 |
US7173663B2 (en) * | 2002-10-31 | 2007-02-06 | Freescale Semiconductor, Inc. | Automatic exposure control system for a digital camera |
US7162078B2 (en) * | 2002-12-20 | 2007-01-09 | Fast Link Communication Corp. | Automatic white balance correction method for image capturing apparatus |
US7447374B1 (en) * | 2003-01-06 | 2008-11-04 | Apple Inc. | Method and apparatus for an intuitive digital image processing system that enhances digital images |
US7298892B2 (en) * | 2003-04-09 | 2007-11-20 | Eastman Kodak Company | Producing a balanced digital color image having minimal color errors |
JP2004328564A (ja) | 2003-04-28 | 2004-11-18 | Olympus Corp | カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ |
JP3839429B2 (ja) | 2003-09-29 | 2006-11-01 | 三菱電機株式会社 | 撮像処理装置 |
US7064769B2 (en) * | 2003-09-30 | 2006-06-20 | Sharp Laboratories Of America, Inc. | Systems and methods for computing the presence of self-luminous elements in an image |
US7356180B2 (en) * | 2003-09-30 | 2008-04-08 | Sharp Laboratories Of America, Inc. | Systems and methods for correcting image color balance |
US7352895B2 (en) * | 2003-09-30 | 2008-04-01 | Sharp Laboratories Of America, Inc. | Systems and methods for illuminant model estimation |
KR100513342B1 (ko) | 2003-12-03 | 2005-09-07 | 삼성전기주식회사 | 디지털 자동 화이트 밸런스 장치 |
US7423779B2 (en) * | 2004-03-30 | 2008-09-09 | Omnivision Technologies, Inc. | Method and apparatus for automatic white balance |
JP4471166B2 (ja) | 2005-02-28 | 2010-06-02 | パナソニック株式会社 | デジタルカメラ |
US7480421B2 (en) * | 2005-05-23 | 2009-01-20 | Canon Kabushiki Kaisha | Rendering of high dynamic range images |
-
2005
- 2005-12-14 US US11/302,126 patent/US7848569B2/en active Active
-
2006
- 2006-08-31 US US11/513,247 patent/US8401288B2/en active Active
- 2006-12-13 WO PCT/US2006/047346 patent/WO2007070502A2/en active Application Filing
- 2006-12-13 JP JP2008545730A patent/JP4877561B2/ja active Active
- 2006-12-13 CN CN2006800510898A patent/CN101361374B/zh active Active
- 2006-12-13 EP EP06845271.3A patent/EP1969859B1/en active Active
- 2006-12-13 KR KR1020087017115A patent/KR100993047B1/ko active IP Right Grant
- 2006-12-14 TW TW095146892A patent/TWI338513B/zh active
-
2010
- 2010-10-29 US US12/915,665 patent/US8180150B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20110037873A1 (en) | 2011-02-17 |
CN101361374B (zh) | 2011-09-28 |
US20070133868A1 (en) | 2007-06-14 |
KR20080078064A (ko) | 2008-08-26 |
US8180150B2 (en) | 2012-05-15 |
KR100993047B1 (ko) | 2010-11-08 |
US7848569B2 (en) | 2010-12-07 |
US8401288B2 (en) | 2013-03-19 |
JP4877561B2 (ja) | 2012-02-15 |
EP1969859A2 (en) | 2008-09-17 |
TW200803537A (en) | 2008-01-01 |
WO2007070502A3 (en) | 2007-11-29 |
TWI338513B (en) | 2011-03-01 |
EP1969859B1 (en) | 2017-11-15 |
WO2007070502A2 (en) | 2007-06-21 |
WO2007070502A8 (en) | 2008-07-24 |
US20070133870A1 (en) | 2007-06-14 |
JP2009520405A (ja) | 2009-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101361374B (zh) | 提供用于数字成像系统的自动色彩平衡的方法及设备 | |
CN204633945U (zh) | 图像传感器、成像系统和处理器系统 | |
US9888198B2 (en) | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities | |
US10136107B2 (en) | Imaging systems with visible light sensitive pixels and infrared light sensitive pixels | |
WO2021208593A1 (zh) | 高动态范围图像处理系统及方法、电子设备和存储介质 | |
US7796171B2 (en) | Sensor-based gamma correction of a digital camera | |
CN205792895U (zh) | 成像系统 | |
JP3976754B2 (ja) | 選択読取りによる広ダイナミックレンジ撮像デバイス | |
US8130292B2 (en) | Scene illumination adaptive lens shading correction for imaging devices | |
CN111491111B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
US7545412B2 (en) | Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion | |
US20080068477A1 (en) | Solid-state imaging device | |
CN103327342A (zh) | 具有透明滤波器像素的成像系统 | |
KR20040057927A (ko) | 화상합성방법 및 촬상장치 | |
JP2010093472A (ja) | 撮像装置および撮像装置用信号処理回路 | |
US20030184673A1 (en) | Automatic exposure control for digital imaging | |
US9179110B2 (en) | Imaging systems with modified clear image pixels | |
US7773805B2 (en) | Method and apparatus for flare cancellation for image contrast restoration | |
JP5917160B2 (ja) | 撮像装置、画像処理装置、画像処理方法およびプログラム | |
JP2006025167A (ja) | 撮像処理方法、撮像処理回路、および撮像装置 | |
JP2011211497A (ja) | 画像入力装置 | |
JP2009290795A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器 | |
JP2005303704A (ja) | 撮像装置、カメラ、及び信号処理方法 | |
JP4103741B2 (ja) | 撮像装置 | |
Süsstrunk | Introduction to Color Processing in Digital Cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |