CN100350804C - 数字自动白平衡设备 - Google Patents
数字自动白平衡设备 Download PDFInfo
- Publication number
- CN100350804C CN100350804C CNB2004100015821A CN200410001582A CN100350804C CN 100350804 C CN100350804 C CN 100350804C CN B2004100015821 A CNB2004100015821 A CN B2004100015821A CN 200410001582 A CN200410001582 A CN 200410001582A CN 100350804 C CN100350804 C CN 100350804C
- Authority
- CN
- China
- Prior art keywords
- ycbcr
- rgb
- mean value
- length
- rgb gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
一种通过使用灰度通用算法在数字处理方案中简单实现的数字白平衡设备。在该设备内,定时控制器接收输入图像的垂直及水平同步信号并产生一定时控制信号。RGB乘法器将输入RGB图像数据乘以从RGB增益控制器接收到的RGB增益。第一YCbCr平均单元把输入RGB图像数据变换成YCbCr图像数据,并获得该YCbCr图像数据的第一YCbCr平均值。第二YCbCr平均单元把输出RGB图像数据变换成YCbCr图像数据,并获得该YCbCr图像数据的第二YCbCr平均值。根据该定时控制信号,RGB增益控制器分别比较第二YCbCr平均值与预定的目标YCbCr平均值,以及根据比较结果,基于该第一YCbCr平均值获得RGB增益,并把它们提供给RGB乘法器。
Description
技术领域
本发明涉及可适用于诸如照相机电话的便携图像系统的数字白平衡设备,并且更具体地涉及数字自动白平衡设备,通过采用灰度通用算法(grey world algorithm)以使得实时处理是可能的而无需来自单独的存储器或高性能处理器的帮助而以数字处理方案简单地实现该设备,并且还能够独立于图像传感器操作该设备以便能够高速处理图像数据。
背景技术
白平衡通常涉及诸如TV照相机的照相机在当捕获图像时根据白色调整其白平衡的能力。光线具有用K(绝对温标)单位表示的被称作“色温”的特定颜色特性。即使用任何色温的光来照射观众所观看的诸如风景的一幅场景,人们也能够自动调整他们的感色灵敏度,从而不引起颜色识别差异。然而,TV照相机或电影照相机却受到色温的很大影响,这是因为色温直接反映在颜色中。
例如,当天空清澈时,由于阳光具有高的色温,因此整个屏幕被看作兰色。另一方面,在大约日出或日落时,由于那时的色温低,因此整个屏幕被看作红色。如果照相机在这一条件下捕获图像而不对其执行任何处理,那么将引起这样的问题,即整个屏幕被看作兰色,然后被看作红色。为了克服这一问题,在拍摄之前,把光源所发出的光从白纸或类似物上反射,并观看该反射光的投影图像以执行RGB(红,绿和兰)色彩均衡调整以获得良好的白色。由于多数型号的家用集照相机于一体的磁带录像机(VTR)都具有自动白平衡功能,因此在照相机内自动执行色彩均衡调整。
近来,随着对照相机电话需求的增长,出现了对图像质量要求象数字相机一样高的需求。还出现了对适合于照相机电话的图像处理IC的需求。白平衡是用于实现高质量图像的图像处理方法之一。在各种色温的照射条件下用CMOS或CCD图像传感器拍摄图像的情况下,把所拍摄到的图像的红色,绿色及兰色成分偏离到一侧,这是因为不能很好地识别白色。这会引起图像色调失真。白平衡起到补偿该失真色调的作用。因此,在要求高图像质量的照相机电话中白平衡设备是必需的。
图1是表示一般的二维Cb-Cr彩色坐标系统的图表。
在许多用来执行自动白平衡的方法中,最为简单和容易实现的是依据灰度通用算法。在假设一幅图像的所有像素的色差分量的平均数为灰色的情况下,灰度通用算法获得对于白平衡的像素增益,即,白平衡系数。在RGB彩色坐标系统中,将灰色定义为“R=G=B”。
例如,如果图像的像素深度为8比特,那么每个色差分量“Cb和Cr”都具有在下列方程中表示的,“RGB-到-YCbCr彩色坐标变换方程式”内的一个值128,如ITU-R BT.601中所建议的。因此,通过调整各个像素的增益就能够实现白平衡以便最小化从图1所示的白平衡点(Cb=Cr=128)到该平均色差值的距离“d”。
[方程式1]
有两种为自动白平衡调整像素增益的主要的常规方法。一种是模拟增益调整方法,另一种是数字图像处理方法。现在将参照图2和3描述这两种方法。
图2是表示以模拟方式执行白平衡的常规模拟信号处理器的结构的方框图。
如该图所示,执行模拟白平衡的模拟图像信号处理器包括模拟信号处理器22,RGB-到-YCbCr变换器23,Cb & Cr平均单元24以及RGB增益控制器25。模拟信号处理器22通过透镜21拍摄对象的图像,并对所拍摄的图像执行信号处理。RGB-到-YCbCr变换器23把从模拟信号处理器22接收的RGB模拟信号变换成YCbCr信号。Cb & Cr平均单元24获得从RGB-到-YCbCr变换器23接收的.YCbCr信号之中的色差信号的平均值。RGB增益控制器25根据来自Cb & Cr平均单元24的信号获得RGB增益,并把所获得的RGB增益输出到模拟信号处理器22。
模拟信号处理器22包括光电管(photocell)22A,RGB模拟增益放大器22B,以及A/D变换器22C。光电管22A拍摄通过透镜21的入射图像。RGB模拟增益放大器22B把来自光电管22A的图像信号的增益调整为由RGB增益控制器25所设置的增益。A/D变换器22C在把来自RGB模拟增益放大器22B的信号变换成数字信号后输出。
当观察这一常规图像信号处理器如何以模拟方式执行白平衡时,可以了解到它使用了一个反馈系统以便控制对于传感器内每个RGB通道的放大增益直到计算出色差分量的平均值并因此而完成白平衡。
这一常规模拟白平衡方法的优点在于相对准确的操作是可能的,因为模拟增益受到控制,但是该方法存在下列问题。在传感器没有用于控制模拟增益的端口或是没有嵌入到传感器内的增益控制功能的情形下,这一常规方法是不适用的,并且如果模拟放大器的增益特性未被准确了解,那么它的实现也是困难的。
图3是表示以数字方式执行白平衡的常规图像信号处理器的方框图。
如该图所示的常规图像信号处理器执行数字白平衡。该处理器使用与图2不同的方法来实现自动白平衡。换言之,将白平衡算法编程,并使用数字信号处理器(DSP)或微控制器来实现自动白平衡。
以数字方案执行白平衡的这一常规图像信号处理器包括图像传感器单元32,高性能数字信号处理器(或微控制器)33,以及存储器34,如图3所示。图像传感器单元32拍摄通过透镜31入射的对象的图像。高性能数字信号处理器33控制来自图像传感器单元32的图像信号的增益。存储器34存储暂时图像数据以及用于在数字信号处理器33内进行实时图像处理的程序。
为实现照相机的取景器功能,对于300,000像素或300,000像素以上的图像要求每秒30帧或30帧以上的帧速率,而对于一百万像素或一百万像素以上的图像要求至少每秒15帧的帧速率。为实现如此高的帧速率,需要如图3所示的能够高速操作的高性能数字信号处理器或微计算机,并且作为环境要求也可能会需要一个附加的存储器。
这一常规数字处理方案的优点在于,由于使用了数字信号处理器(DSP)或微计算机,因此能够用程序来实现算法,从而增加了系统灵活性。然而,该常规数字处理方案的问题在于它不适合应用于诸如包括照相机电话的要求较小体积和较少能耗的便携图像系统的这些系统,并且由于使用了高价的通用处理器,因此系统价格也上涨了。
发明内容
因此,本发明是考虑到上述问题而做出的,并且本发明的目的是提供一种数字自动白平衡设备,通过使用灰度通用算法以使得可能进行实时处理而无需单独的存储器或高性能处理器的帮助就能够以数字处理方案简单地实现该设备,并且能够独立于图像传感器来操作它以便能够高速处理图像数据。
根据本发明,通过提供这样的数字自动白平衡设备就能够实现上述以及其它的目的,该设备包括:定时控制器,用于接收输入到该设备的输入图像的垂直同步信号以及水平同步信号,并产生定时控制信号;RGB乘法器,用于把输入到该设备的输入RGB图像数据乘以分别对应于各RGB通道的所接收RGB增益;第一YCbCr平均单元,用于把输入到该设备的输入RGB图像数据变换成YCbCr图像数据,然后获得该YCbCr图像数据的第一YCbCr平均值Y1avg,Cb1avg以及Cr1avg;第二YCbCr平均单元,用于把从RGB乘法器输出的输出RGB图像数据变换成YCbCr图像数据,然后获得该YCbCr图像数据的第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg;以及RGB增益控制器,用于根据来自定时控制器的定时控制信号,分别比较第二YCbCr平均值与预定的目标YCbCr平均值,并根据比较结果,在第一YCbCr平均值的基础上,获得分别对应于各通道的RGB增益,然后把得到的RGB增益提供给RGB乘法器。
附图说明
从以下结合附图的详细说明中,将更为清楚地理解本发明的上述及其它目的,特征以及其它优点,其中:
图1是表示一般的二维Cb-Cr彩色坐标系统的图表;
图2是表示以模拟方式执行白平衡的常规图像信号处理器的结构的方框图;
图3是表示以数字方式执行白平衡的常规图像信号处理器的结构的方框图;
图4是表示应用本发明的图像信号处理设备的结构的方框图;
图5是表示本发明的数字自动白平衡设备的结构的方框图;
图6是表示本发明的白平衡设备的整个操作过程的流程图;
图7是表示本发明的白平衡设备的详细操作过程的流程图;
图8a,8b以及8c分别是被测的YCbCr平均值-RGB增益图表,RGB增益-被测的YCbCr平均值图表,以及白平衡查寻图表;以及
图9是根据本发明的时间安排图表。
具体实施方式
现在,将参照附图描述本发明的优选实施例。图中,相同或类似的元件用相同的参考编号来表示,即使是在不同的图里描绘它们。
图4是表示应用本发明的图像信号处理设备的结构的方框图。
如该图所示,应用本发明的图像信号处理设备可以由图像传感器单元42和图像信号处理器43组成。图像传感器单元42拍摄通过透镜41入射的对象的图像。图像信号处理器43处理从图像传感器单元42接收的图像数据。本发明的数字自动白平衡设备被包含在图像信号处理器43内以对图像执行白平衡。
图5是表示本发明的数字自动白平衡设备的结构的方框图。
如该图所示,本发明的数字自动白平衡设备包括定时控制器510,RGB乘法器520,第一YCbCr平均单元530,第二YCbCr平均单元540,以及RGB增益控制器550。定时控制器510接收输入到该数字自动白平衡设备的输入垂直同步信号Vsync以及输入水平同步信号Hsync,并产生一定时控制信号。RGB乘法器520分别将输入RGB图像数据(R输入,G输入以及B输入)乘以从RGB增益控制器550接收的,分别对应于各RGB通道的RGB增益,并输出结果RGB图像数据(R输出,G输出以及B输出)。第一YCbCr平均单元530把输入RGB图像数据变换成YCbCr图像数据,然后获得该YCbCr图像数据的第一YCbCr平均值Y1avg,Cb1avg以及Cr1avg。第二YCbCr平均单元540把来自RGB乘法器520的输出RGB图像数据变换成YCbCr图像数据,然后获得该YCbCr图像数据的第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg。根据来自定时控制器510的定时控制信号,RGB增益控制器550分别将第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg与预定的目标YCbCr平均值TY,TCb以及TCr进行比较。根据比较结果,在第一YCbCr平均值Y1avg,Cb1avg以及Cr1avg的基础上,RGB增益控制器550获得分别对应于各RGB通道的增益Rg,Gg以及Bg,然后把得到的增益Rg,Gg以及Bg提供给RGB乘法器520。
第一YCbCr平均单元530包括第一RGB-到-YCbCr变换器532以及第一YCbCr平均器534。第一RGB-到-YCbCr变换器532把输入RGB图像数据变换成YCbCr图像数据。第一YCbCr平均器534获得来自第一RGB-到-YCbCr变换器532的YCbCr图像数据的第一YCbCr平均值Y1avg,Cb1avg以及Cr1avg。
第二YCbCr平均单元540包括第二RGB-到-YCbCr变换器542以及第二YCbCr平均器544。第二RGB-到-YCbCr变换器542把输出RGB图像数据变换成YCbCr图像数据。第二YCbCr平均器544获得来自第二RGB-到-YCbCr变换器542的YCbCr图像数据的第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg。
RGB增益控制器550具有预置的粗略、精细以及锁定范围。如果第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg处于该粗略或是精细范围之内,那么RGB增益控制器550就重新计算分别对应于各RGB通道的RGB增益Rg,Gg以及Bg,并把它们提供给RGB乘法器520。另一方面,如果第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg处于该锁定范围之内,那么RGB增益控制器550就把分别对应于各RGB通道的先前的RGB增益Rg,Gg以及Bg提供给RGB乘法器520。
另外,如果第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg处于该粗略范围之内,那么RGB增益控制器550就在预定粗略步长的基础上,改变Y/Cb/Cr步长SY,SCb以及SCr,如下所述的。换言之,RGB增益控制器550将第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg与目标YCbCr平均值TY,TCb以及TCr进行比较,并根据比较结果通过向Y/Cb/Cr步长SY,SCb以及SCr加上或从Y/Cb/Cr步长SY,SCb以及SCr中减去该粗略步长来改变Y/Cb/Cr步长SY,SCb以及SCr。之后,在该改变了的Y/Cb/Cr步长SY,SCb和SCr,第一YCbCr平均值Y1avg,Cb1avg和Cr1avg以及目标YCbCr平均值TY,TCb和TCr的基础上,RGB增益控制器550计算分别对应于各RGB通道的RGB增益Rg,Gg以及Bg。
另一方面,如果第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg处于精细范围之内,那么RGB增益控制器550就在预定精细步长的基础上改变Y/Cb/Cr步长SY,SCb以及SCr。换言之,RGB增益控制器550将第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg与目标YCbCr平均值TY,TCb和TCr进行比较,并根据比较结果通过向Y/Cb/Cr步长SY,SCb以及SCr加上或从Y/Cb/Cr步长SY,SCb以及SCr中减去该精细步长来改变Y/Cb/Cr步长SY,SCb以及SCr。之后,在该改变了的Y/Cb/Cr步长SY,SCb和SCr,第一YCbCr平均值Y1avg,Cb1avg和Cr1avg以及目标YCbCr平均值TY,TCb和TCr的基础上,RGB增益控制器550计算分别对应于各RGB通道的RGB增益Rg,Gg以及Bg。
优选地,考虑到A/D变换分辨率(像素深度=N),RGB增益控制器550在预定A/D变换分辨率(2N-1),其中N是像素的比特数目,该改变了的Y/Cb/Cr步长SY,SCb和SCr,第一YCbCr平均值Y1avg,Cb1avg和Cr1avg以及目标YCbCr平均值TY,TCb和TCr的基础上,计算分别对应于各RGB通道的RGB增益Rg,Gg以及Bg。
依据是否根据用户的选择而设置了“RGB增益使能或禁止”来选择RGB增益控制器550的不同操作。详细地,如果设置了RGB增益使能,那么RGB增益控制器550重新计算RGB增益Rg,Gg以及Bg并把它们提供给RGB乘法器520。反之,如果设置了RGB增益禁止,那么RGB增益控制器550向RGB乘法器520提供预定的基本RGB增益。
现在将参照附图给出本发明的操作及优点的详细说明。
本发明提供了可应用于诸如照相机电话的便携图像系统的数字自动白平衡设备,通过使用灰度通用算法以便有可能进行实时处理而无需单独的存储器或高性能处理器的帮助来以数字处理方案简单地实现该设备,并且还可以独立于图像传感器来操作它以便能够高速地处理图像数据。现在将参照图4和9描述这一数字自动白平衡设备。
首先,应用本发明的数字自动白平衡设备的图像信号处理器43包括行缓冲器43A,第一图像处理器43B,白平衡设备43C,第二图像处理器43D以及输出格式器43E。从图像传感器单元42接收的原始图像暂时存储在行缓冲器43A内,其通过第一和第二图像处理器43B和43D来体验图像改进。在白平衡设备43C上对图像执行自动白平衡。此后,从输出格式器43E输出结果图像。该输出图像通常具有YCbCr形式。
第一和第二图像处理器43B和43D执行图像处理及改进,其包括内插,彩色空间变换,伽马校正,噪声降低,色调/饱和,亮度/对比,直方图均衡化,或诸如此类。另外,为了把灰度通用白平衡算法应用于输入视频图像并从而执行其中的实时自动白平衡,执行如图6和7所示的一系列处理以找到用于白平衡的目标或最佳RGB增益值。
参见图5,本发明数字白平衡设备内的定时控制器510接收输入图像的垂直同步信号Vsync和水平同步信号Hsync,并产生一定时控制信号以控制该设备的各个组成元件的操作定时。
本发明的RGB乘法器520将输入RGB图像数据分别乘以分别对应于各RGB通道的RGB增益,并输出该结果RGB图像数据。RGB乘法器520从下面将描述的RGB增益控制器550接收RGB增益。
根据本发明的第一YCbCr平均单元530把输入RGB图像数据变换成YCbCr图像数据,并获得该YCbCr图像数据的第一YCbCr平均值Y1avg,Cb1avg和Cr1avg。详细地,该第一YCbCr平均单元530内的第一RGB-到-YCbCr变换器532把输入RGB图像数据变换成YCbCr图像数据,并把它输出到第一YCbCr平均器534。然后,第一YCbCr平均器534获得从第一RGB-到-YCbCr变换器532接收的YCbCr图像数据的第一YCbCr平均值Y1avg,Cb1avg和Cr1avg,并把所得到的第一YCbCr平均值提供给RGB增益控制器550。
按照与第一YCbCr平均单元530相同的操作方式,第二YCbCr平均单元540把来自RGB乘法器520的输出RGB图像数据变换成YCbCr图像数据,然后获得该YCbCr图像数据的第二YCbCr平均值Y2avg,Cb2avg和Cr2avg。详细地,第二YCbCr平均单元540内的第二RGB-到-YCbCr变换器542把输出RGB图像数据变换成YCbCr图像数据,并把它输出到第二平均器544。然后,第二平均器544获得从第二RGB-到-YCbCr变换器532接收的YCbCr图像的第二YCbCr平均值Y2avg,Cb2avg和Cr2avg,并把所得到的第二YCbCr平均值提供给RGB增益控制器550。
如上所述,第一和第二YCbCr平均单元530和540中的每一个都不断地读取并累计图像数据直到一帧的所有图像数据都如图6所示被读取(S61~S64)。如果一帧的所有图像数据都已被读取,那么第一和第二YCbCr平均单元530和540中的每一个都获得所有被读取图像数据的平均值(S65)。
此后,根据来自定时控制器510的定时控制信号,RGB增益控制器550将第二YCbCr平均值Y2avg,Cb2avg和Cr2avg分别与预定目标YCbCr平均值TY,TCb以及TCr进行比较。根据比较结果,在第一YCbCr平均值Y1avg,Cb1avg和Cr1avg的基础上,RGB增益控制器550获得分别对应于各RGB通道的RGB增益Rg,Gg以及Bg,然后把得到的RGB增益Rg,Gg以及Bg提供给RGB乘法器520。之后,RGB乘法器520将输入RGB图像数据乘以从RGB增益控制器550接收的RGB增益Rg,Gg以及Bg,并输出结果RGB图像数据,如上所述。
现在,将给出RGB增益控制器550的操作的详细说明。
如图5-7所示,Y/Cb/Cr步长SY,SCb以及SCr,A/D变换分辨率(2N-1)中的“N”以及RGB增益Rg,Gg和Bg都已在RGB增益控制器550内被预先设置(S71)。接着,粗略步长,精细步长,用于设置该粗略,精细以及锁定范围的定义这些范围边界的值“a”,“b”,“c”和“d”,以及目标YCbCr平均值TY,TCb和TCr都已被设置(S72)。当把YCbCr平均值划分成粗略,精细以及锁定范围时,该粗略/精细/锁定范围的边界对应于值“a”,“b”,“c”或“d”。
然后,如上所述,把分别在第一YCbCr平均单元530和第二YCbCr平均单元540获得的第一YCbCr平均值Y1avg,Cb1avg和Cr1avg以及第二YCbCr平均值Y2avg,Cb2avg和Cr2avg输入到RGB增益控制器550(S73)。
接着,RGB增益控制器550确定第二YCbCr平均值Y2avg,Cb2avg和Cr2avg是否在粗略范围之内,它们是否在精细范围之内,以及它们是否在锁定范围之内(S74)。如果确定结果是第二YCbCr平均值Y2avg,Cb2avg和Cr2avg处于粗略或是精细范围之内,那么RGB增益控制器550重新计算和更新分别对应于各RGB通道的RGB增益Rg,Gg和Bg((S75~S79),并把它们提供给RGB乘法器520。
另一方面,如果第二YCbCr平均值Y2avg,Cb2avg和Cr2avg处于锁定范围之内,那么RGB增益控制器550把先前的RGB增益Rg,Gg和Bg提供给RGB乘法器520。
RGB增益控制器550按下述方式确定Y/Cb/Cr步长SY,SCb以及SCr。
参见图7,如果第二YCbCr平均值Y2avg,Cb2avg和Cr2avg处于粗略范围之内,那么RGB增益控制器550就根据预定的粗略步长来改变Y/Cb/Cr步长SY,SCb以及SCr。换言之,RGB增益控制器550将第二YCbCr平均值Y2avg,Cb2avg和Cr2avg与目标YCbCr平均值TY,TCb和TCr进行比较,并根据比较结果通过向Y/Cb/Cr步长SY,SCb和SCr加上或从Y/Cb/Cr步长SY,SCb和SCr中减去该粗略步长来改变Y/Cb/Cr步长SY,SCb以及SCr(S76)。
另一方面,如果第二YCbCr平均值Y2avg,Cb2avg和Cr2avg处于精细范围之内,那么RGB增益控制器550就根据预定的精细步长来改变Y/Cb/Cr步长SY,SCb以及SCr,如图7所示。换言之,RGB增益控制器550将第二YCbCr平均值Y2avg,Cb2avg和Cr2avg与目标YCbCr平均值TY,TCb和TCr进行比较,并根据比较结果通过向Y/Cb/Cr步长SY,SCb和SCr加上或从Y/Cb/Cr步长SY,SCb和SCr中减去该精细步长来改变Y/Cb/Cr步长SY,SCb以及SCr(S77)。
粗略步长涉及用于从粗略范围到达(或寻找)目标白平衡值的步长大小,而精细步长涉及用于从精细范围到达(或寻找)目标白平衡值的步长大小。目标YCbCr平均值TY,TCb和TCr是分别对应于Y,Cb和Cr通道的目标白平衡值。
在已确定了Y/Cb/Cr步长SY,SCb和SCr后,基于预定的A/D变换分辨率(2N-1),改变了的Y/Cb/Cr步长SY,SCb和SCr,第一YCbCr平均值Y1avg,Cb1avg和Cr1avg,以及目标YCbCr平均值TY,TCb和TCr,RGB增益控制器550计算分别对应于各通道的RGB增益Rg,Gg和Bg,如下列方程式所表示的。
[方程式2]
RGB增益控制器550用通过方程式2计算出的RGB增益更新先前的RGB增益,并把更新了的RGB增益输出到RGB乘法器520。
另一方面,根据本发明,依据是否设置了“RGB增益使能或禁止”来选择RGB增益控制器550的不同操作。换言之,如果设置了RGB增益使能,那么RGB增益控制器550就重新计算RGB增益Rg,Gg和Bg并把它们提供给RGB乘法器520。反之,如果设置了RGB增益禁止,那么RGB增益控制器550就把预定的基本RGB增益提供给RGB乘法器520。
图8a,8b以及8c分别是被测YCbCr平均值-RGB增益图表,RGB增益-被测YCbCr平均值图表,以及白平衡查寻图表。这些图表表示本发明所建议的,对于具有从0至2N-1(N:像素深度)范围内的代码级的输入图像的,用于说明白平衡系数查寻算法的概念的曲线A和B。
根据被测YCbCr平均值与目标值相距多远而把被测YCbCr平均值主要划分成5个范围(2个粗略范围,2个精细范围以及一个锁定范围)。每个范围的宽度都对白平衡输出图像的质量以及达到最佳白平衡值的速度产生影响。
在图8a至8c所示的5个范围中的远离目标白平衡值的粗略范围内,把达到该目标值的步长设置大些。反之,在较接近该目标值的精细范围内,把达到该目标值的步长设置小些。在最接近该目标值的锁定范围内,终止白平衡查寻算法,并且将施加于输入图像的RGB增益保持不变。步长大小是在当计算RGB增益时被使用的可调整的设置值。目标YCbCr平均值TY,TCb和TCr的值以及如图8a至8c所示的用于划分范围的值“a”,“b”,“c”和“d”也是可调整的设置值。通常,在图像输入开始后的3~4帧内达到所期望的白平衡级。
图8a是被测YCbCr平均值-RGB增益图表,图8b是RGB增益-被测YCbCr平均值图表,图8c是白平衡查寻图表。
在图8a的图表中,曲线A表示YCbCr像素平均值与RGB增益的函数关系(即,增益=f(平均值))。换言之,函数f代表当在一帧接一帧的基础上输入视频图像时将施加到下一帧的RGB增益(G1~G3),并获得当前帧的YCbCr像素平均值(M1~M3)。
在图8b的图表中,曲线B表示RGB增益与YCbCr像素平均值的函数关系(平均值=g(增益))。函数g代表当把RGB增益(G1~G3)施加到当前帧的各个像素上时下一帧的预期YCbCr平均值(M2~M4)。
参照图8a至8c,在假设输入YCbCr平均值为M1的图像的情况下,如下详细描述白平衡查寻算法。例如,根据曲线A,对应于平均值M1的RGB增益为“G1=y(M1)”。当把RGB增益G1施加到输入图像上时,根据曲线B得到YCbCr平均值“M2=g(G1)”。以这一过程得到的该图像的白平衡级接近目标值但不是期望的等级,因而以同样的方式再次寻找新的RGB增益。
如果把新的RGB增益(G2=f(M2))施加到曲线A上,那么根据曲线B得到YCbCr像素平均值(M3=g(G2))。随后,如果以同样方式施加新的RGB增益(G3=f(M3)),那么该图像被改变成具有YCbCr像素平均值(M4=g(G3))。以这一方式,该图像的YCbCr像素平均值变得越来越接近目标值。
这一系列处理逐渐改进了该图像的白平衡值,如图8c中用“A-B-C-D-E-F”所表示的,随后达到期望的等级。
图9是本发明的时间安排图。
该图表示对于RGB增益控制器的各个操作功能的时间安排。从图中可看出为当前图像计算出的RGB增益被施加到下一图像上,并在图像之间的垂直空白时间期间执行RGB增益的计算。
从以上描述显而易见,本发明的数字自动白平衡设备具有下列优点。有可能以低廉的成本实现该数字自动白平衡设备而不需来自单独的存储器或高性能处理器的帮助。另外,由于该设备具有简单的硬件结构,因此能够在相对小的体积或面积内实现它。此外,由于该设备采用数字图像处理方案,因此能够独立于图像传感器来操作它,不需对于其传感器的单独操作,例如模拟增益控制。而且,由于对图像数据执行不工作点(on-the-fly)处理,因此能够对输入图像执行高速处理,以使得当使用诸如取景器功能的图像预览功能时能够执行实时白平衡操作而不需存储器。
尽管出于说明性目的已经公开了本发明的优选实施例,但是本领域的普通技术人员将懂得各种变更,增加或是替代都是可能的,并不脱离如附带的权利要求书中所公开的本发明的精神和范围。
Claims (8)
1.一种数字自动白平衡设备,包括:
定时控制器,用于接收输入到该设备的输入图像的垂直同步信号和水平同步信号,并产生一定时控制信号;
RGB乘法器,用于将输入到该设备的输入RGB图像数据乘以接收到的分别对应于各RGB通道的RGB增益;
第一YCbCr平均单元,用于把输入到该设备的输入RGB图像数据变换成YCbCr图像数据,然后获得该YCbCr图像数据的第一YCbCr平均值Ylavg,Cblavg以及Crlavg;
第二YCbCr平均单元,用于把从RGB乘法器输出的输出RGB图像数据变换成YCbCr图像数据,然后获得该YCbCr图像数据的第二YCbCr平均值Y2avg,Cb2avg以及Cr2avg;
RGB增益控制器,用于根据来自定时控制器的定时控制信号,将第二YCbCr平均值分别与预定的目标YCbCr平均值进行比较,并根据比较结果,在第一YCbCr平均值的基础上获得分别对应于各通道的RGB增益,然后把所得到的RGB增益提供给RGB乘法器,
其中第一YCbCr平均单元包括:
第一RGB-到-YCbCr变换器,用于把输入RGB图像数据变换成YCbCr图像数据;以及
第一YCbCr平均器,用于获得来自该第一RGB-到-YCbCr变换器的YCbCr图像数据的第一YCbCr平均值,
其中第二YCbCr平均单元包括:
第二RGB-到-YCbCr变换器,用于把输出RGB图像数据变换成YCbCr图像数据;以及
第二YCbCr平均器,用于获得来自该第二RGB-到-YCbCr变换器的YCbCr图像数据的第二YCbCr平均值,
其中根据是否设置了“RGB增益使能或禁止”来选择RGB增益控制器的各种操作,以使得如果设置了RGB增益使能,则RGB增益控制器重新计算和提供RGB增益,以及如果设置了RGB增益禁止,则RGB增益控制器提供预定的基本RGB增益。
2.根据权利要求1的设备,其中RGB增益控制器具有预设的粗略、精细以及锁定范围,并且如果第二YCbCr平均值处于粗略或精细范围之内,则RGB增益控制器重新计算分别对应于各通道的RGB增益,并把它们提供给RGB乘法器,以及另一方面,如果第二YCbCr平均值处于锁定范围之内,则RGB增益控制器把分别对应于各通道的先前的RGB增益提供给RGB乘法器。
3.根据权利要求2的设备,其中如果第二YCbCr平均值处于粗略范围之内,则RGB增益控制器根据预定的粗略步长改变Y/Cb/Cr步长,然后根据该改变了的Y/Cb/Cr步长,第一YCbCr平均值,以及目标YCbCr平均值计算分别对应于各通道的RGB增益。
4.根据权利要求3的设备,其中RGB增益控制器比较第二YCbCr平均值与目标YCbCr平均值,并根据比较结果通过把该粗略步长加到Y/Cb/Cr步长上或是从Y/Cb/Cr步长中减去该粗略步长来改变Y/Cb/Cr步长,然后根据该改变了的Y/Cb/Cr步长,第一YCbCr平均值,以及目标YCbCr平均值计算分别对应于各通道的RGB增益。
5.根据权利要求4的设备,其中RGB增益控制器根据预定A/D变换分辨率,改变了的Y/Cb/Cr步长,第一YCbCr平均值,以及目标YCbCr平均值计算RGB增益。
6.根据权利要求2的设备,其中如果第二YCbCr平均值处于精细范围之内,则RGB增益控制器根据预定的精细步长改变Y/Cb/Cr步长,然后根据该改变了的Y/Cb/Cr步长,第一YCbCr平均值,以及目标YCbCr平均值计算分别对应于各通道的RGB增益。
7.根据权利要求6的设备,其中RGB增益控制器比较第二YCbCr平均值与目标YCbCr平均值,并根据比较结果通过把该精细步长加到Y/Cb/Cr步长上或是从Y/Cb/Cr步长中减去该精细步长来改变Y/Cb/Cr步长,然后根据该改变了的Y/Cb/Cr步长,第一YCbCr平均值,以及目标YCbCr平均值计算分别对应于各通道的RGB增益。
8.根据权利要求7的设备,其中RGB增益控制器根据预定A/D变换分辨率,改变了的Y/Cb/Cr步长,第一YCbCr平均值,以及目标YCbCr平均值计算RGB增益。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2003-0087101A KR100513342B1 (ko) | 2003-12-03 | 2003-12-03 | 디지털 자동 화이트 밸런스 장치 |
KR87101/2003 | 2003-12-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1625267A CN1625267A (zh) | 2005-06-08 |
CN100350804C true CN100350804C (zh) | 2007-11-21 |
Family
ID=34632053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100015821A Expired - Fee Related CN100350804C (zh) | 2003-12-03 | 2004-01-13 | 数字自动白平衡设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7319483B2 (zh) |
JP (1) | JP3784806B2 (zh) |
KR (1) | KR100513342B1 (zh) |
CN (1) | CN100350804C (zh) |
DE (1) | DE102004001890B4 (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060006138A (ko) * | 2004-07-15 | 2006-01-19 | 삼성전자주식회사 | 컬러 신호의 이득 레벨을 조절하기 위한 제어신호 생성방법 및 제어신호 생성 장치 |
JP4443354B2 (ja) * | 2004-09-07 | 2010-03-31 | パナソニック株式会社 | 映像信号処理回路および撮像装置 |
US7450161B1 (en) * | 2004-12-02 | 2008-11-11 | Magnachip Semiconductor Ltd. | System and method to enhance the uniformity of intensity distribution on digital imaging sensors |
US7763918B1 (en) | 2004-12-02 | 2010-07-27 | Chen Feng | Image pixel design to enhance the uniformity of intensity distribution on digital image sensors |
US7564629B1 (en) * | 2004-12-02 | 2009-07-21 | Crosstek Capital, LLC | Microlens alignment procedures in CMOS image sensor design |
TWI281084B (en) * | 2005-01-27 | 2007-05-11 | Arima Computer Corp | White balance method |
TW200632771A (en) * | 2005-03-10 | 2006-09-16 | Avisonic Technology Corp | Automatic white balance method applicable for color digital image |
TWI343220B (en) * | 2005-05-19 | 2011-06-01 | Mstar Semiconductor Inc | Noise reduction method |
US8416323B2 (en) * | 2005-05-19 | 2013-04-09 | Mstar Semiconductor Inc. | Noise reduction method and noise reduction apparatus |
EP1895516B1 (en) | 2005-06-08 | 2011-01-19 | Panasonic Corporation | Apparatus and method for widening audio signal band |
US7505069B2 (en) * | 2005-10-26 | 2009-03-17 | Hewlett-Packard Development Company, L.P. | Method and apparatus for maintaining consistent white balance in successive digital images |
KR100703168B1 (ko) | 2005-10-29 | 2007-04-06 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
DE602005016702D1 (de) * | 2005-12-01 | 2009-10-29 | Arima Computer Corp | Verfahren zum Weissabgleich |
US7848569B2 (en) * | 2005-12-14 | 2010-12-07 | Micron Technology, Inc. | Method and apparatus providing automatic color balancing for digital imaging systems |
US7808531B2 (en) * | 2005-12-14 | 2010-10-05 | Samsung Electronics Co., Ltd. | Method and apparatus for auto white controlling |
KR100724253B1 (ko) * | 2005-12-23 | 2007-05-31 | 매그나칩 반도체 유한회사 | 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지처리장치 및 방법 |
US7830428B2 (en) * | 2007-04-12 | 2010-11-09 | Aptina Imaging Corporation | Method, apparatus and system providing green-green imbalance compensation |
US7974487B2 (en) * | 2007-04-17 | 2011-07-05 | Kabushiki Kaisha Toshiba | System and method for image white balance adjustment |
US7800783B2 (en) * | 2007-05-25 | 2010-09-21 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Auto white balancing by modified grey world and geometric distortion measurement |
US20090046171A1 (en) * | 2007-08-16 | 2009-02-19 | C2Cure, Inc. | Non-linear color correction |
KR100915598B1 (ko) * | 2007-09-18 | 2009-09-07 | 한국과학기술원 | 화이트밸런스 자동조정장치 및 방법 |
CN101534450B (zh) * | 2008-03-11 | 2012-03-28 | 鸿富锦精密工业(深圳)有限公司 | 影像撷取装置及其增益表单建立单元与建立方法 |
JP5464861B2 (ja) * | 2009-02-06 | 2014-04-09 | キヤノン株式会社 | ホワイトバランス制御装置及びホワイトバランス制御方法 |
US8675086B1 (en) * | 2010-03-26 | 2014-03-18 | Ambarella, Inc. | Architecture for video, fast still and high quality still picture processing |
CN103220476B (zh) * | 2012-01-20 | 2016-03-16 | 联咏科技股份有限公司 | 图像处理装置及方法 |
JP6291748B2 (ja) * | 2013-08-29 | 2018-03-14 | 株式会社リコー | 撮像装置、撮像方法、及びプログラム |
US9774839B2 (en) * | 2013-08-30 | 2017-09-26 | Glasses.Com Inc. | Systems and methods for color correction of images captured using a mobile computing device |
KR102070322B1 (ko) * | 2015-08-28 | 2020-01-28 | 삼성전자주식회사 | 디스플레이 장치 및 그 디스플레이 패널 구동 방법 |
CN105208459B (zh) * | 2015-09-09 | 2019-05-21 | 余芳 | 通过机顶盒调整电视机的颜色还原能力的方法 |
CN107454345B (zh) * | 2017-07-12 | 2019-10-22 | Oppo广东移动通信有限公司 | 图像的白平衡处理方法、装置和终端设备 |
CN107343190A (zh) * | 2017-07-25 | 2017-11-10 | 广东欧珀移动通信有限公司 | 白平衡调节方法、装置和终端设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4736241A (en) * | 1985-12-04 | 1988-04-05 | Hitachi, Ltd. | White balance adjusting device of color video camera |
CN1213926A (zh) * | 1997-09-30 | 1999-04-14 | 株式会社理光 | 数字式照相机调整系统及调整装置 |
WO1999063479A1 (en) * | 1998-06-02 | 1999-12-09 | Intel Corporation | Global white point detection and white balance for color images |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2532965B2 (ja) | 1990-04-18 | 1996-09-11 | 三洋電機株式会社 | カラ―ビデオカメラ |
JPH0432393A (ja) | 1990-05-29 | 1992-02-04 | Sharp Corp | カラー撮像装置 |
JPH05168032A (ja) | 1991-12-18 | 1993-07-02 | Nec Home Electron Ltd | 自動ホワイトバランス調整装置 |
JP3401921B2 (ja) | 1994-06-14 | 2003-04-28 | 株式会社ニコン | 面順次カラーカメラ |
US5737032A (en) * | 1995-09-05 | 1998-04-07 | Videotek, Inc. | Serial digital video processing with concurrent adjustment in RGB and luminance/color difference |
JP3612855B2 (ja) | 1996-04-26 | 2005-01-19 | ソニー株式会社 | ホワイトバランス回路及び撮像装置 |
JPH09307924A (ja) | 1996-05-17 | 1997-11-28 | Sony Corp | 色信号処理回路 |
JP3406226B2 (ja) * | 1998-06-04 | 2003-05-12 | シャープ株式会社 | 表示システム |
JP3976945B2 (ja) | 1999-06-04 | 2007-09-19 | キヤノン株式会社 | ホワイトバランス装置及びホワイトバランスの補正方法及び記憶媒体 |
JP2001160976A (ja) | 1999-12-02 | 2001-06-12 | Sharp Corp | 画像処理方法、画像処理装置および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP3587749B2 (ja) | 1999-12-10 | 2004-11-10 | 松下電器産業株式会社 | ホワイトバランス調整機能付き撮像装置及びホワイトバランス調整方法 |
US6486889B1 (en) * | 1999-12-17 | 2002-11-26 | Xerox Corporation | Methods and apparatus for transforming RGB video |
US7184080B2 (en) * | 2001-06-25 | 2007-02-27 | Texas Instruments Incorporated | Automatic white balancing via illuminant scoring |
US7162078B2 (en) * | 2002-12-20 | 2007-01-09 | Fast Link Communication Corp. | Automatic white balance correction method for image capturing apparatus |
US7176935B2 (en) * | 2003-10-21 | 2007-02-13 | Clairvoyante, Inc. | Gamut conversion system and methods |
-
2003
- 2003-12-03 KR KR10-2003-0087101A patent/KR100513342B1/ko not_active IP Right Cessation
-
2004
- 2004-01-13 CN CNB2004100015821A patent/CN100350804C/zh not_active Expired - Fee Related
- 2004-01-14 DE DE102004001890A patent/DE102004001890B4/de not_active Expired - Fee Related
- 2004-01-19 JP JP2004010631A patent/JP3784806B2/ja not_active Expired - Fee Related
- 2004-01-20 US US10/759,187 patent/US7319483B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4736241A (en) * | 1985-12-04 | 1988-04-05 | Hitachi, Ltd. | White balance adjusting device of color video camera |
CN1213926A (zh) * | 1997-09-30 | 1999-04-14 | 株式会社理光 | 数字式照相机调整系统及调整装置 |
WO1999063479A1 (en) * | 1998-06-02 | 1999-12-09 | Intel Corporation | Global white point detection and white balance for color images |
Also Published As
Publication number | Publication date |
---|---|
KR100513342B1 (ko) | 2005-09-07 |
JP3784806B2 (ja) | 2006-06-14 |
JP2005167956A (ja) | 2005-06-23 |
US20050122408A1 (en) | 2005-06-09 |
CN1625267A (zh) | 2005-06-08 |
DE102004001890B4 (de) | 2007-03-01 |
US7319483B2 (en) | 2008-01-15 |
KR20050053864A (ko) | 2005-06-10 |
DE102004001890A1 (de) | 2005-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100350804C (zh) | 数字自动白平衡设备 | |
US8243163B2 (en) | Adjusting auto white balance | |
US6160579A (en) | Image processing apparatus and method | |
CN1738439A (zh) | 用于调节彩色图像色饱和度的设备和方法 | |
US7633532B2 (en) | Image processing method, image processing apparatus, and image pickup apparatus having first and second exposure values | |
CN1678081A (zh) | 自动白平衡的方法及装置 | |
CN1685710A (zh) | 摄像装置、摄像装置图像输出方法以及计算机程序 | |
CN1224973A (zh) | 动态范围扩展的成像装置、摄像机及其方法 | |
CN1898945A (zh) | 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法 | |
CN100542304C (zh) | 图像处理装置和图像拾取装置 | |
CN101242476A (zh) | 图像颜色自动校正方法及数字摄像系统 | |
US8111301B2 (en) | Method of performing auto white balance in YCbCr color space | |
CN101057492A (zh) | 摄像装置 | |
CN1232128C (zh) | 白色平衡处理装置、白色平衡处理方法及数字照相机 | |
CN1925559A (zh) | 图像处理装置和图像处理方法 | |
JP6352236B2 (ja) | 自動ホワイトバランス補償方法および自動ホワイトバランス補償装置 | |
JP3764461B2 (ja) | デジタル映像装置のホワイトバランス調整方法 | |
CN102088539A (zh) | 一种预拍照画质评价方法和系统 | |
CN109903275B (zh) | 一种基于自适应多尺度滤波和直方图对比的酒醅发霉区域检测方法 | |
CN1113526C (zh) | 彩色摄像机的自动白平衡控制系统 | |
CN1768535A (zh) | 图像捕获设备 | |
US20110102632A1 (en) | Image pick-up apparatus, white balance setting method and recording medium | |
CN101051117A (zh) | 一种校正透镜成像不均一性、提取透镜参数的方法及装置 | |
KR101923162B1 (ko) | 액정 패널을 이용한 hdri 영상 획득 장치 및 방법 | |
CN110211535B (zh) | 一种针对OLED屏DeMURA的多通道融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |