CN103517049A

CN103517049A - 一种自动白平衡的方法及电路

Info

Publication number: CN103517049A
Application number: CN201310482821.9A
Authority: CN
Inventors: 华洪略; 金威; 何卫锋; 洪亮; 李琛; 赵宇航; 贺光辉
Original assignee: Shanghai Jiaotong University; Shanghai Integrated Circuit Research and Development Center Co Ltd
Current assignee: Shanghai Jiaotong University; Shanghai IC R&D Center Co Ltd
Priority date: 2013-10-15
Filing date: 2013-10-15
Publication date: 2014-01-15
Anticipated expiration: 2033-10-15
Also published as: CN103517049B

Abstract

本发明公开了一种自动白平衡的方法及电路，该方法包括如下步骤：步骤一，收集当前图像RGB各通道的直方图信息，并提取各个直方图中具有代表性的位置数据；步骤二，利用该些位置数据之间的比较来计算各个通道的增益系数；步骤三，对各通道的直方图利用计算获得的增益系数进行线性变换，获得自动白平衡后的图像，本发明通过收集前一帧图像的直方图信息来分析计算下一帧图像的各通道增益，在保持良好的矫正性能及矫正可靠性的同时，最大程度地节省硬件资源开销。

Description

一种自动白平衡的方法及电路

技术领域

本发明涉及数字图像处理领域，特别是涉及一种低硬件开销且具较好性能及稳定性的自动白平衡的方法及电路。

背景技术

自动白平衡（Auto White Balance）是数字图像预处理系统中非常重要的一个环节。所谓白平衡可以理解为将白色物体的照片颜色还原为白色。物体有各自的颜色是因为其表面选择性地吸收和反射了部分波长区段的可见光，其中反射部分的光线即为物体所表现的颜色。当光源的光线并非自然光，而带有一定的颜色时，物体所反射的光线不仅仅是其自身的颜色，同时还带有光源的颜色。人眼具有很强的适应能力，在有色光源的环境中能够自动屏蔽一部分光源的颜色，即从人的感知上来说物体还是大致呈现其本身的颜色。然而数码相机的传感器没有这种色彩适应能力，它会采集光源的颜色，导致照片也带上了同样的色彩偏移。为了让照片效果跟人眼的感知相近，必要时需去除或削弱光源色彩的影响，这就是所谓的白平衡。而自动白平衡即在拍照时自动地检测照片的色偏情况，适时采取措施调整RGB各个颜色通道的强弱比例，来达到白平衡的效果。

经典的自动白平衡算法包括灰度世界法、完美反射法等，它们均借由采集图像某些统计信息来分析图像特征，从而求得矫正的方法。然而经典方法在性能、稳定性和硬件开销上，总是无法兼顾，都存在各自较为严重的缺陷。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种自动白平衡的方法及电路，其通过收集前一帧图像的直方图信息来分析计算下一帧图像的各通道增益，在保持良好的矫正性能及矫正可靠性的同时，最大程度地节省硬件资源开销。

为达上述及其它目的，本发明提出一种自动白平衡的方法，包括如下步骤：

步骤一，收集当前图像RGB各通道的直方图信息，并提取各个直方图中具有代表性的位置数据；

步骤二，利用该些位置数据之间的比较来计算各个通道的增益系数；

步骤三，对各通道的直方图利用计算获得的增益系数进行线性变换，获得自动白平衡后的图像。

进一步地，于步骤一中，提取直方图的位置数据时，从低到高对直方图各阶的像素量进行累加，当累加的像素量达到图像总像素数的一定比例时认为当前的像素值为直方图的重要信息点。

进一步地，该重要信息点包括直方图的下界和直方图的上界，该直方图的下界为从0起累加直方图中每阶的像素数目，达到或超过总像素数1%的那一阶对应的像素值；该直方图上界为从0起累加直方图中每阶的像素数目，达到或超过总像素数99%的那一阶对应的像素值。

进一步地，于步骤二中，计算增益系数时将各个通道的上下界的值相互拉近一定的比例，但并不完全拉到相同位置。

进一步地，该重要信息点还包括直方图的中界，该直方图的中界为从0起累加直方图中每阶的像素数目，达到或超过总像素数50%的那一阶对应的像素值。

进一步地，在步骤一中，若条件((R_UB-R_MB≥α)&&(R_MB-R_LB≥α)&&(G_UB-G_MB≥α)&&(G_MB-G_LB≥α)&&(B_UB-B_MB≥α)&&(B_MB-B_LB≥α))成立，则进行如下运算，得到新的各通道上界为

r_ub=R_UB+βr/3×(G_UB+B_UB–2×R_UB)

g_ub=G_UB+βg/3×(R_UB+B_UB–2×G_UB)

b_ub=B_UB+βb/3×(R_UB+G_UB–2×B_UB)

得到新的各通道下界为

r_lb=R_LB+βr/3×(G_LB+B_LB–2×R_LB)

g_lb=G_LB+βg/3×(R_LB+B_LB–2×G_LB)

b_lb=B_LB+βb/3×(R_LB+G_LB–2×B_LB)

其中，R_UB、R_MB、R_LB分别为输入数据R通道的上界、中界和下界，G_UB、G_MB、G_LB分别为G通道的上界、中界和下界分别为G_UB、G_MB、G_LB，B_UB、B_MB、B_LB分别为B通道的上界、中界和下界，r_ub、r_mb、r_lb分别为直方图拉伸后R通道的上界、中界和下界，g_ub、g_mb、g_lb分别为直方图拉伸后G通道的上界、中界和下界，b_ub、b_mb、b_lb分别为直方图拉伸后B通道的上界、中界和下界，α为图像色彩单一的判定阈值，β_r、β_g、β_b分别为RGB通道的拉伸力度。

进一步地，在步骤二中，RGB通道的增益系数K_R、K_G、K_B计算如下：

K_R=(r_ub-r_lb)/(R_UB-R_LB)

K_G=(g_ub-g_lb)/(G_UB-G_LB)

K_B=(b_ub-b_lb)/(B_UB-B_LB)。

为达到上述目的，本发明还提供一种自动白平衡电路，至少包括：

直方图统计模块，用于逐点将像素信息录入直方图，然后在每帧图像到最后一行时对直方图进行遍历，分析出各个通道的界值信息；

像素矫正计算模块，在每帧头处更新一次用于矫正的增益系数，并对每个进入模块的像素依据增益系数进行更新。

进一步地，该直方图统计模块包括控制单元、存储单元、读写逻辑单元及遍历单元，该直方图统计模块具有数据录入模式和遍历输出模式两种工作模式，模式的切换由该控制单元借助行计数器完成，对每帧图像，从收到帧头信号起直到最后一行的开头，该直方图统计模块工作于数据录入模式，在数据录入模式下，该控制单元将输入像素的信息作为地址传递给该存储单元，该读写逻辑单元提取出该地址的当前值后加一写回同一地址，表示色度为该值的像素数加一；遍历输出模式工作于每帧图像的最后一行，当该控制单元的行计数器计到最后一行时，调整存储单元地址为从0值起逐周期加1；该读写逻辑单元把该存储单元输出传递给该遍历单元，同时强制写回0以清空内存；该遍历单元从0地址起累加每个地址的输出，当和值达到设定的界对应的数量时即输出当前所在地址。

进一步地，该像素矫正计算模块包括系数计算和作用模块，该系数计算和作用模块用于计算用于矫正的增益系数以及像素更新，增益系数的计算是组合逻辑实时进行的，但仅当收到帧头信号时，该像素矫正计算模块才会更新一次增益系数的保存值，像素更新也是实时的，每进一个像素，即根据保存的增益系数处理后输出更新后的值。

与现有技术相比，本发明一种自动白平衡的方法及电路通过收集前一帧图像的直方图信息来分析计算下一帧图像的各通道增益，在保持良好的矫正性能及矫正可靠性的同时，最大程度地节省了硬件资源开销。

附图说明

图1为本发明一种自动白平衡的方法的步骤流程图；

图2为本发明一种自动白平衡电路的电路架构示意图；

图3为本发明一种自动白平衡电路之较佳实施例各输入输出端口定义示意图；

图4为本发明一种自动白平衡电路之较佳实施例的结构示意图；

图5为本发明一种自动白平衡电路之较佳实施例的处理流程图；

图6为本发明一种自动白平衡电路之较佳实施例像素矫正计算模块的计算流程图。

具体实施方式

以下通过特定的具体实施例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种自动白平衡的方法的步骤流程图。如图1所示，本发明一种自动白平衡的方法，用于数码相机图像的预处理，包括如下步骤：

步骤101，收集图像各个通道的直方图信息并提取各个直方图中具有代表性的位置数据。

直方图是对图像像素信息的一种抽象表示方式。对于一幅灰度图像，直方图表征了图中每个灰度阶所含的像素数目的信息。严格来说，灰度图像的直方图是一个离散函数（或一维数组），可以表示为：

H(n）=f_n n=0,1,2,…,N-1

其中n表示某个灰度值，N为图像的灰度阶数（对8bit图像来说N=256），f_n表示灰度值为n的像素在整幅图像中出现的次数。而对于彩色图像来说，RGB三个通道各有一个直方图，分别表征RGB通道的像素分布情况。

直方图是图像一个重要的统计信息，它体现了图像的亮度、对比度等特征。改变直方图将对图像效果产生明显的影响，如向右平移灰度图像的直方图，将使图像亮度增加。假如对一幅灰度图像每个像素都乘以一个大于1的增益系数，则从形态上看，直方图就被向右拉伸了一定的比例；反之若按规定比例拉伸直方图，则相当于对图像上每个像素都乘以了一个因数，因此可以通过研究和改变图像的直方图来实现对图像的调节。对彩色照片来说，RGB三通道的直方图有各自的特点，分别调节三个直方图就能相应地分别调整各个颜色通道的强度，从而起到颜色矫正的作用，这是通过直方图拉伸法实现白平衡的基本原理。

对一个8bit的彩色图像来说，总计有三个长度为256的直方图，信息量很大，不便于处理。自动白平衡方法需要实时地平衡RGB三个通道的强度，因此必须从直方图信息中快速提取通道强度的信息。对此，本发明提取了直方图中两个关键的点：从0起累加直方图中每阶的像素数目，达到或超过总像素数1%的那一阶对应的像素值，称为直方图的下界；从0起累加直方图中每阶的像素数目，达到或超过总像素数99%的那一阶对应的像素值，称为直方图的上界。下界用LB（lower bound）表示，上界用UB（upper bound）表示，上界和下界的位置通常能够说明该颜色通道的相对强度。满足灰度世界假设的图片，一般来说RGB通道各自直方图的上下界都很接近。假如说某个通道的上界或下界比其他通道高（或者低）很多，则这个通道有相当大的概率出现了过强（或过弱）的情况，而这种情况很有可能是由光源有色导致的。基于这种认识，就可以着手对直方图进行拉伸。

严格来说，充分的自动白平衡要求将RGB三个通道的上下界值拉伸到一致的位置，例如三个通道界值的平均值处（可以大致保持图像的亮度）。然而在很多情况下，图片本身的色彩比例并不平衡，就如灰度世界的假设并不成立，此时严格地将三个通道的直方图拉到相同的位置，可能会导致矫正过度。本发明在算法稳定性和矫正能力之间进行了权衡，决定适当降低直方图拉伸的幅度。举例来说，若拉至平均值处，界值移动的距离为D，则在处理时只拉伸到D/2的位置，这样如果原直方图界值的错位是由偏色引起，则偏色就在一定程度上得到了削弱；如果原图自身存在色彩不平衡的情况，那矫正也不会引起严重的变色。实际操作时，注意到人眼对绿色通道的变化最为敏感，且自然环境下色温引起的绿色通道的偏移也最小，故对绿色通道的矫正最弱；而对红色和蓝色通道的矫正较强。硬件工作中拉伸幅度是可以根据需要进行调节。

此外，很多照片本身就存在严重的偏色，如茂盛的树林、海面、单色静物特写等等，这些图片事实上不需要也不能进行自动白平衡处理。本设计通过大量测试，做出如下判断：自身存在严重偏色的图片，其直方图往往存在密集而尖锐的峰区，大量像素聚集在较小的区间内；反过来说，若直方图分布出现了这种非常不均匀的状况，一般是景物自身而非光源的作用。为此，本文在设计中加入了第三个特征点——中界。规定从0起累加直方图中每阶的像素数目，达到或超过总像素数50%的那一阶对应的像素值，为直方图的中界。中界类似数组的中位数，它的位置表征的是直方图的重心。设计中作如下规定：假如中界与上下界中任一个的位置过于靠近，则表明图片中存在大面积的色块或者整体的色偏，此时不进行直方图的拉伸。对于动态范围为0～255的图片来说，矫正判断的阈值默认为15。硬件工作中阈值可以根据传感器的实际特性进行修改。

如此，可以用伪代码和公式的形式对步骤101进行进一步说明。设输入数据R通道的上界、中界和下界分别为R_UB、R_MB、R_LB，G通道的上界、中界和下界分别为G_UB、G_MB、G_LB，R通道的上界、中界和下界分别为B_UB、B_MB、B_LB；直方图拉伸后，R通道的上界、中界和下界分别为r_ub、r_mb、r_lb，G通道的上界、中界和下界分别为g_ub、g_mb、g_lb，B通道的上界、中界和下界分别为b_ub、b_mb、b_lb；且规定图像色彩单一的判定阈值为α，拉伸力度为β_r、β_g、β_b，则处理流程如下：

若条件((R_UB-R_MB≥α)&&(R_MB-R_LB≥α)&&(G_UB-G_MB≥α)&&(G_MB-G_LB≥α)&&(B_UB-B_MB≥α)&&(B_MB-B_LB≥α))成立，则进行如下运算，得到新的各通道上界为

r_ub=R_UB+βr/3×(G_UB+B_UB–2×R_UB)

g_ub=G_UB+βg/3×(R_UB+B_UB–2×G_UB)

b_ub=B_UB+βb/3×(R_UB+G_UB–2×B_UB)

得到新的各通道下界为

r_lb=R_LB+βr/3×(G_LB+B_LB–2×R_LB)

g_lb=G_LB+βg/3×(R_LB+B_LB–2×G_LB)

b_lb=B_LB+βb/3×(R_LB+G_LB–2×B_LB)

步骤102，利用位置数据之间的比较来计算各个通道的增益系数。

根据拉伸后的上下界值，可以计算出用于矫正各通道的相应的系数K_R、K_G、K_B如下：

K_R=(r_ub-r_lb)/(R_UB-R_LB)

K_G=(g_ub-g_lb)/(G_UB-G_LB)

K_B=(b_ub-b_lb)/(B_UB-B_LB)

步骤103，对各通道的直方图利用计算获得的增益系数进行线性变换，获得自动白平衡后的图像。各通道的直方图在利用这些增益系数进行线性变换以后，在位置上变得靠近，从而达到消除或削弱偏色的效果。

对于某个像素(R,G,B)，套用增益系数后变为(r,g,b)，公式如下：

r=(R–R_LB)×K_R+r_lb

g=(G–G_LB)×K_G+g_lb

b=(B–B_LB)×K_B+b_lb

图2为本发明一种自动白平衡电路的电路架构示意图。图3为本发明一种自动白平衡电路之较佳实施例各输入输出端口定义示意图，图4为本发明一种自动白平衡电路之较佳实施例的结构示意图。本发明较佳实施例中，本发明一种自动白平衡电路（AWB）包含如下输入输出端口：size（大小）、Pixel_input（像素输入）、Valid_in、Pixel_start、line_start、Rst_n、Clk、Manual_Coef、R_coef_in、G_coef_in、B_coef_in、Pixel_output、Valid_out、Pi_start_out及Li_start_out。如图2及图4所示，本发明一种自动白平衡电路，至少包括：直方图统计模块20及像素矫正计算模块21。

其中，直方图统计模块20，用于逐点将像素信息录入直方图，然后在每帧图像到最后一行时对直方图进行遍历，分析出各个通道的界值信息；像素矫正计算模块21，在每帧头处更新一次矫正系数，并对每个进入模块的像素依据矫正系数进行更新。

具体地说，直方图统计模块20包括控制单元201、存储单元202、读写逻辑单元203及遍历单元204。直方图统计模块20具有两种工作模式：数据录入模式和遍历输出模式，模式的切换由控制单元201借助行计数器来完成。对每帧图像，从收到帧头信号起直到最后一行的开头，直方图统计模块20工作于数据录入模式，在本模式下，控制单元201将输入像素的信息作为地址（Address）传递给存储单元202，在本发明较佳实施例中，存储单元202为内存，读写逻辑单元203提取出该地址的当前值后加一写回（write_in）同一地址，表示色度为该值的像素数加一；遍历输出模式工作于每帧图像的最后一行，当控制单元201的行计数器计到最后一行时，它会无视输入，调整内存地址为从0值起逐周期加1；读写逻辑单元203把内存输出传递（Read_out）给遍历单元204，同时强制写回0以清空内存；遍历单元204从0地址起累加每个地址的输出，当和值达到设定的界对应的数量时即输出当前所在地址，也即界值（Bound）。

像素矫正计算21包括系数计算和作用模块210，它有两项计算任务：计算矫正系数以及像素更新。矫正系数的计算是组合逻辑实时进行的，但仅当收到帧头信号时，模块才会更新一次矫正系数的保存值。像素更新也是实时的，每进一个像素，当即根据保存的系数处理以后输出更新后的值。从外部看，进入自动白平衡及对比度增强模块的数据，仅在几个周期的延迟后就会输出矫正以后的值。

图5为本发明一种自动白平衡电路之较佳实施例的处理流程图，图6为本发明一种自动白平衡电路之较佳实施例像素矫正计算模块的计算流程图。以下将配合图5及图6进一步介绍本发明之自动白平衡电路的处理流程。

（1）像素值以系统时钟频率输入（Pixel_in），其值（若对12位的输入则截取高8位）作为地址传入直方图统计内存（Block RAM），内存调出该地址保存的数据，加1后存回原址，表示像素数加1；

（2）行起始信号与每行第一个像素一起输入，行计数器根据行起始信号（line_start）进行计数，当数据输入达到最后一行时，直方图内存停止接收外部数据，转为自动从0址起每周期依次输出各地址保存的数据（即每个像素值的像素数目），同时将已经读数的内存区域清零；

（3）直方图内存的输出进入遍历单元后，遍历单元内的累加器根据设定求取各个界值（Bounds），并传递给计算模块计算用于各通道矫正的系数（coefficients）；

（4）像素矫正计算模块在每次收到帧起始信号时更新系数寄存器（REG），然后对当前每一个输入的像素套用矫正系数后输出（Pixel_out），从而实现自动白平衡。

本发明之较佳实施例在Xilinx（赛灵思）开发板Vertex50t上进行实现，能够达到170MHz的工作频率；Slice（FPGA的组成单元）资源开销为7%，另外消耗三片Block RAM和三个DSP乘法器（调用IP core）。原型机测试结果显示本发明能正常工作，如期实现了自动白平衡的功能。

综上所述，本发明一种自动白平衡的方法及电路通过收集前一帧图像的直方图信息来分析计算下一帧图像的各通道增益，在保持良好的矫正性能及矫正可靠性的同时，最大程度地节省了硬件资源开销，经过FPGA开发板级的验证，本发明中设计的电路可以正常工作并实现了相应的目的。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims

1.一种自动白平衡的方法，包括如下步骤：

2.如权利要求1所述的一种自动白平衡的方法，其特征在于：于步骤一中，提取直方图的位置数据时，从低到高对直方图各阶的像素量进行累加，当累加的像素量达到图像总像素数的一定比例时认为当前的像素值为直方图的重要信息点。

3.如权利要求2所述的一种自动白平衡的方法，其特征在于：该重要信息点包括直方图的下界和直方图的上界，该直方图的下界为从0起累加直方图中每阶的像素数目，达到或超过总像素数1%的那一阶对应的像素值；该直方图上界为从0起累加直方图中每阶的像素数目，达到或超过总像素数99%的那一阶对应的像素值。

4.如权利要求3所述的一种自动白平衡的方法，其特征在于：于步骤二中，计算增益系数时将各个通道的上下界的值相互拉近一定的比例，但并不完全拉到相同位置。

5.如权利要求3所述的一种自动白平衡的方法，其特征在于：该重要信息点还包括直方图的中界，该直方图的中界为从0起累加直方图中每阶的像素数目，达到或超过总像素数50%的那一阶对应的像素值。

6.如权利要求5所述的一种自动白平衡的方法，其特征在于：在步骤一中，若条件((R_UB-R_MB≥α)&&(R_MB-R_LB≥α)&&(G_UB-G_MB≥α)&&(G_MB-G_LB≥α)&&(B_UB-B_MB≥α)&&(B_MB-B_LB≥α))成立，则进行如下运算，得到新的各通道上界为

r_ub=R_UB+βr/3×(G_UB+B_UB–2×R_UB)

g_ub=G_UB+βg/3×(R_UB+B_UB–2×G_UB)

b_ub=B_UB+βb/3×(R_UB+G_UB–2×B_UB)

得到新的各通道下界为

r_lb=R_LB+βr/3×(G_LB+B_LB–2×R_LB)

g_lb=G_LB+βg/3×(R_LB+B_LB–2×G_LB)

b_lb=B_LB+βb/3×(R_LB+G_LB–2×B_LB)

7.如权利要求6所述的一种自动白平衡的方法，其特征在于，在步骤二中，RGB通道的增益系数K_R、K_G、K_B计算如下：

K_R=(r_ub-r_lb)/(R_UB-R_LB)

K_G=(g_ub-g_lb)/(G_UB-G_LB)

K_B=(b_ub-b_lb)/(B_UB-B_LB)。

8.一种自动白平衡电路，至少包括：

9.如权利要求8所述的一种自动白平衡电路，其特征在于：该直方图统计模块包括控制单元、存储单元、读写逻辑单元及遍历单元，该直方图统计模块具有数据录入模式和遍历输出模式两种工作模式，模式的切换由该控制单元借助行计数器完成，对每帧图像，从收到帧头信号起直到最后一行的开头，该直方图统计模块工作于数据录入模式，在数据录入模式下，该控制单元将输入像素的信息作为地址传递给该存储单元，该读写逻辑单元提取出该地址的当前值后加一写回同一地址，表示色度为该值的像素数加一；遍历输出模式工作于每帧图像的最后一行，当该控制单元的行计数器计到最后一行时，调整存储单元地址为从0值起逐周期加1；该读写逻辑单元把该存储单元输出传递给该遍历单元，同时强制写回0以清空内存；该遍历单元从0地址起累加每个地址的输出，当和值达到设定的界对应的数量时即输出当前所在地址。

10.如权利要求8所述的一种自动白平衡电路，其特征在于：该像素矫正计算模块包括系数计算和作用模块，该系数计算和作用模块用于计算用于矫正的增益系数以及像素更新，增益系数的计算是组合逻辑实时进行的，但仅当收到帧头信号时，该像素矫正计算模块才会更新一次增益系数的保存值，像素更新也是实时的，每进一个像素，即根据保存的增益系数处理后输出更新后的值。