CN115914857A - 一种图像传感器中实时自动白平衡补偿方法及装置 - Google Patents

Abstract

本发明公开了一种图像传感器中实时自动白平衡补偿方法及装置，包括：实时获取原始图像；根据原始图像，计算当前帧中暗景行的行数，判断下一帧的场景模式；对比当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化；若下一帧场景已变化，则下一帧获取的原始图像数据不进行调整，直接输出；若下一帧场景未变化，则根据当前帧的场景模式进行补偿调整；若当前帧的场景模式为普通场景时，则采用全帧像素值法计算补偿系数和对下一帧进行白平衡调整；若当前帧的场景模式为暗场景时，则采用分区计算法计算补偿系数并对下一帧进行白平衡调整。本发明适应高速运动或场景快速变换的情况下能进行自动快速调整。

Description

一种图像传感器中实时自动白平衡补偿方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像传感器中实时自动白平衡补偿方法及装置。

背景技术

电子相机拍照时，由于外界环境光的影响(比如阴天，黄昏，夜间等)，会导致拍摄出来的图片整体变色失衡。目前业界对于颜色失衡有很多不同的补偿手段，但大多是对图像传感器传出来的数据用其他器件进行二次处理得来的。处理白平衡的时候大多采用图像处理技术ISP(Image Signal Processor)进行白平衡校正，主要借助ISP处理器、色温传感器/光谱传感器等其他设备。

一般民用相机或手机相机对画质要求比较高，对白平衡的要求也比较高，算法比较复杂，且近年来越来越高的分辨率需求使得像素数量不断增加，拍照时系统进行后期图像调整的等待时间也比较明显，有时甚至有1-3s的等待过程。对高速移动下的智能识别设备来说，在满足自动识别要求的调整效果的前提下，响应速度更为重要。

例如，在自动辅助驾驶系统中多使用车载摄像头进行智能识别，当车辆行驶速度较高时，在等待ISP处理的时间里车辆可能已经移动了数米。以时速80km/h为例，1秒钟就会产生约22m的距离移动，因此缩短图像处理时间对于紧急制动有很大的帮助。另外，一些极端场景变化，例如车辆进出内外明暗差别很大的隧道时会出现的暗适应和明适应现象，需要快速识别场景的变化，重新快速进行白平衡调整，缩短智能识别(红绿灯、前车异况、行人等)的时间，最大程度确保制动距离。

然而，现有白平衡补偿方法存在一定缺陷，尚不满足应用需求。在高分辨率条件下，依靠增加响应时间输出白平衡补偿过后的图像，在高速运动或场景快速变换的情况下不能进行自动调整，同时，计算速度受限。比如自动辅助驾驶系统中，高速行驶时或进出隧道时车载需及时相应并自动调整。

发明内容

本发明所要解决的技术问题是现有白平衡补偿方法在高分辨率条件下，依靠增加响应时间输出白平衡补偿过后的图像，在高速运动或场景快速变换的情况下不能进行自动调整，且计算速度受限，很难满足应用需求。

本发明目的在于提供一种图像传感器中实时自动白平衡补偿方法及装置，本发明结合图像传感器的数据流特点，在图像传感器内部电路中实现对视频流的实时动态白平衡补正又不占用大面积的存储空间，能进行白平衡场景识别及切换，可用于车载监控、基础智能识别等方向，旨在提高运算和反应速度，尽可能地将识别判断时间点提前，为安全措施争取时间。本发明在高分辨率条件下也可以不增加响应时间的同时输出白平衡补偿过后的图像，在高速运动或场景快速变换的情况下能进行自动调整，满足自动辅助驾驶系统中高速车载识别的要求或车辆进出内外明暗差别很大隧道时的调整需求。

本发明通过下述技术方案实现：

第一方面，本发明提供了一种图像传感器中实时自动白平衡补偿方法，该方法包括：

通过图像传感器实时获取原始图像；

根据原始图像，计算当前帧中暗景行的行数；根据暗景行的行数，判断下一帧的场景模式；

通过对比当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化，获取下一帧场景变化识别信号；

若下一帧场景变化识别信号为场景已变化，则下一帧获取的原始图像数据不进行调整，直接输出；若下一帧场景变化识别信号为场景未变化，则根据当前帧的场景模式进行补偿调整；

根据上一帧计算出来的当前帧的场景模式进行白平衡补偿：若当前帧的场景模式为普通场景时，则采用全帧像素值法计算普通场景补偿用系数，并根据普通场景补偿用系数对下一帧进行白平衡调整，并输出补偿调整后的图像数据；若当前帧的场景模式为暗场景时，则采用分区计算法计算暗场景补偿用系数，并根据暗场景补偿用系数对下一帧进行白平衡调整，并输出补偿调整后的图像数据；

如此循环，直至所有帧进行完白平衡调整。

进一步地，根据原始图像，计算当前帧中暗景行的行数；根据暗景行的行数，判断下一帧的场景模式，包括：

根据原始图像，按最小像素阵列单元所需行数N为单位，计算当前N行中，RGB同时满足条件的暗值像素单元数量；条件包括：pix_in_r≤DARK_TH_R；pix_in_g≤DARK_TH_G；pix_in_b≤DARK_TH_B；其中，pix_in_r为红色的原始图像数据，pix_in_g为绿色的原始图像数据，pix_in_b为蓝色的原始图像数据，DARK_TH_R为红色的暗像素阈值，DARK_TH_G为绿色的暗像素阈值，DARK_TH_B为蓝色的暗像素阈值；

根据暗值像素单元数量和当前N行的全色均值，判断当前N行是否为暗景行；判断包括：若当前像素阵列单元所在行中暗值像素单元的个数大于等于每阵列行中暗值像素单元个数阈值，且当前N行的全色均值小于等于全色像素平均值的暗场阈值时，则判断当前像素整列所在的所有行都为暗景行；

统计当前帧暗景行数：若是暗景行，则暗景行数+1；若不是暗景行，则暗景行数保持不变；

根据暗景行数，判断帧暗景行数是否达到预设条件；

若达到预设条件，则下一帧为暗场景帧；否则下一帧为普通场景帧。

进一步地，通过对比当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化，获取下一帧场景变化识别信号，包括：

通过对比当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化；

若当前帧的场景模式与下一帧的场景模式不一致，则获取下一帧场景变化识别信号为场景已变化；

若当前帧的场景模式与下一帧的场景模式一致，则获取下一场景变化识别信号为场景未变化。

进一步地，全帧像素值法是通过计算原始图像当前帧中的各色平均值、全色平均值，得到各色的普通场景补偿用系数。

进一步地，采用全帧像素值法计算普通场景补偿用系数，具体包括：

计算当前帧中当前行所有红色像素数据的均值、当前行所有绿色像素数据的均值和当前行所有蓝色像素数据的均值；

根据当前行所有红色像素数据的均值、当前行所有绿色像素数据的均值和当前行所有蓝色像素数据的均值，计算当前行所有像素数据的均值；

其中，h_pix_ave_all为当前行所有像素数据的均值，h_pix_ave_r为当前行所有红色像素数据的均值，h_pix_ave_g为当前行所有绿色像素数据的均值，h_pix_ave_b为当前行所有蓝色像素数据的均值；

根据当前行所有像素数据的均值，计算当前帧所有红色像素数据的均值、当前帧所有绿色像素数据的均值、当前帧所有蓝色像素数据的均值；

根据当前帧所有红色像素数据的均值、当前帧所有绿色像素数据的均值、当前帧所有蓝色像素数据的均值，计算当前帧所有像素数据的均值；

其中，pix_ave_all为当前帧所有像素数据的均值，pix_ave_r为当前帧所有红色像素数据的均值，pix_ave_g为当前帧所有绿色像素数据的均值，pix_ave_b为前帧所有蓝色像素数据的均值；

根据当前帧所有像素数据的均值与当前帧所有红色像素数据的均值的比值，得到红色的普通场景补偿用系数；根据当前帧所有像素数据的均值与当前帧所有绿色像素数据的均值的比值，得到绿色的普通场景补偿用系数；根据当前帧所有像素数据的均值与当前帧所有蓝色像素数据的均值的比值，得到蓝色的普通场景补偿用系数；

其中，以上计算在整个有效画面像素传输期间持续进行，有效画面像素数据传输完成之后，将计算好的各均值和补偿系数更新锁存。

进一步地，分区计算法是通过计算原始图像当前帧中划分为多个均等区域时，各个区域中满足反射点条件的各色平均值、满足反射点条件的全色平均值、满足反射点条件的各色像素点数量，得到各区域中的各色补偿系数及所有区域的各色补偿系数平均值。

进一步地，采用分区计算法计算暗场景补偿用系数，具体包括：

对原始图像当前帧进行均匀坐标分区，得到各个分区；

对各个分区进行反射点像素单元判断，得到反射点；

根据反射点，计算反射点对应分区内的各色平均值和全色平均值；

统计存在反射点的分区个数，计算存在反射点的分区的红色暗场景补偿用系数、绿色暗场景补偿用系数和蓝色暗场景补偿用系数；

根据存在反射点的分区的红色暗场景补偿用系数、绿色暗场景补偿用系数和蓝色暗场景补偿用系数，计算原始图像所有分区的红色暗场景补偿用系数均值、绿色暗场景补偿用系数均值和蓝色暗场景补偿用系数均值。

进一步地，该方法还包括：

当前帧像素数据传送开始时，将当前帧的场景模式进行锁存，并在当前帧有效画面传送结束后且下一帧画面数据尚未开始传输时和当前计算出来的下一帧的场景模式进行比较，若一致，则下一帧未发生普通场景和暗场景的场景切换；若不一致，则判断下一帧发生了场景切换。将场景变化结果锁存至下一帧判断更新时。

第二方面，本发明又提供了一种图像传感器中实时自动白平衡补偿装置，该装置用于实现所述的一种图像传感器中实时自动白平衡补偿方法；该装置包括：

图像输入单元，用于通过图像传感器实时获取原始图像；

场景判断单元，用于根据原始图像，计算当前帧中暗景行的行数；根据暗景行的行数，判断下一帧的场景模式；通过对比当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化，获取下一帧场景变化识别信号；

图像补偿单元，用于若下一帧场景变化识别信号为场景已变化，则下一帧获取的原始图像数据不进行调整，直接输出；若下一帧场景变化识别信号为场景未变化，则根据当前帧的场景模式及补偿系数选择单元进行补偿调整；

补偿系数选择单元，用于根据上一帧计算出来的当前帧的场景模式进行白平衡补偿：若当前帧的场景模式为普通场景时，则采用全帧像素值法计算普通场景补偿用系数，并根据普通场景补偿用系数对下一帧进行白平衡调整；若当前帧的场景模式为暗场景时，则采用分区计算法计算暗场景补偿用系数，并根据暗场景补偿用系数对下一帧进行白平衡调整；

图像输出单元，用于输出图像补偿单元补偿调整后的图像数据。

第三方面，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种图像传感器中实时自动白平衡补偿方法。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明一种图像传感器中实时自动白平衡补偿方法，在高分辨率条件下也可以不增加响应时间的同时输出白平衡补偿过后的图像，在高速运动或场景快速变换的情况下，能进行自动快速调整，满足自动辅助驾驶系统中高速车载识别的要求或车辆进出内外明暗差别很大隧道时的调整需求。同时，数据传送过程中实时计算，传送结束时各标志信号同步更新，计算速度快、时效性好。

2、本发明一种图像传感器中实时自动白平衡补偿装置，基于片上集成技术，在图像传感器内部进行计算及调整，不需要付出其他器件的成本；不同于现有技术的ISP进行白平衡校正。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明一种图像传感器中实时自动白平衡补偿方法流程图；

图2为本发明一种图像传感器中实时自动白平衡补偿方法工作原理图；

图3本发明一种图像传感器中实时自动白平衡补偿方法的详细处理流程图；

图4为本发明的帧动作概念例示意图；

图5为本发明的有效画面分区示例图；

图6为本发明一种图像传感器中实时自动白平衡补偿装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

基于现有白平衡补偿方法在高分辨率条件下依靠增加响应时间输出白平衡补偿过后的图像，在高速运动或场景快速变换的情况下不能进行自动调整，很难满足自动辅助驾驶系统中高速车载识别的要求或车辆进出内外明暗差别很大隧道时的调整需求；同时，计算速度不够快。

本发明设计了一种图像传感器中实时自动白平衡补偿方法及装置，本发明结合图像传感器的数据流特点，在图像传感器内部电路中实现对视频流的实时动态白平衡补正又不占用大面积的存储空间，能进行白平衡场景识别及切换，可用于车载监控、基础智能识别等方向，旨在提高运算和反应速度，尽可能地将识别判断时间点提前，为安全措施争取时间。

如图2所示，本发明的工作原理是：将使用场景分为普通场景(日间多样对象场景)和暗场景(夜间、很暗的隧道、林荫等较为单调的场景对象)两种；

普通场景白平衡系数计算：计算每一帧中，各色平均值，全色平均值，各色补偿系数；

暗场景白平衡系数计算：计算每一帧中划分为多个均等区域时，各个区域中满足反射点条件的各色平均值、满足反射点条件的全色平均值、满足反射点条件的各色像素点数量，各区域中的各色补偿系数，所有区域的各色补偿系数平均值。

利用图像传感器成像方式为光线越暗，得到的像素值数据越小的特点，计算每一帧中像素值偏小行的行数来判断当前帧是暗场景还是普通场景。

当前帧为普通场景时，下一帧使用全帧像素值计算出来的补偿系数进行白平衡调整；当前帧判断为暗场景时，下一帧使用分区计算出来的最终补偿系数进行白平衡调整。

下一帧再次进行场景判断和系数计算时，使用本帧调整之前的像素值进行计算。

本发明在高分辨率条件下也可以不增加响应时间的同时输出白平衡补偿过后的图像，在高速运动或场景快速变换的情况下能进行自动快速调整，满足自动辅助驾驶系统中高速车载识别的要求或车辆进出内外明暗差别很大隧道时的调整需求。

实施例1

如图1所示，本发明一种图像传感器中实时自动白平衡补偿方法，该方法包括：

通过图像传感器实时获取原始图像；

根据原始图像，计算当前帧中暗景行的行数；根据暗景行的行数，判断下一帧的场景模式；

通过对比当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化，获取下一帧场景变化识别信号；

若下一帧场景变化识别信号为场景已变化，则下一帧获取的原始图像数据不进行调整，直接输出；若下一帧场景变化识别信号为场景未变化，则根据当前帧的场景模式进行补偿调整；

根据上一帧计算出来的当前帧的场景模式进行白平衡补偿：若当前帧的场景模式为普通场景时，则采用全帧像素值法计算普通场景补偿用系数，并根据普通场景补偿用系数对下一帧进行白平衡调整，并输出补偿调整后的图像数据；若当前帧的场景模式为暗场景时，则采用分区计算法计算暗场景补偿用系数，并根据暗场景补偿用系数对下一帧进行白平衡调整，并输出补偿调整后的图像数据；

如此循环，直至所有帧进行完白平衡调整。

本实施例中，参数定义如下：

Hsize：水平方向有效像素数量；

Vsize：垂直方向有效像素数量；

pix_in_r/g/b：各色的原始图像数据，即pix_in_r：红色的原始图像数据，pix_in_g：绿色的原始图像数据，pix_in_b：蓝色的原始图像数据；

pix_light_r/g/b_th：红/绿/蓝色的亮点阈值，一般预设为当前图像传感器像素值上限的90％。即pix_light_r_th：红色的亮点阈值，pix_light_g_th：绿色的亮点阈值，pix_light_b_th：蓝色的亮点阈值；

DARK_TH_R/G/B：红/绿/蓝色的暗像素阈值，一般预设为10Lux～30Lux均匀光照下的r/g/b像素值。即DARK_TH_R：红色的暗像素阈值，DARK_TH_G：绿色的暗像素阈值，DARK_TH_B：蓝色的暗像素阈值；

DARK_H_PIX_AVE_TH：全色像素平均值的暗场阈值，一般预设为当前图像传感器像素值上限的50％。

DARK_PIX_NUM_TH：每阵列行中暗值像素单元个数阈值，一般预设为水平方向像素单元总量的60％。

DARK_V_NUM_TH：每帧的暗值像素单元行数阈值，一般预设为垂直方向像素单元总数的60％。

X：水平方向分区数量，一般预设为3或者5。

Y：垂直方向分区数量，一般预设为3或者5。

本发明主要包括以下几个部分：

S1，采用全帧像素值法，以当前帧所有像素值为对象进行补偿系数计算；

全帧像素值法是通过计算原始图像当前帧中的各色平均值、全色平均值，得到各色的普通场景补偿用系数，具体包括：

计算当前帧中当前行所有红色像素数据的均值h_pix_ave_r、当前行所有绿色像素数据的均值h_pix_ave_g和当前行所有蓝色像素数据的均值h_pix_ave_b；

根据当前行所有红色像素数据的均值h_pix_ave_r、当前行所有绿色像素数据的均值h_pix_ave_g和当前行所有蓝色像素数据的均值h_pix_ave_b，计算当前行所有像素数据的均值h_pix_ave_all；

以上计算在整个有效画面像素传输期间持续进行，每行像素数据传输完成之后，将计算好的行均值更新锁存。

根据当前行所有像素数据的均值，计算当前帧所有红色像素数据的均值pix_ave_r、当前帧所有绿色像素数据的均值pix_ave_g、当前帧所有蓝色像素数据的均值pix_ave_b；

根据当前帧所有红色像素数据的均值pix_ave_r、当前帧所有绿色像素数据的均值pix_ave_g、当前帧所有蓝色像素数据的均值pix_ave_b，计算当前帧所有像素数据的均值pix_ave_all；

根据当前帧所有像素数据的均值与当前帧所有红色像素数据的均值的比值，得到红色的普通场景补偿用系数ratio_mode0_r；根据当前帧所有像素数据的均值与当前帧所有绿色像素数据的均值的比值，得到绿色的普通场景补偿用系数ratio_mode0_g；根据当前帧所有像素数据的均值与当前帧所有蓝色像素数据的均值的比值，得到蓝色的普通场景补偿用系数ratio_mode0_b；

ratio_mode0_r＝pix_ave_all/pix_ave_r；

ratio_mode0_g＝pix_ave_all/pix_ave_g；

ratio_mode0_b＝pix_ave_all/pix_ave_b；

以上计算在整个有效画面像素传输期间持续进行，有效画面像素数据传输完成之后，将计算好的各均值和补偿系数更新锁存。

S2，采用分区计算法，以当前帧满足一定条件的明亮像素点为对象进行补偿计算；

分区计算法通过计算原始图像当前帧中划分为多个均等区域时，各个区域中满足反射点条件的各色平均值、满足反射点条件的全色平均值、满足反射点条件的各色像素点数量，得到各区域中的各色补偿系数及所有区域的各色补偿系数平均值；具体包括：

S21，对原始图像当前帧进行均匀坐标分区，得到各个分区；

具体地，将有效画面分成X×Y个区域，水平方向X个区域，垂直方向Y个区域。除最右侧一列和最下侧一行分区以外均为同等大小。

最右侧分区和水平方向上的其他分区等高，可以不等宽；最下侧分区和垂直方向上的其他分区等宽，可以不等高。如图5所示。

在像素数据传输过程中，以像素阵列高度为最小单位对整个画面中的有效行进行阵列计数，得到pix_vcnt；以像素阵列宽度为最小单位对每一行的有效像素数据进行计数，得到pix_hcnt。例如Bayer阵列时，最小像素阵列单元为H2×V2，则pix_vcnt每两个物理行+1，pix_hcnt也是每两个像素+1；Quad阵列时，最小像素阵列单元为H4×V4,则pix_vcnt每4个物理行+1，pix_hcnt每4个像素+1。

通过pix_vcnt和pix_hcnt来判断当前像素位于哪个分区。

S22，对各个分区进行反射点像素单元判断，得到反射点；

具体地，对每个最小像素阵列单元中各个颜色值的大小进行判断，同时满足以下条件时,当前像素单元为反射点像素单元：

pix_in_r≥pix_light_r_th；

pix_in_g≥pix_light_g_th；

pix_in_b≥pix_light_b_th。

Quad阵列时，使用同像素单元中同色像素的均值进行反射点判断。

S23，根据反射点，计算反射点对应分区内的各色平均值和全色平均值；

具体地，各分区各自进行反射点像素分颜色求平均值ave_reflect_r_area_yx、ave_reflect_g_area_yx、ave_reflect_b_area_yx(bayer阵列下的gr和gb不做区分，都当作绿色进行计算)，并计算各分区内部的全色平均值ave_reflect_all_area_yx。

垂直方向上分区编号y＝1～Y；水平方向上分区编号x＝1～X。

S24，统计存在反射点的分区个数，计算存在反射点的分区的红色暗场景补偿用系数ratio_mode1_r_area_yx、绿色暗场景补偿用系数ratio_mode1_g_area_yx和蓝色暗场景补偿用系数ratio_mode1_b_area_yx；

具体地，统计出有反射点的分区个数light_area_cnt，若某个区域中没有反射点，则该区域不作为补偿系数计算对象。

各区红色暗场景补偿用系数

ratio_mode1_r_area_yx＝ave_reflect_all_area_yx/ave_reflect_r_area_yx；

各区绿色暗场景补偿用系数

ratio_mode1_g_area_yx＝ave_reflect_all_area_yx/ave_reflect_g_area_yx；

各区蓝色暗场景补偿用系数

ratio_mode1_b_area_yx＝ave_reflect_all_area_yx/ave_reflect_b_area_yx；

S25，根据存在反射点的分区的红色暗场景补偿用系数、绿色暗场景补偿用系数和蓝色暗场景补偿用系数，计算原始图像所有分区的红色暗场景补偿用系数均值ratio_ave_mode1_r、绿色暗场景补偿用系数均值ratio_ave_mode1_g和蓝色暗场景补偿用系数均值ratio_ave_mode1_b。

所有分区的红色暗场景补偿用系数均值

所有分区的绿色暗场景补偿用系数均值

所有分区的蓝色暗场景补偿用系数均值

S3，场景模式的识别

根据原始图像，计算当前帧中暗景行的行数；根据暗景行的行数，判断下一帧的场景模式，包括：

S31，根据原始图像，按最小像素阵列单元所需行数N为单位，计算当前N行中，RGB同时满足条件的暗值像素单元数量；即在像素数据传送过程中，检查有效画面内每一个像素阵列单元中各色像素值的大小，同时满足以下条件时，将当前像素判断为暗值像素单元并进行计：

条件包括：

pix_in_r≤DARK_TH_R；

pix_in_g≤DARK_TH_G；

pix_in_b≤DARK_TH_B；

其中，pix_in_r为红色的原始图像数据，pix_in_g为绿色的原始图像数据，pix_in_b为蓝色的原始图像数据，DARK_TH_R为红色的暗像素阈值，DARK_TH_G为绿色的暗像素阈值，DARK_TH_B为蓝色的暗像素阈值；

S32，根据暗值像素单元数量和当前N行的全色均值，判断当前N行是否为暗景行；判断包括：若当前像素阵列单元所在行中暗值像素单元的个数大于等于每阵列行中暗值像素单元个数阈值，且当前N行的全色均值小于等于全色像素平均值的暗场阈值时，则判断当前像素整列所在的所有行都为暗景行；

S33，统计当前帧暗景行数：若是暗景行，则暗景行数+1；若不是暗景行，则暗景行数保持不变；

S34，根据暗景行数，判断帧暗景行数是否达到预设条件；若达到预设条件，则下一帧为暗场景帧；否则下一帧为普通场景帧。

当前帧像素数据传送开始时，将当前帧的场景模式进行锁存，并在当前帧有效画面传送结束后且下一帧画面数据尚未开始传输时和当前计算出来的下一帧的场景模式进行比较，若一致，则下一帧未发生普通场景和暗场景的场景切换；若不一致，则判断下一帧发生了场景切换。将场景变化结果锁存至下一帧判断更新时。

S4，补偿方式选择

当前帧数据开始传送时，首先检测当前帧是否发生了场景变化，若发生了场景变化，则将当前帧用的白平衡补偿系数全部置为1。

若未发生场景变化，则当前帧为暗景帧时，将上一帧通过S2计算得出的白平衡补偿系数ratio_ave_mode1_r、ratio_ave_mode1_g、ratio_ave_mode1_b作为当前帧白平衡补偿用系数；

当前帧为普通帧时，将上一帧通过S1计算得出的白平衡补偿系数ratio_mode0_r/g/b、ratio_mode0_g、ratio_mode0_b作为当前帧的白平衡补偿系数。

若当前帧为开机第一帧，则默认为当前帧发生了场景变化，将当前帧用的白平衡补偿系数全部置为1。

S5，白平衡调整

对当前帧获取到的原始画面数据分颜色进行白平衡补偿：

当前帧红色补充后的图像数据pix_out_r＝pix_in_r×当前帧白平衡补偿系数；

当前帧绿色补充后的图像数据pix_out_g＝pix_in_g×当前帧白平衡补偿系数；

当前帧蓝色补充后的图像数据pix_out_b＝pix_in_b×当前帧白平衡补偿系数；

S6.调整后的图像数据输出

本发明方案提出的一种日夜变换或出入隧道时车载摄像装置自动白平衡的方法。利用了日间场景的多样性，和夜间/隧道场景时低饱和像素较多的特点，实现视频图像的高效实时白平衡调整，为车载摄像头在日间/夜间/隧道场景中的准确目标识别提供基本的图像调校。

如图3、图4所示，图3为本发明的详细处理流程图；图4为本发明的帧动作概念例示意图，图4中Frame1为上一帧的动作，Frame2为当前帧的动作，Frame3为下一帧的动作。

具体实施时：晴天日间充足光照下，车辆驶出快速路的有照明隧道的短短数米中，亮度快速由暗变到极亮，假设出隧道到亮度稳定需要10m，最高车速80km/h，按照通常帧率30fps来计算，大约需要13-14帧图像。

以共13帧为例，将第一帧当作开机初始帧，假设前6帧光线较暗能识别为暗场景帧，后7帧整体亮度提升为普通场景帧，整个场景切换的过程如下：

第一帧(不做白平衡调整)：

根据S1计算补偿系数ratio_mode0_r_frm1、ratio_mode0_g_frm1、ratio_mode0_b_frm1；

根据S2计算补偿系数ratio_ave_mode1_r_frm1、ratio_ave_mode1_g_frm1、ratio_ave_mode1_b_frm1；

根据S3的计算判定下一帧为暗场景帧，由于是初始帧，默认当前帧发生了场景变化；

在S4计算中设定当前帧白平衡补偿系数全部为1(不进行白平衡调整)，输入像素数据全部乘以白平衡补偿系数1；

补偿后的数据输出。

第二帧至第六帧(暗场白平衡调整)：

根据S1计算补偿系数ratio_mode0_r_frm2～6、ratio_mode0_g_frm2～6、ratio_mode0_b_frm2～6；

根据S2计算补偿系数ratio_ave_mode1_r_frm2～6、ratio_ave_mode1_g_frm2～6、ratio_ave_mode1_b_frm2～6；

根据S3的计算判定下一帧为暗场景帧，判断下一帧未发生场景变化；

在S4计算中设定当前帧白平衡补偿系数为上一帧通过S2计算出来的ratio_ave_mode1_r_frm1～5、ratio_ave_mode1_g_frm1～5、ratio_ave_mode1_b_frm1～5，各自与对应的输入像素数据相乘；

补偿后的数据输出。

第七帧(场景变化，仍做暗场调整)：

根据S1计算补偿系数ratio_mode0_r_frm7、ratio_mode0_g_frm7、ratio_mode0_b_frm7；

根据S2计算补偿系数ratio_ave_mode1_r_frm7、ratio_ave_mode1_g_frm7、ratio_ave_mode1_b_frm7；

根据S3的计算判定下一帧为普通场景帧，下一帧发生了场景变化；

在S4计算中设定当前帧白平衡补偿系数为上一帧通过S2计算出来的ratio_ave_mode1_r_frm6、ratio_ave_mode1_g_frm6、ratio_ave_mode1_b_frm6，各自与对应的输入像素数据相乘；

补偿后的数据输出。

第八帧(当前帧发生场景变化，不做白平衡调整)：

根据S1计算补偿系数ratio_mode0_r_frm8、ratio_mode0_g_frm8、ratio_mode0_b_frm8；

根据S2计算补偿系数ratio_ave_mode1_r_frm8、ratio_ave_mode1_g_frm8、ratio_ave_mode1_b_frm8；

根据S3的计算判定下一帧为普通场景帧，下一帧发生了场景变化；

在S4计算中设定当前帧白平衡补偿系数为1，输入像素数据全部乘以白平衡补偿系数1；

补偿后的数据输出。

第九帧至第十三帧(普通白平衡调整)：

根据S1计算补偿系数ratio_mode0_r_frm9～13、ratio_mode0_g_frm9～13、ratio_mode0_b_frm9～13；

根据S2计算补偿系数ratio_ave_mode1_r_frm9～13、ratio_ave_mode1_g_frm9～13、ratio_ave_mode1_b_frm9～13；

根据S3的计算判定下一帧为普通场景帧，判断下一帧未发生场景变化；

在S4计算中设定当前帧白平衡补偿系数为上一帧通过S1计算出来的ratio_mode0_r_frm8～12、ratio_mode0_g_frm8～12、ratio_mode0_b_frm8～12，各自与对应的输入像素数据相乘；

补偿后的数据输出。

上述实施例可以看出，在场景变化后的第二帧开始，就能切换到新场景对应的白平衡补偿方式上，80km/h的时速下仅需要不到一米的距离差就能迅速反应过来，在完全出隧道之前就能做好辅助驾驶有效识别的白平衡准备。

实施例2

如图6所示，本实施例与实施例1的区别在于，本实施例提供了一种图像传感器中实时自动白平衡补偿装置，该装置用于实现实施例1所述的一种图像传感器中实时自动白平衡补偿方法；该装置包括：

图像输入单元，用于通过图像传感器实时获取原始图像；

场景判断单元，用于根据原始图像，计算当前帧中暗景行的行数；根据暗景行的行数，判断下一帧的场景模式；通过对比当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化，获取下一帧场景变化识别信号；

图像补偿单元，用于若下一帧场景变化识别信号为场景已变化，则下一帧获取的原始图像数据不进行调整，直接输出；若下一帧场景变化识别信号为场景未变化，则根据当前帧的场景模式及补偿系数选择单元进行补偿调整；

补偿系数选择单元，用于根据上一帧计算出来的当前帧的场景模式进行白平衡补偿：若当前帧的场景模式为普通场景时，则采用全帧像素值法计算普通场景补偿用系数，并根据普通场景补偿用系数对下一帧进行白平衡调整；若当前帧的场景模式为暗场景时，则采用分区计算法计算暗场景补偿用系数，并根据暗场景补偿用系数对下一帧进行白平衡调整；

图像输出单元，用于输出图像补偿单元补偿调整后的图像数据。

其中，各个单元的执行过程按照实施例1所述的一种图像传感器中实时自动白平衡补偿方法流程步骤执行即可，此实施例中不再一一赘述。

本发明基于片上集成技术，在图像传感器内部进行计算及调整，不需要付出其他器件的成本；不同于现有技术的ISP进行白平衡校正。同时，本发明数据传送过程中实时计算，传送结束时各标志信号同步更新，计算速度快时效性好。

同时，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的一种图像传感器中实时自动白平衡补偿方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像传感器中实时自动白平衡补偿方法，其特征在于，该方法包括：

通过图像传感器实时获取原始图像；

根据所述原始图像，计算当前帧中暗景行的行数；根据所述暗景行的行数，判断下一帧的场景模式；

通过对比所述当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化，获取下一帧场景变化识别信号；

若所述下一帧场景变化识别信号为场景已变化，则下一帧获取的原始图像数据不进行调整，直接输出；若所述下一帧场景变化识别信号为场景未变化，则根据所述当前帧的场景模式进行补偿调整；

根据上一帧计算出来的当前帧的场景模式进行白平衡补偿：若当前帧的场景模式为普通场景时，则采用全帧像素值法计算普通场景补偿用系数，并根据所述普通场景补偿用系数对下一帧进行白平衡调整，并输出补偿调整后的图像数据；若当前帧的场景模式为暗场景时，则采用分区计算法计算暗场景补偿用系数，并根据所述暗场景补偿用系数对下一帧进行白平衡调整，并输出补偿调整后的图像数据。

2.根据权利要求1所述的一种图像传感器中实时自动白平衡补偿方法，其特征在于，根据所述原始图像，计算当前帧中暗景行的行数；根据所述暗景行的行数，判断下一帧的场景模式，包括：

根据所述原始图像，按最小像素阵列单元所需行数N为单位，计算当前N行中，RGB同时满足条件的暗值像素单元数量；

根据所述暗值像素单元数量和当前N行的全色均值，判断当前N行是否为暗景行；判断包括：若当前像素阵列单元所在行中暗值像素单元的个数大于等于每阵列行中暗值像素单元个数阈值，且当前N行的全色均值小于等于全色像素平均值的暗场阈值时，则判断当前像素整列所在的所有行都为暗景行；

统计当前帧暗景行数：若是暗景行，则暗景行数+1；若不是暗景行，则暗景行数保持不变；

根据所述暗景行数，判断帧暗景行数是否达到预设条件；

若达到预设条件，则下一帧为暗场景帧；否则下一帧为普通场景帧。

3.根据权利要求1所述的一种图像传感器中实时自动白平衡补偿方法，其特征在于，通过对比所述当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化，获取下一帧场景变化识别信号，包括：

通过对比所述当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化；

若所述当前帧的场景模式与下一帧的场景模式不一致，则获取下一帧场景变化识别信号为场景已变化；

若所述当前帧的场景模式与下一帧的场景模式一致，则获取下一场景变化识别信号为场景未变化。

4.根据权利要求1所述的一种图像传感器中实时自动白平衡补偿方法，其特征在于，所述全帧像素值法是通过计算所述原始图像当前帧中的各色平均值、全色平均值，得到各色的普通场景补偿用系数。

5.根据权利要求4所述的一种图像传感器中实时自动白平衡补偿方法，其特征在于，所述采用全帧像素值法计算普通场景补偿用系数，具体包括：

计算当前帧中当前行所有红色像素数据的均值、当前行所有绿色像素数据的均值和当前行所有蓝色像素数据的均值；

根据所述当前行所有红色像素数据的均值、当前行所有绿色像素数据的均值和当前行所有蓝色像素数据的均值，计算当前行所有像素数据的均值；

根据所述当前行所有像素数据的均值，计算当前帧所有红色像素数据的均值、当前帧所有绿色像素数据的均值、当前帧所有蓝色像素数据的均值；

根据所述当前帧所有红色像素数据的均值、当前帧所有绿色像素数据的均值、当前帧所有蓝色像素数据的均值，计算当前帧所有像素数据的均值；

根据所述当前帧所有像素数据的均值与当前帧所有红色像素数据的均值的比值，得到红色的普通场景补偿用系数；根据所述当前帧所有像素数据的均值与当前帧所有绿色像素数据的均值的比值，得到绿色的普通场景补偿用系数；根据所述当前帧所有像素数据的均值与当前帧所有蓝色像素数据的均值的比值，得到蓝色的普通场景补偿用系数。

6.根据权利要求1所述的一种图像传感器中实时自动白平衡补偿方法，其特征在于，所述分区计算法是通过计算所述原始图像当前帧中划分为多个均等区域时，各个区域中满足反射点条件的各色平均值、满足反射点条件的全色平均值、满足反射点条件的各色像素点数量，得到各区域中的各色补偿系数及所有区域的各色补偿系数平均值。

7.根据权利要求6所述的一种图像传感器中实时自动白平衡补偿方法，其特征在于，所述采用分区计算法计算暗场景补偿用系数，具体包括：

对所述原始图像当前帧进行均匀坐标分区，得到各个分区；

对各个分区进行反射点像素单元判断，得到反射点；

根据所述反射点，计算所述反射点对应分区内的各色平均值和全色平均值；

统计存在反射点的分区个数，计算存在反射点的分区的红色暗场景补偿用系数、绿色暗场景补偿用系数和蓝色暗场景补偿用系数；

根据存在反射点的分区的红色暗场景补偿用系数、绿色暗场景补偿用系数和蓝色暗场景补偿用系数，计算所述原始图像所有分区的红色暗场景补偿用系数均值、绿色暗场景补偿用系数均值和蓝色暗场景补偿用系数均值。

8.根据权利要求1所述的一种图像传感器中实时自动白平衡补偿方法，其特征在于，该方法还包括：

当前帧像素数据传送开始时，将当前帧的场景模式进行锁存，并在当前帧有效画面传送结束后且下一帧画面数据尚未开始传输时和当前计算出来的下一帧的场景模式进行比较，将场景变化结果锁存至下一帧判断更新时。

9.一种图像传感器中实时自动白平衡补偿装置，其特征在于，该装置用于实现如权利要求1至8中任一所述的一种图像传感器中实时自动白平衡补偿方法；该装置包括：

图像输入单元，用于通过图像传感器实时获取原始图像；

场景判断单元，用于根据所述原始图像，计算当前帧中暗景行的行数；根据所述暗景行的行数，判断下一帧的场景模式；通过对比所述当前帧的场景模式与下一帧的场景模式，判断下一帧是否发生场景变化，获取下一帧场景变化识别信号；

图像补偿单元，用于若所述下一帧场景变化识别信号为场景已变化，则下一帧获取的原始图像数据不进行调整，直接输出；若所述下一帧场景变化识别信号为场景未变化，则根据所述当前帧的场景模式及补偿系数选择单元进行补偿调整；

补偿系数选择单元，用于根据上一帧计算出来的当前帧的场景模式进行白平衡补偿：若当前帧的场景模式为普通场景时，则采用全帧像素值法计算普通场景补偿用系数，并根据所述普通场景补偿用系数对下一帧进行白平衡调整；若当前帧的场景模式为暗场景时，则采用分区计算法计算暗场景补偿用系数，并根据所述暗场景补偿用系数对下一帧进行白平衡调整；

图像输出单元，用于输出图像补偿单元补偿调整后的图像数据。

10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的一种图像传感器中实时自动白平衡补偿方法。

Images