CN112788250A - 一种基于fpga实现的自动曝光控制方法 - Google Patents

Abstract

本公开提供了一种基于FPGA实现的自动曝光控制方法，所述包含：S0：初始化配置传感器曝光和增益参数；S1：接收当前帧图像并根据其像素点坐标将该帧图像划分为多个区域；S2：统计当前帧图像过曝点数量占比并计算其亮度平均值和多区域亮度值矩阵，进一步获得当前帧图像有效亮度值；S3：根据S2结果计算下一帧图像曝光和增益参数；S4：判断下一帧图像亮度变化趋势并计算增量参数；S5：根据S4结果调整S3计算的曝光和增益参数。根据本公开的自动曝光控制方法，可以有效地控制传感器采集图像的亮度范围，避免过曝或欠曝的情况发生，同时，本公开提供的预判机制，可有效地加快曝光控制系统的收敛速度，增强摄像控制系统亮度调节的鲁棒性。

Description

一种基于FPGA实现的自动曝光控制方法

技术领域

本公开涉及数字图像采集领域，具体的是一种基于FPGA实现的自动曝光控制方法。

背景技术

在数字图像采集领域，特别是数字视频图像采集系统中，传感器的曝光和增益参数控制极其重要，恰当的曝光和增益参数设置可有效避免图像画面过曝或欠曝的情况发生，外界光线实时变化要求传感器曝光参数也需要实时更新，并快速收敛到一个最佳状态，避免采集的视频画面亮度震荡或跳跃式变化。

目前，业内自动曝光控制方法较多，基于图像均值亮度、中值亮度、关注区亮度、亮度直方图、图像熵和区域亮度权重等，基于均值和中值的方法无法全面反映画面亮度，存在小面积高亮或背光的情况下，用于计算曝光的亮度值非最优值，导致无法获得最优曝光参数；基于关注区亮度的方法过于单一通用性差仅适用于特定场景，在强光或弱光照下非关注区存在过曝或欠曝的情况；基于图像熵的曝光方式需要复杂数学公式计算，并不如亮度直方图和区域亮度权重的方式简单易实现。

本公开的自动曝光控制方法采用多种区域划分与区域亮度权重分配相结合加上亮度预判控制机制的方式，使得数字图像采集系统采集的视频画面亮度适合，画面清晰，即使存在少量过曝点，但不影响画面细节，同时，镜头移动或外界光线变化时，调节过程中画面过渡流畅，无闪烁和亮度跳跃感，自动曝光调节过程收敛迅速，及时获取合适的曝光和增益参数。

发明内容

针对上述技术问题，本公开提供了一种基于FPGA实现的自动曝光控制方法。

为了达到上述目的，本发明技术方案实现如下：

本发明提供一种基于FPGA实现的自动曝光控制方法，其特征在于，包含以下步骤：

S0：初始化配置传感器曝光参数和增益参数值，具体地，初始化配置传感器的曝光寄存器参数值，使得曝光时间最大，初始化配置传感器的增益寄存器参数值为零；

S1：接收当前帧图像像素点并根据其坐标将该帧图像划分为多个区域，具体地，

接收当前帧图像像素点数据后，根据像素点的坐标将图像划分为(M+1)×(N+1)个区域。具体的，在有效图像区域下，取

2ª × (2×M +1) = v_cnt₀±x，0<i≤M+1；

2ᵇ × (2×N +1) = h_cnt₀±y，0<j≤N+1；

其中，M、N、a、b、v_cnt₀、h_cnt₀区域划分参数，i、j指划分后某区域坐标；其中，一帧图像中有效图像区域指数据选通信号为高时区域；

另外，图像被划分为(M+1)×(N+1)个区域中，

存在M行N列交叉区域为2×2ª×2×2ᵇ个像素；

存在M行1列交叉区域为2×2ª×2ᵇ个像素；

存在1行N列交叉区域为2ª×2×2ᵇ个像素；

存在1行1列交叉区域为2ª×2ᵇ个像素；

其中，存在(M+1)×(N+1)种满足以上条件的划分方案，选择其中一种或多种划分方案实现。

S2：统计当前帧图像过曝像素点数量占比并计算其亮度平均值和多区域亮度值矩阵，进一步获得当前帧图像有效亮度值，具体地，步骤S2包含以下步骤：

S2-1：将当前帧图像数据选通信号为高时，亮度值大于等于亮度阈值L_th的像素点个数除以所有像素点个数，求得过曝像素点占比P；

其中，L_th为亮度阈值；

S2-2：将当前帧图像数据选通信号为高时，所有像素点相加除以相加像素点个数，求得当前帧图像平均值亮度值L_ave；

S2-3：依次计算各区域划分方案中各区域亮度平均值L(i,j)，此时，获得多组区域亮度值矩阵[L(i,j)]；

其中，L(i,j)为第i列第j行区域的亮度值；

S2-4：将各组各区域亮度值L(i,j)与当前帧图像平均亮度值L_ave比较，大于L_ave的保留原值，小于等于L_ave的置0；

S2-5：将每组中比较后的各区域亮度值非0的值相加后求均值，若该均值为0，则取当前帧图像平均值亮度值L_ave作为该组当前帧图像有效亮度值；若该均值不为0，则取该均值作为该组当前帧图像有效亮度值，比较各组计算获得的当前帧图像有效亮度值，取其平均值或最大值作为当前帧图像有效亮度值L_cur。

S3：根据步骤S2结果计算下一帧图像曝光时间Exp_Time₀和增益值Gain_Value₀，具体地：

S3-1：首先，判断过曝像素点占比P是否超过阈值P_th，其中，P_th为过曝点占比阈值；

S3-2：如果超过阈值P_th，

若当前增益值非最小，则将增益值减半，跳至S1；

若当前增益值最小，则将曝光时间减半，跳至S1；

S3-3：如果低于阈值P_th则根据当前帧图像有效亮度值计算下一帧图像曝光时间Exp_Time₀和增益值Gain_Value₀，具体地，

1)当当前帧图像有效亮度L_cur在目标亮度范围内，不做任何调整；

2)当当前帧图像有效亮度L_cur大于目标亮度范围，若此时，初始增益值Gain_Value非最小，则减少增益得到Gain_Value₀；若此时，初始增益值Gain_Value最小，则减小曝光时间得到Exp_Time₀；

3)当当前帧图像有效亮度L_cur小于目标亮度范围，若此时，初始曝光时间Exp_Time非最大，则增加曝光时间得到Exp_Time₀；若此时，初始曝光时间Exp_Time最大，则增加增益得到Gain_Value₀。

S4：判断下一帧图像亮度变化趋势并计算增量参数；具体地，

将当前帧图像当前亮度值L_cur与上一帧图像当前亮度值L_pre作差计算获得增量参数P_ara，

当L_cur-L_pre > TH时，图像亮度存在增加趋势；

当L_cur-L_pre≤TH时，图像亮度在预期亮度范围内；

当L_pre-L_cur > TH时，图像亮度存在减弱趋势；

当L_pre-L_cur≤TH时，图像亮度在预期亮度范围内；

其中，TH为亮度差阈值，取预期亮度范围最大值与最小值差值；

其中，增量参数P_ara=(L_cur-L_pre)/TH，取整数部分。

S5：根据步骤S4预测亮度变化趋势及增量参数P_ara进一步调整S3计算的曝光时间Exp_Time₀和增益值Gain_Value₀，获得曝光时间Exp_Time₁和增益值Gain_Value₁，然后跳至S1，具体地，

1）当当前图像有效亮度L_cur在目标亮度范围内，不做任何调整；

2）当图像亮度存在增加趋势，且当前增益值Gain_Value₀最小，新曝光时间Exp_Time₁=曝光时间Exp_Time₀ - E×增量参数P_ara，新曝光值超过曝光参数最小值时，取其最小值；

3）当图像亮度存在增加趋势，且当前增益值Gain_Value₀非最小，新增益值Gain_Value₁=增益值Gain_Value₀-G×增量参数P_ara ，新增益值小于增益参数最小值时，取其最小值；

4）当图像亮度存在减弱趋势，且当前曝光时间Exp_Time最大，新增益值Gain_Value₁=增益值Gain_Value₀+G×增量参数P_ara，新增益值超过增益参数最大值时，取其最大值；

5）当图像亮度存在减弱趋势，且当前曝光时间Exp_Time₀非最大，新曝光时间Exp_Time₁=曝光时间Exp_Time₀ + E×增量参数P_ara，新曝光值小于最大曝光参数时，取其最大值；

其中，E为曝光预设档数；

其中，G为增益预设档数。

本发明的进一步技术特征在于，参数v_cnt₀、h_cnt₀优选取值为图像有效区域的行数和列数，其中x，y为正整数，对应地参数M优选值范围为：M∈{1,2,3,4,5,6,7,8}，参数N优选值范围为：N∈{1,2,3,4,5,6,7,9}，对应地参数a、b优选取值范围为:a∈{6,7,8,9}，b∈{6,7,8,9}。

本发明的进一步技术特征在于，P_th的优选取值范围为：10%≤P_th≤２0%；

本发明的进一步技术特征在于，L_th的优选取值范围为：最大亮度值80%≤L_th≤100%。

本发明的进一步技术特征在于，E的优选取值范围为：20≤E≤1；G的优选取值范围为：5≤G≤1。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包含了这些附图以提供对本公开的进一步理解，并且附图包含在本说明书中并构成本说明书的一部分。

图1是根据本公开一种基于FPGA实现的自动曝光控制方法示意图。

图2 是根据本公开的多区域划分方案1示意图。

图3 是根据本公开的多区域划分方案2示意图。

图4是根据本公开一种基于FPGA实现的自动曝光控制方法控制流程图。

具体实施方式

下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。

以1920×1080.60fps.SMPTE视频为例，传感器输出的图像尺寸为2200×1125，像素点深度12位，其中图像有效区域为1932×1097，最后，显示尺寸为1920×1080，可调节增益范围为0-72db，对应增益寄存器配置范围0-240，曝光时间以行时间为单位，对应曝光寄存器配置范围为1-1123，数据选通信号de。

本实施实例具有与发明内容完全相同的步骤，为避免重复，仅罗列关键数据：

初始化配置传感器的曝光寄存器参数值1123，增益寄存器参数值0；

取v_cnt₀=1080，h_cnt₀=1920，x=8，y=0，图像有效区域为1920×1088，M=8，N=7，a=6，b=7，纵坐标范围i∈{1,2,3,4,5,6,7,8}，横坐标范围j∈{1,2,3,4,5,6,7,8,9}，将图像划分为72个区域；

亮度阈值取L_th=3800，过曝点占比阈值P_th=20%；

取预期亮度范围的最大值2200与最小值2000差作为亮度差阈值TH=200，并取增量参数Para=(Lcur-Lpre)/TH，取整数部分；

曝光预设档数E=2，增益预设档数G=1。

工作原理：

传感器曝光时间值越大，传感器曝光积分时间越大，获得图像亮度越高信息获取越充分；传感器的增益值越小，传感器输出图像噪声越小；

另外，由于图像区域划分方式不同，对应计算得到的当前帧图像有效亮度值存在一定差异，为尽量减少这种差异，准确反映当前帧图像有效亮度值，可选择多种划分方式并计算每种方式下的有效亮度值，例如，本实施方式，采用如下两组图像区域划分方案实现：

具体地如图2所示方案1：前8行前7列区域为2×2⁶×2×2⁷个像素，前8行第8列区域为2×2⁶×2⁷个像素，第9行前7列区域为2⁶×2×2⁷个像素，第9行第8列区域为2⁶×2⁷个像素；

具体地如图3所示方案2：第1行第1列区域为2⁶×2⁷个像素，第1行后7列区域为2⁶×2×2⁷个像素，后8行第1列区域为2×2⁶×2⁷个像素，后8行后7列区域为2×2⁶×2×2⁷个像素；

最后求得两组有效亮度值取其平均值作为当前帧图像有效亮度值，以逼近当前帧图像真实的有效亮度值。

通常情况下，图像中像素点亮度值达到一定高值，但没有达到最大值时，人眼已无法捕捉有效信息，视觉上可认为已经过爆，所以，亮度阈值L_th设置应低于最大亮度值。

传感器输出图像亮度值在一定范围内，与曝光时间和增益值成正比例关系，但是，图像出现大量过爆像素点时，该正比例关系被打破，此时无法通过该比例关系计算获得最优曝光时间和增益值，通过将增益值或曝光时间减半的方式，降低传感器输出图像过爆像素点占比，使得图像有效亮度值快速恢复至一定亮度范围内，然后通过该正比例关系求得最优曝光时间和增益值。

传感器输出图像时，曝光时间越长，图像亮度值越大；增益值越大，亮度越大，但噪点值也越大，所以，为了降低噪声，配置传感器输出图像时，为增大输出亮度，优先增加曝光时间，曝光时间最大仍不能达到预期亮度值时，再通过增大增益值实现；同理，为降低输出图像亮度值时，优先降低增益值，增益值为0后，仍不能达到预期亮度值，再通过减小曝光时间实现。

外界光线变化较快或镜头快速移动时，传感器采集图像亮度变化频繁，存在前后帧图像亮度值相差较大的情况，此时，通过当前帧图像有效亮度计算获得下一帧曝光时间和增益值，并不能使下一帧图像亮度快速收敛到预期亮度范围内；针对该问题，通过前后帧亮度差值，判断图像输出亮度变化快慢，取预期亮度范围的最大值与最小值差作为亮度差阈值TH，并求得增量参数P_ara，当前后帧亮度差值小于TH，则认为图像亮度变化较慢，无需通过增量参数Para重新计算曝光时间和增益值，当前后帧亮度差值大于TH，则认为图像亮度变化较快，需要通过增量参数P_ara重新计算曝光时间和增益值，加速曝光控制图像亮度收敛速度，且前后帧亮度差值越大增量参数P_ara越大，该过程收敛速度越快，同时，为了适应不同的应用场景，预设E值作为曝光预设档数，取E×P_ara参与重新计算曝光时间，G值为增益预设档数，取G×P_ara参与重新计算增益值，针对光线变化快其幅度大的场景，G、E值尽量大，反之，光线变化慢幅度小的场景，G、E值设置适当减小。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (8)

1.一种基于FPGA实现的自动曝光控制方法，其特征在于，包含以下步骤，

S0：初始化配置传感器曝光参数和增益参数值，具体地，初始化配置传感器的曝光寄存器参数值，使得曝光时间最大，初始化配置传感器的增益寄存器参数值，使得增益值为零；

S1：接收当前帧图像像素点并根据其坐标将该帧图像划分为多个区域，具体地，接收当前帧图像像素点后，根据像素点的坐标将图像划分为(M+1)×(N+1)个区域，具体地，在有效图像区域下，取

2ª × (2×M +1) = v_cnt₀±x，0<i≤M+1；

2ᵇ × (2×N +1) = h_cnt₀±y，0<j≤N+1；

其中，M、N、a、b、v_cnt₀、h_cnt₀、x、y区域划分参数，i、j指划分后某区域坐标；

其中，一帧图像中有效图像区域指数据选通信号为高时区域；

S2：统计当前帧图像中过曝像素点数量占比P并计算当前帧图像亮度平均值和多区域亮度值矩阵，进一步获得当前帧图像有效亮度值；

S3：根据步骤S2结果计算下一帧图像曝光时间Exp_Time₀和增益值Gain_Value₀，具体地，

首先，判断过曝像素点数量占比P是否大于阈值P_th，其中，P_th为过曝像素点占比阈值；

如果大于阈值P_th，若此时，当前增益值非最小，则直接将增益值减半，跳至S1；若此时，增益值最小，则将曝光值减半，跳至S1；

如果小于阈值P_th则根据当前帧图像有效亮度值计算下一帧图像曝光时间Exp_Time₀和增益值Gain_Value₀；

S4：判断下一帧图像亮度变化趋势并计算增量参数，具体地，

将当前帧图像有效亮度值L_cur与上一帧图像有效亮度值L_pre作差计算获得增量参数P_ara，

当L_cur-L_pre > TH时，图像亮度存在增加趋势；

当L_cur-L_pre≤TH时，图像亮度在预期亮度范围内；

当L_pre-L_cur > TH时，图像亮度存在减弱趋势；

当L_pre-L_cur≤TH时，图像亮度在预期亮度范围内；

其中，增量参数P_ara=(L_cur-L_pre)/TH，取整数部分；

其中，TH为亮度差阈值，取预期亮度范围最大值与最小值差；

S5：根据步骤S4预测亮度变化趋势及增量参数P_ara进一步调整步骤S3计算的曝光时间Exp_Time₀和增益值Gain_Value₀，获得曝光时间Exp_Time₁和增益值Gain_Value₁，然后跳至S1，其中，

1）当当前图像有效亮度L_cur在目标亮度范围内，不做任何调整；

2）当图像亮度存在增加趋势，且当前增益值Gain_Value₀最小，新曝光时间Exp_Time₁=曝光时间Exp_Time₀ - E×增量参数P_ara，新曝光值超过曝光参数最小值时，取其最小值；

3）当图像亮度存在增加趋势，且当前增益值Gain_Value₀非最小，新增益值Gain_Value₁=增益值Gain_Value₀-G×增量参数P_ara ，新增益值小于增益参数最小值时，取其最小值；

4）当图像亮度存在减弱趋势，且当前曝光时间Exp_Time最大，新增益值Gain_Value₁=增益值Gain_Value₀+G×增量参数P_ara，新增益值超过增益参数最大值时，取其最大值；

5）当图像亮度存在减弱趋势，且当前曝光时间Exp_Time₀非最大，新曝光时间Exp_Time₁=曝光时间Exp_Time₀ + E×增量参数P_ara，新曝光值小于最大曝光参数时，取其最大值；

其中，E为曝光预设档数；

其中，G为增益预设档数。

2.根据权利要求1所述的一种基于FPGA实现的自动曝光控制方法，其特征在于，所述步骤S1中，参数v_cnt₀、h_cnt₀优选取值为图像有效区域的行数和列数，其中x，y为正整数，对应地参数M优选值范围为：M∈{1,2,3,4,5,6,7,8}，参数N优选值范围为：N∈{1,2,3,4,5,6,7,9}，对应地参数a、b优选取值范围为:a∈{6,7,8,9}，b∈{6,7,8,9}。

3.根据权利要求1所述的一种基于FPGA实现的自动曝光控制方法，其特征在于，所述步骤S1中图像划分方案存在(M+1)×(N+1)种，可选其中一种或多种方案同时实现。

4.根据权利要求1所述的一种基于FPGA实现的自动曝光控制方法，其特征在于，步骤S1中图像划分为(M+1)×(N+1)个区域，具体地，在整幅图像划分区域中包含以下四种情况，

存在M行N列交叉区域为2×2ª×2×2ᵇ个像素；

存在M行1列交叉区域为2×2ª×2ᵇ个像素；

存在1行N列交叉区域为2ª×2×2ᵇ个像素；

存在1行1列交叉区域为2ª×2ᵇ个像素。

5.根据权利要求1所述的一种基于FPGA实现的自动曝光控制方法，其特征在于，步骤S2包含以下步骤：

S2-1：将当前帧图像数据选通信号为高时，亮度值大于等于亮度阈值L_th的像素点个数除以所有像素点个数，求得过曝像素点占比P；

S2-2：将当前帧图像数据选通信号为高时，所有像素点相加除以相加像素点个数，求得当前帧图像平均值亮度值L_ave；

S2-3：依次计算各区域划分方案中各区域亮度平均值L(i,j)，此时，获得多组区域亮度值矩阵[L(i,j)]；

其中，L_th为亮度阈值；L(i,j)为第i列第j行区域的亮度值；

S2-4：将各组各区域亮度值L(i,j)与当前帧图像平均亮度值L_ave比较，大于L_ave的保留原值，小于等于L_ave的置0；

S2-5：将每组中比较后的各区域亮度值非0的值相加后求均值，若该均值为0，则取当前帧图像平均值亮度值L_ave作为该组当前帧图像有效亮度值；若该均值不为0，则取该均值作为该组当前帧图像有效亮度值，比较各组计算获得的当前帧图像有效亮度值，取其平均值或最大值作为当前帧图像有效亮度值L_cur。

6.根据权利要求5所述步骤S2-1中，亮度阈值L_th的优选取值范围为：最大亮度值的80%≤L_th≤100%。

7.根据权利要求1所述的一种基于FPGA实现的自动曝光控制方法，其特征在于，步骤S3中过曝像素点占比阈值P_th的优选取值范围为：10%≤P_th≤２0%。

8.根据权利要求1所述的一种基于FPGA实现的自动曝光控制方法，其特征在于，步骤S5中，E的优选取值范围为：20≤E≤1；G的优选取值范围为：5≤G≤1。

Images