CN106791470B - 基于高动态范围摄像装置的曝光控制方法和装置 - Google Patents

Abstract

本发明技术方案公开了一种基于高动态范围摄像装置的曝光控制方法和装置，所述曝光控制方法包括：基于高动态范围摄像装置获取短曝光图像和长曝光图像；分别统计短曝光图像和长曝光图像的直方图信息和分区域亮度信息；分别获取短曝光的调整影响值和长曝光的调整影响值，短曝光的调整影响值与短曝光图像的直方图信息和分区域亮度信息相关，长曝光的调整影响值与长曝光图像的直方图信息、分区域亮度信息和短曝光图像的分区域亮度信息相关；基于短曝光的调整影响值进行短曝光调整，基于长曝光的调整影响值进行长曝光调整；当短曝光达到稳定后，基于短曝光的亮度评估值与长曝光的亮度评估值的比值进行长曝光调整，直至长曝光达到稳定。

Description

基于高动态范围摄像装置的曝光控制方法和装置

技术领域

本发明属于图像处理技术领域，具体涉及一种基于高动态范围摄像装置的曝光控制方法和装置。

背景技术

高动态范围(HDR，High-Dynamic Range)的摄像头分别采用两路不同曝光的方式对于同一场景同时进行曝光处理而获得长曝光图像和短曝光图像，较长曝光时间的一路主要对应高动态场景中的较暗的区域处于合适的亮度，而较短曝光时间的一路主要对应高动态场景中较亮的区域处于合适的亮度，然后通过两路图像的融合并相互弥补不足，最终实现在高动态范围的场景中正常的显示图像中所有的信息的目的。

高动态范围的摄像头需要采用两路相互独立的曝光机制在同一时间进行曝光控制，并且分别稳定在两种不同亮度状况的场景中，因此，在高动态范围摄像头自动曝光的控制策略上需要两套不同的自动曝光策略来分别满足长曝光图像和短曝光图像的亮度需求，在各种的曝光策略的控制过程中需要参考两路曝光的图像进行图像融合，所以在曝光策略的控制中又必须要求会相互影响。

基于高动态范围的摄像头的功能，可实现分别在同一时刻分别采集长曝光时间图像数据和短曝光时间图像数据，并通过图像信号处理(ISP，Image Signal Processing)芯片进行图像处理，能够实时合成高动态范围的图像。

传统的高动态范围摄像头的自动曝光算法，主要通过对长曝光图像的较暗的部分进行亮度控制和短曝光图像中较亮的部分进行亮度控制，最终产生两张不同曝光程度的图像信息用于融合。传统的高动态范围摄像头的自动曝光算法只保证两路曝光数据独立参考是合适的，但对于动态范围程度强弱不同并没有做合适的调整。容易出现过渡不好或者合成图像的动态范围有限。传统的高动态范围摄像头的自动曝光算法并没有考虑长短两路曝光的协同处理的要求，在更大的动态范围场景容易出现短曝光中欠曝同时长曝光中过曝而导致没有任何有效的图像信息。

发明内容

本发明技术方案要解决的技术问题是现有的高动态范围摄像头的自动曝光算法合成的图像的动态范围有限或在高动态范围场景容易出现短曝光欠曝同时长曝光过曝而导致没有有效的图像信息。

为解决上述技术问题，本发明技术方案提供一种基于高动态范围摄像装置的曝光控制方法，包括：

基于高动态范围摄像装置获取同一场景的短曝光图像和长曝光图像；

分别统计所述短曝光图像和长曝光图像的直方图信息和分区域亮度信息，所述短曝光图像的直方图信息包括过亮区域的概率密度，所述长曝光图像的直方图信息包括欠曝区域的概率密度，所述短曝光图像的分区域亮度信息包括短曝光图像的亮度平均值和统计区域的平均亮度，所述长曝光图像的分区域亮度信息包括长曝光图像的亮度平均值和统计区域的平均亮度；

分别获取短曝光的调整影响值和长曝光的调整影响值，其中，所述短曝光的调整影响值与所述短曝光图像的直方图信息和分区域亮度信息相关，所述长曝光的调整影响值与所述长曝光图像的直方图信息、分区域亮度信息和所述短曝光图像的分区域亮度信息相关；

基于所述短曝光的调整影响值进行短曝光调整，基于所述长曝光的调整影响值进行长曝光调整；

当短曝光达到稳定后，基于短曝光的亮度评估值与长曝光的亮度评估值的比值进行长曝光调整，直至长曝光达到稳定，其中，所述短曝光的亮度评估值为短曝光的曝光时间和增益的乘积，所述长曝光的亮度评估值为长曝光的曝光时间和增益的乘积。

为解决上述技术问题，本发明技术方案还提供一种基于高动态范围摄像装置的曝光控制装置，包括：

图像获取单元，用于基于高动态范围摄像装置获取同一场景的短曝光图像和长曝光图像；

第一信息统计单元，用于统计所述短曝光图像的直方图信息和分区域亮度信息，所述短曝光图像的直方图信息包括过亮区域的概率密度，所述短曝光图像的分区域亮度信息包括短曝光图像的亮度平均值和统计区域的平均亮度；

第二信息统计单元，用于统计所述长曝光图像的直方图信息和分区域亮度信息，所述长曝光图像的直方图信息包括欠曝区域的概率密度，所述长曝光图像的分区域亮度信息包括长曝光图像的亮度平均值和统计区域的平均亮度；

第一影响值获取单元，用于获取短曝光的调整影响值，所述短曝光的调整影响值与所述短曝光图像的直方图信息和分区域亮度信息相关；

第二影响值获取单元，用于获取长曝光的调整影响值，所述长曝光的调整影响值与所述长曝光图像的直方图信息、分区域亮度信息和所述短曝光图像的分区域亮度信息相关；

第一调整单元，用于基于所述短曝光的调整影响值进行短曝光调整；

第二调整单元，用于基于所述长曝光的调整影响值进行长曝光调整，以及，当短曝光达到稳定后，基于短曝光的亮度评估值与长曝光的亮度评估值的比值进行长曝光调整，直至长曝光达到稳定，其中，所述短曝光的亮度评估值为短曝光的曝光时间和增益的乘积，所述长曝光的亮度评估值为长曝光的曝光时间和增益的乘积。

与现有技术相比，本发明技术方案结合利用直方图信息和分区域的亮度信息共同控制自动曝光的亮度状态，实现亮度信息更加合理。在长曝光图像和短曝光图像的自动曝光控制上，不但考虑了相互独立的曝光控制，保证亮度信息合适的前提下，以短曝光控制为主，保证整体图像不会过曝，并且长曝光参考短曝光进行控制，进而达到整体图像曝光拥有完整的信息，保证合成图像拥有连续有效的细节信息。

附图说明

图1为本发明技术方案的基于高动态范围摄像装置的曝光控制方法的流程示意图；

图2为短曝光的自动曝光调整的控制流程示意图；

图3为长曝光的自动曝光调整的控制流程示意图；

图4为本发明技术方案的基于高动态范围摄像装置的曝光控制装置的结构示意图。

具体实施方式

请参考图1，本发明技术方案的基于高动态范围摄像装置的曝光控制方法包括：

S1，基于高动态范围摄像装置获取同一场景的短曝光图像和长曝光图像；

S2，分别统计所述短曝光图像和长曝光图像的直方图信息和分区域亮度信息；

S3，分别获取短曝光的调整影响值和长曝光的调整影响值，其中，所述短曝光的调整影响值与所述短曝光图像的直方图信息和分区域亮度信息相关，所述长曝光的调整影响值与所述长曝光图像的直方图信息、分区域亮度信息和所述短曝光图像的分区域亮度信息相关；

S4，基于所述短曝光的调整影响值进行短曝光调整，基于所述长曝光的调整影响值进行长曝光调整；

S5，当短曝光达到稳定后，基于短曝光的亮度评估值与长曝光的亮度评估值的比值进行长曝光调整，直至长曝光达到稳定，其中，所述短曝光的亮度评估值为短曝光的曝光时间和增益的乘积，所述长曝光的亮度评估值为长曝光的曝光时间和增益的乘积。

下面结合实施例和附图对各步骤进行详细说明。

步骤S1，基于高动态范围摄像装置获取同一场景的短曝光图像和长曝光图像。

高动态范围摄像装置(例如支持高动态范围的摄像头)的输出通常可以包括两路图像数据：短曝光图像数据是在较长曝光时间条件下获得的，通常称为长曝光图像数据；长曝光图像数据是在较短曝光时间条件下获得的，通常称为长曝光图像数据。长曝光时间的图像整体拥有较高的图像亮度，在合成之后的高动态范围图像中主要提供亮度较暗部分的亮度细节信息，短曝光时间的图像整体拥有较低的图像亮度，在合成之后的高动态范围图像中主要提供亮度较亮部分的亮度细节信息。

步骤S2，分别统计所述短曝光图像和长曝光图像的直方图信息和分区域亮度信息。

具体来说，请参考图2，统计所述短曝光图像的直方图信息包括：

步骤S21a，计算短曝光图像数据中灰阶i的概率密度PDF_i，0≤i≤n-1，n为图像的灰阶总数。以256个灰阶为例，可以通过ISP芯片获取短曝光图像的图像数据(即短曝光图像数据)，统计亮度信息在[0～255]灰阶上每个灰阶所拥有的像素个数，通过该灰阶的像素个数与图像数据的所有像素的个数的比值，获得灰阶i的概率密度PDF_i，且

步骤S21b，计算短曝光图像数据中过亮区域的概率密度OE_PDF，如公式(1)所示：

从公式(1)来看，亮度大于或等于短曝光高门限OE_THR_H的概率密度拥有较高的计算权重，权重为1；在亮度小于或等于短曝光高门限OE_THR_H并且大于或等于短曝光低门限OE_THR_L之间的每一个灰阶的概率密度，其权重逐次递减；在亮度小于短曝光低门限OE_THR_L的灰阶其权重为0。

其中，短曝光高门限OE_THR_H作为判断直方图的亮度过高区域的两个门限中的高门限，表示大于或等于该门限的亮度信息在视觉上已经无法辨识亮度。以0～255灰阶为例，短曝光高门限OE_THR_H一般设定在224，数值上允许0～8的波动，即短曝光高门限OE_THR_H可以在224～232之间取值。短曝光低门限OE_THR_L作为判断直方图的亮度过高区域的两个门限中的低门限，表示大于或等于该门限的亮度信息在视觉上接近无法辨识或者难以辨识。以0～255灰阶为例，短曝光低门限OE_THR_L一般设定在192，数值上允许0～18的波动，即短曝光低门限OE_THR_L可以在192～210之间取值。

请继续参考图2，统计所述短曝光图像的分区域亮度信息包括：

步骤S22a，将短曝光图像分成若干统计区域，计算统计区域j的平均亮度AVG_j，0≤j≤m-1，m为统计区域总数。举例来说，可以通过ISP芯片获取短曝光图像数据，将短曝光图像平均分成8*8＝64个统计区域，分别计算64个统计区域中每个统计区域的平均亮度AVG_j。划分的统计区域的数量最少要求为8*8的统计区域，也可以更多，统计区域的数量越多在判断上越准确。

步骤S22b，根据统计区域的平均亮度AVG_j计算短曝光图像的亮度平均值SHORT_AVG。短曝光图像的亮度平均值可以是所有统计区域的平均亮度的平均值，为了更准确反映短曝光图像的评估结果，在本发明实施例中，短曝光图像的亮度平均值是取若干亮度较高的统计区域的平均亮度的平均值。举例来说，对于64个统计区域中每个统计区域的平均亮度AVG_j从大到小进行排序，取亮度高的S_BLOCK_CNT个统计区域的平均亮度进行求和再除以S_BLOCK_CNT获得短曝光图像的亮度平均值SHORT_AVG。其中，S_BLOCK_CNT的取值兼顾考虑曝光调整的稳定性和亮度计算的精确性，S_BLOCK_CNT数值太小的时候，亮度计算容易引起较大的数值变化从而自动曝光调整不稳定，S_BLOCK_CNT数值太大的时候，亮度计算的精确度不够，S_BLOCK_CNT在取值上一般为统计区域总数m的40％，该百分比数值允许±16％的变化，即S_BLOCK_CNT的取值范围可以在(m*24％)～(m*56％)。

请参考图3，统计所述长曝光图像的直方图信息包括：

步骤S31a，计算长曝光图像数据中灰阶i的概率密度PDF_i，0≤i≤n-1，n为图像的灰阶总数。以256个灰阶为例，可以通过ISP芯片获取长曝光图像的图像数据(即长曝光图像数据)，统计亮度信息在[0～255]灰阶上每个灰阶所拥有的像素个数，通过该灰阶的像素个数与图像数据的所有像素的个数的比值，获得灰阶i的概率密度PDF_i，且

步骤S31b，计算长曝光图像数据中欠曝区域的概率密度UE_PDF，如公式(2)所示：

从公式(2)来看，亮度小于或等于长曝光低门限UE_THR_L的概率密度拥有较高的计算权重，权重为1；在亮度大于或等于长曝光低门限UE_THR_L并且小于或等于长曝光高门限UE_THR_H之间的每一个灰阶的概率密度，其权重逐次递减；在亮度大于长曝光高门限UE_THR_H的灰阶其权重为0。

其中，长曝光高门限UE_THR_H作为判断直方图的亮度过低区域的两个门限中的高门限，表示小于该门限的亮度信息在视觉上隐约能看到一些不明显的亮度细节。以0～255灰阶为例，长曝光高门限UE_THR_H一般设定在42，数值上允许0～10的波动，即长曝光高门限UE_THR_H可以在42～52之间取值。长曝光低门限OE_THR_L作为判断直方图的亮度过低区域的两个门限中的低门限，表示小于该门限的亮度信息在视觉上看到的基本为黑色，不存在亮度信息。以0～255灰阶为例，长曝光低门限UE_THR_L一般设定在24，数值上允许0～8的波动，即长曝光低门限UE_THR_L可以在24～32之间取值。

请继续参考图3，统计所述长曝光图像的分区域亮度信息包括：

步骤S32a，将长曝光图像分成若干统计区域，计算统计区域j的平均亮度AVG_j，0≤j≤m-1，m为统计区域总数。举例来说，可以通过ISP芯片获取长曝光图像数据，将长曝光图像平均分成8*8＝64个统计区域，分别计算64个统计区域中每个统计区域的平均亮度AVG_j。划分的统计区域的数量最少要求为8*8的统计区域，也可以更多，统计区域的数量越多在判断上越准确。长曝光图像的统计区域的划分与短曝光图像的统计区域的划分是一致的。

步骤S32b，根据统计区域的平均亮度AVG_j计算长曝光图像的亮度平均值LONG_AVG。长曝光图像的亮度平均值可以是所有统计区域的平均亮度的平均值，为了更准确反映长曝光图像的评估结果，在本发明实施例中，长曝光图像的亮度平均值是取若干亮度较高的统计区域的平均亮度的平均值。举例来说，对于64个统计区域中每个统计区域的平均亮度AVG_j从大到小进行排序，取亮度较低的L_BLOCK_CNT个统计区域的平均亮度进行求和再除以L_BLOCK_CNT获得长曝光图像的亮度平均值LONG_AVG。其中，L_BLOCK_CNT的取值兼顾考虑曝光调整的稳定性和亮度计算的精确性，L_BLOCK_CNT数值太小的时候，亮度计算容易引起较大的数值变化从而自动曝光调整不稳定，L_BLOCK_CNT数值太大的时候，亮度计算的精确度不够，L_BLOCK_CNT在取值上一般为统计区域总数m的40％，该百分比数值允许±16％的变化，即L_BLOCK_CNT的取值范围可以在(m*24％)～(m*56％)。

接着请参考图1，步骤S3，分别获取短曝光的调整影响值和长曝光的调整影响值，其中，所述短曝光的调整影响值与所述短曝光图像的直方图信息和分区域亮度信息相关，所述长曝光的调整影响值与所述长曝光图像的直方图信息、分区域亮度信息和所述短曝光图像的分区域亮度信息相关。

所述短曝光的调整影响值包括第一直方图信息影响值A11和第一分区域信息影响值A12。所述长曝光的调整影响值包括第二直方图信息影响值A21、第二分区域信息影响值A22和信息损失区域影响值A23。

高动态范围摄像头自动曝光的调整控制过程中，为实现亮度的平滑过渡，实际调整参考的影响值与当前的亮度状态和最终的目标状态的差值有关，差值较大调整的速度越快，差值较小调整的速度越慢，最终保证图像亮度稳定在目标状态附近。

具体来说，请参考图2，获取短曝光的调整影响值包括：

步骤S21c，计算与过亮区域的概率密度OE_PDF相关的第一直方图信息影响值A11，如公式(3)所示：

第一直方图信息影响值A11表示短曝光的直方图对于亮度控制的影响值，其数值越大，表示当前场景需要的合适的亮度越低，数值上通过比较过亮区域的概率密度OE_PDF与过亮区域的概率密度的目标值OE_T和过亮区域的概率密度的最大设定值OE_MAX来决定。K1定义为区域轻度过亮系数，K2定义为区域过度过亮系数，K1和K2的取值作用于计算得到的影响值，其取值与摄像装置的动态范围相关，一般K1可以在15～40范围内取值，K2可以在28～60范围内取值，K1默认为20，K2默认为42，在过亮区域的概率密度OE_PDF大于或等于过亮区域的概率密度的最大设定值OE_MAX的时候，过亮区域的概率密度OE_PDF每提升5％，短曝光的直方图信息影响值A11提高42。

参考过亮区域的概率密度OE_PDF获得的第一直方图信息影响值A11作为自动曝光调整中短曝光调整的多个条件中的其中一个来决定最终自动曝光的稳定程度。当过亮区域的概率密度OE_PDF大于设定的过亮区域的概率密度的目标值OE_T的时候，获得直方图信息作用于自动曝光的调整要求降低亮度，自动曝光调整主要由直方图调整和分区域调整共同决定。

当过亮区域的概率密度OE_PDF小于设定的过亮区域的概率密度的目标值OE_T的时候，获得直方图信息作用于自动曝光的调整要求提升亮度，自动曝光调整主要由直方图调整和分区域调整共同决定。

过亮区域的概率密度的目标值OE_T作为设定合理的曝光图像允许的过亮区域的目标概率密度值，其数值并非固定不变，在处于亮度高的场景，数值会比较大，一般在5％左右，在夜晚等亮度较暗的场景，数值一般会在2％左右，对于其他亮度状况做线性内差。

当过亮区域的概率密度OE_PDF大于设定的过亮区域的概率密度的最大设定值OE_MAX的时候，获得直方图信息作用于自动曝光的调整要求降低亮度，直方图信息作用于自动曝光的调整拥有较高的影响值。

过亮区域的概率密度的最大设定值OE_MAX表示允许的过亮区域的最大概率密度值，大于该值的时候表示图像亮度过高引起的区域细节损失严重。在处于亮度高的场景，数值会比较大，一般在12％左右，在夜晚等亮度较暗的场景，数值一般会在8％左右。对于其他亮度状况做线性内差。

步骤S22c，计算与短曝光图像的亮度平均值SHORT_AVG相关的第一分区域信息影响值A12，当短曝光图像的亮度平均值SHORT_AVG小于短曝光的目标亮度值TARGET_SAVG时如公式(4)所示，当短曝光图像的亮度平均值SHORT_AVG大于短曝光的目标亮度值TARGET_SAVG时如公式(5)所示：

其中，DIFF1＝|SHORT_AVG-TARGET_SAVG|，DIFF1表示亮度差值的绝对值，REF_AVG1为第一参考系数，作为配置值默认为1，允许在0.5～1.5的范围内取值，数值越大表示参考使用分区域的平均亮度计算作用越大。公式(4)中的第一分区域信息影响值A12为负数表示，影响值为提升图像的亮度；公式(5)中的第一分区域信息影响值A12为正数表示，影响值为降低图像的亮度。

通过短曝光图像的亮度平均值SHORT_AVG与设定的短曝光的目标亮度值TARGET_SAVG的差值获得的第一分区域信息影响值A12作为自动曝光调整中短曝光调整的多个条件中的其中的一个来决定最终自动曝光的稳定程度。

当计算得到的短曝光图像的亮度平均值SHORT_AVG小于设定的短曝光的目标亮度值TARGET_SAVG，并且亮度差值的绝对值DIFF1大于最小稳定门限STABLE_THR的时候，获得分区域平均亮度信息作用于自动曝光的调整要求提升亮度，自动曝光调整主要由直方图调整和分区域调整共同决定。短曝光的目标亮度值TARGET_SAVG作为基于分区域平均亮度调整的目标值，反应短曝光显示的图像中较亮区域的有效信息的平均亮度值。以0～255灰阶为例，短曝光的目标亮度值TARGET_SAVG一般设定为140，TARGET_SAVG表现的是短曝光的合适的亮度值，取值范围可以在120～156，最小稳定门限STABLE_THR一般设定为4，STABLE_THR的取值范围可以在3～8。

当计算得到的短曝光图像的亮度平均值SHORT_AVG大于设定的短曝光的目标亮度值TARGET_SAVG，并且亮度差值的绝对值DIFF1大于最小稳定门限STABLE_THR的时候，获得分区域平均亮度信息作用于自动曝光的调整要求降低亮度，自动曝光调整主要由直方图调整和分区域调整共同决定。

当计算得到的短曝光图像的亮度平均值SHORT_AVG与设定的短曝光的目标亮度值TARGET_SAVG的亮度差值的绝对值DIFF1小于或等于最小稳定门限STABLE_THR的时候，获得分区域平均亮度信息作用于自动曝光的调整达到稳定状态，自动曝光调整主要由直方图调整和分区域调整共同决定。

步骤S22d，记录短曝光图像中平均亮度AVG_j小于平均亮度第一门限DB_THR的统计区域。平均亮度第一门限DB_THR为单个统计区域平均亮度拥有有效信息的判断门限，以0～255灰阶为例，其数值一般设为36，DB_THR的取值范围可以在30～48。小于平均亮度第一门限DB_THR的统计区域会被记录为短曝光的欠曝统计区域以用于长曝光的调整影响值的计算。

请参考图3，获取长曝光的调整影响值包括：

步骤S31c，计算与欠曝区域的概率密度UE_PDF相关的第二直方图信息影响值A21，如公式(6)所示：

第二直方图信息影响值A21表示长曝光的直方图对于亮度控制的影响值，A21的值为负数，表示实际对亮度的调整影响需要提高亮度值，数值越小，需要提高的程度越大。第二直方图信息影响值A21通过比较欠曝区域的概率密度UE_PDF与欠曝区域的概率密度的目标值UE_T和欠曝区域的概率密度的最大设定值UE_MAX来决定。K3为区域轻度欠曝系数，K4为区域过度欠曝系数，K3和K4的取值作用于计算得到的影响值，其取值与摄像装置的动态范围相关，一般K3可以在-40～-15范围内取值，K4可以在-60～-28范围内取值，K3默认为-20，K4默认为-42，在欠曝区域的概率密度UE_PDF大于或等于欠曝区域的概率密度的最大设定值UE_MAX的时候，欠曝区域的概率密度UE_PDF每改变8％，短曝光的直方图信息影响值A21降低42。

参考欠曝区域的概率密度UE_PDF获得的第二直方图信息影响值A21作为自动曝光调整中长曝光调整的多个条件中的其中一个来决定最终自动曝光的稳定程度。当欠曝区域的概率密度UE_PDF大于设定的欠曝区域的概率密度的目标值UE_T的时候，获得直方图信息作用于自动曝光的调整要求提高亮度，自动曝光调整主要由直方图调整和分区域调整共同决定。

当欠曝区域的概率密度UE_PDF小于设定的欠曝区域的概率密度的目标值UE_T的时候，获得直方图信息作用于自动曝光的调整要求降低亮度，自动曝光调整主要由直方图调整和分区域调整共同决定。

欠曝区域的概率密度的目标值UE_T作为设定合理的曝光图像允许的过亮区域的目标概率密度值，其数值越大，表示图像越多的细节因亮度不足而无法辨识。在处于亮度高的场景，数值一般在6％左右，在夜晚等亮度较暗的场景，数值一般会在18％左右，对于其他亮度状况做线性内差。

当欠曝区域的概率密度UE_PDF大于设定的欠曝区域的概率密度的最大设定值UE_MAX的时候，获得直方图信息作用于自动曝光的调整要求降低亮度，直方图信息作用于自动曝光的调整拥有较高的影响值。

欠曝区域的概率密度的最大设定值UE_MAX作为设定合理的曝光图像因欠曝无亮度信息区域的最大概率密度值，在处于亮度高的场景，数值一般在18％左右，在夜晚等亮度较暗的场景，数值一般会在32％左右。对于其他亮度状况做线性内差。

步骤S32c，计算与长曝光图像的亮度平均值LONG_AVG相关的第二分区域信息影响值A22，当长曝光图像的亮度平均值LONG_AVG小于长曝光的目标亮度值TARGET_LAVG时如公式(7)所示，当长曝光图像的亮度平均值LONG_AVG大于长曝光的目标亮度值TARGET_LAVG时如公式(8)所示：

其中，DIFF2＝|LONG_AVG-TARGET_LAVG|，DIFF2表示亮度差值的绝对值，REF_AVG2为第二参考系数，作为配置值默认为1，允许在0.5～1.5的范围内取值，数值越大表示参考使用分区域的平均亮度计算作用越大。公式(7)中的第二分区域信息影响值A22为负数表示，影响值为提升图像的亮度；公式(8)中的第二分区域信息影响值A22为正数表示，影响值为降低图像的亮度。

通过长曝光图像的亮度平均值LONG_AVG与设定的长曝光的目标亮度值TARGET_LAVG的差值获得的第二分区域信息影响值A22作为自动曝光调整中长曝光调整的多个条件中的其中的一个来决定最终自动曝光的稳定程度。

当计算得到的长曝光图像的亮度平均值LONG_AVG小于设定的长曝光的目标亮度值TARGET_LAVG，并且亮度差值的绝对值DIFF2大于最小稳定门限STABLE_THR的时候，获得分区域平均亮度信息作用于自动曝光的调整要求提升亮度，自动曝光调整主要由直方图调整和分区域调整共同决定。长曝光的目标亮度值TARGET_LAVG作为基于分区域平均亮度调整的目标值，反应长曝光显示的图像中较暗区域的有效信息的平均亮度值。以0～255灰阶为例，长曝光的目标亮度值TARGET_LAVG一般设定为100，TARGET_LAVG表现的是长曝光的合适的亮度值，其取值范围可以在80～120，最小稳定门限STABLE_THR一般设定为4，STABLE_THR的取值范围可以在3～8。

当计算得到的长曝光图像的亮度平均值LONG_AVG大于设定的长曝光的目标亮度值TARGET_LAVG，并且亮度差值的绝对值DIFF2大于最小稳定门限STABLE_THR的时候，获得分区域平均亮度信息作用于自动曝光的调整要求降低亮度，自动曝光调整主要由直方图调整和分区域调整共同决定。

当计算得到的长曝光图像的亮度平均值LONG_AVG与设定的长曝光的目标亮度值TARGET_LAVG的亮度差值的绝对值DIFF2小于或等于最小稳定门限STABLE_THR的时候，获得分区域平均亮度信息作用于自动曝光的调整达到稳定状态，自动曝光调整主要由直方图调整和分区域调整共同决定。

步骤S32d，记录长曝光图像中平均亮度AVG_j大于平均亮度第二门限BB_THR的统计区域。平均亮度第二门限BB_THR为单个统计区域平均亮度拥有有效信息的判断门限，以0～255灰阶为例，其数值为214，BB_THR的取值范围可以在192～230。大于平均亮度第二门限BB_THR的统计区域会被记录为长曝光的过曝统计区域以用于长曝光的调整影响值的计算。

步骤S32e，计算信息损失区域影响值A23，如公式(9)所示：

其中，BB_AVG表示所有信息损失的统计区域在长曝光中的平均亮度的平均值，CNT表示信息损失的统计区域的数量，B_AVG_k表示记录的单个信息损失的统计区域在长曝光中的平均亮度。REF3表示影响系数，默认值设为1.2，取值范围可以在0.6～1.8。A23值越大表示长曝光中信息损失的越多，长曝光的调整需要降低亮度的要求越高。

若统计区域在短曝光中的平均亮度小于第一门限DB_THR且在长曝光中的平均亮度大于第二门限BB_THR，则该统计区域判定为信息损失的统计区域，如果信息损失的统计区域占所有统计区域的数量百分比达到6％(允许范围可以为4％～10％)，则信息损失区域影响值A23的作用为降低长曝光图像的亮度。信息损失区域影响值A23作为自动曝光调整中长曝光调整的多个条件中的其中的一个来决定最终自动曝光的稳定程度。

请继续参考图1，步骤S4，基于所述短曝光的调整影响值进行短曝光调整，基于所述长曝光的调整影响值进行长曝光调整。

如图2所示，基于所述短曝光的调整影响值进行短曝光调整包括：步骤S41，结合第一直方图信息影响值A11和第一分区域信息影响值A12确定短曝光的调整方向和速度，以调整短曝光的曝光时间和增益。

具体地，计算第一直方图信息影响值A11和第一分区域信息影响值A12的和值，和值的正负决定调整的方向，和值为负数表示需要提高当前场景的亮度，和值为正数表示需要降低当前场景的亮度；和值的绝对值的大小决定调整的速度，和值的绝对值越大表示调整的速度越大。当和值的绝对值小于设定的稳定门限值AFFECT_STABLE的时候，判定当前亮度处于合适状态，也就是短曝光达到稳定，不需要调整。稳定门限值AFFECT_STABLE默认设为18，AFFECT_STABLE的取值过大容易导致稳定时候的亮度存在差异，其取值范围可以在14～30。短曝光即短曝光在不同场景下最终的稳定程度也会因自适应的调整而不相同。

如图3所示，基于所述长曝光的调整影响值进行长曝光调整包括：步骤S42，结合第二直方图信息影响值A21、第二分区域信息影响值A22和信息损失区域影响值A23确定长曝光的调整方向和速度，以调整长曝光的曝光时间和增益。

根据获得的直方图和分域区亮度数据，可以预估长短曝光各自场景调整的合适的亮度状况，并分别对短曝光图像参考短曝光统计数据进行自动曝光调整，长曝光图像数据需参考长曝光统计数据和短曝光当前亮度数据进行曝光调整。

具体地，计算第二直方图信息影响值A21、第二分区域信息影响值A22和信息损失区域影响值A23的和值，和值的正负决定调整的方向，和值为负数表示需要提高当前场景的亮度，和值为正数表示需要降低当前场景的亮度；和值的绝对值的大小决定调整的速度，和值的绝对值越大表示调整的速度越大。当和值的绝对值小于设定的稳定门限值AFFECT_STABLE的时候，判定当前亮度处于合适状态，也就是长曝光达到稳定，不需要调整。稳定门限值AFFECT_STABLE默认设为18，AFFECT_STABLE的取值范围可以在14～30。长曝光即长曝光在不同场景下最终的稳定程度也会因自适应的调整而不相同。

步骤S5，当短曝光达到稳定后，基于短曝光的亮度评估值与长曝光的亮度评估值的比值进行长曝光调整，直至长曝光达到稳定，其中，所述短曝光的亮度评估值为短曝光的曝光时间和增益的乘积，所述长曝光的亮度评估值为长曝光的曝光时间和增益的乘积。

通过获得的短曝光的调整方向和速度，决定短曝光的调整状态；通过获得的长曝光的调整方向和速度，决定长曝光的调整状态。短曝光在亮度调整上拥有较高的优先级，短曝光主要保证合成之后的图像不存在大量的过曝区域，短曝光数据中的过曝区域无法通过图像处理还原出实际的有效信息。

长短曝光共同调整的要求如下：在长短曝光同时进行调整的过程中，短曝光的亮度调整未达到稳定(即短曝光控制未达到稳定状态)的时候，短曝光的亮度调整和长曝光的亮度调整分别独立进行，如步骤S41和S42所述。长短两路图像数据的自动曝光调整以短曝光调整为主，长曝光图像调整受到短曝光图像的亮度状态进行限制调整。在长短曝光同时进行调整的过程中，短曝光亮度调整优先达到亮度稳定，长曝光亮度调整参考短曝光亮度调整提供的数据进行调整和修正亮度值。如果长曝光先进入稳定，判断为假稳定状态，等待短曝光稳定之后，再通过影响值判断稳定状态，如果此时长曝光中的影响值A21、A22和A23的和值的绝对值小于AFFECT_STABLE判断长曝光进入稳定，否则长曝光继续调整直到稳定。短曝光稳定后，长曝光不再根据影响值A21、A22和A23进行亮度调整，而是根据长短曝光的亮度评估值进行限制调整。

具体来说，请结合参考图2和图3，步骤S5可以进一步包括：

步骤S51，计算短曝光的亮度评估值S_AS，所述短曝光的亮度评估值为短曝光的曝光时间和增益的乘积。

步骤S52，计算长曝光的亮度评估值L_AS，所述长曝光的亮度评估值为长曝光的曝光时间和增益的乘积。

设定允许的亮度评估值的最大比值K，判断长曝光的亮度评估值L_AS与短曝光的亮度评估值S_AS是否大于K：

步骤S53a，当L_AS/S_AS>K时候，限制长曝光的曝光时间和增益的乘积为短曝光的曝光时间和增益的乘积的K倍，即L_AS＝K*S_AS；

步骤S53b，当L_AS/S_AS≤K时候，强制进行长曝光的亮度评估值调整，具体地，如果长曝光的曝光时间未达到最大值，则降低长曝光的曝光时间；如果长曝光的曝光时间达到最大值，且长曝光的增益未达到最小值，则降低长曝光的增益，否则降低长曝光的曝光时间。

亮度评估值的最大比值K作为经验值，对于不同的接入HDR的摄像头，其表现数的值也会不同，一般使用8倍的关系，K＝8，代表长短曝光的亮度评估值的比值为8:1，K的取值范围可以为2～16。

综上，短曝光的自动曝光调整的控制流程可以如图2所示，长曝光的自动曝光调整的控制流程可以如图3所示。

对应上述的基于高动态范围摄像装置的曝光控制方法，本发明技术方案还提供一种高动态范围摄像装置的曝光控制装置，如图4所示的实施例，所述曝光控制装置包括：图像获取单元A1，第一信息统计单元B1、第二信息统计单元B2、第一影响值获取单元C1、第二影响值获取单元C2、第一调整单元D1和第二调整单元D2。

图像获取单元A1用于基于高动态范围摄像装置获取同一场景的短曝光图像和长曝光图像。

第一信息统计单元B1用于统计所述短曝光图像的直方图信息和分区域亮度信息；第二信息统计单元B2用于统计所述长曝光图像的直方图信息和分区域亮度信息。

第一影响值获取单元C1用于获取短曝光的调整影响值，所述短曝光的调整影响值与所述短曝光图像的直方图信息和分区域亮度信息相关；第二影响值获取单元C2用于获取长曝光的调整影响值，所述长曝光的调整影响值与所述长曝光图像的直方图信息、分区域亮度信息和所述短曝光图像的分区域亮度信息相关。

第一调整单元D1用于基于所述短曝光的调整影响值进行短曝光调整；第二调整单元D2用于基于所述长曝光的调整影响值进行长曝光调整，以及，当短曝光达到稳定后，基于短曝光的亮度评估值与长曝光的亮度评估值的比值进行长曝光调整，直至长曝光达到稳定，其中，所述短曝光的亮度评估值为短曝光的曝光时间和增益的乘积，所述长曝光的亮度评估值为长曝光的曝光时间和增益的乘积。

本发明技术方案可以应用于ISP芯片中，通过ISP芯片进行处理，实现长曝光和短曝光的亮度自动控制。以ISP芯片作为算法的载体，主要支持长曝光通路和短曝光通路的双路图像数据输入，通过双路的ISP同时处理两路的数据信息。

以ISP芯片对支持高动态范围的摄像头的输出数据进行处理为前提，调用ISP芯片中的自动曝光算法通过I2C分别控制长曝光的曝光时间和增益以及短曝光的曝光时间和增益来控制获取图像的亮度信息，然后通过ISP芯片的双路图像合成功能进行长短曝光的图像合成。

综上所述，本发明技术方案主要用于高动态范围的摄像装置对于长曝光图像和短曝光图像的自动曝光的控制，相比传统的算法策略，同时利用了直方图信息和分区域的亮度信息共同控制自动曝光的亮度状态，对于多种不同场景能够根据实际亮度需求而调整直方图亮度控制优先还是分区域亮度控制优先，进而影响最终自动曝光的稳定的状态，实现亮度信息更加合理。

在长曝光和短曝光亮度控制的同时，为保证最后合成的图像能完整的显示所有的信息，在曝光的控制过程中，又不是完全独立，而是以短曝光采集图像为主，保证整体图像不会过曝，然后通过长曝光对短曝光丢失掉的数据部分进行补充，近而达到整体图像曝光拥有完整的信息。

在长曝光图像和短曝光图像的自动曝光控制上，本发明技术方案相比传统的算法策略，不但考虑的相互独立的曝光控制，保证亮度信息合适的前提下，同时也配合图像信号处理的高动态范围图像合成功能，限制了长短曝光的亮度差值，保证合成图像拥有连续有效的细节信息。

本发明技术方案通过对支持长短两路曝光的高动态范围摄像头进行自动曝光控制，实现了长曝光亮度和短曝光亮度同时调整的功能。

在保证在不同场景的亮度准确性的控制上，本发明技术方案参考了直方图统计数据和分区域统计数据同时作用于亮度的调整，最终达到符合直方图最优和分区域统计最优的场景亮度控制。因此对于多种场景拥有更好的适应性。

在高动态范围的图像合成过程中，自动曝光采集到的图像的数据源直接决定了合成之后图像效果的好坏，当长曝光图像亮度和短曝光图像亮度差别不大的时候，合成的高动态范围的图像效果不够明显，而当场曝光图像亮度和短曝光图像亮度差别太大的时候，合成的高动态范围的图像会出现没有信息的数据断层。通过本专利的长短曝光的亮度控制，能保证长曝光和短曝光都处于比较好的亮度状况的同时，又能不会因为某个区域在长曝光过曝以及在短曝光欠曝而产生的没有细节的图像数据信息。

本发明虽然已以较佳实施方式公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施方式所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (11)

1.一种基于高动态范围摄像装置的曝光控制方法，其特征在于，包括：

基于高动态范围摄像装置获取同一场景的短曝光图像和长曝光图像；

分别统计所述短曝光图像和长曝光图像的直方图信息和分区域亮度信息，所述短曝光图像的直方图信息包括过亮区域的概率密度，所述长曝光图像的直方图信息包括欠曝区域的概率密度，所述短曝光图像的分区域亮度信息包括短曝光图像的亮度平均值和每个统计区域的平均亮度，所述长曝光图像的分区域亮度信息包括长曝光图像的亮度平均值和每个统计区域的平均亮度；

分别获取短曝光的调整影响值和长曝光的调整影响值，其中，所述短曝光的调整影响值与所述短曝光图像的直方图信息和分区域亮度信息相关，所述长曝光的调整影响值与所述长曝光图像的直方图信息、分区域亮度信息和所述短曝光图像的分区域亮度信息相关；

基于所述短曝光的调整影响值进行短曝光调整，基于所述长曝光的调整影响值进行长曝光调整；

当短曝光达到稳定后，基于短曝光的亮度评估值与长曝光的亮度评估值的比值进行长曝光调整，直至长曝光达到稳定，其中，所述短曝光的亮度评估值为短曝光的曝光时间和增益的乘积，所述长曝光的亮度评估值为长曝光的曝光时间和增益的乘积。

2.如权利要求1所述的基于高动态范围摄像装置的曝光控制方法，其特征在于，

统计短曝光图像的直方图信息包括：

计算短曝光图像数据中灰阶i的概率密度PDF_i，0≤i≤n-1，n为图像的灰阶总数；

根据公式(1)计算短曝光图像数据中过亮区域的概率密度OE_PDF，

其中，OE_THR_H为短曝光高门限，OE_THR_L为短曝光低门限；

统计长曝光图像的直方图信息包括：

计算长曝光图像数据中灰阶i的概率密度PDF_i，0≤i≤n-1，n为图像的灰阶总数；

根据公式(2)计算长曝光图像数据中欠曝区域的概率密度UE_PDF，

其中，UE_THR_L为长曝光低门限，UE_THR_H为长曝光高门限。

3.如权利要求1所述的基于高动态范围摄像装置的曝光控制方法，其特征在于，

统计短曝光图像的分区域亮度信息包括：

将短曝光图像分成若干统计区域，计算统计区域j的平均亮度AVG_j，0≤j≤m-1，m为统计区域总数；

取亮度高的S_BLOCK_CNT个统计区域的平均亮度进行求和再除以S_BLOCK_CNT获得短曝光图像的亮度平均值SHORT_AVG；

统计长曝光图像的分区域亮度信息包括：

将长曝光图像分成若干统计区域，计算统计区域j的平均亮度AVG_j，0≤j≤m-1，m为统计区域总数；

取亮度低的L_BLOCK_CNT个统计区域的平均亮度进行求和再除以L_BLOCK_CNT获得长曝光图像的亮度平均值LONG_AVG。

4.如权利要求1所述的基于高动态范围摄像装置的曝光控制方法，其特征在于，所述短曝光的调整影响值包括第一直方图信息影响值A11和第一分区域信息影响值A12；

所述第一直方图信息影响值A11根据公式(3)获得，其中，OE_T为过亮区域的概率密度的目标值，OE_MAX为过亮区域的概率密度的最大设定值，K1为区域轻度过亮系数，K2为区域过度过亮系数；

当短曝光图像的亮度平均值SHORT_AVG小于短曝光的目标亮度值TARGET_SAVG时，所述第一分区域信息影响值A12根据公式(4)获得；当短曝光图像的亮度平均值SHORT_AVG大于短曝光的目标亮度值TARGET_SAVG时，所述第一分区域信息影响值A12根据公式(5)获得；

其中，DIFF1＝|SHORT_AVG-TARGET_SAVG|，REF_AVG1为第一参考系数，STABLE_THR为最小稳定门限。

5.如权利要求1所述的基于高动态范围摄像装置的曝光控制方法，其特征在于，所述长曝光的调整影响值包括第二直方图信息影响值A21、第二分区域信息影响值A22和信息损失区域影响值A23；

所述第二直方图信息影响值A21根据公式(6)获得，其中，UE_T为欠曝区域的概率密度的目标值，UE_MAX为欠曝区域的概率密度的最大设定值，K3为区域轻度欠曝系数，K4为区域过度欠曝系数；

当长曝光图像的亮度平均值LONG_AVG小于长曝光的目标亮度值TARGET_LAVG时，所述第二分区域信息影响值A22根据公式(7)获得；当长曝光图像的亮度平均值LONG_AVG大于长曝光的目标亮度值TARGET_LAVG时，所述第二分区域信息影响值A22根据公式(8)获得；其中，DIFF2＝|LONG_AVG-TARGET_LAVG|，REF_AVG2为第二参考系数，STABLE_THR为最小稳定门限；

所述信息损失区域影响值A23根据公式(9)获得，其中，BB_AVG为所有信息损失的统计区域在长曝光中的平均亮度的平均值，REF3为影响系数，CNT为信息损失的统计区域的数量，B_AVG_k为单个信息损失的统计区域在长曝光中的平均亮度；

所述信息损失的统计区域为在短曝光中的平均亮度小于第一门限DB_THR且在长曝光中的平均亮度大于第二门限BB_THR的统计区域。

6.如权利要求4所述的基于高动态范围摄像装置的曝光控制方法，其特征在于，基于所述短曝光的调整影响值进行短曝光调整包括：计算第一直方图信息影响值A11和第一分区域信息影响值A12的和值，和值为负数表示需要提高当前场景的亮度，和值为正数表示需要降低当前场景的亮度；和值的绝对值越大表示调整的速度越大；当和值的绝对值小于设定的稳定门限值AFFECT_STABLE时，判定短曝光达到稳定。

7.如权利要求5所述的基于高动态范围摄像装置的曝光控制方法，其特征在于，基于所述长曝光的调整影响值进行长曝光调整包括：计算第二直方图信息影响值A21、第二分区域信息影响值A22和信息损失区域影响值A23的和值，和值为负数表示需要提高当前场景的亮度，和值为正数表示需要降低当前场景的亮度；和值的绝对值越大表示调整的速度越大；当和值的绝对值小于设定的稳定门限值AFFECT_STABLE时，判定长曝光达到稳定。

8.如权利要求1至7任一项所述的基于高动态范围摄像装置的曝光控制方法，其特征在于，所述基于短曝光的亮度评估值与长曝光的亮度评估值的比值进行长曝光调整包括：

当L_AS/S_AS>K时，限制长曝光的曝光时间和增益的乘积为短曝光的曝光时间和增益的乘积的K倍，L_AS为长曝光的亮度评估值，S_AS为短曝光的亮度评估值，K为亮度评估值的最大比值；

当L_AS/S_AS≤K时，如果长曝光的曝光时间未达到最大值，则降低长曝光的曝光时间；如果长曝光的曝光时间达到最大值，且长曝光的增益未达到最小值，则降低长曝光的增益，否则降低长曝光的曝光时间。

9.如权利要求2所述的基于高动态范围摄像装置的曝光控制方法，其特征在于，

所述短曝光高门限OE_THR_H作为判断直方图的亮度过高区域的两个门限中的高门限，表示大于或等于该门限的亮度信息在视觉上已经无法辨识亮度；

所述短曝光低门限OE_THR_L作为判断直方图的亮度过高区域的两个门限中的低门限，表示大于或等于该门限的亮度信息在视觉上接近无法辨识或者难以辨识；

所述长曝光高门限UE_THR_H作为判断直方图的亮度过低区域的两个门限中的高门限，表示小于该门限的亮度信息在视觉上隐约能看到一些不明显的亮度细节；

所述长曝光低门限OE_THR_L作为判断直方图的亮度过低区域的两个门限中的低门限，表示小于该门限的亮度信息在视觉上看到的基本为黑色，不存在亮度信息。

10.如权利要求9所述的基于高动态范围摄像装置的曝光控制方法，其特征在于，

短曝光高门限OE_THR_H在224～232之间取值；

短曝光低门限OE_THR_L在192～210之间取值；

长曝光高门限UE_THR_H在42～52之间取值；

长曝光低门限UE_THR_L在24～32之间取值。

11.一种基于高动态范围摄像装置的曝光控制装置，其特征在于，包括：

图像获取单元，用于基于高动态范围摄像装置获取同一场景的短曝光图像和长曝光图像；

第一信息统计单元，用于统计所述短曝光图像的直方图信息和分区域亮度信息，所述短曝光图像的直方图信息包括过亮区域的概率密度，所述短曝光图像的分区域亮度信息包括短曝光图像的亮度平均值和每个统计区域的平均亮度；

第二信息统计单元，用于统计所述长曝光图像的直方图信息和分区域亮度信息，所述长曝光图像的直方图信息包括欠曝区域的概率密度，所述长曝光图像的分区域亮度信息包括长曝光图像的亮度平均值和每个统计区域的平均亮度；

第一影响值获取单元，用于获取短曝光的调整影响值，所述短曝光的调整影响值与所述短曝光图像的直方图信息和分区域亮度信息相关；

第二影响值获取单元，用于获取长曝光的调整影响值，所述长曝光的调整影响值与所述长曝光图像的直方图信息、分区域亮度信息和所述短曝光图像的分区域亮度信息相关；

第一调整单元，用于基于所述短曝光的调整影响值进行短曝光调整；

第二调整单元，用于基于所述长曝光的调整影响值进行长曝光调整，以及，当短曝光达到稳定后，基于短曝光的亮度评估值与长曝光的亮度评估值的比值进行长曝光调整，直至长曝光达到稳定，其中，所述短曝光的亮度评估值为短曝光的曝光时间和增益的乘积，所述长曝光的亮度评估值为长曝光的曝光时间和增益的乘积。