CN106572310B

CN106572310B - 一种补光强度控制方法与摄像机

Info

Publication number: CN106572310B
Application number: CN201610963916.6A
Authority: CN
Inventors: 张德; 陈多明
Original assignee: Zhejiang Uniview Technologies Co Ltd
Current assignee: Zhejiang Uniview Technologies Co Ltd
Priority date: 2016-11-04
Filing date: 2016-11-04
Publication date: 2019-12-13
Anticipated expiration: 2036-11-04
Also published as: CN106572310A

Abstract

本申请公开了一种补光强度控制方法，预先获取摄像机中图像传感器上的活动像素行与冗余像素行，活动像素行用于摄像机进行图像采集，当摄像机需要调节补光强度时，保持活动像素行处的第一补光强度不变，在冗余像素行处获取第二补光强度，根据第二补光强度确定摄像机的第一曝光参数，将第二补光强度与第一曝光参数应用于图像传感器，以使在调节补光强度的过程中，采集的画面亮度不受补光强度变化的影响，能够平滑的达到控制稳定的画面亮度。同时还特别涉及一种摄像机。

Description

一种补光强度控制方法与摄像机

技术领域

本发明涉及摄像机曝光技术领域，特别涉及一种补光强度控制方法。同时还特别涉及一种摄像机。

背景技术

摄像机在实际应用中，由于环境亮度差异及昼夜变换，部分时间段部分场景监控区域较暗，对于这样的区域需要增加补光装置，一般的如LED灯、激光及红外灯等补光；对于补光控制过程，为了使最终呈现一个稳定的亮度，补光强度需要根据画面亮度进行调节；由于补光强度受补光距离、物体反射率等影响，不同的环境亮度需要不同的补光强度，对于变倍相机来说，不同的监控距离，也需要设置不同的补光强度，因此对于摄像机补光装置补光强度的控制相当重要。

补光强度控制一般以电压强度、电流强度、脉宽等电路方式控制，但是电路控制因素强度与实际补光强度不一定呈线性关系，实际补光对于摄像最终补光的效果只有在采集图像后才可以确认；并且由于电路控制精度影响，补光强度无法做到无级调节(无级调节就是调节方式不是跳跃式的，是在一个范围内任意相对平滑的调节)，一般通过设置不同的补光强度级别来控制不同的补光亮度，但不同级别的亮度存在一定的差异，对于实况亮度稳定性要求较高的应用中，通过不断的调整补光级别来使画面亮度接近目标统计亮度值一定会出现亮度调整过程中几帧图像亮度在预设亮度区间外，影响使用。

而由于电路控制精度影响，补光强度无法做到无级调节，即每次调节补光强度会有一个调节步长(业界内部控制定义为补光级别，级别越高补光越亮)度。

现有技术中的补光控制策略，如图1所示，在第N帧判断摄像机需要调节补光强度，在第N+1帧在摄像机生效新的补光强度，由于该补光强度生效到实际场景的补光效果不确定，有可能导致摄像机第N+1帧画面统计亮度超出正常范围，而亮度在第N+2帧或者更延后的一帧被检测到，然后通过调节曝光时间等控制因素调整画面亮度至正常范围，所以出现第N+1帧画面统计亮度异常，影响码流效果，因此现有技术中的补光控制策略不能够平滑的达到保持控制稳定的画面亮度。

发明内容

本申请提供了一种补光强度控制方法与摄像机，以使摄像机在调节补光强度的过程中，采集到的画面亮度不受补光强度变化的影响。

本申请实施例提出了一种补光强度控制方法，预先获取摄像机中图像传感器上的活动像素行与冗余像素行，所述活动像素行用于所述摄像机进行图像采集，该方法还包括：

当所述摄像机需要调节补光强度时，保持所述活动像素行处的第一补光强度不变，在所述冗余像素行处获取第二补光强度；

根据所述第二补光强度确定所述摄像机的第一曝光参数；

将所述第二补光强度与所述第一曝光参数应用于所述图像传感器。

优选的，预先获取所述图像传感器上的活动像素行与冗余像素行，所述方法包括：

所述图像传感器包括有效像素，所述有效像素中包含冗余像素行和活动像素行；

所述活动像素行用于图像采集像素，所述冗余像素行为有效像素中非活动像素行的像素行；

预先获取所述图像传感器中的有效像素，并获取所述有效像素中的活动像素行与冗余像素行。

优选的，当所述摄像机需要调节补光强度时，保持所述活动像素行处的第一补光强度不变，在所述冗余像素行处获取第一补光强度，具体为：

根据所述摄像机预置的自动曝光AE算法判断所述摄像机当前是否需要调节补光强度；

若所述摄像机需要调节补光强度，则根据所述摄像机预置的自动曝光控制策略判断进行增强补光或减弱补光，来根据所述第一补光强度获取所述冗余像素行的第二补光强度；

将所述冗余像素行的补光强度调节至所述第二补光强度，保持所述活动像素行处的第一补光强度不变。

优选的，所述摄像机的画面亮度为所述有效像素行处的第一画面亮度，根据所述第二补光强度确定所述摄像机的第一曝光参数，具体为：

将所述冗余像素行的补光强度调节至所述第二补光强度，根据所述第二补光强度与所述活动像素行的当前曝光参数确定所述冗余像素行的第二画面亮度；

根据所述第二画面亮度确定所述第一曝光参数，所述第一曝光参数与所述第二补光强度用以调节所述冗余像素行的画面亮度至所述第一画面亮度。

优选的，所述方法还包括：

所述曝光参数至少包括以下参数中的一种：

曝光时间、图像增益、光圈值、感光度。

相应的，本申请实施例还提出了一种摄像机，该摄像机包括：

划分模块，预先获取所述摄像机中图像传感器上的活动像素行与冗余像素行，所述活动像素行用于所述摄像机进行图像采集；

获取模块，当所述摄像机需要调节补光强度时，保持所述活动像素行处的第一补光强度不变，在所述冗余像素行处获取第二补光强度；

确定模块，根据所述第二补光强度确定所述摄像机的第一曝光参数；

处理模块，将所述第二补光强度与所述第一曝光参数应用于所述图像传感器。

优选的，所述划分模块用于：

优选的，所述获取模块具体用于：

优选的，所述摄像机的画面亮度为所述有效像素行处的第一画面亮度，所述确定模块具体用于：

优选的，所述摄像机还包括：

所述曝光参数至少包括以下参数中的一种：

曝光时间、图像增益、光圈值、感光度。

通过应用本申请实施例提出的一种补光强度控制方法，预先获取摄像机中图像传感器上的活动像素行与冗余像素行，当摄像机需要调节补光强度时，保持活动像素行处的第一补光强度不变，在冗余像素行处获取第二补光强度，根据第二补光强度确定摄像机的第一曝光参数，将第二补光强度与第一曝光参数应用于图像传感器，以使在调节补光强度的过程中，采集的画面亮度不受补光强度变化的影响，能够平滑的达到控制稳定的画面亮度。

附图说明

图1为现有技术中补光强度调节过程中画面统计亮度变化的示意图；

图2为本申请实施例提出的一种补光强度控制方法的流程示意图；

图3为本申请实施例中提出的一种图像传感器像素分布示意图；

图4为本申请实施例提出的一种CMOS传感器像素曝光示意图；

图4a为本申请实施例提出的一种CMOS传感器像素的曝光时间示意图

图5为本身亲实施例提出的一种图像传感器第N帧像素补光强度示意图；

图5a为本身亲实施例提出的一种图像传感器第N+1帧像素补光强度示意图；

图6为本申请具体实施例提出的一种补光强度控制方法的流程示意图；

图7为本申请具体实施例提出的补光强度调节过程中画面统计亮度变化的示意图；

图8为本申请具体实施例中提出一种摄像机结构示意图。

具体实施方式

如背景技术中所述，由于电路控制精度影响，补光强度无法做到无级调节，现有技术中的补光控制策略不能够平滑的达到保持控制稳定的画面亮度。

有鉴于以上技术问题，本申请实施例提出了一种补光强度控制方法与摄像机，旨在使摄像机在调节补光强度的过程中，采集的画面亮度不受补光强度变化的影响，能够平滑的达到控制稳定的画面亮度。

在对本申请实施例的技术方案进行介绍之前，首先对本申请技术方案的原理进行说明：为了保持摄像机在调节补光强度的过程中，保持稳定的画面亮度，保持摄像机中实际进行图像采集与编码的活动像素的第一补光强度，对与有效像素参数一致但在实际应用中不参与图像采集编码的冗余像素进行补光强度调节，在对冗余像素进行补光强度调节后，根据调节后的第二补光强度确定冗余像素的第二补光强度对整个摄像机画面亮度的影响程度，然后重新计算新的曝光参数，然后将第二补光强度与新的曝光参数应用到整个摄像机的图像采集传感器上，这样可以使摄像机在调节补光强度的过程中，保持稳定的画面亮度。

如图2所示，为本申请实施例提出的一种补光强度控制方法流程示意图，该方法具体步骤如下：

步骤201，当摄像机需要调节补光强度时，保持活动像素行的第一补光强度不变，在冗余像素行获取第二补光强度。

如上述的本申请技术方案的技术原理，在进行本步骤之前，还需要预先对图像传感器中图像像素进行划分，对于当前业界所有的摄像机的图像传感器靶面，一般会有三个像素尺寸，所有像素数、有效像素数、活动像素数、所有像素数是指所有感光单元对应的像素点的数量，有效像素为所有感光单元中能够有效感光的感光单元对应的像素点数量，活动像素为实际图像采集并用于编码的像素，活动像素区域局限在有效像素内，如图3所示的图像传感器像素分布示意图，本申请中将有效像素中但不进行图像采集与编码的像素的定义为冗余像素行，将今天图像采集与编码的像素定义为活动像素行，在具体的应用场景中，首先获取图像传感器中的有效像素，再根据像素的具体应用场景将有效像素划分为活动像素行与冗余像素行。

需要说明的是，本申请的技术方案在具体的应用场景中，具体用于采用RollingShutter曝光模式的图像传感器，下面以CMOS图像传感器为例进行说明，对于监控常用的图像传感器中的一种，CMOS传感器以Rolling Shutter曝光模式为主，Rolling Shutter曝光模式相较于Global Shutter曝光模式的区别是每行图像像素在不同的时刻曝光，如图4所示的CMOS传感器Rolling Shutter曝光模式示意图，T1时刻传感器最上几行图像像素接收感光，T2时刻传感器中间几行图像像素接收感光，T3时刻传感器最下几行图像像素接收感光，对于每一行来说，曝光时间相同，但曝光所处时间内是不同，如图4a所示的曝光时间示意图，第N行在T4时刻开始曝光，T5时刻曝光结束，曝光时长为T5-T4；M行在T6时刻开始曝光，T7时刻曝光结束，曝光时长为T7-T6，其中，时间间隔满足T7-T6＝T5-T4。

基于上述Rolling Shutter曝光模式传感器的特点，根据自动曝光AE算法判断当前是否需要调节补光强度，主要通过摄像机自身的测光系统测量环境亮度，当环境亮度变化量超过预设阈值，则定义当前补光强度需要进行调整，具体为：

a)当补光强度不需要调整时，所有有效像素行与冗余像素行都使用同一个补光灯强度，在此不做赘述；

b)由于环境亮度变化导致补光强度需要进行调整时，为了保证当前画面的亮度稳定，保持图像传感器中的活动像素行的补光强度不变，对冗余像素行的补光强度进行调整，如此对当前显示的画面亮度不会产生影响，按照摄像机预置的自动曝光控制策略判断是增强补光还是减弱补光，来选择下一级别的补光强度，将该补光强度应用于图像传感器的冗余像素行中，再判断当前补光强度是否能够适用于当前环境亮度，若否，则逐级别进行补光强度调整，直到调整至合适的第二补光强度。

步骤202，根据第二补光强度确定摄像机的第一曝光参数。

为了使摄像机在调节补光强度的过程中，保持稳定的画面亮度，在对补光强度进行调整后，还需要获取新的第二补光强度对整个画面统计亮度的影响，来确定新的曝光参数，来保证画面的亮度稳定，将冗余像素行的补光强度调节至第二补光强度，根据第二补光强度与活动像素行的当前曝光参数确定冗余像素行在进行补光强度调节后的第二画面亮度，将第二画面亮度与活动像素行的第一画面亮度相比较，若二者存在差距，获取第一曝光参数，则对摄像机的曝光参数进行调整，使调整了补光强度和曝光参数后的冗余像素行的第二画面亮度恢复到第一画面亮度。

步骤203，将第二补光强度与第一曝光参数应用于图像传感器。

对冗余像素行进行补光强度调节，由于实际进行图像采集与编码的是活动像素行，冗余像素行不参与图象采集与编码，所以对冗余像素的补光强度调节不会对摄像机的画面亮度有影响，当获取到在冗余像素行确定的第二补光强度与第一曝光参数时，此时冗余像素行的画面亮度与活动像素行显示的画面亮度一致，将第二补光强度与第一曝光参数应用于整个图像传感器，来实现在对补光强度的调节过程中，摄像机的画面亮度不会产生剧烈变化。

以下针对上述步骤202和步骤203作进一步的说明，在具体的应用场景中，以图3所示的像素分布的图像传感器为例，来对补光强度更新对画面亮度的影响程度计算过程进行介绍，画面亮度与补光强度以及曝光参数(曝光时间)之间的关系计算方法如下：

如图5所示，为以图3为基础的第N帧像素补光强度示意图，在第N帧，传感器所有行的补光强度为strength(N)，对应到当前环境的等效补光效果为bright_light_active。

当第N+1帧需要调整补光强度为strength(N+1)时，如图5a所示为第N+1帧像素补光强度示意图，先设置冗余像素行的补光强度为新的补光强度strength_effective，对应到当前环境的等效补光效果为bright_light_redundant，有效像素行保持不变，依然为strength_active，等效补光效果依然为bright_light_active。分别计算活动像素行的平均统计亮度与冗余像素行的平均统计亮度，活动像素行的平均统计亮度记为luma_stat_active，冗余像素行的平均统计亮度为luma_stat_redundant。

需要说明的是，上述strength(N+1)与strength_effective一致，strenght(N)与strength_active一致，这里为了方便说明，所以用strength_effective代替strength(N+1)进行说明，用strength_active代替strenght(N)进行说明。

对于一般的图像传感器感光亮度与环境光亮度的关系为：

bright_env*exp_time*sensitive＝luma_stat

对于存在补光灯的环境，则有：

(bright_env+bright_light)*exp_time*sensitive＝luma_stat

其中：bright_env为环境光等效亮度，对摄像机来说是未知量；exp_time为传感器感光时间，由摄像机设置，为已知量；sensitive为传感器感光性能，为已知量；luma_stat为传感器输出图像统计亮度，可由输出图像统计得到；bright_light为补光灯等效亮度，对于摄像机来说为未知量，摄像机内部只能设置补光不同的补光强度(同样的补光强度下，由于场景的大小及物体远景不同，反馈到传感器的亮度也不同)。

当需要更新补光灯强度时，设置活动像素行与冗余像素行的感光时间段内为不同的补光灯强度，则有：

(bright_env+bright_light_active)×exp_time×sensitive＝luma_stat_active

(bright_env+bright_light_redundant)×exp_time×sensitive＝luma_stat_redundant

其中：bright_light_active为补光灯设置补光强度为light_strength_active时的等效补光亮度；bright_light_redundant为补光灯设置补光强度为light_strength_redundant时的等效补光亮度；luma_stat_active为传感器有效像素输出图像统计亮度，luma_stat_redundant为传感器冗余像素行输出图像统计亮度。

基于以上两个公式可以明显观察到曝光时间exp_time与统计亮度luma_stat成正比关系，当需要将新的补光强度生效到整个画面时，为了保证统计亮度基本不变，需要通过修改曝光时间进行调整，此时有

(bright_env+bright_light_redundant)×exp_time_new×sensitive＝luma_stat_active

其中exp_time_new是当新的补光强度值生效到整个活动像素行时对应的整个画面的新的曝光时间。

将两式相除有：

(luma_stat_redundant)/(luma_stat_active)＝(exp_time_new)/(exp_time)

即有：

exp_time_new＝(exp_time×luma_stat_active)/(luma_stat_redundant)

为使画面目标亮度值使用为luma_stat_target，则需要修改曝光时间为exp_time_new，补光灯强度为light_strength_redundant，能够保证画面亮度不变。

在本申请的优选实施例中，该曝光参数为摄像机的曝光时间(快门时间)、图像增益、光圈值、感光度等参数。在实际的应用场景中，AE调节过程中采用不同控制因素分区段调节，具体如下：

(1)第一区段设置，补光强度为级别0，增益为gain_min，曝光时间为[exp_min,exp_max]；

(2)第二区段设置补光强度为级别0，增益为[gain_min,gain_max]，曝光时间为exp_max；

(3)第三区段设置补光强度为[light_min,light_max]，增益为gain_max，曝光时间为exp_max。

调节过程中每一阶段都只控制一个控制因素。而相应的控制区段及调节顺序用实际需要可以调整，但可能存在补光强度调节一个级别，画面统计亮度会出现较大变化，所以当任意一个区段是调节补光强度时，控制曝光时间有一个动态调节范围，如上描述中第三区段，补光强度为[light_min,light_max，增益为gain_butter(固定值)，曝光时间为[exp_max-exp_tolerate,exp_max+exp_tolerate]，当补光强度切换到另一个级别时，通过计算新的补光强度对画面亮度的影响，调整曝光时间，以保证最终画面统计亮度不变，其中曝光时间的区间范围可由实际中相邻两个补光级别的亮度差来确定，相邻两个补光级别的亮度差异越大，曝光时间的区间范围越大，反之亦然。

为了进一步阐述本申请的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明，如图6所示，为本申请具体实施例提出的一种补光强度控制方法流程示意图，预先将相机中的有效像素数划分出活动像素行与冗余像素行，该方法具体步骤如下：

S601，判断外界环境亮度是否有变化；

具体的，通过相机自身的采光系统来感知外界环境亮度是否发生变化，每隔预设时长将采集的外界环境的光亮度与上一间隔采集的光亮度进行比较，若二者亮度差值超过预设阈值则执行步骤S602，若否，则执行步骤S607；

S602，计算当前画面的亮度；

S603，判断是否需要调节补光强度；

具体的，根据采集的外界环境的亮度，与自身显示的画面亮度进行对比，判断是否需要进行补光强度调节；

若需要，则执行步骤S604；

若否，则执行步骤S605。

S604，计算需要进行调节的补光强度；

S605，根据调节后的补光强度，判断调节的曝光参数；

S606，将计算出的补光强度与曝光参数(曝光时间)应用在相机上。

S607，忽略，等待进行下一次外界环境亮度的采集。

以下针对上述步骤S604和S605进行进一步说明，具体为：

A)在相机的图像传感器中的冗余像素区进行补光强度调节；

具体的，对冗余像素区进行补光强度逐级别调节，直到调节至合适的第二补光强度。

B)根据相机活动像素行区域的第一补光强度与当前的曝光参数来计算活动像素行的第一画面亮度。

C)根据第一画面亮度与第二补光强度确定调节后的第一曝光参数。

相应的，在以图1为基础，通过应用本申请具体实施例提出的一种补光强度控制方法，得到图7所示的的补光强度调节过程中画面统计亮度变化的示意图，依然在第N帧判断需要调节补光强度，此时新的补光强度应用到冗余像素行区域，并不会生效到活动像素行区域，也就不会影响到最终码流的亮度，即保证第N+1帧的画面统计亮度与第N帧的画面统计亮度一致，第N+2帧使用新的补光强度与对应的曝光时间等其他曝光控制因素，保证画面亮度不会发生变化，得以保证码流中每一帧的画面统计亮度基本一致，分别利用采集区域与非采集区域的统计亮度计算下一步将设置的补光灯强度对应的等效补光亮度，通过目标统计亮度值调整曝光时间等曝光因素，保证下一步修改补光强度后画面亮度不变。

由此可见，通过应用本申请具体实施例提出的一种补光强度控制方法，预先获取摄像机中图像传感器上的活动像素行与冗余像素行，当摄像机需要调节补光强度时，保持活动像素行处的第一补光强度不变，在冗余像素行处获取第二补光强度，根据第二补光强度确定摄像机的第一曝光参数，将第二补光强度与第一曝光参数应用于图像传感器，以使在调节补光强度的过程中，采集的画面亮度不受补光强度变化的影响，能够平滑的达到控制稳定的画面亮度。

基于与上述相同的技术思路，本申请具体实施例还提出了一种摄像机，如附图8所示，为本申请具体实施例提出的一种摄像机的结构示意图，该摄像机包括：

划分模块81，预先获取所述摄像机中图像传感器上的活动像素行与冗余像素行，所述活动像素行用于所述摄像机进行图像采集；

获取模块82，当所述摄像机需要调节补光强度时，保持所述活动像素行处的第一补光强度不变，在所述冗余像素行处获取第二补光强度；

确定模块83，根据所述第二补光强度确定所述摄像机的第一曝光参数；

处理模块84，将所述第二补光强度与所述第一曝光参数应用于所述图像传感器。

在具体的应用场景中，所述划分模块81用于：

在具体的应用场景中，所述获取模块82具体用于：

在具体的应用场景中，所述摄像机的画面亮度为所述有效像素行处的第一画面亮度，所述确定模块83具体用于：

在具体的应用场景中，所述摄像机还包括：

所述曝光参数至少包括以下参数中的一种：

曝光时间、图像增益、光圈值、感光度。

通过应用本申请具体实施例提出的技术方案，预先获取摄像机中图像传感器上的活动像素行与冗余像素行，当摄像机需要调节补光强度时，保持活动像素行处的第一补光强度不变，在冗余像素行处获取第二补光强度，根据第二补光强度确定摄像机的第一曝光参数，将第二补光强度与第一曝光参数应用于图像传感器，以使在调节补光强度的过程中，采集的画面亮度不受补光强度变化的影响，能够平滑的达到控制稳定的画面亮度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims

1.一种补光强度控制方法，其特征在于，预先获取摄像机中图像传感器上的活动像素行与冗余像素行，所述活动像素行用于所述摄像机进行图像采集，所述方法还包括：

当所述摄像机需要调节补光强度时，保持所述活动像素行的第一补光强度不变，在所述冗余像素行获取第二补光强度；

根据所述第二补光强度确定所述摄像机的第一曝光参数；

2.如权利要求1所述的方法，其特征在于，预先获取所述图像传感器上的活动像素行与冗余像素行，所述方法包括：

3.如权利要求1所述的方法，其特征在于，当所述摄像机需要调节补光强度时，保持所述活动像素行处的第一补光强度不变，在所述冗余像素行处获取第二补光强度，具体为：

4.如权利要求1所述的方法，其特征在于，所述摄像机的画面亮度为所述活动像素行处的第一画面亮度，根据所述第二补光强度确定所述摄像机的第一曝光参数，具体为：

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

所述曝光参数至少包括以下参数中的一种：

曝光时间、图像增益、光圈值、感光度。

6.一种摄像机，其特征在于，所述摄像机包括：

7.如权利要求6所述的摄像机，其特征在于，所述划分模块用于：

8.如权利要求6所述的摄像机，其特征在于，所述获取模块具体用于：

9.如权利要求6所述的摄像机，其特征在于，所述摄像机的画面亮度为所述活动像素行处的第一画面亮度，所述确定模块具体用于：

10.如权利要求9所述的摄像机，其特征在于，所述摄像机还包括：

所述曝光参数至少包括以下参数中的一种：

曝光时间、图像增益、光圈值、感光度。