CN111355895A - 图像曝光和增益的调整方法、成像设备及车辆 - Google Patents

Abstract

本发明公开了一种图像曝光和增益的调整方法、成像设备及车辆。所述方法包括：获得图像的感兴趣区域的曝光指令；在获得所述曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值；根据所述当前帧图像的感兴趣区域的亮度值，确定下一帧图像的曝光时长及增益值；根据确定出的下一帧图像的曝光时长及增益值对下一帧图像的采集进行调整。本发明能够对图像曝光和增益进行更为快速的调整。

Description

图像曝光和增益的调整方法、成像设备及车辆

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像曝光和增益的调整方法、成像设备及车辆。

背景技术

随着智能工业、机器人避障、即时定位与地图构建技术(SLAM，SimultaneousLocalization And Mapping)和无人驾驶技术的发展，成像设备在这些领域内被广泛使用。

为了使成像设备获取更高质量的图像，合理的设置曝光时长和增益值对成像设备来说非常重要。而调节曝光时长和增益值的依据，就是成像设备所获取的当前图像的亮度值。对于一幅完整的图像来说，它包含的信息量非常大，而实际需要关注的可能只是图像中的某一部分。比如：在汽车自动驾驶过程中，成像设备对公路旁边的绿化带、建筑物等元素可以不予关注，而对前方的车辆以及行人等元素重点关注。因此成像设备可以设置这些被关注的位置为感兴趣区域(ROI，Region Of Interest)。另外，每一帧图像的感兴趣区域可能都不相同，就需要成像设备对图像进行针对性的曝光，以获得更高的图像质量。

在图像的实际应用中，不仅需要成像设备获得更高质量的图像，还需要成像设备能够快速响应感兴趣区域设置，并快速统计感兴趣区域的亮度值，以便快速达到调节成像设备的曝光时长和增益值的目的。目前，如何快捷地进行图像曝光和增益值的调整，成为了一个亟待解决的问题。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种图像曝光和增益的调整方法、成像设备及车辆。

作为本发明实施例的一个方面，涉及一种图像曝光和增益的调整方法，包括：

获得图像的感兴趣区域的曝光指令；

在获得所述曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值；

根据所述当前帧图像的感兴趣区域的亮度值，确定下一帧图像的曝光时长及增益值；

根据确定出的下一帧图像的曝光时长及增益值对下一帧图像的采集进行调整。

在一个实施例中，所述非关键传输时长为当前帧图像的帧消隐区时长或者当前帧图像最后若干行的传输时长。

在一个实施例中，该图像曝光和增益的调整方法，还包括：

确定获得图像的感兴趣区域的曝光指令的时刻；

所述在获得所述曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值，包括：

若获得图像的感兴趣区域的曝光指令的时刻位于所述当前帧图像最后若干行传输时长开始之前，则在当前帧图像的帧消隐区时长内或者当前帧图像最后若干行的传输时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值。

在一个实施例中，该图像曝光和增益的调整方法，还包括：

确定获得图像的感兴趣区域的曝光指令的时刻；

所述在获得所述曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值，包括：

若获得图像的感兴趣区域的曝光指令的时刻位于所述当前帧图像最后若干行传输时长之中，则在当前帧图像的帧消隐区时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值。

在一个实施例中，所述根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值，包括：

对当前帧图像进行分区，形成多行多列的图像分区；

确定当前帧图像中感兴趣区域所覆盖的范围；

若所述感兴趣区域所覆盖的范围处于任一图像分区内部，确定感兴趣区域的亮度值等于所述感兴趣区域所对应的图像分区的亮度值。

在一个实施例中，该图像曝光和增益的调整方法，还包括：

分别统计每个图像分区的亮度值；或者

根据当前帧图像中感兴趣区域所覆盖的范围，统计与所述感兴趣区域存在重叠部分的图像分区的亮度值。

在一个实施例中，所述根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值，包括：

对当前帧图像进行分区，形成多行多列的图像分区；

确定当前帧图像中感兴趣区域所覆盖的范围；

若所述感兴趣区域所覆盖的范围跨多个图像分区，确定感兴趣区域的面积，并分别计算感兴趣区域与每个图像分区的重叠部分的加权亮度值；

分别计算各重叠部分的加权亮度值与各自对应的图像分区面积的乘积，并得到所述乘积之和；

将所述乘积之和除以所述感兴趣区域的面积，得到所述感兴趣区域的亮度值。

在一个实施例中，该图像曝光和增益的调整方法，还包括：

分别统计每个图像分区的亮度值；或者

根据当前帧图像中感兴趣区域所覆盖的范围，统计与所述感兴趣区域存在重叠部分的图像分区的亮度值。

在一个实施例中，所述分别计算感兴趣区域与每个图像分区的重叠部分的加权亮度值，包括：

确定感兴趣区域与每个图像分区的重叠部分面积；

分别计算各个图像分区的亮度值与各个图像分区各自对应的重叠部分面积的乘积；

将各乘积分别除以各自对应的图像分区面积，得到感兴趣区域与每个图像分区的重叠部分的加权亮度值。

作为本发明实施例的另一个方面，涉及一种成像设备，包括：图像传感器和处理器；

所述图像传感器，用于进行图像采集，得到当前帧图像；

所述处理器，用于获得图像的感兴趣区域的曝光指令；在获得所述曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值；根据所述当前帧图像的感兴趣区域的亮度值，确定下一帧图像的曝光时长及增益值；根据确定出的下一帧图像的曝光时长及增益值控制图像传感器对下一帧图像的采集进行调整。

在一个实施例中，所述处理器中所采用的非关键传输时长为当前帧图像的帧消隐区时长或者当前帧图像最后若干行的传输时长。

在一个实施例中，所述处理器，还用于：确定获得图像的感兴趣区域的曝光指令的时刻；所述处理器，具体用于：在获得图像的感兴趣区域的曝光指令的时刻位于所述当前帧图像最后若干行传输时长开始之前时，在当前帧图像的帧消隐区时长内或者当前帧图像最后若干行的传输时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值。

在一个实施例中，所述处理器，还用于：确定获得图像的感兴趣区域的曝光指令的时刻；所述处理器，具体用于：若获得图像的感兴趣区域的曝光指令的时刻位于所述当前帧图像最后若干行传输时长之中，则在当前帧图像的帧消隐区时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值。

在一个实施例中，所述处理器，具体还用于：对当前帧图像进行分区，形成多行多列的图像分区；确定当前帧图像中感兴趣区域所覆盖的范围；在所述感兴趣区域所覆盖的范围处于任一图像分区内部时，确定感兴趣区域的亮度值等于所述感兴趣区域所对应的图像分区的亮度值。

在一个实施例中，所述处理器，还用于：分别统计每个图像分区的亮度值；或者根据当前帧图像中感兴趣区域所覆盖的范围，统计与所述感兴趣区域存在重叠部分的图像分区的亮度值。

在一个实施例中，所述处理器，具体还用于：对当前帧图像进行分区，形成多行多列的图像分区；确定当前帧图像中感兴趣区域所覆盖的范围；在所述感兴趣区域所覆盖的范围跨多个图像分区时，确定感兴趣区域的面积，并分别计算感兴趣区域与每个图像分区的重叠部分的加权亮度值；分别计算各重叠部分的加权亮度值与各自对应的图像分区面积的乘积，并得到所述乘积之和；将所述乘积之和除以所述感兴趣区域的面积，得到所述感兴趣区域的亮度值。

在一个实施例中，所述处理器，还用于：分别统计每个图像分区的亮度值；或者根据当前帧图像中感兴趣区域所覆盖的范围，统计与所述感兴趣区域存在重叠部分的图像分区的亮度值。

在一个实施例中，所述处理器，具体还用于：确定感兴趣区域与每个图像分区的重叠部分面积；分别计算各个图像分区的亮度值与各个图像分区各自对应的重叠部分面积的乘积；将各乘积分别除以各自对应的图像分区面积，得到感兴趣区域与每个图像分区的重叠部分的加权亮度值。

在一个实施例中，所述处理器为现场可编程门阵列。

作为本发明实施例的又一个方面，涉及一种车辆，所述车辆设置有上述的成像设备。

作为本发明实施例的再一个方面，涉及一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述的图像曝光和增益的调整方法。

本发明实施例提供的上述图像曝光和增益的调整方法、成像设备及车辆，首先获得图像的感兴趣区域的曝光指令，然后在曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值，进而确定出下一帧图像的曝光时长及增益值。相对于现有技术中只能利用获取到的感兴趣区域的曝光指令所在当前帧图像的下一帧图像的时长来统计当前帧图像的感兴趣区域亮度值的做法，本发明实施例将亮度计算的过程，放在当前帧图像的非关键传输时长内进行处理，更有效地利用了当前帧图像的时长，从而相对于现有技术，提前了一帧的时长对图像曝光和增益进行调整，这对需要以最快的速度获取高质量图像的技术领域(如：自动驾驶领域)而言，其意义是非常深远的。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的图像曝光和增益的调整方法的流程图；

图2为本发明实施例提供的图像曝光和增益的调整方法实例示意图；

图3A为本发明实施例提供的一种感兴趣区域亮度值计算的流程图；

图3B为本发明实施例提供的又一种感兴趣区域亮度值计算的流程图；

图4为本发明实施例提供的图像分区示意图；

图5为本发明实施例提供的一种感兴趣区域示意图；

图6为本发明实施例提供的又一种感兴趣区域示意图；

图7为本发明实施例提供的一种不连续的感兴趣区域示意图；

图8为本发明实施例提供的又一种不连续的感兴趣区域示意图；

图9为本发明实施例提供的成像设备结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在实现本发明实施例的过程中，发明人考虑到可以采用如下方式实现图像曝光和增益值的调整：

为了便于说明成像设备中，图像的亮度统计和曝光时长及增益值调整的过程，现定义F_t0、F_t1和F_t2分别为t₀、t₁和t₂时刻图像的视频帧。通常情况下的感兴趣区域的亮度统计和曝光时长及增益值调整分为如下几个步骤：

1、在t₀时刻，成像设备获取到感兴趣区域曝光指令。

2、在t₁时刻，成像设备开始进行感兴趣区域亮度统计，在F_t1帧图像的时长内计算感兴趣区域的亮度值，并且确定下一帧图像，即F_t2帧图像的曝光时长和增益值。

3、在t₂时刻，成像设备开始对F_t2帧图像的采集进行曝光时长和增益值的调整。

在实际应用过程中，上述步骤往往会出现下述问题：由于图像在F_t0帧之前已经开始输出，因此F_t0帧图像不用来进行亮度统计，只能在F_t1帧图像的时长内来进行亮度统计，相对而言，成像设备不能以最快的速度获得高质量的图像。

下面分别对本发明实施例提供的图像曝光和增益的调整方法、成像设备及车辆的各种具体实施方式进行详细的说明。

本发明实施例提供的图像曝光和增益的调整方法，其流程参照图1所示，包括下述步骤：

S11、获得图像的感兴趣区域的曝光指令。

S12、在获得曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值。

S13、根据当前帧图像的感兴趣区域的亮度值，确定下一帧图像的曝光时长及增益值。

S14、根据确定出的下一帧图像的曝光时长及增益值对下一帧图像的采集进行调整。

上述步骤S12中的当前帧图像的非关键传输时长，例如可以是当前帧图像的帧消隐区时长，也可以是当前帧图像最后若干行的传输时长，或者其他可以利用的非关键传输时长。非关键传输时长具体为何种时长，要根据获得图像的感兴趣区域的曝光指令的时刻进一步来确定。

在本发明实施例中，通常对于每一个图像帧而言，其时长包括有效数据时长和帧消隐区时长，有效数据时长用来承载图像的有效数据，在图像有效数据传输的过程中，由于图像最后若干行数据的内容通常对图像的整体质量和显示效果影响不大。因此可以在进行感兴趣区域亮度计算时，忽略这几行数据的内容，进而可以在当前帧图像最后若干行的传输时长内来计算感兴趣区域的亮度值。

帧消隐区时长位于有效数据时长之后，不承载任何有效数据。其中，有效数据从图像的左上角开始输出，从左到右，直到整行传输完毕，再开始从下一行的最左端重新输出，直至整幅图像输出完毕。在图像的有效数据输出完毕而下一帧图像的有效数据尚未输出时，两相邻帧图像中存在一段时间间隔，通常把这种时间间隔称之为帧消隐区时长，帧消隐区时长的设置是为下一帧的图像输出做准备。

相对于在当前帧图像的帧消隐区时长内计算感兴趣区域的亮度值，在当前帧图像最后若干行的传输时长内计算感兴趣区域的亮度值要更早，因此，在当前帧图像最后若干行的传输时长内计算感兴趣区域的亮度值的方式对下一帧图像曝光和增益进行调整的时刻要更早、更快。

其中，当前帧图像最后若干行的时长可以是预先设定好的，最后若干行时长例如可以设置为2～5行的时长，实际的时长需要根据当前帧感兴趣区域的亮度值计算所需时长来决定。通常情况下，当前帧感兴趣区域的亮度值计算时长大约为200个时钟，上述时钟的具体长度可以理解为：在接收图像像素时，每接收一个像素计为一个时钟。基于此，200个时钟的时长为接收200个图像像素的时长。

此外，感兴趣区域的范围，可以预先设置(例如设置符合某种条件的范围为感兴趣区域，或者直接设置具体的范围)，也可以通过获取感兴趣区域曝光指令的方式进行确定。无论是通过哪种方式确定的感兴趣区域的范围，其每帧图像的感兴趣区域范围的大小均可能不同。

本发明实施例通过利用当前帧图像的非关键传输时长，来确定当前帧图像的感兴趣区域的亮度值。在当前帧图像的非关键传输时长内计算感兴趣区域的亮度值，不仅能够不影响正常图像帧的传输，还可以有效地利用图像传输过程中的间隔时长，以更快的速度响应上层系统发出的感兴趣区域曝光指令，对于上层系统(如：自动驾驶系统)来说，意义重大。

本发明实施例中，由于获取到感兴趣区域曝光指令的时刻可能在图像帧的任意时刻，因此存在以下两种情况：

第一种，获取到感兴趣区域的曝光指令的时刻，位于当前帧图像最后若干行传输时长开始之前，则可以选择在获取曝光指令所在的当前帧图像的帧消隐区时长内，或选择在当前帧图像最后若干行的传输时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出感兴趣区域的亮度值。

第二种，获取到感兴趣区域的曝光指令的时刻，位于当前帧图像最后若干行传输时长之中，由于无法利用当前帧图像最后若干行传输时长来进行感兴趣区域亮度值的计算。因此，可选择在获取曝光指令所在的当前帧图像的帧消隐区时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出感兴趣区域的亮度值。

下面将以一个实例来说明图像曝光和增益的调整方法，参照图2所示，F_t0和F_t1分别为t₀和t₁时刻图像的视频帧，其具体地调整过程如下：

1、在t₀时刻，成像设备获取到感兴趣区域曝光指令。

2、在F_t0帧图像的帧消隐区时长或F_t0帧图像最后若干行的传输时长内，开始进行感兴趣区域亮度统计，计算感兴趣区域的亮度值，并且确定下一帧图像，即F_t1帧图像的曝光时长和增益值。

3、在t₁时刻，成像设备开始对F_t1帧图像的采集进行曝光时长和增益值的调整。

在一个实施例中，由于当前帧图像中感兴趣区域所覆盖的范围不同，因此感兴趣区域亮度值的计算方法也分为以下两种情况：

第一种方式，参照图3A所示，包括下述步骤：

S311、对当前帧图像进行分区，形成多行多列的图像分区。

S312、确定当前帧图像中感兴趣区域所覆盖的范围。

S313、若感兴趣区域所覆盖的范围处于任一图像分区内部，确定感兴趣区域的亮度值等于感兴趣区域所对应的图像分区的亮度值。

第二种方式，参照图3B所示，包括下述步骤：

S321、对当前帧图像进行分区，形成多行多列的图像分区。

S322、确定当前帧图像中感兴趣区域所覆盖的范围。

S323、若感兴趣区域所覆盖的范围跨多个图像分区，确定感兴趣区域的面积，并分别计算感兴趣区域与每个图像分区的重叠部分的加权亮度值。

S324、分别计算各重叠部分的加权亮度值与各自对应的图像分区面积的乘积，并得到乘积之和。

S325、将乘积之和除以感兴趣区域的面积，得到感兴趣区域的亮度值。

下面将以1920×1920分辨率的图像为例，说明上述两种方式下感兴趣区域亮度值的计算方法：

参照图4所示，将1920×1920分辨率的图像，划分为16×16的图像分区。按照图像传感器图像数据输出的顺序依次统计出每个图像分区N_{i_j}的亮度值，命名为L_{i_j},其中i为图像水平方向的标号，j为图像垂直方向的标号；i，j均大于等于1，小于等于16；感兴趣区域亮度值为L_ROI。

假设此时成像设备收到了设置感兴趣区域的曝光指令，那么根据感兴趣区域所覆盖的范围，可以分为下述两种情形，在该两种情形中，感兴趣区域均为矩形区域：

第一种情形，参照图5所示，感兴趣区域处于图像256个图像分区中任意一个分区的内部，那么该感兴趣区域的亮度值L_ROI＝L_{i_j}。

第二种情形，参照图6所示，感兴趣区域跨多个图像分区(图6所示的仅仅是多种跨图像分区情形中的一种情形，本发明实施例不限定其所跨图像分区的数量及所跨分区的位置等，其他情形下的计算方法与之类似)，感兴趣区域为跨越9个图像分区的矩形区域。

感兴趣区域和9个图像分区之间的9个重叠部分的面积分别为：M_{i-1_j-1}、M_{i-1_j}、M_{i-1_j+1}、M_{i_j-1}、M_{i_j}、M_{i_j+1}、M_{i+1_j-1}、M_{i+1_j}、M_{i+1_j+1}；在这个例子中，9个重叠部分的面积的计算可以采用所占区域以像素为单位的长和宽的乘积。

上述9个重叠部分的加权亮度值为：

每个图像分区的亮度值为：L_{i-1_j-1}、L_{i-1_j}、L_{i-1_j+1}、L_{i_j-1}、L_{i_j}、L_{i_j+1}、L_{i+1_j}-1、L_{i+1_j}、L_{i+1_j+1}，每个图像分区的面积为M_n(M_n在划分区域时就是已知的，其面积为图像分区内以像素为单位的长和宽的乘积)，感兴趣区域的面积定义为M_ROI，感兴趣区域的亮度定义为L_ROI，则：

M_ROI＝M_{i-1_j-1}+M_{i-1_j}+M_{i-1_j+1}+M_{i_j-1}+M_{i_j}+M_{i_j+1}+M_{i+1_j-1}+M_{i+1_j}+M_{i+1_j+1}；

根据上述计算过程，便可计算出感兴趣区域的亮度值。

本发明实施例以面积作为每个重叠部分亮度值的权重，但本发明并不限于此种方法，亦可通过其他方式来确定该权重值，本发明实施例对此不做限定。

上述两种情况中感兴趣区域亮度值的计算方式均是以感兴趣区域为连续的区域为例进行说明的，若感兴趣区域不连续，则将不连续的各部分分别按照前述方式进行计算后，再整体进行加权平均计算。关于加权平均计算的过程，参见下述方式：

参照图7所示，对于感兴趣区域由两块不连续的ROI1区域和ROI2区域共同组成，且ROI1区域和ROI2区域分别处于任一图像分区内部时情况，此种情况下由于两块不连续的ROI1区域和ROI2区域均位于图像分区内部，因此在计算感兴趣区域亮度的过程中采用第一种情形下的计算方法，分别得到ROI1区域和ROI2区域的亮度值L_ROI1和L_ROI2，其具体地计算步骤参见上述第一种情形下的计算过程，此处不再赘述。

然后根据ROI1区域和ROI2区域的亮度值L_ROI1和L_ROI2预先赋予的权重m和n，通过加权计算得到感兴趣区域的亮度值

此处权重m和n是预先设置好的，例如可以是ROI1区域和ROI2区域受到关注的百分比概率。为了便于理解，下面将以一个实例来进行说明：

假设图7中ROI1区域和ROI2区域经计算得到的亮度值分别为L_ROI1和L_ROI2，且ROI1区域和ROI2区域预设的权重m＝90％，n＝60％；那么此时得到的感兴趣区域的亮度值：

参照图8所示，感兴趣区域由两块不连续的ROI3区域和ROI4区域共同组成，且ROI3区域和ROI4区域分别跨越不同的图像分区，此种情况下由于感兴趣区域跨越多个图像分区，因此在计算感兴趣区域亮度的过程中采用第二种情形下的计算方法，分别得到ROI3区域和ROI4区域的亮度值L_ROI3和L_ROI4，其具体地计算步骤参见上述第二种情形下的计算过程，此处不再赘述。

然后根据ROI3区域和ROI4区域的亮度值L_ROI1和L_ROI2预先赋予的权重m和n，通过加权计算得到感兴趣区域的亮度值

此处权重m和n是预先设置好的，例如可以是ROI3区域和ROI4区域受到关注的百分比概率。为了便于理解，下面将以一个实例来进行说明：

假设图8中ROI3区域和ROI4区域经计算得到的亮度值分别为L_ROI3和L_ROI4，且ROI3区域和ROI4区域预设的权重m＝70％，n＝40％；那么此时得到的感兴趣区域的亮度值：

本发明实施例以感兴趣区域由两块不连续的区域共同组成为例进行的说明，当然感兴趣区域也可以为由任意不连续的若干区域共同组成，其计算过程与上述两种情况下的计算过程类似，此处不再赘述。

本发明实施例中，在步骤S311和S321对当前帧图像进行分区之后，需要计算图像分区的亮度值，可以采用下述两种方式处理：

第1种、分别统计每个图像分区的亮度值。

例如可以将上述16×16每个图像分区的亮度值，在当前帧的有效数据传输完成时，通过预先设定好的计算机程序依次计算出来，进而进行相关亮度值的计算。如果是在当前帧图像的最后若干行的时长内进行亮度计算的情况，则将最后若干行的数据设置为默认的数据，从而完成最后若干行所在分区的亮度的计算。

第2种、根据当前帧图像中感兴趣区域所覆盖的范围，统计与感兴趣区域存在重叠部分的图像分区的亮度值。例如可以是通过预先设定好的计算机程序将感兴趣区域所涉及图像分区的亮度值计算出来。在此种方式中，与前面第1种方式的区别在于，仅计算与感兴趣区域有重叠的各图像分区的亮度值，类似地，如果是在当前帧图像的最后若干行的时长内进行亮度计算的情况，则将最后若干行的数据设置为默认的数据，从而完成最后若干行所在分区的亮度的计算。

基于同一发明构思，本发明实施例还提供了一种成像设备及车辆。由于这些成像设备及车辆等所解决问题的原理与前述图像曝光和增益的调整方法相似，因此该成像设备及车辆的实施可以参见前述方法的实施，重复之处不再赘述。

参照图9所示，本发明实施例提供一种成像设备，包括：图像传感器91和处理器92。

图像传感器91，用于进行图像采集，得到当前帧图像。

处理器92，用于获得图像的感兴趣区域的曝光指令；在获得曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值；根据当前帧图像的感兴趣区域的亮度值，确定下一帧图像的曝光时长及增益值；根据确定出的下一帧图像的曝光时长及增益值控制图像传感器对下一帧图像的采集进行调整。.

在一个实施例中，处理器92中所采用的非关键传输时长为当前帧图像的帧消隐区时长或者当前帧图像最后若干行的传输时长。

在一个实施例中，处理器92，还用于：确定获得图像的感兴趣区域的曝光指令的时刻。

处理器92，具体用于：在获得图像的感兴趣区域的曝光指令的时刻位于当前帧图像最后若干行传输时长开始之前时，在当前帧图像的帧消隐区时长内或者当前帧图像最后若干行的传输时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出感兴趣区域的亮度值。

在一个实施例中，处理器92，还用于：确定获得图像的感兴趣区域的曝光指令的时刻。

处理器92，具体用于：若获得图像的感兴趣区域的曝光指令的时刻位于当前帧图像最后若干行传输时长之中，则在当前帧图像的帧消隐区时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出感兴趣区域的亮度值。

在一个实施例中，处理器92，具体还用于：对当前帧图像进行分区，形成多行多列的图像分区；确定当前帧图像中感兴趣区域所覆盖的范围；在感兴趣区域所覆盖的范围处于任一图像分区内部时，确定感兴趣区域的亮度值等于感兴趣区域所对应的图像分区的亮度值。

在一个实施例中，处理器92，还用于：分别统计每个图像分区的亮度值；或者根据当前帧图像中感兴趣区域所覆盖的范围，统计与感兴趣区域存在重叠部分的图像分区的亮度值。

在一个实施例中，处理器92，具体还用于：对当前帧图像进行分区，形成多行多列的图像分区；确定当前帧图像中感兴趣区域所覆盖的范围；在感兴趣区域所覆盖的范围跨多个图像分区时，确定感兴趣区域的面积，并分别计算感兴趣区域与每个图像分区的重叠部分的加权亮度值；分别计算各重叠部分的加权亮度值与各自对应的图像分区面积的乘积，并得到乘积之和；将乘积之和除以感兴趣区域的面积，得到感兴趣区域的亮度值。

在一个实施例中，处理器92，还用于：分别统计每个图像分区的亮度值；或者根据当前帧图像中感兴趣区域所覆盖的范围，统计与感兴趣区域存在重叠部分的图像分区的亮度值。

在一个实施例中，处理器92，具体还用于：确定感兴趣区域与每个图像分区的重叠部分面积；分别计算各个图像分区的亮度值与各个图像分区各自对应的重叠部分面积的乘积；将各乘积分别除以各自对应的图像分区面积，得到感兴趣区域与每个图像分区的重叠部分的加权亮度值。

在一个实施例中，处理器92为现场可编程门阵列。

本发明实施例提供的一种车辆，其中车辆设置有上述图9对应的成像设备。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述的图像曝光和增益的调整方法。上述计算机可读存储介质包括各种非易失性的存储介质，包括但不限于光盘、ROM、EEPROM、FLASH memory、各类磁盘等等。

本发明实施例提供的上述图像曝光和增益的调整方法、成像设备及车辆，首先获得图像的感兴趣区域的曝光指令，然后在曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值，进而确定出下一帧图像的曝光时长及增益值。相对于现有技术中只能利用获取到的感兴趣区域的曝光指令所在当前帧图像的下一帧图像的时长来统计当前帧图像的感兴趣区域亮度值的做法，本发明实施例将亮度计算的过程，放在当前帧图像的非关键传输时长内进行处理，更有效地利用了当前帧图像的时长，从而相对于现有技术，提前了一帧的时长对图像曝光和增益进行调整，这对需要以最快的速度获取高质量图像的技术领域(如：自动驾驶领域)而言，其意义是非常深远的。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (21)

1.一种图像曝光和增益的调整方法，其特征在于，包括：

获得图像的感兴趣区域的曝光指令；

在获得所述曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值；

根据所述当前帧图像的感兴趣区域的亮度值，确定下一帧图像的曝光时长及增益值；

根据确定出的下一帧图像的曝光时长及增益值对下一帧图像的采集进行调整。

2.根据权利要求1所述的方法，其特征在于，所述非关键传输时长为当前帧图像的帧消隐区时长或者当前帧图像最后若干行的传输时长。

3.根据权利要求2所述的方法，其特征在于，还包括：

确定获得图像的感兴趣区域的曝光指令的时刻；

所述在获得所述曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值，包括：

若获得图像的感兴趣区域的曝光指令的时刻位于所述当前帧图像最后若干行传输时长开始之前，则在当前帧图像的帧消隐区时长内或者当前帧图像最后若干行的传输时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值。

4.根据权利要求2所述的方法，其特征在于，还包括：

确定获得图像的感兴趣区域的曝光指令的时刻；

所述在获得所述曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值，包括：

若获得图像的感兴趣区域的曝光指令的时刻位于所述当前帧图像最后若干行传输时长之中，则在当前帧图像的帧消隐区时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值。

5.根据权利要求3或4所述的方法，其特征在于，所述根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值，包括：

对当前帧图像进行分区，形成多行多列的图像分区；

确定当前帧图像中感兴趣区域所覆盖的范围；

若所述感兴趣区域所覆盖的范围处于任一图像分区内部，确定感兴趣区域的亮度值等于所述感兴趣区域所对应的图像分区的亮度值。

6.根据权利要求5所述的方法，其特征在于，还包括：

分别统计每个图像分区的亮度值；或者

根据当前帧图像中感兴趣区域所覆盖的范围，统计与所述感兴趣区域存在重叠部分的图像分区的亮度值。

7.根据权利要求3或4所述的方法，其特征在于，所述根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值，包括：

对当前帧图像进行分区，形成多行多列的图像分区；

确定当前帧图像中感兴趣区域所覆盖的范围；

若所述感兴趣区域所覆盖的范围跨多个图像分区，确定感兴趣区域的面积，并分别计算感兴趣区域与每个图像分区的重叠部分的加权亮度值；

分别计算各重叠部分的加权亮度值与各自对应的图像分区面积的乘积，并得到所述乘积之和；

将所述乘积之和除以所述感兴趣区域的面积，得到所述感兴趣区域的亮度值。

8.根据权利要求7所述的方法，其特征在于，还包括：

分别统计每个图像分区的亮度值；或者

根据当前帧图像中感兴趣区域所覆盖的范围，统计与所述感兴趣区域存在重叠部分的图像分区的亮度值。

9.根据权利要求8所述的方法，其特征在于，所述分别计算感兴趣区域与每个图像分区的重叠部分的加权亮度值，包括：

确定感兴趣区域与每个图像分区的重叠部分面积；

分别计算各个图像分区的亮度值与各个图像分区各自对应的重叠部分面积的乘积；

将各乘积分别除以各自对应的图像分区面积，得到感兴趣区域与每个图像分区的重叠部分的加权亮度值。

10.一种成像设备，其特征在于，包括：图像传感器和处理器；

所述图像传感器，用于进行图像采集，得到当前帧图像；

所述处理器，用于获得图像的感兴趣区域的曝光指令；在获得所述曝光指令所在的当前帧图像的非关键传输时长内，确定当前帧图像的感兴趣区域的亮度值；根据所述当前帧图像的感兴趣区域的亮度值，确定下一帧图像的曝光时长及增益值；并根据确定出的下一帧图像的曝光时长及增益值控制图像传感器对下一帧图像的采集进行调整。

11.根据权利要求10所述的成像设备，其特征在于，所述处理器中所采用的非关键传输时长为当前帧图像的帧消隐区时长或者当前帧图像最后若干行的传输时长。

12.根据权利要求11所述的成像设备，其特征在于，所述处理器，还用于：

确定获得图像的感兴趣区域的曝光指令的时刻；

所述处理器，具体用于：

在获得图像的感兴趣区域的曝光指令的时刻位于所述当前帧图像最后若干行传输时长开始之前时，在当前帧图像的帧消隐区时长内或者当前帧图像最后若干行的传输时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值。

13.根据权利要求11所述的成像设备，其特征在于，所述处理器，还用于：

确定获得图像的感兴趣区域的曝光指令的时刻；

所述处理器，具体用于：

若获得图像的感兴趣区域的曝光指令的时刻位于所述当前帧图像最后若干行传输时长之中，则在当前帧图像的帧消隐区时长内，根据当前帧图像中感兴趣区域所覆盖的范围统计出所述感兴趣区域的亮度值。

14.根据权利要求12或13所述的成像设备，其特征在于，所述处理器，具体还用于：

对当前帧图像进行分区，形成多行多列的图像分区；

确定当前帧图像中感兴趣区域所覆盖的范围；

在所述感兴趣区域所覆盖的范围处于任一图像分区内部时，确定感兴趣区域的亮度值等于所述感兴趣区域所对应的图像分区的亮度值。

15.根据权利要求14所述的成像设备，其特征在于，所述处理器，还用于：

分别统计每个图像分区的亮度值；或者

根据当前帧图像中感兴趣区域所覆盖的范围，统计与所述感兴趣区域存在重叠部分的图像分区的亮度值。

16.根据权利要求12或13所述的成像设备，其特征在于，所述处理器，具体还用于：

对当前帧图像进行分区，形成多行多列的图像分区；

确定当前帧图像中感兴趣区域所覆盖的范围；

在所述感兴趣区域所覆盖的范围跨多个图像分区时，确定感兴趣区域的面积，并分别计算感兴趣区域与每个图像分区的重叠部分的加权亮度值；

分别计算各重叠部分的加权亮度值与各自对应的图像分区面积的乘积，并得到所述乘积之和；

将所述乘积之和除以所述感兴趣区域的面积，得到所述感兴趣区域的亮度值。

17.根据权利要求16所述的成像设备，其特征在于，所述处理器，还用于：

分别统计每个图像分区的亮度值；或者

根据当前帧图像中感兴趣区域所覆盖的范围，统计与所述感兴趣区域存在重叠部分的图像分区的亮度值。

18.根据权利要求17所述的成像设备，其特征在于，所述处理器，具体还用于：

确定感兴趣区域与每个图像分区的重叠部分面积；

分别计算各个图像分区的亮度值与各个图像分区各自对应的重叠部分面积的乘积；

将各乘积分别除以各自对应的图像分区面积，得到感兴趣区域与每个图像分区的重叠部分的加权亮度值。

19.根据权利要求10所述的成像设备，其特征在于，所述处理器为现场可编程门阵列。

20.一种车辆，其特征在于，所述车辆设置有权利要求10至19任一项所述的成像设备。

21.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-9任一项所述的图像曝光和增益的调整方法。

Images