CN116709035B - 图像帧的曝光调节方法、装置和计算机存储介质 - Google Patents

Abstract

本发明提供了一种图像帧的曝光调节方法、装置和计算机存储介质。其中，该方法包括：获取同一时间点下摄像头模组发送的当前图像帧和激光雷达发送的当前点云图像帧；分别判断基于当前图像帧和当前点云图像帧是否得到目标对象，并根据判断结果得到当前图像帧中全部目标对象的类型信息和边界框，基于当前图像帧中全部目标对象的类型信息和边界框确定当前图像帧的亮度；基于当前图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数，基于下一帧图像帧的曝光参数控制摄像头模组采集下一帧图像帧。通过激光雷达的对目标对象的跟踪识别自动确定曝光参数，避免了选取固定区域确定曝光参数所带来的鲁棒性下降和准确率下降的问题。

Description

图像帧的曝光调节方法、装置和计算机存储介质

技术领域

本发明涉及智能驾驶技术领域，尤其是涉及一种图像帧的曝光调节方法、装置和计算机存储介质。

背景技术

在智能驾驶的过程中涉及到图像信号采集，在图像采集时候，要将对应的触发时刻的图像经过自动曝光并采集存储，因此自动曝光算法的优劣直接影响到采集到的图像帧质量，进而影响智能驾驶感知算法对目标的识别。

现有的自动曝光方法一般是在图像帧中心、四周等代表区域选取若干块小区域，以求得当前图像帧平均亮度，与预先设定的图像帧目标亮度对比，再通过PID（Proportional Integral Derivative，比例、积分和微分）自动调节曝光时间，使得图像帧亮度达到目标亮度。

然而，在智能驾驶场景由于图像帧的检测目标通常是运动的，目标在图像帧的区域并不固定的。上述现有的自动曝光方法通过人为选取若干区域往往不是目标所在的区域，在各种复杂的驾驶环境下，通过上述人为选择区域求得的平均亮度并不能代表目标区域的亮度。使用上述区域求得的平均亮度与图像帧预设目标亮度去做对比来设定曝光参数，并不能准确匹配检测目标对象的亮度，甚至给检测目标对象带来欠曝和过曝现象，降低感知算法目标识别的准确率，鲁棒性较差。

发明内容

有鉴于此，本发明的目的在于提供一种图像帧的曝光调节方法、装置和计算机存储介质，以提高目标识别的准确率和鲁棒性。

第一方面，本发明实施例提供了一种图像帧的曝光调节方法，方法包括：获取同一时间点下摄像头模组发送的当前图像帧和激光雷达发送的当前点云图像帧；分别判断基于当前图像帧和当前点云图像帧是否得到目标对象，并根据判断结果得到当前图像帧中全部目标对象的类型信息和边界框，基于当前图像帧中全部目标对象的类型信息和边界框确定当前图像帧的亮度；基于当前图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数，基于下一帧图像帧的曝光参数控制摄像头模组采集下一帧图像帧。

在本申请可选的实施例中，若判断结果表征当前图像帧和当前点云图像帧均得到目标对象，根据判断结果得到当前图像帧中全部目标对象的类型信息和边界框的步骤，包括：基于当前图像帧得到目标对象的类型信息和边界框作为第一识别结果；基于当前点云图像帧得到目标对象的类型信息和边界框作为第二识别结果；将第一识别结果和第二识别结果进行数据融合，得到当前图像帧中全部目标对象的类型信息和边界框。

在本申请可选的实施例中，上述将第一识别结果和第二识别结果进行数据融合，得到当前图像帧中全部目标对象的类型信息和边界框的步骤，包括：判断第二识别结果中的目标对象是否存在于摄像头模组的视场范围内；将存在于摄像头模组的视场范围内的第二识别结果中的目标对象作为当前图像帧新增的目标对象，结合第一识别结果，得到当前图像帧中全部目标对象的类型信息和边界框。

在本申请可选的实施例中，上述基于当前图像帧中全部目标对象的类型信息和边界框确定当前图像帧的亮度的步骤，包括：基于当前图像帧中各个目标对象的类型信息确定当前图像帧中各个目标对象的权重；基于当前图像帧中各个目标对象的权重和各个目标对象的边界框内的平均亮度确定当前图像帧的亮度。

在本申请可选的实施例中，上述方法还包括：确定同时存在于第一识别结果和第二识别结果的目标对象的数量与第二识别结果的目标对象的数量的比例，将比例定义为单帧准确率；在一个时间段内统计连续图像帧的单帧准确率，得到一个时间段内的平均准确率；将平均准确率与预设值进行对比，并根据对比结果对目标对象的权重进行调整。

在本申请可选的实施例中，上述将平均准确率与预设值进行对比，并根据对比结果对目标对象的权重进行调整的步骤，包括：若平均准确率低于预设值，提高同时存在于当前图像帧和当前点云图像帧的目标对象的权重。

在本申请可选的实施例中，若判断结果表征当前图像帧没有得到目标对象，当前点云图像帧得到目标对象，根据判断结果得到当前图像帧中全部目标对象的类型信息和边界框的步骤，包括：判断当前点云图像帧中的目标对象是否存在于摄像头模组的视场范围内；将存在于摄像头模组的视场范围内的当前点云图像帧中的目标对象作为当前图像帧中全部目标对象，并确定当前图像帧中全部目标对象的类型信息和边界框。

在本申请可选的实施例中，上述基于当前图像帧中全部目标对象的类型信息和边界框确定当前图像帧的亮度的步骤，包括：基于当前图像帧中各个目标对象的类型信息确定当前图像帧中各个目标对象的权重；基于当前图像帧中各个目标对象的权重和各个目标对象的边界框内的平均亮度确定当前图像帧的亮度。

在本申请可选的实施例中，上述基于当前图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数的步骤，包括：如果当前图像帧的亮度符合预设亮度的参数范围，将当前图像帧的曝光参数作为下一帧图像帧的曝光参数；如果当前图像帧的亮度不符合预设亮度的参数范围，基于图像帧的亮度和当前图像帧的曝光参数确定下一帧图像帧的曝光参数。

在本申请可选的实施例中，上述曝光参数包括曝光增益；基于图像帧的亮度和当前图像帧的曝光参数确定下一帧图像帧的曝光参数的步骤，包括：通过以下算式计算下一帧图像帧的曝光增益：G=Gmin×exp((Ymax-Y)×ln(Yg/Y))；其中，G为下一帧图像帧的曝光增益，Gmin为预设的增益下限值，Ymax为预设的亮度上限值，Y为当前图像帧的亮度，Yg为预设亮度。

在本申请可选的实施例中，上述曝光参数包括曝光时间；基于图像帧的亮度和当前图像帧的曝光参数确定下一帧图像帧的曝光参数的步骤，包括：通过以下算式计算下一帧图像帧的曝光时间：T=exp(Y×ln(Yg/Y))/F²；其中，T为下一帧图像帧的曝光时间，F为摄像头模组的镜头光圈值，Y为当前图像帧的亮度，Yg为预设亮度。

第二方面，本发明实施例还提供一种图像帧的曝光调节装置，装置包括：获取模块，用于获取同一时间点下摄像头模组发送的当前图像帧和激光雷达发送的当前点云图像帧；亮度确定模块，用于分别判断基于当前图像帧和当前点云图像帧是否得到目标对象，并根据判断结果得到当前图像帧中全部目标对象的类型信息和边界框，基于当前图像帧中全部目标对象的类型信息和边界框确定当前图像帧的亮度；曝光参数确定模块，用于基于当前图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数，基于下一帧图像帧的曝光参数控制摄像头模组采集下一帧图像帧。

第三方面，本发明实施例还提供一种计算机存储介质，其存储有计算机程序，计算机程序被执行时，实施上的图像帧的曝光调节方法。

本发明实施例带来了以下有益效果：

本发明实施例通过引入激光雷达的点云图像帧，利用激光雷达的点云图像帧辅助图像帧获取目标对象的边界框；且基于点云图像帧中关于目标对象的类型信息，确定图像帧的亮度；基于图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数。本发明实施例通过激光雷达的对目标对象的跟踪识别自动确定曝光参数，避免了选取固定区域确定曝光参数所带来的鲁棒性下降和准确率下降的问题。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像帧的曝光调节方法的流程图；

图2为本发明实施例提供的另一种图像帧的曝光调节方法的流程图；

图3为本发明实施例提供的一种的车辆的计算平台、摄像头模组和激光雷达的连接关系的示意图；

图4为本发明实施例提供的一个当前图像帧的识别结果的示意图；

图5为本发明实施例提供的一种图像帧的曝光调节装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，在智能驾驶的过程中涉及到图像信号采集，在图像采集时候，要将对应的触发时刻的图像经过自动曝光并采集存储，因此自动曝光算法的优劣直接影响到采集到的图像帧质量，进而影响智能驾驶感知算法对目标的识别。

现有的自动曝光方法一般是在图像帧中心、四周等代表区域选取若干块小区域，以求得当前图像帧平均亮度，与预先设定的图像帧目标亮度对比，再通过PID自动调节曝光时间，使得图像帧亮度达到目标亮度。

然而，在智能驾驶场景由于图像帧的检测目标通常是运动的，目标在图像帧的区域并不固定的。上述现有的自动曝光方法通过人为选取若干区域往往不是目标所在的区域，在各种复杂的驾驶环境下，通过上述人为选择区域求得的平均亮度并不能代表目标区域的亮度。使用上述区域求得的平均亮度与图像帧预设目标亮度去做对比来设定曝光参数，并不能准确匹配检测目标对象的亮度，甚至给检测目标对象带来欠曝和过曝现象，降低感知算法目标识别的准确率，鲁棒性较差。

综上，在智能驾驶领域，图像帧检测目标区域的曝光度关系到目标检测的准确率。基于此，本发明实施例提供的一种图像帧的曝光调节方法、装置和计算机存储介质没具体提供了一种针对检测目标的自动曝光算法，可以在各种光线条件下，使得检测目标的曝光度始终适应环境的光线变化和光线分布不均匀带来的挑战，有效提高了感知算法通过图像准确识别各种目标比如人、车、障碍物的准确率。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像帧的曝光调节方法进行详细介绍。

实施例一：

本发明实施例提供一种图像帧的曝光调节方法，参见图1所示的一种图像帧的曝光调节方法的流程图，该图像帧的曝光调节方法包括如下步骤：

步骤S102，获取同一时间点下摄像头模组发送的当前图像帧和激光雷达发送的当前点云图像帧。

本实施例提供的方法可以应用于车辆，也可以应用于火车、飞机等载具。以应用于车辆为例，本实施例中车辆的计算平台与摄像头模组连接，计算平台还与激光雷达连接。因此，计算平台可以摄像头模组发送的当前图像帧和激光雷达发送的当前点云图像帧。

车辆的计算平台的主要功能是以环境感知数据、导航定位信息、车辆实时数据、云端平台数据和其他V2X（Vehicle to Everything，车与外界的信息交换）交换数据等作为输入，基于环境感知定位、智能规划决策和车辆运动控制等核心控制算法，输出驱动、传动、转向和制动等执行控制指令，实现车辆的自动控制，并向云端平台以及V2X设备输出数据，还能够通过人机交互界面，实现车辆驾驶信息的人机交互。

车辆的摄像头模组用于采集车辆周围的图像帧，并可以将采集的图像帧发送至车辆的计算平台。

车辆的激光雷达可以是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对目标进行探测、跟踪和识别。

本实施例中的激光雷达用于点云图像帧的采集；摄像头模块实现图像帧采集功能，支持外部脉冲触发输出图像帧。摄像头模块的图像帧数据输出接口可以连接到计算平台的图像帧输入接口。计算平台通过图像帧输入接口读取图像帧数据，通过通讯接口读取点云图像帧，通过感知算法进行目标识别，计算图像帧检测预设亮度和曝光参数。

因此，本实施例中可以获取同一时间点下摄像头模组发送的图像帧称为当前图像帧，和激光雷达发送的点云图像帧称为当前点云图像帧。

步骤S104，分别判断基于当前图像帧和当前点云图像帧是否得到目标对象，并根据判断结果得到当前图像帧中全部目标对象的类型信息和边界框，基于当前图像帧中全部目标对象的类型信息和边界框确定当前图像帧的亮度。

在获取当前图像帧和当前点云图像帧之后，可以分别确定当前图像帧包括的全部目标对象的类型信息和边界框和当前点云图像帧包括的全部目标对象的类型信息和边界框，得到判断结果。其中，类型信息可以为人类、动物、车辆、树木等道路中常见的目标类型，边界框可以为正方形、长方形、圆形等图形，边界框可以完全覆盖识别的目标对象。

此外，本实施例中可以仅通过当前图像帧检测当前图像帧包括的全部目标对象的类型信息和边界框，也可以通过当前图像帧和当前点云图像帧共同检测当前图像帧包括的全部目标对象的类型信息和边界框，本实施例对此不做限定。

在确定当前图像帧包括的全部目标对象的类型信息和边界框之后，本实施例可以基于当前图像帧中全部目标对象的类型信息和边界框确定当前图像帧的亮度。

也就是说，本实施例中可以确定边界框内的平均亮度，根据边界框内的平均亮度确定当前图像帧的亮度，从而保证当前图像帧的亮度可以代表包含目标的区域的亮度，对于当前图像帧包括的各个目标对象不会存在欠曝和过曝。其中，目标对象的类型信息可以用于确定计算当前图像帧的亮度的权重。

步骤S106，基于当前图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数，基于下一帧图像帧的曝光参数控制摄像头模组采集下一帧图像帧。

在确定当前图像帧的亮度之后，本实施例可以根据当前图像帧的亮度和预先亮度确定下一帧图像帧的曝光参数，摄像头模组可以根据计算得到的下一帧图像帧的曝光参数采集下一帧图像帧。

本发明实施例提供了一种图像帧的曝光调节方法，通过引入激光雷达的点云图像帧，利用激光雷达的点云图像帧辅助图像帧获取目标对象的边界框；且基于点云图像帧中关于目标对象的类型信息，确定图像帧的亮度；基于图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数。本发明实施例通过激光雷达的对目标对象的跟踪识别自动确定曝光参数，避免了选取固定区域确定曝光参数所带来的鲁棒性下降和准确率下降的问题。

实施例二：

本实施例提供了另一种图像帧的曝光调节方法，该方法在上述实施例的基础上实现，参见图2所示的另一种图像帧的曝光调节方法的流程图，本实施例中的图像帧的曝光调节方法包括如下步骤：

步骤S202，获取同一时间点下摄像头模组发送的当前图像帧和激光雷达发送的当前点云图像帧。

以应用于车辆为例，车辆的计算平台可以向车辆的摄像头模组发送触发脉冲，获取摄像头模组基于触发脉冲发送的当前图像帧；车辆的计算平台获取激光雷达发送的与当前图像帧的采集时刻相同的当前点云图像帧。

参见图3所示的一种的车辆的计算平台、摄像头模组和激光雷达的连接关系的示意图。如图3所示，计算平台和摄像头模组可以通过触发接口进行交互，计算平台可以向摄像头模组发送触发脉冲，摄像头模组曝光并发送图像帧至计算平台。计算平台和激光雷达可以通过通讯接口进行交互。

在一些实施例中，获取车辆的摄像头模组发送的当前图像帧和车辆的激光雷达发送的当前点云图像帧的步骤之前，可以向车辆的激光雷达授时，以使计算平台和激光雷达的时钟同步。

本实施例中的计算平台可以通过图3所示的通讯接口向激光雷达授时，保证计算平台和激光雷达的时钟同步。计算平台可以设定摄像头模组采集图像帧的曝光参数的初始值，输出触发脉冲到摄像头模组，摄像头模组开启图像帧曝光和采集，此时激光雷达可以同步地以固定的帧率采集点云图像帧。

步骤S204，分别判断基于当前图像帧和当前点云图像帧是否得到目标对象，并根据判断结果得到当前图像帧中全部目标对象的类型信息和边界框，基于当前图像帧中全部目标对象的类型信息和边界框确定当前图像帧的亮度。

本实施例提供的方法可以应用于以下场景：1、图像曝光出问题，但是部分目标对象还可以进行目标识别的场景。2、图像曝光问题很严重，已经单独无法进行目标识别的场景。

对于图像曝光出问题，但是部分目标对象还可以进行目标识别的场景，判断结果表征当前图像帧和当前点云图像帧均得到目标对象。在一些实施例中，可以基于当前图像帧得到目标对象的类型信息和边界框作为第一识别结果；基于当前点云图像帧得到目标对象的类型信息和边界框作为第二识别结果；将第一识别结果和第二识别结果进行数据融合，得到当前图像帧中全部目标对象的类型信息和边界框。

也即，可以通过当前图像帧识别目标对象得到目标对象的类型信息和边界框作为第一识别结果，通过当前点云图像帧识别目标对象得到目标对象的类型信息和边界框作为第二识别结果，将第一识别结果和第二识别结果进行数据融合得到最终的识别结果。

其中，通过当前点云图像帧识别目标对象得到目标对象的类型信息和边界框作为第二识别结果时，在一些实施例中，可以判断第二识别结果中的目标对象是否存在于摄像头模组的视场范围内；将存在于摄像头模组的视场范围内的第二识别结果中的目标对象作为当前图像帧新增的目标对象，结合第一识别结果，得到当前图像帧中全部目标对象的类型信息和边界框。

也即，可以将存在于摄像头模组的视场范围内的第二识别结果中的目标对象作为当前图像帧新增的目标对象。再将新增的目标对象与第一识别结果中的目标对象结合，得到当前图像帧中全部目标对象的类型信息和边界框。

本实施例中还可以对目标对象的权重进行调整，在一些实施例中，可以确定同时存在于第一识别结果和第二识别结果的目标对象的数量与第二识别结果的目标对象的数量的比例，将比例定义为单帧准确率；在一个时间段内统计连续图像帧的单帧准确率，得到一个时间段内的平均准确率；将平均准确率与预设值进行对比，并根据对比结果对目标对象的权重进行调整。

本实施例可以先定义单帧准确率：确定同时存在于第一识别结果和第二识别结果的目标对象的数量A与第二识别结果的目标对象的数量B的比例A/B，将比例定义A/B为单帧准确率。

此外，还可以定义平均准确率：在一个时间段（例如1秒或10帧）内统计连续图像帧的单帧准确率，得到一个时间段内的平均准确率。

在确定平均准确率之后，可以根据平均准确率和预设值调整目标对象的权重。在一些实施例中，若平均准确率低于预设值，提高同时存在于当前图像帧和当前点云图像帧的目标对象的权重。

如果平均准确率低于预设值，则可以提高同时存在于当前图像帧和当前点云图像帧的目标对象的权重，之后可以确定下一帧图像帧的曝光参数，写入摄像头模组寄存器中。如果平均准确率不低于预设值，则不需要调整目标对象的权重，可以将目标对象的权重写入存储区作为固化参数，继续执行后续步骤确定下一帧图像帧的曝光参数，从而进一步提高提高目标识别的准确率和鲁棒性。

此外，对于图像曝光问题很严重，已经单独无法进行目标识别的场景，判断结果表征当前图像帧没有得到目标对象，当前点云图像帧得到目标对象。在一些实施例中，可以判断当前点云图像帧中的目标对象是否存在于摄像头模组的视场范围内；将存在于摄像头模组的视场范围内的当前点云图像帧中的目标对象作为当前图像帧中全部目标对象，并确定当前图像帧中全部目标对象的类型信息和边界框。

对于以上场景，已经不能通过当前图像帧识别目标对象，因此，可以直接将当前点云图像帧中的存在于摄像头模组的视场范围内的目标对象直接作为当前图像帧中全部目标对象，再确定当前图像帧中全部目标对象的类型信息和边界框。

在计算当前图像帧的亮度时，可以计算当前图像帧的边界框内像素点平均亮度，再根据类型信息对应的预设权重求出当前图像帧的亮度。

在一些实施例中，对于上述的2个场景，均可以基于当前图像帧中各个目标对象的类型信息确定当前图像帧中各个目标对象的权重；基于当前图像帧中各个目标对象的权重和各个目标对象的边界框内的平均亮度确定当前图像帧的亮度。

本实施例中可以以当前图像帧包括2个目标为例进行说明，参见图4所示的一个当前图像帧的识别结果的示意图，当前图像帧包括2个目标对象A和B，当前图像帧示出了目标对象A和目标对象B的边界框。

可以通过以下算式计算当前图像帧的亮度：P=(M×A+N×B)/(M+N)；其中，P为当前图像帧的亮度，A、B分别为检测到的目标对象A和B的边界框内平均亮度，M、N分别为目标对象A和B的权重。其中，相同类型信息的目标对象的权重可以相同。

因此，本实施例可以保证当前图像帧的亮度可以代表目标的包含目标的区域（即边界框）的亮度，对于当前图像帧包括的各个目标对象不会存在欠曝和过曝，从而提高目标识别的准确率和鲁棒性。

步骤S206，如果当前图像帧的亮度符合预设亮度的参数范围，将当前图像帧的曝光参数作为下一帧图像帧的曝光参数；如果当前图像帧的亮度不符合预设亮度的参数范围，基于图像帧的亮度和当前图像帧的曝光参数确定下一帧图像帧的曝光参数。

本实施例中可以设置有预设亮度表，预设亮度表可以包括预设亮度。因此，本实施例可以将当前图像帧的亮度与预设亮度进行对比。如果当前图像帧的平均亮度不符合预设亮度的参数范围，则需要调整下一帧图像帧的曝光参数；如果当前图像帧的平均亮度符合预设亮度的参数范围，则不需要调整下一帧图像帧的曝光参数。

在一些实施例中，曝光参数包括：曝光时间和曝光增益；由于摄像头模组中的摄像头的光圈是固定的，调节曝光参数是通过曝光时间和感光度ISO（即曝光增益）的组合来实现的。本实施例中可以将曝光时间和感光度ISO写入摄像头模组寄存器，在触发下一帧图像帧采集时生效。

在一些实施例中，可以通过以下算式计算下一帧图像帧的曝光增益：G=Gmin×exp((Ymax-Y)×ln(Yg/Y))；其中，G为下一帧图像帧的曝光增益，Gmin为预先设置的增益下限值，Ymax为预先设置的亮度上限值，Y为前述步骤计算得到的当前图像帧的亮度，Yg为预先设置的当前图像帧的亮度对应的预设亮度。其中，Yg可以通过预设亮度表读取。

在一些实施例中，可以通过以下算式计算下一帧图像帧的曝光时间：T=exp(Y×ln(Yg/Y))/F²；其中，T为下一帧图像帧的曝光时间，F为摄像头模组的镜头光圈，Y为前述步骤计算得到的当前图像帧的亮度，Yg为预先设置的当前图像帧的亮度对应的预设亮度。

其中，预设亮度表中可以设置当前图像帧的亮度与预设亮度的对应关系。在一些实施例中，当前图像帧的亮度对应的预设亮度与各个目标对象的类型信息相关。

本实施例中的预设亮度表可以基于目标类型和目标类型可能出现的组合来制定，应考虑到目标类型的所有组合情况。参见表1所示的一种预设亮度表，以目标对象仅可能有目标A和/或目标B为例，如果当前图像帧仅包括目标对象A，则预设亮度为Y1；如果当前图像帧仅包括目标对象B，则预设亮度为Y2；如果当前图像帧仅包括目标对象A和目标对象B，则预设亮度为Y3。

表1 一种预设亮度表

另外需要说明的是，如果当前图像帧识别后不包括目标对象，则下一帧图像帧的曝光参数可以保持不变，即将当前图像帧的曝光参数作为下一帧图像帧的曝光参数。

本实施例提供的上述方法，通过引入激光雷达的点云图像帧，利用激光雷达的点云图像帧辅助图像帧获取目标对象的边界框；且基于点云图像帧中关于目标对象的类型信息，确定图像帧的亮度；基于图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数。本发明实施例通过激光雷达的对目标对象的跟踪识别自动确定曝光参数，避免了选取固定区域确定曝光参数所带来的鲁棒性下降和准确率下降的问题。

本实施例可以保证当前图像帧的亮度可以代表目标的包含目标的区域（即边界框）的亮度，对于当前图像帧包括的各个目标对象不会存在欠曝和过曝，从而提高目标识别的准确率和鲁棒性。

本实施例还可以对目标对象的权重进行调整，从而进一步提高提高目标识别的准确率和鲁棒性。

实施例三：

对应于上述方法实施例，本发明实施例提供了一种图像帧的曝光调节装置，参见图5所示的一种图像帧的曝光调节装置的结构示意图，该图像帧的曝光调节装置包括：

获取模块51，用于获取同一时间点下摄像头模组发送的当前图像帧和激光雷达发送的当前点云图像帧；

亮度确定模块52，用于分别判断基于当前图像帧和当前点云图像帧是否得到目标对象，并根据判断结果得到当前图像帧中全部目标对象的类型信息和边界框，基于当前图像帧中全部目标对象的类型信息和边界框确定当前图像帧的亮度；

曝光参数确定模块53，用于基于当前图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数，基于下一帧图像帧的曝光参数控制摄像头模组采集下一帧图像帧。

本发明实施例提供了一种图像帧的曝光调节装置，通过引入激光雷达的点云图像帧，利用激光雷达的点云图像帧辅助图像帧获取目标对象的边界框；且基于点云图像帧中关于目标对象的类型信息，确定图像帧的亮度；基于图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数。本发明实施例通过激光雷达的对目标对象的跟踪识别自动确定曝光参数，避免了选取固定区域确定曝光参数所带来的鲁棒性下降和准确率下降的问题。

若判断结果表征当前图像帧和当前点云图像帧均得到目标对象，上述亮度确定模块，用于基于当前图像帧得到目标对象的类型信息和边界框作为第一识别结果；基于当前点云图像帧得到目标对象的类型信息和边界框作为第二识别结果；将第一识别结果和第二识别结果进行数据融合，得到当前图像帧中全部目标对象的类型信息和边界框。

上述亮度确定模块，用于判断第二识别结果中的目标对象是否存在于摄像头模组的视场范围内；将存在于摄像头模组的视场范围内的第二识别结果中的目标对象作为当前图像帧新增的目标对象，结合第一识别结果，得到当前图像帧中全部目标对象的类型信息和边界框。

上述亮度确定模块，用于基于当前图像帧中各个目标对象的类型信息确定当前图像帧中各个目标对象的权重；基于当前图像帧中各个目标对象的权重和各个目标对象的边界框内的平均亮度确定当前图像帧的亮度。

上述亮度确定模块，还用于确定同时存在于第一识别结果和第二识别结果的目标对象的数量与第二识别结果的目标对象的数量的比例，将比例定义为单帧准确率；在一个时间段内统计连续图像帧的单帧准确率，得到一个时间段内的平均准确率；将平均准确率与预设值进行对比，并根据对比结果对目标对象的权重进行调整。

上述亮度确定模块，用于若平均准确率低于预设值，提高同时存在于当前图像帧和当前点云图像帧的目标对象的权重。

若判断结果表征当前图像帧没有得到目标对象，当前点云图像帧得到目标对象，上述亮度确定模块，用于判断当前点云图像帧中的目标对象是否存在于摄像头模组的视场范围内；将存在于摄像头模组的视场范围内的当前点云图像帧中的目标对象作为当前图像帧中全部目标对象，并确定当前图像帧中全部目标对象的类型信息和边界框。

上述亮度确定模块，用于基于当前图像帧中各个目标对象的类型信息确定当前图像帧中各个目标对象的权重；基于当前图像帧中各个目标对象的权重和各个目标对象的边界框内的平均亮度确定当前图像帧的亮度。

上述曝光参数确定模块，用于如果当前图像帧的亮度符合预设亮度的参数范围，将当前图像帧的曝光参数作为下一帧图像帧的曝光参数；如果当前图像帧的亮度不符合预设亮度的参数范围，基于图像帧的亮度和当前图像帧的曝光参数确定下一帧图像帧的曝光参数。

上述曝光参数包括曝光增益；上述曝光参数确定模块，用于通过以下算式计算下一帧图像帧的曝光增益：G=Gmin×exp((Ymax-Y)×ln(Yg/Y))；其中，G为下一帧图像帧的曝光增益，Gmin为预设的增益下限值，Ymax为预设的亮度上限值，Y为当前图像帧的亮度，Yg为预设亮度。

上述曝光参数包括曝光时间；上述曝光参数确定模块，用于通过以下算式计算下一帧图像帧的曝光时间：T=exp(Y×ln(Yg/Y))/F²；其中，T为下一帧图像帧的曝光时间，F为摄像头模组的镜头光圈值，Y为当前图像帧的亮度，Yg为预设亮度。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像帧的曝光调节装置的具体工作过程，可以参考前述的图像帧的曝光调节方法的实施例中的对应过程，在此不再赘述。

实施例四：

本发明实施例还提供了一种电子设备，用于运行上述图像帧的曝光调节方法；参见图6所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述图像帧的曝光调节方法。

进一步地，图6所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口103（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述图像帧的曝光调节方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的图像帧的曝光调节方法、装置和计算机存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种图像帧的曝光调节方法，其特征在于，所述方法包括：

获取同一时间点下摄像头模组发送的当前图像帧和激光雷达发送的当前点云图像帧；

分别判断基于所述当前图像帧和所述当前点云图像帧是否得到目标对象，并根据判断结果得到所述当前图像帧中全部目标对象的类型信息和边界框，基于所述当前图像帧中全部目标对象的类型信息和边界框确定所述当前图像帧的亮度；

基于所述当前图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数，基于所述下一帧图像帧的曝光参数控制摄像头模组采集所述下一帧图像帧；

若所述判断结果表征所述当前图像帧和所述当前点云图像帧均得到目标对象，根据判断结果得到所述当前图像帧中全部目标对象的类型信息和边界框的步骤，包括：基于所述当前图像帧得到目标对象的类型信息和边界框作为第一识别结果；基于所述当前点云图像帧得到目标对象的类型信息和边界框作为第二识别结果；判断所述第二识别结果中的目标对象是否存在于所述摄像头模组的视场范围内；将存在于所述摄像头模组的视场范围内的第二识别结果中的目标对象作为所述当前图像帧新增的目标对象，结合第一识别结果，得到所述当前图像帧中全部目标对象的类型信息和边界框。

2.根据权利要求1所述的方法，其特征在于，基于所述当前图像帧中全部目标对象的类型信息和边界框确定所述当前图像帧的亮度的步骤，包括：

基于所述当前图像帧中各个所述目标对象的类型信息确定所述当前图像帧中各个所述目标对象的权重；

基于所述当前图像帧中各个所述目标对象的权重和各个所述目标对象的边界框内的平均亮度确定所述当前图像帧的亮度。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

确定同时存在于所述第一识别结果和所述第二识别结果的目标对象的数量与所述第二识别结果的目标对象的数量的比例，将所述比例定义为单帧准确率；

在一个时间段内统计连续图像帧的所述单帧准确率，得到一个时间段内的平均准确率；

将所述平均准确率与预设值进行对比，并根据对比结果对所述目标对象的权重进行调整。

4.根据权利要求3所述的方法，其特征在于，将所述平均准确率与预设值进行对比，并根据对比结果对所述目标对象的权重进行调整的步骤，包括：

若所述平均准确率低于预设值，提高同时存在于所述当前图像帧和所述当前点云图像帧的目标对象的权重。

5.根据权利要求1所述的方法，其特征在于，若所述判断结果表征所述当前图像帧没有得到目标对象，所述当前点云图像帧得到目标对象，根据判断结果得到所述当前图像帧中全部目标对象的类型信息和边界框的步骤，包括：

判断所述当前点云图像帧中的目标对象是否存在于所述摄像头模组的视场范围内；

将存在于所述摄像头模组的视场范围内的当前点云图像帧中的目标对象作为所述当前图像帧中全部目标对象，并确定所述当前图像帧中全部目标对象的类型信息和边界框。

6.根据权利要求5所述的方法，其特征在于，基于所述当前图像帧中全部目标对象的类型信息和边界框确定所述当前图像帧的亮度的步骤，包括：

基于所述当前图像帧中各个所述目标对象的类型信息确定所述当前图像帧中各个所述目标对象的权重；

基于所述当前图像帧中各个所述目标对象的权重和各个所述目标对象的边界框内的平均亮度确定所述当前图像帧的亮度。

7.根据权利要求1至6中任一项所述的方法，其特征在于，基于所述当前图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数的步骤，包括：

如果所述当前图像帧的亮度符合预设亮度的参数范围，将所述当前图像帧的曝光参数作为下一帧图像帧的曝光参数；

如果所述当前图像帧的亮度不符合所述预设亮度的参数范围，基于所述图像帧的亮度和所述当前图像帧的曝光参数确定所述下一帧图像帧的曝光参数。

8.根据权利要求7所述的方法，其特征在于，所述曝光参数包括曝光增益；基于所述图像帧的亮度和所述当前图像帧的曝光参数确定所述下一帧图像帧的曝光参数的步骤，包括：

通过以下算式计算所述下一帧图像帧的曝光增益：

G=Gmin×exp((Ymax-Y)×ln(Yg/Y))；

其中，G为所述下一帧图像帧的曝光增益，Gmin为预设的增益下限值，Ymax为预设的亮度上限值，Y为所述当前图像帧的亮度，Yg为预设亮度。

9.根据权利要求7所述的方法，其特征在于，所述曝光参数包括曝光时间；基于所述图像帧的亮度和所述当前图像帧的曝光参数确定所述下一帧图像帧的曝光参数的步骤，包括：

通过以下算式计算所述下一帧图像帧的曝光时间：

T=exp(Y×ln(Yg/Y))/F²；

其中，T为所述下一帧图像帧的曝光时间，F为所述摄像头模组的镜头光圈值，Y为所述当前图像帧的亮度，Yg为预设亮度。

10.一种图像帧的曝光调节装置，其特征在于，所述装置包括：

获取模块，用于获取同一时间点下摄像头模组发送的当前图像帧和激光雷达发送的当前点云图像帧；

亮度确定模块，用于分别判断基于所述当前图像帧和所述当前点云图像帧是否得到目标对象，并根据判断结果得到所述当前图像帧中全部目标对象的类型信息和边界框，基于所述当前图像帧中全部目标对象的类型信息和边界框确定所述当前图像帧的亮度；

曝光参数确定模块，用于基于所述当前图像帧的亮度和预设亮度确定下一帧图像帧的曝光参数，基于所述下一帧图像帧的曝光参数控制摄像头模组采集所述下一帧图像帧；

若所述判断结果表征所述当前图像帧和所述当前点云图像帧均得到目标对象，所述亮度确定模块，用于基于所述当前图像帧得到目标对象的类型信息和边界框作为第一识别结果；基于所述当前点云图像帧得到目标对象的类型信息和边界框作为第二识别结果；判断所述第二识别结果中的目标对象是否存在于所述摄像头模组的视场范围内；将存在于所述摄像头模组的视场范围内的第二识别结果中的目标对象作为所述当前图像帧新增的目标对象，结合第一识别结果，得到所述当前图像帧中全部目标对象的类型信息和边界框。

11.一种计算机存储介质，其特征在于，其存储有计算机程序，所述计算机程序被执行时，实施根据权利要求1至9中任一项所述的图像帧的曝光调节方法。