CN117835066A - 融合图像深度的双摄曝光参数的调整方法和装置 - Google Patents

Abstract

本申请实施例提供一种融合图像深度的双摄曝光参数的调整方法和装置，通过双摄获取同一时刻的两张图像，并获取第一图像和第二图像的亮度统计值，获取第一图像和所述第二图像的深度统计值，根据第一图像的深度统计值对第一图像的亮度统计值进行融合处理，得到第一图像的融合亮度统计值，根据第二图像的深度统计值对第二图像的亮度统计值进行融合处理，得到第二图像的融合亮度统计值，分别根据两张图像的亮度融合统计值，调整两个摄像头的曝光参数。该方法在计算双摄的图像的亮度统计值时，融合了图像的深度信息进行加权统计，使得双摄自动曝光后的亮度分布更加符合人眼感知。

Description

融合图像深度的双摄曝光参数的调整方法和装置

技术领域

本申请实施例涉及计算机视觉技术领域，尤其涉及一种融合图像深度的双摄曝光参数的调整方法和装置。

背景技术

双摄像头(以下简称“双摄”)系统因其具备更宽阔的视场角、更优质的暗光画质以及多一维深度信息的获取能力，已被广泛应用于手机的拍照、视频增强手段或虚拟现实(Virtual Reality，VR)/增强现实(Augmented Reality，AR)头戴设备进行空间感知等。

双摄图像的亮度的一致性会极大地影响拍照、视频融合增强算法VR/AR头戴设备的空间感知定位相关算法的性能和效果。现有技术采用自动曝光算法来保持双摄图像的亮度一致性，通过预先标定的双摄相机内外参，估计出双摄的共视区域，对共视区域的亮度统计特性提高权重，进而使得双摄共视区域的亮度更加一致，符合人眼的视觉感知。

但是，这种方法的缺陷在于双摄的共视区域是一个变量，共视区域面积随着观测目标深度的提升从零共视逐渐增大，而该方法并未考虑深度这一特性的影响，通过共视区域的估计得到的亮度并不准确。

发明内容

本申请实施例提供一种融合图像深度的双摄曝光参数的调整方法和装置，在计算双摄的图像的亮度统计值时，融合了图像的深度信息进行加权统计，使得双摄自动曝光后的亮度分布更加符合人眼感知。

第一方面，本申请实施例提供一种融合图像深度的双摄曝光参数的调整方法，所述方法包括：

通过第一摄像头获取第一图像，以及通过第二摄像头获取第二图像，所述第一图像和所述第二图像为同一时刻的图像；

获取所述第一图像和所述第二图像的亮度统计值；

获取所述第一图像和所述第二图像的深度统计值；

根据所述第一图像的深度统计值对所述第一图像的亮度统计值进行融合处理，得到所述第一图像的融合亮度统计值，根据所述第二图像的深度统计值对所述第二图像的亮度统计值进行融合处理，得到所述第二图像的融合亮度统计值；

根据所述第一图像的亮度融合统计值，调整所述第一摄像头的曝光参数，根据所述第二图像的亮度融合统计值，调整所述第二摄像头的曝光参数。

在一些实施例中，所述获取所述第一图像和所述第二图像的深度统计值，包括：

获取所述第一图像和所述第二图像的匹配特征点的深度信息；

根据所述匹配特征点的深度信息，分别确定所述第一图像和所述第二图像的深度统计值。

在一些实施例中，所述获取所述第一图像和所述第二图像的匹配特征点的深度信息，包括：

分别提取所述第一图像和所述第二图像的特征点；

将所述第一图像的特征点和所述第二图像的特征点进行匹配；

读取所述第一摄像头和所述第二摄像头的内、外参数；

根据所述第一摄像头和所述第二摄像头的内、外参数，以及所述匹配特征点，使用三角化方法测量得到所述匹配特征点的深度信息。

在一些实施例中，所述获取所述第一图像和所述第二图像的亮度统计值之前，还包括：

分别将所述第一图像和所述第二图像划分为固定大小的多个图像块。

在一些实施例中，所述根据所述匹配特征点的深度信息，分别确定所述第一图像和所述第二图像的深度统计值，包括：

根据所述匹配特征点的深度信息，计算所述第一图像的各图像块的深度统计值以及所述第二图像的各图像块的深度统计值。

在一些实施例中，所述获取所述第一图像和所述第二图像的亮度统计值，包括：

分块计算各个图像块的亮度统计值。

在一些实施例中，所述根据所述第一图像的深度统计值对所述第一图像的亮度统计值进行融合处理，得到所述第一图像的融合亮度统计值，以及根据所述第二图像的深度统计值对所述第二图像的亮度统计值进行融合处理，得到所述第二图像的融合亮度统计值，包括：

对目标图像的各图像块的亮度统计值进行归一化处理，得到所述目标图像的亮度矩阵，所述目标图像为所述第一图像或者所述第二图像；

对所述目标图像的各图像块的深度统计值进行归一化处理，得到所述目标图像的深度权重矩阵；

将所述目标图像的深度权重矩阵和亮度矩阵进行融合，得到所述目标图像的融合亮度统计值。

在一些实施例中，所述将所述目标图像的深度权重矩阵和亮度矩阵进行融合，得到所述目标图像的融合亮度统计值，包括：

将所述目标图像的深度权重矩阵和亮度矩阵的对应元素相乘，并将相乘后的所有元素进行加和，得到所述目标图像的融合亮度统计值。

在一些实施例中，所述将所述目标图像的深度权重矩阵和亮度矩阵进行融合，得到所述目标图像的融合亮度统计值，包括：

将所述目标图像的深度权重矩阵和亮度矩阵的对应元素相乘，将相乘后的所有元素进行加和，得到所述目标图像的融合亮度统计值。

在一些实施例中，所述根据所述第一图像的亮度融合统计值，调整所述第一摄像头的曝光参数，根据所述第二图像的亮度融合统计值，调整所述第二摄像头的曝光参数包括：

根据所述第一图像的亮度融合统计值、所述第二图像的亮度融合统计值和预设的目标亮度值，确定所述第一摄像头和所述第二摄像头的曝光参数变化量；

根据所述第一摄像头和所述第二摄像头的曝光参数变化量，调整所述第一摄像头的曝光参数和所述第二摄像头的曝光参数。

另一方面，本申请实施例提供一种融合图像深度的双摄曝光参数的调整装置，所述装置包括：

图像获取模块，用于通过第一摄像头获取第一图像，以及通过第二摄像头获取第二图像，所述第一图像和所述第二图像为同一时刻的图像；

亮度统计模块，用于获取所述第一图像和所述第二图像的亮度统计值；

深度统计模块，用于获取所述第一图像和所述第二图像的深度统计值；

融合模块，用于根据所述第一图像的深度统计值对所述第一图像的亮度统计值进行融合处理，得到所述第一图像的融合亮度统计值，根据所述第二图像的深度统计值对所述第二图像的亮度统计值进行融合处理，得到所述第二图像的融合亮度统计值；

调整模块，用于根据所述第一图像的亮度融合统计值，调整所述第一摄像头的曝光参数，根据所述第二图像的亮度融合统计值，调整所述第二摄像头的曝光参数。

另一方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如上述任一项所述的方法。

另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序使得计算机执行如上述任一项所述的方法。

另一方面，本申请实施例提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的方法。

本申请实施例提供的融合图像深度的双摄曝光参数的调整方法和装置，通过双摄获取同一时刻的两张图像，并获取第一图像和第二图像的亮度统计值，获取第一图像和所述第二图像的深度统计值，根据第一图像的深度统计值对第一图像的亮度统计值进行融合处理，得到第一图像的融合亮度统计值，根据第二图像的深度统计值对第二图像的亮度统计值进行融合处理，得到第二图像的融合亮度统计值，分别根据两张图像的亮度融合统计值，调整两个摄像头的曝光参数。该方法在计算双摄的图像的亮度统计值时，融合了图像的深度信息进行加权统计，使得双摄自动曝光后的亮度分布更加符合人眼感知。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请适用的一种双摄曝光参数的调整方法的流程图；

图2为本申请实施例一提供的融合图像深度的双摄曝光参数的调整方法的流程图；

图3为本申请实施例二提供的融合图像深度的双摄曝光参数的调整方法的流程图；

图4为本申请实施例三提供的融合图像深度的双摄曝光参数的调整方法的流程图；

图5为本申请实施例四提供的融合图像深度的双摄曝光参数的调整装置的结构示意图；

图6为本申请实施例五提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种融合图像深度的双摄曝光参数的调整方法，应用在具有双摄系统的电子设备中，双摄系统也可以称为深度相机(depth camera)。传统相机获取到的图像为红绿蓝RGB图像，而深度相机除了获取RGB图像外，还能够获取到图像的深度信息(depth)，图像的深度信息对于三维重建等技术意义重大。

对于现实场景中的点，深度相机扫描得到的每一帧数据不仅包括了场景中的点的RGB图像，还包括每个点到深度相机所在的垂直平面的距离值，该距离值被称为深度值(depth)，这些深度值共同组成了该帧的深度图像。

双摄的视差随着深度距离的提升而逐渐缩小，且自然界中物体所反射的光在传播过程中会随着深度的增加而经历更多级的散射与衍射，使得光的传播方向、强度分布都更加均匀，因此越大的深度会使得双摄观测到的物体亮度更趋于一致。基于此，本申请实施例提供一种融合图像深度的双摄曝光参数的调整方法，在计算双摄的曝光参数时，考虑了图像的深度信息对亮度的影响，从而使得双摄曝光后的亮度分布更加符合人眼感知。

图1为本申请适用的一种双摄曝光参数的调整方法的流程图，如图1所示，该双摄曝光参数的调整方法包括如下步骤。

S101、获取双摄的内参和外参。

通过双目标定可以获取左、右摄像头(以下简称左摄和右摄)的内参(也称为相机内参数)、外参(也称为相机外参数)和畸变参数。相机标定实际是世界坐标到像素坐标的映射关系的解算，一旦解算出该映射关系，就可以由点的像素坐标去反推它的世界坐标。

内参是与相机自身特性相关的参数，比如相机的焦距、像素大小等，外参是在世界坐标系中的参数，比如相机的位置、旋转方向等。示例性的，内参包括相机的焦距(fx，fy)，图像主点(cx，cy)，外参包括左摄相对于右摄的旋转矩阵和平移向量，畸变系数包括径向畸变系数(k1，k2，k3)和切向畸变系数(p1，p2)。

S102a、获取左摄的图像。

S102b、获取右摄的图像。

其中，步骤S102a和S102b同时执行，两个摄像头拍摄到的图像是同一时刻的图像。双摄系统中，两个摄像头基于自身的属性分别进行各自各项参数的调整，以保证各自获取到的图像清晰。

S103、融合图像深度获取双摄图像的融合亮度统计值。

不同于现有技术，本步骤在获取双摄图像各自的亮度统计值时，融合了图像的深度信息，具体融合方法参照下述实施例。

S104a、比对左摄的融合亮度统计值与目标亮度统计值。

S105a、根据对比结果调整左摄的曝光参数。

S104b、比对右摄的融合亮度统计值与目标亮度统计值。

S105a、根据比对结果调整右摄的曝光参数。

其中，步骤S104a、S105a与S104b、S105b并行执行。左摄和右摄的曝光参数包括但不限于：曝光时间ExposureTime(以下简称Time)和曝光增益Gain。

比对用于获取左摄、右摄当前帧的亮度值对应的曝光参数和目标亮度值对应的目标曝光参数的变化量。

一种实现方式中，曝光参数的变化量可以为曝光参数比例。例如，当前帧的融合亮度统计值对应的曝光量为100，而目标亮度值对应的目标曝光量为60，其中，设备中存储有亮度统计值和曝光量的对应关系，在计算得到当前帧的融合亮度统计值后，根据该融合亮度统计值查询该对应关系，得到该融合亮度统计值对应的曝光量。

其中，曝光量为Gain*Time，那么曝光参数的变化量为60/100＝0.6。假设当前帧的曝光参数为Gain＝10倍，Time＝15毫秒，那么下一帧图像的曝光量为：Gain*Time＝10*15*0.6＝90。

另一种实现方式中，曝光参数的变化量可以为曝光参数的加权比例，示例性的，加权比例＝目标曝光量/(a*当前帧的曝光量+(1-a)目标曝光量)，其中，目标曝光量是指目标亮度值对应的曝光量，a为加权系数，a的取值为0-1，示例性的，a的取值为0.8，目标曝光量为60，当前帧的曝光量为100，那么加权比例＝60/(0.8*100+0.2*60)＝0.65，那么下一帧图像的曝光量为Gain*Time＝10*15*0.65＝97.5。

在计算得到下一帧图像的曝光量之后，可以通过查询曝光表得到下一帧的Gain和Time，曝光表中存储有不同曝光量对应的Gain和Time。

可以理解，上述只是举例说明，根据摄像头的当前帧的亮度值和目标亮度值进行曝光参数调整可以采用已有的任意一种方式，本申请实施例不对此进行限制，也不再赘述。

其中，对于双摄系统来说，如果两个摄像头的图像的比特(bit)位相同，那么两个摄像头的目标曝光量相同。如果两个摄像头的图像的比特位不同，例如，左摄图像10bit(输出0-1023)，右摄图像8比特(输出0-256)，则两个摄像头的目标曝光量之间可通过比特位的线性比例换算关系得到。

S106、曝光参数下发。

本步骤对摄像头进行曝光参数设定，完成设定之后，新的曝光参数生效。

S107、完成自动曝光。

曝光参数下发之后，并根据摄像头是否停止工作判断是否进入下一个循环，如果相机停止工作，则完成自动曝光。

在图1所示方法的基础上，本申请实施例一提供一种融合图像深度的双摄曝光参数的调整方法，主要用于对图1所示方法中步骤S103的实现方式进行描述，即如何在获取双摄图像的亮度统计值时融合图像深度。图2为本申请实施例一提供的融合图像深度的双摄曝光参数的调整方法的流程图，如图2所示，本实施例的方法包括以下步骤：

S201、通过第一摄像头第一图像，以及通过第二摄像头获取第二图像，第一图像和第二图像为同一时刻的图像。

本实施例将双摄系统的两个摄像头分别称为第一摄像头和第二摄像头，当第一摄像头为左摄时，第二摄像头为右摄，当第一摄像头为右摄时，第二摄像头为左摄，两个摄像头同时进行拍摄，采样的频率相同，例如，每分钟均拍摄60帧图像。

S202、获取第一图像和第二图像的亮度统计值。

图像的亮度统计值用于在一定程度上表征图像的亮度，可选的，可以采用均值、中值或者其他方式统计各个图像的亮度统计值。

可选的，可以统计整个图像的亮度统计值，也可以将第一图像和第二图像进行分块，分别统计第一图像和第二图像的各图像块的亮度统计值，本实施例不对此进行限制。

S203、获取第一图像和第二图像的深度统计值。

可选的，可以统计整个图像的深度统计值，也可以将第一图像和第二图像进行分块，分别统计第一图像和第二图像的各图像块的深度统计值，本实施例不对此进行限制。

一种示例性的方式中，获取第一图像和第二图像的匹配特征点的深度信息，根据匹配特征点的深度信息，分别确定第一图像和第二图像的深度统计值。可以通过特征点匹配确定两张图像的匹配特征点，进一步再获取匹配特征点的深度信息，其中，特征点的深度信息获取可以采用现有的任意一种方式，本申请实施例不做限定。

图像的深度统计值用于在一定程度上表征图像的深度信息，可选的，在获取第一图像和第二图像的匹配特征点的深度信息后，可以采用均值、中值或者其他方式统计图像的深度统计值。

采用第一图像和第二图像的匹配特征点的深度信息，分别确定第一图像和第二图像的深度统计值，使得两张图像的深度统计值能够趋于一致，从而使得图像深度对于两个摄像头拍摄得到图像的亮度影响趋于一致，曝光后的亮度分布更符合人眼感知。

另一种示例性的方式中，也可以不进行特征点匹配，在获取两张图像各自的特征点的深度信息后，根据第一图像的特征点的深度信息确定第一图像的深度统计值，根据第二图像的特征点的深度信息确定第二图像的深度统计值。采用该方式确定的两张图像的深度统计值可能有所差异。

可选的，可以统计整个图像的深度统计值，也可以将第一图像和第二图像进行分块，分别统计第一图像和第二图像的各图像块的深度统计值，本实施例不对此进行限制。

S204、根据第一图像的深度统计值对第一图像的亮度统计值进行融合处理，得到第一图像的融合亮度统计值，根据第二图像的深度统计值对第二图像的亮度统计值进行融合处理，得到第二图像的融合亮度统计值。

融合处理用于采用图像的深度统计值对图像的亮度统计值进行修正，使得双摄自动曝光后的亮度分布更加符合人眼感知。双摄的视差随着深度距离的提升而逐渐缩小，且自然界中物体所反射的光在传播过程中会随着深度的增加而经历更多级的散射与衍射，使得光的传播方向、强度分布都更加均匀，因此越大的观测深度会使得双摄观测到的物体亮度更趋于一致。本实施例的方法，通过融合处理能能够根据图像深度的不同，适应性调整图像亮度，最终保证双摄的图像的曝光亮度区域一致。

融合处理包括但不限于，对图像的深度统计值和亮度统计值进行归一化处理，使用归一化后的图像的深度统计值和亮度统计值进行加权求和。或者，对图像的深度统计值进行归一化处理，使用归一化后的图像的深度统计值作为修正因子对图像的亮度统计值进行修正。

S205、根据第一图像的亮度融合统计值，调整第一摄像头的曝光参数，根据第二图像的亮度融合统计值，调整第二摄像头的曝光参数。

示例性的，根据第一图像的亮度融合统计值、第二图像的亮度融合统计值和预设的目标亮度值，确定第一摄像头和第二摄像头的曝光参数变化量，根据第一摄像头和第二摄像头的曝光参数变化量，调整第一摄像头的曝光参数和第二摄像头的曝光参数。曝光参数调整的具体实时方式参照前述相关描述这里不再赘述。

本实施例中，通过双摄获取同一时刻的两张图像，并获取第一图像和第二图像的亮度统计值，获取第一图像和所述第二图像的深度统计值，根据第一图像的深度统计值对第一图像的亮度统计值进行融合处理，得到第一图像的融合亮度统计值，根据第二图像的深度统计值对第二图像的亮度统计值进行融合处理，得到第二图像的融合亮度统计值，分别根据两张图像的亮度融合统计值，调整两个摄像头的曝光参数。该方法在计算双摄的图像的亮度统计值时，融合了图像的深度信息进行加权统计，使得双摄自动曝光后的亮度分布更加符合人眼感知。

在实施例一的基础上，本申请实施例二提供一种融合图像深度的双摄曝光参数的调整方法，用于对图像的深度统计值以及融合处理进行具体描述，相同内容参照前述实施例的描述。图3为本申请实施例二提供的融合图像深度的双摄曝光参数的调整方法的流程图，如图3所示，本实施例的方法包括以下步骤。

S301、通过第一摄像头第一图像，以及通过第二摄像头获取第二图像，第一图像和第二图像为同一时刻的图像。

S302、分别将第一图像和第二图像划分为固定大小的多个图像块。

可以将两张图像块分别划分为n*n大小的图像块，n的取值为大于1的整数，例如划分为4*4或5*5大小的图像块。

S303、分别计算第一图像和第二图像的各图像块的亮度统计值。

可以使用均值、中值或者其他方式计算各图像块的亮度统计值，以均值为例，对于每个图像块，将该图像块内的所有像素点的亮度值求和取平均值得到该图像块的亮度统计值。

S304、分别提取第一图像和第二图像的特征点，将第一图像的特征点和第二图像的特征点进行匹配，读取第一摄像头和第二摄像头的内、外参数，根据第一摄像头和第二摄像头的内、外参数，以及匹配特征点，使用三角化方法测量得到匹配特征点的深度信息。

特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用，图像特征点能够反映图像本质特征，能够标识图像中目标物体，通过特征点的匹配能够完成图像的匹配。提取的特征点数量可以预先设定好，也可以不规定特征点的数量。

可以采用神经网络进行特征提取，该神经网络包括但不限于：卷积神经网络(Convolutional Neural Networks,CNN)、多层感知器神经网络(Multi-layer perceptronneural networks，MLP)，Transformer结构的神经网络，神经网络提取出来的特征使用特征向量表示。

示例性的，可以利用FAST特征点检测算法或Harris角点检测算法或尺度不变特征变换(Scale-invariant feature transform，SIFT)，加速稳健特征(Speeded Up RobustFeatures，SURF)等算法检测特征点的位置。

在进行特征点匹配时，计算特征点的描述子，使用特征点的描述子进行匹配。描述子用于对已检测到的特征点进行描述，是一种二进制编码描述子。描述子可用于描述特征点周围的信息，例如描述特征点周围的几何特征，常用的描述子有二进制鲁棒独立基本特征(Robust Independent Elementary Features，BRIEF)描述子。

在进行特征点匹配时，计算两个特征点的描述子特征距离，描述子特征距离用于评价两个特征点的描述子的相似度，其中，距离越小，相似度越大。示例性的，描述子特征距离为L2距离(即曼哈顿距离)或者汉明距离。

通过特征匹配，能够确定第一图像和第二图像的匹配特征点，然后根据第一摄像头和第二摄像头的内、外参数，以及匹配特征点，使用三角化方法测量得到匹配特征点的深度信息。

三角化测量法是常用的成熟的深度测量方法，简单来讲就是：在不同的位置观测同一个三维点P(x,y,z)，已知在不同位置处观察到的三维点的二维投影点X1(x1,y1),X2(x2,y2)，利用三角关系，恢复出三维点的深度信息z。

可以理解，本实施例以三角化测量方法为例进行说明，当然，还可以采用已有的其他方法测量匹配特征点的深度信息，例如，采用激光测量，这里不在一一列举。

S305、根据匹配特征点的深度信息，计算第一图像的各图像块的深度统计值以及第二图像的各图像块的深度统计值。

可以使用均值、中值或者其他方式计算各图像块的深度统计值，以均值为例，对于每个图像块，将该图像块内的所有像素点的深度值求和取平均值得到该图像块的深度统计值。

可以理解，匹配的两个特征点在第一图像和第二图像中可能位于不同位置的两个图像块中，同一图像的各个图像块中的匹配特征点的数量也可能是不同的。

其中，各图像的亮度统计值和深度统计值的计算过程可以并行执行，从而提高了调整方法的效率。

S306、对两张图像的各图像块的亮度统计值进行归一化处理，得到各图像的亮度矩阵，对两张图像的各图像块的深度统计值进行归一化处理，得到各图像的深度权重矩阵。

以第一图像为例，将第一图像的各图像块的亮度统计值归一化，得到一个n*n的亮度矩阵，归一化后，亮度矩阵中各个元素的和为1。第一图像的各图像块的深度统计值的归一化类似，通过归一化得到一个n*n的深度权重矩阵，深度权重矩阵中各个元素的和为1。

S307、将各图像的深度权重矩阵和亮度矩阵进行融合，得到各图像的融合亮度统计值。

一种示例性方式中，将图像的深度权重矩阵和亮度矩阵的对应元素相乘，将相乘后的所有元素进行加和，得到该图像的融合亮度统计值。

另一种示例性方式中，将图像的深度权重矩阵和亮度矩阵的对应元素相乘，将相乘后的所有元素进行加和取平均值，即得到n*n个元素的加和之后，再除以元素个数n*n，将得到的平均值作为图像的融合亮度统计值。

第一图像和第二图像的融合亮度统计值的算法相同，这里不再重复描述。

S308、根据第一图像的亮度融合统计值，调整第一摄像头的曝光参数，根据第二图像的亮度融合统计值，调整第二摄像头的曝光参数。

本实施例中，通过将两张图像进行分块，计算两张图像的亮度矩阵和深度权重矩阵，将两张图像的深度权重矩阵和亮度矩阵进行融合，得到各图像的融合亮度统计值，基于该融合亮度统计值调整摄像头的曝光参数。使得最终确定双摄的亮度统计值趋于一致，使得双摄自动曝光后的亮度分布更加符合人眼感知。

在上述实施例的基础上，本申请实施例三提供一种融合图像深度的双摄曝光参数的调整方法，图4为本申请实施例三提供的融合图像深度的双摄曝光参数的调整方法的流程图，如图4所示，本实施例的方法包括以下步骤。

S401、将双摄拍摄得到的同一时刻的两张图像分别划分为5*5的图像块。

划分完成后，将图像块传入两个可以并行处理的模块：基础曝光估计模块和深度权重估计模块，其中，基础曝光模块用于执行步骤S402a-S402f，深度权重估计模块用于执行步骤S402g-S402h。

S402a、设定全图特征点的提取总量。

设置特征点的提取总量，用作特征提取算法的截止条件，也便于控制算法的总复杂度和耗时。

S402b、提取两张图像的特征点。

S402c、将两张图像的特征点进行特征匹配。

S402d、根据双摄的内、外参数以及匹配特征点，使用三角化方法测量得到匹配特征点的深度信息。

在设备启动时，获取并存储了摄像头的内、外参数，本步骤读取存储的双摄的内、外参数，根据双摄的内、外参数，利用三角化方法测量匹配特征点的深度信息。

S402e、根据匹配特征点的深度信息，计算每个图像块的深度统计值。

S402f、对每张图像的各图像块的深度统计值进行归一化，得到5*5的深度权重矩阵。

S402g、计算每个图像块的亮度统计值。

S402h、对每张图像的各图像块的亮度统计值进行归一化，得到5*5的亮度矩阵。

S403、将每张图像的亮度矩阵和深度权重矩阵对应元素相乘并求和，得到各图像的融合亮度统计值。

在得到第一图像和第二图像的融合亮度统计值，根据第一图像的亮度融合统计值，调整第一摄像头的曝光参数，根据第二图像的亮度融合统计值，调整第二摄像头的曝光参数，具体调整方式参照前述实施例的说明。

为便于更好的实施本申请实施例的融合图像深度的双摄曝光参数的调整方法，本申请实施例还提供一种融合图像深度的双摄曝光参数的调整装置。图5为本申请实施例四提供的融合图像深度的双摄曝光参数的调整装置的结构示意图，如图5所示，该融合图像深度的双摄曝光参数的调整装置100可以包括：

图像获取模块11，用于通过第一摄像头获取第一图像，以及通过第二摄像头获取第二图像，所述第一图像和所述第二图像为同一时刻的图像；

亮度统计模块12，用于获取所述第一图像和所述第二图像的亮度统计值；

深度统计模块13，用于获取所述第一图像和所述第二图像的深度统计值；

融合模块14，用于根据所述第一图像的深度统计值对所述第一图像的亮度统计值进行融合处理，得到所述第一图像的融合亮度统计值，根据所述第二图像的深度统计值对所述第二图像的亮度统计值进行融合处理，得到所述第二图像的融合亮度统计值；

调整模块15，用于根据所述第一图像的亮度融合统计值，调整所述第一摄像头的曝光参数，根据所述第二图像的亮度融合统计值，调整所述第二摄像头的曝光参数。

在一些实施例中，所述深度统计模块13具体用于：

获取所述第一图像和所述第二图像的匹配特征点的深度信息；

根据所述匹配特征点的深度信息，分别确定所述第一图像和所述第二图像的深度统计值。

在一些实施例中，所述深度统计模块13具体用于：

分别提取所述第一图像和所述第二图像的特征点；

将所述第一图像的特征点和所述第二图像的特征点进行匹配；

读取所述第一摄像头和所述第二摄像头的内、外参数；

根据所述第一摄像头和所述第二摄像头的内、外参数，以及所述匹配特征点，使用三角化方法测量得到所述匹配特征点的深度信息。

在一些实施例中，所述获取所述第一图像和所述第二图像的亮度统计值之前，还包括：

分别将所述第一图像和所述第二图像划分为固定大小的多个图像块。

在一些实施例中，所述根据所述匹配特征点的深度信息，分别确定所述第一图像和所述第二图像的深度统计值，具体为：

根据所述匹配特征点的深度信息，计算所述第一图像的各图像块的深度统计值以及所述第二图像的各图像块的深度统计值。

在一些实施例中，所述亮度统计模块12具体用于：

分块计算各个图像块的亮度统计值。

在一些实施例中，所述融合模块14具体用于：

对目标图像的各图像块的亮度统计值进行归一化处理，得到所述目标图像的亮度矩阵，所述目标图像为所述第一图像或者所述第二图像；

对所述目标图像的各图像块的深度统计值进行归一化处理，得到所述目标图像的深度权重矩阵；

将所述目标图像的深度权重矩阵和亮度矩阵进行融合，得到所述目标图像的融合亮度统计值。

在一些实施例中，所述融合模块14具体用于：

将所述目标图像的深度权重矩阵和亮度矩阵的对应元素相乘，并将相乘后的所有元素进行加和，得到所述目标图像的融合亮度统计值。

在一些实施例中，所述融合模块14具体用于：

将所述目标图像的深度权重矩阵和亮度矩阵的对应元素相乘，将相乘后的所有元素进行加和，得到所述目标图像的融合亮度统计值。

在一些实施例中，所述调整模块15具体用于：

根据所述第一图像的亮度融合统计值、所述第二图像的亮度融合统计值和预设的目标亮度值，确定所述第一摄像头和所述第二摄像头的曝光参数变化量；

根据所述第一摄像头和所述第二摄像头的曝光参数变化量，调整所述第一摄像头的曝光参数和所述第二摄像头的曝光参数。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置100。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

本申请实施例还提供一种电子设备。图6为本申请实施例五提供的电子设备的一种结构示意图，如图6所示，该电子设备200可以包括：

存储器21、处理器22和双摄像头模组23，该存储器21用于存储计算机程序，并将该程序代码传输给该处理器22。换言之，该处理器22可以从存储器21中调用并运行计算机程序，以实现本申请实施例中的方法。该双摄像头模组23用于采集图像，并将图像发送给存储器21和处理器22进行处理。

例如，该处理器22可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器22可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器21包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器21中，并由该处理器22执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。

如图6所示，该电子设备200还可包括：收发器24，该收发器24可连接至该处理器22或存储器21。

其中，处理器22可以控制该收发器24与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器23可以包括发射机和接收机。收发器24还可以进一步包括天线，天线的数量可以为一个或多个。

可以理解，虽然图6中未示出，该电子设备200还可以包括无线保真WIFI模块、定位模块、蓝牙模块、显示器、控制器等，在此不再赘述。

应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得电子设备执行本申请实施例中的结合语义信息的地图重定位方法中的相应流程，为了简洁，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上该，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (14)

1.一种融合图像深度的双摄曝光参数的调整方法，其特征在于，包括：

通过第一摄像头获取第一图像，以及通过第二摄像头获取第二图像，所述第一图像和所述第二图像为同一时刻的图像；

获取所述第一图像和所述第二图像的亮度统计值；

获取所述第一图像和所述第二图像的深度统计值；

根据所述第一图像的深度统计值对所述第一图像的亮度统计值进行融合处理，得到所述第一图像的融合亮度统计值，根据所述第二图像的深度统计值对所述第二图像的亮度统计值进行融合处理，得到所述第二图像的融合亮度统计值；

根据所述第一图像的亮度融合统计值，调整所述第一摄像头的曝光参数，根据所述第二图像的亮度融合统计值，调整所述第二摄像头的曝光参数。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像和所述第二图像的深度统计值，包括：

获取所述第一图像和所述第二图像的匹配特征点的深度信息；

根据所述匹配特征点的深度信息，分别确定所述第一图像和所述第二图像的深度统计值。

3.根据权利要求2所述的方法，其特征在于，所述获取所述第一图像和所述第二图像的匹配特征点的深度信息，包括：

分别提取所述第一图像和所述第二图像的特征点；

将所述第一图像的特征点和所述第二图像的特征点进行匹配；

读取所述第一摄像头和所述第二摄像头的内、外参数；

根据所述第一摄像头和所述第二摄像头的内、外参数，以及所述匹配特征点，使用三角化方法测量得到所述匹配特征点的深度信息。

4.根据权利要求2或3所述的方法，其特征在于，所述获取所述第一图像和所述第二图像的亮度统计值之前，还包括：

分别将所述第一图像和所述第二图像划分为固定大小的多个图像块。

5.根据权利要求4所述的方法，其特征在于，所述根据所述匹配特征点的深度信息，分别确定所述第一图像和所述第二图像的深度统计值，包括：

根据所述匹配特征点的深度信息，计算所述第一图像的各图像块的深度统计值以及所述第二图像的各图像块的深度统计值。

6.根据权利要求5所述的方法，其特征在于，所述获取所述第一图像和所述第二图像的亮度统计值，包括：

分块计算各个图像块的亮度统计值。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一图像的深度统计值对所述第一图像的亮度统计值进行融合处理，得到所述第一图像的融合亮度统计值，以及根据所述第二图像的深度统计值对所述第二图像的亮度统计值进行融合处理，得到所述第二图像的融合亮度统计值，包括：

对目标图像的各图像块的亮度统计值进行归一化处理，得到所述目标图像的亮度矩阵，所述目标图像为所述第一图像或者所述第二图像；

对所述目标图像的各图像块的深度统计值进行归一化处理，得到所述目标图像的深度权重矩阵；

将所述目标图像的深度权重矩阵和亮度矩阵进行融合，得到所述目标图像的融合亮度统计值。

8.根据权利要求7所述的方法，其特征在于，所述将所述目标图像的深度权重矩阵和亮度矩阵进行融合，得到所述目标图像的融合亮度统计值，包括：

将所述目标图像的深度权重矩阵和亮度矩阵的对应元素相乘，并将相乘后的所有元素进行加和，得到所述目标图像的融合亮度统计值。

9.根据权利要求7所述的方法，其特征在于，所述将所述目标图像的深度权重矩阵和亮度矩阵进行融合，得到所述目标图像的融合亮度统计值，包括：

将所述目标图像的深度权重矩阵和亮度矩阵的对应元素相乘，将相乘后的所有元素进行加和，得到所述目标图像的融合亮度统计值。

10.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像的亮度融合统计值，调整所述第一摄像头的曝光参数，根据所述第二图像的亮度融合统计值，调整所述第二摄像头的曝光参数包括：

根据所述第一图像的亮度融合统计值、所述第二图像的亮度融合统计值和预设的目标亮度值，确定所述第一摄像头和所述第二摄像头的曝光参数变化量；

根据所述第一摄像头和所述第二摄像头的曝光参数变化量，调整所述第一摄像头的曝光参数和所述第二摄像头的曝光参数。

11.一种融合图像深度的双摄曝光参数的调整装置，其特征在于，包括：

图像获取模块，用于通过第一摄像头获取第一图像，以及通过第二摄像头获取第二图像，所述第一图像和所述第二图像为同一时刻的图像；

亮度统计模块，用于获取所述第一图像和所述第二图像的亮度统计值；

深度统计模块，用于获取所述第一图像和所述第二图像的深度统计值；

融合模块，用于根据所述第一图像的深度统计值对所述第一图像的亮度统计值进行融合处理，得到所述第一图像的融合亮度统计值，根据所述第二图像的深度统计值对所述第二图像的亮度统计值进行融合处理，得到所述第二图像的融合亮度统计值；

调整模块，用于根据所述第一图像的亮度融合统计值，调整所述第一摄像头的曝光参数，根据所述第二图像的亮度融合统计值，调整所述第二摄像头的曝光参数。

12.一种电子设备，其特征在于，包括：

处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至10中任一项所述的方法。

14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至10中任一项所述的方法。