CN115375743A - 深度估计方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种深度估计方法、装置、电子设备、存储介质和计算机程序产品。所述方法包括：获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，将所述第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第一图像的深度信息。采用本方法能够提高深度估计的效率。

Description

深度估计方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及影像技术，特别是涉及一种深度估计方法、装置、电子设备和计算机可读存储介质。

背景技术

传统的摄像模组所获取的是被摄空间内的二维图像信息，而丢失了深度信息(被摄物与摄像模组之间的距离)，但基于深度信息可以实现更多功能。例如在人像拍摄的时候分离被摄主体和背景，并对背景进行虚化处理，从而在手机摄像模组上模拟出单反相机的画面虚化效果；或者通过深度信息对人脸进行识别，从而提高识别的可靠性，而不会被平面的图像“误导”。

传统的深度估计方法，通常是通过多个摄像模组采集多个图像，并将多个图像中的特征点进行匹配，估计出深度信息。

然而，传统的深度估计方法，存在效率低的问题。

发明内容

本申请实施例提供了一种深度估计方法、装置、电子设备、计算机可读存储介质和计算机程序产品，可以提高深度估计的效率。

第一方面，本申请提供了一种深度估计方法。所述方法包括：

获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；

基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，将所述第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；

将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第一图像的深度信息。

第二方面，本申请还提供了一种深度估计装置。所述装置包括：

获取模块，用于获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；

图像生成模块，用于基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，将所述第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；

深度确定模块，用于将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第一图像的深度信息。

第三方面，本申请还提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；

基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，将所述第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；

将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第一图像的深度信息。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；

基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，将所述第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；

将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第一图像的深度信息。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；

基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，将所述第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；

将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第一图像的深度信息。

上述深度估计方法、装置、电子设备、计算机可读存储介质和计算机程序产品，电子设备获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，将第一图像中的像素进行位移，生成至少两个等深度视差图；其中，各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；那么，将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，可以得知相匹配的区域对应的深度范围，从而可以确定第一图像的深度信息，不需要进行特征点的搜索、描述和匹配等操作，有效减少了算法的复杂度和计算量，从而提高深度估计的效率。同时，也可以避免特征点丢失和误匹配带来的深度估计错误，可以确保在不同拍摄场景下的深度稳定性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中深度估计方法的流程图；

图2为一个实施例中得到至少两个等深度视差图的流程图；

图3为另一个实施例中深度估计方法的流程图；

图4为一个实施例中基于第二图像和至少两个等深度视差图得到目标深度图的流程图；

图5为另一个实施例中深度估计方法的流程图；

图6为一个实施例中深度估计装置的结构框图；

图7为一个实施例中电子设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种深度估计方法，本实施例以该方法应用于电子设备进行举例说明，电子设备可以是终端或服务器；可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本实施例中，该深度估计方法包括以下步骤102至步骤106：

步骤102，获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据。

电子设备包括单摄像模组，单摄像模组包括图像传感器。其中，单摄像模组即包括单个摄像头的模组，图像传感器可以将进入电子设备的光信号转化为电信号并生成图像。

电子设备还包括陀螺仪，通过陀螺仪可以获取陀螺仪数据。其中，陀螺仪数据包括角加速度和线加速度。

可选地，电子设备通过单摄像模组拍摄得到第一图像，同时采集第一图像对应的陀螺仪数据；通过单摄像模组拍摄得到第二图像，同时采集第二图像对应的陀螺仪数据；其中，第一图像的拍摄时刻早于第二图像的拍摄时刻。

可以理解的是，在拍摄过程中电子设备会发生位移，则电子设备获取第一图像和第二图像之间存在一定的视差，即将第一图像作为参考帧，并作为最终输出的深度信息所参照的图像，而第二图像作为相对于第一图像的视差帧。

步骤104，基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，将第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内。

深度指的是被拍摄对象和单摄像模组之间的距离，也即深度距离。可以理解的是，预先设定等深度视差图中各个像素均处于同一深度范围内，或者等深度视差图中各个像素均为同一预设深度。深度范围可以根据需要进行设置。示例性的，深度范围可以是一个区间范围较小的深度范围。

可选地，各个等深度视差图对应不同的预设深度，且每个等深度视差图中各个像素均为同一预设深度。

各个等深度视差图对应的各个深度范围，可以根据实际应用所需的深度分辨率进行设置。示例性的，每个深度范围的区间大小为0.1m(米)，相邻深度范围的最大区间值之间相差0.5m。

同样的，各个等深度视差图对应的各个预设深度，可以根据需要进行设置。示例性的，在1m到5m的深度内，每间隔0.5m设置一个预设深度。

可选地，电子设备基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，确定第一图像和第二图像之间的像素位移关系；基于该像素位移关系将第一图像中的像素进行至少两次位移，生成至少两个等深度视差图；其中，每次位移生成一个等深度视差图。

可以理解的是，在拍摄第一图像和第二图像的过程中，单摄像模组发生位移，则拍摄得到的第一图像的像素和第二图像的像素之间也存在位移，因此基于第一图像位移至第二图像的像素位移关系，将第一图像中的像素进行位移，生成至少两个等深度视差图。

步骤106，将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定第一图像的深度信息。

深度信息是表征第一图像中各个像素的深度距离的信息。示例性的，深度信息可以是第一图像对应的深度图，该深度图包括第一图像的深度信息。

可选地，电子设备将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定第二图像和每个等深度视差图之间相匹配的重合区域，那么每个等深度视差中的重合区域对应的深度范围，也即第一图像中对应区域的深度范围，可以确定出第一图像中各个区域的深度信息。

上述深度估计方法，电子设备获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，将第一图像中的像素进行位移，生成至少两个等深度视差图；其中，各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；那么，将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，可以得知相匹配的区域对应的深度范围，从而可以确定第一图像的深度信息，不需要进行特征点的搜索、描述和匹配等操作，有效减少了算法的复杂度和计算量，从而提高深度估计的效率。同时，也可以避免特征点丢失和误匹配带来的深度估计错误，可以确保在不同拍摄场景下的深度稳定性。

进一步地，电子设备基于通常都会配备的陀螺仪(加速度传感器)所输出的数据，结合摄像模组在多个时刻拍摄的图像，即可获得拍摄场景的深度信息，降低了深度估计所需的硬件成本。

在一个实施例中，基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，将第一图像中的像素进行位移，生成至少两个等深度视差图，包括：基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，确定图像传感器在拍摄第一图像和第二图像之间的空间位置关系；基于空间位置关系，将第一图像的像素进行位移，生成至少两个等深度视差图。

图像传感器在拍摄第一图像和第二图像之间的空间位置关系，具体可以包括拍摄第一图像和第二图像之间摄像模组的基线baseline(光心距离)、模组光轴夹角、移动距离movement等。

可选地，基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，确定图像传感器在拍摄第一图像和第二图像之间的空间位置关系，包括：基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，确定陀螺仪在第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据之间的运动信息；按照陀螺仪和图像传感器之间的位置转换关系，将陀螺仪的运动信息转换为图像传感器的运动信息；基于图像传感器的运动信息确定图像传感器在拍摄第一图像和第二图像之间的空间位置关系。

运动信息包括移动距离、旋转角度、线速度和旋转速度等至少一种。

陀螺仪数据包括线加速度和角加速度，电子设备对陀螺仪数据进行一次积分，可以得到陀螺仪的线速度和角速度，再对该线速度和角速度进行一次积分，可以得到陀螺仪的移动距离和旋转角度。

可选地，电子设备将陀螺仪数据输入滤波器中进行信号处理，滤波器的功能包括降噪、去除或添加相应的直流偏置信号，滤波处理后的信号经过积分器进行一次积分，得到陀螺仪自身的角速度和线速度，再经过一次积分得到陀螺仪的移动距离和旋转角度。

可选地，电子设备将第一图像对应的陀螺仪数据进行两次积分，可以得到陀螺仪在第一图像拍摄过程中的运动信息，将第二图像对应的陀螺仪数据进行两次积分，可以得到陀螺仪在第二图像拍摄过程中的运动信息；将陀螺仪在第一图像拍摄过程中的运动信息和陀螺仪在第二图像拍摄过程中的运动信息相加，可以得到陀螺仪在第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据之间的运动信息。

可以理解的是，由于陀螺仪和图像传感器并不处于同一空间位置，因此获取陀螺仪和图像传感器之间的位置转换关系，按照该位置转换关系，将陀螺仪的运动信息转换为图像传感器的运动信息。其中，陀螺仪和图像传感器之间的位置转换关系可以预先标定得到，示例性的，陀螺仪和图像传感器之间的位置转换关系可以是转换矩阵H，转换矩阵H是电子设备预先根据陀螺仪和图像传感器之间的位置标定得到的。图像传感器的运动信息包括图像传感器的移动距离和旋转角度。

在一个实施例中，如图2所示，电子设备将第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据分别输入滤波器中进行信号处理，滤波器的功能包括降噪、去除或添加相应的直流偏置信号，滤波处理后的信号经过积分器进行一次积分，分别得到第一图像对应的陀螺仪自身的角速度和线速度，以及第二图像对应的陀螺仪自身的角速度和线速度；再将角速度和线速度输入积分器中经过一次积分，分别得到第一图像对应的陀螺仪的移动距离和旋转角度，以及第二图像对应的陀螺仪的移动距离和旋转角度。

电子设备按照转换矩阵，将第一图像对应的陀螺仪的移动距离和旋转角度转换为图像传感器在拍摄第一图像时的移动距离和旋转角度，将第二图像对应的陀螺仪的移动距离和旋转角度转换为图像传感器在拍摄第二图像时的移动距离和旋转角度；基于图像传感器在拍摄第一图像时的移动距离和旋转角度，以及图像传感器在拍摄第二图像时的移动距离和旋转角度，可以确定出图像传感器在拍摄第一图像和第二图像之间的空间位置关系。基于空间位置关系，将第一图像的像素进行位移，生成至少两个等深度视差图。

在其他可选的实施方式中，电子设备可以按照第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据之间的运动关系，直接确定图像传感器在拍摄第一图像和第二图像之间的空间位置关系。

在本实施例中，电子设备基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，确定图像传感器在拍摄第一图像和第二图像之间的空间位置关系，那么基于该空间位置关系，可以准确地知道图像传感器在拍摄第一图像和第二图像之间的位移情况，从而将第一图像的像素进行位移，可以准确地生成至少两个等深度视差图。

在一个实施例中，如图3所述，提供了另一种深度估计方法，包括以下步骤302至310：

步骤302，获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据。

步骤304，基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，确定图像传感器在拍摄第一图像和第二图像之间的空间位置关系。

步骤306，基于空间位置关系，确定至少两个深度范围中每个深度范围对应的像素移动距离。

可选地，电子设备获取该图像传感器的空间位置关系下，深度范围和像素移动距离的对应关系；基于该对应关系查找出至少两个深度范围中每个深度范围对应的像素移动距离。

示例性的，当陀螺仪检测电子设备向左侧移动，并确定出图像传感器在拍摄第一图像和第二图像之间的空间位置关系为，图像传感器在拍摄第一图像时的位置处于拍摄第二图像时的位置的右侧x距离，则在该空间位置关系下，深度距离5m对应的像素移动距离为2个像素，深度距离1m对应的像素移动距离为10个像素。

可以理解的是，深度距离越小，则电子设备位移时视场发生偏差越大。也就是说，在该空间位置关系下，电子设备将第一图像的像素向左移动2个像素，得到深度距离为5m的等深度视差图，将第一图像的像素向左移动10个像素，得到深度距离为1m的等深度视差图。

步骤308，针对每个深度范围，将第一图像的像素位移深度范围对应的像素移动距离，得到等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内。

示例性的，每间隔1m设置一个深度范围，则各个深度范围包括(0.5-1.0)(1.5-2.0)……深度范围(0.5-1.0)对应的像素移动距离为10个像素，深度范围(1.5-2.0)对应的像素移动距离为5个像素，则针对深度范围(0.5-1.0)，电子设备第一图像的像素位移10个像素，得到像素深度均处于(0.5-1.0)的等深度视差图，将第一图像的像素位移5个像素，得到像素深度均处于(1.5-2.0)的等深度视差图，以此类推得到至少两个等深度视差图。

步骤310，将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定第一图像的深度信息。

在本实施例中，基于图像传感器在拍摄第一图像和第二图像之间的空间位置关系，可以准确地确定至少两个深度范围中每个深度范围对应的像素移动距离，从而针对每个深度范围，将第一图像的像素位移深度范围对应的像素移动距离，得到等深度视差图。

在一个实施例中，将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定第一图像的深度信息，包括：将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定第二图像和每个等深度视差图之间的重合区域；基于各个等深度视差图中的重合区域，确定第一图像的深度信息。

可选地，电子设备将第二图像和至少两个等深度视差图中每个等深度视差图分别进行相减，将相减后的差值小于预设差值阈值的像素作为重合区域中的像素，确定第二图像和每个等深度视差图之间的重合区域。其中，预设差值阈值可以根据需要进行设置。

可以理解的是，第二图像和等深度视差图之间存在重合区域，即第二图像中的重合区域和等深度视差图中的重合区域属于同一个深度范围，或者处于同一个预设深度。

可选地，基于各个等深度视差图中的重合区域，确定第一图像的深度信息，包括：获取各个重合区域对应的深度信息；将各个重合区域对应的深度信息作为第一图像中对应区域的深度信息，生成第一图像的目标深度图。

可以理解的是，第二图像和等深度视差图之间的重合区域，可以确定出第二图像中重合区域对应的深度为等深度视差图的深度范围，而等深度视差图是第一图像模拟位移得到第二图像，即将第一图像中的像素进行位移得到的，因此可以将等深度视差图中重合区域的深度信息作为第一图像中对应区域的深度信息，生成第一图像的目标深度图。

可选地，将各个重合区域对应的深度信息作为第一图像中对应区域的深度信息，生成第一图像的目标深度图，包括：将各个重合区域对应的深度信息作为第一图像中对应区域的深度信息，得到中间深度图；对中间深度图中各个区域的深度信息进行形态学处理或者筛选处理，得到目标深度图。

形态学处理可以是对缺少深度信息的区域进行填充，还可以是包括腐蚀和膨胀等。筛选处理可以是对包含多个深度信息的区域进行筛选。

可选地，电子设备也可以通过神经网络对中间深度图进行形态学处理或者筛选处理，得到目标深度图。

在本实施例中，电子设备将各个重合区域对应的深度信息作为第一图像中对应区域的深度信息，得到中间深度图，再对中间深度图中各个区域的深度信息进行形态学处理或者筛选处理，可以得到更准确的目标深度图。

在一个实施例中，如图4所示，电子设备将第二图像和深度1的等深度视差图进行像素匹配，确定第二图像和深度1的等深度视差图之间的重合区域，将第二图像和深度2的等深度视差图进行像素匹配，确定第二图像和深度2的等深度视差图之间的重合区域；将深度1的等深度视差图的重合区域和深度2的等深度视差图的重合区域相叠加，得到中间深度图；对中间深度图进行图像处理，如对中间深度图中各个区域的深度信息进行形态学处理或者筛选处理，得到目标深度图。

在一个实施例中，如图5所示，电子设备获取第一图像和对应的陀螺仪数据，以及在电子设备移动后获取第二图像和对应的陀螺仪数据；基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，确定图像传感器在拍摄第一图像和第二图像之间的空间位置关系；基于空间位置关系，将第一图像的像素进行位移，生成至少两个等深度视差图；将第二图像和至少两个等深度视差图中每个等深度视差图分别进行图像重合区域匹配，确定第二图像和每个等深度视差图之间的重合区域；将各个等深度视差图中的重合区域相叠加，得到中间深度图；对中间深度图进行图像处理，如对中间深度图中各个区域的深度信息进行形态学处理或者筛选处理，得到目标深度图。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的深度估计方法的深度估计装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个深度估计装置实施例中的具体限定可以参见上文中对于深度估计方法的限定，在此不再赘述。

在一个实施例中，如图6所示，提供了一种深度估计装置，包括：获取模块602、图像生成模块604和深度确定模块606，其中：

获取模块602，用于获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据。

图像生成模块604，用于基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，将第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内。

深度确定模块606，用于将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定第一图像的深度信息。

上述深度估计装置，电子设备获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，将第一图像中的像素进行位移，生成至少两个等深度视差图；其中，各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；那么，将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，可以得知相匹配的区域对应的深度范围，从而可以确定第一图像的深度信息，不需要进行特征点的搜索、描述和匹配等操作，有效减少了算法的复杂度和计算量，从而提高深度估计的效率。

在一个实施例中，上述图像生成模块604还用于基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，确定图像传感器在拍摄第一图像和第二图像之间的空间位置关系；基于空间位置关系，将第一图像的像素进行位移，生成至少两个等深度视差图。

在一个实施例中，上述图像生成模块604还用于基于空间位置关系，确定至少两个深度范围中每个深度范围对应的像素移动距离；针对每个深度范围，将第一图像的像素位移深度范围对应的像素移动距离，得到等深度视差图。

在一个实施例中，上述图像生成模块604还用于基于第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据，确定陀螺仪在第一图像对应的陀螺仪数据和第二图像对应的陀螺仪数据之间的运动信息；按照陀螺仪和图像传感器之间的位置转换关系，将陀螺仪的运动信息转换为图像传感器的运动信息；基于图像传感器的运动信息确定图像传感器在拍摄第一图像和第二图像之间的空间位置关系。

在一个实施例中，上述深度确定模块606还用于将第二图像和至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定第二图像和每个等深度视差图之间的重合区域；基于各个等深度视差图中的重合区域，确定第一图像的深度信息。

在一个实施例中，上述深度确定模块606还用于获取各个重合区域对应的深度信息；将各个重合区域对应的深度信息作为第一图像中对应区域的深度信息，生成第一图像的目标深度图。

在一个实施例中，上述深度确定模块606还用于将各个重合区域对应的深度信息作为第一图像中对应区域的深度信息，得到中间深度图；对中间深度图中各个区域的深度信息进行形态学处理或者筛选处理，得到目标深度图。

上述深度估计装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图7所示。该电子设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种深度估计方法。该电子设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行深度估计方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行深度估计方法。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种深度估计方法，其特征在于，包括：

获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；

基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，将所述第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；

将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第一图像的深度信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，将所述第一图像中的像素进行位移，生成至少两个等深度视差图，包括：

基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，确定图像传感器在拍摄所述第一图像和所述第二图像之间的空间位置关系；

基于所述空间位置关系，将所述第一图像的像素进行位移，生成至少两个等深度视差图。

3.根据权利要求2所述的方法，其特征在于，所述基于所述空间位置关系，将所述第一图像的像素进行位移，生成至少两个等深度视差图，包括：

基于所述空间位置关系，确定至少两个深度范围中每个所述深度范围对应的像素移动距离；

针对每个所述深度范围，将所述第一图像的像素位移所述深度范围对应的像素移动距离，得到等深度视差图。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，确定图像传感器在拍摄所述第一图像和所述第二图像之间的空间位置关系，包括：

基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，确定陀螺仪在所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据之间的运动信息；

按照所述陀螺仪和图像传感器之间的位置转换关系，将所述陀螺仪的运动信息转换为所述图像传感器的运动信息；

基于所述图像传感器的运动信息，确定所述图像传感器在拍摄所述第一图像和所述第二图像之间的空间位置关系。

5.根据权利要求1所述的方法，其特征在于，所述将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第一图像的深度信息，包括：

将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第二图像和每个等深度视差图之间的重合区域；

基于各个等深度视差图中的重合区域，确定所述第一图像的深度信息。

6.根据权利要求5所述的方法，其特征在于，所述基于各个等深度视差图中的重合区域，确定所述第一图像的深度信息，包括：

获取各个重合区域对应的深度信息；

将各个重合区域对应的深度信息作为所述第一图像中对应区域的深度信息，生成所述第一图像的目标深度图。

7.根据权利要求6所述的方法，其特征在于，所述将各个重合区域对应的深度信息作为所述第一图像中对应区域的深度信息，生成所述第一图像的目标深度图，包括：

将各个重合区域对应的深度信息作为所述第一图像中对应区域的深度信息，得到中间深度图；

对所述中间深度图中各个区域的深度信息进行形态学处理或者筛选处理，得到目标深度图。

8.一种深度估计装置，其特征在于，包括：

获取模块，用于获取第一图像和对应的陀螺仪数据，以及获取第二图像和对应的陀螺仪数据；

图像生成模块，用于基于所述第一图像对应的陀螺仪数据和所述第二图像对应的陀螺仪数据，将所述第一图像中的像素进行位移，生成至少两个等深度视差图；各个等深度视差图对应不同的深度范围，且每个等深度视差图中各个像素的深度处于同一深度范围内；

深度确定模块，用于将所述第二图像和所述至少两个等深度视差图中每个等深度视差图分别进行像素匹配，确定所述第一图像的深度信息。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的深度估计方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images