CN116263965A - 一种深度图像生成方法及图像处理方法 - Google Patents

Abstract

本申请提供一种深度图像生成方法及图像处理方法，应用于图像处理领域，方法包括：在获得第n组预览图像对应的第一深度图像后，提取第一深度图像的前景区域；提取第一主摄图像中与前景区域对应的区域的第一特征点以及第二主摄图像中与前景区域对应的区域的第二特征点；根据第一特征点、第二特征点以及第一深度图像确定第n+i组预览图像对应的第二深度图像。在上述方案中，可以直接根据前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像，而不需要采用现有技术中的方法生成。与现有技术中的方法相比，本申请实施例提供的深度图像生成方法可以更快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

Description

一种深度图像生成方法及图像处理方法

技术领域

本申请涉及图像处理领域，具体而言，涉及一种深度图像生成方法及图像处理方法。

背景技术

随着图像采集技术的发展，主流的移动设备上一般都具备至少两个摄像头，相应的，用户对多摄情况下的实时预览虚化的要求也越来越高。一般来收，用户要求在所有场景(包括静止场景、运动场景、手持抖动场景、手持移动场景等)中，实时预览虚化都能达到主体清晰、背景模糊、边缘自然的结果。如果多帧图像采用相同的深度图像，会导致后几帧图像对应的虚化图的效果较差，因此，需要每一帧图像都能得到对应的深度图像，用于计算对应的虚化图。

现有技术中，一般采用立体校正以及立体匹配的方式计算得到深度图像，但采用上述方法计算深度图像消耗的时间较长，无法满足每一帧图像都得到对应深度图像，从而影响了虚化图的效果。

发明内容

本申请实施例的目的在于提供一种深度图像生成方法及图像处理方法，用以解决计算深度图像消耗的时间较长，无法满足每一帧图像都得到对应深度图像的技术问题。

第一方面，本申请实施例提供一种深度图像生成方法，包括：在获得第n组预览图像对应的第一深度图像后，提取所述第一深度图像的前景区域；其中，一组预览图像包括主摄像头拍摄的一帧主摄图像以及副摄像头拍摄的一帧与主摄图像对应的副摄图像，n≥1；提取第一主摄图像中与所述前景区域对应的区域的第一特征点以及第二主摄图像中与所述前景区域对应的区域的第二特征点；其中，所述第一主摄图像为第n组预览图像中主摄像头拍摄的主摄图像，所述第二主摄图像为在所述第n组预览图像之后采集的第n+i组预览图像中主摄像头拍摄的主摄图像，1≤i≤m，m为正整数，每m组预览图像基于相同的第一深度图像生成对应的第二深度图像；根据所述第一特征点、所述第二特征点以及所述第一深度图像确定所述第n+i组预览图像对应的所述第二深度图像。在上述方案中，可以直接根据前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像，而不需要采用现有技术中的方法生成。与现有技术中的方法相比，本申请实施例提供的深度图像生成方法可以更快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

在可选的实施方式中，所述根据所述第一特征点、所述第二特征点以及所述第一深度图像确定所述第n+i组预览图像对应的第二深度图像，包括：确定所述第一特征点以及所述第二特征点之间的对应关系；根据所述对应关系对所述第一深度图像做单应性变换，得到所述第二深度图像。在上述方案中，可以通过确定第一特征点以及第二特征点之间的对应关系，并基于上述对应关系对第一深度图像做单应性变化，以得到第二深度图像。由于可以直接根据第一深度图像得到第二深度图像，因此可以快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

在可选的实施方式中，所述根据所述对应关系对所述第一深度图像做单应性变换，得到所述第二深度图像，包括：根据所述对应关系进行重投影误差计算，得到对应的内点；根据所述内点得到单应性矩阵；根据所述单应性矩阵对所述第一深度图像做单应性变换，得到所述第二深度图像。在上述方案中，可以根据第一特征点与第二特征点之间的对应关系进行重投影误差计算得到内点，并基于内点得到单应性矩阵，从而可以根据单应性矩阵对第一深度图像做单应性变化，以得到第二深度图像。。因此，可以在快速生成深度图像的基础上，可以提高生成的深度图像的精度。

在可选的实施方式中，所述提取所述第一深度图像的前景区域，包括：获取所述第一主摄图像中的对焦点；根据所述对焦点确定所述第一深度图像的前景区域；或者，将所述第一深度图像中像素点的距离值与深度阈值进行比较，并将所述第一深度图像中距离值大于所述深度阈值的像素点确定为所述前景区域中的像素点。在上述方案中，当第一主摄图像中存在对焦点时，可以根据对焦点确定第一深度图像的前景区域，以提高确定的前景区域的精度；当第一主摄图像中不存在对焦点时，可以根据深度阈值确定第一深度图像的前景区域。

在可选的实施方式中，所述获取所述第一主摄图像中的对焦点，包括：接收所述对焦点；或者，随机确定所述第一主摄图像中的一个点作为所述对焦点；或者，对所述第一主摄图像进行人脸识别，并将识别到的人脸作为所述对焦点。在上述方案中，可以采用多种方式获取第一主摄图像中的对焦点，因此可以适用于多种应用场景中。

在可选的实施方式中，所述根据所述对焦点确定所述第一深度图像的前景区域，包括：计算所述第一深度图像中像素点的距离值与所述对焦点的距离值差值，并将所述差值的绝对值小于预设距离值的像素点确定为所述前景区域中的像素点。在上述方案中，当第一主摄图像中存在对焦点时，可以根据对焦点确定第一深度图像的前景区域，以提高确定的前景区域的精度。

在可选的实施方式中，在所述提取所述第一深度图像的前景区域之前，所述方法还包括：对所述第n组预览图像进行立体校正以及立体匹配，得到所述第一深度图像；或者，根据第n-m组预览图像对应的深度图像确定所述第一深度图像；其中，m≤n。在上述方案中，对于第n组预览图像对应的第一深度图像，即可以采用立体校正以及立体匹配的方式生成，也可以根据前面第n-m组预览图像对应的深度图像生成，从而可以在保证精度的基础上提高生成深度图像的速度。

在可选的实施方式中，m的大小与所述前景区域中的目标物体的运动速度成反比。在上述方案中，前景区域中的目标物体运动的越快，m的大小可以设置的越小，从而可以提高生成的深度图像的精度；相应的，前景区域中的目标物体运动的越慢，m的大小可以设置的越大，从而可以提高生成深度图像的速度。

第二方面，本申请实施例提供一种图像处理方法，包括：利用如第一方面所述的深度图像生成方法生成所述第n+i组预览图像对应的所述第二深度图像；根据所述第二深度图像以及所述第二主摄图像确定所述第n+i组预览图像对应的虚化图像。在上述方案中，可以直接根据前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像，而不需要采用现有技术中的方法生成。与现有技术中的方法相比，本申请实施例提供的深度图像生成方法可以更快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

第三方面，本申请实施例提供一种深度图像生成装置，包括：第一提取模块，用于在获得第n组预览图像对应的第一深度图像后，提取所述第一深度图像的前景区域；其中，一组预览图像包括主摄像头拍摄的一帧主摄图像以及副摄像头拍摄的一帧与主摄图像对应的副摄图像，n≥1；第二提取模块，用于提取第一主摄图像中与所述前景区域对应的区域的第一特征点以及第二主摄图像中与所述前景区域对应的区域的第二特征点；其中，所述第一主摄图像为第n组预览图像中主摄像头拍摄的主摄图像，所述第二主摄图像为在所述第n组预览图像之后采集的第n+i组预览图像中主摄像头拍摄的主摄图像，1≤i≤m，m为正整数，每m组预览图像基于相同的第一深度图像生成对应的第二深度图像；第一确定模块，用于根据所述第一特征点、所述第二特征点以及所述第一深度图像确定所述第n+i组预览图像对应的所述第二深度图像。在上述方案中，可以直接根据前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像，而不需要采用现有技术中的方法生成。与现有技术中的方法相比，本申请实施例提供的深度图像生成方法可以更快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

在可选的实施方式中，所述第一确定模块具体用于：确定所述第一特征点以及所述第二特征点之间的对应关系；根据所述对应关系对所述第一深度图像做单应性变换，得到所述第二深度图像。在上述方案中，可以通过确定第一特征点以及第二特征点之间的对应关系，并基于上述对应关系对第一深度图像做单应性变化，以得到第二深度图像。由于可以直接根据第一深度图像得到第二深度图像，因此可以快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

在可选的实施方式中，所述第一确定模块还用于：根据所述对应关系进行重投影误差计算，得到对应的内点；根据所述内点得到单应性矩阵；根据所述单应性矩阵对所述第一深度图像做单应性变换，得到所述第二深度图像。在上述方案中，根据第一特征点与第二特征点之间的对应关系进行重投影误差计算得到内点，并基于内点得到单应性矩阵，从而可以根据单应性矩阵对第一深度图像做单应性变化，以得到第二深度图像。。因此，可以在快速生成深度图像的基础上，从而可以提高生成的深度图像的精度。

在可选的实施方式中，所述第一提取模块具体用于：获取所述第一主摄图像中的对焦点；根据所述对焦点确定所述第一深度图像的前景区域；或者，将所述第一深度图像中像素点的距离值与深度阈值进行比较，并将所述第一深度图像中距离值大于所述深度阈值的像素点确定为所述前景区域中的像素点。在上述方案中，当第一主摄图像中存在对焦点时，可以根据对焦点确定第一深度图像的前景区域，以提高确定的前景区域的精度；当第一主摄图像中不存在对焦点时，可以根据深度阈值确定第一深度图像的前景区域。

在可选的实施方式中，所述第一提取模块还用于：接收所述对焦点；或者，随机确定所述第一主摄图像中的一个点作为所述对焦点；或者，对所述第一主摄图像进行人脸识别，并将识别到的人脸作为所述对焦点。在上述方案中，可以采用多种方式获取第一主摄图像中的对焦点，因此可以适用于多种应用场景中。

在可选的实施方式中，所述第一提取模块还用于：计算所述第一深度图像中像素点的距离值与所述对焦点的距离值差值，并将所述差值的绝对值小于预设距离值的像素点确定为所述前景区域中的像素点。在上述方案中，当第一主摄图像中存在对焦点时，可以根据对焦点确定第一深度图像的前景区域，以提高确定的前景区域的精度。

在可选的实施方式中，所述深度图像生成装置还可以包括：得到模块，用于对所述第n组预览图像进行立体校正以及立体匹配，得到所述第一深度图像；或者，第二确定模块，用于根据第n-m组预览图像对应的深度图像确定所述第一深度图像；其中，m≤n。在上述方案中，对于第n组预览图像对应的第一深度图像，即可以采用立体校正以及立体匹配的方式生成，也可以根据前面第n-m组预览图像对应的深度图像生成，从而可以在保证精度的基础上提高生成深度图像的速度。

在可选的实施方式中，m的大小与所述前景区域中的目标物体的运动速度成反比。在上述方案中，前景区域中的目标物体运动的越快，m的大小可以设置的越小，从而可以提高生成的深度图像的精度；相应的，前景区域中的目标物体运动的越慢，m的大小可以设置的越大，从而可以提高生成深度图像的速度。

第四方面，本申请实施例提供一种图像处理装置，包括：生成模块，用于利用如第一方面所述的深度图像生成方法生成所述第n+i组预览图像对应的所述第二深度图像；第三确定模块，用于根据所述第二深度图像以及所述第二主摄图像确定所述第n+i组预览图像对应的虚化图像。在上述方案中，可以直接根据前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像，而不需要采用现有技术中的方法生成。与现有技术中的方法相比，本申请实施例提供的深度图像生成方法可以更快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。因此，相对应的，基于每一帧图像对应的深度图像生成的虚化图像的精度较高。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如第一方面所述的方法。

第六方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的方法。

第七方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种深度图像生成方法的流程图；

图2为本申请实施例提供的一种深度图像生成装置的结构框图；

图3为本申请实施例提供的一种图像处理装置的结构框图；

图4为本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

请参照图1，图1为本申请实施例提供的一种深度图像生成方法的流程图，该深度图像生成方法可以包括如下内容：

步骤S101：在获得第n组预览图像对应的第一深度图像后，提取第一深度图像的前景区域。

步骤S102：提取第一主摄图像中与前景区域对应的区域的第一特征点以及第二主摄图像中与前景区域对应的区域的第二特征点。

步骤S103：根据第一特征点、第二特征点以及第一深度图像确定第n+i组预览图像对应的第二深度图像。

具体的，用户在使用移动设备预览图像时，移动设备上的主摄像头以及副摄像头会同时采集当前场景的图像，且随着时间的推移，主摄像头以及副摄像头会依次采集多帧图像。其中，为了便于叙述，将主摄像头拍摄的图像命名为主摄图像，将副摄像头拍摄的图像命名为副摄图像；一组预览图像包括主摄像头拍摄的一帧主摄图像以及副摄像头同时拍摄的一帧与主摄图像对应的副摄图像。

在本申请实施例中，可以基于前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像。

作为一种实施方式，在获得某一组预览图像对应的第一深度图像之后，可以基于上述第一深度图像对接下来的多组预览图像生成第二深度图像，例如：在获得第2组预览图像对应的第一深度图像之后，可以基于上述第一深度图像对接下来的第3组、第4组预览图像生成第二深度图像；作为另一种实施方式，在获得某一组预览图像对应的第一深度图像之后，下一组预览图像对应的深度图像可以采用上述第一深度图像，再之后的多组预览图像对应的第二深度图像可以基于上述第一深度图像生成，例如：在获得第2组预览图像对应的第一深度图像之后，第3组预览图像对应的深度图像可以采用上述第一深度图像，然后基于上述第一深度图像对接下来的第4组、第5组预览图像生成第二深度图像。

其中，本申请实施例提供的生成前面的预览图像对应的深度图像的方式有多种，此处暂不作介绍。假设在执行步骤S101之前，已经获得了第n组预览图像对应的第一深度图像，下面介绍基于上述第一深度图像生成第n+i组预览图像对应的第二深度图像的具体实施方式。

其中，n为移动设备拍摄的预览图像的帧数(n≥1)，第n组预览图像包括主摄像头拍摄的第n帧主摄图像，即第一主摄图像；第n+i组预览图像包括主摄像头拍摄的第n+i帧主摄图像(1≤i≤m，m为正整数)，即第二主摄图像。

在上述实施方式中，m为生成深度图像的间隔，每m组预览图像基于相同的深度图像生成对应的生成图像。也就是说，第n+1组预览图像基于第一深度图像生成对应的第二深度图像，第n+2组预览图像基于第一深度图像生成对应的第二深度图像，……，第n+m组预览图像基于第一深度图像生成对应的第二深度图像。

举例来说，假设n＝1，m＝2，那么：在获得第一组预览图像对应的第一深度图像之后，可以基于上述第一深度图像生成第二组预览图像以及第三组预览图像分别对应的第二深度图像；类似的，假设n＝3，那么：获得第三组预览图像对应的第一深度图像之后，可以基于上述第一深度图像生成第四组预览图像以及第五组预览图像分别对应的第二深度图，以此类推。

因此，在获得第n组预览图像对应的第一深度图像后，首先，可以提取第一深度图像的前景区域。前景区域是指当前场景中位于前方的物体或者人所在的区域，例如：在一个花园的场景中，离移动设备最近的一盆花所在的区域为前景区域；或者，前景区域也可以指当前场景中用户关注的区域，例如：同样在一个花园的场景中，花园中站着的人所在的区域。

因此，可以基于第一主摄图像确定第一深度图像对应的前景区域，并提取上述前景区域。其中，本申请实施例提供的提取第一深度图像的前景区域的实施方式有多种，将在后续实施例中进行详细的说明，此处暂不介绍。

然后，可以提取第一主摄图像中的第一特征点以及第二主摄图像中的第二特征点。其中，本申请实施例提供的提取主摄图像的特征点的实施方式也有多种，例如：可以采用OpenCV中的光流法、定向快速旋转(Oriented Fast and Rotated Brief，ORB)方法等；本申请实施例对此不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。

作为一种实施方式，可以仅提取第一主摄图像中与前景区域对应的区域的第一特征点；类似的，可以仅提取第二主摄图像中与前景区域对应的区域的第二特征点。

作为另一种实施方式，也可以提取第一主摄图像中所有区域的特征点，然后提取前景区域中的特征点作为第一特征点；类似的，也可以提取第二主摄图像中所有区域的特征点，然后提取前景区域中的特征点作为第二特征点。

可以理解的是，在本申请实施例中，针对所有的主摄图像可以采用同样的提取特征点的方式，例如：均采用ORB方法等；或者，针对不同的主摄图像可以采用不同的提取特征点的方式，例如：采用ORB方法提取第一主摄图像对应的第一特征点，采用OpenCV中的光流法提取第二主摄图像对应的第二特征点等。本申请实施例对此同样不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。

最后，再根据第一特征点、第二特征点以及第一深度图像确定第n+i组预览图像对应的第二深度图像。其中，本申请实施例提供的根据第一特征点、第二特征点以及第一深度图像确定第二深度图像的实施方式同样有多种，并且也将在后续实施例中进行详细的说明，此处同样暂不介绍。

可以理解的是，在基于上述步骤S101-步骤S103得到第n+i组预览图像对应的第二深度图像之后，可以利用虚化算法对第二主摄图像以及第二深度图像进行处理，得到第n+i组预览图像对应的虚化图像。其中，由于第二深度图像是基于第二主摄图像以及第一深度图像共同生成的，因此，上述虚化图像与第二主摄图像的边缘贴合情况良好，即生成的虚化图像的效果较好。

在上述方案中，可以直接根据前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像，而不需要采用现有技术中的方法生成。与现有技术中的方法相比，本申请实施例提供的深度图像生成方法可以更快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

进一步的，在上述实施例的基础上，下面对根据上述步骤S103的具体实施方式进行详细的介绍，上述步骤S103具体可以包括如下内容：

步骤1)，确定第一特征点以及第二特征点之间的对应关系。

步骤2)，根据对应关系对第一深度图像做单应性变换，得到第二深度图像。

具体的，可以通过第一特征点以及第二特征点之间的对应关系对第一深度图像做单应性变换。其中，在本申请实施例中，确定第一特征点以及第二特征点之间的对应关系的实施方式有多种。

举例来说：可以计算某一个第一特征点与和该第一特征点对应的第二特征点之间的特征点匹配对，依次计算每个第一特征点与对应的第二特征点之间的特征点匹配对，并将上述特征点匹配对作为第一特征点与第二特征点之间的对应关系；或者，在计算得到所有特征点匹配对之后，可以通过迭代优化的方式，从上述特征点匹配对中挑选出部分特征点匹配对作为第一特征点与第二特征点之间的对应关系等。本申请实施例对此不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。

接下来，在得到第一特征点与第二特征点之间的对应关系之后，可以根据上述对应关系对第一深度图像做单应性变换，得到第二深度图像。其中，可以采用现有技术中的单应性变换的方式执行上述步骤2)，本申请实施对此不作详细的介绍。

在上述方案中，可以通过确定第一特征点以及第二特征点之间的对应关系，并基于上述对应关系对第一深度图像做单应性变化，以得到第二深度图像。由于可以直接根据第一深度图像得到第二深度图像，因此可以快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

进一步的，在上述实施例的基础上，上述根据对应关系对第一深度图像做单应性变换，得到第二深度图像的步骤有两种实现方式。

第一种实现方式，可以直接根据第一特征点与第二特征点之间的对应关系对深度图像做单应性变换；第二种实现方式，可以先对第一特征点与第二特征点之间的对应关系做重投影误差计算，再基于重投影误差计算后得到的结果对深度图像做单应性变换。

其中，第一种实现方式已经再上述实施例中进行了介绍，此处不再赘述；下面对第二种实现方式进行详细的介绍。

再第二种实现方式种，上述根据对应关系对第一深度图像做单应性变换，得到第二深度图像的步骤具体可以包括如下内容：

步骤1)，根据对应关系进行重投影误差计算，得到对应的内点。

步骤2)，根据内点得到单应性矩阵。

步骤3)，根据单应性矩阵对第一深度图像做单应性变换，得到第二深度图像。

具体的，可以基于重投影误差(Reprojection error)对第一特征点与第二特征点之间的对应关系进行处理。其中，重投影误差的目的在于将第一深度图中的三维点投影到二维中，然后将投影后的二维图像与第一主摄图像的前景区域这一二维图像进行误差计算，并筛掉其中误差较大的对应关系，保留的即为第一特征点与第二特征点之间匹配对较高的对应关系。

首先，可以根据第一主摄图像以及第一深度图像计算第二特征点在三维空间的坐标，得到每个第二特征点在第一主摄图像中的二维坐标以及三维坐标，以及前景区域中的第一特征点的二维坐标。接下来，可以对第二特征点的三维坐标以及第一特征点的二维坐标进行重投影误差计算，得到内点。

在上述方案中，可以根据第一特征点与第二特征点之间的对应关系进行重投影误差计算得到内点，并基于内点得到单应性矩阵，从而可以根据单应性矩阵对第一深度图像做单应性变化，以得到第二深度图像。。因此，可以在快速生成深度图像的基础上，，从而可以提高生成的深度图像的精度。

进一步的，在上述实施例的基础上，下面对提取第一深度图像的前景区域的具体实施方式进行详细的介绍，上述步骤S101可以包括如下内容：

步骤1)，获取第一主摄图像中的对焦点。

步骤2)，根据对焦点确定第一深度图像的前景区域。

具体的，移动设备在采集预览图像的过程中，由于目标的运动或者移动设备的运动，为了保证达到最后的虚化图像中主体清晰、背景模糊的目的，可以针对第一深度图像提取出对应的前景区域，既用户关注的区域。可以理解的是，由于是移动设备是连续采集预览图像，因此，每组预览图像之间的前景运动通常不会太大。

移动设备在采集预览图像时，作为一种实施方式，第一主摄图像中可能存在对焦点；作为另一种实施方式，第一主摄图像中也可能不存在对焦点。本申请实施例首先介绍在第一主摄图像中存在对焦点的情况下，提取前景区域的具体实施方式。

首先，可以获取第一主摄图像中的对焦点。其中，获取对焦点的方式有多种，例如：移动设备在采集预览图像时用户可以点击屏幕，其中，用户点击的屏幕上的点即为第一主摄图像中的对焦点；或者，移动设备可以自动生成对焦点(例如：随机确定第一主摄图像中的一个点作为对焦点；对第一主摄图像进行人脸识别，将识别到的人脸作为一个对焦点等)等。本申请实施例对此不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。

因此，可以采用多种方式获取第一主摄图像中的对焦点，因此可以适用于多种应用场景中。

可以理解的是，作为一种实施方式，对焦点可以为第一主摄图像中的一个像素点；作为另一种实施方式，对焦点也可以为第一主摄图像中的一个区域，该区域中可以包括多个像素点。

然后，便可以根据获取到的对焦点确定第一深度图像中的前景区域。下面介绍本申请实施例提供的一种确定前景区域的具体实施方式，上述根据对焦点确定第一深度图像的前景区域的步骤具体可以包括如下内容：

步骤1)，计算第一深度图像中像素点的距离值与对焦点的距离值差值，并将差值的绝对值小于预设距离值的像素点确定为前景区域中的像素点。

也就是说，可以将第一深度图像中距离值与对焦点的距离值相差较小的像素点确定为前景区域中的像素点。其中，当对焦点为一个像素点时，其距离值即为像素点的距离值；而当对焦点为一个区域时，其距离值可以为该区域中所有像素点的距离值均值。

作为一种实施方式，可以通过计算第一深度图像中像素点的距离值与对焦点的距离值差值，并将上述差值与预设距离值进行比较，如果差值小于预设距离值，则说明对应的像素点的距离值与对焦点的距离值相差较小；而如果差值大于预设距离值，则说明对应的像素点的距离值与对焦点的距离值相差较大。

可以理解的是，视差图像与深度图像可以相互进行转换，因此，作为另一种实施方式，也可以基于视差图像确定前景区域。例如：计算与第一深度图像对应的视差图像中像素点的像素值与对焦点的像素值差值，并将差值的绝对值小于预设像素值的像素点确定为前景区域中的像素点。

需要说明的是，除了上述实施例提供的确定前景区域的方式，本申请实施例还可以对第n组预览图像对应的前景区域做单应性变化，得到第n+1组预览图像对应的前景区域。

在上述方案中，当第一主摄图像中存在对焦点时，可以根据对焦点确定第一深度图像的前景区域，以提高确定的前景区域的精度。

进一步，在上述实施例的基础上，下面介绍在第一主摄图像中不存在对焦点的情况下，提取前景区域的具体实施方式，上述步骤S101具体可以包括如下内容：

步骤1)，将第一深度图像中像素点的距离值与深度阈值进行比较，并将第一深度图像中距离值大于深度阈值的像素点确定为前景区域中的像素点。

具体的，在第一主摄图像中不存在对焦点的情况下，可以预先确定一个深度阈值，并基于该深度阈值确定前景区域。

作为一种实施方式，可以将第一深度图像中像素点的距离值与上述深度阈值进行比较，如果第一深度图像中像素点的距离值小于上述深度阈值，则说明对应的像素点距离移动设备较近；如果第一深度图像中像素点的距离值大于上述深度阈值，则说明对应的像素点距离移动设备较远。

可以理解的是，与上述实施例类似，视差图像与深度图像可以相互进行转换，因此，作为另一种实施方式，也可以基于视差图像确定前景区域。例如：将第一深度图像对应的视差图像中像素点的像素值与视差阈值进行比较，并将像素值小于视差阈值的像素点确定为前景区域中的像素点。

需要说明的是，本申请实施例对深度阈值以及视差阈值的具体数值大小不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。

在上述方案中，当第一主摄图像中不存在对焦点时，可以根据深度阈值确定第一深度图像的前景区域。

进一步的，在上述实施例的基础上，本申请实施例提供的获得第一深度图像的方式有两种。首先，介绍第一种方式，在上述步骤S101之前，本申请实施例提供的深度图像生成方法还可以包括如下内容：

对第n组预览图像进行立体校正以及立体匹配，得到第一深度图像。

具体的，针对第n组预览图像，可以采用立体校正以及立体匹配的方式生成对应的第一深度图像。其中，本申请实施例对立体校正以及立体匹配的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。例如：可以采用OpenCV中的stereoRectify和stereoBM；或者，可以采用NN方法等。

举例来说，假设n＝1，m＝2，那么：首先，可以采用立体校正以及立体匹配的方式确定第一组预览图像对应的第一深度图像；然后，基于上述第一深度图像生成第二组预览图像以及第三组预览图像分别对应的第二深度图像。

接下来，介绍第二种方式，在上述步骤S101之前，本申请实施例提供的深度图像生成方法还可以包括如下内容：

根据第n-m组预览图像对应的深度图像确定第一深度图像；其中，m≤n。

具体的，针对第n组预览图像，可以采用本申请实施例提供的深度图像生成方法生成对应的第一深度图像。

举例来说，假设n＝3，m＝2，那么：首先，可以采用本申请实施例提供的深度图像，基于第一组预览图像确定第三组预览图像对应的第一深度图像；然后，基于上述第一深度图像生成第四组预览图像以及第五组预览图像分别对应的第二深度图像。

可以理解的是，可以将上述两种确定第一深度图像的方式结合起来，得到多帧图像的深度图像。同样举例来说，假设m＝2，从第一组预览图像开始，那么：首先，可以采用立体校正以及立体匹配的方式确定第一组预览图像对应的深度图像；然后，基于上述第一组预览图像对应的深度图像生成第二组预览图像以及第三组预览图像分别对应的深度图像；然后，基于上述第三组预览图像对应的深度图像生成第四组预览图像以及第五组预览图像分别对应的深度图像，以此类推。

在上述方案中，对于第n组预览图像对应的第一深度图像，即可以采用立体校正以及立体匹配的方式生成，也可以根据前面第n-m组预览图像对应的深度图像生成，从而可以在保证精度的基础上提高生成深度图像的速度。

进一步的，在上述实施例的基础上，本申请实施例提供的m的大小与前景区域中的目标物体的运动速度成反比。

在上述方案中，前景区域中的目标物体运动的越快，m的大小可以设置的越小，从而可以提高生成的深度图像的精度；相应的，前景区域中的目标物体运动的越慢，m的大小可以设置的越大，从而可以提高生成深度图像的速度。

基于上述分析，本申请实施例还提供一种图像处理方法，该图像处理方法可以包括如下内容：

步骤1)，利用深度图像生成方法生成第n+i组预览图像对应的第二深度图像。

步骤2)，根据第二深度图像以及第二主摄图像确定第n+i组预览图像对应的虚化图像。

具体的，利用深度图像生成方法生成深度图像的具体实施方式已经在上述实施例中进行了详细的介绍，此处不再赘述。

在得到第二深度图像之后，可以基于该深度图像对对应的主摄图像(即第二主摄图像)进行虚化。其中，可以采用现有技术中的多种虚化方式对上述第二主摄图像进行虚化，因此，本申请实施例对虚化的具体实施方式不作具体的介绍，本领域技术人员可以根据实际情况进行合适的调整。

在上述方案中，可以直接根据前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像，而不需要采用现有技术中的方法生成。与现有技术中的方法相比，本申请实施例提供的深度图像生成方法可以更快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。因此，相对应的，基于每一帧图像对应的深度图像生成的虚化图像的精度较高。

请参照图2，图2为本申请实施例提供的一种深度图像生成装置的结构框图，该深度图像生成装置200可以包括：第一提取模块201，用于在获得第n组预览图像对应的第一深度图像后，提取所述第一深度图像的前景区域；其中，一组预览图像包括主摄像头拍摄的一帧主摄图像以及副摄像头拍摄的一帧与主摄图像对应的副摄图像，n≥1；第二提取模块202，用于提取第一主摄图像中与所述前景区域对应的区域的第一特征点以及第二主摄图像中与所述前景区域对应的区域的第二特征点；其中，所述第一主摄图像为第n组预览图像中主摄像头拍摄的主摄图像，所述第二主摄图像为在所述第n组预览图像之后采集的第n+i组预览图像中主摄像头拍摄的主摄图像，1≤i≤m，m为正整数，每m组预览图像基于相同的第一深度图像生成对应的第二深度图像；第一确定模块203，用于根据所述第一特征点、所述第二特征点以及所述第一深度图像确定所述第n+i组预览图像对应的所述第二深度图像。

在本申请实施例中，可以直接根据前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像，而不需要采用现有技术中的方法生成。与现有技术中的方法相比，本申请实施例提供的深度图像生成方法可以更快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

进一步的，所述第一确定模块203具体用于：确定所述第一特征点以及所述第二特征点之间的对应关系；根据所述对应关系对所述第一深度图像做单应性变换，得到所述第二深度图像。

在本申请实施例中，可以通过确定第一特征点以及第二特征点之间的对应关系，并基于上述对应关系对第一深度图像做单应性变化，以得到第二深度图像。由于可以直接根据第一深度图像得到第二深度图像，因此可以快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。

进一步的，所述第一确定模块203还用于：根据所述对应关系进行重投影误差计算，得到对应的内点；根据所述内点得到单应性矩阵；根据所述单应性矩阵对所述第一深度图像做单应性变换，得到所述第二深度图像。

在本申请实施例中，根据第一特征点与第二特征点之间的对应关系进行重投影误差计算得到内点，并基于内点得到单应性矩阵，从而可以根据单应性矩阵对第一深度图像做单应性变化，以得到第二深度图像。。因此，可以在快速生成深度图像的基础上，，从而可以提高生成的深度图像的精度。

进一步的，所述第一提取模块203具体用于：获取所述第一主摄图像中的对焦点；根据所述对焦点确定所述第一深度图像的前景区域；或者，将所述第一深度图像中像素点的距离值与深度阈值进行比较，并将所述第一深度图像中距离值大于所述深度阈值的像素点确定为所述前景区域中的像素点。

在本申请实施例中，当第一主摄图像中存在对焦点时，可以根据对焦点确定第一深度图像的前景区域，以提高确定的前景区域的精度；当第一主摄图像中不存在对焦点时，可以根据深度阈值确定第一深度图像的前景区域。

进一步的，所述第一提取模块201还用于：接收所述对焦点；或者，随机确定所述第一主摄图像中的一个点作为所述对焦点；或者，对所述第一主摄图像进行人脸识别，并将识别到的人脸作为所述对焦点。

在本申请实施例中，可以采用多种方式获取第一主摄图像中的对焦点，因此可以适用于多种应用场景中。

进一步的，所述第一提取模块201还用于：计算所述第一深度图像中像素点的距离值与所述对焦点的距离值差值，并将所述差值的绝对值小于预设距离值的像素点确定为所述前景区域中的像素点。

在本申请实施例中，当第一主摄图像中存在对焦点时，可以根据对焦点确定第一深度图像的前景区域，以提高确定的前景区域的精度。

进一步的，所述深度图像生成装置200还可以包括：得到模块，用于对所述第n组预览图像进行立体校正以及立体匹配，得到所述第一深度图像；或者，第二确定模块，用于根据第n-m组预览图像对应的深度图像确定所述第一深度图像；其中，m≤n。

在本申请实施例中，对于第n组预览图像对应的第一深度图像，即可以采用立体校正以及立体匹配的方式生成，也可以根据前面第n-m组预览图像对应的深度图像生成，从而可以在保证精度的基础上提高生成深度图像的速度。

进一步的，m的大小与所述前景区域中的目标物体的运动速度成反比。

在本申请实施例中，前景区域中的目标物体运动的越快，m的大小可以设置的越小，从而可以提高生成的深度图像的精度；相应的，前景区域中的目标物体运动的越慢，m的大小可以设置的越大，从而可以提高生成深度图像的速度。

请参照图3，图3为本申请实施例提供的一种图像处理装置的结构框图，该图像处理装置300可以包括：生成模块301，用于利用如上述实施例所述的深度图像生成方法生成所述第n+i组预览图像对应的所述第二深度图像；第三确定模块302，用于根据所述第二深度图像以及所述第二主摄图像确定所述第n+i组预览图像对应的虚化图像。

在本申请实施例中，可以直接根据前面的预览图像对应的深度图像生成后面的预览图像对应的深度图像，而不需要采用现有技术中的方法生成。与现有技术中的方法相比，本申请实施例提供的深度图像生成方法可以更快速的生成深度图像，从而满足每一帧图像都可以得到对应的深度图像。因此，相对应的，基于每一帧图像对应的深度图像生成的虚化图像的精度较高。

请参照图4，图4为本申请实施例提供的一种电子设备的结构框图，该电子设备400包括：至少一个处理器401，至少一个通信接口402，至少一个存储器403和至少一个通信总线404。其中，通信总线404用于实现这些组件直接的连接通信，通信接口402用于与其他节点设备进行信令或数据的通信，存储器403存储有处理器401可执行的机器可读指令。当电子设备400运行时，处理器401与存储器403之间通过通信总线404通信，机器可读指令被处理器401调用时执行上述深度图像生成方法。

例如，本申请实施例的处理器401通过通信总线404从存储器403读取计算机程序并执行该计算机程序可以实现如下方法：步骤S101：在获得第n组预览图像对应的第一深度图像后，提取第一深度图像的前景区域。步骤S102：提取第一主摄图像中与前景区域对应的区域的第一特征点以及第二主摄图像中与前景区域对应的区域的第二特征点。步骤S103：根据第一特征点、第二特征点以及第一深度图像确定第n+i组预览图像对应的第二深度图像。

其中，处理器401包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-network Processing Unit，简称NPU)、图形处理器(Graphics Processing Unit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器401为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。

存储器403包括一个或多个，其可以是，但不限于，随机存取存储器(RandomAccess Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(ElectricErasable Programmable Read-Only Memory，简称EEPROM)等。

可以理解，图4所示的结构仅为示意，电子设备400还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备400可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备400也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。

本申请实施例还提供一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，计算机程序包括计算机程序指令，当计算机程序指令被计算机执行时，计算机能够执行上述实施例中深度图像生成方法的步骤，例如包括：在获得第n组预览图像对应的第一深度图像后，提取所述第一深度图像的前景区域；其中，一组预览图像包括主摄像头拍摄的一帧主摄图像以及副摄像头拍摄的一帧与主摄图像对应的副摄图像，n≥1；提取第一主摄图像中与所述前景区域对应的区域的第一特征点以及第二主摄图像中与所述前景区域对应的区域的第二特征点；其中，所述第一主摄图像为第n组预览图像中主摄像头拍摄的主摄图像，所述第二主摄图像为在所述第n组预览图像之后采集的第n+i组预览图像中主摄像头拍摄的主摄图像，1≤i≤m，m为正整数，每m组预览图像基于相同的第一深度图像生成对应的第二深度图像；根据所述第一特征点、所述第二特征点以及所述第一深度图像确定所述第n+i组预览图像对应的所述第二深度图像。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种深度图像生成方法，其特征在于，包括：

在获得第n组预览图像对应的第一深度图像后，提取所述第一深度图像的前景区域；其中，一组预览图像包括主摄像头拍摄的一帧主摄图像以及副摄像头拍摄的一帧与主摄图像对应的副摄图像，n≥1；

提取第一主摄图像中与所述前景区域对应的区域的第一特征点以及第二主摄图像中与所述前景区域对应的区域的第二特征点；其中，所述第一主摄图像为第n组预览图像中主摄像头拍摄的主摄图像，所述第二主摄图像为在所述第n组预览图像之后采集的第n+i组预览图像中主摄像头拍摄的主摄图像，1≤i≤m，m为正整数，每m组预览图像基于相同的第一深度图像生成对应的第二深度图像；

根据所述第一特征点、所述第二特征点以及所述第一深度图像确定所述第n+i组预览图像对应的所述第二深度图像。

2.根据权利要求1所述的深度图像生成方法，其特征在于，所述根据所述第一特征点、所述第二特征点以及所述第一深度图像确定所述第n+i组预览图像对应的第二深度图像，包括：

确定所述第一特征点以及所述第二特征点之间的对应关系；

根据所述对应关系对所述第一深度图像做单应性变换，得到所述第二深度图像。

3.根据权利要求2所述的深度图像生成方法，其特征在于，所述根据所述对应关系对所述第一深度图像做单应性变换，得到所述第二深度图像，包括：

根据所述对应关系进行重投影误差计算，得到对应的内点；

根据所述内点得到单应性矩阵；

根据所述单应性矩阵对所述第一深度图像做单应性变换，得到所述第二深度图像。

4.根据权利要求1-3任一项所述的深度图像生成方法，其特征在于，所述提取所述第一深度图像的前景区域，包括：

获取所述第一主摄图像中的对焦点，并根据所述对焦点确定所述第一深度图像的前景区域；或者，

将所述第一深度图像中像素点的距离值与深度阈值进行比较，并将所述第一深度图像中距离值大于所述深度阈值的像素点确定为所述前景区域中的像素点。

5.根据权利要求1-4任一项所述的深度图像生成方法，其特征在于，在所述提取所述第一深度图像的前景区域之前，所述方法还包括：

对所述第n组预览图像进行立体校正以及立体匹配，得到所述第一深度图像；或者，

根据第n-m组预览图像对应的深度图像确定所述第一深度图像；其中，m≤n。

6.根据权利要求1-5任一项所述的深度图像生成方法，其特征在于，m的大小与所述前景区域中的目标物体的运动速度成反比。

7.一种图像处理方法，其特征在于，包括：

利用如权利要求1-6任一项所述的深度图像生成方法生成所述第n+i组预览图像对应的所述第二深度图像；

根据所述第二深度图像以及所述第二主摄图像确定所述第n+i组预览图像对应的虚化图像。

8.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-7中任一项所述的方法。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线；

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-7任一项所述的方法。

Images