CN113343973A

CN113343973A - 深度估计方法、存储介质以及计算机设备

Info

Publication number: CN113343973A
Application number: CN202110732659.6A
Authority: CN
Inventors: 尹康
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2021-06-29
Filing date: 2021-06-29
Publication date: 2021-09-03

Abstract

本申请公开了一种深度估计方法、存储介质和计算机设备，其中方法包括：基于深度估计模型获取目标图像的第一深度图像，确定第一深度图像中感兴趣目标所在的第一区域；基于三维重建模型获取目标图像的第二深度图像，确定第二深度图像中感兴趣目标所在的第二区域；对第一区域的深度图像以及第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像；基于第三深度图像以及第一深度图像，生成目标深度图像。采用本申请，通过获取高动态范围的第一深度图像与低动态范围的第二深度图像，然后根据感兴趣目标所在的区域对第一深度图像与第二深度图像进行图像融合，得到准确性更高的目标深度图像。

Description

深度估计方法、存储介质以及计算机设备

技术领域

本申请涉及图像处理领域，具体而言，涉及一种深度估计方法、存储介质和计算机设备。

背景技术

现有的深度估计方法分为两种，一种是通过深度估计模型对接收到的原始图像进行深度估计，得到高动态范围的深度图(该深度图的尺度范围较大，即最大深度值与最小深度值之间的差值较大，如几十米)；另一种是通过三维重建模型对接收到的原始深度图进行深度估计，得到高精度的深度图(该深度图的尺度范围较小，即最大深度值与最小深度值之间的差值较小，如几厘米)。

在一些特定的应用场景下，如人脸重光照技术，需要同时用到高尺度的环境深度信息与高精度的人脸深度信息，而现有的深度估计方法无法同时满足其需求。因此，如何自适应的获取待识别图像的深度信息是亟待解决的技术问题。

发明内容

本申请提供一种深度估计方法、存储介质以及计算机设备，可以解决如何自适应的获取待识别图像的深度信息的技术问题。

第一方面，本申请实施例提供一种深度估计方法，该方法包括：

基于深度估计模型获取目标图像的第一深度图像，确定第一深度图像中感兴趣目标所在的第一区域；

基于三维重建模型获取目标图像的第二深度图像，确定第二深度图像中感兴趣目标所在的第二区域；

对第一区域的深度图像以及第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像；

基于第三深度图像以及第一深度图像，生成目标深度图像。

第二方面，本申请实施例提供一种存储介质，存储介质存储有计算机程序，计算机程序适于由处理器加载并执行上述方法的步骤。

第三方面，本申请实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述的方法的步骤。

在本申请实施例中，通过获取高动态范围的第一深度图像与低动态范围的第二深度图像，然后根据感兴趣目标所在的区域对第一深度图像与第二深度图像进行图像融合，以自适应的获取感兴趣目标所在区域为高动态范围，非感兴趣目标所在区域为低动态范围的目标深度图像，从而得到准确性更高的目标深度图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种深度估计方法的流程示意图；

图2为本申请实施例提供的一种深度估计方法的流程示意图；

图3为本申请实施例提供的一种获取归一化因子的流程示意图；

图4为本申请实施例提供的一种深度估计方法的流程示意图；

图5为本申请实施例提供的一种深度估计方法的流程示意图；

图6为本申请实施例提供的一种深度估计装置的结构示意图；

图7是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使得本申请的特征和优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。附图中所示的流程图仅是示例性说明，不是必须按照所示步骤执行。例如，有的步骤是并列的，在逻辑上并没有严格的先后关系，因此实际执行顺序是可变的。另外，术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”、“第七”、“第八”仅是为了区分的目的，不应作为本公开内容的限制。

本申请实施例公开的深度估计方法和深度估计装置可以应用于图像处理领域，例如人脸识别、3D建模等。深度估计装置，可以包括但不限于智能交互平板、手机、个人电脑、笔记本电脑等智能终端。

在本申请实施例中，深度估计装置可以通过获取高动态范围的第一深度图像与低动态范围的第二深度图像，然后根据感兴趣目标所在的区域对第一深度图像与第二深度图像进行图像融合，以自适应的获取感兴趣目标所在区域为高动态范围，非感兴趣目标所在区域为低动态范围的目标深度图像，从而得到准确性更高的目标深度图像。

下面将结合图1～图5，对本申请实施例提供的深度估计方法进行详细介绍。

请参见图1，为本申请实施例提供了一种深度估计方法的流程示意图。如图1所示，方法可以包括以下步骤S101～步骤S104。

S101，基于深度估计模型获取目标图像的第一深度图像，确定第一深度图像中感兴趣目标所在的第一区域。

具体的，第一深度图像中每个像素点的像素值代表像素点对应的原图位置的像素点在现实世界中的深度信息，该深度信息可以理解为该像素点对应的现实物体与相机或参考平面之间的距离。需要说明的是，深度估计模型所应用的是宏观类算法，即高动态范围的深度估计算法，则深度估计模型所输出的深度图像也为高动态范围的深度图像。感兴趣目标可以是人脸、手办、玩偶、桌面植物等体积较小，且需要较高精度的物体。

处理器接收到用以深度估计的目标图像后，将接收到的目标图像输入深度估计模型，以使深度估计模型对接收到的目标图像进行深度估计，生成目标图像的第一深度图像，并将得到的第一深度图像输出。

处理器接收到深度估计模型输出的第一深度图像时，确定第一深度图像中，感兴趣目标所在的第一区域。

S102，基于三维重建模型获取目标图像的第二深度图像，确定第二深度图像中感兴趣目标所在的第二区域。

具体的，第二深度图像中每个像素点的像素值同样代表像素点对应的原图位置的像素点在现实世界中的深度信息，该深度信息同样可以理解为该像素点对应的现实物体与相机或参考平面之间的距离。需要说明的是，三维重建模型所应用的是微观类算法，即低动态范围的深度估计算法，则三维重建模型所输出的深度图像也为低动态范围的深度图像。

处理器接收到用以深度估计的目标图像后，还将接收到的目标图像输入三维重建模型，以使三维重建模型对接收到的目标图像进行深度估计，生成目标图像的第二深度图像，并将得到的第二深度图像输出。

处理器接收到三维重建模型输出的第二深度图像时，确定第二深度图像中，感兴趣目标所在的第二区域。

S103，对第一区域的深度图像以及第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像。

具体的，获取第一深度图像中第一区域对应的子深度图像，并获取第二深度图像中第二区域对应的子深度图像，然后对第一区域对应的深度图像与第二区域对应的深度图像进行图像融合，从而得到感兴趣目标的第三深度图像，可以理解的是，第三深度图像仅包括感兴趣目标所在区域。

S104，基于第三深度图像以及第一深度图像，生成目标深度图像。

具体的，合并第三深度图像与第一深度图像，即先获取第一深度图像中除感兴趣目标所在的第一区域之外的其他区域对应的待合并图像，然后将第三深度图像与待合并图像按照其对应的区域进行图像合并，得到目标深度图像。

可选的，在生成第三深度图像时，根据感兴趣目标对应的第二区域，对感兴趣目标对应的第一区域进行梯度引导，则直接将第一深度图像中的第一区域对应的深度图像替换为第三深度图像，也不影响第一深度图像的整体性。

可选的，若目标图像中不存在感兴趣目标，则直接将第一深度图像作为目标深度图像。

请参见图2，为本申请实施例提供了一种深度估计方法的流程示意图。如图2所示，方法可以包括以下步骤S201～步骤S210。

S201，获取目标图像中感兴趣目标所在的目标图像掩模。

具体的，处理器先将目标图像输入目标检测模型，从而基于目标检测模型识别目标图像中是否存在感兴趣目标。在目标检测模型检测到感兴趣目标时，获取感兴趣目标在目标图像中的区域信息，即确定目标图像中感兴趣目标所在的目标区域，然后基于生成目标图像掩模。

目标图像掩模为表示感兴趣目标在目标图像中所在区域的图像，目标图像掩模的图像尺寸与目标图像的图像尺寸一致，目标图像掩模中各像素点的像素值只包括第一预设值和第二预设值，其中，第一预设值表示感兴趣目标所在的区域，第二预设值表示非感兴趣目标所在的区域。

S202，基于深度估计模型获取目标图像的第一深度图像。

具体的，处理器接收到用以深度估计的目标图像后，将接收到的目标图像输入深度估计模型，以使深度估计模型对接收到的目标图像进行深度估计，生成目标图像的第一深度图像，并将得到的第一深度图像输出。

S203，若第一深度图像的图像尺寸与目标图像的图像尺寸不一致，对第一深度图像进行图像采样，得到与目标图像的图像尺寸一致的采样图像。

具体的，获取第一深度图像的图像尺寸以及目标图像的图像尺寸，并比对第一深度图像的图像尺寸以及目标图像的图像尺寸，若第一深度图像的图像尺寸与目标图像的图像尺寸不一致，则对第一深度图像进行图像采样，以得到与目标图像的图像尺寸一致的采样图像。

可选的，若第一深度图像的图像尺寸小于目标图像的图像尺寸，则对第一深度图像进行图像上采样，从而将第一深度图像放大，以得到与目标图像的图像尺寸一致的采样图像；若第一深度图像的图像尺寸大于目标图像的图像尺寸，则对第一深度图像进行图像下采样，从而将第一深度图像缩小，以得到与目标图像的图像尺寸一致的采样图像。

S204，将第一深度图像替换为采样图像。

由于第一深度图像仅表示了各像素点对应的深度信息，而无法直接基于深度信息确定第一深度图像中是否存在感兴趣目标，更无法确定第一深度图像中感兴趣目标所在的区域。因此通过对第一深度图像进行图像采样，将第一深度图像进行拉长/收缩，以保证第一深度图像的图像尺寸与目标图像的图像尺寸保持一致，从而可以直接根据目标图像中感兴趣目标所在的区域来确定第一深度图像中感兴趣目标所在的第一区域，避免了无法通过第一深度图像获取感兴趣目标所在的第一区域的情况。

S205，基于目标图像掩模确定第一深度图像中感兴趣目标所在的第一区域。

具体的，确定目标图像掩模中，像素值为第一预设值的各像素点所在的第一位置，然后确定第一深度图像中，各第一位置对应的第二位置，根据各第二位置得到感兴趣目标所在的第一区域，具体来说，可以将第一深度图像中各第二位置对应的像素点作为第一区域对应的第一像素点。

示例性的，可以通过以下公式确定第一深度图像中感兴趣目标所在的第一区域：

Mask_d＝{p[i,j]|Mask[i,j]＝1andp[i,j]∈Depth}

其中，Mask_d为第一深度图像中感兴趣目标所在的第一区域；p[i,j]为第一深度图像中的第i行第j列的像素点；Mask[i,j]为目标图像掩模中的第i行第j列的像素点，1为第一预设值；Depth为第一深度图像。

S206，基于三维重建模型获取目标图像的第二深度图像，基于目标图像掩模确定第二深度图像中感兴趣目标所在的第二区域。

具体的，确定目标图像掩模中，像素值为第一预设值的各像素点所在的第一位置，然后确定第二深度图像中，各第一位置对应的第三位置，根据各第三位置得到感兴趣目标所在的第二区域，具体来说，可以将第一深度图像中各第三位置对应的像素点作为第二区域对应的第二像素点。

示例性的，可以通过以下公式确定第二深度图像中感兴趣目标所在的第二区域：

Mask_f＝{p[i,j]|Mask[i,j]＝1andp[i,j]∈Face}

其中，Mask_f为第二深度图像中感兴趣目标所在的第二区域；p[i,j]为第二深度图像中的第i行第j列的像素点；Mask[i,j]为目标图像掩模中的第i行第j列的像素点，1为第一预设值；Face为第二深度图像。

由于深度图像仅表示了各像素点对应的深度信息，而无法直接基于深度信息确定深度图像中是否存在感兴趣目标，更无法确定深度图像中感兴趣目标所在的区域。因此，通过先获取目标图像中感兴趣目标所在的目标区域，然后基于目标区域生成目标图像掩模，从而根据目标图像掩模获取第一深度图像以及第二深度图像中感兴趣目标所在的区域。

S207，获取第一区域中各像素对应的第一深度信息以及第二区域中各像素对应的第二深度信息。

具体的，像素点对应的深度信息是指像素点对应的像素值。

S208，基于第一区域中各像素对应的第一深度信息与第二区域中各像素对应的第二深度信息获取归一化因子。

具体的，归一化因子用于将第一深度信息与第二深度信息归一到同一尺度范围上。需要说明的是，由于第一深度图像与第二深度图像是基于不同模型对同一目标图像进行深度估计得到的深度图像，且不同的模型所得到的深度信息为不同的相对深度，即不同的模型所得到的深度信息的尺度不同，可以理解的是，深度信息的尺度为描述深度的标准，如厘米、米、英尺、英寸等。

S209，基于归一化因子对第一区域的深度图像以及第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像。

具体的，先根据归一化因子对第一区域的深度图像和/或第二区域的深度图像进行归一化，然后对归一化后的第一区域的深度图像以及第二区域的深度图像进行图像融合，得到感兴趣目标的第三图像。

S210，基于第三深度图像以及第一深度图像，生成目标深度图像。

具体可参见步骤S104，在此不再赘述。

在本申请实施例中，通过计算出第一深度图像与第二深度图像之间的归一化因子，然后将其进行归一化，得到尺度相同的第一深度图像以及第二深度图像，以保证图像融合得到的第三深度图像的准确性，即避免由于第一深度图像与第二深度图像的尺度不同，导致图像融合错误，或图像融合得到的第三深度图像无法正确表示深度信息的情况。

请一并参照图3，为本申请实施例提供了一种获取归一化因子的流程示意图。如图3所示，方法可以包括以下步骤S301～步骤S302。

S301，计算各第一深度信息对应的第一平均深度信息以及计算各第二深度信息对应的第二平均深度信息。

具体的，获取第一区域对应的各第一深度信息，即获取第一区域中各像素点对应的第一像素值，然后计算各第一像素值的平均像素值，得到第一平均深度信息。同样的，还获取第二区域对应的各第二深度信息，即获取第二区域中各像素点对应的第二像素值，然后计算各第二像素值的平均像素值，得到第二平均深度信息。

示例性的，可以通过以下公式获取第一平均深度信息：

其中，Mean_d为第一平均深度信息；|Mask_d|为第一区域中的像素点的个数；p∈Mask_d是指第一区域中的像素点；p为像素点对应的像素值。

示例性的，可以通过以下公式获取第一平均深度信息：

其中，其中，Mean_f为第二平均深度信息；|Mask_f|为第二区域中的像素点的个数；p∈Mask_f是指第二区域中的像素点；p为像素点对应的像素值。

S302，基于第一平均深度信息以及第二平均深度信息生成归一化因子。

具体的，获取第一平均深度信息与第二平均深度信息之间的商值，并将得到的商值作为归一化因子。

在本申请实施例中，通过获取第一平均深度信息以及第二平均深度信息，提高相关计算依据的准确性，进而提高归一化因子的准确性。

请参见图4，为本申请实施例提供了一种深度估计方法的流程示意图。如图4所示，方法可以包括以下步骤S401～步骤S408。

S401，基于深度估计模型获取目标图像的第一深度图像，确定第一深度图像中感兴趣目标所在的第一区域。

具体可参见步骤S101，在此不再赘述。

S402，基于三维重建模型获取目标图像的第二深度图像，确定第二深度图像中感兴趣目标所在的第二区域。

具体可参见步骤S102，在此不再赘述。

S403，获取第一区域中各像素对应的第一深度信息以及第二区域中各像素对应的第二深度信息。

S404，计算各第一深度信息对应的第一平均深度信息以及计算各第二深度信息对应的第二平均深度信息。

具体可参见步骤S301，在此不再赘述。

S405，获取第二平均深度信息与预设值的和值，并获取第一平均深度信息与和值的商值，将商值作为归一化因子。

具体的，由于第二平均深度信息可能为零，则需要先对第二平均深度信息进行相关的预处理，即将第二平均深度信息与预设值相加，得到两者之间的和值，可以理解的是，预设值为极小正数。再基于得到的和值，获取第一平均深度与得到的和值之间的商值，并将得到的商值作为归一化因子。

示例性的，可以通过以下公式得到归一化因子：

nf＝Mean_d/(Mean_f+eps)

其中，nf为归一化因子；Mean_d为第一平均深度信息；Mean_f为第二平均深度信息；eps为预设值。

S406，基于归一化因子对第二深度图像进行归一化，得到归一化后的第二深度图像。

具体的，基于归一化因子对第二深度图像中的各像素点进行归一化，得到归一化的第二深度图像。

示例性的，可以通过以下公式对第二深度图像进行归一化：

Face＝Face*nf

其中，Face为第二深度图像；nf为归一化因子。

S407，基于图像融合算法对第一区域的深度图像以及归一化后的第二深度图像中第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像。

S408，基于第三深度图像以及第一深度图像，生成目标深度图像。

可选的，图像融合算法可以为泊松融合算法，则获取归一化后的第二深度图像后，计算第一深度图像的第一梯度场，计算第二深度图像中第二区域的深度图像的第二梯度场，然后计算目标深度图像的第三梯度场，基于第一梯度场、第二梯度场以及第三梯度场计算目标深度图像的融合散度，再基于融合散度计算系数矩阵，最后基于得到的系数矩阵对目标深度图像进行梯度场重建。需要说明的是，梯度场包括梯度场对应区域中各像素点的梯度值，目标深度图像包括第一深度图像中除第一区域之外的其他区域中的深度图像，以及第二深度图像中第二区域中的深度图像。可以理解的是，第三深度图像是基于系数矩阵，第二区域中的深度图像进行梯度场重建后得到的深度图像。进一步的，前述说明仅为基于泊松融合算法进行的图像融合过程，并不代表本申请只能通过这个图像融合算法进行图像融合。

在本申请实施例中，通过设置不影响计算过程的预设值，即极小正数，然后将预设值与第二平均深度信息相加，并基于此计算归一化因子，避免由于第二平均深度信息为零时，造成计算错误。

请参见图5，为本申请实施例提供了一种深度估计方法的流程示意图。如图5所示，方法可以包括以下步骤S501～步骤S507。

S501，基于深度估计模型获取目标图像的第一深度图像，确定第一深度图像中各感兴趣目标所在的第一子区域；

具体的，处理器接收到用以深度估计的目标图像后，将接收到的目标图像输入深度估计模型，以使深度估计模型对接收到的目标图像进行深度估计，生成目标图像的第一深度图像，并将得到的第一深度图像输出，然后确定第一深度图像中各感兴趣目标所在的第一子区域，需要说明的是，每个感兴趣目标均对应一个单独的第一子区域。

可选的，可以通过获取各感兴趣目标对应的目标图像掩模，然后基于各个目标图像掩模确定各个感兴趣目标对应的第一子区域。

S502，基于三维重建模型获取目标图像的第二深度图像，确定第二深度图像中各感兴趣目标所在的第二子区域；

具体的，处理器接收到用以深度估计的目标图像后，将接收到的目标图像输入三维重建模型，以使三维重建模型对接收到的目标图像进行深度估计，生成目标图像的第二深度图像，并将得到的第二深度图像输出，然后确定第二深度图像中各感兴趣目标所在的第二子区域，需要说明的是，每个感兴趣目标均对应一个单独的第二子区域。

S503，遍历感兴趣目标；

具体的，遍历感兴趣目标，并获取当前遍历到的感兴趣目标对应的第一子区域以及第二子区域。

S504，对当前遍历到的感兴趣目标对应的第一子区域的深度图像以及当前遍历到的感兴趣目标对应的第二子区域的深度图像进行融合，得到当前遍历到的感兴趣目标的第三深度图像；

可选的，可以先获取第一子区域的深度图像中的各像素点的第一像素值，然后基于各像素点的第一像素值计算第一子区域的第一平均深度信息；同时，获取第二子区域的深度图像中的各像素点的第二像素值，然后基于各像素点的第二像素值计算第二子区域的第二平均深度信息；然后基于第一平均深度信息与第二平均深度信息计算归一化因子，再基于归一化因子对第二深度图像进行归一化，得到当前遍历到的感兴趣目标对应的第二深度信息。需要说明的是，每次对第二深度图像进行归一化时，均是基于初始的第二深度图像进行归一化，也就是说，在感兴趣目标的遍历过程中，对第二深度图像的归一化过程并不会改变原始第二深度图像。最后基于第一子区域的深度图像以及归一化后的第二子区域的深度图像进行图像融合，得到当前遍历到的感兴趣目标的第三深度图像。

S505，若为首次遍历，则基于当前感兴趣目标的第三深度图像以及第一深度图像，生成目标深度图像；

具体的，若为首次遍历，合并第三深度图像与第一深度图像，即先获取第一深度图像中除感兴趣目标所在的第一子区域之外的其他区域对应的待合并图像，然后将第三深度图像与待合并图像按照其对应的区域进行图像合并，得到目标深度图像。

S506，若不为首次遍历，则基于当前遍历到的感兴趣目标的第三深度图像以及上一次生成的目标深度图像，生成新的目标深度图像；

具体的，若不为首次遍历，合并第三深度图像与上一次遍历过程生成的目标深度图像，即先获取上一次遍历过程生成的目标深度图像中除感兴趣目标所在的第一子区域之外的其他区域对应的待合并图像，然后将第三深度图像与待合并图像按照其对应的区域进行图像合并，得到当前遍历过程生成的新的目标深度图像。

S507，若所有的感兴趣目标遍历完成，将新的目标深度图像作为目标深度图像。

具体的，若所有的感兴趣目标遍历完成，将最后一次遍历过后才能得到的目标深度图像作为最终的目标深度图像，即所有的感兴趣目标对应的第二子区域与第一深度图像的图像融合结果。

在本申请实施例中，先确定各感兴趣目标所在的区域，再分别对各感兴趣目标进行图像融合，以针对各感兴趣目标计算出更匹配的融合参数，从而提高图像融合效果。

下面将结合附图6本申请实施例提供的深度估计装置进行详细介绍。需要说明的是，附图6深度估计装置，用于执行本申请图1～图5所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图1～图5所示的实施例。

请参见图6，为本申请实施例提供了一种深度估计装置的结构示意图。如图6所示，本申请实施例的深度估计装置1可以包括：第一获取模块10、第二获取模块20、图像融合模块30、图像生成模块40。

第一获取模块10，用于基于深度估计模型获取目标图像的第一深度图像，确定第一深度图像中感兴趣目标所在的第一区域；

第二获取模块20，用于基于三维重建模型获取目标图像的第二深度图像，确定第二深度图像中感兴趣目标所在的第二区域；

图像融合模块30，用于对第一区域的深度图像以及第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像；

图像生成模块40，用于基于第三深度图像以及第一深度图像，生成目标深度图像。

可选的，图像融合模块30，具体用于：

获取第一区域中各像素对应的第一深度信息以及第二区域中各像素对应的第二深度信息；

基于第一区域中各像素对应的第一深度信息与第二区域中各像素对应的第二深度信息获取归一化因子；

基于归一化因子对第一区域的深度图像以及第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像。

可选的，图像融合模块30，具体用于：

计算各第一深度信息对应的第一平均深度信息以及计算各第二深度信息对应的第二平均深度信息；

基于第一平均深度信息以及第二平均深度信息生成归一化因子。

可选的，图像融合模块30，具体用于：

获取第二平均深度信息与预设值的和值，并获取第一平均深度信息与和值的商值，将商值作为归一化因子；

基于归一化因子对第一区域的深度图像以及第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像，包括：

基于归一化因子对第二深度图像进行归一化，得到归一化后的第二深度图像；

基于图像融合算法对第一区域的深度图像以及归一化后的第二深度图像中第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像。

可选的，第一获取模块10，还用于：

基于深度估计模型获取目标图像的第一深度图像，确定第一深度图像中各感兴趣目标所在的第一子区域；

第二获取模块20，还用于：

基于三维重建模型获取目标图像的第二深度图像，确定第二深度图像中各感兴趣目标所在的第二子区域；

遍历模块50，用于遍历感兴趣目标；

图像融合模块20，还用于：

对当前遍历到的感兴趣目标对应的第一子区域的深度图像以及当前遍历到的感兴趣目标对应的第二子区域的深度图像进行融合，得到当前遍历到的感兴趣目标的第三深度图像；

图像生成模块30，还用于：

若为首次遍历，则基于当前感兴趣目标的第三深度图像以及第一深度图像，生成目标深度图像；

若不为首次遍历，则基于当前遍历到的感兴趣目标的第三深度图像以及上一次生成的目标深度图像，生成新的目标深度图像；

若所有的感兴趣目标遍历完成，将新的目标深度图像作为目标深度图像。

可选的，深度估计装置1还包括：掩模获取模块60。

掩模获取模块60，用于获取目标图像中感兴趣目标所在的目标图像掩模；

第一获取模块10，还用于基于目标图像掩模确定第一深度图像中感兴趣目标所在的第一区域；

第二获取模块20，还用于基于目标图像掩模确定第二深度图像中感兴趣目标所在的第二区域。

可选的，深度估计装置1还包括：图像校正模块70。

图像校正模块70，具体用于：

若第一深度图像的图像尺寸与目标图像的图像尺寸不一致，对第一深度图像进行图像采样，得到与目标图像的图像尺寸一致的采样图像；

将第一深度图像替换为采样图像。

本申请实施例还提供了一种存储介质，存储介质可以存储有多条程序指令，程序指令适于由处理器加载并执行如上述图1～图5所示实施例的方法步骤，具体执行过程可以参见图1～图5所示实施例的具体说明，在此不进行赘述。

请参见图7，为本申请实施例提供了一种计算机设备的结构示意图。如图7所示，计算机设备1000可以包括：至少一个处理器1001，至少一个存储器1002，至少一个网络接口1003，至少一个输入输出接口1004，至少一个通讯总线1005和至少一个显示单元1006。其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个计算机设备1000内的各个部分，通过运行或执行存储在存储器1002内的指令、程序、代码集或指令集，以及调用存储在存储器1002内的数据，执行终端1000的各种功能和处理数据。存储器1002可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1002可选的还可以是至少一个位于远离前述处理器1001的存储装置。其中，网络接口1003可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。通信总线1005用于实现这些组件之间的连接通信。如图7所示，作为一种终端设备存储介质的存储器1002中可以包括操作系统、网络通信模块、输入输出接口模块以及深度估计程序。

在图7所示的计算机设备1000中，输入输出接口1004主要用于为用户以及接入设备提供输入的接口，获取用户以及接入设备输入的数据。

在一个实施例中。

处理器1001可以用于调用存储器1002中存储的深度估计程序，并具体执行以下操作：

基于第三深度图像以及第一深度图像，生成目标深度图像。

可选的，处理器1001在执行对第一区域的深度图像以及第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像时，具体执行以下操作：

可选的，处理器1001在执行基于第一区域中各像素对应的第一深度信息与第二区域中各像素对应的第二深度信息获取归一化因子时，具体执行以下操作：

可选的，处理器1001在执行基于第一平均深度信息以及第二平均深度信息生成归一化因子时，具体执行以下操作：

处理器1001在执行基于归一化因子对第一区域的深度图像以及第二区域的深度图像进行融合，得到感兴趣目标的第三深度图像时，具体执行以下操作：

可选的，处理器1001还可以用于调用存储器1002中存储的深度估计程序，并具体执行以下操作：

遍历感兴趣目标；

可选的，处理器1001在执行确定第一深度图像中感兴趣目标所在的第一区域之前，还执行以下操作：

获取目标图像中感兴趣目标所在的目标图像掩模；

确定第一深度图像中感兴趣目标所在的第一区域，包括：

基于目标图像掩模确定第一深度图像中感兴趣目标所在的第一区域；

确定第二深度图像中感兴趣目标所在的第二区域，包括：

基于目标图像掩模确定第二深度图像中感兴趣目标所在的第二区域。

可选的，处理器1001在执行基于深度估计模型获取目标图像的第一深度图像之后，还执行以下操作：

将第一深度图像替换为采样图像。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本申请所提供的一种深度估计方法、深度估计装置、存储介质及设备的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims

1.一种深度估计方法，其特征在于，所述方法包括：

基于深度估计模型获取目标图像的第一深度图像，确定所述第一深度图像中感兴趣目标所在的第一区域；

基于三维重建模型获取所述目标图像的第二深度图像，确定所述第二深度图像中所述感兴趣目标所在的第二区域；

对所述第一区域的深度图像以及所述第二区域的深度图像进行融合，得到所述感兴趣目标的第三深度图像；

基于所述第三深度图像以及所述第一深度图像，生成目标深度图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一区域的深度图像以及所述第二区域的深度图像进行融合，得到所述感兴趣目标的第三深度图像，包括：

获取所述第一区域中各像素对应的第一深度信息以及所述第二区域中各像素对应的第二深度信息；

基于所述第一区域中各像素对应的第一深度信息与所述第二区域中各像素对应的第二深度信息获取归一化因子；

基于所述归一化因子对所述第一区域的深度图像以及所述第二区域的深度图像进行融合，得到所述感兴趣目标的第三深度图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一区域中各像素对应的第一深度信息与所述第二区域中各像素对应的第二深度信息获取归一化因子，包括：

计算各所述第一深度信息对应的第一平均深度信息以及计算各所述第二深度信息对应的第二平均深度信息；

基于所述第一平均深度信息以及所述第二平均深度信息生成所述归一化因子。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一平均深度信息以及所述第二平均深度信息生成所述归一化因子，包括：

获取所述第二平均深度信息与预设值的和值，并获取所述第一平均深度信息与所述和值的商值，将所述商值作为所述归一化因子；

所述基于所述归一化因子对所述第一区域的深度图像以及所述第二区域的深度图像进行融合，得到所述感兴趣目标的第三深度图像，包括：

基于所述归一化因子对所述第二深度图像进行归一化，得到归一化后的第二深度图像；

基于图像融合算法对所述第一区域的深度图像以及所述归一化后的第二深度图像中所述第二区域的深度图像进行融合，得到所述感兴趣目标的第三深度图像。

5.根据权利要求4所述的方法，其特征在于，所述图像融合算法包括泊松融合。

6.根据权利要求1所述的方法，其特征在于，若所述目标图像中存在至少两个所述感兴趣目标，所述方法包括：

基于所述深度估计模型获取所述目标图像的第一深度图像，确定所述第一深度图像中各所述感兴趣目标所在的第一子区域；

基于所述三维重建模型获取所述目标图像的第二深度图像，确定所述第二深度图像中各所述感兴趣目标所在的第二子区域；

遍历所述感兴趣目标；

对当前遍历到的所述感兴趣目标对应的所述第一子区域的深度图像以及当前遍历到的所述感兴趣目标对应的所述第二子区域的深度图像进行融合，得到当前遍历到的所述感兴趣目标的第三深度图像；

若为首次遍历，则基于当前所述感兴趣目标的所述第三深度图像以及所述第一深度图像，生成目标深度图像；

若不为首次遍历，则基于当前遍历到的所述感兴趣目标的所述第三深度图像以及上一次生成的目标深度图像，生成新的目标深度图像；

若所有的所述感兴趣目标遍历完成，将所述新的目标深度图像作为目标深度图像。

7.根据权利要求1所述的方法，其特征在于，所述确定所述第一深度图像中感兴趣目标所在的第一区域之前，还包括：

获取所述目标图像中所述感兴趣目标所在的目标图像掩模；

所述确定所述第一深度图像中感兴趣目标所在的第一区域，包括：

基于所述目标图像掩模确定所述第一深度图像中所述感兴趣目标所在的第一区域；

所述确定所述第二深度图像中所述感兴趣目标所在的第二区域，包括：

基于所述目标图像掩模确定所述第二深度图像中所述感兴趣目标所在的第二区域。

8.根据权利要求1所述的方法，其特征在于，所述基于深度估计模型获取目标图像的第一深度图像之后，还包括：

若第一深度图像的图像尺寸与所述目标图像的图像尺寸不一致，对所述第一深度图像进行图像采样，得到与所述目标图像的图像尺寸一致的采样图像；

将所述第一深度图像替换为所述采样图像。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8中任一项所述的深度估计方法。

10.一种计算机设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项所述的深度估计方法的步骤。