CN115797432B - 估计图像绝对深度的方法和装置 - Google Patents

Abstract

本申请提供一种估计图像绝对深度的方法和装置，该方法包括：利用关键点检测模型检测待处理图像中目标的骨骼关键点，该目标包括人；根据骨骼关键点估计得到目标的绝对身高；根据目标的绝对身高和目标在待处理图像中的相对身高，得到目标的绝对深度；将目标的绝对深度以及待处理图像，输入预设的绝对深度估计模型，得到待处理图像对应的绝对深度图像。该方案主要通过增加了图像中的人的绝对身高转换为绝对深度，并将这个绝对深度作为参考，使得在不依赖于真值点的前提下，对图像的绝对深度的估计更准确。

Description

估计图像绝对深度的方法和装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种估计图像绝对深度的方法和装置。

背景技术

图像的深度估计应用广泛，例如可以用于人像虚实遮挡、测距等。目前对于单目深度估计方法，主要包括绝对深度估计和相对深度估计。对于相对深度估计而言，在得到图像的相对深度之后，还需要基于真值点的绝对深度来将图像的相对深度转换为绝对深度，而实际应用中可能并不知道真值点，这就导致无法推知出图像的绝对深度。而传统的绝对深度估计方法，则是直接估计出图像的绝对深度，但是误差较大，无法满足高精度需求。

因此如何在不依赖于真值点的前提下提高图像的绝对深度的估计精度是亟待解决的技术问题。

发明内容

本申请提供一种估计图像绝对深度的方法和装置，能够在不依赖于真值点的前提下，对图像的绝对深度的估计更准确。

第一方面，提供了一种估计图像绝对深度的方法，该方法包括：利用关键点检测模型检测待处理图像中目标的骨骼关键点，该目标包括人；根据骨骼关键点估计得到目标的绝对身高；根据目标的绝对身高和目标在待处理图像中的相对身高，得到目标的绝对深度；将目标的绝对深度以及所述待处理图像，输入预设的绝对深度估计模型，得到待处理图像对应的绝对深度图像。

在本申请技术方案中，主要通过增加了图像中的人的绝对身高转换为绝对深度，并将这个绝对深度作为参考，使得在不依赖于真值点的前提下，对图像的绝对深度的估计更准确。由于这里的绝对深度主要用来作为一个参考值，而不是直接作为一个真值点去对应推算待处理图像中每个像素点的绝对深度，所以并不会导致最终绝对深度估计结果的准确性完全依赖于身高估计的准确性，所以能够保证整体方案对于估计结果准确性的稳定。可以理解为，是在传统的绝对深度估计方法的基础上增加了一项约束和参考，来提高其准确性。

需要说明的是，本申请实施例的方案只能应用于待处理图像中包括人的情况，如果图像中不包括人则不能使用本申请实施例的方案。且包括的人的数量越多，整个图像的绝对深度的估计结果越准确。

结合第一方面，在第一方面的某些实现方式中，上述根据骨骼关键点估计得到目标的绝对身高，可以包括：

根据骨骼关键点计算得到目标的马氏躯干指数；

根据马氏躯干指数，通过查表的方式从马氏躯干指数与身高的对应表中得到目标的绝对身高。

马氏躯干指数是一种应用非常广泛的估算身高的方式，此处利用该方式能够有效降低整体方案的复杂度，使得方案易于复现。

根据骨骼关键点之间的长度、相对关系等就可以计算得到马氏躯干指数。最常见的马氏躯干指数的计算公式是[(身高-坐高)/坐高]×100，而且随着日渐完善，出现了成熟的马氏躯干指数与身高的对应关系的对照表，所以当知道了马氏躯干指数之后，就能查出对应的身高。

结合第一方面，在第一方面的某些实现方式中，在根据马氏躯干指数，通过查表的方式从马氏躯干指数与身高的对应表中得到目标的绝对身高时，可以包括：

利用调整参数对马氏躯干指数进行调整，得到调整后的马氏躯干指数，调整参数包括目标特征参数或拍摄参数中的至少一项；

查表并将调整后的马氏躯干指数对应的身高确定为目标的绝对身高。

为了进一步提高身高的准确，还增加了对于性别、年龄、国家地域等因素下的不同对应身高，也就是说，对于同一个马氏躯干指数的数值，当目标性别、年龄或国家地域不同的时候，对应不同的身高。通过先利用调整参数对马氏躯干指数进行调整之后再查表，能够有效提高绝对身高的结果的准确性。

结合第一方面，在第一方面的某些实现方式中，目标特征参数包括性别、年龄、国家地域或目标姿态中的至少一项；目标特征参数是利用目标特征参数的特征提取模型对待处理图像进行处理得到的；拍摄参数包括拍摄角度。

目标特征参数可以理解为与人（图像中的目标）相关的特征参数，例如上述性别、年龄、国家地域这些，还例如姿态。在一个例子中，目标特征参数。可以包括性别、年龄、国家地域或目标姿态中的至少一项。目标姿态也就是图中目标的姿态，该姿态例如可以能坐、站、侧身、低头、跨步、弯腰等，不再逐一列举。但应理解，此处是指会影响到身高估算的一些姿态，所以对于睁眼闭眼这种不会影响到身高的姿态不在上述目标姿态所述范围。

拍摄参数则可以理解为拍摄该待处理图像的拍摄装置的参数，以及拍摄位置和拍摄角度。在一个例子中，上述拍摄参数包括拍摄角度。拍摄角度不同会使得人体在图像中的呈现不同，也会影响到对于身高的估算。所以将拍摄角度考虑进去可以进一步提高身高估算的准确性。

结合第一方面，在第一方面的某些实现方式中，在根据目标的绝对身高和目标在待处理图像中的相对身高，得到目标的绝对深度时，可以包括：

根据目标的绝对身高、目标在待处理图像中的相对身高以及待处理图像对应的相机参数，得到目标的绝对深度。

结合第一方面，在第一方面的某些实现方式中，在将目标的绝对深度以及待处理图像，输入预设的绝对深度估计模型，得到待处理图像对应的绝对深度图像时，可以包括：

提取待处理图像中目标的人像区域；

根据目标的绝对深度，得到目标的人像区域的绝对深度图；

将人像区域的绝对深度图作为初始绝对深度图，利用预设的绝对深度估计模型对待处理图像进行深度估计，得到待处理图像对应的绝对深度图像。

结合第一方面，在第一方面的某些实现方式中，在将目标的绝对深度以及待处理图像，输入预设的绝对深度估计模型之前，上述方法还包括：

获取训练数据，训练数据包括：训练图像、训练图像中人像区域的绝对深度图像和目标图像，目标图像为训练图像对应的绝对深度图像；

将训练数据中的训练图像和人像区域的绝对深度图像输入待训练的绝对深度估计模型，得到待训练的绝对深度估计模型输出的绝对深度估计图像；

将绝对深度估计图像与目标图像进行比较，根据比较结果调整待训练的绝对深度估计模型的参数，得到预设的绝对深度估计模型。

结合第一方面，在第一方面的某些实现方式中，在将绝对深度估计图像与目标图像进行比较时，采用的损失函数包括整图的深度估计损失函数和人像区域的深度估计损失函数。

在一个例子中，上述损失函数还包括人像轮廓损失函数。

当增加人像区域的深度估计损失函数，也就是增加对于人像区域的深度值误差的比较，相当于增加了一项约束条件，使得人像区域的信息提取能力增强，从而误差更小。当增加人像轮廓损失函数，也就是增加对于人像轮廓的误差比较，将绝对深度估计图中的人像轮廓与原图像的人像轮廓进行比较，能够进一步提高人像区域的信息提取能力，从而误差更小。

由于训练目的是希望绝对深度估计模型输出的绝对深度图像的准确性更高，所以在整图的深度估计损失函数的基础上，损失函数还可以包括人像区域的深度估计损失函数，因为人像区域的深度是经过已知的绝对深度标定过的，所以能够加强对于人像区域的深度的学习，或者理解为对人像区域更侧重学习，从而有效提高训练后的绝对深度估计模型的估计深度的准确性。而在上述整图的深度估计损失函数和人像区域的深度估计损失函数的基础上，再增加人像轮廓损失函数，则是进一步加强对于轮廓部分的学习，提高人像区域的信息提取能力，从而提高训练效果。

第二方面，提供了一种绝对深度估计模型的训练方法，该训练方法包括：

获取训练数据，该训练数据包括训练图像、训练图像中目标的绝对深度图和训练图像对应的深度图像；利用训练数据对绝对深度估计模型进行训练，得到目标绝对深度估计模型；绝对深度估计模型的损失函数包括整图的深度估计损失函数和人像区域的深度估计损失函数。

在一种实现方式中，绝对深度估计模型的损失函数还包括人像轮廓损失函数。

由于训练目的是希望绝对深度估计模型输出的绝对深度图像的准确性更高，所以在整图的深度估计损失函数的基础上，损失函数还可以包括人像区域的深度估计损失函数，因为人像区域的深度是经过已知的绝对深度标定过的，所以能够加强对于人像区域的深度的学习，或者理解为对人像区域更侧重学习，从而有效提高训练后的绝对深度估计模型的估计深度的准确性。而在上述整图的深度估计损失函数和人像区域的深度估计损失函数的基础上，再增加人像轮廓损失函数，则是进一步加强对于轮廓部分的学习，提高人像区域的信息提取能力，从而提高训练效果。

第三方面，提供了一种估计图像绝对深度的装置，该装置包括由软件和/或硬件组成的用于执行第一方面或第二方面的任意一种方法的单元。

第四方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，当处理器执行计算机程序时能够实现第一方面或第二方面的任意一种方法。

第五方面，提供了一种芯片，包括处理器，该处理器用于读取并执行存储在存储器中的计算机程序，当计算机程序被处理器执行时能够实现第一方面或第二方面的任意一种方法。

可选地，该芯片还包括存储器，存储器与处理器电连接。

可选地，该芯片还可以包括通信接口。

第六方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当计算机程序被处理器执行时能够实现第一方面或第二方面的任意一种方法。

第七方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，当计算机程序被处理器执行时能够实现第一方面或第二方面的任意一种方法。

附图说明

图1是目标图像的相对深度图和绝对深度图的示例。

图2是本申请实施例的一种估计图像绝对深度的方法的示意性流程图。

图3是本申请的一种利用绝对深度估计模型进行深度估计的推理过程的示意图。

图4是本申请的一种绝对深度估计模型的训练方法的示意性流程图。

图5是步骤S201-S203的执行过程的一个示例图。

图6是步骤S204的执行过程的一个示例图。

图7是本申请实施例的一种估计图像绝对深度的装置的示意图。

图8是本申请实施例的一种绝对深度估计模型的训练装置的示意图。

图9是本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面结合附图对本申请实施例的方案进行介绍。本申请提供的估计图像绝对深度的方法能够应用于各类需要在电子设备上进行图像的绝对深度估计的场景。

图1是目标图像的相对深度图和绝对深度图的示例。如图1中（a）所示是一个彩色图像，也就是三原色（red green blue，RGB）图像，此处以一个室内场景拍摄的彩色图为例。如果对该目标图像进行相对深度的估计就可以得到图1中（b）所示的相对深度估计图。如图1中（b）所示，相对深度图像是表示的是彩色图中各个像素之间的位置关系，一般用[0,1]表示。相对深度为0的像素点相当于该张图像所有像素点中绝对深度最小的点，也就是距离拍摄位置最近的点。相对深度为1的像素点相当于该张图像所有像素点中绝对深度最大的点，也就是距离拍摄位置最远的点。对于图1中（b）所示则是最下面一行对应的是相对深度为0，最上面一行对应的是相对深度为1。图1中（c）所示为目标图像对应的绝对深度图像。图1中（c）中表示的就是每个像素点与拍摄位置之间的距离，也就是绝对深度。可以在目标图像的基础上进行绝对深度估计得到图1中（c）所示的绝对深度图像；或者，可以先对目标图像进行相对深度估计得到图1中（b）所示的相对深度图像，再基于真值点（例如真值点图像中所示的各个真值点），将相对深度转换为绝对深度得到图1中（c）所示的绝对深度图像。图1以将图1中（b）所示的相对深度估计图像与真值点图像中所示的各个真值点结合之后得到图1中（c）所示的绝对深度图像，以及标出了ABC三个真值点作为示例。

图2是本申请实施例的一种估计图像绝对深度的方法的示意性流程图。该方法能够应用于可以进行图像的深度估计的电子设备中。下面对图2各步骤进行介绍。

S201、利用关键点检测模型检测待处理图像中目标的骨骼关键点。

该目标是人。由于不同身高的人体骨骼的相对关系是不同的，并且呈一定的对应关系，所以可以基于对人体骨骼特点与身高之间的关系，来估算身高。

待处理图像可以是利用相机、摄像头或者终端等电子设备的拍摄功能进行拍摄得到，也可以是从存储装置中读取图像，或者是通过通信接口从网络中获取图像。不存在限定。

需要说明的是，本申请实施例的方案只能应用于待处理图像中包括人的情况，如果图像中不包括人则不能使用本申请实施例的方案。且包括的人的数量越多，整个图像的绝对深度的估计结果越准确。

关键点检测模型可以利用目前已有的关键点检测模型，例如openpose模型，也可以自行设计神经网络模型，然后进行关键点检测的训练，使得其具备提取骨骼关键点的能力。

S202、根据骨骼关键点估计得到目标的绝对身高。

如上所述，骨骼关键点之间的结构关系与人体的身高是呈一定对应关系的，所以可以在知道某个人（目标）的骨骼关键点之后估算这个人对应的绝对身高。

在一种实现方式中，步骤S202可以包括：

根据骨骼关键点计算得到目标的马氏躯干指数；

根据马氏躯干指数，通过查表的方式从马氏躯干指数与身高的对应表中得到目标的绝对身高。

马氏躯干指数是一种应用非常广泛的估算身高的方式，此处利用该方式能够有效降低整体方案的复杂度，使得方案易于复现。

根据骨骼关键点之间的长度、相对关系等就可以计算得到马氏躯干指数。最常见的马氏躯干指数的计算公式是[(身高-坐高)/坐高]×100，而且随着日渐完善，出现了成熟的马氏躯干指数与身高的对应关系的对照表，所以当知道了马氏躯干指数之后，就能查出对应的身高。并且为了进一步提高身高的准确，还增加了对于性别、年龄、国家地域等因素下的不同对应身高，也就是说，对于同一个马氏躯干指数的数值，当目标性别、年龄或国家地域不同的时候，对应不同的身高。

在一个例子中，在根据马氏躯干指数，通过查表的方式从马氏躯干指数与身高的对应表中得到目标的绝对身高时，可以包括：利用调整参数对马氏躯干指数进行调整，得到调整后的马氏躯干指数，调整参数包括目标特征参数或拍摄参数中的至少一项；查表并将调整后的马氏躯干指数对应的身高确定为目标的绝对身高。

目标特征参数可以理解为与人（图像中的目标）相关的特征参数，例如上述性别、年龄、国家地域这些，还例如姿态。在一个例子中，目标特征参数。可以包括性别、年龄、国家地域或目标姿态中的至少一项。目标姿态也就是图中目标的姿态，该姿态例如可以能坐、站、侧身、低头、跨步、弯腰等，不再逐一列举。但应理解，此处是指会影响到身高估算的一些姿态，所以对于睁眼闭眼这种不会影响到身高的姿态不在上述目标姿态所述范围。

拍摄参数则可以理解为拍摄该待处理图像的拍摄装置的参数，以及拍摄位置和拍摄角度。在一个例子中，上述拍摄参数包括拍摄角度。拍摄角度不同会使得人体在图像中的呈现不同，也会影响到对于身高的估算。所以将拍摄角度考虑进去可以进一步提高身高估算的准确性。

S203、根据目标的绝对身高和目标在待处理图像中的相对身高，得到目标的绝对深度。

对于一张包含了至少一个目标的图像，目标的绝对身高和相对身高之间的对应关系，与目标的绝对深度和相对深度之间的对应关系这两个对应关系之间同样是存在对应的。所以在得到了目标的绝对身高和目标在待处理图像中的相对身高之后，就可以进一步得到目标的绝对深度。

在一种实现方式中，可以进一步借助相机参数来计算绝对深度。例如步骤S203可以包括：根据目标的绝对身高、目标在待处理图像中的相对身高以及待处理图像对应的相机参数，得到目标的绝对深度。

对于不同的相机，相机参数会有所不同，但对于相同的相机，所有拍摄的图像之间的绝对深度是有对应关系的，所以可以通过统计的方式，制作表格，对于每个绝对身高、相对身高和相机参数，确定其对应的绝对深度。由于相机的种类是有限的，相机参数是可以穷举的，所以可以建立这样的表格，那么当获得一张图像，并根据上述步骤知道了图像中的某个目标的绝对身高、相对身高和相机参数，就可以查表到这个图像中目标的绝对深度。

S204、将目标的绝对深度以及待处理图像，输入预设的绝对深度估计模型，得到待处理图像对应的绝对深度图像。

与直接进行整图的绝对深度估计的传统方案相比，此处由于引入了一个相对准确的绝对深度作为参考，所以能够提高绝对深度估计的准确性。

在一种实现方式中，步骤S204可以包括：

提取待处理图像中目标的人像区域；

根据目标的绝对深度，得到目标的人像区域的绝对深度图；

将人像区域的绝对深度图作为初始绝对深度图，利用预设的绝对深度估计模型对待处理图像进行深度估计，得到待处理图像对应的绝对深度图像。

也就是说，目标的绝对深度起到一个约束的作用，将用目标的绝对深度标定了绝对深度的初始绝对深度图进一步进行深度估计的时候，一方面能够使得收敛更快速，另一方面，有了这个参考，能够有效防止估计结果出现过度偏离实际的情况，提高估计结果的准确性。

在一种实现方式中，在将目标的绝对深度以及待处理图像，输入预设的绝对深度估计模型之前，上述方法还包括：

获取训练数据，训练数据包括：训练图像、训练图像中人像区域的绝对深度图像和目标图像，目标图像为训练图像对应的绝对深度图像；

将训练数据中的训练图像和人像区域的绝对深度图像输入待训练的绝对深度估计模型，得到待训练的绝对深度估计模型输出的绝对深度估计图像；

将绝对深度估计图像与目标图像进行比较，根据比较结果调整待训练的绝对深度估计模型的参数，得到预设的绝对深度估计模型。

也就是说，可以通过对一个绝对深度估计模型进行训练之后得到步骤S204中的预设的绝对深度估计模型。

在一个例子中，在将绝对深度估计图像与目标图像进行比较时，采用的损失函数包括整图的深度估计损失函数和人像区域的深度估计损失函数。

在另一个例子中，上述损失函数还包括人像轮廓损失函数。

图2所示方案，主要通过增加了图像中的人的绝对身高转换为绝对深度，并将这个绝对深度作为参考，使得在不依赖于真值点的前提下，对图像的绝对深度的估计更准确。由于这里的绝对深度主要用来作为一个参考值，而不是直接作为一个真值点去对应推算待处理图像中每个像素点的绝对深度，所以并不会导致最终绝对深度估计结果的准确性完全依赖于身高估计的准确性，所以能够保证整体方案对于估计结果准确性的稳定。可以理解为，是在传统的绝对深度估计方法的基础上增加了一项约束和参考，来提高其准确性。

为了便于理解，下面结合图3对绝对深度估计模型的训练过程和推理过程进行介绍。

图3是本申请的一种利用绝对深度估计模型进行深度估计的推理过程的示意图。如图3所示，将待处理图像（图像A）和人像（目标B）区域的绝对深度图输入到绝对深度估计模型，经过绝对深度估计模型处理之后，输出该待处理图像的绝对深度估计图。

在图3所示例子中，该绝对深度估计模型包括编码结构和解码结构，且编码结构和解码结构之间通过神经网络层（FFC）连接。编码结构提取图像特征并传输给FFC层，FFC层进行特征融合和压缩之后传输给解码结构，解码结构对输入的特征图进行上采样，将特征图逐步上采样到分辨率与待处理图像的分辨率相同，就得到了图像A对应的绝对深度估计图像（图像C）。

图4是本申请的一种绝对深度估计模型的训练方法的示意性流程图。

S401、获取训练数据。

该训练数据包括训练图像、训练图像中目标的绝对深度图（为了避免歧义，此处称之为人像深度图）和训练图像对应的深度图像。其中，训练图像和人像深度图是输入图像，训练图像对应的深度图像是整图区域的深度图像，作为标签，可称之为目标图像。

训练图像和作为标签的深度图像可以利用深度图像采集设备采集得到，人像深度图则由于训练阶段目标的绝对身高和绝对深度都是已知，所以可以利用目标的绝对深度来对训练图像进行处理，得到人像深度图。人像深度图中的人像区域可以利用图像分割方法从训练图像中分割出人像区域，然后利用该目标的绝对深度标注人像区域的深度，以及将人像区域之外的其他区域的深度值置零或者置为某个常数值。

S402、利用训练数据对绝对深度估计模型进行训练。

将训练数据中的训练图像和人像深度图作为输入，输入到绝对深度估计模型，得到该训练图像的绝对深度的估计图，将这个估计图的深度与标签图像（目标图像）的深度进行逐像素比较得到深度估计误差，使用反向传播算法，调整绝对深度估计模型的参数，以减小误差，即完成一次训练。

调整绝对深度估计模型的参数的过程中，除了可以采用的损失函数包括基于上述深度值误差的损失函数，也就是整图的深度估计损失函数。为了提高估计准确性，还可以增加人像区域的深度估计损失函数，也就是增加对于人像区域的深度值误差的比较，相当于增加了一项约束条件，使得人像区域的信息提取能力增强，从而误差更小。此外，还可以增加人像轮廓损失函数，也就是增加对于人像轮廓的误差比较，将绝对深度估计图中的人像轮廓与原图像的人像轮廓进行比较，能够进一步提高人像区域的信息提取能力，从而误差更小。

由于训练目的是希望绝对深度估计模型输出的绝对深度图像的准确性更高，所以在整图的深度估计损失函数的基础上，损失函数还可以包括人像区域的深度估计损失函数，因为人像区域的深度是经过已知的绝对深度标定过的，所以能够加强对于人像区域的深度的学习，或者理解为对人像区域更侧重学习，从而有效提高训练后的绝对深度估计模型的估计深度的准确性。而在上述整图的深度估计损失函数和人像区域的深度估计损失函数的基础上，再增加人像轮廓损失函数，则是进一步加强对于轮廓部分的学习，提高人像区域的信息提取能力，从而提高训练效果。

绝对深度估计模型例如可以是图3所示结构。

绝对深度估计模型在对训练图像和人像深度图进行处理的时候，可以将人像深度图作为初始绝对深度图（也就是绝对深度图的初始化图）进行深度估计。结合图3所示，就是将训练图像和人像深度图输入到绝对深度估计模型的编码结构部分，然后经过编码结构、FFC层和解码结构的处理之后得到训练图像对应的绝对深度估计图。

图5是步骤S201-S203的执行过程的一个示例图。

S501、检测图像中的人物的人体骨骼点并预测人物的年龄、性别、国家地域和姿态。

步骤S501可以看作是步骤S201的一个示例，图像是待处理图像的示例，人物是目标的示例，人体骨骼点即为骨骼关键点，年龄、性别、国家地域和姿态均为上述目标特征参数。

检测人体骨骼点可以利用关键点检测模型执行，预测年龄、性别、国家地域和姿态可以利用每个目标特征参数对应的预测模型执行，该预测模型可以是神经网络模型。

S502、根据骨骼关键点计算出人物的马氏躯干指数，并根据人物的姿态对该值进行校正。

还可以根据图像的拍摄角度来对该值进行校正。

S503、根据构建马氏躯干指数的哈希表，查表得到人物的绝对身高。

该哈希表是马氏躯干指数在年龄、性别和国家地域等因素下与身高的对应关系表。例如假设马氏躯干指数为B1，性别为女、年龄为1-10岁，国家地域为亚洲，就可以按照这样的索引查找到其绝对身高。

如果只有上述目标特征参数的每个参数下的马氏躯干指数与身高的对照表，而没有上述目标特征参数的多个或所有参数下的马氏躯干指数与身高的综合起来的对照表，可以将几个分对照表查到的身高取平均值。例如，假设哈希表1中是不同年龄的马氏躯干指数与身高的对照表，哈希表2是不同性别的马氏躯干指数与身高的对照表，哈希表3是不同国家地域的马氏躯干指数与身高的对照表，且从几个哈希表中查出马氏躯干指数C1对应的身高分别为D1、D2和D3，就可以将D1、D2和D3的平均值作为马氏躯干指数C1对应的身高。

步骤S502-S503可以看作是步骤S202的一个示例。

S504、根据绝对身高与相机参数以及人物在图像的相对身高，与绝对深度之间的关系，确定人物的绝对深度。

步骤S504可以看作是步骤S203的一个示例。

图6是步骤S204的执行过程的一个示例图。如图6所示，先通过图像分割，从待处理图像中获取人像区域的分割图，也就是提取待处理图像中目标的人像区域。之后，根据目标的绝对深度来得到人像区域的绝对深度图，也就是上述人像深度图。将人像区域的绝对深度图和待处理图像都输入到绝对深度估计模型，经过绝对深度估计模型的处理之后就能够得到绝对深度图像。

上文主要结合附图对本申请实施例的方法进行了介绍。应理解，虽然如上所述的各实施例所涉及的流程图中的各个步骤依次显示，但是这些步骤并不是必然按照图中所示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。下面结合附图对本申请实施例的装置进行介绍。

图7是本申请实施例的一种估计图像绝对深度的装置的示意图。如图7所示，该装置1000包括身高估计单元1001、目标深度估计单元1002和图像深度估计单元1003。该装置1000可以是集成在终端、计算机、智能相机、智能摄像机等电子设备中。

该装置1000能够用于执行上文任意一种估计图像绝对深度的方法。例如，身高估计单元1001可用于执行步骤S201和S202，目标深度估计单元1002可用于执行步骤S203，图像深度估计单元1003可用于执行步骤S204。又例如，身高估计单元1001可用于执行步骤S501-S503，目标深度估计单元1002可用于执行步骤S504。又例如，图像深度估计单元1003可用于执行图6所示过程。

在一种实现方式中，装置1000还可以包括存储单元，用于存储待处理图像、马氏躯干指数、绝对深度估计模型等数据。该存储单元可以是集成在上述任意一个单元中，也可以是独立于上述所有单元之外的单元。

图8是本申请实施例的一种绝对深度估计模型的训练装置的示意图。如图8所示，该装置2000包括获取单元2001和训练单元2002。该装置2000可以是主机、电脑、服务器或云端设备等。

该装置2000能够用于执行图4所示方法。例如，获取单元2001可用于执行步骤S401，训练单元2002可用于执行步骤S402。

在一种实现方式中，装置2000还可以包括存储单元，用于存储训练数据、绝对深度估计模型等数据。该存储单元可以是集成在上述任意一个单元中，也可以是独立于上述所有单元之外的单元。

图9是本申请实施例的一种电子设备的硬件结构示意图。如图9所示，该电子设备3000包括：至少一个处理器3001（图9中仅示出一个）处理器、存储器3002以及存储在所述存储器3002中并可在所述至少一个处理器3001上运行的计算机程序3003，所述处理器3001执行所述计算机程序3003时实现上述任意一种方法中的步骤。

本领域技术人员可以理解，图9仅仅是电子设备的举例，并不构成对电子设备限定，实际中电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

处理器3001可以是中央处理单元（central processing unit，CPU），其他通用处理器、数字信号处理器（digital signal processor，DSP）、专用集成电路（applicationspecific integrated circuit，ASIC）、现成可编程门阵列（field-programmable gatearray，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器3002在一些实施例中可以是电子设备3000的内部存储单元，例如电子设备3000的硬盘或内存。存储器3002在另一些实施例中也可以是电子设备3000的外部存储设备，例如电子设备3000上配备的插接式硬盘，智能存储卡（smart media card, SMC），安全数字（secure digital, SD）卡，闪存卡（flash card）等。可选地，存储器3002还可以既包括电子设备3000的内部存储单元也包括外部存储设备。存储器3002用于存储操作系统、应用程序、引导装载程序、数据以及其他程序等，例如所述计算机程序的程序代码等。存储器3002还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种电子设备，该电子设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时可实现上述任意方法中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，当计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器（read-only memory，ROM）、随机存取存储器（random accessmemory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种估计图像绝对深度的方法，其特征在于，包括：

利用关键点检测模型检测待处理图像中目标的骨骼关键点，所述目标包括人；

根据所述骨骼关键点估计得到所述目标的绝对身高；

根据所述目标的绝对身高和所述目标在所述待处理图像中的相对身高，得到所述目标的绝对深度；

将所述目标的绝对深度以及所述待处理图像，输入预设的绝对深度估计模型，得到所述待处理图像对应的绝对深度图像；所述预设的绝对深度估计模型是通过对一个绝对深度估计模型进行训练得到的；

所述将所述目标的绝对深度以及所述待处理图像，输入预设的绝对深度估计模型，得到所述待处理图像对应的绝对深度图像，包括：

将所述目标的人像区域的绝对深度图作为初始绝对深度图，利用所述预设的绝对深度估计模型对所述待处理图像进行深度估计，得到所述待处理图像对应的绝对深度图像，所述目标的人像区域的绝对深度图是利用所述目标的绝对深度标定的；

所述根据所述目标的绝对身高和所述目标在所述待处理图像中的相对身高，得到所述目标的绝对深度，包括：

通过统计的方式制作表格，该表格用于确定每个绝对身高、相对身高和相机参数对应的绝对深度；

根据所述目标的绝对身高、所述目标在所述待处理图像中的相对身高以及所述待处理图像对应的相机参数，查表得到所述目标的绝对深度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述骨骼关键点估计得到所述目标的绝对身高，包括：

根据所述骨骼关键点计算得到所述目标的马氏躯干指数；

根据所述马氏躯干指数，通过查表的方式从马氏躯干指数与身高的对应表中得到所述目标的绝对身高。

3.根据权利要求2所述的方法，其特征在于，所述根据所述马氏躯干指数，通过查表的方式从马氏躯干指数与身高的对应表中得到所述目标的绝对身高，包括：

利用调整参数对所述马氏躯干指数进行调整，得到调整后的马氏躯干指数，所述调整参数包括目标特征参数或拍摄参数中的至少一项；

查表并将所述调整后的马氏躯干指数对应的身高确定为所述目标的绝对身高。

4.根据权利要求3所述的方法，其特征在于，所述目标特征参数包括性别、年龄、国家地域或目标姿态中的至少一项；所述目标特征参数是利用目标特征参数的特征提取模型对所述待处理图像进行处理得到的；所述拍摄参数包括拍摄角度。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述将所述目标的绝对深度以及所述待处理图像，输入预设的绝对深度估计模型，得到所述待处理图像对应的绝对深度图像，包括：

提取所述待处理图像中所述目标的人像区域；

根据所述目标的绝对深度，得到所述目标的人像区域的绝对深度图。

6.根据权利要求1至4中任一项所述的方法，其特征在于，在将所述目标的绝对深度以及所述待处理图像，输入预设的绝对深度估计模型之前，所述方法还包括：

获取训练数据，所述训练数据包括：训练图像、训练图像中人像区域的绝对深度图像和目标图像，所述目标图像为训练图像对应的绝对深度图像；

将所述训练数据中的所述训练图像和所述人像区域的绝对深度图像输入待训练的绝对深度估计模型，得到所述待训练的绝对深度估计模型输出的绝对深度估计图像；

将所述绝对深度估计图像与所述目标图像进行比较，根据比较结果调整所述待训练的绝对深度估计模型的参数，得到所述预设的绝对深度估计模型。

7.根据权利要求6所述的方法，其特征在于，在将所述绝对深度估计图像与所述目标图像进行比较时，采用的损失函数包括整图的深度估计损失函数和人像区域的深度估计损失函数。

8.根据权利要求7所述的方法，其特征在于，在将所述绝对深度估计图像与所述目标图像进行比较时，采用的损失函数还包括人像轮廓损失函数。

9.一种估计图像绝对深度的装置，其特征在于，包括：

身高估计单元，用于利用关键点检测模型检测待处理图像中目标的骨骼关键点，所述目标包括人；根据所述骨骼关键点估计得到所述目标的绝对身高；

目标深度估计单元，用于根据所述目标的绝对身高和所述目标在所述待处理图像中的相对身高，得到所述目标的绝对深度；

图像深度估计单元，用于将所述目标的绝对深度以及所述待处理图像，输入预设的绝对深度估计模型，得到所述待处理图像对应的绝对深度图像；所述预设的绝对深度估计模型是通过对一个绝对深度估计模型进行训练得到的；

所述图像深度估计单元具体用于，将所述目标的人像区域的绝对深度图作为初始绝对深度图，利用所述预设的绝对深度估计模型对所述待处理图像进行深度估计，得到所述待处理图像对应的绝对深度图像，所述目标的人像区域的绝对深度图是利用所述目标的绝对深度标定的；

所述目标深度估计单元，具体用于：

通过统计的方式制作表格，该表格用于确定每个绝对身高、相对身高和相机参数对应的绝对深度；

根据所述目标的绝对身高、所述目标在所述待处理图像中的相对身高以及所述待处理图像对应的相机参数，查表得到所述目标的绝对深度。

10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。

Images