CN114066986B - 三维坐标的确定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种三维坐标的确定方法、装置、电子设备及存储介质，包括：获取关节的关节图像；确定第一输入信息；计算关节关键点的中间三维坐标；由第一神经网络模型根据第一输入信息预测得到预测比例因子；计算关节关键点的预测三维坐标；计算关节的第一预测关节长度；计算第一预测关节长度损失；确定第二输入信息；由第二神经网络模型根据第二输入信息预测得到预测比例因子变化量；确定总计比例因子；根据总计比例因子计算得到第二预测关节长度损失判断是否达到迭代结束条件；若达到，则根据总计比例因子和关节关键点的中间三维坐标，计算关节关键点的三维坐标。本申请可实现基于关节图像及关节长度来确定关节关键点的三维坐标。

Description

三维坐标的确定方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，更具体地，涉及一种三维坐标的确定方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的快速发展，深度学习技术在图像处理领域中的应用越来越广泛。在相关技术中，虽然可以通过相机等来采集到关节的关节图像，但是根据关节图像并不能确定关节在三维空间中的坐标。因此，如何通过关节的关节图像来逆向确定关节中的关节关键点在三维空间中的坐标是相关技术中亟待解决的技术问题。

发明内容

鉴于上述问题，本申请实施例提出了一种三维坐标的确定方法、装置、电子设备及存储介质，以改善上述问题。

根据本申请实施例的一个方面，提供了一种三维坐标的确定方法，包括：获取关节的关节图像；根据关节关键点在所述关节图像中的二维坐标、所述关节的实际关节长度和所述关节关键点在所述关节图像中的相对深度，确定第一输入信息；所述第一输入信息包括所述关节关键点的中间三维坐标；由所述第一神经网络模型根据所述第一输入信息进行比例因子预测，得到预测比例因子；根据所述预测比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的预测三维坐标；根据所述关节关键点的预测三维坐标，计算所述关节的第一预测关节长度；根据所述关节的第一预测关节长度和所述关节的实际关节长度，计算得到第一预测关节长度损失；根据所述第一预测关节长度损失和所述第一输入信息，确定第二输入信息；由第二神经网络模型根据所述第二输入信息进行比例因子变化量预测，得到预测比例因子变化量；将所述预测比例因子变化量和所述预测比例因子相加，得到总计比例因子；根据所述总计比例因子计算得到所述关节的第二预测关节长度损失；根据所述关节的第二预测关节长度损失判断是否达到迭代结束条件；若确定达到迭代结束条件，则根据所述总计比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的三维坐标。

根据本申请实施例的一个方面，提供了一种三维坐标的确定装置，包括：获取模块，用于获取关节的关节图像。第一输入信息确定模块，用于根据关节关键点在所述关节图像中的二维坐标、所述关节的实际关节长度和所述关节关键点在所述关节图像中的相对深度，确定第一输入信息；所述第一输入信息包括所述关节关键点的中间三维坐标。第一预测模块，由所述第一神经网络模型根据所述第一输入信息进行比例因子预测，得到预测比例因子。预测三维坐标计算模块，用于根据所述预测比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的预测三维坐标。第一预测关节长度计算模块，用于根据所述关节关键点的预测三维坐标，计算所述关节的第一预测关节长度。第一预测关节长度损失计算模块，用于根据所述关节的第一预测关节长度和所述关节的实际关节长度，计算得到第一预测关节长度损失。第二输入信息确定模块，用于根据所述第一预测关节长度损失和所述第一输入信息，确定第二输入信息。第二预测模块，用于由第二神经网络模型根据所述第二输入信息进行比例因子变化量预测，得到预测比例因子变化量。总计比例因子计算模块，用于将所述预测比例因子和所述预测比例因子相加，得到总计比例因子。第二预测关节长度损失计算模块，用于根据所述总计比例因子计算得到所述关节的第二预测关节长度损失。判断模块，用于根据所述关节的第二预测关节长度损失判断是否达到迭代结束条件。第一处理模块，用于若确定达到迭代结束条件，则根据所述总计比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的三维坐标。

在一些实施例中，该三维坐标的确定装置还包括：第二处理模块，用于若确定未达到迭代结束条件，则将所述总计比例因子作为下一轮迭代过程中的预测比例因子，并返回执行所述根据所述预测比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的预测三维坐标的步骤。

在一些实施例中，判断模块包括：判断单元，用于判断所述关节的第二预测关节长度损失是否小于损失阈值。迭代结束条件确定单元，用于若所述关节的第二预测关节长度损失小于损失阈值，则确定达到迭代结束条件；若所述关节的第二预测关节长度损失不小于损失阈值，则确定未达到迭代结束条件。

在一些实施例中，该三维坐标的确定装置还包括：预测相对深度计算模块，用于根据所述关节关键点的预测三维坐标，计算所述关节关键点的预测相对深度。相对深度损失计算模块，用于根据所述关节关键点的预测相对深度和所述关节关键点的相对深度，计算相对深度损失。添加模块，用于将所述相对深度损失添加到所述第二输入信息。

在一些实施例中，第一输入信息确定模块包括：中间三维坐标计算单元，用于根据所述关节关键点在所述关节图像中的二维坐标和所述关节图像所来源相机的相机内参，计算得到所述关节关键点的中间三维坐标。相对深度计算单元，用于根据所述关节图像中各像素的深度信息和所述关节关键点在所述关节图像中的深度值，计算所述关节关键点在所述关节图像中的相对深度。第一输入信息确定单元，用于将所述关节关键点的中间三维坐标、所述关节的实际关节长度和所述关节关键点在所述关节图像中的相对深度进行组合，得到所述第一输入信息。

在一些实施例中，第二输入信息确定模块包括：第二输入信息确定单元，用于将所述第一预测关节长度损失和所述第一输入信息进行组合，得到所述第二输入信息。

在一些实施例中，第二输入信息确定模块还包括：预处理单元，用于由第三神经网络对所述第一预测关节长度损失进行预处理，得到预处理后的第一预测关节长度损失。数据组合单元，用于将所述预处理后的第一预测关节长度损失与所述第一输入信息进行组合，得到所述第二输入信息。

在一些实施例中，所述关节的关节关键点包括指示所述关节的一个端部的第一关节关键点和所述关节的另一个端部的第二关节关键点。第一预测关节长度计算模块包括：欧式距离计算单元，用于根据所述第一关节关键点的预测三维坐标和所述第二关节关键点的预测三维坐标，计算所述第一关节关键点与所述第二关节关键点之间的欧式距离。第一预测关节长度确定单元，用于将所计算得到的欧式距离，作为所述关节的第一预测关节长度。

在一些实施例中，预测三维坐标计算模块包括：预测三维坐标计算单元，用于将所述预测比例因子和所述关节关键点的中间三维坐标相乘，得到所述关节关键点的预测三维坐标。

根据本申请实施例的一个方面，提供了一种电子设备，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上所述三维坐标的确定方法。

根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如上所述三维坐标的确定方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上所述三维坐标的确定方法。

在本申请方案中，分两个阶段来确定比例因子，即在根据关节关键点在关节图像中的二维坐标确定第一输入信息后，先由第一神经网络来根据第一输入信息来进行比例因子预测，得到预测比例因子，然后由第二神经网络根据第二输入信息来进行比例因子变化量的迭代预测，得到预测比例因子变化量，然后，基于预测比例因子和预测比例因子变化量相加，得到总计比例因子，并基于总计比例因子来确定关节关键点的三维坐标，实现了利用关节图像及关节长度来分阶段来确定关节关键点的三维坐标。

而且，在本申请的方案中，第二输入信息包括第一预测关节长度损失，第一预测关节长度损失是基于关节的实际长度和基于预测比例因子所计算得到的第一预测关节长度来计算得到的，从而，利用关节的关节长度不变这一特点，将关节长度作为确定比例因子变化量的监督信息，从而，可以保证所确定的预测比例因子变化量的准确性，进而保证后续所确定关节关键点的三维坐标的准确性。

应当理解的是，以上的一般描述和后文细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请一实施例示出的三维坐标的确定方法的流程图。

图2是根据本申请一实施例示出的步骤102的具体步骤流程图。

图3是根据本申请一实施例示出的步骤111的具体步骤流程图。

图4是根据本申请一实施例示出的三维坐标的确定过程的示意图。

图5是根据本申请一实施例示出的三维坐标的确定装置的框图。

图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1是根据本申请一实施例示出的三维坐标的确定方法的流程图，本申请的方法可以由具备处理能力的电子设备执行，该电子设备例如服务器、云服务器等，在此不进行具体限定。如图1所示，该方法包括：

步骤101，获取关节的关节图像。

在本实施例中，该关节图像可以为灰度图像（灰阶图像），在灰度图像中，图像中每个像素可以由0（黑）到255（白）的亮度值（Intensity）表示。0-255之间表示不同的灰度级。在其他实施例中，该关节图像还可以是为RGB图像。

步骤102，根据关节关键点在关节图像中的二维坐标、关节的实际关节长度和关节关键点在关节图像中的相对深度，确定第一输入信息；第一输入信息包括关节关键点的中间三维坐标。

关节关键点是指关节上具有关节标识作用的点，其可以是关节点、骨骼点等，当然，还可以是其他由用户自定义的点。可以理解的是，对于同一关节，其上可以包括多个关节关键点，在本申请的方案中，由于涉及计算关节的关节长度，因此，本申请中的关节关键点至少包括位于关节一个端部的第一关节关键点和该关节的另一个端部的第二关节关键点，当然，在具体实施例中，还可以包括除第一关节关键点和第二关节关键点外的其他关节关键点。

例如，关节关键点可以是：手指的尖端位置的点、手指的远节指骨关节的指骨底的点、手指的指骨关节端部的点、手指与手掌的附着点的手掌指关节的点或手掌与人体前臂的附着点的腕部位置的点等。具体关节关键点数量以及位置可以根据实际需要设置，在此不进行具体限定。

在一些实施例中，可以预先针对关节设定关节关键点集合，从而，在步骤102中，在关节图像中定位该关节所对应的关节关键点集合中的关节关键点。可以理解的是，针对不同的关节，所设定的关节关键点集合中所包括的关节关键点是存在差异的。

关节关键点在关节图像中的二维坐标是指关节关键点在关节图像所在图像坐标系下的坐标。因此，在关节图像中定位到关节关键点所在的像素后，即可对应获得该关节关键点在该关节图像的二维坐标。

由于实际中，可能存在因图像不清晰等原因造成关节关键点定位错误的问题，为了保证后续确定的关节关键点的三维坐标的准确性，可以先进行异常像素点过滤，具体的，可以采用孤立森林算法（Isolation Forest）或者Local Outlier Factor（局部异常因子，LOF）算法来排除异常像素点。

关节关键点在关节图像中的相对深度是指以关节图像中一个或者多个像素点作为参考像素点，该关节关键点所在的像素相对于该参考像素点的深度值。

在一些实施例中，如图2所示，步骤102包括：

步骤210，根据关节关键点在关节图像中的二维坐标和关节图像所来源相机的相机内参，计算得到关节关键点的中间三维坐标。

相机内参包括相机的焦距和相机的光心的坐标，相机内参矩阵是根据相机的焦距和相机的光心的坐标构建的矩阵，该矩阵被称为相机内参矩阵，记为K，K为：

其中

是相机的焦距，

是相机的光心的坐标。

对于世界坐标系中的一个点P，假设其在世界坐标系下的坐标为（X,Y,C）,在相机的相机坐标系下，该点P的坐标为（X_C,Y_C,Z_C）,基于相机，将该点进行透视投影到图像坐标系下该点P的坐标为（u,v），具体的坐标变换过程可以按如下公式描述：

（公式1）

由上可以得到：

（公式2）

进一步变换，得到：

（公式3）

若点P为本申请中的关节关键点，则上述的坐标

视为该关节关键点的中间三维坐标，

可视为本申请中的比例因子。

具体的，为了计算关节关键点的中间三维坐标，先对关节关键点的二维坐标补一维，得到

，然后左乘相机内参矩阵的逆矩阵，得到中间三维坐标，记为

：

（公式4）

其中

代表相机的相机内参矩阵的逆矩阵。

步骤220，根据关节图像中各像素的深度信息和关节关键点在关节图像中的深度值，计算关节关键点在关节图像中的相对深度。

关节图像中各像素的深度信息用于指示所对应像素在关节图像中的深度值。

在一些实施例中，在面向关节进行图像采集的过程中，同时采集该关节的关节图像，和采集该关节的深度图像，该深度图像中各像素点的值即为所对应像素点的深度值。同理，为了确定关节关键点对应的深度值，在深度图像中进行关节关键点定位，从而对应获取到该关节关键点的深度值。

在此基础上，获得各像素的深度值后，选取其中的一个像素点作为参考像素点，对应计算各关节关键点在关节图像中的相对深度。其中，参考像素点可以是关节图像中深度值最小的像素点，还可以是关节图像中中位深度值的像素点，当然还可以是其他的像素点，具体可根据实际需要进行设定。

当选取关节图像中深度值最小的像素点作为参考像素点，关节关键点的相对深度可按照如下公式（5）计算得到：

（公式5）

在一些实施例中，为了进行量纲统一，避免因关节图像中各像素点的深度值差异较大，导致所确定的相对深度值的范围较大，还可以将按照公式（5）所计算得到的相对深度除与关节图像中最大深度值与最小深度值之差相除，将相除所得到的商作为关节关键点最终的相对深度，即，按照如下公式（6）计算得到各关节关键点的相对深度：

（公式6）

其中，在上述公式（5）和（6）中，

为关节关键点在该关节图像中的相对深度；

为关节关键点的深度值；

为关节图像中的最小深度值；

关节图像中的最大深度值。

步骤230，将关节关键点的中间三维坐标、关节的实际关节长度和关节关键点在关节图像中的相对深度进行组合，得到第一输入信息。

在一些实施例中，将关节关键点的中间三维坐标、关节的实际关节长度和关节关键点在关节图像中的相对深度进行拼接，得到第一输入信息。

请继续参阅图1，步骤103，由第一神经网络模型根据第一输入信息进行比例因子预测，得到预测比例因子。

在本申请中，将由第一神经网络针对关节关键点所预测到的比例因子称为预测比例因子。

在一些实施例中，第一神经网络模型可以由全连接网络构建，其可以包括多层全连接网络层，例如，若第一输入信息为一维的数组，可以通过全连接网络构建的第一神经网络模型来进行比例因子预测，在具体实施例中，第一神经网络模型可以是四层全连接网络层。

在另一些实施例中，第一神经网络模型还可以由卷积神经网络构建，若第一输入信息是二维的数组或更多维的数组，可以通过卷积神经网络构建的第一神经网络模型来进行比例因子预测。

在其他实施例中，可将第一神经网络模型设置为多网络结构的神经网络模型，不同的网络结构之间的参数不同，可通过对第一神经网络模型的网络结构的改变来提升第一神经网络对预测比例因子进行预测的多样性。

当然，在其他实施例中，第一神经网络模型还可以通过其他的神经网络来构建，在此不进行具体限定。

如上所描述，对于世界坐标系中的关节关键点，可以经过相机的透视变换，确定该关节关键点的中间三维坐标，进而确定该关节关键点在图像中坐标，反之，也可以根据关节关键点在图像中的坐标以及比例因子来逆向计算关节关键点的中间三维坐标，具体该过程可以描述为：

（公式7）

其中，

为比例因子，

表示根据比例因子和关节关键点的二维坐标

计算中间三维坐标的函数，

表示根据关节关键点的三维坐标

和相机的相机内参矩阵

计算关节关键点的中间三维坐标的函数。

步骤104，根据预测比例因子和关节关键点的中间三维坐标，计算得到关节关键点的预测三维坐标。

关节关键点的预测三维坐标是指根据预测比例因子和关节关键点的中间三维坐标所计算得到的三维坐标。

在本实施例中，计算关节关键点的预测三维坐标具体方法为：将预测比例因子和关节关键点的中间三维坐标相乘，得到关节关键点的预测三维坐标。

具体的，按照如下公式计算得到关节关键点的预测三维坐标：

（公式8）

其中，

为关节关键点的预测三维坐标；

为预测比例因子；

为中间三维坐标。

步骤105，根据关节关键点的预测三维坐标，计算关节的第一预测关节长度。

如上所描述，关节的关节关键点包括指示关节的一个端部的第一关节关键点和关节的另一个端部的第二关节关键点；按照上述过程，对应可以确定第一关节关键点的预测三维坐标和第二关节关键点的预测三维坐标。在此基础上，可以按照如下的过程计算得到关节长度：根据第一关节关键点的预测三维坐标和第二关节关键点的预测三维坐标，计算第一关节关键点与第二关节关键点之间的欧式距离；将所计算得到的欧式距离，作为关节的第一预测关节长度。

欧式距离的计算公式如下：

（公式9）

其中，第一关节关键点的预测三维坐标为

；第二关节关键点的预测三维坐标为

；

为第一关节关键点与第二关节关键点之间的欧式距离。

步骤106，根据关节的第一预测关节长度和关节的实际关节长度，计算得到第一预测关节长度损失。

在一些实施例中，将关节的实际关节长度和第一预测关节长度相减得到关节长度的损失。

步骤107，根据第一预测关节长度损失和第一输入信息，确定第二输入信息。

在一些实施例中，可以将第一预测关节长度损失和第一输入信息进行组合，得到第二输入信息。

步骤108，由第二神经网络模型根据第二输入信息进行比例因子变化量预测，得到预测比例因子变化量。

在一些实施例中，第二神经网络模型可由全连接网络构建，其可以包括多层全连接网络层，在具体实施例中，第二神经网络模型可以是四层全连接网络层。

在另一些实施例中，第二神经网络模型还可以由卷积神经网络构建。当然，在其他实施例中，第二神经网络模型还可以通过其他的神经网络来构建，在此不进行具体限定。

在一些实施例中，可将第二神经网络模型设置为多网络结构的神经网络模型，不同的网络结构之间的参数不同，可通过对第二神经网络模型的网络结构的设置来丰富预测比例因子变化量的值。

步骤109，将预测比例因子变化量和预测比例因子相加，得到总计比例因子。

步骤110，根据总计比例因子计算得到关节的第二预测关节长度损失。

在一些实施例中，步骤110包括：根据总计比例因子计算关节关键点的目标三维坐标；根据目标三维坐标计算关节的第二预测关节长度；将关节的第二预测关节长度与关节的实际关节长度相减，得到关节的第二预测关节长度损失。

在一具体实施例中，根据公式（7）可由总计比例因子与关节关键点的二维坐标计算出关节关键点的目标三维坐标，在本申请中，将由总计比例因子和关节关键点的二维坐标计算得到的三维坐标称为关节关键点的目标三维坐标。

在计算得到关节关键点的目标三维坐标后，如上所描述，关节的关节关键点包括指示关节的一个端部的第一关节关键点和关节的另一个端部的第二关节关键点；按照上述过程，对应可以确定第一关节关键点的目标三维坐标和第二关节关键点的目标三维坐标。在此基础上，可以按照公式（9）计算该关节的第二预测关节长度。

将该关节的第二预测关节长度与该关节的实际关节长度相减，得到该关节的第二预测关节长度损失。

步骤111，根据关节的第二预测关节长度损失判断是否达到迭代结束条件。

在一些实施例中，如图3所示，步骤111包括：

步骤310，判断关节的第二预测关节长度是否小于损失阈值。

在步骤111中，可以按照图3所示的过程来判断是否达到迭代结束条件。

损失阈值可根据实际需要设定，在此不进行具体限定。

步骤320，若关节的第二预测关节长度小于损失阈值，则确定达到迭代结束条件。

步骤330，若关节的第二预测关节长度不小于损失阈值，则确定未达到迭代结束条件。

请继续参阅图1，步骤112，若确定达到迭代结束条件，则根据总计比例因子和关节关键点的中间三维坐标，计算得到关节关键点的三维坐标。

关节关键点的三维坐标是指关节关键点在世界坐标系下的坐标。当确定达到迭代结束条件时，可根据第二神经网络模型预测的总计比例因子和关节关键点的中间三维坐标来计算所需的关节关键点的三维坐标。

计算关节关键点的三维坐标所利用的公式具体为：

（公式10）

其中，

为总计比例因子。

在一些实施例中，步骤111之后，该方法还包括：若确定未达到迭代结束条件，则将总计比例因子作为下一轮迭代过程中的预测比例因子，并返回执行步骤104。

当确定未达到迭代结束条件时，需要继续利用第一神经网络模型和第二神经网络模型进行预测。在进行下一次迭代时，将上一次迭代中的总计比例因子作为步骤104中预测比例因子，并且根据替换后的预测比例因子重新执行步骤104以及后续的步骤，直至根据所重新得到的第二预测从关节长度损失确定达到迭代结束条件。上一轮预测比例因子是指相对于当前迭代轮次的上一轮迭代过程所得到的总计比例因子。

在本申请方案中，分两个阶段来确定比例因子，即在根据关节关键点在关节图像中的二维坐标确定第一输入信息后，先由第一神经网络来根据第一输入信息来进行比例因子预测，得到预测比例因子，然后由第二神经网络根据第二输入信息来进行比例因子变化量的迭代预测，得到预测比例因子变化量，然后，基于预测比例因子和预测比例因子变化量相加，得到总计比例因子，并基于总计比例因子来确定关节关键点的三维坐标，实现了利用关节图像及关节长度来分阶段来确定关节关键点的三维坐标。

而且，在本申请的方案中，第二输入信息包括第一预测关节长度损失，第一预测关节长度损失是基于关节的实际长度和基于预测比例因子所计算得到的第一预测关节长度来计算得到的，从而，利用关节的关节长度不变这一特点，将关节长度作为确定比例因子变化量的监督信息，从而，可以保证所确定预测比例因子变化量的准确性，进而保证后续所确定关节关键点的三维坐标的准确性。

进一步的，在本申请的方案中，在基于总计比例因子判断未达到迭代结束条件的情况下，重新返回执行步骤104，以重新预测比例因子变化量，而不需要重复进行比例因子的预测，相较于比例因子的预测过程，比例因子变化量的预测过程中的计算量更小，而且，迭代速率更快，因此，本方案可以提升确定关节关键点的三维坐标的速度。在实际中，对本申请的方案进行了试验，一般情况下，重复迭代三次即可达到迭代结束条件。

进一步的，本申请的方案可以应用于线上应用阶段，也可以应用于第二神经网络的训练阶段，可以理解的是，在训练阶段，若判断未达到迭代结束条件，还需要调整第二神经网络模型的参数，以通过调整参数后的第二神经网络来重新根据新的第二输入信息来进行比例因子变化量的预测，因此，本申请的方案应用范围广。

在一些实施例中，步骤104之后，该方法还包括：根据关节关键点的预测三维坐标，计算关节关键点的预测相对深度；根据关节关键点的预测相对深度和关节关键点的相对深度，计算相对深度损失；将相对深度损失添加到第二输入信息。

关节关键点的预测相对深度是指根据关节关键的预测三维坐标来计算得到的关节关键点的相对深度。关节关键点的预测相对深度可根据公式（5）或公式（6）计算得来，在计算过程中，将关节关键点的三维坐标对应的深度值替换为关节关键点的预测三维坐标对应的深度值，关节关键点的预测三维坐标中的Z轴坐标值即为对应的深度值。

将关节关键点的预测相对深度与步骤220计算出的关节关键点的相对深度相减，得到关节关键点的相对深度损失。

在本实施例中，将相对深度损失也作为第二神经网络进行比例因子变化量预测的数据基础，从而，提供了更多的数据进行比例因子变化量预测，可以提升所预测到预测比例因子变化量的准确度。

在一些实施例中，步骤107，包括：由第三神经网络对第一预测关节长度损失进行预处理，得到预处理后的第一预测关节长度损失。将预处理后的第一预测关节长度损失与第一输入信息进行组合，得到第二输入信息。

在一些实施例中，第三神经网络可以是由全连接网络构建，其可以包括多层全连接网络层。当然，在其他实施例中，第三神经网络还可以是其他神经网络，在此不进行具体限定。

图4是根据本申请一实施例示出的三维坐标的确定过程的示意图，如图4所示，关节关键点的三维坐标确认过程分为第一阶段和第二阶段两个阶段。在第一阶段，利用第一神经网络模型进行比例因子进行预测。在第二阶段，利用第二神经网络模型进行比例因子变化量预测。

第一阶段的具体过程为：获取关节图像中关节关键点的二维坐标

，然后根据关节图像中关节关键点的二维坐标

和关节图像所来源相机的相机内参矩阵的逆矩阵

计算关节关键点的中间三维坐标

；再根据各像素点在该关节图像中的深度信息和关节关键点在该关节图像中的深度值计算得到该关节关键点的相对深度值

，将关节关键点对应关节的实际关节长度

、该关节关键点的中间三维坐标

以及该关节关键点的相对深度值

拼接组合成第一输入信息

，第一神经网络模型net1根据第一输入信息

进行比例因子预测，预测比例因子

。

第二阶段的过程具体为：根据预测比例因子

和关节关键点的中间三维坐标

计算关节关键点的预测三维坐标

，然后根据关节关键点的预测三维坐标

计算关节的第一预测关节长度

；将该关节的实际长度

与第一预测关节长度

相减，得到该关节的第一预测关节长度损失

。然后基于第一预测关节长度损失

和第一输入信息

确定第二输入信息

，由第二神经网络模型net2根据第二输入信息

进行比例因子变化量，得到预测比例因子变化量。

在一些实施例中，可以将第一预测关节长度损失

与第一输入信息

进行组合得到第二输入信息。

在一些实施例中，还可以进一步根据该关节关键点的预测三维坐标和各像素在该关节图像中的深度信息计算该关节关键点的预测相对深度损失

，将第一输入信息

、第一预测关节长度损失

和该关节关键点的预测相对深度损失

拼接组合成第二输入信息

。

之后，将第一阶段的预测比例因子与第二阶段的预测比例因子变化量相加得到总计比例因子。然后根据总计比例因子计算该关节的第二预测关节长度损失，当该关节的第二预测关节长度损失小于损失阈值时，则结束迭代，输出最后一次迭代的总计比例因子，并将总计比例因子与该关节关键点的中间三维坐标相乘，计算出该关节关键点的三维坐标。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的方法。对于本申请装置实施例中未披露的细节，请参照本申请上述方法实施例。

图5是根据本申请一实施例示出的三维坐标的确定装置的框图，如图5所示，该三维坐标的确定装置500包括：第一获取模块501，用于获取关节的关节图像。第一输入信息确定模块502，用于根据关节关键点在关节图像中的二维坐标、关节的实际关节长度和关节关键点在关节图像中的相对深度，确定第一输入信息；第一输入信息包括关节关键点的中间三维坐标。第一预测模块503，由第一神经网络模型根据第一输入信息进行比例因子预测，得到预测比例因子。预测三维坐标计算模块504，用于根据预测比例因子和关节关键点的中间三维坐标，计算得到关节关键点的预测三维坐标。第一预测关节长度计算模块505，用于根据关节关键点的预测三维坐标，计算关节的第一预测关节长度。第一预测关节长度损失计算模块506，用于根据关节的第一预测关节长度和关节的实际关节长度，计算得到第一预测关节长度损失。第二输入信息确定模块507，用于根据第一预测关节长度损失和第一输入信息，确定第二输入信息。第二预测模块508，用于由第二神经网络模型根据第二输入信息进行比例因子变化量预测，得到预测比例因子变化量。总计比例因子计算模块509，用于将预测比例因子和预测比例因子相加，得到总计比例因子。第二预测关节长度损失计算模块510，用于根据总计比例因子计算得到关节的第二预测关节长度损失。判断模块511，用于根据关节的第二预测关节长度损失判断是否达到迭代结束条件。第一处理模块512，用于若确定达到迭代结束条件，则根据总计比例因子和关节关键点的中间三维坐标，计算得到关节关键点的三维坐标。

在一些实施例中，该三维坐标的确定装置500还包括：第二处理模块，用于若确定未达到迭代结束条件，则将总计比例因子作为下一轮迭代过程中的预测比例因子，并返回执行根据预测比例因子和关节关键点的中间三维坐标，计算得到关节关键点的预测三维坐标的步骤。

在一些实施例中，判断模块511包括：判断单元，用于判断关节的第二预测关节长度损失是否小于损失阈值。迭代结束条件确定单元，用于若关节的第二预测关节长度损失小于损失阈值，则确定达到迭代结束条件；若关节的第二预测关节长度损失不小于损失阈值，则确定未达到迭代结束条件。

在一些实施例中，该三维坐标的确定装置500还包括：预测相对深度计算模块，用于根据关节关键点的预测三维坐标，计算关节关键点的预测相对深度。相对深度损失计算模块，用于根据关节关键点的预测相对深度和关节关键点的相对深度，计算相对深度损失。添加模块，用于将相对深度损失添加到第二输入信息。

在一些实施例中，第一输入信息确定模块502包括：中间三维坐标计算单元，用于根据关节关键点在关节图像中的二维坐标和关节图像所来源相机的相机内参，计算得到关节关键点的中间三维坐标。相对深度计算单元，用于根据关节图像中各像素的深度信息和关节关键点在关节图像中的深度值，计算关节关键点在关节图像中的相对深度。第一输入信息确定单元，用于将关节关键点的中间三维坐标、关节的实际关节长度和关节关键点在关节图像中的相对深度进行组合，得到第一输入信息。

在一些实施例中，第二输入信息确定模块507包括：第二输入信息确定单元，用于将第一预测关节长度损失和第一输入信息进行组合，得到第二输入信息。

在一些实施例中，第二输入信息确定模块507还包括：预处理单元，用于由第三神经网络对第一预测关节长度损失进行预处理，得到预处理后的第一预测关节长度损失。数据组合单元，用于将预处理后的第一预测关节长度损失与第一输入信息进行组合，得到第二输入信息。

在一些实施例中，关节的关节关键点包括指示关节的一个端部的第一关节关键点和关节的另一个端部的第二关节关键点。第一预测关节长度计算模块505包括：欧式距离计算单元，用于根据第一关节关键点的预测三维坐标和第二关节关键点的预测三维坐标，计算第一关节关键点与第二关节关键点之间的欧式距离。第一预测关节长度确定单元，用于将所计算得到的欧式距离，作为关节的第一预测关节长度。

在一些实施例中，预测三维坐标计算模块504包括：预测三维坐标计算单元，用于将预测比例因子和关节关键点的中间三维坐标相乘，得到关节关键点的预测三维坐标。

图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括CPU601，其可以根据存储在ROM602中的程序或者从存储部分608加载到RAM603中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU601、ROM602以及RAM 603通过总线604彼此相连。I/O接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN（Local Area Network，局域网）卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被CPU601执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令，当该计算机可读存储指令被处理器执行时，实现上述任一实施例中的方法。

根据本申请的一个方面，还提供了一种电子设备，其包括：处理器；存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时，实现上述任一实施例中的方法。

根据本申请实施例的一个方面，提供了计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例中的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、触控终端、或者网络设备等）执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种三维坐标的确定方法，其特征在于，所述方法包括：

获取关节的关节图像；

根据关节关键点在所述关节图像中的二维坐标和所述关节图像所来源相机的相机内参，计算得到所述关节关键点的中间三维坐标；

根据所述关节图像中各像素的深度信息和所述关节关键点在所述关节图像中的深度值，计算所述关节关键点在所述关节图像中的相对深度；

将所述关节关键点的中间三维坐标、所述关节的实际关节长度和所述关节关键点在所述关节图像中的相对深度进行组合，得到第一输入信息；

由第一神经网络模型根据所述第一输入信息进行比例因子预测，得到预测比例因子，所述比例因子是指所述关节关键点在所述关节图像所来源相机的相机坐标系Z轴上的坐标值；

根据所述预测比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的预测三维坐标；

根据所述关节关键点的预测三维坐标，计算所述关节的第一预测关节长度；

根据所述关节的第一预测关节长度和所述关节的实际关节长度，计算得到第一预测关节长度损失；

根据所述第一预测关节长度损失和所述第一输入信息，确定第二输入信息；

由第二神经网络模型根据所述第二输入信息进行比例因子变化量预测，得到预测比例因子变化量；

将所述预测比例因子变化量和所述预测比例因子相加，得到总计比例因子；

根据所述总计比例因子计算得到所述关节的第二预测关节长度损失；

根据所述关节的第二预测关节长度损失判断是否达到迭代结束条件；

若确定达到迭代结束条件，则根据所述总计比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的三维坐标。

2.根据权利要求1所述的方法，其特征在于，所述根据所述关节的第二预测长度损失判断是否达到迭代结束条件之后，所述方法还包括：

若确定未达到迭代结束条件，则将所述总计比例因子作为下一轮迭代过程中的预测比例因子，并返回执行所述根据所述预测比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的预测三维坐标的步骤。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述关节的第二预测关节长度损失判断是否达到迭代结束条件，包括：

判断所述关节的第二预测关节长度损失是否小于损失阈值；

若所述关节的第二预测关节长度损失小于损失阈值，则确定达到迭代结束条件；

若所述关节的第二预测关节长度损失不小于损失阈值，则确定未达到迭代结束条件。

4.根据权利要求1所述的方法，其特征在于，所述根据所述预测比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的预测三维坐标之后，所述方法还包括：

根据所述关节关键点的预测三维坐标，计算所述关节关键点的预测相对深度；

根据所述关节关键点的预测相对深度和所述关节关键点的相对深度，计算相对深度损失；

将所述相对深度损失添加到所述第二输入信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一预测关节长度损失和所述第一输入信息，确定第二输入信息，包括：

由第三神经网络对所述第一预测关节长度损失进行预处理，得到预处理后的第一预测关节长度损失；

将所述预处理后的第一预测关节长度损失与所述第一输入信息进行组合，得到所述第二输入信息。

6.根据权利要求1所述的方法，其特征在于，所述关节的关节关键点包括指示所述关节的一个端部的第一关节关键点和所述关节的另一个端部的第二关节关键点；

所述根据所述关节关键点的预测三维坐标，计算所述关节的第一预测关节长度，包括：

根据所述第一关节关键点的预测三维坐标和所述第二关节关键点的预测三维坐标，计算所述第一关节关键点与所述第二关节关键点之间的欧式距离；

将所计算得到的欧式距离，作为所述关节的第一预测关节长度。

7.一种三维坐标的确定装置，其特征在于，所述装置包括：

获取模块，用于获取关节的关节图像；

中间三维坐标计算单元，用于根据关节关键点在所述关节图像中的二维坐标和所述关节图像所来源相机的相机内参，计算得到所述关节关键点的中间三维坐标；

相对深度计算单元，用于根据所述关节图像中各像素的深度信息和所述关节关键点在所述关节图像中的深度值，计算所述关节关键点在所述关节图像中的相对深度；

第一输入信息确定单元，用于将所述关节关键点的中间三维坐标、所述关节的实际关节长度和所述关节关键点在所述关节图像中的相对深度进行组合，得到所述第一输入信息；

第一预测模块，由第一神经网络模型根据所述第一输入信息进行比例因子预测，得到预测比例因子，所述比例因子是指所述关节关键点在所述关节图像所来源相机的相机坐标系Z轴上的坐标值；

预测三维坐标计算模块，用于根据所述预测比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的预测三维坐标；

第一预测关节长度计算模块，用于根据所述关节关键点的预测三维坐标，计算所述关节的第一预测关节长度；

第一预测关节长度损失计算模块，用于根据所述关节的第一预测关节长度和所述关节的实际关节长度，计算得到第一预测关节长度损失；

第二输入信息确定模块，用于根据所述第一预测关节长度损失和所述第一输入信息，确定第二输入信息；

第二预测模块，用于由第二神经网络模型根据所述第二输入信息进行比例因子变化量预测，得到预测比例因子变化量；

总计比例因子计算模块，用于将所述预测比例因子和所述预测比例因子相加，得到总计比例因子；

第二预测关节长度损失计算模块，用于根据所述总计比例因子计算得到所述关节的第二预测关节长度损失；

判断模块，用于根据所述关节的第二预测关节长度损失判断是否达到迭代结束条件；

第一处理模块，用于若确定达到迭代结束条件，则根据所述总计比例因子和所述关节关键点的中间三维坐标，计算得到所述关节关键点的三维坐标。

8.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，与所述一个或多个处理器电连接；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-6任一项所述的方法。

9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。

Images