CN110765914A - 对象姿态标注方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及一种对象姿态标注方法、装置、计算机设备及存储介质，该方法包括：展示用于进行姿态标注的界面；在所述界面中加载显示待标注的当前图像；所述当前图像中包括目标对象；对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图；从每个关节点的位置置信图中，分别选取置信度最大的位置坐标，得到预测的关节位置坐标；按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点。本申请方案能够提高标注信息量。

Description

对象姿态标注方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机技术领域及医疗技术领域，特别是涉及一种对象姿态标注方法、装置、计算机设备及存储介质。

背景技术

随着科学技术的飞速发展，图像标注技术被应用到越来越多的场景中。在很多场景下，都需要对图像进行标注，以获取基础的标注数据，进而基于基础标注数据进行后续分析。比如，在医疗技术领域，通过在图像上对患者进行相应标注，以供后续分析患者是否患有疾病(比如，是否患有帕金森)。

传统方法中，是通过矩形框或多边形来对目标物体进行区域位置的标记。即，传统方法仅能实现对目标物体进行区域粒度的标注。随着深度学习和计算机视觉技术的发展，对目标物体进行区域粒度的标注由于粒度过粗，导致能够为后续分析提供的信息量比较少。

发明内容

基于此，有必要针对传统方法标注提供的信息量比较低的问题，提供一种对象姿态标注方法、装置、计算机设备及存储介质。

一种对象姿态标注方法，所述方法包括：

展示用于进行姿态标注的界面；

在所述界面中加载显示待标注的当前图像；所述当前图像中包括目标对象；

对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图；

从每个关节点的位置置信图中，分别选取置信度最大的位置坐标，得到预测的关节位置坐标；

按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点。

在一个实施例中，所述对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图包括：

提取所述当前图像的特征，得到特征图；

对所述特征图进行多阶段卷积处理，并基于卷积处理的结果对所述目标对象进行关节点预测，输出各关节点的位置置信图。

在一个实施例中，所述当前图像中包括多个目标对象；所述关节点的位置置信图在第一卷积分支中输出得到；

所述方法还包括：

在第二卷积分支中，对所述特征图进行卷积处理，基于卷积结果进行关节点连线预测，输出关节连线置信图；所述关节连线置信图，用于表示所预测的同一目标对象的关节之间的连接关系；

根据所述关节连线置信图，在所述当前图像上，将同一目标对象的预测关节点之间进行连接。

在一个实施例中，所述当前图像为视频图像；所述在所述界面中加载显示待标注的当前图像包括：

在所述界面中导入视频文件；所述视频文件中包括连续的视频图像序列；

获取从所述视频图像序列中选择的待标注的视频图像；

在所述界面中加载所述待标注的视频图像。

在一个实施例中，所述方法还包括：

在所述界面中，展示用于触发关节连线的连线入口；

当检测到对所述连线入口的触发操作时，则获取预设的关节点连接关系；

按所述关节点连接关系，将标注的各所述预测关节点之间进行连接。

在一个实施例中，所述方法还包括：

当接收到关节调整指令时，从标注的预测关节点中确定所述关节调整指令所针对的目标预测关节点；将所述目标预测关节点，调整至所述关节调整指令在所述当前图像中所指定的位置；和/或，

当接收到自定义标注指令时，在所述界面中展示自定义标注界面；获取在所述自定义标注界面上中输入的关节点信息，并于所述自定义标注指令在所述当前图像中指定的位置处，标注与所述关节点信息对应的关节点。

在一个实施例中，所述方法还包括：

获取对目标对象预测的关节位置坐标的第一集合，得到当前预测结果；

获取已有标记结果；所述已有标记结果中包括针对历史图像上的预测关节点进行调整后，所保存的已有的关节位置坐标的第二集合；

当不存在与当前预测结果匹配的已有标记结果时，执行所述按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点；

当存在匹配的已有标记结果时，则在所述当前图像上，按照匹配的已有标记结果中各已有的关节位置坐标，标注所述目标对象的关节点；

其中，是否存在与所述当前预测结果匹配的已有标记结果，根据所述第一集合和第二集合中对应于同一关节点标识的关节位置坐标之间的关节距离判断。

在一个实施例中，所述已有标记结果为多个；所述方法还包括：

针对每个已有标记结果中包括的第二集合，按照所述第一集合中各预测的关节位置坐标所对应的关节点标识，查找所述第二集合中与所述关节点标识对应的已有的关节位置坐标；确定对应于同一关节点标识的预测的关节位置坐标和查找的所述已有的关节位置坐标之间的关节距离；根据各关节距离，确定所述已有标记结果与所述当前预测结果之间的第一距离；

根据各所述已有标记结果所对应的第一距离，判断是否存在与所述当前预测结果匹配的已有标记结果。

在一个实施例中，所述已有标记结果中还包括已有的区域位置坐标的第四集合；所述已有的区域位置坐标，是针对历史图像上预测出的区域进行位置调整后，所保存的区域位置坐标；所述方法还包括：

获取针对所述目标对象的目标区域预测的区域位置坐标，得到第三集合；其中，所述区域位置坐标，是基于所述当前图像的特征图卷积处理的结果，进行区域预测处理得到；所述第三集合包括于所述当前预测结果；

针对每个已有标记结果中的第四集合，确定所述第三集合和第四集合中对应于同一区域标识的区域位置坐标之间的区域距离；根据各所述区域距离，确定所述已有标记结果与所述当前预测结果之间的第二距离；

所述根据各所述已有标记结果所对应的第一距离，判断是否存在与所述当前预测结果匹配的已有标记结果包括：

根据各已有标记结果所对应的所述第一距离和所述第二距离，判断是否存在与所述当前预测结果匹配的已有标记结果。

在一个实施例中，所述方法还包括：

当判定存在匹配的已有标记结果时，则在所述当前图像上，按照匹配的已有标记结果中各已有的区域位置坐标，标注所述目标对象中的所述目标区域；

当不存在匹配的已有标记结果时，则在所述当前图像上，按所述各预测的区域位置坐标，标注所述目标对象中的所述目标区域。

在一个实施例中，所述方法还包括：

当接收到区域标注触发指令时，则在所述界面上展示区域选择界面；

获取从所述区域选择界面中选择的目标区域的区域标识；所述目标区域属于目标对象；

所述获取针对所述目标对象的目标区域预测的区域位置坐标包括：

获取针对所述目标对象预测的、且与所述区域标识对应的区域位置坐标。

在一个实施例中，所述方法还包括：

获取已有标记结果的文件名称；当所述文件名称与所述当前图像的名称不相符时，执行所述按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点；当存在与所述当前图像的名称相符的所述文件名称时，则在所述当前图像上，按照相符的所述文件名称对应的已有标记结果中已有的关节位置坐标，标注所述目标对象的各关节点；或，

当接收到标注模板加载指令时，则从获取预先设置的标注模板，并在所述当前图像上，按照所述标注模板中的默认关节位置坐标，标注所述目标对象的关节点。

一种对象姿态标注装置，所述装置包括：

展示模块，用于展示用于进行姿态标注的界面；

加载模块，用于在所述界面中加载显示待标注的当前图像；所述当前图像中包括目标对象；

标注模块，用于对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图；从每个关节点的位置置信图中，分别选取置信度最大的位置坐标，得到预测的关节位置坐标；按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行本申请各实施例所述的对象姿态标注方法中的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行本申请各实施例所述的对象姿态标注方法中的步骤。

上述对象姿态标注方法、装置、计算机设备及存储介质，通过对当前图像的进行卷积处理，以及基于卷积处理结果预测目标对象的关节点，得到每个关节点的位置置信图，进而，基于每个关节点的位置置信图，预测得到每个关节点的关节位置坐标。从而，在当前图像上，按针预测的关节位置坐标，标注所述目标对象的各预测关节点。即，在当前图像上，自动实现了对目标对象的关节点预测标注，细化了标注粒度，提高了标注的信息量。

附图说明

图1为一个实施例中对象姿态标注方法的应用场景图；

图2为一个实施例中对象姿态标注方法的流程示意图；

图3为一个实施例中用于姿态标注的界面示意图；

图4为一个实施例中图像加载的界面示意图；

图5为一个实施例中目标区域标注的界面示意图；

图6至图8为一个实施例中标注结果保存示意图；

图9为一个实施例中关节位置置信图的可视化示意图；

图10为一个实施例中关节连线置信图的可视化示意图；

图11为一个实施例中关节点预测的原理示意图；

图12为一个实施例中关节连线的示意图；

图13为一个实施例中定义关节名称和序号的示意图；

图14为一个实施例中定义关节点连接关系的示意图；

图15为一个实施例中关节连线的效果示意图；

图16为一个实施例中手部关节连线示意图；

图17为一个实施例中关节位置调整示意图；

图18为一个实施例中手动标注的界面示意图；

图19为一个实施例中标记结果复用的过程示意图；

图20为一个实施例中智能复用的流程简示图；

图21为一个实施例中目标区域标注的示意图；

图22为一个实施例中检测目标区域的原理示意图；

图23为一个实施例中对象姿态标注方法的流程简示图；

图24为一个实施例中对象姿态标注装置的框图；

图25为一个实施例中计算机设备的框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中对象姿态标注方法的应用场景图。参照图1，该应用场景中包括通过网络连接的终端110和服务器120。

终端110可以展示用于进行姿态标注的界面；在所述界面中加载显示待标注的当前图像；所述当前图像中包括目标对象；对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图；从每个关节点的位置置信图中，分别选取置信度最大的位置坐标，得到预测的关节位置坐标；按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点。

进一步地，终端110可以将标注的结果上传至服务器120进行存储。在其他实施例中，终端110也可以将标注的结果保存至本地。可以理解，终端110在执行本申请各实施例中的对象姿态标注方法时，可以在本地独立完成。

终端110可以是人工智能(AI)医疗检测仪、智能电视机、台式计算机或移动终端等至少一种。移动终端可以包括手机、平板电脑、笔记本电脑、个人数字助理和穿戴式设备等中的至少一种。

可以理解，本申请各实施例中的对象姿态标注方法，可以应用于医疗技术领域，以实现对患者的图像进行姿态标注，进而可以基于标注的信息，对患者进行疾病分析。比如，得到的标注信息可以用于分析患者是否患有帕金森等能够产生姿态变化或姿态异常的疾病。

图2为一个实施例中对象姿态标注方法的流程示意图。本实施例中的该对象姿态标注方法可以应用于计算机设备，现主要以图1中的计算机设备110进行举例说明。参照图2，该方法具体包括如下步骤：

S202，展示用于进行姿态标注的界面。

其中，用于进行姿态标注的界面，即指在该界面中能够标注出目标对象的姿态。姿态，是指对象所呈现出的姿势和样子。

需要说明的是，本申请各实施例中，是针对包括关节点的目标对象进行姿态标注。即，目标对象本身具有关节点。

S204，在界面中加载显示待标注的当前图像；当前图像中包括目标对象。

其中，当前图像，是当前待标注的图像。当前图像中包括目标对象，是指在当前图像中包括目标对象的图像内容。目标对象，是需要进行姿态标注的对象。

可以理解，当前图像可以是独立的图片，也可以是视频图像序列中的视频图像。

在一个实施例中，目标对象可以是人、动物或物体等。

其中，界面上包括文件选择入口，用户可以通过触发文件选择入口选择当前图像。当计算机设备检测到针对文件选择入口的触发操作时，则获取并导入加载选择的待标注的当前图像。

在一个实施例中，当前图像的图像格式可以包括jpg,jpeg，mbp和png等格式中的至少一种。

在一个实施例中，步骤S204包括：在界面中导入视频文件；视频文件中包括视频图像序列；获取从视频图像序列中选择的视频图像；在界面中加载选择的视频图像。

其中，视频图像序列，是构成视频文件的一帧一帧图像所组成的序列。视频图像，是视频文件中的一帧图像。

具体地，用户可以触发文件选择入口，计算机设备可以在检测到针对文件选择入口的触发操作时，生成文件选择界面，用户可以在文件选择界面中输入视频文件的存储路径，进而定位到视频文件并选择。计算机设备可以在导入所选择的视频文件，并在界面上展示视频图像序列。用户可以从中选择待标注的视频图像，计算机设备可以获取选择的视频图像；在界面中加载该视频图像，得到待标注的当前图像。

为了便于理解当前图像的加载过程，现结合图3和图4进行举例说明。图3为一个实施例中用于姿态标注的界面。即，可以打开用于执行本申请各实施例所述方法的软件。软件可以基于Windows操作系统，采用PyQt5开发，得到图3所示的界面。需要说明的是，在其他实施例中，本申请各实施例中的对象姿态标注方法还可以通过其他操作系统和语言来实现。参照图3，该界面中可以包括文件选择入口，用于实现对象姿态标注功能的工具栏和图像加载区域。用户可以触发图3中文件选择入口，以选择待标注的当前图像。比如，用户可以选择视频文件，将其导入到界面中，在该界面中，导入的视频文件可以以视频图像序列进行展示，用户可以从中选择需标注的视频图像，即为待标注的当前图像。可以理解，当前图像则可以加载显示于图像加载区域。图4中的402即为在图像加载区域加载显示的当前图像。

S206，对当前图像进行卷积处理，并基于卷积处理的结果预测目标对象的关节点，得到各关节点的位置置信图。

其中，位置置信图，用于表示与位置置信图对应的关节点，在当前图像的不同位置坐标上分别对应的置信度。

具体地，计算机设备可以提取当前图像的特征，得到当前图像的特征图。计算机设备可以对特征图进行卷积处理，并基于卷积处理的结果，对目标对象进行关节预测，得到目标对象的每个关节点的位置置信图。

在一个实施例中，计算机设备可以使用卷积神经网络算法提取当前图像的特征，当前图像的特征图。

在一个实施例中，计算机设备可以对当前图像的特征图进行多阶段的卷积处理。

可以理解，关节点的位置置信图中包括当前图像中各点的位置坐标，以及该关节点在该位置坐标处的置信度。置信度，相当于概率。同一关节点在当前图像中的不同位置坐标的置信度，相当于，同一关节点位于当前图像中的不同位置坐标上的概率。

S208，从每个关节点的位置置信图中，分别选取置信度最大的位置坐标，得到预测的关节位置坐标。

其中，关节位置坐标，是指关节点在当前图像上所处的位置坐标。

预测的关节位置坐标，是从每个关节点的位置置信图中分别选取的置信度最大的位置坐标。

可以理解，关节点在某一位置坐标上的置信度越大，则该关节点就越可能位于该位置坐标处，所以，选取位置置信图中置信度最大的位置坐标，得到所预测的关节位置坐标。

比如，假设需要标注25个关节点，则可以分别预测得到这25个关节点各自对应的位置置信图。以关节点A举例，关节点A的位置置信图，则表示关节点A位于当前图像的各位置坐标的置信度(即，关节点A位于当前图像的各位置坐标的概率)。进而选取置信度最大的位置坐标，即为所预测的该关节点A在当前图像上所处的位置坐标。同理，可以依据每个关节点的位置置信图，预测每个关节点所对应的关节位置坐标，进而预测得到25个关节点的关节位置坐标。

S210，按照各预测的关节位置坐标，在当前图像上标注目标对象的各预测关节点。

预测关节点，是通过对当前图像的自动分析，所预测出目标对象的关节点。可以理解，按照各预测的关节位置坐标在当前图像上标注出来的关节点，就属于预测出的关节点，即预测关节点。

可以理解，步骤S206～S210相当于通过人工智能算法实现了对目标对象的智能预先标注处理。

其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。可以理解，计算机设备可以自动地预测标注出目标对象的关节点，这正是以人类智能相似的方式做出的反应。

在一个实施例中，预测的关节位置坐标还可以携带关节状态。关节状态，用于表示关节点是否实际可见。关节状态可以包括可见、不可见和不在当前图像画面之内等中的至少一种状态。

计算机设备可以按照预测的关节位置坐标和该关节位置坐标所对应的关节点的关节状态，在当前图像上展示目标对象的预测关节点。其中，展示出的预测关节点，是可见状态的预测关节点。

在一个实施例中，计算机设备还可以自动预测目标对象的目标区域的区域位置坐标，并按照预测的区域位置坐标，在当前图像上通过矩形框自动标注出目标区域。

在一个实施例中，区域位置坐标包括区域的左上坐标和右下坐标。

图5为一个实施例中目标区域标注的界面示意图。参照图5，当需要标注头部区域的位置时，需要标记头部区域的左上坐标和右下坐标。如图5所示，需要分别得到0,1两个点的像素位置，由这两点确定的像素框需尽量贴近头部边缘。此时的区域状态默认为0，即为可见状态。图5中的x,y用于示意出x轴和Y轴方向。

在一个实施例中，计算机设备可以将预测关节点的关节位置坐标进行保存，得到当前预测结果。计算机设备还可以将预测关节点的关节状态一并保存至当前预测结果中。

其中，当前预测结果，是指对当前图像进行预测标注的标注结果。

在一个实施例中，标注结果可以包括关节点的位置坐标和关节状态。即，对于每个关节点，标注结果由三个数字x,y,t组成。其中x,y表示关节点的像素位置坐标，t表示关节状态。

在一个实施例中，计算机设备也可以将预测的区域位置坐标保存至当前预测结果中。即，当前预测结果中可以包括预测的关节点的标注结果和预测的目标区域的预测标注结果。

在一个实施例中，当检测到对界面上的保存入口的触发操作时(比如，用户点击“保存”按钮)，则自动保存当前预测结果。在其他实施例中，也可以不用用户触发，自动保存当前预测结果。

在一个实施例中，关节点的标注结果可以保存为json字典。Json格式的标注结果中，包括关节序号、关节位置坐标和关节状态。比如，“1”：“544,586,0”，则表示序号为1的关节点，其关节位置坐标为(544,586)，关节状态为0，即可见状态。在一个实施例中，目标区域的标注结果可以保存为xml文档。

图6至图8为一个实施例中标注结果保存示意图。参照图6，可以自动保存当前预测结果至自定义位置，而且关节点的标注结果可以保存为json格式。目标区域的标注结果可以保存为xml文档格式。图7即为xml格式的目标区域的标注结果。图8则为json格式的，关节点的标注结果。

上述对象姿态标注方法，通过对当前图像的特征图进行卷积处理，以及关节点预测，得到每个关节点的位置置信图，进而，基于每个关节点的位置置信图，预测得到每个关节点的关节位置坐标。从而，在当前图像上，按针对目标对象预测的关节位置坐标，标注所述目标对象的各预测关节点。即，在当前图像上，自动实现了对目标对象的关节点预测标注，细化了标注粒度，提高了标注的信息量和准确性。进一步地，提高了后续分析的准确性。

此外，自动化实现对关节点的标注，提高了标注的效率。

在一个实施例中，该方法还包括：获取自定义的关节标注示意图；在界面中加载该关节标注示意图。

其中，关节标注示意图，是自定义的简化引导图，用于通过图示的方式引导说明需要标注的关节。

可以理解，用户可以参照关节标注示意图，核对步骤S210中智能预标注的预测关节点的正误。此外，用户还可以参照关节标注示意图，对预测关节点进行补充标注或调整。比如，关节标注示意图中有25个关节的，智能预标注的预测关节点只有23个，则可能存在漏标注，用户则可以参照关节标注示意图，补充标注剩余的2个关节点。

在一个实施例中，关节标注示意图中包括目标对象的简化结构，以及在简化结构上标注的用于进行引导示意的关节点。

在一个实施例中，可以标注不同种类的目标对象，那么，可以预先针对不同种类的目标对象自定义相对应的关节标注示意图。计算机设备则可以检测目标对象所属的类别，在接收到关节标注示意指令时，加载与该类别对应的关节标注示意图。比如，目标对象为人时，则加载人形结构的关节标注示意图。当目标对象为狗时，则可以加载狗形结构的关节标注示意图

考虑到针对一些目标对象的姿态标注的复杂性(比如，人体姿态图像标注就比较复杂，不同身体关节的位置存在模糊性等问题)，提供了关节标注示意图自定义和预览功能，可以理解，用户可以对已有的关节标注示意图进行自定义修改，以帮助标注人员更快更准进行对应身体关节进行校验核对或标注。

图4中的404即为关节标注示意图。图4中的目标对象是人，那么，加载的关节标注示意图404即为简化的人形结构，404中简化的人形结构上简单标注了关节点，用于引导说明需要标注哪些关节点，以及关节点之间的相对位置关系。用户则可以参照关节标注示意图404，更为清楚、直观地了解标注哪些关节点，从而可以快速、准确地校验哪些关节点没有被标注出来。可以理解，用户可以在从关节标注示意图的查看界面，切换回查看当前图像的标注结果。

在一个实施例中，界面中还提供用于触发关节连线的连线入口，用户可以通过触发该连线入口，输入关节连线指令，计算机设备则可以将当前图像上所标注出的关节点进行连接。可以理解，若有关节点错标或者标注位置不准确的问题，通过关节点之间的连接，可以让这些问题清晰可见。

在一个实施例中，步骤S206包括：提取所述当前图像的特征，得到特征图；对所述特征图进行多阶段卷积处理，并基于卷积处理的结果对所述目标对象进行关节点预测，输出各关节点的位置置信图。

在一个实施例中，计算机设备可以将当前图像输入预先训练端到端的深度卷积模型中，对当前图像进行特征提取，得到当前图像的特征图。在一个实施例中，计算机设备可以将当前图像输入VGG等深度卷积模型中进行特征提取。VGG深度模型架构,全称VERY DEEPCONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION，是2015年由KarenSimonyan等人提出的端到端深度卷积模型架构。

在一个实施例中，计算机设备可以将特征图输入至一个多阶段的卷积模型中，以对特征图进行多阶段卷积处理，并基于卷积处理的结果对所述目标对象进行关节点预测，输出各关节点的位置置信图。可以理解，卷积处理的结果，即为，对当前图像的原始的特征图经过多阶段卷积处理，所提取的特征更为丰富、细致的特征图。可以理解，同一阶段中的卷积处理所输出的图片(即特征图)大小相同。

进一步地，计算机设备可以基于卷积处理的结果对所述目标对象进行关节点预测，输出各关节点的位置置信图；分别从每个关节点的位置置信图中，选取置信度最大的位置坐标，作为针对所述目标对象预测的各关节位置坐标；按各关节位置坐标，在当前图像上标注目标对象的预测关节点。

在一个实施例中，所述当前图像中包括多个目标对象。所述关节点的位置置信图在第一卷积分支中输出得到。该方法还包括：在第二卷积分支中，对所述特征图进行卷积处理，基于卷积结果进行关节点连线预测，输出关节连线置信图；根据所述关节连线置信图，在当前图像上，将同一目标对象的预测关节点之间进行连接。

其中，卷积分支，是指进行卷积处理的支路。关节点的位置置信图中包括当前图像中各点的位置坐标，以及该关节点在该位置坐标处的置信度。置信度，相当于概率。同一关节点在当前图像中的不同位置坐标的置信度，相当于，同一关节点位于当前图像中的不同位置坐标上的概率。

可以理解，关节点在某一位置坐标上的置信度越大，则该关节点就越可能位于该位置坐标处，所以，选取位置置信图中置信度最大的位置坐标，得到所预测的关节点的关节位置坐标。

可以理解，本申请实施例中，进行卷积处理的模型包括第一卷积分支和第二卷积分支。第一卷积分支，是用于通过卷积处理输出关节位置置信图的分支。第二卷积分支，是用于通过卷积处理输出关节连线置信图的分支。

具体地，计算机设备可以将特征图输入第一卷积分支中，输出对所述特征图进行多阶段卷积处理，并基于卷积处理的结果对所述目标对象进行关节点预测，输出各关节点的位置置信图。

图9为一个实施例中关节位置置信图的可视化示意图。图9为左肩关节的位置置信图。模型对当前图像中可能的左肩位置具有较大的输出值，即越可能为左肩的位置坐标，其所对应的置信度越大。所以，将置信度转化成图像显示时，更大的值具有更高的亮度。图9中902和904所示的比较亮的位置，更接近于左肩。

可以理解，计算机设备可以针对每个关节点都输出一个对应的位置置信图。比如，对于预测25个关节点的模型，则会输出25个关节点各自对应的位置置信图，即25张位置置信图。

进一步地，计算机设备可以将特征图输入第二卷积分支中，输出关节连线置信图。其中，关节连线置信图，用于表示所预测的同一目标对象的关节之间的连接关系。具体地，计算机设备可以对特征图进行多阶段卷积处理，基于卷积结果进行关节点连线预测，输出关节连线置信图。

需要说明的是，第一卷积分支和第二卷积分支进行卷积处理的特征提取处理不相同，第一卷积分支侧重于提取能够体现关节点的特征。第二卷积分支，侧重于提取能够将不同目标对象的关节点区分开来的特征(比如区域性特征)，进而实现同一目标对象之间正确的关节连线，避免将不同目标对象之间的关节点进行错误连接。

图10为一个实施例中关节连线置信图的可视化示意图。参照图10，为模型对左肩关节与左手肘关节的连接预测，使同一个人的肩关节与肘关节正确连接，如1002和1004所示。如果将人物1的肩关节与人物2的肘关节连接，将导致错误的预测结果。

图11为一个实施例中关节点预测的原理示意图。参照图11，将当前图像输入卷积神经网络(比如VGG-19的深度卷积模型)中，经过多层卷积处理，输出特征图F，然后，将F分别输入分支1(即第一卷积分支)，经过多阶段(第一阶段～第t阶段)卷积处理，基于卷积处理结果进行关节点预测，输出关节位置置信图。此外，并发地将特征图F输入分支2(即第二卷积分支)，经过多阶段卷积处理，基于卷积处理结果进行关节连线预测，输出关节连线置信图。从图11中可知，可以将前一阶段的分支1和分支2提取的特征图进行通道叠加，以得到叠加后的通道数增多的特征图，进而作为下一个阶段的输入。可以理解，由于通道数叠加能够增加特征图的特征量，所以能够提高输出的关节位置置信图和关节连线置信图的准确性。

在一个实施例中，该方法还包括：在所述界面中，展示用于触发关节连线的连线入口；当检测到对所述连线入口的触发操作时，则获取预设的关节点连接关系；按所述关节点连接关系，将标注的各所述预测关节点之间进行连接。

具体地，用户可以对连线入口进行触发操作。比如，用户可以触发界面上的“自动连线”控件。当检测到对所述连线入口的触发操作时，计算机设备可以获取预设的关节点连接关系；按所述关节点连接关系，将标注的各所述预测关节点之间进行连接。

需要说明的是，关节点连接关系，用于体现所有关节点之间的连接关系，所以，当接收到对连线入口的触发操作时，不仅限于将预测关节点之间进行连接，而是将标注在当前图像上的关节点之间进行连接。所以，通过关节点连接关系所连接的关节点中，可以包括通过人工标注的方式或者通过标记复用的方式或者通过标注模板的方式，在当前图像上标注的关节点。

在一个实施例中，计算机设备中预先存储了关节连接信息。关节连接信息，是用于表征关节点之间的连接关系的信息。

可以理解，关节连线信息中包括关节点标识和关节点标识之间的关节点连接关系。

具体地，界面上展示有连线入口，用户可以对连线入口进行触发，以输入关节连接指令，计算机设备可以获取预先设置的关节连接模板文件，从该关节连接模板文件中获取关节连接信息。进一步地，计算机设备可以确定标注的预测关节点的关节点标识，针对每个关节点标识，从关节连接信息中查找与该关节点标识具有关节点连接关系的关节点标识，并按照查找到的关节点标识在当前图像上定位相应的关节点，将该关节点标识所对应的标注的关节点，与定位查找到的关节点之间进行连接。

图12为一个实施例中关节连线的示意图。最左边的图中标注出了关节点，中间的图中即为按照预设的关节点连接关系，对关节点进行自动连线后的结果。从连线结果图中可以明显看出相应关节的预标记位置存在偏差，同时右手缺少部分关节。从而能够更直观、快捷地验证智能预标注存在的问题，从而进行人工调整和校验，提高了标注效率。最右边的图即为人工校验和补充标注后的结果，相较于中间的图，补充了右手手指缺失的关节点，而且，将眼睛、鼻子、下巴等处的关节点的位置调整的更为准确。

在一个实施例中，计算机设备中预先保存了关节连接模板文件和关节模板文件。其中，关节模板文件中，包括自定义的需要标注的关节点标识和序号。关节连接模板文件中，包括自定义的关节点标识之间的关节点连接关系。

计算机设备可以从关节连接模板文件中，获取自定义的关节点标识之间的关节点连接关系，按照该关节点连接关系，将标注的关节点进行连接。

可以理解，关节点标识，可以为关节名称或用于唯一标识关节点的标号。

在一个实施例中，关节点连接关系可以使用：joint_start:joint_end1,joint_end2,…,joint_endn方式，使用“：”分隔一条连线的起始点与终点，joint_start表示起始点，joint_end*表示可与joint_start连接的其它关节。以“0：1,15,16”为例，序号0对应的关节点标识即为连线的起始点，序号1、15和16对应的关节点标识即为了连线的终止点，关节序号0所对应的关节点标识与关节序号1、15和16对应的关节点标识之间具有连接关系。

在一个实施例中，关节点标识可以包括主干的关节点标识和支干的关节点标识。在一个实施例中，主干的关节点标识包括身体关节点标识。支干的关节点标识可以包括手部关节点标识。

在一个实施例中，身体关节点标识，用于唯一标识身体关节点。身体关节点，是用于表征身体姿态架构的主要躯干关节。手部关节点标识，用于唯一标识手部关节点。手部关节点，是手部中用于表征手部姿态架构的主要关节。

图13为一个实施例中定义关节名称和序号的示意图。图13即为对关节模板文件进行示意。比如，”0：Nose”，即为鼻子的序号为0。其中，序号0～24对应的关节点标识即为身体关节点标识。序号25～45即为手部关节点标识。L*表示左关节，R*表示右关节，如LShoulder表示左肩膀关节。

图14为一个实施例中定义关节点连接关系的示意图。即为对关节连接模板文件进行示意。以“0：1,15,16”为例，即表示关节序号0所对应的关节点标识与关节序号1、15和16对应的关节点标识之间具有连接关系。

图15为一个实施例中关节连线的效果示意图。图15的(a)图为自定义的关节点标识和序号。图15的(b)图为简单的连线示意图，从(b)图中可知，序号0分别与1,15和16可以连接，即，表示关节序号0所对应的nose鼻子与关节序号1对应的neck脖子、序号15和16分别对应的REye右眼和LEye左眼之间可以连接。图15中的(c)图为实际图片中身体关节连线的效果图。

在一个实施例中，每只手21个点，左右手都标，共42个点。图16为一个实施例中手部关节连线示意图。其中，序号皆为手部关节的序号。每只手21个关节，由5根手指(每根手指4个关节)和一个腕关节组成。对于不可见的关节点，需要人为预估关节位置，标记状态为1。需要说明的是，图16是单独的实施例，用于示意手部关节点连线效果，所以，图16中的手部关节点的序号与图11和12中的序号之间并不相对应。比如，图16中的序号0与图11和12中的序号0不指代同一个关节点标识。

上述实施例中，按关节点连接关系，将标注的各预测关节点之间进行连接，能够让用户根据关节连线，更加快速、准确地校验出标注出现的问题。

在一个实施例中，该方法还包括：当接收到关节调整指令时，从标注的预测关节点中确定所述关节调整指令所针对的目标预测关节点；将所述目标预测关节点，调整至所述关节调整指令在所述当前图像中所指定的位置。

其中，关节调整指令，是用于调整关节点的位置或关节状态的指令。可以理解，当前图像上标注的关节点可能存在一些偏差，比如，预测关节点的位置或关节状态不见得完全准确，所以，界面可以提供关节调整功能，以供用户进行手动校验和调整。

目标预测关节点，是需要调整的预测关节点。可以理解，目标预测关节点可以为预测关节点中的全部或部分。

在一个实施例中，用户可以通过界面，对当前图像上标注的全部或部分关节点进行关节调整操作，计算机设备可以检测该关节调整操作，以对全部或部分关节点进行相应调整。可以理解，当标注的关节点即为预测关节点时，则目标关节点即为预测关节点，当标注的关节点不仅仅包括预测关节点时，比如，还包括后续补充标注的关节点，那么，目标关节点就不仅限于预测关节点。

在一个实施例中，用户可以通过界面对目标关节点进行拖动操作，计算机设备则可以响应该拖动操作，将目标关节点进行拖动至当前图像上的指定位置。可以理解，目标关节点可以为一个或多个，所以，可以实现对多个关节点的整体拖动以及对该单个目标关节点的局部微调。

在其他实施例中，用户还可以直接在界面中输入指定的位置坐标，计算机设备则可以直接将目标关节点调整至该指定的位置坐标所对应的指定的位置。

可以理解，除了对位置调整以外，还可以对目标节点的关节状态进行调整，以改变目标节点的可见情况。比如，有些关节点不需要标注出来，但是被标注出来了，这时就可以通过输入关节调整指令，调整目标节点的关节状态，以将其调整为不可见状态。

可以理解，当前图像上标注的关节点可能存在一些偏差，比如智能预标注的预测关节点可能存在漏标注的情况。所以，可以通过手动标注的方式进行补充标注。

上述实施例中，用户可以对标注的预测关节点进行调整，从而通过智能预标和人工调整的方式，提高标注的准确性。

在一个实施例中，该方法还包括：当接收到自定义标注指令时，在所述界面中展示自定义标注界面；获取在所述自定义标注界面上中输入的关节点信息，并于所述自定义标注指令在所述当前图像中指定的位置处，标注与所述关节点信息对应的关节点。

其中，自定义标注界面，是供用户输入自定义的标注信息的界面。

具体地，用户可以在界面上指定需要添加关节点的位置，以触发生成自定义标注指令，计算机设备进而触发展示自定义标注界面。用户可以在自定义标注界面中输入关节信息，以自定义所指定位置处需添加的关节点的关节，计算机设备可以在所述位置上标注关节信息所对应的关节点。

在一个实施例中，用户可以通过点击鼠标左键，指定需要添加关节点的位置，以触发生成自定义标注指令，计算机设备进而触发展示自定义标注界面。在其他实施例中，界面上也可以展示有自定义标注入口。用户可以在界面上指定需要添加关节点的位置，并触发该自定义标注入口，以输入自定义标注指令，计算机设备进而触发展示自定义标注界面。

在一个实施例中，自定义标注界面中展示有关节信息列表，用户可以从关节信息列表中选择需要添加的关节信息。在其他实施例中，用户可以通过在自定义标注界面中输入文本信息的方式，在自定义标注界面中输入关节信息。

图17为一个实施例中关节位置调整示意图。参照图17中的左图即为调整前的标注的关节点，可知，在左图虚线框标出的区域中，左手预测的关节点位置统一存在偏差。即，可以对左手关节点进行整体拖动，右图即为关节位置拖动调整后的结果。从右图可知，虚线框所示的区域中，标注的左手的关节点位置更加准确，而且整体拖动能够提高效率。

图18为一个实施例中手动标注的界面示意图。参照图18,1802即为自定义标注界面，显示有关节信息列表1804，其中有多个关节点的名称，用户可以从中选择需要标注的关节信息，并选择关节状态即可。计算机设备则会确定鼠标左键所点击的位置，在该位置上标注该关节点。计算机设备也会自动记录该关节点的关节位置坐标。

在一个实施例中，该方法还包括：当接收到针对当前图像的缩放指令时，则实时检测缩放幅度，并按照缩放幅度对当前图像进行缩放处理。可以理解，针对手指等身体细微关节，直接在原图上进行标记难度较大且不准确，通过提供图像放大缩小的功能，可将标记过程中的图像整体放大和左右拖动，方便进行细小关节的标记，提高标记准确性和标记效率。

上述实施例中，用户可以对关节点进行自定义的补充标注，进而能够提高标注的准确性。

在一个实施例中，该方法还包括：获取对目标对象预测的关节位置坐标的第一集合，得到当前预测结果；获取已有标记结果；当不存在与当前预测结果匹配的已有标记结果时，执行步骤S210；当存在匹配的已有标记结果时，则在当前图像上，按照匹配的已有标记结果中各已有的关节位置坐标，标注目标对象的关节点。

其中，历史图像，是指已经完成姿态标注的图像。已有标记结果，是指对历史图像进行标注的标注结果。当前预测结果，是对当前图像进行预测标注得到的标注结果。已有标记结果中包括历史图像上标注的关节点的信息，即包括针对历史图像上的预测关节点进行调整后，所保存的已有的关节位置坐标的第二集合。

可以理解，之前在对历史图像中的目标对象进行姿态标注时，历史图像即为当前图像，在历史图像作为当前图像时，计算机设备可以按照本申请各实施例中的对象姿态标注方法在历史图像上标注预测关节点，用户可以对预测关节点进行调整，计算机设备可以保存调整后的关节位置坐标，即得到与历史图像对应的已有的关节位置坐标。

为了便于理解，现举例说明。比如，有图片1～图片3这张图需要做姿态标注，在图片1上标注目标对象的预测关节点之后，用户会对其做调整，然后保存与图片1对应的调整后的关节位置坐标。那么，在对图片2中的目标对象进行姿态标注时，图片1就为历史图片，那么，图片1对应的标注结果，即为已有标记结果，所保存的与图片1对应的调整后的关节位置坐标，即为已有的关节位置坐标。同样地，在图片2上标注目标对象的预测关节点之后，用户会对其做调整，然后保存与图片2对应的调整后的关节位置坐标。那么，在对图片3中的目标对象进行姿态标注时，图片1和2就为历史图片，那么，图片1和2对应的标注结果，即为已有标记结果，所保存的与图片1和2对应的调整后的关节位置坐标，即为已有的关节位置坐标。

具体地，计算机设备可以将当前预测结果与已有标记结果进行匹配，当存在匹配的已有标记结果时，则在当前图像上，按照匹配的已有标记结果中各已有的关节位置坐标，标注目标对象的关节点。相当于，将已有标记结果复用到当前图像上，提高了标注效率。

此外，在按照已有标记结果，在当前图像上，标注目标对象的关节点之后，用户仍然可以对标注的关节点进行调整，从而通过已有标记结果的复用和人工微调结合的方式，提高标记效率和准确性，尤其是在需要标注的图像数量较多的时候，这种方式更为适用，提高标记效率的效果更为明显。

可以理解，当不存在与当前预测结果匹配的已有标记结果时，则执行步骤S210，即，使用当前预测结果进行标注。

其中，是否存在与当前预测结果匹配的已有标记结果，根据第一集合和第二集合中对应于同一关节点标识的关节位置坐标之间的关节距离判断。

具体地，计算机设备可以根据当前预测结果中包括的第一集合和已有标记结果中包括的第二集合进行匹配，确定第一集合和第二集合中对应于同一关节点标识的关节位置坐标之间的关节距离，根据关节距离判断是否存在与当前预测结果匹配的已有标记结果。

可以理解，当有多个已有标记结果时，计算机设备可以将每个已有标记结果中的第二集合，分别与第一集合进行匹配，以判断是否存在与当前预测结果匹配的已有标记结果。

在一个实施例中，已有标记结果为多个。本实施例中，该方法还包括：针对每个已有标记结果中包括的第二集合，按照第一集合中各预测的关节位置坐标所对应的关节点标识，查找第二集合中与关节点标识对应的已有的关节位置坐标；确定对应于同一关节点标识的预测的关节位置坐标和查找的已有的关节位置坐标之间的关节距离；根据各关节距离，确定已有标记结果与当前预测结果之间的第一距离；根据各已有标记结果所对应的第一距离，判断是否存在与当前预测结果匹配的已有标记结果。

其中，第一集合，是与当前图像对应的预测的关节位置坐标的集合。第二集合，是与历史图像对应的已有的关节位置坐标的集合。关节距离，是指用于表征预测和已有的关节点之间位置偏差的距离度量。在一个实施例中，关节距离可以是关节点之间的欧式距离。

具体地，当有多个已有标记结果时，针对每个已有标记结果，计算机设备可以分别获取第一集合中各预测的关节位置坐标所对应的关节点标识，从该已有标记结果所包括的第二集合中，查找与该关节点标识对应的已有的关节位置坐标，计算机设备可以确定对应于同一关节点标识的预测的关节位置坐标和查找的已有的关节位置坐标之间的关节距离。这样一来，同一已有标记结果就对应多个关节距离，计算机设备可以根据同一已有标记结果所对应的各关节距离，确定该已有标记结果与当前预测结果之间的第一距离。

比如，第一集合和第二集合中，皆存在对应于鼻子这一关节点标识的关节位置坐标，则可以确定对应于鼻子这一关节点标识的预测的关节位置坐标和已有的关节位置坐标之间的关节距离。

在一个实施例中，计算机设备可以对同一已有标记结果所对应的各关节距离求均值，得到该已有标记结果与当前预测结果之间的第一距离。在其他实施例中，计算机设备也可以将同一已有标记结果所对应的各关节距离相加，得到该已有标记结果与当前预测结果之间的第一距离。

进一步地，计算机设备可以根据各已有标记结果所对应的第一距离，判断是否存在与当前预测结果匹配的已有标记结果。

可以理解，当有多个已有标记结果时，计算机设备可以选取与当前预测结果最接近的已有标记结果，判断该最接近的已有标记结果是否与当前预测结果匹配。

在一个实施例中，计算机设备可以从各已有标记结果所对应的第一距离中选最小值，并根据该最小第一距离判断其所对应的已有标记结果是否与当前预测结果匹配。

上述实施例中，根据对应于同一关节点标识的预测的关节位置坐标和查找的已有的关节位置坐标之间的关节距离，确定已有标记结果与当前预测结果之间的偏差,来判断是否存在可复用的已有标注结果。由于，关节距离能够很大程度上衡量已有标注结果和当前预测结果之间的差异，所以，能够提高复用匹配的准确性。

在一个实施例中，已有标记结果中还包括已有的区域位置坐标的第四集合。该方法还包括：获取针对目标对象的目标区域预测的区域位置坐标，得到第三集合；其中，区域位置坐标，是基于当前图像的特征图卷积处理的结果，进行区域预测处理得到；第三集合包括于当前预测结果；针对每个已有标记结果中的第四集合，确定第三集合和第四集合中对应于同一区域标识的区域位置坐标之间的区域距离；根据各区域距离，确定已有标记结果与当前预测结果之间的第二距离。本实施例中，根据各已有标记结果所对应的第一距离，判断是否存在与当前预测结果匹配的已有标记结果包括：根据各已有标记结果所对应的第一距离和第二距离，判断是否存在与当前预测结果匹配的已有标记结果。

其中，第四集合，是与历史图像对应的已有的区域位置坐标的集合。第三集合，是与当前图像对应的预测的区域位置坐标的集合。可以理解，当前预测结果中包括第三集合。区域距离，是指用于表征预测和已有的区域之间位置偏差的距离度量。在一个实施例中，区域距离可以是区域之间的欧式距离。

需要说明的是，本申请各实施例中的关节距离和区域距离，皆是指同一关节点标识或区域标识所对应的当前预测结果和已有标记结果之间的偏差，而不是同属当前预测结果的不同关节点之间的偏差，也不是同属已有标记结果的不同区域之间的偏差。

已有的区域位置坐标，是针对历史图像上预测出的区域进行位置调整后，所保存的区域位置坐标。同样地，在历史图像作为当前图像时，计算机设备可以预测标注出该历史图像上的区域，用户可以对预测标注的区域进行调整，计算机设备可以保存调整后的区域位置坐标，即得到已有的区域位置坐标。

计算机设备除了预测当前图像中目标对象的关节点以外，还可以基于当前图像的特征图进行卷积处理，以针对目标区域进行区域预测，从而得到针对目标对象的目标区域预测的区域位置坐标，即为第三集合。

针对每个已有标记结果，计算机设备可以确定第三集合和该已有标记结果的第四集合中，对应于同一区域标识的区域位置坐标之间的区域距离，根据各区域距离，确定已有标记结果与当前预测结果之间的第二距离。

进一步地，计算机设备可以根据各已有标记结果所对应的第一距离和第二距离，判断是否存在与当前预测结果匹配的已有标记结果。

可以理解，第一距离，相当于已有标记结果和当前预测结果在关节标注维度方面的偏差，第二距离，相当于已有标记结果和当前预测结果在区域标注维度方面的偏差。

在一个实施例中，计算机设备可以对各已有标记结果所对应的第一距离和第二距离进行加权平均计算，根据加权平均的结果，判断是否存在与当前预测结果匹配的已有标记结果。

在其他实施例中，计算机设备也可以直接对各已有标记结果所对应的第一距离和第二距离进行求和或者算数平均计算，根据求和或者算数平均计算的结果，判断是否存在与当前预测结果匹配的已有标记结果。

在一个实施例中，计算机设备可以从各已有标记结果所对应的加权平均后的距离中选取最小值，将该最小值与预设距离阈值进行比对，当最小值小于或等于预设距离阈值时，则判定该最小值所对应的已有标记结果与当前预测结果匹配。反之，当最小值大于预设距离阈值时，则判定不存在与当前预测结果匹配的已有标记结果。

现结合图19对已有标记结果复用的过程进行说明。参照图19，智能预标，用于预测目标对象的关节位置坐标和预测目标区域的区域位置坐标，即得到关节预估结果和区域预估结果。已有标记结果中包括已有关节标记结果(即，已有的关节位置坐标)和已有区域标记结果(即，已有的区域位置坐标)，计算机设备可以分别将关节预估结果和已有标注结果中的已有关节标记结果进行匹配，以及将区域预估结果和已有标注结果中的已有区域标记结果进行匹配，得到关节预估结果和已有关节标记结果之间的关节距离D_joint(即，前文所述的“第一距离”)、以及得到区域预估结果和已有区域标记结果之间的矩形框坐标距离D_area(即，前文所述的“第二距离”)。可以理解，由于，区域位置坐标可以通过矩形框标注，所以区域距离也可以用矩形框坐标距离来表示。进一步地，计算机设备可以对D_joint和D_area进行按照权重α和β进行加权平均，得到已有标记结果和当前预测结果之间的最终的偏差。

为了便于理解，现结合具体例子进行举例说明。考虑到人体姿态预估算法鲁棒性的差异，比如，关节点为25(25个身体关节点)+21*2(每只手部关节点为21个，有两只手)个。假设患者当前预测结果中的关节预估结果集合(即第一集合，指预测的关节位置坐标的集合)为I，则：

I＝(I₁,I₂…I_n)，n≤67

其中，I_i＝(x_i,y_i)，表示第i个关节点的预测的关节位置坐标，n为关节点数量。

假设当前预测结果中的区域预估结果集合(即第三集合，指预测的区域位置坐标的集合)为U，则：

U＝(U₁,U₂…U_m)，m≤5

其中，U_i＝((x_i,y_i),(x_j,y_j)，u_i为第i个预测的区域位置坐标，(x_i,y_i)为预测的区域的左上坐标，(x_j,y_j)为预测的区域右下坐标，m为目标区域的数量。

假设已有标记结果集合为T，则：

其中，T_I为已有关节标注结果集合(即，第二集合，相当于已有的关节位置坐标的集合)；T_U为已有区域标注结果集合(即第四集合，相当于已有的区域位置坐标的集合)；

表示第i个关节点的已有的关节位置坐标；

表示第i个已有的区域位置坐标；

为第i个已有的区域左上位置坐标，为第i个已有的区域右下位置坐标。

匹配算法通过将关节预估结果集合与已有标记结果中的已有关节标注结果集合使用欧式距离一一比较，并将区域预估结果集合与已有标记结果中已有区域标注结果集合使用欧式距离一一比较，计算得到一个距离偏差。计算时，根据关节预估结果集合中的关节点标识或区域预估结果集合中的区域标识，在已有标记结果中查找与该关节点标识对应的已有的关节位置坐标和与该区域标识对应的区域位置坐标，进行距离计算。例如，预测的关节位置坐标共20个，假设共缺失了第0，5，7，9，10号关节坐标，则在距离计算时只比较这剩余20个关节相应的坐标偏差。计算过程如下：

D＝α·D_joint+β·D_area (3.3)

其中，D_joint表示关节预估结果和已有关节标记结果之间的关节距离，D_area表示区域预估结果和已有区域标记结果之间的区域距离；

表示第i个关节点对应的预测的关节位置坐标和已有的关节位置坐标之间的关节距离；

表示第i个区域对应的预测的区域位置坐标和已有的区域位置坐标之间的区域距离。

公式(3.3)的两个参数α＝0.8，β＝0.2。如此设置的原因是考虑到人体姿态标记相较区域标记更加复杂，区域标记使用人工微调更加快捷，所以，关节预估结果与已有标记结果之间的距离所占的权重，相较于区域预估结果与已有标记结果之间的距离所占的权重要大一些。

按照公式(3.3)，得到已有标记结果对应的最终的距离，对已有标记结果按照相对应的距离从小到大排序，若最小的距离<20,则取该距离对应的坐标结果作为当前图像的标记结果，由人工继续微调。若最小距离>20，则沿用智能预估的结果，按照预测的关节点位置坐标和区域位置坐标，在当前图像上进行标记，然后，进行人工校验调整，结合手动标记完成最终的标注。

图20为一个实施例中智能复用的流程简示图。参照图20，针对图像系列中选择的当前图像，利用算法识别，进行智能预标。然后，通过智能匹配算法将预测的关节坐标(即预测的关节位置坐标)与已有标记结果中的已有的关节位置坐标进行匹配。当存在匹配的已有标记结果时，则利用已有标记结果进行标注，然后基于已有标记结果进行的标注，进行人工微调，并将微调后的结果保存为新的已有标记结果。当不存在匹配的已有标记结果时，则利用预测的关节位置坐标进行关节点的标注，然后再进行人工微调。最后，可以将微调后的结果保存为新的已有标记结果。

上述实施例中，通过关节距离和区域距离，确定已有标注结果和当前预测结果之间的偏差，以确定是否存在能够复用的已有标注结果，能够提高复用匹配的准确性。

在一个实施例中，该方法还包括：当判定存在匹配的已有标记结果时，则在当前图像上，按照匹配的已有标记结果中各已有的区域位置坐标，标注目标对象中的目标区域；当不存在匹配的已有标记结果时，则在当前图像上，按各预测的区域位置坐标，标注目标对象中的目标区域。

相当于，当存在匹配的已有标记结果时，则复用已有标记结果中已有的区域位置坐标，在当前图像上进行区域标注，提高标注准确性和效率。

在一个实施例中，该方法还包括：当接收到区域标注触发指令时，则在界面上展示区域选择界面；获取从区域选择界面中选择的目标区域的区域标识；目标区域属于目标对象。本实施例中，获取针对目标对象的目标区域预测的区域位置坐标包括：获取针对目标对象预测的、且与区域标识对应的区域位置坐标。

其中，区域标注触发指令，用于触发在当前图像上标注目标区域的处理。区域选择界面，是供用户选择所需要标注的区域的界面。区域选择界面中包括可供选择的区域标识集合。目标区域属于目标对象，是指目标区域是目标对象中的区域。

在一个实施例中，区域标识集合中包括手部、四肢和头部等中的至少一种区域标识的集合。在一个实施例中，区域标识集合中包括左手、右手、左下肢、右下肢和头部等区域标识中的至少一种。

具体地，用户可以在界面进行区域标注触发的操作，以输入区域标注触发指令，进而在界面上生成区域选择界面。用户可以从区域选择界面中包括的区域标识集合中，选择需要标注的目标区域的区域标识。计算机设备可以自动检测当前图像中目标对象的目前区域，以预测出该目标区域的区域位置坐标，并按照该区域位置坐标，在当前图像的目标对象中标注出目标区域。

图21为一个实施例中目标区域标注的示意图。参照图21的(a)图中，即为目标区域标注前的当前图像。用户可以选择需要标记的患者身体区域，例如头部区域和手部区域(算法可以提供5个患者身体区域的检测，如，左手，右手，左下肢，右下肢，头部)，点击确认，软件自动调用目标检测模型检测图像中的患者目标区域，并使用矩形框标注显示，得到图21的(b)图。

在一个实施例中，计算机设备可以对当前图像进行卷积处理，得到当前图像的特征图；确定特征图中各候选对象所占据的候选区域；对各候选区域分别进行分类处理和线性回归处理，以识别属于目标对象的候选区域、以及确定所识别出的候选区域所对应的区域位置坐标。

在一个实施例中，目标区域的区域位置坐标可以包括目标区域的中心点和目标区域的矩形长宽值。

可以理解，对当前图像进行卷积处理，以提取当前图像的特征，得到特征图。计算机设备可以采用预先训练的残差网络等单一的深度卷积神经网络提取特征图，也可以采用组合式的深度卷积神经网络提取特征图。

所卷积得到的特征图中可以包括多个候选对象。计算机设备可以确定特征图中各候选对象所占据的候选区域，并对各候选区域分别进行分类处理和线性回归处理，以识别属于目标类别的候选区域和其所对应的区域位置坐标，即得到目标区域的预测的区域位置坐标。

上述实施例中，通过卷积处理、分类处理和线性回归的处理，能够准确地从当前图像中检测出目标区域。

图22为一个实施例中检测目标区域的原理示意图。参照图22，通过底层的特征基础层(convolutional backbone),使用卷积神经网络算法提取图像特征，得到特征图(feature maps)。中间层为RPN(region proposal network，区域生成网络)+RoIAlign(Region of interesting alignment，即目标区域对齐算法)算法，从卷积输出的特征图中确定候选区域。最上面是头部层(head),该层是目标区域位置回归与物体分类层，接收中间层输出的固定大小的特征图(即fixed size feature map。可以理解，从卷积输出的特征图中确定的候选区域在性质上也属于特征图，即为中间层输出的特征图)，使用分类算法识别出属于目标类别的目标区域，并使用线性回归算法，通过边框(box)回归目标区域的位置坐标，最终完成目标检测任务。

在一个实施例中，计算机设备可以通过FPN(Feature Pyramid Networks，特征金字塔网络)算法，结合ResNet网络(残差网络)模型得到ReseNet-FPN,通过ReseNet-FPN组合网络模型，提取当前图像的特征图，从而提高特征图的准确性。

在一个实施例中，各候选区域的边界长度为浮点数值；对各候选区域分别进行分类处理和线性回归处理包括：将每个候选区域均匀分割，得到单元格；各单元格的边界长度为浮点数值；在每个单元格中选取采样点，并确定各采样点的浮点特征值；池化同一单元格内的采样点的浮点特征值，得到各单元格的浮点特征值；将同一候选区域中单元格的浮点特征值进行线性回归，得到候选区域的位置坐标。

可以理解，传统方法中在对候选区域进行处理时，都会对候选区域的边界长度取整数，然后对取整数后的候选区域进行平均分割后再进行整数化。然而，边界长度通常情况下是浮点数值，所以，传统方法强行进行多次整数量化，会导致候选区域出现明显地偏差，从而影响到目标对象的识别和目标区域检测的准确性。

因此，计算机设备可以在特征图中确定候选区域时，可以保留候选区域的边界长度的浮点数值，并且在将每个候选区域均匀分割，得到单元格时，保留各单元格的边界长度为浮点数值。

进一步地，计算机设备可以在每个单元格中选取采样点，并确定各采样点的浮点特征值。其中，浮点特征值，是为浮点数值的特征值。计算机设备可以将同一单元格内的采样点的浮点特征值进行平均池化或最大池化处理，以得到各单元格的浮点特征值。计算机设备可以将同一候选区域中单元格的浮点特征值进行线性回归，得到候选区域的位置坐标。可以理解，通过分类算法识别出的属于目标类别的候选区域，即为目标区域，其所对应的位置坐标，即为目标区域的位置坐标。

可以理解，由于是使用候选区域内的浮点特征值进行线性回归，所以，线性回归得到的候选区域的位置坐标，相较于传统整数量化的方法减少了偏差，进而，提高了目标区域的位置坐标的准确性。

在一个实施例中，在每个单元格中选取采样点，并确定各采样点的浮点特征值包括：针对每个单元格，将该单元格均分为多个子方格，选取每个子方格的中心点为采样点；针对每个采样点采用双线性插值的方法，得到该采样点的特征值；每个采样点的特征值为浮点特征值。

在一个实施例中，该方法还包括：获取已有标记结果的文件名称；当文件名称与当前图像的名称不相符时，执行在当前图像上，按针对目标对象预测的关节位置坐标，标注目标对象的各预测关节点；当存在与当前图像的名称相符的文件名称时，则在当前图像上，按照相符的文件名称对应的已有标记结果中已有的关节位置坐标，标注目标对象的各关节点。

可以理解，当对图像进行姿态标注完毕后，计算机设备可以保存标记结果。保存的标记结果的文件名称和其所对应的图像名称相同。比如，对名称叫“劳动模范Lucy”的图像进行标注后，保存其所对应的标记结果，该标记结果的文件名称也命名为“劳动模范Lucy”。

计算机设备在加载当前图像时，可以获取已有标记结果的文件名称，并将已有标记结果的文件名称与当前图像的名称进行比对，当已有标记结果的文件名称与当前图像的名称不相符时，说明未曾标注过该当前图像，则可以执行步骤S210，以对该当前图像进行预测标注。当存在与当前图像的名称相符的已有标记结果的文件名称时，说明很大程度上之前已经标注过该当前图像，则可以获取文件名称相符的已有标记结果中已有的关节位置坐标，并按照已有的关节位置坐标，在当前图像上，标注目标对象的各关节点。从而避免重复标记导致的成本和资源的浪费。

可以理解，当已有标记结果中包括已有的区域位置坐标时，则也可以按照文件名称相符的已有标记结果中已有的区域位置坐标，在当前图像上，标注目标区域。

在一个实施例中，该方法还包括：当接收到标注模板加载指令时，则从获取预先设置的标注模板，并在当前图像上，按照标注模板中的默认关节位置坐标，标注目标对象的关节点。

其中，标注模板加载指令，是将标注模板进行加载的指令。标注模板，是预先设置的标注出默认关节点的模板。标注模板中包括默认关节位置坐标。标注模板中还可以包括默认区域位置坐标。

具体地，用户可以直接选择标注模板，以触发生成标注模板加载指令。进而，计算机设备可以获取标注模板中包括的默认关节位置坐标，在当前图像上，标注与默认关节位置坐标对应的关节点，得到目标对象的关节点。

在一个实施例中，计算机设备还可以查找与目标区域的区域标识对应的默认区域位置坐标，并按照默认区域位置坐标，在当前图像上标注目标区域。

进一步地，用户还可以对按照标注模板标注的关节点和/或区域进行调整，得到调整后的标记结果。从而通过标注模板和人工微调的结合，提高了标记效率。

图23为一个实施例中对象姿态标注方法的流程简示图。打开软件，导入视频，从视频的图像序列中选择当前图像，对选择的当前图像进行算法识别，以进行智能预标，得到当前预测结果。将智能预标的当前预测结果和保存的已有标记结果通过智能匹配算法，进行智能复用判断处理。当存在能够复用的已有标记结果，则复用该已有标记结果在当前图像上进行标注，进而进行人工微调，并存在调整后的标记结果。当不存在能够复用的已有标记结果，则直接在当前图像上标注出智能预标出来的当前预测结果。针对错标和漏标的情况(可以通过关节连线来检查错标和漏标的情况)，通过人工校验和手动标记(调整或补充标注)的方式来进行调整，将调整后的标注结果进行自动保存。

如图24所示，在一个实施例中，提供了一种对象姿态标注装置2400。该装置2400包括：展示模块2402、加载模块2404以及标注模块2406，其中：

展示模块2402，用于展示用于进行姿态标注的界面。

加载模块2404，用于在所述界面中加载显示待标注的当前图像；所述当前图像中包括目标对象。

标注模块2406，用于标注模块，用于对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图；从每个关节点的位置置信图中，分别选取置信度最大的位置坐标，得到预测的关节位置坐标；按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点。

在一个实施例中，标注模块2406还用于提取所述当前图像的特征，得到特征图；对所述特征图进行多阶段卷积处理，并基于卷积处理的结果对所述目标对象进行关节点预测，输出各关节点的位置置信图。

在一个实施例中，所述当前图像中包括多个目标对象；所述关节点的位置置信图在第一卷积分支中输出得到；标注模块2406还用于在第二卷积分支中，对所述特征图进行卷积处理，基于卷积结果进行关节点连线预测，输出关节连线置信图；所述关节连线置信图，用于表示所预测的同一目标对象的关节之间的连接关系；根据所述关节连线置信图，在所述当前图像上，将同一目标对象的预测关节点之间进行连接。

在一个实施例中，所述当前图像为视频图像；加载模块2404还用于在所述界面中导入视频文件；所述视频文件中包括连续的视频图像序列；获取从所述视频图像序列中选择的待标注的视频图像；在所述界面中加载所述待标注的视频图像。

在一个实施例中，展示模块2402还用于在所述界面中，展示用于触发关节连线的连线入口；当检测到对所述连线入口的触发操作时，则获取预设的关节点连接关系；按所述关节点连接关系，将标注的各所述预测关节点之间进行连接。

在一个实施例中，标注模块2406还用于当接收到关节调整指令时，从标注的预测关节点中确定所述关节调整指令所针对的目标预测关节点；将所述目标预测关节点，调整至所述关节调整指令在所述当前图像中所指定的位置；和/或，当接收到自定义标注指令时，在所述界面中展示自定义标注界面；获取在所述自定义标注界面上中输入的关节点信息，并于所述自定义标注指令在所述当前图像中指定的位置处，标注与所述关节点信息对应的关节点。

在一个实施例中，标注模块2406还用于获取对目标对象预测的关节位置坐标的第一集合，得到当前预测结果；获取已有标记结果；所述已有标记结果中包括针对历史图像上的预测关节点进行调整后，所保存的已有的关节位置坐标的第二集合；当不存在与当前预测结果匹配的已有标记结果时，执行所述按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点；当存在匹配的已有标记结果时，则在所述当前图像上，按照匹配的已有标记结果中各已有的关节位置坐标，标注所述目标对象的关节点；其中，是否存在与所述当前预测结果匹配的已有标记结果，根据所述第一集合和第二集合中对应于同一关节点标识的关节位置坐标之间的关节距离判断。

在一个实施例中，所述已有标记结果为多个；标注模块2406还用于针对每个已有标记结果中包括的第二集合，按照所述第一集合中各预测的关节位置坐标所对应的关节点标识，查找所述第二集合中与所述关节点标识对应的已有的关节位置坐标；确定对应于同一关节点标识的预测的关节位置坐标和查找的所述已有的关节位置坐标之间的关节距离；根据各关节距离，确定所述已有标记结果与所述当前预测结果之间的第一距离；根据各所述已有标记结果所对应的第一距离，判断是否存在与所述当前预测结果匹配的已有标记结果。

在一个实施例中，所述已有标记结果中还包括已有的区域位置坐标的第四集合；所述已有的区域位置坐标，是针对历史图像上预测出的区域进行位置调整后，所保存的区域位置坐标；标注模块2406还用于获取针对所述目标对象的目标区域预测的区域位置坐标，得到第三集合；其中，所述区域位置坐标，是基于所述当前图像的特征图卷积处理的结果，进行区域预测处理得到；所述第三集合包括于所述当前预测结果；针对每个已有标记结果中的第四集合，确定所述第三集合和第四集合中对应于同一区域标识的区域位置坐标之间的区域距离；根据各所述区域距离，确定所述已有标记结果与所述当前预测结果之间的第二距离；根据各已有标记结果所对应的所述第一距离和所述第二距离，判断是否存在与所述当前预测结果匹配的已有标记结果。

在一个实施例中，标注模块2406还用于当判定存在匹配的已有标记结果时，则在所述当前图像上，按照匹配的已有标记结果中各已有的区域位置坐标，标注所述目标对象中的所述目标区域；当不存在匹配的已有标记结果时，则在所述当前图像上，按所述各预测的区域位置坐标，标注所述目标对象中的所述目标区域。

在一个实施例中，展示模块2402还用于当接收到区域标注触发指令时，则在所述界面上展示区域选择界面；获取从所述区域选择界面中选择的目标区域的区域标识；所述目标区域属于目标对象；获取针对所述目标对象预测的、且与所述区域标识对应的区域位置坐标。

在一个实施例中，标注模块2406还用于获取已有标记结果的文件名称；当所述文件名称与所述当前图像的名称不相符时，执行所述按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点；当存在与所述当前图像的名称相符的所述文件名称时，则在所述当前图像上，按照相符的所述文件名称对应的已有标记结果中已有的关节位置坐标，标注所述目标对象的各关节点；或，当接收到标注模板加载指令时，则从获取预先设置的标注模板，并在所述当前图像上，按照所述标注模板中的默认关节位置坐标，标注所述目标对象的关节点。

图25为一个实施例中计算机设备的框图。参照图25，该计算机设备可以图1中的终端110。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时，可使得处理器执行一种对象姿态标注方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该内存储器中可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种对象姿态标注方法。计算机设备的网络接口用于进行网络通信。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏等。计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该计算机设备可以是个人计算机、智能音箱、移动终端或车载设备，移动终端包括手机、平板电脑、个人数字助理或可穿戴设备等中的至少一种。

本领域技术人员可以理解，图25中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的对象姿态标注装置或数据发送装置可以实现为一种计算机程序的形式，计算机程序可在如图25所示的计算机设备上运行，计算机设备的非易失性存储介质可存储组成该对象姿态标注装置或数据发送装置的各个程序模块。比如，图24所示的展示模块2402、加载模块2404以及标注模块2406。各个程序模块所组成的计算机程序用于使该计算机设备执行本说明书中描述的本申请各个实施例的对象姿态标注方法中的步骤。比如，计算机设备可以通过如图24所示的对象姿态标注装置2400中的展示模块2402展示用于进行姿态标注的界面。计算机设备可以通过加载模块2404在所述界面中加载显示待标注的当前图像；所述当前图像中包括目标对象。计算机设备可以通过标注模块2406对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图；从每个关节点的位置置信图中，分别选取置信度最大的位置坐标，得到预测的关节位置坐标；按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述对象姿态标注方法的步骤。此处对象姿态标注方法的步骤可以是上述各个实施例的对象姿态标注方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述对象姿态标注方法的步骤。此处对象姿态标注方法的步骤可以是上述各个实施例的对象姿态标注方法中的步骤。

需要说明的是，本申请各实施例中的“第一”和“第二”等仅用作区分，而并不用于大小、先后、从属等方面的限定。

应该理解的是，虽然本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种对象姿态标注方法，所述方法包括：

展示用于进行姿态标注的界面；

在所述界面中加载显示待标注的当前图像；所述当前图像中包括目标对象；

对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图；

从每个关节点的位置置信图中，分别选取置信度最大的位置坐标，得到预测的关节位置坐标；

按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点。

2.根据权利要求1所述的方法，其特征在于，所述对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图包括：

提取所述当前图像的特征，得到特征图；

对所述特征图进行多阶段卷积处理，并基于卷积处理的结果对所述目标对象进行关节点预测，输出各关节点的位置置信图。

3.根据权利要求2所述的方法，其特征在于，所述当前图像中包括多个目标对象；所述关节点的位置置信图在第一卷积分支中输出得到；

所述方法还包括：

在第二卷积分支中，对所述特征图进行卷积处理，基于卷积结果进行关节点连线预测，输出关节连线置信图；所述关节连线置信图，用于表示所预测的同一目标对象的关节之间的连接关系；

根据所述关节连线置信图，在所述当前图像上，将同一目标对象的预测关节点之间进行连接。

4.根据权利要求1所述的方法，其特征在于，所述当前图像为视频图像；所述在所述界面中加载显示待标注的当前图像包括：

在所述界面中导入视频文件；所述视频文件中包括连续的视频图像序列；

获取从所述视频图像序列中选择的待标注的视频图像；

在所述界面中加载所述待标注的视频图像。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述界面中，展示用于触发关节连线的连线入口；

当检测到对所述连线入口的触发操作时，则获取预设的关节点连接关系；

按所述关节点连接关系，将标注的各所述预测关节点之间进行连接。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当接收到关节调整指令时，从标注的预测关节点中确定所述关节调整指令所针对的目标预测关节点；将所述目标预测关节点，调整至所述关节调整指令在所述当前图像中所指定的位置；和/或，

当接收到自定义标注指令时，在所述界面中展示自定义标注界面；获取在所述自定义标注界面上中输入的关节点信息，并于所述自定义标注指令在所述当前图像中指定的位置处，标注与所述关节点信息对应的关节点。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取对目标对象预测的关节位置坐标的第一集合，得到当前预测结果；

获取已有标记结果；所述已有标记结果中包括针对历史图像上的预测关节点进行调整后，所保存的已有的关节位置坐标的第二集合；

当不存在与当前预测结果匹配的已有标记结果时，执行所述按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点；

当存在匹配的已有标记结果时，则在所述当前图像上，按照匹配的已有标记结果中各已有的关节位置坐标，标注所述目标对象的关节点；

其中，是否存在与所述当前预测结果匹配的已有标记结果，根据所述第一集合和第二集合中对应于同一关节点标识的关节位置坐标之间的关节距离判断。

8.根据权利要求7所述的方法，其特征在于，所述已有标记结果为多个；所述方法还包括：

针对每个已有标记结果中包括的第二集合，按照所述第一集合中各预测的关节位置坐标所对应的关节点标识，查找所述第二集合中与所述关节点标识对应的已有的关节位置坐标；确定对应于同一关节点标识的预测的关节位置坐标和查找的所述已有的关节位置坐标之间的关节距离；根据各关节距离，确定所述已有标记结果与所述当前预测结果之间的第一距离；

根据各所述已有标记结果所对应的第一距离，判断是否存在与所述当前预测结果匹配的已有标记结果。

9.根据权利要求8所述的方法，其特征在于，所述已有标记结果中还包括已有的区域位置坐标的第四集合；所述已有的区域位置坐标，是针对历史图像上预测出的区域进行位置调整后，所保存的区域位置坐标；所述方法还包括：

获取针对所述目标对象的目标区域预测的区域位置坐标，得到第三集合；其中，所述区域位置坐标，是基于所述当前图像的特征图卷积处理的结果，进行区域预测处理得到；所述第三集合包括于所述当前预测结果；

针对每个已有标记结果中的第四集合，确定所述第三集合和第四集合中对应于同一区域标识的区域位置坐标之间的区域距离；根据各所述区域距离，确定所述已有标记结果与所述当前预测结果之间的第二距离；

所述根据各所述已有标记结果所对应的第一距离，判断是否存在与所述当前预测结果匹配的已有标记结果包括：

根据各已有标记结果所对应的所述第一距离和所述第二距离，判断是否存在与所述当前预测结果匹配的已有标记结果。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

当判定存在匹配的已有标记结果时，则在所述当前图像上，按照匹配的已有标记结果中各已有的区域位置坐标，标注所述目标对象中的所述目标区域；

当不存在匹配的已有标记结果时，则在所述当前图像上，按所述各预测的区域位置坐标，标注所述目标对象中的所述目标区域。

11.根据权利要求9所述的方法，其特征在于，所述方法还包括：

当接收到区域标注触发指令时，则在所述界面上展示区域选择界面；

获取从所述区域选择界面中选择的目标区域的区域标识；所述目标区域属于目标对象；

所述获取针对所述目标对象的目标区域预测的区域位置坐标包括：

获取针对所述目标对象预测的、且与所述区域标识对应的区域位置坐标。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取已有标记结果的文件名称；当所述文件名称与所述当前图像的名称不相符时，执行所述按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点；当存在与所述当前图像的名称相符的所述文件名称时，则在所述当前图像上，按照相符的所述文件名称对应的已有标记结果中已有的关节位置坐标，标注所述目标对象的各关节点；或，

当接收到标注模板加载指令时，则从获取预先设置的标注模板，并在所述当前图像上，按照所述标注模板中的默认关节位置坐标，标注所述目标对象的关节点。

13.一种对象姿态标注装置，其特征在于，所述装置包括：

展示模块，用于展示用于进行姿态标注的界面；

加载模块，用于在所述界面中加载显示待标注的当前图像；所述当前图像中包括目标对象；

标注模块，用于对所述当前图像进行卷积处理，并基于卷积处理的结果预测所述目标对象的关节点，得到各关节点的位置置信图；从每个关节点的位置置信图中，分别选取置信度最大的位置坐标，得到预测的关节位置坐标；按照各预测的关节位置坐标，在所述当前图像上标注所述目标对象的各预测关节点。

14.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至12中任一项所述方法的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至12中任一项所述方法的步骤。

Images