CN113658211A - 一种用户姿态的评估方法、装置以及处理设备 - Google Patents

Abstract

本申请提供一种用户姿态的评估方法、装置以及处理设备，用于在保障高精度用户姿态评估效果的前提下，还可显著降低应用成本，从而有助于推广应用。本申请提供的用户姿态的评估方法，包括：处理设备获取待评估用户姿态的目标图像，目标图像是从拍摄目标用户得到的，目标图像为深度摄像头拍摄得到的深度图像；处理设备将目标图像输入评估模型，进行用户姿态评估处理，评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练训练得到的；处理设备提取评估模型输出的用户姿态评估结果。

Description

一种用户姿态的评估方法、装置以及处理设备

技术领域

本申请涉及图像处理领域，具体涉及一种用户姿态的评估方法、装置以及处理设备。

背景技术

运动辅助评估技术可为智能化的视觉处理提供一大助力，运动辅助评估技术在对用户当前姿态进行评估后，或者说动作捕捉后，可确定是否为用户甚至可确定用户的具体手势、具体姿态等详情数据，从而可应用于辅助医疗、虚拟现实(Artificial Reality，AR)、体感游戏等涉及到不同的应用场景。

如今的运动辅助评估技术，主要分为两类：第一类，穿戴式传感器检测。这种方式的本质是利用各种运动传感器，实时的获取人体运动时产生的运动参数，建立用户的人体运动模型，并且根据这些参数和运动模型，推测出当前用户的运动状态。第二类：多摄像头视频识别检测。这种方式是通过多个摄像头，从各个角度实时的拍摄用户，获取一段用户的图像、视频等原始数据，再从中筛选提取可应用于人体动作识别的人体动作信息，利用人工智能(Artificial Intelligence，AI)技术进行分析，建立运动模型，最终识别出原始数据中动作类型。

而在研究过程中，发明人发现，对于上述的第一种评估方式，用户必须穿戴各类专用的检测设备，整个检测过程十分麻烦，局限性较高；而对于上述的第二种评估方式，其技术难度较高，环境部署也比较麻烦。因此可看出，现有的动作辅助评估方案，存在应用成本较高的问题。

发明内容

本申请提供一种用户姿态的评估方法、装置以及处理设备，用于在保障高精度用户姿态评估效果的前提下，还可显著降低应用成本，从而有助于推广应用。

第一方面，本申请提供了一种用户姿态的评估方法，方法包括：

处理设备获取待评估用户姿态的目标图像，目标图像是从拍摄目标用户得到的，目标图像为深度摄像头拍摄得到的深度图像；

处理设备将目标图像输入评估模型，进行用户姿态评估处理，评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的；

处理设备提取评估模型输出的用户姿态评估结果。

结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，用户姿态评估处理中的坐标处理包括：采用旋转包围盒算法对组成目标图像的输入点云的三维坐标进行主成分分析；在旋转包围盒算法涉及的三个轴方向与输入点云的相关矩阵的三个特征向量平行，且紧密包围输入点云的基础上，将输入点云从相机坐标系变换到旋转包围盒坐标系；对变换后的点云进行平移和尺度归一化。

结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，评估模型由空间分级感知器网络层、最大池化层和全连接层构成，提取各空间尺度下的点云特征；评估模型将标识为活动范围大的关节点及其邻域信息输入到点云神经网络中进行再回归，以提升局部估计性能；评估模型对若干点云神经网络进行堆叠，堆叠后的输出候选结果与单一点云神经网络输出候选结果互为补充；评估模型引入用户姿态先验模块辅助评，降低遮挡对关节点位置评估准确性造成的影响。

结合本申请第一方面，在本申请第一方面第三种可能的实现方式中，用户姿态评估处理具体包括：在识别出的各关节点的三维坐标之间的角度特征以及距离特征的基础上，结合各关节点的时间运动轨迹、空间运动轨迹以及变化特征，进行姿态评估。

结合本申请第一方面，在本申请第一方面第四种可能的实现方式中，处理设备获取待评估用户姿态的目标图像之前，方法还包括：

处理设备获取作为训练集的标注有对应用户姿态评估结果的不同深度图像，不同深度图像根据对应用户姿态评估结果标注有静态位姿的关键帧、动作姿态的起始帧以及终止帧、关键关节点的位置；

处理设备将标注有对应用户姿态评估结果的不同图像输入初始神经网络模型，进行正向传播，并根据输出的用户姿态评估结果进行模型参数优化，进行反向传播，当达到训练要求时完成训练，得到评估模型。

结合本申请第一方面，在本申请第一方面第五种可能的实现方式中，处理设备获取待评估用户姿态的目标图像，包括：

处理设备接收由深度摄像头上传的目标图像，目标图像为深度摄像头在目标用户的触发下拍摄得到的，深度摄像头为系统上预先记录的、与目标用户具有一对一配对关系的摄像头。

结合本申请第一方面第五种可能的实现方式，在本申请第一方面第六种可能的实现方式中，深度摄像头的数量为一个。

第二方面，本申请提供了一种用户姿态的评估装置，装置包括：

获取单元，用于获取待评估用户姿态的目标图像，目标图像是从拍摄目标用户得到的，目标图像为深度摄像头拍摄得到的深度图像；

评估单元，用于将目标图像输入评估模型，进行用户姿态评估处理，评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的；

提取单元，用于提取评估模型输出的用户姿态评估结果。

结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，用户姿态评估处理中的坐标处理包括：采用旋转包围盒算法对组成目标图像的输入点云的三维坐标进行主成分分析；在旋转包围盒算法涉及的三个轴方向与输入点云的相关矩阵的三个特征向量平行，且紧密包围输入点云的基础上，将输入点云从相机坐标系变换到旋转包围盒坐标系；对变换后的点云进行平移和尺度归一化。

结合本申请第二方面，在本申请第二方面第二种可能的实现方式中，评估模型由空间分级感知器网络层、最大池化层和全连接层构成，提取各空间尺度下的点云特征；评估模型将标识为活动范围大的关节点及其邻域信息输入到点云神经网络中进行再回归，以提升局部估计性能；评估模型对若干点云神经网络进行堆叠，堆叠后的输出候选结果与单一点云神经网络输出候选结果互为补充；评估模型引入用户姿态先验模块辅助评，降低遮挡对关节点位置评估准确性造成的影响。

结合本申请第二方面，在本申请第二方面第三种可能的实现方式中，用户姿态评估处理具体包括：在识别出的各关节点的三维坐标之间的角度特征以及距离特征的基础上，结合各关节点的时间运动轨迹、空间运动轨迹以及变化特征，进行姿态评估。

结合本申请第二方面，在本申请第二方面第四种可能的实现方式中，装置还包括训练单元，用于：

获取作为训练集的标注有对应用户姿态评估结果的不同深度图像，不同深度图像根据对应用户姿态评估结果标注有静态位姿的关键帧、动作姿态的起始帧以及终止帧、关键关节点的位置；

将标注有对应用户姿态评估结果的不同图像输入初始神经网络模型，进行正向传播，并根据输出的用户姿态评估结果进行模型参数优化，进行反向传播，当达到训练要求时完成训练，得到评估模型。

结合本申请第二方面，在本申请第二方面第五种可能的实现方式中，获取单元，具体用于：

接收由深度摄像头上传的目标图像，目标图像为深度摄像头在目标用户的触发下拍摄得到的，深度摄像头为系统上预先记录的、与目标用户具有一对一配对关系的摄像头。

结合本申请第二方面第五种可能的实现方式，在本申请第二方面第六种可能的实现方式中，深度摄像头的数量为一个。

第三方面，本申请提供了一种处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

从以上内容可得出，本申请具有以下的有益效果：

对于用户姿态的评估，本申请在通过神经网络模型实现图像处理的基础上，通过引入深度图像，当获取到待评估用户姿态的目标图像后，将该目标图像输入评估模型，评估模型可结合深度信息对目标图像包含的用户姿态进行识别以及评估，得到目标图像的用户姿态评估结果，在这过程中，由于结合了二维图像信息以及深度信息，因此可从三维空间中更好的还原目标图像中的用户姿态，从而在保障高精度用户姿态评估效果的前提下，考虑到无需应用到穿戴式传感器或者固定的多摄像头环境，因此还可显著降低应用成本，有助于推广应用。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请用户姿态的评估方法的一种流程示意图；

图2为本申请用户姿态的评估方法的一种场景示意图；

图3为本申请用户姿态的评估方法的又一种场景示意图；

图4为本申请用户姿态的评估方法的又一种场景示意图；

图5为本申请用户姿态的评估装置的一种结构示意图；

图6为本申请处理设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。

本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

在介绍本申请提供的用户姿态的评估方法之前，首先介绍本申请所涉及的背景内容。

本申请提供的用户姿态的评估方法、装置以及计算机可读存储介质，可应用于处理设备，在保障高精度用户姿态评估效果的前提下，还可显著降低应用成本，从而有助于推广应用。

以康复训练结果评估场景为例，对于在进行康复训练的人员而言，其在肢体活动上往往存在不便的情况，而采用本申请提出的用户姿态的评估方式后，则可通过拍摄的深度图像，从图像处理层面来评估康复训练结果中的用户姿态。

本申请提及的用户姿态的评估方法，其执行主体可以为用户姿态的评估装置，或者集成了该用户姿态的评估装置的服务器、物理主机或者用户设备(User Equipment，UE)等类型的处理设备。其中，用户姿态的评估装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal DigitalAssistant，PDA)等终端设备，处理设备可以通过设备集群的方式设置。

下面，开始介绍本申请提供的用户姿态的评估方法。

首先，参阅图1，图1示出了本申请用户姿态的评估方法的一种流程示意图，本申请提供的用户姿态的评估方法，具体可包括如下步骤：

步骤S101，处理设备获取待评估用户姿态的目标图像，目标图像是从拍摄目标用户得到的，目标图像为深度摄像头拍摄得到的深度图像；

步骤S102，处理设备将目标图像输入评估模型，进行用户姿态评估处理，评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的；

步骤S103，处理设备提取评估模型输出的用户姿态评估结果。

从图1所示实施例可看出，对于用户姿态的评估，本申请在通过神经网络模型实现图像处理的基础上，通过引入深度图像，当获取到待评估用户姿态的目标图像后，将该目标图像输入评估模型，评估模型可结合深度信息对目标图像包含的用户姿态进行识别以及评估，得到目标图像的用户姿态评估结果，在这过程中，由于结合了二维图像信息以及深度信息，因此可从三维空间中更好的还原目标图像中的用户姿态，从而在保障高精度用户姿态评估效果的前提下，考虑到无需应用到穿戴式传感器或者固定的多摄像头环境，因此还可显著降低应用成本，有助于推广应用。

下面继续对上述图1所示实施例的各个步骤及其在实际应用中可能的实现方式进行详细阐述。

在本申请中，可以理解的是，作为待评估用户姿态的目标图像，其可以是实时获取的图像，即实时通过深度摄像头拍摄用户得到的图像，也可以为调取之前在历史时间段由深度摄像头完成拍摄的图像。

在目标图像的拍摄过程中，用户可在深度摄像头的视野下，保持固定姿态，即为静止姿势，也可动态的作出不同的姿态，容易理解，这些姿态，是随实际需要而定的，具体根据运动辅助评估技术的应用场景调整，用户可根据应用场景中规范的姿态范围或者根据在应用场景中所允许的姿态范围作出相应姿态。

在本申请中，评估模型为神经网络模型，其是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的，从而可结合输入图像汇中包含的二维图像信息以及深度信息，进行高精度的用户姿态的评估。

神经网络模型，具体可以为YOLOv3模型、ResNet模型、R-CNN模型、Fast R-CNN模型、Faster R-CNN模型、Mask R-CNN模型、SSD模型等不同类型的模型。

在投入实际评估应用前，模型的训练过程可包括：将标注有对应用户姿态评估结果的不同图像输入初始神经网络模型，进行正向传播，并根据输出的用户姿态评估结果进行模型参数优化，进行反向传播，当达到训练次数、训练时长、识别精度等预设的训练要求时完成训练，得到评估模型。

评估模型，本申请针对其评估效果，还作出了具体的优化设置，具体可见下文。

目标图像作为深度图像，其包括大量的点云，对于这些点云，评估模型在用户姿态评估处理中，可涉及到坐标处理。

本申请提出了一种适于实用的坐标处理方案：采用旋转包围盒算法对组成目标图像的输入点云的三维坐标进行主成分分析；在旋转包围盒算法涉及的三个轴方向与输入点云的相关矩阵的三个特征向量平行，且紧密包围输入点云的基础上，将输入点云从相机坐标系变换到旋转包围盒坐标系；对变换后的点云进行平移和尺度归一化；

而对于评估模型本身的架构，本申请还可设置一系列配置，以保障高精度的评估效果。

评估模型可由空间分级感知器网络层、最大池化层和全连接层构成，提取各空间尺度下的点云特征；

评估模型将标识为活动范围大的关节点(如指尖和趾尖，估计误差往往较大)及其邻域信息输入到点云神经网络中进行再回归，以降低误差、提升局部估计性能；

评估模型对若干点云神经网络进行堆叠，堆叠后的输出候选结果与单一点云神经网络输出候选结果互为补充；

评估模型引入用户姿态先验模块辅助评，降低遮挡对关节点位置评估准确性造成的影响。在用户姿态先验模块的应用中，采用人体模型拟合得到人体完整曲面和人体可视化曲面的模拟点表示，利用主视图上的三维点云坐标作为输入，以可视化曲面的模拟点云坐标作为输出，训练三维点云神经网络，再以实际三维点云坐标数据作为测试输入，估计出人体完整的三维点云坐标数据，提升关节点位置估计的准确性。

通过上述对模型作出的一个或者多个设置，评估模型在定位方面，可准确估计出关键关节点三维空间坐标位置，较好地对抗人体姿态全局旋转和尺度变化带来的影响，从而达到更好的评估效果。

而在评估模型的数据处理层面中，其用户姿态评估处理具体可包括：在识别出的各关节点的三维坐标之间的角度特征以及距离特征的基础上，结合各关节点的时间运动轨迹、空间运动轨迹以及变化特征，进行姿态评估。

对于此处的角度特征，三维空间线段组成的角度特征具有旋转性和尺度不变性，能较好地反映出人体姿态中两骨骼线段间的细节特征，因此本申请认为在姿势检测中起着重要的作用，通过获取关节点的三维坐标位置信息，任意两个关节点能够组成一个向量，计算出两个向量的夹角；从所有夹角中选取能够反映姿势特征的夹角，再去除冗余部分，得到代表性夹角作为姿势角度特征。

对于此处的距离特征，本申请认为在不同姿势中，头部和四肢关节点所在的空间位置差异较明显，可将这些关节点与人体左、右髋部的两个关节点和脊柱关节点组合，获得关节点对的相对距离特征，用以表征不同姿态。例如举手深蹲姿势可同时评估上下肢、躯干的灵活性和稳定性，为准确表示该姿态，需要综合肩关节角度、髋关节角度、膝关节角度、踝关节角度、膝关节与脚部竖轴距离等特征，具体可参考图2示出的本申请的用户姿态的评估方法的一种场景示意图。

在描述动作特征时，将融合关节角度、关节距离两类基本特征及其时间、空间运动轨迹和变化特征，综合进行表示。以举手深蹲动作部分关节的角度变化为例，其曲线可参考图3示出的本申请的用户姿态的评估方法的又一种场景示意图。

在模型训练方面，还可对训练用的深度图像进行相关的预处理，提高模型的训练效果，进而提高模型的评估精度。

首先，需要增加训练用的深度图像的普适性，即，提高数据上的多样性，具体可提高不同场景下不同用户姿态的数量。

继续以康复训练评估场景为例，首先，样本量要符合临床随机对照试验要求；第二，尽可能选取各种不同身高和体型的患者和正常人；第三，在同一视角方向上设置多个摄像头，以减小视角偏差对采集数据的影响；第四，同一个位姿或动作在不同摄像头距离下实现多次。此外，采集过程要求光照充分、背景简单，以方便后续数据处理。

其次，对于训练用的深度图像其用户姿态评估结果的标注，在具体标注过程中，具体可标注有静态位姿的关键帧、动作姿态的起始帧以及终止帧、关键关节点的位置。

仍然以康复训练评估场景为例，由于不同医生的临床经验不同，对于静态位姿所在的关键帧、动作姿态的起始帧和终止帧，以及同一帧中关键关节点的标注位置都存在差异，为减少主观因素对于最终标注结果的影响，首先，采用多人标注同一位姿关键帧、动作姿态起始和终止帧，以及关键关节点位置；第二，设置相应的门限，删除偏差过大的标注；第三，对符合要求的标注结果取平均值作为最终的标注结果。同时，将彩色图中的二维关节点标注结果映射到三维点云坐标上，得到关键关节点的三维空间坐标位置，方便后续静态位姿和动作姿态估计。

针对静态位姿关键帧和动作姿态的起始帧、终止帧的提取问题，本申请具体可采用基于监督学习的视频语义片段抽取算法。首先，对视频进行编码，获得视频的简化表示。接着，采用边界敏感网络，该网络分为时域评估模块和候选帧评估模块。前者用于提取候选帧，后者用于评估候选帧的置信度，确定静态位姿关键帧和动作姿态的起始帧和终止帧。

而针对动作姿态关节点位置抖动问题，首先，采用动态时间规整方法，对标准动作关键关节点空间运动轨迹序列与测试动作关键关节点空间运动轨迹序列进行匹配，以有效降低不同人员的体型、动作幅度、频率、速度等数据因素和关键关节点估计模型因素对匹配准确度的影响。接着，计算关节点运动范围和轨迹误差，并根据运动及康复医疗规范要求确定运动异常程度和康复动作准确度。

而在具体的应用过程中，本申请针对实际应用，还提出一种适于实用的应用场景，尤其适用于进行康复训练的人员，即，处理设备获取待评估用户姿态的目标图像，可以为：

处理设备接收由深度摄像头上传的目标图像，目标图像为深度摄像头在目标用户的触发下拍摄得到的，深度摄像头为系统上预先记录的、与目标用户具有一对一配对关系的摄像头。

可以理解的是，本申请在实际应用时，除了可应用在如医院这类固定场所，考虑到未存在穿戴式传感器或者多摄像头的硬件部署需求，具有部署上的便捷性，以及硬件上的低要求，因此还可更为简便地应用在被评估的用户侧。

例如，深度摄像头可配置在用户的住所的墙壁上，比如房间、大厅，如此，如进行康复训练的人员可随时地触发摄像头拍摄其用户姿态，进行康复训练结果中用户姿态的评估，在该场景下容易看出，对于不便外出或者时间不便的用户，在本申请下，可便捷地完成用户姿态的评估需求，具有较高的应用价值。

在具体应用中，用户可通过用户账号绑定自身与摄像头之间的一对一配对关系，在系统上完成登记。

其中，该目标图像，可以为深度摄像头自身通过网络传输过来的，也可以为通过其他设备传输过来的。

举例而言，若用户侧的用户设备(User Equipment，UE)本身携带深度摄像头，此时，用户还可直接通过UE的深度摄像头完成目标图像的拍摄，并上传到系统，进行用户姿态的评估。

该UE，具体可以为智能手机、平板电脑、笔记本电脑、个人数字助理(PersonalDigital Assistance，PDA)等不同类型的、配置有深度摄像头的用户设备。

在该场景下，深度摄像头的数量，无论是单独的摄像头，还是配置在UE上的摄像头，具体还可配置为唯一一个，即可满足评估所需，可见，本申请提供的用户姿态的评估方法，在实际应用中，具有易于普及以及低成本的特点。

以康复训练评估场景为例，应用在家庭或社区医院中，通过单个摄像头，远程进行云端早期预检测和即时在线康复评估，将极大地减轻患者的负担并提高康复治疗的效果，其应用场景可参考图4示出的本申请用户姿态的评估方法的又一种场景示意图。

在得到用户姿态评估结果后，则可进行存储或者输出，例如，输出到显示屏或者用户侧的UE等，以进行结果展示。

以上是本申请提供用户姿态的评估方法的介绍，为便于更好的实施本申请提供的用户姿态的评估方法，本申请还提供了用户姿态的评估装置。

参阅图5，图5为本申请用户姿态的评估装置的一种结构示意图，在本申请中，用户姿态的评估装置500具体可包括如下结构：

获取单元501，用于获取待评估用户姿态的目标图像，目标图像是从拍摄目标用户得到的，目标图像为深度摄像头拍摄得到的深度图像；

评估单元502，用于将目标图像输入评估模型，进行用户姿态评估处理，评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的；

提取单元503，用于提取评估模型输出的用户姿态评估结果。

在一种示例性的实现方式中，用户姿态评估处理中的坐标处理包括：采用旋转包围盒算法对组成目标图像的输入点云的三维坐标进行主成分分析；在旋转包围盒算法涉及的三个轴方向与输入点云的相关矩阵的三个特征向量平行，且紧密包围输入点云的基础上，将输入点云从相机坐标系变换到旋转包围盒坐标系；对变换后的点云进行平移和尺度归一化。

在又一种示例性的实现方式中，评估模型由空间分级感知器网络层、最大池化层和全连接层构成，提取各空间尺度下的点云特征；评估模型将标识为活动范围大的关节点及其邻域信息输入到点云神经网络中进行再回归，以提升局部估计性能；评估模型对若干点云神经网络进行堆叠，堆叠后的输出候选结果与单一点云神经网络输出候选结果互为补充；评估模型引入用户姿态先验模块辅助评，降低遮挡对关节点位置评估准确性造成的影响。

在又一种示例性的实现方式中，用户姿态评估处理具体包括：在识别出的各关节点的三维坐标之间的角度特征以及距离特征的基础上，结合各关节点的时间运动轨迹、空间运动轨迹以及变化特征，进行姿态评估。

在又一种示例性的实现方式中，装置还包括训练单元504，用于：

获取作为训练集的标注有对应用户姿态评估结果的不同深度图像，不同深度图像根据对应用户姿态评估结果标注有静态位姿的关键帧、动作姿态的起始帧以及终止帧、关键关节点的位置；

将标注有对应用户姿态评估结果的不同图像输入初始神经网络模型，进行正向传播，并根据输出的用户姿态评估结果进行模型参数优化，进行反向传播，当达到训练要求时完成训练，得到评估模型。

在又一种示例性的实现方式中，获取单元501，具体用于：

接收由深度摄像头上传的目标图像，目标图像为深度摄像头在目标用户的触发下拍摄得到的，深度摄像头为系统上预先记录的、与目标用户具有一对一配对关系的摄像头。

在又一种示例性的实现方式中，深度摄像头的数量为一个。

本申请还提供了处理设备，参阅图6，图6示出了本申请处理设备的一种结构示意图，具体的，本申请处理设备可包括处理器601、存储器602以及输入输出设备603，处理器601用于执行存储器602中存储的计算机程序时实现如图1对应实施例中用户姿态的评估方法的各步骤；或者，处理器601用于执行存储器602中存储的计算机程序时实现如图5对应实施例中各单元的功能，存储器602用于存储处理器601执行上述图1对应实施例中用户姿态的评估方法所需的计算机程序。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器602中，并由处理器601执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

处理设备可包括，但不仅限于处理器601、存储器602、输入输出设备603。本领域技术人员可以理解，示意仅仅是处理设备的示例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如处理设备还可以包括网络接入设备、总线等，处理器601、存储器602、输入输出设备603以及网络接入设备等通过总线相连。

处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分。

存储器602可用于存储计算机程序和/或模块，处理器601通过运行或执行存储在存储器602内的计算机程序和/或模块，以及调用存储在存储器602内的数据，实现计算机装置的各种功能。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据处理设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器601用于执行存储器602中存储的计算机程序时，具体可实现以下功能：

获取待评估用户姿态的目标图像，目标图像是从拍摄目标用户得到的，目标图像为深度摄像头拍摄得到的深度图像；

将目标图像输入评估模型，进行用户姿态评估处理，评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的；

提取评估模型输出的用户姿态评估结果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的用户姿态的评估装置、处理设备及其相应单元的具体工作过程，可以参考如图1对应实施例中用户姿态的评估方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中用户姿态的评估方法中的步骤，具体操作可参考如图1对应实施例中用户姿态的评估方法的说明，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例用户姿态的评估方法中的步骤，因此，可以实现本申请如图1对应实施例中用户姿态的评估方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请提供的用户姿态的评估方法、装置、处理设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种用户姿态的评估方法，其特征在于，所述方法包括：

处理设备获取待评估用户姿态的目标图像，所述目标图像是从拍摄目标用户得到的，所述目标图像为深度摄像头拍摄得到的深度图像；

所述处理设备将所述目标图像输入评估模型，进行用户姿态评估处理，所述评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的；

所述处理设备提取所述评估模型输出的用户姿态评估结果。

2.根据权利要求1所述的方法，其特征在于，所述用户姿态评估处理中的坐标处理包括：采用旋转包围盒算法对组成所述目标图像的输入点云的三维坐标进行主成分分析；在所述旋转包围盒算法涉及的三个轴方向与所述输入点云的相关矩阵的三个特征向量平行，且紧密包围所述输入点云的基础上，将所述输入点云从相机坐标系变换到旋转包围盒坐标系；对变换后的点云进行平移和尺度归一化。

3.根据权利要求1所述的方法，其特征在于，所述评估模型由空间分级感知器网络层、最大池化层和全连接层构成，提取各空间尺度下的点云特征；所述评估模型将标识为活动范围大的关节点及其邻域信息输入到点云神经网络中进行再回归，以提升局部估计性能；所述评估模型对若干点云神经网络进行堆叠，堆叠后的输出候选结果与单一点云神经网络输出候选结果互为补充；所述评估模型引入用户姿态先验模块辅助评，降低遮挡对关节点位置评估准确性造成的影响。

4.根据权利要求1所述的方法，其特征在于，所述用户姿态评估处理具体包括：在识别出的各关节点的三维坐标之间的角度特征以及距离特征的基础上，结合所述各关节点的时间运动轨迹、空间运动轨迹以及变化特征，进行姿态评估。

5.根据权利要求1所述的方法，其特征在于，所述处理设备获取待评估用户姿态的目标图像之前，所述方法还包括：

所述处理设备获取作为训练集的所述标注有对应用户姿态评估结果的不同深度图像，所述不同深度图像根据对应用户姿态评估结果标注有静态位姿的关键帧、动作姿态的起始帧以及终止帧、关键关节点的位置；

所述处理设备将所述标注有对应用户姿态评估结果的不同图像输入所述初始神经网络模型，进行正向传播，并根据输出的用户姿态评估结果进行模型参数优化，进行反向传播，当达到训练要求时完成训练，得到所述评估模型。

6.根据权利要求1所述的方法，其特征在于，所述处理设备获取待评估用户姿态的目标图像，包括：

所述处理设备接收由所述深度摄像头上传的所述目标图像，所述目标图像为所述深度摄像头在所述目标用户的触发下拍摄得到的，所述深度摄像头为系统上预先记录的、与所述目标用户具有一对一配对关系的摄像头。

7.根据权利要求6所述的方法，其特征在于，所述深度摄像头的数量为一个。

8.一种用户姿态的评估装置，其特征在于，所述装置包括：

获取单元，用于获取待评估用户姿态的目标图像，所述目标图像是从拍摄目标用户得到的，所述目标图像为深度摄像头拍摄得到的深度图像；

评估单元，用于将所述目标图像输入评估模型，进行用户姿态评估处理，所述评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的；

提取单元，用于提取所述评估模型输出的用户姿态评估结果。

9.一种处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。

Images