CN112164091A - 基于三维骨架提取的移动设备人体位姿估计方法 - Google Patents

基于三维骨架提取的移动设备人体位姿估计方法 Download PDF

Info

Publication number
CN112164091A
CN112164091A CN202010863038.7A CN202010863038A CN112164091A CN 112164091 A CN112164091 A CN 112164091A CN 202010863038 A CN202010863038 A CN 202010863038A CN 112164091 A CN112164091 A CN 112164091A
Authority
CN
China
Prior art keywords
joint point
human body
angle
joint
elbow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010863038.7A
Other languages
English (en)
Other versions
CN112164091B (zh
Inventor
高�浩
李奕
徐枫
宗睿
余新光
潘隆盛
凌至培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010863038.7A priority Critical patent/CN112164091B/zh
Publication of CN112164091A publication Critical patent/CN112164091A/zh
Application granted granted Critical
Publication of CN112164091B publication Critical patent/CN112164091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于三维骨架提取的移动设备人体位姿估计方法，将人体视频放入轻量人体骨架识别模型中，得到2D关节点；将所获得的2D关节点通过神经网络构造的回归器，映射得到空间中的3D关节点；根据所获得的3D关节点的坐标信息计算得到被拍摄者的肢体间关节角；根据被拍摄者肢体间关节角以及3D关节点的位置信息，判定被拍摄者的位姿以及拍摄设备的拍摄机位。通过深度神经网络回归器，将轻量人体骨架识别模型得到的2D人体关节点映射到三维空间中3D人体关节点，增加了2D人体关节点几何信息的维度；基于3D人体关节点的几何关系计算肢体夹角，根据肢体间夹角以及关节点的位置关系，有效地预测出人体的位姿以及移动设备的拍摄机位。

Description

基于三维骨架提取的移动设备人体位姿估计方法
技术领域
本发明涉及基于三维骨架提取的移动设备人体位姿估计方法，属于视频图像处理技术领域。
背景技术
得益于手机行业相机以及AI协助处理器的发展，人工智能已经日益融入进人们的日常生活。当前应用在移动平台的人体位姿估计方法都是基于2D关节点进行提取，由于缺失了一个维度，往往会对人体位姿的预测产生一定的误差甚至是错误。
深度卷积神经网络将计算机视觉任务性能提升到了新的高度，深度卷积神经网络发展的趋势是为了达到更高的识别准确性。因而随着识别准确性的提高，深度卷积神经网络的结构变得更深更复杂了。但是这些网络在尺度和检测速度上往往不能满足移动设备的需求。现阶段，为了构建小型而且高效的神经网络，通常有这样两个思路：a.压缩训练模型，减小、分解或压缩预训练网络；b.直接训练小型的模型。
Mobilenet是一个高效的网络结构，它允许通过两个超参数来直接构建体积小、低延迟、更易满足嵌入式设备要求的轻量模型。Mobilenet网络架构允许模型开发人员专门选择与其资源限制匹配的小型模型，例如延迟和大小。Mobilenet注重于优化延迟同时考虑小型网络，从深度可分离卷积的角度重新构建模型。
Openpose是一种自底向上的二维人体位姿估计方法，它基于卷积神经网络以及监督学习实现二维姿态估计。Openpose可以实现人体动作、面部表情、手指运动等情景的姿态估计。适用于单人以及多人的估计，拥有较强的鲁棒性，它是世界上首个基于深度学习实现的多人二维姿态估计方法。Openpose的前身是CPM算法，在多人识别的场景下，CPM算法也可以经由heat map进行多人的识别。对比CPM算法，Openpose除了可以进行单人的估计，基于部位亲和矢量场预测，它可以更稳定适用于多人的识别，人数不会影响到检测的实际速度。
现阶段，从2D关节点获取3D关节点主要有如下几个思路。首先可以从图像中获取深度信息，或者利用图像中的阴影或纹理信息从一张单一的图像恢复深度，从而利用计算机视觉的基本理论，推断求得任意场景中的长度、面积和距离比。其次可以用自上而下的3D推理，利用场景中物体的已知三维结构，当感知到人体运动时，将其运动抽象成一组稀疏的点投影。还可以使用二维关节点的投影推断三维关节点，考虑到人体骨骼的长度，这类问题可以归结为一个二叉决策树问题，其中二叉树的每个分支可以对应到某个关节相对于其上一级关节的可能状态。此外还可以基于深度神经网络将2D关节点映射到三维空间中对应的3D关节点。
TensorFlow Lite是TensorFlow针对移动平台和嵌入式设备的轻量级解决方案，它使得移动设备的机器学习具有较低的延迟和相对较高的精确度。TensorFlow Lite还支持硬件加速Android神经网络API。目前绝大多是AI都是在云端或者依赖较高性能的GPU进行运算，但是在移动平台使用AI具有无网络延迟、响应更加及时等特性，同时它还可以保障用户的数据隐私。在日常生活中，利用TensorFlow Lite可以更加方便的进行AI的运算以及应用。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于三维骨架提取的移动设备人体位姿估计方法，以解决现有技术维度缺失、计算误差大、便携性差和运算量大的缺陷。
为达到上述目的，本发明提供基于三维骨架提取的移动设备人体位姿估计方法，包括以下步骤：
输入数据采集：使用移动设备实时采集得到被拍摄者的人体视频；
2D关节点获取：将所获得的人体视频传入后台服务，将人体视频放入轻量人体骨架识别模型中得到2D人体关节点；
3D关节点估计：将所获得的2D人体关节点通过神经网络回归器映射得到三维空间中的3D人体关节点；
人体骨架获取：将所获得的3D人体关节点放回人体视频帧中对应位置，将3D人体关节点连线得到人体骨架；
肢体间角度计算：根据3D人体关节点的坐标信息以及所获得的人体骨架的数据信息，计算得到肢体间角度；
人体位姿估计：根据所获得的肢体间角度以及3D人体关节点的坐标信息，估计得到人体位姿，预测得到移动设备的拍摄机位。
优先地，采集指定动作的人体视频，对人体视频中的人体关节点进行标注，得到一组新的需要判定的位姿标定的数据集，将所获得的需要判定的位姿标定的数据集放入openpose预训练模型进行再次训练。
优先地，利用轻量人体骨架识别模型提取得到人体视频的2D人体关节点后，将所获得的2D人体关节点的几何信息输入到神经网络回归器中，映射得到3D人体关节点，估计得到3D人体关节点在空间中的大致位置。
优先地，输入数据采集包括以下步骤：使用MSCOCO公共数据集以及需要判定的位姿标定的数据集训练轻量人体骨架识别模型；
基于2D人体关节点标注的数据集以及Human3.6M公共数据集，构建2D人体关节点到3D人体关节点映射的神经网络回归器；
将神经网络回归器转换至移动设备可用的轻量人体骨架识别模型，嵌入到移动设备中。
优先地，2D关节点获取：将所获得的人体视频传入后台服务，将人体视频放入轻量人体骨架识别模型中得到2D人体关节点的位置序列。
优先地，获取轻量人体骨架识别模型包括以下步骤：
A、将MSCOCO公共数据集与需要判定的位姿标定的数据集组成轻量人体骨架识别模型的训练数据集；
B、将轻量人体骨架识别模型的训练数据集中的一张图像传入经过修改后的mobilenet网络得到第一阶段的特征图；
C、所获得的第一阶段的特征图通过卷积层得到第一阶段的部位检测图和第一阶段的亲和矢量场；
D、将所述第一阶段的部位检测图、第一阶段的亲和矢量场和得到的第二阶段的特征图输入到mobilenet网络中，通过卷积层获取得到第二阶段的部位检测图和第二阶段的亲和矢量场；
E、重复步骤C至指定的次数得到最终的部位检测图和最终的亲和矢量场；
F、根据最终的部位检测图和最终的亲和矢量场得到轻量人体骨架识别模型。
优先地，获取神经网络回归器包括以下步骤：
A、将需要判定的位姿标定的数据集与Human3.6M数据集混合，得到神经网络回归器的训练数据集；
B、对神经网络回归器的训练数据集的二维输入和三维输出归一化处理；
C、设置初始学习率为0.001，令初始学习率的指数衰减，设置批大小为64，使用Adam优化器预训练模型；
D、将2D人体关节点的坐标输入到回归器中，输出3D人体关节点；
E、重复至预先设定的次数得到神经网络回归器。
优先地，人体肢体角度包含左肩夹角、右肩夹角、左手肘夹角、右手肘夹角、左膝盖夹角和右膝盖夹角等，肢体
Figure DEST_PATH_IMAGE002
与肢体
Figure DEST_PATH_IMAGE004
间的夹角
Figure DEST_PATH_IMAGE006
由关节点
Figure DEST_PATH_IMAGE008
、关节点
Figure DEST_PATH_IMAGE010
以及关节点
Figure DEST_PATH_IMAGE012
的几何关系求得，计算方式为：
Figure DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE018
。
优先地，将所获得的2D人体关节点输入神经网络回归器，输出得到3D人体关节点的位置序列，所获得的3D人体关节点包含鼻子关节点、左耳关节点、右耳关节点、左眼关节点、右眼关节点、颈部关节点、左肩关节点、右肩关节点、左手肘关节点、右手肘关节点、左手腕关节点、右手腕关节点、左髋关节点、右髋关节点、左膝盖关节点、右膝盖关节点、左脚踝关节点和右脚踝关节点。
优先地，根据所获得的3D人体关节点计算得到肢体间角度，肢体间角度包含左肩夹角
Figure DEST_PATH_IMAGE020
、右肩夹角
Figure DEST_PATH_IMAGE022
、左手肘夹角
Figure DEST_PATH_IMAGE024
、右手肘夹角
Figure DEST_PATH_IMAGE026
、左膝盖夹角
Figure DEST_PATH_IMAGE028
、右膝盖夹角
Figure DEST_PATH_IMAGE030
；
其中，左肩夹角
Figure 457899DEST_PATH_IMAGE020
的计算方法为：
颈部关节点到左肩关节点连线与左手肘关节点到左肩关节点连线的夹角
Figure 947786DEST_PATH_IMAGE020
；
其中，右肩夹角
Figure 681387DEST_PATH_IMAGE022
的计算方法为：
颈部关节点到右肩关节点连线与右手肘关节点到右肩关节点连线的夹角
Figure 496896DEST_PATH_IMAGE022
；
其中，左手肘夹角
Figure 315948DEST_PATH_IMAGE024
的计算方法为：
左肩关节点到左手肘关节点连线与左手腕关节点到左手肘关节点连线的夹角
Figure 875105DEST_PATH_IMAGE024
；
其中，右手肘夹角
Figure 466142DEST_PATH_IMAGE026
的计算方法为：
右肩关节点到右手肘关节点连线与右手腕关节点到右手肘关节点连线的夹角
Figure 186973DEST_PATH_IMAGE026
；
其中，左膝盖夹角
Figure 493321DEST_PATH_IMAGE028
的计算方法为：
左髋关节点到左膝盖关节点连线与左脚踝关节点到左膝盖关节点连线的夹角
Figure 590590DEST_PATH_IMAGE028
；
其中，右膝盖夹角
Figure 298783DEST_PATH_IMAGE030
的计算方法为：
右髋关节点到右膝盖关节点连线与右脚踝关节点到右膝盖关节点连线的夹角
Figure 190516DEST_PATH_IMAGE030
；
根据所获得的3D人体关节点的位置以及所获得的肢体间角度，估计被拍摄者的位姿以及移动设备的拍摄机位；
其中，基于左肩夹角
Figure 984159DEST_PATH_IMAGE020
、右肩夹角
Figure 885119DEST_PATH_IMAGE022
、左手肘夹角
Figure 182239DEST_PATH_IMAGE024
、右手肘夹角
Figure 510453DEST_PATH_IMAGE026
、颈部关节点、左肩关节点、右肩关节点、左手肘关节点、右手肘关节点、左手腕关节点和右手腕关节点，判定得到被拍摄者上肢的动作：当左肩夹角
Figure 525813DEST_PATH_IMAGE020
和右肩夹角
Figure 230464DEST_PATH_IMAGE022
为85°-95°，左手肘夹角
Figure 647670DEST_PATH_IMAGE024
和右手肘夹角
Figure 146784DEST_PATH_IMAGE026
为170°-180°，且左手肘关节点位于左肩关节点下方、右手肘关节点位于右肩关节点下方时，判定被拍摄者的手臂为自然下垂状态；当左肩夹角
Figure 977337DEST_PATH_IMAGE020
与左手肘夹角
Figure 95466DEST_PATH_IMAGE024
之和、右肩夹角
Figure 491812DEST_PATH_IMAGE022
与右手肘夹角
Figure 34264DEST_PATH_IMAGE026
之和为170°-180°，且左手肘关节点位于左肩关节点下方、右手肘关节点位于右肩关节点下方时，判定被拍摄者的手臂为双臂正平端于胸前状态；
其中，根据左膝盖夹角
Figure 148851DEST_PATH_IMAGE028
、右膝盖夹角
Figure 805091DEST_PATH_IMAGE030
、左髋关节点、右髋关节点、左膝盖关节点、右膝盖关节点、左脚踝关节点和右脚踝关节点，判定得到被拍摄者下肢的动作：当左膝盖夹角
Figure 321523DEST_PATH_IMAGE028
和右膝盖夹角
Figure 37807DEST_PATH_IMAGE030
为170°-180°，判定被拍摄者处于直立状态；当左膝盖夹角
Figure 905268DEST_PATH_IMAGE028
和右膝盖夹角
Figure 99621DEST_PATH_IMAGE030
为85°-95°，判定被拍摄者处于坐姿状态；
其中，每个动作预先设定鼻子关节点在取景框的限定区域，根据被拍摄者的鼻子关节点的坐标，判定鼻子关节点是否处于预先设定的限定区域；
其中，根据被拍摄者的左肩关节点与右肩关节点之间的连线与图像所在平面法向量的夹角，判断拍摄者的拍摄机位处于正面还是侧面：如果被拍摄者的左肩关节点与右肩的关节点之间的连线与图像所在平面法向量的夹角为90°，则判定拍摄者的拍摄机位处于正面；如果被拍摄者的左肩关节点与右肩关节点之间的连线与图像所在平面法向量的夹角小于90°，则判定拍摄者的拍摄机位处于侧面；
其中，根据左肩关节点和右肩关节点之间的连线的中点到图像所在平面的投影距离，判定被拍摄者距离摄像头的距离：如果被拍摄者距离摄像头的距离小于当前判定动作的设定阈值，则判定拍摄者离被拍摄者过远；如果被拍摄者距离摄像头的距离大于当前判定动作的设定阈值，则判定拍摄者离被拍摄者过近。
本发明所达到的有益效果：
神经网络构造的回归器将2D关节点映射到3D关节点，使用RELU层替换传统的卷积神经网络，节约了计算的成本。神经网络构造的回归器使用残差连接提高了网络的泛化性能，降低了训练时间，降低网络的错误率。神经网络构造的回归器使用批处理正则化以及dropout降低训练数据2D关节点包含的噪声对检测准确率的影响。通过最大范数对网络每一层的权值进行约束，结合批量正则化提高了网络的稳定性以及泛化效果。神经网络回归器将2D人体关节点到3D人体关节点之间的映射转化为一个回归问题，利用深度神经网络构建回归器，实现3D人体关节点的提取；
本发明通过修改的mobilenet和openpose建立轻量人体骨架识别模型，在保证准确度的同时，计算速度更快，更适合移动设备使用；通过神经网络回归器，将轻量人体骨架识别模型提取得到的2D人体关节点映射到三维空间中对应的3D人体关节点，增加了2D人体关节点几何信息的维度，提高了检测的精确度；通过3D人体关节点的几何关系计算肢体夹角，再根据肢体夹角以及关节点的位置关系，可以有效的预测出人体的位姿以及移动设备的拍摄机位。
附图说明
图1是本发明的流程图；
图2是本发明中轻量人体骨架模型网络的结构图；
图3是本发明中2D人体关节点到3D人体关节点映射的回归器的网络结构图；
图4是本发明中关节与肢体夹角标注的示意图。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
基于三维骨架提取的移动设备人体位姿估计方法，包括以下步骤：
输入数据采集：使用移动设备实时采集得到被拍摄者的人体视频；
2D关节点获取：将所获得的人体视频传入后台服务，将人体视频放入轻量人体骨架识别模型中得到2D人体关节点；
3D关节点估计：将所获得的2D人体关节点通过神经网络回归器映射得到三维空间中的3D人体关节点；
人体骨架获取：将所获得的3D人体关节点放回人体视频帧中对应位置，将3D人体关节点连线得到人体骨架；
肢体间角度计算：根据3D人体关节点的坐标信息以及所获得的人体骨架的数据信息，计算得到肢体间角度；
人体位姿估计：根据所获得的肢体间角度以及3D人体关节点的坐标信息，估计得到人体位姿，预测得到移动设备的拍摄机位。
进一步地，采集指定动作的人体视频，对人体视频中的人体关节点进行标注，得到一组新的需要判定的位姿标定的数据集，将所获得的需要判定的位姿标定的数据集放入openpose预训练模型进行再次训练。
进一步地，利用轻量人体骨架识别模型提取得到人体视频的2D人体关节点后，将所获得的2D人体关节点的几何信息输入到神经网络回归器中，映射得到3D人体关节点，估计得到3D人体关节点在空间中的大致位置。
进一步地，输入数据采集包括以下步骤：使用MSCOCO公共数据集以及需要判定的位姿标定的数据集训练轻量人体骨架识别模型；
基于2D人体关节点标注的数据集以及Human3.6M公共数据集，构建2D人体关节点到3D人体关节点映射的神经网络回归器；
将神经网络回归器转换至移动设备可用的轻量人体骨架识别模型，嵌入到移动设备中。
进一步地，2D关节点获取：将所获得的人体视频传入后台服务，将人体视频放入轻量人体骨架识别模型中得到2D人体关节点的位置序列。
进一步地，获取轻量人体骨架识别模型包括以下步骤：
A、将MSCOCO公共数据集与需要判定的位姿标定的数据集组成轻量人体骨架识别模型的训练数据集；
B、将轻量人体骨架识别模型的训练数据集中的一张图像传入经过修改后的mobilenet网络得到第一阶段的特征图；
C、所获得的第一阶段的特征图通过卷积层得到第一阶段的部位检测图和第一阶段的亲和矢量场；
D、将所述第一阶段的部位检测图、第一阶段的亲和矢量场和得到的第二阶段的特征图输入到mobilenet网络中，通过卷积层获取得到第二阶段的部位检测图和第二阶段的亲和矢量场；
E、重复步骤C至指定的次数得到最终的部位检测图和最终的亲和矢量场；
F、根据最终的部位检测图和最终的亲和矢量场得到轻量人体骨架识别模型。
进一步地，获取神经网络回归器包括以下步骤：
A、将需要判定的位姿标定的数据集与Human3.6M数据集混合，得到神经网络回归器的训练数据集；
B、对神经网络回归器的训练数据集的二维输入和三维输出归一化处理；
C、设置初始学习率为0.001，令初始学习率的指数衰减，设置批大小为64，使用Adam优化器预训练模型；
D、将2D人体关节点的坐标输入到回归器中，输出3D人体关节点；
E、重复至预先设定的次数得到神经网络回归器。
进一步地，人体肢体角度包含左肩夹角、右肩夹角、左手肘夹角、右手肘夹角、左膝盖夹角和右膝盖夹角等，肢体
Figure 736138DEST_PATH_IMAGE002
与肢体
Figure 623323DEST_PATH_IMAGE004
间的夹角
Figure 587868DEST_PATH_IMAGE006
由关节点
Figure 976124DEST_PATH_IMAGE008
、关节点
Figure 873673DEST_PATH_IMAGE010
以及关节点
Figure 931759DEST_PATH_IMAGE012
的几何关系求得，计算方式为：
Figure 711496DEST_PATH_IMAGE014
，
Figure 324616DEST_PATH_IMAGE016
，
Figure 404567DEST_PATH_IMAGE018
。
进一步地，将所获得的2D人体关节点输入神经网络回归器，输出得到3D人体关节点的位置序列，所获得的3D人体关节点包含鼻子关节点、左耳关节点、右耳关节点、左眼关节点、右眼关节点、颈部关节点、左肩关节点、右肩关节点、左手肘关节点、右手肘关节点、左手腕关节点、右手腕关节点、左髋关节点、右髋关节点、左膝盖关节点、右膝盖关节点、左脚踝关节点和右脚踝关节点。
进一步地，根据所获得的3D人体关节点计算得到肢体间角度，肢体间角度包含左肩夹角
Figure 899134DEST_PATH_IMAGE020
、右肩夹角
Figure 900588DEST_PATH_IMAGE022
、左手肘夹角
Figure 630646DEST_PATH_IMAGE024
、右手肘夹角
Figure 440470DEST_PATH_IMAGE026
、左膝盖夹角
Figure 168255DEST_PATH_IMAGE028
、右膝盖夹角
Figure 329109DEST_PATH_IMAGE030
；
其中，左肩夹角
Figure 597279DEST_PATH_IMAGE020
的计算方法为：
颈部关节点到左肩关节点连线与左手肘关节点到左肩关节点连线的夹角
Figure 792768DEST_PATH_IMAGE020
；
其中，右肩夹角
Figure 753771DEST_PATH_IMAGE022
的计算方法为：
颈部关节点到右肩关节点连线与右手肘关节点到右肩关节点连线的夹角
Figure 136342DEST_PATH_IMAGE022
；
其中，左手肘夹角
Figure 208203DEST_PATH_IMAGE024
的计算方法为：
左肩关节点到左手肘关节点连线与左手腕关节点到左手肘关节点连线的夹角
Figure 258199DEST_PATH_IMAGE024
；
其中，右手肘夹角
Figure 124524DEST_PATH_IMAGE026
的计算方法为：
右肩关节点到右手肘关节点连线与右手腕关节点到右手肘关节点连线的夹角
Figure 257040DEST_PATH_IMAGE026
；
其中，左膝盖夹角
Figure 867013DEST_PATH_IMAGE028
的计算方法为：
左髋关节点到左膝盖关节点连线与左脚踝关节点到左膝盖关节点连线的夹角
Figure 771515DEST_PATH_IMAGE028
；
其中，右膝盖夹角
Figure 808741DEST_PATH_IMAGE030
的计算方法为：
右髋关节点到右膝盖关节点连线与右脚踝关节点到右膝盖关节点连线的夹角
Figure 431484DEST_PATH_IMAGE030
；
根据所获得的3D人体关节点的位置以及所获得的肢体间角度，估计被拍摄者的位姿以及移动设备的拍摄机位；
其中，基于左肩夹角
Figure 845148DEST_PATH_IMAGE020
、右肩夹角
Figure 604156DEST_PATH_IMAGE022
、左手肘夹角
Figure 77863DEST_PATH_IMAGE024
、右手肘夹角
Figure 250218DEST_PATH_IMAGE026
、颈部关节点、左肩关节点、右肩关节点、左手肘关节点、右手肘关节点、左手腕关节点和右手腕关节点，判定得到被拍摄者上肢的动作：当左肩夹角
Figure 77360DEST_PATH_IMAGE020
和右肩夹角
Figure 81088DEST_PATH_IMAGE022
为85°-95°，左手肘夹角
Figure 335483DEST_PATH_IMAGE024
和右手肘夹角
Figure 791872DEST_PATH_IMAGE026
为170°-180°，且左手肘关节点位于左肩关节点下方、右手肘关节点位于右肩关节点下方时，判定被拍摄者的手臂为自然下垂状态；当左肩夹角
Figure 422705DEST_PATH_IMAGE020
与左手肘夹角
Figure 280939DEST_PATH_IMAGE024
之和、右肩夹角
Figure 971815DEST_PATH_IMAGE022
与右手肘夹角
Figure 915500DEST_PATH_IMAGE026
之和为170°-180°，且左手肘关节点位于左肩关节点下方、右手肘关节点位于右肩关节点下方时，判定被拍摄者的手臂为双臂正平端于胸前状态；
其中，根据左膝盖夹角
Figure 87374DEST_PATH_IMAGE028
、右膝盖夹角
Figure 800115DEST_PATH_IMAGE030
、左髋关节点、右髋关节点、左膝盖关节点、右膝盖关节点、左脚踝关节点和右脚踝关节点，判定得到被拍摄者下肢的动作：当左膝盖夹角
Figure 458629DEST_PATH_IMAGE028
和右膝盖夹角
Figure 764977DEST_PATH_IMAGE030
为170°-180°，判定被拍摄者处于直立状态；当左膝盖夹角
Figure 596667DEST_PATH_IMAGE028
和右膝盖夹角
Figure 836018DEST_PATH_IMAGE030
为85°-95°，判定被拍摄者处于坐姿状态；
其中，每个动作预先设定鼻子关节点在取景框的限定区域，根据被拍摄者的鼻子关节点的坐标，判定鼻子关节点是否处于预先设定的限定区域；
其中，根据被拍摄者的左肩关节点与右肩关节点之间的连线与图像所在平面法向量的夹角，判断拍摄者的拍摄机位处于正面还是侧面：如果被拍摄者的左肩关节点与右肩的关节点之间的连线与图像所在平面法向量的夹角为90°，则判定拍摄者的拍摄机位处于正面；如果被拍摄者的左肩关节点与右肩关节点之间的连线与图像所在平面法向量的夹角小于90°，则判定拍摄者的拍摄机位处于侧面；
其中，根据左肩关节点和右肩关节点之间的连线的中点到图像所在平面的投影距离，判定被拍摄者距离摄像头的距离：如果被拍摄者距离摄像头的距离小于当前判定动作的设定阈值，则判定拍摄者离被拍摄者过远；如果被拍摄者距离摄像头的距离大于当前判定动作的设定阈值，则判定拍摄者离被拍摄者过近。
MSCOCO公共数据集是公共数据集，属于现有技术；Human3.6M公共数据集是公共数据集，属于现有技术；后台服务可采用现有技术中的电脑；mobilenet是一种深度神经网络结构的名称，mobilenet和Adam优化器为现有技术中的专有名词；Dropout以及RELUs是深度学习网络中的组成部分，为现有技术中的专有名词。
移动设备为手机或平板电脑等可移动的设备，通过手机的摄像头直接获取，预测的关节与位姿具有良好的实时性。后台服务可为电脑。
轻量人体骨架识别模型使用mobilenet轻量模型进行训练，所获得的数据模型识别速度较快，运算量更小，同时拥有较高的准确度，更适合移动设备使用。
神经网络构造的回归器使用了一个简单的、深度的和多层的神经网络，神经网络中包含了批处理标准化、Dropout、RELUs以及残差连接，通过一个全连接层直接应用于输入，将输入的18*2的关节点增维至1024维，在最终预测前，通过另一个全连接层，将1024维数据降维到18*3，整个回归模型有约4-5百万个可训练参数。
移动设备所使用的深度学习模型使用TensorFlowLite进行转换以及加载，体积更小，计算速度更快，更适合移动应用使用；待测的人体视频使用移动设备的摄像头采集，具有良好的实时性，同时将所采集图像通过Service传递给后台的识别线程进行处理；
首先基于COCO数据集对人体骨架模型进行预训练，得到openpose预训练模型；
然后采集指定动作的人体视频，对视频中的人体关节点进行标注，得到一组新的数据集，将所获得的数据集放入openpose预训练模型进行再次训练，使得人体骨架模型更加适合所需的应用场景；
基于mobilenet为backbone的openpose的网络结构如附图2中所示。Openpose原先的网络结构使用VGG19的前十层加上两层CNN和另外两个级联CNN分支构成。由于基于VGG作为backbone的openpose模型体积过大，对于移动设备处理速度过慢，不适用于移动设备的应用，因此使用修改的mobilenet轻量模型替换VGG19。修改的mobilenet轻量模型使用三个连续的1*1，3*3，3*3的卷积核优化openpose的7*7的卷积核，其中最后一个3*3卷积核使用了residual connection缓解网络加深造成的问题。openpose是现有技术中的一种深度学习人体位姿估计方法，为专有名词。
首先使用mobilenet轻量模型来提取图像特征F，之后将所提取的图像特征F输入到级联CNN分支的第一阶段，生成一组部位检测图
Figure DEST_PATH_IMAGE032
和一组亲和矢量场
Figure DEST_PATH_IMAGE034
。其中部位检测图S表明每个像素位置出现特定关节点的概率，部位检测图S会在关节点处生成一个高斯分布的概率区域，区域的中心即关节点的概率最大，接近1，以该关节点为原点，外围的点越向四周，其概率越小。亲和矢量场L为肢体的矢量场图，为的是建立部位检测图S所获得的关节点之间的连接。之后的阶段将前一阶段得到的部位检测图
Figure 337538DEST_PATH_IMAGE032
和亲和矢量场
Figure 865602DEST_PATH_IMAGE034
以及原始的图像特征F作为输入，经过有限n次的循环得到最终的部位检测图
Figure DEST_PATH_IMAGE036
和亲和矢量场
Figure DEST_PATH_IMAGE038
。在此过程中，为了减少操作的计算量，将部位检测图和亲和矢量场中部分的网络权值进行共享。最终得到轻量人体骨架模型。
将训练所获得的轻量人体骨架识别模型转换为移动设备可用的轻量人体骨架设备识别模型，然后将所获得的移动设备可用的轻量人体骨架识别模型嵌入移动设备的应用app中；
基于Human3.6M数据集对2D人体关节点到3D人体关节点的回归器进行预训练，得到回归器的预训练模型；
利用移动设备采集需要估计动作的人体视频，对人体视频中的人体关节点进行标注，得到新的需要判定的位姿标定的数据集，将所获人体得的需要判定的位姿标定的数据集再次放入神经网络进行训练，最终得到2D人体关节点到3D人体关节点的回归器；
构建回归器的目的是对给定的2D人体关节点，估计得到其在三维空间中的3D人体关节点。对于给定的2D人体关节点输入
Figure DEST_PATH_IMAGE040
，以及3D人体关节点输出
Figure DEST_PATH_IMAGE042
，构建回归器的目的是为了学习得到
Figure DEST_PATH_IMAGE044
中的2D人体关节点到
Figure DEST_PATH_IMAGE046
中的3D人体关节点的映射
Figure DEST_PATH_IMAGE048
，其中
Figure 983207DEST_PATH_IMAGE048
可以表示为：
Figure DEST_PATH_IMAGE050
其中N表示姿势，L表示误差，
Figure DEST_PATH_IMAGE052
为2D的groundtruth或者2D人体关节点的探测器，预测相对于其颈部关节的全局空间的3D位置
Figure DEST_PATH_IMAGE054
，
Figure 952431DEST_PATH_IMAGE048
为深度神经网络训练所获得的2D人体关节点到3D人体关节点的映射。groundtruth为机器学习的专业术语，在机器学习的有监督学习中，数据是有标注的，以(x, t)的形式出现，其中x是输入数据，t是标注.正确的t标注是groundtruth，错误的标记则不是，为专有名词。
2D人体关节点到3D人体关节点的回归器网络结构如附图3中所示，该回归器网络结构为一个简单的、深度和多层的神经网络。回归器网络结构中拥有批处理标准化、Dropout、RELUs以及残差连接模块。首先将18 * 2的2D人体关节点输入进回归器网络结构，经过第一个全连接层的输入，将关节点升维至1024维，然后升维后的关节点输入至批量正则化、RELU以及Dropout组成的网络模块中。其中使用批处理正则化以及Dropout降低训练数据2D人体关节点包含的噪声对检测准确率的影响。由于网络中使用低维点作为输入和输出处理，使用RELU层替换传统的卷积神经网络，可以节约网络的计算成本。整个网络中包含两个由这样的批量正则化、RELU以及Dropout组成的网络模块。这两个网络模块间，使用两个残差连接对其进行包裹，这使得网络中一共有6个全连接层，提高了网络的泛化性能，降低了网络的训练时间，同时有效降低了错误率。在网络的最终输出前，再使用另一个全连接层，产生16 * 3的3D人体关节点作为网络输出。另外网络还通过最大范数对网络每一层的权值进行约束，结合批量正则化提高了网络的稳定性以及泛化效果。
回归器的输入输出都进行了归一化处理，即减去平均值然后除以标准差。回归器预测的3D人体关节点的不是3D全局坐标，而是以髋关节为原点中心的局部坐标，这与Human3.6M标准协议保持一致。为了将2D转3D的问题演变成不同相机下2D到3D的转化，关节点所在的坐标系选择为相机坐标系，同时使用相机坐标系的逆变换来旋转平移3D人体关节点的groundtruth。数据预处理方面，使用沙漏网络获得2D检测的预训练权重，使用bounding box 来预测人体中心位置，随后围绕中心裁剪成440*440像素，在沙漏网络中resize成256*256。此外还在Human3.6M数据集上微调了沙漏网络，使得2D人体关节点的坐标检测更加精确，进而减少了3D姿态估计的误差。在网络训练开始时，使用Adam训练的网络200 代，开始的学习率是0.001，随后使学习率指数递减。初始化时，网络的权值使用Kaiming初始化。最终经过有限次数的迭代，训练获得了2D人体关节点映射到3D人体关节点的回归器；
拍摄者在移动设备安装应用，应用在前台使用手机摄像头拍摄得到被拍摄者的视频序列，并实时将视频序列传入后台服务；
后台服务获取得到视频序列，将视频序列输入到轻量人体骨架识别模型中，获得2D人体关节点。然后将所获得的2D人体关节点输入回归器，输出得到3D人体关节点的位置序列，所获得的3D人体关节点包含鼻子、左耳、右耳、左眼、右眼、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝和右踝；
根据所获得的3D人体关节点计算可得到肢体夹角，主要包含左肩夹角
Figure DEST_PATH_IMAGE056
、右肩夹角
Figure 687168DEST_PATH_IMAGE022
、左手肘夹角
Figure 827163DEST_PATH_IMAGE024
、右手肘夹角
Figure 407180DEST_PATH_IMAGE026
、左膝盖夹角
Figure 949020DEST_PATH_IMAGE028
、右膝盖夹角
Figure 314711DEST_PATH_IMAGE030
；
其中，左肩夹角
Figure 942002DEST_PATH_IMAGE020
的计算方法为：
颈部关节点到左肩关节点连线与左手肘关节点到左肩关节点连线的夹角
Figure 794551DEST_PATH_IMAGE020
。
其中，右肩夹角
Figure 659739DEST_PATH_IMAGE022
的计算方法为：
颈部关节点到右肩关节点连线与右手肘关节点到右肩关节点连线的夹角
Figure 329755DEST_PATH_IMAGE022
。
其中，左手肘夹角
Figure 319707DEST_PATH_IMAGE024
的计算方法为：
左肩关节点到左手肘关节点连线与左手腕关节点到左手肘关节点连线的夹角
Figure 100582DEST_PATH_IMAGE024
。
其中，右手肘夹角
Figure 492380DEST_PATH_IMAGE026
的计算方法为：
右肩关节点到右手肘关节点连线与右手腕关节点到右手肘关节点连线的夹角
Figure 333297DEST_PATH_IMAGE026
。
其中，左膝盖夹角
Figure 810546DEST_PATH_IMAGE028
的计算方法为：
左髋关节点到左膝盖关节点连线与左脚踝关节点到左膝盖关节点连线的夹角
Figure 395111DEST_PATH_IMAGE028
。
其中，右膝盖夹角
Figure 641416DEST_PATH_IMAGE030
的计算方法为：
右髋关节点到右膝盖关节点连线与右脚踝关节点到右膝盖关节点连线的夹角
Figure 653234DEST_PATH_IMAGE030
。
根据所提取得到的3D人体关节点的位置关系以及计算所获得的肢体夹角角度，可以估计被拍摄者的位姿以及拍摄设备的拍摄机位；
其中，根据左肩夹角
Figure 352200DEST_PATH_IMAGE020
、右肩夹角
Figure 6035DEST_PATH_IMAGE022
、左手肘夹角
Figure 106846DEST_PATH_IMAGE024
、右手肘夹角
Figure 289566DEST_PATH_IMAGE026
以及相应上肢的关节点，可以判定得到被拍摄者上肢的可能动作，例如，判定双臂是否处于自然下垂状态，判定双臂是否平端于胸前。要判定双臂是否处于自然下垂状态，当左肩夹角
Figure 738477DEST_PATH_IMAGE020
、右肩夹角
Figure 664845DEST_PATH_IMAGE022
约为85°、90°和95°中的一个，左手肘夹角
Figure 620162DEST_PATH_IMAGE024
、右手肘夹角
Figure 239363DEST_PATH_IMAGE026
约为170°、175°和180°中的一个，且左手肘关节点位于左肩关节点下方、右手肘关节点位于右肩关节点下方时，可以判定被拍摄者的手臂为自然下垂状态。要判定双臂是否平端于胸前，当左肩夹角
Figure 912921DEST_PATH_IMAGE020
与左手肘夹角
Figure 377400DEST_PATH_IMAGE024
之和、右肩夹角
Figure 452803DEST_PATH_IMAGE022
与右手肘夹角
Figure 242905DEST_PATH_IMAGE026
之和约为180°，且左手肘关节点位于左肩关节点下方、右手肘关节点位于右肩关节点下方时，可以判定被拍摄者的双臂正平端于胸前；
其中，根据左膝盖夹角
Figure DEST_PATH_IMAGE058
、右膝盖夹角
Figure DEST_PATH_IMAGE060
，以及相应下肢的关节点，可以判定得到被拍摄者下肢的可能动作，例如，判定下肢是否直立，判定下肢是否处于坐姿。要判定下肢是否直立，当左膝盖夹角
Figure 403759DEST_PATH_IMAGE058
、右膝盖夹角
Figure 812875DEST_PATH_IMAGE060
约为170°、175°和180°中的一个，可以判定被拍摄者处于直立状态。要判定下肢是否处于坐姿，当左膝盖夹角
Figure 867418DEST_PATH_IMAGE058
、右膝盖夹角
Figure 438208DEST_PATH_IMAGE060
约为85°、90°和95°中的一个，可以判定被拍摄者处于坐姿；
其中，根据鼻子关节点的坐标，可以判定被拍摄者是否处在取景框中的预先设定的指定区域。每个动作会预先设定鼻子关节点在取景框的限定区域，根据被拍摄者鼻子的关节点在图像中的坐标在图像所在平面的投影位置，判定鼻子关节点是否处于预先设定的限定区域；
其中，根据被拍摄者的左肩关节点与右肩的关节点之间连线与图像所在平面法向量的夹角，可以判断拍摄者的拍摄机位处于正面还是侧面。如果被拍摄者的左肩关节点与右肩的关节点之间连线与图像所在平面法向量的夹角约为90°，则判定拍摄者的拍摄机位处于正面拍摄。如果被拍摄者的左肩关节点与右肩的关节点之间连线与图像所在平面法向量的夹角小于90°，则判定拍摄者的拍摄机位处于侧面拍摄；
其中，根据左肩关节点和右肩之间连线的中点到图像所在平面的投影距离，可以判定被拍摄者距离摄像头的距离。如果被拍摄者距离小于当前判定动作的设定阈值，则判定拍摄者离被拍摄者过远；如果被拍摄者距离大于当前判定动作的设定阈值；则判定拍摄者离被拍摄者过近；
当前移动应用主要应用本方法来判定被拍摄者的当前位姿以及预测拍摄者的机位，符合条件即开始指定动作视频的录制。移动应用根据当前录制动作，在界面的左边显示当前录制的动作名称。界面的中间为拍摄的取景框，取景框的左侧下方显示以时间为命名方式的当前拍摄视频的视频组名，取景框左侧中间显示动作选择的箭头按钮，取景框中间显示人像框以辅助拍摄者调节录制角度，取景框的下方中部显示辅助拍摄者的文字提示，取景框的右上方播放当前动作的辅助视频以辅助拍摄者引导被拍摄者调整身体动作。界面的右边上方按钮为查看已录制视频按钮，界面的右边中间按钮为录制按钮，界面的右边下方按钮为设置按钮。如果应用判定当前被拍摄者的动作以及拍摄者的拍摄机位不符合要求，会使用图形界面提醒拍摄者以及用语音提示被拍摄者按照拍摄动作的相应要求进行调整。符合录制条件后，应用则会允许录制相应视频。
神经网络构造的回归器将2D关节点映射到3D关节点，使用RELU层替换传统的卷积神经网络，节约了计算的成本。神经网络构造的回归器使用残差连接提高了网络的泛化性能，降低了训练时间，降低网络的错误率。神经网络构造的回归器使用批处理正则化以及dropout降低训练数据2D关节点包含的噪声对检测准确率的影响。通过最大范数对网络每一层的权值进行约束，结合批量正则化提高了网络的稳定性以及泛化效果。
当前人体位姿以及移动设备的拍摄机位，由肢体间角度的数据大小，以及相邻关节点连接的肢体的比例关系估计得到。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，包括以下步骤：
输入数据采集：使用移动设备实时采集得到被拍摄者的人体视频；
2D关节点获取：将所获得的人体视频传入后台服务，将人体视频放入轻量人体骨架识别模型中得到2D人体关节点；
3D关节点估计：将所获得的2D人体关节点通过神经网络回归器映射得到三维空间中的3D人体关节点；
人体骨架获取：将所获得的3D人体关节点放回人体视频帧中对应位置，将3D人体关节点连线得到人体骨架；
肢体间角度计算：根据3D人体关节点的坐标信息以及所获得的人体骨架的数据信息，计算得到肢体间角度；
人体位姿估计：根据所获得的肢体间角度以及3D人体关节点的坐标信息，估计得到人体位姿，预测得到移动设备的拍摄机位。
2.根据权利要求1所述的基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，采集指定动作的人体视频，对人体视频中的人体关节点进行标注，得到一组新的需要判定的位姿标定的数据集，将所获得的需要判定的位姿标定的数据集放入openpose预训练模型进行再次训练。
3.根据权利要求1所述的基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，利用轻量人体骨架识别模型提取得到人体视频的2D人体关节点后，将所获得的2D人体关节点的几何信息输入到神经网络回归器中，映射得到3D人体关节点，估计得到3D人体关节点在空间中的大致位置。
4.根据权利要求1所述的基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，
输入数据采集包括以下步骤：使用MSCOCO公共数据集以及需要判定的位姿标定的数据集训练轻量人体骨架识别模型；
基于2D人体关节点标注的数据集以及Human3.6M公共数据集，构建2D人体关节点到3D人体关节点映射的神经网络回归器；
将神经网络回归器转换至移动设备可用的轻量人体骨架识别模型，嵌入到移动设备中。
5.根据权利要求1所述的基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，2D关节点获取：将所获得的人体视频传入后台服务，将人体视频放入轻量人体骨架识别模型中得到2D人体关节点的位置序列。
6.根据权利要求1所述的基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，
获取轻量人体骨架识别模型包括以下步骤：
A、将MSCOCO公共数据集与需要判定的位姿标定的数据集组成轻量人体骨架识别模型的训练数据集；
B、将轻量人体骨架识别模型的训练数据集中的一张图像传入经过修改后的mobilenet网络得到第一阶段的特征图；
C、所获得的第一阶段的特征图通过卷积层得到第一阶段的部位检测图和第一阶段的亲和矢量场；
D、将所述第一阶段的部位检测图、第一阶段的亲和矢量场和得到的第二阶段的特征图输入到mobilenet网络中，通过卷积层获取得到第二阶段的部位检测图和第二阶段的亲和矢量场；
E、重复步骤C至指定的次数得到最终的部位检测图和最终的亲和矢量场；
F、根据最终的部位检测图和最终的亲和矢量场得到轻量人体骨架识别模型。
7.根据权利要求1所述的基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，
获取神经网络回归器包括以下步骤：
A、将需要判定的位姿标定的数据集与Human3.6M数据集混合，得到神经网络回归器的训练数据集；
B、对神经网络回归器的训练数据集的二维输入和三维输出归一化处理；
C、设置初始学习率为0.001，令初始学习率的指数衰减，设置批大小为64，使用Adam优化器预训练模型；
D、将2D人体关节点的坐标输入到回归器中，输出3D人体关节点；
E、重复至预先设定的次数得到神经网络回归器。
8.根据权利要求1所述的基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，人体肢体角度包含左肩夹角、右肩夹角、左手肘夹角、右手肘夹角、左膝盖夹角和右膝盖夹角等，肢体
Figure DEST_PATH_IMAGE001
与肢体
Figure 476632DEST_PATH_IMAGE002
间的夹角
Figure DEST_PATH_IMAGE003
由关节点
Figure 689439DEST_PATH_IMAGE004
、关节点
Figure DEST_PATH_IMAGE005
以及关节点
Figure 5014DEST_PATH_IMAGE006
的几何关系求得，计算方式为：
Figure DEST_PATH_IMAGE007
，
Figure 277863DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
。
9.根据权利要求1所述的基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，
将所获得的2D人体关节点输入神经网络回归器，输出得到3D人体关节点的位置序列，所获得的3D人体关节点包含鼻子关节点、左耳关节点、右耳关节点、左眼关节点、右眼关节点、颈部关节点、左肩关节点、右肩关节点、左手肘关节点、右手肘关节点、左手腕关节点、右手腕关节点、左髋关节点、右髋关节点、左膝盖关节点、右膝盖关节点、左脚踝关节点和右脚踝关节点。
10.根据权利要求1所述的基于三维骨架提取的移动设备人体位姿估计方法，其特征在于，根据所获得的3D人体关节点计算得到肢体间角度，肢体间角度包含左肩夹角
Figure 678889DEST_PATH_IMAGE010
、右肩夹角
Figure DEST_PATH_IMAGE011
、左手肘夹角
Figure 960965DEST_PATH_IMAGE012
、右手肘夹角
Figure DEST_PATH_IMAGE013
、左膝盖夹角
Figure 396626DEST_PATH_IMAGE014
、右膝盖夹角
Figure DEST_PATH_IMAGE015
；
其中，左肩夹角
Figure 831588DEST_PATH_IMAGE010
的计算方法为：
颈部关节点到左肩关节点连线与左手肘关节点到左肩关节点连线的夹角
Figure 516647DEST_PATH_IMAGE010
；
其中，右肩夹角
Figure 133573DEST_PATH_IMAGE011
的计算方法为：
颈部关节点到右肩关节点连线与右手肘关节点到右肩关节点连线的夹角
Figure 954899DEST_PATH_IMAGE011
；
其中，左手肘夹角
Figure 100709DEST_PATH_IMAGE012
的计算方法为：
左肩关节点到左手肘关节点连线与左手腕关节点到左手肘关节点连线的夹角
Figure 7485DEST_PATH_IMAGE012
；
其中，右手肘夹角
Figure 162523DEST_PATH_IMAGE013
的计算方法为：
右肩关节点到右手肘关节点连线与右手腕关节点到右手肘关节点连线的夹角
Figure 838355DEST_PATH_IMAGE013
；
其中，左膝盖夹角
Figure 420646DEST_PATH_IMAGE014
的计算方法为：
左髋关节点到左膝盖关节点连线与左脚踝关节点到左膝盖关节点连线的夹角
Figure 814718DEST_PATH_IMAGE014
；
其中，右膝盖夹角
Figure 507868DEST_PATH_IMAGE015
的计算方法为：
右髋关节点到右膝盖关节点连线与右脚踝关节点到右膝盖关节点连线的夹角
Figure 303786DEST_PATH_IMAGE015
；
根据所获得的3D人体关节点的位置以及所获得的肢体间角度，估计被拍摄者的位姿以及移动设备的拍摄机位；
其中，基于左肩夹角
Figure 56978DEST_PATH_IMAGE010
、右肩夹角
Figure 672767DEST_PATH_IMAGE011
、左手肘夹角
Figure 169607DEST_PATH_IMAGE012
、右手肘夹角
Figure 820032DEST_PATH_IMAGE013
、颈部关节点、左肩关节点、右肩关节点、左手肘关节点、右手肘关节点、左手腕关节点和右手腕关节点，判定得到被拍摄者上肢的动作：当左肩夹角
Figure 475616DEST_PATH_IMAGE010
和右肩夹角
Figure 109860DEST_PATH_IMAGE011
为85°-95°，左手肘夹角
Figure 144812DEST_PATH_IMAGE012
和右手肘夹角
Figure 649743DEST_PATH_IMAGE013
为170°-180°，且左手肘关节点位于左肩关节点下方、右手肘关节点位于右肩关节点下方时，判定被拍摄者的手臂为自然下垂状态；当左肩夹角
Figure 744738DEST_PATH_IMAGE010
与左手肘夹角
Figure 335119DEST_PATH_IMAGE012
之和、右肩夹角
Figure 173762DEST_PATH_IMAGE011
与右手肘夹角
Figure 798778DEST_PATH_IMAGE013
之和均为170°-180°，且左手肘关节点位于左肩关节点下方、右手肘关节点位于右肩关节点下方时，判定被拍摄者的手臂为双臂正平端于胸前状态；
其中，根据左膝盖夹角
Figure 64675DEST_PATH_IMAGE014
、右膝盖夹角、左髋关节点、右髋关节点、左膝盖关节点、右膝盖关节点、左脚踝关节点和右脚踝关节点，判定得到被拍摄者下肢的动作：当左膝盖夹角
Figure 519107DEST_PATH_IMAGE014
和右膝盖夹角
Figure 998630DEST_PATH_IMAGE015
为170°-180°，判定被拍摄者处于直立状态；当左膝盖夹角
Figure 435427DEST_PATH_IMAGE014
和右膝盖夹角
Figure 401DEST_PATH_IMAGE015
为85°-95°，判定被拍摄者处于坐姿状态；
其中，每个动作预先设定鼻子关节点在取景框的限定区域，根据被拍摄者的鼻子关节点的坐标，判定鼻子关节点是否处于预先设定的限定区域；
其中，根据被拍摄者的左肩关节点与右肩关节点之间的连线与图像所在平面法向量的夹角，判断拍摄者的拍摄机位处于正面还是侧面：如果被拍摄者的左肩关节点与右肩的关节点之间的连线与图像所在平面法向量的夹角为90°，则判定拍摄者的拍摄机位处于正面；如果被拍摄者的左肩关节点与右肩关节点之间的连线与图像所在平面法向量的夹角小于90°，则判定拍摄者的拍摄机位处于侧面；
其中，根据左肩关节点和右肩关节点之间的连线的中点到图像所在平面的投影距离，判定被拍摄者距离摄像头的距离：如果被拍摄者距离摄像头的距离小于当前判定动作的设定阈值，则判定拍摄者离被拍摄者过远；如果被拍摄者距离摄像头的距离大于当前判定动作的设定阈值，则判定拍摄者离被拍摄者过近。
CN202010863038.7A 2020-08-25 2020-08-25 基于三维骨架提取的移动设备人体位姿估计方法 Active CN112164091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010863038.7A CN112164091B (zh) 2020-08-25 2020-08-25 基于三维骨架提取的移动设备人体位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010863038.7A CN112164091B (zh) 2020-08-25 2020-08-25 基于三维骨架提取的移动设备人体位姿估计方法

Publications (2)

Publication Number Publication Date
CN112164091A true CN112164091A (zh) 2021-01-01
CN112164091B CN112164091B (zh) 2022-08-16

Family

ID=73860154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010863038.7A Active CN112164091B (zh) 2020-08-25 2020-08-25 基于三维骨架提取的移动设备人体位姿估计方法

Country Status (1)

Country Link
CN (1) CN112164091B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800892A (zh) * 2021-01-18 2021-05-14 南京邮电大学 一种基于openpose的人体姿态识别方法
CN113158804A (zh) * 2021-03-23 2021-07-23 清华大学 一种基于3d姿态的端到端交警手势识别方法和系统
CN113569828A (zh) * 2021-09-27 2021-10-29 南昌嘉研科技有限公司 一种人体姿态识别方法、系统、存储介质及设备
CN113627369A (zh) * 2021-08-16 2021-11-09 南通大学 一种竞拍场景下的动作识别与跟踪方法
TWI768852B (zh) * 2021-04-28 2022-06-21 緯創資通股份有限公司 人體方向之偵測裝置及人體方向之偵測方法
WO2022227664A1 (zh) * 2021-04-25 2022-11-03 达闼机器人股份有限公司 机器人姿态的控制方法、机器人、存储介质及计算机程序
JP2023108595A (ja) * 2022-01-25 2023-08-04 台州学院 人間と機械の協働による組み立てシーン下での人体行動識別方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRANCESC MORENO-NOGUER: "3D Human Pose Estimation from a Single Image via Distance Matrix Regression", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800892A (zh) * 2021-01-18 2021-05-14 南京邮电大学 一种基于openpose的人体姿态识别方法
CN112800892B (zh) * 2021-01-18 2022-08-26 南京邮电大学 一种基于openpose的人体姿态识别方法
CN113158804A (zh) * 2021-03-23 2021-07-23 清华大学 一种基于3d姿态的端到端交警手势识别方法和系统
WO2022227664A1 (zh) * 2021-04-25 2022-11-03 达闼机器人股份有限公司 机器人姿态的控制方法、机器人、存储介质及计算机程序
TWI768852B (zh) * 2021-04-28 2022-06-21 緯創資通股份有限公司 人體方向之偵測裝置及人體方向之偵測方法
JP2022170649A (ja) * 2021-04-28 2022-11-10 緯創資通股▲ふん▼有限公司 人体の方向を検出する検出装置、および、人体の方向を検出する検出方法
JP7235826B2 (ja) 2021-04-28 2023-03-08 緯創資通股▲ふん▼有限公司 人体の方向を検出する検出装置、および、人体の方向を検出する検出方法
US11816860B2 (en) 2021-04-28 2023-11-14 Wistron Corp. Detection device for detecting human-body orientation and detection method for detecting human-body orientation
CN113627369A (zh) * 2021-08-16 2021-11-09 南通大学 一种竞拍场景下的动作识别与跟踪方法
CN113569828A (zh) * 2021-09-27 2021-10-29 南昌嘉研科技有限公司 一种人体姿态识别方法、系统、存储介质及设备
JP2023108595A (ja) * 2022-01-25 2023-08-04 台州学院 人間と機械の協働による組み立てシーン下での人体行動識別方法
JP7523729B2 (ja) 2022-01-25 2024-07-29 台州学院 人間と機械の協働による組み立てシーン下での人体行動識別方法

Also Published As

Publication number Publication date
CN112164091B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN112164091B (zh) 基于三维骨架提取的移动设备人体位姿估计方法
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
US10529137B1 (en) Machine learning systems and methods for augmenting images
TWI779970B (zh) 圖像處理方法、處理器、電子設備與電腦可讀存儲介質
CN113496507B (zh) 一种人体三维模型重建方法
WO2021052375A1 (zh) 目标图像生成方法、装置、服务器及存储介质
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
WO2019200749A1 (zh) 识别人脸的方法、装置、计算机设备和存储介质
CN112131985B (zh) 一种基于OpenPose改进的实时轻量人体姿态估计方法
CN111598998A (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
WO2021063271A1 (zh) 人体模型重建方法、重建系统及存储介质
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN110147737B (zh) 用于生成视频的方法、装置、设备和存储介质
US11138812B1 (en) Image processing for updating a model of an environment
US12020374B2 (en) Body shape and pose estimation via volumetric regressor for raw three dimensional scan models
WO2022179603A1 (zh) 一种增强现实方法及其相关设备
CN114611600A (zh) 一种基于自监督技术的滑雪运动员三维姿态估计方法
CN114549765A (zh) 三维重建方法及装置、计算机可存储介质
Kang et al. Interactive animation generation of virtual characters using single RGB-D camera
WO2024059374A1 (en) User authentication based on three-dimensional face modeling using partial face images
CN110415322B (zh) 虚拟对象模型的动作指令的生成方法和装置
Nguyen et al. Combined YOLOv5 and HRNet for high accuracy 2D keypoint and human pose estimation
AU2020436768B2 (en) Joint rotation inferences based on inverse kinematics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant