CN116382455A - 用户姿态交互方法及系统及装置及介质 - Google Patents

Abstract

本发明公开了用户姿态交互方法及系统及装置及介质，涉及交互领域，在采集区域内采集用户图像信息，根据图像信息获取用户骨骼点信息，骨骼点信息包括若干原始骨骼点及其对应的坐标，根据若干原始骨骼点确定两个基准点；根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；根据缩放比例W、若干原始骨骼点的坐标获取每个原始骨骼点对应的映射骨骼点及其坐标；从头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形中的至少一个得到并显示图形单位组成的用户交互姿态；显示用户交互姿态。用户交互姿态通过图形单元进行显示，不仅能更好的展示用户姿态，体现用户姿势变化，能进一步的提高使用效率，增加用户使用体验感。

Description

用户姿态交互方法及系统及装置及介质

技术领域

本发明涉及交互领域，具体涉及用户姿态交互方法及系统及装置及介质。

背景技术

随着科学技术的发展，运动捕捉技术已经在动画，电影，运动教学等领域得到了广泛的应用，运动捕捉技术是一种用于准确测量运动物体在三维空间运动状况的技术，它通过运动捕捉设备把运动物体的运动状况以数字的形式记录下来，然后使用计算机对运动数据进行处理，得到不同时间计量单位上物体的空间坐标，当前的运动捕捉技术主要包括以下几种方式：机械式运动捕捉、电磁式运动捕捉、声学式运动捕捉、光学式运动捕捉、惯性传感器运动捕捉等。光学运动捕捉使用多台相机从不同的角度拍摄对象，将采集到的图像送入计算机计算出每个标记点的空间位置，进而根据已知的骨骼信息得到关节点的旋转角度和人体的运动信息，其优点是精度高、具备捕捉关节、手指甚至面部表情的细微变化能力。

虚拟现实交互技术是一种新兴的综合集成技术，人们可利用计算机来虚构一个3D世界，并与虚拟的3D世界产生交互作用。近年来，体感交互技术蓬勃发展，渐渐走进人们的生活。通过立体显示器，用户可观看到立体画面，同时通过Kinect体感设备，用户可以在不手持或触摸任何设备的情况下，将肢体动作转化为与立体显示器中的虚拟3D图像进行沟通的“语言”，自然地实现人与虚拟空间的交互。

现有的大多数基于Kinect体感设备的交互应用中，如基于Kinect体感设备的3D立体试衣装置，多是将人体3D坐标转换为以二维坐标为基准的数据，控制虚拟物体在二维方向上移动，这种方法在实际操作过程中经常容易出现偏差，当用户在做下蹲或某些动作时，二维坐标会发生重叠，影响交互效果。还有的系统将人体骨骼坐标转换为虚拟3D空间中的坐标，但是该系统复杂，不能实时的进行交互，使用效果较差。

发明内容

本发明的目的在于提供用户姿态交互方法及系统及装置及介质，通过人体骨骼点以及各部位的比例关系，对用户姿态进行映射，不仅能快速进行交互，同时能提高交互的稳定性。

为实现上述发明目的，本发明提供了用户姿态交互方法，包括：

在采集区域内采集用户图像信息，根据图像信息获取用户骨骼点信息，骨骼点信息包括若干原始骨骼点及其对应的坐标，根据若干原始骨骼点确定两个基准点；

根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；

根据缩放比例W、若干原始骨骼点的坐标获取每个原始骨骼点对应的映射骨骼点及其坐标；

根据若干映射骨骼点得到头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形中的至少一个，从头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形中的至少一个得到并显示图形单位组成的用户交互姿态；

其中，若干映射骨骼点包括头部骨骼点、喉部骨骼点、左胯骨骼点、左膝骨骼点、左脚骨骼点、右胯骨骼点、右膝骨骼点、右脚骨骼点、胯部中心骨骼点、左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点中的一个或多个。

优选的，两个基准点为喉部骨骼点和胯部中心骨骼点。两个基准点为人体长度基本确定的两个骨骼点，两个基准点可以为喉部骨骼点和胯部中心骨骼点，也可以为头顶骨骼点和盆骨骨骼点，还可以为其他位置，只要是人体基本长度确定的，基本不会变化的均可以作为基准点，确定基准点后，根据人体参数，预设的基准点长度，对比两个基准点之间的距离和预设的基准点长度，得到两者之间的缩放比例W，根据缩放比例W缩放其他骨骼点的坐标，进而得到缩放后每个骨骼点的新的位置信息。

进一步的，以头部骨骼点为圆心、头部骨骼点预设的半径值得到节点圆，该节点圆为头部图形。以第一骨骼点、第二骨骼点、第三骨骼点为圆心，第一骨骼点、第二骨骼点、第三骨骼点预设的半径值得到三个节点圆；以第一骨骼点、第二骨骼点、第三骨骼点中相邻两个骨骼点对应的节点圆的外公切线和第一骨骼点、第二骼点、第三骨骼点对应的节点圆分别组成左臂图形或右臂图形或左腿图形或右腿图形；左臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左肩骨骼点、左手肘骨骼点、左手骨骼点；右臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右肩骨骼点、右手肘骨骼点、右手骨骼点；左腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左胯骨骼点、左膝骨骼点、左脚骨骼点；右腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右胯骨骼点、右膝骨骼点、右脚骨骼点。

第一骨骼点和第二骨骼点之间的距离大于或等于第一骨骼点和第二骨骼点对应的节点圆的半径和，且第一骨骼点和第二骨骼点之间的距离小于或等于预设的第一长度；第二骨骼点和第三骨骼点之间的距离大于或等于第二骨骼点和第三骨骼点对应的节点圆的半径和，第二骨骼点和第三骨骼点之间的距离小于或等于预设的第二长度。除头部图形外，本发明限制了组成用户交互姿态的其他图形的最短长度为相邻两个节点圆外切时的长度，即第一骨骼点预设的半径值大于第二骨骼点预设的半径值，第二骨骼点预设的半径值大于第三骨骼点预设的半径值。一般来说，对于大多数人，观感上膝盖对于整个腿部和手肘对于整个手臂在宽度上是更大的，因此我们这样设置使得最终映射出的用户交互姿态看起来更加符合人体构造。同时在用户实际处于更短的长度时，如用户手臂垂直于采集图像的摄像头时，我们的用户交互姿态也只会显示到这个长度，这样能进一步的提高交互效果，避免骨骼点重合导致显示的用户交互姿态过渡变形的问题。

而限制最长的长度为预设的第一长度或第二长度，是因为在正常情况下，采集装置获取的用户的手臂或腿的长度最大只能是用户手臂或腿的原长度，因此我们会按照正常的人体比例设置一个第一长度和第二长度，以防止由于获取的骨骼点坐标出现问题时，显示的用户交互姿态中，用户的手臂或腿的长度过长，而使得用户交互姿态不符合人体结构。具体的第一长度和第二长度的值可以根据实际情况调整，本发明并不做具体限定。

关于头部骨骼点、喉部骨骼点、左胯骨骼点、左膝骨骼点、左脚骨骼点、右胯骨骼点、右膝骨骼点、右脚骨骼点、胯部中心骨骼点、左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点预设的半径值，可以根据实际使用情况进行调整，可以结合显示屏幕的大小等进行调整，一般来说，对于左臂图形、右臂图形、左腿图形和右腿图形而言，第一骨骼点预设的半径值大于第二骨骼点预设的半径值，第二骨骼点预设的半径值大于第三骨骼点预设的半径值，同时，头部骨骼点的预设半径最大，这样人体更加协调。

此外在本发明中，以左肩骨骼点为圆心、左肩骨骼点预设的半径值得到左肩节点圆，以右肩骨骼点为圆心、右肩骨骼点预设的半径值得到右肩节点圆，以左胯骨骼点为圆心、左胯骨骼点预设的半径值得到左胯节点圆，以右胯骨骼点为圆心、右胯骨骼点预设的半径值得到右胯节点圆，以左肩节点圆、右肩节点圆、右胯肩节点圆、左胯节点圆之间的连线组成躯干图形。躯干图形可以为左肩节点圆和右肩节点圆上位于上侧的外公切线、左肩节点圆和左胯节点圆上位于左侧的外公切线、右肩节点圆和右胯节点圆上位于右侧的外公切线、左胯节点圆和右胯节点圆上位于下侧的外公切线、以及左肩节点圆、右肩节点圆、右胯肩节点圆、左胯节点圆组成的图形；

躯干图形还可以为左肩节点圆、右肩节点圆、右胯肩节点圆、左胯节点圆以及左肩节点圆与右肩节点圆之间的连线、右胯肩节点圆和左胯节点圆之间的连线、右肩节点圆和右胯肩节点圆之间的连线、左肩节点圆和左胯节点圆之间的连线组成的图形，其中节点圆之间的连线可以为折线，具体的可以根据实际的使用情况调节，本发明在此处并不做限定。

同时，用户交互姿态为头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形中的至少一个，用户交互姿态可以为头部图形，也可以为左臂图形和右臂图形的组合，还可以为左腿图形和右腿图形的组合，还可以为头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形的组合。本发明对用户交互姿态的具体组合不做限定，我们支持根据实际需求仅部分显示用户的身体动作。比如，我们有一个头部运动或仅需要用户的头部进行运动的游戏，通过一系列左右歪头、点头仰头等动作来活动用户的头部，这时我们可以仅关注用户的头部骨骼点，忽略除头部骨骼点之外的其他骨骼点的移动，并且用户交互姿态也仅使用头部图形模拟用户的头部骨骼点的运动，对于其他骨骼点映射的图形单位，即左臂图形、右臂图形、躯干图形、左腿图形和右腿图形，可以忽略用户的移动，统一显示为不移动的静止状态或显示为根据背景音乐或实际需求的动作，而不模拟用户的动作。

具体的，本发明在使用时，还可以包括以下步骤：

在采集区域内采集用户图像信息，根据图像信息获取用户骨骼点信息；

根据骨骼点信息建立模型矩阵；

根据模型矩阵得到并显示用户交互姿态，所述用户交互姿态由若干图形单位组成。

本发明首先在采集区域中采集用户的图像信息，并根据图像信息得到每个图像中用户的骨骼点信息，骨骼点信息中包括若干骨骼点以及骨骼点在对应的坐标，在使用时，首先根据骨骼点信息建立模型矩阵，进而将用户的骨骼点映射到模型中，使其根据用户自身的骨骼点情况和预设的长度得到映射到模型中的每个骨骼点对应的位置信息，具体包括：

骨骼点信息包括若干骨骼点及其对应的坐标，根据若干骨骼点确定两个基准点；

根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；

根据缩放比例W、若干骨骼点的坐标获取模型矩阵中每个骨骼点对应的位置信息，得到模型矩阵。

采集装置在采集用户图像，并通过用户图像得到骨骼点信息时，由于每个人的体现不同，直接映射到用户交互姿态的话，会发生算法复杂并且用户的每个部位映射后的长度容易发生比例不协调的问题，进而在显示用户交互姿态时会影响交互效果，影响使用效率，因此，本发明首先将骨骼点信息映射到模型矩阵上，然后再通过模型矩阵得到用户交互姿态，在适应每个用户体型不同的基础上，不仅能够得到更具用户个性的用户交互姿态，同时还能够提高用户交互姿态的协调性，提高交互体验，进而提高使用效率。

在模型矩阵中，在若干骨骼点确定两个基准点，两个基准点为人体长度基本确定的两个骨骼点，两个基准点可以为喉部骨骼点和胯部中心骨骼点，也可以为头顶骨骼点和盆骨骨骼点，还可以为其他位置，只要是人体基本长度确定的，基本不会变化的均可以作为基准点，确定基准点后，根据人体参数，预设的基准点长度，对比两个基准点之间的距离和预设的基准点长度，得到两者之间的缩放比例W，根据缩放比例W缩放其他骨骼点的坐标，进而得到缩放后每个骨骼点的新的位置信息，即每个骨骼点在模型矩阵中的位置信息。

其次，步骤3中，模型矩阵中包括若干映射骨骼点，根据若干映射骨骼点得到头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形，所述图形单位包括头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形。

与现有的映射交互方法相比，现有的映射交互方法要么是将用户的姿态映射为3D的模式进行显示，要么是以骨骼点的形式进行显示，若通过3D的模式进行显示，不仅算法复杂，同时交互的灵动性较差，不能快速准确的进行显示，交互效率较差。以骨骼点的形式进行显示，当用户做出某些动作使骨骼点重合时，显示出来的用户交互姿态为重合在一起的骨骼点，交互效果较差，不利于长期使用。本方法将若干映射骨骼点转化为头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形，并通过头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形组成图形单位，进而对用户姿态进行显示，不仅能进一步的简化计算难度，同时，在以图形单位进行显示时，能进一步的提高交互效果，避免出现部位重合影响交互的问题。

具体的，在得到用户交互姿态，具体包括：

模型矩阵中包括若干映射骨骼点，若干映射骨骼点包括头部骨骼点、喉部骨骼点、左胯骨骼点、左膝骨骼点、左脚骨骼点、右胯骨骼点、右膝骨骼点、右脚骨骼点、胯部中心骨骼点、左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点；

根据头部骨骼点获取头部图形；头部图形为以头部骨骼点为圆心、头部骨骼点预设的半径值得到节点圆；

根据左肩骨骼点、右肩骨骼点、左胯骨骼点和右胯骨骼点获取躯干图形；根据左肩骨骼点、左手肘骨骼点和左手骨骼点获取左手图形；根据右肩骨骼点、右手肘骨骼点和右手骨骼点获取左手图形；根据左胯骨骼点、左膝骨骼点、左脚骨骼点获取左腿图形；根据右胯骨骼点、右膝骨骼点、右脚骨骼点获取右腿图形；第一骨骼点、第二骨骼点、第三骨骼点中相邻两个骨骼点对应节点圆的外公切线和第一骨骼点、第二骼点、第三骨骼点对应的节点圆分别组成左臂图形、右臂图形、左腿图形和右腿图形；第一骨骼点和第二骨骼点之间的距离大于或等于第一骨骼点和第二骨骼点对应的节点圆的半径和，第二骨骼点和第三骨骼点之间的距离大于或等于第二骨骼点和第三骨骼点对应的节点圆的半径和；其中左臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左肩骨骼点、左手肘骨骼点、左手骨骼点；右臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右肩骨骼点、右手肘骨骼点、右手骨骼点；左腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左胯骨骼点、左膝骨骼点、左脚骨骼点；右腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右胯骨骼点、右膝骨骼点、右脚骨骼点。

具体的，以左肩骨骼点对应的第一节点圆、左手肘骨骼点对应的第二节点圆、左手骨骼点对应的第三节点圆以及第一节点圆和第二节点圆的外公切线、第二节点圆和第三节点圆的外公切线得到左手图形；其中左肩骨骼点与左手肘骨骼点之间的距离大于或等于第一节点圆与第二节点圆的半径和，左手肘骨骼点和左手骨骼点之间的距离大于或等于第二节点圆与第三节点圆的半径和。

以右肩骨骼点对应的第四节点圆、右手肘骨骼点对应的第五节点圆、右手骨骼点对应的第六节点圆以及第四节点圆和第五节点圆的外公切线、第五节点圆和第六节点圆的外公切线得到右手图形；右肩骨骼点与右手肘骨骼点之间的距离大于或等于第四节点圆与第五节点圆的半径和，右手肘骨骼点与右手骨骼点之间的距离大于或等于第五节点圆与第六节点圆的半径和。

以左胯骨骼点对应的第七节点圆、左膝骨骼点对应的第八节点圆、左脚骨骼点对应的第九节点圆以及第七节点圆和第八节点圆的外公切线、第八节点圆和第九节点圆的外公切线得到左腿图形；左胯骨骼点和左膝骨骼点之间的距离大于或等于第七节点圆和第八节点圆的半径和，左膝骨骼点和左脚骨骼点之间的距离大于或等于第八节点圆和第九节点圆的半径和。

以右胯骨骼点对应的第十节点圆、右膝骨骼点对应的第十一节点圆、右脚骨骼点对应的第十二节点圆以及第十节点圆和第十一节点圆的外公切线、第十一节点圆和第十二节点圆的外公切线得到右腿图形。右胯骨骼点和右膝骨骼点之间的距离大于或等于第十节点圆和第十一节点圆的半径和，右膝骨骼点和右脚骨骼点之间的距离大于或等于第十一节点圆和第十二节点圆的半径和。

当映射骨骼点的位置发生变化时，得到的头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形的位置会发生相应变化，同时左臂图形、右臂图形、左腿图形和右腿图形的长度可能也会发生变化，左臂图形、右臂图形、左腿图形和右腿图形的最长长度为人体正面朝向手臂自然放置、腿部自然放置时的长度，而左臂图形、右臂图形、左腿图形和右腿图形的最短长度为即为相邻的节点圆之间的半径和，这样在实际的展示中不会发生骨骼点重合的现象，不仅能有效的提高交互效果，同时更好的把握用户的姿态变化，提高使用效率，

优选的，在建立模型矩阵前，本发明首先对获取的骨骼点信息进行平滑过滤处理，得到处理后的骨骼点信息，根据处理后的骨骼点信息建立模型矩阵。这样得到的用户交互姿态更为准确，能进一步的提高准确度。

优选的，在对显示用户交互姿态前，并不是对所有采集到的骨骼点信息都进行展示，在对骨骼点信息进行平滑过滤处理时，对置信度较低或用户出画的发出预警，不显示用户交互姿态；同时，在采集用户图像信息时，也会判断用户是否位于采集区域内，若用户不位于采集区域内，则发出预警提示信号，若位于采集区域内，则发出采集用户图像信息的提示信号，具体的：

在采集区域内通过采集装置采集用户图像信息；

根据图像信息获取用户骨骼点信息，根据骨骼点信息获取用户着地点；

根据用户着地点的长度获取用户到采集装置的距离y；

通过比较用户到采集装置的距离y与阈值M，判断用户是否位于采集区域内，并发出提示信号。

与本发明中的方法对应，本发明还提供了用户姿态交互系统，包括：

采集模块，用于在采集区域内采集用户图像信息；

骨骼点模块，用于根据图像信息获取用户骨骼点信息，骨骼点信息包括若干原始骨骼点及其对应的坐标；

基准点模块，用于根据若干原始骨骼点确定两个基准点；

计算模块，用于根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；

映射模块，根据缩放比例W、若干原始骨骼点的坐标获取每个原始骨骼点对应的映射骨骼点及其坐标；

交互模块，用于根据若干映射骨骼点得到头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形，头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形组成用户交互姿态；

显示模块，用于显示用户交互姿态。

与本发明中的方法对应，本发明还提供了一种电子装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述用户姿态交互方法的步骤。

与本发明中的方法对应，本发明还提供了一种存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述用户姿态交互方法的步骤。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明首先将原始骨骼点信息通过变化矩阵映射为预设的固定值，并且每个骨骼点的长度变化按比例缩放，能适用于不同体型的用户，将模型矩阵中的映射骨骼点进行映射得到用户交互姿态，并且用户交互姿态有若干图形组成图形单元，通过图形单元进行显示，不仅能更好的展示用户姿态，同时能进一步的体现用户姿势变化，其次在交互时，能进一步的提高使用效率，增加用户使用体验感。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为用户姿态交互方法的流程示意图；

图2为实施例2中头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形的结构示意图；

图3为实施例2中映射骨骼点的位置发生变化时，图像单位的结构示意图；

图4为实施例2中相邻映射骨骼点之间的最小长度示意图；

图5为用户姿态交互系统的组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

实施例一

请参考图1，图1为用户姿态交互方法的流程示意图，本发明提供了用户姿态交互方法，所述方法包括：

步骤1在采集区域内采集用户图像信息，根据图像信息获取用户骨骼点信息，骨骼点信息包括若干原始骨骼点及其对应的坐标，根据若干原始骨骼点确定两个基准点；所述两个基准点为喉部骨骼点和胯部中心骨骼点。

步骤2根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；

步骤3根据缩放比例W、若干原始骨骼点的坐标获取每个原始骨骼点对应的映射骨骼点及其坐标；其中若干映射骨骼点包括头部骨骼点、喉部骨骼点、左胯骨骼点、左膝骨骼点、左脚骨骼点、右胯骨骼点、右膝骨骼点、右脚骨骼点、胯部中心骨骼点、左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点。

步骤4根据若干映射骨骼点得到头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形，头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形组成用户交互姿态；以头部骨骼点为圆心、头部骨骼点预设的半径值得到节点圆，该节点圆为头部图形。以第一骨骼点、第二骨骼点、第三骨骼点为圆心，第一骨骼点、第二骨骼点、第三骨骼点预设的半径值得到三个节点圆；

以第一骨骼点、第二骨骼点、第三骨骼点中相邻两个骨骼点对应的节点圆的外公切线和第一骨骼点、第二骼点、第三骨骼点对应的节点圆分别组成左臂图形或右臂图形或左腿图形或右腿图形；

左臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左肩骨骼点、左手肘骨骼点、左手骨骼点；右臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右肩骨骼点、右手肘骨骼点、右手骨骼点；左腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左胯骨骼点、左膝骨骼点、左脚骨骼点；右腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右胯骨骼点、右膝骨骼点、右脚骨骼点。第一骨骼点和第二骨骼点之间的距离大于或等于第一骨骼点和第二骨骼点对应的节点圆的半径和，第二骨骼点和第三骨骼点之间的距离大于或等于第二骨骼点和第三骨骼点对应的节点圆的半径和。第一骨骼点预设的半径值大于第二骨骼点预设的半径值，第二骨骼点预设的半径值大于第三骨骼点预设的半径值。

步骤5显示用户交互姿态。

实施例二

本发明提供了用户姿态交互方法，所述方法包括：

步骤1在采集区域内采集用户图像信息，根据图像信息获取用户骨骼点信息；

步骤11在采集区域内通过采集装置采集用户图像信息；

步骤12根据图像信息获取用户骨骼点信息，根据骨骼点信息获取用户着地点；

步骤13根据用户着地点的长度获取用户到采集装置的距离y；

步骤14通过比较用户到采集装置的距离y与阈值M，判断用户是否位于采集区域内，并发出提示信号。

步骤2对获取的骨骼点信息进行平滑过滤处理，得到处理后的骨骼点信息，根据处理后的骨骼点信息建立模型矩阵。

步骤21骨骼点信息包括若干骨骼点及其对应的坐标，根据若干骨骼点确定两个基准点；

步骤22根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；

步骤23根据缩放比例W、若干骨骼点的坐标获取模型矩阵中每个骨骼点对应的位置信息，得到模型矩阵。

步骤3根据模型矩阵得到并显示用户交互姿态，所述用户交互姿态由若干图形单位组成。

步骤31模型矩阵中包括若干映射骨骼点，若干映射骨骼点包括头部骨骼点、喉部骨骼点、左胯骨骼点、左膝骨骼点、左脚骨骼点、右胯骨骼点、右膝骨骼点、右脚骨骼点、胯部中心骨骼点、左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点中的一个或多个；

步骤32根据头部骨骼点获取头部图形；

步骤33根据左肩骨骼点、右肩骨骼点、左胯骨骼点和右胯骨骼点获取躯干图形；根据左肩骨骼点、左手肘骨骼点和左手骨骼点获取左手图形；根据右肩骨骼点、右手肘骨骼点和右手骨骼点获取左手图形；根据左胯骨骼点、左膝骨骼点、左脚骨骼点获取左腿图形；根据右胯骨骼点、右膝骨骼点、右脚骨骼点获取右腿图形；

步骤34根据头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形得到并显示图形单位组成的用户交互姿态。

其中，以每个映射骨骼点为圆心、每个映射骨骼点预设的半径值得到若干节点圆，头部图形为头部骨骼点对应的节点圆；第一骨骼点、第二骨骼点、第三骨骼点中相邻两个骨骼点对应节点圆的外公切线和第一骨骼点、第二骼点、第三骨骼点对应的节点圆分别组成左臂图形、右臂图形、左腿图形和右腿图形；第一骨骼点和第二骨骼点之间的距离大于或等于第一骨骼点和第二骨骼点对应的节点圆的半径和，第二骨骼点和第三骨骼点之间的距离大于或等于第二骨骼点和第三骨骼点对应的节点圆的半径和；其中左臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左肩骨骼点、左手肘骨骼点、左手骨骼点；右臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右肩骨骼点、右手肘骨骼点、右手骨骼点；左腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左胯骨骼点、左膝骨骼点、左脚骨骼点；右腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右胯骨骼点、右膝骨骼点、右脚骨骼点。

下面结合具体的例子对本发明中的用户姿态交互方法进行介绍：

步骤1在采集区域内采集用户图像信息，根据图像信息获取用户骨骼点信息；

步骤11在采集区域内通过采集装置采集用户图像信息；

步骤12根据图像信息获取用户骨骼点信息，根据骨骼点信息获取用户着地点；

步骤121通过模型输出的图像信息中的15个骨骼点坐标确定人体的着地点位置，假设人体始终部分着地的情况下，在图像中的着地点位置为竖直方向的最低点；

步骤13根据用户着地点的长度获取用户到采集装置的距离y；

步骤131在采集设备出厂前通过多个数据拟合出着地点即人和采集设备之间的位置关系公式y＝f(x)＝ax²+bx+c，其中y为估计的采集设备与人体之间的距离，x为着地点的纵坐标大小。

在本实施例中，采集设备为智能健身镜，在本设备出厂前拟合出的公式为y＝f(x)＝ 23.0830x²-42.4552x+20.0533；在确定x时，本实施例中以图像的左边框为Y轴，图像的下边框为X轴，着地点为图像信息中的15个骨骼点中竖直方向的最低点，确定着地点后，获取着地点在Y轴上的长度作为x。

将x的值带入公式为y＝f(x)＝23.0830x²-42.4552x+20.0533中，得到该x对应的y的大小。

步骤14通过比较用户到采集装置的距离y与阈值M，判断用户是否位于采集区域内，并发出提示信号。阈值M包括M1和M2，其中M1大于M2，M1和M2的大小为根据实际使用情况预设的。

当用户到采集装置的距离y小于或等于阈值M2时，证明用户距离健身镜太近，健身镜发出告警提示信号，当用户到采集装置的距离y大于或等于阈值M1时，证明用户距离健身镜太远，健身镜发出告警提示信号，只有当用户到采集装置的距离y在阈值M1和M2之间时，采集装置才将根据图像信息获取的用户骨骼点信息发送给步骤2。

步骤2对获取的骨骼点信息进行平滑过滤处理，得到处理后的骨骼点信息，根据处理后的骨骼点信息建立模型矩阵。

在进行平滑过滤处理时，为了降低原始骨骼点抖动，使用低通滤波减少人体骨骼低速抖动的问题。在使用时，获取的1分钟内图像信息为若干帧连续的图像，则平滑后的位置坐标 x表示为x＝a*x1+(1-a)x2，x1为当前骨骼点的横坐标，x2为上一帧得到的骨骼点的横坐标；平滑后的位置坐标y表示为y＝a*1+(1-a)2，y1为当前骨骼点的纵坐标，y2为上一帧得到的骨骼点的纵坐标；其中，α＝1.0-1.0/(1.0+v)，v为取一个窗口大小为10的历史数据作为统计数据，计算骨骼点在当前窗口下的相对速度v。移动速度越快，当前骨骼点越标准。当骨骼点有比较大的运动幅度和相对移动速度的时候，用当前的骨骼点位置来更新实时的坐标。

步骤21骨骼点信息包括头部骨骼点、喉部骨骼点、左胯骨骼点、左膝骨骼点、左脚骨骼点、右胯骨骼点、右膝骨骼点、右脚骨骼点、胯部中心骨骼点、左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点及其对应的过滤后的坐标，在上述骨骼点中选取喉部骨骼点和胯部中心骨骼点作为两个基准点；

步骤22根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；

步骤221获取两个基准点之间的距离；

步骤222预设的两个基准点的长度；

步骤223根据两个基准点之间的距离和预设的两个基准点的长度之间的比例，得到缩放比例W；

步骤23根据缩放比例W缩放步骤21中骨骼点的坐标，得到模型矩阵中每个骨骼点对应的位置信息，得到模型矩阵。

例如两个基准点之间的距离为T1，预设的基准点长度为T2，T1/T2＝W＝0.5

过滤后的头部骨骼点坐标为(x1，y1)，则在模型矩阵中头部骨骼点坐标为(2*x1，2*y1)

步骤3根据模型矩阵得到并显示用户交互姿态，所述用户交互姿态由若干图形单位组成。

步骤31如图2所示，根据头部骨骼点获取头部图形，头部图形为以头部骨骼点为圆心、头部骨骼点预设的半径值得到节点圆；以左肩骨骼点对应的第一节点圆、右肩骨骼点对应的第四节点圆、左胯骨骼点对应的第七节点圆和右胯骨骼点对应的第十节点圆以及其中相邻的两个节点圆之间的公切线得到躯干图形；

步骤32以左肩骨骼点对应的第一节点圆、左手肘骨骼点对应的第二节点圆、左手骨骼点对应的第三节点圆以及第一节点圆和第二节点圆的外公切线、第二节点圆和第三节点圆的外公切线得到左手图形；其中左肩骨骼点与左手肘骨骼点之间的距离大于或等于第一节点圆与第二节点圆的半径和，左手肘骨骼点和左手骨骼点之间的距离大于或等于第二节点圆与第三节点圆的半径和。

以右肩骨骼点对应的第四节点圆、右手肘骨骼点对应的第五节点圆、右手骨骼点对应的第六节点圆以及第四节点圆和第五节点圆的外公切线、第五节点圆和第六节点圆的外公切线得到右手图形；右肩骨骼点与右手肘骨骼点之间的距离大于或等于第四节点圆与第五节点圆的半径和，右手肘骨骼点与右手骨骼点之间的距离大于或等于第五节点圆与第六节点圆的半径和。

以左胯骨骼点对应的第七节点圆、左膝骨骼点对应的第八节点圆、左脚骨骼点对应的第九节点圆以及第七节点圆和第八节点圆的外公切线、第八节点圆和第九节点圆的外公切线得到左腿图形；左胯骨骼点和左膝骨骼点之间的距离大于或等于第七节点圆和第八节点圆的半径和，左膝骨骼点和左脚骨骼点之间的距离大于或等于第八节点圆和第九节点圆的半径和。

以右胯骨骼点对应的第十节点圆、右膝骨骼点对应的第十一节点圆、右脚骨骼点对应的第十二节点圆以及第十节点圆和第十一节点圆的外公切线、第十一节点圆和第十二节点圆的外公切线得到右腿图形。右胯骨骼点和右膝骨骼点之间的距离大于或等于第十节点圆和第十一节点圆的半径和，右膝骨骼点和右脚骨骼点之间的距离大于或等于第十一节点圆和第十二节点圆的半径和。最后在健身镜显示屏中显示出来的用户交互姿态为头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形的组合，并且上述图形可以有颜色，在显示时更加生动。

当映射骨骼点的位置发生变化时，得到的头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形的位置会发生相应变化，如图3所示，同时左臂图形、右臂图形、左腿图形和右腿图形的长度可能也会发生变化，左臂图形、右臂图形、左腿图形和右腿图形的最长长度为人体正面朝向手臂自然放置、腿部自然放置时的长度，而左臂图形、右臂图形、左腿图形和右腿图形的最短长度为即为相邻的节点圆之间的半径和，即如图4所示。

实施例三

请参考图5，图5为用户姿态交互系统的组成示意图，在实施例2的基础上，本发明实施例三提供了用户姿态交互系统，所述系统包括：

采集模块，用于在采集区域内采集用户图像信息；

骨骼点模块，用于根据图像信息获取用户骨骼点信息，骨骼点信息包括若干原始骨骼点及其对应的坐标；

基准点模块，用于根据若干原始骨骼点确定两个基准点；

计算模块，用于根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；

映射模块，根据缩放比例W、若干原始骨骼点的坐标获取每个原始骨骼点对应的映射骨骼点及其坐标；

交互模块，用于根据若干映射骨骼点得到头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形，头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形组成用户交互姿态；

显示模块，用于显示用户交互姿态。

实施例四

本发明实施例四提供了一种电子装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述用户姿态交互方法的步骤。

其中，所述处理器可以是中央处理器，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中用户姿态交互装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例五

本发明实施例五提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述用户姿态交互方法的步骤。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnlyMemory， ROM)、可擦式可编程只读存储器((ErasableProgrammableReadOnlyMemory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

实施例六

在实施例2的基础上，根据头部图形、左臂图形、右臂图形和躯干图形得到并显示图形单位组成的用户交互姿态。我们有一个躯干、双手臂及头部进行运动的上肢运动，或仅需要用户的躯干、双手臂及头部进行运动的游戏，通过使用户站立双腿不动或双腿做简单的重复性动作，而躯干、双手臂及头部作为重点进行运动，例如，做出向左侧或右侧进行拉伸腰部的侧身运动或体侧运动。这时我们仅关注用户的头部骨骼点、喉部骨骼点、左胯骨骼点、右胯骨骼点、左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点，忽略除这些骨骼点之外的其他骨骼点的移动，并且用户交互姿态也仅使用头部图形、左臂图形、右臂图形、躯干图形模拟用户的头部、双手臂及躯干的运动。对于其他骨骼点映射的图形单位，即左腿图形和右腿图形，忽略用户的移动，统一显示为不移动的静止状态或显示为根据背景音乐或实际需求的动作，而不模拟用户的动作。

本实施例中头部图形、左臂图形、右臂图形和躯干图形的得到方法与实施例2的相同。

实施例七

在实施例2的基础上，根据头部图形、左臂图形、右臂图形、左腿图形和右腿图形得到并显示图形单位组成的用户交互姿态。本实施例可以为通过头部、左臂、右臂、左腿和右腿进行运动的游戏，例如通过手臂、腿部进行重复性动作，头部为跳起时需要到达的高度。此时本实施例中仅需要关注头部骨骼点、左胯骨骼点、左膝骨骼点、左脚骨骼点、右胯骨骼点、右膝骨骼点、右脚骨骼点、左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点，忽略除这些骨骼点之外的其他骨骼点的移动，并且用户交互姿态也仅使用头部图形、左臂图形、右臂图形、左腿图形和右腿图形模拟用户头部、双手臂和双腿部的运动，忽略其他骨骼点映射的图形单位，统一显示为不移动的静止状态或显示为根据背景音乐或实际需求的动作，而不模拟用户的动作。

本实施例中头部图形、左臂图形、右臂图形、左腿图形和右腿图形的得到方法与实施例 2的相同。

实施例八

在实施例2的基础上，根据头部图形得到并显示图形单位组成的用户交互姿态。我们有一个头部运动或仅需要用户的头部进行运动的游戏，通过一系列左右歪头、点头仰头等动作来活动用户的头部，这时我们仅关注用户的头部骨骼点，忽略除头部骨骼点之外的其他骨骼点的移动，并且用户交互姿态也仅使用头部图形模拟用户的头部骨骼点的运动，对于其他骨骼点映射的图形单位，即左臂图形、右臂图形、躯干图形、左腿图形和右腿图形，忽略用户的移动，统一显示为不移动的静止状态或显示为根据背景音乐或实际需求的动作，而不模拟用户的动作。

本实施例中头部图形的得到方法与实施例2的相同。

实施例九

在实施例2的基础上，根据左臂图形、右臂图形得到并显示图形单位组成的用户交互姿态。本实施例可以为通过左臂和右臂进行运动的游戏，例如通过手臂进行重复性动作，双脚、躯干和头部固定不动。此时本实施例中仅需要关注左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点，忽略除这些骨骼点之外的其他骨骼点的移动，并且用户交互姿态也仅使用左臂图形和右臂图形模拟用户双手臂的运动，忽略其他骨骼点映射的图形单位，统一显示为不移动的静止状态或显示为根据背景音乐或实际需求的动作，而不模拟用户的动作。

本实施例中左臂图形、右臂图形的得到方法与实施例2的相同。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.用户姿态交互方法，其特征在于，包括：

在采集区域内采集用户图像信息，根据图像信息获取用户骨骼点信息，骨骼点信息包括若干原始骨骼点及其对应的坐标，根据若干原始骨骼点确定两个基准点；

根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；

根据缩放比例W、若干原始骨骼点的坐标获取每个原始骨骼点对应的映射骨骼点及其坐标；

根据若干映射骨骼点得到头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形中的至少一个，从头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形中的至少一个得到并显示图形单位组成的用户交互姿态。

2.根据权利要求1所述的用户姿态交互方法，其特征在于，若干映射骨骼点包括头部骨骼点、喉部骨骼点、左胯骨骼点、左膝骨骼点、左脚骨骼点、右胯骨骼点、右膝骨骼点、右脚骨骼点、胯部中心骨骼点、左肩骨骼点、左手肘骨骼点、左手骨骼点、右肩骨骼点、右手肘骨骼点和右手骨骼点中的一个或多个。

3.根据权利要求1或2所述的用户姿态交互方法，其特征在于，两个基准点为喉部骨骼点和胯部中心骨骼点。

4.根据权利要求1所述的用户姿态交互方法，其特征在于，以头部骨骼点为圆心、头部骨骼点预设的半径值得到节点圆，该节点圆为头部图形；以左肩骨骼点为圆心、左肩骨骼点预设的半径值得到左肩节点圆，以右肩骨骼点为圆心、右肩骨骼点预设的半径值得到右肩节点圆，以左胯骨骼点为圆心、左胯骨骼点预设的半径值得到左胯节点圆，以右胯骨骼点为圆心、右胯骨骼点预设的半径值得到右胯节点圆，以左肩节点圆、右肩节点圆、右胯肩节点圆、左胯节点圆之间的连线组成躯干图形。

5.根据权利要求1所述的用户姿态交互方法，其特征在于，以第一骨骼点、第二骨骼点、第三骨骼点为圆心，第一骨骼点、第二骨骼点、第三骨骼点预设的半径值得到三个节点圆；

以第一骨骼点、第二骨骼点、第三骨骼点中相邻两个骨骼点对应的节点圆的两个外公切线和第一骨骼点、第二骼点、第三骨骼点对应的节点圆分别组成左臂图形或右臂图形或左腿图形或右腿图形；

左臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左肩骨骼点、左手肘骨骼点、左手骨骼点；右臂图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右肩骨骼点、右手肘骨骼点、右手骨骼点；左腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为左胯骨骼点、左膝骨骼点、左脚骨骼点；右腿图形中第一骨骼点、第二骨骼点、第三骨骼点分别为右胯骨骼点、右膝骨骼点、右脚骨骼点。

6.根据权利要求5所述的用户姿态交互方法，其特征在于，第一骨骼点和第二骨骼点之间的距离大于或等于第一骨骼点和第二骨骼点对应的节点圆的半径和，且第一骨骼点和第二骨骼点之间的距离小于或等于预设的第一长度；第二骨骼点和第三骨骼点之间的距离大于或等于第二骨骼点和第三骨骼点对应的节点圆的半径和，第二骨骼点和第三骨骼点之间的距离小于或等于预设的第二长度。

7.根据权利要求5所述的用户姿态交互方法，其特征在于，第一骨骼点预设的半径值大于第二骨骼点预设的半径值，第二骨骼点预设的半径值大于第三骨骼点预设的半径值。

8.用户姿态交互系统，其特征在于，包括

采集模块，用于在采集区域内采集用户图像信息；

骨骼点模块，用于根据图像信息获取用户骨骼点信息，骨骼点信息包括若干原始骨骼点及其对应的坐标；

基准点模块，用于根据若干原始骨骼点确定两个基准点；

计算模块，用于根据两个基准点之间的距离和预设的基准点长度获取缩放比例W；

映射模块，根据缩放比例W、若干原始骨骼点的坐标获取每个原始骨骼点对应的映射骨骼点及其坐标；

交互模块，用于根据若干映射骨骼点得到头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形，头部图形、左臂图形、右臂图形、躯干图形、左腿图形和右腿图形组成用户交互姿态；

显示模块，用于显示用户交互姿态。

9.一种电子装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一个所述用户姿态交互方法的步骤。

10.一种存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一个所述用户姿态交互方法的步骤。

Images