CN111860213A - 增强现实系统及其控制方法 - Google Patents

Abstract

本发明公开了一种增强现实系统及其控制方法，该系统包括：拍摄机器人，用于拍摄若干个图像，以及从若干个所述图像中检测人体特征，根据从所述图像中识别到的人体特征的数量调整拍摄角度，以及在所述人体特征的数量满足预设条件的情况下，根据所述人体特征在图像中的分布状态判断用户动作是否正确，得到动作判定结果；增强现实眼镜，用于接收所述拍摄机器人发送的动作判定结果，并显示用于表征所述判定结果的第一信息。本发明设置了机器人，可以自动调整拍摄角度，从而得到更准确的检测结果，相对于现有技术不用校准传感器，也不用穿戴传感器，更加方便。其可以广泛应用于增强现实技术领域。

Description

增强现实系统及其控制方法

技术领域

本发明涉及增强现实技术领域，尤其是一种增强现实系统的控制方法。

背景技术

增强现实(Augmented Reality，简称AR)，是将虚拟世界信息与真实世界信息进行叠加的一种技术。具体表现为，将原本在真实世界中难以表达、让人体验的虚拟信息，通过计算机技术处理叠加到真实世界的空间中，并被人类感官所感知，最终实现超越原本现实世界的感官体验。

AR眼镜，顾名思义，是运用了这一增强现实技术的眼镜。佩戴AR眼镜时，可以通过镜片的显示屏，看到普通眼镜上所看不到的虚拟信息，比如各种体感数据、与物体的距离、虚拟操作界面或其他动画内容。具体可以应用到医疗、教育、培训和健身等领域。

目前，基于增强现实的健身设备主要通过采集健身者的体感数据、健身场所环境信息并将这些信息加以处理，在AR头盔、VR眼镜盒子和AR眼镜等设备上以虚拟信息的形式进行表现，最终达到给健身者以沉浸式体验、健身建议和可视化的反馈。

在采集位姿、动作数据上，主要是通过各种各样的传感器进行。

采用惯性传感器进行动作捕捉的技术方案，其缺点在于——①必须要在身上穿戴嵌入了惯性传感器的设备(如智能服饰、护具等)，在轻便性与舒适度上欠佳，还可能会影响使用体验和健身效果；②容易受汗水侵蚀，影响设备性能；③由于惯性体感信息是经过积分而产生的，计算误差随时间而增大，长期使用下精度差；④每次使用前都需要校准，较为麻烦。

发明内容

为解决上述技术问题的至少之一，本发明的目的在于：提供一种增强现实系统及其控制方法，以通过图像识别的方式替代传感器，从而减少用户负重和减少设备维护频率。

第一方面，本发明实施例提供了：

一种增强现实系统，包括：

拍摄机器人，用于拍摄若干个图像，以及从若干个所述图像中检测人体特征，根据从所述图像中识别到的人体特征的数量调整拍摄角度，以及在所述人体特征的数量满足预设条件的情况下，根据所述人体特征在图像中的分布状态判断用户动作是否正确，得到动作判定结果；

增强现实眼镜，用于接收所述拍摄机器人发送的动作判定结果，并显示用于表征所述判定结果的第一信息。

进一步，所述人体特征包括人体关节点；

所述从所述图像中检测人体特征，具体包括：

通过沙漏网络对所述图像中的人体特征进行估算，得到多个人体特征在所述图像中的热图；

根据所述热图中各人体特征对应的最大值确定各人体特征在所述图像中分布状态。

进一步，所述根据所述人体特征在图像中的分布状态判断用户动作是否正确，具体包括：

确定当前设置的动作对应的人体特征分布信息；

对比所述人体特征在图像中的分布状态和所述人体特征分布信息，以判断动作是否正确。

进一步，所述拍摄机器人包括语音模块，所述语音模块在所述动作判定结果为不正确时，产生提示音。

进一步，所述增强现实眼镜还用于显示所述当前设置的动作的预设图像。

进一步，当所述动作判定结果为不正确时，所述拍摄机器人还用于向所述增强现实眼镜发送用于表征动作错误的肢体的第二信息；

所述增强现实眼镜显示用于表征所述第二信息的第三信息。

进一步，所述拍摄机器人包括万向轮；

所述根据从所述图像中识别到的人体特征的数量调整拍摄角度，包括：

当从当前拍摄的所述图像中识别到的人体特征的数量小于阈值，则控制万向轮转动以改变拍摄角度。

进一步，所述拍摄机器人还包括避障传感器；

所述拍摄机器人在移动时，根据所述避障传感器的信号控制所述万向轮停止。

进一步，所述拍摄机器人包括第一通信模块，所述增强现实眼镜包括第二通信模块，所述第一通信模块和第二通信模块无线连接。

第二方面，本发明实施例提供了：

一种增强现实系统的控制方法，包括以下步骤：

拍摄图像；

从所述图像中检测人体特征；

在所述人体特征的数量不满足预设条件的情况下，调整拍摄角度，并重新拍摄图像以及从新的图像中检测人体特征；

在所述人体特征的数量满足预设条件的情况下，根据所述人体特征在图像中的分布状态判断用户动作是否正确，得到动作判定结果；

向增强现实眼镜发送所述动作判定结果，以使所述增强现实眼镜显示用于表征所述判定结果的第一信息。

本发明实施例的有益效果是：本发明设置了拍摄机器人，该机器人可以根据拍摄图像中人体数量的特征来调整拍摄位置，以完整地拍摄用户的全身，这样可以更加准确地判定用户的动作是否准确，同时，其通过图像的方式进行动作的判定，无需在用户身上设置传感器，一方面可以减少用户的负重，另一方面也不需要维护传感器。

附图说明

图1为根据本发明实施例提供的一种增强现实系统的示意图；

图2为根据本发明实施例提供的一种增强现实系统的模块框图；

图3为根据本发明实施例提供的一种增强现实系统的控制方法流程图；

图4为根据本发明实施例提供的另一种增强现实系统的控制方法流程图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

参照图1和图2，本实施例公开了一种增强现实系统，用户可以利用其进行健身，在该系统中包括拍摄机器人1和增强现实眼镜2。在本实施例中，用户佩戴的增强现实眼镜2中会显示拍摄机器人1所拍摄的画面或者显示这些从这些画面中提取的信息。下面对拍摄机器人1和增强现实眼镜2进行更加详细的说明。

拍摄机器人1，用于拍摄若干个图像，以及从若干个所述图像中检测人体特征，根据从所述图像中识别到的人体特征的数量调整拍摄角度，以及在所述人体特征的数量满足预设条件的情况下，根据所述人体特征在图像中的分布状态判断用户动作是否正确，得到动作判定结果；

增强现实眼镜2，用于接收所述拍摄机器人发送的动作判定结果，并显示用于表征所述判定结果的第一信息。

需要理解的是，在本实施例中，拍摄机器人包括摄像头，该机器人的摄像头或者机器人本身是可以移动的。在本实施例中，拍摄机器人类似于扫地机器人一样，可以通过万向轮在地面上自由移动。在另一些实施例中，拍摄机器人可以是安装有摄像头的机械臂，机械臂被固定在地面或者墙壁上，在这些实施例中，拍摄机器人动过调整机械臂的姿态来获得不同的拍摄角度。

对于人体特征的检测，通常是以人体关节作为人体特征，通过图像中检测到的人体特征的数量，即关节的数量可以确定出当前的拍摄角度是否被遮挡。例如，在用户健身过程中，用户可能会移动，其面向的角度发生变化，此时，摄像头的拍摄角度可能并不恰当，部分肢体被用户自身所遮挡。拍摄机器人可以按照一定的策略进行拍摄角度的调整，例如，可以按照一定的轨迹移动，并连续拍摄照片，判断这些照片中人体特征的数量(即人体关节是否完整)来确定一个拍摄角度。拍摄角度移动的策略可以是直线平移、弧线环绕或者是直线平移和弧线环绕的组合等等。在一些实时中，还可以配合诸如距离传感器等，以监测和用户之间的距离，从而实现对用户的环绕移动。

当图像中的人体特征是完整的，可以根据人体特征的分布和预设的动作的标准人体特征分布进行比较，从而确定出用户的动作是否正确。其中，人体动作是否正确的判定可以通过经过训练的神经网络完成，也可以比较关节连线所构成的夹角和标准动作的夹角之间的差来判断动作是否正确。当然，在一些实施例中，也可以根据从图像中检测到的人体特征的分布，为用户自动匹配预设的标准动作来供用户参考。

增强现实眼镜，可以用于显示用于表征动作判定结果的信息，该信息可以是文字、图标或者是颜色。同时，增强现实眼镜还可以用于显示摄像头所拍摄的用户画面，使得用户可以观察到自己的动作，其也可以显示当前配置的健身动作的标准动作画面，以使用户可以参考标准动作。

需要说明的是，如图2所示，拍摄机器人包括摄像头、图像处理模块、语音模块、避障传感器、电源、通信模块和中央处理器。

其中，摄像头用于拍摄图像，图像处理模块用户进行图像处理运算，语音模块用于产生提示音提醒用户，避障传感器用于检测机器人周边障碍物，以使得机器人可以避开障碍物，通信模块用于增强现实眼镜和拍摄机器人之间的通信，中央处理用于处理各模块的数据。

从上述描述可知，本实施例与现有技术相比，其无需在用户身上配置传感器，其更加轻便，更加便于用户健身。同时，也无需维护和校正传感器，使用起来更加方便。此外，本方案的机器人可以自行调整拍摄角度，因此，其拍摄的角度更加合理，使得判断结果更加准确。

在一些实施例中，所述人体特征包括人体关节点；

所述从所述图像中检测人体特征，具体包括：

通过沙漏网络对所述图像中的人体特征进行估算，得到多个人体特征在所述图像中的热图；

根据所述热图中各人体特征对应的最大值确定各人体特征在所述图像中分布状态。

需要理解的是沙漏网络是可以有效地识别人体特征的网络结构，其工作模式是首先将输入图像下采样到一个比较小的分辨率，再进行上采样，并将统一尺寸的特征结合一起，生成包含人体关节点的热图，最后从热图中的最大值确定为人体关节点。该网络相对于其他网络在人体特征的识别上更加有效。

在一些实施例中，所述根据所述人体特征在图像中的分布状态判断用户动作是否正确，具体包括：

确定当前设置的动作对应的人体特征分布信息；

对比所述人体特征在图像中的分布状态和所述人体特征分布信息，以判断动作是否正确。

在本实施例中，动作可以是预设的，按照一定的顺序指示用户执行不同的锻炼动作，也就是说，这一实施例中，当前设置的动作时系统已知的。这时候，拍摄机器人可以读取该动作的对应的标准的人体特征分布信息，来和从拍摄的图像中提取的人体特征分布进行比较，从而确定用户的动作是否正确。

在另一些实施例中，动作可以不是预设的，而是由拍摄机器人根据拍摄的图像中用户的人体特征分布进行匹配，匹配出最相似的动作，并以此动作作为比较的对象，从而得到用户动作是否正确的结论。

在一些实施例中，所述拍摄机器人包括语音模块，所述语音模块在所述动作判定结果为不正确时，产生提示音。

如图2所示，在本实施例中，拍摄机器人包括语音模块语言模块中可以配置有预先录制的语音，其可以在用户动作不正确时，产生提示音，以帮助用户纠正错误，避免用户受伤。

在一些实施例中，所述增强现实眼镜还用于显示所述当前设置的动作的预设图像。

为了用户可以由一个标准的动作参考，增强现实眼镜还会在用户锻炼时，现实当前设置的标准图像。其中，需要理解的是图像可以是静态的，也可以是动态的。

在一些实施例中，当所述动作判定结果为不正确时，所述拍摄机器人还用于向所述增强现实眼镜发送用于表征动作错误的肢体的第二信息；

所述增强现实眼镜显示用于表征所述第二信息的第三信息。

在本实施例中，动作错误并不意味着用户的动作完全是不正确的，其可以只是某个肢体的动作和标准动作比较，偏差大于阈值。因此，拍摄机器人可以将局部肢体动作不正确的信息发送给增强现实眼镜，从而使得增强现实眼镜显示这些内容。例如，用户的腿部动作不准确，这时候拍摄机器人识别到这一错误后，向增强现实眼镜发送该信息，然后显示增强眼镜提示腿部动作不准确，其提示方式可以是在拍摄到的用户画面的腿部位置标红。

在一些实施例中，所述拍摄机器人包括万向轮；

所述根据从所述图像中识别到的人体特征的数量调整拍摄角度，包括：

当从当前拍摄的所述图像中识别到的人体特征的数量小于阈值，则控制万向轮转动以改变拍摄角度。

在本实施例中，拍摄机器人配置有万向轮，使得拍摄机器人可以在地面上自由移动，当人体特征的数量小于阈值，说明当前拍摄的角度不能完整地拍摄用户的全身，故此时应当改变拍摄角度。

在一些实施例中，所述拍摄机器人还包括避障传感器；

所述拍摄机器人在移动时，根据所述避障传感器的信号控制所述万向轮停止。

在本实施例中，避障传感器可以由超声波传感器或者激光传感器等传感器实现，通过检测和障碍物的距离，从而实现避障。在本实施例中，拍摄机器人通过避障传感器检测到障碍物时，会停止移动，同时会联动语音模块发出提示音。其可以避免用户移动的时候碰撞拍摄机器人。

在一些实施例中，所述拍摄机器人包括第一通信模块，所述增强现实眼镜包括第二通信模块，所述第一通信模块和第二通信模块无线连接。所述通信模块可以是蓝牙模块和WIFI模块等。

参照图3，一种如图1或图2所示的增强现实系统的控制方法，包括以下步骤：

步骤310、拍摄图像；

步骤320、从所述图像中检测人体特征；

步骤330、在所述人体特征的数量不满足预设条件的情况下，调整拍摄角度，并重新拍摄图像以及从新的图像中检测人体特征，即返回步骤310；

步骤340、在所述人体特征的数量满足预设条件的情况下，根据所述人体特征在图像中的分布状态判断用户动作是否正确，得到动作判定结果；

步骤350、向增强现实眼镜发送所述动作判定结果，以使所述增强现实眼镜显示用于表征所述判定结果的第一信息。

参照图4，本实施例公开了一种增强现实系统的控制方法，包括以下步骤：

启动AR眼镜和拍摄机器人并进行无线连接。

拍摄机器人对准使用者后，使用者开始按照指示健身。

拍摄机器人根据拍摄的图像判断拍摄位置是否最佳，若不是，则小车(拍摄机器人的平台)以用户为中心开始按照固定的半径环绕运动，拍摄机器人在移动过程中，根据目标检测算法捕捉人体的关键部位，寻找到能够覆盖所有关键部位(人体特征)的最佳拍摄角度，并停下。

拍摄机器人在最佳位置时，使用沙漏网络进行姿态估计，检测人体的关节点。

首先将输入图片下采样到一个很小的分辨率，再进行上采样，并将统一尺寸的特征结合起来，生成和含人体关节点的热图，最后从热图中取最大值得到人体关节点的坐标。

在预设动作库中匹配到对应的标准动作。

最后判断动作偏差是否高于阈值，如果是，则在增强现实眼镜的虚拟画面中，在错误的身体部位标注红色，同时语音提示模块发出纠正提示。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种增强现实系统，其特征在于，包括：

拍摄机器人，用于拍摄若干个图像，以及从若干个所述图像中检测人体特征，根据从所述图像中识别到的人体特征的数量调整拍摄角度，以及在所述人体特征的数量满足预设条件的情况下，根据所述人体特征在图像中的分布状态判断用户动作是否正确，得到动作判定结果；

增强现实眼镜，用于接收所述拍摄机器人发送的动作判定结果，并显示用于表征所述判定结果的第一信息。

2.根据权利要求1所述的增强现实系统，其特征在于，所述人体特征包括人体关节点；

所述从所述图像中检测人体特征，具体包括：

通过沙漏网络对所述图像中的人体特征进行估算，得到多个人体特征在所述图像中的热图；

根据所述热图中各人体特征对应的最大值确定各人体特征在所述图像中分布状态。

3.根据权利要求2所述的增强现实系统，其特征在于，所述根据所述人体特征在图像中的分布状态判断用户动作是否正确，具体包括：

确定当前设置的动作对应的人体特征分布信息；

对比所述人体特征在图像中的分布状态和所述人体特征分布信息，以判断动作是否正确。

4.根据权利要求3所述的增强现实系统，其特征在于，所述拍摄机器人包括语音模块，所述语音模块在所述动作判定结果为不正确时，产生提示音。

5.根据权利要求3所述的增强现实系统，其特征在于，所述增强现实眼镜还用于显示所述当前设置的动作的预设图像。

6.根据权利要求3所述的增强现实系统，其特征在于，当所述动作判定结果为不正确时，所述拍摄机器人还用于向所述增强现实眼镜发送用于表征动作错误的肢体的第二信息；

所述增强现实眼镜显示用于表征所述第二信息的第三信息。

7.根据权利要求1所述的增强现实系统，其特征在于，所述拍摄机器人包括万向轮；

所述根据从所述图像中识别到的人体特征的数量调整拍摄角度，包括：

当从当前拍摄的所述图像中识别到的人体特征的数量小于阈值，则控制万向轮转动以改变拍摄角度。

8.根据权利要求6所述的增强现实系统，其特征在于，所述拍摄机器人还包括避障传感器；所述拍摄机器人在移动时，根据所述避障传感器的信号控制所述万向轮停止。

9.根据权利要求1所述的增强现实系统，其特征在于，所述拍摄机器人包括第一通信模块，所述增强现实眼镜包括第二通信模块，所述第一通信模块和第二通信模块无线连接。

10.一种如权利要求1所述的增强现实系统的控制方法，其特征在于，包括以下步骤：

拍摄图像；

从所述图像中检测人体特征；

在所述人体特征的数量不满足预设条件的情况下，调整拍摄角度，并重新拍摄图像以及从新的图像中检测人体特征；

在所述人体特征的数量满足预设条件的情况下，根据所述人体特征在图像中的分布状态判断用户动作是否正确，得到动作判定结果；

向增强现实眼镜发送所述动作判定结果，以使所述增强现实眼镜显示用于表征所述判定结果的第一信息。

Images