CN105404395B - 基于增强现实技术的舞台表演辅助训练方法及系统 - Google Patents

Abstract

本发明公开一种基于增强现实技术的舞台表演辅助训练方法及系统，能检测使用者动作的标准性。方法包括：利用第一、二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集使用者的深度图像数据；提取使用者的图像数据和使用者的骨骼关节点的位置数据；将真实场景图像与图像数据及预设的指导者的影像进行融合，得到融合影像；利用预设的指导者的骨骼关节点的位置数据和使用者的骨骼关节点的位置数据检测使用者的动作是否标准，在使用者的动作不标准时，在融合影像上的相应位置进行标识；将融合影像分别以适合左、右眼观看的模式同步显示在可穿戴式显示头盔的第一、二目镜中。

Description

基于增强现实技术的舞台表演辅助训练方法及系统

技术领域

本发明涉及增强现实技术领域，具体涉及一种基于增强现实技术的舞台表演辅助训练方法及系统。

背景技术

增强现实技术可以将计算机生成的二维或三维数字信息叠加融合到真实的环境中，从而增强使用者在真实环境中的感知能力，加深沉浸感的体验。增强现实技术的主要特征为定点跟踪捕捉，虚实物体融合以及即时行为交互。目前，增强现实技术广泛应用在动作辅助训练领域，通过移动跟踪摄像头的视频显示模式，使用者可以从第三视角观察进行自我训练的动作纠正，这种方式可以摆脱自我视角观察的局限性，加大使用者在训练过程中的视觉自由度，从而提升训练效果。但是，现有的多视角跟踪显示系统缺乏对于动作标准性的实时检测，从而不利于纠正使用者的动作。

发明内容

本发明的目的在于，提供一种基于增强现实技术的舞台表演辅助训练方法及系统，能够检测使用者动作的标准性。

为此目的，一方面，本发明提出一种基于增强现实技术的舞台表演辅助训练方法，包括：

S1、利用第一摄像头和第二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；

S2、从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；

S3、将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；

S4、利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识；

S5、将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。

另一方面，本发明提出一种基于增强现实技术的舞台表演辅助训练系统，包括：

第一摄像头、第二摄像头、可穿戴式显示头盔、提取装置、融合装置、检测装置和固定第三视角的红外深度摄像头；其中，

所述第一摄像头，用于采集穿戴所述可穿戴式显示头盔的使用者左眼视野范围内的真实场景图像，所述第二摄像头，用于采集所述使用者右眼视野范围内的真实场景图像，所述红外深度摄像头，用于采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；

所述提取装置，用于从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；

所述融合装置，用于将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；

所述检测装置，用于利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识，将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。

本发明实施例所述的基于增强现实技术的舞台表演辅助训练方法及系统，在将使用者视野范围内的真实场景图像与从使用者的深度图像数据中提取出的使用者的图像数据及预设的指导者的影像进行融合，得到融合影像的基础上，利用预设的指导者的骨骼关节点的位置数据和从使用者的深度图像数据中提取出的使用者的骨骼关节点的位置数据检测使用者的动作是否标准，并在使用者的动作不标准时，在所述融合影像上的相应位置进行标识，使得使用者能够实时观察其动作是否标准，从而有助于使用者对其动作进行实时纠正。

附图说明

图1为本发明一种基于增强现实技术的舞台表演辅助训练方法一实施例的流程示意图；

图2为本发明可穿戴式显示头盔的结构示意图；

图3为本发明一种基于增强现实技术的舞台表演辅助训练系统一实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参看图1，本实施例公开一种基于增强现实技术的舞台表演辅助训练方法，包括：

S1、利用第一摄像头和第二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；

S2、从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；

S3、将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；

S4、利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识；

S5、将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。

本发明实施例中，如图2所示为可穿戴式显示头盔的结构图，X01为可穿戴式显示头盔；X02为显示头盔前置右眼摄像头；X03为显示头盔前置左眼摄像头；X04为显示头盔前置双目摄像头固定组件。

本发明实施例所述的基于增强现实技术的舞台表演辅助训练方法，在将使用者视野范围内的真实场景图像与从使用者的深度图像数据中提取出的使用者的图像数据及预设的指导者的影像进行融合，得到融合影像的基础上，利用预设的指导者的骨骼关节点的位置数据和从使用者的深度图像数据中提取出的使用者的骨骼关节点的位置数据检测使用者的动作是否标准，并在使用者的动作不标准时，在所述融合影像上的相应位置进行标识，使得使用者能够实时观察其动作是否标准，从而有助于使用者对其动作进行实时纠正。

可选地，在本发明基于增强现实技术的舞台表演辅助训练方法的另一实施例中，所述利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，包括：

将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节与所述指导者的相应骨骼关节之间的位置误差；

将所述位置误差与预设的误差阈值进行比较，若所述位置误差不大于所述预设的误差阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。

可选地，在本发明基于增强现实技术的舞台表演辅助训练方法的另一实施例中，所述利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，包括：

将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节点连线与所述指导者的相应骨骼关节点连线之间的角度；

将所述角度与预设的角度阈值进行比较，若所述角度不大于所述预设的角度阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。

参看图3，本实施例公开一种基于增强现实技术的舞台表演辅助训练系统，包括：

第一摄像头1、第二摄像头2、可穿戴式显示头盔3、提取装置4、融合装置5、检测装置6和固定第三视角的红外深度摄像头7；其中，

所述第一摄像头1，用于采集穿戴所述可穿戴式显示头盔3的使用者左眼视野范围内的真实场景图像，所述第二摄像头2，用于采集所述使用者右眼视野范围内的真实场景图像，利用红外深度摄像头7，用于采集所述使用者的深度图像数据，其中，所述第一摄像头1和第二摄像头2固定在所述可穿戴式显示头盔3的前部，所述可穿戴式显示头盔3包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；

所述提取装置4，用于从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；

所述融合装置5，用于将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；

所述检测装置6，用于利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识，将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。

本发明实施例所述的基于增强现实技术的舞台表演辅助训练系统，在将使用者视野范围内的真实场景图像与从使用者的深度图像数据中提取出的使用者的图像数据及预设的指导者的影像进行融合，得到融合影像的基础上，利用预设的指导者的骨骼关节点的位置数据和从使用者的深度图像数据中提取出的使用者的骨骼关节点的位置数据检测使用者的动作是否标准，并在使用者的动作不标准时，在所述融合影像上的相应位置进行标识，使得使用者能够实时观察其动作是否标准，从而有助于使用者对其动作进行实时纠正。

可选地，在本发明基于增强现实技术的舞台表演辅助训练系统的另一实施例中，所述检测装置，包括：

第一计算单元，用于将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节与所述指导者的相应骨骼关节之间的位置误差；

第一比较单元，用于将所述位置误差与预设的误差阈值进行比较，若所述位置误差不大于所述预设的误差阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。

可选地，在本发明基于增强现实技术的舞台表演辅助训练系统的另一实施例中，所述检测装置，包括：

第二计算单元，用于将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节点连线与所述指导者的相应骨骼关节点连线之间的角度；

第二比较单元，用于将所述角度与预设的角度阈值进行比较，若所述角度不大于所述预设的角度阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (6)

1.一种基于增强现实技术的舞台表演辅助训练方法，其特征在于，包括：

S1、利用第一摄像头和第二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；

S2、从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；

S3、将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；

S4、利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识；

S5、将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。

2.根据权利要求1所述的基于增强现实技术的舞台表演辅助训练方法，其特征在于，所述利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，包括：

将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节与所述指导者的相应骨骼关节之间的位置误差；

将所述位置误差与预设的误差阈值进行比较，若所述位置误差不大于所述预设的误差阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。

3.根据权利要求1所述的基于增强现实技术的舞台表演辅助训练方法，其特征在于，所述利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，包括：

将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节点连线与所述指导者的相应骨骼关节点连线之间的角度；

将所述角度与预设的角度阈值进行比较，若所述角度不大于所述预设的角度阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。

4.一种基于增强现实技术的舞台表演辅助训练系统，其特征在于，包括：

第一摄像头、第二摄像头、可穿戴式显示头盔、提取装置、融合装置、检测装置和固定第三视角的红外深度摄像头；其中，

所述第一摄像头，用于采集穿戴所述可穿戴式显示头盔的使用者左眼视野范围内的真实场景图像，所述第二摄像头，用于采集所述使用者右眼视野范围内的真实场景图像，所述红外深度摄像头，用于采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；

所述提取装置，用于从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；

所述融合装置，用于将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；

所述检测装置，用于利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识，将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。

5.根据权利要求4所述的基于增强现实技术的舞台表演辅助训练系统，其特征在于，所述检测装置，包括：

第一计算单元，用于将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节与所述指导者的相应骨骼关节之间的位置误差；

第一比较单元，用于将所述位置误差与预设的误差阈值进行比较，若所述位置误差不大于所述预设的误差阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。

6.根据权利要求4所述的基于增强现实技术的舞台表演辅助训练系统，其特征在于，所述检测装置，包括：

第二计算单元，用于将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节点连线与所述指导者的相应骨骼关节点连线之间的角度；

第二比较单元，用于将所述角度与预设的角度阈值进行比较，若所述角度不大于所述预设的角度阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。