CN112295211A - 舞台表演虚拟娱乐实训系统及方法 - Google Patents

Abstract

本发明涉及一种舞台表演虚拟娱乐实训系统，包括服务器、屏幕端、穿戴端、音频输入端、地板端，屏幕端、穿戴端、音频输入端、地板端与服务器通信连接。服务器包括屏幕背景模板库、人体模型库、虚拟管理模块、肢体信息处理模块、肢体信息数据库、语音处理模块、语音信息数据库、位置信息处理模块、位置信息数据库。屏幕端包括数字屏幕、音频功放模块、屏幕通信接口。本发明还公开了一种舞台表演虚拟娱乐实训方法，包括表演数据上传、数据虚拟仿真、虚拟仿真输出等过程。本发明舞台表演虚拟娱乐实训系统及方法采用虚拟现实的方式为用户提供了仿真舞台表演的娱乐实训方案，具有人工智能、虚拟现实的特点。

Description

舞台表演虚拟娱乐实训系统及方法

技术领域

本发明涉及一种虚拟现实实训系统及方法，特别涉及一种舞台表演虚拟娱乐实训系统及方法，属于虚拟现实领域。

背景技术

虚拟现实是仿真技术的一个重要方向，是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等融合交叉的综合性技术。虚拟现实技术利用计算机生成一种模拟环境，用户可以在这种模拟环境中创建和体验虚拟世界的行为元素，进行虚拟的行为交互以达到仿真的目的。模拟环境是由计算机生成的，通常可以是实时动态的三维立体图像，除计算机图形技术所生成的视觉感知外，还可以包括听觉、运动等感知，由计算机来处理与参与者的动作相对应的数据，并对用户的输入作出实时计算的虚拟响应，反馈给用户感知。

发明内容

本发明舞台表演虚拟娱乐实训系统及方法公开了新的方案，采用虚拟现实的方式为用户提供了仿真舞台表演的娱乐实训方案，解决了目前在舞台表演领域没有相应的虚拟娱乐实训方案的问题。

本发明舞台表演虚拟娱乐实训系统包括服务器、屏幕端、穿戴端、音频输入端、地板端，屏幕端、穿戴端、音频输入端、地板端与服务器通信连接。

服务器包括屏幕背景模板库、人体模型库、虚拟管理模块、肢体信息处理模块、肢体信息数据库、语音处理模块、语音信息数据库、位置信息处理模块、位置信息数据库，屏幕背景模板库用于存储、管理屏幕背景信息，人体模型库用于存储、管理人体模型信息，虚拟管理模块用于管理虚拟过程，肢体信息处理模块用于处理肢体信息，肢体信息数据库用于存储、管理肢体信息，语音处理模块用于处理语音信息，语音信息数据库用于存储、管理语音信息，位置信息处理模块用于处理人体位置信息，位置信息数据库用于存储、管理人体位置信息。

屏幕端包括数字屏幕、音频功放模块、屏幕通信接口，数字屏幕用于展示虚拟人体运动画面，音频功放模块用于播放语音信息，屏幕通信接口用于接收视频、音频信息。

穿戴端包括多组设置在人体四肢、颈部的可穿戴肢体运动传感器、穿戴通信接口，可穿戴肢体运动传感器用于采集肢体信息，穿戴通信接口用于上传肢体信息。

音频输入端包括音频采集模块、音频通信接口，音频采集模块用于采集语音信息，音频通信接口用于上传语音信息。

地板端包括密布在底板下的多组脚踏传感器、地板通信接口，脚踏传感器用于采集人体脚踏信息，地板通信接口用于上传人体脚踏信息。

本发明还公开了一种舞台表演虚拟娱乐实训方法，舞台表演虚拟娱乐实训方法基于舞台表演虚拟娱乐实训系统，舞台表演虚拟娱乐实训系统包括服务器、屏幕端、穿戴端、音频输入端、地板端，屏幕端、穿戴端、音频输入端、地板端与服务器通信连接。服务器包括屏幕背景模板库、人体模型库、虚拟管理模块、肢体信息处理模块、肢体信息数据库、语音处理模块、语音信息数据库、位置信息处理模块、位置信息数据库。屏幕端包括数字屏幕、音频功放模块、屏幕通信接口。穿戴端包括多组设置在人体四肢和颈部的可穿戴肢体运动传感器、穿戴通信接口。音频输入端包括音频采集模块、音频通信接口。地板端包括密布在底板下的多组脚踏传感器、地板通信接口。方法包括过程：用户正确穿戴可穿戴肢体运动传感器，手持装有音频采集模块的麦克风，站立在装有脚踏传感器的设定地板区域内，系统开启信号收发，可穿戴肢体运动传感器采集用户的肢体运动信息通过穿戴通信接口上传给肢体信息处理模块，肢体信息处理模块将收到的肢体运动信息转换成人体模型运动数据存入肢体信息数据库，音频采集模块采集用户的语音信息通过音频通信接口上传给语音处理模块，语音处理模块将收到的语音信息转换成指定格式的音频编码存入语音信息数据库，脚踏传感器采集用户的脚踏信息通过地板通信接口上传给位置信息处理模块，位置信息处理模块将收到的脚踏信息结合系统内设的脚踏传感器位置信息生成用户的位置信息存入位置信息数据库，虚拟管理模块调取屏幕背景模板库的屏幕背景信息通过屏幕通信接口发送至数字屏幕展示，虚拟管理模块同步调取人体模型库、肢体信息数据库、语音信息数据库、位置信息数据库的信息后，将实时的肢体数据、位置数据赋值人体模型生成动态的人体模型信息通过屏幕通信接口发送至数字屏幕展示，将音频编码发送至音频功放模块同步播放。

进一步，本方案方法的服务器还包括标准形体信息数据库，肢体信息处理模块将收到的肢体运动信息与标准形体信息数据库内的形体信息拟合成人体模型运动数据。

更进一步，本方案方法的服务器还包括肢体信息统计模块，肢体信息统计模块按时间顺序调取肢体信息数据库内相似形体数据与标准形体信息数据库内的对应数据比对生成形体相似度统计表通过屏幕通信接口发送至数字屏幕显示。

进一步，本方案方法的服务器还包括标准音频信息数据库，语音处理模块将收到的语音信息与标椎音频信息数据库内的音频信息拟合，生成指定格式的音频编码。

更进一步，本方案方法的服务器还包括语音信息统计模块，语音信息统计模块按时间顺序调取语音信息数据库内相似语音数据与标准音频信息数据库内的对应数据比对生成语音相似度统计表通过屏幕通信接口发送至数字屏幕显示。

本发明舞台表演虚拟娱乐实训系统及方法采用虚拟现实的方式为用户提供了仿真舞台表演的娱乐实训方案，具有人工智能、虚拟现实的特点。

附图说明

图1是舞台表演虚拟娱乐实训系统的原理图。

具体实施方式

本发明舞台表演虚拟娱乐实训系统包括服务器、屏幕端、穿戴端、音频输入端、地板端，屏幕端、穿戴端、音频输入端、地板端与服务器通信连接。服务器包括屏幕背景模板库、人体模型库、虚拟管理模块、肢体信息处理模块、肢体信息数据库、语音处理模块、语音信息数据库、位置信息处理模块、位置信息数据库，屏幕背景模板库用于存储、管理屏幕背景信息，人体模型库用于存储、管理人体模型信息，虚拟管理模块用于管理虚拟过程，肢体信息处理模块用于处理肢体信息，肢体信息数据库用于存储、管理肢体信息，语音处理模块用于处理语音信息，语音信息数据库用于存储、管理语音信息，位置信息处理模块用于处理人体位置信息，位置信息数据库用于存储、管理人体位置信息。屏幕端包括数字屏幕、音频功放模块、屏幕通信接口，数字屏幕用于展示虚拟人体运动画面，音频功放模块用于播放语音信息，屏幕通信接口用于接收视频、音频信息。穿戴端包括多组设置在人体四肢、颈部的可穿戴肢体运动传感器、穿戴通信接口，可穿戴肢体运动传感器用于采集肢体信息，穿戴通信接口用于上传肢体信息。音频输入端包括音频采集模块、音频通信接口，音频采集模块用于采集语音信息，音频通信接口用于上传语音信息。地板端包括密布在底板下的多组脚踏传感器、地板通信接口，脚踏传感器用于采集人体脚踏信息，地板通信接口用于上传人体脚踏信息。

本发明还公开了一种舞台表演虚拟娱乐实训方法，舞台表演虚拟娱乐实训方法基于舞台表演虚拟娱乐实训系统，舞台表演虚拟娱乐实训系统包括服务器、屏幕端、穿戴端、音频输入端、地板端，屏幕端、穿戴端、音频输入端、地板端与服务器通信连接。服务器包括屏幕背景模板库、人体模型库、虚拟管理模块、肢体信息处理模块、肢体信息数据库、语音处理模块、语音信息数据库、位置信息处理模块、位置信息数据库。屏幕端包括数字屏幕、音频功放模块、屏幕通信接口。穿戴端包括多组设置在人体四肢和颈部的可穿戴肢体运动传感器、穿戴通信接口。音频输入端包括音频采集模块、音频通信接口。地板端包括密布在底板下的多组脚踏传感器、地板通信接口。方法包括过程：用户正确穿戴可穿戴肢体运动传感器，手持装有音频采集模块的麦克风，站立在装有脚踏传感器的设定地板区域内，系统开启信号收发，可穿戴肢体运动传感器采集用户的肢体运动信息通过穿戴通信接口上传给肢体信息处理模块，肢体信息处理模块将收到的肢体运动信息转换成人体模型运动数据存入肢体信息数据库，音频采集模块采集用户的语音信息通过音频通信接口上传给语音处理模块，语音处理模块将收到的语音信息转换成指定格式的音频编码存入语音信息数据库，脚踏传感器采集用户的脚踏信息通过地板通信接口上传给位置信息处理模块，位置信息处理模块将收到的脚踏信息结合系统内设的脚踏传感器位置信息生成用户的位置信息存入位置信息数据库，虚拟管理模块调取屏幕背景模板库的屏幕背景信息通过屏幕通信接口发送至数字屏幕展示，虚拟管理模块同步调取人体模型库、肢体信息数据库、语音信息数据库、位置信息数据库的信息后，将实时的肢体数据、位置数据赋值人体模型生成动态的人体模型信息通过屏幕通信接口发送至数字屏幕展示，将音频编码发送至音频功放模块同步播放。

上述方案采用虚拟现实的方式为用户提供了仿真舞台表演的娱乐实训方案，用户可以通过运动传感器上传自己的形体表演信息，例如歌舞表演，通过带有音频采集模块的麦克风上传自己的演唱，通过在安装有脚踏传感器的地板上移动来上传自己的位置变化信息，服务器将实时收到的各种信息转化成人体模型的运动参数，调用背景信息以及人体模型信息结合运动参数生成在虚拟背景环境下的人体模型的实时仿真运动，同时结合音频功放模块将用户的演唱播出与虚拟仿真匹配，用户通过数字屏幕以及音频功放实时了解自己的表演情况，从而实现娱乐实训的目的。因此，本方案解决了目前舞台表演领域没有类似方案的问题，具有极佳的娱乐与实训效果。

基于以上方案，在模仿他人表演的情况下，例如模仿某知名歌星的现场演唱会表演，为了给用户提供一种更好的娱乐体验，减少用户的模仿表演与标准表演间的差距，同时体现出用户的个性特征，本方案方法的服务器还包括标准形体信息数据库，肢体信息处理模块将收到的肢体运动信息与标准形体信息数据库内的形体信息拟合成人体模型运动数据，例如采用取平均值的方法，即用户的参数值与标准参数值间的改良平均值作为最终的输出数据。进一步，为了便于用户掌握自己多次模仿或实训的改进效果，本方案方法的服务器还包括肢体信息统计模块，肢体信息统计模块按时间顺序调取肢体信息数据库内相似形体数据与标准形体信息数据库内的对应数据比对生成形体相似度统计表通过屏幕通信接口发送至数字屏幕显示。

同理，为了减少用户的模仿演唱与标准演唱间的差距，同时体现出用户的个性特征，本方案方法的服务器还包括标准音频信息数据库，语音处理模块将收到的语音信息与标椎音频信息数据库内的音频信息拟合，生成指定格式的音频编码，例如采用音高、音强、音长的改良拟合方法作为最终的输出数据。进一步，为了便于用户掌握自己多次模仿或实训的改进效果，本方案方法的服务器还包括语音信息统计模块，语音信息统计模块按时间顺序调取语音信息数据库内相似语音数据与标准音频信息数据库内的对应数据比对生成语音相似度统计表通过屏幕通信接口发送至数字屏幕显示。

本方案公开的系统、装置、模块等除有特别说明外，均可以采用本领域公知的通用、惯用的方案实现，涉及到的算法可以采用公知的通用、惯用算法，也可以根据具体情况进行适当修改。

本方案舞台表演虚拟娱乐实训系统及方法并不限于具体实施方式中公开的内容，实施例中出现的技术方案可以基于本领域技术人员的理解而延伸，本领域技术人员根据本方案结合公知常识作出的简单替换方案也属于本方案的范围。

Claims (6)

1.舞台表演虚拟娱乐实训系统，其特征是包括服务器、屏幕端、穿戴端、音频输入端、地板端，所述屏幕端、穿戴端、音频输入端、地板端与所述服务器通信连接，

所述服务器包括屏幕背景模板库、人体模型库、虚拟管理模块、肢体信息处理模块、肢体信息数据库、语音处理模块、语音信息数据库、位置信息处理模块、位置信息数据库，所述屏幕背景模板库用于存储、管理屏幕背景信息，所述人体模型库用于存储、管理人体模型信息，所述虚拟管理模块用于管理虚拟过程，所述肢体信息处理模块用于处理肢体信息，所述肢体信息数据库用于存储、管理肢体信息，所述语音处理模块用于处理语音信息，所述语音信息数据库用于存储、管理语音信息，所述位置信息处理模块用于处理人体位置信息，所述位置信息数据库用于存储、管理人体位置信息，

所述屏幕端包括数字屏幕、音频功放模块、屏幕通信接口，所述数字屏幕用于展示虚拟人体运动画面，所述音频功放模块用于播放语音信息，所述屏幕通信接口用于接收视频、音频信息，

所述穿戴端包括多组设置在人体四肢、颈部的可穿戴肢体运动传感器、穿戴通信接口，所述可穿戴肢体运动传感器用于采集肢体信息，所述穿戴通信接口用于上传肢体信息，

所述音频输入端包括音频采集模块、音频通信接口，所述音频采集模块用于采集语音信息，所述音频通信接口用于上传语音信息，

所述地板端包括密布在底板下的多组脚踏传感器、地板通信接口，所述脚踏传感器用于采集人体脚踏信息，所述地板通信接口用于上传人体脚踏信息。

2.舞台表演虚拟娱乐实训方法，所述舞台表演虚拟娱乐实训方法基于舞台表演虚拟娱乐实训系统，所述舞台表演虚拟娱乐实训系统包括服务器、屏幕端、穿戴端、音频输入端、地板端，所述屏幕端、穿戴端、音频输入端、地板端与所述服务器通信连接，所述服务器包括屏幕背景模板库、人体模型库、虚拟管理模块、肢体信息处理模块、肢体信息数据库、语音处理模块、语音信息数据库、位置信息处理模块、位置信息数据库，所述屏幕端包括数字屏幕、音频功放模块、屏幕通信接口，所述穿戴端包括多组设置在人体四肢和颈部的可穿戴肢体运动传感器、穿戴通信接口，所述音频输入端包括音频采集模块、音频通信接口，所述地板端包括密布在底板下的多组脚踏传感器、地板通信接口，其特征是包括过程：

用户正确穿戴可穿戴肢体运动传感器，手持装有音频采集模块的麦克风，站立在装有脚踏传感器的设定地板区域内，系统开启信号收发，可穿戴肢体运动传感器采集用户的肢体运动信息通过穿戴通信接口上传给肢体信息处理模块，肢体信息处理模块将收到的肢体运动信息转换成人体模型运动数据存入肢体信息数据库，音频采集模块采集用户的语音信息通过音频通信接口上传给语音处理模块，语音处理模块将收到的语音信息转换成指定格式的音频编码存入语音信息数据库，脚踏传感器采集用户的脚踏信息通过地板通信接口上传给位置信息处理模块，位置信息处理模块将收到的脚踏信息结合系统内设的脚踏传感器位置信息生成用户的位置信息存入位置信息数据库，虚拟管理模块调取屏幕背景模板库的屏幕背景信息通过屏幕通信接口发送至数字屏幕展示，虚拟管理模块同步调取人体模型库、肢体信息数据库、语音信息数据库、位置信息数据库的信息后，将实时的肢体数据、位置数据赋值人体模型生成动态的人体模型信息通过屏幕通信接口发送至数字屏幕展示，将音频编码发送至音频功放模块同步播放。

3.根据权利要求2所述的舞台表演虚拟娱乐实训方法，其特征在于，所述服务器还包括标准形体信息数据库，肢体信息处理模块将收到的肢体运动信息与标准形体信息数据库内的形体信息拟合成人体模型运动数据。

4.根据权利要求3所述的舞台表演虚拟娱乐实训方法，其特征在于，所述服务器还包括肢体信息统计模块，肢体信息统计模块按时间顺序调取肢体信息数据库内相似形体数据与标准形体信息数据库内的对应数据比对生成形体相似度统计表通过屏幕通信接口发送至数字屏幕显示。

5.根据权利要求2所述的舞台表演虚拟娱乐实训方法，其特征在于，所述服务器还包括标准音频信息数据库，语音处理模块将收到的语音信息与标椎音频信息数据库内的音频信息拟合，生成指定格式的音频编码。

6.根据权利要求2所述的舞台表演虚拟娱乐实训方法，其特征在于，所述服务器还包括语音信息统计模块，语音信息统计模块按时间顺序调取语音信息数据库内相似语音数据与标准音频信息数据库内的对应数据比对生成语音相似度统计表通过屏幕通信接口发送至数字屏幕显示。

Images