CN106249900A - 一种基于增强现实的音频虚拟现实实现方法及系统 - Google Patents

一种基于增强现实的音频虚拟现实实现方法及系统 Download PDF

Info

Publication number
CN106249900A
CN106249900A CN201610672899.0A CN201610672899A CN106249900A CN 106249900 A CN106249900 A CN 106249900A CN 201610672899 A CN201610672899 A CN 201610672899A CN 106249900 A CN106249900 A CN 106249900A
Authority
CN
China
Prior art keywords
reality
beat
music
audio virtualization
sensing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610672899.0A
Other languages
English (en)
Inventor
露茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou TCL Mobile Communication Co Ltd
Original Assignee
Huizhou TCL Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou TCL Mobile Communication Co Ltd filed Critical Huizhou TCL Mobile Communication Co Ltd
Priority to CN201610672899.0A priority Critical patent/CN106249900A/zh
Publication of CN106249900A publication Critical patent/CN106249900A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种基于增强现实的音频虚拟现实实现方法及系统。方法包括步骤：利用传感设备探测和追踪人体动作；将人体动作转换为节拍；通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。本发明通过对人体的动作进行探测和追踪，并将人体动作转换为节拍，通过对节拍的编码形成音乐文件，这样用户就能将自身的动作（舞蹈）转换为音乐，既结合了运动元素又结合了音乐元素，实现二者的结合。

Description

一种基于增强现实的音频虚拟现实实现方法及系统
技术领域
本发明涉及娱乐设备领域，尤其涉及一种基于增强现实的音频虚拟现实实现方法及系统。
背景技术
随着移动互联网的发展，各式各样的技术层出不穷，尤其是目前火热的VR（虚拟现实）和AR（增强现实）技术。
VR其是指：综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。其中，计算机生成的、可交互的三维环境称为虚拟环境。虚拟现实技术是一种可创建和体验虚拟世界的计算机仿真系统的技术。它利用计算机生成一种模拟环境，利用多源信息融合的交互式三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。
AR是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型对的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR其不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。
但目前的VR或AR技术并未实现将运动与音乐结合起来，即无法实现从运动到音乐转换的功能。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种基于增强现实的音频虚拟现实实现方法及系统，旨在解决现有技术无法实现从运动到音乐转换的功能的问题。
本发明的技术方案如下：
一种基于增强现实的音频虚拟现实实现方法，其中，包括步骤：
利用传感设备探测和追踪人体动作；
将人体动作转换为节拍；
通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。
所述的音频虚拟现实实现方法，其中，提取所述节拍的幅度以及频率，然后编码为音乐文件。
所述的音频虚拟现实实现方法，其中，所述传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。
所述的音频虚拟现实实现方法，其中，所述传感设备还包括摄像装置。
所述的音频虚拟现实实现方法，其中，还包括： 根据所述人体动作生成3D可视化影像。
一种基于增强现实的音频虚拟现实实现系统，其中，包括：
探测追踪模块，其设置有传感设备，用于利用传感设备探测和追踪人体动作；
节拍转换模块，用于将人体动作转换为节拍；
音乐播放模块，用于通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。
所述的音频虚拟现实实现系统，其中，所述音乐播放模块用于提取所述节拍的幅度以及频率，然后编码为音乐文件。
所述的音频虚拟现实实现系统，其中，所述传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。
所述的音频虚拟现实实现系统，其中，所述传感设备还包括摄像装置。
所述的音频虚拟现实实现系统，其中，还包括：影像输出模块，用于根据所述人体动作生成3D可视化影像。
有益效果：本发明通过对人体的动作进行探测和追踪，并将人体动作转换为节拍，通过对节拍的编码形成音乐文件，这样用户就能将自身的动作（舞蹈）转换为音乐，既结合了运动元素又结合了音乐元素，实现二者的结合。
附图说明
图1为本发明提供基于增强现实的音频虚拟现实实现方法较佳实施例的流程图。
图2为本发明提供基于增强现实的音频虚拟现实实现系统较佳实施例的结构框图。
具体实施方式
本发明提供一种基于增强现实的音频虚拟现实实现方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，图1为本发明一种基于增强现实的音频虚拟现实实现方法较佳实施例的流程图，如图所示，其包括步骤：
S1、利用传感设备探测和追踪人体动作；
S2、将人体动作转换为节拍；
S3、通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。
本发明可以使用户以独特的方式沉浸在舞蹈和音乐当中。通过本发明，用户不仅可以锻炼自己的身体，同时也能使用户通过独特方式感受音乐的美妙，并且能够通过舞蹈和音乐相结合的方式表达自身情感。
本发明可以以4种模式来实现，具体包括训练模式、舞蹈模式、创造模式、可视分享模式。
在训练模式下，模仿引导动作来生成节拍；
在舞蹈模式下，模仿所选音乐自动生成的舞蹈；
在创造模式下，创造可视表演；
在可视分享模式下，将可视影像分享至社交媒体上。
具体来说，在训练模式下，用户可以选择增强现实功能（可以查看周围真实环境）和虚拟现实功能（可以完全沉浸在虚拟环境中，例如处于月亮、舞蹈房、电影场景中）。在训练模式下，预先设置了一系列的引导动作，每个引导动作都包含了动作名称、动作标识、动作所用音乐的类型、动作幅度。在用户选定一个引导动作之后，开始播放背景音乐，为了生成节拍，用户需要在跟随引导动作并加以模仿，在这个模式下，可以改变背景音乐的类型。最终可得到用户在每个引导动作下的精确度分数、经验值、完成的奖励等等。
在舞蹈模式下，用户可以选择增强现实功能（可以查看周围真实环境）和虚拟现实功能（可以完全沉浸在虚拟环境中，例如处于月亮、舞蹈房、电影场景中）。用户需要从本地存储器中选择一个目标音乐。并分析该目标音乐的声能、频率和音量，并转化为360度可视化的舞蹈，用户可跟随舞蹈的动作并加以模仿。最终得到用户在每个目标音乐下的精确度分数、经验值、完成的奖励、消耗的卡路里。
在创造模式下，用户可以选择增强现实功能（可以查看周围真实环境）和虚拟现实功能（可以完全沉浸在虚拟环境中，例如处于月亮、舞蹈房、电影场景中）。用户可以选择一个音乐类型（对于每个传感设备可以不同）、一个油刷（可以绘制不同风格和颜色），以及增加一个背景音乐（选择一个背景旋律乐器，非必要）。用户结合上述工具，可以进行实时绘画，其绘制的线条可以是暂时的，即绘制的线条将会在几秒钟（如5秒钟）之后消失；也可以选择固定绘画方式，即绘制的线条是固定的，最终形成一幅完整的作品。在创造模式下，其绘画的过程如下：在选择引导动作之后，用户可以开始创造节拍，并随着自己的人体动作来进行绘画，音乐类型和绘画风格将会随着用户的动作而迅速改变。同时将用户的身体动作转换为节拍，用户可以保存自己的3D或360度的影像。例如以8个通道来保存上述影像。
进一步，提取所述节拍的幅度以及频率，然后编码为音乐文件。因为音乐文件其也包含了幅度以及频率，所以节拍的幅度与频率都可以应用在音乐上，通过将舞蹈动作转换为音乐文件，所以可实现二者更加融合，并且更富趣味性。
本发明中的传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。
运动转音乐配件是指Phonotonic accessory，其整合了一个运动传感器以及可将动作转换为音乐的软件。该配件采用硅球作为外壳，并内置有传感器，用户可以将该配件放置于身体的某个部位，也可将其放置于口袋中。该配件可通过WIFI连接用户的移动终端。例如用户可手持所述配件，然后进行舞蹈或其他动作，那么就可以将其转换为音乐。
进一步，所述传感设备还包括摄像装置。该摄像装置可以是单独的，也可以是固定在某一传感设备上。
进一步，实现方法还包括：
根据所述人体动作生成3D可视化影像。获得3D可视化影像后，用户可将其分享至社交媒体上。
基于上述方法，本发明还提供一种基于增强现实的音频虚拟现实实现系统较佳实施例，如图2所示，其包括：
探测追踪模块100（其设置有传感设备），用于利用传感设备探测和追踪人体动作；
节拍转换模块200，用于将人体动作转换为节拍；
音乐播放模块300，用于通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。
进一步，所述音乐播放模块用于提取所述节拍的幅度以及频率，然后编码为音乐文件。
进一步，所述传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。
进一步，所述传感设备还包括摄像装置。
进一步，系统还包括：影像输出模块，用于根据所述人体动作生成3D可视化影像。
关于上述系统模块的技术细节在前面的方法中已有详述，故不再赘述。
本领域普通技术人员可以理解上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件完成，所述的计算机程序可存储于一计算机可读取存储介质中，程序在执行时，可包括上述各方法的实施例的流程。其中的存储介质可以为磁碟、光盘、只读存储记忆体（ROM）或随机存储记忆体（RAM）等。
综上所述，本发明通过对人体的动作进行探测和追踪，并将人体动作转换为节拍，通过对节拍的编码形成音乐文件，这样用户就能将自身的动作（舞蹈）转换为音乐，既结合了运动元素又结合了音乐元素，实现二者的结合。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于增强现实的音频虚拟现实实现方法，其特征在于，包括步骤：
利用传感设备探测和追踪人体动作；
将人体动作转换为节拍；
通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。
2.根据权利要求1所述的音频虚拟现实实现方法，其特征在于，提取所述节拍的幅度以及频率，然后编码为音乐文件。
3.根据权利要求1所述的音频虚拟现实实现方法，其特征在于，所述传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。
4.根据权利要求1所述的音频虚拟现实实现方法，其特征在于，所述传感设备还包括摄像装置。
5.根据权利要求1所述的音频虚拟现实实现方法，其特征在于，还包括： 根据所述人体动作生成3D可视化影像。
6.一种基于增强现实的音频虚拟现实实现系统，其特征在于，包括：
探测追踪模块，设置有传感设备，用于利用传感设备探测和追踪人体动作；
节拍转换模块，用于将人体动作转换为节拍；
音乐播放模块，用于通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。
7.根据权利要求6所述的音频虚拟现实实现系统，其特征在于，所述音乐播放模块用于提取所述节拍的幅度以及频率，然后编码为音乐文件。
8.根据权利要求6所述的音频虚拟现实实现系统，其特征在于，所述传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。
9.根据权利要求6所述的音频虚拟现实实现系统，其特征在于，所述传感设备还包括摄像装置。
10.根据权利要求6所述的音频虚拟现实实现系统，其特征在于，还包括：影像输出模块，用于根据所述人体动作生成3D可视化影像。
CN201610672899.0A 2016-08-16 2016-08-16 一种基于增强现实的音频虚拟现实实现方法及系统 Pending CN106249900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610672899.0A CN106249900A (zh) 2016-08-16 2016-08-16 一种基于增强现实的音频虚拟现实实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610672899.0A CN106249900A (zh) 2016-08-16 2016-08-16 一种基于增强现实的音频虚拟现实实现方法及系统

Publications (1)

Publication Number Publication Date
CN106249900A true CN106249900A (zh) 2016-12-21

Family

ID=57593057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610672899.0A Pending CN106249900A (zh) 2016-08-16 2016-08-16 一种基于增强现实的音频虚拟现实实现方法及系统

Country Status (1)

Country Link
CN (1) CN106249900A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803366A (zh) * 2016-12-30 2017-06-06 武汉市马里欧网络有限公司 基于ar的儿童舞蹈学习系统及方法
CN106952637A (zh) * 2017-03-15 2017-07-14 北京时代拓灵科技有限公司 一种可交互式音乐的创作方法和体验装置
CN107594739A (zh) * 2017-09-03 2018-01-19 泉州迪特工业产品设计有限公司 一种智能炫酷鞋及其实现方法
CN108114358A (zh) * 2017-12-21 2018-06-05 泰康保险集团股份有限公司 音乐康复方法、系统、电子设备及计算机可读介质
CN109939325A (zh) * 2019-01-30 2019-06-28 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实技术的神经发育障碍音乐训练系统
CN112639686A (zh) * 2018-09-07 2021-04-09 苹果公司 在虚拟环境的影像和声音与真实环境的影像和声音之间转换

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751833A (zh) * 2015-03-31 2015-07-01 苏州乐聚一堂电子科技有限公司 智能音乐节拍互动设备
CN104766044A (zh) * 2014-01-07 2015-07-08 富士通株式会社 评估方法和评估设备
CN104834642A (zh) * 2014-02-11 2015-08-12 北京三星通信技术研究有限公司 改变音乐演绎风格的方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766044A (zh) * 2014-01-07 2015-07-08 富士通株式会社 评估方法和评估设备
CN104834642A (zh) * 2014-02-11 2015-08-12 北京三星通信技术研究有限公司 改变音乐演绎风格的方法、装置及设备
CN104751833A (zh) * 2015-03-31 2015-07-01 苏州乐聚一堂电子科技有限公司 智能音乐节拍互动设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803366A (zh) * 2016-12-30 2017-06-06 武汉市马里欧网络有限公司 基于ar的儿童舞蹈学习系统及方法
CN106952637A (zh) * 2017-03-15 2017-07-14 北京时代拓灵科技有限公司 一种可交互式音乐的创作方法和体验装置
CN106952637B (zh) * 2017-03-15 2021-02-09 北京时代拓灵科技有限公司 一种可交互式音乐的创作方法和体验装置
CN107594739A (zh) * 2017-09-03 2018-01-19 泉州迪特工业产品设计有限公司 一种智能炫酷鞋及其实现方法
CN108114358A (zh) * 2017-12-21 2018-06-05 泰康保险集团股份有限公司 音乐康复方法、系统、电子设备及计算机可读介质
CN108114358B (zh) * 2017-12-21 2020-10-09 泰康保险集团股份有限公司 音乐康复系统
CN112639686A (zh) * 2018-09-07 2021-04-09 苹果公司 在虚拟环境的影像和声音与真实环境的影像和声音之间转换
CN109939325A (zh) * 2019-01-30 2019-06-28 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实技术的神经发育障碍音乐训练系统

Similar Documents

Publication Publication Date Title
CN106249900A (zh) 一种基于增强现实的音频虚拟现实实现方法及系统
Craig Understanding augmented reality: Concepts and applications
Barakonyi et al. Augmented reality agents in the development pipeline of computer entertainment
Kuang et al. The feasibility study of augmented reality technology in early childhood education
Duan Design of online volleyball remote teaching system based on AR technology
Fanini et al. Augmented reality for cultural heritage
Asaad et al. Proposed system for education augmented reality self English learning
CN112734946A (zh) 一种声乐表演教学方法及系统
Hughes et al. Augmenting museum experiences with mixed reality
Wang et al. A survey of museum applied research based on mobile augmented reality
Gomez Immersive virtual reality for learning experiences
Doma EEG as an input for virtual reality
Garner et al. Everyday virtual reality
Qadri et al. Virtual tourism using Samsung gear VR headset
Shih et al. Guest editorial: special section on game-based learning
CN110969237B (zh) 两性关系视角下的人机虚拟互动构建方法、设备及介质
Malaka et al. Using Natural User Interfaces for Previsualization.
Xu Immersive display design based on deep learning intelligent VR technology
Wang et al. [Retracted] Application of Virtual Reality Technology and 3D Technology in Game Animation Production
Takano et al. An Interactive music learning system in ensemble performance class
Ma et al. Embodied Cognition Guides Virtual-Real Interaction Design to Help Yicheng Flower Drum Intangible Cultural Heritage Dissemination
Liu Research on Application of OpenGL-Based Game Design
Yang et al. Design of Zoo 3D Roaming System Based on Unity3D Virtual Reality Technology
Mi et al. The Application Path of AIGC in Assisting Game Character Design-A Case Study of the Black Bear Monster from Journey to the West
Xin et al. AR Interaction Design Mode of Multi-user and Multi-character in Theme Parks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161221

RJ01 Rejection of invention patent application after publication