CN107644631A - 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备 - Google Patents
基于虚拟现实的音乐输入的方法、系统及虚拟现实设备 Download PDFInfo
- Publication number
- CN107644631A CN107644631A CN201710693787.8A CN201710693787A CN107644631A CN 107644631 A CN107644631 A CN 107644631A CN 201710693787 A CN201710693787 A CN 201710693787A CN 107644631 A CN107644631 A CN 107644631A
- Authority
- CN
- China
- Prior art keywords
- musical instrument
- key
- virtual
- gesture data
- parallel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
Abstract
本发明涉及虚拟现实技术领域，尤其涉及基于虚拟现实的音乐输入的方法、系统及虚拟现实设备，所述方法包括：a.根据用户的选择生成对应的虚拟乐器；b.在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；c.捕捉用户的手势数据；d.根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。与现有技术相比，本发明通过在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键，可以更精确的弹奏乐器，用户无需再专注于手与乐器键的位置。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及基于虚拟现实的音乐输入的方法、系统及虚拟现实设备。
背景技术
Leap Motion是面向PC以及Mac的体感控制器，提供更高的软硬件结合能力。LeapMotion控制器可追踪全部10只手指，150度超宽幅的空间视场，可以像在真实世界一样随意在3D的空间移动您的双手，Leap Motion控制器以超过每秒200帧的速度追踪手部移动。
目前，已经有将Leap Motion应用于空中弹钢琴，但是Leap Motion设备视野范围内的手势方向是6自由度，对于空中钢琴多琴键(超过10个琴键)演奏需要虚拟场景中手与琴键保持相对应的距离，而6自由度的手势活动范围要准确的找到与琴键相对应的距离存在较大误差，体验效果欠佳。
发明内容
本发明实施例的目的在于提供虚拟现实的音乐输入的方法、系统及虚拟现实设备，以解决现有手势活动范围与乐器键的距离存在较大误差，体验效果欠佳的问题。
为了解决上述问题，本发明实施例提供了一种基于虚拟现实的音乐输入的方法，所述方法包括：
a.根据用户的选择生成对应的虚拟乐器；
b.在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；
c.捕捉用户的手势数据；
d.根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。
本发明实施例还提供了一种基于虚拟现实的音乐输入的系统，所述系统包括：
虚拟乐器生成单元，用于根据用户的选择生成对应的虚拟乐器；
平行键设置单元，用于在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；
手势捕捉单元，用于捕捉用户的手势数据；
播放单元，用于根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。
本发明实施例还提供了一种虚拟现实设备，包括基于虚拟现实的音乐输入的系统。
与现有技术相比，本发明通过在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键，可以更精确的弹奏乐器，用户无需再专注于手与乐器键的位置。
附图说明
图1为本发明实施例提供的基于虚拟现实的音乐输入的方法流程图一。
图2为本发明实施例提供的基于虚拟现实的音乐输入的方法流程图二。
图3为本发明实施例提供的基于虚拟现实的音乐输入的系统示意图一。
图4为本发明实施例提供的基于虚拟现实的音乐输入的系统示意图二。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明。
图1示出了本发明实施例提供的基于虚拟现实的音乐输入的方法流程图一，详述如下：
步骤S101，根据用户的选择生成对应的虚拟乐器；
在本发明实施例中，虚拟乐器有很多种，包括钢琴、吉他、手风琴、电子鼓等等，可以根据用户的选择生成对应的虚拟乐器。
步骤S102，在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；
在本发明实施例中，在虚拟乐器的乐器键上方预设距离，例如3厘米，设置一根平行于乐器键的平行键，平行键在渲染界面不可见，平行键可以是柱体，场景中的手可以左右移动弹奏，能精准的摆放手的位置，如果没有柱体，手在乐器键上弹奏时，由于不好把握手与乐器键的距离，一般弹奏时离乐器键的距离会偏近，容易将手嵌入到乐器键内，体验效果欠佳。而柱体由于增加了乐器键的高度，只要碰触到柱体即可发出对应的乐器键声音。
步骤S103,捕捉用户的手势数据；
在本发明实施例中，采集用户手的3D数据，包括手掌与手指的位置及移动量。
步骤S104，根据手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放乐器键或平行键对应的乐器声。
在本发明实施例中，根据手势数据分析手指按下的虚拟乐器的乐器键或者平行键，平行键与与之平行的乐器键为同一个乐器声。
图2示出了本发明实施例提供的基于虚拟现实的音乐输入的方法流程图二，详述如下：
步骤S201，根据用户的选择生成对应的虚拟乐器；
步骤S202，在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；
步骤S203，捕捉用户的手势数据；
步骤S204，将手势数据生成模拟手指动画，并播放；
在本发明实施例中，根据手势数据生成模拟手指动画播放，可以实时观看手部动作，也便于找准乐器键弹奏。
步骤S205，根据手势数据判断手是否在虚拟乐器的乐器键上，是则执行步骤S206，否则返回执行步骤S203；
在本发明实施例中，在捕捉到用户的手势数据后，判断用户的手是否在虚拟乐器的乐器键上，只有手在乐器键上，弹奏时才会发出声音。
步骤S206，根据手势数据分析每根手指的移动量，若移动量大于预设移动阈值，则视为用户按下虚拟乐器的乐器键或平行键，继续执行步骤S207；
步骤S207，播放乐器键或平行键对应的乐器声。
在本发明实施例中，根据手势数据计算每根手指的移动量，若移动量大于预设阈值则，视为用户按下虚拟乐器的乐器键或平行键或平行键，播放乐器键或平行键对应的乐器声。
图3示出了本发明实施例提供的基于虚拟现实的音乐输入的系统示意图一，详述如下：
虚拟乐器生成单元31根据用户的选择生成对应的虚拟乐器；
在本发明实施例中，虚拟乐器有很多种，包括钢琴、吉他、手风琴、电子鼓等等，可以根据用户的选择生成对应的虚拟乐器。
平行键设置单元32在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；
在本发明实施例中，在虚拟乐器的乐器键上方预设距离，例如3厘米，设置一根平行于乐器键的平行键，平行键在渲染界面不可见，平行键可以是柱体，场景中的手可以左右移动弹奏，能精准的摆放手的位置，如果没有柱体，手在乐器键上弹奏时，由于不好把握手与乐器键的距离，一般弹奏时离乐器键的距离会偏近，容易将手嵌入到乐器键内，体验效果欠佳。而柱体由于增加了乐器键的高度，只要碰触到柱体即可发出对应的乐器键声音。
手势捕捉单元33捕捉用户的手势数据；
在本发明实施例中，采集用户手的3D数据，包括手掌与手指的位置及移动量。
播放单元34根据手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放乐器键或平行键对应的乐器声。
在本发明实施例中，根据手势数据分析手指按下的虚拟乐器的乐器键或者平行键，平行键与与之平行的乐器键为同一个乐器声。
图4示出了本发明实施例提供的基于虚拟现实的音乐输入的系统示意图二，详述如下：
虚拟乐器生成单元41根据用户的选择生成对应的虚拟乐器；
平行键设置单元42在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；
手势捕捉单元43捕捉用户的手势数据；
动画模拟单元44将手势数据生成模拟手指动画，并播放；
在本发明实施例中，根据手势数据生成模拟手指动画播放，可以实时观看手部动作，也便于找准乐器键弹奏。
位置判断单元45根据手势数据判断手是否在虚拟乐器的乐器键上，是则执行乐器播放单元，否则返回执行手势数据捕捉单元。
在本发明实施例中，在捕捉到用户的手势数据后，判断用户的手是否在虚拟乐器的乐器键上，只有手在乐器键上，弹奏时才会发出声音。
播放单元46根据手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放乐器键或平行键对应的乐器声；
播放单元46包括弹奏判断模块461根据手势数据分析每根手指的移动量，若移动量大于预设移动阈值，则视为用户按下虚拟乐器的乐器键或平行键。
本发明实施例还提供一种虚拟现实设备，包括执行上述基于虚拟现实的音乐输入的系统的任意一项的系统。
具体的内容在系统实施例中已经描述，在此不再赘述。
与现有技术相比，本发明通过在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键，可以更精确的弹奏乐器，用户无需再专注于手与乐器键的位置。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以不再进行赘述，相关之处参见方法实施例的部分说明即可。
以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制于以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。
Claims (9)
1.一种基于虚拟现实的音乐输入的方法，其特征在于，所述方法包括：
a.根据用户的选择生成对应的虚拟乐器；
b.在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；
c.捕捉用户的手势数据；
d.根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。
2.如权利要求1所述的方法，其特征在于，在所述步骤d之前还包括：
e.根据手势数据判断手是否在虚拟乐器的乐器键上，是则执行步骤d，否则返回步骤c。
3.如权利要求1所述的方法，其特征在于，所述根据所述手势数据获取手指按下的虚拟乐器的乐器键包括：
根据所述手势数据分析每根手指的移动量，若移动量大于预设移动阈值，则视为用户按下虚拟乐器的乐器键或平行键。
4.如权利要求1所述的方法，其特征在于，所述步骤C之后还包括：
f.将所述手势数据生成模拟手指动画，并播放。
5.一种基于虚拟现实的音乐输入的系统，其特征在于，所述系统包括：
虚拟乐器生成单元，用于根据用户的选择生成对应的虚拟乐器；
平行键设置单元，用于在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；
手势捕捉单元，用于捕捉用户的手势数据；
播放单元，用于根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。
6.如权利要求5所述的系统，其特征在于，所述系统还包括：
位置判断单元，用于根据手势数据判断手是否在虚拟乐器的乐器键上，是则执行乐器播放单元，否则返回执行手势数据捕捉单元。
7.如权利要求5所述的系统，其特征在于，所述播放单元包括弹奏判断模块，用于根据所述手势数据分析每根手指的移动量，若移动量大于预设移动阈值，则视为用户按下虚拟乐器的乐器键或平行键。
8.如权利要求5所述的系统，其特征在于，所述系统还包括动画模拟单元，用于将所述手势数据生成模拟手指动画，并播放。
9.一种虚拟现实设备，其特征在于，所述虚拟现实设备包括上述权利要求5-8的任意一项的系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710693787.8A CN107644631A (zh) | 2017-10-13 | 2017-10-13 | 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710693787.8A CN107644631A (zh) | 2017-10-13 | 2017-10-13 | 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107644631A true CN107644631A (zh) | 2018-01-30 |
Family
ID=61110580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710693787.8A Pending CN107644631A (zh) | 2017-10-13 | 2017-10-13 | 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107644631A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108281129A (zh) * | 2018-03-14 | 2018-07-13 | 河海大学常州校区 | 基于processing的midi键盘可视化方法 |
| CN109166565A (zh) * | 2018-08-23 | 2019-01-08 | 百度在线网络技术（北京）有限公司 | 虚拟乐器处理方法、装置、虚拟乐器设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090114079A1 (en) * | 2007-11-02 | 2009-05-07 | Mark Patrick Egan | Virtual Reality Composer Platform System |
| CN103235642A (zh) * | 2013-03-17 | 2013-08-07 | 浙江大学 | 一种6维度感官交互的虚拟乐器系统及其实现方法 |
| CN103235641A (zh) * | 2013-03-17 | 2013-08-07 | 浙江大学 | 一种6维度感官交互的虚拟键盘乐器系统及其实现方法 |
| CN105389013A (zh) * | 2015-12-21 | 2016-03-09 | 深港产学研基地 | 一种基于手势的虚拟弹奏系统 |
| CN106845335A (zh) * | 2016-11-29 | 2017-06-13 | 歌尔科技有限公司 | 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备 |
-
2017
- 2017-10-13 CN CN201710693787.8A patent/CN107644631A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090114079A1 (en) * | 2007-11-02 | 2009-05-07 | Mark Patrick Egan | Virtual Reality Composer Platform System |
| CN103235642A (zh) * | 2013-03-17 | 2013-08-07 | 浙江大学 | 一种6维度感官交互的虚拟乐器系统及其实现方法 |
| CN103235641A (zh) * | 2013-03-17 | 2013-08-07 | 浙江大学 | 一种6维度感官交互的虚拟键盘乐器系统及其实现方法 |
| CN105389013A (zh) * | 2015-12-21 | 2016-03-09 | 深港产学研基地 | 一种基于手势的虚拟弹奏系统 |
| CN106845335A (zh) * | 2016-11-29 | 2017-06-13 | 歌尔科技有限公司 | 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108281129A (zh) * | 2018-03-14 | 2018-07-13 | 河海大学常州校区 | 基于processing的midi键盘可视化方法 |
| CN108281129B (zh) * | 2018-03-14 | 2021-11-16 | 河海大学常州校区 | 基于processing的midi键盘可视化方法 |
| CN109166565A (zh) * | 2018-08-23 | 2019-01-08 | 百度在线网络技术（北京）有限公司 | 虚拟乐器处理方法、装置、虚拟乐器设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10514761B2 (en) | Dynamic rendering of etching input | |
| CN108885533B (zh) | 组合虚拟现实和增强现实 | |
| CN108874158B (zh) | 触觉效果的自动适配 | |
| CN104793737B (zh) | 用于内容编创的系统和方法 | |
| US9430106B1 (en) | Coordinated stylus haptic action | |
| US10474238B2 (en) | Systems and methods for virtual affective touch | |
| US8830188B2 (en) | Infrastructural haptics on wall scale interactive displays | |
| JP2021002399A (ja) | ユーザー相互作用を共有するための装置 | |
| US20140168093A1 (en) | Method and system of emulating pressure sensitivity on a surface | |
| US20150054727A1 (en) | Haptically enabled viewing of sporting events | |
| US20160066119A1 (en) | Sound effect processing method and device thereof | |
| US20150231491A1 (en) | Advanced Game Mechanics On Hover-Sensitive Devices | |
| CN111045511B (zh) | 基于手势的操控方法及终端设备 | |
| CN110389659A (zh) | 针对增强或虚拟现实环境提供动态触觉回放的系统和方法 | |
| EP3333674A1 (en) | Systems and methods for compliance simulation with haptics | |
| CN103309592B (zh) | 一种调整屏幕的方法及电子设备 | |
| JP2017534135A (ja) | モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法 | |
| CN107644631A (zh) | 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备 | |
| EP3367216A1 (en) | Systems and methods for virtual affective touch | |
| KR20200056287A (ko) | 시각적 특성을 기초로 한 햅틱 효과 생성 시스템 및 방법 | |
| CN106984044A (zh) | 用于启动预设流程的方法及设备 | |
| CN109471524A (zh) | 一种控制马达振动的方法及移动终端 | |
| US10665067B2 (en) | Systems and methods for integrating haptics overlay in augmented reality | |
| CN117716322A (zh) | 增强现实（ar）笔/手跟踪 | |
| Nieto et al. | Hand gesture recognition in mobile devices: Enhancing the musical experience |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180130 |