CN106652656A - 利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔 - Google Patents

利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔 Download PDF

Info

Publication number
CN106652656A
CN106652656A CN201611175674.0A CN201611175674A CN106652656A CN 106652656 A CN106652656 A CN 106652656A CN 201611175674 A CN201611175674 A CN 201611175674A CN 106652656 A CN106652656 A CN 106652656A
Authority
CN
China
Prior art keywords
virtual
musical instrument
user
display screen
main frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611175674.0A
Other languages
English (en)
Inventor
朱金彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN106652656A publication Critical patent/CN106652656A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种利用虚拟乐器学习和演奏的方法，包括：利用激光3和摄像头4来获取用户人体图像信息，将此人体图像信息传输给主机1，通过AR、VR、体感游戏技术，实现现实身体控制投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体操作虚拟世界乐器，或主机1根据用户佩戴的传感器确定现实身体手脚移动位置来控制虚拟身体操作虚拟身体身边显示的乐器。本发明还公开了一种利用虚拟乐器学习和演奏的装置，所述装置包括：眼镜或头盔，1为主机(手机系统、CPU、GPU、ROM、RAM、硬盘、外部存储器、蓝牙、无线连接、电池等)，2为扬声器，3为激光，4为摄像头，5为投影仪或显示屏，6为麦克。

Description

利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或 头盔
技术领域
本发明涉及移动设备技术、电子信息技术和计算机技术领域，尤其涉及一种利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔。
技术背景
随着移动技术、电子技术、计算机技术的发展，以前只用来佩戴的眼镜和头盔，现在功能越来越多，如通过智能手机或家庭网络与互联网相连，可实现搜索、短信、拍照、摄像、社交分享、虚拟现实等功能。
目前智能眼镜和头盔还不具备乐器的学习和演奏的功能，而传统的乐器如古筝、古琴、小提琴、钢琴等价格太昂贵，一般家庭购买不起，学习费用也过高，老师也无法随时随地教导。
发明内容
有鉴于此，本发明提出一种利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔，以解决上述问题。
为达到上述目的，本发明的实施例的技术方案是这样实现的：
一种利用虚拟乐器学习和演奏的方法，其特征在于，根据一种乐器最理想的发音标准记录这种乐器各种发音按这种乐器最理想发音要求对这种乐器的虚拟乐器进行设置，以此类推对其他虚拟乐器进行记录和设置，利用激光3和摄像头4来获取用户人体图像信息，将此人体图像信息传输给主机1，通过AR、VR、体感游戏软件，实现现实身体控制投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体，此虚拟身体可以是对用户三维人体扫描生成的虚拟身体，操作投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体身边显示的乐器，或主机1根据用户佩戴的传感器确定现实身体手脚移动位置来控制虚拟身体操作虚拟身体身边显示的乐器，包括：
a1、在投影仪或显示屏5对眼显示的三维虚拟空间，点击生成一种虚拟乐器，此虚拟乐器可以随意移动位置并可以悬浮空中进行操作，三维虚拟空间可以自由选择不同环境的三维虚拟空间。
a2、利用激光3和摄像头4来获取用户人体图像信息，将此人体图像信息传输给主机1通过AR、VR、体感游戏软件或主机1根据用户佩戴的传感器来确定用户现实身体手脚移动位置控制投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体操作虚拟乐器，根据虚拟身体在这种虚拟乐器上运动的位置变化，主机1将这种虚拟乐器设置好的发音要求激发的对应音频信号传输给扬声器2。
a3、记录一种乐器老师通过现实身体控制投影仪或显示屏5对眼显示的虚拟世界虚拟身体操作这种虚拟乐器演奏一首曲谱虚拟身体运动的轨迹，用户学习这首曲谱时可以通过现实身体控制投影仪或显示屏5对眼显示的虚拟世界虚拟身体点击在此虚拟乐器上生成记录的老师演奏这首曲谱虚拟身体运动轨迹影像，此影像可以设置为虚影和快慢，用户通过现实身体控制自己的虚拟身体尽量和记录的虚拟身体影像重合跟着演奏，进行学习，以此类推其他乐器和曲谱的学习。
a4、利用互联网和社交软件可以使不同地区的用户通过现实身体控制的虚拟身体出现在同一个虚拟空间，各自生成对应的乐器一起演奏。
本发明实施例还公开了一种三维显示的操作装置，其特征在于，记录某种乐器最理想的各种发音按这种乐器最理想发音要求对虚拟的乐器进行设置，利用激光3和摄像头4来获取人体图像信息，将此人体图像信息传输给主机1，通过AR、VR、体感游戏软件，实现现实身体控制投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体，此虚拟身体可以是对用户三维人体扫描生成的虚拟身体，操作投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体身边显示的乐器，或通过佩戴传感器确定现实身体手脚移动位置来控制虚拟身体操作虚拟身体身边显示的乐器。
所述装置具有电话，搜索、短信、拍照、摄像、社交分享、虚拟现实、体感游戏、学习和演奏乐器等功能。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1为本发明的结构示意图；
图中：1为主机(手机系统、CPU、GPU、ROM、RAM、硬盘、外部存储器、蓝牙、无线连接、陀螺仪、传感器、电池等)，2为扬声器，3为激光，4为摄像头，5为投影仪或显示屏，6为麦克。
具体实施方案
如图1所示，所述装置包括：眼镜或头盔，1为主机(手机系统、CPU、GPU、ROM、RAM、硬盘、外部存储器、蓝牙、无线连接、传感器、电池等)，2为扬声器，3为激光，4为摄像头，5为投影仪或显示屏，6为麦克。
一种利用虚拟乐器学习和演奏的方法，其特征在于，根据一种乐器最理想的发音标准记录这种乐器各种发音按这种乐器最理想发音要求对这种乐器的虚拟乐器进行设置，以此类推对其他虚拟乐器进行记录和设置，利用激光3和摄像头4来获取用户人体图像信息，将此人体图像信息传输给主机1，通过AR、VR、体感游戏软件，实现现实身体控制投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体，此虚拟身体可以是对用户三维人体扫描生成的虚拟身体，操作投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体身边显示的乐器，或主机1根据用户佩戴的传感器确定现实身体手脚移动位置来控制虚拟身体操作虚拟身体身边显示的乐器，包括：
a1、在投影仪或显示屏5对眼显示的三维虚拟空间，点击生成一种虚拟乐器，此虚拟乐器可以随意移动位置并可以悬浮空中进行操作，三维虚拟空间可以自由选择不同环境的三维虚拟空间。
a1、利用激光3和摄像头4来获取用户人体图像信息，将此人体图像信息传输给主机1通过AR、VR、体感游戏软件或主机1根据用户佩戴的传感器来确定用户现实身体手脚移动位置控制投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体操作虚拟乐器，根据虚拟身体在这种虚拟乐器上运动的位置变化，主机1将这种虚拟乐器设置好的发音要求激发的对应音频信号传输给扬声器2。
a2、记录一种乐器老师通过现实身体控制投影仪或显示屏5对眼显示的虚拟世界虚拟身体操作这种虚拟乐器演奏一首曲谱虚拟身体运动的轨迹，用户学习这首曲谱时可以通过现实身体控制投影仪或显示屏5对眼显示的虚拟世界虚拟身体点击在此虚拟乐器上生成记录的老师演奏这首曲谱虚拟身体运动轨迹影像，此影像可以设置为虚影和快慢，用户通过现实身体控制自己的虚拟身体尽量和记录的虚拟身体影像重合跟着演奏，进行学习，以此类推其他乐器和曲谱的学习。
a3、利用互联网和社交软件可以使不同地区的用户通过现实身体控制的虚拟身体出现在同一个虚拟空间，各自生成对应的乐器一起演奏。

Claims (7)

1.一种利用虚拟乐器学习和演奏的方法，其特征在于，根据一种乐器最理想的发音标准记录这种乐器各种发音按这种乐器最理想发音要求对这种乐器的虚拟乐器进行设置，以此类推对其他虚拟乐器进行记录和设置，利用激光3和摄像头4来获取用户人体图像信息，将此人体图像信息传输给主机1，通过AR、VR、体感游戏技术，实现现实身体控制投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体，此虚拟身体可以是对用户三维人体扫描生成的虚拟身体，操作投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体身边显示的乐器，或主机1根据用户佩戴的传感器确定现实身体手脚移动位置来控制虚拟身体操作虚拟身体身边显示的乐器。
2.根据权利要求1所述的利用虚拟乐器学习和演奏的方法，其特征在于，在投影仪或显示屏5对眼显示的三维虚拟空间，点击生成一种虚拟乐器，此虚拟乐器可以随意移动位置并可以悬浮空中进行操作，三维虚拟空间可以自由选择不同环境的三维虚拟空间。
3.根据权利要求1所述的利用虚拟乐器学习和演奏的方法，其特征在于，利用激光3和摄像头4来获取用户人体图像信息，将此人体图像信息传输给主机1通过AR、VR、体感游戏技术或主机1根据用户佩戴的传感器来确定用户现实身体手脚移动位置控制投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体操作虚拟乐器，根据虚拟身体在这种虚拟乐器上运动的位置变化，主机1将这种虚拟乐器设置好的发音要求激发的对应音频信号传输给扬声器2。
4.根据权利要求1所述的利用虚拟乐器学习和演奏的方法，其特征在于，记录一种乐器老师通过现实身体控制投影仪或显示屏5对眼显示的虚拟世界虚拟身体操作这种虚拟乐器演奏一首曲谱虚拟身体运动的轨迹，用户学习这首曲谱时可以通过现实身体控制投影仪或显示屏5对眼显示的虚拟世界虚拟身体点击在此虚拟乐器上生成记录的老师演奏这首曲谱虚拟身体运动轨迹影像，此影像可以设置为虚影和快慢，用户通过现实身体控制自己的虚拟身体尽量和记录的虚拟身体影像重合跟着演奏，进行学习，以此类推其他乐器和曲谱的学习。
5.根据权利要求1所述的利用虚拟乐器学习和演奏的方法，其特征在于，利用互联网和社交软件可以使不同地区的用户通过现实身体控制的虚拟身体出现在同一个虚拟空间，各自生成对应的乐器一起演奏。
6.一种利用虚拟乐器学习和演奏的装置，其特征在于，所述装置包括：眼镜或头盔，1为主机(手机系统、CPU、GPU、ROM、RAM、硬盘、外部存储器、蓝牙、无线连接、传感器、电池等)，2为扬声器，3激光，4为摄像头，5为投影仪或显示屏，6为麦克，主机1预存各种乐器各种发音按各种乐器最理想发音要求对各种虚拟乐器进行的设置。
7.根据权利要求6所述的利用虚拟乐器的操作装置，其特征在于，利用激光3和摄像头4来获取人体图像信息，将此人体图像信息传输给主机1，通过AR、VR、体感游戏软件，或主机1根据用户佩戴的传感器移动位置，控制投影仪或显示屏5对眼显示的虚拟世界里的虚拟身体在虚拟乐器上移动位置，主机1将主机1预存的或网站针对此虚拟乐器设置的发音要求激发的对应音频信号传输给扬声器2。
CN201611175674.0A 2016-10-18 2016-12-11 利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔 Pending CN106652656A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610922354 2016-10-18
CN2016109223540 2016-10-18

Publications (1)

Publication Number Publication Date
CN106652656A true CN106652656A (zh) 2017-05-10

Family

ID=58823198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611175674.0A Pending CN106652656A (zh) 2016-10-18 2016-12-11 利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔

Country Status (1)

Country Link
CN (1) CN106652656A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107167922A (zh) * 2017-07-18 2017-09-15 浙江拓客网络科技有限公司 基于vr箱的拟景互动体验方法
CN107485826A (zh) * 2017-07-28 2017-12-19 长春理工大学 基于虚拟现实技术的手部康复训练系统
CN108288419A (zh) * 2017-12-31 2018-07-17 广州市坤腾软件技术有限公司 一种基于ar/vr技术的职教工匠平台
CN108986777A (zh) * 2018-06-14 2018-12-11 森兰信息科技（上海）有限公司 通过体感进行音乐模拟的方法、体感设备及乐器终端
CN109493686A (zh) * 2018-12-29 2019-03-19 深圳市掌网科技股份有限公司 一种基于混合现实的钢琴训练系统及方法
CN109493685A (zh) * 2018-12-29 2019-03-19 深圳市掌网科技股份有限公司 一种基于增强现实的虚拟打击乐器训练系统
CN109697918A (zh) * 2018-12-29 2019-04-30 深圳市掌网科技股份有限公司 一种基于增强现实的打击乐器体验系统
CN109767670A (zh) * 2019-03-15 2019-05-17 河南理工大学 一种vr的音乐指挥训练系统
CN109799903A (zh) * 2018-12-21 2019-05-24 段新 基于虚拟现实的打击乐方法、终端设备及系统
CN112019910A (zh) * 2020-08-27 2020-12-01 深圳创维－Rgb电子有限公司 一种乐器演奏方法、装置、电视及存储介质
CN112270858A (zh) * 2020-10-10 2021-01-26 陇东学院 一种基于vr系统的音乐指挥训练台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301476A (ja) * 1993-04-09 1994-10-28 Casio Comput Co Ltd 位置検出装置
CN103207677A (zh) * 2013-04-22 2013-07-17 北京工业大学 一种数字曾侯乙编钟虚拟现实体感交互系统与方法
CN103235641A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
CN103310768A (zh) * 2012-03-14 2013-09-18 卡西欧计算机株式会社 演奏装置以及演奏装置的控制方法
CN105320262A (zh) * 2014-06-08 2016-02-10 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN205581785U (zh) * 2016-04-15 2016-09-14 向京晶 一种多人室内虚拟现实互动系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301476A (ja) * 1993-04-09 1994-10-28 Casio Comput Co Ltd 位置検出装置
CN103310768A (zh) * 2012-03-14 2013-09-18 卡西欧计算机株式会社 演奏装置以及演奏装置的控制方法
CN103235641A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
CN103207677A (zh) * 2013-04-22 2013-07-17 北京工业大学 一种数字曾侯乙编钟虚拟现实体感交互系统与方法
CN105320262A (zh) * 2014-06-08 2016-02-10 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN205581785U (zh) * 2016-04-15 2016-09-14 向京晶 一种多人室内虚拟现实互动系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107167922A (zh) * 2017-07-18 2017-09-15 浙江拓客网络科技有限公司 基于vr箱的拟景互动体验方法
CN107485826A (zh) * 2017-07-28 2017-12-19 长春理工大学 基于虚拟现实技术的手部康复训练系统
CN108288419A (zh) * 2017-12-31 2018-07-17 广州市坤腾软件技术有限公司 一种基于ar/vr技术的职教工匠平台
WO2019237871A1 (en) * 2018-06-14 2019-12-19 Sunland Information Technology Co., Ltd. Systems and methods for music simulation via motion sensing
CN108986777A (zh) * 2018-06-14 2018-12-11 森兰信息科技（上海）有限公司 通过体感进行音乐模拟的方法、体感设备及乐器终端
US11437006B2 (en) * 2018-06-14 2022-09-06 Sunland Information Technology Co., Ltd. Systems and methods for music simulation via motion sensing
US20220366884A1 (en) * 2018-06-14 2022-11-17 Sunland Information Technology Co., Ltd. Systems and methods for music simulation via motion sensing
US11749246B2 (en) * 2018-06-14 2023-09-05 Sunland Information Technology Co., Ltd. Systems and methods for music simulation via motion sensing
CN109799903A (zh) * 2018-12-21 2019-05-24 段新 基于虚拟现实的打击乐方法、终端设备及系统
CN109493686A (zh) * 2018-12-29 2019-03-19 深圳市掌网科技股份有限公司 一种基于混合现实的钢琴训练系统及方法
CN109493685A (zh) * 2018-12-29 2019-03-19 深圳市掌网科技股份有限公司 一种基于增强现实的虚拟打击乐器训练系统
CN109697918A (zh) * 2018-12-29 2019-04-30 深圳市掌网科技股份有限公司 一种基于增强现实的打击乐器体验系统
CN109767670A (zh) * 2019-03-15 2019-05-17 河南理工大学 一种vr的音乐指挥训练系统
CN112019910A (zh) * 2020-08-27 2020-12-01 深圳创维－Rgb电子有限公司 一种乐器演奏方法、装置、电视及存储介质
CN112270858A (zh) * 2020-10-10 2021-01-26 陇东学院 一种基于vr系统的音乐指挥训练台

Similar Documents

Publication Publication Date Title
CN106652656A (zh) 利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔
US8246460B2 (en) Game system
US10166477B2 (en) Image processing device, image processing method, and image processing program
US20190240567A1 (en) Input detection in connection with projected images
CN202355828U (zh) 游戏系统和操作装置
JP5812663B2 (ja) 音楽演奏用プログラム、音楽演奏装置、音楽演奏システムおよび音楽演奏方法
CN107111340A (zh) 用于使用头戴式显示器在虚拟或增强现实场景内进行用户交互的方法和系统
CN105895066A (zh) 能够进行网络示范演奏和实时视频教学的数字化钢琴
CN108701369A (zh) 针对虚拟现实的娱乐数据的制作与封装
CN103325363A (zh) 演奏装置及方法
CN106075854A (zh) 一种舞蹈训练系统
JP2012094101A (ja) 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
CN107277736A (zh) 模拟系统、声音处理方法及信息存储介质
WO2018182190A1 (en) Use of earcons for roi identification in 360-degree video
CN104043245A (zh) 游戏控制器
US20140119580A1 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
CN113365085B (zh) 一种直播视频生成方法及装置
US11200739B2 (en) Virtual scene
McMenemy et al. A hitchhiker's guide to virtual reality
JP2017058526A (ja) カラオケ装置及びカラオケ用プログラム
JP6313666B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN205964972U (zh) 一种虚拟互动游戏装置
CN113343022A (zh) 歌曲教学方法、装置、终端和存储介质
Loviscach Playing with all senses: Human–Computer interface devices for games
JP7354466B1 (ja) 情報処理システムおよびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510

WD01 Invention patent application deemed withdrawn after publication