CN109493685B - 一种基于增强现实的虚拟打击乐器训练系统 - Google Patents

Abstract

本发明公开了一种基于增强现实的虚拟打击乐器训练系统，该打击乐器体验系统包括用于用户随身携带且具有识别模块、投影模块、重力测量模块、虚拟成像模块和音频播放模块的增强现实眼镜和用于可供用户手持的操作装置。用户可以手持该操作装置并根据被该投影模块投射至该受击装置上的图像指令对该虚拟打击乐器进行有规律的模拟击打，并且该音频播放模块可以在该操作装置模拟击打该虚拟打击乐器时播放对应的声音。用户可以通过调节该音频播放模块的音量大小，以防止发出过大的声音而影响到他人休息。同时，通过手持实体的该操作装置对该虚拟打击乐器进行模拟击打而直接体验敲击节奏。从而，用户可在不对周边邻居造成影响的情况下进行有效的训练。

Description

一种基于增强现实的虚拟打击乐器训练系统

技术领域

本发明涉及增强现实领域，更具体而言，涉及一种基于增强现实的虚拟打击乐器训练系统。

背景技术

众所周知的，想要熟练地掌握一门打击乐器，就需要经过大量的重复性练习。以架子鼓的训练为例，目前多采用实鼓训练和电子鼓训练两种。实鼓训练噪音非常大，不适合在家里进行，在家中练习经常会影响到周围邻居的生活。电子鼓虽然噪声较小，但是手感较差，在训练过程中没有辅助装置，对于节拍的把握和敲击的顺序没有直观的感受。

发明内容

本发明要解决的技术问题在于，针对现有技术的缺点，提供一种基于增强现实的虚拟打击乐器训练系统，帮助打击乐爱好者在不对周边邻居造成影响的情况下进行有效的训练。

为解决上述技术问题，本发明提供一种基于增强现实的虚拟打击乐器训练系统，所述打击乐器体验系统包括用于用户随身携带且具有识别模块、投影模块、重力测量模块、虚拟成像模块和音频播放模块的增强现实眼镜和用于可供用户手持的操作装置，所述虚拟成像模块用于根据所述重力测量模块测得的方向在与地面呈任意规定角度的地上或者半空中投射出虚拟打击乐器，所述操作装置上设有可供所述识别模块识别的第一特征元素，所述虚拟成像模块投射出的所述虚拟打击乐器上具有多个可供所述识别模块识别的第二特征元素，所述投影模块用于将图像指令投射至所述虚拟打击乐器，所述音频播放模块用于在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。

通过采用上述技术方案中的基于增强现实的虚拟打击乐器训练系统，所述增强现实眼镜通过所述虚拟成像模块在用于的前方投射出虚拟打击乐器，所述识别模块对所述操作装置上的所述第一特征元素和所述虚拟打击乐器上的所述第二特征元素进行捕捉定位，从而所述增强现实眼镜的所述投影模块可以准确的将所述图像指令投射至所述虚拟打击乐器，如此，用户可以手持所述操作装置并根据被所述投影模块投射至所述受击装置上的图像指令对所述虚拟打击乐器进行有规律的模拟击打，并且所述音频播放模块可以在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。与现有技术相比，用户可以通过调节所述音频播放模块的音量大小，以防止发出过大的声音而影响到他人休息。同时，通过手持实体的所述操作装置对所述虚拟打击乐器进行模拟击打而直接体验敲击节奏。如此，所述基于增强现实的虚拟打击乐器训练系统可以帮助打击乐爱好者在不对周边邻居造成影响的情况下进行有效的训练。

作为本发明的基于增强现实的虚拟打击乐器训练系统的改进，所述虚拟打击乐器包括不同类型的打击乐器的虚拟影像。

作为本发明的基于增强现实的虚拟打击乐器训练系统的改进，所述虚拟打击乐器包括虚拟架子鼓，所述虚拟架子鼓包含的各个虚拟鼔上均设有所述第二特征元素，所述操作装置包括手柄，所述手柄上设有所述第一特征元素。

作为本发明的基于增强现实的虚拟打击乐器训练系统的改进，所述虚拟打击乐器还包括多个分别覆盖于所述虚拟架子鼓包含的各个虚拟鼔上的虚拟鼔盖，每一个所述虚拟鼔盖上均设有所述第二特征元素。

作为本发明的基于增强现实的虚拟打击乐器训练系统的改进，每一个所述虚拟鼔盖的表面上均设有一第一特征图案，且不同的所述虚拟鼔盖表面的所述第一特征图案的形状轮廓不同。

作为本发明的基于增强现实的虚拟打击乐器训练系统的改进，所述图像指令包括多个形状轮廓不同的第二特征图案，一个所述第二特征图案仅与一个所述第一特征图案相匹配，相互匹配的所述第一特征图案和所述第二特征图案叠加后形成便于用户识别的组合图案。

作为本发明的基于增强现实的虚拟打击乐器训练系统的改进，所述增强现实眼镜还具有处理模块，所述处理模块与所述投影模块和所述识别模块信号连接，所述识别模块用于对所述操作装置上的所述第一特征元素和所述虚拟打击乐器上的所述第二特征元素进行捕捉识别，所述处理模块用于通过分析所述第一特征元素与所述第二特征元素之间的位置关系来判断用户是否是正确的按照所述投影模块投射的所述图像指令对所述虚拟打击乐器进行击打，所述处理模块还用于根据用户对所述虚拟打击乐器进行击打的情况进行评分。

与现有技术相比，实施本发明提供的基于增强现实的虚拟打击乐器训练系统，具有如下有益效果：所述打击乐器体验系统包括用于用户随身携带且具有识别模块、投影模块、重力测量模块、虚拟成像模块和音频播放模块的增强现实眼镜和用于可供用户手持的操作装置，所述虚拟成像模块用于根据所述重力测量模块测得的方向在与地面呈任意规定角度的地上或者半空中投射出虚拟打击乐器，所述操作装置上设有可供所述识别模块识别的第一特征元素，所述虚拟成像模块投射出的所述虚拟打击乐器上具有多个可供所述识别模块识别的第二特征元素，所述投影模块用于将图像指令投射至所述虚拟打击乐器，所述音频播放模块用于在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。所述增强现实眼镜通过所述虚拟成像模块在用于的前方投射出虚拟打击乐器，所述识别模块对所述操作装置上的所述第一特征元素和所述虚拟打击乐器上的所述第二特征元素进行捕捉定位，从而所述增强现实眼镜的所述投影模块可以准确的将所述图像指令投射至所述虚拟打击乐器，如此，用户可以手持所述操作装置并根据被所述投影模块投射至所述受击装置上的图像指令对所述虚拟打击乐器进行有规律的模拟击打，并且所述音频播放模块可以在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。与现有技术相比，用户可以通过调节所述音频播放模块的音量大小，以防止发出过大的声音而影响到他人休息。同时，通过手持实体的所述操作装置对所述虚拟打击乐器进行模拟击打而直接体验敲击节奏。如此，所述基于增强现实的虚拟打击乐器训练系统可以帮助打击乐爱好者在不对周边邻居造成影响的情况下进行有效的训练。

附图说明

图1为本发明第一实施例提供的基于增强现实的虚拟打击乐器训练系统的框图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

所述打击乐器体验系统包括用于用户随身携带且具有识别模块、投影模块、重力测量模块、虚拟成像模块和音频播放模块的增强现实眼镜和用于可供用户手持的操作装置，所述虚拟成像模块用于根据所述重力测量模块测得的方向在与地面呈任意规定角度的地上或者半空中投射出虚拟打击乐器，所述操作装置上设有可供所述识别模块识别的第一特征元素，所述虚拟成像模块投射出的所述虚拟打击乐器上具有多个可供所述识别模块识别的第二特征元素，所述投影模块用于将图像指令投射至所述虚拟打击乐器，所述音频播放模块用于在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。所述增强现实眼镜通过所述虚拟成像模块在用于的前方投射出虚拟打击乐器，所述识别模块对所述操作装置上的所述第一特征元素和所述虚拟打击乐器上的所述第二特征元素进行捕捉定位，从而所述增强现实眼镜的所述投影模块可以准确的将所述图像指令投射至所述虚拟打击乐器，如此，用户可以手持所述操作装置并根据被所述投影模块投射至所述受击装置上的图像指令对所述虚拟打击乐器进行有规律的模拟击打，并且所述音频播放模块可以在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。与现有技术相比，用户可以通过调节所述音频播放模块的音量大小，以防止发出过大的声音而影响到他人休息。同时，通过手持实体的所述操作装置对所述虚拟打击乐器进行模拟击打而直接体验敲击节奏。如此，所述基于增强现实的虚拟打击乐器训练系统可以帮助打击乐爱好者在不对周边邻居造成影响的情况下进行有效的训练。

具体的，所述增强现实眼镜包括镜框、处理模块、所述识别模块、所述投影模块、所述虚拟成像模块和所述音频播放模块。所述镜框的结构与普通的眼镜基本相同。所述处理模块可以是安装于所述镜框外部或是埋设于所述镜框内部的微型处理器。所述投影模块安装于所述镜框的外部且与所述处理模块电性连接，本实施例中，所述投影模块包括多个可以发出细小光束的激光器，多个所述激光器整列布置，所述投影模块在所述处理模块的控制下投射出具有一定形状轮廓的图像指令，所述图像指令可以是圆环、方框、箭头、数字或字母，或者是他们的组合。所述识别模块采用的是高清摄像头。所述第一特征元素是具有特殊形状轮廓的几何图形，所述第二特征元素也是具有特殊形状轮廓的几何图形，而且所述第二特征元素的形状轮廓与所述第一特征元素的形状轮廓有明显的差异，如此所述识别模块可以通过摄录所述第一特征元素和所述第二特征元素对所述操作装置和所述虚拟打击乐器进行捕捉和定位。所述虚拟成像模块设置在所述镜框的外侧且与所述处理模块电连接，所述虚拟成像模块能够显示360度全息画面，其投射出的所述虚拟打击乐器十分逼真，以给用户更真实的体验。所述音频播放模块可以采用蓝牙耳机、蓝牙音箱、有线耳机或有线音箱等，为了增强打击乐器体验系统的方便携带的属性，本实施例中的所述音频播放模块采用的是蓝牙耳机，此时所述音频播放模块与所述镜框在结构上是相互分离且各自独立，且与所述处理模块蓝牙信号连接。所述音频播放模块采用蓝牙耳机还可以最大程度的减少对周围邻居的干扰。

具体的，所述操作装置可以是橡胶材质的手柄，所述手柄的两端分别设置有一个所述第一特征元素。

具体的，所述虚拟打击乐器可以包括不同类型的打击乐器的虚拟影像，例如，虚拟低音大鼓、虚拟军鼓、虚拟嗵嗵鼓、虚拟吊镲、虚拟节奏镲、虚拟踩镲、虚拟牛铃、虚拟木鱼、虚拟沙锤、虚拟三角铁、虚拟吊钟和虚拟音树中的一种或多种。所述虚拟打击乐器所包括的打击乐器的类型可以根据用户的需求来进行组合，例如，用户需要练习由低音大鼓、军鼓和嗵嗵鼓组合打击的乐谱时，所述虚拟打击乐器即为虚拟低音大鼓、虚拟军鼓和虚拟嗵嗵鼓。在本实施例中，所述虚拟打击乐器包括7个所述虚拟嗵嗵鼓，7个所述虚拟嗵嗵鼓整齐紧密的布置在同一圆弧上，每一个所述虚拟嗵嗵鼓的鼓面上均设有多个所述第二特征元素，每一个所述虚拟嗵嗵鼓上的多个所述第二特征元素围绕呈一个圆圈。

当使用所述基于增强现实的虚拟打击乐器训练系统进行时，所述处理模块控制所述虚拟成像模块根据所述重力测量模块测得的方向在与地面呈任意规定角度的地上或者半空中投射出7个所述虚拟嗵嗵鼓，所述识别模块通过识别每一个所述虚拟嗵嗵鼓上的所述第二特征元素锁定7个所述虚拟嗵嗵鼓的位置和形态，通过识别设置在所述手柄上的所述第一特征元素锁定所述手柄的位置和形态。同时，所述处理模块控制所述投影模块投射根据某一个乐谱投射依次投射不同的所述图像指令到7个所述虚拟嗵嗵鼓的鼓面上。用户看到某一个所述虚拟嗵嗵鼓的鼓面上出现了所述图像指令时，便可立即手持所述手柄对鼓面上出现了所述图像指令的所述虚拟嗵嗵鼓进行模拟击打，当用户手持所述手柄击中了所述虚拟嗵嗵鼓时，所述处理模块控制所述音频播放模块播放相应的声音。如此，通过所述投影模块不断在7个所述虚拟嗵嗵鼓上投射所述图像指令，用户需要不断按照所述图像指令模拟敲击7个所述虚拟嗵嗵鼓，这样用户可以在不打扰周围邻居的情况下顺利高效的完成训练。进一步的，所述识别模块还用于对所述手柄上的所述第一特征元素和所述虚拟嗵嗵鼓上的所述第二特征元素进行捕捉识别，所述处理模块还用于通过分析所述第一特征元素与所述第二特征元素之间的位置关系来判断用户是否是正确的按照所述投影模块投射的所述图像指令对所述虚拟嗵嗵鼓进行模拟击打，所述处理模块还用于根据用户对所述虚拟嗵嗵鼓进行击打的情况进行评分。系统捕捉击打的契合度，并给出评分。如此，当一轮练习完成后，所述处理模块根据用户击打的准确程度进行打分，准确度高的用户得高分。这更能够提高用户的练习的积极性，以及顺利完成一轮练习后的成就感。

实施例二

本实施例提供一种基于增强现实的虚拟打击乐器训练系统的第二实施例。所述打击乐器体验系统包括用于用户随身携带且具有识别模块、投影模块、重力测量模块、虚拟成像模块和音频播放模块的增强现实眼镜和用于可供用户手持的操作装置，所述虚拟成像模块用于根据所述重力测量模块测得的方向在与地面呈任意规定角度的地上或者半空中投射出虚拟打击乐器，所述操作装置上设有可供所述识别模块识别的第一特征元素，所述虚拟成像模块投射出的所述虚拟打击乐器上具有多个可供所述识别模块识别的第二特征元素，所述投影模块用于将图像指令投射至所述虚拟打击乐器，所述音频播放模块用于在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。所述增强现实眼镜通过所述虚拟成像模块在用于的前方投射出虚拟打击乐器，所述识别模块对所述操作装置上的所述第一特征元素和所述虚拟打击乐器上的所述第二特征元素进行捕捉定位，从而所述增强现实眼镜的所述投影模块可以准确的将所述图像指令投射至所述虚拟打击乐器，如此，用户可以手持所述操作装置并根据被所述投影模块投射至所述受击装置上的图像指令对所述虚拟打击乐器进行有规律的模拟击打，并且所述音频播放模块可以在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。与现有技术相比，用户可以通过调节所述音频播放模块的音量大小，以防止发出过大的声音而影响到他人休息。同时，通过手持实体的所述操作装置对所述虚拟打击乐器进行模拟击打而直接体验敲击节奏。如此，所述基于增强现实的虚拟打击乐器训练系统可以帮助打击乐爱好者在不对周边邻居造成影响的情况下进行有效的训练。

与第一实施例中的基于增强现实的虚拟打击乐器训练系统不同的是，所述虚拟打击乐器为虚拟架子鼓，所述虚拟架子鼓包含的各个虚拟鼔上均设有所述第二特征元素。另外，所述虚拟打击乐器还包括多个分别覆盖于所述虚拟架子鼓包含的各个虚拟鼔上的虚拟鼔盖，每一个所述虚拟鼔盖上均设有所述第二特征元素。每一个所述虚拟鼔盖的表面上均设有一第一特征图案，且不同的所述虚拟鼔盖表面的所述第一特征图案的形状轮廓不同。所述图像指令包括多个形状轮廓不同的第二特征图案，一个所述第二特征图案仅与一个所述第一特征图案相匹配，相互匹配的所述第一特征图案和所述第二特征图案叠加后形成便于用户识别的组合图案。也就是说，当所述投影模块将所述第二特征图案投射至对应的所述虚拟鼔盖上时，对应的所述虚拟鼔盖上的所述第一特征图案可与投射来的所述第二特征图案完美叠加成一个规则完整的组合图案，也可以这样理解，相匹配的所述第一特征图案和所述第二特征图案其实是由同一个母图分割成的两个部分。这样，有助于用户区分所述架子鼓中的各个鼓，方便用户练习时不会将不同的所述图像指令混淆。而且，由于敲击所述架子鼓的过程中，用户常常会跟随着节奏晃动头部，这样对于所述增强现实眼镜的定位要求很高，很容易造成所述增强现实眼镜的所述投影模块将所述第二特征图案投射到对应的所述虚拟鼔盖的旁边的所述虚拟鼔盖上的情况，而当所述第二特征图案被投射到不匹配的所述虚拟鼔盖上时，所述第二特征图案与不匹配的所述虚拟鼔盖上的所述第一特征图案不能叠加成一个规则完成的组合图案，如此，用户一眼即可辨别出来，以便于后续及时调整。

实施例三

本实施例提供一种基于增强现实的虚拟打击乐器训练系统的第三实施例。所述打击乐器体验系统包括用于用户随身携带且具有识别模块、投影模块、重力测量模块、虚拟成像模块和音频播放模块的增强现实眼镜和用于可供用户手持的操作装置，所述虚拟成像模块用于根据所述重力测量模块测得的方向在与地面呈任意规定角度的地上或者半空中投射出虚拟打击乐器，所述操作装置上设有可供所述识别模块识别的第一特征元素，所述虚拟成像模块投射出的所述虚拟打击乐器上具有多个可供所述识别模块识别的第二特征元素，所述投影模块用于将图像指令投射至所述虚拟打击乐器，所述音频播放模块用于在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。所述增强现实眼镜通过所述虚拟成像模块在用于的前方投射出虚拟打击乐器，所述识别模块对所述操作装置上的所述第一特征元素和所述虚拟打击乐器上的所述第二特征元素进行捕捉定位，从而所述增强现实眼镜的所述投影模块可以准确的将所述图像指令投射至所述虚拟打击乐器，如此，用户可以手持所述操作装置并根据被所述投影模块投射至所述受击装置上的图像指令对所述虚拟打击乐器进行有规律的模拟击打，并且所述音频播放模块可以在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。与现有技术相比，用户可以通过调节所述音频播放模块的音量大小，以防止发出过大的声音而影响到他人休息。同时，通过手持实体的所述操作装置对所述虚拟打击乐器进行模拟击打而直接体验敲击节奏。如此，所述基于增强现实的虚拟打击乐器训练系统可以帮助打击乐爱好者在不对周边邻居造成影响的情况下进行有效的训练。

与第一实施例中的基于增强现实的虚拟打击乐器训练系统不同的是，所述虚拟打击乐器包括2个虚拟军鼓。

实施例四

本实施例提供一种基于增强现实的虚拟打击乐器训练系统的第四实施例。所述打击乐器体验系统包括用于用户随身携带且具有识别模块、投影模块、重力测量模块、虚拟成像模块和音频播放模块的增强现实眼镜和用于可供用户手持的操作装置，所述虚拟成像模块用于根据所述重力测量模块测得的方向在与地面呈任意规定角度的地上或者半空中投射出虚拟打击乐器，所述操作装置上设有可供所述识别模块识别的第一特征元素，所述虚拟成像模块投射出的所述虚拟打击乐器上具有多个可供所述识别模块识别的第二特征元素，所述投影模块用于将图像指令投射至所述虚拟打击乐器，所述音频播放模块用于在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。所述增强现实眼镜通过所述虚拟成像模块在用于的前方投射出虚拟打击乐器，所述识别模块对所述操作装置上的所述第一特征元素和所述虚拟打击乐器上的所述第二特征元素进行捕捉定位，从而所述增强现实眼镜的所述投影模块可以准确的将所述图像指令投射至所述虚拟打击乐器，如此，用户可以手持所述操作装置并根据被所述投影模块投射至所述受击装置上的图像指令对所述虚拟打击乐器进行有规律的模拟击打，并且所述音频播放模块可以在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音。与现有技术相比，用户可以通过调节所述音频播放模块的音量大小，以防止发出过大的声音而影响到他人休息。同时，通过手持实体的所述操作装置对所述虚拟打击乐器进行模拟击打而直接体验敲击节奏。如此，所述基于增强现实的虚拟打击乐器训练系统可以帮助打击乐爱好者在不对周边邻居造成影响的情况下进行有效的训练。

与第一实施例中的基于增强现实的虚拟打击乐器训练系统不同的是，所述虚拟打击乐器包括1个虚拟军鼓、1个虚拟牛铃、1个虚拟木鱼、1个虚拟沙锤、1虚拟个三角铁和1个虚拟吊钟。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims (4)

1.一种基于增强现实的虚拟打击乐器训练系统，其特征在于，所述打击乐器训练系统包括用于用户随身携带且具有识别模块、投影模块、重力测量模块、虚拟成像模块和音频播放模块的增强现实眼镜和用于可供用户手持的操作装置，所述虚拟成像模块用于根据所述重力测量模块测得的方向在与地面呈任意规定角度的地上或者半空中投射出虚拟打击乐器，所述操作装置上设有可供所述识别模块识别的第一特征元素，所述虚拟成像模块投射出的所述虚拟打击乐器上具有多个可供所述识别模块识别的第二特征元素，所述投影模块用于将图像指令投射至所述虚拟打击乐器，所述音频播放模块用于在所述操作装置模拟击打所述虚拟打击乐器时播放对应的声音；

所述虚拟打击乐器包括虚拟架子鼓；

所述虚拟打击乐器还包括多个分别覆盖于所述虚拟架子鼓包含的各个虚拟鼔上的虚拟鼔盖；

每一个所述虚拟鼔盖的表面上均设有一第一特征图案，且不同的所述虚拟鼔盖表面的所述第一特征图案的形状轮廓不同，所述图像指令包括多个形状轮廓不同的第二特征图案，一个所述第二特征图案仅与一个所述第一特征图案相匹配，相互匹配的所述第一特征图案和所述第二特征图案叠加后形成便于用户识别的组合图案；

所述增强现实眼镜还具有处理模块，所述处理模块与所述投影模块和所述识别模块信号连接，所述识别模块用于对所述操作装置上的所述第一特征元素和所述虚拟打击乐器上的所述第二特征元素进行捕捉识别，所述处理模块用于通过分析所述第一特征元素与所述第二特征元素之间的位置关系来判断用户是否是正确的按照所述投影模块投射的所述图像指令对所述虚拟打击乐器进行击打，所述处理模块还用于根据用户对所述虚拟打击乐器进行击打的情况进行评分。

2.根据权利要求1所述的基于增强现实的虚拟打击乐器训练系统，其特征在于，所述虚拟打击乐器包括不同类型的打击乐器的虚拟影像。

3.根据权利要求1所述的基于增强现实的虚拟打击乐器训练系统，其特征在于，所述虚拟架子鼓包含的各个虚拟鼔上均设有所述第二特征元素，所述操作装置包括手柄，所述手柄上设有所述第一特征元素。

4.根据权利要求3所述的基于增强现实的虚拟打击乐器训练系统，其特征在于，每一个所述虚拟鼔盖上均设有所述第二特征元素。

Images