CN109491505B - 基于虚拟现实技术的打击乐器演奏模拟系统及力反馈装置 - Google Patents

Abstract

本发明公开了一种力反馈装置，包括旋转电机、设置于所述旋转电机的动力输出端的至少一个旋转板、设置于所述旋转板上的滑动座、安装于所述滑动座上的机械手臂、设置于所述机械手臂端部的球体；本发明还公开了一种基于虚拟现实技术的打击乐器演奏模拟系统，包括中央处理器、如前所述的力反馈装置、头戴式显示单元、声音播放单元以及操作单元。采用上述技术方案，本发明的力反馈装置和基于虚拟现实技术的打击乐器演奏模拟系统，通过上述力反馈装置提供力反馈支持，使打击乐器的虚拟演奏过程更具真实感。

Description

基于虚拟现实技术的打击乐器演奏模拟系统及力反馈装置

技术领域

本发明涉及一种基于虚拟现实技术的打击乐器演奏模拟系统及力反馈装置，属于虚拟现实应用技术领域。

背景技术

虚拟现实(Virtual Reality，缩写VR)，简称虚拟技术，也称虚拟环境，是利用计算机模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以即时、没有限制地观察三维空间内的事物。用户进行位置移动时，计算机可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。该技术集成了计算机图形、计算机仿真、人工智能、感应、显示及网上并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。目前对于虚拟现实技术的用户而言，大多数的体现缺乏真实感，各个研究机构在虚拟现实技术的改进上针对视觉和听觉效果上的改善亦步亦趋，而没有对除了视觉和听觉以外的其他感官上的效果则进展缓慢，不能另辟蹊径。中国专利文献CN105835086B公开了一种混联式6自由度力反馈机械臂。物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度。虚拟现实技术在乐器演奏方面的应用较少，主要是力反馈作用无法在演奏过程中较好体现，乐器演奏时得不到真实感较强的体验。

发明内容

因此，本发明的目的在于提供一种基于虚拟现实技术的打击乐器演奏模拟系统及力反馈装置，针对打击乐器的特点，应用力反馈装置，使演奏者在虚拟场景中演奏打击乐器时能够获得较好的体验效果。

为了实现上述目的，本发明的一种力反馈装置，包括旋转电机、设置于所述旋转电机的动力输出端的至少一个旋转板、设置于所述旋转板上的滑动座、安装于所述滑动座上的机械手臂、设置于所述机械手臂端部的球体；所述旋转板上设置有直线滑槽，所述滑动座安装在所述滑槽内，在所述滑动座上设置有滑动电机以及连接于所述滑动电机动力输出端的滑动齿轮，在所述滑槽内侧设置有齿条，所述滑动齿轮与所述齿条相啮合；在所述滑动座上设置有进给电机，所述进给电机的动力输出端连接有螺母，所述机械手臂的底座上设置有穿过所述螺母的丝杠，所述丝杠垂直与所述旋转电机的转轴相平行设置。

所述滑动座包括上夹板、下夹板以及连接固定于所述上夹板和下夹板之间的多个导向筒，所述机械手臂的底座上设置有多个导向杆，所述导向杆穿过所述上夹板、导向筒以及下夹板。

所述滑槽的两侧壁上均设置有齿条；所述滑动齿轮包括主动齿轮与从动齿轮，所述主动齿轮与从动齿轮被夹持安装在所述上夹板与下夹板之间并且相互啮合，所述主动齿轮与所述滑动电机相连，所述主动齿轮与从动齿轮各自与所述滑槽两侧壁上的齿条之一相啮合。

所述进给电机的动力输出端连接于一主动齿带轮，所述主动齿带轮通过齿带与一从动齿带轮相连，所述主动齿带轮与从动齿带轮被夹持安装在所述上夹板与下夹板之间，所述从动齿带轮的轴线位置开设有螺纹孔，从而使所述从动齿带轮形成了所述螺母。

在所述旋转板上靠近所述滑槽边缘的位置设置有凹陷区，所述上夹板与下夹板分别搭在所述凹陷区上。

所述机械手臂的底座为由下横杆和下纵杆垂直交叉形成的下十字架，在下十字架的上方设置有由上横杆和上纵杆垂直交叉形成的上十字架，四个包括第一连杆、第二连杆和第三连杆的连杆组件连接于所述下十字架的四个端部和上十字架的四个端部之间，从而使四个连杆组件在周向上均匀布置；其中一个连杆组件的第一连杆的下端铰接于下横杆的前端部并且铰接轴与下横杆同轴线设置从而使第一连杆仅能够绕下横杆的轴线转动，第一连杆的上端向上螺旋状延伸至下纵杆的上方并铰接于第二连杆的下端且铰接轴与下纵杆平行设置，第三连杆的上端铰接于上横杆的后端部并且铰接轴与上横杆同轴线设置，第三连杆的下端向下螺旋状延伸至上纵杆的下方并铰接于第二连杆的上端且铰接轴与上纵杆平行设置；两个相邻的第一连杆分别连接于一个摆动电机的动力输出端。

两个所述摆动电机分别安装于所述下横杆和下纵杆的内部。

所述球体包括位于外侧的缓冲层。

本发明还提供一种基于虚拟现实技术的打击乐器演奏模拟系统，包括中央处理器、如前所述的力反馈装置、头戴式显示单元、声音播放单元以及操作单元；

所述操作单元，用于手持并在空间进行移动，包括手持部、操作单元的端部、第一空间定位跟踪模块以及第二空间定位跟踪模块；所述第一空间定位跟踪模块、第二空间定位跟踪模块与所述中央处理器相连，用于实时采集其在现实坐标系的空间点的坐标并将采集到的坐标数据发送至中央处理器；

所述力反馈装置，与所述中央处理器相连，所述球体内设置有第三空间定位跟踪模块，所述第三空间定位跟踪模块与中央处理器相连，用于实时采集其在现实坐标系的空间点的坐标并将采集到的坐标数据发送至中央处理器；

所述中央处理器，用于构建虚拟场景，打击乐器模型体现在虚拟场景中；用于接收所述第一空间定位跟踪模块、第二空间定位跟踪模块发送坐标数据，从而计算获得在现实坐标系中所述操作单元的端部的坐标信息，以及计算获得所述手持部的姿态信息，并据此在虚拟坐标系中建立与该操作单元的端部的坐标信息和手持部的姿态信息相关联的打击工具模型；用于接收所述第三空间定位跟踪模块发送的坐标数据，并计算出球体外壁各点在现实坐标系中的坐标数据；用于控制所述力反馈装置驱动球体移动，并在虚拟场景中当所述打击工具模型的端部靠近并触碰所述打击乐器模型时，使球体触碰所述操作单元的端部，同时控制所述声音播放单元播放音效；

所述头戴式显示单元，与所述中央处理器相连，用于对虚拟场景、打击乐器模型以及打击工具模型予以显示；

所述声音播放单元，用于播放音效。

所述中央处理器，用于计算出打击乐器模型表面上的距离所述打击工具模型的端部最近距离的最近虚拟点，同时将该最近虚拟点关联至现实坐标系中从而在现实坐标系中建立对应的最近现实点，进而控制力反馈装置运动，使所述球体移动至其外侧壁距离所述操作单元的端部的最近点与该最近现实点重合的位置。

所述中央处理器，用于计算打击工具模型的端部运行轨迹，并预测打击工具模型的端部的运动趋势轨迹，当打击乐器模型位于所述运动趋势轨迹上时，定义所述打击乐器模型表面上的位于所述运动趋势轨迹上的点为预测虚拟点，则将该预测虚拟点关联至现实坐标系中从而在现实坐标系中建立对应的预测现实点，进而控制力反馈装置运动，使所述球体移动至其外侧壁距离所述操作单元的端部的最近点与该预测现实点重合的位置。

所述中央处理器，用于计算操作单元的端部在触碰球体之前和之后的速度变化，并根据计算出的速度变化值确定对应音效的音量大小。

采用上述技术方案，本发明的力反馈装置，能够通过旋转电机进行整体旋转，通过滑动座和滑动槽实现横向移动，通过进给电机驱动丝杠和螺母相对移动从而实现纵向移动，通过机械手臂实现对球体向各方向摆动，多个机械手臂能够相互配合形成多个力反馈点，从而在虚拟现实中增强体验的现实感。本发明的基于虚拟现实技术的打击乐器演奏模拟系统，通过上述力反馈装置提供力反馈支持，使打击乐器的虚拟演奏过程更具真实感。

附图说明

图1为本发明中的力反馈装置的结构示意图。

图2为图1中的A部放大的局部剖视图。

图3为机械手臂以及滑动座的安装示意图。

图4为滑动座的局部剖视图。

图5为机械手臂的结构示意图。

图6为在头戴式显示单元中观察到的虚拟场景示意图。

图7为机械手臂处于摆动状态的结构示意图。

图8为支杆长度较短时球体摆动的区域示意图。

图9为支杆长度较长时球体摆动的区域示意图。

具体实施方式

以下通过附图和具体实施方式对本发明作进一步的详细说明。

如图1-4所示，本发明的一种力反馈装置，包括旋转电机1、设置于所述旋转电机1的动力输出端的三个旋转板2、设置于所述旋转板2上的滑动座3、安装于所述滑动座3上的机械手臂4、设置于所述机械手臂4端部的球体8，所述旋转板2上设置有直线滑槽21，所述滑动座3安装在所述滑槽21内，在所述滑动座3上设置有滑动电机5以及连接于所述滑动电机5动力输出端的滑动齿轮，在所述滑槽21内侧设置有齿条211，所述滑动齿轮与所述齿条211相啮合；在所述滑动座3上设置有进给电机6，所述进给电机6的动力输出端连接有螺母，所述机械手臂4的底座上设置有穿过所述螺母的丝杠7，所述丝杠7垂直与所述旋转电机1的转轴相平行设置。本实施例中仅以三个机械手臂4和对应的三个球体8为例，在本发明的其他实施例中也可以设置更多或更少的机械手臂与球体，从而能够在现实坐标系内更好地分布在操作单元的端部周围，在多方位提供良好的力反馈效果。机械手臂4可以是一个独立的支撑杆件，通过旋转电机1、滑动电机5和进给电机6能够控制球体在空间上的位移，也可以是具有旋转、摆动或转动的机械机构，从而提供更多的空间控制自由度。

所述滑动座3包括上夹板31、下夹板32以及连接固定于所述上夹板31和下夹板32之间的多个导向筒33，所述机械手臂4的底座上设置有多个导向杆41，所述导向杆41穿过所述上夹板31、导向筒33以及下夹板32。所述滑槽21的两侧壁上均设置有齿条211；所述滑动齿轮包括主动齿轮51与从动齿轮52，所述主动齿轮51与从动齿轮52被夹持安装在所述上夹板31与下夹板32之间并且相互啮合，所述主动齿轮51与所述滑动电机5相连，所述主动齿轮51与从动齿轮52各自与所述滑槽21两侧壁上的齿条211之一相啮合。当主动齿轮51正转时，从动齿轮52反转，由于主动齿轮51与从动齿轮52与两侧的两个齿条211分别相啮合，因此带动滑动块3在滑槽21内整体滑动，滑动块3受力较为平衡，使滑动运行比较平稳。所述进给电机6的动力输出端连接于一主动齿带轮61，所述主动齿带轮61通过齿带62与一从动齿带轮63相连，所述主动齿带轮61与从动齿带轮63被夹持安装在所述上夹板31与下夹板32之间，所述从动齿带轮63的轴线位置开设有螺纹孔，从而使所述从动齿带轮63形成了与所述丝杠相配合的所述螺母，当主动齿带轮61带动从动齿带轮63转动时，所述丝杠相对于螺母(从动齿带轮63)移动，从而使机械手臂4进给或后退。上夹板31与下夹板32分别搭在滑槽21边缘位置的凹陷区212上，起到限位的作用，使滑动块3不会再滑槽内脱落，同时凹陷区212对上夹板31与下夹板32还具有导向作用，使其在移动中不会倾斜摆动。

上述结构中，将主动齿轮51与从动齿轮52，主动齿带轮61、齿带62与从动齿带轮63全部夹持安装在上夹板31与下夹板32之间，同时上夹板31与下夹板32之间通过多个导向筒33固定，使导向杆41穿过导向筒，使得整体结构较为紧凑。

如图5、7所示，所述机械手臂4的底座为由下横杆421和下纵杆422垂直交叉形成的下十字架42，在下十字架42的上方设置有由上横杆431和上纵杆432垂直交叉形成的上十字架43，四个包括第一连杆441、第二连杆442和第三连杆443的连杆组件44连接于所述下十字架42的四个端部和上十字架43的四个端部之间，从而使四个连杆组件44在周向上均匀布置。

其中一个连杆组件44的第一连杆441的下端铰接于下横杆421的前端部并且铰接轴与下横杆421同轴线设置从而使第一连杆441仅能够绕下横杆421的轴线转动，第一连杆441的上端向上螺旋状延伸至下纵杆422的上方并铰接于第二连杆442的下端且铰接轴与下纵杆422平行设置，第三连杆443的上端铰接于上横杆431的后端部并且铰接轴与上横杆431同轴线设置，第三连杆443的下端向下螺旋状延伸至上纵杆432的下方并铰接于第二连杆442的上端且铰接轴与上纵杆432平行设置；两个相邻的第一连杆441分别连接于一个摆动电机45的动力输出端，通过两个摆动电机45分别控制相邻的两个第一连杆441的转动角度，从而能够使四个连杆组件44形成联动，控制上十字架43摆动。该机械手臂结构改变了以往的机械手臂的动作形式，而是采用摆动的方式实现在空间内的多角度形态，驱动机构为两个所述摆动电机45，分别控制两个相邻的第一连杆441，通过控制第一连杆441的旋转角度或摆动角度来实现对整个机械手臂的姿态控制，通过进给电机来实现机械手臂的进给和后退，从而将球体送至指定的方位。

在本实施例中，两个所述摆动电机45分别安装于所述下横杆421和下纵杆422的内部。当然摆动电机也可以通过其他传动结构连接于第一连杆。

在上十字架43上可分离地设置有支杆46，所述球体8固定在所述支杆46的端部，通过改变支杆的长度可以改变球体在摆动过程中划过的路径的长度，当安装的支杆46较短时，球体摆动时划过的路径S1则较短，当安装的支杆46较长时，划过的路径S2较长，如图7所示，图中虚线形式的支杆表示将较短的支杆更换为较长的支杆。因此，通过摆动的驱动方式以及增长支杆46的长度，在摆角α不增大的情况下，能够增大球体可到达的空间范围。如图8所示，当支杆46具有较短的长度l时，在摆角α的范围内，球体能够到达的空间范围为m，如图9所示，当支杆46具有较长的长度L时，在摆角α的范围内，球体能够到达的空间范围为M，其中K是进给电机驱动丝杠的进给量。

所述球体8包括位于外侧的缓冲层。

本发明还提供一种基于虚拟现实技术的打击乐器演奏模拟系统，包括中央处理器、如前所述的力反馈装置、头戴式显示单元、声音播放单元以及操作单元。

所述操作单元，用于手持并在空间进行移动，包括手持部、操作单元的端部、第一空间定位跟踪模块以及第二空间定位跟踪模块；所述第一空间定位跟踪模块、第二空间定位跟踪模块与所述中央处理器相连，用于实时采集其在现实坐标系的空间点的坐标并将采集到的坐标数据发送至中央处理器。所述操作单元可以为VR手套、VR手柄或者操作杆。

所述力反馈装置，与所述中央处理器相连，所述球体内设置有第三空间定位跟踪模块，所述第三空间定位跟踪模块与中央处理器相连，用于实时采集其在现实坐标系的空间点的坐标并将采集到的坐标数据发送至中央处理器。

所述中央处理器，用于构建虚拟场景，打击乐器模型体现在虚拟场景中；用于接收所述第一空间定位跟踪模块、第二空间定位跟踪模块发送坐标数据，从而计算获得在现实坐标系中所述操作单元的端部的坐标信息，以及计算获得所述手持部的姿态信息，并据此在虚拟坐标系中建立与该操作单元的端部的坐标信息和手持部的姿态信息相关联的打击工具模型；用于接收所述第三空间定位跟踪模块发送的坐标数据，并计算出球体外壁各点在现实坐标系中的坐标数据；用于控制所述力反馈装置驱动球体移动，并在虚拟场景中当所述打击工具模型的端部靠近并触碰所述打击乐器模型时，使球体触碰所述操作单元的端部，同时控制所述声音播放单元播放音效。

所述中央处理器，用于计算出打击乐器模型表面上的距离所述打击工具模型的端部最近距离的最近虚拟点，同时将该最近虚拟点关联至现实坐标系中从而在现实坐标系中建立对应的最近现实点，进而控制力反馈装置运动，使所述球体移动至其外侧壁距离所述操作单元的端部的最近点与该最近现实点重合的位置。

所述中央处理器，还可以用于计算打击工具模型的端部运行轨迹，并预测打击工具模型的端部的运动趋势轨迹，当打击乐器模型位于所述运动趋势轨迹上时，定义所述打击乐器模型表面上的位于所述运动趋势轨迹上的点为预测虚拟点，则将该预测虚拟点关联至现实坐标系中从而在现实坐标系中建立对应的预测现实点，进而控制力反馈装置运动，使所述球体移动至其外侧壁距离所述操作单元的端部的最近点与该预测现实点重合的位置。

所述中央处理器，用于计算操作单元的端部在触碰球体之前和之后的速度变化，并根据计算出的速度变化值确定对应音效的音量大小。

所述头戴式显示单元，与所述中央处理器相连，用于对虚拟场景、打击乐器模型以及打击工具模型予以显示。

所述声音播放单元，用于播放音效。

所述打击乐器模型可以是架子鼓模型，如图6所示，也可以是木琴模型、扬琴模型、编钟模型等。

显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种力反馈装置，其特征在于：包括旋转电机、设置于所述旋转电机的动力输出端的至少一个旋转板、设置于所述旋转板上的滑动座、安装于所述滑动座上的机械手臂、设置于所述机械手臂端部的球体；所述旋转板上设置有直线滑槽，所述滑动座安装在所述滑槽内，在所述滑动座上设置有滑动电机以及连接于所述滑动电机动力输出端的滑动齿轮，在所述滑槽内侧设置有齿条，所述滑动齿轮与所述齿条相啮合；在所述滑动座上设置有进给电机，所述进给电机的动力输出端连接有螺母，所述机械手臂的底座上设置有穿过所述螺母的丝杠，所述丝杠垂直与所述旋转电机的转轴相平行设置；所述机械手臂的底座为由下横杆和下纵杆垂直交叉形成的下十字架，在下十字架的上方设置有由上横杆和上纵杆垂直交叉形成的上十字架，四个包括第一连杆、第二连杆和第三连杆的连杆组件连接于所述下十字架的四个端部和上十字架的四个端部之间，从而使四个连杆组件在周向上均匀布置；其中一个连杆组件的第一连杆的下端铰接于下横杆的前端部并且铰接轴与下横杆同轴线设置从而使第一连杆仅能够绕下横杆的轴线转动，第一连杆的上端向上螺旋状延伸至下纵杆的上方并铰接于第二连杆的下端且铰接轴与下纵杆平行设置，第三连杆的上端铰接于上横杆的后端部并且铰接轴与上横杆同轴线设置，第三连杆的下端向下螺旋状延伸至上纵杆的下方并铰接于第二连杆的上端且铰接轴与上纵杆平行设置；两个相邻的第一连杆分别连接于一个摆动电机的动力输出端；在上十字架上可分离地设置有支杆，所述球体固定在所述支杆的端部。

2.如权利要求1所述的力反馈装置，其特征在于：所述滑动座包括上夹板、下夹板以及连接固定于所述上夹板和下夹板之间的多个导向筒，所述机械手臂的底座上设置有多个导向杆，所述导向杆穿过所述上夹板、导向筒以及下夹板。

3.如权利要求2所述的力反馈装置，其特征在于：所述滑槽的两侧壁上均设置有齿条；所述滑动齿轮包括主动齿轮与从动齿轮，所述主动齿轮与从动齿轮被夹持安装在所述上夹板与下夹板之间并且相互啮合，所述主动齿轮与所述滑动电机相连，所述主动齿轮与从动齿轮各自与所述滑槽两侧壁上的齿条之一相啮合。

4.如权利要求3所述的力反馈装置，其特征在于：所述进给电机的动力输出端连接于一主动齿带轮，所述主动齿带轮通过齿带与一从动齿带轮相连，所述主动齿带轮与从动齿带轮被夹持安装在所述上夹板与下夹板之间，所述从动齿带轮的轴线位置开设有螺纹孔，从而使所述从动齿带轮形成了所述螺母。

5.如权利要求2所述的力反馈装置，其特征在于：在所述旋转板上靠近所述滑槽边缘的位置设置有凹陷区，所述上夹板与下夹板分别搭在所述凹陷区上。

6.一种基于虚拟现实技术的打击乐器演奏模拟系统，其特征在于：包括中央处理器、权利要求1-5任一项所述的力反馈装置、头戴式显示单元、声音播放单元以及操作单元；

所述操作单元，用于手持并在空间进行移动，包括手持部、操作单元的端部、第一空间定位跟踪模块以及第二空间定位跟踪模块；所述第一空间定位跟踪模块、第二空间定位跟踪模块与所述中央处理器相连，用于实时采集其在现实坐标系的空间点的坐标并将采集到的坐标数据发送至中央处理器；

所述力反馈装置，与所述中央处理器相连，所述球体内设置有第三空间定位跟踪模块，所述第三空间定位跟踪模块与中央处理器相连，用于实时采集其在现实坐标系的空间点的坐标并将采集到的坐标数据发送至中央处理器；

所述中央处理器，用于构建虚拟场景，打击乐器模型体现在虚拟场景中；用于接收所述第一空间定位跟踪模块、第二空间定位跟踪模块发送坐标数据，从而计算获得在现实坐标系中所述操作单元的端部的坐标信息，以及计算获得所述手持部的姿态信息，并据此在虚拟坐标系中建立与该操作单元的端部的坐标信息和手持部的姿态信息相关联的打击工具模型；用于接收所述第三空间定位跟踪模块发送的坐标数据，并计算出球体外壁各点在现实坐标系中的坐标数据；用于控制所述力反馈装置驱动球体移动，并在虚拟场景中当所述打击工具模型的端部靠近并触碰所述打击乐器模型时，使球体触碰所述操作单元的端部，同时控制所述声音播放单元播放音效；

所述头戴式显示单元，与所述中央处理器相连，用于对虚拟场景、打击乐器模型以及打击工具模型予以显示；

所述声音播放单元，用于播放音效。

7.如权利要求6所述的基于虚拟现实技术的打击乐器演奏模拟系统，其特征在于：所述中央处理器，用于计算出打击乐器模型表面上的距离所述打击工具模型的端部最近距离的最近虚拟点，同时将该最近虚拟点关联至现实坐标系中从而在现实坐标系中建立对应的最近现实点，进而控制力反馈装置运动，使所述球体移动至其外侧壁距离所述操作单元的端部的最近点与该最近现实点重合的位置。

8.如权利要求6所述的基于虚拟现实技术的打击乐器演奏模拟系统，其特征在于：所述中央处理器，用于计算打击工具模型的端部运行轨迹，并预测打击工具模型的端部的运动趋势轨迹，当打击乐器模型位于所述运动趋势轨迹上时，定义所述打击乐器模型表面上的位于所述运动趋势轨迹上的点为预测虚拟点，则将该预测虚拟点关联至现实坐标系中从而在现实坐标系中建立对应的预测现实点，进而控制力反馈装置运动，使所述球体移动至其外侧壁距离所述操作单元的端部的最近点与该预测现实点重合的位置。

9.如权利要求6所述的基于虚拟现实技术的打击乐器演奏模拟系统，其特征在于：所述中央处理器，用于计算操作单元的端部在触碰球体之前和之后的速度变化，并根据计算出的速度变化值确定对应音效的音量大小。

Images