CN103325363A

CN103325363A - 演奏装置及方法

Info

Publication number: CN103325363A
Application number: CN2013100512062A
Authority: CN
Inventors: 吉滨由纪
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2012-03-19
Filing date: 2013-02-16
Publication date: 2013-09-25
Anticipated expiration: 2033-02-16
Also published as: US9018510B2; JP5598490B2; US20130239782A1; CN103325363B; JP2013195645A

Abstract

本发明涉及演奏装置及方法，在通过演奏构件进行了演奏操作的定时，判定所述演奏构件的位置坐标是否隶属于根据存储器中存储的布局信息而配置在虚拟平面上的多个区域中的某个区域，在判定为隶属于所述区域的情况下，判定由所述俯仰角传感器检测到的所述演奏构件的俯仰角是否隶属于与该区域对应的俯仰角范围，在判定为隶属于与该区域对应的俯仰角范围的情况下，指示发出与该区域对应的乐音。

Description

演奏装置及方法

相关申请的引用：本申请以日本特许申请2012-61880（申请日：2012年3月19日）为基础，享有该申请的优先权。本申请通过参照该申请而包含该申请的全部内容。

技术领域

本发明涉及演奏装置及方法。

背景技术

以往，提出了若感测到演奏者的演奏动作则发出与演奏动作相应的乐音的演奏装置。例如，已知有仅通过棒状构件来发出打击乐器音的演奏装置。在该演奏装置中，演奏者用手把持着内置有传感器的棒状构件并进行了如挥动这样的、就像打击鼓这种打击乐器的演奏动作，则传感器感测到该演奏动作，发出打击乐器音。

根据这样的演奏装置，不需要有现实的乐器就能够发出该乐器的乐音，因此，演奏者能够不受演奏场所或演奏空间的制约地享受进行演奏的乐趣。

作为这样的演奏装置，例如，在专利第3599115号公报中提出了如下那样构成的乐器游戏装置：拍摄演奏者的使用了棒状构件的演奏动作，并且，在监视器上显示将该演奏动作的摄像图像和表示乐器套件（set）的虚拟图像进行合成后的合成图像，与棒状构件和虚拟的乐器套件的位置信息相对应地发出规定的乐音。

然而，在专利第3599115号公报所记载的乐器游戏装置中，虚拟的乐器套件被配置在拍摄画面、换句话说虚拟的二维平面上，因此，例如无法反映出鼓套件等的立体配置。因此，演奏者无法获得真实的演奏感觉。

此外，在想要变更如专利第2599115号公报所记载的乐器游戏装置那样在作为二维平面的显示器上显示的虚拟的乐器套件的布局（配置）的情况下，对显示器设置触摸面板功能，通过对该触摸面板进行接触操作，能够比较简单地进行虚拟的乐器的指定及显示位置的变更。

然而，在虚拟的乐器套件能够立体显示并且其布局不仅反映了显示器的上下左右方向还反映了高度方向的情况下，若要变更布局，则要在同一画面区域内进行虚拟的乐器的向水平方向的移动和高度方向的调整，导致操作困难。

发明内容

本发明鉴于这样的状况而做出，其特征在于提供一种演奏装置及方法，通过将虚拟的乐器套件的配置构成为立体配置，能够使演奏者获得真实的演奏感觉。

为了实现上述目的，本发明的一方式的演奏装置的特征在于，具备：存储器，存储有布局信息，该布局信息包括配置在预先设定的虚拟平面上的多个区域以及与该多个区域分别对应的俯仰角范围；俯仰角传感器，检测演奏者可保持的演奏构件在演奏操作时的俯仰角；位置传感器，检测所述虚拟平面上的所述演奏构件的位置坐标；第一判定机构，在由所述演奏构件进行了演奏操作的定时，判定所述演奏构件的位置坐标是否隶属于根据所述存储器中存储的布局信息而配置在所述虚拟平面上的多个区域中的某个；第二判定机构，在由所述第一判定机构判定为隶属于区域的情况下，判定由所述俯仰角传感器检测到的所述演奏构件的俯仰角是否隶属于与该区域对应的俯仰角范围；发音指示机构，在由所述第二判定机构判定为隶属于与该区域对应的俯仰角范围的情况下，指示发出与该区域对应的乐音。

此外，为了实现上述目的，本发明的一方式的演奏方法是在演奏装置中使用的方法，该演奏装置具有：存储器，存储有布局信息，该布局信息包括配置在预先设定的虚拟平面上的多个区域以及与该多个区域分别对应的俯仰角范围；俯仰角传感器，检测演奏者可保持的演奏构件在演奏操作时的俯仰角；以及位置传感器，检测所述虚拟平面上的所述演奏构件的位置坐标，其特征在于，在由所述演奏构件进行了演奏操作的定时，判定所述演奏构件的位置坐标是否隶属于根据所述存储器中存储的布局信息而配置在所述虚拟平面上的多个区域中的某个；在判定为隶属于所述区域的情况下，判定由所述俯仰角传感器检测到的所述演奏构件的俯仰角是否隶属于与该区域对应的俯仰角范围；在判定为隶属于与该区域对应的俯仰角范围的情况下，指示发出与该区域对应的乐音

附图说明

图1是表示本发明的演奏装置的一实施方式的概要的图。

图2是表示构成上述演奏装置的棒部的硬件构成的框图。

图3是表示上述棒部的立体图。

图4是表示构成上述演奏装置的摄像机单元部的硬件构成的框图。

图5是表示构成上述演奏装置的中心单元部的硬件构成的框图。

图6是表示本发明的演奏装置的一实施方式所涉及的套件布局信息的图。

图7是将上述套件布局信息所表示的概念在虚拟平面上进行可视化的图。

图8是表示上述棒部的处理的流程的流程图。

图9是表示上述摄像机单元部的处理的流程的流程图。

图10是表示上述中心单元部的处理的流程的流程图。

图11是基于俯仰角来表示敲击结果的显示例的图。

图12是基于侧摆角来表示敲击结果的显示例的图。

图13是表示用于调整套件布局信息的画面的图。

图14是表示用于调整套件布局信息的画面的图。

图15是表示用于调整套件布局信息的画面的图。

图16是表示用于调整套件布局信息的画面的图。

图17是表示用于调整套件布局信息的画面的图。

具体实施方式

以下，使用附图来说明本发明的实施方式。

［演奏装置1的概要］

首先，参照图1来说明作为本发明的一实施方式的演奏装置1的概要。

如图1（a）所示，本实施方式的演奏装置1包括棒部10R、10L、摄像机单元部20以及中心单元部30。本实施方式的中心单元部30是移动电话等小型移动终端。本实施方式的演奏装置1为了实现使用了2根棒的虚拟的鼓演奏，而具备2个棒部10R、10L，但是，棒部的个数不限于此，可以是1个，也可以是3个以上。另外，以下，在不需要区分棒部10R、10L的情况下，将两者通称为“棒部10”。

棒部10为沿长边方向延伸的棒状的演奏构件。演奏者将棒部10的一端（根部侧）把持在手里，进行以手腕等为中心而上挥或下挥的动作，来作为演奏动作。为了感测这样的演奏者的演奏动作，棒部10的另一端（前端侧）设有加速度传感器及角速度传感器等各种传感器（后述的运动传感器部14）。棒部10根据由这些各种传感器感测到的演奏动作，向中心单元部30发送音符开启事件。

此外，在棒部10的前端侧，设有后述的标志部15（参照图2），构成为在拍摄时，摄像机单元部20能够判定出棒部10的前端。

摄像机单元部20作为光学式的摄像装置而构成，以规定的帧率拍摄将保持棒部10进行演奏动作的演奏者作为被摄体而包含在内的空间（以下称作“摄像空间”），并输出动态图像的数据。摄像机单元部20确定出摄像空间内的发光中的标志部15的位置坐标，将表示该位置坐标的数据（以下称作“位置坐标数据”）向中心单元部30发送。

中心单元部30若从棒部10接收到音符开启事件，则与接收时的标志部15的位置坐标数据相对应地发出规定的乐音。具体地说，中心单元部30与摄像机单元部20的摄像空间建立对应地存储图1（b）所示的虚拟鼓套件D的位置坐标数据，根据该虚拟鼓套件D的位置坐标数据和接收音符开启事件时的标志部15的位置坐标数据，确定出棒部10虚拟地打击的乐器，发出与该乐器对应的乐音。

接下来，具体地说明这样的本实施方式的演奏装置1的构成。

［演奏装置1的构成］

首先，参照图2～图5，说明本实施方式的演奏装置1的各构成要素，具体地说，说明棒部10、摄像机单元部20及中心单元部30的构成。

［棒部10的构成］

图2是表示棒部10的硬件构成的框图。

如图2所示，棒部10包含有CPU11、ROM12、RAM13、运动传感器部14、标志部15、数据通信部16和开关操作检测电路17。

CPU11执行棒部10整体的控制，例如，根据从运动传感器部14输出的传感器值，除了执行棒部10的姿势的感测、敲击检测及动作检测之外，还执行标志部15的发光/熄灭等的控制。此时，CPU11从ROM12读出标志特征信息，并根据该标志特征信息，执行标志部15的发光控制。此外，CPU11经由数据通信部16，执行与中心单元部30之间的通信控制。

ROM12保存用于通过CPU11执行各种处理的处理程序。此外，ROM12保存在标志部15的发光控制中使用的标志特征信息。在此，摄像机单元部20需要对棒部10R的标志部15（以下适当地称为“第一标志”）和棒部10L的标志部15（以下适当地称为“第二标志”）进行区分。所谓标志特征信息是指，用于摄像机单元部20区分第一标志和第二标志的信息，例如，除了能够使用发光时的形状、大小、色相、彩度或亮度之外，还能够使用发光时的闪烁速度等。

棒部10R的CPU11及棒部10L的CPU11分别读出不同的标志特征信息，执行各个标志的发光控制。

RAM13保存如运动传感器部14输出的各种传感器值等这样的、在处理中取得的或生成的值。

运动传感器部14是用于感测棒部10的状态的各种传感器，输出规定的传感器值。在此，作为构成运动传感器部14的传感器，例如能够使用加速度传感器、角速度传感器及磁传感器等。

图3是棒部10的立体图，在外部配置有开关部171和标志部15。

演奏者保持着棒部10的一端（根部侧），进行以手腕等为中心的上挥下挥动作，由此对棒部10产生运动。此时，从运动传感器部14输出与该运动对应的传感器值。

接受了来自运动传感器部14的传感器值的CPU11，对演奏者所把持的棒部10的状态进行感测。作为一个例子，CPU11感测棒部10对虚拟的乐器的打击定时（以下也称作“敲击定时”）。敲击定时是棒部10下挥后刚要停止时的定时，是与棒部10有关的与下挥方向相反方向的加速度的大小超过某阈值的定时。

而且，运动传感器部14的传感器值中还包含有为了检测演奏者把持棒部10时的长边方向与水平面所成的角即“俯仰角（pitch angle）”、以及该长边方向与正交于水平面的面所成的角即“侧摆角（yaw angle）”所需要的数据。

返回图2，标志部15是设置在棒部10的前端侧的发光体，例如由LED等构成，根据来自CPU11的控制而进行发光及熄灭。具体地说，标志部15根据由CPU11从ROM12读出的标志特征信息进行发光。此时，棒部10R的标志特征信息与棒部10L的标志特征信息不同，因此，摄像机单元部20能够区分地分别取得棒部10R的标志部（第一标志）的位置坐标和棒部10L的标志部（第二标志）的位置坐标。

数据通信部16至少与中心单元部30之间进行规定的无线通信。规定的无线通信可以通过任意的方法来进行，在本实施方式中，通过红外线通信与中心单元部30之间进行无线通信。另外，数据通信部16可以与摄像机单元部20之间进行无线通信，此外，也可以与棒部10R及棒部10L之间进行无线通信。

开关操作检测电路17与开关171连接，接受经由该开关171的输入信息。

［摄像机单元部20的构成］

以上说明了棒部10的构成。接着，参照图4说明摄像机单元部20的构成。

图4是表示摄像机单元部20的硬件构成的框图。

摄像机单元部20包含有CPU21、ROM22、RAM23、图像传感器部24和数据通信部25。

CPU21执行摄像机单元部20整体的控制，例如执行如下控制：根据图像传感器部24检测到的标志部15的位置坐标数据及标志特征信息，计算棒部10R、10L的标志部15（第一标志及第二标志）各自的位置坐标，并输出表示各自的计算结果的位置坐标数据。此外，CPU21执行经由数据通信部25将计算出的位置坐标数据等发送给中心单元部30的通信控制。

ROM22保存用于由CPU21执行各种处理的处理程序。RAM23保存如图像传感器部24检测到的标志部15的位置坐标数据等这样的、在处理中取得的或者生成的值。此外，RAM23还一并保存从中心单元部30接收到的棒部10R、10L各自的标志特征信息。

图像传感器部24例如为光学式的摄像机，以规定帧率拍摄把持着棒部10进行演奏动作的演奏者的动画。此外，图像传感器部24将每帧的拍摄数据输出给CPU21。另外，关于摄像图像内的棒部10的标志部15的位置坐标的确定，可以由图像传感器部24来进行，也可以由CPU21来进行。同样，关于拍摄到的标志部15的标志特征信息也是，可以由图像传感器部24来确定，也可以由CPU21来确定。

数据通信部25至少与中心单元部30之间进行规定的无线通信（例如红外线通信）。另外，数据通信部16也可以与棒部10之间进行无线通信。

［中心单元部30的构成］

以上说明了摄像机单元部20的构成。接着，参照图5，说明中心单元部30的构成。

图5是表示中心单元部30的硬件构成的框图。

中心单元部30包含有CPU31、ROM32、RAM33、开关操作检测电路34、显示电路35、音源装置36、数据通信部37、触摸面板控制电路38。

CPU31执行中心单元部30整体的控制，例如执行根据从棒部10接收的敲击检测及从摄像机单元部20接收的标志部15的位置坐标，发出规定的乐音的控制等。此外，CPU31执行经由数据通信部37与棒部10及摄像机单元部20之间的通信控制。

ROM32保存CPU31所执行的各种处理的处理程序。此外，ROM32将各种音色的波形数据，例如长笛、萨克斯，小号等管乐器、钢琴等键盘乐器、吉他等弦乐器、低音鼓（bass drum）、踩镲（high-hat）、小军鼓（snaredrum）、铙钹（cymbal）、锣等打击乐器的波形数据（音色数据），与位置坐标等建立对应地进行保存。

作为音色数据等的保存方法，例如在图6中如套件布局信息所示那样，套件布局信息具有第一背景（pad）～第n背景的n个背景信息，而且与各背景信息建立对应地保存有：背景的有无（后述的虚拟平面中的虚拟背景的存在的有无）、位置（后述的虚拟平面中的位置坐标）、高度（后述的虚拟平面起的铅垂向上方向的距离）、尺寸（虚拟背景的形状及直径等）、音色（波形数据）等。

另外，在本实施方式中，在想要用棒部10敲击与虚拟平面向铅垂向上方向隔着距离而虚拟地配置的虚拟背景的情况下，上述的高度对应于使该敲击成为可能的棒部10的俯仰角范围。

在此，参照图7，说明具体的套件布局。图7是将中心单元部30的ROM32中保存的套件布局信息（参照图6）所表示的概念在虚拟平面上进行了可视化的图。

图7示出了将8个虚拟背景81～88配置在虚拟平面上的形态，虚拟背景81～88与第一背景～第n背景中的背景有无数据为“有背景”的背景相对应。例如，与第二背景、第三背景、第五背景、第六背景、第八背景、第九背景、第十二背景、第十三背景这8个相对应。而且，根据位置数据、尺寸数据及高度数据，来配置虚拟背景81～88。此外，各虚拟背景与音色数据建立对应。因此，在敲击检测时的标志部15的位置坐标隶属于与虚拟背景81～88对应的区域、并且敲击检测时的棒部10的俯仰角隶属于针对虚拟背景81～88分别规定的俯仰角的范围的情况下，发出与虚拟背景81～88对应的音色。

另外，CPU31使该虚拟平面与虚拟背景81～88的配置一起显示于后述的显示装置351。

此外，在本实施方式中，该虚拟平面上的位置坐标是与摄像机单元部20的摄像图像中的位置坐标一致的。

返回图5，RAM33保存如从棒部10接收的棒部10的状态（敲击检测等）、从摄像机单元部20接收的标志部15的位置坐标、以及从ROM32读出的套件布局信息等这样的、在处理中取得的或者生成的值。

CPU31从RAM33所保存的套件布局信息中，读出与敲击检测时（即音符开启事件接收时）标志部15的位置坐标所隶属的区域的虚拟背景81对应的音色数据（波形数据），由此，发出与演奏者的演奏动作相应的乐音。

开关操作检测电路34与开关341连接，接受经由该开关341的输入信息。作为输入信息，例如包含有：发出的乐音的音量或发出的乐音的音色的变更；套件布局编号的设定及变更；显示装置351的显示的切换等。

此外，显示电路35与显示装置351连接，执行显示装置351的显示控制。另外，显示装置351具备后述的触摸面板381。

音源装置36根据来自CPU31的指示，从ROM32读出波形数据，生成乐音数据并且将乐音数据变换成模拟信号，从未图示的扬声器发出乐音。

此外，数据通信部37与棒部10及摄像机单元部20之间进行规定的无线通信（例如，红外线通信）。

触摸面板控制电路38与触摸面板381连接，检测触摸面板381上的接触操作，输出检测信号。与该接触操作相对应地，CPU31调整虚拟背景的位置、尺寸及高度。另外，触摸面板381若检测到了接触操作，则将表示检测到了的信号输出给触摸面板控制电路38。

［演奏装置1的处理］

以上，说明了构成演奏装置1的棒部10、摄像机单元部20及中心单元部30的构成。接着，参照图8～图11来说明演奏装置1的处理。

［棒部10的处理］

图8是表示棒部10所执行的处理（以下称作“棒部处理”）的流程的流程图。

参照图8，棒部10的CPU11从运动传感器部14读出运动传感器信息、即各种传感器所输出的传感器值，并保存于RAM13（步骤S1）。然后，CPU11根据所读出的运动传感器信息，执行棒部10的姿势感测处理（步骤S2）。在姿势感测处理中，CPU11根据运动传感器信息，计算棒部10的姿势，例如棒部10的侧倾角（roll angle）及俯仰角等。

接着，CPU11根据运动传感器信息，执行敲击检测处理（步骤S3）。在此，在演奏者使用棒部10进行演奏的情况下，一般而言，进行与打击现实的乐器（例如鼓）的动作同样的演奏动作。在这样的演奏动作中，演奏者首先上挥棒部10，之后朝向虚拟的乐器下挥。然后，在紧临近将棒部10打击到虚拟的乐器时，发出将棒部10的动作止住的力。此时，由于演奏者设想着在将棒部10打击到虚拟的乐器的瞬间产生乐音，因此，优选能够在演奏者所设想的定时产生乐音。因此，在本实施方式中设定成，在演奏者将棒部10打击到虚拟的乐器的面上的瞬间或者差一点就到该瞬间的定时发出乐音。

在本实施方式中，敲击检测的定时是棒部10下挥后刚要停止时的定时，是与棒部10有关的与下挥方向相反方向的加速度的大小超过某阈值的定时。

将该敲击检测的定时作为发音定时，若判断为发音定时已到来，则棒部10的CPU11生成音符开启事件，并向中心单元部30发送。由此，在中心单元部30中，执行发音处理，发出乐音。

在步骤S3所示的敲击检测处理中，根据运动传感器信息（例如，加速度传感器的传感器合成值），生成音符开启事件。此时，可以在所生成的音符开启事件中包含有发出的乐音的音量。另外，乐音的音量例如能够根据传感器合成值的最大值来求出。

接着，CPU11将步骤S1至步骤S3的处理中检测到的信息，即运动传感器信息、姿势信息及敲击信息，经由数据通信部16发送给中心单元部30（步骤S4）。此时，CPU11将运动传感器信息、姿势信息及敲击信息，与棒识别信息建立对应地发送给中心单元部30。

由此，处理返回步骤S1，之后的处理重复。

［摄像机单元部20的处理］

图9是表示摄像机单元部20所执行的处理（以下称作“摄像机单元部处理”）的流程的流程图。

参照图9，摄像机单元部20的CPU21执行图像数据取得处理（步骤S11）。在该处理中，CPU21从图像传感器部24取得图像数据。

接着，CPU21执行第一标志检测处理（步骤S12）及第二标志检测处理（步骤S13）。在这些处理中，CPU21取得由图像传感器部24检测到的、棒部10R的标志部15（第一标志）及棒部10L的标志部15（第二标志）的位置坐标、尺寸、角度等标志检测信息，并保存于RAM23。此时，图像传感器部24针对发光中的标志部15，检测标志检测信息。

接着，CPU21将在步骤S12及步骤S13中取得的标志检测信息，经由数据通信部25发送给中心单元部30（步骤S14），使步骤移动至步骤S11。

［中心单元部30的处理］

图10是表示中心单元部30所执行的处理（以下称作“中心单元部处理”）的流程的流程图。

参照图10，中心单元部30的CPU31从摄像机单元部20接收第一标志及第二标志各自的标志检测信息，并保存于RAM33（步骤S21）。此外，CPU31从棒部10R、10L分别接收与棒识别信息建立对应的运动传感器信息、姿势信息及敲击信息，并保存于RAM33（步骤S22）。而且，CPU31取得通过开关341的操作而输入的信息（步骤S23）。

接着，CPU31判断是否有敲击（步骤S24）。在该处理中，CPU31通过是否从棒部10接收到了音符开启事件，来判断敲击的有无。此时，在判断为有敲击的情况下，CPU31执行敲击信息处理（步骤S25）。在判断为无敲击的情况下，CPU31使处理转移至步骤S21。

在敲击信息处理中，CPU31根据被读出至RAM33中的套件布局信息，判断标志检测信息所包含的位置坐标是否隶属于虚拟背景81～88的某个。在判断为隶属于的情况下，根据被读出至RAM33中的套件布局信息，判断RAM33中保存的姿势信息所包含的俯仰角是否隶属于与被判断成隶属于的虚拟背景对应的俯仰角的范围。在该判断也是被判断为隶属于的情况下，读出与之前的判断中被判断成隶属于的虚拟背景对应的音色数据（波形数据），将其与音符开启事件所包含的音量数据一起输出给音源装置36。于是，音源装置36根据所接受的波形数据，发出相应的乐音。

接着，CPU31显示敲击定时的敲击结果（步骤S26）。关于敲击结果的显示，将参照图11及图12后述。若步骤S26的处理结束，则CPU31结束中心单元部处理。

［敲击结果的显示例］

图11是基于俯仰角来表示敲击结果的显示例的图，示出了演奏者想要尝试着敲击虚拟背景81或者虚拟背景85但是却没有发出与虚拟背景81或者虚拟背景85对应的音色的情况的显示例。在图11（a）中，通过显示棒部10本身的姿势而示出了敲击定时的棒部10的俯仰角。在图11（b）中，以具体的数值示出了敲击定时的棒部10的俯仰角为几度。

演奏者通过观看这些显示，能够学习为了敲击虚拟背景81或者虚拟背景85而应该以什么程度的俯仰角来进行敲击等。例如，能够学习到，为了敲击虚拟背景81而将俯仰角设为0°～15°的范围，为了敲击虚拟背景85而将俯仰角设为45°～60°的范围，以及这次的俯仰角是30；等等。

图12是基于侧摆角来表示敲击结果的显示例的图。根据图12，示出了在敲击定时棒部10敲击了虚拟背景84，而且，棒部10的与正交于水平面的面所成的角度作为RAM33所保存的姿势信息的侧摆角，通过显示棒部10本身的姿势而被示出。演奏者通过观看该显示，能够学习到例如为了敲击虚拟背景83应该以什么程度调节侧摆角等。

［套件布局信息的位置、尺寸及高度的调整］

在图13～图17的说明中，根据上述的触摸面板381上的接触操作，CPU31使虚拟背景81～88等的图像经由显示电路35显示于显示装置351。

图13是表示根据套件布局信息的位置、尺寸及高度将虚拟背景81～88的配置显示于显示装置351的形态的图。演奏者用手指触摸各虚拟背景的显示区域并进行拖拽，由此，能够调整左右方向及高度方向。由此，能够直观且易懂地进行各虚拟背景的左右方向及高度方向的调整。

但是，在该方法中，在显示装置351的一图像区域内对左右方向及高度方向进行调整，因此，在作为移动电话等小型移动终端的中心单元30的显示装置351那样的小画面中，触摸操作变得复杂，容易因误操作而产生错误。因此，参照图14～图17来说明将显示装置351的图像区域分成2个区域来进行套件布局信息的变更的方法。

图14是根据套件布局信息的位置/尺寸及高度来将虚拟背景81～88各自的配置显示于显示装置351的形态的图。显示装置351的显示区域被分成了配置显示区域361及高度显示区域362。配置显示区域361中，显示了根据套件布局信息的位置、尺寸而进行的虚拟背景81～88各自的配置，在高度显示区域362中，显示了与虚拟背景85～88分别对应的高度调整图标95～98。

例如，以虚拟背景85为例进行说明，演奏者触摸虚拟背景85的区域并沿左右方向进行拖拽，由此能够进行使虚拟背景85的位置沿左右方向进行移动的调整，触摸与虚拟背景85对应的高度调整图标95并沿高度方向进行拖拽，由此能够调整虚拟背景85的高度。另外，关于其他虚拟背景，包括以下的说明在内，也一样。

此外，如图15所示，在触摸虚拟背景85的区域并向左方向进行拖拽而使虚拟背景85的位置移动了的情况下，以追随该移动的方式，高度调整图标95的位置也移动。

而且，如图16所示，在用2根手指触摸虚拟背景85的区域并向相互远离的方向移动2根手指而使虚拟背景85的尺寸变大了的情况下，以追随者该变大的方式，高度调整图标95的宽度也变大。此外，虽然未图示，但是，若使2根手指向相互接近的方向移动，则虚拟背景85的尺寸变小，以追随该变小的方式，高度调整图标95的宽度也变小。

此外，如图17所示，虚拟背景81～88被分成了虚拟背景81～84和虚拟背景85～88这2组，通过虚拟背景81～84的任一个被触摸，而显示与虚拟背景81～84分别对应的高度调整图标91～94，能够调整虚拟背景81～84的高度。之后，通过虚拟背景85～88的任一个被触摸，而显示高度调整图标95～98，能够再次调整虚拟背景85～88的高度。这样，能够按照虚拟背景的每组来切换高度调整图标的显示。另外，虚拟背景的组数也可以是3个以上。

以上，说明了本实施方式的演奏装置1的构成及处理。

在本实施方式中，CPU31在棒部10的敲击定时，判定棒部10的位置坐标是否隶属于根据套件布局信息进行配置的虚拟背景81～88的某个，在判定为隶属于的情况下，判定棒部10的俯仰角是否隶属于与该虚拟背景对应的高度所对应的规定范围，在判定为隶属于该规定范围的情况下，指示发出与该虚拟背景对应的音色的乐音。

因此，通过使套件布局信息的各虚拟背景与俯仰角等的信息相对应，能够使演奏者获得真实的演奏感觉。

此外，在本实施方式中，CPU31在棒部10的敲击定时，报告棒部10的俯仰角。

因此，演奏者能够确认敲击定时的俯仰角。

此外，在本实施方式中，CPU31在棒部10的敲击定时未判定成棒部10的俯仰角隶属于与虚拟背景81～88分别对应的规定范围的情况下，报告棒部10的俯仰角。

因此，演奏者能够通过确认敲击定时的俯仰角，来学习怎样修正俯仰角才能够正确地敲击作为目标的虚拟背景。

此外，在本实施方式中，具备：显示装置351，将配置显示区域361和高度显示区域362显示在相同画面上的不同区域，该配置显示区域361显示虚拟背景81～88各自的区域的配置，该高度显示区域362显示表示虚拟背景81～88各自的高度的高度调整图标91～98；和触摸面板381，检测显示装置351中的接触操作，并输出表示检测到了接触操作的信号；CPU31在从触摸面板381接收到表示检测到了配置显示区域361中的接触操作的信号的情况下，根据配置显示区域361中的接触位置、以及配置显示区域361中显示的虚拟背景81～88各自的区域的配置，调整虚拟背景81～88中的某个虚拟背景的区域的配置，在从触摸面板381接收到了表示检测到了高度显示区域362中的接触操作的信号的情况下，根据高度显示区域362中的接触位置、以及高度显示区域362中显示的高度调整图标91～98，调整虚拟背景81～88中的某个虚拟背景的高度。

因此，在变更具有高度或俯仰角等立体信息的布局信息时，通过在画面上的不同区域进行虚拟背景的向左右方向的移动和高度方向的调整，能够容易地进行布局信息的变更操作。

此外，在本实施方式中，相对应地显示了高度显示区域362中显示的高度调整图标91～98和配置显示区域361中显示的虚拟背景81～88各自的区域的配置。

因此，演奏者能够容易地掌握应该触摸哪个高度调整图标来调整虚拟背景的高度。

此外，在本实施方式中，在配置显示区域361中显示的虚拟背景81～88各自的区域的配置被进行了调整的情况下，高度显示区域362中显示的高度调整图标91～98追随着该调整后的显示而被显示。

因此，演奏者即使在虚拟背景的配置被进行了调整的情况下，也能够容易地掌握应该触摸哪个高度调整图标来调整虚拟背景的高度。

以上，说明了本发明的实施方式，但是实施方式只不过是例示，不限定本发明的技术范围。本发明能够采用其他各种实施方式，而且，在不脱离本发明的宗旨的范围内，能够进行省略或置换等各种变更。这些实施方式及其变形包含在本说明书等所记载的发明的范围及宗旨内，并且也包含在权利要求书所记载的发明及其等同的范围内。

在上述实施方式中，作为虚拟的打击乐器，以虚拟鼓套件D（参照图1）为例进行了说明，但是不限于此，本发明能够适用于通过棒部10的下挥动作来发出乐音的木琴等其他乐器中。

Claims

1.一种演奏装置，其特征在于，具备：

存储器，存储有布局信息，该布局信息包括配置在预先设定的虚拟平面上的多个区域以及与该多个区域分别对应的俯仰角范围；

俯仰角传感器，检测演奏者可保持的演奏构件在演奏操作时的俯仰角；

位置传感器，检测所述虚拟平面上的所述演奏构件的位置坐标；

第一判定机构，在由所述演奏构件进行了演奏操作的定时，判定所述演奏构件的位置坐标是否隶属于根据所述存储器中存储的布局信息而配置在所述虚拟平面上的多个区域中的某个；

第二判定机构，在由所述第一判定机构判定为隶属于区域的情况下，判定由所述俯仰角传感器检测到的所述演奏构件的俯仰角是否隶属于与该区域对应的俯仰角范围；

发音指示机构，在由所述第二判定机构判定为隶属于与该区域对应的俯仰角范围的情况下，指示发出与该区域对应的乐音。

2.如权利要求1所述的演奏装置，其特征在于，

所述位置传感器具有摄像装置，该摄像装置将所述演奏构件作为规定的摄像平面上的被摄体而拍摄出摄像图像，并且，将该摄像平面作为所述虚拟平面来检测所述演奏构件的位置坐标。

3.如权利要求1所述的演奏装置，其特征在于，

还具备报告机构，该报告机构在由所述演奏构件进行了所述演奏操作的定时，报告所述演奏构件的俯仰角。

4.如权利要求3所述的演奏装置，其特征在于，

所述报告机构在由所述第二判定机构判定为不隶属于所述俯仰角范围的情况下，报告所述演奏构件的俯仰角。

5.如权利要求1所述的演奏装置，其特征在于，

所述布局信息还包含有与分别立体显示所述多个区域时的高度对应的高度数据；

所述演奏装置还具有显示控制机构，该显示控制机构使得在规定的显示机构的配置显示区域，显示所述多个区域各自在所述摄像平面上的配置，并且，在所述显示机构的高度显示区域，显示表示分别立体显示所述多个区域时的高度的图像。

6.如权利要求5所述的演奏装置，其特征在于，

所述演奏装置还具有布局信息调整机构，该布局信息调整机构对所述布局信息的多个区域各自在所述摄像平面上的配置、以及该布局信息的多个区域各自的高度进行调整。

7.如权利要求6所述的演奏装置，其特征在于，

所述演奏装置还具备触摸面板，该触摸面板对所述显示机构上的接触操作进行检测；

所述布局信息调整机构具备：

配置调整机构，在所述配置显示区域的画面上检测到接触操作的情况下，根据所述配置显示区域中的接触位置、以及所述配置显示区域中显示的所述多个区域各自在所述摄像平面上的位置，调整所述多个区域中的某个在所述摄像平面上的位置；以及

高度调整机构，在所述高度显示区域的画面上检测到接触操作的情况下，根据所述高度显示区域中的接触位置、以及所述高度显示区域中显示的表示分别立体显示所述多个区域时的高度的图像的位置，调整表示所述多个区域中的某个的高度的图像的位置。

8.一种在演奏装置中使用的方法，该演奏装置具有：存储器，存储有布局信息，该布局信息包括配置在预先设定的虚拟平面上的多个区域以及与该多个区域分别对应的俯仰角范围；俯仰角传感器，检测演奏者可保持的演奏构件在演奏操作时的俯仰角；以及位置传感器，检测所述虚拟平面上的所述演奏构件的位置坐标，其特征在于，

在由所述演奏构件进行了演奏操作的定时，判定所述演奏构件的位置坐标是否隶属于根据所述存储器中存储的布局信息而配置在所述虚拟平面上的多个区域中的某个；

在判定为隶属于所述区域的情况下，判定由所述俯仰角传感器检测到的所述演奏构件的俯仰角是否隶属于与该区域对应的俯仰角范围；

在判定为隶属于与该区域对应的俯仰角范围的情况下，指示发出与该区域对应的乐音。

9.如权利要求8所述的方法，其特征在于，

所述方法还使得，

在规定的显示机构的配置显示区域，显示所述多个区域各自在所述摄像平面上的配置，并且，在所述显示机构的高度显示区域，显示表示分别立体显示所述多个区域时的高度的图像。

10.如权利要求9所述的方法，其特征在于，

所述方法还对所述布局信息的多个区域各自在所述摄像平面上的配置、以及该布局信息的多个区域各自的高度进行调整。

11.如权利要求10所述的方法，其特征在于，

所述演奏装置还具备检测所述显示机构上的接触操作的触摸面板，

所述方法，

在所述配置显示区域的画面上检测到接触操作的情况下，根据所述配置显示区域中的接触位置、以及所述配置显示区域中显示的所述多个区域各自在所述摄像平面上的位置，调整所述多个区域中的某个在所述摄像平面上的位置；

在所述高度显示区域的画面上检测到接触操作的情况下，根据所述高度显示区域中的接触位置、以及所述高度显示区域中显示的表示分别立体显示所述多个区域时的高度的图像的位置，调整表示所述多个区域中的某个的高度的图像的位置。