CN103310768B

CN103310768B - 演奏装置以及演奏装置的控制方法

Info

Publication number: CN103310768B
Application number: CN201310081022.0A
Authority: CN
Inventors: 田畑裕二
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2012-03-14
Filing date: 2013-03-14
Publication date: 2015-12-02
Anticipated expiration: 2033-03-14
Also published as: US20130239780A1; JP6127367B2; JP2013190695A; US8664508B2; CN103310768A

Abstract

本发明提供一种即使在演奏者移动了的情况下，通过根据演奏者的位置适当地变更虚拟的乐器组的配置，也能够避免以勉强的姿势进行演奏的演奏装置以及演奏装置的控制方法。组布局信息具有作为多个虚拟打击垫（81）各自的配置基准的基准组布局信息，CPU（31）判断是否对一对鼓棒部（10）进行了形成正方形的操作，在判断为进行了形成正方形的操作的情况下，基于与基准组布局信息对应的摄像图像平面上的预定位置坐标和进行了形成正方形的操作的情况下的摄像图像平面上的一对鼓棒部（10）的位置坐标，一齐调整多个虚拟打击垫（81）各自的配置。

Description

演奏装置以及演奏装置的控制方法

本申请基于2012年3月14日的日本专利申请No.2012-057967并主张此日本专利申请的优先权,且该日本专利申请的全部内容作为参考被包含于本申请。

技术领域

本发明涉及演奏装置以及演奏装置的控制方法。

背景技术

以往，提案了若检测到演奏者的演奏动作则使对应于演奏动作的电子音发音的演奏装置。例如，仅通过鼓棒上的部件使打击乐器音发音的演奏装置（空气鼓）被人所知。在该演奏装置中，若演奏者做出用手把持并挥动内置有传感器的鼓棒状的部件这样的、正如对鼓进行打击这样的演奏动作，则传感器检测到该演奏动作，打击乐器音发音。

根据这样的演奏装置，能够不需要现实的乐器地使该乐器的乐音发音，因此，演奏者能够不受演奏场地或演奏空间制约地享受演奏。

作为这样的演奏装置，例如，在日本专利第3599115号公报中提案了一种乐器游戏装置，该乐器游戏装置被构成为：对演奏者使用鼓棒状的部件的演奏动作进行摄像，并将对该演奏动作的摄像图像和表示乐器组的虚拟图像进行了合成的合成图像显示于监控器，根据鼓棒状的部件与虚拟的乐器组的位置信息来使规定的乐音发音。

但是，在直接适用日本专利第3599115号公报中所记载的乐器游戏装置的情况下，虚拟的乐器组的配置等的布局信息是被预先确定的，因此，若在演奏者移动了的情况下虚拟的乐器组的配置却原样不变，则必须以很勉强的姿势来进行演奏。

发明内容

本发明是鉴于这样的状况而形成的，其目的在于提供一种演奏装置以及演奏装置的控制方法，能够在演奏者移动了的情况下对应于演奏者的位置来适当地变更虚拟乐器组的配置，从而避免演奏者以勉强的姿势进行演奏。

为了达成上述目的，本发明的一个方案的演奏装置的特征在于，具备：演奏部件，由演奏者进行操作；位置检测机构，检测上述演奏部件被操作的虚拟平面上的上述演奏部件的位置坐标；存储机构，存储布局信息，该布局信息包含配置于上述虚拟平面的多个区域的位置以及与该多个区域分别对应的音色；规定操作判断机构，判断是否对上述演奏部件进行了规定的操作；变更机构，在判断为进行了上述规定的操作的情况下，基于进行了该规定操作时的上述演奏部件的位置，一齐变更存储于上述存储机构的布局信息内的多个区域各自的位置；判断机构，判断在通过上述演奏部件进行了特定的演奏操作的定时，上述演奏部件的位置是否属于基于存储于上述存储机构的布局信息而配置的多个区域中的某一区域；以及发音指示机构，在通过该判断机构判断为属于上述某一区域的情况下，指示进行与该区域对应的音色的乐音的发音。

附图说明

图1A和图1B为表示本发明的演奏装置的一实施方式的概要的图。

图2为表示构成上述演奏装置的鼓棒部的硬件构成的框图。

图3为上述鼓棒部的立体图。

图4为表示构成上述演奏装置的摄像单元部的硬件构成的框图。

图5为表示构成上述演奏装置的中心单元部的硬件构成的框图。

图6为表示本发明的演奏装置的一实施方式的组布局信息的图。

图7为在虚拟平面上将上述组布局信息群中的一个组布局信息所表示的概念进行了可视化的图。

图8为表示上述鼓棒部的处理流程的流程图。

图9为表示上述摄像单元部的处理流程的流程图。

图10为表示上述中心单元部的处理流程的流程图。

图11为表示上述中心单元部的组布局变更处理的流程的流程图。

图12为表示通过上述鼓棒部形成的鼓棒基准位置的图。

图13为表示通过上述鼓棒部形成的鼓棒变更位置的图。

具体实施方式

以下，使用附图，对本发明的实施方式加以说明。

［演奏装置1的概要］

首先，参照图1A和图1B，对作为本发明的一实施方式的演奏装置1的概要加以说明。

如图1A所示，本实施方式的演奏装置1构成为包含鼓棒部10R、10L、摄像单元部20、中心单元部30。本实施方式的演奏装置1被设为具备用于实现使用两根鼓棒的虚拟的鼓演奏的两个鼓棒部10R、10L，但鼓棒部的数量并不限于此，可以是一个，也可以是三个以上。另外，以下，在无需对各个鼓棒部10R、10L进行区别的情况下，将两者统称为“鼓棒部10”。

鼓棒部10为沿长度方向延伸的鼓棒状的演奏部件。演奏者手持鼓棒部10的一端（根侧），以手腕等为中心进行上下挥动的动作来作为演奏动作。为了检测这样的演奏者的演奏动作，在鼓棒部10的另一端（顶端侧）设有加速度传感器以及角速度传感器等的各种传感器（后述的运动传感器部14）。鼓棒部10基于通过这些各种传感器检测到的演奏动作，向中心单元部30发送音符打开（noteon）事件。

此外，在鼓棒部10的顶端侧设有后述的标记部15（参照图2），并构成为在摄像时摄像单元部20能够判断鼓棒部10的顶端。

摄像单元部20被构成为光学式的摄像装置，以规定的帧率对包含作为被摄体的把持鼓棒部10并进行演奏动作的演奏者在内的空间（以下，称为“摄像空间”）进行摄像，并作为动态图像的数据输出。摄像单元部20确定摄像空间内的正在发光中的标记部15的位置坐标，并将表示该位置坐标的数据（以下，称为“位置坐标数据”）发送至中心单元部30。

中心单元部30若从鼓棒部10接收到音符打开事件，则根据接收时的标记部15的位置坐标数据，使规定的乐音发音。具体地讲，中心单元部30与摄像单元部20的摄像空间对应地存储图1B所示的虚拟鼓组D的位置坐标数据，并基于该虚拟鼓组D的位置坐标数据和接收音符打开事件时的标记部15的位置坐标数据，确定鼓棒部10虚拟地打击了的乐器，并使对应于该乐器的乐音发音。

接下来，对这样的本实施方式的演奏装置1的构成具体地加以说明。

［演奏装置1的构成］

首先，参照图2～图5，对本实施方式的演奏装置1的各构成要素，具体地讲，对鼓棒部10、摄像单元部20以及中心单元部30的构成加以说明。

［鼓棒部10的构成］

图2为表示鼓棒部10的硬件构成的框图。

如图2所示，鼓棒部10被构成为包含CPU11（CentralProcessingUnit，中央处理器）、ROM（ReadOnlyMemory，只读存储器）12、RAM（RandomAccessMemory，随机存储器）13、运动传感器部14、标记部15、数据通信部16、和开关操作检测电路17。

CPU11执行鼓棒部10整体的控制，例如，基于从运动传感器部14输出的传感器值，执行鼓棒部10的姿势的检测、击打检测以及动作检测，此外，还执行标记部15的发光/灭灯等的控制。此时，CPU11从ROM12读出标记特征信息，并根据该标记特征信息来执行标记部15的发光控制。此外，CPU11介由数据通信部16来执行与中心单元部30之间的通信控制。

ROM12收纳用于通过CPU11执行各种处理的处理程序。此外，ROM12收纳用于标记部15的发光控制的标记特征信息。在此，摄像单元部20需要区别鼓棒部10R的标记部15（以下，适当地称为“第1标记”）和鼓棒部10L的标记部15（以下，适当地称为“第2标记”）。所谓标记特征信息是用于摄像单元部20对第1标记和第2标记进行区别的信息，例如，除了可以使用发光时的形状、大小、色调、色度或者亮度，还可以使用发光时的亮灭速度等。

鼓棒部10R的CPU11以及鼓棒部10L的CPU11读出各不相同的标记特征信息，并执行各个标记的发光控制。

RAM13收纳运动传感器部14所输出的各种传感器值等处理中所取得或生成的值。

运动传感器部14为用于检测鼓棒部10的状态的各种传感器，并输出规定的传感器值。在此，作为构成运动传感器部14的传感器，例如，可以使用加速度传感器、角速度传感器以及磁传感器等。

图3为鼓棒部10的立体图，在外部配置有开关部171和标记部15。

演奏者手持鼓棒部10的一端（根侧），进行以手腕等为中心的上下挥动的动作，由此，相对于鼓棒部10产生运动。此时，与该运动对应的传感器值从运动传感器部14输出。

接收到了来自运动传感器部14的传感器值的CPU11对演奏者所持鼓棒部10的状态进行检测。例如，CPU11检测通过鼓棒部10产生的虚拟乐器的打击定时（以下，也称为“击打（shot）定时”）。击打定时为鼓棒部10被挥下后即将停止之前的定时，并且是鼓棒部10的与挥下方向的朝向相反的加速度的大小超过了某阈值的定时。

而且，运动传感器部14的传感器值中还包含检测演奏者手持鼓棒部10时的长度方向与水平面所成的角即“俯仰角（日文：ピッチ角）”所需的数据。

回到图2，标记部15为设于鼓棒部10的顶端侧的发光体，例如由LED等构成，并根据来自CPU11的控制发光以及灭灯。具体地讲，标记部15基于通过CPU11从ROM12读出的标记特征信息来发光。此时，鼓棒部10R的标记特征信息与鼓棒部10L的标记特征信息不同，因此，摄像单元部20能够逐个区别并取得鼓棒部10R的标记部（第1标记）的位置坐标和鼓棒部10L的标记部（第2标记）的位置坐标。

数据通信部16至少与中心单元部30之间进行规定的无线通信。规定的无线通信可以通过任意的方法进行，在本实施方式中，通过红外线通信进行与中心单元部30之间的无线通信。另外，数据通信部16也可以与摄像单元部20之间进行无线通信，或与鼓棒部10R以及鼓棒部10L之间进行无线通信。

开关操作检测电路17与开关171连接，并接收介由该开关171的输入信息。作为输入信息，例如包括作为用于变更后述组布局信息的触发器的组布局变更信号等。

［摄像单元部20的构成］

对鼓棒部10的构成的说明到此为止。接下来，参照图4，对摄像单元部20的构成加以说明。

图4为表示摄像单元部20的硬件构成的框图。

摄像单元部20被构成为包含CPU21、ROM22、RAM23、图像传感器部24、和数据通信部25。

CPU21执行摄像单元部20整体的控制，例如，基于图像传感器部24检测到的标记部15的位置坐标数据以及标记特征信息，计算出鼓棒部10R、10L的标记部15（第1标记以及第2标记）各自的位置坐标，并执行输出表示各自计算结果的位置坐标数据的控制。此外，CPU21介由数据通信部25，执行向中心单元部30发送计算出的位置坐标数据等的通信控制。

ROM22收纳用于通过CPU21执行各种处理的处理程序。RAM23收纳由图像传感器部24检测到的标记部15的位置坐标数据等处理中所取得或生成的值。此外，RAM23还一并收纳从中心单元部30接收到的鼓棒部10R、10L各自的标记特征信息。

图像传感器部24例如为光学式摄像机，并以规定的帧率对手持鼓棒部10进行演奏动作的演奏者的动态图像进行摄像。此外，图像传感器部24按帧向CPU21输出摄像数据。另外，对于摄像图像内的鼓棒部10的标记部15的位置坐标的确定，可以由图像传感器部24来进行，也可以由CPU21来进行。同样地，对于已拍摄的标记部15的标记特征信息，可以由图像传感器部24来确定，也可以由CPU21来确定。

数据通信部25至少与中心单元部30之间进行规定的无线通信（例如，红外线通信）。另外，数据通信部16也可以与鼓棒部10之间进行无线通信。

［中心单元部30的构成］

对摄像单元部20的构成的说明到此为止。接下来，参照图5，对中心单元部30的构成加以说明。

图5为表示中心单元部30的硬件构成的框图。

中心单元部30被构成为包含CPU31、ROM32、RAM33、开关操作检测电路34、显示电路35、音源装置36、和数据通信部37。

CPU31执行中心单元部30整体的控制，例如，基于从鼓棒部10接收到的击打检测以及从摄像单元部20接收到的标记部15的位置坐标，执行使规定的乐音发音的控制等。此外，CPU31介由数据通信部37，执行与鼓棒部10以及摄像单元部20之间的通信控制。

ROM32收纳CPU31所执行的各种处理的处理程序。此外，ROM32与位置坐标等对应地收纳各种音色的波形数据，例如，长笛、萨克斯、小号等的管乐器；钢琴等的键盘乐器；吉他等的弦乐器；大鼓、高帽、小军鼓、钹、中鼓（tom-tom）等打击乐器的波形数据（音色数据）。

作为音色数据等的收纳方法，例如，如图6中作为组布局信息所示，组布局信息具有第1打击垫～第n打击垫的n个打击垫信息，而且在各打击垫信息中，打击垫的有无（后述虚拟平面中的虚拟打击垫是否存在）、位置（后述虚拟平面中的位置坐标）、尺寸（虚拟打击垫的形状以及直径等）以及音色（波形数据）等被建立了对应地收纳。

在此，参照图7，对具体的组布局加以说明。图7为在虚拟平面上将收纳于中心单元部30的ROM32中的组布局信息（参照图6）所示的概念进行了可视化的图。

图7表示6个虚拟打击垫81配置于虚拟平面上的状态，各虚拟打击垫81与第1打击垫～第n打击垫中的、打击垫有无数据为“有打击垫”的打击垫对应。例如，第2打击垫、第3打击垫、第5打击垫、第6打击垫、第8打击垫、第9打击垫的6个对应于各虚拟打击垫81。而且，基于位置数据和尺寸数据配置虚拟打击垫81。再有，音色数据与各虚拟打击垫81建立对应。因此，在击打检测时的标记部15的位置坐标属于与各虚拟打击垫81对应的区域的情况下，对应于各虚拟打击垫81的音色发音。

此外，CPU31也可以将该虚拟平面和虚拟打击垫81一起显示在后述的显示装置351上。此外，ROM32中存储的组布局信息在下面称为“基准组布局信息”，基准组布局信息所具有的位置及尺寸在下面称为“基准位置”、“基准尺寸”。

另外，对于基准组布局信息，通过后述的组布局变更处理，基准组布局信息所具有的基准位置和基准尺寸一齐被变更。

回到图5，RAM33收纳从鼓棒部10接收到的鼓棒部10的状态（击打检测等）、从摄像单元部20接收到的标记部15的位置坐标以及从ROM32读出的基准组布局信息等处理中所取得或生成的值。

CPU31从收纳于RAM33的组布局信息读出与击打检测时（即，接收音符打开事件时）标记部15的位置坐标所属的区域的虚拟打击垫81对应的音色数据（波形数据），由此，对应于演奏者的演奏动作的乐音被发音。

开关操作检测电路34与开关341连接，并接收介由该开关341的输入信息。作为输入信息，例如，包含要发音的乐音的音量和要发音的乐音的音色的变更、组布局编号的设定以及变更、显示装置351的显示的切换等。

此外，显示电路35与显示装置351连接，并执行显示装置351的显示控制。

音源装置36按照来自CPU31的指示，从ROM32读出波形数据，生成乐音数据，并将乐音数据变换为模拟信号，从未作图示的扬声器使乐音发音。

此外，数据通信部37与鼓棒部10以及摄像单元部20之间进行规定的无线通信（例如，红外线通信）。

［演奏装置1的处理］

以上，对构成演奏装置1的鼓棒部10、摄像单元部20以及中心单元部30的构成进行了说明。接下来，参照图8～图11，对演奏装置1的处理加以说明。

［鼓棒部10的处理］

图8为表示鼓棒部10所执行的处理（以下，称为“鼓棒部处理”）的流程的流程图。

参照图8，鼓棒部10的CPU11从运动传感器部14读出运动传感器信息，即，各种传感器所输出的传感器值，并收纳于RAM13（步骤S1）。其后，CPU11基于所读出的运动传感器信息执行鼓棒部10的姿势检测处理（步骤S2）。在姿势检测处理中，CPU11基于运动传感器信息，计算鼓棒部10的姿势，例如，鼓棒部10的倾滚角（日文：ロール角）和俯仰角等。

接下来，CPU11基于运动传感器信息执行击打检测处理（步骤S3）。这里，在演奏者使用鼓棒部10进行演奏的情况下，一般会进行与打击现实的乐器（例如，鼓）的动作相同的演奏动作。在这样的演奏动作中，演奏者首先向上挥动鼓棒部10，之后朝虚拟的乐器挥下。然后，在将鼓棒部10向虚拟的乐器打击之前，使停止鼓棒部10的动作的力量发挥作用。此时，演奏者设想在使鼓棒部10打击到虚拟的乐器的瞬间产生乐音，因此，理想的是能够在演奏者设想的定时产生乐音。因此，本实施方式中，在演奏者将鼓棒部10向虚拟的乐器的表面打击的瞬间或稍稍在此之前的定时使乐音发音。

在本实施方式中，击打检测的定时为鼓棒部10被挥下后即将停止之前的定时，并且是鼓棒部10的与挥下方向的朝向相反的加速度的大小超过了某阈值的定时。

若将该击打检测的定时作为发音定时，并判断为发音定时已经到来，则鼓棒部10的CPU11生成音符打开事件，并发送至中心单元部30。由此，在中心单元部30中执行发音处理，使乐音发音。

在步骤S3所示的击打检测处理中，基于运动传感器信息（例如，加速度传感器的传感器合成值）生成音符打开事件。此时，也可以在所生成的音符打开事件中包含要发音的乐音的音量。另外，乐音的音量例如能够通过传感器合成值的最大值求得。

接着，CPU11介由数据通信部16，向中心单元部30发送步骤S1至步骤S3的处理中检测到的信息，即，运动传感器信息、姿势信息以及击打信息（步骤S4）。此时，CPU11与鼓棒识别信息对应地向中心单元部30发送运动传感器信息、姿势信息以及击打信息。

由此，处理返回步骤S1，并重复其后的处理。

［摄像单元部20的处理］

图9为表示摄像单元部20所执行的处理（以下，称为“摄像单元部处理”）的流程的流程图。

参照图9，摄像单元部20的CPU21执行图像数据取得处理（步骤S11）。在该处理中，CPU21从图像传感器部24取得图像数据。

接着，CPU21执行第1标记检测处理（步骤S12）以及第2标记检测处理（步骤S13）。在这些处理中，CPU21取得图像传感器部24检测到的鼓棒部10R的标记部15（第1标记）以及鼓棒部10L的标记部15（第2标记）的位置坐标、尺寸、角度等的标记检测信息并收纳于RAM23。此时，图像传感器部24针对发光中的标记部15检测标记检测信息。

接着，CPU21介由数据通信部25向中心单元部30发送在步骤S12以及步骤S13所取得的标记检测信息（步骤S14），并使处理移至步骤S11。

［中心单元部30的处理］

图10为表示中心单元部30所执行的处理（以下，称为“中心单元部处理”）的流程的流程图。

参照图10，中心单元部30的CPU31从摄像单元部20接收第1标记以及第2标记各自的标记检测信息，并收纳于RAM33（步骤S21）。此外，CPU31从各鼓棒部10R、10L接收与鼓棒识别信息建立了对应的运动传感器信息、姿势信息以及击打信息，并收纳于RAM33（步骤S22）。进而，CPU31取得通过开关341的操作而被输入的信息（步骤S23）。

接着，CPU31判断是否有击打（步骤S24）。在该处理中，CPU31通过是否从鼓棒部10接收到了音符打开事件来判断击打的有无。此时，在判断为存在击打的情况下，CPU31执行击打信息处理（步骤S25）。在击打信息处理中，CPU31从由RAM33读出的组布局信息中读出与包含于标记检测信息的位置坐标所属的区域的虚拟打击垫81对应的音色数据（波形数据），并与包含于音符打开事件的音量数据一同输出至音源装置36。这样，音源装置36基于所取得的波形数据使相应的乐音发音。当步骤S25的处理结束后，CPU31将处理移至步骤S21。

在步骤S24判断为否的情况下，CPU31判断是否进行组布局变更（步骤S26）。该处理中，在鼓棒部10R以及10L的一方沿铅垂方向朝上而另一方沿铅垂方向朝下，且形成了以鼓棒部10R、10L的长度为一边的正方形的状态下，判断鼓棒部10R以及10L是否静止了规定时间。

具体地讲，在作为在步骤S22已取得的姿势信息而检测到鼓棒部10R以及10L的一方的俯仰角为90度且另一方的俯仰角为－90度，且作为在步骤S21已取得的标记检测信息而将鼓棒部10R以及10L的标记部15的位置坐标分别设为（Rx1，Ry1）、（Lx1，Ly1）的情况下，CPU31判断在（Rx1－Lx1）＝（Ry1－Ly1）的关系成立的状态下，步骤S21中已取得的运动传感器信息中的加速度传感器值以及角速度传感器值均为0的状态是否持续了规定时间。

在判断为组布局变更的情况下，CPU31执行组布局变更处理（步骤S27），并使处理移至步骤S21。另一方面，在判断为无组布局变更的情况下，CPU31使处理移至步骤S21。

另外，将本实施方式中的虚拟平面设为X－Y平面，将横方向设为X轴方向，纵方向设为Y轴方向。

在鼓棒部10R以及10L是否静止了规定时间的判断中，CPU31也可以在通过鼓棒部10的开关171被操作而从鼓棒部10接收到组布局变更信号的情况下，在经过规定时间之前判断为组布局变更。

［中心单元部30的组布局变更处理］

图11为表示图10的中心单元部处理中的步骤S27的组布局变更处理的详细流程的流程图。

参照图11，CPU31计算中心坐标和偏移（offset）值（步骤S31）。在此，鼓棒部10R以及10L的一方沿铅垂方向朝上且另一方沿铅垂方向朝下，而且，将形成了以鼓棒部10R、10L的长度为一边的正方形的状态下的对应于基准组布局信息的鼓棒部10R以及10L的位置适当地称为“鼓棒基准位置”（参照图12），并将在步骤S26形成该正方形，并判断为组布局变更的时刻的鼓棒部10R以及10L的位置适当地称为“鼓棒变更位置”（参照图13）。

此外，若将在鼓棒基准位置的鼓棒部10R以及10L的标记部15的位置坐标分别设为（Rx0，Ry0）、（Lx0，Ly0），则所形成的正方形的中心坐标为（（Rx0＋Lx0）／2，（Ry0＋Ly0）／2）。这些坐标被预先设定为与鼓棒基准位置对应的坐标。

作为步骤S31的具体处理，CPU31根据在步骤S26中判断为组布局变更的时刻所检测出的鼓棒部10R以及10L的标记部15的各自位置坐标（Rx1，Ry1）、（Lx1，Ly1），计算正方形的中心坐标（（Rx1＋Lx1）／2，（Ry1＋Ly1）／2）进而计算在鼓棒基准位置的正方形的中心坐标与在鼓棒变更位置的正方形的中心坐标的偏移值（（Rx1＋Lx1）／2－（Rx0＋Lx0）／2，（Ry1＋Ly1）／2－（Ry0＋Ly0）／2）。该偏移值为使基准组布局信息中的多个虚拟打击垫81各自的基准位置移动至变更后的组布局信息的位置时的偏移值。

接着，CPU31计算放大/缩小率（步骤S32）。所谓放大/缩小率是将基准组布局信息中的多个虚拟打击垫81各自的基准尺寸放大或者缩小至变更后的组布局信息的尺寸时的倍率。

具体地讲，CPU31计算横方向的放大/缩小率（（Rx1－Lx1）／（Rx0－Lx0）的大小）以及纵方向的放大/缩小率（（Ry1－Ly1）／（Ry0－Ly0）的大小）。

接着，CPU31调整虚拟打击垫的位置（步骤S33）。具体地讲，CPU31对包含于由基准组布局信息中的多个虚拟打击垫81各自的基准位置以及基准尺寸所决定的区域内的所有的位置坐标乘以在步骤S32计算出的纵横各方向的放大/缩小率，并对乘法计算后的所有的位置坐标加上在步骤S31计算出的偏移值。

例如，如图13所示，在基于基准组布局信息进行演奏的过程中，若演奏者沿横方向以及／或者前后方向移动，并使用鼓棒部10R以及10L形成正方形，则基准组布局信息中的多个虚拟打击垫81分别被变更为一齐偏移且缩小（或放大），演奏者能够基于变更后的组布局信息进行演奏。

若步骤S33的处理结束，则CPU31结束组布局变更处理。

以上，对本实施方式的演奏装置1的构成以及处理进行了说明。

在本实施方式中，组布局信息具有作为多个虚拟打击垫81各自的配置基准的基准组布局信息，CPU31判断是否对一对鼓棒部10进行了形成正方形的操作，在判断为进行了形成正方形的操作的情况下，基于与基准组布局信息对应的摄像图像平面上的预定位置坐标和进行了形成正方形的操作的情况下的摄像图像平面上的一对鼓棒部10的位置坐标，一齐调整多个虚拟打击垫81各自的配置。

由此，在演奏者相对于摄像单元部20移动了的情况下，在移动后进行规定的操作，由此，多个虚拟打击垫81各自的配置对应于演奏者的位置被适当且一齐地变更，因此，能够避免以勉强的姿势进行演奏。

此外，在本实施方式中，组布局信息还使位置以及尺寸与多个虚拟打击垫81分别建立对应，基准组布局信息包含作为多个虚拟打击垫81各自的配置基准的基准位置以及基准尺寸，CPU31一齐计算基于多个虚拟打击垫81各自的基准位置的位置变化量以及基于基准尺寸的尺寸变化率，并基于所计算出的位置变化量以及尺寸变化率，调整多个虚拟打击垫81各自的位置以及尺寸。

由此，在演奏者相对于摄像单元部20前后左右移动了的情况下，对于左右的移动，可以使多个虚拟打击垫81各自的位置适当地平行移动，对于前后的移动，可以使多个虚拟打击垫81各自的尺寸适当地放大/缩小。

此外，在本实施方式中，鼓棒部10检测鼓棒部10自身的姿势信息，在所检测到的一对鼓棒部10自身的姿势信息沿铅垂方向彼此逆向，且在摄像单元部20中的一对鼓棒部10的位置坐标之间，X坐标的差的大小与Y坐标的差的大小相等这一条件成立的情况下，CPU31判断为进行了形成正方形的操作。

由此，演奏者能够容易地进行形成作为调整组布局信息的位置以及尺寸的触发器的正方形的操作。

以上，对本发明的实施方式进行了说明，但实施方式不过是例子，并非限定本发明的技术范围。本发明可以采用其他各种实施方式，而且，在不脱离本发明的主旨的范围内，可以进行省略或置换等各种变更。这些实施方式或其变形包含于本说明书等所记载的发明范围或主旨，并包含于权利要求书所记载的发明及其等同范围内。

在上述实施方式中，作为虚拟的打击乐器，以虚拟鼓组D（参照图1）为例进行了说明，但并不限于此，本发明能够适用于通过鼓棒部10的挥下动作使乐音发音的木琴等其他乐器。

此外，在上述实施方式中，以形成以鼓棒部10的长度为一边的正方形来作为布局信息的调整触发器，但并不限于此，也可形成平行四边形等其他图形。

Claims

1.一种演奏装置，具备：

演奏部件，由演奏者进行操作；

位置检测机构，检测上述演奏部件被操作的虚拟平面上的上述演奏部件的位置坐标；

存储机构，存储布局信息，该布局信息包含配置于上述虚拟平面的多个区域的位置以及与该多个区域分别对应的音色；

规定操作判断机构，判断是否对上述演奏部件进行了规定的操作；

变更机构，在判断为进行了上述规定的操作的情况下，基于进行了该规定操作时的上述演奏部件的位置，一齐变更存储于上述存储机构的布局信息内的多个区域各自的位置；

判断机构，在通过上述变更机构使存储在所述存储机构中的布局信息内的多个区域各自的位置变更了的情况下，判断在通过上述演奏部件进行了特定的演奏操作的定时，上述演奏部件的位置是否属于基于存储于上述存储机构的变更后的布局信息而配置的多个区域中的某一区域；并且，在通过上述变更机构使存储在所述存储机构中的布局信息内的多个区域各自的位置没有变更的情况下，判断在通过上述演奏部件进行了特定的演奏操作的定时，上述演奏部件的位置是否属于基于存储于上述存储机构的布局信息而配置的多个区域中的某一区域；以及

发音指示机构，在通过该判断机构判断为属于上述某一区域的情况下，指示进行与该区域对应的音色的乐音的发音。

2.根据权利要求1所述的演奏装置，其中，

上述布局信息还与上述多个区域各自的尺寸建立对应，

上述变更机构一齐计算以存储于上述存储机构的多个区域各自的位置为基准的位置变化量以及以存储于上述存储机构的多个区域各自的尺寸为基准的尺寸变化率，并基于该计算出的上述位置变化量及上述尺寸变化率，变更存储于上述存储机构的多个区域各自的位置及尺寸。

3.根据权利要求1或2所述的演奏装置，其中，

上述演奏部件还具备对上述演奏部件主体的姿势进行检测的姿势检测机构，

在通过上述姿势检测机构检测出的姿势为规定姿势，且在上述摄像图像平面上的上述演奏部件的位置之间规定的条件成立的情况下，上述规定操作判断机构判断为进行了上述规定的操作。

4.一种演奏装置的控制方法，该演奏装置具备由演奏者进行操作演奏部件、检测在上述演奏部件被操作的虚拟平面上的上述演奏部件的位置坐标的位置检测机构、以及存储布局信息的存储机构，该布局信息包含配置于上述虚拟平面的多个区域的位置以及与该多个区域分别对应的音色，

该控制方法包括：

判断是否对上述演奏部件进行了规定的操作；

在判断为进行了上述规定的操作的情况下，基于进行了该规定操作时的上述演奏部件的位置，一齐变更存储于上述存储机构的布局信息内的多个区域各自的位置；

在通过上述变更机构使存储在所述存储机构中的布局信息内的多个区域各自的位置变更了的情况下，判断在通过上述演奏部件进行了特定的演奏操作的定时，上述演奏部件的位置是否属于基于存储于上述存储机构的变更后的布局信息而配置的多个区域中的某一区域；并且，在通过上述变更机构使存储在所述存储机构中的布局信息内的多个区域各自的位置没有变更的情况下，判断在通过上述演奏部件进行了特定的演奏操作的定时，上述演奏部件的位置是否属于基于存储于上述存储机构的布局信息而配置的多个区域中的某一区域；

在判断为属于上述某一区域的情况下，指示进行与该区域对应的乐音的发音。