CN103310770B

CN103310770B - 演奏装置及演奏装置的控制方法

Info

Publication number: CN103310770B
Application number: CN201310081221.1A
Authority: CN
Inventors: 田畑裕二
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2012-03-14
Filing date: 2013-03-14
Publication date: 2015-12-02
Anticipated expiration: 2033-03-14
Also published as: US20130239784A1; JP2013190690A; CN103310770A; US8710345B2

Abstract

一种防止在虚拟的乐器组的演奏操作时将误动作作为演奏动作检测到而发出的演奏装置及程序。演奏装置（1）具备：棒部（10），由演奏者操作；ROM（32），存储对于设在虚拟平面上的多个区域分别将与该多个区域分别对应的音色建立了关联的布局信息；图像传感器部（24），连续地拍摄将棒部（10）包含在被摄体中的拍摄图像；CPU（21），计算拍摄的拍摄图像中的第一拍摄图像与比它靠前的第二拍摄图像的差分图像，基于计算出的差分图像，检测棒部（10）的操作位置；CPU（31），参照ROM（32），确定与对应于由CPU（21）检测到的操作位置对应的区域建立了关联的音色；音源装置（36），发出由CPU（31）确定的音色。

Description

演奏装置及演奏装置的控制方法

本申请基于2012年3月14日提出的日本专利申请第2012－057917号主张优先权，这里引用其全部内容。

技术领域

本发明涉及演奏装置及演奏装置的控制方法。

背景技术

以往，提出了如果检测到演奏者的演奏动作、则发出对应于演奏动作的电子音的演奏装置。例如，已知有仅通过内置传感器的棒上的演奏部件发出打击乐器音的演奏装置（空气鼓）。该演奏装置对应于由演奏者进行将演奏部件用手保持而挥动的、宛如打击鼓那样的演奏动作，利用内置在演奏部件中的传感器检测演奏动作，发出打击乐器音。

根据这样的演奏装置，由于能够不需要现实的乐器而发出该乐器的乐音，所以演奏者能够不受演奏场所及演奏空间的制约来享受演奏的乐趣。

例如，在日本专利第3599115号公报中，提出了将演奏者的使用棒状的演奏部件的演奏动作拍摄、并在监视器上显示将该演奏动作的拍摄图像与表示乐器组的虚拟图像合成的合成图像的乐器游戏装置。

该乐器游戏装置在拍摄图像中的演奏部件的位置进入到具有多个乐器区的虚拟图像中的某个乐器区中的情况下，发出与该位置进入的乐器区对应的声音。

但是，在如在日本专利第3599115号公报中记载的乐器游戏装置那样、将乐器组的各部分与乐器区建立关联、仅基于该乐器区产生声音的情况下，演奏装置有可能将演奏者的非故意的动作作为演奏动作检测到而发出。

发明内容

本发明是鉴于这样的状况而做出的，目的是提供一种能够防止在虚拟的乐器组的演奏操作时将演奏者的非故意的动作作为演奏动作检测到而发出的演奏装置及演奏装置的控制方法。

为了达到上述目的，本发明的一技术方案的演奏装置的特征在于，具备：演奏部件，由演奏者操作；拍摄机构，连续地拍摄以上述演奏部件为被摄体的拍摄图像；存储机构，存储包括设在上述拍摄图像平面上的多个区域各自的位置的布局信息；位置检测机构，检测上述拍摄的拍摄图像中的第一拍摄图像平面上的上述演奏部件的位置、以及比该第一拍摄图像靠前的第二拍摄图像平面上的上述演奏部件的位置；当前位置确定机构，在由该位置检测机构检测出的两个位置的差分是规定值以上的情况下，将上述第一拍摄图像平面上的上述演奏部件的位置作为当前位置，并且在该两个位置的差分不到规定值的情况下，将上述第二拍摄图像平面上的上述演奏部件的位置作为当前位置；发音指示机构，在由上述位置检测机构检测到的两个位置的差分是规定值以上，并且由上述当前位置确定机构确定的当前位置包含在通过存储在上述存储机构中的布局信息而决定了位置的多个区域的某个中的情况下，指示与包含该当前位置的区域对应的乐音的发出。

根据本发明，能够防止在虚拟的乐器组的演奏操作时将演奏者的非故意的动作作为演奏动作检测到而发出。

附图说明

图1是表示本发明的演奏装置的一实施方式的概要的图。

图2是表示构成上述演奏装置的棒部的硬件结构的块图。

图3是上述棒部的立体图。

图4是表示构成上述演奏装置的照相机单元部的硬件结构的块图。

图5是表示构成上述演奏装置的中心单元部的硬件结构的块图。

图6是表示本发明的演奏装置的设置布局信息的图。

图7是将上述设置布局信息表示的概念在虚拟平面上可视化的图。

图8是表示上述棒部的处理的流程的流程图。

图9是表示上述照相机单元部的处理的流程的流程图。

图10是表示上述中心单元部的处理的流程的流程图。

具体实施方式

以下，使用附图对本发明的实施方式进行说明。

［演奏装置1的概要］

首先，参照图1，对作为本发明的一实施方式的演奏装置1的概要进行说明。

如图1（1）所示，本实施方式的演奏装置1包括棒部10A、10B、照相机单元部20和中心单元部30而构成。本实施方式的演奏装置1由于实现使用两根棒的虚拟的鼓演奏，所以具备两个棒部10A、10B，但棒部的数量并不限定于此。例如，也可以使棒部的数量为1个或3个以上。另外，以下在不需要将棒部10A、10B分别区别的情况下，将两者总称为“棒部10”。

棒部10是沿长度方向延伸的棒状的演奏部件。演奏者将棒部10的一端（根侧）拿在手中，进行以手腕等为中心上挥或下挥的动作作为演奏动作。为了检测这样的演奏者的演奏动作，在棒部10的另一端（前端侧），设有加速度传感器及角速度传感器等的各种传感器（后述的运动传感器部14）。棒部10基于由这些各种传感器检测出的演奏动作，向中心单元部30发送音符开始事件（noteonevent）。

此外，构成为，在棒部10的前端侧，设有后述的标记部15（参照图2），在拍摄时照相机单元部20能够判别棒部10的前端。

照相机单元部20构成为光学式的拍摄装置。该照相机单元部20将包括被摄体即保持棒部10而进行演奏动作的演奏者的空间（以下，称作“拍摄空间”）以规定的帧速率拍摄，作为运动图像的数据输出。照相机单元部20确定拍摄空间内的发光中的标记部15的位置坐标，将表示该位置坐标的数据（以下，称作“位置坐标数据”）向中心单元部30发送。

中心单元部30如果从棒部10接收到音符开始事件，则根据接收时的标记部15的位置坐标数据发出规定的乐音。具体而言，中心单元部30与照相机单元部20的拍摄空间建立对应而将图1（2）所示的虚拟鼓组D的位置坐标数据存储，基于该虚拟鼓组D的位置坐标数据和音符开始事件接收时的标记部15的位置坐标数据，确定棒部10虚拟地打击的乐器，发出对应于该乐器的乐音。

此外，中心单元部30在棒部10中进行了规定的操作的情况下，根据接收时的标记部15的位置坐标数据而发出规定的乐音。具体而言，中心单元部30将作为虚拟鼓组D的构成乐器的虚拟风铃（windchime）91的位置坐标数据与照相机单元部20的拍摄空间建立对应而存储，基于该虚拟鼓组D的位置坐标数据，确定棒部10虚拟地打击的虚拟风铃91的位置，发出对应于该位置的乐音。

接着，对这样的本实施方式的演奏装置1的结构具体地说明。

［演奏装置1的结构］

首先，参照图2～图5，对本实施方式的演奏装置1的各构成要素，具体而言对棒部10、照相机单元部20及中心单元部30的结构进行说明。

［棒部10的结构］

图2是表示棒部10的硬件结构的块图。

如图2所示，棒部10包括CPU（CentralProcessingUnit）11、ROM（ReadOnlyMemory）12、RAM（RandomAccessMemory）13、运动传感器部14、标记部15、数据通信部16和开关操作检测电路17而构成。

CPU11控制整个棒部10，例如基于从运动传感器部14输出的传感器值，除了棒部10的姿势的检测、击打检测及行动检测以外，还控制标记部15的发光、灭掉等。此时，CPU11将标记特征信息从ROM12读出，按照该标记特征信息控制标记部15的发光。此外，CPU11经由数据通信部16执行与中心单元部30之间的通信控制。

ROM12保存用来由CPU11执行各种处理的处理程序。此外，ROM12保存在标记部15的发光控制中使用的标记特征信息。所谓标记特征信息，是用来将棒部10A的标记部15（以下，适当称作“第1标记”）与棒部10B的标记部15（以下，适当称作“第2标记”）区别的信息。在标记特征信息中，例如除了发光时的形状、大小、色相、彩度或亮度以外，还可以使用发光时的闪烁速度等。

这里，棒部10A的CPU11及棒部10B的CPU11从分别设在棒部10A、10B中的ROM12读出分别不同的标记特征信息，控制各个标记的发光。

RAM13保存运动传感器部14输出的各种传感器值等在处理中取得或生成的值。

运动传感器部14是用来检测棒部10的状态的各种传感器，输出规定的传感器值。这里，作为构成运动传感器部14的传感器，可以使用例如加速度传感器、角速度传感器及磁传感器等。

图3是棒部10的立体图，在外部配置有开关部171和标记部15。

演奏者保持棒部10的一端（根侧），通过进行以手腕等为中心的上挥下挥动作，对棒部10产生运动。此时，将对应于该运动的传感器值从运动传感器部14输出。

受理了来自运动传感器部14的传感器值的CPU11检测演奏者拿持的棒部10的状态。作为一例，CPU11检测通过棒部10进行的虚拟的乐器的打击定时（以下，也称作“击打定时”）。击打定时是棒部10被下挥后刚停止之前的定时，是与施加在棒部10上的与下挥方向相反方向的加速度的大小超过了某个阈值后的定时。

回到图2，标记部15是设在棒部10的前端侧的发光体，例如由LED等构成。标记部15根据来自CPU11的控制而发光及灭掉。具体而言，标记部15基于由CPU11从ROM12读出的标记特征信息而发光。此时，由于棒部10A的标记特征信息与棒部10B的标记特征信息不同，所以照相机单元部20能够将棒部10A的标记部（第1标记）的位置坐标与棒部10B的标记部（第2标记）的位置坐标分别区别而取得。

数据通信部16至少在与中心单元部30之间进行规定的无线通信。数据通信部16可以通过任意的方法进行规定的无线通信，在本实施方式中，通过红外线通信进行与中心单元部30之间的无线通信。另外，数据通信部16也可以在与照相机单元部20之间进行无线通信。此外，也可以在棒部10A的数据通信部16与棒部10B的数据通信部16之间进行无线通信。

开关操作检测电路17与开关171连接，受理经由该开关171的输入信息。作为输入信息，例如包括作为用来进行后述的虚拟风铃91的操作的触发（trigger）的信号（以下，适当称作“风铃操作信号”）等。风铃操作信号是通过将棒部10A及棒部10B的某个中的预先设定的一侧的开关171被按下而发送的，但也可以通过在棒部10A及棒部10B的任一个上将开关171按下来发送。

［照相机单元部20的结构］

关于棒部10的结构的说明是以上这样的。接着，参照图4，对照相机单元部20的结构进行说明。

图4是表示照相机单元部20的硬件结构的块图。

照相机单元部20包括CPU21、ROM22、RAM23、图像传感器部24和数据通信部25而构成。

CPU21控制整个照相机单元部20。CPU21在没有从棒部10接收到风铃操作信号的情况下，根据从图像传感器部24取得的拍摄数据，检测标记部15的位置坐标及标记特征信息。并且，CPU21基于检测出的标记部15的位置坐标数据及标记特征信息计算棒部10A、10B的标记部15（第1标记及第2标记）的各自的位置坐标，将表示各自的计算结果的位置坐标数据输出。

此外，CPU21在从棒部10接收到风铃操作信号的情况下，基于由图像传感器部24拍摄的多个拍摄数据，检测到标记部15的操作位置已移动。即，CPU21对于从图像传感器部24取得的拍摄数据，基于明亮度、色相及/或彩度等的信息，制作用来决定标记位置候选点的2值拍摄数据，将该2值拍摄数据向RAM23输出。接着，CPU21从RAM23取得根据最新的拍摄数据的规定帧前的拍摄数据制作出的2值拍摄数据。接着，CPU21计算根据最新的拍摄数据制作出的2值拍摄数据与根据规定帧前的拍摄数据制作出的2值拍摄数据的差分数据（差分图像）。这里，在差分数据中有差分异的区域相比其他区域的颜色（例如黑色）为不同的颜色（标记的发光色）。以下，将有差分异的区域也称作差分区域。

接着，CPU21在差分数据中的差分区域的面积为规定量以上的情况下，基于该差分图像检测标记部15的操作位置，在该差分区域的面积不到规定量的情况下，将上次检测出的操作位置作为当前的操作位置。具体而言，CPU21进行将差分数据的差分区域中的不到规定量的面积（例如不到几个像素）的差分区域除去的处理、即设为与其他区域的颜色（例如黑色）相同的颜色的处理。这里，规定量为预先设定的。以下，将被除去的差分区域、即不到规定量的面积的差分区域称作微小差分区域。微小差分区域例如是通过演奏者跟上节奏的情况下的棒部10的微小的摆动发生的区域。在进行了将微小差分区域除去的处理后的差分数据中，仅残留有规定量以上的面积的差分区域。该差分区域例如是在演奏者有意进行划过风铃的位置的操作的情况下发生的区域。CPU21基于包含在进行了将微小差分区域除去的处理后的差分数据中的差分区域（规定量以上的面积的差分区域），检测标记部15的操作位置移动、以及当前的操作位置。另一方面，在进行了将微小差分区域除去的处理后的差分数据中没有残留差分区域的情况下，CPU21将前次的操作位置作为当前位置。此外，演奏者在不移动棒部10的情况下，在进行将差分区域除去的处理之前的差分数据中不发生差分区域。在此情况下，CPU21将前次检测到的操作位置作为当前的操作位置。

另外，CPU21在制作2值拍摄数据时，也可以限定于与对应于后述的虚拟风铃91的位置对应的区域来制作2值拍摄数据。此外，CPU21也可以根据数据通信部25接收到风铃操作信号的情况而开始2值拍摄数据的制作。通过这样，能够使有关差分区域的计算的处理减轻。

CPU21执行将计算出的位置坐标数据等经由数据通信部25向中心单元部30发送的通信控制。

ROM22将用来由CPU21执行各种处理的处理程序保存。RAM23将图像传感器部24拍摄的拍摄数据等、在处理中取得或生成的值保存。此外，RAM23将从中心单元部30接收到的棒部10A、10B的各自的标记特征信息也一起保存。

图像传感器部24例如是光学式的照相机，将拿持棒部10进行演奏动作的演奏者以规定的帧速率拍摄。此外，图像传感器部24将各个帧的拍摄数据向CPU21输出。另外，图像传感器部24也可以代替CPU21来进行拍摄图像内的棒部10的标记部15的位置坐标的确定。此外，图像传感器部24也可以代替CPU21对于基于拍摄出的标记特征信息的棒部10A、10B的标记部15（第1标记及第2标记）的各自的位置坐标进行计算。

数据通信部25至少在与中心单元部30之间进行规定的无线通信（例如红外线通信）。另外，数据通信部25也可以在与棒部10之间进行无线通信。

［中心单元部30的结构］

关于照相机单元部20的结构的说明是以上那样的。接着，参照图5，对中心单元部30的结构进行说明。

图5是表示中心单元部30的硬件结构的块图。

中心单元部30包括CPU31、ROM32、RAM33、开关操作检测电路34、显示电路35、音源装置36、和数据通信部37而构成。

CPU31控制整个中心单元部30，例如基于从棒部10接收到的击打检测及从照相机单元部20接收到的标记部15的位置坐标，进行控制，使规定的乐音等发音。此外，CPU31经由数据通信部37，执行与棒部10及照相机单元部20之间的通信控制。

ROM32保存用来使CPU31执行各种处理的处理程序。此外，ROM32存储设置布局信息，该设置布局信息对于与设在虚拟平面上的多个区域分别对应的位置坐标等，将与分别对应于该多个区域的各种乐器对应的声音的波形数据建立了关联。ROM32例如将长笛、萨克斯、喇叭等的管乐器、钢琴等的键盘乐器、吉他等的弦乐器、低音鼓、踩钹、响弦鼓、铜钹、铜锣、风铃等打击乐器的波形数据（音色数据）与位置坐标等建立对应保存。

将各种音色数据与设置布局信息建立关联存储。例如，如在图6中作为设置布局信息表示那样，将第1鼓垫～第n鼓垫的n个鼓垫信息和风铃信息与1个设置布局信息建立了对应。并且，在各鼓垫信息中，将鼓垫的位置（后述的虚拟平面中的位置坐标）、鼓垫的尺寸（虚拟鼓垫的形状及直径等）、以及鼓垫的音色（波形数据）等建立对应保存。此外，风铃信息例如划分为多个矩形区域，将各个矩形区域的位置、尺寸、音色建立关联。

另外，表示多个虚拟鼓垫与虚拟风铃的配置及音色等的设置布局信息也可以存在多个种类。

这里，参照图7，对具体的设置布局进行说明。图7是将保存在中心单元部30的ROM32中的设置布局信息表示的概念在虚拟平面上可视化的图。

图7表示6个虚拟鼓垫81配置在虚拟平面上的状况，作为各虚拟鼓垫81，配置有6个鼓垫。这些6个虚拟鼓垫81基于与鼓垫建立了关联的位置数据和尺寸数据配置。进而，将音色数据与各虚拟鼓垫81建立了对应。因而，在击打检测时的标记部15的位置坐标属于对应于各虚拟鼓垫81的区域的情况下，发出对应于各虚拟鼓垫81的音色。

此外，根据图7，虚拟风铃91配置在虚拟平面上。如上述那样，虚拟风铃91被划分为多个区域，在图7中被划分为20个。这20个区域分别基于存储在设置布局信息中的区域的位置数据和尺寸数据而配置。在本实施方式中，对于虚拟风铃91，将在各区域的位置处检测出的状态分别定义为B1～B20，将没有检测出的状态定义为B0。例如，演奏者如果按下棒部10的开关171，则发送风铃操作信号，能够进行虚拟风铃91的操作。CPU31如果在该状态下检测出标记部15的位置坐标属于对应于虚拟风铃91的区域，则风铃检测状态成为Bn（1≦n≦20），进行对应于该Bn的音色的发音。

回到图5，RAM33将从棒部10接收到的棒部10的状态（击打检测等）、从照相机单元部20接收到的标记部15的位置坐标等在处理中取得或生成的值而保存。

由此，CPU31，将击打检测时（即，音符开始事件接收时）或风铃操作信号的接收时与标记部15的位置坐标所属的区域的虚拟鼓垫81或虚拟风铃91对应的音色数据（波形数据）从保存在RAM33中的设置布局信息中读出，进行对应于演奏者的演奏动作的乐音的发音。

开关操作检测电路34与开关341连接，受理经由该开关341的输入信息。作为输入信息，例如包括发出的乐音的音量及发出的乐音的音色的变更、显示装置351的显示的切换等。

显示电路35与显示装置351连接，执行显示装置351的显示控制。

音源装置36按照来自CPU31的指示，从ROM32读出波形数据，生成乐音数据，并将乐音数据变换为模拟信号，从未图示的扬声器发出乐音。

此外，数据通信部37在与棒部10及照相机单元部20之间进行规定的无线通信（例如，红外线通信）。例如，数据通信部37接收从棒部10发送的风铃操作信号。

［演奏装置1的处理］

以上，对构成演奏装置1的棒部10、照相机单元部20及中心单元部30的结构进行说明。接着，参照图8～图10，对演奏装置1的处理进行说明。

［棒部10的处理］

图8是表示棒部10执行的处理（以下，称作“棒部处理”）流程的流程图。

参照图8，棒部10的CPU11从运动传感器部14读出作为运动传感器信息的传感器值，并将传感器值向RAM13保存（步骤S1）。然后，CPU11基于读出的运动传感器信息，执行棒部10的姿势检测处理（步骤S2）。在姿势检测处理中，CPU11基于运动传感器信息，计算棒部10的姿势，例如棒部10的横摇角（rollangle）及俯仰角（pitchangle）等。

接着，CPU11基于运动传感器信息执行击打检测处理（步骤S3）。击打检测处理在棒部10的开关171没有被按下的情况下执行。演奏者在进行使用棒部10的演奏的情况下，假设为存在虚拟的乐器（例如，虚拟的鼓），进行与现实有乐器的情况下的演奏动作同样的演奏动作。演奏者作为这样的演奏动作，首先将棒部10上挥，然后朝向虚拟的乐器下挥。并且，演奏者设想在将棒部10打击在虚拟的乐器上的瞬间发生乐音，在即将将棒部10打击到虚拟的乐器时，作用要将棒部10的动作停止的力。对此，CPU11基于运动传感器信息（例如，加速度传感器的传感器合成值），检测要将棒部10的动作停止的动作。

即，在本实施方式中，击打检测的定时是棒部10被下挥后刚停止之前的定时，是施加在棒部10上的与下挥方向反向的加速度的大小超过了某个阈值的定时。在本实施方式中，将该击打检测的定时作为发音定时。

棒部10的CPU11如果判断为发音定时到来，则生成音符开始事件，向中心单元部30发送。这里，CPU11在生成音符开始事件的情况下，也可以基于运动传感器信息（例如，加速度传感器的传感器合成值的最大值）决定发出的乐音的音量，包含到音符开始事件中。

接着，CPU11执行开关操作检测处理（步骤S4）。具体而言，CPU11在击打检测处理的执行中判断棒部10的开关171是否被按下，在判断为开关171被按下的情况下，检测出进行了开关操作。

接着，CPU11执行开关操作处理（步骤S5）。具体而言，CPU11在作为开关操作处理，通过开关操作检测处理检测出进行了棒部10的开关171后，将表示进行了棒部10的开关171的操作的开关操作信息向开关操作检测电路17输出。CPU11在开关操作处理中，执行开关操作处理直到开关171不再被操作。

接着，CPU11将在步骤S2至步骤S5的处理中检测出的信息、即姿势信息、击打信息及开关操作信息经由数据通信部16向中心单元部30发送（步骤S6）。此时，CPU11与棒识别信息建立对应，将姿势信息、击打信息及开关操作信息向中心单元部30发送。

接着，CPU11使处理回到步骤S1。由此，重复步骤S1到步骤S6的处理。

［照相机单元部20的处理］

图9是表示照相机单元部20执行的处理（以下，称作“照相机单元部处理”）的流程的流程图。

参照图9，照相机单元部20的CPU21执行图像数据取得处理（步骤S11）。在该处理中，CPU21从图像传感器部24取得图像数据。

接着，CPU21执行第1标记检测处理（步骤S12）及第2标记检测处理（步骤S13）。在这些处理中，CPU21在没有接收到风铃操作信号的情况下，取得图像传感器部24检测出的棒部10A的标记部15（第1标记）及棒部10B的标记部15（第2标记）的位置坐标、尺寸、角度等的标记检测信息，向RAM23保存。此时，图像传感器部24对发光中的标记部15检测标记检测信息。

此外，CPU21在接收到风铃操作信号的情况下，对于从图像传感器部24取得的拍摄数据，基于明亮度、色相及/或彩度等的信息制作2值拍摄数据，计算根据最新的拍摄数据制作出的2值拍摄数据与根据规定帧前的拍摄数据制作出的2值拍摄数据的差分数据（差分图像）。并且，CPU21在进行将通过演奏者跟上节奏的情况下的棒部10的细微的摆动发生的微小差分区域从差分数据中除去的处理后，基于残留在被除去微小差分区域后的差分数据中的差分区域，检测标记部15的操作位置移动、以及当前的操作位置。

接着，CPU21将在步骤S12及步骤S13中取得的标记检测信息经由数据通信部25向中心单元部30发送（步骤S14），使处理向步骤S11转移。

［中心单元部30的处理］

图10是表示中心单元部30执行的处理（以下，称作“中心单元部处理”）的流程的流程图。

参照图10，中心单元部30的CPU31从照相机单元部20接收第1标记及第2标记各自的标记检测信息，向RAM33保存（步骤S21）。此外，CPU31从棒部10A、10B分别接收与棒识别信息建立了对应的姿势信息及击打信息，向RAM33保存（步骤S22）。此外，CPU31从棒部10A、10B的某一个接收风铃操作信号。进而，CPU31取得通过开关341的操作而输入的信息（步骤S23）。

接着，CPU31判断是否有击打（步骤S24）。在该处理中，CPU31根据是否从棒部10接收到音符开始事件，判断击打的有无。此时，在判断为有击打的情况下，CPU31执行击打信息处理（步骤S25）。在击打信息处理中，CPU31从被读出到RAM33中的设置布局信息中，读出与包含在标记检测信息中的位置坐标所属的区域的虚拟鼓垫81对应的音色数据（波形数据），与包含在音符开始事件中的音量数据一起向音源装置36输出。于是，音源装置36基于接受到的波形数据发出相应的乐音。

在步骤S25后、或在步骤S24中判断为否的情况下，CPU31判断是否是虚拟风铃的操作中（步骤S26）。在该处理中，CPU31接收风铃信号，并且判断包含在第1标记及第2标记各自的标记检测信息中的位置坐标的某个是否包含在与虚拟风铃91对应的区域中。在判断为虚拟风铃的操作中的情况下，CPU31执行风铃处理（步骤S27）。

在风铃处理中，CPU31基于包含在标记检测信息中的位置坐标，确定对应于虚拟风铃91的多个区域中的标记所位于的区域，将风铃检测状态决定为从B1到B20的某个。在此情况下，CPU31使所决定的风铃检测状态存储到RAM33中。此外，CPU31将刚刚之前的风铃检测状态从RAM33取得，在所取得的风铃检测状态与所决定的风铃检测状态不同的情况下，将对应于所确定的区域的音色数据（波形数据）读出，向音源装置36输出。于是，音源装置36基于接受到的波形数据发出相应的乐音。

以上，对本实施方式的演奏装置1的结构及处理进行了说明。

在本实施方式中，演奏装置1通过CPU21计算由图像传感器部24拍摄的拍摄图像中的第一拍摄图像与比其靠前的第二拍摄图像的差分图像，在计算出的差分图像中表示有差分异的差分区域的面积是规定量以上的情况下，基于该差分图像检测棒部10的操作位置，在差分区域的面积不到规定量的情况下，将前次检测到的操作位置作为当前的操作位置。此外，演奏装置1通过CPU31参照ROM32确定与由CPU21检测出的操作位置对应的区域建立了关联的音色，通过音源装置36发出由CPU31确定的音色。

由此，演奏装置1在演奏者为了跟上节奏而使棒部10细微地动作的情况下，抑制检测到该动作，能够防止在虚拟的乐器组的演奏操作时将演奏者的非故意的动作作为演奏动作检测到而发出。

此外，在本实施方式中，CPU21在差分图像中不包含表示有差分异的差分区域的情况下，将前次检测到的操作位置作为当前的操作位置。由此，演奏装置1在下个动作时，进行该位置与通过下个动作检测到的位置的比较，能够检测到棒部10已移动。

此外，在本实施方式中，棒部10具备对应于从演奏者受理规定的操作的情况而发送风铃操作信号的开关操作检测电路17，CPU31在接收到该风铃操作信号的情况下，确定虚拟风铃91的音色。

因而，演奏装置1由于能够通过演奏者进行规定的操作而发出虚拟风铃91的音色，所以能够进一步防止演奏者非有意的发出。

以上，对本发明的实施方式进行了说明，但实施方式不过是例示，并不限定本发明的技术范围。本发明能够采取其他各种实施方式，进而，在不脱离本发明的主旨的范围内能够进行省略及替换等各种变更。这些实施方式及其变形包含在本说明书等中记载的发明的技术范围及主旨中，并包含在权利要求书所记载的发明和其等价的范围中。

在上述实施方式中，在接收到风铃操作信号的情况下，假设基于差分图像发出虚拟风铃91的音色，但并不限定于此，演奏装置1也可以总是生成2值图像数据、并生成差分图像，基于该差分图像控制虚拟风铃91的音色的发出。

此外，在上述实施方式中，作为虚拟的打击乐器而以虚拟鼓组D（参照图1）为例进行了说明，但并不限定于此，本发明能够应用到通过棒部10的下挥动作发出乐音的木琴等其他乐器中。

此外，在上述实施方式中，通过棒部10、照相机单元部20及中心单元部30执行的处理中的任意的处理也可以由其他单元（棒部10、照相机单元部20及中心单元部30）执行。例如，也可以是中心单元部30执行棒部10的CPU11执行的击打检测及横摇角的计算等的处理。

上述一系列的处理既可以通过硬件执行，也可以通过软件执行。

换言之，图2～5的结构不过是例示，并没有特别限定。即，只要在演奏装置1中具备能够将上述一系列的处理作为整体执行的功能就足够，为了实现该功能而构建怎样的结构并不特别限定于图2～5的例子。

在通过软件执行一系列的处理的情况下，将构成该软件的程序从网络或记录媒体向计算机等安装。

该计算机也可以是装入在专用的硬件中的计算机。此外，计算机也可以是通过安装各种程序而能够执行各种功能的计算机。

Claims

1.一种演奏装置，其特征在于，具备：

演奏部件，由演奏者操作；

拍摄机构，连续地拍摄以上述演奏部件为被摄体的拍摄图像；

存储机构，存储包括设在上述拍摄图像平面上的多个区域各自的位置的布局信息；

位置检测机构，检测上述拍摄的拍摄图像中的第一拍摄图像平面上的上述演奏部件的位置、以及在拍摄该第一拍摄图像的时刻之前所拍摄的第二拍摄图像平面上的上述演奏部件的位置；

当前位置确定机构，在由该位置检测机构检测出的两个位置的差分是规定值以上的情况下，将上述第一拍摄图像平面上的上述演奏部件的位置作为当前位置，并且在该两个位置的差分不到规定值的情况下，将上述第二拍摄图像平面上的上述演奏部件的位置作为当前位置；以及

发音指示机构，在由上述位置检测机构检测到的两个位置的差分是规定值以上，并且由上述当前位置确定机构确定的当前位置包含在通过存储在上述存储机构中的布局信息而决定了位置的多个区域的某个区域中的情况下，指示与包含该当前位置的区域对应的乐音发音。

2.如权利要求1所述的演奏装置，其特征在于，

上述演奏部件具备开关部；

上述发音指示机构在上述开关部被按下的情况下，指示对应于包含上述当前位置的区域的乐音发音。

3.如权利要求1所述的演奏装置，其特征在于，

被上述发音指示机构指示发出的、与包含上述当前位置的区域对应的乐音是风铃的声音。

4.如权利要求2所述的演奏装置，其特征在于，

5.一种演奏装置的控制方法，所述演奏装置具有演奏者操作的演奏部件、连续地拍摄以上述演奏部件为被摄体的拍摄图像的拍摄机构、和存储包括设在上述拍摄图像平面上的多个区域各自的位置的布局信息的存储机构，其特征在于，包括：

位置检测步骤，检测上述拍摄的拍摄图像中的第一拍摄图像平面上的上述演奏部件的位置、以及在拍摄该第一拍摄图像的时刻之前拍摄的第二拍摄图像平面上的上述演奏部件的位置；

当前位置确定步骤，在该检测出的两个位置的差分是规定值以上的情况下，将上述第一拍摄图像平面上的上述演奏部件的位置作为当前位置，并且在该两个位置的差分不到规定值的情况下，将上述第二拍摄图像平面上的上述演奏部件的位置作为当前位置；以及

发音指示步骤，在上述检测到的两个位置的差分是规定值以上，并且所确定的上述当前位置包含在通过存储在上述存储机构中的布局信息而决定了位置的多个区域的某个区域中的情况下，指示与包含该当前位置的区域对应的乐音发音。