CN103295564A - 演奏装置以及演奏装置的控制方法 - Google Patents

演奏装置以及演奏装置的控制方法 Download PDF

Info

Publication number
CN103295564A
CN103295564A CN2013100653380A CN201310065338A CN103295564A CN 103295564 A CN103295564 A CN 103295564A CN 2013100653380 A CN2013100653380 A CN 2013100653380A CN 201310065338 A CN201310065338 A CN 201310065338A CN 103295564 A CN103295564 A CN 103295564A
Authority
CN
China
Prior art keywords
mentioned
layout
layout information
drum
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100653380A
Other languages
English (en)
Other versions
CN103295564B (zh
Inventor
田畑裕二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN103295564A publication Critical patent/CN103295564A/zh
Application granted granted Critical
Publication of CN103295564B publication Critical patent/CN103295564B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/391Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/441Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/045Special instrument [spint], i.e. mimicking the ergonomy, shape, sound or other characteristic of a specific acoustic musical instrument category
    • G10H2230/251Spint percussion, i.e. mimicking percussion instruments; Electrophonic musical instruments with percussion instrument features; Electrophonic aspects of acoustic percussion instruments, MIDI-like control therefor
    • G10H2230/275Spint drum
    • G10H2230/281Spint drum assembly, i.e. mimicking two or more drums or drumpads assembled on a common structure, e.g. drum kit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/211Wireless transmission, e.g. of music parameters or control data by radio, infrared or ultrasound

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种能够在演奏中迅速且容易地变更虚拟的乐器组的配置等的布局信息并增加演奏的变化的演奏装置及其控制方法。CPU(31)确定与在鼓棒部(10)的击打定时通过摄像单元部(20)所拍摄的摄像图像中的标记部(15)的位置坐标所属的虚拟打击垫(81)的区域对应的音色,并以该确定的音色发音,在击打定时拍摄的摄像图像中的标记部(15)的位置坐标属于虚拟平面中的控制打击垫(91)的区域的情况下,将处理对象的组布局信息切换为多个组布局信息中的另一个。

Description

演奏装置以及演奏装置的控制方法
本申请基于2012年3月2日的日本专利申请No.2012-046952并主张此日本专利申请的优先权,且该日本专利申请的全部内容作为参考被包含于本申请。
技术领域
本发明涉及演奏装置以及演奏装置的控制方法。
背景技术
以往,提案了若检测到演奏者的演奏动作则使对应于演奏动作的电子音发音的演奏装置。例如,仅通过鼓棒上的部件使打击乐器音发音的演奏装置(空气鼓)被人所知。在该演奏装置中,若演奏者做出用手把持并挥动内置有传感器的鼓棒状的部件这样的、正如对鼓进行打击这样的演奏动作,则传感器检测到该演奏动作,打击乐器音发音。
根据这样的演奏装置,能够不需要现实的乐器地使该乐器的乐音发音,因此,演奏者能够不受演奏场地或演奏空间制约地享受演奏。
作为这样的演奏装置,例如,在日本专利第3599115号公报中提案了一种乐器游戏装置,该乐器游戏装置被构成为:对演奏者使用鼓棒状的部件的演奏动作进行摄像,并将对该演奏动作的摄像图像和表示乐器组的虚拟图像进行了合成的合成图像显示于监控器,根据鼓棒状的部件与虚拟的乐器组的位置信息来使规定的乐音发音。
但是,在直接适用日本专利第3599115号公报中所记载的乐器游戏装置的情况下,虚拟的乐器组的配置等的布局信息是被预先确定的,因此,不能在演奏中变更布局信息并增加演奏的变化。
此外,在日本国专利第3599115号公报中所记载的乐器游戏装置中,变更布局信息本身可以采用例如在乐器游戏装置本体上设置布局设定用的开关并对该开关进行操作等的方法。但是,若通过这样的方法在演奏中变更布局信息,则既麻烦又花费时间,缺乏实用性。
发明内容
本发明是鉴于这样的状况而形成的,其目的在于提供一种能够在演奏中迅速且容易地变更虚拟的乐器组的配置等的布局信息并增加演奏的变化的演奏装置以及演奏装置的控制方法。
为了达成上述目的,本发明的一个方案的演奏装置的特征在于,具备:演奏部件,由演奏者进行操作;位置检测机构,检测上述演奏部件被操作的虚拟平面上的上述演奏部件的位置坐标;选择机构,从多种布局信息中选择一个布局信息,上述多种布局信息分别包含配置于上述虚拟平面的多个区域以及与该多个区域分别对应的音色;判断机构,判断在通过上述演奏部件进行了特定的演奏操作的定时,上述演奏部件的位置坐标是否属于基于所选择的上述布局信息而配置的多个区域中的某一区域;以及发音指示机构,在通过该判断机构判断为属于上述某一区域的情况下,指示进行与该区域对应的音色的乐音的发音,上述多种布局信息中分别设有与上述多个区域不同的特定区域,在通过上述演奏部件进行了特定的演奏操作的定时,在上述演奏部件的位置坐标属于上述特定区域的情况下,上述选择机构从上述多个布局信息中选择与被选择的上述布局信息不同的布局信息。
附图说明
图1A和图1B为表示本发明的演奏装置的一实施方式的概要的图。
图2为表示构成上述演奏装置的鼓棒部的硬件构成的框图。
图3为上述鼓棒部的立体图。
图4为表示构成上述演奏装置的摄像单元部的硬件构成的框图。
图5为表示构成上述演奏装置的传感器单元部的硬件构成的框图。
图6为表示本发明的演奏装置的一实施方式的组布局信息群的图。
图7为在虚拟平面上将上述组布局信息群中的一个组布局信息所表示的概念进行了可视化的图。
图8为表示上述鼓棒部的处理流程的流程图。
图9为表示上述摄像单元部的处理流程的流程图。
图10为表示上述传感器单元部的处理流程的流程图。
图11为表示上述传感器单元部的组布局处理的流程的流程图。
图12为表示组布局信息的变更例的图。
图13为表示上述鼓棒部的操作例的图。
具体实施方式
以下,使用附图,对本发明的实施方式加以说明。
[演奏装置1的概要]
首先,参照图1A和图1B,对作为本发明的一实施方式的演奏装置1的概要加以说明。
如图1A所示,本实施方式的演奏装置1构成为包含鼓棒部10A、10B、摄像单元部20、中心单元部30。本实施方式的演奏装置1被设为具备用于实现使用两根鼓棒的虚拟的鼓演奏的两个鼓棒部10A、10B,但鼓棒部的数量并不限于此,可以是一个,也可以是三个以上。另外,以下,在无需对各个鼓棒部10A、10B进行区别的情况下,将两者统称为“鼓棒部10”。
鼓棒部10为沿长度方向延伸的鼓棒状的演奏部件。演奏者手持鼓棒部10的一端(根侧),以手腕等为中心进行上下挥动的动作来作为演奏动作。为了检测这样的演奏者的演奏动作,在鼓棒部10的另一端(顶端侧)设有加速度传感器以及角速度传感器等的各种传感器(后述的运动传感器部14)。鼓棒部10基于通过这些各种传感器检测到的演奏动作,向中心单元部30发送音符打开(note on)事件。
此外,在鼓棒部10的顶端侧设有后述的标记部15(参照图2),并构成为在摄像时摄像单元部20能够判断鼓棒部10的顶端。
摄像单元部20被构成为光学式的摄像装置,以规定的帧率对包含作为被摄体的把持鼓棒部10并进行演奏动作的演奏者在内的空间(以下,称为“摄像空间”)进行摄像,并作为动态图像的数据输出。摄像单元部20确定摄像空间内的正在发光中的标记部15的位置坐标,并将表示该位置坐标的数据(以下,称为“位置坐标数据”)发送至中心单元部30。
中心单元部30若从鼓棒部10接收到音符打开事件,则根据接收时的标记部15的位置坐标数据,使规定的乐音发音。具体地讲,中心单元部30与摄像单元部20的摄像空间对应地存储图1B所示的虚拟鼓组D的位置坐标数据,并基于该虚拟鼓组D的位置坐标数据和接收音符打开事件时的标记部15的位置坐标数据,确定鼓棒部10虚拟地打击了的乐器,并使对应于该乐器的乐音发音。
接下来,对这样的本实施方式的演奏装置1的构成具体地加以说明。
[演奏装置1的构成]
首先,参照图2~图5,对本实施方式的演奏装置1的各构成要素,具体地讲,对鼓棒部10、摄像单元部20以及中心单元部30的构成加以说明。
[鼓棒部10的构成]
图2为表示鼓棒部10的硬件构成的框图。
如图2所示,鼓棒部10被构成为包含CPU11(Central ProcessingUnit,中央处理器)、ROM(Read Only Memory,只读存储器)12、RAM(Random Access Memory,随机存储器)13、运动传感器部14、标记部15、数据通信部16、和开关操作检测电路17。
CPU11执行鼓棒部10整体的控制,例如,基于从运动传感器部14输出的传感器值,执行鼓棒部10的姿势的检测、击打检测以及动作检测,此外,还执行标记部15的发光/灭灯等的控制。此时,CPU11从ROM12读出标记特征信息,并根据该标记特征信息来执行标记部15的发光控制。此外,CPU11介由数据通信部16来执行与中心单元部30之间的通信控制。
ROM12收纳用于通过CPU11执行各种处理的处理程序。此外,ROM12收纳用于标记部15的发光控制的标记特征信息。在此,摄像单元部20需要区别鼓棒部10A的标记部15(以下,适当地称为“第1标记”)和鼓棒部10B的标记部15(以下,适当地称为“第2标记”)。所谓标记特征信息是用于摄像单元部20对第1标记和第2标记进行区别的信息,例如,除了可以使用发光时的形状、大小、色调、色度或者亮度,还可以使用发光时的亮灭速度等。
鼓棒部10A的CPU11以及鼓棒部10B的CPU11读出各不相同的标记特征信息,并执行各个标记的发光控制。
RAM13收纳运动传感器部14所输出的各种传感器值等处理中所取得或生成的值。
运动传感器部14为用于检测鼓棒部10的状态的各种传感器,并输出规定的传感器值。在此,作为构成运动传感器部14的传感器,例如,可以使用加速度传感器、角速度传感器以及磁传感器等。
图3为鼓棒部10的立体图,在外部配置有开关部171和标记部15。
演奏者手持鼓棒部10的一端(根侧),进行以手腕等为中心的上下挥动的动作,由此,相对于鼓棒部10产生运动。此时,与该运动对应的传感器值从运动传感器部14输出。
接收到了来自运动传感器部14的传感器值的CPU11对演奏者所持鼓棒部10的状态进行检测。例如,CPU11检测通过鼓棒部10产生的虚拟乐器的打击定时(以下,也称为“击打(shot)定时”)。击打定时为鼓棒部10被挥下后即将停止之前的定时,并且是鼓棒部10的与挥下方向的朝向相反的加速度的大小超过了某阈值的定时。
而且,如图13的箭头所示,运动传感器部14的传感器值中还包含检测以演奏者手持鼓棒部10时的长度方向为轴的旋转角即“倾滚角(日文:ロール角)”所需的数据。
回到图2,标记部15为设于鼓棒部10的顶端侧的发光体,例如由LED等构成,并根据来自CPU11的控制发光以及灭灯。具体地讲,标记部15基于通过CPU11从ROM12读出的标记特征信息来发光。此时,鼓棒部10A的标记特征信息与鼓棒部10B的标记特征信息不同,因此,摄像单元部20能够逐个区别并取得鼓棒部10A的标记部(第1标记)的位置坐标和鼓棒部10B的标记部(第2标记)的位置坐标。
数据通信部16至少与中心单元部30之间进行规定的无线通信。规定的无线通信可以通过任意的方法进行,在本实施方式中,通过红外线通信进行与中心单元部30之间的无线通信。另外,数据通信部16也可以与摄像单元部20之间进行无线通信,或与鼓棒部10A以及鼓棒部10B之间进行无线通信。
开关操作检测电路17与开关171连接,并接收介由该开关171的输入信息。作为输入信息,例如包括作为用于直接指定后述组布局信息的触发器的信号信息等。
[摄像单元部20的构成]
对鼓棒部10的构成的说明到此为止。接下来,参照图4,对摄像单元部20的构成加以说明。
图4为表示摄像单元部20的硬件构成的框图。
摄像单元部20被构成为包含CPU21、ROM22、RAM23、图像传感器部24、和数据通信部25。
CPU21执行摄像单元部20整体的控制,例如,基于图像传感器部24检测到的标记部15的位置坐标数据以及标记特征信息,计算出鼓棒部10A、10B的标记部15(第1标记以及第2标记)各自的位置坐标,并执行输出表示各自计算结果的位置坐标数据的控制。此外,CPU21介由数据通信部25,执行向中心单元部30发送计算出的位置坐标数据等的通信控制。
ROM22收纳用于通过CPU21执行各种处理的处理程序。RAM23收纳由图像传感器部24检测到的标记部15的位置坐标数据等处理中所取得或生成的值。此外,RAM23还一并收纳从中心单元部30接收到的鼓棒部10A、10B各自的标记特征信息。
图像传感器部24例如为光学式摄像机,并以规定的帧率对手持鼓棒部10进行演奏动作的演奏者的动态图像进行摄像。此外,图像传感器部24按帧向CPU21输出摄像数据。另外,对于摄像图像内的鼓棒部10的标记部15的位置坐标的确定,可以由图像传感器部24来进行,也可以由CPU21来进行。同样地,对于已拍摄的标记部15的标记特征信息,可以由图像传感器部24来确定,也可以由CPU21来确定。
数据通信部25至少与中心单元部30之间进行规定的无线通信(例如,红外线通信)。另外,数据通信部16也可以与鼓棒部10之间进行无线通信。
[中心单元部30的构成]
对摄像单元部20的构成的说明到此为止。接下来,参照图5,对中心单元部30的构成加以说明。
图5为表示中心单元部30的硬件构成的框图。
中心单元部30被构成为包含CPU31、ROM32、RAM33、开关操作检测电路34、显示电路35、音源装置36、和数据通信部37。
CPU31执行中心单元部30整体的控制,例如,基于从鼓棒部10接收到的击打检测以及从摄像单元部20接收到的标记部15的位置坐标,执行使规定的乐音发音的控制等。此外,CPU31介由数据通信部37,执行与鼓棒部10以及摄像单元部20之间的通信控制。
ROM32收纳CPU31所执行的各种处理的处理程序。此外,ROM32与位置坐标等对应地收纳各种音色的波形数据,例如,长笛、萨克斯、小号等的管乐器;钢琴等的键盘乐器;吉他等的弦乐器;大鼓、高帽、小军鼓、钹、中鼓(tom-tom)等打击乐器的波形数据(音色数据)。
作为音色数据等的收纳方法,例如,如图6中作为组布局信息群所示的,第1打击垫~第n打击垫的n个打击垫信息被对应于第1组布局等的各组布局信息,而且在各打击垫信息中,打击垫的有无(后述虚拟平面中的虚拟打击垫是否存在)、位置(后述虚拟平面中的位置坐标)、尺寸(虚拟打击垫的形状以及直径等)以及音色(波形数据)等被建立了对应地收纳。
此外,表示多个虚拟打击垫的配置或音色等的组布局信息有多个种类,通过组布局编号来识别。具体地讲,如图6所示,作为组布局编号,对第1组布局~第n组布局分别赋予“1”~“n”。
在此,参照图7,对具体的组布局加以说明。图7为在虚拟平面上将收纳于中心单元部30的ROM32中的组布局信息群(参照图6)中的一个组布局信息(例如,第1组布局等)所示的概念进行了可视化的图。
图7表示6个虚拟打击垫81配置于虚拟平面上的状态,各虚拟打击垫81与第1打击垫~第n打击垫中的、打击垫有无数据为“有打击垫”的打击垫对应。例如,第2打击垫、第3打击垫、第5打击垫、第6打击垫、第8打击垫、第9打击垫的6个对应于各虚拟打击垫81。而且,基于位置数据和尺寸数据配置虚拟打击垫81。再有,音色数据与各虚拟打击垫81建立对应。因此,在击打检测时的标记部15的位置坐标属于与各虚拟打击垫81对应的区域的情况下,对应于各虚拟打击垫81的音色发音。
此外,根据图7,控制打击垫91配置于虚拟平面上。所谓控制打击垫91是作为变更组布局信息的触发器的虚拟打击垫,并被配置于虚拟平面上的预定的规定区域。例如,在击打检测时的标记部15的位置坐标属于与控制打击垫91对应的区域的情况下,组布局编号增加(或减少)1。在后面将参照图11对详细内容加以记述。
另外,CPU31可以将该虚拟平面与虚拟打击垫81以及控制打击垫91的配置一同显示在后述的显示装置351。
回到图5,RAM33收纳从鼓棒部10接收到的鼓棒部10的状态(击打检测等)、从摄像单元部20接收到的标记部15的位置坐标以及从ROM32读出的一个组布局信息(对应于被选择的组布局编号的组布局信息)等处理中所取得或生成的值。
CPU31从收纳于RAM33的组布局信息读出与击打检测时(即,接收音符打开事件时)标记部15的位置坐标所属的区域的虚拟打击垫81对应的音色数据(波形数据),由此,对应于演奏者的演奏动作的乐音被发音。
开关操作检测电路34与开关341连接,并接收介由该开关341的输入信息。作为输入信息,例如,包含要发音的乐音的音量和要发音的乐音的音色的变更、组布局编号的设定以及变更、显示装置351的显示的切换等。
此外,显示电路35与显示装置351连接,并执行显示装置351的显示控制。
音源装置36按照来自CPU31的指示,从ROM32读出波形数据,生成乐音数据,并将乐音数据变换为模拟信号,从未作图示的扬声器使乐音发音。
此外,数据通信部37与鼓棒部10以及摄像单元部20之间进行规定的无线通信(例如,红外线通信)。
[演奏装置1的处理]
以上,对构成演奏装置1的鼓棒部10、摄像单元部20以及中心单元部30的构成进行了说明。接下来,参照图8~图11,对演奏装置1的处理加以说明。
[鼓棒部10的处理]
图8为表示鼓棒部10所执行的处理(以下,称为“鼓棒部处理”)的流程的流程图。
参照图8,鼓棒部10的CPU11从运动传感器部14读出运动传感器信息,即,各种传感器所输出的传感器值,并收纳于RAM13(步骤S1)。其后,CPU11基于所读出的运动传感器信息执行鼓棒部10的姿势检测处理(步骤S2)。在姿势检测处理中,CPU11基于运动传感器信息,计算鼓棒部10的姿势,例如,与鼓棒部10的打击动作相关的信息或倾滚角等。
接下来,CPU11基于运动传感器信息执行击打检测处理(步骤S3)。这里,在演奏者使用鼓棒部10进行演奏的情况下,一般会进行与打击现实的乐器(例如,鼓)的动作相同的演奏动作。在这样的演奏动作中,演奏者首先向上挥动鼓棒部10,之后朝虚拟的乐器挥下。然后,在将鼓棒部10向虚拟的乐器打击之前,使停止鼓棒部10的动作的力量发挥作用。此时,演奏者设想在使鼓棒部10打击到虚拟的乐器的瞬间产生乐音,因此,理想的是能够在演奏者设想的定时产生乐音。因此,本实施方式中,在演奏者将鼓棒部10向虚拟的乐器的表面打击的瞬间或稍稍在此之前的定时使乐音发音。
在本实施方式中,击打检测的定时为鼓棒部10被挥下后即将停止之前的定时,并且是鼓棒部10的与挥下方向的朝向相反的加速度的大小超过了某阈值的定时。
若将该击打检测的定时作为发音定时,并判断为发音定时已经到来,则鼓棒部10的CPU11生成音符打开事件,并发送至中心单元部30。由此,在中心单元部30中执行发音处理,使乐音发音。
在步骤S3所示的击打检测处理中,基于运动传感器信息(例如,加速度传感器的传感器合成值)生成音符打开事件。此时,也可以在所生成的音符打开事件中包含要发音的乐音的音量。另外,乐音的音量例如能够通过传感器合成值的最大值求得。
接着,CPU11介由数据通信部16,向传感器单元30发送步骤S2以及步骤S3的处理中检测到的信息,即,姿势信息以及击打信息(步骤S4)。此时,CPU11与鼓棒识别信息对应地向中心单元部30发送姿势信息以及击打信息。
由此,处理返回步骤S1,并重复其后的处理。
[摄像单元部20的处理]
图9为表示摄像单元部20所执行的处理(以下,称为“摄像单元部处理”)的流程的流程图。
参照图9,摄像单元部20的CPU21执行图像数据取得处理(步骤S11)。在该处理中,CPU21从图像传感器部24取得图像数据。
接着,CPU21执行第1标记检测处理(步骤S12)以及第2标记检测处理(步骤S13)。在这些处理中,CPU21取得图像传感器部24检测到的鼓棒部10A的标记部15(第1标记)以及鼓棒部10B的标记部15(第2标记)的位置坐标、尺寸、角度等的标记检测信息并收纳于RAM23。此时,图像传感器部24针对发光中的标记部15检测标记检测信息。
接着,CPU21介由数据通信部25向中心单元部30发送在步骤S12以及步骤S13所取得的标记检测信息(步骤S14),并使处理移至步骤S11。
[中心单元部30的处理]
图10为表示中心单元部30所执行的处理(以下,称为“传感器单元部处理”)的流程的流程图。
参照图10,中心单元部30的CPU31从摄像单元部20接收第1标记以及第2标记各自的标记检测信息,并收纳于RAM33(步骤S21)。此外,CPU31从各鼓棒部10A、10B接收与鼓棒识别信息建立了对应的姿势信息以及击打信息,并收纳于RAM33(步骤S22)。进而,CPU31取得通过开关341的操作而被输入的信息(步骤S23)。
接着,CPU31判断是否有击打(步骤S24)。在该处理中,CPU31通过是否从鼓棒部10接收到了音符打开事件来判断击打的有无。此时,在判断为存在击打的情况下,CPU31执行击打信息处理(步骤S25)。在击打信息处理中,CPU31从由RAM33读出的组布局信息中读出与包含于标记检测信息的位置坐标所属的区域的虚拟打击垫81对应的音色数据(波形数据),并与包含于音符打开事件的音量数据一同输出至音源装置36。这样,音源装置36基于所取得的波形数据使相应的乐音发音。
在步骤S25之后或在步骤S24判断为“否”的情况下,CPU31判断是否有组布局变更(步骤S26)。该处理中,在击打检测时的标记部15的位置坐标属于与控制打击垫91对应的区域的情况下,判断为组布局变更。在判断为组布局变更的情况下,CPU31执行组布局处理(步骤S27),并使处理移至步骤S21。另一方面,在判断为无组布局变更的情况下,CPU31使处理移至步骤S21。
[中心单元部30的组布局处理]
图11为表示图10的传感器单元部处理中步骤S27的组布局处理的详细流程的流程图。
参照图11,CPU31判断是否直接指定组布局信息(步骤S31)。具体地讲,判断是否从鼓棒部10接收到了用于直接指定组布局信息的作为触发器的信号信息。在判断为直接指定的情况下,CPU31变更组布局编号(步骤S32),在未判断为直接指定的情况下,CPU31使处理移至步骤S33。
步骤S32中的组布局编号的变更是通过基于通过开关341的操作被设定于RAM33的组布局编号而CPU31从ROM32向RAM33读出组布局信息来进行的。
另一方面,在步骤S33中,CPU31判断倾滚角是否为0以上(步骤S33)。在该处理中,判断包含于从鼓棒部10接收到的姿势信息中的倾滚角是否为0以上。所谓倾滚角为0以上的情况是演奏者使鼓棒部10绕轴自基准位置右旋的状态(参照图13)。由此,所谓倾滚角为不足0的情况是演奏者使鼓棒部10绕轴自基准位置左旋的状态(参照图13)。在判断为倾滚角为0以上的情况下,CPU31使组布局编号增加1(步骤S34),并使处理移至步骤S36,在判断为倾滚角不足0的情况下,CPU31使组布局编号减少1(步骤S35),并使处理移至步骤S36。
接着,CPU31切换组布局信息(步骤S36)。在该处理中,CPU31从存储于ROM32的组布局信息群向RAM33读出与步骤S32、步骤S34或步骤S35中所决定的组布局编号对应的组布局信息。
[组布局信息的变更例]
参照图12,对组布局信息的变更例加以说明。根据图12,作为组布局信息示出了第1组布局~第n组布局的例子,如在图10以及图11中说明的那样,若击打控制打击垫91,则组布局信息根据倾滚角而被变更。
例如,若演奏者在使鼓棒部10绕轴自基准位置右旋的状态下击打控制打击垫91,则变更为与下一个的组布局编号对应的组布局信息。此外,若在使之左旋的状态下击打控制打击垫91,则变更为与前一个组布局编号对应的组布局信息。而且,若演奏者在按下了鼓棒部10的开关171的状态下击打控制打击垫91,则变更为与手动设定于RAM33的组布局编号对应的组布局信息。
以上,对本实施方式的演奏装置1的构成以及处理进行了说明。
在本实施方式中,CPU31确定与在鼓棒部10的击打定时通过摄像单元部20拍摄的摄像图像中的标记部15的位置坐标所属的虚拟打击垫81的区域对应的音色,并以该确定了的音色发音,在击打定时拍摄的摄像图像中的标记部15的位置坐标属于虚拟平面中的控制打击垫91的区域的情况下,将处理对象的组布局信息切换为多个组布局信息中的另一个。
由此,演奏者能够通过击打控制打击垫91来变更组布局信息,所以,能够迅速且容易地切换各种变化的鼓组。因此,能够实现通过通常的鼓组不能实现的演奏。
此外,在本实施方式中,CPU31基于在控制打击垫91的击打定时的鼓棒部10所计算出的倾滚角,将处理对象的组布局信息切换为其他的组布局信息。
因此,在控制打击垫91的击打时,演奏者通过调节鼓棒部10的绕轴的旋转角即倾滚角能够选择所希望的组布局信息。
此外,本实施方式中,CPU31在控制打击垫91的击打定时的鼓棒部10的倾滚角为0以上的情况下,使组布局编号增加1,在该倾滚角不足0的情况下,使组布局编号减少1,并切换为与增加后或减少后的组布局编号对应的组布局信息。
因此,在控制打击垫91的击打时,演奏者能够通过右旋扭转鼓棒部10的倾滚角,使组布局编号增加1,并能够通过左旋扭转鼓棒部10的倾滚角,使组布局编号减少1。由此,能够在演奏中容易地选择所希望的组布局信息。此外,即使在误击打控制打击垫91而使组布局信息变更了的情况下,也能够容易地恢复原状。再者,在此示出了使倾滚角与组布局对应的构成,被检测到的倾滚角也可以用作音色的变更等其他控制参数的变更。
以上,对本发明的实施方式进行了说明,而实施方式只不过是示出一个例子,并不是限定本发明的技术范围。本发明也可以采用其他各种实施方式,并且,在不脱离本发明的主旨的范围内,可以进行省略或置换等各种变更。这些实施方式及其变形包含于本说明书等所记载的发明的范围和主旨中,并包含于权利要求书所记载的发明及其等同的范围内。
在上述实施方式中,作为虚拟的打击乐器,以虚拟鼓组D(参照图1A和图1B)为例进行了说明,但并不限于此,本发明能够适用于通过鼓棒部10的挥下动作使乐音发音的木琴等其他乐器。
此外,上述实施方式中,通过鼓棒部10、摄像单元部20以及中心单元部30执行的处理中的任意处理也可以通过其他单元(鼓棒部10、摄像单元部20以及中心单元部30)来执行。例如,可以使中心单元部30来执行由鼓棒部10的CPU11所执行的击打检测以及倾滚角的计算等处理。
此外,在上述实施方式中,若在鼓棒部10的开关171被按下的状态下击打控制打击垫91,则使得与通过手动设定于中心单元部30的RAM33的组布局编号对应的组布局信息从ROM32被读出,而且并不限于击打控制打击垫91的情况,在击打其他虚拟打击垫81的情况下,也可以从ROM32读出组布局信息。

Claims (4)

1.一种演奏装置,具备:
演奏部件,由演奏者进行操作;
位置检测机构,检测上述演奏部件被操作的虚拟平面上的上述演奏部件的位置坐标;
选择机构,从多种布局信息中选择一个布局信息,上述多种布局信息分别包含配置于上述虚拟平面的多个区域以及与该多个区域分别对应的音色;
判断机构,判断在通过上述演奏部件进行了特定的演奏操作的定时,上述演奏部件的位置坐标是否属于基于所选择的上述布局信息而配置的多个区域中的某一区域;以及
发音指示机构,在通过该判断机构判断为属于上述某一区域的情况下,指示进行与该区域对应的音色的乐音的发音,
上述多种布局信息中分别设有与上述多个区域不同的特定区域,
在通过上述演奏部件进行了特定的演奏操作的定时,在上述演奏部件的位置坐标属于上述特定区域的情况下,上述选择机构从上述多个布局信息中选择与被选择的上述布局信息不同的其他布局信息。
2.根据权利要求1所述的演奏装置,其中,
上述演奏部件具备检测上述演奏部件自身的倾滚角的倾滚角检测机构,
在通过上述演奏部件进行了特定的演奏操作时,上述选择机构基于通过上述倾滚角检测机构检测到的上述倾滚角,决定从上述多个布局信息中选择的其他布局信息。
3.根据权利要求2所述的演奏装置,其中,
对上述多个布局信息分别赋予不同的布局编号,
上述选择机构在检测出的上述倾滚角属于第一规定范围的情况下,进行使上述布局编号增加规定数量的变更,并且在检测出的上述倾滚角属于第二规定范围的情况下进行使上述布局编号减少规定数量的变更,选择被赋予了变更后的布局编号的布局信息来作为上述其他布局信息。
4.一种演奏装置的控制方法,该演奏装置具备由演奏者进行操作的演奏部件以及检测在上述演奏部件被操作的虚拟平面上的上述演奏部件的位置坐标的位置检测机构,在分别包含配置于上述虚拟平面的多个区域以及与该多个区域分别对应的音色的多种布局信息中分别设有与上述多个区域不同的特定区域,
该控制方法包括:
在通过上述演奏部件进行了特定的演奏操作的定时,在上述演奏部件的位置坐标属于上述特定区域的情况下,从上述多个布局信息选择与被选择的上述布局信息不同的其他布局信息;
判断在通过上述演奏部件进行了特定的演奏操作的定时,上述演奏部件的位置坐标是否属于基于所选择的上述布局信息而配置的多个区域中的某一区域;
在判断为属于上述某一区域的情况下,指示进行与该区域对应的音色的乐音的发音。
CN201310065338.0A 2012-03-02 2013-03-01 演奏装置以及演奏装置的控制方法 Expired - Fee Related CN103295564B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-046952 2012-03-02
JP2012046952A JP2013182195A (ja) 2012-03-02 2012-03-02 演奏装置及びプログラム

Publications (2)

Publication Number Publication Date
CN103295564A true CN103295564A (zh) 2013-09-11
CN103295564B CN103295564B (zh) 2015-09-30

Family

ID=49042067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310065338.0A Expired - Fee Related CN103295564B (zh) 2012-03-02 2013-03-01 演奏装置以及演奏装置的控制方法

Country Status (3)

Country Link
US (1) US8759659B2 (zh)
JP (1) JP2013182195A (zh)
CN (1) CN103295564B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786162A (zh) * 2014-12-15 2016-07-20 上海贝尔股份有限公司 一种用于进行虚拟演奏指挥的方法和装置
CN106340229A (zh) * 2016-08-23 2017-01-18 滨州学院 一种基于超声波的速声无皮鼓演示仪及其通讯方法
CN106648083A (zh) * 2016-12-09 2017-05-10 广州华多网络科技有限公司 增强演奏场景合成控制方法及装置
CN105807907B (zh) * 2014-12-30 2018-09-25 富泰华工业(深圳)有限公司 体感交响乐演奏系统及方法
CN113959745A (zh) * 2021-10-08 2022-01-21 湖南美创数字科技有限公司 一种新型互动鼓面敲击的检测系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5573899B2 (ja) * 2011-08-23 2014-08-20 カシオ計算機株式会社 演奏装置
US9035160B2 (en) * 2011-12-14 2015-05-19 John W. Rapp Electronic music controller using inertial navigation
JP2013213946A (ja) * 2012-04-02 2013-10-17 Casio Comput Co Ltd 演奏装置、方法及びプログラム
GB2516634A (en) * 2013-07-26 2015-02-04 Sony Corp A Method, Device and Software
US9360206B2 (en) * 2013-10-24 2016-06-07 Grover Musical Products, Inc. Illumination system for percussion instruments
JP6386331B2 (ja) * 2013-11-05 2018-09-05 株式会社Moff 動作検出システム、動作検出装置、移動通信端末及びプログラム
US9430997B2 (en) * 2015-01-08 2016-08-30 Muzik LLC Interactive instruments and other striking objects
US9966051B2 (en) * 2016-03-11 2018-05-08 Yamaha Corporation Sound production control apparatus, sound production control method, and storage medium
US9847079B2 (en) * 2016-05-10 2017-12-19 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
WO2017196928A1 (en) 2016-05-10 2017-11-16 Google Llc Volumetric virtual reality keyboard methods, user interface, and interactions
US10809808B2 (en) 2016-10-14 2020-10-20 Intel Corporation Gesture-controlled virtual reality systems and methods of controlling the same
US10102835B1 (en) 2017-04-28 2018-10-16 Intel Corporation Sensor driven enhanced visualization and audio effects
JP7081922B2 (ja) * 2017-12-28 2022-06-07 株式会社バンダイナムコエンターテインメント プログラム、ゲーム装置及びゲームを実行するための方法
JP7081921B2 (ja) * 2017-12-28 2022-06-07 株式会社バンダイナムコエンターテインメント プログラム及びゲーム装置
US10860104B2 (en) 2018-11-09 2020-12-08 Intel Corporation Augmented reality controllers and related methods
US20220308659A1 (en) * 2021-03-23 2022-09-29 Htc Corporation Method for interacting with virtual environment, electronic device, and computer readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301476A (ja) * 1993-04-09 1994-10-28 Casio Comput Co Ltd 位置検出装置
JP2000276138A (ja) * 1999-03-23 2000-10-06 Yamaha Corp 楽音制御装置
JP2004252149A (ja) * 2003-02-20 2004-09-09 Yamaha Corp 仮想打楽器演奏システム
JP2005252543A (ja) * 2004-03-03 2005-09-15 Yamaha Corp 音響信号処理装置の制御用プログラム
JP2007122078A (ja) * 2007-01-12 2007-05-17 Yamaha Corp 楽音制御装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2071389B (en) * 1980-01-31 1983-06-08 Casio Computer Co Ltd Automatic performing apparatus
US5017770A (en) * 1985-10-07 1991-05-21 Hagai Sigalov Transmissive and reflective optical control of sound, light and motion
US5081896A (en) * 1986-11-06 1992-01-21 Yamaha Corporation Musical tone generating apparatus
US4968877A (en) * 1988-09-14 1990-11-06 Sensor Frame Corporation VideoHarp
IL95998A (en) * 1990-10-15 1995-08-31 Interactive Light Inc Apparatus and process for operating musical instruments video games and the like by means of radiation
US5442168A (en) * 1991-10-15 1995-08-15 Interactive Light, Inc. Dynamically-activated optical instrument for producing control signals having a self-calibration means
US5475214A (en) * 1991-10-15 1995-12-12 Interactive Light, Inc. Musical sound effects controller having a radiated emission space
USRE37654E1 (en) * 1996-01-22 2002-04-16 Nicholas Longo Gesture synthesizer for electronic sound device
JPH09325860A (ja) * 1996-06-04 1997-12-16 Alps Electric Co Ltd 座標入力装置
GB9820747D0 (en) * 1998-09-23 1998-11-18 Sigalov Hagai Pre-fabricated stage incorporating light-to-sound apparatus
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US20010035087A1 (en) * 2000-04-18 2001-11-01 Morton Subotnick Interactive music playback system utilizing gestures
US6388183B1 (en) * 2001-05-07 2002-05-14 Leh Labs, L.L.C. Virtual musical instruments with user selectable and controllable mapping of position input to sound output
JP2003022161A (ja) * 2001-07-05 2003-01-24 Ricoh Co Ltd コンピュータ補助入力装置
WO2003017248A2 (en) * 2001-08-16 2003-02-27 Humanbeams, Inc. Music instrument system and method
US7174510B2 (en) * 2001-10-20 2007-02-06 Hal Christopher Salter Interactive game providing instruction in musical notation and in learning an instrument
US20030159567A1 (en) * 2002-10-18 2003-08-28 Morton Subotnick Interactive music playback system utilizing gestures
US7402743B2 (en) * 2005-06-30 2008-07-22 Body Harp Interactive Corporation Free-space human interface for interactive music, full-body musical instrument, and immersive media controller
KR101189214B1 (ko) * 2006-02-14 2012-10-09 삼성전자주식회사 동작에 따른 음을 출력하는 장치 및 방법
JP4757089B2 (ja) * 2006-04-25 2011-08-24 任天堂株式会社 音楽演奏プログラムおよび音楽演奏装置
US8558100B2 (en) * 2008-06-24 2013-10-15 Sony Corporation Music production apparatus and method of producing music by combining plural music elements
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8198526B2 (en) * 2009-04-13 2012-06-12 745 Llc Methods and apparatus for input devices for instruments and/or game controllers
JP5448073B2 (ja) * 2010-01-12 2014-03-19 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、選択対象の選択方法
US8618405B2 (en) * 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301476A (ja) * 1993-04-09 1994-10-28 Casio Comput Co Ltd 位置検出装置
JP2000276138A (ja) * 1999-03-23 2000-10-06 Yamaha Corp 楽音制御装置
JP2004252149A (ja) * 2003-02-20 2004-09-09 Yamaha Corp 仮想打楽器演奏システム
JP2005252543A (ja) * 2004-03-03 2005-09-15 Yamaha Corp 音響信号処理装置の制御用プログラム
JP2007122078A (ja) * 2007-01-12 2007-05-17 Yamaha Corp 楽音制御装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786162A (zh) * 2014-12-15 2016-07-20 上海贝尔股份有限公司 一种用于进行虚拟演奏指挥的方法和装置
CN105807907B (zh) * 2014-12-30 2018-09-25 富泰华工业(深圳)有限公司 体感交响乐演奏系统及方法
CN106340229A (zh) * 2016-08-23 2017-01-18 滨州学院 一种基于超声波的速声无皮鼓演示仪及其通讯方法
CN106648083A (zh) * 2016-12-09 2017-05-10 广州华多网络科技有限公司 增强演奏场景合成控制方法及装置
CN113959745A (zh) * 2021-10-08 2022-01-21 湖南美创数字科技有限公司 一种新型互动鼓面敲击的检测系统

Also Published As

Publication number Publication date
US20130228062A1 (en) 2013-09-05
US8759659B2 (en) 2014-06-24
JP2013182195A (ja) 2013-09-12
CN103295564B (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN103295564A (zh) 演奏装置以及演奏装置的控制方法
CN103310767B (zh) 演奏装置以及演奏装置的控制方法
CN103310768B (zh) 演奏装置以及演奏装置的控制方法
CN103325363B (zh) 演奏装置及方法
JP5533915B2 (ja) 習熟度判定装置、習熟度判定方法及びプログラム
CN103310770B (zh) 演奏装置及演奏装置的控制方法
CN103310769B (zh) 演奏装置及演奏装置的控制方法
JP2013061637A (ja) 演奏装置及び発光制御装置
CN103310766B (zh) 演奏装置及方法
JP5861517B2 (ja) 演奏装置及びプログラム
JP6098083B2 (ja) 演奏装置、演奏方法及びプログラム
JP5974567B2 (ja) 楽音発生装置
JP5935399B2 (ja) 楽音発生装置
CN103000171A (zh) 演奏装置、发光控制装置及演奏装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150930

Termination date: 20200301