CN103348407A - 电子音响信号产生装置及电子音响信号产生方法 - Google Patents

电子音响信号产生装置及电子音响信号产生方法 Download PDF

Info

Publication number
CN103348407A
CN103348407A CN2012800048781A CN201280004878A CN103348407A CN 103348407 A CN103348407 A CN 103348407A CN 2012800048781 A CN2012800048781 A CN 2012800048781A CN 201280004878 A CN201280004878 A CN 201280004878A CN 103348407 A CN103348407 A CN 103348407A
Authority
CN
China
Prior art keywords
mentioned
acceleration
acceleration information
touch panel
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800048781A
Other languages
English (en)
Other versions
CN103348407B (zh
Inventor
佐佐木直哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN103348407A publication Critical patent/CN103348407A/zh
Application granted granted Critical
Publication of CN103348407B publication Critical patent/CN103348407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/221Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G10H2220/241Keyboards, i.e. configuration of several keys or key-like input devices relative to one another on touchscreens, i.e. keys, frets, strings, tablature or staff displayed on a touchscreen display for note input purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种电子音响信号产生装置及电子音响信号产生方法,包括:触摸面板;显示电路,使操作子显示于上述触摸面板上;加速度传感器,检测对上述触摸面板上的上述操作子进行了触摸操作时的加速度;存储部,每隔预定时间取得表示由该加速度传感器检测出的上述加速度的加速度数据,并按从新到旧的顺序保存n个上述加速度数据;处理电路,在检测到使用者对显示于上述触摸面板上的上述操作子进行的触摸操作之后,将k(k<n)个上述加速度数据保存于上述存储部,并从包含上述k个加速度数据在内的上述n个加速度数据中选择至少一个符合预定条件的加速度数据;音源音效电路,基于由上述处理电路所选择的加速度数据,确定应产生的音响信号的信号特性。

Description

电子音响信号产生装置及电子音响信号产生方法
技术领域
本发明涉及一种检测使用者对显示于触摸面板显示器(以下简称为“触摸面板”)上的操作子进行触摸操作的强度并根据检测到的强度确定音响信号特性的电子音响信号产生装置及用于实现其控制方法的程序。
本申请基于2011年10月24日在日本提交的专利申请2011-232614号而主张优先权,并将其内容援用于本文中。
背景技术
检测使用者对显示于触摸面板上的操作子进行触摸操作的强度并根据检测到的强度来确定音响信号特性的电子音响信号产生装置一直以来为人们所知。
作为这样的电子音响信号产生装置,具有如下的携带终端或平板输入设备:具备触摸面板及加速度传感器,并将使用者敲击显示于触摸面板上的键盘的键的强度(触摸操作的强度)以所产生声音的音量的形式反映出来(例如,参照非专利文献1)。非专利文献1中记载了安装于携带终端并使该携带终端发挥上述功能的应用软件。
【现有技术文献】
【非专利文献】
【非专利文献1】Zen Piano-Use the Force By GreatApps Ltd,Updated:May22,2009,
http://itunes.apple.com/app/zen-piano-use-force/id315585257?mt=8#
发明内容
然而,在上述现有的电子音响信号产生装置中,因为触摸面板不能检测使用者的触摸操作的强度,所以推测为使用加速度传感器来检测该触摸操作的强度。但是,在上述非专利文献1中,对于如何使用来自加速度传感器的传感器输出来检测该触摸操作的强度,完全没有记载。
并且,使用加速度传感器检测出触摸操作的强度的情况下,推测为根据由加速度传感器检测到的加速度的大小来确定所产生声音的音量,但是对于使用者的触摸操作,触摸面板检测出该触摸操作的时间和加速度传感器检测出该触摸操作的时间一般来说是不完全一致的。因此,若在触摸面板检测该触摸操作的时间,检测出来自加速度传感器的输出值并据此确定声音的音量并产生声音,则所确定的音量不能恰当地反映使用者的触摸操作的强度,由此,有时不能产生与使用者的触摸操作相应的音量的声音。
本发明着眼于这一点而作出,目的在于提供一种可确定与使用者的触摸操作相应的音响信号特性的电子音响信号产生装置及电子音响信号产生方法。
为了达成上述目的,本发明的电子音响信号产生装置包括:触摸面板;显示电路,使操作子显示于上述触摸面板上;加速度传感器,检测对上述触摸面板上的上述操作子进行了触摸操作时的加速度;存储部,每隔预定时间取得表示由上述加速度传感器检测出的上述加速度的加速度数据,并按从新到旧的顺序保存n个上述加速度数据;处理电路,在检测到使用者对显示于上述触摸面板上的上述操作子进行的触摸操作之后,将k(k<n)个上述加速度数据保存于上述存储部,并从包含上述k个加速度数据在内的上述n个加速度数据中选择至少一个符合预定条件的加速度数据;音源音效电路,基于由上述处理电路所选择的加速度数据,确定应产生的音响信号的信号特性。
在本发明的电子音响信号产生装置中,上述n及k的各值只要满足k<n的条件则能更改为任意值。
在本发明的电子音响信号产生装置中,优选上述音源音效电路基于预定的换算特性将上述所选择的加速度数据换算为力度值,并根据换算出的上述力度值确定上述音响信号的信号特性。
为了达成上述目的,本发明的电子音响信号产生程序使计算机执行本发明的电子音响信号产生方法。
根据本发明,从检测到使用者对显示于触摸面板上的操作子进行的触摸操作之后进行等待直至保存k(k<n)个加速度数据为止,然后,从包含该k个加速度数据在内的所保存的上述n个加速度数据中选择至少一个符合预定条件的加速度数据,基于所选择的上述加速度数据确定产生的音响信号的信号特性。即,即使利用触摸面板检测到使用者的触摸操作的时间和利用加速度传感器检测到该触摸操作的时间存在偏差,在所保存的n个加速度数据中也包含适当表示使用者的触摸操作的加速度的加速度数据。该加速度数据根据是否符合上述预定条件来选择,并据此确定音响信号特性。因此,可根据与使用者的触摸操作相应的音响信号特性来确定符合预定条件的音响信号特征。
附图说明
图1是表示本发明一个实施方式涉及的电子音响信号产生装置的框图。
图2A是图1所示触摸面板上显示的画面的一个例子的图。
图2B是图1所示加速度传感器输出的传感器值的一个例子的图。
图3是表示取得图1所示加速度传感器的输出的时间的时间图。
图4是表示本发明一个实施方式涉及的电子音响信号产生装置中的触摸、移动、释放检测处理的步骤的流程图。
图5A是本发明一个实施方式涉及的电子音响信号产生装置中的发声管理处理步骤的前半部分的流程图。
图5B是本发明一个实施方式涉及的电子音响信号产生装置中的发声管理处理步骤的后半部分的流程图。
图6A是表示本发明一个实施方式涉及的电子音响信号产生装置所使用的触摸管理寄存器的表。
图6B是表示本发明一个实施方式涉及的电子音响信号产生装置所使用的发声管理寄存器的表。
图6C是表示本发明一个实施方式涉及的电子音响信号产生装置所使用的消音管理寄存器的表。
图6D是表示本发明一个实施方式涉及的电子音响信号产生装置所使用的力度值换算用函数的图。
具体实施方式
以下,基于附图详细说明本发明的实施方式。
图1是表示本发明一个实施方式涉及的电子音响信号产生装置的大致结构的框图。
如图1所示,本实施方式涉及的电子音响信号产生装置具有设定操作子1和触摸面板2,该设定操作子1用于输入各种信息并由多个开关构成,该触摸面板2显示多个演奏操作子、用于选择设定各种乐音参数和各种动作模式的多个设定操作子及各种信息,并且通过使用者触摸操作所显示的各操作子和各信息来选择设定对应的演奏状态、乐音参数及动作模式等。设定操作子1连接于检测其操作状态的检测电路3。触摸面板2连接于检测电路4和显示电路5,检测电路4检测使用者在触摸面板2上的触摸操作,显示电路5将用于选择设定包含演奏状态、各种乐音参数及各种动作模式在内的与音乐相关的各种状态及信息的GUI(graphical user interface,图形用户界面)显示于触摸面板2上。
检测电路3、检测电路4及显示电路5与连接于CPU6的总线14相连接,该CPU6负责控制装置全体。总线14还连接于ROM7、RAM8和存储装置9,ROM7存储CPU6执行的控制程序和各种表数据等,RAM8暂时存储演奏信息、各种输入信息及运算结果等,存储装置9存储包含上述控制程序在内的各种应用程序和各种乐曲数据、各种数据等。并且,总线14连接于通信接口(I/F)10,通信接口(I/F)10连接图中未示的外部设备并与该外部机器进行数据的收发。
本实施方式的电子音响信号产生装置进一步具有连接于总线14的加速度传感器11。加速度传感器11检测使用者摇动、敲击电子音响信号产生装置时该电子音响信号产生装置产生的加速度。总线14进一步连接有音源音效电路12,音源音效电路12用于将使用演奏操作子所输入的演奏信息或上述存储装置9中存储的任一乐曲数据重放而得到的演奏信息等转换为乐音信号并且赋予该乐音信号各种效果。该音源音效电路12连接有将来自音源音效电路12的乐音信号转换为音响的音响系统13。音响系统13例如由DAC(digital-to-analog converter,数字-模拟转换器)、放大器、扬声器等构成。
作为触摸面板2,在本实施方式中采用具有识别使用者对多个位置同时按压操作的多点识别功能的面板,但也可以使用不能多点识别的面板。由于将本实施方式的电子音响信号产生装置设想为握于掌中可单手操作的小型便携式终端(具体来说,通用的平板电脑(slate PC)或智能手机(smartphone)等),所以触摸面板2也采用小型的。如图2所示,在触摸面板2上显示有模拟钢琴键盘的图像(以下,简单称为“键盘”)2a和用于进行音色设定等各种设定的多个(在图示例中为6个)按钮2b。另外在本实施方式中,采用了键盘2a作为演奏操作子,但并不限于此,也可采用架子鼓等各种鼓或吉他的品格等,任意操作子均可。并且,不限于演奏操作子,若是DJ设备的操作子、游戏机的操作子等根据操作子的操作而产生音响信号的装置,只要能根据触摸操作的强度来控制音响信号的音量等信号特性,则均可采用。
存储装置9例如是软盘(FD)、硬盘(HD)、CD-ROM、DVD(digital versatile disc)、光磁盘(MO)及半导体存储器等存储介质及其驱动装置。存储介质也可以是相对驱动装置可装卸的,存储装置9本身也可以是相对本实施方式的电子音响信号产生装置可装卸的。或者,也可以是存储介质和存储装置9均不可装卸。另外,如上所述,存储装置9(的存储介质)还能够存储CPU6执行的控制程序。控制程序不存储于ROM7的情况下,通过将控制程序存储于该存储装置9并将其读入RAM8,能够使CPU6实现与控制程序存储于ROM7的情况同样的动作。这样一来,控制程序的追加和版本升级等能容易进行。
作为通信I/F10,能够举例如下:专用于收发MIDI信号等音乐信号的音乐专用有线I/F、USB(universal serial bus,通用串行总线)或IEEE1394等通用近距离有线I/F、以太网(注册商标)等通用网络I/F、无线LAN(local area network,局域网)或蓝牙(注册商标)等通用近距离无线I/F和数字电话线网用通信I/F。在本实施方式中,采用数字电话线网用及/或无线LAN用通信I/F作为通信I/F10。
如图2B所示,加速度传感器11是分别沿x轴、y轴及z轴三轴方向检测加速度,并按照每个轴输出传感器值的3轴加速度传感器。各轴的传感器输出值以预定的读取周期从加速度传感器11读取出,并储存于RAM8的预定位置所确保的传感器输出储存区域。处理部(主要是由CPU6、ROM7及RAM8构成)101以预定周期(在本实施方式中为每10msec)从传感器输出储存区域读出各轴的传感器输出值,并于后述的控制处理中使用。另外,在本实施方式的电子音响信号产生装置这样的通用设备中,不仅执行与本发明相关的控制处理,还并行地执行其他很多处理,所以上述预定周期可能稍微有变动。
在本实施方式中,设想音源音效电路12只通过硬件生成乐音信号,并对其赋予各种效果。但是,并不限于此,音源音效电路12也可以只通过软件处理来生成乐音信号并对其赋予各种效果,还可以由硬件和软件分担处理。并且,并不限于将音源音效电路12设置在电子音响信号产生装置内部,例如,也可以将音源音效电路12设置于通过通信I/F10连接的外部设备,从电子音响信号产生装置向该外部设备提供包含发声特性控制信息(后述的力度)的发声指示,并使该外部设备产生音响信号。
并且在本实施方式中,作为电子音响信号产生装置的形态,设想为上述那样具有触摸面板2的通用平板电脑或智能手机,但也可以是具有非触摸面板形式的通常的LCD(liquid crystal display,液晶显示器)或LED(light emitting diode,发光二极管)以及实际的操作子的音乐专用硬件结构。
对于以上这样构成的电子音响信号产生装置所执行的控制处理,先参照图3对其概要进行说明,再参照图4~图6D进行详细说明。
如果使用者例如用手指触摸(敲击)键盘2a的键,则本实施方式的电子音响信号产生装置以与触摸的强度相应的音量产生分配给触摸了的键的音高的声音。基于来自内置于装置内的加速度传感器11的传感器输出值来检测该触摸的强度。本实施方式的特征在于如何使用传感器输出值来检测触摸的强度。另外,触摸的键数不限于一个键,即使是多个键,也产生对应数量的音高的声音。
若从加速度传感器11输出传感器输出,则CPU6读取RAM8的传感器输出储存区域内的各轴的传感器输出值,并进行下式(1)的运算,算出各轴的传感器输出值之差的平方和的平方根。
{(xt-xt-1)2+(yt-yt-1)2+(zt-zt-1)2}1/2...(1)
此处,xt、yt、zt表示当前时刻t的x轴、y轴及z轴的各传感器输出值,xt-1、yt-1、zt-1表示比当前时刻t早一周期的时刻t-1的x轴、y轴及z轴的各传感器输出值。从而,由于需要当前时刻的各轴的传感器输出值和比当前时刻早一周期的时刻的各轴的传感器输出值,所以在RAM8的预定位置确保当前传感器输出储存区域及原传感器输出储存区域,从传感器输出储存区域读出的各轴的传感器输出值先储存在当前传感器输出储存区域,在上述运算结束之后,从当前传感器输出储存区域读出并覆盖保存于原传感器输出储存区域。
上述式(1)中,关于各轴的传感器输出值取差值是因为,从各轴的传感器输出值去除重力加速度的影响。并且,取各轴的传感器输出值(之差)平方和的平方根是因为,去除装置的姿势(是用手垂直握持,是倾斜握持,还是水平握持等)和触摸时所施加的力的方向等影响。另外,运算公式不限于上述式(1)。
将这样算出的运算结果(加速度数据)作为从当前时刻的值追溯到过去的多个(在本实施方式中为5个,但不限于此)日志进行保存。也就是说,加速度数据从新的值开始依次在RAM8中保存5个。
图3是在作为日志保存的多个运算结果(加速度数据)中,选择控制处理中使用的值的方法的一个例子的图。该图中,“n”表示作为日志保存的运算结果的个数,在本实施方式中,n=5。
如果使用者触摸键盘2a的某键,则通过检测电路4检测出被触摸了这一情况。图3的“×”表示检测到该触摸的时间。若检测到触摸,则CPU6其后等待k(在本实施方式中,k=2)个运算结果(加速度数据)的保存。接着,CPU6从包含该两个运算结果在内的5个运算结果中选择符合预定条件的运算结果。
此处,作为预定条件,例如,能够举出取最大值的条件、取最大值和次大值的条件等。如后者的条件那样,选择多个运算结果的情况下,只要取其平均值即可。在本实施方式中,作为预定条件,采用取最大值的条件。因此,在图示例中,选择记载为“所采用的值”的箭头所指示的运算结果。所选择的运算结果如上述那样用于音量的确定,关于其确定方法在后叙述。
在本实施方式中,将来自加速度传感器11的传感器输出(实际上有时不是传感器输出本身,而是对传感器输出施以预定的运算所得到的上述运算结果,也称为加速度数据)从最新的开始追溯,从新的数据开始依次保存多个,并将其作为选择对象。特别是在保存的多个传感器输出中,不仅包括检测到使用者对触摸面板2的触摸操作后的传感器输出,还包括之前的传感器输出。从而,将检测到触摸操作之前及之后的任一传感器输出均作为选择对象,是因为通过本申请的发明人进行的实验能够确认出:如果在被触摸了的时间点得到大的加速度的情况存在的话,则比被触摸了的时间点稍微靠前或稍微靠后得到大的加速度的情况也存在。其理由可以认为如下:如上所述,由于多个处理并行地执行,所以根据触摸的方式(对触摸面板2的板面垂直地触摸、还是稍微倾斜地触摸等)或装置的保持状态(用手握持、还是放置在桌上等之类),大的传感器输出值(认为是反映本来的触摸强度的值)的时间上的表现形式将产生变化。
另外,将检测到触摸操作之前及之后的各传感器输出值分别保存几个即可,只要对以下进行考虑而任意地确定即可:检测加速度传感器11的输出值的周期、从检测出触摸操作的时间点到进行发声指示为止可容许怎样程度的延迟等。如本实施方式这样,并不限于检测之前3个、检测之后两个合计5个。
从而,本实施方式的电子音响信号产生装置中,当保存多个来自加速度传感器11的传感器输出时,保存检测到使用者对触摸面板2的触摸操作的时间点之前及之后这两者的传感器输出,并从保存的多个传感器输出中选择最大值的传感器输出,用于确定所产生声音的音量。即,对于使用者的触摸操作,即使由触摸面板2检测到该操作的时间和由加速度传感器11检测到该操作(相应的加速度输出)的时间存在偏差,在所保存的多个传感器输出之中也包含适当表示使用者的触摸操作的加速度的传感器输出(加速度数据)。该传感器输出根据与预定的条件(此处为取最大值)是否一致而被选择。基于所选择的传感器输出(加速度数据)确定乐音特性(此处为音量),所以可根据与使用者的触摸操作相应的乐音特性确定相符的乐音特性。
另外在本实施方式中,将选择的传感器输出用于确定所产生的声音的音量,但并不限于此,也可以用于其他的乐音特性例如音色等的确定。
接着,对该控制处理进行详细说明。
图4是表示本实施方式的电子音响信号产生装置特别是CPU6执行的触摸、移动、释放检测处理的顺序的流程图,本触摸、移动、释放检测处理,例如每5msec启动并执行。
在本触摸、移动、释放检测处理中,主要检测:
(01)由触摸键盘2a的键的第一操作和释放该触摸的手指的第二操作所构成的一系列的使用者操作
(02)由触摸键盘2a的键的第一操作、使该触摸的手指保持该触摸的状态在该键上移动的第二操作、和释放该触摸的手指的第三操作所构成的一系列的使用者操作。其中,上述(01)及(02)的各一系列的使用者操作是将某一根手指作为对象,而用多根手指操作的情况下,只要与该手指数并行地检测(01)或(02)的一系列的使用者操作即可。
在检测电路4中,若检测到触摸操作、移动操作或释放操作的任一个,则将检测到的操作的种类(触摸/移动/释放)和此时的触摸面板2上的坐标通知于CPU6。另外,检测到移动操作时,将移动前和移动后的两个坐标通知于CPU6。
首先,若上述(01)的一系列的使用者操作中进行了第一操作(触摸操作),则从检测电路4通知是触摸操作这一情况和此时的坐标。该通知之后,CPU6立刻启动触摸、移动、释放检测处理。CPU6于触摸管理寄存器生成新的记录,将所触摸的坐标(触摸面板2上的触摸位置的坐标)作为初期坐标及当前坐标进行记录。
接着CPU6求出对应于该坐标的操作子ID(identification),并将该操作子ID的操作子被接通这一情况通知给后述图5A及5B的声音产生管理处理(步骤S1→S2→S3→S4)。触摸管理寄存器为RAM8的预定位置所确保的寄存器,如图6A所示,具有能存储多组由初期坐标(x,y)及当前坐标(x,y)构成一组的数据的区域。该一组数据结构称为“记录”。
操作子ID为分别分配给键盘2a的各键图像的ID。未图示的图像坐标表中,登记有各键图像(操作子)的ID和该图像所配置的坐标,根据所触摸的坐标能够取得该坐标所表示的操作子ID。
接着,若上述(01)的一系列的使用者操作中进行了第二操作(释放操作),则从检测电路4通知是释放操作这一情况和此时的坐标。在其后立刻启动的触摸、移动、释放检测处理中,CPU6从触摸管理寄存器中寻找所释放的坐标(触摸面板2上的释放位置的坐标)与当前坐标相一致的记录。CPU6求出与该记录中所记录的初期坐标对应的操作子ID。CPU6进而地将该操作子ID的操作子被断开这一情况通知上述声音产生管理处理,并从触摸管理寄存器消去该记录(步骤S1→S5→S7→S8→S9)。该(01)的一系列的使用者操作中,必须将所释放的坐标与当前坐标相一致的记录存储于触摸管理寄存器。
另一方面,若上述(02)的一系列的使用者操作中进行了第一操作(触摸操作),则从检测电路4通知是触摸操作这一情况和此时的坐标。在其后立刻启动触摸、移动、释放检测处理,CPU6执行与作出上述(01)的一系列的使用者操作中的第一操作(触摸操作)时所执行的处理相同的处理(步骤S1→S2→S3→S4)。
接着,若上述(02)的一系列的使用者操作中进行了第二操作(移动操作),则从检测电路4通知是移动操作这一情况和此时的坐标,再加上移动前的坐标。根据该通知,在其后立刻启动触摸、移动、释放检测处理,CPU6从触摸管理寄存器中寻找移动前的坐标与当前坐标相一致的记录。如果有一致的记录,则CPU6将移动后的坐标记录为当前坐标(以移动后的坐标更新当前坐标)(步骤S1→S5→S6)。
该第二操作(移动操作)中,使用者使触摸的手指移动时,移动后的位置依然处于相同操作子上的情况下,当然仅更新当前坐标。在此情况下,在本实施方式中,即使是从移动前的操作子上偏离而移动至其他的操作子上,或移动至操作子外的区域的情况,也仅更新当前坐标。并且,作出后述的第三操作(释放操作)时,参照触摸管理寄存器来求出初期坐标,取得对应于初期坐标的操作子ID并进行消音操作。即,即使手指因移动操作而从操作子上偏离,也维持对操作子进行了操作的状态。
取而代之,也可以在手指由于移动操作从操作子上偏离而移动至新的操作子上的情况下,视为在移动前的坐标处暂时进行了释放操作,执行与后述的第三操作(释放操作)对应的处理,并且视为在移动后的坐标处进行了新的触摸操作,执行对应于上述第一操作(触摸操作)的处理。据此,如果手指因移动操作而从操作子上偏离,则暂时消音,并产生与新的操作子对应的乐音。另外,从操作子外移动至操作子上的情况下,只作为新的触摸操作;而从操作子上移动至操作子外的情况下,只作为释放操作。并且,也可以是能够由使用者来选择是进行本实施方式的动作,还是进行取而代之的动作。
接着,上述(02)的一系列的使用者操作中,一旦进行了第三操作(释放操作),则从检测电路4通知为释放操作这一情况和此时的坐标。根据该通知,在其后立刻启动触摸、移动、释放检测处理,CPU6执行与进行上述(01)的一系列的使用者操作中的第二操作(释放操作)时所执行的处理相同的处理(步骤S1→S5→S7→S8→S9)。
图5A及图5B是显示本实施方式的电子音响信号产生装置特别是CPU6执行的声音产生管理处理的顺序的流程图。该声音产生管理处理例如每隔10msec启动并执行。
该声音产生管理处理,在整体上,由如下步骤构成:
(1)与来自加速度传感器11的传感器输出相关的传感器输出相关处理(步骤S11~S13)
(2)声音产生处理(步骤S16,S17)
(3)消音处理(步骤S19)
(4)声音产生管理寄存器初始化处理(步骤S21)
(5)消音管理寄存器初始化处理(步骤S23)。
一旦启动本声音产生管理处理,则在上述(1)的传感器输出相关处理中,首先,如在控制处理的概要中所描述的那样,CPU6从传感器输出储存区域读取各轴的传感器输出值,并储存于当前传感器输出储存区域(步骤S11)。接着,CPU6对分别储存于当前传感器输出储存区域及原传感器输出储存区域的各轴的传感器输出值执行上述式(1)的运算(步骤S12)。其后,将该运算结果保存在确保于RAM8的预定位置的环形缓冲区(图中未示)中(步骤S13)。
如上所述,由于作为运算结果,预先保存按时间序列得到的运算结果中的最新的多个(例如5个)运算结果,所以在本实施方式中采用在得到超过保存个数的运算结果的情况下能够简单覆盖保存该运算结果的环形缓冲区。并不限于此,也可以采用普通的存储器,用软件管理保存的个数。
另外,虽然流程图中没有记载,但该(1)传感器输出相关处理中,CPU6在上述步骤S13的处理后执行如下的处理:读取当前传感器输出储存区域中所储存的各轴的传感器输出值,并储存在原传感器输出储存区域中。
并且,启动本声音产生管理处理时,有时各轴的传感器输出值尚未储存到原传感器输出储存区域中。在该情况下,因为CPU6不能执行上述步骤S12的运算处理,所以在执行将从传感器输出储存区域读取的各轴的传感器输出值储存到当前传感器输出储存区域中的处理之后,不执行步骤S12、S13的处理,而是执行将当前传感器输出储存区域中储存的各轴的传感器输出值储存到原传感器输出储存区域中的处理。
接着,CPU6将声音产生管理寄存器及消音管理寄存器内的各计数器的值加“1”(步骤S14)。声音产生管理寄存器和消音管理寄存器都是确保于RAM8的预定位置的寄存器,如图6B及图6C所示,具有能够存储多组由操作子ID(软件)及计数器组成的1组数据(记录)的区域。声音产生管理寄存器和消音管理寄存器有时连1个记录都未存储,在这种情况下,CPU6当然不进行上述步骤S14的计数值增加。
接着,如果有在声音产生管理寄存器内的计数器值为“+2”的记录,则将处理进行到上述(2)的声音产生处理(步骤S15→S16)。声音产生管理寄存器内的计数器值为+2,意味着从上述触摸、移动、释放检测处理接收到“操作子打开”的通知之后,本声音产生管理处理启动了两次。即,在图3中,意味着检测到使用者对触摸面板2的触摸之后,取得了k(=2)次各轴的传感器输出值,该时间表示指示产生声音的时间。
该(2)声音产生处理中,首先CPU6采用保存于环形缓冲区的运算结果中的符合预定条件的运算结果(例如最大的运算结果),并将其换算成力度值(步骤S16)。
图6D是作为将采用的运算结果换算成力度值时所使用的换算特性的函数的一个例子的示意图。图6D的函数是非线性函数的一个例子,是S型函数(sigmoid function)。当然,也可以使用其他的非线性函数,而且,不限于非线性函数,也可以使用线性函数。进而,也可以定义“力度、灵敏度”参数,并可根据该参数改变函数的形状。
接着,CPU6根据对应于该记录的操作子ID的音高及上述换算后的力度值,指示作为音源部的音源音效电路12开始产生声音,并将该记录从声音产生管理寄存器消去(步骤S17)。在音源音效电路12中,根据按照所指示的力度值而确定的音量、音色等音响信号的乐音特性来生成乐音信号。
接着,如果在消音管理寄存器内存在计数器值为“+2”的记录,则将处理进行到上述(3)的消音处理(步骤S18→S19),指示音源音效电路12进行与该记录的操作子ID的音高对应的消音,并将该记录从消音管理寄存器消去。
此处,消音管理寄存器内的计数器值为+2,意味着从上述触摸、移动、释放检测处理接收到“操作子关闭”的通知之后,本声音产生管理处理启动了两次。即,意味着检测到使用者对触摸面板2的触摸的释放之后,取得了两次各轴的传感器输出值。
但是在该(3)消音处理中,与上述(2)声音产生处理不同,未使用存储于环形缓冲区的运算结果。因此,由于为了等待新的运算结果进入环形缓冲区,无需监视消音管理寄存器内的计数器值,所以消音管理寄存器内的计数器值为+2,只是为了使从检测到使用者对触摸面板2的触摸的释放到开始消音为止的时间与从检测到使用者对触摸面板2的触摸到开始产生声音为止的时间相一致。
接着,一旦从触摸、移动、释放检测处理接收到操作子打开的通知,则CPU6将处理进行到上述(4)的声音产生管理寄存器初始化处理(步骤S20→S21),在声音产生管理寄存器中生成新的记录,记录操作子ID,并将计数器置为“0”。
而且,一旦从触摸、移动、释放检测处理接收到操作子关闭的通知,则CPU6将处理进行到上述(5)的消音管理寄存器初始化处理(步骤S22→S23),在消音管理寄存器中生成新的记录,记录操作子ID,并将计数器置为“0”。
另外,作为代替本实施方式的动作,通过移动操作使手指从移动前的操作子上移动到移动后的操作子上时的力度值也可以采用预定的默认值。并且,该力度值也可以预先保存移动前的操作子的产生声音所用的力度值,并将其用于移动后的操作子的产生声音时。
关于手指从移动前的操作子上移动到移动后的操作子上时的力度值,由于没有移动前的操作子的产生声音所用的力度值,所以可以采用预定的默认值。
并且,在本实施方式中,将多个对检测到的加速度值执行预定运算所得的运算结果作为日志进行保存。并不限于此,也可以预先将多个检测到的加速度值(加速度数据)作为日志进行保存,在声音产生处理(图5A的步骤S16)中,对所保存的多组加速度值分别执行预定的运算之后,采用预定的运算结果。
另外,当然也可以将记录有实现上述实施方式的功能的软件的程序代码的存储介质向系统或装置提供,该系统或装置的计算机(或者CPU和MPU)读取存储介质中所储存的程序代码并执行,从而达成本发明的目的。
此时,从存储介质读取的程序代码本身实现本发明的新功能,从而该程序代码及记录有该程序代码的存储介质构成本发明。
作为用于提供程序代码的存储介质,例如能够使用软盘、硬盘、光磁盘、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW、磁带、非易失性半导体存储器、ROM等。并且,也可以通过通信网络从服务器提供程序代码。
并且,不仅包含通过计算机执行读取的程序代码来实现上述实施方式的功能,当然也包含基于该程序代码的指示由在计算机上运行的OS等进行一部分或全部的实际处理并通过该处理来实现上述实施方式的功能的情况。
此外,当然也包含如下情况:将从存储介质读取的程序代码写入到插入计算机的功能扩充板或连接于计算机的功能扩充单元等所具有的存储器后,基于该程序代码的指示,该功能扩充板或功能扩充单元所具有的CPU等进行一部分或全部的实际处理,并通过该处理来实现上述实施方式的功能。
附图标记说明
2  触摸面板
5  显示电路
6  CPU
8  RAM
11 加速度传感器

Claims (9)

1.一种电子音响信号产生装置,其特征在于,包括:
触摸面板;
显示电路,使操作子显示于上述触摸面板上;
加速度传感器,检测对上述触摸面板上的上述操作子进行了触摸操作时的加速度;
存储部,每隔预定时间取得表示由上述加速度传感器检测出的上述加速度的加速度数据,并按从新到旧的顺序保存n个上述加速度数据;
处理电路,在检测到使用者对显示于上述触摸面板上的上述操作子进行的触摸操作之后,将k(k<n)个上述加速度数据保存于上述存储部,并从包含上述k个加速度数据在内的上述n个加速度数据中选择至少一个符合预定条件的加速度数据;
音源音效电路,基于由上述处理电路所选择的加速度数据,确定应产生的音响信号的信号特性。
2.根据权利要求1所述的电子音响信号产生装置,其特征在于,上述n及k的各值只要满足k<n的条件则能更改为任意值。
3.根据权利要求1或2所述的电子音响信号产生装置,其特征在于,上述音源音效电路基于预定的换算特性将上述所选择的加速度数据换算为力度值,并根据换算出的上述力度值确定上述音响信号的信号特性。
4.一种电子音响信号产生方法,其特征在于,包括以下步骤:
使操作子显示于触摸面板上;
通过加速度传感器检测对上述触摸面板上的上述操作子进行了触摸操作时的加速度;
每隔预定时间取得表示由上述加速度传感器检测出的上述加速度的加速度数据,并按从新到旧的顺序将n个上述加速度数据保存于存储部;
检测使用者对显示于上述触摸面板上的上述操作子进行的触摸操作;
检测出上述触摸操作之后,将k(k<n)个上述加速度数据保存于上述存储部;
通过处理电路从包含保存于上述存储部的上述k个加速度数据在内的上述n个加速度数据中选择至少一个符合预定条件的加速度数据;
基于由上述处理电路所选择的加速度数据,确定应产生的音响信号的信号特性。
5.根据权利要求4所述的电子音响信号产生方法,其特征在于,上述n及k的各值只要满足k<n的条件则能更改为任意值。
6.根据权利要求4或5所述的电子音响信号产生方法,其特征在于,确定上述音响信号的信号特性的步骤还具有如下步骤:
基于预定的换算特性将上述所选择的加速度数据换算为力度值;以及
根据换算出的上述力度值确定上述音响信号的信号特性。
7.一种电子音响信号产生程序,使具有触摸面板及加速度传感器的计算机执行如下步骤:
使操作子显示于触摸面板上;
通过加速度传感器检测对上述触摸面板上的上述操作子进行了触摸操作时的加速度;
每隔预定时间取得表示由上述加速度传感器检测出的上述加速度的加速度数据,并按从新到旧的顺序将n个上述加速度数据保存于存储部;
检测使用者对显示于上述触摸面板上的上述操作子进行的触摸操作;
检测出上述触摸操作之后,将k(k<n)个上述加速度数据保存于上述存储部;
通过处理电路从包含保存于上述存储部的上述k个加速度数据在内的上述n个加速度数据中选择至少一个符合预定条件的加速度数据;
基于由上述处理电路所选择的加速度数据,确定应产生的音响信号的信号特性。
8.根据权利要求7所述的电子音响信号产生程序,其特征在于,上述n及k的各值只要满足k<n的条件则能更改为任意值。
9.根据权利要求7或8所述的电子音响信号产生程序,其特征在于,确定上述音响信号的信号特性的步骤还具有如下步骤:
基于预定的换算特性将上述所选择的加速度数据换算为力度值;以及
根据换算出的上述力度值确定上述音响信号的信号特性。
CN201280004878.1A 2011-10-24 2012-10-24 电子音响信号产生装置及电子音响信号产生方法 Active CN103348407B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011232614A JP5565399B2 (ja) 2011-10-24 2011-10-24 電子音響信号発生装置およびその制御方法を実現するためのプログラム
JP2011-232614 2011-10-24
PCT/JP2012/077461 WO2013061998A1 (ja) 2011-10-24 2012-10-24 電子音響信号発生装置および電子音響信号発生方法

Publications (2)

Publication Number Publication Date
CN103348407A true CN103348407A (zh) 2013-10-09
CN103348407B CN103348407B (zh) 2015-05-20

Family

ID=48167825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280004878.1A Active CN103348407B (zh) 2011-10-24 2012-10-24 电子音响信号产生装置及电子音响信号产生方法

Country Status (6)

Country Link
US (1) US8978672B2 (zh)
EP (1) EP2772903B1 (zh)
JP (1) JP5565399B2 (zh)
KR (1) KR101461448B1 (zh)
CN (1) CN103348407B (zh)
WO (1) WO2013061998A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516670A (zh) * 2013-12-25 2015-04-15 广西生光电气科技有限公司 有力度感的乐器琴键

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013059488A1 (en) 2011-10-18 2013-04-25 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US20150035759A1 (en) * 2013-08-02 2015-02-05 Qeexo, Co. Capture of Vibro-Acoustic Data Used to Determine Touch Types
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US9829577B2 (en) 2014-12-19 2017-11-28 The Regents Of The University Of Michigan Active indoor location sensing for mobile devices
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
JP6569479B2 (ja) * 2015-11-02 2019-09-04 ヤマハ株式会社 音楽機器及びプログラム
US20170206055A1 (en) * 2016-01-19 2017-07-20 Apple Inc. Realtime audio effects control
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US11158294B2 (en) 2018-09-07 2021-10-26 Keith Groover Electronic musical instrument
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2239634Y (zh) * 1995-11-24 1996-11-06 南京远志资讯科技开发有限公司 计算机影音控制器
JPH11338470A (ja) * 1998-05-28 1999-12-10 Canon Inc 電子楽器及び電子楽器制御方法
CN1523571A (zh) * 2003-02-19 2004-08-25 ������������ʽ���� 用于声音信号处理装置的参数显示控制器
JP2010204401A (ja) * 2009-03-04 2010-09-16 Casio Computer Co Ltd 電子楽器
JP2010271440A (ja) * 2009-05-20 2010-12-02 Yamaha Corp 演奏制御装置およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5634046A (en) * 1994-09-30 1997-05-27 Microsoft Corporation General purpose use of a stack pointer register
US7728316B2 (en) * 2005-09-30 2010-06-01 Apple Inc. Integrated proximity sensor and light sensor
US9335869B2 (en) * 2007-10-01 2016-05-10 Igt Method and apparatus for detecting lift off on a touchscreen
KR20090093766A (ko) * 2008-02-28 2009-09-02 황재엽 모바일 가상 기타의 지판 표시 장치 및 방법
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
JP2010020608A (ja) * 2008-07-11 2010-01-28 Olympus Imaging Corp 電子装置、カメラ、オブジェクト選択方法、および、オブジェクト選択プログラム
KR20100074695A (ko) * 2008-12-24 2010-07-02 삼성전기주식회사 터치 감지 인터페이스 장치
KR101554221B1 (ko) * 2009-05-11 2015-09-21 삼성전자주식회사 휴대단말기를 이용한 악기 연주 방법 및 장치
US20130120282A1 (en) * 2010-05-28 2013-05-16 Tim Kukulski System and Method for Evaluating Gesture Usability

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2239634Y (zh) * 1995-11-24 1996-11-06 南京远志资讯科技开发有限公司 计算机影音控制器
JPH11338470A (ja) * 1998-05-28 1999-12-10 Canon Inc 電子楽器及び電子楽器制御方法
CN1523571A (zh) * 2003-02-19 2004-08-25 ������������ʽ���� 用于声音信号处理装置的参数显示控制器
JP2010204401A (ja) * 2009-03-04 2010-09-16 Casio Computer Co Ltd 電子楽器
JP2010271440A (ja) * 2009-05-20 2010-12-02 Yamaha Corp 演奏制御装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516670A (zh) * 2013-12-25 2015-04-15 广西生光电气科技有限公司 有力度感的乐器琴键
CN104516670B (zh) * 2013-12-25 2018-08-28 柳州金之源商务服务有限公司 有力度感的乐器琴键

Also Published As

Publication number Publication date
US8978672B2 (en) 2015-03-17
WO2013061998A1 (ja) 2013-05-02
EP2772903B1 (en) 2017-09-13
EP2772903A4 (en) 2015-07-22
KR20130080847A (ko) 2013-07-15
EP2772903A1 (en) 2014-09-03
KR101461448B1 (ko) 2014-11-13
CN103348407B (zh) 2015-05-20
US20130215070A1 (en) 2013-08-22
JP2013092545A (ja) 2013-05-16
JP5565399B2 (ja) 2014-08-06

Similar Documents

Publication Publication Date Title
CN103348407A (zh) 电子音响信号产生装置及电子音响信号产生方法
US8626324B2 (en) Altering sound output on a virtual music keyboard
US9053688B2 (en) Base for tablet computer providing input/ouput modules
WO2018223837A1 (zh) 音乐播放方法及相关产品
KR20100026711A (ko) 휴대단말기의 터치스크린을 이용한 작곡 방법 및 장치
EP3443448B1 (en) Selective attenuation of sound for display devices
CN103839565A (zh) 音乐歌词显示方法及使用此方法的便携型手持式电子装置
US10770077B2 (en) Electronic device and method
US10140967B2 (en) Musical instrument with intelligent interface
WO2014179096A1 (en) Detection of and response to extra-device touch events
US8809665B2 (en) Electronic percussion gestures for touchscreens
CN105700808A (zh) 音乐播放方法、装置及终端设备
WO2013043542A1 (en) Musical instrument with networking capability
CN109069900A (zh) 一种跑步机计步的方法及装置
Momeni Caress: An enactive electro-acoustic percussive instrument for caressing sound
WO2022111260A1 (zh) 音乐筛选方法、装置、设备及介质
CN108231046B (zh) 歌曲调性识别方法及装置
US9202447B2 (en) Persistent instrument
US20230252963A1 (en) Computing Device
CN214504972U (zh) 一种智能乐器
US20180364907A1 (en) A system and method for detecting keystrokes in a passive keyboard in mobile devices
US8912420B2 (en) Enhancing music
CN107404581B (zh) 移动终端的乐器模拟方法、装置及存储介质和移动终端
US20220270576A1 (en) Emulating a virtual instrument from a continuous movement via a midi protocol
CN105304102A (zh) 一种音频处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant