CN118043881A - 音控制装置及其控制方法、电子乐器、程序 - Google Patents

Abstract

提供一种音控制装置，其取得演奏信息，该演奏信息包含表示音高的音高信息、和表示作为连续量而检测出的音量的音量信息，基于演奏信息中的音量与阈值的对比结果、和演奏信息中的音高的变化，判定音符开始及音符结束，在判定为音量以规定的方式发生了变化的情况下，无论音量与阈值的对比结果如何，在音量以规定的方式发生了变化的定时，都判定为音符结束，并且判定为音符开始。

Description

音控制装置及其控制方法、电子乐器、程序

技术领域

本发明涉及一种音控制装置及其控制方法、电子乐器、程序。

背景技术

关于乐器等的音控制装置，已知根据演奏操作而实时地判定音符开始及音符结束的音控制装置。例如，在专利文献1、2中，公开了根据演奏操作而判定音符并实时地生成合成歌唱音的技术。

专利文献1：日本特开2016－206496号公报

专利文献2：日本特开2014－98801号公报

发明内容

但是，根据电子乐器的种类，在基于通过演奏操作而生成的演奏信息对音符进行判定的情况下，并不一定容易进行音符开始、音符结束的判定。因此，关于与用户的意图相符地判定音符的开始及结束存有改善的余地。

本发明的目的在于，提供一种能够判定与演奏者的意图相符的音符的开始及结束的音控制装置。

为了实现上述目的，根据本发明，提供一种音控制装置，其具有：取得部，其取得演奏信息，该演奏信息包含表示音高的音高信息、和表示作为连续量而检测出的音量的音量信息；以及判定部，其基于所述演奏信息中的音量与阈值的对比结果、和所述演奏信息中的音高的变化，判定音符开始及音符结束，所述判定部在判定为所述音量以规定的方式发生了变化的情况下，无论所述音量与所述阈值的对比结果如何，在所述音量以所述规定的方式发生了变化的定时，都判定为所述音符结束，并且判定为所述音符开始。

发明的效果

根据本发明，能够判定与演奏者的意图相符的音符的开始及结束。

附图说明

图1是包含音控制装置的音控制系统的框图。

图2是表示歌词数据的图。

图3是音控制装置的功能框图。

图4是说明音节的确定方法的图。

图5是说明音节的确定方法的图。

图6是说明音节的确定方法的图。

图7是表示音生成处理的流程图。

图8是表示乐谱与分配了音节的音符之间的关系的图。

图9是表示音节音符的生成例和对策例的图。

图10是表示已取得的音量的变化方式的一个例子的图。

图11是表示指示处理的流程图。

图12是表示指示处理的流程图。

图13是表示指示处理的流程图。

具体实施方式

以下，参照附图而说明本发明的实施方式。

(第1实施方式)

图1是包含本发明的第1实施方式涉及的音控制装置的音控制系统的框图。音控制系统包含音控制装置100和外部装置20。音控制装置100作为一个例子是电子乐器，例如可以是具有萨克管等方式的电子管乐器。

音控制装置100包含控制部11、操作部12、显示部13、存储部14、演奏操作部15、发音部18及通信I/F(接口)19。上述各要素经由通信总线10而相互连接。

控制部11包含CPU 11a、ROM 11b、RAM 11c及计时器(未图示)。在ROM 11b储存有由CPU 11a执行的控制程序。CPU 11a通过将储存于ROM 11b的控制程序展开至RAM 11c并执行，从而实现音控制装置100的各种功能。这里所说的各种功能例如包含执行音生成处理的功能。关于音生成功能将后述。

控制部11包含用于通过音生成功能而生成音频信号的DSP(Digital SignalProcessor)。存储部14为非易失性存储器。存储部14除了在生成表示合成歌唱音的音频信号时使用的设定信息之外，还存储用于生成合成歌唱音的语音片段等。设定信息例如包含音色、已取得的歌词数据等。此外，这些信息、数据的一部分或全部也可以存储于存储部14。

操作部12包含用于输入各种信息的多个操作件，接受来自用户的指示。显示部13对各种信息进行显示。发音部18包含音源电路、效果电路及音响系统。

演奏操作部15作为输入演奏信号(演奏信息)的要素而包含多个操作键16及压力传感器17。被输入的演奏信号包含表示音高的音高信息、和表示作为连续量而检测出的音量的音量信息，被供给至控制部11。在音控制装置100的主体设置多个音孔(未图示)。由用户(演奏者)对多个操作键16进行演奏，从而音孔的开闭状态发生变化，能指定希望的音高。

在音控制装置100的主体安装有吹口(mouthpiece)，压力传感器17设置于吹口的附近。压力传感器17是对用户经由吹口吹入的气息的吹气压力进行检测的吹气压力传感器。压力传感器17对有无气息的吹入进行检测，在演奏时对吹气压力的强度、速度(气势)进行检测。与由压力传感器17检测出的压力的变化相对应地指定音量。由压力传感器17检测出的随时间变化的压力的大小被对待为，作为连续量而检测出的音量信息。

通信I/F 19以无线或有线的方式与通信网络连接。音控制装置100例如通过通信I/F 19，经由通信网络而与外部装置20可通信地连接。通信网络例如是互联网，外部装置20也可以是服务器装置。此外，通信网络可以是使用Bluetooth(注册商标)、红外线通信、LAN等的短距离无线通信网络。此外，所连接的外部装置的数量、种类是任意的。通信I/F 19可以包含对MIDI(Musical Instrument Digital Interface)信号进行收发的MIDI I/F。

外部装置20将为了提供卡拉OK所需的乐曲数据与曲ID相关联地存储。在该乐曲数据中包含有与卡拉OK的歌唱曲相关联的数据、例如主唱数据、合唱数据、伴奏数据及卡拉OK用字幕数据等。伴奏数据是表示歌唱曲的伴奏音的数据。这些主唱数据、合唱数据及伴奏数据可以是以MIDI形式表现的数据。卡拉OK用字幕数据是用于在显示部13显示歌词的数据。

另外，外部装置20将设定数据与曲ID相关联地存储。该设定数据是为了实现歌唱音的合成而与歌唱曲相对应地针对音控制装置100设定的数据。在设定数据包含有与对应于曲ID的歌唱曲的各声部对应的歌词数据。该歌词数据例如是与主唱声部对应的歌词数据。乐曲数据和设定数据在时间上相关联。

该歌词数据可以与卡拉OK用字幕数据相同，也可以不同。即，歌词数据在是规定应当发声的歌词(字符)的数据这一点上相同，但也可以调整为在音控制装置100中容易利用的形式。

例如，卡拉OK用字幕数据为“こ(ko)”“ん(n)”“に(ni)”“ち(chi)”“は(ha)”之类的字符串。与此相对，歌词数据可以是如在音控制装置100中容易利用的那样与“こ(ko)”“ん(n)”“に(ni)”“ち(chi)”“わ(wa)”之类的实际发音相匹配的字符串。另外，作为该形式，有时包含识别例如以1个音进行2个字符的歌唱的情况的信息、识别乐句的分割的信息等。

在进行音生成处理时，控制部11从外部装置20，经由通信I/F 19取得由用户指定的乐曲数据及设定数据并存储于存储部14。如上述那样，在乐曲数据包含伴奏数据，在设定数据包含歌词数据。而且，伴奏数据和歌词数据在时间上相关联。

图2是表示存储于存储部14的歌词数据的图。此后，还有时将应当发声的歌词(字符)各自、即语音上的一个单位(一个完整的音的分割)表现为以下“音节”。如图2中说明的那样，在本实施方式使用的歌词数据中，发音的多个音节按时间序列配置。另外，在音节各自关联有由发音的开始时刻及停止时刻构成的设定期间(设定区间)。

歌词数据是对应当发声的音节进行规定的数据。歌词数据具有应当发声的多个音节按时间序列排列的文本数据。歌词数据包含通过规定的时间轴针对每个音节而规定发声的开始时刻及停止时刻的定时(timing)数据。开始时刻及停止时刻例如定义为将乐曲的最开头作为基准的时刻。该定时数据将歌唱曲的行进位置和在该行进位置处应当发声的歌词相关联。因此，歌词数据是发音的多个音节按时间序列配置并唯一地规定与从基准时刻起的经过时间对应的音节的数据。

如图2所示，歌词数据包含表示“こ(ko)”“ん(n)”“に(ni)”“ち(chi)”“わ(wa)”“dra”“gon”“night”“dra”“gon”···的文本数据。在表示“こ”“ん”“に”“ち”“わ”“dra”“gon”“night”“dra”“gon”的音节关联有M(i)，通过“i”(i＝1～n)而决定歌词中的音节的顺序。例如，M(5)与歌词之中的第5个音节对应。

歌词数据包含对各音节M(i)设定了发声的开始时刻ts(i)及停止时刻te(i)的定时数据。例如，在M(1)为“こ”的情况下，发声的开始时刻为时刻ts(1)，停止时刻为时刻te(1)。同样地，在M(n)为“る”的情况下，发声的开始时刻为时刻ts(n)，停止时刻为时刻te(n)。将与各音节M(i)对应的时刻ts(i)～时刻te(i)的期间称为音节M(i)的发声的设定期间。该发声的设定期间例如表示理想地歌唱的情况的期间。如以下说明的那样，合成歌唱音所包含的各音节的发声期间是基于由演奏信号进行的发声的开始指示及发声的停止指示而控制的。

图3是用于实现音生成处理的音控制装置100的功能框图。音控制装置100作为功能部而包含取得部31、判定部32、生成部33、确定部34、歌唱音合成部35及指示部36。上述各功能部的功能通过CPU 11a、ROM 11b、RAM 11c、计时器及通信I/F 19等的协同动作而实现。此外，并非必须包含生成部33、确定部34、歌唱音合成部35及指示部36。

取得部31取得演奏信号。判定部32基于演奏信号中的音量与阈值的对比结果、和演奏信号中的音高的变化，判定音符开始及音符结束。生成部33基于音符开始及音符结束的判定而生成音符。确定部34根据歌词数据而确定与判定为音符开始的定时对应的音节。在图4至图6中说明音节的确定方法。

歌唱音合成部35基于设定数据，对确定出的音节进行合成而生成歌唱音。指示部36发出指示使得确定出的音节的歌唱音以与音符开始对应的音高及定时开始发音，并且，发出指示使得确定出的音节的歌唱音以与音符结束对应的定时结束发音。基于由指示部36发出的指示，将音节合成得到的歌唱音通过发音部18(图1)而发音。

接着，概述音生成处理的方式。与由用户指定的乐曲对应的歌词数据及伴奏数据存储于存储部14。用户如果通过操作部12指示演奏开始，则开始伴奏数据的播放。届时，歌词数据(或卡拉OK用字幕数据)中的歌词随着伴奏数据的行进而显示于显示部13。另外，与主唱数据相对应的主旋律的乐谱也随着伴奏数据的行进而显示于显示部13。用户一边听着伴奏数据一边利用演奏操作部15进行演奏。随着演奏的行进而由取得部31取得演奏信号。

判定部32在演奏信号中的音量超过第1阈值TH1(参照图10)的情况下，判定为音符开始，在判定为音符开始之后音量低于第2阈值TH2(参照图10)的情况下，判定为音符结束。这里所说的音符开始相当于发声的开始指示，音符结束相当于发声的结束指示。此外，第1阈值TH1高于第2阈值TH2，或者与第2阈值TH2相同。

另外，判定部32在音量超过第1阈值TH1的状态下，在音高发生了变化的情况下，判定为音符结束，并且判定为音符开始。即，在保持了吹气压力的一定程度以上的强度的状态下，在通过操作键16的手指操作而切换了音高的情况下，判定为切换前的音高的音符结束和切换后的音高的音符开始在相同时刻。

而且，在判定为音符开始的定时，将确定出的音节合成并作为歌唱音进行发音，在判定为音符结束的定时进行消音。因此，用户能够通过与伴奏音相匹配地进行演奏，从而发音出与乐曲相匹配的歌词。

图4～图6是说明音节的确定方法的图。在图4～图6中示出时间与音符之间的关系。

控制部11(确定部34)将与判定为音符开始的定时所属的设定期间对应的音节确定为，与判定为上述音符开始的定时对应的音节。另外，控制部11(确定部34)在判定为音符开始的定时不属于任意设定期间的情况下，将与最接近上述定时的设定期间对应的音节确定为，与判定为上述音符开始的定时对应的音节。

首先，关于取得了发声的开始指示(音符开始)的计数值tc处于发声的设定期间ts(1)～te(1)内的情况，参照图4而说明具体例。计数值tc是在后述的音生成处理(图7)中用于使伴奏位置行进的计数值。

设想在音生成处理的待机状态下，接收到包含与音高“G4”相关联的发声的开始指示在内的演奏信号。在该情况下，控制部11对音高“G4”进行设定，并且，参照歌词数据而对取得了开始指示的计数值tc是否包含于发声的设定期间进行判定。由于取得了发声的开始指示的时刻处于设定期间ts(1)～te(1)内，因此，控制部11判定为取得了开始指示的时刻包含于与字符M(1)对应的发声的设定期间内，将属于字符M(1)的字符“こ”确定/设定为要发声的音节。

接下来，控制部11将生成基于所设定的音高“G4”及字符“こ”的发声的音频信号的指示输出至DSP。在图4中，把将基于所设定的音高“G4”及字符“こ”的发声而生成音频信号的指示输出至DSP的时刻记作时刻ton(1)。控制部11的DSP基于该指示而开始音频信号的生成。

接着，设想在音生成处理的待机状态下，接收到包含与音高“G4”相关联的发声的停止指示(音符结束)在内的演奏信号。在该情况下，控制部11设定音高“G4”，并且，判定为演奏信号是发声的停止指示。控制部11的DSP输出将基于由所设定的音高“G4”实现的发声(字符“こ”)的音频信号的生成停止的指示。在图4中，把输出了将基于所设定的音高“G4”及字符“こ”的发声的音频信号的生成停止的指示的时刻记作时刻toff(1)。控制部11的DSP基于该指示而将音频信号的生成停止。在图4中，发声期间ton(1)～toff(1)是生成基于音高“G4”及字符“こ”的发声的音频信号的期间。

接下来，关于取得了发声的开始指示的计数值tc处于发声的设定期间ts(1)～te(1)与设定期间ts(2)～te(2)之间的期间，并且接近设定期间ts(1)～te(1)的情况，参照图5进行说明。设想在音生成处理的待机状态下，接收到包含与音高“G4”相关联的发声的开始指示在内的演奏信号。在该情况下，控制部11对音高“G4”进行设定，并且，对取得了开始指示时的计数值tc是否包含于发声的设定期间进行判定。取得了开始指示的时刻不包含于与各字符M(i)对应的发声的设定期间的任意者，因此，控制部11根据紧邻计数值tc而前一个及后一个设定的设定期间，计算中心时刻tm(i)。

在取得了开始指示时的计数值tc处于设定期间ts(1)～te(1)与设定期间ts(2)～te(2)之间的情况下，控制部11对停止时刻te(1)与开始时刻ts(2)之间的中心时刻tm(1)进行计算。在这里，得到tm(1)＝(te(1)+ts(2))/2。接下来，由于取得了开始指示时的计数值tc与中心时刻tm(1)相比超前，因此控制部11将与中心时刻tm(1)相比超前的设定期间的字符“こ”(字符M(1))确定/设定为发音的音节。发声期间ton(1)～toff(1)是生成基于音高“G4”及字符“こ”的发声的音频信号的期间。

接下来，关于取得了发声的开始指示的计数值tc处于发声的设定期间ts(1)～te(1)与设定期间ts(2)～te(2)之间的期间，并且接近设定期间ts(2)～te(2)的情况，参照图6进行说明。控制部11在取得了开始指示的时刻与中心时刻tm(1)相比不超前的情况下，将与中心时刻tm(1)相比靠后的设定期间的字符“ん”(字符M(2))确定/设定为发音的音节。期间ton(1)～toff(1)是生成基于音高“G4”及字符“ん”的音频信号的期间。

如上所述，与判定为音符开始的定时所属的设定期间或最接近上述定时的设定期间对应的音节被确定为，与判定为上述音符开始的定时对应的音节。

接下来，说明音生成处理。在音生成处理中，基于针对演奏操作部15的演奏操作，输出生成与各音节对应的音频信号的指示、或停止的指示。

图7是表示音生成处理的流程图。该处理是通过CPU 11a将储存于ROM 11b的控制程序展开至RAM 11c并执行而实现的。如果用户指示乐曲的播放则开始该处理。

控制部11从存储部14取得歌词数据(步骤S101)。接下来，控制部11执行初始化处理(步骤S102)。在该初始化中，设定计数值tc＝0，并且，将各种寄存器值、标志设定为初始值。

接下来，控制部11设定为计数值tc＝tc+1，使计数值tc递增(步骤S103)。接下来，控制部11读出伴奏数据之中与计数值tc对应的部分的数据(步骤S104)。

控制部11在直至检测到伴奏数据的读出的结束、由用户输入乐曲演奏的停止指示、或接收到演奏信号中的任一者为止的期间(步骤S105；No，步骤S106；No，步骤S107；No)，反复进行步骤S103、S104的处理。该反复状态是待机状态。如上述那样，计数值tc的初始值是0，与乐曲的播放开始定时对应。控制部11通过使计数值tc递增而测量将乐曲的播放开始定时作为基准的时刻。

在待机状态下读出至伴奏数据的结尾为止而使伴奏数据的读出结束的情况下(步骤S105；Yes)，控制部11将音生成处理结束。在待机状态下由用户输入了乐曲演奏的停止指示的情况(步骤S106；Yes)下，控制部11将音生成处理结束。

在待机状态下从演奏操作部15接收到演奏信号的情况(步骤S107；Yes)下，控制部11执行用于通过DSP而生成音频信号的指示处理(步骤S108)。关于用于生成音频信号的指示处理的详情，将在图11中后述。如果用于生成音频信号的指示处理结束，则控制部11返回至步骤S103，成为反复进行步骤S103、S104的待机状态。

在图8、图9中，对通过演奏而生成的音符、和向各音符分配了的音节的例子进行说明。图8是表示用户指定的乐曲的主旋律的乐谱的一部分、与通过演奏而生成并被分配了音节的音符之间的关系的图。在这里，将被分配了音节的音符称作音节音符VN1～VN7。在音符SN1～SN9关联有歌词数据中的音节。在图8中，示出了在与音符SN1～SN9相匹配地由用户忠实地演奏的情况下的、理想的音节音符VN1～VN7。在适当的定时忠实地演奏是指，在与应对应的设定期间对应的定时进行演奏以成为音符开始。

例如，在音符SN1、SN2、SN3关联有“dra”“gon”“night”之类的音节。用户如果与伴奏相匹配地在适当的定时演奏出音符SN1、SN2、SN3，则音节音符VN1、VN2、VN3发音，被生成为音符。对音节音符VN1、VN2、VN3分别分配音节“dra”“gon”“night”。在这里，音符SN3和音符SN4通过连结线而连结，因此它们对应于1个音节音符VN3“night”。

同样地，如果用户与伴奏相匹配地在适当的定时演奏出音符SN5～SN9，则音节音符VN4～VN7发音，被生成为音符。在这里，音符SN7和音符SN8通过连结线而连结，因此它们对应于1个音节音符VN6“night”。

此外，音节音符实时地发音。但是不限于此，所生成的音节音符可以作为包含音节的信息在内的歌唱合成用数据进行保存。或者，所生成的音节音符也可以变换为不包含音节数据的MIDI数据而进行保存。

图9是表示音节音符的生成例和对策例的图。事例A示出非优选的例子，事例B示出针对事例A实施了对策的例子。事例B通过后述的指示处理(图11)而实现。

事例A示出了虽然用户打算要连续地演奏音符SN2、SN3，但发音出/生成了1个长的音节音符VN101的例子。原本应发音出/生成2个音节音符VN2、VN3。但是，由于在音符SN2、SN3之间检测出的音量未充分降低，因此没有分割出音节音符。

这种现象在如在作为16分音符的音符SN2之后接着相同音高的音符SN3的情况那样相连续的同音音符中的前侧的音符的音值短的情况下容易产生。在图10中说明发生这种现象的例子。

图10是表示所取得的音量的变化方式的一个例子的图。CC11是表示音量的变化(表达Expression)的控制转换(control change)。

在音量超过第1阈值TH1而判定为音符开始之后，如果音量在不低于第2阈值TH2的状态下以如图10所示的规定的方式发生变化，则不会判定为音符结束。例如，设为在用户对音符SN2进行演奏而开始了音节音符VN101的发音之后，虽然打算要使吹气压力暂时下降之后演奏音符SN3，但音量没有低于第2阈值TH2。这样，如事例A所示，对音节音符VN101分配“gon”，未分配作为下一音节的“night”。

在本实施方式中，在这种情况下，如事例B所示，控制部11通过在音节音符VN101插入(配置)虚拟音符分割，从而分离出音节音符VN102和音节音符VN103这2个音节音符。此外，虽然在图中未表现出来，但音节音符VN102的结束定时和音节音符VN103开始定时是同时的。即，控制部11在判定为音量按照上述规定的方式发生了变化的情况下，无论音量与阈值(阈值TH1、TH2)的对比结果如何，在音量以规定的方式发生了变化的定时，都判定为音符结束并且判定为音符开始。即，控制部11将音符结束和音符开始判定为同时，从而实质上插入虚拟音符分割。

为了对用户的有意的连续和有意的分割进行区分，以如下方式定义图10所示的规定的方式，其信息储存于ROM 11b。如果属于规定的方式，则能够判断为用户有意地将音符分割。

上述规定的方式是，在音量在第1规定时间dur2内以比第1规定速度快的速度下降之后、从下降开始起经过第2规定时间dur23之前，以比第2规定速度快的速度并且超过第3规定时间dur3而持续地继续上升。

在这里，第1规定时间dur2是从下降开始时间点T1至下降结束时间点T2为止的时间，例如是20～100ms的范围的值。第2规定时间dur23是从下降开始时间点T1至上升结束时间点T4为止的时间，例如是200ms。第3规定时间dur3是从上升开始时间点T3至上升结束时间点T4为止的时间，例如是10ms。第1规定速度及第2规定速度例如是0.5CC/ms。第1规定速度和第2规定速度可以不是相同的值。此外，这些值不限定于例示的值。另外，也可以使这些值与播放节奏相对应地变化。此外，满足上述规定的方式的情况下的最低音量CCx通常高于第1阈值TH1。

图11是表示在图7的步骤S108中执行的指示处理的流程图。

首先，在步骤S201中，控制部11对由已取得的演奏信号表示的音量与第2阈值TH2进行对比，判别是否是音符结束(发声的结束指示)。在这里，在音量低于第2阈值TH2的情况下判别为音符结束。在判别为不是音符结束的情况下，在步骤S202中，控制部11判别是否是音符开始(发声的开始指示)。在这里，在音量高于第1阈值TH1的情况下，判别为音符开始。

在步骤S201中判别为是音符结束的情况下，在步骤S210中，控制部11发出指示使得发音中的音节在与本次的音符结束对应的定时结束发音，将图11所示的处理结束。即，控制部11把将在后述的步骤S206或步骤S209中开始的音频信号的生成停止的指示输出至DSP。因此，正在发音的声音被消音。

在步骤S202中判别为不是音符开始的情况下，控制部11在步骤S211中执行其他处理之后，进入步骤S207。在这里的其他处理中，控制部11例如在发音过程中所取得的音量不低于第2阈值TH2地发生了变化的情况下，输出与该变化对应地对发音音量进行变更的指示。

在步骤S202中判别为是音符开始的情况下，控制部11在步骤S203中设定由所取得的演奏信号表示的音高。在步骤S204中，控制部11执行其他处理。在这里的其他处理中，控制部11例如在相同的设定期间内存在音高切换的情况下，执行不使正在发音中的音节的发音结束而以变化后的音高继续进行发音的处理等。例如，音节“night”的发音以切换后的音高继续。在与切换后的音高对应的音节音符分配有作为长音的“－”。

在步骤S205中，控制部11通过图4～图6中说明的方法而确定与判定为本次的音符开始的定时对应的音节。在步骤S206中，控制部11发出指示，使得确定出的音节在与本次的音符开始对应的音高及定时开始发音。即，控制部11将使基于所设定的音高及确定出的音节的发声的音频信号的生成开始的指示输出至DSP。

在步骤S207中，控制部11判别由演奏信号表示的音量是否以上述规定的方式(图10)发生了变化。而且，在判别为音量以上述规定的方式发生了变化的情况下，控制部11进一步判别被判定为本次的音符开始的定时所属的设定期间、与判定为音量以上述规定的方式发生了变化的定时所属的设定期间是否不同。而且，控制部11在满足音量按照上述规定的方式发生了变化、并且上述2个设定期间相互不同这一条件的情况下，进入步骤S208，在不满足这些条件的情况下，将图11所示的处理结束。

在步骤S208中，控制部11发出指示使得本次确定出的音节在与本次的音符结束对应的定时结束发音。在步骤S209中，控制部11发出指示使得下一个音节在与前一个发音(在前一个S206中发音开始)的音高相同的音高开始发音。因此，通过步骤S208、S209，无论音量与阈值的对比结果如何，在音量以规定的方式发生了变化的定时，都判定为音符结束，并且判定为音符开始，插入虚拟音符分割(事例B)。

因此，将判定为音符开始的定时所属的设定期间、与判定为音量以规定的方式发生了变化的定时所属的设定期间不同作为条件，在音量以规定的方式发生了变化的定时，都判定为音符结束，并且判定为音符开始。换言之，即使在相同的设定期间内音量以规定的方式发生了变化，也不插入虚拟音符分割。因此，能够抑制在不需要分割的部位处进行分割。在步骤S209之后，控制部11将图11所示的处理结束。

根据本实施方式，控制部11基于所取得的演奏信号中的音量与阈值的对比结果、和演奏信号中的音高的变化，判定音符开始及音符结束(S201、S202)。控制部11在判定为音量以规定的方式(图10)发生了变化的情况下，无论音量与阈值的对比结果如何，在音量以规定的方式发生了变化的定时，都判定为音符结束，并且判定为音符开始。因此，能够判定与用户的意图相符的音符的开始及结束。

特别是，通过将规定的方式设定为如图10所示，从而能够对用户的有意的连续和有意的分割进行区分，适当地判定音符的开始及结束。

另外，基于音符开始及音符结束的判定而生成音符，因此能够生成与用户的意图相符的音符。

另外，控制部11在对将音节合成后的歌唱音进行发音时，使得确定出的音节在与音符开始对应的音高及定时开始发音，在与音符结束对应的定时结束发音。因此，能够实时地实现歌唱发音。而且，与判定为音符开始的定时所属的设定期间或最接近上述定时的设定期间对应的音节被确定为与上述判定为音符开始的定时对应的音节。因此，能够进行与用户的意图相符的音节的发音。

(第2实施方式)

在本发明的第2实施方式中，设为在歌词数据(图2)中依次对字符M(i)＝M(1)～M(n)进行发声。因此，在音生成处理(图7)中，可以忽略歌词数据中的规定了发声的设定期间的定时数据。或者，在歌词数据中也可以废除上述定时数据。

在上述第1实施方式中，在歌词数据中，要发音的多个音节按时间序列配置，在音节各自关联有由发音的开始时刻及停止时刻构成的设定期间。而且，采用了图4～图6所示的音节的确定方法。因此，即使演奏的定时从原本的设定期间偏离，也确定出/发音出与演奏的定时所属的(或与其接近的)设定期间对应的音节。与此相对，在本实施方式中，与演奏行进相对应地依次确定音节。

在本实施方式中，对于在图7的步骤S108中执行的指示处理，取代图11而应用图12所示的处理。图12是表示在图7的步骤S108中执行的指示处理的流程图。在图12中，对与图11相同的处理步骤标注相同的步骤编号。步骤S204废除。

在本实施方式中，在图7的步骤S102中的初始化处理中，控制部11在第1实施方式的处理的基础上，设定M(i)中的字符计数值i＝1(字符M(i)＝M(1))，设定ts＝0。“i”如上述那样表示歌词中的音节的发声顺序。ts是前一个取得了发声的开始指示的时刻。因此，控制部11通过使“i”递增，从而使得构成歌词的音节之中的由M(i)表示的音节1个1个地推进。图7中的其他处理步骤如第1实施方式中说明的那样。

图12的步骤S201～S203、S210、S211的处理如第1实施方式中说明的那样。在步骤S205中，控制部11将由字符M(i)表示的音节确定为本次的音节。因此，音节是按在歌词数据中配置的顺序而确定的。在步骤S206中，控制部11发出指示使得确定出的音节在与本次的音符开始对应的音高及定时开始发音。

在步骤S207中，控制部11判别由演奏信号表示的音量是否以上述规定的方式(图10)发生了变化。在这里，在未考虑设定期间这一点上与第1实施方式不同。控制部11在音量按照上述规定的方式发生了变化的情况下，进入步骤S208，在未以上述规定的方式发生变化的情况下，将图12所示的处理结束。

在步骤S208中，控制部11对本次确定出的第1音节(在前一个S206中开始发音的音节)的发音结束进行指示。在步骤S209中，控制部11发出指示使得第1音节的下一个音节即第2音节以与发音出第1音节(在前一个S206中发音开始)的音高相同的音高开始发音。第2音节是歌词数据中的按顺序的某个音节(第1音节)的下一个音节。通过该处理，根据音高的变化方式而判断用户的意图，插入虚拟音符分割。因此，能够进行与用户的意图相符的音节的发音。在步骤S209之后，控制部11将图12所示的处理结束。

根据本实施方式，在音量以规定的方式发生了变化的定时，都判定为音符结束，并且判定为音符开始。因此，关于判定与用户的意图相符的音符的开始及结束，能够实现与第1实施方式相同的效果。

另外，能够与演奏行进相对应地按顺序确定音节并进行发音，因此能够进行与用户的意图相符的音节的发音。

(第3实施方式)

在本发明的第3实施方式中，不进行音节的确定/发音而在演奏中与行进相对应地对演奏音(例如，管乐器的声音)进行发音。因此，歌词数据(图2)并非必须的。另外，包含伴奏数据的乐曲数据也并非必须的。

在本实施方式中，对于在图7的步骤S108中执行的指示处理，取代图11而应用图13所示的处理。图13是表示在图7的步骤S108中执行的指示处理的流程图。在图13中，对与图11相同的处理步骤标注相同的步骤编号。步骤S204、S205废除。

图12的步骤S201～S203、S211的处理如第1实施方式中说明的那样。在步骤S206中，控制部11发出指示使得在与本次的音符开始对应的音高及定时开始发音。此外，发音音色可以是预先设定的。另外，在步骤S211的其他处理中，可以按照用户操作而切换发音音色。在步骤S210中，控制部11发出指示使得发音中的声音在与本次的音符结束对应的定时结束发音，将图13所示的处理结束。

在步骤S207中，控制部11判别由演奏信号表示的音量是否以上述规定的方式(图10)发生了变化。在这里，未考虑设定期间这一点与第1实施方式不同。控制部11在音量按照上述规定的方式发生了变化的情况下，进入步骤S208，在未以上述规定的方式发生变化的情况下，将图13所示的处理结束。

在步骤S208中，控制部11对发音中的声音的发音结束进行指示。在步骤S209中，控制部11发出指示使得以与在前一个步骤S206中开始了发音的音高相同的音高再次开始发音。通过该处理，根据音高的变化方式而判断用户的意图，插入虚拟音符分割。在步骤S209之后，控制部11将图13所示的处理结束。

根据本实施方式，在音量以规定的方式发生了变化的定时，都判定为音符结束，并且判定为音符开始。因此，关于对与用户的意图相符的音符的开始及结束进行判定，能够实现与第1实施方式相同的效果。另外，能够实现反映了用户的意图的、并非音节发音的实时发音。

此外，在上述各实施方式中，音控制装置100只要能够作为连续量而取得音量即可，也可以是带有压力传感器的其他管乐器。或者，音控制装置100不限于管乐器型，也可以是键盘乐器等其他方式。例如，在将本发明应用于键盘乐器的情况下，可以构成为，在各键设置后传感器等的功能，与键操作相对应地音量连续性变化。或者，也可以为，利用连接了音量踏板的电子乐器，通过音量踏板的操作而输入音量信息。

此外，演奏信号(演奏信息)也可以从外部经由通信而取得。因此，并非必须设置演奏操作部15，音控制装置100并非必须具有作为乐器的功能及方式。

此外，并非必须设置发音部18。也可以将合成后的歌唱音、应当发音的声音的信息经由通信而向外部发送，利用具有与发音部18相同的功能的外部装置进行发音。另外，也可以是经由通信I/F 19而连接的外部装置具有生成部33、确定部34、歌唱音合成部35及指示部36的至少一者的功能。

以上基于优选的实施方式对本发明进行了详细叙述，但本发明并不限定于上述特定的实施方式，未脱离本发明的主旨的范围的各种方式也包含于本发明。可以适当地对上述实施方式的一部分进行了组合。

此外，也可以通过将存储有由实现本发明的软件表示的控制程序的存储介质读出至本装置，从而实现与本发明相同的效果，在该情况下，从存储介质读出的程序代码本身实现本发明的新功能，存储有该程序代码的非暂时性的计算机可读取的记录介质构成本发明。另外，也可以经由传输介质等提供程序代码，在该情况下，程序代码本身构成本发明。此外，作为这些情况的存储介质，除了ROM以外，还可以使用软磁盘、硬盘、光盘、光磁盘、CD-ROM、CD-R、磁带、非易失性的存储卡等。作为非暂时性的计算机可读取的记录介质，还包含如成为经由互联网等网络、电话线路等通信线路而发送了程序的情况下的服务器、客户端的计算机系统内部的易失性存储器(例如DRAM(例如Dynamic Random Access Memory))那样将程序保存一定时间的介质。

标号的说明

11 控制部

31 取得部

32 判定部

33 生成部

34 确定部

35 歌唱音合成部

36 指示部

100 音控制装置

Claims (16)

1.一种音控制装置，其具有：

取得部，其取得演奏信息，该演奏信息包含表示音高的音高信息、和表示作为连续量而检测出的音量的音量信息；

判定部，其基于所述演奏信息中的音量与阈值的对比结果、和所述演奏信息中的音高的变化，判定音符开始及音符结束，

所述判定部在判定为所述音量以规定的方式发生了变化的情况下，无论所述音量与所述阈值的对比结果如何，在所述音量以所述规定的方式发生了变化的定时，都判定为所述音符结束，并且判定为所述音符开始。

2.根据权利要求1所述的音控制装置，其中，

还具有生成部，该生成部基于由所述判定部进行的所述音符开始及所述音符结束的判定而生成音符。

3.根据权利要求1或2所述的音控制装置，其中，

所述规定的方式是，所述音量在第1规定时间内以比第1规定速度快的速度下降之后、从下降开始起经过第2规定时间之前，以比第2规定速度快的速度并且超过第3规定时间而持续地继续上升。

4.根据权利要求1至3中任一项所述的音控制装置，其中，

所述判定部在所述音量超过第1阈值的情况下，判定为所述音符开始。

5.根据权利要求4所述的音控制装置，其中，

所述判定部在判定为所述音符开始之后所述音量低于第2阈值的情况下，判定为所述音符结束。

6.根据权利要求4或5所述的音控制装置，其中，

所述判定部在所述音量超过所述第1阈值的状态下所述音高发生了变化的情况下，判定为所述音符结束，并且判定为所述音符开始。

7.根据权利要求1至6中任一项所述的音控制装置，其中，

还具有：

确定部，其根据要发音的多个音节按时间序列配置的歌词数据，确定与所述判定部判定为所述音符开始的定时对应的音节；以及

指示部，其发出指示使得由所述确定部确定出的音节在与所述音符开始对应的音高及定时开始发音，并且发出指示使得由所述确定部确定出的音节在与所述音符结束对应的定时结束发音。

8.根据权利要求7所述的音控制装置，其中，

所述指示部在指示了与所述音符开始对应的第1音节的发音开始之后，在由于所述音量以所述规定的方式发生了变化而判定为所述音符结束并且判定为所述音符开始的情况下，指示所述第1音节的发音结束，并且，发出指示使得所述第1音节的下一个音节即第2音节以与发音出所述第1音节的音高相同的音高开始发音。

9.根据权利要求7所述的音控制装置，其中，

在所述歌词数据中，在所述音节各自关联有由发音的开始时刻及停止时刻构成的设定区间，

所述确定部将与判定为所述音符开始的定时所属的设定区间或最接近所述定时的设定区间对应的音节，确定为与判定为所述音符开始的定时对应的音节。

10.根据权利要求9所述的音控制装置，其中，

所述判定部将判定为所述音符开始的定时所属的设定区间、与判定为所述音量以所述规定的方式发生了变化的定时所属的设定区间不同作为条件，在所述音量以所述规定的方式发生了变化的定时，判定为所述音符结束，并且判定为所述音符开始。

11.根据权利要求7至10中任一项所述的音控制装置，其中，

还具有发音部，该发音部基于由所述指示部发出的指示，对将音节合成后的歌唱音进行发音。

12.根据权利要求1至6中任一项所述的音控制装置，其中，

还具有指示部，该指示部发出指示使得在与所述音符开始对应的音高及定时开始发音，并且，发出指示使得在与所述音符结束对应的定时结束发音。

13.一种电子乐器，其具有：

权利要求1至12中任一项所述的音控制装置；以及

演奏操作部，其用于由用户输入所述演奏信息。

14.根据权利要求13所述的电子乐器，其中，

所述演奏操作部包含对压力变化进行检测的压力传感器，

基于由所述压力传感器检测出的压力变化而取得所述音量信息。

15.一种程序，其使计算机执行音控制装置的控制方法，

所述音控制装置的控制方法是，

取得演奏信息，该演奏信息包含表示音高的音高信息、和表示作为连续量而检测出的音量的音量信息，

基于所述演奏信息中的音量与阈值的对比结果、和所述演奏信息中的音高的变化，判定音符开始及音符结束，

在判定为所述音量以规定的方式发生了变化的情况下，无论所述音量与所述阈值的对比结果如何，在所述音量以所述规定的方式发生了变化的定时，都判定为所述音符结束，并且判定为所述音符开始。

16.一种音控制装置的控制方法，其是由计算机实现的，

在该音控制装置的控制方法中，

取得演奏信息，该演奏信息包含表示音高的音高信息、和表示作为连续量而检测出的音量的音量信息，

基于所述演奏信息中的音量与阈值的对比结果、和所述演奏信息中的音高的变化，判定音符开始及音符结束，

在判定为所述音量以规定的方式发生了变化的情况下，无论所述音量与所述阈值的对比结果如何，在所述音量以所述规定的方式发生了变化的定时，都判定为所述音符结束，并且判定为所述音符开始。