CN117043846A - 歌唱音输出系统及方法 - Google Patents

Abstract

提供一种歌唱音输出系统，其能够与伴奏同步地在输入了音信息的定时输出歌唱音。歌唱音输出系统具有：示范部(41)，其对用户示出与伴奏数据在时间上相关联并且包含多个音节的歌唱用数据的行进位置；取得部(42)，其取得音信息(N)；音节确定部(43)，其确定与音信息对应的音节；定时确定部(44)，其将表示相对于确定出的音节的相对的定时的差值(ΔT)与音信息相关联；合成部(45)，其基于确定出的音节而合成歌唱音；以及输出部(46)，其基于差值(ΔT)而将歌唱音和基于伴奏数据的伴奏音同步地输出。

Description

歌唱音输出系统及方法

技术领域

本发明涉及输出歌唱音的歌唱音输出系统及方法。

背景技术

已知与演奏操作相对应地产生歌唱音的技术。例如，在专利文献1中公开的歌唱音合成装置与实时演奏对应地自动以1个字符为单位或以1个音节为单位推进歌词而产生歌唱音。

专利文献1：日本特开2016-206323号公报

发明内容

但是，在专利文献1中并未公开与伴奏相匹配地实时输出歌唱音。假设在与伴奏相匹配地实时输出歌唱音的情况下，难以可靠地在本来想要产生的定时产生歌唱音。例如，即使在要发音的定时开始演奏操作，直至合成出歌唱音而发音为止也需要处理时间，因此实际的歌唱开始延迟。因此，关于与伴奏相匹配地在意想的定时输出歌唱音，存有改善的余地。

本发明的一个目的在于，提供能够与伴奏同步地在输入了音信息的定时输出歌唱音的歌唱音输出系统及方法。

根据本发明的一个方式，提供一种歌唱音输出系统，其具有：示范部，其对用户示出与伴奏数据在时间上相关联并且包含多个音节的歌唱用数据的行进位置；取得部，其取得通过演奏而输入的至少1个音信息；音节确定部，其根据所述歌唱用数据的多个音节而确定与由所述取得部取得的所述音信息对应的音节；定时确定部，其将表示相对于所述确定的音节的相对的定时的相对信息与所述音信息相关联；合成部，其基于所述确定的音节而合成歌唱音；以及输出部，其基于所述相对信息而将由所述合成部合成的所述歌唱音和基于所述伴奏数据的伴奏音同步地输出。

发明的效果

根据本发明的一个方式，能够与伴奏同步地在输入了音信息的定时输出歌唱音。

附图说明

图1是表示第1实施方式涉及的歌唱音输出系统的整体结构的图。

图2是歌唱音输出系统的框图。

图3是歌唱音输出系统的功能框图。

图4是通过演奏输出歌唱音的处理的时序图。

图5是表示系统处理的流程图。

图6是通过演奏输出歌唱音的处理的时序图。

图7是表示系统处理的流程图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

(第1实施方式)

图1是表示本发明的第1实施方式涉及的歌唱音输出系统的整体结构的图。该歌唱音输出系统1000包含PC(个人计算机)101、云服务器102及音输出装置103。PC 101及音输出装置103通过互联网等通信网络104与云服务器102可通信地连接。在使用PC 101的环境内作为输入声音的项目、设备而存在键盘105、管乐器106及鼓107。

键盘105及鼓107是用于输入MIDI(Musical Instrument DigitalInterface)信号的电子乐器。管乐器106是用于输入单声道的模拟音的原声乐器。键盘105及管乐器106还能够输入音高信息。此外，管乐器106可以是电子乐器，键盘105及鼓107可以是原声乐器。此外，上述乐器是用于输入音信息的设备的一个例子，由PC 101侧的用户进行演奏。PC 101侧的用户的发声也可以作为用于输入模拟音的单元而使用，在该情况下，作为模拟音而输入肉声。因此，本实施方式的用于输入音信息的“演奏”的概念还包含肉声的输入。另外，用于输入音信息的设备可以不是称为乐器的方式。

详细内容在后面叙述，概述由歌唱音输出系统1000进行的代表性处理。PC 101侧的用户一边聆听伴奏一边演奏乐器。PC 101将歌唱用数据51、定时信息52及伴奏数据53(都在图3中后述)向云服务器102发送。云服务器102基于通过PC 101侧的用户的演奏产生的声音而合成歌唱音。云服务器102将歌唱音、定时信息52及伴奏数据53发送至音输出装置103。音输出装置103是具有扬声器功能的设备。音输出装置103将接收到的歌唱音及伴奏数据53输出。此时，音输出装置103基于定时信息52而将歌唱音和伴奏数据53同步地输出。这里所说的“输出”的方式并不限于播放，还包含向外部装置的发送、向记录介质的记录。

图2是歌唱音输出系统1000的框图。PC 101具有CPU 11、ROM 12、RAM 13、存储部14、计时器15、操作部16、显示部17、音产生部18、输入部8、各种I/F(接口)19。上述结构要素通过总线10而彼此连接。

CPU 11对PC 101整体进行控制。在ROM 12，除了CPU 11执行的程序以外，还储存有各种数据。RAM 13提供CPU 11执行程序时的工作区域。RAM 13临时存储各种信息。存储部14包含非易失性存储器。计时器15对时间进行测量。此外，计时器15可以是计数方式。操作部16包含用于输入各种信息的多个操作件，接受来自用户的指示。显示部17对各种信息进行显示。音产生部18包含音源电路、效果电路及音响系统。

输入部8包含用于从键盘105、鼓107等输入电子音信息的设备取得音信息的接口。另外，输入部8包含用于从管乐器106等输入原声的音信息的设备取得音信息的麦克风等设备。各种I/F 19以无线或有线的方式与通信网络104(图1)连接。

云服务器102具有CPU 21、ROM 22、RAM 23、存储部24、计时器25、操作部26、显示部27、音产生部28和各种I/F 29。上述结构要素通过总线20而相互连接。上述结构要素的结构与PC 101的标号11至17、19所示的结构相同。

音输出装置103具有CPU 31、ROM 32、RAM 33、存储部34、计时器35、操作部36、显示部37、音产生部38和各种I/F 39。上述结构要素通过总线30而相互连接。上述结构要素的结构与PC 101的标号11至19所示的结构相同。

图3是歌唱音输出系统1000的功能框图。歌唱音输出系统1000具有功能模块110。功能模块110作为独立的功能部而包含示范部41、取得部42、音节确定部43、定时确定部44、合成部45、输出部46及乐句生成部47。

在本实施方式中，作为一个例子，示范部41及取得部42的各功能由PC 101实现。上述各功能由储存于ROM 12的程序以软件的方式实现。即，CPU 11在RAM 13展开执行所需的程序，对各种运算、各硬件资源进行控制而提供各功能。换言之，上述功能主要通过CPU 11、ROM 12、RAM 13、计时器15、显示部17、音产生部18、输入部8及各种I/F 19的协同动作而实现。这里执行的程序包含定序软件。

另外，音节确定部43、定时确定部44、合成部45及乐句生成部47的各功能由云服务器102实现。上述各功能由储存于ROM 22的程序以软件的方式实现。上述功能主要通过CPU21、ROM 22、RAM 23、计时器25及各种I/F 29的协同动作而实现。

另外，输出部46的功能由音输出装置103实现。输出部46的功能由储存于ROM 32的程序以软件的方式实现。上述功能主要通过CPU 31、ROM 32、RAM 33、计时器35、音产生部38及各种I/F 39的协同动作而实现。

歌唱音输出系统1000参照歌唱用数据51、定时信息52、伴奏数据53及乐句数据库54。乐句数据库54例如预先储存于ROM 12。此外，乐句生成部47及乐句数据库54在本实施方式并非必不可少。在后述的第3实施方式中对此进行说明。

歌唱用数据51、定时信息52及伴奏数据53针对每个乐曲相互相关联地预先储存于ROM 12。伴奏数据53的用于播放各个乐曲的伴奏的信息作为定序数据而记录。歌唱用数据51包含多个音节。在歌唱用数据51中包含歌词文本数据及音韵信息数据库。上述歌词文本数据是记述歌词的数据，每首乐曲的歌词以音节为单位分割而记述。在各个乐曲中，伴奏数据53的伴奏位置和歌唱用数据51的音节通过定时信息52而在时间上相关联。

在图4、图5中对功能模块110的各功能部的处理详细进行说明。这里概略进行说明。示范部41针对用户示出(教导)歌唱用数据51的行进位置。取得部42取得通过演奏而输入的至少1个音信息N(参照图4)。音节确定部43根据歌唱用数据51的多个音节而确定与所取得的音信息N对应的音节。定时确定部44将差值ΔT(参照图4)作为表示针对所确定的音节的相对的定时的相对信息与音信息N相关联。合成部45基于所确定的音节而合成歌唱音。输出部46基于上述相对信息而将合成的歌唱音与基于伴奏数据53的伴奏音同步地输出。

图4是通过演奏而输出歌唱音的处理的时序图。如果选择乐曲而开始处理，则如图4所示，在PC 101中，对用户示出与歌唱用数据51的行进位置相符的音节。例如，如“さ”、“く”、“ら”那样按顺序显示音节。发音开始定时t(t1至t3)由与伴奏数据53的时间上的对应关系规定，是由歌唱用数据51规定的本来的音节的发音开始定时。例如，时刻t1表示歌唱用数据51上的音节“さ”的发音开始位置。与音节的行进示范并行地还进行基于伴奏数据53的伴奏。

用户与所示出的音节的行进相匹配地进行演奏。这里，能够举出通过能够输入音高信息的键盘105的演奏而输入MIDI信号的例子。作为演奏者的用户与音节“さ”、“く”、“ら”的各开始定时相匹配地依次按下与各音节对应的键。以上述方式依次取得音信息N(N1至N3)。各音信息N的发音长度是从输入开始定时s(s1至s3)至输入结束定时e(e1至e3)为止的时间。输入开始定时s相当于音符开(note on)，输入结束定时e相当于音符关(note off)。在音信息N中包含音高信息及速度。

用户有时将实际的输入开始定时s相对于发音开始定时t特意错开。在云服务器102中，输入开始定时s相对于发音开始定时t的错开时间作为时间上的差值ΔT(ΔT1至T3)(相对信息)。差值ΔT针对每个音节而计算，与各音节相关联。云服务器102基于音信息N而合成歌唱音并将其与伴奏数据53一起向音输出装置103送出。

音输出装置103将歌唱音和基于伴奏数据53的伴奏音同步地输出。此时，音输出装置103针对伴奏音而以所设定的恒定的节奏进行输出。关于歌唱音，音输出装置103基于定时信息52而使各音节和伴奏位置一致并输出。此外，从音信息N的输入至歌唱音的输出为止需要处理时间。因此，音输出装置103为了使各音节和伴奏位置一致，使用延迟处理而使伴奏音的输出延迟。

例如，音输出装置103参照与各音节对应的差值ΔT对输出定时进行调整。其结果，歌唱音按照输入定时(在输入开始定时s)开始输出。例如，在比发音开始定时t2早出差值ΔT2的定时，开始音节“く”的输出(发音)。另外，在比发音开始定时t3滞后差值ΔT3的定时，开始音节“ら”的输出(发音)。各音节的发音在与输入结束定时e对应的时刻结束(消音)。因此，伴奏音以固定节奏输出，歌唱音在与演奏定时相对应的定时输出。因此，能够与伴奏同步地在输入音信息N的定时将歌唱音输出。

图5是表示通过由歌唱音输出系统1000执行的演奏而输出歌唱音的系统处理的流程图。在该系统处理中，并行地执行由PC 101执行的PC处理、由云服务器102执行的云服务器处理、及由音输出装置103执行的音输出装置处理。PC处理通过由CPU 11将ROM 12所储存的程序在RAM 13展开并执行而实现。云服务器处理通过由CPU 21将ROM 22所储存的程序在RAM 23展开并执行而实现。音输出装置处理通过由CPU 31将ROM 32所储存的程序在RAM 33展开并执行而实现。在PC 101中如果指示了系统处理的开始则开始上述各处理。

首先，对PC处理进行说明。在步骤S101中，PC 101的CPU 11从准备的多首乐曲之中，基于来自用户的指示而选择此次演奏的乐曲(以下，称为选择曲)。乐曲的演奏节奏预先针对每首乐曲而默认地决定。但是，CPU 11可以在选择演奏曲时基于来自用户的指示而对要设定的节奏进行变更。

在步骤S102中，CPU 11通过各种I/F 19而将与选择曲对应的关联数据(歌唱用数据51、定时信息52、伴奏数据53)向云服务器102发送。

在步骤S103中，CPU 11开始行进位置的示范。与此相伴，CPU 11将开始了行进位置的示范这一状况的通知向云服务器102发送。这里的示范处理，作为一个例子，通过定序软件的执行而实现。CPU 11(示范部41)利用定时信息52而示范当前的行进位置。

例如，在显示部17与歌唱用数据51的音节对应地显示歌词。CPU 11在显示的歌词上指出行进位置。例如，示范部41通过使当前位置的歌词的颜色等显示方式不同、或者使光标位置或歌词本身的位置移动而表示行进位置。并且，CPU 11以设定的节奏对伴奏数据53进行播放而表示行进位置。此外，作为表示行进位置的方法，并不限定于以上例示的方式，可以采用通过视觉或听觉进行识别的各种方法。例如，可以是在所显示的乐谱上表示当前位置的音符的方法。或者，可以在表示了开始定时之后产生节拍器音。另外，采用的方法是至少1个即可，也可以将多种方法进行组合。

在步骤S104中，CPU 11(取得部42)执行音信息取得处理。用户例如一边确认所指出的行进位置(例如聆听伴奏)、一边与歌词相匹配地进行演奏。CPU 11取得通过演奏得到的MIDI数据或模拟音作为音信息N。音信息N通常包含输入开始定时s、输入结束定时e、音高信息及速度的信息。此外，如演奏了鼓107的情况那样，并非必须包含音高信息。速度的信息可以被取消。输入开始定时s、输入结束定时e由相对于伴奏行进的相对时间进行定义。此外，在利用麦克风取得了肉声等模拟音的情况下，作为音信息N而取得音频数据。

在步骤S105中，CPU 11将步骤S104中取得的音信息N向云服务器102发送。在步骤S106中，对选择曲是否结束、即直至选择曲的最后的位置为止的行进位置的示范是否完毕进行判别。而且，在选择曲未结束的情况下，CPU 11返回至步骤S104。因此，直至选择曲结束为止，将与乐曲的行进一起与演奏对应地取得的音信息N随时向云服务器102发送。如果选择曲结束，则CPU 11将表示该状况的通知向云服务器102发送并且使PC处理结束。

接下来，对云服务器处理进行说明。在步骤S201中，如果云服务器102的CPU 21通过各种I/F 29而接收到与选择曲对应的关联数据，则进入步骤S202。在步骤S202中，CPU 21将接收到的关联数据通过各种I/F 29而向音输出装置103发送。此外，对于歌唱用数据51，无需向音输出装置103发送。

在步骤S203中，CPU 21开始一系列处理(S204至S209)。在该一系列处理开始时，CPU 21执行定序软件，使用接收到的关联数据而等待下一个音信息N的接收，并且使时间行进。在步骤S204中，CPU 21接收音信息N。

在步骤S205中，CPU 21(音节确定部43)确定与接收到的音信息N对应的音节。首先，CPU 21针对每个音节而计算出音信息N的输入开始定时s、和与选择曲对应的歌唱用数据51的多个音节的各音节的发音开始定时t之间的差值ΔT。而且，CPU 21将歌唱用数据51的多个音节之中的、差值ΔT最小的音节确定为与此次接收到的音信息N对应的音节。

例如，在图4所示的例子中，关于音信息N2，输入开始定时s2和音节“く”的发音开始定时t2之间的差值ΔT2与和其他音节之间的差值相比最小。因此，CPU 21将音节“く”确定为与音信息N2对应的音节。由此，针对每个音信息N，将与最接近输入开始定时s的发音开始定时t对应的音节确定为对应的音节。

此外，在音信息N是音频数据的情况下，CPU 21(音节确定部43)通过解析而决定音信息N的发音/消音定时、音高(pitch)及速度。

在步骤S206中，CPU 21(定时确定部44)执行定时确定处理。即，CPU 21使得差值ΔT针对此次接收到的音信息N和作为与音信息N对应的音节而确定的音节而相关联。

在步骤S207中，CPU 21(合成部45)基于确定出的音节而合成歌唱音。歌唱音的音高由对应的音信息N的音高信息决定。此外，在音信息N是鼓音的情况下，歌唱音的音高例如可以设为恒定音高。关于歌唱音的输出定时，发音定时及消音定时由对应的音信息N的发音开始定时t及输入结束定时e(或发音长度)决定。因此，根据与音信息N对应的音节，利用由演奏决定的音高而合成歌唱音。此外，演奏时的消音过迟，因此有时此次的音节的发音期间与歌唱用数据上的下一个音节的本来的发音定时重叠。在该情况下，可以将输入结束定时e校正为，使得在下一个音节的本来的发音定时以前被强制消音。

在步骤S208中，CPU 21执行数据发送。即，CPU 21将合成的歌唱音、与音节对应的差值ΔT以及演奏时的速度的信息通过各种I/F29向音输出装置103发送。

在步骤S209中，CPU 21对选择曲是否结束、即是否从PC 101接收到表示选择曲已结束这一状况的通知进行判别。而且，在选择曲未结束的情况下，CPU 21返回至步骤S204。因此，直至选择曲结束为止，合成基于与音信息N对应的音节的歌唱音并随时发送。此外，在最后接收到的音信息N数据的处理结束之后经过了规定时间的情况下，CPU 21可以判别为选择曲已结束。如果选择曲结束，则CPU 21使云服务器处理结束。

接下来，对音输出装置处理进行说明。在步骤S301中，如果音输出装置103的CPU31通过各种I/F 39而接收到与选择曲对应的关联数据，则进入步骤S302。在步骤S302中，CPU 31接收在步骤S208中从云服务器102发送来的数据(歌唱音、差值ΔT、速度)。

在步骤S303中，CPU 31(输出部46)基于接收到的歌唱音及差值ΔT、已接收到的伴奏数据53和定时信息52而执行歌唱音及伴奏的同步输出。

如在图4中说明的那样，CPU 31输出基于伴奏数据53的伴奏音，与此并行地基于定时信息和差值ΔT对输出定时进行调整，并且输出歌唱音。这里，作为伴奏音及歌唱音的代表性的同步输出的方式，采用播放。因此，音输出装置103能够以与伴奏同步的状态聆听PC101的用户的演奏。

此外，同步输出的方式并不限定于播放，可以作为语音文件而向存储部34储存，也可以通过各种I/F 39向外部装置发送。

在步骤S304中，CPU 31对选择曲是否已结束、即是否从云服务器102接收到表示选择曲已结束这一状况的通知进行判别。而且，在选择曲未结束的情况下，CPU 31返回至步骤S302。因此，直至选择曲结束为止，持续进行接收到的歌唱音的同步输出。此外，在最后接收到的数据的处理结束之后经过了规定时间的情况下，CPU 31可以判别为选择曲已结束。如果选择曲结束，则CPU 31使音输出装置处理结束。

根据本实施方式，一边对用户示出歌唱用数据51的行进位置，一边根据歌唱用数据51的多个音节而确定与所取得的音信息N对应的音节。将相对信息(差值ΔT)与音信息N相关联，基于确定出的音节而合成歌唱音。基于相对信息而将歌唱音和基于伴奏数据53的伴奏音同步地输出。因此，能够与伴奏同步地在输入了音信息N的定时输出歌唱音。

另外，在音信息N包含音高信息的情况下，能够以通过演奏而输入的音高输出歌唱音。另外，在音信息N包含速度的信息的情况下，能够以与演奏出的强度相对应的音量输出歌唱音。

此外，关联数据(歌唱用数据51、定时信息52、伴奏数据53)在决定了选择曲之后向云服务器102、音输出装置103发送，但并不限定于此。例如，可以预先将多首乐曲量的关联数据保存于云服务器102、音输出装置103。而且，在决定了选择曲时，可以将确定选择曲的信息向云服务器102、进而向音输出装置103发送。

(第2实施方式)

在本发明的第2实施方式中，系统处理的一部分与第1实施方式不同。因此，参照图5、图6主要对与第1实施方式的不同点进行说明。在第1实施方式中，演奏节奏是固定的，但在本实施方式中，演奏节奏是可变的，根据演奏者的演奏而变化。

图6是通过演奏而输出歌唱音的处理的时序图。预先决定歌唱用数据51的多个音节的顺序。在图6中，在音节的行进显示中，歌唱音输出系统1000在等待音信息N的输入的状态下对用户示出歌唱用数据的下一个音节，在每次输入音信息N时，使得表示行进位置的音节以一个为单位向下一个音节行进。因此，直至进行了与下一个音节对应的演奏输入为止，等待音节的行进显示。此外，伴奏数据的行进示范也与音节的行进相匹配地等待存在演奏输入为止。

云服务器102将在输入了音信息N的时间点按照行进顺序的下一个音节确定为与所输入的音信息N对应的音节。因此，按顺序确定与每次键接通(key on)时对应的音节。

有时实际的输入开始定时s相对于发音开始定时t错开。与第1实施方式相同地，在云服务器102中，计算出输入开始定时s相对于发音开始定时t的错开时间，作为时间上的差值ΔT(ΔT1至T3)(相对信息)。差值ΔT针对每个音节而计算，与各音节相关联。云服务器102基于音信息N而合成歌唱音，与伴奏数据53一起向音输出装置103送出。

在图6中，音节发音开始定时t’(t1’至t3’)是输出时的音节的发音开始定时。音节发音开始定时t’由输入开始定时s规定。输出时的伴奏音的行进也依赖于音节发音开始定时t’而随时间变化。

音输出装置103基于定时信息和差值ΔT而对输出定时进行调整并输出，由此将歌唱音和基于伴奏数据53的伴奏音同步地输出。此时，音输出装置103在音节发音开始定时t’输出歌唱音。音输出装置103针对伴奏音，基于差值ΔT而使各音节和伴奏位置一致并输出。音输出装置103为了使各音节和伴奏位置一致，使用延迟处理而使伴奏音的输出延迟。因此，歌唱音在与演奏定时相对应的定时被输出，伴奏音的节奏与演奏定时相匹配地变化。

按照图5的流程图对本实施方式的系统处理进行说明。未特别提及的部分与第1实施方式相同。

在PC 101中，在步骤S103中开始的示范处理中，CPU 11(示范部41)使用定时信息52而示范当前的行进位置。在步骤S104中，CPU 11(取得部42)执行音信息取得处理。用户一边确认行进位置，一边演奏输入与下一个音节对应的声音。CPU 11直至进行了下一个音信息N的输入为止等待音节的示范行进及伴奏行进。因此，CPU 11在等待音信息N的输入的状态下示范下一个音节，在每次输入音信息N时，使表示行进位置的音节以一个音节为单位向下一个音节行进。CPU 11使得伴奏的行进也与音节的示范行进一致。

在云服务器102中，在步骤S203中开始的一系列处理中，CPU 21等待音信息N的接收并且使时间行进。在步骤S204中，CPU 21随时接收音信息N，如果接收到音信息N，则推进时间的行进。因此，直至存在下一个音信息N的接收为止，等待时间的行进。

如果接收到音信息N，则在步骤S205中CPU 21(音节确定部43)确定与接收到的音信息N对应的音节。这里，CPU 21将在输入了音信息N的时间点按照行进顺序的下一个音节确定为与此次接收到的音信息N对应的音节。因此，在每次存在演奏的键接通时按顺序确定对应的音节。

在确定了音节之后，在步骤S206中，CPU 21对差值ΔT进行计算并与确定出的音节关联起来。即，如图6所示，CPU 21求出输入开始定时s相对于与确定出的音节对应的发音开始定时t的错开时间，作为差值ΔT。而且，CPU 21使求出的差值ΔT与确定出的音节关联起来。

在步骤S208的数据发送中，CPU 21将合成出的歌唱音、与音节对应的差值ΔT、和演奏时的速度通过各种I/F 29而向音输出装置103发送。

在音输出装置103中，在步骤S303中执行的同步输出处理中，CPU 31(输出部46)基于接收到的歌唱音及差值ΔT、已接收到的伴奏数据53和定时信息52而执行歌唱音及伴奏的同步输出。此时，CPU 31通过参照差值ΔT对伴奏音及歌唱音的输出定时进行调整而一边使各音节和伴奏位置一致一边进行输出处理。

其结果，如图6所示，歌唱音按输入定时(在输入开始定时s)开始输出。例如，在比发音开始定时t2早出差值ΔT2的定时开始音节“く”的输出(发音)。另外，在比发音开始定时t3滞后差值ΔT3的定时开始音节“ら”的输出(发音)。各音节的发音在与输入结束定时e对应的时刻结束。

另一方面，伴奏音的演奏节奏与演奏定时相匹配地变化。例如，CPU 31针对伴奏音将发音开始定时t2的位置校正为发音开始定时t2’的位置而输出。

因此，伴奏音以可变节奏输出，歌唱音在与演奏定时相对应的定时输出。因此，能够与伴奏同步地在输入了音信息N的定时输出歌唱音。

根据本实施方式，示范部41在等待音信息N的输入的状态下示出下一个音节，在每次输入音信息N时，使表示行进位置的音节以一个音节为单位向下一个音节行进。而且，音节确定部43将在输入音信息N的时间点按照行进顺序的下一个音节确定为与所输入的音信息N对应的音节。因而，关于与伴奏同步地在输入了音信息N的定时输出歌唱音，能够实现与第1实施方式相同的效果。另外，即使在用户以自由的节奏进行了演奏的情况下，也能够根据用户的演奏节奏与伴奏同步地输出歌唱音。

此外，在第1、第2实施方式中，与音信息N相关联的相对信息并不限定于差值ΔT。例如，表示相对于确定出的音节的相对的定时的相对信息可以是以由定时信息52规定的某个时刻为基准的、音信息N的相对时间及各音节的相对时间。

(第3实施方式)

参照图1至图3、图7对本发明的第3实施方式进行说明。如果能够使用鼓之类的、无法输入音高信息的设备而发音出歌唱音，则乐趣增加。因此，在本实施方式中，将鼓107用于演奏输入。在本实施方式中，并未示范伴奏、音节的行进，如果用户自由地对鼓107进行打击演奏，则针对由此取得的1个单位的一系列音信息N的每一者而生成歌唱乐句。歌唱音输出系统1000的基本结构与第1实施方式相同。在本实施方式中，设想利用鼓107的演奏输入，以不具有音高信息为前提，因此应用与第1实施方式不同的控制。

在本实施方式中，图3所示的示范部41、定时确定部44、歌唱用数据51、定时信息52、伴奏数据53并非必不可少。乐句生成部47根据一系列音信息N的各个音信息N的速度对一系列音信息N的重音进行解析，基于该重音而生成由与一系列音信息N对应的多个音节构成的乐句。乐句生成部47通过从包含预先准备的多个乐句在内的乐句数据库54提取与上述重音一致的乐句，生成与一系列音信息N对应的乐句。提取具有构成一系列音信息N的音节数的乐句。

这里，一系列音信息N的重音是指基于声音的相对的强弱的强弱重音。乐句的重音是指各音节的相对的音高的高低的高低重音。因此，音信息N的声音的强弱与乐句的音高的高低对应。

图7是表示通过由歌唱音输出系统1000执行的演奏而输出歌唱音的系统处理的流程图。该系统处理中的PC处理、云服务器处理、音输出装置处理的执行主体、执行条件、开始条件与图5所示的系统处理相同。

首先，对PC处理进行说明。在步骤S401中，PC 101的CPU 11基于来自用户的指示而向演奏开始状态跳转。此时，CPU 11将表示向演奏开始状态跳转这一状况的通知通过各种I/F 19向云服务器102发送。

在步骤S402中，如果用户对鼓107进行打击，则CPU 11(取得部42)取得与此相对应的音信息N。此外，音信息N是MIDI数据或模拟音。音信息N至少包含表示输入开始定时(打击开始)的信息和表示速度的信息。

在步骤S403中，CPU 11(取得部42)对是否确定了此次的一系列音信息N进行判别。例如CPU 11在向演奏开始状态跳转之后在第1规定时间内输入了最开始的音信息N的情况下，如果在输入最后的音信息N之后经过了第2规定时间，则判别为确定了一系列音信息N。作为一系列音信息N，设想多个音信息N成为一体，但也可以是1个音信息N。

在步骤S404中，CPU 11将所取得的一系列音信息N向云服务器102发送。在步骤S405中，CPU 11对是否从用户指示了演奏状态的结束进行判别。而且，CPU 11在未指示演奏结束的情况下，返回至步骤S402，在指示了演奏结束的情况下，将表示该状况的通知发送至云服务器102，并且使PC处理结束。因此，在每次确定了一体的一系列音信息N时，发送该一系列音信息N。

接下来，对云服务器处理进行说明。CPU 21如果接收到表示向演奏开始状态跳转这一状况的通知，则在步骤S501中开始一系列处理(S502至S506)。在步骤S502中，CPU 21接收在步骤S404中从PC 101发送来的一系列音信息N。

在步骤S503中，CPU 21(乐句生成部47)针对此次的一系列音信息N而生成1个乐句。以下例示出该方法。例如，CPU 21根据各音信息N的速度对一系列音信息N的重音进行解析，从乐句数据库54提取与该重音和构成一系列音信息N的音节数一致的乐句。此时，可以根据条件而缩小提取范围。例如，乐句数据库54可以针对每个条件而进行分类，由用户设定“名词”、“水果”、“文具”、“颜色”、“大小”等条件的至少1个。

例如，考虑音信息N的数量为4个、且条件为“水果”的情况。如果解析出的重音设为“强、弱、弱、弱”，则提取出“榴莲”，如果重音设为“弱、强、弱、弱”，则提取出“桔子”。考虑音信息N的数量为4个、且条件为“文具”的情况。如果解析出的重音设为“强、弱、弱、弱”，则提取出“圆规”，如果重音设为“弱、强、弱、弱”，则提取出“蜡笔”。此外，并非必须设定条件。

在步骤S504中，CPU 21(合成部45)根据所生成的乐句而合成歌唱音。歌唱音的音高可以遵照针对乐句设定的各音节的音高。在步骤S505中，CPU 21将歌唱音通过各种I/F29向音输出装置103发送。

在步骤S506中，CPU 21对是否从PC 101接收到表示指示了演奏结束这一状况的通知进行判别。而且，在CPU 21未接收到表示指示了演奏结束这一状况的通知的情况下，返回至步骤S502。在CPU 21接收到表示指示了演奏结束这一状况的通知的情况下，将表示指示了演奏结束这一状况的通知向音输出装置103发送，并且使云服务器处理结束。

接下来，对音输出装置处理进行说明。在步骤S601中，如果音输出装置103的CPU31通过各种I/F 39接收到歌唱音，则进入步骤S602。在步骤S602中，CPU 31(输出部46)将接收到的歌唱音输出。各音节的输出定时依赖于对应的音信息N的输入定时。这里所说的输出方式与第1实施方式相同地，并不限定于播放。

在步骤S603中，对是否从云服务器102接收到表示指示了演奏结束这一状况的通知进行判别。而且，在CPU 31未接收到表示指示了演奏结束这一状况的通知的情况下返回至步骤S601，在接收到表示指示了演奏结束这一状况的通知的情况下，使音输出装置处理结束。因此，CPU 31在每次接收到乐句的歌唱音时随时输出。

根据本实施方式，能够输出与演奏输入的定时和强度相对应的歌唱音。

此外，在本实施方式中，对鼓头的打击和对边缘的打击(边缘打击)的音色不同，因此该音色的不同也可以用于乐句生成的参数。例如，可以通过对鼓头的打击和边缘打击而使得乐句提取用的上述条件不同。

此外，作为因打击产生声音的乐器，并不限定于鼓，也可以是拍手的手打拍。此外，在使用电子鼓的情况下，可以对鼓头的打击位置进行检测并将打击位置的不同用于乐句生成的参数。

此外，在本实施方式中，在能够取得的音信息N包含音高信息的情况下，可以将音高的高低置换为重音并进行与鼓打击时相同的处理。例如，在用钢琴演奏了“ド(do)、ミ(mi)、ド(do)”的情况下，可以提取出与利用鼓演奏出“弱·强·弱”的情况相当的乐句。

此外，在上述各实施方式中，在音输出装置103中具有多个歌唱声音(多性别等)的情况下，可以根据音信息N而对使用的歌唱声音进行切换。例如，在音信息N是音频数据的情况下，可以根据其音色而对歌唱声音进行切换。在音信息N是MIDI数据的情况下，可以根据在PC 101中设定的音色、其他参数而对歌唱声音进行切换。

此外，在上述各实施方式中，歌唱音输出系统1000并非必须包含PC 101、云服务器102及音输出装置103。并不限定于经由云服务器的系统。即，图3所示的各功能部可以由任意装置实现，也可以由1个装置实现。假设在上述各功能部由形成为一体的1个装置实现的情况下，也可以不将该装置称为歌唱音输出系统，可以称为歌唱音输出装置。

此外，在上述各实施方式中，可以由AI(Artificial Intelligence)实现图3所示的各功能部的至少一部分。

以上基于优选的实施方式对本发明进行了详细叙述，但本发明并不限定于上述特定的实施方式，未脱离本发明的主旨的范围的各种方式也包含于本发明。可以适当地对上述实施方式的一部分进行了组合。

此外，可以通过将存储有由用于达成本发明的软件表示的控制程序的存储介质读出至本系统，实现与本发明相同的效果，在该情况下，从存储介质读出的程序代码本身实现本发明的新功能，存储了该程序代码的、非临时性的计算机可读取的记录介质构成本发明。另外，可以经由传输介质等而供给程序代码，在该情况下，程序代码本身构成本发明。此外，作为上述情况下的存储介质，除了ROM以外，还可以使用软盘、硬盘、光盘、光磁盘、CD-ROM、CD-R、磁带、非易失性的存储卡等。作为非临时性的计算机可读取的记录介质，还包含如经由互联网等网络、电话线路等通信线路发送了程序的情况下的成为服务器、客户端的计算机系统内部的易失性存储器(例如DRAM(Dynamic Random Access Memory))那样，以一定时间保存程序的记录介质。

标号的说明

41 示范部

42 取得部

43 音节确定部

44 定时确定部

46 输出部

1000 歌唱音输出系统。

Claims (20)

1.一种歌唱音输出系统，其具有：

示范部，其对用户示出与伴奏数据在时间上相关联并且包含多个音节的歌唱用数据的行进位置；

取得部，其取得通过演奏而输入的至少1个音信息；

音节确定部，其根据所述歌唱用数据的多个音节而确定与由所述取得部取得的所述音信息对应的音节；

定时确定部，其将表示相对于确定出的所述音节的相对的定时的相对信息与所述音信息相关联；

合成部，其基于确定出的所述音节而合成歌唱音；以及

输出部，其基于所述相对信息而将由所述合成部合成的所述歌唱音和基于所述伴奏数据的伴奏音同步地输出。

2.根据权利要求1所述的歌唱音输出系统，其中，

所述音信息至少包含音高信息，

所述合成部基于确定出的所述音节和所述音高信息而合成所述歌唱音。

3.根据权利要求1或2所述的歌唱音输出系统，其中，

所述示范部在与所述歌唱用数据的音节对应地显示的歌词上示出所述行进位置。

4.根据权利要求1或2所述的歌唱音输出系统，其中，

所述示范部通过以预先设定的节奏播放所述伴奏数据，从而示出所述歌唱用数据的所述行进位置。

5.根据权利要求1至4中任一项所述的歌唱音输出系统，其中，

所述音节确定部将所述歌唱用数据的多个音节之中的、由与所述伴奏数据的时间上的对应关系规定的发音开始定时和所述音信息的输入开始定时之间的差值最小的音节，确定为与所述音信息对应的音节。

6.根据权利要求5所述的歌唱音输出系统，其中，

所述相对信息为所述差值。

7.根据权利要求1至6中任一项所述的歌唱音输出系统，其中，

所述伴奏数据和所述歌唱用数据的多个音节通过定时信息而在时间上相关联，

所述输出部与所述伴奏音的输出并行地，关于所述歌唱音基于所述定时信息和所述相对信息对输出定时进行调整并输出，由此将所述歌唱音和所述伴奏音同步地输出。

8.根据权利要求1至3中任一项所述的歌唱音输出系统，其中，

预先决定所述歌唱用数据的音节的顺序，

所述示范部在等待音信息的输入的状态下，示出所述歌唱用数据的下一个音节，在每次输入音信息时，使表示行进位置的音节以1个音节为单位向下一个音节行进，

所述音节确定部将在输入了音信息的时间点按照行进顺序的下一个音节，确定为与所输入的所述音信息对应的音节。

9.根据权利要求8所述的歌唱音输出系统，其中，

所述伴奏数据和所述歌唱用数据的多个音节通过定时信息而在时间上相关联，

所述定时确定部求出确定出的所述音节的由与所述伴奏数据的时间上的对应关系规定的发音开始定时和所述音信息的输入开始定时之间的差值，作为所述相对信息，

所述输出部关于所述歌唱音及所述伴奏音基于所述定时信息和所述差值对输出定时进行调整并输出，由此将所述歌唱音和所述伴奏音同步地输出。

10.一种歌唱音输出系统，其具有：

取得部，其取得至少包含表示定时的信息和表示速度的信息在内的一系列音信息；

乐句生成部，其根据由所述取得部取得的所述一系列音信息的各个音信息的速度对所述一系列音信息的重音进行解析，基于该重音而生成由与所述一系列音信息对应的多个音节构成的乐句；

合成部，其基于由所述乐句生成部生成的乐句的音节而合成歌唱音；以及

输出部，其将由所述合成部合成的歌唱音输出。

11.根据权利要求10所述的歌唱音输出系统，其中，

所述乐句生成部从预先准备的乐句的数据库提取出与所述重音吻合的乐句，由此生成与所述一系列音信息对应的乐句。

12.一种歌唱音输出方法，其中，

对用户示出与伴奏数据在时间上相关联并且包含多个音节的歌唱用数据的行进位置，

取得通过演奏而输入的至少1个音信息，

根据所述歌唱用数据的多个音节而确定与取得的所述音信息对应的音节，

将表示相对于确定出的所述音节的相对的定时的相对信息与所述音信息相关联，

基于确定出的所述音节而合成歌唱音，

基于所述相对信息而将合成出的所述歌唱音和基于所述伴奏数据的伴奏音同步地输出。

13.根据权利要求12所述的歌唱音输出方法，其中，

所述音信息至少包含音高信息，

在合成所述歌唱音时，基于确定出的所述音节和所述音高信息而合成所述歌唱音。

14.根据权利要求12或13所述的歌唱音输出方法，其中，

在示出所述行进位置时，在与所述歌唱用数据的音节对应地显示的歌词上示出所述行进位置。

15.根据权利要求12或13所述的歌唱音输出方法，其中，

在示出所述行进位置时，通过以预先设定的节奏播放所述伴奏数据，从而示出所述歌唱用数据的所述行进位置。

16.根据权利要求12至15中任一项所述的歌唱音输出方法，其中，

在确定与所述音信息对应的音节时，将所述歌唱用数据的多个音节之中的由与所述伴奏数据的时间上的对应关系规定的发音开始定时和所述音信息的输入开始定时之间的差值最小的音节，确定为与所述音信息对应的音节。

17.根据权利要求16所述的歌唱音输出方法，其中，

所述相对信息为所述差值。

18.根据权利要求12至17中任一项所述的歌唱音输出方法，其中，

所述伴奏数据和所述歌唱用数据的多个音节通过定时信息而在时间上相关联，

在输出所述歌唱音时，与所述伴奏音的输出并行地，关于所述歌唱音基于所述定时信息和所述相对信息对输出定时进行调整并输出，由此将所述歌唱音和所述伴奏音同步地输出。

19.根据权利要求12至14中任一项所述的歌唱音输出方法，其中，

预先决定所述歌唱用数据的音节的顺序，

在示出所述行进位置时，在等待音信息的输入的状态下，示出所述歌唱用数据的下一个音节，在每次输入音信息时，使表示行进位置的音节以1个音节为单位向下一个音节行进，

在确定与所述音信息对应的音节时，将在输入了音信息的时间点按照行进顺序的下一个音节，确定为与所输入的所述音信息对应的音节。

20.根据权利要求19所述的歌唱音输出方法，其中，

所述伴奏数据和所述歌唱用数据的多个音节通过定时信息而在时间上相关联，

在将所述相对信息与所述音信息相关联时，求出确定出的所述音节的由与所述伴奏数据的时间上的对应关系规定的发音开始定时和所述音信息的输入开始定时之间的差值，作为所述相对信息，

在输出所述歌唱音时，关于所述歌唱音及所述伴奏音基于所述定时信息和所述差值对输出定时进行调整并输出，由此将所述歌唱音和所述伴奏音同步地输出。