CN109584910A - 歌唱音频的编辑辅助方法以及歌唱音频的编辑辅助装置 - Google Patents

Abstract

本发明的歌唱音频的编辑辅助方法以及歌唱音频的编辑辅助装置使得在歌唱音频的合成中能够容易地进行与音符对应的歌词的音频的播放开始部分的编辑。歌唱音频的编辑辅助方法具有下述的波形显示步骤和音素显示步骤。在波形显示步骤中，将与表示音符的时间序列的乐谱数据和表示歌词的歌词数据相当的歌唱波形数据所表示的歌唱波形，在一个轴表示音高、另一个轴表示时间的波形显示画面针对每个音符进行配置而显示于显示装置。在音素显示步骤中，将表示歌词的音素的信息显示于所述波形显示画面中的该音素的发声位置。

Description

歌唱音频的编辑辅助方法以及歌唱音频的编辑辅助装置

技术领域

本发明涉及对歌唱音频的编辑进行辅助的技术。

背景技术

近年，将歌唱音频电气性地合成的歌唱合成技术正在普及。在现有的歌唱合成技术中，通常使用钢琴卷轴形式的画面而进行构成曲子的旋律的音符的输入或与音符匹配地发声的歌词的输入(例如，参照专利文献1)。

专利文献1：日本特开2011－211085号公报

在实际的歌唱音频中，有时音符的开始定时和与该音符对应的歌词的音频的播放开始定时没有对准。但是，在专利文献1公开的技术中，不能掌握音符的开始定时和与该音符对应的歌词的音频的播放开始定时的偏差，存在与音符对应的歌词的音频的播放开始部分的编辑困难这样的问题。

发明内容

本发明就是鉴于以上说明的课题而提出的，其目的在于，提供使得在歌唱音频的合成中能容易地进行与音符对应的歌词的音频的播放开始部分的编辑的技术。

为了解决上述课题，本发明提供一种歌唱音频的编辑辅助方法，其特征在于，具有以下的波形显示步骤和音素显示步骤。波形显示步骤将与表示音符的时间序列的乐谱数据和表示歌词的歌词数据相当的歌唱波形数据所表示的歌唱波形，在一个轴表示音高、另一个轴表示时间的波形显示画面针对每个音符进行配置，显示于显示装置。音素显示步骤是将表示歌词的音素的信息显示于所述波形显示画面中的该音素的发声位置的步骤。

根据本发明，能够根据在波形显示画面显示的歌唱波形的开始位置和表示歌词的音素的信息的显示位置，通过视觉容易地掌握音符的开始定时和与音符对应的歌词的音频的播放开始定时的偏差。因此，根据本发明，能够视觉性地掌握音符的开始定时和与音符对应的歌词的音频的播放开始定时的偏差，并进行歌唱音频的编辑，因此与音符对应的歌词的音频的播放开始部分的编辑变得容易。

在更优选的方式中，上述编辑辅助方法的特征在于，包含以下的切换步骤和计算步骤。切换步骤是将对所述乐谱数据和所述歌词数据中的至少一者的编辑指示的输入作为契机，将所述显示装置的显示画面切换为用于对所述乐谱数据和所述歌词数据中的至少一者进行编辑的乐谱编辑画面的步骤。计算步骤是与对所述乐谱编辑画面的编辑操作相对应地对所述乐谱数据和所述歌词数据中的至少一者进行变更，重新计算所述歌唱波形数据的步骤。作为乐谱编辑画面的一个例子，可举出前述的钢琴卷轴形式的画面。这是因为，在编辑乐谱数据或者歌词数据时前述的钢琴卷轴形式的画面是优选的。根据本发明，能够切换为适合于乐谱数据或歌词数据的编辑的画面，进行这些数据的编辑，并且能够立即掌握由于这些数据的变更而产生的歌唱波形的变化或构成歌词的音素的变化(或者该音素的发声位置或音高的变化)。

在其他优选的方式中，上述编辑辅助方法的特征在于，包含以下的开始定时编辑步骤和计算步骤。开始定时编辑步骤是接受与音符对应的歌唱波形的开始定时的变更指示，与指示内容相对应地对歌唱波形的开始定时进行编辑的步骤。计算步骤是与开始定时编辑步骤中的编辑内容相对应地重新计算所述歌唱波形数据的步骤。根据该方式，能够确认与音符对应的歌唱波形的开始定时的变更相伴的歌唱波形的变化，并且对歌唱波形的开始定时进行变更，能进一步容易地进行与音符对应的歌词的音频的播放开始部分的编辑。在进一步优选的方式中，上述编辑辅助方法的特征在于，还具有音符显示步骤，在该音符显示步骤中，按照所述乐谱数据将表示音符的一整格的图形即音符块针对每个音符而显示于波形显示画面。根据该方式，能够更明确地掌握音符的开始定时和歌唱波形的开始位置的关系，能够进一步容易地进行与音符对应的歌词的音频的播放开始部分的编辑。

在其他优选的方式中，上述编辑辅助方法的特征在于，包含以下的音高曲线显示步骤、音高曲线编辑步骤及计算步骤。音高曲线显示步骤是按照所述乐谱数据将表示音高的时间变化的音高曲线显示于所述波形显示画面的步骤。音高曲线编辑步骤是针对每个音符接受所述音高曲线中的激音部分或释音部分的变更指示，与指示内容相对应地对所述音高曲线进行编辑的步骤。而且，计算步骤是与所述音高曲线编辑步骤中的编辑内容相对应地重新计算所述歌唱波形数据的步骤。根据该方式，能够一目了然地掌握音高的时间变化和歌唱波形的关系，能进一步容易地进行与音符对应的歌词的音频的播放开始部分的编辑。作为进一步优选的方式，可想到下述方式，即，在所述音高曲线编辑步骤中，将对与赋予给所述歌唱音频的音响效果的种类相对应地在时间轴方向和音量轴方向中的至少一个方向上使所述音高曲线进行伸缩这一情况进行提示的编辑辅助画面，显示于所述显示装置，与对该编辑辅助画面的指示内容相对应地编辑所述音高曲线。根据该方式，音高曲线的编辑变得容易。

另外，为了解决上述课题，本发明提供一种歌唱音频的编辑辅助装置，其特征在于，具有以下的波形显示单元和音素显示单元。波形显示单元将与表示音符的时间序列的乐谱数据和表示歌词的歌词数据相当的歌唱波形数据所表示的歌唱波形，在一个轴表示音高、另一个轴表示时间的波形显示画面针对每个音符进行配置，显示于显示装置。音素显示单元将表示歌词的音素的信息显示于所述波形显示画面中的该音素的发声位置。根据该方式，能容易地进行歌唱音频的合成中的与音符对应的歌词的音频的播放开始部分的编辑。

作为本发明的其他方式，可想到提供使计算机执行上述波形显示步骤和上述音素显示步骤的程序、或者使计算机作为上述波形显示单元及上述音素显示单元起作用的程序的方式。另外，作为上述程序的具体的提供方式，可想到通过经由因特网等电信线路的下载而发布的方式、写入至CD－ROM(Compact Disk-Read Only Memory)等计算机可读的记录介质而发布的方式。

附图说明

图1是表示执行本发明的一个实施方式涉及的编辑辅助方法的歌唱合成装置1的结构例的图。

图2是表示歌唱合成输入数据的结构及歌唱合成输出数据的结构的图。

图3是表示按照编辑辅助程序进行工作的控制部100使显示部120a进行显示的乐谱编辑画面的一个例子的图。

图4是表示编辑对象的歌唱合成输入数据被指定后的乐谱编辑画面的显示例的图。

图5是表示按照编辑辅助程序而由控制部100执行的更新处理的流程的流程图。

图6是表示按照编辑辅助程序而由控制部100执行的波形显示处理的流程的流程图。

图7是表示按照编辑辅助程序进行工作的控制部100使显示部120a进行显示的波形显示画面的一个例子的图。

图8是表示按照编辑辅助程序进行工作的控制部100使显示部120a进行显示的波形显示画面的一个例子的图。

图9是表示按照编辑辅助程序而由控制部100执行的更新处理的流程的流程图。

图10是表示波形显示画面中的歌唱波形的开始定时的编辑对象区域A03的显示例的图。

图11是表示对音高曲线的激音部分或者释音部分赋予效果时的编辑辅助画面的一个例子的图。

图12是表示本发明的编辑辅助装置10的结构例的图。

标号的说明

1…歌唱合成装置，10…编辑辅助装置，100…控制部，110…外部仪器I/F部，120…用户I/F部，120a…显示部，120b…操作部，120c…声音输出部，130…存储部，132…易失性存储部，134…非易失性存储部，140…总线。

具体实施方式

下面，一边参照图面，一边对本发明的实施方式进行说明。

图1是表示本发明的一个实施方式的歌唱合成装置1的结构例的图。歌唱合成装置1例如是个人计算机，预先安装有歌唱合成用数据库134a和歌唱合成程序134b。如图1所示，歌唱合成装置1具有控制部100、外部仪器接口部110、用户接口部120、存储部130、以及对这些结构要素间的数据的收发进行中转的总线140。此外，在图1中，外部仪器接口部110简记为外部仪器I/F部110，用户接口部120简记为用户I/F部120。下面，在本说明书中也同样地简记。在本实施方式中，对歌唱合成用数据库134a及歌唱合成程序134b的安装目的地的计算机装置为个人计算机的情况进行说明，但也可以是平板终端或智能手机、PDA等便携型信息终端，另外也可以是便携型或者固定型的家庭用游戏机。

控制部100是例如CPU(Central Processing Unit)。控制部100通过执行在存储部130存储的歌唱合成程序134b，从而作为歌唱合成装置1的控制中枢起作用。

虽然在图1中省略图示，但外部仪器I/F部110包含通信接口和USB接口。外部仪器I/F部110在与其他计算机装置等外部仪器之间进行数据收发。具体地说，在USB(UniversalSerial Bus)接口连接USB存储器等，在通过控制部100进行的控制之下从该USB存储器读出数据，将读出的数据传送给控制部100。通信接口与因特网等电信电路有线连接或无线连接。通信接口在通过控制部100进行的控制之下将从连接目的地的电信线路接收到的数据传送给控制部100。外部仪器I/F部110在歌唱合成用数据库134a、歌唱合成程序134b的安装时被利用。

用户I/F部120具有显示部120a、操作部120b以及声音输出部120c。显示部120a是例如液晶显示器和其驱动电路。显示部120a在通过控制部100进行的控制之下，显示各种图像。作为显示于显示部120a的图像的一个例子，可举出用于对歌唱音频的编辑进行辅助的各种画面的图像。操作部120b包含例如鼠标等定点设备和键盘。如果由用户对操作部120b进行了某种操作，则操作部120b将表示其操作内容的数据传送给控制部100。由此，用户的操作内容传递至控制部100。此外，在将歌唱合成程序134b安装于便携型信息终端而构成歌唱合成装置1的情况下，作为操作部120b使用触摸面板即可。声音输出部120c包含：D/A变换器，其对从控制部100给予的波形数据实施D/A变换，输出模拟声音信号；以及扬声器，其与从D/A变换器输出的模拟声音信号对应地输出声音。在对合成出的歌唱音频进行播放时利用声音输出部120c。

存储部130如图1所示，包含易失性存储部132和非易失性存储部134。易失性存储部132是例如RAM(Random Access Memory)。易失性存储部132作为在执行程序时的工作区而被控制部100利用。非易失性存储部134是例如硬盘。在非易失性存储部134中存储有歌唱合成用数据库134a。在歌唱合成用数据库134a中，针对音色而分类存储有音色或音素不同的多种多样的音频单元的各种波形数据即音频单元数据。在非易失性存储部134中，除了歌唱合成用数据库134a之外，还存储有歌唱合成程序134b。另外，在图1中，省略了详细的图示，但在非易失性存储部134中，存储有使控制部100实现OS(Operating System)的内核程序。

控制部100将歌唱合成装置1的电源接通作为契机将内核程序从非易失性存储部134读出至易失性存储部132，开始其执行。此外，在图1中，省略了歌唱合成装置1的电源的图示。按照内核程序实现了OS的状态下的控制部100将通过对操作部120b的操作而被指示了执行的程序从非易失性存储部134向易失性存储部132读出，开始其执行。例如，在通过对操作部120b的操作而被指示了执行歌唱合成程序134b的情况下，控制部100将歌唱合成程序134b从非易失性存储部134向易失性存储部132读出，开始其执行。此外，作为对程序的执行进行指示的操作的具体例，可举出与程序相关联地显示于显示部120a的图标的鼠标点击或对该图标的点按。

按照歌唱合成程序134b进行工作的控制部100作为歌唱合成引擎起作用，即，按照表示与成为歌唱音频的合成对象的曲子的旋律对应的音符的时间序列的乐谱数据、和表示与音符匹配地发声的歌词的歌词数据，生成歌唱合成输出数据，将该生成的歌唱合成输出数据写入至非易失性存储部134。歌唱合成输出数据是指，表示按照乐谱数据和歌词数据进行合成的歌唱音频的声音波形的波形数据(例如，wav格式的音频数据)，更具体地说，是对该声音波形进行采样而得到的样品例。在本实施方式中，上述乐谱数据和歌词数据作为将两者设为一体的歌唱合成输入数据而存储至歌唱合成装置1。另外，按照该歌唱合成输入数据生成的歌唱合成输出数据与该歌唱合成输入数据相关联地存储。

图2是表示歌唱合成输入数据IND和根据该歌唱合成输入数据IND进行合成的歌唱合成输出数据OUTD之间的关系的图。歌唱合成输入数据IND是依照例如SMF(Standard MIDIFile)的形式的数据、即将应该发声的音符(Note)的事件按照发声顺序进行规定的数据。如图2所示，歌唱合成输入数据IND是按照构成成为歌唱音频的合成对象的曲子的旋律的音符的发声顺序、表示该音符的开始/结束时刻的数据、表示该音符的音高的音程数据、表示与该音符匹配地发声的歌词的歌词数据、以及对歌唱音频中的歌唱的个性的调整用参数进行排列的数据。表示音符的开始/结束时刻的数据和表示该音符的音高的音程数据起到前述的乐谱数据的作用。作为歌唱音频的歌唱的个性的调整的具体例，举出以成为像人进行了歌唱那样的自然的歌唱音频的方式对音量的变化方式或音高的变化方式、歌词的发声的长度进行编辑。作为歌唱音频中的歌唱的个性的调整用参数的具体例，可举出乐谱数据所表示的各音符的音量、音高及继续时间的至少一个、气息的赋予定时或者次数、表示气息的强度的参数、对歌唱音频的声音音调(音色)进行指定的数据、对与音符匹配地发声的歌词的辅音的长度进行规定的数据、表示颤音的持续时间及振幅的数据等。在本实施方式中，与现有的歌唱合成技术同样地使SMF中的音符的Velocity数据担当对与该音符匹配地发声的歌词的辅音的长度进行规定的数据的作用。

在本实施方式中，作为表示与音符匹配地发声的歌词的歌词数据，使用表示构成歌词的字符串的文本数据、和表示该歌词的音素的发声符号数据。但是，作为上述歌词数据，即可以仅使用文本数据，或者也可以仅使用发声符号数据。但是，在作为歌词数据仅使用上述文本数据的情况下，需要将根据该文本数据生成发声符号数据的机制设置于歌唱合成程序134b。即，本实施方式的歌唱合成输入数据中的歌词数据是表示歌词的发声符号的数据、或者只要是能够对该发声符号进行确定的数据则可以是任何内容或者形式的数据。

如图2所示，通过歌唱合成引擎而生成，写入至非易失性存储部134的歌唱合成输出数据OUTD是将针对歌唱音频的每一时间帧(time frame)而表示该时间帧中的歌唱音频的波形的歌唱波形数据、表示该时间帧中的音高的时间变化的音高曲线(Pitch curve)数据、和表示该时间帧中的歌词的音素的发声符号数据排列的数据。时间帧是指，构成歌唱波形数据的样品列的采样定时，歌唱波形数据或者音高曲线数据的每一时间帧的数据是指，每个采样定时的歌唱波形或者音高曲线的样品值。歌唱合成输出数据OUTD所包含的歌唱波形数据是将通过将歌唱合成输入数据IND所表示的针对每个音符而与该音符匹配地发声的与歌词的音素对应的音频单元数据从歌唱合成用数据库134a读出，进行与该音符的音高对应的音高变换而连接，由此生成的。

在歌唱合成程序134b中包含有用于对歌唱音频的编辑进行辅助的编辑辅助程序。在通过对操作部120b的操作而被指示了执行歌唱合成程序134b的情况下，控制部100首先执行编辑辅助程序。按照编辑辅助程序工作的控制部100与现有的歌唱合成技术的情况同样地，将钢琴卷轴形式的乐谱编辑画面显示于显示部120a，对歌词的输入或音符的输入进行辅助。在此基础上，本实施方式的编辑辅助程序为了使得容易地进行与音符对应的歌词的音频的播放开始部分的编辑，构成为与用户的指示对应地进行歌唱波形的显示，该点就是本实施方式的特征之一。

下面，将基于图2所示的歌唱合成输入数据IND及该歌唱合成输入数据IND而生成的歌唱合成输出数据OUTD已经存储于非易失性存储部134的情况作为例子，对按照编辑辅助程序执行的编辑辅助方法的流程进行说明。

开始了编辑辅助程序的执行的控制部100首先将如图3所示的乐谱编辑画面显示于显示部120a。乐谱编辑画面是指，在呈现乐曲的数据时，将音高的事件通过图形显示进行呈现，通过对该图形的操作而能够编辑对音高的事件进行规定的数据的画面。如图3所示，在乐谱编辑画面中，设置有一个轴表示音高、另一个轴表示时间的钢琴卷轴形式的编辑区域A01和数据读入按钮B01。钢琴卷轴形式是指，用纵轴显示音高、用横轴显示时间的显示形式。数据读入按钮B01是通过鼠标的点击等可操作的虚拟操作件。如图3所示，在刚刚开始执行编辑辅助程序后在显示部120a显示的乐谱编辑画面的编辑区域A01中，不会显示音符、与音符匹配地发声的歌词。

对图3所示的乐谱编辑画面进行了视觉确认的用户通过对操作部120b的操作，能够输入构成合成对象的歌唱音频的旋律的音符、与音符匹配地发声的歌词。另外，用户通过对操作部120b的操作，对数据读入按钮B01进行点击，由此能够对将已经生成完成的歌唱合成输入数据作为编辑对象读入这一情况进行指示。如果数据读入按钮B01被点击，则控制部100将表示在非易失性存储部134储存的歌唱合成输入数据的信息(例如，表示文件名的字符串)的列表显示于显示部120a。用户能够通过进行针对该列表的选择操作，由此对编辑对象的歌唱合成输入数据进行指定。

如果以上述的要点指定出编辑对象的歌唱合成输入数据，则控制部100将通过用户指定出的歌唱合成输入数据从非易失性存储部134向易失性存储部132读出，按照该歌唱合成输入数据，针对每个音符，将表示音符的一整格的图形(即，表示音高的事件的图形)、表示与音符匹配地发声的歌词的字符串、以及表示该歌词的音素的发声符号，配置于编辑区域A01，对乐谱编辑画面的显示内容进行更新。一整格的图形是指，用封闭的轮廓线划分的1个图形。下面，将表示音符的一整格的图形称为“音符块”。例如，在前述的歌唱合成输入数据IND被指定为编辑对象的情况下，乐谱编辑画面的显示内容如图4所示地更新。

如图4所示，在本实施方式中，作为音符块使用了用实线描绘出轮廓线的矩形。控制部100针对每个音符，将歌唱合成输入数据所表示的从开始时刻至结束时刻的宽幅的矩形配置于与该音符的音程对应的音高轴方向的位置。控制部100将表示与该音符对应的歌词的音素的发声符号在与该音符对应的音符块内在该音符的发声开始定时侧连续配置，在该矩形的下侧附近配置与该音符对应的歌词的字符串。即，在图4所示的乐谱编辑画面中，与音符对应的歌词的音素的发声开始定时和表示该音素的发声的发声符号的显示位置没有关联起来。这是因为只要针对每个音符块能够掌握发声的音素就足以。此外，与一个音符相关联的音素并不限定于一个，有时一个音符与多个音素相关联。在一个音符与多个音素相关联的情况下，控制部100将表示与音符相关联的多个音素各自的发声的发声符号按其发声顺序排列而配置于该音符块的内部。对图3和图4进行比较可明确，如果编辑对象的歌唱合成输入数据的读入完成，则除了数据读入按钮B01之外波形显示按钮B02显示于乐谱编辑画面。波形显示按钮B02与数据读入按钮B01同样地是虚拟操作件。在本实施方式中，在编辑对象的歌唱合成输入数据的读入完成之前不会显示出波形显示按钮B02，将编辑对象的歌唱合成输入数据的读入完成作为契机，显示波形显示按钮B02，但也可以始终显示波形显示按钮B02。

歌唱合成装置1的用户能够通过对与各音符对应的矩形的时间轴方向的宽幅或位置、音高轴方向的位置进行变更，由此进行音符的编辑，进而能够通过改写表示歌词的字符串，由此对与音符匹配地发声的歌词进行编辑。按照编辑辅助程序进行工作的控制部100将进行了音符的编辑或者歌词的编辑这一情况作为契机，执行图5所示的更新处理。在该更新处理中，控制部100将编辑对象的歌唱合成输入数据与针对编辑区域A01的编辑内容相对应地进行更新(步骤SA100)，重新计算基于该编辑对象的歌唱合成输入数据而生成的(与该编辑对象的歌唱合成输入数据对应地存储的)歌唱合成输出数据(步骤SA110)。此外，在步骤SA120中，控制部100仅重新计算与在乐谱编辑画面中进行了歌词等的编辑的音符相对应的歌唱波形数据。

另外，用户通过对波形显示按钮B02进行点击，能够将显示部120a的显示画面切换为波形显示画面。将波形显示按钮B02的点击作为契机，控制部100将显示部120a的显示画面切换为波形显示画面，执行图6所示的波形显示处理。波形显示画面与乐谱编辑画面同样地，具有一个轴表示音高、另一个轴表示时间的钢琴卷轴形式的编辑区域A02(参照图7)。在波形显示画面的编辑区域A02中，显示出歌唱合成输出数据所包含的歌唱波形数据表示的歌唱波形中的、向波形显示画面切换之前在乐谱编辑画面的编辑区域A01显示出的音符块等的时间区间的歌唱波形。即，本实施方式的波形显示画面是在呈现乐曲的信息时，通过乐曲的声音波形的显示而呈现该乐曲的数据，通过对该声音波形的操作能够对乐曲的数据进行编辑的画面。

在波形显示处理的波形显示步骤SB100(参照图6)中，控制部100将与编辑对象的歌唱合成输入数据对应的歌唱合成输出数据、即根据编辑对象的歌唱合成输入数据合成出的歌唱合成输出数据所包含的歌唱波形数据表示的歌唱音频的波形中的在向波形显示画面切换之前在乐谱编辑画面的编辑区域A01显示有音符块等的时间区间的波形，针对每个音符划分，显示于编辑区域A02。作为歌唱音频的波形的显示形式，存在对歌唱音频的波形其本身(即，表示歌唱音频中的振幅的时间变化的振动波形)进行显示的显示形式(下面，歌唱波形形式)、和对该振动波形的包络线进行显示的显示形式(下面，包络线形式)这2种，在本实施方式中采用包络线形式。在显示步骤SB100中，控制部100针对与编辑对象的歌唱合成输入数据对应的歌唱合成输出数据所包含的歌唱波形数据的各个，将与该歌唱波形数据相关联的发声符号作为检索关键字检索歌唱合成输入数据，确定所对应的音符。接着，控制部100针对第n(n＝0、1、2···)个音符，求出歌唱波形数据所表示的波形中的与该音符对应的部分的针对波形W－n的峰(山)的包络线PH－n和该歌唱波形正中的针对负峰(谷)的包络线PL－n，在编辑区域A02中的与该音符的音高对应的音高轴方向的位置描绘出包络线PH－n和PL－n(参照图7)。包络线PH－n表示歌唱音频的波形的山(正的最大振幅)的时间变化，包络线PL－n表示歌唱音频的波形的谷(负的最大振幅)的时间变化。因此，在通过包络线形式描绘时，将包络线的值成为零的位置，与包络线所对应的音符的音高的位置(编辑区域02中的高度方向的位置)匹配地描绘。与此相对，在采用歌唱波形形式的情况下，控制部100针对第n(n＝0、1、2···)个音符，将上述波形W－n描绘在编辑区域A02中的与该音符的音高对应的音高轴方向的位置。在通过歌唱波形形式进行描绘时，将歌唱音频的波形的值成为零的位置，与该歌唱音频的波形所对应的音符的音高的位置(编辑区域02中的高度方向的位置)匹配地描绘。图8是表示歌唱波形形式的显示例的图。在图8中，为了避免图面变得繁杂，仅对图7中的第2个音符，描绘与该音符对应的歌唱音频的波形W－2。此外，也可以将步骤SB100中的歌唱音频的波形的显示形式与用户的指示对应地进行切换。

在波形显示处理的音素显示步骤SB110中，控制部100按照编辑对象的歌唱合成输入数据，针对每个音素将表示歌词的音素的发声符号显示在与其音素的发声开始的定时相对应的编辑区域A02的时间轴上的位置(参照图7)。如果更详细地说明，则控制部100将成为表示歌词的音素的发声符号的切换部位的时间帧，参照与编辑对象的歌唱合成输入数据对应的歌唱合成输出数据而确定。接着，控制部100基于该时间帧是从歌唱音频的起始时间帧起的第几个时间帧而确定与该时间帧对应的时刻，将该时刻确定为该发声符号所表示的音素的发声开始的定时，进而将该定时换算为编辑区域A02的时间轴上的位置，由此确定出该发声符号的时间轴方向的显示位置，另一方面，对于音高轴方向的显示位置，参照编辑对象的歌唱合成输入数据，确定以上述的要点确定出的时刻处的音程即可。

在波形显示处理的音符显示步骤SB120中，控制部100按照编辑对象的歌唱合成输入数据，针对音符而将音符块显示于编辑区域A02。在本实施方式的波形显示画面中，如图7所示，作为音符块而使用了将轮廓线用虚线描绘出的矩形，波形显示画面中的音符块的显示方法与乐谱编辑画面中的音符块的显示方法相同。在波形显示处理的音高曲线显示步骤SB130中，控制部100将表示音高的时间变化的音高曲线PC(参照图7)按照歌唱合成输出数据所包含的音高曲线数据，显示于编辑区域A02。在本实施方式中，按照歌唱合成输出数据所包含的音高曲线数据对音高曲线进行显示，但也可以按照在歌唱合成输入数据中所包含的音程数据，对音高曲线进行显示。

例如，在歌唱合成输入数据IND作为编辑对象被指定的情况下，按照与该歌唱合成输入数据IND对应的歌唱合成输出数据OUTD，执行上述波形显示步骤SB100至音高曲线显示步骤SB130的处理。其结果，在显示部120a中显示图7所示的波形显示画面。如前述所示，在实际的歌唱音频中，有时音符的开始定时和与该音符对应的歌词的音频的播放开始定时不同。在如上所述的情况下，在本实施方式中，表示歌词的音素的发声符号按照歌唱合成输出数据，显示于原本的发声位置，从表示与该歌词对应的音符的矩形凸出而显示。在图7所示的例子中，示出下述状况，即，歌词“love”的起始音素“lO”、歌词“so”的起始音素“S”及歌词“much”的起始音素“m”与对应于各个歌词的音符的发声定时相比显示于之前的定时，在与比与各个歌词对应的音符在前的音符对应的音符块内显示出。

如上所述，在音符的开始定时和与该音符对应的歌词的音频的播放开始定时不同的情况下，在本实施方式的歌唱合成装置1中，该歌词的起始音素的发声符号从表示与该歌词对应的音符的矩形凸出而显示。因此，歌唱合成装置1的用户通过视觉确认能够掌握音符的开始定时和与该音符对应的歌词的音频的播放开始定时不同这一情况。

视觉确认到图7所示的波形显示画面的用户能够进行将显示部120a的显示画面切换为前述的乐谱编辑画面的操作。如图7所示，在波形显示画面中，替代波形显示按钮B02而设置有乐谱编辑按钮B03。此外，也可以在波形显示画面中始终并列显示乐谱编辑按钮B02和波形显示按钮B03，在该情况下，也可以在乐谱编辑画面中也始终并列显示乐谱编辑按钮B02和波形显示按钮B03。即，也可以是始终将乐谱编辑按钮B02和波形显示按钮B03同时显示的方式。乐谱编辑按钮B03是用于使用户指示将显示部120a的显示画面切换为前述的乐谱编辑画面的虚拟操作件。用户对乐谱编辑按钮B03进行点击，由此能够指示向乐谱编辑画面的切换。另外，在波形显示画面显示于显示部210a的状况下，用户能够将与音符对应的歌唱波形的开始定时针对每个音符进行变更。例如，用户对期望变更开始定时的歌唱波形的激音(Attack)部分附近进行鼠标悬停或者点按等，由此能够指定变更对象的音符。此外，在本实施方式中，即使与音符对应的歌唱波形的开始定时被变更，该歌唱波形的结束定时也不会变更。即，与音符对应的歌唱波形的开始定时的变更并不意味着该歌唱波形整体的时间轴方向的平行移动。如果歌唱波形的歌词定时被变更为稍前的定时，则与其变更量对应地歌唱波形整体的时间轴方向的长度延长，相反，如果歌唱波形的歌词定时被变更为稍后的定时，则与其变更量对应地歌唱波形整体的时间轴方向的长度缩短。

如果指定出对相对应的歌唱波形的开始定时进行变更的音符，则按照编辑辅助程序进行工作的控制部100执行图9所示的更新处理。在图9所示的更新处理的步骤SC100中，控制部100接受与音符对应的歌唱波形的开始定时的变更指示，与指示内容对应地对歌唱波形的开始定时进行编辑。更详细地说明，控制部100针对通过鼠标悬停等指定出的音符，对与该音符对应的歌唱波形的激音部分的编辑对象区域进行显示。在图10中，将在与歌词“much”对应的音符、即第5个音符通过鼠标悬停等而被指定出的情况下的编辑对象区域A03用阴影线示出。此外，在图10中，示出作为歌唱音频的波形的显示形式而采用了包络线形式的情况下的显示例。如前述所示，歌词“much”的起始的音素的开始定时在前一个的音符、即第4个音符中凸出。因此，编辑对象区域A03的开始位置凸出至上述第4个音符为止。用户能够通过将编辑对象区域A03的开始位置用鼠标等向左右拖放，由此对与通过鼠标悬停等指定出的音符对应的歌唱波形的开始位置的移动方向及移动量进行指定。

在图9的步骤SC110中，控制部100与步骤SC100中的编辑内容(通过拖放操作进行的编辑对象区域A01的开始位置的移动方向及移动量的指定)对应地重新计算歌唱波形数据，对波形显示画面的显示内容进行更新。由此，用户能够通过视觉能够立即掌握步骤SC100中的与编辑内容相对应的歌唱波形的变化。更详细地说明，控制部100将对与通过鼠标悬停等指定出的音符对应的歌唱的个性的调整用参数所包含的辅音的长度进行规定的数据，与编辑对象区域A03的开始位置的变更内容对应地更新。具体地说，控制部100在编辑对象区域A03的开始位置向左被变更的情况下以使移动量越长辅音越变长的方式更新对应的音符的Velocity数据，相反，在编辑对象区域A03的开始位置向右被变更的情况下以使移动量越长辅音越变短的方式更新对应的音符的Velocity数据。而且，控制部100根据以上述的要点更新了歌唱的構成的调整用参数的歌唱合成输入数据，重新生成歌唱合成输出数据。在该步骤SC110中，控制部100与前述的步骤SA110中的情况同样地，仅将与开始位置被变更的音符对应的歌唱波形数据重新生成。

如以上说明所述，根据本实施方式，在音符的开始定时和与该与音符对应的歌词的音频的播放开始定时不同的情况下，该歌词的起始音素的发声符号从表示与该歌词对应的音符的矩形凸出而显示。因此，歌唱合成装置1的用户能够通过视觉掌握音符的开始定时和与该音符对应的歌词的音频的播放开始定时不同的这一情况，并且进行歌唱音频的编辑，使得容易地进行与音符对应的歌词的音频的播放开始部分的编辑。

以上对本发明的一个实施方式进行了说明，但当然也可以对本实施方式施加以下的变形。(1)也可以是，在编辑音符或者歌词时将用于使用户选择对音高曲线的激音(Attack)部分或者释音(Release)部分赋予的效果编辑辅助画面SG01与乐谱显示画面并排而显示于显示部120a(参照图11)，使用户选择对音高曲线的激音部分或者释音部分赋予效果。根据该方式，实现对音高曲线的激音部分或者释音部分的效果的赋予变得容易这样的效果。

另外，将音高曲线编辑步骤加入至上述开始定时编辑步骤，或者替代上述开始定时编辑步骤而设置，在该音高曲线编辑步骤中，针对每个音符接受音高曲线中的激音部分或者释音部分的变更指示，与指示内容对应地对音高曲线进行编辑。

(2)在上述实施方式中，在波形显示画面显示音高曲线和音符块这两者，但也可以将音高曲线和音符块的任一方显示于波形显示画面。这是因为，即使根据音高曲线的显示和音符块的显示的任一方，也能够掌握在波形显示画面中音高的时间变化。另外，根据歌唱波形也能够掌握音高的时间变化，因此也可以在波形显示画面中省略音高曲线的显示和音符块的显示这两者。即，可以将图6中的音符显示步骤SB120及音高曲线显示步骤SB130的两者或者任一者省略。

(3)在上述实施方式中，在歌唱合成装置1的显示部120a显示出乐谱编辑画面或波形显示画面等各种画面，但也可以经由外部仪器I/F部110而在与歌唱合成装置1连接的显示装置显示各种画面。关于用于对歌唱合成装置1输入各种指示的操作输入装置，也可以是不使用歌唱合成装置1的操作部120b，而是使经由外部仪器I/F部110与歌唱合成装置1连接的鼠标或键盘担任该作用。另外，在上述实施方式中，使歌唱合成装置1的控制部100执行了本发明的编辑辅助方法，但也可以将执行该编辑辅助方法的编辑辅助装置作为独立于歌唱合成装置的其他装置而提供。

具体地说，如图12所示，也可以提供波形显示单元和音素显示单元组合而构成的编辑辅助装置10。波形显示单元是执行图6中的波形显示步骤SB100的处理的单元。音素显示单元是执行图6中的音素显示步骤SB110的处理的单元。另外，也可以提供使计算机作为上述波形显示单元及音素显示单元起作用的程序。根据如上所述的方式，能够使个人计算机或平板终端等通常的计算机装置作为本发明的编辑辅助装置起作用。另外，也可以是由通过经由电信线路的通信而能够协同动作的多个计算机实现编辑辅助装置的云方式，而不是由1台计算机实现编辑辅助装置，具体地说，可以是将波形显示单元和音素显示单元通过各自不同的计算机实现的方式。

Claims (7)

1.一种歌唱音频的编辑辅助方法，其特征在于，

具有下述步骤：

波形显示步骤，将与表示音符的时间序列的乐谱数据和表示歌词的歌词数据相当的歌唱波形数据所表示的歌唱波形，在一个轴表示音高、另一个轴表示时间的波形显示画面针对每个音符进行配置，显示于显示装置；以及

音素显示步骤，将表示歌词的音素的信息显示于所述波形显示画面中的该音素的发声位置。

2.根据权利要求1所述的编辑辅助方法，其特征在于，

包含下述步骤：

切换步骤，将对所述乐谱数据和所述歌词数据中的至少一者的编辑指示的输入作为契机，将所述显示装置的显示画面切换为用于对所述乐谱数据和所述歌词数据中的至少一者进行编辑的乐谱编辑画面；以及

计算步骤，与对所述乐谱编辑画面的编辑操作相对应地对所述乐谱数据和所述歌词数据中的至少一者进行变更，重新计算所述歌唱波形数据。

3.根据权利要求1所述的编辑辅助方法，其特征在于，

包含下述步骤：

开始定时编辑步骤，针对每个音符接受歌唱波形的开始定时的变更指示，与指示内容相对应地对歌唱波形的开始定时进行编辑；以及

计算步骤，与所述开始定时编辑步骤中的编辑内容相对应地重新计算所述歌唱波形数据。

4.根据权利要求3所述的编辑辅助方法，其特征在于，

还具有音符显示步骤，在该音符显示步骤中，按照所述乐谱数据将表示音符的一整格的图形即音符块针对每个音符而显示于所述波形显示画面。

5.根据权利要求1所述的编辑辅助方法，其特征在于，

包含下述步骤：

音高曲线显示步骤，按照所述乐谱数据将表示音高的时间变化的音高曲线显示于所述波形显示画面；

音高曲线编辑步骤，针对每个音符接受所述音高曲线中的激音部分或释音部分的变更指示，与指示内容相对应地对所述音高曲线进行编辑；以及

计算步骤，与所述音高曲线编辑步骤中的编辑内容相对应地重新计算所述歌唱波形数据。

6.根据权利要求5所述的编辑辅助方法，其特征在于，

在所述音高曲线编辑步骤中，

将对与赋予给所述歌唱音频的音响效果的种类相对应地在时间轴方向和音量轴方向中的至少一个方向上使所述音高曲线进行伸缩这一情况进行提示的编辑辅助画面，显示于所述显示装置，与对该编辑辅助画面的指示内容相对应地编辑所述音高曲线。

7.一种歌唱音频的编辑辅助装置，其特征在于，具有：

波形显示单元，其将与表示音符的时间序列的乐谱数据和表示歌词的歌词数据相当的歌唱波形数据所表示的歌唱波形，在一个轴表示音高、另一个轴表示时间的波形显示画面针对每个音符进行配置，显示于显示装置；以及

音素显示单元，其将表示歌词的音素的信息显示于所述波形显示画面中的该音素的发声位置。