CN102956224A - 乐曲生成装置 - Google Patents

Abstract

本发明涉及一种乐曲生成装置。第1取得部（42）生成与对发音区间（S）的时间序列进行指定的多个区间指定数据（DA）中的其中一个对应的区间指定数据（GA）。第2取得部（44）将对音高的时间序列进行指定的多个音高指定数据（DB）中的其中一个选择作为音高指定数据（GB）。旋律生成部（522）生成旋律数据（DM），该旋律数据（DM）对于与由第1取得部（42）取得的区间指定数据（GA）所指定的各发音区间（S）、和由第2取得部（44）所取得的音高指定数据（GB）针对该发音区间（S）的起点指定的音高相对应的音符，对该音符的时间序列进行指定。

Description

乐曲生成装置

技术领域

本发明涉及一种生成乐曲（旋律）的技术。

背景技术

当前提出了自动生成乐曲的旋律的技术（自动作曲技术）。例如在日本特开平9－081141号公报中公开了一种技术，即，通过对音值列数据以时间序列指定的各音值（发音区间）赋予音高，从而生成旋律。向各音值赋予的音高是随机选择的。在日本特开平9－081143号公报中公开了一种技术，即，通过将曲调素材数据以时间序列指定的各音高与音调或音阶等的背景信息对应地进行变更，从而生成旋律。

发明内容

在日本特开平9－081141号公报所记载的技术中，由于对各音值赋予的音高是随机选择的，所以实际上难以生成从音乐角度来说自然的旋律。另外，在日本特开平9－081143号公报所记载的技术中，只不过对曲调素材数据所指定的各音高进行变更，因此，难以生成多样化的旋律。考虑到上述情况，本发明的目的在于生成从音乐角度来说自然且多样化的旋律。

说明本发明为了解决上述课题而采用的手段。此外，为了易于理解本发明，在以下的说明中，将本发明的各要素与后述的各实施方式的要素之间的对应关系利用括号进行附记，但这并不代表将本发明的范围限定于实施方式的例示。

本发明的乐曲生成装置具有：第1取得单元（例如第1取得部42），其从对以时间序列排列的发音区间进行指定的多个区间指定数据（例如区间指定数据DA）中，取得其中一个区间指定数据（例如区间指定数据GA）；第2取得单元（例如第2取得部44），其从对以时间序列排列的音高进行指定的多个音高指定数据（例如音高指定数据DB）中，取得其中一个音高指定数据（例如音高指定数据GB）；以及旋律生成单元（例如旋律生成部522），其与由第1取得单元取得的区间指定数据所指定的各发音区间、和由第2取得单元所取得的音高指定数据在该发音区间的基准时刻（例如发音区间的起点）所指定的音高相对应，生成对以时间序列排列的音符进行指定的旋律数据（例如旋律数据DM）。在上述结构中，由于利用与多个区间指定数据的其中一个对应的区间指定数据、和与多个音高指定数据的其中一个对应的音高指定数据，生成旋律数据，所以与例如仅对曲调素材数据所指定的各音高进行变更的、作为现有技术而说明的日本特开平9-081143号公报所记载的技术相比，具有可以生成多样化的乐曲这一优点。另外，由于将区间指定数据和音高指定数据用作为模板而生成旋律数据，所以与例如随机选择音高的、作为现有技术而说明的日本特开平9-081141号公报所记载的技术相比，可以生成从音乐角度来说自然的旋律。

在本发明的优选方式中，旋律生成单元包含：音高提取单元（例如音高提取部62），其生成编制音符列（例如编制音符列M），该编制音符列是将具有区间指定数据所指定的各发音区间和音高指定数据在该发音区间的基准时刻所指定的音高的音符进行排列而形成的；以及音高调整单元（例如音高调整部64），其对由音高提取单元生成的编制音符列的各音符的音高进行调整而生成旋律数据。在上述方式中，由于对根据区间指定数据和音高指定数据生成的编制音符列的各音符的音高进行调整，所以与不对编制音符列进行调整的结构相比，可以生成从音乐角度来说自然的旋律。

利用音高调整单元进行的调整处理的内容是任意的，例如在具有取得对和弦进行作出指定的和弦进行数据（例如与多个和弦进行数据的其中一个对应的和弦进行数据）的第3取得单元（例如第3取得部46）的结构中，音高调整单元执行第1调整处理（例如第1调整处理SB1），在该处理中，将编制音符列的多个音符中的至少一部分音符（例如被指定为重要音或结束音的音符）的音高，变更为在该音符的发音区间中由和弦进行数据所指定的和弦的构成音的音高。在上述方式中，由于编制音符列中的至少一部分音符的音高变更为和弦进行数据所指定的和弦的构成音，所以可以生成各音符的音高从音乐角度来说自然地转变的乐曲。另外，即使音高调整单元执行第2调整处理（例如第2调整处理SB2），在该处理中，将编制音符列的多个音符中的至少一部分音符（例如指定为过渡音的音符）的音高变更为与该音符的紧前方或紧后方的音符的音高对应的规定范围内的音高，在这一结构下，也具有可以生成各音符的音高从音乐角度来说自然地转变的乐曲这一优点。

本发明的优选方式所涉及的乐曲生成装置具有：字符串设定单元（例如字符串设定部34），其取得将多个音声单位（例如音节或音素）以时间序列排列的指定字符串；以及音声合成单元（例如音声合成部524），其根据由旋律生成单元生成的旋律数据所指定的多个音符，生成对指定字符串进行发音的音声的音声信号。根据上述方式，具有可以生成对从音乐角度来说自然且多样化的旋律进行发音的音声的音声信号这一优点。

在具有音声合成单元的结构的优选例中，第1取得单元包含乐谱分割单元（例如乐谱分割部424），其使得由第1取得单元取得的区间指定数据所指定的各发音区间和指定字符串的各音声单位彼此对应，音声合成单元在由旋律数据所指定的多个音符的各自的发音区间中，生成对经由乐谱分割单元而与该发音区间对应起来的音声单位进行发音产生的音声的音声信号。在上述方式中，具有下述优点，即，可以在旋律数据所指定的各音符的发音区间中，生成对指定字符串的音声单位进行发音的自然音声的音声信号。

在本发明的优选方式中，第1取得单元包含选择单元，其以如下方式选择所述多个区间指定数据中的区间指定数据，即，字符串设定单元所设定的指定字符串的音声单位的数量越多，所选择的区间指定数据的发音区间的数量就越多。在上述方式中，由于指定字符串的音声单位的数量越多则选择发音区间的数量就越多的区间指定数据，所以可以将各发音区间和各音声单位合理地进行对应。

在本发明的优选方式中，乐谱分割单元针对设定在时间轴上的多个区段，以使得所述区间指定数据在该区段内指定的发音区间的数量，与指定字符串中的该区段内的音声单位的数量近似的方式，将指定字符串针对各个区段进行分割，将各发音区间和各音声单位在各个区段中对应。根据上述方式，可以在各个区段中使发音区间和音声单位合理地对应。另外，如果形成下述结构，即，针对发音区间的数量少于音声单位的数量的区段，分割该区段内的发音区间，针对发音区间的数量多于音声单位的数量的区段，在该区段内的指定字符串中追加规定的音声单位（例如长音符号），则可以使各发音区间和各音声单位一一对应。

本发明的优选方式所涉及的乐曲生成装置具有：伴奏音生成单元（例如伴奏音生成部54），其生成表示伴奏音的伴奏信号；以及混音单元（例如混音部56），其将由音声合成单元生成的音声信号和由伴奏音生成单元生成的伴奏信号进行混音。在上述方式中，由于将伴奏信号与音声信号混音，所以与单独生成音声信号的结构相比，具有可以生成富有音乐性的乐曲的优点。另外，如果将音声合成单元生成的音声信号和伴奏音生成单元生成的伴奏信号设定为相同速度，则还具有可以生成旋律和伴奏自然整合的乐曲的优点。

上述各方式所涉及的乐曲生成装置，除了使用专用的DSP（Digital Signal Processor）等硬件（电子电路）实现之外，还可以通过CPU（Central Processing Unit）等通用的运算处理装置和程序之间的协同动作而实现。本发明所涉及的程序使计算机执行下述处理：第1取得处理，在该处理中，从对以时间序列排列的发音区间进行指定的多个区间指定数据中，取得其中一个区间指定数据；第2取得处理，在该处理中，从对以时间序列排列的音高进行指定的多个音高指定数据中，取得其中一个音高指定数据；以及旋律生成处理，在该处理中，与由第1取得处理取得的区间指定数据所指定的各发音区间、和由第2取得处理所取得的音高指定数据在该发音区间的基准时刻所指定的音高相对应，生成对以时间序列排列的音符进行指定的旋律数据。根据上述程序，实现与本发明所涉及的乐曲生成装置相同的作用及效果。此外，本发明的程序除了以存储在计算机可读取的存储介质中的方式进行提供而安装在计算机中之外，也可以以经由通信网络分发的方式进行提供而安装在计算机中。

另外，还可以作为生成乐曲的方法而实现本发明。在本发明的乐曲生成方法中，从对以时间序列排列的发音区间进行指定的多个区间指定数据中，取得其中一个区间指定数据，从对以时间序列排列的音高进行指定的多个音高指定数据中，取得其中一个音高指定数据，并且与由所述取得的区间指定数据所指定的各发音区间、和由所述取得的音高指定数据在该发音区间的基准时刻所指定的音高相对应，生成对以时间序列排列的音符进行指定的旋律数据。根据上述方法，可以实现与本发明所涉及的乐曲生成装置相同的作用及效果。

附图说明

图1是本发明的第1实施方式所涉及的乐曲生成装置的框图。

图2是区间指定数据的说明图。

图3是音高指定数据的说明图。

图4是指定字符串的分割的说明图。

图5是第1取得部的框图。

图6是乐谱分割处理的流程图。

图7是歌唱音生成部的框图。

图8是旋律生成部的动作的说明图。

图9是调整处理的流程图。

图10是伴奏音生成部的框图。

图11是第2实施方式所涉及的乐曲生成装置的框图。

具体实施方式

<第1实施方式>

图1是本发明的第1实施方式所涉及的乐曲生成装置100A的框图。乐曲生成装置100A是生成乐曲并输出该乐曲的演奏音的音频信号V的信号处理装置（自动作曲装置）。在第1实施方式中，例示了用于生成在歌唱音的旋律中添加有乐器音的伴奏的乐曲（歌曲）的结构。

乐曲生成装置100A与输入装置12和放音装置14连接。输入装置12是接受来自使用者的指示的设备（例如鼠标等指点设备或键盘、触摸面板）。放音装置14（例如是扬声器或头戴式耳机）发射与由乐曲生成装置100A供给的音频信号V对应的声波。此外，为了简化而省略了将音频信号V进行数模变换的D/A变换器等的图示。

第1实施方式的乐曲生成装置100A是由具有运算处理装置22和存储装置24的计算机系统实现的。运算处理装置22通过执行存储在存储装置24中的程序PGM，从而实现用于生成乐曲的多个功能（变量设定部32、字符串设定部34、第1取得部42、第2取得部44、第3取得部46、歌唱音生成部52、伴奏音生成部54、混音部56）。此外，也可以将运算处理装置22的一部分功能由专用的电子电路（例如DSP）分担。

存储装置24存储运算处理装置22所执行的程序PGM及运算处理装置22所使用的各种数据。作为存储装置24，可以任意采用半导体存储介质、磁存储介质等公知的存储介质、或多种存储介质的组合。

第1实施方式的存储装置24存储多个区间指定数据DA、多个音高指定数据DB、多个和弦进行数据DC和和弦表TBL。各区间指定数据DA、各音高指定数据DB、各和弦进行数据DC是指，根据作为生成乐曲的素材而选择的现有多个乐曲各自的规定区间（以下称为“素材区间”）Q生成的模板。

如图2及图3所示，在第1实施方式中，从各乐曲中提取出连续的规定数量（在第1实施方式的例示中为8个）的小节，作为素材区间Q。各素材区间Q的节拍（例如4/4拍）是共通的。此外，在本第1实施方式中，各素材区间Q的节拍是共通的，但各素材区间Q的节拍也可以不是共通的。例如，在DA为3/4、DB为4/4、DC为4/4的情况下，只要忽略DB及DC的最后1拍即可。由此，在将各素材区间Q利用共通的速度进行播放的情况下的各素材区间Q的时间长度相等。如图2及图3所示，素材区间Q以乐曲的2个小节的量为单位而分割为4个区段QB（QB1～QB4）。但是，素材区间Q内的区段QB的数量及构成区段QB的小节的个数可以任意变更。

存储在存储装置24中的各区间指定数据DA如图2所示，指定对素材区间Q内的构成旋律的各音符进行发音的以时间序列排列的区间（以下称为“发音区间”）S。即，各区间指定数据DA表现素材区间Q内的旋律的节奏模式。多个区间指定数据DA分别是根据不同素材区间Q（不同乐曲的素材区间Q或1个乐曲内的不同素材区间Q）生成的。由此，区间指定数据DA所指定的以时间序列排列的发音区间S的形态（各发音区间S在时间轴上的位置、持续长度及数量）在各个区间指定数据DA中是不同的。

如图2所示，1个区间指定数据DA由与素材区间Q内的不同发音区间S对应的多个以时间序列排列的单位数据UA构成。各单位数据UA包含属性信息UA1和时间信息UA2而构成。时间信息UA2对发音区间S在时间轴上的位置（例如起始点的时刻）及持续长度（音值）进行指定。

属性信息UA1对发音区间S的音符的音乐性的属性（乐曲内的音乐层面上的意义）进行指定。具体地说，如图2所示，属性信息UA1指定重要音、结束音、过渡音的其中一个。重要音表示在素材区间Q内从音乐角度来说重要的音符。具体地说，将持续长度较长的音符及乐曲的和弦的构成音分类为重要音。结束音是位于素材区间Q内的各区段QB的最后的音符（除了重要音之外的音符）。过渡音是除了重要音及结束音之外的音符。各单位数据UA的属性信息UA1例如是乐曲生成装置100A的提供者通过对各素材区间Q的内容进行分析而手动设定的。

各区间指定数据DA可以作为基于MIDI（Musical InstrumentDigital Interface）标准的SMF（Standard MIDI File）格式的音乐文件而进行记述。具体地说，将利用音符编号的数值方便地指定属性信息UA1的事件数据（event data）和作为时间信息UA2指定各事件数据的处理间隔的定时数据，以时间序列排列得到SMF格式的时间序列数据，将该SMF格式的时间序列数据制作为区间指定数据DA并存储在存储装置24中。

如图3所示，存储在存储装置24中的各音高指定数据DB对素材区间Q内的构成旋律的以时间序列排列的各音符的音高进行指定。即，各音高指定数据DB表现素材区间Q内的曲调线。音高指定数据DB所指定的以时间序列排列的音高的形态在各个音高指定数据DB中不同。

如图3所示，1个音高指定数据DB由与素材区间Q内的不同音符对应的以时间序列排列的多个单位数据UB构成。各单位数据UB包含音高信息UB1和时间信息UB2而构成。音高信息UB1指定音符的音高，时间信息UB2指定音符在时间轴上的位置及持续长度。各音高指定数据DB可以作为SMF格式的音乐文件而进行记述，即，将利用音符编号的数值指定音高信息UB 1的事件数据和作为时间信息UB2指定各事件数据的处理间隔的定时数据以时间序列排列而得到的SMF格式的音乐文件。

存储在存储装置24中的各和弦进行数据DC指定素材区间Q内的和弦进行（以时间序列排列的和弦）。具体地说，各和弦进行数据DC在各个对素材区间Q进行分割得到的单位时间（例如8分音符的时间长度）中指定和弦。各和弦进行数据所指定的以时间序列排列的和弦在各个和弦进行数据DC中不同。图1的和弦表TBL对在可由和弦进行数据DC指定的各个和弦中，该和弦的多个构成音进行指定。以上是第1实施方式的存储装置24中存储的主要数据。

图1的变量设定部32可变地对乐曲生成中应用的变量进行设定。具体地说，变量设定部32与由使用者向输入装置12输入的指示对应地，设定乐曲的速度Xt和音乐风格（例如摇滚或爵士等类型）Xs。速度Xt例如设定为由使用者所指示的任意数值，风格Xs例如设定为使用者在多个选择项中选择的内容。

字符串设定部34可变地设定乐曲的歌词的字符串（以下称为“指定字符串”）DY。具体地说，字符串设定部34与由使用者向输入装置12输入的指示（字符输入）对应地，设定指定字符串DY。如图4所示，指定字符串DY由多个音节y（音声单位）构成。

指定字符串DY被分割为字符串Ya和字符串Yb。具体地说，在使用者指定2行的指定字符串DY的结构中，将指定字符串DY分割为换行之前的字符串Ya和换行之后的字符串Yb。此外，指定字符串DY的分割方法是任意的。在使用者指定了由2个语句构成的指定字符串DY的结构中，将指定字符串DY分割为与第1语句对应的字符串Ya和与第2语句对应的字符串Yb。

图1的第1取得部42生成与存储在存储装置24中的多个区间指定数据DA的其中一个对应的区间指定数据GA。图5是第1实施方式的第1取得部42的框图。如图5所示，第1取得部42包含选择部422和乐谱分割部424而构成。

选择部422选择存储在存储装置24中的多个区间指定数据DA的其中一个。在第1实施方式中，与构成字符串设定部34所设定的指定字符串DY的音节y的数量对应地，选择区间指定数据DA。具体地说，指定字符串DY的音节y的数量越多，选择部422就选择发音区间S的数量越多的区间指定数据DA。

例如，选择部422针对存储在存储装置24中的多个区间指定数据DA，分别算出下述算式（1）的指标值α。

α=|Na－NYa|＋|Nb－NYb|……（1）

算式（1）的第1项|Na－NYa|为，在素材区间Q的前半区间（区段QB1及区段QB2）内，由区间指定数据DA指定的发音区间S的数量Na和指定字符串DY中的前侧的字符串Ya的音节y的数量NYa之间的差值的绝对值。相同地，算式（1）的第2项|Nb－NYb|为，在素材区间Q的后半区间（区段QB3及区段QB4）内，由区间指定数据DA指定的发音区间S的数量Nb和指定字符串DY中的后侧字符串Yb的音节y的数量NYb之间的差值的绝对值。即，素材区间Q的前半区间中的发音区间S的数量Na和字符串Ya的音节y的数量NYa越近似，或者素材区间Q的后半区间中的发音区间S的数量Nb和字符串Yb的音节y的数量NYb越近似，指标值α的数值就越小。

选择部422从存储装置24内检索指标值α位于规定范围内（例如小于或等于5的范围内）的区间指定数据DA（即，指定了数量与指定字符串DY的音节y的数量接近的发音区间S的区间指定数据DA），从检索到的多个区间指定数据DA中随机选择一个区间指定数据DA。

图5的乐谱分割部424执行乐谱分割处理，使选择部422所选择的区间指定数据DA所示出的各发音区间S和字符串设定部34所设定的指定字符串DY的各音节y对应。具体地说，如图4所示，乐谱分割部424针对素材区间Q内的4个区段QB（QB 1～QB4），分别以使得区间指定数据DA在该区段QBi（i=l～4）内所指定的发音区间S的数量Ni、和指定字符串DY中的该区段QBi内的音节y的数量NYi之间的差异最小化的方式，使指定字符串DY的各音节y和素材区间Q内的各发音区间S对应。

图6是乐谱分割处理的流程图。如果开始乐谱分割处理，则乐谱分割部424如图4所示，将指定字符串DY针对素材区间Q内的各个区段QB进行分割（步骤SA1）。指定字符串DY的分割边界是从指定字符串DY的各句节的边界中选择的。对指定字符串DY的句节的确定可以任意利用形态分析等公知的自然语言处理而得到。此外，在图4中，为了方便而例示了字符串Ya和字符串Yb之间的边界与区段QB2和区段QB3之间的边界吻合的情况，但字符串Ya和字符串Yb之间的边界与各区段QB的边界并不一定吻合。

具体地说，乐谱分割部424以使得下述算式（2）所定义的指标值β最小化的方式，将指定字符串DY利用句节的边界进行分割。

β=|N1－NY1|²+|N2－NY2|²+|N3－NY3|²+|N4－NY4|²……（2）

根据算式（2）可知，指标值β为，针对多个区段QB1～QB4，将区间指定数据DA在区段QBi内指定的发音区间S的数量Ni和指定字符串DY中的区段QBi内存在的音节y的数量NYi之间的差值的平方|Ni－NYi|²进行累计而得到的数值。即，乐谱分割部424以针对多个区段QB1～QB4而使发音区间S的数量Ni和音节y的数量NYi之间的差异最小化的方式，将指定字符串DY针对各个区段QB进行分割。

在利用上述处理将指定字符串DY进行分割的阶段中，各区段QBi内的发音区间S的数量Ni和指定字符串DY的音节y的数量NYi并不一定一致。因此，乐谱分割部424执行用于使各区段QB内的发音区间S的数量Ni和指定字符串DY的音节y的数量NYi一致的处理（步骤SA2、SA3）。即，乐谱分割部424使各区段QB内的发音区间S和音节y一一对应。

第一，乐谱分割部424针对发音区间S的数量Ni小于音节y的数量NYi的区段QBi（Ni<NYi），通过对各发音区间S适当地进行分割而使区段QBi内的发音区间S的数量Ni增加至音节y的数量NYi（步骤SA2）。具体地说，乐谱分割部424反复进行对区段QBi内的最长的发音区间S进行分割（例如2等分）的处理，直至发音区间S的数量Ni达到音节y的数量NYi。将分割后的多个发音区间S的属性（重要音/结束音/过渡音）设定为与分割前的发音区间S共通的属性。

第二，乐谱分割部424针对发音区间S的数量Ni多于音节y的数量NYi的区段QBi（Ni>NYi），通过在指定字符串DY中适当地插入调整用的规定音节y，从而使区段QBi内的音节y的数量NYi增加至发音区间S的数量Ni（步骤SA3）。具体地说，乐谱分割部424反复进行将表示紧前方的音节y持续的长音符号“－”作为调整用的音节y插入区段QBi内的指定字符串DY中的处理，直至音节y的数量NYi达到发音区间S的数量Ni。此外，也可以替代长音符号“－”而使紧前方的音节的母音重复。插入调整用的音节y的位置例如从区段QBi内的指定字符串DY中随机选择。

通过上述说明的乐谱分割处理，将各区段QBi内的发音区间S和音节y一一对应。乐谱分割部424生成对乐谱分割处理后的以时间序列排列的各发音区间S进行指定的区间指定数据GA、和对乐谱分割处理后的以时间序列排列的各音节y进行指定的指定字符串GY。即，区间指定数据GA是对将由选择部422选择的区间指定数据DA所指定的多个发音区间S的一部分置换为在步骤SA2中分割后的多个发音区间S的状态下的以时间序列排列的发音区间S进行指定的时间序列数据，与区间指定数据DA相同地包含多个单位数据UA而构成。指定字符串GY是在步骤SA3中向字符串设定部34设定的指定字符串DY中追加了调整用的音节y后的内容的字符串。根据上述说明可知，区间指定数据GA指定的各发音区间S和构成指定字符串GY的各音节y是一一对应的。

图1的第2取得部44将存储在存储装置24中的多个音高指定数据DB的其中一个选择作为音高指定数据GB而从存储装置24取得。音高指定数据DB的选择方法是任意的，例如，可以将多个音高指定数据DB的其中一个随机地选择作为音高指定数据GB。

图1的第3取得部46将存储在存储装置24中的多个和弦进行数据DC的其中一个选择作为和弦进行数据GC而从存储装置24取得。例如，第3取得部46将多个和弦进行数据DC的其中一个随机地选择作为和弦进行数据GC。

歌唱音生成部52生成音声信号VA，其是将与第1取得部42生成的区间指定数据GA、第2取得部44取得的音高指定数据GB和第3取得部46取得的和弦进行数据GC对应的旋律，利用第1取得部42生成的指定字符串GY进行发音的音声的音声信号。

图7是歌唱音生成部52的框图。如图7所示，歌唱音生成部52具有旋律生成部522和音声合成部524。旋律生成部522是将区间指定数据GA、音高指定数据GB和和弦进行数据GC作为模板使用而生成旋律数据DM的要素，包含音高提取部62和音高调整部64而构成。

音高提取部62如图8所示，生成由区间指定数据GA指定的各发音区间S、和音高指定数据GB在该发音区间S中指定的音高而规定的以时间序列排列的音符n（以下称为“编制音符列”）M。具体地说，构成编制音符列M的多个音符n中的第m个（m为自然数）音符n，在区间指定数据GA指定的多个发音区间S中的第m个发音区间S的起点至终点，维持音高指定数据GB在该发音区间S的起点的时刻所指定的音高。例如，图8所例示的编制音符列M中的第1个音符n，在区间指定数据GA指定的第一个发音区间S内，维持音高指定数据GB在该发音区间S的起点的时刻所指定的音高“C#”。根据上述说明可知，编制音符列M的各音符n和区间指定数据GA指定的各发音区间是一一对应的。

图7的音高调整部64对音高提取部62生成的编制音符列M的各音符n的音高进行调整而生成旋律数据DM。图9是由音高调整部64进行的调整处理的流程图。如图9所示，音高调整部64顺序执行第1调整处理SB1、第2调整处理SB2和第3调整处理SB3。此外，各调整处理（SB1～SB3）的顺序可以适当变更。

第1调整处理SB1为下述处理，即，将构成编制音符列M的多个音符n中的通过区间指定数据GA指定为重要音或结束音的音符n的音高，与第3取得部46取得的和弦进行数据GC对应而进行调整。具体地说，音高调整部64将编制音符列M中的被指定为重要音或结束音的各音符n的音高，变更为和弦进行数据GC针对该音符n的发音区间S所指定的和弦（例如发音区间S的起点的和弦）的构成音中与该音高最接近的音高。和弦进行数据GC指定的和弦的构成音根据存储在存储装置24中的和弦表TBL确定。

但是，从确保音乐角度的自然性的观点出发，执行下述特例处理。第一，在重要音的音符n的音高为“F”或“B”、且和弦进行数据GC针对该音符n指定的和弦的根音为“C”的情况下，不执行音符n的音高变更。即，维持音符n的音高为“F”或“B”不变。第二，在和弦进行数据GC针对结束音的音符n指定的和弦的根音为“C”、“F”或“G”的情况下，音符n的音高变更为最接近其音高的五音音阶音（C、D、E、G、A）。

第2调整处理SB2是对构成编制音符列M的多个音符n中的由区间指定数据GA指定为过渡音的音符n的音高进行调整的处理。具体地说，音高调整部64将编制音符列M中的指定为过渡音的各音符n的音高，变更为包含该音符n的紧前方或紧后方的音符n的音高在内的规定范围内的音高。例如，将过渡音的各音符n的音高设定为，以其紧前方或紧后方的音符n的音高为中心或端点（上限或下限）的规定范围（例如4个半音的范围）内的主音（C、D、E、F、G、A、B）。

第3调整处理SB3是和弦进行数据GC针对编制音符列M的各音符n（重要音、结束音、过渡音）指定特定和弦的情况下的特例处理。具体地说，在音符n的音高为“A”、且针对该音符n所指定的和弦为Fm类（例如Fm、Fm7等）的情况下，音高调整部64将音符n的音高从“A”变更为“G#”。另外，在音符n的音高为“B”、且针对该音符n所指定的和弦为Fm类、Gm类、A#类或C7的情况下，音高调整部64将音符n的音高从“B”变更为“A#”。

图7的旋律生成部522（音高调整部64）生成对上述说明的调整后的编制音符列M进行指定的旋律数据DM。如图8所示，旋律数据DM由与调整后的编制音符列M的各音符n对应的以时间序列排列的多个单位数据UM构成。各单位数据UM包含对音符n的音高进行指定的音高信息UM1、和对音符n的发音区间S（时间轴上的位置及持续长度）进行指定的时间信息UM2而构成。具体地说，旋律数据DM与音高指定数据DB相同地作为SMF格式的音乐文件而记述。旋律数据DM指定的各音符n和指定字符串GY指定的各音节y之间的关系，维持第1取得部42（乐谱分割部424）产生的对应关系（各音符n的发音区间S和指定字符串GY的各音节y一一对应的关系）。此外，旋律生成部522也可以不进行音高调整部64中的第1至第3调整处理，而是将从音高提取部62输出的编制音符列M作为旋律数据DM进行处理，并向音声合成部524供给。

图7的音声合成部524生成与旋律生成部522生成的旋律数据DM和第1取得部42生成的指定字符串GY对应的音声信号VA。音声信号VA是将指定字符串GY的各音节y以旋律数据DM对与该音节y对应的音符n指定的音高进行发音时的歌唱音的音频信号。即，音声信号VA相当于将指定字符串GY作为歌词而对编制音符列M（曲调线）进行歌唱的歌唱音。在生成音声信号VA时，例如可以优选利用公知的单位连接（unit concatenation）型的音声合成处理。即，音声合成部524通过顺序选择与指定字符串GY指定的各音节y对应的音声单位，将各音声单位调整为旋律数据DM所指定的各音符n的发音区间S和音高后，进行相互连结，从而生成音声信号VA。音声信号VA的速度设定为变量设定部32所设定的速度Xt。

图1的伴奏音生成部54生成表示伴奏音的伴奏信号VB。如图10所示，伴奏音生成部54包含伴奏数据生成部542和伴奏信号生成部544而构成。伴奏数据生成部542生成与第3取得部46取得的和弦进行数据GC对应的伴奏数据DE。伴奏数据DE是对与和弦进行数据GC顺序指定的和弦对应的伴奏音以时间序列进行指定的SMF格式的音乐文件。伴奏数据DE指定的伴奏音的种类及节奏与变量设定部32设定的风格Xs对应而设定。另外，伴奏数据DE的速度设定为变量设定部32设定的速度Xt。伴奏信号生成部544通过对伴奏数据DE执行规定的处理（例如由MIDI音源进行的乐音生成处理）而生成伴奏信号VB。根据上述说明可知，音声信号VA和伴奏信号VB设定为相同的速度。

图1的混音部56通过将歌唱音生成部52生成的音声信号VA和伴奏音生成部54生成的伴奏信号VB进行混音（加权和）而生成音频信号V。通过将混音部56生成的音频信号V供给至放音装置14，从而对声波进行播放。根据上述说明可知，音频信号V的播放音是在将旋律数据DM所表示的旋律以指定字符串GY进行歌唱的歌唱音中附加了伴奏音后的歌曲的演奏音。

如上述说明所示，在第1实施方式中，利用与多个区间指定数据DA的其中一个对应的区间指定数据GA和与多个音高指定数据DB的其中一个对应的音高指定数据GB，生成旋律数据DM。由此，即使是根据同一区间指定数据GA生成的旋律数据DM，如果音高指定数据DB不同则也成为不同的旋律，即使是根据同一音高指定数据GB生成的旋律数据DM，如果区间指定数据GA不同则成为不同的旋律。即，根据第1实施方式，与例如仅变更曲调素材数据指定的各音高的、作为现有技术而说明的日本特开平9－081143号公报所记载的技术相比，具有下述优点，即，即使在作为生成乐曲的素材而选择的乐曲较少的情况下，也可以生成多样化的乐曲。

另外，由于例如将对现有乐曲的节奏模式进行表现的区间指定数据DA、和对现有乐曲的曲调线进行表现的音高指定数据DB用作为模板而生成旋律数据DM，所以与例如作为现有技术进行说明的、随机选择音高的日本特开平9－081141号公报所记载的技术相比，还存在可以生成从音乐角度来说自然的旋律的优点。即，根据第1实施方式，可以生成从音乐角度来说自然且多样化的旋律。

在第1实施方式中，由于利用音高调整部64对根据区间指定数据DA和音高指定数据DB生成的编制音符列M的各音符n的音高进行调整，所以与不对编制音符列M进行调整的结构相比，具有可以生成从音乐角度来说自然的旋律的优点。具体地说，在第1实施方式中，由于将重要音及结束音的音符n的音高变更为由和弦进行数据GC所指定的和弦的构成音的音高（第1调整处理SB1），所以可以使旋律内特别重要的音符的音高从音乐角度来说自然地转变。另外，还具有下述优点，即，可以生成与区间指定数据DA、音高指定数据DB和和弦进行数据DC的组合对应的多样化的旋律。另外，由于将过渡音的音符n的音高变更为与紧前方或紧后方的音符n的音高相对的规定范围内的音高（第2调整处理SB2），所以可以使过渡音的音高也从音乐角度来说自然地转变。

在第1实施方式中，由于利用乐谱分割部424使区间指定数据GA指定的各发音区间S和指定字符串GY的各音节y相关联，所以具有下述优点，即，可以生成各发音区间S和各音节y之间的对应明确且自然的歌唱音的音声信号VA。在第1实施方式中，特别由于指定字符串DY的音节y的数量越多就选择发音区间S的数量越多的区间指定数据DA，所以与使发音区间S的数量和音节y的数量具有较大差异的结构相比，可以合理地使各发音区间S和各音节y对应。另外，由于以针对区段QB1～QB4而使得发音区间S的数量Ni和音节y的数量NYi之间的差异最小化的方式，将指定字符串DY针对各个区段QB进行分割而使得各发音区间S和各音节y相关联，所以在各个区段QB1～QB4中，可以合理地使各发音区间S和各音节y对应。而且，由于以使得各发音区间S和各音节y一一对应的方式执行发音区间S的分割（SA2）或者向指定字符串DY插入音节y（SA3），所以还具有下述优点，即，可以生成针对旋律的各音符n分配一个音节y的自然的歌唱音的音声信号VA。

在第1实施方式中，由于在音声信号VA中添加了伴奏音生成部54所生成的伴奏信号VB，所以与单独播放音声信号VA的结构相比，具有可以生成富有音乐性的乐曲的优点。在第1实施方式中，特别地，由于利用从多个和弦进行数据DC中选择的和弦进行数据GC生成伴奏信号VB，所以与将伴奏固定为1个种类的结构相比，具有可以生成多样化的乐曲的优点。而且，在第1实施方式中，由于按与来自使用者的指示对应的风格Xs而生成伴奏数据DE，所以可以生成与使用者的意图或嗜好一致的乐曲。另外，由于将音声信号VA和伴奏信号VB设定为共通的速度Xt，所以还具有可以生成伴奏音和旋律音自然地整合的乐曲的优点。

<第2实施方式>

下面，说明本发明的第2实施方式。在第1实施方式中，例示了以单个装置实现乐曲生成装置100A的结构。在第2实施方式中，通过使可以彼此通信的多个服务器装置协同动作，从而实现与第1实施方式的乐曲生成装置100A具有相同功能的乐曲生成装置100B。此外，在下面例示的各形态中，对于作用及功能与第1实施方式相同的要素，沿用上述说明中参照的标号，适当地省略各自的详细说明。

图11是第2实施方式所涉及的乐曲生成装置100B的框图。如图11所示，第2实施方式的乐曲生成装置100B是生成音频信号V并向终端装置10提供的通信系统（乐曲生成系统），包含管理服务器装置70、旋律生成服务器装置72、音声信号合成服务器装置74、伴奏生成服务器装置76和伴奏信号合成服务器装置78而构成。各服务器装置可以经由互联网等通信网络而彼此通信。终端装置10例如是移动电话或个人计算机等通信终端，包含输入装置12和放音装置14而构成。

管理服务器装置70是与终端装置10通信的网络服务器，具有变量设定部32、字符串设定部34、存储部242、第3取得部46和混音部56。变量设定部32与使用者向终端装置10的输入装置12输入的指示对应而设定速度Xt及风格Xs，字符串设定部34与使用者向输入装置12输入的指示对应而设定指定字符串DY。存储部242存储多个和弦进行数据DC。第3取得部46将多个和弦进行数据DC的其中一个作为和弦进行数据GC而取得。将指定字符串DY、速度Xt和和弦进行数据GC发送至旋律生成服务器装置72，和弦进行数据GC、速度Xt和风格Xs发送至伴奏生成服务器装置76。

旋律生成服务器装置72具有存储部244、第1取得部42、第2取得部44和旋律生成部522。存储部244存储多个区间指定数据DA和多个音高指定数据DB。第1取得部42与指定字符串DY对应而选择存储在存储部244中的多个区间指定数据DA的其中一个，执行图6的乐谱分割处理，从而生成区间指定数据GA和指定字符串GY。第2取得部44将存储在存储部244中的多个音高指定数据DB的其中一个选择作为音高指定数据GB。旋律生成部522生成与区间指定数据GA、音高指定数据GB、和弦进行数据GC对应的旋律数据DM。将旋律数据DM、指定字符串GY和速度Xt发送至音声信号合成服务器装置74。

音声信号合成服务器装置74具有生成与旋律数据DM、指定字符串GY和速度Xt对应的音声信号VA的音声合成部524。音声合成部524生成的音声信号VA经由旋律生成服务器装置72发送至管理服务器装置70。

伴奏生成服务器装置76生成与和弦进行数据GC、速度Xt和风格Xs对应的伴奏数据DE。伴奏信号合成服务器装置78具有伴奏信号生成部544，其生成与由伴奏生成服务器装置76供给的伴奏数据DE对应的伴奏信号VB。伴奏信号生成部544所生成的伴奏信号VB经由伴奏生成服务器装置76发送至管理服务器装置70。

管理服务器装置70的混音部56将音声信号合成服务器装置74所生成的音声信号VA和伴奏信号合成服务器装置78所生成的伴奏信号VB混音而生成音频信号V。将音频信号V发送至终端装置10而从放音装置14作为声波进行播放。

在第2实施方式中也实现与第1实施方式相同的效果。此外，构成乐曲生成装置100B的服务器装置的数量及各自执行的功能可以在图11的例示的基础上适当地变更。例如，也可以采用将图11的旋律生成服务器装置72及音声信号合成服务器装置74的功能由单个服务器装置执行的结构，或者将伴奏生成服务器装置76及伴奏信号合成服务器装置78的功能由单个服务器装置执行的结构。

<变形例>

上述各方式可以进行各种变形。具体的变形方式如下所例示。也可以从下述例示中任意选择大于或等于2个方式进行适当地组合。

（1）第1取得部42取得区间指定数据GA的方法可以适当地变更。例如，也可以采用第1取得部42随机地将多个区间指定数据DA的其中一个选择作为区间指定数据GA的结构（即，省略乐谱分割部424的结构）。即，可以省略与指定字符串DY对应而选择区间指定数据DA的结构，或者省略针对区间指定数据DA执行乐谱分割处理的结构。根据上述说明可知，第1取得部42可以概括为用于取得与多个区间指定数据DA的其中一个对应的区间指定数据GA的要素。区间指定数据GA涵盖如第1实施方式所例示的利用乐谱分割部424进行乐谱分割处理后的区间指定数据DA和区间指定数据DA本身这两者。第2取得部44及第3取得部46的动作也可以适当地变更。例如，也可以采用下述结构，即，第2取得部44从存储装置24中选择多个音高指定数据DB的其中一个并执行规定的处理（例如将各音符的音高增加规定量的处理），从而生成音高指定数据GB。对于第3取得部46也相同。

（2）在所述各方式中，音声合成部524生成与指定字符串GY对应的音声信号VA，但也可以省略字符串设定部34或音声合成部524。即，本发明也可以作为以生成对编制音符列M进行指定的旋律数据DM作为目的的装置、或者生成对旋律数据DM所指定的编制音符列M的乐器音进行表现的音频信号的装置而实现。

（3）伴奏音生成部54生成伴奏信号VB的方法也可以适当地变更。例如，也可以在存储装置24中保存与不同风格对应的多个伴奏数据DE，选择与使用者所指定的风格Xs对应的伴奏数据DE而生成伴奏信号VB。另外，也可以采用省略伴奏音生成部54的结构（即，仅生成旋律的结构）。

（4）在所述各方式中，针对区间指定数据GA所指定的发音区间S的起点，由音高提取部62提取出音高指定数据GB所指定的音高，但提取音高的时刻并不限定于发音区间S的起点。例如，也可以在从发音区间S的起点开始经过了规定时间后的时刻、或发音区间S的中间点，将音高指定数据GB所指定的音高作为与该发音区间S对应的音符n的音高进行提取。根据上述说明可知，旋律生成部522可以概括为生成对与区间指定数据GA所指定的各发音区间S和音高指定数据GB针对该发音区间S的基准时刻所指定的音高对应的以时间序列排列的音符进行指定的旋律数据DM的要素，发音区间S的基准时刻表示相对于发音区间S处于规定的位置关系的时刻（发音区间S的起点或中间点）。

（5）在所述各方式中，针对编制音符列M中的对应于重要音及结束音的音符n执行第1调整处理SB1，针对对应于过渡音的音符n执行第2调整处理SB2，但也可以对编制音符列M的所有音符n执行第1调整处理SB1或第2调整处理SB2。

（6）所述各方式中例示的数据的格式可以任意地变更。例如，区间指定数据DA、音高指定数据DB、旋律数据DM及伴奏数据DE并不限定于SMF格式，可以以任意格式进行记述。和弦进行数据DC也可以以SMF格式记述。另外，音频信号V、音声信号VA及伴奏信号VB并不限定于时间波形的采样序列，也可以表现为以时间序列对时间波形进行指定的数据（例如基于MIDI标准的演奏数据）。

Claims (12)

1.一种乐曲生成装置，其具有：

第1取得单元，其从对以时间序列排列的发音区间进行指定的多个区间指定数据中，取得其中一个区间指定数据；

第2取得单元，其从对以时间序列排列的音高进行指定的多个音高指定数据中，取得其中一个音高指定数据；以及

旋律生成单元，其与由所述第1取得单元取得的区间指定数据所指定的各发音区间、和由所述第2取得单元所取得的音高指定数据在该发音区间的基准时刻所指定的音高相对应，生成对以时间序列排列的音符进行指定的旋律数据。

2.根据权利要求1所述的乐曲生成装置，其中，

所述旋律生成单元包含：

音高提取单元，其生成编制音符列，该编制音符列是将具有所述区间指定数据所指定的各发音区间和所述音高指定数据在该发音区间的基准时刻所指定的音高的音符进行排列而形成的；以及

音高调整单元，其对由所述音高提取单元生成的编制音符列的各音符的音高进行调整而生成所述旋律数据。

3.根据权利要求2所述的乐曲生成装置，其中，

该乐曲生成装置具有第3取得单元，其取得对和弦进行作出指定的和弦进行数据，

所述音高调整单元执行第1调整处理，在该处理中，将所述编制音符列的多个音符中的至少一部分音符的音高，变更为在该音符的发音区间中由所述和弦进行数据所指定的和弦的构成音的音高。

4.根据权利要求2所述的乐曲生成装置，其中，

所述音高调整单元执行第2调整处理，在该处理中，将所述编制音符列的多个音符中的至少一部分音符的音高，变更为与该音符的紧前方或紧后方的音符的音高对应的规定范围内的音高。

5.根据权利要求1至4中任一项所述的乐曲生成装置，其中，

乐曲生成装置具有：

字符串设定单元，其取得将多个音声单位以时间序列排列的指定字符串；以及

音声合成单元，其根据由所述旋律生成单元生成的旋律数据所指定的多个音符，生成对所述指定字符串进行发音的音声的音声信号。

6.根据权利要求5所述的乐曲生成装置，其中，

所述第1取得单元包含乐谱分割单元，其使得由所述第1取得单元取得的区间指定数据所指定的各发音区间和所述指定字符串的各音声单位彼此对应，

所述音声合成单元在由所述旋律数据所指定的多个音符的各自的发音区间中，生成对经由所述乐谱分割单元而与该发音区间对应起来的音声单位进行发音产生的音声的音声信号。

7.根据权利要求6所述的乐曲生成装置，其中，

所述第1取得单元包含选择单元，其以如下方式选择所述多个区间指定数据中的区间指定数据，即，所述字符串设定单元所设定的指定字符串的音声单位的数量越多，所选择的区间指定数据的发音区间的数量就越多。

8.根据权利要求6所述的乐曲生成装置，其中，

所述乐谱分割单元针对设定在时间轴上的多个区段，以使得所述区间指定数据在该区段内指定的发音区间的数量，与所述指定字符串中的该区段内的音声单位的数量近似的方式，将所述指定字符串针对各个区段进行分割，将所述各发音区间和所述各音声单位在各个区段中对应。

9.根据权利要求8所述的乐曲生成装置，其中，

所述乐谱分割单元针对发音区间的数量少于音声单位的数量的区段，分割该发音区间，针对发音区间的数量多于音声单位的数量的区段，在该区段内的指定字符串中追加规定的音声单位。

10.根据权利要求5所述的乐曲生成装置，其中，

乐曲生成装置具有：

伴奏音生成单元，其生成表示伴奏音的伴奏信号；以及

混音单元，其将由所述音声合成单元生成的音声信号和由所述伴奏音生成单元生成的伴奏信号进行混音。

11.根据权利要求10所述的乐曲生成装置，其中，

乐曲生成装置具有对速度进行指定的变量设定单元，

所述音声合成单元生成由所述变量设定单元所设定的速度的音声信号，

所述伴奏音生成单元生成由所述变量设定单元所设定的速度的伴奏信号。

12.一种乐曲生成方法，在该方法中，

从对以时间序列排列的发音区间进行指定的多个区间指定数据中，取得其中一个区间指定数据，

从对以时间序列排列的音高进行指定的多个音高指定数据中，取得其中一个音高指定数据，并且

与由所述取得的区间指定数据所指定的各发音区间、和由所述取得的音高指定数据在该发音区间的基准时刻所指定的音高相对应，生成对以时间序列排列的音符进行指定的旋律数据。

Images