JP2014170146A

JP2014170146A - 日本語歌詞からの多重唱の自動作曲方法及び装置

Info

Publication number: JP2014170146A
Application number: JP2013042453A
Authority: JP
Inventors: Shigeki Sagayama; 茂樹嵯峨山; Daiki Kiribuchi; 大貴桐淵; Satoru Fukayama; 覚深山; Daisuke Saito; 大輔齋藤
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2013-03-05
Filing date: 2013-03-05
Publication date: 2014-09-18

Abstract

【課題】歌詞の韻律に基づいて多重唱を自動作曲する。
【解決手段】入力された日本語歌詞からテキストの読みと韻律を決定するステップと、和音進行を決定するステップと、旋律のリズムを決定するステップと、所定の作曲条件にしたがって旋律を生成する旋律生成ステップと、を備える。前記旋律生成ステップは、旋律の生起確率を隣接する音高間の遷移確率の積で近似すると共に、隣接する音高間の遷移確率を作曲条件ごとの確率の組み合わせで近似し、旋律を、リズム決定部によって決定されたリズムと音高からなる格子点上の経路と捉え、動的計画法により尤度最大経路を決定する。前記旋律生成ステップは、各声部の旋律間の音楽理論に基づく制約を規定する確率を用いて、選択されたある声部の旋律の生起確率を、他の声部の少なくも１つの声部の旋律を条件とする条件付き確率として決定する。
【選択図】図１０Ａ

Description

本発明は、日本語歌詞からの多重唱の自動作曲方法及び装置に係り、特に、二重唱の自動作曲に関するものである。本発明は、また、既存旋律から多重唱への自動編曲を行う方法及び装置に関するものである。

コンピュータを用いた音楽の自動作曲は古くからの関心であり、研究例も多い。しかし、多くの場合は、コンピュータアルゴリズムによって、従来になかった現代作曲を行おうとする「アルゴリズム作曲」と呼ばれるものであり、決して一般のユーザが気楽に使う用途ではなかった。一部に、そのような現代作曲家のツールとしてではなく、一般向けの自動作曲の研究例はあるが、歌詞を伴う作曲は極めて少なく、歌詞を扱った少数の例では歌詞の韻律（アクセントや抑揚など）を考慮していないために、不自然な旋律を生成するだけの試みであった。その理由としては、音声合成技術と音楽理論の双方に通じた研究者が少なかったことが考えられる。

本発明者等の研究グループは、日本語歌詞から独唱を自動で作曲する研究を行っている（非特許文献１）。日本語はピッチアクセントの言語であり、日本語歌唱曲の作曲では、歌詞のイントネーション（抑揚）と旋律が一致することが要求されてきた。すなわち、日本語歌詞には、自動作曲に用い得る情報（旋律的要素）が本来的に備わっている。入力された日本語歌詞を解析することで得られた歌詞の読みと韻律を自動作曲に用いることができる。旋律設計は、韻律の上下動を守りながら、曲想に応じてどの音域を使うか、どの程度の跳躍をするか、などを考慮して進められる。

本発明者等の研究グループは、既に、自動作曲システムOrpheus（図７Ａ、図８、図９参照）を運用している。これは、任意の歌詞を与えると、その韻律（アクセントや抑揚）を生かして、作曲の理論（和声学）に基づき、自動作曲をし、伴奏付きで歌声を合成する技術に関するものである。このような自動作曲システムは、例えば、自作の詩に曲をつけたい場合や、ニュース、メールなどに曲をつけて聴きたい場合や、著作権フリーの曲を作成する場合などに有用である。

作曲や編曲には音楽理論の修得や経験が必要である。自動作曲は、人間の作曲行為を全て、あるいは部分的に計算機処理によって代替することであり、音楽の専門知識をもたない人にとって、作曲行為を代替する点で有用な技術である。特に、複数の歌手が異なる旋律を歌唱する多重唱は、幅広い音楽的表現をもち、重要な楽曲形態である一方、独唱作曲に比べて考慮すべき条件が多く、より高度な作曲技能が必要とされるため、多重唱の自動作曲は音楽の専門知識をもたない人を支援する、意義の大きい課題である。既存旋律からの多重唱への自動編曲についても同様のことが言える。

中妻啓,酒向慎司,小野順貴,嵯峨山茂樹:"歌詞の韻律を用いた自動作曲,"日本音響学会春季研究発表会講演論文集,pp.739−740,2007.

本発明は、歌詞の韻律に基づいて多重唱を自動作曲する方法及び装置を提供することを目的とする。
本発明の他の目的は、既存旋律から多重唱への自動編曲を行う方法及び装置を提供することにある。

本発明が採用した第１の技術手段は、日本語歌詞から多重唱を自動作曲ないし編曲する装置であって、
入力された日本語歌詞の読みと韻律を決定する歌詞解析部と、
和音進行決定部と、
旋律のリズムを決定するリズム決定部と、
所定の作曲条件にしたがって旋律を生成する旋律生成部と、
を備え、
前記旋律生成部は、旋律の生起確率を隣接する音高間の遷移確率の積で近似すると共に、隣接する音高間の遷移確率を作曲条件ごとの確率の組み合わせで近似し、旋律を、前記リズム決定部によって決定されたリズムと音高からなる格子点上の経路と捉え、動的計画法により尤度最大経路を決定するものであり、
前記作曲条件ごとの確率には、音高の出現確率として、音域を規定する確率、和声と音階の関係を規定する確率が含まれ、隣接する音高間の遷移確率として、跳躍を規定する確率、歌詞の韻律との関係を規定する確率が含まれ、
前記旋律生成部は、さらに、各声部の旋律間の音楽理論に基づく制約を規定する確率を用いて、選択されたある声部の旋律の生起確率を、他の声部の少なくも１つの声部の旋律（音高の遷移）を条件とする条件付き確率として決定する、装置、である。

本発明が採用した第２の技術手段は、日本語歌詞から多重唱を自動作曲ないし編曲する方法であって、
入力された日本語歌詞からテキストの読みと韻律を決定するステップと、
和音進行を決定するステップと、
旋律のリズムを決定するステップと、
所定の作曲条件にしたがって旋律を生成する旋律生成ステップと、
を備え、
前記旋律生成ステップは、旋律の生起確率を隣接する音高間の遷移確率の積で近似すると共に、隣接する音高間の遷移確率を作曲条件ごとの確率の組み合わせで近似し、旋律を、前記リズム決定部によって決定されたリズムと音高からなる格子点上の経路と捉え、動的計画法により尤度最大経路を決定するものであり、
前記作曲条件ごとの確率には、音高の出現確率として、音域を規定する確率、和声と音階の関係を規定する確率が含まれ、隣接する音高間の遷移確率として、跳躍を規定する確率、歌詞の韻律との関係を規定する確率が含まれ、
前記旋律生成ステップは、さらに、各声部の旋律間の音楽理論に基づく制約を規定する確率を用いて、選択されたある声部の旋律の生起確率を、他の声部の少なくも１つの声部の旋律を条件とする条件付き確率として決定する、方法、である。
本発明が採用した第３の技術手段は、日本語歌詞から多重唱を自動作曲ないし編曲するために、上記方法をコンピュータに実行させるためのコンピュータプログラム、である。

本発明は、与えられた日本語歌詞に基づく多重唱の自動作曲、及び、既存旋律と他の声部の歌詞に基づく多重唱の自動編曲に関するものである。歌詞・作曲条件（リズム・和声等）を入力して複数旋律を生成する作曲システムを構築する。作曲条件として、歌詞の韻律（歌詞からの制約としての抑揚）、音楽理論（和声構造からの制約：非和声音、禁則）が考慮され、音楽理論に合致・歌詞の韻律に合致した旋律が生成される。
現代においてもなお、ポピュラー曲を含め、大部分の楽曲は古典的な作曲理論に基づいているが、古典的な作曲法では和声学が基本の理論である。たとえば小節単位に和音が決められると、その中で和声内音を主に使って旋律が作られる。一見その順序が逆であることも多いが、旋律が和声を考慮せずにまったく独立に作曲されることはほとんどないと言ってよい。一方、日本語の歌詞はアクセントや抑揚などの旋律的要素を持っており、作曲法においてはそれを尊重することが鉄則である。これらの要素を考慮しつつ作曲をするのが作曲のプロセスの中心である。
この問題は、さらにリズムを与えると、和声学の規則を守りながら、「旋律」という経路を求めてゆく問題として数理的に定式化できる。旋律の音の現れ方にはある確率的な偏りが生じる。具体的には、和声進行と歌唱音域の制限による音高の出現確率の偏り、リズムによる音の出現タイミングの偏り、平行８度の禁止などの音楽理論に基づく音高の遷移確率の偏りなどである。
したがって、歌詞をよく反映する旋律が作曲されたとすれば、その旋律はこれらの制約を同時に一番良く満たしているものであると考えられる。すなわち、歌唱曲の旋律生成はこれら制約によって決まる音の出現確率と遷移確率の下で、最も尤度の高い旋律を探索するという問題として定式化できる。この旋律は動的計画法を用いて効率的に探索することができる。
今回は、その原理により、多重唱（典型例では、二重唱）を自動作曲できる点が本発明の要点である。

１つの態様では、前記各声部の旋律間の音楽理論に基づく制約を規定する確率には、各声部の隔離や交叉を規定する確率、各旋律の間での対位法的禁則を規定する確率、解決しない転移音の禁止を規定する確率、の１つ以上が含まれる。
１つの態様では、各旋律の間での対位法的禁則を規定する確率には、声部の旋律間の連続１度・８度・５度の禁止を規定する確率が含まれる。

１つの態様では、前記旋律生成部は、複数の声部の旋律を順次生成する。
１つの態様では、前記旋律生成部は、複数の声部の旋律を同時に生成する。
複数旋律の作曲方法としては、それぞれの旋律を順次的に作曲すること（それぞれの旋律ごとに生起確率の最大化を行う）、複数の旋律を同時に作曲すること（複数旋律の同時生起確率の最大化を行う）が挙げられる。また、旋律が３つ以上の場合に、この二つの手法を組み合わせて用いて旋律を生成してもよい。

前記装置は、部分的に旋律の傾向を指定する旋律制御手段を備えており、当該旋律制御手段によって、動的計画法により決定される尤度最大経路が部分的に制約される。経路制約つき動的計画法により、旋律の特性を先に与えることができる。

１つの態様では、前記多重唱は二重唱であり、前記旋律生成部は、第１声部と第２声部の旋律間の音楽理論に基づく制約を規定する確率を用いて、第２声部の旋律の生起確率を、第１声部の旋律を条件とする条件付き確率として決定する。
第１声部の旋律は、動的計画法で生成される場合と、既に用意されている場合と、がある。
第１声部と第２声部の態様については、例えば、歌詞が同じ場合、異なる場合、リズム（音高の遷移のタイミング）が同じ場合、異なる場合、がある。

１つの態様では、「旋律生成部」は、和声構造、リズム構造、伴奏低音線、歌詞の抑揚、和声学規則の制約の中で確率最大になる経路をDP（動的計画法）により探索することで多重唱旋律（例えば、二重唱における２つの旋律）を決定することにより実現できる。また、同時に動作させる「伴奏生成部」は、和声構造と伴奏音型から伴奏楽譜を生成するものである。
任意の歌詞を与えると、その韻律（アクセントや抑揚）を生かして、作曲の理論（和声学）に基づき、自動作曲をし、伴奏つきで歌声を合成する技術を提供する。１つの実施形態では、二重唱の自動作曲に係る。１つの実施形態は、以下の構成で、与えられた歌詞に対して二重唱自動作曲を行う。
１）歌詞テキスト解析による読みと韻律の決定
漢字かな混じりテキスト入力からの音声合成の技術を部分流用して、そのテキストの読みと韻律（アクセントと抑揚など）を決定する。
２）歌詞からの曲想要素選択
ユーザは、作曲条件として、和声構造、リズム構造、伴奏形、伴奏楽器編成を決定する。
３）第１声旋律決定
作曲条件の和声構造、リズム構造、伴奏低音線、音域、歌詞の抑揚、和声学規則の制約の中で確率最大になる経路をDP（動的計画法）により探索することで旋律を決定する。
第１声旋律は、既存の旋律として与えられる場合もある。
４）第２声旋律決定
作曲条件の和声構造、リズム構造、伴奏低音線、音域、第１声旋律、歌詞の抑揚、和声学規則の制約の中で確率最大になる経路をDP（動的計画法）により探索することで旋律を決定する。
第１声旋律決定と第２声旋律決定を行うには、２つのアプローチがある。
１つは、2声部を順次的に作曲することであり、もう１つは、2声部を同時に作曲することである。
本発明は、二重唱に限定されず、多重唱（例えば、三重唱）として捉えることができる。
複数旋律作曲のアプローチとして、それぞれの旋律を順次的に作曲する手法（それぞれの旋律ごとに生起確率の最大化）、複数の旋律を同時に作曲する手法（複数旋律の同時生起確率の最大化）がある。後者としては、いわゆる２次元動的計画法を用いることができる（図２３参照）。
５）伴奏生成
和声構造と伴奏音型から伴奏楽譜を生成する。
６）歌唱音声合成と伴奏演奏
上記によって作成された旋律を合成音声で歌わせ、伴奏楽譜をMIDIシーケンサにより演奏させて、両方の信号の和を出力する。

１つの態様では、前記装置は、複数の和音進行パターンが格納された和声ライブラリを備え、
前記和音進行決定部は、ユーザの選択に応じて和音進行パターンを決定する。
１つの態様では、前記和声ライブラリには、複数の調が格納されており、ユーザの選択に応じて調が決定される。
１つの態様では、前記装置は、複数のリズムパターンが格納されたリズムライブラリを備え、
前記リズム決定部は、ユーザの選択に応じてリズムパターンと、前記歌詞解析部によって得られた歌詞のモーラ数と、からリズムを決定する。
１つの態様では、前記リズムパターンは、統一感のあるリズムを生成する異なる音符数の複数のリズムパターンの集合であるリズムファミリーとして用意されており、
各リズムパターンは同じリズムファミリーに属する異なる音符数のパターンに展開できるリズム木構造を備えており、
歌詞のモーラにより決定される音符数に合わせて、リズムファミリーから使用するリズムが決定される。
二重唱のリズムは、歌詞のモーラ数（音節数のようなもの）が異なっても統一的な印象を与えられるようなリズムのファミリーが「リズム木（rhythm tree）」の構造で実現でき、それらを組み合わせることで高度に音楽的な曲が生成できる。
１つの態様では、前記装置は、音域の設定手段を備えている。
１つの態様では、前記装置は、和音に含まれる音のみで旋律を作る跳躍進行型、和声外音（非和声音）も用いた旋律の生成する順次進行型、が選択可能に格納されており、選択された旋律型にしたがって旋律の生成が実行される。

（ア）漢字仮名交じり歌詞テキスト入力から、読みと韻律を推定する。
読みと韻律の推定は、例えば、日本語テキスト読み上げソフトを用いて行うことができる。
（イ）和声構造を設計する。
和声構造は楽曲の最も重要な骨組である。和声進行は、予め用意された和声進行ライブラリの中からユーザが選択する。和声学によるルールや既存の楽曲の和声進行のn-gram統計を用いて和声進行を自動生成してもよい。
（ウ）リズムを決定する。
リズムパターンは、予め用意されたリズムライブラリの中からユーザが選択する。歌詞のモーラ数（入力歌詞により決定される）に基づいて音符数とリズムを決定する。音符数が一つ多い場合にどの音符を分割するかを木構造で記述したリズム木構造を用いる。
（エ）和声構造、リズム構造、歌詞の韻律、音域などの拘束中で歌唱旋律を決定する。
日本語の歌唱作曲では、原則として歌詞の韻律と旋律の上下が一致することが必要である。和声内音と非和声音の使用は和声学の規則にしたがわなければならない。先に定めたリズムに基づいて、これらの拘束を同時に満たす音符列を決定するため、各拘束を確率重みとして扱い、動的計画法により尤度最大経路の探索問題として解く。
具体例を以下に示す。
和音進行、リズム、及び伴奏の自動生成は行わず、曲想に対応する幾つかのパターンのライブラリを用意し、そこからユーザが歌詞に応じて選択できるものとした。また、これによって曲想の入力とする。
韻律の上下動は、アクセント核では必ず下降音型、１型以外ではアクセント句の先頭を上行音型とする。それ以外の部分では、１型以外では下降を禁じる平行音型、１型のアクセント核以降は上行を禁じる平行音型とする。ＤＰを行う際、旋律の経路に確率重みを与える各種の確率は、妥当と思われる値を与える。跳躍度数については、跳躍推奨、順次進行推奨の２種類の確率を与える。
和声学の禁則として、和音進行と同時に与えられるバスと、和音の境界の前後の旋律の間で、平行１度、５度、８度、平達１度、５度、８度を禁止した。また、和声学上の解釈ができない非和声音を禁止する。
（オ）和声構造と伴奏音型から伴奏（ＭＩＤＩデータ）を生成する。
和声構造に基づき、伴奏音型に従って伴奏を自動生成する。本実施形態では、伴奏音型ライブラリからユーザが選択する方式を取る。
（カ）歌唱旋律から歌唱音声合成により歌唱信号を生成し、伴奏信号を重畳する。
自動作曲結果を用いて、歌唱音声合成と伴奏ＭＩＤＩ信号からの信号生成を重畳して、伴奏付きの歌唱合成出力を行える。
以上の手順で、和声構造、リズム木構造、伴奏音型は、それぞれのライブラリから選択される。なお、歌詞の入力テキストを解析することで曲想を自動決定し、それに基づいて和音構造、リズム構造、伴奏音型を自動選択し、曲想に合わせた自動作曲を行ってもよい。

本発明に係る多重唱の自動作曲システムや自動編曲システムには以下に述べるような効果がある。まず、音楽の専門知識をもたない人にとっては、簡単に多重唱を作曲することができるようになり、その自動作曲された多重唱を著作権フリー楽曲や歌のプレゼントとして利用することができる。また、自分の歌詞による多重唱を簡単に作曲できると、一緒に歌ってハーモニーをなしたりして、多重唱を楽しむことができる。次に、主旋律は自分で作曲し他の声部を自動作曲することで、オリジナルな合唱曲を容易に作ることができる。さらに、音楽の専門知識をもつ人も、作曲にかかる手間や時間を軽減するために、自動作曲や自動編曲の結果の一部を利用することができる。

隣接する音高間の音楽理論の例を示す（２声部間の音楽理論の禁則を犯さないことが二重唱作曲の要件の１つである）。二重唱作曲の要件として、声部が交叉しないこと、及び、交叉を例示する。歌詞の韻律と旋律の音高の上下動が一致する例を示す。音程の名称の例を示す。非和声音の例を示す。連続8度・連続1度の例であり、これらは禁ぜられる。連続5度の例であり、これらは禁ぜられる。並達8度・5度・1度の例であり、これらは禁ぜられる。日本語歌詞、リズム、和声を与えて単旋律を自動生成する自動作曲システムの概略図である。旋律をリズムと音高からなる格子点上の経路と捉える例を示す。局所的な確率的制約の既述例を示し、右は音楽理論に合致する場合に遷移確率を高くする例（合致しない場合は遷移確率が低くなる）、左は歌詞の韻律に合致する場合に遷移確率を高くする例（合致しない場合は遷移確率が低くなる）を示す。２声部間の音楽理論に基づく遷移確率の例を示す。歌唱曲作曲モデルを示す図である。自動作曲システムOrpheusの構成を示す図である。二重唱作曲モデルの概略図である。作曲システムの概略図である。作曲システムの概略図である。作曲システムの概略図である。旋律をリズムと音高からなる格子点上の経路と捉える例を示す。リズムの木構造テンプレートの例を示す。ハモリの例。第1声部と第2声部の歌詞とリズムを同一にした。対旋律の例。第1声部と第2声部で異なるリズムを選択した。対旋律の例。第1声部と第2声部で異なるリズムを選択した。掛け合いの例。第1声部と第2声部で歌詞とリズムがどちらも異なる。掛け合いの例。第1声部と第2声部で歌詞とリズムがどちらも異なる。第2声部と第3声部を順番に作曲した場合の三重唱の出力例。4小節目から 5小節目にかけて、第3声部とバスラインの間で連続 8度の禁則を犯している。第2声部と第3声部を同時に作曲した場合の三重唱の出力例。図１３と比較して、音楽理論からの逸脱が少ない。四重唱の出力例。1段目から4段目がそれぞれソプラノ、アルト、テノール、バスの声部を表している。二重唱編曲モデルの概略図である。「世界に一つだけの花」を編曲した例を示す。「どんぐりころころ」を編曲した例を示す。動的計画法による探索での経路(DP(dynamic-programming)経路)の制約による、音高指定(pitch specification)、上下動指定(pitch motion specification)と音域指定(range specification)を示す。 DP経路制約に基づく旋律制御の試行例を示す。２次元動的計画法の概念図である。

本実施形態は、与えられた日本語歌詞の韻律に基づいて多重唱を自動作曲する手法、及び、既存の歌の旋律を多重唱に自動編曲する手法に関するものである。多重唱の自動作曲は、多様な表現をもつ楽曲を生成できる。また、独唱作曲に比べ多重唱作曲はより高度な作曲技能を必要とするため、自動作曲を行う意義の大きい問題である。親しみやすい多重唱の作曲には、特に声部間の音楽理論からくる要件を満たす必要がある。本実施形態では、多重唱が満たすべき要件を局所的な音高間の遷移確率で記述し、旋律の作曲を音高列の生起確率最大化問題として定式化する。この定式化に基づき、日本語歌詞から多重唱を自動作曲する手法を構築する。さらに、同様の定式化に基づき、既存の歌を多重唱に自動編曲する手法を構築する。生成された多重唱に対して専門家による評価を実施し、音楽理論からの逸脱が少ないことが確認された。以下、詳細に説明する。

［Ａ］確率に基づく旋律の自動作曲
［Ａ−１］旋律作曲の要件
歌の旋律を作曲する時に考慮するべき要件として、音楽理論に由来する要件と、歌詞に由来する要件と、がある。

［Ａ−１−１］音楽理論に由来する要件
旋律（melody）とは、音高（音の高低）の列のことであり、和声（harmony）・リズム（rhythm）と共に、音楽の3要素の1つとされる。旋律は、一般的に和声やリズムの制約を受けて作曲される。既存の音楽スタイルに従う旋律を作曲する上では、多くの人が親しみやすく歌いやすい旋律を作曲することが必要である。この要件を満たすには、音楽理論からの逸脱が少ない旋律を作曲することが必要であると考えられる。

まず、旋律の背後にある調性や和声に従う必要がある。和声と旋律の関係については和声学で整理されている。例えば、和音に含まれない音を旋律の音として使うためには、規則を守り適切な音を選ぶ必要がある。

次に、人間が歌いやすい旋律を作曲するために、音域を適切に制限することが重要である。歌の旋律は、実際に歌う歌手の歌唱音域内の音のみを用いて作曲しなければならない。また、一般的に歌い手は歌唱音域の中心付近の音の方が両端付近の音よりも歌いやすい。そのため、歌唱音域の中心付近の音高を多く用いて、歌唱音域の両端付近の音高をあまり用いない方が望ましい。

さらに、歌手の歌唱技術に合わせて跳躍を制限する必要がある。1オクターブを超える跳躍を歌うことは一般的に難しいとされている。音域と跳躍は、楽曲の曲想にも大きな影響を与える。例えば、同じ曲の中でも、歌詞の強調したい部分、盛り上げたい部分では音域を高くして大きな跳躍を多用し、それ以外の部分は音域を低く、順次進行や比較的小さな跳躍を使う方法は、歌唱曲の作曲では常套手段である。

複数の旋律を作曲する場合には、各旋律間の関係を考慮する必要がある。各旋律の間や各旋律とバスラインとの間で対位法的禁則を犯さないことが重要である（図１Ａ参照）。また、各声部音間のへだたりが大きくなる声部の隔離や、各声部の音の高低が途中で入れ替わる声部の交叉は避けることが望ましい（図１Ｂ参照）。

このように、旋律を作曲する際の音楽理論としては、「音階構成音を用いる」、
「和声音・非和声音を区別する」、「音域や跳躍を制限する」などがあり、さらに、多重唱作曲に特有の音楽理論としては、「各声部間の音高遷移に関する禁則を犯さない」、「声部同士が交叉・隔離しない」などがある。

［Ａ−１−２］歌詞に由来する要件
日本語は高低アクセントをもつ言語であり、日本語のアクセントはピッチの高低により表現され、音声発話時にピッチの高低が音声に付与される。日本語には「箸」と「橋」、「切る」と「着る」等のように、ピッチの高低が変わると意味が異なる、音素列が同じ語が存在する。また、そのような語でなくても、音声に正しくないピッチの高低が付与されると、音声の意味を正確に捉えることが難しくなる。例えば、異なる方言のアクセントによる音声を聞いた時、知っている単語でも意味がすぐに分からないことがある。よって、音声の内容を正確に伝えるためには、音声に正しいピッチの高低を付与して発話することが必要である。

音声発話時と同様に、歌詞の意味を保持した作曲を行うためには、旋律は歌詞の韻律に従うことが望ましい。また、歌詞の韻律に従った旋律は音声の発話時と同じようなピッチの高低を持つことから、より歌いやすい旋律であると考えられる。実際に、歌詞を朗読する際の韻律と旋律の音高の上下動が一致することが重要とされている（長谷川良夫:“作曲法教程上巻,”音楽之友社, 1950）。歌詞の韻律と旋律の音高の上下動が一致する例を図１Ｃに示す。

各声部の歌詞を入力として多重唱を作曲する上では、重なり合った各声部それぞれの歌詞の意味を聴衆に正確に伝えることが重要である。また、多重唱の各声部を実際に歌う場合も、主旋律等の他の旋律の影響を受けてしまわないように各声部が歌いやすい旋律であることが望ましい。したがって、各声部の旋律がそれぞれの歌詞の韻律に従うことが重要である。

［Ａ−２］概念・用語の説明
［Ａ−２−１］音韻論の基礎知識
本発明の理解に必要ないし有用な日本語の音韻論について説明する。詳細については、「田窪行則,前川喜久雄,窪園晴夫,本多清志,白井克彦,中川聖一:“音声,”岩波講座言語の科学2,岩波書店,1998」を参照することができる。

［モーラ］
モーラは、日本語を読み上げる時の「拍」を表す単位であり、日本語の音韻論的特徴を決定する重要なものである。この拍により形成されるリズムに、俳句や和歌のリズム（五・七・五、五・七・五・七・七）がある。長音「−」、促音「っ」、撥音「ん」も 1モーラと数えられる。小さい「ゃ」「ゅ」「ょ」等は 1モーラと数えられず、「きゅ」「ちゃ」等の2文字で1モーラと数えられる。日本語の歌は、歌詞の発話時のモーラ単位に音高が付与されて歌われることが多い。

［韻律］
音韻論で韻律とは、音声発話時の音の高低、強弱、長さ、区切り、息継ぎ等、音色以外の幅広い特徴のことである。これらの特徴は、音声発話時に内容をわかりやすく伝えるための特徴として重要である。これらの特徴のうち、韻律的特徴を強く伝えるものは主にピッチの変化であり、高低アクセント（ピッチアクセント）が重要とされる。

［アクセント］
日本語において、アクセントはピッチの下行によって表現される。このピッチの下行が生じる直前の拍は、アクセント核と呼ばれる。アクセント核が存在する語は有核語と呼ばれ、ピッチの下行が生じない語は無核語と呼ばれる。アクセント核の位置を明示するため、アクセント核の存在する拍の語の先頭からのモーラ数により、1型、2型、…のように表す。この型は語のアクセント型と呼ばれ、無核語ではアクセント型は0型である。アクセント核、アクセント型の例を表１に示す。

［アクセント句］
アクセントは語のピッチの変化であるが、長いテキストを発話する時は、テキストをいくつかのグループに分割してそのグループにイントネーションをつけて発話する。このグループはアクセント句と呼ばれる。アクセント句でも、語と同様にピッチの下降する直前の拍はアクセント核と呼ばれ、その拍の位置はアクセント型で表現される。有核語を含まずピッチの下行が生じないアクセント句は0型である。

アクセント句の境界は、各アクセント句の第1モーラと第2モーラの間でピッチが上行することにより示される。その後、アクセント句が有核語を含まなければ、句末までピッチは平坦に発話される。有核語を含む場合は、アクセント核まで平坦に発話され、アクセント核直後でピッチが下行し、句末までは再び平坦に発話される。ただし、アクセント句が1型である場合は第1モーラと第2モーラの間でピッチが下行し、句末までピッチは平坦に発話される。

［Ａ−２−２］音楽用語
本発明の理解に必要な音楽用語について説明する。詳細については、「菊池有恒:“楽典音楽家を志す人のための新版,”音楽之友社, 1988」、「島岡譲他 :“和声理論と実習I,II,III,”音楽之友社,1964」を参照することができる。

［音程］
音程とは、2音間の高さの隔たりのことである。時間的に続く2音間の音程を旋律音程といい、同時に鳴る2音間の音程を和声音程という。音程は、音の隔たりにより、2度、3度、…と呼ぶ。音程は、この度数と、半音数によって長6度、完全4度等と表現される。音程の名称の例を図２に示す。オクターブ（完全8度）以内の音程を単音程といい、増8度以上の音程を複音程という。

［進行・保留］
旋律の隣接する 2音の関係は、次のように分類される。
●順次進行：2音の音程が2度
●跳躍進行：2音の音程が3度以上
●保留：2音の音高が同じ

［非和声音］
一般的な楽曲では、和声に基づいて旋律の音高のほとんどが生じるが、その流れの中には和音に含まれない音が用いられることもある。このような和音にない音は非和声音（転移音）と呼ばれ、和音に含まれる音は和声音と呼ばれる。非和声音は声部進行の形態的特徴に従って、次のように分類されることがある。
●経過音：音高が異なる二つの和声音の間を、順次進行により繋ぐもの
●刺繍音：音高が等しい二つの和声音の間を、順次進行により繋ぐもの
●掛留音：和音交替点において、前の和声音が残り次の和音で非和声音となるもの
非和声音が和声音に進行することを解決といい、その和声音を解決音という。掛留音は原則として順次進行により解決する。非和声音の例を図３に示す。□で囲まれた音符が非和声音である。

［Ａ−２−３］音楽理論
本発明の理解に必要な音楽理論の禁則について説明する。詳細については、「島岡譲他 :“和声理論と実習 I, II, III,”音楽之友社, 1964.」を参照することができる。図４、図５、図６は、かかる文献から引用、改変したものである。

［進行における音程の制限］
進行において、長・短7度、増4度は制限される。

［連続］
2声部の同時進行において、先行音程と後続音程とが共に完全8度を形成することを連続8度という。また、共に完全1度（一方が完全8度の場合を含む）を形成することを連続1度という。連続8度・連続1度は禁ぜられる。連続8度・連続1度の例を図４に示す。

2声部の同時進行において、先行音程と後続音程とが共に5度を形成することを連続5度という。連続5度は、後続音程が完全5度の場合に禁ぜられる。連続5度の例を図５に示す。

［並達］
2声部の進行の方向が同じである同時進行は並行という。2声部が並行し、後続音程だけが完全8度、完全5度、完全1度を形成することを、それぞれ並達8度、並達5度、並達1度という。並達8度・並達5度は、最も高い声部と最も低い声部との間に生じ、かつ、最も高い声部の跳躍進行による場合に限り禁ぜられる。並達1度は禁ぜられる。並達8度・5度・1度の例を図６に示す。

［非和声音の解決］
解決しない非和声音は禁ぜられる。掛留音の上方に解決音を置いてはならない。

［Ａ−３］確率に基づく単旋律の作曲
確率に基づく単旋律の作曲についての理解は、本発明を理解する上で重要である。ここでは、確率モデルを用いて単旋律を自動作曲する手法（非特許文献１）について述べる。図７Ａに自動作曲システムの概略を示す。システムに、日本語歌詞・リズム・和声が入力されると、旋律生成部において、確率に基づいて単旋律が自動生成され、システムから出力される。

［Ａ−３−１］単旋律の作曲
リズムが与えられた時、旋律を作曲することは、そのリズムの中のそれぞれの音符に音高を付与することである。旋律の音域が予め決まっている場合、付与できる音高はその音域に含まれるものに限られる。横軸時間、縦軸音高の2次元平面を考えると、旋律はリズムと音高からなる格子点上を時間に従って遷移する経路として捉えることができる。旋律を経路として捉える例を図７Ｂに示す。よって、旋律を作曲することは、この音高間の遷移の経路を定めることとして捉えることができる。

［Ａ−３−２］旋律の生起確率
旋律の要件に従った曲が多くある時、曲中の音の現れ方には確率的な偏りが観察されると考えられる。この偏りは旋律の生起確率により扱える。旋律の生起確率は、作曲条件の下での条件付き確率として表すことができる。つまり、旋律の作曲条件（歌詞・和声・リズム）をＣ＝{c₁,c₂,・・・,c_T}とし、旋律（音高列）をＸ＝{x₁,x₂,・・・,x_T}とすると、旋律がＸである確率は
である。

歌詞の韻律に従う結果は、隣接する音の遷移の確率的な偏りとして現れる。また、音楽理論には隣接する音の関係についての知見が多いため、音楽理論に従う結果が局所的な音の遷移の確率的な偏りとして現れる。これらを局所的な確率的制約で記述した例を図７Ｃに示す。よって、旋律の要件に基づいた旋律を自動作曲する時に、韻律や音楽理論に関する多くの制約は、隣接する音高間の遷移確率として表現することができる。つまり、Pr(X|C)は次式のように隣接する音高間の遷移確率を掛け合わせることで得ることができる。
これは、旋律が1次のマルコフモデルで記述されることを示している。

［Ａ−３−３］生起確率の計算法
旋律の作曲条件のあらゆる可能性に対し、隣接する音高間の遷移確率を計算することは困難である。なぜなら、全く同じ歌詞や和声、音域等の作曲条件である音符は、世の中の全ての歌唱曲を探しても現れない可能性があるからである。そこで、確率を作曲条件ごとの確率の組み合わせで近似する方法を考える。つまり、Pr(x_t|x_t-1,c_t,c_t-1)をこれらの作曲条件ごとの確率の積で近似する。それぞれの条件のみに着目したときの隣接する音高間の遷移確率は、次のように分類できる。
● p₁(x_t|c_t)：音域
● p₂(x_t|x_t-1,c_t,c_t-1)：跳躍
● p₃(x_t|x_t-1,c_t,c_t-1)：歌詞の韻律との関係
● p₄(x_t|x_t-1,c_t,c_t-1)：和声と音階との関係
これらの確率の積によって Pr(x_t|x_t-1,c_t,c_t-1)は以下のように近似される。

実際には、歌詞の韻律と音楽理論に完全に従う多くの旋律を学習データとして得ることは困難である（なお、本発明は、学習データを用いることを排除するものではない）。そこで、その際に得られるであろう確率を模擬して、それぞれの遷移確率を人手で設計した。具体的には、入力として日本語歌詞があり、作曲条件（リズム・和声進行等）が与えられた条件の下で、韻律や音楽理論の要件を満たさない音高の遷移に対して低い確率値を与えた。以下に確率の設定値の具体例を述べる。

歌唱音域については、中心付近の音高を多く用いて、両端付近の音高をあまり用いない方が望ましい。そのため、音域についての出現確率 p₁(x_t|c_t)としては、音域中心からの音高差の2乗に反比例する値を用いた。ただし、曲想に応じて音域を変化させることはせず、常にこの確率を用いて音域を制御した。

跳躍についての遷移確率 p₂(x_t|x_t-1,c_t,c_t-1)の設定法を述べる。1オクターブを超える跳躍を歌うことは一般的に難しいとされているため、音高差が1オクターブ以内のものについては矩形関数的に値を与え、1オクターブを超えるものについては低い値を与えた。また、進行において、長・短7度、増4度は制限されるため、これらの遷移確率は0に近い値を与えた。

歌詞の韻律と旋律の音高の上下動の関係に基づいて、遷移確率 p₃(x_t|x_t-1,c_t,c_t-1)を設定する方法を述べる。アクセント核の直後で下行することで、聴き手に適切なアクセントを感じさせることが必要である。また、アクセント句の境界は、各アクセント句の第1モーラと第2モーラの間でピッチが上行することにより示されるため、アクセント句の先頭では上行することが重要である。それ以外の場所でも、和音の境界等では音高を変える必要があるが、一方で、ピッチが上下動することで、アクセント句の境界やアクセント核だと感じさせないことも重要である。よって、アクセント核とアクセント句の先頭以外の場所では、不自然でないと考えられる条件下でピッチが上行あるいは下行することを許した。アクセント型と旋律の上下動の対応関係を表２に示す。旋律の上下動がこの表を守らない場合に、低い確率値を与えた。また、アクセント句の境界では旋律の上下動をどちらも許した。

和声と音階との関係についての遷移確率p₄(x_t|x_t-1,c_t,c_t-1)の設定法を述べる。まず、一般的に非和声音より和声音の方が出現回数が多いため、旋律の各音高が非和声音である確率より和声音である確率を高く設定した。次に、非和声音は常に解決するため、解決しない非和声音の確率は低い値とした。また、非和声音は基本的に音階構成音を用いるため、音階構成音でない確率はより低い値を与えた。さらに、伴奏付きの歌唱曲を作曲する場合、既知であるバスラインについても考慮しなければならない。具体的には、旋律とバスラインとの間で対位法的禁則を犯さないために、連続8度・連続5度等が生じる時の遷移確率は0に近い値を与えた。

［Ａ−３−４］動的計画法を用いた単旋律の作曲アルゴリズム
生起確率が最大となる旋律は、歌唱曲の要件を最大限満たすと言えるので、旋律生成は、数理的に捉えると経路の生起確率最大化問題に帰着する。よって、求める旋律をX^*とすると、
と定式化できる。

音高列の全ての組み合わせに対して生起確率を計算することにより、生起確率が最大となる旋律を単純に求めることができる。しかしこの方法では、取り得る音高の数をMとするとM^T通りの組み合わせを調べなければならない。旋律の長さTに対して計算量が指数関数であるため、Tが大きくなると現実的な計算が困難となる。

この経路の生起確率最大化問題は、制約条件が隣接する音高間の遷移確率により扱えるので、動的計画法を用いて解くことができる。動的計画法を用いると、生起確率が最大となる旋律を、音符数に比例した計算量で効率的に探索することができる。

x₁からx_tまでの生起確率最大の旋律の生起確率を
とする。その時、x_tとx_t-1との間には
という関係が成り立つ。上式をt＝2からTまで再帰的に計算することで、最大の生起確率を求めることができる。この時、
を同時に計算し記憶しておく。これにより、生起確率最大の旋律X^＊＝{x^＊ ₁,x^＊ ₂,・・・,x^＊ _T}に対して
という関係が成り立つ。したがって、生起確率最大の旋律の端x^＊ _Tから、保存されているb_t(x_t ^＊)にトレースバックすることを繰り返すことで、生起確率最大の経路X^＊を求めることができる。この手法では、MT回の局所的な生起確率を計算することで全探索と等しい解を求めることができる。

以下にこの生起確率が最大となる旋律を求めるアルゴリズムを述べる。ここで、取り得る全ての音高をj＝1,2,・・・,Mとし、確率最大の旋律X^＊の生起確率を、
とする。

［Ａ−４］確率に基づく複数旋律の作曲
単旋律の作曲手法を応用して、複数の旋律を自動作曲する手法を提案する。

［Ａ−４−１］複数旋律の作曲
一般的に、N個の旋律を作曲する場合について考える。この場合、N個の旋律をそれぞれ単旋律として捉え、それぞれの旋律を前節のように作曲することはできない。なぜなら、複数の旋律を作曲する場合には、各旋律間の関係を考慮する必要があるからである。以下、旋律間の関係を考慮しながら複数の旋律を作曲する手法について論じる。

［Ａ−４−２］複数旋律の生起確率
要件に従った複数旋律の楽曲が多くある時、曲中の音の現れ方には確率的な偏りが観察されると考えられる。この偏りは旋律の生起確率により扱うことができる。多くの音楽理論は隣接する音に関する知見が多く、音楽理論に従う結果が局所的な音の遷移確率に現れ、遷移確率の高低によって規定することができる（図１Ｂ参照）。第1声部の生起確率は、作曲条件の下での条件付き確率として表せる。

2つの旋律間の関係を表現するためには、第2声部の旋律の生起確率は、第1声部の旋律を条件とする条件付き確率として考える必要がある。同様に、第i声部の生起確率は、作曲条件と第1声部から第i−1声部までの旋律の条件下での条件付き確率として表す必要がある。確率の設定方法としては、帰納的な知見としての音楽理論に基づき手動で設定することができる。あるいは、データ（均質なデータ群）から学習することで確率を決めてもよい。確率は、確率テーブルとしてシステムの記憶部に予め格納されている。

旋律の作曲条件（歌詞・和声・リズム）をＣ＝{c₁,c₂,・・・,c_T}とし、第i声部の旋律をX_i＝{x_i,1,x_i,2・・・,x_i,T
}とする。この時、第2声部の旋律がX₂である確率は、
である。同様に、第i声部の旋律がX_iである確率は
である。

各旋律間の関係についての音楽理論には、隣接する音の関係についての知見が多い。例えば、連続８度や連続５度の禁止については、隣接する2つの音高の関係を制限している。そのため、旋律の要件に基づいた複数旋律を自動作曲する時に、韻律や音楽理論に関する多くの制約は、隣接する音高間の遷移確率として表現することができる。つまり、第２声部の生起確率Pr(X₂|X₁,C)は、次式のように隣接する音高間の遷移確率を掛け合わせることで得ることができる。
同様に、第i声部の生起確率Pr(X_i|X_i-1,・・・,X₁,C)は次式のように表すことができる。

［Ａ−４−３］生起確率の計算法
旋律の作曲条件のあらゆる可能性に対し、隣接する音高間の遷移確率を計算することは困難である。さらに複数の旋律を作曲する場合は、それらの音高の組み合わせについても遷移確率を求める必要がある。なぜなら、全く同じ歌詞と旋律の組み合わせは、世の中の全ての多重唱を探しても現れない可能性があるからである。

そこで、単旋律の場合と同様に、確率を作曲条件ごとの確率の組み合わせで近似する方法を考える。それぞれの条件のみに着目したときの隣接する音高間の遷移確率は、次のように分類できる。
●p₁(x_i,t|c_t)：音域
●p₂(x_i,t|x_i,t-1,c_t,c_t-1)：跳躍
●p₃(x_i,t|x_i,t-1,c_t,c_t-1)：歌詞の韻律との関係
●p₄(x_i,t|x_i,t-1,c_t,c_t-1)：和声と音階との関係
●p₅(x_i,t|x_i,t-1,x_j,t,
x_j,t-1)：第j声部との関係（j≠i）

これらの確率の積によってPr(x_i,t|x_i-1,t,・・・, x_1,t, x_i,t-1,・・・, x_1,t-1, c_t, c_t-1) は以下のように近似される。

実際には、複数の声部の隣接する音高の組み合わせは非常に多いため、音楽理論に従う大量の統計データの採取が不可欠である。また、歌詞の韻律と音楽理論に完全に従う多くの旋律を学習データとして得ることは困難である。よって、その際に得られるであろう確率を模擬して確率を人手で設計した。

p₁,
・・・,p₄については単旋律の作曲と同じ確率値を用いた。また、p₅については以下のように遷移確率を設定した。まず、各声部の隔離や交叉を避けるために、各声部の音高の隔たりが大きい場合や各声部の音の高低が途中で入れ替わる場合に低い確率値を与えた。具体的には、各声部の隔離や交叉がない場合に矩形関数的に値を設定した。次に、各旋律の間で対位法的禁則を犯さないために、連続8度・連続5度等が生じる時の遷移確率は0に近い値を与えた（図７Ｄ参照）。

［Ａ−４−４］複数旋律の作曲方法
複数の旋律を作曲する方法としては2つの方法がある。1つ目は、それぞれの旋律を順番に1つずつ作曲する方法であり、2つ目は、複数の旋律を同時に作曲する方法である。1つ目のN個の旋律を順番に作曲していく方法では、次のような生起確率最大化問題を考える。求める旋律をX^＊ ₁, ・・・,X^＊ _Nとする。まず、単旋律の作曲と同様に、第1声部を以下のような生起確率の最大化により作曲する。

次に、既に作曲された第1声部の下で、第2声部を次の生起確率最大化により作曲する。

同様に、第i声部を第1声部から第i-1声部に基づいて作曲する場合、以下の生起確率最大化問題を考える。

これらをi＝3,・・・,Nで計算することで、N個の旋律を順番に作曲することができる。それぞれの確率最大化問題は、制約条件が隣接する音高間の遷移確率により扱えるので、単旋律の作曲と同様に、動的計画法を用いて効率的に解くことができる。第i声部の取り得る音高の数をM_iとすると、生起確率最大の第i声部の旋律を求めるためにはTM_i回の局所的な確率を計算することが必要である。よって、N個の旋律を求めるために必要となる、局所的な確率の計算回数は、(M₁＋・・・＋M_N)T回である。

2つ目のN個の旋律を順番に作曲していく方法では、以下の生起確率最大化問題を考える。
ただし、この同時確率は、既に求めた旋律の生起確率を用いて次のように計算することができる。

複数旋律の同時確率の最大化問題は、制約条件が隣接する音高間の遷移確率により扱えるので、単旋律の生起確率と同様に動的計画法を用いて解くことができる。この手法では、N個の旋律を求めるために必要となる、局所的な確率の計算回数は、(M₁×・・・×M_N)T回である。各声部の取り得る音高の数が等しくMである場合は、M^NT回の局所的な確率を計算することで同時生起確率が最大の旋律を求めることができる。この場合、声部の数Nに対して計算量が指数関数であるため、Nが大きくなると現実的な計算が困難となる。

以下に同時生起確率が最大となるN個の旋律を求めるアルゴリズムを述べる。ここで、第i声部の取り得る全ての音高をj_i＝1, 2, ・・・,M_iとし、最大の同時生起確率を、
とする。

以上の2つの方法では、異なる最大化問題を解いているため、異なる旋律が得られる。前者の順番に作曲する方法と後者の同時に作曲する方法によって得られる旋律について比較する。例えば2旋律を作曲する場合を考えると、第1声部の生起確率は、前者の方法を用いる方が後者の方法よりも大きいか、等しくなる。つまり、第1声部に関しては、同時に作曲した場合よりも順番に作曲した方が、より旋律の要件を満たしている。一方で、2旋律の同時生起確率は、後者の方法を用いる方が前者の方法よりも大きいか、等しくなる。つまり、2旋律の両方をみると、同時に作曲した場合の方が2つの旋律の要件をより満たしている。

さらに、複数の旋律を作曲する方法として、上の2つの手法を組み合わせて作曲する方法がある。例えば、3旋律を作曲する場合に、まず第1声部を作曲した上で、第2声部と第3声部を同時に作曲する方法である。

［Ｂ］歌詞の韻律に基づいた自動作曲システム
韻律に基づいた歌唱曲作曲モデルの概略を図８に示す。曲想をもとに和声進行、リズムをあらかじめ設計し、そこから韻律による制限下で旋律を作曲するという順序立ての歌唱曲作曲モデルを考える。以下プロセスの順を追って、和声の生成、リズムの生成、旋律の設計について説明する。

［Ｂ−１］和声進行の生成
和声進行は楽曲のスタイルや曲想を強く表す要素である。そこであらかじめ特定の曲想を表すような和声進行の常套句をコーパスとして準備しておき場合によって使い分ける、もしくは「明るさ度合」などの曲想を近似して表すパラメータを準備しておき、そのパラメータに基づいて調整された和音間の遷移確率と和声学の理論に基づいて曲想を反映した和声進行を自動生成する、などの方法が考えられる。本実施形態では、和声進行は、予め用意された和声進行ライブラリの中からユーザが選択する。なお、和声学によるルールや既存の楽曲の和声進行のn-gram統計を用いて和声進行を自動生成してもよい。

［Ｂ−２］リズムの生成
歌詞のモーラ数（入力歌詞により決定される）に基づいて音符数とリズムを決定する。和声進行と並んでリズムも曲想を強く表す要素である一方、自由度も高い。例えば、歌の1番と2番の同じ場所で、音符数が違うためにリズムが異なっていても同じ曲想を感じることがある。例えばサザンオールスターズの「いとしのエリー」の場合、1番と2番のそれぞれ冒頭二小節のフレーズに含まれる音符数は18個と21個で異なっているが、これらそれぞれの歌詞に付けられた旋律から得る印象は似たものとなっている。すなわちこの2つのリズムは音符数の変動に依らず曲想を表す同一の特徴を持っていると考えられる。本明細書では、この音符数の変動に依らない特徴を「リズムパターン」、その特徴を表すリズムを「標準リズム」、同じリズムパターンをもつリズムの集合を「リズムファミリー」と呼ぶ。そして一定のリズムパターンの下で、あるリズムが異なる音符数に展開できる構造を「リズム木構造」と定義し、これに基づき標準リズムからの音価の分割、統合が行われ、リズムファミリーが構成されるものと仮定する (図１１参照)。このような仮説に基づくと、歌唱曲作曲におけるリズム設計は、曲想を基に生成されたリズムパターンからリズムファミリーが作られ、歌詞により決まる音符数に合わせて、リズムファミリーから使用するリズムが決定されるというモデルとなる。

［Ｂ−３］歌唱旋律の作曲
旋律は横軸時間、縦軸音高の二次元平面上での遷移経路であると捉えることができる(図７Ｂ参照)。この遷移経路には、和声進行やリズム、歌詞の韻律によって様々な条件が課され、それらの制約は音の出現確率や遷移確率といった形で表すことができる。

例えば和声進行からは時刻毎の和音が決まり、その和音とその楽曲の調からその時刻での旋律のとれる音高には制約が課されるが、これは音高の出現確率として表現できる。また同様にリズムの制約は旋律各音の時間軸上の位置に対する出現確率として表され、歌詞の韻律の上下からの制約は次の音へ遷移するときに上行しやすいか下行しやすいかについての遷移確率で表せる。さらに作曲においては、旋律の音域や跳躍の度合も曲想を表現する要素として考慮される。これらも同様に、音域は音高の出現確率、跳躍は音高の遷移確率として旋律の遷移経路に制約を与える。また、歌唱曲では、歌い手の声域や技量によってこれら音域や跳躍の度合は制限を受けるため、たとえば歌い手が女声か男声か、歌手なのか一般の人なのかなどに基づいて、歌いやすいように音域を狭く制限したり、歌いにくい音程の出現を制限するなどの考慮が必要である。

以上述べたような音の出現確率、遷移確率をかけ合わせることにより、各音程、経路に対しての尤度が計算できる。よって、歌唱曲の旋律設計は、考えられる全ての旋律の経路のうち、歌詞の韻律の上下動を満たし、音楽理論的な逸脱をおこさない制限の下で、尤度最大の経路を探索する問題となる。これは、各経路に確率重みと、韻律によるペナルティをつけた動的計画法 (DP)の尤度最大経路探索問題へ帰着できる。

［Ｂ−４］動的計画法を用いた旋律の作曲手法
動的計画法を用いた旋律の具体的な設計方法を示す。旋律の構成音が時刻iで音高がn(ＭＩＤＩノート番号,1≦n≦N)であるとき、時間と音高による二次元平面上で点(i, n)と表す。また旋律が(i, n)から(i+1,m)に遷移するとき、この遷移経路についての確率重みをc_i(n,m)とする。この確率重みは和声進行、リズム、歌詞の韻律によって算出される。

時刻1から時刻iまでの間で旋律の最尤経路が求まったとして、この経路上の時刻iでの音高をpath(i)と表すことにする。この経路の最後の音の音高がmであるときのこの経路の実現確率P_i(m)は、以下のように時刻i−1の情報を用いて再帰的に書くことができる。
そこで、全ての時刻と音高(i,m)において、
を計算し、その結果を各(i,m)と組で保存しておく。すると最尤経路の端(i, path(i))からその点と組で保存されているn_maxを用いて(i−1,n_max)にトレースバックすることを繰り返し、旋律の最尤経路全体を求めることができる。

［Ｂ−５］自動作曲システムOrpheusの実装
Orpheusは、上記歌唱曲作曲モデルを実装して、任意の漢字仮名混じり文の歌詞入力から歌唱曲を作曲し、伴奏つき合成音声によって歌う自動作曲システムである。これは歌唱曲の作曲システムに、入力歌詞の読みと韻律の解析エンジンと、合成音声による歌声生成エンジンと、を接続したものである。前者は日本語自動読み上げソフト“GalateaTalk”（Galatea Project: http://hil.t.u-tokyo.ac.jp/galatea/）のテキスト解析によって行い、後者の合成音声による歌声生成は“hts-engine”によって行っている（酒向慎司 ,宮島千代美 ,徳田恵一 ,北村正 :隠れマルコフモデルに基づいた歌声合成システム ,情報処理学会論文誌， Vol.45, No.3,
pp.719−727,2004）。また、本実施形態では、和声進行、リズム木構造を曲想から自動で生成するのではなく、システムのユーザが作りたい楽曲の曲想に合わせてライブラリから選ぶようになっている。もちろん、本発明は、和声進行、リズム木構造を曲想から自動で生成することを排除するものではない。図９に示す自動作曲システムを参照しつつ、自動作曲の流れについて説明する。

［Ｂ−５−１］ユーザによる入力と選択
ユーザは、漢字かな混じりの日本語テキストを入力するとともに、所望の曲想に基づいて、テンポ、リズム（木構造）、和声進行、合成音声、伴奏音型、伴奏音色、ドラムス、などの選択肢から選択する。これらの作曲条件を規定するデータセットが多数用意されシステムの記憶部に格納されており、ユーザは容易にスタイルを選択することができる。

［Ｂ−５−２］テキスト解析
テキスト解析部では、入力された日本語テキストに対し、テキスト朗読時の読み、韻律を解析する。解析ツールとして、Galatea Projectで開発された日本語テキスト音声合成システムGalateaTalkにおける日本語テキストを解析して韻律情報を抽出する部分を利用した。入力された日本語歌詞からテキスト（歌詞）の読みと韻律が解析、決定される。解析されたテキストは、２小節を単位とする節に分割される。テキスト解析部は、入力された歌詞の読みと韻律を解析できるものであれば、他の手段を用いてもよい。

［Ｂ−５−３］リズムの決定
以上の処理により、各節の音符数が決定するので、これを基にユーザが選択した木構造のリズム（リズム木）から音符数が合致するリズムパターンを抽出する。リズム木は、統一感のあるリズムを生成するための、われわれの「リズム木仮説」に基づくデータ構造であり、本実施形態では、予め人手で作成しているが、音楽データからの自動生成も可能である。

［Ｂ−５−４］伴奏生成
和声構造に基づき、伴奏音型に従って伴奏を自動演奏する。本実施形態では、伴奏音型ライブラリからユーザが選択する方式をとる。伴奏は、和声とともに与えられる伴奏構成音と、ライブラリからユーザが選択した伴奏音型を用いて生成される。生成された伴奏は、テキストベースで楽譜記述言語として出力され、楽譜出力、ＭＩＤI出力を行う。

［Ｂ−５−５］旋律設計
既述の手法により、動的計画法による確率最大経路探索問題により旋律を決定する。

［Ｂ−５−６］統合出力と音響出力
本システムで生成された旋律及び伴奏は、楽譜出力とＭＩＤＩ出力される。また、歌声合成サブシステムにより旋律の歌声を合成し、これと伴奏を信号領域で加算することで伴奏つきの歌声による自動演奏出力を行う。
自動作曲結果からは、歌唱音声合成と伴奏ＭＩＤＩ信号からの信号生成を重畳して、伴奏付きの歌唱合成出力を行える。

このようなシステムを、Ｗｅｂインタフェースを通してユーザが利用できるように実現した。以上の手順で、和声構造、リズム木構造、伴奏音型は、それぞれのライブラリから選択されるが、入力テキストの解析で曲想を自動決定し、それに基づいてこれらを自動選択してもよい。歌詞入力から曲想を自動決定し、それに基づいて和音構造、リズム構造、伴奏音型を自動選択し、曲想に合わせた自動作曲を行ってもよい。

以上のように、自動作曲システムは、歌詞の入力部、入力された歌詞の解析部、和音進行と旋律のリズムの決定部（リズムライブラリ、和声ライブラリを含む）、旋律の生成部、伴奏生成部（伴奏音型ライブラリを含む）、合成音声による歌声生成部、演奏出力部、を備えており、以下のステップを実行する。なお、自動作曲システムのハードウェア構成は、パーソナルコンピュータ等のコンピュータ（具体的には、入力装置、表示装置を含む出力装置、ＣＰＵ、記憶装置（ＲＯＭ、ＲＡＭ等）、これらを接続するバス等、を備えている。）から構成することができる。各種確率（定数や関数）や計算結果は記憶部に記憶される。
(1)漢字仮名交じり歌詞テキスト入力から、読みと韻律を推定する。
(2)和声構造を設計する。
(3)リズムを決定する。
(4)和声構造、リズム構造、歌詞の韻律、音域などの拘束中で歌唱旋律を決定する。
(5)和声構造と伴奏音型から伴奏（ＭＩＤＩデータ）を生成する。
(6)歌唱旋律から歌唱音声合成により歌唱信号を生成し、伴奏信号を重畳する。

［Ｃ］日本語歌詞からの多重唱の自動作曲
［Ｃ−１］多重唱作曲モデル
［Ｃ−１−１］多重唱作曲モデルの概要
音楽は一般的に、和声・リズム・旋律の3要素から成り立つとされる。実際の作曲では、これらの3要素が互いに影響を及ぼしあうと考えられる。本実施形態では作曲モデルの単純化のため、和声・リズムを独立に設計した上でこれらの要素に基づき旋律を設計する、という作曲過程についてのみ考えることとする。この作曲過程を用いると、和声・リズムは曲想に基づいて自由に設計することができる。また、和声・リズムに基づいて旋律を設計することで、音楽理論からの逸脱の少ない旋律を作曲することが可能である。したがって、曲想をもとに和声・リズムを独立に設計し、そこから旋律を設計するという順序の多重唱作曲モデルを考える。二重唱を作曲する場合のモデルを図１０に示す。

和声とリズムが与えられた時の複数旋律の自動作曲については、［Ａ−４］で議論した複数旋律の自動作曲手法を用いる。また、伴奏付き多重唱を作曲する場合は、伴奏を設計する必要もある。通常、伴奏と各旋律との間の音楽理論は考慮しない。そのため、本実施形態では、多重唱の作曲と独立に、和声に基づいて伴奏を設計することを考える。以下、具体的な和声とリズムの設計方法について述べ、それらと入力の歌詞に基づいて旋律を設計する方法について説明する。

［Ｃ−１−２］和声の設計
和声は、楽曲の印象や曲想を表す要素の1つである。そこで予め曲想を反映するような和声のパターンを準備しておき、曲想を基に自由にパターンを選択することを考える。具体的には、既存楽曲の和声進行パターンを参考に、「パッヘルベルのカノン」風、「世界に一つだけの花」風等の和声のパターンを用意し、自動作曲システムの記憶部の和声ライブラリに記憶してき、所望のパターンを選択可能としておく。それによって、既存楽曲と似たものを簡単に選択でき、作曲者の曲想を反映した和声を音楽の専門知識のない人でも設計することが可能となる。

［Ｃ−１−３］リズムの設計
リズムも和声と同様、曲想を表す要素の1つである。歌唱曲では、リズムに含まれる音符数と歌詞のモーラ数が等しいことが多い。そのため、与えられた歌詞のモーラ数に対応してリズムを設計しなければならない。また、音符数に依らずに、作曲者の曲想を反映するようなリズムを設計することが望ましい。例えば、歌唱曲の1番と2番の同じ場所で音符数が違うためにリズムが異なる場合でも、その2つのリズムが同じ曲想を感じさせることが多い。

以上のような要件を満たすリズムを設計するため、本実施形態では「リズム木構造仮説」を導入する。この仮説は、あるリズムと別のリズムが似ている印象を持っている場合、一方のリズムのある1つの音価を任意の割合で2つの音価に分割、あるいは2つの音価を統合することにより、もう一方のリズムが得られることが多い、というものである。この仮説を制約として手動で作成したリズムの木構造テンプレートの例を図１１に示す。

そこで、和声の設計と同じように、予め曲想を反映するような、異なる音符数に対応したリズムの一覧を準備しておき、曲想を基に自由に各声部のリズムを選択することを考える。それによって、作曲者の曲想を反映したリズムを音楽の専門知識のない人でも簡単に設計することが可能となる。多重唱作曲では複数のリズムを設計するが、その際は一般的に各声部のリズム間の関係を考慮する必要がある。しかし、本研究では複数のリズムを自由に選択できるようにするため、各声部のリズム間の関係は考慮しないこととする。

［Ｃ−１−４］旋律の設計
旋律の音域や跳躍進行の頻度も曲想を表現する要素であると考えられる。例えば、明るい曲では音域を高くして大きな跳躍を多用するが、一方で暗い曲では、低めの音域で順次進行や比較的小さな跳躍を使うことが多い。また、同じ曲の中でも、他の部分よりも跳躍を多く使い、音域を高くすることで、曲の盛り上がりを表現することもある。自動作曲においても、曲想を反映して音域や跳躍の頻度が設定できることが望ましい。これは、既述の隣接する音高間の遷移確率のうち、音域と跳躍についての確率であるp₁とp₂を設定可能とすることで実現できる。

［Ｃ−２］日本語歌詞からの伴奏付き二重唱の自動作曲
本節では、与えられた日本語歌詞から伴奏付き二重唱を自動作曲する原理について述べ、その原理に基づいて二重唱が自動作曲できることを確認する。

［Ｃ−２−１］二重唱の分類
二重唱とは、2人の歌手が異なる旋律を歌唱する曲のことであるが、二重唱は、第1声部と第2声部との関係によっていくつかの種類に分類することができる。例えば、第1声部と歌詞・リズムが等しく音高のみが異なる第2声部のことはハモリと呼ばれる。第1声部を効果的に補う、異なるリズムの第2声部のことを対旋律と呼ばれる。また、第1声部と第2声部が交互に歌う二重唱のことを掛け合いと呼ぶことがある。本実施形態では、特定の分類の二重唱のみを自動作曲するのではなく、分類や特徴が異なる様々な二重唱を自動作曲することを考える。

［Ｃ−２−２］二重唱の作曲方法
二重唱を作曲する方法としては2つの方法がある。1つは、2つの旋律を同時に作曲する方法である。もう 1つは、まず独唱を作曲し、その旋律を引き立たせるように2声部目を作曲する方法である。実際の楽曲には主旋律が存在することが多く、主旋律に新たな旋律を加えることで主旋律をより引き立たせることができるので、第1声部の作曲後に新たに第2声部を作曲する後者の方法で二重唱を自動作曲する。

［Ｃ−２−３］二重唱の各声部を順番に作曲するモデル
求める第1声部、第2声部をそれぞれ X^＊、Y^＊とすると、
と定式化できる。ここで、旋律の生起確率は既述のとおり設計する。これらの生起確率最大化問題は、動的計画法を用いて効率的に解くことができる。具体的には、第1声部、第2声部の取り得る音高の数をそれぞれ M₁、M₂とすると、(M₁+M₂)T回の局所的な確率の計算で二重唱を作曲することができる。

［Ｃ−２−４］二重唱の自動生成実験
多重唱作曲モデルに基づいて、伴奏付き二重唱が自動作曲できることを確認する。また、様々な分類の二重唱が実際に自動作曲できることを確認する。異なる歌詞と作曲条件（和声、リズム、音域等）を入力として、3曲の出力を得た。出力例を図１２、図１３Ａ、１３Ｂ、図１４Ａ、１４Ｂに示す。各図の上段が第1声部を、中段が第2声部を、下段が伴奏を表している。上段の第1声部の作曲後に、第1声部を条件として中段の第2声部を作曲した。図１２はハモリの例であり、第1声部と第2声部の歌詞とリズムを同一にした。図１３Ａ、１３Ｂは対旋律の例であり、第1声部と第2声部で異なる歌詞を入力し、異なるリズムを選択した。図１４Ａ、１４Ｂは掛け合いの例であり、第1声部と第2声部が交互に歌うように歌詞とリズムを入力した。これらの二重唱は、概ね旋律の要件に従っている。また、分類の異なる3種類の二重唱を作曲することができた。

［Ｃ−３］日本語歌詞からの伴奏付き三重唱の自動作曲
本節では、日本語歌詞から伴奏付き三重唱を自動作曲する2つのモデルについて議論する。まず、三重唱を自動作曲する2種類のモデルについて述べ、次に、2つのモデルを用いて自動生成した三重唱を比較する。

［Ｃ−３−１］三重唱の作曲方法
三重唱を作曲する方法としては3つの方法がある。1つ目は、3つの旋律を同時に作曲する方法である。2つ目としては、まず先に独唱を作曲し、その旋律を引き立たせるように新たに2つの声部を同時に作曲する方法である。3つ目としては、3つの声部を第1声部から第3声部まで順番に1つずつ作曲する方法である。

実際の楽曲には主旋律が存在することが多い。また、主旋律に新たな旋律を加えることで、主旋律をより引き立たせることができる。そこで、1つの声部に対して他の声部を加える考え方で作曲する、2つ目と3つ目の方法を用いて三重唱を自動作曲することを考える。まず、第2声部と第3声部を順番に作曲する方法について議論し、次に、第2声部と第3声部を同時に作曲する方法について議論する。

［Ｃ−３−２］第2声部と第3声部を順番に作曲するモデル（順番作曲モデル）
求める第1声部、第2声部、第3声部をそれぞれX^＊、Y^＊、Z^＊とすると、
と定式化できる。ここで、旋律の生起確率は既述のとおりに設計する。これらの生起確率最大化問題は、動的計画法を用いて効率的に解くことができる。具体的には、第i声部の取り得る音高の数をM_iとすると、(M₁+M₂+M₃)T回の局所的な確率の計算で三重唱を作曲することができる。

このモデルによる作曲では、第2声部を作曲する際に第3声部を考慮しない。これにより、第3声部の作曲時に旋律作曲の要件を全て満たすことができない恐れがある。なぜなら、複数の旋律を順番に作曲する場合、第1声部を作曲する時には他の声部との関係を考慮しないのに対し、第3声部では第1声部・第2声部との関係をそれぞれ考慮する必要があり、制約がより厳しい中で旋律を作曲しなければならないからである。

［Ｃ−３−３］順番作曲モデルを用いた三重唱自動生成実験
第2声部と第3声部を順番に作曲するモデルに基づいて、伴奏付き三重唱が自動作曲できることを確認する。出力例を図１５に示す。1段目から3段目までがそれぞれ第1声部から第3声部を表し、4段目が伴奏を表す。1段目から3段目までの旋律を、それぞれ順番に作曲した。図１５をみると、概ね旋律の要件に従う楽曲が作曲されているが、4小節目から5小節目にかけて、第3声部とバスラインの間で連続8度の禁則を犯している。これは、第3声部について考慮しないで第2声部を作曲したため、禁則を犯している部分の第2声部の音高が低すぎることが原因で起こったと考えられる。また、特に第3声部について、歌詞の韻律に従わない部分が多く存在する。この点において、後述の同時作曲モデルの方が、より要件に適合した三重唱を作曲し得ると考えられる。

［Ｃ−３−４］第2声部と第3声部を同時に作曲するモデル（同時作曲モデル）
求める第1声部、第2声部、第3声部をそれぞれ X^＊、Y^＊、Z^＊とすると、
と定式化できる。ここで、旋律の生起確率は既述のとおりに設計する。これらは動的計画法を用いて効率的に解くことができる。具体的には、第i声部の取り得る音高の数を M_iとすると、(M₁+M₂M₃)T回の局所的な確率の計算で三重唱を作曲することができる。

このモデルによる作曲では、第2声部と第3声部を、それらの声部間の関係も考慮しながら同時に作曲する。つまり、第2声部を作曲する際に第3声部を考慮して作曲していることになる。よって、第2声部と第3声部を順番に作曲するモデルよりも、要件を満たす三重唱を作曲し得ると考えられる。

一方で、同時作曲モデルによる作曲は、順番作曲モデルよりも多くの計算時間が必要である。各声部の取り得る音高の数が等しくMである場合に、第2声部と第3声部を作曲するために必要な局所的な確率の計算回数は、順番作曲モデルでは2MT回であるが、同時作曲モデルでは M²T回である。よって、同時作曲モデルにより作曲する場合は、順番作曲モデルによる場合の約M倍の計算時間を必要とする。

［Ｃ−３−５］同時作曲モデルを用いた三重唱自動生成実験
第2声部と第3声部を同時に作曲するモデルに基づいて、伴奏付き三重唱が自動作曲できることを確認する。また、順番作曲モデルと同時作曲モデルの2種類のモデルを用いて作曲された三重唱を比較する。

順番作曲モデルを用いた実験と全く同じ歌詞・作曲条件を用いて自動作曲を行った。その際の出力を図１６に示す。1段目から3段目までがそれぞれ第1声部から第3声部を表し、4段目が伴奏を表す。まず1段目の第1声部を作曲した後で、2段目と3段目の旋律を同時に作曲した。図１６をみると、概ね旋律の要件に従う楽曲が作曲されている。第2声部と第3声部を順番に作曲した図１５と比較すると、4小節目から5小節目にかけて第3声部に生じた禁則が、図１６では生じていない。これは、第3声部に重大な禁則が生じないように、第3声部を考慮して第2声部を作曲したからである。また、順番に作曲した場合に比べて、第3声部が歌詞の韻律に従わない部分が少なくなっている。よって、同時作曲モデルを用いて作曲する場合の方が、より要件を満たす三重唱ができる可能性があると考えられる。

［Ｃ−４］日本語歌詞からの無伴奏四重唱の自動作曲
本節では、与えられた日本語歌詞から無伴奏四重唱を自動作曲する原理について述べ、その原理に基づいて四重唱が自動作曲できることを確認する。

［Ｃ−４−１］無伴奏四重唱の特徴
無伴奏四重唱は4声体に歌詞が付与されたものと見ることができ、4声部は上から順に、ソプラノ、アルト、テノール、バスと呼ばれる。また、ソプラノとバスを合わせて外声と呼び、アルトとテノールを合わせて内声と呼ぶ。無伴奏四重唱を作曲する場合、与えられた和声とバスラインを、作曲する旋律で表現する必要がある。まず、和音の構成音は基本的に省略してはならない。例えば、無伴奏四重唱を作曲する際に全ての旋律が同じ音高になると、その場所での和音が分からない。和声を表現するために、基本的に複数の旋律が同時に同じ音高になることを避ける必要がある。ただし、この要件については三重唱の自動作曲等でも概ね守れている。また、最も低い音を担当するバスは、和声のバスラインを表現する必要がある。具体的には、バスは和声のバスラインとほとんど同じ音高であることが望ましい。逆に、バスラインが既知であるため、4声体のバスの旋律は既に存在すると考えることもできる。

［Ｃ−４−２］無伴奏四重唱の作曲方法
四重唱を作曲する方法としては、声部の作曲の順序と、旋律を1つずつ作曲するか同時作曲するかによって、様々な方法が考えられる。人間が4声体を作曲する際は、まず外声を作曲し、その後で内声を作曲する方法が標準的である。前節の議論より、和声のバスラインが既知であることから、バスラインとの関係を考慮した上で、まずソプラノを作曲し、次にアルトとテノールを同時に作曲する方法を考える。これは、三重唱の同時作曲モデルと同様の作曲方法である。その後、バスラインに従ってバスの歌の旋律を作曲することで、四重唱を作曲することを考える。

［Ｃ−４−３］無伴奏四重唱の作曲モデル
まず、上3声の作曲には［Ｃ−３−４］の三重唱の作曲方法を用いる。求めるソプラノ、アルト、テノールをそれぞれ X^＊ ₁、X^＊ ₂、X^＊ ₃とすると、
と定式化できる。

次に、バスについてはバスラインと同じ音高を用いる確率が高くなるような旋律の生起確率を考え、最も低い声部を作曲する。したがって、求めるバスをX^＊ ₄とすると、
と定式化できる。以下で、具体的なバスの生起確率の計算方法を述べる。

［Ｃ−４−４］バスの生起確率の計算法
複数旋律の生起確率の計算法と同様に、バスの生起確率を作曲条件ごとの確率の組み合わせで近似する。それぞれの条件のみに着目したときの隣接する音高間の遷移確率は、次のように分類できる。
●p₁(x_4,t|c_t)：音域
●p₂(x_4,t|x_4,t-1,c_t,c_t-1)：跳躍
●p₄(x_4,t|x_4,t-1,c_t,c_t-1)：和声と音階との関係
●p₅(x_4,t|x_4,t-1,x_j,t,x_j,t-1)：第j声部との関係（j<4）
●p₆(x_4,t|c_t)：バスラインとの関係
ここで、p₁, p₂, p₄, p₅については複数旋律の作曲と等しい。また、p₆については、バスラインと音高が異なる場合に低い確率値を与えた。ただし、バスは歌詞の韻律に従うことよりもバスラインに従うことの方がより重要であるため、歌詞との関係に着目したp₃については考えないこととする。

これらの確率の積によってPr(x_4,t|x_4,t-1,x_3,t,x_3,t-1,x_2,t,x_2,t-1,x_1,t,x_1,t-1,c_t,
c_t-1)は以下のように近似される。

［Ｃ−４−５］四重唱自動作曲の評価
前節で述べた多重唱作曲モデルに基づいて、無伴奏四重唱が自動作曲できることを確認する。出力例を図１７に示す。図において、1段目から4段目がそれぞれソプラノ、アルト、テノール、バスの声部を表している。図１７をみると、概ね旋律の要件に従う楽曲が作曲されている。これまでに述べた作曲手法を用いて無伴奏四重唱が自動作曲できることが確認できた。

［Ｃ−４−５］自動生成された多重唱の評価
与えられた日本語歌詞及び作曲条件（和声、リズム、音域等）に基づいて、音楽理論から逸脱のない多重唱が自動作曲できることを検証した。異なる歌詞と作曲条件を入力として、合計32曲の多重唱を作曲した。そのうち20曲が伴奏付き二重唱、10曲が伴奏付き三重唱であり、2曲が無伴奏四重唱である。特に伴奏付き三重唱に対しては、第2声部と第3声部を同時に作曲するモデルを用いて作曲した。歌詞の韻律解析には音声合成のテキスト解析モジュール（Galatea Project:http://hil.t.u-tokyo.ac.jp/~galatea/）を利用した。また、譜面出力には楽譜浄書ソフトウェアlilypondを、演奏出力にはHMM歌声合成（酒向慎司,宮島千代美,徳田恵一,北村正:“隠れマルコフモデルに基づいた歌声合成システム,”情報処理学会論文誌, vol. 45, no. 3, pp.719-727,2004）とMIDI音源による楽音合成を利用した。自動生成された32曲の多重唱に対し、作曲家（大学で作曲を教授する専門家）2名による評価を実施した。導入した音楽理論からの逸脱はないか導入していないものも含め、音楽理論からの逸脱はないか
音楽的に自然であるか、について評価した。

伴奏付き二重唱に対する評価結果では、重大な禁則が存在する、あるいは、著しく不自然である二重唱はほとんど作曲されなかった。伴奏付き三重唱に対する評価結果では、低評価の曲はほとんどなく、音楽理論からの逸脱の少ない、かつ、音楽的に自然な三重唱が作曲されたことが示された。無伴奏四重唱に対する評価結果では、
音楽理論からの逸脱の少ない、かつ、音楽的に自然な多重唱が作曲されたことを示された。なお、導入する必要があり得る禁則として、増音程進行の禁止や、間接連続 8度の禁止等が評価者により指摘された。間接連続8度については、隣接する音高間の遷移確率では記述することのできない禁則である。この禁則を導入するためには、2音以上離れた音高間の遷移確率を考えることが必要であり、そのような遷移確率の設計も可能であることが当業者に理解される。

［Ｄ］既存旋律からの多重唱への自動編曲
与えられた歌の旋律と他の声部の歌詞に基づいて多重唱を自動編曲する手法について論じる。
［Ｄ−１］既存旋律からの多重唱への編曲方法
既存の歌の旋律と他の声部の歌詞が与えられた場合を考える。つまり、第1声部のリズム・旋律は既に決定されている。よって、既存旋律を多重唱へ編曲するということは、3要素のうちの和声と、既存の歌以外の声部のリズム・旋律を設計することと等しい。以下では、人間が既存の歌の旋律を与えられて、それを多重唱へ編曲する標準的な方法について考察する。与えられた既存の歌に基づいて曲想の決定を行う。例えば、既存の歌が明るい歌詞や旋律をもつ場合には、その明るさを強調するような多重唱の曲想を決定する。また、歌の部分ごとに歌う人数や各声部の役割等が変わる、構造をもった多重唱も存在する。このような場合は、実際の歌唱の制約や曲想を考慮して、多重唱の構造も同時に設計する。次に、既存旋律や曲想に基づいて和声やバスラインを設計する。ここでは、旋律との関係等の和声学の禁則を避けて和声を設計する必要がある。また、伴奏付きの多重唱へ編曲する場合には、曲想に応じて具体的な伴奏の設計も同時になされることが多い。最後に、既存の歌以外の声部の歌詞・リズム・旋律を設計する。各声部の歌詞については、曲想に基づいて既存の歌の歌詞を利用して設計することが多い。また、各声部の役割に基づいてリズムを決定し、和声や各声部間の禁則を考慮して旋律を設計することが必要である。各声部のリズムや旋律を設計する際に、音楽理論を守るために和声を修正することもある。

［Ｄ−２］多重唱編曲モデル
［Ｄ−２−１］多重唱編曲モデルの概要
前節の多重唱編曲の方法を単純化したモデルを考える。すなわち、既存旋律に基づいて和声と各声部のリズムを独立に設計した上で、これらの要素に基づき各声部の旋律を作曲する、というモデルである。既存旋律を二重唱に編曲する場合のモデルを図１８に示す。以下では、既存の歌の旋律と他の声部の歌詞が与えられた時に、和声と各声部のリズムを設計し、それらに基づいて各声部の旋律を作曲する原理を述べる。

［Ｄ−２−２］和声の設計
和声は、楽曲の印象や曲想を表す要素の1つである。しかし、旋律への自然な和声付けはほぼ一意的であるとされているため、曲想の反映よりも和声学等に従う和声を設計することが重要である。特に既存旋律と和声の関係に留意しながら和声を設計する必要がある。

入力である既存旋律に和声がもともと付与されている場合、その既存和声についても与えることが考えられる。実際、既存の歌の旋律の多くは伴奏等が付与されて歌われている場合が多く、その伴奏の背後にある和声を用いることは可能である。ただし、音楽の専門知識がない人が和声を入力することは困難である。また、伴奏等のない曲や自分で作曲した曲等を多重唱に編曲したい場合は、既存の和声は存在しない。

既存和声の入力がない場合、旋律に自動で和声を付与する方法を用いる。実際に旋律への自動和声付けの研究もなされている。研究例としては、隠れマルコフモデルを用いた研究「川上隆,中井満,下平博,嵯峨山茂樹:“隠れマルコフモデルを用いた旋律への自動和声付け,”情報処理学会研究報告 (MUS),1999-MUS-34,
pp. 59-66, 2000.」や、ニューラルネットワークを用いた研究「H.Hild,
J.Feulner, W.Menzel: “HARMONET:A Neural Net for Harmonizing
Chorales in the Style of J.S.Bach,” in Proceedings
of the conference on Advances in neural information processing systems(NIPS),
pp.267-274,1991」等がある。これらの方法を用いることで、実際に自動和声付けを行うことができる。

［Ｄ−２−３］リズムの設計
各声部のリズムは、多重唱の曲想や各声部の役割を決める重要な要素である。リズムの設計の際には、既存の歌のリズムとの関係や、各声部のリズム間の関係を考慮する必要がある。

簡単なリズムの設計法としては、既存の歌のリズムと同一のリズムを利用する方法がある。これは、それらの歌詞も同一である場合によく見られる手法であり、ハモリと呼ばれる。しかし、同一の歌詞の場合にしかこの方法を用いることができず、一般的な方法とは言えない。

他のリズムの設計法としては、上述の「リズム木構造仮説」に基づく方法がある。予め曲想を反映するような、異なる音符数に対応したリズムの一覧を準備しておき、曲想を基に自由にリズムを選択することを考える。それにより、作曲者の曲想を反映したリズムを音楽の専門知識のない人でも簡単に設計することが可能となる。

さらに、これらのリズムの設計法を組み合わせる方法がある。つまり、強調したい歌詞の一部分のみ、既存の歌のリズムと同一のリズムを利用し、他の部分では、異なるリズムを選択する方法である。このようなリズムの設計を行うことで、現実の編曲により忠実な多重唱編曲を行える可能性がある。

［Ｄ−２−４］旋律の設計
旋律の音域や跳躍進行の頻度も曲想を表現する要素であると考えられる。自動編曲においても、曲想を反映して音域や跳躍の頻度が設定できることが望ましい。これは、既述のように、隣接する音高間の遷移確率のうち、音域と跳躍についての確率であるp₁とp₂を設定可能とすることで実現できる。

［Ｄ−３］既存旋律からの伴奏付き多重唱への自動編曲
［Ｃ］では、和声と各声部のリズムが与えられた時に、各声部の旋律を自動作曲することにより、日本語歌詞からの多重唱の自動作曲を行った。本節でも、和声と各声部のリズムが与えられた上で各声部の旋律を自動作曲するので、［Ｃ］で述べた手法を用いて旋律を作曲することを考える。

伴奏付き二重唱を作曲する場合は、第1声部の旋律 X^＊が与えられたものとして、第2声部の作曲を、以下の第2声部の生起確率最大化問題として捉える。

また、同様に伴奏付き三重唱を作曲する場合は、第1声部の旋律 X^＊が与えられたものとして、求める第2声部、第3声部をそれぞれY^＊、Z^＊とすると、
と定式化できる。

［Ｄ−４］既存旋律からの多重唱への自動編曲の生成と評価
［Ｄ−４−１］目的
既存の歌の旋律を、音楽理論からの逸脱がない多重唱に自動で編曲できることを検証する。
［Ｄ−４−２］条件
既存の歌の旋律として「世界に一つだけの花」（槇原敬之作詞・作曲）と「どんぐりころころ」（青木存義作詞・梁田貞作曲）を入力とした。他の声部の歌詞については、歌の旋律と全く同一のものを入力とした。和声の設計については、既存の和声を入力として与えることとした。リズムの設計は、「世界に一つだけの花」では予め準備されたリズムを用いた。また、「どんぐりころころ」では既存の歌と同じリズムを用いた。歌詞の韻律解析には音声合成のテキスト解析モジュール（Galatea Project:http://hil.t.u-tokyo.ac.jp/~galatea/）を利用した。また、譜面出力には楽譜浄書ソフトウェアlilypondを、演奏出力にはHMM歌声合成（酒向慎司,宮島千代美,徳田恵一,北村正:“隠れマルコフモデルに基づいた歌声合成システム,”情報処理学会論文誌, vol. 45, no. 3, pp.719-727,2004）とMIDI音源による楽音合成を利用した。自動生成された4曲の多重唱に対し、［Ｃ］と同様に、作曲家2名による評価を実施した。導入した音楽理論からの逸脱はないか、導入していないものも含め、音楽理論からの逸脱はないか、音楽的に自然であるか、を評価した。

［Ｄ−４−３］結果と考察
「世界に一つだけの花」と「どんぐりころころ」をそれぞれ2種類の多重唱へ自動作曲し、合計4曲の出力を得た。「世界に一つだけの花」の一部分を伴奏付き二重唱へ自動編曲した例を図１９に示す。また、「どんぐりころころ」を伴奏付き三重唱に自動編曲した例を図２０に示す。評価結果からは、音楽理論からの逸脱の少ない多重唱が自動で編曲されたことが示された。

［Ｅ］日本語歌詞からの自動作曲におけるDP経路制約による旋律制御
［Ｅ−１］はじめに
旋律の自動作曲技術は、旋律の作曲技能を計算機処理に部分的あるいは全体的に代替させるものであるので、作曲技能を持たない人の楽曲制作支援に有用である。そこでは自動化の効用のみでなく、楽曲制作する人の創作意図を自動作曲結果に反映できることが重要である。例えば、生成結果は概ね良いもののある箇所の音だけが気に入らない、といった場合に、部分的に旋律の特徴を指定し、その他の部分を整合がとれるよう自動作曲する、ということができると制作者にとって利便性が高い。従来の多くの自動作曲においては旋律の音高がすべて自動生成され、部分的に旋律の傾向を指定する機能(以下、「旋律制御」と呼ぶ) は限定的であった。

［Ｅ−２］旋律制御法
本実施形態では、旋律の音高、音域、上下動、滑らかさ、といった、既存手法よりも多様な旋律制御を可能とする自動作曲手法を提案する。具体的には、日本語歌詞と作曲条件の選択の下で、伴奏つき歌唱曲を自動作曲する問題に即して議論する。日本語歌詞からの歌唱旋律の自動作曲において、旋律の滑らかさ、音の上下動、部分的な音高と音域の指定の方法を議論する。

［旋律の滑らかさを変える］
旋律中で跳躍進行の多さを変化させることで旋律の滑らかさを変えることができ、それによって旋律の活発さ、おとなしさの印象を変化させることができる。跳躍の多い旋律のためには、音程の小さい跳躍と非和声音を避けるようにDP経路に制約を課せば良い。逆に、跳躍の少ない滑らかな旋律のためには、音程の大きい跳躍を避け、非和声音を積極的に通るようにDP経路に制約を課せばよい。

［音の上下動を指定する］
音の上下動が指定できることによって、直感的に旋律の概形を指定できるほか、韻律の再指定によって方言のイントネーションによる旋律作曲ができる。上行または下行の指定を反映するには、上行もしくは下行するDP経路のみを用いて探索を行えばよい。

［部分的に音高もしくは音域を指定する］
旋律中の音高を指定できると、部分的に手動での作曲結果を反映する、旋律中に繰り返すようなモチーフを取り入れる、などができる。また旋律中で音域を指定できると、歌詞中の特定の単語のみの音域を高く、もしくは低く設定し、歌詞の内容を強調する効果を狙うことができる。これには指定された音高と音域中の音のみしか経路をなさないようにDP 経路に制約を課し、そのもとで最適経路を探索することで実現できる。これには指定された音域には値を持つが、それ以外の音域については小さな値を持つような確率をDP経路に課し、そのもとで経路を探索することで実現できる。

このように、これらの旋律制御はともに動的計画法で最適化する旋律を表す経路(DP経路)上の経路制約として扱うことができる(図２１)。

［Ｅ−３］DP経路制約による旋律制御の試行例
DP経路制約によって実際に旋律制御が行えることを確認するために、日本語歌詞からの歌唱曲自動作曲を行った。日本語歌詞と、リズムテンプレート、和声進行と伴奏音型の選択の下、旋律を以下の4種類の指定を行いながら自動生成した。日本語歌詞、リズムテンプレート、和声進行、伴奏音型は共通のもとを用い、8小節の旋律を生成した。実際にそれらの指定が守られることと、指定以外の部分については、音楽理論から逸脱のない旋律が生成されているかについて確認した：
●滑らかな進行の推奨
●跳躍の多い進行の推奨
●部分的な上下動の指定
●部分的な音高の指定
これらいずれについてもユーザが指定した部分で、指定通り旋律を制御することができた。また指定のない部分では、従来の歌唱曲自動作曲の枠組みで音楽理論からの逸脱を起こさず自動生成できた(図２２)。図２２には、上より滑らかな音進行を推奨した場合、跳躍の多い音進行を推奨した場合、「で」から「て」に向けて上行を指定した場合、「こんにちは」の部分の音高を指定した場合の自動生成例、を示す。どれも指定を守りながら、指定のない部分については自動生成ができている。

［Ｆ］付記
［Ｆ−１］5声以上の多重唱の自動作曲
本実施形態では、伴奏付きでは3声、無伴奏では4声までの場合において、多重唱を自動作曲した。しかし、混成四部の合唱曲や、5人以上でのアカペラ曲等のように、実際の多重唱ではそれ以上の声部を持つ場合もある。5声以上の多重唱を作曲する場合、動的計画法を用いた同時確率の最大化による手法では計算量が膨大となる。よって、探索空間を小さくしたり、別の手法を用いることにより、計算量を低減することが必要である。例えば、各声部を順番に作曲する場合に、N-bestアルゴリズムを用いて同時最適化の近似解を求める方法や、動的計画法による計算を行う際に、見込みのない旋律を枝刈りすることで解の探索空間を縮小させる方法が考えられる。また、声部が増加するほど、それらの旋律を作曲する際の制約が増加するため、目的の多重唱を得ることが容易ではない。よって、声部それぞれの旋律の特徴に則した確率モデルを構築する必要がある。具体的には、各声部の役割も作曲条件として入力し、その役割に基づいて旋律の生起確率を大きく変化させるようなモデルが考えられる。

［Ｆ−２］確率の統計学習
本実施形態では、生起確率は隣接する音高間の遷移確率の積で書ける、という仮定を置いている。しかし、実際には旋律全体の音高の関係を考慮して作曲していると考えられる。そこで、少なくとも2音以上離れた音との関係を遷移確率として表すことで、より音楽的な楽曲を自動作曲できる可能性がある。

旋律の生起確率を統計学習により決定することも検討され得る。旋律の作曲条件のあらゆる可能性に対し、確率を学習することは困難である。そこで、旋律の生起確率を様々な確率の積で表した場合に、その確率の中の一部分を統計的に学習して定めることが考えられる。特に、跳躍の使われ方や非和声音の出現回数等は曲想や楽曲のスタイルを特徴付ける要素であり、これらを学習することで様々な曲想やスタイルの確率モデルを作ることができる。一方で、音楽理論の禁則等を扱う確率は、曲想に直接関係しないため人手で設定することにより与えることが適当である。

［Ｆ−３］副旋律のリズムの自動生成
本実施形態では、曲想を自由に反映させるため、複数のリズムを選択する際にそれらのリズム間の関係については考慮しなかった。一方で、多重唱への全自動編曲等を行うためには、主旋律と各声部の歌詞に基づいて、他の声部を自動生成する必要がある。このためには、複数のリズムの組み合わせや関係について考慮することが重要になる。具体的な解法としては、確率に基づくリズムの自動生成が考えられる。まず、大量の多重奏データにより、主旋律のリズムを条件とする、他の声部のリズムの生起確率を求める。次に、歌詞のモーラ数がリズムの音符数となるような制約の下で、その生起確率の最大化問題を解くことが考えられる。ただし、リズムの音符数による制約は大域的な条件であり、これは動的計画法で解くことができない。よって、N-bestアルゴリズムを用いてリズムの音符数の制約を満たすリズムを求めるか、異なる手法によりリズムを求める必要がある。

［Ｆ−４］模倣を用いた自動作曲
カノンやフーガのような、模倣に基づく形式の曲の自動作曲も行い得る。厳格な模倣を行う方法としては、先に楽曲の構造や和声、模倣を行う場所を予め定めてから模倣する旋律を作曲するモデルが考えられる。それぞれの場所での和声や他の旋律との関係を全て制約として、模倣する旋律の生起確率を求めることで、厳格な模倣は確率最大化問題に帰着する。その後、他の場所の旋律を、模倣した旋律との関係等を条件として作曲することにより、カノンやフーガのような楽曲を生成できる。実際の楽曲では、厳格でない模倣のある曲も多い。例えば、［Ｄ］で扱った「世界に一つだけの花」のAメロ部分では、前半と後半の4小節のうち、3小節がほぼ同じ旋律で、最後の1小節のみ異なる。これは、前半の4小節の旋律と後半の4小節の旋律を別々の2旋律として捉えることで、2旋律の同時作曲の問題として扱える。2旋律それぞれの生起確率と共に、それらが類似する確率を考えることで、2旋律の同時作曲は2旋律の同時生起確率の最大化問題に帰着する。これは、既に議論した複数旋律を同時作曲する手法と同様にして解くことができる。

多重唱の自動作曲システムや自動編曲システムには様々な用途や需要がある。本発明は、自作の歌詞の作曲および合成音声による歌唱、その波形ファイルの生成とホームページ貼り付けなどへの利用、ニュースやメールなどを曲として聴くエンターテインメント、著作権フリーの音楽の生成など、広く利用できる。曲想に関係する和声構造、リズム構造、伴奏音型、その他のパラメータが自由に選べるので、試行錯誤でいろいろな曲を作って気に入ったものを選ぶこともできる。たとえば、小学校で、全員に詩を書かせて、それを曲にして自動演奏すれば、教育的な動機付けの効果も高い。あるいは博物館や科学館などで人気の展示になりえる。このシステムは、会社のコマーシャルソングを安価に大量に作ることができ、ディジタルサイネージや、ホームページ制作に役立つ。また、携帯電話やスマートフォンからアクセスする作曲サイトが作れる。また、ＰＣやゲーム機のソフトとしても人気が出そうである。人間には相当なスキルが要求される二重唱作曲の質が驚異と思われるほどであるので、学校で歌うための合唱曲の自動作曲などにも関心が持たれている。

Claims

日本語歌詞から多重唱を自動作曲ないし編曲する装置であって、
入力された日本語歌詞の読みと韻律を決定する歌詞解析部と、
和音進行決定部と、
旋律のリズムを決定するリズム決定部と、
所定の作曲条件にしたがって旋律を生成する旋律生成部と、
を備え、
前記旋律生成部は、旋律の生起確率を隣接する音高間の遷移確率の積で近似すると共に、隣接する音高間の遷移確率を作曲条件ごとの確率の組み合わせで近似し、旋律を、前記リズム決定部によって決定されたリズムと音高からなる格子点上の経路と捉え、動的計画法により尤度最大経路を決定するものであり、
前記作曲条件ごとの確率には、音高の出現確率として、音域を規定する確率、和声と音階の関係を規定する確率が含まれ、隣接する音高間の遷移確率として、跳躍を規定する確率、歌詞の韻律との関係を規定する確率が含まれ、
前記旋律生成部は、さらに、各声部の旋律間の音楽理論に基づく制約を規定する確率を用いて、選択されたある声部の旋律の生起確率を、他の声部の少なくも１つの声部の旋律を条件とする条件付き確率として決定する、装置。
前記各声部の旋律間の音楽理論に基づく制約を規定する確率には、各声部の隔離や交叉を規定する確率、各旋律の間での対位法的禁則を規定する確率、解決しない転移音の禁止を規定する確率、の１つ以上が含まれる、請求項１に記載の装置。
各旋律の間での対位法的禁則を規定する確率には、声部の旋律間の連続１度・８度・５度の禁止を規定する確率が含まれる、請求項２に記載の装置。
前記旋律生成部は、複数の声部の旋律を順次生成する、請求項１〜３いずれか１項に記載の装置。
前記旋律生成部は、複数の声部の旋律を同時に生成する、請求項１〜３いずれか１項に記載の装置。
前記装置は、部分的に旋律の傾向を指定する旋律制御手段を備えており、当該旋律制御手段によって、動的計画法により決定される尤度最大経路が部分的に制約される、請求項１〜５いずれか１項に記載の装置。
前記多重唱は二重唱であり、
前記旋律生成部は、第１声部と第２声部の旋律間の音楽理論に基づく制約を規定する確率を用いて、第２声部の旋律の生起確率を、第１声部の旋律を条件とする条件付き確率として決定する、
請求項１〜６いずれか１項に記載の装置。
日本語歌詞から多重唱を自動作曲ないし編曲する方法であって、
入力された日本語歌詞からテキストの読みと韻律を決定するステップと、
和音進行を決定するステップと、
旋律のリズムを決定するステップと、
所定の作曲条件にしたがって旋律を生成する旋律生成ステップと、
を備え、
前記旋律生成ステップは、旋律の生起確率を隣接する音高間の遷移確率の積で近似すると共に、隣接する音高間の遷移確率を作曲条件ごとの確率の組み合わせで近似し、旋律を、前記リズム決定部によって決定されたリズムと音高からなる格子点上の経路と捉え、動的計画法により尤度最大経路を決定するものであり、
前記作曲条件ごとの確率には、音高の出現確率として、音域を規定する確率、和声と音階の関係を規定する確率が含まれ、隣接する音高間の遷移確率として、跳躍を規定する確率、歌詞の韻律との関係を規定する確率が含まれ、
前記旋律生成ステップは、さらに、各声部の旋律間の音楽理論に基づく制約を規定する確率を用いて、選択されたある声部の旋律の生起確率を、他の声部の少なくも１つの声部の旋律を条件とする条件付き確率として決定する、方法。
前記各声部の旋律間の音楽理論に基づく制約を規定する確率には、各声部の隔離や交叉を規定する確率、各旋律の間での対位法的禁則を規定する確率、解決しない転移音の禁止を規定する確率、の１つ以上が含まれる、請求項８に記載の方法。
各旋律の間での対位法的禁則を規定する確率には、声部の旋律間の連続１度・８度・５度の禁止を規定する確率が含まれる、請求項９に記載の方法。
前記旋律生成部は、複数の声部の旋律を順次生成する、請求項８〜１０いずれか１項に記載の方法。
前記旋律生成部は、複数の声部の旋律を同時に生成する、請求項８〜１０いずれか１項に記載の方法。
部分的に旋律の傾向を指定する旋律制御手段によって、動的計画法により決定される尤度最大経路に部分的に制約を与える、請求項８〜１２いずれか１項に記載の方法。
前記多重唱は二重唱であり、
前記旋律生成ステップは、第２声部旋律生成ステップを含み、
前記第２声部旋律生成ステップは、第１声部と第２声部の旋律間の音楽理論に基づく制約を規定する確率を用いて、第２声部の旋律の生起確率を、第１声部の旋律を条件とする条件付き確率として決定する、請求項８〜１３いずれか１項に記載の方法。
前記旋律生成ステップは、第１声部旋律生成ステップを含む、請求項１４に記載の方法。
前記第１声部の旋律は、事前に得られている、請求項１４に記載の方法。
日本語歌詞から多重唱を自動作曲ないし編曲するために、請求項８〜１６いずれか１項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。