JP2003108179A - 歌唱音声合成における韻律データ収集方法、韻律データ収集プログラム、そのプログラムを記録した記録媒体 - Google Patents
歌唱音声合成における韻律データ収集方法、韻律データ収集プログラム、そのプログラムを記録した記録媒体Info
- Publication number
- JP2003108179A JP2003108179A JP2001305039A JP2001305039A JP2003108179A JP 2003108179 A JP2003108179 A JP 2003108179A JP 2001305039 A JP2001305039 A JP 2001305039A JP 2001305039 A JP2001305039 A JP 2001305039A JP 2003108179 A JP2003108179 A JP 2003108179A
- Authority
- JP
- Japan
- Prior art keywords
- note
- singing voice
- data
- voice synthesis
- fundamental frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 歌唱音声合成に適した韻律素片データを収集
する。 【解決手段】 音符列から切り出した２個以上の連続し
た音符列を韻律素片とする韻律素片データを生成して収
集する歌唱音声合成における韻律データ収集方法におい
て、韻律素片の生成に際し、２個以上の連続した音符列
のうち最初の音符の時間的もしくは音価的に中間部分か
ら最後の音符の時間的もしくは音価的に中間部分までに
対応する歌唱音声データの基本周波数の推移を抽出し、
２個以上の連続した音符列と基本周波数列をセットとし
て韻律素片のデータとする。
する。 【解決手段】 音符列から切り出した２個以上の連続し
た音符列を韻律素片とする韻律素片データを生成して収
集する歌唱音声合成における韻律データ収集方法におい
て、韻律素片の生成に際し、２個以上の連続した音符列
のうち最初の音符の時間的もしくは音価的に中間部分か
ら最後の音符の時間的もしくは音価的に中間部分までに
対応する歌唱音声データの基本周波数の推移を抽出し、
２個以上の連続した音符列と基本周波数列をセットとし
て韻律素片のデータとする。
Description
【０００１】
【発明の属する技術分野】この発明は、任意音符系列お
よび任意音韻系列に対する連続歌唱音声合成において韻
律を生成する際に用いる、韻律データベースの歌唱音声
合成における韻律データ収集方法、及び、歌唱音声合成
における韻律データ収集プログラム、このプログラムを
記録した記録媒体に関する。
よび任意音韻系列に対する連続歌唱音声合成において韻
律を生成する際に用いる、韻律データベースの歌唱音声
合成における韻律データ収集方法、及び、歌唱音声合成
における韻律データ収集プログラム、このプログラムを
記録した記録媒体に関する。
【０００２】
【従来の技術】テキスト読み上げ音声合成に関する技術
としては、韻律素片をデータベース化し韻律生成に用い
る手法が一般的である。またそのデータベースの韻律デ
ータの収集方法も数多く提案されている。その場合、単
語や文などを発話する際の韻律パターンをもって韻律素
片としており、通常の発話用であるので、音符列もしく
は音程や音長を考慮に入れたものではない。すなわち、
歌唱音声合成に用いることのできるものではない。
としては、韻律素片をデータベース化し韻律生成に用い
る手法が一般的である。またそのデータベースの韻律デ
ータの収集方法も数多く提案されている。その場合、単
語や文などを発話する際の韻律パターンをもって韻律素
片としており、通常の発話用であるので、音符列もしく
は音程や音長を考慮に入れたものではない。すなわち、
歌唱音声合成に用いることのできるものではない。
【０００３】一方歌唱音声合成においては、連続する音
符の接続部分をなめらかな韻律変化にするために、数学
的モデルを用いる方法が提案されている。二つの不連続
な値を曲線で補間するモデルを利用し、連続する音符の
基本周波数をなめらかにつなぎながら、韻律を生成す
る。用いるモデルによっては、歌唱音声に見られる音符
遷移時のオーバーシュートやアンダーシュート（一時的
な調子外れ）の現象を再現することができる。
符の接続部分をなめらかな韻律変化にするために、数学
的モデルを用いる方法が提案されている。二つの不連続
な値を曲線で補間するモデルを利用し、連続する音符の
基本周波数をなめらかにつなぎながら、韻律を生成す
る。用いるモデルによっては、歌唱音声に見られる音符
遷移時のオーバーシュートやアンダーシュート（一時的
な調子外れ）の現象を再現することができる。
【０００４】
【発明が解決しようとする課題】従来の数学的モデルを
用いた方法は、原理が簡潔であるため、韻律生成の機構
全体が簡素化できたり小型化できるという利点がある反
面、所望の韻律を得るためにはモデルパラメータを調整
する必要があり、調整が容易ではない場合もある。ま
た、一過性の特殊な歌唱法（例えば、コブシやビブラー
トなど）を再現する場合、モデルパラメータを再度調整
し直す必要がある。また、韻律形成の自由度が低いモデ
ルを用いると所望の韻律が得られない可能性もある。
用いた方法は、原理が簡潔であるため、韻律生成の機構
全体が簡素化できたり小型化できるという利点がある反
面、所望の韻律を得るためにはモデルパラメータを調整
する必要があり、調整が容易ではない場合もある。ま
た、一過性の特殊な歌唱法（例えば、コブシやビブラー
トなど）を再現する場合、モデルパラメータを再度調整
し直す必要がある。また、韻律形成の自由度が低いモデ
ルを用いると所望の韻律が得られない可能性もある。
【０００５】本発明は、韻律素片のデータベースを用い
て歌唱音声合成用の韻律を生成することを考えたとき、
歌唱音声合成に適した、韻律素片データベースの韻律デ
ータの収集方法を提案する。
て歌唱音声合成用の韻律を生成することを考えたとき、
歌唱音声合成に適した、韻律素片データベースの韻律デ
ータの収集方法を提案する。
【０００６】
【課題を解決するための手段】上記課題を解決するため
に、本発明は、韻律素片を収集するにあたっては、音符
列（楽譜データ）から２個以上連続する音符列（音符列
データ）を形成する。その音符列を歌った歌唱音声を分
析し、基本周波数系列を得る。その基本周波数系列よ
り、上記音符列データのうち最初の音符の基本周波数の
定常な部分から、上記音符列データのうち最後の音符の
基本周波数の定常な部分までを抜き出し、上記音符列に
ついての韻律素片とする。これにより韻律生成の際に
は、基本周波数の定常な部分で接続することが可能であ
る。
に、本発明は、韻律素片を収集するにあたっては、音符
列（楽譜データ）から２個以上連続する音符列（音符列
データ）を形成する。その音符列を歌った歌唱音声を分
析し、基本周波数系列を得る。その基本周波数系列よ
り、上記音符列データのうち最初の音符の基本周波数の
定常な部分から、上記音符列データのうち最後の音符の
基本周波数の定常な部分までを抜き出し、上記音符列に
ついての韻律素片とする。これにより韻律生成の際に
は、基本周波数の定常な部分で接続することが可能であ
る。
【０００７】また、２個以上連続する音符列を形成する
にあたっては、音符の連続数を増減させたり、音符の継
続時間の面からとらえたバリエーションや音符の音高の
面からとらえたバリエーションを限定して音符を選択使
用することにより、音符列の場合の数を調整することが
できる。この調整機能により韻律素片データベースの規
模をコントロールすることが可能になり、データ容量に
制約がある場合においては便利である。
にあたっては、音符の連続数を増減させたり、音符の継
続時間の面からとらえたバリエーションや音符の音高の
面からとらえたバリエーションを限定して音符を選択使
用することにより、音符列の場合の数を調整することが
できる。この調整機能により韻律素片データベースの規
模をコントロールすることが可能になり、データ容量に
制約がある場合においては便利である。
【０００８】
【発明の実施の形態】図１に、この発明の実施例の構成
を示す。この発明の韻律データベースの韻律データの収
集においては、既に録音された録音物をもとに韻律デー
タを収集することも、また新規に録音を行った録音物を
もとに韻律データを収集することも可能である。その両
方の例について説明する。
を示す。この発明の韻律データベースの韻律データの収
集においては、既に録音された録音物をもとに韻律デー
タを収集することも、また新規に録音を行った録音物を
もとに韻律データを収集することも可能である。その両
方の例について説明する。
【０００９】まず、録音物を利用する場合１００の例に
ついて説明する。この録音物は韻律を抽出する音声とそ
れ以外の伴奏に類する音が異なるトラックに録音されて
いる、マルチトラックの録音物である必要がある。音符
列生成部１０１は、生成ルールに基づいて音符列（楽譜
データ）から音符列データを生成する。音符列データの
生成においては音符を部分的に重ね合わせて音符列を切
り出す（図２参照）。録音物と音符列データを図１中の
切り出し部１０２に入力し、韻律素片としてデータベー
ス化したい音符列に該当する部分を、音符列データと歌
唱音声・伴奏データをセットにした状態で切り出す。図
２は、２トラックの録音物で、片方のトラックに歌唱音
声が、もう片方のトラックに伴奏が録音されている場合
の例を図示したものである。また、図２は１個の音符、
２個の連続する音符について韻律素片を切り出す場合の
例である。図２（Ａ）はメロディの楽譜表記、図２
（Ｂ）は音声トラックの波形データ、図２（Ｃ）は伴奏
トラックの波形データを示したものである。図２（１）
が示す範囲は、例えば楽曲の始まりの無音部分後の音符
についての切り出し範囲である。無音部分後と無音部
分前は、通常の２連続音ではなく、１個の音符について
韻律が抽出できるように切り出しを行う。図２（２）,
（３）,（４）は２個の連続する音符〜について韻
律が抽出できるよう、切り出し部において切り出し範囲
を示している。図２は各切り出し範囲に対応する音符列
を楽譜表記したものである。上記の例では無音部分後の
音符列は１個、その他の部分では２個の音符列を抜き出
しているが本発明はこれに限定されるものではない。
ついて説明する。この録音物は韻律を抽出する音声とそ
れ以外の伴奏に類する音が異なるトラックに録音されて
いる、マルチトラックの録音物である必要がある。音符
列生成部１０１は、生成ルールに基づいて音符列（楽譜
データ）から音符列データを生成する。音符列データの
生成においては音符を部分的に重ね合わせて音符列を切
り出す（図２参照）。録音物と音符列データを図１中の
切り出し部１０２に入力し、韻律素片としてデータベー
ス化したい音符列に該当する部分を、音符列データと歌
唱音声・伴奏データをセットにした状態で切り出す。図
２は、２トラックの録音物で、片方のトラックに歌唱音
声が、もう片方のトラックに伴奏が録音されている場合
の例を図示したものである。また、図２は１個の音符、
２個の連続する音符について韻律素片を切り出す場合の
例である。図２（Ａ）はメロディの楽譜表記、図２
（Ｂ）は音声トラックの波形データ、図２（Ｃ）は伴奏
トラックの波形データを示したものである。図２（１）
が示す範囲は、例えば楽曲の始まりの無音部分後の音符
についての切り出し範囲である。無音部分後と無音部
分前は、通常の２連続音ではなく、１個の音符について
韻律が抽出できるように切り出しを行う。図２（２）,
（３）,（４）は２個の連続する音符〜について韻
律が抽出できるよう、切り出し部において切り出し範囲
を示している。図２は各切り出し範囲に対応する音符列
を楽譜表記したものである。上記の例では無音部分後の
音符列は１個、その他の部分では２個の音符列を抜き出
しているが本発明はこれに限定されるものではない。
【００１０】次に新規に録音を行う場合２００の例につ
いて説明する。新規に録音する場合は、歌手が発声を行
う際に、発声すべき音のガイドとして用いる伴奏を用意
する必要がある。またこの伴奏は、後述のラベリングを
行う際に、拍節構造を知る手がかりとしても用いられ
る。音符列生成部２０１では、データベース化する音符
列の組み合わせを導出し伴奏生成部２０２に送る。その
際、組み合わせとして用いる音符の種類を規定した音符
列生成ルールを用いることが可能である。用いる音符の
音高や継続時間のバリエーションを限定することによ
り、音符列の組み合わせ数が減少し、データベースのサ
イズを小さくすることが可能になる。伴奏生成部２０２
では、入力された音符列データをもとに、歌手が発声の
際のガイドとして用いる伴奏を生成する。伴奏は、発声
する音符列を演奏した楽器音と、メトロノーム音など拍
節がわかりやすくなる音を合わせた物がよい。続いて録
音部２０３において、その伴奏を聞きながら、韻律素片
のもととなる歌唱音声の録音を行う。録音には２トラッ
ク以上を用い、一つのトラックに歌唱音声を、それ以外
のトラックに伴奏を録音する。このとき歌手には前記音
符列生成部で生成した音符列データを、楽譜など記号化
した形態で提示すると簡便である。すべての音符列につ
いて録音を行い、各音符列についての音声・伴奏データ
とする。セレクタ３００では、前記録音物を利用して得
られる、歌唱音声・伴奏データと対応する音符列データ
もしくは前記新規に録音して得られた歌唱音声・伴奏デ
ータと対応する音符列データを選択し、ラベリング部３
０１にデータを転送する。
いて説明する。新規に録音する場合は、歌手が発声を行
う際に、発声すべき音のガイドとして用いる伴奏を用意
する必要がある。またこの伴奏は、後述のラベリングを
行う際に、拍節構造を知る手がかりとしても用いられ
る。音符列生成部２０１では、データベース化する音符
列の組み合わせを導出し伴奏生成部２０２に送る。その
際、組み合わせとして用いる音符の種類を規定した音符
列生成ルールを用いることが可能である。用いる音符の
音高や継続時間のバリエーションを限定することによ
り、音符列の組み合わせ数が減少し、データベースのサ
イズを小さくすることが可能になる。伴奏生成部２０２
では、入力された音符列データをもとに、歌手が発声の
際のガイドとして用いる伴奏を生成する。伴奏は、発声
する音符列を演奏した楽器音と、メトロノーム音など拍
節がわかりやすくなる音を合わせた物がよい。続いて録
音部２０３において、その伴奏を聞きながら、韻律素片
のもととなる歌唱音声の録音を行う。録音には２トラッ
ク以上を用い、一つのトラックに歌唱音声を、それ以外
のトラックに伴奏を録音する。このとき歌手には前記音
符列生成部で生成した音符列データを、楽譜など記号化
した形態で提示すると簡便である。すべての音符列につ
いて録音を行い、各音符列についての音声・伴奏データ
とする。セレクタ３００では、前記録音物を利用して得
られる、歌唱音声・伴奏データと対応する音符列データ
もしくは前記新規に録音して得られた歌唱音声・伴奏デ
ータと対応する音符列データを選択し、ラベリング部３
０１にデータを転送する。
【００１１】続いて図３でラベリング部３０１における
データ処理の例を示す。本発明では、楽曲の始め等の
（１）無音部分後の切り出し範囲における音符列（図２
（Ｄ）参照）の最初から基本周波数の定常な部分まで
の対応する歌唱音声データの基本周波数推移をもって、
韻律素片とする。また、無音部分前の切り出し範囲にお
ける韻律素片の生成についても同様である。（２）２個
の連続する音符の切り出し範囲における音符列中（図２
（Ｄ）〜参照）最初の音符の基本周波数の定常な部
分から、音符列中最後の音符の基本周波数の定常な部分
までの対応する歌唱音声データの基本周波数推移をもっ
て、韻律素片とする。そこでラベリング部では、韻律の
抽出を開始する個所と、終了する個所にラベルを施す。
また、音符の接続位置にもそれを示すラベルを施す。こ
の接続位置ラベルは韻律素片を用いて歌唱音声の韻律を
生成するにあたって素片の継続時間長を計るためや、素
片を所望の時刻・位置に配置するときの目安として用い
る。なお、上記基本周波数の定常な部分としては該当す
る音符の時間的もしくは音価的に中間部分から前後１０
％程度の位置を用いるとよい。
データ処理の例を示す。本発明では、楽曲の始め等の
（１）無音部分後の切り出し範囲における音符列（図２
（Ｄ）参照）の最初から基本周波数の定常な部分まで
の対応する歌唱音声データの基本周波数推移をもって、
韻律素片とする。また、無音部分前の切り出し範囲にお
ける韻律素片の生成についても同様である。（２）２個
の連続する音符の切り出し範囲における音符列中（図２
（Ｄ）〜参照）最初の音符の基本周波数の定常な部
分から、音符列中最後の音符の基本周波数の定常な部分
までの対応する歌唱音声データの基本周波数推移をもっ
て、韻律素片とする。そこでラベリング部では、韻律の
抽出を開始する個所と、終了する個所にラベルを施す。
また、音符の接続位置にもそれを示すラベルを施す。こ
の接続位置ラベルは韻律素片を用いて歌唱音声の韻律を
生成するにあたって素片の継続時間長を計るためや、素
片を所望の時刻・位置に配置するときの目安として用い
る。なお、上記基本周波数の定常な部分としては該当す
る音符の時間的もしくは音価的に中間部分から前後１０
％程度の位置を用いるとよい。
【００１２】図３は２個の連続する音符についての韻律
素片をラベリング処理する例である。図３（Ａ）は音符
列を楽譜表記したもの（音符列データ）、図３（Ｂ）は
音声トラックの波形データ、図３（Ｃ）は伴奏トラック
の波形データを示している。図３（１）は最初の音符の
中間位置にあたり、韻律の抽出を開始する個所としてラ
ベルを施す。同様に図３（２）は最後の音符の中間位置
にあたり、韻律の抽出を終了する個所としてラベルを施
す。また図３（３）は２個の音符の接続位置にあたり、
接続位置ラベルを施す。このとき、歌唱音声データ上で
の音符の接続点が、拍節構造上の音符の接続点と一致せ
ず、多少のずれを生じることが一般的である。そこで、
伴奏データに含まれるメトロノーム音など拍節構造を正
確に示した音を利用すると、正確な音符の接続位置をラ
ベリングすることができる。そのためにも、メトロノー
ム音には高周波成分を多く含み、振幅の減衰が急峻な音
を用いると、ラベリングが容易となる。
素片をラベリング処理する例である。図３（Ａ）は音符
列を楽譜表記したもの（音符列データ）、図３（Ｂ）は
音声トラックの波形データ、図３（Ｃ）は伴奏トラック
の波形データを示している。図３（１）は最初の音符の
中間位置にあたり、韻律の抽出を開始する個所としてラ
ベルを施す。同様に図３（２）は最後の音符の中間位置
にあたり、韻律の抽出を終了する個所としてラベルを施
す。また図３（３）は２個の音符の接続位置にあたり、
接続位置ラベルを施す。このとき、歌唱音声データ上で
の音符の接続点が、拍節構造上の音符の接続点と一致せ
ず、多少のずれを生じることが一般的である。そこで、
伴奏データに含まれるメトロノーム音など拍節構造を正
確に示した音を利用すると、正確な音符の接続位置をラ
ベリングすることができる。そのためにも、メトロノー
ム音には高周波成分を多く含み、振幅の減衰が急峻な音
を用いると、ラベリングが容易となる。
【００１３】最後にピッチ抽出部３０２において、音声
データから基本周波数の推移を抽出し韻律データを生成
する。ピッチ抽出の方法としては、機械的もしくはソフ
トウェア的に自動化されたピッチ抽出機を用いても良い
し、音声データを量子化してその波形データに対して手
動で波形のピーク位置やゼロ交差位置にラベルを施し、
ラベル間隔から基本周波数を求めても良い。図４は量子
化した音声波形データのゼロ交差位置にラベルを施すこ
とによって、基本周波数を算出した例を示している。得
られた基本周波数列は、対応する音符列の情報とのセッ
トで韻律素片データとなる。それらを韻律データ記憶装
置３０３に格納し、その記憶装置を韻律データベースと
する。
データから基本周波数の推移を抽出し韻律データを生成
する。ピッチ抽出の方法としては、機械的もしくはソフ
トウェア的に自動化されたピッチ抽出機を用いても良い
し、音声データを量子化してその波形データに対して手
動で波形のピーク位置やゼロ交差位置にラベルを施し、
ラベル間隔から基本周波数を求めても良い。図４は量子
化した音声波形データのゼロ交差位置にラベルを施すこ
とによって、基本周波数を算出した例を示している。得
られた基本周波数列は、対応する音符列の情報とのセッ
トで韻律素片データとなる。それらを韻律データ記憶装
置３０３に格納し、その記憶装置を韻律データベースと
する。
【００１４】歌唱音声合成における韻律データ収集方法
の手順を図５を参照して説明する。 (s1)音符列（楽譜データ）から生成ルールにより２個以
上の連続した音符列（音符列データ）を切り出し、最初
の音符の時間的もしくは音価的に中間部分抽出開始個所
と最後の音符の時間的もしくは音価的に中間部分抽出終
了個所にラベルを施す。 (s2)ラベルを施した抽出開始個所と終了個所に対応した
歌唱音声データから基本周波数の推移を抽出し、抽出開
始個所と終了個所に対応した音符列（音符列データ）と
基本周波数列をセットとして韻律素片データとして出力
する。
の手順を図５を参照して説明する。 (s1)音符列（楽譜データ）から生成ルールにより２個以
上の連続した音符列（音符列データ）を切り出し、最初
の音符の時間的もしくは音価的に中間部分抽出開始個所
と最後の音符の時間的もしくは音価的に中間部分抽出終
了個所にラベルを施す。 (s2)ラベルを施した抽出開始個所と終了個所に対応した
歌唱音声データから基本周波数の推移を抽出し、抽出開
始個所と終了個所に対応した音符列（音符列データ）と
基本周波数列をセットとして韻律素片データとして出力
する。
【００１５】また、本発明の歌唱音声合成における韻律
生成装置は、ＣＰＵやメモリ等を有するコンピュータ
と、アクセス主体となるユーザが利用する利用者端末
と、記録媒体から構成することができる。記録媒体は、
CD-ROM、磁気ディスク装置、半導体メモリ等の機械読み
取り可能な記録媒体であり、ここに記録された歌唱音声
合成における韻律データ収集プログラムは、コンピュー
タに読み取られ、コンピュータの動作を制御しコンピュ
ータ上に前述した実施形態における構成要素、すなわ
ち、切り出し部、音符列生成部、伴奏生成部、録音部、
セレクタ、ラベリング部、ピッチ抽出部、韻律データ記
憶装置等を実現する。
生成装置は、ＣＰＵやメモリ等を有するコンピュータ
と、アクセス主体となるユーザが利用する利用者端末
と、記録媒体から構成することができる。記録媒体は、
CD-ROM、磁気ディスク装置、半導体メモリ等の機械読み
取り可能な記録媒体であり、ここに記録された歌唱音声
合成における韻律データ収集プログラムは、コンピュー
タに読み取られ、コンピュータの動作を制御しコンピュ
ータ上に前述した実施形態における構成要素、すなわ
ち、切り出し部、音符列生成部、伴奏生成部、録音部、
セレクタ、ラベリング部、ピッチ抽出部、韻律データ記
憶装置等を実現する。
【００１６】
【発明の効果】この発明によれば、韻律素片を収集する
にあたって、音符列から２個以上連続する音符列を形成
する。その音符列を歌った歌唱音声を分析し、基本周波
数系列を得る。その基本周波数系列より、上記音符列の
うち最初の音符の基本周波数の定常な部分から、上記音
符列のうち最後の音符の基本周波数の定常な部分まで抜
き出し、上記音符列についての韻律素片とする。これに
より韻律生成の際には、基本周波数の定常な部分で接続
することが可能である。
にあたって、音符列から２個以上連続する音符列を形成
する。その音符列を歌った歌唱音声を分析し、基本周波
数系列を得る。その基本周波数系列より、上記音符列の
うち最初の音符の基本周波数の定常な部分から、上記音
符列のうち最後の音符の基本周波数の定常な部分まで抜
き出し、上記音符列についての韻律素片とする。これに
より韻律生成の際には、基本周波数の定常な部分で接続
することが可能である。
【００１７】また、２個以上の連続する音符列を形成す
る際に音符の連続数を増減させたり、音符の継続時間の
面からとらえたバリエーションや音符の音高の面からと
らえたバリエーションを限定して音符を選択使用するこ
とにより韻律素片データベースの規模をコントロールす
ることができる。
る際に音符の連続数を増減させたり、音符の継続時間の
面からとらえたバリエーションや音符の音高の面からと
らえたバリエーションを限定して音符を選択使用するこ
とにより韻律素片データベースの規模をコントロールす
ることができる。
【図１】本発明が適用される歌唱音声合成における韻律
データ収集装置のブロック図。
データ収集装置のブロック図。
【図２】切り出し部の処理を説明するための図。
【図３】ラベリング部の処理を説明するための図。
【図４】ピッチ抽出部の基本周波数の抽出を説明するた
めの図。
めの図。
【図５】歌唱音声合成における韻律データ収集方法の手
順を示す図。
順を示す図。
１０１，２０１ 音符列生成部
１０２ 切り出し部
２０２ 伴奏生成部
２０３ 録音部
３００ セレクタ
３０１ ラベリング部
３０２ ピッチ抽出部
３０３ 韻律データ記憶装置
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 阿部 匡伸
東京都千代田区大手町二丁目３番１号 日
本電信電話株式会社内
Ｆターム(参考） 5D045 AA20 AB30
Claims (10)
- 【請求項１】音符列から２個以上の連続した音符列を切
り出し、韻律素片の生成に際し、２個以上の連続した音
符列のうち最初の音符の基本周波数の定常な部分から最
後の音符の基本周波数の定常な部分までに対応する歌唱
音声データから基本周波数の推移を抽出し、２個以上の
連続した音符列と基本周波数列をセットとして韻律素片
のデータとすることを特徴とする歌唱音声合成における
韻律データ収集方法。 - 【請求項２】請求項１に記載の歌唱音声合成における韻
律データ収集方法において、 前記音符列は休符や息継ぎなどの無音部分を含み、音符
列から無音部分の前後の１個の音符又は２個以上の連続
した音符列を切り出し、切り出した音符が１個の場合に
は無音部分の後の音符の先端から基本周波数の定常な部
分まで、あるいは無音部分の前の音符の基本周波数の定
常な部分から終端までに対応する歌唱音声データの基本
周波数の推移を抽出して音符と基本周波数列をセットと
して音韻素片のデータとし、切り出した音符が２個以上
の連続した音符列の場合には無音部分の後の音符から連
続した音符列の最後の音符の基本周波数の定常な部分、
あるいは最初の音符の基本周波数の定常な部分から無音
部分の前の音符までの歌唱音声データの基本周波数の推
移を抽出して２個以上の連続した音符列と基本周波数列
をセットとして韻律素片のデータとすることを特徴とす
る歌唱音声合成における韻律データ収集方法。 - 【請求項３】請求項１または２に記載の歌唱音声合成に
おける韻律データ収集方法において、 韻律素片に対応する音符の数を２としたことを特徴とす
る歌唱音声合成における韻律データ収集方法。 - 【請求項４】請求項１または２に記載の歌唱音声合成に
おける韻律データ収集方法において、 基本周波数の定常な部分を、該当する音符の時間的もし
くは音価的に中間部分の近傍としたことを特徴とする歌
唱音声合成における韻律データ収集方法。 - 【請求項５】請求項１乃至４のいずれか１項に記載の歌
唱音声合成における韻律データ収集方法において、 韻律素片の生成における２個以上の音符列を形成する際
に、任意に選択した数種類の継続時間をもつ音符のみを
用いることにより、音符列の組み合わせを低減させ、そ
の結果韻律素片の数を低減させることを特徴とする歌唱
音声合成における韻律データ収集方法。 - 【請求項６】請求項１乃至５のいずれか１項に記載の歌
唱音声合成における韻律データ収集方法において、 韻律素片の生成における２個以上の音符列を形成する際
に、任意に選択した数種類の音高の音符にのみを用いる
ことにより、音符列の組み合わせ数を低減させ、その結
果韻律素片の数を低減させることを特徴とする歌唱音声
合成における韻律データ収集方法。 - 【請求項７】請求項５に記載の歌唱音声合成における韻
律データ収集方法において、 任意に選択した数種類の継続時間を持つ音符は、３種類
の継続時間を持つ音符のみを用いたことを特徴とする歌
唱音声合成における韻律データ収集方法。 - 【請求項８】請求項６に記載の歌唱音声合成における韻
律データ収集方法において、 任意に選択した数種類の音高の音符は、１２音音階上で
半音とばしの音高の音符のみを用いたことを特徴とする
歌唱音声合成における韻律データ収集方法。 - 【請求項９】請求項１乃至８のいずれか１項に記載の歌
唱音声合成における韻律データ収集方法をコンピュータ
に実行させる歌唱音声合成における韻律データ収集プロ
グラム。 - 【請求項１０】請求項１乃至８のいずれか１項に記載の
歌唱音声合成における韻律データ収集方法をコンピュー
タに実行させる歌唱音声合成における韻律データ収集プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001305039A JP2003108179A (ja) | 2001-10-01 | 2001-10-01 | 歌唱音声合成における韻律データ収集方法、韻律データ収集プログラム、そのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001305039A JP2003108179A (ja) | 2001-10-01 | 2001-10-01 | 歌唱音声合成における韻律データ収集方法、韻律データ収集プログラム、そのプログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003108179A true JP2003108179A (ja) | 2003-04-11 |
Family
ID=19124889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001305039A Pending JP2003108179A (ja) | 2001-10-01 | 2001-10-01 | 歌唱音声合成における韻律データ収集方法、韻律データ収集プログラム、そのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003108179A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011028230A (ja) * | 2009-07-02 | 2011-02-10 | Yamaha Corp | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
| JP2013164609A (ja) * | 2013-04-15 | 2013-08-22 | Yamaha Corp | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
| CN105051811A (zh) * | 2013-03-15 | 2015-11-11 | 雅马哈株式会社 | 声音处理装置 |
-
2001
- 2001-10-01 JP JP2001305039A patent/JP2003108179A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011028230A (ja) * | 2009-07-02 | 2011-02-10 | Yamaha Corp | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
| CN105051811A (zh) * | 2013-03-15 | 2015-11-11 | 雅马哈株式会社 | 声音处理装置 |
| JP2013164609A (ja) * | 2013-04-15 | 2013-08-22 | Yamaha Corp | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6610715B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
| JP6610714B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
| US6304846B1 (en) | Singing voice synthesis | |
| Cano et al. | Voice Morphing System for Impersonating in Karaoke Applications. | |
| JP5143569B2 (ja) | 音響的特徴の同期化された修正のための方法及び装置 | |
| JP4207902B2 (ja) | 音声合成装置およびプログラム | |
| Macon et al. | A singing voice synthesis system based on sinusoidal modeling | |
| JP3838039B2 (ja) | 音声合成装置 | |
| US11417312B2 (en) | Keyboard instrument and method performed by computer of keyboard instrument | |
| JPH10105169A (ja) | ハーモニーデータ生成装置およびカラオケ装置 | |
| Lindemann | Music synthesis with reconstructive phrase modeling | |
| JPH0736455A (ja) | 音楽イベントインデックス作成装置 | |
| JP3750533B2 (ja) | 波形データ録音装置および録音波形データ再生装置 | |
| JP3518253B2 (ja) | データ編集装置 | |
| JP2002073064A (ja) | 音声処理装置、音声処理方法および情報記録媒体 | |
| JP6167503B2 (ja) | 音声合成装置 | |
| JP5360489B2 (ja) | 音素符号変換装置および音声合成装置 | |
| JP2002162978A (ja) | カラオケ装置 | |
| JP7226532B2 (ja) | オーディオ情報再生方法および装置、オーディオ情報生成方法および装置、並びにプログラム | |
| JP2003108179A (ja) | 歌唱音声合成における韻律データ収集方法、韻律データ収集プログラム、そのプログラムを記録した記録媒体 | |
| TW201027514A (en) | Singing synthesis systems and related synthesis methods | |
| Bonada et al. | Spectral approach to the modeling of the singing voice | |
| JP3879524B2 (ja) | 波形生成方法、演奏データ処理方法および波形選択装置 | |
| JP5560769B2 (ja) | 音素符号変換装置および音声合成装置 | |
| JP3904012B2 (ja) | 波形生成装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051228 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051228 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061226 |