JP2013195699A - 歌唱合成装置および歌唱合成プログラム - Google Patents

Abstract

【課題】 楽譜通りの標準的な歌唱からずれた歌唱を行わせることができ、かつ、その場合のずれを変化させることができる歌唱合成装置を提供する。
【解決手段】 歌唱合成部２２０は、歌唱合成スコアに従って、合成歌唱音を発生する。歌唱性能データは、曲データに従った標準的な歌唱音の発生態様に対する合成歌唱音の発生態様の変化を指示するデータである。歌唱合成スコア生成部２１０は、曲データに基づき、歌唱合成スコア３００を生成して歌唱合成スコア記憶エリアに格納する手段であって、ＨＤＤのアクティブエリア内の歌唱性能データに従って、歌唱合成スコア３００における合成歌唱音の発生態様を曲データに従った歌唱音の発生態様から変化させる変調処理部２１１を含む。歌唱性能データ管理部２３０は、例えば歌唱した曲数等に応じてアクティブエリア内の歌唱性能データの書き換えを行う。
【選択図】図２

Description

本発明は、歌唱音の合成を行う歌唱合成装置および歌唱合成プログラムに関する。

一般に歌唱合成では、単一の音素や音素から音素への遷移部分など、歌唱音声の素材となる各種の音声素片の波形を定義した音声素片データを予めデータベース化しておく。そして、ある歌詞をあるメロディに合わせて歌唱する歌唱音声を合成する際には、データベースから歌詞を構成する音声素片に対応した音声素片データを選択して読み出して接続し、それらの音声素片データに対し、各々のピッチをメロディに合わせるためのピッチ変換を施し、歌唱音声の波形を示すデータを合成する。

特開２００５−４６４４５号公報

この種の歌唱合成装置による歌唱は、楽譜通りの歌唱であり、上手く聴こえるが、画一的である。そして、歌唱合成装置による歌唱は、毎回同じ内容の繰り返しであるため、どうしても機械に歌ってもらっている印象を拭い去れない。一方、我々人間の中には、楽譜に忠実に歌唱する人もいれば、そうでない人もいる。その意味で我々人間による歌唱は歌唱合成装置による歌唱よりも大きな広がりを持っているということができる。楽譜通りでない歌唱の典型例として、音痴に聴こえる歌唱がある。それ以外に、楽譜通りでない歌唱の例として、音痴のようにも聴こえるし、上手く歌っているようにも聴こえるヘタウマと呼ばれる歌唱がある。こういった楽譜通りでない歌唱の中には、歌い手である人間の個性が演出されており、味わい深く聴く価値のあるものがある。また、人間は日々変化するものであるから、人間により行われる歌唱も日々変化する。しかし、このような変化に富んだ人間的な歌唱を合成する機能を備えた歌唱合成装置は提供されていない。

この発明は、以上説明した事情に鑑みてなされたものであり、楽譜通りの標準的な歌唱からずれた歌唱を行わせることができ、かつ、その場合の楽譜通りの標準的な歌唱からのずれを変化させることができる歌唱合成装置を提供することを目的としている。

この発明は、曲データと、曲データに従った標準的な歌唱音の発生態様に対する合成歌唱音の発生態様の変化を指示する歌唱性能データとに基づいて、合成歌唱音の時系列データを生成する歌唱合成手段であって、前記曲データに従った標準的な歌唱音の発生態様から合成歌唱音の発生態様を前記歌唱性能データに従って変化させる変調処理手段を含む歌唱合成手段を具備することを特徴とする歌唱合成装置を提供する。

かかる発明によれば、歌唱性能データに従い、曲データ通りの標準的な歌唱音の発生態様とは異なった発生態様で発生する合成歌唱音の時系列データが生成される。従って、歌唱性能データにより、歌唱合成装置により合成される合成歌唱音の発生態様を変化させることができる。

なお、特許文献１は、操作キーの操作タイミングと適正タイミングとの時間差に応じた量だけメロディ付き歌唱データの再生音程を変化させる音楽ゲームソフトウェアを開示している。

しかし、特許文献１に開示の技術は、本発明のように、歌唱性能データにより定まる歌標準的な歌唱からのずれを合成歌唱音の発生態様に与えるものではない。

この発明の第１実施形態である歌唱合成装置の構成を示すブロック図である。 同実施形態における歌唱合成プログラムの構成を示すブロック図である。 曲データに基づいて音韻データトラックを生成する方法を説明する図である。 同実施形態における歌唱性能データの構成を示す図である。 同実施形態において歌唱性能データのタイミング部により指定される曲データでの発音タイミングと歌唱での発音タイミングとの関係を例示する図である。 同実施形態において歌唱性能データのピッチ部により指定される曲データでのピッチと歌唱でのピッチとの関係を例示する図である。 同実施形態において実行される歌唱性能データの書き換え処理を例示する図である。 この発明の第２実施形態である歌唱合成装置の歌唱性能データベースのデータ構造を示す図である。 同実施形態において実行される歌唱性能データの書き換え処理を例示する図である。

以下、図面を参照し、この発明の実施の形態を説明する。
＜第１実施形態＞
図１は、この発明の第１実施形態である歌唱合成装置の構成を示すブロック図である。この歌唱合成装置は、音声を出力する機能を有するパーソナルコンピュータに対し、歌唱合成プログラムをインストールしたものである。

図１において、ＣＰＵ１は、この歌唱合成装置の各部を制御する制御中枢である。ＲＯＭ２は、ローダなど、この歌唱合成装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。表示部３は、装置の動作状態や入力データおよび操作者に対するメッセージなどを表示するための装置である。操作部４は、ユーザからコマンドや各種の情報を受け取るための手段であり、キーボードやマウスなどの各種の操作子により構成されている。

インタフェース群５は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、磁気ディスクやＣＤ−ＲＯＭなどの外部記憶媒体との間でデータの授受を行うためのドライバなどにより構成されている。ＨＤＤ（ハードディスク装置）６は、各種のプログラムやデータベースなどの情報を記憶するための不揮発性記憶装置である。ＲＡＭ７は、ＣＰＵ１によってワークエリアとして使用される揮発性メモリである。ＣＰＵ１は、操作部４を介して与えられる指令に従い、ＨＤＤ６内のプログラムをＲＡＭ７にロードして実行する。

サウンドシステム８は、この歌唱合成装置において合成された音声を出力する手段であり、合成音声のサンプルデータであるデジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカ等により構成されている。

ＨＤＤ６に記憶される情報として、曲データ編集プログラム１１０と、曲データ１２０と、音声素片データベース１３０と、歌唱合成プログラム２００と、歌唱性能データベース２５０がある。

曲データ１２０は、曲を構成する一連の音符を表す音符データと、音符に合わせて発声する歌詞を表す歌詞データと、曲に音楽的表情を与えるためのダイナミックス情報等のその他の情報からなるデータである。１個の音符に対応した音符データは、音符の発生時刻、音高、音符の長さを示す各情報を含んでいる。歌詞データは、音符に合わせて発音すべき歌詞を音符毎に定義したデータである。曲データ１２０は、曲の開始からの発生順序に合わせて、個々の音符に対応した音符データと歌詞データとを時系列的に並べたものであり、曲データ１２０内において音符データと歌詞データは音符単位で対応付けられている。

曲データ編集プログラム１１０は、曲データを編集するためにＣＰＵ１によって実行されるプログラムである。好ましい態様において、この曲データ編集プログラム１１０は、ピアノの鍵盤の画像からなるＧＵＩ（グラフィカルユーザインタフェース）を表示部３に表示させる。ユーザは、表示部３に表示された鍵盤における所望の鍵の画像を操作部４の操作により指定することにより音符を入力し、また、その音符に合わせて発声する歌詞を操作部４の操作により入力することができる。曲データ編集プログラム１１０は、このようにして、音符とその音符に合わせて発声する歌詞に関する情報をユーザから操作部４を介して受け取り、音符毎に音符データと歌詞データとを曲データ１２０としてＨＤＤ６内に格納する。なお、曲データ１２０は、このように曲データ編集プログラム１１０により生成される他、例えばインターネット内のサイトからインタフェース群５の中の適当なものを介してダウンロードされ、ＨＤＤ６に格納される。

歌唱合成プログラム２００は、歌唱音を合成する処理をＣＰＵ１に実行させるプログラムである。好ましい態様において、歌唱合成プログラム２００および曲データ編集プログラム１１０は、例えばインターネット内のサイトからインタフェース群５の中の適当なものを介してダウンロードされ、ＨＤＤ６にインストールされる。また、他の態様において、歌唱合成プログラム２００等は、ＣＤ−ＲＯＭ、ＭＤなどのコンピュータ読み取り可能な記憶媒体に記憶された状態で取引される。この態様では、インタフェース群５の中の適当なものを介して記憶媒体から歌唱合成プログラム２００等が読み出され、ＨＤＤ６にインストールされる。

音声素片データベース１３０は、ＣＶ（子音から母音への遷移部）、ＶＶ（母音から他の母音への遷移部）、ＶＣ（母音から子音への遷移部）などの音素から音素への遷移部分（Ａｒｔｉｃｕｌａｔｉｏｎ）や母音Ｖの伸ばし音（Ｓｔａｔｉｏｎａｒｙ）など、歌声の素材となる各種の音声素片を示す音声素片データの集合体である。これらの音声素片データは、実際の人間が発した音声波形から抽出された音声素片に基づいて作成されたデータである。音声素片データベース１３０では、男性歌手、女性歌手、澄んだ声の歌手、ハスキーな声の歌手など、声質の異なった歌手毎に、各歌手の歌唱音声波形から得られた音声素片データのグループが用意されている。歌唱合成プログラム２００による歌唱合成の際、ユーザは、操作部４の操作により、以上のような各種の音声素片データのグループの中から歌唱合成に使用する音声素片データのグループを選択することができる。

各音声素片データは、音声素片の波形を示す波形データを含んでいる。この波形データは、音声素片の波形を所定のサンプリングレートでサンプリングしたサンプル列であってもよいし、音声素片の波形のサンプル列を一定時間長のフレームに分割し、ＦＦＴ（高速フーリエ変換）を行うことにより得られたフレーム毎のスペクトル（振幅スペクトルおよび位相スペクトル）であってもよい。また、各音声素片データは、音声素片を構成する音素の種類と各音素の開始時刻を示すセグメンテーションデータを含む。

本実施形態では、音声素片データに含まれる波形データにピッチ変換を施して利用することにより、任意のメロディに対応した歌唱音声を合成する。このピッチ変換を行うために、その対象である波形データのピッチに関する情報が必要である。そこで、ある好ましい態様では、歌唱合成の際のピッチ変換の便宜のため、音声素片の波形のピッチがフレーム毎に算出され、各フレームにおけるピッチを示す素片ピッチデータが音声素片データの一部として音声素片データベース１３０に格納される。

本実施形態の特徴は、歌唱合成プログラム２００にある。図２はこの歌唱合成プログラム２００の詳細な内容を示すブロック図である。図１および図２に示すように、本実施形態による歌唱合成プログラム２００は、各々所定の機能を実現するプログラムである歌唱合成スコア生成部２１０と、歌唱合成部２２０と、歌唱性能データ管理部２３０とにより構成されている。なお、本実施形態では、ＣＰＵ１が歌唱合成スコア生成部２１０等に相当する各プログラムを実行するが、これらの各プログラムを複数のプロセッサが分担して並列実行するように構成してもよい。また、歌唱合成スコア生成部２１０等の各プログラムの一部を電子回路により構成してもよい。

本実施形態による歌唱合成プログラム２００は、歌唱合成の対象である曲データを例えば操作部４の操作等に応じてＨＤＤ６から読み出し、ＲＡＭ７内に設定された曲データ記憶エリアに格納する。歌唱合成スコア生成部２１０は、この曲データ記憶エリアに記憶された曲データから歌唱合成スコア３００を生成し、ＲＡＭ７に設定された歌唱合成スコア記憶エリアに格納するプログラムである。

この歌唱合成スコア３００は、合成歌唱音の発生態様を指定する情報を曲の進行に合わせて時系列化したものであり、音韻データトラック３１０と、ピッチデータトラック３２０と、ノイズデータトラック３３０と、音量データトラック３４０とを有する。これらの各データトラックは、時間軸を共通にするものである。音韻データトラック３１０は、１曲分の歌唱音声を合成するのに使用する複数の音声素片と、それらの各音声素片の時間軸上における位置（具体的には音声素片の開始タイミングおよび継続時間）を示すデータトラックである。ピッチデータトラック３２０は、合成すべき歌唱音声のピッチを示すデータトラックである。ノイズデータトラック３３０は、合成歌唱音に付加するノイズの種類や量を指定する情報を曲の進行に合わせて時系列化したデータトラックである。音量データトラック３４０は、合成歌唱音の音量を指定する情報を曲の進行に合わせて時系列化したデータトラックである。以上が歌唱合成スコア３００の概要である。歌唱合成部２２０は、この歌唱合成スコア３００に基づいて合成歌唱音の波形を示す時系列データを生成する。なお、歌唱合成部２２０の構成については後述する。

さて、従来の歌唱合成プログラムの歌唱合成スコア生成部では、操作部４の操作等により指定された曲データ１２０に基づいて歌唱合成スコア３００を生成するようにしていた。例えば図３は歌詞データ「さいた」を音符Ｎ１、Ｎ２、Ｎ３に合わせて歌唱することを曲データが指示している場合の音韻データトラック３１０の生成手順を示している。

この場合、歌唱合成スコア生成部は、まず、歌詞データ「さいた」が示す音素列［ｓａ−ｉ−ｔａ］を＃ｓ、ｓ−ａ、ａ、ａ−ｉ、ｉ、ｉ−ｔ、ｔ−ａ、ａ、ａ＃という音声素片の列に変換する。ここで、＃ｓは無音から子音ｓへの遷移部分の音声素片、ｓ−ａは子音ｓから母音ａへの遷移部分の音声素片、ａは母音ａの伸ばし音の音声素片、ａ−ｉは母音ａから母音ｉへの遷移部分の音声素片、ｉは母音ｉの伸ばし音の音声素片、ｉ−ｔは母音ｉから子音ｔへの遷移部分の音声素片、ｔ−ａは子音ｔから母音ａへの遷移部分の音声素片、ａ＃は母音ａから無音への遷移部分の音声素片である。

次に歌唱合成スコア生成部は、歌詞データから得られた各音声素片の発生時刻を決定し、それらの時刻において各音声素片を発生させることを示す音韻データトラック３１０を生成する。その際、歌唱合成スコア生成部は、音符データが示すノートオンタイミングにおいて音声素片における母音部分が開始されるように各音声素片の発生時刻を決定し、各音声素片の音韻データトラック３１０へのマッピングを行う。図３に示す例では、音符データが示す音符Ｎ１のノートオンタイミングと音声素片ｓ−ａの発音タイミングが一致し、音符Ｎ２のノートオンタイミングと音声素片ａ−ｉの発音タイミングが一致し、音符Ｎ３のノートオンタイミングと音声素片ｔ−ａの発音タイミングが一致するように、各音声素片の音韻データトラック３１０へのマッピングが行われている。

次に歌唱合成スコア生成部は、音符データが示すノートオンタイミングにおいて、先行する音符データが示すピッチから当該音符データが示すピッチへの遷移が発生するようにピッチデータトラック３２０へのピッチのマッピングを行う。

このように従来の歌唱合成プログラムの歌唱合成スコア生成部では、曲データのみに従って、歌唱合成スコアが生成された。

これに対し、本実施形態による歌唱合成装置では、ＨＤＤ６内に歌唱性能データの集まりである歌唱性能データベース２５０が記憶されている。この歌唱性能データは、曲データに従った標準的な歌唱音の発生態様に対する合成歌唱音の発生態様の変化を指示するデータである。歌唱合成スコア生成部２１０では、曲データ１２０に加えて、この歌唱性能データを参照して、歌唱合成スコア３００を生成する。本実施形態による歌唱合成装置は、このように歌唱合成スコア３００の生成に歌唱性能データを関与させることにより、歌唱合成スコア３００に基づいて実行される歌唱（より正確には歌唱合成スコア３００に基づいて生成される合成歌唱音の時系列データを音として出力することにより行われる歌唱）を曲データ通りの歌唱から変化させるものである。

ＨＤＤ６には、この歌唱性能データを記憶するためのエリアとして、ライブラリエリアと、アクティブエリアと、お気に入りエリアが設けられている。ここで、ライブラリエリアには、歌唱性能データベース２５０の全ての歌唱性能データが記憶される。アクティブエリアは、歌唱性能データベース２５０内の各歌唱性能データのうち歌唱合成スコア３００の生成のために参照される歌唱性能データを記憶する歌唱性能データ記憶手段としての役割を果たすエリアである。お気に入りエリアは、ユーザの好みの歌唱性能データを記憶するためのエリアである。

本実施形態による歌唱合成スコア生成部２１０は、歌唱合成の対象である曲データから歌唱合成スコアを生成する過程において、ＨＤＤ６のアクティブエリア内の歌唱性能データを参照し、歌唱合成スコアにおける合成歌唱音の発生態様を歌唱性能データに従って曲データ通りの標準的な歌唱音の発生態様から変化させる。歌唱合成スコア生成部２１０は、この歌唱性能データに対応した処理を行うための手段として、変調処理部２１１を有している。

図４は歌唱性能データの構成を示す図である。この図４に示すように歌唱性能データは、タイミング部と、ピッチ部と、素片部と、ノイズ部と、音量部とを有する。ここで、タイミング部は、歌唱合成のタイミング制御特性、より具体的には音符データにより指示される発音タイミング（以下、標準発音タイミングという）に対し、合成歌唱音の発音タイミングをどのようにずらすかを指定するデータである。このタイミング部は、類型コードとパラメータにより構成されている。類型コードは、合成歌唱音の発音タイミングの標準発音タイミングからのずらし方の類型を指定するコードである。また、パラメータは、発音タイミングのずらしの程度を指定する情報である。

図５（ａ）および（ｂ）は、歌唱性能データのタイミング部により指定される合成歌唱音の発音タイミングのずらし方の例を各々示している。これらの図において、横軸は標準発音タイミングｔ、縦軸は合成歌唱音の発音タイミングｔ’である。そして、破線のグラフは、音符データ通りの標準発音タイミングｔにおいて合成歌唱音を生成した場合の合成歌唱音の発音タイミングｔ’を示しており、実線のグラフは、歌唱性能データのタイミング部の指示に従って、標準発音タイミングｔからずらした合成歌唱音の発音タイミングｔ’を示している。

図５（ａ）に示す例では、合成歌唱音の発音タイミングｔ’が標準発音タイミングｔよりも進み気味になっており、その進み量が標準発音タイミングｔに応じて周期的に増減を繰り返している。図５（ｂ）に示す例では、合成歌唱音の発音タイミングｔ’が標準発音タイミングｔよりも遅れ気味になっており、その遅れ量が標準発音タイミングｔに応じて周期的に増減を繰り返している。この他にも、歌唱性能データのタイミング部により指定される合成歌唱音の発生タイミングのずらし方には様々な類型がある。

本実施形態では、このような合成歌唱音の発音タイミングのずらし方の各種の類型を想定し、それらの類型に類型コードを各々割り当てている。そして、本実施形態における変調処理部２１１は、合成歌唱音の発生タイミングをずらす各種の類型を実現するために、各類型毎に、次式（１）に示すように標準発音タイミングｔを合成歌唱音の発音タイミングｔ’に変換する関数を定義し、類型コードに対応付けて記憶している。
ｔ’＝ｆ（ｔ、α、Ｎ） ……（１）
上記式（１）において、αは歌唱性能データのタイミング部のパラメータであり、Ｎは擬似乱数である。発音タイミングの標準発音タイミングからのずらしの程度は、このパラメータαと擬似乱数Ｎに依存する。

変調処理部２１１は、歌唱性能データのタイミング部の類型コードに対応付けられた関数ｆを使用し、音符データが示す標準発音タイミングｔから合成歌唱音の発音タイミングｔ’を演算する。その際、歌唱性能データのタイミング部のパラメータαと擬似乱数Ｎが関数ｆに代入される。ここで、擬似乱数Ｎは、１個の合成歌唱音の発音タイミングｔ’が演算される毎に新たなものが発生される。その結果、図５（ａ）および（ｂ）に示すように、合成歌唱音の発生音タイミングｔ’の標準発音タイミングｔからのずれの程度は、主にパラメータαに依存して変化し、かつ、擬似乱数Ｎにより微妙なゆらぎが与えられる。

変調処理部２１１は、音符データおよび歌詞データに従って、音韻データトラック３１０およびピッチデータトラック３２０を生成するとき、歌唱性能データのタイミング部の内容に従って、音韻データトラック３１０における各音声素片の発生タイミング、ピッチデータトラック３２０におけるピッチの切り換えタイミングを制御する。

図４に示す歌唱性能データのピッチ部は、歌唱合成のピッチ制御特性、より具体的には音符データにより指示されるピッチ（以下、標準ピッチという）に対し、合成歌唱音のピッチをどのようにずらすかを指定するデータである。タイミング部と同様、このピッチ部も類型コードとパラメータとにより構成されている。

図６（ａ）および（ｂ）は、歌唱性能データのピッチ部により指定される合成歌唱音のピッチのずらし方の例を各々示している。これらの図において、横軸は時間、縦軸はピッチである。また、破線は音符データが示す標準ピッチの時間変化を示しており、実線は合成歌唱音のピッチの時間変化を示している。

図６（ａ）に示す例では、合成歌唱音のピッチは、標準ピッチよりもあるオフセットだけ低いピッチとなる。図６（ｂ）に示す例では、標準ピッチが上昇するのに応じて、合成歌唱音のピッチが上昇するが、合成歌唱音のピッチが標準ピッチを行過ぎてしまい、大きなピッチの上下動を繰り返している。

この他にも、歌唱性能データのピッチ部により指定される合成歌唱音のピッチのずらし方には様々な類型がある。例えば標準ピッチが大きく上下に波打つ場合において、合成歌唱音のピッチは、当初、標準ピッチに追従しているが、標準ピッチが最高のピッチになったときに標準ピッチから外れるといった類型もある。また、一定限度を越える標準ピッチの変化があった場合に、合成歌唱音のピッチが標準ピッチから外れるという類型もある。

本実施形態では、このような合成歌唱音のピッチの標準ピッチからのずらし方の各種の類型を想定し、それらの類型に類型コードを各々割り当てている。そして、本実施形態における変調処理部２１１は、合成歌唱音のピッチをずらす各種の類型を実現するために、各類型毎に、標準ピッチの時間変化を合成歌唱音のピッチの時間変化に変換するピッチ変換ルールを記憶している。そして、変調処理部２１１は、歌唱性能データのピッチ部の類型コードに対応付けられたピッチ変換ルールを使用し、標準ピッチから合成歌唱音のピッチを演算し、このピッチ変換ルールに従って演算されたピッチをピッチデータトラック３２０にマッピングする。

図４に示す歌唱性能データの素片部は、例えば［ｓａ］を［ｓｈａ］と発音し、［ｔｕ］を［ｔｙｕ］と発音し、［ｎａ］を［ｎｙａ］と発音するという具合に、滑舌の悪い合成歌唱音を生成するためのデータであり、類型コードとパラメータにより構成されている。ここで、類型コードは、滑舌の悪い発音の類型を指定し、パラメータはその出現頻度を指定する。

本実施形態における変調処理部２１１は、滑舌の悪い歌唱の各種の類型を実現するために、各類型毎に、歌詞データにより定まる特定の種類の１または複数の音声素片を他の１または複数の音声素片に変換する素片変換ルールを記憶している。そして、変調処理部２１１は、歌唱性能データの素片部の類型コードに対応付けられた素片変換ルールを使用し、素片部のパラメータが示す頻度で歌詞データが示す音声素片を他の音声素片に変換し、この変換後の音声素片を音韻データトラック３１０にマッピングする。

図４に示す歌唱性能データのノイズ部は、合成歌唱音にノイズを混入する場合のノイズの混入の態様を指示するデータであり、類型コードとパラメータにより構成されている。本実施形態では、例えば合成歌唱音のピッチがある範囲内に入ったとき合成歌唱音に混入するノイズの量を増加させるといった各種のノイズ混入の類型を想定している。類型コードは、それらの類型を識別するためのコードである。パラメータは、混入するノイズの量、ノイズを混入する条件（この例ではノイズを混入する合成歌唱音のピッチ範囲）等を指定する情報である。変調処理部２１１は、このノイズ部に従い、合成歌唱音に混入するノイズの種類や音量を示す時系列のノイズ情報を生成し、ノイズデータトラック３３０にマッピングする。

図４に示す歌唱性能データの音量部は、合成歌唱音に音量の変化を与える場合のその変化の態様を指示するデータであり、類型コードとパラメータにより構成されている。本実施形態では、例えば合成歌唱音の持続時間がある限度を越えると合成歌唱音の音量に周期的変化が生じるといった各種の音量変化の類型を想定している。類型コードは、それらの類型を識別するためのコードである。また、パラメータは、類型コードが指定する類型での音量変化が発生する条件（この例で合成歌唱音の持続時間の長さ）や音量変化の程度を指定する情報である。

変調処理部２１１は、この音量部に従い、合成歌唱音の音量を示す時系列の音量制御情報を生成し、音量データトラック３４０にマッピングする。
以上が本実施形態における歌唱合成スコア生成部２１０の詳細である。

歌唱合成部２２０は、歌唱合成スコア生成部２１０が生成した歌唱合成スコア３００に従って合成歌唱音の波形を示すデジタル音声信号を生成するプログラムである。図２において、歌唱合成部２２０は、素片選択部２２１、ピッチ変換部２２２、素片連結部２２３、ノイズ生成部２２４、加算器２２５および音量制御部２２６を有する。

素片選択部２２１は、歌唱合成スコア３００の音韻データトラック３１０において指定されている音声素片の音声素片データを音声素片データベース１３０からロードし、その波形データをピッチ変換部２２２に引き渡すプログラムである。本実施形態における素片選択部２２１は、音声素片データに含まれる波形データをピッチ変換部２２２に引き渡す際に、その継続時間長を歌唱合成スコア３００において指定された音声素片の継続時間長に合わせる機能を備えている。

ピッチ変換部２２２は、ピッチデータトラック３２０において指定されたピッチに対応した波形データとなるように、素片選択部２２１から引き渡された音声素片の波形データのピッチ変換を行うプログラムである。

素片連結部２２３は、最終的に得られる歌唱音声が一連の音声素片が滑らかに繋がったものとなるように、ピッチ変換部２２２の処理を経た波形データの調整を行い、この調整後の波形データを時間領域のデジタル音声信号に変換するプログラムである。

ノイズ生成部２２４は、ノイズデータトラック３３０にマッピングされた時系列のノイズ情報に従って各種のノイズを発生する。加算器２２５は、このノイズ生成部２２４が発生するノイズを素片連結部２２３が出力するデジタル音声信号に加算して出力する。

音量制御部２２６は、音量データトラック３４０にマッピングされた時系列の音量制御情報に従って加算器２２５の出力信号の音量を制御し、合成歌唱音を示すデジタル音声信号として出力するプログラムである。
以上が歌唱合成部２２０の詳細である。

歌唱性能データ管理部２３０は、ＨＤＤ６のアクティブエリア内の歌唱性能データの書き換えの管理を行うプログラムである。本実施形態は、歌唱合成の実行が繰り返されるのに応じて、歌唱合成による歌唱を、音痴に聴こえる歌唱から楽譜通りの標準的な歌唱に向けて次第に上達させるようにしたものである。ライブラリエリア内の歌唱性能データベース２５０は、この上達の過程の各段階の歌唱を実現するための歌唱性能データを含んでいる。

さらに詳述すると、歌唱性能データベース２５０を構成する歌唱性能データは、幾つかのグループに分かれている。これらのグループの各々は、共通の癖または個性を持った歌唱を実現する歌唱性能データにより構成されている。本実施形態では、これらのグループの中の１つのグループがユーザによって選択され、そのグループ内の歌唱性能データが歌唱合成スコア３００の生成に利用される。

各グループでは、そのグループに属する複数の歌唱性能データが各々により得られる歌唱の優劣に応じて序列化されている。さらに詳述すると、グループ内において、最も下手な歌唱を実現する歌唱性能データには上達度１が対応付けられている。次に下手な歌唱を実現する歌唱性能データには上達度２が対応付けられている。以下、同様であり、歌唱性能データにより実現される歌唱が上手くなる程、その歌唱性能データに対応付けられる上達度は高くなる。

グループ内の各歌唱性能データに対応付ける上達度の決定方法については各種の態様が考えられるが、例えば各歌唱性能データを用いた歌唱合成を歌唱合成装置に実行させ、その際の歌唱を評価者に聴かせることにより決定してもよい。

歌唱性能データ管理部２３０は、後述するように歌唱合成（歌唱合成スコア３００が生成され、この歌唱合成スコア３００に基づいて合成歌唱音の時系列データが生成されることを意味する）の実行状況に応じて上達度の上昇／低下の制御を行うとともに、ユーザが選択したグループ内の現在の上達度に対応した歌唱性能データが歌唱合成スコアの生成に使用されるように、その現在の上達度に対応した歌唱性能データをライブラリエリアから読み出してアクティブエリアに書き込む。また、歌唱性能データ管理部２３０は、操作部４の操作に従って、アクティブエリアに記憶された歌唱性能データのお気に入りエリアへの保存、お気に入りエリアからアクティブエリアへの歌唱性能データの転送を行う機能を備えている。
以上が歌唱性能データ管理部２３０の詳細である。

図７は本実施形態において歌唱性能データ管理部２３０により行われる歌唱性能データの書き換えの管理の内容を例示する図である。ユーザが操作部４の操作により初期設定を要求すると、歌唱性能データ管理部２３０は、歌唱性能データベース２５０を構成する複数のグループの中の１つのグループをユーザに選択させる。その際、例えば各グループの歌唱性能データにより実現される歌唱の特徴（あるいは癖）やあるいはそのような癖を持った歌手の名前を表示部３にメニュー表示させ、その中の１つのメニューを選択させるようにしてもよい。この操作により１つのグループｋが選択されると、歌唱性能データ管理部２３０は、その選択されたグループｋに属する上達度１の歌唱性能データ（最も下手な歌唱を実現する歌唱性能データ）をライブラリエリアから読み出し、アクティブエリアに格納する。以後、歌唱合成の際には、このアクティブエリア内の上達度１の歌唱性能データを参照して歌唱合成スコアの生成が行われる。

一方、歌唱性能データ管理部２３０は、ＣＰＵ１による歌唱合成プログラム２００の実行状況を監視する。すなわち、操作部４の操作により歌唱合成の指示が与えられ、ＣＰＵ１が歌唱合成プログラム２００に従って１曲分の歌唱合成（合成歌唱音の生成）を実行する都度、歌唱性能データ管理部２３０は、その実行回数をカウントする。そして、歌唱性能データ管理部２３０は、所定時間以内に所定回数（曲数）以上の歌唱合成（合成歌唱音の生成）が実行されると、上達度を１から２に上げ、アクティブエリア内の歌唱性能データと同じグループ内の上達度２の歌唱性能データをライブラリエリアから読み出し、アクティブエリアに書き込む。以後、歌唱合成の際には、このアクティブエリア内の上達度２の歌唱性能データを参照して歌唱合成スコアの生成が行われる。

歌唱性能データ管理部２３０は、その後も歌唱合成（合成歌唱音の生成）の実行状況を監視する。そして、現在の上達度になった後、所定時間以内に所定回数以上の歌唱合成（合成歌唱音の生成）が行われた場合には、上達度を１だけ高め、この新たな上達度に対応した歌唱性能データをライブラリエリアから読み出してアクティブエリアに書き込む。一方、現在の上達度になった後、所定時間以上に亙って歌唱合成が１回も行われなかった場合には現在の上達度を１だけ下げ、この新たな上達度に対応した歌唱性能データをライブラリエリアから読み出してアクティブエリアに書き込む。

このようにして歌唱合成装置によって合成される歌唱は、例えば最初は下手であるが日を重ねるに連れて上手くなる、という具合に日々変化してゆく。従って、ユーザは、この歌唱の変化を楽しむことができる。

この歌唱が上達する過程において、ユーザの嗜好に合致した歌唱が歌唱合成装置によって実行される場合がある。そのような場合、ユーザは、操作部４を使用した所定の操作を行うことにより、その歌唱の元となったアクティブエリア内の歌唱性能データをＨＤＤ６内のお気に入りエリアに保存することができる。そして、ユーザは操作部４を使用した所定の操作を行うことにより、このお気に入りエリア内の歌唱性能データをアクティブエリアに転送し、この歌唱性能データを利用した歌唱合成を歌唱合成装置に実行させることが可能である。

本実施形態によれば、楽譜通りでない様々な癖を持った歌唱を実現することができ、かつ、歌唱合成の実行を繰り返すことにより、歌唱合成による歌唱と楽譜通りの標準的な歌唱との間の差異を変化させることができる。従って、従来の歌唱合成装置による歌唱では得られなかった楽しみを歌唱合成装置のユーザに与えることができる。

＜第２実施形態＞
図８は、この発明の第２実施形態である歌唱合成装置の歌唱性能データベースのデータ構造を示す図である。上記第１実施形態では、初期設定において歌唱性能データのグループを選択すると、以後、そのグループ内の各歌唱性能データが上達度に応じて選択され、歌唱合成スコアの生成に使用された。その際、ある歌唱性能データがアクティブエリア内に記憶されている状態において、その次にアクティブエリアに書き込まれる歌唱性能データは同一グループ内の上達度が１つ上または１つ下の歌唱性能データに固定されていた。しかし、例えば人が歌唱を行う場合に、どのような曲を歌唱したかによって異なった上達の過程を辿る場合がある。例えば、ある人がアップテンポな曲を集中的に歌唱した場合、その人はリズム感が養われて、アップテンポな曲の歌唱が上手になるが、比較的ゆっくりで微妙な音高の変化がある曲を集中的に歌唱した場合には、音感が養われ、微妙な音高の変化を持った曲の歌唱が上手になる、といった具合である。従って、歌唱合成が繰り返された結果、アクティブエリア内の歌唱性能データを他の歌唱性能データに書き換える場合に、どのような曲の歌唱合成を行ったかにより書き換え先の歌唱性能データを変化させた方が自然である。本実施形態では、この点に鑑み、歌唱合成の実行履歴により、歌唱性能データの変化の方向を制御する機能を歌唱合成装置に設けている。

本実施形態では、図８に示すように、歌唱性能データベース２５０における各歌唱性能データが１または複数の他の歌唱性能データに関連付けられている。図８において、２つの歌唱性能データ間の関連付けを示す矢印をアークと呼ぶ。１つのアークは、そのアークの始点である歌唱性能データがアクティブエリアに記憶されている状態において、そのアークの終点である歌唱性能データが次にアクティブエリアに書き込まれる可能性があることを示している。また、図８には１つの共通の歌唱性能データを始点とする複数のアークが示されている。これらの共通の始点を持った複数のアークは、始点である歌唱性能データがアクティブエリアに記憶されている状態において、それらのアークの終点である各歌唱性能データの各々が次にアクティブエリアに書き込まれる可能性を有していることを示している。本実施形態における歌唱性能データベース２５０は、各アーク毎に、アークの始点である歌唱性能データとアークの終点である歌唱性能データを特定するとともに、アクティブエリア内にアークの始点である歌唱性能データが記憶されている場合にアクティブエリア内の歌唱性能データをアークの終点である歌唱性能データに書き換えるための条件を定義したアーク活性化条件データを含んでいる。より具体的には、このアーク活性化条件データは、アクティブエリア内の歌唱性能データを変化させるための条件として、歌唱合成装置による歌唱合成の実行履歴が満たすべき条件を定義している。

本実施形態における歌唱性能データ管理部２３０は、歌唱性能データベース２５０内の１つの歌唱性能データがＨＤＤ６のアクティブエリアに記憶されている場合において、当該歌唱性能データに各々アーク活性化条件データにより関連付けられた１または複数の他の歌唱性能データを次にアクティブエリアに格納する候補とする。そして、歌唱性能データ管理部２３０は、歌唱合成の実行履歴を監視し、実行履歴がアクティブエリア内の歌唱性能データに各々関連付けられたアーク活性化条件データのうちいずれかを満たしたとき、その満たされたアーク活性化条件データにおいて終点となっている歌唱性能データをライブラリエリアから読み出してアクティブエリアに格納する。

図９は、本実施形態において実行される歌唱性能データの書き換え処理を例示する図である。図９に示す例では、歌唱性能データＰＦ１がアクティブエリアに格納されており、この歌唱性能データＰＦ１には歌唱性能データＰＦ２、ＰＦ３およびＰＦ４が各々アーク活性化条件データにより関連付けられている。

本実施形態において、図９に示す歌唱性能データＰＦ１が歌唱性能データＰＦ２、ＰＦ３またはＰＦ４のいずれに書き換えられるかは、各種の曲の歌唱合成を繰り返すことにより、歌唱に関する各種の練習項目について各々どの程度の練習を積んだかにより左右される。以下、便宜上、このような練習の積み重ねの程度を表す量を総合練習量という。

この総合練習量は、次のようにして演算される。まず、本実施形態において、歌唱合成の対象となる各曲には、各種の練習項目に対応した練習量が対応付けられている。図９に示す例では、各曲に第１〜第３の練習量が対応付けられている。この第１〜第３の練習量は、例えばリズム感を向上させる練習量、音感を向上させる練習量、音量制御等の能力を向上させる練習量である。ここで、第１〜第３の練習量は、各曲データに対応付けてＨＤＤ６内に格納するようにしてもよいし、歌唱合成の都度、その対象である曲データを解析することにより算出するようにしてもよい。

歌唱性能データ管理部２３０は、歌唱合成装置が１曲の歌唱合成を実行する都度、その曲に関する第１〜第３の練習量を図示しないバッファに蓄積し、その際に現在時刻よりも所定期間以上前にバッファ内に蓄積された第１〜第３の練習量を破棄する。そして、歌唱性能データ管理部２３０は、バッファに蓄積されている第１〜第３の練習量に基づいて第１〜第３の総合練習量を算出する。

この総合練習量の算出方法には各種の態様が考えられるが、例えばバッファ内の１または複数の第１の練習量の平均値を第１の総合練習量とし、第２の練習量の平均値を第２の総合練習量とし、第３の練習量の平均値を第３の総合練習量としてもよい。

あるいは例えばバッファ内の１または複数の第１の練習量の各々に対し、現在時刻と各練習量の発生時刻との差分に応じて決まるフィルタ係数を乗算して加算するＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ；有限インパルス応答）フィルタ演算（あるいは畳み込み演算）により第１の総合練習量を求めてもよい。第２および第３の練習量についても同様である。

図９において、歌唱性能データＰＦ１を歌唱性能データＰＦ２、ＰＦ３およびＰＦ４に各々関連付けるアーク活性化条件データは、第１〜第３の総合練習量を大小判定するための第１〜第３の閾値により構成されている。図９に示す例では、第１〜第３の総合練習量「８」、「５」、「５」が歌唱性能データＰＦ１およびＰＦ２間のアークに対応したアーク活性化条件データの第１〜第３の閾値「７」、「２」、「４」を各々越えている。従って、この例では歌唱性能データＰＦ１およびＰＦ２間のアークに対応したアーク活性化条件データが満たされ、歌唱性能データＰＦ２がアクティブエリアに格納される。
以上が本実施形態の詳細である。

本実施形態によれば、上記第１実施形態と同様な効果が得られる。また、本実施形態によれば、歌唱合成の実行履歴により、歌唱性能データの変化の方向が制御されるので、歌唱合成装置の歌唱合成の性能を自由に制御する楽しみをユーザに提供することができる。

＜他の実施形態＞
以上、この発明の第１および第２実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。

（１）上記第１実施形態では、初期設定においてユーザに歌唱性能データの１つのグループを選択させ、以後、そのグループ内においてアクティブエリア内の歌唱性能データの書き換えを行った。しかし、そのような入れ替えを行う代わりに、初期設定において１つの歌唱性能データをユーザに選択させ、その歌唱性能データをアクティブエリアに格納し、以後は、同歌唱性能データのタイミング部、ピッチ部等の各部の類型コードは変化させず、発音タイミングやピッチ等のずらしの程度を示すパラメータを上達度に応じて増減するようにしてもよい。また、そのようにして得た歌唱性能データを上達度に関連付けてライブラリエリアに格納してもよい。

（２）上記第１実施形態において、所定時間内の歌唱合成の回数以外の要素を歌唱の上達度の増減に関与させてもよい。例えば歌唱合成装置にゲーム機能を追加し、ユーザが獲得したゲームの得点に応じて歌唱の上達度を増減するようにしてもよい。あるいは例えば歩数計を歌唱合成装置に接続して、ユーザが歩いた日々の歩数を示すデータを歩数計から歌唱合成装置に供給するように構成し、歌唱合成装置では例えば現在までの所定期間内の歩数に基づいて歌唱の上達度の増減を行うようにしてもよい。

（３）上記第２実施形態において、バッファに蓄積された第１〜第３の練習量から第１〜第３の総合練習量を演算するためにＦＩＲフィルタ演算を実行する場合、このＦＩＲフィルタ演算に用いるフィルタ係数列をユーザが操作部４の操作により自由に指定することができるようにしてもよい。

その態様として例えば次のような態様が考えられる。第１の態様では、本実施形態による歌唱合成装置の動作を開始させる初期設定時に、横軸を時間、縦軸をフィルタ係数値とする２次元平面にフィルタ係数の時間変化を示す曲線をポインティングデバイス等により描画させ、この曲線をサンプリングすることによりＦＩＲフィルタ演算に用いるフィルタ係数列を生成する。この操作を繰り返すことにより、第１の練習量の列から第１の総合練習量を算出するのに使用するフィルタ係数列、第２の練習量の列から第２の総合練習量を算出するのに使用するフィルタ係数列、第３の練習量の列から第３の総合練習量を算出するのに使用するフィルタ係数列を各々生成するのである。そして、このようにして生成された各フィルタ係数列をＨＤＤ６内に格納しておき、以後、これらの各フィルタ係数列を利用して第１〜第３の総合練習量を算出するのである。

第２の態様では、第１〜第３の総合練習量を算出するための各フィルタ係数列の組を複数組生成してＨＤＤ６内に格納しておき、初期設定時にいずれかの組を選択させる。その際に横軸を時間、縦軸をフィルタ係数値とする２次元座標系にフィルタ係数列を示す曲線を描いた画面をメニューとして表示部３に表示し、ユーザに選択させるようにしてもよい。

あるいは、例えば上述した第１の練習量から第１の総合練習量を算出するためのフィルタ係数列であって、大きなフィルタ係数値が現時点に近い時間帯に密集しているフィルタ係数列（例えばフィルタ係数列全体のエネルギーのうちの殆どのエネルギーが現時点に近い時間帯に集中しているフィルタ係数列）については、「リズム感に富んだ曲が短期間のうちに上手になります」といったフィルタ係数列の効果に関する案内をメニューと一緒に表示させてもよい。このようなフィルタ係数列が第１の練習量から第１の総合練習量を演算するＦＩＲフィルタ演算に使用された場合、短期間のうちに第１の練習量の高い曲の歌唱合成を繰り返すと、第１の総合練習量が急激に高くなるからである。

これらの態様によれば、例えばリズム感は短時間のうちに上達するが音感はなかなか上達しない、あるいは逆に音感は短時間のうちに上達するがリズム感はなかなか上達しないといった各種の個性を歌唱合成装置に与えることができる。

なお、歌唱合成装置に与える個性をユーザに選ばせるのでなく、ユーザの意思とは無関係に歌唱合成装置が決定するようにしてもよい。例えば歌唱合成装置が「歌手の○○さんとＸＸさんではどちらが好きですか」といった幾つかの質問を表示部３に表示し、それに対する答えを操作部４を介して受け取り、この答えに応じて、第１〜第３の練習量から第１〜第３の総合練習量を算出するための各フィルタ係数列を複数組のフィルタ係数列の中から選択するようにしてもよい。あるいはユーザにゲームを行わせ、ゲームの得点に応じてフィルタ係数列を選択するようにしてもよい。

（４）上記第２実施形態において、複数の仮想的な歌手を想定し、歌手毎にアクティブエリアと、総合練習量を記憶するエリアと、歌唱履歴を記憶するエリアとを設け、歌手を指定して歌唱合成を行わせ、その歌唱履歴に応じて当該歌手に対応したアクティブエリア内の歌唱性能データを書き換えるようにしてもよい。また、歌手毎に、上記（３）の態様のように歌唱履歴における各曲の練習量から総合練習量を算出するためのフィルタ係数列を初期設定するようにしてもよい。この態様によれば、様々な個性を持った歌手の歌唱を上達させる楽しみをユーザに与えることができる。

（５）上記各実施形態では、曲データから歌唱合成スコアを生成する処理の中で、歌唱性能データに従って、歌唱合成スコアにおける合成歌唱音の発生態様を曲データに従った標準的な歌唱音の発生態様から変化させた。しかし、この歌唱合成スコアを生成する処理以外の処理において、合成歌唱音の発生態様を曲データに従った標準的な歌唱音の発生態様から変化させる操作を行ってもよい。例えば曲データ中の音符データや歌詞データを歌唱性能データに従って変化させる態様が考えられる。

１……ＣＰＵ、２……ＲＯＭ、３……表示部、４……操作部、５……インタフェース群、６……ＨＤＤ、７……ＲＡＭ、８……サウンドシステム、１１０……曲データ編集プログラム、１２０……曲データ、１３０……音声素片データベース、２００……歌唱合成プログラム、２１０……歌唱合成スコア生成部、２２０……歌唱合成部、２３０……歌唱性能データ管理部、２１１……変調処理部、３００……歌唱合成スコア、３１０……音韻データトラック、３２０……ピッチデータトラック、３３０……ノイズデータトラック、３４０……音量データトラック、２２１……素片選択部、２２２……ピッチ変換部、２２３……素片連結部、２２４……ノイズ生成部、２２５……加算器、２２６……音量制御部。

Claims (6)

1. 曲データと、曲データに従った標準的な歌唱音の発生態様に対する合成歌唱音の発生態様の変化を指示する歌唱性能データとに基づいて、合成歌唱音の時系列データを生成する歌唱合成手段であって、前記曲データに従った標準的な歌唱音の発生態様から合成歌唱音の発生態様を前記歌唱性能データに従って変化させる変調処理手段を含む歌唱合成手段を具備することを特徴とする歌唱合成装置。
2. 前記歌唱性能データを記憶する歌唱性能データ記憶手段と、
   前記歌唱性能データ記憶手段に記憶された歌唱性能データの書き換えの管理を行う歌唱性能データ管理手段とを具備し、
   前記変調処理手段は、前記曲データに従った標準的な歌唱音の発生態様から合成歌唱音の発生態様を前記歌唱性能データ記憶手段に記憶された歌唱性能データに従って変化させることを特徴とする請求項１に記載の歌唱合成装置。
3. 前記歌唱性能データ管理手段は、所定のルールに従って歌唱合成の上達度を更新する処理を繰り返し、前記上達度の変化に応じて前記歌唱性能データ記憶手段に記憶された歌唱性能データを書き換えることを特徴とする請求項２に記載の歌唱合成装置。
4. 各種の歌唱性能データからなり、各歌唱性能データが上達度に応じて序列化された歌唱性能データベースを有し、
   前記歌唱性能データ管理手段は、前記上達度の更新に応じて前記歌唱性能データベース内の１つの歌唱性能データを読み出して前記歌唱性能データ記憶手段に格納することを特徴とする請求項３に記載の歌唱合成装置。
5. 前記歌唱性能データ管理手段は、歌唱合成の実行履歴を記憶し、前記歌唱合成の実行履歴に基づき、前記歌唱性能データ記憶手段に記憶された歌唱性能データを書き換えることを特徴とする請求項２に記載の歌唱合成装置。
6. コンピュータを、
   曲データと、曲データに従った標準的な歌唱音の発生態様に対する合成歌唱音の発生態様の変化を指示する歌唱性能データとに基づいて、合成歌唱音の時系列データを生成する歌唱合成手段であって、前記曲データに従った標準的な歌唱音の発生態様から合成歌唱音の発生態様を前記歌唱性能データに従って変化させる変調処理手段を含む歌唱合成手段として機能させることを特徴とするプログラム。

Images