JP2020181141A - 歌詞入力方法およびプログラム - Google Patents

Abstract

【課題】所望する音符または音符列に対して、イメージに合った歌詞を付与する。【解決手段】音節を規定する１以上の文字から成る文字情報、または特定文字から成る文字情報を、旋律を構成する１つ以上の音符について入力し、変換条件を取得し、文字情報として特定文字が入力された否かを判定し、文字情報として特定文字が入力されたと判定した場合、特定文字が入力された音符の各々について、入力された特定文字を、変換条件に従って、音節を規定する１以上の文字から成る他の文字情報へ変換する、歌詞入力方法を提供する。【選択図】図４

Description

本発明は、歌詞入力方法およびプログラムに関する。

従来、歌唱合成するための歌詞を入力する方法が知られている。例えば、特許文献１は、解析された音楽情報の歌詞情報に基づいて音符列に対して歌詞を付与し、歌詞情報が存在しない場合に任意の音符列に任意の歌詞を付与する。

特許４４８３１８８号公報

しかしながら、特許文献１では、歌詞情報が存在しない音符列に任意の歌詞が付与されるため、ユーザが意図する音符に歌詞が付与されるとは限らず、また、ユーザがイメージするような歌詞が付与されるとは限らない。すなわち、ユーザが所望する音符または音符列に対して、ユーザのイメージするような歌詞を適切に付与することができない、という問題があった。

本発明の一つの目的は、所望する音符または音符列に対して、イメージに合った歌詞を付与することができる歌詞入力方法およびプログラムを提供することである。

本発明の一形態によれば、音節を規定する１以上の文字から成る文字情報、または特定文字から成る文字情報を、旋律を構成する１つ以上の音符について入力し、変換条件を取得し、前記文字情報として前記特定文字が入力された否かを判定し、前記文字情報として前記特定文字が入力されたと判定した場合、前記特定文字が入力された音符の各々について、入力された前記特定文字を、前記変換条件に従って、音節を規定する１以上の文字から成る他の文字情報へ変換する、歌詞入力方法が提供される。

本発明の一形態によれば、所望する音符または音符列に対して、イメージに合った歌詞を付与することができる。

歌詞入力装置のブロック図である。 歌詞編集画面において、入力文字が変換される様子を例示する図である。 歌詞入力装置の機能ブロック図である。 歌詞入力支援処理のフローチャートである。 歌詞編集画面において、入力文字が変換される様子を例示する図である。 歌詞入力支援処理のフローチャートの一部である。 歌詞編集画面において、入力文字が変換される前段階の様子を例示する図である。 歌詞入力支援処理のフローチャートの一部である。 歌詞編集画面において文字を入力する際の変形例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る歌詞入力方法が適用される歌詞入力装置のブロック図である。この歌詞入力装置１００は、アプリケーションプログラムを実行可能なプロセッサを有する装置であり、例えば、パーソナルコンピュータや情報端末装置が想定される。歌唱合成するための歌詞の入力を支援するアプリケーションプログラム（以下、歌詞入力支援アプリと記す）が、歌詞入力装置にインストールされることで、本発明が実現される。なお、歌詞入力支援アプリが予めインストールされた装置であっても、本発明を実現可能である。

歌詞入力装置１００は、バス２３と、ＣＰＵ（Central Processing Unit）１０と、タイマ１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、記憶部１４と、通信Ｉ／Ｆ（Interface）２２と、を備える。また、歌詞入力装置１００は、操作子１７と、表示部１８と、音源１９と、効果回路２０と、サウンドシステム２１と、を備える。

バス２３は歌詞入力装置１００における各部の間のデータ転送を行う。ＣＰＵ１０は、歌詞入力装置１００全体の制御を行う中央処理装置である。タイマ１１は、時間を計測するモジュールである。ＲＯＭ１２は制御プログラムや各種のデータなどを格納する不揮発性のメモリである。ＲＡＭ１３はＣＰＵ１０のワーク領域及び各種のバッファなどとして使用される揮発性のメモリである。表示部１８は、液晶ディスプレイパネル、有機ＥＬ（Electro-Luminescence）パネルなどの表示モジュールである。表示部１８は、歌詞入力装置１００の動作状態、各種設定画面、ユーザに対するメッセージなどを表示する。

操作子１７は、各種設定を行うための操作モジュールである。操作子１７は、キーボードやマウスを含んでもよい。外部記憶装置３は、例えば、歌詞入力装置１００に接続可能である。記憶部１４は、例えば、ハードディスクや不揮発メモリである。通信Ｉ／Ｆ２２は、外部機器と通信する通信モジュールである。通信Ｉ／Ｆ２２は、ＭＩＤＩ（musical instrument digital interface）インターフェイスや、ＵＳＢ（Universal Serial Bus）等を含んでもよい。歌詞入力支援アプリは、例えば、通信Ｉ／Ｆ２２を介して取得されるか、または外部記憶装置３から取得され、記憶部１４に記憶される。あるいは、歌詞入力支援アプリは、予めＲＯＭ１２に格納されてもよい。なお、歌詞入力支援アプリの取得経路や取得方法は問わない。

記憶部１４はさらに、歌唱用データを格納する。歌唱用データには歌詞テキストデータ、音韻情報データベースなどが含まれる。歌詞テキストデータは、歌詞を記述するデータである。歌詞テキストデータには、曲ごとの歌詞が音節単位で区切られて記述されている。すなわち、歌詞テキストデータは歌詞を音節に区切った文字情報を有し、この文字情報は音節に対応する表示用の情報でもある。ここで音節とは、一まとまりの音として意識され発音される単位である。音韻情報データベースは、音声素片データを格納するデータベースである。音声素片データは音声の波形を示すデータであり、例えば、音声素片のサンプル列のスペクトルデータを波形データとして含む。また、音声素片データには、音声素片の波形のピッチを示す素片ピッチデータが含まれる。歌詞テキストデータ、音声素片データは、それぞれ、データベースにより管理されてもよい。

歌唱用データは、歌詞入力支援を経て新規に作成されるか、あるいは、未完成のデータが編集されることで作成される。歌詞入力および入力支援は、歌唱用データにおける文字情報の編集に該当する。

音源１９は、演奏データ等を音信号に変換する。歌唱音を発音する場合、音源１９は、記憶部１４から、対応する音声素片データを読み出して歌唱音データを生成する。効果回路２０は、音源１９が生成した歌唱音データに対して、指定された音響効果を適用する。サウンドシステム２１は、効果回路２０による処理後の歌唱音データを、デジタル／アナログ変換器によりアナログ信号に変換する。そして、サウンドシステム２１は、アナログ信号に変換された歌唱音を増幅してスピーカなどから出力する。

なお、図１に示したハードウェアの少なくとも一部は、歌詞入力装置１００に内蔵されることは必須でなく、ＵＳＢ等のインターフェイスを介して接続された外部装置により実現されてもよい。また、操作子１７等は画面上に表示され、タッチ操作される仮想の操作子であってもよい。

図２は、歌詞編集画面において、入力文字が変換される様子を例示する図である。まず、図２で、歌詞編集の基本動作を説明する。歌詞編集画面は、歌唱合成するための歌詞を入力すると共に入力を支援するための、ピアノロール形式のユーザインタフェース画面である。歌詞編集画面は、歌詞入力支援アプリが実行されると、表示部１８に表示される。特定文字である「？」は、特定文字でない他の文字情報に変換されるが、この処理については後述する。図２において、上側の図が文字情報の変換前、下側の図が文字情報の変換後の入力状態を示している。ここでは、まず、基本的な歌詞の入力態様を説明する。図２において、縦軸が音程軸（ピッチ軸）、横軸が時間軸を示す。

ＣＰＵ１０は、歌唱音声の合成対象の曲（ないし旋律）を構成する音符、および各音符に合わせて発音する歌詞を表すデータの入力を促す。ユーザは、操作子１７を操作して、入力したいピッチと時間タイミングに矩形領域を作成することで、音符を入力することができる。また、ユーザは、入力した音符（図２で太線で囲まれた領域）に対して、対応付ける歌詞を表すデータを入力することができる。ユーザは、１つの矩形領域に対して、音節を規定する１以上の文字、または特定文字（「？」）を、文字情報として入力することができる。ＣＰＵ１０は、入力された各音符のピッチをピッチデータトラックにマッピングするとともに、対応する歌詞を構成する音素の列を音韻データトラックにマッピングすることで、歌唱合成用スコアを生成する。編集後の歌唱合成用スコアは歌唱用データとして記憶される。

歌唱音声を発音する際には、ＣＰＵ１０は、歌唱合成用シーケンスデータである歌唱合成用スコアに基づいて合成歌唱音声の波形データである歌唱音データを生成する。そしてＣＰＵ１０は、歌唱音データをサウンドシステム２１に与え、音として出力する。

なお、１つの矩形領域に入力される表音文字（日本語では平仮名、カタカナ等）に対し、音素記号が併記して表示される（図示せず）。例えば、「さ」の右に音素記号［s a］が併記され、さ［sa］のように表示される。英語においては、例えば、文字情報として「i」と入力すると、「i」の右に音素記号［a I］が併記され、i［aI］と表示される。なお、音素記号は、例えば、Ｘ-ＳＡＭＰＡ（Extended Speech Assessment Methods Phonetic Alphabet）に準拠した形式で表記される。

なお、文字情報は、各矩形領域に１単位ずつ入力可能であるが、一括入力も可能である。例えば、１つの矩形領域に複数の文字情報（例えば、「さくら」）を入力すると、当該矩形領域と後続の矩形領域を含めた複数分の矩形領域に、複数の文字情報が分けて配置される。例えば、連続した複数の矩形領域に、「さ」、「く」、「ら」が配置される。また、旋律を構成する各音符と文字とが対応付けられたボーカルフレーズ９０１（図９参照）を用いて、矩形領域の配置と文字情報の入力とを一括して行うことも可能である。ボーカルフレーズ９０１は、ボーカルフレーズ集３８（図２）に含まれる。

ユーザは、例えば、意外な歌詞フレーズを付けたい場合や、よい歌詞フレーズを思いつかない場合等に、文字情報として特定文字である「？」を入力する。「？」が入力された場合は、後述する変換処理により、変換条件に従って、「？」が他の文字情報に変換される。例えば、図２の例では、「？」が「ら」に変換されている。

図３は、歌詞入力装置１００の機能ブロック図である。歌詞入力装置１００は、主な機能ブロックとして、入力部３１、判定部３２、変換部３３および取得部３４を有する。これらの機能部は、歌詞入力支援アプリがインストールされることで機能する。入力部３１の機能は、主としてＣＰＵ１０、ＲＡＭ１３、ＲＯＭ１２、操作子１７、表示部１８、タイマ１１および記憶部１４の協働により実現される。判定部３２の機能は、主としてＣＰＵ１０、ＲＡＭ１３、ＲＯＭ１２の協働により実現される。変換部３３の機能は、主としてＣＰＵ１０、ＲＡＭ１３、ＲＯＭ１２の協働により実現される。取得部３４の機能は、主としてＣＰＵ１０、ＲＡＭ１３、ＲＯＭ１２の協働により実現される。取得部３４および変換部３３は、記憶部１４を参照する。

記憶部１４は、上記歌唱用データのほかに、文字群データベース集３６、付加条件集３７およびボーカルフレーズ集３８を記憶している。これらは、歌詞入力支援アプリと共に、あるいは別途、ダウンロード等によって取得され、記憶部１４に記憶される。文字群データベース集３６は、複数の文字群データベースから成る。文字群データベース同士は、構成する文字群の一部または全部が互いに相違している。個々の文字群データベースは、例えば、発声する人物の特性（キャラクタ）、言語等に応じて、構成する文字群が設定されている。。

付加条件集３７は、入力された特定文字「？」を他の文字に変換する際の変換条件の一部としての付加条件を複数記憶している。変換条件については後述する。ボーカルフレーズ集３８は、複数のボーカルフレーズから成る（図９に、１つのボーカルフレーズ９０１が例示されている）。ボーカルフレーズの各々は、旋律を構成する各音符と文字とが対応付けられたデータである。

入力部３１は、文字情報を各音符について入力する。取得部３４は、記憶部１４から変換条件を取得する。具体的には、取得部３４が、文字群データベース集３６のうち１つ以上、および／または、付加条件集３７のうち１つ以上を、変換に用いる条件として選択することが、変換条件を取得することに該当する。また、ボーカルフレーズ集３８を変換処理に適用するか否かを指定することは、変換条件の取得に該当する。なお、ボーカルフレーズ集３８を用いる必要がない場合、ボーカルフレーズ集３８を記憶しておくことは必須でない。なお、初期状態においては、文字群データベース集３６および付加条件集３７のうち、変換処理に適用されるものがデフォルトで設定されている。デフォルト設定された変換処理を読み出すこと、および、デフォルト設定されている変換処理から所望の変換処理へ切り替えることは、変換条件の取得に該当する。

判定部３２は、音符に対して（矩形領域に）文字情報として特定文字が入力された否かを判定する。変換部３３は、文字情報として特定文字が入力されたと判定した場合、特定文字が入力された音符の各々について、入力された特定文字を、取得した変換条件に従って、音節を規定する１以上の文字から成る他の文字情報へ変換する。

付加条件集３７が含む複数の付加条件について例示する。付加条件は、矛盾しない限り、２以上が組み合わせて適用されてもよい。まず、文字群データベース集３６のうち選択された文字群データベースから他の文字情報をランダムに抽出することは、付加条件に該当する。文字群データベースが選択された段階で、文字群の母集団が特徴を有している。すなわち、文字群データベース同士における文字群の母集団の相違から、それぞれに応じた特徴的な歌詞を作成可能である。例えば、選択された文字群データベースの文字群に拗音が多めであれば、かわいらしいキャラクタの言葉になり、濁音が多めであればロックに合ったキャラクタの言葉になる。また、文字群データベースが、マイナーな言語等、ある特定の言語の単語を構成する文字から成るものであれば、その言語の音感的な特徴を持った文字が抽出される。例えば、音感上、マイナーな言語に聞こえるが、必ずしも意味を有さないような歌詞を作成することができる。

選択された文字群データベースから他の文字情報を、所定の重み付けによって抽出することは、付加条件に該当する。例えば、編集中の歌詞の他の箇所に対して、母音を共通にする等によって、いわゆる「韻を踏む」ことを適用してもよい。また、今回の「？」の前後の１個または複数個分に、「？」が他の文字情報に変換された履歴があれば、それの履歴を考慮して、今回の「？」を変換してもよい。例えば、変換履歴と関連の深い文字、（単語として意味を成すような文字）を抽出してもよい。また、設定されたシンガーの特性に合った文字が抽出されやすくなるようにすることで、シンガーによる重み付けを適用してもよい。所定の重み付けは、これら例示したものに限定されない。

図４は、歌詞入力支援処理のフローチャートである。この処理は、例えば、ＣＰＵ１０が、記憶部１４またはＲＯＭ１２に記憶された歌詞入力支援アプリをＲＡＭ１３に展開して実行することで実現される。

まず、ステップＳ１０１では、ＣＰＵ１０は初期化を実行する。この初期化においては、ＣＰＵ１０は、各種変数を初期値にすると共に、変換条件を取得し、適用する変換条件を設定する。上述したように、変換条件は当初はデフォルトに設定されるが、ユーザ指示に応じて変更可能である。また、ユーザは、複数の連続音符への文字情報の一括入力や、ボーカルフレーズ集３８を用いた入力を行うか否かについても、変換条件の一部として設定できる。

ステップＳ１０２では、ＣＰＵ１０は、文字情報の入力対象となっている音符（矩形領域）に対して文字情報の入力操作がされるまで待機する。なお、文字情報の入力対象となる音符は、最後尾の音符に限定されず、途中の音符であっても、ユーザが指定すれば入力対象となる。そして、文字情報の入力操作がされると、ＣＰＵ１０は、ステップＳ１０３で、入力対象となっている音符に、入力操作に応じた文字情報を入力する。ステップＳ１０４では、ＣＰＵ１０は、今回入力した文字情報が、特定文字（本実施の形態では「？」）であるか否かを判別する。そして、今回入力した文字情報が特定文字でない場合は、ＣＰＵ１０は、処理をステップＳ１０６に進める。この場合、今回入力した文字情報は変換されず、入力した文字情報の表示も変化しない。

一方、今回入力した文字情報が特定文字である場合は、ＣＰＵ１０は、ステップＳ１０５で、変換処理を実行する。この変換処理においては、ＣＰＵ１０は、現在、設定されている変換条件を適用して、今回入力された特定文字を、他の文字情報に変換する。例えば、図２に例示するように、「？」が「ら」に変換される。画面表示においては、「？」が表示されている矩形領域において、「？」に代えて「ら」が表示される。その後、ＣＰＵ１０は、処理をステップＳ１０６に進める。

ステップＳ１０６では、ＣＰＵ１０は、その他の処理を実行する。その他の処理においては、例えば、ユーザ指示に応じて変換条件の変更が実行される。また、その他の処理においては、歌唱合成用スコアに関する、文字情報の入力以外の編集操作の受け付けが実行される。この編集操作は、例えば、音符長さの変更、音符の追加または消去、文字情報の追加または消去が含まれる。なお、その他の処理は、例えば、歌詞の「ら」を、音素記号の[4 a]に変換して、歌詞の横に表示するといった、変換・表示処理を含んでもよい。

次に、ステップＳ１０７では、ＣＰＵ１０は、編集終了の指示があったか否かを判別する。編集終了は、例えば、ユーザによる操作子１７の操作により発行される。そして、編集終了の指示がない場合は、ＣＰＵ１０は、処理をステップＳ１０２に戻す。一方、編集終了の指示があった場合は、ＣＰＵ１０は、編集中のデータを歌唱合成用スコアとして記憶部１４に記憶させてから、図４に示す歌詞入力支援処理を終了させる。

本実施の形態によれば、ＣＰＵ１０は、旋律を構成する１つ以上の音符について、特定文字が入力されたと判定した場合、入力された特定文字を、変換条件に従って、音節を規定する１以上の文字から成る他の文字情報へ変換する。従って、所望する音符または音符列に対して、イメージに合った歌詞を付与することができる。

また、変換条件は、文字群のデータベースから他の文字情報をランダムに抽出することを含むので、意外性のある歌詞を生成することができる。また、変換条件は、文字群の複数のデータベースのうち選択したデータベースから他の文字情報を抽出することを含む。あるいは、変換条件は、所定の重み付けによって他の文字情報を抽出することを含む。従って、ユーザの意図を反映した上で意外性のある歌詞を生成することができる。また、特定文字は「？」であるので、「？」が変換対象となる文字情報であることを視覚的にわかりやすくすることができる。

また、特定文字を他の文字情報へ変換する際、特定文字に代えて他の文字情報が表示されるので、変換結果が視覚的にわかりやすい。なお、文字情報の変換タイミングに関して、本実施の形態では、入力対象の音符に特定文字が入力される毎に、逐次、他の文字情報に変換された。しかし、一音符ずつ変換することは必須でない。例えば、歌詞の流し込み入力の際に、特定文字が同時に複数入力された場合、複数の特定文字を一括して他の文字情報に変換してもよい。

なお、文字群データベース集３６から、特定のキャラクタが頻繁に用いる単語に登場する文字を抽出する際に重み付けを設けてもよい。例えば、拗音あるいは濁音が多めに抽出されるようにするために、次のような手法が考えられる。

まず、「ぴゃ」、「ぴゅ」などの拗音文字、あるいは「だ」、「で」などの濁音文字の抽出頻度が、拗音文字や濁音文字でない文字と比べて高くなるように、付加条件集３７における付加条件を設定しておくという手法がある。この手法も、所定の重み付けの適用に該当する。

あるいは、文字群データベース集３６における、ある文字群データベースに、同一の拗音文字または同一の濁音文字を重複して複数登録しておくという手法がある。例えば、拗音文字や濁音文字でない文字（「あ」等）の登録数が１であるのに対し、ある拗音文字の登録数を２以上としてもよい。

（第２の実施の形態）
図５、図６を用いて、本発明の第２の実施の形態を説明する。第１の実施の形態では、入力対象の音符に特定文字が入力される毎に、特定文字は他の文字情報に逐次変換された。これに対し、本実施の形態では、指定された範囲に含まれる特定文字の各々が一括して他の文字情報に変換される。

図５は、歌詞編集画面において、入力文字が変換される様子を例示する図である。図６は、歌詞入力支援処理のフローチャートの一部である。他の一部のステップの図示は省略されている。図６において、ステップＳ１０１〜Ｓ１０３、Ｓ１０６、Ｓ１０７の処理は図４で説明したのと同じである。従って、図６では、図４と比較すると、ステップＳ１０３とステップＳ１０６との間に、ステップＳ１０４、Ｓ１０５に代えてステップＳ２０１〜Ｓ２０３を挿入した点が異なる。その他の基本的構成は第１の実施の形態と同様である。

ステップＳ２０１では、ＣＰＵ１０は、変換対象となる範囲を指定した変換指示があったか否かを判別する。ここで、変換対象となる範囲は、ユーザによる操作子１７の操作により指定される。例えば、ユーザは、図５の上側の図に示すように、「？」が３つ連続して入力されている範囲５０１を、マウス等によって選択することで、変換対象となる範囲を指定する。なお変換対象となる範囲における矩形領域の全てに「？」が入力されていることは必須でない。また、変換指示は、表示部１８に表示された変換実行ボタン（不図示）をユーザがマウス等で押下することで発行される。

ステップＳ２０１での判別の結果、ＣＰＵ１０は、変換対象となる範囲を指定した変換指示がない場合は処理をステップＳ１０６に進め、変換対象となる範囲を指定した変換指示があった場合は処理をステップＳ２０２に進める。ステップＳ２０２では、ＣＰＵ１０は、変換対象となる範囲内に、特定文字が入力された音符（矩形領域）があるか否かを判別する。そして、変換対象となる範囲内に、特定文字が入力された音符が１つもない場合は、ＣＰＵ１０は、処理をステップＳ１０６に進める。しかし、変換対象となる範囲内に、特定文字が入力された音符が存在する場合は、処理をステップＳ２０３に進める。

ステップＳ２０３では、ＣＰＵ１０は、変換処理を実行する。この変換処理においては、ＣＰＵ１０は、特定文字が入力された音符の各々について、現在、設定されている変換条件を適用して、特定文字の各々を他の文字情報に変換する。例えば、図５に例示するように、３つの「？」が「sep-」「tem-」「ber」へと変換される。その後、ＣＰＵ１０は、処理をステップＳ１０６に進める。

なお、指定された範囲の特定文字をまとめて変換するかどうかは、付加条件に含まれる。これら複数の特定文字をまとめて変換する態様は限定されない。しかし一例を挙げれば、特定文字の連続数に応じて他の文字情報をまとめて決定するのが望ましい。このようにすれば、文字数に適合した歌詞を生成することができるからである。「？」が３つ連続する場合、３音節の単語、例えば「さ」「く」「ら」や、「sep-」「tem-」「ber」が、他の文字情報として決定される。

なお、特定文字が複数連続する場合であっても、意味として２つ以上に分かれるように、他の文字情報を決定してもよい。例えば、「？」が５つ連続する場合、２音節の単語と３音節の単語との組み合わせが、他の文字情報として決定されてもよい。あるいは、１音節の単語と４音節の単語との組み合わせ、３音節の単語と２音節の単語との組み合わせが、他の文字情報として決定されてもよい。なお、複数の文字を音節単位で逆転させたものを採用する等のモードも、付加条件に含めてもよい。

本実施の形態によれば、所望する音符または音符列に対して、イメージに合った歌詞を付与することに関し、第１の実施の形態と同様の効果を奏することができる。また、特定文字が連続する場合に、特定文字の連続数に応じて、複数の特定文字が他の文字情報へまとめて変換されるので、文字数に適合した歌詞を生成することができる。

なお、文字数に適合した歌詞を適切に生成するために、文字群データベース集３６において、音節数と単語との対応がリスト化されていてもよい。例えば、１音節の単語として「free」、「rule」等が登録され、２音節の単語として「cur-tain」、「ea-sy」等が登録され、３音節の単語として「bi-cy-cle」、「sep-tem-ber」等が登録されていてもよい。

（第３の実施の形態）
図７、図８を用いて、本発明の第３の実施の形態を説明する。本実施の形態では、特定文字の変換前に候補が提示され、ユーザの許可を経て変換が実行される。

図７は、歌詞編集画面において、入力文字が変換される前段階の様子を例示する図である。図８は、歌詞入力支援処理のフローチャートの一部である。他の一部のステップの図示は省略されている。図８において、ステップＳ１０１〜Ｓ１０３、Ｓ２０１〜Ｓ２０３、Ｓ１０５〜Ｓ１０７の処理は図４および図６で説明したのと同じである。従って、図８では、図６と比較すると、ステップＳ２０２とステップＳ２０３との間に、ステップＳ３０１、Ｓ３０２を挿入した点が異なる。その他の基本的構成は第１の実施の形態と同様である。

ステップＳ２０２の後、ステップＳ３０１では、ＣＰＵ１０は、ステップＳ２０３の変換処理において他の文字情報を抽出するのと同様の処理により変換候補を抽出し、提示する。すなわち、ＣＰＵ１０は、特定文字が入力された音符の各々について、現在、設定されている変換条件を適用して、特定文字を変換する場合の他の文字情報の候補を変換候補として提示する。変換候補は、例えば、図７に示すように、ポップアップ７０１として表示されるが、表示態様は問わない。変換候補が複数ある場合は、それらが全てリスト表示される。図７に示す例では、「？」が３つ連続するので、３音節の「sep-」「tem-」「ber」、「oc-」「to-」「ber」、および「de-」「cem-」「ber」が、変換候補として表示される。

ステップＳ３０２では、ＣＰＵ１０は、リスト表示された変換候補のうち１つが選択されるのを待つ。ユーザ操作は、操作子１７を用いて、リスト表示された変換候補から１つを選択することができる。変換候補のうち１つが選択されると、ＣＰＵ１０は、選択された変換候補を、他の文字情報として決定して、処理をステップＳ２０３に進める。この場合、ステップＳ２０３では、複数の特定文字を、上記決定された他の文字情報へ変換する。図７の例では、「sep-」「tem-」「ber」が選択されたので、３つの「？」は「sep-」「tem-」「ber」に変換されて、矩形領域に表示される。

本実施の形態によれば、所望する音符または音符列に対して、イメージに合った歌詞を付与することに関し、第１の実施の形態と同様の効果を奏することができる。また、変換候補を複数提示し、ユーザにより選択された変換候補へ特定文字を変換するので、ユーザの使い勝手を高めることができる。

なお、変換対象となる範囲内に、特定文字が入力された音符が１つしか存在しない場合であっても、変換候補は表示されてもよい。

なお、本実施の形態を第１の実施の形態に適用してもよい。その場合、図８において、図４のステップＳ１０４とステップＳ１０５との間に、ステップＳ３０１、Ｓ３０２を挿入すればよい。従って、音符に特定文字を入力する毎に、変換候補が１以上表示され、ユーザ選択操作を経てから変換が実行される。

図９は、歌詞編集画面において文字を入力する際の変形例を示す図である。図９に示すように、特定文字を連続して複数入力した状態で変換指示が発行されると、ボーカルフレーズ集３８のうち１つのボーカルフレーズ９０１の各音符に対応付けられた文字へ、複数の特定文字が一括して変換される。この際の１つのボーカルフレーズ９０１は、例えば所定条件によって選択・抽出される。図９に示す例では、短いフレーズを構成する音符９１、９２、９３、９４に対して適合するボーカルフレーズ９０１が抽出される。ボーカルフレーズをどのようにして抽出するかは、付加条件に該当する。ここでの付加条件は問わないが、一例として、特定文字が入力されている音符列に対してメロディの合致または近似するボーカルフレーズを抽出する、という条件でもよい。例えば、ＣＰＵ１０は、音符の時間的配置と音高上の配置とにそれぞれ重み付けをした上で、特定文字が入力されている音符列に対して各ボーカルフレーズとの近似する度合いを算出する。そしてＣＰＵ１０は、近似する度合いの最も高いボーカルフレーズを抽出してもよい。付加条件に従って、ＣＰＵ１０は、音符９１、９２、９３、９４に対してメロディの近似するボーカルフレーズ９０１を抽出する。そしてＣＰＵ１０は、音符９１、９２、９３、９４における特定文字を、ボーカルフレーズ９０１の各音符に対応付けられた文字（例えば、「I'm」「not」「af-」「raid」）へと一括して変換する。

この変形例によれば、ボーカルフレーズのうち、特定文字が入力されている音符列に対してメロディの近似するボーカルフレーズの文字を、他の文字情報として採用するので、旋律に合った歌詞を生成することができる。

なお、上述したように、ボーカルフレーズ９０１を用いて、矩形領域の配置と文字情報の入力とを一括して行うことも可能である。ユーザは、ボーカルフレーズ集３８のうち所望のものを選択して、文字入力する操作を実行することで、選択されたボーカルフレーズと同じ音符列と各音符に対応付けられた文字とを一括して入力することができる。その際の操作は、例えば、選択したボーカルフレーズ９０１を編集画面上にドラッグ＆ドロップする操作である。

なお、ボーカルフレーズ９０１の音符の少なくとも１つに対応付けられた文字情報は、特定文字であってもよい。その場合、選択したボーカルフレーズ９０１を編集画面上にドラッグ＆ドロップした際に、ボーカルフレーズ９０１に含まれていた特定文字が、個別に入力された特定文字と同様に、変換条件に従って他の文字情報に変換されるようにしてもよい。

なお、上記各実施の形態において、入力対象の音符について、特定文字でない文字情報が入力状態にあるときに、特定文字を入力し直した場合も、変換処理を適用してもよい。

なお、特定文字は「？」に限定されず、表文字や音節記号と区別できる文字であれば「！」等の他の文字であってもよい。また、「？」等の特定文字が半角の場合と全角の場合とで、変換後の他の文字情報を異ならせてもよい。そのようにすれば、変換のバリエーションを増やすことができる。

なお、変換後の文字の表示に関し、特定文字が他の文字情報に変換されても、表示はそのままとし、歌唱合成する際には変換を反映させてもよい。

なお、所定の文字、例えば、「＊」を１つ入力すると、それに連続する複数の音符に対して特定文字が自動的に入力されるようにしてもよい。その場合、「＊」の１回の入力に対する特定文字の入力数は問わない。また、「＊」が入力されると、次の休符の前までの複数の音節に特定文字が入力されるようにしてもよい。あるいは、「＊」が入力された箇所とメロディパターン近似するかまたは内容的に近似する他の区間を抽出し、当該他の区間における文字数を、特定文字の入力数として採用してもよい。その際の変換処理においては、韻を踏んだ歌詞となるような文字を他の文字情報として採用してもよい。

なお、特定文字を他の文字情報に変換する際、コントロールパラメータも同時に生成してもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、本装置に読み出すことによって、本発明と同様の効果を奏するようにしてもよく、その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した、非一過性のコンピュータ読み取り可能な記録媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ＲＯＭのほか、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。非一過性のコンピュータ読み取り可能な記録媒体としては、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。

３１ 入力部、 ３２ 判定部、 ３３ 変換部、 ３４ 取得部

Claims (12)

1. 音節を規定する１以上の文字から成る文字情報、または特定文字から成る文字情報を、旋律を構成する１つ以上の音符について入力し、
   変換条件を取得し、
   前記文字情報として前記特定文字が入力された否かを判定し、
   前記文字情報として前記特定文字が入力されたと判定した場合、前記特定文字が入力された音符の各々について、入力された前記特定文字を、前記変換条件に従って、音節を規定する１以上の文字から成る他の文字情報へ変換する、歌詞入力方法。
2. 前記変換条件は、文字群のデータベースから前記他の文字情報をランダムに抽出することを含む、請求項１に記載の歌詞入力方法。
3. 前記変換条件は、文字群の複数のデータベースのうち一部のデータベースを選択し、選択したデータベースから前記他の文字情報を抽出することを含む、請求項１に記載の歌詞入力方法。
4. 前記変換条件は、文字群のデータベースから、所定の重み付けによって前記他の文字情報を抽出することを含む、請求項１に記載の歌詞入力方法。
5. 前記変換条件は、旋律を構成する各音符と文字とが対応付けられたボーカルフレーズのうち、前記特定文字が入力されている音符列に対してメロディの近似するボーカルフレーズの文字を、前記他の文字情報として採用することを含む、請求項１に記載の歌詞入力方法。
6. 前記変換条件は、前記特定文字が連続する場合に、前記特定文字の連続数に応じて前記他の文字情報をまとめて決定することを含む、請求項１に記載の歌詞入力方法。
7. 前記特定文字を前記他の文字情報へ変換する際、前記特定文字に代えて前記他の文字情報を表示する、請求項１〜６のいずれか１項に記載の歌詞入力方法。
8. 前記特定文字を前記他の文字情報へ変換する際、変換候補を提示し、ユーザによる許可を得てから前記特定文字を前記変換候補へ変換する、請求項１〜７のいずれか１項に記載の歌詞入力方法。
9. 前記特定文字を前記他の文字情報へ変換する際、変換候補を複数提示し、ユーザにより選択された変換候補へ前記特定文字を変換する、請求項８に記載の歌詞入力方法。
10. 前記特定文字を前記他の文字情報へ変換する際、前記特定文字が半角の場合と全角の場合とで、変換後の前記他の文字情報を異ならせる、請求項１〜９のいずれか１項に記載の歌詞入力方法。
11. 前記特定文字は？である、請求項１〜１０のいずれか１項に記載の歌詞入力方法。
12. 歌詞入力方法をコンピュータに実行させるプログラムであって、
    前記歌詞入力方法は、
    音節を規定する１以上の文字から成る文字情報、または特定文字から成る文字情報を、旋律を構成する１つ以上の音符について入力し、
    変換条件を取得し、
    前記文字情報として前記特定文字が入力された否かを判定し、
    前記文字情報として前記特定文字が入力されたと判定した場合、前記特定文字が入力された音符の各々について、入力された前記特定文字を、前記変換条件に従って、音節を規定する１以上の文字から成る他の文字情報へ変換する、プログラム。

Images