JP2013125188A - 曲編集装置及びプログラム - Google Patents

曲編集装置及びプログラム Download PDF

Info

Publication number
JP2013125188A
JP2013125188A JP2011274600A JP2011274600A JP2013125188A JP 2013125188 A JP2013125188 A JP 2013125188A JP 2011274600 A JP2011274600 A JP 2011274600A JP 2011274600 A JP2011274600 A JP 2011274600A JP 2013125188 A JP2013125188 A JP 2013125188A
Authority
JP
Japan
Prior art keywords
text data
dtx
data
clause
lyrics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011274600A
Other languages
English (en)
Other versions
JP5974473B2 (ja
Inventor
Miki Ito
美希 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2011274600A priority Critical patent/JP5974473B2/ja
Publication of JP2013125188A publication Critical patent/JP2013125188A/ja
Application granted granted Critical
Publication of JP5974473B2 publication Critical patent/JP5974473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】歌唱合成システムにおいて、利用者が創作した歌詞内における似通った文字列構造を有する部分を同じメロディで歌唱させる。
【解決手段】CPUは、テキストデータDTX1〜8をテキストデータDTX1〜2,DTX3〜4,DTX5〜6,DTX7〜8に分割する。各演奏データの中からテキストデータDTX1〜2,DTX3〜4,DTX5〜6,DTX7〜8が示す歌詞のメロディとする演奏データを選択し、各メロディにテキストデータDTX1〜2,DTX3〜4,DTX5〜6,DTX7〜8を合わせた音声信号を生成する。テキストデータDTX1〜2,DTX3〜4,DTX5〜6,DTX7〜8の中に文字列構造が類似しているものが含まれている場合、同じ演奏データを選択する。
【選択図】図6

Description

本発明は、曲のメロディを編集する技術に関する。
非特許文献1には、Orepheus(オルフェウス)と称される歌唱合成システムの開示がある。この歌唱合成システムは、文字列として入力された歌詞から歌唱曲を自動作曲するものである。この歌唱合成システムでは、歌詞に含まれる各語の韻律を解析し、この韻律に相応しい音程の遷移を有するメロディを作成する。その上で、歌詞の音声信号にこのメロディに合わせたピッチ変換処理を施し、ピッチ変換処理を経た音声信号を歌唱音声として放音する。
東京大学嵯峨山研究室、"Orepheus:歌詞の韻律に基づいた自動作曲システム"、音楽情報処理学会研究報告、P179〜P184、2008.7.30 スティーブンバード、"入門自然言語処理"、オライリージャパン、2010.11.8
ところで、この種の歌唱合成システムの利用者は、自身が創作した歌詞の中に似通った文字列構造を有する部分がある場合、それらの部分は同じメロディで歌唱させたい、という希望を持つ場合がある。しかしながら、非特許文献1の技術の場合、歌詞に含まれる各語の韻律に基づいてメロディを決定するため、このような要請に応えることができなかった。
本発明は、このような課題に鑑みてなされたものであり、利用者が創作した歌詞内における似通った文字列構造を有する部分を同じメロディで歌唱させることができる技術的手段を提供することを目的とする。
本発明は、複数種類の音の並びを示す複数種類の演奏データを記憶した記憶手段と、情報の入力手段と、前記入力手段から歌唱曲の歌詞を示すテキストデータが入力された場合に、入力されたテキストデータをN(Nは2以上の整数)個のテキストデータに分割する分割手段と、前記分割手段が分割したN個のテキストデータが示す各歌詞について、当該歌詞を有する歌唱部分のメロディとする演奏データを前記記憶手段内の複数種類の演奏データの中から選択する編集手段であって、前記N個のテキストデータのうち文字列構造が類似しているテキストデータ同士を対応付け、この対応付けた複数のテキストデータが示す各歌詞を有する歌唱部分のメロディに該当する演奏データとして同じ演奏データを選択する編集手段とを具備する曲編集装置を提供する。
本発明では、編集手段は、N個のテキストデータのうち文字列構造が類似しているテキストデータ同士を対応付け、この対応付けた複数のテキストデータが示す歌詞を有する歌唱部分のメロディに該当する演奏データとして同じ演奏データを選択する。よって、本発明によると、歌詞内の似通った文字列構造を有する部分が同じメロディで歌われる歌唱曲を簡単に作ることができる。
本発明の一実施形態である曲編集装置の構成を示すブロック図である。 同装置のメロディデータベース内の演奏データのデータ構造を示す図である。 同装置の動作を示すフローチャートである。 同装置が表示する情報入力画面を示す図である。 同装置が実行する対応付け処理の内容を示す図である。 同装置が実行する対応付け処理の内容を示す図である。 同装置が実行するメロディ選択処理の内容を示す図である。 同装置が実行する歌唱合成処理の内容を示す図である。
以下、図面を参照し、この発明の実施の形態を説明する。
図1は、この発明の一実施形態である曲編集装置10の構成を示すブロック図である。この曲編集装置10は、音の並びであるメロディの素材となる様々な種類の演奏データMDの中から利用者が入力したM(Mは、2以上の整数:例えば、M=8とする)小節分の歌詞のメロディとするM(M=8)小節分の演奏データDMを選択し、この選択した演奏データDMのメロディと同じメロディを持ったM(M=8)小節分の音声信号MS’を合成する。この曲編集装置10は、操作部11、表示部12、放音部13、及び制御部15を有する。操作部11は、各種情報の入力操作を受け付ける入力手段としての役割を果たす。表示部12は、制御部15による制御の下に各種情報を表示する。放音部13は、制御部15から出力される音信号を音として出力する。
制御部15は、曲編集装置10の制御中枢としての役割を果たす装置である。制御部15は、CPU16、RAM17、ROM18、及びハードディスク19を有する。CPU16は、RAM17をワークエリアとして利用しつつ、ROM18やハードディスク19に記憶されたプログラムを実行する。ハードディスク19には、メロディデータベース19a、音声素片データベース19b、及び曲編集プログラムPRGが記憶されている。
メロディデータベース19aには演奏データDMMが記憶される。演奏データDMMは、2小節分のメロディの演奏手順をSMF(Standard MIDI File)形式で記述したデータである。より具体的に説明すると、図2に示すように、演奏データDMMはL個のトラックTR−i(i=1〜L)を有している。これらのL個のトラックTR−i(i=1〜L)のうち第1トラックTR−1には、2小節分のメロディをなす各音の発音を指示するノートオンイベントEVON(♯)(♯はノートナンバを示す)とその消音を指示するノートオフイベントEVOFF(♯)、及び各イベントEVON(♯)(またはEVOFF(♯))の実行時刻tを各々の前のイベントEVOFF(♯)(またはEVON(♯))の実行時刻tとの時間差(ティック数)として示すタイミングデータであるデルタタイムΔT(h=1,2…)が時系列順に配列されている。
音声素片データベース19bには音声素片データDAPが記憶される。音声素片データDAPは、単一の音素や音素間の遷移部分など、歌唱音声の素材となる各種の音声素片の波形を定義したデータである。
曲編集プログラムPRGは、次の3つの機能を有する。
a1.分割機能
これは、操作部11を介してM小節分の歌唱曲の歌詞を示すテキストデータDTXが入力された場合に、入力されたテキストデータDTXをN(N=M/2:M=8なのでN=4)個のテキストデータDTXに分割する機能である。
b1.編集機能
これは、分割機能により分割したN個のテキストデータDTXが示す各歌詞について、当該歌詞を有する歌唱部分のメロディとする演奏データDMMをメロディデータベース19a内の複数種類の演奏データDMMの中から選択する機能であって、N個のテキストデータDTXのうち文字列構造が類似しているテキストデータDTX同士を対応付け、この対応付けた複数のテキストデータDTXが示す各歌詞の有する歌唱部分のメロディに該当する演奏データDMMとして同じ演奏データDMMを選択する機能である。
c1.歌唱合成機能
これは、操作部11を介して入力されたテキストデータDTXが示す歌詞を一連の音声素片に変換し、変換した各音声素片の音声素片データDAPを音声素片データベース19bから読み出し、この音声素片データDAPを接続して歌詞の音声信号MSを生成し、この音声信号MSに演奏データDMMが示すメロディに合わせたピッチ変換を施して歌唱音声の音声信号MS’を生成する機能である。
次に、本実施形態の動作について説明する。図3は、本実施形態の動作を示すフローチャートである。図3に示す一連の処理のうちステップS120は、分割機能の働きによって実行される処理であり、ステップS130及びS140は、編集機能の働きによって実行される処理であり、ステップS150は、歌唱合成機能の働きによって実行される処理である。
図3において、CPU16は、情報入力画面を表示部12に表示させる(S100)。図4は、情報入力画面を示す図である。この画面には、コード進行入力欄WCと歌詞入力欄WLが配置されている。利用者は、操作部11によりこの画面の入力欄WC及びWLに情報を入力する。より詳細に説明すると、利用者は、歌唱曲の第1小節〜8小節のコードのコードネームCN〜CNをコード進行入力欄WCに入力する。
また、利用者は、歌唱曲の1曲分(8小節分)の歌詞を歌詞入力欄WLに入力する。ここで、この歌詞入力欄WLへの歌詞の入力は次の2つの条件a2及びb2に従って行う。
a2.歌詞をなす文字の全てを平仮名文字として入力する。
b2.歌詞の中に2小節分の長さの歌唱音として歌わせたい部分がある場合は、その部分の前後にコロン(:)の文字を入れる。
情報入力画面の入力欄WC及びWLに情報が入力されると、CPU16は、入力欄WCに入力されたコードネームCN〜CNの各々を示すコードデータDCN〜DCN、及び入力欄WLに入力された平仮名文字列を示すテキストデータDTX1〜8をRAM17に記憶する(S110)。
次に、CPU16は、分割処理を行う(S120)。分割処理では、CPU16は、RAM17内のテキストデータDTX1〜8を、第1〜第2小節の歌詞を示すテキストデータDTX1〜2、第3〜第4小節の歌詞を示すテキストデータDTX3〜4、第5〜第6小節の歌詞を示すテキストデータDTX5〜6、及び第7〜第8小節の歌詞を示すテキストデータDTX7〜8に分割する。より詳細に説明すると、分割処理では、RAM17内のテキストデータDTX1〜8の中にコロン(:)が含まれていない場合と含まれている場合の各々において次のような処理を行う。
a3.コロン(:)が含まれていない場合
この場合、CPU16は、テキストデータDTX1〜8が示す文字列を複数個の文節に区切り、最初の文節から最後の文節までの文節の数BN1〜8をカウントする。ここで、文節の特定は形態素解析処理(形態素解析の詳細は非特許文献2を参照のこと)を利用して行うとよい。次に、CPU16は、文節数BN1〜8を4で除算した値を2小節に収める文節数BNLMT(BNLMT=BN1〜8/4)とする。その上で、CPU16は、テキストデータDTX1〜8における1番目からBNLMT番目までの文節に該当する部分をテキストデータDTX1〜2とし、BNLMT+1番目から2BNLMT番目までの文節に該当する部分をテキストデータDTX3〜4とし、2BNLMT+1番目から3BNLMT番目までの文節に該当する部分をテキストデータDTX5〜6とし、3BNLMT+1番目以降の文節に該当する部分をテキストデータDTX7〜8とする。
b3.コロン(:)が含まれている場合
この場合、CPU16は、テキストデータDTX1〜8内のコロン(:)の総数が3個以上であるときは、テキストデータDTX1〜8における先頭と1番目のコロン(:)との間の部分をテキストデータDTX1〜2とし、1番目のコロン(:)と2番目のコロン(:)との間の部分をテキストデータDTX3〜4とし、2番目のコロン(:)と3番目のコロン(:)との間の部分をテキストデータDTX5〜6とし、3番目のコロン(:)以降の部分をテキストデータDTX7〜8とする。また、テキストデータDTX1〜8内のコロン(:)の総数が2個であるときは、テキストデータDTX1〜8における先頭と1番目のコロン(:)との間の部分をテキストデータDTX1〜2とし、1番目のコロン(:)と2番目のコロン(:)との間の部分をテキストデータDTX3〜4とし、2番目のコロン(:)の後の部分をa3と同様の手順で2分割したものをテキストデータDTX5〜6及びDTX7〜8とする。また、テキストデータDTX1〜8内のコロン(:)の総数が1個であるときは、テキストデータDTX1〜8における先頭とコロン(:)との間の部分をテキストデータDTX1〜2とし、コロン(:)の後の部分をa3と同様の手順で3分割したものをテキストデータDTX3〜4,DTX5〜6,及びDTX7〜8とする。
図3において、CPU16は、対応付け処理を行う(S130)。対応付け処理は、テキストデータDTX1〜2、DTX3〜4、DTX5〜6、及びDTX7〜8のうち文字列構造の類似するものを対応付ける処理である。この対応付け処理では、CPU16は、テキストデータDTX1〜2及びDTX3〜4、テキストデータDTX1〜2及びDTX5〜6、テキストデータDTX1〜2及びDTX7〜8、テキストデータDTX3〜4及びDTX5〜6、テキストデータDTX3〜4及びDTX7〜8、並びにテキストデータDTX5〜6及びDTX7〜8の各組を類否判定の対象として次の3つの処理を行う。
第1の処理では、CPU16は、判定対象である2つのテキストデータDTXのうち一方のテキストデータDTX内の文節の数BNと、他方のテキストデータDTX内の文節の数BNを各々カウントし、カウントした2つの文節数BNの差DBNを求める。
第2の処理では、CPU16は、判定対象である2つのテキストデータDTX内の文節毎の文字数の差の合計数SDTNを求める。具体的には、CPU16は、2つのテキストデータDTXの各々についてカウントした文節数BNが同じである場合と同じでない場合において次のような処理を行う。
a4.文節数BNが同じである場合
この場合、CPU16は、図5の例に示すように、判定対象である2つのテキストデータDTX(図5の例では、テキストデータDTX1〜2及びDTX3〜4)内における1番目の文節の文字数の差DTN、2番目の文節の文字数の差DTN…BN((図5の例では、BN=4)番目の文節BNの文字数の差DTNBNを個別に求め、これらの全てを加算した値を文字数差SDTNとする。
b4.文節数BNが異なる場合
この場合、CPU16は、図6の例に示すように、判定対象である2つのテキストデータDTX(図6の例では、テキストデータDTX1〜2及びDTX5〜6)のうち文節数BNの多い方のテキストデータDTX(図6の例では、テキストデータDTX1〜2)を選択する。次に、CPU16は、この選択したテキストデータDTX内における文節間の区切り位置の中のDBN(図6の例では、DBN=1)個の区切り位置を無くしたテキストデータDTX’(図6の例では、1番目の文節と2番目の文節の間の区切り位置を無くしたテキストデータDTX’1〜2(1)、2番目の文節と3番目の文節の間の区切り位置を無くしたテキストデータDTX’1〜2(2)、3番目の文節と4番目の文節の間の区切り位置を無くしたテキストデータDTX’1〜2(3))を生成する。次に、CPU16は、区切り位置を無くした各テキストデータDTX’の各々について、当該テキストデータDTX’と文節数BNが少ない方のテキストデータDTXにおける1番目の文節の文字数の差DTN、2番目の文節の文字数の差DTN…BN−DBN番目の文節の文字数の差DTNBN−DBNを個別に求め、これらの全てを加算した値DTN1〜BN−DBNを求める。その上で、CPU16は、各テキストデータDTX’とテキストデータDTXの各組について求めた合計値DTN1〜BN−DBNのうち最も小さいものを文字数差SDTNとする。
第3の処理では、CPU16は、第1の処理において求めた文節数差DBN及び第2の処理において求めた文字数差SDTNが次の2つの条件a5及びb5を満たすか否かを判定する。そして、条件a5及びb5の両方が満たされる場合に、2つのテキストデータDTXの文字列構造が類似しているとみなしてそれらを対応付ける。
a5.文節数差DBNが閾値TH1よりも小さいこと
b5.文節毎の文字数の差DTNの合計SDTNが閾値TH2よりも小さいこと
図3において、CPU16は、メロディ選択処理を行う(S140)。メロディ選択処理は、メロディデータベース19a内の複数種類の演奏データDMMの中から、テキストデータDTX1〜2が示す歌詞のメロディとする演奏データDMM1〜2、テキストデータDTX3〜4が示す歌詞のメロディとする演奏データDMM3〜4、テキストデータDTX5〜6が示す歌詞のメロディとする演奏データDMM5〜6、テキストデータDTX7〜8が示す歌詞のメロディとする演奏データDMM7〜8を選択する処理である。メロディ選択処理では、CPU16は、テキストデータDTX1〜2,DTX3〜4,DTX5〜6,及びDTX7〜8の中に対応付け処理(S130)において対応付けられたものがある場合、対応付けられた複数個のテキストデータDTXのメロディに該当する演奏データとして同じ演奏データDMMを選択する。より詳細に説明すると、メロディ選択処理では、次の4つの処理を順に行う。
a6.演奏データDMM1〜2を選択する処理
この処理では、CPU16は、RAM17内のデータDCN及びDCNが示すコードネームCN及びCN(第1小節及び第2小節のコードネーム)の和音とメロディデータベース19a内の演奏データDMMの各々との適合度を示す評価値VLを算出する。評価値VLの算出は次のように行う。図7に示すように、まず、CPU16は、評価対象である演奏データDMMの第1トラックTR−1における第1小節内の各イベントEVON(♯)の音名がコードネームCNと対応するコードの各音(図7の例では、CN=Cなので、ド、ミ、ソの3音)と一致するか否かを判定し、コードの各音と一致する音の音長(ティック数)に5ポイント、それ以外の音の音長(ティック数)に0ポイントを各々乗算する。
次に、CPU16は、評価対象である演奏データDMMの第1トラックTR−1における第2小節内の各イベントEVON(♯)の音名がコードネームCNと対応するコードの各音(図7の例では、CN=Fなので、ファ、ラ、ドの3音)と一致するか否かを判定し、コードの各音と一致する音の音長(ティック数)に5ポイント、それ以外の音の音長(ティック数)に0ポイントを各々乗算する。その上で、CPU16は、2つの小節のイベントEVON(♯)の音長(ティック数)に該当ポイント(5または0)を乗じた各値の平均μと標準偏差σを求め、平均μと標準偏差σに補正値αを乗じた値σ×αとの和μ+σ×αを評価値VLとする。
CPU16は、メロディデータベース19a内の演奏データDMMの全てについて評価値VLを算出した後、メロディデータベース19a内の演奏データDMMの中から評価値VLが閾値TH3以上となるものを探索する。そして、メロディデータベース10a内に該当の演奏データDMMがある場合には、その演奏データDMM(該当の演奏データが複数個ある場合はそれらの中からランダムに選択した1つ)を演奏データDMM1〜2とし、該当の演奏データDMMが無い場合には、閾値TH3を所定値Xだけ小さい値にして同様の検索を行う。CPU16は、演奏データDMM1〜2とする演奏データDMMが確定するまでこの操作を繰り返す。ここで、この処理における補正値αは、0.0〜3.0の範囲内で設定するとよい。補正値αを大きくすると、コードネームCN及びCNが示すコード進行にぴったりな演奏データDMMが演奏データDMM1〜2として選択される可能性が高まる。逆に、補正値αを小さくすると、コードネームCN及びCNが示すコード進行と乖離した演奏データDMMが演奏データDMM1〜2として選択される可能性が高まる。よって、0.0〜3.0の範囲内におけるどの値を補正値αとするかは、利用者の嗜好などを考慮して決定するとよい。
b6.演奏データDMM3〜4を選択する処理
この処理では、CPU16は、対応付け処理においてテキストデータDTX1〜2とテキストデータDTX3〜4が対応付けられている場合、演奏データDMM1〜2とされたものと同じ演奏データDMMを演奏データDMM3〜4とする。また、CPU16は、対応付け処理においてテキストデータDTX1〜2とテキストデータDTX3〜4が対応付けられていない場合、RAM17内のデータDCN及びDCNが示すコードネームCN及びCN(第3小節及び第4小節のコードネーム)の和音とメロディデータベース19a内の演奏データDMMの各々との適合度を示す評価値LVを算出し、評価値LVが閾値TH3以上である演奏データDMMを演奏データDMM3〜4とする。
c6.演奏データDMM5〜6を選択する処理
この処理では、CPU16は、対応付け処理においてテキストデータDTX1〜2とテキストデータDTX5〜6が対応付けられている場合、演奏データDMM1〜2とされたものと同じ演奏データDMMを演奏データDMM5〜6とする。CPU16は、対応付け処理においてテキストデータDTX3〜4とテキストデータDTX5〜6が対応付けられている場合、演奏データDMM3〜4とされたものと同じ演奏データDMMを演奏データDMM5〜6とする。また、CPU16は、対応付け処理においてテキストデータDTX1〜2及びDTX3〜4のいずれともテキストデータDTX5〜6が対応付けられていない場合、RAM17内のデータDCN及びDCNが示すコードネームCN及びCN(第5小節及び第6小節のコードネーム)の和音とメロディデータベース19a内の演奏データDMMの各々との適合度を示す評価値LVを算出し、評価値LVが閾値TH3以上である演奏データDMMを演奏データDMM5〜6とする。
d6.演奏データDMM7〜8を選択する処理
この処理では、CPU16は、対応付け処理においてテキストデータDTX1〜2とテキストデータDTX7〜8が対応付けられている場合、演奏データDMM1〜2とされたものと同じ演奏データDMMを演奏データDMM7〜8とする。CPU16は、対応付け処理においてテキストデータDTX3〜4とテキストデータDTX7〜8が対応付けられている場合、演奏データDMM3〜4とされたものと同じ演奏データDMMを演奏データDMM7〜8とする。CPU16は、対応付け処理においてテキストデータDTX5〜6とテキストデータDTX7〜8が対応付けられている場合、演奏データDMM5〜6とされたものと同じ演奏データDMMを演奏データDMM7〜8とする。また、CPU16は、対応付け処理においてテキストデータDTX1〜2,DTX3〜4,DTX5〜6のいずれともテキストデータDTX7〜8が対応付けられていない場合、RAM17内のデータDCN及びDCNが示すコードネームCN及びCN((第7小節及び第8小節のコードネーム)の和音とメロディデータベース19a内の演奏データDMMの各々との適合度を示す評価値LVを算出し、評価値LVが閾値TH3以上である演奏データDMMを演奏データDMM7〜8とする。
図3において、CPU16は、歌唱合成処理を行う(S150)。歌唱合成処理では、CPU16は、次の4つの処理を行う。
a7.歌唱曲の第1〜第2小節の歌唱音声を合成する処理
この処理では、図8(A)に示すように、CPU16は、テキストデータDTX1〜2が示す文字列を音声素片列に変換し、変換した音声素片の音声素片データDAPを音声素片データベース19bから読み出し、これらの音声素片データDAPを接続したものを第1〜第2小節の音声信号MS1〜2とする。CPU16は、音声信号MS1〜2に演奏データDMM1〜2が示すメロディに合わせたピッチ変換処理を施したものを第1〜第2小節の歌唱音声の音声信号MS’1〜2とする。
b7.歌唱曲の第3〜第4小節の歌唱音声を合成する処理
この処理では、図8(B)に示すように、CPU16は、テキストデータDTX3〜4が示す文字列を音声素片列に変換し、変換した音声素片の音声素片データDAPを音声素片データベース19bから読み出し、これらの音声素片データDAPを接続したものを第3〜4小節の音声信号MS3〜4とする。CPU16は、音声信号MS3〜4に演奏データDMM3〜4が示すメロディに合わせたピッチ変換処理を施したものを第3〜4小節の歌唱音の音声信号MS’3〜4とする。
c7.歌唱曲の第5〜第6小節の歌唱音声を合成する処理
この処理では、図8(C)に示すように、CPU16は、テキストデータDTX5〜6が示す文字列を音声素片列に変換し、変換した音声素片の音声素片データDAPを音声素片データベース19bから読み出し、これらの音声素片データDAPを接続したものを第5〜第6小節の音声信号MS5〜6とする。CPU16は、音声信号MS5〜6に演奏データDMM5〜6が示すメロディに合わせたピッチ変換処理を施したものを第5〜第6小節の歌唱音の音声信号MS’5〜6とする。
d7.歌唱曲の第7〜第8小節の歌唱音声を合成する処理
この処理では、図8(D)に示すように、CPU16は、テキストデータDTX7〜8が示す文字列を音声素片列に変換し、変換した音声素片の音声素片データDAPを音声素片データベース19bから読み出し、これらの音声素片データDAPを接続したものを第7〜第8小節の音声信号MS7〜8とする。CPU16は、音声信号MS7〜8に演奏データDMM7〜8が示すメロディに合わせたピッチ変換処理を施したものを第7〜第8小節の歌唱音の音声信号MS’7〜8とする。
図3において、CPU16は、放音処理を行う(S160)。放音処理では、CPU16は、歌唱合成処理において生成した音声信号MS’1〜2,MS’3〜4,MS’5〜6,MS’7〜8を放音部13に供給して同部13から歌唱音を放音させる。
以上が、本実施形態の詳細である。本実施形態では、CPU16は、N個のテキストデータDTX1〜2,DTX3〜4,DTX5〜6,及びDTX7〜8のうち文字列構造が類似しているテキストデータDTX同士を対応付け、この対応付けた複数のテキストデータDTXが示す歌詞のメロディとして同じ演奏データDMMを選択する。よって、本実施形態によると、歌詞内の似通った文字列構造を有する部分が同じメロディで歌われる歌唱曲を簡単に作ることができる。
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
(1)上記実施形態では、テキストデータDTX1〜2,DTX3〜4,DTX5〜6,及びDTX7〜8の中に上述した条件a5及びb5の両方を満たすものがある場合に、それらの文字列構造が類似しているとみなした。しかし、文字列構造の類否に用いる条件の数を1つにしてもよい。例えば、類否判定の対象とした2つのテキストデータDTXが条件a1を満たす場合にそれらを対応付けるようにしてもよい。この実施形態では、CPU16は、対応付け処理における上述した第1〜第3の処理のうち第1の処理と第3の処理を実行し、第3の処理では、第1の処理において算出した文節数BNの差DBNが閾値TH1よりも小さい場合に、処理対象である2つのテキストデータDTXが類似しているとみなす。また、類否判定の対象とした2つのテキストデータDTXが条件b1を満たす場合にそれらを対応付けるようにしてもよい。この実施形態では、CPU16は、対応付け処理における上述した第1〜第3の処理のうち第2の処理と第3の処理を実行し、第3の処理では、第2の処理において算出した文字数差SDTNが閾値TH2よりも小さい場合に、処理対象である2つのテキストデータDTXが類似しているとみなす。また、上述した条件b5を、文節毎の文字数の差DTNの各々が閾値TH4よりも小さいこと、という条件にしてもよい。
(2)上記実施形態において、条件a5における閾値TH1や条件b5における閾値TH2を操作部11の操作により任意に設定できるようにしてもよい。この実施形態によると、バラエティ豊かな作曲を実現することができる。
(3)上記実施形態では、テキストデータDTX1〜8における2小節分の区切り位置を示す文字としてコロン(:)を採用した。しかし、コロン(:)以外の文字(例えば、アスタリスク(*))を2小節の区切りを示す文字としてもよい。
(4)上記実施形態では、メロディデータベース19a内の各演奏データDMMは2小節分のメロディを示すデータとなっており、このメロディデータベース19a内から選択した4つの演奏データDMMを配列して8小節分のメロディを生成した。しかし、演奏データDMMを2小節よりも長い演奏区間や短い演奏区間のメロディを示すデータとしてもよい。例えば、8小節分のメロディを示す演奏データDMM’をメロディデータベース19aに記憶し、その中から選択した4つの演奏データDMM’を配列して32小節分のメロディを生成するようにしてもよい。この場合において、Aメロやサビに相当するフレーズが同じメロディで歌唱されるように上述した条件a5の閾値TH1や条件b5の閾値TH2を設定するとよい。また、上記実施形態では、演奏データDMMが2小節分のメロディを表すデータとなっており、情報入力画面の入力欄WLにおいて8小節分の歌詞が入力されるようになっているため、CPU16は、入力欄WLにおいて入力された8小節分のテキストデータDTXを演奏データDMMの小節数Nである2小節分毎に分割した。しかし、演奏データDMMの小節数Nを2と異なる数にした場合やテキストデータDTMの小節数Mを8と異なる数にした場合、CPU16は、テキストデータDTXの分割数をMを演奏データDMMの小節数で除した数と同数にするとよい。
(5)上記実施形態では、演奏データDMMは、2小節分のメロディの演奏手順をSMF形式で記述したデータであった。しかし、演奏データDMMを別のデータフォーマットのものにしてもよい。例えば、演奏データSMDを、該当するトラックのトラック番号、音源の発音チャネル、イベントの実行時刻を示すタイミングデータ、イベントの種類、及びイベントのパラメータからなるレコードを時系列順に並べた形式(イベントリスト形式)にしてもよい。また、演奏データDMMを、イベントの種類とそのパラメータのみからなるレコードを時系列順に並べた形式にしてもよい。また、演奏データDMMを、ピアノロール形式、スコアロール形式、テキスト形式などにしてもよい。
(6)上記実施形態では、CPU16は、テキストデータDTX1〜2、DTX3〜4、DTX5〜6、DTX7〜8における任意の2つのテキストデータDTXの各組を一組ずつ処理対象として対応付け処理を実行した。しかし、テキストデータDTX1〜2、DTX3〜4、DTX5〜6、DTX7〜8における任意の3つのテキストデータDTXを組とし、各組における3つのテキストデータDTXを処理対象として対応付け処理を行うようにしてもよい。
(7)上記実施形態では、曲演奏データMDは、ある決まった時間長分の音の並びであるメロディにおける各音の発音内容を示すイベント列であった。しかし、曲演奏データMDを、歌唱曲内におけるテキストデータDTXが示す歌詞を有する歌唱分の曲調を決める別の種類のデータの配列(例えば、当該歌唱部分のハーモニーを決めるイベント列や当該歌唱部分のリズムを決めるイベント列)としてもよい。
10…曲編集装置、11…操作部、12…表示部、13…放音部,15…制御部、16…CPU、17…RAM、18…ROM、19…ハードディスク。

Claims (5)

  1. 複数種類の音の並びを示す複数種類の演奏データを記憶した記憶手段と、
    情報の入力手段と、
    前記入力手段から歌唱曲の歌詞を示すテキストデータが入力された場合に、入力されたテキストデータをN(Nは2以上の整数)個のテキストデータに分割する分割手段と、
    前記分割手段が分割したN個のテキストデータが示す各歌詞について、当該歌詞を有する歌唱部分のメロディとする演奏データを前記記憶手段内の複数種類の演奏データの中から選択する編集手段であって、前記N個のテキストデータのうち文字列構造が類似しているテキストデータ同士を対応付け、この対応付けた複数のテキストデータが示す各歌詞を有する歌唱部分のメロディに該当する演奏データとして同じ演奏データを選択する編集手段と
    を具備することを特徴とする曲編集装置。
  2. 前記編集手段は、
    前記N個のテキストデータの各々について、当該テキストデータが示す歌詞における先頭の文節から末尾の文節までの文節数と他のテキストデータが示す歌詞における先頭の文節から末尾の文節までの文節数との差を算出する手段を有し、前記N個のテキストデータのうち前記文節数の差が閾値よりも小さいテキストデータ同士を対応付けることを特徴とする請求項1に記載の曲編集装置。
  3. 前記編集手段は、
    前記N個のテキストデータの各々について、当該テキストデータが示す歌詞における先頭の文節から末尾の文節までの各文節と他のテキストデータが示す歌詞における先頭の文節から末尾の文節までの各文節の文節毎の文字数の差の合計を算出する手段を有し、前記N個のテキストデータのうち前記文節毎の文字数の差の合計が閾値よりも小さいテキストデータ同士を対応付けることを特徴とする請求項1に記載の曲編集装置。
  4. 前記編集手段は、
    前記N個のテキストデータの各々について、当該テキストデータが示す歌詞における先頭の文節から末尾の文節までの文節数と他のテキストデータが示す歌詞における先頭の文節から末尾の文節までの文節数との差を算出する第1の手段と、当該テキストデータが示す歌詞における先頭の文節から末尾の文節までの各文節と他のテキストデータが示す歌詞における先頭の文節から末尾の文節までの各文節の文節毎の文字数の差の合計を算出する第2の手段とを有し、前記N個のテキストデータのうち前記文節数の差が第1の閾値よりも小さく且つ前記文節毎の文字数の差の合計が第2の閾値よりも小さいテキストデータ同士を対応付けることを特徴とする請求項1乃至3のいずれか1の請求項に記載の曲編集装置。
  5. コンピュータに、
    歌唱曲の歌詞を示すテキストデータが入力された場合に、入力されたテキストデータをN(Nは2以上の整数)個のテキストデータに分割する分割手段と、
    前記分割手段が分割したN個のテキストデータが示す各歌詞について、当該歌詞を有する歌唱分のメロディとする演奏データを複数種類の演奏データの中から選択する編集手段であって、前記N個のテキストデータのうち文字列構造が類似しているテキストデータ同士を対応付け、この対応付けた複数のテキストデータが示す各歌詞を有する歌唱部分のメロディに該当する演奏データとして同じ演奏データを選択する編集手段と
    を実現させるプログラム。
JP2011274600A 2011-12-15 2011-12-15 曲編集装置、曲編集方法及びプログラム Active JP5974473B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011274600A JP5974473B2 (ja) 2011-12-15 2011-12-15 曲編集装置、曲編集方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011274600A JP5974473B2 (ja) 2011-12-15 2011-12-15 曲編集装置、曲編集方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013125188A true JP2013125188A (ja) 2013-06-24
JP5974473B2 JP5974473B2 (ja) 2016-08-23

Family

ID=48776445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011274600A Active JP5974473B2 (ja) 2011-12-15 2011-12-15 曲編集装置、曲編集方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5974473B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009536368A (ja) * 2006-05-08 2009-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 歌曲を歌詞と並べる方法及び電気デバイス
JP2010026337A (ja) * 2008-07-22 2010-02-04 Yoshihiko Sano 歌唱曲生成方法,そのプログラム及び装置,歌唱曲提供システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009536368A (ja) * 2006-05-08 2009-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 歌曲を歌詞と並べる方法及び電気デバイス
JP2010026337A (ja) * 2008-07-22 2010-02-04 Yoshihiko Sano 歌唱曲生成方法,そのプログラム及び装置,歌唱曲提供システム

Also Published As

Publication number Publication date
JP5974473B2 (ja) 2016-08-23

Similar Documents

Publication Publication Date Title
CN106652984B (zh) 一种使用计算机自动创作歌曲的方法
KR100658869B1 (ko) 음악생성장치 및 그 운용방법
US11996082B2 (en) Electronic musical instruments, method and storage media
CN109036355B (zh) 自动作曲方法、装置、计算机设备和存储介质
CN112382257B (zh) 一种音频处理方法、装置、设备及介质
JP5974436B2 (ja) 楽曲生成装置
CN113160780A (zh) 电子乐器、方法及存储介质
Alfonseca et al. A simple genetic algorithm for music generation by means of algorithmic information theory
JP5899833B2 (ja) 楽曲生成装置および楽曲生成方法
Bisesi et al. An accent-based approach to automatic rendering of piano performance: Preliminary auditory evaluation
JP2002073064A (ja) 音声処理装置、音声処理方法および情報記録媒体
JP5974473B2 (ja) 曲編集装置、曲編集方法及びプログラム
Koduri et al. Computational approaches for the understanding of melody in carnatic music
JP5943618B2 (ja) 音符列設定装置および音符列設定方法
Umbert et al. Systematic database creation for expressive singing voice synthesis control.
JP2022065566A (ja) 音声合成方法およびプログラム
JP6954780B2 (ja) カラオケ装置
KR20200047198A (ko) 자동작곡장치 및 그 방법
JP6074835B2 (ja) 楽曲練習支援装置
JP7158331B2 (ja) カラオケ装置
CN112951184B (en) Song generation method, device, equipment and storage medium
Soysa et al. Interactive machine learning for incorporating user emotions in automatic music harmonization
JP5899832B2 (ja) 楽曲生成装置および楽曲生成方法
US20240135907A1 (en) Automatic performance device, non-transitory computer-readable medium, and automatic performance method
US20240233693A9 (en) Automatic performance device, non-transitory computer-readable medium, and automatic performance method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160704

R151 Written notification of patent or utility model registration

Ref document number: 5974473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151