JP3388481B2 - 音楽情報の曲構成自動抽出方法 - Google Patents
音楽情報の曲構成自動抽出方法Info
- Publication number
- JP3388481B2 JP3388481B2 JP24641995A JP24641995A JP3388481B2 JP 3388481 B2 JP3388481 B2 JP 3388481B2 JP 24641995 A JP24641995 A JP 24641995A JP 24641995 A JP24641995 A JP 24641995A JP 3388481 B2 JP3388481 B2 JP 3388481B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- point
- music information
- composition
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、音楽情報の曲構
成自動抽出方法に関し、特に、音楽情報から楽譜情報な
しに曲構成を自動的に抽出する音楽情報の曲構成自動抽
出方法に関する。
成自動抽出方法に関し、特に、音楽情報から楽譜情報な
しに曲構成を自動的に抽出する音楽情報の曲構成自動抽
出方法に関する。
【０００２】
【従来の技術】音楽情報の曲構成を抽出する場合、音楽
情報を電子計算機を使用して電子的な音楽記述言語によ
り表現し、音楽情報の拍子、音程、拍数、コード進行を
求め、音楽情報のコード進行の規則に基づいて音楽情報
のフレーズ、曲構成を抽出することができる。曲構成は
１或は２以上のフレーズから成り、音楽１曲の内には、
一般に、複数の曲構成が存在している。
情報を電子計算機を使用して電子的な音楽記述言語によ
り表現し、音楽情報の拍子、音程、拍数、コード進行を
求め、音楽情報のコード進行の規則に基づいて音楽情報
のフレーズ、曲構成を抽出することができる。曲構成は
１或は２以上のフレーズから成り、音楽１曲の内には、
一般に、複数の曲構成が存在している。
【０００３】ここで、音楽情報の内から音楽のダイジェ
スト情報或はサビと呼ばれる特徴部分を切り出すには、
この曲構成を切り出しの単位としている。この場合、音
楽情報が楽譜或は音楽記述言語により表現されていれ
ば、休止符毎に分割を行なうことにより曲構成を容易に
抽出することができる。
スト情報或はサビと呼ばれる特徴部分を切り出すには、
この曲構成を切り出しの単位としている。この場合、音
楽情報が楽譜或は音楽記述言語により表現されていれ
ば、休止符毎に分割を行なうことにより曲構成を容易に
抽出することができる。
【０００４】
【発明が解決しようとする課題】以上の音楽情報の曲構
成抽出方法においては、音楽情報を電子的な音楽記述言
語により再表現しなくてはならない。これを実施するに
は、電子的な音楽記述言語を熟知している必要があるこ
とは言うまでもない。そして、原の音楽情報を電子的な
音楽記述言語により再表現するには長時間を必要とす
る。その上に、この再表現作業には、各音色について原
の音楽情報と電子的な音楽記述言語により再表現したも
のとの間の聴覚による対応付けの技術を訓練により習得
することも必要であり、この再表現作業を自動化するに
は種々の困難を伴う。
成抽出方法においては、音楽情報を電子的な音楽記述言
語により再表現しなくてはならない。これを実施するに
は、電子的な音楽記述言語を熟知している必要があるこ
とは言うまでもない。そして、原の音楽情報を電子的な
音楽記述言語により再表現するには長時間を必要とす
る。その上に、この再表現作業には、各音色について原
の音楽情報と電子的な音楽記述言語により再表現したも
のとの間の聴覚による対応付けの技術を訓練により習得
することも必要であり、この再表現作業を自動化するに
は種々の困難を伴う。
【０００５】更に、電子的な音楽記述言語により再表現
された音楽情報から曲構成を抽出することができたとし
ても、電子計算機の拍は一定時間で正確に刻まれるもの
であるのに対して人間の演奏による拍には速度に変化が
伴うものであり、この点について見ても、原情報と抽出
される曲構成との間の対応づけは困難である。この発明
は、電子的な再記述を必要とせずに音楽情報の原情報か
ら音楽の曲構成を抽出し、抽出された曲構成情報のすべ
てを少ない記憶容量により格納する音楽情報の曲構成自
動抽出方法を提供するものである。
された音楽情報から曲構成を抽出することができたとし
ても、電子計算機の拍は一定時間で正確に刻まれるもの
であるのに対して人間の演奏による拍には速度に変化が
伴うものであり、この点について見ても、原情報と抽出
される曲構成との間の対応づけは困難である。この発明
は、電子的な再記述を必要とせずに音楽情報の原情報か
ら音楽の曲構成を抽出し、抽出された曲構成情報のすべ
てを少ない記憶容量により格納する音楽情報の曲構成自
動抽出方法を提供するものである。
【０００６】
【課題を解決するための手段】１或は２以上の音響およ
び音声を含む音楽情報からこの音楽情報における音声或
はメロディを含んだ有声部分を無声部分を使用して検出
分離し、検出された有声部分から音楽の一区切りである
フレーズを検出して、検出されたフレーズに基づいて音
楽情報を曲構成に分割する音楽情報の曲構成自動抽出方
法において、曲構成の開始点および終了点を検出し、開
始点のみを指定することにより音楽情報を曲構成に分割
する音楽情報の曲構成自動抽出方法を構成した。
び音声を含む音楽情報からこの音楽情報における音声或
はメロディを含んだ有声部分を無声部分を使用して検出
分離し、検出された有声部分から音楽の一区切りである
フレーズを検出して、検出されたフレーズに基づいて音
楽情報を曲構成に分割する音楽情報の曲構成自動抽出方
法において、曲構成の開始点および終了点を検出し、開
始点のみを指定することにより音楽情報を曲構成に分割
する音楽情報の曲構成自動抽出方法を構成した。
【０００７】そして、歌入曲である原曲Ａおよび原曲Ａ
から歌声を消去した伴奏曲Ａの双方を音楽情報ファイル
として録音し、録音された音楽情報ファイルを加工して
原曲Ａおよび伴奏曲Ａ双方の音楽部分のみの解析ファイ
ルを作成し、この音楽部分のみの解析ファイルを解析す
る音楽情報の曲構成自動抽出方法を構成した。また、コ
ンパクトディスク或はレコード盤の如き媒体に収録され
ている音楽情報を使用する音楽情報の曲構成自動抽出方
法を構成した。
から歌声を消去した伴奏曲Ａの双方を音楽情報ファイル
として録音し、録音された音楽情報ファイルを加工して
原曲Ａおよび伴奏曲Ａ双方の音楽部分のみの解析ファイ
ルを作成し、この音楽部分のみの解析ファイルを解析す
る音楽情報の曲構成自動抽出方法を構成した。また、コ
ンパクトディスク或はレコード盤の如き媒体に収録され
ている音楽情報を使用する音楽情報の曲構成自動抽出方
法を構成した。
【０００８】更に、原曲Ａおよび伴奏曲Ａとしてオリジ
ナルカラオケを使用する音楽情報の曲構成自動抽出方法
を構成した。
ナルカラオケを使用する音楽情報の曲構成自動抽出方法
を構成した。
【０００９】
【発明の実施の形態】この発明は、市販されているコン
パクトディスク或はレコード盤の如き媒体に収録されて
いる音楽情報について、歌声より成る音声部分の有無に
より曲構成を自動的に抽出し、各曲構成の分割点列のす
べてを蓄積しておく。この発明の実施の形態を図１を参
照して説明する。図１は曲構成自動抽出方法の全体の流
れを説明する図である。
パクトディスク或はレコード盤の如き媒体に収録されて
いる音楽情報について、歌声より成る音声部分の有無に
より曲構成を自動的に抽出し、各曲構成の分割点列のす
べてを蓄積しておく。この発明の実施の形態を図１を参
照して説明する。図１は曲構成自動抽出方法の全体の流
れを説明する図である。
【００１０】図１において、曲構成自動抽出方法は、音
楽情報を録音することとこれを音楽情報ファイルに保存
することを行なう録音部１と、音楽情報ファイルを加工
して解析ファイルを作成する解析ファイル作成部２と、
解析ファイルを解析して曲構成の抽出を行なう音楽情報
解析部３により実行される。以下、原曲Ａについて曲構
成を抽出する場合を例として説明をする。なお、原曲Ａ
とは歌およびそれ以外の音より成る歌入曲をいう。先
ず、録音部１において音楽情報ファイルを作成する。こ
の録音部１の内部構成は図２に示される通りである。入
力部１１において、歌入曲である原曲Ａ、一般にオリジ
ナルカラオケと呼ばれている原曲Ａから歌声を消去した
もの、或は音声その他の左右両チャネルの中心の位相に
録音されている音を消去する音響装置から出力される伴
奏曲Ａの録音を行ない、これらをファイル変換部１２に
おいてそれぞれ標本化、量子化を行ない、音楽情報ファ
イルとして蓄積する。
楽情報を録音することとこれを音楽情報ファイルに保存
することを行なう録音部１と、音楽情報ファイルを加工
して解析ファイルを作成する解析ファイル作成部２と、
解析ファイルを解析して曲構成の抽出を行なう音楽情報
解析部３により実行される。以下、原曲Ａについて曲構
成を抽出する場合を例として説明をする。なお、原曲Ａ
とは歌およびそれ以外の音より成る歌入曲をいう。先
ず、録音部１において音楽情報ファイルを作成する。こ
の録音部１の内部構成は図２に示される通りである。入
力部１１において、歌入曲である原曲Ａ、一般にオリジ
ナルカラオケと呼ばれている原曲Ａから歌声を消去した
もの、或は音声その他の左右両チャネルの中心の位相に
録音されている音を消去する音響装置から出力される伴
奏曲Ａの録音を行ない、これらをファイル変換部１２に
おいてそれぞれ標本化、量子化を行ない、音楽情報ファ
イルとして蓄積する。
【００１１】この録音部１に蓄積された音楽情報ファイ
ルは解析ファイル作成部２において加工される。解析フ
ァイル作成部２の内部構成は図２に示される通りであ
る。解析ファイル作成部２は、録音部１に蓄積された原
曲Ａおよび伴奏曲Ａ双方の音楽情報ファイルを解析を行
なうことができる形に加工する。解析に際して両曲のパ
ワーの差分をとる必要があるところから、両曲の同期を
とる。両曲の同期をとるには、先ず、無音検出部２１に
おいて両曲の音楽情報ファイルの先頭から後方へ順に、
無音部分の判定のために引数として与えられた閾値より
大なる値をとる点である開始点を検出する。同様に、両
曲の音楽情報ファイルの最後から前方へ順に、閾値より
大なる値をとる点である終了点を検出する。次いで、音
楽部分切出部２２において、無音検出部２１により検出
された開始点から終了点に到るまでを音楽情報ファイル
から切り出すことにより、原曲Ａおよび伴奏曲Ａ双方の
音楽部分のみの解析ファイルを作成する。
ルは解析ファイル作成部２において加工される。解析フ
ァイル作成部２の内部構成は図２に示される通りであ
る。解析ファイル作成部２は、録音部１に蓄積された原
曲Ａおよび伴奏曲Ａ双方の音楽情報ファイルを解析を行
なうことができる形に加工する。解析に際して両曲のパ
ワーの差分をとる必要があるところから、両曲の同期を
とる。両曲の同期をとるには、先ず、無音検出部２１に
おいて両曲の音楽情報ファイルの先頭から後方へ順に、
無音部分の判定のために引数として与えられた閾値より
大なる値をとる点である開始点を検出する。同様に、両
曲の音楽情報ファイルの最後から前方へ順に、閾値より
大なる値をとる点である終了点を検出する。次いで、音
楽部分切出部２２において、無音検出部２１により検出
された開始点から終了点に到るまでを音楽情報ファイル
から切り出すことにより、原曲Ａおよび伴奏曲Ａ双方の
音楽部分のみの解析ファイルを作成する。
【００１２】ここで、音楽情報解析部３において解析フ
ァイルをフレーズに分割する。音楽情報解析部３の内部
構成は図２に示される通りである。音楽情報解析部３は
声の区切れる区切れ点である開始点および終了点を決定
する解析部であり、区切れ点以前の無声部分、区切れ点
以降の有声部分の割合が与えられた閾値より大きいこと
を条件とし、閾値を引数として要求する。この割合をＭ
として説明する。
ァイルをフレーズに分割する。音楽情報解析部３の内部
構成は図２に示される通りである。音楽情報解析部３は
声の区切れる区切れ点である開始点および終了点を決定
する解析部であり、区切れ点以前の無声部分、区切れ点
以降の有声部分の割合が与えられた閾値より大きいこと
を条件とし、閾値を引数として要求する。この割合をＭ
として説明する。
【００１３】先ず、開始点決定部３１において原曲Ａと
伴奏曲Ａとの間の相関をとり、相関値が最も大きな値と
なった両曲の点を開始点とみて両曲の同期を確実にと
る。次いで、図５をも参照するに、差分データ算出部３
２において、両曲について音声認識合成処理において一
般に採用される２００ミリ秒のフレーム長毎にフレーム
の先頭のパワーを算出し、原曲Ａの先頭のパワーの対数
と伴奏曲Ａの先頭のパワーの対数の差分をとり、同様
に、次のフレームの先頭のパワーの差分をとるという様
に、各フレーム毎に差分をとる。
伴奏曲Ａとの間の相関をとり、相関値が最も大きな値と
なった両曲の点を開始点とみて両曲の同期を確実にと
る。次いで、図５をも参照するに、差分データ算出部３
２において、両曲について音声認識合成処理において一
般に採用される２００ミリ秒のフレーム長毎にフレーム
の先頭のパワーを算出し、原曲Ａの先頭のパワーの対数
と伴奏曲Ａの先頭のパワーの対数の差分をとり、同様
に、次のフレームの先頭のパワーの差分をとるという様
に、各フレーム毎に差分をとる。
【００１４】無声部分閾値決定部３３は伴奏のみで歌の
存在しない無声部分を判定する決定部であり、差分デー
タ算出部３２において算出された差分が初期値として与
えられた閾値より大である点を先頭の差分から順に探
し、先頭からその点までの範囲内で最大の差分を無声部
分閾値として決定する。区切り候補検出部３４は、有声
部分と無声部分とが切り替わる点である区切り点を検出
する。無声部分閾値決定部３３において決定された閾値
よりも差分が大きな値をとる点である有声部分を探し、
数曲のサンプル曲から調べたその点以前に間奏が持続す
る最低限の長さ２秒分のデータ範囲について、無声部分
と判断される点と、逆にその点以降歌声が持続する最低
限の長さ２秒分のデータ範囲について、有声部分と判断
される点が検出される割合がＭより大きな値をとれば、
その点は有声部分開始点、即ち、区切り点候補となる。
同様に、その点以前の２秒分のデータ範囲で有声部分と
判断される点とその点以降の２秒分のデータ範囲で無声
部分と判断される点が検出される割合がＭより大きな値
をとる点も区切り点候補に挙げられる。区切り点候補は
図６において、縦点線により示される通りである。
存在しない無声部分を判定する決定部であり、差分デー
タ算出部３２において算出された差分が初期値として与
えられた閾値より大である点を先頭の差分から順に探
し、先頭からその点までの範囲内で最大の差分を無声部
分閾値として決定する。区切り候補検出部３４は、有声
部分と無声部分とが切り替わる点である区切り点を検出
する。無声部分閾値決定部３３において決定された閾値
よりも差分が大きな値をとる点である有声部分を探し、
数曲のサンプル曲から調べたその点以前に間奏が持続す
る最低限の長さ２秒分のデータ範囲について、無声部分
と判断される点と、逆にその点以降歌声が持続する最低
限の長さ２秒分のデータ範囲について、有声部分と判断
される点が検出される割合がＭより大きな値をとれば、
その点は有声部分開始点、即ち、区切り点候補となる。
同様に、その点以前の２秒分のデータ範囲で有声部分と
判断される点とその点以降の２秒分のデータ範囲で無声
部分と判断される点が検出される割合がＭより大きな値
をとる点も区切り点候補に挙げられる。区切り点候補は
図６において、縦点線により示される通りである。
【００１５】不適切候補点検出部３５は、区切り点候補
の内の特に無声部分開始に位置する区切り点に注目し、
区切り点として検出すべきではない点である撥音便或は
促音便の区切り点候補を候補から除外する。その条件と
して、当該点候補の前後の差分が図１２および図１３の
様に推移している場合を正しい点と考え、図７において
×の実線矢印により示される点をこの条件を満足しない
点として除外する。
の内の特に無声部分開始に位置する区切り点に注目し、
区切り点として検出すべきではない点である撥音便或は
促音便の区切り点候補を候補から除外する。その条件と
して、当該点候補の前後の差分が図１２および図１３の
様に推移している場合を正しい点と考え、図７において
×の実線矢印により示される点をこの条件を満足しない
点として除外する。
【００１６】カット点候補検出部３６はフレーズの区切
れ目の点（以下、カット点と称す）Ｓ0 〜Ｓn を検出す
る。不適切候補点検出部３５において、配列に残ってい
る点列の内の、区切り候補検出部３４において検出の基
準とされた傾きの最大値の閾値を更に２倍することによ
り、より差分の動きの大きな点をカット点として挙げて
いく。次に、図１２の場合は、長い無声部分が続くた
め、立ち上がり直前で差分の変化の上下する部分が生じ
ることを考慮して、差分の立ち上がりが急ではあるがそ
の点以前の４フレームが無声部分と判断不可能な部分は
カット点から除外して図８において縦の点線により示さ
れる点をより正確に有声部分の開始と判断可能な点とし
て選び出す。
れ目の点（以下、カット点と称す）Ｓ0 〜Ｓn を検出す
る。不適切候補点検出部３５において、配列に残ってい
る点列の内の、区切り候補検出部３４において検出の基
準とされた傾きの最大値の閾値を更に２倍することによ
り、より差分の動きの大きな点をカット点として挙げて
いく。次に、図１２の場合は、長い無声部分が続くた
め、立ち上がり直前で差分の変化の上下する部分が生じ
ることを考慮して、差分の立ち上がりが急ではあるがそ
の点以前の４フレームが無声部分と判断不可能な部分は
カット点から除外して図８において縦の点線により示さ
れる点をより正確に有声部分の開始と判断可能な点とし
て選び出す。
【００１７】図１４および図１５を参照するに、歌い出
し点選出部３７は、一般に、歌詞で１番、２番といわれ
る各コーラスの開始点の候補点となる歌い出し点Ｐ0 〜
Ｐnをカット点候補検出部３６で選ばれた点列の内から
探す。先ず、コーラス開始点は歌い出し点Ｐ0 〜Ｐn か
ら数フレームに渡って無声部分と判断される部分である
前奏部が前に持続して存在していると考える。このこと
から、１フレームを前奏部の長さＬの初期値とし、カッ
ト点列の内から当該点から前にＬ以上無声部分が持続す
る点を選出する。ここにおいては、数曲のサンプル曲か
ら調べた結果から１曲中のコーラスは８以下と考え、全
ての点について調べた結果、開始点が８以上選出された
場合はＬが短く該当する点が多く選出されたということ
に等しいため、Ｌを１フレーム増加させて同様に選出処
理行ない、開始点が８以下となったところで選出処理を
停止する。選出された歌い出し点は図９において、実線
矢印により示される通りである。
し点選出部３７は、一般に、歌詞で１番、２番といわれ
る各コーラスの開始点の候補点となる歌い出し点Ｐ0 〜
Ｐnをカット点候補検出部３６で選ばれた点列の内から
探す。先ず、コーラス開始点は歌い出し点Ｐ0 〜Ｐn か
ら数フレームに渡って無声部分と判断される部分である
前奏部が前に持続して存在していると考える。このこと
から、１フレームを前奏部の長さＬの初期値とし、カッ
ト点列の内から当該点から前にＬ以上無声部分が持続す
る点を選出する。ここにおいては、数曲のサンプル曲か
ら調べた結果から１曲中のコーラスは８以下と考え、全
ての点について調べた結果、開始点が８以上選出された
場合はＬが短く該当する点が多く選出されたということ
に等しいため、Ｌを１フレーム増加させて同様に選出処
理行ない、開始点が８以下となったところで選出処理を
停止する。選出された歌い出し点は図９において、実線
矢印により示される通りである。
【００１８】コーラス開始点決定部３８は１コーラスお
よび２コーラスについて各コーラス開始点を決定する。
歌い出し点選出部３７において選出された歌い出し点列
Ｐ0〜Ｐn の内から１コーラスおよび２コーラスの開始
点となるものを選出する。通常は、歌い出し点列の第１
歌い出し点Ｐ0 が１コーラスの開始点、第２歌い出し点
Ｐ1 が２コーラスの開始点となるが、冒頭部分に数フレ
ーズ存在している場合はこの点は１コーラスの開始点の
第１点とはならない。そのために、カット点候補検出部
３６で検出されたカット点列Ｓ0 〜Ｓn を利用して、図
９の様に歌い出し列第１点Ｐ0 、第２点Ｐ1 がカット点
列第１点Ｓ0 、第２点Ｓ1 に一致している場合には、前
奏から、数フレーズ、１コーラス開始前の間奏、という
構成をとっていると判断し、開始点列第２点Ｐ1 を１コ
ーラス開始点とする。コーラス開始点は図１０において
実線矢印により示される。
よび２コーラスについて各コーラス開始点を決定する。
歌い出し点選出部３７において選出された歌い出し点列
Ｐ0〜Ｐn の内から１コーラスおよび２コーラスの開始
点となるものを選出する。通常は、歌い出し点列の第１
歌い出し点Ｐ0 が１コーラスの開始点、第２歌い出し点
Ｐ1 が２コーラスの開始点となるが、冒頭部分に数フレ
ーズ存在している場合はこの点は１コーラスの開始点の
第１点とはならない。そのために、カット点候補検出部
３６で検出されたカット点列Ｓ0 〜Ｓn を利用して、図
９の様に歌い出し列第１点Ｐ0 、第２点Ｐ1 がカット点
列第１点Ｓ0 、第２点Ｓ1 に一致している場合には、前
奏から、数フレーズ、１コーラス開始前の間奏、という
構成をとっていると判断し、開始点列第２点Ｐ1 を１コ
ーラス開始点とする。コーラス開始点は図１０において
実線矢印により示される。
【００１９】曲構成検出部３９は、１コーラスと２コー
ラスが同じ構成をとっていれば、楽譜上同じ部分に休符
点が生じていることから、同じ部分でカット点が検出さ
れるという条件を満たす点を曲構成開始点として検出す
る。先ず、１コーラスの第１点（Ｘi ）から第２点（Ｘ
i+1)までのデータ長（Ｌ1 ）と、２コーラスの第１点
（Ｙj ）から第２点（Ｙj+1)までのデータ長（Ｌ2)とを
比較し、Ｌ1 ＝Ｌ2 であれば各コーラスの第１点と第２
点に挟まれたフレーズが同じと考えられ、第１点から第
２点までが第１曲構成となる。同様に、Ｘi 、Ｙj にそ
れぞれ第２点を代入し、Ｘi+1 、Ｙj+1 にそれぞれ第３
点を代入してデータ長Ｌ1 とデータ長Ｌ2とを比較して
行く。
ラスが同じ構成をとっていれば、楽譜上同じ部分に休符
点が生じていることから、同じ部分でカット点が検出さ
れるという条件を満たす点を曲構成開始点として検出す
る。先ず、１コーラスの第１点（Ｘi ）から第２点（Ｘ
i+1)までのデータ長（Ｌ1 ）と、２コーラスの第１点
（Ｙj ）から第２点（Ｙj+1)までのデータ長（Ｌ2)とを
比較し、Ｌ1 ＝Ｌ2 であれば各コーラスの第１点と第２
点に挟まれたフレーズが同じと考えられ、第１点から第
２点までが第１曲構成となる。同様に、Ｘi 、Ｙj にそ
れぞれ第２点を代入し、Ｘi+1 、Ｙj+1 にそれぞれ第３
点を代入してデータ長Ｌ1 とデータ長Ｌ2とを比較して
行く。
【００２０】この際、各コーラスの間に歌法の差があっ
て、カット点にずれが生じていることも考えられる。そ
こで、両コーラスのデータ長を比較する際に、データ長
が等しいものとみなすずれ幅Ｗを設定する。ずれ幅Ｗの
初期値を０とし、 絶対値｜Ｌ1 −Ｌ2 ｜＜Ｗ・・・・・（ａ） の時、同じフレーズが存在するとみなす。ここで、ずれ
幅Ｗ＝０であるものと設定すると、この場合は全く同じ
ところにカット点が現れていなくては、同じフレーズが
存在しているとみなさないということになる。そこで、 絶対値｜Ｌ1 −Ｌ2 ｜＞Ｗ・・・・・（ｂ） となる場合、Ｘi+1 に１コーラス第３点を代入する。即
ち、Ｌ1 を１コーラスの第１点から第３点までのデータ
長とし、Ｌ2 と比較する。この様にして式（ａ）が成り
立つ場合は１コーラスの第１点から第３点までと２コー
ラスの第１点から第２点までに同じフレーズが存在して
おり、第１曲構成ということになる。式（ａ）が成り立
たない場合、Ｘi+1 を第２点に戻し、Ｙj+1 を１増や
す。即ち、２コーラスの方の当該データ長を変化させて
同様に比較を行なう。第１曲構成部分が決定されれば、
各コーラスの第１曲構成の終止点をＸi 、Ｙj とし、次
のカット点候補をＸi+1 、Ｙj+1 として同様に比較決定
を行なう。
て、カット点にずれが生じていることも考えられる。そ
こで、両コーラスのデータ長を比較する際に、データ長
が等しいものとみなすずれ幅Ｗを設定する。ずれ幅Ｗの
初期値を０とし、 絶対値｜Ｌ1 −Ｌ2 ｜＜Ｗ・・・・・（ａ） の時、同じフレーズが存在するとみなす。ここで、ずれ
幅Ｗ＝０であるものと設定すると、この場合は全く同じ
ところにカット点が現れていなくては、同じフレーズが
存在しているとみなさないということになる。そこで、 絶対値｜Ｌ1 −Ｌ2 ｜＞Ｗ・・・・・（ｂ） となる場合、Ｘi+1 に１コーラス第３点を代入する。即
ち、Ｌ1 を１コーラスの第１点から第３点までのデータ
長とし、Ｌ2 と比較する。この様にして式（ａ）が成り
立つ場合は１コーラスの第１点から第３点までと２コー
ラスの第１点から第２点までに同じフレーズが存在して
おり、第１曲構成ということになる。式（ａ）が成り立
たない場合、Ｘi+1 を第２点に戻し、Ｙj+1 を１増や
す。即ち、２コーラスの方の当該データ長を変化させて
同様に比較を行なう。第１曲構成部分が決定されれば、
各コーラスの第１曲構成の終止点をＸi 、Ｙj とし、次
のカット点候補をＸi+1 、Ｙj+1 として同様に比較決定
を行なう。
【００２１】ずれ幅Ｗにより分割処理を進めて行き、分
割処理が終了した時点において、各コーラスが３分割以
上５分割以下の数に分割されているか否かを調べる。な
お、この３分割以上５分割以下という数は数曲のサンプ
ル曲を調査した結果得られた統計的な構成数である。該
当分割数がこの範囲内に収まっている場合、分割処理は
終了する。分割数がこの範囲内に収まっていない場合
は、ずれ幅Ｗを１フレーム増加させて再度第１点から分
割処理を行なっていく。以上の処理により獲得された各
曲構成の開始点のみを構成点列として記憶する。曲構成
に分割された結果は図１１において、実線両方向矢印に
より示される通りである。
割処理が終了した時点において、各コーラスが３分割以
上５分割以下の数に分割されているか否かを調べる。な
お、この３分割以上５分割以下という数は数曲のサンプ
ル曲を調査した結果得られた統計的な構成数である。該
当分割数がこの範囲内に収まっている場合、分割処理は
終了する。分割数がこの範囲内に収まっていない場合
は、ずれ幅Ｗを１フレーム増加させて再度第１点から分
割処理を行なっていく。以上の処理により獲得された各
曲構成の開始点のみを構成点列として記憶する。曲構成
に分割された結果は図１１において、実線両方向矢印に
より示される通りである。
【００２２】
【発明の効果】以上の通りであって、この発明は、曲構
成毎の開始点を自動的に獲得することができるので、曲
構成分割に使用した音楽情報と各曲構成の開始点を対応
させることにより、曲構成の開始点を指定すれば、終了
点を模索することなしに、自動的に曲構成に則ったダイ
ジェスト情報を作成することができる。
成毎の開始点を自動的に獲得することができるので、曲
構成分割に使用した音楽情報と各曲構成の開始点を対応
させることにより、曲構成の開始点を指定すれば、終了
点を模索することなしに、自動的に曲構成に則ったダイ
ジェスト情報を作成することができる。
【００２３】そして、指定されたダイジェスト情報をは
さみ、提示するダイジェスト情報の長さを変化させるこ
とが必要な場合でも、曲構成毎に区切られているので、
時間だけを優先し、音楽的な構成を無視して歌声の途中
で区切られるということはない。また、各曲構成の開始
点のみを点列で格納してよいことから、少ない記憶容量
で音楽情報を提示したい場合においても応用することが
できる。
さみ、提示するダイジェスト情報の長さを変化させるこ
とが必要な場合でも、曲構成毎に区切られているので、
時間だけを優先し、音楽的な構成を無視して歌声の途中
で区切られるということはない。また、各曲構成の開始
点のみを点列で格納してよいことから、少ない記憶容量
で音楽情報を提示したい場合においても応用することが
できる。
【図１】この発明の曲構成分割の全体の構成を説明する
図。
図。
【図２】録音部の処理の流れを説明する図。
【図３】解析ファイル作成部の処理の流れを説明する
図。
図。
【図４】音楽情報解析部の処理の流れを説明する図。
【図５】差分データの変化を示す図。
【図６】検出された区切り候補点を示す図。
【図７】区切り候補点の内の曲構成の区切りとはなり得
ない不適切候補点を示す図。
ない不適切候補点を示す図。
【図８】カット点候補点を示す図。
【図９】歌い出し点を示す図。
【図１０】コーラス開始点を示す図。
【図１１】曲構成に分割された結果を示す図。
【図１２】長い休符付近の差分データの変化を示す図。
【図１３】短い休符付近の差分データの変化を示す図。
【図１４】歌い出し点とコーラス開始点の関係を示す
図。
図。
【図１５】歌い出し点選出部の処理の流れを説明する
図。
図。
【図１６】曲構成検出部の処理の流れを説明する図。
１ 録音部
１１ 入力部
１２ ファイル変換部
２ 解析ファイル作成部
２１ 無音検出部
２２ 音楽部分切出部
３ 音楽情報解析部
３１ 開始点決定部
３２ 差分データ算出部
３３ 無声部分閾値決定部
３４ 区切り候補検出部
３５ 不適切候補点検出部
３６ カット点候補検出部
３７ 歌い出し点選出部
３８ コーラス開始点決定部
３９ 曲構成検出部
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 15/10
Claims (4)
- 【請求項１】 １或は２以上の音響および音声を含む音
楽情報からこの音楽情報における音声或はメロディを含
んだ有声部分を無声部分を使用して検出分離し、検出さ
れた有声部分から音楽の一区切りであるフレーズを検出
して、検出されたフレーズに基づいて音楽情報を曲構成
に分割する音楽情報の曲構成自動抽出方法において、 曲構成の開始点および終了点を検出し、開始点のみを指
定することにより 音楽情報を曲構成に分割することを特
徴とする音楽情報の曲構成自動抽出方法。 - 【請求項２】 請求項１に記載される音楽情報の曲構成
自動抽出方法において、歌入曲である原曲Ａおよび原曲
Ａから歌声を消去した伴奏曲Ａの双方を音楽情報ファイ
ルとして録音し、録音された音楽情報ファイルを加工し
て原曲Ａおよび伴奏曲Ａ双方の音楽部分のみの解析ファ
イルを作成し、この音楽部分のみの解析ファイルを解析
することを特徴とする音楽情報の曲構成自動抽出方法。 - 【請求項３】 請求項１および請求項２の内の何れかに
記載される音楽情報の曲構成自動抽出方法において、コ
ンパクトディスク或はレコード盤の如き媒体に収録され
ている音楽情報を使用することを特徴とする音楽情報の
曲構成自動抽出方法。 - 【請求項４】 請求項３に記載される音楽情報の曲構成
自動抽出方法において、原曲Ａおよび伴奏曲Ａとしてオ
リジナルカラオケを使用することを特徴とする音楽情報
の曲構成自動抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24641995A JP3388481B2 (ja) | 1995-09-25 | 1995-09-25 | 音楽情報の曲構成自動抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24641995A JP3388481B2 (ja) | 1995-09-25 | 1995-09-25 | 音楽情報の曲構成自動抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0990978A JPH0990978A (ja) | 1997-04-04 |
| JP3388481B2 true JP3388481B2 (ja) | 2003-03-24 |
Family
ID=17148205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24641995A Expired - Fee Related JP3388481B2 (ja) | 1995-09-25 | 1995-09-25 | 音楽情報の曲構成自動抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3388481B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS56103898U (ja) * | 1980-01-10 | 1981-08-14 | ||
| JP4961300B2 (ja) * | 2006-08-14 | 2012-06-27 | 三洋電機株式会社 | 楽曲一致判定装置、楽曲記録装置、楽曲一致判定方法、楽曲記録方法、楽曲一致判定プログラム、及び楽曲記録プログラム |
| JP2008241850A (ja) * | 2007-03-26 | 2008-10-09 | Sanyo Electric Co Ltd | 録音または再生装置 |
| CN102754159B (zh) | 2009-10-19 | 2016-08-24 | 杜比国际公司 | 指示音频对象的部分的元数据时间标记信息 |
-
1995
- 1995-09-25 JP JP24641995A patent/JP3388481B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0990978A (ja) | 1997-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gómez et al. | Towards computer-assisted flamenco transcription: An experimental comparison of automatic transcription algorithms as applied to a cappella singing | |
| US7058889B2 (en) | Synchronizing text/visual information with audio playback | |
| Soulez et al. | Improving polyphonic and poly-instrumental music to score alignment | |
| EP1909263B1 (en) | Exploitation of language identification of media file data in speech dialog systems | |
| US7488886B2 (en) | Music information retrieval using a 3D search algorithm | |
| Brossier | Automatic annotation of musical audio for interactive applications | |
| EP3843083A1 (en) | Method, system, and computer-readable medium for creating song mashups | |
| JP4344499B2 (ja) | 音楽データベースの検索 | |
| US10235981B2 (en) | Intelligent crossfade with separated instrument tracks | |
| McNab et al. | Tune retrieval in the multimedia library | |
| Lu | Indexing and retrieval of audio: A survey | |
| JP2002014691A (ja) | ソース音声信号内の新規点の識別方法 | |
| Haus et al. | An audio front end for query-by-humming systems | |
| Ellis et al. | Classification-based melody transcription | |
| Fujihara et al. | Lyrics-to-audio alignment and its application | |
| Eggink et al. | Extracting Melody Lines From Complex Audio. | |
| Zhang et al. | System and method for automatic singer identification | |
| Rao et al. | Structural Segmentation of Alap in Dhrupad Vocal Concerts. | |
| JP3388481B2 (ja) | 音楽情報の曲構成自動抽出方法 | |
| JP5131904B2 (ja) | 音楽音響信号と歌詞の時間的対応付けを自動で行うシステム及び方法 | |
| Gómez Gutiérrez et al. | A quantitative comparison of different approaches for melody extraction from polyphonic audio recordings | |
| Zhang | Semi-automatic approach for music classification | |
| Zhang et al. | Automatic generation of music thumbnails | |
| CN113646756A (zh) | 信息处理装置、方法以及程序 | |
| Carpenter et al. | Rhythm in the speech and music of jazz and riddim musicians |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100117 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110117 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110117 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120117 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130117 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |