JP2010122629A - 情報処理装置、音声解析方法、及びプログラム - Google Patents
情報処理装置、音声解析方法、及びプログラム Download PDFInfo
- Publication number
- JP2010122629A JP2010122629A JP2008298567A JP2008298567A JP2010122629A JP 2010122629 A JP2010122629 A JP 2010122629A JP 2008298567 A JP2008298567 A JP 2008298567A JP 2008298567 A JP2008298567 A JP 2008298567A JP 2010122629 A JP2010122629 A JP 2010122629A
- Authority
- JP
- Japan
- Prior art keywords
- beat
- probability
- unit
- chord
- bar line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
- G10H2250/015—Markov chains, e.g. hidden Markov models [HMM], for musical processing, e.g. musical analysis or musical composition
- G10H2250/021—Dynamic programming, e.g. Viterbi, for finding the most likely or most desirable sequence in music analysis, processing or composition
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
【解決手段】音声信号に含まれるビート位置を検出するビート解析部と、前記ビート解析部により検出された各ビート位置により区分されるビート区間同士の音声の内容が類似している確率である類似確率を計算する楽曲構造解析部と、前記楽曲構造解析部により計算された前記類似確率に応じて決定される小節線確率であって、各ビートが何拍子何拍目であるかを表す当該小節線確率に基づいて、前記音声信号の尤もらしい小節線の進行を決定する小節線検出部と、を備える情報処理装置を提供する。
【選択図】図1
Description
1.一実施形態に係る情報処理装置の全体の構成
2.一実施形態に係る情報処理装置の各部の説明
2−1.ログスペクトル変換部
2−2.ビート確率算出部
2−3.ビート解析部
2−4.楽曲構造解析部
2−5.コード確率算出部
2−6.キー検出部
2−7.小節線検出部
2−8.コード進行検出部
3.本実施形態に係る情報処理装置の特徴
4.まとめ
まず、本発明の一実施形態に係る情報処理装置100の全体的な構成について説明する。
[2−1.ログスペクトル変換部]
ログスペクトル変換部110は、入力信号である音声信号の波形を、時間と音程の二次元で表されるログスペクトルに変換する。音声信号の波形をログスペクトルに変換する手法としては、例えば、特開2005−275068に記載された手法を用いることができる。
ビート確率算出部120は、ログスペクトル変換部110から入力されたログスペクトルの所定の時間単位(例えば1フレーム)ごとに、その時間単位にビートが含まれる確率(以下、ビート確率という)を算出する。なお、所定の時間単位を1フレームとした場合には、ビート確率とは各フレームがビート位置(ビートの時間軸上の位置)に一致している確率とみなすことができる。ビート確率の算出には、例えば、特開2008−123011に記載された学習アルゴリズムを応用した機械学習の結果取得されるビート確率算出式を用いる。
ビート解析部130は、ビート確率算出部120から入力されるビート確率に基づいて、音声信号に含まれるビートの時間軸上の位置、即ちビート位置を決定する。
オンセット検出部132は、図5を用いて説明した、ビート確率算出部120から入力されるビート確率に基づいて、音声信号に含まれるオンセットを検出する。なお、本明細書において、オンセットとは、音声信号の中で音が発せられた時点を指し、より具体的には、ビート確率が所定の閾値以上であって極大値をとる点として扱われる。
ビートスコア計算部134は、オンセット検出部132により検出された各オンセットについて、それぞれ一定のテンポ(又は一定のビート間隔)を有する何らかのビートに一致している度合いを表すビートスコアを計算する。
ビート探索部136は、ビートスコア計算部134により計算されたビートスコアに基づいて、尤もらしいテンポ変動を示すオンセット位置の経路を探索する。ビート探索部136による経路探索の手法としては、例えば、隠れマルコフモデルに基づくビタビアルゴリズムを用いることができる。
一定テンポ判定部138は、ビート探索部136により決定された最適経路が、ビート間隔(即ち、各ノードについて想定されるビート間隔)の分散の小さい一定のテンポを示しているか否かを判定する。より具体的には、一定テンポ判定部138は、まず、ビート探索部136から入力された最適経路に含まれるノードのビート間隔の集合について分散を計算する。そして、一定テンポ判定部138は、算出された分散が予め与えられる所定の閾値よりも小さい場合にはテンポは一定と判定し、所定の閾値よりも大きい場合にはテンポは一定でないと判定する。
一定テンポ用ビート再探索部140は、ビート探索部136から出力された最適経路が一定テンポ判定部138により一定のテンポを示していると判定された場合に、最も頻度の高いビート間隔の周辺のみに探索の対象のノードを限定して経路探索を再実行する。
ビート決定部142は、ビート探索部136により決定された最適経路、又は一定テンポ用ビート再探索部140により再決定された最適経路と、それら経路に含まれる各ノードのビート間隔とに基づいて、音声信号に含まれるビート位置を決定する。
ビート決定部142により決定されたビート位置により表されるテンポは、楽曲の本来のテンポの2倍や1/2倍、3/2倍、2/3倍などの定数倍になっている可能性がある。テンポ補正部144は、その可能性を考慮し、誤って定数倍に認識しているテンポを補正して楽曲の本来のテンポを再現する。
(1)波形に基づいて推定される推定テンポの決定
(2)複数の基本倍率のうち最適な基本倍率の決定
(3)基本倍率が1倍となるまで(2)を繰返し
まず、テンポ補正部144は、音声信号の波形に現れる音質的特徴から妥当であると推定される推定テンポを決定する。推定テンポの決定には、例えば、上述した特開2008−123011に記載された学習アルゴリズムを応用した機械学習の結果取得される推定テンポ判別式を用いることができる。
次に、テンポ補正部144は、複数の基本倍率のうち、補正後のテンポが楽曲の本来のテンポに最も近い基本倍率を決定する。ここで、基本倍率とは、テンポの補正に用いる定数比の基本単位となる倍率である。例えば、本実施形態では、基本倍率を1/3倍、1/2倍、2/3倍、1倍、3/2倍、2倍、3倍の7種類の倍率として説明する。但し、基本倍率はかかる例に限定されず、例えば1/3倍、1/2倍、1倍、2倍、3倍の5種類の倍率などであってもよい。
その後、テンポ補正部144は、最もテンポ尤度の高い基本倍率が1倍となるまで、基本倍率ごとの平均ビート確率の計算とテンポ尤度の算出を繰り返す。その結果、テンポ補正部144による補正前のテンポが楽曲の本来のテンポの1/4倍や1/6倍、4倍、6倍などであったとしても、基本倍率の組合せによって得られる適切な補正倍率(例えば、1/2倍×1/2倍=1/4倍)でテンポを補正することができる。
楽曲構造解析部150は、ログスペクトル変換部110から入力される音声信号のログスペクトルとビート解析部130から入力されるビート位置とに基づいて、音声信号に含まれるビート区間同士の音声の類似確率を計算する。
ビート区間特徴量計算部152は、ビート解析部130により検出された各ビートについて、そのビートから次のビートまでのビート区間における部分ログスペクトルの特徴を表すビート区間特徴量を計算する。
相関計算部154は、ビート区間特徴量計算部152から入力されるビート区間特徴量、即ちビート区間ごとの12音別エネルギーを用いて、音声信号に含まれるビート区間の全ての組合せについてのビート区間同士の相関係数を計算する。
類似確率生成部156は、予め生成される変換曲線を用いて、相関計算部154から入力されたビート区間同士の相関係数を、ビート区間の音声の内容が相互に類似している程度を表す類似確率に変換する。
コード確率算出部160は、ビート解析部130により検出された各ビートについて、対応するビート区間内で各コードが演奏されている確率を表すコード確率を算出する。
ビート区間特徴量計算部162は、楽曲構造解析部150のビート区間特徴量計算部152と同様に、ビート解析部130により検出された各ビートについて、対応するビート区間内の音声信号の特徴を表すビート区間特徴量としての12音別エネルギーを計算する。ビート区間特徴量計算部162による12音別エネルギーの計算処理は、図28〜図30を用いて説明したビート区間特徴量計算部152による処理と同様である。但し、ビート区間特徴量計算部162は、12音ごとのオクターブ別平均エネルギーと重み付け加算する重みの値として、図30に示した重みW1、W2…Wnとは異なる値を用いてもよい。ビート区間特徴量計算部162は、ビート区間特徴量としての12音別エネルギーを計算し、ルート別特徴量準備部164へ出力する。
ルート別特徴量準備部164は、ビート区間特徴量計算部162から入力される12音別エネルギーから、ビート区間ごとのコード確率の算出に用いられるルート別特徴量を生成する。
コード確率計算部166は、ルート別特徴量準備部164から入力されたルート別特徴量を用いて、ビート区間ごとに、各コードが演奏されている確率を表すコード確率を算出する。ここで、各コードとは、例えば、ルート(C、C#、D…)や構成音の数(三和音、四和音(7th)、五和音(9th))、及び長短(メジャー/マイナー)などにより区別される個々のコードのことをいう。コード確率の算出には、例えば、ロジスティック回帰分析によって予め学習されたコード確率算出式を用いることができる。
キー検出部170は、コード確率算出部160により算出されたビート区間ごとのコード確率を用いて、ビート区間ごとのキー(調/基本音階)を検出する。また、キー検出部170は、キー検出処理の過程において、ビート区間ごとのキー確率を算出する。
相対コード確率生成部172は、コード確率算出部160から入力されるビート区間ごとのコード確率から、ビート区間ごとのキー確率の算出に用いられる相対コード確率を生成する。
特徴量準備部174は、ビート区間ごとのキー確率の算出に用いられる特徴量として、相対コード確率生成部172から入力される相対コード確率からビート区間ごとのコード出現スコア及びコード遷移出現スコアを生成する。
キー確率計算部176は、特徴量準備部174から入力されたコード出現スコア及びコード遷移出現スコアを用いて、ビート区間ごとに、各キーが演奏されている確率を表すキー確率を算出する。ここで、各キーとは、例えば、12音(C、C#、D…)及び長短(メジャー/マイナー)により区別されるキーをいう。キー確率の算出には、例えば、ロジスティック回帰分析によって予め学習されたキー確率算出式を用いることができる。
キー決定部178は、キー確率計算部176によりビート区間ごとに算出された各キーのキー確率に基づいて、尤もらしいキーの進行を経路探索により決定する。キー決定部178による経路探索の手法としては、例えば、上述したビタビアルゴリズムを用いることができる。
小節線検出部180は、ビート確率、ビート区間同士の類似確率、ビート区間ごとのコード確率、キー進行、及びビート区間ごとのキー確率に基づいて、一連のビートがそれぞれ何拍子何拍目であるかを表す小節線の進行を決定する。
第1特徴量抽出部181は、後述する小節線確率の計算に用いられる特徴量として、ビート区間ごとに、前後Lビート分のコード確率とキー確率に応じた第1特徴量を抽出する。
コード非変化スコアとは、一定の範囲の区間にわたって楽曲のコードが変化していない度合いを表す特徴量である。コード非変化スコアは、次に述べるコード安定スコアをコード不安定スコアで除算することにより求められる。
相対コードスコアとは、一定の範囲の区間にわたるコードの出現確率とそのパターンを表す特徴量である。相対コードスコアは、キー検出部170から入力されるキー進行に合わせてコード確率をシフトさせて生成される。
第2特徴量抽出部182は、後述する小節線確率の計算に用いられる特徴量として、各ビート区間について、前後Lビート分の区間にわたるビート確率の変化の特徴に応じた第2特徴量を抽出する。
小節線確率計算部184は、上述した第1特徴量及び第2特徴量を用いて、ビートごとに、小節線確率を算出する。ここで、本明細書において、小節線確率とは、あるビートがX拍子のY拍目である確率の集合を意味する。また、本実施形態では、一例として、1/4拍子、2/4拍子、3/4拍子及び4/4拍子の各拍子の各拍数を判別の対象とする。即ち、本実施形態において、XとYの組合せは(X,Y)=(1,1)、(2,1)、(2,2)、(3,1)、(3,2)、(3,3)、(4,1)、(4,2)、(4,3)、(4,4)の10通り存在し、10種類の小節線確率が算出される。なお、小節線確率計算部184により算出される確率値は、後述する小節線確率修正部186により楽曲の構造を考慮して修正される。即ち、小節線確率計算部184により算出される確率は、修正前の中間的なデータである。小節線確率計算部184による小節線確率の算出には、例えば、ロジスティック回帰分析によって予め学習された小節線確率算出式を用いることができる。
小節線確率修正部186は、楽曲構造解析部150から入力されるビート区間同士の類似確率に基づいて、小節線確率計算部184から入力される小節線確率を修正する。
小節線決定部188は、小節線確率修正部186から入力されたビートごとのX拍子Y拍目の小節線確率に基づいて、尤もらしい小節線の進行を経路探索により決定する。小節線決定部188による経路探索の手法としては、例えば、上述したビタビアルゴリズムを用いることができる。
ここで、通常の楽曲において、ビートの種類の3拍子と4拍子が混在することは稀である。そこで、小節線再決定部189は、まず小節線決定部188から入力された小節線進行において出現したビートの種類に3拍子と4拍子とが混在しているか否かを判定する。そして、小節線再決定部189は、ビートの種類に3拍子と4拍子とが混在していた場合には、より出現頻度の低い拍子を探索の対象から除外して小節線の進行を示す最適な経路を再度探索する。このような小節線再決定部189による経路の再探索処理により、経路探索の結果部分的に発生する可能性のある小節線(ビートの種類)の認識の誤りを減少させることができる。
コード進行検出部190は、ビート区間ごとの単純キー確率、ビート区間同士の類似確率、及び小節線の進行に基づいて、ビート区間ごとの一連のコードにより構成される尤もらしいコード進行を決定する。
ビート区間特徴量計算部192は、まず、コード確率算出部160のビート区間特徴量計算部162と同様に、12音別エネルギーを計算する(12音別エネルギーの計算処理については、図28〜図30参照)。その代わりに、ビート区間特徴量計算部192は、ビート区間特徴量計算部162により算出された12音別エネルギーを取得して利用してもよい。
ルート別特徴量準備部194は、ビート区間特徴量計算部192から入力される拡張ビート区間特徴量の要素位置をシフトさせ、12通りの拡張ルート別特徴量を生成する。
コード確率計算部196は、ルート別特徴量準備部194から入力された拡張ルート別特徴量を用いて、ビート区間ごとに、各コードが演奏されている確率を表すコード確率を計算する。ここで、各コードとは、上述したように、例えば、ルート(C、C#、D…)や構成音の数(三和音、四和音(7th)、五和音(9th))、及び長短(メジャー/マイナー)などにより区別される個々のコードのことをいう。コード確率の算出には、例えば、ロジスティック回帰分析によって予め学習された拡張コード確率算出式を用いることができる。
コード確率修正部197は、楽曲構造解析部150から入力されるビート区間同士の類似確率に基づいて、コード確率計算部196により再計算されたコード確率を修正する。
コード進行決定部198は、コード確率修正部197から入力されたビート位置ごとのコード確率に基づいて、尤もらしいコード進行を経路探索により決定する。コード進行決定部198による経路探索の手法としては、例えば、上述したビタビアルゴリズムを用いることができる。
本実施形態に係る情報処理装置100は、主に次に述べる特徴により、従来手法と比較してより精度の高い音声信号の解析結果を提供する。
以上、図1〜図68を用いて、本発明の一実施形態に係る情報処理装置100について説明した。
110 ログスペクトル変換部
120 ビート確率算出部
130 ビート解析部
132 オンセット検出部
134 ビートスコア計算部
136 ビート探索部
138 一定テンポ判定部
140 一定テンポ用ビート再探索部
142 ビート決定部
144 テンポ補正部
150 楽曲構造解析部
152 ビート区間特徴量計算部
154 相関計算部
156 類似確率生成部
160 コード確率算出部
162 ビート区間特徴量計算部
164 ルート別特徴量準備部
166 コード確率計算部(暫定値)
170 キー検出部
172 相対コード確率生成部
174 特徴量準備部
176 キー確率計算部
178 キー決定部
180 小節線検出部
181 第1特徴量抽出部
182 第2特徴量抽出部
184 小節線確率計算部
186 小節線確率修正部
188 小節線決定部
189 小節線再決定部
190 コード進行検出部
192 ビート区間特徴量計算部
194 ルート別特徴量準備部
196 コード確率計算部
197 コード確率修正部
198 コード進行決定部
Claims (19)
- 音声信号に含まれるビート位置を検出するビート解析部と;
前記ビート解析部により検出された各ビート位置により区分されるビート区間同士の音声の内容が類似している確率である類似確率を計算する楽曲構造解析部と;
前記楽曲構造解析部により計算された前記類似確率に応じて決定される小節線確率であって、各ビートが何拍子何拍目であるかを表す当該小節線確率に基づいて、前記音声信号の尤もらしい小節線の進行を決定する小節線検出部と;
を備える情報処理装置。 - 前記楽曲構造解析部は、
前記ビート区間ごとの音程別の平均エネルギーを用いて所定の特徴量を計算する特徴量計算部と、
前記ビート区間同士で、前記特徴量計算部により算出された前記特徴量の相関を計算する相関計算部と、
前記相関計算部により算出された前記相関に応じて前記類似確率を生成する類似確率生成部と、
を含む、請求項1に記載の情報処理装置。 - 前記小節線検出部は、
音声信号から抽出された所定の特徴量に基づいて前記小節線確率を計算する小節線確率計算部と、
前記小節線確率計算部により算出された前記小節線確率を前記類似確率に応じて修正する小節線確率修正部と、
前記小節線確率修正部により修正された前記小節線確率に基づいて、前記音声信号の尤もらしい小節線の進行を決定する小節線決定部と、
を含む、請求項1又は2に記載の情報処理装置。 - 前記特徴量計算部は、前記音程別の平均エネルギーに含まれる同じ音名の値を複数のオクターブにわたって重み付け加算して前記特徴量を算出する、請求項2に記載の情報処理装置。
- 前記相関計算部は、注目するビート区間の周囲に位置する複数のビート区間にわたる前記特徴量を用いて前記ビート区間同士の前記相関を計算する、請求項2に記載の情報処理装置。
- 前記小節線確率計算部は、ビート区間ごとのコードの種類又はキーの種類に応じて変動する第1特徴量と、前記音声信号の所定の時間単位ごとにビートが含まれる確率を表すビート確率に応じて変動する第2特徴量とに基づいて、前記小節線確率を計算する、請求項3に記載の情報処理装置。
- 前記小節線決定部は、時系列に配置されたビートと各ビートの拍子及び拍数とにより特定されるノードを順に選択して形成される経路のうち、前記小節線確率に応じて変動する評価値を最適化する経路を探索することにより、前記尤もらしい小節線の進行を決定する、請求項3に記載の情報処理装置。
- 前記小節線検出部は、
前記小節線決定部により決定された小節線の進行に第1の拍子と第2の拍子が共に含まれていた場合に、出現頻度のより低いいずれかの拍子を探索の対象から除外して経路探索を再実行する小節線再決定部、
をさらに含む、請求項3に記載の情報処理装置。 - 前記ビート解析部は、
前記音声信号の所定の時間単位ごとにビートが含まれる確率を表すビート確率に基づいて、前記音声信号に含まれる発音時点であるオンセットを検出するオンセット検出部と、
前記オンセット検出部により検出されたオンセットごとに、想定し得るビート間隔を有するビートに当該オンセットが一致している度合いを表すビートスコアを計算するビートスコア計算部と、
前記ビートスコア計算部により算出された前記ビートスコアに基づいて、尤もらしいテンポ変動を示す前記オンセットの最適経路を探索するビート探索部と、
前記最適経路上のオンセットの位置と前記ビート間隔に応じて補完した位置とをビート位置として決定するビート決定部と、
を含む、請求項1に記載の情報処理装置。 - 前記ビート解析部は、
前記ビート探索部により決定された前記最適経路におけるテンポの変動が小さい場合に、探索範囲を限定して前記最適経路の探索を再実行するビート再探索部、
をさらに含む、請求項9に記載の情報処理装置。 - 前記ビート探索部は、時間軸に沿って前記オンセットと前記ビート間隔とにより特定されるノードを順に選択して形成される経路のうち、前記ビートスコアに応じて変動する評価値を用いて前記最適経路を決定する、請求項9に記載の情報処理装置。
- 前記ビート探索部は、さらにノードの遷移の前後でのテンポの変化量に応じて変動する評価値を用いて前記最適経路を決定する、請求項11に記載の情報処理装置。
- 前記ビート探索部は、さらに遷移の前後のオンセットの間隔と遷移元又は遷移先のノードのビート間隔との間の整合の度合いに応じて変動する評価値を用いて前記最適経路を決定する、請求項11に記載の情報処理装置。
- 前記ビート探索部は、さらにノードの遷移においてスキップされたオンセットの数に応じて変動する評価値を用いて前記最適経路を決定する、請求項11に記載の情報処理装置。
- 前記ビート解析部は、
予め学習により取得された推定テンポ判別式を用いて前記音声信号の波形から推定される推定テンポに応じて、前記ビート決定部により決定された前記ビート位置を補正するテンポ補正部、
をさらに含む、請求項9に記載の情報処理装置。 - 前記テンポ補正部は、複数の補正倍率について補正後のビート位置における平均ビート確率と前記推定テンポとを用いて補正後のテンポの尤もらしさを評価することにより、前記ビート位置を補正する補正倍率を決定する、請求項15に記載の情報処理装置。
- 音声信号の所定の時間単位ごとにビートが含まれる確率を表すビート確率に基づいて、前記音声信号に含まれる発音時点であるオンセットを検出するオンセット検出部と、
前記オンセット検出部により検出されたオンセットごとに、想定し得るビート間隔を有するビートに当該オンセットが一致している度合いを表すビートスコアを計算するビートスコア計算部と、
前記ビートスコア計算部により算出された前記ビートスコアに基づいて、尤もらしいテンポ変動を示す前記オンセットの最適経路を探索するビート探索部と、
前記最適経路上のオンセットの位置と前記ビート間隔に応じて補完した位置とをビート位置として決定するビート決定部と、
を備える情報処理装置。 - 音声信号に含まれるビート位置を検出するステップと;
検出された各ビート位置により区分されるビート区間同士の音声の内容が類似している確率である類似確率を計算するステップと;
計算された前記類似確率に応じて決定される小節線確率であって、各ビートが何拍子何拍目であるかを表す当該小節線確率に基づいて、前記音声信号の尤もらしい小節線の進行を決定するステップと;
を含む音声解析方法。 - 情報処理装置を制御するコンピュータを:
音声信号に含まれるビート位置を検出するビート解析部と;
前記ビート解析部により検出された各ビート位置により区分されるビート区間同士の音声の内容が類似している確率である類似確率を計算する楽曲構造解析部と;
前記楽曲構造解析部により計算された前記類似確率に応じて決定される小節線確率であって、各ビートが何拍子何拍目であるかを表す当該小節線確率に基づいて、前記音声信号の尤もらしい小節線の進行を決定する小節線検出部と;
として機能させるための、プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008298567A JP5625235B2 (ja) | 2008-11-21 | 2008-11-21 | 情報処理装置、音声解析方法、及びプログラム |
US12/622,235 US8420921B2 (en) | 2008-11-21 | 2009-11-19 | Information processing apparatus, sound analysis method, and program |
EP09252658A EP2207163A2 (en) | 2008-11-21 | 2009-11-20 | Information processing apparatus, sound analysis method, and program |
CN2009102219224A CN101740010B (zh) | 2008-11-21 | 2009-11-23 | 信息处理设备和声音分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008298567A JP5625235B2 (ja) | 2008-11-21 | 2008-11-21 | 情報処理装置、音声解析方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010122629A true JP2010122629A (ja) | 2010-06-03 |
JP5625235B2 JP5625235B2 (ja) | 2014-11-19 |
Family
ID=42224348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008298567A Expired - Fee Related JP5625235B2 (ja) | 2008-11-21 | 2008-11-21 | 情報処理装置、音声解析方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8420921B2 (ja) |
EP (1) | EP2207163A2 (ja) |
JP (1) | JP5625235B2 (ja) |
CN (1) | CN101740010B (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178395A (ja) * | 2013-03-14 | 2014-09-25 | Yamaha Corp | 音響信号分析装置及び音響信号分析プログラム |
JP2015200803A (ja) * | 2014-04-09 | 2015-11-12 | ヤマハ株式会社 | 音響信号分析装置及び音響信号分析プログラム |
WO2019017242A1 (ja) * | 2017-07-19 | 2019-01-24 | ヤマハ株式会社 | 楽曲解析方法、楽曲解析装置およびプログラム |
WO2019043797A1 (ja) * | 2017-08-29 | 2019-03-07 | Pioneer DJ株式会社 | 楽曲解析装置および楽曲解析プログラム |
WO2021059701A1 (ja) * | 2019-09-27 | 2021-04-01 | ヤマハ株式会社 | 楽曲解析装置、楽曲解析方法、および楽曲解析プログラム |
WO2022181474A1 (ja) * | 2021-02-25 | 2022-09-01 | ヤマハ株式会社 | 音響解析方法、音響解析システムおよびプログラム |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5625235B2 (ja) * | 2008-11-21 | 2014-11-19 | ソニー株式会社 | 情報処理装置、音声解析方法、及びプログラム |
JP5463655B2 (ja) * | 2008-11-21 | 2014-04-09 | ソニー株式会社 | 情報処理装置、音声解析方法、及びプログラム |
US7952012B2 (en) * | 2009-07-20 | 2011-05-31 | Apple Inc. | Adjusting a variable tempo of an audio file independent of a global tempo using a digital audio workstation |
EP3206202B1 (en) * | 2011-03-25 | 2018-12-12 | Yamaha Corporation | Accompaniment data generating apparatus and method |
JP5732994B2 (ja) * | 2011-04-19 | 2015-06-10 | ソニー株式会社 | 楽曲検索装置および方法、プログラム、並びに記録媒体 |
JP2013105085A (ja) * | 2011-11-15 | 2013-05-30 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法 |
EP2772904B1 (en) * | 2013-02-27 | 2017-03-29 | Yamaha Corporation | Apparatus and method for detecting music chords and generation of accompaniment. |
JP6123995B2 (ja) * | 2013-03-14 | 2017-05-10 | ヤマハ株式会社 | 音響信号分析装置及び音響信号分析プログラム |
US8927846B2 (en) * | 2013-03-15 | 2015-01-06 | Exomens | System and method for analysis and creation of music |
CN104217729A (zh) | 2013-05-31 | 2014-12-17 | 杜比实验室特许公司 | 音频处理方法和音频处理装置以及训练方法 |
FR3022051B1 (fr) * | 2014-06-10 | 2016-07-15 | Weezic | Procede de suivi d'une partition musicale et procede de modelisation associe |
CN104299621B (zh) * | 2014-10-08 | 2017-09-22 | 北京音之邦文化科技有限公司 | 一种音频文件的节奏感强度获取方法及装置 |
JP6690181B2 (ja) * | 2015-10-22 | 2020-04-28 | ヤマハ株式会社 | 楽音評価装置及び評価基準生成装置 |
EP3182729B1 (en) * | 2015-12-18 | 2019-11-06 | Widex A/S | Hearing aid system and a method of operating a hearing aid system |
JP6500869B2 (ja) * | 2016-09-28 | 2019-04-17 | カシオ計算機株式会社 | コード解析装置、方法、及びプログラム |
US9792889B1 (en) * | 2016-11-03 | 2017-10-17 | International Business Machines Corporation | Music modeling |
CN107910019B (zh) * | 2017-11-30 | 2021-04-20 | 中国科学院微电子研究所 | 一种人体声音信号处理及分析方法 |
JP6722165B2 (ja) * | 2017-12-18 | 2020-07-15 | 大黒 達也 | 音楽情報の特徴解析方法及びその装置 |
CN108335688B (zh) * | 2017-12-28 | 2021-07-06 | 广州市百果园信息技术有限公司 | 音乐中主节拍点检测方法及计算机存储介质、终端 |
WO2020008255A1 (en) * | 2018-07-03 | 2020-01-09 | Soclip! | Beat decomposition to facilitate automatic video editing |
JP7226709B2 (ja) * | 2019-01-07 | 2023-02-21 | ヤマハ株式会社 | 映像制御システム、及び映像制御方法 |
CN109920397B (zh) * | 2019-01-31 | 2021-06-01 | 李奕君 | 一种物理学中音频函数制作系统及制作方法 |
CN113223487B (zh) * | 2020-02-05 | 2023-10-17 | 字节跳动有限公司 | 一种信息识别方法及装置、电子设备和存储介质 |
CN112489681A (zh) * | 2020-11-23 | 2021-03-12 | 瑞声新能源发展(常州)有限公司科教城分公司 | 节拍识别方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242285A (ja) * | 1999-02-22 | 2000-09-08 | Masaki Nakayama | 計算機による声域測定とその結果を反映したカラオケシステム |
JP2001290474A (ja) * | 2000-04-06 | 2001-10-19 | Japan Science & Technology Corp | 音楽情報解析装置、音楽情報解析方法及び音楽情報解析プログラムを記録した記録媒体 |
JP2008275975A (ja) * | 2007-05-01 | 2008-11-13 | Kawai Musical Instr Mfg Co Ltd | リズム検出装置及びリズム検出用コンピュータ・プログラム |
JP2009025386A (ja) * | 2007-07-17 | 2009-02-05 | Yamaha Corp | 楽曲を制作するための装置およびプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3245890B2 (ja) * | 1991-06-27 | 2002-01-15 | カシオ計算機株式会社 | 拍検出装置及びそれを用いた同期制御装置 |
JP3049989B2 (ja) * | 1993-04-09 | 2000-06-05 | ヤマハ株式会社 | 演奏情報分析装置および和音検出装置 |
JPH11327558A (ja) * | 1998-05-12 | 1999-11-26 | Casio Comput Co Ltd | 自動コード付装置 |
JP3632523B2 (ja) * | 1999-09-24 | 2005-03-23 | ヤマハ株式会社 | 演奏データ編集装置、方法及び記録媒体 |
JP3678135B2 (ja) * | 1999-12-24 | 2005-08-03 | ヤマハ株式会社 | 演奏評価装置および演奏評価システム |
JP4649859B2 (ja) | 2004-03-25 | 2011-03-16 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
JP4948118B2 (ja) | 2005-10-25 | 2012-06-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2007072394A2 (en) * | 2005-12-22 | 2007-06-28 | Koninklijke Philips Electronics N.V. | Audio structure analysis |
JP4672613B2 (ja) * | 2006-08-09 | 2011-04-20 | 株式会社河合楽器製作所 | テンポ検出装置及びテンポ検出用コンピュータプログラム |
JP4214491B2 (ja) | 2006-10-20 | 2009-01-28 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
US8097801B2 (en) * | 2008-04-22 | 2012-01-17 | Peter Gannon | Systems and methods for composing music |
JP5625235B2 (ja) * | 2008-11-21 | 2014-11-19 | ソニー株式会社 | 情報処理装置、音声解析方法、及びプログラム |
JP5463655B2 (ja) * | 2008-11-21 | 2014-04-09 | ソニー株式会社 | 情報処理装置、音声解析方法、及びプログラム |
JP5206378B2 (ja) * | 2008-12-05 | 2013-06-12 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP5282548B2 (ja) * | 2008-12-05 | 2013-09-04 | ソニー株式会社 | 情報処理装置、音素材の切り出し方法、及びプログラム |
JP5594052B2 (ja) * | 2010-10-22 | 2014-09-24 | ソニー株式会社 | 情報処理装置、楽曲再構成方法及びプログラム |
-
2008
- 2008-11-21 JP JP2008298567A patent/JP5625235B2/ja not_active Expired - Fee Related
-
2009
- 2009-11-19 US US12/622,235 patent/US8420921B2/en active Active
- 2009-11-20 EP EP09252658A patent/EP2207163A2/en not_active Withdrawn
- 2009-11-23 CN CN2009102219224A patent/CN101740010B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242285A (ja) * | 1999-02-22 | 2000-09-08 | Masaki Nakayama | 計算機による声域測定とその結果を反映したカラオケシステム |
JP2001290474A (ja) * | 2000-04-06 | 2001-10-19 | Japan Science & Technology Corp | 音楽情報解析装置、音楽情報解析方法及び音楽情報解析プログラムを記録した記録媒体 |
JP2008275975A (ja) * | 2007-05-01 | 2008-11-13 | Kawai Musical Instr Mfg Co Ltd | リズム検出装置及びリズム検出用コンピュータ・プログラム |
JP2009025386A (ja) * | 2007-07-17 | 2009-02-05 | Yamaha Corp | 楽曲を制作するための装置およびプログラム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178395A (ja) * | 2013-03-14 | 2014-09-25 | Yamaha Corp | 音響信号分析装置及び音響信号分析プログラム |
JP2015200803A (ja) * | 2014-04-09 | 2015-11-12 | ヤマハ株式会社 | 音響信号分析装置及び音響信号分析プログラム |
WO2019017242A1 (ja) * | 2017-07-19 | 2019-01-24 | ヤマハ株式会社 | 楽曲解析方法、楽曲解析装置およびプログラム |
JP2019020631A (ja) * | 2017-07-19 | 2019-02-07 | ヤマハ株式会社 | 楽曲解析方法およびプログラム |
US11328699B2 (en) | 2017-07-19 | 2022-05-10 | Yamaha Corporation | Musical analysis method, music analysis device, and program |
WO2019043797A1 (ja) * | 2017-08-29 | 2019-03-07 | Pioneer DJ株式会社 | 楽曲解析装置および楽曲解析プログラム |
JPWO2019043797A1 (ja) * | 2017-08-29 | 2020-10-01 | AlphaTheta株式会社 | 楽曲解析装置および楽曲解析プログラム |
US11176915B2 (en) | 2017-08-29 | 2021-11-16 | Alphatheta Corporation | Song analysis device and song analysis program |
WO2021059701A1 (ja) * | 2019-09-27 | 2021-04-01 | ヤマハ株式会社 | 楽曲解析装置、楽曲解析方法、および楽曲解析プログラム |
JP2021056295A (ja) * | 2019-09-27 | 2021-04-08 | ヤマハ株式会社 | 楽曲解析装置、楽曲解析方法、および楽曲解析プログラム |
JP7419726B2 (ja) | 2019-09-27 | 2024-01-23 | ヤマハ株式会社 | 楽曲解析装置、楽曲解析方法、および楽曲解析プログラム |
WO2022181474A1 (ja) * | 2021-02-25 | 2022-09-01 | ヤマハ株式会社 | 音響解析方法、音響解析システムおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US8420921B2 (en) | 2013-04-16 |
CN101740010B (zh) | 2012-12-26 |
EP2207163A2 (en) | 2010-07-14 |
US20100186576A1 (en) | 2010-07-29 |
CN101740010A (zh) | 2010-06-16 |
JP5625235B2 (ja) | 2014-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5625235B2 (ja) | 情報処理装置、音声解析方法、及びプログラム | |
JP5463655B2 (ja) | 情報処理装置、音声解析方法、及びプログラム | |
JP5282548B2 (ja) | 情報処理装置、音素材の切り出し方法、及びプログラム | |
JP5593608B2 (ja) | 情報処理装置、メロディーライン抽出方法、ベースライン抽出方法、及びプログラム | |
US8706274B2 (en) | Information processing apparatus, information processing method, and program | |
JP4465626B2 (ja) | 情報処理装置および方法、並びにプログラム | |
US7649137B2 (en) | Signal processing apparatus and method, program, and recording medium | |
US9607593B2 (en) | Automatic composition apparatus, automatic composition method and storage medium | |
US7601907B2 (en) | Signal processing apparatus and method, program, and recording medium | |
CN111739491B (zh) | 一种自动编配伴奏和弦的方法 | |
JP5196550B2 (ja) | コード検出装置およびコード検出プログラム | |
CN112634841A (zh) | 一种基于声音识别的吉他谱自动生成方法 | |
JP4202964B2 (ja) | 映像データへの楽曲データ付加装置 | |
JP2010054535A (ja) | コード名検出装置及びコード名検出用コンピュータ・プログラム | |
JP6565529B2 (ja) | 自動アレンジ装置及びプログラム | |
Sauer | Design and Evaluation of a Simple Chord Detection Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140915 |
|
LAPS | Cancellation because of no payment of annual fees |