JP2002006839A - リズム構造抽出方法及び類似関係判定方法 - Google Patents
リズム構造抽出方法及び類似関係判定方法Info
- Publication number
- JP2002006839A JP2002006839A JP2001109158A JP2001109158A JP2002006839A JP 2002006839 A JP2002006839 A JP 2002006839A JP 2001109158 A JP2001109158 A JP 2001109158A JP 2001109158 A JP2001109158 A JP 2001109158A JP 2002006839 A JP2002006839 A JP 2002006839A
- Authority
- JP
- Japan
- Prior art keywords
- rhythm
- time series
- rhythm structure
- extraction method
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
(57)【要約】
【課題】 音楽的構成等のリズム構造に関する情報を自
動的且つ効率的に抽出する。 【解決手段】 データベースからリズム構造を抽出する
処理において、解析により入力信号を処理して、入力信
号に含まれているリズム情報を選択し、解析の実行中に
音を合成する。データベースには、例えば打撃音を表す
データが格納されている。入力信号は、例えばスペクト
ル分析により処理される。
動的且つ効率的に抽出する。 【解決手段】 データベースからリズム構造を抽出する
処理において、解析により入力信号を処理して、入力信
号に含まれているリズム情報を選択し、解析の実行中に
音を合成する。データベースには、例えば打撃音を表す
データが格納されている。入力信号は、例えばスペクト
ル分析により処理される。
Description
【０００１】
【発明の属する技術分野】本発明は、供給される信号、
例えば音楽信号からリズム構造（rhythmic structure）
を抽出するリズム構造抽出方法、このリズム構造を用い
て信号の類似関係（similarity relation）を判定する
類似関係判定方法、リズム構造抽出装置、類似関係判定
装置及びコンピュータプログラム製品に関する。本発明
は、特に、信号分析（signal analysis）における音の
合成（synthesizing sound）に関する。本発明が提供す
るリズム構造の表現は、例えば楽曲等の所定のアイテム
間の類似関係を表すように設計されている。類似するリ
ズムを有する異なる音楽信号は、類似する表現を有す
る。本発明は、音楽カタログに対して類似性に基づく検
索を実行する電子音楽配給（Electronic Music Distrib
ution：ＥＭＤ）の分野に応用される。音楽カタログに
は、例えば同様のリズムを有する楽曲を検索するための
検索コードを用いてアクセスすることができる。
例えば音楽信号からリズム構造（rhythmic structure）
を抽出するリズム構造抽出方法、このリズム構造を用い
て信号の類似関係（similarity relation）を判定する
類似関係判定方法、リズム構造抽出装置、類似関係判定
装置及びコンピュータプログラム製品に関する。本発明
は、特に、信号分析（signal analysis）における音の
合成（synthesizing sound）に関する。本発明が提供す
るリズム構造の表現は、例えば楽曲等の所定のアイテム
間の類似関係を表すように設計されている。類似するリ
ズムを有する異なる音楽信号は、類似する表現を有す
る。本発明は、音楽カタログに対して類似性に基づく検
索を実行する電子音楽配給（Electronic Music Distrib
ution：ＥＭＤ）の分野に応用される。音楽カタログに
は、例えば同様のリズムを有する楽曲を検索するための
検索コードを用いてアクセスすることができる。
【０００２】
【従来の技術】比較的短い音楽信号に関する音楽的な特
徴の抽出について様々な研究がなされている。これら抽
出される特徴とは、ピッチ（pitch）、基本周波数（fun
damental frequency）、スペクトル特性（spectral cha
racteristics）等である。また、例えばポピュラー音楽
の楽曲の抜粋等の比較的長い音楽信号から拍（beat）又
はテンポ（temp）を抽出する研究もなされている。
徴の抽出について様々な研究がなされている。これら抽
出される特徴とは、ピッチ（pitch）、基本周波数（fun
damental frequency）、スペクトル特性（spectral cha
racteristics）等である。また、例えばポピュラー音楽
の楽曲の抜粋等の比較的長い音楽信号から拍（beat）又
はテンポ（temp）を抽出する研究もなされている。
【０００３】拍及びテンポの抽出に関する参照文献は、
インターネットＵＲＬ、http://stephanus2.socsci.ku
n.nl/mmm/papers/foot-tapping-bib.htmlphanus2.socsc
i.kun.nl/mmm/papers/foot-tapping-bib.htmlにも紹介
されている。
インターネットＵＲＬ、http://stephanus2.socsci.ku
n.nl/mmm/papers/foot-tapping-bib.htmlphanus2.socsc
i.kun.nl/mmm/papers/foot-tapping-bib.htmlにも紹介
されている。
【０００４】さらに、１９９８年１月、ジェイ・アコー
スト・エスオーシー・エイエム（J.Acoust. Soc. Am）
発行のシェイラー・エリック・ディー（Scheirer, Eric
D.）著、「アコスティック音楽信号のテンポ及び拍の
分析（Tempo and Beat Analysis of Acoustic Musical
Signals）」１０３（１）、第５８８〜６０１頁にもテ
ンポ抽出に関する研究が解説されている。
スト・エスオーシー・エイエム（J.Acoust. Soc. Am）
発行のシェイラー・エリック・ディー（Scheirer, Eric
D.）著、「アコスティック音楽信号のテンポ及び拍の
分析（Tempo and Beat Analysis of Acoustic Musical
Signals）」１０３（１）、第５８８〜６０１頁にもテ
ンポ抽出に関する研究が解説されている。
【０００５】さらに、シェイラー・エリック・ディー
（Scheirer, Eric D.）及びスラニー・マルコルム（Sla
ney Malcolm）を発明者とする国際特許出願公開番号Ｗ
Ｏ９８１７５４３Ａ２号、「多特性音声／音楽判定装置
（Multifeature Speech/MusicDiscrimination Syste
m）」にも特性抽出の技術が開示されている。この技術
は、インターネットＵＲＬ、http://sound.media.mit.e
du/ eds/papers.htmlにも解説されている。
（Scheirer, Eric D.）及びスラニー・マルコルム（Sla
ney Malcolm）を発明者とする国際特許出願公開番号Ｗ
Ｏ９８１７５４３Ａ２号、「多特性音声／音楽判定装置
（Multifeature Speech/MusicDiscrimination Syste
m）」にも特性抽出の技術が開示されている。この技術
は、インターネットＵＲＬ、http://sound.media.mit.e
du/ eds/papers.htmlにも解説されている。
【０００６】上述の国際特許出願に開示されている装置
では、音声／音楽判定回路（speech/music discriminat
or）は、オーディオ信号の複数の特徴データを分類回路
（classifier）に入力する。オーディオ信号の個々のフ
レームから判定される特徴データの幾つか、及び他の入
力データは、複数のフレームに亘る特徴の変化（variat
ions）に基づいており、音声における有声（voiced）及
び無声（unvoiced）成分の変化（changes）を、音楽に
おけるより一定の特徴から区別する。この文献では、特
徴データに基づき検査点（test point）へのラベル付け
を行う種類が異なる複数の分類回路が開示されている。
好ましい分類回路の組は、Ｋ−ｄツリー空間分割技術
（K-d tree spatial partitioning technique）を含む
様々な種類の最隣接法（nearest-neighbor approach）
に基づいている。
では、音声／音楽判定回路（speech/music discriminat
or）は、オーディオ信号の複数の特徴データを分類回路
（classifier）に入力する。オーディオ信号の個々のフ
レームから判定される特徴データの幾つか、及び他の入
力データは、複数のフレームに亘る特徴の変化（variat
ions）に基づいており、音声における有声（voiced）及
び無声（unvoiced）成分の変化（changes）を、音楽に
おけるより一定の特徴から区別する。この文献では、特
徴データに基づき検査点（test point）へのラベル付け
を行う種類が異なる複数の分類回路が開示されている。
好ましい分類回路の組は、Ｋ−ｄツリー空間分割技術
（K-d tree spatial partitioning technique）を含む
様々な種類の最隣接法（nearest-neighbor approach）
に基づいている。
【０００７】
【発明が解決しようとする課題】完全な自動的手法（au
tomatic approaches）を用いて高レベルの音楽的特性を
抽出する技術は未だ確立されていない。さらに、例えば
音色等の他の音楽的次元から厳密に独立させて、楽曲の
リズム構造を定義することは困難であった。
tomatic approaches）を用いて高レベルの音楽的特性を
抽出する技術は未だ確立されていない。さらに、例えば
音色等の他の音楽的次元から厳密に独立させて、楽曲の
リズム構造を定義することは困難であった。
【０００８】上述の技術は、ＭＰＥＧ７にも関連する。
ＭＰＥＧ７は、将来のＭＰＥＧ７標準規格に含まれる
「オーディオディスクリプタ（audio descriptors）」
に関するレポートの草案を作成中である。しかしなが
ら、この草案は、本願の出願日以前には公開されていな
い。ＭＰＥＧ７では、「低レベルディスクリプタ（low
level descriptor）」を中心とする研究がなされてお
り、本発明では、例えばスペクトル中心（spectral cen
troid）の文脈において、この低レベルディスクリプタ
についても検討する。
ＭＰＥＧ７は、将来のＭＰＥＧ７標準規格に含まれる
「オーディオディスクリプタ（audio descriptors）」
に関するレポートの草案を作成中である。しかしなが
ら、この草案は、本願の出願日以前には公開されていな
い。ＭＰＥＧ７では、「低レベルディスクリプタ（low
level descriptor）」を中心とする研究がなされてお
り、本発明では、例えばスペクトル中心（spectral cen
troid）の文脈において、この低レベルディスクリプタ
についても検討する。
【０００９】ＭＰＥＧ７オーディオに関する記事は、イ
ンターネットＵＲＬhttp://www.iua.upf.es/ xserra/a
rticles/cbmi99/cbmi99.htmlupf.es/ xserra/articles
/cbmi99/cbmi99.htmlにおいても参照できる。
ンターネットＵＲＬhttp://www.iua.upf.es/ xserra/a
rticles/cbmi99/cbmi99.htmlupf.es/ xserra/articles
/cbmi99/cbmi99.htmlにおいても参照できる。
【００１０】本発明は、上述の課題に鑑みてなされたも
のであり、音楽的構成等のリズム構造に関する情報を自
動的に抽出することができる、信頼度が高く効率的なリ
ズム構造抽出方法及び類似関係判定方法を提供すること
を目的とする。
のであり、音楽的構成等のリズム構造に関する情報を自
動的に抽出することができる、信頼度が高く効率的なリ
ズム構造抽出方法及び類似関係判定方法を提供すること
を目的とする。
【００１１】
【課題を解決するための手段】上述の目的を達成するた
めに、本発明に係るリズム構造抽出方法は、音を表すデ
ータを含むデータベースからリズム構造を抽出するリズ
ム構造抽出方法において、解析により入力信号を処理し
て、入力信号に含まれているリズム情報を選択するステ
ップと、解析の実行中に音を合成するステップとを有す
る。
めに、本発明に係るリズム構造抽出方法は、音を表すデ
ータを含むデータベースからリズム構造を抽出するリズ
ム構造抽出方法において、解析により入力信号を処理し
て、入力信号に含まれているリズム情報を選択するステ
ップと、解析の実行中に音を合成するステップとを有す
る。
【００１２】このデータベースは、打撃音を表すデータ
を含んでいてもよい。
を含んでいてもよい。
【００１３】入力信号を処理するステップは、入力信号
をスペクトル分析により処理するステップを有すしてい
てもよい。
をスペクトル分析により処理するステップを有すしてい
てもよい。
【００１４】記音を合成するステップは、オンセットピ
ークのタイムシリーズ及び入力信号から新たな打撃音を
合成し、新たな打撃音を定義し、繰り返される反復処理
を可能とするステップと、算出されるピークシリーズタ
イムシリーズサイクルが先行するサイクルと同じになる
まで、反復処理を繰り返すステップと、入力信号をピー
ク抽出のために全ての打撃音と比較した後に、２つの異
なるタイムシリーズを選択するステップとを有していて
もよい。
ークのタイムシリーズ及び入力信号から新たな打撃音を
合成し、新たな打撃音を定義し、繰り返される反復処理
を可能とするステップと、算出されるピークシリーズタ
イムシリーズサイクルが先行するサイクルと同じになる
まで、反復処理を繰り返すステップと、入力信号をピー
ク抽出のために全ての打撃音と比較した後に、２つの異
なるタイムシリーズを選択するステップとを有していて
もよい。
【００１５】また、本発明に係るリズム構造抽出方法
は、それぞれが１つの打撃音の時間的な貢献（contribu
tion）を表すタイムシリーズとしてリズム構造を定義す
るステップを有していてもよい。リズム構造を定義する
ステップは、好ましくは、上述の処理より先に行う。
は、それぞれが１つの打撃音の時間的な貢献（contribu
tion）を表すタイムシリーズとしてリズム構造を定義す
るステップを有していてもよい。リズム構造を定義する
ステップは、好ましくは、上述の処理より先に行う。
【００１６】さらに、本発明に係るリズム構造抽出方法
は、複数のオンセットタイムシリーズを組み合わせてリ
ズム構造を構築するステップと、複数のタイムシリーズ
内に含まれるリズム情報を削減し、アイテムに対する削
減されたリズム情報を抽出するステップと有していても
よい。
は、複数のオンセットタイムシリーズを組み合わせてリ
ズム構造を構築するステップと、複数のタイムシリーズ
内に含まれるリズム情報を削減し、アイテムに対する削
減されたリズム情報を抽出するステップと有していても
よい。
【００１７】好ましくは、このリズム構造抽出方法にお
いて、リズム構造は、オーディオ信号における所定のア
イテムの数値的表現によって形成され、データベース内
の打撃音は、オーディオ信号内に存在する。
いて、リズム構造は、オーディオ信号における所定のア
イテムの数値的表現によって形成され、データベース内
の打撃音は、オーディオ信号内に存在する。
【００１８】また、リズム構造を定義するステップは、
それぞれがオーディオ信号における打撃音の１つに対応
する時間的貢献を表すタイムシリーズの重なりとしてリ
ズム構造を定義するステップを有していてもよい。
それぞれがオーディオ信号における打撃音の１つに対応
する時間的貢献を表すタイムシリーズの重なりとしてリ
ズム構造を定義するステップを有していてもよい。
【００１９】さらに、リズム構造を構築するステップ
は、複数のオンセットタイムシリーズを組み合わせて入
力信号のリズム構造の数値的表現を構築するステップを
有していてもよい。
は、複数のオンセットタイムシリーズを組み合わせて入
力信号のリズム構造の数値的表現を構築するステップを
有していてもよい。
【００２０】また、リズム構造を削減するステップは、
複数のタイムシリーズの相関を分析することにより複数
のタイムシリーズに含まれているリズム情報を削減し、
オーディオ信号のアイテムに対応する削減されたリズム
情報を抽出するステップを有していてもよい。
複数のタイムシリーズの相関を分析することにより複数
のタイムシリーズに含まれているリズム情報を削減し、
オーディオ信号のアイテムに対応する削減されたリズム
情報を抽出するステップを有していてもよい。
【００２１】また、本発明に係る類似関係判定方法は、
一方が比較の参照として使用されるオーディオ信号にお
けるアイテムのリズム構造を比較することにより、アイ
テム間の類似関係を判定するものであり、上述のリズム
構造抽出方法を実行して比較すべきオーディオ信号の各
アイテムに対応するリズム構造を判定するステップと、
削減されたリズム情報に基づいてオーディオ信号のアイ
テム間の距離測定を行うステップと、特定の基準を用い
て、参照用のアイテムから特定の距離内にあるオーディ
オ信号のアイテムが同様のリズムを有するものと判定す
るステップとを有する。
一方が比較の参照として使用されるオーディオ信号にお
けるアイテムのリズム構造を比較することにより、アイ
テム間の類似関係を判定するものであり、上述のリズム
構造抽出方法を実行して比較すべきオーディオ信号の各
アイテムに対応するリズム構造を判定するステップと、
削減されたリズム情報に基づいてオーディオ信号のアイ
テム間の距離測定を行うステップと、特定の基準を用い
て、参照用のアイテムから特定の距離内にあるオーディ
オ信号のアイテムが同様のリズムを有するものと判定す
るステップとを有する。
【００２２】この類似関係判定方法は、参照用のオーデ
ィオ信号との類似性に基づいてオーディオ信号のアイテ
ムを選択するステップを有していてもよい。
ィオ信号との類似性に基づいてオーディオ信号のアイテ
ムを選択するステップを有していてもよい。
【００２３】さらに、リズム構造を定義するステップ
は、各タイムシリーズが与えられた打撃音の時間的ピー
クを表すものと定義するステップを有していてもよい。
は、各タイムシリーズが与えられた打撃音の時間的ピー
クを表すものと定義するステップを有していてもよい。
【００２４】入力信号を処理するステップは、入力信号
に対するピーク抽出処理を実行するステップを有してい
てもよい。
に対するピーク抽出処理を実行するステップを有してい
てもよい。
【００２５】ピーク抽出処理を実行するステップは、信
号を高調波音と雑音として分析することによりピークを
抽出するステップを有していてもよい。
号を高調波音と雑音として分析することによりピークを
抽出するステップを有していてもよい。
【００２６】また、入力信号を処理するステップは、ピ
ークフィルタリング処理を実行するステップを有してい
てもよい。
ークフィルタリング処理を実行するステップを有してい
てもよい。
【００２７】好ましくは、ピークフィルタリング処理を
実行するステップは、所定の閾値に達するまで、オーデ
ィオ信号における打撃音の発生を表すオンセットタイム
シリーズを繰り返し抽出するステップを有する。
実行するステップは、所定の閾値に達するまで、オーデ
ィオ信号における打撃音の発生を表すオンセットタイム
シリーズを繰り返し抽出するステップを有する。
【００２８】さらに、ピークフィルタリング処理を実行
するステップは、オーディオ信号と打撃音の相関関数値
を算出する相関分析技術により、データベースに格納さ
れている各打撃音とオーディオ信号とを比較するステッ
プを有していてもよい。
するステップは、オーディオ信号と打撃音の相関関数値
を算出する相関分析技術により、データベースに格納さ
れている各打撃音とオーディオ信号とを比較するステッ
プを有していてもよい。
【００２９】さらに、ピークフィルタリング処理を実行
するステップは、所定の振幅閾値以下の相関関数値をフ
ィルタリングして除去し、所定の時間閾値以下の発生時
間を有するピークをフィルタリングして除去し、所定の
質閾値以下の質を有するピークをフィルタリングして除
去することにより、処理の結果得られたタイムシリーズ
のピークの質を評価して、ピーク位置ベクトル及びピー
ク値ベクトルを有するオンセットタイムシリーズを生成
するステップを有していてもよい。
するステップは、所定の振幅閾値以下の相関関数値をフ
ィルタリングして除去し、所定の時間閾値以下の発生時
間を有するピークをフィルタリングして除去し、所定の
質閾値以下の質を有するピークをフィルタリングして除
去することにより、処理の結果得られたタイムシリーズ
のピークの質を評価して、ピーク位置ベクトル及びピー
ク値ベクトルを有するオンセットタイムシリーズを生成
するステップを有していてもよい。
【００３０】また、本発明に係るリズム構造抽出方法及
び類似関係判定方法において、入力信号を処理するステ
ップは、相関分析処理を実行するステップを有していて
もよい。
び類似関係判定方法において、入力信号を処理するステ
ップは、相関分析処理を実行するステップを有していて
もよい。
【００３１】この相関分析処理を実行するステップは、
タイムシリーズの相関積を公式化するステップと、相関
積からテンポ値を選択するステップと、テンポ値をスケ
ーリングするステップとを有していてもよい。
タイムシリーズの相関積を公式化するステップと、相関
積からテンポ値を選択するステップと、テンポ値をスケ
ーリングするステップとを有していてもよい。
【００３２】さらに、相関積を公式化するステップは、
信号における２つの主要な打撃音のオンセットタイムシ
リーズを表す２つのタイムシリーズを入力情報として特
定するステップと、入力されたタイムシリーズに含まれ
ているリズム情報を削減した情報を表す数値の組を出力
情報として生成するステップと、２つのタイムシリーズ
の相関積を算出するステップとを有していてもよい。
信号における２つの主要な打撃音のオンセットタイムシ
リーズを表す２つのタイムシリーズを入力情報として特
定するステップと、入力されたタイムシリーズに含まれ
ているリズム情報を削減した情報を表す数値の組を出力
情報として生成するステップと、２つのタイムシリーズ
の相関積を算出するステップとを有していてもよい。
【００３３】テンポ値を選択するステップは、信号にお
ける顕著な期間を表すテンポ値を選択するステップを有
していてもよい。
ける顕著な期間を表すテンポ値を選択するステップを有
していてもよい。
【００３４】また、テンポ値を選択するステップは、相
関積からテンポ値を抽出するステップを有し、顕著な期
間は所定の範囲内から選択してもよい。
関積からテンポ値を抽出するステップを有し、顕著な期
間は所定の範囲内から選択してもよい。
【００３５】テンポ値をスケーリングするステップは、
テンポ値及び振幅の値に基づいてタイムシリーズをスケ
ーリングし、新たな正規化されたタイムシリーズの組を
生成するステップと、相関積をトリミング及び削減し、
所定の範囲内に含まれる正規化された各相関積に対応す
る値を残すステップとを有していてもよい。
テンポ値及び振幅の値に基づいてタイムシリーズをスケ
ーリングし、新たな正規化されたタイムシリーズの組を
生成するステップと、相関積をトリミング及び削減し、
所定の範囲内に含まれる正規化された各相関積に対応す
る値を残すステップとを有していてもよい。
【００３６】また、テンポ値をスケーリングするステッ
プは、タイムシリーズを相関積によりスケーリングする
ステップを有していてもよい。
プは、タイムシリーズを相関積によりスケーリングする
ステップを有していてもよい。
【００３７】好ましくは、距離の測定値を算出するステ
ップは、オーディオ信号の各アイテムに対するリズムの
内部表現に基づいてオーディオ信号２つのアイテムを算
出し、相関積から算出されたデータを単純な数値に削減
するステップを有する。
ップは、オーディオ信号の各アイテムに対するリズムの
内部表現に基づいてオーディオ信号２つのアイテムを算
出し、相関積から算出されたデータを単純な数値に削減
するステップを有する。
【００３８】距離の測定値を算出するステップは、それ
ぞれがフィルタにおけるタイムシリーズの貢献を表す係
数の組として各タイムシリーズの構造の表現を算出する
ステップと、各フィルタによりタイムシリーズをフィル
タリングし、リズムを表す所定の数値を生成するステッ
プとを実行することによりリズムの内部表現を構築す
る。
ぞれがフィルタにおけるタイムシリーズの貢献を表す係
数の組として各タイムシリーズの構造の表現を算出する
ステップと、各フィルタによりタイムシリーズをフィル
タリングし、リズムを表す所定の数値を生成するステッ
プとを実行することによりリズムの内部表現を構築す
る。
【００３９】また、距離の測定値を算出するステップ
は、リズムを表現する所定の数値により各信号を表現す
るステップと、２つの信号間について距離の測定値を算
出するステップとを有していてもよい。
は、リズムを表現する所定の数値により各信号を表現す
るステップと、２つの信号間について距離の測定値を算
出するステップとを有していてもよい。
【００４０】本発明において、オーディオ信号のアイテ
ムは、例えば楽曲であり、オーディオ信号は例えば音楽
オーディオ信号である。
ムは、例えば楽曲であり、オーディオ信号は例えば音楽
オーディオ信号である。
【００４１】さらに、データベースに含まれる打撃音
は、例えば打楽器により発生された音に基づくオーディ
オ信号である。
は、例えば打楽器により発生された音に基づくオーディ
オ信号である。
【００４２】さらに、２つの信号は、例えばバスドラム
とスネアドラムの音をそれぞれ表している。
とスネアドラムの音をそれぞれ表している。
【００４３】また、本発明に係るリズム構造抽出装置及
び類似関係判定装置は、汎用コンピュータと周辺装置と
を備え、上述のリズム構造抽出方法又は類似関係判定方
法を実現するようプログラミングされている。
び類似関係判定装置は、汎用コンピュータと周辺装置と
を備え、上述のリズム構造抽出方法又は類似関係判定方
法を実現するようプログラミングされている。
【００４４】また、本発明に係るプログラム製品は、汎
用コンピュータの内部メモリにロードされ、汎用コンピ
ュータに上述のリズム構造抽出方法又は類似関係判定方
法を実行させる。
用コンピュータの内部メモリにロードされ、汎用コンピ
ュータに上述のリズム構造抽出方法又は類似関係判定方
法を実行させる。
【００４５】
【発明の実施の形態】以下、本発明に係るリズム構造抽
出方法、類似関係判定方法、リズム構造抽出装置、類似
関係判定装置及びコンピュータプログラム製品につい
て、図面を参照して詳細に説明する。
出方法、類似関係判定方法、リズム構造抽出装置、類似
関係判定装置及びコンピュータプログラム製品につい
て、図面を参照して詳細に説明する。
【００４６】信号を分析して音を合成（synthesize）す
ることにより明白又は自明ではない音の出現を検出する
ことができる。
ることにより明白又は自明ではない音の出現を検出する
ことができる。
【００４７】図１（ａ）〜（ｃ）の左側は、連続する音
のスペクトルを示し、詳しくは、図１（ａ）に示すスペ
クトルは、包括的な音（general sound）を示し、図１
（ｂ）及び図１（ｃ）のスペクトルは、それぞれ入力信
号から合成された音を示している。図１（ａ）〜（ｃ）
の右側に示すスペクトルは、対応する入力信号の打撃音
（percussive sound）から検出されたピークを示してい
る。
のスペクトルを示し、詳しくは、図１（ａ）に示すスペ
クトルは、包括的な音（general sound）を示し、図１
（ｂ）及び図１（ｃ）のスペクトルは、それぞれ入力信
号から合成された音を示している。図１（ａ）〜（ｃ）
の右側に示すスペクトルは、対応する入力信号の打撃音
（percussive sound）から検出されたピークを示してい
る。
【００４８】図２に示すように、上述したピークの質の
測定（quality measure of peak）によって、これらピ
ークのローカルエネルギ（local energy）が他の打撃音
に対応する他のピークのローカルエネルギより小さい場
合であっても、与えられた打撃音の真の発生に実際に対
応するピークのみを検出することができる。
測定（quality measure of peak）によって、これらピ
ークのローカルエネルギ（local energy）が他の打撃音
に対応する他のピークのローカルエネルギより小さい場
合であっても、与えられた打撃音の真の発生に実際に対
応するピークのみを検出することができる。
【００４９】本発明の具体例では、以下の２つの処理段
階（以下、フェーズという。）を有する。 １）トレーニングフェーズ：このフェーズにおいては、
本発明に基づくパラメータの一部が調整（tune）され、
関連する楽曲のクラスタ（cluster）及び／又はカテゴ
リ（category）が生成される。 ２）ワーキングフェーズ：このフェーズにおいては、入
力された楽曲に類似するクラスタが生成される。
階（以下、フェーズという。）を有する。 １）トレーニングフェーズ：このフェーズにおいては、
本発明に基づくパラメータの一部が調整（tune）され、
関連する楽曲のクラスタ（cluster）及び／又はカテゴ
リ（category）が生成される。 ２）ワーキングフェーズ：このフェーズにおいては、入
力された楽曲に類似するクラスタが生成される。
【００５０】これらフェーズは、以下のような特徴を有
している。 １）トレーニングフェーズ 入力：デジタルフォーマットの音楽信号のデータベー
ス、例えば通常２０秒以上の長さの波形ファイル（wa
v） 出力：このデータベースのクラスタ ２）ワーキングフェーズ 入力：デジタルフォーマットの音楽信号のデータベー
ス、例えば通常２０秒以上の長さの波形ファイル（wa
v） 出力：この楽曲とデータベース内の他の楽曲間の距離の
測定値（distance measure）。この測定値により、入力
された楽曲に類似するリズム構造を有する楽曲を含むク
ラスタの集合が生成される。
している。 １）トレーニングフェーズ 入力：デジタルフォーマットの音楽信号のデータベー
ス、例えば通常２０秒以上の長さの波形ファイル（wa
v） 出力：このデータベースのクラスタ ２）ワーキングフェーズ 入力：デジタルフォーマットの音楽信号のデータベー
ス、例えば通常２０秒以上の長さの波形ファイル（wa
v） 出力：この楽曲とデータベース内の他の楽曲間の距離の
測定値（distance measure）。この測定値により、入力
された楽曲に類似するリズム構造を有する楽曲を含むク
ラスタの集合が生成される。
【００５１】以下、与えられた楽曲に対し、トレーニン
グフェーズにおいてクラスタを自動的に構築し、ワーキ
ングフェーズにおいて、標準的な分類法を用いて、同様
のクラスタを発見する処理に適した楽曲のリズム構造の
数値的表現を抽出する本発明のメインモジュールについ
て説明する。
グフェーズにおいてクラスタを自動的に構築し、ワーキ
ングフェーズにおいて、標準的な分類法を用いて、同様
のクラスタを発見する処理に適した楽曲のリズム構造の
数値的表現を抽出する本発明のメインモジュールについ
て説明する。
【００５２】楽曲のリズム構造抽出 リズム構造は、タイムシリーズ（time series）の重な
り（superposition）として定義される。各タイムシリ
ーズは、入力信号における所定の打楽器の打撃音による
複数の一時的なピークを表している。ピークは、信号に
おける打撃音の発生（significant contribution）を表
している。与えられた入力信号に対して、打撃音のライ
ブラリにおける異なる打楽器に関する、複数のタイムシ
リーズが抽出される。抽出される異なるタイムシリーズ
の数は、例えば、２つであってもよい。
り（superposition）として定義される。各タイムシリ
ーズは、入力信号における所定の打楽器の打撃音による
複数の一時的なピークを表している。ピークは、信号に
おける打撃音の発生（significant contribution）を表
している。与えられた入力信号に対して、打撃音のライ
ブラリにおける異なる打楽器に関する、複数のタイムシ
リーズが抽出される。抽出される異なるタイムシリーズ
の数は、例えば、２つであってもよい。
【００５３】これらタイムシリーズが抽出されると、デ
ータ削減処理（data reduction process）が行われ、各
タイムシリーズの主要な特性が抽出され、タイムシリー
ズ間の関係が集合的に調べられる。
ータ削減処理（data reduction process）が行われ、各
タイムシリーズの主要な特性が抽出され、タイムシリー
ズ間の関係が集合的に調べられる。
【００５４】このデータ削減処理により、各タイムシリ
ーズ及び各タイムシリーズの組合せの様々な自己相関
（auto-correlation）及び相関パラメータに関する削減
された情報を含む特徴空間（feature space）における
多次元点（multi-dimensional point）が生成される。
ーズ及び各タイムシリーズの組合せの様々な自己相関
（auto-correlation）及び相関パラメータに関する削減
された情報を含む特徴空間（feature space）における
多次元点（multi-dimensional point）が生成される。
【００５５】この処理を包括的に図３に示す。本発明に
基づく処理は、少なくとも以下の動作を実行する。 １）スペクトル分析技術を用いて入力信号を前処理し、
入力信号における非リズム情報を抑圧する。 ２）信号内の打撃音の発生を表す複数のオンセットタイ
ムシリーズ（onset times series）を組み合わせて入力
信号のリズム構造の表現を構築する。 ３）信号からこれらタイムシリーズを抽出するために、
打撃音のライブラリを使用する。 ４）音合成モジュール（sound synthesis module）を用
いて、打撃音のライブラリを反復的に構築する。 ５）タイムシリーズの自己相関及び相互相関積（auto-c
orrelation and cross-correlation products）を算出
することにより、タイムシリーズ内に与えられた情報を
削減する。 ６）タイムシリーズの相関を分析して、単純なテンポ抽
出を行う。 ７）削減された情報を用いて、２つの楽曲間の距離の測
定値を求める。
基づく処理は、少なくとも以下の動作を実行する。 １）スペクトル分析技術を用いて入力信号を前処理し、
入力信号における非リズム情報を抑圧する。 ２）信号内の打撃音の発生を表す複数のオンセットタイ
ムシリーズ（onset times series）を組み合わせて入力
信号のリズム構造の表現を構築する。 ３）信号からこれらタイムシリーズを抽出するために、
打撃音のライブラリを使用する。 ４）音合成モジュール（sound synthesis module）を用
いて、打撃音のライブラリを反復的に構築する。 ５）タイムシリーズの自己相関及び相互相関積（auto-c
orrelation and cross-correlation products）を算出
することにより、タイムシリーズ内に与えられた情報を
削減する。 ６）タイムシリーズの相関を分析して、単純なテンポ抽
出を行う。 ７）削減された情報を用いて、２つの楽曲間の距離の測
定値を求める。
【００５６】楽曲用の削減されたリズム情報の抽出は、
幾つかのフェーズにより実現される。まず、信号を前処
理し、非リズム情報をフィルタリングする。これによ
り、信号は単純化され、リズム情報のみを有するように
なる。続いて、以下のような処理を行う。 １）チャンネル抽出 ・サウンドライブラリの全ての打撃音に対し、入力信号
上のピーク抽出を行う。 ・処理の結果得られたタイムシリーズのピークの質を評
価する。 ・固定点が決定されるまで、処理を繰り返す。 ・抽出が成功したタイムシリーズを合成する。 ２）相関分析 ・相関積を算出する。 ・相関積からテンポを抽出する。 ・相関積をスケーリングする。 ・相関積に対するトリミング及び削減を行う。 ３）２）の結果から距離測定値を算出する。
幾つかのフェーズにより実現される。まず、信号を前処
理し、非リズム情報をフィルタリングする。これによ
り、信号は単純化され、リズム情報のみを有するように
なる。続いて、以下のような処理を行う。 １）チャンネル抽出 ・サウンドライブラリの全ての打撃音に対し、入力信号
上のピーク抽出を行う。 ・処理の結果得られたタイムシリーズのピークの質を評
価する。 ・固定点が決定されるまで、処理を繰り返す。 ・抽出が成功したタイムシリーズを合成する。 ２）相関分析 ・相関積を算出する。 ・相関積からテンポを抽出する。 ・相関積をスケーリングする。 ・相関積に対するトリミング及び削減を行う。 ３）２）の結果から距離測定値を算出する。
【００５７】好適な実施の形態に使用される４つのモジ
ュールの定義 １）非リズム情報をフィルタリングする前処理 この処理では、ＳＭＳ法（SMS approach）と同様の技術
を利用する。すなわち、信号を高調波音と雑音の和とし
て分析する処理は、例えば、１９９７年ザビエル・セラ
（Xavier Serra）著、シー・ローズ（C.Roads）、エス
・ポープ（S.Pope）、エー・ピチアリ（A.Picialli）、
ジー・ド・ポリ（G.De Poli）編「正弦波と雑音の和に
よる楽音モデリング（Musical Sound Modelling With S
inusoids Plus Noise）」及びスウェッツアンドザイト
リンジャパブリッシャ社（Swets & Zeitlinger Publish
ers）発行の「音楽信号処理（Musical Singal Processi
ng）」等に記述されている技術と同様の技術を用いる。 ２）チャンネル抽出 このモジュールは、信号における打撃音の発生を表すオ
ンセットタイムシリーズを抽出する。この抽出処理の流
れを図４に示す。この処理は、固定点に達するまで繰り
返し実行される。 ｉ）相関の技術を用いて、打撃音のサウンドライブラリ
内の各音と信号とを比較する。この処理では、以下に示
す式を用いて、ｔを［１，ＮＳ］に属する要素とする信
号Ｓ（ｔ）及びｔを［１，ＮＩ］に属する要素とする楽
器音Ｉ（ｔ）に関する相関関数Ｃｏｒ（δ）を算出す
る。
ュールの定義 １）非リズム情報をフィルタリングする前処理 この処理では、ＳＭＳ法（SMS approach）と同様の技術
を利用する。すなわち、信号を高調波音と雑音の和とし
て分析する処理は、例えば、１９９７年ザビエル・セラ
（Xavier Serra）著、シー・ローズ（C.Roads）、エス
・ポープ（S.Pope）、エー・ピチアリ（A.Picialli）、
ジー・ド・ポリ（G.De Poli）編「正弦波と雑音の和に
よる楽音モデリング（Musical Sound Modelling With S
inusoids Plus Noise）」及びスウェッツアンドザイト
リンジャパブリッシャ社（Swets & Zeitlinger Publish
ers）発行の「音楽信号処理（Musical Singal Processi
ng）」等に記述されている技術と同様の技術を用いる。 ２）チャンネル抽出 このモジュールは、信号における打撃音の発生を表すオ
ンセットタイムシリーズを抽出する。この抽出処理の流
れを図４に示す。この処理は、固定点に達するまで繰り
返し実行される。 ｉ）相関の技術を用いて、打撃音のサウンドライブラリ
内の各音と信号とを比較する。この処理では、以下に示
す式を用いて、ｔを［１，ＮＳ］に属する要素とする信
号Ｓ（ｔ）及びｔを［１，ＮＩ］に属する要素とする楽
器音Ｉ（ｔ）に関する相関関数Ｃｏｒ（δ）を算出す
る。
【００５８】
【数１】
【００５９】ｉｉ）処理の結果得られたタイムシリーズ
のピークの質の算出及び評価 このモジュールは、以下のような一連のフィルタにより
信号をフィルタリングすることにより実現される。 ａ）例えば、ＴＡ＝５０／１００×Ｍａｘ（Ｃｏｒ）と
して、振幅閾値ＴＡを下回るＣｏｒ関数の全ての値をフ
ィルタリングして取り除く。 ｂ）「近すぎる」ピーク、すなわち、他のピークとの間
の発生時間の間隔が時間閾値ＴＳより小さい全てのピー
クをフィルタリングして取り除く。ＴＳは、信号におい
て、通常１０ミリ秒に設定される。 ｃ）十分に高い質を示す測定値を有さない全てのピーク
を取り除く。質の測定値は、以下に示す式に基づき、相
関信号Ｃｏｒ内のピークｔにおけるローカルエネルギ
と、ピークｔの近辺のローカルエネルギＱ（Ｃｏｒ）と
の比として算出される。
のピークの質の算出及び評価 このモジュールは、以下のような一連のフィルタにより
信号をフィルタリングすることにより実現される。 ａ）例えば、ＴＡ＝５０／１００×Ｍａｘ（Ｃｏｒ）と
して、振幅閾値ＴＡを下回るＣｏｒ関数の全ての値をフ
ィルタリングして取り除く。 ｂ）「近すぎる」ピーク、すなわち、他のピークとの間
の発生時間の間隔が時間閾値ＴＳより小さい全てのピー
クをフィルタリングして取り除く。ＴＳは、信号におい
て、通常１０ミリ秒に設定される。 ｃ）十分に高い質を示す測定値を有さない全てのピーク
を取り除く。質の測定値は、以下に示す式に基づき、相
関信号Ｃｏｒ内のピークｔにおけるローカルエネルギ
と、ピークｔの近辺のローカルエネルギＱ（Ｃｏｒ）と
の比として算出される。
【００６０】
【数２】
【００６１】通常、picWidthは、５００サンプルとし、
これは、１１０２５Ｈｚのサンプリングレートで４５ミ
リ秒の期間に相当する。ここで、質閾値ＴＱを５０／１
００Ｍａｘ（Ｑ（cor,t））として、Ｑ（ｐ）＞ＴＱを
満たすピークのみを残す。これにより得られるオンセッ
トタイムシリーズは、１≦ｉ≦nbPeaksとして、ピーク
の位置を表すpeakPosition(i)及びピークの値を表すpea
kValue(i)といった２つのベクトルにより表現される。 ｄ）ピークのタイムシリーズのこの時点における新たな
打撃音が、元の信号と合成される。新たに合成される打
撃音は、以下のように定義される。
これは、１１０２５Ｈｚのサンプリングレートで４５ミ
リ秒の期間に相当する。ここで、質閾値ＴＱを５０／１
００Ｍａｘ（Ｑ（cor,t））として、Ｑ（ｐ）＞ＴＱを
満たすピークのみを残す。これにより得られるオンセッ
トタイムシリーズは、１≦ｉ≦nbPeaksとして、ピーク
の位置を表すpeakPosition(i)及びピークの値を表すpea
kValue(i)といった２つのベクトルにより表現される。 ｄ）ピークのタイムシリーズのこの時点における新たな
打撃音が、元の信号と合成される。新たに合成される打
撃音は、以下のように定義される。
【００６２】
【数３】
【００６３】ここで、ｔは［１，Ｎｉ］に属する要素と
する。 ｅ）楽器Ｉを新たな楽器newInstに置き換えて、上述の
処理を繰り返す。この処理は、算出されたピークタイム
シリーズが先行するサイクルと同様に算出されるまで繰
り返され、すなわち、固定点反復処理（fixed point it
eration）を実行する。
する。 ｅ）楽器Ｉを新たな楽器newInstに置き換えて、上述の
処理を繰り返す。この処理は、算出されたピークタイム
シリーズが先行するサイクルと同様に算出されるまで繰
り返され、すなわち、固定点反復処理（fixed point it
eration）を実行する。
【００６４】ピーク抽出に対して、信号を全ての打撃音
と比較した後、以下の判定基準に基づいて、２つのタイ
ムシリーズを選択する。 ・２つのタイムシリーズは異なっていなくてはならず、
一方が他方を包含する関係にあってはならない。 ・矛盾が生じた場合、すなわち、２つのタイムシリーズ
の候補が異なる音を有するものである場合、ピーク数が
最大のタイムシリーズを選択する。
と比較した後、以下の判定基準に基づいて、２つのタイ
ムシリーズを選択する。 ・２つのタイムシリーズは異なっていなくてはならず、
一方が他方を包含する関係にあってはならない。 ・矛盾が生じた場合、すなわち、２つのタイムシリーズ
の候補が異なる音を有するものである場合、ピーク数が
最大のタイムシリーズを選択する。
【００６５】このような処理により、２つのタイムシリ
ーズが得られ、これらのタイムシリーズは、整合される
打楽器のスペクトル中心（spectral centroid）に基づ
いて区別（sort out）される。例えば、第１のタイムシ
リーズはバスドラムを表し、第２のタイムシリーズはス
ネアドラムを表すものとする。ここで、打撃音がバスド
ラム及びスネアドラムのような音ではない場合であって
も、タイムシリーズを定められた順序で生成及び比較す
ることのみを目的として、このような区別を行う。 ３）相関分析 このモジュールには、前段のモジュールにより算出さ
れ、信号における２つの主要な打撃音のオンセットタイ
ムシリーズを表す２つのタイムシリーズが入力される。
また、このモジュールは、このデータを削減し、後の分
類（classification）に適するデータを表す数値の組を
出力する。この数値のシリーズをＴＳ１及びＴＳ２とし
て示す。
ーズが得られ、これらのタイムシリーズは、整合される
打楽器のスペクトル中心（spectral centroid）に基づ
いて区別（sort out）される。例えば、第１のタイムシ
リーズはバスドラムを表し、第２のタイムシリーズはス
ネアドラムを表すものとする。ここで、打撃音がバスド
ラム及びスネアドラムのような音ではない場合であって
も、タイムシリーズを定められた順序で生成及び比較す
ることのみを目的として、このような区別を行う。 ３）相関分析 このモジュールには、前段のモジュールにより算出さ
れ、信号における２つの主要な打撃音のオンセットタイ
ムシリーズを表す２つのタイムシリーズが入力される。
また、このモジュールは、このデータを削減し、後の分
類（classification）に適するデータを表す数値の組を
出力する。この数値のシリーズをＴＳ１及びＴＳ２とし
て示す。
【００６６】このモジュールは、次の処理を実行する。 ｉ）相関積の算出 各タイムシリーズＣ１，１、Ｃ２，２、Ｃ１，２は、以
下の式に示すように、ＴＳ１とＴＳ２の相関積として算
出される。
下の式に示すように、ＴＳ１とＴＳ２の相関積として算
出される。
【００６７】
【数４】
【００６８】ｉｉ）相関積からのテンポ抽出 テンポは、以下の式を用いて相関積から抽出される。す
なわち、ｔ＞０として、 ＭＡＸ＝ＭＡＸ（Ｃ１，１（ｔ）＋Ｃ２，２（ｔ）） なお、ここで、Ｃ１，１のエネルギを表すＣ
１，１（０）の検討を避けるために、ｔ＞０から開始す
る。ＭＡＸの演算子（index）の値、すなわちＩＭＡＸ
は、可能な乗数（multicative factor）を有する信号に
おける最も顕著な期間（prominent period）を表し、こ
れをテンポと推定する。ここでは、６０拍毎分（beatpe
r minute：以下、ｂｐｍとする。）〜１８０ｂｐｍのテ
ンポ、すなわち２５０ミリ秒〜７５０ミリ秒の期間につ
いてのみ検討する。したがって、顕著な期間がこの範囲
内にない場合、次のような乗算又は除算を行う。すなわ
ち、ＩＭＡＸ＜２５０ミリ秒の場合、ＩＭＡＸ＝ＩＭＡ
Ｘ×２とし、ＩＭＡＸ＞７５０ｍｓの場合、ＩＭＡＸ＝
ＩＭＡＸ／２とする。 ｉｉｉ）相関積のスケーリング 一旦、テンポが抽出されると、続いて、テンポ及び振幅
の最大値に基づいて、タイムシリーズをスケーリングし
て正規化する。以下に示す式により、新たな３つの正規
化されたタイムシリーズが算出される。 Ｃ１，１＝Ｃ１，１（ｔ×ＩＭＡＸ）／ＭＡＸ Ｃ２，２＝Ｃ２，２（ｔ×ＩＭＡＸ）／ＭＡＸ Ｃ１，２＝Ｃ１，２（ｔ×ＩＭＡＸ）／ＭＡＸ ｉｖ）相関積のトリミング及び削減 ここでは、各正規化されたタイムシリーズについて、０
〜１の範囲内の値のみを残す。 ４）モジュール３）の結果からの距離測定値の算出 各楽曲のリズムの内部表現に基づいて、２つの楽曲間の
距離を測定し、これにより、モジュール３）で算出され
たデータは、単純な数値に削減される。 ｉ）リズムの内部表現の構築 それぞれがタイムシリーズにおける櫛形フィルタ（comb
filter）の効果（contribution）を表す係数の組とし
て、各タイムシリーズＣＮｉ，ｊの構造（morphology）
の表現を算出する。櫛形フィルタＦｌ，Ｆｎの組は、以
下のように定義される。
なわち、ｔ＞０として、 ＭＡＸ＝ＭＡＸ（Ｃ１，１（ｔ）＋Ｃ２，２（ｔ）） なお、ここで、Ｃ１，１のエネルギを表すＣ
１，１（０）の検討を避けるために、ｔ＞０から開始す
る。ＭＡＸの演算子（index）の値、すなわちＩＭＡＸ
は、可能な乗数（multicative factor）を有する信号に
おける最も顕著な期間（prominent period）を表し、こ
れをテンポと推定する。ここでは、６０拍毎分（beatpe
r minute：以下、ｂｐｍとする。）〜１８０ｂｐｍのテ
ンポ、すなわち２５０ミリ秒〜７５０ミリ秒の期間につ
いてのみ検討する。したがって、顕著な期間がこの範囲
内にない場合、次のような乗算又は除算を行う。すなわ
ち、ＩＭＡＸ＜２５０ミリ秒の場合、ＩＭＡＸ＝ＩＭＡ
Ｘ×２とし、ＩＭＡＸ＞７５０ｍｓの場合、ＩＭＡＸ＝
ＩＭＡＸ／２とする。 ｉｉｉ）相関積のスケーリング 一旦、テンポが抽出されると、続いて、テンポ及び振幅
の最大値に基づいて、タイムシリーズをスケーリングし
て正規化する。以下に示す式により、新たな３つの正規
化されたタイムシリーズが算出される。 Ｃ１，１＝Ｃ１，１（ｔ×ＩＭＡＸ）／ＭＡＸ Ｃ２，２＝Ｃ２，２（ｔ×ＩＭＡＸ）／ＭＡＸ Ｃ１，２＝Ｃ１，２（ｔ×ＩＭＡＸ）／ＭＡＸ ｉｖ）相関積のトリミング及び削減 ここでは、各正規化されたタイムシリーズについて、０
〜１の範囲内の値のみを残す。 ４）モジュール３）の結果からの距離測定値の算出 各楽曲のリズムの内部表現に基づいて、２つの楽曲間の
距離を測定し、これにより、モジュール３）で算出され
たデータは、単純な数値に削減される。 ｉ）リズムの内部表現の構築 それぞれがタイムシリーズにおける櫛形フィルタ（comb
filter）の効果（contribution）を表す係数の組とし
て、各タイムシリーズＣＮｉ，ｊの構造（morphology）
の表現を算出する。櫛形フィルタＦｌ，Ｆｎの組は、以
下のように定義される。
【００６９】
【数５】
【００７０】すなわち、各櫛形フィルタＦｉは、前段の
フィルタＦｊ（ｊ＞ｉ）内の成分（fraction）が重なる
ことを避けるために、素因子（prime fraction）のみを
含むという条件で、範囲［０，１］を１／ｉ、２／ｉ、
（ｉ−１）／ｉに分割したものを表している。
フィルタＦｊ（ｊ＞ｉ）内の成分（fraction）が重なる
ことを避けるために、素因子（prime fraction）のみを
含むという条件で、範囲［０，１］を１／ｉ、２／ｉ、
（ｉ−１）／ｉに分割したものを表している。
【００７１】関数gauss（ｔ）は、クロスオーバー（cro
ssover）を避けるのに十分な減衰係数（decaying coeff
icient）を有するガウス関数である。減衰係数は、例え
ば３０に設定される。
ssover）を避けるのに十分な減衰係数（decaying coeff
icient）を有するガウス関数である。減衰係数は、例え
ば３０に設定される。
【００７２】タイムシリーズＣＮを各フィルタＦｉによ
りフィルタリングすることにより、Ｎ個の数値が得られ
る。
りフィルタリングすることにより、Ｎ個の数値が得られ
る。
【００７３】本発明に基づく具体例では、Ｎ＝８とし、
これにより２拍、３拍から最大８拍までのリズムパター
ンを記述することができる。なお、要求に応じて、Ｎの
値として他の値を使用してもよい。
これにより２拍、３拍から最大８拍までのリズムパター
ンを記述することができる。なお、要求に応じて、Ｎの
値として他の値を使用してもよい。
【００７４】したがって、３個のタイムシリーズＣＮ
ｉｊからは、リズムを表す３×８＝２４個の数値が生成
される。 ｉｉ）距離に関連付けられた多次元空間内におけるリズ
ムの表現 各音楽信号Ｓは、上述の方法により、２４個の数値によ
り表現される。音楽信号Ｓ１と音楽信号Ｓ２間の距離の
測定値は、この空間における自乗差分（squared differ
ences）の重み付け加算値として表される。
ｉｊからは、リズムを表す３×８＝２４個の数値が生成
される。 ｉｉ）距離に関連付けられた多次元空間内におけるリズ
ムの表現 各音楽信号Ｓは、上述の方法により、２４個の数値によ
り表現される。音楽信号Ｓ１と音楽信号Ｓ２間の距離の
測定値は、この空間における自乗差分（squared differ
ences）の重み付け加算値として表される。
【００７５】
【数６】
【００７６】重みαｉの実際の値は、標準的なデータ解
析技術を用いて決定される。
析技術を用いて決定される。
【００７７】
【発明の効果】以上のように、本発明に係るリズム構造
抽出方法は、音を表すデータを含むデータベースからリ
ズム構造を抽出するリズム構造抽出方法において、解析
により入力信号を処理して、入力信号に含まれているリ
ズム情報を選択するステップと、解析の実行中に音を合
成するステップとを有する。これにより、音楽的構成等
のリズム構造に関する情報を自動的且つ効率的に抽出す
ることができる。
抽出方法は、音を表すデータを含むデータベースからリ
ズム構造を抽出するリズム構造抽出方法において、解析
により入力信号を処理して、入力信号に含まれているリ
ズム情報を選択するステップと、解析の実行中に音を合
成するステップとを有する。これにより、音楽的構成等
のリズム構造に関する情報を自動的且つ効率的に抽出す
ることができる。
【００７８】また、本発明に係る類似関係判定方法は、
一方が比較の参照として使用されるオーディオ信号にお
けるアイテムのリズム構造を比較することにより、アイ
テム間の類似関係を判定するものであり、上述のリズム
構造抽出方法を実行して比較すべきオーディオ信号の各
アイテムに対応するリズム構造を判定するステップと、
削減されたリズム情報に基づいてオーディオ信号のアイ
テム間の距離測定を行うステップと、特定の基準を用い
て、参照用のアイテムから特定の距離内にあるオーディ
オ信号のアイテムが同様のリズムを有するものと判定す
るステップとを有する。音楽的構成等のリズム構造に関
する情報を自動的且つ効率的に抽出し、信号の類似関係
を判定することができる。
一方が比較の参照として使用されるオーディオ信号にお
けるアイテムのリズム構造を比較することにより、アイ
テム間の類似関係を判定するものであり、上述のリズム
構造抽出方法を実行して比較すべきオーディオ信号の各
アイテムに対応するリズム構造を判定するステップと、
削減されたリズム情報に基づいてオーディオ信号のアイ
テム間の距離測定を行うステップと、特定の基準を用い
て、参照用のアイテムから特定の距離内にあるオーディ
オ信号のアイテムが同様のリズムを有するものと判定す
るステップとを有する。音楽的構成等のリズム構造に関
する情報を自動的且つ効率的に抽出し、信号の類似関係
を判定することができる。
【図１】本発明に基づいて入力信号内の打撃音の発生を
検出及び抽出して得られたスペクトルを示す図である。
検出及び抽出して得られたスペクトルを示す図である。
【図２】本発明に基づく質の測定により得られたスペク
トルを示す図である。
トルを示す図である。
【図３】本発明に基づく処理の全体の流れを説明する図
である。
である。
【図４】本発明に基づくピークの抽出、評価、及び音合
成の処理の流れを説明する図である。
成の処理の流れを説明する図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/10 Ｇ１０Ｌ 3/00 ５５１Ｇ (72)発明者 ドゥレリュー、オリビエ フランス国 75005 パリ市 アミヨ通り ６番地 ソニー コンピューター サイ エンス研究所内 Ｆターム(参考） 5D015 AA06 5D082 BB19 5D378 KK01
Claims (34)
- 【請求項１】 音を表すデータを含むデータベースから
リズム構造を抽出するリズム構造抽出方法において、 解析により入力信号を処理して、該入力信号に含まれて
いるリズム情報を選択するステップと、 上記解析の実行中に上記音を合成するステップとを有す
るリズム構造抽出方法。 - 【請求項２】 上記データベースは、打撃音を表すデー
タを含んでいることを特徴とする請求項１記載のリズム
構造抽出方法。 - 【請求項３】 上記入力信号を処理するステップは、該
入力信号をスペクトル分析により処理するステップを有
することを特徴とする請求項１又は２記載のリズム構造
抽出方法。 - 【請求項４】 上記音を合成するステップは、 オンセットピークのタイムシリーズ及び上記入力信号か
ら新たな打撃音を合成し、該新たな打撃音を定義し、繰
り返される反復処理を可能とするステップと、算出され
るピークシリーズタイムシリーズサイクルが先行するサ
イクルと同じになるまで、上記反復処理を繰り返すステ
ップと、 上記入力信号をピーク抽出のために全ての打撃音と比較
した後に、２つの異なるタイムシリーズを選択するステ
ップとを有することを特徴とする請求項１乃至３いずれ
か１項記載のリズム構造抽出方法。 - 【請求項５】 それぞれが１つの打撃音の時間的な貢献
を表すタイムシリーズとして上記リズム構造を定義する
ステップを有する請求項１乃至４いずれか１項記載のリ
ズム構造抽出方法。 - 【請求項６】 複数のオンセットタイムシリーズを組み
合わせて上記リズム構造を構築するステップと、 上記複数のタイムシリーズ内に含まれるリズム情報を削
減し、アイテムに対する削減されたリズム情報を抽出す
るステップと有する請求項１乃至５いずれか１項記載の
リズム構造抽出方法。 - 【請求項７】 上記リズム構造は、オーディオ信号にお
ける所定のアイテムの数値的表現によって形成され、上
記データベース内の打撃音は、オーディオ信号内に存在
することを特徴とする請求項６記載のリズム構造抽出方
法。 - 【請求項８】 上記リズム構造を定義するステップは、
それぞれが上記オーディオ信号における打撃音の１つに
対応する時間的貢献を表すタイムシリーズの重なりとし
て上記リズム構造を定義するステップを有することを特
徴とする請求項５乃至７いずれか１項記載のリズム構造
抽出方法。 - 【請求項９】 上記リズム構造を構築するステップは、
複数のオンセットタイムシリーズを組み合わせて上記入
力信号のリズム構造の数値的表現を構築するステップを
有することを特徴とする請求項６乃至８いずれか１項記
載のリズム構造抽出方法。 - 【請求項１０】 上記リズム構造を削減するステップ
は、上記複数のタイムシリーズの相関を分析することに
より該複数のタイムシリーズに含まれているリズム情報
を削減し、オーディオ信号のアイテムに対応する削減さ
れたリズム情報を抽出するステップを有することを特徴
とする請求項６乃至９いずれか１項記載のリズム構造抽
出方法。 - 【請求項１１】 一方が比較の参照として使用されるオ
ーディオ信号におけるアイテムのリズム構造を比較する
ことにより、アイテム間の類似関係を判定する類似関係
判定方法において、 請求項１乃至１０いずれか１項記載のリズム構造抽出方
法を実行して比較すべきオーディオ信号の各アイテムに
対応するリズム構造を判定するステップと、削減された
リズム情報に基づいて上記オーディオ信号のアイテム間
の距離測定を行うステップと、 特定の基準を用いて、参照用のアイテムから特定の距離
内にあるオーディオ信号のアイテムが同様のリズムを有
するものと判定するステップとを有する類似関係判定方
法。 - 【請求項１２】 上記参照用のオーディオ信号との類似
性に基づいてオーディオ信号のアイテムを選択するステ
ップを有する請求項１１記載の類似関係判定方法。 - 【請求項１３】 上記リズム構造を定義するステップ
は、各タイムシリーズが与えられた打撃音の時間的ピー
クを表すものと定義するステップを有することを特徴と
する請求項５乃至１２いずれか１項記載のリズム構造抽
出方法又は類似関係判定方法。 - 【請求項１４】 上記入力信号を処理するステップは、
該入力信号に対するピーク抽出処理を実行するステップ
を有することを特徴とする請求項１乃至１３いずれか１
項記載のリズム構造抽出方法又は類似関係判定方法。 - 【請求項１５】 上記ピーク抽出処理を実行するステッ
プは、信号を高調波音と雑音として分析することにより
ピークを抽出するステップを有することを特徴とする請
求項１４記載のリズム構造抽出方法又は類似関係判定方
法。 - 【請求項１６】 上記入力信号を処理するステップは、
ピークフィルタリング処理を実行するステップを有する
ことを特徴とする請求項１乃至１５いずれか１項記載の
リズム構造抽出方法又は類似関係判定方法。 - 【請求項１７】 上記ピークフィルタリング処理を実行
するステップは、所定の閾値に達するまで、上記オーデ
ィオ信号における打撃音の発生を表すオンセットタイム
シリーズを繰り返し抽出するステップを有することを特
徴とする請求項１６記載のリズム構造抽出方法又は類似
関係判定方法。 - 【請求項１８】 上記ピークフィルタリング処理を実行
するステップは、オーディオ信号と打撃音の相関関数値
を算出する相関分析技術により、上記データベースに格
納されている各打撃音と上記オーディオ信号とを比較す
るステップを有することを特徴とする請求項１６又は１
７記載のリズム構造抽出方法又は類似関係判定方法。 - 【請求項１９】 上記ピークフィルタリング処理を実行
するステップは、所定の振幅閾値以下の相関関数値をフ
ィルタリングして除去し、所定の時間閾値以下の発生時
間を有するピークをフィルタリングして除去し、所定の
質閾値以下の質を有するピークをフィルタリングして除
去することにより、処理の結果得られた上記タイムシリ
ーズのピークの質を評価して、ピーク位置ベクトル及び
ピーク値ベクトルを有するオンセットタイムシリーズを
生成するステップを有することを特徴とする請求項１６
乃至１８いずれか１項記載のリズム構造抽出方法又は類
似関係判定方法。 - 【請求項２０】 上記入力信号を処理するステップは、
相関分析処理を実行するステップを有することを特徴と
する請求項１乃至１９いずれか１項記載のリズム構造抽
出方法又は類似関係判定方法。 - 【請求項２１】 上記相関分析処理を実行するステップ
は、タイムシリーズの相関積を公式化するステップと、
該相関積からテンポ値を選択するステップと、該テンポ
値をスケーリングするステップとを有することを特徴と
する請求項２０記載のリズム構造抽出方法又は類似関係
判定方法。 - 【請求項２２】 上記相関積を公式化するステップは、 上記信号における２つの主要な打撃音のオンセットタイ
ムシリーズを表す２つのタイムシリーズを入力情報とし
て特定するステップと、 上記入力されたタイムシリーズに含まれているリズム情
報を削減した情報を表す数値の組を出力情報として生成
するステップと、 上記２つのタイムシリーズの相関積を算出するステップ
とを有する請求項２１記載のリズム構造抽出方法又は類
似関係判定方法。 - 【請求項２３】 上記テンポ値を選択するステップは、
上記信号における顕著な期間を表すテンポ値を選択する
ステップを有することを特徴とする請求項２１又は２２
記載のリズム構造抽出方法又は類似関係判定方法。 - 【請求項２４】 上記テンポ値を選択するステップは、
上記相関積からテンポ値を抽出するステップを有し、上
記顕著な期間は所定の範囲内から選択されることを特徴
とする請求項２３記載のリズム構造抽出方法又は類似関
係判定方法。 - 【請求項２５】 上記テンポ値をスケーリングするステ
ップは、 上記テンポ値及び振幅の値に基づいて上記タイムシリー
ズをスケーリングし、新たな正規化されたタイムシリー
ズの組を生成するステップと、 上記相関積をトリミング及び削減し、上記所定の範囲内
に含まれる正規化された各相関積に対応する値を残すス
テップとを有する請求項２１乃至２４いずれか１項記載
のリズム構造抽出方法又は類似関係判定方法。 - 【請求項２６】 上記テンポ値をスケーリングするステ
ップは、上記タイムシリーズを上記相関積によりスケー
リングするステップを有することを特徴とする請求項２
５記載のリズム構造抽出方法又は類似関係判定方法。 - 【請求項２７】 上記距離の測定値を算出するステップ
は、上記オーディオ信号の各アイテムに対するリズムの
内部表現に基づいて該オーディオ信号２つのアイテムを
算出し、上記相関積から算出されたデータを単純な数値
に削減するステップを有することを特徴とする請求項１
１乃至２６いずれか１項記載のリズム構造抽出方法又は
類似関係判定方法。 - 【請求項２８】 上記距離の測定値を算出するステップ
は、それぞれがフィルタにおけるタイムシリーズの貢献
を表す係数の組として上記各タイムシリーズの構造の表
現を算出するステップと、各フィルタによりタイムシリ
ーズをフィルタリングし、上記リズムを表す所定の数値
を生成するステップとを実行することにより上記リズム
の内部表現を構築することを特徴とする請求項２７記載
のリズム構造抽出方法又は類似関係判定方法。 - 【請求項２９】 上記距離の測定値を算出するステップ
は、上記リズムを表現する所定の数値により各信号を表
現するステップと、２つの信号間について上記距離の測
定値を算出するステップとを有することを特徴とする請
求項２７又は２８記載のリズム構造抽出方法又は類似関
係判定方法。 - 【請求項３０】 上記オーディオ信号のアイテムは、楽
曲であり、上記オーディオ信号は、音楽オーディオ信号
であることを特徴とする請求項１乃至２９記載のリズム
構造抽出方法又は類似関係判定方法。 - 【請求項３１】 上記データベースに含まれる打撃音
は、打楽器により発生された音に基づくオーディオ信号
であることを特徴とする請求項１乃至３０いずれか１項
記載のリズム構造抽出方法又は類似関係判定方法。 - 【請求項３２】 上記２つの信号は、それぞれバスドラ
ムとスネアドラムの音を表していることを特徴とする請
求項２２乃至３１いずれか１項記載のリズム構造抽出方
法又は類似関係判定方法。 - 【請求項３３】 汎用コンピュータと周辺装置とを備
え、請求項１乃至３２いずれか１項記載のリズム構造抽
出方法又は類似関係判定方法を実現するようプログラミ
ングされたリズム構造抽出装置又は類似関係判定装置。 - 【請求項３４】 汎用コンピュータの内部メモリにロー
ドされ、該汎用コンピュータに請求項１乃至３２いずれ
か１項記載のリズム構造抽出方法又は類似関係判定方法
を実行させるコンピュータプログラム製品。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP00400948A EP1143409B1 (en) | 2000-04-06 | 2000-04-06 | Rhythm feature extractor |
| EP00400948.6 | 2000-04-06 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012173010A Division JP2012234202A (ja) | 2000-04-06 | 2012-08-03 | リズムの構造を抽出する方法、複数の音声信号のアイテム間の類似する関係を決定する方法、および、そのプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002006839A true JP2002006839A (ja) | 2002-01-11 |
Family
ID=8173635
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001109158A Pending JP2002006839A (ja) | 2000-04-06 | 2001-04-06 | リズム構造抽出方法及び類似関係判定方法 |
| JP2012173010A Pending JP2012234202A (ja) | 2000-04-06 | 2012-08-03 | リズムの構造を抽出する方法、複数の音声信号のアイテム間の類似する関係を決定する方法、および、そのプログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012173010A Pending JP2012234202A (ja) | 2000-04-06 | 2012-08-03 | リズムの構造を抽出する方法、複数の音声信号のアイテム間の類似する関係を決定する方法、および、そのプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6469240B2 (ja) |
| EP (1) | EP1143409B1 (ja) |
| JP (2) | JP2002006839A (ja) |
| DE (1) | DE60041118D1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003330460A (ja) * | 2002-05-01 | 2003-11-19 | Fuji Xerox Co Ltd | 少なくとも２つのオーディオ・ワークの比較方法、少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム、及び、オーディオ・ワークのビートスペクトルの決定方法 |
| KR100655935B1 (ko) * | 2006-01-17 | 2006-12-11 | 삼성전자주식회사 | 화상형성장치 및 화상형성장치 구동제어 방법 |
| WO2012077555A1 (ja) * | 2010-12-07 | 2012-06-14 | 株式会社Ｊｖｃケンウッド | 曲順決定装置、曲順決定方法、および曲順決定プログラム |
| WO2013179743A1 (ja) * | 2012-05-30 | 2013-12-05 | 株式会社Ｊｖｃケンウッド | 曲順決定装置、曲順決定方法、および曲順決定プログラム |
| WO2019053765A1 (ja) * | 2017-09-12 | 2019-03-21 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 楽曲解析装置および楽曲解析プログラム |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6910035B2 (en) * | 2000-07-06 | 2005-06-21 | Microsoft Corporation | System and methods for providing automatic classification of media entities according to consonance properties |
| US7035873B2 (en) * | 2001-08-20 | 2006-04-25 | Microsoft Corporation | System and methods for providing adaptive media property classification |
| US6657117B2 (en) * | 2000-07-14 | 2003-12-02 | Microsoft Corporation | System and methods for providing automatic classification of media entities according to tempo properties |
| KR100880480B1 (ko) * | 2002-02-21 | 2009-01-28 | 엘지전자 주식회사 | 디지털 오디오 신호의 실시간 음악/음성 식별 방법 및시스템 |
| US20050022654A1 (en) * | 2003-07-29 | 2005-02-03 | Petersen George R. | Universal song performance method |
| EP1709624A1 (en) * | 2004-01-21 | 2006-10-11 | Koninklijke Philips Electronics N.V. | Method and system for determining a measure of tempo ambiguity for a music input signal |
| US7148415B2 (en) * | 2004-03-19 | 2006-12-12 | Apple Computer, Inc. | Method and apparatus for evaluating and correcting rhythm in audio data |
| US7626110B2 (en) * | 2004-06-02 | 2009-12-01 | Stmicroelectronics Asia Pacific Pte. Ltd. | Energy-based audio pattern recognition |
| US7563971B2 (en) * | 2004-06-02 | 2009-07-21 | Stmicroelectronics Asia Pacific Pte. Ltd. | Energy-based audio pattern recognition with weighting of energy matches |
| US7718881B2 (en) * | 2005-06-01 | 2010-05-18 | Koninklijke Philips Electronics N.V. | Method and electronic device for determining a characteristic of a content item |
| US8423356B2 (en) * | 2005-10-17 | 2013-04-16 | Koninklijke Philips Electronics N.V. | Method of deriving a set of features for an audio input signal |
| US8473283B2 (en) * | 2007-11-02 | 2013-06-25 | Soundhound, Inc. | Pitch selection modules in a system for automatic transcription of sung or hummed melodies |
| CN101471068B (zh) * | 2007-12-26 | 2013-01-23 | 三星电子株式会社 | 通过哼唱音乐旋律搜索基于波形的音乐文件的方法和系统 |
| CN101958646B (zh) * | 2009-07-17 | 2013-08-28 | 鸿富锦精密工业（深圳）有限公司 | 电源补偿装置及方法 |
| US9053695B2 (en) * | 2010-03-04 | 2015-06-09 | Avid Technology, Inc. | Identifying musical elements with similar rhythms |
| JP5560861B2 (ja) * | 2010-04-07 | 2014-07-30 | ヤマハ株式会社 | 楽曲解析装置 |
| JP5454317B2 (ja) | 2010-04-07 | 2014-03-26 | ヤマハ株式会社 | 音響解析装置 |
| US8670577B2 (en) | 2010-10-18 | 2014-03-11 | Convey Technology, Inc. | Electronically-simulated live music |
| KR20120132342A (ko) * | 2011-05-25 | 2012-12-05 | 삼성전자주식회사 | 보컬 신호 제거 장치 및 방법 |
| US9160837B2 (en) | 2011-06-29 | 2015-10-13 | Gracenote, Inc. | Interactive streaming content apparatus, systems and methods |
| CN103839538B (zh) * | 2012-11-22 | 2016-01-20 | 腾讯科技（深圳）有限公司 | 音乐节奏检测方法及检测装置 |
| US9372925B2 (en) | 2013-09-19 | 2016-06-21 | Microsoft Technology Licensing, Llc | Combining audio samples by automatically adjusting sample characteristics |
| US9798974B2 (en) * | 2013-09-19 | 2017-10-24 | Microsoft Technology Licensing, Llc | Recommending audio sample combinations |
| CN111816147A (zh) * | 2020-01-16 | 2020-10-23 | 武汉科技大学 | 一种基于信息提取的音乐节奏定制方法 |
| CN112990261B (zh) * | 2021-02-05 | 2023-06-09 | 清华大学深圳国际研究生院 | 一种基于敲击节奏的智能手表用户识别方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS55116386U (ja) * | 1979-02-09 | 1980-08-16 | ||
| JPS6370294A (ja) * | 1986-09-11 | 1988-03-30 | 松下電器産業株式会社 | テンポ表示装置 |
| WO1993024923A1 (en) * | 1992-06-03 | 1993-12-09 | Neil Philip Mcangus Todd | Analysis and synthesis of rhythm |
| JPH05333857A (ja) * | 1992-05-27 | 1993-12-17 | Brother Ind Ltd | 自動採譜装置 |
| JPH0659668A (ja) * | 1992-08-07 | 1994-03-04 | Brother Ind Ltd | リズム楽器の自動採譜装置 |
| JPH0675562A (ja) * | 1992-08-28 | 1994-03-18 | Brother Ind Ltd | 自動採譜装置 |
| JPH06290574A (ja) * | 1993-03-31 | 1994-10-18 | Victor Co Of Japan Ltd | 楽曲検索装置 |
| JPH0792975A (ja) * | 1993-09-24 | 1995-04-07 | Fujitsu Ltd | 時系列データ周期性検出装置 |
| JPH11338868A (ja) * | 1998-05-25 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 歌詞によるリズムパターンの検索方法及び装置及び歌詞によるリズムパターンの検索プログラムを格納した記憶媒体 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4674384A (en) * | 1984-03-15 | 1987-06-23 | Casio Computer Co., Ltd. | Electronic musical instrument with automatic accompaniment unit |
| JP3245890B2 (ja) * | 1991-06-27 | 2002-01-15 | カシオ計算機株式会社 | 拍検出装置及びそれを用いた同期制御装置 |
| US5451709A (en) * | 1991-12-30 | 1995-09-19 | Casio Computer Co., Ltd. | Automatic composer for composing a melody in real time |
| US5369217A (en) * | 1992-01-16 | 1994-11-29 | Roland Corporation | Rhythm creating system for creating a rhythm pattern from specifying input data |
| US6121532A (en) * | 1998-01-28 | 2000-09-19 | Kay; Stephen R. | Method and apparatus for creating a melodic repeated effect |
| US6316712B1 (en) * | 1999-01-25 | 2001-11-13 | Creative Technology Ltd. | Method and apparatus for tempo and downbeat detection and alteration of rhythm in a musical segment |
| JP3528654B2 (ja) * | 1999-02-08 | 2004-05-17 | ヤマハ株式会社 | メロディ生成装置及びリズム生成装置と記録媒体 |
-
2000
- 2000-04-06 DE DE60041118T patent/DE60041118D1/de not_active Expired - Lifetime
- 2000-04-06 EP EP00400948A patent/EP1143409B1/en not_active Expired - Lifetime
-
2001
- 2001-04-05 US US09/827,550 patent/US6469240B2/en not_active Expired - Lifetime
- 2001-04-06 JP JP2001109158A patent/JP2002006839A/ja active Pending
-
2012
- 2012-08-03 JP JP2012173010A patent/JP2012234202A/ja active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS55116386U (ja) * | 1979-02-09 | 1980-08-16 | ||
| JPS6370294A (ja) * | 1986-09-11 | 1988-03-30 | 松下電器産業株式会社 | テンポ表示装置 |
| JPH05333857A (ja) * | 1992-05-27 | 1993-12-17 | Brother Ind Ltd | 自動採譜装置 |
| WO1993024923A1 (en) * | 1992-06-03 | 1993-12-09 | Neil Philip Mcangus Todd | Analysis and synthesis of rhythm |
| JPH0659668A (ja) * | 1992-08-07 | 1994-03-04 | Brother Ind Ltd | リズム楽器の自動採譜装置 |
| JPH0675562A (ja) * | 1992-08-28 | 1994-03-18 | Brother Ind Ltd | 自動採譜装置 |
| JPH06290574A (ja) * | 1993-03-31 | 1994-10-18 | Victor Co Of Japan Ltd | 楽曲検索装置 |
| JPH0792975A (ja) * | 1993-09-24 | 1995-04-07 | Fujitsu Ltd | 時系列データ周期性検出装置 |
| JPH11338868A (ja) * | 1998-05-25 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 歌詞によるリズムパターンの検索方法及び装置及び歌詞によるリズムパターンの検索プログラムを格納した記憶媒体 |
Non-Patent Citations (1)
| Title |
|---|
| JPN6011008080; Ｊａｍｅｓ Ｃ． Ｃ． Ｃｈｅｎ， Ａｒｂｅｅ Ｌ．Ｐ． Ｃｈｅｎ: '"Ｑｕｅｒｙ ｂｙ ｒｈｙｔｈｍ： ａｎ ａｐｐｒｏａｃｈ ｆｏｒ ｓｏｎｇ ｒｅｔｒｉｅｖａｌ ｉｎ ｍｕｓｉｃ ｄａｔａｂａｓｅｓ"' Ｒｅｓｅａｒｃｈ Ｉｓｓｕｅｓ Ｉｎ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ， １９９８． 'Ｃｏｎｔｉｎｕｏｕｓ-Ｍｅｄｉａ Ｄａｔａｂａｓｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ'． Ｐｒｏｃｅｅｄｉｎｇ , 19980223, ｐ．１３９-１４６ * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003330460A (ja) * | 2002-05-01 | 2003-11-19 | Fuji Xerox Co Ltd | 少なくとも２つのオーディオ・ワークの比較方法、少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム、及び、オーディオ・ワークのビートスペクトルの決定方法 |
| JP4581335B2 (ja) * | 2002-05-01 | 2010-11-17 | 富士ゼロックス株式会社 | 少なくとも２つのオーディオ・ワークの比較方法、少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム、オーディオ・ワークのビートスペクトルの決定方法、及びオーディオ・ワークのビートスペクトルの決定方法をコンピュータに実現させるためのプログラム |
| KR100655935B1 (ko) * | 2006-01-17 | 2006-12-11 | 삼성전자주식회사 | 화상형성장치 및 화상형성장치 구동제어 방법 |
| WO2012077555A1 (ja) * | 2010-12-07 | 2012-06-14 | 株式会社Ｊｖｃケンウッド | 曲順決定装置、曲順決定方法、および曲順決定プログラム |
| JP2012123120A (ja) * | 2010-12-07 | 2012-06-28 | Jvc Kenwood Corp | 曲順決定装置、曲順決定方法、および曲順決定プログラム |
| CN103262157A (zh) * | 2010-12-07 | 2013-08-21 | Jvc建伍株式会社 | 乐曲顺序决定装置、乐曲顺序决定方法以及乐曲顺序决定程序 |
| US8766078B2 (en) | 2010-12-07 | 2014-07-01 | JVC Kenwood Corporation | Music piece order determination device, music piece order determination method, and music piece order determination program |
| WO2013179743A1 (ja) * | 2012-05-30 | 2013-12-05 | 株式会社Ｊｖｃケンウッド | 曲順決定装置、曲順決定方法、および曲順決定プログラム |
| JP2013250301A (ja) * | 2012-05-30 | 2013-12-12 | Jvc Kenwood Corp | 曲順決定装置、曲順決定方法、および曲順決定プログラム |
| US9245508B2 (en) | 2012-05-30 | 2016-01-26 | JVC Kenwood Corporation | Music piece order determination device, music piece order determination method, and music piece order determination program |
| WO2019053765A1 (ja) * | 2017-09-12 | 2019-03-21 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 楽曲解析装置および楽曲解析プログラム |
| JPWO2019053765A1 (ja) * | 2017-09-12 | 2020-10-08 | ＡｌｐｈａＴｈｅｔａ株式会社 | 楽曲解析装置および楽曲解析プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1143409A1 (en) | 2001-10-10 |
| DE60041118D1 (de) | 2009-01-29 |
| US20020005110A1 (en) | 2002-01-17 |
| EP1143409B1 (en) | 2008-12-17 |
| JP2012234202A (ja) | 2012-11-29 |
| US6469240B2 (en) | 2002-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002006839A (ja) | リズム構造抽出方法及び類似関係判定方法 | |
| US7273978B2 (en) | Device and method for characterizing a tone signal | |
| Paulus et al. | Measuring the similarity of Rhythmic Patterns. | |
| US8438013B2 (en) | Music-piece classification based on sustain regions and sound thickness | |
| Klapuri | Musical meter estimation and music transcription | |
| WO2007011308A1 (en) | Automatic creation of thumbnails for music videos | |
| WO2017154928A1 (ja) | 音信号処理方法および音信号処理装置 | |
| Rajan et al. | Music genre classification by fusion of modified group delay and melodic features | |
| Atli et al. | Audio feature extraction for exploring Turkish makam music | |
| Chathuranga et al. | Musical genre classification using ensemble of classifiers | |
| Völkel et al. | Automatic genre classification of latin american music using characteristic rhythmic patterns | |
| Murthy et al. | Singer identification from smaller snippets of audio clips using acoustic features and DNNs | |
| Lee et al. | Automatic chord recognition from audio using a supervised HMM trained with audio-from-symbolic data | |
| Thiruvengatanadhan | Music genre classification using gmm | |
| Ullrich et al. | Music transcription with convolutional sequence-to-sequence models | |
| Dittmar et al. | Novel mid-level audio features for music similarity | |
| Gillet et al. | Drum Track Transcription of Polyphonic Music Using Noise Subspace Projection. | |
| Demirel et al. | Automatic makam recognition using chroma features | |
| CN115579021A (zh) | 一种基于神经网络和视听融合的声乐表演评分方法及系统 | |
| Lee | A system for automatic chord transcription from audio using genre-specific hidden Markov models | |
| JPH0675562A (ja) | 自動採譜装置 | |
| Marolt | Automatic transcription of bell chiming recordings | |
| Choudhury et al. | Music Genre Classification Using Convolutional Neural Network | |
| Senan et al. | Feature extraction for traditional malay musical instruments classification system | |
| JP2007536586A (ja) | 音信号の特徴を記述する装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060331 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060412 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110526 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110526 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110816 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111115 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111118 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111216 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120113 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120803 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120817 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20121005 |