JP2008040284A - テンポ検出装置及びテンポ検出用コンピュータプログラム - Google Patents

テンポ検出装置及びテンポ検出用コンピュータプログラム Download PDF

Info

Publication number
JP2008040284A
JP2008040284A JP2006216362A JP2006216362A JP2008040284A JP 2008040284 A JP2008040284 A JP 2008040284A JP 2006216362 A JP2006216362 A JP 2006216362A JP 2006216362 A JP2006216362 A JP 2006216362A JP 2008040284 A JP2008040284 A JP 2008040284A
Authority
JP
Japan
Prior art keywords
beat
tempo
tapping
sound
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006216362A
Other languages
English (en)
Other versions
JP2008040284A5 (ja
JP4672613B2 (ja
Inventor
Ren Sumida
錬 澄田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawai Musical Instrument Manufacturing Co Ltd
Original Assignee
Kawai Musical Instrument Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawai Musical Instrument Manufacturing Co Ltd filed Critical Kawai Musical Instrument Manufacturing Co Ltd
Priority to JP2006216362A priority Critical patent/JP4672613B2/ja
Priority to DE102007034356A priority patent/DE102007034356A1/de
Priority to US11/882,384 priority patent/US7579546B2/en
Priority to CN2007101403372A priority patent/CN101123086B/zh
Publication of JP2008040284A publication Critical patent/JP2008040284A/ja
Publication of JP2008040284A5 publication Critical patent/JP2008040284A5/ja
Application granted granted Critical
Publication of JP4672613B2 publication Critical patent/JP4672613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

【課題】 誤り無く平均的なビートの間隔とビートの位置を検出できるテンポ検出装置を提供する。
【解決手段】 ビート検出波形の先頭を演奏させながら、タッピング検出部104を用い、ユーザにビート位置を、タッピングしてもらうようにし、タッピングの揺らぎが揺らぎ算出部107で一定の範囲内であると判定されたら、テンポ候補検出部102で検出されたビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔を選択し、また、安定したところのタッピング位置をビート検出の先頭ビート位置とするようにしているので、ユーザに数拍タッピングしてもらうだけで、曲全体のビート検出をより正確に行えるようになる。
【選択図】 図2

Description

本発明は、テンポ検出装置及びテンポ検出用コンピュータプログラムに関する。
音楽CD等の複数の楽器音の混ざった音楽音響信号(オーディオ信号)からビート位置を検出するテンポ検出装置として、本出願人は、先に特願2006−1194の特許出願をしている。
同出願の構成では、ビート位置の検出方法として、入力波形を所定の時間間隔(以下、フレーム)でFFT演算し、求められたパワースペクトルから各音階音のパワーを求め、この各音階音のパワーのフレーム毎の増分値を計算し、これを全音階音で合計してフレーム毎の全体の音の変化度合いを求め、このフレーム毎の全体の音の変化度合いの自己相関を計算して周期性を求め、この自己相関の値が最大となるフレーム間隔から平均的なビート間隔(いわゆるテンポ)を求めていた。
また、平均的なビート間隔が求まったら、波形の先頭部分のフレーム(例えば、この平均的なビート間隔の約10倍の長さのフレーム)において、ビート間隔だけ離れたフレーム位置における全体の音の変化度合いを積算することを開始フレームを1ずつずらしながら行い、この積算値が最大となる開始フレームを先頭のビート位置としていた。
しかし、この方法では、曲の半分や2倍のテンポに誤ってビート間隔を決定してしまったり、裏拍にアクセントのある曲では、ビート位置が裏拍になってしまうことがあった。
本発明は、以上のような問題に鑑み創案されたもので、誤り無く平均的なビートの間隔(いわゆるテンポ)とビートの位置を検出できるテンポ検出装置及びテンポ検出用コンピュータプログラムを提供せんとするものである。
そのため本発明に係るテンポ検出装置は、
音響信号を入力する信号入力手段と、
入力された音響信号から、所定のフレーム毎に、FFT演算を行い、求められたパワースペクトルからフレーム毎の各音階音のパワーを求める音階音パワー検出手段と、
この所定のフレーム毎の各音階音のパワーの増分値をすべての音階音について合計して、フレーム毎の全体の音の変化度合いを示すパワーの増分値の合計を求め、このフレーム毎の全体の音の変化度合いを示すパワーの増分値の合計から、平均的なビート間隔を求めて、テンポの候補を検出するテンポ候補検出手段と、
ユーザに拍子を入力してもらう拍子入力手段と、
ユーザのタッピング入力を検出するタッピング検出手段と、
タッピング間隔とタッピングのあった時間と各タッピングのビートの数値を記録する記録手段と、
タッピング間隔の移動平均をとり、テンポを計算するタッピングテンポ計算手段と、
直近の移動平均毎のタッピングテンポの揺らぎを算出する揺らぎ算出手段と、
上記揺らぎが一定の範囲内の場合、タッピングテンポと上記タッピングの最後の時間とそのときのビートの数値を出力するタッピングテンポ出力手段と、
上記タッピングテンポ出力手段から出力されたタッピングテンポを元に、該テンポ候補検出手段で検出されたビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔を選択するテンポ確定手段と、
上記揺らぎ算出手段でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングのビートの数値から、それに最も近い1拍目の位置を出力する1拍目位置出力手段と、
同じく上記揺らぎ算出手段でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングの位置を先頭ビート位置として、それ以後およびそれ以前の各ビート位置をテンポ確定手段で決定されたテンポを元に確定させるビート位置確定手段と、
上記1拍目位置出力手段から出力される1拍目の位置とビート位置確定手段から出力される各ビート位置に基づき小節線位置を検出する小節検出手段と
を有することを基本的特徴としている。
上記構成によれば、ビート検出波形の先頭付近を演奏させながら、タッピング検出手段(例えばパソコンのキーボードなど)を用い、ユーザにビート位置を、タッピングしてもらうようにし、ユーザがタッピングしたビートの間隔が数拍に渡って安定してきたら(タッピングの揺らぎが一定の範囲内であると判定されたら)、その間隔をビート間隔として採用し(テンポ候補検出手段で検出されたビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔を選択する)、また、安定したところのタッピング位置をビート検出の先頭ビート位置とするようにしているので、ユーザに数拍タッピングしてもらうだけで、曲全体のビート検出をより正確に行えるようになる。
すなわち、ユーザに再生音を聞かせながらビート位置をタッピングしてもらい、それによりビート間隔とビート検出の先頭のビート位置を抽出することで、テンポ検出精度を上げている。
その際、ビート間隔の平均をとる処理では、近い方に加重した移動平均で計算処理するようにすると良い。また、ユーザがタッピングしたビートの間隔(テンポ)が安定したかどうかは、新しい方からN回(例えば4回)のテンポの揺らぎ(平均からのずれ)がP%(例えば5%)以内ならば、安定したと判断するようにし、この安定した状態がM回(例えば4回)連続して続いた場合に、テンポを決定し、ユーザによるタッピングを終了するようにするのが望ましい。
請求項6の構成は、請求項1記載の構成を、コンピュータに実行させるために、該コンピュータで実行可能なプログラム自身を規定している。すなわち、上述した課題を解決するための構成として、上記各手段を、コンピュータの構成を利用することで実現する、該コンピュータで読み込まれて実行可能なプログラムである。この場合、コンピュータとは中央演算処理装置の構成を含んだ汎用的なコンピュータの構成の他、特定の処理に向けられた専用機などを含むものであっても良く、中央演算処理装置の構成を伴うものであれば特に限定はない。
上記各手段を実現させるためのプログラムが該コンピュータに読み出されると、請求項1に規定された各機能実現手段と同様な機能実現手段が達成されることになる。
請求項6のより具体的構成は、
コンピュータに読み込まれて実行されることにより、該コンピュータを、
音響信号を入力する信号入力手段と、
入力された音響信号から、所定のフレーム毎に、FFT演算を行い、求められたパワースペクトルからフレーム毎の各音階音のパワーを求める音階音パワー検出手段と、
この所定のフレーム毎の各音階音のパワーの増分値をすべての音階音について合計して、フレーム毎の全体の音の変化度合いを示すパワーの増分値の合計を求め、このフレーム毎の全体の音の変化度合いを示すパワーの増分値の合計から、平均的なビート間隔を求めて、テンポの候補を検出するテンポ候補検出手段と、
ユーザに拍子を入力してもらう拍子入力手段と、
ユーザのタッピング入力を検出するタッピング検出手段と、
タッピング間隔とタッピングのあった時間と各タッピングのビートの数値を記録する記録手段と、
タッピング間隔の移動平均をとり、テンポを計算するタッピングテンポ計算手段と、
直近の移動平均毎のタッピングテンポの揺らぎを算出する揺らぎ算出手段と、
上記揺らぎが一定の範囲内の場合、タッピングテンポと上記タッピングの最後の時間とそのときのビートの数値を出力するタッピングテンポ出力手段と、
上記タッピングテンポ出力手段から出力されたタッピングテンポを元に、該テンポ候補検出手段で検出されたビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔を選択するテンポ確定手段と、
上記揺らぎ算出手段でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングのビートの数値から、それに最も近い1拍目の位置を出力する1拍目位置出力手段と、
同じく上記揺らぎ算出手段でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングの位置を先頭ビート位置として、それ以後およびそれ以前の各ビート位置をテンポ確定手段で決定されたテンポを元に確定させるビート位置確定手段と、
上記1拍目位置出力手段から出力される1拍目の位置とビート位置確定手段から出力される各ビート位置に基づき小節線位置を検出する小節検出手段と
して機能させることを特徴とするテンポ検出用コンピュータプログラムである。
以上のようなプログラムの構成であれば、既存のハードウェア資源を用いてこのプログラムを使用することにより、既存のハードウェアで新たなアプリケーションとしての本発明の夫々の装置が容易に実現できるようになる。
このプログラムという態様では、通信などを利用して、これを容易に使用、配布、販売することができるようになる。また、既存のハードウェア資源を用いてこのプログラムを使用することにより、既存のハードウェアで新たなアプリケーションとしての本発明の装置が容易に実行できるようになる。
尚、請求項6記載の各機能実現手段のうち一部の機能は、コンピュータに組み込まれた機能(コンピュータにハードウェア的に組み込まれている機能でも良く、該コンピュータに組み込まれているオペレーティングシステムや他のアプリケーションプログラムなどによって実現される機能でも良い)によって実現され、前記プログラムには、該コンピュータによって達成される機能を呼び出すあるいはリンクさせる命令が含まれていても良い。
これは、請求項1に規定された各機能実現手段の一部が、例えばオペレーティングシステムなどによって達成される機能の一部で代行され、その機能を実現するためのプログラムないしモジュールなどは直接存在するわけではないが、それらの機能を達成するオペレーティングシステムの機能の一部を、呼び出したりリンクさせるようにしてあれば、実質的に同じ構成となるからである。
本発明の請求項1〜請求項6記載のテンポ検出装置及びテンポ検出用コンピュータプログラムによれば、誤り無く平均的なビートの間隔(いわゆるテンポ)とビートの位置を検出できるという優れた効果を奏し得る。
以下、本発明の実施の形態を図示例と共に説明する。
図1は、本発明の望ましい実施形態が適用されるパーソナルコンピュータの構成を示している。同図の構成では、後述するCD−ROMドライブ18に、CD−ROM20を入れて、それに読み込ませ、実行された場合に、該パーソナルコンピュータが、本発明のテンポ検出装置として利用可能なプログラムが、該CD−ROM20に格納されている。従って、このCD−ROM20を上記CD−ROMドライブ18に読み込ませて実行させ、パーソナルコンピュータ上に、本発明のテンポ検出装置が実現されることになる。
図1に示されるパーソナルコンピュータの回路概要は、システムバス10を介して、CPU11、ROM12、RAM13、画像コントロール部(図示無し)を介して接続されるディスプレイ14、I/Oインターフェース15、ハードディスクドライブ19がつながっており、該システムバス10を介して、夫々のデバイスに制御信号、データの入出力がなされることになる。
CPU11は、CD−ROMドライブ18により上記CD−ROM20から読み込まれ、ハードディスクドライブ19乃至RAM13に格納される上記プログラムに基づき、テンポ検出装置全体の制御を行う中央演算処理装置である。また後述する音階音パワー検出部101と、テンポ候補検出部102と、タッピングテンポ計算部106と、揺らぎ算出部107と、タッピングテンポ出力部108と、1拍目位置出力部109と、テンポ確定部110と、ビート位置確定部111と小節検出部112とは、上記プログラムが稼働した該CPU11によって構成されることになる。
ROM12は、本パーソナルコンピュータのBIOSなどが記憶されている格納領域である。
RAM13は、本プログラムの格納エリアの他、ワークエリア、種々の係数、パラメータ、後述する練習フラグや記憶フラグ等の、一時的な記憶領域(例えば後述するような各変数を一時的に記憶しておく)等として使用される。
ディスプレイ14は、CPU11の指令により、必要な画像処理を行う画像コントロール部(図示無し)によって、制御されており、その画像処理結果を表示する。
I/Oインターフェース16は、これを介してシステムバス10につながるキーボード16、サウンドシステム17及びCD−ROMドライブ18に接続されており、これらのデバイスとシステムバス10上につながった上記デバイスとの間で、制御信号やデータの入出力がなされることになる。
上記デバイスのうちキーボード16は、後述するタッピング検出部104を構成することになる。
またCD−ROMドライブ18は、テンポ検出用のプログラムが格納されたCD−ROM20から、該プログラムやデータなどを読み出す。そのプログラムやデータなどは、ハードディスクドライブ19に格納され、またメインとなるプログラムは上記RAM13上に格納され、CPU11により実行される。
上述のように、ハードディスクドライブ19は、上記テンポ検出用プログラムの読み込み及びその実行によって、該プログラム自身と必要なデータ等を格納する。該ハードディスクドライブに記憶されるデータは、サウンドシステム17やCD−ROMドライブ18から入力されるものと同等の演奏・歌唱データなどがある。
本実施形態に係るテンポ検出用プログラムを、パーソナルコンピュータ(RAM13及びハードディスクドライブ19)に読み込ませて、(CPU11に)実行させることで、図2に示すようなテンポ検出装置の構成となる。
図2は、本発明の実施例構成であるテンポ検出装置の全体ブロック図である。同図によれば、本テンポ検出装置の構成は、音響信号を入力する入力部100と、入力された音響信号から、所定の時間間隔(フレーム)で、FFT演算を行い、求められたパワースペクトルからフレーム毎の各音階音のパワーを求める音階音パワー検出部101と、このフレーム毎の各音階音のパワーの増分値をすべての音階音について合計して、フレーム毎の全体の音の変化度合いを示すパワーの増分値の合計を求め、このフレーム毎の全体の音の変化度合いを示すパワーの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するテンポ候補検出部102と、ユーザに拍子を入力してもらう拍子入力部103と、ユーザのタッピング入力を検出するタッピング検出部104と、タッピング間隔とタッピングのあった時間と各タッピングのビートの数値を記録する記録部105と、タッピング間隔の移動平均をとり、テンポを計算するタッピングテンポ計算部106と、直近の移動平均毎のタッピングテンポの揺らぎを算出する揺らぎ算出部107と、上記揺らぎが一定の範囲内の場合、タッピングテンポと上記タッピングの最後の時間とそのときのビートの数値を出力するタッピングテンポ出力部108と、該タッピングテンポ出力部108から出力されたタッピングテンポを元に、該テンポ候補検出部102で検出されたビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔を選択するテンポ確定部110と、上記揺らぎ算出部107でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングのビートの数値から、それに最も近い1拍目の位置を出力する1拍目位置出力部109と、同じく上記揺らぎ算出部107でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングの位置を先頭ビート位置として、それ以後およびそれ以前の各ビート位置をテンポ確定部110で決定されたテンポを元に確定させるビート位置確定部111と、上記1拍目位置出力部109から出力される1拍目の位置とビート位置確定部111から出力される各ビート位置に基づき小節線位置を検出する小節検出部112とを有している。
上記テンポ検出用プログラムを、パーソナルコンピュータ(RAM13及びハードディスクドライブ19)に読み込ませて、(CPU11に)実行させると、最初に、拍子入力部103により、図3のような画面が表示され、ユーザは、テンポを検出しようとする曲の拍子の入力が要求され、それに応じて、拍子を入力することになる。同図では、4分の何拍子かを選択している状態を示している。
また音楽音響信号を入力する上記入力部100は、テンポ検出をする対象の音楽音響信号を入力する部分であり、サウンドシステム17により、マイク等の機器から入力されたアナログ信号をA/D変換器(図示無し)によりディジタル信号に変換しても良いし、CD−ROMドライブ18により読み込まれた音楽CDなどのディジタル化された音楽データの場合は、そのままファイルとして取り込み(リッピング)、これを指定して開くようにしても良い(その場合一時的にハードディスクドライブ19に一時的に格納しておくことも出来る)。このようにして入力したディジタル信号がステレオの場合、後の処理を簡略化するためにモノラルに変換する。
このディジタル信号は、音階音パワー検出部101に入力される。この音階音パワー検出部は図4の各部から構成される。
そのうち波形前処理部101aは、音楽音響信号の上記入力部100からの音響信号を今後の処理に適したサンプリング周波数にダウンサンプリングする構成である。
ダウンサンプリングレートは、ビート検出に使う楽器の音域によって決定する。すなわち、シンバル、ハイハット等の高音域のリズム楽器の演奏音をビート検出に反映させるには、ダウンサンプリング後のサンプリング周波数を高い周波数にする必要があるが、ベース音とバスドラム、スネアドラム等の楽器音と中音域の楽器音から主にビート検出させる場合には、ダウンサンプリング後のサンプリング周波数はそれほど高くする必要はない。
例えば検出する最高音をA6(C4が中央のド)とする場合、A6の基本周波数は約1760Hz(A4=440Hzとした場合)となるので、ダウンサンプリング後のサンプリング周波数は、ナイキスト周波数が1760Hz以上となる、3520Hz以上にすれば良い。これから、ダウンサンプリングレートは、元のサンプリング周波数が44.1kHz(音楽CD)の場合、1/12程度にすれば良いことになる。この時、ダウンサンプリング後のサンプリング周波数は、3675Hzとなる。
ダウンサンプリングの処理は、通常、ダウンサンプリング後のサンプリング周波数の半分の周波数であるナイキスト周波数(今の例では1837.5Hz)以上の成分をカットするローパスフィルタを通した後に、データを読み飛ばす(今の例では波形サンプルの12個に11個を破棄する)ことによって行われる。
このようにダウンサンプリングの処理を行うのは、この後のFFT演算において、同じ周波数分解能を得るために必要なFFTポイント数を下げることで、FFTの演算時間を減らすのが目的である。
なお、音楽CDのように、音源が固定のサンプリング周波数で既にサンプリングされている場合は、このようなダウンサンプリングが必要になるが、音楽音響信号の入力部100が、マイク等の機器から入力されたアナログ信号をA/D変換器によりディジタル信号に変換するような場合には、当然A/D変換器のサンプリング周波数を、ダウンサンプリング後のサンプリング周波数に設定することで、この波形前処理部を省くことが可能である。
このようにして波形前処理部101aによるダウンサンプリングが終了したら、所定の時間間隔(フレーム)で、波形前処理部の出力信号を、FFT演算部101bによりFFT(高速フーリエ変換)する。
FFTのパラメータ(FFTポイント数とFFT窓のシフト量)は、ビート検出に適した値とする。つまり、周波数分解能を上げるためにFFTポイント数を大きくすると、FFT窓のサイズが大きくなってしまい、より長い時間から1回のFFTを行うことになり、時間分解能が低下する、というFFTの特性を考慮しなくてはならない(つまりビート検出時は周波数分解能を犠牲にして時間分解能をあげるのが良い)。窓のサイズと同じだけの長さの波形を使わないで、窓の一部だけに波形データをセットし残りは0で埋めることによって、FFTポイント数を大きくしても時間分解能が悪くならない方法もあるが、低音側のパワーも正しく検出するためには、ある程度の波形サンプル数は必要である。
以上のようなことを考慮し、本実施例では、FFTポイント数512、窓のシフトは32サンプル(窓のオーバーラップは15/16)で、0埋めなしという設定にした。このような設定でFFT演算を行うと、時間分解能約8.7ms、周波数分解能約7.2Hzとなる。時間分解能約8.7msという値は、四分音符=300のテンポの曲で、32分音符の長さが、25msであることを考えると、十分な値であることがわかる。
このようにして、フレーム毎にFFT演算が行われ、その実数部と虚数部のそれぞれを二乗したものの和の平方根からパワーが計算され、その結果がパワー検出部101cに送られる。
パワー検出部101cでは、FFT演算部101bで計算されたパワー・スペクトルから、各音階音のパワーを計算する。FFTは、サンプリング周波数をFFTポイント数で割った値の整数倍の周波数のパワーが計算されるだけであるので、このパワー・スペクトルから各音階音のパワーを検出するために、以下のような処理を行う。つまり、音階音を計算するすべての音(C1からA6)について、その各音の基本周波数の上下50セントの範囲(100セントが半音)の周波数に相当するパワー・スペクトルの内、最大のパワーを持つスペクトルのパワーをこの音階音のパワーとする。
すべての音階音についてパワーが検出されたら、これをバッファ200に保存し、波形の読み出し位置を所定の時間間隔(1フレーム;先の例では32サンプル)進めて、FFT演算部101bとパワー検出部101cを波形の終わりまで繰り返す。
以上により、音楽音響信号の入力部100に入力された音響信号の、所定時間毎の各音階音のパワーが、バッファ200に保存される。
次に、図2のテンポ候補検出部102の構成について説明する。該テンポ候補検出部102は、図5のような処理の流れで実行される。
テンポ候補検出部102は、音階音パワー検出部が出力した1フレーム毎の各音階音のパワーの変化を元に平均的なビート(拍)間隔(つまりテンポ)とビートの位置を検出する。そのために、まずテンポ候補検出部102は、各音階音のパワー増分値の合計(前のフレームとのパワーの増分値をすべての音階音で合計したもの。前のフレームからパワーが減少している場合は0として加算する)を計算する(ステップS100)。
つまり、フレーム時間tにおけるi番目の音階音のパワーをL(t)とするとき、i番目の音階音のパワー増分値Laddi(t)は、下式数1に示すようになり、このLaddi(t)を使って、フレーム時間tにおける各音階音のパワー増分値の合計L(t)は、下式数2で計算できる。ここで、Tは音階音の総数である。
Figure 2008040284
Figure 2008040284
この合計L(t)値は、フレーム毎の全体での音の変化度合いを表している。この値は、音の鳴り始めで急激に大きくなり、同時に鳴り始める音が多いほど大きな値となる。音楽はビートの位置で音が鳴り始めることが多いので、この値が大きなところはビートの位置である可能性が高いことになる。
例として、図6に、ある曲の一部分の波形と各音階音のパワー、各音階音のパワー増分値の合計の図を示す。上段が波形、中央がフレーム毎の各音階音のパワーを濃淡で表したもの(下が低い音、上が高い音。この図では、C1からA6の範囲)、下段がフレーム毎の各音階音のパワー増分値の合計を示している。この図の各音階音のパワーは、音階音パワー検出部から出力されたものであるので、周波数分解能が約7.2Hzであり、G#2以下の一部の音階音でパワーが計算できずに歯抜け状態になっているが、この場合はビートを検出するのが目的であるので、低音の一部の音階音のパワーが測定できないのは、問題ない。
この図の下段に見られるように、各音階音のパワー増分値の合計は、定期的にピークをもつ形となっている。この定期的なピークの位置が、ビートの位置である。
ビートの位置を求めるために、テンポ候補検出部102では、まずこの定期的なピークの間隔、つまり平均的なビート間隔を求める。平均的なビート間隔はこの各音階音のパワー増分値の合計の自己相関から計算できる(図5;ステップS102)。
あるフレーム時間tにおける各音階音のパワー増分値の合計をL(t)とすると、この自己相関φ(τ)は、以下の式数3で計算される。
Figure 2008040284
ここで、Nは総フレーム数、τは時間遅れである。
自己相関計算の概念図を、図7に示す。この図のように、時間遅れτがL(t)のピークの周期の整数倍の時に、φ(τ)は大きな値となる。よって、ある範囲のτについてφ(τ)の最大値を求めれば、曲のテンポを求めることができる。
自己相関を求めるτの範囲は、想定する曲のテンポ範囲によって変えれば良い。例えば、メトロノーム記号で四分音符=30から300の範囲を計算するならば、自己相関を計算する範囲は、0.2秒から2秒となる。時間(秒)からフレームへの変換式は、以下の数4式に示す通りとなる。
Figure 2008040284
この範囲の自己相関φ(τ)が最大となるτをビート間隔としても良いが、必ずしも全ての曲で自己相関が最大となる時のτがビート間隔とはならないので、自己相関が極大値となる時のτからビート間隔の候補を求め(図5;ステップS104)、これら複数の候補から、後述するように、直近の移動平均毎のタッピングテンポの揺らぎが一定の範囲内の場合になった場合にタッピングテンポ出力部108から出力されるタッピングテンポと上記タッピングの最後の時間とそのときのビートの数値に基づき、テンポ確定部110により、タッピングテンポに数値的に近いテンポが決定される(図5;ステップS106)。
図8は、このステップS106におけるテンポ確定までの処理フローを示している。
まず、RAM13上に設定された変数が初期化される(ステップS200)。該変数としては、タッピングされた回数(TapCt)、前回タッピングされた時の時刻(PrevTime:この変数ではNow()で現在時刻を取得する、ここではパーソナルコンピュータを起動してからの時間msが入る)、現在のビート(CurBeat;4拍子の場合、0、1、2、3の値を取る、同図のステップS230のFlashでビートの数字を光らせる場合この数字に+1して表示している)、揺らぎチェックに合格した回数(PassCt)などがある。これらの変数が全て0にセットされる。
ユーザが、再生される楽音を聴きながら、キーボード16のスペースキーをタッピングすることで、該キーボード16がタッピング検出部104として構成されるので、該タッピング検出部104により、タッピングがあるか否かがチェックされる(ステップS202)。タッピングがない場合(ステップS202;N)、該チェックは継続される。
反対にタッピングがある場合(ステップS202;Y)、タッピングされた回数(TapCt)が0回より大きいか否かがチェックされる(ステップS204)。タッピング回数(TapCt)が0回以下の場合(ステップS204;N)、変数更新処理[タッピング回数(TapCt)のインクリメントされ、前回タッピング時刻(PrevTime)が現在時刻Now()にセットされる]がなされ(ステップS228)、タッピングに合わせて中にビートの数字を書いた四角を光らせ(ステップS230)、上記ステップS202に復帰して、以上の処理を繰り返す。
反対にタッピング回数(TapCt)が0回より大きい場合(ステップS204;Y)、タッピング間隔[DeltaTime.Add(Now()-Prevtime)]と時刻[Time.Add(CurPlayTime)]が記録部105に記録される(ステップS206)。ここで、DeltaTimeは前回タッピングされた時刻から今回タッピングされた時刻までの経過時間の配列を、意味する。またCurPlayTimeは現在の再生位置、波形先頭からの時間を意味する(この値を取っておいて、テンポが最終的に確定したとき、1拍目に相当する時間をプログラムに返す)。さらにTimeはCurPlayTimeを保存しておく配列を意味する。
そしてビートがインクリメントされる(ステップS208;CurBeat++)。ここでは、CurBeatが、拍子入力部103で入力された拍子(BeatNume;拍子の分子)−1まで進むことになる。
次にタッピング回数[DeltaTime.GetSize()]がN(例えば4回)以上になったか否かがチェックされる(ステップS210)。タッピング回数[DeltaTime.GetSize()]がNより小さい場合(ステップS210;N)、変数更新処理[タッピング回数(TapCt)のインクリメントされ、前回タッピング時刻(PrevTime)が現在時刻Now()にセットされる]がなされ(ステップS228)、タッピングに合わせて中にビートの数字を書いた四角を光らせ(ステップS230)、上記ステップS202に復帰して、以上の処理を繰り返す。
反対にタッピング回数[DeltaTime.GetSize()]がN以上であると判定された場合(ステップS210;Y)、タッピングテンポ計算部106により、後述する図9に示す処理手順でN回のタッピング間隔の移動平均が計算され、タッピングテンポ値[Tempo;BMP(Beat Per Measure)で表す。4分音符=120など]が算出される(ステップS212)。
そのタッピングテンポがディスプレイ14に表示される(ステップS214)。
さらに、揺らぎ算出部107により、後述する図10に示す処理手順で最近N回のタッピングテンポの揺らぎが計算される(ステップS216)。
そしてタッピングテンポの揺らぎがP%以下か否かがチェックされる(ステップS218)。該タッピングテンポの揺らぎがP%以下でない場合(ステップS218;N)は、揺らぎチェック合格回数(PassCt)が0にセットされる(ステップS222)。
反対にタッピングテンポの揺らぎがP%以下の場合(ステップS218;Y)、揺らぎチェック合格回数(PassCt)がインクリメントされる(ステップS220)。
その後揺らぎチェック合格回数(PassCt)がM回以上か否かがチェックされる(ステップS224)。該揺らぎチェック合格回数(PassCt)がM回以上でない場合(ステップS224;N)、上述と同様、変数更新処理[タッピング回数(TapCt)のインクリメントされ、前回タッピング時刻(PrevTime)が現在時刻Now()にセットされる]がなされ(ステップS228)、タッピングに合わせて中にビートの数字を書いた四角を光らせ(ステップS230)、上記ステップS202に復帰して、以上の処理を繰り返す。
反対に揺らぎチェック合格回数(PassCt)がM回以上である場合(ステップS224;Y)、タッピングテンポがタッピングテンポ出力部108により出力され、該タッピングテンポを元に、テンポ確定部110により、上記テンポ候補検出部102で検出されたビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔が選択される(ステップS226)。
テンポ確定部110により、テンポ候補検出部102で検出されたビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔が選択されると、ビート位置確定部111により、タッピングの位置を先頭ビート位置として、それ以後およびそれ以前の各ビート位置が、テンポ確定部110により選択されたビート間隔を元に確定される。
以上の処理により、最初のビート位置が決まったら、後述する方法により、それ以降のビートの位置を1つずつ決定していく(図5;ステップS108)。
図9は、上記ステップS212の移動平均によるテンポ計算処理の処理ステップを示すフローチャートである。
まず、DeltaTime(前回タッピングされた時刻から今回タッピングされた時刻までの経過時間の配列)にビート毎の重み付けをした値を加算した値(TimeSum)、平均テンポを計算する時の割る値(Deno)、ビートを数えるための変数(Beat)が0にセット、すなわち初期化される(ステップS300)。
ビートを数えるための変数(Beat)がN回より少ないか否かがチェックされる(ステップS302)。N回より少なくない場合(ステップS302;N)、すなわち、N回以上に達している場合、TimeSumの値がDenoで除算され、平均時間間隔(Avg)が算出され、この平均時間間隔(Avg)で60000を除算して、平均テンポ値[Temp;BMP(Beat Per Measure)で表す。4分音符=120など]が算出される(ステップS312)。
反対にビートを数えるための変数(Beat)がN回より少ない場合(ステップS302;Y)、すなわち、N回以上に達していない場合、これまでカウントされたタッピング回数から、ビートを数えるための変数(Beat)が減算され、さらに−1として、DeltaTimeの配列番号を表す一時的な変数Tが算出される(ステップS304)。変数(Beat)の値は、最も最近のタッピングされたビート(Beat)が0となり、以降N−1までの値をとる。Tはその夫々のビート(Beat)でのDeltaTime配列にアクセスする際のインデックスとなる。
この変数Tが0より小さいか否かがチェックされ(ステップS306)、0より小さい場合(ステップS306;Y)、TimeSumの値がDenoで除算され、平均時間間隔(Avg)が算出され、この平均時間間隔(Avg)で60000を除算して、平均テンポ値[Temp;BMP(Beat Per Measure)で表す。4分音符=120など]が算出される(ステップS312)。
反対に0より小さくない場合(ステップS306;N)、上記変数(Beat)におけるDeltaTimeが重み付けされてTimeSumに加算され(ステップS308)、ビートを数えるための変数(Beat)がインクリメントされ(ステップS310)、上記ステップS302に復帰し、以上の処理を繰り返す。
図10は、上記ステップS216のテンポ揺らぎ計算処理の処理ステップを示すフローチャートである。
まず、テンポ揺らぎチェックのフラグPassが1にセットされ(1の時テンポ揺らぎはOKを意味する)、ビートを数えるための変数(Beat)が0にセットされる(ステップS400)。
そしてこのビートを数えるための変数(Beat)がNより小さいか否かがチェックされる(ステップS402)。
ビートを数えるための変数(Beat)がNより小さくない場合(ステップS402;N)、テンポ揺らぎ計算処理は終了する。
反対にビートを数えるための変数(Beat)がNより小さい場合(ステップS402;Y)、該変数(Beat)におけるDeltaTimeの配列番号Tが計算され、その時のビートの揺らぎ(Percent)が計算される(ステップS404)。
上記平均時間間隔に対してどの程度(%)揺れているかを表す値(Percent)がテンポ揺らぎの許容値P(例えば7%)を越えているか否かがチェックされる(ステップS406)。
平均時間間隔に対してどの程度(%)揺れているかを表す値(Percent)がテンポ揺らぎの許容値Pを越えている場合(ステップS406;Y)、上記テンポ揺らぎチェックのフラグPassが0にセットされ(ステップS410)、処理を終了する。
反対にその値(Percent)がテンポ揺らぎの許容値Pを越えていない場合(ステップS406;N)、上記ビートを数えるための変数(Beat)がインクリメントされ(ステップS408)、上記ステップS402に復帰して、以上の処理を繰り返す。
タッピングテンポ出力部108は、上記揺らぎが一定の範囲内であると判定した場合、タッピングテンポと上記タッピングの最後の時間とそのときのビートの数値を出力する。それによって、上記テンポ確定部110により、ビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔が選択され、テンポが確定される。その一方で、ビート位置確定部111により、タッピングの揺らぎが一定の範囲内であると判定された時のタッピングの位置が、先頭ビート位置として、さらにそれ以後およびそれ以前の各ビート位置がテンポ確定部110で決定されたテンポを元に確定される。
以上のように、先頭ビート位置が決まり、それ以降のビートの位置を1つずつ決定していく方法を、図11を用いて説明する。図11の三角印の位置に先頭のビートが見つかったとする。2番目のビート位置は、この先頭のビート位置からビート間隔τmaxだけ離れた位置を仮のビート位置とし、その近辺でL(t)とM(t)が最も相関が取れる位置から決定する。つまり、先頭のビート位置をbとするとき、以下の式のr(s)が最大となるようなsの値を求める。この式のsは仮のビート位置からのずれで、以下の式数5の範囲の整数とする。Fは揺らぎのパラメータで0.1程度の値が適当であるが、テンポの揺らぎの大きい曲では、もっと大きな値にしてもよい。nは5程度で良い。
kは、sの値に応じて変える係数で、例えば図12のような正規分布とする。
Figure 2008040284
r(s)が最大となるようなsの値が求まれば、2番目のビート位置bは、下式数6で計算される。
Figure 2008040284
以降、同じようにして3番目以降のビート位置も求めることができる。
テンポがほとんど変わらない曲ではこの方法でビート位置を曲の終わりまで求めることができるが、実際の演奏は多少テンポが揺らいだり、部分的にだんだん遅くなったりすることがよくある。
そこで、これらのテンポの揺らぎにも対応できるように以下のような方法を考えた。
つまり、図11のM(t)の関数を、図13のように変化させるものである。
1)は、従来の方法で、図のように各パルスの間隔をτ1、τ2、τ3、τ4としたとき、
τ1=τ2=τ3=τ4=τmax
である。
2)は、τ1からτ4を均等に大きくしたり小さくしたりするものである。
τ1=τ2=τ3=τ4=τmax+s (-τmax・F≦s≦τmax・F)これにより、急にテンポが変わった場合に対応できる。
3)は、rit.(リタルダンド、だんだん遅く)又は、accel.(アッチェレランド、だんだん速く)に対応したもので、各パルス間隔は、
τ1=τmax
τ2=τmax+1・s
τ3=τmax+2・s (-τmax・F≦s≦τmax・F)
τ4=τmax+4・s
で計算される。
1、2、4の係数は、あくまで例であり、テンポ変化の大きさによって変えてもよい。
4)は、3)のようなrit.やaccel.の場合の、5個のパルスの位置のどこが現在ビートを求めようとしている場所かを変えるものである。
これらをすべて組み合わせて、L(t)とM(t)の相関を計算し、それらの最大からビート位置を決めれば、テンポが揺らぐ曲に対してもビート位置の決定が可能である。なお、2)と3)の場合には、相関を計算するときの係数kの値を、やはりsの値に応じて変えるようにする。
さらに、5個のパルスの大きさは現在すべて同じにしてあるが、ビートを求める位置(図13の仮のビート位置)のパルスのみ大きくしたり、ビートを求める位置から離れるほど値を小さくして、ビートを求める位置の各音階音のパワー増分値の合計を強調するようにしても良い[図13の5)]。以上のようにしてビート位置を決定していくが、タッピングテンポ出力部108が出力したビート位置より前の位置についてもビートを検出する場合は、同様の処理を波形の後ろ方向ではなく、波形の前方向に行えば良い。
以上のようにして、各ビートの位置が決定したら、この結果をバッファ201に保存すると共に、検出した結果を表示し、ユーザに確認してもらい、間違っている箇所を修正してもらうようにしても良い。
ビート検出結果の確認画面の例を、図14に示す。同図の三角印の位置が検出したビート位置である。
「再生」のボタンを押すと、現在の音楽音響信号が、D/A変換され、スピーカ等から再生される。現在の再生位置は、図のように縦線等の再生位置ポインタで表示されるので、演奏を聞きながら、ビート検出位置の誤りを確認できる。さらに、検出の元波形の再生と同時に、ビート位置のタイミングで例えばメトロノームのような音を再生させるようにすれば、目で確認するだけでなく音でも確認でき、より容易に誤検出を判断できる。このメトロノームの音を再生させる方法としては、例えばMIDI機器等が考えられる。
ビート検出位置の修正は、「ビート位置の修正」ボタンを押して行う。このボタンを押すと、画面に十字のカーソルが現れるので、最初のビート検出が間違っている箇所で正しいビート位置をクリックする。クリックされた場所の少し前(例えばτmaxの半分の位置)から後のビート位置をすべてクリアし、クリックされた場所を、仮のビート位置として、以降のビート位置を再検出する。
次に、小節位置決定のための前提となる、1拍目位置の決定について説明する。
上述したビート位置確定部111により、各ビート位置は確定するが、そのままだと、小節の位置は確定しない。そのため、ユーザに対して、最初に拍子入力部103に、拍子の入力を要求している。また、タッピング入力の際には、演奏を聴きながらその1拍目の時にステップS230のFlashの点灯によるビート数値が1となるようにタッピングしてもらっている。そのタッピング時に算出されるタッピングテンポの揺らぎが、上記揺らぎ算出部107により、一定の範囲内であると判定された時、そのタッピングのビートの数値から、それに最も近い1拍目の位置が求められ、その位置が1拍目の位置として出力される。
以上のようにして、1拍目の位置(小節線の位置)が決定したら、その1拍目の位置が小節検出部112に出力されるので、ビート位置確定部111により確定された各ビート位置と共に、小節検出部112により、小節線位置が検出されることになる。この結果をバッファ202に保存する。それと共に、検出した結果を画面表示して、ユーザに変更させるようにしても良い。特に変拍子の曲は、この方法では対応できないので、変拍子の箇所をユーザに指定してもらう必要がある。
以上の構成により、人間が演奏したテンポの揺らぐ演奏の音響信号から、曲全体の平均的なテンポと正確なビート(拍)の位置、さらに小節線の位置を検出することが可能となる。
図15は、本発明のテンポ検出構成を使用したコード検出装置の全体ブロック図である。同図において、テンポ検出及び小節検出の構成は、上記構成と基本的に同じであり、同一構成において、テンポ検出用とコード検出用の構成について、上記構成の場合と異なるものもあるので、数式等を除き、同じ説明が重なるが、以下に示す。
同図によれば、本コード検出装置の構成は、音響信号を入力する入力部100と、入力された音響信号から、所定の時間間隔(フレーム)で、ビート検出に適したパラメータを使ってFFT演算を行い、求められたパワースペクトルからフレーム毎の各音階音のパワーを求めるビート検出用音階音パワー検出部101と、このフレーム毎の各音階音のパワーの増分値をすべての音階音について合計して、フレーム毎の全体の音の変化度合いを示すパワーの増分値の合計を求め、このフレーム毎の全体の音の変化度合いを示すパワーの増分値の合計から、平均的なビート間隔と各ビートの位置を検出する上記テンポ候補検出部102〜上記小節検出部112までの実施例1に記載された各構成と、上記入力された音響信号から、先のビート検出の時とは異なる別の時間間隔(フレーム)で、コード検出に適したパラメータを使ってFFT演算を行い、求められたパワースペクトルからフレーム毎の各音階音のパワーを求めるコード検出用音階音パワー検出部300と、検出した各音階音のパワーのうち、各小節を幾つかの検出範囲に設定し、各検出範囲内の1拍目に相当する部分の低域側の音階音のパワーから各検出範囲のベース音を検出するベース音検出部301と、検出されたベース音が各検出範囲で異なるか否かによって、ベース音の変化のあるなしを判定し、このベース音の変化があるなしにより小節を複数個に分割することの可否を決定する第1の小節分割決定部302と、同じく小節を幾つかのコード検出区間に設定し、主に和音が演奏されている音域として設定されたコード検出音域において、フレーム毎の各音階音のパワーを上記検出区間で平均し、これらの平均された各音階音のパワーをさらに12の音階音毎に積算し、積算した数で割り12の音階音の平均パワーを求め、夫々をパワーの強い順に並べ替えておいて、後続区間の強い音の内上位3以上のM個の音階音がその前の区間の強い音の内上位3以上のN個の音階音に、C個以上含まれるか否かによって、和音の変化のあるなしを判定し、この和音の変化の度合いにより小節を複数個に分割することの可否を決定する第2の小節分割決定部303と、第1乃至第2の小節分割決定部302、303により、小節を幾つかのコード検出範囲に分割する必要があると決定された場合は、ベース音と各コード検出範囲における各音階音のパワーから、また小節を分割する必要がないと決定された場合は、ベース音とその小節の各音階音のパワーから、各コード検出範囲又はその小節におけるコード名を決定するコード名決定部304とを有している。
音楽音響信号を入力する上記入力部100は、コード検出をする対象の音楽音響信号を入力する部分であるが、基本的構成は上記構成の入力部100と同じであるので、その詳細な説明は省略する。ただし、通常センタに定位されるボーカルが後のコード検出でじゃまになる場合は、右チャンネルの波形と左チャンネルの波形を引き算することでボーカルキャンセルするようにしても良い。
このディジタル信号は、ビート検出用音階音パワー検出部101とコード検出用音階音パワー検出部300とに入力される。これらの音階音パワー検出部は、どちらも上記図4の各部から構成され、構成はまったく同じなので、同じものをパラメータだけを変えて再利用できる。
そしてその構成として使用される波形前処理部101aは、上記と同様な構成であり、音楽音響信号の上記入力部100からの音響信号を今後の処理に適したサンプリング周波数にダウンサンプリングする。ただし、ダウンサンプリング後のサンプリング周波数、つまり、ダウンサンプリングレートは、ビート検出用とコード検出用で変えるようにしても良いし、ダウンサンプリングする時間を節約するために同じにしても良い。
ビート検出用の場合は、ビート検出に使う音域によってダウンサンプリングレートを決定する。シンバル、ハイハット等の高音域のリズム楽器の演奏音をビート検出に反映させるには、ダウンサンプリング後のサンプリング周波数を高い周波数にする必要があるが、ベース音とバスドラム、スネアドラム等の楽器音と中音域の楽器音から主にビート検出させる場合には、以下のコード検出時と同じダウンサンプリングレートで構わない。
コード検出用の波形前処理部のダウンサンプリングレートは、コード検出音域によって変える。コード検出音域とは、コード名決定部でコード検出する時に使う音域のことである。例えばコード検出音域をC3からA6(C4が中央のド)とする場合、A6の基本周波数は約1760Hz(A4=440Hzとした場合)となるので、ダウンサンプリング後のサンプリング周波数はナイキスト周波数が1760Hz以上となる、3520Hz以上にすれば良い。これから、ダウンサンプリングレートは、元のサンプリング周波数が44.1kHz(音楽CD)の場合、1/12程度にすれば良いことになる。この時、ダウンサンプリング後のサンプリング周波数は、3675Hzとなる。
ダウンサンプリングの処理は、通常、ダウンサンプリング後のサンプリング周波数の半分の周波数であるナイキスト周波数(今の例では1837.5Hz)以上の成分をカットするローパスフィルタを通した後に、データを読み飛ばす(今の例では波形サンプルの12個に11個を破棄する)ことによって行われる。これについては、上記構成に説明したことと同じ理由による。
このようにして波形前処理部101aによるダウンサンプリングが終了したら、所定の時間間隔で、波形前処理部の出力信号をFFT演算部101bにより、FFT(高速フーリエ変換)する。
FFTのパラメータ(FFTポイント数とFFT窓のシフト量)は、ビート検出時とコード検出時で異なる値とする。これは、周波数分解能を上げるためにFFTポイント数を大きくすると、FFT窓のサイズが大きくなってしまい、より長い時間から1回のFFTを行うことになり、時間分解能が低下する、というFFTの特性によるものである(つまりビート検出時は周波数分解能を犠牲にして時間分解能をあげるのが良い)。窓のサイズと同じだけの長さの波形を使わないで、窓の一部だけに波形データをセットし、残りは0で埋めることによってFFTポイント数を大きくしても時間分解能が悪くならない方法もあるが、本実施例のケースでは、低音側のパワーも正しく検出するためにある程度の波形サンプル数は必要である。
以上のようなことを考慮し、本実施例では、ビート検出時は、FFTポイント数512、窓のシフトは32サンプル(窓のオーバーラップは15/16)で、0埋めなしであるが、コード検出時は、FFTポイント数8192、窓のシフトは128サンプル(窓のオーバーラップは63/64)で、波形サンプルは一度のFFTで1024サンプル使うようにした。このような設定でFFT演算を行うと、ビート検出時は、時間分解能約8.7ms、周波数分解能約7.2Hz、コード検出時は、時間分解能約35ms、周波数分解能約0.4Hzとなる。今パワーを求めようとしている音階音は、C1からA6の範囲であるので、コード検出時の周波数分解能約0.4Hzは、最も周波数差の小さいC1とC#1の基本周波数の差、約1.9Hzにも対応できる。また、四分音符=300のテンポの曲で32分音符の長さが25msであることを考えると、ビート検出時の時間分解能約8.7msは、十分な値であることが分かる。
このようにして、フレーム毎にFFT演算が行われ、その実数部と虚数部のそれぞれを二乗したものの和の平方根からパワーが計算され、その結果がパワー検出部101cに送られる。
パワー検出部101cでは、FFT演算部101bで計算されたパワー・スペクトルから、各音階音のパワーを計算する。FFTは、サンプリング周波数をFFTポイント数で割った値の整数倍の周波数のパワーが計算されるだけであるので、このパワー・スペクトルから各音階音のパワーを検出するために、上記構成と同様な処理を行う。すなわち、音階音を計算するすべての音(C1からA6)について、その各音の基本周波数の上下50セントの範囲(100セントが半音)の周波数に相当するパワー・スペクトルの内、最大のパワーを持つスペクトルのパワーをこの音階音のパワーとする。
すべての音階音についてパワーが検出されたら、これをバッファに保存し、波形の読み出し位置を所定の時間間隔(1フレーム;先の例ではビート検出時は32サンプル、コード検出時は256サンプル)進めて、FFT演算部101bとパワー検出部101cを波形の終わりまで繰り返す。
以上により、音楽音響信号の入力部100に入力された音響信号の、フレーム毎の各音階音のパワーが、ビート検出用とコード検出用の2種類のバッファ200及び203に保存される。
次に、図15のテンポ候補検出部102〜小節検出部112の構成については、上記実施例1の構成のテンポ候補検出部102〜小節検出部112と同じ構成なので、その詳細な説明は、ここでは、省略する。
上記構成と同様な構成と手順で、小節線の位置(各小節のフレーム番号)が確定したので、今度は各小節のベース音を検出する。
ベース音は、コード検出用音階音パワー検出部300が出力した各フレームの音階音のパワーから検出する。
図16に上記構成の図6と同じ曲の同じ部分のコード検出用音階音パワー検出部300が出力した各フレームの音階音のパワーを示す。この図のように、コード検出用音階音パワー検出部300での周波数分解能は、約0.4Hzであるので、C1からA6のすべての音階音のパワーが抽出されている。
本出願人による先の出願では、ベース音は、小節の前半と後半で異なる可能性があるので、小節を前半と後半の2つに分割し、その夫々でベース音を検出し、別のベース音が検出された場合は、コードも前半と後半に分けて検出するという構成である。しかし、この方法では、ベース音が同じで和音が異なる場合、例えば、小節の前半がCのコードで、後半がCmのコードの場合に、ベース音は同じであるために小節を分割することができず、コードを小節全体で検出してしまうという問題があった。
また、上記出願では、ベース音を検出範囲全体で検出していた。つまり、検出範囲が小節の場合は、小節全体で強い音をベース音としていた。しかし、ジャズのようなベースランニング(ベースが4分音符などで動く)場合には、この方法では正しくベース音を検出することができない。
そのため、本実施例構成では、まず、ベース音検出部301で、ベース音の検出を行うが、検出した各音階音のパワーのうち、各小節を幾つかの検出範囲に設定し、各検出範囲内の1拍目に相当する部分の低域側の音階音のパワーから各検出範囲のベース音を検出する構成とした。これは、上述のように、ベースランニングの場合にも、最初の1拍目はコードのルート音を弾くことが多いことによる。
ベース音は、1拍目の検出範囲内に相当する部分におけるベース検出音域の音階音のパワーの平均的な強さから求める。
フレーム時間tにおけるi番目の音階音のパワーをL(t)とすると、フレームfからfのi番目の音階音の平均的なパワーLavgi(f,f)は、下式数7で計算できる。
Figure 2008040284
この平均的なパワーを、ベース検出音域、例えばC2からB3の範囲で計算し、平均的なパワーが最も大きな音階音をベース音として、ベース音検出部301は、決定する。ベース検出音域に音が含まれない曲や無音部分で間違ってベース音を検出しないために、適当な閾値を設定し、検出したベース音のパワーが、この閾値以下の場合は、ベース音を検出しないようにしても良い。また、後のコード検出でベース音を重要視する場合には、検出したベース音が1拍目のベース検出期間中継続してあるパワー以上を保っているかどうかをチェックするようにして、より確実なものだけをベース音として検出するようにしても良い。さらに、ベース検出音域中、平均的なパワーが最も大きい音階音をベース音として決定するのではなく、この各音名の平均的なパワーを12の音名毎に平均し、この音名毎のパワーが最も大きな音名をベース音名として決定し、その音名を持つベース検出音域の中の音階音で、平均的なパワーが最も大きい音階音をベース音として決定するようにしても良い。
ベース音が決定したら、この結果をバッファ204に保存すると共に、ベース検出結果を画面表示して、間違っている場合にはユーザに修正させるようにしても良い。また、曲によってベース音域が変わることも考えられるので、ユーザがベース検出音域を変更できるようにしても良い。
図17に、ベース音検出部301によるベース検出結果の表示例を示す。
次に第1の小節分割決定部302により、検出されたベース音が各検出範囲で異なるか否かによって、ベース音の変化のあるなしを判定し、このベース音の変化があるなしにより小節を複数個に分割することの可否を決定する。すなわち、検出されたベース音が各検出範囲で同じであれば、その小節を分割する必要はないと決定する。また検出されたベース音が各検出範囲で異なれば、その小節を分割する必要があると決定する。この場合、さらに夫々の半分がさらに分割する必要があるか否かを繰り返し判断するようにしても良い。
他方第2の小節分割決定部303の構成では、まず、コード検出音域を設定する。これは、主に和音が演奏されている音域で、例えば、C3〜E6(C4が中央のド)とする。
このコード検出音域のフレーム毎の各音階音のパワーを、小節の半分等の検出区間で平均する。平均された各音階音のパワーをさらに12の音階音(C、C#、D、D#、…、B)毎に積算し、積算した数で割り、12の音階音の平均パワーを求める。
小節の前半と後半で、このコード検出音域の12の音階音の平均パワーを求め、夫々を強い順に並べ替えておく。
上記図18(a)(b)に示すように、後半の強い音の内、例えば上位3つ(この数をMとする)が、前半の例えば上位3つ(この数をNとする)に含まれているかどうかを調べ、その数以上含まれるか否かによって、和音の変化のあるなしを判定する。この判定により、第2の小節分割決定部303は、この和音の変化の度合いを判定し、それによって、小節を複数個に分割することの可否を決定する。
含まれている数が例えば3つ(この数をCとする)以上の場合(即ちすべて含まれる)には、小節の前半と後半で和音の変化は無いと判断し、和音の変化度合いによる小節の分割は行わないと、第2の小節分割決定部303では決定する。
第2の小節分割決定部303におけるこのM、N、Cの値を適当に設定することにより、この和音の変化度合いによる小節分割の強さを変えることができる。先の例の全て3では、かなりシビアに和音の変化をチェックするが、例えば、M=3、N=6、C=3(後半の上位3つの音が前半の上位6つに全て含まれるかどうか)にすれば、ある程度似た響きであれば、同じ和音であると判断する。
先に4拍子の場合、前半と後半を夫々更に半分に分割して小節全体を4分割することを述べたが、前半と後半の分割判断では、M=3、N=3、C=3とし、前半と後半を更に半分に分割するかどうかの判断では、M=3、N=6、C=3とすることで、実際の一般的な音楽に適合したより正しい判断を行うことができる。
コード名決定部304は、第1乃至第2の小節分割決定部302又は303によって、小節を幾つかのコード検出範囲に分割する必要があると決定された場合は、ベース音と各コード検出範囲における各音階音のパワーから、また小節を分割する必要がないと決定された場合は、ベース音とその小節の各音階音のパワーから、各コード検出範囲又はその小節におけるコード名を決定する構成である。
コード名決定部304による実際のコード名の決定は以下のようにして行われる。本実施例では、コード検出期間とベース検出期間は同一としている。コード検出音域、例えばC3からA6の各音階音のコード検出期間における平均的なパワーを計算し、これが大きな値を持つ音階音から順に数個の音名を検出し、これとベース音の音名からコード名候補を抽出する。
この際、必ずしもパワーが大きな音がコード構成音であるとは限らないので、複数の音名の音を例えば5つ検出し、その中の2つ以上を全ての組み合わせで抜き出して、これとベース音の音名とからコード名候補の抽出を行う。
コードに関しても、平均的なパワーが閾値以下のものは検出しないようにしても良い。また、コード検出音域もユーザが変更できるようにしても良い。さらに、コード検出音域中、平均的なパワーが最も大きい音階音から順にコード構成音候補を抽出するのではなく、このコード検出音域内の各音名の平均的なパワーを12の音名毎に平均し、この音名毎のパワーの最も大きな音名から順にコード構成音候補を抽出しても良い。
コード名候補の抽出は、コードのタイプ(m、M7等)とコード構成音のルート音からの音程を保存したコード名データベースを、コード名決定部304により検索することによって抽出する。つまり、検出した5つの音名の中から全ての2つ以上の組み合わせを抜き出し、これらの音名間の音程が、このコード名データベースのコード構成音の音程の関係にあるかどうかをしらみつぶしに調べ、同じ音程関係にあれば、コード構成音のいずれかの音名からルート音を算出し、そのルート音の音名にコードタイプを付けて、コード名を決定する。この時、コードのルート音(根音)や5度の音は、コードを演奏する楽器では省略されることがあるので、これらを含まなくてもコード名候補として抽出するようにする。ベース音を検出した場合には、このコード名候補のコード名にベース音の音名を加える。すなわち、コードのルート音とベース音が同じ音名であればそのままで良いし、異なる音名の場合は分数コードとする。
上記方法では、抽出されるコード名候補が多過ぎるという場合には、ベース音による限定を行っても良い。つまり、ベース音が検出された場合には、コード名候補の中でそのルート音がベース音と同じ音名でないものは削除する。
コード名候補が複数抽出された場合には、これらの中でどれか1つを決定するために、コード名決定部304により、尤度(もっともらしさ)の計算をする。
尤度は、コード検出音域における全てのコード構成音のパワーの強さの平均とベース検出音域におけるコードのルート音のパワーの強さから計算する。すなわち、抽出されたあるコード名候補の全ての構成音のコード検出期間における平均パワーの平均値をLavgc、コードのルート音のベース検出期間における平均パワーをLavgrとすると、下式数8のように、この2つの平均により尤度を計算する。尤度を計算する別の方法としては、コード検出音域におけるコードトーン(コード構成音)とノンコードトーン(コード構成音以外の音)の(平均的な)パワーの比を用いても良い。
Figure 2008040284
この際、コード検出音域やベース検出音域に同一音名の音が複数含まれる場合には、それらのうち、平均パワーの強い方を使うようにする。あるいは、コード検出音域とベース検出音域の夫々で、各音階音の平均パワーを12の音名毎に平均し、その音名毎の平均値を使うようにしても良い。
さらに、この尤度の計算に音楽的な知識を導入しても良い。例えば、各音階音のパワーを全フレームで平均し、それを12の音名毎に平均して各音名の強さを計算し、その強さの分布から曲の調を検出する。そして、調のダイアトニックコードには尤度が大きくなるようにある定数を掛ける、或いは、調のダイアトニックスケール上の音から外れた音を構成音に含むコードはその外れた音の数に応じて尤度が小さくなるようにする等が、考えられる。さらにコード進行のよくあるパターンをデータベースとして記憶しておき、それと比較することで、コード候補の中からよく使われる進行になるようなものは尤度が大きくなるようにある定数を掛けるようにしても良い。
最も尤度が大きいものをコード名として決定するが、コード名の候補を尤度とともに表示し、ユーザに選択させるようにしても良い。
いずれにしても、コード名決定部304により、コード名が決定したら、この結果をバッファ205に保存すると共に、コード名が、画面出力されることになる。
図19に、コード名決定部304によるコード検出結果の表示例を示す。このように検出されたコード名を画面表示するだけでなく、MIDI機器等を使って、検出されたコードとベース音を再生するようにすることが望ましい。一般的には、コード名を見ただけで正しいかどうかは判断できないからである。
以上説明した本実施例構成によれば、特別な音楽的知識を有する専門家でなくても、音楽CD等の複数の楽器音の混ざった入力された音楽音響信号に対し、個々の音符情報を検出することなしに全体の響きから、コード名を検出することができるようになる。
さらに、該構成によれば、構成音が同じ和音でも判別可能で、演奏のテンポが揺らいでしまった場合や、逆にわざとテンポを揺らして演奏しているような音源に関しても、小節毎のコード名が検出可能となる。
特に本実施例構成では、ベース音のみではなく、和音の変化度合いに応じても小節を分割するようにして、コードを検出しているため、ベース音が同じ場合でも、和音の変化度合いが大きい場合には、小節を分割してコードが検出されることになる。すなわち、小節内で例えば同じベース音を持つ同士のコード変化がある場合でも正しいコードが検出出来るようになる。この小節の分割については、ベース音の変化の度合い、和音の変化度合いに応じて、様々に分割することが可能である。
本実施例構成は、実施例2の構成とは異なり、各音階音のパワーのユークリッド距離を計算するという構成により、和音の変化の度合いを感知し、小節を分割してコードを検出するというものである。
ただし、この場合、単純にユークリッド距離を計算したのでは、急激な音の立ち上がり(曲の始まりなど)や急激な音の減衰(曲の終わり、ブレークなど)で、ユークリッド距離が大きな値となり、和音の変化は無いのに音の強弱だけで小節を分割してしまう恐れがある。そこで、ユークリッド距離を計算する前に、図20(a)〜(d)に示すように、各音階音のパワーを正規化するようにする[図20(a)は同図(c)のように、また図20(b)は同図(d)のように正規化する]。その際、大きい方に合わせるのではなく、小さい方に合わせるようにすれば(図20参照)、急激な音の変化ではユークリッド距離が小さくなり、誤って小節分割することは無くなる。
上記各音階音のパワーのユークリッド距離は、下式数9で計算される。このユークリッド距離が、例えば全フレーム全音のパワーの平均を上回る場合は、上記第1の小節分割決定部302により小節を分割することを決定することになる。
Figure 2008040284
さらに、詳しくは、(ユークリッド距離>全フレーム全音のパワーの平均×T)の時、小節を分割するようにすれば良い。該式の値Tを変えれば、小節分割の閾値を任意の値に変える(調整する)ことができる。
尚、本発明のコード名検出装置及びコード名検出用プログラムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
本発明のコード名検出装置及びコード名検出用プログラムは、ミュージックプロモーションビデオの作成の際などに音楽トラック中のビートの時刻に対して映像トラック中のイベントを同期させるビデオ編集処理や、ビートトラッキングによりビートの位置を見つけ音楽の音響信号の波形を切り貼りするオーディオ編集処理、人間の演奏に同期して照明の色・明るさ・方向・特殊効果などといった要素を制御したり、観客の手拍子や歓声などを自動制御するライブステージのイベント制御、音楽に同期したコンピュータグラフィックスなど、種々の分野で利用可能である。
本発明の望ましい実施形態が適用されるパーソナルコンピュータの構成を示す構成概要図である。 前出願のテンポ検出装置の全体ブロック図である。 曲の拍子の入力画面構成を示す説明図である。 音階音パワー検出部101の構成のブロック図である。 テンポ候補検出部102の処理の流れを示すフローチャートである。 ある曲の一部分の波形と各音階音のパワー、各音階音のパワー増分値の合計の図を示すグラフである。 自己相関計算の概念を示す説明図である。 図5のステップS106におけるテンポ確定までの処理フローを示すフローチャートである。 図8のステップS212の移動平均によるテンポ計算処理の処理ステップを示すフローチャートである。 同じく図8のステップS216のテンポ揺らぎ計算処理の処理ステップを示すフローチャートである。 最初のビート位置決定後のそれ以降のビートの位置を決定していく方法を示す説明図である。 sの値に応じて変えられる係数kの分布状態を示すグラフである。 2番目以降のビート位置の決定方法を示す説明図である。 ビート検出結果の確認画面の例を示す画面表示図である。 本実施例2に係るテンポ検出構成を用いたコード検出装置の全体ブロック図である。 曲の同じ部分のコード検出用音階音パワー検出部300が出力した各フレームの音階音のパワーを示すグラフである。 ベース音検出部301によるベース検出結果の表示例を示すグラフである。 小節前半及び小節後半の各音階音のパワーの状態を示す各音階音パワー模式図である。 コード検出結果の確認画面の例を示す画面表示図である。 第2の小節分割決定部303における各音階音のパワーのユークリッド距離の計算方法の概略を示す説明図である。
符号の説明
10 システムバス
11 CPU
12 ROM
13 RAM
14 ディスプレイ
15 I/Oインターフェース
16 キーボード
17 サウンドシステム
18 CD−ROMドライブ
19 ハードディスクドライブ
20 CD−ROM
100 入力部
101 ビート検出用音階音パワー検出部
101a 波形前処理部
101b FFT演算部
101c パワー検出部
102 テンポ候補検出部
103 拍子入力部
104 タッピング検出部
105 記録部
106 タッピングテンポ計算部
107 揺らぎ算出部
108 タッピングテンポ出力部
109 1拍目位置出力部
110 テンポ確定部
111 ビート位置確定部
112 小節検出部
200、201、202、203、204、205 バッファ
300 コード検出用音階音パワー検出部
301 ベース音検出部
302 第1の小節分割決定部
303 第2の小節分割決定部
304 コード名決定部

Claims (6)

  1. 音響信号を入力する信号入力手段と、
    入力された音響信号から、所定のフレーム毎に、FFT演算を行い、求められたパワースペクトルからフレーム毎の各音階音のパワーを求める音階音パワー検出手段と、
    この所定のフレーム毎の各音階音のパワーの増分値をすべての音階音について合計して、フレーム毎の全体の音の変化度合いを示すパワーの増分値の合計を求め、このフレーム毎の全体の音の変化度合いを示すパワーの増分値の合計から、平均的なビート間隔を求めて、テンポの候補を検出するテンポ候補検出手段と、
    ユーザに拍子を入力してもらう拍子入力手段と、
    ユーザのタッピング入力を検出するタッピング検出手段と、
    タッピング間隔とタッピングのあった時間と各タッピングのビートの数値を記録する記録手段と、
    タッピング間隔の移動平均をとり、テンポを計算するタッピングテンポ計算手段と、
    直近の移動平均毎のタッピングテンポの揺らぎを算出する揺らぎ算出手段と、
    上記揺らぎが一定の範囲内の場合、タッピングテンポと上記タッピングの最後の時間とそのときのビートの数値を出力するタッピングテンポ出力手段と、
    上記タッピングテンポ出力手段から出力されたタッピングテンポを元に、該テンポ候補検出手段で検出されたビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔を選択するテンポ確定手段と、
    上記揺らぎ算出手段でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングのビートの数値から、それに最も近い1拍目の位置を出力する1拍目位置出力手段と、
    同じく上記揺らぎ算出手段でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングの位置を先頭ビート位置として、それ以後およびそれ以前の各ビート位置をテンポ確定手段で決定されたテンポを元に確定させるビート位置確定手段と、
    上記1拍目位置出力手段から出力される1拍目の位置とビート位置確定手段から出力される各ビート位置に基づき小節線位置を検出する小節検出手段と
    を有することを特徴とするテンポ検出装置。
  2. 上記ビート位置確定手段によるビート位置を確定するにあたり、各音階音のパワー増分値の合計と、テンポ確定手段によって確定されたビート間隔で周期を持つ関数との相互相関を計算して求めることを特徴とする請求項1記載のテンポ検出装置。
  3. 上記ビート位置確定手段によるビート位置を確定するにあたり、各音階音のパワー増分値の合計と、テンポ確定手段によって確定されたビート間隔に+α又は−αの間隔を加算した関数との相互相関を計算して求めることを特徴とする請求項1記載のテンポ検出装置。
  4. 上記ビート位置確定手段によるビート位置を確定するにあたり、各音階音のパワー増分値の合計と、テンポ確定手段によって確定されたビート間隔から次第に広くなる又は次第に狭くなる間隔にした関数との相互相関を計算して求めることを特徴とする請求項1記載のテンポ検出装置。
  5. 上記ビート位置確定手段によるビート位置を確定するにあたり、各音階音のパワー増分値の合計と、テンポ確定手段によって確定されたビート間隔から次第に広くなる又は次第に狭くなる間隔にした関数との相互相関を、その途中のビート位置をずらして計算することにより求めることを特徴とする請求項1記載のテンポ検出装置。
  6. コンピュータに読み込まれて実行されることにより、該コンピュータを、
    音響信号を入力する信号入力手段と、
    入力された音響信号から、所定のフレーム毎に、FFT演算を行い、求められたパワースペクトルからフレーム毎の各音階音のパワーを求める音階音パワー検出手段と、
    この所定のフレーム毎の各音階音のパワーの増分値をすべての音階音について合計して、フレーム毎の全体の音の変化度合いを示すパワーの増分値の合計を求め、このフレーム毎の全体の音の変化度合いを示すパワーの増分値の合計から、平均的なビート間隔を求めて、テンポの候補を検出するテンポ候補検出手段と、
    ユーザに拍子を入力してもらう拍子入力手段と、
    ユーザのタッピング入力を検出するタッピング検出手段と、
    タッピング間隔とタッピングのあった時間と各タッピングのビートの数値を記録する記録手段と、
    タッピング間隔の移動平均をとり、テンポを計算するタッピングテンポ計算手段と、
    直近の移動平均毎のタッピングテンポの揺らぎを算出する揺らぎ算出手段と、
    上記揺らぎが一定の範囲内の場合、タッピングテンポと上記タッピングの最後の時間とそのときのビートの数値を出力するタッピングテンポ出力手段と、
    上記タッピングテンポ出力手段から出力されたタッピングテンポを元に、該テンポ候補検出手段で検出されたビート間隔の候補から、上記タッピングテンポに数値的に近いビート間隔を選択するテンポ確定手段と、
    上記揺らぎ算出手段でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングのビートの数値から、それに最も近い1拍目の位置を出力する1拍目位置出力手段と、
    同じく上記揺らぎ算出手段でタッピングの揺らぎが一定の範囲内であると判定された時のタッピングの位置を先頭ビート位置として、それ以後およびそれ以前の各ビート位置をテンポ確定手段で決定されたテンポを元に確定させるビート位置確定手段と、
    上記1拍目位置出力手段から出力される1拍目の位置とビート位置確定手段から出力される各ビート位置に基づき小節線位置を検出する小節検出手段と
    して機能させることを特徴とするテンポ検出用コンピュータプログラム。
JP2006216362A 2006-08-09 2006-08-09 テンポ検出装置及びテンポ検出用コンピュータプログラム Active JP4672613B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006216362A JP4672613B2 (ja) 2006-08-09 2006-08-09 テンポ検出装置及びテンポ検出用コンピュータプログラム
DE102007034356A DE102007034356A1 (de) 2006-08-09 2007-07-24 Vorrichtung zur Tempobestimmung und Computerprogramm zur Tempobestimmung
US11/882,384 US7579546B2 (en) 2006-08-09 2007-08-01 Tempo detection apparatus and tempo-detection computer program
CN2007101403372A CN101123086B (zh) 2006-08-09 2007-08-09 节奏检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006216362A JP4672613B2 (ja) 2006-08-09 2006-08-09 テンポ検出装置及びテンポ検出用コンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2008040284A true JP2008040284A (ja) 2008-02-21
JP2008040284A5 JP2008040284A5 (ja) 2008-08-14
JP4672613B2 JP4672613B2 (ja) 2011-04-20

Family

ID=38922324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006216362A Active JP4672613B2 (ja) 2006-08-09 2006-08-09 テンポ検出装置及びテンポ検出用コンピュータプログラム

Country Status (4)

Country Link
US (1) US7579546B2 (ja)
JP (1) JP4672613B2 (ja)
CN (1) CN101123086B (ja)
DE (1) DE102007034356A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009092681A (ja) * 2007-10-03 2009-04-30 Yamaha Corp テンポクロック生成装置およびプログラム
JP2009229940A (ja) * 2008-03-24 2009-10-08 Mti Ltd 和音同定方法、和音同定装置、及び学習装置
JP2009244506A (ja) * 2008-03-31 2009-10-22 Yamaha Corp ビート位置検出装置
JP2010026512A (ja) * 2008-07-16 2010-02-04 Honda Motor Co Ltd ビートトラッキング装置、ビートトラッキング方法、記録媒体、ビートトラッキング用プログラム、及びロボット
WO2010119541A1 (ja) * 2009-04-16 2010-10-21 パイオニア株式会社 音発生装置、音発生方法、音発生プログラム、及び記録媒体
JP2012168538A (ja) * 2011-02-14 2012-09-06 Honda Motor Co Ltd 楽譜位置推定装置、及び楽譜位置推定方法
JP2013238698A (ja) * 2012-05-14 2013-11-28 Funtap Inc 演奏位置検出装置

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003275089A1 (en) 2002-09-19 2004-04-08 William B. Hudak Systems and methods for creation and playback performance
JPWO2007004541A1 (ja) * 2005-07-01 2009-01-29 パイオニア株式会社 コンピュータプログラム、並びに情報再生装置及び方法
WO2007010637A1 (ja) * 2005-07-19 2007-01-25 Kabushiki Kaisha Kawai Gakki Seisakusho テンポ検出装置、コード名検出装置及びプログラム
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法
JP4823804B2 (ja) * 2006-08-09 2011-11-24 株式会社河合楽器製作所 コード名検出装置及びコード名検出用プログラム
JP4315180B2 (ja) * 2006-10-20 2009-08-19 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
CN102610222B (zh) 2007-02-01 2014-08-20 缪斯亚米有限公司 音乐转录的方法,系统和装置
WO2008101130A2 (en) 2007-02-14 2008-08-21 Museami, Inc. Music-based search engine
US7659471B2 (en) * 2007-03-28 2010-02-09 Nokia Corporation System and method for music data repetition functionality
JP5169328B2 (ja) * 2007-03-30 2013-03-27 ヤマハ株式会社 演奏処理装置及び演奏処理プログラム
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
US8494257B2 (en) * 2008-02-13 2013-07-23 Museami, Inc. Music score deconstruction
JP5179905B2 (ja) * 2008-03-11 2013-04-10 ローランド株式会社 演奏装置
WO2009125489A1 (ja) * 2008-04-11 2009-10-15 パイオニア株式会社 テンポ検出装置及びテンポ検出プログラム
JP5597863B2 (ja) * 2008-10-08 2014-10-01 株式会社バンダイナムコゲームス プログラム、ゲームシステム
US7915512B2 (en) * 2008-10-15 2011-03-29 Agere Systems, Inc. Method and apparatus for adjusting the cadence of music on a personal audio device
JP5625235B2 (ja) * 2008-11-21 2014-11-19 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
JP5282548B2 (ja) * 2008-12-05 2013-09-04 ソニー株式会社 情報処理装置、音素材の切り出し方法、及びプログラム
US8198525B2 (en) * 2009-07-20 2012-06-12 Apple Inc. Collectively adjusting tracks using a digital audio workstation
US7952012B2 (en) * 2009-07-20 2011-05-31 Apple Inc. Adjusting a variable tempo of an audio file independent of a global tempo using a digital audio workstation
US8334849B2 (en) * 2009-08-25 2012-12-18 Pixart Imaging Inc. Firmware methods and devices for a mutual capacitance touch sensing device
US8530734B2 (en) * 2010-07-14 2013-09-10 Andy Shoniker Device and method for rhythm training
JP2013105085A (ja) * 2011-11-15 2013-05-30 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP5881405B2 (ja) * 2011-12-21 2016-03-09 ローランド株式会社 表示制御装置
JP5672280B2 (ja) * 2012-08-31 2015-02-18 カシオ計算機株式会社 演奏情報処理装置、演奏情報処理方法及びプログラム
JP6155950B2 (ja) * 2013-08-12 2017-07-05 カシオ計算機株式会社 サンプリング装置、サンプリング方法及びプログラム
CN104299621B (zh) * 2014-10-08 2017-09-22 北京音之邦文化科技有限公司 一种音频文件的节奏感强度获取方法及装置
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
US11921469B2 (en) * 2015-11-03 2024-03-05 Clikbrik, LLC Contact responsive metronome
WO2017128229A1 (zh) * 2016-01-28 2017-08-03 段春燕 一种编辑音乐旋律时的信息推送方法及移动终端
WO2017128228A1 (zh) * 2016-01-28 2017-08-03 段春燕 一种音乐编辑的技术数据发送的方法及移动终端
JP6693189B2 (ja) * 2016-03-11 2020-05-13 ヤマハ株式会社 音信号処理方法
EP3489945B1 (en) * 2016-07-22 2021-04-14 Yamaha Corporation Musical performance analysis method, automatic music performance method, and automatic musical performance system
US11983056B2 (en) * 2017-01-09 2024-05-14 Inmusic Brands, Inc. Systems and methods for responding to electrical-power loss in a DJ media player
EP3428911B1 (en) * 2017-07-10 2021-03-31 Harman International Industries, Incorporated Device configurations and methods for generating drum patterns
US11176915B2 (en) * 2017-08-29 2021-11-16 Alphatheta Corporation Song analysis device and song analysis program
CN107920256B (zh) * 2017-11-30 2020-01-10 广州酷狗计算机科技有限公司 直播数据播放方法、装置及存储介质
CN108259983A (zh) * 2017-12-29 2018-07-06 广州市百果园信息技术有限公司 一种视频图像处理方法、计算机可读存储介质和终端
CN108111909A (zh) * 2017-12-15 2018-06-01 广州市百果园信息技术有限公司 视频图像处理方法及计算机存储介质、终端
CN108259984A (zh) * 2017-12-29 2018-07-06 广州市百果园信息技术有限公司 视频图像处理方法、计算机可读存储介质及终端
CN108322802A (zh) * 2017-12-29 2018-07-24 广州市百果园信息技术有限公司 视频图像的贴图处理方法、计算机可读存储介质及终端
CN108259925A (zh) * 2017-12-29 2018-07-06 广州市百果园信息技术有限公司 视频直播中的音乐礼物处理方法、存储介质及终端
CN108335687B (zh) 2017-12-26 2020-08-28 广州市百果园信息技术有限公司 音频信号底鼓节拍点的检测方法以及终端
CN108320730B (zh) * 2018-01-09 2020-09-29 广州市百果园信息技术有限公司 音乐分类方法及节拍点检测方法、存储设备及计算机设备
CN110111813B (zh) * 2019-04-29 2020-12-22 北京小唱科技有限公司 节奏检测的方法及装置
CN112990261B (zh) * 2021-02-05 2023-06-09 清华大学深圳国际研究生院 一种基于敲击节奏的智能手表用户识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181992A (ja) * 1990-11-16 1992-06-29 Yamaha Corp テンポコントローラ
JPH07295560A (ja) * 1994-04-27 1995-11-10 Victor Co Of Japan Ltd Midiデータ編集装置
JP2002215195A (ja) * 2000-11-06 2002-07-31 Matsushita Electric Ind Co Ltd 音楽信号処理装置
JP2003091279A (ja) * 2001-09-18 2003-03-28 Roland Corp 自動演奏装置および自動演奏のテンポ設定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3516406B2 (ja) * 1992-12-25 2004-04-05 株式会社リコス カラオケオーサリング装置
US6316712B1 (en) * 1999-01-25 2001-11-13 Creative Technology Ltd. Method and apparatus for tempo and downbeat detection and alteration of rhythm in a musical segment
US6518492B2 (en) * 2001-04-13 2003-02-11 Magix Entertainment Products, Gmbh System and method of BPM determination
JP2002341888A (ja) 2001-05-18 2002-11-29 Pioneer Electronic Corp ビート密度検出装置と情報再生装置
EP1595243A2 (en) * 2003-02-12 2005-11-16 Koninklijke Philips Electronics N.V. Audio reproduction apparatus, method, computer program
US7026536B2 (en) * 2004-03-25 2006-04-11 Microsoft Corporation Beat analysis of musical signals
JP2005292207A (ja) * 2004-03-31 2005-10-20 Ulead Systems Inc 音楽分析の方法
WO2007010637A1 (ja) * 2005-07-19 2007-01-25 Kabushiki Kaisha Kawai Gakki Seisakusho テンポ検出装置、コード名検出装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181992A (ja) * 1990-11-16 1992-06-29 Yamaha Corp テンポコントローラ
JPH07295560A (ja) * 1994-04-27 1995-11-10 Victor Co Of Japan Ltd Midiデータ編集装置
JP2002215195A (ja) * 2000-11-06 2002-07-31 Matsushita Electric Ind Co Ltd 音楽信号処理装置
JP2003091279A (ja) * 2001-09-18 2003-03-28 Roland Corp 自動演奏装置および自動演奏のテンポ設定方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009092681A (ja) * 2007-10-03 2009-04-30 Yamaha Corp テンポクロック生成装置およびプログラム
JP2009229940A (ja) * 2008-03-24 2009-10-08 Mti Ltd 和音同定方法、和音同定装置、及び学習装置
JP2009244506A (ja) * 2008-03-31 2009-10-22 Yamaha Corp ビート位置検出装置
JP2010026512A (ja) * 2008-07-16 2010-02-04 Honda Motor Co Ltd ビートトラッキング装置、ビートトラッキング方法、記録媒体、ビートトラッキング用プログラム、及びロボット
JP2010026513A (ja) * 2008-07-16 2010-02-04 Honda Motor Co Ltd ロボット
US8594846B2 (en) 2008-07-16 2013-11-26 Honda Motor Co., Ltd. Beat tracking apparatus, beat tracking method, recording medium, beat tracking program, and robot
WO2010119541A1 (ja) * 2009-04-16 2010-10-21 パイオニア株式会社 音発生装置、音発生方法、音発生プログラム、及び記録媒体
JP2012168538A (ja) * 2011-02-14 2012-09-06 Honda Motor Co Ltd 楽譜位置推定装置、及び楽譜位置推定方法
JP2013238698A (ja) * 2012-05-14 2013-11-28 Funtap Inc 演奏位置検出装置

Also Published As

Publication number Publication date
US7579546B2 (en) 2009-08-25
CN101123086A (zh) 2008-02-13
US20080034948A1 (en) 2008-02-14
DE102007034356A1 (de) 2008-02-14
CN101123086B (zh) 2011-12-21
JP4672613B2 (ja) 2011-04-20

Similar Documents

Publication Publication Date Title
JP4672613B2 (ja) テンポ検出装置及びテンポ検出用コンピュータプログラム
JP4823804B2 (ja) コード名検出装置及びコード名検出用プログラム
JP4767691B2 (ja) テンポ検出装置、コード名検出装置及びプログラム
JP4916947B2 (ja) リズム検出装置及びリズム検出用コンピュータ・プログラム
US7582824B2 (en) Tempo detection apparatus, chord-name detection apparatus, and programs therefor
US10235981B2 (en) Intelligent crossfade with separated instrument tracks
JP5229998B2 (ja) コード名検出装置及びコード名検出用プログラム
CN112382257A (zh) 一种音频处理方法、装置、设备及介质
WO2015053278A1 (ja) 複数セットの波形データを切り替えて波形再生を行う技術
JP5196550B2 (ja) コード検出装置およびコード検出プログラム
JP4212446B2 (ja) カラオケ装置
JP3996565B2 (ja) カラオケ装置
JP4204941B2 (ja) カラオケ装置
JP5005445B2 (ja) コード名検出装置及びコード名検出用プログラム
JP4932614B2 (ja) コード名検出装置及びコード名検出用プログラム
JP4222915B2 (ja) 歌唱音声評価装置、カラオケ採点装置及びこれらのプログラム
JP3599686B2 (ja) カラオケ歌唱時に声域の限界ピッチを検出するカラオケ装置
JP5153517B2 (ja) コード名検出装置及びコード名検出用コンピュータ・プログラム
JP4891135B2 (ja) 評価装置
JP2010032809A (ja) 自動演奏装置及び自動演奏用コンピュータ・プログラム
JP2004326133A (ja) 声域告知機能付きカラオケ装置
JP4159961B2 (ja) カラオケ装置
JP7425558B2 (ja) コード検出装置及びコード検出プログラム
JP2008225111A (ja) カラオケ装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110119

R150 Certificate of patent or registration of utility model

Ref document number: 4672613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140128

Year of fee payment: 3