JP5395399B2 - Mobile terminal, beat position estimating method and beat position estimating program - Google Patents

Mobile terminal, beat position estimating method and beat position estimating program Download PDF

Info

Publication number
JP5395399B2
JP5395399B2 JP2008269102A JP2008269102A JP5395399B2 JP 5395399 B2 JP5395399 B2 JP 5395399B2 JP 2008269102 A JP2008269102 A JP 2008269102A JP 2008269102 A JP2008269102 A JP 2008269102A JP 5395399 B2 JP5395399 B2 JP 5395399B2
Authority
JP
Japan
Prior art keywords
beat position
beat
music data
mobile terminal
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008269102A
Other languages
Japanese (ja)
Other versions
JP2010097084A (en
Inventor
広海 石先
啓一郎 帆足
康弘 滝嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2008269102A priority Critical patent/JP5395399B2/en
Publication of JP2010097084A publication Critical patent/JP2010097084A/en
Application granted granted Critical
Publication of JP5395399B2 publication Critical patent/JP5395399B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、楽曲データの拍位置を推定する携帯端末、拍位置推定方法および拍位置推定プログラムに関する。   The present invention relates to a portable terminal, a beat position estimation method, and a beat position estimation program that estimate the beat position of music data.

従来、音楽波形信号から自動で拍やテンポ情報を抽出する手法が知られている。たとえば、特許文献１には、ＰＣＭデータから得られた音楽波形信号に対し、ＦＦＴを用いてパワースペクトル変化率を計算することで、音が鳴っていると推定される個所を拍情報として特定し、等間隔となる拍情報を抽出する装置が開示されている。また、特許文献２、非特許文献１および特許文献３には、ＰＣＭデータから得られた音楽波形信号に対し、ＦＦＴを用いてパワースペクトルを計算し、自己相関関数および相互相関関数を利用することにより拍位置を推定する装置が開示されている。特許文献４には、携帯電話機向けの技術として、対象信号に対してローパスフィルタリングを適用することで低音域を抽出し、設定した閾値以上の低音域パワーを拍情報として利用する装置が開示されている。
特開２００７−１９９３０６号公報 特開２００７−３３８５１号公報 特開２００７−２４８８９５号公報 特開２００５−２３６５７４号公報 Ｍｉｇｕｅｌ Ａｌｏｎｓｏ， Ｂｅｒｔｒａｎｄ Ｄａｖｉｄ， ａｎｄ Ｇａёｌ Ｒｉｃｈａｒｄ．Ｔｅｍｐｏ ａｎｄ ｂｅａｔ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｍｕｓｉｃ ｓｉｇｎａｌｓ． Ｉｎ Ｐｒｏｃ．Ｉｎｔ． Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｕｓｉｃ Ｉｎｆ． Ｒｅｔｒｉｅｖ (ＩＳＭＩＲ)， ２００４． Conventionally, a technique for automatically extracting beat and tempo information from a music waveform signal is known. For example, Patent Document 1 specifies a portion estimated to be sounding as beat information by calculating a power spectrum change rate using FFT for a music waveform signal obtained from PCM data. An apparatus for extracting beat information at equal intervals is disclosed. In Patent Document 2, Non-Patent Document 1, and Patent Document 3, a power spectrum is calculated using FFT for a music waveform signal obtained from PCM data, and an autocorrelation function and a cross-correlation function are used. Discloses an apparatus for estimating the beat position. Patent Document 4 discloses a device for extracting a low frequency range by applying low-pass filtering to a target signal and using a low frequency range power equal to or higher than a set threshold as beat information as a technique for a mobile phone. Yes.
JP 2007-199306 A JP 2007-33851 A JP 2007-248895 A JP 2005-236574 A Miguel Alonso, Bertrand David, and Ga Richard Richard. Tempo and beat estimation of musical signals. In Proc. Int. Symposium on Music Inf. Retriev (ISMIR), 2004.

上記のように、たとえば特許文献１、特許文献２および非特許文献１に記載される技術を利用することで楽曲波形信号(ＰＣＭデータ)に対して自動で拍、テンポ情報を抽出することができる。しかし、これらの先行技術では周波数解析を行う等、負荷の高い処理を前提としており、スペックに乏しい携帯端末での利用を考えた場合現実的ではない。また、携帯電話機で再生可能な商用の楽曲データフォーマットは、ＰＣＭ形式ではなく、ＡＡＣ等の圧縮ファイルが利用されており、ユーザが携帯電話機上でコンテンツを購入した場合、デコード処理が必須となり、処理量が増加する。   As described above, the beat and tempo information can be automatically extracted from the music waveform signal (PCM data) by using the techniques described in Patent Document 1, Patent Document 2, and Non-Patent Document 1, for example. . However, these prior arts are premised on high-load processing such as frequency analysis, and are not realistic when considering use with portable terminals with poor specifications. In addition, the commercial music data format that can be played back on a mobile phone is not a PCM format, but a compressed file such as AAC is used. When a user purchases content on a mobile phone, decoding processing is essential. The amount increases.

一方、特許文献４には、単純にローパスフィルタリングと閾値による除外処理によってスペックに乏しい端末上での拍位置を検出することが記載されているが、上記の特許文献１、特許文献２および非特許文献１に記載される技術ほど高精度な拍位置を推定することができない。さらに、低音域成分がない場合の拍の未検出や、本来拍ではない部分に対して拍の誤検出が発生しうる。また、特許文献３記載の技術でも、ＰＣ上での利用しか想定されておらず、解析区間長を考慮していないなど、携帯電話機のようなスペックに乏しい端末では動作しない。このように、携帯端末上で拍位置を高精度に推定することは困難である。   On the other hand, Patent Document 4 describes that a beat position on a terminal with poor specifications is detected simply by low-pass filtering and a threshold exclusion process. However, Patent Document 1, Patent Document 2, and Non-Patent Documents described above. The technique described in Document 1 cannot estimate the beat position with higher accuracy. Furthermore, undetected beats when there is no low-frequency component, and erroneous beat detection may occur for portions that are not originally beats. Further, even the technique described in Patent Document 3 is assumed to be used only on a PC, and does not operate on a terminal with poor specifications such as a mobile phone, such as not considering the analysis section length. Thus, it is difficult to estimate the beat position with high accuracy on the portable terminal.

本発明は、このような事情に鑑みてなされたものであり、処理の負荷を軽減しつつ、楽曲の拍位置を高精度に推定できる携帯端末、拍位置推定方法および拍位置推定プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and provides a portable terminal, a beat position estimation method, and a beat position estimation program that can estimate the beat position of a music with high accuracy while reducing the processing load. For the purpose.

発明者らは、上記の目的を達成するため、解析区間を分割させることにより、スペックに乏しい端末上での拍位置推定を実現することを見出した。また、設定した初期区間の拍位置を推定し、初期区間以降は推定結果を利用して拍情報を生成することにより、さらに処理量を軽減できることを見出した。   In order to achieve the above-mentioned object, the inventors have found that the beat position estimation on a terminal with poor specifications is realized by dividing the analysis section. It was also found that the processing amount can be further reduced by estimating the beat position of the set initial section and generating beat information using the estimation result after the initial section.

（１）本発明の携帯端末は、楽曲データの拍位置を推定する携帯端末であって、設定された解析区間の楽曲データを抽出する区間抽出部と、前記抽出された楽曲データの拍位置を検出する拍位置検出部と、を備え、前記検出された拍位置に基づき楽曲データ全体にわたり拍位置を推定することを特徴としている。なお、「楽曲データ全体にわたり」とは、拍位置の推定が必要とされる楽曲の範囲全体という意味であり、必ずしも一曲全てを意味しない。   (1) The portable terminal of the present invention is a portable terminal that estimates the beat position of music data, and includes a section extraction unit that extracts music data of a set analysis section, and a beat position of the extracted music data. And a beat position detector for detecting the beat position over the entire music data based on the detected beat position. Note that “over the entire music data” means the entire range of music for which estimation of the beat position is required, and does not necessarily mean all music.

このように、区間について拍位置を検出することにより、処理手順における検出処理の負荷を軽減し、処理手順における検出処理を高精度にすることができる。その結果、スペックの乏しい携帯端末においても処理に負荷をかけることなく高精度で拍位置を推定することができる。なお、拍位置とは、楽曲の再生に対して時間軸上に周期的に刻まれる拍の時刻を指す。   In this way, by detecting the beat position for the section, it is possible to reduce the load of the detection process in the processing procedure and to make the detection process in the processing procedure highly accurate. As a result, it is possible to estimate the beat position with high accuracy without burdening the processing even in a portable terminal with poor specifications. The beat position refers to the time of a beat that is periodically engraved on the time axis for the reproduction of music.

（２）また、本発明の携帯端末は、前記区間抽出部は、楽曲データ全体にわたり、複数設定された解析区間の楽曲データを抽出し、前記拍位置検出部は、前記複数設定された解析区間の楽曲データの拍位置を検出し、前記検出された拍位置を楽曲データ全体にわたる拍位置として推定することを特徴としている。このように、検出された拍位置を、そのまま楽曲データ全体にわたり拍位置として推定することで、処理の負荷を軽減しつつ、高精度で拍位置を推定することができる。   (2) Further, in the portable terminal of the present invention, the section extraction unit extracts music data of a plurality of set analysis sections over the entire music data, and the beat position detection unit includes the plurality of set analysis sections. The beat position of the music data is detected, and the detected beat position is estimated as the beat position over the entire music data. Thus, by estimating the detected beat position as the beat position over the entire music data as it is, the beat position can be estimated with high accuracy while reducing the processing load.

（３）また、本発明の携帯端末は、前記複数設定された解析区間ごとに検出された拍位置を統合する統合処理部と、前記統合された拍位置から楽曲データ全体にわたり基本拍位置を推定する基本拍位置推定処理部と、を備えることを特徴としている。これにより、さらに拍位置を高精度に推定することができる。   (3) Further, the portable terminal of the present invention estimates the basic beat position over the entire music data from the integrated processing section that integrates the beat positions detected for each of the set analysis sections, and the integrated beat positions. And a basic beat position estimation processing unit. Thereby, the beat position can be estimated with high accuracy.

（４）また、本発明の携帯端末は、前記検出された拍位置から拍間隔を算出する拍間隔算出部と、前記算出された拍間隔から解析区間以外の拍位置を算出する拍位置算出部と、を更に備え、前記区間抽出部は、楽曲データの一部を前記解析区間の楽曲データとして抽出し、前記拍位置検出部は、前記抽出された楽曲データの拍位置を検出し、前記検出された拍位置および前記算出された拍位置を用いて、楽曲データ全体にわたる拍位置を推定することを特徴としている。   (4) Moreover, the portable terminal of the present invention includes a beat interval calculation unit that calculates a beat interval from the detected beat position, and a beat position calculation unit that calculates a beat position other than the analysis interval from the calculated beat interval. The section extraction unit extracts a part of music data as music data of the analysis section, and the beat position detection unit detects a beat position of the extracted music data, and the detection The beat position over the entire music data is estimated using the beat position calculated and the calculated beat position.

このように、本発明の携帯端末は、検出された拍位置から拍間隔を算出するとともに、拍間隔から解析区間以外の拍位置を算出し、検出された拍位置および算出された拍位置を、楽曲データ全体にわたり拍位置として推定する。これにより、さらに処理の負荷を軽減し、効率的に拍位置を推定することができる。   Thus, the mobile terminal of the present invention calculates the beat interval from the detected beat position, calculates the beat position other than the analysis section from the beat interval, and detects the detected beat position and the calculated beat position, The beat position is estimated over the entire music data. Thereby, the processing load can be further reduced and the beat position can be estimated efficiently.

（５）また、本発明の携帯端末は、前記解析区間を設定する入力を受け付ける入力部を更に備え、前記区間抽出部は、前記入力により設定された解析区間の楽曲データを抽出することを特徴としている。これにより、区間設定が不適切であり、推定される拍位置が楽曲本来の拍位置に合致していない場合に、ユーザが適切な区間を設定し、推定される拍位置を修正することができる。   (5) Further, the mobile terminal of the present invention further includes an input unit that receives an input for setting the analysis section, and the section extraction unit extracts music data of the analysis section set by the input. It is said. Thereby, when the section setting is inappropriate and the estimated beat position does not match the original beat position of the music, the user can set an appropriate section and correct the estimated beat position. .

（６）また、本発明の携帯端末は、前記楽曲データ全体にわたり推定された拍位置を特定するメタ情報を生成するメタ情報生成部を更に備えることを特徴としている。これにより、拍位置の情報をメタ情報として、楽曲データに付随させることができる。そして、メタ情報を利用することで、楽曲のリズムに合わせて映像や振動を出力したり、楽曲のリズムに合わせて運動するゲームを提供したりすることが可能となる。   (6) Moreover, the portable terminal of this invention is further provided with the meta-information production | generation part which produces | generates the meta information which pinpoints the beat position estimated over the said whole music data. Thereby, the beat position information can be attached to the music data as meta information. By using the meta information, it is possible to output video and vibration according to the rhythm of the music, or to provide a game that exercises according to the rhythm of the music.

（７）また、本発明の拍位置推定方法は、携帯端末を用いて楽曲データの拍位置を推定する拍位置推定方法であって、設定された解析区間の楽曲データを抽出するステップと、前記抽出された楽曲データの拍位置を検出するステップと、を含み、前記検出された拍位置に基づき楽曲データ全体にわたり拍位置を推定することを特徴としている。これにより、スペックの乏しい携帯端末においても処理に負荷をかけることなく高精度で拍位置を推定することができる。   (7) Moreover, the beat position estimation method of the present invention is a beat position estimation method for estimating the beat position of music data using a mobile terminal, the step of extracting music data of a set analysis section, Detecting the beat position of the extracted music data, and estimating the beat position over the entire music data based on the detected beat position. This makes it possible to estimate the beat position with high accuracy without imposing a load on processing even in a portable terminal with poor specifications.

（８）また、本発明の拍位置推定プログラムは、携帯端末を用いて楽曲データの拍位置を推定する拍位置推定プログラムであって、設定された解析区間の楽曲データを抽出する処理と、前記抽出された楽曲データの拍位置を検出する処理と、を携帯端末に実行させ、前記検出された拍位置に基づき楽曲データ全体にわたり拍位置を推定することを特徴としている。これにより、スペックの乏しい携帯端末においても処理に負荷をかけることなく高精度で拍位置を推定することができる。   (8) Moreover, the beat position estimation program of the present invention is a beat position estimation program for estimating the beat position of music data using a mobile terminal, the process of extracting music data of a set analysis section, The process of detecting the beat position of the extracted music data is executed by a portable terminal, and the beat position is estimated over the entire music data based on the detected beat position. This makes it possible to estimate the beat position with high accuracy without imposing a load on processing even in a portable terminal with poor specifications.

本発明によれば、処理の負荷を軽減しつつ、楽曲の拍位置を高精度に推定することができる。   According to the present invention, the beat position of music can be estimated with high accuracy while reducing the processing load.

次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。   Next, embodiments of the present invention will be described with reference to the drawings. In order to facilitate understanding of the description, the same reference numerals are given to the same components in the respective drawings, and duplicate descriptions are omitted.

［実施形態１］
（携帯端末の構成）
図１は、携帯端末１００の機能的構成を示すブロック図である。携帯端末１００は、たとえば携帯電話機や携帯型音楽プレーヤーである。携帯端末１００は、楽曲データについて拍位置を検出し、検出された拍位置に基づき楽曲データ全体にわたり拍位置を推定する。図１に示すように、携帯端末１００は、楽曲データベース１０１、区間抽出部１０２、入力部１０３、拍位置検出部１０４、記録部１０７、統合部１０８、基本拍位置推定部１０９、拍情報記憶部１１０およびメタ情報生成部１１１を備えている。 [Embodiment 1]
(Configuration of mobile device)
FIG. 1 is a block diagram illustrating a functional configuration of the mobile terminal 100. The mobile terminal 100 is, for example, a mobile phone or a portable music player. The portable terminal 100 detects the beat position of the music data, and estimates the beat position over the entire music data based on the detected beat position. As shown in FIG. 1, the portable terminal 100 includes a music database 101, a section extraction unit 102, an input unit 103, a beat position detection unit 104, a recording unit 107, an integration unit 108, a basic beat position estimation unit 109, and a beat information storage unit. 110 and a meta information generation unit 111.

楽曲データベース１０１は、拍位置推定の対象となりうる楽曲データを蓄積する。楽曲データは、ＡＡＣ等のファイル形式で格納されている。区間抽出部１０２は、設定された解析区間の楽曲データを抽出する。区間抽出部１０２は、楽曲データ全体にわたり、複数設定された解析区間の楽曲データを抽出する。区間は、楽曲全体を分割した区間であってもよいし、互いに重複する区間でもよい。具体的には、楽曲データベース１０１内に格納された楽曲データを呼び出し、拍位置推定の対象となる区間における楽曲信号を抽出する。楽曲データのフォーマットが解析に適さないフォーマットであった場合、区間抽出部１０２は、解析に適したファイル形式に変換する。また、区間抽出部１０２は、解析される区間を端末上にて実行できる区間長に管理することで、メモリ制限等の問題を回避できる。   The music database 101 stores music data that can be a target of beat position estimation. The music data is stored in a file format such as AAC. The section extraction unit 102 extracts music data of the set analysis section. The section extraction unit 102 extracts music data of a plurality of set analysis sections over the entire music data. The section may be a section obtained by dividing the entire music piece, or may be a section overlapping each other. Specifically, the music data stored in the music database 101 is called, and the music signal in the section for which the beat position is to be estimated is extracted. If the music data format is not suitable for analysis, the section extraction unit 102 converts the music data into a file format suitable for analysis. Further, the section extraction unit 102 can avoid problems such as memory limitations by managing the section to be analyzed to a section length that can be executed on the terminal.

区間抽出部１０２は、初期区間のみの解析を行うことで処理量を軽減することができる。このように、解析処理される解析区間を携帯端末１００に応じて変化させることで、大きなメモリ展開を行うことなく拍位置を検出することができる。区間抽出部１０２は、入力により設定された解析区間の楽曲データを抽出することも可能である。区間抽出処理については後述する。   The section extraction unit 102 can reduce the processing amount by analyzing only the initial section. Thus, by changing the analysis section to be analyzed according to the mobile terminal 100, the beat position can be detected without performing a large memory expansion. The section extraction unit 102 can also extract music data of an analysis section set by input. The section extraction process will be described later.

入力部１０３は、解析区間を設定する入力を受け付ける。これにより、最初は予め設定された区間を用いて拍位置を推定するが、楽曲の拍位置と推定された拍位置が異なっているときに調整可能となる。拍位置検出部１０４は、抽出された楽曲データの拍位置を検出する。拍位置検出部１０４は、区間抽出部１０２から得られた楽曲信号に対して、楽曲拍位置を検出する。本実施形態では、複数設定された解析区間の楽曲データの拍位置を繰り返し検出する。拍位置検出処理については後述する。   The input unit 103 receives an input for setting an analysis section. As a result, the beat position is initially estimated using a preset section, but can be adjusted when the beat position of the music is different from the estimated beat position. The beat position detector 104 detects the beat position of the extracted music data. The beat position detecting unit 104 detects the music beat position for the music signal obtained from the section extracting unit 102. In the present embodiment, the beat positions of music data in a plurality of set analysis sections are repeatedly detected. The beat position detection process will be described later.

記録部１０７は、拍位置検出部１０４により検出された楽曲拍位置を順次記録していく。記録部１０７は、全楽曲データの区間において検出が行われていない場合、区間抽出部１０２に次の区間の楽曲データを抽出するよう指示する。記録部１０７は、解析区間ごとに推定結果を保持する。   The recording unit 107 sequentially records the music beat positions detected by the beat position detection unit 104. The recording unit 107 instructs the section extraction unit 102 to extract the music data of the next section when the detection is not performed in the entire music data section. The recording unit 107 holds an estimation result for each analysis section.

統合部１０８は、複数設定された解析区間ごとに検出された拍位置を統合する。たとえば、各解析区間における推定拍位置の情報を時系列に基づいて累積し、各時点で推定された拍の累積個数を拍の尤もらしさとして利用することができる。基本拍位置推定部１０９は、統合された拍位置から楽曲データ全体にわたり基本拍位置を推定する。基本拍位置推定部１０９は、統合部１０８によって得られた統合された拍位置の情報から尤もらしい拍を有効な拍として推定する。統合処理および基本拍位置推定処理については後述する。   The integration unit 108 integrates the beat positions detected for each of the set analysis sections. For example, information on estimated beat positions in each analysis section can be accumulated based on a time series, and the accumulated number of beats estimated at each time point can be used as the likelihood of the beat. The basic beat position estimation unit 109 estimates the basic beat position over the entire music data from the integrated beat position. The basic beat position estimation unit 109 estimates a likely beat as an effective beat from the integrated beat position information obtained by the integration unit 108. The integration process and the basic beat position estimation process will be described later.

拍情報記憶部１１０は、楽曲データ全体にわたり推定された拍位置を特定する拍情報を記憶する。メタ情報生成部１１１は、楽曲データ全体にわたり推定された拍位置を特定するメタ情報を生成する。このように最終的な解析結果をメタ情報として出力することができる。なお、携帯端末１００は、統合部１０８および基本拍位置推定部１０９を備えずに、拍位置検出部１０４により検出された拍位置を、楽曲全体にわたり推定された拍位置とすることができる。   The beat information storage unit 110 stores beat information that specifies beat positions estimated over the entire music data. The meta information generation unit 111 generates meta information that identifies beat positions estimated over the entire music data. Thus, the final analysis result can be output as meta information. Note that the mobile terminal 100 does not include the integration unit 108 and the basic beat position estimation unit 109, and can use the beat position detected by the beat position detection unit 104 as the beat position estimated over the entire music.

（携帯端末の動作）
次に、携帯端末１００の動作を説明する。図２は、携帯端末１００の特徴的な動作を示すフローチャートである。まず、携帯端末１００は、楽曲データを読み出す（ステップＳ１）。解析区間の設定が、ユーザ入力によりなされているか否かを判定する（ステップＳ２）。なされていない場合には、予め定められている設定を参照する（ステップＳ３）。たとえば、携帯端末１００の機能に応じてメモリ制限容量内で最大の解析区間があらかじめ設定されている。 (Mobile device operation)
Next, the operation of the mobile terminal 100 will be described. FIG. 2 is a flowchart showing a characteristic operation of the mobile terminal 100. First, the portable terminal 100 reads music data (step S1). It is determined whether or not the analysis section is set by user input (step S2). If not set, a predetermined setting is referred to (step S3). For example, the maximum analysis section within the memory limit capacity is set in advance according to the function of the mobile terminal 100.

一方、解析区間の設定が、ユーザ入力によりなされている場合には、入力された設定を参照する（ステップＳ４）。次いで、設定された長さおよび位置に基づいた解析区間の楽曲データを抽出し（ステップＳ５）、抽出された楽曲データについて拍位置を検出する（ステップＳ６）。拍位置検出処理については、モジュールとして後述する。検出された拍位置は記録する（ステップＳ７）。そして、全区間の検出が終了したか否かを判定する（ステップＳ８）。まだ全区間の検出が終了していない場合にはステップＳ５に戻る。   On the other hand, when the analysis section is set by user input, the input setting is referred to (step S4). Next, the music data of the analysis section based on the set length and position is extracted (step S5), and the beat position is detected for the extracted music data (step S6). The beat position detection process will be described later as a module. The detected beat position is recorded (step S7). Then, it is determined whether or not the detection of all sections has been completed (step S8). If the detection of all the sections has not been completed yet, the process returns to step S5.

全区間の検出が終了した場合には、拍位置の統合処理を行う（ステップＳ９）。そして、統合処理されて得られた拍位置について基本拍位置を推定する（ステップＳ１０）。このようにして、得られた拍位置の情報（拍情報）を記憶させ（ステップＳ１１）、記憶された拍情報を元にメタ情報を生成して（ステップＳ１２）、一連の動作を終了する。   When the detection of all the sections is completed, the beat position integration process is performed (step S9). Then, the basic beat position is estimated for the beat position obtained by the integration process (step S10). In this way, information on the beat position (beat information) obtained is stored (step S11), meta information is generated based on the stored beat information (step S12), and the series of operations is terminated.

（区間抽出処理）
次に、拍位置検出処理を説明する。図３は、解析区間における楽曲データの抽出処理を概念的に示す概略図である。図３に示すように、解析区間を重複して楽曲データを抽出することができる。重複しないよう分割して区間を設定してもよい。図３（ａ）は全体の楽曲データの音楽波形信号、（ｂ）は第１の解析区間について抽出された楽曲データの音楽波形信号、（ｃ）は第２の解析区間について抽出された楽曲データの音楽波形信号を示している。予め、検出対象の区間長texcerpt、重複区間長toverlapが設定されているとき、図３に示すようにtexcerptの区間長を有する解析区間の楽曲データＥ１(ｔ)に対し、toverlapの長さの重複区間を設けて、次の解析区間の楽曲データＥ２(ｔ)を抽出することができる。 (Section extraction processing)
Next, the beat position detection process will be described. FIG. 3 is a schematic diagram conceptually showing a music data extraction process in the analysis section. As shown in FIG. 3, music data can be extracted by overlapping analysis sections. The sections may be set by being divided so as not to overlap. FIG. 3A shows the music waveform signal of the entire music data, FIG. 3B shows the music waveform signal of the music data extracted for the first analysis section, and FIG. 3C shows the music data extracted for the second analysis section. The music waveform signal is shown. Previously, the detection target interval length t excerpt: hidden = true, when the overlapping section length t overlap is set, with respect to music data E1 (t) of the analysis zones having a section length of t excerpt: hidden = true as shown in Figure 3, the t overlap It is possible to extract the music data E2 (t) of the next analysis section by providing a length overlapping section.

例えば、携帯端末１００におけるメモリ制限情報を利用し、メモリ制限容量内で最大の解析区間をあらかじめ設定することができる。また、楽曲データの拍位置を推定する上で最低限必要な長さの解析区間を設定することも可能である。例えば、一般的なＪ−ｐｏｐなどでは４０＜ＢＰＭ＜２００程度の範囲でテンポが設定されている。したがって、ＢＰＭが４０の楽曲の拍間隔を含有する解析区間を設定することができる。ＢＰＭ４０における拍間隔はおよそ１．５秒と計算できるため、解析区間の長さを１．７秒とすることができる。区間の設定はアプリケーションに事前に設定しておいてもよいし、サーバなどから通信により区間の設定を取得してもよい。   For example, by using the memory limit information in the portable terminal 100, the maximum analysis section within the memory limit capacity can be set in advance. It is also possible to set an analysis section having a minimum length necessary for estimating the beat position of the music data. For example, in a general J-pop, the tempo is set in a range of about 40 <BPM <200. Therefore, it is possible to set an analysis section that includes a beat interval of music having a BPM of 40. Since the beat interval in the BPM 40 can be calculated as approximately 1.5 seconds, the length of the analysis section can be 1.7 seconds. The section setting may be set in advance in the application, or the section setting may be acquired by communication from a server or the like.

図４は、拍位置検出処理を示すフローチャートである。上記のように設定された解析区間の楽曲データを抽出し、入力波形に対して短時間フーリエ変換を適用し、入力波形におけるスペクトログラムを計算する（ステップＴ１）。スペクトログラムから時系列でのパワー関数を求め（ステップＴ２）、自己相関関数により拍間隔を算出し（ステップＴ３）、相互相関関数により拍位置を算出することで拍位置を検出する（ステップＴ４）。   FIG. 4 is a flowchart showing beat position detection processing. The music data of the analysis section set as described above is extracted, the short-time Fourier transform is applied to the input waveform, and the spectrogram in the input waveform is calculated (step T1). A power function in time series is obtained from the spectrogram (step T2), a beat interval is calculated by an autocorrelation function (step T3), and a beat position is detected by calculating a beat position by a cross correlation function (step T4).

（統合処理および基本拍位置推定処理）
次に、統合処理および基本拍位置推定処理について説明する。図５は、拍位置の統合処理を概念的に示す概略図である。図５に示すように、検出された拍位置は、パワー関数Ｂｅａｔ１（ｔ）、Ｂｅａｔ２（ｔ）およびＢｅａｔ３（ｔ）で表され、時系列上にてこれらを加算し、拍位置の情報を統合することができる。そして、統合された拍位置の情報は関数ＢｅａｔＭａｐ（ｔ）として表されている。そして、例えば図５におけるＢｅａｔＭａｐ（ｔ）で最大値の１／２以上である拍のみを抽出し、基本拍位置として推定することができる。なお、パワー関数としては、たとえばインパルス関数や、インパルス関数に窓関数(ハニング等)を畳み込んだものを利用できる。 (Integration processing and basic beat position estimation processing)
Next, the integration process and the basic beat position estimation process will be described. FIG. 5 is a schematic diagram conceptually showing beat position integration processing. As shown in FIG. 5, the detected beat positions are represented by power functions Beat 1 (t), Beat 2 (t), and Beat 3 (t). Information can be integrated. The integrated beat position information is expressed as a function BeatMap (t). Then, for example, only beats that are 1/2 or more of the maximum value in BeatMap (t) in FIG. 5 can be extracted and estimated as basic beat positions. As the power function, for example, an impulse function or a function obtained by convolving a window function (such as Hanning) with the impulse function can be used.

［実施形態２］
上記の実施形態では、楽曲データの全体にわたり複数の区間の楽曲データを抽出して拍位置を検出するが、楽曲データの最初の一区間のみについて拍位置を検出し、その検出結果に基づき残りの区間についての拍位置を推定することとしてもよい。楽曲データにおいて、楽曲途中でテンポが変化することは少ないという前提で拍位置の推定を簡略化することができる。図６は、このような拍位置の推定を行う携帯端末２００の機能的構成を示すブロック図である。 [Embodiment 2]
In the above embodiment, the music data of a plurality of sections is extracted over the entire music data and the beat position is detected. However, the beat position is detected only for the first section of the music data, and the rest is based on the detection result. It is good also as estimating the beat position about a section. In the music data, it is possible to simplify the estimation of the beat position on the assumption that the tempo hardly changes during the music. FIG. 6 is a block diagram showing a functional configuration of the mobile terminal 200 that performs such beat position estimation.

（携帯端末の構成）
携帯端末２００は、楽曲データについて、解析区間で検出された拍位置およびその区間外で算出された拍位置から楽曲データ全体にわたり拍位置を推定する。図６に示すように、携帯端末２００は、楽曲データベース１０１、区間抽出部１０２、入力部１０３、拍位置検出部１０４、拍間隔算出部２０５、拍位置算出部２０６、拍情報記憶部１１０およびメタ情報生成部１１１を備えている。拍間隔算出部２０５および拍位置算出部２０６以外の各部の機能は、携帯端末１００と同様である。 (Configuration of mobile device)
The portable terminal 200 estimates the beat position over the entire music data from the beat position detected in the analysis section and the beat position calculated outside the section for the music data. As illustrated in FIG. 6, the mobile terminal 200 includes a music database 101, a section extraction unit 102, an input unit 103, a beat position detection unit 104, a beat interval calculation unit 205, a beat position calculation unit 206, a beat information storage unit 110, and a meta An information generation unit 111 is provided. The functions of the units other than the beat interval calculation unit 205 and the beat position calculation unit 206 are the same as those of the mobile terminal 100.

区間抽出部１０２は、たとえば最初の一区間の楽曲データのみを抽出する。そして、拍位置検出部１０４は、抽出された楽曲データの拍位置を検出する。なお、抽出する楽曲データは、楽曲データの一部であれば、特に最初の一区間のものに限定されない。   For example, the section extraction unit 102 extracts only the music data of the first section. Then, the beat position detection unit 104 detects the beat position of the extracted music data. Note that the music data to be extracted is not limited to the one in the first section as long as it is a part of the music data.

拍間隔算出部２０５は、拍位置検出部１０４によって検出された拍位置から拍間隔を計算する。拍間隔は後述の式（１）などにより計算することができる。拍位置算出部２０６は、算出された拍間隔から解析区間以外の拍位置を算出する。拍間隔算出部２０５は、得られた拍間隔に基づいて残区間の拍位置を計算する。後述の式（２）などにより計算することができる。このようにして、楽曲データ全体にわたり、拍位置を推定することができる。   The beat interval calculation unit 205 calculates a beat interval from the beat positions detected by the beat position detection unit 104. The beat interval can be calculated by the following equation (1). The beat position calculation unit 206 calculates a beat position other than the analysis section from the calculated beat interval. The beat interval calculation unit 205 calculates the beat position of the remaining section based on the obtained beat interval. It can be calculated by the following equation (2). In this way, the beat position can be estimated over the entire music data.

たとえば携帯端末２００は、動作可能な最大の区間を初期区間として、初期区間において、拍位置推定処理を行い、残区間は拍位置情報を自動生成して、精度よく拍位置を推定できる。携帯端末２００はスペックに乏しいため、特に処理量が少ないことが重要である。   For example, the mobile terminal 200 can perform the beat position estimation process in the initial section with the maximum operable section as the initial section, and automatically generate the beat position information in the remaining section, thereby accurately estimating the beat position. Since the portable terminal 200 has poor specifications, it is particularly important that the processing amount is small.

（携帯端末の動作）
次に、携帯端末２００の動作を説明する。図７は、携帯端末２００の特徴的な動作を示すフローチャートである。まず、携帯端末２００は、楽曲データを読み出す（ステップＰ１）。そして、解析区間の設定が、ユーザ入力によりなされているか否かを判定する（ステップＰ２）。なされていない場合には、予め定められている設定を参照する（ステップＰ３）。 (Mobile device operation)
Next, the operation of the mobile terminal 200 will be described. FIG. 7 is a flowchart showing a characteristic operation of the mobile terminal 200. First, the portable terminal 200 reads music data (step P1). Then, it is determined whether or not the analysis section is set by user input (step P2). If not set, a predetermined setting is referred to (step P3).

一方、解析区間の設定がユーザ入力によりなされている場合には、入力された設定を参照する（ステップＰ４）。次いで、設定された長さおよび位置に基づいた解析区間の楽曲データを抽出し（ステップＰ５）、抽出された楽曲データについて拍位置を検出する（ステップＰ６）。次に検出された拍位置から拍間隔を算出し（ステップＰ７）、算出された拍間隔から拍位置を算出する（ステップＰ８）。拍間隔算出処理および拍位置算出処理については後述する。このようにして、得られた拍位置の情報（拍情報）を記憶させ（ステップＰ９）、記憶された拍情報からメタ情報を生成して（ステップＰ１０）、一連の動作を終了する。   On the other hand, when the analysis section is set by user input, the input setting is referred to (step P4). Next, music data of an analysis section based on the set length and position is extracted (step P5), and a beat position is detected for the extracted music data (step P6). Next, the beat interval is calculated from the detected beat position (step P7), and the beat position is calculated from the calculated beat interval (step P8). The beat interval calculation process and the beat position calculation process will be described later. In this way, the beat position information (beat information) obtained is stored (step P9), meta information is generated from the stored beat information (step P10), and the series of operations is terminated.

（拍間隔算出処理および拍位置算出処理）
上記の拍間隔算出処理および拍位置算出処理においては、初期区間のみ拍位置推定を行い、初期区間によって得られた推定拍位置から推定拍間隔（ＩＢＩ）を決定し、残りの区間における拍位置をＩＢＩにより推定する。ＩＢＩは例えば、検出された拍位置をｂＩ(１)，ｂＩ（２），…，ｂＩ（ｍ)としたときに、以下の式などによって求めることができる。

Figure 0005395399
(Beat interval calculation process and beat position calculation process)
In the above beat interval calculation processing and beat position calculation processing, the beat position is estimated only in the initial section, the estimated beat interval (IBI) is determined from the estimated beat position obtained by the initial section, and the beat positions in the remaining sections are determined. Estimated by IBI. For example, the IBI can be obtained by the following equation when the detected beat positions are bI (1), bI (2),..., BI (m).
Figure 0005395399

そして、ＩＢＩに基づいて、残りの区間の拍位置を決定する。例えばｂｍの次の拍位置であるｂｍ＋１は、次式で算出される。

Figure 0005395399
Then, based on the IBI, the beat positions of the remaining sections are determined. For example, b m + 1 which is the next beat position of b m is calculated by the following equation.
Figure 0005395399

また、(１)式では、拍間隔平均を計算し、残りの区間の拍位置を決定しているが、解析区間内の拍数を基にＩＢＩを計算することもできる。例えば、解析区間長をＴ(秒)とし、解析区間内に拍がＮ個存在しているとすると、ＩＢＩ=Ｔ／Ｎという数式により計算することができる。   Further, in equation (1), the beat interval average is calculated and the beat positions in the remaining sections are determined, but IBI can also be calculated based on the number of beats in the analysis section. For example, if the analysis section length is T (seconds) and there are N beats in the analysis section, it can be calculated by the formula IBI = T / N.

このようにして、楽曲データ全体にわたって拍を検出することなく、初期区間のみ解析を行い、残り区間の拍情報を一律に生成する。そして、拍位置の情報をメタ情報として格納する。これにより、解析される区間が短くてすむため、処理量を軽減させることができる。   In this way, only the initial section is analyzed without detecting beats throughout the music data, and the beat information of the remaining sections is uniformly generated. The beat position information is stored as meta information. Thereby, since the analyzed section can be short, the processing amount can be reduced.

以上の拍位置推定の各処理はプログラムをコンピュータに実行させることにより行うことができる。なお、上記の方式では、初期区間における拍間隔を基に残区間の拍位置を推定しているが、楽曲途中でテンポが変動するなどにより、推定結果が本来の拍位置とずれることがある。その場合は、楽曲途中のユーザ入力により、再度ずれた箇所から楽曲解析、拍位置推定を行う等の方法により対応することもできる。そのときには、検出された拍位置を画面、音声、バイブレータ出力等によってユーザが確認できるようにすることで対応できる。   Each process of the above beat position estimation can be performed by making a computer run a program. In the above method, the beat position in the remaining section is estimated based on the beat interval in the initial section, but the estimation result may deviate from the original beat position due to fluctuations in the tempo during the music. In that case, it is also possible to cope with a method such as performing music analysis or beat position estimation from a position shifted again by a user input during the music. At that time, it is possible to cope with the detected beat position by allowing the user to confirm the position of the beat from the screen, sound, vibrator output, or the like.

実施形態１に係る携帯端末の機能的構成を示すブロック図である。3 is a block diagram illustrating a functional configuration of a mobile terminal according to Embodiment 1. FIG. 実施形態１に係る携帯端末の特徴的な動作を示すフローチャートである。4 is a flowchart illustrating a characteristic operation of the mobile terminal according to the first embodiment. 解析区間における楽曲データの抽出処理を概念的に示す概略図である。It is the schematic which shows notionally the music data extraction process in an analysis area. 拍位置の検出処理を示すフローチャートである。It is a flowchart which shows the detection process of a beat position. 拍位置の統合処理を概念的に示す概略図である。It is the schematic which shows notionally the integration processing of a beat position. 実施形態２に係る携帯端末の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the portable terminal which concerns on Embodiment 2. FIG. 実施形態２に係る携帯端末の特徴的な動作を示すフローチャートである。10 is a flowchart illustrating a characteristic operation of the mobile terminal according to the second embodiment.

符号の説明Explanation of symbols

１００、２００ 携帯端末
１０１ 楽曲データベース
１０２ 区間抽出部
１０３ 入力部
１０４ 拍位置検出部
１０７ 記録部
１０８ 統合部
１０９ 基本拍位置推定部
１１０ 拍情報記憶部
１１１ メタ情報生成部
２０５ 拍間隔算出部
２０６ 拍位置算出部
texcerpt 区間長
toverlap 重複区間長 100, 200 Mobile terminal 101 Music database 102 Section extraction unit 103 Input unit 104 Beat position detection unit 107 Recording unit 108 Integration unit 109 Basic beat position estimation unit 110 Beat information storage unit 111 Meta information generation unit 205 Beat interval calculation unit 206 Beat position Calculation unit
t excerpt section length
t overlap Overlapping section length

Claims (7)

楽曲データの拍位置を推定する携帯端末であって、
拍位置の推定が必要とされる範囲の楽曲データのうち、自機によって決められた長さで設定された解析区間の楽曲データを抽出する区間抽出部と、
前記抽出された楽曲データの拍位置を検出する拍位置検出部と、を備え、
前記解析区間のそれぞれについて抽出された楽曲データに対して検出された拍位置を統合して、前記拍位置の推定が必要とされる範囲の楽曲データ全体にわたり拍位置を推定することを特徴とする携帯端末。 A mobile terminal that estimates the beat position of music data,
A section extraction unit that extracts music data of an analysis section set with a length determined by the own machine, out of music data in a range where beat position estimation is required,
A beat position detector for detecting the beat position of the extracted music data,
The beat positions detected for the music data extracted for each of the analysis sections are integrated, and the beat position is estimated over the entire music data in the range where the beat position needs to be estimated. Mobile device. 前記区間抽出部は、楽曲データ全体にわたり、複数設定された解析区間の楽曲データを抽出し、
前記拍位置検出部は、前記複数設定された解析区間の楽曲データの拍位置を検出し、
前記検出された拍位置を楽曲データ全体にわたる拍位置として推定することを特徴とする請求項１記載の携帯端末。 The section extraction unit extracts music data of a plurality of set analysis sections over the entire music data,
The beat position detection unit detects beat positions of music data in the plurality of set analysis sections,
The portable terminal according to claim 1, wherein the detected beat position is estimated as a beat position over the entire music data. 前記複数設定された解析区間ごとに検出された拍位置を統合する統合処理部と、
前記統合された拍位置から楽曲データ全体にわたり基本拍位置を推定する基本拍位置推定処理部と、を備えることを特徴とする請求項２記載の携帯端末。 An integrated processing unit for integrating beat positions detected for each of the plurality of set analysis sections;
The mobile terminal according to claim 2, further comprising a basic beat position estimation processing unit that estimates a basic beat position over the entire music data from the integrated beat position. 楽曲データの拍位置を推定する携帯端末であって、
拍位置の推定が必要とされる範囲の楽曲データのうち、自機によって決められた長さで設定された解析区間の楽曲データを抽出する区間抽出部と、
前記抽出された楽曲データの拍位置を検出する拍位置検出部と、を備え、
前記検出された拍位置から拍間隔を算出する拍間隔算出部と、
前記算出された拍間隔から解析区間以外の拍位置を算出する拍位置算出部と、を更に備え、
前記検出された拍位置および前記算出された拍位置を用いて、前記拍位置の推定が必要とされる範囲の楽曲データ全体にわたる拍位置を推定することを特徴とする携帯端末。 A mobile terminal that estimates the beat position of music data,
A section extraction unit that extracts music data of an analysis section set with a length determined by the own machine, out of music data in a range where beat position estimation is required,
A beat position detector for detecting the beat position of the extracted music data,
A beat interval calculation unit for calculating a beat interval from the detected beat position;
A beat position calculation unit that calculates a beat position other than the analysis section from the calculated beat interval; and
A portable terminal that estimates a beat position over the entire music data in a range where the beat position needs to be estimated, using the detected beat position and the calculated beat position . 前記楽曲データ全体にわたり推定された拍位置を特定するメタ情報を生成するメタ情報生成部を更に備えることを特徴とする請求項１から請求項４のいずれかに記載の携帯端末。 The mobile terminal according to any one of claims 1 to 4 , further comprising a meta information generation unit that generates meta information for specifying a beat position estimated over the entire music data. 携帯端末を用いて楽曲データの拍位置を推定する拍位置推定方法であって、
拍位置の推定が必要とされる範囲の楽曲データのうち、前記携帯端末によって決められた長さで設定された解析区間の楽曲データを抽出するステップと、
前記抽出された楽曲データの拍位置を検出するステップと、を含み、
前記解析区間のそれぞれについて抽出された楽曲データに対して検出された拍位置を統合して、前記拍位置の推定が必要とされる範囲の楽曲データ全体にわたり拍位置を推定することを特徴とする拍位置推定方法。 A beat position estimation method for estimating the beat position of music data using a mobile terminal,
Extracting the music data of the analysis section set with the length determined by the mobile terminal out of the music data in the range where the estimation of the beat position is required;
Detecting the beat position of the extracted music data,
The beat positions detected for the music data extracted for each of the analysis sections are integrated, and the beat position is estimated over the entire music data in the range where the beat position needs to be estimated. Beat position estimation method. 携帯端末を用いて楽曲データの拍位置を推定する拍位置推定プログラムであって、
拍位置の推定が必要とされる範囲の楽曲データのうち、前記携帯端末によって決められた長さで設定された解析区間の楽曲データを抽出する処理と、
前記抽出された楽曲データの拍位置を検出する処理と、を携帯端末に実行させ、
前記解析区間のそれぞれについて抽出された楽曲データに対して検出された拍位置を統合して、前記拍位置の推定が必要とされる範囲の楽曲データ全体にわたり拍位置を推定することを特徴とする拍位置推定プログラム。
A beat position estimation program for estimating the beat position of music data using a mobile terminal,
A process of extracting music data in an analysis section set with a length determined by the mobile terminal from music data in a range where estimation of a beat position is required;
A process of detecting the beat position of the extracted music data, and causing the mobile terminal to execute,
The beat positions detected for the music data extracted for each of the analysis sections are integrated, and the beat position is estimated over the entire music data in the range where the beat position needs to be estimated. Beat position estimation program.
JP2008269102A 2008-10-17 2008-10-17 Mobile terminal, beat position estimating method and beat position estimating program Expired - Fee Related JP5395399B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008269102A JP5395399B2 (en) 2008-10-17 2008-10-17 Mobile terminal, beat position estimating method and beat position estimating program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008269102A JP5395399B2 (en) 2008-10-17 2008-10-17 Mobile terminal, beat position estimating method and beat position estimating program

Publications (2)

Publication Number Publication Date
JP2010097084A JP2010097084A (en) 2010-04-30
JP5395399B2 true JP5395399B2 (en) 2014-01-22

Family

ID=42258794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008269102A Expired - Fee Related JP5395399B2 (en) 2008-10-17 2008-10-17 Mobile terminal, beat position estimating method and beat position estimating program

Country Status (1)

Country Link
JP (1) JP5395399B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2831720T3 (en) 2016-01-21 2021-06-09 Alphatheta Corp Lighting control device, lighting control procedure and lighting control program
JPWO2017168644A1 (en) 2016-03-30 2019-01-17 Ｐｉｏｎｅｅｒ ＤＪ株式会社 Music development analysis device, music development analysis method, and music development analysis program
JP6685391B2 (en) 2016-05-12 2020-04-22 ＡｌｐｈａＴｈｅｔａ株式会社 Lighting control device, lighting control method, and lighting control program
US10708998B2 (en) 2016-06-13 2020-07-07 Alphatheta Corporation Light control device, lighting control method, and lighting control program for controlling lighting based on a beat position in a music piece information
JP6705422B2 (en) * 2017-04-21 2020-06-03 ヤマハ株式会社 Performance support device and program
JP7298702B2 (en) * 2019-09-27 2023-06-27 ヤマハ株式会社 Acoustic signal analysis method, acoustic signal analysis system and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3674950B2 (en) * 2002-03-07 2005-07-27 ヤマハ株式会社 Method and apparatus for estimating tempo of music data
WO2007004541A1 (en) * 2005-07-01 2007-01-11 Pioneer Corporation Computer program, information reproducing device, and method
JP4487958B2 (en) * 2006-03-16 2010-06-23 ソニー株式会社 Method and apparatus for providing metadata

Also Published As

Publication number Publication date
JP2010097084A (en) 2010-04-30

Similar Documents

Publication Publication Date Title
JP6017687B2 (en) Audio signal analysis
RU2743315C1 (en) Method of music classification and a method of detecting music beat parts, a data medium and a computer device
US9653056B2 (en) Evaluation of beats, chords and downbeats from a musical audio signal
US20150094835A1 (en) Audio analysis apparatus
US9646592B2 (en) Audio signal analysis
EP2816550A1 (en) Audio signal analysis
CN110265064B (en) Audio frequency crackle detection method, device and storage medium
JP5395399B2 (en) Mobile terminal, beat position estimating method and beat position estimating program
US9646625B2 (en) Audio correction apparatus, and audio correction method thereof
CN1937462A (en) Content-preference-score determining method, content playback apparatus, and content playback method
JP2009139769A (en) Signal processor, signal processing method and program
CN111640411B (en) Audio synthesis method, device and computer readable storage medium
CN112712816A (en) Training method and device of voice processing model and voice processing method and device
JP2005292207A (en) Method of music analysis
WO2007072394A2 (en) Audio structure analysis
CN110415722B (en) Speech signal processing method, storage medium, computer program, and electronic device
CN105940380A (en) Sinusoidal interpolation across missing data
CN103531220B (en) Lyrics bearing calibration and device
CN103297674A (en) Signal processing apparatus, system and method, and program, electric device
CN112750458B (en) Touch screen sound detection method and device
JP6286933B2 (en) Apparatus, method, and program for estimating measure interval and extracting feature amount for the estimation
JP5054646B2 (en) Beat position estimating apparatus, beat position estimating method, and beat position estimating program
CN110609769B (en) Method and related device for measuring signal acquisition delay
CN116437263A (en) Extraction system information acquisition method, recording signal processing method, equipment and product
Mallick et al. Using Musical Beats to Segment Videos of Bharatanatyam Adavus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131018

R150 Certificate of patent or registration of utility model

Ref document number: 5395399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees