JP2000267671A - Device and method for musical sound waveform analysis, and recording medium where musical sound waveform analyzing program is recorded - Google Patents

Device and method for musical sound waveform analysis, and recording medium where musical sound waveform analyzing program is recorded

Info

Publication number
JP2000267671A
JP2000267671A JP11075759A JP7575999A JP2000267671A JP 2000267671 A JP2000267671 A JP 2000267671A JP 11075759 A JP11075759 A JP 11075759A JP 7575999 A JP7575999 A JP 7575999A JP 2000267671 A JP2000267671 A JP 2000267671A
Authority
JP
Japan
Prior art keywords
peak
data
frame
peak point
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11075759A
Other languages
Japanese (ja)
Other versions
JP3644296B2 (en
Inventor
Masahiro Kakishita
正尋 柿下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP07575999A priority Critical patent/JP3644296B2/en
Publication of JP2000267671A publication Critical patent/JP2000267671A/en
Application granted granted Critical
Publication of JP3644296B2 publication Critical patent/JP3644296B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

PROBLEM TO BE SOLVED: To make traceable the track of peak points which are successive along the time base of a frame by providing a peak track determining means, etc., which determines a next successive peak point among detected peak points according to analytical data on peak points predicted by a predicting means. SOLUTION: A CPU 1 performs a waveform analyzing process as to specified musical sound waveform data in a data memory 3 according to a waveform analyzing program stored in a program memory 2 and detects peak points of frequency spectra of respective frames of a Fourier analyzing process. Predicted amplitude data are found through predictive operation based upon multiple amplitude data as track data on peak points having amplitude data closest to the predicted amplitude data. Thus, the track of a next frame is predicted according to frequency data on the peak points which are already extracted as a peak track to extract peak points, so naturally connecting tracks can be traced.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、分析対象楽音波形
に対してフーリエ変換処理を施して時系列なフレームの
周波数スペクトルを求め、各フレームにおける分析デー
タの振幅データのピーク点を検出し、前記フレームの時
間軸方向に連続する前記ピーク点の軌跡を追跡する楽音
波形分析装置及び楽音波形分析方法並びに楽音波形分析
プログラムを記録した記録媒体に関する。
BACKGROUND OF THE INVENTION The present invention provides a Fourier transform process for a musical tone waveform to be analyzed to obtain a frequency spectrum of a time-series frame, and detects a peak point of amplitude data of analysis data in each frame. The present invention relates to a musical tone waveform analyzer, a musical tone waveform analysis method, and a recording medium on which a musical tone waveform analysis program is recorded, which tracks a locus of the peak point continuous in the time axis direction of a frame.

【0002】[0002]

【従来の技術】従来、楽音の性質を分析したり楽音波形
を合成する楽音分析・(再)合成(Analysis & (Re)Syn
thesis)の技術分野において、次のような処理が行われ
ている。先ず、時系列なサンプリング波形に窓関数を掛
けてフレームを切り出し、高速フーリエ変換(FFT)
処理を施して周波数スペクトルの分析データを得る。こ
の周波数スペクトルの分析データは、周波数軸上のデー
タすなわち周波数データ、振幅データおよび位相データ
を含んでおり、振幅データのピークとみなせる全てのピ
ーク点(周波数値)を検出する。そして窓関数の窓を移
動してフレームを更新し、上記の処理を繰り返し、各フ
レームにおける周波数スペクトルの振幅データのピーク
点を検出する。
2. Description of the Related Art Conventionally, tone analysis and (re) synthesis (Analysis & (Re) Syn) for analyzing the properties of musical tones and synthesizing musical tone waveforms
The following processes are performed in the technical field of the thesis). First, a frame is cut out by multiplying a time-series sampling waveform by a window function, and a fast Fourier transform (FFT) is performed.
Processing is performed to obtain frequency spectrum analysis data. The analysis data of the frequency spectrum includes data on the frequency axis, that is, frequency data, amplitude data, and phase data, and detects all peak points (frequency values) that can be regarded as peaks of the amplitude data. Then, the window of the window function is moved to update the frame, the above processing is repeated, and the peak point of the amplitude data of the frequency spectrum in each frame is detected.

【0003】ここで、各フレームにおけるピーク点は、
一般に、複数の周波数に対応して複数個検出され、これ
らのピーク点は、元のサンプリング波形の基音、その倍
音に相当する高調波成分、ノイズ成分、FFTの窓関数
のサイドローブ等に対応して検出される。しかし、楽音
の聴感上のピッチは主に基音および低次の倍音成分によ
り得られ、また主に高次の倍音成分により音色感が得ら
れるように、楽音の性質を分析したり楽音波形を合成す
るためには、基音や倍音に相当するピーク点を抽出する
ことが重要である。この基音や倍音に相当するピークは
FFTにおけるフレームの時間軸方向に連なる長い軌跡
を形成するので、これらの楽音波形分析の処理では、ピ
ーク点の軌跡を追跡することが要求される。
Here, the peak point in each frame is
Generally, a plurality of peaks are detected corresponding to a plurality of frequencies, and these peak points correspond to the fundamental tone of the original sampling waveform, harmonic components corresponding to the harmonics, noise components, side lobes of the FFT window function, and the like. Detected. However, the perceived pitch of the musical tone is mainly obtained by the fundamental tone and lower harmonic components, and the characteristics of the musical tone are analyzed and the musical tone waveform is synthesized so that the timbre can be obtained mainly by the higher harmonic components. In order to do so, it is important to extract peak points corresponding to fundamental and overtones. Since the peaks corresponding to the fundamental tone and the overtone form a long trajectory continuous in the time axis direction of the frame in the FFT, it is required to track the trajectory of the peak point in the processing of the musical tone waveform analysis.

【0004】図6は、FFTによる分析の結果得られた
周波数スペクトルの振幅データのピークの一例を示す図
である。この図に示す例は、ピアノのC4鍵(中央ハ)
の音(基音周波数は約261.63Hz)を分析したも
のであり、横軸は時間(単位はms)、縦軸は周波数
(単位はHz)であり、前記時間窓に対応する各フレー
ム毎に検出されたピーク点が点で表されている。また、
横方向の細線は、前記基音周波数およびその理論上の倍
音の周波数を表している。この図において、全ての点は
独立に存在しており、図において軌跡を描いている線を
見てとることができるが、この軌跡がつながっていると
いう情報はまだ得られておらず、各フレーム毎にどの周
波数でピークとなっているかという情報が得られている
だけである。なお、長い軌跡として見える部分以外はノ
イズであったり、FFTの窓関数のサイドローブが表示
されているものとみなされる。
FIG. 6 is a diagram showing an example of a peak of amplitude data of a frequency spectrum obtained as a result of analysis by FFT. The example shown in this figure is a piano C4 key (center C)
(The fundamental frequency is about 261.63 Hz), the horizontal axis is time (unit is ms), the vertical axis is frequency (unit is Hz), and each frame corresponding to the time window is The detected peak points are represented by dots. Also,
Horizontal thin lines represent the fundamental frequency and the frequency of its theoretical harmonic. In this figure, all points exist independently, and you can see the line that draws the trajectory in the figure, but the information that this trajectory is connected has not yet been obtained, and each frame Only information on which frequency is peaked for each time is obtained. It should be noted that the portion other than the portion that is viewed as a long trajectory is considered to be noise or the side lobe of the FFT window function is displayed.

【0005】このようなピーク点のデータから軌跡をな
すピーク点を抽出するために、一般に、各フレームで倍
音関係にある成分をピッキングすることが行われてい
る。すなわち、既知の基音周波数FBと、その整数倍、
2×FB、3×FB,…の周波数に最も近いピーク点を
基音あるいは倍音であると判断し、各フレーム毎に倍音
データをピックアップしていく方法がとられている。そ
して、フレーム間で基音あるいは同倍音に関して検出さ
れたピーク点同士が一つの軌跡をなすものと判定するよ
うにしている。
In order to extract peak points forming a locus from such peak point data, generally, components having harmonic relations are picked in each frame. That is, the known fundamental frequency FB and its integral multiple,
The peak point closest to the frequency of 2 × FB, 3 × FB,... Is determined to be the fundamental tone or harmonic, and harmonic data is picked up for each frame. Then, it is determined that the peak points detected for the fundamental tone or the same harmonic between the frames form one locus.

【0006】[0006]

【発明が解決しようとする課題】図7は、前記図6にお
ける基音の15msecあたりを拡大した図である。こ
の図において、ピーク点の軌跡の追跡方向が右から左へ
向かう場合に、フレームタイムAにおいてピーク点は矢
印の方向へつながるとするのが自然である。しかしなが
ら、上述した従来の方法では、例えば基音周波数(この
場合は261.63Hz)についてみてみると、フレー
ム各々で基音周波数に最も近いピーク点を選択するとい
う条件で追従が行われているため、次のような問題が生
じる。例えば、図7の右側からフレームタイムAまでの
各フレームでは基音周波数の近辺のピークは一つである
が、フレームタイムAの次のフレームタイムA−1にお
いて、ピーク点bがピーク点aよりも基音周波数に近く
発生している。このため、フレームタイムAからA−1
になるとき軌跡がピーク点bへつながってしまい、ピー
ク点の軌跡をうまく追跡できないことがある。
FIG. 7 is an enlarged view of the fundamental tone of FIG. 6 around 15 msec. In this figure, when the tracking direction of the locus of the peak point goes from right to left, it is natural that the peak point is connected in the direction of the arrow at the frame time A. However, in the above-described conventional method, for example, when looking at the fundamental frequency (in this case, 261.63 Hz), the following is performed under the condition that the peak point closest to the fundamental frequency is selected in each frame. The following problems occur. For example, in each frame from the right side of FIG. 7 to the frame time A, there is one peak near the fundamental frequency, but at the frame time A-1 following the frame time A, the peak point b is smaller than the peak point a. Occurs near the fundamental frequency. Therefore, frame times A to A-1
, The locus may be connected to the peak point b, and the locus of the peak point may not be tracked well.

【0007】本発明は、分析対象楽音波形の時系列なフ
レームにおける各周波数スペクトルのピーク点につい
て、フレームの時間軸方向に連続するピーク点の軌跡を
高い確度で追跡できるようにすることを課題とする。
SUMMARY OF THE INVENTION It is an object of the present invention to enable a locus of a peak point of each frequency spectrum in a time series frame of a musical tone waveform to be analyzed to be tracked with high accuracy in a locus of a peak point continuous in the time axis direction of the frame. I do.

【0008】[0008]

【課題を解決するための手段】本発明の請求項1の楽音
波形分析装置は、分析対象楽音波形に対してフーリエ変
換処理を施して時系列なフレームの周波数スペクトルを
求め、各フレームにおける分析データの振幅データのピ
ーク点を検出し、前記フレームの時間軸方向に連続する
前記ピーク点の軌跡を追跡する楽音波形分析装置におい
て、前記フレームの時間軸方向に連続するピーク点とし
て決定された複数のピーク点の分析データを記憶する記
憶手段と、該記憶手段に記憶された既に決定された連続
する複数のピーク点の分析データに基づいて次のピーク
点の分析データを予測する予測手段と、該予測手段で予
測したピーク点の分析データに基づいて、前記検出され
たピーク点の中から次の連続するピーク点を決定するピ
ーク軌跡決定手段と、を備えたことを特徴とする。
According to a first aspect of the present invention, there is provided a musical tone waveform analyzer for performing a Fourier transform process on a musical tone waveform to be analyzed to obtain a frequency spectrum of a time-series frame, and analyzing data in each frame. In the musical tone waveform analyzer that detects the peak point of the amplitude data of the frame and tracks the trajectory of the peak point continuous in the time axis direction of the frame, a plurality of peak points determined as the peak point continuous in the time axis direction of the frame Storage means for storing the analysis data of the peak point; prediction means for predicting the analysis data of the next peak point based on the analysis data of a plurality of continuous peak points already determined stored in the storage means; Peak trajectory determining means for determining the next continuous peak point from the detected peak points based on the analysis data of the peak point predicted by the predicting means , Characterized by comprising a.

【0009】上記のように構成された請求項1の楽音波
形分析装置によれば、記憶手段には、フレームの時間軸
方向に連続するピーク点として決定された複数のピーク
点の分析データ(例えば周波数データ)が記憶される。
そして、予測手段は、記憶手段に記憶された既に決定さ
れた連続する複数のピーク点の分析データに基づいて次
のピーク点の分析データを予測し、ピーク軌跡決定手段
は、この予測したピーク点の分析データに基づいて、前
記検出されたピーク点の中から次の連続するピーク点を
決定するので、新たに軌跡となるピーク点の決定に、既
に決定された連続するピーク点の分析データが反映さ
れ、ピーク点の軌跡を高い確度で追跡できる。
According to the musical tone waveform analyzer of the first aspect, the storage means stores analysis data of a plurality of peak points determined as continuous peak points in the time axis direction of the frame (for example, Frequency data) is stored.
The predicting means predicts the analysis data of the next peak point based on the analysis data of the plurality of continuous peak points already determined stored in the storage means, and the peak trajectory determining means calculates the predicted peak point. The next continuous peak point is determined from the detected peak points based on the analysis data of the above, so that the analysis data of the already determined continuous peak point is used for determining the peak point to be a new trajectory. Reflected, the trajectory of the peak point can be tracked with high accuracy.

【0010】本発明の請求項2の楽音波形分析方法は、
分析対象楽音波形に対してフーリエ変換処理を施して時
系列なフレームの周波数スペクトルを求め、各フレーム
における分析データの振幅データのピーク点を検出し、
前記フレームの時間軸方向に連続する前記ピーク点の軌
跡を追跡する楽音波形分析方法において、前記フレーム
の時間軸方向に連続するピーク点の軌跡を追跡する際
に、少なくとも複数の連続するピーク点を決定した後、
既に決定された連続する複数のピーク点の分析データに
基づいて次のピーク点の分析データを予測し、該予測し
たピーク点の分析データに基づいて、前記検出されたピ
ーク点の中から次の連続するピーク点を決定して、ピー
ク点の軌跡を追跡するようにしたことを特徴とする。
[0010] According to a second aspect of the present invention, there is provided a musical tone waveform analyzing method.
Fourier transform processing is performed on the musical tone waveform to be analyzed to obtain a frequency spectrum of a time-series frame, and a peak point of amplitude data of analysis data in each frame is detected.
In the musical tone waveform analysis method for tracking the trajectory of the peak point continuous in the time axis direction of the frame, when tracking the trajectory of the peak point continuous in the time axis direction of the frame, at least a plurality of continuous peak points After deciding,
Predict the analysis data of the next peak point based on the analysis data of a plurality of consecutive peak points that have already been determined, and, based on the analysis data of the predicted peak point, select the next one from among the detected peak points. A continuous peak point is determined, and the locus of the peak point is tracked.

【0011】上記のように構成された請求項2の楽音波
形分析方法によれば、請求項1と同様に、新たに軌跡と
なるピーク点の決定に、既に決定された連続するピーク
点の分析データが反映されるので、ピーク点の軌跡を高
い確度で追跡できる。
According to the musical tone waveform analysis method of the second aspect configured as described above, in the same manner as in the first aspect, the determination of the peak point to be a new trajectory is performed by analyzing the already determined continuous peak point. Since the data is reflected, the locus of the peak point can be tracked with high accuracy.

【0012】本発明の請求項3の記録媒体は、分析対象
楽音波形に対してフーリエ変換処理を施して時系列なフ
レームの周波数スペクトルを求め、各フレームにおける
分析データの振幅データのピーク点を検出し、前記フレ
ームの時間軸方向に連続する前記ピーク点の軌跡を追跡
する処理をコンピュータで実行するための楽音波形分析
プログラムを記録した記録媒体であって、前記フレーム
の時間軸方向に連続するピーク点の軌跡を追跡する際
に、少なくとも複数の連続するピーク点を決定した後、
既に決定された連続する複数のピーク点の分析データに
基づいて次のピーク点の分析データを予測するステップ
と、前記予測したピーク点の分析データに基づいて、前
記検出されたピーク点の中から次の連続するピーク点を
決定するステップと、をコンピュータで実行する楽音波
形分析プログラムを記録したものであり、この請求項3
の記録媒体に記録された楽音波形分析プログラムの実行
によれば、請求項1および2と同様な作用効果が得られ
る。
According to the third aspect of the present invention, a tone waveform to be analyzed is subjected to Fourier transform processing to obtain a frequency spectrum of a time-series frame, and a peak point of amplitude data of analysis data in each frame is detected. And a recording medium storing a tone waveform analysis program for executing, by a computer, a process of tracking the trajectory of the peak point continuous in the time axis direction of the frame, wherein the peak is continuous in the time axis direction of the frame. When tracking the trajectory of a point, after determining at least multiple consecutive peak points,
A step of predicting the analysis data of the next peak point based on the analysis data of a plurality of continuous peak points already determined; and, based on the analysis data of the predicted peak point, from among the detected peak points. And a step of determining a next continuous peak point.
According to the execution of the musical tone waveform analysis program recorded on the recording medium, the same operation and effect as those of the first and second aspects can be obtained.

【0013】[0013]

【発明の実施の形態】図1は本発明の一実施の形態の楽
音波形分析装置のブロック図であり、CPU1を備えた
パーソナルコンピュータで構成した場合を示している。
プログラムメモリ2はハードディスク装置やCD−RO
M装置あるいはその他の外部記憶装置であり、後述説明
する楽音波形分析プログラムが記憶されている。また、
データメモリ3はRAM等であり、分析対象となる楽音
波形データや分析結果等が記憶される。また、入力装置
4および演奏操作子5はキーボード等であり、ディスプ
レイ6はCRTあるいは液晶表示器等である。楽音合成
部7は分析結果に基づいて楽音を合成する各種LSIチ
ップを搭載した音源ボードあるいは音源装置等である。
さらに、ネットワークインターフェース8はMIDI、
LAN、電話回線等の各種ネットワーク9に接続するイ
ンターフェースである。
DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a block diagram of a musical tone waveform analyzer according to an embodiment of the present invention, showing a case where the personal computer having a CPU 1 is used.
The program memory 2 is a hard disk drive or a CD-RO
This is an M device or other external storage device, and stores a tone waveform analysis program described later. Also,
The data memory 3 is a RAM or the like, and stores tone waveform data to be analyzed, analysis results, and the like. The input device 4 and the performance operator 5 are a keyboard and the like, and the display 6 is a CRT or a liquid crystal display. The tone synthesizer 7 is a tone generator board or tone generator equipped with various LSI chips for synthesizing a tone based on the analysis result.
Further, the network interface 8 is MIDI,
An interface for connecting to various networks 9 such as a LAN and a telephone line.

【0014】CPU1はプログラムメモリ2の例えばハ
ードディスク装置に格納されている波形分析プログラム
に基づいて、データメモリ3の指定された楽音波形デー
タについて後述説明する波形分析処理を行い、フーリエ
解析処理の各フレームにおける周波数スペクトルのピー
ク点を検出する。そして、フレーム間で軌跡をなすピー
ク点を抽出し、この軌跡をなす各フレームにおけるピー
ク点の分析データを分析結果として得る。
The CPU 1 performs a waveform analysis process, which will be described later, on the designated tone waveform data in the data memory 3 based on a waveform analysis program stored in, for example, a hard disk device of the program memory 2, and performs each frame of the Fourier analysis process. At the peak point of the frequency spectrum. Then, a peak point forming a locus between frames is extracted, and analysis data of the peak point in each frame forming the locus is obtained as an analysis result.

【0015】なお、CPU1は、後述説明する波形分析
の結果得られたピーク点の軌跡に基づき、各フレーム毎
に、軌跡をなすピーク点の分析データである周波数デー
タ、振幅データおよび位相データをそのフレームタイム
に合わせて楽音合成部7に出力することにより、楽音合
成部7でフーリエ合成を行う。また、元波形データと上
記フーリエ合成した波形データとの差分を残差波形デー
タとして求める。この残差波形データとフーリエ合成し
た波形データは楽音合成部7で再合成され、ディジタル
・アナログ変換されて楽音信号として発生される。ま
た、楽音合成部7に出力される上記分析データや残差波
形データをモディファイすることにより所望の波形デー
タが得られる。
The CPU 1 converts frequency data, amplitude data, and phase data, which are analysis data of the peak points forming the locus, for each frame based on the locus of the peak points obtained as a result of the waveform analysis described later. By outputting to the tone synthesizing unit 7 in accordance with the frame time, the tone synthesizing unit 7 performs Fourier synthesis. Further, a difference between the original waveform data and the Fourier-combined waveform data is obtained as residual waveform data. The waveform data obtained by performing Fourier synthesis with the residual waveform data is re-synthesized by the tone synthesizer 7, converted from digital to analog, and generated as a tone signal. In addition, desired waveform data can be obtained by modifying the analysis data and the residual waveform data output to the tone synthesizer 7.

【0016】図3は実施形態におけるCPU1が実行す
る波形分析処理のフローチャートであり、同図に基づい
て実施形態における波形分析処理の動作を説明する。図
5は図6と同じピアノのC4鍵の音の時間波形の一例を
示す図であり、この波形を分析対象としてピーク追跡を
行う場合について説明する。この時間波形の波形データ
は楽音波形の振幅を例えば44.1kHzのサンプリン
グ周波数でサンプリングし量子化した時系列なサンプリ
ングデータであり、データメモリ3に格納されている。
FIG. 3 is a flowchart of a waveform analysis process executed by the CPU 1 in the embodiment. The operation of the waveform analysis process in the embodiment will be described with reference to FIG. FIG. 5 is a diagram showing an example of the time waveform of the sound of the C4 key of the same piano as that of FIG. The waveform data of this time waveform is time-series sampling data obtained by sampling and quantizing the amplitude of the musical tone waveform at, for example, a sampling frequency of 44.1 kHz, and is stored in the data memory 3.

【0017】波形分析処理が開始されると、先ず、ステ
ップS1において分析対象音波形のフレーム分析を行
う。このフレーム分析の処理は、まず、フーリエ解析処
理を行うために、分析範囲、窓サイズ、FFTサイズ、
窓関数を時間軸に沿って動かすHOPサイズの設定など
初期設定を行う。一般に、FFTの窓サイズは波形の基
本周期の整数倍とするのが適切であり、例えば、8倍と
する。図5に示したC4鍵の音は基本周波数が261.
63Hzであり、その1周期に含まれるサンプリングポ
イント数はサンプリング周波数が44.1kHzである
ので168.6点である。したがって、窓サイズは、こ
の8倍の1348点(小数点以下四捨五入)とする。
When the waveform analysis processing is started, first, in step S1, a frame analysis of a sound waveform to be analyzed is performed. In the frame analysis process, first, in order to perform a Fourier analysis process, an analysis range, a window size, an FFT size,
Initial settings such as setting the HOP size for moving the window function along the time axis are performed. Generally, it is appropriate that the FFT window size be an integral multiple of the fundamental period of the waveform, for example, eight times. The sound of the C4 key shown in FIG.
63 Hz, and the number of sampling points included in one cycle is 168.6 points because the sampling frequency is 44.1 kHz. Therefore, the window size is set to 1348 points (rounded to the decimal point), which is eight times this.

【0018】さらに、FFTサイズは2のベキ数でなけ
ればならず、このFFTサイズは大きければ大きいほど
周波数分解能は向上する。しかし、あまり大きすぎても
計算時間がかかってしまうため、窓サイズを超える最小
の2のベキ数を選ぶこととし、2048点とする。さら
に、HOPサイズは基本周期の1/8とし、21点とす
る。そして、これらの条件により、図5の波形データに
対して窓関数を時間軸上で移動して切り出した各フレー
ムにおいてフーリエ解析処理を施し、時系列な各フレー
ム毎に周波数スペクトルの分析データを得る。この周波
数スペクトルの分析データは、周波数軸上でのデータと
しての周波数データ、振幅データおよび位相データであ
る。
Further, the FFT size must be a power of 2, and the larger the FFT size, the better the frequency resolution. However, if it is too large, it takes a long calculation time. Therefore, the minimum power number of 2 exceeding the window size is selected, and the number is set to 2048 points. Further, the HOP size is set to 1/8 of the basic period and 21 points. Under these conditions, a window function is moved on the time axis with respect to the waveform data of FIG. 5 to perform a Fourier analysis process on each of the extracted frames, thereby obtaining frequency spectrum analysis data for each time-series frame. . The analysis data of the frequency spectrum is frequency data, amplitude data, and phase data as data on the frequency axis.

【0019】次に、ステップS2で、周波数スペクトル
における各フレームの分析データの振幅データのピーク
を抽出して例えば前掲の図6のような線スペクトル成分
(1フレームの線スペクトルは縦軸上に離散する点で構
成される。)を得る。なお、この図6では各ピーク点に
対応する周波数データ(縦軸の値)のみが示されている
が、各ピーク点に対応する振幅データおよび位相データ
も同時にデータメモリ3に記憶される。
Next, in step S2, the peak of the amplitude data of the analysis data of each frame in the frequency spectrum is extracted and, for example, a line spectrum component as shown in FIG. Which consists of the following.) Although FIG. 6 shows only the frequency data (vertical value) corresponding to each peak point, the amplitude data and the phase data corresponding to each peak point are also stored in the data memory 3 at the same time.

【0020】次に、ステップS3で、ピーク追跡の基点
となる基点フレームを決定する基点フレームサーチ処理
を行う。この基点フレームサーチ処理では、図5の時間
波形のエンベロープが最大となる時点(以下、アタック
マックスポイント(Attack Max Point)という)の検出
を行う。これは、振幅レベルが最大となるアタックマッ
クスポイントでは、すべての追従が必要なピーク点が出
揃っている可能性が大きいためである。図5の時間波形
では、アタックマックスポイントは、42.9msに見
つけることができ、サンプリング周波数が44.1kH
zであるので42.9msは1892点目と求まる。そ
こで、フレームの中心がこのアタックマックスポイント
(1892点目)に最も近くなるようなフレームを検出
し、それを第0フレームとしてピーク追跡の追跡開始の
基点フレームとする。そして、第0フレームから時間的
に後(未来)のフレームに向けてピーク追跡を行い、分
析範囲上限に達すると、第0フレームから時間的に前
(過去)のフレームに向けて分析範囲下限に達するまで
ピーク追跡を行う。これにより、追従が必要なピークを
もらすことなく検出することが可能となる。
Next, in step S3, a base frame search process for determining a base frame serving as a base point for peak tracking is performed. In this base point frame search processing, a point in time at which the envelope of the time waveform in FIG. 5 becomes maximum (hereinafter, referred to as an attack max point) is detected. This is because there is a high possibility that all of the peak points that need to be followed are at the attack max point where the amplitude level is the maximum. In the time waveform of FIG. 5, the attack max point can be found at 42.9 ms and the sampling frequency is 44.1 kHz.
Since it is z, 42.9 ms is obtained as the 1892th point. Therefore, a frame whose center is closest to the attack max point (1892th point) is detected, and the detected frame is set as the 0th frame, and is set as the base frame of the peak tracking start. Then, peak tracking is performed toward a frame that is later (future) in time from the 0th frame, and when the upper limit of the analysis range is reached, the lower limit of the analysis range is shifted from the 0th frame to a frame that is earlier (past) in time. Perform peak tracking until reaching. As a result, it is possible to perform detection without causing a peak that needs to be followed.

【0021】図4は第0フレームでのピーク点の検出結
果を示す図であり、同図に縦線方向に並んで、ピーク点
PK#0#1、PK#0#2、PK#0#3、…、PK#0#9が検出されてい
る。ここで、この実施形態では、ピーク追跡を行う際に
軌跡につながる次のフレームのピーク点を予測するため
の分析データとして周波数データを用いるようにしてい
る。そこで、データメモリ3に記憶されている各ピーク
点の周波数データを以下のように表記する。第kフレー
ムの低周波数側から数えてm番目のピーク点の周波数デ
ータをPK#k#mで表記する。したがって、第kフレームで
見つかったピーク点の個数をmax(k)とすると、第kフレ
ームのすべてのピーク点の周波数データは、PK#k#1、PK
#k#2、PK#k#3、…、PK#k#max(k) で表記されることにな
る。なお、上記周波数データの表記は対応するピーク点
を示すためにも適宜用いる。また、第0フレームから時
間的に後のフレームは、順に、第1フレーム、第2フレ
ーム、…とし、第0フレームから時間的に前のフレーム
は、順に、第−1フレーム、第−2フレーム、…とす
る。
FIG. 4 is a diagram showing the detection results of the peak points in the 0th frame. In FIG.
PK # 0 # 1, PK # 0 # 2, PK # 0 # 3, ..., PK # 0 # 9 are detected. Here, in this embodiment, when performing peak tracking, frequency data is used as analysis data for predicting a peak point of a next frame leading to a trajectory. Therefore, the frequency data of each peak point stored in the data memory 3 is described as follows. The frequency data of the m-th peak point counted from the low frequency side of the k-th frame is represented by PK # k # m. Therefore, assuming that the number of peak points found in the k-th frame is max (k), the frequency data of all the peak points in the k-th frame is PK # k # 1, PK #
# k # 2, PK # k # 3,..., PK # k # max (k). Note that the notation of the frequency data is appropriately used to indicate a corresponding peak point. Also, frames temporally subsequent to the 0th frame are referred to as a first frame, a second frame,..., And frames temporally preceding the 0th frame are referred to as a −1st frame, a −2nd frame, respectively. , ...

【0022】ピーク追跡では、第0フレームのPK#0#1、
PK#0#2、…、PK#0#max(0) の各ピーク点に対応して一般
に複数の軌跡が現れるので、各フレーム時間においてこ
の複数の軌跡の追跡を行うが、各軌跡はそれぞれ独立で
あり各軌跡毎に同じ処理を行うので、以後、主に1つの
軌跡について説明する。そこで、任意の1つの軌跡につ
いてピーク追跡で得られた第kフレームのあるピーク点
とそれに連なって軌跡をなす第k+1フレーム、第k+
2フレーム、…のピーク点の周波数データを、PK#k#M
(k) 、PK#k+1#M(k+1) 、PK#k+2#M(k+2) 、…のように表
記する。すなわち、M(k)、M(k+1)、M(k+2)等は、その軌
跡を構成するピーク点の各フレーム(k、k+1、k+
2)における低周波数側から数えたピーク点(抽出され
たピーク点)の番号であり、ピーク追跡の結果得られる
値である。したがって、軌跡を構成するピーク点は、例
えばPK#k#1、PK#k+1#1、PK#k+2#2、…(第kフレームの
第1番目のピーク点→第k+1フレームの第1番目のピ
ーク点→第k+2フレームの第2番目のピーク点)のよ
うに、ピーク点の番号が異なる可能性もある。
In peak tracking, PK # 0 # 1,
Generally, a plurality of trajectories appear corresponding to the respective peak points of PK # 0 # 2,..., PK # 0 # max (0), and the trajectories are tracked at each frame time. Since they are independent and perform the same processing for each trajectory, one trajectory will be mainly described below. Therefore, a certain peak point of the k-th frame obtained by the peak tracking for any one trajectory and the (k + 1) -th frame and the (k +)-th frame
The frequency data at the peak point of two frames,.
(k), PK # k + 1 # M (k + 1), PK # k + 2 # M (k + 2),... That is, M (k), M (k + 1), M (k + 2), etc., are the respective frames (k, k + 1, k +
It is the number of the peak point (extracted peak point) counted from the low frequency side in 2), and is a value obtained as a result of peak tracking. Therefore, the peak points constituting the trajectory are, for example, PK # k # 1, PK # k + 1 # 1, PK # k + 2 # 2,... (The first peak point of the k-th frame → the k + 1-th frame) (The first peak point → the second peak point of the (k + 2) th frame), the number of the peak point may be different.

【0023】次に、ステップS4でフレーム番号を示す
インデックスiを“0”とし、ステップS7での「対象
フレーム範囲処理終了」の判定と、ステップS8でのイ
ンデックスiのインクリメントにより、後述説明するス
テップS5およびステップS6でのピーク点の抽出の処
理を、第0フレームから時間的に後の分析対象範囲内の
フレームについて繰り返す。
Next, in step S4, the index i indicating the frame number is set to "0", and in step S7, "end of target frame range processing" is determined, and in step S8, the index i is incremented. The processing of peak point extraction in S5 and step S6 is repeated for frames within the analysis target range temporally after the 0th frame.

【0024】ステップS5およびステップS6の処理
は、各軌跡の各々について、第i+1フレームの各ピー
ク点PK#i+1#1、PK#i+1#2、…、PK#i+1#max(i+1) の中か
ら、第iフレームまでの軌跡につながるピーク点を抽出
する処理である。先ず、ステップS5で、各々の軌跡に
ついて、同じ軌跡をなす第iフレームと過去r個(予め
設定された個数)のフレームのピーク点の周波数データ
PK#i#M(i)、PK#i-1#M(i-1) 、PK#i-2#M(i-2) 、…、PK
#i-r#M(i-r) (「軌跡データ」ともいう。)から、次式
(1)により第i+1フレームのピーク点位置、すなわ
ち、現在までに軌跡として採用された周波数データ
(…、PK#i-1#M(i-1) 、PK#i#M(i) )につながる周波数
データPK′#i+1#M(i+1)(以後、「予測周波数データ」
という。)を予測する予測演算を行う。
The processing of step S5 and step S6 is performed for each peak point PK # i + 1 # 1, PK # i + 1 # 2,..., PK # i + 1 # max of the (i + 1) th frame for each locus. This is a process of extracting a peak point leading to the trajectory up to the i-th frame from (i + 1). First, in step S5, for each trajectory, the frequency data of the peak point of the i-th frame and the past r (preset number) frames forming the same trajectory
PK # i # M (i), PK # i-1 # M (i-1), PK # i-2 # M (i-2),…, PK
From # ir # M (ir) (also referred to as “trajectory data”), the peak point position of the (i + 1) th frame, that is, frequency data (... -1 # M (i-1), frequency data PK ′ # i + 1 # M (i + 1) connected to PK # i # M (i) (hereinafter “predicted frequency data”
That. ) Is performed.

【0025】 PK′#i+1#M(i+1)=pred[corr[PK#i#M(i),PK#i-1#M(i-1),PK#i-2#M(i-2),…,PK#i -r#M(i-r)]] …(1) ここで、corr[]はPK#i#M(i),…,PK#i-r#M(i-r)の集合を
意味し、pred[]は、集合corr[]の要素を変数とする予測
関数である。この予測関数としては、例えば、線形結合
式f=A0×PK#i#M(i)+A1×PK#i-1#M(i-1)+…+Ar×PK#i-
r#M(i-r) (A0,A1,…,Ar は係数)や、その他の多項式
近似、最小二乗法などである。
PK ′ # i + 1 # M (i + 1) = pred [corr [PK # i # M (i), PK # i−1 # M (i−1), PK # i−2 # M (i-2), ..., PK # i -r # M (ir)]] ... (1) where corr [] is PK # i # M (i), ..., PK # ir # M (ir) And pred [] is a prediction function using the elements of the set corr [] as variables. As the prediction function, for example, a linear combination formula f = A0 × PK # i # M (i) + A1 × PK # i-1 # M (i−1) +... + Ar × PK # i−
r # M (ir) (where A0, A1,..., Ar are coefficients), other polynomial approximations, and the least squares method.

【0026】なお、上記ステップS5の処理で、最初の
第0フレームから第r−1フレームの各処理において
は、過去r個のフレームのピーク点の周波数データ PK#
i#M(i)、PK#i-1#M(i-1) 、PK#i-2#M(i-2) 、…、PK#i-r
#M(i-r) が少なくとも全ては検出されていないので、そ
の検出されていない周波数データは、例えば第0フレー
ムの周波数データと同じデータとみなして計算する。
In the processing of step S5, in each processing from the first 0th frame to the (r-1) th frame, the frequency data PK #
i # M (i), PK # i-1 # M (i-1), PK # i-2 # M (i-2),…, PK # ir
Since at least all of #M (ir) has not been detected, the frequency data that has not been detected is calculated assuming, for example, the same data as the frequency data of the 0th frame.

【0027】次に、ステップS6では、予測周波数デー
タPK′#i+1#M(i+1)に基づき、第i+1フレームの各ピ
ーク点PK#i+1#1、PK#i+1#2、…、PK#i+1#max(i+1) の中
から、軌跡通過点として最適なピーク点を抽出する。な
お、このピーク点の抽出処理は、例えば、予測周波数デ
ータPK′#i+1#M(i+1)に最も近い周波数データを有する
ピーク点を選び、そのピーク点を軌跡のピーク点として
対応付けてデータメモリ3に記憶する。このピーク点の
抽出処理も各軌跡について行う。そして、ステップS7
に進む。
Next, in step S6, based on the predicted frequency data PK '# i + 1 # M (i + 1), each peak point PK # i + 1 # 1, PK # i + 1 # of the (i + 1) th frame. 2,..., PK # i + 1 # max (i + 1), an optimum peak point is extracted as a locus passing point. In this peak point extraction process, for example, a peak point having frequency data closest to the predicted frequency data PK ′ # i + 1 # M (i + 1) is selected, and the peak point is used as a locus peak point. And stored in the data memory 3. This peak point extraction process is also performed for each trajectory. Then, step S7
Proceed to.

【0028】図2(A) は、予測周波数データと過去r個
のピーク点との関係を概念的に示す図であり、第iフレ
ームの処理において、この第iフレームで軌跡をなすピ
ーク点の軌跡データ(周波数データ)と過去3つ(この
例ではr=3)のピーク点の軌跡データ(周波数デー
タ)から、前記予測演算により第i+1フレームの予測
周波数データ(周波数データ)が得られ、第i+1フレ
ームにおいて、この予測周波数データに最も近い周波数
データが軌跡をなすピーク点の周波数データとして抽出
される。
FIG. 2A is a diagram conceptually showing a relationship between the predicted frequency data and the past r peak points. In the processing of the i-th frame, the peak points forming the trajectory in the i-th frame are shown. From the trajectory data (frequency data) and the trajectory data (frequency data) of the past three (r = 3 in this example) peak points, predicted frequency data (frequency data) of the (i + 1) th frame is obtained by the prediction operation. In the (i + 1) th frame, frequency data closest to the predicted frequency data is extracted as frequency data of a peak point forming a locus.

【0029】以上のステップS5およびステップS6の
処理を、第0フレームから時間的に後の分析対象範囲内
の各フレームについて終了すると、ステップS9で分析
データを記憶する。すなわち、このステップS9では、
ステップS6で軌跡をなすものとして抽出され、各軌跡
に対応付けられたピーク点の周波数データ、振幅デー
タ、位相データを軌跡を示すデータとともにデータメモ
リ3に記憶する。
When the processing in steps S5 and S6 has been completed for each frame within the analysis range temporally subsequent to the 0th frame, the analysis data is stored in step S9. That is, in this step S9,
In step S6, the frequency data, the amplitude data, and the phase data of the peak points which are extracted as forming the trajectory and are associated with each trajectory are stored in the data memory 3 together with the data indicating the trajectory.

【0030】次に、ステップS10でフレーム番号を示
すインデックスiを“0”とし、ステップS13での
「対象フレーム範囲処理終了」の判定と、ステップS1
4でのインデックスiのデクリメントにより、ステップ
S11およびステップS12でのピーク点の抽出の処理
を、第0フレームから時間的に前(過去)の分析対象範
囲内のフレームについて繰り返す。ステップS11およ
びステップS12の処理は、第iフレームから時間的に
前方向にピーク追跡を行う点を除いては、ステップS
5,S6と同様の処理である。すなわち、先ず、ステッ
プS11で、各々の軌跡について、同じ軌跡をなす第i
フレームとr個のフレーム(第iフレームより時間的に
後のr個のフレーム)のピーク点の周波数データから、
次式(3)により第i−1フレームのピーク点を予測す
る予測演算を行う。
Next, the index i indicating the frame number is set to "0" in step S10, the "end of target frame range processing" is determined in step S13, and step S1 is performed.
By decrementing the index i in step 4, the peak point extraction processing in steps S11 and S12 is repeated for frames within the analysis target range that is temporally previous (past) from the 0th frame. The processing of steps S11 and S12 is the same as that of step S11 except that the peak tracking is performed in the temporally forward direction from the i-th frame.
5, S6. That is, first, in step S11, the i-th trajectory forming the same trajectory
From the frequency data of the peak points of the frame and r frames (r frames temporally later than the i-th frame),
A prediction operation for predicting the peak point of the (i-1) th frame is performed by the following equation (3).

【0031】 PK′#i-1#M(i-1)=pred[corr[PK#i#M(i),PK#i+1#M(i+1),PK#i+2#M(i+2),…,PK#i +r#M(i+r)]] …(3) なお、予測関数pred[]は、前記同様に、例えば、線形結
合式f=A0×PK#i#M(i)+A1×PK#i+1#M(i+1)+…+Ar×PK#
i+r#M(i+r) や、その他の多項式近似、最小二乗法など
である。
PK ′ # i-1 # M (i−1) = pred [corr [PK # i # M (i), PK # i + 1 # M (i + 1), PK # i + 2 # M (i + 2),..., PK # i + r # M (i + r)]] (3) The prediction function pred [] is, for example, a linear combination expression f = A0 × PK # i # M (i) + A1 × PK # i + 1 # M (i + 1) +… + Ar × PK #
i + r # M (i + r), other polynomial approximations, least squares, etc.

【0032】また、ステップS12では、予測周波数デ
ータPK′#i-1#M(i-1)に基づき、第i−1フレームの各
ピーク点PK#i-1#1、PK#i-1#2、…PK#i-1#max(i-1) の中
から、例えば、予測周波数データPK′#i+1#M(i+1)に最
も近い周波数データを有するピーク点を最適なピーク点
として選んで軌跡通過点とし、その軌跡のピーク点とし
て対応付けてデータメモリ3に記憶する。このピーク点
の抽出処理も各軌跡について行い、ステップS13に進
む。
In step S12, based on the predicted frequency data PK '# i-1 # M (i-1), the peak points PK # i-1 # 1 and PK # i-1 of the (i-1) th frame are used. .., PK # i-1 # max (i-1), for example, a peak point having frequency data closest to predicted frequency data PK ′ # i + 1 # M (i + 1) A locus passing point is selected as a peak point and stored in the data memory 3 in association with the locus peak point. This peak point extraction process is also performed for each locus, and the process proceeds to step S13.

【0033】以上のステップS11およびステップS1
2の処理を、第0フレームから時間的に前(過去)の分
析対象範囲内の各フレームについて終了すると、ステッ
プ15で、各軌跡に対応付けられたピーク点の周波数デ
ータ、振幅データ、位相データを軌跡を示すデータとと
もにデータメモリ3に記憶する分析データ記憶処理を行
い、処理を終了する。
The above steps S11 and S1
When the processing of step 2 is completed for each frame within the analysis range temporally before (past) from the 0th frame, in step 15, the frequency data, the amplitude data, and the phase data of the peak point associated with each locus Is stored in the data memory 3 together with the data indicating the trajectory, and the process ends.

【0034】以上のように、既にピーク軌跡として抽出
されたピーク点の周波数データに基づいて、次のフレー
ムにおける軌跡を予測してピーク点を抽出するので、自
然につながる軌跡を追跡できるようになる。
As described above, the trajectory in the next frame is predicted and the peak point is extracted based on the frequency data of the peak point already extracted as the peak trajectory. .

【0035】以上の実施形態では、軌跡の次のピーク点
を予測するための分析データとして周波数データを用い
る場合について説明したが、ピーク点の予測には振幅デ
ータや位相データの分析データを用いるようにしてもよ
い。例えば、図2(B) に示したように、軌跡をなす振幅
データから次の予測振幅データを求めることにより、フ
レームと振幅の空間においてピークを追跡するようにし
てもよい。また、図2(C) に示したように、軌跡をなす
位相データから次の予測位相データを求めることによ
り、フレームと位相の空間においてピークを追跡するよ
うにしてもよい。
In the above embodiment, the case where frequency data is used as analysis data for predicting the next peak point of the trajectory has been described. However, analysis of amplitude data and phase data is used for prediction of peak points. It may be. For example, as shown in FIG. 2B, the peak may be tracked in the space of the frame and the amplitude by obtaining the next predicted amplitude data from the amplitude data forming the trajectory. Alternatively, as shown in FIG. 2C, the peak may be tracked in the space between the frame and the phase by obtaining the next predicted phase data from the phase data forming the trajectory.

【0036】また、周波数データ、振幅データおよび位
相データのそれぞれについて予測演算を行い、周波数デ
ータ、振幅データおよび位相データの複数のデータに基
づく所定の条件に応じて、最適なピーク点を抽出するよ
うにしてもよい。
Further, a prediction operation is performed for each of the frequency data, the amplitude data and the phase data, and an optimum peak point is extracted according to a predetermined condition based on a plurality of frequency data, amplitude data and phase data. It may be.

【0037】また、予測演算を行うときに用いる分析デ
ータ(PK#i#M(i),PK#i-1#M(i-1),PK#i-2#M(i-2),…,PK#
i-r#M(i-r)等)は、ピーク検出において実際に検出され
たピーク点の分析データを用いるが、ピーク追跡処理の
結果として楽音合成等に用いる分析データは、実際に検
出されたピーク点の分析データでもよいし、各フレーム
における予測した分析データであってもよい。
The analysis data (PK # i # M (i), PK # i-1 # M (i-1), PK # i-2 # M (i-2), …, PK #
ir # M (ir) etc.) uses the analysis data of the peak points actually detected in the peak detection, but the analysis data used for the musical tone synthesis etc. as a result of the peak tracking processing is the analysis data of the actually detected peak points. The analysis data may be used, or the analysis data predicted in each frame may be used.

【0038】なお、実施形態では波形分析後に波形の合
成、楽音の発生等を行うようにしているが、本発明は波
形分析に関するものであり、波形の合成や楽音の発生等
の処理の有無に限定されるものではない。また、残差波
形データの生成もしなくてもよい。
In the embodiment, the synthesis of the waveform and the generation of the tone are performed after the waveform analysis. However, the present invention relates to the analysis of the waveform. It is not limited. Further, it is not necessary to generate the residual waveform data.

【0039】また、実施形態では、楽音波形分析プログ
ラムがプログラムメモリ2に予め記憶されている場合に
ついて説明したが、これに限らず次のようにしてもよ
い。例えば、CD−ROMに楽音波形分析プログラムを
記録しておき、CD−ROM装置から楽音波形分析プロ
グラムをハードディスクにロードする。そして、CPU
システム1が、このハードディスクの楽音波形分析プロ
グラムをRAM等に展開し、このRAMのプログラムに
基づいて前記実施形態同様に楽音波形分析の動作を制御
する。これにより、プログラムメモリに楽音波形分析プ
ログラムを記憶している場合と同様の動作をCPUにさ
せることができる。このようにすると、楽音波形分析プ
ログラムの新規インストールや追加あるいはバージョン
アップ等が容易に行える。また、フロッピディスク、磁
気ディスク(MO)等に楽音波形分析プログラムを記録
しておいて、RAMあるいはハードディスクに供給する
ようにしてもよい。
In the embodiment, the case where the musical tone waveform analysis program is stored in the program memory 2 in advance has been described. For example, a tone waveform analysis program is recorded on a CD-ROM, and the tone waveform analysis program is loaded from a CD-ROM device onto a hard disk. And CPU
The system 1 develops the musical tone waveform analysis program of the hard disk in a RAM or the like, and controls the operation of the musical tone waveform analysis based on the RAM program in the same manner as in the above embodiment. This allows the CPU to perform the same operation as when the tone waveform analysis program is stored in the program memory. This makes it possible to easily install, add, or upgrade the tone waveform analysis program. Alternatively, the tone waveform analysis program may be recorded on a floppy disk, a magnetic disk (MO), or the like, and supplied to the RAM or the hard disk.

【0040】また、ネットワークインターフェース7を
利用し、楽音波形分析プログラムをダウンロードするよ
うにしてもよい。この場、例えば、LAN(ローカルエ
リアネットワーク)やインターネットあるいは電話回線
等のネットワーク9に接続し、該ネットワーク9を介し
て、サーバコンピュータから楽音波形分析プログラムの
配信を受けることにより、それをハードディスクに記録
してダウンロードが完了する。さらには、ネットワーク
を通じて楽音波形分析プログラムを実行するようにして
もよい。
The tone waveform analysis program may be downloaded using the network interface 7. At this time, for example, a connection is made to a network 9 such as a LAN (local area network), the Internet, or a telephone line, and the distribution of the musical tone waveform analysis program from the server computer via the network 9 is recorded on the hard disk. To complete the download. Further, a tone waveform analysis program may be executed through a network.

【0041】本発明は上記実施形態のようなパーソナル
コンピュータに限らず、各種電子楽器、音源装置、シー
ケンサ、エフェクタなど各種装置や、また、これらをM
IDIあるいは各種ネットワーク等の通信手段を用いて
各装置を接続するようなシステム等に、機能として、あ
るいはアプリケーションとして組み込むようにしてもよ
い。
The present invention is not limited to the personal computer as in the above embodiment, but includes various devices such as various electronic musical instruments, tone generators, sequencers, and effectors.
It may be incorporated as a function or an application in a system or the like that connects each device using communication means such as IDI or various networks.

【0042】なお、以上の実施形態で説明したような楽
音波形分析プログラムが記録された媒体、すなわちRO
M、RAM、ハードディスク、CD−ROM、光磁気デ
ィスク、DVD(デジタル多目的ディスク)あるいはネ
ットワークのサーバコンピュータなど配信先の記憶装置
は、本発明の請求項3の楽音波形分析プログラムを記録
した媒体に相当する。
The medium on which the musical tone waveform analysis program described in the above embodiment is recorded, ie, the RO
A destination storage device such as M, RAM, hard disk, CD-ROM, magneto-optical disk, DVD (digital versatile disk), or network server computer corresponds to a medium storing the tone waveform analysis program according to claim 3 of the present invention. I do.

【0043】[0043]

【発明の効果】以上説明したように、本発明の請求項1
の楽音波形分析装置または請求項2の楽音波形分析方法
または請求項3の記録媒体に記録された楽音波形分析プ
ログラムの実行によれば、新たに軌跡となるピーク点の
決定に、既に決定された連続するピーク点の分析データ
が反映され、ピーク点の軌跡を高い確度で追跡すること
ができる。
As described above, according to the first aspect of the present invention,
According to the musical tone waveform analyzer of the present invention, the musical tone waveform analyzing method of the second aspect, or the execution of the musical tone waveform analyzing program recorded on the recording medium of the third aspect, the peak point to be a new trajectory is already determined. The analysis data of the continuous peak points is reflected, and the locus of the peak points can be tracked with high accuracy.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施形態における楽音波形分析装置の
ブロック図である。
FIG. 1 is a block diagram of a musical tone waveform analyzer according to an embodiment of the present invention.

【図2】実施形態における軌跡の追跡処理を概念的に示
す図である。
FIG. 2 is a diagram conceptually illustrating a trajectory tracking process in the embodiment.

【図3】実施形態における波形分析処理のフローチャー
トである。
FIG. 3 is a flowchart of a waveform analysis process in the embodiment.

【図4】実施形態における第0フレームでのピーク点の
検出結果を示す図である。
FIG. 4 is a diagram illustrating a detection result of a peak point in a 0th frame according to the embodiment.

【図5】実施形態に係るピアノのC4鍵の音の時間波形
の一例を示す図である。
FIG. 5 is a diagram illustrating an example of a time waveform of a sound of a C4 key of the piano according to the embodiment.

【図6】実施形態に係る周波数スペクトルのピークの一
例を示す図である。
FIG. 6 is a diagram illustrating an example of a peak of a frequency spectrum according to the embodiment.

【図7】従来の問題点を説明する図である。FIG. 7 is a diagram illustrating a conventional problem.

【符号の説明】[Explanation of symbols]

1…CPU、2…プログラムメモリ、3…データメモ
リ、7…楽音合成部
DESCRIPTION OF SYMBOLS 1 ... CPU, 2 ... Program memory, 3 ... Data memory, 7 ... Tone synthesizer

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 分析対象楽音波形に対してフーリエ変換
処理を施して時系列なフレームの周波数スペクトルを求
め、各フレームにおける分析データの振幅データのピー
ク点を検出し、前記フレームの時間軸方向に連続する前
記ピーク点の軌跡を追跡する楽音波形分析装置におい
て、 前記フレームの時間軸方向に連続するピーク点として決
定された複数のピーク点の分析データを記憶する記憶手
段と、 該記憶手段に記憶された既に決定された連続する複数の
ピーク点の分析データに基づいて次のピーク点の分析デ
ータを予測する予測手段と、 該予測手段で予測したピーク点の分析データに基づい
て、前記検出されたピーク点の中から次の連続するピー
ク点を決定するピーク軌跡決定手段と、を備えたことを
特徴とする楽音波形分析装置。
1. A frequency spectrum of a time-series frame is obtained by performing a Fourier transform process on a musical tone waveform to be analyzed, a peak point of amplitude data of analysis data in each frame is detected, and the peak point is detected in a time axis direction of the frame. A musical sound waveform analyzer that tracks a trajectory of the continuous peak points, a storage unit that stores analysis data of a plurality of peak points determined as continuous peak points in a time axis direction of the frame, and a storage unit that stores the analysis data. Prediction means for predicting the analysis data of the next peak point based on the analysis data of the plurality of consecutive peak points which have been determined, and the analysis means for detecting the peak data based on the analysis data of the peak points predicted by the prediction means. And a peak locus determining means for determining a next continuous peak point from the peak points.
【請求項2】 分析対象楽音波形に対してフーリエ変換
処理を施して時系列なフレームの周波数スペクトルを求
め、各フレームにおける分析データの振幅データのピー
ク点を検出し、前記フレームの時間軸方向に連続する前
記ピーク点の軌跡を追跡する楽音波形分析方法におい
て、 前記フレームの時間軸方向に連続するピーク点の軌跡を
追跡する際に、少なくとも複数の連続するピーク点を決
定した後、既に決定された連続する複数のピーク点の分
析データに基づいて次のピーク点の分析データを予測
し、該予測したピーク点の分析データに基づいて、前記
検出されたピーク点の中から次の連続するピーク点を決
定して、ピーク点の軌跡を追跡するようにしたことを特
徴とする楽音波形分析方法。
2. A frequency spectrum of a time-series frame is obtained by performing a Fourier transform process on a musical tone waveform to be analyzed, a peak point of amplitude data of analysis data in each frame is detected, and the peak point is detected in a time axis direction of the frame. In the musical tone waveform analysis method for tracking the trajectory of the continuous peak point, when tracking the trajectory of the continuous peak point in the time axis direction of the frame, after determining at least a plurality of continuous peak points, it is already determined The analysis data of the next peak point is predicted based on the analysis data of a plurality of consecutive peak points, and the next continuous peak is detected from the detected peak points based on the analysis data of the predicted peak point. A tone waveform analysis method characterized in that a point is determined and a locus of a peak point is tracked.
【請求項3】 分析対象楽音波形に対してフーリエ変換
処理を施して時系列なフレームの周波数スペクトルを求
め、各フレームにおける分析データの振幅データのピー
ク点を検出し、前記フレームの時間軸方向に連続する前
記ピーク点の軌跡を追跡する処理をコンピュータで実行
するための楽音波形分析プログラムを記録した記録媒体
であって、 前記フレームの時間軸方向に連続するピーク点の軌跡を
追跡する際に、少なくとも複数の連続するピーク点を決
定した後、既に決定された連続する複数のピーク点の分
析データに基づいて次のピーク点の分析データを予測す
るステップと、 前記予測したピーク点の分析データに基づいて、前記検
出されたピーク点の中から次の連続するピーク点を決定
するステップと、をコンピュータで実行する楽音波形分
析プログラムを記録した記録媒体。
3. A frequency spectrum of a time-series frame is obtained by performing a Fourier transform process on a musical tone waveform to be analyzed, a peak point of amplitude data of analysis data in each frame is detected, and the peak point is detected in a time axis direction of the frame. A recording medium recording a tone waveform analysis program for executing a process of tracking the trajectory of the continuous peak point by a computer, when tracking the trajectory of a continuous peak point in the time axis direction of the frame, After determining at least a plurality of continuous peak points, a step of predicting analysis data of a next peak point based on analysis data of a plurality of continuous peak points already determined, and analyzing the analysis data of the predicted peak points. Determining the next consecutive peak point from the detected peak points based on the A recording medium recording a waveform analysis program.
JP07575999A 1999-03-19 1999-03-19 Musical sound waveform analyzer, musical sound waveform analysis method, and computer-readable recording medium recording a musical sound waveform analysis program Expired - Fee Related JP3644296B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07575999A JP3644296B2 (en) 1999-03-19 1999-03-19 Musical sound waveform analyzer, musical sound waveform analysis method, and computer-readable recording medium recording a musical sound waveform analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07575999A JP3644296B2 (en) 1999-03-19 1999-03-19 Musical sound waveform analyzer, musical sound waveform analysis method, and computer-readable recording medium recording a musical sound waveform analysis program

Publications (2)

Publication Number Publication Date
JP2000267671A true JP2000267671A (en) 2000-09-29
JP3644296B2 JP3644296B2 (en) 2005-04-27

Family

ID=13585493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07575999A Expired - Fee Related JP3644296B2 (en) 1999-03-19 1999-03-19 Musical sound waveform analyzer, musical sound waveform analysis method, and computer-readable recording medium recording a musical sound waveform analysis program

Country Status (1)

Country Link
JP (1) JP3644296B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309464A (en) * 2005-06-17 2005-11-04 Yamaha Corp Method and device to eliminate noise and program
JP2015179119A (en) * 2014-03-18 2015-10-08 Pioneer DJ株式会社 Sound processor, analysis method of sound processor and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309464A (en) * 2005-06-17 2005-11-04 Yamaha Corp Method and device to eliminate noise and program
JP2015179119A (en) * 2014-03-18 2015-10-08 Pioneer DJ株式会社 Sound processor, analysis method of sound processor and program

Also Published As

Publication number Publication date
JP3644296B2 (en) 2005-04-27

Similar Documents

Publication Publication Date Title
US7659472B2 (en) Method, apparatus, and program for assessing similarity of performance sound
Jehan et al. An audio-driven perceptually meaningful timbre synthesizer
JP2012506061A (en) Analysis method of digital music sound signal
JP3797283B2 (en) Performance sound control method and apparatus
JP3775319B2 (en) Music waveform time stretching apparatus and method
JP3279204B2 (en) Sound signal analyzer and performance information generator
JP3644296B2 (en) Musical sound waveform analyzer, musical sound waveform analysis method, and computer-readable recording medium recording a musical sound waveform analysis program
JP3534012B2 (en) Waveform analysis method
JPH11259066A (en) Musical acoustic signal separation method, device therefor and program recording medium therefor
JP3741106B2 (en) Musical sound waveform analysis method and musical sound waveform analysis synthesis method
JP5163606B2 (en) Speech analysis / synthesis apparatus and program
JP3832266B2 (en) Performance data creation method and performance data creation device
JP3521821B2 (en) Musical sound waveform analysis method and musical sound waveform analyzer
JP3767236B2 (en) Musical sound waveform analyzer, musical sound waveform analysis method, and computer-readable recording medium recording a musical sound waveform analysis program
JP3546779B2 (en) Acoustic signal analysis method
JP3733964B2 (en) Sound source waveform synthesizer using analysis results
JP4513556B2 (en) Speech analysis / synthesis apparatus and program
JP3454147B2 (en) Musical sound waveform analyzer, musical sound waveform analysis method, and computer-readable medium recording musical sound waveform analysis program
JP3433673B2 (en) Music waveform analysis method and music waveform analyzer
JP3744315B2 (en) Waveform analysis method and waveform analysis apparatus
JPH10254500A (en) Interpolated tone synthesizing method
JP3829732B2 (en) Waveform generating apparatus and method
JP3509139B2 (en) Waveform generator
US6660923B2 (en) Method for extracting the formant of a musical tone, recording medium and apparatus for extracting the formant of a musical tone
JP3743356B2 (en) Musical sound waveform spectral peak trajectory tracking method and apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050124

R150 Certificate of patent or registration of utility model

Ref document number: 3644296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees