JP2001117564A - Device and method for processing musical sound - Google Patents
Device and method for processing musical soundInfo
- Publication number
- JP2001117564A JP2001117564A JP30026799A JP30026799A JP2001117564A JP 2001117564 A JP2001117564 A JP 2001117564A JP 30026799 A JP30026799 A JP 30026799A JP 30026799 A JP30026799 A JP 30026799A JP 2001117564 A JP2001117564 A JP 2001117564A
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- tone
- processing
- frequency
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、楽音処理装置およ
び楽音処理方法に係り、特に、様々なインストゥルメン
トの特徴を合成した新しい楽器音を生成する楽音処理装
置および楽音処理方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a musical sound processing apparatus and a musical sound processing method, and more particularly to a musical sound processing apparatus and a musical sound processing method for generating a new musical instrument sound obtained by synthesizing various instrument features.
【0002】[0002]
【従来の技術】従来の楽音処理装置においては、2つの
音色を補間することによって新しい音色を生成すること
が行われている。そして、2つのスペクトル・シェイプ
を補間する技術については、エネルギー集中させた周波
数を基準にして、2つのスペクトル包絡を複数の周波数
帯域に分割し、それぞれの帯域ごとにスペクトル変換を
行う声質変換方法「特開平9−244694」、およ
び、二つの原音に対して設定されたパラメータ間の対応
する時点を抽出することにより、パラメータを2原音へ
の所望の近さの程度に応じて補間して新しいパラメータ
を作成する補間音色合成方法「特開平10−25450
0」とがある。2. Description of the Related Art In a conventional tone processing apparatus, a new tone color is generated by interpolating two tone colors. As for the technique of interpolating two spectrum shapes, a voice quality conversion method that divides two spectrum envelopes into a plurality of frequency bands on the basis of the energy-concentrated frequency and performs spectrum conversion for each band is described. By extracting corresponding time points between parameters set for two original sounds and Japanese Patent Application Laid-Open No. 9-244694, parameters are interpolated according to the degree of desired closeness to the two original sounds, and new parameters are extracted. Interpolated tone color synthesizing method for generating a
0 ".
【0003】[0003]
【発明が解決しようとする課題】ところが、3つ以上の
音色を合成する技術がないため、例えば、ギター、ピア
ノおよびフルートの音色からなる発音情報を補間しよう
としても、ギターとピアノ、ピアノとフルート、あるい
は、ギターとフルートのように2つの音色を補間した楽
音信号しか出力することができなかった。そこで、本発
明の目的は、3つ以上のスペクトル・シェイプを補間す
ることができ、より多くの新しい楽音を生成することが
できる楽音処理装置および楽音処理方法を提供すること
にある。However, since there is no technique for synthesizing three or more timbres, even if it is attempted to interpolate pronunciation information composed of timbres of a guitar, a piano, and a flute, for example, a guitar and a piano, and a piano and a flute are interpolated. Alternatively, only a tone signal interpolated between two timbres, such as a guitar and a flute, could be output. Therefore, an object of the present invention is to provide a tone processing device and a tone processing method that can interpolate three or more spectral shapes and generate more new tone.
【0004】[0004]
【課題を解決するための手段】上述した課題を解決する
ため、請求項1に記載の発明は、インストゥルメントに
おいて発音された音のサンプリングデータを分析するこ
とによって得られた分析データを記憶する分析データ記
憶手段と、外部より入力された発音情報および3種以上
のインストゥルメントの音色に対応する1つの楽音信号
を生成するために外部より入力された補間情報に基づい
て、前記分析データ記憶手段から3種以上のインストゥ
ルメントに対応する前記分析データを抽出する分析デー
タ抽出手段と、前記分析データに対応するスペクトル・
シェイプに基づいて補間処理を行い、1つの補間スペク
トル・シェイプを生成する補間処理手段と、前記補間ス
ペクトル・シェイプに基づいて楽音信号を生成し出力す
る楽音信号生成手段と、を備えたことを特徴としてい
る。In order to solve the above-mentioned problems, the invention according to claim 1 stores analysis data obtained by analyzing sampling data of sounds generated in an instrument. Analysis data storage means based on externally input pronunciation information and interpolation information input externally to generate one tone signal corresponding to three or more types of instruments, based on the analysis data storage means. Means for extracting the analysis data corresponding to three or more instruments from the means; and a spectrum analyzer corresponding to the analysis data.
Interpolation processing means for performing an interpolation process based on a shape to generate one interpolation spectrum shape, and tone signal generation means for generating and outputting a tone signal based on the interpolation spectrum shape. And
【0005】請求項2に記載の発明は、請求項1記載の
楽音処理装置において、前記分析データは、前記サンプ
リングデータをフレーム単位で周波数分析した結果得ら
れた正弦波成分および残差成分であることを特徴として
いる。According to a second aspect of the present invention, in the tone processing apparatus according to the first aspect, the analysis data is a sine wave component and a residual component obtained as a result of frequency analysis of the sampling data on a frame basis. It is characterized by:
【0006】請求項3に記載の発明は、請求項2記載の
楽音処理装置において、前記分析データ記憶手段は、前
記インストゥルメントごとに複数の発音状態に対応する
前記正弦波成分および前記残差成分を記憶していること
を特徴としている。According to a third aspect of the present invention, in the tone processing apparatus according to the second aspect, the analysis data storage means stores the sine wave component and the residual error corresponding to a plurality of tone generation states for each of the instruments. It is characterized by storing components.
【0007】請求項4に記載の発明は、請求項1記載の
楽音処理装置において、前記補間処理手段は、前記スペ
クトル・シェイプがn種ある場合に、(n−1)回の前
記補間処理を行うことを特徴としている。According to a fourth aspect of the present invention, in the musical sound processing apparatus of the first aspect, the interpolation processing means performs (n-1) times of the interpolation processing when there are n types of the spectrum shapes. It is characterized by performing.
【0008】請求項5に記載の発明は、請求項4記載の
楽音処理装置において、前記補間処理手段は、前記スペ
クトル・シェイプを2種ごとの組に分ける組分け処理
と、当該組ごとに行う前記補間処理とを繰り返し行い、
1つの補間スペクトル・シェイプを生成することを特徴
としている。According to a fifth aspect of the present invention, in the musical sound processing apparatus according to the fourth aspect, the interpolation processing means performs a grouping process of dividing the spectrum shape into two types of sets, and performs each grouping process. Repeat the interpolation process,
It is characterized in that one interpolated spectrum shape is generated.
【0009】請求項6に記載の発明は、請求項5記載の
楽音処理装置において、前記補間処理手段は、前記スペ
クトル・シェイプが奇数種ある場合には、前記組分け処
理において、組分けることができなかったスペクトル・
シェイプを、次回の組分け処理において処理することを
特徴としている。According to a sixth aspect of the present invention, in the tone processing apparatus according to the fifth aspect, when the number of the spectral shapes is an odd number, the interpolation processing means may perform grouping in the grouping process. Spectrum that could not be
The feature is that the shape is processed in the next grouping process.
【0010】請求項7に記載の発明は、請求項1記載の
楽音処理装置において、前記補間処理手段は、二つのス
ペクトル・シェイプを用いて前記補間処理を行うに際し
て、前記二つのスペクトル・シェイプ間におけるスペク
トル・シェイプ遷移関数を用いることを特徴としてい
る。According to a seventh aspect of the present invention, in the musical sound processing apparatus according to the first aspect, the interpolation processing means performs the interpolation processing using two spectral shapes when performing the interpolation processing using the two spectral shapes. Is characterized by using a spectral shape transition function.
【0011】請求項8に記載の発明は、請求項7記載の
楽音処理装置において、前記遷移関数は、線形関数ある
いは非線形関数として予め定義されていることを特徴と
している。According to an eighth aspect of the present invention, in the tone processing apparatus of the seventh aspect, the transition function is defined in advance as a linear function or a non-linear function.
【0012】請求項9に記載の発明は、請求項7記載の
楽音処理装置において、前記補間処理手段は、前記二つ
のスペクトル・シェイプを周波数軸上でそれぞれ複数の
領域に分け、各領域に属する前記二つのスペクトル・シ
ェイプ上の実在の周波数およびマグニチュードの組に対
し、前記遷移関数としての線形関数を用いた前記補間処
理を前記複数の領域にわたって行うことを特徴としてい
る。According to a ninth aspect of the present invention, in the tone processing apparatus according to the seventh aspect, the interpolation processing means divides the two spectral shapes into a plurality of regions on a frequency axis, and belongs to each region. The interpolation processing using a linear function as the transition function is performed over the plurality of regions with respect to a set of real frequencies and magnitudes on the two spectral shapes.
【0013】請求項10に記載の発明は、請求項9記載
の楽音処理装置において、前記補間処理手段は、前記各
領域に属する一方のスペクトル・シェイプの周波数であ
る第1周波数および当該第1周波数に対応する他方のス
ペクトル・シェイプの周波数である第2周波数を前記線
形関数を用いて補間することにより補間周波数を算出す
る周波数補間手段と、前記各領域に属する一方のスペク
トル・シェイプのマグニチュードである第1マグニチュ
ードおよび当該第1マグニチュードに対応する他方のス
ペクトル・シェイプのマグニチュードである第2マグニ
チュードを前記線形関数を用いて補間するマグニチュー
ド補間手段と、を備えたことを特徴としている。According to a tenth aspect of the present invention, in the tone processing apparatus according to the ninth aspect, the interpolation processing means includes a first frequency which is a frequency of one of the spectral shapes belonging to each of the regions and the first frequency. Frequency interpolation means for calculating an interpolation frequency by interpolating the second frequency, which is the frequency of the other spectral shape corresponding to the above, using the linear function, and the magnitude of one of the spectral shapes belonging to each of the regions. And a magnitude interpolating means for interpolating the first magnitude and a second magnitude corresponding to the other magnitude corresponding to the first magnitude using the linear function.
【0014】請求項11に記載の発明は、請求項1記載
の楽音処理装置において、前記補間情報は、前記インス
トゥルメント間の合成割合について補間処理を行うため
の全体補間情報、発音状態について補間処理を行うため
の状態補間情報、ピッチについて補間処理を行うための
ピッチ補間情報およびアンプリチュードについて補間処
理を行うためのアンプリチュード補間情報とを含んだこ
とを特徴としている。According to an eleventh aspect of the present invention, in the tone processing apparatus according to the first aspect, the interpolation information includes overall interpolation information for performing an interpolation process on a synthesis ratio between the instruments, and interpolation for a sounding state. It is characterized by including state interpolation information for performing processing, pitch interpolation information for performing interpolation processing for pitch, and amplitude interpolation information for performing interpolation processing for amplitude.
【0015】請求項12に記載の発明は、請求項11記
載の楽音処理装置において、前記補間情報を設定するた
めの補間情報設定手段を備えたことを特徴としている。According to a twelfth aspect of the present invention, in the tone processing apparatus of the eleventh aspect, there is provided an interpolation information setting means for setting the interpolation information.
【0016】請求項13に記載の発明は、請求項11記
載の楽音処理装置において、予め設定された前記補間情
報を保持するためのプリセット手段を備えたことを特徴
としている。According to a thirteenth aspect of the present invention, in the tone processing apparatus according to the eleventh aspect, a preset means for holding the preset interpolation information is provided.
【0017】請求項14に記載の発明は、請求項2記載
の楽音処理装置において、前記補間処理手段は、前記分
析データ記憶手段によって記憶されている前記正弦波成
分および前記残差成分を補間することにより、前記分析
データ記憶手段によって記憶されていない正弦波成分お
よび残差成分を算出する分析データ算出手段を備えたこ
とを特徴としている。According to a fourteenth aspect of the present invention, in the tone processing apparatus according to the second aspect, the interpolation processing means interpolates the sine wave component and the residual component stored by the analysis data storage means. Thus, there is provided an analysis data calculation means for calculating a sine wave component and a residual component which are not stored by the analysis data storage means.
【0018】請求項15に記載の発明は、請求項1記載
の楽音処理装置において、前記楽音信号生成手段は、前
記補間スペクトル・シェイプに対して、逆高速フーリエ
変換処理、オーバーラップ処理およびエンべローブ付加
処理を行うことにより時間領域での楽音波形を生成する
ことを特徴としている。According to a fifteenth aspect of the present invention, in the tone processing apparatus according to the first aspect, the tone signal generating means performs an inverse fast Fourier transform process, an overlap process, and an envelope process on the interpolated spectrum shape. It is characterized in that a tone waveform in the time domain is generated by performing lobe addition processing.
【0019】請求項16に記載の発明は、請求項1記載
の楽音処理装置において、MIDIデータの音色を選択
するMIDI音色選択手段と、前記音色のMIDI補間
情報を記憶している補間情報記憶手段と、前記音色およ
び前記MIDI補間情報に基づいて、前記補間情報を生
成する補間情報生成手段と、を備え、前記分析データ抽
出手段は、前記補間情報および外部より入力された発音
情報に基づいて、前記分析データ記憶手段から前記分析
データを抽出することを特徴としている。According to a sixteenth aspect of the present invention, in the tone processing apparatus of the first aspect, a MIDI tone color selecting means for selecting a tone color of MIDI data, and an interpolation information storage means for storing MIDI interpolation information of the tone color. And interpolation information generation means for generating the interpolation information based on the timbre and the MIDI interpolation information. The analysis data extraction means, based on the interpolation information and pronunciation information input from the outside, The analysis data is extracted from the analysis data storage means.
【0020】請求項17に記載の発明は、請求項16記
載の楽音処理装置において、変更補間データを入力する
変更入力手段と、前記変更入力手段によって入力された
前記変更補間データと対応する前記補間情報を置換する
補間情報置換手段と、を備えたことを特徴としている。According to a seventeenth aspect of the present invention, in the tone processing apparatus of the sixteenth aspect, change input means for inputting change interpolation data, and the interpolation corresponding to the change interpolation data input by the change input means. And interpolating information replacing means for replacing information.
【0021】請求項18に記載の発明は、請求項1記載
の楽音処理装置において、音声を入力するための音声入
力手段と、前記音声入力手段から入力された入力音声を
フレーム単位で周波数分析して音声正弦波成分および音
声残差成分を抽出する周波数分析手段と、前記補間処理
手段によって生成された1つの補間スペクトル・シェイ
プと周波数分析手段によって抽出された前記音声正弦波
成分および前記音声残差成分とを所定のモーフィング度
によってモーフィング処理するモーフィング手段と、を
備え、前記分析データ抽出手段は、前記音声正弦波成分
に含まれる発音情報および外部より入力された補間情報
に基づいて、前記分析データ記憶手段から3種以上のイ
ンストゥルメントに対応する前記分析データを抽出する
ことを特徴としている。According to an eighteenth aspect of the present invention, in the tone processing apparatus according to the first aspect, voice input means for inputting voice, and frequency analysis of input voice input from the voice input means is performed in frame units. Frequency analysis means for extracting a voice sine wave component and a voice residual component, and one interpolated spectrum shape generated by the interpolation processing means and the voice sine wave component and the voice residual extracted by the frequency analysis means Morphing means for performing morphing processing on the sine component with a predetermined morphing degree, wherein the analysis data extracting means performs the analysis data extraction based on pronunciation information contained in the audio sine wave component and interpolation information input from the outside. Extracting the analysis data corresponding to three or more instruments from a storage means. That.
【0022】請求項19に記載の発明は、請求項18記
載の楽音処理装置において、前記所定のモーフィング度
を設定するモーフィング設定手段を備え、前記モーフィ
ング手段は、前記モーフィング設定手段によって設定さ
れたモーフィング度により前記補間スペクトル・シェイ
プと前記音声正弦波成分および前記音声残差成分とをモ
ーフィングすることを特徴としている。According to a nineteenth aspect of the present invention, in the tone processing apparatus of the eighteenth aspect, there is provided morphing setting means for setting the predetermined morphing degree, and the morphing means is provided with a morphing set by the morphing setting means. The morphing of the interpolated spectrum shape, the audio sine wave component and the audio residual component is performed according to the degree.
【0023】請求項20に記載の発明は、請求項19記
載の楽音処理装置において、前記楽音信号生成手段は、
前記補間スペクトル・シェイプに対して、逆高速フーリ
エ変換処理、オーバーラップ処理を行うことにより時間
領域での楽音波形を生成することを特徴としている。According to a twentieth aspect of the present invention, in the musical tone processing device according to the nineteenth aspect, the musical tone signal generating means comprises:
It is characterized in that a musical tone waveform in the time domain is generated by performing an inverse fast Fourier transform process and an overlap process on the interpolated spectrum shape.
【0024】請求項21に記載の発明は、請求項1記載
の楽音処理装置において、音声を入力するための音声入
力手段と、前記音声入力手段から入力された入力音声を
フレーム単位で周波数分析して音声正弦波成分および音
声残差成分を抽出する周波数分析手段と、を備え、前記
分析データ抽出手段は、前記音声正弦波成分に含まれる
発音情報および外部より入力された補間情報に基づい
て、前記分析データ記憶手段から3種以上のインストゥ
ルメントに対応する前記分析データを抽出し、前記楽音
信号生成手段は、前記補間スペクトル・シェイプに基づ
いて補間楽音信号を生成するとともに、前記音声正弦波
成分および前記音声残差成分に基づいて音声楽音信号を
生成し、当該補間楽音信号と当該音声楽音信号とを混合
して出力することを特徴としている。According to a twenty-first aspect of the present invention, in the tone processing apparatus according to the first aspect, voice input means for inputting voice and frequency analysis of the input voice input from the voice input means are performed in frame units. Frequency analysis means for extracting a voice sine wave component and a voice residual component, and the analysis data extraction means, based on pronunciation information included in the voice sine wave component and interpolation information input from the outside, The analysis data corresponding to three or more instruments is extracted from the analysis data storage means. The tone signal generation means generates an interpolation tone signal based on the interpolation spectrum shape, Generating an audio tone signal based on the component and the audio residual component, and mixing and outputting the interpolated tone signal and the audio tone signal. It is a symptom.
【0025】請求項22に記載の発明は、請求項21記
載の楽音処理装置において、前記補間処理手段は、前記
入力音声のピッチに対応して予め定められた所定の割合
から求められたピッチによって、前記正弦波成分のピッ
チをシフトするピッチシフト手段と、前記ピッチシフト
手段によってピッチがシフトされた前記正弦波成分に対
して残差成分を付加する残差成分付加手段と、を備えた
ことを特徴としている。According to a twenty-second aspect of the present invention, in the tone processing apparatus according to the twenty-first aspect, the interpolation processing means uses a pitch determined from a predetermined ratio corresponding to a pitch of the input voice. A pitch shift unit that shifts the pitch of the sine wave component; and a residual component addition unit that adds a residual component to the sine wave component whose pitch has been shifted by the pitch shift unit. Features.
【0026】請求項23に記載の発明は、請求項21記
載の楽音処理装置において、前記楽音信号生成手段は、
前記補間スペクトル・シェイプあるいは前記音声正弦波
成分および前記音声残差成分に対して、逆高速フーリエ
変換処理、オーバーラップ処理を行うことにより時間領
域での楽音波形を生成することを特徴としている。According to a twenty-third aspect of the present invention, in the tone processing apparatus according to the twenty-first aspect, the tone signal generating means comprises:
It is characterized in that a musical tone waveform in the time domain is generated by performing an inverse fast Fourier transform process and an overlap process on the interpolation spectrum shape or the audio sine wave component and the audio residual component.
【0027】請求項24に記載の発明は、外部より入力
された発音情報および3種以上のインストゥルメントの
音色に対応する1つの楽音信号を生成するために外部よ
り入力された補間情報に基づいて、インストゥルメント
において発音された音のサンプリングデータを分析する
ことによって得られた分析データから3種以上のインス
トゥルメントに対応する前記分析データを抽出する分析
データ抽出過程と、前記分析データに対応するスペクト
ル・シェイプに基づいて補間処理を行い、1つの補間ス
ペクトル・シェイプを生成する補間処理過程と、前記補
間スペクトル・シェイプに基づいて楽音信号を生成し出
力する楽音信号生成過程と、を備えたことを特徴として
いる。According to a twenty-fourth aspect of the present invention, based on externally input tone generation information and externally input interpolation information for generating one tone signal corresponding to three or more types of instrument timbres. An analysis data extracting step of extracting the analysis data corresponding to three or more instruments from the analysis data obtained by analyzing the sampling data of the sounds pronounced in the instrument; An interpolation process for generating an interpolation spectrum shape by performing an interpolation process based on the corresponding spectrum shape; and a tone signal generation process for generating and outputting a tone signal based on the interpolation spectrum shape. It is characterized by that.
【0028】請求項25に記載の発明は、請求項24記
載の楽音処理方法において、前記分析データは、前記サ
ンプリングデータをフレーム単位で周波数分析した結果
得られた正弦波成分および残差成分であることを特徴と
している。According to a twenty-fifth aspect of the present invention, in the tone processing method of the twenty-fourth aspect, the analysis data is a sine wave component and a residual component obtained as a result of frequency analysis of the sampling data on a frame basis. It is characterized by:
【0029】請求項26に記載の発明は、請求項24記
載の楽音処理方法において、前記補間処理過程は、前記
スペクトル・シェイプがn種ある場合に、(n−1)回
の前記補間処理を行うことを特徴としている。According to a twenty-sixth aspect of the present invention, in the tone processing method according to the twenty-fourth aspect, the interpolation processing step includes (n-1) times of the interpolation processing when there are n types of the spectral shapes. It is characterized by performing.
【0030】請求項27に記載の発明は、請求項26記
載の楽音処理方法において、前記補間処理過程は、前記
スペクトル・シェイプを2種ごとの組に分ける組分け処
理と、当該組ごとに行う前記補間処理とを繰り返し行
い、1つの補間スペクトル・シェイプを生成することを
特徴としている。According to a twenty-seventh aspect of the present invention, in the musical sound processing method according to the twenty-sixth aspect, the interpolation processing is performed for each of the two sets of the spectral shapes. The interpolation processing is repeated to generate one interpolation spectrum shape.
【0031】請求項28に記載の発明は、請求項27記
載の楽音処理方法において、前記補間処理過程は、前記
スペクトル・シェイプが奇数種ある場合には、前記組分
け処理において、組分けることができなかったスペクト
ル・シェイプを、次回の組分け処理において処理するこ
とを特徴としている。According to a twenty-eighth aspect of the present invention, in the tone processing method according to the twenty-seventh aspect, in the interpolation processing step, when the number of the spectral shapes is an odd number, the grouping processing may be performed. It is characterized in that spectrum shapes that could not be processed are processed in the next grouping process.
【0032】請求項29に記載の発明は、請求項24記
載の楽音処理方法において、前記補間処理過程は、二つ
のスペクトル・シェイプを用いて前記補間処理を行うに
際して、前記二つのスペクトル・シェイプ間におけるス
ペクトル・シェイプ遷移関数を用いることを特徴として
いる。According to a twenty-ninth aspect of the present invention, in the tone processing method according to the twenty-fourth aspect, the interpolating step includes the step of performing the interpolating process using two spectral shapes between the two spectral shapes. Is characterized by using a spectral shape transition function.
【0033】請求項30に記載の発明は、請求項29記
載の楽音処理方法において、前記補間処理過程は、前記
二つのスペクトル・シェイプを周波数軸上でそれぞれ複
数の領域に分け、各領域に属する前記二つのスペクトル
・シェイプ上の実在の周波数およびマグニチュードの組
に対し、前記遷移関数としての線形関数を用いた前記補
間処理を前記複数の領域にわたって行うことを特徴とし
ている。According to a thirtieth aspect of the present invention, in the tone processing method according to the twenty-ninth aspect, the interpolation processing step divides the two spectral shapes into a plurality of regions on a frequency axis, and belongs to each region. The interpolation processing using a linear function as the transition function is performed over the plurality of regions with respect to a set of real frequencies and magnitudes on the two spectral shapes.
【0034】請求項31に記載の発明は、請求項30記
載の楽音処理方法において、前記補間処理過程は、前記
各領域に属する一方のスペクトル・シェイプの周波数で
ある第1周波数および当該第1周波数に対応する他方の
スペクトル・シェイプの周波数である第2周波数を前記
線形関数を用いて補間することにより補間周波数を算出
する周波数補間過程と、前記各領域に属する一方のスペ
クトル・シェイプのマグニチュードである第1マグニチ
ュードおよび当該第1マグニチュードに対応する他方の
スペクトル・シェイプのマグニチュードである第2マグ
ニチュードを前記線形関数を用いて補間するマグニチュ
ード補間過程と、を備えたことを特徴としている。According to a thirty-first aspect of the present invention, in the tone processing method according to the thirty-third aspect, the interpolating process includes a first frequency which is a frequency of one of the spectral shapes belonging to each of the regions and the first frequency. And a frequency interpolation process of calculating an interpolation frequency by interpolating a second frequency which is a frequency of the other spectral shape corresponding to the above-described linear function, and a magnitude of one of the spectral shapes belonging to each of the regions. And a magnitude interpolation step of interpolating the first magnitude and the second magnitude, which is the magnitude of the other spectral shape corresponding to the first magnitude, using the linear function.
【0035】請求項32に記載の発明は、請求項24記
載の楽音処理方法において、前記補間情報は、前記イン
ストゥルメント間の合成割合について補間処理を行うた
めの全体補間情報、発音状態について補間処理を行うた
めの状態補間情報、ピッチについて補間処理を行うため
のピッチ補間情報およびアンプリチュードについて補間
処理を行うためのアンプリチュード補間情報とを含んだ
ことを特徴としている。According to a thirty-second aspect of the present invention, in the tone processing method according to the twenty-fourth aspect, the interpolation information includes overall interpolation information for performing an interpolation process on a synthesis ratio between the instruments, and interpolation for a tone generation state. It is characterized by including state interpolation information for performing processing, pitch interpolation information for performing interpolation processing for pitch, and amplitude interpolation information for performing interpolation processing for amplitude.
【0036】請求項33に記載の発明は、請求項24記
載の楽音処理方法において、MIDIデータの音色を選
択するMIDI音色選択過程と、前記音色および前記音
色のMIDI補間情報に基づいて、前記補間情報を生成
する補間情報生成過程と、を備え、前記分析データ抽出
過程は、前記補間情報および外部より入力された発音情
報に基づいて、前記分析データを抽出することを特徴と
している。According to a thirty-fourth aspect of the present invention, in the tone processing method according to the twenty-fourth aspect, the MIDI tone color selecting step of selecting a tone color of MIDI data, and the interpolation based on the tone color and MIDI interpolation information of the tone color. An interpolation information generating step of generating information, wherein the analysis data extracting step extracts the analysis data based on the interpolation information and pronunciation information inputted from outside.
【0037】請求項34に記載の発明は、請求項24記
載の楽音処理方法において、音声を入力する音声入力過
程と、前記音声入力過程において入力された入力音声を
フレーム単位で周波数分析して音声正弦波成分および音
声残差成分を抽出する周波数分析過程と、前記補間処理
過程によって生成された1つの補間スペクトル・シェイ
プと周波数分析過程によって抽出された前記音声正弦波
成分および前記音声残差成分とを所定のモーフィング度
によってモーフィング処理するモーフィング過程と、を
備え、前記分析データ抽出過程は、前記音声正弦波成分
に含まれる発音情報および外部より入力された補間情報
に基づいて、3種以上のインストゥルメントに対応する
前記分析データを抽出することを特徴としている。According to a thirty-fourth aspect of the present invention, in the tone processing method according to the twenty-fourth aspect, a voice input step of inputting voice, and a voice analysis performed by frequency-analyzing the input voice input in the voice input step in frame units A frequency analysis step of extracting a sine wave component and a voice residual component, one interpolated spectrum shape generated by the interpolation process, and the voice sine wave component and the voice residual component extracted by the frequency analysis process. A morphing process of performing a morphing process on the sine wave component at a predetermined morphing degree. The analysis data extracting process comprises the steps of: The method is characterized in that the analysis data corresponding to the instrument is extracted.
【0038】請求項35に記載の発明は、請求項34記
載の楽音処理方法において、前記所定のモーフィング度
を設定するモーフィング設定過程を備え、前記モーフィ
ング過程は、前記モーフィング設定過程によって設定さ
れたモーフィング度により前記補間スペクトル・シェイ
プと前記音声正弦波成分および前記音声残差成分とをモ
ーフィングすることを特徴としている。According to a thirty-fifth aspect of the present invention, in the tone processing method according to the thirty-fourth aspect, there is provided a morphing setting step of setting the predetermined morphing degree, and the morphing step is a morphing set by the morphing setting step. The morphing of the interpolated spectrum shape, the audio sine wave component and the audio residual component is performed according to the degree.
【0039】請求項36に記載の発明は、請求項24記
載の楽音処理方法において、音声を入力する音声入力過
程と、前記音声入力過程において入力された入力音声を
フレーム単位で周波数分析して音声正弦波成分および音
声残差成分を抽出する周波数分析過程と、を備え、前記
分析データ抽出過程は、前記音声正弦波成分に含まれる
発音情報および外部より入力された補間情報に基づい
て、3種以上のインストゥルメントに対応する前記分析
データを抽出し、前記楽音信号生成過程は、前記補間ス
ペクトル・シェイプに基づいて補間楽音信号を生成する
とともに、前記音声正弦波成分および前記音声残差成分
に基づいて音声楽音信号を生成し、当該補間楽音信号と
当該音声楽音信号とを混合して出力することを特徴とし
ている。According to a thirty-sixth aspect of the present invention, in the tone processing method according to the twenty-fourth aspect, a voice input step of inputting a voice and a frequency analysis of the input voice input in the voice input step are performed on a frame-by-frame basis. A frequency analysis step of extracting a sine wave component and a voice residual component, wherein the analysis data extraction step includes three types of processing based on pronunciation information included in the voice sine wave component and interpolation information input from the outside. Extracting the analysis data corresponding to the above instrument, the tone signal generating step generates an interpolated tone signal based on the interpolated spectrum shape, and generates the audio sine wave component and the audio residual component. It is characterized in that a voice tone signal is generated based on this, and the interpolated tone signal and the voice tone signal are mixed and output.
【0040】請求項37に記載の発明は、請求項36記
載の楽音処理方法において、前記補間処理過程は、前記
入力音声のピッチに対応して予め定められた所定の割合
から求められたピッチによって、前記正弦波成分のピッ
チをシフトするピッチシフト過程と、前記ピッチシフト
過程によってピッチがシフトされた前記正弦波成分に対
して残差成分を付加する残差成分付加過程と、を備えた
ことを特徴としている。According to a thirty-seventh aspect of the present invention, in the tone processing method according to the thirty-sixth aspect, the interpolating step is performed based on a pitch obtained from a predetermined ratio corresponding to a pitch of the input voice. A pitch shifting step of shifting a pitch of the sine wave component, and a residual component adding step of adding a residual component to the sine wave component whose pitch has been shifted by the pitch shifting step. Features.
【0041】[0041]
【発明の実施の形態】次に、図面を参照して本発明の好
適な実施形態について説明する。 [1]第1実施形態 [1.1]楽音処理装置の全体構成 図1に、本発明の第1実施形態である楽音処理装置の全
体構成を示す。楽音処理装置1は、サンプリングされた
インストゥルメントの音声波形を後述するSMS分析に
よって分析し、分析の結果、得られた分析データを予め
記憶している分析データ記憶部12と、外部より入力さ
れる発音情報信号およびユーザにより設定された補間情
報により生成された補間情報信号に基づいて分析データ
記憶部12に記憶されている分析データを抽出する分析
データ抽出部11と、抽出された分析データに基づいて
補間を行うことによって新たな周波数成分を生成する補
間処理部13と、生成された周波数成分に対して逆高速
フーリエ変換(IFFT)およびオーバーラップ処理を
行う周波数合成処理部14と、周波数合成処理部14に
よって生成された周波数信号に対してエンベローブ付加
処理を行うエンベローブ処理部15と、エンベローブ処
理部15によって生成された出力楽音信号を出力する出
力部16とを備えて構成されている。Next, a preferred embodiment of the present invention will be described with reference to the drawings. [1] First Embodiment [1.1] Overall Configuration of Music Processing Device FIG. 1 shows the overall configuration of a music processing device according to a first embodiment of the present invention. The musical sound processing device 1 analyzes a sampled audio waveform of an instrument by an SMS analysis described later, and an analysis data storage unit 12 that stores analysis data obtained as a result of the analysis in advance, and an externally input analysis data. An analysis data extraction unit 11 that extracts analysis data stored in an analysis data storage unit 12 based on a pronunciation information signal generated by the user and interpolation information signals generated by interpolation information set by a user; An interpolation processing unit 13 that generates a new frequency component by performing interpolation based on the frequency component; a frequency synthesis processing unit 14 that performs an inverse fast Fourier transform (IFFT) and an overlap process on the generated frequency component; An envelope processing unit 1 for performing an envelope adding process on the frequency signal generated by the processing unit 14 When it is configured to include an output unit 16 for outputting the output musical tone signals generated by the envelope processing unit 15.
【0042】ここで、本実施形態における発音情報と
は、例えば、“8分音符のド”などのように、音の名前
や長さなどを含んだ情報のことをいう。したがって、オ
クターブと音の名前を指定するMIDInoteや音符
の種類を指定するMIDIstなどのデータも発音情報
に含まれる。Here, the pronunciation information in the present embodiment refers to information including the name and duration of a sound, such as "8th note". Therefore, data such as MDINote which specifies an octave and a name of a sound and MIDIList which specifies a type of a note are also included in the pronunciation information.
【0043】次に、上述した補間情報について、詳細に
説明する。本実施形態における補間情報は、インストゥ
ルメントごとに設定することが可能な種々の補間率を含
む多次元補間情報のことをいう。多次元補間情報には、
全体多次元補間率、後述する各発音状態における状態多
次元補間率、ピッチ多次元補間率およびアンプリチュー
ド多次元補間率がある。全体多次元補間率は、インスト
ゥルメントを合成する場合に、出力される楽音信号全体
に対する当該インストゥルメントの合成割合を示すもの
であり、例えば、インストゥルメントごとに“0”から
“1”の間で設定できるようになっている。具体的に説
明すると、例えば、ギター、ピアノおよびフルートの音
色を合成する場合において、ギターの音色を全体の音色
の5割にし、ピアノの音色を全体の音色の3割にし、フ
ルートの音色を全体の音色の2割にして合成する場合に
は、ギターの全体多次元補間率を“0.5”、ピアノの
全体多次元補間率を“0.3”、フルートの全体多次元
補間率を“0.2”にそれぞれ設定する。そして、ギタ
ー、ピアノおよびフルートにおけるそれぞれの全体多次
元補間率は、合計した場合に“1”となるように設定し
なければならない。Next, the above-mentioned interpolation information will be described in detail. The interpolation information in the present embodiment refers to multidimensional interpolation information including various interpolation rates that can be set for each instrument. Multidimensional interpolation information includes
There are an overall multidimensional interpolation rate, a state multidimensional interpolation rate in each sounding state described later, a pitch multidimensional interpolation rate, and an amplitude multidimensional interpolation rate. The overall multidimensional interpolation ratio indicates a synthesis ratio of the instrument with respect to the entire output musical tone signal when the instrument is synthesized. For example, the total multidimensional interpolation rate is changed from “0” to “1” for each instrument. It can be set between. More specifically, for example, when synthesizing the timbres of a guitar, a piano, and a flute, the timbre of the guitar is set to 50% of the entire timbre, the timbre of the piano is set to 30% of the entire timbre, and the timbre of the flute is set to the When the synthesis is performed with 20% of the timbre, the overall multidimensional interpolation rate of the guitar is “0.5”, the overall multidimensional interpolation rate of the piano is “0.3”, and the overall multidimensional interpolation rate of the flute is “0.5”. 0.2 "respectively. Then, the total multidimensional interpolation rates of the guitar, piano, and flute must be set to be "1" when summed.
【0044】状態多次元補間率は、各発音状態、例え
ば、発音の立ち上がり状態、定常状態および開放状態の
それぞれの状態に対応する補間率である立ち上がり状態
多次元補間率、定常状態多次元補間率および開放状態多
次元補間率に区別される。そして、各状態多次元補間率
は、それぞれの発音状態において、インストゥルメント
を合成する場合に、出力される楽音信号全体に対する当
該インストゥルメントの合成割合を示すものであり、例
えば、各インストゥルメントの発音状態ごとに“0”か
ら“1”の間で設定できるようになっている。具体的に
説明すると、例えば、ギター、ピアノおよびフルートの
音色を合成する場合の発音の立ち上がり状態において、
ギターの音色を全体の音色の4割にし、ピアノの音色を
全体の音色の5割にし、フルートの音色を全体の音色の
1割にして合成する場合には、ギターの立ち上がり状態
多次元補間率を“0.4”、ピアノの立ち上がり状態多
次元補間率を“0.5”、フルートの立ち上がり状態多
次元補間率を“0.1”にそれぞれ設定する。そして、
ギター、ピアノおよびフルートにおけるそれぞれの立ち
上がり状態多次元補間率は、合計した場合に“1”とな
るように設定しなければならない。The state multidimensional interpolation rate is a rising state multidimensional interpolation rate, a steady state multidimensional interpolation rate, which is an interpolation rate corresponding to each sounding state, for example, a rising state of sound, a steady state, and an open state. And the open state multidimensional interpolation rate. Each state multidimensional interpolation rate indicates a synthesis ratio of the instrument with respect to the entire output tone signal when an instrument is synthesized in each sounding state. It can be set between "0" and "1" for each sounding state of the comment. To be more specific, for example, in the state of rising sound when synthesizing the sounds of the guitar, piano and flute,
If the guitar tone is 40% of the whole tone, the piano tone is 50% of the whole tone, and the flute tone is 10% of the whole tone, the guitar's start-up state multidimensional interpolation rate Is set to "0.4", the multi-dimensional interpolation rate of the rising state of the piano is set to "0.5", and the multi-dimensional interpolation rate of the rising state of the flute is set to "0.1". And
The rising state multidimensional interpolation rates for the guitar, piano, and flute must be set so as to be "1" when summed.
【0045】ここで、立ち上がり状態においては、カッ
トインなどのように突然アタック感の強い音で始める場
合や、フェードインなどのように始めは弱い音から入り
徐々に音を強くしていく場合などの状態を設定すること
ができる。また、開放状態においては、カットアウトな
どのように突然音を消してしまう場合や、フェードアウ
トなどのように徐々に音を弱くしていきながら発音を終
了させる場合などの状態を設定することができる。Here, in the rising state, a case where the sound suddenly starts with a strong attack such as cut-in, or a case where the sound starts from a weak sound and gradually increases the sound such as fade-in, etc. State can be set. In the open state, it is possible to set a state in which the sound is suddenly turned off, such as a cutout, or a state in which the sound is ended while gradually weakening the sound, such as a fadeout. .
【0046】また、ピッチ多次元補間率は、インストゥ
ルメントのピッチを調整して音色を補間するものであ
り、例えば、キーオン指定のピッチと同じピッチで出力
する場合を“0”として、各インストゥルメントごとに
“−1”から“1”の間で任意に設定できるようになっ
ている。具体的に説明すると、例えば、ギター、ピアノ
およびフルートの音色を合成する場合において、ギター
のピッチを高めにし、ピアノのピッチをキーオン指定の
ピッチと同じピッチにし、フルートのピッチを低めにす
る場合には、ギターのピッチ多次元補間率を“0”〜
“1”の間に設定し、ピアノのピッチ多次元補間率を
“0”に設定し、フルートのピッチ多次元補間率を
“0”〜“−1”の間に設定する。The pitch multidimensional interpolation rate is used to adjust the pitch of the instrument to interpolate the timbre. For example, when the pitch is output at the same pitch as the key-on designated pitch, it is set to “0”, and It can be set arbitrarily between "-1" and "1" for each instrument. More specifically, for example, when synthesizing the tone of a guitar, a piano and a flute, when increasing the pitch of the guitar, setting the pitch of the piano to the same pitch as the key-on designated pitch, and lowering the pitch of the flute, Sets the guitar pitch multidimensional interpolation rate from "0" to
It is set between "1", the pitch multidimensional interpolation rate of the piano is set to "0", and the pitch multidimensional interpolation rate of the flute is set between "0" and "-1".
【0047】また、アンプリチュード多次元補間率は、
インストゥルメントのアンプリチュード(振幅)を調整
して音色を補間するものであり、例えば、キーオン指定
のアプリチュードと同じフォルマントを用いる場合を
“0”として、各インストゥルメントごとに“−1”か
ら“1”の間で任意に設定できるようになっている。具
体的に説明すると、例えば、ギター、ピアノおよびフル
ートの音色を合成する場合において、ギターのアンプリ
チュードを高めにし、ピアノのアンプリチュードをキー
オン指定のアンプリチュードと同じアンプリチュードに
し、フルートのアンプリチュードを低めにする場合に
は、ギターのアンプリチュード多次元補間率を“0”〜
“1”の間に設定し、ピアノのアンプリチュード多次元
補間率を“0”に設定し、フルートのアンプリチュード
多次元補間率を“0”〜“−1”の間に設定する。The amplitude multidimensional interpolation rate is:
The tone color is interpolated by adjusting the amplitude (amplitude) of the instrument. For example, when the same formant as the key-on designated application is used, “0” is set, and “−1” is set for each instrument. Can be arbitrarily set between "1" and "1". Specifically, for example, when synthesizing the tone of the guitar, the piano and the flute, the amplitude of the guitar is increased, the amplitude of the piano is set to the same amplitude as the amplitude specified for the key-on, and the amplitude of the flute is changed. To lower it, set the amplitude multi-dimensional interpolation rate of the guitar from "0" to
It is set between “1”, the amplitude multidimensional interpolation rate of the piano is set to “0”, and the amplitude multidimensional interpolation rate of the flute is set between “0” and “−1”.
【0048】次に、上述した多次元補間情報をインスト
ゥルメントごとに設定する方法を具体的に説明する。ま
ず、例えば、多次元補間情報を(全体、立ち上がり状
態、定常状態、開放状態、ピッチ、アンプリチュード)
と表す場合において、インストゥルメントであるギタ
ー、ピアノおよびフルートの音色を、ギターの音色をや
や強くした音色になるように補間する場合には、ギター
の多次元補間情報を(0.4、0、0、0、0、0)と
設定し、ピアノの多次元補間情報を(0.3、0、0、
0、0、0)と設定し、フルートの多次元補間情報を
(0.3、0、0、0、0、0)と設定する。この場合
において、それぞれのインストゥルメントの全体多次元
補間率を合計すると“1”になっている。Next, a method for setting the above-described multidimensional interpolation information for each instrument will be specifically described. First, for example, multi-dimensional interpolation information (whole, rising state, steady state, open state, pitch, amplitude)
In this case, when the timbres of the instruments such as guitar, piano, and flute are interpolated so that the timbre of the guitar becomes slightly stronger, the multidimensional interpolation information of the guitar is expressed as (0.4, 0 , 0, 0, 0, 0), and the multidimensional interpolation information of the piano is (0.3, 0, 0,
0, 0, 0), and the multidimensional interpolation information of the flute is set to (0.3, 0, 0, 0, 0, 0). In this case, the total multidimensional interpolation rate of each instrument is “1” when summed.
【0049】次に、上述した例において、さらに、発音
の立ち上がりにおいてはアタック感の強いギターの音色
を強めに出力し、定常状態においてはピアノの音色を強
めに出力し、開放状態においてはフルートの音色が強め
に出力されるように補間する場合には、ギターの多次元
補間情報を(0.4、1、0、0、0、1)と設定し、
ピアノの多次元補間情報を(0.3、0、1、0、0、
0)と設定し、フルートの多次元補間情報を(0.3、
0、0、1、0、0)と設定する。この場合、立ち上が
り状態において出力される楽音信号には、ギターの音色
だけではなく、ピアノとフルートの音色も合成して出力
されている。これは、全体多次元情報率の割合に応じ
て、各状態多次元補間率が適用されるためである。Next, in the above-mentioned example, the tone of the guitar having a strong attack is output more strongly at the start of the sound generation, the tone of the piano is output more strongly in the steady state, and the flute is output in the open state. In the case of performing interpolation so that a tone is output more strongly, the multidimensional interpolation information of the guitar is set to (0.4, 1, 0, 0, 0, 1),
The multidimensional interpolation information of the piano is (0.3, 0, 1, 0, 0,
0) and set the multidimensional interpolation information of the flute to (0.3,
0, 0, 1, 0, 0). In this case, not only the tone color of the guitar but also the tone color of the piano and the flute are synthesized and output to the tone signal output in the rising state. This is because each state multidimensional interpolation rate is applied according to the ratio of the total multidimensional information rate.
【0050】[1.2]楽音処理装置の各部の構成 [1.2.1]分析データ記憶部 図2に、分析データ記憶部12のファイル構成を示す。
図2に示すように、分析データ記憶部12は、各インス
トゥルメントの各発音状態ごとに、アンプリチュードを
一定の大きさに区分化したアンプリチュード区分と、ピ
ッチを一定の大きさに区分化したピッチ区分とによって
表される分析データテーブル単位にデータを区別して格
納している。そして、アンプリチュード区分とピッチ区
分との交点となる領域に対してフォルマント・シェイプ
のデータが格納されている。また、当該領域には、必要
に応じて残差成分も格納されている。なお、フォルマン
ト・シェイプおよび残差成分は、後述するSMS分析に
よって求められる。[1.2] Configuration of Each Unit of the Music Processing Unit [1.2.1] Analysis Data Storage Unit FIG. 2 shows the file configuration of the analysis data storage unit 12.
As shown in FIG. 2, the analysis data storage unit 12 divides the amplitude into a certain size and the pitch into a certain size for each sounding state of each instrument. The data is stored in the analysis data table unit represented by the pitch division. Then, formant shape data is stored in a region where the amplitude section and the pitch section intersect. In addition, a residual component is also stored in the area as needed. Note that the formant shape and the residual component are obtained by SMS analysis described later.
【0051】ここで、図2に示されている分析データテ
ーブルは、インストゥルメントがサックスであり、発音
状態が立ち上がり状態でアタック感の強いフォルマント
・シェイプを格納している分析データテーブルである。
その他にも、例えば、インストゥルメントがサックスで
あり、発音状態が立ち上がり状態でアタック感の弱いフ
ォルマント・シェイプを格納している分析データテーブ
ルや、インストゥルメントがギターであり、発音状態が
定常状態でアタック感の強いフォルマント・シェイプを
格納している分析データテーブルなども分析データ記憶
部12に記憶されているこのように、分析データテーブ
ルは、インストゥルメントおよび発音の度合いが異なる
状態(発音状態)ごとに、フォンマルト・シェイプおよ
び残差成分を格納してる。Here, the analysis data table shown in FIG. 2 is an analysis data table in which an instrument is a saxophone, and a sounding state is a rising state and a formant shape with a strong attack feeling is stored.
In addition, for example, the instrument is a saxophone, the sounding state is a rising state, and an analysis data table that stores a formant shape with a weak attack feeling, the instrument is a guitar, and the sounding state is a steady state The analysis data table storing a formant shape having a strong attack feeling is also stored in the analysis data storage unit 12. In this manner, the analysis data table has a state in which the instrument and the degree of sound generation are different (pronunciation state). ) Stores the von Mart shape and the residual component.
【0052】また、ピッチ区分を区分けする大きさの基
準は、インストゥルメントの特徴によって変えている。
例えば、ピッチの変更が、フォルマントの変動に対して
あまり影響を与えることのない楽器については、ピッチ
の区分数を減らすようにし、ピアノのように、ピッチの
変更が、フォルマントの変動に対して大きな影響を与え
る楽器については、ピッチの区分数を細かく設定して増
やすようにする。また、アンプリチュード区分を区分け
する大きさの基準も、ピッチ区分を区分けする大きさの
基準と同様に決定する。図2に示されている分析データ
テーブルにおいては、縦軸で表されているピッチは、1
[オクターブ]ごとに区分が設定されており、横軸で表さ
れているアンプリチュードは、10[dB]ごとに区分が
設定されている。The standard of the size for dividing the pitch division is changed according to the characteristics of the instrument.
For example, for instruments whose pitch change does not have a significant effect on formant fluctuations, try to reduce the number of pitch divisions. For the musical instruments that have an influence, the number of pitch divisions is set finely to increase. Also, the standard of the size for dividing the amplitude division is determined in the same manner as the standard of the size for dividing the pitch division. In the analysis data table shown in FIG. 2, the pitch represented by the vertical axis is 1
The division is set for each [octave], and the amplitude indicated by the horizontal axis is set for every 10 [dB].
【0053】ここで、図3を参照しながら、SMS分析
について説明する。SMS分析においては、まず、サン
プリングされた音声波形に対して窓関数を乗ずることに
よって得られるフレームを抽出し、次に、抽出したフレ
ームに対して高速フーリエ変換(FFT)を行うことに
よって得られる周波数スペクトルから、正弦波成分と残
差成分とを抽出する。ここで、正弦波成分とは、基本周
波数(ピッチ;Pitch)および基本周波数の倍数にあた
る周波数(倍音)の成分をいう。本実施形態において
は、基本周波数をピッチとし、各成分の平均アンプリチ
ュードをアンプリチュードとし、スペクトル包絡をフォ
ルマント・シェイプとして分析データ記憶部12に記憶
している。また、残差成分とは、上述した周波数スペク
トルから正弦波成分を除いた成分であり、本実施形態に
おいては、図3に示すように周波数領域のデータとして
分析データ記憶部12に記憶している。また、残差成分
は、特に立ち上がり状態の音を生成するときに有用な成
分となる。Here, the SMS analysis will be described with reference to FIG. In the SMS analysis, first, a frame obtained by multiplying a sampled speech waveform by a window function is extracted, and then a frequency obtained by performing a fast Fourier transform (FFT) on the extracted frame. From the spectrum, a sine wave component and a residual component are extracted. Here, the sine wave component refers to a component of a fundamental frequency (pitch; Pitch) and a frequency (harmonic) that is a multiple of the fundamental frequency. In this embodiment, the fundamental frequency is stored as pitch, the average amplitude of each component is stored as amplitude, and the spectrum envelope is stored in the analysis data storage unit 12 as formant shape. The residual component is a component obtained by removing the sine wave component from the frequency spectrum described above, and in the present embodiment, is stored in the analysis data storage unit 12 as frequency domain data as shown in FIG. . The residual component is a component that is particularly useful when generating a rising sound.
【0054】[1.2.2]補間処理部 補間処理部13は、各インストゥルメントごとの発音情
報信号および補間情報信号に基づいて抽出されたフォル
マント・シェイプを各インストゥルメント単位に一時的
に補間バッファに記憶しておき、後述するスペクトル補
間の手法により、補間バッファに記憶された各インスト
ゥルメントのフォルマント・シェイプを補間することに
よって新たな周波数成分である補間スペクトル・シェイ
プを生成する。[1.2.2] Interpolation processing unit The interpolation processing unit 13 temporarily stores the formant shape extracted based on the sounding information signal and the interpolation information signal for each instrument for each instrument unit. Then, an interpolation spectrum shape, which is a new frequency component, is generated by interpolating the formant shape of each instrument stored in the interpolation buffer by a spectrum interpolation method described later.
【0055】[1.3]第1実施形態の動作 次に、楽音処理装置1の動作例を順に説明する。まず、
楽音処理装置1の外部から、例えば、MIDInote
などの発音情報信号が入力されると、分析データ抽出部
11は、入力された発音情報信号をフレーム単位の発音
情報信号に分割する。具体的には、例えば、“8分音
符、ピッチが第2オクターブのド、アンプリチュードが
6[dB]”を示す発音情報信号が入力された場合に、分
析データ抽出部11は、当該発音情報信号を5[ms]ご
とに区切られたフレームに分割し、各フレームごとに
“8分音符、ピッチが第2オクターブのド、アンプリチ
ュードが6[dB]”および当該フレームにおける発音状
態を示すデータが記憶される。[1.3] Operation of First Embodiment Next, an operation example of the tone processing apparatus 1 will be described in order. First,
From outside the tone processing device 1, for example, MIDInote
When the pronunciation information signal is input, the analysis data extraction unit 11 divides the input pronunciation information signal into the pronunciation information signals in frame units. Specifically, for example, when a pronunciation information signal indicating “eighth note, pitch of the second octave, amplitude of 6 [dB]” is input, the analysis data extraction unit 11 sets the pronunciation information The signal is divided into frames divided every 5 [ms], and for each frame, "eighth note, pitch of the second octave, amplitude of 6 [dB]" and data indicating the sounding state in the frame Is stored.
【0056】次に、分析データ抽出部11は、フレーム
単位に分割された発音情報信号の発音状態が、立ち上が
り状態を示す信号であるか、定常状態を示す信号である
か、開放状態を示す信号であるかの判断を行う。そし
て、分析データ抽出部11は、各インストゥルメントご
と、かつ、上記各状態ごとに記憶されたフォルマント・
シェイプを、外部から入力された補間情報信号に含まれ
るピッチ多次元補間率およびアンプリチュード多次元補
間率によって補間された発音情報信号のピッチおよびア
ンプリチュードに基づいて分析データ記憶部12を検索
し、検索によって抽出された分析データを、各インスト
ゥルメントごとに区別された補間バッファに対して一時
的に記憶させる。Next, the analysis data extraction unit 11 determines whether the sounding state of the sounding information signal divided in frame units is a signal indicating a rising state, a signal indicating a steady state, or a signal indicating an open state. Is determined. The analysis data extraction unit 11 then stores the formant and stored for each instrument and for each state.
A shape is retrieved from the analysis data storage unit 12 based on the pitch and amplitude of the pronunciation information signal interpolated by the pitch multidimensional interpolation rate and the amplitude multidimensional interpolation rate included in the interpolation information signal input from the outside, The analysis data extracted by the search is temporarily stored in an interpolation buffer distinguished for each instrument.
【0057】ここで、分析データ抽出部11による抽出
処理を図9を参照して具体的に説明する。図9はインス
トゥルメントがピアノであり、発音状態が立ち上がり状
態である場合の分析データテーブルを示している。分析
データ抽出部11は、第1フレームの発音情報信号が、
例えば、“8分音符、ピッチが第2オクターブのド、ア
ンプリチュードが6[dB]、立ち上がり状態”を示すデ
ータであり、ピアノの補間情報信号が(0.3、0、
1、0、0、0)であった場合に、補間情報信号に含ま
れるピッチ多次元補間率およびアンプリチュード多次元
補間率はともに“0”であるため、発音情報信号に含ま
れるピッチが“第2オクターブのド”であり、アンプリ
チュードが“6[dB]”であるピアノのフォルマント・
シェイプ9aを抽出する。そして、ピアノの補間バッフ
ァの第1フレームに対応する領域に対して、フォルマン
ト・シェイプ9aを記憶する。次に、分析データ抽出部
11は、第2フレームの発音情報信号を読み込み、当該
発音情報信号が、例えば、“8分音符、ピッチが第2オ
クターブのド、アンプリチュードが15[dB]、立ち上
がり状態”を示すデータであり、ピアノの補間情報信号
が(0.3、0、1、0、0、0)であった場合に、補
間情報信号に含まれるピッチ多次元補間率およびアンプ
リチュード多次元補間率はともに“0”であるため、発
音情報信号に含まれるピッチが“第2オクターブのド”
であり、アンプリチュードが“15[dB]”であるピア
ノのフォルマント・シェイプ9bを抽出する。そして、
ピアノの補間バッファの第2フレームに対応する領域に
対して、フォルマント・シェイプ9bを記憶する。Here, the extraction processing by the analysis data extraction unit 11 will be specifically described with reference to FIG. FIG. 9 shows an analysis data table when the instrument is a piano and the sounding state is a rising state. The analysis data extraction unit 11 determines that the pronunciation information signal of the first frame is
For example, the data is “8th note, pitch is the second octave, amplitude is 6 [dB], rising state”, and the interpolation information signal of the piano is (0.3, 0,
1, 0, 0, 0), the pitch multi-dimensional interpolation rate and the amplitude multi-dimensional interpolation rate included in the interpolation information signal are both “0”, so that the pitch included in the pronunciation information signal is “0”. The formant of a piano whose second octave is "" and whose amplitude is "6 [dB]"
Extract the shape 9a. Then, the formant shape 9a is stored in an area corresponding to the first frame of the piano interpolation buffer. Next, the analysis data extraction unit 11 reads the pronunciation information signal of the second frame, and the pronunciation information signal is, for example, “eighth note, pitch of the second octave, amplitude of 15 [dB], rising edge. State information ", and when the piano interpolation information signal is (0.3, 0, 1, 0, 0, 0), the pitch multidimensional interpolation rate and the amplitude multiplicity included in the interpolation information signal are included. Since the dimensional interpolation rates are both “0”, the pitch included in the pronunciation information signal is “second octave”.
, And the formant shape 9b of the piano whose amplitude is “15 [dB]” is extracted. And
The formant shape 9b is stored in an area corresponding to the second frame of the piano interpolation buffer.
【0058】補間処理部13は、補間情報信号に含まれ
る3つ以上のインストゥルメントの補間処理を、以下に
説明するアンカー・ポイントを用いるスペクトル補間の
手法により行う。The interpolation processing unit 13 performs an interpolation process of three or more instruments included in the interpolation information signal by a spectrum interpolation method using anchor points described below.
【0059】まず、スペクトル補間を用いる目的は、以
下の二つに大別される。 (1)二つの時間的に連続するフレームのスペクトル・
シェイプを補間し、時間的に二つのフレーム間にあるフ
レームのスペクトル・シェイプを求める。 (2)二つの異なる音のスペクトル・シェイプを補間
し、中間的な音のスペクトル・シェイプを求める。First, the purpose of using the spectrum interpolation is roughly classified into the following two. (1) Spectrum of two temporally consecutive frames
The shape is interpolated to determine the spectral shape of the frame that is temporally between the two frames. (2) Interpolate the spectrum shapes of two different sounds to obtain an intermediate sound spectrum shape.
【0060】図4(a)に示すように、補間のもととな
る二つのスペクトル・シェイプ(以下、便宜上、第1ス
ペクトル・シェイプSS1および第2スペクトル・シェ
イプSS2とする。)を各々周波数軸上で複数の領域Z
1、Z2、……に分割する。そして、各領域を区切る境界
の周波数を各スペクトル・シェイプごとにそれぞれ以下
のように設定する。この設定した境界の周波数をアンカ
ー・ポイントと呼んでいる。 第1スペクトル・シェイプSS1:RB1,1、RB2,1、……、RBN,1 第2スペクトル・シェイプSS2:RB1,2、RB2,2、……、RBM,2As shown in FIG. 4 (a), two spectrum shapes (hereinafter referred to as a first spectrum shape SS1 and a second spectrum shape SS2 for convenience) to be interpolated are each on the frequency axis. Multiple zones Z on
Divide into 1, Z2, ... Then, the frequency of the boundary dividing each region is set for each spectrum shape as follows. The frequency at the set boundary is called an anchor point. First spectral shape SS1: RB1,1, RB2,1,..., RBN, 1 Second spectral shape SS2: RB1,2, RB2,2,.
【0061】図4(b)に線形スペクトル補間の説明図
を示す。線形スペクトル補間は、補間率により定義さ
れ、補間率Xは、0から1までの範囲である。この場合
において、補間率X=0は、第1スペクトル・シェイプ
SS1そのもの、補間率X=1は第2スペクトル・シェ
イプSS2そのものに相当する。FIG. 4B is an explanatory diagram of linear spectrum interpolation. Linear spectral interpolation is defined by an interpolation rate, where the interpolation rate X ranges from 0 to 1. In this case, the interpolation rate X = 0 corresponds to the first spectrum shape SS1 itself, and the interpolation rate X = 1 corresponds to the second spectrum shape SS2 itself.
【0062】図4(b)は、補間率X=0.35の場合
である。また、図4(b)において、縦軸上の白丸
(○)は、スペクトル・シェイプを構成する周波数およ
びマグニチュードの組のそれぞれを示す。したがって、
紙面垂直方向にマグニチュード軸が存在すると考えるの
が適当である。補間率X=0の軸上の第1スペクトル・
シェイプSS1の注目するある領域Ziに対応するアン
カー・ポイントが、 RBi,1 およびRBi+1,1 であり、当該領域Ziに属する具体的な周波数およびマ
グニチュードの組のうちいずれかの組の周波数=fi1で
あり、マグニチュード=S1(fi1)であるものとす
る。FIG. 4B shows a case where the interpolation ratio X = 0.35. Further, in FIG. 4B, white circles (○) on the vertical axis indicate respective sets of frequencies and magnitudes constituting the spectrum shape. Therefore,
It is appropriate to consider that the magnitude axis exists in the direction perpendicular to the paper. The first spectrum on the axis with the interpolation rate X = 0
The anchor points corresponding to a certain region Zi of interest of the shape SS1 are RBi, 1 and RBi + 1,1, and the frequency of any one of a set of a specific frequency and a magnitude belonging to the region Zi = fi1 and magnitude = S1 (fi1).
【0063】補間率X=1の軸上の第2スペクトル・シ
ェイプSS2の注目するある領域Ziに対応するアンカ
ー・ポイントが、 RBi,2 およびRBi+1,2 であり、当該領域Ziに属する具体的な周波数およびマ
グニチュードの組のうちいずれかの組の周波数=fi2で
あり、マグニチュード=S2(fi2)であるものとす
る。ここで、スペクトル遷移関数ftrans1(x)および
スペクトル遷移関数ftrans2(x)を求める。The anchor points corresponding to a certain region Zi of interest of the second spectral shape SS2 on the axis with the interpolation ratio X = 1 are RBi, 2 and RBi + 1,2, and the concrete points belonging to the region Zi It is assumed that the frequency of any one of the set of the typical frequency and the magnitude is fi2, and the magnitude is S2 (fi2). Here, a spectrum transition function ftrans1 (x) and a spectrum transition function ftrans2 (x) are obtained.
【0064】例えば、これらを最も簡単な線形関数で表
すとすると、以下のようになる。 ftrans1(x)=m1・x+b1 ftrans2(x)=m2・x+b2 ここで、 m1=RBi,2−RBi,1 b1=RBi,1 m2=RBi+1,2−RBi+1,1 b2=RBi+1,2 である。次に第1スペクトル・シェイプSS1上に実在
する周波数およびマグニチュードの組に対応する補間ス
ペクトル・シェイプ上の周波数およびマグニチュードの
組を求める。For example, if these are represented by the simplest linear function, the following is obtained. ftrans1 (x) = m1.x + b1 ftrans2 (x) = m2.x + b2 where m1 = RBi, 2-RBi, 1 b1 = RBi, 1 m2 = RBi + 1,2-RBi + 1,1 b2 = RBi + 1,2. Next, a set of frequency and magnitude on the interpolated spectrum shape corresponding to the set of frequency and magnitude actually existing on the first spectrum shape SS1 is determined.
【0065】まず、第1スペクトル・シェイプSS1上
に実在する周波数およびマグニチュードの組、具体的に
は、周波数fi1、マグニチュードS1(fi1)に対応す
る第2スペクトル・シェイプ上の周波数=fi1,2、マグ
ニチュード=S2(fi1,2)を以下のように算出する。First, a set of a frequency and a magnitude actually existing on the first spectrum shape SS1, specifically, a frequency fi1, a frequency on the second spectrum shape corresponding to the magnitude S1 (fi1) = fi1,2, The magnitude = S2 (fi1,2) is calculated as follows.
【数1】 ここで、 W1=RBi+1,1−RBi,1 W2=RBi+1,2−RBi,2 である。マグニチュード=S2(fi1,2)を算出するに
あたり、第2スペクトル・シェイプSS2上に実在する
周波数およびマグニチュードの組のうちで周波数=fi
1,2を挟むように最も近い周波数をそれぞれ、(+)、(-)
のサフィックスを付して表すとすると、(Equation 1) Here, W1 = RBi + 1,1-RBi, 1 W2 = RBi + 1,2-RBi, 2 In calculating the magnitude = S2 (fi1,2), the frequency = fi among the set of the frequency and the magnitude actually existing on the second spectrum shape SS2.
(+), (-)
If it is expressed with a suffix of
【数2】 となる。(Equation 2) Becomes
【0066】以上から、補間率=xとすると、第1スペ
クトル・シェイプSS1上に実在する周波数およびマグ
ニチュードの組に対応する補間スペクトル・シェイプ上
の周波数fi1,xおよびマグニチュードSx(fi1,x)は
以下の式で求められる。From the above, assuming that the interpolation ratio = x, the frequencies fi1, x and the magnitudes Sx (fi1, x) on the interpolated spectrum shape corresponding to the combination of the frequency and the magnitude actually existing on the first spectrum shape SS1 are It is obtained by the following equation.
【数3】 Sx(fi1,x)=S1(fi1)+{S2(fi1,2)−S1
(fi1)}・x同様にして、第1スペクトル・シェイプ
SS1上の全ての周波数およびマグニチュードの組に対
して算出する。続いて、第2スペクトル・シェイプSS
2上に実在する周波数およびマグニチュードの組に対応
する補間スペクトル・シェイプ上の周波数およびマグニ
チュードの組を求める。(Equation 3) Sx (fi1, x) = S1 (fi1) + {S2 (fi1,2) -S1
(Fi1)} · x Similarly, calculation is performed for all frequency and magnitude pairs on the first spectral shape SS1. Subsequently, the second spectrum shape SS
2. A set of frequencies and magnitudes on the interpolated spectrum shape corresponding to the set of frequencies and magnitudes actually existing on 2 is obtained.
【0067】まず、第2スペクトル・シェイプSS2上
に実在する周波数およびマグニチュードの組、具体的に
は、周波数fi2、マグニチュードS2(fi2)に対応す
る第1スペクトル・シェイプ上の周波数=fi1,1、マグ
ニチュード=S1(fi1,1)を以下のように算出する。First, a set of frequencies and magnitudes existing on the second spectrum shape SS2, specifically, a frequency fi2, a frequency on the first spectrum shape corresponding to the magnitude S2 (fi2) = fi1,1, The magnitude = S1 (fi1,1) is calculated as follows.
【数4】 ここで、 W1=RBi+1,1−RBi,1 W2=RBi+1,2−RBi,2 である。マグニチュード=S1(fi1,1)を算出するに
あたり、第1スペクトル・シェイプSS1上に実在する
周波数およびマグニチュードの組のうちで周波数=fi
2,1を挟むように最も近い周波数をそれぞれ、(+)、(-)
のサフィックスを付して表すとすると、(Equation 4) Here, W1 = RBi + 1,1-RBi, 1 W2 = RBi + 1,2-RBi, 2 In calculating the magnitude = S1 (fi1,1), the frequency = fi among the set of the frequency and the magnitude actually existing on the first spectrum shape SS1.
(+), (-)
If it is expressed with a suffix of
【数5】 となる。(Equation 5) Becomes
【0068】以上から、補間率=xとすると、第2スペ
クトル・シェイプSS2上に実在する周波数およびマグ
ニチュードの組に対応する補間スペクトル・シェイプ上
の周波数fi2,xおよびマグニチュードSx(fi2,x)は
以下の式で求められる。From the above, assuming that the interpolation ratio = x, the frequency fi2, x and the magnitude Sx (fi2, x) on the interpolated spectrum shape corresponding to the combination of the frequency and the magnitude actually existing on the second spectrum shape SS2 are It is obtained by the following equation.
【数6】 Sx(fi2,x)=S2(fi2)+{S2(fi2)−S1(f
i1,2)}・(x−1)同様にして、第2スペクトル・シ
ェイプSS2上の全ての周波数およびマグニチュードの
組に対して算出する。(Equation 6) Sx (fi2, x) = S2 (fi2) + {S2 (fi2) -S1 (f
i1,2)} · (x−1) Similarly, calculation is performed for all frequency and magnitude pairs on the second spectrum shape SS2.
【0069】上述したように第1スペクトル・シェイプ
SS1上に実在する周波数fi1およびマグニチュードS
1(fi1)の組に対応する第2スペクトル・シェイプS
S2上に実在する周波数fi1,2およびマグニチュードS
2(fi1,2)並びに第2スペクトル・シェイプSS2上
に実在する周波数fi2およびマグニチュードS2(fi
2)の組に対応する補間スペクトル・シェイプ上の周波
数fi2,xおよびマグニチュードSx(fi2,x)の全ての
算出結果を周波数順に並び替えることにより、補間スペ
クトル・シェイプを求める。As described above, the frequency fi1 and the magnitude S1 actually existing on the first spectrum shape SS1 are used.
The second spectral shape S corresponding to the set of 1 (fi1)
The actual frequencies fi1,2 and magnitude S existing on S2
2 (fi1,2) and the actual frequency fi2 and magnitude S2 (fi) on the second spectral shape SS2.
An interpolation spectrum shape is obtained by rearranging all the calculation results of the frequency fi2, x and the magnitude Sx (fi2, x) on the interpolation spectrum shape corresponding to the set 2) in order of frequency.
【0070】これらを全ての領域Z1、Z2、……につい
て行い、前周波数帯域の補間スペクトル・シェイプを算
出する。上述したアンカー・ポイントを用いるスペクト
ル補間の例においては、スペクトル遷移関数ftrans1
(x)、ftrans2(x)を線形な関数としたが、二次関
数、指数関数など非線形な関数として定義あるいは関数
に対応する変化をテーブルとして用意するように構成す
ることも可能である。These operations are performed for all the regions Z1, Z2,... To calculate the interpolation spectrum shape of the previous frequency band. In the above example of spectral interpolation using anchor points, the spectral transition function ftrans1
Although (x) and ftrans2 (x) are linear functions, it is also possible to define as a non-linear function such as a quadratic function or an exponential function or to prepare a change corresponding to the function as a table.
【0071】次に、3つ以上存在するインストゥルメン
トを上述したアンカー・ポイントを用いるスペクトル補
間によって補間する方法を具体的に説明する。まず、3
つ以上存在するインストゥルメントを、2つで一組とな
るインストゥルメントの組に分け、それぞれの組に含ま
れる2つのインストゥルメントのスペクトル・シェイプ
に対する補間を実行して各組ごとの補間スペクトル・シ
ェイプを得る。そして、補間によって得られた補間スペ
クトル・シェイプを、さらに2つで一組となるスペクト
ル・シェイプの組に分け、それぞれの組に含まれる2つ
のスペクトル・シェイプに対する補間を実行して各組ご
との補間スペクトル・シェイプを求め、最終的に一つの
補間スペクトル・シェイプが得られるまで当該補間処理
を繰り返す。上述した補間処理をn種のインストゥルメ
ントに対して行うと、“n−1”回の補間を実行するこ
ととなる。なお、上記組分けをする際に、組にすること
ができず余ってしまったスペクトル・シェイプについて
は、今回のステップにおいては補間処理をせずに、次回
のステップにおいて補間処理を行えばよい。Next, a method for interpolating three or more instruments by spectral interpolation using the above-described anchor points will be specifically described. First, 3
One or more existing instruments are divided into a set of two instruments, and interpolation is performed on the spectral shape of the two instruments included in each set to perform interpolation for each set. Get the spectral shape. Then, the interpolated spectrum shape obtained by the interpolation is further divided into two sets of spectrum shapes that are one set, and interpolation is performed on the two spectrum shapes included in each set, and each set of the spectrum shapes is executed. An interpolation spectrum shape is obtained, and the interpolation process is repeated until one interpolation spectrum shape is finally obtained. When the above-described interpolation processing is performed on n types of instruments, "n-1" times of interpolation will be performed. It should be noted that when performing the above grouping, the remaining spectral shapes that cannot be grouped may be subjected to interpolation processing in the next step without performing interpolation processing in this step.
【0072】上述した補間処理について、図8を参照し
てさらに具体的に説明すると、例えば、ギター、ピアノ
およびフルートの3つのインストゥルメントに対するス
ペクトル補間を行う場合には、まず、1回目の補間処理
として、ギターのスペクトル・シェイプ8aと、ピアノ
のスペクトル・シェイプ8bとを組にして、当該二つの
スペクトル・シェイプに対するスペクトル補間を実行
し、補間スペクトル・シェイプ8dを得る。次に、2回
目の補間処理として、補間スペクトル・シェイプ8d
と、1回目の補間処理において補間が行われなかったフ
ルートのスペクトル・シェイプ8cとを組にして、当該
二つのスペクトル・シェイプに対するスペクトル補間を
実行し、最終的に一つの補間スペクトル・シェイプとな
る補間スペクトル・シェイプ8dを得る。このように、
補間処理を3つのインストゥルメントに対して行うと、
補間を2回実行することとなる。The above-mentioned interpolation processing will be described more specifically with reference to FIG. 8. For example, when performing spectral interpolation for three instruments of guitar, piano, and flute, first, the first interpolation is performed. As processing, a spectrum shape 8a of a guitar and a spectrum shape 8b of a piano are paired, and spectrum interpolation is performed on the two spectrum shapes to obtain an interpolated spectrum shape 8d. Next, as the second interpolation processing, an interpolation spectrum shape 8d
And a spectrum shape 8c of the flute that has not been interpolated in the first interpolation processing, and performs spectrum interpolation on the two spectrum shapes, and finally forms one interpolated spectrum shape. An interpolated spectrum shape 8d is obtained. in this way,
When interpolation is performed on three instruments,
Interpolation will be performed twice.
【0073】また、補間処理部13は、分析データ抽出
部11によって残差成分が抽出されている場合には、以
下に記載する補間処理を行ってから、先に求めた補間ス
ペクトル・シェイプに付加する。ただし、残差成分の補
間処理を行うか否かについては、ユーザが予め設定する
ことができ、分析データ抽出部11は、予め設定された
設定値にしたがって、残差成分の補間処理を行う。When the analysis data extraction unit 11 has extracted the residual component, the interpolation processing unit 13 performs the interpolation processing described below, and then adds the residual component to the interpolation spectrum shape obtained earlier. I do. However, whether or not to perform the interpolation process of the residual component can be set in advance by the user, and the analysis data extraction unit 11 performs the interpolation process of the residual component according to a preset setting value.
【0074】ここで、残差成分の補間処理について説明
する。まず、補間処理部13は、各インストゥルメント
ごとの補間情報信号に基づいて、分析データ抽出部11
によって抽出された残差成分の線形補間を行い、各イン
ストゥルメント単位の補間残差成分を生成する。次に、
補間処理部13は、複数のインストゥルメント間におけ
る補間残差成分を上述したスペクトル・シェイプを補間
するときと同様に補間する。Here, the interpolation process of the residual component will be described. First, the interpolation processing unit 13 analyzes the analysis data extraction unit 11 based on the interpolation information signal for each instrument.
Linear interpolation of the residual components extracted by the above is performed to generate an interpolated residual component for each instrument. next,
The interpolation processing unit 13 interpolates an interpolation residual component between a plurality of instruments in the same manner as when the above-described spectral shape is interpolated.
【0075】また、周波数合成処理部14は、補間処理
部13において出力された新たな周波数成分に対して逆
フーリエ変換およびオーバーラップ処理を行うことによ
って新たな周波数信号を生成する。ここで、本実施形態
におけるオーバーラップ処理とは、フレーム単位に分割
されている周波数信号の両端をなめらかに補正して、フ
レームをつなぎ合わせたときに歪みが生じないようにす
る処理をいう。そして、エンベローブ処理部15は、周
波数合成処理部14によって出力された新たな周波数信
号に対して、エンベローブを付加することにより出力楽
音信号を生成し、出力部16によって当該出力楽音信号
が出力される。Further, the frequency synthesis processing unit 14 generates a new frequency signal by performing an inverse Fourier transform and an overlap process on the new frequency component output from the interpolation processing unit 13. Here, the overlap process in the present embodiment refers to a process of smoothly correcting both ends of a frequency signal divided in a frame unit so that no distortion occurs when frames are connected. Then, the envelope processing unit 15 generates an output tone signal by adding an envelope to the new frequency signal output by the frequency synthesis processing unit 14, and the output unit 16 outputs the output tone signal. .
【0076】[1.4]第1実施形態の効果 上述した実施形態によると、補間処理部13によって、
複数のインストゥルメントのスペクトル・シェイプを組
み合わせて補間して行くことによって、最終的に1つの
補間スペクトル・シェイプにすることができる。したが
って、複数のインストゥルメントから発音された発音情
報の補間処理を行うことが可能となる。[1.4] Effect of First Embodiment According to the above-described embodiment, the interpolation processing unit 13
By combining and interpolating the spectral shapes of a plurality of instruments, it is possible to end up with one interpolated spectral shape. Therefore, it is possible to perform the interpolation processing of the sound generation information generated from a plurality of instruments.
【0077】[1.5]第1実施形態の変形例 [1.5.1]第1変形例 なお、上述した第1実施形態においては、分析データ記
憶部に記憶されている全てのフォルマント・シェイプ
が、インストゥルメントからサンプリングされた楽音波
形によって作成されているが、インストゥルメントの特
徴的な音のみをサンプリングし、サンプリングされた楽
音波形によっては直接作成されることのないフォルマン
ト・シェイプのみを、サンプリングされた楽音波形によ
って作成されたフォルマント・シェイプを補間すること
によって作成してもよい。[1.5] Modification of First Embodiment [1.5.1] First Modification In the first embodiment described above, all the formants stored in the analysis data storage section are stored. The shape is created by a musical sound sample sampled from the instrument, but only the characteristic sound of the instrument is sampled, and only the formant shape that is not directly created by the sampled musical sound waveform May be created by interpolating the formant shapes created by the sampled musical sound waveforms.
【0078】また、インストゥルメントの特徴的な音の
みをサンプリングし、サンプリングされた楽音波形によ
っては直接作成されることのないフォルマント・シェイ
プについては、楽音を生成するときに、補間処理部にお
いて、サンプリングされた楽音波形によって作成された
フォルマント・シェイプをリアルタイムに補間すること
によって作成するようにしてもよい。Further, only the characteristic sound of the instrument is sampled, and for a formant shape which is not directly created depending on the sampled musical sound waveform, when the musical sound is generated, the interpolation processing section The formant shape created by the sampled musical sound waveform may be created by interpolating in real time.
【0079】[1.5.2]第2変形例 また、上述した第1実施形態においては、ユーザにより
設定された補間情報に基づいて補間処理などを行ってい
るが、MIDIデータにより生成された音色を選択し、
当該音色を生成したMIDIデータに基づいて補間情報
を生成して、その補間情報に基づいて補間処理などを行
ってもよい。図5に第3変形例における楽音処理装置
1’の概要構成ブロック図を示す。図5において図1の
第1実施形態と異なる点は、図5の第3変形例において
は、図1の第1実施形態における構成要素に加えて、さ
らに、MIDI音色選択部41、MIDI補間情報記憶
部42、変更入力部43および補間情報生成部44が備
えられている点である。[1.5.2] Second Modification In the above-described first embodiment, interpolation processing and the like are performed based on interpolation information set by a user. Select a tone,
Interpolation information may be generated based on the MIDI data that generated the tone color, and interpolation processing or the like may be performed based on the interpolation information. FIG. 5 is a schematic block diagram of a tone processing apparatus 1 'according to a third modification. The difference between FIG. 5 and the first embodiment of FIG. 1 is that, in the third modified example of FIG. 5, in addition to the components in the first embodiment of FIG. It is provided with a storage unit 42, a change input unit 43, and an interpolation information generation unit 44.
【0080】具体的に説明すると、楽音処理装置1’
は、楽音処理装置1に備えられている各構成要素に加
え、予めプリセットされているMIDIデータにより生
成された音色がユーザによって選択された場合に、当該
音色に対応するMIDIメッセージを発行するMIDI
メッセージ選択部41と、MIDIデータにより生成さ
れた音色を生成する際に設定されたMIDIデータのM
IDI補間情報を記憶しているMIDI補間情報記憶部
42と、プリセットされている音色の各発音状態(立ち
上がり状態、定常状態、開放状態)の割合および当該音
色のエンベローブ情報などを変更する場合に、それらの
変更データを入力する変更入力部43と、MIDIメッ
セージ選択部41から発行されたMIDIメッセージに
基づいてMIDI補間情報記憶部42に記憶されている
MIDI補間情報を抽出して補間情報を生成するととも
に、変更入力部43から入力された変更データにしたが
って当該補間情報を変更する補間情報生成部44とを備
えて構成されている。More specifically, the tone processing device 1 '
Is a MIDI which issues a MIDI message corresponding to a tone when a tone generated by preset MIDI data is selected by a user, in addition to the components provided in the tone processing apparatus 1.
The message selection unit 41 and the M of the MIDI data set when the tone generated by the MIDI data is generated.
When changing the MIDI interpolation information storage unit 42 storing the IDI interpolation information, the ratio of each tone generation state (rising state, steady state, open state) of the preset timbre, and the envelope information of the timbre, Based on the MIDI message issued from the MIDI message selecting unit 41, the MIDI input information stored in the MIDI interpolation information storage unit 42 is extracted to generate interpolation information. And an interpolation information generation unit 44 that changes the interpolation information in accordance with the change data input from the change input unit 43.
【0081】ここで、MIDIメッセージと補間情報と
の間において設定されている各種の対応付けについて説
明する。まず、MIDIメッセージのProgram Changeメ
ッセージにおいては、プリセットされている音色に対し
て、予め定められた補間情報を対応付け、この対応関係
をMIDI補間情報記憶部42に記憶しておく。これに
より、MIDI選択部41からプリセットされている音
色が選択されると、選択された音色のProgram Changeメ
ッセージが発行され、補間情報生成部44においては、
当該メッセージに対応した補間情報をMIDI補間情報
記憶部42から抽出して補間情報を生成する。Here, various associations set between the MIDI message and the interpolation information will be described. First, in the Program Change message of the MIDI message, predetermined interpolation information is associated with a preset tone color, and this correspondence is stored in the MIDI interpolation information storage unit 42. As a result, when a preset tone is selected from the MIDI selecting unit 41, a Program Change message of the selected tone is issued, and the interpolation information generating unit 44
The interpolation information corresponding to the message is extracted from the MIDI interpolation information storage unit 42 to generate interpolation information.
【0082】次に、MIDIメッセージのControl Chan
geメッセージにおいては、プリセットされている音色の
各発音状態(立ち上がり状態、定常状態、開放状態)の
割合を決定するパラメータ値およびエンベローブ情報を
決定するパラメータ値等に対して、それらのパラメータ
値を変更するための変更データを受け付けて変更される
ように設定しておく。これにより、変更入力部43か
ら、プリセットされている音色の各発音状態(立ち上が
り状態、定常状態、開放状態)の割合および当該音色の
エンベローブ情報を変更させる変更データが入力される
と、プリセットされた音色のControl Changeメッセージ
が発行され、当該メッセージを受け付けた補間情報生成
部44では、MIDIメッセージ選択部41によって選
択された音色の各発音状態の割合およびエンベローブ情
報をリアルタイムに変更することができる。Next, the MIDI message Control Chan
In the ge message, these parameter values are changed with respect to the parameter value that determines the ratio of each of the preset tone colors (rising state, steady state, open state) and the parameter value that determines the envelope information. Is set so as to receive the change data for performing the change. Thus, when the change input unit 43 receives change data for changing the ratio of each sounding state (rising state, steady state, open state) of the preset tone and the envelope information of the preset tone, the preset is performed. When the control change message of the timbre is issued and the interpolation information generating unit 44 receives the message, the interpolation information generating unit 44 can change the ratio of each sounding state of the timbre selected by the MIDI message selecting unit 41 and the envelope information in real time.
【0083】また、MIDIメッセージのControl Chan
geメッセージにおいては、補間情報に含まれる各補間率
を記憶しているパラメータに対して、Contorol Change
Numberパラメータを対応付けて設定しておく。これによ
り、変更入力部43から、各補間率を変更させる変更デ
ータが入力されると、Control Changeメッセージが発行
され、MIDIメッセージ選択部41によって選択され
た音色に対する各補間率をリアルタイムに変更すること
ができる。Also, the MIDI message Control Chan
In the ge message, for the parameter that stores each interpolation rate included in the interpolation information, the Control Change
Set the Number parameter in association with it. Accordingly, when change data for changing each interpolation rate is input from the change input unit 43, a Control Change message is issued, and each interpolation rate for the timbre selected by the MIDI message selection unit 41 is changed in real time. Can be.
【0084】次に、MIDIメッセージのNote On/Off
メッセージにおいては、Note Velocityパラメータに対
して、生成される楽音波形のアンプリチュードを対応付
けるとともに、Note Keyパラメータに対して、生成され
る楽音波形のピッチを対応付けて、設定しておく。これ
により、変更入力部43から、生成される楽音波形のア
ンプリチュードあるいはピッチの値が入力されると、No
te On/Offメッセージが発行され、出力される楽音波形
のアンプリチュードあるいはピッチをリアルタイムに変
更することができる。Next, note on / off of the MIDI message
In the message, the amplitude of the generated tone waveform is associated with the Note Velocity parameter, and the pitch of the generated tone waveform is associated with the Note Key parameter and set. As a result, when the amplitude or pitch value of the generated tone waveform is input from the change input unit 43, the No.
A te On / Off message is issued, and the amplitude or pitch of the output tone waveform can be changed in real time.
【0085】また、MIDIメッセージのNote On/Off
メッセージにおいて、Note Velocityパラメータに対し
て、補間させたいアンプリチュードを対応付けるととも
に、Note Keyパラメータに対して、補間させたいピッチ
を対応付けて設定しておき、Note Velocityパラメータ
に対応付けられたアンプリチュードに基づいて分析デー
タ記憶部12に記憶されているアンプリチュード区分を
検索してフォルマント・シェイプを抽出したり、Note K
eyパラメータに対応付けられているピッチに基づいて分
析データ記憶部12に記憶されているピッチ区分を検索
してフォルマント・シェイプを抽出したりしてもよい。
これによって、インストゥルメントの楽音に対して、よ
り現実的な楽音を生成することができる。Also, note on / off of MIDI message
In the message, the amplitude to be interpolated is associated with the Note Velocity parameter, the pitch to be interpolated is set with the Note Key parameter, and the amplitude associated with the Note Velocity parameter is set. The formant shape is extracted by searching the amplitude division stored in the analysis data storage unit 12 based on the
The formant shape may be extracted by searching the pitch division stored in the analysis data storage unit 12 based on the pitch associated with the ey parameter.
This makes it possible to generate a more realistic musical sound for the musical sound of the instrument.
【0086】次に、MIDIメッセージのPitch Bendメ
ッセージにおいては、Pitch Bendパラメータに対して、
生成された楽音波形のピッチを対応付けて設定してお
く。これにより、変更入力部43から、生成される楽音
波形のピッチの値が入力されると、Pitch Bendメッセー
ジが発行され、出力される楽音信号のピッチをリアルタ
イムに変更することができる。Next, in the Pitch Bend message of the MIDI message, the Pitch Bend parameter
The pitches of the generated musical sound waveforms are set in association with each other. Thus, when the pitch value of the generated tone waveform is input from the change input unit 43, a Pitch Bend message is issued, and the pitch of the output tone signal can be changed in real time.
【0087】[2]第2実施形態 次に、本発明の第2実施形態について説明する。本第2
実施形態は、第1実施形態において記載した楽音処理装
置をカラオケ装置に適用し、入力されたボーカル音声に
対して新たに生成された楽音とのモーフィング処理を行
うことが可能なカラオケ装置として構成した場合の例で
ある。本第2実施形態が第1実施形態と異なる点は、第
1実施形態の楽音処理装置においては、外部から入力さ
れた発音情報をユーザにより設定された補間情報に基づ
いて補間することによって楽音を生成していたが、本第
2実施形態においては、歌唱者によって入力された音声
情報と、補間処理部によって生成された楽音情報とをモ
ーフィング処理することによって新たな楽音信号を生成
している点である。[2] Second Embodiment Next, a second embodiment of the present invention will be described. Book second
In the embodiment, the musical sound processing device described in the first embodiment is applied to a karaoke device, and is configured as a karaoke device capable of performing a morphing process on a newly generated musical sound for an input vocal sound. This is an example of the case. The second embodiment is different from the first embodiment in that the tone processing apparatus according to the first embodiment interpolates tone information input from the outside based on interpolation information set by a user to generate a tone. However, in the second embodiment, a new tone signal is generated by performing morphing processing on voice information input by a singer and tone information generated by an interpolation processing unit. It is.
【0088】[2.1]楽音処理装置の概要構成 図6に、第2実施形態の楽音処理装置の概要構成ブロッ
ク図を示す。図6において図1の第1実施形態と同様の
部分には同一の符号を付し、その詳細な説明を省略す
る。楽音処理装置10は、分析データ記憶部12と、分
析データ抽出部11と、補間処理部13と、歌唱者の音
声が入力され、歌唱信号を出力する歌唱信号入力部31
と、歌唱信号のSMS分析を行ってスペクトル・シェイ
プ(音声正弦波成分に該当)、残差成分(音声残差成分
に該当)、ピッチおよびアンプリチュードなどを出力す
るSMS分析部32と、補間処理部13によって出力さ
れた補間スペクトル・シェイプ等とSMS分析部32に
よって出力された歌唱信号のスペクトル・シェイプ等と
を外部より入力された合成割合データなどを含むモーフ
ィング情報に基づいてモーフィング処理を行うモーフィ
ング処理部33と、モーフィング処理によって生成され
た新たな周波数信号に対して逆高速フーリエ変換(IF
FT)およびオーバーラップ処理を行う周波数合成処理
部14と、出力部16とを備えて構成されている。[2.1] Schematic Configuration of Music Processing Device FIG. 6 is a block diagram showing a schematic configuration of a music processing device according to the second embodiment. 6, the same components as those in the first embodiment of FIG. 1 are denoted by the same reference numerals, and the detailed description thereof will be omitted. The musical sound processing device 10 includes an analysis data storage unit 12, an analysis data extraction unit 11, an interpolation processing unit 13, and a singing signal input unit 31 that receives a singer's voice and outputs a singing signal.
An SMS analysis unit 32 that performs an SMS analysis of the singing signal and outputs a spectrum shape (corresponding to a voice sine wave component), a residual component (corresponding to a voice residual component), a pitch, an amplitude, and the like, and an interpolation process A morphing process for performing a morphing process on the basis of morphing information including synthesis ratio data input from the outside with the interpolated spectrum shape and the like output by the unit 13 and the spectrum shape and the like of the singing signal output by the SMS analysis unit 32 The processing unit 33 performs an inverse fast Fourier transform (IF) on the new frequency signal generated by the morphing process.
It is configured to include a frequency synthesis processing unit 14 that performs FT) and overlap processing, and an output unit 16.
【0089】[2.2]楽音処理装置の各部の構成 [2.2.1]SMS分析部 SMS分析部32は、歌唱信号入力部31によって入力
された歌唱信号に対して窓関数を乗ずることによって得
られるフレームを抽出し、次に、抽出したフレームに対
して高速フーリエ変換(FFT)を行うことによって得
られる周波数スペクトルから、正弦波成分と残差成分と
を抽出する。そして、SMS分析部32は、正弦波成分
と残差成分とをモーフィング処理部33に対して出力す
るとともに、歌唱信号のうち音の名前や長さなど表すデ
ータを発音情報として分析データ抽出部11に対して出
力する。[2.2] Configuration of Each Unit of the Musical Sound Processing Device [2.2.1] SMS Analysis Unit The SMS analysis unit 32 multiplies the singing signal input by the singing signal input unit 31 by a window function. Then, a sine wave component and a residual component are extracted from a frequency spectrum obtained by performing fast Fourier transform (FFT) on the extracted frame. Then, the SMS analysis unit 32 outputs the sine wave component and the residual component to the morphing processing unit 33, and also uses the data representing the name and length of the sound in the singing signal as the pronunciation information as the analysis data extraction unit 11 Output to
【0090】[2.2.2]モーフィング処理部 モーフィング処理部33は、補間処理部13によって出
力された補間スペクトル・シェイプおよびSMS分析部
32によって出力された歌唱信号のスペクトル・シェイ
プ並びに外部より入力されたモーフィング情報に含まれ
るスペクトル・シェイプをモーフィングするモーフィン
グ度に基づいてモーフィング処理を行い、モーフィング
情報に応じた所望のスペクトル・シェイプ、ピッチおよ
びアンプリチュードを有する新たな周波数成分を生成す
る。ここで、モーフィング情報には、例えば、モーフィ
ング処理の対象となる音のスペクトル・シェイプあるい
は残差成分をそれぞれモーフィング処理する際のモーフ
ィング度、および、ピッチあるいはアンプリチュードの
各値をモーフィング処理の対象となる音のうちのどちら
の値に合わせるか等が含まれる。[2.2.2] Morphing Processing Unit The morphing processing unit 33 includes an interpolation spectrum shape output by the interpolation processing unit 13, a singing signal spectrum shape output by the SMS analysis unit 32, and an external input. A morphing process is performed based on a morphing degree for morphing a spectrum shape included in the obtained morphing information, and a new frequency component having a desired spectrum shape, pitch, and amplitude according to the morphing information is generated. Here, the morphing information includes, for example, the morphing degree at the time of morphing the spectral shape or the residual component of the sound to be subjected to the morphing processing, and each value of the pitch or the amplitude as the morphing processing target. Which value of the sound to match is included.
【0091】また、モーフィング度は、例えば、2つの
音に関するモーフィング処理を行う場合において、一方
の音のみが出力されるモーフィング度を“0”と設定
し、他方の音のみが出力されるモーフィング度を“1”
と設定した場合に、当該モーフィング度を“0”から
“1”の間で変化させることによって当該2音のうち、
どちらの音にどの程度似せるかというモーフィングの度
合いを調整する値である。具体的には、例えば、ギター
の音色と、ボーカル音声とのモフィング処理を行う場合
において、ギターの音色のみが出力されるモーフィング
度を“0”と設定し、ボーカル音声のみが出力されるモ
ーフィング度を“1”と設定した場合に、モーフィング
度を“0.3”と設定した場合には、ギターの音色とボ
ーカル音声とが“7:3”の割合でモーフィングされ、
ボーカル音声よりもギターの音色に似た楽音が出力され
る。For example, when performing morphing processing on two sounds, the morphing degree at which only one sound is output is set to “0”, and the morphing degree at which only the other sound is output is set to “0”. To “1”
When the morphing degree is changed from “0” to “1”, the two
It is a value that adjusts the degree of morphing of which sound and how much it resembles. Specifically, for example, when performing a morphing process between a guitar tone and a vocal sound, the morphing degree at which only the guitar tone is output is set to “0”, and the morphing degree at which only the vocal sound is output. Is set to “1”, the morphing degree is set to “0.3”, the timbre of the guitar and the vocal sound are morphed at a ratio of “7: 3”,
A tone that is more similar to the tone of a guitar than a vocal voice is output.
【0092】[2.3]第2実施形態の動作 本第2実施形態の動作は、主要部の動作以外は、第1実
施形態と同様であるため、主要部の動作のみを説明す
る。まず、歌唱信号入力部31によって信号入力処理が
行われ、歌唱者の歌った音声信号を入力する。次に、S
MS分析部32は、歌唱信号入力部31を介して入力さ
れた音声信号をSMS分析して、音声信号のスペクトル
・シェイプ、ピッチ、アンプリチュード等を抽出する。
分析データ抽出部11は、ユーザにより設定された3つ
以上のインストゥルメントに関する補間情報とSMS分
析部32によって出力された発音情報とに基づいて分析
データ記憶部12を検索して、分析データを抽出すると
ともに、抽出した分析データを補間処理部13に対して
出力する。[2.3] Operation of Second Embodiment The operation of the second embodiment is the same as that of the first embodiment except for the operation of the main part. Therefore, only the operation of the main part will be described. First, a signal input process is performed by the singing signal input unit 31, and a voice signal sung by the singer is input. Next, S
The MS analysis unit 32 performs an SMS analysis on the audio signal input via the singing signal input unit 31, and extracts the spectrum shape, pitch, amplitude, and the like of the audio signal.
The analysis data extraction unit 11 searches the analysis data storage unit 12 based on interpolation information on three or more instruments set by the user and the pronunciation information output by the SMS analysis unit 32, and analyzes the analysis data. The extracted analysis data is output to the interpolation processing unit 13 while being extracted.
【0093】そして、モーフィング処理部33では、補
間処理部13によって出力された補間スペクトル・シェ
イプおよび補間残差成分と、SMS分析部32によって
抽出された歌唱信号のスペクトル・シェイプおよび残差
成分との間においてモーフィング処理を行う。ここで、
モーフィング処理部33は、モーフィング処理を行う際
に、外部より入力されたモーフィング情報に含まれるモ
ーフィングを行う際の合成割合データなどにしたがって
モーフィング処理を行う。そして、周波数合成処理部1
4は、モーフィング処理部33によって出力された新た
な周波数成分に対して逆高速フーリエ変換(IFFT)
およびオーバーラップ処理を行う。Then, the morphing processing section 33 compares the interpolation spectrum shape and the interpolation residual component output by the interpolation processing section 13 with the spectrum shape and the residual component of the singing signal extracted by the SMS analysis section 32. The morphing process is performed in between. here,
When performing the morphing process, the morphing processing unit 33 performs the morphing process according to the combination ratio data for performing the morphing included in the morphing information input from the outside. Then, the frequency synthesis processing unit 1
4 is an inverse fast Fourier transform (IFFT) for the new frequency component output by the morphing processing unit 33
And an overlap process.
【0094】[2.4]第2実施形態の効果 上述した実施形態によると、モーフィング処理部33に
よって、ボーカル音声信号と、3つ以上のインストゥル
メントに対する補間情報信号に基づいて生成された新た
な楽音信号とを任意の割合でモーフィングすることがで
きるため、ボーカル音に対して、今までにないような新
たな楽音とのモーフィングが可能となり、より新鮮な楽
音信号を生成することができる。[2.4] Effect of Second Embodiment According to the above-described embodiment, the morphing processing unit 33 generates a new vocal sound signal and a new interpolation information signal generated for three or more instruments. Since the morphing of the vocal sound can be morphed with a new musical tone like never before, a more fresh musical tone signal can be generated.
【0095】[2.5]第2実施形態の変形例 なお、上述した第2実施形態においては、モーフィング
処理部33によってモーフィング処理された楽音信号を
出力しているが、図7に示すように、モーフィング処理
部33を備えずに、補間処理部13によって出力された
補間スペクトル・シェイプ等と、SMS分析部32によ
って抽出された歌唱信号のスペクトル・シェイプ等とを
周波数合成処理部14に対して別々に入力して周波数合
成処理を行い、生成された楽音信号および音声信号を出
力部16において混合してから出力してもよい。この場
合において、出力部16は、楽音信号と音声信号とを混
合するためのミキサーを備えることとしてもよい。な
お、第2実施形態と同様にモーフィング処理部33を備
え、補間処理部13によって出力された補間スペクトル
・シェイプ等を周波数合成処理部14によって楽音信号
を生成するとともに、当該楽音信号と、モーフィング処
理部33によってモーフィング処理された後、周波数合
成処理部14によって生成された楽音信号とを出力部1
6において混合してから出力してもよい。[2.5] Modification of Second Embodiment In the above-described second embodiment, the morphing processing section 33 outputs the morphed tone signal, but as shown in FIG. , Without the morphing processing section 33, the interpolation spectrum shape and the like output by the interpolation processing section 13 and the spectrum shape and the like of the singing signal extracted by the SMS analysis section 32 to the frequency synthesis processing section 14. The signals may be separately input to perform frequency synthesis processing, and the generated tone signal and audio signal may be mixed at the output unit 16 and then output. In this case, the output unit 16 may include a mixer for mixing the tone signal and the audio signal. A morphing processing unit 33 is provided similarly to the second embodiment, and a tone signal is generated by the frequency synthesis processing unit 14 using the interpolation spectrum / shape output by the interpolation processing unit 13, and the tone signal and the morphing process are performed. After the morphing process by the unit 33, the tone signal generated by the frequency synthesis processing unit 14 is output to the output unit 1.
6 and may be output after mixing.
【0096】また、補間処理部13において、補間スペ
クトル・シェイプのピッチを、SMS分析部32から入
力された発音情報のピッチに対して予め定められた割合
により算出されたピッチに変更するようにしてもよい。
さらに、ピッチを変更する前後の補間スペクトル・シェ
イプを別々に処理をして出力するようにしてもよい。こ
の変形例によって、補間された楽音信号と歌唱者によっ
て入力された音声信号とによる2つのハーモニーあるい
は3つ以上のハーモニーを実現することができる。The interpolation processing unit 13 changes the pitch of the interpolation spectrum shape to a pitch calculated by a predetermined ratio with respect to the pitch of the pronunciation information input from the SMS analysis unit 32. Is also good.
Further, the interpolated spectrum shapes before and after changing the pitch may be separately processed and output. According to this modification, two harmony or three or more harmony by the interpolated tone signal and the voice signal input by the singer can be realized.
【0097】[3]変形例 [3.1]第1変形例 なお、上述した各実施形態において、多次元補間情報
は、ユーザによって設定されることに限らず、プリセッ
ト音色として保持するようにしてもよいし、ユーザが適
宜にボイシングして変更できるようにしてもよい。ま
た、コントローラによってリアルタイムに変更すること
ができるようにしてもよい。[3] Modified Example [3.1] First Modified Example In each of the above-described embodiments, the multidimensional interpolation information is not limited to being set by the user, but is held as a preset tone color. Alternatively, the user may appropriately change the voice by voicing. Further, the change may be made in real time by the controller.
【0098】[3.2]第2変形例 また、上述した各実施形態においては、3つ以上のイン
ストゥルメントに関する補間情報に限定しているが、従
来と同様、2つのインストゥルメントに関する補間情報
の場合にも適用が可能である。[3.2] Second Modification In each of the embodiments described above, the interpolation information is limited to three or more instruments. It can be applied to information.
【0099】[0099]
【発明の効果】上述したように本発明によれば、3つ以
上のスペクトル・シェイプを補間することが可能とな
り、より多くの新しい楽音を生成することができる。ま
た、音色の発音状態に応じてスペクトル・シェイプの補
間を行うため、より自然な楽音を生成することができ
る。また、新しく生成された楽音と音声とを合成するこ
とが可能なため、より新鮮な楽音を生成することができ
る。As described above, according to the present invention, three or more spectral shapes can be interpolated, and more new musical tones can be generated. Further, since the interpolation of the spectrum shape is performed according to the tone generation state of the timbre, a more natural tone can be generated. Further, since a newly generated musical tone and voice can be synthesized, a fresher musical tone can be generated.
【図1】第1実施形態における楽音処理装置の概要構成
を示すブロック図である。FIG. 1 is a block diagram illustrating a schematic configuration of a musical sound processing device according to a first embodiment.
【図2】楽音処理装置における分析データ記憶部のファ
イル構造を示す図である。FIG. 2 is a diagram showing a file structure of an analysis data storage unit in the musical sound processing device.
【図3】楽音処理装置において行われるSMS分析を説
明する図である。FIG. 3 is a diagram illustrating an SMS analysis performed in the musical sound processing device.
【図4】楽音処理装置において行われるスペクトル補間
の手法を説明する図である。FIG. 4 is a diagram illustrating a technique of spectrum interpolation performed in the musical sound processing device.
【図5】第1実施形態の変形例における楽音処理装置の
概要構成を示すブロック図である。FIG. 5 is a block diagram illustrating a schematic configuration of a tone processing device according to a modification of the first embodiment.
【図6】第2実施形態における楽音処理装置の概要構成
を示すブロック図である。FIG. 6 is a block diagram illustrating a schematic configuration of a tone processing device according to a second embodiment.
【図7】第2実施形態の変形例における楽音処理装置の
概要構成を示すブロック図である。FIG. 7 is a block diagram illustrating a schematic configuration of a tone processing device according to a modification of the second embodiment.
【図8】楽音処理装置において行われるスペクトル補間
の具体例を説明する図である。FIG. 8 is a diagram illustrating a specific example of spectrum interpolation performed in the musical sound processing device.
【図9】楽音処理装置における分析データ記憶部の具体
例を説明する図である。FIG. 9 is a diagram illustrating a specific example of an analysis data storage unit in the musical sound processing device.
1、1’、10、10’……楽音処理装置、11……分
析データ抽出部、12……分析データ記憶部、13……
補間処理部、14……周波数合成処理部、15……エン
ベローブ処理部、16……出力部、31……歌唱信号入
力部、32……SMS分析部、33……モーフィング処
理部、41……MIDI音色選択部、42……MIDI
補間情報記憶部、43……変更入力部、44……補間情
報生成部1, 1 ', 10, 10' ... tone processing device, 11 ... analysis data extraction unit, 12 ... analysis data storage unit, 13 ...
Interpolation processing unit, 14 Frequency synthesis processing unit, 15 Envelope processing unit, 16 Output unit, 31 Singing signal input unit, 32 SMS analysis unit, 33 Morphing processing unit, 41 MIDI tone selection section, 42 MIDI
Interpolation information storage unit, 43 ... Change input unit, 44 ... Interpolation information generation unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ザビエル セラ スペイン バルセロナ 08002 メルセ 12 (72)発明者 ジョルディ ボナダ スペイン バルセロナ 08002 メルセ 12 Fターム(参考) 5D378 AA01 AD62 BB23 GG34 JC05 KK01 KK02 KK07 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Xavier Serra Spain Barcelona 08002 Merce 12 (72) Inventor Jordi Bonada Spain Barcelona 08002 Merce 12 F-term (reference) 5D378 AA01 AD62 BB23 GG34 JC05 KK01 KK07 KK07
Claims (37)
音のサンプリングデータを分析することによって得られ
た分析データを記憶する分析データ記憶手段と、 外部より入力された発音情報および3種以上のインスト
ゥルメントの音色に対応する1つの楽音信号を生成する
ために外部より入力された補間情報に基づいて、前記分
析データ記憶手段から3種以上のインストゥルメントに
対応する前記分析データを抽出する分析データ抽出手段
と、 前記分析データに対応するスペクトル・シェイプに基づ
いて補間処理を行い、1つの補間スペクトル・シェイプ
を生成する補間処理手段と、 前記補間スペクトル・シェイプに基づいて楽音信号を生
成し出力する楽音信号生成手段と、 を備えたことを特徴とする楽音処理装置。1. An analysis data storage means for storing analysis data obtained by analyzing sampling data of a sound generated in an instrument, and sound information and three or more kinds of instruments inputted from outside. Analysis data extraction for extracting the analysis data corresponding to three or more instruments from the analysis data storage means based on interpolation information input from the outside to generate one musical tone signal corresponding to the tone color of Means, interpolation processing means for performing an interpolation process based on a spectrum shape corresponding to the analysis data to generate one interpolation spectrum shape, and a tone for generating and outputting a tone signal based on the interpolation spectrum shape. A tone processing device comprising: signal generation means.
単位で周波数分析した結果得られた正弦波成分および残
差成分であることを特徴とする楽音処理装置。2. The tone processing apparatus according to claim 1, wherein said analysis data is a sine wave component and a residual component obtained as a result of frequency analysis of said sampling data on a frame basis. apparatus.
とに複数の発音状態に対応する前記正弦波成分および前
記残差成分を記憶していることを特徴とする楽音処理装
置。3. The musical tone processing device according to claim 2, wherein the analysis data storage means stores the sine wave component and the residual component corresponding to a plurality of tone generation states for each of the instruments. A tone processing device characterized by the following.
ある場合に、(n−1)回の前記補間処理を行うことを
特徴とする楽音処理装置。4. The musical sound processing apparatus according to claim 1, wherein said interpolation processing means performs (n-1) times of said interpolation processing when there are n types of said spectrum shapes. Processing equipment.
ごとの組に分ける組分け処理と、当該組ごとに行う前記
補間処理とを繰り返し行い、1つの補間スペクトル・シ
ェイプを生成することを特徴とする楽音処理装置。5. The musical sound processing apparatus according to claim 4, wherein the interpolation processing means repeatedly performs a grouping process of dividing the spectrum shape into two types of groups and the interpolation process performed for each group. A tone processing apparatus for generating one interpolation spectrum shape.
種ある場合には、前記組分け処理において、組分けるこ
とができなかったスペクトル・シェイプを、次回の組分
け処理において処理することを特徴とする楽音処理装
置。6. The musical sound processing device according to claim 5, wherein the interpolation processing means, when there are an odd number of the spectrum shapes, removes the spectrum shapes that could not be divided in the grouping process. A tone processing device for performing processing in the next grouping process.
いて前記補間処理を行うに際して、前記二つのスペクト
ル・シェイプ間におけるスペクトル・シェイプ遷移関数
を用いることを特徴とする楽音処理装置。7. The musical sound processing device according to claim 1, wherein the interpolation processing means performs a spectrum shape transition function between the two spectrum shapes when performing the interpolation process using the two spectrum shapes. A tone processing device characterized by being used.
め定義されていることを特徴とする楽音処理装置。8. The tone processing apparatus according to claim 7, wherein the transition function is defined in advance as a linear function or a non-linear function.
を周波数軸上でそれぞれ複数の領域に分け、各領域に属
する前記二つのスペクトル・シェイプ上の実在の周波数
およびマグニチュードの組に対し、前記遷移関数として
の線形関数を用いた前記補間処理を前記複数の領域にわ
たって行うことを特徴とする楽音処理装置。9. The musical sound processing apparatus according to claim 7, wherein said interpolation processing means divides said two spectral shapes into a plurality of regions on a frequency axis, respectively, and calculates said two spectral shapes belonging to each region. A tone processing apparatus for performing the interpolation process using a linear function as the transition function over the plurality of regions for a set of an actual frequency and a magnitude of the actual sound.
て、 前記補間処理手段は、前記各領域に属する一方のスペク
トル・シェイプの周波数である第1周波数および当該第
1周波数に対応する他方のスペクトル・シェイプの周波
数である第2周波数を前記線形関数を用いて補間するこ
とにより補間周波数を算出する周波数補間手段と、 前記各領域に属する一方のスペクトル・シェイプのマグ
ニチュードである第1マグニチュードおよび当該第1マ
グニチュードに対応する他方のスペクトル・シェイプの
マグニチュードである第2マグニチュードを前記線形関
数を用いて補間するマグニチュード補間手段と、 を備えたことを特徴とする楽音処理装置。10. The tone processing apparatus according to claim 9, wherein said interpolation processing means includes a first frequency which is a frequency of one of the spectrum shapes belonging to each of the regions and a second spectrum corresponding to the first frequency. Frequency interpolation means for calculating an interpolation frequency by interpolating a second frequency which is a frequency of the shape using the linear function; a first magnitude which is a magnitude of one of the spectral shapes belonging to each of the regions; A tone interpolation device for interpolating a second magnitude, which is the magnitude of the other spectral shape corresponding to the magnitude, using the linear function.
て、 前記補間情報は、前記インストゥルメント間の合成割合
について補間処理を行うための全体補間情報、発音状態
について補間処理を行うための状態補間情報、ピッチに
ついて補間処理を行うためのピッチ補間情報およびアン
プリチュードについて補間処理を行うためのアンプリチ
ュード補間情報とを含んだことを特徴とする楽音処理装
置。11. The musical sound processing apparatus according to claim 1, wherein the interpolation information is overall interpolation information for performing interpolation processing on a synthesis ratio between the instruments, and state interpolation for performing interpolation processing on a sound generation state. A tone processing device comprising: pitch interpolation information for performing interpolation processing on information and pitch; and amplitude interpolation information for performing interpolation processing on amplitude.
て、 前記補間情報を設定するための補間情報設定手段を備え
たことを特徴とする楽音処理装置。12. The tone processing apparatus according to claim 11, further comprising interpolation information setting means for setting said interpolation information.
て、 予め設定された前記補間情報を保持するためのプリセッ
ト手段を備えたことを特徴とする楽音処理装置。13. The tone processing apparatus according to claim 11, further comprising preset means for holding said interpolation information set in advance.
て、 前記補間処理手段は、前記分析データ記憶手段によって
記憶されている前記正弦波成分および前記残差成分を補
間することにより、前記分析データ記憶手段によって記
憶されていない正弦波成分および残差成分を算出する分
析データ算出手段を備えたことを特徴とする楽音処理装
置。14. The musical sound processing apparatus according to claim 2, wherein the interpolation processing means interpolates the sine wave component and the residual component stored by the analysis data storage means to store the analysis data. A musical sound processing apparatus comprising: analysis data calculation means for calculating a sine wave component and a residual component which are not stored by the means.
て、 前記楽音信号生成手段は、前記補間スペクトル・シェイ
プに対して、逆高速フーリエ変換処理、オーバーラップ
処理およびエンべローブ付加処理を行うことにより時間
領域での楽音波形を生成することを特徴とする楽音処理
装置。15. The tone processing apparatus according to claim 1, wherein the tone signal generating means performs an inverse fast Fourier transform process, an overlap process, and an envelope adding process on the interpolated spectrum shape. A tone processing apparatus for generating a tone waveform in a time domain.
て、 MIDIデータの音色を選択するMIDI音色選択手段
と、 前記音色のMIDI補間情報を記憶している補間情報記
憶手段と、 前記音色および前記MIDI補間情報に基づいて、前記
補間情報を生成する補間情報生成手段と、を備え、 前記分析データ抽出手段は、前記補間情報および外部よ
り入力された発音情報に基づいて、前記分析データ記憶
手段から前記分析データを抽出することを特徴とする楽
音処理装置。16. The tone processing apparatus according to claim 1, wherein: MIDI tone color selection means for selecting a tone color of MIDI data; interpolation information storage means for storing MIDI interpolation information of the tone color; Interpolation information generating means for generating the interpolation information based on the interpolation information, wherein the analysis data extraction means outputs the analysis data from the analysis data storage means based on the interpolation information and pronunciation information inputted from outside. A tone processing device for extracting analysis data.
て、 変更補間データを入力する変更入力手段と、 前記変更入力手段によって入力された前記変更補間デー
タと対応する前記補間情報を置換する補間情報置換手段
と、 を備えたことを特徴とする楽音処理装置。17. The tone processing apparatus according to claim 16, wherein: a change input means for inputting change interpolation data; and interpolation information replacement for replacing the interpolation information corresponding to the change interpolation data input by the change input means. Means, and a music processing apparatus.
て、 音声を入力するための音声入力手段と、 前記音声入力手段から入力された入力音声をフレーム単
位で周波数分析して音声正弦波成分および音声残差成分
を抽出する周波数分析手段と、 前記補間処理手段によって生成された1つの補間スペク
トル・シェイプと周波数分析手段によって抽出された前
記音声正弦波成分および前記音声残差成分とを所定のモ
ーフィング度によってモーフィング処理するモーフィン
グ手段と、を備え、 前記分析データ抽出手段は、前記音声正弦波成分に含ま
れる発音情報および外部より入力された補間情報に基づ
いて、前記分析データ記憶手段から3種以上のインスト
ゥルメントに対応する前記分析データを抽出することを
特徴とする楽音処理装置。18. The musical sound processing apparatus according to claim 1, wherein: a voice input means for inputting voice; and a voice sine wave component and voice by frequency-analyzing the input voice input from the voice input means on a frame basis. Frequency analysis means for extracting a residual component, and a predetermined morphing degree between one interpolated spectrum shape generated by the interpolation processing means and the audio sine wave component and the audio residual component extracted by the frequency analysis means. Morphing means for performing a morphing process by using the analytic data extracting means, wherein the analysis data extracting means comprises: A musical sound processing device for extracting the analysis data corresponding to an instrument.
て、 前記所定のモーフィング度を設定するモーフィング設定
手段を備え、 前記モーフィング手段は、前記モーフィング設定手段に
よって設定されたモーフィング度により前記補間スペク
トル・シェイプと前記音声正弦波成分および前記音声残
差成分とをモーフィングすることを特徴とする楽音処理
装置。19. The tone processing apparatus according to claim 18, further comprising: morphing setting means for setting said predetermined morphing degree, wherein said morphing means uses said morphing degree set by said morphing setting means to form said interpolated spectrum shape. A morphing process between the voice sine wave component and the voice residual component.
て、 前記楽音信号生成手段は、前記補間スペクトル・シェイ
プに対して、逆高速フーリエ変換処理、オーバーラップ
処理を行うことにより時間領域での楽音波形を生成する
ことを特徴とする楽音処理装置。20. The tone processing apparatus according to claim 19, wherein said tone signal generating means performs an inverse fast Fourier transform process and an overlap process on said interpolated spectrum shape to thereby generate a tone waveform in a time domain. A tone processing device for generating a tone signal.
て、 音声を入力するための音声入力手段と、 前記音声入力手段から入力された入力音声をフレーム単
位で周波数分析して音声正弦波成分および音声残差成分
を抽出する周波数分析手段と、を備え、 前記分析データ抽出手段は、前記音声正弦波成分に含ま
れる発音情報および外部より入力された補間情報に基づ
いて、前記分析データ記憶手段から3種以上のインスト
ゥルメントに対応する前記分析データを抽出し、 前記楽音信号生成手段は、前記補間スペクトル・シェイ
プに基づいて補間楽音信号を生成するとともに、前記音
声正弦波成分および前記音声残差成分に基づいて音声楽
音信号を生成し、当該補間楽音信号と当該音声楽音信号
とを混合して出力することを特徴とする楽音処理装置。21. The tone processing apparatus according to claim 1, wherein a voice input means for inputting voice, and a frequency analysis of the input voice input from the voice input means on a frame basis, a voice sine wave component and voice. Frequency analysis means for extracting a residual component, wherein the analysis data extraction means is configured to receive three or more data from the analysis data storage means based on pronunciation information included in the voice sine wave component and interpolation information input from the outside. Extracting the analysis data corresponding to more than one kind of instrument, the tone signal generating means generates an interpolated tone signal based on the interpolated spectrum shape, the audio sine wave component and the audio residual component, A tone processing device for generating a voice tone signal based on a tone signal, and mixing and outputting the interpolated tone signal and the voice tone signal. .
て、 前記補間処理手段は、前記入力音声のピッチに対応して
予め定められた所定の割合から求められたピッチによっ
て、前記正弦波成分のピッチをシフトするピッチシフト
手段と、 前記ピッチシフト手段によってピッチがシフトされた前
記正弦波成分に対して残差成分を付加する残差成分付加
手段と、 を備えたことを特徴とする楽音処理装置。22. The tone processing device according to claim 21, wherein the interpolation processing means calculates a pitch of the sine wave component by a pitch obtained from a predetermined ratio corresponding to a pitch of the input voice. A tone processing apparatus comprising: a pitch shifter that shifts the pitch; and a residual component adder that adds a residual component to the sine wave component whose pitch has been shifted by the pitch shifter.
て、 前記楽音信号生成手段は、前記補間スペクトル・シェイ
プあるいは前記音声正弦波成分および前記音声残差成分
に対して、逆高速フーリエ変換処理、オーバーラップ処
理を行うことにより時間領域での楽音波形を生成するこ
とを特徴とする楽音処理装置。23. The tone processing apparatus according to claim 21, wherein the tone signal generating means performs an inverse fast Fourier transform process on the interpolated spectrum shape or the audio sine wave component and the audio residual component. A musical sound processing device for generating a musical sound waveform in a time domain by performing a lap process.
種以上のインストゥルメントの音色に対応する1つの楽
音信号を生成するために外部より入力された補間情報に
基づいて、インストゥルメントにおいて発音された音の
サンプリングデータを分析することによって得られた分
析データから3種以上のインストゥルメントに対応する
前記分析データを抽出する分析データ抽出過程と、 前記分析データに対応するスペクトル・シェイプに基づ
いて補間処理を行い、1つの補間スペクトル・シェイプ
を生成する補間処理過程と、 前記補間スペクトル・シェイプに基づいて楽音信号を生
成し出力する楽音信号生成過程と、 を備えたことを特徴とする楽音処理方法。24. An externally input pronunciation information and 3
It is obtained by analyzing sampling data of a sound generated in an instrument based on interpolation information input from outside to generate one musical tone signal corresponding to a tone color of more than one kind of instrument. An analysis data extraction step of extracting the analysis data corresponding to three or more instruments from the analysis data; and performing an interpolation process based on the spectrum shape corresponding to the analysis data to generate one interpolation spectrum shape A tone signal generating step of generating and outputting a tone signal based on the interpolated spectrum shape.
て、 前記分析データは、前記サンプリングデータをフレーム
単位で周波数分析した結果得られた正弦波成分および残
差成分であることを特徴とする楽音処理方法。25. The tone processing method according to claim 24, wherein the analysis data is a sine wave component and a residual component obtained as a result of frequency analysis of the sampling data in frame units. Method.
て、 前記補間処理過程は、前記スペクトル・シェイプがn種
ある場合に、(n−1)回の前記補間処理を行うことを
特徴とする楽音処理方法。26. The musical sound processing method according to claim 24, wherein the interpolation processing step performs (n-1) times of the interpolation processing when there are n types of the spectrum shapes. Processing method.
て、 前記補間処理過程は、前記スペクトル・シェイプを2種
ごとの組に分ける組分け処理と、当該組ごとに行う前記
補間処理とを繰り返し行い、1つの補間スペクトル・シ
ェイプを生成することを特徴とする楽音処理方法。27. The musical sound processing method according to claim 26, wherein the interpolation processing step repeatedly performs a grouping process of dividing the spectrum shape into sets of two types and an interpolation process performed for each set. A tone processing method comprising generating one interpolation spectrum shape.
て、 前記補間処理過程は、前記スペクトル・シェイプが奇数
種ある場合には、前記組分け処理において、組分けるこ
とができなかったスペクトル・シェイプを、次回の組分
け処理において処理することを特徴とする楽音処理方
法。28. The musical sound processing method according to claim 27, wherein, in the interpolation processing step, when there are an odd number of the spectrum shapes, the spectrum shapes that could not be grouped in the grouping processing are removed. A tone processing method characterized by processing in a next grouping process.
て、 前記補間処理過程は、二つのスペクトル・シェイプを用
いて前記補間処理を行うに際して、前記二つのスペクト
ル・シェイプ間におけるスペクトル・シェイプ遷移関数
を用いることを特徴とする楽音処理方法。29. The musical sound processing method according to claim 24, wherein the interpolation processing step includes, when performing the interpolation processing using two spectrum shapes, calculating a spectrum shape transition function between the two spectrum shapes. A tone processing method characterized by being used.
て、 前記補間処理過程は、前記二つのスペクトル・シェイプ
を周波数軸上でそれぞれ複数の領域に分け、各領域に属
する前記二つのスペクトル・シェイプ上の実在の周波数
およびマグニチュードの組に対し、前記遷移関数として
の線形関数を用いた前記補間処理を前記複数の領域にわ
たって行うことを特徴とする楽音処理方法。30. The musical sound processing method according to claim 29, wherein the interpolation processing step divides the two spectral shapes into a plurality of regions on a frequency axis, respectively, and performs the processing on the two spectral shapes belonging to each region. And performing the interpolation process using a linear function as the transition function over the plurality of regions for the set of the actual frequency and magnitude of the tone.
て、 前記補間処理過程は、前記各領域に属する一方のスペク
トル・シェイプの周波数である第1周波数および当該第
1周波数に対応する他方のスペクトル・シェイプの周波
数である第2周波数を前記線形関数を用いて補間するこ
とにより補間周波数を算出する周波数補間過程と、 前記各領域に属する一方のスペクトル・シェイプのマグ
ニチュードである第1マグニチュードおよび当該第1マ
グニチュードに対応する他方のスペクトル・シェイプの
マグニチュードである第2マグニチュードを前記線形関
数を用いて補間するマグニチュード補間過程と、 を備えたことを特徴とする楽音処理方法。31. The musical sound processing method according to claim 30, wherein the interpolation processing step includes: a first frequency that is a frequency of one of the spectrum shapes belonging to each of the regions; and a second spectrum corresponding to the first frequency. A frequency interpolation process of calculating an interpolation frequency by interpolating a second frequency that is a frequency of the shape using the linear function, a first magnitude that is a magnitude of one of the spectral shapes belonging to each of the regions, and the first magnitude. A magnitude interpolation step of interpolating the second magnitude, which is the magnitude of the other spectral shape corresponding to the magnitude, using the linear function.
て、 前記補間情報は、前記インストゥルメント間の合成割合
について補間処理を行うための全体補間情報、発音状態
について補間処理を行うための状態補間情報、ピッチに
ついて補間処理を行うためのピッチ補間情報およびアン
プリチュードについて補間処理を行うためのアンプリチ
ュード補間情報とを含んだことを特徴とする楽音処理方
法。32. The musical sound processing method according to claim 24, wherein the interpolation information is overall interpolation information for performing interpolation processing on a synthesis ratio between the instruments, and state interpolation for performing interpolation processing on a sounding state. A tone processing method comprising: pitch interpolation information for performing interpolation processing on information and pitch; and amplitude interpolation information for performing interpolation processing on amplitude.
て、 MIDIデータの音色を選択するMIDI音色選択過程
と、 前記音色および前記音色のMIDI補間情報に基づい
て、前記補間情報を生成する補間情報生成過程と、を備
え、 前記分析データ抽出過程は、前記補間情報および外部よ
り入力された発音情報に基づいて、前記分析データを抽
出することを特徴とする楽音処理方法。33. The tone processing method according to claim 24, wherein: a MIDI timbre selection step of selecting a timbre of MIDI data; and interpolation information generation for generating the interpolation information based on the timbre and MIDI interpolation information of the timbre. And a step of extracting the analysis data based on the interpolation information and pronunciation information input from the outside.
て、 音声を入力する音声入力過程と、 前記音声入力過程において入力された入力音声をフレー
ム単位で周波数分析して音声正弦波成分および音声残差
成分を抽出する周波数分析過程と、 前記補間処理過程によって生成された1つの補間スペク
トル・シェイプと周波数分析過程によって抽出された前
記音声正弦波成分および前記音声残差成分とを所定のモ
ーフィング度によってモーフィング処理するモーフィン
グ過程と、を備え、 前記分析データ抽出過程は、前記音声正弦波成分に含ま
れる発音情報および外部より入力された補間情報に基づ
いて、3種以上のインストゥルメントに対応する前記分
析データを抽出することを特徴とする楽音処理方法。34. The tone processing method according to claim 24, wherein: a voice inputting step of inputting a voice; and a frequency analysis of the input voice input in the voice inputting step on a frame-by-frame basis. A frequency analysis step of extracting components, and morphing one interpolated spectrum shape generated by the interpolation processing step and the audio sine wave component and the audio residual component extracted by the frequency analysis step by a predetermined morphing degree. A morphing process for processing, wherein the analysis data extraction process is based on pronunciation information included in the audio sine wave component and interpolation information input from the outside, and the analysis corresponding to three or more types of instruments. A tone processing method characterized by extracting data.
て、 前記所定のモーフィング度を設定するモーフィング設定
過程を備え、 前記モーフィング過程は、前記モーフィング設定過程に
よって設定されたモーフィング度により前記補間スペク
トル・シェイプと前記音声正弦波成分および前記音声残
差成分とをモーフィングすることを特徴とする楽音処理
方法。35. The musical sound processing method according to claim 34, further comprising a morphing setting step of setting the predetermined morphing degree, wherein the morphing step is performed by using the morphing degree set by the morphing setting step. And morphing the voice sine wave component and the voice residual component.
て、 音声を入力する音声入力過程と、 前記音声入力過程において入力された入力音声をフレー
ム単位で周波数分析して音声正弦波成分および音声残差
成分を抽出する周波数分析過程と、を備え、 前記分析データ抽出過程は、前記音声正弦波成分に含ま
れる発音情報および外部より入力された補間情報に基づ
いて、3種以上のインストゥルメントに対応する前記分
析データを抽出し、 前記楽音信号生成過程は、前記補間スペクトル・シェイ
プに基づいて補間楽音信号を生成するとともに、前記音
声正弦波成分および前記音声残差成分に基づいて音声楽
音信号を生成し、当該補間楽音信号と当該音声楽音信号
とを混合して出力することを特徴とする楽音処理方法。36. The tone processing method according to claim 24, wherein: a voice inputting step of inputting a voice; and a frequency analysis of the input voice input in the voice inputting step on a frame-by-frame basis. A frequency analysis step of extracting a component. The analysis data extraction step corresponds to three or more instruments based on pronunciation information included in the audio sine wave component and interpolation information input from the outside. Extracting the analysis data to generate the tone signal, and generating the tone signal based on the interpolated spectrum shape and generating the tone signal based on the sine wave component and the residual voice component. And mixing and outputting the interpolated tone signal and the voice tone signal.
て、 前記補間処理過程は、前記入力音声のピッチに対応して
予め定められた所定の割合から求められたピッチによっ
て、前記正弦波成分のピッチをシフトするピッチシフト
過程と、 前記ピッチシフト過程によってピッチがシフトされた前
記正弦波成分に対して残差成分を付加する残差成分付加
過程と、 を備えたことを特徴とする楽音処理方法。37. The musical sound processing method according to claim 36, wherein said interpolation processing step comprises a step of determining a pitch of said sine wave component by a pitch obtained from a predetermined ratio corresponding to a pitch of said input voice. And a residual component adding step of adding a residual component to the sine wave component whose pitch has been shifted by the pitch shifting process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30026799A JP3802293B2 (en) | 1999-10-21 | 1999-10-21 | Musical sound processing apparatus and musical sound processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30026799A JP3802293B2 (en) | 1999-10-21 | 1999-10-21 | Musical sound processing apparatus and musical sound processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001117564A true JP2001117564A (en) | 2001-04-27 |
JP3802293B2 JP3802293B2 (en) | 2006-07-26 |
Family
ID=17882741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30026799A Expired - Fee Related JP3802293B2 (en) | 1999-10-21 | 1999-10-21 | Musical sound processing apparatus and musical sound processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3802293B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006178052A (en) * | 2004-12-21 | 2006-07-06 | Advanced Telecommunication Research Institute International | Voice generator and computer program therefor |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0527770A (en) * | 1991-07-19 | 1993-02-05 | Yamaha Corp | Method for synthesizing musical sound waveform |
JPH07104791A (en) * | 1993-10-04 | 1995-04-21 | Atr Onsei Honyaku Tsushin Kenkyusho:Kk | Voice quality control type voice synthesizing device |
JPH09243679A (en) * | 1996-03-05 | 1997-09-19 | Takayoshi Hirata | Anharmonic frequency analytical method using arbitrary section waveform |
JPH10254500A (en) * | 1997-01-07 | 1998-09-25 | Nippon Telegr & Teleph Corp <Ntt> | Interpolated tone synthesizing method |
JPH11184471A (en) * | 1997-12-18 | 1999-07-09 | Casio Comput Co Ltd | Waveform generating device |
-
1999
- 1999-10-21 JP JP30026799A patent/JP3802293B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0527770A (en) * | 1991-07-19 | 1993-02-05 | Yamaha Corp | Method for synthesizing musical sound waveform |
JPH07104791A (en) * | 1993-10-04 | 1995-04-21 | Atr Onsei Honyaku Tsushin Kenkyusho:Kk | Voice quality control type voice synthesizing device |
JPH09243679A (en) * | 1996-03-05 | 1997-09-19 | Takayoshi Hirata | Anharmonic frequency analytical method using arbitrary section waveform |
JPH10254500A (en) * | 1997-01-07 | 1998-09-25 | Nippon Telegr & Teleph Corp <Ntt> | Interpolated tone synthesizing method |
JPH11184471A (en) * | 1997-12-18 | 1999-07-09 | Casio Comput Co Ltd | Waveform generating device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006178052A (en) * | 2004-12-21 | 2006-07-06 | Advanced Telecommunication Research Institute International | Voice generator and computer program therefor |
JP4720974B2 (en) * | 2004-12-21 | 2011-07-13 | 株式会社国際電気通信基礎技術研究所 | Audio generator and computer program therefor |
Also Published As
Publication number | Publication date |
---|---|
JP3802293B2 (en) | 2006-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5567901A (en) | Method and apparatus for changing the timbre and/or pitch of audio signals | |
US6687674B2 (en) | Waveform forming device and method | |
JP2002202790A (en) | Singing synthesizer | |
EP1701336B1 (en) | Sound processing apparatus and method, and program therefor | |
US7396992B2 (en) | Tone synthesis apparatus and method | |
US7135636B2 (en) | Singing voice synthesizing apparatus, singing voice synthesizing method and program for singing voice synthesizing | |
EP1087374B1 (en) | Method and apparatus for producing a waveform with sample data adjustment based on representative point | |
US20070000371A1 (en) | Tone synthesis apparatus and method | |
US7432435B2 (en) | Tone synthesis apparatus and method | |
EP1087373B1 (en) | Method and apparatus for producing a waveform exhibiting rendition style characteristics | |
US5969282A (en) | Method and apparatus for adjusting the pitch and timbre of an input signal in a controlled manner | |
EP1087370B1 (en) | Method and apparatus for producing a waveform based on parameter control of articulation synthesis | |
US7557288B2 (en) | Tone synthesis apparatus and method | |
US7816599B2 (en) | Tone synthesis apparatus and method | |
EP1087375B1 (en) | Method and appratus for producing a waveform based on a style-of-rendition stream data | |
JP2003345400A (en) | Method, device, and program for pitch conversion | |
EP1087371B1 (en) | Method and apparatus for producing a waveform with improved link between adjoining module data | |
JP4757971B2 (en) | Harmony sound adding device | |
JP3540159B2 (en) | Voice conversion device and voice conversion method | |
JP2001117564A (en) | Device and method for processing musical sound | |
JP2000010595A (en) | Device and method for converting voice and storage medium recording voice conversion program | |
JP2765192B2 (en) | Electronic musical instrument | |
JP4207237B2 (en) | Speech synthesis apparatus and synthesis method thereof | |
JP3540160B2 (en) | Voice conversion device and voice conversion method | |
JP2000003187A (en) | Method and device for storing voice feature information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060427 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140512 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |