JP2000276194A - Waveform compressing method and waveform generating method - Google Patents
Waveform compressing method and waveform generating methodInfo
- Publication number
- JP2000276194A JP2000276194A JP11082649A JP8264999A JP2000276194A JP 2000276194 A JP2000276194 A JP 2000276194A JP 11082649 A JP11082649 A JP 11082649A JP 8264999 A JP8264999 A JP 8264999A JP 2000276194 A JP2000276194 A JP 2000276194A
- Authority
- JP
- Japan
- Prior art keywords
- waveform
- vector
- harmonic
- harmonic component
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】この発明は、ベクトル量子化
技術を用いて楽音あるいは音声その他様々な音の波形を
圧縮する波形圧縮方法に関し、特に、例えば各種の奏法
の対応して多数の波形データを記憶しておくような場合
に有効にデータ圧縮を行うことができるようにした波形
圧縮方法に関し、更には、そのような波形圧縮方法を使
用して任意の波形を生成する波形生成方法に関する。こ
の発明は、電子楽器は勿論のこと、自動演奏装置、コン
ピュータ、電子ゲーム装置その他マルチメディア機器
等、楽音あるいは音声若しくはその他任意の音を発生す
る機能を有する汎ゆる分野の機器若しくは装置または方
法において広範囲に応用できるものである。なお、この
明細書において、楽音波形という場合、音楽的な音の波
形に限るものではなく、音声あるいはその他任意の音の
波形を含んでいてもよい意味合いで用いるものとする。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a waveform compression method for compressing waveforms of musical sounds, voices, and other various sounds using a vector quantization technique, and more particularly to a method of compressing a large number of waveform data corresponding to various playing styles. The present invention relates to a waveform compression method capable of effectively performing data compression in a case where the data is stored, and further relates to a waveform generation method for generating an arbitrary waveform using such a waveform compression method. The present invention is applicable to not only electronic musical instruments but also apparatuses, apparatuses, or methods in all fields having a function of generating musical sounds, voices, or other arbitrary sounds, such as automatic performance devices, computers, electronic game devices, and other multimedia devices. It can be widely applied. In this specification, the musical sound waveform is not limited to a musical sound waveform, but may be a sound or any other sound waveform.
【0002】[0002]
【従来技術】最近では、電子的な楽音合成技術におい
て、奏法の相違を考慮した高品質な楽音を如何にして合
成するかということが重要な課題となってきている。す
なわち、自然楽器にあっては、同じ楽器音色及び同じ音
高等の楽音であっても、例えばビブラート奏法とスラー
奏法のような、異なる奏法での各演奏に対して、異なっ
た楽音特性(特に音色波形)を示す楽音が発生されるこ
とが知られている。このような自然楽器における奏法の
違いを反映した高品質な楽音を、電子楽器等において電
子的な楽音合成技術を用いて生成しようとする場合、各
楽器音色の各音高(若しくは音域)毎に、複数の各奏法
に対応して、それぞれの奏法に従う楽音特性(特に音色
波形)を示す波形データをそれぞれメモリに予め記憶し
ておき、演奏しようとする奏法に応じた波形データをメ
モリから読み出すことにより、奏法に対応した特有の楽
音特性(特に音色波形)を示す楽音波形を生成するよう
にすることが考えられる。2. Description of the Related Art Recently, it has become an important issue in electronic musical sound synthesis techniques how to synthesize high-quality musical sounds in consideration of differences in playing style. That is, in the case of a natural musical instrument, even with musical tones having the same musical instrument tone and the same pitch, different musical tone characteristics (particularly, timbres) are applied to different performances such as vibrato and slur. It is known that a musical tone having a waveform is generated. When an electronic musical instrument or the like intends to generate a high-quality musical tone that reflects a difference in playing style of a natural musical instrument by using an electronic musical sound synthesis technique, each musical tone (or range) of each musical instrument tone color is used. For each of a plurality of playing styles, waveform data indicating a tone characteristic (particularly, tone waveform) according to each playing style is stored in a memory in advance, and waveform data corresponding to the playing style to be played is read from the memory. Thus, it is conceivable to generate a musical tone waveform showing a specific musical tone characteristic (particularly, a tone color waveform) corresponding to the playing style.
【0003】このように、各楽器音色の各音高(若しく
は音域)毎に、複数の各奏法に対応して異なる波形デー
タをそれぞれ記憶するようにする場合、普通に記憶した
のでは必要なメモリ記憶容量がかなり増すことになるた
め、如何にして有効なデータ圧縮を行い、必要なメモリ
記憶容量を節約するのか、ということが重要な課題とな
ってくる。そこで、従来の波形データ圧縮技術のうち、
この発明との関連において注目すべきものを挙げて見る
と、次のようなものがある。As described above, when different waveform data is stored for each pitch (or range) of each musical instrument timbre in accordance with each of a plurality of playing styles, it is necessary to use a memory that is not normally stored. Since the storage capacity will increase considerably, the important issue is how to perform effective data compression and save the required memory storage capacity. Therefore, among the conventional waveform data compression technologies,
Some of the notable aspects related to the present invention include the following.
【0004】まず、特開昭61−104400号公報に
おいては、入力波形をフィルタ処理によって周期成分と
非周期成分に分離し、各成分を異なるデータ圧縮の符号
化形式で符号化し、それぞれ波形メモリに記憶するよう
にした音記録方法が示されている。しかし、そこにおい
ては、特定の波形データを周期成分と非周期成分に分離
してデータ圧縮して記憶する発想はあっても、これらを
すべてベクトル量子化する発想はなかった。特に、非周
期成分については、周期成分の波形に対する残差波形を
そのまま時系列的に記録しておくしかないものである。First, in Japanese Patent Application Laid-Open No. 61-104400, an input waveform is separated into a periodic component and an aperiodic component by a filtering process, and each component is coded in a different data compression coding format. A sound recording method to be stored is shown. However, there is an idea that specific waveform data is separated into a periodic component and an aperiodic component and then compressed and stored, but there is no idea of performing vector quantization on all of them. In particular, for a non-periodic component, it is necessary to record a residual waveform for the waveform of the periodic component as it is in time series.
【0005】次に、特開平5−88911号公報におい
ては、ベクトル量子化を使用した音声符号化法が示され
ている。そこでは、圧縮しようとする音声波形を、ま
ず、その波形から抽出したスペクトルの逆特性のフィル
タで処理し、次に、フィルタ処理後の波形について、そ
の波形の過去の所定周期から取出した励振ベクトルを用
いて周期成分のベクトル量子化を行うとともに、雑音ベ
クトルで非周期成分のベクトル量子化を行うようにして
いる。この場合、雑音ベクトルは固定ベクトルとして用
意されているものを使用するようになっており、圧縮し
ようとする音声波形そのものから非周期成分(雑音成
分)を抽出してこれに基づき非周期成分のベクトル量子
化を行うようにはなっていない。Next, Japanese Patent Laid-Open Publication No. Hei 5-88911 discloses a speech coding method using vector quantization. Here, the speech waveform to be compressed is first processed by a filter having the inverse characteristic of the spectrum extracted from the waveform, and then the excitation vector extracted from a predetermined period in the past of the filtered waveform is applied to the filtered waveform. , Vector quantization of the periodic component is performed, and vector quantization of the non-periodic component is performed using the noise vector. In this case, a noise vector prepared as a fixed vector is used. A non-periodic component (noise component) is extracted from the speech waveform itself to be compressed, and a vector of the non-periodic component is extracted based on the extracted aperiodic component. It does not perform quantization.
【0006】[0006]
【発明が解決しようとする課題】しかし、上述した前者
の波形データ圧縮技術にあっては、データ圧縮率が低か
ったため、各楽器音色の各音高(若しくは音域)毎に複
数の各奏法に対応して異なる波形データをそれぞれ記憶
するような目的に適した、十分なデータ圧縮を実現する
ことは困難であった。すなわち、前者の従来技術におい
ては、非周期成分をベクトル量子化する発想がなかった
ため、非周期成分のデータ記憶は、周期成分の波形に対
する残差波形をそのまま時系列的に記録しておくしかな
く、十分なデータ圧縮を実現するものではなかった。However, in the former waveform data compression technique described above, since the data compression ratio is low, it is necessary to support a plurality of playing styles for each pitch (or range) of each musical instrument timbre. It has been difficult to realize sufficient data compression suitable for the purpose of storing different waveform data. That is, in the former prior art, since there was no idea of vector quantization of the aperiodic component, the data storage of the aperiodic component had to be recorded in the time series of the residual waveform with respect to the waveform of the periodic component. , Did not achieve sufficient data compression.
【0007】一方、上述した後者の波形データ圧縮技術
においては、雑音ベクトルは固定ベクトルとして用意さ
れているものを使用するようになっており、圧縮しよう
とする音声波形そのものから非周期成分(雑音成分)を
抽出してこれに基づき非周期成分のベクトル量子化を行
うようにはなっていないので、雑音ベクトルのベクトル
量子化精度が悪く、非周期成分の効率的な圧縮が行え
ず、また、非周期成分の再現精度も悪かった。更に、こ
の波形データ圧縮技術においては、逆特性のフィルタに
よるフィルタ処理が必ず行われているので、この強力な
逆特性フィルタ処理の介在によって、再生される波形の
形状は、元の波形の形状と異なった形状になってしま
い、波形再現性が悪い、という欠点があった。よって、
精密な波形再現性がそれほど要求されない人音声波形の
再生には使用できても、精密な波形再現性が要求される
楽器音の波形再生には適していなかった。また、この波
形データ圧縮技術においては、周期ベクトルと雑音ベク
トルを用いた圧縮が行われているが、上記逆特性フィル
タ処理の行われた1つの波形に対して、周期ベクトルと
雑音ベクトルの組合せとしてのベクトル量子化を行わね
ばならないので、その組合せの決定方法が難しく、ま
た、精密な圧縮ができなかった。さらに、上記周期ベク
トルは、過去の波形から取り出した励振ベクトルが用い
られる場合が多いので、変化に富んだ波形に対する追従
性は低かった。On the other hand, in the latter waveform data compression technique described above, a noise vector prepared as a fixed vector is used, and a non-periodic component (noise component) is obtained from a speech waveform itself to be compressed. ) Is extracted and the vector quantization of the aperiodic component is not performed based on this, so that the vector quantization accuracy of the noise vector is poor, the aperiodic component cannot be efficiently compressed, and the non-periodic component cannot be compressed. The reproduction accuracy of the periodic component was also poor. Further, in this waveform data compression technique, since the filtering process by the filter having the inverse characteristic is always performed, the shape of the waveform to be reproduced is the same as the shape of the original waveform by the intervention of the strong inverse characteristic filtering process. There is a disadvantage that the shape becomes different and the waveform reproducibility is poor. Therefore,
Although it can be used to reproduce human voice waveforms that do not require precise waveform reproducibility, it is not suitable for reproducing musical instrument sounds that require precise waveform reproducibility. Further, in this waveform data compression technique, compression using a cycle vector and a noise vector is performed. However, for one waveform on which the inverse characteristic filter processing is performed, a combination of the cycle vector and the noise vector is used. , The method of determining the combination is difficult, and precise compression cannot be performed. Furthermore, since the excitation vector extracted from the past waveform is often used as the above-mentioned periodic vector, the follow-up property with respect to the waveform that is rich in changes is low.
【0008】この発明は上述の点に鑑みてなされたもの
で、データ圧縮効率に優れ、元の波形の再現性にも優れ
た波形圧縮方法を提供しようとするものである。さらに
は、そのような波形圧縮方法を使用して任意の波形を生
成する波形生成方法を提供しようとするものである。The present invention has been made in view of the above points, and an object of the present invention is to provide a waveform compression method which is excellent in data compression efficiency and excellent in reproducibility of an original waveform. Further, another object of the present invention is to provide a waveform generation method for generating an arbitrary waveform using such a waveform compression method.
【0009】[0009]
【課題を解決するための手段】この発明に係る波形圧縮
方法は、入力した波形データを調和成分と調和外成分と
に分離する過程と、調和ベクトルを供給する過程と、前
記分離された調和成分を前記調和ベクトルによりベクト
ル量子化し、第1の圧縮データを生成する過程と、調和
外ベクトルを供給する過程と、前記分離された調和外成
分を前記調和外ベクトルによりベクトル量子化し、第2
の圧縮データを生成する過程とを具えるものである。According to the present invention, there is provided a waveform compressing method comprising the steps of: separating input waveform data into a harmonic component and a non-harmonic component; supplying a harmonic vector; Generating the first compressed data, providing the non-harmonic vector, and vector-quantizing the separated non-harmonic component with the non-harmonic vector,
And generating compressed data.
【0010】この発明によれば、入力した波形データを
調和成分と調和外成分とに分離し、分離した調和成分と
調和外成分とを別々にベクトル量子化する処理を行うこ
とを特徴としている。これにより、調和成分と調和外成
分の両者をベクトル量子化することによって圧縮効率を
向上させることができる、という優れた効果を奏する。
また、従来技術のように周期ベクトルと雑音ベクトルの
組合せを考慮してベクトル量子化を行う必要がなく、調
和成分と調和外成分のベクトル選択をそれぞれ独立に行
うようにしているので、ベクトル量子化処理を容易に行
うことができる、という優れた効果を奏する。また、特
に、非周期性波形成分のベクトル量子化にあたっては、
原波形から分離した調和外成分に基づきベクトル量子化
処理を行うので、非周期性波形成分の再現精度が向上す
る。このように、この発明によれば、ベクトルの選択が
容易であり、かつ、ベクトル量子化における圧縮効率に
優れ、また、原波形の再現性に大変優れている。According to the present invention, the input waveform data is separated into a harmonic component and a non-harmonic component, and a process of separately vector-quantizing the separated harmonic component and the non-harmonic component is performed. Thereby, there is an excellent effect that the compression efficiency can be improved by vector-quantizing both the harmonic component and the non-harmonic component.
In addition, since it is not necessary to perform vector quantization in consideration of the combination of the periodic vector and the noise vector as in the related art, the vector selection of the harmonic component and the non-harmonic component is performed independently of each other. This has an excellent effect that processing can be easily performed. In particular, in vector quantization of non-periodic waveform components,
Since the vector quantization process is performed based on the non-harmonic components separated from the original waveform, the reproduction accuracy of the non-periodic waveform components is improved. As described above, according to the present invention, the vector can be easily selected, the compression efficiency in the vector quantization is excellent, and the reproducibility of the original waveform is very excellent.
【0011】一例として、調和成分は、入力波形データ
を高速フーリエ変換によって周波数分析し、その基本ピ
ッチ周波数成分と高調波成分とを抽出することにより、
得ることができる。すなわち、抽出した基本ピッチ周波
数成分と高調波成分を用いて逆フーリエ変換することに
より、調和成分の波形を生成することができる。このよ
うに生成した調和成分波形を入力波形データから引くこ
とにより、その残差波形として調和外成分の波形を得る
ことができる。As an example, the harmonic component is obtained by analyzing the frequency of input waveform data by fast Fourier transform and extracting its fundamental pitch frequency component and its harmonic components.
Obtainable. That is, a waveform of a harmonic component can be generated by performing an inverse Fourier transform using the extracted basic pitch frequency component and harmonic component. By subtracting the generated harmonic component waveform from the input waveform data, a waveform of the non-harmonic component can be obtained as the residual waveform.
【0012】調和成分は基本的に繰り返し波形であるの
で、例えば、1周期ないし複数周期の波形を代表ベクト
ルとして用いて、該代表ベクトルをループする(または
相前後する2つの代表ベクトルをクロスフェードループ
する)ことで、調和成分の再生を行うことができる。そ
こで、調和ベクトルとして、そのような代表ベクトルを
使用することができる。入力波形データから分離された
調和成分のベクトル量子化は、一例として、当該調和成
分に適した調和ベクトルつまり代表ベクトルを選定し、
この調和ベクトルつまり代表ベクトルをどのように用い
るか(例えば該調和ベクトルを使用する区間や、そのル
ープの仕方、あるいはそれに付与する振幅エンベロープ
等)を記述する情報を付加することにより、行うことが
できる。Since the harmonic component is basically a repetitive waveform, for example, a waveform of one cycle or a plurality of cycles is used as a representative vector, and the representative vector is looped (or two successive representative vectors are cross-fade looped). By doing so, it is possible to regenerate the harmonic component. Therefore, such a representative vector can be used as the harmonic vector. The vector quantization of the harmonic component separated from the input waveform data selects, as an example, a harmonic vector that is suitable for the harmonic component, that is, a representative vector,
This can be performed by adding information describing how to use the harmonic vector, that is, the representative vector (for example, a section in which the harmonic vector is used, a method of looping the amplitude vector, or an amplitude envelope assigned to the section). .
【0013】一方、調和外成分は、データ圧縮の促進と
波形再現性の向上との兼ね合いを考慮して、それぞれの
調和外成分の内容に見合った、最適な形態でベクトル量
子化を行うことが好ましい。調和外成分は、基本的には
繰り返し性を持たないランダムな雑音波形に該当する
が、例えば、その内容や発音期間の中のどの位置に位置
するかといった重要度の有無等を考慮して、特定の代表
ベクトルをループ処理することで必要な時間長の調和外
成分波形を再生するようにしてもよいし(これをループ
再生という)、あるいは、必要な時間長からなる代表ベ
クトルをループさせずに一回だけ使用することで所要の
調和外成分波形を再生するようにしてもよい(これをワ
ンショット再生という)。あるいは、複数の代表ベクト
ルを所定の順番で切換えて組合わせることにより、所要
の調和外成分波形を再生するようにしてもよい(これを
シーケンス再生という)。あるいは、その切換え順序を
ランダムに設定して、調和外成分の雑音性つまりランダ
ム性を強調するようにしてもよい(これをランダムシー
ケンス再生という)。このような各種の最適ベクトル量
子化形態を考慮し、調和外ベクトルとして、様々な最適
ベクトル量子化の形態に見合った、代表ベクトルを適宜
使用することが好ましい。そこで、入力波形データから
分離された調和外成分のベクトル量子化にあたっては、
一例として、当該調和外成分に適した調和外ベクトルつ
まり代表ベクトルを選定し、この調和外ベクトルつまり
代表ベクトルをどのように用いるか(例えば上記ループ
再生やワンショット再生等の区別やその期間やそれに付
与するエンベロープの形態など)を記述する情報を付加
することにより、行うことができる。On the other hand, for non-harmonic components, vector quantization should be performed in an optimal form corresponding to the content of each non-harmonic component in consideration of a balance between promotion of data compression and improvement of waveform reproducibility. preferable. The out-of-harmonic component basically corresponds to a random noise waveform having no repeatability.For example, in consideration of the presence or absence of importance such as its content and where it is located in the sounding period, A non-harmonic component waveform of a required time length may be reproduced by looping a specific representative vector (this is called loop reproduction), or a representative vector having a required time length is not looped. In this case, the required non-harmonic component waveform may be reproduced by using it only once (this is called one-shot reproduction). Alternatively, a required non-harmonic component waveform may be reproduced by switching a plurality of representative vectors in a predetermined order and combining them (this is called sequence reproduction). Alternatively, the switching order may be set at random to emphasize the noise, that is, the randomness of the non-harmonic component (this is referred to as random sequence reproduction). In consideration of such various optimal vector quantization forms, it is preferable to appropriately use a representative vector suitable for various optimal vector quantization forms as the nonharmonic vector. Therefore, when performing vector quantization of out-of-harmonic components separated from input waveform data,
As an example, a non-harmonic vector, that is, a representative vector suitable for the non-harmonic component is selected, and how the non-harmonic vector, that is, the representative vector is used (for example, the distinction between the loop reproduction or the one-shot reproduction, the period, and the This can be done by adding information describing the type of envelope to be provided.
【0014】なお、調和成分の各代表ベクトルすなわち
調和ベクトル、及び調和外成分の各代表ベクトルすなわ
ち調和外ベクトルは、様々な異なる波形間で共有するこ
とができる。つまり、圧縮しようとする2以上の異なる
原波形の間で、それらの原波形の一部に適宜の共通性が
ある場合は、それらのベクトル量子化に際しては、同じ
代表ベクトルを両波形間で適宜共用することができる。Each representative vector of the harmonic component, ie, the harmonic vector, and each representative vector of the non-harmonic component, ie, the non-harmonic vector, can be shared between various different waveforms. In other words, when two or more different original waveforms to be compressed have an appropriate commonality in a part of the original waveforms, the same representative vector is appropriately applied between the two waveforms at the time of their vector quantization. Can be shared.
【0015】この発明に係る波形生成方法は、所定の調
和ベクトルの指示情報を含む第1の圧縮データと所定の
調和外ベクトルの指示情報を含む第2の圧縮データと受
け取る過程と、調和ベクトルを供給する過程と、前記第
1の圧縮データと前記調和ベクトルとに基づき調和成分
の波形データを合成する過程と、調和外ベクトルを提供
する過程と、前記第2の圧縮データと前記調和外ベクト
ルとに基づき調和外成分の波形データを合成する過程と
を具える。すなわち、上記のようにしてそれぞれ圧縮さ
れた調和成分の圧縮データ(第1の圧縮データ)と調和
外成分の圧縮データ(第2の圧縮データ)から、それぞ
れ調和成分の波形と調和外成分の波形とを独立に再生す
ることができる。これらの再生された調和成分の波形と
調和外成分の波形とを合わせることで、原波形を再現す
ることができる。The waveform generating method according to the present invention includes a step of receiving first compressed data containing predetermined harmonic vector designating information and second compressed data containing predetermined non-harmonic vector designating information. Supplying, combining the waveform data of the harmonic component based on the first compressed data and the harmonic vector, providing a non-harmonic vector, and providing the second compressed data and the non-harmonic vector. Synthesizing the waveform data of the out-of-harmonic component based on the That is, based on the compressed data of the harmonic component (first compressed data) and the compressed data of the non-harmonic component (second compressed data) respectively compressed as described above, the waveform of the harmonic component and the waveform of the non-harmonic component are respectively obtained. And can be played independently. The original waveform can be reproduced by matching the waveform of the reproduced harmonic component with the waveform of the non-harmonic component.
【0016】この発明は、方法発明として構成し、実施
することができるのみならず、装置発明として構成し、
実施することもできる。また、この発明は、コンピュー
タプログラムの形態で実施することができるし、そのよ
うなコンピュータプログラムを記憶した記録媒体の形態
で実施することもできる。更に、この発明は、新規な圧
縮されたデータ構造からなる波形データを記憶した記録
媒体の形態で実施することもできる。The present invention can be constructed and implemented not only as a method invention, but also as an apparatus invention.
It can also be implemented. Further, the present invention can be implemented in the form of a computer program, or can be implemented in the form of a recording medium storing such a computer program. Further, the present invention can be embodied in the form of a recording medium storing waveform data having a novel compressed data structure.
【0017】[0017]
【発明の実施の形態】以下、添付図面を参照してこの発
明の実施の形態を詳細に説明しよう。まず、図1を参照
して、この発明の一実施例に係る波形圧縮方法及び波形
生成方法を実施するために使用されるハードウェア構成
例について概略を説明する。ここに示されたハードウェ
ア構成例は、例えばパーソナルコンピュータのような汎
用コンピュータを用いて構成されており、そこにおい
て、波形圧縮及び波形生成処理は、コンピュータがこの
発明に係る波形圧縮方法及び波形生成方法を実現する所
定のプログラム(ソフトウェア)を実行することにより
実施される。勿論、この波形圧縮方法及び波形生成方法
は、コンピュータソフトウェアの形態に限らず、DSP
(ディジタル・シグナル・プロセッサ)によって処理さ
れるマイクロプログラムの形態でも実施可能であり、ま
た、この種のプログラムの形態に限らず、ディスクリー
ト回路又は集積回路若しくは大規模集積回路等を含んで
構成された専用ハードウェア装置の形態で実施してもよ
い。また、装置構成は、パーソナルコンピュータのよう
な汎用コンピュータに限らず、電子楽器あるいはカラオ
ケ装置又は電子ゲーム装置又はその他のマルチメディア
機器等、任意の製品応用形態をとっていてもよい。Embodiments of the present invention will be described below in detail with reference to the accompanying drawings. First, an example of a hardware configuration used for implementing a waveform compression method and a waveform generation method according to an embodiment of the present invention will be schematically described with reference to FIG. The hardware configuration example shown here is configured using a general-purpose computer such as a personal computer. In this case, the waveform compression and waveform generation processing is performed by the computer according to the waveform compression method and the waveform generation method according to the present invention. This is performed by executing a predetermined program (software) that implements the method. Of course, the waveform compression method and the waveform generation method are not limited to the form of computer software.
(Digital signal processor). The present invention can be implemented in the form of a microprogram processed by a (digital signal processor). The present invention is not limited to this type of program, and includes a discrete circuit, an integrated circuit, or a large-scale integrated circuit. It may be implemented in the form of a dedicated hardware device. In addition, the device configuration is not limited to a general-purpose computer such as a personal computer, and may take any product application form such as an electronic musical instrument, a karaoke device, an electronic game device, or other multimedia devices.
【0018】図1に示されたハードウェア構成例におい
ては、コンピュータのメイン制御部としてのCPU(中
央処理部)10に、ROM(リードオンリーメモリ)1
1、RAM(ランダムアクセスメモリ)12、ハードデ
ィスク装置13、リムーバブルディスク装置(例えばC
D−ROMドライブ若しくはMOドライブなど)14,
表示器15,キーボード及びマウス等の入力操作装置1
6,波形インタフェース17,タイマ18、MIDI及
び通信ネットワーク等のインタフェース19等が、CP
Uバス20を介して接続されている。波形インタフェー
ス17は、外部からマイクロフォン等を介して入力され
るアナログ波形信号(オーディオ信号)を、CPU10
からの指示に応じて、所定のサンプリング周波数に従っ
てサンプリングしてディジタル信号に変換し、これをC
PUバス20に送り出す機能と、このコンピュータによ
り実行した波形生成処理によって圧縮データに基づき生
成したディジタル波形データをCPUバス20を介して
受け取り、所定のサンプリング周波数に従ってアナログ
波形信号に変換してスピーカシステム等に出力する機能
等を有する。In the example of the hardware configuration shown in FIG. 1, a CPU (central processing unit) 10 serving as a main control unit of a computer is provided with a ROM (read only memory) 1.
1, RAM (random access memory) 12, hard disk device 13, removable disk device (for example, C
D-ROM drive or MO drive) 14,
Input operation device 1 such as display 15, keyboard and mouse
6, a waveform interface 17, a timer 18, an interface 19 for MIDI and a communication network, etc.
It is connected via a U bus 20. The waveform interface 17 converts an analog waveform signal (audio signal) input from outside via a microphone or the like into the CPU 10.
In accordance with the instruction from the digital camera, the digital signal is sampled according to a predetermined sampling frequency and converted into a digital signal.
The function of sending the digital waveform data to the PU bus 20 and the digital waveform data generated based on the compressed data by the waveform generation processing executed by the computer via the CPU bus 20 and converting the digital waveform data into an analog waveform signal in accordance with a predetermined sampling frequency, and a speaker system or the like. And the like.
【0019】波形インタフェース17を介して入力され
たディジタル波形データは、RAM12あるいはハード
ディスク装置13等における所定の記憶領域に一旦書き
込まれ、この波形データに対して、CPUの指示に従っ
てこの発明に従う所定の波形圧縮処理が施される。圧縮
されたデータは、適宜の圧縮波形データベースに記憶さ
れる。この場合、アナログ波形信号に限らずディジタル
波形データを適宜のインタフェース19等を介して入力
し、この入力波形データに対して所要のデータ圧縮を施
すようにしてもよい。波形データベースの機能は、どの
タイプのデータ記憶装置が受け持ってもよい。すなわ
ち、RAM12、ハードディスク装置13、リムーバブ
ルディスク装置14のいずれを圧縮波形データベースと
して機能させてもよい。一般的には、大容量の記憶装置
であるハードディスク装置13における適宜の記憶領域
あるいはリムーバブルディスク装置14に着脱可能なC
D−ROMやMO等のリムーバブルな記録媒体を、圧縮
波形データベースとして機能させればよい。あるいは、
外部のホスト又はサーバコンピュータに具備されている
波形データベースに対して、インタフェース19及び通
信回線を介してアクセスして、圧縮したデータをそこに
書き込んだり、再生時に必要な圧縮データをハードディ
スク装置13あるいはRAM12等にダウンロードする
ようにしてもよい。波形生成時には、圧縮波形データベ
ースに記憶されている圧縮データを使用して所定の波形
生成処理を行い、ディジタル波形データを生成する。生
成したディジタル波形データは、上記のように波形イン
タフェース17を介してアナログ出力してもよいし、あ
るいは、適宜のインタフェース19等を介してディジタ
ルデータのまま外部に転送出力することも可能である。
なお、圧縮波形データベースとして、ハードディスク装
置13、リムーバブルディスク装置14、あるいは外部
のホスト又はサーバコンピュータ等、外部メモリを使用
した場合は、指定された波形データに迅速にアクセスで
きるようにするために、内部の転送バッファ(RAM1
2等で構成する)に圧縮波形データベースの全部あるい
は一部を転送しておくようにするとよい。The digital waveform data input via the waveform interface 17 is temporarily written in a predetermined storage area of the RAM 12 or the hard disk drive 13 or the like. A compression process is performed. The compressed data is stored in an appropriate compressed waveform database. In this case, not only the analog waveform signal but also digital waveform data may be input via an appropriate interface 19 or the like, and the input waveform data may be subjected to required data compression. The function of the waveform database may be performed by any type of data storage device. That is, any of the RAM 12, the hard disk device 13, and the removable disk device 14 may function as the compressed waveform database. In general, an appropriate storage area in the hard disk drive 13 which is a large-capacity storage device or a removable disk drive C
What is necessary is just to make a removable recording medium such as a D-ROM or MO function as the compressed waveform database. Or,
A waveform database provided in an external host or server computer is accessed via an interface 19 and a communication line to write compressed data therein, and to store compressed data necessary for reproduction in a hard disk device 13 or a RAM 12. Etc. may be downloaded. At the time of waveform generation, a predetermined waveform generation process is performed using the compressed data stored in the compressed waveform database to generate digital waveform data. The generated digital waveform data may be output as an analog signal via the waveform interface 17 as described above, or may be transferred and output as digital data to the outside via an appropriate interface 19 or the like.
When an external memory such as the hard disk device 13, the removable disk device 14, or an external host or server computer is used as the compressed waveform database, an internal memory is provided to enable quick access to designated waveform data. Transfer buffer (RAM1
2 or the like) may be transferred in whole or in part to the compressed waveform database.
【0020】表示器15においては、波形圧縮処理及び
波形生成処理の過程において、CPU10からの指示に
応じて、様々なグラフィック画面を表示する。例えば、
録音した波形の形状をグラフィック表示したり、波形圧
縮処理の際の波形エディット状態をグラフィック表示し
たり、音色設定、音色編集、システム設定等の各種デー
タ設定・選択等のための制御画面を表示したり、という
ように多様に使用される。また、入力操作装置16のア
ルファニューメリックキーボード及びマウス等を用い
て、波形圧縮処理及び波形生成処理の過程において、必
要な制御情報や文字情報等が入力される。また、インタ
フェース19を介して、MIDI鍵盤モジュールやシー
ケンサ(自動演奏装置)あるいは他のコンピュータが接
続され、楽音再生のための演奏指示情報等を入力した
り、各種データの授受を行う。The display unit 15 displays various graphic screens in response to an instruction from the CPU 10 in the course of the waveform compression processing and the waveform generation processing. For example,
Graphical display of the shape of the recorded waveform, graphical display of the waveform editing status during waveform compression processing, and display of control screens for setting and selecting various data such as tone setting, tone editing, system setting, etc. It is used in a variety of ways. Further, necessary control information, character information, and the like are input in the course of the waveform compression processing and the waveform generation processing using the alphanumeric keyboard and the mouse of the input operation device 16. Also, a MIDI keyboard module, a sequencer (automatic performance device) or another computer is connected via the interface 19 to input performance instruction information for reproducing a musical tone and to exchange various data.
【0021】CPU10の制御の下で、この発明に係る
波形圧縮処理及び/又は波形生成処理を実行するソフト
ウェアプログラムは、ROM11又はRAM12あるい
はハードディスク装置13等のいずれに記憶しておくよ
うにしてもよい。また、このプログラムは、リムーバブ
ルディスク装置14に着脱可能なCD−ROMやMO等
のリムーバブルな記録媒体に記録されていてもよく、ま
た、外部のホスト又はサーバコンピュータから通信回線
及びインタフェース19を介して該プログラムを受信
し、ハードディスク装置13あるいはRAM12等にダ
ウンロードするようにしてもよい。また、この発明の実
施にあたっては、図1に示されたようなコンピュータシ
ステムが、波形圧縮処理と波形生成処理の両方の機能を
必ずしも兼備している必要はなく、どちらか一方のみを
実施し得るような構成であってもよい。A software program for executing the waveform compression processing and / or the waveform generation processing according to the present invention under the control of the CPU 10 may be stored in the ROM 11, the RAM 12, the hard disk device 13, or the like. . Further, this program may be recorded on a removable recording medium such as a CD-ROM or an MO that can be attached to and detached from the removable disk device 14, or from an external host or server computer via a communication line and an interface 19. The program may be received and downloaded to the hard disk device 13 or the RAM 12 or the like. In practicing the present invention, the computer system as shown in FIG. 1 does not necessarily need to have both functions of the waveform compression processing and the waveform generation processing, and can perform only one of them. Such a configuration may be used.
【0022】次に、CPU10の制御の下で実行される
各種処理の実施例について説明する。図2は、CPU1
0の制御の下で実行される波形圧縮処理の手順を等価的
ブロック図によって略示するものである。まず、「奏法
付き波形録音」(プロセスP1)では、各種の自然楽器
において、熟練した演奏家逹によって、同じピッチ、同
じ強度の楽音を様々な奏法で実際に演奏してもらい、そ
れぞれの演奏音を波形インタフェース17を介してサン
プリングし、こうして、多数の奏法付き波形データをR
AM12あるいはハードディスク装置13等における所
定の記憶領域に記録する。この場合、記録される演奏音
は、単音とは限らず、一連のフレーズ、あるいは和音等
であってもよく、また、単音若しくは一連のフレーズ等
からなる1つの演奏音の中に複数の異なる奏法が含まれ
ていてもよい。Next, embodiments of various processes executed under the control of the CPU 10 will be described. FIG.
The procedure of the waveform compression process executed under the control of 0 is schematically illustrated by an equivalent block diagram. First, in the “waveform recording with playing style” (process P1), experienced performers actually play musical sounds having the same pitch and the same intensity in various playing styles on various natural musical instruments. Is sampled via the waveform interface 17, and thus a large number of waveform data with renditions are
It is recorded in a predetermined storage area in the AM 12, the hard disk device 13, or the like. In this case, the recorded performance sound is not limited to a single sound, and may be a series of phrases, chords, or the like. Also, a plurality of different playing styles may be included in a single performance sound composed of a single sound or a series of phrases. May be included.
【0023】なお、「ビブラート」や「スラー」等一般
的な奏法名が同じであっても各楽器種類毎にその演奏音
の波形特徴が異なるし、また、一般的な奏法名が同じで
かつ楽器種類が同じであってもその奏法の程度の違い
(例えばビブラート深さの違い等)によってそれぞれの
演奏音の波形特徴が異なる。従って、「奏法付き波形録
音」(プロセスP1)で録音する様々な奏法に従う演奏
音とは、これらの各種観点に従う奏法の違いを考慮した
ものである。よって、「奏法付き演奏音」は、主に、
「楽器名」と、「奏法名」と、その奏法の程度を示す
「パラメータ」、の3つの要素の組合わせを用いて区別
され、記述することができる。その場合、奏法の程度を
示す「パラメータ」には複数のパラメータが含まれる。Even if the general playing style names such as "vibrato" and "slur" are the same, the waveform characteristics of the performance sounds are different for each musical instrument type, and the general playing style names are the same. Even if the type of musical instrument is the same, the waveform characteristics of each performance sound differ depending on the degree of the playing technique (for example, the difference in vibrato depth). Therefore, the performance sounds according to various performance styles recorded in the “waveform recording with performance style” (process P1) take into account differences in performance styles from these various viewpoints. Therefore, the “performance sound with playing style” is mainly
It can be distinguished and described using a combination of three elements: a "musical instrument name", a "performance style name", and a "parameter" indicating the degree of the performance style. In this case, the “parameter” indicating the degree of the playing style includes a plurality of parameters.
【0024】一例を示すと、次のようである。 例1:「バイオリン」(楽器名)の「アタック」(奏法
名)においては、その「立ち上がり速度、強度、ピッ
チ」等がパラメータとなる。 例2:「バイオリン」(楽器名)の「スラー」(奏法
名)においては、その「スラー幅、スラー速度、強度、
ピッチ」等がパラメータとなる。 例3:「バイオリン」(楽器名)の「ビブラート」(奏
法名)においては、その「ビブラート深さ、ビブラート
速度、強度、ピッチ」等がパラメータとなる。 例4:「ギター」(楽器名)の「ピッキング」(奏法
名)においては、その「強度、ピッチ」等がパラメータ
となる。 例5:「ギター」(楽器名)の「ハンマリング・オン」
(奏法名)においては、その「強度、ピッチ」等がパラ
メータとなる。 例6:「ギター」(楽器名)の「ベンド」(奏法名)に
おいては、その「ベンド幅、ベンド速度、強度、ピッ
チ」等がパラメータとなる。 例7:「ギター」(楽器名)の「トレモロアーム操作」
(奏法名)においては、その「操作幅、操作速度、強
度、ピッチ」等がパラメータとなる。 また、パラメータには、強度時間変化カーブやスラー時
間変化カーブのように、時間変化態様を示すものが含ま
れていてもよい。An example is as follows. Example 1: In "attack" (performance style name) of "violin" (instrument name), its "rise speed, strength, pitch" and the like are parameters. Example 2: For "slur" (playing style name) of "violin" (musical instrument name), the "slur width, slur speed, intensity,
"Pitch" or the like is a parameter. Example 3: For "vibrato" (playing style name) of "violin" (instrument name), the "vibrato depth, vibrato speed, intensity, pitch" and the like are parameters. Example 4: "Picking" (performance style name) of "guitar" (instrument name) has parameters such as "strength and pitch". Example 5: "Hammering on" of "guitar" (instrument name)
In (playing style name), the “strength, pitch” and the like are parameters. Example 6: In "bend" (performance style name) of "guitar" (instrument name), "bend width, bend speed, intensity, pitch" and the like are parameters. Example 7: “Tremolo arm operation” of “Guitar” (instrument name)
In (playing style name), the “operation width, operation speed, intensity, pitch” and the like are parameters. The parameter may include a parameter indicating a time change mode, such as an intensity time change curve or a slur time change curve.
【0025】次に、「奏法分析」(プロセスP2)で
は、前記「奏法付き波形録音」のプロセスP1で準備し
た各波形データを分析して、一つ又は一連の演奏音の波
形データの中で共通の奏法に対応している部分がどの範
囲(これを奏法区間ということにする)であるかを抽出
し、該波形データの中に含まれる一又は複数の各奏法毎
に、該波形データを区間分けする位置を決定し、分けら
れた各区間(奏法区間)で用いられている奏法を記述す
るための前記「奏法名」と前記「パラメータ」とをそれ
ぞれ決定し、該「奏法名」のデータと「パラメータ」と
からなる奏法指定データを生成する。また、該奏法につ
いての「楽器名」を示す楽器指定データも生成する。こ
うして、一つ又は一連の演奏音の波形データを、そこで
用いられている一又は複数の奏法に応じて一又は複数の
奏法区間に分ける定義付けと、各奏法区間について当該
奏法の種類を記述するための「楽器名」と「奏法名」と
「パラメータ」の3つの要素が、楽器指定データと奏法
指定データとによって定義される。これらの楽器指定デ
ータと奏法指定データは、波形データ圧縮のためのプロ
セスP3〜P6の処理によって圧縮された当該奏法区間
についての圧縮データの解説情報若しくはインデックス
情報として使用される。Next, in a "reproduction style analysis" (process P2), each waveform data prepared in the process P1 of the "waveform recording with rendition style" is analyzed, and one or a series of performance sound waveform data is analyzed. A range corresponding to a common performance style is extracted (this is referred to as a performance style section), and the waveform data is extracted for each of one or more performance styles included in the waveform data. The position to be sectioned is determined, and the “performance style name” and the “parameter” for describing the performance style used in each of the divided sections (performance style section) are determined. The rendition style designation data including the data and the “parameter” is generated. Also, musical instrument designation data indicating the “musical instrument name” for the playing style is generated. In this way, the definition of dividing the waveform data of one or a series of performance sounds into one or a plurality of performance style sections according to one or a plurality of performance styles used therein, and describing the type of the performance style for each performance style section For this purpose, three elements of "instrument name", "performance style name", and "parameter" are defined by the instrument designation data and the performance style designation data. These musical instrument designation data and rendition style designation data are used as commentary information or index information of the compressed data of the rendition style section compressed by the processes P3 to P6 for waveform data compression.
【0026】この「奏法分析」(プロセスP2)におけ
る分析の手法としては、例えば次の3通りの手法が考え
られる。 例1:分析すべき波形データの音をユーザが耳で聴き、
かつ必要に応じてその波形を表示器15で表示し、奏法
区間として分割する区切りの位置をユーザの判断によっ
て入力操作装置16を用いて手動指定する。また、分割
指定した各奏法区間についての「奏法名」と「パラメー
タ」とをユーザの判断によって決定し、入力操作装置1
6を用いて手動指定する。これは手動分析に相当する。 例2:CPU10が所定の奏法分析プログラムを実行し
て、分析対象の波形データのピッチ、振幅等の各種楽音
特性の変化を分析し、この分析結果に基づいて奏法区間
として分割する区切りの位置を自動的に決定し、かつ、
決定した各奏法区間についての「奏法名」と「パラメー
タ」とを自動的に決定する。これは全自動分析に相当す
る。 例3:上記例1と例2の手法を複合したもの。すなわ
ち、ユーザによる手動分析とCPUによる自動分析とを
組合わせて奏法分析を行う。例えば、奏法区間の分割と
「奏法名」の決定は、ユーザが手動で行い、各奏法区間
における「パラメータ」はCPUによる自動分析によっ
て決定する。あるいは、CPUによる自動分析によって
決定された各奏法区間の分割位置あるいは「奏法名」あ
るいは「パラメータ」を、ユーザの手動操作によって適
宜修正する。For example, the following three methods are conceivable as analysis methods in the "performance analysis" (process P2). Example 1: The user listens to the sound of the waveform data to be analyzed,
The waveform is displayed on the display 15 as necessary, and the position of the division to be divided as the rendition style section is manually designated by the user using the input operation device 16. In addition, the “reproduction style name” and “parameter” for each of the divided performance style sections specified by the user are determined by the user, and the input operation device 1
Specify manually using 6. This corresponds to a manual analysis. Example 2: The CPU 10 executes a predetermined rendition style analysis program to analyze changes in various tone characteristics, such as pitch and amplitude, of the waveform data to be analyzed, and based on the analysis result, determines the position of a break to be divided as a rendition style section. Automatically determined, and
The “performance style name” and “parameter” for each determined performance style section are automatically determined. This corresponds to a fully automatic analysis. Example 3: A combination of the techniques of Examples 1 and 2 above. That is, the performance analysis is performed by combining the manual analysis by the user and the automatic analysis by the CPU. For example, the division of the performance style section and the determination of the “performance name” are manually performed by the user, and the “parameter” in each performance style section is determined by automatic analysis by the CPU. Alternatively, the division position of each performance style section or the “performance style name” or “parameter” determined by the automatic analysis by the CPU is appropriately corrected by a user's manual operation.
【0027】次に、「奏法区間分割」(プロセスP3)
では、前記「奏法付き波形録音」のプロセスP1で準備
した一つ又は一連の演奏音の波形データを、当該波形デ
ータについて前記「奏法分析」のプロセスP2で決定し
た奏法区間分割位置指定情報に従って具体的に分割する
処理を行う。以後の各プロセスP4〜P6の処理は、分
割された個々の奏法区間毎の波形データに対して行われ
る。Next, "reproduction style section division" (process P3)
In the above, the waveform data of one or a series of performance sounds prepared in the process P1 of the “waveform recording with performance style” is concretely determined according to the performance style section division position designation information determined in the process P2 of the “performance style analysis” for the waveform data. Performs a process of splitting the data. Subsequent processes of the processes P4 to P6 are performed on the waveform data of each divided performance style section.
【0028】次に、「調和/調和外成分分離」(プロセ
スP4)では、前記「奏法区間分割」のプロセスP3で
分割された1つの奏法区間の波形データをRAM12等
のメモリから取り出し、この波形データを調和成分と調
和外成分とに分離する処理を行う。この分離処理の一例
を示すと、まず、分離対象たる波形データを入力し、こ
れを高速フーリエ変換(FFT)によって周波数分析
(スペクトル分析)してその基本ピッチ周波数成分と高
調波成分とを抽出し、これを逆フーリエ変換することに
より、調和成分の波形を生成する。このように生成した
調和成分波形を分離対象たる入力波形データから引くこ
とにより、その残差波形として調和外成分の波形を得
る。一例として、上記FFT処理においては、分析しよ
うとする波形データの8周期分に相当する長さの窓関数
を使用し、その窓関数を1/8周期分に相当するフレー
ム分だけずらしながら波形データ全体を分析するとよ
い。このようなFFT分析を採用すると、高調波成分の
周波数のゆらぎをゆらぎとして分析することができ、こ
れを調和成分に含めて抽出することができる。勿論、窓
関数のサイズやそのずらし量は、上記例に限らず、任意
に設定可能であり、FFT処理で分析される周波数成分
の周波数やレベルのゆらぎをゆらぎとして検出すること
ができるような設定となっていればよい。Next, in the "harmonic / non-harmonic component separation" (process P4), the waveform data of one rendition style segment divided in the process P3 of "reproduction style segmentation" is fetched from a memory such as the RAM 12 and the like. A process for separating data into a harmonic component and a non-harmonic component is performed. As an example of this separation processing, first, waveform data to be separated is input, and frequency analysis (spectrum analysis) is performed on the waveform data by fast Fourier transform (FFT) to extract its fundamental pitch frequency component and harmonic components. Is subjected to inverse Fourier transform to generate a waveform of a harmonic component. By subtracting the generated harmonic component waveform from the input waveform data to be separated, a waveform of the non-harmonic component is obtained as the residual waveform. As an example, in the above-mentioned FFT processing, a window function having a length corresponding to eight periods of the waveform data to be analyzed is used, and the window function is shifted by a frame corresponding to one-eighth period. You should analyze the whole. When such an FFT analysis is employed, the fluctuation of the frequency of the harmonic component can be analyzed as the fluctuation, and the fluctuation can be included in the harmonic component and extracted. Of course, the size of the window function and the shift amount thereof are not limited to the above example, and can be set arbitrarily, and can be set so that the fluctuation of the frequency or level of the frequency component analyzed by the FFT processing can be detected as the fluctuation. It should just be.
【0029】次に、「調和成分分析」(プロセスP5)
では、前記「調和/調和外成分分離」のプロセスP4で
分離・生成された調和成分の波形データの特徴を分析
し、この特徴に従って最適なベクトル量子化処理を行
い、ベクトル量子化に従って圧縮された当該調和成分波
形の圧縮データを生成する。ここで、調和成分は基本的
に繰り返し波形とみなすことができるので、例えば、1
周期ないし複数周期の波形を代表ベクトルとして用い
て、該代表ベクトルをループする(または相前後する2
つの代表ベクトルをクロスフェードループする)こと
で、調和成分波形の再生を行うことができる。そこで、
そのような代表ベクトルを調和ベクトルとして調和ベク
トル記憶部M1に記憶しておき、この「調和成分分析」
(プロセスP5)で生成する圧縮データとして、調和ベ
クトル記憶部M1に記憶した調和ベクトルのうち当該調
和成分の代表ベクトルとして使用すべき調和ベクトルを
指定するベクトル情報と、この指定された調和ベクトル
つまり代表ベクトルをどのように用いるか(例えばその
ベクトルを使用する区間やループする期間、あるいはそ
れに付与するエンベロープの形態など)を記述する情報
等を含むものを生成するようにするとよい。この「調和
成分分析」(プロセスP5)の詳細例については更に追
って説明する。Next, "harmonic component analysis" (process P5)
Then, the characteristic of the waveform data of the harmonic component separated and generated in the process P4 of “harmonic / out-of-harmonic component separation” is analyzed, an optimal vector quantization process is performed according to the characteristic, and the compressed data is compressed according to the vector quantization. The compressed data of the harmonic component waveform is generated. Here, the harmonic component can be basically regarded as a repetitive waveform.
Using the waveform of a cycle or a plurality of cycles as a representative vector, looping the representative vector (or
By performing a cross-fade loop on one representative vector), a harmonic component waveform can be reproduced. Therefore,
Such a representative vector is stored as a harmonic vector in the harmonic vector storage unit M1.
As compressed data generated in (process P5), vector information specifying a harmonic vector to be used as a representative vector of the harmonic component among the harmonic vectors stored in the harmonic vector storage unit M1, and the designated harmonic vector, that is, the representative harmonic vector. It is preferable to generate information including information describing how to use the vector (for example, a section in which the vector is used, a period during which the vector is looped, or a form of an envelope provided to the vector). A detailed example of this “harmonic component analysis” (process P5) will be further described later.
【0030】一方、「調和外成分分析」(プロセスP
6)では、前記「調和/調和外成分分離」のプロセスP
4で分離・生成された調和外成分の波形データの特徴を
分析し、この特徴に従って最適なベクトル量子化処理を
行い、ベクトル量子化に従って圧縮された当該調和外成
分波形の圧縮データを生成する。ここで、調和外成分
は、データ圧縮の促進と波形再現性の向上との兼ね合い
を考慮して、それぞれの調和外成分の特徴又は内容に見
合った、最適な形態でベクトル量子化を行うようにして
いる。調和外成分は、基本的には繰り返し性を持たない
ランダムな雑音波形に該当するが、例えば、その内容や
発音期間の中のどの位置に位置するかといった重要度の
有無等を考慮して、特定の代表ベクトルをループ処理す
ることで必要な時間長の調和外成分波形を再生するよう
にしてもよいし(これをループ再生という)、あるい
は、必要な時間長からなる代表ベクトルをループさせず
に一回だけ使用することで所要の調和外成分波形を再生
するようにしてもよい(これをワンショット再生とい
う)。あるいは、複数の代表ベクトルを所定の順番で切
換えて組合わせることにより、所要の調和外成分波形を
再生するようにしてもよい(これをシーケンス再生とい
う)。あるいは、その切換え順序をランダムに設定し
て、調和外成分の雑音性つまりランダム性を強調するよ
うにしてもよい(これをランダムシーケンス再生とい
う)。このような各種の最適ベクトル量子化形態を考慮
し、調和外ベクトルとして、様々な最適ベクトル量子化
の形態に見合った、代表ベクトルを適宜使用することが
好ましい。そこで、そのような各種の代表ベクトルを調
和外ベクトルとして調和外ベクトル記憶部M2に記憶し
ておき、この「調和外成分分析」(プロセスP6)で生
成する圧縮データとして、調和外ベクトル記憶部M2に
記憶した調和外ベクトルのうち当該調和外成分の代表ベ
クトルとして使用するのにふさわしい調和外ベクトルを
指定するベクトル情報と、この調和外ベクトルつまり代
表ベクトルをどのように用いるか(例えばそのベクトル
を使用する区間や上記ループ再生やワンショット再生等
の区別やその期間やそれに付与するエンベロープの形態
など)を記述する情報等を含むものを生成するようにす
るとよい。この「調和外成分分析」(プロセスP6)の
詳細例についても更に追って説明する。On the other hand, “out-of-harmonic component analysis” (process P
6) In the process P of the “harmonic / unharmonic component separation”
The characteristic of the waveform data of the non-harmonic component separated and generated in step 4 is analyzed, an optimal vector quantization process is performed according to the characteristic, and compressed data of the non-harmonic component waveform compressed according to the vector quantization is generated. Here, the non-harmonic components should be subjected to vector quantization in an optimal form that matches the characteristics or contents of each non-harmonic component in consideration of the balance between promoting data compression and improving waveform reproducibility. ing. The out-of-harmonic component basically corresponds to a random noise waveform having no repeatability.For example, in consideration of the presence or absence of importance such as its content and where it is located in the sounding period, A non-harmonic component waveform of a required time length may be reproduced by looping a specific representative vector (this is called loop reproduction), or a representative vector having a required time length is not looped. In this case, the required non-harmonic component waveform may be reproduced by using it only once (this is called one-shot reproduction). Alternatively, a required non-harmonic component waveform may be reproduced by switching a plurality of representative vectors in a predetermined order and combining them (this is called sequence reproduction). Alternatively, the switching order may be set at random to emphasize the noise, that is, the randomness of the non-harmonic component (this is referred to as random sequence reproduction). In consideration of such various optimal vector quantization forms, it is preferable to appropriately use a representative vector suitable for various optimal vector quantization forms as the nonharmonic vector. Therefore, such various representative vectors are stored in the non-harmonic vector storage unit M2 as non-harmonic vectors, and the compressed data generated in the “non-harmonic component analysis” (process P6) are stored in the non-harmonic vector storage unit M2. Vector information that specifies a non-harmonic vector suitable for use as a representative vector of the non-harmonic component stored in the non-harmonic vector, and how to use the non-harmonic vector, that is, the representative vector (for example, use the vector It is preferable to generate an information including information describing a section to be performed, a distinction between the loop reproduction, the one-shot reproduction, and the like, a period of the reproduction, and a form of an envelope to be added thereto. A detailed example of this “out-of-harmonic component analysis” (process P6) will be further described later.
【0031】図2において、奏法情報記憶部M3は、個
々の奏法区間についての、前記「調和成分分析」(プロ
セスP5)で生成された圧縮データ(第1の圧縮デー
タ)と前記「調和外成分分析」(プロセスP6)で生成
された圧縮データ(第2の圧縮データ)とを、当該奏法
区間について前記「奏法分析」(プロセスP3)で生成
された楽器指定データ及び奏法指定データとの組にし
て、奏法情報として記憶するものである。従って、波形
再生のために、所望の奏法についての楽器指定データ及
び奏法指定データとをインデックスにして、奏法情報記
憶部M3から該当する奏法区間についての調和成分及び
調和外成分の(つまり第1及び第2の)圧縮データを呼
び出すことができる。そして、この呼び出された圧縮デ
ータに含まれるベクトル情報に応じて、調和ベクトル記
憶部M1及び調和外ベクトル記憶部M2からそれぞれ所
定の調和ベクトルと調和外ベクトルとを読み出し、これ
らに基づき調和成分波形と調和外成分波形とをそれぞれ
再生し、両者を加算的に合成することで原波形の再現若
しくは原波形の特徴を持つ楽音波形の生成を行うことが
できる。In FIG. 2, the rendition style information storage unit M3 stores the compressed data (first compressed data) generated in the “harmonic component analysis” (process P5) and the “non-harmonic component” for each rendition style section. The analysis data (second compressed data) generated in the “analysis” (process P6) is combined with the musical instrument designation data and the rendition style designation data generated in the “reproduction style analysis” (process P3) for the relevant rendition style section. And stored as performance style information. Therefore, for waveform reproduction, the musical instrument designation data and the performance style designation data for the desired performance style are used as indices, and the harmony component and the non-harmonic component (that is, the first and second components) for the corresponding performance style section are stored in the performance style information storage unit M3. The second) compressed data can be recalled. Then, in accordance with the vector information included in the called compressed data, predetermined harmonic vectors and non-harmonic vectors are read from the harmonic vector storage unit M1 and the non-harmonic vector storage unit M2, respectively. By reproducing each of the non-harmonic component waveforms and adding them together, reproduction of the original waveform or generation of a musical sound waveform having characteristics of the original waveform can be performed.
【0032】次に、図3により、「調和成分分析」(プ
ロセスP5)の詳細例について説明する。なお、図3に
示された処理は、「調和成分分析」(プロセスP5)の
すべてを示しているわけではなく、主に、新規に調和ベ
クトルを生成して、これを調和ベクトル記憶部M1に蓄
積記憶する処理に関連する部分を示している。Next, a detailed example of “harmonic component analysis” (process P5) will be described with reference to FIG. Note that the processing illustrated in FIG. 3 does not indicate all of the “harmonic component analysis” (process P5), but mainly generates a new harmonic vector and stores it in the harmonic vector storage unit M1. 2 shows a portion related to a process of storing and storing.
【0033】まず、「波形区間分割」処理S1では、前
記プロセスP4の「調和/調和外成分分離」で分離・生
成された1奏法区間分の調和成分波形を、複数の波形区
間に分割する。この波形区間の分割の仕方としては、1
周期毎の波形形状の特徴が共通又は類似している連続的
な1又は複数周期波形からなる区間を1波形区間として
抽出し、その区切りで分割する。従って分割される各波
形区間のサイズは概して不等間隔である。また、この
「波形区間分割」処理S1は、表示器15に表示された
波形形状を目視しながらユーザが手動操作によって適宜
の分割位置を指示するようにしてもよいし、あるいはC
PU10が所定の波形区間分割プログラムを実行して、
各周期ごとの波形の周波数特性を自動的に分析すること
に基づき自動的に分割位置を決定するようにしてもよ
い。あるいは、手動操作と自動処理とを組合わせてこれ
を行ってもよい。なお、この「波形区間分割」処理S1
の結果、入力された調和成分波形がどのような形態で複
数の波形区間に分割されたのかを記述する情報として、
「区間情報」が生成される。なお、1周期毎の波形形状
の特徴が共通又は類似しているかの判定を効率的に行う
ために、1周期毎に波形を切り出して、そのピッチと振
幅レベルを共通にする規格化処理を行い、純粋に1周期
波形の波形形状のみの比較が行えるようにするとよい。
その場合、以後のベクトル量子化処理は、ピッチと振幅
レベルが規格化された波形データに関して行われること
になるので、この規格化したピッチと振幅レベルに対す
る元のピッチと振幅レベルの時間的変化状態を示すベク
トルとして、「ピッチベクトル」と、「振幅ベクトル」
を生成するとよい。ここで、波形データの時間軸位置を
制御して規格化することが好ましい場合もあり、その場
合は、波形データの時間軸位置の時間的変化状態を示す
ベクトルとして「タイムベクトル」を生成する。First, in the "waveform section division" process S1, the harmonic component waveform for one rendition style section separated and generated in the "harmonic / non-harmonic component separation" of the process P4 is divided into a plurality of waveform sections. The method of dividing the waveform section is as follows.
A section composed of one or more continuous periodic waveforms having common or similar characteristics of the waveform shape for each cycle is extracted as one waveform section, and divided at the boundaries. Therefore, the size of each divided waveform section is generally unequal. In the "waveform section division" process S1, the user may manually designate an appropriate division position while visually checking the waveform shape displayed on the display 15, or C
PU10 executes a predetermined waveform section dividing program,
The division position may be automatically determined based on automatically analyzing the frequency characteristics of the waveform for each cycle. Alternatively, this may be performed by a combination of manual operation and automatic processing. Note that this “waveform section division” processing S1
As a result, as information that describes how the input harmonic component waveform is divided into a plurality of waveform sections,
“Section information” is generated. In order to efficiently determine whether the characteristics of the waveform shape in each cycle are common or similar, a waveform is cut out in each cycle and a normalization process is performed to make the pitch and amplitude level common. It is preferable that only the waveform shape of a one-period waveform can be compared.
In this case, since the subsequent vector quantization processing is performed on the waveform data in which the pitch and the amplitude level are standardized, the temporal change state of the original pitch and the amplitude level with respect to the standardized pitch and the amplitude level "Pitch vector" and "Amplitude vector"
Should be generated. Here, in some cases, it is preferable to control and normalize the time axis position of the waveform data. In such a case, a “time vector” is generated as a vector indicating a temporal change state of the time axis position of the waveform data.
【0034】次に、「グループ分け」処理S2では、分
割された各波形区間の波形データについて、その1周期
分又は複数周期分の波形形状が類似している区間同士を
同一グループとするグループ分けを行う。このグループ
分けは、自己の奏法区間についての波形区間同士で行う
のは勿論のこと、むしろ、他の奏法区間(異なる楽器を
含む)についての各波形区間の波形データとの間で行う
ことを主旨とするものである。すなわち、グループ波形
記憶部M4において、既にグループ分けされた各奏法区
間についての多数の波形区間の波形データがグループ分
けされた状態で記憶される。「グループ分け」処理S2
では、このグループ波形記憶部M4の記憶内容を参照し
て、今回分割された各波形区間の波形データについて、
その1周期分又は複数周期分の波形形状が類似している
ものが、グループ波形記憶部M4内の既存のグループに
存在しているかどうかを調べる。存在していれば、当該
波形区間の波形データを当該グループに含める。すなわ
ち、当該波形区間の波形データをグループ波形記憶部M
4の当該グループの記憶領域に記憶させると共に、当該
グループを示す「グループ情報」を生成する。既存のグ
ループに類似する波形がなければ、当該波形区間の波形
データを新グループとして登録する。すなわち、当該波
形区間の波形データをグループ波形記憶部M4の当該新
グループの記憶領域に記憶させると共に、当該新グルー
プを示す「グループ情報」を生成する。この場合、デー
タ共用効率を上げるために、上述のように原波形のピッ
チや音量レベルが共通になるように適宜の波形規格化処
理を施し、純粋に波形形状のみの比較によってグループ
分けを行うとよい。勿論、各波形区間のサイズとは無関
係に、当該波形区間を特徴づけている1周期又は複数周
期の波形形状同士を比較する。かくして、異なる楽器
の、あるいは異なる奏法の、あるいは異なるピッチ等の
波形データ同士であっても、そのうちの或る波形区間の
波形形状が類似していれば、当該類似している波形区間
の波形データについては共通のグループに分類されるこ
とになる。これは、調和ベクトル記憶部M1における調
和ベクトル(調和外ベクトル記憶部M2における調和外
ベクトルについても同様)が、異なる楽器音あるいは異
なる奏法あるいは異なるピッチ等、異なる特性の種々の
奏法波形間において共用され得ることを意味しており、
調和ベクトル記憶部M1(あるいは調和外ベクトル記憶
部M2も同様)の記憶規模の縮小に役立つことを意味す
る。なお、この「グループ分け」処理S2も、上記のよ
うに、ユーザの手動操作によって行ってもよいし、CP
U10による自動処理によって行ってもよいし、また、
手動操作と自動処理とを組合わせて行ってもよい。Next, in the "grouping" process S2, for the waveform data of each divided waveform section, sections having a similar waveform shape for one cycle or a plurality of cycles are grouped into the same group. I do. The main purpose of this grouping is not only to perform between the waveform sections of its own rendition style section, but rather to perform the grouping with the waveform data of each waveform section of other rendition style sections (including different musical instruments). It is assumed that. That is, in the group waveform storage unit M4, the waveform data of a large number of waveform sections for each rendition style section already grouped is stored in a grouped state. "Grouping" process S2
Then, referring to the storage content of the group waveform storage unit M4, the waveform data of each waveform section divided this time is
It is checked whether or not a waveform having a similar waveform shape for one cycle or a plurality of cycles exists in an existing group in the group waveform storage unit M4. If it exists, the waveform data of the waveform section is included in the group. That is, the waveform data of the waveform section is stored in the group waveform storage unit M
4 is stored in the storage area of the group, and “group information” indicating the group is generated. If there is no waveform similar to the existing group, the waveform data of the waveform section is registered as a new group. That is, the waveform data of the waveform section is stored in the storage area of the new group in the group waveform storage unit M4, and “group information” indicating the new group is generated. In this case, in order to increase the data sharing efficiency, as described above, appropriate waveform normalization processing is performed so that the pitch and volume level of the original waveform are common, and grouping is performed by comparing only the waveform shapes purely. Good. Of course, irrespective of the size of each waveform section, the waveform shapes of one cycle or a plurality of cycles characterizing the waveform section are compared. Thus, even if waveform data of different musical instruments, different playing styles, or different pitches are similar, if the waveform shape of a certain waveform section is similar, the waveform data of the similar waveform section Will be classified into a common group. This is because the harmony vector in the harmony vector storage unit M1 (the same applies to the out-of-harmony vector in the out-of-harmony vector storage unit M2) is shared between various performance styles having different characteristics such as different instrument sounds, different performance styles, and different pitches. Means to get,
This means that the storage scale of the harmonic vector storage unit M1 (or the non-harmonic vector storage unit M2) is reduced. Note that this “grouping” process S2 may be performed manually by the user as described above,
It may be performed by automatic processing by U10,
Manual operation and automatic processing may be performed in combination.
【0035】次に、「各グループの代表ベクトル生成」
処理S3では、グループ波形記憶部M4の記憶内容を参
照し、同一グループ内の各波形データの特徴を考慮し
て、それらの波形データの代表ベクトルを生成する。例
えば、1つの波形区間において同じ様な1周期又は複数
周期波形が繰り返している場合、とりあえず、それを仮
の代表ベクトルとして選定し、同一グループ内の各波形
データの仮の代表ベクトルの平均的又は中間的または最
も特徴的なベクトルを、当該グループの代表ベクトルと
して決定し、これを生成する。生成した代表ベクトル
(具体的には1又は複数周期からなる波形データであ
る)は、調和ベクトル記憶部M1に記憶され、調和ベク
トルとして登録される。また、当該グループの代表ベク
トルが、調和ベクトル記憶部M1に記憶されているどの
調和ベクトルに該当するかを指示する、調和成分用の
「ベクトル情報」が生成される。この「ベクトル情報」
は、調和ベクトル記憶部M1に記憶されているどの調和
ベクトル(具体的には1又は複数周期からなる波形デー
タ)を代表ベクトルとして使用するかを指示するインデ
ックスデータであるから、複数ビットからなる僅かなデ
ータである。Next, "representative vector generation of each group"
In the process S3, a representative vector of the waveform data is generated by referring to the storage contents of the group waveform storage unit M4 and taking into consideration the characteristics of each waveform data in the same group. For example, if the same one cycle or a plurality of cycle waveforms are repeated in one waveform section, it is selected as a temporary representative vector for the time being, and the average or the average of the temporary representative vector of each waveform data in the same group is determined. An intermediate or most characteristic vector is determined as a representative vector of the group and generated. The generated representative vector (specifically, waveform data having one or a plurality of cycles) is stored in the harmonic vector storage unit M1, and registered as a harmonic vector. Also, "vector information" for a harmonic component is generated, which indicates which harmonic vector stored in the harmonic vector storage unit M1 corresponds to the representative vector of the group. This "vector information"
Is index data indicating which harmony vector (specifically, waveform data having one or a plurality of periods) stored in the harmony vector storage unit M1 is to be used as a representative vector. Data.
【0036】この「ベクトル情報」は、「波形区間分
割」処理S1から生成された「区間情報」との組合わせ
で、当該波形区間における調和成分の圧縮データとし
て、奏法情報記憶部M3に記憶される。従って、1つの
奏法区間に関する調和成分の圧縮データ(第1の圧縮デ
ータ)は、その奏法区間を分割してなる複数の波形区間
の各々についての「ベクトル情報」と「区間情報」との
組合わせを含んでいる。この場合、前述のようにピッチ
と振幅レベルを規格化した波形データに関してベクトル
量子化処理を施した場合は、上記「ベクトル情報」と
「区間情報」に対して、「波形区間分割」処理S1から
生成された「ピッチベクトル」と「振幅ベクトル」を更
に組合わせて、奏法情報記憶部M3に記憶する。また、
波形データの時間軸位置をも規格化した波形データに関
してベクトル量子化処理を施した場合は、「波形区間分
割」処理S1から生成された「タイムベクトル」を更に
組合わせて、奏法情報記憶部M3に記憶する。The "vector information" is stored in the rendition style information storage unit M3 as compressed data of harmonic components in the waveform section in combination with the "section information" generated from the "waveform section division" process S1. You. Therefore, the compressed data (first compressed data) of the harmonic component for one rendition style section is a combination of “vector information” and “section information” for each of a plurality of waveform sections obtained by dividing the rendition style section. Contains. In this case, when the vector quantization processing is performed on the waveform data in which the pitch and the amplitude level are standardized as described above, the “vector information” and the “section information” are subjected to the “waveform section division” processing S1. The generated “pitch vector” and “amplitude vector” are further combined and stored in the rendition style information storage unit M3. Also,
When the vector quantization processing is performed on the waveform data in which the time axis position of the waveform data is also normalized, the “time vector” generated from the “waveform section division” processing S1 is further combined, and the rendition style information storage unit M3 To memorize.
【0037】次に、調和ベクトル記憶部M1内に比較的
多くの調和ベクトルが蓄積された状態における「調和成
分分析」(プロセスP5)の処理例について説明する。
この場合は、主に、調和ベクトル記憶部M1に既に蓄え
られている多くの調和ベクトルの中から、調和成分波形
の代表ベクトルとして使用できる調和ベクトルを検索
し、検索した調和ベクトルを当該調和成分の代表ベクト
ルとして選定することからなる。Next, an example of processing of "harmonic component analysis" (process P5) in a state where a relatively large number of harmonic vectors are stored in the harmonic vector storage unit M1 will be described.
In this case, a harmony vector that can be used as a representative vector of the harmony component waveform is mainly searched from among many harmony vectors already stored in the harmony vector storage unit M1, and the searched harmony vector is searched for the harmony component. It is selected as a representative vector.
【0038】例えば、まず、前記プロセスP4の「調和
/調和外成分分離」で分離・生成された1奏法区間分の
調和成分波形から1周期毎に波形を切り出して、そのピ
ッチと振幅レベルを共通にする規格化処理を行い、更に
は必要に応じて波形データの時間軸位置を制御して規格
化する処理を行う。こうして、規格化された波形データ
を1周期毎に又は複数周期毎に、調和ベクトル記憶部M
1に既に蓄えられている多くの調和ベクトルと比較し、
類似する調和ベクトルを検索する。この場合の検索も、
分析対象たる調和成分波形と同一自然楽器及び/又は同
一奏法に該当する調和ベクトルだけでなく、異なる自然
楽器及び/又は異なる奏法に該当する調和ベクトルをも
検索対象に含めて行う。こうして、類似する調和ベクト
ルが見つかったら、該調和ベクトルに類似する連続的な
1又は複数周期波形からなる区間を1波形区間として抽
出し、「区間情報」を生成すると共に、該検索された調
和ベクトルを該「波形区間」の代表ベクトルとして指示
する「ベクトル情報」を生成し、それらを組にして奏法
情報記憶部M3に記憶する。この場合、前述と同様に、
ピッチと振幅レベルを規格化した波形データに関してベ
クトル量子化処理を施した場合は、規格化したピッチと
振幅レベルに対する元のピッチと振幅レベルの時間的変
化状態を示す「ピッチベクトル」と「振幅ベクトル」
を、上記「ベクトル情報」と「区間情報」に対して更に
組合わせて、奏法情報記憶部M3に記憶する。また、波
形データの時間軸位置をも規格化した波形データに関し
てベクトル量子化処理を施した場合は、波形データの時
間軸位置の時間的変化状態を示す「タイムベクトル」を
更に組合わせて、奏法情報記憶部M3に記憶する。For example, first, a waveform is cut out for each cycle from the harmonic component waveform for one rendition style segment separated and generated in the “harmonic / non-harmonic component separation” of the process P4, and the pitch and the amplitude level are shared. Then, if necessary, a process for controlling the time axis position of the waveform data for normalization is performed. In this manner, the normalized waveform data is stored in the harmonic vector storage unit M every cycle or every plural cycles.
1 compared to many harmonic vectors already stored in
Search for similar harmony vectors. The search in this case also
In addition to the harmonic vector corresponding to the same natural instrument and / or the same rendition style as the harmonic component waveform to be analyzed, a harmonic vector corresponding to a different natural instrument and / or a different rendition style is included in the search target. When a similar harmony vector is found in this way, a section composed of continuous one or more periodic waveforms similar to the harmony vector is extracted as one waveform section to generate “section information”, and the searched harmony vector is obtained. Is generated as a representative vector of the “waveform section”, and these are grouped and stored in the rendition style information storage unit M3. In this case, as before,
When the vector quantization process is performed on the waveform data in which the pitch and the amplitude level are standardized, the “pitch vector” and the “amplitude vector” indicating the temporal change state of the original pitch and the amplitude level with respect to the standardized pitch and the amplitude level "
Are further combined with the “vector information” and “section information” and stored in the rendition style information storage unit M3. When vector quantization processing is performed on waveform data in which the time axis position of the waveform data is also normalized, a “time vector” indicating a temporal change state of the time axis position of the waveform data is further combined, and The information is stored in the information storage unit M3.
【0039】ここで、上記検索の結果、類似する調和ベ
クトルが調和ベクトル記憶部M1に存在していなかった
場合は、図3の処理S1、S2、S3と同様の処理を行
うことで、波形区間の分割とグループ化を行い、新規に
代表ベクトルを生成し、これを新規の調和ベクトルとし
て調和ベクトル記憶部M1に登録する。そして、この新
規の調和ベクトルを指示する「ベクトル情報」を生成
し、「区間情報」等と共に奏法情報記憶部M3に記憶す
る。Here, as a result of the above search, if a similar harmony vector does not exist in the harmony vector storage unit M1, the same processing as the processing S1, S2, S3 in FIG. Is divided and grouped to generate a new representative vector, which is registered in the harmonic vector storage unit M1 as a new harmonic vector. Then, “vector information” indicating the new harmony vector is generated and stored in the rendition style information storage unit M3 together with “section information” and the like.
【0040】図4は、調和成分波形をベクトル量子化す
る様子の一例を示すグラフである。(a)は、原波形の
一例を振幅エンベロープによって概略的に示している。
(b)は、この原波形から分離した調和成分波形を複数
の「波形区間」に分割する一例を、各波形区間の区切り
を示す線図によって示している。(c)は、各「波形区
間」における代表ベクトルとして、1又は複数周期の波
形データからなる適切な調和ベクトルW0,W1,W
2,……W7が選定された状態を示すとともに、波形再
生時のループ再生例を示している。例えば、時点t0か
らt1までの波形区間については、調和ベクトルW0が
代表ベクトルとして使用され、再生時には、これが、時
点t0からt1までの間でループ再生される。なお、ル
ープ再生としては、次の区間の代表ベクトル(この場合
は調和ベクトルW1の先頭部の波形)との間でクロスフ
ェードループ再生する例を示している。時点t1からt
2までの波形区間については、比較的サイズの大きな
(多数周期波形からなる)調和ベクトルW1が代表ベク
トルとして使用され、再生時には、これが、時点t1か
らt2までの間の始まりの所定期間で1回再生され、残
りの期間で適宜ループ再生される(例えば調和ベクトル
W1の末尾の波形と次の区間の調和ベクトルW2との間
でクロスフェードループ再生される)。また、時点t2
からt3までの波形区間については、調和ベクトルW2
が代表ベクトルとして使用され、再生時には、これが、
時点t2からt3までの間でループ再生される(調和ベ
クトルW2と調和ベクトルW3との間でクロスフェード
ループ再生される)。以下、同様であり、最後の時点t
7以降の波形区間においては、調和ベクトルW8がが代
表ベクトルとして使用され、再生時には、これが単純ル
ープ再生される。図4の(d)、(e)、(f)は、そ
れぞれ(a)の調和成分波形からと抽出された「タイム
ベクトル」、「振幅ベクトル」、「ピッチベクトル」の
一例を示す。FIG. 4 is a graph showing an example of how the harmonic component waveform is vector-quantized. (A) schematically shows an example of an original waveform by an amplitude envelope.
(B) shows an example in which the harmonic component waveform separated from the original waveform is divided into a plurality of “waveform sections” by a diagram showing a break of each waveform section. (C) shows appropriate harmony vectors W0, W1, W composed of waveform data of one or more cycles as representative vectors in each “waveform section”.
2,... W7 indicate a selected state and an example of loop reproduction at the time of waveform reproduction. For example, in the waveform section from the time point t0 to the time point t1, the harmonic vector W0 is used as a representative vector, and at the time of reproduction, this is reproduced in a loop from the time point t0 to the time point t1. As the loop reproduction, an example is shown in which a cross-fade loop reproduction is performed with a representative vector of the next section (in this case, the waveform at the head of the harmony vector W1). From time t1 to t
For waveform sections up to 2, a relatively large harmony vector W1 (comprising a multi-period waveform) is used as a representative vector, which is reproduced once during a predetermined period from the time t1 to the time t2 during reproduction. It is reproduced and loop-reproduced as appropriate in the remaining period (for example, cross-fade loop reproduction is performed between the last waveform of the harmonic vector W1 and the harmonic vector W2 in the next section). Also, at time t2
For the waveform section from to t3, the harmonic vector W2
Is used as the representative vector, and during playback this is
Loop reproduction is performed between time points t2 and t3 (cross-fade loop reproduction is performed between the harmonic vector W2 and the harmonic vector W3). Hereinafter, the same applies to the last time point t.
In the waveform section 7 and thereafter, the harmony vector W8 is used as a representative vector, and at the time of reproduction, this is reproduced in a simple loop. 4D, 4E, and 4F show examples of “time vector”, “amplitude vector”, and “pitch vector” extracted from the harmonic component waveform of FIG. 4A, respectively.
【0041】次に、「調和外成分分析」(プロセスP
6)の詳細例について説明する。この「調和外成分分
析」(プロセスP6)の処理手順は、基本的には、図3
に示された「調和成分分析」(プロセスP5)の処理手
順と略同様の手順を用いてよい。ただし、分析の対象と
なるのは、前記プロセスP4の「調和/調和外成分分
離」で分離・生成された1奏法区間分の調和外成分波形
であるから、「波形区間分割」処理(S1)や、「グル
ープ分け」処理(S2)、「各グループの代表ベクトル
生成」処理(S3)においては、分析対象たる調和外成
分波形それ自体の1周期とか複数周期とかいった概念が
適用されないのは勿論である。また、調和ベクトル記憶
部M1ではなく、調和外ベクトル記憶部M2を使用し、
「各グループの代表ベクトル生成」処理(S3)で調和
外成分波形の代表ベクトルを新規に生成した場合は、こ
れが新規の調和外ベクトルとして調和外ベクトル記憶部
M2に記憶され、登録されるのは言うまでもない。Next, "out-of-harmonic component analysis" (process P
A detailed example of 6) will be described. The processing procedure of the “out-of-harmonic component analysis” (process P6) is basically the same as that of FIG.
, A procedure substantially similar to the processing procedure of “harmonic component analysis” (process P5) shown in FIG. However, since the analysis target is the non-harmonic component waveform for one rendition style section separated and generated by the “harmonic / non-harmonic component separation” in the process P4, the “waveform section division” processing (S1) In the "grouping" process (S2) and the "representative vector generation of each group" process (S3), the concept of one cycle or multiple cycles of the non-harmonic component waveform itself to be analyzed is not applied. Of course. Further, instead of the harmonic vector storage unit M1, a non-harmonic vector storage unit M2 is used,
When a new representative vector of the non-harmonic component waveform is newly generated in the “representative vector generation of each group” process (S3), this is stored in the non-harmonic vector storage unit M2 as a new non-harmonic vector and registered. Needless to say.
【0042】「調和外成分分析」においても、図3の
「波形区間分割」処理S1と同様な「波形区間分割」処
理を行い、分割された各波形区間を対象にしてベクトル
量子化処理を施す。その場合、調和外成分波形を複数の
波形区間に分割するやり方は、一般的に言って、その特
徴が共通又は類似している若しくはそのように推測され
る部分毎に複数の波形区間に分割することを基本的手法
としてよいが、この実施例では、次の2通りの手法のい
ずれか一方又は両方を組合わせて行うことを提案する。Also in "out-of-harmonic component analysis", "waveform section division" processing similar to "waveform section division" processing S1 in FIG. 3 is performed, and vector quantization processing is performed on each divided waveform section. . In that case, the method of dividing the non-harmonic component waveform into a plurality of waveform sections is generally divided into a plurality of waveform sections for each part whose characteristics are common or similar or inferred as such. Although this may be used as a basic method, in this embodiment, it is proposed to perform one or both of the following two methods in combination.
【0043】その第1の手法は、同じ奏法区間について
の調和成分の周期性を利用して、該調和成分の周期の整
数倍あるいは分数倍の期間で、調和外成分波形を複数の
波形区間に分割するものである。勿論、この場合も、分
割される各波形区間は、均等間隔である必要はなく、或
る波形区間は調和成分の2周期分の長さ、別の波形区間
は調和成分の10周期分の長さ、等々というように適宜
異なっていてよい。このように、調和成分の周期性に依
存して調和外成分波形の区間分割を行うやり方は、人の
手間を余りかけずに調和外成分波形の区間分割を行うこ
とができるので、分析作業が楽であるという利点があ
る。また、調和外成分波形の特徴が調和成分の周期性に
或る程度依存しているような場合においては、適切な波
形区間分割を容易に行えることになる。なお、調和成分
の周期性に依存して調和外成分波形の区間分割を行うと
言えども、調和外成分の波形区間分割形態は、それに対
応する調和成分の波形区間分割形態とは当然異なるもの
であり、調和成分及び調和外成分がそれぞれ独自に区間
分割されることは言うまでもない。The first method utilizes the periodicity of the harmonic component in the same rendition style section, and converts the non-harmonic component waveform into a plurality of waveform sections in a period that is an integral multiple or a fractional multiple of the cycle of the harmonic component. Is to be divided into Of course, in this case as well, the divided waveform sections do not need to be at equal intervals. One waveform section is two cycles in length of the harmonic component, and another waveform section is 10 cycles in length of the harmonic component. And so on, as appropriate. As described above, the method of performing the section division of the non-harmonic component waveform depending on the periodicity of the harmonic component can perform the division of the section of the non-harmonic component waveform without much human labor. It has the advantage of being easy. In addition, in a case where the characteristics of the non-harmonic component waveform depend to some extent on the periodicity of the harmonic component, appropriate waveform section division can be easily performed. Although it can be said that the division of the non-harmonic component waveform is performed depending on the periodicity of the harmonic component, the waveform division of the non-harmonic component is naturally different from the corresponding waveform division of the harmonic component. Of course, it goes without saying that the harmonic component and the non-harmonic component are each independently divided into sections.
【0044】その第2の手法は、調和外成分波形の特徴
が共通又は類似している部分を具体的に個々に検索し、
その部分で複数の波形区間に分割することである。この
やり方は、調和外成分波形における比較的重要な部分を
抽出して、それに対応する代表ベクトルすなわち調和外
ベクトルを選定・生成するような場合に適している。逆
に、調和外成分波形におけるあまり重要でない部分を抽
出して、それらのあまり重要でない部分を適宜省略する
ことで、代表ベクトルすなわち調和外ベクトルを選定・
生成し、データ圧縮効率を上げるような場合にも適して
いる。また、後述するように、調和外ベクトルをループ
再生処理することで、データ圧縮を促進するような場合
にも、ループに適した区間を適宜選べるので適してい
る。上記第1の手法と第2の手法のどちらの場合も、ユ
ーザの手動操作によって行ってもよいし、CPU10に
よる自動処理によって行ってもよいし、また、手動操作
と自動処理とを組合わせて行ってもよい。The second method is to specifically search for portions where the characteristics of the nonharmonic component waveforms are common or similar, and
That portion is divided into a plurality of waveform sections. This method is suitable for extracting a relatively important part of the non-harmonic component waveform and selecting and generating a corresponding representative vector, that is, a non-harmonic vector. Conversely, by extracting less important parts of the non-harmonic component waveform and omitting those less important parts as appropriate, the representative vector, that is, the non-harmonic vector is selected.
It is also suitable for generating and increasing data compression efficiency. Further, as will be described later, even in a case where data compression is promoted by performing a loop reproduction process on a non-harmonic vector, a section suitable for a loop can be appropriately selected. In either case of the first method and the second method, it may be performed by a user's manual operation, may be performed by automatic processing by the CPU 10, or may be a combination of the manual operation and the automatic processing. May go.
【0045】この実施例においては、上記第1の手法と
第2の手法のどちらに従って調和外成分波形の波形区間
分割を行うかによって、その後の当該波形区間について
の代表ベクトルの選定・生成処理の内容がいくぶん異な
るようになっている。この点を、フローチャートを参照
して更に詳しく説明する。図5は、上記第1の手法に従
って調和外成分波形の波形区間分割を行い、それから調
和外成分のデータ圧縮(ベクトル量子化)処理を行う場
合の、「調和外成分分析」(プロセスP6)の詳細例を
示す。また、図6は、上記第2の手法に従って調和外成
分波形の波形区間分割を行い、それから調和外成分のデ
ータ圧縮(ベクトル量子化)処理を行う場合の、「調和
外成分分析」(プロセスP6)の詳細例を示す。In this embodiment, depending on which of the first method and the second method is used to divide the waveform section of the non-harmonic component waveform, the subsequent process of selecting and generating the representative vector for the waveform section is performed. The content is somewhat different. This will be described in more detail with reference to a flowchart. FIG. 5 shows the “out-of-harmonic component analysis” (process P6) in the case of performing waveform section division of the out-of-harmonic component waveform according to the first method and then performing data compression (vector quantization) of the out-of-harmonic component. Here is a detailed example. FIG. 6 shows “out-of-harmonic component analysis” (process P6) in the case where the waveform section of the out-of-harmonic component waveform is divided according to the second method, and then data compression (vector quantization) of the out-of-harmonic component is performed. Here is a detailed example.
【0046】まず、図5の実施例について説明する。図
5の(a)に示すフローにおいて、まず、圧縮すべき調
和外成分波形を準備する(ステップS10)。次に、当
該調和外成分波形に対応する調和成分の周期長に応じ
て、すなわち調和成分の波形の周期性に同期して、当該
調和外成分波形を複数の波形区間に分割する(ステップ
S11)。ここでは、前述のように、調和成分の周期の
整数倍あるいは分数倍の期間で、つまり、調和成分の波
形の周期性に適宜同期して、調和外成分波形を複数の波
形区間に分割する。分割される各波形区間は、均等間隔
である必要はなく、或る波形区間は調和成分の1/2周
期分の長さ、別の波形区間は調和成分の8周期分の長
さ、等々というように適宜異なっていてよい。First, the embodiment shown in FIG. 5 will be described. In the flow shown in FIG. 5A, first, a nonharmonic component waveform to be compressed is prepared (step S10). Next, the non-harmonic component waveform is divided into a plurality of waveform sections according to the cycle length of the harmonic component corresponding to the non-harmonic component waveform, that is, in synchronization with the periodicity of the harmonic component waveform (step S11). . Here, as described above, the nonharmonic component waveform is divided into a plurality of waveform sections in a period that is an integral multiple or a fractional multiple of the cycle of the harmonic component, that is, in synchronization with the periodicity of the waveform of the harmonic component. . Each of the divided waveform sections does not need to be at equal intervals; one waveform section is half the period of the harmonic component, another is eight cycles of the harmonic component, and so on. As appropriate.
【0047】次に、前ステップで分割された各波形区間
の位置を適宜調整する(ステップS12)。例えば、前
ステップS11では、調和成分の何周期毎に分割する、
というように一律の基準で分割しておき、このステップ
S12で、ユーザが前ステップS11での分割結果を表
示器15で確認しながら、或る波形区間の長さを調和成
分の何周期分かに増減修正したり、分割される箇所の調
和外波形の位相が区切りのよい位相(例えばゼロクロス
位相)となるように少し分割位置をずらしたりする修正
を行う。このステップでの調整若しくは修正処理は、ユ
ーザによる手動操作に限らず、所定の修正プログラムに
従う自動処理で行うようにしてもよいし、手動操作と自
動処理との組合わせで行うようにしてもよい。Next, the position of each waveform section divided in the previous step is adjusted appropriately (step S12). For example, in the previous step S11, the harmonic component is divided at every period,
In this step S12, the user checks the result of the division in the previous step S11 on the display 15 and determines the length of a certain waveform section by the number of cycles of the harmonic component. In addition, correction is performed such that the division position is slightly shifted so that the phase of the non-harmonic waveform at the division point becomes a well-divided phase (for example, a zero-cross phase). The adjustment or correction processing in this step is not limited to manual operation by the user, and may be performed by automatic processing according to a predetermined correction program, or may be performed by a combination of manual operation and automatic processing. .
【0048】次に、分割された各波形区間における調和
外波形の特性を分析し、グループ分けを行う(ステップ
S13)。このグループ分けは、図3の「グループ分
け」処理S2と同様に、他の奏法区間(異なる楽器を含
む)についての調和外波形の各波形区間の波形データと
の間でも行い、代表ベクトルすなわち調和外ベクトルの
共用化を促進するものとする。ステップS13で実行す
る調和外波形の特性分析とグループ分けの処理の更に詳
しいフローチャート例が図5(b)に示されている。Next, the characteristics of the non-harmonic waveforms in each of the divided waveform sections are analyzed to perform grouping (step S13). Similar to the "grouping" process S2 in FIG. 3, this grouping is also performed between the waveform data of each non-harmonic waveform section of another rendition style section (including different musical instruments), and the representative vector, that is, the harmonic vector. The sharing of external vectors shall be promoted. FIG. 5B shows a more detailed flowchart example of the characteristic analysis and grouping processing of the non-harmonic waveform executed in step S13.
【0049】図5(b)において、「ピーク値分析」
(ステップS30)では、当該分割された波形区間にお
いて、調和外波形(つまりノイズ的波形)のピークレベ
ルがどこにあるかを分析する。次に、「存在場所分析」
(ステップS31)では、当該分割された波形区間にお
ける調和外波形のピークレベルが存在する場所は、該波
形区間に対応する調和成分の1周期又は所定複数周期区
間のうちどの部分(例えば前半部分とか、中間部分と
か、後半部分とか)に対応しているか、といったような
ことを分析する。次の「ゼロクロス回数分析」(ステッ
プS32)では、当該分割された波形区間において調和
外波形の振幅がゼロクロスする回数を分析する。このゼ
ロクロス回数によりノイズ的変化の激しさを分析するこ
とができる。次のステップS33では、前記ステップS
30〜S32で分析した各結果に基づいて、当該調和外
波形の当該波形区間を所要のグループに分類する。グル
ープ化の対象波形が、それ自体では周期性のない調和外
波形であるため、前記ステップS30〜S32のような
特殊な分析を行うことで、その分析結果をグループ化す
るための条件若しくは基準とし、グループ化のための計
量的評価を行うことができるように工夫している。この
種の調和外波形をグループ化するための条件若しくは評
価基準としては、前記ステップS30〜S32に示した
ものに限らず、例えば、当該波形区間における直流オフ
セットレベルの程度や、当該波形区間の波形微分値の符
号反転回数(これもノイズ的変化の激しさを示す指標と
なる)など、その他適宜の条件若しくは評価基準を用い
てよいし、これらの条件若しくは評価基準と前記ステッ
プS30〜S32で示された3つの条件若しくは評価基
準の中から、任意の数の条件若しくは評価基準を組み合
わせて用いてもよい。この図6の各ステップの処理は、
ユーザの手動操作に応じて対話形式で遂行するようにす
るとよい。勿論、所定のプログラムに従う全自動処理で
あってもよいし、手動操作と自動処理の組合わせで行わ
れてもよい。In FIG. 5B, "peak value analysis"
In (Step S30), it is analyzed where the peak level of the non-harmonic waveform (that is, the noise-like waveform) is located in the divided waveform section. Next, "location analysis"
In (Step S31), the place where the peak level of the non-harmonic waveform in the divided waveform section exists is determined by which part (for example, the first half part) of one cycle or a plurality of predetermined cycles of the harmonic component corresponding to the waveform section. , The middle part, the latter part, etc.). In the next “zero-crossing frequency analysis” (step S32), the number of times that the amplitude of the non-harmonic waveform crosses zero in the divided waveform section is analyzed. The intensity of the noise change can be analyzed based on the number of zero crossings. In the next step S33, the step S
Based on the results analyzed in S30 to S32, the relevant waveform section of the non-harmonic waveform is classified into a required group. Since the waveform to be grouped is a non-harmonic waveform having no periodicity by itself, a special analysis as in steps S30 to S32 is performed, and the analysis result is used as a condition or reference for grouping. , So that quantitative evaluation for grouping can be performed. Conditions or evaluation criteria for grouping this kind of non-harmonic waveform are not limited to those shown in steps S30 to S32, and include, for example, the degree of the DC offset level in the waveform section and the waveform in the waveform section. Other appropriate conditions or evaluation criteria, such as the number of sign inversions of the differential value (also an index indicating the degree of noise-like change), may be used. An arbitrary number of conditions or evaluation criteria may be used in combination from the three conditions or evaluation criteria. The processing of each step in FIG.
It is good to carry out interactively according to a manual operation of the user. Of course, it may be fully automatic processing according to a predetermined program, or may be performed by a combination of manual operation and automatic processing.
【0050】図5(a)に戻り、ステップS14では、
今回の処理ルーチンでデータ圧縮処理を行うべき全ての
調和外成分波形について、ステップS11〜S13の処
理つまり波形区間分割とそのグループ分け処理を終了し
たかをチェックする。まだ、終了していなければ、ステ
ップS11に戻り、次の調和外成分波形について上記S
11〜S13の処理を行う。こうして、全ての調和外成
分波形について波形区間分割とそのグループ分け処理が
終了すると、ステップS15に行き、各グループの波形
の特性分析を行う。例えば、グループ内の各波形の振幅
エンベロープ特性等を分析する。次のステップS16で
は、前ステップS15での分析結果を利用して、当該グ
ループの代表ベクトルを決定する。例えば、当該グルー
プの内の各波形の振幅エンベロープ特性の平均的振幅エ
ンベロープ特性を有する波形を代表ベクトルとして決定
するようにしてよい。あるいは、当該グループの内の各
波形の周波数特性あるいはゼロクロス回数あるいはレベ
ル分布等が平均的なものを代表ベクトルとして決定する
ようにしてもよい。若しくは、振幅エンベロープ特性、
周波数特性、ゼロクロス回数、レベル分布、その他適宜
の特性のうちいずれか1又は複数に関して、平均的であ
ること若しくは代表とするに相応しいことを条件とし
て、代表ベクトルを選定又は決定するようにしてもよ
い。そして、決定された当該グループの代表ベクトルを
調和外ベクトルとして、調和外ベクトル記憶部M2に記
憶する。こうして、各グループの代表ベクトルが調和外
ベクトルとして調和外ベクトル記憶部M2に記憶・登録
される。なお、調和外ベクトル記憶部M2に記憶する調
和外ベクトルは、振幅レベルを規格化したものを用いる
ものとし、これに対する各波形区間の調和外成分波形の
振幅エンベロープを「振幅ベクトル」として抽出するも
のとする。あるいは、調和外ベクトル記憶部M2に記憶
する調和外ベクトルは、振幅レベルを規格化しなくても
よい。その場合は、低いレベルのデータは低いレベルの
まま記憶することになるが、低いレベルの部分では、限
られた記憶ビット割当てを行うことでメモリ記憶場所を
効率的に利用させることができる。調和外ベクトル記憶
部M2に記憶する調和外ベクトルの振幅レベルを規格化
しなかった場合は、各波形区間の調和外成分波形の振幅
エンベロープと調和外ベクトルの振幅エンベロープとの
差を「振幅ベクトル」として抽出するとよい。Returning to FIG. 5A, in step S14,
For all out-of-harmonic component waveforms to be subjected to data compression processing in this processing routine, it is checked whether or not the processing of steps S11 to S13, that is, the processing of waveform section division and grouping has been completed. If the processing has not been completed, the process returns to step S11, and the above-described S
Steps S11 to S13 are performed. When the waveform section division and the grouping process for all non-harmonic component waveforms are completed in this way, the process goes to step S15, where the characteristic analysis of the waveform of each group is performed. For example, an amplitude envelope characteristic of each waveform in the group is analyzed. In the next step S16, a representative vector of the group is determined using the analysis result in the previous step S15. For example, a waveform having an average amplitude envelope characteristic of the amplitude envelope characteristics of each waveform in the group may be determined as the representative vector. Alternatively, an average of the frequency characteristics, the number of zero crossings, the level distribution, and the like of each waveform in the group may be determined as the representative vector. Or amplitude envelope characteristics,
A representative vector may be selected or determined on the condition that one or more of the frequency characteristics, the number of zero crossings, the level distribution, and other appropriate characteristics are average or suitable for being representative. . Then, the determined representative vector of the group is stored in the non-harmonic vector storage unit M2 as a non-harmonic vector. Thus, the representative vector of each group is stored and registered as a non-harmonic vector in the non-harmonic vector storage unit M2. The non-harmonic vector stored in the non-harmonic vector storage unit M2 uses a normalized amplitude level, and extracts the amplitude envelope of the non-harmonic component waveform of each waveform section as an “amplitude vector”. And Alternatively, the non-harmonic vector stored in the non-harmonic vector storage unit M2 need not standardize the amplitude level. In that case, the low-level data is stored as it is at the low level, but in the low-level part, the memory storage location can be efficiently used by performing limited storage bit allocation. If the amplitude level of the non-harmonic vector stored in the non-harmonic vector storage unit M2 is not normalized, the difference between the amplitude envelope of the non-harmonic component waveform in each waveform section and the amplitude envelope of the non-harmonic vector is defined as “amplitude vector”. Good to extract.
【0051】次のステップS17では、各調和外成分の
奏法情報(各波形区間の「区間情報」と、代表ベクトル
である調和外ベクトルを指定する「ベクトル情報」、及
び「振幅ベクトル」等を含む)を奏法情報記憶部M3に
記憶する。なお、この場合、「区間情報」として、当該
調和外ベクトルつまり代表ベクトルに対応する調和成分
の周期数等の情報を併せて記憶しておくものとする。そ
うすれば、ピッチの異なる調和成分に対しても、調和外
成分の波形形状そのものに類似性若しくは共通性があれ
ば、共通の調和外ベクトルを使用することができる。勿
論、調和外ベクトル記憶部M2に記憶した調和外ベクト
ルは、調和ベクトルの場合と同様に、若しくはそれ以上
に、様々なケースで共用することができる。例えば、同
じ奏法区間における異なる波形区間(同じ調和外波形の
うちで時間軸位置が異なっているもの)において、共通
の調和外ベクトルを使用することができるし、異なる楽
器音あるいは異なる奏法区間についての調和外波形にお
いて、共通の調和外ベクトルを使用することもできる。In the next step S17, the rendition style information of each non-harmonic component ("section information" of each waveform section, "vector information" designating a non-harmonic vector as a representative vector, "amplitude vector", etc. are included. ) Is stored in the rendition style information storage unit M3. In this case, information such as the number of periods of the harmonic component corresponding to the non-harmonic vector, that is, the representative vector, is stored as “section information”. Then, even for harmonic components having different pitches, if the waveform shapes of the non-harmonic components have similarity or commonality, a common non-harmonic vector can be used. Of course, the non-harmonic vector stored in the non-harmonic vector storage unit M2 can be shared in various cases in the same way as the harmonic vector or more. For example, a common non-harmonic vector can be used in different waveform sections in the same rendition style section (the same non-harmonic waveforms having different time axis positions), and different instrument sounds or different rendition style sections can be used. In out-of-harmonic waveforms, a common out-of-harmonic vector can also be used.
【0052】次に、図6の実施例について説明する。ま
ず、圧縮すべき調和外成分波形を準備する(ステップS
20)。次に、ステップS21では、処理対象の調和外
成分波形の各部分ごとの特徴を観察、分析し、それぞれ
の部分的特徴に合った箇所で区切って、当該調和外成分
波形を複数の波形区間に分割する。その場合、調和外成
分波形の部分的特徴としては、波形の位置や奏法、ある
いは波形形状の特性等を考慮して分析を行い、分割すべ
き波形区間を決定する。例えば、位置としては、「アタ
ック」(音の立ち上がり部分)、「ボディ」(音の定常
部)、「ジョイント」(他の音とつながる部分)、「リ
リース」(音の減衰部分)などが考慮される。また、奏
法としては、各位置との関連性において、例えば、「ア
タック」では、「揺らぎ付き」奏法、「ノイズ付き」奏
法などが考慮され、「ボディ」では、「ビブラート」奏
法、「トレモロ」奏法などが考慮され、「ジョイント」
では、「スラー」奏法、「グリサンド」奏法、「ベン
ド」奏法などが考慮され、「リリース」では、「ミュー
ト」奏法、「サステイン」奏法などが考慮される。ま
た、波形形状の特性等としては、振幅エンベロープ形状
(その実効値やピーク値など)、前記ゼロクロス回数あ
るいはゼロクロス間の周期、ピーク回数あるいはピーク
間の周期、前記ピーク値の存在場所や、複数ピークレベ
ルの分布など、種々の要素を適宜考慮するとよい。Next, the embodiment shown in FIG. 6 will be described. First, a non-harmonic component waveform to be compressed is prepared (step S
20). Next, in step S21, the features of each part of the non-harmonic component waveform to be processed are observed and analyzed, and the non-harmonic component waveform is divided into a plurality of waveform sections by dividing the waveform into portions corresponding to the respective partial features. To divide. In this case, as a partial characteristic of the non-harmonic component waveform, analysis is performed in consideration of the position and performance of the waveform, the characteristics of the waveform shape, and the like, and the waveform section to be divided is determined. For example, as the position, "Attack" (rising part of sound), "Body" (steady part of sound), "Joint" (part connected to other sounds), "Release" (decay part of sound), etc. are considered. Is done. As the playing style, in relation to each position, for example, "attack" takes into account a "fluctuating" playing style, "noise" playing style, and the "body", a "vibrato" playing style, a "tremolo" playing style Considering the playing style etc., "joint"
The "slur" playing style, the "glissand" playing style, the "bend" playing style, etc. are taken into consideration. The "release" takes into account the "mute" playing style, "sustain" playing style, etc. The characteristics of the waveform shape include an amplitude envelope shape (such as an effective value and a peak value), the number of zero crossings or a period between zero crosses, the number of peaks or a period between peaks, a location where the peak value exists, and a plurality of peaks. Various factors, such as level distribution, should be considered as appropriate.
【0053】次に、ステップS22では、分割された各
波形区間における調和外波形の特徴に基づき、類似の特
徴を持つ波形同士をグループ分けする。調和外波形の特
徴の類似性は、表示器で表示した波形の目視観察や、当
該波形区間についての調和外波形を発音して聴感によっ
て類似性を判定する等、適宜の基準で行ってよい。この
グループ分けは、前述と同様に、他の奏法区間(異なる
楽器を含む)についての調和外波形の各波形区間の波形
データとの間でも行い、代表ベクトルすなわち調和外ベ
クトルの共用化を促進するものとする。Next, in step S22, waveforms having similar characteristics are grouped based on the characteristics of the non-harmonic waveforms in each of the divided waveform sections. The similarity of the features of the out-of-harmonic waveform may be determined based on an appropriate standard, such as visually observing the waveform displayed on the display device, or generating a non-harmonic waveform for the waveform section and determining the similarity by hearing. Similar to the above, this grouping is also performed between the waveform data of each waveform section of the non-harmonic waveforms for other rendition style sections (including different musical instruments), thereby promoting the sharing of the representative vector, that is, the non-harmonic vector. Shall be.
【0054】次に、ステップS23では、今回の処理ル
ーチンでデータ圧縮処理を行うべき全ての調和外成分波
形について、ステップS21〜S22の処理つまり波形
区間分割とそのグループ分け処理を終了したかをチェッ
クする。まだ、終了していなければ、ステップS21に
戻り、次の調和外成分波形について上記S21〜S22
の処理を行う。こうして、全ての調和外成分波形につい
て波形区間分割とそのグループ分け処理が終了すると、
ステップS24に行き、各グループの波形の特性分析を
行う。例えば、グループ内の各波形の振幅エンベロープ
特性等を分析したり、その他種々の特性を考慮する。Next, in step S23, it is checked whether or not the processing of steps S21 to S22, that is, the division of the waveform sections and the grouping thereof have been completed for all the non-harmonic component waveforms to be subjected to the data compression processing in the current processing routine. I do. If not, the process returns to step S21, and the above-mentioned steps S21 to S22 are performed for the next non-harmonic component waveform.
Is performed. In this way, when the waveform section division and the grouping process are completed for all non-harmonic component waveforms,
The process proceeds to step S24 to analyze the characteristics of the waveform of each group. For example, an amplitude envelope characteristic of each waveform in the group is analyzed, and various other characteristics are considered.
【0055】次のステップS25では、前ステップS2
4での分析結果を利用して、当該グループの代表ベクト
ルを決定する。決定された当該グループの代表ベクトル
は調和外ベクトルとして、調和外ベクトル記憶部M2に
記憶する。こうして、各グループの代表ベクトルが調和
外ベクトルとして調和外ベクトル記憶部M2に記憶・登
録される。なお、前述と同様に、調和外ベクトル記憶部
M2に記憶する調和外ベクトルは、振幅レベルを規格化
したものを用いてもよいし、規格化しなくてもよい。こ
こで、この実施例では、調和外成分波形を圧縮する手法
として、下記のような種々の異なる手法を適宜採用する
ことが考慮されており、代表ベクトルは、どの圧縮手法
を用いるのかを考慮して、それに応じた基準に従って決
定するものとする。In the next step S25, the previous step S2
The representative vector of the group is determined using the analysis result in step 4. The determined representative vector of the group is stored as a non-harmonic vector in the non-harmonic vector storage unit M2. Thus, the representative vector of each group is stored and registered as a non-harmonic vector in the non-harmonic vector storage unit M2. Note that, as described above, the non-harmonic vector stored in the non-harmonic vector storage unit M2 may or may not use a standardized amplitude level. Here, in this embodiment, as a technique for compressing the non-harmonic component waveform, it is considered that various different techniques such as those described below are appropriately adopted. Shall be determined in accordance with the standards in accordance with it.
【0056】圧縮例1:所定期間の長さを持つ代表ベク
トルを一回再生することで当該波形区間をカバーするよ
うに圧縮を行う。これは、前記「ワンショット再生」に
対応する圧縮形態である。例えば、アタック部やジョイ
ント部など、調和外成分の波形形状も急激に変化するよ
うな部位の波形区間についての代表ベクトルを、この圧
縮例1に見合うように決定するとよい。 圧縮例2:比較的短い期間長の代表ベクトルを繰り返し
再生(ループ再生)することで当該波形区間をカバーす
るように圧縮を行う。これは、前記「ループ再生」に対
応する圧縮形態である。なお、ループ用の代表ベクトル
を、所定の順番で複数組合わせることにより、前記「シ
ーケンス再生」に利用することができる。また、この順
次組合わせをランダムに設定することにより、前記「ラ
ンダムシーケンス再生」に利用することができる。例え
ば、単調な減少をしている部分や、同じ状態の継続する
部分の波形区間についての代表ベクトルを、この圧縮例
2に見合うように決定するとよい。 圧縮例3:あまり重要でない部分の調和外成分波形は一
部省略してもよい。そのような省略する波形区間につい
ては、代表ベクトルを選定する必要がない。Compression Example 1: Compression is performed so as to cover the waveform section by reproducing once a representative vector having a predetermined period length. This is a compression mode corresponding to the “one-shot reproduction”. For example, a representative vector for a waveform section of a portion where the waveform shape of the non-harmonic component such as an attack portion or a joint portion also changes abruptly may be determined so as to be suitable for the first compression example. Compression example 2: Compression is performed so as to cover the waveform section by repeatedly reproducing (loop reproducing) a representative vector having a relatively short period length. This is a compression mode corresponding to the “loop reproduction”. By combining a plurality of representative vectors for loops in a predetermined order, the representative vectors can be used for the “sequence reproduction”. Also, by setting this sequential combination at random, it can be used for the "random sequence reproduction". For example, a representative vector for a waveform section of a monotonously decreasing portion or a portion where the same state continues may be determined to be suitable for the second compression example. Compression Example 3: Some non-harmonic component waveforms of less important parts may be omitted. It is not necessary to select a representative vector for such omitted waveform sections.
【0057】次に、ステップS26では、各調和外成分
波形の各波形区間毎に、再生時において、それぞれの代
表ベクトルとしてどの調和外ベクトルを使用し、その調
和外ベクトルをどのように貼り付けるべきかを決定す
る。このことは、上述の圧縮例のうちどのタイプを使用
するのかということとも関係してくる。貼付け方は、下
記の各種再生モードのいずれを採用すべきか、という調
和外成分再生モード情報(若しくは「貼り付け情報」)
として記述される。Next, in step S26, for each waveform section of each non-harmonic component waveform, during reproduction, which non-harmonic vector should be used as a representative vector and how the non-harmonic vector should be pasted To decide. This is related to which type of the above compression example is used. Non-harmonic component reproduction mode information (or “pasting information”) indicating which of the following various reproduction modes should be used for pasting.
It is described as
【0058】ワンショット再生:上述の通り、圧縮例1
に従う代表ベクトルを1つ使用し、この代表ベクトルを
一回貼り付ける(再生する)ことで当該波形区間の調和
外成分波形を再生する。 シーケンス再生:上述の通り、圧縮例2に従う代表ベク
トルを複数使用し、これらの代表ベクトルを所定の順番
で順次貼り付ける(再生する)ことで当該波形区間の調
和外成分波形を再生する。 ランダムシーケンス再生:上述の通り、圧縮例2に従う
代表ベクトルを複数使用し、これらの代表ベクトルをラ
ンダムな順番で順次貼り付ける(再生する)ことで当該
波形区間の調和外成分波形を再生する。 ループ再生:上述の通り、圧縮例2に従う代表ベクトル
を一つ使用し、これを繰り返し貼り付ける(再生する)
ことで当該波形区間の調和外成分波形を再生する。これ
を上記シーケンス再生又はランダムシーケンス再生に組
合わせてもよい。 オルタネーティブループ再生:圧縮例2に従う代表ベク
トルを一つ使用し、これを交互に正逆向きを変えながら
繰り返し貼り付ける(再生する)ことで当該波形区間の
調和外成分波形を再生する。これを上記シーケンス再生
又はランダムシーケンス再生に組合わせてもよい。 デリート再生:上述の通り、圧縮例3に従うもので、代
表ベクトルを使用せず、当該波形区間における調和外成
分波形を削除する。従って、その部分では、調和成分波
形のみとなる。なお、1つの波形区間の全部をデリート
再生モードとせずに、その一部のみをデリート再生モー
ドとしてもよい。その場合、残りの部分について適宜代
表ベクトルを定める。One-shot reproduction: compression example 1 as described above
Is used, and the non-harmonic component waveform of the waveform section is reproduced by pasting (reproducing) the representative vector once. Sequence reproduction: As described above, a plurality of representative vectors according to the compression example 2 are used, and these representative vectors are sequentially pasted (reproduced) in a predetermined order to reproduce the non-harmonic component waveform in the waveform section. Random sequence reproduction: As described above, a plurality of representative vectors according to the compression example 2 are used, and these representative vectors are sequentially pasted (reproduced) in a random order to reproduce the non-harmonic component waveform of the waveform section. Loop reproduction: As described above, one representative vector according to the compression example 2 is used, and this is repeatedly pasted (reproduced).
Thus, the non-harmonic component waveform in the waveform section is reproduced. This may be combined with the sequence reproduction or the random sequence reproduction. Alternative loop reproduction: One representative vector according to the compression example 2 is used, and this is repeatedly attached (reproduced) while alternately changing the normal / reverse direction, thereby reproducing the non-harmonic component waveform in the waveform section. This may be combined with the sequence reproduction or the random sequence reproduction. Delete reproduction: As described above, according to the third compression example, the non-harmonic component waveform in the waveform section is deleted without using the representative vector. Therefore, in that portion, only the harmonic component waveform is obtained. Note that the entirety of one waveform section may not be in the delete playback mode, but only a part thereof may be in the delete playback mode. In this case, a representative vector is appropriately determined for the remaining portion.
【0059】次のステップS27では、各調和外成分の
奏法情報(各波形区間の「区間情報」と、代表ベクトル
である調和外ベクトルを指定する「ベクトル情報」、上
記「貼り付け情報」及び「振幅ベクトル」等を含む)を
奏法情報記憶部M3に記憶する。なお、上記した各種の
調和外成分再生モードは、前記第2の手法に従う「調和
外成分分析」処理を行ったときのみに適用されるもので
はなく、前記第1の手法に従う「調和外成分分析」処理
を行ったときにも適宜適用されるものである。In the next step S27, the rendition style information of each non-harmonic component (“section information” of each waveform section, “vector information” specifying a non-harmonic vector as a representative vector, the above “pasting information” and “ Amplitude vector etc.) is stored in the rendition style information storage unit M3. Note that the various out-of-harmonic component reproduction modes described above are not applied only when the “out-harmonic component analysis” processing according to the second method is performed, but the “out-harmonic component analysis” according to the first method is performed. The processing is also appropriately applied when the processing is performed.
【0060】図7は、調和外成分波形をベクトル量子化
する様子の一例を示すグラフである。(a)は、図4
(a)と同様に原波形の一例を振幅エンベロープによっ
て概略的に示している。(b)は、この原波形から分離
された調和外成分波形の一例を示している。(c)は、
(b)の調和外成分波形を複数の「波形区間」A1,B
1,C1,D1,C2,A2,C3に分割した一例を、
各波形区間の区切りを示す線図によって示している。こ
こで、波形区間A1及びA2は、前記第2の手法に従っ
て波形区間設定を行って前記ワンショット再生を適用す
るようにした区間である。波形区間B1は、前記第1の
手法に従って調和成分の周期に同期して代表ベクトルを
決定した区間である。この区間ではワンショット再生を
採用してもよいし、ループ再生を採用してもよい。波形
区間C1,C2,C3は、前記ループ再生に対応する区
間である。波形区間D1は、前記デリート再生に対応す
る区間である。FIG. 7 is a graph showing an example of how the non-harmonic component waveform is vector-quantized. (A) shows FIG.
As in (a), an example of the original waveform is schematically shown by an amplitude envelope. (B) shows an example of the non-harmonic component waveform separated from the original waveform. (C)
The non-harmonic component waveform of (b) is divided into a plurality of "waveform sections" A1, B
1, C1, D1, C2, A2, C3
This is shown by a diagram showing the break of each waveform section. Here, the waveform sections A1 and A2 are sections in which waveform sections are set according to the second method and the one-shot reproduction is applied. The waveform section B1 is a section in which the representative vector is determined in synchronization with the cycle of the harmonic component according to the first method. In this section, one-shot reproduction or loop reproduction may be employed. The waveform sections C1, C2, and C3 are sections corresponding to the loop reproduction. The waveform section D1 is a section corresponding to the delete reproduction.
【0061】更に、調和外成分波形のベクトル量子化の
具体例を図8〜図13により示す。図8〜図10、図1
3において、上段の(a)は調和外成分波形の原波形例
を示し、下段の(b)はこれを上記の種々の手法に従っ
てベクトル量子化して、再生することによって得られる
波形例を示している。まず、図8は、原波形を「アタッ
ク」、「ボディ」、「リリース」の3区間に分割し、
「アタック」区間と「リリース」区間は、前記ワンショ
ット再生に対応する区間として相応の代表ベクトルを決
定し、「ボディ」区間は、前記デリート再生に対応する
区間として調和外成分波形をカットした圧縮例を示して
いる。これに基づく再生音を実際に聴くと、調和外成分
波形は「アタック」区間と「リリース」区間があれば、
定常的な音色安定部分(「ボディ」区間)が省略されて
いても、あまり違和感がないことが理解できる。Further, specific examples of vector quantization of the non-harmonic component waveform are shown in FIGS. 8 to 10, FIG.
In FIG. 3, (a) in the upper part shows an example of the original waveform of the non-harmonic component waveform, and (b) in the lower part shows an example of the waveform obtained by vector-quantizing the reproduced waveform and reproducing it. I have. First, FIG. 8 divides the original waveform into three sections of “attack”, “body”, and “release”,
The “attack” section and the “release” section determine a corresponding representative vector as a section corresponding to the one-shot playback, and the “body” section is a compression in which a non-harmonic component waveform is cut as a section corresponding to the delete playback. An example is shown. If you actually listen to the playback sound based on this, the nonharmonic component waveform will have an “attack” section and a “release” section,
It can be understood that even when the steady tone color stable portion (the “body” section) is omitted, there is not much discomfort.
【0062】図9は、調和外成分波形を4つの区間F1
〜F4に分割し、それぞれの区間で所定サイズの代表ベ
クトルを決定し、これらをそれぞれループ再生するよう
にした圧縮例を示す。調和外成分といえども、その代表
ベクトルをループさせることにより周期性が多少なりと
も出てしまうが、レベルが低いために、調和成分の再生
波形と混合すると、違和感のないものとなる。図10
は、調和外成分波形を3つの区間F1,F2,F3に分
割し、変化に富んだ最初の区間F1では原波形をそのま
ま代表ベクトルとして使用し、次の各区間F2,F3で
は所定サイズの代表ベクトルをそれぞれ決定して、これ
らをそれぞれループ再生すると共に振幅エンベロープに
変化をつけた圧縮例を示す。このようにループ再生波形
に対して適切な振幅エンベロープを付加することによ
り、原波形に似た感じを出すことができる。FIG. 9 shows that the non-harmonic component waveform is divided into four sections F1.
.., F4,..., And F4. Even if the non-harmonic component is used, the periodicity of the component is somewhat increased by looping the representative vector. However, since the level is low, mixing with the reproduced waveform of the harmony component does not give a sense of incongruity. FIG.
Divides the non-harmonic component waveform into three sections F1, F2, and F3, uses the original waveform as it is as the representative vector in the first section F1 where the variation is rich, and uses the representative section of a predetermined size in the next sections F2 and F3. A compression example is shown in which vectors are determined, loop reproduction is performed for each of the vectors, and the amplitude envelope is varied. Thus, by adding an appropriate amplitude envelope to the loop reproduction waveform, a feeling similar to the original waveform can be obtained.
【0063】図11は、ループ再生におけるレベル制御
例を示す。(a)は、単純ループ再生例を示し、レベル
制御は行っていない。(b)は、ループさせる代表ベク
トルのピークレベルを減衰させて、周期性を弱めた例
(ピーク補正したループ再生例)を示す。(c)は、
(b)の再生例に対して更に振幅エンベロープの変化を
付加し、より一層周期性を弱めた例を示す。このよう
に、ループ再生にレベル制御を組合わせることは有効で
ある。図12(a)は通常のループ再生例を示し、
(b)はオルタネーティブループ再生例を示す。図から
理解できるように、オルタネーティブループ再生の周期
性は、通常のループ再生の周期性よりも長いものとなる
ので、代表ベクトルのサイズをより一層小さくしてもよ
いことになる。従って、一層のデータ圧縮に寄与する。FIG. 11 shows an example of level control in loop reproduction. (A) shows an example of simple loop reproduction, in which level control is not performed. (B) shows an example in which the periodicity is weakened by attenuating the peak level of the representative vector to be looped (an example of loop reproduction with peak correction). (C)
An example in which a change in the amplitude envelope is further added to the reproduction example of (b) to further reduce the periodicity is shown. Thus, it is effective to combine the level control with the loop reproduction. FIG. 12A shows a normal loop playback example,
(B) shows an example of alternative loop reproduction. As can be understood from the figure, the periodicity of the alternative loop reproduction is longer than the periodicity of the normal loop reproduction, so that the size of the representative vector may be further reduced. Therefore, it contributes to further data compression.
【0064】図13は、調和外成分波形を8つの区間F
1〜F8に分割し、アタック区間F1、ビブラートを含
む区間F3、F5及びF7と、リリース区間F8は、原
波形から取り出した代表ベクトル(調和外ベクトル)f
1,f3,f5,f7,f8を使用して波形再生を行
い、他の区間F2,F4,F6については、他の原波形
から取り出した調和外ベクトルf2’,f4’,f6’
をその代表ベクトルとして使用して波形再生を行う圧縮
例を示している。各区間においては、ワンショット再生
あるいはループ再生等、それぞれに適切な再生モードが
採用される。例えば、ボディ区間F2については、他の
原波形から取り出した調和外ベクトルf2’を代表ベク
トルとしてこれをループ再生し、かつ振幅エンベロープ
を適切に付与することにより、原波形(図13(a)参
照)に近似させるようにしている。他の区間F4,F6
についても他の原波形から取り出した調和外ベクトルf
4’,f6’に振幅エンベロープを適切に付与し、かつ
必要に応じてループ等することにより、原波形(図13
(a))に近似する調和外成分波形を再生・生成するよ
うにしている。このように、異なる複数の原波形に関し
て、共通の調和外ベクトルを使用することができる。そ
の場合、再生時において様々な加工の仕方を制御するこ
とにより(振幅ベクトルや貼り付け情報等適切な再生の
仕方を記述するデータを圧縮データの中に含ませる
等)、それぞれの原波形に最適な調和外成分波形の再生
・生成を行うことができる。FIG. 13 shows that the non-harmonic component waveform is divided into eight sections F
1 to F8, an attack section F1, sections F3, F5 and F7 including vibrato, and a release section F8 are represented by a representative vector (non-harmonic vector) f extracted from the original waveform.
Waveform reproduction is performed using 1, f3, f5, f7, and f8, and for other sections F2, F4, and F6, nonharmonic vectors f2 ', f4', and f6 'extracted from other original waveforms.
Is used as a representative vector to perform waveform reproduction. In each section, an appropriate reproduction mode such as one-shot reproduction or loop reproduction is adopted. For example, as for the body section F2, the non-harmonic vector f2 ′ extracted from another original waveform is used as a representative vector as a representative vector, and is reproduced in a loop, and an amplitude envelope is appropriately added to the original waveform (see FIG. 13A). ). Other sections F4, F6
Also for non-harmonic vector f extracted from other original waveforms
By appropriately assigning an amplitude envelope to 4 ′ and f6 ′ and looping as necessary, the original waveform (FIG. 13)
An out-of-harmonic component waveform similar to (a)) is reproduced and generated. In this way, a common nonharmonic vector can be used for a plurality of different original waveforms. In that case, by controlling various processing methods at the time of reproduction (including data describing an appropriate reproduction method such as amplitude vector and pasting information in the compressed data, etc.), it is optimal for each original waveform. It is possible to reproduce and generate a non-harmonic component waveform.
【0065】次に、上記のようにして作成された調和成
分及び調和外成分の圧縮データを使用して、楽音生成処
理を行う場合の実施例について説明する。図14は、上
記のようにして作成された多数の奏法波形についての調
和成分及び調和外成分の圧縮データを、任意の楽曲演奏
にあたって十分に活用しうるようにするために、奏法付
き楽譜を準備する処理過程の一例を略示するものであ
る。まず、奏法付き楽譜を作成しようとする所望の楽曲
についての楽譜情報(例えばMIDIフォームからなる
演奏データ)を用意する(ステップS40)。次に、上
記用意された楽譜情報の各演奏パート毎に、それぞれの
曲の流れの過程でどのような奏法を使用したらよいのか
ということを分析する(ステップS41)。この奏法分
析は、人間が楽譜を読み、その音楽的知識に基づいて判
断することで行うようにしてよい。勿論、所定の楽譜解
析プログラムによってCPU10によって奏法分析を実
行させるようにしてもよいし、あるいは手動操作と自動
処理の組み合わせによって行うようにしてもよい。Next, a description will be given of an embodiment in which the tone generation processing is performed using the compressed data of the harmonic component and the non-harmonic component created as described above. FIG. 14 shows the preparation of a score with a playing style so that the compressed data of the harmonic and non-harmonic components for a large number of playing style waveforms created as described above can be fully utilized in playing any music piece. 1 schematically shows an example of a processing process. First, musical score information (for example, performance data composed of a MIDI form) about a desired musical piece for which a musical score with a playing style is to be prepared is prepared (step S40). Next, for each performance part of the prepared score information, it is analyzed what performance technique should be used in the course of the flow of each music piece (step S41). This rendition style analysis may be performed by a human reading a musical score and making a judgment based on the musical knowledge. Of course, the rendition style analysis may be performed by the CPU 10 using a predetermined score analysis program, or may be performed by a combination of manual operation and automatic processing.
【0066】次に、上記用意された楽譜情報の各演奏パ
ート毎に、それぞれの各演奏データに対して、該演奏デ
ータの時系列的流れのうち、分析された各奏法に対応す
る必要な演奏時点に対応する箇所で、上記ステップS4
1で分析された各奏法を指示する奏法データを付加する
(ステップS42)。例えば、ビブラートを付与する音
符またはフレーズの演奏時点に対応する箇所に、所要の
ビブラート奏法を指示する奏法データを付加する。ある
いは、スラーで演奏すべき音符またはフレーズの演奏時
点に対応する箇所に、所要のスラー奏法を指示する奏法
データを付加する。所要の奏法データを付加する箇所
は、1音に対応する箇所(例えばノートオンイベントと
同じ箇所)、あるいは1音の途中に対応する箇所(例え
ば当該音のノートオンイベントから所定時間後であっ
て、当該音のノートオフイベントが出る前の適宜の時点
に対応する箇所に奏法イベントを挿入する)、あるいは
複数音符からなる1フレーズに対応する箇所(例えば該
フレーズの始まりで所定の奏法のオンイベントを挿入
し、該フレーズの終わりで該奏法のオフイベントを挿入
する)等、適宜の箇所であってよい。また、付加する奏
法データの内容は、ビブラート、スラー、スタッカー
ト、グライド、ピッチベンド等、その他種々の奏法につ
いてその名称を指示する「奏法名」データと、該奏法の
程度を指示する「パラメータ」データとを含んでおり、
更に、その奏法を付与する期間若しくは範囲を示す「範
囲」データを含んでいる。「範囲」データとは、対応す
る1音のみに当該奏法を付与するとか、その前後の2音
に対して当該奏法を付与するとか、その奏法付与範囲を
具体的にを指示するデータである。長い範囲で奏法付与
する場合は、上記のように、奏法オンイベントとオフイ
ベントによって範囲指定を行うようにしてもよい。以上
のようにして、奏法データが付加された演奏データを奏
法付き楽譜情報として適宜のメモリに記憶する(ステッ
プS43)。Next, for each performance part of the prepared score information, for each performance data, the necessary performance corresponding to each analyzed performance style in the time-series flow of the performance data. At the point corresponding to the time point, the above step S4
Performance style data indicating each performance style analyzed in 1 is added (step S42). For example, performance style data indicating a required vibrato performance style is added to a location corresponding to the performance time of a note or phrase to which vibrato is to be provided. Alternatively, performance data indicating a required slur performance is added to a location corresponding to a note or phrase to be played by the slur. The place where the required rendition style data is added is a place corresponding to one sound (for example, the same place as the note-on event) or a place corresponding to the middle of one sound (for example, a predetermined time after the note-on event of the sound, and , A performance event is inserted at a location corresponding to an appropriate point in time before the note-off event of the sound) or a location corresponding to one phrase composed of a plurality of notes (for example, an on-event of a predetermined performance style at the beginning of the phrase) , And an off event of the playing style is inserted at the end of the phrase). The contents of the rendition style data to be added include "reproduction style name" data indicating the names of various other rendition styles such as vibrato, slur, staccato, glide, pitch bend, and "parameter" data indicating the degree of the rendition style. And
Further, it includes “range” data indicating a period or a range in which the rendition style is given. The “range” data is data that specifically indicates the rendition style is assigned to only one corresponding tone, or the rendition style is assigned to two sounds before and after the corresponding tone. When the rendition style is assigned in a long range, the range may be specified by the rendition style on event and the off event as described above. As described above, the performance data to which the rendition style data is added is stored in an appropriate memory as the rendition style information.
【0067】図15は、上記のようにして準備された奏
法付き楽譜情報に基づき、楽音再生すなわち波形生成を
行う処理過程の一例を機能的ブロック図によって略示す
るものである。この楽音再生すなわち波形生成処理は、
図1のハードウェア装置を用いて、CPU10による所
定のソフトウェアプログラムの実行によって行われる。
「再生制御」処理S50では、通常の自動演奏シーケン
ス制御で知られるように、所定のテンポクロックに従っ
て、演奏データを順次読み出し、該演奏データによって
指示されるピッチと音色等を持つ楽音波形を生成する。
ここで、通常の自動演奏シーケンス制御と異なる点は、
再生演奏の対象となる演奏データが、上記のようにして
作成された「奏法付き楽譜情報」からなっている点であ
り、そこに含まれる奏法データに応じた特有の奏法波形
再生・生成処理が行われる点である。FIG. 15 is a functional block diagram schematically showing an example of a process of reproducing a musical tone, that is, generating a waveform, based on the musical score information with performance style prepared as described above. This tone reproduction, that is, waveform generation processing,
This is performed by the CPU 10 executing a predetermined software program using the hardware device of FIG.
In the "reproduction control" process S50, performance data is sequentially read out according to a predetermined tempo clock, and a musical tone waveform having a pitch, tone, and the like specified by the performance data is generated, as is known in normal automatic performance sequence control. .
Here, the difference from normal automatic performance sequence control is
The performance data to be played is composed of the “musical score information with performance style” created as described above, and a unique performance style waveform reproduction / generation process corresponding to the performance style data contained therein is performed. It is a point that is performed.
【0068】「再生制御」処理S50について更に説明
すると、まず、「奏法付き楽譜情報」の記憶部M5か
ら、各演奏パートの演奏データ(例えばMIDIデー
タ)及びそこに付加された奏法データをその演奏タイミ
ングに応じて順次再生読み出しする。「奏法付き楽譜」
の或る演奏パートについて奏法データが読み出されたと
き、該奏法データに対応する奏法波形を生成する処理を
行う。まず、該演奏パートについて指定されている「楽
器名」(音色)と、該奏法データに含まれる「奏法名」
及び「パラメータ」のデータに応じて、奏法情報記憶部
M3から、これらの情報によって指定される所定の奏法
波形についての「奏法情報」、すなわち調和成分及び調
和外成分についての圧縮データ(第1及び第2の圧縮デ
ータ)、を読み出す。前述のように、調和成分について
の圧縮データ(第1の圧縮データ)は、調和ベクトルを
指示する「ベクトル情報」と、「区間情報」、「ピッチ
ベクトル」、「振幅ベクトル」、「タイムベクトル」、
「クロスフェードループ再生形態を制御する情報」等を
含んでいる。また、調和外成分についての圧縮データ
(第2の圧縮データ)は、調和外ベクトルを指示する
「ベクトル情報」と、「区間情報」、その再生モードを
指示する「貼り付け情報」、「振幅ベクトル」、「タイ
ムベクトル」等を含んでいる。The "reproduction control" process S50 will be further described. First, the performance data (for example, MIDI data) of each performance part and the performance data attached thereto are stored in the storage section M5 of "music score information with performance". Reproduction and reading are performed sequentially according to the timing. `` Score with playing technique ''
When the rendition style data is read for a certain performance part, processing for generating a rendition style waveform corresponding to the rendition style data is performed. First, the "instrument name" (tone color) specified for the performance part and the "performance style name" included in the performance data.
In accordance with the data of the “parameter” and the “parameter”, the “reproduction style information” for the predetermined rendition style waveform specified by the information from the rendition style information storage unit M3, that is, the compressed data (first and ) Is read out. As described above, the compressed data (first compressed data) for the harmonic component includes “vector information” indicating a harmonic vector, “section information”, “pitch vector”, “amplitude vector”, and “time vector”. ,
And “information for controlling the cross-fade loop reproduction mode”. The compressed data (second compressed data) of the non-harmonic component includes “vector information” indicating a non-harmonic vector, “section information”, “pasting information” indicating a reproduction mode thereof, and “amplitude vector”. , "Time vector" and the like.
【0069】「調和読出」処理S51では、調和成分に
ついての圧縮データ(第1の圧縮データ)のうち「ベク
トル情報」に基づき調和ベクトル記憶部M1から調和ベ
クトルを読み出す。 「調和加工」処理S52では、調和ベクトル記憶部M1
から読み出した調和ベクトルと圧縮データの他の情報
(区間情報、ピッチベクトル、振幅ベクトル、タイムベ
クトル、クロスフェードループ再生形態を制御する情報
等)とに基づき、所要の調和成分波形を再生・生成す
る。すなわち、調和ベクトルの波形を区間情報に従って
適宜ループし(繰り返し)、かつピッチベクトルに従っ
てそのピッチを時間的に制御し(勿論、その基本ピッチ
はMIDI演奏データに含まれるノートデータに応じて
設定・制御することができる)、かつ振幅ベクトルに従
ってその振幅エンベロープを設定・制御し、更にタイム
ベクトルに従って波形データの時間軸位置を伸張又は圧
縮制御し、また、クロスフェードループ再生形態を制御
する情報に応じて、フェードイン若しくはフェードアウ
ト特性で、クロスフェード用の振幅エンベロープ制御を
行う。In the "harmonic reading" process S51, the harmonic vector is read from the harmonic vector storage unit M1 based on the "vector information" of the compressed data (first compressed data) of the harmonic component. In the “harmonic processing” process S52, the harmonic vector storage unit M1
A required harmony component waveform is reproduced / generated based on the harmony vector read out from the PID and other information of the compressed data (section information, pitch vector, amplitude vector, time vector, information for controlling the cross-fade loop reproduction mode, etc.). . That is, the waveform of the harmony vector is appropriately looped (repeated) according to the section information, and the pitch is temporally controlled according to the pitch vector (of course, the basic pitch is set and controlled according to the note data included in the MIDI performance data). And the amplitude envelope is set and controlled according to the amplitude vector, the time axis position of the waveform data is extended or compressed according to the time vector, and the cross-fade loop reproduction mode is controlled according to the information. , The amplitude envelope control for cross-fade is performed with the fade-in or fade-out characteristics.
【0070】また、「調和外読出」処理S53では、調
和外成分についての圧縮データ(第2の圧縮データ)の
うち「ベクトル情報」に基づき調和外ベクトル記憶部M
2から調和外ベクトルを読み出す。 「調和外加工」処理S54では、調和外ベクトル記憶部
M2から読み出した調和外ベクトルと圧縮データの他の
情報(区間情報、貼り付け情報、振幅ベクトル、タイム
ベクトル等)とに基づき、所要の調和外成分波形を再生
・生成する。すなわち、貼り付け情報及び区間情報の指
示に応じて、前記ワンショット再生あるいはループ再
生、シーケンス再生等、所定の前記調和外成分再生モー
ドに従い、調和外ベクトルの波形を適宜ループして又は
1回だけ所要区間に貼り付ける。また、振幅ベクトルに
従ってその振幅エンベロープを設定・制御し、更にタイ
ムベクトルに従って調和外成分波形データの時間軸位置
を伸張又は圧縮制御する。In the "out-of-harmonic reading" process S53, the out-of-harmonic vector storage unit M based on the "vector information" of the compressed data (second compressed data) of the out-of-harmonic component.
Read out-of-harmonic vectors from 2. In the “out-of-harmonic processing” process S54, the required harmony is determined based on the non-harmonic vector read from the non-harmonic vector storage unit M2 and other information (section information, paste information, amplitude vector, time vector, etc.) of the compressed data. Regenerate and generate external component waveforms. In other words, according to the instruction of the pasting information and the section information, the waveform of the non-harmonic vector is looped appropriately or only once according to the predetermined non-harmonic component reproduction mode such as the one-shot reproduction or the loop reproduction or the sequence reproduction. Paste the required section. Further, the amplitude envelope is set and controlled according to the amplitude vector, and the time axis position of the non-harmonic component waveform data is expanded or compressed according to the time vector.
【0071】なお、再生しようとする調和外成分の圧縮
データが前記第1の手法に従うもの(対応する調和成分
の周期性に同期させた区間分割を行ってベクトル量子化
したもの)である場合、「ベクトル情報」に基づき調和
外ベクトル記憶部M2から調和外ベクトルを読み出す際
に若しくは読み出した後に、該調和外ベクトルの時間長
を、今回同時に再生しようとする調和成分の周期に応じ
て、適宜伸縮制御するものとする。これは、該圧縮デー
タの圧縮方法(前記第1の手法)を考慮すると、再生し
ようとする調和成分の周期の伸縮に同期させて調和外ベ
クトルの時間長も伸縮させた方が、調和外成分波形の再
現性がよくなるからである。調和外ベクトルの時間長伸
縮制御は、対応する調和ベクトルの読出周期(読出レー
ト)の変化に連動させて調和外ベクトル記憶部M2の読
出レートを変化させる、といった単純なやりかたであっ
てもよいし、時間軸伸縮制御を採用して行ってもよい。
勿論、再生しようとする調和外成分の圧縮データが前記
第2の手法に従うもの(調和成分の周期性に無関係に区
間分割を行ってベクトル量子化したもの)である場合
は、基本的にこのような配慮は不要であるが、行っても
よい。また、上述した「ワンショット再生」、「ループ
再生」、「オルタネーティブループ再生」、「シーケン
ス再生」、「ランダムシーケンス再生」、「デリート再
生」等の各種再生モードは、再生しようとする調和外成
分の圧縮データが前記第1の手法に従うもの(対応する
調和成分の周期性に同期させた区間分割を行ってベクト
ル量子化したもの)である場合においても、適用され得
るものであることは勿論である。In the case where the compressed data of the non-harmonic component to be reproduced is data according to the above-described first method (data obtained by performing interval division synchronized with the periodicity of the corresponding harmonic component and performing vector quantization), When or after reading a non-harmonic vector from the non-harmonic vector storage unit M2 based on the "vector information", the time length of the non-harmonic vector is appropriately expanded or contracted in accordance with the cycle of the harmonic component to be reproduced simultaneously at this time. Shall be controlled. This is because, considering the compression method of the compressed data (the first method), it is better to expand and contract the time length of the nonharmonic vector in synchronization with the expansion and contraction of the cycle of the harmonic component to be reproduced. This is because the reproducibility of the waveform is improved. The time length expansion / contraction control of the non-harmonic vector may be a simple way of changing the read rate of the non-harmonic vector storage unit M2 in conjunction with the change of the read cycle (read rate) of the corresponding harmonic vector. Alternatively, the time axis expansion / contraction control may be employed.
Of course, if the compressed data of the non-harmonic component to be reproduced is data according to the second method (vector quantization performed by performing interval division irrespective of the periodicity of the harmonic component), basically such a case will be described. No special consideration is required, but it may be done. Various playback modes such as “one-shot playback”, “loop playback”, “alternative loop playback”, “sequence playback”, “random sequence playback”, “delete playback”, etc. Even if the compressed data of the component is data according to the first method (data obtained by performing interval division synchronized with the periodicity of the corresponding harmonic component and performing vector quantization), it is of course applicable to the present invention. It is.
【0072】「混合」処理S55では、上記のようにし
て再生・生成された調和成分波形と調和外成分波形とを
混合し、両方の成分を混合してなる楽音波形データを生
成する。こうして楽音波形データが再生・提供される
(ステップS56)。再生された楽音波形データは、デ
ィジタルデータのまま他の利用装置に供給するようにし
てもよいし、あるいはアナログ変換し、適宜のサウンド
システムを介して空間的に発音させるようにしてもよ
い。なお、調和成分波形の信号と調和外成分波形の信号
とを別々に発音して、両者を空間で混合するようにして
もよい。以上により、圧縮したデータ構成を採用しなが
ら、原波形にかなり忠実な特徴を持つ楽音波形を、再生
・生成することができる。また、各加工処理S52,S
54での波形加工を可変制御することにより、原波形に
忠実な高品質な波形でありながら、制御性にも非常に富
んだ、極めて有用な、波形生成処理を遂行することがで
きる。In the "mixing" process S55, the harmonic component waveform reproduced and generated as described above is mixed with the non-harmonic component waveform, and tone waveform data obtained by mixing both components is generated. Thus, the musical tone waveform data is reproduced and provided (step S56). The reproduced musical sound waveform data may be supplied as digital data to another utilization device, or may be converted into an analog signal and spatially generated through an appropriate sound system. In addition, the signal of the harmonic component waveform and the signal of the non-harmonic component waveform may be separately generated, and the two may be mixed in space. As described above, it is possible to reproduce and generate a musical sound waveform having characteristics quite faithful to the original waveform while employing the compressed data structure. In addition, each processing S52, S
By variably controlling the waveform processing at 54, it is possible to perform a very useful waveform generation process, which is a high-quality waveform faithful to the original waveform, but also very controllable.
【0073】[0073]
【発明の効果】以上の通り、この発明によれば、入力し
た波形データを調和成分と調和外成分とに分離し、分離
した調和成分と調和外成分とを別々にベクトル量子化す
る処理を行うようにしたので、調和成分と調和外成分の
両者をベクトル量子化することによって圧縮効率を向上
させることができる、という優れた効果を奏する。ま
た、従来技術のように周期ベクトルと雑音ベクトルの組
合せを考慮してベクトル量子化を行う必要がなく、調和
成分と調和外成分のベクトル選択をそれぞれ独立に行う
ようにしているので、ベクトル量子化処理を容易に行う
ことができる、という優れた効果を奏する。また、特
に、周期外成分のベクトル量子化にあたっては、原波形
から分離した調和外成分に基づきベクトル量子化処理を
行うので、周期外成分の再現精度を向上させることがで
きる、という優れた効果を奏する。このように、この発
明によれば、ベクトルの選択が容易であり、かつ、ベク
トル量子化における圧縮効率に優れ、また、原波形の再
現性に大変優れている、波形圧縮技術及び波形生成技術
を提供することができる。As described above, according to the present invention, the input waveform data is separated into a harmonic component and a non-harmonic component, and a process of separately vector-quantizing the separated harmonic component and the non-harmonic component is performed. As a result, there is an excellent effect that the compression efficiency can be improved by vector-quantizing both the harmonic component and the non-harmonic component. In addition, since it is not necessary to perform vector quantization in consideration of the combination of the periodic vector and the noise vector as in the related art, the vector selection of the harmonic component and the non-harmonic component is performed independently of each other. This has an excellent effect that processing can be easily performed. In particular, in the vector quantization of the out-of-period component, the vector quantization process is performed based on the out-of-harmonic component separated from the original waveform. Play. As described above, according to the present invention, a waveform compression technique and a waveform generation technique that are easy to select a vector, have excellent compression efficiency in vector quantization, and are very excellent in reproducibility of an original waveform are provided. Can be provided.
【図1】 この発明の一実施例に係る波形圧縮方法及び
波形生成方法を実施するために使用されるハードウェア
構成例の概略を示すブロック図。FIG. 1 is a block diagram schematically showing an example of a hardware configuration used to execute a waveform compression method and a waveform generation method according to an embodiment of the present invention.
【図2】 図1においてCPUの制御の下で実行される
波形圧縮処理の手順を略示する等価的ブロック図。FIG. 2 is an equivalent block diagram schematically showing a procedure of a waveform compression process executed under the control of a CPU in FIG. 1;
【図3】 図2における「調和成分分析」処理の詳細例
を示す等価的ブロック図。FIG. 3 is an equivalent block diagram showing a detailed example of a “harmonic component analysis” process in FIG. 2;
【図4】 調和成分波形をベクトル量子化する様子の一
例を示すグラフ。FIG. 4 is a graph showing an example of how a harmonic component waveform is vector-quantized.
【図5】 図2における「調和外成分分析」処理の一例
を示すフローチャートであって、調和成分の周期性を利
用して調和外成分波形を複数の波形区間に分割し、分析
を行うようにした実施例を示すもの。FIG. 5 is a flowchart illustrating an example of “out-of-harmonic component analysis” processing in FIG. 2, in which a non-harmonic component waveform is divided into a plurality of waveform sections using the periodicity of a harmonic component, and analysis is performed. FIG.
【図6】 図2における「調和外成分分析」処理の別の
例を示すフローチャートであって、調和外成分波形の特
徴に基づき該調和外成分波形を複数の波形区間に分割
し、分析を行うようにした実施例を示すもの。FIG. 6 is a flowchart illustrating another example of the “out-of-harmonic component analysis” process in FIG. 2, which divides the out-of-harmonic component waveform into a plurality of waveform sections based on the characteristics of the out-of-harmonic component waveform and performs analysis. FIG.
【図7】 調和外成分波形をベクトル量子化する様子の
一例を示すグラフ。FIG. 7 is a graph showing an example of how a non-harmonic component waveform is vector-quantized.
【図8】 調和外成分波形のベクトル量子化の一具体例
を示すグラフ。FIG. 8 is a graph showing a specific example of vector quantization of a non-harmonic component waveform.
【図9】 調和外成分波形のベクトル量子化の別の具体
例を示すグラフ。FIG. 9 is a graph showing another specific example of vector quantization of a non-harmonic component waveform.
【図10】 調和外成分波形のベクトル量子化の更に別
の具体例を示すグラフ。FIG. 10 is a graph showing still another specific example of vector quantization of a non-harmonic component waveform.
【図11】 調和外成分波形のベクトル量子化の別の具
体例を示すグラフ。FIG. 11 is a graph showing another specific example of vector quantization of a non-harmonic component waveform.
【図12】 調和外成分波形のベクトル量子化の更に別
の具体例を示すグラフ。FIG. 12 is a graph showing still another specific example of vector quantization of a non-harmonic component waveform.
【図13】 調和外成分波形のベクトル量子化の別の具
体例を示すグラフ。FIG. 13 is a graph showing another specific example of vector quantization of a non-harmonic component waveform.
【図14】 奏法付き楽譜を準備する処理過程の一例を
略示する等価的ブロック図。FIG. 14 is an equivalent block diagram schematically illustrating an example of a process of preparing a musical score with a playing style.
【図15】 図1においてCPUの制御の下で実行され
る楽音再生すなわち波形生成処理の手順を略示する等価
的ブロック図。FIG. 15 is an equivalent block diagram schematically showing a procedure of tone reproduction, that is, a waveform generation process executed under the control of the CPU in FIG. 1;
10 CPU(中央処理部) 11 ROM(リードオンリーメモリ) 12 RAM(ランダムアクセスメモリ) 13 ハードディスク装置 14 、リムーバブルディスク装置(例えばCD−RO
Mドライブ若しくはMOドライブなど) 15 表示器 16 キーボード及びマウス等の入力操作装置 17 波形インタフェース 18 タイマ 19 MIDI及び通信ネットワーク等のインタフェー
ス 20 CPUバスReference Signs List 10 CPU (Central Processing Unit) 11 ROM (Read Only Memory) 12 RAM (Random Access Memory) 13 Hard Disk Device 14, Removable Disk Device (for example, CD-RO)
15 Display 16 Input operation device such as keyboard and mouse 17 Waveform interface 18 Timer 19 Interface for MIDI and communication network 20 CPU bus
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 9/18 H ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G10L 9 / 18H
Claims (2)
成分とに分離する過程と、 調和ベクトルを供給する過程と、 前記分離された調和成分を前記調和ベクトルによりベク
トル量子化し、第1の圧縮データを生成する過程と、 調和外ベクトルを供給する過程と、 前記分離された調和外成分を前記調和外ベクトルにより
ベクトル量子化し、第2の圧縮データを生成する過程と
を具えた波形圧縮方法。1. a step of separating input waveform data into a harmonic component and a non-harmonic component; a step of supplying a harmonic vector; and vector-quantizing the separated harmonic component by the harmonic vector to perform first compression. A waveform compression method comprising: generating data; supplying a non-harmonic vector; and vector-quantizing the separated non-harmonic component with the non-harmonic vector to generate second compressed data.
1の圧縮データと所定の調和外ベクトルの指示情報を含
む第2の圧縮データと受け取る過程と、 調和ベクトルを供給する過程と、 前記第1の圧縮データと前記調和ベクトルとに基づき調
和成分の波形データを合成する過程と、 調和外ベクトルを提供する過程と、 前記第2の圧縮データと前記調和外ベクトルとに基づき
調和外成分の波形データを合成する過程とを具えた波形
生成方法。Receiving a first compressed data including a predetermined harmonic vector instruction information and a second compressed data including a predetermined non-harmonic vector instruction information; supplying a harmonic vector; Synthesizing the waveform data of the harmonic component based on the first compressed data and the harmonic vector; providing the non-harmonic vector; and the waveform of the non-harmonic component based on the second compressed data and the non-harmonic vector. A method of generating waveforms, the method comprising combining data.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11082649A JP2000276194A (en) | 1999-03-25 | 1999-03-25 | Waveform compressing method and waveform generating method |
EP00106126A EP1039442B1 (en) | 1999-03-25 | 2000-03-21 | Method and apparatus for compressing and generating waveform |
DE60026189T DE60026189T2 (en) | 1999-03-25 | 2000-03-21 | Method and apparatus for waveform compression and generation |
US09/536,007 US6584442B1 (en) | 1999-03-25 | 2000-03-23 | Method and apparatus for compressing and generating waveform |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11082649A JP2000276194A (en) | 1999-03-25 | 1999-03-25 | Waveform compressing method and waveform generating method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000276194A true JP2000276194A (en) | 2000-10-06 |
Family
ID=13780289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11082649A Pending JP2000276194A (en) | 1999-03-25 | 1999-03-25 | Waveform compressing method and waveform generating method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000276194A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058191A (en) * | 2001-08-10 | 2003-02-28 | Dainippon Printing Co Ltd | Frequency analyzing method and encoding method for acoustic signal |
KR100462611B1 (en) * | 2002-06-27 | 2004-12-20 | 삼성전자주식회사 | Audio coding method with harmonic extraction and apparatus thereof. |
JP2006010869A (en) * | 2004-06-23 | 2006-01-12 | Seiko Instruments Inc | Device and method for tuning |
KR100707186B1 (en) | 2005-03-24 | 2007-04-13 | 삼성전자주식회사 | Audio coding and decoding apparatus and method, and recoding medium thereof |
JP2017507339A (en) * | 2014-02-03 | 2017-03-16 | オスラム オプト セミコンダクターズ ゲゼルシャフト ミット ベシュレンクテル ハフツングOsram Opto Semiconductors GmbH | Encoding method and decoding method for data compression of power spectrum of optoelectronic component |
-
1999
- 1999-03-25 JP JP11082649A patent/JP2000276194A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058191A (en) * | 2001-08-10 | 2003-02-28 | Dainippon Printing Co Ltd | Frequency analyzing method and encoding method for acoustic signal |
KR100462611B1 (en) * | 2002-06-27 | 2004-12-20 | 삼성전자주식회사 | Audio coding method with harmonic extraction and apparatus thereof. |
JP2006010869A (en) * | 2004-06-23 | 2006-01-12 | Seiko Instruments Inc | Device and method for tuning |
KR100707186B1 (en) | 2005-03-24 | 2007-04-13 | 삼성전자주식회사 | Audio coding and decoding apparatus and method, and recoding medium thereof |
JP2017507339A (en) * | 2014-02-03 | 2017-03-16 | オスラム オプト セミコンダクターズ ゲゼルシャフト ミット ベシュレンクテル ハフツングOsram Opto Semiconductors GmbH | Encoding method and decoding method for data compression of power spectrum of optoelectronic component |
US9992504B2 (en) | 2014-02-03 | 2018-06-05 | Osram Opto Semiconductors Gmbh | Coding method for data compression of power spectra of an optoelectronic component and decoding method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3744216B2 (en) | Waveform forming apparatus and method | |
US6687674B2 (en) | Waveform forming device and method | |
US6881888B2 (en) | Waveform production method and apparatus using shot-tone-related rendition style waveform | |
US6584442B1 (en) | Method and apparatus for compressing and generating waveform | |
US6362409B1 (en) | Customizable software-based digital wavetable synthesizer | |
JP2001100760A (en) | Method and device for waveform generation | |
JP3601371B2 (en) | Waveform generation method and apparatus | |
US7718885B2 (en) | Expressive music synthesizer with control sequence look ahead capability | |
JP3654083B2 (en) | Waveform generation method and apparatus | |
JP3654079B2 (en) | Waveform generation method and apparatus | |
JP3654080B2 (en) | Waveform generation method and apparatus | |
JP3654082B2 (en) | Waveform generation method and apparatus | |
JP3654084B2 (en) | Waveform generation method and apparatus | |
JP2000276194A (en) | Waveform compressing method and waveform generating method | |
JP3744247B2 (en) | Waveform compression method and waveform generation method | |
JP3904012B2 (en) | Waveform generating apparatus and method | |
JP3788096B2 (en) | Waveform compression method and waveform generation method | |
JP3520781B2 (en) | Apparatus and method for generating waveform | |
JP3552675B2 (en) | Waveform generation method and apparatus | |
JP3613191B2 (en) | Waveform generation method and apparatus | |
JP3933162B2 (en) | Waveform generation method and apparatus | |
JP4007374B2 (en) | Waveform generation method and apparatus | |
JP3933161B2 (en) | Waveform generation method and apparatus | |
JP3674527B2 (en) | Waveform generation method and apparatus | |
JP3552676B2 (en) | Waveform generation method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050509 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051006 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051101 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20051118 |