JP2000261322A - 音響信号の符号化方法およびプログラム記録媒体 - Google Patents

音響信号の符号化方法およびプログラム記録媒体

Info

Publication number
JP2000261322A
JP2000261322A JP11058431A JP5843199A JP2000261322A JP 2000261322 A JP2000261322 A JP 2000261322A JP 11058431 A JP11058431 A JP 11058431A JP 5843199 A JP5843199 A JP 5843199A JP 2000261322 A JP2000261322 A JP 2000261322A
Authority
JP
Japan
Prior art keywords
signal
section
frequency
function
harmonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11058431A
Other languages
English (en)
Other versions
JP4132362B2 (ja
Inventor
Toshio Motegi
敏雄 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP05843199A priority Critical patent/JP4132362B2/ja
Publication of JP2000261322A publication Critical patent/JP2000261322A/ja
Application granted granted Critical
Publication of JP4132362B2 publication Critical patent/JP4132362B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】 MIDIデータのような符号データへの変換
を高い品質をもって行う。 【解決手段】 符号化対象となる音響信号をPCMコー
ド化し、音響データとして取り込む。時間軸上に複数の
単位区間dを設定し、各単位区間ごとに区間信号xを抽
出する。128通りのMIDIノートナンバーに対応す
る三角関数からなる要素信号を予め用意しておき、区間
信号xに対して最も高い相関値をもつ要素信号を調和信
号として選出する。この調和信号にその相関値を乗じた
含有信号を定義し、区間信号xから含有信号を減じた残
りを新たな区間信号として、同じ処理を繰り返す。複数
の含有信号の総和により、近似的に原区間信号が表現で
きたら、各含有信号に対応するノートナンバーおよび相
関値に基づいてMIDI符号を生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は音響信号の符号化方
法に関し、時系列の強度信号として与えられる音響信号
を符号化し、これを復号化して再生する技術に関する。
特に、本発明は一般の音響信号を、MIDI形式の符号
データに効率良く変換する処理に適しており、放送メデ
ィア (ラジオ、テレビ)、通信メディア(CS映像・
音声配信、インターネット配信)、パッケージメディア
(CD、MD、カセット、ビデオ、LD、CD−RO
M、ゲームカセット)などで提供する各種オーディオコ
ンテンツを制作する種々の産業分野への応用が期待され
る。
【0002】
【従来の技術】音響信号を符号化する技術として、PC
M(Pulse Code Modulation )の手法は最も普及してい
る手法であり、現在、オーディオCDやDATなどの記
録方式として広く利用されている。このPCMの手法の
基本原理は、アナログ音響信号を所定のサンプリング周
波数でサンプリングし、各サンプリング時の信号強度を
量子化してデジタルデータとして表現する点にあり、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、原音を忠実に再生することが可能になる。ただ、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、必要な情報量も増えることになる。そこで、できる
だけ情報量を低減するための手法として、信号の変化差
分のみを符号化するADPCM(Adaptive Differentia
l Pulse Code Modulation )の手法も用いられている。
【0003】一方、電子楽器による楽器音を符号化しよ
うという発想から生まれたMIDI(Musical Instrume
nt Digital Interface)規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このMIDI規格による符号データ(以下、MID
Iデータという)は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このMIDIデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したMI
DI音源が別途必要になる。しかしながら、上述したP
CMの手法で音を記録する場合に比べて、情報量が極め
て少なくてすむという特徴を有し、その符号化効率の高
さが注目を集めている。このMIDI規格による符号化
および復号化の技術は、現在、パーソナルコンピュータ
を用いて楽器演奏、楽器練習、作曲などを行うソフトウ
エアに広く採り入れられており、カラオケ、ゲームの効
果音といった分野でも広く利用されている。
【0004】
【発明が解決しようとする課題】上述したように、PC
Mの手法により音響信号を符号化する場合、十分な音質
を確保しようとすれば情報量が膨大になり、データ処理
の負担が重くならざるを得ない。したがって、通常は、
ある程度の情報量に抑えるため、ある程度の音質に妥協
せざるを得ない。もちろん、MIDI規格による符号化
の手法を採れば、非常に少ない情報量で十分な音質をも
った音の再生が可能であるが、上述したように、MID
I規格そのものが、もともと楽器演奏の操作を符号化す
るためのものであるため、広く一般音響への適用を行う
ことはできない。別言すれば、MIDIデータを作成す
るためには、実際に楽器を演奏するか、あるいは、楽譜
の情報を用意する必要がある。
【0005】このように、従来用いられているPCMの
手法にしても、MIDIの手法にしても、それぞれ音響
信号の符号化方法としては一長一短があり、一般の音響
について、少ない情報量で十分な音質を確保することは
できない。ところが、一般の音響についても効率的な符
号化を行いたいという要望は、益々強くなってきてい
る。いわゆるヴォーカル音響と呼ばれる人間の話声や歌
声を取り扱う分野では、かねてからこのような要望が強
く出されている。たとえば、語学教育、声楽教育、犯罪
捜査などの分野では、ヴォーカル音響信号を効率的に符
号化する技術が切望されている。このような要求に応え
るために、特願平9−273949号明細書や特願平1
0−283453号明細書には、MIDIデータを利用
することが可能な新規な符号化方法が提案されている。
これらの方法では、音響信号の時間軸に沿って複数の単
位区間を設定し、各単位区間ごとにフーリエ変換を行っ
てスペクトルを求め、このスペクトルに応じたMIDI
データを作成するという手順が実行される。しかしなが
ら、フーリエ変換を利用した周波数解析法は、もともと
一定周波数の信号が時間軸上で無限に連続するという前
提で数式が定義されているため、時間軸上で有限の幅を
もった単位区間ごとの解析に利用すると、必ずしも忠実
な符号化を行うことができない。このため、品質の高い
符号化という観点においては問題があった。
【0006】そこで本発明は、MIDIデータのような
符号データへの変換を高い品質をもって行うことが可能
な音響信号の符号化方法を提供することを目的とする。
【0007】
【課題を解決するための手段】(1) 本発明の第1の態
様は、時系列の強度信号として与えられる音響信号を符
号化するための音響信号の符号化方法において、符号化
対象となる音響信号の時間軸上に複数の単位区間を設定
し、個々の単位区間ごとにそれぞれ区間信号を抽出する
区間信号抽出段階と、この区間信号の構成要素となるべ
き複数通りの要素信号を準備する要素信号準備段階と、
準備した複数通りの要素信号の中から、区間信号に対す
る相関値が最も高い要素信号を調和信号として選出する
調和信号選出段階と、この調和信号とその相関値との積
で与えられる含有信号を、区間信号から減じることによ
り差分信号を求める差分信号演算段階と、差分信号を新
たな区間信号として、調和信号選出段階および差分信号
演算段階を実行して新たな含有信号および新たな差分信
号を得る処理を、繰り返し行うことにより複数通りの含
有信号を求め、求めた含有信号に基づいて、区間信号を
表現するための複数の符号コードを生成する符号化段階
と、を行い、個々の単位区間ごとに生成された符号コー
ドの集合によって、音響信号を表現するようにしたもの
である。
【0008】(2) 本発明の第2の態様は、上述の第1
の態様に係る音響信号の符号化方法において、要素信号
準備段階で、互いに周波数の異なる複数通りの要素信号
を準備するようにし、調和信号選出段階で、区間信号に
対してフーリエ変換を行い、得られたフーリエスペクト
ルのピーク周波数に対応する要素信号を調和信号として
選出するようにしたものである。
【0009】(3) 本発明の第3の態様は、上述の第1
の態様に係る音響信号の符号化方法において、調和信号
選出段階では、区間信号のピーク位置に関する情報のみ
を用いて相関値を演算する簡易相関演算を行い、この簡
易相関演算の結果得られた相関値に基づいて調和信号を
選出するようにし、差分信号演算段階では、選出された
調和信号の全情報を用いて相関値を再演算し、この再演
算の結果得られた相関値を用いて含有信号を求める演算
を行うようにしたものである。
【0010】(4) 本発明の第4の態様は、上述の第1
の態様に係る音響信号の符号化方法において、各単位区
間の区間信号について第1回目の調和信号を選出する際
に、複数X通りの要素信号の中から、区間信号に対する
相関値の高い順に第1位〜第Y位までの複数Y個(Y<
X)の候補を選出しておき、第1位の候補を第1回目の
調和信号として選出し、第2回目以降の調和信号を選出
する際には、既に選出された複数Y個の候補の中から区
間信号に対する相関値が最も高い要素信号を調和信号と
して選出するようにしたものである。
【0011】(5) 本発明の第5の態様は、上述の第1
の態様に係る音響信号の符号化方法において、区間信号
抽出段階で、隣接する単位区間が時間軸上で部分的に重
複するような設定を行うようにしたものである。
【0012】(6) 本発明の第6の態様は、上述の第5
の態様に係る音響信号の符号化方法において、第1の単
位区間の区間信号についての調和信号を選出する際に、
複数X通りの要素信号の中から、区間信号に対する相関
値の高い順に第1位〜第Z位までの複数Z個(Z<X)
の候補を選出しておき、この複数Z個の候補の中から調
和信号を選出するようにし、第1の単位区間に対して時
間軸上で所定の時間以上にわたって重複するような第2
の単位区間の区間信号についての調和信号を選出する際
には、既に選出された複数Z個の候補の中から調和信号
を選出するようにしたものである。
【0013】(7) 本発明の第7の態様は、上述の第1
〜第6の態様に係る音響信号の符号化方法において、要
素信号準備段階で、互いに同一の周波数をもった正弦関
数と余弦関数との合成関数を1要素信号とし、等比級数
をなす複数X個の周波数についての各合成関数をそれぞ
れ各要素信号とするようにしたものである。
【0014】(8) 本発明の第8の態様は、上述の第1
〜第6の態様に係る音響信号の符号化方法において、要
素信号準備段階で、等比級数をなす複数X個の周波数を
定義し、第n番目(n=1,2,…,X)の周波数f
(n)について、単位区間と同一区間内に定義され、こ
の区間内における周波数f(n)をもった正弦関数と余
弦関数との合成により得られる第1の合成関数と、単位
区間と同一区間内に定義され、この区間内で区間開始周
波数f(n)から区間終了周波数f(n−1)に至るま
で連続的に周波数が変化するような正弦関数と余弦関数
との合成により得られる第2の合成関数と、単位区間と
同一区間内に定義され、この区間内で区間開始周波数f
(n)から区間終了周波数f(n+1)に至るまで連続
的に周波数が変化するような正弦関数と余弦関数との合
成により得られる第3の合成関数と、を定義することに
より合計3X個の合成関数を定義し、これらの合成関数
をそれぞれ要素信号として用いて相関値を求める演算を
行い、第2の合成関数または第3の合成関数についての
相関値が最も高いと判断された場合には、当該合成関数
に対応する第1の合成関数を調和信号として選出するよ
うにしたものである。
【0015】(9) 本発明の第9の態様は、上述の第1
〜第6の態様に係る音響信号の符号化方法において、要
素信号準備段階で、比例定数αの等比級数をなす複数X
個の周波数を定義し、第n番目(n=1,2,…,X)
の周波数f(n)について、単位区間と同一区間内に定
義され、この区間内における周波数f(n)をもった正
弦関数と余弦関数との合成により得られる第1の合成関
数と、単位区間と同一区間内に定義され、この区間内に
おける周波数f(n)*βをもった正弦関数と余弦関数
との合成により得られる第2の合成関数と、単位区間と
同一区間内に定義され、この区間内における周波数f
(n)/βをもった正弦関数と余弦関数との合成により
得られる第3の合成関数と、を定義することにより合計
3X個の合成関数を定義し(ただし、1<β<平方根
α)、これらの合成関数をそれぞれ要素信号として用い
て相関値を求める演算を行い、第2の合成関数または第
3の合成関数についての相関値が最も高いと判断された
場合には、当該合成関数に対応する第1の合成関数を調
和信号として選出するようにしたものである。
【0016】(10) 本発明の第10の態様は、上述の第
7〜第9の態様に係る音響信号の符号化方法において、
複数X個の周波数として、MIDIデータで利用される
各ノートナンバーに対応した周波数を用いるようにし、
符号化段階で、個々の単位区間の音響信号を、各含有信
号の周波数に対応したノートナンバーと、その振幅に基
いて決定されたベロシティーと、当該単位区間の長さに
基いて決定されたデルタタイムと、を示すデータからな
るMIDI形式の符号データによって表現するようにし
たものである。
【0017】(11) 本発明の第11の態様は、上述の第
1〜第10の態様に係る音響信号の符号化方法におい
て、所定の周波数fをもった要素信号に対する相関を求
める演算を行う代わりに、正弦関数および余弦関数につ
いての倍角公式を用いることにより、周波数f/2q
(qは所定の整数)をもった要素信号に対する相関を求
める演算を行うようにしたものである。
【0018】(12) 本発明の第12の態様は、上述の第
1〜第11の態様に係る音響信号の符号化方法をコンピ
ュータに実行させるためのプログラムを、コンピュータ
読み取り可能な記録媒体に記録するようにしたものであ
る。
【0019】
【発明の実施の形態】以下、本発明を図示する実施形態
に基づいて説明する。
【0020】§1.フーリエ変換を利用した音響信号の
符号化方法の基本原理 はじめに、本発明に対する先願発明となる特願平10−
283453号明細書において提案されているフーリエ
変換を利用した音響信号の符号化方法の基本原理を説明
する。いま、図1(a) に示すように、時系列の強度信号
としてアナログ音響信号が与えられたものとしよう。図
示の例では、横軸に時間t、縦軸に振幅(強度)をとっ
てこの音響信号を示している。ここでは、まずこのアナ
ログ音響信号を、デジタルの音響データとして取り込む
処理を行う。これは、従来の一般的なPCMの手法を用
い、所定のサンプリング周期でこのアナログ音響信号を
サンプリングし、振幅を所定の量子化ビット数を用いて
デジタルデータに変換する処理を行えばよい。ここで
は、説明の便宜上、PCMの手法でデジタル化した音響
データの波形も、図1(a) のアナログ音響信号と同一の
波形で示すことにする。
【0021】続いて、この符号化対象となる音響信号の
時間軸上に、複数の単位区間を設定する。図1(a) に示
す例では、時間軸t上に等間隔に6つの時刻t1〜t6
が定義され、これら各時刻を始点および終点とする5つ
の単位区間d1〜d5が設定されている(より実用的な
区間設定方法については後述する)。
【0022】こうして単位区間が設定されたら、各単位
区間ごとの音響信号(ここでは、区間信号と呼ぶことに
する)に対してそれぞれフーリエ変換を行い、スペクト
ルを作成する。このとき、ハニング窓(Hanning Window
)などの重み関数で、切り出した区間信号にフィルタを
かけてフーリエ変換を施す。一般にフーリエ変換は、切
り出した区間前後に同様な信号が無限に存在することが
想定されているため、重み関数を用いない場合、作成し
たスペクトルに高周波ノイズがのることが多い。ハニン
グ窓関数など区間の両端の重みが0になるような重み関
数を用いると、このような弊害をある程度抑制できる。
ハニング窓関数H(k)は、単位区間長をLとすると、
k=1…Lに対して、 H(k)=0.5−0.5*cos(2πk/L) で与えられる関数である。
【0023】図1(b) には、単位区間d1について作成
されたスペクトルの一例が示されている。このスペクト
ルでは、横軸上に定義された周波数fによって、単位区
間d1についての区間信号に含まれる周波数成分(0〜
F:ここでFはサンプリング周波数)が示されており、
縦軸上に定義された複素強度Aによって、各周波数成分
ごとの複素強度が示されている。
【0024】次に、このスペクトルの周波数軸fに対応
させて、離散的に複数X個の符号コードを定義する。こ
の例では、符号コードとしてMIDIデータで利用され
るノートナンバーnを用いており、n=0〜127まで
の128個の符号コードを定義している。ノートナンバ
ーnは、音符の音階を示すパラメータであり、たとえ
ば、ノートナンバーn=69は、ピアノの鍵盤中央の
「ラ音(A3音)」を示しており、440Hzの音に相
当する。このように、128個のノートナンバーには、
いずれも所定の周波数が対応づけられるので、スペクト
ルの周波数軸f上の所定位置に、それぞれ128個のノ
ートナンバーnが離散的に定義されることになる。
【0025】ここで、ノートナンバーnは、1オクター
ブ上がると、周波数が2倍になる対数尺度の音階を示す
ため、周波数軸fに対して線形には対応しない。そこ
で、ここでは周波数軸fを対数尺度で表し、この対数尺
度軸上にノートナンバーnを定義した強度グラフを作成
してみる。図1(c) は、このようにして作成された単位
区間d1についての強度グラフを示す。この強度グラフ
の横軸は、図1(b) に示すスペクトログラムの横軸を対
数尺度に変換したものであり、ノートナンバーn=0〜
127が等間隔にプロットされている。一方、この強度
グラフの縦軸は、図1(b) に示すスペクトルの複素強度
Aを実効強度Eに変換したものであり、各ノートナンバ
ーnの位置における強度を示している。一般に、フーリ
エ変換によって得られる複素強度Aは、実数部Rと虚数
部Iとによって表されるが、実効強度Eは、E=(R
+I1/2なる演算によって求めることができる。
【0026】こうして求められた単位区間d1の強度グ
ラフは、単位区間d1についての区間信号に含まれる振
動成分について、ノートナンバーn=0〜127に相当
する各振動成分の割合を実効強度として示すグラフとい
うことができる。そこで、この強度グラフに示されてい
る各実効強度に基いて、全X個(この例ではX=12
8)のノートナンバーの中からP個のノートナンバーを
選択し、このP個のノートナンバーnを、単位区間d1
を代表する代表符号コードとして抽出する。ここでは、
説明の便宜上、P=3として、全128個の候補の中か
ら3個のノートナンバーを代表符号コードとして抽出す
る場合を示すことにする。たとえば、「候補の中から強
度の大きい順にP個の符号コードを抽出する」という基
準に基いて抽出を行えば、図1(c) に示す例では、第1
番目の代表符号コードとしてノートナンバーn(d1,
1)が、第2番目の代表符号コードとしてノートナンバ
ーn(d1,2)が、第3番目の代表符号コードとして
ノートナンバーn(d1,3)が、それぞれ抽出される
ことになる。
【0027】このようにして、P個の代表符号コードが
抽出されたら、これらの代表符号コードとその実効強度
によって、単位区間d1についての区間信号を表現する
ことができる。たとえば、上述の例の場合、図1(c) に
示す強度グラフにおいて、ノートナンバーn(d1,
1)、n(d1,2)、n(d1,3)の実効強度がそ
れぞれe(d1,1)、e(d1,2)、e(d1,
3)であったとすれば、以下に示す3組のデータ対によ
って、単位区間d1の音響信号を表現することができ
る。 n(d1,1),e(d1,1) n(d1,2),e(d1,2) n(d1,3),e(d1,3) 以上、単位区間d1についての処理について説明した
が、単位区間d2〜d5についても、それぞれ別個に同
様の処理が行われ、代表符号コードおよびその強度を示
すデータが得られることになる。たとえば、単位区間d
2については、 n(d2,1),e(d2,1) n(d2,2),e(d2,2) n(d2,3),e(d2,3) なる3組のデータ対が得られる。このようにして各単位
区間ごとに得られたデータによって、原音響信号を符号
化することができる。
【0028】図2は、上述の方法による符号化の概念図
である。図2(a) には、図1(a) と同様に、原音響信号
について5つの単位区間d1〜d5を設定した状態が示
されており、図2(b) には、各単位区間ごとに得られた
符号データが音符の形式で示されている。この例では、
個々の単位区間ごとに3個の代表符号コードを抽出して
おり(P=3)、これら代表符号コードに関するデータ
を3つのトラックT1〜T3に分けて収容するようにし
ている。たとえば、単位区間d1について抽出された代
表符号コードn(d1,1),n(d1,2),n(d
1,3)は、それぞれトラックT1,T2,T3に収容
されている。もっとも、図2(b) は、上述の方法によっ
て得られる符号データを音符の形式で示した概念図であ
り、実際には、各音符にはそれぞれ強度に関するデータ
が付加されている。たとえば、トラックT1には、ノー
トナンバーn(d1,1),n(d2,1),n(d
3,1)…なる音階を示すデータとともに、e(d1,
1),e(d2,1),e(d3,1)…なる強度を示
すデータが収容されることになる。
【0029】なお、ここで採用する符号化の形式として
は、必ずしもMIDI形式を採用する必要はないが、こ
の種の符号化形式としてはMIDI形式が最も普及して
いるため、実用上はMIDI形式の符号データを用いる
のが最も好ましい。MIDI形式では、「ノートオン」
データもしくは「ノートオフ」データが、「デルタタイ
ム」データを介在させながら存在する。「ノートオン」
データは、特定のノートナンバーNとベロシティーVと
を指定して特定の音の演奏開始を指示するデータであ
り、「ノートオフ」データは、特定のノートナンバーN
とベロシティーVとを指定して特定の音の演奏終了を指
示するデータである。また、「デルタタイム」データ
は、所定の時間間隔を示すデータである。ベロシティー
Vは、たとえば、ピアノの鍵盤などを押し下げる速度
(ノートオン時のベロシティー)および鍵盤から指を離
す速度(ノートオフ時のベロシティー)を示すパラメー
タであり、特定の音の演奏開始操作もしくは演奏終了操
作の強さを示すことになる。
【0030】前述の方法では、第i番目の単位区間di
について、代表符号コードとしてP個のノートナンバー
n(di,1),n(di,2),…,n(di,P)
が得られ、このそれぞれについて実効強度e(di,
1),e(di,2),…,e(di,P)が得られ
る。そこで、次のような手法により、MIDI形式の符
号データを作成することができる。まず、「ノートオ
ン」データもしくは「ノートオフ」データの中で記述す
るノートナンバーNとしては、得られたノートナンバー
n(di,1),n(di,2),…,n(di,P)
をそのまま用いていればよい。一方、「ノートオン」デ
ータもしくは 「ノートオフ」データの中で記述するベ
ロシティーVとしては、得られた実効強度e (di,
1),e(di,2),…,e(di,P)を、値が0
〜1の範囲となるように規格化し、この規格化後の実効
強度Eの平方根に、たとえば127を乗じた値を用いる
ようにする。すなわち、実効強度Eについての最大値を
Emax とした場合、 V=(E/Emax )1/2・127 なる演算で求まる値Vをベロシティーとして用いる。あ
るいは対数をとって、 V=log(E/Emax )・127+127 (ただし、V<0の場合はV=0とする)なる演算で求
まる値Vをベロシティーとして用いてもよい。また、
「デルタタイム」データは、各単位区間の長さに応じて
設定すればよい。
【0031】結局、上述した実施形態では、3トラック
からなるMIDI符号データが得られることになる。こ
のMIDI符号データを3台のMIDI音源を用いて再
生すれば、6チャンネルのステレオ再生音として音響信
号が再生される。
【0032】§2.より実用的な区間設定方法 前述した§1では、非常に単純な区間設定例を述べた
が、ここでは、区間設定を行う上でのより実用的な手法
を説明する。図2(a) に示された例では、時間軸t上に
等間隔に定義された6つの時刻t1〜t6を境界とし
て、5つの単位区間d1〜d5が設定されている。この
ような区間設定に基いて符号化を行った場合、再生時
に、境界となる時刻において音の不連続が発生しやす
い。したがって、実用上は、隣接する単位区間が時間軸
上で部分的に重複するような区間設定を行うのが好まし
い。
【0033】図3(a) は、このように部分的に重複する
区間設定を行った例である。図示されている単位区間d
1〜d4は、いずれも部分的に重なっており、このよう
な区間設定に基いて前述の処理を行うと、図3(b) の概
念図に示されているような符号化が行われることにな
る。この例では、それぞれの単位区間の中心を基準位置
として、各音符をそれぞれの基準位置に配置している
が、単位区間に対する相対的な基準位置は、必ずしも中
心に設定する必要はない。図3(b) に示す概念図を図2
(b) に示す概念図と比較すると、音符の密度が高まって
いることがわかる。このように重複した区間設定を行う
と、作成される符号データの数は増加することになる
が、再生時に音の不連続が生じない自然な符号化が可能
になる。
【0034】図4は、時間軸上で部分的に重複する区間
設定を行う具体的な手法を示す図である。この具体例で
は、音響信号を22kHzのサンプリング周波数でサン
プリングすることによりデジタル音響データとして取り
込み、個々の単位区間の区間長Lを1024サンプル分
(約47msec)に設定し、各単位区間ごとのずれ量
を示すオフセット長ΔLを20サンプル分(約0.9m
sec)に設定したものである。すなわち、任意のiに
対して、第i番目の単位区間の始点と第(i+1)番目
の単位区間の始点との時間軸上での隔たりがオフセット
長ΔLに設定されることになる。たとえば、第1番目の
単位区間d1は、1〜1024番目のサンプルを含んで
おり、第2番目の単位区間d2は、20サンプル分ずれ
た21〜1044番目のサンプルを含んでいることにな
る。
【0035】§3.スペクトル強度の効率的な演算方法 さて、図1で説明した原理に係る符号化方法の基本手順
は、まず、図1(a) に示すように、音響データの時間軸
上に複数の単位区間d1,d2,d3,…を設定し、区
間d1内の音響データに対してフーリエ変換を行い、図
1(b) に示すようなスペクトルを求め、図1(c) に示す
ように、このスペクトルのピーク周波数に相当するいく
つかの符号n(d1,1),n(d1,2),n(d
1,3)によって、区間d1の音響信号を表現する、と
いうことになる。ここでは、図1(b) に示すようなスペ
クトルを求めるための効率的な演算方法を述べることに
する。
【0036】図1(a) に示すような振動成分をもった信
号について、図1(b) に示すようなスペクトルを得る場
合、フーリエ変換を利用するのが一般的であり、実用上
は、高速フーリエ変換(FFT)の手法を用いた演算が
行われる。しかしながら、一般的なフーリエ変換は、線
形な周波数軸を用いたスペクトルを得ることを前提とし
ており、MIDIデータなどの非線形な符号データへの
変換には必ずしも適していない。これは次のような理由
によるものである。
【0037】いま、図5に示すような線形尺度によるフ
ーリエスペクトルを考えてみよう。このフーリエスペク
トルは、横軸に線形尺度による周波数fをとり、縦軸に
スペクトル強度をとったグラフである。ここで、横軸
(周波数軸)上には、複数M個の測定ポイントが等間隔
に離散的に定義されており、各測定ポイントごとに、そ
のスペクトル強度が棒グラフで示されている。グラフの
下欄には、各測定ポイントの番号が記されており、グ
ラフの下欄には、これら各測定ポイントに相当する周
波数値が記されている。この例は、サンプリング周波数
F=22.05kHzで音響信号をデータとして取り込
んだ例であり、測定ポイントの数M=1024に設定し
てある。したがって、周波数f=0となる第0番目の測
定ポイントから、周波数f=11014Hz(サンプリ
ング周波数Fのほぼ1/2)となる第1023番目の測
定ポイントに至るまで、合計1024個の測定ポイント
のそれぞれにおいて、棒グラフの長さに相当するスペク
トル強度が求まっている。一般のフーリエ変換では、こ
のように線形な周波数軸上に等間隔で定義された多数の
測定ポイントについて、それぞれスペクトル強度が求め
られることになる。
【0038】ところが、この図5のように、線形な周波
数軸上に等間隔で定義された測定ポイントについて強度
が得られているスペクトルを、MIDIデータのよう
に、周波数に関して非線形な特性を有する符号系への変
換に利用することは効率的ではない。図6は、図5に示
すスペクトルの周波数軸を対数尺度に書き直したもので
ある。グラフの下欄には、各測定ポイントの番号が記
されており、グラフの下欄には、これら各測定ポイン
トに対応づけられたノートナンバー(log fに相当)が
記されている。測定ポイントの数M=1024である点
は図5と同じであるが、周波数軸が対数尺度となってい
るため、各測定ポイントは横軸上で等間隔には配置され
ていない。別言すれば、低周波領域では、測定ポイント
の配置は粗いが、高周波領域にゆくにしたがって、測定
ポイントの配置は密になる。
【0039】図6の例における低周波領域では、第1の
測定ポイントについては、ノートナンバーn=4、第2
の測定ポイントについては、ノートナンバーn=16、
第3の測定ポイントについては、ノートナンバーn=2
4を割り当てているが、これらの中間に位置するノート
ナンバーについては対応する測定ポイントが存在しない
ため、スペクトル強度が得られない結果となっており、
いわば歯抜けの櫛のような状態となっている。したがっ
て、サンプリング周波数F=22.05kHz、測定ポ
イントの数M=1024という設定では、ノートナンバ
ーn=5〜15,17〜23についての強度を定義する
ことができなくなる。もちろん、測定ポイントの数M=
1024を更に増やすようにすれば、歯抜けの状態を解
消することは可能であるが、そのような多数の測定ポイ
ントについての演算を行うこと自体が非効率的である。
【0040】逆に、高周波領域では、第970番目の測
定ポイント〜第1023番目の測定ポイントに至るまで
の合計54個の測定ポイントが、同一のノートナンバー
n=124に割り当てられている。もちろん、この場
合、全54個の測定ポイントについてのスペクトル強度
の平均値をノートナンバーn=124についての強度と
定義すれば問題はないが、1つのノートナンバーn=1
24についての強度値を求めるのに、54個もの測定ポ
イントについての演算を行うこと自体が非効率的であ
る。
【0041】結局、MIDIデータのような非線形な符
号コードへの変換を効率よく行うためには、必要な符号
コードに合わせて周波数軸上に複数M個の測定ポイント
を離散的に定義し、音響信号に含まれるM個の測定ポイ
ントに相当する周波数成分についてのスペクトル強度だ
けを求めるようにすればよい。特に、MIDIデータへ
の変換を行う場合は、対数尺度の周波数軸上で等間隔と
なるように複数M個の測定ポイントを離散的に定義すれ
ばよい。別言すれば、各測定ポイントの周波数が等比数
列をなすように、複数M個の測定ポイントを離散的に定
義すればよい。図7は、このようにして定義した測定ポ
イントの一部分を示す図である。図示されている各測定
ポイントには、ノートナンバーn=60〜65が割り当
てられており、これら各測定ポイントは、対数尺度の周
波数軸上で等間隔となっている。また、各測定ポイント
の具体的な周波数値262,278,294,…に着目
すると、等比数列をなしている。フーリエ変換によりス
ペクトル強度を演算する際には、これら各測定ポイント
についてのスペクトル強度のみを演算するようにすれ
ば、無駄な演算を省くことができる。このような無駄を
省いた効率的な演算を行うための具体的な方法は、前掲
の特願平10−283453号明細書に詳述されている
ので、ここでは詳しい説明は省略する。
【0042】§4.一般化調和解析を用いた符号化方法 以上、§1〜§3において、先願発明において提案され
ているフーリエ解析を用いた符号化方法の概略を述べ
た。本願で提案する符号化方法は、大筋においては、前
述した先願発明の符号化方法と同じである。すなわち、
符号化対象となる音響信号の時間軸上に複数の単位区間
を設定し、個々の単位区間ごとにそれぞれ区間信号(符
号化対象となる音響信号のうちの各単位区間内に位置す
る部分)を抽出し、各区間信号を所定の符号コードに置
き換えるという手法を採る。ただ、各区間信号を所定の
符号コードに置き換える際に、先願発明ではフーリエ解
析の手法を用いていたが、本願発明では一般化調和解析
の手法を用いる点が異なっている。
【0043】たとえば、図8の上段に示すように、ある
単位区間dについて区間信号xが与えられたとしよう。
ここでは、区間長Lをもった単位区間dについて、サン
プリング周波数Fでサンプリングが行われており、全部
でw個のサンプル値が得られているものとし、サンプル
番号を図示のように、0,1,2,3,…,k,…,w
−2,w−1としよう。ここで、任意のサンプル番号k
については、x(k)なる振幅値がデジタルデータとし
て与えられていることになる。
【0044】先願発明において提案されているフーリエ
解析を用いた符号化方法の場合、この区間信号xについ
てのフーリエスペクトルを求め、スペクトル強度の高い
周波数に対応するノートナンバーを所定の数だけ選出
し、選出されたノートナンバーとそのスペクトル強度と
に基づいて、MIDI符号化を行っていた。しかしなが
ら、本来、フーリエ解析は、時間軸上に無限に連続する
信号波形を対象とした解析手法であるため、図8の例の
ように、区間長Lという有限の時間内にしか存在しない
区間信号xについての解析に適用した場合、正確な周波
数解析を行うことができない。このため、高品質の符号
化を行う際には問題があることは、既に述べたとおりで
ある。
【0045】本願発明において適用する一般化調和解析
の基本概念は、区間信号xをあらかじめ規定されたI個
の調和関数に分解して取り扱うという点にある。一般の
音響信号は可聴領域として20Hzから20kHzの調
和関数が連続して含まれていると考えられるが、本願の
目的は、与えられた音響信号を、MIDIで定義されて
いる128種の不連続な周波数で強引に表現しようとい
うものである。すなわち、図8に示すような、一見ラン
ダムな信号波形を、数式で定義される複数の信号波形の
和として表現しよう、という試みを行うことになる。そ
のために、まず、区間信号xの構成要素の候補となるべ
き複数通りの要素信号を準備しておく。ここでは、図8
の下段の表に示されているような128通りの要素信号
を準備することにする。各要素信号は、互いに同一の周
波数をもった正弦関数と余弦関数との合成関数により構
成されており、それぞれノートナンバー0〜127に対
応している。たとえば、ノートナンバーnに対応した要
素信号は、周波数f(n)をもった正弦関数 sin(2π
f(n)k/F)と余弦関数 cos(2πf(n)k/
F)との合成関数として与えられる。変数kは図8上段
に示されたサンプル番号、Fはサンプリング周波数であ
り、上記三角関数の項(k/F)は、単位区間dの左端
位置を基準としたときの時間tに相当するものである。
また、図8の下段の表において各三角関数の頭に付され
たA(n),B(n)は、振幅を示す係数である。ただ
し、各要素信号は、あくまでも区間信号xが存在する単
位区間dと同一の区間内にのみ定義された信号である。
なお、各ノートナンバー0〜127に相当する周波数を
f(0)〜f(127)とすれば、これらの周波数は等
比級数をなすことになる(ノートナンバーが12だけ隔
たると1オクターブの隔たりとなり、周波数としては2
倍の隔たりとなる)。
【0046】ここで行う一般化調和解析の目的は、区間
信号xに相当する関数x(k)について、図9の式で示
されるような誤差値Error を最小とするような近似関数
ξ(k)を求めることである。誤差値Error は、w個の
各サンプル番号位置(0〜(w−1))における関数x
(k)と近似関数ξ(k)との二乗誤差の総和であり、
この誤差値Error が小さければ小さいほど、近似関数ξ
(k)は関数x(k)に近似することになる。近似関数
ξ(k)は、図9の式に示されているように、128通
りの要素信号(図8の下段の表に掲載されたもの)の総
和であり、各要素信号の係数A(n),B(n)をそれ
ぞれ特定することにより定まる。別言すれば、図8の下
段の表に掲載された各三角関数の係数A(0)〜A(1
27),B(0)〜B(127)の値をそれぞれ固有の
値に定めた上で、これらすべての三角関数の総和を求め
れば、この総和が近似関数ξ(k)となる。誤差値Erro
rを最小にするような近似関数ξ(k)を求めるという
ことは、そのような近似関数ξ(k)の構成要素となる
各要素信号についての個々の係数値を求めることに他な
らない。このように、誤差値Error を最小にするための
係数値を求めるには、たとえば、個々の係数値がとりう
るすべての値を入れた膨大な組み合わせについて誤差値
Error を演算し、最小値が得られた係数値の組み合わせ
をとればよい。しかしながら、このような方法は、演算
負担が膨大なものとなるため現実的ではない。また、現
在入手可能なMIDI音源で同時に合成できる音は標準
規格では16であり、与えられた音響信号をI個の調和
関数に分解する場合、Iを16以下に設定しておかない
と再生できない。そこで、本願では、次のような簡便な
手法で一般化調和解析を行う。
【0047】まず、図8の上段に示すような区間信号x
が与えられたら、とりあえず、この区間信号xに対して
フーリエ変換を実行し、図10に示すようなフーリエス
ペクトルを求める。フーリエ変換の演算負担は、FFT
などの手法を利用すれば、一般のパソコンを用いても実
行可能な程度であり、特に、前述の§3で述べたよう
に、128通りのノートナンバーに相当する周波数位置
のみについてのスペクトル強度を求める効率的な演算手
法を採れば、パソコンで十分に実行可能である(一般
に、「フーリエ変換」という言葉は、線形周波数軸をも
った周波数スペクトルを求める処理をさすが、本願明細
書では、§3で述べたような対数周波数軸をもった周波
数スペクトルを求める処理も含めた広義の意味で用いる
ことにする)。続いて、こうして求められたフーリエス
ペクトルのピーク周波数に対応する要素信号を調和信号
として選出する。ここで、調和信号とは、複数通りの要
素信号の中から、区間信号xに対する相関値が最も高い
信号を言う。たとえば、図10に示す例の場合、フーリ
エスペクトルのピーク周波数f(n)に対応する要素信
号が調和信号として選出されることになる(ピーク位置
が、128通りの周波数のいずれかに正確に一致しない
場合には、周波数軸上で最も近くにある周波数をとれば
よい)。この例の場合、フーリエ解析に基づく相関値が
最も高い要素信号として、周波数f(n)をもった正弦
関数 sin(2πf(n)k/F)と余弦関数 cos(2π
f(n)k/F)との合成関数が選出されたことにな
る。前述したように、周波数f(n)は、ノートナンバ
ーnに相当する周波数であり、周波数f(n)とノート
ナンバーnとの間には、図10の下段に示すような関係
式が成り立ち、ノートナンバーn=69に対応する周波
数f(69)が440Hzになる。
【0048】さて、こうして周波数f(n)をもった正
弦関数 sin(2πf(n)k/F)と余弦関数 cos(2
πf(n)k/F)との合成関数が調和信号として選出
されたら、続いて、図11に示す式に基づいて、係数A
(n)とB(n)とを求める。ここで、これらの係数
は、実は、この調和信号と区間信号xとの相関値となっ
ている。すなわち、係数A(n)は、正弦関数 sin(2
πf(n)k/F)と区間信号x(k)との相関を示す
値となっており、係数B(n)は、余弦関数 cos(2π
f(n)k/F)と区間信号x(k)との相関を示す値
となっている。
【0049】たとえば、係数A(n)を求める式の右辺
に着目すると、第k番目のサンプル位置において、区間
信号x(k)の値と、正弦関数 sin(2πf(n)k/
F)の値との積が求められているが、もし両関数が全く
同一の関数であったとすれば(別言すれば、最大の相関
を有していたとすれば)、サンプル位置kの値によら
ず、両関数値は必ず同符号となるため、両者の積は必ず
正になる。よって、k=0〜(w−1)についての総
和、すなわち係数A(n)の値は、正の大きな値にな
る。これに対して、もし両関数の間に全く相関がなかっ
たとすれば、サンプル位置kの値により、両関数値は同
符号となったり、異符号となったりし、両者の積は全く
ランダムに正になったり負になったりする。よって、k
=0〜(w−1)についての総和、すなわち係数A
(n)の値は、0に近くなる。
【0050】なお、前述したように、周波数f(n)を
もった正弦関数 sin(2πf(n)k/F)と余弦関数
cos(2πf(n)k/F)との合成関数が、調和信号
として選出されたのは、図10に示すフーリエスペクト
ルにおいて、周波数f(n)がピークを示したためであ
る。したがって、区間信号xには、周波数f(n)をも
った要素信号の成分が最も多く含まれていると予想され
るので、相関を示す値である係数A(n)とB(n)と
は、比較的大きな値になるはずである。
【0051】さて、ここで、図12に示すような信号G
(k)を定義する。この信号G(k)は、調和信号(上
述の各三角関数)と、この調和信号について得られた相
関値(上述の係数A(n),B(n))との積で与えら
れる信号であり、いわば選出された調和信号に、相関値
に対応した振幅値を与えたものである。別言すれば、こ
の信号G(k)は、区間信号x(k)内に含まれている
主たる構成信号のひとつと言うことができる。前述した
ように、一般化調和解析の目的は、区間信号xに近似す
る近似関数ξ(k)を求めることであるが、信号G
(k)は、この近似関数ξ(k)の構成要素の1つとい
うことになる。したがって、本願明細書では、この信号
G(k)のことを、区間信号x(k)内に含まれている
信号のひとつという意味で、「含有信号」と呼ぶことに
する。もちろん、区間信号x(k)内には、他にも多数
の信号が含まれており、上述の手法で求まった第1の含
有信号G(k)以外にも、含有信号となるべき信号をみ
つける必要がある。
【0052】そのために、図13に示すような差分演算
を行う。すなわち、区間信号xから含有信号Gを減じる
ことにより、差分信号を求めるのである。具体的には、
x(k)−G(k)なる演算を、すべてのkの値(k=
0〜(w−1))について行えばよい。こうして得られ
た差分信号は、第1の含有信号G(k)以外の信号成分
からなる信号ということができる。したがって、この差
分信号を新たな区間信号(前述の区間信号x(k)を第
1の区間信号と呼べば、x(k)−G(k)で求まる差
分信号は、第2の区間信号ということになる)として、
上述の手法と同等の手法を繰り返し実行すれば、今度
は、第2の含有信号を求めることができる。この第2の
含有信号は、第1の含有信号とともに、第1の区間信号
x(k)に構成要素として含まれていた信号ということ
になる。更に、第2の区間信号から第2の含有信号を減
じることにより第2の差分信号を求め、この第2の差分
信号を新たな区間信号、すなわち、第3の区間信号とし
て、更に同じ手法を繰り返せば、第3の含有信号を求め
ることができる。
【0053】このような処理を繰り返してゆけば、複数
P個の含有信号を求めることができ、各含有信号に基づ
いて、複数P個の符号コードを生成することができる。
たとえば、上述の処理を3回繰り返すことにより、 G1(k)=A(n1)sin (2πf(n1)k/F)
+B(n1)cos (2πf(n1)k/F) G2(k)=A(n2)sin (2πf(n2)k/F)
+B(n2)cos (2πf(n2)k/F) G3(k)=A(n3)sin (2πf(n3)k/F)
+B(n3)cos (2πf(n3)k/F) なる3つの含有信号が得られたとすると(ここで、n
1,n2,n3は、0〜127のうちのいずれかのノー
トナンバー)、ノートナンバーが「n1」、ベロシティ
ーが「A(n1)+B(n1)」の平方根(実行振
幅値)となるようなMIDI符号と、ノートナンバーが
「n2」、ベロシティーが「A(n2)+B(n2)
」の平方根(実行振幅値)となるようなMIDI符号
と、ノートナンバーが「n3」、ベロシティーが「A
(n3)+B(n3)」の平方根(実行振幅値)と
なるようなMIDI符号と、によって、区間信号xが符
号化されることになる。
【0054】上述の処理を、図14〜図16に示す一般
式を用いて説明すると次のようになる。すなわち、第i
番目の区間信号xi(k)が与えられたら、この区間信
号xi(k)についてのフーリエスペクトルを求め、そ
のピーク周波数f(ni)を決定する。そして、このピ
ーク周波数f(ni)に相当する要素信号を第i番目の
調和信号として選出し、この調和信号についての係数A
(ni),B(ni)を、図14の式に基づいて計算す
る。続いて、図15の式のように、第i番目の含有信号
Gi(k)を定義し、図16の式のように、第i番目の
区間信号xi(k)から第i番目の含有信号Gi(k)
を減ずることにより差分信号を求め、この差分信号を、
第(i+1)番目の区間信号xi+1(k)とする。こ
のような処理を、初期値i=1から、iを1ずつ増やし
ながら、必要な回数だけ繰り返し実行すればよい。
【0055】以上が、一般化調和解析として知られてい
る周波数解析法である。相関値が最も高い要素信号を調
和信号として選出する際にフーリエ変換を利用している
が、基本的には、複数の要素信号の総和として原信号を
表現する手法を採っており、フーリエ解析とは異なるア
プローチを採っている。なお、図11あるいは図14の
式において、右辺の先頭に2/wなる項が存在するが、
この項における分母「w」は、全サンプル数wで除すこ
とを示しており、分子の「2」は、この一般化調和解析
を行うのに最も適した係数値として経験的に知られてい
る数値である(理論的にも説明のつく数値であるが、こ
こでは詳しい説明は省略する)。
【0056】最後に、一般化調和解析を利用した本発明
に係る符号化方法の基本手順を図17の流れ図に基づい
て説明する。まず、ステップS1において、符号化対象
となる音響信号を入力する。具体的には、既に述べたよ
うに、所定のサンプリング周波数Fでサンプリングし、
PCMの手法でデジタルデータとして取り込むことにな
る。続いて、ステップS2において、時間軸上に複数の
単位区間を設定し、個々の単位区間ごとにそれぞれ区間
信号xを抽出する。単位区間の設定は、§2で述べたよ
うに、隣接する単位区間が時間軸上で部分的に重複する
ようにするのが好ましい。続いて、ステップS3におい
て、パラメータiを1に設定する。このパラメータi
は、上述した繰り返し処理の回数をカウントするための
ものである。
【0057】次に、ステップS4において、第i番目の
区間信号xiをフーリエ変換する。i=1の場合、ステ
ップS2で抽出された区間信号xが、ステップS4にお
ける区間信号xiとなる。そして、ステップS5におい
て、得られたフーリエスペクトルのピークに対応する周
波数f(ni)を128通りの候補の中から決定する。
ここで、128通りの候補は、図8の下段の表に示され
た周波数f(0)〜f(127)であり、MIDIにお
ける128通りのノートナンバーに対応した周波数であ
る。このステップS5における周波数f(ni)の決定
処理は、128通りの要素信号の中から、区間信号xi
に対する相関値(この場合は、フーリエスペクトルの強
度)が最も高い要素信号を決定する処理に相当し、周波
数f(ni)をもった要素信号を、ここでは調和信号と
呼んでいる。
【0058】続いて、ステップS6において、この調和
信号についての係数A(ni),B(ni)を算出し
(図14の式)、第i番目の含有信号Giを求める(図
15の式)。ここで算出したA(ni),B(ni)
が、区間信号xiに対する調和信号の相関値に相当する
ものであることは既に述べたとおりである。なお、この
相関値は、ステップS4においてフーリエスペクトルを
求める際にも計算されているので、これをそのまま利用
してもかまわない。
【0059】次に、ステップS7において、第i番目の
区間信号xiから、第i番目の含有信号Giを減じるこ
とにより差分信号を求め、この差分信号を第(i+1)
番目の区間信号x(i+1)とする。そして、ステップ
S8において、パラメータiが所定回数値Iまで到達し
たか否かが判定され、Iに達していない場合には、ステ
ップS9へと進み、iが1だけ更新され、ステップS4
へと戻ることになる。このステップS4では、今度は、
第(i+1)番目の区間信号x(i+1)についてのフ
ーリエ変換が行われることになる。所定回数値Iは、1
つの単位区間をいくつの符号データで表現するかを示す
パラメータになる。たとえば、図3に示す例では、1つ
の単位区間を3つのMIDI符号データによって表現
し、これらをトラックT1〜T3に配置している。この
場合、I=3に設定し、3つの含有信号G1,G2,G
3を求め、それぞれからMIDI符号データを求めれば
よい。実際には、I=8程度に設定し、8トラック分の
MIDI符号データを生成するのが好ましい。
【0060】この図17に示す例では、ステップS4〜
S8までの処理が必ずI回分繰り返されることになる
が、i<Iであっても、図9に示すError 値が所定の設
定値よりも小さくなるような近似関数ξ(k)が得られ
た場合には、そこで繰り返し作業を打ち切るようにして
もかまわない。たとえば、上述の処理を3回繰り返す
と、3つの含有信号G1,G2,G3が求まる。ここ
で、近似関数ξ(k)=G1+G2+G3として、図9
に示すError 値を計算した結果、所定の設定値よりも小
さかった場合、3つの含有信号G1,G2,G3の総和
により、区間信号x(k)にかなり近い信号が既に実現
できていることになる。したがって、ステップS8の直
前に、ξ(k)=ΣGiを求め、図9に示すError 値を
計算し、所定の設定値と比較するステップを追加し、所
定の設定値以下であった場合には、ステップS10へと
進むようにしておいてもよい。
【0061】なお、ステップS5において、128通り
の候補の中から、1つの周波数f(ni)を選出したと
きに、既に選出済みの周波数が再び選出される可能性も
ある(一般的には、ステップS7において、一度選出さ
れた周波数を含む信号が引き算されるので、残った差分
信号には、当該周波数成分はあまり多く含まれておら
ず、既に選出済みの周波数が再選出される可能性は低い
と考えられるが)。このような場合、同一周波数の再選
出を許す取り扱いと、許さない取り扱いとの2通りの取
り扱いができる。前者の取り扱いを行うのであれば、ス
テップS5において、重複選出か否かをチェックするこ
となく、そのままフーリエスペクトルのピークに対応す
る周波数を選出すればよい。この場合、最終的に得られ
た含有信号の中に、周波数が同一のものが含まれること
になり、異なるトラックに、同一音階のMIDI符号デ
ータが配置されることになる。一方、後者の取り扱いを
行うのであれば、ステップS5において、重複選出か否
かをチェックし、もし重複選出となる場合には、次の候
補(フーリエスペクトルの次のピークに対応する周波
数)を選出すればよい。
【0062】こうして、必要な回数の繰り返し処理が完
了したら、当該単位区間についての符号化は完了するの
で、ステップS10からステップS11へと進み、単位
区間の更新が行われる。たとえば、図4に示すような区
間設定を行っているのであれば、単位区間をオフセット
長ΔL(20サンプル分)だけずらした単位区間がステ
ップS2において新たに設定され、この新たな単位区間
について採取された1024サンプル分のデータが、新
たな区間信号xとして抽出されることになる。このよう
な処理が、全区間について完了すれば、ステップS10
を経て、この符号化の手順は終了する。
【0063】§5.一般化調和解析の演算負担を軽減す
る工夫 さて、本発明の骨子は、§4で述べたように、一般化調
和解析を行うことにより、区間信号を複数の含有信号に
分解し、個々の含有信号をそれぞれ符号データに変換す
ることにある。ただ、一般化調和解析の手法は、図17
の流れ図にも示されているように、多数の信号相互間で
相関を求める演算が必要になるため、フーリエ解析の手
法に比べると演算負担は膨大なものとなる。このため、
現状では、一般的な利用にまでは至っていない。そこ
で、本願発明者は、この一般化調和解析の演算負担を軽
減させるための工夫をいくつか案出した。これらの工夫
を行うことにより、実際の音響信号の符号化を、パソコ
ンを用いて実用レベルで行うことが可能になる。以下、
これらの工夫を順に述べる。これらの工夫は、それぞれ
単独で実施することも可能であるが、実用上は、すべて
を組み合わせるのが好ましい。
【0064】(1).簡易相関演算の導入 §4で述べた手法において、2つの信号(関数)の相関
を演算するステップは、2か所に存在する。第1のステ
ップは、128通りの要素信号の中から、1つの調和信
号(区間信号に対する相関値が最も高い信号)を選出す
るステップであり、図17の流れ図では、ステップS4
において区間信号xiをフーリエ変換し、ステップS5
において128候補の中からスペクトルピークに対応す
る周波数を決定する処理に相当する。一方、第2のステ
ップは、選出された調和信号についての係数A(n),
B(n)を求めるためのステップであり、図17の流れ
図では、ステップS6における演算処理に相当する。実
は、図17のステップS4とステップS6とは、本質的
には同じことを行っている。
【0065】そもそも、ステップS4において行われる
フーリエ変換は、図18に示すように、特定の三角関数
との相関値を求める演算である。たとえば、図18(a)
に示すように、単位区間d内に所定の区間信号xが与え
られていたとしよう。ここで、単位区間dは、区間長L
をもった区間であり、区間信号xはサンプリング周波数
Fでサンプリングされたデータである。サンプル番号k
(k=0,1,2,…,w−1)で示される区間信号x
のサンプル値は、x(k)となる。この区間信号xに対
して、たとえば、図18(b) に示すような、同一の単位
区間に定義された周波数f(n)の正弦波 sin(2πf
(n)k/F)を用意する。ここで、区間信号xとこの
正弦波信号との相関値S1(n)は、図18(c) の式に
よって計算できる。この式の右辺に着目すると、第k番
目のサンプル位置において、区間信号x(k)の値と、
正弦関数 sin(2πf(n)k/F)の値との積が求め
られている。もし両関数が全く同一の関数であったとす
れば(別言すれば、最大の相関を有していたとすれ
ば)、サンプル位置kの値によらず、両関数値は必ず同
符号となるため、両者の積は必ず正になる。よって、k
=0〜(w−1)についての総和、すなわち相関値S1
(n)の値は、正の大きな値になる。これに対して、も
し両関数の間に全く相関がなかったとすれば、サンプル
位置kの値により、両関数値は同符号となったり、異符
号となったりし、両者の積は全くランダムに正になった
り負になったりする。よって、k=0〜(w−1)につ
いての総和、すなわち相関値S1(n)の値は、0に近
くなる。
【0066】一方、正弦波 sin(2πf(n)k/F)
の代わりに、余弦波 cos(2πf(n)k/F)を用い
た相関値S2(n)も、図18(c) の式によって計算で
きる。周波数f(n)の成分をもった周期信号との相関
を求める上では、位相差の影響を避けるために、正弦波
に対する相関と余弦波に対する相関との双方を考慮する
必要がある(どのような位相であっても、正弦波と余弦
波との双方を考慮すれば、いずれかで相関が検出でき
る)。そこで、実際には、図18(c) の最下段の式に示
されているように、正弦波に対する相関値S1(n)と
余弦波に対する相関値S2(n)との二乗和の平方根E
(n)を、周波数f(n)の成分をもった周期信号との
相関値として求め、フーリエスペクトルを得るようにす
る。図1(c) における実行強度Eは、この二乗和の平方
根E(n)の値に相当する。
【0067】ところで、図18(c) に示した相関値S1
(n),S2(n)に関する式は、図11に示した係数
A(n),B(n)に関する式とほぼ同じである。これ
はいずれも、周波数f(n)の成分をもった周期信号と
区間信号xとの相関値を求める式であるためである(図
11の式において、2/wなる項は、前述したように、
調和解析を行う上で経験的に得られた係数である)。結
局、図17のステップS4とステップS6とでは、ほぼ
同じ演算処理が実行されることになる。ただし、ステッ
プS4の目的は、128通りの要素関数の中で、区間信
号xに対する相関値が最も高いものを調和信号として選
出することにあるのに対し、ステップS6の目的は、選
出された調和信号についての相関値を求め、調和信号に
相関値を乗じることにより含有信号Giを得ることにあ
る。
【0068】この目的の相違に着目すると、次の2つの
特徴が明らかになる。第1の特徴は、ステップS4で
は、128通りのすべての要素関数に対する相関を計算
する必要があるのに対し、ステップS6では、調和関数
について(つまり、128通りの中から選出された1通
りの要素関数について)の相関さえ計算できればよい、
ということである。そして第2の特徴は、ステップS4
では、128通りの要素関数についての相関の大小関係
が判別できればよいので、相関の演算精度はあまり要求
されないのに対し、ステップS6では、含有信号Giの
振幅値に相当する係数A(n),B(n)を決定する必
要があるため、ある程度の演算精度をもった相関値が要
求される、ということである。
【0069】このような2つの特徴を考慮すると、ステ
ップS4では、128通りのすべての要素関数について
の相関を求めねばならないが、粗い相関値が求まれば十
分であり、ステップS6では、1通りの要素関数(調和
関数)についてのみ、高い精度での相関値を求めればよ
い、ということがわかる。
【0070】ステップS4において行う粗い相関演算と
しては、たとえば、図19に示すような簡易相関演算の
手法を用いることができる。まず、図19(a) に示すよ
うな区間信号xについて、振幅のピーク位置を検出す
る。なお、ここでは、正のピークと負のピークとが交互
に現れるという前提で各ピーク位置を決定しており、同
極性のピークが連続して現れるような場合には、よりピ
ーク値の大きい一方だけをピークとして認識するように
している。図示の例では、5つのピーク位置P1〜P5
(それぞれ時間t(P1)〜t(P5)に現れる)が検
出されている。こうして、区間信号xのピーク位置が検
出されたら、このピーク位置に関する情報のみを用いて
相関値を演算するのである。
【0071】たとえば、図19(b) に示すような周波数
f(n)の正弦波との相関値を演算するのであれば、時
間t(P1)〜t(P5)の5ヶ所の位置のみにおける
振幅値の積を演算し、その総和をとることになる。別言
すれば、通常の相関演算(フーリエ解析)では、図18
(c) に示す式に基づいて、相関値S1(n),S2
(n)を求め、最終的な相関値(実効値)E(n)を得
ていたのに対し、簡易相関演算では、図19(c) に示す
式に基づいて、簡易相関値SS1(n),SS2(n)
を求め、最終的な簡易相関値(実効値)EE(n)を得
ることになる。ここで、パラメータjは、ピーク位置番
号を示し、x(Pj)は、j番目のピーク位置における
区間信号xの値を、t(Pj)は、j番目のピーク位置
の時間値を、Jは、ピーク位置の総数を、それぞれ示し
ている。
【0072】こうして、128通りの簡易相関値EE
(n)が求まったら、その中で最も大きな値を示す簡易
相関値に対応した周波数f(n)をもつ要素信号を調和
信号として選出すればよい。そして、ステップS6で
は、この調和信号についてのみ、図11に示す式に基づ
いて、通常の相関演算(調和信号のピーク位置だけでは
なく、全情報(全サンプル位置)を用いた相関値の演
算)を行い、この再演算の結果得られた相関値(係数A
(n),B(n))を用いて含有信号Gを求めるように
すればよい。
【0073】このような簡易相関演算を導入する手法を
採った場合の処理手順を図20の流れ図に示す。ここ
で、図17の流れ図と同一のステップについては同一番
号を付してある。図17の流れ図と異なるステップは、
ステップS41およびステップS51である。図17の
ステップS4では、フーリエ変換(128通りの要素信
号すべてに対しての通常の相関演算)が行われていたの
に対し、図20のステップS41では、128通りの要
素信号に対して上述の簡易相関演算を行っている。ま
た、図17のステップS5では、フーリエスペクトルの
ピーク位置に対応する要素信号を調和信号として選出し
ていたのに対し、図20のステップS51では、128
通りの簡易相関演算の結果、最も強い相関を示す要素信
号を調和信号として選出することになる。
【0074】具体的な数値を掲げておけば、たとえば、
1単位区間内のサンプル数wが1024であるのに対
し、振幅のピーク位置の数Jが100程度であったとす
れば、簡易相関演算を採用することにより、演算負担は
1/10程度にまで軽減されることになる。
【0075】(2).要素信号候補の絞り込み(その1) 上述した図20の流れ図に示す処理では、ステップS6
において第i番目の含有信号Giが求まり、ステップS
7において、第(i+1)番目の区間信号x(i+1)
が求まり、ステップS9においてiの値が更新された
後、再びステップS41において、新たな区間信号と1
28通りの要素信号との間で相関演算(簡易相関演算)
が行われる。もちろん、パラメータiの更新により、区
間信号xiも更新されるので(ステップS7の演算にお
ける差分信号が新たな区間信号となる)、ステップS4
1において、この新たな区間信号xiにについての相関
演算を行うことは意味のあることではあるが、演算効率
をより高めるために、このステップS41において毎回
行われる相関演算を一部省略することができる。
【0076】図21に示す流れ図は、このような省略を
行った処理を示している。図20の流れ図と相違するス
テップは、ステップS42,ステップS52,ステップ
S92である。図20のステップS41では、128通
りの要素信号と区間信号xiとの間で簡易相関演算が行
われたが、図21のステップS42では、更に、この簡
易相関演算の結果として得られた相関の強い順に、上位
16候補を抽出する処理が加わる(抽出する候補の数
は、ステップS8のIの値の倍数に設定するのが好まし
い。本実施例では、I=8としているため、その2倍の
16候補を抽出するようにしている。)。そして、ステ
ップS52では、この抽出した16候補の中で、相関が
最も強い要素信号を調和信号として選出する処理が行わ
れる。もっとも、この時点では、ステップS52の処理
内容は、ステップS51の処理内容と全く変わりはない
(128候補中の第1位と、16候補中の第1位とは当
然同じである)。調和信号として選出される要素信号
は、常に、相関が最も強い要素信号ということになるの
で、ステップS42において、上位16候補を抽出した
としても、続くステップS52では、第1位のみが調和
信号として選出されることになり、第2位〜第16位ま
での候補は、この時点では何ら意味をもたない。
【0077】しかしながら、図21に示す手順の場合、
ステップS9によりパラメータiの値が更新された後
は、ステップS42の処理を実行する代わりに、ステッ
プS92の処理を実行することになる。このステップS
92の処理は、既に抽出された16候補の要素信号と、
区間信号xiとの間での簡易相関演算を行う処理であ
る。ステップS42の処理では、128通りすべての要
素信号に対する相関を計算していたのに対し、ステップ
S92の処理では、16通りの要素信号に対する相関を
計算するだけですむ。この手法は、パラメータiの値が
更新されたとしても、区間信号xiに含まれている周波
数成分に大きな変わりはないであろうとの考え方に基づ
くものである。結局、パラメータi=1として、区間信
号x1(原音響信号)について上位16候補を抽出した
ら、この上位16候補以外の要素信号は、パラメータi
=2以降の区間信号xi(i個の含有信号を次々に減じ
ていった残りの信号)については一切考慮しないことに
なるが、大きな支障は生じない。
【0078】この手法を採れば、128通りのすべての
要素信号についての相関演算を行うのは、パラメータi
=1、すなわち、第1回目の調和信号G1を選出する際
だけに限られ、第2回目の調和信号G2,G3,…を選
出する際には、抽出された16候補の要素信号について
の相関演算を行えばよいので、演算負担は、1/8程度
にまで軽減されることになる。
【0079】なお、この要素信号候補の絞り込み手法
は、簡易相関演算を行わない図17に示す処理にも適用
可能である。要するに、この手法では、各単位区間の区
間信号について第1回目の調和信号を選出する際に、複
数X通り(上例の場合X=128)の要素信号の中か
ら、この区間信号に対する相関値の高い順に第1位〜第
Y位(上例の場合Y=16)までの複数Y個(Y<X)
の候補を選出しておき、第1位の候補を第1回目の調和
信号として選出し、第2回目以降の調和信号を選出する
際には、複数Y個の候補の中から区間信号に対する相関
値が最も高い要素信号を調和信号として選出すればよ
い。
【0080】(3).要素信号候補の絞り込み(その2) 前述の候補絞り込み手法では、パラメータiが2に更新
された後に、候補を絞り込んだ演算を行っていた。これ
に対し、ここで述べる候補絞り込み手法では、単位区間
が更新された後に、候補を絞り込んだ演算を行うことに
なる。このような絞り込み手法は、§2で述べたよう
に、隣接する単位区間が時間軸上で部分的に重複するよ
うな設定を行った場合に有効である。たとえば、図4に
示す例で、単位区間d1内の1024個のサンプルデー
タと、単位区間d2内の1024個のサンプルデータと
を比較すると、わずか20サンプル分だけが相違してお
り、残りの1004個分のデータは全く共通である。と
ころが、図17,図20,図21に示す手順では、いず
れもステップS11で単位区間が更新された後は、再び
前回と同じ処理を繰り返している。ここで述べる絞り込
み手法は、この点に着目して演算効率を向上させる手法
である。
【0081】図22は、この手法の処理を示す流れ図で
ある。図21の流れ図と相違するステップは、ステップ
S43〜S45である。まず、ステップS2において特
定の単位区間が設定されたら、ステップS3においてパ
ラメータiを初期値1に設定し、ステップS43におい
て、詳細演算を行うか否かを判断する。ステップS2で
抽出された区間信号が、最初の区間信号の場合は、詳細
演算を行うことになり、ステップS43からステップS
44へと進む。このステップS44では、図21のステ
ップS42の処理とほぼ同じ処理が行われる。すなわ
ち、128通りの要素信号と区間信号xiとの間で簡易
相関演算が行われ、この簡易相関演算の結果として得ら
れた相関の強い順に、複数の候補が抽出される。ただ
し、この図22に示す例では、上位32候補を抽出する
ようにしている(ここでも、抽出する候補の数は、ステ
ップS8のIの値の倍数に設定するのが好ましい。本実
施例では、I=8としており、その4倍の32候補を抽
出するようにしている。)。
【0082】続くステップS52は、図21に示すステ
ップS52と全く同じであり、抽出した16候補の中か
ら、相関が最も強い要素信号を調和信号として選出する
処理が行われる。ステップS44では、上位32候補が
抽出されているが、ステップS52では、そのうちの上
位16候補のみが利用されている。以下の手順は、図2
1の手順と全く同様である。すなわち、ステップS9で
パラメータiが更新された後は、ステップS44を実行
する代わりに、ステップS92が実行され、常に16候
補についての相関演算のみが行われることになる。した
がって、この時点では、ステップS44において抽出さ
れた上位32候補のうち、第17位〜第32位までの候
補は何ら利用されることはない。
【0083】こうして、パラメータiが設定値Iに到達
すると、当該単位区間についての処理は完了し、ステッ
プS10からステップS11を経て、再びステップS2
へと戻ることになる。ここで、新たな単位区間が設定さ
れ、新たな区間信号が抽出されるが、前述したように、
新区間信号と旧区間信号とは、時間軸上で大部分が重複
している。このように、過去にステップS44で、旧区
間信号に対して、128通りの要素信号についての相関
演算が行われており、新区間信号と旧区間信号とが時間
軸上で所定の時間以上にわたって重複している場合に
は、ステップS43において、詳細演算は行わないこと
とし、ステップS45へと進むようにする。このステッ
プS45では、128通りの要素信号についての相関を
演算する代わりに、過去にステップS44で抽出された
32候補の要素信号についての相関演算が行われ、その
結果、上位16候補が抽出される。以下、ステップS5
2以降では、この16候補の中から調和信号の選出が行
われることになる。
【0084】このような手法を採れば、単位区間が更新
されるごとに、128通りすべての要素信号についての
相関演算を繰り返し行う必要がなくなり、演算負担はほ
ぼ1/4程度に軽減されることになる。なお、この手法
は、図21に示す処理だけでなく、図17,図20に示
す処理にも適用可能である。要するに、この手法では、
第1の単位区間の区間信号についての調和信号を選出す
る際に、複数X通り(上例の場合X=128)の要素信
号の中から、区間信号に対する相関値の高い順に第1位
〜第Z位(上例の場合、Z=32)までの複数Z個(Z
<X)の候補を選出しておき、この複数Z個の候補の中
から調和信号を選出するようにし、この第1の単位区間
に対して時間軸上で所定の時間以上にわたって重複する
ような第2の単位区間の区間信号についての調和信号を
選出する際には、複数Z個の候補の中から調和信号を選
出するようにすればよい。
【0085】ステップS43において、詳細演算を行う
か否かの判断基準は、単位区間のずれ量を考慮して適当
な値を設定すればよく、たとえば、単位区間の区間長L
の半分の長さ(L/2)以上ずれるごとに、詳細演算を
行うように設定しておけばよい。図4に示す例の場合で
あれば、1単位区間内のサンプル数が1024であるか
ら、その半分の512サンプル以上ずれた場合に、詳細
演算を行うようにすればよい。具体的には、この場合、
1回の単位区間更新によって20サンプル分ずれるの
で、ステップS11における単位区間更新を約25回行
うたびに、詳細演算が行われることになる。
【0086】§6.周波数ゆらぎに対する対処方法 ビブラートを伴う楽器音や、人間の声音(ボーカル音)
などには、微小な周波数ゆらぎが含まれている。ところ
が、これまで述べてきた手法では、要素信号をいずれも
調和関数(正弦関数や余弦関数など、単一周波数をもっ
た関数)によって構成していたため、微小な周波数ゆら
ぎを含んだ音響信号については、必ずしも正しい相関が
得られない可能性がある。たとえば、1単位区間内にお
いて、ノートナンバーnに対応する周波数f(n)か
ら、ノートナンバー(n+1)に対応する周波数f(n
+1)に至までの周波数変動があった場合、この単位区
間内の区間信号に対して、周波数f(n)をもった要素
信号および周波数f(n+1)をもった要素信号につい
ての相関を調べると、いずれについても50%程度の相
関しか得られなくなってしまう。ここでは、このような
周波数ゆらぎに対する対処方法について述べる。
【0087】(1).非調和関数を用いる対処方法 まず、要素信号として、調和関数だけでなく、非調和関
数を用いる方法を述べる。図23(a) には、代表的な調
和関数である正弦波の波形が示されている。この正弦波
は、単一の周波数f(n)をもった調和関数であり、サ
ンプリング周波数をF、サンプル番号をkとすれば、 s
in(2πf(n)k/F)なる式で表される。これに対
して、図23(b) に示すような非調和関数を考えてみ
る。この非調和関数の周波数は、区間長Lにわたって徐
々に変化している。すなわち、区間の左側では周波数が
低く、区間の右側では周波数が高くなっており、周波数
はサンプル番号kに依存して変わることになる。この非
調和関数は、 sin(2πfj(n,k)k/F)なる式
で表される。ここで、fj(n,k)は、図23(c)に
示す式で表される関数であり、j=−1,0,+1であ
る。
【0088】図24は、関数fj(n,k)の意味を説
明するための図であり、j=−1,0,+1の3種類の
場合に分けて、この意味が説明されている。たとえば、
j=−1の場合、関数fj(n,k)=(f(n−1)
−f(n))k/w+f(n)となる。ここで、k=0
を代入すると、fj(n,0)=f(n)、k=wを代
入すると、fj(n,w)=f(n−1)となるので、
図24上段に示すように、区間長Lの左端では周波数f
(n)、右端では周波数f(n−1)をもち、左から右
へゆくにしたがって、周波数が徐々に減少する非調和関
数になることがわかる。また、j=0の場合は、関数f
j(n,k)=f(n)となり、図24中段に示すよう
に、周波数が常に一定の調和関数(図23(a) の正弦関
数)になることがわかる。更に、j=+1の場合、関数
fj(n,k)=(f(n+1)−f(n))k/w+
f(n)となる。ここで、k=0を代入すると、fj
(n,0)=f(n)、k=wを代入すると、fj
(n,w)=f(n+1)となるので、図24下段に示
すように、区間長Lの左端では周波数f(n)、右端で
は周波数f(n+1)をもち、左から右へゆくにしたが
って、周波数が徐々に増加する非調和関数(図23(b)
に示すような関数)になることがわかる。
【0089】§4で述べた方法では、図8の下段の表に
示すように、ノートナンバー0〜127に対応して、周
波数f(0)〜f(127)をもった128通りの調和
関数(正弦関数と余弦関数との合成関数)が要素信号と
して用意された。ここでは、この128通りの要素信号
のそれぞれについて、図23(c) に示す式におけるjの
値を−1と+1にした非調和関数を用意する。たとえ
ば、周波数f(n)については、図23(a) に示すよう
な正弦関数 sin(2πf(n)k/F)と、余弦関数 c
os(2πf(n)k/F)との合成によって得られる第
1の合成関数(j=0に相当する調和関数)と、j=−
1に設定することにより定義される第2の合成関数(区
間開始周波数f(n)から区間終了周波数f(n−1)
に至るまで連続的に周波数が変化するような正弦関数と
余弦関数との合成により得られる非調和関数)と、j=
+1に設定することにより定義される第3の合成関数
(区間開始周波数f(n)から区間終了周波数f(n+
1)に至るまで連続的に周波数が変化するような正弦関
数と余弦関数との合成により得られる非調和関数)と、
の3通りの要素信号を用意する。結局、合計128×3
通りの要素信号が用意されることになる。
【0090】そして、調和信号を選出するための相関演
算(図17のステップS4,図20のステップS41,
図21のステップS42,S92,図22のステップS
44,S45,S92)においては、合計128×3通
り(候補の絞り込みを行う場合には、16×3通りまた
は32×3通り)の相関演算を行うようにする。そし
て、もし、j=−1あるいはj=+1に相当する非調和
関数をもった要素信号との相関値が最大となった場合に
は、これに対応するj=0に相当する調和関数をもった
要素信号を調和信号として選出するようにする。このよ
うな方法を採れば、演算負担は3倍に増えることになる
が、微小な周波数ゆらぎを含む音響信号に対しても、よ
り正確な相関演算を行うことが可能になり、より正確な
符号化が可能になる。
【0091】(2).中間の周波数を用いる対処方法 図8の下段の表に示した128通りの周波数f(0)〜
f(127)は、MIDI符号のノートナンバーに対応
した周波数であり、比例定数α(αは2の12乗根)の
等比級数をなしている。そこで、第n番目の周波数f
(n)について、周波数f(n)をもった正弦関数と余
弦関数との合成により得られる第1の合成関数(図8の
下段の表に掲載された関数)と、周波数f(n)*βを
もった正弦関数と余弦関数との合成により得られる第2
の合成関数と、周波数f(n)/βをもった正弦関数と
余弦関数との合成により得られる第3の合成関数と、を
定義することにより、合計128×3通りの合成関数を
用意し、これらを要素信号として用いることにする。た
だし、1<β<平方根αとなるように設定する。そし
て、調和信号を選出するための相関演算(図17のステ
ップS4,図20のステップS41,図21のステップ
S42,S92,図22のステップS44,S45,S
92)においては、合計128×3通り(候補の絞り込
みを行う場合には、16×3通りまたは32×3通り)
の相関演算を行うようにする。そして、もし、第2の合
成関数または第3の合成関数についての相関値が最も高
いと判断された場合には、当該合成関数に対応する第1
の合成関数を調和信号として選出する。このような方法
を採れば、演算負担は3倍に増えることになるが、やは
り微小な周波数ゆらぎを含む音響信号に対しても、より
正確な相関演算を行うことが可能になり、より正確な符
号化が可能になる。
【0092】図25は、上述の手法をより具体的に示す
図である。ここでは、β=3乗根αに設定してある。周
波数fを対数軸で示した場合、ノートナンバーは、図示
のように、周波数軸上で等間隔に位置することになるが
(ノートナンバーの間隔が等比級数の比例定数αにな
る)、β=3乗根αに設定すると、周波数f(n)*β
およびf(n)/βは、それぞれ、ノートナンバーの間
隔を3等分した位置にプロットされる。結局、ノートナ
ンバーnの近傍には、ノートナンバーn、ノートナンバ
ー(n+1/3)、ノートナンバー(n−1/3)に対
応する3通りの周波数をもった要素信号が用意されるの
で、この3通りのいずれかについての相関が高いと認定
された場合には、常に、ノートナンバーnに対応する要
素信号を調和信号として選出するようにすればよい(こ
れは、MIDI符号データには、ノートナンバー(n+
1/3)、ノートナンバー(n−1/3)といった符号
データは定義されていないため、ノートナンバーnに代
表させるためである)。
【0093】§7.オクターブ下降を利用した手法 一般に、高い周波数をもった要素信号との相関演算は、
演算精度が低下する。これは、図26に示す例のよう
に、区間信号xと周波数f(n)の正弦波との相関をと
る場合を考えると、周波数f(n)が高くなればなるほ
ど、1周期あたりに対応するサンプル数が少なくなるた
めである。この程度高い周波数になると、周波数f
(n)についての相関値と、周波数f(n+1)につい
ての相関値との間に、相違が出にくくなる。
【0094】このような問題に対処するためには、所定
の周波数fをもった要素信号に対する相関を求める演算
を行う代わりに、正弦関数および余弦関数についての倍
角公式を用いることにより、周波数f/2q(qは所定
の整数)をもった要素信号に対する相関を求める演算を
行うようにすればよい。別言すれば、qオクターブ低い
周波数の関数を用いた相関演算を行えばよい。図27
は、三角関数についての一般的な倍角公式であり、 sin
2θについての演算を行う代わりに、2 sinθ・cosθ
なる演算を利用することができ、また、 cos2θについ
ての演算を行う代わりに、 cosθ− sinθなる演算
を利用することができることを示している。そこで、た
とえば、図28に示すような式の置換が可能になる。こ
こで、左辺の sin(2πf(n)k/F)や、 cos(2
πf(n)k/F)は、これまで述べてきた種々の式で
用いられている関数であるが、これを右辺の式に置換す
ると、周波数f(n)を、周波数f(n−12)に置換
することができる。MIDIにおいてノートナンバーが
12だけ隔たりをもつことは、1オクターブの隔たりを
もつことに相当し(12半音が1オクターブ)、周波数
にして2倍の隔たりが生じることになる。
【0095】結局、図29に示すように、ノートナンバ
ー0〜11までに対応する12通りの周波数をもった三
角関数を基本三角関数と呼ぶことにすれば、ノートナン
バー12以降に対応するすべての周波数をもった三角関
数は、この基本三角関数を用いた演算に置き換えること
が可能になる。そこで、本発明において、このオクター
ブ下降を利用した手法を利用すれば、常に、低い周波数
をもった三角関数に対する相関演算を行うことができる
ようになり、より高い精度で相関を求めることが可能に
なる。
【0096】以上、本発明を図示する実施形態に基づい
て説明したが、本発明はこれらの実施形態に限定される
ものではなく、この他にも種々の態様で実施可能であ
る。特に、上述した種々の符号化処理は、実際にはコン
ピュータを用いて実行されるものであり、本発明による
符号化処理を実現するためのプログラムは、磁気ディス
クや光ディスクなどのコンピュータ読み取り可能な記録
媒体に記録して供給することができ、また、本発明によ
る符号化処理によって符号化された符号データは、同様
に、磁気ディスクや光ディスクなどのコンピュータ読み
取り可能な記録媒体に記録して供給することができる。
【0097】
【発明の効果】以上のとおり本発明に係る音響信号の符
号化方法によれば、MIDIデータのような符号データ
への変換を高い品質をもって行うことが可能になる。
【図面の簡単な説明】
【図1】先願発明に係る音響信号の符号化方法の基本原
理を示す図である。
【図2】図1(c) に示す強度グラフに基いて作成された
符号コードを示す図である。
【図3】時間軸上に部分的に重複するように単位区間設
定を行うことにより作成された符号コードを示す図であ
る。
【図4】時間軸上に部分的に重複するような単位区間設
定の具体例を示す図である。
【図5】周波数軸を線形尺度で表示したフーリエスペク
トルの一例を示すグラフである。
【図6】周波数軸を対数尺度で表示したフーリエスペク
トルの一例を示すグラフである。
【図7】周波数軸を対数尺度で表示したフーリエスペク
トルとノートナンバーとの対応関係を示すグラフであ
る。
【図8】符号化の対象となる区間信号xと、これを分解
するために用意された128通りの要素信号とを示す図
である。
【図9】調和解析の基本方針を説明するための式を示す
図である。
【図10】フーリエスペクトルのピークに基づいて、最
も相関の高い要素信号を調和信号として選出する概念を
示す図である。
【図11】選出された調和信号についての相関値を求め
るための式を示す図である。
【図12】選出された調和信号に基づいて、含有信号G
(k)を定義する式を示す図である。
【図13】区間信号xと含有信号Gとの差分信号を求め
る例を示すグラフである。
【図14】選出された調和信号についての相関値を求め
るための一般式を示す図である。
【図15】選出された調和信号に基づいて、含有信号G
i(k)を定義する一般式を示す図である。
【図16】区間信号xi(k)と含有信号Gi(k)と
の差分信号を、新たな区間信号x(i+1)(k)とす
る一般式を示す図である。
【図17】本発明に係る音響信号の符号化方法の基本手
順を示す流れ図である。
【図18】フーリエ変換における一般的な相関値の決定
原理を示す図である。
【図19】本発明で利用する簡易相関演算法の基本原理
を示す図である。
【図20】簡易相関演算法を利用した音響信号の符号化
方法の基本手順を示す流れ図である。
【図21】要素信号候補を絞り込む手法を利用した音響
信号の符号化方法の基本手順を示す流れ図である。
【図22】要素信号候補を絞り込む手法を利用した音響
信号の符号化方法の別な基本手順を示す流れ図である。
【図23】調和関数ととも用意する非調和関数の例を示
す図である。
【図24】調和関数と非調和関数との関係を説明するた
めの図である。
【図25】中間周波数をもった要素信号を用意する例を
説明するための図である。
【図26】比較的高い周波数をもった正弦波に対する相
関演算を示す図である。
【図27】三角関数の倍角公式を示す図である。
【図28】三角関数の倍角公式を利用した式の置換方法
を示す図である。
【図29】本発明に適用可能なオクターブ下降法を説明
する図である。
【符号の説明】
A…複素強度 A(n),B(n)…係数(相関値) d1〜d5…単位区間 E,E(n),EE(n)…実効強度 Error …誤差値 e(i,j)…符号コードn(i,j)の実効強度 F…サンプリング周波数 f,f(n)…周波数 G(k)…含有信号 i…繰り返し回数を示すパラメータ I…所定回数値 j…ピーク位置番号示すパラメータ/非調和関数を示す
パラメータ J…ピーク位置の総数 k…1単位区間内のサンプル番号 L…単位区間の区間長 ΔL…オフセット長 M…測定ポイントの数 n,n1,n2,n3…ノートナンバー n(i,j)…単位区間diについて抽出された第j番
目の符号コード P1〜P5…ピーク位置番号 S1(n),S2(n)…三角関数との相関値 SS1(n),SS2(n)…三角関数との簡易相関値 T1〜T3…トラック t1〜t6…時刻 w…1単位区間内のサンプル数 x,xi…区間信号 ξ(k)…近似関数
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5D015 CC03 CC05 FF05 5D045 DA11 5D378 KK03 KK05 MM14 MM34 QQ23 QQ24 5J064 AA01 BA05 BA16 BC02 BC25 BC27 BD03 9A001 EE04 EE05 FZ05 HH15 HH16 HH18 JZ76 KK43 KK62

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 時系列の強度信号として与えられる音響
    信号を符号化するための符号化方法であって、 符号化対象となる音響信号の時間軸上に複数の単位区間
    を設定し、個々の単位区間ごとにそれぞれ区間信号を抽
    出する区間信号抽出段階と、 前記区間信号の構成要素となるべき複数通りの要素信号
    を準備する要素信号準備段階と、 前記複数通りの要素信号の中から、前記区間信号に対す
    る相関値が最も高い要素信号を調和信号として選出する
    調和信号選出段階と、 前記調和信号とこの調和信号について得られた相関値と
    の積で与えられる含有信号を、前記区間信号から減じる
    ことにより差分信号を求める差分信号演算段階と、 前記差分信号を新たな区間信号として、前記調和信号選
    出段階および前記差分信号演算段階を実行して新たな含
    有信号および新たな差分信号を得る処理を、繰り返し行
    うことにより複数通りの含有信号を求め、求めた含有信
    号に基づいて、前記区間信号を表現するための複数の符
    号コードを生成する符号化段階と、 を有し、個々の単位区間ごとに生成された符号コードの
    集合によって、前記音響信号を表現することを特徴とす
    る音響信号の符号化方法。
  2. 【請求項2】 請求項1に記載の符号化方法において、 要素信号準備段階において、互いに周波数の異なる複数
    通りの要素信号を準備するようにし、 調和信号選出段階において、区間信号に対してフーリエ
    変換を行い、得られたフーリエスペクトルのピーク周波
    数に対応する要素信号を調和信号として選出することを
    特徴とする音響信号の符号化方法。
  3. 【請求項3】 請求項1に記載の符号化方法において、 調和信号選出段階においては、区間信号のピーク位置に
    関する情報のみを用いて相関値を演算する簡易相関演算
    を行い、この簡易相関演算の結果得られた相関値に基づ
    いて調和信号を選出するようにし、 差分信号演算段階においては、選出された調和信号の全
    情報を用いて相関値を再演算し、この再演算の結果得ら
    れた相関値を用いて含有信号を求める演算を行うように
    したことを特徴とする音響信号の符号化方法。
  4. 【請求項4】 請求項1に記載の符号化方法において、 各単位区間の区間信号について第1回目の調和信号を選
    出する際に、複数X通りの要素信号の中から、前記区間
    信号に対する相関値の高い順に第1位〜第Y位までの複
    数Y個(Y<X)の候補を選出しておき、第1位の候補
    を第1回目の調和信号として選出し、第2回目以降の調
    和信号を選出する際には、前記複数Y個の候補の中から
    区間信号に対する相関値が最も高い要素信号を調和信号
    として選出することを特徴とする音響信号の符号化方
    法。
  5. 【請求項5】 請求項1に記載の符号化方法において、 区間信号抽出段階で、隣接する単位区間が時間軸上で部
    分的に重複するような設定を行うことを特徴とする音響
    信号の符号化方法。
  6. 【請求項6】 請求項5に記載の符号化方法において、 第1の単位区間の区間信号についての調和信号を選出す
    る際に、複数X通りの要素信号の中から、前記区間信号
    に対する相関値の高い順に第1位〜第Z位までの複数Z
    個(Z<X)の候補を選出しておき、この複数Z個の候
    補の中から調和信号を選出するようにし、 前記第1の単位区間に対して時間軸上で所定の時間以上
    にわたって重複するような第2の単位区間の区間信号に
    ついての調和信号を選出する際には、前記複数Z個の候
    補の中から調和信号を選出するようにすることを特徴と
    する音響信号の符号化方法。
  7. 【請求項7】 請求項1〜6のいずれかに記載の符号化
    方法において、 要素信号準備段階で、互いに同一の周波数をもった正弦
    関数と余弦関数との合成関数を1要素信号とし、等比級
    数をなす複数X個の周波数についての各合成関数をそれ
    ぞれ各要素信号とすることを特徴とする音響信号の符号
    化方法。
  8. 【請求項8】 請求項1〜6のいずれかに記載の符号化
    方法において、 要素信号準備段階で、等比級数をなす複数X個の周波数
    を定義し、第n番目(n=1,2,…,X)の周波数f
    (n)について、 単位区間と同一区間内に定義され、この区間内における
    周波数f(n)をもった正弦関数と余弦関数との合成に
    より得られる第1の合成関数と、 単位区間と同一区間内に定義され、この区間内で区間開
    始周波数f(n)から区間終了周波数f(n−1)に至
    るまで連続的に周波数が変化するような正弦関数と余弦
    関数との合成により得られる第2の合成関数と、 単位区間と同一区間内に定義され、この区間内で区間開
    始周波数f(n)から区間終了周波数f(n+1)に至
    るまで連続的に周波数が変化するような正弦関数と余弦
    関数との合成により得られる第3の合成関数と、 を定義することにより合計3X個の合成関数を定義し、
    これらの合成関数をそれぞれ要素信号として用いて相関
    値を求める演算を行い、前記第2の合成関数または前記
    第3の合成関数についての相関値が最も高いと判断され
    た場合には、当該合成関数に対応する前記第1の合成関
    数を調和信号として選出することを特徴とする音響信号
    の符号化方法。
  9. 【請求項9】 請求項1〜6のいずれかに記載の符号化
    方法において、 要素信号準備段階で、比例定数αの等比級数をなす複数
    X個の周波数を定義し、第n番目(n=1,2,…,
    X)の周波数f(n)について、 単位区間と同一区間内に定義され、この区間内における
    周波数f(n)をもった正弦関数と余弦関数との合成に
    より得られる第1の合成関数と、 単位区間と同一区間内に定義され、この区間内における
    周波数f(n)*βをもった正弦関数と余弦関数との合
    成により得られる第2の合成関数と、 単位区間と同一区間内に定義され、この区間内における
    周波数f(n)/βをもった正弦関数と余弦関数との合
    成により得られる第3の合成関数と、 を定義することにより合計3X個の合成関数を定義し
    (ただし、1<β<平方根α)、これらの合成関数をそ
    れぞれ要素信号として用いて相関値を求める演算を行
    い、前記第2の合成関数または前記第3の合成関数につ
    いての相関値が最も高いと判断された場合には、当該合
    成関数に対応する前記第1の合成関数を調和信号として
    選出することを特徴とする音響信号の符号化方法。
  10. 【請求項10】 請求項7〜9のいずれかに記載の符号
    化方法において、 複数X個の周波数として、MIDIデータで利用される
    各ノートナンバーに対応した周波数を用いるようにし、 符号化段階で、個々の単位区間の音響信号を、各含有信
    号の周波数に対応したノートナンバーと、その振幅に基
    いて決定されたベロシティーと、当該単位区間の長さに
    基いて決定されたデルタタイムと、を示すデータからな
    るMIDI形式の符号データによって表現することを特
    徴とする音響信号の符号化方法。
  11. 【請求項11】 請求項1〜10のいずれかに記載の符
    号化方法において、 所定の周波数fをもった要素信号に対する相関を求める
    演算を行う代わりに、正弦関数および余弦関数について
    の倍角公式を用いることにより、周波数f/2q(qは
    所定の整数)をもった要素信号に対する相関を求める演
    算を行うことを特徴とする音響信号の符号化方法。
  12. 【請求項12】 請求項1〜11のいずれかに記載の符
    号化方法を、コンピュータに実行させるための音響信号
    の符号化のためのプログラムが記録されたコンピュータ
    読み取り可能な記録媒体。
JP05843199A 1999-03-05 1999-03-05 音響信号の符号化方法およびプログラム記録媒体 Expired - Fee Related JP4132362B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05843199A JP4132362B2 (ja) 1999-03-05 1999-03-05 音響信号の符号化方法およびプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05843199A JP4132362B2 (ja) 1999-03-05 1999-03-05 音響信号の符号化方法およびプログラム記録媒体

Publications (2)

Publication Number Publication Date
JP2000261322A true JP2000261322A (ja) 2000-09-22
JP4132362B2 JP4132362B2 (ja) 2008-08-13

Family

ID=13084206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05843199A Expired - Fee Related JP4132362B2 (ja) 1999-03-05 1999-03-05 音響信号の符号化方法およびプログラム記録媒体

Country Status (1)

Country Link
JP (1) JP4132362B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002049001A1 (fr) * 2000-12-14 2002-06-20 Sony Corporation Dispositif d'extraction d'informations
JP2002196796A (ja) * 2000-12-27 2002-07-12 Dainippon Printing Co Ltd 周波数解析方法および音響信号の符号化方法
JP2003022070A (ja) * 2001-07-05 2003-01-24 Dainippon Printing Co Ltd 周波数解析方法および音響信号の符号化方法
JP2003058149A (ja) * 2001-08-10 2003-02-28 Dainippon Printing Co Ltd 周波数解析方法および音響信号の符号化方法
JP2003330458A (ja) * 2002-05-13 2003-11-19 Dainippon Printing Co Ltd 時系列信号の周波数解析方法および音響信号の符号化方法
JP2006194861A (ja) * 2004-12-16 2006-07-27 Alps Electric Co Ltd 角度検出センサの補償値算出方法及びこれを用いた角度検出センサ
JP2011090189A (ja) * 2009-10-23 2011-05-06 Dainippon Printing Co Ltd 音響信号の符号化方法および装置
JP2011180167A (ja) * 2010-02-26 2011-09-15 Dainippon Printing Co Ltd 音響信号の符号化方法および装置
JP2013041128A (ja) * 2011-08-17 2013-02-28 Dainippon Printing Co Ltd 複数音源の識別装置および複数音源に連動する情報処理装置
JP2015045631A (ja) * 2013-08-01 2015-03-12 株式会社デンソーウェーブ 周波数変動信号解析装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366661B2 (en) 2000-12-14 2008-04-29 Sony Corporation Information extracting device
WO2002049001A1 (fr) * 2000-12-14 2002-06-20 Sony Corporation Dispositif d'extraction d'informations
JP2002196796A (ja) * 2000-12-27 2002-07-12 Dainippon Printing Co Ltd 周波数解析方法および音響信号の符号化方法
JP4580548B2 (ja) * 2000-12-27 2010-11-17 大日本印刷株式会社 周波数解析方法
JP2003022070A (ja) * 2001-07-05 2003-01-24 Dainippon Printing Co Ltd 周波数解析方法および音響信号の符号化方法
JP4662406B2 (ja) * 2001-07-05 2011-03-30 大日本印刷株式会社 周波数解析方法および音響信号の符号化方法
JP2003058149A (ja) * 2001-08-10 2003-02-28 Dainippon Printing Co Ltd 周波数解析方法および音響信号の符号化方法
JP4662407B2 (ja) * 2001-08-10 2011-03-30 大日本印刷株式会社 周波数解析方法
JP2003330458A (ja) * 2002-05-13 2003-11-19 Dainippon Printing Co Ltd 時系列信号の周波数解析方法および音響信号の符号化方法
JP2006194861A (ja) * 2004-12-16 2006-07-27 Alps Electric Co Ltd 角度検出センサの補償値算出方法及びこれを用いた角度検出センサ
JP4689435B2 (ja) * 2004-12-16 2011-05-25 アルプス電気株式会社 角度検出センサ
JP2011090189A (ja) * 2009-10-23 2011-05-06 Dainippon Printing Co Ltd 音響信号の符号化方法および装置
JP2011180167A (ja) * 2010-02-26 2011-09-15 Dainippon Printing Co Ltd 音響信号の符号化方法および装置
JP2013041128A (ja) * 2011-08-17 2013-02-28 Dainippon Printing Co Ltd 複数音源の識別装置および複数音源に連動する情報処理装置
JP2015045631A (ja) * 2013-08-01 2015-03-12 株式会社デンソーウェーブ 周波数変動信号解析装置

Also Published As

Publication number Publication date
JP4132362B2 (ja) 2008-08-13

Similar Documents

Publication Publication Date Title
Serra et al. Analysis and synthesis of tones by spectral interpolation
JP4132362B2 (ja) 音響信号の符号化方法およびプログラム記録媒体
JP3279204B2 (ja) 音信号分析装置及び演奏情報発生装置
JP4037542B2 (ja) 音響信号の符号化方法
Haken et al. Beyond traditional sampling synthesis: Real-time timbre morphing using additive synthesis
JP2000293188A (ja) 和音リアルタイム認識方法及び記憶媒体
JP4695781B2 (ja) 音響信号の符号化方法
JP2003216147A (ja) 音響信号の符号化方法
JP4268328B2 (ja) 音響信号の符号化方法
JP4156252B2 (ja) 音響信号の符号化方法
JP2001005450A (ja) 音響信号の符号化方法
Klassen et al. Design of timbre with cellular automata and B-spline interpolation
JP4331373B2 (ja) 時系列信号の解析方法および音響信号の符号化方法
JP4156269B2 (ja) 時系列信号の周波数解析方法および音響信号の符号化方法
JP3776782B2 (ja) 音響信号の符号化方法
JP3935745B2 (ja) 音響信号の符号化方法
JP4156268B2 (ja) 時系列信号の周波数解析方法および音響信号の符号化方法
JP2002244691A (ja) 音響信号の符号化方法
JP4580548B2 (ja) 周波数解析方法
JP4662407B2 (ja) 周波数解析方法
JP4473979B2 (ja) 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体
Ding Violin vibrato tone synthesis: Time-scale modification and additive synthesis
JP2002215142A (ja) 音響信号の符号化方法
JP4697919B2 (ja) 音響信号の符号化方法
JP4662406B2 (ja) 周波数解析方法および音響信号の符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140606

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees