JP2001005451A - 音響信号の符号化方法および復号化方法 - Google Patents
音響信号の符号化方法および復号化方法Info
- Publication number
- JP2001005451A JP2001005451A JP11177876A JP17787699A JP2001005451A JP 2001005451 A JP2001005451 A JP 2001005451A JP 11177876 A JP11177876 A JP 11177876A JP 17787699 A JP17787699 A JP 17787699A JP 2001005451 A JP2001005451 A JP 2001005451A
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- signal
- data
- sound source
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
い品質をもって符号化し、これを一般のMIDI音源を
用いて再生する。 【解決手段】 周波数軸上に、MIDI音源で用意され
ているノートナンバーに対応する基本周波数と、「1/
3半音」高い中間周波数と、「1/3半音」低い中間周
波数と、を定義する。時間軸上に複数の単位区間を設定
し、原音響信号を各単位区間ごとに符号化する。符号化
は、定義した基本周波数または中間周波数をもった周期
信号の集合として、原音響信号を符号データで表現する
ことにより行われる。復号化の際には、MIDI音源を
用意し、基本周波数を示す符号データについては、MI
DI音源をそのまま再生し、中間周波数を示す符号デー
タについては、MIDI音源を「1/3半音」だけ周波
数補正して再生する。
Description
法および復号化方法に関し、時系列の強度信号として与
えられる音響信号を符号化し、これを復号化して再生す
る技術に関する。特に、本発明は一般の音響信号を、M
IDI形式の符号データに効率良く変換する処理に適し
ており、放送メディア(ラジオ、テレビ)、通信メディ
ア(CS映像・音声配信、インターネット配信)、パッ
ケージメディア(CD、MD、カセット、ビデオ、L
D、CD−ROM、ゲームカセット)などで提供する各
種オーディオコンテンツを制作する種々の産業分野への
応用が期待される。
M(Pulse Code Modulation )の手法は最も普及してい
る手法であり、現在、オーディオCDやDATなどの記
録方式として広く利用されている。このPCMの手法の
基本原理は、アナログ音響信号を所定のサンプリング周
波数でサンプリングし、各サンプリング時の信号強度を
量子化してデジタルデータとして表現する点にあり、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、原音を忠実に再生することが可能になる。ただ、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、必要な情報量も増えることになる。そこで、できる
だけ情報量を低減するための手法として、信号の変化差
分のみを符号化するADPCM(Adaptive Differentia
l Pulse Code Modulation )の手法も用いられている。
うという発想から生まれたMIDI(Musical Instrume
nt Digital Interface)規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このMIDI規格による符号データ(以下、MID
Iデータという)は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このMIDIデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したMI
DI音源が別途必要になる。しかしながら、上述したP
CMの手法で音を記録する場合に比べて、情報量が極め
て少なくてすむという特徴を有し、その符号化効率の高
さが注目を集めている。このMIDI規格による符号化
および復号化の技術は、現在、パーソナルコンピュータ
を用いて楽器演奏、楽器練習、作曲などを行うソフトウ
エアに広く採り入れられており、カラオケ、ゲームの効
果音といった分野でも広く利用されている。
Mの手法により音響信号を符号化する場合、十分な音質
を確保しようとすれば情報量が膨大になり、データ処理
の負担が重くならざるを得ない。したがって、通常は、
ある程度の情報量に抑えるため、ある程度の音質に妥協
せざるを得ない。もちろん、MIDI規格による符号化
の手法を採れば、非常に少ない情報量で十分な音質をも
った音の再生が可能であるが、上述したように、MID
I規格そのものが、もともと楽器演奏の操作を符号化す
るためのものであるため、広く一般音響への適用を行う
ことはできない。別言すれば、MIDIデータを作成す
るためには、実際に楽器を演奏するか、あるいは、楽譜
の情報を用意する必要がある。
手法にしても、MIDIの手法にしても、それぞれ音響
信号の符号化方法としては一長一短があり、一般の音響
について、少ない情報量で十分な音質を確保することは
できない。ところが、一般の音響についても効率的な符
号化を行いたいという要望は、益々強くなってきてい
る。いわゆるヴォーカル音響と呼ばれる人間の話声や歌
声を取り扱う分野では、かねてからこのような要望が強
く出されている。たとえば、語学教育、声楽教育、犯罪
捜査などの分野では、ヴォーカル音響信号を効率的に符
号化する技術が切望されている。このような要求に応え
るために、特開平10−247099号公報、特開平1
1−73199号公報、特開平11−73200号公
報、特開平11−95753号公報、特願平10−28
3453号明細書、特願平10−283454号明細
書、特願平11−58431号明細書には、MIDIデ
ータを利用することが可能な新規な符号化方法が提案さ
れている。
って複数の単位区間を設定し、各単位区間内の音響信号
を、予め用意した何種類かの周期関数によって表現す
る、という手法により符号化が行われる。しかしなが
ら、この方法で用いられる周期関数は、周波数軸上に離
散的に定義されたとびとびの周波数値をもった周期関数
になるため、必ずしも原音響信号に忠実な符号化が行わ
れるわけではない。特に、MIDIデータを用いて符号
化した場合、一般的なMIDI音源を用いた復号化(原
音響信号の再生)ができるというメリットが得られるも
のの、用いる周期関数としては、MIDI規格のノート
ナンバーに相当する周波数(半音単位の周波数)をもっ
た周期関数に限定されてしまうことになる。もともとM
IDI規格は、楽器の演奏操作を記述する目的で制定さ
れた規格であり、半音単位の離散的な周波数のみを用い
て再生を行ったとしても、楽器音を表現する上では何ら
問題は生じない。しかしながら、ヴォーカル音響など、
多彩な周波数成分を有する一般的な音響信号を表現する
上では、半音単位の離散的な周波数のみを用いた符号化
を行うと、十分な品質をもった再生音を得ることはでき
ない。
符号データへの変換を高い品質をもって行うことが可能
な音響信号の符号化方法を提供することを目的とし、ま
た、そのような符号化に応じた復号化方法を提供するこ
とを目的とする。
様は、時系列の強度信号として与えられる音響信号を符
号化するための音響信号の符号化方法において、符号化
対象となる音響信号を、デジタルの音響データとして取
り込む入力段階と、音響データの時間軸上に複数の単位
区間を設定する区間設定段階と、N通りの基本周波数
(N>1)を定義するとともに、各隣接基本周波数の中
間にそれぞれ(M−1)通りの中間周波数(M>1)を
定義する周波数定義段階と、個々の単位区間内の音響デ
ータについて、各周波数をもった周期関数との相関値を
演算し、この相関値に基づいて音響データに含まれる代
表的な周波数成分を示す代表周波数を選出する代表周波
数選出段階と、個々の単位区間内の音響データを、選出
した代表周波数、演算した相関値、個々の単位区間の時
間軸上での位置、を示す情報を含む符号データによって
表現する符号化段階と、符号データを、代表周波数の基
本周波数に対するずれ量に応じて、複数M個のグループ
に分類し、各グループごとに分離して出力する符号出力
段階と、を行うようにしたものである。
の態様に係る音響信号の符号化方法において、N通りの
基本周波数のうちの第i番目(ただし、i=1,2,
…,N)の基本周波数をf(i,0)とし、この第i番
目の基本周波数と第(i+1)番目の基本周波数との中
間に定義される(M−1)通りの中間周波数のうちの第
j番目(ただし、j=1,2,…,M−1)の中間周波
数をf(i,j)としたときに、1以上の実数で与えら
れる比例定数Kを用いて、 f(i+1,0)=K・f(i,0) f(i,j)=Kj/M・f(i,0) なる式が成り立つように、周波数定義段階における周波
数定義を行うようにしたものである。
の態様に係る音響信号の符号化方法において、符号化段
階において、代表周波数をノートナンバー、相関値をベ
ロシティー、単位区間の時間軸上での位置をデルタタイ
ム、によってそれぞれ表現したMIDIデータにより符
号化を行い、M個のグループにそれぞれM個のチャンネ
ルを対応させ、各グループに分類された符号データをそ
れぞれ対応するチャンネルに出力するようにしたもので
ある。
の態様に係る音響信号の符号化方法によって符号化され
た符号データを復号化するための音響信号の復号化方法
において、N通りの基本周波数の音源信号を発生するこ
とができる音源を用意し、基本周波数をもった符号デー
タのグループについては、この音源信号を用いて再生を
行い、中間周波数をもった符号データのグループについ
ては、この音源信号に、基本周波数に対するずれ量に相
当する周波数補正を施した補正信号を用いて再生を行う
ようにしたものである。
の態様に係る音響信号の符号化方法によって符号化され
た符号データを復号化するための音響信号の復号化方法
において、基本周波数に相当するN通りの音源信号を発
生することができる音源を用意し、第i番目の基本周波
数f(i,0)をもった符号データについては、第i番
目の音源信号を用いて再生を行い、第i番目の基本周波
数と第(i+1)番目の基本周波数との中間に定義され
る(M−1)通りの中間周波数のうちの第j番目の中間
周波数f(i,j)をもった符号データについては、第
i番目の音源信号もしくは第(i+1)番目の音源信号
に、基本周波数に対するずれ量に相当する周波数補正を
施した補正信号を用いて再生を行うようにしたものであ
る。
の態様に係る音響信号の符号化方法によって符号化され
た符号データを復号化するための音響信号の復号化方法
において、基本周波数に相当するN通りの音源信号を発
生することができるMIDI音源を用意し、各チャンネ
ルごとに、音源信号に対する固有の周波数補正量を設定
し、基本周波数をもった符号データを含むチャンネルに
ついては音源信号がそのまま再生され、中間周波数をも
った符号データを含むチャンネルについては固有の周波
数補正量に基づく周波数補正が行われた音源信号が再生
されるようにしたものである。
度信号として与えられる音響信号を、時間軸上の所定位
置に設定された個々の単位区間ごとに所定周波数および
所定強度をもった周期信号によって表現することにより
符号化した符号データを復号化する復号化方法におい
て、復号化の対象となる各符号データに用いられている
複数通りの周波数を、基本周波数およびこれら各基本周
波数の中間にそれぞれ定義された中間周波数のいずれか
に対応させ、基本周波数の音源信号を発生することがで
きる音源を用意し、基本周波数をもった符号データにつ
いては、この音源信号を用いて再生を行い、中間周波数
をもった符号データについては、この音源信号に周波数
補正を施した補正信号を用いて再生を行うようにしたも
のである。
〜第7の態様に係る音響信号の符号化方法または復号化
方法をコンピュータに実行させるためのプログラムを、
コンピュータ読み取り可能な記録媒体に記録するように
したものである。
に基づいて説明する。
の基本原理 はじめに、本発明に係る音響信号の符号化方法の基本原
理を述べておく。この基本原理は、前掲の各公報あるい
は明細書に開示されているので、ここではその概要のみ
を簡単に述べることにする。
度信号としてアナログ音響信号が与えられたものとしよ
う。図示の例では、横軸に時間t、縦軸に振幅(強度)
をとってこの音響信号を示している。ここでは、まずこ
のアナログ音響信号を、デジタルの音響データとして取
り込む処理を行う。これは、従来の一般的なPCMの手
法を用い、所定のサンプリング周期でこのアナログ音響
信号をサンプリングし、振幅を所定の量子化ビット数を
用いてデジタルデータに変換する処理を行えばよい。こ
こでは、説明の便宜上、PCMの手法でデジタル化した
音響データの波形も、図1(a) のアナログ音響信号と同
一の波形で示すことにする。
時間軸上に、複数の単位区間を設定する。図1(a) に示
す例では、時間軸t上に等間隔に6つの時刻t1〜t6
が定義され、これら各時刻を始点および終点とする5つ
の単位区間d1〜d5が設定されている(実際には、後
述するように、各区間は部分的に重複するように設定す
るのが好ましい)。
区間ごとの音響信号(ここでは、区間信号と呼ぶことに
する)について、それぞれ代表周波数を選出する。各区
間信号には、通常、様々な周波数成分が含まれている
が、その中でも振幅の大きな周波数成分を代表周波数と
して選出すればよい。代表周波数は1つだけ選出しても
よいが、複数の代表周波数を選出した方が、より精度の
高い符号化が可能になる。代表周波数を選出する方法の
ひとつは、フーリエ変換を利用する方法である。すなわ
ち、各区間信号ごとに、それぞれフーリエ変換を行い、
スペクトルを作成する。このとき、ハニング窓(Hannin
g Window )などの重み関数で、切り出した区間信号にフ
ィルタをかけてフーリエ変換を施す。一般にフーリエ変
換は、切り出した区間前後に同様な信号が無限に存在す
ることが想定されているため、重み関数を用いない場
合、作成したスペクトルに高周波ノイズがのることが多
い。ハニング窓関数など区間の両端の重みが0になるよ
うな重み関数を用いると、このような弊害をある程度抑
制できる。
されたスペクトルの一例が示されている。このスペクト
ルでは、横軸上に定義された周波数fによって、単位区
間d1についての区間信号に含まれる周波数成分(0〜
F:ここでFはサンプリング周波数)が示されており、
縦軸上に定義された複素強度Aによって、各周波数成分
ごとの複素強度が示されている。
させて、離散的に複数N個の符号コードを定義する。別
言すれば、周波数軸f上に、複数N通りの周波数を定義
することになる。この例では、符号コードとしてMID
Iデータで利用されるノートナンバーnを用いており、
n=0〜127までの128個の符号コードを定義して
いる。ノートナンバーnは、音符の音階を示すパラメー
タであり、たとえば、ノートナンバーn=69は、ピア
ノの鍵盤中央の「ラ音(A3音)」を示しており、44
0Hzの音に相当する。このように、128個のノート
ナンバーには、いずれも所定の周波数が対応づけられる
ので、スペクトルの周波数軸f上の所定位置に、それぞ
れ128個のノートナンバーnが離散的に定義されるこ
とになる。ここでは、この128個のノートナンバーn
に対応する周波数を基本周波数と呼ぶことにする。
と、周波数が2倍になる対数尺度の音階を示すため、周
波数軸fに対して線形には対応しない。すなわち、周波
数軸f上に離散的に定義された各ノートナンバーに対応
する基本周波数は、個々の周波数値が等比級数配列をな
す周波数ということになる。そこで、ここでは周波数軸
fを対数尺度で表し、この対数尺度軸上にノートナンバ
ーnを定義した強度グラフを作成してみる。図1(c)
は、このようにして作成された単位区間d1についての
強度グラフを示す。この強度グラフの横軸は、図1(b)
に示すスペクトルの横軸を対数尺度に変換したものであ
り、ノートナンバーn=0〜127が等間隔にプロット
されている。一方、この強度グラフの縦軸は、図1(b)
に示すスペクトルの複素強度Aを実効強度Eに変換した
ものであり、各ノートナンバーnの位置における強度を
示している。一般に、フーリエ変換によって得られる複
素強度Aは、実数部R(余弦関数との相関を示す部分)
と虚数部I(正弦関数との相関を示す部分)とによって
表されるが、実効強度Eは、E=(R2+I2)1/ 2
なる二乗和平方根値として演算によって求めることがで
きる。
ラフは、単位区間d1についての区間信号に含まれる振
動成分について、ノートナンバーn=0〜127に相当
する各振動成分の割合を実効強度として示すグラフとい
うことができる。そこで、この強度グラフに示されてい
る各実効強度に基いて、全N個(この例ではN=12
8)のノートナンバーの中からP個のノートナンバーを
選択し、このP個のノートナンバーnを、単位区間d1
を代表する代表符号コードとして抽出する。これは、全
N通りの基本周波数の中から、P個の周波数を代表周波
数として選出することに他ならない。ここでは、説明の
便宜上、P=3として、全128個の候補の中から3個
のノートナンバーを代表符号コードとして抽出する場合
を示すことにする。たとえば、「候補の中から強度の大
きい順にP個の符号コードを抽出する」という基準に基
いて抽出を行えば、図1(c) に示す例では、第1番目の
代表符号コードとしてノートナンバーn(d1,1)
が、第2番目の代表符号コードとしてノートナンバーn
(d1,2)が、第3番目の代表符号コードとしてノー
トナンバーn(d1,3)が、それぞれ抽出されること
になる。
抽出されたら、これらの代表符号コードとその実効強度
によって、単位区間d1についての区間信号を表現する
ことができる。たとえば、上述の例の場合、図1(c) に
示す強度グラフにおいて、ノートナンバーn(d1,
1)、n(d1,2)、n(d1,3)の実効強度がそ
れぞれe(d1,1)、e(d1,2)、e(d1,
3)であったとすれば、以下に示す3組のデータ対によ
って、単位区間d1の音響信号を表現することができ
る。 n(d1,1),e(d1,1) n(d1,2),e(d1,2) n(d1,3),e(d1,3) 以上、単位区間d1についての処理について説明した
が、単位区間d2〜d5についても、それぞれ別個に同
様の処理が行われ、代表符号コードおよびその強度を示
すデータが得られることになる。たとえば、単位区間d
2については、 n(d2,1),e(d2,1) n(d2,2),e(d2,2) n(d2,3),e(d2,3) なる3組のデータ対が得られる。このようにして各単位
区間ごとに得られたデータによって、原音響信号を符号
化することができる。
である。上述の例では、非常に単純な区間設定例を述べ
たが、図2に示す例では、より実用的な区間設定が行わ
れている。すなわち、図2(a) に示すように、単位区間
d1,d2,d3,…は、いずれも部分的に重なってお
り、このような区間設定に基いて前述の処理を行うと、
図2(b) の概念図に示されているような符号化が行われ
ることになる。この例においても、個々の単位区間ごと
にそれぞれ3個の代表符号コードを抽出しており(P=
3)、これら代表符号コードに関するデータを3つのサ
ブトラックT1〜T3に分けて収容するようにしてい
る。たとえば、単位区間d1について抽出された代表符
号コードn(d1,1),n(d1,2),n(d1,
3)は、それぞれサブトラックT1,T2,T3に収容
されている。もっとも、図2(b) は、上述の方法によっ
て得られる符号データを音符の形式で示した概念図であ
り、実際には、各音符にはそれぞれ強度に関するデータ
が付加されている。たとえば、サブトラックT1には、
ノートナンバーn(d1,1),n(d2,1),n
(d3,1)…なる音階を示すデータとともに、e(d
1,1),e(d2,1),e(d3,1)…なる強度
を示すデータが収容されることになる。また、図2(b)
に示す概念図では、音符の水平方向に関する位置によっ
て、個々の単位区間の時間軸上での位置が示されている
が、実際には、この時間軸上での位置を正確に数値とし
て示すデータが各音符に付加されていることになる。
は、必ずしもMIDI形式を採用する必要はないが、こ
の種の符号化形式としてはMIDI形式が最も普及して
いるため、実用上はMIDI形式の符号データを用いる
のが最も好ましい。MIDI形式では、「ノートオン」
データもしくは「ノートオフ」データが、「デルタタイ
ム」データを介在させながら存在する。「ノートオン」
データは、特定のノートナンバーNとベロシティーVと
を指定して特定の音の演奏開始を指示するデータであ
り、「ノートオフ」データは、特定のノートナンバーN
とベロシティーVとを指定して特定の音の演奏終了を指
示するデータである。また、「デルタタイム」データ
は、所定の時間間隔を示すデータである。ベロシティー
Vは、たとえば、ピアノの鍵盤などを押し下げる速度
(ノートオン時のベロシティー)および鍵盤から指を離
す速度(ノートオフ時のベロシティー)を示すパラメー
タであり、特定の音の演奏開始操作もしくは演奏終了操
作の強さを示すことになる。
について、代表符号コードとしてP個のノートナンバー
n(dk,1),n(dk,2),…,n(dk,P)
が得られ、このそれぞれについて実効強度e(dk,
1),e(dk,2),…,e(dk,P)が得られ
る。そこで、次のような手法により、MIDI形式の符
号データを作成することができる。まず、「ノートオ
ン」データもしくは「ノートオフ」データの中で記述す
るノートナンバーNとしては、得られたノートナンバー
n(dk,1),n(dk,2),…,n(dk,P)
をそのまま用いればよい。一方、「ノートオン」データ
もしくは「ノートオフ」データの中で記述するベロシテ
ィーVとしては、得られた実効強度e(dk,1),e
(dk,2),…,e(dk,P)を所定の方法で規格
化した値を用いればよい。また、「デルタタイム」デー
タは、各単位区間の長さに応じて設定すればよい。
スペクトルを求め、その強度値の大きい順にP個の周波
数(ノートナンバー)を選出して代表周波数とする処理
を行っているが、代表周波数の選出には、その他の方法
を用いてもかまわない。たとえば、特願平11−584
31号明細書には、一般化調和解析の手法を用いて代表
周波数の選出を行う例が示されており、本発明に係る符
号化方法を実施する上では、このような一般化調和解析
の手法を用いて代表周波数の選出を行ってもかまわな
い。フーリエスペクトルのピークに基づいて代表周波数
を選出する方法も、一般化調和解析の手法を用いて代表
周波数を選出する方法も、結局は、個々の単位区間内の
音響データについて、予め用意された各基本周波数(上
述の例では、MIDIノートナンバーに対応する128
通りの周波数)をもった周期関数との相関値を演算し、
この相関値に基づいて代表周波数を選出する(具体的に
は、相関の大きい周期関数の周波数を代表周波数として
選出する)という点では変わりはない。
び復号化方法 上述したように、本発明に係る音響信号の符号化方法の
基本原理は、時系列の強度信号として与えられる音響信
号を、デジタルの音響データとして取り込み、この音響
データの時間軸上に複数の単位区間を設定し、各単位区
間ごとの音響データ(区間信号)を、それぞれ所定の代
表周波数をもった周期信号で表現する、という手法にあ
る。ここで、代表周波数は、区間信号に含まれる代表的
な周波数成分を示すものであり、予め用意されたN通り
の基本周波数の中から、区間信号に対する相関の大きな
ものが代表周波数として選出されることになる。前述の
例では、MIDIノートナンバーに対応する128通り
の基本周波数の中から、3つの代表周波数を選出し、1
つの区間信号を、3つの符号データで表現したことにな
る。ここで、各符号データは、選出した代表周波数、演
算した相関値(当該代表周波数をもった周期関数と区間
信号との相関を示す値)、個々の単位区間の時間軸上で
の位置、を示す情報から構成され、MIDIデータを利
用した場合、ノートナンバー(代表周波数を示す)、ベ
ロシティー(相関値を示す)、デルタタイム(時間軸上
での位置を示す)から構成される。
された符号データは、一般のMIDI音源を利用した再
生(復号化)が可能であり、128通りの基本周波数
(ノートナンバー)に対応する音源波形によって再生さ
れることになる。図3には、この128通りのノートナ
ンバーのうち、ノートナンバー60〜65に相当する6
通りの基本周波数が周波数軸上にプロットされている。
図示のとおり、ノートナンバー60〜65は、音階で
は、C3〜F3に相当し、周波数では262〜350H
zに相当する。図示の周波数軸は対数尺度となっている
ため、各基本周波数は等間隔にプロットされているが、
実際には、各基本周波数の周波数値は等比級数をなし、
半音単位で音階が上がってゆく。このように、周波数軸
上に半音単位で離散的に設定された128通りの基本周
波数のみを用いた場合、楽器音は十分に表現できたとし
ても、ヴォーカル音などの一般の音響信号を十分に表現
することはできない。
て用意される基本周波数だけでなく、その間の中間周波
数も用いて原音響信号をできるだけ忠実に符号化してお
き、復号化の際には、基本周波数については音源信号を
そのまま用いた再生を行い、中間周波数については音源
信号に対して周波数補正を施して再生を行うようにする
点にある。
る基本周波数の間を対数尺度上で3等分し、それぞれ2
つずつの中間周波数を定義する。ここでは、これら各中
間周波数のノートナンバーとして、基本周波数のノート
ナンバーに「+」または「−」を付加して示すことにす
る。たとえば、基本周波数のノートナンバー60と61
との間に定義される2つの中間周波数は、ノートナンバ
ー「60+」および「61−」として示される。別言す
れば、ノートナンバー「n」で示される基本周波数につ
いて、「1/3半音」だけ高い「n+」なるノートナン
バーで示される中間周波数と、「1/3半音」だけ低い
「n−」なるノートナンバーで示される中間周波数と、
が定義されることになる。その結果、128通りの基本
周波数と、256通りの中間周波数とが定義されること
になり、周波数軸上には、合計で384通りの周波数が
定義されることになる。これらの周波数は、対数尺度の
周波数軸上で等間隔に並んだ等比級数配列をなすことに
なる。
波数をもった周期信号について、それぞれ音響データと
の相関を求め、ある程度以上の相関をもった基本周波数
を代表周波数として選出する処理を行い、当該音響デー
タを、選出された代表周波数をもつ音符データとして表
現した。ここで述べる方法では、384通りの周波数
(基本周波数と中間周波数)をもった周期信号につい
て、それぞれ音響データとの相関を求め、ある程度以上
の相関をもった基本周波数もしくは中間周波数を代表周
波数として選出する処理を行い、当該音響データを、選
出された代表周波数をもつ音符データとして表現するこ
とになる。このような方法によれば、代表周波数の選出
の自由度が3倍に増加するため、原音響波形に忠実な符
号化が可能になる。
波数に相当する音源信号しか用意されていないため、上
述の方法で符号化された符号データを復号化(再生)す
る際には、工夫が必要になる。すなわち、ノートナンバ
ー「n」で示される基本周波数をもった符号データにつ
いては、MIDI音源に用意された基本周波数の音源信
号をそのまま用いて再生し、ノートナンバー「n+」あ
るいは「n−」で示される中間周波数をもった符号デー
タについては、MIDI音源に用意された基本周波数の
音源信号に対して周波数補正を施して再生を行うように
する。具体的には、基本周波数より「1/3半音」だけ
高い「n+」なるノートナンバーで示される中間周波数
をもった符号データの場合は、音源信号を「1/3半
音」だけ高くするチューニングを行って再生を行い、基
本周波数より「1/3半音」だけ低い「n−」なるノー
トナンバーで示される中間周波数をもった符号データの
場合は、音源信号を「1/3半音」だけ低くするチュー
ニングを行って再生を行えばよい。
れぞれ所定のチューニングを行った再生音が提示される
ようにするためには、符号化の時点で、各符号データの
もつ周波数の基本周波数に対するずれ量に応じて、グル
ープ分けした出力を行うようにすればよい。たとえば、
上述の例の場合、図5に示すような分類を行えばよく、
各グループごとに独立したトラックに出力するようにす
ればよい。すなわち、ノートナンバー「n」で示される
基本周波数をもった符号データをグループ1、ノートナ
ンバー「n+」で示される中間周波数をもった符号デー
タをグループ2、ノートナンバー「n−」で示される中
間周波数をもった符号データをグループ3に分類すれば
よい。このような分類を行っておけば、グループ1に所
属する符号データを復号化する際には、MIDI音源に
用意された基本周波数の音源信号をそのまま用いた再生
を行い、グループ2に所属する符号データを復号化する
際には、MIDI音源に用意された基本周波数に対して
「1/3半音」だけ高くするチューニングを行って再生
を行い、グループ3に所属する符号データを復号化する
際には、MIDI音源に用意された基本周波数に対して
「1/3半音」だけ低くするチューニングを行って再生
を行うことにより、符号化に応じた正しい復号化が可能
になる。
dard MIDI File)フォーマットでは、MIDIデータを
16チャンネル(オーディオの分野では一般にトラック
と呼ばれるが、MIDI規格ではチャンネルと呼ばれ
る)に分けて収録することができ、各チャンネルごと
に、音源信号のチューニングを行うことが可能である。
そこで、実用上は、このチャンネルを利用して、MID
Iデータのグループ分けを行うのが好ましい。たとえ
ば、図5に示す例の場合、グループ1に属する符号デー
タをチャンネル0に、グループ2に属する符号データを
チャンネル1に、グループ3に属する符号データをチャ
ンネル2に、それぞれ分けて収容しておき、再生時に
は、チャンネル1については「1/3半音」だけ高くす
るチューニングを指示し、チャンネル2については「1
/3半音」だけ低くするチューニングを指示すればよ
い。
間を対数尺度の周波数軸上で3等分し、2つの中間周波
数を定義したが、隣接する基本周波数間をより多数に分
割し、より多数の中間周波数を定義してもよい。一般的
には、N通りの基本周波数(N>1)を定義するととも
に、各隣接基本周波数の中間にそれぞれ(M−1)通り
の中間周波数(M>1)を定義すれば、N×M通りの周
波数の中から代表周波数を選出できることになり、選出
の自由度はそれだけ高まることになる。図6は、このよ
うなN×M通りの一般的な周波数定義を行った例を示す
図である。周波数軸上にプロットされた周波数f(i,
0)は、N通りの基本周波数のうちの第i番目の基本周
波数を示し、周波数f(i+1,0)は、第(i+1)
番目の基本周波数を示している(0は基本周波数である
ことを示す)。この隣接する2つの周波数f(i,0)
とf(i+1,0)との間は、対数尺度の周波数軸上で
M等分され、(M−1)通りの中間周波数が定義されて
いる。すなわち、第1番目の中間周波数がf(i,
1)、第2番目の中間周波数がf(i,2)、第j番目
の中間周波数がf(i,j)、第(M−1)番目の中間
周波数がf(i,M−1)である。このような周波数定
義は、1以上の実数で与えられる比例定数Kを用いて、 f(i+1,0)=K・f(i,0) f(i,j)=Kj/M・f(i,0) なる式で示すことができる。
号化された符号データを復号化する際には、基本周波数
に相当するN通りの音源信号を発生することができる音
源を用意し、第i番目の基本周波数f(i,0)をもっ
た符号データについては、第i番目の音源信号を用いて
再生を行い、第i番目の基本周波数と第(i+1)番目
の基本周波数との中間に定義される(M−1)通りの中
間周波数のうちの第j番目の中間周波数f(i,j)を
もった符号データについては、第i番目の音源信号もし
くは第(i+1)番目の音源信号に、基本周波数に対す
るずれ量に相当する周波数補正を施した補正信号を用い
て再生を行うようにすればよい。
ばさせるほど、原音響信号の符号化品質は向上するが、
代表周波数の選出を行う際には、N×M通りの各周波数
をもった周期関数との相関を求める演算が必要になるた
め、パラメータNおよびMの値を増加させればさせるほ
ど、演算負担も増加することになる。また、一般的なM
IDI音源には、128通りの基本周波数しか用意され
ていないので、汎用MIDI音源での再生が可能な符号
化を行うのであれば、N=128に設定するのが好まし
い。また、上述したように、SMFフォーマットでのチ
ャンネル数は16に定められているため、グループ分け
をチャンネルを利用して行う場合には、M≦16に設定
する必要がある。
例 最後に、本発明に係る音響信号の符号化方法および復号
化方法の具体的な実施例を述べておく。ここでは、何ら
かの原音響信号について、これまで述べてきた符号化手
法を適用することにより、図7に示すような符号データ
が得られたものとしよう。これら各符号データにおい
て、文字「N」および「1〜4」の数字からなる部分
は、MIDIデータの所定のノートナンバーを示してお
り、「+」および「−」の部分は、このノートナンバー
で示される基本周波数に対するずれ量を示している。す
なわち、符号化の際には、128通りの基本周波数と、
256通りの中間周波数が用いられており、「+」が付
された符号データは、基本周波数より「1/3半音」高
い中間周波数の符号データ、「−」が付された符号デー
タは、基本周波数より「1/3半音」低い中間周波数の
符号データ、「+」も「−」も付されていない符号デー
タは、基本周波数の符号データ、ということになる。な
お、図7では、各符号データが2行にわたって配置され
ているが、これは、1つの単位区間内の音響データに対
して、2つの代表周波数が選出され、2つの符号データ
が生成されたことを示しており、水平方向が時間軸に相
当することになる。
ら、これらを図8に示すように、3つのグループ(トラ
ック)に分類する。ここで、グループ1は基本周波数の
符号データ、グループ2は「+」が付された中間周波数
の符号データ、グループ3は「−」が付された中間周波
数の符号データである。なお、ここでは、各グループご
とに更にサブトラックを設け、同一周波数の符号データ
を同一サブトラックに収容するようにしてある。たとえ
ば、グループ1では、符号データ「N1」,「N2」,
「N4」がそれぞれ独立したサブトラックに収容されて
いる。この例では、グループ2,3には、同一周波数の
符号データしか含まれていないため、1つのサブトラッ
クしか示されていないが、異なる周波数の符号データが
含まれていた場合には、グループ1と同様に、それぞれ
異なるサブトラックに収容される。
3に収容された符号データ、すなわち、中間周波数をも
った符号データについて、「+」,「−」の符号を削除
する。そもそも、この「+」,「−」の符号は、基本周
波数よりも「1/3半音」高いまたは低いことを示す符
号であり、一般的なMIDI規格には定義されていない
符号である。この「+」,「−」の符号は、各グループ
(トラック)への分類を行うために付された符号であ
り、分類が完了した時点でその役目を終えることにな
る。こうして、これらの符号を削除することにより、図
9に示す符号データは、MIDI規格に適合したデータ
となる。もちろん、「1/3半音」高いまたは低いとい
う情報は、グループごとに保持されていることになる。
の統合化を行う。この統合化は、時間軸上で隣接配置さ
れた複数の符号データが、同一または類似の特性をもっ
た符号データであった場合に、1つに統合してまとめる
処理であり、この統合化処理により、符号データの総数
を減少させることができる。たとえば、図9に示す例に
おいて、「同一ノートナンバーをもった符号データが隣
接配置されていた場合には、これを統合する」という方
針で統合化を行うと、図10に示すような結果が得られ
る。それぞれ矩形で囲った複数の符号データが、1つの
符号データに統合されることになる。また、この図10
では、グループ1〜3が、MIDI規格におけるチャン
ネル0〜2に割り当てられて収容された例が示されてい
る。
MIDIデータにおける「ノートオン(演奏操作開
始)」および「ノートオフ(演奏操作終了)」を示すデ
ータに置き換えて示した例である。先頭の番号1〜12
は、このデータのシリアル番号である。たとえば、
「1.Ch0 N1 On」は、チャンネル0のノート
ナンバーN1を「ノートオン」にせよ、というコマンド
を示しており、「2.Ch0N4 On」は、チャンネ
ル0のノートナンバーN4を「ノートオン」にせよ、と
いうコマンドを示している。実際のMIDIデータで
は、これらのコマンドが、所定のデルタタイムとともに
コード化されて記述されることになる。
を、SMFフォーマットによりコード化することにより
得られる具体的なMIDIデータ(16進数表記)の構
成を図12に示す。この図12に示された各行が、図1
1に示す1つのコマンドに対応する。図12の各行の行
末には、このコマンドが記載されている。行頭の「Delt
a Time」欄の数値は、各コマンドを実行するまでの待ち
時間を示す数値であり、各符号データの時間軸上での位
置を示す情報ということになる。続く「Status」欄は、
コマンドの種類を示すコードであり、1桁目の「9」は
「ノートオン」、「8」は「ノートオフ」を示し、2桁
目の数値はチャンネル番号を示している。次の「Note N
umber 」欄には、ノートナンバーが記述される(図で
は、便宜上、N1〜N4なる符号が記載されているが、
実際には、0〜127(16進数での00〜7F)まで
のうちのいずれかのノートナンバーが記載されることに
なる)。最後の「Velocity」欄には、ベロシティーの数
値が記載される。この例では、「ノートオン」の際のベ
ロシティーのみを設定し(前述したように、ノートナン
バーに対応する周波数をもった周期関数との相関値に基
づいて設定される)、「ノートオフ」の際のベロシティ
ー値はすべて0としてある。
ューニングコマンドを、SMFフォーマットによりコー
ド化した具体的なMIDIデータの構成例が示されてい
る。ここでは細かな説明は省略するが、ここに示すコー
ドの1〜6行目は、チャンネル0を通常のチューニング
(周波数補正を行わず、基本周波数どおりの再生)を設
定するコマンドであり、7〜12行目は、チャンネル1
の音程を高めるチューニング(基本周波数に対する+3
3セントの周波数補正)を設定するコマンドであり、1
3〜18行目は、チャンネル2の音程を低めるチューニ
ング(基本周波数に対する−33セントの周波数補正)
を設定するコマンドである。100セントの周波数補正
が半音に相当するので、+33セントの周波数補正は、
「1/3半音」高める補正となり、−33セントの周波
数補正は、「1/3半音」低める補正となる。
ンドからなるMIDIデータを、図12に示す演奏情報
からなるMIDIデータに先行して実行させておくよう
にし、音源信号のチューニングを完了した状態で、再生
が行われるようにすることになる。SMFフォーマット
のMIDIデータでは、このように、各チャンネルごと
のチューニングをソフトウエア的に容易に行うことがで
きるので、通常のMIDI規格に準じたままの符号デー
タを用いて、本発明に係る復号化方法を実行することが
可能である。また、チューニングに必要な情報は、すべ
てMIDIデータ内に含ませることができるので、再生
を行う際には、何ら特別な設定は不要である。
および復号化方法を図示する実施形態に基づいて説明し
たが、本発明はこれらの実施形態に限定されるものでは
なく、この他にも種々の態様で実施可能である。特に、
上述の実施形態では、MIDIデータとして符号化を行
う例を示したが、本発明は、MIDIデータへの符号化
に限定されるものではなく、任意の規格に基づく符号化
に適用可能である。また、本発明に係る音響信号の符号
化方法および復号化方法は、パソコンなどの汎用コンピ
ュータに専用のソフトウエアを組み込むことにより実施
可能であり、そのような専用のソフトウエアは、コンピ
ュータ読み取り可能な記録媒体に記録して配付すること
ができる。
号化方法および復号化方法によれば、音源信号に含まれ
ている基本周波数の他に、中間周波数を用いて符号化を
行い、復号化の際には、周波数補正した音源信号により
中間周波数を再生するようにしたため、原音響波形を高
い品質をもって符号化し、これを復号化することができ
るようになる。
を示す図である。
タの概念図である。
上で定義される基本周波数の一例を示す図である。
中間周波数を定義した例を示す図である。
号データのグループ分けの一例を示す図である。
上で定義される基本周波数および中間周波数の一般例を
示す図である。
された符号データの一実施例を示す図である。
分けした状態を示す図である。
を示す図である。
行い、これを各チャンネルに収容した状態を示す図であ
る。
タにおける「ノートオン(演奏操作開始)」および「ノ
ートオフ(演奏操作終了)」を示すデータに置き換えて
示した図である。
マットによりコード化した具体的なMIDIデータを示
す図である。
を、SMFフォーマットによりコード化した具体的なM
IDIデータを示す図である。
M−1)…中間周波数 n…ノートナンバー N1〜N4…ノートナンバー t1〜t6…時刻 T1〜T3…サブトラック
Claims (8)
- 【請求項1】 時系列の強度信号として与えられる音響
信号を符号化するための符号化方法であって、 符号化対象となる音響信号を、デジタルの音響データと
して取り込む入力段階と、 前記音響データの時間軸上に複数の単位区間を設定する
区間設定段階と、 N通りの基本周波数(N>1)を定義するとともに、各
隣接基本周波数の中間にそれぞれ(M−1)通りの中間
周波数(M>1)を定義する周波数定義段階と、 個々の単位区間内の音響データについて、前記各周波数
をもった周期関数との相関値を演算し、この相関値に基
づいて前記音響データに含まれる代表的な周波数成分を
示す代表周波数を選出する代表周波数選出段階と、 個々の単位区間内の音響データを、選出した代表周波
数、演算した相関値、個々の単位区間の時間軸上での位
置、を示す情報を含む符号データによって表現する符号
化段階と、 前記符号データを、代表周波数の基本周波数に対するず
れ量に応じて、複数M個のグループに分類し、各グルー
プごとに分離して出力する符号出力段階と、 を有することを特徴とする音響信号の符号化方法。 - 【請求項2】 請求項1に記載の音響信号の符号化方法
において、 N通りの基本周波数のうちの第i番目(ただし、i=
1,2,…,N)の基本周波数をf(i,0)とし、こ
の第i番目の基本周波数と第(i+1)番目の基本周波
数との中間に定義される(M−1)通りの中間周波数の
うちの第j番目(ただし、j=1,2,…,M−1)の
中間周波数をf(i,j)としたときに、1以上の実数
で与えられる比例定数Kを用いて、 f(i+1,0)=K・f(i,0) f(i,j)=Kj/M・f(i,0) なる式が成り立つように、周波数定義段階における周波
数定義を行うようにすることを特徴とする音響信号の符
号化方法。 - 【請求項3】 請求項2に記載の音響信号の符号化方法
において、 符号化段階において、代表周波数をノートナンバー、相
関値をベロシティー、単位区間の時間軸上での位置をデ
ルタタイム、によってそれぞれ表現したMIDIデータ
により符号化を行い、M個のグループにそれぞれM個の
チャンネルを対応させ、各グループに分類された符号デ
ータをそれぞれ対応するチャンネルに出力することを特
徴とする音響信号の符号化方法。 - 【請求項4】 請求項1に記載の音響信号の符号化方法
によって符号化された符号データを復号化するための復
号化方法であって、 N通りの基本周波数の音源信号を発生することができる
音源を用意し、前記基本周波数をもった符号データのグ
ループについては、前記音源信号を用いて再生を行い、
前記中間周波数をもった符号データのグループについて
は、前記音源信号に、基本周波数に対するずれ量に相当
する周波数補正を施した補正信号を用いて再生を行うこ
とを特徴とする音響信号の復号化方法。 - 【請求項5】 請求項2に記載の音響信号の符号化方法
によって符号化された符号データを復号化するための復
号化方法であって、 基本周波数に相当するN通りの音源信号を発生すること
ができる音源を用意し、 第i番目の基本周波数f(i,0)をもった符号データ
については、第i番目の音源信号を用いて再生を行い、 第i番目の基本周波数と第(i+1)番目の基本周波数
との中間に定義される(M−1)通りの中間周波数のう
ちの第j番目の中間周波数f(i,j)をもった符号デ
ータについては、第i番目の音源信号もしくは第(i+
1)番目の音源信号に、基本周波数に対するずれ量に相
当する周波数補正を施した補正信号を用いて再生を行う
ことを特徴とする音響信号の復号化方法。 - 【請求項6】 請求項3に記載の音響信号の符号化方法
よって符号化された符号データを復号化するための復号
化方法であって、 基本周波数に相当するN通りの音源信号を発生すること
ができるMIDI音源を用意し、各チャンネルごとに、
前記音源信号に対する固有の周波数補正量を設定し、基
本周波数をもった符号データを含むチャンネルについて
は前記音源信号がそのまま再生され、中間周波数をもっ
た符号データを含むチャンネルについては前記固有の周
波数補正量に基づく周波数補正が行われた音源信号が再
生されるようにしたことを特徴とする音響信号の復号化
方法。 - 【請求項7】 時系列の強度信号として与えられる音響
信号を、時間軸上の所定位置に設定された個々の単位区
間ごとに所定周波数および所定強度をもった周期信号に
よって表現することにより符号化した符号データを復号
化する復号化方法であって、 復号化の対象となる各符号データに用いられている複数
通りの周波数を、基本周波数およびこれら各基本周波数
の中間にそれぞれ定義された中間周波数のいずれかに対
応させ、 前記基本周波数の音源信号を発生することができる音源
を用意し、前記基本周波数をもった符号データについて
は、前記音源信号を用いて再生を行い、前記中間周波数
をもった符号データについては、前記音源信号に周波数
補正を施した補正信号を用いて再生を行うことを特徴と
する音響信号の復号化方法。 - 【請求項8】 請求項1〜7のいずれかに記載の音響信
号の符号化方法または復号化方法をコンピュータに実行
させるためのプログラムを記録したコンピュータ読み取
り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17787699A JP4473979B2 (ja) | 1999-06-24 | 1999-06-24 | 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17787699A JP4473979B2 (ja) | 1999-06-24 | 1999-06-24 | 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001005451A true JP2001005451A (ja) | 2001-01-12 |
JP4473979B2 JP4473979B2 (ja) | 2010-06-02 |
Family
ID=16038613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17787699A Expired - Fee Related JP4473979B2 (ja) | 1999-06-24 | 1999-06-24 | 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4473979B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058149A (ja) * | 2001-08-10 | 2003-02-28 | Dainippon Printing Co Ltd | 周波数解析方法および音響信号の符号化方法 |
-
1999
- 1999-06-24 JP JP17787699A patent/JP4473979B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058149A (ja) * | 2001-08-10 | 2003-02-28 | Dainippon Printing Co Ltd | 周波数解析方法および音響信号の符号化方法 |
JP4662407B2 (ja) * | 2001-08-10 | 2011-03-30 | 大日本印刷株式会社 | 周波数解析方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4473979B2 (ja) | 2010-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4132362B2 (ja) | 音響信号の符号化方法およびプログラム記録媒体 | |
JP3795201B2 (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 | |
JP4037542B2 (ja) | 音響信号の符号化方法 | |
JP2001005450A (ja) | 音響信号の符号化方法 | |
JP2000293188A (ja) | 和音リアルタイム認識方法及び記憶媒体 | |
JP4473979B2 (ja) | 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体 | |
JP4331289B2 (ja) | 音響信号の符号化方法 | |
JP4268322B2 (ja) | 再生用符号化データ作成方法 | |
JP4152502B2 (ja) | 音響信号の符号化装置および符号データの編集装置 | |
JP4220108B2 (ja) | 音響信号符号化システム | |
JP4268328B2 (ja) | 音響信号の符号化方法 | |
JPH1173200A (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 | |
JP2003216147A (ja) | 音響信号の符号化方法 | |
Modegi | Multi-track MIDI encoding algorithm based on GHA for synthesizing vocal sounds | |
JP2002215142A (ja) | 音響信号の符号化方法 | |
JP2002244691A (ja) | 音響信号の符号化方法 | |
JP4156252B2 (ja) | 音響信号の符号化方法 | |
JP3935745B2 (ja) | 音響信号の符号化方法 | |
JP2002123296A (ja) | 音響信号の符号化方法および分離方法 | |
JP4156268B2 (ja) | 時系列信号の周波数解析方法および音響信号の符号化方法 | |
JPH1173199A (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 | |
JP4268327B2 (ja) | 音響信号の符号化方法 | |
JP4580548B2 (ja) | 周波数解析方法 | |
JP4662406B2 (ja) | 周波数解析方法および音響信号の符号化方法 | |
JP4662407B2 (ja) | 周波数解析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |