JP2000075862A - 波形信号の時間軸圧縮伸長装置 - Google Patents

波形信号の時間軸圧縮伸長装置

Info

Publication number
JP2000075862A
JP2000075862A JP10241510A JP24151098A JP2000075862A JP 2000075862 A JP2000075862 A JP 2000075862A JP 10241510 A JP10241510 A JP 10241510A JP 24151098 A JP24151098 A JP 24151098A JP 2000075862 A JP2000075862 A JP 2000075862A
Authority
JP
Japan
Prior art keywords
band
time axis
waveform signal
sub
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10241510A
Other languages
English (en)
Other versions
JP4170458B2 (ja
Inventor
Tadao Kikumoto
忠男 菊本
Atsushi Hoshiai
厚 星合
Satoshi Kusakabe
智 日下部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Roland Corp
Original Assignee
Roland Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Roland Corp filed Critical Roland Corp
Priority to JP24151098A priority Critical patent/JP4170458B2/ja
Publication of JP2000075862A publication Critical patent/JP2000075862A/ja
Priority to US09/536,386 priority patent/US6564187B1/en
Application granted granted Critical
Publication of JP4170458B2 publication Critical patent/JP4170458B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】時間軸上で圧縮伸長しようとする波形信号を複
数の周波数帯域に分割する際の分割数の増加に伴う波形
信号処理量の増加を抑制するようにして、安価なシステ
ムを構築することを可能にする。 【解決手段】波形信号を複数のメイン周波数帯域に分割
し、かつ、各メイン周波数帯域のそれぞれを複数のサブ
周波数帯域に分割した該複数のサブ周波数帯域毎にそれ
ぞれの波形を表す波形データを記憶した記憶手段と、サ
ブ周波数帯域毎に設けられ、各サブ周波数帯域毎の波形
データを基に該波形データが表わす波形の時間軸圧縮伸
長を行なう複数の時間軸圧縮伸長手段と、複数の時間軸
圧縮伸長手段からの信号を合成する合成手段とを有し、
複数の時間軸圧縮伸長手段はそれぞれ、波形の時間軸圧
縮伸長を行うサブ周波数帯域が属するメイン周波数帯域
に対応した処理頻度で圧縮伸長の処理を行なう。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、波形信号の時間軸
圧縮伸長装置に関し、さらに詳細には、時間軸上におけ
る波形信号の圧縮伸長を滑らかに行うことができるよう
にした波形信号の時間軸圧縮伸長装置に関する。
【0002】
【従来の技術】一般に、波形信号を再生する技術とし
て、例えば、録音された波形信号の再生時間を時間軸上
で圧縮伸長する時間軸圧縮伸長(以下、「タイムストレ
ッチ」と適宜称する。)技術が音楽制作の分野でも利用
されるようになってきている。
【0003】ところで、例えば、テープレコーダにおい
ては、テープに録音する際のテープの回転速度とテープ
を再生する際のテープの回転速度とを異ならせることに
より、テープに録音された音声の再生時間を時間軸上で
圧縮伸長することができる。
【0004】即ち、テープの録音時における波形信号が
図1に示すものである場合に、再生時におけるテープの
回転速度を録音時の回転速度より遅くすることによって
再生時間を伸長すると、図1に示す波形信号は、波形が
単に比例的に伸長された図2に示すような波形信号とし
て再生されることになってしまい、再生時間が伸長され
ることにともにない、それと同時に周波数が変化してし
まう(周波数が下がる)こととなっていた。
【0005】このため従来のタイムストレッチ技術にお
いては、波形信号を順次に一時的にデジタルメモリーな
どに記録し、一定の区間を間引いたり、あるいは繰り返
したりして再生時間を時間軸上で圧縮伸長するようにな
されている。
【0006】なお、以下においては、再生時間の時間軸
上での圧縮伸長を、適宜に「圧縮伸長」と簡略化して称
するものとする。
【0007】しかしながら、連続する波形信号を間引い
たり、あるいは繰り返したりすると、間引きあるいは繰
り返しの際における各波形信号のそれぞれの接続点が不
連続になるために雑音が発生するという新たな問題が生
じるものであった。
【0008】このため、上記した各波形信号の接続点を
クロスフェード(なお、「クロスフェード」とは、複数
の波形を連続して再生する際に、ある波形(以下、「第
1波形」と称する。)の終わり部分と当該ある波形に続
くある波形(以下、「第2波形」と称する。)の始まり
部分とをオーバーラップして再生するようにして、この
オーバーラップして再生する際に、第1波形のオーバー
ラップ部分の音量を徐々に減少していくとともに、第2
波形のオーバーラップ部分の音量を徐々に増大させてい
く手法を意味する。)することにより、雑音の発生を抑
止しながら各波形の連続性を保とうとする手法が提案さ
れているが、波形信号の揺らぎやリップルの発生を完全
には防止することができず、根本的な解決策とはなって
いなかった。
【0009】さらに、複数の楽音が混合した波形信号は
周期性が弱くなるため、上記した従来の手法では、間引
きあるいは繰り返しの際における各波形信号のそれぞれ
の接続点においてますます滑らかな接続が難しくなるも
のであった。
【0010】ところで、複数の楽音が混合した波形信号
は、周波数帯域(band:バンド)によってそれぞれ
の波形信号特性が異なる場合が多いことが知られてい
る。
【0011】このため、間引きあるいは繰り返しの際に
おける各波形信号のそれぞれの接続点における不連続性
を解決するために、時間軸上で圧縮伸長しようとする波
形信号を主要な周波数帯域にそれぞれ分割し、分割した
それぞれの周波数帯域の波形信号を独立に圧縮伸長する
ようにして、全体として滑らかな時間軸上の圧縮伸縮を
行うようにした手法が提案されている。
【0012】この手法においては、倍音を多数含んだ複
雑な波形信号はできるだけ多くの周波数帯域に分割した
ほうが、より滑らかな時間軸上の圧縮伸長ができること
になるものであるが、バンド(周波数帯域)数を増加す
ると波形信号処理量が膨大になってしまい、安価なシス
テムを構築することが困難になるという問題点があっ
た。
【0013】
【発明が解決しようとする課題】本発明は、上記したよ
うな従来の技術の有する問題点に鑑みてなされたもので
あり、その目的とするところは、時間軸上で圧縮伸長し
ようとする波形信号を主要な周波数帯域にそれぞれ分割
し、分割したそれぞれの周波数帯域の波形信号を独立に
圧縮伸長するようにして、全体として滑らかな時間軸上
の圧縮伸縮を行う処理の際に、分割するバンド(周波数
帯域)数の増加に伴う波形信号処理量の増加を抑制する
ようにして、安価なシステムを構築することを可能にし
た波形信号の時間軸圧縮伸長装置を提供しようとするも
のである。
【0014】
【課題を解決するための手段】上記目的を達成するため
に、本発明による波形信号の時間軸圧縮伸長装置は、マ
ルチレイトサンプリング技術を応用して、波形信号処理
量の増加を抑制するようにしたものである。
【0015】以下、本発明による波形信号の時間軸圧縮
伸長装置の原理を説明するが、本発明による波形信号の
時間軸圧縮伸長装置は、人の聴覚が、音量だけでなく周
波数軸上でも線形よりも対数に近い尺度で反応する傾向
があることを利用したものである。
【0016】ここで、マルチレイトサンプリング技術と
は、波形信号の周波数帯域を上から順に半分づつに分割
し、サンプリングレイトもそれに応じて順に半分に落と
していくサンプリング方式であり、このため下位のバン
ドほどサンプリングレイトが低くなるので、全体として
の波形信号の処理量を軽減することができる波形信号の
処理方式である。
【0017】そして、従来のマルチレイトサンプリング
技術においては、各バンドはオクターブの周波数帯域幅
を有するようになされている。
【0018】しかしながら、波形信号の特性によって
は、周波数帯域幅がオクターブではまだ広すぎる場合が
多いことに鑑み、本発明による波形信号の時間軸圧縮伸
長装置においては、波形信号の周波数帯域を複数のメイ
ン周波数帯域(以下、適宜に「メインバンド」と称す
る。)に分割し、さらに各メイン周波数帯域をそれぞれ
を複数のサブ周波数帯域(以下、適宜に「サブバンド」
と称する。)に分割するようにしたものである。
【0019】また、各メイン周波数帯域をそれぞれを複
数のサブ周波数帯域に分割する際に、メイン周波数帯域
を線形、即ち、等間隔に分割するようにしてもよい。こ
のようにした場合には、あるメイン周波数帯域における
複数のサブ周波数帯域は同一のサンプリングレイトであ
り、かつ、周波数帯域幅も同一であるので、各サブ周波
数帯域の処理をソフトウエアで構成するならば共通の処
理プログラムルーチンを共用することができるようにな
る。
【0020】なお、波形信号によってスペクトルに片寄
りがあるので、メイン周波数帯域のサブ周波数帯域への
分割数は個々に設定すれば良い。
【0021】また、波形信号に低い周波数成分が無い場
合には、下位のバンドの処理を省略して上位のバンドの
処理のみを行うようにし、またその逆に、波形信号に高
域成分が無い場合には、上位のバンドの処理を省略して
下位のバンドの処理のみを行うようにすると、波形信号
の処理量を大幅に節減できるようになる。
【0022】また、基本周波数が高い波形信号はメイン
バンドの分割数が少なくて済むので、サンプルレイトを
半分に逓減するのを中止して、それを最下位バンドとす
るようにしてもよい。また、各メインバンド内の分割
数、即ち、サブバンド数も少なくて済むようになる。例
えば、32kHzサンプリングレイトで2KHzを基本
周波数とする14KHzまでの周波数の波形信号成分を
処理するには、32kHz、16kHzおよび8kHz
のサンプルレイトの3つのメインバンドに分割すればよ
く、また、各メインバンドにおけるサブバンド数もそれ
ぞれ8、4、2とすれば、当該波形信号の全倍音成分を
分離することができるようになる。
【0023】なお、自然の音声は高域ほど揺らぎが大き
いので、上位のメインバンドほどサブバンド数を減らす
ことができる。従って、各サンプリングレイト段のメイ
ンバンドを同じ数のサブバンドに分割すれば、あるメイ
ンバンドの信号処理プログラムは他の同じサンプリング
レイト段のルーチンを利用でき、プログラムを大幅に短
縮することができるようになる。
【0024】なお、このようにすると、上位のメインバ
ンドの周波数帯域幅が下位のメインバンドに比べて広く
なってしまうが、本願出願人による実験の結果、ほとん
どの自然音の高域成分は信号レベルが低い上に非周期成
分が多いので、上位のメインバンドの周波数帯域幅が下
位のメインバンドに比べて広くなっても音質の変化は非
常に少ないことが判明した。
【0025】これとは逆に、下位のメインバンドには自
然音の主要な成分が含まれているが、下位のメインバン
ドは周波数帯域幅が十分に狭いために、時間軸上の圧縮
伸長を滑らかに行うことができる。
【0026】上記したように、上位のメインバンドほど
周波数帯域幅を広くし、下位のメインバンドほど周波数
帯域幅を狭くするというように、周波数に応じて広狭を
つけて周波数帯域を分割すると、周波数帯域の分割を周
波数線形で等間隔で細かく分割した場合に比べて、信号
処理時間を大幅に短縮することができる。
【0027】また、上位のメインバンドほど周波数帯域
幅を広くすると、鋭い立ち上がりの波形信号に対する応
答がよくなる。
【0028】即ち、本発明においては、こうした聴覚の
特性を利用したマルチレイトによる信号処理技術を用い
て、高速かつ音質の優れた波形信号の時間上の圧縮伸長
を行うようにしたものである。
【0029】上記した本発明の原理に鑑みて、本発明の
うち請求項1に記載の発明は、波形信号を複数のメイン
周波数帯域に分割し、かつ、各メイン周波数帯域のそれ
ぞれを複数のサブ周波数帯域に分割した該複数のサブ周
波数帯域毎にそれぞれの波形を表す波形データを記憶し
た記憶手段と、上記サブ周波数帯域毎に設けられ、各サ
ブ周波数帯域毎の波形データを基に該波形データが表わ
す波形の時間軸圧縮伸長を行なう複数の時間軸圧縮伸長
手段と、上記複数の時間軸圧縮伸長手段からの信号を合
成する合成手段とを有し、上記複数の時間軸圧縮伸長手
段はそれぞれ、波形の時間軸圧縮伸長を行うサブ周波数
帯域が属するメイン周波数帯域に対応した処理頻度で圧
縮伸長の処理を行なうようにしたものである。
【0030】また、本発明のうち請求項2に記載の発明
は、本発明のうち請求項1に記載の発明において、各メ
イン周波数帯域におけるサブ周波数帯域の帯域数は同一
であるようにしたものである。
【0031】また、本発明のうち請求項3に記載の発明
は、本発明のうち請求項2に記載の発明において、上記
波形信号の時間軸圧縮伸長装置はソフトウエアで構成さ
れるものであって、あるメイン周波数帯域における時間
軸圧縮伸長処理プログラムルーチンを他のメイン周波数
帯域の時間軸圧縮伸長処理プログラムルーチンと共用す
るようにしたものである。
【0032】また、本発明のうち請求項4に記載の発明
は、本発明のうち請求項2または3に記載の発明におい
て、上記波形信号の時間軸圧縮伸長装置はソフトウエア
で構成されるものであって、同一のメイン周波数帯域に
属するサブ周波数帯域の時間軸圧縮伸長手段は、同一の
処理プログラムルーチンを使用するようにしたものであ
る。
【0033】また、本発明のうち請求項5に記載の発明
は、波形信号を複数のメイン周波数帯域に分割し、か
つ、各メイン周波数帯域のそれぞれの波形信号を複数の
サブ周波数帯域に分割した該複数のサブ周波数帯域毎に
それぞれの波形を表す波形データを記憶した記憶手段
と、上記サブ周波数帯域毎に設けられ、各サブ周波数帯
域毎の波形データを基に該波形データが表わす波形の時
間軸圧縮伸長を行なう複数の時間軸圧縮伸長手段と、上
記複数の時間軸圧縮伸長手段からの信号を合成する合成
手段とを有し、同一のメイン周波数帯域に属するサブ周
波数帯域の時間軸圧縮伸長手段は、同一の処理頻度で圧
縮伸長の処理を行うものであり、かつ、あるメイン周波
数帯域に属するサブ周波数帯域の時間軸圧縮伸長手段
は、他のメイン周波数帯域に属するサブ周波数帯域の時
間軸圧縮伸長手段と処理頻度が異なるようにしたもので
ある。
【0034】なお、本発明のうち請求項1ならびに請求
項5に記載の発明における「処理頻度」とは、例えば、
サンプリングレイトとすることができる。
【0035】
【発明の実施の形態】以下、添付の図面を参照しなが
ら、本発明による波形信号の時間軸圧縮伸長装置の実施
の形態の一例を詳細に説明する。
【0036】図3には、本発明による波形信号の時間軸
圧縮伸長装置(以下、適宜に「本発明装置」と称す
る。)の実施の形態の一例を実現するためのハードウエ
アのブロック構成図が示されている。
【0037】即ち、本発明装置は、中央処理装置(CP
U)10により全体の動作の制御が行われるものであ
り、このCPU10には、バスを介して、CPU10が
実行するプログラムなどが格納されたリード・オンリ・
メモリ(ROM)12と、CPU10がROM12に記
憶されたプログラムを実行する際のワーキングエリアな
どが設定されたランダム・アクセス・メモリ(RAM)
14と、メインバンド数たるマルチレイト分割バンド数
や各メインバンドのサブバンド数を設定するための操作
子16と、外部のMIDI機器と接続するためのMID
Iインターフェース(MIDI interface)
18と、後述するフローチャートに示される分析処理や
変換合成処理のプログラムを実行するデジタル・シグナ
ル・プロセッサ(DSP)20とが接続されている。
【0038】また、DSP20には、DSP20がプロ
グラムを実行する際のワーキングエリアなどが設定され
たランダム・アクセス・メモリ(RAM)22と、アナ
ログの波形信号をデジタルの波形信号に変換してDSP
20へ入力するアナログ/デジタル変換器(A/D)2
4と、DSP20から出力されたデジタルの波形信号を
アナログの波形信号に変換して出力するデジタル/アナ
ログ変換器(D/A)26とが接続されている。
【0039】ここで、本発明装置においては、DSP2
0により波形信号の処理が行われるものである。
【0040】まず、アナログ/デジタル変換器24を介
してアナログ/デジタル変換されて入力された波形信号
は、図4に示すように、基本の44kHzのサンプルレ
イトから始めて、22kHz、11kHz、5.5kH
z、2.75kHz、1.38kHz、0.68kHz
の6個のメインバンドに分割される。そして、各サンプ
ルレイトのメインバンドは、さらに4個のサブバンドに
等分割されるものである。
【0041】なお、図4においては、説明の都合上、1
4.67kHzから22kHzのバンドの図示は省略し
た。
【0042】また、この実施の形態においては、波形信
号のピッチを1.5倍まで変化できるように、最上位の
メインバンドは7.33kHzからその2倍の14.6
7kHzに制限している。
【0043】図5には、DSP20による波形信号の時
間軸圧縮伸長処理を実現するための回路のブロック構成
図が示されており、当該回路はマルチレイト分析部とマ
ルチレイト合成部とより構成されている。
【0044】ここで、マルチレイト分析部は、波形信号
をメインバンドとサブバンドとに分割するマルチレイト
前処理部と、各サブバンドの振幅値と瞬間周波数とを分
析するサブバンド分析部と、サブバンド分析部により分
析された振幅値と瞬間周波数とを記憶する記憶部とより
構成されている。
【0045】また、マルチレイト合成部は、サブバンド
分析部により分析された振幅値と瞬間周波数とを記憶す
る記憶部(即ち、記憶部は、マルチレイト分析部とマル
チレイト合成部との双方の構成要素として用いられ
る。)と、振幅値と瞬間周波数とから波形信号を生成す
るためのサブバンド変換合成部と、サンプルレイト変換
部とより構成されている。
【0046】ここで、図6には、マルチレイト前処理部
の詳細なブロック構成図が示されており、このマルチレ
イト前処理部は、低域フィルタとサンプル間引き処理回
路と減算器とより構成されている。
【0047】また、図7には、サブバンド変換合成部の
詳細なブロック構成図が示されており、このサブバンド
変換合成部は、時間周波数変換処理回路と余弦発振器と
乗算器とより構成されている。
【0048】さらに、図8には、サンプルレイト変換部
の詳細なブロック構成図が示されており、このサンプル
レイト変換部は、サンプル逓倍回路と低域フィルタとよ
り構成されている。
【0049】以上の構成において、マルチレイト分析部
における分析処理を説明すると、入力される波形信号た
る入力信号x(n)は、マルチレイト分析部のマルチレ
イト前処理部に入力される。そして、マルチレイト前処
理部においては、入力信号x(n)を低域フィルタに通
過させ、低域フィルタによって入力信号x(n)のうち
の下位のバンド(メインバンド)の成分を減算した後の
差分が、バンド(メインバンド)0の成分とされる。そ
して、このバンド(メインバンド)0の成分は、バンド
(メインバンド)0のサブバンド分析部に送られること
になる。
【0050】上記と同様な処理により、順に各メインバ
ンドの成分が得られ、各メインバンドのサブバンド分析
部へ送られる。
【0051】各サブバンド分析部における処理において
は、メインバンドが4個のサブバンドに分割されて振幅
値と瞬間周波数とが分析されるようになされている。
【0052】なお、分析された各サブバンドの波形デー
タ(振幅値および瞬間周波数)は周波数帯域が制限され
ているので、大幅に標本化周期を間引き情報量を圧縮し
て記憶部に記憶することができる。この実施の形態の場
合には、最大16分の1まで間引くことができるが、説
明を簡略化にするため、圧縮と解凍の処理は省略した。
【0053】ここで、マルチレイト前処理部の処理を、
さらに詳細に説明すると、低域フルタを通過した波形信
号は、一周期毎にサンプル間引されて下位のバンド(メ
インバンド)へ送られることになる。そして、バンド
(メインバンド)1では、サンプルレイトはバンド(メ
インバンド)0の2分の1で同じ処理が実行され、4個
のサブバンド分の解析データが上位バンド(メインバン
ド)の半分の処理時間で計算できることになる。以下、
同様にして、バンド(メインバンド)4まで処理を進め
ていく。最下位のバンド(メインバンド)5は、図9に
示すように、サブバンドの帯域幅をバンド(メインバン
ド)4と同じにするならば、分析されたバンド(メイン
バンド)の中心周波数が異なるだけで、サブバンドの処
理過程はバンド(メインバンド)4の場合と全く同じで
良い。また、バンド(メインバンド)4とバンド(メイ
ンバンド)5とを併せて、8個のサブバンドを最下位バ
ンド(メインバンド)の処理としてもよい。
【0054】以上において説明したマルチレイト分析部
における分析処理は、入力信号x(n)を刻々実時間で
実行しても良いが、入力信号x(n)の一定区間または
全部をデジタルメモリにロードして、バンド(メインバ
ンド)0の分析を終了してからバンド(メインバンド)
1以下の下位のバンド(メインバンド)を順次に分析し
ていっても良い。
【0055】また、この実施の形態においては、バンド
(メインバンド)の成分を当該バンド(メインバンド)
のサンプルレイトで処理して、直接サブバンドの振幅値
および瞬間周波数を分析したが、図10に示すように、
一旦、サンプルレイトfsの4分の1のexp−j(w
s/4)nを乗算して複素成分に分解してから、さらに
フィルタでサブバンドに分割してから分析しても良い。
このようにすると、サンプルレイトを4分の1に下げる
ことができる。
【0056】そして、上記したマルチレイト分析部にお
ける分析処理をデジタル信号処理プログラムで実行する
場合には、マルチレイト前処理は各バンド(メインバン
ド)で共通化することができ、各バンド(メインバン
ド)における各サブバンドの分析処理も共通の処理ルー
チンで実行することができる。
【0057】このように、各バンド(メインバンド)に
おけるマルチレイト前処理のルーチンの共通化を図り、
また、各サブバンドの分析処理のルーチンの共通化を図
ることにより、デジタル信号処理プログラムの短縮化と
高速化とを実現することができる。
【0058】図11は、上記したマルチレイト分析部に
おける分析処理をDSP20のプログラムで実行する場
合のルーチンを示すフローチャートである。
【0059】このルーチンにおいては、まず、分析区間
読み込みの処理を行う(ステップS1102)。即ち、
一定の区間の波形信号(入力信号)を分析のために、D
SP20のメモリにロードする。
【0060】次に、バンド(メインバンド)を示す変数
Kを0に設定して、バンド0を選択する(ステップS1
104)。
【0061】次に、バンド分割ならびにサンプル逓減の
処理を行う(ステップS1106)。即ち、入力された
分析区間の波形信号を低域フィルタで高域と低域とに分
割する。そして、低域成分はサンプリングを半分に間引
いて、下位バンド(メインバンド)へ送る。
【0062】次に、サブバンドを示す変数Nを0に設定
して、サブバンド0を選択する(ステップS110
8)。
【0063】次に、サブバンドNの解析を行う(ステッ
プS1110)。即ち、ステップS1106において分
割された高域信号は、さらにサブバンドNに分離され、
その波形信号の振幅値と瞬間周波数とに変換される。バ
ンド(メインバンド)のサンプルレイトが半分になるに
つれて、分割のための低域フィルタの帯域幅も半分にな
る。従って、低域フィルタなどの係数も、この分析処理
のルーチンと同様に全バンド(メインバンド)で同じも
のが利用できるようになる。ただし、下位バンド(メイ
ンバンド)になるほど、分析の対象になるデータサンプ
ル数が半減する。つまりバンド変数Kによって計算サン
プル数を変えるようにして、バンド(メインバンド)の
サンプルレイトに対応する数のサンプルを計算する。
【0064】次に、ステップS1110におけるバンド
K、サブバンドNの分析データを所定のメモリ領域に書
き込む(ステップS1112)。
【0065】次に、サブバンドの変数Nを1だけインク
リメントして、次のサブバンド処理に移る(ステップS
1114)。
【0066】次に、サブバンドの変数Nが3であるか否
かを判断する(ステップS1116)。ここで、ステッ
プS1116の判断結果がNo(否定)、即ち、サブバ
ンドの変数Nが3でなくて全サブバンドの分析が終了し
ていないと判断された場合には、ステップS1110へ
戻って次のサブバンドの分析の処理を行う。
【0067】一方、ステップS1116の判断結果がY
es(肯定)、即ち、サブバンドの変数Nが3であり全
サブバンドの分析が終了したと判断された場合には、バ
ンド(メインバンド)の変数Kを1だけインクリメント
して、次のバンドを指定する(ステップS1118)。
【0068】次に、バンド(メインバンド)の変数Kが
5であるか否かを判断する(ステップS1120)。こ
こで、ステップS1120の判断結果が否定、即ち、バ
ンド(メインバンド)の変数Kが5でなくて最下位バン
ド(メインバンド)はないと判断された場合には、ステ
ップS1106へ戻って次のバンド(メインバンド)の
分割の処理を行う。
【0069】一方、ステップS1120の判断結果が肯
定、即ち、バンド(メインバンド)の変数Kが5であり
最下位バンド(メインバンド)であると判断された場合
には、バンド(メインバンド)5に特有の分析処理を行
う(ステップS1122)。即ち、最下位バンド(メイ
ンバンド)はその上位のバンド(メインバンド)と帯域
幅を同じにすれば、上位バンド(メインバンド)と同じ
ルーチンを利用することもできる。ただし、サンプルレ
イトは同じでバンド(メインバンド)の中心(分析)周
波数だけが異なる。つまり、バンド(メインバンド)4
とバンド(メインバンド)5とを併せて、8個のサブバ
ンドの最下位バンド(メインバンド)処理になる。
【0070】次に、全分析区間を完了したか否かを判断
する(ステップS1124)。ここで、ステップS11
24の判断結果が否定、即ち、全分析区間を完了してい
ないと判断された場合には、ステップS1102へ戻っ
て次の区間の処理を行う。
【0071】一方、ステップS1124の判断結果が肯
定、即ち、全分析区間を完了していると判断された場合
には、このルーチンの処理を終了する。
【0072】次に、マルチレイト合成部における変換合
成処理について説明すると、各バンド(メインバンド)
の記憶部から読み出された振幅値と瞬間周波数情報と
は、サブバンド変換合成部で時間圧縮伸長と周波数変換
された後に、加算合成と同じ原理で各バンド(メインバ
ンド)の余弦発振器(サイン波発振器)が倍音を作るこ
とになる。
【0073】各バンド(メインバンド)の倍音は、サン
プルレイト変換部でサンプルレイトを逓倍した後に、上
位のバンド(メインバンド)に加算され、順次上位のサ
ンプルレイトに変換合成されていく。この実施の形態に
おいては、波形信号のデータは間引き圧縮されていない
ので、直接バンド(メインバンド)のサンプルレイトで
復号することになる。
【0074】一方、データが間引かれている場合には、
低いサンプルレイトで時間周波数の変換処理をした後
に、サンプルレイトを逓倍して倍音の合成をすることも
できるものである。
【0075】なお、マルチレイト合成部における出力シ
フトレジスタは、サンプルレイトの異なるバンド(メイ
ンバンド)間の信号のバッファと同期化のために、一定
区間のデータを保持して送出するものである。
【0076】図12は、上記したマルチレイト合成部に
おける変換合成処理をDSP20のプログラムで実行す
る場合のルーチンを示すフローチャートである。
【0077】このルーチンにおいては、まず、合成のた
めに記憶部から一定区間の分析データをDSP20のメ
モリにロードする(ステップS1202)。
【0078】次に、バンド(メインバンド)を示す変数
Kを0に設定して、バンド0を選択する(ステップS1
204)。
【0079】次に、サブバンドを示す変数Nを0に設定
して、サブバンド0を選択する(ステップS120
6)。
【0080】次に、バンド(メインバンド)Kのサブバ
ンドNの分析データをもとに、一定区間の波形信号を合
成する(ステップS1208)。ここで、一定区間と
は、ステップS1202で読み込まれた分析データによ
り合成できる区間である。バンド(メインバンド)が下
位になるに従って、合成サンプル数は半減していくが、
波形信号の再生時間は等しいものである。即ち、バンド
(メインバンド)数が6個の場合には、最上位バンド
(メインバンド)は最下位バンド(メインバンド)の3
2倍になる。
【0081】この実施の形態においては、最上位サンプ
ル数の32倍を基本単位またはその整数倍を合成区間と
すればよい。この場合には、基本単位は約0.7ミリ秒
と十分に短い値となる。
【0082】変換合成においても、サンプリングレイ
ト、即ち、バンド(メインバンド)が異なっていても同
じルーチンが利用できるが、上記した図11のマルチレ
イト分析部における分析処理において説明したように、
サンプリングレイト、即ち、バンド(メインバンド)が
半分になるに従って、計算するデータ量も半減する。つ
まりバンド(メインバンド)の変数Kによって計算サン
プル数を変えるようにして、バンド(メインバンド)の
サンプルレイトに対応する数のサンプルを計算する。
【0083】次に、合成された区間の波形信号サンプル
データをバンド(メインバンド)Kの出力レジスタに加
算する(ステップS1210)。出力レジスタには、先
に合成したサブバンドの合成信号系列が合算されてい
る。この出力レジスタはシフトレジスタになっていて、
バンド(メインバンド)Kのサンプルレイトでデータを
シフト出力していく。全サブバンドの合成信号が加算さ
れた時点で、下位バンド(メインバンド)からの合成信
号と加算されてサンプルレイト変換部へ送られる。
【0084】次に、サブバンドの変数Nを1だけインク
リメントして、次のサブバンド処理に移る(ステップS
1212)。
【0085】次に、サブバンドの変数Nが3であるか否
かを判断する(ステップS1214)。ここで、ステッ
プS1214の判断結果が否定、即ち、サブバンドの変
数Nが3でなくて全サブバンドの分析が終了していない
と判断された場合には、ステップS1208へ戻って次
のサブバンドの分析の処理を行う。
【0086】一方、ステップS1214の判断結果が肯
定、即ち、サブバンドの変数Nが3であり全サブバンド
の分析が終了したと判断された場合には、バンド(メイ
ンバンド)の変数Kを1だけインクリメントして、次の
バンドを指定する(ステップS1216)。
【0087】次に、バンド(メインバンド)の変数Kが
5であるか否かを判断する(ステップS1218)。こ
こで、ステップS1218の判断結果が否定、即ち、バ
ンド(メインバンド)の変数Kが5でなくて最下位バン
ド(メインバンド)はないと判断された場合には、ステ
ップS1206へ戻って次のバンド(メインバンド)の
分割の処理を行う。
【0088】一方、ステップS1218の判断結果が肯
定、即ち、バンド(メインバンド)の変数Kが5であり
最下位バンド(メインバンド)であると判断された場合
には、バンド(メインバンド)5に特有の合成処理を行
う(ステップS1220)。即ち、最下位バンド(メイ
ンバンド)はその上位のバンド(メインバンド)と帯域
幅が同じなので、上位バンド(メインバンド)と同じル
ーチンを利用することもできる。ただし、サンプルレイ
トは同じだが、バンド(メインバンド)の中心(合成)
周波数だけが異なる。
【0089】次に、全合成区間を完了したか否かを判断
する(ステップS1222)。ここで、ステップS12
22の判断結果が否定、即ち、全合成区間を完了してい
ないと判断された場合には、ステップS1202へ戻っ
て次の区間の処理を行う。
【0090】一方、ステップS1222の判断結果が肯
定、即ち、全合成区間を完了していると判断された場合
には、このルーチンの処理を終了する。
【0091】なお、上記した実施の形態においては、本
発明を時間軸上の圧縮伸長、即ち、タイムストレッチに
適用した場合について説明したが、これに限られるもの
ではないことは勿論であり、分析パラメータや分析され
た各バンド(メインバンド)の波形データを基に、鍵盤
などの指示により音高や時間を変化して瞬時に発音する
楽音発生処理に適用してもよいことは勿論である。
【0092】
【発明の効果】本発明は、以上説明したように構成され
ているので、時間軸上で圧縮伸長しようとする波形信号
を主要な周波数帯域にそれぞれ分割し、分割したそれぞ
れの周波数帯域の波形信号を独立に圧縮伸長するように
して、全体として滑らかな時間軸上の圧縮伸縮を行うよ
うにする際に、分割するバンド(周波数帯域)数の増加
に伴う波形信号処理量の増加を抑制することができ、こ
のため安価なシステムを構築することができるという優
れた効果を奏する。
【図面の簡単な説明】
【図1】テープの録音時における波形信号(伸長前の波
形信号)を示す波形説明図である。
【図2】テープの回転速度を録音時より遅くした再生時
における波形信号(伸長後の波形信号)を示す波形説明
図である。
【図3】本発明による波形信号の時間軸圧縮伸長装置の
実施の形態の一例を実現するためのハードウエアのブロ
ック構成図である。
【図4】バンド(メインバンド)とサブバンドとの関係
を示す波形説明図である。
【図5】DSPによる波形信号の時間軸圧縮伸長処理を
実現するための回路のブロック構成図である。
【図6】マルチレイト前処理部の詳細なブロック構成図
である。
【図7】サブバンド変換合成部の詳細なブロック構成図
である。
【図8】サンプルレイト変換部の詳細なブロック構成図
である。
【図9】最下位バンド(メインバンド)のサブバンドの
分割処理を示す波形説明図である。
【図10】バンド信号の複素化を示す波形説明図であ
る。
【図11】マルチレイト分析部における分析処理をDS
Pのプログラムで実行する場合のルーチンを示すフロー
チャートである。
【図12】マルチレイト合成部における変換合成処理を
DSPのプログラムで実行する場合のルーチンを示すフ
ローチャートである。
【符号の説明】
10 中央処理装置(CPU) 12 リード・オンリ・メモリ(ROM) 14 ランダム・アクセス・メモリ(RAM) 16 操作子 18 MIDIインターフェース(MIDI in
terface) 20 デジタル・シグナル・プロセッサ(DSP) 22 ランダム・アクセス・メモリ(RAM) 24 アナログ/デジタル変換器(A/D) 26 デジタル/アナログ変換器(D/A)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 日下部 智 大阪府大阪市北区堂島浜1丁目4番16号 ローランド株式会社内 Fターム(参考) 5D378 AD53 AD54 AD59 AD68 BB06

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 波形信号を複数のメイン周波数帯域に分
    割し、かつ、各メイン周波数帯域のそれぞれを複数のサ
    ブ周波数帯域に分割した該複数のサブ周波数帯域毎にそ
    れぞれの波形を表す波形データを記憶した記憶手段と、 前記サブ周波数帯域毎に設けられ、各サブ周波数帯域毎
    の波形データを基に該波形データが表わす波形の時間軸
    圧縮伸長を行なう複数の時間軸圧縮伸長手段と、 前記複数の時間軸圧縮伸長手段からの信号を合成する合
    成手段とを有し、 前記複数の時間軸圧縮伸長手段はそれぞれ、波形の時間
    軸圧縮伸長を行うサブ周波数帯域が属するメイン周波数
    帯域に対応した処理頻度で圧縮伸長の処理を行なうもの
    である波形信号の時間軸圧縮伸長装置。
  2. 【請求項2】 請求項1に記載の波形信号の時間軸圧縮
    伸長装置において、 各メイン周波数帯域におけるサブ周波数帯域の帯域数は
    同一である波形信号の時間軸圧縮伸長装置。
  3. 【請求項3】 請求項2に記載の波形信号の時間軸圧縮
    伸長装置において、 前記波形信号の時間軸圧縮伸長装置はソフトウエアで構
    成されるものであって、 あるメイン周波数帯域における時間軸圧縮伸長処理プロ
    グラムルーチンを他のメイン周波数帯域の時間軸圧縮伸
    長処理プログラムルーチンと共用するものである波形信
    号の時間軸圧縮伸長装置。
  4. 【請求項4】 請求項2または3に記載の波形信号の時
    間軸圧縮伸長装置において、 前記波形信号の時間軸圧縮伸長装置はソフトウエアで構
    成されるものであって、 同一のメイン周波数帯域に属するサブ周波数帯域の時間
    軸圧縮伸長手段は、同一の処理プログラムルーチンを使
    用するものである波形信号の時間軸圧縮伸長装置。
  5. 【請求項5】 波形信号を複数のメイン周波数帯域に分
    割し、かつ、各メイン周波数帯域のそれぞれの波形信号
    を複数のサブ周波数帯域に分割した該複数のサブ周波数
    帯域毎にそれぞれの波形を表す波形データを記憶した記
    憶手段と、 前記サブ周波数帯域毎に設けられ、各サブ周波数帯域毎
    の波形データを基に該波形データが表わす波形の時間軸
    圧縮伸長を行なう複数の時間軸圧縮伸長手段と、 前記複数の時間軸圧縮伸長手段からの信号を合成する合
    成手段とを有し、 同一のメイン周波数帯域に属するサブ周波数帯域の時間
    軸圧縮伸長手段は、同一の処理頻度で圧縮伸長の処理を
    行うものであり、かつ、あるメイン周波数帯域に属する
    サブ周波数帯域の時間軸圧縮伸長手段は、他のメイン周
    波数帯域に属するサブ周波数帯域の時間軸圧縮伸長手段
    と処理頻度が異なるものである波形信号の時間軸圧縮伸
    長装置。
JP24151098A 1998-08-27 1998-08-27 波形信号の時間軸圧縮伸長装置 Expired - Fee Related JP4170458B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP24151098A JP4170458B2 (ja) 1998-08-27 1998-08-27 波形信号の時間軸圧縮伸長装置
US09/536,386 US6564187B1 (en) 1998-08-27 2000-03-28 Waveform signal compression and expansion along time axis having different sampling rates for different main-frequency bands

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP24151098A JP4170458B2 (ja) 1998-08-27 1998-08-27 波形信号の時間軸圧縮伸長装置
US09/536,386 US6564187B1 (en) 1998-08-27 2000-03-28 Waveform signal compression and expansion along time axis having different sampling rates for different main-frequency bands

Publications (2)

Publication Number Publication Date
JP2000075862A true JP2000075862A (ja) 2000-03-14
JP4170458B2 JP4170458B2 (ja) 2008-10-22

Family

ID=27615032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24151098A Expired - Fee Related JP4170458B2 (ja) 1998-08-27 1998-08-27 波形信号の時間軸圧縮伸長装置

Country Status (2)

Country Link
US (1) US6564187B1 (ja)
JP (1) JP4170458B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010210757A (ja) * 2009-03-09 2010-09-24 Casio Computer Co Ltd 楽音発生装置および楽音発生プログラム
CN1627635B (zh) * 2003-12-09 2011-06-15 日本电气株式会社 信号压缩/扩张设备和移动通信终端
CN106373590A (zh) * 2016-08-29 2017-02-01 湖南理工学院 一种基于语音实时时长调整的声音变速控制系统和方法
CN112735455A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 声音信息的处理方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0608269B8 (pt) * 2005-04-01 2019-09-03 Qualcomm Inc método e aparelho para quantização vetorial de uma representação de envelope espectral
CN101199004B (zh) 2005-04-22 2011-11-09 高通股份有限公司 用于增益因数平滑的系统、方法及设备
USRE47633E1 (en) 2005-06-22 2019-10-01 Odyssey Wireless Inc. Systems/methods of conducting a financial transaction using a smartphone
US8233554B2 (en) 2010-03-29 2012-07-31 Eices Research, Inc. Increased capacity communications for OFDM-based wireless communications systems/methods/devices
US8670493B2 (en) 2005-06-22 2014-03-11 Eices Research, Inc. Systems and/or methods of increased privacy wireless communications
US7474974B2 (en) * 2007-01-31 2009-01-06 Mcgill University Embedded time domain analyzer for high speed circuits
US9374746B1 (en) 2008-07-07 2016-06-21 Odyssey Wireless, Inc. Systems/methods of spatial multiplexing
US20100169105A1 (en) * 2008-12-29 2010-07-01 Youngtack Shim Discrete time expansion systems and methods
US9093120B2 (en) * 2011-02-10 2015-07-28 Yahoo! Inc. Audio fingerprint extraction by scaling in time and resampling

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5754792B2 (ja) 1974-03-01 1982-11-19
US4876937A (en) 1983-09-12 1989-10-31 Yamaha Corporation Apparatus for producing rhythmically aligned tones from stored wave data
DE3534064A1 (de) 1984-09-26 1986-04-03 Mitsubishi Denki K.K., Tokio/Tokyo Empfangsgeraet
US5347478A (en) 1991-06-09 1994-09-13 Yamaha Corporation Method of and device for compressing and reproducing waveform data
JP3163119B2 (ja) 1991-07-19 2001-05-08 シャープ株式会社 記録再生装置
US5412152A (en) 1991-10-18 1995-05-02 Yamaha Corporation Device for forming tone source data using analyzed parameters
US5315057A (en) 1991-11-25 1994-05-24 Lucasarts Entertainment Company Method and apparatus for dynamically composing music and sound effects using a computer entertainment system
US5350882A (en) 1991-12-04 1994-09-27 Casio Computer Co., Ltd. Automatic performance apparatus with operated rotation means for tempo control
KR950009380B1 (ko) 1992-02-28 1995-08-21 삼성전자주식회사 레이저 디스크 플레이어 가라오케장치
US5717818A (en) 1992-08-18 1998-02-10 Hitachi, Ltd. Audio signal storing apparatus having a function for converting speech speed
JP3381074B2 (ja) 1992-09-21 2003-02-24 ソニー株式会社 音響構成装置
US5675709A (en) 1993-01-21 1997-10-07 Fuji Xerox Co., Ltd. System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data
US5611018A (en) 1993-09-18 1997-03-11 Sanyo Electric Co., Ltd. System for controlling voice speed of an input signal
US5511000A (en) 1993-11-18 1996-04-23 Kaloi; Dennis M. Electronic solid-state record/playback device and system
JP3548230B2 (ja) 1994-05-30 2004-07-28 キヤノン株式会社 音声合成方法及び装置
KR0129829B1 (ko) 1994-09-28 1998-04-17 오영환 음향 변속 재생장치
JPH08115100A (ja) 1994-10-13 1996-05-07 Olympus Optical Co Ltd 音声データ処理装置
JPH0916457A (ja) 1995-06-28 1997-01-17 Fujitsu Ltd マルチメディアデータ検索システム
US5809454A (en) 1995-06-30 1998-09-15 Sanyo Electric Co., Ltd. Audio reproducing apparatus having voice speed converting function
US5763800A (en) 1995-08-14 1998-06-09 Creative Labs, Inc. Method and apparatus for formatting digital audio data
US5765129A (en) 1995-09-14 1998-06-09 Hyman; Gregory E. Voice recording and playback module
US5792971A (en) 1995-09-29 1998-08-11 Opcode Systems, Inc. Method and system for editing digital audio information with music-like parameters
JP4132109B2 (ja) 1995-10-26 2008-08-13 ソニー株式会社 音声信号の再生方法及び装置、並びに音声復号化方法及び装置、並びに音声合成方法及び装置
JP3220396B2 (ja) 1996-11-05 2001-10-22 株式会社河合楽器製作所 楽音波形再生装置
US5734119A (en) 1996-12-19 1998-03-31 Invision Interactive, Inc. Method for streaming transmission of compressed music
SG65729A1 (en) 1997-01-31 1999-06-22 Yamaha Corp Tone generating device and method using a time stretch/compression control technique
JP3317181B2 (ja) 1997-03-25 2002-08-26 ヤマハ株式会社 カラオケ装置
JP3399297B2 (ja) 1997-05-22 2003-04-21 ヤマハ株式会社 電子楽器
JP3451900B2 (ja) 1997-09-22 2003-09-29 ヤマハ株式会社 ピッチ/テンポ変換方法及び装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1627635B (zh) * 2003-12-09 2011-06-15 日本电气株式会社 信号压缩/扩张设备和移动通信终端
JP2010210757A (ja) * 2009-03-09 2010-09-24 Casio Computer Co Ltd 楽音発生装置および楽音発生プログラム
CN106373590A (zh) * 2016-08-29 2017-02-01 湖南理工学院 一种基于语音实时时长调整的声音变速控制系统和方法
CN106373590B (zh) * 2016-08-29 2020-04-03 湖南理工学院 一种基于语音实时时长调整的声音变速控制系统和方法
CN112735455A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 声音信息的处理方法和装置

Also Published As

Publication number Publication date
JP4170458B2 (ja) 2008-10-22
US6564187B1 (en) 2003-05-13

Similar Documents

Publication Publication Date Title
US5848164A (en) System and method for effects processing on audio subband data
KR101264486B1 (ko) 오디오 신호 스펙트럼의 복수개의 로컬 무게 중심 주파수들을 결정하는 장치 및 방법
JPH07248794A (ja) 音声信号処理方法
JP2000075862A (ja) 波形信号の時間軸圧縮伸長装置
EP1840871B1 (en) Audio waveform processing device, method, and program
Bonada et al. Sample-based singing voice synthesizer by spectral concatenation
KR20010111630A (ko) 시간/피치 변환 장치 및 시간/피치 변환 방법
JP2003108178A (ja) 音声合成装置及び音声合成用素片作成装置
US6990475B2 (en) Digital signal processing method, learning method, apparatus thereof and program storage medium
US20030108108A1 (en) Decoder, decoding method, and program distribution medium therefor
US6208969B1 (en) Electronic data processing apparatus and method for sound synthesis using transfer functions of sound samples
US6605768B2 (en) Music-signal compressing/decompressing apparatus
JP2000075899A (ja) 波形信号の合成装置および時間軸圧縮伸長装置
JPS642960B2 (ja)
Fierro et al. Extreme audio time stretching using neural synthesis
US6300552B1 (en) Waveform data time expanding and compressing device
JP2002236499A (ja) 音楽信号圧縮装置、音楽信号圧縮伸張装置及び前処理制御装置
Lin et al. High quality and low complexity pitch modification of acoustic signals
JP2001083971A (ja) 波形信号の合成装置および時間軸圧縮伸長装置
JP5392057B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP2968630B2 (ja) 音声開発装置
JPH11352970A (ja) 波形圧縮伸長装置
JPH05127697A (ja) ホルマントの線形転移区間の分割による音声の合成方法
JP2003271198A (ja) 圧縮データ処理装置、方法および圧縮データ処理プログラム
JP2968456B2 (ja) 楽音波形の形成方法及び形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080807

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120815

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130815

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees