JP2000511653A - 音声送信システム - Google Patents

音声送信システム

Info

Publication number
JP2000511653A
JP2000511653A JP10529300A JP52930098A JP2000511653A JP 2000511653 A JP2000511653 A JP 2000511653A JP 10529300 A JP10529300 A JP 10529300A JP 52930098 A JP52930098 A JP 52930098A JP 2000511653 A JP2000511653 A JP 2000511653A
Authority
JP
Japan
Prior art keywords
frame
coefficients
audio signal
incomplete
data frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10529300A
Other languages
English (en)
Other versions
JP4346689B2 (ja
Inventor
ラケシュ、タオリ
アンドレアス、ヨハネス、ゲリッツ
Original Assignee
コーニンクレッカ、フィリップス、エレクトロニクス、エヌ、ヴィ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コーニンクレッカ、フィリップス、エレクトロニクス、エヌ、ヴィ filed Critical コーニンクレッカ、フィリップス、エレクトロニクス、エヌ、ヴィ
Publication of JP2000511653A publication Critical patent/JP2000511653A/ja
Application granted granted Critical
Publication of JP4346689B2 publication Critical patent/JP4346689B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002Dynamic bit allocation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0012Smoothing of parameters of the decoder interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】 音声符号器(4)では、音声サンプルのフレーム(100)が、LPC係数の組と励起係数の組を有するデータフレーム(104)に符号化される。符号化音声信号のビット速度を低減するためには、実際のLPC係数と、音声サンプルの前のフレームと次のフレームのLPC係数を内挿して得られるLPC係数との差に応じて、LPC係数がデータフレームに導入されるだけである。復号遅延を減らすためには、本発明によると、現フレームのLPC係数が送信されない場合には次のフレームからLPCパラメータを送信することが提案されている。現音声フレームのLPCパラメータを得るための内挿は、現データフレームの始めに実行可能である。

Description

【発明の詳細な説明】 音声送信システム 本発明は、音声信号サンプルのフレームからそれらのフレームを表す係数をも つデータフレームを取り出す音声符号器を備えた送信器を有し、前記音声符号器 は完全なデータフレームと不完全なデータフレームを組み立てるフレーム組立て 手段を有し、前記不完全なデータフレームはそれらの音声信号サンプルのフレー ムを表す不完全な係数の組を有し、さらに、前記送信器は送信媒体を介して前記 データフレームを受信器に送信する送信手段を有し、前記受信器は音声復号器を 有し、前記音声復号器は、前記不完全なデータフレームに対応する音声信号サン プルのフレームの周囲の複数の音声信号サンプルのフレームに対応する係数から 獲得された補間係数により不完全な係数の組を完成させる完成手段を有する送信 システムに関する。 本発明は、送信器、受信器、符号器、復号器、音声符号化方法および符号化音 声信号にも関する。 上述した送信システムは米国特許第4379949号に開示されている。 こうした送信システムが使用されるのは、送信容量が限られている送信媒体を 介して音声信号を送信する必要のある分野や、記憶容量が限られている記憶媒体 に音声信号を記憶する必要のある分野である。こうした適用分野の例としては、 インターネットを介した音声信号の送信、移動電話から基地局へおよびその逆の 音声信号の送信、CD−ROM、固体メモリまたはハードディスクへの音声信号 の記憶などが挙げられる。 音声符号器は、複数の音声サンプルの1フレームから、音声信号サンプルのフ レームを表す複数の係数を含む複数のデータフレームを取り出す。これらの係数 は分析係数と励起係数を有する。これらの分析係数の一群は音声信号の短時間の スペクトルを描く。分析係数の他の例は、音声信号のピッチを表す係数である。 分析係数は送信媒体を介して受信器に送信され、受信器ではこうした分析係数は 合成フィルタの係数として使用される。 分析パラメータの他には、音声符号器は、音声サンプルのフレーム当りの励起 列の数(たとえば、4)も定める。こうした励起列によりカバーされる時間間隔 はサブフレームと呼ばれる。音声復号器は、合成フィルタが上記の分析係数を用 いて前記励起列で励起されるときに音声の品質が最良になる励起信号を見つける ように構成されている。前記励起列の表現はデータフレームの係数として送信チ ャンネルを介して受信器に送信される。受信器では、励起列は受信信号から回復 されて、合成フィルタの入力端に送られる。合成フィルタの出力端では、合成音 声信号が利用可能である。 一定の品質を持つ音声信号を表現するのに必要なビット速度は音声の内容によ り左右される。複数のデータフレームにより伝送される係数には一定時間以上に わたってほぼ一定のもの、たとえば持続音声がある。この特性は、不完全なデー タフレームが不完全な係数の組を有するような場合に、伝送を行うことにより利 用されうる。 この可能性は上記の米国特許による送信システムで使用される。この特許では 、分析係数が各フレームごとに伝送されるわけではないような音声符号器を備え た送信システムを説明している。これらの分析係数は、データフレームにおける 実際の分析係数の少なくとも一つと、隣接する複数のデータフレームから分析係 数を補間することで得られた対応する分析係数との差が所定のしきい値を越える 場合にのみ送信される。この結果として音声信号を送信するのに必要なビット速 度が小さくなる。 上記の米国特許による送信システムの欠点は、内挿法が実行されるので音声信 号が常に複数のフレームで遅延されることである。 本発明の目的は、上記の送信システムにおいて、音声信号の遅延を抑制するこ とにある。 この目的のため、本発明による送信システムは、組立手段が不完全なデータフ レームの少なくとも一つに導入されるように配置され、付加係数が前記不完全な データフレームに対応する音声信号サンプルのフレームよりも時間的に遅れた音 声信号サンプルのフレームを表し、完成手段が前記付加係数を用いて不完全な係 数の組を完成するように構成されることを特徴とする。 不完全データフレームにおける音声信号サンプルの後のフレームを表す付加係 数を送信することで、これらの付加係数は復号器において少なくとも1フレーム 間隔前に利用できる。これらの付加係数は、内挿法により不完全な係数の組を完 成させるのに使用されるので、この内挿法は少なくとも1フレーム間隔前に実行 可能である。結果として、再構成された音声信号は早い段階で合成され、信号遅 延は少なくとも1フレーム間隔、短くなる。 本発明の実施例は、フレーム組立フレームが不完全なデータフレームであるか 否かを 本発明の実施例は、フレーム組立て手段が、フレームが不完全なデータフレー ムであるか否かを示し、かつ、データフレームが音声サンプルの対応するフレー ムとは異なる音声サンプルのフレームを表す係数を伝送するか否かを示す指標を データフレームに導入するよう構成されていることを特徴とする。 第1および第2の指標を導入することで、受信器の復号は極めて容易になる。 受信器の完成手段は入力信号から不完全なフレームを容易に抽出でき、付加係数 を伝達する不完全なフレームが利用されるとすぐ(内挿法による)完成化を始め る。一つしか指標がない場合には、音声復号器は、信号を復号可能な以前のデー タフレームに対応する指標を必要とする。このためには、データフレーム内のエ ラーや損失を防ぐために極めて信頼性の高い通信が必要となる。 本発明は以下に図面を参照しながら説明される。 図1は、本発明を適用可能な送信システムを示す。 図2は、本発明で使用可能な符号化音声信号のフレームを配送する符号化手段 の実施例を示す。 図3は、図2による符号化手段で使用される制御手段30の実施例を示す。 図4は、入力音声フレームの列と、そこから引き出されたデータフレームと、 受信器で前記データフレームから再構成された音声フレームを示す構成図である 。 図5は、マルチプレクサ6の処理を行うプログラム可能なプロセッサのプログ ラムの流れ図である。 図6は、デマルチプレクサ16の処理を行うプログラム可能なプロセッサのプ ログラムの流れ図である。 図7は、図6の命令138の代替実施例を示す流れ図である。 図8は、図1に示す送信システムで使用される音声復号手段18を示す図であ る。 図1に示す送信システムでは、符号化される音声信号は送信器2の音声符号器 4の入力端に送られる。分析係数を表す出力信号LPCを伝送する音声復号器2 の第1出力はマルチプレクサ6の第1入力端に接続される。出力信号Fを伝送す る音声復号器4の第2出力はマルチプレクサ6の第2入力端に接続される。信号 Fは、信号LPCを送信する必要があるかどうかを示すフラグを表す。信号EX を伝送する音声符号器4の第3出力はマルチプレクサ6の第3入力端に接続され る。信号EXは音声復号器の合成フィルタの励起信号を表す。ビット速度制御信 号Rは音声復号器4の第2入力端に入力される。 マルチプレクサ6の出力は送信手段8の入力端に接続される。送信手段8の出 力端は送信媒体10を介して受信器12に接続される。 受信器12では、送信媒体10の出力端は受信手段14の入力端に接続される 。受信手段14の出力端はデマルチプレクサ16の入力端に接続される。信号L PCを伝送するデマルチプレクサ16の第1出力は、音声復号手段18の第1入 力端に接続される。信号EXを伝送するデマルチプレクサ16の第2出力は、音 声デコード手段18の第2入力端に接続される。音声復号手段18の出力端では 、再構成音声信号が利用できる。デマルチプレクサ16と音声復号手段18を組 み合わせることにより、本件発明の概念による音声デコーダを構成できる。 本発明による送信システムの動作は、CELP型の音声符号器が使用されてい るという仮定に基づいて説明される。ただし、本発明の範囲がそれに制限されて いないことは明らかである。 音声符号器4は、音声信号のサンプルのフレームから符号化音声信号を取り出 すように構成される。音声符号器は、音声信号の、たとえば短期間スペクトルを 表す分析係数を取り出す。一般に、LPC係数またはその変形した表現が用いら れる。ログエリア比(LAR)、反射係数の逆下弦、または線スペクトル対(L SP)とも呼ばれている線スペクトル周波数(LSF)が有益な表現である。分 析係数の表現は音声符号器4の第1出力端で信号LPCとして利用できる。 音声符号器4では、励起信号は、一つまたは複数の固定コードブックと一つの 適応コードブックの重み付け出力信号の総和に等しい。固定コードブックの出力 信号は固定コードブック指標により指示され、固定コードブックの重みづけ要因 は固定コードブック利得により示されている。適応コードブックの出力信号は適 応コードブック指標により示されており、適応コードブックの重みづけ要因は適 応コードブック利得により示されている。 コードブック指標と利得は合成方法による分析により判定される。すなわち、 元の音声信号と、励起係数および分析係数に基づいて合成された音声信号との測 定差が最小になるようにコードブック指標と利得が決定される。信号Fは、音声 信号サンプルの現フレームに対応する分析パラメータが送信されるかどうかを示 している。これらの係数は現データフレームまたは以前のデータフレームで送信 可能である。 マルチプレクサ6は、ヘッダと音声信号を表すデータを用いてデータフレーム を組み立てる。ヘッダは、現データフレームが不完全なデータフレームかどうか を示す第1指標(フラグF)を含む。ヘッダは、現データフレームが分析パラメ ータを伝送するかどうかを示す第2指標(フラグL)をオプションとして含むこ ともできる。フレームは複数のサブフレームの励起パラメータをさらに含んでい る。サブフレームの数は音声符号器4の制御入力端で信号Rにより選択されたビ ット速度に依存している。フレーム当りのサブフレームの数とフレーム長はフレ ームのヘッダで符号化することもできる。ただし、フレーム当りのサブフレーム の数とフレーム長は接続構成中に折り合いがつく場合もある。マルチプレクサ6 の出力端で、音声信号を表す完成フレームが利用できる。 送信手段8において、マルチプレクサ6の出力端からのフレームは、送信媒体 10を介して送信可能な信号に変形される。送信手段で実行される動作にはエラ ー訂正符号化、インターリーブ、および変調が含まれる。 受信器12は、送信媒体10からの送信器2により送信された信号を受信する ように構成されている。受信手段14は、復調、インターリーブ解除、およびエ ラー訂正復号ができるように構成されている。デマルチプレクサは信号LPC、 FおよびEXを受信手段14の出力信号から抽出する。必要なら、デマルチプレ クサ16は、連続して受信した係数の2つの組の間で内挿を実行する。係数LP CとEXの完成された組は音声復号手段18に送られる。音声復号手段18の出 力端では、再構成音声信号が利用できる。 図2による音声符号器では、入力信号はフレーム化手段20の入力端に送られ る。出力信号SK+1を伝送するフレーム化手段20の出力は、分析手段の入力端 、 本実施例では線形予測分析器22の入力端と遅延素子28の入力端に接続される 。 信号αK+1を伝送する線形予測分析器22の出力は量子化器24の入力端に接続 される。出力信号CK-1を伝送する量子化器24の第1出力は、遅延素子26の 入力端と音声符号器6の第1出力端に接続される。出力信号CKを伝送する遅延 素子26の出力は音声符号器の第2出力端に接続される。 信号αK+1を伝送する量子化器24の第2出力は制御手段30の入力端に接続 される。ビット速度設定を表す入力信号Rは制御手段30の第2入力端に入力さ れる。出力信号Fを伝送する制御手段30の第1出力は音声復号器4の出力端に 接続される。 出力信号α’Kを伝送する制御手段30の第3出力は内挿器32に接続される 。出力信号α’K[m]を伝送する内挿器30の出力は知覚重みづけフィルタ3 2の制御入力端に接続される。 フレーム化手段20の出力は遅延素子28の入力端にも接続される。信号SK を伝送する遅延素子28の出力は知覚重みづけフィルタ34の第2入力端に接続 される。信号rs[m]を伝送する知覚重みづけフィルタ34の出力は励起探索 手段36の入力端に接続される。励起探索手段36の出力では、固定コードブッ ク指標、固定コードブック利得、適応コードブック指標および適応コードブック 利得を含む励起信号EXの表示が励起探索手段36の出力端で利用可能である。 フレーム化手段は音声符号器4の入力信号から複数の入力サンプルを含むフレ ームを取り出す。1フレーム内のサンプルの数はビット速度設定Rに応じて変化 可能である。線形予測分析器22は、入力サンプルのフレームから予測係数αK+ 1[p]を含む複数の分析係数を取り出す。これらの予測係数は周知のレビンソ ン−ダービン(Levinson-Durbin)アルゴリズムにより見つけることができる。 量子化器24は係数αK+1[p]を他の表現に変換して、変形した予測係数を量 子化係数CK+1[p]に量子化する。量子化係数は遅延素子26を介して係 数CK[p]として出力される。遅延素子の目的は、音声入力サンプルの同じフ レームに対応した係数CK[p]と励起信号EXがマルチプレクサ6に同時に到 来することを確認することである。量子化器24は信号αK+1を制御手段30に 送る。信号αK+1は量子化係数CK+1の逆変換により得られる。逆変換は受信器の 音声復号器で実行されるのと同じである。量子化係数の逆変換は音声符号器で実 行され、これにより、音声符号器は、受信器内の復号器が利用可能な係数と全く 同一の係数を用いて合成を行う。 制御手段30は、他のフレームよりも分析係数についての情報が多く送信され るフレームの部分を取り出すよう構成されている。本実施例による音声符号器4 では、フレームが分析係数についての完全な情報を伝送するか、または分析係数 の情報をまったく伝送しないかである。制御装置30は、マルチプレクサ6が現 フレームの信号LPCを導入しなければならないかどうかを示す出力信号Fを供 給する。しかし、各フレームにより伝送される分析パラメータの数は変動可能で あることが観察されている。 制御装置30は内挿器32に予測係数α’Kを供給する。現フレームの前記L PC係数が送信される場合にはα’Kの値は最も最近に決定された(量子化され た)予測係数に等しい。現フレームのLCP係数が送信されない場合には、α’ Kの値はα’K-1とα’K+1の値を内挿することで発見される。 内挿器32は、現フレームのサブフレームそれぞれに対してα’K-1とα’Kか ら線形に値α’K[m]を内挿する。α’K[m]の値は知覚重みづけフィルタ3 4に入力され、入力信号SKの現サブフレームmから「残留信号」rs[m]を 取り出す。探索手段36は、固定コードブック指標と、固定コードブック利得と 、適応コードブック指標と、適応コードブック利得を見いだして、その結果、励 起信号は、「残留信号」rs[m]の現サブフレームmと最も適合するようにな る。各サブフレームmでは、励起パラメータ固定コードブック、固定コードブッ ク利 得、適応コードブック指標および適応コードブック利得が音声符号器4の出力E Xで利用できる。 図2による例示音声符号器は、13.6kbit/sから24kbit/sまで可変するビット速 度で、かつ、7kHzの帯域幅で音声信号を符号化する広帯域音声符号器である 。この音声符号器は、4つの所謂アンカービット速度に設定可能である。これら のアンカービット速度は開始値であり、その値から、予測パラメータを伝送する フレームの一部を削除することでビット速度を低減することができる。以下の表 には、4つのアンカービット速度とフレーム期間の対応値、一つのフレーム内の サンプルの数、フレーム当りのサブフレームの数が示してある。 LPC係数のあるフレームの数を減らすことで、数少ないステップにてビット 速度を制御可能である。LPC係数を伝送するフレームの部分が0.5から1ま で変動し、1フレーム当りLPC係数を送信するのに必要なビットの数が66で ある場合には、取得可能な最大のビット速度減少を計算可能である。フレームサ イズが10msの場合、LPC係数のビット速度は3.3kbit/sから6.6kbit/sまで変動 可能である。フレームサイズが15msの場合、LPC係数のビット速度は2.2kbit/ sから4.4kbit/sまで変動可能である。以下の表では、4つのアンカービット速度 のそれぞれに対して、最大ビット速度減少と最低ビット速度が示されている。 図3による制御手段30では、信号αK+1を伝送する第1入力が遅延素子60 の入力端と変換器64の入力端に接続される。信号αKを伝送する遅延素子60 の出力は遅延素子62の入力端と変換器70の入力端に接続される。出力信号i k+1を伝送する変換器64の出力は、内挿器68の第1入力端に接続される。出 力信号ik-1を伝送する変換器66の出力は、内挿器68の第2入力端に接続さ れる。出力信号ikを伝送する変換器68の出力は、距離計算機72の第1入力 端と選択器80の第1入力端に接続される。出力信号iKを伝送する変換器70 の出力は距離計算器72の第2入力端と選択器80の第2入力端に接続される。 制御手段30の入力信号Rは計算手段74の入力端に接続される。計算手段7 4の第1出力は制御装置76に接続される。計算手段74の第1出力端の信号は 、LPCパラメータを伝送するフレームの一部rを表す。したがって、前記信号 はビット速度を設定するための信号である。 計算手段の第2および第2出力は、信号Rに応じて設定されたアンカービット 速度を表す信号を伝送する。しきい値信号tを伝送する制御装置76の出力は、 比較器78の第1入力端に接続される。距離計算器72の出力は比較器78の第 2入力端に接続される。比較器78の出力は選択器80の制御入力端と、制御装 置76の入力端と、制御手段30の出力端に接続される。 図3による制御手段において、遅延素子60と62は、反射係数αK+1の組か ら、遅延された反射係数αKとαK-1の組を形成する。変換器64、70と66は 係数iK+1、iKおよびiK-1を計算する。これらの係数は、係数αK+1、αKおよ びαK-1よりも内挿に適合している。内挿器68は、値iK+1とiK-1から内挿値 iKを取り出す。 距離計算器72は、iK+1とiK-1から内挿された予測パラメータiKの組と予 測パラメータiKの組の間の距離測定値dを判定する。適切な距離測定値dは以 下の式により求められる。 式(1)において、H(ω)は係数iKにより表現されるスペクトルであり、 H(ω)は係数iKにより表現されるスペクトルである。測定値dは共通に使用 されるが、より容易に計算可能なL1を基準にしても同様の結果が得られること が実験から判明している。このため、L1基準は以下のように表記できる。 式(2)では、Pは分析手段22により決定された予測係数の数である。距離 測定値dは、比較器78によりしきい値tと比較される。距離dがしきい値tよ り大きい場合、比較器78の出力信号cは現フレームのLPC係数が送信可能な ことを示している。距離測定値dがしきい値tより小さい場合、比較器78の出 力信号cは、現フレームのLPC係数が送信されないことを示している。所定の 時間間隔にわたって(たとえば、kフレームにわたって、ただしkは通常100 )信号cがLPC係数の送信を示している時間aの数を係数することで、LPC パ ラメータを含むフレームの実際の部分の測定値aが得られる。選択されたアンカ ービット速度に対応するパラメータが付与されると、この測定値aも実際のビッ ト速度の測定値である。 制御手段30は、実際のビット速度の測定値とビット速度設定の測定値を比較 し、必要なら実際のビット速度を調整するように構成されている。計算手段74 は信号Rからアンカービット速度と部分rを決定する。2つの異なるアンカービ ット速度から開始して、あるビット速度Rを決定する場合には、最高の音声品質 を有するアンカービット速度が選択される。アンカービット速度の値を信号Rと 同様にして表に記憶すれば都合がよい。アンカービット速度が選択されると、L PC係数を伝送するフレームの部分が判定できる。 最初に、フレーム当りのビットの数の最高値と最小値を表す値BMAXとBMINは 以下の式に応じて判定される。 BMAX = bHEADER + bEXCITATION + bLPC …((4) BMIN = bHEADER + bEXCITATION …((5) 式(4)と(5)では、bHEADERは1フレーム内のヘッダビット数であり、b EXCITATIONは励起信号を表すビットの数であり、bLPCは分析係数を表すビット の数である。信号Rが、要求されたビット速度BREQを表している場合、LPC パラメータを伝送するフレームの一部rは、以下のように記述される。 本実施例では、rの最小値が0.5であるのは明らかである。 制御装置76は、LPCパラメータを伝送するフレームの一部rとaの差異を 判定する。ビット速度設定と実際のビット速度の差に応じたビット速度を調整す るために、しきい値tが増減される。しきい値tを増加させる場合、差測定値d は少数のフレームに対する前記しきい値を越えることになり、実際のビット速度 は減少することになる。しきい値tを減少させる場合、差測定値dは多数のフレ ームに対する前記しきい値を越えることになり、実際のビット速度は増加するこ とになる。ビット速度設定の測定値tと実際のビット速度の測定hに応じたしき い値tを以下の式に応じて制御装置76により更新する。 式(3)において、t’はしきい値の元の値であり、c1とc2は定数である 。 図4において、グラフ100は、音声信号サンプルを含むフレーム1....8の 列を示す。グラフ101はグラフ100の音声信号のフレームに対応する係数を 備えたフレームを示す。音声信号サンプルのフレーム1....8の各フレームに対 して、LPC係数Lと励起係数EXが決定される。 グラフ102は、従来技術の送信システムにより送信されるときのデータフレ ームを示す。平均して、データフレームの半分は、LPCと対応する音声信号サ ンプルフレームの励起係数とを伝送する完全なデータフレームであると仮定され る。グラフ102の例では、データフレーム1、3、4および7は完全なデータ フレームである。残りの(不完全な)データフレーム0、2、4および6は、音 声サンプルのフレームに対応する励起係数のみしか伝送しない。グラフ101と グラフ102によるデータフレーム間の遅延により、送信すべきデータフレーム が完全か不完全かを判断することができる。この判断を行うために、音声信号サ ンプルの次のフレームのLPC係数が利用可能でなければならない。 ヘッダHiは、フレーム同期化信号を含むことが可能であり、さらに、上記で 説明したように第1および第2指標を含む。 グラフ103では、グラフ102のデータフレームから復号された音声信号サ ンプルのフレーム列が示されている。音声信号サンプルの送信フレームと受信フ レームの間に3より大きいフレーム間隔の遅延があることが分かる。受信器では 、不完全なデータフレームに対応する複数の音声サンプルの1フレームは、LP C係数を伝送する次のフレームが受信される前には再構成できないので上記の遅 延が引き起こされる。グラフ103では、音声信号サンプルのフレーム0は、音 声フレーム1に対応するLPCパラメータL1が受信される前には再構成できな い。同じことが音声フレーム2と4に当てはまる。 本発明による送信システムでは、データフレームはグラフ104で示されてい るように送信される。不完全フレーム0、2、4がそれぞれ次の完全フレーム1 、3、5からのLPC係数を伝送する。次の完全フレームのLPC係数の前段階 での送信で、内挿が実行されて、1フレーム間隔前に始められる不完全なフレー ムのLPC係数を得る。グラフ104では、音声フレーム0の再構成は、(音声 フレーム1のLPCパラメータを含む)フレーム0に対応するデータフレームが 受信されるときにはすでに開始されている。グラフ105から分かるように、こ の結果として、音声信号サンプルのフレームの遅延がかなり削減される。 図5の流れ図では、番号付けられた命令には以下の表に応じた意味がある。 番号 ラベル 意味 110 START プログラムが起動し使用変数が初期化される。 112 WRITE F[K] フラグF[K]を現データフレームのヘッダに書き込む。 114 F[K]=1? フラグF[K]の値を「1」と比較する。 115* WRITE L[K]=1 フラグL[K]が1に設定され現データフレームに書き込ま れる。 116 F[K-1]=1? フラグF[K-1]の値を「1」と比較する。 117* WRITE L[K]=1 フラグL[K]が1に設定され現データフレームに書き込まれ る。 118 WRITE LPC[K+1] 次の音声フレームに対応するLPC係数が現データフレ ームに書き込まれる。 119* WRITE L[K]=0 フラグL[K]が0に設定され現データフレームに書き込ま れる。 120 WRITE LPC[K] 現音声フレームに対応するLPC係数が現データフレー ムに書き込まれる。 122 WRITE EX[K] 励起係数が現データフレームに書き込まれる。 124 STORE F[K] フラグF[K]の値が記憶される。 126 STOP プログラムが終了する。 図5の流れ図のプログラムはフレーム間隔当りに1度実行され、音声符号器4 により送られた出力信号からデータフレームを組み立てる。音声サンプルのK+ 1thのLPC係数がすでに利用可能な場合には、プログラムはkthデータフレ− ムの組立てを開始することが明らかになっている。現フレームが完全フレームか どうかを示すためにはフラグFだけしかないと仮定されている。現フレームが任 意のLPC係数を伝送するかどうかを示すためにフラグLも使用しなければなら ない場合には、*で示された命令115、117および119を追加しなければ ならない。 命令110では、プログラムが起動して、使用変数が、必要なら、初期値に設 定される。命令112では、音声符号器6から受信したフラグF[K]が現データフ レームのヘッダに書き込まれる。 命令114では、フラグF[K]の値が1と比較される。F[K]=1の場合、現データ フレームは不完全データフレームである。この場合には、命令118では、音声 信号サンプルの次のフレームのLPCパラメータLPC[K+1]が現データフレームに 書き込まれる。フラグLを含まなければならない場合、命令115では、フラグ Lは1に設定され、現データフレームのヘッダに書き込まれて、現データフレー ムのLPC係数の存在が示される。その後、命令122でプログラムが継続する 。 F[K]=0の場合、現データフレームは完全データフレームである。命令116で 、F[K-1]の値が1と比較される。F[K-1]の値は、前のデータフレームが不完全デ ータフレームであったことを示している。この場合には、現完全データフレーム のLPC係数が前記の前の(不完全な)データフレームですでに送信されている 。その結果、現データフレームではLPC係数は送信されることはない。フラグ Lを含めなければならない場合には、命令119では、フラグLが0に設定され 、現データフレームのヘッダに書き込まれて、現データフレームにはLPC係数 がないことが示される。その後、命令122でプログラムが継続する。 F[K-1]の値が0の場合、現(完全)データフレームのLPC係数はまだ送信さ れておらず、命令120において現データフレームに書き込まれる。フラグLを 含まなければならない場合、命令117では、フラグLが1に設定され、現デー タフレームのヘッダに書き込まれて、現データフレームにLPC係数があること が示される。 命令122では、励起係数EX[K]が現データフレームに書き込まれる。命令1 24では、プログラムが次に実行されるときにフラグF[K]の値が記憶されてF[K- 1]として使用される。命令126では、プログラムが終了する。 図6の流れ図では、番号付けられた命令の意味は以下に示す表のとおりである 。 番号 ラベル 意味 130 START プログラムを起動する。 132 READ F[K] フラグF[K]を現データフレームから読み込む。 134 F[K]=1? フラグF[K]の値を1と比較する。 136 F[K-1]=1? フラグF[K-1]の値を1と比較する。 138 LOAD LPC[K] 現フレームのLPC係数の組をメモリから読み込む。 140 READ LPC[K] 現フレームのLPC係数の組を現データフレームから読み 込む。 142 STORE LPC[K] データフレームから読み込まれたLPC係数の組をメモ リに記憶する。 144 READ LPC[K+1] 次のフレームのLPC係数の組を現データフレームから 読み込む。 146 CALC LPC[K] 現フレームのLPC係数の値を計算する。 148 STORE LPC[K+1] 次のフレームのLPC係数の値をメモリに記憶する。 150 READ EX[K] 現フレームの励起信号を現データフレームから読み込む 。 152 STORE F[K] フラグF[K]をメモリに記憶する。 154 STOP プログラムの実行を終了する。 図6の流れ図のプログラムは、フラグFしか使用されない場合のデマルチプレ クサの機能を実現することを意図している。さらにフラグLを処理するのに必要 な変更を以下に説明する。 命令130で、プログラムが起動する。命令132で、フラグF[K]の値を現デ ータフレームから読み取る。命令134で、フラグF[K]の値を1と比較する。 フラグF[K]が0の場合、現フレームが完全フレームであることを示し、命令1 36で、F[K-1]の値を1と比較する。F[K-1]が1の場合、前のデータフレームは 、現フレームのLPC係数を伝送する不完全データフレームであった。これらの 係数は、以前プログラムが実行されたときにメモリに記憶されたものである。そ の後、命令138では、係数LPC[K]がメモリからロードされ、音声復号手段18 に 渡される。命令138の実行後、プログラムは命令150で継続される。 フラグF[K-1]が0の場合、以前のデータフレームは完全データフレームであり 、現フレームのLPC係数は現データフレームで伝送される。その後、命令14 2で、係数LPC[K]が現データフレームから読み込まれる。命令142では、プロ グラムが次のデータフレームを実行する際に使用する目的で、命令142で得ら れた係数LPC[K]をメモリに書き込む。さらに、係数LPC[K]が音声復号手段18に 渡される。その後、プログラムは命令150で継続する。 命令134でフラグF[K]の値が1の場合、現データフレームは次のデータフレ ームに対応する係数LPC[K+1]を伝送する不完全なデータフレームである。命令1 46では、係数LPC[K]は、以下の式に応じて係数LPC[K-1]とLPC[K+1]から計算さ れる。 式(4)では、Iは実行パラメータで、Pは送信した予想係数の数である。命 令148では、命令146で計算された係数LPC[K]をメモリに記憶して、次のデ ータフレームで使用する。 命令150では、励起係数EX[K]が現データフレームから読み取られて、音声 復号手段18に送られる。命令152では、フラグF[K]がメモリに記憶されて、 次のデータフレームで使用される。命令154では、プログラムの実行が終了す る。 図7は、フラグLを処理するために図6のプログラムにおける命令136を変 形した例を示す。フラグF[K]に加えてフラグL[K]を使用する利点は、フラグFだ けしか使用されていない場合のように前のフレームからのフラグ値が不必要なの で、一つ以上のデータフレームが送信エラーのために誤りとなったり完全に失わ れた後でデータフレームの復号を再開することが可能なことである。図7の番号 付けられた命令の意味は以下に示す表の通りである。 番号 ラベル 意味 131 READ L[K] フラグL[K]を現データフレームから読み込む。 133 L[K]=1? フラグL[K]を値1と比較する。 命令131では、値L[K]が現データフレームから読み込まれ、命令133では 、値L[K]を1と比較する。値L[K]が1の場合、現データフレームがLPC係数を 伝送することを意味する。プログラムは命令140で継続して、データフレーム からLPC係数を読み込む。値L[K]が0の場合、現データフレームがどのLPC 係数も伝送しないことを意味している。したがって、プログラムは命令138で 継続して、以前受け取ったLPC係数をメモリからロードする。 図8の復号手段18では、信号LPCを伝送する入力がサブフレーム内挿器8 7の入力端に接続される。サブフレーム内挿器87の出力は合成フィルタ88の 入力端に接続される。 入力信号EXを伝送する音声復号手段18の入力はデマルチプレクサ89の入 力端に接続される。固定コードブック指標を表す信号FIを伝送するデマルチプ レクサ89の第1出力は固定コードブック90の入力端に接続される。固定コー ドブック90の出力は乗算器92の第1入力端に接続される。信号FCBG(固 定コードブック利得)を伝送するデマルチプレクサの第2出力は乗算器92の第 2入力端に接続される。 適応コードブック指標を表す信号AIを伝送するデマルチプレクサ89の第3 出力は、適応コードブック91の入力端に接続される。適応コードブック91の 出力は乗算器93の第1入力端に接続される。信号ACBG(適応コードブック 利得)を伝送するデマルチプレクサ89の第2出力は乗算器93の第2入力端に 接続される。乗算器92の出力は加算器94の第1入力端に接続され、乗算器9 3の出力は加算器94の第2入力端に接続される。加算器94の出力は適応コー ドブックの入力端と合成フィルタ88の入力端に接続される。 図8の音声復号手段では、サブフレーム内挿器87はサブフレームそれぞれに 対して予測係数を内挿して、これらの予測係数を合成フィルタ88に送る。 合成フィルタの励起信号は固定コードブック90と適応コードブック91の出 力信号の重みづけ総和に等しい。重みづけは乗算器92と93により実行される 。コードブック指標FIとAIはデマルチプレクサ89により信号EXから抽出 される。重みづけ因数FCBG(固定コードブック利得)とACBG(適応コー ドブック利得)もデマルチプレクサ89により信号EXから抽出される。加算器 94の出力信号は適応コードブックに伝送されて、適応づけが行われる。

Claims (1)

  1. 【特許請求の範囲】 1. 音声信号サンプルのフレームから前記音声信号サンプルのフレームを表 す係数をもつデータフレームを取り出す音声符号器を備えた送信器を有し、前記 音声符号器は完全データフレームと不完全データフレームを組み立てる組立て手 段を有し、前記不完全データフレームはそれらの音声信号サンプルのフレームを 表す不完全な係数の組を有し、前記送信器はさらに送信媒体を介して受信器に前 記データフレームを送信する送信手段を有し、前記受信器は音声復号器を有し、 前記音声復号器は、前記不完全データフレームに対応する音声信号サンプルのフ レームを囲む音声信号サンプルのフレームに対応する係数から得られた内挿係数 により、不完全な係数の組を完成させる完成手段を有する送信システムであって 、前記組立て手段は前記不完全データフレームに対応する前記音声信号サンプル のフレームより後の音声信号サンプルのフレームを表す付加係数を、前記不完全 データフレームの少なくとも一つに導入するように構成され、前記完成手段は前 記付加係数を用いて不完全な前記係数の組を完成させるよう構成されていること を特徴とする前記送信システム。 2. 前記フレーム組立て手段は、前記フレームが不完全データフレームであ るかどうか、および前記データフレームが対応する音声サンプルフレームとは異 なる音声サンプルフレームを表す係数を伝えているかどうかを示す指標を前記デ ータフレームに導入するよう構成されることを特徴とする請求項1に記載の送信 システム。 3. 音声信号サンプルフレームから前記音声信号サンプルフレームを表す係 数をもつデータフレームを取り出す音声符号器を備え、前記音声符号器は、完全 データフレームと不完全データフレームを組み立てるフレーム組立て手段を有し 、前記不完全データフレームはそれらの音声信号サンプルフレームを表す不完全 な 係数の組を有し、 さらに、前記データフレームを送信する送信手段を備え、 前記組立て手段は、前記不完全なデータフレームに対応する音声信号フレーム より後の音声信号フレームを表す付加係数を、前記不完全なデータフレームの少 なくとも一つに導入するよう構成されることを特徴とする前記送信器。 4. 音声信号サンプルの対応するフレームを表す係数をもつデータフレーム を有する信号を受信し、前記信号は複数の不完全データフレームを有し、前記不 完全データフレームは対応する音声信号サンプルのフレームを表す不完全な係数 の組を有し、前記不完全データフレームにより表された音声信号サンプルフレー ムを囲む音声信号サンプルフレームに対応する係数から得られた内挿係数で不完 全な係数の組を完成させる完成手段を有する音声復号器を備えた受信器であって 、 前記不完全データフレームには、前記不完全データフレームに対応する音声信 号サンプルフレームより後の音声信号サンプルフレームを表す付加係数を有する ものもあり、前記完成手段は前記付加係数を用いて不完全な前記係数の組を完成 させるよう構成されていることを特徴とする前記受信器。 5. 音声信号サンプルフレームから前記音声信号サンプルフレームを表す係 数をもつ複数のデータフレームを取り出し、完全データフレームと不完全データ フレームを組み立てるフレーム組立て手段を有し、前記不完全データフレームは 音声信号サンプルフレームを表す不完全な係数の組を有する音声復号器であって 、前記組立て手段は前記不完全データフレームに対応する音声信号サンプルフレ ームより後の音声信号サンプルのフレームを表す付加係数を前記不完全データフ レームの少なくとも一つに導入するよう構成されることを特徴とする前記音声符 号器。 6. 音声信号サンプルの対応するフレームを表す係数をもつデータフレーム を有する信号を復号し、前記信号は不完全データフレームを有し、前記不完全デ ータフレームは音声信号サンプルフレームを表す不完全な係数の組を有し、前記 音声復号器は、前記不完全データフレームにより表された前記音声信号サンプル のフレームを囲む音声信号サンプルのフレームに対応する係数から得られた内挿 係数により不完全な係数の組を完成させる完成手段を有する音声復号器であって 、前記不完全データフレームは、前記不完全データフレームに対応する音声信号 のフレームより後の音声信号サンプルのフレームを表す複数の付加係数を備えて おり、 前記完成手段は、前記付加係数を用いて不完全な係数の組を完成させるよう構 成されることを特徴とする前記音声符号器。 7. 音声信号サンプルの対応するフレームを表す係数の組をもつデータフレ ームを有し、対応する音声信号サンプルを表す不完全な係数の組をもつ不完全デ ータフレームを有する信号であって、 前記不完全データフレームの少なくとも一部は、前記不完全データフレームに 対応する音声信号サンプルの前記フレームより後の音声信号サンプルのフレーム を表す付加係数を有することを特徴とする前記信号。 8. 前記データフレームは、前記フレームが不完全なデータフレームである かどうかと、前記データフレームが対応する音声サンプルのフレームとは異なる 音声サンプルのフレームを表す係数を伝送するかどうかを示す指標を有すること を特徴とする請求項7に記載の信号。 9. 音声信号サンプルのフレームから、前記音声信号サンプルのフレームを 表す係数をもつデータフレームを取り出す工程を有し、前記データフレームは完 全データフレームと不完全データフレームを有し、前記不完全データフレームは 音声信号サンプルを表す不完全な係数の組を有し、さらに、送信媒体を介して前 記データフレームを送信し、前記不完全フレームに対応する前記音声信号サンプ ルのフレームを囲む音声信号サンプルのフレームに対応する係数から得られた内 挿係数により不完全な前記係数の組を完成させる工程とを有する音声送信方法で あって、 前記方法は、前記不完全データフレームに対応する音声信号サンプルのフレー ムの後の音声信号サンプルのフレームを表す付加係数を導入する工程と、前記付 加係数を用いて不完全な前記係数の組を完成させる工程とを有することを特徴と する前記音声送信方法。 10. 音声信号サンプルのフレームから、前記音声信号サンプルのフレーム を表し、かつ、完全データフレームおよび不完全データフレームを生成する係数 をもったデータフレームを取り出すように構成され、前記不完全データフレーム は、音声信号サンプルのフレームを表す不完全な係数の組を有する音声符号化方 法であって、 前記音声符号化方法は、前記不完全データフレームに対応する音声信号サンプ ルのフレームより後の音声信号サンプルのフレームを表す付加係数を導入する工 程を有することを特徴とする前記音声符号化方法。
JP52930098A 1997-04-07 1998-03-05 音声送信システム Expired - Lifetime JP4346689B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP97200999.7 1997-04-07
EP97200999 1997-04-07
PCT/IB1998/000277 WO1998045951A1 (en) 1997-04-07 1998-03-05 Speech transmission system

Publications (2)

Publication Number Publication Date
JP2000511653A true JP2000511653A (ja) 2000-09-05
JP4346689B2 JP4346689B2 (ja) 2009-10-21

Family

ID=8228172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52930098A Expired - Lifetime JP4346689B2 (ja) 1997-04-07 1998-03-05 音声送信システム

Country Status (10)

Country Link
US (1) US6292774B1 (ja)
EP (1) EP0906664B1 (ja)
JP (1) JP4346689B2 (ja)
KR (1) KR100668247B1 (ja)
CN (2) CN1104093C (ja)
BR (1) BR9804809B1 (ja)
DE (1) DE69834993T2 (ja)
ES (1) ES2267176T3 (ja)
PL (1) PL193723B1 (ja)
WO (1) WO1998045951A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7031926B2 (en) * 2000-10-23 2006-04-18 Nokia Corporation Spectral parameter substitution for the frame error concealment in a speech decoder
US7720677B2 (en) * 2005-11-03 2010-05-18 Coding Technologies Ab Time warped modified transform coding of audio signals
US8326609B2 (en) * 2006-06-29 2012-12-04 Lg Electronics Inc. Method and apparatus for an audio signal processing
KR101418248B1 (ko) 2007-04-12 2014-07-24 삼성전자주식회사 정현파 성분의 진폭 코딩 및 디코딩 방법과 그 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4379949A (en) * 1981-08-10 1983-04-12 Motorola, Inc. Method of and means for variable-rate coding of LPC parameters
US5012518A (en) * 1989-07-26 1991-04-30 Itt Corporation Low-bit-rate speech coder using LPC data reduction processing
US5351338A (en) * 1992-07-06 1994-09-27 Telefonaktiebolaget L M Ericsson Time variable spectral analysis based on interpolation for speech coding
US5479559A (en) * 1993-05-28 1995-12-26 Motorola, Inc. Excitation synchronous time encoding vocoder and method
US5504834A (en) * 1993-05-28 1996-04-02 Motrola, Inc. Pitch epoch synchronous linear predictive coding vocoder and method

Also Published As

Publication number Publication date
PL193723B1 (pl) 2007-03-30
ES2267176T3 (es) 2007-03-01
CN1426049A (zh) 2003-06-25
CN1223034A (zh) 1999-07-14
BR9804809A (pt) 1999-08-17
US6292774B1 (en) 2001-09-18
BR9804809B1 (pt) 2011-05-31
EP0906664B1 (en) 2006-06-21
DE69834993D1 (de) 2006-08-03
CN1104093C (zh) 2003-03-26
JP4346689B2 (ja) 2009-10-21
DE69834993T2 (de) 2007-02-15
KR20040004372A (ko) 2004-01-13
EP0906664A1 (en) 1999-04-07
PL330399A1 (en) 1999-05-10
WO1998045951A1 (en) 1998-10-15
KR100668247B1 (ko) 2007-01-16

Similar Documents

Publication Publication Date Title
EP1527441B1 (en) Audio coding
US11282530B2 (en) Methods, encoder and decoder for linear predictive encoding and decoding of sound signals upon transition between frames having different sampling rates
KR101430332B1 (ko) 일반 오디오 및 음성 프레임들을 포함하는 오디오 신호를 위한 인코더
EP1221694B1 (en) Voice encoder/decoder
EP3693964A1 (en) Simultaneous time-domain and frequency-domain noise shaping for tdac transforms
EP2037451A1 (en) Method for improving the coding efficiency of an audio signal
EP0922278B1 (en) Variable bitrate speech transmission system
EP1041541B1 (en) Celp voice encoder
EP0578436B1 (en) Selective application of speech coding techniques
JP4346689B2 (ja) 音声送信システム
CN111566733B (zh) 选择音高滞后
JP2000132193A (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
KR100587721B1 (ko) 음성전송시스템
KR100563016B1 (ko) 가변비트레이트음성전송시스템
JPH05341800A (ja) 音声符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050304

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090715

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term