JP2003029799A - 音声復号化方法 - Google Patents
音声復号化方法Info
- Publication number
- JP2003029799A JP2003029799A JP2002123468A JP2002123468A JP2003029799A JP 2003029799 A JP2003029799 A JP 2003029799A JP 2002123468 A JP2002123468 A JP 2002123468A JP 2002123468 A JP2002123468 A JP 2002123468A JP 2003029799 A JP2003029799 A JP 2003029799A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- reproduced
- frame
- code
- decoding method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
(57)【要約】
【課題】 従来の符号誤りが発生した場合の波形修復方
法は、過去のフレームのパラメータを繰り返して用いて
いるが再生音声の品質が低い、また将来のフレームの情
報も用いて補間を行う方法では遅延が大きくなるとうい
う問題があった。 【解決手段】 符号化された音声のスペクトル情報と音
源情報を、フレーム単位に復号し、音声を再生する音声
復号化方法において、符号が正しく復号できなかった事
を検出した場合に、前のフレームの再生音声の状態を判
定し、当該判定に応じて現在のフレームの音声を再生修
復するものである。
法は、過去のフレームのパラメータを繰り返して用いて
いるが再生音声の品質が低い、また将来のフレームの情
報も用いて補間を行う方法では遅延が大きくなるとうい
う問題があった。 【解決手段】 符号化された音声のスペクトル情報と音
源情報を、フレーム単位に復号し、音声を再生する音声
復号化方法において、符号が正しく復号できなかった事
を検出した場合に、前のフレームの再生音声の状態を判
定し、当該判定に応じて現在のフレームの音声を再生修
復するものである。
Description
【０００１】
【発明の属する技術分野】この発明はディジタル信号に
圧縮符号化された音声信号を復号化する復号化方法に関
し、特に通信に適用する際に伝送路誤りによる品質劣化
の少ない音声を再生するための音声復号化方法に関す
る。
圧縮符号化された音声信号を復号化する復号化方法に関
し、特に通信に適用する際に伝送路誤りによる品質劣化
の少ない音声を再生するための音声復号化方法に関す
る。
【０００２】
【従来の技術】従来、通信用の高能率音声符号化方法と
しては、符号励振線形予測符号化（Code-Excited Linea
r Prediction coding : ＣＥＬＰ）、多帯域励振符号化
（Multi-Band Excitation coding :ＭＢＥ）といった手
法が代表的である。それぞれの技術については、「Code
-excited linear prediction (ＣＥＬＰ) :High-qualit
y speech at 8kbps」（M.R.Shroeder and B.S.Atal著、
ICASSP'85, pp.937-940,1985）、及び「A real-time im
plementation of the improved MBE speech coder」
（M.S.Brandstein, P.A.Monta, J.C.Hardwick and J.S.
Lim 著、ICASSP'90,pp.5-8, 1990）に述べられている。
しては、符号励振線形予測符号化（Code-Excited Linea
r Prediction coding : ＣＥＬＰ）、多帯域励振符号化
（Multi-Band Excitation coding :ＭＢＥ）といった手
法が代表的である。それぞれの技術については、「Code
-excited linear prediction (ＣＥＬＰ) :High-qualit
y speech at 8kbps」（M.R.Shroeder and B.S.Atal著、
ICASSP'85, pp.937-940,1985）、及び「A real-time im
plementation of the improved MBE speech coder」
（M.S.Brandstein, P.A.Monta, J.C.Hardwick and J.S.
Lim 著、ICASSP'90,pp.5-8, 1990）に述べられている。
【０００３】ここでは、ＣＥＬＰ系音声復号化について
説明する。ＣＥＬＰ系音声復号化では、５〜50ms程度を
１フレームとして、そのフレームの音声をスペクトル情
報と音源情報に分けて符号化された符号を入力し音声信
号を復号化する。以下、ＣＥＬＰ系音声復号化について
図５を用い説明する。Ｓ２は符号化された音声信号の符
号入力端子で、適応符号、雑音符号、線形予測パラメー
タの符号、ゲインの符号を入力する。２は復号化部、４
は分離手段、Ｓ３は再生音声信号の出力端子である。復
号化部２は線形予測パラメータ復号化手段１５、合成フ
ィルタ１６、適応符号帳１７、雑音符号帳１８、ゲイン
復号化手段１９より構成されている。適応符号帳１７に
は過去の駆動音源ベクトルが記憶されており、適応符号
に対応して過去の駆動音源ベクトルを周期的に繰り返し
た時系列ベクトルを出力する。また、雑音符号帳１８
は、例えばランダム雑音から生成した複数の時系列ベク
トルが記憶されており、雑音符号に対応した時系列ベク
トルを出力する。
説明する。ＣＥＬＰ系音声復号化では、５〜50ms程度を
１フレームとして、そのフレームの音声をスペクトル情
報と音源情報に分けて符号化された符号を入力し音声信
号を復号化する。以下、ＣＥＬＰ系音声復号化について
図５を用い説明する。Ｓ２は符号化された音声信号の符
号入力端子で、適応符号、雑音符号、線形予測パラメー
タの符号、ゲインの符号を入力する。２は復号化部、４
は分離手段、Ｓ３は再生音声信号の出力端子である。復
号化部２は線形予測パラメータ復号化手段１５、合成フ
ィルタ１６、適応符号帳１７、雑音符号帳１８、ゲイン
復号化手段１９より構成されている。適応符号帳１７に
は過去の駆動音源ベクトルが記憶されており、適応符号
に対応して過去の駆動音源ベクトルを周期的に繰り返し
た時系列ベクトルを出力する。また、雑音符号帳１８
は、例えばランダム雑音から生成した複数の時系列ベク
トルが記憶されており、雑音符号に対応した時系列ベク
トルを出力する。
【０００４】復号化部２において、入力端子２に入力さ
れた音声符号は分離手段４により適応符号、雑音符号、
線形予測パラメータの符号、ゲインの符号に分離され
る。線形予測パラメータ復号化手段１５は線形予測パラ
メータの符号から線形予測パラメータを復号化し、合成
フィルタ１６の係数として設定する。次に、適応符号帳
１７は、適応符号に対応して、過去の駆動音源ベクトル
を周期的に繰り返した時系列ベクトルを出力し、また雑
音符号帳１８は雑音符号に対応した時系列ベクトルを出
力する。これらの時系列ベクトルは、ゲイン復号化手段
１９でゲインの符号から復号化したそれぞれのゲインに
応じて重み付けして加算され、その加算結果が駆動音源
ベクトルとして合成フィルタ１６へ供給され出力音声Ｓ
３が得られる。
れた音声符号は分離手段４により適応符号、雑音符号、
線形予測パラメータの符号、ゲインの符号に分離され
る。線形予測パラメータ復号化手段１５は線形予測パラ
メータの符号から線形予測パラメータを復号化し、合成
フィルタ１６の係数として設定する。次に、適応符号帳
１７は、適応符号に対応して、過去の駆動音源ベクトル
を周期的に繰り返した時系列ベクトルを出力し、また雑
音符号帳１８は雑音符号に対応した時系列ベクトルを出
力する。これらの時系列ベクトルは、ゲイン復号化手段
１９でゲインの符号から復号化したそれぞれのゲインに
応じて重み付けして加算され、その加算結果が駆動音源
ベクトルとして合成フィルタ１６へ供給され出力音声Ｓ
３が得られる。
【０００５】ここで実際上移動体通信のような、符号誤
りの発生する応用分野に適用される音声復号化方法で
は、誤り訂正符号化技術を用いて符号誤りによる符号化
音声の品質劣化を押さえている。また誤りを訂正しきれ
ない場合には、波形修復処理を行い、符号誤りの影響を
押さえる工夫がなされている。
りの発生する応用分野に適用される音声復号化方法で
は、誤り訂正符号化技術を用いて符号誤りによる符号化
音声の品質劣化を押さえている。また誤りを訂正しきれ
ない場合には、波形修復処理を行い、符号誤りの影響を
押さえる工夫がなされている。
【０００６】これまでの修復方法としては、次の２種類
がある。すなわち一番目の修復方法は、「Channel codi
ng for digital speech transmission in the Japanese
digital cellular system」（ M.J.McLaughlin 著、電
子情報通信学会無線通信システム研究会 RCS90-27, pp.
41-45, 1990 ）に示すように、現在のフレームが符号誤
りのあるフレームの場合に、過去のフレームのパラメー
タを繰り返し用いて再生音声を生成する、また再生音声
のパワーを徐々に抑圧していく方法である。
がある。すなわち一番目の修復方法は、「Channel codi
ng for digital speech transmission in the Japanese
digital cellular system」（ M.J.McLaughlin 著、電
子情報通信学会無線通信システム研究会 RCS90-27, pp.
41-45, 1990 ）に示すように、現在のフレームが符号誤
りのあるフレームの場合に、過去のフレームのパラメー
タを繰り返し用いて再生音声を生成する、また再生音声
のパワーを徐々に抑圧していく方法である。
【０００７】また２番目の修復方法は、特開平６−１２
０９５号公報に開示されているように、過去のフレー
ム、現在のフレーム及び将来のフレームのそれぞれの符
号誤り検出情報を用い、各フレーム誤り検出状態に応じ
て現在のフレームの音声を再生修復するものである。こ
の場合には、将来のフレームの情報も用いて補間を行う
ので、過去のフレームの情報のみを用いる場合に比較し
て、歪みの小さい補間を行うことができる。
０９５号公報に開示されているように、過去のフレー
ム、現在のフレーム及び将来のフレームのそれぞれの符
号誤り検出情報を用い、各フレーム誤り検出状態に応じ
て現在のフレームの音声を再生修復するものである。こ
の場合には、将来のフレームの情報も用いて補間を行う
ので、過去のフレームの情報のみを用いる場合に比較し
て、歪みの小さい補間を行うことができる。
【０００８】また波形修復が十分に行えない場合にも、
聴感上の音声品質を維持する伝送誤り補償方法として、
特開平７−３６４９６号公報に開示されたものがある。
これは、伝送誤りの状態により再生音声を出力せず、代
わりに雑音信号を出力するものである。これにより、適
当な波形修復が行えない場合にも、異音となることを避
けることができる。
聴感上の音声品質を維持する伝送誤り補償方法として、
特開平７−３６４９６号公報に開示されたものがある。
これは、伝送誤りの状態により再生音声を出力せず、代
わりに雑音信号を出力するものである。これにより、適
当な波形修復が行えない場合にも、異音となることを避
けることができる。
【０００９】
【発明が解決しようとする課題】従来の符号誤りが発生
した場合の波形修復方法では、過去のフレームのパラメ
ータを繰り返して用いているが、まだ再生音声の品質が
低いという問題があった。例えば有声の立ち上がりのフ
レームではピッチ周期性が非定常なため、必ずしも後続
の有声定常部に適したピッチ情報のパラメータが伝送さ
れてはいないことが多く、後続フレームで符号誤りが発
生した場合、そのピッチ情報のパラメータを繰り返して
用いても良好な再生音声は得られなかった。
した場合の波形修復方法では、過去のフレームのパラメ
ータを繰り返して用いているが、まだ再生音声の品質が
低いという問題があった。例えば有声の立ち上がりのフ
レームではピッチ周期性が非定常なため、必ずしも後続
の有声定常部に適したピッチ情報のパラメータが伝送さ
れてはいないことが多く、後続フレームで符号誤りが発
生した場合、そのピッチ情報のパラメータを繰り返して
用いても良好な再生音声は得られなかった。
【００１０】また無声部でも局所的には周期性があるフ
レームがあり、これに後続する無声フレームで符号誤り
が発生した場合、パラメータの繰り返しにより一定周期
の信号が連続するため再生音声がブザー音となり、再生
音声の品質劣化が大きかった。また符号誤りが発生した
フレームで、前フレームのパラメータを繰り返して生成
したスペクトルが不適当であった場合には、再生音声品
質が大きく劣化していた。これは特に、高域に鋭いホル
マントピークがある等、高域のパワーが大きい場合に、
その高域での異音感が顕著となり、聴感上の劣化が大き
かった。
レームがあり、これに後続する無声フレームで符号誤り
が発生した場合、パラメータの繰り返しにより一定周期
の信号が連続するため再生音声がブザー音となり、再生
音声の品質劣化が大きかった。また符号誤りが発生した
フレームで、前フレームのパラメータを繰り返して生成
したスペクトルが不適当であった場合には、再生音声品
質が大きく劣化していた。これは特に、高域に鋭いホル
マントピークがある等、高域のパワーが大きい場合に、
その高域での異音感が顕著となり、聴感上の劣化が大き
かった。
【００１１】また将来のフレームの情報も用いて補間を
行う従来の波形修復方法では、修復のために現フレーム
の再生に必要な遅延が大きくなるとういう問題があっ
た。この音声再生に必要な遅延が大きくなると、通信に
適用した場合、自然な対話ができず、通話に支障を来た
すので、遅延はできるだけ小さいことが望ましい。また
従来の符号誤りが発生して波形修復が十分に行えない場
合にも、聴感上の音声品質を維持する伝送誤り補償方法
では、再生音声と雑音信号を切り替えて出力している。
しかし、音声から雑音あるいは雑音から音声への移行に
不連続感が伴うため、これがかえって、聴感上の再生音
声品質の劣化につながるという問題があった。さらに伝
送誤りが発生した場合、常に雑音信号を出力しているた
め、本来は無音である部分でも雑音が出力され、これも
聴感上の劣化につながっていた。
行う従来の波形修復方法では、修復のために現フレーム
の再生に必要な遅延が大きくなるとういう問題があっ
た。この音声再生に必要な遅延が大きくなると、通信に
適用した場合、自然な対話ができず、通話に支障を来た
すので、遅延はできるだけ小さいことが望ましい。また
従来の符号誤りが発生して波形修復が十分に行えない場
合にも、聴感上の音声品質を維持する伝送誤り補償方法
では、再生音声と雑音信号を切り替えて出力している。
しかし、音声から雑音あるいは雑音から音声への移行に
不連続感が伴うため、これがかえって、聴感上の再生音
声品質の劣化につながるという問題があった。さらに伝
送誤りが発生した場合、常に雑音信号を出力しているた
め、本来は無音である部分でも雑音が出力され、これも
聴感上の劣化につながっていた。
【００１２】
【課題を解決するための手段】この発明の音声復号化方
法は、符号化された音声のスペクトル情報と音源情報
を、フレーム単位に復号し、音声を再生する音声復号化
方法において、符号が正しく復号できなかった事を検出
した場合に、前のフレームの再生音声の状態を判定し、
その判定に応じて現在のフレームの音声を再生修復する
ようにした。
法は、符号化された音声のスペクトル情報と音源情報
を、フレーム単位に復号し、音声を再生する音声復号化
方法において、符号が正しく復号できなかった事を検出
した場合に、前のフレームの再生音声の状態を判定し、
その判定に応じて現在のフレームの音声を再生修復する
ようにした。
【００１３】また、次の発明の音声復号化方法は、音源
情報はピッチ情報を含み、前のフレームの再生音声が有
声の立ち上がりの場合、過去のフレームの情報より現在
のフレームについてのピッチ情報を求め、当該ピッチ情
報に基づいて現在のフレームの音声を再生修復するよう
にした。
情報はピッチ情報を含み、前のフレームの再生音声が有
声の立ち上がりの場合、過去のフレームの情報より現在
のフレームについてのピッチ情報を求め、当該ピッチ情
報に基づいて現在のフレームの音声を再生修復するよう
にした。
【００１４】さらに次の発明の音声復号化方法は、前の
フレームの再生音声が無声である場合、ピッチ周期性を
抑制するように現在のフレームの音声を再生修復するよ
うにした。
フレームの再生音声が無声である場合、ピッチ周期性を
抑制するように現在のフレームの音声を再生修復するよ
うにした。
【００１５】さらに次の発明の音声復号化方法は、符号
化された音声のスペクトル情報と音源情報を、フレーム
単位に復号し、音声を再生する音声復号化方法におい
て、符号が正しく復号できなかった事を検出した場合
に、前のフレームのスペクトルの低域のホルマント構造
を保ち、高域のホルマントピークを抑制したスペクトル
となるように現在のフレームの音声を再生修復するよう
にした。
化された音声のスペクトル情報と音源情報を、フレーム
単位に復号し、音声を再生する音声復号化方法におい
て、符号が正しく復号できなかった事を検出した場合
に、前のフレームのスペクトルの低域のホルマント構造
を保ち、高域のホルマントピークを抑制したスペクトル
となるように現在のフレームの音声を再生修復するよう
にした。
【００１６】
【００１７】また次の発明の音声復号化方法は、符号化
された音声の情報を復号し、音声を再生する音声復号化
方法において、符号が正しく復号できなかった事を検出
しその検出状態に応じて再生音声に雑音を重畳するよう
にした。
された音声の情報を復号し、音声を再生する音声復号化
方法において、符号が正しく復号できなかった事を検出
しその検出状態に応じて再生音声に雑音を重畳するよう
にした。
【００１８】さらに次の発明の音声復号化方法は、符号
が正しく復号できなかった事を検出し、その検出状態に
応じて再生音声に重畳する雑音のパワーを制御するよう
にした。
が正しく復号できなかった事を検出し、その検出状態に
応じて再生音声に重畳する雑音のパワーを制御するよう
にした。
【００１９】さらに次の発明の音声復号化方法はさら
に、再生する音声の状態を推定し、その推定結果に応じ
て再生音声に雑音を重畳するようにした。
に、再生する音声の状態を推定し、その推定結果に応じ
て再生音声に雑音を重畳するようにした。
【００２０】さらに次の発明の音声復号化方法は、再生
する音声の状態を推定し、その推定結果に応じて再生音
声に重畳する雑音のパワーを制御するようにした。
する音声の状態を推定し、その推定結果に応じて再生音
声に重畳する雑音のパワーを制御するようにした。
【００２１】
【発明の実施の形態】以下図面を参照しながら、この発
明の実施の形態について説明する。
明の実施の形態について説明する。
【００２２】実施の形態１．図５との対応部分に同一符
号を付けた図１は、この発明による音声復号化方法の実
施の形態１の構成を示し、図中３０は符号の伝送誤りが
検出された場合に線形予測パラメータを修復する線形予
測パラメータ修復手段、３１は再生音声を分析して前フ
レームが有声の立ち上がりか否かを判定する立ち上がり
判定手段、３２は再生音声を分析しピッチを求めるピッ
チ抽出手段、３３は符号の伝送誤りが検出された場合に
適応符号を修復する適応符号修復手段である。また３４
は再生音声を分析して前フレームが無声か否かを判定す
る無声判定手段、３５は符号の伝送誤りが検出された場
合にゲインを修復するゲイン修復手段、３６は符号の伝
送誤り検出状況に応じて再生音声のパワーを制御する再
生音声パワー制御手段である。さらに３７は符号の伝送
誤りが検出された場合に現フレームの音声の状態を推定
する音声状態推定手段、３８は雑音信号を生成する雑音
生成手段、３９は符号の伝送誤り検出状況に応じて雑音
信号のパワーを制御する雑音パワー制御手段である。
号を付けた図１は、この発明による音声復号化方法の実
施の形態１の構成を示し、図中３０は符号の伝送誤りが
検出された場合に線形予測パラメータを修復する線形予
測パラメータ修復手段、３１は再生音声を分析して前フ
レームが有声の立ち上がりか否かを判定する立ち上がり
判定手段、３２は再生音声を分析しピッチを求めるピッ
チ抽出手段、３３は符号の伝送誤りが検出された場合に
適応符号を修復する適応符号修復手段である。また３４
は再生音声を分析して前フレームが無声か否かを判定す
る無声判定手段、３５は符号の伝送誤りが検出された場
合にゲインを修復するゲイン修復手段、３６は符号の伝
送誤り検出状況に応じて再生音声のパワーを制御する再
生音声パワー制御手段である。さらに３７は符号の伝送
誤りが検出された場合に現フレームの音声の状態を推定
する音声状態推定手段、３８は雑音信号を生成する雑音
生成手段、３９は符号の伝送誤り検出状況に応じて雑音
信号のパワーを制御する雑音パワー制御手段である。
【００２３】復号化部２において、線形予測パラメータ
復号化手段１５は線形予測パラメータの符号から線形予
測パラメータを復号化する。線形予測パラメータ修復手
段３０は、符号の伝送誤りが検出されていないフレーム
では復号化された線形予測パラメータを、伝送誤りが検
出されたフレームでは前フレームで復号化された線形予
測パラメータから、低域のホルマント構造を保ち、高域
のホルマントピークを抑制したスペクトルとなるような
線形予測パラメータを、例えば線形予測パラメータを線
スペクトル対パラメータとして表したときに、その低域
のパラメータのみを用いるとして求め、合成フィルタ１
６の係数として設定する。図２に前フレームの線形予測
パラメータが表すスペクトル包絡と、線形予測パラメー
タ修復処理によりその低域の構造を保ち高域を抑制した
スペクトル包絡の例を示す。
復号化手段１５は線形予測パラメータの符号から線形予
測パラメータを復号化する。線形予測パラメータ修復手
段３０は、符号の伝送誤りが検出されていないフレーム
では復号化された線形予測パラメータを、伝送誤りが検
出されたフレームでは前フレームで復号化された線形予
測パラメータから、低域のホルマント構造を保ち、高域
のホルマントピークを抑制したスペクトルとなるような
線形予測パラメータを、例えば線形予測パラメータを線
スペクトル対パラメータとして表したときに、その低域
のパラメータのみを用いるとして求め、合成フィルタ１
６の係数として設定する。図２に前フレームの線形予測
パラメータが表すスペクトル包絡と、線形予測パラメー
タ修復処理によりその低域の構造を保ち高域を抑制した
スペクトル包絡の例を示す。
【００２４】立ち上がり判定手段３１は符号の伝送誤り
が検出されたフレームで、前フレームの再生音声を分析
して、前フレームが有声の立ち上がりであるか否かを判
定し、判定結果をピッチ分析手段３２、適応符号修復手
段３３に出力する。ここで、有声立ち上がりか否かの判
定は、例えば前フレームにおいて、フレーム後半部の音
声のパワーがフレーム前半部のそれと比較してある閾値
以上大きい場合には有声の立ち上がりとする。ピッチ抽
出手段３２は、符号の伝送誤りが検出されたフレーム
で、前フレームが有声立ち上がりと判定された場合に、
過去の再生音声を分析して少なくとも１つ以上のピッチ
周期の候補を抽出し、適応符号修復手段３３に出力す
る。
が検出されたフレームで、前フレームの再生音声を分析
して、前フレームが有声の立ち上がりであるか否かを判
定し、判定結果をピッチ分析手段３２、適応符号修復手
段３３に出力する。ここで、有声立ち上がりか否かの判
定は、例えば前フレームにおいて、フレーム後半部の音
声のパワーがフレーム前半部のそれと比較してある閾値
以上大きい場合には有声の立ち上がりとする。ピッチ抽
出手段３２は、符号の伝送誤りが検出されたフレーム
で、前フレームが有声立ち上がりと判定された場合に、
過去の再生音声を分析して少なくとも１つ以上のピッチ
周期の候補を抽出し、適応符号修復手段３３に出力す
る。
【００２５】適応符号修復手段３３は、符号の伝送誤り
が検出されていないフレームでは、分離手段４から入力
される適応符号を、符号誤りが検出されても前フレーム
が有声立ち上がりではない場合には、前フレームの適応
符号を、符号誤りが検出され、かつ前フレームが有声立
ち上がりの場合には、前記ピッチ抽出手段３２から入力
されたピッチ周期の候補の中から、例えば過去に正しく
伝送された適応符号の出現頻度分布と比較し、出現頻度
の高い符号に対応するピッチ周期に最も近いものを選択
し、この選択されたピッチ周期に対応する適応符号を適
応符号帳１７に出力する。適応符号帳１７は適応符号に
対応して、過去の駆動音源ベクトルを周期的に繰り返し
た時系列ベクトルを出力する。図３（Ａ）にこの実施の
形態１１における適応符号修復処理の例を、また図３
（Ｂ）に従来の前フレームの適応符号を繰り返して用い
る修復処理の例を示す。図に示すように、前フレームの
適応符号に対応するピッチ周期が現フレームに不適な場
合でも、過去のフレームの情報より現フレームに適した
ピッチ周期を求めることにより、良好な波形修復処理が
可能であることが分かる。
が検出されていないフレームでは、分離手段４から入力
される適応符号を、符号誤りが検出されても前フレーム
が有声立ち上がりではない場合には、前フレームの適応
符号を、符号誤りが検出され、かつ前フレームが有声立
ち上がりの場合には、前記ピッチ抽出手段３２から入力
されたピッチ周期の候補の中から、例えば過去に正しく
伝送された適応符号の出現頻度分布と比較し、出現頻度
の高い符号に対応するピッチ周期に最も近いものを選択
し、この選択されたピッチ周期に対応する適応符号を適
応符号帳１７に出力する。適応符号帳１７は適応符号に
対応して、過去の駆動音源ベクトルを周期的に繰り返し
た時系列ベクトルを出力する。図３（Ａ）にこの実施の
形態１１における適応符号修復処理の例を、また図３
（Ｂ）に従来の前フレームの適応符号を繰り返して用い
る修復処理の例を示す。図に示すように、前フレームの
適応符号に対応するピッチ周期が現フレームに不適な場
合でも、過去のフレームの情報より現フレームに適した
ピッチ周期を求めることにより、良好な波形修復処理が
可能であることが分かる。
【００２６】雑音符号帳１８は雑音符号に対応した時系
列ベクトルを出力する。ゲイン復号化手段１９はゲイン
の符号から、前記適応符号帳１７及び雑音符号帳１８よ
り出力された時系列ベクトルに対するゲインを復号化す
る。無声判定手段３４は、符号の伝送誤りが検出された
フレームで、前フレームの再生音声を分析して、前フレ
ームが無声であるか否かを判定し、判定結果をゲイン修
復手段３５に出力する。ゲイン修復手段３５は、符号の
伝送誤りが検出されていないフレームでは、ゲイン復号
化手段１９から入力されたゲインを、符号誤りが検出さ
れ、かつ、前フレームが無声でない場合は前フレームの
ゲインを、符号誤りが検出され、かつ、前フレームが無
声の場合は、前フレームのゲインに対し、適応符号帳か
らの時系列ベクトルに対するゲインをα倍、雑音符号帳
からの時系列ベクトルに対するゲインをβ倍して出力す
る。ここでα、βは、例えば、０≦α＜β≦１とする。
列ベクトルを出力する。ゲイン復号化手段１９はゲイン
の符号から、前記適応符号帳１７及び雑音符号帳１８よ
り出力された時系列ベクトルに対するゲインを復号化す
る。無声判定手段３４は、符号の伝送誤りが検出された
フレームで、前フレームの再生音声を分析して、前フレ
ームが無声であるか否かを判定し、判定結果をゲイン修
復手段３５に出力する。ゲイン修復手段３５は、符号の
伝送誤りが検出されていないフレームでは、ゲイン復号
化手段１９から入力されたゲインを、符号誤りが検出さ
れ、かつ、前フレームが無声でない場合は前フレームの
ゲインを、符号誤りが検出され、かつ、前フレームが無
声の場合は、前フレームのゲインに対し、適応符号帳か
らの時系列ベクトルに対するゲインをα倍、雑音符号帳
からの時系列ベクトルに対するゲインをβ倍して出力す
る。ここでα、βは、例えば、０≦α＜β≦１とする。
【００２７】適応符号帳１７、雑音符号帳１８からの各
時系列ベクトルは、ゲイン修復手段３５から出力された
それぞれのゲインに応じて重み付けして加算され、その
加算結果を駆動音源ベクトルとして合成フィルタ１６へ
供給され再生音声が得られる。再生音声パワー制御手段
３６は、符号の伝送誤り検出状況に応じて、例えば誤り
が連続するに従い徐々に抑圧量を強めるとして、再生音
声のパワーを抑圧する。音声状態推定手段３７は、符号
の伝送誤りが検出された場合に、過去の再生音声及び現
フレームの線形予測パラメータの符号から現フレームの
有音／無音を判定し、その判定結果を雑音生成手段３８
に出力する。
時系列ベクトルは、ゲイン修復手段３５から出力された
それぞれのゲインに応じて重み付けして加算され、その
加算結果を駆動音源ベクトルとして合成フィルタ１６へ
供給され再生音声が得られる。再生音声パワー制御手段
３６は、符号の伝送誤り検出状況に応じて、例えば誤り
が連続するに従い徐々に抑圧量を強めるとして、再生音
声のパワーを抑圧する。音声状態推定手段３７は、符号
の伝送誤りが検出された場合に、過去の再生音声及び現
フレームの線形予測パラメータの符号から現フレームの
有音／無音を判定し、その判定結果を雑音生成手段３８
に出力する。
【００２８】雑音生成手段３８は、符号の伝送誤り検出
状況及び音声状態判定手段３７から入力された有音／無
音判定結果に応じて、例えば誤りが検出され、かつ、有
音と推定されたフレームで雑音を生成する。雑音パワー
制御手段３９は、例えば雑音の重畳始めは徐々にパワー
を増大し、重畳終わりには徐々にパワーを減少させると
して、雑音のパワーを制御する。図４に再生音声及び雑
音信号のパワー制御処理の例を示す。再生音声パワー制
御手段３６から出力された再生音声と雑音パワー制御手
段３９から出力された雑音は加算され、出力音声Ｓ３が
得られる。
状況及び音声状態判定手段３７から入力された有音／無
音判定結果に応じて、例えば誤りが検出され、かつ、有
音と推定されたフレームで雑音を生成する。雑音パワー
制御手段３９は、例えば雑音の重畳始めは徐々にパワー
を増大し、重畳終わりには徐々にパワーを減少させると
して、雑音のパワーを制御する。図４に再生音声及び雑
音信号のパワー制御処理の例を示す。再生音声パワー制
御手段３６から出力された再生音声と雑音パワー制御手
段３９から出力された雑音は加算され、出力音声Ｓ３が
得られる。
【００２９】この実施の形態１によれば、符号が正しく
復号できなかったことを検出した場合に、前のフレーム
の再生音声の状態を判定し、この判定に応じて現在のフ
レームの音声を再生修復することにより、遅延を増大す
ることなく、伝送路誤りによる品質劣化の少ない音声を
再生することができる。また、符号誤りが発生した場合
に、再生する音声の状態に応じて、再生音声に雑音を重
畳することにより、聴感上の音声品質を維持することが
できる。
復号できなかったことを検出した場合に、前のフレーム
の再生音声の状態を判定し、この判定に応じて現在のフ
レームの音声を再生修復することにより、遅延を増大す
ることなく、伝送路誤りによる品質劣化の少ない音声を
再生することができる。また、符号誤りが発生した場合
に、再生する音声の状態に応じて、再生音声に雑音を重
畳することにより、聴感上の音声品質を維持することが
できる。
【００３０】実施の形態２．上述の実施の形態１では、
線形予測パラメータ修復手段３０において、伝送誤りが
発生した際は常に前フレームの線形予測パラメータから
高域のホルマントピークを抑制したスペクトルとなるよ
うな線形予測パラメータを求め、合成フィルタ１６の係
数としているが、これに代え、前フレームの線形予測パ
ラメータが表すスペクトルの高域に鋭いホルマントピー
クがある場合にのみ抑制処理を行い、その他の場合は、
前フレームの線形予測パラメータをそのまま用いるとす
るなど、状態に応じて選択的に処理を行っても良い。
線形予測パラメータ修復手段３０において、伝送誤りが
発生した際は常に前フレームの線形予測パラメータから
高域のホルマントピークを抑制したスペクトルとなるよ
うな線形予測パラメータを求め、合成フィルタ１６の係
数としているが、これに代え、前フレームの線形予測パ
ラメータが表すスペクトルの高域に鋭いホルマントピー
クがある場合にのみ抑制処理を行い、その他の場合は、
前フレームの線形予測パラメータをそのまま用いるとす
るなど、状態に応じて選択的に処理を行っても良い。
【００３１】この実施の形態２によれば、線形予測パラ
メータの修復処理を行う際に、高域に鋭いホルマントピ
ークがあり、聴感上の品質劣化につながる可能性が高い
場合にのみその抑制処理を行い、その他の場合前フレー
ムの線形予測パラメータを繰り返して用いるので、異音
を発生すること無く合成音声の連続性が向上し、聴感上
の音声品質を向上することができる。
メータの修復処理を行う際に、高域に鋭いホルマントピ
ークがあり、聴感上の品質劣化につながる可能性が高い
場合にのみその抑制処理を行い、その他の場合前フレー
ムの線形予測パラメータを繰り返して用いるので、異音
を発生すること無く合成音声の連続性が向上し、聴感上
の音声品質を向上することができる。
【００３２】実施の形態３．上述の実施の形態１では、
伝送誤り検出時前フレームが無声の場合、ゲイン修復手
段３５においてゲインを調整することにより駆動音源ベ
クトルのピッチ周期性を抑制を実現しているが、これに
代え、例えば適応符号帳からの時系列ベクトルを用いな
いとするなど、別の手段を用いてピッチ周期性の抑制を
実現しても良い。この実施の形態３によれば、ピッチ周
期性の抑制を適応符号帳からの時系列ベクトルを使用す
る／使用しないを切り替えるだけで良く、ゲインを調整
してピッチ周期性を抑制する場合に比較し簡易に実現で
きる。
伝送誤り検出時前フレームが無声の場合、ゲイン修復手
段３５においてゲインを調整することにより駆動音源ベ
クトルのピッチ周期性を抑制を実現しているが、これに
代え、例えば適応符号帳からの時系列ベクトルを用いな
いとするなど、別の手段を用いてピッチ周期性の抑制を
実現しても良い。この実施の形態３によれば、ピッチ周
期性の抑制を適応符号帳からの時系列ベクトルを使用す
る／使用しないを切り替えるだけで良く、ゲインを調整
してピッチ周期性を抑制する場合に比較し簡易に実現で
きる。
【００３３】実施の形態４．上述の実施の形態１では、
音声状態推定手段３７で、過去の再生音声及び現フレー
ムの線形予測パラメータの符号から現フレームの有音／
無音を判定しているが、これに代え、適応符号やゲイン
の符号も判定のためのパラメータとして用いても良い。
この実施の形態４によれば、過去の再生音声及び線形予
測パラメータの符号からだけでなく、その他の情報も用
いて有音／無音判定するので、より精度の高い判定が可
能となる。
音声状態推定手段３７で、過去の再生音声及び現フレー
ムの線形予測パラメータの符号から現フレームの有音／
無音を判定しているが、これに代え、適応符号やゲイン
の符号も判定のためのパラメータとして用いても良い。
この実施の形態４によれば、過去の再生音声及び線形予
測パラメータの符号からだけでなく、その他の情報も用
いて有音／無音判定するので、より精度の高い判定が可
能となる。
【００３４】実施の形態５．上述の実施の形態１では、
ＣＥＬＰ系音声符号化に伝送誤り時の修復処理、雑音重
畳処理を適用しているが、これに代え、ＭＢＥ系音声符
号化をはじめ他の音声符号化方式に適用しても、同様に
伝送誤り時の再生音声の聴感上の音声品質を向上するこ
とができる。
ＣＥＬＰ系音声符号化に伝送誤り時の修復処理、雑音重
畳処理を適用しているが、これに代え、ＭＢＥ系音声符
号化をはじめ他の音声符号化方式に適用しても、同様に
伝送誤り時の再生音声の聴感上の音声品質を向上するこ
とができる。
【００３５】
【発明の効果】以上詳述したように、
【００３６】この発明によれば、復号化方法で、符号が
正しく復号できなかったことを検出した場合に、前のフ
レームの再生音声の状態を判定し、この判定に応じて現
在のフレームの音声を再生修復するようにしたので、遅
延を増大することなく効果的な再生修復処理ができ、伝
送路誤りによる品質劣化の少ない音声を再生することが
できる。
正しく復号できなかったことを検出した場合に、前のフ
レームの再生音声の状態を判定し、この判定に応じて現
在のフレームの音声を再生修復するようにしたので、遅
延を増大することなく効果的な再生修復処理ができ、伝
送路誤りによる品質劣化の少ない音声を再生することが
できる。
【００３７】またこの発明によれば、前フレームの再生
音声が有声立ち上がりの場合、過去のフレームの情報よ
り現在のフレームについてのピッチ情報を求め、このピ
ッチ情報に基づいて現在のフレームの音声を再生修復す
るようにしたので、前フレームで伝送されたピッチ情報
が現フレームには不適なものであっても、現フレームに
適したピッチ周期を求めて再生音声を生成することがで
き、伝送誤りによる品質劣化の少ない音声を再生するこ
とができる。
音声が有声立ち上がりの場合、過去のフレームの情報よ
り現在のフレームについてのピッチ情報を求め、このピ
ッチ情報に基づいて現在のフレームの音声を再生修復す
るようにしたので、前フレームで伝送されたピッチ情報
が現フレームには不適なものであっても、現フレームに
適したピッチ周期を求めて再生音声を生成することがで
き、伝送誤りによる品質劣化の少ない音声を再生するこ
とができる。
【００３８】またこの発明によれば、前フレームの再生
音声が無声である場合、ピッチ周期性を抑制するように
現在のフレームの音声を再生修復するようにしたので、
無声である部分で不自然な周期性が発生することを回避
することができ、伝送誤りによる品質劣化の少ない音声
を再生することができる。
音声が無声である場合、ピッチ周期性を抑制するように
現在のフレームの音声を再生修復するようにしたので、
無声である部分で不自然な周期性が発生することを回避
することができ、伝送誤りによる品質劣化の少ない音声
を再生することができる。
【００３９】またこの発明によれば、符号が正しく復号
できなかったことを検出した場合に前のフレームのスペ
クトルの低域のホルマント構造を保ち、高域のホルマン
トピークを抑制したスペクトルとなるように現在のフレ
ームの音声を再生修復することにより、再生音声の連続
性を保ちつつ高域の異音感を軽減することができ、伝送
路誤りによる品質劣化の少ない音声を再生することがで
きる。
できなかったことを検出した場合に前のフレームのスペ
クトルの低域のホルマント構造を保ち、高域のホルマン
トピークを抑制したスペクトルとなるように現在のフレ
ームの音声を再生修復することにより、再生音声の連続
性を保ちつつ高域の異音感を軽減することができ、伝送
路誤りによる品質劣化の少ない音声を再生することがで
きる。
【００４０】またこの発明によれば、音声復号化方法
で、符号が正しく復号できなかったことを検出し、この
検出状態に応じて再生音声に雑音を重畳することによ
り、再生音声と雑音間の移行を滑らかにすることがで
き、また、本来有音である部分にのみ雑音を出力し、無
音部分では雑音を出力しないので、聴感上の音声品質を
維持することができる。
で、符号が正しく復号できなかったことを検出し、この
検出状態に応じて再生音声に雑音を重畳することによ
り、再生音声と雑音間の移行を滑らかにすることがで
き、また、本来有音である部分にのみ雑音を出力し、無
音部分では雑音を出力しないので、聴感上の音声品質を
維持することができる。
【図１】 この発明による音声復号化方法の実施の形態
１の構成を示すブロック図である。
１の構成を示すブロック図である。
【図２】 実施の形態１におけるスペクトル修復処理の
動作の説明に供する略線図である。
動作の説明に供する略線図である。
【図３】 実施の形態１における適応符号修復処理の動
作の説明に供する信号波形図である。
作の説明に供する信号波形図である。
【図４】 実施の形態１における再生音声及び雑音信号
のパワー制御処理の一例の説明に供する略線図である。
のパワー制御処理の一例の説明に供する略線図である。
【図５】 従来のＣＥＬＰ系音声符号化復号化方法の全
体構成を示すブロック図である。
体構成を示すブロック図である。
２ 復号化部
４ 分離手段
１６ 合成フィルタ
１７ 適応符号帳
１８ 雑音符号帳
１５ 線形予測パラメータ復号化手段
１９ ゲイン復号化手段
３０ 線形予測パラメータ修復手段
３１ 立ち上がり判定手段
３２ ピッチ抽出手段
３３ 適応符号修復手段
３４ 無声判定手段
３５ ゲイン修復手段
３６ 再生音声パワー制御手段
３７ 音声状態推定手段
３８ 雑音生成手段
３９ 雑音パワー制御手段
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5D045 DA11
5J064 AA01 BB03 BB08 BC16 BC27
BD02
5K014 AA01 FA06 FA07
Claims (8)
- 【請求項１】 符号化された音声のスペクトル情報と音
源情報を、フレーム単位に復号し、音声を再生する音声
復号化方法において、符号が正しく復号できなかった事
を検出した場合に、前のフレームの再生音声の状態を判
定し、当該判定に応じて現在のフレームの音声を再生修
復することを特徴とする音声復号化方法。 - 【請求項２】 上記音源情報はピッチ情報を含み、前の
フレームの再生音声が有声の立ち上がりの場合、過去の
フレームの情報から現在のフレームについてのピッチ情
報を求め、当該ピッチ情報に基づいて現在のフレームの
音声を再生修復することを特徴とする請求項１に記載の
音声復号化方法。 - 【請求項３】 前のフレームの再生音声が無声である場
合、ピッチ周期性を抑制するように現在のフレームの音
声を再生修復することを特徴とする請求項１に記載の音
声復号化方法。 - 【請求項４】 符号化された音声のスペクトル情報と音
源情報を、フレーム単位に復号し、音声を再生する音声
復号化方法において、符号が正しく復号できなかった事
を検出した場合に、前のフレームのスペクトルの低域の
ホルマント構造を保ち、高域のホルマントピークを抑制
したスペクトルとなるように現在のフレームの音声を再
生修復することを特徴とする音声復号化方法。 - 【請求項５】 符号化された音声の情報を復号し、音声
を再生する音声復号化方法において、符号が正しく復号
できなかった事を検出し、当該検出状態に応じて再生音
声に雑音を重畳することを特徴とする音声復号化方法。 - 【請求項６】 符号が正しく復号できなかった事を検出
し、当該検出状態に応じて再生音声に重畳する雑音のパ
ワーを制御することを特徴とする請求項５に記載の音声
復号化方法。 - 【請求項７】 再生する音声の状態を推定し、当該推定
結果に応じて再生音声に雑音を重畳することを特徴とす
る請求項５に記載の音声復号化方法。 - 【請求項８】 再生する音声の状態を推定し、当該推定
結果に応じて再生音声に重畳する雑音のパワーを制御す
ることを特徴とする請求項７に記載の音声復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002123468A JP3617503B2 (ja) | 1996-10-18 | 2002-04-25 | 音声復号化方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27620596 | 1996-10-18 | ||
| JP8-276205 | 1996-10-18 | ||
| JP2002123468A JP3617503B2 (ja) | 1996-10-18 | 2002-04-25 | 音声復号化方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06040997A Division JP3364827B2 (ja) | 1996-10-18 | 1997-03-14 | 音声符号化方法、音声復号化方法及び音声符号化復号化方法並びにそれ等の装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003029799A true JP2003029799A (ja) | 2003-01-31 |
| JP3617503B2 JP3617503B2 (ja) | 2005-02-09 |
Family
ID=26551800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002123468A Expired - Lifetime JP3617503B2 (ja) | 1996-10-18 | 2002-04-25 | 音声復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3617503B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005086138A1 (ja) * | 2004-03-05 | 2008-01-24 | 松下電器産業株式会社 | エラー隠蔽装置およびエラー隠蔽方法 |
| JP2013527479A (ja) * | 2009-06-29 | 2013-06-27 | オーディエンス，インコーポレイテッド | 破損したオーディオ信号の修復 |
| JP2016510432A (ja) * | 2013-02-05 | 2016-04-07 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | オーディオフレーム損失のコンシールメントを制御する方法及び装置 |
-
2002
- 2002-04-25 JP JP2002123468A patent/JP3617503B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005086138A1 (ja) * | 2004-03-05 | 2008-01-24 | 松下電器産業株式会社 | エラー隠蔽装置およびエラー隠蔽方法 |
| JP4744438B2 (ja) * | 2004-03-05 | 2011-08-10 | パナソニック株式会社 | エラー隠蔽装置およびエラー隠蔽方法 |
| JP2013527479A (ja) * | 2009-06-29 | 2013-06-27 | オーディエンス，インコーポレイテッド | 破損したオーディオ信号の修復 |
| JP2016510432A (ja) * | 2013-02-05 | 2016-04-07 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | オーディオフレーム損失のコンシールメントを制御する方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3617503B2 (ja) | 2005-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2348913C (en) | Complex signal activity detection for improved speech/noise classification of an audio signal | |
| US6202046B1 (en) | Background noise/speech classification method | |
| KR101023460B1 (ko) | 신호 처리 방법, 처리 장치 및 음성 디코더 | |
| EP0459358A2 (en) | Speech decoder | |
| US7693711B2 (en) | Speech signal decoding method and apparatus | |
| US8311842B2 (en) | Method and apparatus for expanding bandwidth of voice signal | |
| EP1096476B1 (en) | Speech signal decoding | |
| JPH1097296A (ja) | 音声符号化方法および装置、音声復号化方法および装置 | |
| JP3416331B2 (ja) | 音声復号化装置 | |
| JP2002268696A (ja) | 音響信号符号化方法、復号化方法及び装置並びにプログラム及び記録媒体 | |
| JPH07129195A (ja) | 音声復号化装置 | |
| EP0856185A1 (en) | Repetitive sound compression system | |
| US6738739B2 (en) | Voiced speech preprocessing employing waveform interpolation or a harmonic model | |
| JP2003029799A (ja) | 音声復号化方法 | |
| EP1199710B1 (en) | Device, method and recording medium on which program is recorded for decoding speech in voiceless parts | |
| JP3364827B2 (ja) | 音声符号化方法、音声復号化方法及び音声符号化復号化方法並びにそれ等の装置 | |
| JPH0612095A (ja) | 音声復号化方法 | |
| JPH086596A (ja) | 音声強調装置 | |
| JP3559485B2 (ja) | 音声信号の後処理方法および装置並びにプログラムを記録した記録媒体 | |
| JP3417362B2 (ja) | 音声信号復号方法及び音声信号符号化復号方法 | |
| JP3055608B2 (ja) | 音声符号化方法および装置 | |
| JP3515216B2 (ja) | 音声符号化装置 | |
| JP3515215B2 (ja) | 音声符号化装置 | |
| JP2000122698A (ja) | 音声符号化装置 | |
| JP2001265390A (ja) | 複数レートで動作する無音声符号化を含む音声符号化・復号装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040820 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041019 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041101 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |