JP2003316400A - 音声信号処理装置及び音声信号処理方法 - Google Patents

音声信号処理装置及び音声信号処理方法

Info

Publication number
JP2003316400A
JP2003316400A JP2002122863A JP2002122863A JP2003316400A JP 2003316400 A JP2003316400 A JP 2003316400A JP 2002122863 A JP2002122863 A JP 2002122863A JP 2002122863 A JP2002122863 A JP 2002122863A JP 2003316400 A JP2003316400 A JP 2003316400A
Authority
JP
Japan
Prior art keywords
voice
frequency
component
voice signal
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002122863A
Other languages
English (en)
Other versions
JP3854188B2 (ja
Inventor
Takashi Obara
隆 小原
Kimio Miseki
公生 三関
Takehiko Isaka
岳彦 井阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002122863A priority Critical patent/JP3854188B2/ja
Publication of JP2003316400A publication Critical patent/JP2003316400A/ja
Application granted granted Critical
Publication of JP3854188B2 publication Critical patent/JP3854188B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

(57)【要約】 【課題】 音声品質の低下を招くことなく、特に符号化
系でのノイズキャンセラ、エコーキャンセラもしくはボ
イススイッチの機能に要するデータ処理量やメモリ量を
削減できるようにして、結果として音声信号処理効率を
向上できる音声信号処理装置を提供できることにある。 【解決手段】広帯域のエンコーダ13とノイズキャンセ
ラ12とを有する音声信号処理装置が開示されている。
ノイズキャンセラ12、エコーキャンセラ16もしくは
ボイススイッチ18は、高域用音声符号化器131を動
作させないモード時には、動作せずにディジタル音声信
号VSを通過してエンコーダ13に伝える。低域用音声
符号化器130は、低域用ノイズキャンセラ機能を有
し、低域音声信号成分に対してのみ音声符号化処理を実
行する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一般的には例えば
携帯電話等の移動通信分野のディジタル音声通信方式に
適用する音声信号処理装置に関し、特に、音声符号化処
理でのノイズ抑圧機能およびエコー抑圧機能に関する。
【0002】
【従来の技術】一般的に、例えば携帯電話などの移動通
信分野では、ディジタル音声通信方式が応用されてい
る。ディジタル音声通信方式では、音声データを圧縮し
て伝送するために、音声符号化(圧縮符号化)方式が利
用されている。
【0003】移動通信分野では、代表的な音声符号化方
式としてCELP(Code Excited Lin
ear Prediction)方式と呼ばれる低ビッ
トレート符号化方式が周知である。このような方式によ
り音声符号化を行なう場合に、音声信号だけでなく、高
周囲雑音と呼ぶノイズ成分を含む音声信号を符号化する
ことになる。しかし、ノイズ成分やエコー成分を含む音
声信号をそのまま符号化すると、品質が劣化した音声符
号化データを生成することが知られている。このため、
一般的には、音声符号化回路には、ノイズ成分を抑圧し
た音声信号のみが入力されるように、ノイズキャンセラ
と呼ぶノイズ抑圧回路が使用されたり、エコー成分を抑
圧した音声信号が入力されるように、エコーキャンセラ
やボイススイッチといったエコー抑圧回路が使用され
る。
【0004】ノイズキャンセラは、例えば音声信号がな
いとき、即ち周囲ノイズ信号のみ状態を判定して、その
特徴を分析し、音声信号とノイズ成分とが混合している
区間で当該特徴を用いてノイズ成分を抑圧するように構
成されている。エコーキャンセラは、例えば受話側に音
声信号が到来しかつ送話側は何も通話していないとき、
即ち受話のシングルトーク状態を判定して、受話から送
話への回り込みの音響特性を学習し、当該音響特性を用
いて送話側の信号に混入したエコー成分を抑圧するよう
に構成されている。ボイススイッチは、例えば受話と送
話で信号パワーを比較してパワーの小さい方にロスを入
れて、エコー成分を抑圧するように構成されている。
【0005】また、現在の携帯電話で使用されている音
声符号化方式は、主として音声信号が存在する帯域に制
限されている。近年では、更なる高品質を求めるため
に、音声信号帯域より広い帯域で音声符号化を行う高域
音声符号化方式も標準化されつつある。このような広帯
域音声符号化方式においても、CELP方式を利用する
ことになり、高周囲雑音であるノイズ成分を抑圧するた
めのノイズキャンセラが必要となったり、エコー成分を
抑圧するためのエコーキャンセラやボイススイッチが必
要となる。
【0006】図17は、ノイズキャンセラを使用した広
帯域音声符号化方式を採用した音声信号処理装置の一般
的構成を示すブロック図である。
【0007】音声処理装置は、マイクロホン10に入力
された音声信号をA/D変換器11でディジタル音声信
号に変換して、当該ディジタル音声信号から音声符号化
データ(TX)を生成する符号化系と、音声符号化デー
タ(RX)をD/A変換器21でアナログ信号に変換し
て、スピーカ20から音声出力を行なう再生系(復号化
系)とに大別される。
【0008】符号化系は、マイクロホン10とA/D変
換器11以外に、ノイズキャンセラ70、エンコーダ7
1及びマルチプレクサ(データ多重部)14を有する。
ノイズキャンセラ70は、ディジタル音声信号から高周
囲雑音であるノイズ成分を抑圧する回路である。エンコ
ーダ71は、ノイズ成分を抑圧されたディジタル音声信
号に対して、所定のアルゴリズム(例えばCELP方
式)で圧縮符号化する音声符号化回路である。一方、再
生系は、通常ではメモリに格納された音声符号化データ
を元の音声データに復号化するために、ディマルチプレ
クサ23及びデコーダ(音声復号化回路)22を有す
る。
【0009】ここで、特に広帯域方式のエンコーダ71
は、低域用音声符号化器(Lコーダと表記する場合があ
る)700と、高域用音声符号化器(Hコーダと表記す
る場合がある)701とに分かれている。ところで、ノ
イズキャンセラ70を経由したディジタル音声信号は、
音声信号としてパワーがなく情報的にもさほど重要でな
い高域音声信号成分と、その他の低域音声信号成分とに
分けられる。ある符号化モード時には、高域の音声信号
成分は不要であり、予め音声符号化データから除去する
方式がある。このため、マルチプレクサ14は、低域音
声信号成分のみの音声符号化データを出力したり、また
高域の音声信号成分も含む音声符号化データを出力す
る。
【0010】
【発明が解決しようとする課題】前述したように、低域
用音声符号化器700と、高域用音声符号化器701と
に分かれているエンコーダでは、符号化モードに従っ
て、Lコーダ700のみが動作することがある。このよ
うな符号化モードでは、ノイズキャンセラ70は、A/
D変換器11から出力される全ての帯域のディジタル音
声信号に対してノイズ抑圧処理を実行する必要は無く、
低域の音声信号成分のみに対するノイズ抑圧処理でよ
い。
【0011】しかしながら、従来の方式では、低域用音
声符号化器700のみが動作するモード時においても、
ノイズキャンセラ70は全ての帯域のディジタル音声信
号に対して処理を実行する。ここで、通常では、ノイズ
キャンセラ70、エンコーダ71、及びマルチプレクサ
14は、ディジタル信号プロセッサ(DSP)により構
成されている。このため、従来の方式では、DSPに対
して、ノイズキャンセラ70の機能を実現する上で、過
大なデータ処理量やメモリ量が要求されている問題があ
る。
【0012】そこで、本発明の目的は、音声品質の低下
を招くことなく、特に符号化系でのノイズキャンセラの
機能に要するデータ処理量やメモリ量を削減できるよう
にして、結果として音声信号処理効率を向上できる音声
信号処理装置を提供することにある。
【0013】図18はエコーキャンセラ72を使用した
広帯域音声符号化方式を採用した音声信号処理装置の一
般的構成を示すブロック図であるが、Lコーダ700の
みが動作する場合は、低域の音声信号成分のみに対する
エコー抑圧処理でよく、同様に、データ処理量やメモリ
量の削減が望まれる。
【0014】また、図19のようにボイススイッチ73
についても同様のことが望まれる。そこで、エコー抑圧
機能に要するデータ処理量やメモリ量についても、これ
らを削減して音声信号処理効率を向上することを本発明
の目的とする。
【0015】
【課題を解決するための手段】本発明の観点は、特に広
帯域の音声符号化回路(エンコーダ)とノイズキャンセ
ラとを有する音声信号処理装置において、当該エンコー
ダに含まれる高域用音声符号化器を動作させないモード
時には、高域用ノイズキャンセラ機能を無効する音声信
号処理装置に関する。換言すれば、低域用音声符号化器
のみを動作させるモード時には、低域用ノイズキャンセ
ラ機能を有効にする音声信号処理装置である。
【0016】本発明の観点に従った音声信号処理装置
は、音声符号化処理によりディジタル音声信号から音声
符号化データを生成する手段であって、当該ディジタル
音声信号の高域音声信号成分と低域音声信号成分の各々
あるいは一方のみに対して音声符号化処理を実行する音
声符号化手段と、ディジタル音声信号のノイズ成分を抑
圧する手段であって、音声符号化手段により前記低域音
声信号成分に対してのみ音声符号化処理を実行するとき
に、低域音声信号成分に対してのみノイズ成分を抑圧す
るノイズ抑圧手段とを備えたものである。
【0017】このような構成により、高域音声信号成分
に対する音声符号化処理を実行せずに、低域音声信号成
分のみに対する音声符号化処理を実行するときに、低域
音声信号成分に対してのみノイズ抑圧処理を実行でき
る。従って、例えばDSPによりノイズ抑圧処理を実行
するような構成では、高域音声符号化処理を実行しない
モード時には、ノイズキャンセラの機能に要するデータ
処理量やメモリ量を削減することができる。従って、結
果として音声信号処理効率を向上できる音声信号処理装
置を提供できる。
【0018】また、別の本発明の観点は、広帯域のエン
コーダとエコー抑圧手段(エコーキャンセラ、ボイスス
イッチ)とを有する音声信号処理装置において、当該エ
ンコーダに含まれる高域用音声符号化器を動作させない
モード時には、高域用エコー抑圧手段の機能を無効する
音声信号処理装置に関する。換言すれば、低域用音声符
号化器のみを動作させるモード時には、低域用エコー抑
圧手段の機能を有効にする音声信号処理装置である。
【0019】本発明の観点に従った音声信号処理装置
は、音声符号化処理によりディジタル音声信号から音声
符号化データを生成する手段であって、当該ディジタル
音声信号の高域音声信号成分と低域音声信号成分の各々
あるいは一方に対して音声符号化処理を実行する音声符
号化手段と、ディジタル音声信号のエコー成分を抑圧す
る手段であって、音声符号化手段により前記低域音声信
号成分に対してのみ音声符号化処理を実行するときに、
低域音声信号成分に対してのみエコー成分を抑圧するエ
コー抑圧手段とを備えたものである。
【0020】このような構成により、高域音声信号成分
に対する音声符号化処理を実行せずに、低域音声信号成
分に対してのみ音声符号化処理を実行するときに、低域
音声信号成分に対してのみエコー抑圧処理を実行でき
る。従って、例えばDSPによりエコー抑圧処理を実行
するような構成では、高域音声符号化処理を実行しない
モード時には、エコーキャンセラやボイススイッチの機
能に要するデータ処理量やメモリ量を削減することがで
きる。従って、結果として音声信号処理効率を向上でき
る音声信号処理装置を提供できる。
【0021】
【発明の実施の形態】本発明の主要構成は、図16の
(A)〜(D)に示すように4つのパターンに分類され
る。図16(A)は、帯域分割手段によって符号化系の
信号を帯域分割した後に低域信号に対して補正を行った
後に、高域と低域の各々を符号化する。(B)は帯域分
割手段によって符号化系の信号を帯域分割して、さらに
高域と低域の各々を符号化した後に高域符号について補
正を行う。(C)は(A)において低域符号化系の信号
を補正する際に、低域復号化後の信号も参照する。
(D)は(B)において高域符号化系の信号を補正する
際に、高域復号化後の信号も参照する。
【0022】以上のような構成パターンとすることで、
帯域分割前よりも低いサンプリングレートで補正処理を
行うことができ、データ処理量やメモリ量を削減するこ
とができる。
【0023】これを踏まえた上で、以下図面を参照し
て、本発明の実施の形態を説明する。
【0024】(第1の実施形態)図1は、第1の実施形
態に関する音声信号処理装置の要部を示すブロック図で
ある。
【0025】本装置は、図1に示すように、大別してデ
ィジタル音声信号から音声符号化データ(TX)を生成
する符号化系と、通常ではメモリ15に格納された音声
符号化データ(RX)を元の音声信号に復号化する再生
系(復号化系)とから構成される。
【0026】復号化系は、マイクロホン10に入力され
た音声信号をディジタル音声信号に変換するA/D変換
器11と、ノイズキャンセラ12と、エンコーダ13
と、マルチプレクサ(データ多重部)14とを有する。
一方、再生系は、スピーカ20と、D/A変換器21
と、デコーダ(音声復号化回路)22と、ディマルチプ
レクサ23とを有する。なお、再生系は、図1に示す従
来のものと同様のため説明を省略する。また、符号化系
において、ノイズキャンセラ12、エンコーダ13、及
びマルチプレクサ14は、通常では、ディジタル信号プ
ロセッサ(DSP)により構成されている。
【0027】エンコーダ13は、ディジタル音声信号に
対して、所定のアルゴリズム(例えばCELP方式)で
圧縮符号化処理して、音声符号化データを生成する音声
符号化回路である。エンコーダ13は広帯域方式の音声
符号化回路であり、低域用音声符号化器130と、高域
用音声符号化器(Hコーダと表記する場合がある)13
1とに分かれている。マルチプレクサ14は、エンコー
ダ13により生成された音声符号化データを、伝送路、
モデム部または誤り訂正部等の特性に応じた形態に変換
してメモリ15に出力する。
【0028】ノイズキャンセラ12は、エンコーダ13
の動作モードを設定するモード信号(HM)に従って、
ノイズ抑圧機能の有効又は無効を制御される。このモー
ド信号(HM)は、例えば携帯電話のCPUから出力さ
れる信号であり、高域用音声符号化器(Hコーダ)13
1を動作させるか否かを決定する。ここでは、便宜的
に、「HM=1」のときにHコーダ131を動作させ
て、また「HM=0」のときにHコーダ131を動作さ
せないものと想定する。
【0029】ノイズキャンセラ12は、「HM=1」の
ときには動作して、A/D変換器11から出力されたデ
ィジタル音声信号に対してノイズ成分を抑圧する。一
方、ノイズキャンセラ12は、「HM=0」のときには
ノイズ抑圧処理を実行せずに、A/D変換器11から出
力されたディジタル音声信号(VS)をそのまま通過さ
せる。
【0030】低域用音声符号化器130は、図2に示す
ように、ダウンサンプル部201及び低域符号化器(L
コーダ)202を含むモジュール200と、ノイズキャ
ンセラ部203とを有する。ダウンサンプル部201
は、A/D変換器11から出力されるディジタル音声信
号(VS)に対して低域処理を行うために所定のサンプ
ル数を削減するようにダウンサンプルする。
【0031】ノイズキャンセラ部203は、「HM=
0」のときには、ダウンサンプル部201でダウンサン
プルされたディジタル音声信号(VS)に対するノイズ
抑圧処理を実行して、Lコーダ202に出力する。一
方、「HM=1」のときには、ノイズキャンセラ部20
3は、ダウンサンプル部201でダウンサンプルされた
ディジタル音声信号(VS)に対するノイズ抑圧処理を
実行せずに、そのままLコーダ202に通過させる。
【0032】(第1の実施形態の動作)以下図1及び図
2を参照して、本実施形態の符号化系の動作を説明す
る。
【0033】例えば携帯電話のCPUからモード信号H
Mが出力されて、エンコーダ13の動作モード(HM=
1/0)が設定される。A/D変換器11は、マイクロ
ホン10に入力された音声信号をディジタル音声信号に
変換する。
【0034】ここで、高域用音声符号化器(Hコーダ)
131を動作させる動作モードが設定された場合を想定
する(HM=1)。ノイズキャンセラ12は、「HM=
1」のときには動作して、A/D変換器11から出力さ
れたディジタル音声信号に対してノイズ成分を抑圧した
後に、エンコーダ13に出力する。
【0035】エンコーダ13では、Hコーダ131は高
域音声信号に対する符号化処理を実行する。一方、低域
用音声符号化器130では、「HM=1」のときには、
ノイズキャンセラ部203は、ダウンサンプル部201
でダウンサンプルされたディジタル音声信号(VS)に
対するノイズ抑圧処理を実行せずに、そのままLコーダ
202に通過させる。但し、ダウンサンプルされたディ
ジタル音声信号(VS)は、前段のノイズキャンセラ1
2によりノイズ抑圧処理されている。Hコーダ131及
びLコーダ202の各出力(音声符号化データ)は、マ
ルチプレクサ14により多重化されてメモリ15に格納
される。
【0036】一方、高域用音声符号化器(Hコーダ)1
31を動作させない動作モードを設定された場合を想定
する(HM=0)。ノイズキャンセラ12は、「HM=
0」のときにはノイズ抑圧処理を実行せずに、A/D変
換器11から出力されたディジタル音声信号(VS)を
そのまま通過させる。Hコーダ131は非動作状態であ
る。
【0037】低域用音声符号化器130では、「HM=
0」のときには、ノイズキャンセラ部203は、ダウン
サンプル部201でダウンサンプルされたディジタル音
声信号(VS)に対するノイズ抑圧処理を実行して、L
コーダ202に出力する。Lコーダ202は、低域用の
音声符号化データを生成してマルチプレクサ14に出力
する。
【0038】以上のように本実施形態によれば、符号化
系の動作モードがHコーダ131を動作させない場合
(HM=0)、エンコーダ13の前段に設けられたノイ
ズキャンセラ12も動作しない状態となる。従って、A
/D変換器11から出力されたディジタル音声信号(V
S)をそのまま通過して、エンコーダ13の低域用音声
符号化器130に与えられる。
【0039】低域用音声符号化器130では、「HM=
0」のときには、ノイズキャンセラ部203は動作状態
になり、ダウンサンプル部201でダウンサンプルされ
たディジタル音声信号(VS)に対するノイズ抑圧処理
を実行して、Lコーダ202に出力する。これにより、
低域用音声符号化器130は、ノイズ成分が抑圧された
低域用ディジタル音声信号から低域用音声符号化データ
を生成する。
【0040】従って、高域用音声符号化器131を動作
させない動作モード時には、エンコーダ13の前段に設
けられたノイズキャンセラ12を非動作状態にするた
め、当該ノイズキャンセラの機能に必要なDSPでのデ
ータ処理量やメモリ量を削減することができる。一方、
低域用音声符号化器130では、低域用のノイズキャン
セラ部203が機能するため、音声品質の劣化を招くこ
となく、低域用音声符号化データを生成することができ
る。この場合、低域用のノイズキャンセラ部203は、
ダウンサンプルされた(サンプル数が削減された)ディ
ジタル音声信号に対してノイズ抑圧処理を実行する。従
って、ノイズキャンセラ部203の機能に必要なDSP
でのデータ処理量やメモリ量は、高域のノイズキャンセ
ラ12を機能させる場合と比較して相対的に削減するこ
とができる。
【0041】(第2の本実施形態)図3は、第2の実施
形態に関する音声信号処理装置の要部を示すブロック図
である。
【0042】本実施形態の符号化系は、高域ノイズキャ
ンセラが無く、低域用ノイズキャンセラ(LNC)を含
む低域用音声符号化器300と、高域用ノイズキャンセ
ラ(HNC)を含む高域用音声符号化器301とを有す
るエンコーダ30を備えたものである。なお、再生系
(復号化系)は、第1の実施形態(図1を参照)と同様
であるため説明を省略する。
【0043】当該エンコーダ30において、低域用音声
符号化器300は、図4に示すように、低域符号化器
(Lコーダ)400、ダウンサンプル部401、及び低
域用ノイズキャンセラ部(LNC)402を有する。ダ
ウンサンプル部401は、A/D変換器11から出力さ
れるディジタル音声信号(VS)に対して低域処理を行
うために所定のサンプル数を削減するようにダウンサン
プルする。LNC402は、ダウンサンプルされたディ
ジタル音声信号(VS)に対して、主に低域の高周囲雑
音を抑圧するノイズ抑圧処理を実行する。Lコーダ40
0は、LNC402によりノイズ抑圧されたディジタル
音声信号(ダウンサンプルされた信号)から低域用の音
声符号化データを生成してマルチプレクサ14に出力す
る。
【0044】一方、高域用音声符号化器301は、高域
符号化器(Hコーダ)500及び高域用ノイズキャンセ
ラ部(HNC)501を有する。Hコーダ500は、前
述のモード信号HMにより設定される動作モード(HM
=1/0)に応じて動作するか否かが決定される。即
ち、「HM=1」のときには、Hコーダ500は動作
し、A/D変換器11から出力されたディジタル音声信
号(VS)の高域音声信号に対する符号化処理を実行す
る。HNC501は、高域の高周囲雑音を抑圧するノイ
ズ抑圧処理を実行する。HNC501及びLコーダ40
0の各出力(音声符号化データ)は、マルチプレクサ1
4により多重化されてメモリ15に格納される。
【0045】ここで、「HM=0」のときには、Hコー
ダ500は非動作状態となる。この動作モードでは、低
域用音声符号化器300のみが動作して、Lコーダ40
0の出力である音声符号化データをマルチプレクサ14
に送出する。
【0046】以上のように本実施形態によれば、符号化
系の動作モードがHコーダ500を動作させない場合
(HM=0)、高域用音声符号化器301は非動作状態
となり、低域用音声符号化器300のみが動作する。従
って、「HM=0」のときには、低域用音声符号化器3
00に含まれるLNC402のみが動作して、ダウンサ
ンプル部401でダウンサンプルされたディジタル音声
信号(VS)に対するノイズ抑圧処理を実行する。従っ
て、高域用音声符号化器301を動作させない動作モー
ド時には、当該ノイズキャンセラの機能に必要なDSP
でのデータ処理量やメモリ量を削減することができる。
【0047】(VAD機能)ところで、低域用音声符号
化器300は、図4に示すように、ディジタル音声信号
(VS)から入力された音声が有音または無音を判定す
るVAD(Voice Activity Detection)機能を有し、
無音を検出したときに所定のフラグ(VADF)を高域
用音声符号化器301に出力する。
【0048】高域用音声符号化器301では、Hコーダ
500の出力は、主として音声信号の高域ゲインに関す
る音声符号化データである。HNC501は、当該音声
符号化データを処理することにより簡易的にノイズをキ
ャンセルするノイズ抑圧部である。HNC501は、無
音(VADF=0)のときには、高域のゲインが雑音信
号(ノイズ)のゲインと判断し、Hコーダ500からの
出力信号から当該ゲインに応じた値を引き、その結果を
マルチプレクサ14に出力する。一方、HNC501
は、有音(VADF=1)のときには、無音(VADF
=0)のときに差し引いた値をHコーダ500の入力か
ら差し引き、その結果をマルチプレクサ14に出力す
る。
【0049】ここで、低域用音声符号化器300では、
VAD機能は、Lコーダ400の内部に設けられてい
る。具体的には、Lコーダ400は、図5(A)に示す
ように、VAD部50と、有音コーダ部51と、無音コ
ーダ部52とを有する。無音コーダ部52は、VAD部
50から無音を示すフラグ(VADF=0)が出力され
たときに機能する。また、有音コーダ部51は、VAD
部50から有音を示すフラグ(VADF=1)が出力さ
れたときに機能する。VAD部50は、当該フラグ(V
ADF=1/0)を高域用音声符号化器301のHNC
501に出力する。
【0050】また、Lコーダ400は、図5(B)に示
すように、VAD部50と、有音コーダ部51と、無音
コーダ部52と、スイッチ部53を有する構成でもよ
い。スイッチ部53は、VAD部50から無音を示すフ
ラグ(VADF=0)が出力されたときに、ディジタル
音声信号(VS)を無音コーダ部52に転送する。
【0051】また、スイッチ部53は、VAD部50か
ら有音を示すフラグ(VADF=1)が出力されたとき
に、ディジタル音声信号(VS)を有音コーダ部51に
転送する。VAD部50は、当該フラグ(VADF=1
/0)を高域用音声符号化器301のHNC501に出
力する。
【0052】(変形例)図6は、第2の実施形態の変形
例に関するブロック図である。
【0053】本変形例は、高域用音声符号化器301に
おいて、例えば携帯電話のCPUからの動作モード信号
(MS)に応じてHNC501の動作を制御する構成で
ある。具体的には、動作モード信号(MS)としては、
例えば音楽用の音声信号を処理するモードを設定する信
号である。
【0054】高域用音声符号化器301では、CPUか
ら音楽用の音声信号に対する高域符号化処理を実行する
ときには、HNC501は動作モード信号(MS=1)
に応じて動作し、音楽用として有効な高域ノイズの抑圧
処理を実行する。
【0055】なお、CPUから設定される動作モード信
号(MS)としては、音楽用に限定されず、各種のモー
ドを設定する場合にも適用できる。
【0056】(第3の本実施形態)図7は、第3の実施
形態に関する音声信号処理装置の要部を示すブロック図
であり、図8は図7の低域用音声符号化器172及び低
域用音声復号化器222の構成を示すブロック図であ
る。
【0057】本実施形態は、図1と図7の比較、図2と
図8の比較からも分かるように、第1の実施形態におい
て、ノイズキャンセラをエコーキャンセラで置き換え、
エンコーダ22から広帯域エコーキャンセラ16への受
話音声信号(BR信号)入力を加え、低域用音声復号化
器222から低域用音声符号化器172(エコーキャン
セラ204)へのLBR信号入力を加えたものである。
【0058】エコーキャンセラ16と204はどちらか
一方が動作し、高域用音声符号化器171の動作時は1
6のみが動作し、171の非動作時は204のみが動作
する。従って、高域用音声符号化器171の非動作時に
は、当該エコーキャンセラの機能に必要なDSPでのデ
ータ処理量やメモリ量を削減することができる。
【0059】(第4の本実施形態)図9は、第4の実施
形態に関する音声信号処理装置の要部を示すブロック図
であり、図10は図9のエンコーダ31の構成を示すブ
ロック図である。
【0060】本実施形態は、図3と図9の比較、図4と
図10の比較からも分かるように、第2の実施形態にお
いて、ノイズキャンセラをエコーキャンセラで置き換
え、低域用音声復号化器222から低域用音声符号化器
312(低域用エコーキャンセラ403)へのLBR信
号入力を加え、高域用音声復号化器221から高域用音
声符号化器313(高域用エコーキャンセラ502)へ
のHBR信号入力を加えたものである。
【0061】高域音声符号化器500が非動作時、高域
用エコーキャンセラ502は非動作状態となり、低域用
エコーキャンセラ403のみが動作する。従って、高域
用音声符号化器500が非動作時には、当該エコーキャ
ンセラの機能に必要なDSPでのデータ処理量やメモリ
量を削減することができる。
【0062】(変形例)図11は、第4の実施形態の変
形例に関するブロック図である。
【0063】本変形例は、高域用音声符号化器313に
おいて、例えば携帯電話のCPUからの動作モード信号
(RBT)に応じてHEC502の動作を制御する構成
である。具体的には、動作モード信号(RBT)として
は、例えば電話のプッシュ音、着信メロディーもしくは
アラーム音のように周波数的に極端に偏りのある信号を
処理するモードを設定する信号である。
【0064】HEC502は動作モード信号(RBT=
1)に応じて動作し、HEC501およびLEC403
の学習を停止する。
【0065】なお、CPUから設定される動作モード信
号(RBT)としては、プッシュ音、着信メロディもし
くはアラーム音に限定されず、符号化モード等の各種モ
ードを設定する場合にも適用できる。
【0066】また、図7〜図10におけるエコーキャン
セラをボイススイッチに置き換えて、図12〜図15に
示すような実施形態も考えられる。図12、図13は低
域ボイススイッチLVS81と高域ボイススイッチHV
S82を組み合わせたものであり、図14、図15は高
域ボイススイッチと低域ボイススイッチを組み合わせた
ものである。いずれも高域用音声符号化器が動作しない
ときに、低域のみのボイススイッチを動作させることに
より、データ処理量およびメモリ量を削減することがで
きる。
【0067】
【発明の効果】以上詳述したように本発明によれば、特
に広帯域の音声符号化回路(エンコーダ)とノイズキャ
ンセラ、エコーキャンセラもしくはボイススイッチのい
ずれか一つ以上とを有する音声信号処理装置において、
音声品質の低下を招くことなく、特に符号化系でのノイ
ズキャンセラ、エコーキャンセラもしくはボイススイッ
チの機能に要するデータ処理量やメモリ量を削減でき
る。従って、結果として音声信号処理効率を向上できる
音声信号処理装置を提供することができる。
【0068】具体的には、高域音声信号成分に対する音
声符号化処理を実行せずに、低域音声信号成分のみに対
する音声符号化処理を実行するときに、低域音声信号成
分に含まれるノイズ成分あるいはエコー成分の抑圧処理
を実行できる。従って、例えばDSPによりノイズある
いはエコーの抑圧処理を実行するような構成では、高域
音声符号化処理を実行しないモード時には、ノイズキャ
ンセラ、エコーキャンセラもしくはボイススイッチの機
能に要するデータ処理量やメモリ量を削減することがで
きる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に関する音声信号処理
装置の要部を示すブロック図。
【図2】同実施形態に関する低域用音声符号化器の構成
を示すブロック図。
【図3】本発明の第2の実施形態に関する音声信号処理
装置の要部を示すブロック図。
【図4】同実施形態に関するエンコーダの構成を示すブ
ロック図。
【図5】同実施形態に関するVAD機能を説明するため
のブロック図。
【図6】第2の実施形態の変形例に関するブロック図。
【図7】本発明の第3の実施形態に関する音声信号処理
装置の要部を示すブロック図。
【図8】同実施形態に関する低域用音声符号化器の構成
を示すブロック図。
【図9】本発明の第4の実施形態に関する音声信号処理
装置の要部を示すブロック図。
【図10】同実施形態に関するエンコーダの構成を示す
ブロック図。
【図11】第4の実施形態の変形例に関するブロック
図。
【図12】本発明の第5の実施形態に関する音声信号処
理装置の要部を示すブロック図。
【図13】同実施形態に関する低域用音声符号化器の構
成を示すブロック図。
【図14】本発明の第6の実施形態に関する音声信号処
理装置の要部を示すブロック図。
【図15】同実施形態に関するエンコーダの構成を示す
ブロック図。
【図16】主要構成を示すブロック図。
【図17】従来の第1の音声信号処理装置の一般的構成
を示すブロック図。
【図18】従来の第2の音声信号処理装置の一般的構成
を示すブロック図。
【図19】従来の第3の音声信号処理装置の一般的構成
を示すブロック図。
【符号の説明】
1…帯域分割手段 2…補正手段 3…低域符号化手段 4…高域符号化手段 5…低域復号化手段 10…マイクロホン 11…A/D変換器 12…ノイズキャンセラ 13,17,30,32,71…エンコーダ(音声符号
化器) 14…マルチプレクサ 15…メモリ 16,72…広域用エコーキャンセラ 20…スピーカ 21…D/A変換器 22,24…デコーダ(音声復号化回路) 23…ディマルチプレクサ 50…VAD部 73,82…広域用ボイススイッチ 80…高域用ボイススイッチ 81…低域用ボイススイッチ 130,173,202,242,320,400…低
域符号化器(Lコーダ) 131,171,241,321,500…高域符号化
器(Hコーダ) 172,300,310…低域用音声符号化器 200,205…モジュール 201,401…ダウンサンプル部 203…ノイズキャンセラ部 204…低域用エコーキャンセラ部 221,701…高域復号化器(Hデコーダ) 222,223,230,702…低域復号化器(Lデ
コーダ) 231…アップサンプル部 301,311…高域用音声符号化器 402…低域用ノイズキャンセラ部(LNC) 403…低域用エコーキャンセラ部(LEC) 501…高域用ノイズキャンセラ部(HNC) 502…高域用エコーキャンセラ部(HEC)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 井阪 岳彦 東京都青梅市末広町2丁目9番地 株式会 社東芝青梅工場内 Fターム(参考) 5D020 CC05 CC06 5J064 AA01 BB01 BB03 BB07 BC01 BC06 BC07 BC25 BD02 5K046 AA05 BA01 BB01 HH01 HH57 HH79

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 音声符号化処理によりディジタル音声信
    号から音声符号化データを生成する手段であって、当該
    ディジタル音声信号の高域音声信号成分と低域音声信号
    成分の各々あるいは一方のみに対して音声符号化処理を
    実行する音声符号化手段と、前記ディジタル音声信号の
    ノイズ成分を抑圧する手段であって、前記音声符号化手
    段により前記低域音声信号成分に対してのみ音声符号化
    処理を実行するときに、前記低域音声信号成分に対して
    のみノイズ成分を抑圧するノイズ抑圧手段とを具備した
    ことを特徴とする音声信号処理装置。
  2. 【請求項2】 前記音声符号化手段は、前記ディジタル
    音声信号の高域音声信号成分を符号化する高域符号化手
    段と、前記低域音声信号成分を符号化する低域符号化手
    段とを含み、当該低域符号化手段は、前記高域符号化手
    段の非動作時のみ動作して、前記低域音声信号成分に対
    してのみノイズ成分を抑圧する低域用ノイズキャンセラ
    を有することを特徴とする請求項1に記載の音声信号処
    理装置。
  3. 【請求項3】 前記ノイズ抑圧手段は、前記音声符号化
    手段の入力側に設けられて、前記ディジタル音声信号の
    ノイズ成分を抑圧する手段であって、前記高域符号化手
    段の非動作時には動作せずに、前記ディジタル音声信号
    をそのまま前記音声符号化手段まで通過させることを特
    徴とする請求項1または請求項2のいずれか1項に記載
    の音声信号処理装置。
  4. 【請求項4】 音声符号化処理によりディジタル音声信
    号から音声符号化データを生成する手段であって、当該
    ディジタル音声信号の高域音声信号成分と低域音声信号
    成分の各々あるいは一方のみに対して音声符号化処理を
    実行する音声符号化手段と、前記ディジタル音声信号の
    ノイズ成分を抑圧する手段であって、前記高域音声信号
    成分に含まれるノイズ成分を抑圧する高域用ノイズキャ
    ンセラと、前記低域音声信号成分に対してのみノイズ成
    分を抑圧する低域用ノイズキャンセラとを有するノイズ
    抑圧手段と、前記ディジタル音声信号から無音信号を識
    別し、前記音声符号化手段により当該無音信号に対する
    音声符号化処理の実行時には、前記高域用ノイズキャン
    セラの動作を停止させる無音制御手段とを具備したこと
    を特徴とする音声信号処理装置。
  5. 【請求項5】 前記音声符号化手段は、前記高域音声信
    号成分の音声符号化処理を実行する高域符号化手段と、
    前記高域用ノイズキャンセラとを含む高域処理用モジュ
    ールと、前記低域音声信号成分の音声符号化処理を実行
    する低域符号化手段と、前記低域用ノイズキャンセラ
    と、前記無音制御手段とを含む低域処理用モジュールと
    から構成されていることを特徴とする請求項4に記載の
    音声信号処理装置。
  6. 【請求項6】 音声符号化処理によりディジタル音声信
    号から音声符号化データを生成する手段であって、当該
    ディジタル音声信号の高域音声信号成分と低域音声信号
    成分の各々あるいは一方のみに対して音声符号化処理を
    実行する音声符号化手段と、前記ディジタル音声信号の
    ノイズ成分を抑圧する手段であって、前記高域音声信号
    成分に含まれるノイズ成分を抑圧する高域用ノイズキャ
    ンセラと、前記低域音声信号成分に含まれるノイズ成分
    のみを抑圧する低域用ノイズキャンセラとを有するノイ
    ズ抑圧手段と、前記ディジタル音声信号の符号化モード
    に応じて、前記高域用ノイズキャンセラの機能の有効又
    は無効を制御する制御手段とを具備したことを特徴とす
    る音声信号処理装置。
  7. 【請求項7】 音声符号化処理によりディジタル音声信
    号から音声符号化データを生成する手段であって、当該
    ディジタル音声信号の高域音声信号成分と低域音声信号
    成分の各々あるいは一方のみに対して音声符号化処理を
    実行する音声符号化手段を有する音声信号処理装置に適
    用する音声信号処理方法であって、高域音声信号成分と
    低域音声信号成分の各々に対して音声符号化処理を実行
    するときに、前記ディジタル音声信号のノイズ成分を抑
    圧する機能と、前記低域音声信号成分に対してのみ音声
    符号化処理を実行するときに、前記低域音声信号成分に
    対してのみノイズ成分を抑圧する機能とを有することを
    特徴とする音声信号処理方法。
  8. 【請求項8】 音声符号化処理によりディジタル音声信
    号から音声符号化データを生成する手段であって、当該
    ディジタル音声信号の高域音声信号成分と低域音声信号
    成分の各々あるいは一方のみに対して音声符号化処理を
    実行する音声符号化手段を有する音声信号処理装置に適
    用する音声信号処理方法であって、前記ディジタル音声
    信号から無音信号を識別する機能と、前記無音信号を除
    く、高域音声信号成分と低域音声信号成分の各々に対し
    て音声符号化処理を実行するときに、当該各信号成分に
    含まれるノイズ成分を抑圧する機能と、前記無音信号に
    対する音声符号化処理の実行時には、前記低域音声信号
    成分に対してのみノイズ成分を抑圧する機能とを有する
    ことを特徴とする音声信号処理方法。
  9. 【請求項9】 音声符号化処理によりディジタル音声信
    号から音声符号化データを生成する手段であって、当該
    ディジタル音声信号の高域音声信号成分と低域音声信号
    成分の各々あるいは一方のみに対して音声符号化処理を
    実行する音声符号化手段を有する音声信号処理装置に適
    用する音声信号処理方法であって、高域音声信号成分と
    低域音声信号成分の各々に対して音声符号化処理を実行
    するときに、前記ディジタル音声信号のノイズ成分を抑
    圧する機能と、前記ディジタル音声信号の符号化モード
    に応じて、前記高域音声信号成分に含まれるノイズ成分
    の抑圧処理を無効にして、前記低域音声信号成分に対し
    てのみノイズ成分を抑圧する機能とを有することを特徴
    とする音声信号処理方法。
  10. 【請求項10】 ディジタル音声信号を複数の帯域に分
    割する分割手段と、前記分割されたディジタル音声信号
    の各帯域あるいはその一部に対して音声補正処理を実行
    する音声補正手段と、前記音声補正処理されたディジタ
    ル音声信号に対して音声符号化処理を実行する音声符号
    化手段とを具備したことを特徴とする音声信号処理装
    置。
  11. 【請求項11】 送話側ディジタル音声信号を複数の帯
    域に分割する分割手段と、音声復号化処理によって音声
    符号化データから受話側ディジタル音声信号を生成する
    音声復号化手段と、前記分割された送話側ディジタル音
    声信号と前記受話側ディジタル音声信号に基づいて、前
    記分割された送話側ディジタル音声信号の各帯域あるい
    はその一部に対して音声補正処理を実行する音声補正手
    段と、前記音声補正処理された送話側ディジタル音声信
    号の各帯域あるいはその一部に対して音声符号化処理を
    実行する音声符号化手段とを具備したことを特徴とする
    音声信号処理装置。
  12. 【請求項12】 音声符号化処理によりディジタル音声
    信号から音声符号化データを生成する手段であって、当
    該ディジタル音声信号の高域音声信号成分と低域音声信
    号成分の各々あるいは一方のみに対して音声符号化処理
    を実行する音声符号化手段と、前記ディジタル音声信号
    のエコー成分を抑圧する手段であって、前記音声符号化
    手段により前記低域音声信号成分に対してのみ音声符号
    化処理を実行するときに、前記低域音声信号成分に対し
    てのみエコー成分を抑圧するエコー抑圧手段とを具備し
    たことを特徴とする音声信号処理装置。
  13. 【請求項13】 前記音声符号化手段は、前記ディジタ
    ル音声信号の高域音声信号成分を符号化する高域符号化
    手段と、前記低域音声信号成分を符号化する低域符号化
    手段とを含み、当該低域符号化手段は、前記高域符号化
    手段の非動作時のみ動作して、前記低域音声信号成分に
    対してのみエコー成分を抑圧する低域用エコー抑圧手段
    を有することを特徴とする請求項12に記載の音声信号
    処理装置。
  14. 【請求項14】 前記エコー抑圧手段は、前記音声符号
    化手段の入力側に設けられて、前記ディジタル音声信号
    のエコー成分を抑圧する手段であって、前記高域符号化
    手段の非動作時には動作せずに、前記ディジタル音声信
    号をそのまま前記音声符号化手段まで通過させることを
    特徴とする請求項12または請求項13のいずれか1項
    に記載の音声信号処理装置。
  15. 【請求項15】 音声符号化処理によりディジタル音声
    信号から音声符号化データを生成する手段であって、当
    該ディジタル音声信号の高域音声信号成分と低域音声信
    号成分の各々あるいは一方に対してのみ音声符号化処理
    を実行する音声符号化手段と、前記ディジタル音声信号
    のエコー成分を抑圧する手段であって、前記高域音声信
    号成分に含まれるエコー成分を抑圧する高域用エコー抑
    圧手段と、前記低域音声信号成分に対してのみエコー成
    分を抑圧する低域用エコー抑圧手段とを有するエコー抑
    圧手段と、前記ディジタル音声信号の符号化モードに応
    じて、前記高域用エコー抑圧手段の機能の有効又は無効
    を制御する制御手段とを具備したことを特徴とする音声
    信号処理装置。
  16. 【請求項16】 音声符号化処理によりディジタル音声
    信号から音声符号化データを生成する手段であって、当
    該ディジタル音声信号の高域音声信号成分と低域音声信
    号成分の各々あるいは一方のみに対して音声符号化処理
    を実行する音声符号化手段を有する音声信号処理装置に
    適用する音声信号処理方法であって、高域音声信号成分
    と低域音声信号成分の各々に対して音声符号化処理を実
    行するときに、前記ディジタル音声信号のエコー成分を
    抑圧する機能と、前記低域音声信号成分に対してのみ音
    声符号化処理を実行するときに、前記低域音声信号成分
    に対してのみエコー成分を抑圧する機能とを有すること
    を特徴とする音声信号処理方法。
  17. 【請求項17】 音声符号化処理によりディジタル音声
    信号から音声符号化データを生成する手段であって、当
    該ディジタル音声信号の高域音声信号成分と低域音声信
    号成分の各々あるいは一方のみに対して音声符号化処理
    を実行する音声符号化手段を有する音声信号処理装置に
    適用する音声信号処理方法であって、高域音声信号成分
    と低域音声信号成分の各々に対して音声符号化処理を実
    行するときに、前記ディジタル音声信号のエコー成分を
    抑圧する機能と、前記ディジタル音声信号の符号化モー
    ドに応じて、前記高域音声信号成分に含まれるエコー成
    分の抑圧処理を無効にして、前記低域音声信号成分に含
    まれるエコー成分を抑圧する機能とを有することを特徴
    とする音声信号処理方法。
JP2002122863A 2002-04-24 2002-04-24 音声信号処理装置 Expired - Lifetime JP3854188B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002122863A JP3854188B2 (ja) 2002-04-24 2002-04-24 音声信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002122863A JP3854188B2 (ja) 2002-04-24 2002-04-24 音声信号処理装置

Publications (2)

Publication Number Publication Date
JP2003316400A true JP2003316400A (ja) 2003-11-07
JP3854188B2 JP3854188B2 (ja) 2006-12-06

Family

ID=29538356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002122863A Expired - Lifetime JP3854188B2 (ja) 2002-04-24 2002-04-24 音声信号処理装置

Country Status (1)

Country Link
JP (1) JP3854188B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028653A (ja) * 2008-07-23 2010-02-04 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、エコー消去方法、そのプログラム、記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028653A (ja) * 2008-07-23 2010-02-04 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、エコー消去方法、そのプログラム、記録媒体

Also Published As

Publication number Publication date
JP3854188B2 (ja) 2006-12-06

Similar Documents

Publication Publication Date Title
JP4522497B2 (ja) デジタル電話システムの機能素子を制御するために状態決定を使用する方法および装置
US8630685B2 (en) Method and apparatus for providing sidetone feedback notification to a user of a communication device with multiple microphones
EP1154408A2 (en) Multimode speech coding and noise reduction
EP1784925B1 (en) Speakerphone having improved outbound audio quality
US7443978B2 (en) Method and apparatus for audio coding with noise suppression
US6122531A (en) Method for selectively including leading fricative sounds in a portable communication device operated in a speakerphone mode
JP2003506924A (ja) 送受信器ユニットにおけるエコーをキャンセルするためのエコーキャンセル装置
JPH08102687A (ja) 音声送受信方式
JPH10322441A (ja) ハンズフリー電話機
JP2586441B2 (ja) 移動電話機
JP3854188B2 (ja) 音声信号処理装置
JP3075067B2 (ja) デジタル移動無線装置
JPH0950298A (ja) 音声符号化装置及び音声復号化装置
JP3316945B2 (ja) 伝送誤り補償装置
JP3355585B2 (ja) エコーキャンセル方法
JP2638522B2 (ja) 音声符号化装置
JPH06326670A (ja) 音声通信装置
JP2004053763A (ja) 多地点制御装置の音声符号化伝送システム
JP2002041100A (ja) ディジタル音声処理装置
KR100884425B1 (ko) 외부 오디오 품질이 개선된 스피커폰을 제공하는 방법 및 전화
JP3432319B2 (ja) 音声通信装置
JP3346612B2 (ja) エコーキャンセラー
JP3342998B2 (ja) 音声復号方法及び装置
JPH08139688A (ja) 音声符号化装置
JP2000101683A (ja) 音声通信装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060907

R151 Written notification of patent or utility model registration

Ref document number: 3854188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090915

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100915

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130915

Year of fee payment: 7

EXPY Cancellation because of completion of term