JP2005159678A - 拡声通話機 - Google Patents

拡声通話機 Download PDF

Info

Publication number
JP2005159678A
JP2005159678A JP2003394671A JP2003394671A JP2005159678A JP 2005159678 A JP2005159678 A JP 2005159678A JP 2003394671 A JP2003394671 A JP 2003394671A JP 2003394671 A JP2003394671 A JP 2003394671A JP 2005159678 A JP2005159678 A JP 2005159678A
Authority
JP
Japan
Prior art keywords
transmission
background noise
amplifier
gain
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003394671A
Other languages
English (en)
Other versions
JP4003739B2 (ja
Inventor
Minoru Fukushima
実 福島
Yasuhisa Ihira
靖久 井平
Hiroaki Takeyama
博昭 竹山
Takemasa Shoji
武正 庄司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2003394671A priority Critical patent/JP4003739B2/ja
Publication of JP2005159678A publication Critical patent/JP2005159678A/ja
Application granted granted Critical
Publication of JP4003739B2 publication Critical patent/JP4003739B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)
  • Telephone Function (AREA)

Abstract

【課題】音声スイッチの片倒れを抑制して快適な拡声通話を可能とする。
【解決手段】相手側の通話端末から伝送系を経て到達する受話信号を増幅する第2の増幅器6の利得G2が可変であって、受話側の背景騒音パワー推定値Pn(R)が所定の閾値Xcを超えたら第2の増幅器6の利得G2を減少させる利得制御部20を備える。遠端側の周囲騒音レベルが大きくなって受話側背景騒音パワー推定値Pn(R)が閾値Xcを超えていれば、利得制御部20により受話信号を増幅する第2の増幅器6の利得G2を初期値G20からG21さらにG22へと減少させるため、受話信号のレベルも下がり、受話側瞬時パワー推定値Ps(R)も減少するから、挿入損失量制御部10における通話状態の誤判定を防いで音声スイッチVSの片倒れを抑制することができる。
【選択図】 図1

Description

本発明は、インターホンなどに用いられる拡声通話機に関するものである。
従来より、通話時にハンドセットを持つ必要がなく、通話端末から離れた通話者に対して相手側の通話端末から伝送されてくる音声信号をスピーカによって拡声出力し、かつ、上記通話者の発する音声をマイクロホンにより集音して相手側通話端末へ伝送することで拡声通話(ハンズフリー通話)を実現する拡声通話機が提供されている。このような拡声通話機においては、通話者が発した音声の一部が相手側通話端末のスピーカからマイクロホンヘの音響結合や通話端末と伝送路との間のインピーダンスの不整合によって生じる反射などが原因で再び受話信号と重畳して帰還することがあり、この帰還成分のレベルが大きい場合には、不快なエコー(音響エコーあるいは回線エコー)として通話者に聴こえてしまう。また、上記音響結合や反射、および自端末における音響結合により通話系に閉ループが形成され、閉ループの一巡利得が1倍を超える周波数成分が存在する場合には、その周波数においてハウリングを生じ、安定した通話を継続することが不可能となる。したがって、通話端末としての拡声通話機を設計する上で、上述した不快なエコーやハウリングを如何に抑圧するかが重要な課題となる。
このような課題に対して、従来、通話状態(送話状態、受話状態など)を常時推定し、推定結果に基づき適切な配分で送話路および受話路に対して損失を挿入する音声スイッチを用いて閉ループの一巡利得を低減し不快なエコーやハウリングを抑圧する方式が広く用いられてきた。図14は、拡声通話機としてのインターホン親機(以下、「親機」と略す)Mと、相手側通話端末としてのドアホン子器Sとからなる、所謂ハンズフリーインターホンの従来例を示すブロック図である(特許文献1参照)。親機Mは、マイクロホン1、スピーカ2、2線−4線変換回路30、マイクロホン1から出力される送話信号を増幅する第1の増幅器31、相手側の通話端末から伝送系を経て到達する受話信号を増幅する第2の増幅器32、並びに音声スイッチVS’で構成される。また、図示は省略するが、ドアホン子器Sはマイクロホン、スピーカ、2線−4線変換回路等で構成される。
また音声スイッチVS’は、マイクロホン1から第1の増幅器31を経て2線−4線変換回路30へ至る送話側信号経路に損失を挿入する送話側損失挿入手段33と、第2の増幅器32からスピーカ2へ至る受話側信号経路に損失を挿入する受話側損失挿入手段34と、送話側および受話側の各損失挿入手段33,34における挿入損失量を制御する挿入損失量制御手段35とを具備する。この挿入損失量制御手段35は、例えば送話信号および受話信号のパワーを推定し、これらの推定値の大小関係を比較して瞬時パワーの小さい側の損失挿入手段33,34に対して所定の損失を挿入することによって送話状態と受話状態を切り換えるという処理を行っている。
特開2000−307745号公報
しかしながら上記従来例においては、遠端(ドアホン子器S)側の周囲騒音レベルと近端(親機M)側の周囲騒音レベルとの差が大きい場合、例えば屋外に設置されたドアホン子器Sのマイクロホンに風切り音や自動車騒音などの大きな騒音が入力された場合、送話信号及び受話信号を監視して通話状態を推定する挿入損失量制御手段35では、例えば遠端側の周囲騒音レベルが大きい状況においては常に受話状態と判定し、近端側の周囲騒音レベルが大きい状況においては常に送話状態と判定してしまい、実際の通話状態に関係なく、受話状態又は送話状態の何れか一方に通話状態を固定してしまう現象(所謂音声スイッチの片倒れ)が生じてしまう。
本発明は上記事情に鑑みて為されたものであり、その目的は、音声スイッチの片倒れを抑制して快適な拡声通話を可能とした拡声通話機を提供することにある。
請求項1の発明は、上記目的を達成するために、マイクロホンおよびスピーカと、マイクロホンから出力される送話信号を増幅する第1の増幅器と、相手側の通話端末から伝送系を経て到達する受話信号を増幅する第2の増幅器と、送話信号を伝送系へ送り出し且つ受話信号を減衰させる送話状態と受話信号をスピーカへ送り出し且つ送話信号を減衰させる受話状態とを切り換える音声スイッチとを備え、音声スイッチは、マイクロホンから第1の増幅器へ至る送話側信号経路に損失を挿入する送話側損失挿入手段と、第2の増幅器からスピーカへ至る受話側信号経路に損失を挿入する受話側損失挿入手段と、送話側および受話側の各損失挿入手段における挿入損失量を制御する挿入損失量制御手段とを具備し、挿入損失量制御手段は、送話信号の瞬時パワーを推定する送話側瞬時パワー推定部と、送話信号の背景騒音パワーを推定する送話側背景騒音パワー推定部と、送話側の瞬時パワー推定値並びに背景騒音パワー推定値から送話信号の音声区間を検出する第1の音声区間検出部と、受話信号の瞬時パワーを推定する受話側瞬時パワー推定部と、受話信号の背景騒音パワーを推定する受話側背景騒音パワー推定部と、受話側の瞬時パワー推定値並びに背景騒音パワー推定値から受話信号の音声区間を検出する第2の音声区間検出部とを具備し、送話側および受話側の瞬時パワー推定値の比較結果と第1および第2の音声区間検出部の検出結果とを参照して通話状態を判定するとともに、通話状態の判定結果に応じて受話側の挿入損失量を相対的に大きくした送話モード、又は送話側の挿入損失量を相対的に大きくした受話モードの少なくとも何れか一方に切り換えてなる拡声通話機において、送話側背景騒音パワー推定値が所定の閾値を超えたら第1の増幅器の利得を減少させる第1の利得制御部、若しくは受話側背景騒音パワー推定値が所定の閾値を超えたら第2の増幅器の利得を減少させる第2の利得制御部の少なくとも何れか一方を備えたことを特徴とする。
この発明によれば、遠端側(又は近端側)の周囲騒音レベルが大きい場合に受話側(又は送話側)の瞬時パワー推定値も大きくなってしまうことにより挿入損失量制御手段が通話状態を受話状態(又は送話状態)と誤判定して音声スイッチが受話側(又は送話側)へ片倒れすることがあるが、このような場合に受話側(又は送話側)背景騒音パワー推定値が所定の閾値を超えていれば受話信号(又は送話信号)を増幅する第2(又は第1)の増幅器の利得を減少させることで受話側(又は送話側)の瞬時パワー推定値も減少するから、挿入損失量制御手段が通話状態を受話状態(又は送話状態)と誤判定することを防いで音声スイッチの片倒れを抑制することができる。
請求項2の発明は、上記目的を達成するために、マイクロホンおよびスピーカと、マイクロホンから出力される送話信号を増幅する第1の増幅器と、相手側の通話端末から伝送系を経て到達する受話信号を増幅する第2の増幅器と、送話信号を伝送系へ送り出し且つ受話信号を減衰させる送話状態と受話信号をスピーカへ送り出し且つ送話信号を減衰させる受話状態とを切り換える音声スイッチとを備え、音声スイッチは、マイクロホンから第1の増幅器へ至る送話側信号経路に損失を挿入する送話側損失挿入手段と、第2の増幅器からスピーカへ至る受話側信号経路に損失を挿入する受話側損失挿入手段と、送話側および受話側の各損失挿入手段における挿入損失量を制御する挿入損失量制御手段とを具備し、挿入損失量制御手段は、送話信号の瞬時パワーを推定する送話側瞬時パワー推定部と、送話信号の背景騒音パワーを推定する送話側背景騒音パワー推定部と、送話側の瞬時パワー推定値並びに背景騒音パワー推定値から送話信号の音声区間を検出する第1の音声区間検出部と、受話信号の瞬時パワーを推定する受話側瞬時パワー推定部と、受話信号の背景騒音パワーを推定する受話側背景騒音パワー推定部と、受話側の瞬時パワー推定値並びに背景騒音パワー推定値から受話信号の音声区間を検出する第2の音声区間検出部とを具備し、送話側および受話側の瞬時パワー推定値の比較結果と第1および第2の音声区間検出部の検出結果とを参照して通話状態を判定するとともに、通話状態の判定結果に応じて受話側の挿入損失量を相対的に大きくした送話モード、又は送話側の挿入損失量を相対的に大きくした受話モードの少なくとも何れか一方に切り換えてなる拡声通話機において、第1の音声区間検出部に参照信号として入力する送話信号を減衰させる第1の減衰器並びに送話側背景騒音パワー推定値が所定の閾値を超えたら第1の減衰器の減衰量を増大させる第1の減衰量制御部、若しくは第2の音声区間検出部に参照信号として入力する受話信号を減衰させる第2の減衰器並びに受話側背景騒音パワー推定値が所定の閾値を超えたら第2の減衰器の減衰量を増大させる第2の減衰量制御部の少なくとも何れか一方を備えたことを特徴とする。
この発明によれば、遠端側(又は近端側)の周囲騒音レベルが大きい場合に受話側(又は送話側)の瞬時パワー推定値も大きくなってしまうことにより挿入損失量制御手段が通話状態を受話状態(又は送話状態)と誤判定して音声スイッチが受話側(又は送話側)へ片倒れすることがあるが、このような場合に受話側(又は送話側)背景騒音パワー推定値が所定の閾値を超えていれば受話信号(又は送話信号)を減衰させる第2(又は第1)の減衰器の減衰量を増大させることで受話側(又は送話側)の瞬時パワー推定値も減少するから、挿入損失量制御手段が通話状態を受話状態(又は送話状態)と誤判定することを防いで音声スイッチの片倒れを抑制することができる。
請求項3の発明は、請求項1又は2の発明において、第1および第2の利得制御部又は第1および第2の減衰量制御部は、所定時間毎に得られる送話側若しくは受話側の背景騒音パワー推定値に基づいて第1および第2の増幅器の利得若しくは第1および第2の減衰器の減衰量を音韻の継続時間よりも十分長い一定時間毎に更新することを特徴とする。
この発明によれば、第1および第2の増幅器の利得若しくは第1および第2の減衰器の減衰量を音韻の継続時間よりも十分長い一定時間毎に更新するため、本来は減衰されるべきでない音声が減衰されるのを防ぐことができる。
請求項4の発明は、請求項1又は2の発明において、第1および第2の利得制御部又は第1および第2の減衰量制御部は、所定時間毎の送話側若しくは受話側の背景騒音パワー推定値の平均値に基づいて第1および第2の増幅器の利得若しくは第1および第2の減衰器の減衰量を音韻の継続時間よりも十分長い一定時間毎に更新することを特徴とする。
この発明によれば、第1および第2の増幅器の利得若しくは第1および第2の減衰器の減衰量を音韻の継続時間よりも十分長い一定時間毎に更新するため、本来は減衰されるべきでない音声が減衰されるのを防ぐことができる。
請求項5の発明は、請求項1又は2の発明において、第1の利得制御部および第1の減衰量制御部は、送話側背景騒音パワー推定値が所定の第1の閾値以下であるときに第1の増幅器の利得および第1の減衰器の減衰量を一定値とし、送話側背景騒音パワー推定値が第1の閾値を超えるときに第1の増幅器の出力および第1の減衰器の出力のパワーが略一定となるように第1の増幅器の利得および第1の減衰器の減衰量を調整するとともに、第1の音声区間検出部の検出結果が所定時間以上継続して非音声であった場合に第1の閾値を減少させてなり、第2の利得制御部および第2の減衰量制御部は、受話側背景騒音パワー推定値が所定の第2の閾値以下であるときに第2の増幅器の利得および第2の減衰器の減衰量を一定値とし、受話側背景騒音パワー推定値が第2の閾値を超えるときに第2の増幅器の出力および第2の減衰器の出力のパワーが略一定となるように第2の増幅器の利得および第2の減衰器の減衰量を調整するとともに、第2の音声区間検出部の検出結果が所定時間以上継続して非音声であった場合に第2の閾値を減少させてなることを特徴とする。
この発明によれば、第1の音声区間検出部や第2の音声区間検出部の検出結果が所定時間以上継続して非音声であった場合に送話信号や受話信号には背景騒音のみが含まれていると考えられるため、このような状況では第1の閾値や第2の閾値を減少させることにより第1又は第2の増幅器で増幅される背景騒音パワーの増大を抑えることにより音声スイッチの片倒れをより確実に抑制することができる。
請求項6の発明は、請求項5の発明において、第1および第2の利得制御部並びに第1および第2の減衰量制御部は、第1又は第2の閾値を初期値から減少させた状態にあるときに第1又は第2の音声区間検出部で音声区間が検出されれば第1又は第2の閾値を初期値に戻すことを特徴とする。
この発明によれば、音声区間が検出された後も第1又は第2の閾値を減少させたままであると音声が十分に増幅されずに聞き取り難くなることがあるため、音声区間が検出されたら第1又は第2の閾値を初期値に戻し、音声を十分に増幅して聞き取り難くなるのを防ぐことができる。
請求項7の発明は、請求項6の発明において、第1および第2の利得制御部並びに第1および第2の減衰量制御部は、第1又は第2の音声区間検出部の検出結果が非音声である状態の継続時間が所定の閾値を超える度に第1および第2の閾値を段階的に減少させることを特徴とする。
この発明によれば、非音声区間の継続時間が長くなるにつれて第1および第2の閾値を段階的に減少させるため、第1又は第2の増幅器で増幅される背景騒音パワーの増大をさらに抑えて音声スイッチの片倒れを一層確実に抑制することができる。
請求項8の発明は、請求項3〜7の何れかの発明において、挿入損失量制御手段は、通話状態が送話状態か受話状態かを判定するとともに通話状態に応じて送話側および受話側の各損失挿入手段における挿入損失量を制御してなり、挿入損失量制御手段の判定結果が所定時間以上継続して送話状態であるときにのみ、第1の利得制御部又は第1の減衰量制御部を動作させ、挿入損失量制御手段の判定結果が所定時間以上継続して受話状態であるときにのみ、第2の利得制御部又は第2の減衰量制御部を動作させることを特徴とする。
この発明によれば、挿入損失量制御手段の判定結果が所定時間以上継続して送話又は受話の何れかの通話状態に固定されている場合、その固定されている側(送話側又は受話側)の周囲騒音レベルが相対的に大きくなっていると考えられるから、判定結果が所定時間以上継続したときにだけ各部を動作させて効率的に片倒れの抑制並びに音声の減衰防止がが行える。
本発明によれば、遠端側(又は近端側)の周囲騒音レベルが大きい場合に受話側(又は送話側)の瞬時パワー推定値も大きくなってしまうことにより挿入損失量制御手段が通話状態を受話状態(又は送話状態)と誤判定して音声スイッチが受話側(又は送話側)へ片倒れすることがあるが、このような場合に受話側(又は送話側)背景騒音パワー推定値が所定の閾値を超えていれば受話信号(又は送話信号)を増幅する第2(又は第1)の増幅器の利得を減少させることで受話側(又は送話側)の瞬時パワー推定値も減少するから、挿入損失量制御手段が通話状態を受話状態(又は送話状態)と誤判定することを防いで音声スイッチの片倒れを抑制することができるという効果がある。
(実施形態1)
本実施形態の拡声通話機は、図1に示すようにマイクロホン1、スピーカ2、第1の増幅器5、第2の増幅器6、並びに音声スイッチVSを備える点で従来の拡声通話機(インターホン親機M)と共通する。
本実施形態における音声スイッチVSは、送話信号を回線へ伝送するための送話側信号経路に挿入される送話側損失挿入部3と、受話信号をスピーカ2へ伝送するための受話側信号経路に挿入される受話側損失挿入部4と、通話状態に応じて送話側損失挿入部3並びに受話側損失挿入部4の挿入損失量を制御する挿入損失量制御部10とを備える。また、挿入損失量制御部10は、送話信号の音声区間を検出する第1の音声区間検出部11と、受話信号の音声区間を検出する第2の音声区間検出部12とを具備する。第1の音声区間検出部11は、送話側損失挿入部3へ入力する送話信号(点Bの信号)の瞬時パワーを推定する送話側瞬時パワー推定部(図示せず)と、送話信号の背景騒音パワーを推定する送話側背景騒音パワー推定部(図示せず)と、送話側の瞬時パワー推定値Ps(T)と背景騒音パワー推定値Pn(T)の比(=Ps(T)/Pn(T))を所定の閾値δと比較し、前記比が閾値δ以上のときに音声区間と判定する判定部(図示せず)とで構成される。同様に第2の音声区間検出部12は、受話側損失挿入部4へ入力する受話信号(点Cの信号)の瞬時パワーを推定する受話側瞬時パワー推定部(図示せず)と、受話信号の背景騒音パワーを推定する受話側背景騒音パワー推定部(図示せず)と、受話側の瞬時パワー推定値Ps(R)と背景騒音パワー推定値Pn(R)の比(=Ps(R)/Pn(R))を所定の閾値δと比較し、前記比が閾値δ以上のときに音声区間と判定する判定部(図示せず)とで構成される。そして、第1および第2の音声区間検出部11,12は音声区間を検出したときに各々送話側および受話側の音声区間検出信号SDF(T),SDF(R)を「1」とし、音声区間を検出しないとき(非音声区間のとき)に音声区間検出信号SDF(T),SDF(R)を「0」とする。なお、送話側並びに受話側の瞬時パワー推定部は、立ち上がりが急峻で立ち下がりが緩やかな特性を有するフィルタ等で構成され、送話側並びに受話側の背景騒音パワー推定部は、立ち上がりが緩やかで立ち下がりが急峻な特性を有するフィルタ等で構成される。
さらに挿入損失量制御部10は、送話側損失挿入部3への入力点Bから送話側損失挿入部3並びに回線側での回り込みを経て受話側損失挿入部4への入力点Cへ帰還する系の利得に応じて決定される値を係数にもつ回線帰還利得乗算部13と、受話側損失挿入部4への入力点Cから受話側損失挿入部4並びに音響側(マイクロホン1およびスピーカ2)での回り込みを経て送話側損失挿入部3への入力点Bへ到る経路の利得に応じて決定される値を係数にもつ音響結合利得乗算部14と、第2の音声区間検出部12から出力される受話側瞬時パワー推定値Ps(R)を音響結合利得乗算部14へ入力して得られる出力信号P2と第1の音声区間検出部11から出力される送話側瞬時パワー推定値Ps(T)との大小関係を比較する第1の比較器15と、送話側瞬時パワー推定値Ps(T)を回線帰還利得乗算部13へ入力して得られる出力信号P1と受話側瞬時パワー推定値Ps(R)との大小関係を比較する第2の比較器16と、第1の比較器15及び第2の比較器16の出力信号C1,C2と第1の音声区間検出部11及び第2の音声区間検出部12の出力信号C3(=SDF(T)),C4(=SDF(R))に基づいて通話状態を判定し、送話側損失挿入部3及び受話側損失挿入部4の損入損失量を制御する挿入損失量分配処理部17とを具備する。ここで、第1の比較器15の出力信号C1は、Ps(T)<P2の場合に「0」となり、Ps(T)≧P2の場合に「1」となる。また、第2の比較器16の出力信号C2は、Ps(R)≧P1の場合に「0」となり、Ps(R)<P1の場合に「1」となる。
而して、挿入損失量分配処理部17では上記4つの2値信号C1〜C4を参照して通話状態を判定し、送話側損失挿入部3及び受話側損失挿入部4の挿入損失量を決定する。ここで、C1=C2=1且つC3=1の場合は送話モード、C1=C2=0且つC4=1の場合は受話モード、C1≠C2且つC3及びC4が共に0ではない場合は高速アイドルモード、その他の状態では緩速アイドルモードと判定し、判定結果が送話モードのときには送話側損失挿入部3の挿入損失量を最小値、受話側損失挿入部4の挿入損失量を最大値に設定し、判定結果が受話モードのときには送話側損失挿入部3の挿入損失量を最大値、受話側損失挿入部4の挿入損失量を最小値に設定し、判定結果が高速アイドルモードのときには短い遷移時間で送話損失挿入部3並びに受話損失挿入部4の挿入損失量を互いに等しくするとともに、判定結果が緩速アイドルモードのときには長い遷移時間で送話損失挿入部3並びに受話損失挿入部4の挿入損失量を互いに等しくする。なお、上述した音声スイッチVSの構成および動作は特許文献1に開示されたものと共通であるので詳しい説明は省略する。
次に本実施形態の要旨について説明する。本実施形態は、相手側の通話端末から伝送系を経て到達する受話信号を増幅する第2の増幅器6の利得G2が可変であって、受話側の背景騒音パワー推定値Pn(R)が所定の閾値Xcを超えたら第2の増幅器6の利得G2を減少させる利得制御部20を備えた点に特徴がある。
利得制御部20は、図2に示すように受話側背景騒音パワー推定値Pn(R)が閾値Xc以下のときには第2の増幅器6の利得G2を初期値G20に設定し、閾値Xcを超えたら初期値G20よりも小さい値G21に利得G2を減少させ、受話側背景騒音パワー推定値Pn(R)が閾値XcよりさらにΔX以上増大したらG21よりもさらに小さい値G22に利得G2を減少させる。
而して、遠端側の周囲騒音レベルが大きい場合に受話側瞬時パワー推定値Ps(R)も大きくなってしまうことにより、挿入損失量分配処理部17が通話状態を受話状態と誤判定して音声スイッチVsが受話側へ片倒れすることがあるが、遠端側の周囲騒音レベルが大きくなって受話側背景騒音パワー推定値Pn(R)が閾値Xcを超えていれば、利得制御部20により受話信号を増幅する第2の増幅器6の利得G2を初期値G20からG21さらにG22へと減少させるため、受話側瞬時パワー推定値Ps(R)も減少するから挿入損失量分配処理部17が通話状態を受話状態と誤判定することを防いで音声スイッチVSの片倒れを抑制することができる。
なお、本実施形態では受話側に利得制御部20を設けたが、第1の増幅器5の利得G1を可変とし、送話側の背景騒音パワー推定値Pn(T)が所定の閾値を超えたら第1の増幅器5の利得G1を減少させる利得制御部を設ければ、受話側と同様に挿入損失量分配処理部17における通話状態の誤判定を防いで音声スイッチVSの片倒れを抑制することが可能であり、送話側又は受話側の何れか一方だけでなく双方に利得制御部を設けても構わない。
(実施形態2)
図3に本実施形態の一部省略したブロック図を示す。但し、本実施形態の基本構成は実施形態1と共通であるから、共通の構成要素には同一の符号を付して説明を省略し、本実施形態の特徴となる構成についてのみ説明する。
本実施形態は、第2の音声区間検出部12に入力する受話信号を減衰させる減衰器21と、受話側背景騒音パワー推定値Pn(R)が所定の閾値Xcを超えたら減衰器21の減衰量Lrを増大させる減衰量制御部22とを備えた点に特徴がある。
減衰量制御部22は、図4に示すように受話側背景騒音パワー推定値Pn(R)が閾値Xc以下のときには減衰器21の減衰量Lrを初期値Lr0(=0dB)に設定し、閾値Xcを超えたら初期値Lr0よりも大きい値Lr1に減衰量Lrを増大させ、受話側背景騒音パワー推定値Pn(R)が閾値XcよりさらにΔX以上増大したらLr1よりもさらに大きい値Lr2に減衰量Lrを増大させる。
而して、遠端側の周囲騒音レベルが大きい場合に受話側瞬時パワー推定値Ps(R)も大きくなってしまうことにより、挿入損失量分配処理部17が通話状態を受話状態と誤判定して音声スイッチVsが受話側へ片倒れすることがあるが、遠端側の周囲騒音レベルが大きくなって受話側背景騒音パワー推定値Pn(R)が閾値Xcを超えていれば、減衰量制御部22により受話信号を減衰する減衰器21の減衰量Lrを初期値Lr0からLr1さらにLr2へと増大させるため、受話側瞬時パワー推定値Ps(R)も減少するから挿入損失量分配処理部17が通話状態を受話状態と誤判定することを防いで音声スイッチVSの片倒れを抑制することができる。
なお、本実施形態では受話側に減衰器21並びに減衰量制御部22を設けたが、第1の音声区間検出部11に入力する送話信号を減衰させる減衰器と、送話側背景騒音パワー推定値Pn(T)が所定の閾値Xcを超えたら減衰器の減衰量を増大させる減衰量制御部とを設ければ、受話側と同様に挿入損失量分配処理部17における通話状態の誤判定を防いで音声スイッチVSの片倒れを抑制することが可能であり、送話側又は受話側の何れか一方だけでなく双方に減衰器並びに減衰量制御部を設けても構わない。
(実施形態3)
本実施形態の基本構成は実施形態1と共通であるから、共通の構成要素には同一の符号を付して適宜図示並びに説明を省略し、本実施形態の特徴となる利得制御部20についてのみ説明する。
本実施形態における音声スイッチVSを構成する各部は、DSPあるいはCPUなどの汎用のハードウェア(プロセッサ)と専用のソフトウェアを組み合わせて実現されるものである。そして、本実施形態における利得制御部20は、図5に示すように受話側背景騒音パワー推定値Pn(R)を第2の増幅器6で増幅される前の値に換算するために第2の増幅器6の利得G2(n)の逆数を乗算する乗算器20aと、乗算器20aから出力される受話側背景騒音パワー推定値の換算値Pn(R)’を閾値Xcと比較して第2の増幅器6の利得G2(n+1)を決定する利得決定部20bと、乗算器20aへの受話側背景騒音パワー推定値Pn(R)の入力を入/切するスイッチ部20cと、スイッチ部20cのオン/オフを制御するタイマ部20dとを具備する。タイマ部20dは所定時間(音韻の継続時間よりも十分に長い時間)毎にスイッチ部20cをオンして乗算器20aへ受話側背景騒音パワー推定値Pn(R)を入力させる。
而して、受話信号に音声が含まれているにもかかわらず第2の増幅器6の利得G2(n)を減少すると音声が減衰されてしまうが、本実施形態では、利得制御部20が所定時間毎に得られる受話側背景騒音パワー推定値Pn(R)に基づいて第2の増幅器6の利得G2(n)を音韻の継続時間よりも十分長い一定時間毎に更新するため、本来は減衰されるべきでない音声が減衰されるのを防ぐことができる。
なお、送話側の背景騒音パワー推定値Pn(T)に基づいて第1の増幅器5の利得G1を制御する利得制御部を設け、この利得制御部が所定時間毎に得られる送話側背景騒音パワー推定値Pn(T)に基づいて第1の増幅器5の利得G1(n)を音韻の継続時間よりも十分長い一定時間毎に更新する構成とすれば、送話信号に含まれる音声が減衰されるのを防ぐことができる。また、実施形態2における減衰量制御部22が所定時間毎に得られる受話側背景騒音パワー推定値Pn(R)に基づいて減衰器21の減衰量Lrを音韻の継続時間よりも十分長い一定時間毎に更新する構成や、減衰量制御部が所定時間毎に得られる送話側背景騒音パワー推定値Pn(T)に基づいて減衰器の減衰量を音韻の継続時間よりも十分長い一定時間毎に更新する構成としても構わない。
(実施形態4)
本実施形態の基本構成は実施形態1と共通であるから、共通の構成要素には同一の符号を付して適宜図示並びに説明を省略し、本実施形態の特徴となる利得制御部20についてのみ説明する。
本実施形態における音声スイッチVSを構成する各部は、実施形態3と同様にDSPあるいはCPUなどの汎用のハードウェア(プロセッサ)と専用のソフトウェアを組み合わせて実現されるものである。そして、本実施形態における利得制御部20は、図6に示すように所定の時間フレーム(=サンプリング数)における受話側背景騒音パワー推定値Pn(R)の平均値Pn(R)’を算出する平均値算出部20eと、受話側背景騒音パワー推定値の平均値Pn(R)’を第2の増幅器6で増幅される前の値に換算するために第2の増幅器6の利得G2(n)の逆数を乗算する乗算器20fと、乗算器20fから出力される受話側背景騒音パワー推定値の平均値の換算値Pn(R)”を閾値Xcと比較して第2の増幅器6の利得G2(n+1)を決定する利得決定部20gとを具備する。
而して、本実施形態においても利得制御部20が所定時間毎の受話側背景騒音パワー推定値Pn(R)の平均値Pn(R)’に基づいて第2の増幅器6の利得G2(n)を音韻の継続時間よりも十分長い一定時間毎に更新するため、本来は減衰されるべきでない音声が減衰されてるのを防ぐことができる。
なお、送話側の背景騒音パワー推定値Pn(T)に基づいて第1の増幅器5の利得G1を制御する利得制御部を設け、この利得制御部が所定の時間フレーム毎の送話側の背景騒音パワー推定値の平均値に基づいて第1の増幅器5の利得G1(n)を音韻の継続時間よりも十分長い一定時間毎に更新する構成とすれば、送話信号に含まれる音声が減衰されるのを防ぐことができる。また、実施形態2における減衰量制御部22が所定の時間フレーム毎の受話側の背景騒音パワー推定値の平均値に基づいて減衰器21の減衰量Lrを音韻の継続時間よりも十分長い一定時間毎に更新する構成や、減衰量制御部が所定の時間フレーム毎の送話側の背景騒音パワー推定値の平均値に基づいて減衰器の減衰量を音韻の継続時間よりも十分長い一定時間毎に更新する構成としても構わない。
(実施形態5)
図7に本実施形態の一部省略したブロック図、図8に利得制御部20のブロック図をそれぞれ示す。但し、本実施形態の基本構成は実施形態1と共通であるから、共通の構成要素には同一の符号を付して説明を省略し、本実施形態の特徴となる利得制御部20の構成についてのみ説明する。
利得制御部20は、図8に示すように所定の時間フレーム(=サンプリング数)における受話側背景騒音パワー推定値Pn(R)の平均値Pn(R)’を算出する平均値算出部20eと、受話側背景騒音パワー推定値の平均値Pn(R)’を第2の増幅器6で増幅される前の値に換算するために第2の増幅器6の利得G2(n)の逆数を乗算する乗算器20fと、乗算器20fから出力される受話側背景騒音パワー推定値の平均値の換算値Pn(R)”を閾値Xcと比較して第2の増幅器6の利得G2(n+1)を決定する利得決定部20gと、第2の音声区間検出部12から出力される音声区間検出信号SDF(R)を監視して非音声区間の継続時間を計測するカウンタ部20hと、カウンタ部20hで計測する非音声区間の継続時間が所定時間以上となったときに利得決定部20gにおける閾値Xcを減少させる閾値調整部20iとを具備する。
カウンタ部20hは所定の時間フレーム毎に第2の音声区間検出部12から出力される音声区間検出信号SDF(R)が非音声(SDF(R)=0)の場合にカウント値をインクリメントし、音声区間検出信号SDF(R)が音声(SDF(R)=1)の場合にカウント値をリセットするとともに、カウント値が所定時間に対応する値に達したら閾値調整部20iにカウントアップ信号を出力する。また閾値調整部20iは、カウントアップ信号が入力されると利得決定部20gに対して閾値Xcをそれよりも小さい閾値Xc’に変更するように指示を与える。そして利得決定部20gは、閾値調整部20iから指示を受け取ると閾値(初期値)Xcを閾値Xc’(<Xc)に変更し、図9に示すように受話側背景騒音パワー推定値Pn(R)が閾値Xc’を超えたら第2の増幅器6の利得G2(n)を減少させる。
而して、第2の音声区間検出部12の検出結果が所定時間以上継続して非音声であった場合、受話信号には背景騒音のみが含まれていると考えられるため、このような状況では閾値Xcを閾値Xc’に減少させることにより第2の増幅器6で増幅される背景騒音パワーの増大を抑えて音声スイッチVSの片倒れをより確実に抑制することができる。
ところで、第2の音声区間検出部12で音声区間が検出された後も減少させた閾値Xc’のままであると受話信号に含まれる音声が十分に増幅されずに聞き取り難くなることがある。したがって、図10に示すように非音声の継続時間(音声区間検出信号SDF(R)=0となる時間)が所定時間Tcになったら閾値をXcからXc’に減少させるが、その後、第2の音声区間検出部12で音声区間が検出されて音声区間検出信号SDF(R)が1となったら、閾値調整部20iからリセット信号を出力して利得決定部20gにおける閾値をXc’から初期値Xcに戻し、受話信号に含まれる音声を十分に増幅して聞き取り難くなるのを防ぐことが望ましい。
また、図11に示すように第2の音声区間検出部12の検出結果が非音声である状態の継続時間が所定時間Tcを超える度に閾値XcをXcからXc’、Xc”(<Xc’)へと段階的に減少させるようにすれば、第2の増幅器6で増幅される背景騒音パワーの増大をさらに抑えて音声スイッチVSの片倒れを一層確実に抑制することができる。
なお、本実施形態では受話側に設けた利得制御部20について説明したが、送話側に設けた利得制御部においても第1の音声区間検出部11の検出結果が所定時間以上継続して非音声であった場合に利得決定部における閾値を減少させたり、第1の音声区間検出部11で音声区間が検出されたら利得決定部における閾値を初期値に戻したり、あるいは第1の音声区間検出部11の検出結果が非音声である状態の継続時間が所定時間Tcを超える度に閾値を段階的に減少させるようにしても同様の効果を奏する。また、このような構成を実施形態2に適用し、送話側又は受話側の減衰量制御部が第1又は第2の音声区間検出部12の検出結果が所定時間以上継続して非音声であった場合に減衰量を増大する際に送話側又は受話側瞬時パワー推定値Ps(R)と比較される閾値を減少させたり、第1又は第2の音声区間検出部12で音声区間が検出されたら閾値を初期値に戻したり、あるいは第1又は第2の音声区間検出部12の検出結果が非音声である状態の継続時間が所定時間を超える度に閾値を段階的に減少させるようにしてもよい。
(実施形態6)
図12に本実施形態の一部省略したブロック図を示す。但し、本実施形態の基本構成は実施形態1並びに実施形態3と共通であるから、共通の構成要素には同一の符号を付して説明を省略し、本実施形態の特徴となる構成についてのみ説明する。
本実施形態は、挿入損失量分配処理部17の判定結果が所定時間以上継続して受話状態であるときにのみ利得制御部20を動作させる点に特徴があり、挿入損失量分配処理部17は通話状態の判定を行う毎に図13のフローチャートに示す処理を行っている。
すなわち、挿入損失量分配処理部17は4つの出力信号C1〜C4を参照して通話状態を判定(ステップ1)した後、その判定結果が受話モードであればカウンタのカウント値をデクリメントし(ステップ2)、さらにカウント値が0か否かを判断する(ステップ3)。そして、カウント値が0であれば、カウント値を1に設定(ステップ4)した後に利得制御部20の動作を開始させ(ステップ5)、カウント値が0でなければ何もせずに処理を終了する。一方、通話状態の判定結果が受話モード以外の場合にはカウント値を2以上の初期値に初期化(ステップ6)して処理を終了する。
而して、カウント値が初期値から0までデクリメントされるまでの所定時間以上継続して受話モードと判定された場合、受話側の周囲騒音レベルが相対的に大きくなっていると考えられるから、判定結果が所定時間以上継続したときにだけ利得制御部20を動作させて効率的に片倒れの抑制が行える。
なお、本実施形態の構成を実施形態4又は5に適用しても同様の効果を奏する。
実施形態1を示すブロック図である。 同上の動作説明図である。 実施形態2を示すブロック図である。 同上の動作説明図である。 実施形態3における利得制御部を示すブロック図である。 実施形態4における利得制御部を示すブロック図である。 実施形態5を示すブロック図である。 同上における利得制御部を示すブロック図である。 同上の動作説明図である。 同上の動作説明用のタイムチャートである。 同上の動作説明用のタイムチャートである。 実施形態6を示すブロック図である。 同上の動作説明用のフローチャートである。 従来例を示すブロック図である。
符号の説明
1 マイクロホン
2 スピーカ
3 送話側損失挿入部
4 受話側損失挿入部
6 第2の増幅器
10 挿入損失量制御部
12 第2の音声区間検出部
20 利得制御部

Claims (8)

  1. マイクロホンおよびスピーカと、マイクロホンから出力される送話信号を増幅する第1の増幅器と、相手側の通話端末から伝送系を経て到達する受話信号を増幅する第2の増幅器と、送話信号を伝送系へ送り出し且つ受話信号を減衰させる送話状態と受話信号をスピーカへ送り出し且つ送話信号を減衰させる受話状態とを切り換える音声スイッチとを備え、音声スイッチは、マイクロホンから第1の増幅器へ至る送話側信号経路に損失を挿入する送話側損失挿入手段と、第2の増幅器からスピーカへ至る受話側信号経路に損失を挿入する受話側損失挿入手段と、送話側および受話側の各損失挿入手段における挿入損失量を制御する挿入損失量制御手段とを具備し、挿入損失量制御手段は、送話信号の瞬時パワーを推定する送話側瞬時パワー推定部と、送話信号の背景騒音パワーを推定する送話側背景騒音パワー推定部と、送話側の瞬時パワー推定値並びに背景騒音パワー推定値から送話信号の音声区間を検出する第1の音声区間検出部と、受話信号の瞬時パワーを推定する受話側瞬時パワー推定部と、受話信号の背景騒音パワーを推定する受話側背景騒音パワー推定部と、受話側の瞬時パワー推定値並びに背景騒音パワー推定値から受話信号の音声区間を検出する第2の音声区間検出部とを具備し、送話側および受話側の瞬時パワー推定値の比較結果と第1および第2の音声区間検出部の検出結果とを参照して通話状態を判定するとともに、通話状態の判定結果に応じて受話側の挿入損失量を相対的に大きくした送話モード、又は送話側の挿入損失量を相対的に大きくした受話モードの少なくとも何れか一方に切り換えてなる拡声通話機において、送話側背景騒音パワー推定値が所定の閾値を超えたら第1の増幅器の利得を減少させる第1の利得制御部、若しくは受話側背景騒音パワー推定値が所定の閾値を超えたら第2の増幅器の利得を減少させる第2の利得制御部の少なくとも何れか一方を備えたことを特徴とする拡声通話機。
  2. マイクロホンおよびスピーカと、マイクロホンから出力される送話信号を増幅する第1の増幅器と、相手側の通話端末から伝送系を経て到達する受話信号を増幅する第2の増幅器と、送話信号を伝送系へ送り出し且つ受話信号を減衰させる送話状態と受話信号をスピーカへ送り出し且つ送話信号を減衰させる受話状態とを切り換える音声スイッチとを備え、音声スイッチは、マイクロホンから第1の増幅器へ至る送話側信号経路に損失を挿入する送話側損失挿入手段と、第2の増幅器からスピーカへ至る受話側信号経路に損失を挿入する受話側損失挿入手段と、送話側および受話側の各損失挿入手段における挿入損失量を制御する挿入損失量制御手段とを具備し、挿入損失量制御手段は、送話信号の瞬時パワーを推定する送話側瞬時パワー推定部と、送話信号の背景騒音パワーを推定する送話側背景騒音パワー推定部と、送話側の瞬時パワー推定値並びに背景騒音パワー推定値から送話信号の音声区間を検出する第1の音声区間検出部と、受話信号の瞬時パワーを推定する受話側瞬時パワー推定部と、受話信号の背景騒音パワーを推定する受話側背景騒音パワー推定部と、受話側の瞬時パワー推定値並びに背景騒音パワー推定値から受話信号の音声区間を検出する第2の音声区間検出部とを具備し、送話側および受話側の瞬時パワー推定値の比較結果と第1および第2の音声区間検出部の検出結果とを参照して通話状態を判定するとともに、通話状態の判定結果に応じて受話側の挿入損失量を相対的に大きくした送話モード、又は送話側の挿入損失量を相対的に大きくした受話モードの少なくとも何れか一方に切り換えてなる拡声通話機において、第1の音声区間検出部に参照信号として入力する送話信号を減衰させる第1の減衰器並びに送話側背景騒音パワー推定値が所定の閾値を超えたら第1の減衰器の減衰量を増大させる第1の減衰量制御部、若しくは第2の音声区間検出部に参照信号として入力する受話信号を減衰させる第2の減衰器並びに受話側背景騒音パワー推定値が所定の閾値を超えたら第2の減衰器の減衰量を増大させる第2の減衰量制御部の少なくとも何れか一方を備えたことを特徴とする拡声通話機。
  3. 第1および第2の利得制御部又は第1および第2の減衰量制御部は、所定時間毎に得られる送話側若しくは受話側の背景騒音パワー推定値に基づいて第1および第2の増幅器の利得若しくは第1および第2の減衰器の減衰量を音韻の継続時間よりも十分長い一定時間毎に更新することを特徴とする請求項1又は2記載の拡声通話機。
  4. 第1および第2の利得制御部又は第1および第2の減衰量制御部は、所定時間毎の送話側若しくは受話側の背景騒音パワー推定値の平均値に基づいて第1および第2の増幅器の利得若しくは第1および第2の減衰器の減衰量を音韻の継続時間よりも十分長い一定時間毎に更新することを特徴とする請求項1又は2記載の拡声通話機。
  5. 第1の利得制御部および第1の減衰量制御部は、送話側背景騒音パワー推定値が所定の第1の閾値以下であるときに第1の増幅器の利得および第1の減衰器の減衰量を一定値とし、送話側背景騒音パワー推定値が第1の閾値を超えるときに第1の増幅器の出力および第1の減衰器の出力のパワーが略一定となるように第1の増幅器の利得および第1の減衰器の減衰量を調整するとともに、第1の音声区間検出部の検出結果が所定時間以上継続して非音声であった場合に第1の閾値を減少させてなり、第2の利得制御部および第2の減衰量制御部は、受話側背景騒音パワー推定値が所定の第2の閾値以下であるときに第2の増幅器の利得および第2の減衰器の減衰量を一定値とし、受話側背景騒音パワー推定値が第2の閾値を超えるときに第2の増幅器の出力および第2の減衰器の出力のパワーが略一定となるように第2の増幅器の利得および第2の減衰器の減衰量を調整するとともに、第2の音声区間検出部の検出結果が所定時間以上継続して非音声であった場合に第2の閾値を減少させてなることを特徴とする請求項1又は2記載の拡声通話機。
  6. 第1および第2の利得制御部並びに第1および第2の減衰量制御部は、第1又は第2の閾値を初期値から減少させた状態にあるときに第1又は第2の音声区間検出部で音声区間が検出されれば第1又は第2の閾値を初期値に戻すことを特徴とする請求項5記載の拡声通話機。
  7. 第1および第2の利得制御部並びに第1および第2の減衰量制御部は、第1又は第2の音声区間検出部の検出結果が非音声である状態の継続時間が所定の閾値を超える度に第1および第2の閾値を段階的に減少させることを特徴とする請求項6記載の拡声通話機。
  8. 挿入損失量制御手段は、通話状態が送話状態か受話状態かを判定するとともに通話状態に応じて送話側および受話側の各損失挿入手段における挿入損失量を制御してなり、挿入損失量制御手段の判定結果が所定時間以上継続して送話状態であるときにのみ、第1の利得制御部又は第1の減衰量制御部を動作させ、挿入損失量制御手段の判定結果が所定時間以上継続して受話状態であるときにのみ、第2の利得制御部又は第2の減衰量制御部を動作させることを特徴とする請求項3〜7の何れかに記載の拡声通話機。
JP2003394671A 2003-11-25 2003-11-25 拡声通話機 Expired - Fee Related JP4003739B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003394671A JP4003739B2 (ja) 2003-11-25 2003-11-25 拡声通話機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003394671A JP4003739B2 (ja) 2003-11-25 2003-11-25 拡声通話機

Publications (2)

Publication Number Publication Date
JP2005159678A true JP2005159678A (ja) 2005-06-16
JP4003739B2 JP4003739B2 (ja) 2007-11-07

Family

ID=34720672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003394671A Expired - Fee Related JP4003739B2 (ja) 2003-11-25 2003-11-25 拡声通話機

Country Status (1)

Country Link
JP (1) JP4003739B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412788A (zh) * 2016-10-31 2017-02-15 歌尔科技有限公司 一种前馈主动降噪耳机的测试方法和测试系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101248952B1 (ko) 2011-10-19 2013-04-01 주식회사 동영미디어 음성레벨 조절이 가능한 오디오 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412788A (zh) * 2016-10-31 2017-02-15 歌尔科技有限公司 一种前馈主动降噪耳机的测试方法和测试系统
CN106412788B (zh) * 2016-10-31 2019-08-02 歌尔科技有限公司 一种前馈主动降噪耳机的测试方法和测试系统

Also Published As

Publication number Publication date
JP4003739B2 (ja) 2007-11-07

Similar Documents

Publication Publication Date Title
US7881927B1 (en) Adaptive sidetone and adaptive voice activity detect (VAD) threshold for speech processing
JP5086769B2 (ja) 拡声通話装置
KR20020071967A (ko) 반향 제거 장치를 구현하는 개선된 시스템 및 방법
JP4069595B2 (ja) 拡声通話装置
TWI399968B (zh) 揚聲電話裝置
JP4003739B2 (ja) 拡声通話機
JP5712350B2 (ja) 拡声通話装置
JP4380688B2 (ja) 通話装置
JP4003738B2 (ja) 拡声通話機
JP3941581B2 (ja) 拡声通話装置
JP4333524B2 (ja) 拡声通話装置
JP4211581B2 (ja) 拡声通話機
JP6778632B2 (ja) インターホン装置
JP3903928B2 (ja) 音声切換装置
JP4900185B2 (ja) 拡声通話装置
JP3903933B2 (ja) 通話装置
JP4131175B2 (ja) 音声切換装置
JP4458002B2 (ja) 拡声通話装置
JP3709739B2 (ja) 音声切換装置
JP4811039B2 (ja) 音声切換装置
JP3941580B2 (ja) 拡声通話装置
JP4900184B2 (ja) 拡声通話装置
JP6688985B2 (ja) 通話方法およびそれを利用した通話装置
CN102428657B (zh) 全双工音频通信终端
JP5297396B2 (ja) 拡声通話装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070813

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110831

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130831

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees