JP2006519554A - 可聴性の改善 - Google Patents

可聴性の改善 Download PDF

Info

Publication number
JP2006519554A
JP2006519554A JP2006502816A JP2006502816A JP2006519554A JP 2006519554 A JP2006519554 A JP 2006519554A JP 2006502816 A JP2006502816 A JP 2006502816A JP 2006502816 A JP2006502816 A JP 2006502816A JP 2006519554 A JP2006519554 A JP 2006519554A
Authority
JP
Japan
Prior art keywords
far
gain
threshold
level
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006502816A
Other languages
English (en)
Other versions
JP2006519554A5 (ja
JP4699988B2 (ja
Inventor
テヌ トランプ,
アンデルス エリクソン,
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Publication of JP2006519554A publication Critical patent/JP2006519554A/ja
Publication of JP2006519554A5 publication Critical patent/JP2006519554A5/ja
Application granted granted Critical
Publication of JP4699988B2 publication Critical patent/JP4699988B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/32Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones

Abstract

電話システムにおける、ファーエンドユーザからニアエンドのユーザへのファーエンド音声信号の可聴性を強化するための装置は、ニアエンドユーザ側でニアエンドの背景雑音信号評価器(26)を含む。またニアエンド音声信号レベル測定器(24)もニアエンドユーザ側に備えられる。利得制御ロジック(22)では、評価された音声と背景雑音信号レベル両方に基づいてファーエンド音声信号の増幅のために利得(G)が決定される。

Description

本発明は、電話システムが雑音のある環境で使用された場合において、端末例えば、携帯ハンドセットの拡声器信号のレベルを制御することによる可聴性の改善に関する。
雑音のある環境で通話をおこなう場合、拡声器信号がニアエンドの背景雑音によってかき消されるために、ファーエンド音声の可聴性が時折良くないかもしれない。そのような場合において、可聴性を改善するためにファーエンド音声信号の大きさを上げることは有益になる。
今日使用される移動体端末の多くは、スピーカの音量を上げるために使用されうる手動の音量コントロールを備える。しかしながら、これは、必ずしも可聴性を強化する問題を解決するには至らないかもしれない。大抵の場合は、移動体端末に含まれているいわゆる側音に依存するであろう。側音は、より臨場感のある端末音声を実現するために話し手の音声の一部を拡声器へ加算する。一般的に、側音はマイクロホンのレベルを下回る約10から20dBのレベルである(非特許文献1参照)。側音の認知は、側音と通話音声との間の時間遅延に非常に敏感である。この時間遅延は短いほうが好ましく、そのため側音は、本来、マイクロホン信号の減衰された(10から20dB)バージョンとして実装されていた。
側音は拡声器へ話し手の音声を加算することを意図されているが、何らかの背景環境雑音も側音を介して拡声器へ加算されるかもしれない。その結果、ニアエンド雑音によってファーエンド音声が汚染される原因となる。ニアエンドの背景環境雑音が非常に高い場合、低い信号対雑音比によってファーエンドの音声の可聴性が低下する原因となるであろう。このような場面では、ユーザがファーエンドの音声のレベルを上げることが望ましい。端末の音量制御に依存して、可聴性を上げられかもしれないし、上げられないかもしれない。音量制御が下り回線信号に実装(デジタル処理で)され、側音が音量レベルと関係しない場合、ファーエンド通話の信号対雑音比はこの作用により増加するであろう。しかしながら、音量制御は拡声器信号のアナログ増幅器として実装されるか、或いは側音レベルが電話の音量設定に依存しているなら、手動の音量制御ではファーエンド音声と側音から生じるニアエンド雑音の両方を増幅してしまい、信号対雑音比は拡声器における音量レベルに関わらず一定の値となるため、移動体端末のユーザがハンドセット上の手動の音量制御を調整することでは改善されない。
移動ユーザ側で現状の雑音レベルに基づいて、ファーエンド信号を増幅させるネットワーク内の処理機能を含むことによって、可聴性を増し加える課題は特許文献1において扱われている。この増幅は、側音を介して端末の近くで加えられる雑音信号ではなく、ファーエンド信号のみに影響を与えるため、この手法は信号対雑音比を増加させるであろう。
特許文献1に記載された解決手法は、ニアエンドからの雑音レベルに基づいてファーエンド信号を増幅する。この解決手法は、ユーザが背景雑音レベルの高い環境にいるときにはいつでも、ユーザは増加されたファーエンド信号レベルから利益を得るであろうという仮定に基づいている。
この仮定は、ユーザが従来設計の移動体端末、すなわち、マイクロホン信号の減衰した複製として側音が実装されている移動体端末を使用している場合に妥当なものであるかもしれない。しかしながら、移動体端末の設計において増加したダイバーシチに関して、ユーザが高い背景雑音の環境に位置しているが、ユーザがファーエンドのスピーカの可聴性を問題にしていない場面がいくつか存在するかもしれない。以下に雑音のある環境で使用されているにもかかわらず可聴性に関しておそらく問題のない端末装置の例を挙げる。
1. 側音レベルに影響を与えない音量制御、またはより高度な側音装置(側音における雑音抑制技術を含む)を備えるハンドセット。
2. (例えば、スピーカ音量と環境雑音に依存する周波数特性を備えた車載ハンズフリーキットのような)雑音のある状態や拡声器へ側音が加算されないことを想定して設計されたハンズフリーのアクセサリ。
3. 感知される環境雑音レベルを低減させる端末や耳栓。
4. アクティブ化された雑音制御を備えるハンドセット。
これは、排他的なリストとして理解されるべきではないが、高い音響の背景雑音を持つ環境において、適切に動作するように設計されている端末装置の例としての役割を果たすものである。
端末装置が雑音のある状態で動作するように設計されてきた状況において、ネットワーク内でなされる何らかのレベル調整は、全体的に認知される会話の品質を悪化させるかもしれない。まず第1に、ファーエンドの音声のレベルを上げることは、設計されたようにニアエンドの端末装置を機能させない原因となるかもしれない。第2に、恐らく最も重要であるが、会話時における音声や通話のレベルは人間の音声レベルの認識を通して繋がっている。以下に概説するように、その場面の具体的な知識なく実装された場合、ネットワークにおける信号の増幅は望まれない方法で音声レベルに影響を与えるであろう。

会話において、話し手は相手側のレベルや背景雑音に合わせて声のレベルを調整する傾向がある。同様に、(ハンドセット、ハンズフリー、或いはヘッドセットにおける)拡声器を通しての電話での会話におけるスピーチを挙げれば、話し手はスピーカから感知されるような同様のレベルで声のレベルを調整する傾向がある。したがって、ファーエンドの音声のレベルが上げられた場合、ニアエンドのユーザもまた無意識のうちに声のレベルを上げるであろう。ニアエンドにおける端末装置が高い背景雑音を持つ環境でさえ適切な動作をおこなうように設計されている場合、声のレベルを上げることは、ユーザに増加した可聴性の利益を得られないマイナスな状態(例えば、声によるより大きな重圧として)で影響している。
前述した問題例は、雑音のある環境でヘッドセットを使用している場合である。適切にヘッドセットを設計するなら、ユーザは通常の信号レベルでファーエンドの話し手を聞き取ることにおそらく問題がないであろうし、おそらくは快適であり自然な音声レベルでの会話をするであろう。しかしながら、もしファーエンドの話し手のレベルが(ニアエンドからの高い背景雑音のために)ネットワーク装置によって増加させられた場合は、ニアエンドの話し手が無意識のうちにより無理に声を出すことによって声のレベルが上げられてしまい、結果としてプライバシーがより少ないものとなるかもしれない。
前述した例において、ヘッドセットがあると、ユーザが背景雑音にあまりさらされることはなく、通常のハンドセットを使用しているかのように、背景雑音の高いレベルにより声が上げられることはないことに注意すべきである。雑音のある環境にあり背景雑音の高いレベルに十分にさらされている通常のハンドセットを用い、そのハンドセットに高い雑音レベルを持つ側音がある場合、ニアエンドのユーザは、前項で概説したように上げられたファーエンドの音声レベルから利益を得るであろう。
米国特許第5,524,148号 ITU-T Recommendation G.121
したがって、高いニアエンドの背景雑音を持つ環境のために設計された端末装置での状況において、全体的な性能を悪化させることなく通常の移動体端末のハンドセットのユーザのために可聴性を改善する改善方法が必要とされている。
要 約
本発明の目的は、可聴性を上げる状況においてファーエンド信号を選択的に調整することと、可聴性を上げないときにはファーエンド信号を本質的には変えないでおくことである。
簡潔に言えば、前述した課題の解決方法は、ニアエンドの背景雑音レベルとニアエンドの音声レベルとの両方で変化する関数としてファーエンドスピーカの信号レベルを調整することに基づいている。
本解決方法は、ニアエンド側の端末装置が雑音のある環境で動作するように設計されている場合に、ニアエンドのユーザはおそらく通常のレベルに近い音声レベルを持つであろうという想定に基づいている。同様に、ニアエンドのユーザがファーエンドの可聴性の問題を経験する可能性の高い状況にある場合、高い背景雑音の影響のようにより大きな音声レベルのため、おそらくニアエンドの音声レベルは大きくなるであろう。本発明は、雑音のある状態を想定して設計された端末を持つユーザのために性能を悪化させることなく、雑音のある環境において端末ユーザのためにファーエンド音声の可聴性を増加させる利点を備えている。
本発明はその更なる目的や利点とともに、添付図面とともにとられた以下の説明を参照することにより最善の理解が得られるであろう。
以下の説明において、同じ参照番号や記号は、添付図面の全ての図を通じて同じまたは同様の要素に使用する。さらに図面が複雑になるのを避けるため、発明の説明に必要な要素のみを図中に示す。したがって、例えば無線装置、音声符号/復号化器のような要素は省略している。
図1に現状の問題点と本文章中に使用される専門用語を示す。マイクロホン10と拡声器12とを備える電話機を提供されたファーエンドまたは送信ユーザは、拡声器14とマイクロホン16を備える端末を提供されたニアエンドまたは受信ユーザに対して電話網を介して音声信号を送信する。ニアエンドでの端末装置は、マイクロホン16でニアエンド音声とニアエンドの背景雑音を拾う。端末装置のいくつかの実施例において、雑音の一部は、合成信号がニアエンドの拡声器14に到達する前に側音として受信したファーエンド信号に加算される。前述したように、この側音は、受信したファーエンド音声信号の可聴性に影響を与えるかもしれないし、与えないかもしれない。雑音のあるニアエンドの環境において、例えば、特許文献1に説明されているようにファーエンド信号を増幅することによって、可聴性はネットワークによって改善されるかもしれない。しかしながら、前述したように必ずしも期待した結果が得られるわけではない。したがって、異なる必要性に対処できるような柔軟な方法が望ましい。そのような方法が本発明の目的である。
図2は、本発明に従う装置の第1の代表的な実施例を示すブロック図である。利得制御ロジック22により制御される利得Gをもつ増幅器10によって、ファーエンド信号は増幅される。利得制御ロジック22は、ニアエンド音声信号とニアエンド背景雑音の両方のレベル評価SPとBNを使用することにより利得を制御する。それらは、例えば、それぞれ補足1と補足2に説明される利得制御方法に従ってニアエンド信号から生成される。それらの評価はそれぞれ評価器24と28により実行される。
図3は本発明に従う利得制御方法の代表的な実施例のフローチャートである。ステップS1は、例えば補足1で説明する方法に従って現状のニアエンド音声レベルSPを評価する。ステップS2は、例えば補足2で説明する方法に従って現状のニアエンド背景雑音BNを評価する。ステップS3は、通常5dBから15dBの間にある閾値TH、例えば、9dBを信号対雑音比SP/BNが超えているかどうかを調べる。SP/BNが閾値THを超えていない場合、ステップS4において利得Gは0dB(利得=1)に設定される。
ステップS5はSP/BNが閾値を超えている場合に実行される。ステップS5は、通常、−35dBm0から−15dBm0の間にある、例えば、−25dBm0の所定の最小の音声レベルSP0を測定された音声レベルSPが超えているかどうかを調べる。SPが最小レベルを超えていない場合、ステップS6は総利得Gの音声寄与GSを0(dB)に設定する。そうでなければ、ステップS7では、総利得Gの音声寄与GSを
GS=min(MaxGS,CS(SP−SP0))
のように設定する。ここで、MaxGSはGSの最大許容値であり、CSは音声利得のスケーリングファクタである。MaxGSは、通常2dBから8dBの間にあり、例えば、5dBでも良い。スケーリングファクタCSは、0.1から1の間にあり、例えば、0.5でも良い。
次に、判定された背景雑音レベルBNが、通常−50dBm0からー30dBm0の間にある所定の最小背景雑音レベルBN0、例えば、−40dBm0を超えたかどうかをステップS8で調べる。BNが最小背景雑音レベルを超えない場合、ステップS9で総利得Gの背景雑音寄与GNを0(dB)に設定する。そうでなければ、ステップS10で総利得Gの背景雑音寄与GNを GN=min(MaxGN,CN(BN−BN0))
のように設定する。ここで、MaxGNはGNの最大許容値であり、CNは背景雑音のスケーリングファクタである。MaxGNは、通常2dBから8dBの間にあり、例えば、5dBでも良い。スケーリングファクタCNは、0.1から1の間にあり、例えば、0.5でも良い。
最後にステップS11で総利得Gを以下の式
G=min(MaxG,GS+GN)
に従って決定する。ここでMaxGは最大許容総利得であり、通常5dBから15dBにあり、例えば、10dBであるかもしれない。
コミュニケーションループの安定性を保証するために、総ループ利得は1より小さい値でなければならない。可聴性強化機能が一方向の送信について増加可能であり、その結果、総ループ利得が増加可能であるので、ループの安定性が失われるかもしれないというリスクがある。上記のようなリスクの発生を避けるために、可聴性強化機能の一方向または両方向でエコー反射損失(ERL)が評価されてもよく、その結果が利得Gを決定する時のために考慮されてもよい。ERL値はループの対応する端での減衰特性を示す。可聴性強化機能が他の音声強化機能と伴に内蔵されるなら、ファーエンドとニアエンドにおけるエコー反射損失の評価は、図4の第2の代表的な実施例に図示されるように、それぞれ、ネットワークエコーキャンセラ(EC)28と音響エコーキャンセラ(AEC)30から得ることができる。それらを用いると、MaxGは以下の式
MaxG=min(MaxGL,ERLNEAR+ERLFAR−M
に従いエコー反射損失ERLNEARとERLFARに依存したものとなるかもしれない。ここで、MaxGLは固定最大利得限度であり、それは通常5dBから15dBの間にあり、例えば、10dBでも良い。また、MSは安定マージンであり、好適な実施例においては3dBから6dBの間にある。
可聴性強化機能は、またファーエンド信号のピークレベル検出器を含んでもよい。この検出器からの情報は、増幅信号がPCMコーデックのダイナミックレンジ以内を保つことを保証するために、つまり、出力信号のピーク飽和を避けるために使用される。ファーエンドのピークレベル評価Lを決定するためのそのようなピークレベル検出器32のようなものをもつ実施例が図5に図示されている。例えば、測定値Lは補足3で説明する方法にしたがって決定される。この実施例において、最大許容総利得MaxGは以下の式
MaxG=min(MaxGL,LSAT−MSAT−L
のように決定されうる。ここで、LSATはPCM符号の飽和レベルであり、MSATは、3dBから10dBの飽和マージンであり、例えば、6dBでも良い。
図6は、本発明に従う装置の第4の代表的な実施例のブロック図である。この実施例は、図2、図4、図5の実施例における特徴を組合わせたものである。この実施例において、最大許容総利得MaxGは以下の式
MaxG=min(MaxGL,ERLNEAR+ERLFAR−M,LSAT−MSAT−L
のように決定されうる。ファーエンド信号に適用される実利得は、決定利得Gのローパス・フィルタを通したものであることが好ましい。ローパス・フィルタは、適用信号利得の変化率が、5dB/sから15dB/sの間、例えば、10dB/sで制限されるように選択されることが好ましい。
本発明の実施例を説明する様々なブロックは、通常、マイクロプロセッサ、デジタルシグナルプロセッサまたはマイクロプロセッサとシグナルプロセッサの組み合わせ、および対応ソフトウェアによって実装されるが、ASIC(特定用途向け集積回路)においても実行可能である。
さらに、前述した可聴性強化の原理は、移動体端末と固定端末両方で適用可能である。
添付した請求の範囲によって定義される本発明の範囲から逸脱することなく本発明からの様々な修正や変形がなされることが当業者には理解されるであろう。
[補足1−音声レベル評価]
例えば、ITU-T Recommendation P.56. のように、音声レベルSPを評価するいくつかの知られている方法がある。好適な実施例においては、いわゆるアクティブ音声レベルの評価について、ITU-T Recommendation P.56. に説明されている推奨P.56(以下、P.56)の方法Bの修正バージョンが使用されている。
このアプリケーションの目的のため、音声レベルの変化に対応できる方法が望ましい。これを達成する1つの可能性は、ファーエンド信号を特定の継続時間、例えば、10秒のブロックに分割して(おそらくいくつかの重複を伴って)、新たなブロック信号が信号サンプルに満たされるたびにアクティブ音声レベルを計算することである。この
簡単な手法の欠点は、音声アクティビティがないかほとんどないブロックに関し、この方法では、雑音レベルを出力することにある。前述したような欠点を避けるために、外部の音声アクティビティ検出器が使用されてもよい。
外部の音声アクティビティ検出器を含む代わりに、信号が音声と雑音または雑音のみを有するかどうかの判定は、P.56レベル測定デバイスで使用される内部変数を使用することによりなされる。以下に、P.56レベル測定方法を説明する。その後、P.56の方法における出力がアクティブ音声レベルであり背景雑音レベルでないために、適切な測定間隔を選択するためにどのように内部変数が使用されるかを示す。
P.56レベル測定デバイスは、
p(t)=g・p(t−1)+(1−g)・|x(t)|,
q(t)=g・q(t−1)+(1−g)・|p(t)|,
に従って調整された信号値の2段階による指数平均によって信号の包絡線q(t)を計算する。ここで、x(t)は下向きのサンプルである(10毎)入力信号であり、gは所定の定数g=0.9592,p(0)=0,q(0)=0である。次に一連の閾値cが包絡線へ適用される。閾値は、信号のダイナミックレンジをカバーする2:1(6.02dB)以下の間隔で等比級数的な値をとる。それらの閾値は、レベルが増加する順番で数えられるとする、即ち、cが最低の閾値レベルに対応する。一連のアクティビティカウントaと対応するハングオーバのカウントhは、以下のように包絡線とそれらの閾値とを比較することにより見出される。
jの各値に関し :
もし q(t)≧cであるなら a=a+1及び h=0;
もし q(t)<c,h<Iであるなら
=a+1及び h=h+1;
もしq(t)<c,h=Iであるなら何もしない。
第1のケースにおいて、包絡線がj番目の閾値以上となるため、閾値レベルによって判定されるように音声がアクティブと見なされる。第2のケースにおいて、包絡線が閾値を下回っているが、対応するハングオーバがまだ切れていないため音声はアクティブと見なされる。第3のケースにおいて、問題となる閾値レベルにより判断されるように音声は非アクティブとなる。I=160は定数である。
さらに、以下の式に従って、P.56レベル測定デバイスは長さnの測定間隔でダウンサンプル(down-sampled)入力信号の2乗和を計算する。
Figure 2006519554
アクティブ音声レベル評価は以下の式、
=sq/a
のように各jごとに計算される。
最終的に、対応する閾値cのマージンm(15.9dB)倍に最も近いレベルAはアクティブ音声レベルSPとして選択される。有効な結果となるために、測定間隔はアクティブ音声のほぼ全体を含むように選択されるべきである。
最低閾値cが大部分の背景雑音よりも低いために、最低閾値のアクティビティカウントaは、あらゆる(ほとんどの)入力されるサンプルに伴い1だけ増加させられることになる。同様に、入力信号が音声と背景雑音とを有しているなら、雑音レベル未満のアクティビティ全てはあらゆる入力サンプルに伴って1だけ増加させられる。また以下の式
≦a,i>jの場合
のようになる。
これらの観測は、現在のデータブロックが大部分音声または雑音のサンプルから構成されるかどうかを判断する簡単な方法につながる。その手順は以下のようになる。
各入力サンプルに関してアクティビティカウントを更新した後に、最初の活動カウントaは、最も低い閾値に対応するアクティビティカウントa0の75%より低い値をとる。検索は、aから開始し、より高い閾値の方へ進められるべきである。
上記のことは、以下のように導き出すのと同じである。
Figure 2006519554
が所定値d(アクティブ音声の約2.5秒に対応する推奨値d=2000)に達しているかどうかを確認する。達している場合には、アクティブ音声レベルの計算のために現状のブロックを使用し、新たな測定間隔が開始する。そうでなければ、ブロック長nが第2の所定値d(推奨値d=4d)より大きいかどうか確認する。大きい場合、ほとんどが雑音のみのサンプルから構成されるとして現状のブロックを破棄し、新たな測定間隔が開始する。上記のいずれもが当てはまらない場合は、現状の測定間隔でのデータ収集を続行する。
より信頼できる結果を得るためには、アクティブ音声レベルを計算する前に、アクティビティカウントと、いくつかの極間近の有効な測定間隔(推奨値3)からの入力サンプルの2乗和とを加算することが好ましい。
[補足2−雑音レベル評価]
ニアエンドの背景雑音レベルBNはよく知られている技術で評価される。例えば、雑音レベルの評価は、以下の式
(t)=ρ・P(t−1)+(1−ρ)・x(t)
に従ってまず2乗した信号のサンプルをローパス・フィルタリングし、それから適切な観測間隔にわたる結果の最小値を選択することにより得ることができる。上述した方程式において、P(t)は、時間tにおける信号xの短期的なパワー評価であり、0≦ρ≦1が定数であり、例えば、0.01となる。観測間隔において、信号のいくらかの部分が雑音のみを有することを保証するために、観測間隔は十分な長さが選択されるべきである。一方で、評価が背景雑音における変化に追従可能であるために、観測間隔は十分短くあるべきである。観測間隔は、通常、5から15秒の範囲、例えば、10秒で選択される。
あるいは、可聴性強化機能が他のボイス強化機能に内蔵されている場合、音響エコー制御機能が背景雑音レベル評価を提供してもよい。
[補足3−ピークレベル検出器]
ピークレベル検出器は、以下の式
(t)=ρ・P(t−1)+(1−ρ)・y(t)
に従ってファーエンド信号の短期間のパワーをまず計算することにより実現される。ここで、0≦P≦1は定数であり、例えば、0.01をとる。ファーエンドのピークレベル測定値Lは、以下の計算式によって得られる。
(t)≦P(t)の場合、L(t)=P(t)となり、
そうでない場合は、L(t)=βL(t−1)となり、
そうでない場合は、L(t)=βL(t−1)
ここで、βは、1よりも小さいが1に近い値で選択される所定の定数である。例えば、β=0.998が選択されてもよい。βによるピークレベル評価のダウンスケーリングは、唯一ニアエンド音声が出現する場合に実行されるのが好ましい。即ち、その評価は、音声が途絶えている間は修正されない。
本発明の背景を示した図である。 本発明に従う装置の第1の代表的な実施例を示すブロック図である。 本発明に従う方法の代表的な実施例を示すフローチャートである。 本発明に従う装置の第2の代表的な実施例を示すブロック図である。 本発明に従う装置の第3の代表的な実施例を示すブロック図である。 本発明に従う装置の第4の代表的な実施例を示すブロック図である。

Claims (10)

  1. 電話システムにおいて、評価されたニアエンドの背景雑音信号レベルに従ってファーエンド音声信号に利得を適用することによって、ファーエンドユーザからニアエンドユーザへの前記ファーエンド音声信号の可聴性を改善する方法であって、
    前記評価された背景雑音信号レベルと評価されたニアエンド音声信号の両方において、変化する関数として前記利得を決定するステップを含むことを特徴とする方法。
  2. 評価した最大ファーエンド音声信号レベルから第1の閾値を決定するステップと、
    前記第1の閾値を下回る値に前記利得を限定するステップとを含む
    ことを特徴とする請求項1に記載の方法。
  3. 少なくとも1つの評価されたエコー反射損失から第2の閾値を決定するステップと、
    前記第2の閾値を下回る値に前記利得を限定するステップとを含む
    ことを特徴とする請求項1に記載の方法。
  4. 評価された最大ファーエンド音声信号レベルから第1の閾値を決定するステップと、
    少なくとも1つの評価されたエコー反射損失から第2の閾値を決定するステップと、
    前記第1と第2の閾値の内の最小値を下回る値に前記利得を限定するステップとを含む
    ことを特徴とする請求項1に記載の方法。
  5. 前記ファーエンド音声信号に適用する前に前記決定された利得をローパス・フィルタリングする
    ことを特徴とする請求項1乃至5の何れかに記載の方法。
  6. 電話システムにおいて、評価されたニアエンドの背景雑音信号レベルに従ってファーエンド音声信号に利得を適用することによって、ファーエンドユーザからニアエンドユーザへの前記ファーエンド音声信号の可聴性を改善する装置であって、
    前記評価された背景雑音信号レベル(BN)と測定されたニアエンド音声信号(SP)の両方において、変化する関数として前記利得(G)を決定する利得制御ロジック(22)を備える
    ことを特徴とする装置。
  7. 評価された最大ファーエンド音声信号レベル(L)から第1の閾値を決定する手段(22)と、
    前記第1の閾値を下回る値に前記利得を限定する手段(22)とを含む
    ことを特徴とする請求項6に記載の装置。
  8. 少なくとも1つの評価されたエコー反射損失(ERLNEAR,ERLFAR)から第2の閾値を決定する手段(22)と、
    前記第2の閾値を下回る値に前記利得を限定する手段(22)とを含む
    ことを特徴とする請求項6に記載の装置。
  9. 評価された最大ファーエンド音声信号レベル(L)から第1の閾値を決定する手段(22)と、
    少なくとも1つの評価されたエコー反射損失(ERLNEAR,ERLFAR)から第2の閾値を決定する手段(22)と、
    前記第1と第2の閾値の内の最小値を下回る値に前記利得を限定する手段(22)とを含む
    ことを特徴とする請求項6に記載の装置。
  10. 前記ファーエンド音声信号に適用する前に前記決定された利得をフィルタリングするローパス・フィルタを含む
    ことを特徴とする請求項6乃至9の何れかに記載の装置。
JP2006502816A 2003-02-27 2004-02-25 可聴性の改善 Expired - Lifetime JP4699988B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US44987903P 2003-02-27 2003-02-27
US60/449,879 2003-02-27
PCT/SE2004/000261 WO2004077806A1 (en) 2003-02-27 2004-02-25 Audibility enhancement

Publications (3)

Publication Number Publication Date
JP2006519554A true JP2006519554A (ja) 2006-08-24
JP2006519554A5 JP2006519554A5 (ja) 2007-04-12
JP4699988B2 JP4699988B2 (ja) 2011-06-15

Family

ID=32927588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006502816A Expired - Lifetime JP4699988B2 (ja) 2003-02-27 2004-02-25 可聴性の改善

Country Status (7)

Country Link
US (1) US7092514B2 (ja)
EP (1) EP1599992B1 (ja)
JP (1) JP4699988B2 (ja)
AT (1) ATE455431T1 (ja)
DE (1) DE602004025089D1 (ja)
HK (1) HK1086412A1 (ja)
WO (1) WO2004077806A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246870A (ja) * 2008-03-31 2009-10-22 Fujitsu Ltd 通信端末、通信端末の音声出力調整方法
JP2011023959A (ja) * 2009-07-15 2011-02-03 Alpine Electronics Inc 音声明瞭度改善システムおよび音声明瞭度改善方法
JP2020202448A (ja) * 2019-06-07 2020-12-17 ヤマハ株式会社 音響装置および音響処理方法

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260209B2 (en) * 2003-03-27 2007-08-21 Tellabs Operations, Inc. Methods and apparatus for improving voice quality in an environment with noise
WO2005071666A1 (en) * 2004-01-20 2005-08-04 Koninklijke Philips Electronics, N.V. Enhanced usage of telephones in noisy surroundings
US20050179056A1 (en) * 2004-02-18 2005-08-18 Teggatz Ross E. System for resonant circuit tuning
US8712768B2 (en) * 2004-05-25 2014-04-29 Nokia Corporation System and method for enhanced artificial bandwidth expansion
US8340309B2 (en) * 2004-08-06 2012-12-25 Aliphcom, Inc. Noise suppressing multi-microphone headset
KR20060071902A (ko) * 2004-12-22 2006-06-27 컴텍주식회사 소음 차단용 헤드 셋
US8031878B2 (en) * 2005-07-28 2011-10-04 Bose Corporation Electronic interfacing with a head-mounted device
US7890330B2 (en) * 2005-12-30 2011-02-15 Alpine Electronics Inc. Voice recording tool for creating database used in text to speech synthesis system
US7627352B2 (en) * 2006-03-27 2009-12-01 Gauger Jr Daniel M Headset audio accessory
US7920903B2 (en) * 2007-01-04 2011-04-05 Bose Corporation Microphone techniques
US8868417B2 (en) * 2007-06-15 2014-10-21 Alon Konchitsky Handset intelligibility enhancement system using adaptive filters and signal buffers
US8868418B2 (en) * 2007-06-15 2014-10-21 Alon Konchitsky Receiver intelligibility enhancement system
US20080312916A1 (en) * 2007-06-15 2008-12-18 Mr. Alon Konchitsky Receiver Intelligibility Enhancement System
TWI478489B (zh) * 2007-12-19 2015-03-21 Realtek Semiconductor Corp 接收裝置及其自動增益控制方法
US20090192793A1 (en) * 2008-01-30 2009-07-30 Desmond Arthur Smith Method for instantaneous peak level management and speech clarity enhancement
US20090253457A1 (en) * 2008-04-04 2009-10-08 Apple Inc. Audio signal processing for certification enhancement in a handheld wireless communications device
US9197181B2 (en) * 2008-05-12 2015-11-24 Broadcom Corporation Loudness enhancement system and method
US9373339B2 (en) * 2008-05-12 2016-06-21 Broadcom Corporation Speech intelligibility enhancement system and method
AU2009267047A1 (en) * 2008-06-30 2010-01-07 Able Planet, Incorporated Method and system for auditory enhancement and hearing conservation
US9124708B2 (en) * 2008-07-28 2015-09-01 Broadcom Corporation Far-end sound quality indication for telephone devices
KR101624652B1 (ko) * 2009-11-24 2016-05-26 삼성전자주식회사 잡음 환경의 입력신호로부터 잡음을 제거하는 방법 및 그 장치, 잡음 환경에서 음성 신호를 강화하는 방법 및 그 장치
US8447595B2 (en) * 2010-06-03 2013-05-21 Apple Inc. Echo-related decisions on automatic gain control of uplink speech signal in a communications device
US9042535B2 (en) * 2010-09-29 2015-05-26 Cisco Technology, Inc. Echo control optimization
WO2012075343A2 (en) 2010-12-03 2012-06-07 Cirrus Logic, Inc. Oversight control of an adaptive noise canceler in a personal audio device
US8908877B2 (en) 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
US9318094B2 (en) 2011-06-03 2016-04-19 Cirrus Logic, Inc. Adaptive noise canceling architecture for a personal audio device
US8948407B2 (en) 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US8958571B2 (en) * 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US9824677B2 (en) 2011-06-03 2017-11-21 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US9214150B2 (en) 2011-06-03 2015-12-15 Cirrus Logic, Inc. Continuous adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9325821B1 (en) * 2011-09-30 2016-04-26 Cirrus Logic, Inc. Sidetone management in an adaptive noise canceling (ANC) system including secondary path modeling
JP5845787B2 (ja) * 2011-09-30 2016-01-20 ブラザー工業株式会社 音声処理装置、音声処理方法、および音声処理プログラム
US9014387B2 (en) 2012-04-26 2015-04-21 Cirrus Logic, Inc. Coordinated control of adaptive noise cancellation (ANC) among earspeaker channels
US9142205B2 (en) 2012-04-26 2015-09-22 Cirrus Logic, Inc. Leakage-modeling adaptive noise canceling for earspeakers
US9318090B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Downlink tone detection and adaptation of a secondary path response model in an adaptive noise canceling system
US9082387B2 (en) 2012-05-10 2015-07-14 Cirrus Logic, Inc. Noise burst adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9123321B2 (en) 2012-05-10 2015-09-01 Cirrus Logic, Inc. Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system
US9319781B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Frequency and direction-dependent ambient sound handling in personal audio devices having adaptive noise cancellation (ANC)
WO2014035845A2 (en) * 2012-09-02 2014-03-06 QoSound, Inc. Adaptive audio signal shaping for improved playback in a noisy environment
US9532139B1 (en) 2012-09-14 2016-12-27 Cirrus Logic, Inc. Dual-microphone frequency amplitude response self-calibration
US9107010B2 (en) 2013-02-08 2015-08-11 Cirrus Logic, Inc. Ambient noise root mean square (RMS) detector
US9601128B2 (en) * 2013-02-20 2017-03-21 Htc Corporation Communication apparatus and voice processing method therefor
US9369798B1 (en) 2013-03-12 2016-06-14 Cirrus Logic, Inc. Internal dynamic range control in an adaptive noise cancellation (ANC) system
US9215749B2 (en) 2013-03-14 2015-12-15 Cirrus Logic, Inc. Reducing an acoustic intensity vector with adaptive noise cancellation with two error microphones
US9414150B2 (en) 2013-03-14 2016-08-09 Cirrus Logic, Inc. Low-latency multi-driver adaptive noise canceling (ANC) system for a personal audio device
US9467776B2 (en) 2013-03-15 2016-10-11 Cirrus Logic, Inc. Monitoring of speaker impedance to detect pressure applied between mobile device and ear
US9208771B2 (en) 2013-03-15 2015-12-08 Cirrus Logic, Inc. Ambient noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9635480B2 (en) 2013-03-15 2017-04-25 Cirrus Logic, Inc. Speaker impedance monitoring
US9502020B1 (en) 2013-03-15 2016-11-22 Cirrus Logic, Inc. Robust adaptive noise canceling (ANC) in a personal audio device
US10206032B2 (en) 2013-04-10 2019-02-12 Cirrus Logic, Inc. Systems and methods for multi-mode adaptive noise cancellation for audio headsets
US9462376B2 (en) 2013-04-16 2016-10-04 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9460701B2 (en) 2013-04-17 2016-10-04 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by biasing anti-noise level
US9478210B2 (en) 2013-04-17 2016-10-25 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9578432B1 (en) 2013-04-24 2017-02-21 Cirrus Logic, Inc. Metric and tool to evaluate secondary path design in adaptive noise cancellation systems
US9264808B2 (en) 2013-06-14 2016-02-16 Cirrus Logic, Inc. Systems and methods for detection and cancellation of narrow-band noise
US9392364B1 (en) 2013-08-15 2016-07-12 Cirrus Logic, Inc. Virtual microphone for adaptive noise cancellation in personal audio devices
US9666176B2 (en) 2013-09-13 2017-05-30 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by adaptively shaping internal white noise to train a secondary path
US9620101B1 (en) 2013-10-08 2017-04-11 Cirrus Logic, Inc. Systems and methods for maintaining playback fidelity in an audio system with adaptive noise cancellation
US10382864B2 (en) 2013-12-10 2019-08-13 Cirrus Logic, Inc. Systems and methods for providing adaptive playback equalization in an audio device
US9704472B2 (en) 2013-12-10 2017-07-11 Cirrus Logic, Inc. Systems and methods for sharing secondary path information between audio channels in an adaptive noise cancellation system
US10219071B2 (en) 2013-12-10 2019-02-26 Cirrus Logic, Inc. Systems and methods for bandlimiting anti-noise in personal audio devices having adaptive noise cancellation
US9369557B2 (en) 2014-03-05 2016-06-14 Cirrus Logic, Inc. Frequency-dependent sidetone calibration
US9484043B1 (en) * 2014-03-05 2016-11-01 QoSound, Inc. Noise suppressor
US9479860B2 (en) 2014-03-07 2016-10-25 Cirrus Logic, Inc. Systems and methods for enhancing performance of audio transducer based on detection of transducer status
US9648410B1 (en) 2014-03-12 2017-05-09 Cirrus Logic, Inc. Control of audio output of headphone earbuds based on the environment around the headphone earbuds
TWI554117B (zh) * 2014-03-27 2016-10-11 元鼎音訊股份有限公司 語音輸出之方法及耳機
US9319784B2 (en) 2014-04-14 2016-04-19 Cirrus Logic, Inc. Frequency-shaped noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9609416B2 (en) 2014-06-09 2017-03-28 Cirrus Logic, Inc. Headphone responsive to optical signaling
US10181315B2 (en) 2014-06-13 2019-01-15 Cirrus Logic, Inc. Systems and methods for selectively enabling and disabling adaptation of an adaptive noise cancellation system
US9478212B1 (en) 2014-09-03 2016-10-25 Cirrus Logic, Inc. Systems and methods for use of adaptive secondary path estimate to control equalization in an audio device
US9552805B2 (en) 2014-12-19 2017-01-24 Cirrus Logic, Inc. Systems and methods for performance and stability control for feedback adaptive noise cancellation
KR20180044324A (ko) 2015-08-20 2018-05-02 시러스 로직 인터내셔널 세미컨덕터 리미티드 피드백 적응적 잡음 소거(anc) 제어기 및 고정 응답 필터에 의해 부분적으로 제공되는 피드백 응답을 갖는 방법
US9578415B1 (en) 2015-08-21 2017-02-21 Cirrus Logic, Inc. Hybrid adaptive noise cancellation system with filtered error microphone signal
US10369567B2 (en) * 2015-11-04 2019-08-06 International Business Machines Corporation Continuous, capacitance-based monitoring of liquid flows in a microfluidic device
US10013966B2 (en) 2016-03-15 2018-07-03 Cirrus Logic, Inc. Systems and methods for adaptive active noise cancellation for multiple-driver personal audio device
EP3535755A4 (en) * 2017-02-01 2020-08-05 Hewlett-Packard Development Company, L.P. ADAPTIVE SPEECH INTELLIGIBILITY CONTROL FOR VOICE DATA PROTECTION
WO2018164304A1 (ko) * 2017-03-10 2018-09-13 삼성전자 주식회사 잡음 환경의 통화 품질을 개선하는 방법 및 장치
US10553235B2 (en) 2017-08-28 2020-02-04 Apple Inc. Transparent near-end user control over far-end speech enhancement processing
US11140264B1 (en) * 2020-03-10 2021-10-05 Sorenson Ip Holdings, Llc Hearing accommodation
US20230412727A1 (en) * 2022-06-20 2023-12-21 Motorola Mobility Llc Adjusting Transmit Audio at Near-end Device Based on Background Noise at Far-end Device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212468A (ja) * 1993-12-29 1995-08-11 At & T Corp 電話通信網における暗騒音の補正
JPH10336305A (ja) * 1997-05-30 1998-12-18 Saitama Nippon Denki Kk 携帯電話装置
JPH11196174A (ja) * 1997-12-25 1999-07-21 Matsushita Electric Ind Co Ltd 音声信号送受話装置及び受話音量制御方法
JP2001111682A (ja) * 1999-10-04 2001-04-20 Toshiba Corp エコーキャンセラ付き音声通信端末装置
JP2002299975A (ja) * 2001-04-02 2002-10-11 Matsushita Electric Ind Co Ltd デジタルagc装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5357567A (en) * 1992-08-14 1994-10-18 Motorola, Inc. Method and apparatus for volume switched gain control
JP2845130B2 (ja) * 1994-05-13 1999-01-13 日本電気株式会社 通信装置
US5612996A (en) * 1995-09-21 1997-03-18 Rockwell International Corporation Loop gain processing system for speakerphone applications
US20030091180A1 (en) 1998-12-23 2003-05-15 Patrik Sorqvist Adaptive signal gain controller, system, and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212468A (ja) * 1993-12-29 1995-08-11 At & T Corp 電話通信網における暗騒音の補正
JPH10336305A (ja) * 1997-05-30 1998-12-18 Saitama Nippon Denki Kk 携帯電話装置
JPH11196174A (ja) * 1997-12-25 1999-07-21 Matsushita Electric Ind Co Ltd 音声信号送受話装置及び受話音量制御方法
JP2001111682A (ja) * 1999-10-04 2001-04-20 Toshiba Corp エコーキャンセラ付き音声通信端末装置
JP2002299975A (ja) * 2001-04-02 2002-10-11 Matsushita Electric Ind Co Ltd デジタルagc装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246870A (ja) * 2008-03-31 2009-10-22 Fujitsu Ltd 通信端末、通信端末の音声出力調整方法
JP2011023959A (ja) * 2009-07-15 2011-02-03 Alpine Electronics Inc 音声明瞭度改善システムおよび音声明瞭度改善方法
JP2020202448A (ja) * 2019-06-07 2020-12-17 ヤマハ株式会社 音響装置および音響処理方法
CN112130801A (zh) * 2019-06-07 2020-12-25 雅马哈株式会社 音响装置及音响处理方法

Also Published As

Publication number Publication date
US7092514B2 (en) 2006-08-15
EP1599992A1 (en) 2005-11-30
US20050004796A1 (en) 2005-01-06
WO2004077806A1 (en) 2004-09-10
DE602004025089D1 (de) 2010-03-04
JP4699988B2 (ja) 2011-06-15
EP1599992B1 (en) 2010-01-13
ATE455431T1 (de) 2010-01-15
HK1086412A1 (en) 2006-09-15

Similar Documents

Publication Publication Date Title
JP4699988B2 (ja) 可聴性の改善
US6768795B2 (en) Side-tone control within a telecommunication instrument
JP5525508B2 (ja) 周囲ノイズ検出を使用する明瞭度コントロール
US7881927B1 (en) Adaptive sidetone and adaptive voice activity detect (VAD) threshold for speech processing
US6570985B1 (en) Echo canceler adaptive filter optimization
EP2577651B1 (en) Active noise cancellation decisions in a portable audio device
JP4282260B2 (ja) エコーキャンセラ
US8374851B2 (en) Voice activity detector and method
US6223154B1 (en) Using vocoded parameters in a staggered average to provide speakerphone operation based on enhanced speech activity thresholds
US8363820B1 (en) Headset with whisper mode feature
JP4204754B2 (ja) 通信システムにおける適応信号利得制御のための方法及び装置
KR20010033993A (ko) 통신 시스템에서 개선된 에코 억제 방법 및 장치
EP1554865B1 (en) Integrated noise cancellation and residual echo supression
US10320967B2 (en) Signal processing device, non-transitory computer-readable storage medium, signal processing method, and telephone apparatus
JP2606171B2 (ja) 受話音量自動可変回路
KR19980086461A (ko) 핸드 프리 전화기
US7092513B1 (en) Limiting maximum gain in duplex communications devices including telephone sets
KR101715198B1 (ko) 가변 전력 예산을 이용한 음성 강화 방법
US8559619B2 (en) Methods and devices for reducing sidetone noise levels
EP0665671B1 (en) Apparatus and method for echo attenuation
US7065207B2 (en) Controlling attenuation during echo suppression
JP5288500B2 (ja) ハンズフリー電話装置、ハンズフリー通話方法及びハンズフリー通話プログラム
JP4380688B2 (ja) 通話装置
KR101060493B1 (ko) 송신신호 레벨 컨트롤러 및 그 컨트롤러를 이용한 음량 자동조절 송수신 장치와 방법
JPH09181817A (ja) 携帯電話機

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110303

R150 Certificate of patent or registration of utility model

Ref document number: 4699988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250