JP2011526114A - オーディオ処理 - Google Patents

オーディオ処理 Download PDF

Info

Publication number
JP2011526114A
JP2011526114A JP2011515683A JP2011515683A JP2011526114A JP 2011526114 A JP2011526114 A JP 2011526114A JP 2011515683 A JP2011515683 A JP 2011515683A JP 2011515683 A JP2011515683 A JP 2011515683A JP 2011526114 A JP2011526114 A JP 2011526114A
Authority
JP
Japan
Prior art keywords
audio signal
processing apparatus
input
audio
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011515683A
Other languages
English (en)
Other versions
JP5331201B2 (ja
Inventor
スリニヴァサン,スリラム
アー セー エム ローフェルス,ダーフィット
ペー ヤンセ,コルネリス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2011526114A publication Critical patent/JP2011526114A/ja
Application granted granted Critical
Publication of JP5331201B2 publication Critical patent/JP5331201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

オーディオ処理装置(200)であって、入力オーディオ信号を発生する複数の音源(101,102)と、入力オーディオ信号から処理済みオーディオ信号を求める処理回路(110)と、処理済みオーディオ信号から合成オーディオ信号を求める合成回路(120)と、合成オーディオ信号のパワー指標を最大化するために処理回路を制御し、処理済みオーディオ信号のゲインの関数を所定値に制限する制御回路とを有するオーディオ処理装置である。本発明では、オーディオ処理装置(200)は、入力オーディオ信号から前処理済みオーディオ信号を求め、入力オーディオ信号に含まれる干渉の相互相関を最小化する前処理回路(140)を有する。入力オーディオ信号ではなく、前処理済み信号を処理回路(110)に入力する。

Description

本発明はオーディオ処理装置に関し、該オーディオ処理装置は、入力オーディオ信号を発生する複数の音源と、入力オーディオ信号から処理済みオーディオ信号を求める処理回路と、処理済みオーディオ信号から合成オーディオ信号を求める合成回路と、合成オーディオ信号のパワー指標を最大化するために処理回路を制御し、処理済みオーディオ信号のゲインの関数を所定値に制限する制御回路とを有する。また、本発明はオーディオ処理方法に関する。
電気通信やコンテンツ配信など多くの分野において、オーディオ信号の高度処理がますます重要になりつつある。例えば、テレビ会議などの一部のアプリケーションでは、複数のマイクロホンからの入力を複雑に処理して、そのマイクロホンよりなるマイクロホンアレイの感度に設定可能な指向性をもたせている。具体的に、マイクロホンアレイからの信号を処理することにより、指向性を有するオーディオビームを発生できる。その指向性は、個々のマイクロホン信号の組み合わせの特徴を変更することにより、変更できる。
一般的に、ビーム成形システムは、干渉(interferers)が最大限減衰するように、制御される。例えば、ビーム成形システムを、主な干渉源から受ける信号の方向における減衰が最大になるように、制御できる。
多くの実施形態において特に有利な性能を有するビーム成形システムは、特許文献1に開示されているフィルタード・サム・ビームフォーマ(FSB)である。
他の多くのビーム成形システムと対照的に、FSBシステムは、干渉源に対する減衰を最大化するのではなく、所望の信号に対するマイクロホンアレイの感度を最大化するものである。FSBシステムの一例を図1に示す。
FSBシステムは、直接音と1次反射とを含む、マイクロホンアレイに対する所望の音源からの音響インパルス応答の特徴を識別しようとするものである。FSBは、フォワードマッチングフィルタにおいて受信信号をフィルタし、フィルタ済み出力を加えることにより、マイクロホン信号の所望の部分をコヒーレントに加えることにより、エンハンスト出力信号zを生成する。また、(時間ドメインの逆インパルスレスポンスに対応する、周波数ドメインにおける)フォワードフィルタに対して複素共役のフィルタレスポンスを有するバックワードアダプティブフィルタで出力信号をフィルタする。エラー信号を、バックワードアダプティブフィルタの入力信号と出力との差として生成し、フィルタの係数は、エラー信号を最小化するように適合し、その結果、オーディオビームを主要(dominant)信号の方向に向ける。生成したエラー信号は、ノイズ参照信号と考えられ、エンハンスした出力信号zに追加的ノイズリダクションを実行するのに特に好適である。
オーディオ信号処理の特に重要な分野は補聴器の分野である。近年、補聴器は、ますます複雑なオーディオ処理アルゴリズムを用いて、ユーザ体験を改善しユーザを支援している。例えば、オーディオ処理アルゴリズムを用いて、所望の音源と干渉音源との間の信号対ノイズ比を改善し、よりクリアで聞きやすい信号をユーザに提供している。特に、複数のマイクロホンを含み、そのマイクロホンのオーディオ信号を動的に組み合わせてマイクロホン構成に指向性を持たせる補聴器が開発されている。他の例として、ノイズキャンセリングシステムを適用して、望ましくない音源と背景ノイズとにより生じる干渉を低減することができる。
FSBシステムは、(干渉信号の減衰をするのではなく)所望の信号に向けて効率的なビーム成形をできるので、補聴器などのアプリケーションにとって有利であると期待されている。これは、所望の信号の知覚を容易にして支援する信号をユーザに提供する補聴器アプリケーションに特に有利であることが分かっている。また、FSBシステムは、生成した信号のノイズリダクション/補償に特に好適なノイズ参照信号を提供する。
しかし、FSBシステムには、補聴器などのアプリケーションに用いたときに、いくつかの欠点があることも分かっている。とくに、マイクロホンアレイの複数のマイクロホン間の距離が短いので、FSBシステムの性能が劣化することが分かっている。例えば、間隔が15mmの2つの無指向性マイクロホンを有するエンドファイヤアレイ構成の典型的な補聴器では、FSBは最適な性能を発揮できないことが分かっている。確かに、多くのシナリオにおいて、FSBシステムは、所望の信号の方向に収束できないことが分かっている。
そのため、オーディオビーム成形の改良が望まれ、特にマイクロホン間の距離が短い補聴器のビーム形成に好適な改良が望まれる。
国際公開WO99/27522
本発明の一目的は、マイクロホンアレイの、距離が近い複数のマイクロホンに好適なように、オーディオ処理装置を改良することである。本発明は独立請求項に記載されている。従属請求項は有利な実施形態を記載している。
この目的は、本発明により、上記のオーディオ処理装置であって、入力オーディオ信号から前処理済みオーディオ信号を求める前処理回路を有することを特徴とするオーディオ処理装置により達成される。入力オーディオ信号ではなく、前処理済み信号が、処理回路に入力される。前処理回路は、入力オーディオ信号に含まれる干渉の相互相関を最小化するように構成されている。
一実施形態では、前処理回路は、入力オーディオ信号に含まれる干渉が他の入力オーディオ信号に含まれる干渉と相関している場合に、出力信号中の所望の信号のパワーのみを最大化する。前処理回路がなく、処理回路と制御回路が例えば合成オーディオ信号中の所望の出力パワーを最大化するように構成されたアダプティブフィルタ係数を用いると、オーディオ信号中の干渉が相関している場合、処理回路と制御回路に含まれるアダプティブフィルタのエラー信号は、そのアダプティブフィルタの入力と相関した干渉を含む。その結果、アダプティブフィルタ係数は最適ソリューションから発散してしまう。ここで、発散とは、合成信号の出力パワーを最大化しても、所望の信号の出力パワーを最大化することにはならないことを意味する。
一実施形態では、前処理回路で行う前処理により、合成オーディオ信号中の所望の出力パワーを最大化するように構成された処理回路と制御回路が用いるアダプティブフィルタ係数を用いると、エラー信号中の干渉成分とアダプティブフィルタの入力との間の相関が最小になる。
このように、オーディオ処理装置は、干渉が相関しているマイクロホンアレイに適用すると、ロバストな性能を発揮する。かかる状況の一例は、残響状態におけるエンドファイヤ構成の小型マイクロホンアレイである。
一実施形態では、前処理回路は、入力オーディオ信号にレギュレーション行列の逆行列をかける乗算回路により、干渉の相互相関を最小化する。レギュレーション行列は相関行列の関数であり、相関行列のエントリーは、音源に含まれる複数の干渉のペアの間の相関指標である。
例えば、処理回路と制御回路にそれぞれ含まれるアダプティブフィルタの、アダプティブフィルタが所望のスピーチ信号に収束する状況からの逸脱は、オーディオ信号中の干渉の相関により生じ、特に、アダプティブフィルタのエラー信号とアダプティブフィルタの入力との干渉により生じる。ここで、所望の信号への収束は、アダプティブフィルタ係数が合成オーディオ信号中の所望の出力パワーを最大化するように構成されている。入力オーディオ信号にレギュレーション行列の逆行列をかけることにより、確実にエラー信号中の干渉とアダプティブフィルタの入力との間の相関が最小になる。
別の一実施形態では、レギュレーション行列は相関行列である。相関行列のエントリーはスカラーかフィルタであり得る。エントリーがスカラーのとき、問題を時間ドメインで処理すると有利である。エントリーがフィルタのとき、問題を周波数ドメインで処理すると有利である。周波数ドメインでは、各周波数成分ωに対して、相関行列F(ω)のエントリーはスカラーであり、各周波数成分に対してスカラーの場合を適用できる。
別の一実施形態では、レギュレーション行列は次式により与えられる:
Figure 2011526114
ここで、Γreg(ω)はレギュレーション行列であり、Γ(ω)は相関行列であり、ηは所定のパラメータであり、Iは単位行列であり、ωはラジアル周波数である。
上記のようにレギュレーション行列を選択すると、オーディオ処理装置の動作が、例えばマイクロホン自己ノイズなどの無相関ノイズからの影響を受けにくくなる点で有利である。
別の一実施形態では、パラメータηは次式で与えられる:
Figure 2011526114
ここで、σ は入力オーディオ信号中の相関している干渉(音響ノイズ、及び/または所望のスピーチ信号の残響)の分散であり、σ は相関していないオーディオ信号に含まれる電子的ノイズ(ホワイトノイズ、例えばマイクロホン自己ノイズ)の分散である。
Γreg(ω)は、相関している干渉と無相関の電子的干渉とを含む合成干渉信号のデータ相関行列と等化である。パラメータηをこのように定義すると、レギュレーション行列のエントリーは干渉間の実際の相関をより正確に反映する。
別の一実施形態では、パラメータηは所定の定数値である。ηを所定の定数値とするので、σ とσ とを測定する必要はなく、ηには平均値を使えばよいので、相関が小さくなる。本実施形態の利点は、レギュレーション行列のエントリーの決定が非常に簡単だということである。パラメータηは、ノイズを発散するロバスト性とマイクロホンの自己ノイズとの間のトレードオフを制御する設計パラメータとして取り扱われる。パラメータηの典型値は0.99である。
別の一実施形態では、レギュレーション行列の(p,q)エントリは次式により与えられる:
Figure 2011526114
(ω)は入力オーディオ信号pの干渉であり、V(ω)は入力オーディオ信号qの干渉であり、ωはラジアル周波数であり、Eは期待値演算子である。上記の実施形態の利点は、レギュレーション行列のエントリーが非常に正確だということである。
別の一実施形態では、相関行列の(p,q)エントリは次式により与えられる:
Figure 2011526114
pqはマイクロホンpとqとの間の距離であり、cは空気中における音速であり、ωはラジアル周波数である。Γ行列は、(完全な)拡散音場に属するデータ相関行列である。拡散音場は拡散ノイズ場、または所望のスピーチの残響による場のいずれかであり得る。特に、後者の場合、データ相関行列の測定は困難である。残響は所望の(直接)スピーチに結びついており、非スピーチ動作のときには生じないからである。上記の式により、拡散ノイズ場におけるコヒーレント関数をよく推定できる。
別の一実施形態では、処理回路は、前処理済みオーディオ信号から処理済みオーディオ信号を求める複数の調整可能フィルタを有し、制御回路は、伝達関数が調整可能フィルタの伝達関数の複素共役である複数の別の調整可能フィルタを有する。別の調整可能フィルタは合成オーディオ信号からフィルタ済み合成オーディオ信号を求める。制御回路は、入力オーディオ信号と、その入力オーディオ信号に対応するフィルタ済み合成オーディオ信号との間の差異指標(difference measure)を最小化するために、調整可能フィルタの伝達関数と、別の調整可能フィルタの伝達関数とを制御することにより、処理済みオーディオ信号のゲインの関数を所定値に制限する。
調整可能フィルタを処理回路として使うことにより、スピーチ信号の音質をさらに向上できる。入力オーディオ信号と、対応するフィルタ済み合成オーディオ信号との間の差異指標を最小化することにより、周波数成分ごとに、調整可能フィルタのゲインの関数が所定の定数であるとの制約下において、合成オーディオ信号のパワー指標を最大化できる。または、言い換えると、制御回路は、出力中の干渉のパワーが一定になるように、ゲインの関数を黙示的に制限する。出力パワーを最大化すると、出力信号中の所望の信号のパワーが最大化され、出力信号の信号対ノイズ比が向上する。
調整可能フィルタを用いることにより、遅延合計ビーム成形器で用いられるような調整可能遅延要素が必要なくなる。
別の一実施形態では、オーディオ処理装置は、入力オーディオ信号中にある共通オーディオ信号の遅延差を補償する固定遅延要素を有する。音源からのオーディオ信号は、その音源に異なる時間に到達するかも知れないので、これらの音源により発せられる入力オーディオ信号間には遅延が生じる。これらの差は遅延要素により補償される。
本発明の他の一態様は、オーディオ処理方法である。言うまでもなく、上記の構成、利点、コメントは本発明のこの態様にも等しく適用可能である。
本発明により、オーディオ信号処理装置と、本発明によるオーディオ信号処理装置を有する補聴器とが提供される。
本発明の上記その他の態様、特徴、及び利点を、以下に説明する実施形態を参照して明らかにして説明する。
ビーム成形機能を有する従来のオーディオ処理装置を示す図である。 本発明の実施形態によるオーディオ処理装置の一例を示す図である。 本発明の実施形態による、処理回路と、複数の調整可能フィルタを有する制御回路とを有するオーディオ処理装置の一例を示す図である。 本発明の実施形態による、遅延要素を有するオーディオ処理装置の一例を示す図である。 全ての図面で、同じ参照数字は同じかまたは対応する機能を示す。図面に示した構成要素の一部は、典型的にはソフトウェアで実施され、ソフトウェアモジュールやオブジェクトなどのソフトウェアエンティティを表す。
以下の説明では、補聴器、特に2つの音源を有する補聴器に適用可能な、本発明の実施形態に焦点を絞る。音源は例えばマイクロホンである。マイクロホンは好ましくは無指向性のものである。しかし、言うまでもなく、本発明はこのアプリケーションに限定されず、他の多数のオーディオアプリケーションに適用してもよい。特に、言うまでもなく、説明した原理は、2つ以上の音源に基づく実施形態に容易に拡張できる。
図1は、国際公開第99/27522号で開示されたような、ビーム成形機能を有する従来のオーディオ処理装置を示す図である。オーディオ処理装置は、例えば補聴器のユーザが話している話者である所望の音源の方向に、オーディオビームを合わせる。本実施例では、補聴器は図1に示したオーディオ処理装置100を有する。オーディオ処理装置100により用いられるFSBは、無相関のノイズがあったとしても、スピーチなどの所望の音源のパワーを最大化する。
第1の音源101(ここでは、マイクロホン101)の出力は、オーディオ処理装置100の第1の入力に接続され、第2の音源102(ここでは、マイクロホン102)の出力は、オーディオ処理装置100の第2の入力に接続されている。
第1の入力オーディオ信号x1と第2の入力オーディオ信号x2:
Figure 2011526114
は、音源101と102とによりそれぞれ発生され、オーディオ処理装置により処理され、オーディオビームフォーム103となる。ここで、sはスピーチなどの所望の音源である。aは伝達ファクタ(transfer factor)と呼ばれ、定数である。nとnは無相関ノイズ干渉である。さらに、次式を仮定する:
Figure 2011526114
これは、nとnとが互いに無相関であり、分散が1であり、所望の音源とは無相関であることを意味する。
処理回路110は、第1のスケーリング回路111と第2のスケーリング回路112を有する。各スケーリング回路は、その入力オーディオ信号を所定のスケーリングファクタでスケーリングする。第1のスケーリング回路はスケーリングファクタfを用いており、第2のスケーリング回路はスケーリングファクタfを用いている。第1のスケーリング回路は第1の処理済みオーディオ信号を生成する。第2のスケーリング回路は第2の処理済みオーディオ信号を生成する。
第1と第2の処理済み信号は、合成回路120で加算され、合成(指向性)オーディオ信号103が生成される:
Figure 2011526114
具体的に、第1と第2のスケーリング回路111、112のスケーリングファクタを修正することにより、オーディオビームの方向を所望の方向に向けることができる。
スケーリングファクタは、合成オーディオ信号全体のパワー推定が最大になるように、更新される。さらに、スケーリング回路111、112の合計エネルギーが一定になるような制約の下で、スケーリングファクタを適合する。
上記の結果、合成信号が無相関ノイズを含んでいても、合成オーディオ信号の所望の音源成分のパワー指標が最大になるように、スケーリングファクタが更新される。
本実施例では、回路111、112のスケーリングファクタは直接は更新されない。オーディオ処理装置100は、処理回路110が用いるスケーリングファクタの値を決定する制御回路130を有する。制御回路は、合成オーディオ信号をスケーリングして、第3の処理済みオーディオ信号と第4の処理済みオーディオ信号をそれぞれ生成する、別のスケーリング回路131、132を有する。
第3の処理済みオーディオ信号は第1の減算回路133に入力される。第1の減算回路133は、第3の処理済みオーディオ信号と第1の入力オーディオ信号Xとの間の第1の残差信号を生成する。第4の処理済みオーディオ信号は第2の減算回路134に入力される。第2の減算回路は、第4の処理済みオーディオ信号と第2の入力オーディオ信号Xとの間の第2の残差信号を生成する。
本装置では、別のスケーリング回路131、132のスケーリングファクタは、所望の音源からの主要信号があれば、残差信号のパワーを小さくし、最小にするように、制御要素135、136により、適合される。以下、制御回路の動作をさらに詳細に説明する。
合成オーディオ信号103のパワーは次式の通りである:
Figure 2011526114
制約
Figure 2011526114
の下でPを最大化するとき、P中のノイズパワーは一定であり、Pの信号対ノイズ比は最大になる。スケーリングファクタはラグランジュの乗数法を用いて理論的に計算でき、その結果次式が得られる:
Figure 2011526114
しかし、実際には、スケーリングファクタは、好ましくは最小二乗法を用いて求め、制御要素135、136で行われる。このようなラグランジュの乗数法は理論計算で用いられる。
とfをそれぞれ
Figure 2011526114
とした場合、スケーリングファクタは、回路111,131、及び112、132のオーディオ処理装置100に適用される。言い換えると、スケーリング回路111で用いられるスケーリングファクタは、別のスケーリング回路131で用いられるものと同じである。
Figure 2011526114
の場合、第1のスケーリング回路111の場合、その残差信号には所望の音声信号は残ってなく、残差信号と第1のスケーリング回路111の入力との間の相互相関はゼロであることを示すことができる。
制御回路130に入力される合成オーディオ信号は次式で表される:
Figure 2011526114
第1の残差信号77は次式で表せる:
Figure 2011526114
Figure 2011526114
及び
Figure 2011526114
の場合、上記の第1の残差信号は次式となる:
Figure 2011526114
yとrとの間の相互相関は:
Figure 2011526114
平衡状態では、参照信号には所望の音声信号はなく、ノイズによるE{y r}はゼロである。
制御要素135、136は、次式により更新するのが好ましい:
Figure 2011526114
及び、
Figure 2011526114
ここで、kは時間インデックス、rは第2の残差信号、μは適合定数である。
Figure 2011526114
の場合、ノイズによるE{y r}がゼロなので、fは平衡状態である。fについても同様である。
上記は、それぞれ伝達ファクタa(1<i<N)を有するN個の入力オーディオ信号に対して容易に生成できる。処理回路110に含まれ、それぞれ入力オーディオ信号iに対応するN個のスケーリング回路に対して、各スケーリング回路のスケーリングファクタは次式であらわせる:
Figure 2011526114
空間的に接近したマイクロホンを用いて、その結果として残響ノイズなどの相関ノイズが大きく、説明したオーディオ処理装置100の性能は、相関ノイズがあると大幅に低下し、多くのアプリケーションには適さないことに、発明者は気づいた。特に、発明者は、相関ノイズがあると、アルゴリズムが、最適でないビーム成形/方向に対応する、最適でないスケーリングファクタに収束する、または収束しないことに気づいた。このように、発明者が気づいたように、所望の信号成分と、無相関ノイズ成分と、相関ノイズ成分とを含む入力信号の場合、無相関ノイズ成分は、生成されるフィルタ係数推定の分散を大きくするだけで、推定にバイアスはかからない、一方、相関ノイズは、フィルタ係数の正しい値から離れるように適合にバイアスをかけてしまう。特に、残響室における小さなマイクロホンアレイの場合、残響はビーム成形部100が正しいソリューションに収束するのを完全に妨げることが分かった。これは、特に、残響レベルが早期反射を含む直接音と同じかそれより大きい場合、すなわち、音源とマイクロホンとの間の距離が残響半径より大きい場合に言える。もちろん、かかるソリューションは、典型的には、マイクロホンの間の距離が近く、所望の音源(例えば話者)への距離が非常に大きい、補聴器アプリケーションの場合である。
図2は、本発明の一実施形態によるオーディオ処理装置200の一例を示す図である。オーディオ処理装置200は、オーディオ処理装置100を前処理回路140で拡張したものである。前処理回路140は、入力オーディオ信号から前処理済みオーディオ信号を求める。入力オーディオ信号ではなく、前処理済み信号が、処理回路に入力される。前処理回路140は、入力オーディオ信号に含まれる干渉の相互相関を最小化するように構成されている。
前処理回路140を、例を用いて説明する。nとnとの間の相互相関はゼロではない。
Figure 2011526114
合成オーディオ信号103のパワーは次式の通りである:
Figure 2011526114
Figure 2011526114
Figure 2011526114
のときに最大になる。これはa=1のとき以外には正しいソリューションではない。
制御回路130では、数式
Figure 2011526114
が最適化され、
Figure 2011526114
の場合に、残差rについて問題が生じる。期待値E{y r}は
Figure 2011526114
となる。
このように、≠1のときに、E{y r}はゼロではない。結果として、制御要素135で用いられるスケーリングファクタの更新ルールのため、
Figure 2011526114
は平衡ではなく、fは異なる(望ましくない)ソリューションに収束する。
前処理回路140でやるように、干渉の相互相関の影響を除去することが望ましい。上記の例のデータ相関行列は次式で定義される:
Figure 2011526114
その逆行列は、
Figure 2011526114
前処理回路140の出力における前処理済み信号は次式で与えられる:
Figure 2011526114
合成回路120の出力における合成信号は次式で与えられる:
Figure 2011526114
yのパワーは次式の通りである:
Figure 2011526114
信号対ノイズ比を最適化するため、Pへのノイズの貢献をfとfとは独立にする制約を課す、すなわち:
Figure 2011526114
これを等化な行列表現で表すと、次の通りである:
Figure 2011526114
ラグランジュの乗数法を適用すると、fとfの値は次の通りとなる:
Figure 2011526114
上記の制約は、図2に示した構成に実装されている。スケーリング回路111、112と、別のスケーリング回路131、132とが最適であれば、参照信号には所望の音源はなく、残差信号中のノイズ成分と、別のスケーリング回路の入力との間の相互相関はゼロになる。
y中の所望の音源成分は:
Figure 2011526114
であり、r中では:
Figure 2011526114
同様に、y中のノイズ成分について、
Figure 2011526114
また、rでは、
Figure 2011526114
とrの相関をとり、求めたfとfを代入すると:
Figure 2011526114
平衡状態では、前処理回路140で実行する前処理により、相互干渉の影響が除去される。
一実施形態では、前処理回路140は、入力オーディオ信号にレギュレーション行列の逆行列をかける乗算回路により、干渉の相互相関を最小化する。レギュレーション行列は相関行列の関数である。相関行列のエントリは複数の音源のペア間の相関指標である。
レギュレーション行列は、入力オーディオ信号に含まれる干渉の相互相関を最小化するものであるかぎり、さまざまな選択ができる。
好ましくは、レギュレーション行列は次式により与えられる:
Figure 2011526114
(ω)は入力オーディオ信号pの干渉であり、V(ω)は入力オーディオ信号qの干渉であり、ωはラジアル周波数であり、Eは期待値演算子である、レギュレーション行列を上記のように算出できる例は、干渉がノイズ源からのものであり、所望の音源がアクティブでないときに上記の行列を推定できる場合である。期待値はデータサンプルを平均することにより計算する。
しかし、レギュレーション行列を算出する上記のアプローチは、干渉が残響の場合、残響は所望の音源がアクティブなときにのみ存在し、測定できないので、可能ではない。この場合、相関行列のモデルを用いることが可能である。
別の一実施形態では、レギュレーション行列は相関行列である。
別の一実施形態では、相関行列の(p,q)エントリは、拡散ノイズのモデルに基づき、次式で与えられる:
Figure 2011526114
pqはマイクロホンpとqとの間の距離であり、cは空気中における音速であり、ωはラジアル周波数である。
レギュレーション行列は、相関行列であるとき、相関している干渉を無相関にできるが、その前の無相関ノイズ(例えば,ホワイトノイズやセンサノイズ)は相関してしまう。このようにトレードオフの関係がある:相関している干渉は無相関にできるが、代償として、その前の無相関ノイズ間に相関を生じさせてしまう。別の一実施形態では、上記のトレードオフは、レギュレーション行列を次の通り選択することにより、制御できる:
Figure 2011526114
ここで、Γreg(ω)はレギュレーション行列であり、Γ(ω)は相関行列であり、ηは所定のパラメータであり、Iは単位行列である。
上記のトレードオフをより正確に制御する方法は、相関ノイズと無相関ノイズの相対的なパワーに基づき、ηを調節することである。
別の一実施形態では、パラメータηは次式で与えられる:
Figure 2011526114
ここで、σ は入力オーディオ信号の干渉の分散であり、σ は入力オーディオ信号に含まれる相関していない電子的ノイズの分散である。
別の一実施形態では、パラメータηは所定の定数値である。ηは好ましくは0.98または0.99である。
電子的ノイズσ のパワーは一定であり、測定可能であることが多い。所望の音源がアクティブでないとき、
Figure 2011526114
も測定できる。これらの量が分かれば、パラメータηを算出できる。
図3は、本発明の一実施形態によるオーディオ処理装置200の一例を示す図である。処理回路140は、前処理済みオーディオ信号から処理済みオーディオ信号を求める複数の調整可能フィルタ113、114を有する。制御回路130は、伝達関数が調整可能フィルタの伝達関数の複素共役である複数の調整可能フィルタ137、138を有する。調整可能フィルタ137、138は、合成オーディオ信号からフィルタ済み合成オーディオ信号を求めるよう構成されている。制御回路130は、入力オーディオ信号と、その入力オーディオ信号に対応するフィルタ済み合成オーディオ信号との間の差異指標(difference measure)を最小化するために、調整可能フィルタの伝達関数と、別の調整可能フィルタの伝達関数とを制御することにより、処理済みオーディオ信号のゲインの関数を所定値に制限するように構成されている。
さらに、オーディオ処理装置200は、一定遅延要素151、152を有する。第1の音源101の出力は第1の遅延要素151の入力に接続されている。第1の遅延要素151の出力は減算回路133の第1の入力に接続されている。第2の音源102の出力は第2の遅延要素152の入力に接続されている。第2の遅延回路152の出力は第2の減算回路134に接続されている。遅延要素151、152は、調整可能フィルタのインパルス応答を、別の調整可能フィルタのインパルス応答に対して、比較的非因果的(anti-causal)(時間的に早く)する。
前に検討した例のようなスカラーの(ゲイン)ファクタではなく、調整可能フィルタがある場合、問題を周波数ドメインで見ると有利である。前に検討した例と同様に、周波数ドメインでは、第1の入力オーディオ信号x(ω)と第2の入力オーディオ信号x(ω)は、次式で表せる:
Figure 2011526114
上記のシステムは、各周波数成分(ω)のスカラーの場合として取り扱え、対応するゲインファクタf(ω)とf(ω)は前の例のように求めることができる。f(ω)とf(ω)は調整可能フィルタの伝達関数に相当する。
図4は、遅延要素141、142を有する、本発明の一実施形態によるオーディオ処理装置200の一例を示す図である。遅延要素は、入力オーディオ信号中にある共通オーディオ信号の遅延差を補償する。所望の(物理的)音源からのオーディオ信号は、音源101、102に異なる時間に到着するかも知れないので、これらの音源により発せられる入力オーディオ信号間には遅延が生じる。これらの差は遅延要素141、142により補償される。図4に示したオーディオ処理装置200は、パス遅延を補償する遅延要素の遅延値が最適値に調整されるまでの間であっても、性能が改善される。
実施形態に関して本発明を説明したが、ここに記載した具体的な形態に限定することを意図したものではない。むしろ、本発明の範囲は添付した請求の範囲のみにより限定される。また、具体的な実施形態に関して構成を説明したように見えるかも知れないが、当業者には言うまでもなく、説明した実施形態の様々な構成を、本発明により、組み合わせることができる。請求項では、「有する」という用語は他の要素やステップの存在を排除するものではない。
さらに、個別に列挙されていても、複数の回路、要素、方法ステップは、例えば単一のユニットまたは好適にプログラムされたプロセッサにより実施してもよい。また、個々の機能(feature)は異なる請求項に含まれていても、これらを有利に組み合わせることが可能であり、異なる請求項に含まれていても、機能を組み合わせられないとか、組み合わせても有利ではないということを示唆するものでもない。また、ある構成をあるカテゴリーのクレームに含めたとしても、そのカテゴリーに限定することを意味するのではなく、むしろその構成が必要に応じて他のクレームカテゴリーにも等しく適用できることを示すものである。さらに、クレーム中の構成の順序は、その構成が機能しなければならない特定の順序を示すものではなく、特に、方法クレームにおける個々のステップの順序はそのステップがこの順序で実行されなければならないことを示すものではない。むしろ、ステップは任意の好適な順序で実行してもよい。また、単数扱いをしても複数の場合を排除するものではない。よって、「1つの」、「第1の」、「第2の」等は複数の場合を排除するものではない。請求項中の参照符号は、明りょうにするために設けており、請求項の範囲を限定するものと解してはならない。

Claims (13)

  1. オーディオ処理装置であって、
    前記入力オーディオ信号から前処理済みオーディオ信号を求め、入力オーディオ信号に含まれる干渉の相互相関を最小化する前処理回路と、
    前記前処理済み入力オーディオ信号から処理済みオーディオ信号を求める処理回路と、
    前記処理済みオーディオ信号から合成オーディオ信号を求める合成回路と、
    前記処理回路を制御して、前記合成オーディオ信号のパワー指標を最大化し、前記処理済みオーディオ信号のゲインの関数を所定値に制限する制御回路と、を有するオーディオ処理装置。
  2. 前記前処理回路は、入力オーディオ信号にレギュレーション行列の逆号列をかける乗算回路により、前記干渉の相互相関を最小化するよう構成され、
    前記レギュレーション行列は相関行列の関数であり、
    前記相関行列のエントリは複数の音源のペア間の相関指標である、
    請求項1に記載のオーディオ処理装置。
  3. 前記レギュレーション行列は前記相関行列である、
    請求項2に記載のオーディオ処理装置。
  4. 前記レギュレーション行列は
    Figure 2011526114
    により与えられ、
    Γreg(ω)は前記レギュレーション行列であり、Γ(ω)は前記相関行列であり、ηは所定のパラメータであり、Iは単位行列であり、ωはラジアル周波数である、
    請求項2に記載のオーディオ処理装置。
  5. 前記パラメータηは
    Figure 2011526114
    により与えられ、
    σ は前記入力オーディオ信号の前記相関している干渉の分散であり、σ は前記入力オーディオ信号に含まれる相関していない電子的ノイズの分散である、
    請求項4に記載のオーディオ処理装置。
  6. 前記パラメータηは所定の定数値である、
    請求項4に記載のオーディオ処理装置。
  7. 前記レギュレーション行列の(p,q)エントリは
    Figure 2011526114
    により与えられ、
    (ω)は前記入力オーディオ信号pの干渉であり、V(ω)は前記入力オーディオ信号qの干渉であり、ωはラジアル周波数であり、Eは期待値演算子である、
    請求項2に記載のオーディオ処理装置。
  8. 前記相関行列の(p,q)エントリは
    Figure 2011526114
    により与えられ、
    pqはマイクロホンpとqとの間の距離であり、cは空気中における音速であり、ωはラジアル周波数である、
    請求項2に記載のオーディオ処理装置。
  9. 前記処理回路は前記前処理済みオーディオ信号から前記処理済みオーディオ信号を求める複数の調整可能フィルタを有し、
    前記制御回路は前記合成オーディオ信号から、フィルタ済み合成オーディオ信号を求める複数の別の調整可能フィルタを有し、
    前記別の調整可能フィルタの伝達関数は前記調整可能フィルタの伝達関数の複素共役であり、
    前記入力オーディオ信号と、前記入力オーディオ信号に対応する前記フィルタ済み合成オーディオ信号との間の差異指標を最小化するために、前記調整可能フィルタと前記別の調整可能フィルタとの前記伝達関数を制御することにより、前記制御回路は前記処理済みオーディオ信号のゲインの関数を前記所定値に制限するように構成された、
    請求項1に記載のオーディオ処理装置。
  10. 前記オーディオ処理装置は前記入力オーディオ信号に含まれる共通オーディオ信号の遅延差を補正する遅延要素を有する、
    請求項1に記載のオーディオ処理装置。
  11. オーディオ信号処理装置であって、
    入力オーディオ信号を発生する複数の音源と、
    請求項1に記載のオーディオ処理装置とを有する、オーディオ処理装置。
  12. 複数の音源から複数の入力オーディオ信号を受け取る段階と、
    前記入力オーディオ信号から前処理済みオーディオ信号を求め、前記入力オーディオ信号に含まれる干渉の相互相関を最小化する段階と、
    前記前処理済みオーディオ信号から処理済みオーディオ信号を求める段階と、
    前記処理済みオーディオ信号から合成オーディオ信号を求める段階と、
    前記合成オーディオ信号のパワー指標を最大化するために、前記処理済みオーディオ信号を求める段階を制御する段階と、
    前記処理を前記処理済みオーディオ信号のゲインの関数を所定値に制限するように制御する段階とを有する、
    オーディオ処理方法。
  13. 請求項11に記載のオーディオ処理装置を有する補聴器。
JP2011515683A 2008-06-25 2009-06-17 オーディオ処理 Active JP5331201B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08158970 2008-06-25
EP08158970.7 2008-06-25
PCT/IB2009/052580 WO2009156906A1 (en) 2008-06-25 2009-06-17 Audio processing

Publications (2)

Publication Number Publication Date
JP2011526114A true JP2011526114A (ja) 2011-09-29
JP5331201B2 JP5331201B2 (ja) 2013-10-30

Family

ID=40940139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011515683A Active JP5331201B2 (ja) 2008-06-25 2009-06-17 オーディオ処理

Country Status (7)

Country Link
US (1) US8472655B2 (ja)
EP (1) EP2308044B1 (ja)
JP (1) JP5331201B2 (ja)
KR (1) KR101572793B1 (ja)
CN (1) CN102077277B (ja)
AT (1) ATE528752T1 (ja)
WO (1) WO2009156906A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5508550B2 (ja) 2010-02-24 2014-06-04 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及びコンピュータプログラム
WO2011129725A1 (en) * 2010-04-12 2011-10-20 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for noise cancellation in a speech encoder
WO2012107561A1 (en) * 2011-02-10 2012-08-16 Dolby International Ab Spatial adaptation in multi-microphone sound capture
US9560456B2 (en) 2011-04-11 2017-01-31 Panasonic Intellectual Property Management Co., Ltd. Hearing aid and method of detecting vibration
DE102011116282B4 (de) * 2011-10-19 2013-07-04 Krohne Messtechnik Gmbh Verfahren zum Betrieb eines Vortexdurchflussmessgeräts
AU2013260672B2 (en) * 2011-11-14 2014-01-16 Google Inc. Automatic gain control
US8185387B1 (en) 2011-11-14 2012-05-22 Google Inc. Automatic gain control
CN103841521A (zh) * 2012-11-22 2014-06-04 苏州朗捷通智能科技有限公司 一种基于2.4g的无线数字会议系统
US9774960B2 (en) * 2014-12-22 2017-09-26 Gn Hearing A/S Diffuse noise listening
EP3890347A1 (en) * 2015-09-10 2021-10-06 Yayuma Audio SP. Z.O.O. A method of an audio signal correction
US10244317B2 (en) 2015-09-22 2019-03-26 Samsung Electronics Co., Ltd. Beamforming array utilizing ring radiator loudspeakers and digital signal processing (DSP) optimization of a beamforming array
US9807530B1 (en) 2016-09-16 2017-10-31 Gopro, Inc. Generating an audio signal from multiple microphones based on uncorrelated noise detection
RU2760097C2 (ru) * 2017-01-03 2021-11-22 Конинклейке Филипс Н.В. Способ и устройство для захвата аудиоинформации с использованием формирования диаграммы направленности
RU2759715C2 (ru) * 2017-01-03 2021-11-17 Конинклейке Филипс Н.В. Звукозапись с использованием формирования диаграммы направленности
CN110267160B (zh) * 2019-05-31 2020-09-22 潍坊歌尔电子有限公司 声音信号处理方法、装置及设备
GB202008547D0 (en) * 2020-06-05 2020-07-22 Audioscenic Ltd Loudspeaker control
KR20220041432A (ko) * 2020-09-25 2022-04-01 삼성전자주식회사 음향 신호를 이용한 거리 측정 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001510001A (ja) * 1997-11-22 2001-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複数ソースを伴うオーディオ処理装置
JP2003098003A (ja) * 2001-09-20 2003-04-03 Nippon Hoso Kyokai <Nhk> 音源分離収音マイクロホン装置および方法
JP2004289762A (ja) * 2003-01-29 2004-10-14 Toshiba Corp 音声信号処理方法と装置及びプログラム
JP2004312754A (ja) * 2003-04-03 2004-11-04 Gn Resound As 両耳信号増強システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039200B2 (en) * 2003-03-31 2006-05-02 Microsoft Corporation System and process for time delay estimation in the presence of correlated noise and reverberation
US8150683B2 (en) * 2003-11-04 2012-04-03 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus, method, and computer program for comparing audio signals
DE602004015987D1 (de) * 2004-09-23 2008-10-02 Harman Becker Automotive Sys Mehrkanalige adaptive Sprachsignalverarbeitung mit Rauschunterdrückung
US7869606B2 (en) * 2006-03-29 2011-01-11 Phonak Ag Automatically modifiable hearing aid
US8078456B2 (en) * 2007-06-06 2011-12-13 Broadcom Corporation Audio time scale modification algorithm for dynamic playback speed control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001510001A (ja) * 1997-11-22 2001-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複数ソースを伴うオーディオ処理装置
JP2003098003A (ja) * 2001-09-20 2003-04-03 Nippon Hoso Kyokai <Nhk> 音源分離収音マイクロホン装置および方法
JP2004289762A (ja) * 2003-01-29 2004-10-14 Toshiba Corp 音声信号処理方法と装置及びプログラム
JP2004312754A (ja) * 2003-04-03 2004-11-04 Gn Resound As 両耳信号増強システム

Also Published As

Publication number Publication date
KR101572793B1 (ko) 2015-12-01
CN102077277B (zh) 2013-06-12
EP2308044B1 (en) 2011-10-12
EP2308044A1 (en) 2011-04-13
US8472655B2 (en) 2013-06-25
JP5331201B2 (ja) 2013-10-30
US20110103625A1 (en) 2011-05-05
WO2009156906A1 (en) 2009-12-30
KR20110040855A (ko) 2011-04-20
ATE528752T1 (de) 2011-10-15
CN102077277A (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
JP5331201B2 (ja) オーディオ処理
DK2916321T3 (en) Processing a noisy audio signal to estimate target and noise spectral variations
US8229129B2 (en) Method, medium, and apparatus for extracting target sound from mixed sound
US9210504B2 (en) Processing audio signals
US9860634B2 (en) Headset with end-firing microphone array and automatic calibration of end-firing array
US8396234B2 (en) Method for reducing noise in an input signal of a hearing device as well as a hearing device
CN111128210B (zh) 具有声学回声消除的音频信号处理的方法和系统
KR101601197B1 (ko) 마이크로폰 어레이의 이득 조정 장치 및 방법
JP4973655B2 (ja) 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム
EP2749042A2 (en) Processing signals
EP3671740B1 (en) Method of compensating a processed audio signal
JP6083872B2 (ja) マイクロフォン装置から受信した信号において不要な音を減少させるシステムおよび方法
CN110636423B (zh) 用于增强听力设备中的信号方向性的方法
CN113299316A (zh) 估计声音信号的直接混响比
WO2021055413A1 (en) Enhancement of audio from remote audio sources
EP3225037B1 (en) Method and apparatus for generating a directional sound signal from first and second sound signals
JP2010156742A (ja) 信号処理装置および方法
Geiser et al. A differential microphone array with input level alignment, directional equalization and fast notch adaptation for handsfree communication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130726

R150 Certificate of patent or registration of utility model

Ref document number: 5331201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250