JP2004507767A - 目的信号源から雑音環境に放射される信号を処理するシステム及び方法 - Google Patents

目的信号源から雑音環境に放射される信号を処理するシステム及び方法 Download PDF

Info

Publication number
JP2004507767A
JP2004507767A JP2002523637A JP2002523637A JP2004507767A JP 2004507767 A JP2004507767 A JP 2004507767A JP 2002523637 A JP2002523637 A JP 2002523637A JP 2002523637 A JP2002523637 A JP 2002523637A JP 2004507767 A JP2004507767 A JP 2004507767A
Authority
JP
Japan
Prior art keywords
signal
filter
beamformer
signal source
target signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002523637A
Other languages
English (en)
Other versions
JP3701940B2 (ja
JP2004507767A5 (ja
Inventor
カヤラ,マッティ
ハマライネン,マッティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2004507767A publication Critical patent/JP2004507767A/ja
Application granted granted Critical
Publication of JP3701940B2 publication Critical patent/JP3701940B2/ja
Publication of JP2004507767A5 publication Critical patent/JP2004507767A5/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0837Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station using pre-detection combining
    • H04B7/0842Weighted combining
    • H04B7/086Weighted combining using weights depending on external parameters, e.g. direction of arrival [DOA], predetermined weights or beamforming
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/04Details
    • G01S3/043Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H21/00Adaptive networks
    • H03H21/0012Digital adaptive filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本発明は、トランスデューサアレー(10)の目的信号源方向ψに位置する目的信号源(20)から雑音環境に放射される信号を処理するシステム及び方法に関し、本方法は、少なくとも1つのビーム形成器出力信号y′(n)(i=1〜N)を生成するべく、ビーム形成器(30I、30II)の所望の所定のフィルタ特性を定義するフィルタ係数に従って信号を受信、変換、及びフィルタリングする段階と;目的信号源方向ψを表す制御信号t(n)を生成する段階と;を有している。このようなシステム及び方法を最小限の演算量及びメモリ容量によってあらゆる目的信号源方向ψにおいて明瞭な信号の受信が実現するように改良することが本発明の目的である。この目的は、ビーム形成器(30I、30II)が目的信号源方向ψにおいて目的信号源(20)用の所定のフィルタリング特性を備えるよう、制御信号t(n)に応答して生成される調節可能なフィルタ係数を提供することによって実現される。
【選択図】図1

Description

【0001】
(技術分野)
本発明は、雑音混入信号を受信し、それぞれが個別に対応するトランスデューサ出力信号を生成するM個のトランスデューサを備えたトランスデューサアレーと、所定のフィルタリング特性(例:所望の視線方向)を定義するフィルタ係数を有し少なくとも1つの出力信号y′(n)(i=1〜N)を生成するべくM個のトランスデューサ出力信号を受信及びフィルタリングするビーム形成器と、を有し、トランスデューサアレーの目的信号源方向ψに位置する目的信号源から雑音環境に放射される信号を処理するシステムに関する。
【0002】
又、本発明は、このシステムによって実行される、目的信号源から雑音環境に放射された信号を処理する方法にも関する。
【0003】
(発明の背景)
ビーム形成システムは、通常、複数トランスデューサのアレーで受信した信号を処理することにより、受信信号品質を改善するために使用されており、トランスデューサアレーによる信号処理は、雑音環境に放射された所望の信号を取得する受信システムの性能向上に利用することができる。ビーム形成法を使用すれば、ビーム形成フィルタ係数を変化させることにより、所望の信号源に対してトランスデューサアレーの最大感度(視線方向)を操向することが可能であり、このようなアプリケーションの代表例は、無線通信、レーダー信号処理、水中音響、並びにテレビ電話会議やハンズフリーシステムの音声取得に見ることができる。
【0004】
当技術分野においては、相反定理により、信号源とレシーバが互いに交換可能であって、信号のフロー方向を変えると共に受信トランスデューサを送信トランスデューサと置換することにより、対応する信号をトランスデューサアレーから方向ψに放射可能であることが知られている。
【0005】
文献において、既に様々なビーム形成法が広範に研究されている。最も数多く研究された方法の1つがフィルタ係数を受信信号特性に応じて調節する適応型のビーム形成であり、周知の適応型ビーム形成法がフロストによって提案されている(フロスト O. L.(Frost O. L.)による「線形制約付き適応型アレー処理用アルゴリズム(An algorithm for linearly contrained adaptive array processing)」、IEEE会議録(Proc. IEEE)、第60巻、第8号、926〜935ページ、1972年8月)。このフロストの方法は、グリフィス及びジムによって更に発展している(グリフィス L. J.(Griffiths L. J.)、ジム C. W.(Jim C. W.)による「線形制約付き適応型ビーム形成の代替方法(An alternative approach to linearly constrained adaptive beamforming)」、IEEE報告書「アンテナ伝播」(IEEE Trans. Antennas Propag.)、第AP−39巻、第1号、27〜34ページ、1982年1月)。これらの適応型ビーム形成器に伴う基本的な問題点は、ビーム形成器の出力信号における雑音をキャンセルするべく適応型フィルタが設計されているにも拘わらず、実際には、雑音推定値に所望の信号に関連する成分が含まれていることである。即ち、これらの適応型フィルタにおいては、雑音が抑制されるだけでなく所望の信号に予期しない歪が発生するのであり、このような相関性は、通常、マルチパス伝播、視線方向のミスアライメント、又は伝播媒体における不適切なモデル化及び変動によって発生する。
【0006】
この所望の信号の歪を軽減するには、所与のアプリケーションに最適化された固定ビーム形成フィルタを設計することが有利である。
【0007】
(新)固定ビーム形成実装の利点は、信号源及び媒体、並びに所望の性能基準に関するアプリオリな知識に基づいて固定フィルタ係数を最適化することができることであり、この結果、フィルタリング性能が決定論的になる。
(旧)固定ビーム形成実装の利点は、フィルタリング性能が決定論的な(deterministic)ことである。信号源及び媒体、並びに所望の性能基準に関するアプリオリな知識に基づいて固定フィルタ係数を最適化することができる。
【0008】
このような設計は、アレー形状(トランスデューサの配置)とサンプリングの時間間隔によって時空間サンプリンググリッドが定義される時空間フィルタの設計問題として取り扱うことができる。当技術分野においては、所望の信号に歪を引き起こすことなく、時空間サンプリンググリッドと、対応するビーム形成器フィルタ係数の両方を最適化できることが知られている(カジャラ M.(Kajala M.)、ハマライネン M.(Hamalainen M.)による「雑音環境における音声強調用の広帯域ビーム形成の最適化(Broadband beamforming optimization for speech enhancement in noisy environments)」”、オーディオ及び音響に対する信号処理の適用に関するIEEEワークショップ、(IEEE Workshop on Applications of Signal Processing to Audio and Acoustics)、1999年10月)。以下に、図10〜図12を参照し、このようなシステム及び方法について詳細に説明する。
【0009】
図10のシステムは、複数のトランスデューサ10−j(j=1〜M)を備えたトランスデューサアレー10を有している。これらのトランスデューサは、信号源20から放射され、雑音が混入或いは重畳した信号を受信する。これらのトランスデューサは、例えば、圧力信号を受信して電気信号に変換するマイクロホンであってよい。
【0010】
前記信号源は、トランスデューサアレー10の目的信号源方向ψに位置している。図11に示しているように、この目的信号源方向ψは、通常、トランスデューサアレー10(この図11では、座標系の中心に位置していると仮定している)から見た目的信号源の空間的な三次元の位置を、例えば、デカルト座標ψ=(X,Y,Z)や球座標ψ=(r,φ,θ)で表している。尚、信号は、遠距離場から到来する場合には平面波としてモデル化することが可能であり、この場合には、距離rは不要となり、信号源方向ψは、要素数が減少してψ=(φ,θ)となる。
【0011】
このような信号を受信すると、図10に示すトランスデューサアレー10のトランスデューサ10−1〜10−Mがアナログ信号を生成し、この信号がマルチチャネルA/Dコンバータ15によってサンプリングされる。そして、このサンプリング信号X(n)〜X(n)が初級ビーム形成器30に供給される。このビーム形成器は、M個のFIRフィルタ35−1〜35−Mを有するフィルタバンクとして示されており、このビーム形成器30の出力信号y′(n)は、各FIRフィルタの出力信号x′(n)〜x′(n)をそれぞれ積算することによって形成される。
【0012】
ビーム形成器30は、適切な固定フィルタ係数の組を有するフィルタを使用することにより、トランスデューサアレー10のビーム形状を特定の視線方向ψに対して操向するように適合されている。ビーム形成器のこの視線方向ψは、通常、目的信号源方向ψとは必ずしも一致しない。
【0013】
信号が信号源20から雑音環境に放射された場合、サンプリングされたトランスデューサ信号x(n)〜x(n)には雑音が混入している。但し、ビーム形成器30の指向性が正しく調節され、視線方向ψが目的信号源方向ψと一致すれば、トランスデューサ信号の雑音成分は大幅に抑制される。フィルタバンク30の出力信号y′(n)は、信号源20から放射された信号を推定したものである(即ち、フィルタリングされた信号y′(n)の信号対雑音比SNRやその他の品質に関する適切な尺度が極大化されている)。しかしながら、図10のビーム形成器30の場合には、1組の固定フィルタ係数しか有していないため、このシステムを効果的に使用するには、目的信号源方向ψに関するアプリオリな知識が必要であり、ビーム形成器出力信号y′(n)の品質を向上させるためには、適切な固定フィルタ係数の組を提供してビーム形成器の視線方向ψを目的信号源方向ψにアライメントする必要がある。
【0014】
例えば、移動する信号源を追跡するべく、複数の所定の視線方向ψ(i=1〜N)に対して初級ビーム形成器の指向性を連続的にアライメントしようとすれば、使用前にそれぞれの所定の視線方向ψ用の個別の固定フィルタ係数の組をメモリに保存してフィルタに実装しておく必要があり、これは非常に非効率的である。従って、図10に示すシステムは、トランスデューサアレー10の様々な目的方向ψs,p(p=1〜P)に位置する様々な信号源から放射される信号を処理するのには適していない。
【0015】
図12は、この初級ビーム形成器の欠点を次善的に(suboptimally)克服する能力を有する上級ビーム形成器30’を示している。この上級ビーム形成器30’は、N個(N≧1)のフィルタバンク30−1〜30−Nを有しており、ビーム形成器出力信号y′(n)〜y′(n)を同時に算出するべく適合されている。
【0016】
それぞれのフィルタバンクはM個の有限インパルス応答FIRフィルタを有しており、これらのフィルタがマルチチャネルA/Dコンバータ15の出力である次式に示す同一の入力信号ベクトルを受信する。
【0017】
【数4】
Figure 2004507767
【0018】
i(=1〜N)個の各フィルタバンクのM個のフィルタ35−i−1〜35−i−Mは、それぞれ個別の固定フィルタ係数の組によって特徴付けられており、この結果、各フィルタバンクは、N個の視線方向ψ(i=1〜N)の中の1つに適合されている。
【0019】
図12のビーム形成器の出力信号(即ち、フィルタバンク30−1〜30−Nの出力信号)は、次のように表すことができる。
【0020】
【数5】
Figure 2004507767
【0021】
ここで、Li,jは、固定フィルタ係数hi,j,k(k=0〜Li,j)を備えるフィルタ35−i−jの長さである。すべてのi(=1〜N)及びj(=1〜M)においてLi,j=Lと仮定すると、i番目の出力信号y′(n) は、次の形態で書き換えることができる。
【0022】
【数6】
Figure 2004507767
【0023】
トランスデューサアレーに対して放射される信号の最良の推定値を表す所望の出力信号として、信号y′(n)(i=1〜N)の1つを選択することができる。
【0024】
この選択動作はミキサー60によって実行されるが、このミキサーはN個のビーム形成器出力信号y′(n)(i=1〜N)の中からP個の信号を選択することが好ましい。これらP個の選択信号は、ビーム形成器出力信号の個別の視線方向ψが目的信号源方向ψs,p(p=1〜P)に少なくとも近づいた際に、各目的信号源方向ψs,pのP個の異なる信号源20−1〜20−Pから放射されるP個の信号y(n)(p=1〜P)を表している。更に、ミキサー60は、信号源20−1〜20−Pを表す1つ又は複数のビーム形成器出力信号y′(n)を1つの出力信号y(n)に合成することが可能であり、この信号は、例えば、テレビ電話会議の場合に望ましいものである。尚、単純な実装において、異なる視線方向間の切り換えが好ましい場合には、このミキサーをマルチプレクサに置き換えることが可能である。この出力信号の選択は、制御信号をミキサー60に供給するビーム形成器出力制御ユニット70によって実行される。この制御ユニット70は、通常、ミキサー60に対し、最良のフィルタリング性能を備えたビーム形成器出力信号y′(n)(例:所望の信号が実際に放射されている方向ψs,pに最も近い視線方向ψ)を選択するように指示を出す。
【0025】
M個のトランスデューサ10−1〜10−Mと長さLのM*Lの有限インパルス応答FIRフィルタ35−i−1〜35−i−Mを有する図12の従来技術によるシステムが、S個(S≦N)の信号を並行してフィルタリングするためには、メモリ内に次の数の係数を維持する必要がある。
【0026】
Mempri(S)=M*L*N    (3)
【0027】
この場合、S個の同時ビーム形成器出力信号y′(n)を形成するためのサンプリングインターバルごとの演算負荷は、少なくとも次の数の乗算及び加算によって定義される。
【0028】
Loadpri(S)=M*L*S   (4)
【0029】
更に、上級ビーム形成器(advanced beamfermer)30’で利用できるのは、N個のフィルタバンクによって形成された最大数Nの所定の固定視線方向に限定されている。
【0030】
しかしながら、信号は、これら所定のN個の視線方向ψ(i=1〜N)のいずれとも一致しない目的信号源方向ψs,pからも放射される可能性があり、この場合には、本システムの動作は次善のものとなり、その精度は、信号源から信号が放射される実際の目的信号源方向ψs,pとビーム形成器が調節されている視線方向ψ間の差によって決定される。
【0031】
図12の従来技術によるシステムは、ビーム形成器のそれぞれの所望の視線方向ψごとに、個別の固定フィルタ係数の組によって動作する別個のフィルタバンクを提供しなければならないという欠点を有している。又、この図12のシステムの場合には、固定係数によって定義されたビーム形成器の所定の視線方向ψのいずれにも正確に一致しない目的信号源方向ψs,pから放射される信号に対しては、次善レベルの(最適なレベルではない)受信及び回復(restoration)しか提供されないのである。
【0032】
本発明では、所謂一次元(1−D)多項式フィルタの理論を利用する。当技術分野においては、可変一次FIRフィルタの係数を多項式として表すことができることが知られている。多項式に基づいたフィルタは、可変遅延(ファロウ C. W.(Farrow C. W)による「連続可変デジタル遅延素子(A continuously variable digital delay element)」、ISCAS−88、2641〜2645ページ、1988年)、非整数遅延フィルタリング(ラークソ T. I.、(Laakso T. I)、バリマキ V.(Valimaki V)、カージャライネン M.(Karjalainen M.)、レーン U. K.(Laine U. K)による「単位遅延の分割−非整数フィルタの設計ツール(Splitting the unit delay − tools for fractional filter design)」、IEEE信号処理マガジン(IEEE Signal Processing Magazine)、30〜60ページ、1996年1月)、デジタルレシーバ(タッカネン V.(Tuukkanen V.)、ベスマ J.(Vesma J.)、レンフォース M.(Renfors M.)による「デジタルレシーバにおける補間と最尤シンボルタイミングの合成(Combined interpolation and maximum likelihood symbol timing in digital receivers)」、ユニバーサルパーソナル通信レコードに関する1997年IEEE第6回国際会議(1997 IEEE 6th International Conference on Universal Personal Communications Record)、第2巻、698〜702ページ、1997年)、デジタルモデム(エラップ L.(Erup L.)、ガードナー F. M.(Gardner F. M)、ハリス R. A.(Harris R. A.)により「デジタルモデムにおける補間−第2部「実装と性能」(Interpolation in digital modems − Part II; implementation and performance)」、通信に関するIEEE報告書(IEEE Trans. on Comm)、第41巻、第6号、998〜1008ページ、1993年6月)、及び音響管のモデル化(バリマキ V.(Valimaki V.)による「非整数遅延フィルタを使用する音響管の離散時間モデル化(Discrete−time modeling of acoustic tubes using fractional delay filters)」、博士論文(Ph. D. Thesis)、ヘルシンキ工科大学(Helsinki University of Technology)、オタニーミ、1995年度第37号レポート、95〜104ページ、1995年)に適用されている。これらすべての方法は、信号の強度スペクトルに影響を与えずに、単一の一次FIRフィルタの遅延特性を調節することを目的とするものである。尚、可変カットオフ周波数を有する可変一次FIRフィルタ用の更なる設計方法は、デンからも提案されている(デン T. B.(Deng T. B.)による「任意可変一次FIRデジタルフィルタ用の加重最小二乗法(Weighted least−squares method for designing arbitrarily variable 1−D FIR digital filters)、信号処理(Signal Processing)、第80巻、597〜613ページ、2000年)。
【0033】
連続的に可変なデジタル遅延のためのファロウ(Farrow)が提案した最適フィルタ構造は、一次多項式に基づいたFIRフィルタ用に一般化されており、当技術分野においては、この所謂ファロウ構造を使用し、単一の制御パラメータによるフィルタ特性の調節をサポートする一次多項式に基づいたFIRフィルタを実装できることが知られている。
【0034】
図10の初級ビーム形成器の視線方向を操向するべく、可変遅延フィルタを利用してトランスデューサ信号を予備処理することはできるが、この種の実装には、いくつかの欠点がある。即ち、視線方向がオリジナルの初級ビーム形成器の設計視線方向と異なると、初級ビーム形成器の最適フィルタリング特性が劣化し、十分な性能を有する一次非整数遅延FIRフィルタを実装するには、かなり高次のフィルタ次数が必要であり、各トランスデューサ信号には、相互依存する別個の制御パラメータが必要なのである。
【0035】
(発明の要約)
このような状況に鑑み、雑音環境に放射された信号を処理するシステム及び方法を、最小限の演算量とメモリ容量により、あらゆる目的信号源方向ψにおいて明瞭に受信できるように改良することが本発明の目的である。
【0036】
この目的は、独立装置請求項1及び独立方法請求項27の発明(subject matter)により解決される。
【0037】
具体的には、これらの目的は、前述のシステムに関しては、目的信号源用の少なくとも1つの物理的な関連パラメータ(特に、目的信号源方向ψ)を表す制御信号t(n)を生成するビーム形成器ビーム形状制御システムを提供することよって解決され、このビーム形成器のフィルタ係数は調節可能であり、ビーム形成器が目的信号源方向ψにおいて目的信号源用の所定のフィルタリング特性を備えるよう、制御信号t(n)に応答してフィルタ係数を生成するフィルタ係数生成器手段が提供される。
【0038】
このビーム形成器ビーム形状制御システムには、トランスデューサアレーに関連する目的信号源のすべての関連パラメータ(特に、目的信号源方向ψ)を検出する手段が含まれており、本発明によれば、ビーム形成フィルタリング特性は、これらのパラメータ(特に、目的信号源方向に)に対して正確にアライメントされる。
【0039】
ビーム形成器のフィルタ係数が固定されておらず調節可能であることが本システムの主要な利点である。この調節可能なフィルタ係数により、複数のビーム形成フィルタの効率的な算出が可能となり、この結果、本システムは、特定信号源の前述の物理的パラメータに対して容易に調節することができる。特に、調節可能なフィルタ係数により、本システムは、ビーム形成器の視線方向を連続的且つ滑らかに操向することができる。換言すれば、本システムは、従来技術で周知の上級ビーム形成器が提供しているような所定の目的方向の中の1つに対してではなく、あらゆる所望の目的信号源方向に対して最良の選択性をポイントするように適合されているのである。従って、わずかなメモリと演算パワーにより、あらゆる所望の信号源の任意の位置に対してビーム形成器の視線方向をポイントするべく無限の正確性が提供されており、この結果、あらゆる目的信号源方向に対して最良の所定フィルタリング特性を確立することができる。
【0040】
本システムが受信する信号を放射する信号源は、その特性や空間的な位置、或いはそれらが生成する信号の周波数によって限定されてはいない。従って、本システムは、信号源から発せられるあらゆる種類の信号に対して適合可能であるという利点を有している。
【0041】
制御信号t(n)に応答してビーム形成器又はトランスデューサアレーの指向性を自動操向するため、本システムはハンズフリー通信に非常に適している。
【0042】
本発明のすべての実施例によれば、有利なことに、調節可能なフィルタ係数を備えるビーム形成器は多項式フィルタ特性を備えており、この特性によって、ビーム形成器出力信号を簡単に算出することができる。
【0043】
有利なことに、フィルタ係数は、固定及び可変フィルタパラメータに分解されている。メモリに保存する必要があるのは、調節可能なビーム形成係数用の固定フィルタパラメータのみであり、従来技術によるシステムと比べて、必要とされるメモリ容量が小さい。又、ビーム形成器の指向性を操向するために変化させることが必要なのは可変フィルタパラメータのみであり、この結果、演算量も減少する。
【0044】
可変フィルタパラメータの数は、固定フィルタパラメータの数よりも少ないことが好ましく、この場合には、メモリ容量と演算量が減少するという利点がある。
【0045】
有利なことに、この多項式フィルタ特性の調節可能なフィルタ係数は、次の式によって近似される。
【0046】
【数7】
Figure 2004507767
【0047】
ここで、a(j,k)は固定フィルタパラメータであり、Dは制御信号t(n)によって表される可変フィルタパラメータのベクトルであり、F(D)はベクトルDの関数である。この補間多項式hj,k(D)により、複雑な演算を行うことなく、フィルタ係数を簡単に変更することができる。
【0048】
可変フィルタパラメータの前記ベクトルDは、空間における目的信号源方向ψ追跡用の最適な多項式フィルタをモデル化する単一の変数であってよく、例えば、目的信号源方向ψの距離r、発射方位φ、及び仰角θを表す3つの変数のベクトルDを使用することにより、空間内で信号源を柔軟に追跡することができる。
【0049】
形状パラメータ以外に、可変フィルタパラメータのベクトルDiは、背景雑音スペクトル、所望の信号帯域幅、信号スペクトル、ビーム形状、温度などの媒体の物理特性、カメラ制御などのシステムパラメータ、又はこれらの組み合わせなどの物理的な関連パラメータの中の1つを表すことも可能である。
【0050】
関数は、テーラー関数であることが好ましく、これは、適用が容易なためである。但し、関数は、最大誤差を最小化する最適化をサポートするべく、チェビシェフ関数であってもよい。
【0051】
本発明の第1実施例によれば、システムは、固定フィルタパラメータa(j,k)を保存するメモリと、式hj,k(D)=a(j,k)F(D)+a(j,k)F(D)+...+a(j,k)F(D)に従ってフィルタ係数を調節するフィルタ係数生成手段と、フィルタ係数hj,k(D)を使用してトランスデューサ出力信号を処理する信号処理手段と、を有している。
【0052】
有利なことに、この信号処理手段は、次式を使用してビーム形成器出力信号y′(n)(i=1〜N)を生成するように適合されている。
【0053】
【数8】
Figure 2004507767
【0054】
この式による信号y′(n)の処理は、制御信号t(n)に応答して可変フィルタパラメータのベクトルDを調節するだけで本システムを任意の目的方向に適合させることができるという利点を有している。この結果、適合に必要な演算量が最小限のものになる。そして、複数のビーム形成器出力信号を並行して算出することにより、所定の判定基準による最適な信号の検出が促進される。
【0055】
本発明の第2の実施例によれば、ビーム形成器は、中間信号y″(n)(t=0〜T)を生成するべく、それぞれがM個のトランスデューサ出力信号を受信及びフィルタリングする少なくとも2つのフィルタバンクと;制御信号t(n)に応答してビーム形成器出力信号y′(n)(i=1〜N)を生成するべく、少なくとも2つの中間信号y″(n)を受信する少なくとも1つのポストフィルタと;を有しており、フィルタ係数生成器手段が、これらの少なくとも2つのフィルタバンク及び少なくとも1つのポストフィルタの組み合わせにおいて実装されている。
【0056】
少なくとも2つのフィルタバンクのそれぞれは、次式に従ってトランスデューサ出力信号x(n−k)から中間信号y″(n)を算出することが好ましい。
【0057】
【数9】
Figure 2004507767
【0058】
ここで、a(j,k)は、所定の固定フィルタパラメータである。ポストフィルタは、次式に従って中間信号y″(n)からビーム形成器出力信号y′(n)(i=1〜N)を算出する。
【0059】
【数10】
Figure 2004507767
【0060】
ここで、Dは、制御信号t(n)によって表される可変フィルタパラメータのベクトルである。
【0061】
有利なことに、フィルタバンクには固定フィルタパラメータが格納され、ポストフィルタには可変フィルタパラメータが格納される。これにより、ビーム形成器のビーム形状をアライメントするための固定及び可変フィルタパラメータが適切に分離されている。
【0062】
本発明のすべての実施例において、トランスデューサは、線形、二次元、又は三次元でトランスデューサアレー10内に配列されることが好ましい。更に、それらのトランスデューサは、全方向性、双方向性、又は更に複雑な方向感度特性、或いはこれらの組み合わせを有することができる。この結果、あらゆる種類の信号特性に対する最適な信号の受信が実現される。尚、トランスデューサの感度特性については、ビーム形成フィルタの設計手順において勘案することが可能であり、この結果、それらによって本発明が制限されることはない。
【0063】
トランスデューサアレー内のトランスデューサは、音響信号を受信するマイクロホン、電磁信号を受信するアンテナ素子、又は水中の音響信号を受信する水中マイクロホンとして実施することが好ましい。
【0064】
本システムは、有利なことに、少なくとも2つのビーム形成器出力信号y′(n)を受信して処理する少なくとも1つのミキサーを有している。この結果、特定の目的信号源方向又はそれらの組み合わせを選択して更なる処理を施すことができる。
【0065】
ビーム形成器の出力信号y′(n)におけるエコー現象をキャンセルするべく、本システムは、エコーキャンセルユニットを有するほうが有利である。
【0066】
本システムは、制御信号t(n)に応答してエコーキャンセルユニットを制御するエコーキャンセル制御ユニットを有するほうが有利である。この結果、エコーキャンセルユニットの性能が向上する。
【0067】
更に、ビーム形成器の出力信号y′(n)における雑音をキャンセルするために、本システムは、ノイズキャンセルユニットを有するほうが有利である。
【0068】
本システムは、制御信号t(n)に応答してノイズキャンセルユニットを制御するノイズキャンセル制御ユニットを有するほうが有利である。この結果、ノイズキャンセルユニットの性能が向上する。
【0069】
本発明の目的は、目的信号源から放射され、雑音環境で受信された信号を処理する方法請求項27による方法によって更に解決されるが、この方法の利点は、前述の本システムの利点と同一である。
【0070】
(好適な実施例の説明)
本発明の特定の実施例について説明する前に、本発明のすべての実施例に関連する事項について述べることにする。
【0071】
本発明によるシステムのすべての実施例と図12に示す従来技術によるシステムとの間で大幅に異なっているのは、ビーム形成器の実施例とその動作のみである。従って、本発明による実施例における信号源20−p、トランスデューサアレー10、マルチチャネルA/Dコンバータ15、ミキサー60、及びビーム形成器出力制御ユニット70、並びにそれらの個別の動作は、図12の個別のコンポーネント及び動作に対応しており、これは、目的信号源方向ψs,pとビーム形成器の視線方向ψの定義についても同様である。
【0072】
本発明によるビーム形成器30の2つの実施例について説明する。これら両方の実施例によれば、ビーム形成器は、入力信号x(n)〜x(n)を受信し、次の同一の式を使用してビーム形成器出力信号y′(n)を算出する。
【0073】
【数11】
Figure 2004507767
【0074】
この式5において、項hj,k(D)は、ビーム形成器の調節可能なフィルタ係数を表しており、これらは、次の多項式によって非常に一般的な方法で算出することができる。
【0075】
【数12】
Figure 2004507767
【0076】
ここで、a(j,k)は固定フィルタパラメータであり(t=0〜T、j=1〜M、及びk=0〜L−1)、Dは制御信号t(n)によって提供される可変フィルタパラメータであり、F(D)はDの関数であって、テーラー、チェビシェフ、又はルジャンドル関数であることが好ましい。
【0077】
従って、本発明によるビーム形成器のすべての実施例では、可変フィルタパラメータDを調節するだけで制御可能な多項式フィルタ特性を備えている。このため、本システムは、ビーム形成器の指向性の操向における精度が演算手段の数値精度にのみ依存しており、ビームの操向を最小限の演算によって実行可能であるという利点を有している。
【0078】
ビーム形成器のフィルタリング特性は、様々な最適化基準によって制御可能な最良の性能を実現するべく、可変フィルタパラメータDに応答して制御される。使用する最適化基準は、所望の信号品質尺度とフィルタリング性能によって異なるが、一般的な信号品質尺度は信号対雑音比SNRである。これは、通常、信号強度対雑音強度の比率として規定されるものであり、本発明において、SNRを信号品質の一般的な尺度と見なしている。尚、その他の信号品質尺度の例としては、例えば、信号対雑音音量比などの加重信号対雑音強度比、信号対干渉及び雑音比SINR、信号対雑音マスク比、ビット誤り率BER、信号対干渉比SIR、及び同一チャネル干渉CIRがある。
【0079】
本発明によれば、信号源は信号を雑音環境に放射する。従って、トランスデューサアレーが受信する信号は、通常、いくつかの信号成分(元々目的信号源から放射された信号、それらの反射成分、残響、方向性及び拡散雑音信号、並びに音響エコーなどのその他の干渉信号)が合成されたものである。本発明においては、ビーム形成器の視線方向ψ以外の方向から到来するすべての信号成分は、ビーム形成フィルタによって雑音と見なされる。従って、信号に対するマルチパス伝播現象の等化を試みることは本発明が主題とするところではない。逆に、目的信号源方向から到来する信号を受信し、その他の方向からの信号(即ち、雑音)を抑制するべくビーム形成が最適化される。
【0080】
図1は、本発明によるビーム形成器の第1実施例を示している。このビーム形成器30Iは、信号処理手段30Ia、フィルタ係数生成器手段30Ib、及びメモリ30Icを有している。
【0081】
信号処理手段30Iaは、式5によってビーム形成器出力信号y′(n)を生成するべく、マルチチャネルA/Dコンバータ15から出力された入力信号x(n)〜x(n)とフィルタ係数生成手段30Ibからのフィルタ係数hj,k(D)を受信する。
【0082】
尚、図2に、この初級ビーム形成器用の信号処理手段の実装が示されている。
【0083】
メモリ30Icが設けられ、フィルタ係数生成器手段30Ibにアクセスできるよう、いくつかの固定フィルタパラメータa(j,k)の組を保存している。
【0084】
フィルタ係数生成器手段30Ibは、前記メモリ30Icから前記固定フィルタパラメータa(j,k)を、更にビーム形成器ビーム形状制御システムから制御信号t(n)を受信し、信号処理手段30Iaに出力される前にビーム形成器30Iaのフィルタ係数を調節する。
【0085】
図3は、次式によってフィルタ係数hj,k(D)を生成するべく、固定フィルタパラメータa(j,k)と可変フィルタパラメータDを受信する前記フィルタ係数生成器手段30Ibの特定の実施例を示している。
【0086】
【数13】
Figure 2004507767
【0087】
本発明の第1実施例による式6、7及び式5の組み合わせから明らかなように、ビーム形成器の操作(特に、目的信号源方向に対するビーム形成フィルタのフィルタリング特性(例:視線方向)の操向)は、制御信号t(n)によって提供される操作パラメータDを変化させるだけで可能である。即ち、本システムは、ビーム形状、視線方向、又はビーム形成器のその他のフィルタ特性の操作を最小限の演算によって実行することができるという利点を備えている。
【0088】
前記制御信号t(n)は、ビーム形成器ビーム形状制御システム40からフィルタ係数生成器手段30Ibに供給される。
【0089】
前記ビーム形成器ビーム形状制御システム40は、目的信号源20の少なくとも1つの物理的な関連パラメータ(特に、信号が現在放射されている目的信号源方向ψ)を検出する。そして、制御システム40は、検出したこの物理的パラメータに基づき、割り当てテーブルを利用して可変フィルタパラメータDを表す前記制御信号t(n)を生成する。
【0090】
各可変フィルタパラメータDは、信号源の方向、信号源の距離、雑音スペクトル、信号帯域幅、信号スペクトル、ビーム形状、媒体の物理特性、カメラ制御、又はこれらの組み合わせからなるパラメータの1つをそれぞれ表している。
【0091】
式6によれば、ビーム形成器のフィルタ係数は、可変フィルタパラメータDに応答して調節可能である。フィルタ係数を調節することにより、検出した物理パラメータが示している目的信号源の現在の情報に対してビーム形成器のフィルタリング特性が適合される。即ち、ビーム形成器のビーム形状が、検出された或いは追跡された目的信号源方向ψにアライメントされるのである。
【0092】
好適な実施例においては、信号源は車両内のスピーカである。この場合、ビーム形成器ビーム形状制御システムは、目的信号源方向ψとしてスピーカの方向を視覚的に追跡可能であり、例えば、米国特許第4,741,038号に音響サウンド追跡システムが開示されている。
【0093】
図4は、本発明によるビーム形成器の第2実施例を示している。このビーム形成器30IIは、少なくとも2つのフィルタバンク30IIa及び少なくとも1つのポストフィルタ30IIbを有している。
【0094】
前記フィルタバンク30IIa−t(t=0〜T)のそれぞれは、サンプリングしたトランスデューサ出力信号x(n)(m=1〜M)のすべてを受信し、次式に従って中間信号y″(n)を生成する。
【0095】
【数14】
Figure 2004507767
【0096】
ここで、a(j,k)は所定の固定フィルタパラメータである。
【0097】
そして、フィルタバンク30IIa−tによって生成された中間信号y″(n)のすべてが少なくとも1つのポストフィルタ30IIb−iに個別に伝達され、このポストフィルタにおいて、中間信号が次式に従ってビーム形成器出力信号y′(n)に変換される。
【0098】
【数15】
Figure 2004507767
【0099】
ここで、Dは、可変フィルタパラメータのベクトルである。
【0100】
図5a及び図5bは、ポストフィルタの2つの異なる実施例を示しており、いずれの場合にも、ポストフィルタは、式9を実行するべく異なる方式で配列された乗算及び加算ユニットを有している。
【0101】
【数16】
Figure 2004507767
【0102】
【数17】
Figure 2004507767
【0103】
【数18】
Figure 2004507767
【0104】
【数19】
Figure 2004507767
【0105】
ここで、F(D)は、次のチェビシェフ関数である。
【0106】
【数20】
Figure 2004507767
【0107】
は、次のように設定される。
【0108】
【数21】
Figure 2004507767
【0109】
ここで、b(t=0〜T)は、次のT+1式の線形系から算出される変数である。
【0110】
【数22】
Figure 2004507767
【0111】
ここで、i=0〜Tであり、hj,k(D)は、ビーム形成器の既知のフィルタ係数である。チェビシェフ関数F(D)の周知の帰納式は次のとおりである。
【0112】
【数23】
Figure 2004507767
【0113】
次に、ビーム形成器の第2実施例をチェビシェフ関数を使用するべく適合し、2つの異なる実装を提示する。尚、フィルタ係数生成器手段30Ibがポストフィルタ30IIbに対応し、メモリ30Ic内の固定係数がフィルタバンク30IIa内の固定フィルタパラメータに対応していることを勘案すれば、同様の変更をビーム形成器の第1実施例に対しても簡単に施すことができる点に留意されたい。
【0114】
ビーム形成器の第2実施例にチェビシェフ近似を実装する第1の方法は、式14内の線形系を解いて式8内のa(j,k)をb(j,k)と置換し、図5cに示すポストフィルタを使用して次の最終出力信号を形成することである。
【0115】
【数24】
Figure 2004507767
【0116】
図5cのポストフィルタは、まず、式15の帰納式によって所与のDに対して関数F(D)を算出した後に、F(D)(t=0〜T)の値を使用して式16に従って最終出力信号y′(n)を形成する。具体的には、図5dに、4つの中間信号y″(n)〜y″(n)の場合のポストフィルタが示されており、この場合には、式16によってy′(n)が算出され、関数の値Ft(Di)は、t=0〜3で式15の帰納式によって算出される。
【0117】
ビーム形成器の第2実施例にチェビシェフ近似を実装する第2の方法は、恐らく演算負荷の観点では最も効率がよい方法であろう。この場合には、図5bに示すポストフィルタを使用する。中間出力信号y″(n)は、まずb(j、k)について式14の線形系を解いた後に、その結果をテーラー多項式の形態に纏めることによって得られる。例えば、T=3の場合には、式8の固定フィルタパラメータa(j,k)は、次の式から算出することができる。
【0118】
【数25】
Figure 2004507767
【0119】
ここで、固定係数a(j,k)は、式5、7、8、及び9に相当する。
【0120】
ビーム形成器の第2実施例においては、可変フィルタパラメータDは、図1を参照して先程説明したように、ビーム形成器ビーム形状制御システムによって生成される制御信号t(n)の形態でポストフィルタに供給される。
【0121】
式9に式8を含めると式5になり、係数hj,k(D)は式7によって算出されることが指摘されるが、これは、次の変換によって明らかである。
【0122】
【数26】
Figure 2004507767
【0123】
従って、ビーム形成器30I及び30IIの動作は、非常に類似している。
【0124】
ビーム形成器の第2実施例による多項式フィルタリングでは、次の数の係数をメモリに保存することが必要である。
【0125】
【数27】
Figure 2004507767
【0126】
本発明による方法に必要なのは、小さなフィルタ係数の組だけであり、必要とされるメモリ容量は小さい。
【0127】
ビーム形成器30IIは、サンプリングのインターバル当たり、次の数の乗算及び加算演算の演算負荷を有している。
【0128】
【数28】
Figure 2004507767
【0129】
この式19の第1項のM*L*(T+1)は、フィルタバンクの出力信号である中間信号y″(n)の算出に必要な固定数の演算を表している。中間信号の数はビーム形成器出力信号y′(n)の数Sからは独立しているため、これらの中間信号y″(n)を計算する演算負荷は、実際にいくつの出力信号がポストフィルタ30IIb−iによって提供されるか、或いはミキサー60によって選択されるかには関係なく、第1項では固定されている。
【0130】
そして、式19によれば、S個の目的方向のそれぞれにT個の演算の累積負荷が加算され、ポストフィルタの並行出力信号y′(n)が形成される。
【0131】
図6に、提供する目的方向の数Sと演算負荷の関係を本発明による多項式フィルタリングと当技術分野で周知のシステムとで比較したものが示されている。本発明によるシステムの負荷は式19に従って算出されたものである。一方、当技術分野で周知のシステムの演算負荷は、式4によって算出している。この図6の両方のラインは、一例として、M=5、L=40、T=3に基づいたものであり、この図6からわかるように、提供された目的方向の数に応じて必要となる演算負荷の増加量は、当技術分野で周知のシステムと比較すると、本発明によるシステムのほうがかなり小さなものになっている。概略的には、目的方向数がT+1よりも大きい場合には、本発明による方法のほうが当技術分野において周知の方法よりも格段に優れていると言うことができる。
【0132】
図7は、ビーム形成器出力信号y′(n)をエコー及びノイズキャンセルユニット82によってフィルタリングする本発明の更なる実施例を示している。このシステムの信号品質の改善は、ビーム形成器によるSNRの改善とエコー及びノイズキャンセルユニット82による雑音抑制を組み合わせたものになっている。この場合、対象とするビーム形成器フィルタの実装がビーム形成器の第1実施例30I及び第2実施例30IIのいずれに基づいたものであるかは重要ではない。
【0133】
一例として、車両の内部などの一般的な音響空間における音響エコーパスは、ラウドスピーカシステム84とマイクロホンアレー10間の伝達関数として表される。エコーパスは、ラウドスピーカシステムの方向感度、部屋の音響効果、及びマイクロホンシステムの方向感度の影響を受ける。従って、ビーム形成フィルタリングにおけるあらゆる変化がエコーパスに影響を与えることになる。当技術分野において周知の大部分のエコーキャンセルシステムは、適応型フィルタリングに基づいたものであり、これらの変化に対処する能力を有している。
【0134】
但し、ビーム形成器・ビーム形状制御システム40の動作によるエコーパスの変化を勘案することにより、本発明に従って、このような周知のエコーキャンセルシステムの制御状況を改善することができる。これは、図7に示すように、ビーム形成器ビーム形状制御システム40が供給する制御信号t(n)に応答して音響エコー及びノイズキャンセルユニット82を制御する制御ユニット81を設けることによって実現される。この制御ユニット81は、不均一な雑音環境で雑音信号スペクトルがマイクロホンアレーの方向感度の関数になる特殊なノイズキャンセルユニット用に実装することも可能である。この場合、ビーム形成器ビーム形状制御システムが検出する信号源追跡方向の変化は、例えば、背景雑音推定の制御に利用される。
【0135】
図7に示す方式(特に、エコー及びノイズキャンセルユニット82の前述の制御)により、信号源追跡における動的なビーム形成に対してキャンセルプロセスが安定したものになる。
【0136】
図9a、図9b、及び図9cは、本システムの全方向性トランスデューサアレー10が、図8に示すように座標系内に配置された紙面上での本発明によるシステムの方向感度を示している。この図9からわかるように、システムの感度は、最適なものになっている(即ち、信号源20が実際に信号をトランスデューサアレーに放射する目的信号源方向ψに対応する可変フィルタパラメータDを選択した場合に0dBになっている(図9aにおいては0°、図9bにおいては+/−90°、図9cにおいては+/−120°))。図9a、図9b、図9cにおいては、この最適な信号の受信状態が白い部分で示されている。これらの図から明らかなように、可変フィルタパラメータDをチューニングして本システムの指向性(視線方向)を別の角度に変化させると、黒い部分で示すように、本システムの感度は低下する。尚、この図9に示しているのは300Hz〜3400Hzの範囲のシステム感度であり、これは音声信号の主要領域である。
【0137】
本発明は、信号源から発せられた信号が伝播する媒体の種類や環境によって制限されることはない。媒体に関する唯一の制限は、空間内での2地点間の伝播遅延と減衰が予測可能でなければならないということであり、従って、本発明によるシステムは、例えば、空気中や水中を伝播する信号に適用することができる。
【0138】
尚、車両のハンズフリー環境用のオーディオアプリケーションが本発明の好適な実施例を代表するものであるが、本発明は車両内のオーディオアプリケーションに限定されるものではない。
【図面の簡単な説明】
以下の添付の図面を参照し、本発明の様々な実施例について詳細に説明する。
【図1】本発明によるシステムの第1実施例を示している。
【図2】図1の信号処理手段の詳細を示している。
【図3】図1のフィルタ係数生成器手段の詳細を示している。
【図4】本発明によるシステムの第2実施例を示している。
【図5a】図4のポストフィルタの様々な実施例を示している。
【図5b】図4のポストフィルタの様々な実施例を示している。
【図5c】図4のポストフィルタの様々な実施例を示している。
【図5d】図4のポストフィルタの様々な実施例を示している。
【図6】図4のシステムと従来技術によるシステム間の演算負荷の比較を示している。
【図7】図1及び図4のシステムにおけるエコー及びノイズキャンセルユニットの実装を示している。
【図8】図9a〜9cが前提とする座標系内のトランスデューサアレーの配置を示す補助図面である。
【図9a】ビーム形成器の視線方向を変化させた際の図1及び5のシステムの感度特性の変化を示している。
【図9b】ビーム形成器の視線方向を変化させた際の図1及び5のシステムの感度特性の変化を示している。
【図9c】ビーム形成器の視線方向を変化させた際の図1及び5のシステムの感度特性の変化を示している。
【図10】当技術分野において周知の初級システムを示している。
【図11】従来技術及び本発明による目的信号源及びトランスデューサアレーの配列を示す座標系を示している。
【図12】当技術分野において周知の上級システムを示している。

Claims (27)

  1. トランスデューサアレー(10)の目的信号源方向ψに位置する目的信号源(20)から雑音環境に放射される信号を処理するシステムであって、
    雑音が混入した前記信号を受信し、それぞれが対応するトランスデューサ出力信号を個別に生成するM個のトランスデューサを備えるトランスデューサアレー(10)と、
    所定のフィルタリング特性(例:所望の視線方向)を定義するフィルタ係数を有し、少なくとも1つの出力信号y′(n)(i=1〜N)を生成するべく前記M個のトランスデューサ出力信号を受信及びフィルタリングするビーム形成器(30I、30II)と、
    前記目的信号源(20)用の少なくとも1つの物理的な関連パラメータ(特に、前記目的信号源方向ψ)を表す制御信号t(n)を供給するビーム形成器ビーム形状制御システム(40)と、を有するシステムにおいて、
    前記ビーム形成器(30I、30II)の前記フィルタ係数は調節可能であり、前記ビーム形成器(30I、30II)が前記目的信号源方向ψにおいて前記目的信号源(20)用の所定のフィルタリング特性を備えるよう、前記制御信号t(n)に応答して前記フィルタ係数を生成すべくフィルタ係数生成器手段(30Ib)が設けられていることを特徴とするシステム。
  2. 前記調節可能なフィルタ係数を備える前記ビーム形成器(30I、30II)は、多項式フィルタ特性を備えていることを特徴とする請求項1記載のシステム。
  3. 前記フィルタ係数は、固定及び可変フィルタパラメータに分解されることを特徴とする請求項2記載のシステム。
  4. 前記可変フィルタパラメータの数は、前記固定フィルタパラメータの数よりも少ないことを特徴とする請求項3記載のシステム。
  5. 前記多項式フィルタ特性の調節可能なフィルタ係数は、次の式によって近似され、
    j,k(D)=a(j,k)F(D)+a(j,k)F(D)+...+a(j,k)F(D
    ここで、a(j,k)は、固定フィルタパラメータであり、
    は、前記制御信号t(n)によって表される可変フィルタパラメータのベクトルであり、
    (D)は、前記Dの関数であることを特徴とする請求項2記載のシステム。
  6. 前記可変フィルタパラメータDは、前記目的信号源方向ψを表す単一の変数であることを特徴とする請求項3記載のシステム。
  7. 前記可変フィルタパラメータDは、複数の可変フィルタパラメータを格納するベクトルであることを特徴とする請求項3記載のシステム。
  8. 前記可変フィルタパラメータは、信号源の方向、信号源の距離、雑音スペクトル、信号帯域幅、信号スペクトル、ビーム形状、媒体の物理特性、カメラ制御、又はこれらの組み合わせからなるパラメータの中の1つを表すことを特徴とする請求項7記載のシステム。
  9. 前記関数はテーラー関数であることを特徴とする請求項3記載のシステム。
  10. 前記関数はチェビシェフ関数であることを特徴とする請求項3記載のシステム。
  11. 前記システムは、
    前記固定フィルタパラメータa(j,k)を保存するメモリ(30Ic)と、
    式hj,k(D)=a(j,k)F(D)+a(j,k)F(D)+...+a(j,k)F(D)に従って前記フィルタ係数を調節するフィルタ係数生成器手段(30Ib)と、
    前記フィルタ係数を処理する信号処理手段(30Ia)と、を有することを特徴とする請求項3記載のシステム。
  12. 前記信号処理手段(30Ia)は、次式
    Figure 2004507767
    を使用してビーム形成器出力信号y′(n)(i=1〜N)を生成するべく適合されていることを特徴とする請求項11記載のシステム。
  13. 前記ビーム形成器(30II)は、
    中間信号y″(n)(t=0〜T)を生成すべく、それぞれが前記M個のトランスデューサ出力信号を受信及びフィルタリングする少なくとも2つのフィルタバンク(30IIa−0〜30IIa−T)と、
    前記制御信号t(n)に応答して前記ビーム形成器出力信号y′(n)(i=1〜N)を生成すべく、前記少なくとも2つの中間信号y″(n)を受信する少なくとも1つのポストフィルタ(30IIb−1〜30Ib−N)と、を有し、
    前記フィルタ係数生成器手段(30Ib)は、前記少なくとも2つのフィルタバンク(30IIa−0〜30IIa−T)と前記少なくとも1つのポストフィルタ(30IIb−1〜30Ib−N)の組み合わせにおいて実装されることを特徴とする請求項1記載のシステム。
  14. 前記少なくとも2つのフィルタバンク(30IIa−0〜30IIa−T)のそれぞれは、次式
    Figure 2004507767
    によって前記トランスデューサ出力信号x(n−k)から前記中間信号y″(n)を算出し(ここで、a(j,k)は所定の固定フィルタパラメータである)、
    前記ポストフィルタ(30IIb−1〜30Ib−N)は、次式
    Figure 2004507767
    によって前記中間信号y″(n)から前記ビーム形成器出力信号y′(n)(i=1〜N)を算出する(ここで、Dは前記制御信号t(n)によって表される可変フィルタパラメータのベクトルである)ことを特徴とする請求項13記載のシステム。
  15. 前記フィルタバンク(30IIa−0〜30IIa−T)は、前記固定フィルタパラメータを格納することを特徴とする請求項14記載のシステム。
  16. 前記ポストフィルタ(30IIb−1〜30Ib−N)は、前記可変フィルタパラメータを格納することを特徴とする請求項15記載のシステム。
  17. 前記トランスデューサ(10−1〜10−M)は、前記トランスデューサアレー(10)内において、線形、二次元、又は三次元で配列されることを特徴とする請求項1記載のシステム。
  18. 前記トランスデューサ(10−1〜10−M)は、単一方向、双方向、又は全方向性の感度特性、或いはこれらの組み合わせを備えることを特徴とする請求項1記載のシステム。
  19. 前記トランスデューサアレー(10)内のトランスデューサ(10−1〜10−M)は、音響信号を受信すべく適合されたマイクロホンであることを特徴とする請求項1記載のシステム。
  20. 前記トランスデューサアレー(10)は、電磁信号を受信するアンテナであることを特徴とする請求項1記載のシステム。
  21. 前記トランスデューサアレー(10)は、ソナーアレーであることを特徴とする請求項1記載のシステム。
  22. 前記システムは、少なくとも2つの前記ビーム形成器出力信号y′(n)を受信して処理する少なくとも1つのミキサー(60)を有することを特徴とする請求項1記載のシステム。
  23. 前記システムは、前記ビーム形成器の出力信号y′(n)内のエコー現象をキャンセルするエコーキャンセルユニット(82)を有することを特徴とする請求項1記載のシステム。
  24. 前記システムは、前記制御信号に応答して前記エコーキャンセルユニットを制御するエコーキャンセル制御ユニット(81)を有することを特徴とする請求項23記載のシステム。
  25. 前記システムは、前記ビーム形成器の出力信号y′(n)内の雑音をキャンセルするノイズキャンセルユニット(82)を有することを特徴とする請求項1記載のシステム。
  26. 前記システムは、前記制御信号t(n)に応答して前記ノイズキャンセルユニットを制御するノイズキャンセル制御ユニット(81)を有することを特徴とする請求項25記載のシステム。
  27. トランスデューサアレー(10)の目的信号源方向ψに位置する目的信号源(20)から雑音環境に放射される信号を処理する方法であって、
    前記トランスデューサアレー(10)によって前記信号を受信するステップと、対応するトランスデューサ出力信号を生成するステップと、
    少なくとも1つのビーム形成器出力信号y′(n)(i=1〜N)を生成するべく、所望の所定のフィルタ特性(例:所望の視線方向)を定義するフィルタ係数に従って前記トランスデューサ出力信号をフィルタリングするステップと、
    少なくとも1つの物理的な関連パラメータ(特に、前記目的信号源方向ψ)を検出するステップと、前記物理的な関連パラメータを表す制御信号t(n)を提供するステップと、を有する方法において、
    前記フィルタ係数は、調節可能であり、且つ前記ビーム形成器(30I、30II)が前記目的信号源方向ψにおいて前記目的信号源(20)用の所定のフィルタリング特性を備えるよう、前記制御信号t(n)に応答して生成されることを特徴とする方法。
JP2002523637A 2000-09-02 2001-08-31 目的信号源から雑音環境に放射される信号を処理するシステム及び方法 Expired - Fee Related JP3701940B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00119081A EP1184676B1 (en) 2000-09-02 2000-09-02 System and method for processing a signal being emitted from a target signal source into a noisy environment
PCT/EP2001/010053 WO2002018969A1 (en) 2000-09-02 2001-08-31 System and method for processing a signal being emitted from a target signal source into a noisy environment

Publications (3)

Publication Number Publication Date
JP2004507767A true JP2004507767A (ja) 2004-03-11
JP3701940B2 JP3701940B2 (ja) 2005-10-05
JP2004507767A5 JP2004507767A5 (ja) 2005-12-22

Family

ID=8169739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002523637A Expired - Fee Related JP3701940B2 (ja) 2000-09-02 2001-08-31 目的信号源から雑音環境に放射される信号を処理するシステム及び方法

Country Status (6)

Country Link
US (1) US6836243B2 (ja)
EP (1) EP1184676B1 (ja)
JP (1) JP3701940B2 (ja)
AU (1) AU2002212185A1 (ja)
DE (1) DE60010457T2 (ja)
WO (1) WO2002018969A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015502524A (ja) * 2011-11-04 2015-01-22 ブリュエル アンド ケアー サウンド アンド ヴァイブレーション メジャーメント エー/エス 計算効率の良い広帯域フィルタアンドサムアレイ合焦
JP2020085525A (ja) * 2018-11-19 2020-06-04 沖電気工業株式会社 信号追尾装置および信号追尾方法

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI118247B (fi) * 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
DE10313330B4 (de) * 2003-03-25 2005-04-14 Siemens Audiologische Technik Gmbh Verfahren zur Unterdrückung mindestens eines akustischen Störsignals und Vorrichtung zur Durchführung des Verfahrens
EP1524879B1 (en) * 2003-06-30 2014-05-07 Nuance Communications, Inc. Handsfree system for use in a vehicle
US7778425B2 (en) 2003-12-24 2010-08-17 Nokia Corporation Method for generating noise references for generalized sidelobe canceling
KR100898082B1 (ko) 2003-12-24 2009-05-18 노키아 코포레이션 상보적 노이즈 분리 필터를 이용한 효율적 빔포밍 방법
EP1708472B1 (en) * 2005-04-01 2007-12-05 Mitel Networks Corporation A method of accelerating the training of an acoustic echo canceller in a full-duplex beamforming-based audio conferencing system
EP1878013B1 (en) * 2005-05-05 2010-12-15 Sony Computer Entertainment Inc. Video game control with joystick
US7844232B2 (en) * 2005-05-25 2010-11-30 Research In Motion Limited Joint space-time optimum filters (JSTOF) with at least one antenna, at least one channel, and joint filter weight and CIR estimation
JP4896449B2 (ja) 2005-06-29 2012-03-14 株式会社東芝 音響信号処理方法、装置及びプログラム
US7565288B2 (en) * 2005-12-22 2009-07-21 Microsoft Corporation Spatial noise suppression for a microphone array
US8130977B2 (en) * 2005-12-27 2012-03-06 Polycom, Inc. Cluster of first-order microphones and method of operation for stereo input of videoconferencing system
US8184801B1 (en) 2006-06-29 2012-05-22 Nokia Corporation Acoustic echo cancellation for time-varying microphone array beamsteering systems
KR100901787B1 (ko) 2006-12-15 2009-06-11 서강대학교기술지주 주식회사 후치필터링을 이용한 분수지연 필터 기반의 빔집속 장치 및 방법
US8685901B2 (en) * 2007-01-30 2014-04-01 Halliburton Energy Services, Inc. Wellbore servicing compositions and methods of using same
US8908873B2 (en) * 2007-03-21 2014-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US20080232601A1 (en) * 2007-03-21 2008-09-25 Ville Pulkki Method and apparatus for enhancement of audio reconstruction
US8290167B2 (en) * 2007-03-21 2012-10-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US9015051B2 (en) * 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
US20080259731A1 (en) * 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
DE602007007581D1 (de) * 2007-04-17 2010-08-19 Harman Becker Automotive Sys Akustische Lokalisierung eines Sprechers
US8934640B2 (en) * 2007-05-17 2015-01-13 Creative Technology Ltd Microphone array processor based on spatial analysis
GB0725111D0 (en) * 2007-12-21 2008-01-30 Wolfson Microelectronics Plc Lower rate emulation
EP2222091B1 (en) * 2009-02-23 2013-04-24 Nuance Communications, Inc. Method for determining a set of filter coefficients for an acoustic echo compensation means
US9049503B2 (en) * 2009-03-17 2015-06-02 The Hong Kong Polytechnic University Method and system for beamforming using a microphone array
US9185509B2 (en) 2009-12-23 2015-11-10 Nokia Technologies Oy Apparatus for processing of audio signals
US9196238B2 (en) 2009-12-24 2015-11-24 Nokia Technologies Oy Audio processing based on changed position or orientation of a portable mobile electronic apparatus
US8798992B2 (en) 2010-05-19 2014-08-05 Disney Enterprises, Inc. Audio noise modification for event broadcasting
US9264553B2 (en) 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
US9479866B2 (en) * 2011-11-14 2016-10-25 Analog Devices, Inc. Microphone array with daisy-chain summation
US9232310B2 (en) 2012-10-15 2016-01-05 Nokia Technologies Oy Methods, apparatuses and computer program products for facilitating directional audio capture with multiple microphones
EP2928210A1 (en) 2014-04-03 2015-10-07 Oticon A/s A binaural hearing assistance system comprising binaural noise reduction
CA2949929A1 (en) 2014-05-26 2015-12-03 Vladimir Sherman Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
US9716946B2 (en) 2014-06-01 2017-07-25 Insoundz Ltd. System and method thereof for determining of an optimal deployment of microphones to achieve optimal coverage in a three-dimensional space
US9930462B2 (en) 2014-09-14 2018-03-27 Insoundz Ltd. System and method for on-site microphone calibration
US10613205B2 (en) 2014-10-06 2020-04-07 Analog Devices, Inc. Systems and methods for ultrasound beamforming
US10034088B2 (en) * 2014-11-11 2018-07-24 Sony Corporation Sound processing device and sound processing method
US10255927B2 (en) 2015-03-19 2019-04-09 Microsoft Technology Licensing, Llc Use case dependent audio processing
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
WO2017208820A1 (ja) 2016-05-30 2017-12-07 ソニー株式会社 映像音響処理装置および方法、並びにプログラム
CN107734211B (zh) * 2016-08-12 2020-03-17 瑞昱半导体股份有限公司 影像滤波方法及其影像滤波装置
MC200185B1 (fr) * 2016-09-16 2017-10-04 Coronal Audio Dispositif et procédé de captation et traitement d'un champ acoustique tridimensionnel
MC200186B1 (fr) 2016-09-30 2017-10-18 Coronal Encoding Procédé de conversion, d'encodage stéréophonique, de décodage et de transcodage d'un signal audio tridimensionnel
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
CN106782585B (zh) * 2017-01-26 2020-03-20 芋头科技(杭州)有限公司 一种基于麦克风阵列的拾音方法及系统
US11133036B2 (en) 2017-03-13 2021-09-28 Insoundz Ltd. System and method for associating audio feeds to corresponding video feeds
US10547937B2 (en) 2017-08-28 2020-01-28 Bose Corporation User-controlled beam steering in microphone array
US9973849B1 (en) * 2017-09-20 2018-05-15 Amazon Technologies, Inc. Signal quality beam selection
US11172319B2 (en) 2017-12-21 2021-11-09 Insoundz Ltd. System and method for volumetric sound generation
US10524048B2 (en) * 2018-04-13 2019-12-31 Bose Corporation Intelligent beam steering in microphone array
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN109889186B (zh) * 2018-09-07 2021-09-07 河海大学 一种基于多级滤波器组的宽带波束形成方法
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US10854216B2 (en) * 2019-02-15 2020-12-01 Crestron Electronics, Inc. Adaptive beamforming microphone metadata transmission to coordinate acoustic echo cancellation in an audio conferencing system
WO2020191380A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings,Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
CN114051738B (zh) 2019-05-23 2024-10-01 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
WO2021041275A1 (en) 2019-08-23 2021-03-04 Shore Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
EP4285605A1 (en) 2021-01-28 2023-12-06 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
US11201604B1 (en) * 2021-02-24 2021-12-14 North China Power Electric University Resampling algorithm based on window function
US11889261B2 (en) 2021-10-06 2024-01-30 Bose Corporation Adaptive beamformer for enhanced far-field sound pickup

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4741038A (en) * 1986-09-26 1988-04-26 American Telephone And Telegraph Company, At&T Bell Laboratories Sound location arrangement
US4802227A (en) * 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
DE4421853A1 (de) * 1994-06-22 1996-01-04 Philips Patentverwaltung Mobilfunkendgerät
US5664021A (en) * 1993-10-05 1997-09-02 Picturetel Corporation Microphone system for teleconferencing system
US5473701A (en) * 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
SE502888C2 (sv) 1994-06-14 1996-02-12 Volvo Ab Adaptiv mikrofonanordning och förfarande för adaptering till en inkommande målbrussignal
US5581495A (en) * 1994-09-23 1996-12-03 United States Of America Adaptive signal processing array with unconstrained pole-zero rejection of coherent and non-coherent interfering signals
US6101399A (en) * 1995-02-22 2000-08-08 The Board Of Trustees Of The Leland Stanford Jr. University Adaptive beam forming for transmitter operation in a wireless communication system
US5964709A (en) * 1995-06-29 1999-10-12 Teratech Corporation Portable ultrasound imaging system
US6594367B1 (en) * 1999-10-25 2003-07-15 Andrea Electronics Corporation Super directional beamforming design and implementation
US6449593B1 (en) * 2000-01-13 2002-09-10 Nokia Mobile Phones Ltd. Method and system for tracking human speakers

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015502524A (ja) * 2011-11-04 2015-01-22 ブリュエル アンド ケアー サウンド アンド ヴァイブレーション メジャーメント エー/エス 計算効率の良い広帯域フィルタアンドサムアレイ合焦
JP2020085525A (ja) * 2018-11-19 2020-06-04 沖電気工業株式会社 信号追尾装置および信号追尾方法
JP7124664B2 (ja) 2018-11-19 2022-08-24 沖電気工業株式会社 信号追尾装置および信号追尾方法

Also Published As

Publication number Publication date
AU2002212185A1 (en) 2002-03-13
US20040013038A1 (en) 2004-01-22
EP1184676B1 (en) 2004-05-06
EP1184676A1 (en) 2002-03-06
DE60010457T2 (de) 2006-03-02
DE60010457D1 (de) 2004-06-09
WO2002018969A1 (en) 2002-03-07
US6836243B2 (en) 2004-12-28
JP3701940B2 (ja) 2005-10-05

Similar Documents

Publication Publication Date Title
JP3701940B2 (ja) 目的信号源から雑音環境に放射される信号を処理するシステム及び方法
US7778425B2 (en) Method for generating noise references for generalized sidelobe canceling
KR100831655B1 (ko) 적응적 간섭 제거기의 적응 제어 조정 방법
KR100878992B1 (ko) 지오메트릭 소스 분리 신호 처리 기술
US9143856B2 (en) Apparatus and method for spatially selective sound acquisition by acoustic triangulation
CA2499033C (en) A system and method for beamforming using a microphone array
US8204247B2 (en) Position-independent microphone system
KR100884968B1 (ko) 상보적 노이즈 분리 필터를 이용한 효율적 빔포밍 방법
US8014230B2 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
WO2008121905A2 (en) Enhanced beamforming for arrays of directional microphones
JP2008187749A (ja) オーバーサンプルされたフィルタバンクを用いる指向性オーディオ信号処理
JP4973656B2 (ja) 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム
US8174935B2 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
Kajala et al. Filter-and-sum beamformer with adjustable filter characteristics
Zheng et al. A microphone array system for multimedia applications with near-field signal targets
Doblinger Localization and tracking of acoustical sources
Johansson et al. Robust acoustic direction of arrival estimation using Root-SRP-PHAT, a realtime implementation
Ward et al. Broadband microphone arrays for speech acquisition
Zheng et al. A nested sensor array focusing on near field targets
Masgrau et al. Performance comparison of several adaptive schemes for microphone array beamforming.
Chen et al. A new approach for speaker tracking in reverberant environment
Li et al. Robust beamspace DOA estimation of wideband sources
Haneda et al. Evaluating small end-fire loudspeaker array under various reverberations
Haeb-Umbach et al. Adaptive filter-and-sum beamforming in spatially correlated noise
Kale et al. A LOW COMPLEXITY, NARROW BASELINE BEAMFORMER FOR CELL PHONES

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050714

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080722

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090722

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090722

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090722

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100722

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100722

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110722

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110722

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120722

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120722

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130722

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees