JP2005503698A - 所望のゼロ点を有するカーディオイド・ビームに基づく音響装置、システム及び方法 - Google Patents

所望のゼロ点を有するカーディオイド・ビームに基づく音響装置、システム及び方法 Download PDF

Info

Publication number
JP2005503698A
JP2005503698A JP2003518225A JP2003518225A JP2005503698A JP 2005503698 A JP2005503698 A JP 2005503698A JP 2003518225 A JP2003518225 A JP 2003518225A JP 2003518225 A JP2003518225 A JP 2003518225A JP 2005503698 A JP2005503698 A JP 2005503698A
Authority
JP
Japan
Prior art keywords
signal
acoustic
audio
desired audio
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003518225A
Other languages
English (en)
Other versions
JP4378170B2 (ja
Inventor
ファン,ターシェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2005503698A publication Critical patent/JP2005503698A/ja
Application granted granted Critical
Publication of JP4378170B2 publication Critical patent/JP4378170B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/01Noise reduction using microphones having different directional characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/05Noise reduction with a separate noise microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

殆どが不要なオーディオであって所望のオーディオを実質的に含んでいない第1信号(103a)と、所望のオーディオと不要のオーディオとの両方を含んでいる第2信号(103b)とを発生させる第1及び第2の1つ以上の音響エレメントを備えている音響装置が提供される。第1の1つ以上の音響エレメントは、所望オーディオの発出方向にゼロ点を有するカーディオイド・ビームを発生させるように設計され構成される。第2の1つ以上の音響エレメントは、所望オーディオを含む相補的ビームを発生させるように設計され構成される。該第1信号及び該第2信号を用いて所望オーディオを復元する適切な信号処理論理(104)を有するシステムが提供される。該信号処理論理は、エコーキャンセレーション類似方法又はブラインド信号分離方法を実行することができる。

Description

【技術分野】
【0001】
(関連出願)
本発明は、2001年8月1日に出願された“適応ノイズキャンセレーションシステム(Adaptive Noise Cancellation System)”と題された仮出願第60/309,462号に関連し、この出願に対する優先権を主張しており、この明細書は参照により本書に全部取り入れられる。
【0002】
本発明は、音響学及び信号処理の分野に関連する。より具体的には、本発明は、環境ノイズが統計的に所望オーディオに相関していなくて所望オーディオの方向以外の方向に向いている騒々しい環境の中で所望オーディオを感知し且つ/又は識別するためのオーディオ装置、システム及び方法に関連する。
【背景技術】
【0003】
音響アプリケーション又はシステムが通信用又は自動音声認識(ASR)用の音声獲得マイクロフォンシステムであっても、或いはハイドロフォン・システム、ソナー・システム或いはその他の同様の音響システムであっても、バックグラウンドノイズからの干渉は音響アプリケーション又はシステムを推進する上での主な障壁のうちの1つである。反響する環境において固定されず、広帯域で、バースト的で且つ断続するバックグラウンドノイズ源が幾つもある場合には、この問題は特別に困難であることが分かっている。
【0004】
例えば、ASRシステムの場合には、移動通信及び関連技術における近時の急速な進歩の結果として近時に展開された多数のセル電話や自動車電話、PDAなどの移動通信装置にASR技術を導入することがますます望ましくなっている。しかし、これらの装置の殆どは、街頭や自動車、バス、地下鉄、列車或いは飛行機の中などの騒々しい音響環境で、或いは騒々しいモール、工場或いはオフィスで使用されることが良くある。これらの反響する環境のバックグラウンドノイズは、前述した固定されず、広帯域で、バースト的で且つ断続する特性を示すことが良くある。その結果、音声認識インターフェースを利用する新しいアプリケーションは、口述用インターフェースであってもコマンド&コントロール用であっても、あまりない。
【0005】
この様なノイズ問題を克服するために、接話ハンドセット、ヘッドセット、或いはイヤーセット装置を用いる場合もある。しかし、これらの解決策は、ユーザーにとっては不便を幾つかもたらすものである。これらの追加的ヘッドセット/イヤーセット装置のワイヤが他の物と絡み合うことが良くある。無線装置ならばユーザーにとっては好都合であるが、無線装置にも、例えばコストが高いなど、他の不利や不便がある。マルチ・マイクロフォン・アレイならば、その様な不利の一部を回避できるが、従来技術のマルチ・マイクロフォン・アレイは、物理的に大きなものになりがちで、殆どのアプリケーションに適さない。
【0006】
従って、よりコンパクトで、ASRなどの一定の音響アプリケーションのためにハンズフリーで、ヘッドセット無しで、そして最も重要なことにノイズ無しである自然なマンマシーン・インターフェースを可能にすることのできる、もっと有効な解決策が求められている。更に、ノイズの減少及び/又はキャンセレーションは好ましくは所望のオーディオの清澄性及び了解度を向上させるだけではなくて、この減少及び/又はキャンセレーションは、おそらく、ディジタル通信網の負荷を減少させることによりその能力をより有効に利用するという結果をもたらすであろう。
【0007】
他のアプリケーションとしては、ノイズに強いヘッドフォーン、遠隔会議システム、ディジタル・ボイスレコーダー及び補聴器がある。
【発明の開示】
【課題を解決するための手段】
【0008】
簡単に言えば、本発明は音響装置、システム及び方法を含む。
【0009】
一面では、音響装置は、第1及び第2の複数の1つ以上の音響エレメントで形成される。第1複数の1つ以上の音響エレメントは、殆どが不要なオーディオであって所望のオーディオを実質的に含んでいない第1信号の生成を容易にするように設計され構成される。第2複数の1つ以上の音響エレメントは、所望のオーディオと不要なオーディオとの両方を含む第2信号の生成を容易にするように設計され構成される。
【0010】
一実施態様では、第1の1つ以上のエレメントは、所望のオーディオ又は不要なオーディオの存在に応答して、所望のオーディオの発出方向にゼロ点を有するカーディオイド形の音響ビームを出力する。第2の1つ以上のエレメントは、所望のオーディオを包含又は最大化する数個の補足的態様のうちの1つで整形されたオーディオビームを出力する。
【0011】
他面においては、2つの信号を使って所望のオーディオを抽出する信号処理サブシステムが設けられる。
【0012】
種々の実施態様において、信号処理サブシステムは、確定的遅延を第2信号に導入することによって種々のエコーキャンセレーション類似の信号抽出方法を実行し、又はブラインド信号分離方法を実行することができる。
【0013】
種々のエコーキャンセレーション類似の信号抽出実施態様において、信号を調整し、また信号を再調整するために事前白色化コンポーネント及び脱白色化コンポーネントを設けることができる。
【0014】
一実施態様では、所望のオーディオは発話であり、特に、自動車やオフィスの中など、ノイズが確率的であって所望の発話と相関していない騒々しい反響する環境において認識されるべき発話である。
【発明を実施するための最良の形態】
【0015】
添付図面に例示されている模範的実施態様により、これに限定されることなく本発明を説明する。添付図面では同じ参照符号が同様のエレメントを示している。
【0016】
以下の記述において、本発明の種々の実施態様、特にASR指向の実施態様を説明する。しかし、以下の記述から、本発明がASRのみに限定されるものではないことを当業者は認識するであろう。本発明は、他の音響アプリケーション(通信装置、記録装置、補聴器、ハイドロフォン及びソナーを含むが、これらに限定はされない)でも実施できるものである。
【0017】
説明を目的として、本発明を完全に理解してもらうために具体的な数、材料及び形状を明らかにする。しかし、これらの細目の一部のみで、且つ/又は他のエレメントを付けて本発明を実施できることは当業者にとっては明白なことであろう。他の例では、周知されている特徴は省略するか簡単に示す。
【0018】
用語
当業者が自分の仕事の中身を他の当業者に伝えるためによく使用する方法と矛盾しない音響用語及び信号処理用語、例えば音響ビーム、インパルス、レスポンス、サンプリング、信号調整、信号抽出などで説明の一部を提示する。これらの量は、当業者に良く理解されているように、本発明の幾つかの局面のソフトウェア実施態様でも、プロセッサ及びそのサブシステムの電気的コンポーネント及び/又は光学コンポーネントを通じて記憶され、転送され、結合され、或いは別様に操作され得る電気信号、磁気信号、又は光信号の形を取る。
【0019】
説明の一部では種々の略字を使用するが、それは下記の略字を含むが、これらに限定はされない:
Figure 2005503698
【0020】
段落見出し、説明の順序及び実施態様
段落見出しは、単に読みやすさを向上させるために使われているのであって、本発明を限定したり狭めたりするものと解されてはならない。
【0021】
本発明を理解するのに最も役立つ方法で、いろいろな操作を別々のステップとして順番に説明して行くが、説明の順序は、これらの操作が必然的に順序に影響されると示唆していると解されるべきではない。特に、これらの操作は、提示された順序で実行されなくても良い。
【0022】
“一実施態様において”という句を繰り返し使用する。この句は一般には同じ実施態様を指すのではないが、同じ実施態様を指しても良い。“含む”、“有する”、“包含する”という用語及び同様の句は、文脈が別様に述べていない限り、同じ事を意味する。
【0023】
大要
図1を参照すると、ブロック図が一実施態様に従って本発明の音響システムの大要を示している。図示されているように、この実施態様では、音響システム100は音響装置102と信号処理サブシステム104とを包含しており、両方とも本発明の教示と結合される。これら2つのエレメントは、図示の通りに互いに結合される。
【0024】
本発明による音響装置102は、所望のオーディオ又は不要のオーディオ(即ち、ノイズ)の存在に応答して、2つのオーディオビーム103a及び103bを出力するが、オーディオビーム103aは所望のオーディオを実質的に含んでいなくて殆どが不要のオーディオであり、オーディオビーム103bは所望のオーディオと不要のオーディオとの両方を有する。
【0025】
これら2つの音響ビーム(以降、単にビーム)は、対応する2つのオーディオ信号(以降、単に信号)を作る信号処理サブシステム104によりサンプリングされ、これらの信号は、第2ビームに対応する第2信号から第1ビームに対応する第1信号を除去することによって所望のオーディオを復元する信号処理サブシステム104により使用される。
【0026】
当業者ならば分かるであろう様に、以下の記述に基づいて、音響装置102は、2つのビームのうちの一方を各々発生させる僅か2つの音響エレメントを用いてコンパクトに形成することができる。その結果として、本発明は、多くのASRアプリケーションなどの様に複雑な騒々しい環境から所望のオーディオを復元する問題を処理しなければならない音響アプリケーション用のコンパクトでユーザーに対して親切なヒューマン・インターフェースを提供することができる。
【0027】
更に、本発明では、オーディオビーム103aは、空間内の所望のオーディオ方向以外のあらゆる方向に相当の感度を有するカーディオイド・ビームパターンを有するエレメントにより発生させることができる。その結果として、ノイズキャンセレーションが不十分な“ブラインドスポット”方向のある従来技術とは異なって、本発明は、実際上、複数の方向のうちのいずれから到来するノイズも消去することができる。
【0028】
音響装置
前述のように、音響装置102は、わずか2つの音響エレメントを使用してコンパクトに形成できる。図2a−2gは、形成されるオーディオビームの観点から、これらの実施態様を幾つか例示している。しかし、本発明はその様に限定されるものではない。別の実施態様では、ビーム103a及び103bを応答的に発生させるために2つ以上の音響エレメントを使用することができる。理解を容易にするために、主として2エレメントの種々の実施態様の文脈で説明する。更に、音響装置102を単に“マイクロフォン”と称する。
【0029】
図2a−2cは2エレメントの実施態様を3つ例示しており、ここでは1つのエレメント202はオーディオの存在に応答してカーディオイド・ビームを発生させ、他方のエレメント204はオーディオの存在に応答して全方向性ビームを発生させる。これらの実施態様では、カーディオイド・ビーム発生音響エレメント(以降、単に“マイク”)202は、カーディオイド・マイクのゼロ点が所望のオーディオの予想発出方向を向くように配置される。
【0030】
図2aの実施態様では、全方向性ビーム発生マイク204は、カーディオイド・ビーム発生マイク202と並行に所望のオーディオの予想発出方向に向くように配置される。図2b−2cの各実施態様では、全方向性ビーム発生マイク204は、カーディオイド・ビーム発生マイク202と直列に所望オーディオの予想発出方向に向くように配置される。図2bの実施態様では、全方向性ビーム発生マイク204は、カーディオイド・ビーム発生マイク202の“背後に”配置されるようになっている。図2cの実施態様では、全方向性ビーム発生マイク204は、カーディオイド・ビーム発生マイク202の“前に”配置されるようになっている(両方とも、所望オーディオの予想発出方向から見て)。
【0031】
図4aは、図2a−2cの配置のエレメント202及び204により応答的に作られるものに相当する音響ビーム103a及び103bを(“極感度”プロットの形で)例示している。前述したように、ビーム103aは所望のオーディオの発出方向に向いたゼロ点を有する。これらの実施態様では、ビーム103bはあらゆる方向に“放射”し、ゼロ点を全く含まない。
【0032】
カーディオイド・ビーム発生エレメント202のゼロ点はビーム103aへの所望音響の漏れを除去しようとする試みである。実際には、このゼロ点は、反対方向での感度に対して−20dBもの減衰を達成できることが良くある。それでも、実験は、本発明が依然として従来技術よりも首尾一貫した改善された結果を示すことを示している。
【0033】
一般に、この2つの音響エレメントは、(一定のアプリケーションのために)所望のコンパクトなヒューマン・インターフェースを形成できるように、基部側で互いに隣接するように配置される。これらのアプリケーションのために、2つの別々のマイク・エレメント間の分離間隔は0.2cm〜1cmの小さな範囲であって良い。半導体音響装置のためには、分離間隔は数ミクロン或いは1ミクロン未満の程度であって良い。図2a−2cに示されているように、エレメント間の相互干渉の可能性を減少させるように配慮する必要があるが、それらの相対的位置関係は、即ち所望オーディオの予想発出方向に並行に向いているのか、それとも直列に向いているのかということは、それぞれのビームパターンほど重要ではない。
【0034】
図2d−2fは、2エレメントの別の実施態様を3つ例示しており、ここでは両方のエレメントがカーディオイド・ビーム発生マイク202a−202bである。これらの実施態様では、2つのカーディオイド・ビーム発生マイクのうちの一方202aは、そのゼロ点が所望オーディオの予想発出方向に向くように配置され、他方のカーディオイド・ビーム発生マイク202bは、そのゼロ点が所望オーディオの予想発出方向とは逆の方に向くように配置される。
【0035】
図2dの実施態様では、他方のカーディオイド・ビーム発生マイク202bは、そのゼロ点が、第1カーディオイド・ビーム発生マイク202aと並行に、所望オーディオの予想発出方向とは逆の方に向くように配置される。同様に、図2e−2fの各実施態様では、第1カーディオイド・ビーム発生マイク202aと直列であることを除いて、他方のカーディオイド・ビーム発生マイク202bも、そのゼロ点が所望オーディオの予想発出方向とは逆の方を向くように配置される。
【0036】
図2eの実施態様では、他方のカーディオイド・ビーム発生マイク202bは第1のカーディオイド・ビーム発生マイク202aの“背後”に配置されるようになっており、図2fの実施態様では、他方のカーディオイド・ビーム発生マイク202bは第1カーディオイド・ビーム発生マイク202aの“前”に配置されるようになっている(両方とも所望のオーディオの予想発出方向から見て)。
【0037】
図4bは、図2d−2fの配置のエレメント202a及び202bにより応答的に発生されるものに相当する(“極感度”プロットの形の)音響ビーム103a及び103bを例示している。前述したように、ビーム103aは、所望のオーディオの発出方向に向いているゼロ点を有する。これらの実施態様では、ビーム103bは所望のオーディオの発出方向とは逆の方を向いているゼロ点を有する。
【0038】
図2gは、音響装置102の別の2エレメントの実施態様を例示している。この実施態様では、全方向性ビーム発生マイク204a及び204bが2つ使われる。2つのエレメント204a及び204bは、所望オーディオの予想発出方向に向くように直列に配置される。この構成には、“遅延及び合計”ビーム形成方法を実行する遅延312、増幅器314及び加算器316を含む図3の回路が追加される。
【0039】
前と同様に、第2全方向性ビーム発生マイク204bの応答的出力はビーム103bを提供する。しかし、ビーム103aは、第1全方向性ビーム発生マイク204aの応答的出力に遅延312を用いて遅延を加え、増幅器314を用いて増幅し、その後にビーム103bから差し引くことによって形成される。
【0040】
この遅延は、カーディオイドのゼロ点が帯域幅内の全周波数にわたって充分に深くなるように選択されるべきである。ゼロ点の不整合及び低下を避けるために、増幅器314の利得を調整することにより、2つの音響エレメントを平衡させることができる。
【0041】
図3の回路は、音響装置102の一部として一体的に配置されても良く、また信号処理サブシステム104の一部として一体的に配置されても良い。別の実施態様では、2つの全ビーム発生マイク204a及び204bの役割は逆になっても良い。
【0042】
更に、図4a及び4bの“無ゼロ点”及び“単一逆向きゼロ点”形状に加えて、ビーム103bは、いずれのゼロ点も所望オーディオの発出方向に向いていなければ、2つ以上のゼロ点を含んでいても良い。
【0043】
例えば、図4cは、2つのゼロ点を形成する2つの“葉”を有するビーム103bの“クローバーの葉”ビーム形状を(“極感度プロット”で)例示しており、この2つのゼロ点は、所望オーディオの発出方向に実質的に直交する2つの方向406a及び406bに向いている。図4dは、2つのゼロ点を形成する2つの“葉”を有するビーム103bの別の(“極感度”プロットでの)“クローバーの葉”ビーム形状を例示しており、この2つのゼロ点は、それぞれ所望オーディオの発出方向と鈍角をなす2つの方向406c及び406dに向いている。
【0044】
要約して言えば、音響装置102は2つ以上の音響エレメントを含み、これら音響エレメントは2つの信号の発生を容易にするように設計され構成されるが、その一方の信号は所望のオーディオを実質的に含んでいなくて殆どが不要のオーディオからなり、もう一つの信号は所望のオーディオと不要のオーディオとの両方からなる。この2つ以上の音響エレメントは、例えば、所望のオーディオ及び不要のオーディオの存在に応答し、所望オーディオの発出方向に向いているゼロ点を有するカーディオイド・ビームと、幾つかの補足的ビーム形状のうちの(所望オーディオの発出方向に向いているゼロ点を持っていない)いずれか1つを有する他のビームとを出力することができる。
【0045】
信号処理サブシステム
図5は、一実施態様に従って図1の信号処理サブシステムを詳しく例示している。図示されているように、この実施態様では、信号処理サブシステム104は、2つの入力チャネル(“基準”及び“主”と称されている)と、サンプリング・コンポーネント502と、任意の抽出前信号調整コンポーネント504と、信号抽出コンポーネント506と、任意の抽出後信号調整コンポーネント508とを含む。これらのエレメントは図示の通りに互いに結合されている。
【0046】
基準チャネルはビーム103aを受け取るために使用され、主チャネルはビーム103bを受け取るために使用される。
【0047】
ビーム103a及び103bをディジタル化するためにサンプリング・コンポーネント504が使用される。一般に、これらは共に、アプリケーションに依存しシステム帯域幅に応じて選択される同じサンプリング周波数で同期してディジタル化される。ASRアプリケーションの場合には、サンプリング周波数は、例えば、8kHz、11kHz、12kHz、または16kHzであって良い。
【0048】
一般に、任意の抽出前信号調整コンポーネント504及び抽出後信号調整コンポーネント508は、アプリケーション及び/又は抽出方法に依存する。例えば、ASRアプリケーション、及びエコーキャンセレーション類似のNLMS処理などの信号抽出方法の場合には、抽出前信号調整コンポーネント504及び抽出後信号調整コンポーネント508は事前白色化フィルター及び脱白色化フィルターであって良い。この事前白色化フィルター及び脱白色化フィルターは、両信号のスペクトル密度をレベリングし、そして両信号のスペクトル密度のレベリングを反転させるために使用される。両チャネルのスペクトル密度のレベリングは、不均一信号周波数分布では、NLMS収斂速度を向上させる。スペクトル引き算などの他のシングルチャネル・ノイズキャンセレーション方法を、任意の抽出後信号調整コンポーネントの追加段として追加することができる。
【0049】
サンプリング・コンポーネント
図6a及び6bは、2つの実施態様に従って図5のサンプリング・コンポーネントを更に詳しく例示している。図6aの実施態様では、サンプリング・コンポーネント502は、2つのビーム103a及び103bに1つずつ、合計2つのA/D変換器606を含む。更にサンプリング・コンポーネント502はプリアンプ602とアンチ・エイリアシング・フィルター604とを包含する。これらのエレメントは図示の通りに互いに結合されている。
【0050】
各音響エレメントからの信号は、対応するプリアンプ602によって増幅され、対応するA/D変換器によってサンプリング周波数Fsでディジタル化される前に対応するアンチ・エイリアシング・フィルター604によって帯域制限される。
【0051】
図6bは、A/D変換器を1つだけ使用する別の実施態様を例示している。一方、サンプリング・コンポーネント502は更にサンプル・アンド・ホールド・コンポーネント608とマルチプレクサ610とを包含している。これらのエレメントは図示の通りに互いに結合されている。
【0052】
各信号は、(アンチ・エイリアシング・フィルター604を使用する)アンチ・エイリアシング・フィルタリング後まで図6aの場合と同じ処理を通過し、その後、ディスクリートな信号を作るためにサンプル・アンド・ホールド(S/H)ユニット608によってサンプリングされる。その出力は、他方のチャネルからのディスクリートな信号と(マルチプレクサ610を使用して)多重化される。最後に、多重化された信号は、A/D変換器606によってサンプリング周波数の2倍(2×Fs)のディジタル信号にディジタル化される。
【0053】
事前白色化及び脱白色化
前述したように、高周波数成分より強い低周波数成分を有する傾向のあるASRアプリケーションなどの一定の音響アプリケーションでは、事前白色化フィルタリングを通してのスペクトル密度レベリングなどの信号の抽出前調整を実行することが望ましく、従って脱白色化フィルタリングを通してのスペクトル密度レベリングの逆転などの抽出後逆調整を実行することが望ましいであろう。
【0054】
これらのアプリケーションでは、特にコンポーネント506がNMLSノイズキャンセレーション処理を実行する場合には、挟帯域(高度に自己相関している)入力信号によりもたらされる可能性のある収束率の低さを緩和するために、主入力及び基準入力が信号抽出コンポーネント506に送られる前に主入力及び基準入力の両方に対して事前白色化フィルター(脱色フィルターとも称される)が配置される。
【0055】
事前白色化フィルター及び脱白色化フィルターの一実施態様がそれぞれ図7a及び7bに例示されている。
【0056】
図7aの実施態様では、事前白色化フィルター504は次の式:
=x−α*xn−1
により特徴づけられるプリエンファシス・フィルターの形となっている。
【0057】
例示されている実施態様では、事前白色化フィルター504は、直ぐ前の入力値xn−1と定数αとを記憶する記憶エレメント702及び704と、掛け算器706と加算器708とを包含する。これらのエレメントは、図示の通りに互いに結合されていて、共同して処理を実行して上記の式により出力yを計算する。
【0058】
別の実施態様では、事前白色化フィルター504はソフトウェアで実現されても良い。
【0059】
図7bは、次の式:
=x+α*yn−1
により特徴づけられるデエンファシス・フィルターの形の相補的脱白色化フィルターを例示している。
【0060】
例示されている実施態様では、脱白色化フィルター508は、直ぐ前の出力値yn−1と定数αとを記憶する記憶エレメント722及び724と、掛け算器726と加算器728とを包含する。これらのエレメントは、図示の通りに互いに結合され、共同して処理を実行して上記の式により出力yを計算する。
【0061】
同様に、別の実施態様では、脱白色化フィルター508もソフトウェアで実現されて良い。
【0062】
信号抽出コンポーネント
図8は、一実施態様に従って図5の信号抽出コンポーネントを更に詳しく例示している。この実施態様は、エコーキャンセレーション類似の方法を実行して基準信号を主チャネルから除去することにより所望のオーディオを復元する。その方法は、普通の“エコーキャンセレーション”と同様に一信号を他の信号から差し引くので“エコーキャンセレーション”類似と称される。しかし、典型的な“エコーキャンセレーション”では、“エコー”を発生させる元の信号はアクセス可能であって、その元の信号は所望のオーディオで劣化されない。ところが、本発明では、元のノイズ信号は利用できない。現在の発明における基準信号は、“所望のオーディオを実質的に含んでいない”けれども、依然として所望のオーディオを多少含んでいる。所望の信号のキャンセレーションを避けるために抑制などの特別のステップを行うべきである。典型的な“エコーキャンセレーション”では、所望のオーディオとエコーとを有する複合信号から差し引かれるのは“エコー”信号であり、そしてもっと重要なことに、その“エコー”信号は、エコーを発生させた元のオーディオに対して自然な確定的時間遅れ関係を有する。対照的に、本発明では、所望のオーディオ及び不要のオーディオの両方を有する信号から差し引かれるのは、所望のオーディオを実質的に含んでいないフィルタリング後の基準信号であり、この基準信号と所望の信号とは、所望のオーディオ及び不要のオーディオに応答して実際上同時に獲得される。
【0063】
従って、エコーキャンセレーション類似論理810に加えて、信号抽出コンポーネント506は、ビーム103bに基づいて形成された信号(即ち、主チャネル上の信号)に確定的遅延を人工的に導入する遅延エレメント802を特に包含している。この人工的に導入される遅延は、音響装置102の音響エレメント間の反響をモデリングすることを可能にする。更に、それは、エコーキャンセレーション類似信号処理方法に使用される適応FIRフィルターが非因果的フィルターを近似することを可能にする。
【0064】
反響をモデリングするために人工的に導入される遅延の量は、アプリケーションにより異なる。概して、それは、環境のインパルス応答の持続時間の程度である。種々のアプリケーションにおいて、その量は自動車環境では30ms〜60ms、オフィス環境では100ms〜200msの範囲内である。
【0065】
この実施態様では、所望のオーディオのエコーキャンセレーション類似抽出は、両方のチャネルがアクティブであると考えられる時に限って、実際上条件付きで行われる。従って、この実施態様では、信号抽出論理810及び遅延エレメント802の他に、信号抽出コンポーネント506は平均振幅推定コンポーネント804と、チャネル信号検出器806と抑制論理808とを更に包含している。チャネル信号検出器806は、まとめて“比較器”コンポーネントとも称され、一実施態様では特に、基準チャネル及び主チャネルのために一つずつ合計で二つのチャネル・アクティブ検出器と、所望オーディオ検出器とを含んでいる。これらのエレメントは、図示のように互いに且つ前記のエレメントに結合されている。
【0066】
平均振幅推定コンポーネント804は、チャネル信号検出器806(即ちチャネル・アクティブ検出器及び所望オーディオ検出器)と、エコーキャンセレーション類似信号抽出プロセスとのための両方のチャネルの信号のパワー又は振幅を測定/推定するために使用される。
【0067】
一実施態様では、実行されるエコーキャンセレーション類似の信号抽出プロセスは、NLMSFIRフィルター(図11a)を使用する適応ノイズキャンセレーション・プロセスである。他の実施態様では、実行されるエコーキャンセレーション類似の信号抽出プロセスは周波数領域LMSフィルターを幾つか使用する適応ノイズキャンセレーション・プロセスである(図11b−11c)。別の実施態様では、実行されるエコーキャンセレーション類似の信号抽出プロセスは、サブバンドLMSフィルターを幾つか使用する適応ノイズキャンセレーション・プロセスである(図11d−11e)。
【0068】
次に、これらのエレメントについて更に説明する。
【0069】
平均振幅推定器
図9は、一実施態様に従って、図8の平均振幅推定コンポーネントを更に詳しく例示している。この実施態様では、平均振幅推定コンポーネント804は、次の式:
=(1−α)*yn−1+α*|x
により特徴づけられる入力の絶対値の重み付き移動平均を計算する。
【0070】
重み係数は移動窓の長さを決定する。
【0071】
この実施態様は、|x|、yn−1、α、及び(1−α)の値をそれぞれ記憶する種々の記憶エレメント902−908と、計算を実行する掛け算器910と加算器912とを包含している。
【0072】
前述した事前白色化コンポーネント及び脱白色化コンポーネントと同様に、平均振幅推定コンポーネント804もソフトウェアで実現されて良い。
【0073】
検出器
図10a−10bは、一実施態様に従って、図8の比較コンポーネント即ち検出器を更に詳しく例示している。より具体的には、図10aは所望オーディオ検出器806aの論理を示し、図10bはチャネル・アクティブ検出器806bの論理を示している。
【0074】
例示されている実施態様では、所望オーディオ検出器806aは、オーディオ・スレショルド・オフセットを記憶する記憶エレメント1002を含んでいる。更に、所望オーディオ検出器806aは、比計算器1004と、長時間移動平均振幅比値計算器1006と、加算器1008と、比較器1010とを更に含んでいる。これらのエレメントは図示の通りに互いに結合される。この実施態様はパワーに基づく検出器である。
【0075】
比計算器1004は、主信号平均振幅と基準信号平均振幅との比を計算するために使用される。移動平均振幅比計算器1006はこの比の長時間移動平均値を計算するために使用され、これは所望オーディオのためのベース又はフロアを提供する。比較器1010と加算器1008とは、現在の比を比較して、現在の比が長時間移動比より少なくともスレショルド・オフセットだけ大きいか否か判定するために使用される。もしそれがベースより少なくともスレショルド・オフセットだけ上回っていれば、所望オーディオが検出されているとみなされ、そうでなければ所望オーディオは無いと考えられる。
【0076】
この実施態様は、例えば発話など、バースト的特性を示しがちな所望オーディオのために設計されている。他のオーディオ・アプリケーションのためには、適宜修正された実施態様を代わりに使用することができる。
【0077】
別の実施態様では、例えば相関に基づく所望信号検出器などの、他の所望オーディオ検出器を使用することができる。図10bは、一実施態様に従って、チャネル・アクティブ検出器を更に詳しく示している。この実施態様は、パワーに基づく比較器である。例示されているように、チャネル・アクティブ検出器806bは、スレショルド値を記憶する記憶エレメント1024と、チャネルの平均振幅を記憶されているスレショルド値と比較する比較器1026とを含む。もしそれが記憶されているスレショルド値を上回っていれば、チャネルはアクティブであると見なされ、さもなければチャネルは非アクティブであると見なされる。
【0078】
更に、前述した事前白色化/脱白色化コンポーネント及び平均振幅推定コンポーネントと同じく、検出器804a−804bもソフトウェアで実現されて良い。
【0079】
抑制
図12は、一実施態様に従って、図8の抑制コンポーネントの動作論理を更に詳しく例示している。例示されている通り、時間領域実行のために設計されているこの実施態様では、抑制コンポーネント808は、入力提供される検出器806を用いて初めに主チャネル及び基準チャネルの両方がアクティブであるか否か判定する(ブロック1202−1204)。主チャネル又は基準チャネルが非アクティブであると判定されたならば、抑制信号は“ポジティブ”にセットされ、その結果として信号抽出ブロックは実質的に不作動となる(例えば、計算パワーを浪費しない)、即ち信号抽出(フィルタリング)も抽出に対する調整(適応)も行われない。この状態では、この実施態様では、主チャネルに存在するどんな信号も出力される(ブロック1210)。
【0080】
しかし、両方のチャネルがアクティブならば、抑制論理808は、更に、所望オーディオが存在するか或いは休止スレショルド(ハングオーバー時間とも称される)に達していないか判定する(ブロック1206−1208)。休止スレショルド(ハングオーバー)はアプリケーション次第である。例えば、ASRの場合、休止スレショルドは1秒の数分の一であろう。
【0081】
所望オーディオが検出されるか或いは休止時間を超えていなければ、抑制信号は“ポジティブ、フィルター適応不能”にセットされる、即ちフィルタリング係数が凍結される(ブロック1212)。従って、基準信号がフィルタリングされ、主チャネルから差し引かれて所望オーディオを発生させる。
【0082】
所望オーディオが検出されず、且つ休止時間を超えると(しかし両チャネルはアクティブである)、抑制信号は“ネガティブ、フィルター適応可能)にセットされる(ブロック1214)。この状態では、使用されているフィルターのフィルタリング係数は適応させられる。
【0083】
上記の実施態様は(所望のオーディオを有する)主信号の遅延の前に検出器及び抑制を有利に使用するので、所望オーディオがフィルター適応動作に悪影響を及ぼす可能性が減少する。
【0084】
前に言及した通り、また以下で詳しく説明するように、周波数領域及びサブバンド領域でフィルタリングを実行することもできる。これらの実施態様では、上記の抑制実施は、周波数毎に、或いはサブバンド毎に実行できる。
【0085】
エコーキャンセレーション類似の信号抽出コンポーネント
図11a−11eは、種々の実施態様に従って、図8のエコーキャンセレーション類似信号抽出コンポーネントを更に詳しく例示する。より具体的には、図11aはNLMS適応アプローチを使用する実施態様を例示し、図11b−11cは周波数領域LMS適応アプローチを使用する実施態様を二つ例示している。図11d−11eは、サブバンドLMS適応アプローチを使用する実施態様を二つ例示している。
【0086】
図11aに例示されているように、NLMS適応実施態様のエコーキャンセレーション類似の信号抽出コンポーネント810は、適応FIRフィルター1102と加算器1104とを含む。これらのエレメントは、図示のように互いに結合される。
【0087】
基準チャネルの(調整された)信号は、適応FIRフィルター1102によりフィルタリングされ、主チャネルの遅延した信号から加算器1104により差し引かれる。その結果は、所望オーディオとして出力される。
【0088】
抽出論理は、サンプル毎に動作するループとして作用する。基準信号は適応FIRフィルター1102によりフィルタリングされる。基本的に、フィルタリングされた基準信号が主チャネルの信号のノイズ成分と厳密に整合するように、カーディオイド・エレメントから他方のエレメントに至る音響路をモデリングする伝達関数が基準チャネルに対して適用される。フィルタリングされた基準信号は、遅延した主信号から差し引かれる。残るのは所望オーディオである。
【0089】
NLMSの出力はNLMSエラーとも称され、これは、所望オーディオが存在しない時にNLMSエラーが最小となるように適応FIRフィルター係数を調整するために使用される。
【0090】
図11bに例示されているように、第1周波数LMS実施態様のエコーキャンセレーション類似の信号抽出コンポーネント810は、FFTコンポーネント1112と、数個の適応フィルター1114と(2つ図示されている)、数個の加算器1116と(2つ図示されている)、IFFTコンポーネント1118とを含む。これらのエレメントは、図示の通りに互いに結合される。
【0091】
基準チャネル及び遅延した主チャネルの(調整された)信号は、初めに、対応するFFTコンポーネント1112により数個の周波数成分(2つ図示されている)に“分解”される。基準信号の周波数成分の各々は、対応する適応フィルター1114によりフィルタリングされ、対応する加算器1116によって主チャネルの遅延した信号の対応する周波数成分から差し引かれる。その結果として得られた周波数成分は、IFFTコンポーネント1118により“再結合”され、この再結合された信号が所望オーディオとして出力される。
【0092】
図11cに例示されているように、第2周波数LMS実施態様のエコーキャンセレーション類似の信号抽出コンポーネント810は、FFTコンポーネント1122a−1122bと、数個の適応フィルター1124と(2つ図示されている)、加算器1128とIFFTコンポーネント1126とを含む。これらのエレメントは、図示の通りに互いに結合される。
【0093】
基準チャネルの(調整された)信号は、初めに、FFTコンポーネント1122aによって数個の周波数成分(2つ図示されている)に“分解”される。基準信号の各周波数成分は、対応する適応フィルター1124によってフィルタリングされる。フィルタリングされた周波数成分は、IFFTコンポーネント1126によって再結合されてフィルタリング済み基準信号とされ、これは次に加算器1128により主チャネルの遅延した信号から差し引かれて所望オーディオを発生させる。
【0094】
(所望オーディオがもし存在するならば、所望オーディオを含む)エラー信号もFFTコンポーネント1122bによって数個の周波数成分に“分解”され、その“分解された”周波数成分はフィルター1124の適応に使用される。
【0095】
図11dに例示されているように、第1サブバンドLMS実施態様のエコーキャンセレーション類似の信号抽出コンポーネント810は、分析バンク1132a−1132bと、複数のダウンサンプリング・ユニット1134a−1134bと(2個のユニットのセットが2つ図示されている)、複数の適応フィルター1136と(2つ図示されている)、複数の加算器1138と(2つ図示されている)、複数のアップサンプリング・ユニット1140と(2つ図示されている)、合成バンク1142とを含んでいる。これらのエレメントは、図示の通りに互いに結合される。
【0096】
基準チャネルと遅延した主チャネルとの(調整された)信号は、初めに、対応する分析バンク1132a/1132bによって数個のサブバンド成分(2つ図示されている)に“分解”される。基準信号の各サブバンド成分は、初めに、対応するダウンサンプリング・ユニット1134により所定のファクターでダウンサンプリングされ、次に対応する適応フィルター1136によってフィルタリングされる。フィルタリングされたサブバンド成分の各々は、対応する加算器1138により、主チャネルの遅延した信号の対応するサブバンド成分から差し引かれる。その結果として得られたサブバンド成分は、対応するアップサンプリング・ユニット1140により、同じファクターでアップサンプリングされ、次に合成バンク1142により“再結合”される。この再結合された信号は所望オーディオとして出力される。
【0097】
図11eに例示されているように、第2サブバンドLMS実施態様のエコーキャンセレーション類似の信号抽出コンポーネント810は、分析バンク1152a−1152bと、複数のダウンサンプリング・ユニット1154a及び1154bと(2個のユニットのセットが2つ図示されている)、複数の適応フィルター1156と(2つ図示されている)、複数のアップサンプリング・ユニット1158と(2つ図示されている)、合成バンク1160と、加算器1162とを含む。これらのエレメントは、図示の通りに互いに結合される。
【0098】
基準チャネルの(調整された)信号は、初めに分析バンク1152aにより数個のサブバンド成分(2つ図示されている)に“分解”される。基準信号のサブバンド成分の各々は、対応するダウンサンプリング・ユニット1154aによって所定のファクターでダウンサンプリングされ、次に対応する適応フィルター1156によってフィルタリングされる。フィルタリングされたサブバンド成分は、対応するアップサンプリング・ユニット1158によってアップサンプリングされ、次に合成バンク1160によって再結合されてフィルタリング済み基準信号とされ、これは加算器1162により主チャネルの遅延した信号から差し引かれて所望オーディオを発生させる。
【0099】
(所望オーディオが存在するならば、所望オーディオを含む)エラー信号も、分析バンク1152b及びダウンサンプリング・ユニット1154bによって数個のサブバンド成分に“分解”され、その“分解された”サブバンド成分はフィルター1156の適応に使用される。
【0100】
これらの信号抽出コンポーネント実施態様も、それぞれソフトウェアで実現できる。
【0101】
ブラインド信号分離
図13は、他の実施態様に従って、図5の信号抽出コンポーネント506を更に詳しく例示する。前述したエコーキャンセレーション類似実施態様とは反対に、図13の信号抽出コンポーネント506は、ブラインド信号分離方法を実行して基準チャネルの信号を主チャネルの信号から除去して所望オーディオを抽出する。
【0102】
例示されているように、信号抽出コンポーネント810は、数個の適応FIRフィルター1302と、加算器1306と、費用関数1304とを含む。これらのエレメントは、図示の通りに互いに結合される。
【0103】
基準チャネル及び主チャネルは、両方とも、適応FIRフィルター1302によりフィルタリングされる。その結果は、対応する加算器1306により、それぞれ他方から差し引かれる。その結果として得られた信号が出力され、基準信号が主信号から差し引かれた結果が所望オーディオであるという結果になる。
【0104】
出力信号は費用関数へフィードバックされ、費用関数は、この2つの出力信号に基づいて適応FIRフィルター1302のそれぞれの適応を出力する。費用関数は、具体的なBSS方法に依存する。
【0105】
結論
以上の説明から分かるように、種々の新規な音響装置、システム及び方法が記載されている。
【0106】
上記実施態様に関して本発明を説明したけれども、本発明が前記の実施態様に限定されるものではないことを当業者は認めるであろう。添付した請求項の範囲内で修正及び変更を加えて本発明を実施することができる。従って、この記載は、本発明を限定するのではなくて単なる説明であると見なされねばならない。
【図面の簡単な説明】
【0107】
【図1】本発明の大要を一実施態様に従って示す。
【図2a−2g】図1の音響装置の、いろいろな実施態様によるビーム形成を更に詳しく示す。
【図3】一実施態様に従って図1の音響装置と関連させて使用して図2gのビームパターンを作るのに適する補助論理を示す。
【図4a】図2a−2c、及び図2g(図3の回路で補足されている)のいろいろな音響装置によって生成される音響ビームを感度極座標図として示す。
【図4b】図2d−2fの音響ビームを感度極座標図として示す。
【図4c−4d】他の可能な主要信号ビームを感度極座標図として示す。
【図5】一実施態様に従って図1の信号処理サブシステムを更に詳しく示す。
【図6a−6b】一実施態様に従って図5のサンプリング・コンポーネントを更に詳しく示す。
【図7a−7b】一実施態様に従って、一定の音響アプリケーションのために図5の任意の信号調整コンポーネント及び信号再調整コンポーネントとして使用するのに適する事前白色化コンポーネント及び脱白色化コンポーネントを示す。
【図8】一実施態様に従って、図5の信号抽出コンポーネントを更に詳しく示す。
【図9】一実施態様に従って、図8の平均振幅計算コンポーネントを更に詳しく示す。
【図10a−10b】一実施態様に従って、図8の検出コンポーネントを更に詳しく示す。
【図11a−11e】いろいろな実施態様に従って、図8のエコーキャンセレーション類似論理を示す。
【図12】一実施態様に従って、図8の抑制コンポーネントの操作論理を示す。
【図13】一実施態様に従って、図5の信号抽出論理を示す。

Claims (40)

  1. 殆どが不要なオーディオであって所望のオーディオを実質的に含んでいない第1信号の発生を容易にする第1様式に設計され構成されている第1の1つ以上の音響エレメントと;
    所望のオーディオと不要のオーディオとの両方を含んでいる第2信号の発生を容易にする第2の相補的様式に設計され構成されている第2の1つ以上の音響エレメントとを含むことを特徴とする音響装置。
  2. 該音響装置は、マイクロフォン、ハイドロフォン及びソナーのうちから選択されたものであることを特徴とする請求項1に記載の音響装置。
  3. 該第1の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答してカーディオイド形状を有する音響ビームを出力し、該カーディオイド・ビームのゼロ点は所望オーディオの発出方向に向いていることを特徴とする請求項1に記載の音響装置。
  4. 該第2の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答して全方向性音響ビームを出力することを特徴とする請求項1に記載の音響装置。
  5. 該第2の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答してカーディオイド形状を有する音響ビームを出力し、該カーディオイド・ビームのゼロ点は、所望オーディオの発出方向のそれとは実質的に反対の方向を向いていることを特徴とする請求項1に記載の音響装置。
  6. 該第2の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答して双葉のクローバーの形状を有する音響ビームを出力し、該クローバー・ビームの第1ゼロ点及び第2ゼロ点は所望オーディオの発出方向のそれに実質的に直交する第1方向及び第2方向に向いていることを特徴とする請求項1に記載の音響装置。
  7. 該第2の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答して双葉のクローバーの形状を有する音響ビームを出力し、該クローバー・ビームの第1ゼロ点及び第2ゼロ点は、所望オーディオの発出方向と鈍角をなす第1方向及び第2方向に向いていることを特徴とする請求項1に記載の音響装置。
  8. 該第1の1つ以上の音響エレメントは第1音響エレメントから成り;
    該第2の1つ以上の音響エレメントは、前記第1音響エレメントの直ぐ近くに配置されている第2音響エレメントから成ることを特徴とする請求項1に記載の音響装置。
  9. 該第1音響エレメント及び該第2音響エレメントは、0.2cm〜1cmの範囲内の分離間隔を置いて互いに隣接して配置されていることを特徴とする請求項8に記載の音響装置。
  10. 該第1音響エレメント及び該第2音響エレメントは、両方とも、所望オーディオの発出方向に向くように並行配置されていることを特徴とする請求項8に記載の音響装置。
  11. 該第1音響エレメント及び該第2音響エレメントは、両方とも、所望オーディオの発出方向に向くように配置され、該第1音響エレメント及び該第2音響エレメントのうちの選択された1つは他方の背後に配置されることを特徴とする請求項8に記載の音響装置。
  12. 所望音響は発話であり、不要オーディオは確率的に1つ以上の方向から発出することを特徴とする請求項1に記載の音響装置。
  13. 殆どが不要なオーディオであって所望のオーディオを実質的に含んでいない第1信号と、所望のオーディオと不要なオーディオとの両方を含む第2信号との発生を容易にする様に設計され構成された複数の音響エレメントを有する音響装置と;
    該音響装置に結合されて、該第1信号及び該第2信号を用いて所望オーディオを抽出する信号処理サブシステムとを含むシステム。
  14. 該音響装置は、マイクロフォン、ハイドロフォン及びソナーのうちから選択されたものであることを特徴とする請求項13に記載のシステム。
  15. 該複数の音響エレメントは:
    該第1信号の発生を容易にする第1様式で設計され構成された第1の1つ以上の音響エレメントと;
    該第2信号の発生を容易にする第2の相補的様式で設計され構成された第2の1つ以上の音響エレメントとを含むことを特徴とする請求項13に記載のシステム。
  16. 該第1の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答してカーディオイド形状を有する音響ビームを出力し、該カーディオイド・ビームのゼロ点は所望オーディオの発出方向に向いていることを特徴とする請求項15に記載のシステム。
  17. 該第2の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答して全方向性音響ビームを出力することを特徴とする請求項15に記載のシステム。
  18. 該第2の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答して、カーディオイド形状を有する音響ビームを出力し、該カーディオイド・ビームのゼロ点は所望オーディオの発出方向のそれと実質的に反対の方向を向いていることを特徴とする請求項15に記載のシステム。
  19. 該第2の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答して双葉のクローバー形状を有する音響ビームを出力し、該クローバー・ビームの第1ゼロ点及び第2ゼロ点は所望オーディオの発出方向のそれに実質的に直交する第1方向及び第2方向に向いていることを特徴とする請求項15のシステム。
  20. 該第2の1つ以上の音響エレメントは、所望オーディオ及び不要オーディオに応答して双葉のクローバー形状を有する音響ビームを出力し、該クローバー・ビームの第1ゼロ点及び第2ゼロ点は所望オーディオの発出方向と鈍角をなす第1方向及び第2方向に向いていることを特徴とする請求項15に記載のシステム。
  21. 該第1の1つ以上の音響エレメントは第1音響エレメントから成り;
    該第2の1つ以上の音響エレメントは、前記第1音響エレメントの直ぐ近くに配置されている第2音響エレメントから成ることを特徴とする請求項15に記載のシステム。
  22. 該第1音響エレメント及び該第2音響エレメントは、0.2cm〜1cmの範囲内の分離間隔を置いて互いに隣接して配置されていることを特徴とする請求項21に記載のシステム。
  23. 該第1音響エレメント及び該第2音響エレメントは、両方とも、所望オーディオの発出方向に向くように並行配置されていることを特徴とする請求項21に記載のシステム。
  24. 該第1音響エレメント及び該第2音響エレメントは、両方とも、所望オーディオの発出方向に向くように配置され、該第1音響エレメント及び該第2音響エレメントのうちの選択された1つは他方の背後に配置されることを特徴とする請求項21に記載のシステム。
  25. 所望音響は発話であり、不要オーディオは確率的に1つ以上の方向から発出することを特徴とする請求項13に記載のシステム。
  26. 前記信号処理サブシステムは、該第1信号を該第2信号から差し引くようになっている信号分離コンポーネントを含むことを特徴とする請求項13に記載のシステム。
  27. 前記信号処理サブシステムは、確定的遅延を前記第2信号に導入する遅延コンポーネントを更に含み;
    前記信号分離コンポーネントは、エコーキャンセレーション類似方法を使用して該第1信号を該第2信号から差し引く論理を含むことを特徴とする請求項26に記載のシステム。
  28. 前記信号処理サブシステムは、前記信号分離コンポーネントが信号フィルタリング及び適応フィルタリングのうちの少なくとも一方を実行するのを抑制する抑制コンポーネントを更に含むことを特徴とする請求項27に記載のシステム。
  29. 前記信号分離コンポーネントが信号フィルタリング及び適応フィルタリングのうちの少なくとも一方を実行するのを抑制するべきか否か判定するための入力を前記抑制コンポーネントに提供するために、前記信号処理サブシステムは、前記抑制コンポーネントに結合され且つ互いに結合された複数の平均振幅推定器及び比較器を更に含んでいることを特徴とする請求項28に記載のシステム。
  30. 前記エコーキャンセレーション類似方法は、該第1信号及び該第2信号に対する正規化時間領域、周波数領域、サブバンド最小二乗平均適応フィルタリング操作のうちから選択されたものを含むことを特徴とする請求項27に記載のシステム。
  31. 前記所望オーディオは所望の発話であり、前記確定的遅延は30ms〜200msの範囲内であることを特徴とする請求項27に記載のシステム。
  32. 前記所望オーディオは所望の発話であり、前記信号処理サブシステムは、所望オーディオを当該信号から抽出する前に前記第1信号及び前記第2信号を調整するべく、また抽出された所望オーディオを再調整するべく該遅延コンポーネント及び該信号分離コンポーネントにそれぞれ結合された第1事前白色化コンポーネント及び第2事前白色化コンポーネントと、前記信号分離コンポーネントに結合された脱白色化コンポーネントとを更に含むことを特徴とする請求項27に記載のシステム。
  33. 前記信号処理サブシステムは、ブラインド信号分離方法を使用して該第1信号を該第2信号から差し引く論理を含むことを特徴とする請求項26に記載のシステム。
  34. 殆どが不要なオーディオであって所望のオーディオを実質的に含んでいない第1信号と、所望のオーディオと不要なオーディオとの両方を含む第2信号とを発生させ;
  35. 該第1信号及び該第2信号を用いて該所望オーディオを抽出することを含む信号抽出方法。前記抽出は、該第1信号を該第2信号から差し引く動作を含むことを特徴とする請求項34に記載の方法。
  36. 前記抽出は、確定的遅延を前記第2信号に導入することを更に含み;
    前記差し引きは、エコーキャンセレーション類似方法を使用して該第1信号を該第2信号から差し引くことを含むことを特徴とする請求項35に記載の方法。
  37. 前記エコーキャンセレーション類似方法は、該第1信号及び該第2信号に対して正規化時間領域、周波数領域及びサブバンド最小二乗平均適応フィルタリング操作を実行する動作を含むことを特徴とする請求項36に記載の方法。
  38. 前記方法は、前記フィルタリングのうちの少なくとも1つを抑制することを調整することと前記フィルタリングを適応させることとを更に含むことを特徴とする請求項37に記載の方法。
  39. 該方法は、該信号のための平均振幅推定値を計算し、推定された平均振幅を比較し、前記条件付き抑制のために該比較の結果を提供することを更に含むことを特徴とする請求項38に記載の方法。
  40. 前記差し引きは、ブラインド信号分離方法を使用して実行されることを特徴とする請求項35に記載の方法。
JP2003518225A 2001-08-01 2002-07-26 所望のゼロ点を有するカーディオイド・ビームに基づく音響装置、システム及び方法 Expired - Lifetime JP4378170B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US30946201P 2001-08-01 2001-08-01
PCT/US2002/023932 WO2003013185A1 (en) 2001-08-01 2002-07-26 Cardioid beam with a desired null based acoustic devices, systems and methods

Publications (2)

Publication Number Publication Date
JP2005503698A true JP2005503698A (ja) 2005-02-03
JP4378170B2 JP4378170B2 (ja) 2009-12-02

Family

ID=23198339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003518225A Expired - Lifetime JP4378170B2 (ja) 2001-08-01 2002-07-26 所望のゼロ点を有するカーディオイド・ビームに基づく音響装置、システム及び方法

Country Status (6)

Country Link
US (4) US7386135B2 (ja)
EP (1) EP1413169A1 (ja)
JP (1) JP4378170B2 (ja)
KR (1) KR20040028933A (ja)
CN (1) CN1535555B (ja)
WO (1) WO2003013185A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006503699A (ja) * 2002-10-21 2006-02-02 ダブリュー・アール・グレイス・アンド・カンパニー−コネチカット FCC法に使用されるNOx低減組成物
JP2014518053A (ja) * 2011-05-26 2014-07-24 マイティワークス カンパニー リミテッド 指向性マイクアレイを用いた信号分離システム及びその提供方法

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8280072B2 (en) 2003-03-27 2012-10-02 Aliphcom, Inc. Microphone array with rear venting
US8019091B2 (en) 2000-07-19 2011-09-13 Aliphcom, Inc. Voice activity detector (VAD) -based multiple-microphone acoustic noise suppression
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7697700B2 (en) * 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7783061B2 (en) * 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8139793B2 (en) * 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US9066186B2 (en) 2003-01-30 2015-06-23 Aliphcom Light-based detection for acoustic applications
US9099094B2 (en) 2003-03-27 2015-08-04 Aliphcom Microphone array with rear venting
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US8009513B2 (en) 2006-11-06 2011-08-30 Second Wind Systems, Inc. Transducer array arrangement and operation for sodar application
US8369511B2 (en) * 2006-12-26 2013-02-05 Huawei Technologies Co., Ltd. Robust method of echo suppressor
WO2008141144A1 (en) * 2007-05-10 2008-11-20 Second Wind, Inc. Sodar housing with non-woven fabric lining for sound absorption
US8004935B2 (en) * 2007-05-10 2011-08-23 Second Wind Systems, Inc. Sodar housing with non-woven fabric lining for sound absorption
US8503686B2 (en) 2007-05-25 2013-08-06 Aliphcom Vibration sensor and acoustic voice activity detection system (VADS) for use with electronic systems
US8174930B2 (en) * 2007-06-01 2012-05-08 Second Wind Systems, Inc. Housing for phased array monostatic sodar systems
US7827861B2 (en) * 2007-06-01 2010-11-09 Second Wind, Inc. Position correction in sodar and meteorological lidar systems
MX2009012673A (es) * 2007-06-01 2010-03-08 Second Wind Inc Alojamientos para sistemas de radar acustico monostaticos de disposicion por fases.
US8351295B2 (en) * 2007-06-01 2013-01-08 Second Wind Systems, Inc. Waterproof membrane cover for acoustic arrays in sodar systems
WO2008157421A1 (en) * 2007-06-13 2008-12-24 Aliphcom, Inc. Dual omnidirectional microphone array
WO2009078105A1 (ja) * 2007-12-19 2009-06-25 Fujitsu Limited 雑音抑圧装置、雑音抑圧制御装置、雑音抑圧方法及び雑音抑圧プログラム
US8264908B2 (en) * 2009-03-09 2012-09-11 Second Wind Systems, Inc. Method of detecting and compensating for precipitation in sodar systems
EP2237271B1 (en) 2009-03-31 2021-01-20 Cerence Operating Company Method for determining a signal component for reducing noise in an input signal
US8737636B2 (en) * 2009-07-10 2014-05-27 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for adaptive active noise cancellation
JP5493611B2 (ja) * 2009-09-09 2014-05-14 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US7928392B1 (en) * 2009-10-07 2011-04-19 T-Ray Science Inc. Systems and methods for blind echo cancellation
TWI396190B (zh) * 2009-11-03 2013-05-11 Ind Tech Res Inst 降噪系統及降噪方法
CH702399B1 (fr) 2009-12-02 2018-05-15 Veovox Sa Appareil et procédé pour la saisie et le traitement de la voix.
WO2011099167A1 (en) * 2010-02-12 2011-08-18 Panasonic Corporation Sound pickup apparatus, portable communication apparatus, and image pickup apparatus
US20110200205A1 (en) * 2010-02-17 2011-08-18 Panasonic Corporation Sound pickup apparatus, portable communication apparatus, and image pickup apparatus
US9094496B2 (en) * 2010-06-18 2015-07-28 Avaya Inc. System and method for stereophonic acoustic echo cancellation
WO2012145709A2 (en) * 2011-04-20 2012-10-26 Aurenta Inc. A method for encoding multiple microphone signals into a source-separable audio signal for network transmission and an apparatus for directed source separation
JP6375362B2 (ja) 2013-03-13 2018-08-15 コピン コーポレーション 雑音キャンセリングマイクロホン装置
US9083782B2 (en) 2013-05-08 2015-07-14 Blackberry Limited Dual beamform audio echo reduction
US20170164102A1 (en) * 2015-12-08 2017-06-08 Motorola Mobility Llc Reducing multiple sources of side interference with adaptive microphone arrays
US9747920B2 (en) 2015-12-17 2017-08-29 Amazon Technologies, Inc. Adaptive beamforming to create reference channels
CN105848054B (zh) * 2016-03-15 2020-04-10 歌尔股份有限公司 耳机及其降噪方法
CN110447239B (zh) 2017-03-24 2021-12-03 雅马哈株式会社 拾音装置及拾音方法
WO2018173267A1 (ja) * 2017-03-24 2018-09-27 ヤマハ株式会社 収音装置および収音方法
US10154343B1 (en) * 2017-09-14 2018-12-11 Guoguang Electric Company Limited Audio signal echo reduction
US11049509B2 (en) 2019-03-06 2021-06-29 Plantronics, Inc. Voice signal enhancement for head-worn audio devices
US11418875B2 (en) 2019-10-14 2022-08-16 VULAI Inc End-fire array microphone arrangements inside a vehicle
CN111863012B (zh) * 2020-07-31 2024-07-16 北京小米松果电子有限公司 一种音频信号处理方法、装置、终端及存储介质
US12062369B2 (en) * 2020-09-25 2024-08-13 Intel Corporation Real-time dynamic noise reduction using convolutional networks

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4653102A (en) * 1985-11-05 1987-03-24 Position Orientation Systems Directional microphone system
US4888801A (en) * 1988-05-02 1989-12-19 Motorola, Inc. Hierarchical key management system
US4888807A (en) * 1989-01-18 1989-12-19 Audio-Technica U.S., Inc. Variable pattern microphone system
US5121426A (en) * 1989-12-22 1992-06-09 At&T Bell Laboratories Loudspeaking telephone station including directional microphone
JPH05316587A (ja) * 1992-05-08 1993-11-26 Sony Corp マイクロホン装置
US5473701A (en) * 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
US5530762A (en) * 1994-05-31 1996-06-25 International Business Machines Corporation Real-time digital audio reverberation system
US5694474A (en) * 1995-09-18 1997-12-02 Interval Research Corporation Adaptive filter for signal processing and method therefor
WO1997023068A2 (en) * 1995-12-15 1997-06-26 Philips Electronic N.V. An adaptive noise cancelling arrangement, a noise reduction system and a transceiver
US6549586B2 (en) * 1999-04-12 2003-04-15 Telefonaktiebolaget L M Ericsson System and method for dual microphone signal noise reduction using spectral subtraction
EP1035752A1 (en) * 1999-03-05 2000-09-13 Phonak Ag Method for shaping the spatial reception amplification characteristic of a converter arrangement and converter arrangement
US6480610B1 (en) * 1999-09-21 2002-11-12 Sonic Innovations, Inc. Subband acoustic feedback cancellation in hearing aids
GB9922654D0 (en) * 1999-09-27 1999-11-24 Jaber Marwan Noise suppression system
ATE417483T1 (de) * 2000-02-02 2008-12-15 Bernafon Ag Schaltung und verfahren zur adaptiven geräuschunterdrückung
US6549630B1 (en) * 2000-02-04 2003-04-15 Plantronics, Inc. Signal expander with discrimination between close and distant acoustic source
US20010028718A1 (en) * 2000-02-17 2001-10-11 Audia Technology, Inc. Null adaptation in multi-microphone directional system
DE10195933T1 (de) * 2000-03-14 2003-04-30 Audia Technology Inc Adaptiver Mikrophonabgleich in einem Richtsystem mit mehreren Mikrophonen
US6865275B1 (en) * 2000-03-31 2005-03-08 Phonak Ag Method to determine the transfer characteristic of a microphone system, and microphone system
US7116792B1 (en) * 2000-07-05 2006-10-03 Gn Resound North America Corporation Directional microphone system
US6741714B2 (en) * 2000-10-04 2004-05-25 Widex A/S Hearing aid with adaptive matching of input transducers
JP3431593B2 (ja) * 2000-10-31 2003-07-28 株式会社東芝 コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体
US7206418B2 (en) * 2001-02-12 2007-04-17 Fortemedia, Inc. Noise suppression for a wireless communication device
AU2001258132A1 (en) * 2001-05-23 2001-08-20 Phonak Ag Method of generating an electrical output signal and acoustical/electrical conversion system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006503699A (ja) * 2002-10-21 2006-02-02 ダブリュー・アール・グレイス・アンド・カンパニー−コネチカット FCC法に使用されるNOx低減組成物
JP2014518053A (ja) * 2011-05-26 2014-07-24 マイティワークス カンパニー リミテッド 指向性マイクアレイを用いた信号分離システム及びその提供方法

Also Published As

Publication number Publication date
EP1413169A1 (en) 2004-04-28
US20140244250A1 (en) 2014-08-28
KR20040028933A (ko) 2004-04-03
US9456275B2 (en) 2016-09-27
US20090268920A1 (en) 2009-10-29
JP4378170B2 (ja) 2009-12-02
US20050074129A1 (en) 2005-04-07
US8885850B2 (en) 2014-11-11
US20140233758A1 (en) 2014-08-21
CN1535555A (zh) 2004-10-06
WO2003013185A1 (en) 2003-02-13
US7386135B2 (en) 2008-06-10
US9491544B2 (en) 2016-11-08
CN1535555B (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
JP4378170B2 (ja) 所望のゼロ点を有するカーディオイド・ビームに基づく音響装置、システム及び方法
JP5007442B2 (ja) 発話改善のためにマイク間レベル差を用いるシステム及び方法
EP3542547B1 (en) Adaptive beamforming
EP2916321B1 (en) Processing of a noisy audio signal to estimate target and noise spectral variances
US7983907B2 (en) Headset for separation of speech signals in a noisy environment
EP2207168B1 (en) Robust two microphone noise suppression system
CN105869651B (zh) 基于噪声混合相干性的双通道波束形成语音增强方法
US20070021958A1 (en) Robust separation of speech signals in a noisy environment
US9406293B2 (en) Apparatuses and methods to detect and obtain desired audio
US9532138B1 (en) Systems and methods for suppressing audio noise in a communication system
Schwarz et al. A two-channel reverberation suppression scheme based on blind signal separation and Wiener filtering
Reindl et al. An acoustic front-end for interactive TV incorporating multichannel acoustic echo cancellation and blind signal extraction
Adcock et al. Practical issues in the use of a frequency‐domain delay estimator for microphone‐array applications
Braun et al. Directional interference suppression using a spatial relative transfer function feature
Kowalczyk et al. Embedded system for acquisition and enhancement of audio signals
Azarpour et al. Adaptive binaural noise reduction based on matched-filter equalization and post-filtering
Nordholm et al. Hands‐free mobile telephony by means of an adaptive microphone array
Agrawal et al. Dual microphone beamforming algorithm for acoustic signals
Elko Future directions for microphone arrays
Mohammed et al. Real-time implementation of new adaptive beamformer sensor array for speech enhancement in hearing aid
Schmidt Part 3: Beamforming
Goodwin Joe DiBiase, Michael Brandstein (Box D, Brown Univ., Providence, RI 02912), and Harvey F. Silverman (Brown University, Providence, RI 02912) A frequency-domain delay estimator has been used as the basis of a microphone-array talker location and beamforming system [M. S. Brandstein and HF Silverman, Techn. Rep. LEMS-116 (1993)]. While the estimator has advantages over previously employed correlation-based delay estimation methods [HF Silverman and SE Kirtman, Cornput. Speech Lang. 6, 129-152 (1990)], including
Wouters et al. Noise reduction approaches for improved speech perception

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080205

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090519

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090914

R150 Certificate of patent or registration of utility model

Ref document number: 4378170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term