JP2009535997A - コンソール上にファーフィールドマイクロフォンを有する電子装置におけるノイズ除去 - Google Patents

コンソール上にファーフィールドマイクロフォンを有する電子装置におけるノイズ除去 Download PDF

Info

Publication number
JP2009535997A
JP2009535997A JP2009509909A JP2009509909A JP2009535997A JP 2009535997 A JP2009535997 A JP 2009535997A JP 2009509909 A JP2009509909 A JP 2009509909A JP 2009509909 A JP2009509909 A JP 2009509909A JP 2009535997 A JP2009535997 A JP 2009535997A
Authority
JP
Japan
Prior art keywords
signal
console
narrowband
noise
frequency bin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009509909A
Other languages
English (en)
Other versions
JP4866958B2 (ja
Inventor
マオ シャドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/418,988 external-priority patent/US8160269B2/en
Priority claimed from US11/381,725 external-priority patent/US7783061B2/en
Priority claimed from US11/381,724 external-priority patent/US8073157B2/en
Priority claimed from US11/381,721 external-priority patent/US8947347B2/en
Priority claimed from US11/429,047 external-priority patent/US8233642B2/en
Priority claimed from US11/418,989 external-priority patent/US8139793B2/en
Priority claimed from US11/381,727 external-priority patent/US7697700B2/en
Priority claimed from PCT/US2006/017483 external-priority patent/WO2006121896A2/en
Priority claimed from US11/381,728 external-priority patent/US7545926B2/en
Priority claimed from US11/381,729 external-priority patent/US7809145B2/en
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of JP2009535997A publication Critical patent/JP2009535997A/ja
Application granted granted Critical
Publication of JP4866958B2 publication Critical patent/JP4866958B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02163Only one microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Abstract

【解決手段】1以上のマイクロフォンを有し、狭帯域分布ノイズ源が位置するコンソールを有する装置において、ノイズを低減する方法が開示される。広帯域に分布する所望の音と、コンソール上に位置するノイズ源からの狭帯域分布ノイズとを含むマイクロフォン信号が、複数の周波数ビンに分割される。各周波数ビンについて、その周波数ビン内の信号の一部が、前記コンソール上に位置するノイズ源からの狭帯域分布特性に属するか、決定される。狭帯域ノイズを低減するために、狭帯域分布特性に属する信号を含む周波数ビンがフィルタリング処理される。
【選択図】図2

Description

[優先権の主張]
本出願は、本出願と譲受人が共通であって本出願と同時に係属する特許文献1の恩恵を主張し、その開示内容全体をここに援用する。本出願は、本出願と譲受人が共通であって本出願と同時に係属する特許文献2の恩恵を主張し、その開示内容全体をここに援用する。本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献3の恩恵を主張し、その開示内容全体をここに援用する。本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献4の恩恵を主張し、その開示内容全体をここに援用する。本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献5の恩恵を主張し、その開示内容全体をここに援用する。本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献6の恩恵を主張し、その開示内容全体をここに援用する。本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献7の恩恵を主張し、その開示内容全体をここに援用する。本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献8の恩恵を主張し、その開示内容全体をここに援用する。本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献9の恩恵を主張し、その開示内容全体をここに援用する。本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献10の恩恵を主張し、その開示内容全体をここに援用する。
米国特許出願 第11/381,727号,シャドン マオ, "NOISE REMOVAL FOR ELECTRONIC DEVICE WITH FAR FIELD MICROPHONE ON CONSOLE", 2006年5月4日出願, (代理人整理番号SCEA05073US00) 米国特許出願 第11/381,729号,シャドン マオ, "ULTRA SMALL MICROPHONE ARRAY", 2006年5月4日出願, (代理人整理番号SCEA05062US00) 米国特許出願 第11/381,728号,シャドン マオ, "ECHO AND NOISE CANCELATION", 2006年5月4日出願, (代理人整理番号SCEA05064US00) 米国特許出願 第11/381,725号,シャドン マオ, "METHODS AND APPARATUS FOR TARGETED SOUND DETECTION", 2006年5月4日出願, (代理人整理番号SCEA05072US00), 米国特許出願 第11/381,724号,シャドン マオ, "METHODS AND APPARATUS FOR TARGETED SOUND DETECTION AND CHARACTERIZATION", 2006年5月4日出願, (代理人整理番号SCEA05079US00) 米国特許出願 第11/381,721号,シャドン マオ, "SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING", 2006年5月4日出願, (代理人整理番号SCEA04005 JUMBOUS) PCT出願 PCT/US06/17483号,シャドン マオ, "SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING", 2006年5月4日出願, (代理人整理番号SCEA04005 JUMBOPCT) 米国特許出願 第11/418,988号,シャドン マオ, "METHODS AND APPARATUSES FOR ADJUSTING A LISTENING AREA FOR CAPTURING SOUNDS", 2006年5月4日出願, (代理人整理番号SCEA-00300) 米国特許出願 第11/418,989号,シャドン マオ, "METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON VISUAL IMAGE", 2006年5月4日出願, (代理人整理番号SCEA-00400) 米国特許出願 第11/429,047号,シャドン マオ, "METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON A LOCATION OF THE SIGNAL", 2006年5月4日出願, (代理人整理番号SCEA-00500)
多くの民生用電子装置において、様々なユーザコントロール装置や入力装置を含むコンソールが用いられている。テレビゲームコンソールや、ケーブルテレビセット・トップボックスや、デジタルビデオレコーダのような多くの用途において、コンソールにはマイクロフォンが組み込まれていることが望ましい。コストを削減するために、マイクロフォンは典型的には、優先的な受信方向を有さない従来型の全方向性マイクロフォンである。残念ながら、このような電子装置コンソールは、冷却ファン、ハードディスクドライブ、CD−ROMドライブ、デジタルビデオディスク(DVD)ドライブのようなノイズ源をも含む。コンソール上に位置するマイクロフォンは、例えばユーザの音声コマンドなどの所望の音声入力を多いに妨害しうる。この問題に対処するために、これらのノイズ源からのノイズをフィルタリング処理により除去する技術がこれらの装置に実装されている。
従来の手法は、広帯域(ブロードバンド)に分布するノイズをフィルタリング処理により除去する場合において、効果的であった。例えば、ファンからのノイズはガウス分布に従うため、周波数の広帯域にわたって分布している。このようなノイズは、ガウス分布によってシミュレーションすることができ、コンソールのマイクロフォンの入力信号から打ち消す(cancel)ことができる。例えばハードディスクやDVDドライブなどのディスクドライブからのノイズは、ガンマ分布や狭帯域ラプラス分布のような狭帯域(ナローバンド)周波数分布によって特徴づけられる。残念ながら、ガウス分布ノイズ用の方法であって、ガンマ分布に従うノイズの除去に適した決定的な方法はない。
[発明の概要]
本発明の実施例は、1以上のマイクロフォンのあるコンソールを有し、狭帯域(ナローバンド)分布ノイズ源もまたそのコンソール上に位置する装置におけるノイズの低減を目的とする。広帯域に分布する所望の音と狭帯域に分布するノイズを含むマイクロフォン信号が、複数の周波数ビンに分割される。各周波数ビンにおいて、信号のその周波数ビン内の一部が、そのコンソールに位置する狭帯域ノイズ源の狭帯域分布特性に属するかどうか、決定される。狭帯域ノイズを低減するために、狭帯域分布に属する信号の一部を含む周波数ビンが、フィルタリング処理される。
本発明の教示は、添付の図面とともに、以下の詳細な図面を考慮することによって、容易に理解することができる。
本発明の1実施形態にかかる電子装置の概略図である。 図1に示されるタイプの装置におけるノイズ低減方法のフローチャートである。 図3A−3Bは、本発明の実施形態にかかる狭帯域ノイズ低減を説明するグラフであり、マイクロフォン信号を周波数の関数として示すグラフである。 図4A−4Bは、本発明の別の実施形態にかかる狭帯域ノイズ低減を説明するグラフであり、異なるマイクロフォンのマイクロフォン信号を周波数の関数として示すグラフである。
[具体的な実施形態の説明]
以下の詳細な説明は、説明の目的のための具体的な細部を含むが、以下の細部について、多くの変形や変更が、本発明の範囲内において可能であることは、当該技術分野において通常の知識を有する者に理解されるだろう。したがって、以下に記述される本発明の実施例の説明により、特許請求の範囲に記載されている発明が一般性を失うことはなく、また、制限されることはない。
図1に示されるように、本発明の実施形態にかかる電子装置100は、1以上のマイクロフォン104A、104Bを有するコンソール102を含む。ここで用いられるように、コンソールという語は、一般的に、計算かつ/または信号処理機能を実行する電子コンポーネントを含むスタンドアローンユニットを指す。コンソールは、例えばジョイスティック106のような、1以上の外部入力装置からの入力を受けてもよい。そして、コンソールは、例えばモニタ108のような1以上の外部出力装置に出力を供給してもよい。コンソール102は、CPU110とメモリ112を含んでもよい。コンソールは、オプションとして、コンソールのコンポーネントを冷却するためのファン114を含んでもよい。コンソール102は、例えば、ソニープレイステーション(登録商標)のようなテレビゲームシステムのコンソールであってもよく、ケーブルテレビセット・トップボックスであってもよく、カルフォルニア州アルビソのTiVoIncが提供するTiVoデジタルビデオレコーダであってもよい。
プロセッサユニット110とメモリ112は、システムバス116を介して互いに接続されていてもよい。マイクロフォン104Aと104Bは、入出力(I/O)エレメント118を通して、プロセッサかつ/またはメモリと接続されていてもよい。ここで用いられるように、入出力(I/O)という言葉は、一般的に、コンソール100への/からの、および周辺装置への/からのデータを転送する任意のプログラム、オペレーション、または装置を指す。すべてのデータ転送が、一の装置からの出力であり、他の一の装置への入力であると見なすことができるであろう。
装置100は、コンソール102に対して内部の、または外部の追加的な1以上の周辺ユニットを含んでもよい。周辺装置は、キーボードやマウスなどの入力のみの装置や、プリンタなどの出力のみの装置、そして上書き可能CD−ROMなどの入力装置かつ出力装置として動作する装置を含む。周辺装置という言葉は、マウス、キーボード、プリンタ、モニタ、マイクロフォン、ゲームコントローラ、カメラ、外部Zipドライブ、スキャナなどの外部装置と、CD−ROMドライブ、CD−Rドライブ、ハードディスクドライブ、DVDドライブ、内部モデムなどの内部装置(例えば、ディスクドライブ120)、および、フラッシュメモリ用リーダ/ライタ、ハードドライブなどのそのほかの周辺装置を含む。
コンソールは少なくとも一つの、ディスクドライブ120のような狭帯域分布ノイズ源を含む。ディスクドライブ120からの狭帯域ノイズは、マイクロフォン入力x(t)、x(t)から生成されたデジタル信号からフィルタリング処理される。これにより、例えばリモートソース101からの音声などの所望の音が、ディスクドライブ120の音によりかき消されないようにできる。狭帯域ノイズはガンマ分布により特徴づけられるかもしれない。ソース101からの所望の音は、望ましくは、ガウス分布確率密度関数のような広帯域確率密度関数によって特徴づけられる。
メモリ112は、プロセッサ110によって実行可能なコード化された命令、かつ/または、狭帯域ディスクドライブノイズの除去を促進するデータ115を含んでもよい。特に、データ115は、ディスクドライブからの音の録音の長時間トレーニングデータから作成された分布関数を含んでもよい。分布関数は、ルックアップテーブルの形で格納されていてもよい。
コード化された命令113は、図1に示されるタイプの装置における狭帯域分布ノイズを低減するための方法200を実行してもよい。方法200によると、1以上のコンソールマイクロフォン入力信号104A、104Bは、ステップ202に示されるように、周波数ビンに分割される。信号を複数の周波数ビンに分割するステップは、時間窓で切り取られた信号の一部(例えば、マイクロフォン信号x(t))を取得するステップ、その時間窓で切り取られた信号の一部を周波数領域信号x(f)に変換するステップ(例えば高速フーリエ変換を用いて)、周波数領域信号を周波数ビンに分割するステップを含んでもよい。ステップ204において、例えば、約32ミリ秒のマイクロフォンデータが、周波数ビンに分類するためのバッファに格納されているかもしれない。それぞれの周波数ビンについて、信号の一部であるその周波数ビン内の信号が、狭帯域ディスクドライブノイズの狭帯域分布特性に属するかどうか、決定される。ステップ206に示されるように、狭帯域分布に属する信号の一部を含む周波数ビンは、入力信号から、フィルタリング処理によって除去される。
入力信号のフィルタリング処理については、図3A−Bを参照することにより理解されるであろう。具体的には、図3Aに示されるように、周波数領域信号x(f)は、広帯域信号302と狭帯域信号304の組み合わせであると見なすことができるであろう。図3Bに示されるように、これらの信号が周波数ビン306に分割されるとき、各ビンは、広帯域信号302の一部と、狭帯域信号304の一部に対応する値を含む。信号x(f)の、所与の周波数ビンにおける狭帯域信号304に起因する一部(図3Bにおいて、破線の棒グラフで示されている)は、トレーニングデータから予測することができるであろう。この部分は、そのビンにおいて狭帯域ノイズをフィルタリング処理により除去するために、周波数ビン306内の値から差し引かれてもよい。
狭帯域信号304は、以下のように予測されてもよい。初めに、分布モデルのトレーニングのために、大きなボリュームにおいて、狭帯域信号サンプルが採集される。分布モデルは、スピーチモデリングのようなパターン認識技術分野において、当業者に広く知られている。狭帯域信号304のための分布モデルは、スピーチモデリングにおいて用いられるモデルと、いくつかの例外を除いて近似する。具体的には、ガウス分布による広帯域分布と考えられているスピーチと異なり、狭帯域信号304内の狭帯域ノイズは、「ガンマ」分布密度関数を有する。この分布モデルは、「ガンマミックスモデル」として知られている。これに対して、話者/言語認識のようなスピーチ応用例においては、通常、「ガウス分布ミックスモデル」が用いられる。これら二つのモデルは非常に近似しており、基礎となる分布関数のみが、大きく異なる。モデルトレーニング手法は、スピーチモデリングにおいて広く利用可能である「予測最大」(EM:Estimate−Maximize)アルゴリズムに従う。EMアルゴリズムは、トレーニングデータセットから、モデルパラメータの組を予測するインタラクティブな尤度最大化(liklihood maximization)方法である。特徴ベクトル(feature vector)が、パワースペクトラムの対数から直接的に生成される。これに対して、スピーチモデルにおいては、通常、DCTやセプトラム係数(ceptrum−coefficient)のような、さらなる圧縮が適用される。これは、興味の対象となる信号は狭帯域に分布し、広帯域バックグラウンドにおける減衰につながる帯域平均は望しくないからである。実時間において、モデルは、狭帯域ノイズパワースペクトラム密度(PSD)を予測するために用いられる。
このようなモデルに対するアルゴリズムは以下のように進められる。
初めに、信号x(t)が、時間領域から周波数領域に変換される。
X(k)=fft(x(t))
ここで、kは、周波数インデックスである。
次に周波数領域信号X(k)から、パワースペクトラムが取得される。
yy(k)=X(k).conj(X(k))
ここで、「conj」は、複素共役を指す。
次に、パワースペクトラムの対数から、特徴ベクトルV(k)が、取得される。
V(k)=log(Syy(k))
「特徴ベクトル」という語は、パターン認識において広く用いられる語である。基本的に、任意のパターンマッチングは、1)先験的な(priori)特徴空間における分布を定義するあらかじめトレーニングされたモデルと、2)ランタイムが観測される特徴ベクトルと含む。タスクは、特徴ベクトルをモデルに対してマッチングすることである。事前にトレーニングされたガンマ<モデル>を所与として、狭帯域ノイズが存在する確率<P(k)>は、この観測された特徴V(k)から取得できる。
(k)=Gamma(Model,V(k))
狭帯域ノイズPSDは、適応的に更新される。
nn(k)=αnn(k)+(1−α)yy(k)(k)+Snn(k)(1−P(k))
Pn(k)が、0であるならば、すなわち、狭帯域ノイズは存在せず、Snn(k)は、変化しない。P(k)=1であるならば、すなわち、周波数<k>は、完全に狭帯域ノイズである。そうすると、
nn(k)=αnn(k)+(1−α)yy(k)
が成り立つ。これは基本的に、統計的ピリオドグラム平均である。ここでαは、スムージングファクタである。
予測ノイズPSDを所与として、クリーンな音声信号を予測することは、複雑ではない。このような予測を実行するためのアルゴリズムの例は、よく知られており、非特許文献1および非特許文献に記載されるMMSEに基づく。両文献の開示内容を、ここに援用する。
Y. Ephraim and D. Malah, "Speech enhancement using a minimum mean-square error short-time spectral amplitude estimator," IEEE Trans. Acoust, Speech, Signal Processing, Vol. ASSP-32, 1109-112ページ, 1984年12月 D. Malah, "Speech enhancement using a minimum mean-square error log- spectral amplitude estimator," IEEE Trans. Acoust., Speech, Signal Processing, Vol. ASSP- 33, 443-445ページ, 1985年4月
また別の実施形態においては、フィルタリング処理に当たって、コンソール102上の2以上のマイクロフォンの存在を有利に活用してもよい。コンソール102上に二つのマイクロフォン104A、104Bがある時には、そのうちの一方(104B)が他方(104)よりも、ディスクドライブの近くにあるかもしれない。その結果、マイクロフォン入力信号x(t)とx(t)とで、ディスクドライブ120からのノイズの到着時間が異なる。到着時間の差は、図4A−Bに示されるように、入力信号x(t)とx(t)が、それぞれx(f)とx(f)へと周波数変換されたときの、周波数分布の差に帰着する。これに対して、リモートソースからの周波数が広帯域に分布することに関しては、x(t)とx(t)とについて、それほど違いはないであろう。しかしながら、マイクロフォン104Aからの狭帯域信号304Aの周波数分布は、マイクロフォン104Bからの周波数分布304Bに対して、周波数がシフトしているだろう。周波数ビン306に対する狭帯域ノイズの寄与は、二つのマイクロフォン104A、104Bからの周波数領域信号x(f)、x(f)から特徴ベクトルV(k)を生成することにより決定することができる。
例えば、第一特徴ベクトルV(k,A)は、マイクロフォン104AについてのパワースペクトラムSyy(k,A)から生成される。
V(k,A)=log(Syy(k,A))
第二特徴ベクトルV(k,B)は、マイクロフォン104BについてのパワースペクトラムSyy(k,B)から生成される。
V(k,B)=log(Syy(k,B))
特徴ベクトルV(k)は、V(k,A)とV(k,B)とを、単純に連結することにより得られる。
V(k)=[V(k,1),V(k,2)]
残りのモデルトレーニング、実時間検出は、モデルサイズと特徴ベクトルの次元が倍であることを除いて、同じである。上述の手法においては、アレイビームフォーミング(array beam forming)も、到着時間差に依存する手法も用いていないが、実際には、空間情報は、トレーニングされたモデルとランタイム特徴ベクトルに、暗に含まれており、検出における正確性を大いに向上させる。
本発明の実施形態は、ここで提示されたように用いられてもよく、また他のユーザ入力メカニズムと共に用いられてもよい。方位角方向や音声のボリュームを追跡したり測定したりするメカニズム、かつ/または、能動的または受動的にオブジェクトの位置を追跡するメカニズム、マシン・ビジョンを用いるメカニズム、これらの組み合わせなどである。追跡されるオブジェクトは、システムへのフィードバックを操作する補助的なコントロール装置やボタンを含んでもよい。そのようなフィードバックには、光源からの光の放射、音質の歪曲手段、その他の適切な送信機、変調器、コントロール装置、ボタン、圧力パッドなどが含まれてもよいが、これらに制限されるものではない。それは、同じ符号化状態の転送や変調に影響を及ぼしてもよく、かつ/または、システムによって追跡されている装置への命令や、その装置からの命令を転送してもよい。そのような装置は、本発明の実施形態に関連して用いられるシステムの一部であったり、またはシステムと相互作用したり、またはシステムに影響を与えたりする。
以上は、本発明の好ましい実施形態の完全な記述であるが、他の様々な変形、変更、等価物への置換が可能である。それゆえ、本発明の範囲は、上記の記述によって決定されるのではなく、以下の請求項によって決定されるべきであり、その完全な等価物もその範囲に含まれる。ここで記述された特徴は、好ましいものであるか否かに関わらず、ここで述べたいずれの特徴と組み合わされてもよい。以下の請求項においては、特に明示的に断らない限りは、各要素の数量は一以上である。ここに、添付される請求項は、所与の請求項において、「〜ための手段」との語句を用いて明示的に示される場合の他は、ミーンズ・プラス・ファンクションの制限を含むと解されてはならない。

Claims (21)

  1. コンソールを有する装置においてノイズを低減する方法であって、そのコンソールは、1以上のマイクロフォンとそのコンソール上に位置する狭帯域分布ノイズ源とを有し、
    広帯域に分布する所望の音と、前記コンソール上に位置するノイズ源からの狭帯域分布ノイズとを含む信号を、前記1以上のマイクロフォンから取得するステップと、
    前記信号を、複数の周波数ビンに分割するステップと、
    各周波数ビンについて、その周波数ビン内の前記信号の一部が、前記コンソール上に位置するノイズ源からの狭帯域分布特性に属するか、決定するステップと、
    前記信号から、狭帯域分布特性に属する前記信号の一部を含む周波数ビンをフィルタリング処理するステップと、
    を備える方法。
  2. 前記その周波数ビン内の前記信号の一部が狭帯域分布特性に属するか決定するステップは、その周波数ビン内の前記信号の一部に対応する値と、前記コンソール上に位置するノイズ源からの既知の信号から導出された、その周波数ビンの値として格納されている値とを比較するステップを含む請求項1に記載の方法。
  3. 前記1以上のマイクロフォンは、第1マイクロフォンと、第2マイクロフォンとを含み、
    前記1以上のマイクロフォンから信号を取得するステップは、前記第1マイクロフォンから第1信号を取得するステップと、前記第2マイクロフォンから第2信号を取得するステップとを含み、
    前記その周波数ビン内の前記信号の一部が狭帯域分布特性に属するか決定するステップは、前記第1信号から第1ベクトル特性を決定し、前記第2信号から第2ベクトル特性を取得するステップと、前記第1信号と前記第2信号とを連結させて結合特徴ベクトルを形成し、その結合特徴ベクトルをモデルに対してマッチングするステップとを含む請求項1に記載の方法。
  4. 前記信号を、複数の周波数ビンに分割するステップは、
    時間窓で切り取られた前記信号の一部を取り込むステップと、
    前記時間窓で切り取られた前記信号の一部を周波数領域信号に変換するステップと、
    前記周波数領域信号を、複数の周波数ビンに分割するステップと、
    を含む請求項1に記載の方法。
  5. 前記広帯域に分布する所望の音は、音声である請求項1に記載の方法。
  6. 前記狭帯域分布ノイズのノイズ源は、ディスクドライブである請求項1に記載の方法。
  7. 前記広帯域に分布する所望の音は、ガウス分布確率密度関数で特徴づけられる請求項1に記載の方法。
  8. 前記狭帯域ノイズは、ガンマ分布確率密度関数で特徴づけられる請求項1に記載の方法。
  9. 電子装置であって、
    コンソールと、
    前記コンソール上に位置する1以上のマイクロフォンと、
    前記コンソール上に位置する狭帯域ノイズのノイズ源と、
    前記マイクロフォンに接続されているプロセッサと、
    前記プロセッサに接続されており、ノイズ低減方法を実装するためのプロセッサ可読命令セットを格納するメモリとを備え、
    前記プロセッサ可読命令は、
    実行された際に、広帯域に分布する所望の音と、前記コンソール上に位置するノイズ源からの狭帯域分布ノイズとを含む信号を、前記1以上のマイクロフォンから取得するステップを前記装置に実行せしめる命令と、
    実行された際に、前記信号を複数の周波数ビンに分割するステップを前記装置に実行せしめる命令と、
    実行された際に、各周波数ビンについて、その周波数ビン内の前記信号の一部が、前記コンソール上に位置するノイズ源からの狭帯域分布特性に属するか、決定するステップを前記装置に実行せしめる命令と、
    実行された際に、前記信号から、狭帯域分布特性に属する前記信号の一部を含む周波数ビンをフィルタリング処理するステップを前記装置に実行せしめる命令と、
    を含む電子装置。
  10. 前記実行された際に各周波数ビンについてその周波数ビン内の前記信号の一部が前記コンソール上に位置するノイズ源からの狭帯域分布特性に属するか決定するステップを前記装置に実行せしめる命令は、
    実行された際に、その周波数ビン内の前記信号の一部に対応する値と、前記コンソール上に位置するノイズ源からの既知の信号から導出されたその周波数ビンの値として格納されている値とを比較する1以上の命令を含む請求項9に記載の装置。
  11. 前記メモリに格納されたルックアップテーブルをさらに備え、
    前記ルックアップテーブルは、前記格納されている値を含む請求項10に記載の装置。
  12. 前記1以上のマイクロフォンは、第1マイクロフォンと、第2マイクロフォンとを含む請求項9に記載の装置。
  13. 前記実行された際に信号を前記1以上のマイクロフォンから取得するステップを前記装置に実行せしめる命令は、
    実行された際に、第1マイクロフォンから第1信号を取得するステップと、第2マイクロフォンとから第2信号を取得するステップとを前記装置に実行せしめる1以上の命令を含み、
    前記その周波数ビン内の前記信号の一部が狭帯域分布特性に属するか決定するステップは、前記第1信号から第1ベクトル特性を決定し、前記第2信号から第2ベクトル特性を取得するステップと、前記第1信号と前記第2信号とを連結させて結合特徴ベクトルを形成し、その結合特徴ベクトルをモデルに対してマッチングするステップとを含む請求項9に記載の装置。
  14. 前記実行された際に前記信号を複数の周波数ビンに分割するステップを前記装置に実行せしめる命令は、
    時間窓で切り取られた前記信号の一部を取り込むステップと、
    前記時間窓で切り取られた前記信号の一部を周波数領域信号に変換するステップと、
    前記周波数領域信号を、複数の周波数ビンに分割するステップと、
    を前記装置に実行せしめる命令を含む請求項9に記載の装置。
  15. 前記広帯域に分布する所望の音は、音声である請求項9に記載の装置。
  16. 前記狭帯域分布ノイズのノイズ源は、ディスクドライブである請求項9に記載の装置。
  17. 前記広帯域に分布する所望の音は、ガウス分布確率密度関数で特徴づけられる請求項9に記載の装置。
  18. 前記狭帯域ノイズは、ガンマ分布確率密度関数で特徴づけられる請求項9に記載の装置。
  19. 前記コンソールは、テレビゲームコンソールである請求項9に記載の装置。
  20. 前記コンソールは、デジタルビデオレコーダ、またはケーブルテレビセットトップボックスである請求項9に記載の装置。
  21. コンソールを有する電子装置においてノイズ低減方法を実装するためのプロセッサ可読命令セットを格納したプロセッサ可読媒体であって、前記コンソールには1以上のマイクロフォンが位置しており、前記コンソールには狭帯域分布ノイズのノイズ源が位置しており、プロセッサはマイクロフォンと接続されており、メモリはプロセッサと接続されており、
    前記プロセッサ可読命令は、
    実行された際に、広帯域に分布する所望の音と、前記コンソール上に位置するノイズ源からの狭帯域分布ノイズとを含む信号を、前記1以上のマイクロフォンから取得するステップを前記装置に実行せしめる命令と、
    実行された際に、前記信号を複数の周波数ビンに分割するステップを前記装置に実行せしめる命令と、
    実行された際に、各周波数ビンについて、その周波数ビン内の前記信号の一部が、前記コンソール上に位置するノイズ源からの狭帯域分布特性に属するか決定するステップを前記装置に実行せしめる命令と、
    実行された際に、前記信号から、狭帯域分布特性に属する前記信号の一部を含む周波数ビンをフィルタリング処理するステップを前記装置に実行せしめる命令と、
    を含む媒体。
JP2009509909A 2006-05-04 2007-03-30 コンソール上にファーフィールドマイクロフォンを有する電子装置におけるノイズ除去 Expired - Fee Related JP4866958B2 (ja)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US11/429,047 2006-05-04
US11/381,727 2006-05-04
US11/418,988 2006-05-04
US11/381,728 US7545926B2 (en) 2006-05-04 2006-05-04 Echo and noise cancellation
US11/418,989 2006-05-04
US11/381,725 2006-05-04
US11/381,729 2006-05-04
US11/418,989 US8139793B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for capturing audio signals based on a visual image
USPCT/US2006/017483 2006-05-04
PCT/US2006/017483 WO2006121896A2 (en) 2005-05-05 2006-05-04 Microphone array based selective sound source listening and video game control
US11/381,727 US7697700B2 (en) 2006-05-04 2006-05-04 Noise removal for electronic device with far field microphone on console
US11/418,988 US8160269B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for adjusting a listening area for capturing sounds
US11/381,729 US7809145B2 (en) 2006-05-04 2006-05-04 Ultra small microphone array
US11/381,725 US7783061B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for the targeted sound detection
US11/429,047 US8233642B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for capturing an audio signal based on a location of the signal
US11/381,721 2006-05-04
US11/381,721 US8947347B2 (en) 2003-08-27 2006-05-04 Controlling actions in a video game unit
US11/381,724 2006-05-04
US11/381,724 US8073157B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for targeted sound detection and characterization
US11/381,728 2006-05-04
PCT/US2007/065701 WO2007130766A2 (en) 2006-05-04 2007-03-30 Narrow band noise reduction for speech enhancement

Publications (2)

Publication Number Publication Date
JP2009535997A true JP2009535997A (ja) 2009-10-01
JP4866958B2 JP4866958B2 (ja) 2012-02-01

Family

ID=56290936

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009509908A Expired - Fee Related JP4476355B2 (ja) 2006-05-04 2007-03-30 エコー及びノイズキャンセレーション
JP2009509909A Expired - Fee Related JP4866958B2 (ja) 2006-05-04 2007-03-30 コンソール上にファーフィールドマイクロフォンを有する電子装置におけるノイズ除去
JP2010019147A Expired - Fee Related JP4833343B2 (ja) 2006-05-04 2010-01-29 エコー及びノイズキャンセレーション

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009509908A Expired - Fee Related JP4476355B2 (ja) 2006-05-04 2007-03-30 エコー及びノイズキャンセレーション

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010019147A Expired - Fee Related JP4833343B2 (ja) 2006-05-04 2010-01-29 エコー及びノイズキャンセレーション

Country Status (3)

Country Link
EP (2) EP2014132A4 (ja)
JP (3) JP4476355B2 (ja)
WO (2) WO2007130765A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010249939A (ja) * 2009-04-13 2010-11-04 Sony Corp ノイズ低減装置、ノイズ判定方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5772591B2 (ja) * 2009-03-18 2015-09-02 日本電気株式会社 音声信号処理装置
JP4964267B2 (ja) * 2009-04-03 2012-06-27 有限会社ケプストラム 適応フィルタ及びこれを有するエコーキャンセラ
EP2858068A4 (en) * 2012-05-31 2016-02-24 Toyota Motor Co Ltd SOUND SOUND DETECTION DEVICE, NOISE GENERATION EQUIPMENT, NOISE REDUCTION APPARATUS, APPARATUS FOR ESTIMATING SOUND SOURCE DEVICE, DEVICE FOR RECOGNIZING A DEACTIVATIVE VEHICLE, AND NOISE REDUCTION METHOD
CN109166589A (zh) * 2018-08-13 2019-01-08 深圳市腾讯网络信息技术有限公司 应用声音抑制方法、装置、介质以及设备
EP4078577A1 (en) * 2019-12-18 2022-10-26 Dolby Laboratories Licensing Corp. Filter adaptation step size control for echo cancellation
CN113689871A (zh) * 2020-05-19 2021-11-23 阿里巴巴集团控股有限公司 回声消除方法和装置
CN112017679B (zh) * 2020-08-05 2024-01-26 海尔优家智能科技(北京)有限公司 用于自适应滤波器系数更新的方法及装置、设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340599A (ja) * 1991-05-16 1992-11-26 Ricoh Co Ltd 雑音除去装置
JPH06303689A (ja) * 1993-04-16 1994-10-28 Oki Electric Ind Co Ltd ノイズ除去装置
JPH09503590A (ja) * 1993-07-07 1997-04-08 ピクチャーテル コーポレイション 会話の品質向上のための背景雑音の低減
JP2001513916A (ja) * 1997-03-03 2001-09-04 テレフォンアクチーボラゲット エル エム エリクソン(パブル) 音声復号器用の高分解能後処理方法
JP2001299835A (ja) * 2000-04-24 2001-10-30 Tomi Kensetsu:Kk 介護装置及びこの介護装置を用いた介護ルーム
JP2002537586A (ja) * 1999-02-18 2002-11-05 アンドレア エレクトロニクス コーポレイション 雑音を消去するためのシステム、方法及び装置
JP2003284181A (ja) * 2002-03-20 2003-10-03 Matsushita Electric Ind Co Ltd 集音装置
JP2004254329A (ja) * 2003-02-21 2004-09-09 Herman Becker Automotive Systems-Wavemakers Inc ウィンドノイズを抑圧するシステム
JP2005197956A (ja) * 2004-01-06 2005-07-21 Matsushita Electric Ind Co Ltd 周期性雑音抑圧装置
WO2006007290A2 (en) * 2004-06-30 2006-01-19 Motorola, Inc., A Corporation Of The State Of Delaware Method and apparatus for equalizing a speech signal generated within a self-contained breathing apparatus system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4802227A (en) * 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
US5806025A (en) * 1996-08-07 1998-09-08 U S West, Inc. Method and system for adaptive filtering of speech signals using signal-to-noise ratio to choose subband filter bank
FR2771542B1 (fr) * 1997-11-21 2000-02-11 Sextant Avionique Procede de filtrage frequentiel applique au debruitage de signaux sonores mettant en oeuvre un filtre de wiener
DE19806015C2 (de) * 1998-02-13 1999-12-23 Siemens Ag Verfahren zur Verbesserung der akustischen Rückhördämpfung in Freisprecheinrichtungen
US6263078B1 (en) * 1999-01-07 2001-07-17 Signalworks, Inc. Acoustic echo canceller with fast volume control compensation
US6426979B1 (en) * 1999-04-29 2002-07-30 Legerity, Inc. Adaptation control algorithm for echo cancellation using signal-value based analysis
US6526139B1 (en) * 1999-11-03 2003-02-25 Tellabs Operations, Inc. Consolidated noise injection in a voice processing system
US7139401B2 (en) * 2002-01-03 2006-11-21 Hitachi Global Storage Technologies B.V. Hard disk drive with self-contained active acoustic noise reduction
DE10305369B4 (de) * 2003-02-10 2005-05-19 Siemens Ag Benutzeradaptives Verfahren zur Geräuschmodellierung
US6947549B2 (en) * 2003-02-19 2005-09-20 The Hong Kong Polytechnic University Echo canceller
WO2006040734A1 (en) * 2004-10-13 2006-04-20 Koninklijke Philips Electronics N.V. Echo cancellation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340599A (ja) * 1991-05-16 1992-11-26 Ricoh Co Ltd 雑音除去装置
JPH06303689A (ja) * 1993-04-16 1994-10-28 Oki Electric Ind Co Ltd ノイズ除去装置
JPH09503590A (ja) * 1993-07-07 1997-04-08 ピクチャーテル コーポレイション 会話の品質向上のための背景雑音の低減
JP2001513916A (ja) * 1997-03-03 2001-09-04 テレフォンアクチーボラゲット エル エム エリクソン(パブル) 音声復号器用の高分解能後処理方法
JP2002537586A (ja) * 1999-02-18 2002-11-05 アンドレア エレクトロニクス コーポレイション 雑音を消去するためのシステム、方法及び装置
JP2001299835A (ja) * 2000-04-24 2001-10-30 Tomi Kensetsu:Kk 介護装置及びこの介護装置を用いた介護ルーム
JP2003284181A (ja) * 2002-03-20 2003-10-03 Matsushita Electric Ind Co Ltd 集音装置
JP2004254329A (ja) * 2003-02-21 2004-09-09 Herman Becker Automotive Systems-Wavemakers Inc ウィンドノイズを抑圧するシステム
JP2005197956A (ja) * 2004-01-06 2005-07-21 Matsushita Electric Ind Co Ltd 周期性雑音抑圧装置
WO2006007290A2 (en) * 2004-06-30 2006-01-19 Motorola, Inc., A Corporation Of The State Of Delaware Method and apparatus for equalizing a speech signal generated within a self-contained breathing apparatus system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010249939A (ja) * 2009-04-13 2010-11-04 Sony Corp ノイズ低減装置、ノイズ判定方法

Also Published As

Publication number Publication date
WO2007130766A3 (en) 2008-09-04
EP2014132A2 (en) 2009-01-14
JP4476355B2 (ja) 2010-06-09
WO2007130766A2 (en) 2007-11-15
JP2010171985A (ja) 2010-08-05
EP2014132A4 (en) 2013-01-02
WO2007130765A3 (en) 2008-12-18
WO2007130765A2 (en) 2007-11-15
EP2012725A4 (en) 2011-10-12
JP2009535996A (ja) 2009-10-01
JP4866958B2 (ja) 2012-02-01
JP4833343B2 (ja) 2011-12-07
EP2012725A2 (en) 2009-01-14

Similar Documents

Publication Publication Date Title
US7697700B2 (en) Noise removal for electronic device with far field microphone on console
JP4866958B2 (ja) コンソール上にファーフィールドマイクロフォンを有する電子装置におけるノイズ除去
US9286907B2 (en) Smart rejecter for keyboard click noise
US7065487B2 (en) Speech recognition method, program and apparatus using multiple acoustic models
KR101224755B1 (ko) 음성-상태 모델을 사용하는 다중-감각 음성 향상
JP4842583B2 (ja) 多感覚音声強調のための方法および装置
JP4774100B2 (ja) 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体
JP4975025B2 (ja) クリーン音声の事前分布を使用した多感覚応用の音声強調
JP2006003899A (ja) ゲイン制約ノイズ抑圧
US20050102048A1 (en) Systems and methods for improving the signal to noise ratio for audio input in a computing system
CN104021798A (zh) 用于通过具有可变频谱增益和可动态调制的硬度的算法对音频信号隔音的方法
WO2020079957A1 (ja) 音声信号処理装置、雑音抑圧方法
KR20220022286A (ko) 잔향 제거 오토 인코더를 이용한 잔향 환경 임베딩 추출 방법 및 장치
Al-Karawi et al. Model selection toward robustness speaker verification in reverberant conditions
CN113823301A (zh) 语音增强模型的训练方法和装置及语音增强方法和装置
JP5609157B2 (ja) 係数設定装置および雑音抑圧装置
US10079028B2 (en) Sound enhancement through reverberation matching
Ashraf et al. Ambient-noise free generation of clean underwater ship engine audios from hydrophones using generative adversarial networks
Somayazulu et al. Self-Supervised Visual Acoustic Matching
CN115604627A (zh) 音频信号处理方法、装置、电子设备及可读存储介质
JP5438629B2 (ja) ステレオ反響消去方法、ステレオ反響消去装置、ステレオ反響消去プログラム
JP2006178333A (ja) 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体
US20230343312A1 (en) Music Enhancement Systems
CN115665606B (zh) 基于四麦克风的收音方法和收音装置
US20230197054A1 (en) Cancel filter coefficient selecting apparatus, cancel filter coefficient selecting method, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101126

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees