JP2014523003A

JP2014523003A - オーディオ信号処理

Info

Publication number: JP2014523003A
Application number: JP2014519291A
Authority: JP
Inventors: ストローマー，ステファン; ヴァンドボルグセレンセン，カルステン
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2011-07-05
Filing date: 2012-07-05
Publication date: 2014-09-08
Also published as: CN103827966A; WO2013006700A3; CN103827966B; WO2013006700A2; US20130013303A1; EP2715725A2; KR20140033488A; US9269367B2; GB2493327B; GB201111474D0; KR101970370B1; EP2715725B1; GB2493327A

Abstract

モバイルユーザー間のリアルタイム・ビデオ・セッションのQoEを改善するためのコンピュータ実装されるシステムおよび方法が記載される。たとえば、本発明のある実施形態に基づく方法は：サービス・プロバイダー・ネットワークの周縁上に一つまたは複数のサーバーを構成する段階と；第一のモバイル装置から、第二のモバイル装置とのリアルタイム通信セッションを確立するための要求を受信する段階と；前記第一のモバイル装置および前記第二のモバイル装置に、前記サーバーに接続するためのネットワーキング情報を与える段階と；前記サーバーを通じてリアルタイム通信セッションを確立する段階とを含む。

Description

本発明は、通信セッション中のオーディオ信号の処理に関する。

通信システムは、ユーザーがネットワークを通じて互いと通信することを許容する。ネットワークは、たとえばインターネットまたは公衆電話交換網（PSTN: Public Switched Telephone Network）であってもよい。オーディオ信号はネットワークのノード間で伝送され、それによりユーザーが通信システム上での通信セッションにおいて互いにオーディオ・データ（発話データなど）を送受信することを許容することができる。

ユーザー装置は、ユーザーからの発話のようなオーディオ信号を受領するために使用できるマイクロホンのようなオーディオ入力手段を有していてもよい。ユーザーは、個人通話（二人だけのユーザーが通話に参加）または会議通話（三人以上のユーザーが通話に参加）のような、別のユーザーとの通信セッションにはいることができる。ユーザーの発話はマイクロホンにおいて受領され、処理され、次いでネットワークを通じて通話に含まれる他のユーザー（単数または複数）に送信される。

ユーザーからのオーディオ信号とともに、マイクロホンは、背景雑音のような他のオーディオ信号をも受領することがある。これはユーザーから受領されたオーディオ信号を乱すことがありうる。

ユーザー装置はまた、通話の間に前記ユーザー（単数または複数）からネットワークを通じて受領されるオーディオ信号をユーザーに対して出力するためのスピーカーのようなオーディオ出力手段をも有していてもよい。しかしながら、スピーカーは、ユーザー装置において実行されている他のアプリケーションからのオーディオ信号を出力するためにも使用されうる。たとえば、ユーザー装置は、ネットワークを通じて通信するための通信クライアントのようなアプリケーションを実行するテレビであってもよい。ユーザー装置が通話に携わるとき、ユーザー装置に接続されたマイクロホンは、通話における他のユーザー（単数または複数）への送信のために意図された、ユーザーによって提供される発話または他のオーディオ信号を受領するよう意図されている。しかしながら、マイクロホンは、ユーザー装置のスピーカーから出力される望まれないオーディオ信号を拾うことがありうる。ユーザー装置から出力されるそうした望まれない信号は、通話における送信のためにユーザーからマイクロホンにおいて受領されるオーディオ信号に対して擾乱を寄与することがある。

通話における使用などのために信号の品質を改善するために、ユーザー装置のオーディオ入力手段において受領される望まれないオーディオ信号（背景雑音およびユーザー装置から出力される望まれないオーディオ信号）を抑制することが望ましい。

複数のマイクロホンが単一のデバイスとして動作するステレオ・マイクロホンおよびマイクロホン・アレイの使用がますます一般的になりつつある。これらは、単一のマイクロホンによって達成できるものに加えて、抽出された空間的情報の使用を可能にする。そのようなデバイスを使うとき、望まれないオーディオ信号を抑制する一つのアプローチは、ビーム形成器〔ビームフォーマー〕を適用することである。ビーム形成は、一つまたは複数の所望される方向から来る音を向上させるために信号処理を適用することによってマイクロホン・アレイによって受領された信号をフォーカスしようとするプロセスである。簡単のため、以下では単一の所望される方向だけがある場合を記述するが、同じ方法は、関心のある方向がより多くあるときにも適用される。ビーム形成は、望まれる信号がマイクロホンにおいて受領される角度、いわゆる到来方向（DOA: Direction of Arrival）情報を推定することによって達成される。適応ビーム形成器は、DOA情報を使ってアレイ内のマイクロホンからの信号をフィルタ処理して、望まれる信号がマイクロホン・アレイにおいて受領された方向において高い利得を、他の任意の方向では低い利得をもつビームを形成する。

ビーム形成器は、望まれない方向から来る望まれないオーディオ信号を抑制しようとするが、マイクロホンの数ならびにマイクロホン・アレイの形およびサイズがビーム形成器の効果を制限する。結果として、望まれないオーディオ信号は抑制されるが、可聴のままとなる。

その後の単一チャンネル処理のために、ビーム形成器の出力は一般には、単一チャンネル・ノイズ削減段に入力信号として供給される。単一チャンネル・ノイズ削減を実装するさまざまな方法がこれまで提案されている。使用されている単一チャンネル・ノイズ削減方法の大多数はスペクトル減算法の変形である。

スペクトル減算法は、発話にノイズを加えた信号からノイズを分離しようと試みる。スペクトル減算は、スペクトルにノイズを加えた信号のパワースペクトルを計算し、ノイズ・スペクトルの推定を得ることに関わる。発話にノイズを加えた信号のパワースペクトルは、推定されたノイズ・スペクトルと比較される。ノイズ削減は、たとえば、ノイズ・スペクトルの絶対値を発話にノイズを加えたスペクトルの絶対値から引くことによって実装されることができる。発話にノイズを加えた信号が高い信号・雑音対雑音比（SNNR: Signal-plus-Noise to Noise Ratio）をもつ場合には、適用されるノイズ削減はきわめてわずかである。しかしながら、発話にノイズを加えた信号が低いSNNRをもつ場合には、ノイズ削減はノイズ・エネルギーを有意に低減する。

Boll, S、"Suppression of acoustic noise in speech using spectral subtraction、"IEEE Transactions on Acoustics, Speech and Signal Processing、April 1979、Volume 27, Issue 2, pp.113-120

スペクトル減算の問題は、しばしば発話を歪め、その結果、時間的かつスペクトル的にゆらぎのある利得変化が生じ、それはしばしばミュージカル・トーンと称される型の残差ノイズの出現につながり、これが通話における伝送される発話品質に影響することがありうる。単一チャンネル・ノイズ削減を実装する他の既知の方法においても、この問題はさまざまな程度で生じる。

本発明の第一の側面によれば、ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理する方法であって：少なくとも一つの主要オーディオ信号および望まれない信号を含む複数のオーディオ信号を、前記ユーザー装置におけるオーディオ入力手段において受領する段階と；ノイズ抑制手段において前記信号の到来方向情報を受領する段階と；前記望まれない信号の少なくとも一部を表わす既知の到来方向情報を前記ノイズ抑制手段に提供する段階と；前記ノイズ抑制手段において、前記オーディオ信号の到来方向情報と前記既知の到来方向情報との間の比較に依存して望まれないと同定された前記信号の諸部分をノイズとして扱うよう、前記オーディオ信号を処理する段階とを含む、方法が提供される。

好ましくは、前記オーディオ入力手段は：前記少なくとも一つの主要オーディオ信号が前記オーディオ入力手段において受領される少なくとも一つの主方向を推定し；前記少なくとも一つの主方向においてビームを形成し、前記主方向以外の任意の方向からのオーディオ信号を実質的に抑制することによって、単一チャンネル・オーディオ出力信号を生成するよう、前記複数のオーディオ信号を処理するよう構成されているビーム形成器を有する。

好ましくは、前記単一チャンネル・オーディオ出力信号はフレームのシーケンスを含み、前記ノイズ抑制手段は前記フレームのそれぞれを順に処理する。

好ましくは、処理されている現在フレームの主信号成分についての到来方向情報が前記ノイズ抑制手段において受領され、当該方法はさらに：前記現在フレームの主信号成分についての到来方向情報と、既知の到来方向情報とを比較することを含む。

前記既知の到来方向情報は、前記オーディオ入力手段において遠端信号が受領される少なくとも一つの方向を含む。代替的または追加的に、前記既知の到来方向情報は、少なくとも一つの分類された方向を含む。前記少なくとも一つの分類された方向は、少なくとも一つの望まれないオーディオ信号が前記オーディオ入力手段に到着する方向であり、前記少なくとも一つの望まれないオーディオ信号の信号特性に基づいて同定される。代替的または追加的に、前記既知の到来方向情報は、前記少なくとも一つの主要オーディオ信号が前記オーディオ入力手段において受領される少なくとも一つの主方向を含む。代替的または追加的に、前記既知の到来方向情報はさらに、前記ビーム形成器のビーム・パターンを含む。

ある実施形態では、当該方法はさらに：前記現在フレームの主信号成分が望まれない信号であるかどうかを、前記比較に基づいて判定し；前記現在フレームの主信号成分が望まれない信号であると判定される場合には処理されている現在フレームに最大減衰を適用することを含む。現在フレームの主信号成分が望まれない信号であると判定されるのは：主信号成分が前記オーディオ入力手段において、前記オーディオ入力手段において遠端信号が受領される前記少なくとも一つの方向から受領される；あるいは主信号成分が前記オーディオ入力手段において前記少なくとも一つの分類された方向から受領される；あるいは主信号成分が前記オーディオ入力手段において前記少なくとも一つの主方向から受領されない場合であってもよい。

本方法はさらに：信号処理手段において、前記複数のオーディオ信号および前記少なくとも一つの主方向についての情報を受領する段階と；前記信号処理手段において、前記少なくとも一つの主方向についての前記情報を使って前記複数のオーディオ信号を処理して前記ノイズ抑制手段に追加的情報を提供する段階と；前記追加的情報および前記比較に依存して前記ノイズ抑制手段において処理されている現在フレームにあるレベルの減衰を適用する段階とを含んでいてもよい。

あるいはまた、本方法はさらに：信号処理手段において、前記単一チャンネル・オーディオ出力信号および前記少なくとも一つの主方向についての情報を受領する段階と；前記信号処理手段において、前記少なくとも一つの主方向についての前記情報を使って前記単一チャンネル・オーディオ出力信号を処理して前記ノイズ抑制手段に追加的情報を提供する段階と；前記追加的情報および前記比較に依存して前記ノイズ抑制手段において処理されている現在フレームにあるレベルの減衰を適用する段階とを含んでいてもよい。

前記追加的情報は：現在フレームの主信号成分の望ましさについての指標、または前記少なくとも一つの主要オーディオ信号の平均パワー・レベルに対する現在フレームの主信号成分のパワー・レベル、または現在フレームの主信号成分の信号分類、または現在フレームの主信号成分が前記オーディオ入力手段において受領される少なくとも一つの方向を含んでいてもよい。

好ましくは、前記少なくとも一つの主方向は：前記オーディオ入力手段において受領されているオーディオ信号間の相互相関を最大化する時間遅延を決定し；前記オーディオ入力手段において受領されるオーディオ信号における発話特性であって最大相互相関の前記時間遅延をもつものを検出することによって決定される。

好ましくは、前記通信セッションにおいて前記リモート・ノードから前記ユーザー装置において受領されるオーディオ・データは、前記ユーザー装置のオーディオ出力手段から出力される。

望まれない信号は、前記ユーザー装置における源によって生成されるものであってもよく、前記源は：前記ユーザー装置のオーディオ出力手段；前記ユーザー装置における活動の源のうちの少なくとも一つを含む。前記活動は、ボタン・クリック活動、キーボード・クリック活動およびマウス・クリック活動を含むクリック活動を含む。あるいはまた、望まれない信号は、前記ユーザー装置の外部の源によって生成される。

好ましくは、前記少なくとも一つの主要オーディオ信号は、前記オーディオ入力手段において受領される発話信号である。

本発明の第二の側面によれば、ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理するユーザー装置であって：少なくとも一つの主要オーディオ信号および望まれない信号を含む複数のオーディオ信号を受領するオーディオ入力手段と；前記オーディオ信号の到来方向情報および前記望まれない信号の少なくとも一部を表わす既知の到来方向情報を受領するノイズ抑制手段であって、前記オーディオ信号の到来方向情報と前記既知の到来方向情報との間の比較に依存して望まれないと同定された前記信号の諸部分をノイズとして扱うことによって前記オーディオ信号を処理するよう構成されている、ノイズ抑制手段と有する、ユーザー装置が提供される。

本発明の第三の側面によれば、ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理するユーザー装置におけるコンピュータ処理手段によって実行されるためのコンピュータ可読命令を含むコンピュータ・プログラム・プロダクトであって、前記命令は、本発明の第一の側面に基づく方法を実行するための命令を含む、ものが提供される。

以下の記述される実施形態では、到来方向情報は、その後の単一チャンネル・ノイズ削減方法においてどのくらいの抑制を適用すべきかの決定を洗練するために使用される。たいていの単一チャンネル・ノイズ削減方法は、自然に聞こえるが減衰した背景雑音を保証するために入力信号に適用される最大抑制因子をもつので、到来方向情報は、ビーム形成器がフォーカスしている以外の他の任意の角度から音が到着するときに最大抑制因子が適用されることを保証するために使われる。たとえば、遠端発話を再生するのに使われるのと同じスピーカーを通じての、おそらくは低められたボリュームでの、テレビ再生の場合、問題は、出力がマイクロホンによって拾われるということである。本発明の記述される実施形態では、オーディオがスピーカーの角度から到着していることが検出され、ビーム形成器による試みられた抑制に加えて、最大ノイズ削減が適用される。結果として、望まれない信号はより聞こえにくくなり、よって遠端の話者にとってそれほど煩わしくなくなる。そして、低減したエネルギーのため、信号を遠端に伝送するために使われる平均ビットレートを下げることになる。

本発明のよりよい理解のため、また本発明がどのように実施されうるかを示すため、ここで例として以下の図面を参照する。
ある好ましい実施形態に基づく通信システムを示す図である。ある好ましい実施形態に基づくユーザー端末の概略図である。ユーザー端末の例示的な環境を示す図である。ある実施形態に基づくユーザー端末におけるオーディオ入力手段の概略図である。ある実施形態における、DOA情報がどのように推定されるかを表わす図である。

本発明の以下の実施形態では、フォーカスの方向からやってくるのでない音を減衰させるために完全にビーム形成器に頼るのではなく、その後の単一チャンネル・ノイズ削減方法においてDOA情報を使うことにより、ビーム形成器がフォーカスしている以外の他の任意の方向からの音の最大単一チャンネル・ノイズ抑制が保証される技法が記述される。これは、望まれない信号が空間的情報を使って望まれる近端発話信号から区別できるときに、著しい利点となる。そのような源の例は音楽を再生しているラウドスピーカー、送風しているファンおよび閉じるドアである。

信号分類を使うことによって、他の源の方向を見出すこともできる。そのような源の例は、たとえば冷却ファン／空調システム、バックグラウンドにおける音楽プレイおよびキーボード・タップでありうる。

二つのアプローチを取ることができる。第一に、ある種の方向から到着する望まれない源が同定されることができ、それらの角度が、最大抑制のために使われるノイズ抑制利得より高いノイズ抑制利得が許容される角度から除外される。たとえば、ある種の望まれない方向からのオーディオの諸セグメントが、当該信号がノイズしか含まないかのようにスケールダウンされることを保証することが可能である。実際上、ノイズ推定値は、そのようなセグメントについての入力信号に等しいと設定されることができ、その結果、ノイズ削減方法は、最大減衰を適用することになる。

第二に、ノイズ削減は、近端発話が到着することを期待する方向以外の他の任意の方向における発話に対してはそれほど敏感でなくすことができる。すなわち、信号・雑音対雑音比の関数としてノイズのある信号に適用する利得を計算するとき、信号・雑音対雑音比の関数としての利得は、我々が、はいってくる発話の角度がどれくらい望ましいと考えるかにも依存する。望まれる方向については、所与の信号・雑音対雑音比の関数としての利得は、それほど望まれない方向についてよりも高いであろう。第二の方法は、主要話者（単数または複数）と同じ方向から到着するのでなく、ノイズの源であると検出されてもいない、動いているノイズ源に基づいて調整しないことを保証する。

本発明の諸実施形態は、単一チャンネルをもつモノフォニック音再生（しばしばモノと称される）アプリケーションにおいて特に重要である。（二つ以上の独立なオーディオ・チャンネルがある）ステレオ・アプリケーションにおけるノイズ削減は典型的には独立な単一チャンネル・ノイズ削減方法によって実行されるのではなく、むしろステレオ像がノイズ削減方法によって歪められないことを保証する方法によって実行される。

まず、ある好ましい実施形態の通信システム１００を示している図１を参照する。通信システムの第一のユーザー（ユーザーＡ１０２）はユーザー装置１０４を操作する。ユーザー装置１０４はたとえば、携帯電話、テレビジョン、携帯情報端末（「PDA」）、パーソナル・コンピュータ（「PC」）（たとえばウィンドウズ（商標）、マックＯＳ（商標）およびリナックス（商標）パソコンを含む）、ゲーム機または通信システム１００を通じて通信できる他の組み込みデバイスでありうる。

ユーザー装置１０４は、通信システム１００を通じて通信するための通信クライアントのようなアプリケーションを実行するよう構成されていてもよい中央処理ユニット（CPU）１０８を有する。このアプリケーションは、ユーザー装置１０４が通信システム１００を通じた通話および他の通信セッション（たとえばインスタント・メッセージ通信セッション）に従事することを許容する。ユーザー装置１０４は、インターネットまたは公衆電話交換網（PSTN）であってもよいネットワーク１０６を介して通信システム１００を通じて通信できる。ユーザー装置１０４は、リンク１１０を通じてネットワークにデータを送信でき、ネットワーク１０６からデータを受信できる。

図１はまた、通信システム１００を通じてユーザー装置１０４が通信できるリモート・ノードをも示している。図１に示した例では、リモート・ノードは、第二のユーザー１１２によって使用可能であり、通信システム１００において通信ネットワーク１０６を通じてユーザー装置１０４が通信するのと同じ仕方で通信ネットワーク１０６を通じて通信するためのアプリケーション（たとえば通信クライアント）を実行できるCPU １１６を有する第二のユーザー装置１１４である。ユーザー装置１１４はたとえば、携帯電話、テレビジョン、携帯情報端末（「PDA」）、パーソナル・コンピュータ（「PC」）（たとえばウィンドウズ（商標）、マックＯＳ（商標）およびリナックス（商標）パソコンを含む）、ゲーム機または通信システム１００を通じて通信できる他の組み込みデバイスでありうる。ユーザー装置１１４は、リンク１１８を通じてネットワークにデータを送信でき、ネットワーク１０６からデータを受信できる。したがって、ユーザーＡ１０２およびユーザーＢ１１２は通信ネットワーク１０６を通じて互いと通信できる。

図２は、前記クライアントが実行されるユーザー端末１０４の概略図を示している。ユーザー端末１０４は、CPU １０８を有している。このCPUにスクリーンのようなディスプレイ２０４、キーボード２１４のような入力装置およびマウス２１２のようなポインティングデバイスが接続されている。ディスプレイ２０４は、CPU １０８にデータを入力するためのタッチスクリーンを有していてもよい。出力オーディオ装置２０６（たとえばスピーカー）がCPU １０８に接続されている。マイクロホン２０８のような入力オーディオ装置がノイズ抑制手段２２７を介してCPU １０８に接続されている。ノイズ抑制手段２２７は図２ではスタンドアローンのハードウェア装置として表わされているが、ノイズ抑制手段２２７はソフトウェアで実装されてもよい。たとえば、ノイズ抑制手段２２７は前記クライアントに含まれていてもよい。

CPU １０８は、ネットワーク１０６との通信のために、モデムのようなネットワーク・インターフェース２２６に接続されている。

ここで、ユーザー端末１０４の例示的な環境３００を示す図３を参照する。

マイクロホン２０８で受領されたオーディオ信号が処理されるとき、所望されるオーディオ信号が同定される。処理の間、所望されるオーディオ信号は、発話様の性質の検出に基づいて同定され、メイン話者の主方向が決定される。これは図３に示されており、図３では、メイン話者（ユーザー１０２）が、主方向d1からマイクロホン２０８に到着する所望されるオーディオ信号の源３０２として示されている。図３には簡単のため単一のメイン話者が示されているが、環境３００において望まれるオーディオ信号のいくつの源が存在していてもよいことは理解されるであろう。

望まれないノイズ信号の源は環境３００中に存在していてもよい。図３は、方向d3からマイクロホン２０８に到着しうる、環境３００内の望まれないノイズ信号のノイズ源３０４を示している。望まれないノイズ信号の源は、たとえば、冷却ファン、空調システムおよび音楽を再生している装置を含む。

望まれないノイズ信号は、ユーザー端末１０４におけるノイズ源、たとえばマウス２１２のクリック、キーボード２１４のタップおよびスピーカー２０６からのオーディオ信号出力からマイクロホン２０８に到着してもよい。図３は、マイクロホン２０８およびスピーカー２０６に接続されたユーザー端末１０４を示している。図３では、スピーカー２０６は、方向d3からマイクロホン２０８に到着しうる望まれないオーディオ信号の源である。

マイクロホン２０８およびスピーカー２０６はユーザー端末に接続された外部装置として示されたが、マイクロホン２０８およびスピーカー２０６はユーザー端末１０４に統合されていてもよいことは理解されるであろう。

ここで、ある実施形態に基づくマイクロホン２０８およびノイズ抑制手段２２７のより詳細なビューを示す図４を参照する。

マイクロホン２０８は、複数のマイクロホンを含むマイクロホン・アレイ４０２およびビーム形成器４０４を含む。マイクロホン・アレイ４０２における各マイクロホンの出力はビーム形成器４０４に結合される。当業者は、ビーム形成を実装するには複数の入力が必要とされることを理解するであろう。マイクロホン・アレイ４０２は図４では三つのマイクロホンを有するものとして示されている。マイクロホンのこの数は単に例であり、いかなる仕方であれ限定するものではないことは理解されるであろう。

ビーム形成器４０４は、マイクロホン・アレイ４０２からオーディオ信号を受領する処理ブロック４０９を含む。処理ブロック４０９は、音声活動検出器（VAD: voice activity detector）４１１およびDOA推定ブロック４１３（その動作については後述する）を含む。処理ブロック４０９は、マイクロホン・アレイ４０２によって受領されたオーディオ信号の性質を確かめ、VAD １１によって検出された発話様の品質の検出およびブロック４１３において推定されたDOA情報に基づいて、メイン話者（単数または複数）の一つまたは複数の主方向が決定される。ビーム形成器４０４は、DOA情報を使って、マイクロホン・アレイにおいて望まれる信号が受領される一つまたは複数の主方向からの方向において高い利得をもち、他の任意の方向において低い利得をもつビームを形成することによってオーディオ信号を処理する。処理ブロック４０９が主方向をいくつ決定してもよいことは上述したが、決定される主方向の数はビーム形成器の属性に影響する。たとえば、単一の主方向しか決定されない場合に比べ、マイクロホン・アレイにおいて他の（望まれない）諸方向から受領される信号の減衰が少なくなる。ビーム形成器４０４の出力は、処理されるべき単一チャンネルの形でライン４０６上で、ノイズ削減段２２７に、次いで自動利得制御手段（図４には示さず）に提供される。

好ましくは、ノイズ抑制は、自動利得制御手段によって利得のレベルが適用される前にビーム形成器の出力に適用される。これは、ノイズ抑制は、理論上、発話レベルを（意図せずして）わずかに低下させることがあり、自動利得制御手段はノイズ抑制後に発話レベルを高めてノイズ抑制によって引き起こされる発話レベルにおけるわずかな低下を補償することになるからである。

ビーム形成器４０４において推定されたDOA情報はノイズ削減段２２７および信号処理回路４２０に供給される。

ビーム形成器４０４において推定されたDOA情報は、自動利得制御手段にも供給されてもよい。自動利得制御手段は、ノイズ削減段２２７の出力に利得のレベルを適用する。ノイズ削減段２２７から出力されるチャンネルに適用される利得のレベルは、自動利得制御手段において受領されるDOA情報に依存する。自動利得制御手段の動作は、英国特許出願第1108885.3において記述されており、ここではこれ以上詳細に論じることはしない。

ノイズ削減段２２７はノイズ削減を単一チャンネル信号に適用する。ノイズ削減は、あくまでも例としてスペクトル減法（たとえば非特許文献１に記述されるようなもの）を含むいくつかの異なる仕方で実行できる。

この技法は（他の既知の技法も）ノイズとして同定された信号成分を抑制し、それにより信号対雑音比を高める。ここで、上記信号は、意図されている有用な信号、この場合には発話である。

下記でより詳細に述べるように、到来方向情報は、ノイズ削減段において、ノイズ削減を改善し、よって信号の品質を高めるために使用される。

DOA推定ブロック４１３の動作についてここで図５を参照してより詳細に述べる。

DOA推定ブロック４１３において、DOA情報は、たとえば相関法を使って、複数のマイクロホンにおける受領されたオーディオ信号間の時間遅延を推定し、前記複数のマイクロホンの位置についての先験的な知識を使って前記オーディオ信号の源を推定することによって、推定される。

図５は、オーディオ源５１６からオーディオ信号を受領するマイクロホン４０３および４０５を示している。距離dだけ離間されたマイクロホン４０３および４０５におけるオーディオ信号の到来方向は、式(1)を使って推定できる。

θ＝arcsin(τ_Dv/d) (1)
ここで、vは音速、τ_Dは源５１６からのオーディオ信号がマイクロホン４０３および４０５に到着する時間の間の差、すなわち時間遅延である。時間遅延は、マイクロホン４０３および４０５の出力における信号の間の相互相関を最大にする時間ラグとして得られる。すると、この時間遅延に対応する角度θが見出されうる。

信号の相互相関を計算することは信号処理の技術分野における一般的な技法であり、本稿でこれ以上詳細に記述されないことは理解されるであろう。

ここで、ノイズ削減段２２７の動作について、下記でより詳細に述べる。本発明のあらゆる実施形態において、ノイズ削減段２２７は、ユーザー端末において知られておりDOAブロック２２７によって表わされるDOA情報を使い、処理されるべきオーディオ信号を受領する。ノイズ削減段２２７はフレーム毎にオーディオ信号を処理する。フレームはたとえば、5ミリ秒から20ミリ秒の間の長さであってもよく、あるノイズ抑制技法によれば、たとえばフレーム当たり64から256ビンまでの間のスペクトル・ビンに分割される。

ノイズ削減段２２７において実行される処理は、ノイズ削減段２２７に入力されたオーディオ信号の各フレームにあるレベルのノイズ抑制を適用することを含む。ノイズ削減段２２７によってオーディオ信号の各フレームに適用されるノイズ抑制のレベルは、処理されている現在フレームの抽出されたDOA情報とユーザー端末において知られているさまざまなオーディオ源についてのDOA情報の積み上げられた知識との間の比較に依存する。抽出されたDOA情報はフレームとともに渡され、フレーム自身に加えてノイズ削減段２２７への入力パラメータとして使われる。

ノイズ削減段２２７によって入力オーディオ信号に適用されるノイズ抑制のレベルは、いくつかの仕方でDOA情報によって影響されうる。

望まれる源からとして同定された方向からマイクロホン２０８に到着するオーディオ信号は、発話様の特性の検出に基づいて同定され、メイン話者の主方向からとして同定されてもよい。

ユーザー端末において知られているDOA情報４２７は、ビーム形成器のビーム・パターン４０８を含んでいてもよい。ノイズ削減段２２７はフレーム毎にオーディオ入力信号を処理する。フレームの処理の間、ノイズ削減段２２７は、フレーム内のオーディオ信号のメイン成分がマイクロホン２０８において受領された角度を見出すために、フレームのDOA情報を読む。フレームのDOA情報は、ユーザー端末において知られているDOA情報４２７と比較される。この比較が、処理されているフレームにおけるオーディオ信号のメイン成分が望まれる源の方向からマイクロホン２０８において受領されたかどうかを決定する。

代替的または追加的に、ユーザー端末において知られているDOA情報４２７は、遠端信号がユーザー端末において（２０６のような）スピーカーからマイクロホン２０８において受領される角度φを含んでいてもよい（ノイズ削減段２２７ライン４０７に供給される）。

代替的または追加的に、ユーザー端末において知られているDOA情報４２７は、可能性としては固定ノイズ源の結果として非常にノイズの多いある方向を特定するために、種々の方向からのオーディオを分類する関数４２５から導出されてもよい。

DOA情報４２７が主たる望まれる方向を表わし、比較により処理されているフレームのメイン成分がマイクロホン２０８においてその主方向から受領されていると判定される場合。ノイズ削減段２２７は上記の通常の方法を使ってノイズ抑制のレベルを決定する。

第一のアプローチでは、処理されているフレームのメイン成分がマイクロホン２０８において主方向以外の方向から受領されていると判定される場合、そのフレームに関連付けられたビンはみなノイズであるかのように扱われる（たとえ通常のノイズ削減技法が良好な信号・雑音対雑音比を同定し、よって著しくノイズを抑制しないとしても）。これは、ノイズ推定値をそのようなフレームについての入力信号に等しく設定することによってなされてもよく、結果として、ノイズ削減段は最大減衰をそのフレームに適用する。このようにして、望まれる方向以外の方向から到着するフレームは、ノイズとして抑制されることができ、信号品質が改善されることができる。

上述したように、ノイズ削減段２２７は、種々の方向におけるノイズ源（単数または複数）からマイクロホン２０８に到着する望まれないオーディオ信号を同定する関数４２５からDOA情報を受領してもよい。これらの望まれないオーディオ信号はその特性から同定される。たとえば、キーボード上のキー・タップまたはファンからのオーディオ信号は人間の発話とは異なる特性をもつ。望まれないオーディオ信号がマイクロホン２０８に到着する角度は、最大抑制のために使われるノイズ抑制利得より高いノイズ抑制利得が許容されるところにおいて除外される。したがって、処理されているフレーム中のオーディオ信号のメイン成分がマイクロホン２０８において、除外されている方向から受領されるとき、ノイズ削減段２２７は最大減衰をそのフレームに適用する。

検証手段４２３がさらに含められてもよい。たとえば、（たとえばビーム形成器の場合、ビーム・パターン４０８に基づいて）ひとたび一つまたは複数の主方向が検出されたら、クライアントはユーザー１０２に検出された主方向を、クライアント・ユーザー・インターフェースを介して通知し、ユーザー１０２に、検出された主方向が正しいかどうかを尋ねる。この検証は、図４において破線で示されるように、任意的である。

ユーザー１０２が検出された主方向が正しいと確証する場合、検出された主方向はノイズ削減段２２７に送られ、ノイズ削減段２２７は上記のように動作する。ひとたびユーザー１０２がクライアントにログインし、検出された主方向が正しいと確証したら、通信クライアントは、検出された主方向をメモリ２１０に記憶してもよい。クライアントへのその後のログイン後は、検出された主方向がメモリ内の確証された正しい主方向に一致する場合、検出された主方向は正しいと解釈される。これは、ユーザーがクライアントにログインするたびに主方向を確証しなければならないことを防ぐ。

ユーザーが検出された主方向が正しくないことを示す場合、検出された主方向はDOA情報としてノイズ削減段２２７に送られない。この場合、（図５を参照して上述した）相関ベースの方法が主方向の検出を続け、ユーザー１０２が検出された主方向が正しいと確証したときにのみ検出された一つまたは複数の主方向を送る。

第一のアプローチでは、動作モードは、フレームのDOA情報に基づいて最大減衰が処理されているフレームに適用されることができるというものである。

第二のアプローチでは、ノイズ削減段２２７はそのような厳格な動作モードでは動作しない。

第二のアプローチでは、フレーム中のオーディオ信号に適用する利得を信号・雑音対雑音比の関数として計算するとき、信号・雑音対雑音比の関数としての利得は追加的な情報に依存する。この追加的な情報は、信号処理ブロック（図４には示さず）において計算されることができる。

第一の実装では、信号処理ブロックは、マイクロホン２０８において実装されてもよい。信号処理ブロックは、入力として、マイクロホン・アレイ４０２からの遠端オーディオ信号を（該オーディオ信号がビーム形成器４０４に適用される前に）受領し、また、相関法から得られる主方向（単数または複数）についての情報をも受領する。この実装では、信号処理ブロックはノイズ削減段２２７に追加的な情報を出力する。

第二の実装では、信号処理ブロックはノイズ削減段２２７自身の中で実装されてもよい。信号処理ブロックは、ビーム形成器４０４からの単一チャンネル出力信号を入力として受領し、また、相関法から得られる主方向（単数または複数）についての情報をも受領する。この実装では、ノイズ削減段２２７は、スピーカー２０６がアクティブであることを示す情報を受領してもよく、処理されているフレーム内の主信号成分が、所望される発話の角度と異なる限り、ノイズのみとして扱われることを保証することができる。

いずれの実装でも、信号処理ブロックにおいて計算された追加的情報は、処理されているフレーム内のオーディオ信号に適用する利得を信号・雑音対雑音比の関数として計算するために、ノイズ削減段２２７によって使用される。

追加的情報はたとえば、所望される発話が特定の方向／角度から到着する確からしさを含んでいてもよい。

このシナリオにおいて、信号処理ブロックは、出力として、ノイズ削減段２７７によって現在処理されているフレームが、ノイズ削減段が保存すべき所望される成分を含んでいる可能性がどれくらいかを示す値を提供する。信号処理ブロックは、はいってくる発話がマイクロホン２０８において受領される角度の望ましさを定量化する。たとえば、オーディオ信号がエコーの間にマイクロホン２０８において受領される場合、これらのオーディオ信号がマイクロホン２０８において受領される角度は望まれない角度である可能性が高い。ユーザー端末における（２０６のような）スピーカーから受領される何らかの遠端信号を保存することは望ましくないからである。

このシナリオにおいて、ノイズ削減段２２７によってそのフレームに適用される、信号・雑音対雑音比の関数としてのノイズ抑制利得は、望ましさのこの定量化された指標に依存する。望まれる方向については、所与の信号・雑音対雑音比の関数としての利得は、それほど望まれない方向についてよりも高くなる。すなわち、より望まれる方向についてはノイズ削減段２２７によって適用される減衰はより少なくなる。

追加的情報は、代替的に、所望される方向（単数または複数）から受領されるオーディオ信号の平均パワーに対する現在フレームの主信号成分のパワーを含んでいてもよい。このシナリオでは、ノイズ削減段２２７によってフレームに適用される、信号・雑音対雑音比の関数としてのノイズ抑制利得は、このパワー比に依存する。主方向からの平均パワーに対して主信号成分のパワーが近いほど、ノイズ削減段２２７によって適用される、所与の信号・雑音対雑音比の関数としての前記利得は高くなる。すなわち、適用される減衰は少なくなる。

追加的情報は、代替的には、現在フレームの主信号成分の信号分類を提供する信号分類器出力であってもよい。このシナリオでは、ノイズ削減段２２７は、さまざまなレベルの減衰をフレームに適用してもよい。ここで、該フレームのメイン成分は、信号分類器出力に依存する特定の方向から、マイクロホン・アレイ４０２において受領される。したがって、角度が望まれない方向であると判定される場合、ノイズ削減段は、その望まれない方向からのノイズを、同じ望まれない方向からの発話よりも低減させてもよい。望まれる発話がその望まれない方向から到着することが予期されている場合には、これは可能であり、本当に実際的である。しかしながら、これは、ノイズが変調されるという大きな欠点がある。すなわち、所望される話者がアクティブであるときにはノイズが大きくなり、所望されない話者がアクティブであるときにはノイズが低くなる。そうではなく、この方向からの信号における発話のレベルをやや低減させるほうが好ましい。同じ量の減衰を確実に適用することによって厳密にノイズとして扱わないとしても、所望される発話とノイズとの間のどこか中間として扱う。これは、望まれない方向についてわずかに異なる減衰関数を使うことによって達成できる。

追加的情報は代替的には、現在フレームの主信号成分がオーディオ入力手段において受領される角度自身、すなわちライン４０７上でノイズ削減段２２７に供給されるφであってもよい。これは、オーディオ源が主方向（単数または複数）から遠ざかって動くにつれてより多くの減衰を適用することを可能にする。

この第二のアプローチでは、ノイズ削減段２２７が、フレームをノイズのみとして扱うのと、伝統的になされたように単一チャンネル・ノイズ削減方法においての両極端の中間で動作できるので、さらなるきめこまかさが提供される。したがって、ノイズ削減段２２７は、望まれない方向から到着するオーディオ信号について、完全にあたかもノイズでしかないかのうように扱うことなく、やや積極的にされることができる。すなわち、たとえば発話信号に対して何らかの減衰を適用するという意味で積極的ということである。

上記の実施形態は単一のユーザー１０２からオーディオ信号を受領するマイクロホン２０８に言及してきたが、たとえば電話会議ではマイクロホンが複数のユーザーからオーディオ信号を受領してもよいことは理解されるであろう。このシナリオでは、望まれるオーディオ信号の複数の源がマイクロホン２０８に到着する。

本発明について、好ましい実施形態を参照して具体的に図示し、記述してきたが、付属の請求項によって定義される本発明の範囲から外れることなく、形および詳細におけるさまざまな変更がなされてもよいことは当業者には理解されるであろう。

Claims

ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理する方法であって：
少なくとも一つの主要オーディオ信号および望まれない信号を含む複数のオーディオ信号を、前記ユーザー装置におけるオーディオ入力手段において受領する段階と；
ノイズ抑制手段において前記オーディオ信号の到来方向情報を受領する段階と；
前記望まれない信号の少なくとも一部を表わす既知の到来方向情報を前記ノイズ抑制手段に提供する段階と；
前記ノイズ抑制手段において、前記オーディオ信号の到来方向情報と前記既知の到来方向情報との間の比較に依存して望まれないと同定された前記信号の諸部分をノイズとして扱うよう、前記オーディオ信号を処理する段階とを含む、
方法。
前記オーディオ入力手段は：
前記少なくとも一つの主要オーディオ信号が前記オーディオ入力手段において受領される少なくとも一つの主方向を推定し；
前記少なくとも一つの主方向においてビームを形成し、前記主方向以外の任意の方向からのオーディオ信号を実質的に抑制することによって、単一チャンネル・オーディオ出力信号を生成するよう、前記複数のオーディオ信号を処理するよう構成されているビーム形成器を有しており、
前記単一チャンネル・オーディオ出力信号はフレームのシーケンスを含み、前記ノイズ抑制手段は前記フレームのそれぞれを順に処理する、
請求項１記載の方法。
処理されている現在フレームの主信号成分についての到来方向情報が前記ノイズ抑制手段において受領され、当該方法はさらに：
前記現在フレームの主信号成分についての到来方向情報と、前記既知の到来方向情報とを比較する段階を含んでおり、
前記既知の到来方向情報は、（ｉ）前記オーディオ入力手段において遠端信号が受領される少なくとも一つの方向；（ｉｉ）少なくとも一つの望まれないオーディオ信号が前記オーディオ入力手段に到着する方向であり、前記少なくとも一つの望まれないオーディオ信号の信号特性に基づいて同定される、少なくとも一つの分類された方向；（ｉｉｉ）前記少なくとも一つの主要オーディオ信号が前記オーディオ入力手段において受領される少なくとも一つの主方向；および（ｉｖ）前記ビーム形成器のビーム・パターンのうちの少なくとも一つを含む、
請求項１または２記載の方法。
前記現在フレームの主信号成分が望まれない信号であるかどうかを、前記比較に基づいて判定する段階と；
前記現在フレームの主信号成分が望まれない信号であると判定される場合には処理されている現在フレームに最大減衰を適用し；現在フレームの主信号成分を望まれない信号であると判定するのは：
主信号成分が前記オーディオ入力手段において、前記オーディオ入力手段において遠端信号が受領される前記少なくとも一つの方向から受領される；あるいは
主信号成分が前記オーディオ入力手段において前記少なくとも一つの分類された方向から受領される；あるいは
主信号成分が前記オーディオ入力手段において前記少なくとも一つの主方向から受領されない場合である、段階とを含む、
請求項３記載の方法。
信号処理手段において、前記複数のオーディオ信号および前記少なくとも一つの主方向についての情報を受領する段階と；
前記信号処理手段において、前記少なくとも一つの主方向についての前記情報を使って前記複数のオーディオ信号を処理して前記ノイズ抑制手段に追加的情報を提供する段階と；
前記追加的情報および前記比較に依存して前記ノイズ抑制手段において処理されている現在フレームにあるレベルの減衰を適用する段階とを含んでおり、
前記追加的情報は：（ｉ）現在フレームの主信号成分の望ましさについての指標、（ｉｉ）前記少なくとも一つの主要オーディオ信号の平均パワー・レベルに対する現在フレームの主信号成分のパワー・レベル、（ｉｉｉ）現在フレームの主信号成分の信号分類、および（ｉｖ）現在フレームの主信号成分が前記オーディオ入力手段において受領される少なくとも一つの方向のうちの一つを含む、
請求項３記載の方法。
請求項４ないし８のうちいずれか一項記載の方法であって、さらに：
信号処理手段において、前記単一チャンネル・オーディオ出力信号および前記少なくとも一つの主方向についての情報を受領する段階と；
前記信号処理手段において、前記少なくとも一つの主方向についての前記情報を使って前記単一チャンネル・オーディオ出力信号を処理して前記ノイズ抑制手段に追加的情報を提供する段階と；
前記追加的情報および前記比較に依存して前記ノイズ抑制手段において処理されている現在フレームにあるレベルの減衰を適用する段階とを含んでおり、
前記追加的情報は：（ｉ）現在フレームの主信号成分の望ましさについての指標、（ｉｉ）前記少なくとも一つの主要オーディオ信号の平均パワー・レベルに対する現在フレームの主信号成分のパワー・レベル、（ｉｉｉ）現在フレームの主信号成分の信号分類、および（ｉｖ）現在フレームの主信号成分が前記オーディオ入力手段において受領される少なくとも一つの方向のうちの一つを含む、
方法。
請求項２ないし６のうちいずれか一項記載の方法であって、前記少なくとも一つの主方向は：
前記オーディオ入力手段において受領されているオーディオ信号間の相互相関を最大化する時間遅延を決定し；
前記オーディオ入力手段において受領されるオーディオ信号における発話特性であって最大相互相関の前記時間遅延をもつものを検出することによって決定される、
方法。
前記望まれない信号は、前記ユーザー装置の外部の源または前記ユーザー装置における源によって生成され、前記源は：前記ユーザー装置のオーディオ出力手段；前記ユーザー装置における活動の源のうちの少なくとも一つを含み、前記活動は、ボタン・クリック活動、キーボード・クリック活動およびマウス・クリック活動を含むクリック活動を含む、請求項１ないし７のうちいずれか一項記載の方法。
ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理するユーザー装置であって：
少なくとも一つの主要オーディオ信号および望まれない信号を含む複数のオーディオ信号を受領するオーディオ入力手段と；
前記オーディオ信号の到来方向情報および前記望まれない信号の少なくとも一部を表わす既知の到来方向情報を受領するノイズ抑制手段であって、前記オーディオ信号の到来方向情報と前記既知の到来方向情報との間の比較に依存して望まれないと同定された前記信号の諸部分をノイズとして扱うことによって前記オーディオ信号を処理するよう構成されている、ノイズ抑制手段と有する、
ユーザー装置。
ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理するユーザー装置におけるコンピュータ処理手段によって実行されるためのコンピュータ可読命令を含むコンピュータ・プログラム・プロダクトであって、前記命令は、請求項１ないし８のうちいずれか一項記載の方法を実行するための命令を含む、コンピュータ・プログラム・プロダクト。