JP2019537071A - 分散したマイクロホンからの音声の処理 - Google Patents

Abstract

様々な位置に配置された複数のマイクロホン及びそれらのマイクロホンと通信している修正システムを含むシステム。修正システムは、複数のマイクロホンから複数のオーディオ信号を引き出し、引き出された各オーディオ信号に対して信頼性スコアを計算し、計算された信頼性スコアに基づいて、１つの引き出されたオーディオ信号を使用して別のオーディオ信号を修正するように構成されている。

Description

本開示は、分散したマイクロホンからの音声を処理することに関する。

現行の音声認識システムは、１つのマイクロホン又はマイクロホンアレイが利用者の音声を聞き取り、その音声に基づいて行動を起こすものである。行動としては、局所的な音声認識及び応答、クラウドベースの認識及び応答、又はこれらの組み合わせが挙げられ得る。いくつかの事例では、「起動ワード（wake-up word）」が局所的に識別され、起動ワードに基づいて遠隔的に更なる処理が提供される。

分散型スピーカシステムは、家の中の方々に位置する複数のスピーカにおいて、音の再生が位置間で同期されるようにオーディオの再生を調整し得る。

一般に、一態様では、システムは、様々な位置に配置された複数のマイクロホン及びそれらのマイクロホンと通信しているディスパッチシステムを含む。ディスパッチシステムは、複数のマイクロホンから複数のオーディオ信号を引き出し、引き出された各オーディオ信号に対して信頼性スコアを計算し、計算された信頼性スコアを比較する。比較に基づき、ディスパッチシステムは、更なるハンドリングのために、引き出されたオーディオ信号のうちの少なくとも１つを選択する。

実装形態は、以下の１つ以上を任意の組み合わせで含むことができる。ディスパッチシステムは、マイクロホンのうちの少なくとも１つにそれぞれ接続されている複数の局所的なプロセッサを含んでよい。ディスパッチシステムは、少なくとも第１の局所的なプロセッサと、第１のプロセッサがネットワークを介して利用可能な、少なくとも第２のプロセッサと、を含んでよい。引き出された各オーディオ信号に対して信頼性スコアを計算することは、信号が音声を含んでいる可能性があるかどうか、起動ワードが信号に含まれている可能性があるかどうか、どのような起動ワードが信号に含まれている可能性があるか、信号に含まれている音声の品質、声が信号に記録されている可能性のある利用者の識別情報、及びマイクロホン位置に対して相対的な利用者の位置のうちの１つ以上において信頼度を計算することを含んでよい。引き出された各オーディオ信号に対して信頼性スコアを計算することはまた、オーディオ信号が発話を含んでいるように見えることと、その発話が起動ワードを含んでいるかどうかということと、を判定することを含んでもよい。引き出された各オーディオ信号に対して信頼性スコアを計算することはまた、複数の起動ワードの中からどの起動ワードが音声に含まれているかを識別することを含んでもよい。引き出された各オーディオ信号に対して信頼性スコアを計算することは、音声が起動ワードを含んでいることの信頼性の程度を決定することを更に含んでよい。

引き出された各オーディオ信号に対して信頼性スコアを計算することは、オーディオ信号のそれぞれに対応している音をマイクロホンが検出したタイミング、引き出されたオーディオ信号の信号強度、引き出されたオーディオ信号の信号対雑音比、引き出されたオーディオ信号のスペクトル成分、及び引き出されたオーディオ信号内の残響のうちの１つ以上を比較することを含んでよい。引き出された各オーディオ信号に対して信頼性スコアを計算することは、オーディオ信号ごとに、オーディオ信号の仮想点音源とマイクロホンのうちの少なくとも１つとの間の距離を計算することを含んでよい。引き出された各オーディオ信号に対して信頼性スコアを計算することは、それぞれのオーディオ信号の音源の位置をマイクロホンの位置に対して相対的に計算することを含んでよい。それぞれのオーディオ信号の音源の位置を計算することは、それぞれの音源とマイクロホンのうちの少なくとも２つとの間の計算された距離に基づいて三角法で位置を測定することを含んでよい。

ディスパッチシステムは、更なるハンドリングを提供するために、選択された信号の少なくとも一部を音声処理システムに送信してよい。選択されたオーディオ信号を送信することは、複数の音声処理システムから少なくとも１つの音声処理システムを選択することを含んでよい。複数の音声処理システムのうちの少なくとも１つの音声処理システムは、広域ネットワークを介して提供されている音声認識サービスを含んでよい。複数の音声処理システムのうちの少なくとも１つの音声処理システムは、ディスパッチシステムが実行中である同一プロセッサ上で実行中の音声認識プロセスを含んでよい。音声処理システムの選択は、利用者に関連付けられている好み、計算された信頼性スコア、又はオーディオ信号が引き出されたときの状況のうちの１つ以上に基づいてよい。状況は、話している可能性のある利用者の識別、複数のマイクロホンのうちのどのマイクロホンが選択された引き出されたオーディオ信号を生成したか、マイクロホン位置に対して相対的な利用者の位置、システム内の他のデバイスの動作状態、及び時刻のうちの１つ以上を含んでよい。音声処理システムの選択は、音声処理システムが利用可能なリソースに基づいてよい。

計算された信頼性スコアを比較することは、少なくとも２つの選択されたオーディオ信号が少なくとも２人の別々の利用者からの発話を含んでいるように見えることを判定することを含んでよい。選択されたオーディオ信号が少なくとも２人の別々の利用者からの発話を含んでいるように見えることを判定することは、声の識別、マイクロホンの位置に対して相対的な利用者の位置、選択されたオーディオ信号のそれぞれをどのマイクロホンが生成したか、２つの選択されたオーディオ信号での異なる起動ワードの使用、及び利用者の視覚的な識別のうちの１つ以上に基づいてよい。ディスパッチシステムはまた、２人の別々の利用者に対応している選択されたオーディオ信号を２つの別々の選択された音声処理システムに送信してもよい。選択されたオーディオ信号は、利用者の好み、音声処理システムの負荷分散、選択されたオーディオ信号の状況、及び２つの選択されたオーディオ信号での異なる起動ワードの使用のうちの１つ以上に基づいて、選択された音声処理システムに割り当てられてよい。ディスパッチシステムはまた、２人の別々の利用者に対応している選択されたオーディオ信号を２つの別個の処理要求として同じ音声処理システムに送信してもよい。

計算された信頼性スコアを比較することは、少なくとも２つの受信されたオーディオ信号が同じ発話を表しているように見えることを判定することを含んでよい。選択されたオーディオ信号が同じ発話を表していることを判定することは、声の識別、マイクロホンの位置に対して相対的なオーディオ信号の音源の位置、選択されたオーディオ信号のそれぞれをどのマイクロホンが生成したか、オーディオ信号の到着時間、オーディオ信号間又はマイクロホンアレイ素子の出力間の相互関係、パターンマッチング、及び話者の視覚的な識別のうちの１つ以上に基づいてよい。ディスパッチシステムはまた、同じ発話を表しているように見えるオーディオ信号のうちの１つのみを音声処理システムに送信してもよい。ディスパッチシステムはまた、同じ発話を表しているように見えるオーディオ信号の両方を音声処理システムに送信してもよい。ディスパッチシステムはまた、少なくとも１つの選択されたオーディオ信号を少なくとも２つの音声処理システムのそれぞれに送信し、音声処理システムのそれぞれから応答を受信し、それらの応答を出力する順序を決定してもよい。

ディスパッチシステムはまた、少なくとも２つの選択されたオーディオ信号を少なくとも１つの音声処理システムに送信し、送信した信号のそれぞれに対応している応答を音声処理システムから受信し、それらの応答を出力する順序を決定してもよい。ディスパッチシステムは、更なる処理に対する応答を受信し、出力デバイスを使用してその応答を出力するように、更に構成されていてよい。出力デバイスは、オーディオを捕捉したマイクロホンと対応していなくてよい。出力デバイスは、マイクロホンが位置している場所のいずれかに位置していなくてもよい。出力デバイスは、拡声器、ヘッドホン、装着可能なオーディオデバイス、ディスプレイ、ビデオスクリーン、又は家庭用器具のうちの１つ以上を含んでよい。更なる処理に対する複数の応答を受信したとき、ディスパッチシステムは、応答を単一の出力に結合することによって、応答を出力する順序を決定してよい。更なる処理に対する複数の応答を受信したとき、ディスパッチシステムは、全てより少ない数の応答を選択して出力することによって、又は異なる応答を異なる出力デバイスに送信することによって、応答を出力する順序を決定してよい。引き出されたオーディオ信号の数は、マイクロホンの数と等しくなくてよい。マイクロホンのうちの少なくとも１つは、マイクロホンアレイを含んでよい。システムはまた、非オーディオ入力デバイスを含んでもよい。非オーディオ入力デバイスは、加速度計、存在検出器、カメラ、装着可能なセンサ、又はユーザインターフェースデバイスのうちの１つ以上を含んでよい。

一般に、一態様では、システムは、様々な位置に配置された複数のデバイスを含み、それらのデバイスと通信しているディスパッチシステムは、前に通信された要求に応じて音声処理システムから応答を受信し、デバイスのそれぞれに対して応答の関連性を判定し、その判定に基づいてそれらのデバイスのうちの少なくとも１つに応答を転送する。

実装形態は、以下の１つ以上を任意の組み合わせで含むことができる。デバイスのうちの少なくとも１つは、オーディオ出力デバイスを含んでよく、応答を転送することは、そのデバイスに、応答に対応しているオーディオ信号を出力させてよい。オーディオ出力デバイスは、拡声器、ヘッドホン、又は装着可能なオーディオデバイスのうちの１つ以上を含んでよい。デバイスのうちの少なくとも１つは、ディスプレイ、ビデオスクリーン、又は家庭用器具を含んでよい。前に通信された要求は、複数のデバイス位置のいずれとも関連付けられていない第３の位置から通信されたものであってよい。応答は第１の応答であってよく、ディスパッチシステムはまた、第２の音声処理システムから応答を受信してもよい。ディスパッチシステムはまた、第１の応答をデバイスのうちの第１のデバイスに転送し、第２の応答をデバイスのうちの第２のデバイスに転送してもよい。ディスパッチシステムはまた、第１の応答と第２の応答の両方をデバイスのうちの第１のデバイスに転送してもよい。ディスパッチシステムはまた、第１の応答と第２の応答の一方のみを任意のデバイスに転送してもよい。

応答の関連性を判定することは、デバイスのうちのどれが前に通信された要求に関連付けられていたかを判定することを含んでよい。応答の関連性を判定することは、デバイスのうちのどれが、前に通信された要求に関連付けられている利用者に最も近い可能性があるかを判定することを含んでよい。応答の関連性を判定することは、特許請求されたシステムの利用者に関連付けられている好みに基づいてよい。応答の関連性を判定することは、前に通信された要求の状況を判定することを含んでよい。状況は、要求に関連付けられている可能性のある利用者の識別、複数のマイクロホンのうちのどのマイクロホンが要求に関連付けられている可能性があるか、デバイス位置に対して相対的な利用者の位置、システム内の他のデバイスの動作状態、及び時刻のうちの１つ以上を含んでよい。応答の関連性を判定することは、デバイスの能力又はリソース利用性を判定することを含んでよい。

複数の出力デバイスは様々な出力デバイス位置に配置されてよく、ディスパッチシステムはまた、送信された要求に応じて音声処理システムから応答を受信し、出力デバイスのそれぞれに対して応答の関連性を判定し、その判定に基づいてそれらの出力デバイスのうちの少なくとも１つに応答を転送してもよい。出力デバイスのうちの少なくとも１つは、オーディオ出力デバイスを含んでよく、応答を転送することは、そのデバイスに、応答に対応しているオーディオ信号を出力させる。オーディオ出力デバイスは、拡声器、ヘッドホン、又は装着可能なオーディオデバイスのうちの１つ以上を含んでよい。出力デバイスのうちの少なくとも１つは、ディスプレイ、ビデオスクリーン、又は家庭用器具を含んでよい。応答の関連性を判定することは、出力デバイスと選択されたオーディオ信号に関連付けられているマイクロホンとの間の関係を判定することを含んでよい。応答の関連性を判定することは、出力デバイスのうちのどれが、選択されたオーディオ信号の音源に最も近い可能性があるかを判定することを含んでよい。応答の関連性を判定することは、オーディオ信号が引き出されたときの状況を判定することを含んでよい。状況は、話している可能性のある利用者の識別、複数のマイクロホンのうちのどのマイクロホンが選択された引き出されたオーディオ信号を生成したか、マイクロホン位置及びデバイス位置に対して相対的な利用者の位置、システム内の他のデバイスの動作状態、並びに時刻のうちの１つ以上を含んでよい。応答の関連性を判定することは、出力デバイスの能力又はリソース利用性を判定することを含んでよい。

一般に、一態様では、システムは、様々なマイクロホン位置に配置された複数のマイクロホン、様々な拡声器位置に配置された複数の拡声器、並びにマイクロホン及び拡声器と通信しているディスパッチシステムを含む。ディスパッチシステムは、複数のマイクロホンから複数の音声信号を引き出し、引き出された各音声信号に対して起動ワードの包含に関する信頼性スコアを計算し、計算された信頼性スコアを比較し、その比較に基づいて、引き出された音声信号のうちの少なくとも１つを選択し、選択された信号の少なくとも一部を音声処理システムに送信する。ディスパッチシステムは、送信に応じて音声処理システムから応答を受信し、拡声器のそれぞれに対して応答の関連性を判定し、その判定に基づいて拡声器のうちの少なくとも１つに出力用として応答を転送する。

一般に、別の態様では、システムは、様々な位置に配置された複数のマイクロホン及びそれらのマイクロホンと通信している修正システムを含む。修正システムは、複数のマイクロホンから複数のオーディオ信号を引き出し、引き出された各オーディオ信号に対して信頼性スコアを計算し、計算された信頼性スコアに基づいて、１つの引き出されたオーディオ信号を使用して別のオーディオ信号を修正するように構成されている。

引き出された各オーディオ信号についての信頼性スコアを計算することは、引き出されたオーディオ信号が音声を含むかどうか、及び引き出されたオーディオ信号が非音声音を含むかどうかの信頼性を計算することを含み得る。引き出された各オーディオ信号の信頼性スコアを計算することは、引き出されたオーディオ信号が音声信号であるかどうかを判定することを含み得る。別のオーディオ信号を修正するために、１つの引き出されたオーディオ信号を使用することは、第１のオーディオ信号を第２のオーディオ信号でフィルタリングすることを含んでもよい。第１のオーディオ信号を第２のオーディオ信号でフィルタリングすることは、第２のオーディオ信号を第１のオーディオ信号の適応フィルタに対する参照として使用することを含んでもよい。引き出されたオーディオ信号の数は、マイクロホンの数と異なっていてもよい。

マイクロホンのうちの少なくとも１つは、マイクロホンアレイを含んでよい。第１のマイクロホンアレイは、第１の音ターゲットに空間的に集中してもよい。第２のマイクロホンアレイは、第２の音ターゲットに空間的に集中してもよい。第１の音ターゲットは、人間の声を含んでもよい。第２の音ターゲットは、ノイズ源を含んでもよい。

第１のマイクロホンは、第１のデバイスの一部であってもよく、第２のマイクロホンは第２のデバイスの一部であってもよく、第１のオーディオ信号は、第１のマイクロホンから引き出されてもよく、第２のオーディオ信号は、第２のマイクロホンから引き出されてもよい。第２のデバイスは、第２のオーディオ信号を第１のデバイスに送信することができる。第１のデバイスは、第２のオーディオ信号を使用して第１のオーディオ信号を修正することができる。第１のデバイスは、第２のオーディオ信号を使用して、第１のオーディオ信号のノイズを低減させることができる。

第１及び第２のマイクロホンは、両方とも第１のデバイスの一部であってもよい。第１のオーディオ信号は、第１のマイクロホンから引き出されてもよく、第２のオーディオ信号は、第２のマイクロホンから引き出されてもよい。第２のオーディオ信号を使用して、第１のオーディオ信号のノイズを低減させることができる。複数のマイクロホンは、第１のデバイスの一部であってもよい。第１のデバイスは、複数のそのマイクロホンを第１及び第２の別個の音源に空間的に集中させることができ、第１のオーディオ信号は第１の音源から引き出され、第２のオーディオ信号は第２の音源から引き出される。第２のオーディオ信号を使用して、第１のオーディオ信号のノイズを低減させることができる。

一般に、別の態様では、システムは、異なる場所に位置付けられた複数のマイクロホンを含み、第１のマイクロホンは第１のデバイスの一部であり、第２のマイクロホンは第２のデバイスの一部であり、第１のデバイスは、第１のマイクロホンから第１のオーディオ信号を引き出すように動作し、第２のデバイスは、第２のマイクロホンから第２のオーディオ信号を引き出すように動作し、第２のデバイスは、第２のオーディオ信号を第１のデバイスに送信するように適合されている。第１のデバイスの一部である修正システムは、第１及び第２のオーディオ信号に応答しており、修正システムは、第２のオーディオ信号を使用して、第１のオーディオ信号のノイズを低減させる。

一般に、別の態様では、システムは、第１及び第２のマイクロホンを含む、第１のデバイスの一部である複数のマイクロホンを含み、第１のデバイスは、第１のマイクロホンからの第１のオーディオ信号及び第２のマイクロホンからの第２のオーディオ信号を引き出すように動作する。修正システムは、第１のデバイスの一部であり、第１及び第２のオーディオ信号に応答しており、修正システムは、第２のオーディオ信号を使用して、第１のオーディオ信号のノイズを低減させる。

一般に、別の態様では、システムは、第１のデバイスの一部である複数のマイクロホンを含み、第１のデバイスは、複数のそのマイクロホンを第１及び第２の別個の音源に空間的に集中させ、第１のオーディオ信号が第１の音源から引き出され、第２のオーディオ信号が第２の音源から引き出される。第１のデバイスは、第１の音源からの第１のオーディオ信号及び第２の音源からの第２のオーディオ信号を引き出すように動作する。修正システムは、第１のデバイスの一部であり、第１及び第２のオーディオ信号に応答しており、修正システムは、第２のオーディオ信号を使用して、第１のオーディオ信号のノイズを低減させる。

利点としては、複数の位置で発声された命令を検出すること、及び命令に対して単一の応答を提供することが挙げられる。更に、利点としては、発声された命令に対する応答を、命令が検出された位置ではなくて利用者との関連性のより高い位置で提供することも挙げられる。

上記の全ての例及び特徴は、技術的に可能な任意の方法で組み合わせることができる。他の特徴及び利点は、明細書及び特許請求の範囲から明らかになるであろう。

マイクロホン、及びマイクロホンによって受信された音声命令に応答し得るデバイスのシステムレイアウトを示す。

１つのオーディオ信号を使用して別のオーディオ信号を修正することができるシステムを示す。

ますます多くのデバイスで音声制御式ユーザインターフェース（ＶＵＩ）が実装されるにつれ、複数のデバイスが同一の発声された命令を検出し、それに対処しようとすることがあるという問題が起きており、その結果、重複する応答から、異なる行動時点に矛盾した行動が行われることまで、様々な問題が生じている。また、発声された命令が、複数のデバイスによる出力又は行動をもたらす可能性がある場合、どのデバイスが行動を起こすべきかは不明瞭であることがある。いくつかのＶＵＩでは、ＶＵＩの音声認識機能を起動するために、「起動ワード」、「ウェイクワード（wake word）」又は「キーワード」と称される、特別な語句が使用されている。ＶＵＩを実装しているデバイスは、常に起動ワードに対して聞き耳を立てており、起動ワードを聞くと、その後に聞いたどのような発声された命令に対しても構文解析を行う。これは、検出されている全ての音を構文解析するわけではないことによって、処理リソースを節約するようになされており、どのシステムが命令の対象であるかを明確にするのに役立ち得るが、起動ワードが個々のハードウェアではなくてサービスプロバイダと関連付けられているなどの理由から、複数のシステムが同じ起動ワードに聞き耳を立てている場合は、どのデバイスが命令に対処すべきであるかを決定する問題が取り残されている。

図１は、例示的なシステム１００を示しており、独立型のマイクロホンアレイ１０２、スマートフォン１０４、拡声器１０６、及び一組のヘッドホン１０８のうちの１つ以上は、利用者の音声を検出するマイクロホンをそれぞれ有する（混乱を避けるために、話者を「利用者」と称し、デバイス１０６を「拡声器」と称しており、利用者によって発声された個別的なものは「発話」である）。また、「音」、「ノイズ」、及び同様の単語は、可聴音響エネルギーを指す。「オーディオ信号」は、そのような音を表す電気信号又は光信号を指し、マイクロホン又は他の電子機器によって生成されてもよく、拡声器によって可聴音響エネルギーに変換されてもよい。発話１１０を検出するデバイスのそれぞれは、聞こえたものをオーディオ信号としてディスパッチシステム１１２に送信する。複数のマイクロホンを有するデバイスの場合、それらのデバイスは、個々のマイクロホンによって表現された信号を結合して、単一の結合されたオーディオ信号を表現してよく、又はそれらのデバイスは、それぞれのマイクロホンによって表現された信号を送信してもよい。

ディスパッチシステム１１２は、デバイスのそれぞれが個々に接続されているクラウドベースのサービス、同じデバイスのうちの１つ若しくは関連デバイスの上で動作している局所的なサービス、一部若しくは全てのデバイスのそれら自体の上で協働して動作している分散サービス、又はこれら若しくは類似のアーキテクチャの任意の組み合わせであってよい。デバイスのそれぞれは、それらの異なるマイクロホン設計及びそれらの利用者への異なる近接性に起因して、発話１１０を聞くにしても異なる方法で聞き得る。例えば、独立型のマイクロホンアレイ１０２は、利用者がどこにいるかに関係なく発話を明瞭に聞くことを可能する高品質なビーム形成能力を有し得るが、ヘッドホン１０８及びスマートフォン１０４は、それぞれ、利用者がヘッドホンを装着している及び電話機を顔のところにまで持ち上げている場合にのみ利用者の声を明瞭に拾う高指向性近接場マイクロホンを有する。一方、拡声器１０６は、利用者が拡声器の近くにいてそれと向かい合っている場合は音声をよく検出するが、他の場合では低品質な信号を生成する、単純な全指向性マイクロホンを有し得る。

これら及び類似の要因に基づき、ディスパッチシステム１１２は、それぞれのオーディオ信号に対して信頼性スコアを計算する（これは、聞いたものを送信する前にその検出を採点し、そのスコアを対応のオーディオ信号と共に送信するデバイスを含み得る）。互いとの、及び／又は基準との信頼性スコアの比較に基づき、ディスパッチシステム１１２は、更なる処理のためにオーディオ信号のうちの１つ以上を選択する。これは、音声認識を局所的に実施し、直接の行動を起こすこと、又はインターネット若しくは任意のプライベートネットワークなど、ネットワーク１１４を介して別のサービスプロバイダにオーディオ信号を送信することを含み得る。例えば、デバイスのうちの１つが、信号に起動ワード「ＯＫ Ｇｏｏｇｌｅ」が含まれているという高い信頼度を有するオーディオ信号を生成すると、そのオーディオ信号は、ハンドリングのためにＧｏｏｇｌｅのクラウドベースの音声認識システムに送信され得る。オーディオ信号が遠隔サービスに送信される場合、起動ワードは、その後に続いたいかなる発話とも共に含められ得る、又は発話のみが送信され得る。

信頼度の採点は、多数の要因に基づいてよく、また２つ以上のパラメーターにおいて信頼度を示してもよい。例えば、スコアは、どの起動ワードが使用されたか（及び／又は、とにかく起動ワードが使用されたかどうか）、又は利用者がマイクロホンに対して相対的にどこに位置しているか、についての信頼性の程度を示してよい。スコアはまた、オーディオ信号が高品質であるかどうかにおいても信頼性の程度を示してよい。一実施例では、ディスパッチシステムは、２つのデバイスからのオーディオ信号を、どちらも特定の起動ワードが使用されたという高信頼性スコアを有するものとして採点するが、それらのうちの一方をオーディオ信号の品質において低信頼度で採点し得、それと同時に、他方は、オーディオ信号品質において高信頼度で採点される。信号品質について高信頼性スコアを有するオーディオ信号は、更なる処理のために選択されることになり得る。

２つ以上のデバイスがオーディオ信号を送信するとき、信頼度を決定すべき重要なことのうちの１つは、それらのオーディオ信号が同じ発話又は２つ（若しくはそれ以上）の異なる発話のいずれを表しているかである。採点自体は、信号レベル、信号対雑音比（ＳＮＲ）、信号内の残響量、信号のスペクトル成分、利用者の識別、マイクロホンに対して相対的な利用者の位置に関する知識、又はデバイスのうちの２つ以上でのオーディオ信号の相対的なタイミングなどの要因に基づいてよい。位置関連の採点及び利用者識別情報関連の採点は、オーディオ信号自体と、視覚的なシステム、利用者に装着された装着可能な追跡器、及び信号を提供しているデバイスの識別情報などの外部データとの両方に基づいてよい。例えば、スマートフォンがオーディオ信号の発生源である場合、そのスマートフォンの所有者は聞こえた声を有する利用者であるという信頼性スコアが高くなり得る。利用者位置は、複数の位置において、又は単一の位置にあるアレイ内の複数のマイクロホンにおいて受信されたオーディオ信号の強度及びタイミングに基づいて決定されてよい。

どの起動ワードが使用されたか、及びどの信号が最良であるかを判定することに加えて、採点は、オーディオ信号がどのように対処されるべきかの情報を与える追加の状況を提供してもよい。例えば、利用者が拡声器と向かい合っていることを信頼性スコアが示している場合は、スマートフォンに関連したＶＵＩよりも、拡声器に関連したＶＵＩが使用されるべきであるということであり得る。状況は、どの利用者が話していたか、利用者がデバイスに対して相対的にどこに位置してどこに向いていたか、利用者がどのような活動に従事していたか（例えば、運動、料理、ＴＶの視聴）、何時であるか、又は他にどのようなデバイスが使用中であるか（オーディオ信号を提供しているもの以外のデバイスを含む）などといったことを含んでもよい。

いくつかの事例では、採点は、２つ以上の命令が聞こえたことを示す。例えば、２つのデバイスはそれぞれ、それらが異なる起動ワードを聞いたという、又は異なる利用者が話しているのをそれらが聞いたという、高信頼度を有してよい。その場合、ディスパッチシステムは、２つの要求、即ち、起動ワードが使用されたそれぞれのシステムに１つの要求を、又は両方の利用者が呼び出した単一のシステムに２つの異なる要求を送信してよい。他の事例では、例えば、２つ以上の応答を得るために、遠隔システムにどの信号を使用するか判断させるために、又は信号を組み合わせることによって声の認識を向上させるために、オーディオ信号のうちの２つ以上が送信されてよい。更なるハンドリングのためにオーディオ信号を選択することに加えて、採点はまた、他の利用者フィードバックをもたらしてもよい。例えば、命令が受信されたことを利用者が分かるように、選択されたデバイス上でライトが点滅させられてよい。

ディスパッチシステムがハンドリングのためにオーディオ信号を送信した先のサービス又はシステムから応答が受信されるとき、同様の考慮すべきことが出てくる。多くの事例では、発話の前後の状況もまた、応答のハンドリングについての情報を与えることになる。例えば、応答は、選択されたオーディオ信号が受信されたときの送信元のデバイスに送信されてよい。他の事例では、応答は、異なるデバイスに送信されてよい。例えば、独立型のマイクロホンアレイ１０２からのオーディオ信号が選択されていたが、ＶＵＩから返ってきた応答はオーディオファイルの再生を開始することである場合、応答は、ヘッドホン１０８又は拡声器１０６によって対処されるべきである。応答が、情報を表示することである場合は、スマートフォン１０４、又はスクリーンを有するいくつかの他のデバイスが使用されて応答を実現させることになり得る。採点により最良の信号品質を有することが示されたことから、マイクロホンアレイオーディオ信号が選択された場合、追加の採点は、利用者がヘッドホン１０８を使用していなかったが、拡声器１０６と同じ部屋の中にいたことを示している可能性があり、そのため、拡声器が応答の有望な対象である。デバイスの他の能力もまた考慮されることになり得る。例えば、オーディオデバイスのみが示されているが、音声命令は、照明又はホームオートメーションシステムなど、他のシステムを対象とし得る。したがって、発話に対する応答が、ライトを暗くすることである場合、ディスパッチシステムは、応答が指し示しているのは最も強いオーディオ信号が検出された部屋の中のライトであると推論し得る。他の潜在的な出力デバイスとしては、ディスプレイ、スクリーン（例えば、スマートフォン上のスクリーン、又はテレビモニタ）、家庭用器具、ドアロックなどが挙げられる。いくつかの実施例では、状況が遠隔システムに提供され、遠隔システムは、発話及び状況の組み合わせに基づいて具体的に特定の出力デバイスを対象にする。

言及したように、ディスパッチシステムは、単一のコンピュータ又は分散システムであってよい。提供される音声処理は、単一のコンピュータ又は分散システムによって、ディスパッチシステムと同一の広がりをもって又はこれから分離して、同様に提供されてよい。それらはそれぞれ、デバイスに対して完全に局所的に、クラウド内に完全に、又は両方の間で分割されて、配置されてよい。それらは、１つ又は全てのデバイスに組み込まれてよい。記載された様々なタスク、即ち、信号を採点すること、起動ワードを検出すること、ハンドリングのために信号を別のシステムに送信すること、命令について信号を構文解析すること、命令をハンドリングすること、応答を生成すること、どのデバイスが応答に対処すべきであるかを決定することなどは、共に組み合わされても、より多くのサブタスクに分解されてもよい。タスク及びサブタスクのそれぞれは、異なるデバイス又はデバイスの組み合わせによって、局所的に又はクラウドベース若しくは他の遠隔システム内で実施されてよい。

マイクロホンに言及するとき、特定のマイクロホン技術、トポロジー、又は信号処理に対していかなる意図的な制約も与えることなくマイクロホンアレイが含まれる。また、拡声器及びヘッドホンへの言及は、任意のオーディオ出力デバイス、即ち、テレビ、ホームシアターシステム、ドアベル、装着可能なスピーカなどを含むように理解されるべきである。

図２は、スマートスピーカ１（２０２）及びスマートスピーカ２（２０４）を有する第２の例示的なシステム２００を示す。スマートスピーカは、１つ以上のマイクロホン及び１つ以上のスピーカを含み、処理及び通信能力を有する、インテリジェントパーソナルアシスタントの種類である。スマートスピーカの例は、Ａｍａｚｏｎ Ｅｃｈｏである。デバイス２０２及び２０４は、代替的に、「スマートスピーカ」として機能しないが、１つ以上のマイクロホン、処理能力、及び通信能力を有するデバイスであってもよい。そのような代替デバイスの例としては、Ｂｏｓｅ ＳｏｕｎｄＬｉｎｋ（登録商標）無線スピーカなどのポータブル無線スピーカを挙げることができる。いくつかの例では、Ａｍａｚｏｎ Ｅｃｈｏ Ｄｏｔ及びＢｏｓｅ ＳｏｕｎｄＬｉｎｋ（登録商標）スピーカなど組み合わせた２つ以上のデバイスがスマートスピーカを提供する。システム２００はまた、修正システム２０６を含む。修正システム２０６は、デバイス２０２及び／又はデバイス２０４内のマイクロホンからの入力信号から複数のオーディオ信号を引き出す（又は受信する）ように構成されている。修正システム２０６はまた、引き出された各オーディオ信号の信頼性スコアを計算し、信頼性スコアに基づいて、１つのオーディオ信号を使用して別のオーディオ信号を修正するように構成されている。修正システム２０６の機能性は、デバイス２０２及び２０４の一方若しくは両方の一部であり得、並びに／又は、デバイス２０２及び２０４と通信することができる別個のデバイスの一部であり得、並びに／又は、クラウドベースのデバイス若しくはサービスであり得る。クラウドベースの態様は、ネットワーク２０８によって示される。線２０３によって示されるように、デバイス２０２及び２０４は、互いに通信することができる。家庭環境では、この通信は、典型的には（必ずしもそうではないが）、例えば、ルータを使用するＷｉ−Ｆｉ経由などの無線である。代替的なものは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＬＡＮを使用した直接無線又は有線通信である。

デバイス２０２及び２０４のそれぞれの１つ以上のマイクロホンは、利用者２１０（発話）及び／又はノイズ源２１２からの音を検出する。典型的には、第１のデバイスは、他のデバイスよりも強くユーザの発話を拾う一方で、他のデバイスは、第１のデバイスよりも強くノイズを拾う。デバイス２０２及び２０４からのオーディオ信号を、信号が発話に基づく若しくは発話を含むか、又は否かという信頼性、及び信号が不要な音に基づく若しくは不要な音（本明細書では概して「ノイズ」と呼ばれる）を含むか、又は否かを計算するために処理することができる多くの方法が存在する。そのような方法の１つは、デバイス２０２及び２０４のそれぞれにおいて音声活動検出器（ＶＡＤ）を使用することである。ＶＡＤは、音が発話であるか否かを区別することができる。システム２００が、発話を含むオーディオ信号のノイズコンテンツを低減するために使用されている場合には、ＶＡＤをトリガしない受信した音に基づくオーディオ信号は、望ましくないノイズであると見なすことができるが、ＶＡＤをトリガする受信した音に基づくオーディオ信号は、所望の発話である（又は少なくとも所望の発話を含む）と見なすことができる。

破線２２１〜２２４によって示されるように、この非限定的な例では、デバイス２０２は、ノイズ源２１２に対してよりも利用者２１０に近く、デバイス２０４は利用者２１０に対してよりもノイズ源２１２に近い。システムは、デバイスが所望の音源（例えば、利用者）に近いか、又は望ましくない音源（例えば、ノイズ源）に近いかどうかを判定する能力を含んでもよい。修正システム２０６は、この判定を実現することができる。上述のように、判定は、マイクロホンが音を検出するタイミングを比較することによって、又は引き出されたオーディオ信号の信号強度を比較することなどによって、又は引き出されたオーディオ信号の信号対雑音比を比較することによって、又は引き出されたオーディオ信号のスペクトル成分を比較することによって、又は引き出されたオーディオ信号内の残響を比較することによってなど、任意の技術的に実行可能な方法で行うことができる。一例では、多くの場合、デバイス２０２は、利用者２１０からの発話を、ノイズ源２１２からの音を拾うよりも強く拾うことになり（利用者２１０により近くなるため）、一方で、デバイス２０４では逆である。この場合、修正システム２０６は、デバイス２０２が利用者２１０に近く、デバイス２１２がノイズ源２１２に近いと判定することができる。修正システム２０６は、音源２１０及び／又は２１２とデバイス２０２及び／又は２０４との間の距離を計算することができる。修正システム２０６は、音源２１０及び／又は２１２の位置を計算することができる。位置は、非限定的な一例では、三角測量をされてもよい。

所望の音（発話）を含むオーディオ信号の品質は、ノイズ源からの引き出されたオーディオ信号を使用して、発話を最も強く受信したソースから引き出されたオーディオ信号を修正することによって改善することができる。そのため、デバイス２０４（ノイズ源２１２を最も強く拾う）から引き出されるオーディオ信号は、デバイス２０２（利用者２１０の発話を最も強く拾う）から引き出されるオーディオ信号を修正するために使用される。信号品質の改善は、音声ベースのオーディオ信号をノイズベースのオーディオ信号でフィルタリングするために、修正システム２０６を使用することによって実現することができる。例えば、デバイス２０４からのオーディオストリームは、デバイス２０２がノイズ源２１２から受信したノイズを更に低減するために、デバイス２０２からのオーディオストリームの適応フィルタに関する参照として使用することができる。オーディオ信号の適応フィルタリングは、当該技術分野において既知であり、したがって、本明細書では更に説明されない。

一例では、デバイス２０２及び２０４は、例えば、家庭内の部屋又はビジネス用会議室など、共通の領域内の異なる場所にあってもよい。１つの場合では、共通領域は、デバイス２０２及び２０４が両方ともノイズ源２１２からいくつかの音を拾う任意の領域と考えることができる。デバイス２０２及び２０４がスマートスピーカ、又は１つ以上のマイクロホン並びに処理能力及び通信能力を含む他のデバイスであるとき、利用者２１０は、デバイス２０２及び２０４の一方又は両方用のコマンドを発声してもよい。同時に、テレビ又は冷蔵庫が稼働していてもよく、又はデバイス２０２及び２０４のうちの１つが音楽を再生している場合がある。任意のそのような非音声音（「ノイズ」と呼ばれる）は、音声命令の適切な受信及び使用に干渉する恐れがある。したがって、所望の信号（発話／音声命令を有するもの）のノイズの低減は、発話を最も強く受信したスマートスピーカ又は他のデバイスの機能性を改善するのに役立つ。

異なる場所にある複数の（２つ以上の）マイクロホンは、２つ以上の異なるデバイス（例えば、それぞれ１つ又は複数のマイクロホンを有する２つのデバイス）のうちの１つ以上のマイクロホンを含むことができるか、又は単一のデバイスの複数のマイクロホンを含むことができる。第１の例では、各デバイスの複数のマイクロホンを、例えばビーム形成によって、所望の音源（利用者又はノイズ源のいずれか）に空間的に集中させることができる。単一のデバイスが使用される複数のマイクロホンを含む場合、ビーム形成を使用して、ノイズ源におけるビーム及び標的源（利用者）における異なるビームを導くことができる。これらのビームは、同じマイクロホンが両方のビームに使用されるときに連続的であり得（cab be sequential）、又はデバイスが十分な量のマイクロホンを有する場合に並列であり得る。

図２に示される場合、デバイス２０２及び２０４はそれぞれ、互いに及び修正システム２０６と無線通信することができる。多くの場合、システム２０６は、デバイス２０２又は２０４のうちの１つの処理を使用して実現されるので、システム２０６を含む別個のデバイスは存在しない。別の代替案は、例えば、クラウド２０８内のリモートデバイスでシステム２０６を実現することである。１つのシナリオでは、ノイズを拾うデバイス２０４は、その処理されたオーディオ信号をデバイス２０２に向けて流す。次いで、デバイス２０２は、入力ノイズベースのオーディオストリームを適応フィルタ内の参照として使用して、デバイス２０２からのオーディオ信号のノイズ成分を低減させる。それは、所望の発話を含む。

上述のシステム及び方法の実施形態は、当業者には明白であろうコンピュータ構成要素及びコンピュータ実装工程を含む。例えば、コンピュータ実装工程を実行するための命令は、コンピュータ実行可能命令として、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、フラッシュＲＯＭ、不揮発性ＲＯＭ、及びＲＡＭなどのコンピュータ可読媒体上に記憶され得ることは、当業者によって理解されるはずである。更に、コンピュータ実行可能命令が、例えば、マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイなどの様々なプロセッサ上で実行され得ることが当業者によって理解されるべきである。説明を容易にするために、上記のシステム及び方法の全てのステップ又は要素が、コンピュータシステムの一部として本明細書で説明されるわけではないが、各ステップ又は要素が、対応するコンピュータシステム又はソフトウェアの構成要素を有し得ることを、当業者は認識するであろう。したがって、このようなコンピュータシステム及び／又はソフトウェアの構成要素は、それらの対応する工程又は要素（即ち、それらの機能性）を記載することによって有効化されるものであり、また本開示の範囲内にある。

複数の実装形態を説明してきた。それにもかかわらず、本明細書に記載される本発明の概念の範囲から逸脱することなく、追加の改変を行うことができ、したがって、他の実施形態も、以下の特許請求の範囲内にあることが理解される。

１１０ 発話
１１２ ディスパッチシステム
１１４ ネットワーク
２０２ スマートスピーカ１
２０４ スマートスピーカ２
２０６ 修正システム
２０８ ネットワーク
２１０ 利用者
２１２ ノイズ源

Claims (24)

1. システムであって、
   様々な位置に配置された複数のマイクロホンと、
   前記マイクロホンと通信している修正システムであって、
   複数のオーディオ信号を前記複数のマイクロホンから引き出し、
   引き出された各オーディオ信号に対して信頼性スコアを計算し、
   前記計算された信頼性スコアに基づいて、１つの引き出されたオーディオ信号を使用して、別のオーディオ信号を修正するように構成されている、修正システムと、
   を備えるシステム。
2. 引き出された各オーディオ信号についての信頼性スコアを計算することが、前記引き出されたオーディオ信号が音声を含むかどうか、及び前記引き出されたオーディオ信号が非音声音を含むかどうかの信頼性を計算することを含む、請求項１に記載のシステム。
3. 引き出された各オーディオ信号の信頼性スコアを計算することが、前記引き出されたオーディオ信号が音声信号であるかどうかを判定することを含む、請求項１に記載のシステム。
4. １つの引き出されたオーディオ信号を使用して、別のオーディオ信号を修正することは、第１のオーディオ信号を第２のオーディオ信号でフィルタリングすることを含む、請求項１に記載のシステム。
5. 第１のオーディオ信号を第２のオーディオ信号でフィルタリングすることは、前記第２のオーディオ信号を前記第１のオーディオ信号の適応フィルタに対する参照として使用することを含む、請求項４に記載のシステム。
6. 引き出されたオーディオ信号の数が、マイクロホンの数と等しくない、請求項１に記載のシステム。
7. 前記マイクロホンのうちの少なくとも１つが、マイクロホンアレイを含む、請求項１に記載のシステム。
8. 第１のマイクロホンアレイが、第１の音ターゲットに空間的に集中する、請求項７に記載のシステム。
9. 第２のマイクロホンアレイが、第２の音ターゲットに空間的に集中する、請求項８に記載のシステム。
10. 前記第１の音ターゲットが、人間の声を含む、請求項９に記載のシステム。
11. 前記第２の音ターゲットが、ノイズ源を含む、請求項１０に記載のシステム。
12. 第１のマイクロホンは、第１のデバイスの一部であり、第２のマイクロホンは第２のデバイスの一部であり、第１のオーディオ信号は、前記第１のマイクロホンから引き出され、第２のオーディオ信号は、前記第２のマイクロホンから引き出される、請求項１に記載のシステム。
13. 前記第２のデバイスが、前記第２のオーディオ信号を前記第１のデバイスに送信する、請求項１２に記載のシステム。
14. 前記第１のデバイスが、前記第２のオーディオ信号を使用して前記第１のオーディオ信号を修正する、請求項１３に記載のシステム。
15. 前記第１のデバイスが、前記第２のオーディオ信号を使用して前記第１のオーディオ信号のノイズを低減させる、請求項１４に記載のシステム。
16. 第１及び第２のマイクロホンが、両方とも第１のデバイスの一部である、請求項１に記載のシステム。
17. 第１のオーディオ信号が、前記第１のマイクロホンから引き出され、第２のオーディオ信号が、前記第２のマイクロホンから引き出される、請求項１６に記載のシステム。
18. 前記第２のオーディオ信号を使用して、前記第１のオーディオ信号のノイズを低減させる、請求項１７に記載のシステム。
19. 前記複数のマイクロホンが、第１のデバイスの一部である、請求項１に記載のシステム。
20. 前記第１のデバイスが、複数のそのマイクロホンを第１及び第２の別個の音源に空間的に集中させ、第１のオーディオ信号が、前記第１の音源から引き出され、第２のオーディオ信号が、前記第２の音源から引き出される、請求項１９に記載のシステム。
21. 前記第２のオーディオ信号を使用して、前記第１のオーディオ信号のノイズを低減させる、請求項２０に記載のシステム。
22. システムであって、
    異なる位置に配置された複数のマイクロホンであって、第１のマイクロホンが第１のデバイスの一部であり、第２のマイクロホンが第２のデバイスの一部であり、
    前記第１のデバイスが、前記第１のマイクロホンから第１のオーディオ信号を引き出すように動作し、前記第２のデバイスが、前記第２のマイクロホンから第２のオーディオ信号を引き出すように動作し、前記第２のデバイスが、前記第２のオーディオ信号を前記第１のデバイスに送信するように適合されている、複数のマイクロホンと、
    前記第１のデバイスの一部であり、前記第１及び第２のオーディオ信号に応答する修正システムであって、前記修正システムは、前記第２のオーディオ信号を使用して、前記第１のオーディオ信号のノイズを低減させる、修正システムと、
    を備えるシステム。
23. システムであって、
    第１及び第２のマイクロホンを含む、第１のデバイスの一部である複数のマイクロホンであって、
    前記第１のデバイスが、前記第１のマイクロホンからの第１のオーディオ信号及び前記第２のマイクロホンからの第２のオーディオ信号を引き出すように動作する、複数のマイクロホンと、
    前記第１のデバイスの一部であり、前記第１及び第２のオーディオ信号に応答する修正システムであって、前記修正システムは、前記第２のオーディオ信号を使用して、前記第１のオーディオ信号のノイズを低減させる、修正システムと、
    を備えるシステム。
24. システムであって、
    第１のデバイスの一部である複数のマイクロホンであって、
    前記第１のデバイスが、複数のそのマイクロホンを第１及び第２の別個の音源に空間的に集中させ、第１のオーディオ信号が、前記第１の音源から引き出され、第２のオーディオ信号が、前記第２の音源から引き出され、
    前記第１のデバイスは、前記第１の音源からの第１のオーディオ信号及び前記第２の音源からの第２のオーディオ信号を引き出すように動作する、複数のマイクロホンと、
    前記第１のデバイスの一部であり、前記第１及び第２のオーディオ信号に応答する修正システムであって、前記修正システムは、前記第２のオーディオ信号を使用して、前記第１のオーディオ信号のノイズを低減させる、修正システムと、
    を備えるシステム。