JP2013535915A - 多重マイク位置選択性処理用のシステム、方法、装置、およびコンピュータ可読媒体 - Google Patents

多重マイク位置選択性処理用のシステム、方法、装置、およびコンピュータ可読媒体 Download PDF

Info

Publication number
JP2013535915A
JP2013535915A JP2013521915A JP2013521915A JP2013535915A JP 2013535915 A JP2013535915 A JP 2013535915A JP 2013521915 A JP2013521915 A JP 2013521915A JP 2013521915 A JP2013521915 A JP 2013521915A JP 2013535915 A JP2013535915 A JP 2013535915A
Authority
JP
Japan
Prior art keywords
audio signal
pair
microphones
signal processing
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013521915A
Other languages
English (en)
Inventor
ビッサー、エリック
リウ、イアン・アーナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013535915A publication Critical patent/JP2013535915A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/05Noise reduction with a separate noise microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21Direction finding using differential microphone array [DMA]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers

Abstract

使用者の頭部の正中矢状面の両側にある複数対のマイクとの関連で到来方向により音源位置が示されオーディオ信号の位置選択性処理を行う多重マイクシステム。
【選択図】図32

Description

優先権の主張
[米国特許法第119条に基づく優先権の主張]
本願は、2010年7月26日に出願された「多重マイク位置選択性処理用のシステム、方法、装置、およびコンピュータ可読媒体」と言う名称の米国仮特許出願通し番号第61/367,730号の利益を主張する。この仮出願は、この言及により全体的にここに含まれる。
この開示は信号の処理に関する。
オフィスや家庭の静かな環境で以前に行われていた多くの活動が今日では車や通りやカフェのように音響が様々に変わる状況の下で行われている。例えば、音声通信チャネル(voice communication channel)を用いて誰かと話をしたい場合がある。そのようなチャネルは、例えば、移動無線ハンドセットやヘッドセット、携帯用無線電話機、送受信兼用の無線機、カーキット、その他の通信装置により供給される。したがって、周囲に人がいる環境の下で、すなわち、人が集まると決まって生じる種類のノイズ内容の存在する環境の下で携帯用音声感知装置(portable audio sensing devices)(例えば、スマートフォン、ハンドセット、ヘッドセット)を用いて音声通信のかなりの量が行われている。そのようなノイズは、通話の遠端(far end)の使用者を混乱させたり悩ませたりしがちである。さらに、多くの標準的な自動商取引(例えば、会計残高や株式相場の検査)ではデータの問い合わせに基づく音声認識が採用されていて、これらのシステムの正確性は干渉ノイズにより甚だしい妨害を受ける可能性がある。
騒がしい環境の下で通信が行われる用途では所期の音声信号(speech signal)を背景ノイズ(background noise)から分離することが恐らく望ましい。ノイズは、初期の信号と干渉しているか別の方法で初期の信号を劣化させているかのいずれかの全ての信号の組み合わせとしてこれを定義することができる。背景ノイズには、所期の信号や他の任意の信号により生じる反射や余波はもちろんのこと背後で進行している他人同士の会話のような音響環境内で生じる多数のノイズ信号が含まれる。所期の音声信号が背景ノイズから分離されない限り所期の信号の確かで効率的な使用は恐らく難しい。ある特定の例では騒がしい環境の下で音声信号が生成され、この音声信号を環境ノイズから分離するために様々な音声処理方法が用いられる。
移動中に遭遇するノイズには、周囲の話し声や、音楽や、がやがや音や、町の喧噪や、空港の騒音のように種々様々な異なる成分が恐らく含まれている。そのようなノイズの識別特性は一般に変動することであり、使用者自身の周波数識別特性に近いので、従来のように一本のマイクすなわち据え付けのビームフォーミングを用いる類いの方法でノイズの模擬実験をすることは難しい。単一マイクによるノイズ低減技術で最適な性能を達成するには一般に大幅なパラメータ調整が必要である。例えば、そのような場合に適切なノイズ基準を直接入手することは恐らくできないので、ノイズ基準を間接的に導き出さなければならない。したがって、騒がしい環境下で移動装置を用いた音声通信をサポートするために多重マイクに基づく先進的な信号処理が望まれる。
一般的な構成によるオーディオ信号処理(audio signal processing)の方法には、第一の対のマイクにより受信された第一の音成分の到来方向の第一の表示を第一の対のマイクとの関連で計算することと、第二の対のマイクにより受信された第二の音成分の到来方向の第二の表示を第二の対のマイクとの関連で計算することとが含まれる。
この方法には、第一および第二の両方向表示に基づいてオーディオ信号の利得を制御して出力信号を生成することも含まれる。この方法では、第一の対のマイクは使用者の頭部の正中矢状面(midsagittal plane)の第一の側に位置していて、第二の対のマイクは第一の側とは反対側の正中矢状面の第二の側に位置している。第一の対は第二の対から少なくとも10cm離れている。有体的な特徴を有していて、その特徴を読み取る機械に前記のような方法を実行させるコンピュータ可読記憶媒体(例えば、一時的でない媒体)も開示されている。
一般的な構成によるオーディオ信号処理装置は、第一の対のマイクにより受信された第一の音成分の到来方向の第一の表示を第一の対のマイクとの関連で計算する手段と、第二の対のマイクにより受信された第二の音成分の到来方向の第二の表示を第二の対のマイクとの関連で計算する手段とを備えている。この装置は、第一および第二の両方向表示に基づいてオーディオ信号の利得を制御する手段も備えている。この装置では、第一の対のマイクは使用者の頭部の正中矢状面の第一の側に位置していて、第二の対のマイクは第一の側とは反対側の正中矢状面の第二の側に位置している。第一の対は第二の対から少なくとも10cm離れている。
一般的な構成によるオーディオ信号処理装置は、装置の使用中に使用者の頭部の正中矢状面の第一の側に位置するように構成されている第一の対のマイクと、装置の使用中に第一の側とは反対側の正中矢状面の第二の側に位置するように構成されている第二の対のマイクとを備えている。この装置では第一の対は、装置の使用中に第二の対から少なくとも10cm離れるように構成されている。この装置は、第一の対のマイクにより受信された第一の音成分の到来方向の第一の表示を第一の対のマイクとの関連で計算する第一の方向表示計算機と、第二の対のマイクにより受信された第二の音成分の到来方向の第二の表示を第二の対のマイクとの関連で計算する第二の方向表示計算機とを備えてもいる。この装置は、第一および第二の両方向表示に基づいてオーディオ信号の利得を制御するように構成されている利得制御モジュールも備えている。
音声通信用のヘッドセットD100の典型的な使用例の上面図である。 音声通信用のヘッドセットD100の典型的な使用例の上面図である。 一般的な構成によるシステムS100のブロック図である。 システムS100の使用中におけるマイクML10、ML20、MR10、MR20の相対的な配置の例を示す図である。 耳当て(earcup)ECR10の水平断面を示す図である。 耳当てECR20の水平断面を示す図である。 耳当てECR10の実施態様ECR12の水平断面を示す図である。 システムS100を一対のヘッドフォンとして具体化した典型的な使用例の上面図および正面図である。 システムS100を一対のヘッドフォンとして具体化した典型的な使用例の上面図および正面図である。 使用者の頭部の前頭面(coronal plane)において使用者の頭部の正中矢状面に垂直な線に対する様々な角度範囲の例を示す図である。 使用者の頭部の正中矢状面および前頭面に垂直な横断面において使用者の頭部の正中矢状面に垂直な線に対する様々な角度範囲の例を示す図である。 マイクの対ML10、ML20およびMR10、MR20の配置例を示す図である。 マイクの対ML10、ML20およびMR10、MR20の配置例を示す図である。 アレイR100Rの実施態様R200Rのブロック図である。 アレイR200Rの実施態様R210Rのブロック図である。 装置A100の実施態様A110のブロック図である。 装置A100の実施態様A120のブロック図である。 方向計算機DC10Rが音源(source)の到来方向(DOA:direction of arrival)をマイクの対MR10およびMR20との関連で表示する例を示す図である。 方向計算機DC10Rが音源(source)の到来方向(DOA:direction of arrival)をマイクの対MR10およびMR20との関連で表示する例を示す図である。 非対称型アレイのビームパターンの例を示す図である。 方向表示計算機DC10Rの実施態様DC20Rの一例を示すブロック図である。 方向表示計算機DC10Rの実施態様DC30Rのブロック図である。 ビームフォーマ(beamformer)のビームパターンの例を示す図である。 ビームフォーマのビームパターンの例を示す図である。 DOA推定のバックプロジェクション法(back-projection methods)の例を示す図である。 計算機DC12Rの実施態様のセクタに基づく用途の上面図である。 計算機DC12Rの実施態様のセクタに基づく用途の上面図である。 それぞれが指向性マスキング関数(directional masking functions)の例を示す図である。 それぞれが指向性マスキング関数(directional masking functions)の例を示す図である。 それぞれが指向性マスキング関数(directional masking functions)の例を示す図である。 それぞれが指向性マスキング関数(directional masking functions)の例を示す図である。 二種類の異なるセットの三方向マスキング関数の例を示す図である。 図17に示した三方向マスキング関数のセットを同じマルチチャンネルのオーディオ信号に適用した結果を大きさ対時間のプロットにより示す図である。 マイクの対MR10、MR20の典型的な使用例を示す図である。 ノイズ低減モード(noise reduction mode)でシステムが作動する原理を説明する上面図である。 ノイズ低減モード(noise reduction mode)でシステムが作動する原理を説明する上面図である。 ノイズ低減モード(noise reduction mode)でシステムが作動する原理を説明する上面図である。 ノイズ低減モードでシステムが作動する原理を説明する上面図である。 ノイズ低減モードでシステムが作動する原理を説明する上面図である。 ノイズ低減モードでシステムが作動する原理を説明する上面図である。 ノイズ低減モードでシステムが作動する原理を説明する上面図である。 ノイズ低減モードでシステムが作動する原理を説明する上面図である。 ノイズ低減モードでシステムが作動する原理を説明する上面図である。 ノイズ低減モードでシステムが作動する原理を説明する上面図である。 ノイズ低減モードでシステムが作動する原理を説明する上面図である。 ノイズ低減モードでシステムが作動する原理を説明する上面図である。 装置A120の実施態様A130のブロック図である。 マイクMC10の配置に関する追加例を示す図である。 マイクMC10の配置に関する追加例を示す図である。 シミュレータに取り付けたシステムS100の実施態様の正面図である。 シミュレータの左側の面から見たマイクの配置および向きの例を示す図である。 シミュレータの左側の面から見たマイクの配置および向きの例を示す図である。 マイクMC10の配置に関する追加例を示す図である。 マイクMC10の配置に関する追加例を示す図である。 マイクMC10の配置に関する追加例を示す図である。 装置A110の実施態様A140のブロック図である。 装置A110の実施態様A210のブロック図である。 補聴器モードでシステムが作動する原理を説明する上面図である。 補聴器モードでシステムが作動する原理を説明する上面図である。 補聴器モードでシステムが作動する原理を説明する上面図である。 補聴器モードでシステムが作動する原理を説明する上面図である。 補聴器モードでシステムが作動する原理を説明する上面図である。 補聴器モードでシステムが作動する原理を説明する上面図である。 補聴器モードでシステムが作動する原理を説明する上面図である。 補聴器モードでシステムが作動する原理を説明する上面図である。 補聴器モードでシステムが作動する原理を説明する上面図である。 テスト用の配置例を示す図である。 補聴器モードにおけるそのようなテストの結果を示す図である。 装置A210の実施態様A220のブロック図である。 装置A110およびA210の実施態様A300のブロック図である。 一般的な構成による方法N100のフローチャートである。 一般的な構成による方法N200のフローチャートである。 一般的な構成による方法N300のフローチャートである。 一般的な構成による方法N100のフローチャートである。 一般的な構成による装置MF100のブロック図である。 システムS100の実施態様を備えている通信装置D10のブロック図である。
携帯感知装置が感知する音響信号(acoustic signal)には異なる音源(例えば、使用者の口などの所望の音源や一つ以上の妨害源)から受ける成分が含まれている。受けた信号の成分を時間および周波数の両者または一方で分離することが望ましい。例えば、拡散背景ノイズ(diffuse background noise)や他の指向性のある音(other directional sounds)から使用者の声を区別することが望ましい。
図1および図2は、二本のマイクMC10およびMC20から成るアレイを備えていて使用者の耳に装着される音声通信用ヘッドセットD100(例えば、ブルートゥース(登録商標)ヘッドセット)に使用した典型的な例の上面図である。一般にそのようなアレイは、到来方向の異なる信号成分間の識別に対応するために用いられる。しかし到来方向の表示(indication)は、遠く離れていても同じ方向から到来する妨害音を識別するには不十分である。その代わりにまたはその上に、装置と音源(例えば、使用者の口のような所望の音源や周囲の話者のような妨害音源)との距離にしたがって信号成分を識別できることが望ましい。
残念ながら携帯オーディオ感知装置は、一般に容積が余りにも小さいので有効な音響範囲をサポートするのに十分な広さのマイク用空間を確保することができない。さらに、マイクアレイから範囲情報を取得する方法は、一般にマイク間の利得差を測定することに依存している。そして、信頼できる利得差の測定値を得るにはマイク相互の利得応答を較正して維持する必要がある。
四本のマイクを使用したヘッドセットベースの距離範囲選択性音像システム(four-microphone headset-based range-selective acoustic imaging system)を説明する。提案するシステムは、二つの横形取り付けマイクアレイ(例えば、対)(two broadside-mounted microphone arrays (e.g., pairs))を備えていて、それぞれのアレイから得られる方向に関する情報を用いて到来方向と距離範囲とにより限定される使用者の口の周りの領域を確定する。位相差を用いて到来方向を示す場合には、マイクの利得を相互に較正する必要もなく距離範囲にしたがって信号成分を分離するようにそのようなシステムを構成することができる。そのようなシステムの用途の例には、背景ノイズから使用者の音声を抽出することや使用者の前、後ろ、両側に異なる空間領域を想像させることが含まれる。
文脈により明確に限定されているのでない限り用語「信号(signal)」は電線やバス、その他の送信媒体の上で表現されるようなある記憶場所(memory location)(または一組の記憶場所)の状態を含む通常の意味のいずれをも示すようにここでは用いられている。文脈により明確に限定されているのでない限り用語「生成(generating)」は、計算その他による算出のような通常の意味のいずれをも示すようにここでは用いられている。文脈により明確に限定されているのでない限り用語「計算(calculating)」は算出、評価、平滑化、複数の値からの選択のような通常の意味のいずれをも示すようにここでは用いられている。文脈により明確に限定されているのでない限り用語「取得(obtaining)」は計算、導出、(例えば、外部装置からの)受信、(例えば、記憶素子アレイからの)検索のような通常の意味のいずれをも示すように用いられている。文脈により明確に限定されているのでない限り用語「選択(selecting)」は、二つ以上から成る集合の全てよりも少なくて、しかも少なくとも一つを識別したり、表示したり、適用したり、使用したりする通常の意味のいずれをも示すように用いられている。用語「を含む(comprising)」が発明の詳細な説明や特許請求の範囲に用いられている場合には他の要素や操作が排除されることはない。表現「に基づく(based on)」は、(例えば、「AはBに基づいている」の場合)には(i)「…から導き出される」(例えば、「BはAの前駆物質である」)、(ii)「少なくとも…に基づく」(例えば、「Aは、少なくともBに基づいている」)、さらに、文脈に応じて適切であれば、(iii)「…に等しい」(例えば、「AはBに等しい」)を含む通常の意味のいずれをも示すように用いられている。同様に、表現「…に応じて(in response to)」は、「少なくとも…に応じて(in response to at least)」を含む通常の意味のいずれをも示すように用いられている。
多重マイクオーディオ感知装置のマイクの「位置(location)」に関する言及は文脈により他のことが示されていない限りマイクの音響感知面(acoustically sensitive face)の中心位置を示している。用語「チャネル(channel)」は、特定の文脈に応じて信号経路を示すために用いられている場合もあれば、そのような経路により搬送される信号を示すために用いられている場合もある。特に断りのない限り用語「一続き(series)」は二つ以上の項目の連続を示すために用いられている。用語「対数(logarithm)」は、10を底とする対数を示すために用いられているが、別の様々な底に拡張する演算もこの開示の範囲に含まれている。表現「周波数成分(frequency component)」は、(例えば、高速フーリエ変換により生成される)信号の周波数領域の表示または信号のサブバンド(例えば、バーク尺度(Bark scale)またはメル尺度(mel scale)のサブバンド)のサンプルのように、ある信号の周波数または周波数帯の集合の中の一つを示すために用いられている。
別の指示がない限り、特定の特徴を有している装置の作動に関するどのような開示も類似した特徴を有している方法を開示することが明確に意図されている(逆もまた同様である)。さらに、特定の構成の装置の作動に関するどのような開示も類似した構成の方法を開示することが明確に意図されている(逆もまた同様である)。用語「構成(configuration)」は、特定の文脈により示されるように方法、装置、システムに関して用いられる。用語「方法(method)」、「プロセス(process)」、「手順(procedure)」は特定の文脈により特に示されていない限り包括的および互換的に用いられている。用語「機器(apparatus)」および「装置(device)」は特定の文脈により特に示されていない限り包括的および互換的に用いられている。用語「要素(element)」および「モジュール(module)」は、より大きな構成の一部分を示すために一般的に用いられている。文脈により明確に限定されているのでない限り用語「システム(system)」は「共通の目的にかなうように相互に作用する要素群」を含めて、通常の意味のいずれをも示すようにここでは用いられている。他の文書の一部を参照によりこの開示に組み込むことには、組み込んだ当該部分で参照されている用語や変数に関する定義が文書の別の場所に記載されている場合には、それらの定義も組み込まれるだけでなく、組み込んだ部分で参照されている図面も組み込まれるものと理解されたい。
用語「コーダ(coder)」、「コーデック(codec)」、「コーディングシステム(coding system)」は、(知覚の重み付けおよび他のフィルタリング処理またはそのどちらかのような一種類以上の前処理の恐らく後で)オーディオ信号のフレームを受信して符号化をするように構成されているエンコーダを少なくとも一台とフレームの復号化された表現を生成するように構成されている対応するデコーダとを備えたシステムを示すために互換的に用いられている。そのようなエンコーダとデコーダは通信リンクの反対側の端に一般に配置されている。全二重通信(full-duplex communication)をサポートするためにエンコーダとデコーダの両者を通信リンクのそれぞれの端に共に配置する例が一般的である。
ここでの説明では表現「感知されたオーディオ信号(sensed audio signal)」は一本以上のマイクによって受ける信号を意味し、表現「再生されたオーディオ信号(reproduced audio signal)」は記憶装置から引き出されたり別の装置との有線や無線による接続を介して受信されたりする情報から再生される信号を意味する。通信や再生の装置のようなオーディオ再生装置は再生したオーディオ信号を装置が備えている一台以上のスピーカに出力するように構成されている。あるいはそのような装置は、再生されたオーディオ信号をイヤホンや他のヘッドセット、あるいは、外部の装置に取り付けられている外部スピーカに有線や無線で出力するように構成されている。電話技術などの音声通信用トランシーバへの応用に関しては、感知されたオーディオ信号はトランシーバにより送信される近端信号(near-end signal)であり、再生されたオーディオ信号は(例えば、無線通信リンクを介して)トランシーバにより受信される遠端信号(far-end signal)である。記録されている音楽やビデオや講演(例えば、MP3で符号化されている音楽ファイル、映画、ビデオクリップ、オーディオブック(audiobooks)、ポッドキャスト(podcasts))の再生やそのようなコンテンツのストリーミングのような移動オーディオ再生への応用(mobile audio reproduction applications)に関しては、再生されたオーディオ信号は再生されたりストリーミングされたりするオーディオ信号である。
図3Aは、マイクアレイの左側の例R100Lと右側の例R100Rとを備えている一般的な構成のシステムS100のブロック図である。システムS100は、左側のマイクアレイR100Lにより生成されるマルチチャンネル信号SL10、SL20からの情報および右側のマイクアレイR100Rにより生成されるマルチチャンネル信号SR10、SR20からの情報に基づいて入力オーディオ信号SI10を処理してオーディオ信号SO10を生成するように構成されている装置A100も備えている。
システムS100は、電線またはその他の伝導性経路を介して装置A100がマイクML10、ML20、MR10、MR20のそれぞれに結合されるように構成される。あるいはシステムS100は、マイクの一方の対(例えば、同じ耳当て内に位置している一対のマイク)には伝導的に結合され、マイクの他方の対には無線で結合されるように構成される。あるいはシステムS100は、装置A100がマイクML10、ML20、MR10、MR20に無線で結合されるように構成される(例えば、装置A100がハンドセットやスマートフォンやラップトップまたはタブレット型のコンピュータのような携帯オーディオ感知装置内に実装される)。
マイクML10、ML20、MR10、MR20の各々は全方向性、双方向性、単方向性(例えば、カルジオイド)のいずれかの応答を有している。マイクML10、ML20、MR10、MR20のそれぞれに使用することのできる様々な種類のマイクには圧電マイク、ダイナミックマイク、エレクトレットマイクが(限定ではなく)含まれる。
図3Bには、システムS100に使用する際のマイクの相対的な配置の例が示されている。この例では、左側のマイクアレイのマイクML10、ML20は使用者の頭部の左側に位置していて、右側のマイクアレイのマイクMR10、MR20は使用者の頭部の右側に位置している。図3Bに示されているように使用者の前方方向に対して軸が側方方向になるようにマイクアレイを向けることが望ましい。もっとも個々のマイクアレイは使用者のそれぞれの耳に一般に装着されるのであるが、各アレイの一個以上のマイクを使用者の肩のように異なる位置に装着することも可能である。例えば、各マイクアレイを使用者のそれぞれの肩に装着するように構成しても良い。
各マイクアレイのマイク相互の間隔(例えば、ML10とML20との間、MR10とMR20との間)は約2センチから約4センチ(さらには5もしくは6センチまで)の範囲内であることが望ましい。装置の使用中における左右のマイクアレイ間の間隔は両耳間距離(すなわち、使用者の耳孔の開口部相互を結ぶ直線に沿った同開口部相互間の空間距離)に少なくとも等しいことが望まれる。例えば、各アレイの内側のマイク同士の間隔(例えば、マイクML10とMR10との間の距離)は12、13、14、15、16、17、18、19、20、21、22センチのいずれか以上であることが望ましい。そのようなマイクの配置は到来方向の所望の範囲に亘ってノイズ削減性能の満足な水準を提供する。
システムS100は、使用者の頭部に宛がわれる帯状部材で結ばれている一対の耳当てのような一対のヘッドフォンを含むように構成される。図4Aには、(媒体の再生やストリーミングをする装置から無線や有線で受信した信号から)使用者の耳に音響信号を生成するために配置されているスピーカLSR10とマイクMR10、MR20とを備えている耳当ての右側の例ECR10の水平断面が示されている。スピーカが発する機械的な振動を耳当ての構造によりマイクが拾わないようにすることが望ましい。耳当てECR10は、耳の上か耳の周囲に位置するように(すなわち、使用中に耳をすっぽりと覆い隠すのではなくて耳の上に載せたり耳の周りを取り囲んだりするように)構成されている。耳当てECR10の別の実施態様では使用者の頭部から離隔する方向に耳当てから延びている支柱などの突起に外側のマイクMR20が取り付けられている。
システムS100は、使用者の両耳のそれぞれ用にそのような耳当ての例を備えるように構成されている。例えば、図5Aおよび図5Bは、耳当てECR10の左側の例ECL10や帯BD10をも有している一対のヘッドフォンとして具体化したシステムS100の典型的な使用例の平面図および正面図である。図4Bは、マイクMR10、MR20が耳当て筐体の湾曲部に沿って配置されている耳当てECR20の水平断面を示す図である。この特定の例では、(図5Aおよび図5Bに示されているように)使用者の頭部の正中矢状面から離れるように僅かに異なる方向を向いてマイクが配置されている。耳当てECR20は、(例えば、図4Aのように)マイクの一方(例えば、MR10)または両方が使用中に使用者の頭部の正中矢状面に平行な方向を向くように構成されていても良いし、両マイクが使用中に同じ僅かな角度(例えば、45度以下)で正中矢状面に向いていたり正中矢状面から逸れていたりするように構成されていても良い。(ここに記載する様々な右側の耳当てと同じように左側も構成されていることを理解されたい。)
図4Cは、環境音を拾うように企図されている第3のマイクMR30を有している耳当てECR10の実施態様ECR12の水平断面を示す図である。アレイR100LおよびR100Rの一方または両方に二本より多い数のマイクを取り付けることもできる。
マイクの対ML10、ML20の軸(すなわち、対を成している個々のマイクの感知面の中心を通る線)はシステムの使用中は使用者の頭部の正中矢状面にほぼ垂直であることが望ましい。同様に、一対のマイクMR10、MR20の軸もシステムの使用中は使用者の頭部の正中矢状面にほぼ垂直であることが望ましい。一対のマイクML10、ML20の軸および一対のマイクMR10、MR20の軸のそれぞれが使用者の正中矢状面に垂直であることからの使用中における逸脱が、例えば、15度、20度、25度、30度、45度のいずれか未満であるようにシステムS100を構成することが望ましい。図6Aは、使用者の頭部の前額面(coronal plane)におけるそのような範囲の様々な例を示す。図6Bは、正中矢状面および前額面に垂直な横断面における同じ範囲の例を示す。
そのような許容角度範囲のプラスマイナスの境界は同じである必要のないことに注意すること。例えば、一対のマイクML10、ML20の軸と一対のマイクMR10、MR20の軸のそれぞれが使用者の頭部の前額面においてシステムの使用中に使用者の頭部の正中矢状面に垂直である状態から+15度以下および−30度以下であるようにシステムS100を構成しても良い。あるいは、一対のマイクML10、ML20の軸と一対のマイクMR10、MR20の軸のそれぞれが使用者の頭部の前額面においてシステムの使用中に使用者の頭部の正中矢状面に垂直である状態から+30度以下および−15度以下であるようにシステムS100を構成しても良い。
図7Aは、一対のマイクMR10、MR20を耳当てECR10に配置する例(どの配置例も点線の楕円で示されている)および一対のマイクML10、ML20を耳当てECL10に配置する対応例を示す図である。マイクの両対は、使用中には上に示した空間や直交性の制約のいずれかにしたがって使用者の体の別の部分にそれぞれを装着しても良い。図7Aは、一対のマイクM10、MR20のそのような代替的な配置の二種類の例(すなわち、使用者の肩と使用者の胸の上部に配置した例)および一対のマイクML10、ML20の配置に関する対応する例を示す図である。このような場合にはどちらのマイクの対も(例えば、ベルクロ(登録商標)または類似の取り外し可能な留め具を用いて)使用者の衣服に固定される。図7Bは、使用者の頭部の前額面において使用者の頭部の正中矢状面に垂直な状態からどの対の軸も僅かに負の傾斜を有している図7Aに示した配置の例を示す図である。
上に述べた空間や直交性の制約のいずれかにしたがってマイクML10、ML20、MR10、MR20が取り付けられているシステムS100の別の実施態様にはヘルメットのような湾曲した配置が含まれる。例えば、内側のマイクML10、MR10をそのようなヘルメットのまびさしに取り付けることができる。
ここに述べた多重マイクオーディオ感知装置の作動中はマイクアレイR100のどの例もマルチチャンネル信号を生成するが、このマルチチャンネル信号はどのチャンネルも対応する1つのマイクの音響環境に対する応答に基づいている。あるマイクは他のマイクよりも特定の音を直接的に拾うかも知れないので対応するチャンネルは相互に異なるから一本のマイクで集音した場合に比べて音響環境のより完全な表現を全体的に供給することができる。
マイクが生成した信号にアレイが一種類以上の処理操作を施して対応するマルチチャンネル信号を生成することが望ましい。例えば図8Aには、どのチャンネルも対応するマイクの音響信号に対する応答に基づいているマルチチャンネル信号を生成するためのアナログやデジタルの両方または一方の領域におけるインピーダンス整合、アナログデジタル変換、利得制御、フィルタリングが(限定ではなく)含まれる可能性のある一種類以上のそのような操作をするように構成されているオーディオ前処理段AP10を含むアレイR100Rの実施態様R200Rのブロック図が示されている。アレイR100Lも同様に構成されている。
図8Bは、アレイR200Rの実施態様R210Rのブロック図である。アレイR210Rには、アナログ前処理段P10aやP10bを含むオーディオ前処理段AP10の実施態様AP20が含まれている。ある例では、段P10aおよびP10bはそれぞれが対応するマイク信号に高域フィルタ処理操作を(例えば、50Hzまたは100Hzまたは200Hzの遮断周波数(cutoff frequency)で)施すように構成されている。アレイR100Lも同様に構成されている。
アレイR100LおよびR100Rのそれぞれが対応するマルチチャンネル信号をデジタル信号として、すなわち、一連のサンプルとして生成することが望ましい。例えば、アレイR210Rは、アナログデジタル変換器(ADCs)C10aおよびC10bを備えている。どちらも対応するアナログチャンネルをサンプリングするために配置されている。音響用途の典型的なサンプリングレートには8kHz、12kHz、16kHzが含まれる他に、約8kHz〜約16kHzの範囲の他の周波数が含まれる。もっとも44.1kHzまたは48kHzまたは192kHzのいずれかと同じくらい高いサンプリングレートも使用される。この特定の例ではアレイR210Rは、対応するデジタル化されたチャンネルに一種類以上の操作(例えば、エコー消去、ノイズ低減、スペクトル整形の少なくとも一つ)を施してマルチチャンネル信号MCS10Rの対応するチャンネルSR10、SR20を生成するようにそれぞれが構成されているデジタル前処理段P20aおよびP20bをも備えている。アレイR100Lも同様に構成されている。
図9Aは、方向表示計算機(direction indication calculator)の実例DC10LおよびDC10Rを備えた装置A100の実施態様A110のブロック図である。計算機DC10Lは、左側のマイクアレイR100Lにより生成される(左のチャンネルSL10およびSL20を含む)マルチチャンネル信号のために方向表示DI10Lを計算する。計算機DC10Rは、右側のマイクアレイR100Rにより生成される(右のチャンネルSR10およびSR20を含む)マルチチャンネル信号のために方向表示DI10Rを計算する。
方向表示(direction indication)DI10LおよびDI10Rはそれぞれが対応するマルチチャンネル信号の音成分の到来方向(DOA:direction of arrival)を対応するアレイとの関連で示す。計算機DC10LおよびDC10Rの特定の実施に応じて方向指示器は内側のマイクの位置との関連、外側のマイクの位置との関連、これらの位置の間にある対応するアレイ軸上の別の基準点(例えば、マイクの両位置間の中心点)との関連でDOAを表示する。方向表示の例には、利得差または比、到来時間差、位相差、位相差と周波数との比が含まれる。装置A110は、方向表示DI10LおよびDI10Rの値にしたがって入力オーディオ信号SI10の利得を制御するように構成されている利得制御モジュールGC10も備えている。
方向表示計算機DC10LおよびDC10Rは対応するマルチチャンネル信号を一連のセグメントとして処理するようにそれぞれが構成されている。例えば、方向表示計算機DC10LおよびDC10Rは、対応するマルチチャンネル信号の一連のセグメントの一つ一つの方向表示(direction indicator)を計算するようにそれぞれが構成されている。典型的なセグメント長は、約5または10ミリ秒から約40または50ミリ秒に及んでいて、セグメントは互いに部分的に重複(例えば、隣のセグメントと25%または50%だけ重複)していることもあれば重複していないこともある。ある特定の例ではマルチチャンネル信号が分割されて10ミリ秒の長さの重複していないセグメントまたは「フレーム」の連続になる。別の特定の例では、どのフレームも長さは20ミリ秒である。DOA推定操作により処理されるセグメントは、別のオーディオ処理操作により処理されるもっと大きなセグメントのセグメント(すなわち、「サブフレーム」)であることもあれば、その逆であることもある。
計算機DC10LおよびDC10Rは、幾つかの異なるDOA推定技術のいずれか一つ以上を実行して方向表示を生成するように構成されている。類似した空間解像度でDOAの推定源を生成することが期待されているDOA推定技術には利得差に基づく方法や位相差に基づく方法がある。相互相関に基づく方法(例えば、マルチチャンネル信号のチャンネル間の遅れを計算して、この遅れを到来の時間差として用いてDOAを決定すること)も場合によっては有効である。
ここに説明するように方向計算機DX10LおよびDC10Rは、時間領域または周波数領域のいずれか(例えば、FFT、DCT、MDCTのいずれかの領域のような変換領域)で対応するマルチチャンネル信号にDOA推定を施すようにこれらを具体化することができる。図9Bは、装置A110の実施態様A120のブロック図であり、この実施態様には変換モジュールの四つの例XM10L、XM20L、XM10R、XM20Rが含まれている。変換モジュールのどの例も高速フーリエ変換(FFT)や変形離散コサイン変換(MDCT)のような対応するチャンネルの周波数変換を計算するように構成されている。装置A120は、方向表示計算機DC10LおよびDC10Rの実施態様DC12LおよびDC12Rも備えている。どちらの実施態様も対応するチャンネルの受信および操作を変換領域で行うように構成されている。
利得差に基づく方法では、マルチチャンネル信号のチャンネルに基づく信号の利得相互の差に基づいてDOAが推定される。例えば、計算機DC10LおよびDC10Rのそのような実施態様は、マルチチャンネル信号の異なるチャンネルの利得相互の差(例えば、大きさやエネルギの差)に基づいてDOAを推定するように構成される。マルチチャンネル信号のセグメントの利得の値は時間領域または周波数領域(例えば、FFT、DCT、MDCTのいずれかの領域のような変換領域)で計算される。そのような利得値の例には、総絶対値(例えば、サンプル値の絶対値の合計)、平均の絶対値(例えばサンプル当たりの)、RMSの絶対値、メジアンの絶対値、ピークの絶対値、ピークエネルギ、総エネルギ(例えば、サンプル値の平方和)、平均エネルギ(例えば、サンプル当たりの)が限定ではなく含まれる。利得差技術で正確な結果を得るためには二本のマイクのチャンネルの応答がお互いに較正されていることが望まれる。マルチチャンネル信号に低域フィルタを適用して利得値の計算をマルチチャンネル信号のオーディオ周波数成分に限定することが望ましい。
方向表示計算機DC10LおよびDC10Rは、対数領域(例えば、デシベルの値)のチャネル毎の対応する利得測定値間の差すなわち線形領域の利得測定値間の比として利得相互の差を計算するようにこれらを実現することができる。較正済みのマイクの対では、利得差ゼロを利用して音源(source)がそれぞれのマイクから等距離であることを示し、大きな正の値の利得差を利用して音源が一方のマイクに近いこと(すなわち、対の一方の縦方向(one endfire direction)に位置すること)を示し、大きな負の値の利得差を利用して音源が他方のマイクに近いこと(すなわち、対の他方の縦方向に位置すること)を示す。
図10Aは、セグメントnの利得差GD[n]と利得差閾値Tとの関係の状態にしたがって三つの空間セクタ(すなわち、縦形セクタ1、横形セクタ2、縦形セクタ3)の一つを選択することによって方向計算機DC10Rがマイクの対MR10およびMR20との関連で音源のDOAを推定する例を示す。図10Bは、利得差GD[n]と第一の利得差閾値TL1との関係の状態および利得差GD[n]と第二の利得差閾値TL2との関係の状態にしたがって五つの空間セクタの一つを選択することにより方向計算機DC10Rが音源のDOAをマイクの対MR10およびMR20との関連で推定する例を示す。
別の例では、マルチチャンネル信号から(例えば、マルチチャンネル信号のオーディオ周波数成分から)生成されるビーム間の利得の差を基準にした利得差に基づく方法を用いて方向計算機DC10LおよびDC10Rが音源のDOAを推定するように構成されている。計算機DC10LおよびDC10Rのそのような実施態様は一式の固定フィルタを用いて所望範囲の方向に亘る(例えば、180度を10度刻み、30度刻み、45度刻みのいずれかにして)一式の対応するビームを生成するように構成される。ある例では、そのような手法がマルチチャンネル信号の固定フィルタの各々に適用されて、高出力エネルギを示すビームの向き(look direction)としてDOAを(例えば、セグメント毎に)推定する。
図11Aは、マルチチャンネル信号S10をフィルタリングして個々のビームB10a、B10b、B10nを生成する固定フィルタBF10a、BF10b、BF10nが配置されている方向表示計算機DC10Rの実施態様DC20Rの例を示すブロック図である。計算機DC20Rは、エネルギが最大のビームにしたがって方向表示DI10Rを生成するように構成されている比較器CM10も備えている。固定フィルタの生成に用いられるビームフォーミングアプローチの例には一般化側帯波消去(GSC:generalized sidelobe cancellation)、最小分散無ひずみ応答(MVDR:minimum variance distortionless response)、線形条件付き最小分散(LCMV:linearly constrained minimum variance)の各ビームフォーマが含まれる。固定フィルタの生成に用いることができるビーム生成アプローチの別の例には独立成分解析(ICA:independent component analysis)や独立ベクトル解析(IVA:independent vector analysis)のようなブラインドソースセパレーション(BSS:blind source separation)法があり、これらはナルビーム(null beams)を干渉点源(interfering point souces)に向けて操舵することにより作動する。
図12および図13には、三本のマイクから成るアレイ(点線)と四本のマイクから成るアレイ(実線)について1500Hzと2300Hzのそれぞれにおけるビームフォーマビームパターン(beamformer beam patterns)の例が示されている。両図において、上部左のプロットAは向きが約60度であるビームフォーマのパターンを示していて、下部中央のプロットBは向きが約90度であるビームフォーマのパターンを、上部右のプロットCは向きが約120度であるビームフォーマのパターンをそれぞれ示している。線形に配列されている三本または四本のマイク(例えば、隣のマイクとの間隔は約3.5cm)によるビームフォーミングは約10〜20度の空間帯域幅識別(spatial bandwidth discrimination)を得るために用いることができる。図10Cは、非対称型アレイのビームパターンの例を示す図である。
さらなる例では、マルチチャンネル出力を生成するためにマルチチャンネル信号から(例えば、上に述べたBSS法やビームフォーミングを用いて)生成されるビームのチャンネル間の利得の差を基準にした利得差に基づく方法を用いて方向計算機DC10LおよびDC10Rが音源のDOAを推定するように構成されている。例えば、特定の方向や音源(例えば、向き)から到来するエネルギを一本の出力チャンネルに集中させたり別の方向や音源から到来するエネルギを異なる出力チャンネルに集中させたりすることによってそのようなビームを生成するように固定フィルタを構成することができる。そのような場合には、出力チャンネル間でエネルギが最も異なるビームの向き(look direction)としてDOAを推定するように利得差に基づく方法が実現される。
図11Bは、方向表示計算機DC10Rの実施態様DC30Rのブロック図であり、マルチチャンネル信号S10をフィルタリングして(例えば、個々の向きに対応している)信号チャンネルB20as、B20bs、B20nsおよびノイズチャンネルB20an、B20bn、B20nnを有している個々のビームを生成する固定フィルタBF20a、BF20b、BF20nが設けられている。計算機DC30Rには、信号対雑音比(SNR:signal-to-noise ratio)をビーム毎に計算するように準備されている計算機CL20a、CL20b、CL20nやSNRが最大のビームにしたがって方向表示DI10Rを生成するように構成されている比較器CM20も設けられている。
方向表示計算機DC10LおよびDC10Rは、BSS純粋マトリックスW(BSS unmixing matrix W)を直に用いてDOA推定を取得するように具体化されてもいる。そのような技術には、分離されたソース信号の逆射影(back-projection)を用いて(例えば、音源マイクの対毎に)音源のDOAを推定することが含まれる。すなわち、純粋なマトリックスWの逆関数(例えば、ムーア−ペンローズの疑似逆関数)を使用して逆射影されたデータ(back-projected data)を基に単一音源のDOAが推定される。そのようなDOA推定は一般にマイクの利得応答の較正誤りに強い。BSS純粋マトリックスWがm個のマイク信号X〜Xに適用され、逆射影される音源信号YがマトリックスWの出力から選択される。GCC−PHATまたはSRP−PHATのような技術を使用して、逆射影された信号から音源マイク毎にDOAが計算される。音源の場所を突き止めるために最尤多重信号分類(MUSIC:maximum likelihood and/or multiple signal classification)アルゴリズムが逆射影された信号に適用されることもある。上に述べた逆射影法が図14に示されている。
あるいは、マルチチャンネル信号の異なるチャンネル相互の位相の差を基にした位相差に基づく方法を用いて音源のDOAを推定するように方向計算機DC10LおよびDC10Rを構成することもできる。そのような方法には、クロスパワースペクトル密度ベクトル(cross-power-spectral-density vector)の各要素をそれぞれの大きさで正規化することにより計算することのできるマルチチャンネル信号(例えば、マルチチャンネル信号のオーディオ周波数成分)のクロスパワースペクトルフェーズ(CPSP:cross-power-spectrum phase)に基づく技術が含まれる。そのような技術の例には、一般化された相互相関と位相変換(GCC−PHAT:generalized cross-correlation with phase transform)および操舵応答電力相変換(SRP−PHAT:steered response power-phase transform)が含まれているが、これらは到来時間の差(time difference of arrival)の形式で推定DOAを一般に生成する。方向表示計算機DC10LおよびDC10Rの位相差に基づく実施にはマイクの利得応答間の不整合(mismatches)に一般に強いという潜在的な利点がある。
位相差に基づく別の方法には、調べようとしている複数の周波数成分のそれぞれ毎に各チャンネルの位相を推定することが含まれる。一例では、方向表示計算機DC12LおよびDC12Rが周波数成分の位相を周波数成分のFFT係数の虚数項対周波数成分のFFT係数の実数項の比の逆正接(アークタンジェントとも言う)と推定するように構成されている。主要なチャンネルの当該周波数成分の推定された位相を別の(例えば、副次的な)チャンネルの周波数成分の推定された位相から減算することによって、調べようとしている周波数成分毎に位相差Δψを計算するようにそのような計算機を構成することが望ましい。そのような場合には主要なチャンネルは、装置を普通に使用している際に使用者の声を最も直接的に受けるマイクに対応しているチャンネルのように信号対雑音比の最も高いことが予期されるチャンネルである。
DOA推定法では信号の帯域幅全体に亘って位相差を考慮する必要はない。例えば、広帯域の範囲(例えば、0〜8000Hz)に亘る多くの帯域では位相の推定は役に立たないか不必要であるかのどちらかである。非常に低い周波数では、受信した波形の位相関係を実際的に評価するには対応する大きな空間が変換器相互の間に必要である。したがって、マイク相互間で利用可能な最大空間により低い周波数帯が決まってしまう。一方、マイク相互の距離は空間エイリアシング(spatial aliasing)を避けるために最小波長の半分を超えてはならない。例えば、8kHzのサンプリングレートでは帯域幅は0〜4kHzになる。4kHzの信号の波長は約8.5cmであるから、この場合には、隣接するマイク相互の間隔は約4cmを超えてはならない。マイクのチャンネルは、空間エイリアシングを引き起こす可能性のある周波数を取り除くために低域フィルタに掛けられる。
音声信号の予期される周波数範囲のようにマルチチャンネル信号の制限されたオーディオ周波数範囲に亘ってDOA推定を行うことが望まれる。そのような一例では、使用者の声のエネルギの殆どを含んでいることが予期される700Hz〜2000Hzの周波数範囲で位相差を計算するように方向表示計算機DC12LおよびDC12Rが構成されている。帯域幅が4kHzの信号の128ポイントFFT(128-point FFT)では、700〜2000Hzの範囲は10番目のサンプルないし32番目のサンプルから23個の周波数サンプルに大まかに対応している。さらなる例ではそのような計算機は、約50、100、200、300、500Hzのいずれかのように低い範囲から約700、1000、1200、1500、2000Hzのいずれかのように高い範囲に及ぶ周波数範囲に亘って位相差を計算するように構成されている。(低い範囲と高い範囲の25通りの組み合わせのそれぞれについて明確に説明し開示する。)
有声音(例えば、母音)のエネルギスペクトルは高さ周波数(pitch frequency)の倍音(harmonics)に局所的なピークを有する傾向にある。これに対して背景ノイズのエネルギスペクトルは比較的組織立っていない。したがって、高さ周波数の倍音における入力チャンネルの成分は他の成分よりも信号対雑音比(SNR)の高いことが予期される。推定された高さ周波数の倍数に対応している位相差を利用するように方向表示計算機DC12LおよびDC12Rを構成することが望ましい。例えば、算出された位相差の少なくとも25%または50%または75%(できれば全て)が推定された高さ周波数の倍数に対応しているか、そのような成分に他よりも大幅に対応している重み付け方向表示器(weight direction indicators)に対応していることが望ましい。典型的な高さ周波数範囲は男性の約70〜100Hzから女性の約150〜200Hzまでに亘り、高さ周波数の現在の推定は(例えば、高さの期間(pitch period)または「高さの遅れ(pitch lag)」の推定の形態で)発話の符号化や復号化を含む用途(例えば、符号励起線形予測(CELP:code-excited linear prediction)や原型波形補間(PWI:prototype waveform interpolation)のような高さの推定を含むコーデックを用いる音声通信)に一般に既に利用可能である。所望する別の倍音信号にも同じ原理が同様に適用される。逆に言えば、邪魔であることが既に分かっている周波数成分、例えば、音の信号(例えば、アラーム、電話のベル、その他の電子アラーム)などを無視するように方向表示計算機DC12LおよびDC12Rを構成することが望ましい。
Figure 2013535915
Figure 2013535915
方向表示計算機DC12LおよびDC12Rは、フレーム(またはサブバンド)のDOAを対応する周波数成分のDOA表示の平均(例えば、平均値や中央値や最頻値)として示すことにより位相差に基づく方法を実施して実現しても良い。あるいは、所望する範囲のDOA有効範囲を複数のビン(bins)に分けて(例えば、0〜180度の範囲では3、4、5、6、7、8、9、10、11、12のいずれかの数のビンに固定した枠組み)、それぞれのビンに値が入る周波数成分に対応しているDOA表示の数(すなわち、ビンの分布)を決めることによってフレーム(またはサブバンド)のDOAを示すようにそのような計算を構成しても良い。ビンが等しくない帯域幅を有している場合にはそのような計算は個々のビンの分布を対応する帯域幅で正規化してビンの分布値を計算することが望ましい。所望する音源のDOAは、分布値の最も高いビンに対応する方向あるいは現在の分布値が大きなコントラストを示すビン(例えば、ビンの現在の分布値がそのビンの分布値の長期間に亘る平均時間から最も大きい相対的な絶対値だけ異なっているビン)に対応する方向として示される。
計算機DC12LおよびDC12Rの同様の実施態様では一組の指向性マスキング関数(directional masking functions)を使用してDOAの所望有効範囲を複数の空間セクタ(例えば、0〜180度の範囲を3、4、5、6、7、8、9、10、11、12のいずれかの数のセクタ)に分割する。隣接するセクタの指向性マスキング関数は重複していることもあれば重複していないこともあり、指向性マスキング関数のグラフ(profile)は線形のこともあれば非線形のこともある。指向性マスキング関数は、拒絶帯域(stopband)と通過帯域(passband)との遷移の急峻さを一種類以上の係数(例えば、信号対雑音比(SNR:signal-to-noise ratio)、ノイズフロア(noise floor)、その他)の値にしたがって操作中に選択可能であったり変動可能であったりするように実施することができる。例えばSNRが低い場合には、より狭い通過帯域を用いることが計算機には望ましい。
セクタはお互いに同じ角度幅(例えば、度またはラジアンの単位で)を有しているか、二つ以上(できれば全て)のセクタがお互いに異なる幅を有しているかのいずれかである。図15Aは、マイクMR10の位置との関連で位相差に基づくDOAを表示するためにマイクMR10およびMR20に対応しているチャンネル対に三つの重複しているセクタから成る組を適用した計算機DC12Rの実施態様の上面図である。図15Bは、マイクの対MR10、MR20を結ぶ軸の中点との関連で位相差に基づくDOAを表示するためにマイクMR10およびMR20に対応しているチャンネル対に五つの重複しているセクタから成る組を適用した計算機DC12Rの実施態様の上面図である(各セクタの矢印はセクタの中心におけるDOAを示している)。
図16A〜図16Dは、それぞれが指向性マスキング関数の例を示す図であり、 図17は三種類の指向性マスキング関数の二つの異なる組(線形グラフ対曲線グラフ)の例を示す図である。これらの例では、各セグメントのマスキング関数の出力は調べている周波数成分の対応する位相差の通過した値の合計に基づいている。例えば、計算機DC12LおよびDC12Rの実施態様はマスキング関数の最大可能値(maximum possible value for the masking function)に関する合計を正規化して出力を計算するように構成されている。勿論、マスキング関数の応答も方向θではなくて時間遅れτまたは比rで表現される。
マイクアレイは異なる量の環境ノイズ(ambient noise)を異なる方向から拾う。図18は、図17に示した三方向マスキング関数のセットを同じマルチチャンネルのオーディオ信号に適用した結果を大きさ対時間の(フレームにおける)プロットにより示す図である。様々なマスキング関数のこの信号に対する平均応答がかなり異なることがわかる。そのようなマスキング関数を用いる計算機DC12LおよびDC12Rを実際に構成する際には、それぞれの方向の閾値を個々のマスキング関数の出力に適用してマスキング関数の出力が対応する方向の閾値を超えている場合(あるいは、その閾値以上の場合)を除いて当該セクタに対応しているDOAがセグメントのDOAの表示に選択されないようにすることが望ましい。
Figure 2013535915
一時的な平滑化値(temporally smoothed value)としてコヒーレンス測度(coherency measure)をセクタ毎に生成するように方向計算機DC12LおよびDC12Rを構成することが望ましい。そのような例の一つでは、最近のm個のフレームに亘る平均値としてコヒーレンスの測度を生成するように方向計算機が構成されている。ここで、mの可能な値には5、8、10、16、20が含まれる。別のそのような例では、z(n)=βz(n−1)+(1−β)c(n)のような式にしたがってフレームnの平滑化したコヒーレンス測度z(n)を計算するように方向計算機が構成されている(一次IIRまたは再帰型フィルタとしても知られている)。ここで、z(n−1)は先行フレームの平滑化コヒーレンス測度を表し、c(n)はコヒーレンス測度の現在のまだ平滑化されていない値を表し、βは0(平滑化なし(no smoothing))から1(更新処理なし(no updating))の範囲から選択される平滑化係数である。平滑化係数βの典型的な値は0.1、0.2、0.25、0.3、0.4、0.5である。方向計算機DC12LおよびDC12Rのそのような実施態様では異なるセクタに対応しているコヒーレンス測度の平滑化にβの同じ値が一般に用いられているが、これは必須ではない。
コヒーレンス測度のコントラストは、コヒーレンス測度の現在値とコヒーレンス測度のある期間に亘る平均値(例えば、最近の10個、20個、50個、100個のいずれかの個数のフレームに亘る平均値、最頻値、中央値のいずれか)との間の関係(例えば、差や比)の値として表現される。漏えい積分器(a leaky integrator)のように一時的な平滑化係数を使用したり、v(n)=αv(n−1)+(1−α)c(n)のような式にしたがったりしてコヒーレンス測度の平均値をセクタ毎に計算するように方向計算機DC12LおよびDC12Rの実施態様は構成される。ここで、v(n)は現在のフレームの平均値を表し、v(n−1)は先行フレームの平均値を表し、c(n)はコヒーレンス測度の現在の値を表し、αは0(平滑化なし)から1(更新処理なし)の範囲から値が選択される平滑化係数である。平滑化係数αの典型的な値は0.01、0.02、0.05、0.1である。
セクタに基づくDOA推定方法を使用してコヒーレンス測度が最大であるセクタに関連付けられているDOAとして信号のDOAを推定するように方向計算機DC12LおよびDC12Rを構成することができる。あるいは、コヒーレンス測度のコントラストが現在のところ最も大きいセクタ(例えば、長期に亘るコヒーレンス測度の時間平均からの現在値の逸脱が他に比べて相対的に最も大きいセクタ)に関連付けられているDOAとして信号のDOAを推定するようにそのような方向計算機を構成することもできる。位相差に基づくDOA推定に関する追加の記載は、例えば、(2011年2月17日に公開された)米国特許出願公開公報第2011/0038489号や(2011年2月17日に出願された)米国特許出願第13/029,582号に見られる。
利得差に基づく取り組みも位相差に基づく取り組みもマルチチャンネル信号の制限されたオーディオ周波数範囲に亘ってDOA表示をするように方向計算機DC10LおよびDC10Rを構成することが望ましい。例えば、低い周波数での残響音や高い周波数での所望の信号の低減による問題を避けるために中間周波数範囲(例えば、100Hz、200Hz、300Hz、500Hzのいずれかから800Hz、100Hz、1200Hz、1500Hz、2000Hzのいずれかまで)でDOA推定を方向計算機が実施することが望ましい。
マイクの対に関するDOAの表示は一般に符号(sign)があいまいである。例えば、到来の時間遅れや位相差はマイクの対の前に位置している音源とマイクの対の後ろに位置している音源とで同じである。図19は、マイクの対MR10、MR20の典型的な使用例を示す図であり、縦型セクタ(endfire sectors)1および3の円錐はアレイの軸を中心にして対称であり、両円錐の間の空間をセクタ2が占めている。したがって、マイクが全方向性(omnidirectional)の場合、指定された範囲の方向に対応しているピックアップ円錐(pickup cones)ではマイクの対の前と後ろが曖昧になりがちである。
マルチチャンネル信号の一連のフレームのそれぞれの複数の周波数成分(例えば、サブバンドまたは周波数ビン)毎にここに説明するように方向表示を生成するように方向表示計算機DC10LおよびDC10Rの各々を構成することもできる。ある例では、フレームの幾つかの周波数成分(例えば、サブバンドやFFTビン)毎に利得差を計算するように装置A100が構成されている。装置A100をそのように構成した場合には、変換領域(transform domain)で作動するようにしたり、入力チャンネルのサブバンドを時間領域で生成するようにサブバンドフィルタバンク(subband filter banks)を含めたりすることができる。
ノイズ低減モードで作動するように装置A100を構成することが恐らく望ましい。このモードでは入力信号SI10は、マイクチャンネルSL10、SL20、SR10、SR20の少なくとも一つに基づいているか、使用者の声を拾うように配置されている別のマイクにより生成される信号に基づいているかのいずれか一方または両方である。そのような操作は、使用者の口から遠い領域のノイズを区別して使用者の口に近い領域の信号に集中するために適用される。
ノイズ低減モードの操作では、使用者の音声をより直接的に受けるように使用者の口の近くに位置している別のマイクMC10(ブームやコードに取り付けられているマイク)により生成される信号を入力信号SI10に含めても良い。装置A100の使用中にマイク信号MC30からの信号における使用者の音声のSNRがマイクチャンネルSL10、SL20、SR10、SR20のいずれにおける使用者の音声のSNRよりも大きくなるようにマイクMC10が装置A100に配置されている。その他にまたはその上に音声マイクMC10は、ノイズ基準マイクML10およびMR10のどちらよりも使用者の音声の中心出口点に直接的に向くように配備されるか、中心出口点のより近くに配置されるか、中心出口点により近い前頭面に配備されるかのいずれかまたは全ての状態を満たすように使用中に位置付けられる。
図25Aは、頭部と胴部のシミュレータまたは「HATS」(Head and Torso Simulator)(Bruel and Kjaer, DK)に取り付けられたシステムS100の実施態様を示す正面図である。図25BはHATSの左側面図である。図25Aおよび図25Bでは使用者の音声の中心出口点が十字線で示されている。この中心出口点は、使用者の上下の唇の外面が発話中に交わる使用者の頭部の正中矢状面に位置しているものとして定義される。中心前頭面と中心出口点との距離は一般に7cm、8cm、9cmのいずれかから10cm、11cm、12cm、13cm、14cmのいずれかまでの範囲(例えば、80〜130mm)である。(ここでは、点と面との距離が面に垂直な線に沿って測定されるものと仮定している。)装置A100の使用中に音声マイクMC10は一般に中心出口点の30cmの範囲内に位置している。
装置A100の使用中における音声マイクMC10の位置に関する幾つかの異なる例が図25Aには符号の付いた円として示されている。位置Aでは、音声マイクMC10はキャップやヘルメットのまびさしに取り付けられている。位置Bでは、音声マイクMC10は一対のメガネ、ゴーグル、安全メガネ、その他のメガネ類のブリッジに取り付けられている。位置CLまたはCRでは、音声マイクMC10は一対のメガネ、ゴーグル、安全メガネ、その他のメガネ類の左または右のつるに取り付けられている。位置DLまたはDRでは、音声マイクMC10はマイクML10およびMR10の対応する一方を含むヘッドセットの筐体の前方位置に取り付けられている。位置ELまたはERでは、音声マイクMC10は使用者の耳に装着されるフックから使用者の口に向かって延びているブームに取り付けられている。位置FL、FR、GL、GRでは、音声マイクMC10はノイズ基準マイクML10およびMR10の対応する一方ならびに音声マイクMC10を通信装置に電気的に接続するコードに取り付けられている。
図25Bの側面図は位置A、B、CL、DL、EL、FL、GLの全てが(例えば、位置FLとの関連で示されているように)マイクML20よりも中心出口点に近い前頭面(すなわち、図示されているように正中前頭面に平行な面)にあることを示している。図26Aの側面図には、これらの点の各々におけるマイクMC10のそれぞれの実施態様の向きが例示されている。位置A、B、DL、EL、FL、GLにおけるそれぞれの実施態様の各々が(図面の平面に垂直である)マイクML10よりも中心出口点に直接的に向くように配置されている。
図24B〜Cおよび図26B〜Dは、ここに述べるシステムS100の実施態様に用いることのできるマイクMC10の追加の配置例である。図24Bは、音声マイクMC10がつるまたは対応する端部に取り付けられているメガネを示す図である。図24Cは、音声マイクMC10が使用者の口に取り付けられていて、ノイズ基準対の各マイクML10、MR10が使用者の頭部の対応する側に取り付けられているヘルメットを示す図である。図26B〜Dは、ゴーグル(例えば、スキー用のゴーグル)の例を示す図であり、いずれの例も音声マイクMC10の異なる対応位置を示している。ここに述べるシステムS100の実施態様の使用中における音声マイクMC10のさらなる配置例にはキャップやハットのまびさし、襟の折り返し、胸ポケット、肩が含まれるがこれらに限定される訳ではない。
図20A〜図20Cは、ノイズ低減モードでシステムが作動する原理を説明する上面図である。これらの例では、マイクML10、ML20、MR10、MR20はいずれも単一指向性(例えば、カルジオイド)の応答を有していて、使用者の正面方向を向いている。この態様では、前方のピックアップ円錐LN10内にフレームのDOAがあることを方向表示DI10Lが示し、前方のピックアップ円錐RN10内にフレームのDOAがあることを方向表示DI10Rが示す場合には、利得制御モジュールGC10は入力信号SI10を通すように構成されている。この場合、音声活動が示されるようにこれらの円錐の交差領域I10に音源が位置しているものと仮定される。あるいは、フレームのDOAが円錐LN10の中にないことを方向表示DI10Lが表示しているか、フレームのDOAが円錐RN10の中にないことを方向表示DI10Rが表示している場合には、音源は交差領域I10の外にあるものと推定され(例えば、音声活動の欠如を示す)、利得制御モジュールGC10はそのような場合に入力信号SI10を低減するように構成されている。図21A〜図21Cは、縦型ピックアップ円錐LN12およびRN12の交差領域I12に音源が位置しているかどうかを方向表示DI10LおよびDI10Rが表示している類視した例の上面図である。
ノイズ低減モードでの操作では、使用者の声の中心出口から少なくとも閾値距離(少なくとも25cm、30cm、50cm、75cm、100cmのいずれか)に位置している音源からの音から使用者の声を装置A100が区別できるようにピックアップ円錐を構成することが望ましい。例えば、使用者の声の中心出口点から正中矢状面に沿って閾値距離よりも遠くに交差領域が延びないようにピックアップ円錐を選択することが望ましい。
図22A〜図22Cは、マイクML10、ML20、MR10、MR20の各々が全方向性の応答を有している類似した例を示す上面図である。この例では、前方のピックアップ円錐LN10の中にフレームのDOAがあることを方向表示DI10Lが示し、前方のピックアップ円錐RN10または後方のピックアップ円錐RN20の中にフレームのDOAがあることを方向表示DI10Rが示す場合には、利得制御モジュールGC10は入力信号SI10を通すように構成されている。この場合、音声活動が示されるようにこれらの円錐の交差領域I10に音源が位置しているものと仮定される。あるいは、円錐LN10およびLN20のどちらの中にもフレームのDOAがないことを方向表示DI10Lが示しているか、円錐RN10およびRN20のどちらの中にもフレームのDOAがないことを方向表示DI10Rが示している場合には、交差領域I10の外に音源があるものと推定され(例えば、音声活動の欠如を示す)、利得制御モジュールGC10はそのような場合に入力信号SI10を低減するように構成されている。図23A〜図23Cは、縦型ピックアップ円錐LN15およびRN15の交差領域I15に音源が位置しているかどうかを方向表示DI10LおよびDI10Rが表示している類視した例の上面図である。
上で述べたように方向表示計算機DC10LおよびDC10Rは、(例えば、図10A、図10B、図15A、図15B、図19を参照してここに説明したように)到来方向を含む空間セクタを識別するようにそれぞれを構成することができる。そのような場合には、対応するピックアップ円錐の中にセクタがあるかどうかを示す値(例えば、0か1の値)にセクタ表示をマッピングすることによって対応する方向表示を生成するように計算機DC10LおよびDC10Rのそれぞれを構成することができる。図10Bに示されている方法では、例えば、方向表示DI10R用のセクタ5の表示を1の値にマッピングし、方向表示DI10R用のそれ以外のセクタの表示を0の値にマッピングすることによって方向表示DI10Rを生成するように方向表示計算機DC10Rを構成することができる。
あるいは、上で述べたように、推定到来方向を示す値(例えば、マイクの軸に対する角度、到来時間の差、位相差と周波数との比)を計算するように方向表示計算機DC10LおよびDC10Rのそれぞれを構成することができる。そのような場合に、対応するピックアップ円錐の中に対応するDOAがあるかどうかを示す対応する方向表示DI10LまたはDI10Rの値(例えば、0または1の値)への個々のマッピングをDOAの算出値に適用することによって対応する方向表示を生成するように計算機DC10LおよびDC10Rの各々を構成することができる。例えば、一つ以上の閾値としてそのようなマッピングを実現することができる(例えば、DOAが閾値未満であることを示す値を1の方向表示にマッピングし、DOAが閾値より大きいことを示す値を0の方向表示にマッピングするか、その逆にする)。
(例えば、交差領域の境界に近い音源の出力信号SO10のジッタ(jitter)を避けるために)ハングオーバ(hangover)または他の一時的な平滑化操作を利得制御要素GC10により算出される利得係数に組み込むことが望ましい。例えば、連続するフレームの閾値数(例えば、5、10、20のいずれか)により新しい状態が示されるまで利得係数の状態を変えることを控えるように利得制御要素GC10を構成することができる。
ピックアップ円錐により確定される交差領域に音源があることを方向表示が示しているかどうかにしたがって入力信号SI10の二値制御(例えば、ゲーティング)を実行して出力信号SO10を生成するように利得制御要素GC10を構成することができる。そのような場合に、利得制御要素GC10に入力信号の通過や低減を適宜に行わせる音声活動検出信号として利得係数を見なすことができる。あるいは、可能な値が二つよりも多い入力信号SI10に利得係数を適用することによって出力信号SO10を生成するように利得制御モジュールGC10を構成することができる。例えば、ピックアップ円錐の中にセクタがある場合に第一の値(例えば、1)を示し、ピックアップ円錐の外にセクタがある場合に第二の値(例えば、0)を示し、ピックアップ円錐の中にセクタが部分的にある場合(例えば、図10Bのセクタ4)に第三の中間的な値(例えば、0.5)を示す方向表示DI10LおよびDI10Rをピックアップ円錐へのセクタ数のマッピングにしたがって生成するように計算機DC10LおよびDC10Rを構成することができる。推定DOA値のピックアップ円錐へのマッピングも同様に実現することができるが、中間値を任意の数に設定してそのようなマッピングを実現することができることを理解されたい。これらの場合には、方向表示を結合すること(例えば、加算や乗算)によって利得係数を計算するように利得制御モジュールGC10を構成することができる。利得係数値の許容範囲は、線形項(linear terms)(例えば、0から1)または対数項(例えば、−20から0dB)でこれを表現することができる。二進値でない場合には、例えば、有限または無限のインパルス応答(FIRまたはIIR)フィルタとして利得係数の一時的な平滑化操作を実現することができる。
上で指摘したように方向表示計算機DC10LおよびDC10Rはフレームのサブバンド毎に対応する方向表示を生成するようにそれぞれを構成することができる。そのような場合に、各方向表示計算機からのサブバンドレベルの方向表示を結合して対応するフレームレベルの方向表示を(例えば、方向計算機からのサブバンド方向表示の合計、平均、重み付け平均として)取得するように利得制御モジュールGC10を構成することができる。あるいは、ここに述べた多数の例を実施してサブバンド毎に対応する利得係数を生成するように利得制御モジュールGC10を構成することができる。そのような場合に、サブバンドレベルの音源位置決定を結合(例えば、加算したり乗算したり)して対応するフレームレベルの利得係数値を取得したり、各サブバンドレベルの音源位置決定を対応するサブバンドレベルの利得係数値にマッピングしたりするように利得制御要素GC10を同様に構成することができる。(例えば、サブバンドフィルタバクを用いて)時間領域または周波数領域の入力信号SI10の対応するサブバンドに利得係数を適用するように利得制御モジュールGC10を構成することができる。
出力信号SO10からのオーディオ周波数情報を(例えば、無線通信リンクによる送信のために)符号化することが望ましい。図24Aは、解析モジュールAM10を備えている装置A110の実施態様A130を示すブロック図である。線形予測符号化(LPC:linear prediction coding)解析操作を出力信号SO10(またはSO10に基づくオーディオ信号)に施してフレームのスペクトル包絡線を描写する一組のLPCフィルタ係数を生成するように解析モジュールAM10を構成することができる。そのような場合に、ここに述べる一つ以上の様々なコーデック(例えば、EVRC、SMV、AMR−WB)にしたがっているフレームにオーディオ周波数情報を符号化するように装置A130を構成することができる。装置A120も同様に構成することができる。
出力信号SO10の後処理(例えば、ノイズの低減処理)をするように装置A100を構成することが望ましい。図27は、後処理された出力信号SP10を生成するように構成されている装置A120の実施態様A140を示すブロック図である(但し、入力信号SI10を変換領域へと変換するための変換モジュールXM10L、20L、10R、20Rや対応するモジュールが示されていない)。装置A140は、ピックアップ円錐の中から到来するチャンネルSR20(とチャンネルSL20の両方または一方)のフレームをブロックしてピックアップ円錐の交差領域の外の方向から到来するフレームを通すことにより方向表示を適用してノイズ推定NE10を生成する利得制御要素GC10の第二の例GD10bを備えている。装置A140は、ノイズ推定NE10からの情報に基づいて出力信号SO10(例えば、所望の音声信号の推定)の後処理をして後処理された出力信号SP10を生成するように構成されている後処理モジュールPP10も備えている。そのような後処理には出力信号SO10のウィーナフィルタリング(Wiener filtering)や出力信号SO10からノイズ推定NE10をスペクトル減算(spectral subtraction)することが含まれる。図27に示すように、周波数領域で後処理操作を実行してその結果得られる信号を逆変換モジュールIM10により時間領域に変換して後処理された出力信号SP10を得るように装置A140を構成することができる。
上に述べたノイズ低減モードに加えてまたはその代わりに補聴器モードで作動するように装置A100を構成することができる。補聴器モードではシステムS100は、使用者の口からの信号や干渉音響信号(interfering sound signals)があるかも知れない近場領域(near-field region)を除去すると同時に遠場方向(far-field direcions)に集中させることにより実行されるフィードバック制御および遠場ビームフォーミング(far-field beamforming)に用いられる。単一指向性や無指向性のマイクを用いて補聴器モードを実現することができる。
補聴器モードでの作動では、使用者の片耳または両耳で出力信号SO10を再生するように構成されているスピーカLS10を一個以上用いてシステムS100を実現することができる。システムS100は、電線またはその他の伝導性経路を介して装置A100が一個以上のそのようなスピーカLS10に結合されるように構成される。それとは別にまたはその上に装置A100が無線で一個以上のそのようなスピーカLS10に結合するようにシステムS100を構成することができる。
図28は、装置A110が補聴器モードで作動する実施態様A210のブロック図である。このモードでは、ピックアップ円錐交差領域から到来するチャンネルSR20(およびチャンネルSL20の両方または一方)のフレームを低減させるように利得制御モジュールGC10が構成される。装置A210は、使用者の耳に装着されて使用者の対応する鼓膜に向けられるスピーカLS10を駆動して出力信号SO10に基づいている音響信号を生成するように構成されているオーディオ出力段AO10も備えている。
図29A〜図29Cは、システムA210の実施態様が補聴器モードで作動する原理を説明する上面図である。これらの例では、マイクML10、ML20、MR10、MR20はいずれも単一指向性であり、使用者の正面方向を向いている。そのような態様では、アレイR100Lが受信する信号の音成分のDOAが第一指定範囲(図29Aにピックアップ円錐LF10として示されている空間領域)の中に入るかどうかを示すように方向計算機DC10Lは構成されていて、アレイR100Rが受信する信号の音成分のDOAが第二指定範囲(図29Bにピックアップ円錐RF10として示されている空間領域)の中に入るかどうかを示すように方向計算機DC10Rは構成されている。
ある例では、ピックアップ円錐LF10およびRF10のどちらか一方の中の方向から受信した音響情報を出力信号OS10として通すように利得制御要素GC10は構成されている(例えば、「論理和」の場合)。別の例では、到来方向がピックアップ円錐LF10の中であることを方向表示DI10Lが示し、到来方向がピックアップ円錐RF10の中であることを方向表示DI10Rが示す場合にだけ少なくとも一個のマイクが拾った音響情報を出力信号SO10として通すように利得制御要素GC10は構成されている(例えば、「論理積」の場合)。
図30A〜図30Cは、マイクが無指向性である類似した事例の補聴器モードにおけるシステムの作動原理を示す上面図である。補聴器モードにおいて使用者の口からの近場信号の抑制を維持しながら異なる注意方向(different look directions)の中から使用者が手動で選択することができるようにシステムは構成される。例えば図31A〜図31Cは、無指向性マイクを有していて図30A〜図30Cに示されている前後方向の代わりに左右の方向が採用されているシステムの補聴器モードでの作動原理を示す上面図である。
装置A100は補聴器モードでは各マイクアレイが独立に作動するように構成されている。例えば、補聴器モードにおける装置A100の作動は、軸に沿って外に向かう信号(signals from an outward endfire direction)を両側でそれぞれ独立に選択することができるように実現される。あるいは、補聴器モードにおける装置A100の作動は、(例えば、両マルチチャンネル信号に見つかる音成分を遮ることや両マルチチャンネル信号の一方のみの選択された方向範囲内にある指向性音成分を通すことの両方または一方により)分散しているノイズを低減させるように実現される。
図32は、装置A100の実施態様を頭部と胴体のシミュレータ(HATS)に取り付けて、口元のスピーカから近場を模した音声信号を出力する一方で周囲のスピーカから干渉遠場信号(interfering far-field signals)を出力させるテスト用の配置例を示す図である。図33は、補聴器モードにおけるテストの結果を示す図である。少なくとも一個のマイクで記録した信号と処理した信号(すなわち、出力信号OS10)との比較は、所望の方向から到来する遠場信号が保存されるのに対して他の方向から到来する遠場信号や近場信号が抑制されることを示している。補聴器モードにした装置A100を遠端通信信号または標準的な圧縮フォーマット(例えば、動画像符号化専門家会合(MPEG)−1 オーディオレイヤ3(MP3)、MPEG−4 Part 14(MP4)、ウィンドウズ(登録商標)メディアオーディオ/ビデオ(WMA/WMV)(マイクロソフト社、ワシントン、レッドモンド)のバージョン、アドバンストオーディオコーディング(ACC)、国際電気通信連合(ITU)−T H.264、その他)にしたがって符号化されたファイルやストリームなどの他の圧縮されたオーディオやオーディオビジュアルの情報のような再生オーディオ信号と組み合わせてシステムS100を構成することが望ましい。図34は、出力信号SO10をそのような再生オーディオ信号RAS10と混合して混合信号でスピーカLS10を駆動するオーディオ出力段AO10の実施態様AO20を備えている装置A210の実施態様A220を示すブロック図である。
ここに述べたようにノイズ低減モードおよび補聴器モードの両方または一方で装置A100が作動することをサポートするようにシステムS100を構成することが望ましい。図35は、装置A110およびA210の実施態様A300を示すブロック図である。装置A300は、ノイズ低減モードで第一入力信号SI10aにより作動して第一出力信号SO10aを生成するように構成されている利得制御モジュールGC10の第一態様GC10aおよび補聴器モードで第二入力信号SI10bにより作動して第二出力信号SO10bを生成するように構成されている利得制御モジュールGC10の第二態様GC10bを備えている。装置A300は、装置A120、A130、A140の全てまたはいずれかの特徴と装置A220の特徴の両方または一方を備えるように構成しても良い。
図36Aは、タスクV100およびV200を備えている一般的な構成による方法N100のフローチャートである。タスクV100では、第一マイク対が拾った信号のチャンネル相互間の少なくとも一つの位相差の測定と第二マイク対が拾った信号のチャンネル相互間の少なくとも一つの位相差の測定とが行われる。タスクV200では、位相差が所望の円錐交差関係を満足させない場合に拾った信号を低減させ、それ以外は拾った信号を通すことによってノイズ低減モードが実行される。
図36Bは、タスクV100およびV300を備えている一般的な構成による方法N200のフローチャートである。タスクV300では、位相差が所望の円錐交差関係を満足させる場合に拾った信号を低減させ、どちらか一方の位相差が遠場定義(far-field definition)を満足させる場合には拾った信号を通し、それ以外では拾った信号を低減させることによって補聴器モードで作動する。
図37は、タスクV100、V200、V300を備えている一般的な構成による方法N300のフローチャートである。この場合には、例えば、使用者の選択や装置の作動モード(例えば、使用者が電話中であるかどうか)にしたがってタスクV200およびV300の一方が実行される。
図38Aは、タスクT100、T200、T300を備えている一般的な構成による方法N100のフローチャートである。タスクT100では、(例えば、方向表示計算機DC10Lとの関連でここに述べたように)第一の対のマイクが拾った第一音成分の到来方向の第一表示が第一の対のマイクとの関連で算出される。タスクT200では、(例えば、方向表示計算機DC10Rとの関連でここに述べたように)第二の対のマイクが拾った第二音成分の到来方向の第二表示が第二の対のマイクとの関連で算出される。タスクT300では、(例えば、利得制御要素GC10との関連でここに述べたように)第一および第二の両方向表示に基づいてオーディオ信号の利得が制御されて出力信号が生成される。
図38Bは、一般的な構成による装置MF100のブロック図である。装置MF100は、(例えば、方向表示計算機DC10Lとの関連でここに述べたように)第一の対のマイクが拾った第一音成分の到来方向の第一表示を第一の対のマイクとの関連で算出する手段F100を備えている。装置MF100は、(例えば、方向表示計算機DC10Rとの関連でここに述べたように)第二の対のマイクが拾った第二音成分の到来方向の第二表示を第二の対のマイクとの関連で算出する手段F200も備えている。装置MF100は、(例えば、利得制御要素GC10との関連でここに述べたように)第一および第二の両方向表示に基づいてオーディオ信号の利得を制御して出力信号を生成する手段F300も備えている。
図39は、システムS100として構成することのできる通信装置D10のブロック図である。あるいは、一対のヘッドフォンのような別の装置にマイクやスピーカが位置している装置D10(例えば、小型携帯移動電話機、スマートフォン、ラップトップやタブレット型のコンピュータ)がシステムS100の一部として構成される。装置D10は、装置A100を含むチップやチップセットCS10(例えば、移動局モデム(MSM:mobile station modem)チップセット)を備えている。チップまたはチップセットCS10は、装置A100のソフトウェアやファームウェアの部分として設定される(例えば、命令のような)プロセッサを一台以上備えている。チップまたはチップセットCS10は、処理要素列R100LおよびR100R(例えば、オーディオ前処理段AP10の要素)も備えている。チップまたはチップセットCS10は、無線周波数(RF)通信信号を受信して、このRF信号内の符号化されているオーディオ信号を復号化して再生するように構成されている受信機と、装置A100により生成される処理済み信号に基づいているオーディオ信号(例えば、出力信号SO10)を符号化して、この符号化されたオーディオ信号を記述するRF通信信号を送信する送信機とを備えている。
そのような装置は、符号化および復号化の一種類以上の方式(いわゆる「コーデック」)を介して音声通信データを無線で送信したり受信したりするように構成することができる。そのようなコーデックの例には、第3世代パートナーシッププロジェクト2(3GPP2)による「強化型可変速コーデック、広帯域拡散スペクトルデジタルシステムのスピーチサービスオプション3、68、70(Enhanced Variable Rate Codec, Speech Service Options 3, 68, and 70 for Wideband Spread Spectrum Digital Systems)」と言う名称の2007年2月の文書C.S0014−C、v1.0(www-dot-3gpp-dot-orgでオンライン入手可能)に記載されている強化型可変速コーデック、「広帯域拡散スペクトル通信システムの選択可能モードボコーダサービスオプション(Selectable Mode Vocoder (SMV) Service Option for Wideband Spread Spectrum Communication Systems)」と言う名称の2004年1月の3GPP2の文書C.S0030−0、v3.0に記載されている選択可能なモードボコーダスピーチコーデック(Selectable Mode Vocoder speech codec)(www-dot-3gpp-dot-orgでオンライン入手可能)、文書ETSI TS 126 092 V6.0.0に記載されている適応マルチレート(AMR)スピーチコーデック(Adaptive Multi Rate (AMR) speech codeck)(欧州電気通信規格協会(ETSI)、フランス、ソフィア アンティポリス セデックス、2004年12月)、文書ETSI TS 126 192 V6.00(ETSI、2004年12月)に記載されているAMR広帯域スピーチコーデック(AMR Wideband Speech codec)がある。例えば、チップまたはチップセットCS10は一種類以上のそのようなコーデックに準拠して符号化されたオーディオ信号を生成するように構成することができる。
装置D10は、アンテナC30を介してRF通信信号を送受信するように構成されている。装置D10は、アンテナC30に至るまでの経路にダイプレクサ(diplexer)および一台以上の電力増幅器を備えている。チップまたはチップセットCS10は、キーパッドC10を介して使用者の入力を受け付けてディスプレイC20に情報を表示するようにも構成されている。この例では、装置D10は、全世界測位システム(GPS)による位置特定サービスや無線(例えば、ブルートゥース(登録商標))ヘッドセットのような外部装置との短距離通信をサポートするために一本以上のアンテナC40を備えている。別の例では、そのような通信装置自体がブルートゥースヘッドセットであり、キーパッドC10やディスプレイC20やアンテナC30は設けられていない。
ここに述べた方法や装置は、送受信やオーディオ感知の両方または一方の任意の装置に一般に適用することができ、そのような装置を携行したり携帯したりする例に特に適用することができる。例えば、ここに開示した構成の範囲には、無線インターフェースによる符号分割多重アクセス(CDMA:code-division multiple-access)を採用するように構成されている無線電話通信システムに帰属する通信装置が含まれる。それにも拘らず、有線や無線の(例えば、CDMA、TDMA、FDMA、TD−SCDMAなどの)送信チャネルにインターネットプロトコルに載せた音声(VoIP:Voice over IP)を用いるシステムのようにこの技術分野に長けている者に知られている広範囲に亘る技術を採用している様々な通信システムのどれにでもここに述べた諸特徴を有している方法や装置が帰属可能であることをこの技術分野に長けた者であれば理解することができる。
ここに開示した通信システムをパケット交換(例えば、VoIPのようなプロトコルにしたがってオーディオ伝送を搬送するように整えられている有線や無線のネットワーク)や回線交換のネットワークに使えるように改造することが明確に意図されていて、しかも、ここに開示されている。全帯域の広帯域符号化システム(whole-band wideband coding systems)や分割帯域の広帯域符号化システム(split-band wideband coding systems)を含む広帯域符号化システム(例えば、5kHzよりも大きいオーディオ周波数を符号化するシステム)や狭帯域符号化システム(例えば、約4または5kHzのオーディオ周波数範囲を符号化するシステム)にここに開示した通信装置を使えるように改造することが明確に意図されていて、しかも、ここに開示されている。
この技術分野に長けている者であれば誰でもここに開示した方法その他の構成を製造したり使用したりすることができるように様々な構成を提示して説明した。ここに示したり述べたりしたフローチャート、ブロック図、他の構成は飽くまでも例に過ぎず、これらの構成の他の様々な変種もここに開示した範囲に含まれる。ここに開示したどの構成にも様々な修正を施すことができるだけでなく、ここに示した一般的な原理は別の様々な構成にも同様に適用することができる。したがってこの開示は、上に示した諸構成に限定することを意図してなされているのではなくて、元々の開示の一部を構成している添付の特許請求の範囲を含めて任意の態様でここに開示されている諸原理や新規な諸特徴に一致している限り最も広い範囲を意図してなされている。
この技術分野に長けた者であれば多様な異なる技術や技巧のいずれを用いて情報や信号を表現しても構わないことが理解できるはずである。例えば、上の説明全体に亘って参照されているデータ、命令、指令、情報、信号、ビット、シンボルは電圧、電流、電磁波、磁場、磁粒、光場、光粒、これらの任意の組み合わせにより表すことができる。
ここに開示した構成の具体化にとって重要な設計上の必要条件には、特に、圧縮したオーディやオーディオビジュアルの情報(例えば、ここに示したいずれかの例のように圧縮フォーマットで符号化されているファイルやストリーム)の再生のように計算が集中する用途や広帯域通信(例えば、12kHz、16kHz、44.1kHz、48kHz、192kHzのいずれかのように8kHzよりも高いサンプリングレートでの音声通信)の用途では処理の遅れや計算の複雑さ(一般に百万命令毎秒すなわちミップス(MIPS)で測定)を最小限にすることが含まれる。
多重マイク処理システムの目標には、総体的なノイズ低減において10ないし12dBを達成すること、所望する話者が移動していても音量と音色を維持すること、ノイズを無理やり除去するのではなくてノイズが背後にある感覚を得ること、発話の残響除去(dereverberation of speech)、より積極的なノイズ低減のための後処理のオプションを可能にすることの全てまたはいずれかが含まれる。
ここに開示した装置(例えば、装置A100、A110、A120、A130、A140、A210、A220、A300、MF100)は、所期の用途に相応しいと思われるハードウェアとソフトゥエアやファームウェアとの任意の組み合わせで実現することができる。例えばそのような装置の要素は、例えば、一枚のチップセットを構成している二枚以上のチップに分散して設けられていたり、同一チップ上に設けられたりしている電子装置や光学装置として製造することができる。そのような装置の一例は、トランジスタや論理ゲートのような論理要素の変更不能かプログラム可能なアレイ(a fixed or programmable array of logic elements)であり、これらの要素のいずれも一本以上のそのようなアレイとして具体化することができる。これらの要素は、二つ以上または全てでさえ同じ一本のアレイや複数本のアレイの中に組み込むことができる。そのような一本のアレイや複数本のアレイは一枚以上のチップ(例えば、二枚以上のチップで構成されているチップセット)に組み込むことができる。
ここに開示した装置(例えば、装置A100、A110、A120、A130、A140、A210、A220、A300、MF100)の様々な実施態様の一つ以上の要素は、マイクロプロセッサ、組み込み型プロセッサ、IPコア、デジタル信号プロセッサ、FPGAs(現場でプログラム可能なゲートアレイ)、ASSPs(特定用途向け標準製品)、ASICs(特定用途向け集積回路)のような、論理要素から成る一本以上の変更不能であるかプログラム可能であるかのいずれかのアレイで実行されるように準備されている一種類以上の命令セットとして全体的にまたは部分的に実現することができる。
ここに開示した装置の実施態様の様々な要素のいずれも一台以上のコンピュータ(例えば、一組以上の命令または一本以上の命令の連鎖を実行するようにプログラムされているアレイを一本以上備えていて「プロセッサ」とも呼ばれる機械)として具体化することができる。これらの要素は、二つ以上または全てでさえ同じそのような一台のコンピュータや複数台のコンピュータに組み込むことができる。
ここに開示したプロセッサやその他の処理手段は、例えば、一枚のチップセットを構成している二枚以上のチップに分散して設けられていたり、同一チップ上に設けられたりしている一台以上の電子装置や光学装置として製造することができる。そのような装置の一例は、トランジスタや論理ゲートのように固定されているかプログラム可能な論理要素のアレイであり、これらの要素のいずれも一種類以上のそのようなアレイとして具体化することができる。そのような一本のアレイや複数本のアレイは一枚以上のチップ(例えば、二枚以上のチップで構成されているチップセット)に組み込むことができる。そのようなアレイの例には、マイクロプロセッサ、組み込み型プロセッサ、IPコア、DSPs、EPGAs、ASSPs、ASICsのような論理要素の変更不能であるかプログラム可能であるかのいずれかのアレイが含まれる。ここに開示したプロセッサや他の処理手段は一台以上のコンピュータ(例えば、一組以上の命令または一本以上の命令の連鎖を実行するようにプログラムされているアレイを一本以上備えている機械)やその他のプロセッサとして具体化することができる。ここに述べたプロセッサを用いて方法M100の具体化の手順には直接関係していない別の一式の命令やタスク、例えば、プロセッサが組み込まれている装置やシステム(例えば、オーディオ感知装置)の別の作動に関係しているタスクを実行することができる。ここに開示した方法の一部分をオーディオ感知装置のプロセッサに実行させ、当該方法の別の部分を一台以上の別のプロセッサの制御の下で実行させるようにすることもできる。
ここに開示した構成との関連で説明した種々様々の例示的なモジュール、論理ブロック、回路、テストやその他の作動はこれらを電子的なハードウェア、コンピュータソフトウェア、両者の組み合わせのいずれかとして具体化することができることは当業者であれば理解することができるはずである。そのようなモジュール、論理ブロック、回路、作動は、ここに開示した構成を実現するように設計されている汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASICやASSP、FPGAまたは他のプログラム可能な論理装置、離散的ゲートまたはトランジスタ論理、離散的ハードウェアコンポーネント、これらの任意の組み合わせで実行したり実施したりすることができる。例えば、ハードウェアにより実現されている回路または特定用途向け集積回路に加工された回路構成または不揮発性記憶装置にロードされたファームウェアプログラムもしくは汎用プロセッサや他のデジタル信号処理ユニットのような論理要素のアレイが実行可能な命令である機械可読コードとしてデータ記憶媒体からロードされたりデータ記憶媒体にロードされたりするソフトウェアプログラムなどとして少なくとも部分的にそのような構成を実現することができる。汎用プロセッサはマイクロプロセッサで構わないが、その代わりに汎用プロセッサは任意の通常のプロセッサ、コントローラ、マイクロプロセッサ、状態装置のいずれでも良い。プロセッサは計算装置の組合せとして実現しても良い。例えば、DSPとマイクロプロセッサとの組み合わせ、複数台のマイクロプロセッサ、コアにした一台のDSPと組み合わせた一台以上のマイクロプロセッサ、任意の他のそのような構成でプロセッサを実現することができる。ソフトウェアモジュールは、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)、フラッシュRAMのような不揮発性RAM(VRAM)、消去可能プログラム可能ROM(EPROM)、電気的消去可能プログラム可能ROM(EEPROM)、レジスタ、ハードディスク、取外し可能ディスク、CD−ROMのような一時的でない記憶媒体あるいはこの技術分野で公知の任意の他の形式の記憶媒体に存在していて構わない。記憶媒体がプロセッサに結合されている場合には、そのようなプロセッサは記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込んだりすることができる。あるいは、記憶媒体はプロセッサと一体でも構わない。プロセッサと記憶媒体がASICに内蔵されていても良い。このようなASICが使用者の端末に内蔵されていても良い。あるいは、プロセッサと記憶媒体とが離散的コンポーネントとして使用者の端末に組み込まれていても良い。
ここに開示した様々な方法(例えば、方法N100、N200、N300、M100およびここに開示した様々な装置の作動との関連で開示した他の方法)はプロセッサのような論理要素のアレイで実施することができること、ここに記載した装置の様々な要素はそのようなアレイ上で実行するように設計されているモジュールとして実現することができることに注意すること。ここで使用しているように、用語「モジュール」や「サブモジュール」は任意の方法もしくは機械もしくは装置もしくはユニットまたはソフトウェアやハードウェアやファームウェアのいずれかの形式のコンピュータ命令(例えば、論理表現)を含んでいるコンピュータ可読データ記憶媒体に当て嵌まる。多くのモジュールやシステムを組み合わせて一台のモジュールやシステムにしたり、一台のモジュールやシステムを分割して多くのモジュールやシステムにしたりして同じ機能を実行させることができることを理解されたい。ソフトウェアとして実現したり、他のコンピュータ実行可能な命令として実現したりする場合には、プロセスの諸要素は本質的にプログラム、オブジェクト、コンポーネント、データ構造、その他のような関連タスクをルーチンと共に実行するためのコードセグメントである。用語「ソフトウェア」は、ソースコード、アセンブリ言語コード、マシンコード、バイナリコード、ファームウェア、マクロコード、マイクロコード、論理要素のアレイによる実行が可能な命令の一個以上の集合または一本以上の連鎖、このような例の任意の組み合わせを含むものとして理解されなければならない。プログラムまたはコードセグメントは、プロセッサ可読媒体に記憶したり、搬送波として具体化されたコンピュータデータ信号により伝送媒体や通信リンクで送信したりすることができる。
ここに開示した方法、方式、手法は、論理要素のアレイ(例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、他の有限状態機械)を含む機械が実行することのできる一組以上の命令として(例えば、ここに列挙したような一つ以上のコンピュータ可読記憶媒体のコンピュータ可読有体的特徴において)有体的に実現することもできる。用語「コンピュータ可読媒体」には、情報の記憶や転送が可能で揮発性、不揮発性、取り外し可能、取り外し不能のいずれの記憶媒体をも含む任意の媒体が含まれる。コンピュータ可読媒体の例には、電子回路、半導体記憶装置、ROM、フラッシュメモリ、消去可能なROM(EROM)、フロッピー(登録商標)ディスケットまたは他の磁気記憶装置、CD−ROM/DVDまたは他の光学記憶装置、ハードディスクまたは所望の情報の記憶に使用することのできる任意の他の媒体、光学繊維媒体、無線周波数(RF)リンク、または所望の情報の搬送に使用することができてアクセスすることができる任意の他の媒体が含まれる。コンピュータデータ信号には、電子ネットワークチャネル、光学繊維、空気、電磁、RFの各リンク、その他のような送信媒体に伝播する任意の信号が含まれる。コードセグメント(code segments)は、インターネットやイントラネットのようなコンピュータネットワークを介してダウンロードすることができる。いずれの場合にも、この開示の範囲はそのような具体化により限定されると解釈してはならない。
ここに記載した様々な方法のどのタスクもプロセッサが実行するソフトウェアモジュール、ハードウェア、両者の組み合わせのいずれかで直接的に実現することができる。ここに開示した方法の実施態様の典型的な用途では論理要素のアレイ(例えば、論理ゲート)は方法の様々なタスクの一つまたは二つ以上を実行したり、あるいは全てさえをも実行したりするように構成されている。一つ以上(あるいは全て)のタスクをコンピュータプログラム製品(例えば、ディスク、フラッシュまたは他の不揮発性のメモリカード、半導体メモリチップ、その他のような一枚以上のデータ記憶媒体)に収録されていて、論理要素のアレイ(例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、他の有限状態機械)を含む機械(例えば、コンピュータ)による読み取りや実行が可能なコード(例えば、一組以上の命令)として実現することができる。ここに述べたような方法を具体化した様々なタスクは複数台のそのようなアレイや機械により実行することができる。これらを含む様々な実施では小型携帯移動電話機やそのような通信機能を備えている他の装置のような無線通信用の装置内でタスクが実行される。そのような装置は、(例えば、VoIPのような一種類以上のプロトコルを用いて)回線交換やパケット交換のネットワークで通信をするように構成されている。例えば、そのような装置は符号化されているフレームの送受信をするように構成されているRF回路を備えている。
ここに開示されている様々な方法は、ハンドセット、ヘッドセット、スマートフォン、タブレットコンピュータのいずれかのような携帯用通信装置で実行することができることやここ記載されている様々な装置にはそのような装置が含まれていることが明確に開示されている。典型的な実時間(real-time)(例えば、オンライン)の用途はそのような移動装置を用いて行われる通話である。
一種類以上の例示的な態様ではここに述べた作動はハードウェア、ソフトウェア、ファームウェア、これらの任意の組み合わせのいずれかとして実現することができる。ソフトウェアとして具体化した場合にはそのような作動は一種類以上の命令やコードとしてコンピュータ可読媒体に記憶されたりコンピュータ可読媒体により伝送されたりする。用語「コンピュータ可読媒体」にはコンピュータ可読記憶媒体と通信(例えば、伝送)媒体の両者が含まれる。限定ではなくて例として、コンピュータ可読記憶媒体には、(動的または静的なRAM、ROM、EEPROM、フラッシュRAMが限定ではなく含まれる)半導体メモリのような記憶要素のアレイ、強誘電性、磁気抵抗性、オーボニック性、高分子性、相変化性のいずれかのメモリ、CD−ROMまたは他の光学ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置が含まれる。そのような記憶媒体は、コンピュータがアクセスすることのできる命令やデータ構造の形式で情報を記憶することができる。通信媒体には、コンピュータプログラムを一方の場所から他方に転送することを容易にする任意の媒体を含めて、命令やデータ構造の形式で所望のプログラムコードを保持するために使用することができてコンピュータがアクセスすることのできる任意の媒体が含まれる。さらに、どのような接続もコンピュータ可読媒体と実質的に呼ぶことができる。例えば、同軸ケーブル、光学繊維ケーブル、撚線対、デジタル加入者回線(DSL)あるいは赤外線、無線、極超短波のような無線技術を用いてウェブサイト、サーバ、他の遠隔ソースからソフトウェアが送信される場合には、同軸ケーブル、光学繊維ケーブル、撚線対、DSLあるいは赤外線、無線、極超短波のような無線技術が媒体の定義に含まれる。ここで使用しているディスクには綴りが「disk」と「disc」の二種類があるが、コンパクトディスク(CD:compact disc)、レーザディスク(laser disc)、光学ディスク(optical disc)、デジタル多用途ディスク(DVD:digital versatile disc)、フロッピー(登録商標)ディスク(floppy(登録商標) disk)、ブルーレイ(登録商標)ディスク(Blu-ray(登録商標) disc)(ブルーレイディスクアソシエーション、カリフォルニア、ユニバーサルシティ)が含まれる。ここで、「disk」と綴られるディスクは通常はデータを磁気的に再生し、「disc」と綴られるディスクは通常はデータをレーザで光学的に再生する。以上に述べたものの組み合わせもコンピュータ可読媒体の範囲に含まれる。
ここに述べた音響信号処理装置は、特定の作動を制御するために音声入力を受容したり、あるいは、通信装置のように背景ノイズから所望のノイズを分離することによりその他の恩恵を受けたりするために音声入力を受容する電子装置に組み込むことができる。多くの方向から生じる背景音(background sounds)から所望の音(clear desired sound)を分離したり増強したりして鮮明にすることで多くの用途で恩恵を受けることができる。そのような用途には、音声の認識や検出、音声の強調や分離、音声による制御(voice-activated control)、その他の機能が組み込まれている電子装置や計算装置における人間機械インターフェースが含まれる。そのような音響信号処理装置を限られた処理機能しか提供しない装置に適合するように具体化することが望ましい。
ここに述べたモジュール、要素、装置の様々な実施態様の諸要素は、例えば、一枚のチップセットを構成している二枚以上のチップに分散して設けられていたり、同一チップ上に設けられたりしている電子装置や光学装置として製造することができる。そのような装置の一例が、トランジスタやゲートのように変更不能であるかプログラム可能であるかのいずれかの論理要素のアレイである。ここに述べた装置の様々な実施態様の一つ以上の要素は、マイクロプロセッサ、組み込み型プロセッサ、IPコア、デジタル信号プロセッサ、FPGAs、ASSPs、ASICsのような、論理要素から成る一本以上の変更不能であるかプログラム可能であるかのいずれかのアレイで実行されるように準備されている一種類以上の命令セットとして全体的にまたは部分的に実現することができる。
ここに述べた装置の実施態様の一つ以上の要素を用いて当該装置の作動には直接関係していない別の一式の命令やタスク、例えば、当該装置が組み込まれている機器やシステムの別の作動に関係しているタスクを実行することができる。そのような装置の実施態様の一つ以上の要素が同じ構造をしていても構わない(例えば、異なる要素に対応している部分のコードを異なる時間に実行するために用いられるプロセッサ、異なる要素に対応しているタスクを異なる時間に行うために実行される一式の命令、異なる要素のために異なる時間に作動する電子装置や光学装置の構成)。
ここに述べた装置の実施態様の一つ以上の要素を用いて当該装置の作動には直接関係していない別の一式の命令やタスク、例えば、当該装置が組み込まれている機器やシステムの別の作動に関係しているタスクを実行することができる。そのような装置の実施態様の一つ以上の要素が同じ構造をしていても構わない(例えば、異なる要素に対応している部分のコードを異なる時間に実行するために用いられるプロセッサ、異なる要素に対応しているタスクを異なる時間に行うために実行される一式の命令、異なる要素のために異なる時間に作動する電子装置や光学装置の構成)。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
(1) 第一の対のマイクが拾った第一音成分の到来方向の第一表示(indication)を前記第一の対のマイクとの関連で算出することと、
前記第一の対のマイクから離れている第二の対のマイクが拾った第二音成分の到来方向の第二表示を前記第二の対のマイクとの関連で算出することと、
前記の第一および第二の両方向表示に基づいてオーディオ信号の利得を制御して出力信号を生成することと、を備え、
前記第一の対のマイクはいずれも使用者の頭部の正中矢状面の第一の側に位置し、
前記第二の対のマイクはいずれも前記第一の側とは反対側である前記正中矢状面の第二の側に位置する、オーディオ信号処理方法。
(2) 前記オーディオ信号には、前記の第一および第二の対の内の少なくとも一本のマイクにより生成された信号からのオーディオ周波数エネルギが含まれている(1)に記載のオーディオ信号処理方法。
(3) 前記オーディオ信号は音声マイクにより生成された信号からのオーディオ周波数エネルギを含み、
前記音声マイクは、前記の第一および第二の両マイク対の各々の少なくとも一本のマイクよりも前記使用者の音声の中心出口点に近い前記使用者の前記頭部の前頭面に位置する、(1)に記載のオーディオ信号処理方法。
(4) 前記方法は、前記出力信号のオーディオ周波数エネルギに基づいて複数の線形予測符号化フィルタ係数を算出することを備える、(1)に記載のオーディオ信号処理方法。
(5) 前記第一の方向表示を算出することは、前記第一の対のマイクによって生成された信号に基づいているマルチチャンネル信号の複数の異なる周波数成分毎に、前記マルチチャンネル信号の第一チャンネルの前記周波数成分の位相と前記マルチチャンネル信号の第二チャンネルの前記周波数成分の位相との差を計算することを含む、(1)に記載のオーディオ信号処理方法。
(6) 前記第一の対の前記マイクの前記位置が第一の軸に沿っており、前記第二の対の前記マイクの前記位置が第二軸に沿っており、前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して45度以下である(1)に記載のオーディオ信号処理方法。
(7) 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して30度以下である(6)に記載のオーディオ信号処理方法。
(8) 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して20度以下である(6)に記載のオーディオ信号処理方法。
(9) 前記の利得を制御することは、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示すと決定することを含む、(1)乃至(8)のいずれか一項に記載のオーディオ信号処理方法。
(10) 前記の利得を制御することは、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示さない限り前記オーディオ信号を低減することを含む、(1)乃至(8)のいずれか一項に記載のオーディオ信号処理方法。
(11) 前記の利得を制御することは、前記の第一および第二の方向表示の少なくとも一方が対応する到来方向が前記正中矢状面から離れていると表示するのに応じて前記オーディオ信号を低減することを含む、(1)乃至(8)のいずれか一項に記載のオーディオ信号処理方法。
(12) 前記方法は、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が正中矢状面と交差すると示すことに応じて第二オーディオ信号を低減することを備え、
前記第二オーディオ信号は、前記の第一および第二の対の内の少なくとも一本のマイクから生成された信号からのオーディオ周波数エネルギを含む、(11)に記載のオーディオ信号処理方法。
(13) 前記の利得を制御することは、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が前記正中矢状面と交差すると示すことに応じて前記オーディオ信号を低減することを備える、(1)乃至(8)のいずれか一項に記載のオーディオ信号処理方法。
(14) 前記方法は、前記出力信号に基づく信号を再生されたオーディオ信号と混合して混合信号を生成することと、
前記使用者の耳に装着されて前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成することと、を備える、(13)に記載のオーディオ信号処理方法。
(15) 前記方法は、前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成することを備える、(1)乃至(8)のいずれか一項に記載のオーディオ信号処理方法。
(16) 前記第一の対が前記第二の対から少なくとも10センチメートル離隔している(1)乃至(8)のいずれか一項に記載のオーディオ信号処理方法。
(17) 第一の対のマイクが拾った第一音成分の到来方向の第一表示を前記第一の対のマイクとの関連で算出する手段と、
前記第一の対のマイクから離れている第二の対のマイクが拾った第二音成分の到来方向の第二表示を前記第二の対のマイクとの関連で算出する手段と、
前記の第一および第二の両方向表示に基づいてオーディオ信号の利得を制御する手段と、を備え、
前記第一の対のマイクはいずれも使用者の頭部の正中矢状面の第一の側に位置し、
前記第二の対のマイクはいずれも前記第一の側とは反対側である前記正中矢状面の第二の側に位置する、オーディオ信号処理装置。
(18) 前記オーディオ信号は、前記の第一および第二の両対の内の少なくとも一本のマイクにより生成された信号からのオーディオ周波数エネルギを含む、(17)に記載のオーディオ信号処理装置。
(19) 前記オーディオ信号は、音声マイクにより生成された信号からのオーディオ周波数エネルギを含み、
前記音声マイクは、前記第一および第二の両マイク対の各々の少なくとも一本のマイクよりも前記使用者の音声の中心出口点に近い前記使用者の前記頭部の前頭面に位置する、(17)に記載のオーディオ信号処理装置。
(20) 前記装置は、前記出力信号のオーディオ周波数エネルギに基づいて複数の線形予測符号化フィルタ係数を算出する手段を備える、(17)に記載のオーディオ信号処理装置。
(21) 前記第一の方向表示を算出する手段は、前記第一の対のマイクによって生成された信号に基づいているマルチチャンネル信号の複数の異なる周波数成分毎に、前記マルチチャンネル信号の第一チャンネルの前記周波数成分の位相と前記マルチチャンネル信号の第二チャンネルの前記周波数成分の位相との差を計算する手段を含む、(17)に記載のオーディオ信号処理装置。
(22) 前記第一の対の前記マイクの前記位置が第一の軸に沿っており、記第二の対の前記マイクの前記位置が第二軸に沿っており、前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して45度以下である、(17)に記載のオーディオ信号処理装置。
(23) 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して30度以下である、(22)に記載のオーディオ信号処理装置。
(24) 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して20度以下である、(22)に記載のオーディオ信号処理装置。
(25) 前記の利得を制御する手段は、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示すと決定する手段を含む、(17)乃至(24)のいずれか一項に記載のオーディオ信号処理装置。
(26) 前記の利得を制御する手段は、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示さない限り前記オーディオ信号を低減する手段を含む、(17)乃至(24)のいずれか一項に記載のオーディオ信号処理装置。
(27) 前記の利得を制御する手段は、前記の第一および第二の方向表示の少なくとも一方が対応する到来方向が前記正中矢状面から離れていると表示するのに応じて前記オーディオ信号を低減する手段を含む、(17)乃至(24)のいずれか一項に記載のオーディオ信号処理装置。
(28) 前記装置は、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が正中矢状面と交差すると示すことに応じて第二オーディオ信号を低減する手段を備え、
前記第二オーディオ信号は、前記の第一および第二の両対の内の少なくとも一本のマイクから生成された信号からのオーディオ周波数エネルギを含む、(27)に記載のオーディオ信号処理装置。
(29) 前記の利得を制御する手段は、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が前記正中矢状面と交差すると示すことに応じて前記オーディオ信号を低減する手段を備える、(17)乃至(24)のいずれか一項に記載のオーディオ信号処理装置。
(30) 前記装置は、前記出力信号に基づく信号を再生されたオーディオ信号と混合して混合信号を生成する手段と、
前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成する手段と、を備える、(29)に記載のオーディオ信号処理装置。
(31) 前記装置は、前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成する手段を備える、(17)乃至(24)のいずれか一項に記載のオーディオ信号処理装置。
(32) 前記第一の対が前記第二の対から少なくとも10センチメートル離隔している(17)乃至(24)のいずれか一項に記載のオーディオ信号処理装置。
(33) 使用中に使用者の頭部の正中矢状面の第一の側に位置するように構成される第一の対のマイクと、
前記第一の対から離れていて使用中に前記第一の対とは反対側の前記正中矢状面の第二の側に位置する第二の対のマイクと、
前記第一の対のマイクが拾った第一音成分の到来方向の第一表示を前記第一の対のマイクとの関連で算出するように構成される第一の方向表示計算機と、
前記第二の対のマイクが拾った第二音成分の到来方向の第二表示を前記第二の対のマイクとの関連で算出するように構成される第二の方向表示計算機と、
前記の第一および第二の両方向表示に基づいてオーディオ信号の利得を制御するように構成される利得制御モジュールと、を備える、オーディオ信号処理装置。
(34) 前記オーディオ信号は、前記の第一および第二の対の内の少なくとも一本のマイクにより生成された信号からのオーディオ周波数エネルギを含む、(33)に記載のオーディオ信号処理装置。
(35) 前記オーディオ信号は、音声マイクにより生成された信号からのオーディオ周波数エネルギを含み、
前記音声マイクは、前記第一および第二の両マイク対の各々の少なくとも一本のマイクよりも前記使用者の音声の中心出口点に近い前記使用者の前記頭部の前頭面に位置する、(33)に記載のオーディオ信号処理装置。
(36) 前記装置は、前記出力信号のオーディオ周波数エネルギに基づいて複数の線形予測符号化フィルタ係数を算出するように構成される解析モジュールを含む、(33)に記載のオーディオ信号処理装置。
(37) 前記第一の方向表示計算機は、前記第一の対のマイクが生成した信号に基づくマルチチャンネル信号の複数の異なる周波数成分毎に、前記マルチチャンネル信号の第一チャンネルの前記周波数成分の位相と前記マルチチャンネル信号の第二チャンネルの前記周波数成分の位相との差を計算するように構成される、(33)に記載のオーディオ信号処理装置。
(38) 前記第一の対の前記マイクの前記位置が第一の軸に沿っており、前記第二の対の前記マイクの前記位置が第二軸に沿っており、前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して45度以下である、(33)に記載のオーディオ信号処理装置。
(39) 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して30度以下である、(38)に記載のオーディオ信号処理装置。
(40) 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して20度以下である、(38)に記載のオーディオ信号処理装置。
(41) 前記利得制御モジュールは、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示すと決定するように構成される(33)乃至(24)のいずれか一項に記載のオーディオ信号処理装置。
(42) 前記利得制御モジュールは、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示さない限り前記オーディオ信号を低減するように構成される(33)乃至(40)のいずれか一項に記載のオーディオ信号処理装置。
(43) 前記利得制御モジュールは、前記の第一および第二の方向表示の少なくとも一方が対応する到来方向が前記正中矢状面から離れていると表示するのに応じて前記オーディオ信号を低減するように構成される(33)乃至(40)のいずれか一項に記載のオーディオ信号処理装置。
(44) 前記装置は、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が前記正中矢状面と交差すると示すことに応じて第二オーディオ信号を低減させるように構成される第二利得制御モジュールを備え、
前記第二オーディオ信号は、前記の第一および第二の対の内の少なくとも一本のマイクから生成された信号からのオーディオ周波数エネルギを含む、(43)に記載のオーディオ信号処理装置。
(45) 前記利得制御モジュールは、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が前記正中矢状面と交差すると示すことに応じて前記オーディオ信号を低減するように構成される(33)乃至(40)のいずれか一項に記載のオーディオ信号処理装置。
(46) 前記装置は、前記出力信号に基づく信号を再生されたオーディオ信号と混合して混合信号を生成するように構成される混合器と、
前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成するように構成されるオーディオ出力段と、を備える、(45)に記載のオーディオ信号処理装置。
(47) 前記装置は、前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成するように構成されるオーディオ出力段を備える(33)乃至(40)のいずれか一項に記載のオーディオ信号処理装置。
(48) 前記第一の対は、装置の使用中に前記第二の対から少なくとも10センチメートル離れるように構成される、(33)乃至(40)のいずれか一項に記載のオーディオ信号処理装置。
(49) 機械により読み取られると(1)乃至(16)のいずれか一項の方法を当該機械に実行させる有体的な特徴を備えるコンピュータ可読記憶媒体。

Claims (49)

  1. 第一の対のマイクが拾った第一音成分の到来方向の第一表示(indication)を前記第一の対のマイクとの関連で算出することと、
    前記第一の対のマイクから離れている第二の対のマイクが拾った第二音成分の到来方向の第二表示を前記第二の対のマイクとの関連で算出することと、
    前記の第一および第二の両方向表示に基づいてオーディオ信号の利得を制御して出力信号を生成することと、を備え、
    前記第一の対のマイクはいずれも使用者の頭部の正中矢状面の第一の側に位置し、
    前記第二の対のマイクはいずれも前記第一の側とは反対側である前記正中矢状面の第二の側に位置する、オーディオ信号処理方法。
  2. 前記オーディオ信号には、前記の第一および第二の対の内の少なくとも一本のマイクにより生成された信号からのオーディオ周波数エネルギが含まれている請求項1に記載のオーディオ信号処理方法。
  3. 前記オーディオ信号は音声マイクにより生成された信号からのオーディオ周波数エネルギを含み、
    前記音声マイクは、前記の第一および第二の両マイク対の各々の少なくとも一本のマイクよりも前記使用者の音声の中心出口点に近い前記使用者の前記頭部の前頭面に位置する、請求項1に記載のオーディオ信号処理方法。
  4. 前記方法は、前記出力信号のオーディオ周波数エネルギに基づいて複数の線形予測符号化フィルタ係数を算出することを備える、請求項1に記載のオーディオ信号処理方法。
  5. 前記第一の方向表示を算出することは、前記第一の対のマイクによって生成された信号に基づいているマルチチャンネル信号の複数の異なる周波数成分毎に、前記マルチチャンネル信号の第一チャンネルの前記周波数成分の位相と前記マルチチャンネル信号の第二チャンネルの前記周波数成分の位相との差を計算することを含む、請求項1に記載のオーディオ信号処理方法。
  6. 前記第一の対の前記マイクの前記位置が第一の軸に沿っており、前記第二の対の前記マイクの前記位置が第二軸に沿っており、前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して45度以下である請求項1に記載のオーディオ信号処理方法。
  7. 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して30度以下である請求項6に記載のオーディオ信号処理方法。
  8. 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して20度以下である請求項6に記載のオーディオ信号処理方法。
  9. 前記の利得を制御することは、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示すと決定することを含む、請求項1乃至8のいずれか一項に記載のオーディオ信号処理方法。
  10. 前記の利得を制御することは、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示さない限り前記オーディオ信号を低減することを含む、請求項1乃至8のいずれか一項に記載のオーディオ信号処理方法。
  11. 前記の利得を制御することは、前記の第一および第二の方向表示の少なくとも一方が対応する到来方向が前記正中矢状面から離れていると表示するのに応じて前記オーディオ信号を低減することを含む、請求項1乃至8のいずれか一項に記載のオーディオ信号処理方法。
  12. 前記方法は、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が正中矢状面と交差すると示すことに応じて第二オーディオ信号を低減することを備え、
    前記第二オーディオ信号は、前記の第一および第二の対の内の少なくとも一本のマイクから生成された信号からのオーディオ周波数エネルギを含む、請求項11に記載のオーディオ信号処理方法。
  13. 前記の利得を制御することは、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が前記正中矢状面と交差すると示すことに応じて前記オーディオ信号を低減することを備える、請求項1乃至8のいずれか一項に記載のオーディオ信号処理方法。
  14. 前記方法は、前記出力信号に基づく信号を再生されたオーディオ信号と混合して混合信号を生成することと、
    前記使用者の耳に装着されて前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成することと、を備える、請求項13に記載のオーディオ信号処理方法。
  15. 前記方法は、前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成することを備える、請求項1乃至8のいずれか一項に記載のオーディオ信号処理方法。
  16. 前記第一の対が前記第二の対から少なくとも10センチメートル離隔している請求項1乃至8のいずれか一項に記載のオーディオ信号処理方法。
  17. 第一の対のマイクが拾った第一音成分の到来方向の第一表示を前記第一の対のマイクとの関連で算出する手段と、
    前記第一の対のマイクから離れている第二の対のマイクが拾った第二音成分の到来方向の第二表示を前記第二の対のマイクとの関連で算出する手段と、
    前記の第一および第二の両方向表示に基づいてオーディオ信号の利得を制御する手段と、を備え、
    前記第一の対のマイクはいずれも使用者の頭部の正中矢状面の第一の側に位置し、
    前記第二の対のマイクはいずれも前記第一の側とは反対側である前記正中矢状面の第二の側に位置する、オーディオ信号処理装置。
  18. 前記オーディオ信号は、前記の第一および第二の両対の内の少なくとも一本のマイクにより生成された信号からのオーディオ周波数エネルギを含む、請求項17に記載のオーディオ信号処理装置。
  19. 前記オーディオ信号は、音声マイクにより生成された信号からのオーディオ周波数エネルギを含み、
    前記音声マイクは、前記第一および第二の両マイク対の各々の少なくとも一本のマイクよりも前記使用者の音声の中心出口点に近い前記使用者の前記頭部の前頭面に位置する、請求項17に記載のオーディオ信号処理装置。
  20. 前記装置は、前記出力信号のオーディオ周波数エネルギに基づいて複数の線形予測符号化フィルタ係数を算出する手段を備える、請求項17に記載のオーディオ信号処理装置。
  21. 前記第一の方向表示を算出する手段は、前記第一の対のマイクによって生成された信号に基づいているマルチチャンネル信号の複数の異なる周波数成分毎に、前記マルチチャンネル信号の第一チャンネルの前記周波数成分の位相と前記マルチチャンネル信号の第二チャンネルの前記周波数成分の位相との差を計算する手段を含む、請求項17に記載のオーディオ信号処理装置。
  22. 前記第一の対の前記マイクの前記位置が第一の軸に沿っており、記第二の対の前記マイクの前記位置が第二軸に沿っており、前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して45度以下である、請求項17に記載のオーディオ信号処理装置。
  23. 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して30度以下である、請求項22に記載のオーディオ信号処理装置。
  24. 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して20度以下である、請求項22に記載のオーディオ信号処理装置。
  25. 前記の利得を制御する手段は、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示すと決定する手段を含む、請求項17乃至24のいずれか一項に記載のオーディオ信号処理装置。
  26. 前記の利得を制御する手段は、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示さない限り前記オーディオ信号を低減する手段を含む、請求項17乃至24のいずれか一項に記載のオーディオ信号処理装置。
  27. 前記の利得を制御する手段は、前記の第一および第二の方向表示の少なくとも一方が対応する到来方向が前記正中矢状面から離れていると表示するのに応じて前記オーディオ信号を低減する手段を含む、請求項17乃至24のいずれか一項に記載のオーディオ信号処理装置。
  28. 前記装置は、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が正中矢状面と交差すると示すことに応じて第二オーディオ信号を低減する手段を備え、
    前記第二オーディオ信号は、前記の第一および第二の両対の内の少なくとも一本のマイクから生成された信号からのオーディオ周波数エネルギを含む、請求項27に記載のオーディオ信号処理装置。
  29. 前記の利得を制御する手段は、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が前記正中矢状面と交差すると示すことに応じて前記オーディオ信号を低減する手段を備える、請求項17乃至24のいずれか一項に記載のオーディオ信号処理装置。
  30. 前記装置は、前記出力信号に基づく信号を再生されたオーディオ信号と混合して混合信号を生成する手段と、
    前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成する手段と、を備える、請求項29に記載のオーディオ信号処理装置。
  31. 前記装置は、前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成する手段を備える、請求項17乃至24のいずれか一項に記載のオーディオ信号処理装置。
  32. 前記第一の対が前記第二の対から少なくとも10センチメートル離隔している請求項17乃至24のいずれか一項に記載のオーディオ信号処理装置。
  33. 使用中に使用者の頭部の正中矢状面の第一の側に位置するように構成される第一の対のマイクと、
    前記第一の対から離れていて使用中に前記第一の対とは反対側の前記正中矢状面の第二の側に位置する第二の対のマイクと、
    前記第一の対のマイクが拾った第一音成分の到来方向の第一表示を前記第一の対のマイクとの関連で算出するように構成される第一の方向表示計算機と、
    前記第二の対のマイクが拾った第二音成分の到来方向の第二表示を前記第二の対のマイクとの関連で算出するように構成される第二の方向表示計算機と、
    前記の第一および第二の両方向表示に基づいてオーディオ信号の利得を制御するように構成される利得制御モジュールと、を備える、オーディオ信号処理装置。
  34. 前記オーディオ信号は、前記の第一および第二の対の内の少なくとも一本のマイクにより生成された信号からのオーディオ周波数エネルギを含む、請求項33に記載のオーディオ信号処理装置。
  35. 前記オーディオ信号は、音声マイクにより生成された信号からのオーディオ周波数エネルギを含み、
    前記音声マイクは、前記第一および第二の両マイク対の各々の少なくとも一本のマイクよりも前記使用者の音声の中心出口点に近い前記使用者の前記頭部の前頭面に位置する、請求項33に記載のオーディオ信号処理装置。
  36. 前記装置は、前記出力信号のオーディオ周波数エネルギに基づいて複数の線形予測符号化フィルタ係数を算出するように構成される解析モジュールを含む、請求項33に記載のオーディオ信号処理装置。
  37. 前記第一の方向表示計算機は、前記第一の対のマイクが生成した信号に基づくマルチチャンネル信号の複数の異なる周波数成分毎に、前記マルチチャンネル信号の第一チャンネルの前記周波数成分の位相と前記マルチチャンネル信号の第二チャンネルの前記周波数成分の位相との差を計算するように構成される、請求項33に記載のオーディオ信号処理装置。
  38. 前記第一の対の前記マイクの前記位置が第一の軸に沿っており、前記第二の対の前記マイクの前記位置が第二軸に沿っており、前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して45度以下である、請求項33に記載のオーディオ信号処理装置。
  39. 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して30度以下である、請求項38に記載のオーディオ信号処理装置。
  40. 前記の第一および第二の両軸はそれぞれが前記正中矢状面に垂直な線と平行な線に対して20度以下である、請求項38に記載のオーディオ信号処理装置。
  41. 前記利得制御モジュールは、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示すと決定するように構成される請求項33乃至24のいずれか一項に記載のオーディオ信号処理装置。
  42. 前記利得制御モジュールは、前記第一の方向表示および前記第二の方向表示が共に前記正中矢状面と交差する到来方向を示さない限り前記オーディオ信号を低減するように構成される請求項33乃至40のいずれか一項に記載のオーディオ信号処理装置。
  43. 前記利得制御モジュールは、前記の第一および第二の方向表示の少なくとも一方が対応する到来方向が前記正中矢状面から離れていると表示するのに応じて前記オーディオ信号を低減するように構成される請求項33乃至40のいずれか一項に記載のオーディオ信号処理装置。
  44. 前記装置は、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が前記正中矢状面と交差すると示すことに応じて第二オーディオ信号を低減させるように構成される第二利得制御モジュールを備え、
    前記第二オーディオ信号は、前記の第一および第二の対の内の少なくとも一本のマイクから生成された信号からのオーディオ周波数エネルギを含む、請求項43に記載のオーディオ信号処理装置。
  45. 前記利得制御モジュールは、前記第一の方向表示および前記第二の方向表示が共に対応する到来方向が前記正中矢状面と交差すると示すことに応じて前記オーディオ信号を低減するように構成される請求項33乃至40のいずれか一項に記載のオーディオ信号処理装置。
  46. 前記装置は、前記出力信号に基づく信号を再生されたオーディオ信号と混合して混合信号を生成するように構成される混合器と、
    前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成するように構成されるオーディオ出力段と、を備える、請求項45に記載のオーディオ信号処理装置。
  47. 前記装置は、前記使用者の耳に装着され前記使用者の対応する鼓膜に向けられるスピーカを駆動して前記混合信号に基づくオーディオ信号を生成するように構成されるオーディオ出力段を備える請求項33乃至40のいずれか一項に記載のオーディオ信号処理装置。
  48. 前記第一の対は、装置の使用中に前記第二の対から少なくとも10センチメートル離れるように構成される、請求項33乃至40のいずれか一項に記載のオーディオ信号処理装置。
  49. 機械により読み取られると請求項1乃至16のいずれか一項の方法を当該機械に実行させる有体的な特徴を備えるコンピュータ可読記憶媒体。
JP2013521915A 2010-07-26 2011-07-26 多重マイク位置選択性処理用のシステム、方法、装置、およびコンピュータ可読媒体 Pending JP2013535915A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36773010P 2010-07-26 2010-07-26
US61/367,730 2010-07-26
US13/190,162 US9025782B2 (en) 2010-07-26 2011-07-25 Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing
US13/190,162 2011-07-25
PCT/US2011/045411 WO2012018641A2 (en) 2010-07-26 2011-07-26 Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing

Publications (1)

Publication Number Publication Date
JP2013535915A true JP2013535915A (ja) 2013-09-12

Family

ID=44629788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013521915A Pending JP2013535915A (ja) 2010-07-26 2011-07-26 多重マイク位置選択性処理用のシステム、方法、装置、およびコンピュータ可読媒体

Country Status (6)

Country Link
US (1) US9025782B2 (ja)
EP (1) EP2599329B1 (ja)
JP (1) JP2013535915A (ja)
KR (1) KR101470262B1 (ja)
CN (1) CN103026733B (ja)
WO (1) WO2012018641A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022533391A (ja) * 2019-05-22 2022-07-22 ソロズ・テクノロジー・リミテッド 眼鏡デバイス、システム、装置、および方法のためのマイク配置

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008091874A2 (en) * 2007-01-22 2008-07-31 Personics Holdings Inc. Method and device for acute sound detection and reproduction
US9578419B1 (en) 2010-09-01 2017-02-21 Jonathan S. Abel Method and apparatus for estimating spatial content of soundfield at desired location
US8818800B2 (en) * 2011-07-29 2014-08-26 2236008 Ontario Inc. Off-axis audio suppressions in an automobile cabin
US9431834B2 (en) 2012-03-20 2016-08-30 Qualcomm Incorporated Wireless power transfer apparatus and method of manufacture
US9583259B2 (en) 2012-03-20 2017-02-28 Qualcomm Incorporated Wireless power transfer device and method of manufacture
US9160205B2 (en) 2012-03-20 2015-10-13 Qualcomm Incorporated Magnetically permeable structures
US9653206B2 (en) 2012-03-20 2017-05-16 Qualcomm Incorporated Wireless power charging pad and method of construction
EP2832111B1 (en) 2012-03-26 2018-05-23 University of Surrey Acoustic source separation
US10107887B2 (en) 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
US9398379B2 (en) * 2012-04-25 2016-07-19 Sivantos Pte. Ltd. Method of controlling a directional characteristic, and hearing system
TWI498014B (zh) * 2012-07-11 2015-08-21 Univ Nat Cheng Kung 建立最佳化揚聲器聲場之方法
US9088336B2 (en) * 2012-09-06 2015-07-21 Imagination Technologies Limited Systems and methods of echo and noise cancellation in voice communication
US20160210957A1 (en) 2015-01-16 2016-07-21 Foundation For Research And Technology - Hellas (Forth) Foreground Signal Suppression Apparatuses, Methods, and Systems
US9554203B1 (en) 2012-09-26 2017-01-24 Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) Sound source characterization apparatuses, methods and systems
US10136239B1 (en) 2012-09-26 2018-11-20 Foundation For Research And Technology—Hellas (F.O.R.T.H.) Capturing and reproducing spatial sound apparatuses, methods, and systems
US9955277B1 (en) 2012-09-26 2018-04-24 Foundation For Research And Technology-Hellas (F.O.R.T.H.) Institute Of Computer Science (I.C.S.) Spatial sound characterization apparatuses, methods and systems
US10149048B1 (en) 2012-09-26 2018-12-04 Foundation for Research and Technology—Hellas (F.O.R.T.H.) Institute of Computer Science (I.C.S.) Direction of arrival estimation and sound source enhancement in the presence of a reflective surface apparatuses, methods, and systems
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
US10175335B1 (en) 2012-09-26 2019-01-08 Foundation For Research And Technology-Hellas (Forth) Direction of arrival (DOA) estimation apparatuses, methods, and systems
US9516442B1 (en) * 2012-09-28 2016-12-06 Apple Inc. Detecting the positions of earbuds and use of these positions for selecting the optimum microphones in a headset
EP2759147A1 (en) 2012-10-02 2014-07-30 MH Acoustics, LLC Earphones having configurable microphone arrays
US9210499B2 (en) * 2012-12-13 2015-12-08 Cisco Technology, Inc. Spatial interference suppression using dual-microphone arrays
US9525938B2 (en) 2013-02-06 2016-12-20 Apple Inc. User voice location estimation for adjusting portable device beamforming settings
DE102013005049A1 (de) 2013-03-22 2014-09-25 Unify Gmbh & Co. Kg Verfahren und Vorrichtung zur Steuerung einer Sprachkommunikation sowie Verwendung derselben
CN105409241B (zh) * 2013-07-26 2019-08-20 美国亚德诺半导体公司 麦克风校准
CN104349241B (zh) * 2013-08-07 2019-04-23 联想(北京)有限公司 一种耳机及信息处理方法
US9742573B2 (en) 2013-10-29 2017-08-22 Cisco Technology, Inc. Method and apparatus for calibrating multiple microphones
EP2882203A1 (en) 2013-12-06 2015-06-10 Oticon A/s Hearing aid device for hands free communication
US20150172807A1 (en) * 2013-12-13 2015-06-18 Gn Netcom A/S Apparatus And A Method For Audio Signal Processing
US9681246B2 (en) * 2014-02-28 2017-06-13 Harman International Industries, Incorporated Bionic hearing headset
EP2928210A1 (en) 2014-04-03 2015-10-07 Oticon A/s A binaural hearing assistance system comprising binaural noise reduction
US9990939B2 (en) * 2014-05-19 2018-06-05 Nuance Communications, Inc. Methods and apparatus for broadened beamwidth beamforming and postfiltering
US9631996B2 (en) * 2014-07-03 2017-04-25 Infineon Technologies Ag Motion detection using pressure sensing
CN104270489A (zh) * 2014-09-10 2015-01-07 中兴通讯股份有限公司 一种从多个麦克风中确定主副麦克风的方法和系统
EP2999235B1 (en) * 2014-09-17 2019-11-06 Oticon A/s A hearing device comprising a gsc beamformer
EP3007170A1 (en) * 2014-10-08 2016-04-13 GN Netcom A/S Robust noise cancellation using uncalibrated microphones
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US20160165339A1 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Microphone array and audio source tracking system
US9747367B2 (en) 2014-12-05 2017-08-29 Stages Llc Communication system for establishing and providing preferred audio
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
CN107211206A (zh) * 2015-01-20 2017-09-26 3M创新有限公司 用于测定声学信号起源的可安装的声音捕捉和重现装置
US9945884B2 (en) 2015-01-30 2018-04-17 Infineon Technologies Ag System and method for a wind speed meter
EP3054706A3 (en) * 2015-02-09 2016-12-07 Oticon A/s A binaural hearing system and a hearing device comprising a beamformer unit
US10991362B2 (en) * 2015-03-18 2021-04-27 Industry-University Cooperation Foundation Sogang University Online target-speech extraction method based on auxiliary function for robust automatic speech recognition
US10657958B2 (en) * 2015-03-18 2020-05-19 Sogang University Research Foundation Online target-speech extraction method for robust automatic speech recognition
US11694707B2 (en) 2015-03-18 2023-07-04 Industry-University Cooperation Foundation Sogang University Online target-speech extraction method based on auxiliary function for robust automatic speech recognition
US10396741B2 (en) * 2015-05-14 2019-08-27 Voyetra Turtle Beach, Inc. Headset with programmable microphone modes
KR102342559B1 (ko) * 2015-07-24 2021-12-23 엘지전자 주식회사 이어셋 및 그 제어 방법
US11243190B2 (en) 2015-09-24 2022-02-08 Frito-Lay North America, Inc. Quantitative liquid texture measurement method
US10070661B2 (en) 2015-09-24 2018-09-11 Frito-Lay North America, Inc. Feedback control of food texture system and method
US9541537B1 (en) 2015-09-24 2017-01-10 Frito-Lay North America, Inc. Quantitative texture measurement apparatus and method
US10598648B2 (en) 2015-09-24 2020-03-24 Frito-Lay North America, Inc. Quantitative texture measurement apparatus and method
US10969316B2 (en) 2015-09-24 2021-04-06 Frito-Lay North America, Inc. Quantitative in-situ texture measurement apparatus and method
US10107785B2 (en) 2015-09-24 2018-10-23 Frito-Lay North America, Inc. Quantitative liquid texture measurement apparatus and method
US9723403B2 (en) * 2015-09-29 2017-08-01 Wave Sciences LLC Wearable directional microphone array apparatus and system
KR101673812B1 (ko) * 2015-09-30 2016-11-07 서울대학교산학협력단 소리 수집 단말, 소리 제공 단말, 소리 데이터 처리 서버 및 이들을 이용한 소리 데이터 처리 시스템
KR101595706B1 (ko) * 2015-09-30 2016-02-18 서울대학교산학협력단 소리 수집 단말, 소리 제공 단말, 소리 데이터 처리 서버 및 이들을 이용한 소리 데이터 처리 시스템
US10327584B2 (en) * 2016-01-29 2019-06-25 Evo, Inc. Indoor/outdoor cooking system
US11234072B2 (en) 2016-02-18 2022-01-25 Dolby Laboratories Licensing Corporation Processing of microphone signals for spatial playback
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10743101B2 (en) 2016-02-22 2020-08-11 Sonos, Inc. Content mixing
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10375466B2 (en) * 2016-03-03 2019-08-06 Harman International Industries, Inc. Redistributing gain to reduce near field noise in head-worn audio systems
US10104472B2 (en) * 2016-03-21 2018-10-16 Fortemedia, Inc. Acoustic capture devices and methods thereof
EP3440848B1 (en) 2016-04-07 2020-10-14 Sonova AG Hearing assistance system
US10547947B2 (en) * 2016-05-18 2020-01-28 Qualcomm Incorporated Device for generating audio output
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
JP6634354B2 (ja) * 2016-07-20 2020-01-22 ホシデン株式会社 緊急通報システム用ハンズフリー通話装置
EP3280159B1 (en) 2016-08-03 2019-06-26 Oticon A/s Binaural hearing aid device
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
DK3285500T3 (da) * 2016-08-05 2021-04-26 Oticon As Binauralt høresystem, der er konfigureret til at lokalisere en lydkilde
WO2018050787A1 (en) * 2016-09-16 2018-03-22 Avatronics Sàrl Active noise cancellation system for headphone
DK3300385T3 (da) * 2016-09-23 2023-12-18 Sennheiser Electronic Gmbh & Co Kg Mikrofonarrangement
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US9930447B1 (en) * 2016-11-09 2018-03-27 Bose Corporation Dual-use bilateral microphone array
US9843861B1 (en) * 2016-11-09 2017-12-12 Bose Corporation Controlling wind noise in a bilateral microphone array
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US10362412B2 (en) * 2016-12-22 2019-07-23 Oticon A/S Hearing device comprising a dynamic compressive amplification system and a method of operating a hearing device
KR101799392B1 (ko) * 2017-01-02 2017-11-20 아날로그플러스 주식회사 전자 장치 및 이의 제어 방법
US10366708B2 (en) * 2017-03-20 2019-07-30 Bose Corporation Systems and methods of detecting speech activity of headphone user
TWI630828B (zh) * 2017-06-14 2018-07-21 趙平 供使用者定向交談之智慧型耳機裝置個人化系統及其使用方法
CN109218875B (zh) * 2017-07-07 2020-03-06 赵平 具定向交谈功能的智能型耳机装置个人化系统及使用方法
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11482308B2 (en) 2017-08-10 2022-10-25 Nuance Communications, Inc. Automated clinical documentation system and method
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
CN110049403A (zh) * 2018-01-17 2019-07-23 北京小鸟听听科技有限公司 一种基于场景识别的自适应音频控制装置和方法
US10979814B2 (en) 2018-01-17 2021-04-13 Beijing Xiaoniao Tingling Technology Co., LTD Adaptive audio control device and method based on scenario identification
US10652686B2 (en) * 2018-02-06 2020-05-12 Sony Interactive Entertainment Inc. Method of improving localization of surround sound
WO2019173333A1 (en) 2018-03-05 2019-09-12 Nuance Communications, Inc. Automated clinical documentation system and method
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
US20190272895A1 (en) 2018-03-05 2019-09-05 Nuance Communications, Inc. System and method for review of automated clinical documentation
KR102395445B1 (ko) * 2018-03-26 2022-05-11 한국전자통신연구원 음원의 위치를 추정하기 위한 전자 장치
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) * 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
TWI700630B (zh) * 2018-05-31 2020-08-01 技嘉科技股份有限公司 聲控顯示裝置及擷取語音訊號的方法
US10580429B1 (en) * 2018-08-22 2020-03-03 Nuance Communications, Inc. System and method for acoustic speaker localization
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10694298B2 (en) * 2018-10-22 2020-06-23 Zeev Neumeier Hearing aid
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
CN109410978B (zh) * 2018-11-06 2021-11-09 北京如布科技有限公司 一种语音信号分离方法、装置、电子设备及存储介质
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
CN111435598B (zh) * 2019-01-15 2023-08-18 北京地平线机器人技术研发有限公司 语音信号处理方法、装置、计算机可读介质及电子设备
US11310597B2 (en) * 2019-02-04 2022-04-19 Eric Jay Alexander Directional sound recording and playback
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11049509B2 (en) 2019-03-06 2021-06-29 Plantronics, Inc. Voice signal enhancement for head-worn audio devices
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US10715933B1 (en) * 2019-06-04 2020-07-14 Gn Hearing A/S Bilateral hearing aid system comprising temporal decorrelation beamformers
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11043207B2 (en) 2019-06-14 2021-06-22 Nuance Communications, Inc. System and method for array data simulation and customized acoustic modeling for ambient ASR
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
CN114073101B (zh) * 2019-06-28 2023-08-18 斯纳普公司 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US10735887B1 (en) * 2019-09-19 2020-08-04 Wave Sciences, LLC Spatial audio array processing system and method
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
WO2021068167A1 (en) * 2019-10-10 2021-04-15 Shenzhen Voxtech Co., Ltd. Audio device
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11238853B2 (en) 2019-10-30 2022-02-01 Comcast Cable Communications, Llc Keyword-based audio source localization
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11138990B1 (en) * 2020-04-29 2021-10-05 Bose Corporation Voice activity detection
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11363383B2 (en) * 2020-09-01 2022-06-14 Logitech Europe S.A. Dynamic adjustment of earbud performance characteristics
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11259139B1 (en) 2021-01-25 2022-02-22 Iyo Inc. Ear-mountable listening device having a ring-shaped microphone array for beamforming
US11636842B2 (en) 2021-01-29 2023-04-25 Iyo Inc. Ear-mountable listening device having a microphone array disposed around a circuit board
US11617044B2 (en) 2021-03-04 2023-03-28 Iyo Inc. Ear-mount able listening device with voice direction discovery for rotational correction of microphone array outputs
US11388513B1 (en) 2021-03-24 2022-07-12 Iyo Inc. Ear-mountable listening device with orientation discovery for rotational correction of microphone array outputs
DE102022121636A1 (de) * 2022-08-26 2024-02-29 Telefónica Germany GmbH & Co. OHG System, Verfahren, Computerprogramm und computerlesbares Medium
US11877111B1 (en) 2022-10-28 2024-01-16 Shenzhen Shokz Co., Ltd. Earphones
CN220254654U (zh) * 2022-10-28 2023-12-26 深圳市韶音科技有限公司 一种开放式耳机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823383A (ja) * 1994-03-10 1996-01-23 Cable & Wireless Plc 通信システム
JPH0851686A (ja) * 1994-08-03 1996-02-20 Nippon Telegr & Teleph Corp <Ntt> 密閉形ステレオヘッドホーン装置
JP2001204092A (ja) * 2000-01-18 2001-07-27 Nippon Telegr & Teleph Corp <Ntt> ゾーン別収音装置
US20040175008A1 (en) * 2003-03-07 2004-09-09 Hans-Ueli Roeck Method for producing control signals, method of controlling signal and a hearing device
JP2005049876A (ja) * 2003-07-29 2005-02-24 Microsoft Corp ヘッドマウント型多感覚応用音声入力システム(headmountedmulti−sensoryaudioinputsystem)
JP2008507926A (ja) * 2004-07-22 2008-03-13 ソフトマックス,インク 雑音環境内で音声信号を分離するためのヘッドセット
JP2009135594A (ja) * 2007-11-28 2009-06-18 Panasonic Electric Works Co Ltd 音響入力装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2958211A (en) 1956-06-11 1960-11-01 Rolls Royce Cabin air supply means for aircraft
FR2175434A5 (ja) 1972-03-08 1973-10-19 Kiekert Soehne Arn
US5764778A (en) 1995-06-07 1998-06-09 Sensimetrics Corporation Hearing aid headset having an array of microphones
US7039198B2 (en) 2000-11-10 2006-05-02 Quindi Acoustic source localization system and method
JP3906230B2 (ja) 2005-03-11 2007-04-18 株式会社東芝 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2007137364A1 (en) 2006-06-01 2007-12-06 Hearworks Pty Ltd A method and system for enhancing the intelligibility of sounds
WO2007082579A2 (en) 2006-12-18 2007-07-26 Phonak Ag Active hearing protection system
WO2009132270A1 (en) 2008-04-25 2009-10-29 Andrea Electronics Corporation Headset with integrated stereo array microphone
JP5195652B2 (ja) 2008-06-11 2013-05-08 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
US20100008515A1 (en) 2008-07-10 2010-01-14 David Robert Fulton Multiple acoustic threat assessment system
US8724829B2 (en) 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823383A (ja) * 1994-03-10 1996-01-23 Cable & Wireless Plc 通信システム
JPH0851686A (ja) * 1994-08-03 1996-02-20 Nippon Telegr & Teleph Corp <Ntt> 密閉形ステレオヘッドホーン装置
JP2001204092A (ja) * 2000-01-18 2001-07-27 Nippon Telegr & Teleph Corp <Ntt> ゾーン別収音装置
US20040175008A1 (en) * 2003-03-07 2004-09-09 Hans-Ueli Roeck Method for producing control signals, method of controlling signal and a hearing device
JP2005049876A (ja) * 2003-07-29 2005-02-24 Microsoft Corp ヘッドマウント型多感覚応用音声入力システム(headmountedmulti−sensoryaudioinputsystem)
JP2008507926A (ja) * 2004-07-22 2008-03-13 ソフトマックス,インク 雑音環境内で音声信号を分離するためのヘッドセット
JP2009135594A (ja) * 2007-11-28 2009-06-18 Panasonic Electric Works Co Ltd 音響入力装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022533391A (ja) * 2019-05-22 2022-07-22 ソロズ・テクノロジー・リミテッド 眼鏡デバイス、システム、装置、および方法のためのマイク配置
JP7350092B2 (ja) 2019-05-22 2023-09-25 ソロズ・テクノロジー・リミテッド 眼鏡デバイス、システム、装置、および方法のためのマイク配置

Also Published As

Publication number Publication date
EP2599329B1 (en) 2014-08-20
KR101470262B1 (ko) 2014-12-05
CN103026733A (zh) 2013-04-03
US9025782B2 (en) 2015-05-05
WO2012018641A3 (en) 2012-04-26
EP2599329A2 (en) 2013-06-05
WO2012018641A2 (en) 2012-02-09
KR20130055650A (ko) 2013-05-28
US20120020485A1 (en) 2012-01-26
CN103026733B (zh) 2015-07-29

Similar Documents

Publication Publication Date Title
JP2013535915A (ja) 多重マイク位置選択性処理用のシステム、方法、装置、およびコンピュータ可読媒体
JP5038550B1 (ja) ロバストな雑音低減のためのマイクロフォンアレイサブセット選択
US8620672B2 (en) Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
JP5575977B2 (ja) ボイスアクティビティ検出
JP5727025B2 (ja) 音声アクティビティ検出のための、システム、方法、および装置
EP2572353B1 (en) Methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
JP5307248B2 (ja) コヒーレンス検出のためのシステム、方法、装置、およびコンピュータ可読媒体
JP5329655B2 (ja) マルチチャネル信号のバランスをとるためのシステム、方法及び装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140708

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141008

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141016

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150818