JP2017505593A - 会話支援システム - Google Patents

会話支援システム Download PDF

Info

Publication number
JP2017505593A
JP2017505593A JP2016568482A JP2016568482A JP2017505593A JP 2017505593 A JP2017505593 A JP 2017505593A JP 2016568482 A JP2016568482 A JP 2016568482A JP 2016568482 A JP2016568482 A JP 2016568482A JP 2017505593 A JP2017505593 A JP 2017505593A
Authority
JP
Japan
Prior art keywords
array
microphones
microphone
support system
conversation support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016568482A
Other languages
English (en)
Other versions
JP6204618B2 (ja
Inventor
ジャン・ドミトリ・エイックフェルド
ウィリアム・エム・ラビノウィッツ
ウィリアム・ベラルディ
ジョン・トロッター
マイケル・シャイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bose Corp
Original Assignee
Bose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bose Corp filed Critical Bose Corp
Publication of JP2017505593A publication Critical patent/JP2017505593A/ja
Application granted granted Critical
Publication of JP6204618B2 publication Critical patent/JP6204618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural

Abstract

いかなるアレイマイクロホンをも含まない空間の外側に配列されたマイクロホンの両側アレイ(20〜23)を有する会話支援システム(16)であって、その場合、空間は、左側と、右側と、前面と、後面とを有し、アレイ(20〜23)は、複数のマイクロホンの左側サブアレイ(20、21)と、複数のマイクロホンの右側サブアレイ(22、23)とを備え、その場合、各マイクロホン(20〜23)は、マイクロホン出力信号を有し、マイクロホン出力信号から左耳オーディオ信号と右耳オーディオ信号とを作成するプロセッサ(110)とを有する。左耳オーディオ信号は、左側サブアレイのマイクロホン(20、21)のうちの1つまたは複数および右側サブアレイのマイクロホン(22、23)のうちの1つまたは複数からのマイクロホン出力信号に基づいて作成され、右耳オーディオ信号は、左側サブアレイのマイクロホン(20、21)のうちの1つまたは複数および右側サブアレイのマイクロホン(22、23)のうちの1つまたは複数からのマイクロホン出力信号に基づいて作成される。

Description

会話支援デバイスは、会話をより明瞭に、理解しやすくすることを目的とする。これらのデバイスは、望ましくない背景雑音および残響を低減することを目的とする。この目標への1つの道は、頭部装着型マイクロホンアレイを有する線形時間不変ビームフォーミングに関係する。線形ビームフォーミングの会話支援への適用は、概して、新規ではない。例えば、指向性マイクロホンアレイを用いて音声明瞭度を改善することが知られている。
拡散雑音の存在下での話者を対象とした指向性マイクロホンアレイの場合、アレイの指向性が増加すると、話者雑音比(TNR: talker-to-noise ratio)が増加する。このTNRの増加は、アレイ出力を聴取しているユーザに音声明瞭度の増加をもたらすことがある。後で論じる何らかの複雑性を除いて、アレイの指向性を増加させることにより、音声明瞭度利得が増加する。
ユーザの頭部上に配置された図1の4つのマイクロホンアレイ10を検討する。従来技術のビームフォーミング方式において、アレイは、個々のマイクロホン素子が自由場に配置されるものとして設計される。左耳用のアレイは、2つの左マイクロホン20および21をビームフォーミングすることによって作成される。右耳アレイは、2つの右マイクロホン22および23をビームフォーミングすることによって作成される。そのような単純な2素子アレイ用の、十分に確立された自由場ビームフォーミング技法は、ハイパーカーディオイド自由場受音パターンを作成することができる。例えば、ハイパーカーディオイドは、自由場と同様に、拡散雑音の存在下で軸上の話者に対する2素子アレイの最適なTNR改善を生じるので、この文脈では一般的である。アレイ10などのアレイは、自由場性能用に設計されたとき、アレイを構成するマイクロホン素子によって受け取られた音に対する頭部の音響効果のために、頭部上に配置されたとき性能基準を満たすことができない可能性がある。さらに、アレイ10などのアレイは、音声明瞭度を顕著に改善するほど十分に高い指向性を提供しない可能性がある。
頭部装着型アレイ、特に高い指向性を有する頭部装着型アレイは、大型で、ひどく目立つことがある。頭部装着型アレイの代替は、聴取者または聴取者の胴部の前面のテーブル上に通常配置され、その後、指向信号が通常補聴器信号処理を採用したインイヤ型デバイスに伝送される、頭部非装着型マイクロホンアレイである。これらのデバイスは、より目立たないが、いくつかの重要な特性に欠ける。第一に、これらのデバイスは、典型的には、両方の耳に同じ信号を伝送するモノラルである。これらの信号は、自然な空間手掛かりをもたず、関連する両耳聴の明瞭度の利点に欠ける。第二に、これらのデバイスは、音声明瞭度を顕著に改良するほどに十分に高い指向性を提供することができない。第三に、これらのデバイスは、ユーザの頭部とともに回転せず、したがって、音響受領をユーザの視覚焦点の方に集中させない。また、アレイ設計は、マイクロホンが取り付けられる構造体の音響効果を考慮に入れない可能性がある。
白色雑音利得(WNG: white noise gain)は、アレイ処理による無相関雑音の増幅を表し、当技術分野で明確に定義されている。WNGは、本質的に、軸上の音源に対してアレイによる受音圧力に対する全アレイフィルタエネルギーの比である。この数量は、例えば、相殺的干渉によるアレイ損失がシステム雑音レベルをどのように増加させるかを表す。単純なハイパーカーディオイドアレイは、フラットな軸上の応答に対して等化されるとき、あまりに多くの自生雑音を生じることがある損失の多いアレイである。特定のアレイ設計のWNGを検討しないと、過剰な自生雑音を有するシステムという結果になることがある。
米国特許出願第14/258,825号
以下に記述するすべての例および特徴は、任意の技術的に可能なやり方で組み合わせることができる。
一態様において、会話支援システムは、いかなるアレイマイクロホンをも含まない空間の外側に配列されたマイクロホンの両側アレイを含み、その場合、空間は、左側と、右側と、前面と、後面とを有し、アレイは、複数のマイクロホンの左側サブアレイと、複数のマイクロホンの右側サブアレイとを備え、その場合、各マイクロホンは、マイクロホン出力信号を有する。マイクロホン出力信号から左耳オーディオ信号と右耳オーディオ信号とを作成するプロセッサがある。左耳オーディオ信号は、左側サブアレイのマイクロホンのうちの1つまたは複数および右側サブアレイのマイクロホンのうちの1つまたは複数からのマイクロホン出力信号に基づいて作成され、右耳オーディオ信号は、左側サブアレイのマイクロホンのうちの1つまたは複数および右側サブアレイのマイクロホンのうちの1つまたは複数からのマイクロホン出力信号に基づいて作成される。
システムの例は、以下の特徴のうちの1つまたはそれらの任意の組合せを含むことができる。プロセッサは、オーディオ信号の作成に関与する各マイクロホンの出力信号用のフィルタを備えることができる。これらのフィルタは、周波数の関数として左側サブアレイおよび右側サブアレイの1つまたは両方の理想出力信号の大きさおよび位相を含む少なくとも1つの極性仕様を使用して作成することができる。各サブアレイに対して別々の極性仕様があり得る。プロセッサは、左側サブアレイのマイクロホンのすべておよび右側サブアレイのすべてからのマイクロホン出力信号に基づいて左耳および右耳両方のオーディオ信号を作成することができる。プロセッサは、左側サブアレイのマイクロホンのすべておよび右側サブアレイのすべてからのマイクロホン出力信号に基づいて左耳および右耳両方のオーディオ信号を作成することができるが、所定の周波数未満においてだけである。極性仕様は、ゼロ度アジマスにおける角度範囲にわたる水平角を含むことができる。
1つの非限定例において、極性仕様は、バイノーラル(binaural)ダミーの各耳の極性頭部関連伝達関数に基づく。別の非限定例において、極性仕様は、人の頭部の各耳の極性頭部関連伝達関数に基づく。別の非限定例において、極性仕様はモデルに基づく。
システムの例は、以下の特徴のうちの1つまたはそれらの任意の組合せを含むことができる。プロセッサは、左側サブアレイのマイクロホンのうちの1つまたは複数および右側サブアレイのマイクロホンのうちの1つまたは複数からのマイクロホン出力信号に基づいて左耳および右耳両方のオーディオ信号を作成することができるが、所定の周波数未満においてだけである。所定の周波数より上では、プロセッサは、左側サブアレイのマイクロホンからのマイクロホン出力信号だけに基づいて左耳オーディオ信号を作成することができ、右側サブアレイのマイクロホンからのマイクロホン出力信号だけに基づいて右耳オーディオ信号を作成することができる。
左側サブアレイは、ユーザの頭部の左側に近接して装着されるように配列することができ、右側サブアレイは、ユーザの頭部の右側に近接して装着されるように配列することができる。左側サブアレイマイクロホンは、空間の左側に沿って間隔を空けることができ、右側サブアレイマイクロホンは、空間の右側に沿って間隔を空けることができる。マイクロホンのアレイは、空間の前面または後面のいずれかに沿って配置された少なくとも1つのマイクロホンをさらに備えることができる。具体的な非限定例において、マイクロホンのアレイは、少なくとも3つが空間の左側に沿って間隔を空け、少なくとも3つが空間の右側に間隔を空け、少なくとも1つが空間の前面または後面にある、少なくとも7つのマイクロホンを備える。
システムの例は、以下の特徴のうちの1つまたはそれらの任意の組合せを含むことができる。プロセッサは、アレイの主受音方向から所定のパスアングルの外側からマイクロホンアレイに到来する音声を減衰させるように構成することができる。所定のパスアングルは、主受音方向からおよそ+/-15度からおよそ+/-45度まででよい。会話支援システムは、所定のパスアングルを変更する機能性をさらに備えることができる。所定のパスアングルは、1つの事例では、ユーザの移動に基づいて変更することができる。所定のパスアングルは、1つの事例では、ユーザの頭部の追跡移動に基づいて変更することができる。
システムの例は、以下の特徴のうちの1つまたはそれらの任意の組合せを含むことができる。プロセッサは、左耳オーディオ信号と右耳オーディオ信号との間の具体的な極性両耳間レベル差(ILD: interaural level difference)を作成するためにマイクロホン信号を処理するように構成することができる。プロセッサは、左耳オーディオ信号と右耳オーディオ信号との間の具体的な極性両耳間位相差(IPD: interaural phase difference)を作成するためにマイクロホン信号を処理するように構成することができる。プロセッサは、あたかも音源がアレイに対する実際の音源の角度と異なる角度であるかのように、左耳オーディオ信号と右耳オーディオ信号における具体的な極性ILDおよび具体的な極性IPDを作成するためにマイクロホン信号を処理するように構成することができる。プロセッサは、あたかも音源がアレイに対する実際の音源の角度と異なる角度であるかのように、左耳オーディオ信号と右耳オーディオ信号とを作成するためにマイクロホン信号を処理するように構成することができる。
システムの例は、以下の特徴のうちの1つまたはそれらの任意の組合せを含むことができる。マイクロホンアレイは、アレイの主受音方向を確立させる指向性を有することができ、会話支援システムは、アレイの指向性を変更する機能性をさらに備えることができる。会話支援システムは、アレイの指向性を変更させるように操作されるように適合されるユーザ操作可能入力デバイスをさらに備えることができる。ユーザ操作可能入力デバイスは、携帯用コンピューティングデバイスのディスプレイを備えることができる。アレイの指向性は、自動的に変更することができる。アレイの指向性は、ユーザの移動に基づいて変更することができる。アレイの指向性は、アレイによって受け取られたエネルギーに基づいて決定された音響源のあり得る位置に基づいて変更することができる。アレイは複数の指向性を有することができる。会話支援システムは、各アレイの指向性に対する方位角に対応するILDおよびIPDを有する両耳用アレイを備えることができる。
システムの例は、以下の特徴のうちの1つまたはそれらの任意の組合せを含むことができる。左側サブアレイは、携帯電話を保持するように適合される携帯電話ケースの左側に結合することができる。右側サブアレイは、携帯電話ケースの右側に結合することができる。アレイは、最大白色雑音利得(WNG)を有するように制限することができる。最大WNGは、アレイ誘導雑音に対する環境雑音の比に基づいて決定することができる。
システムの例は、以下の特徴のうちの1つまたはそれらの任意の組合せを含むことができる。1つの角度における音源は、異なる角度に対応するIPDおよびILDを有するバイノーラルビームフォーマによって再現することができる。IPDおよびILDは、エネルギーがアレイによって実際に受け取られた角度と異なる知覚された角度に合致するように処理することができる。知覚された角度は、エネルギーが実際に受け取られた角度よりも大きいまたは小さいことがある。
システムの例は、以下の特徴のうちの1つまたはそれらの任意の組合せを含むことができる。システムは、能動雑音低減(ANR: active noise reducing)電気音響変換器(例えば、ANRヘッドホンまたは小型イヤホン)を用いて使用することができる。アレイは、指向係数(DI: directivity index)を有することができ、電気音響変換器を用いて達成される雑音低減の量は、アレイのDI以上でよい。システム処理の少なくとも一部は、例えば、携帯電話、スマートフォンまたはタブレットなどの携帯用コンピューティングデバイスのプロセッサによって達成することができる。会話支援システムは、各々がプロセッサを有する、少なくとも2つの別々の物理的デバイスを備えることができ、その場合、デバイスは、有線またはワイヤレス通信を介して互いに通信する。1つのデバイスは、頭部着用型デバイスを備えることができる。1つのデバイスは、補聴器のような信号処理を実施するように適合することができる。デバイスはワイヤレスで通信することができる。
システムの例は、以下の特徴のうちの1つまたはそれらの任意の組合せを含むことができる。アレイの見掛け空間幅は、非線形時変信号処理によって増加させることができる。プロセッサは、左耳および右耳オーディオ信号に具体的な極性ILDおよび具体的な極性IPDを作成して、所望の話者の物理的方位をシステムのユーザにより良く合致させるためにマイクロホン信号を処理するように構成することができる。
別の態様において、会話支援システムは、いかなるアレイマイクロホンをも含まない空間の外側に配列されたマイクロホンの両側アレイであって、その場合、空間は、左側、右側、前面および後面を有し、アレイは、複数のマイクロホンの左側サブアレイと、複数のマイクロホンの右側サブアレイとを備え、その場合、各マイクロホンは、マイクロホン出力信号を有し、マイクロホン出力信号から左耳オーディオ信号および右耳オーディオ信号を作成するプロセッサを有する。左耳オーディオ信号は、左側サブアレイのマイクロホンのうちの1つまたは複数および右側サブアレイのマイクロホンのうちの1つまたは複数からのマイクロホン出力信号に基づいて作成されるが、所定の周波数未満だけであり、右耳オーディオ信号は、左側サブアレイのマイクロホンのうちの1つまたは複数および右側サブアレイのマイクロホンのうちの1つまたは複数からのマイクロホン出力信号に基づいて作成されるが、所定の周波数未満においてだけである。所定の周波数より上では、プロセッサは、左側サブアレイのマイクロホンからのマイクロホン出力信号だけに基づいて左耳オーディオ信号を作成し、右側サブアレイのマイクロホンからのマイクロホン出力信号だけに基づいて右耳オーディオ信号を作成する。プロセッサは、左耳オーディオ信号と右耳オーディオ信号との間の具体的な極性両耳間レベル差(ILD)および具体的な極性両耳間位相差(IPD)を作成するためにマイクロホン信号を処理するように構成される。
別の態様において、会話支援システムは、携帯用デバイスに結合され、携帯用デバイス上に配列されたマイクロホンの両側アレイであって、アレイは、複数のマイクロホンの左側サブアレイと、複数のマイクロホンの右側サブアレイとを備え、マイクロホンアレイは、アレイの主受音方向を確立させる指向性を有し、各マイクロホンが、マイクロホン出力信号を有し、マイクロホン出力信号から左耳オーディオ信号および右耳オーディオ信号を作成するプロセッサを有する。左耳オーディオ信号は、左側サブアレイのマイクロホンのうちの1つまたは複数および右側サブアレイのマイクロホンのうちの1つまたは複数からのマイクロホン出力信号に基づいて作成されるが、所定の周波数未満においてだけである。右耳オーディオ信号は、左側サブアレイのマイクロホンのうちの1つまたは複数および右側サブアレイのマイクロホンのうちの1つまたは複数からのマイクロホン出力信号に基づいて作成されるが、所定の周波数未満においてだけである。所定の周波数より上では、プロセッサは、左側サブアレイのマイクロホンからのマイクロホン出力信号だけに基づいて左耳オーディオ信号を作成し、右側サブアレイのマイクロホンからのマイクロホン出力信号だけに基づいて右耳オーディオ信号を作成する。プロセッサは、左耳オーディオ信号と右耳オーディオ信号との間の具体的な極性両耳間レベル差(ILD)および具体的な極性両耳間位相差(IPD)を作成するためにマイクロホン信号を処理するように構成される。アレイの指向性に変化を生じさせるように操作されるように適合されるユーザ操作可能入力デバイスがある。
会話支援システム用の左および右の2素子アレイの配置例を概略的に例示する図であり、その場合、マイクロホン(濃淡のない点として例示される)は、耳に隣接して配置され、約17.4mmだけ離間される。 15dBの最大WNG制限付きの、図1の左耳2素子の(すなわち、片側の)アレイのおよそハイパーカーディオイドの頭部上極性応答を例示する図である。本明細書では極性プロットは、図2のdBに対する角度の極性プロットを含み、プロットされた周波数を主体に示す。 15dBの最大WNG制限なしの、図1の左耳2素子の(すなわち、片側の)アレイのおよそハイパーカーディオイドの頭部上極性応答を例示する図である。本明細書では極性プロットは、図2のdBに対する角度の極性プロットを含み、プロットされた周波数を主体に示す。 図1のアレイのすべての4つのマイクロホン(すなわち、両側)を使用するアレイの左耳の頭部上極性応答を例示する図である。 図1のアレイに対する片側および両側アレイの頭部上3D指向係数(DI)(周波数対DI(単位dB))を例示する図である。各曲線は、それぞれの左耳アレイおよび右耳アレイの平均DIを表す。 両側4素子アレイを使用するシステムの、簡略化された概略的信号処理構成図である。 7素子アレイの1つの非限定マイクロホン配置を例示する図である。 図6のアレイのすべての7つのマイクロホンを使用する両側アレイの左耳の頭部上極性応答を例示する図である。 図1および図6のアレイの頭部上三次元DIを例示する図であり、その場合、各曲線は、それぞれの左耳アレイおよび右耳アレイの平均DIを表す。 両側7素子アレイを使用する会話支援システムの簡略化された概略的信号処理構成図である。 7素子両側アレイの例示的なアレイフィルタを例示する図であり、左耳アレイフィルタが示される。注:マイク1=左前面マイク、マイク2=左中央マイク、マイク3=左後部マイク、マイク4=右後部マイク、マイク5=右中央マイク、マイク6=右前面マイク、マイク7=頭部背面マイク。 7素子両側アレイの例示的なアレイフィルタを例示する図であり、右耳アレイフィルタが示される。注:マイク1=左前面マイク、マイク2=左中央マイク、マイク3=左後部マイク、マイク4=右後部マイク、マイク5=右中央マイク、マイク6=右前面マイク、マイク7=頭部背面マイク。 図6のアレイのすべての7つのマイクロホンを使用し、図10のフィルタを使用する両側アレイの左耳の頭部上極性応答を例示する図である。 4素子および7素子アレイの頭部上三次元DIを例示する図である。7素子アレイは図10のフィルタを使用する。各曲線は、それぞれの左耳アレイおよび右耳アレイの平均DIを表す。 5つの異なるアジマス角における図6の7素子両側アレイの両耳間レベル差(ILD)を例示する図である。非支援バイノーラルダミーの基準(目標)ILDも示される。 5つの異なるアジマス角における図6の7素子両側アレイの両耳間位相差(IPD)を例示する図である。非支援バイノーラルダミーの基準(目標)IPDも示される。 会話支援システムに使用することができるアレイの例を示す図である。 任意のパスアングル幅を有する理想的なモノラル会話支援アレイの極性受音パターンを例示する図である。 バイノーラルダミーの極性ILDを例示する図である。 大きさにおける左耳アレイ仕様例を例示する図である。 位相における左耳アレイ仕様例を例示する図である。 大きさにおける右耳アレイ仕様例を例示する図である。 位相における右耳アレイ仕様例を例示する図である。 図17の仕様を使用する、7素子両耳用アレイの左耳極性応答を例示する図である。 図17の仕様を使用する、7素子両耳用アレイの右耳極性応答を例示する図である。 周波数(500Hz)における7素子両側アレイの極性ILDを例示する図である。非支援バイノーラルダミーの基準ILDも示す。 周波数(1000Hz)における7素子両側アレイの極性ILDを例示する図である。非支援バイノーラルダミーの基準ILDも示す。 周波数(4000Hz)における7素子両側アレイの極性ILDを例示する図である。非支援バイノーラルダミーの基準ILDも示す。 同じ周波数における7素子両側アレイの極性IPDを例示する図である。非支援バイノーラルダミーの基準IPDも示す。 同じ周波数における7素子両側アレイの極性IPDを例示する図である。非支援バイノーラルダミーの基準IPDも示す。 同じ周波数における7素子両側アレイの極性IPDを例示する図である。非支援バイノーラルダミーの基準IPDも示す。 7素子両耳用アレイに対する5つのアジマス角における目標のアレイと実際のアレイとの間のILDバイノーラル誤差を示す図である。 7素子両耳用アレイに対する5つのアジマス角における目標のアレイと実際のアレイとの間のIPDバイノーラル誤差を示す図である。 同じ誤差を示すが、バイノーラルビームフォーミングなしの図である。 同じ誤差を示すが、バイノーラルビームフォーミングなしの図である。 目標仕様を狭めた(+/-15度)、両側の帯域限定された7素子アレイの左耳極性応答を例示する図である。 周波数(500Hz)における目標仕様を狭めた(+/-15度)、7素子アレイの極性ILDを例示する図である。 周波数(1000Hz)における目標仕様を狭めた(+/-15度)、7素子アレイの極性ILDを例示する図である。 周波数(4000Hz)における目標仕様を狭めた(+/-15度)、7素子アレイの極性ILDを例示する図である。 同じ周波数における目標仕様を狭めた(+/-15度)7素子アレイの極性IPDを例示する図である。 同じ周波数における目標仕様を狭めた(+/-15度)7素子アレイの極性IPDを例示する図である。 同じ周波数における目標仕様を狭めた(+/-15度)7素子アレイの極性IPDを例示する図である。 5つのアジマス角における目標仕様を狭めた(+/-15度)7素子アレイのILD誤差を例示する図である。 5つのアジマス角における目標仕様を狭めた(+/-15度)7素子アレイのIPD誤差を例示する図である。 異なるパスアングルを有し、比較のために非両耳用アレイを有する、いくつかの7素子アレイの3D頭部上指向係数の比較を例示する図である。3つの両耳用アレイに対して、各曲線は、それぞれの左耳アレイおよび右耳アレイの平均DIを表す。 図17Aの左耳の大きさ仕様を、3倍だけ仕様を歪曲した後、示す図である。 図17Cの右耳の大きさ仕様を、3倍だけ仕様を歪曲した後、示す図である。 4素子アレイを備える会話支援システムの簡略化された概略的構成図である。 会話支援システムに使用することができるアレイの例を示す図である。 会話支援システムに使用することができるアレイの例を示す図である。 素子を眼鏡に取り付けた会話支援システムを例示する図である。 頭部の両側にある素子を小型イヤホンによって保持される会話支援システムを例示する図である。 2つまたは複数の別々のネットワークデバイスを備える会話支援システムの簡略化された概略的構成図である。
1つのクラスのビームフォーミングが超指向性として当技術分野で知られている。超指向性ビームフォーマは、マイクロホン間間隔、dが入射音の波長、λの半分未満(d<λ/2)であるものであり、それは高いアレイの指向性を得るためにフィルタリングされたマイクロホン信号間の相殺的干渉を利用する。会話支援用のアレイは、2つの相補的理由で、アレイ帯域幅のほとんどにおいて、超指向性ビームフォーミングを利用することができる。第一に、人の頭部のサイズにより、頭部着用型アレイのマイクロホン間間隔は、音声帯域においてより低い周波数の音の入射波長に対して小さい。第二に、背景雑音および残響を実質的に低減し、TNRを増加させ、雑音環境における明瞭度および理解の容易さを改善するために、高いアレイの指向性が必要とされる。
超指向性ビームフォーミングからの高いアレイ指向性は、アレイ内の相殺的干渉という代償で手に入る。この相殺的干渉は、望ましくない角度からの受け取った信号の大きさを低減するだけでなく、望ましい角度からの受け取られた信号の大きさも低減する。所望の、または軸上の、信号の大きさの低減は、例えば、軸上のユニティゲインに合わせてアレイ出力を等化するまたはアレイフィルタを正規化することによって補正することができる。制限されていない超指向性アレイの場合、結果として得られる等化フィルタまたは正規化アレイフィルタの大きさは、際限なく上昇することができる。実際には、そのような高い利得は、結果として、マイクロホン感度ドリフトおよびアレイ内のマイクロホン間で無相関の雑音の過剰な増幅により、アレイの不安定性となる。無相関雑音源の例は、マイクロホン自生雑音、各マイクロホンに取り付けられた電子機器の雑音レベル、風切音、およびアレイとの機械的相互作用による雑音を含む。白色雑音利得(WNG)とも呼ばれるこの雑音感度は、次式によって与えられる。
Ψ=RRH/(RS0S0 HRH)
ここで、RはLマイクロホンの各々に適用される複素フィルタ係数の1×Lベクトルであり、S0はLマイクロホンの各々の軸上音響応答のL×1ベクトルであり、Hはエルミートまたは共役転置演算子である。各係数は、周波数の関数であるが、しかし、周波数は簡単にするために表記が抑えられている。WNGは、アレイの軸上利得に対して無相関雑音の増幅を表す。過剰なWNGを有するアレイは、結果として、例えば、アレイ出力上の可聴雑音、風切音の過剰な増幅、およびマイクロホン間感度の小さなドリフトによる不十分な指向性となり得る。
いくつかの例において、アレイのWNGを所定の値に限定または制限することは望ましいことであり得る。WNGがアレイフィルタ設計プロセスを使用してそのように限定されるアレイ設計を達成する方法は、後で論じる。アレイWNGを限定することにより、過剰なWNGの悪影響が低減されるだけでなく、普通ならアレイが指定のWNG最大値を超えるWNGを有するはずである周波数におけるアレイの指向性も低減される。言い換えれば、WNGとアレイの指向性とは、設計トレードオフをもたらす。図2は、およそ15dBのWNG限定付き(図2Aにおける)およびなしの(図2Bにおける)、およそハイパーカーディオイド(自由場の)アレイの頭部上応答(dB対プロットされた角度)を示す。これらのおよび他の極性プロットのプロットされた周波数が、主体に記載される。図2AのWNG限定アレイは、より低い指向性を有するが、しかし、このアレイは、制限されていないアレイの限度まで無相関雑音を増幅しない。
アレイ指向性性能の偏りのない比較は、指向性とWNGとのトレードオフを考慮に入れるべきである。以下の各章では、各アレイは、15dBの最大WNGに限定される。この制限は、聴覚支援用途に典型的なマイクロホンおよび電子機器からの自生雑音の可聴性に基づく。この制限は例示的であり、開示の範囲を限定しない。したがって、図2AのWNG制限アレイは、単純な2素子アレイに典型的な頭部上指向性性能基準を表す。
WNG限定は、電気的自生雑音の域を超える他の検討事項に基づいて選択することができる。例えば、風の存在下で使用されるアレイは、アレイ内のマイクロホン上の乱気流によって生じる雑音に対する感度を限定するために、より低い最大WNG制限を必要とすることがある。この場合、5〜10dB未満の、または15dB未満のある量の、WNG限定が望ましいことであり得る。大きな環境雑音などの他の検討事項により、より高いWNG制限が可能になることがあり得る。環境雑音のスペクトルがWNGによる雑音スペクトルと顕著に重複する場合、および環境雑音レベルがWNGによって生じた環境雑音レベルよりも顕著に高い場合、環境雑音は、WNG関連雑音をマスクする。この場合、アレイ出力上の可聴雑音を生じることなくアレイの指向性を増加させるために、より高い最大WNG制限を使用することができる。環境雑音対アレイ比誘導(WNG)雑音の比は、WNG制限に妥当な値を見出すために使用することができる。
以下の各章において、アレイ指向性性能のすべての比較は、特に他の記載がない限り、頭部上データに基づく。このようにして、関連のある、潜在的に有害な頭部の音響効果が含まれる。
アレイ設計に頭部上データを使用することの利点をより明確に示すために、頭部上データを使用して設計されたアレイフィルタおよび、必要に応じて、自由場(即座の)データを使用して設計されたアレイフィルタは、場合により、互いに対比される。以下の各章において、アレイフィルタの設計条件を記載する。
マイクロホンアレイの出力は、電気音響変換を通じてユーザに再生されなければならない。会話強化システムには、再生システムはヘッドホンを備えることができる。ヘッドホンは、耳全体の上または耳の上にあってよい。ヘッドホンは、耳の中にあってもよい。他の音響再生デバイスは、外耳道の開口に対して寄り掛かる小型イヤホンの形を有することができる。他のデバイスは、外耳道に対して密閉することができる、または外耳道中に挿入することができる。デバイスによっては、聴覚デバイスまたは補聴器としてより正確に説明することができるものもある。以下の各章において、特に他の記載がない限り、雑音低減(例えば、雑音遮断または能動雑音低減)ヘッドホンの使用が想定される。非雑音打ち消しヘッドホンの会話支援システムへの適用も、後で論じる。
両側ビームフォーミング
両側ビームフォーミングの議論を通じて、アレイフィルタが自由場マイクロホン応答データおよびアレイフィルタ設計プロセス(後で論じる)を使用して設計されてきた。しかし、極性プロットおよび指向係数で示す計算されたアレイ性能は、デバイスが頭部上に装着されるとき、アレイ性能をより詳しく表すために頭部上性能を示す。
前の例において、片側アレイの設計を説明した。片側アレイは、同側のアレイ出力信号を発生するために頭部の片側のみに配置される2つまたは複数のマイクロホン素子を使用して形成される。
頭部の左側および右側のマイクロホンのアレイの両側ビームフォーミングは、左耳および右耳両方のオーディオ信号を作成するために頭部の両側のマイクロホンの少なくとも1つ(および好ましくはすべて)を利用することが関与する。この配列は「両側アレイ」と称することができる。好ましくは、ただし、必ずしもではないが、アレイは、頭部の各々の側に少なくとも2つのマイクロホンを備える。好ましくは、ただし、必ずしもではないが、アレイは、頭部の前面および/または背面にも少なくとも1つのマイクロホンを備える。本開示に採用することができるアレイの他の非限定例は、以下に示し、説明する。両側アレイは、使用することができる素子の数を増加させ、他の素子に対する個々の素子の少なくともいくつかの間隔を増加させる(頭部の互いに対向する側の素子は、頭部の同じ側の素子よりも離れて離間される)ことによって、片側アレイに比較して改善された性能を提供することができる。
各耳用のオーディオ信号を作成するためにアレイ内のすべてのマイクロホンを使用することは、以下に論じるアレイフィルタ設計プロセスに結合されたとき、設計目的を満たす能力を実質的に増すことができる。1つの可能な設計目的は、指向性の増加である。図3は両側アレイの頭部上極性応答を示す。図4は片側および両側アレイ(両方とも図1のアレイ10を使用する)の頭部上3D指向係数(DI)を示す。すべての4つのマイクロホンが左耳および右耳両方のオーディオ信号を作成するのに使用される両側方式は、最大3dBまでの指向係数(DI)の増加を生じる。図5は、そのような両側アレイのフィルタの配列を示す簡略化された信号処理構成図16である。図は、A/D、D/A、増幅器、ダイナミックレンジリミッタなどの非線形信号処理機能、ユーザインターフェースコントロールおよび当業者には明らかであるはずである他の態様などの詳細は省く。図5に示す信号処理(および、個々のマイクロホンアレイフィルタ、個々のアレイフィルタの出力を合計するアナログ加算器、各耳信号のための等化、ダイナミックレンジリミッタなどの非線形信号処理および手動または自動利得コントロールなどを含む、図から省かれる信号処理)を含む会話強化デバイスの信号処理のすべては、単一のマイクロプロセッサ、DSP、ASIC、FPGA、もしくはアナログ回路、または上記のいずれかの複数もしくは組合せによって実施することができることに留意されたい。アレイフィルタ110の組は、左および右オーディオ信号の各々に対する、各マイクロホンのフィルタを含む。左耳オーディオ信号は、それぞれフィルタL1、L2、L3およびL4によってフィルタリングされたすべての4つのマイクロホン20〜23の出力を合計することによって(アナログ加算器111を使用して)作成される。右耳オーディオ信号は、それぞれフィルタR1、R2、R3およびR4によってフィルタリングされたすべての4つのマイクロホン20〜23の出力を合計することによって(アナログ加算器113を使用して)作成される。アレイフィルタの開発は以下に論じる。
前述したように、等化は、アレイ処理の軸上の出力を等化するのに必要であり得る。この等化は、各個々のマイクロホンアレイフィルタの一部として行うことができ、またはアナログ加算器111および113の後に行うことができる。さらに、ダイナミックレンジまたは他の非線形信号処理を各アナログ加算器の出力上の、または両方の組合せ上の、各個々のマイクロホン信号に加えることができる。そのような周知の処理の詳細は、当技術分野で周知の任意のやり方によって達成することができ、本開示の限定ではない。
前述したように、実現されたアレイの指向性とアレイのWNGとのトレードオフがある。両側アレイを使用することによる上記の改善は、指向性を改善するのに、またはWNGを改善するのに使用することができ、または両方の目的で分けることができる。両側アレイを使用することによって、片側アレイでは可能でないはずの指向性およびWNGに対する制限の組合せを満足させることができる。
両側ビームフォーミングを任意の数の素子またはマイクロホンのアレイに適用することができる。図6に示すように、3つの素子が頭部の各々の側に、一般に各耳の近くにあり(マイクロホン20、24および21が頭部の左側に、左耳に近接してあり、マイクロホン22、25および23が頭部の右側に、右耳に近接してある)、1つの素子26が頭部の背面にある、例示的な非限定7素子アレイ12を検討する。頭部の各々の側に2つまたは複数の素子があり得、マイクロホン26は存在しない可能性があり、または頭部の前面内もしくは上面上または1対の眼鏡のブリッジ上など、左側および右側アレイから間隔を空けた他の場所に配置することができることに留意されたい。これらの素子は、すべて、一般に同じ水平面にあることができるが、一般に同じ水平面になくてもよい。また、マイクは、相互の上に垂直に配置することができる。図7は、図6の7素子アレイを有する両側ビームフォーミングから結果として生じる頭部上極性パターンを示し、その場合、すべての7つの素子は、左耳および右耳両方のオーディオ信号の作成に寄与する。図8は、異なるアレイ(従来技術の4つの素子の片側アレイならびに上に論じた本開示の4つおよび7つの素子の両側アレイ)の指向係数を比較する。上記のように、WNGは各周波数において15dB(最大)である。
片側の4つの素子アレイの例において、左耳に近接した2つの左マイクロホンは、左耳オーディオ信号を作成するためにビームフォームされ、右耳に近接した2つの右マイクロホンは、右耳オーディオ信号を作成するのに使用されることに留意されたい。このアレイは、合計4つのマイクロホンがあるので、4素子アレイと呼ばれるが、頭部の片側のマイクロホンだけがそれぞれの側のアレイを作成するためにビームフォームされる。これは、頭部の両方の側のすべてのマイクロホンが左耳および右耳両方のオーディオ信号を作成するために一緒にビームフォームされる両側ビームフォーミングと異なる。
頭部の左側のマイクロホンは、左側素子と右側素子との出力を組み合わせるアレイに対して、およそ1200Hzを超えて望ましいアレイ性能を得るために、頭部の右側のマイクロホン素子からあまりにも離れて間隔が空けられる。文献において「グレーティングローブ」と呼ばれる、より高い周波数における極性異常を避けるために、両側アレイの片側は、およそ1200Hzを超えると効果的にローパスされ得る。1つの非限定例において、1200Hzのローパスフィルタコーナー周波数未満では、頭部の両方の側がビームフォームされ、1200Hzを超えると、アレイは各耳に対して片側ビームフォーマに移行する。空間手掛かり(例えば、両耳間レベルおよび位相(または同等に、時間)の差)を維持するために、左耳アレイは、1200Hzを超えると左側マイクロホンだけを使用する。同様に、右耳アレイは、1200Hzを超えると右側マイクロホンだけを使用する。各耳の信号は、1200Hz未満の周波数に対してすべてのアレイ素子から形成される。この帯域幅限定は、後で論じるアレイフィルタ設計プロセスを使用して実装することができ、または他のやり方で実装することができる。図9(図5のやり方と同様のやり方で簡略化されている)は、左および右フィルタの組120を有する7つのマイクロホン20〜26を備える、そのような両側アレイに対する拡張された信号処理図28を示す。フィルタ120は、図5のフィルタの場合と同じやり方で使用される。図10Aおよび図10Bは、7素子両側のアレイ(図10Aの左フィルタおよび図10Bの右フィルタ)に対するアレイフィルタの組の例を示す。図10Aおよび図10Bにおいて、1200Hzローパスがアレイフィルタ自体内で効果的に実装されることに留意されたい。あるいは、ローパスを第2のフィルタ段として実装し得る。
図11は、3つの周波数における図10の左耳フィルタ(先述のローパスフィルタリングを含む)を有する、同じ7素子アレイの結果として得られる極性性能を示す。図11に示す帯域制限された両側アレイの性能は、図7に示す帯域限定なしの両側アレイの性能と対比され得る。より高い周波数における挙動(例えば、約4KHzにおいて示すように)は、非帯域制限された図7の両側アレイにおけるよりも図11の帯域制限された両側のアレイにおける方がずっと多く制御され、規則的である。
図12は、片側および両側4素子アレイを含む上記アレイのすべてに対する3D頭部上指向係数を示す。より規則的な極性応答がより高い周波数における片側アレイに移行することによって結果として得られるが、指向係数はそれに応じてより低くなる。1200Hz以外の値がアレイの所望の指向性により、適切であり得る。より指向性がないアレイの場合、900Hzなどの、より低いクロスヘッドコーナー周波数が望ましい。より指向性があるアレイの場合、2kHzなどの、より高いコーナー周波数が望ましい。
他の変更なしで、両側アレイ化は、クロスヘッドコーナー周波数、例えば、1200Hz未満の、妥協した空間的性能を生じることがある。具体的には、両耳間レベル差(ILD)および両耳間位相差(IPD)は、各アレイに対して頭部の両方の側の対称なマイクロホンの使用の場合に特に小さい。図13Aは、図6と同様に、7素子両側アレイのILDを示し、図13BはIPDを示す。バイノーラルビームフォーミング(以下)は、この問題に対処するのに使用することができ、より従来の方式に比較して追加の利点を提供することができる。
頭部装着型マイクロホンアレイに関する上記の概念は、アレイがユーザの頭部に配置されない聴覚支援デバイスに使用されるマイクロホンアレイに適用することができる。頭部に装着されない、本明細書に説明する両側ビームフォーミング方式に使用することができる、1つのアレイの例は、マイクロホンを小円で示す図14に示す。この例は、3つが左側および右側の各々にあり、各1つが前方側および後方側にある、8つのマイクロホンを含む。「空間」にはマイクロホンがないが、他の物体がない必要はなく、実際、会話支援システムのマイクロホンおよび/または他の構成要素のうちの1つまたは複数を保持する物体を含むことができる。これは以下により詳細に説明する。このマイクロホンアレイがテーブル上に配置される場合、後方マイクは通常ユーザに面するが、前方マイクは視覚的に前方方向に向く可能性が最も高いであろう。
各左耳および右耳信号に対してすべてのマイクロホンを使用することは、従来技術の場合のラインアレイに比較して改善された性能を提供することができる。本会話支援システムの両側ビームフォーミングの態様において、マイクロホンの全部または一部を左耳および右耳信号の各々に使用することができ、マイクロホンが使用されるやり方は、周波数依存であり得る。図14の例において(および空間がほぼ典型的なスマートフォンのサイズであるとして(約15×7cmなど))、アレイの左側のマイクロホンは、約4kHzを超える望ましい性能に対して、右側のマイクロホンからあまりに離れすぎる可能性がある。言い換えれば、左側および右側マイクロホンは、組み合わせたとき、この周波数を超える空間エイリアシングを起こすであろう。したがって、左耳信号は、この周波数を超えると、左側、前面、および後面マイクロホンだけを使用することができ、右耳信号は、この周波数を超えると、右側、前面、および後面マイクロホンだけを使用することができる。最大の所望のクロスオーバー周波数は、左側マイクロホンと右側マイクロホンとの間の距離および左側アレイと右側アレイとの間にあり得る任意の物体の幾何形状の関数である。しかし、例えば、より広い極性受音パターンが所望される場合、より低いクロスオーバー周波数を選択することができる。携帯電話ケースが典型的なユーザの両耳間の空間よりも狭いので、クロスオーバー周波数は、頭部装着型デバイスの場合よりも高い。しかし、非頭部着用型デバイスは、それらの物理的サイズが限定されず、図14におけるデバイスに示すよりも広いまたは狭いマイクロホン間隔を有することができる。
バイノーラルビームフォーミング
会話強化システムにおける両側ビームフォーミングにより、普通であれば片側アレイを使用して可能であるよりも低いWNGにおいて高い指向性を有するアレイの設計が可能となる。しかし、両側アレイも、頭部の両側のアレイ素子が個々の耳の信号を形成するのに使用されるより低い周波数において、空間手掛かりに悪影響を及ぼすことがある。この影響は、以下により詳細に説明する、バイノーラルビームフォーミングの導入によって改良することができる。
ILDおよびIPDなどの空間手掛かりは、いくつかの理由で会話支援システムにおいて維持するのに望ましい。第一に、聴取者が自分たちの可聴環境を空間的に自然であると知覚する限度は、空間手掛かりの特性による。第二に、両耳聴およびその関連する空間手掛かりが音声明瞭度を増加させることは当技術分野でよく知られている。したがって、有益な空間手掛かりを会話支援システムにおいて作成することは、システムの知覚される空間的自然性を高め、追加の明瞭度利得を提供することができる。
図15に示す、会話支援システムのアレイの理想化された極性応答を検討する。このマイクロホンアレイの出力がモノラルで、または両方の耳に対して均等に、再生された場合、ILDおよびIPDの両方の手掛かりは、十分に軸外にある音源に対してもゼロである。さらに、例えば、自然な、聴取者の頭部の時変移動から結果として生じる運動手掛かりは、両耳間手掛かりを変動させないであろう。これらの例の両方において、両耳間手掛かりは、自然な聴覚の両耳間手掛かりと異なる。これらの相違により、モノラル会話支援システムは、結果として不自然な空間的体験となり得る。聴取者によっては、この空間的体験を「頭部内」として表す可能性のあるものもおり、聴取者からの知覚される音源の距離が小さいことを意味する。他の聴取者は、軸外話者が常に0度のアジマスにおけるかのうように聞こえるという問題を抱える可能性がある。バイノーラル手掛かりの欠落も両耳聴を除去し、それによって、音声明瞭度がさらに低下する。両側アレイは、頭部の両方の側のマイクロホンが両方の耳に対してアクティブである周波数において同様の問題を提示する。そのような挙動は、前の7素子アレイ例の図13Aおよび図13Bにおけるおよそ1200Hzのクロスヘッドコーナー周波数未満で明らかである。
問題を例示するために、図16のバイノーラルダミーの極性ILDを検討する。この極性パターンは、右耳の大きさと左耳の大きさとのdB差である。極性IPDの同様のプロット(図示せず)は、右耳位相と左耳位相との位相差に基づいて行うことができる。ILDおよびIPDの両方は、音源角度の関数として変動する。しかし、モノラル極性ILDおよびIPDは、両耳間手掛かりが音源位置の関数として変化しないので、単純にゼロdB ILDおよびゼロ度IPDの円である。
バイノーラルビームフォーミングは、依然として両側のビームフォームされたアレイの高い指向性およびTNR利得ならびにより低いWNGを維持しながら、上記両耳間問題に対処するのに適用することができる方法である。これを達成するために、バイノーラルビームフォーミングは、アレイ内のマイクロホン信号を処理して、ユーザに聞こえるときの具体的な極性ILDおよびIPDを作成し、指定のパスアングル、例えば、+/-45度を超える域から到来するすべての音源も減衰させる。ユーザに対しては、バイノーラルビームフォーミングを利用する会話支援デバイスは、2つの重要な利点を提供することができる。第一に、デバイスは、アレイのパスアングル内に、より現実的なILDおよびIPDを再現することによって、より自然で明瞭な聴覚支援体験を生じることができる。第二に、デバイスは、パスアングルの外側に到来する音を顕著に減衰させることができる。他の利点が可能であり、後で論じる。
バイノーラルビームフォームされたアレイは、所望のアレイ応答の大きさおよび位相の両方が指定される、複素数値極性仕様を含むアレイフィルタ設計プロセスを利用する。仕様は各耳または両耳間関係を表すことができる。
バイノーラルビームフォーミングの1つの非限定例において、両耳用アレイ極性仕様は、各耳に対して別々の仕様からなる。仕様は複素数値であり、極性頭部伝達関数(HRTF: head-related transfer function)目標に基づく。この例において、目標は、バイノーラルダミーの各耳の極性HRTFから得られる。目標を得るための他の方法は、本明細書に企図されており、そのうちの一部を以下に説明する。この例において、左耳および右耳アレイ仕様間の相対的相違は、図16の場合のようにバイノーラルダミーのIPDおよびILDに合致する。図17A〜図17Dは、大きさおよび位相の両方の左耳および右耳アレイ仕様例(図17Aおよび図17Bに示す左耳の大きさおよび位相ならびに図17Cおよび図17Dに示す右耳の大きさおよび位相)を例示する。例えば、水平角30度における(アジマス0度における)仕様を検討する。1kHzにおける左耳と右耳との仕様の相違は、大きさが7dBであることである。これは図16の30度における-7dBのILD応答に相当する。大きさの仕様(図17Aおよび図17Cにおける)は、およそ+/-60度の域を超えて完全に減衰される(-無限大dB)。大きさの仕様が完全に減衰される角度の場合、エネルギーがいずかの耳に存在しないので、ILDおよびIPDの両方が効果的に定義されない。例示を容易にするために、図15のパスアングルよりも広いパスアングルが使用されるが、具体的なパスアングルはこの開示の限定ではない。
バイノーラルビームフォーミングの他の適用例において、両耳用アレイ極性仕様は異なり得る。例えば、仕様は、一般化されたHRTFによって定義された自然な両耳間関係とは異なり得る。あるいは、仕様は、所与の対象の頭部上に個別化された測定、一般化された球形モデル、またはいくつかの頭部の統計的サンプリングに基づいて作成することができる。他のそのような適用例は後で示す。
これらの仕様を所与として、左アレイマイクロホンおよび右アレイマイクロホンの両方の出力のアレイフィルタがアレイフィルタ設計プロセスを使用して作成される。図18Aおよび図18Bは、左耳に対しては図17Aおよび図17Bおよび右耳に対しては図17Cおよび図17Dの仕様を使用して、図6の7素子アレイに対する、結果として得られる両耳用アレイの極性応答の例を示す。
ヘッドホンを通じた左耳および右耳アレイの再生により、それぞれ図19A〜図19Cおよび図19D〜図19Fに示す極性ILDおよびIPDが作成される。図20Aおよび図20Bは、目標と実際とのアレイ性能の、それぞれILDおよびIPD誤差を示す。対照的に、図21Aおよび図21Bは、バイノーラルビームフォーミングなしの7素子の帯域制限された両側アレイの、それぞれ、ILDおよびIPD誤差を示す。バイノーラルビームフォーミングの適用により結果として生じた、HRTFにより酷似する両耳間特性(例えば、バイノーラルILDおよびIPD誤差の減少)は、結果として、アレイのより自然で、心地よい空間的性能ならびに状況認識および明瞭度の改善となる。
極めて狭いパスアングル(すなわち、指向係数が物理的に可能な最大値に近似するパスアングル)の場合、バイノーラル目標は+/-15度まで狭めることができる。しかし、非常に厳しい極性目標が結果として生じ、それは7素子アレイを用いて実現するのが困難である。したがって、結果として得られるILDおよびIPD誤差は相対的に高い。図22は、結果として得られた左耳アレイに対する極性応答の大きさを示す。図23A〜図23Cおよび図23D〜図23Fは、それぞれ、このより狭い仕様による7素子両耳用アレイから結果として生じた極性ILDおよびIPDを示す。図24Aおよび図24Bは、それぞれ、非支援バイノーラルダミーに対するILDおよびIPD誤差を示す。図25は、パスアングル幅が変動する(15、30および45度)いくつかの両側7素子アレイに対する3D頭部上DIを比較し、15度における非両耳用アレイの例を例示する。そのような狭いパスアングルはアレイ内の7つのマイクロホンだけを用いて実現するのが困難であり得るが、アレイ内のマイクロホンの数を増加させることにより、ビームフォーミングの自由度が増加し、結果として、より厳密に仕様に合致したアレイ性能となる。
+/-15度のパスアングルを有する頭部上7素子両耳用アレイは、これまで論じた任意の両側クロスヘッドの帯域制限されたアレイの最高の指向性を有する。両側ビームフォーミングの章で論じた、最も狭い7素子両耳用アレイと非両耳用アレイとのDI差は、頭部上最適化による。両耳用アレイフィルタは、頭部上極性データに基づいて決定され、頭部の日陰および回折効果を含み、それによって、結果として、アレイ性能がより厳密に極性仕様に合致することになる。自由場(すなわち、頭部外)条件を想定して設計されたアレイフィルタを採用するデバイスが頭部上に配置されたとき、頭部の音響効果により、システムが自由場性能から逸脱する。そのようなアレイは性能の低下を有する。自由場条件を想定して設計されたアレイは、頭部上アレイまたはテーブルもしくはデスクなどの表面上に配置されるように設計されたアレイなどの具体的な適用例に使用されたとき、顕著に異なって実施することができる。
非常に狭いパスアングルを有する両耳用アレイは、結果として、「頭部内」空間的印象を含む、空間的性能がモノラルアレイの空間的性能に近似することになり得る。これは、非ゼロアジマス角における音源からのアレイ出力におけるエネルギーの欠如による。そのようなアレイが、頭部上で使用される場合、頭部追跡(以下に説明する)を、受音パターンを広げるのに使用することができる。例えば、ユーザが何人かの話者を見るために自分の頭部を頻繁に動かす場合、受音パターンは、より良いバイノーラル手掛かりおよび空間認識を得るように広げることができる。アレイが頭部装着型ではない場合、頭部追跡は、以下に説明するように、メインローブをユーザの凝視の方向に向けるのに使用することができる。狭いパスアングルがTNRおよび明瞭度を大幅に増加させることができても、ほぼモノラルの空間表現は、会話強化システムの知覚される自然性を低下させ、会話支援体験全体を損なうことがある。非常に狭い両耳用アレイから出力された空間手掛かりの質は、ILDおよびIPDを操作することによって高めることができる。
ILDおよびIPDを操作することができる1つのやり方は、空間手掛かりを自然なHRTFによって表される空間手掛かりの域を超えて誇張することである。例えば、5度における音源を、15度に対応するIPDおよびILDを用いてバイノーラルビームフォーマによって再現することができるが、0度における同じアレイ音源を0度に対応するIPDおよびILDを用いて再現することができる。両耳間特性の誇張は、バイノーラルビームフォーミングに使用される複素極性バイノーラル仕様を歪曲することによって達成することができる。当然ながら、第1の角度範囲を有するものとして知覚される聴取者の位置へのエネルギー入射が起きることは、受け取られ、処理され、第1の角度範囲とは異なる第2の角度範囲上に広がっていると知覚されるように、聴取者に対してレンダリングされる。第2の角度範囲は、第1の角度範囲よりも大きくても、または小さくてもよい。さらに、角度範囲の中心は、処理なしで知覚されるのと同じ位置で知覚されるようにレンダリングされる。あるいは、エネルギーがその知覚される到来方向に対してオフセット角だけずれた方向から入射されると知覚されるようにオフセットを適用することができる。
上記の具体的な非限定例では、複素仕様は、15度における歪曲された仕様が5度におけるHRTFに対応するように、角度寸法に沿って3倍だけ歪曲される。この例では3の係数が使用されているが、3と異なる歪曲係数も企図されており、例は歪曲の程度が限定されない。歪曲係数は、1未満または1よりも大きい任意の量であり得る。図26Aおよび図26Bは、3倍だけ仕様を歪曲した後の、それぞれ、図17Aおよび図17Cの左耳および右耳の大きさの仕様を示す。アレイのメインローブ幅の合計が仕様(+/-60度)間で同じであるが、しかし、仕様の値が歪曲されることに留意されたい。このようにして、狭い両耳用アレイからのエネルギーが、アレイを通じて総エネルギーを増加させることなく、聴取者に対するアジマス角のより広い、知覚される範囲にわたって広げられ得る。次いで、これは、非常に狭い両耳用アレイのTNRおよび明瞭度の利点を維持し、しかも、より心地よい空間的特性を作成する。IPDおよびILDの手掛かりの追加により、耳-脳系がより豊かな、明瞭度を高めるバイノーラル手掛かりを利用することができるので、明瞭度を支援することもできる。限定はされないが、時間強度交互作用の十分に確立された概念に関連した操作など、手掛かりの非線形歪曲およびHRTFによって表される手掛かりの域を超えた手掛かりの使用を含む、空間手掛かりの多くの他の操作が可能である。時間強度交互作用の場合、例えば、極性ILDおよびIPDの目標は、確立された交互作用規則を使用して作成することができ、結果として、図17A〜図17Cの仕様など、測定ベースの仕様と異なる仕様となるが、依然として聴取者に同様の空間的印象をもたらす。
メインローブ幅を増加させずに見掛け空間幅を増加させることができる代替のやり方は、非線形時変信号処理による。そのような信号処理の1つの非限定例後に続く。アレイ処理後の時間領域左耳および右耳信号は、ブロックに分解され、ブロックは、1つの非限定例において、128のサンプルの長さであり得る。それらのブロックは、周波数領域に変換され、操作され、時間領域にまた変換され、次いで、ユーザに対して再現される。非限定の例示的なブロック処理方式は次のとおりである。周波数領域にされると、ILDおよびIPDがそれぞれ左耳アレイと右耳アレイとの大きさおよび位相の差に基づいて各周波数において生成される。次いで、入力ILDおよびIPDを歪曲するフィルタが次の規則により生成される:WarpLevel=ILDin*(ILDwarpfactor-1);WarpPhase=IPDin*(IPDwarpfactor-1)。「warpfactor」は、意図において上記の歪曲係数と同等である。WarpLevelおよびWarpPhaseは、周波数領域歪曲フィルタの大きさおよび位相を表す。フィルタは周波数依存であり、ありそうな非最小位相である。次いで、フィルタは、IPDwarpfactorおよびILDwarpfactorによって歪曲された出力ILDおよびIPDを作成するために入力信号に適用される(周波数領域における乗算)。システムを因果関係に保持するために、歪曲フィルタが、遅延されている耳信号に適用される。例えば、任意の周波数における入力ILDおよびIPDが3dBおよび15度であり、ならびにILDwarpfactorおよびIPDwarpfactorの両方が2である場合、この周波数における歪曲フィルタ応答は、大きさが3dBであり、位相が15度である。フィルタを適用した(周波数領域における乗算)後、出力ILDおよびIPDは、入力ILDおよびIPDの2倍である6dBおよび30度である。ILDおよびIPDが聴取者の左の音に対して正であるように定義された場合、右耳がIPDを増加させるために左に対して遅延されるので、歪曲フィルタはシステムを因果関係に保持するために右耳に適用される。例えば、入力ILDおよびIPDを出力ILDおよびIPDに関連させるために、ILDwarpfactorおよびIPDwarpfactorの代わりにテーブルルックアップを使用することによって、上記を達成する他の方法が存在する。
いくつかの例において、何らかのやり方でアレイの指向性が変動することが可能になることが望ましいことであり得る。会話強化デバイスが使用される環境の性質が変化するので、デバイスの動作の何らかの改変(例えば、アレイの指向性の変更)が望ましいことであり得る。いくつかの例において、ユーザが、例えば、様々な所定のアレイの指向性を切り替えることによって、アレイの指向性を手動で変更することが可能である機能性を達成するために、ユーザ制御スイッチを設けることができる。いくつかの例において、アレイの指向性を切り替えるまたは改変することは、例えば、1つまたは複数の感知状態の機能として自動的に行うことができる。
実際には、極めて狭い固定(すなわち、時不変)パスアングルまたはメインローブ幅を有する会話支援アレイは、会話体験を低下させることがある。そのようなアレイを使用するとき、被支援聴取者は実質的に能動話者に対面しなければならず、これは面倒であり、心身を疲れさせ得る。この問題は、複数の人が会話に参加するとき、被支援聴取者が絶えず自分の頭部を能動話者の方に動かさなければならないので、悪化する。このいわゆる「見回し問題」は、聴取者にとって非常にいらいらすることであり得る。さらに、被支援聴取者は、実質的に軸外で話している話者を見ない可能性がある。この視覚手掛かりなしで、聴取者は、話者の方に向かない可能性があり、会話を完全に逃してしまう可能性がある。この問題に対処するために、パスアングルは、最小幅を維持すべきである。頭部着用型アレイの場合、実験では、およそ+/-45度のパスアングルが過剰な「見回し」を起こさせることなく会話の理解力を増加させるのに十分であることを示唆している。非頭部装着型アレイの場合、アレイの位置に対する軸外話者の角度位置により、より広いパスアングルが必要とされることがある。およそ+/-15度のパスアングルが軸上の話者の会話明瞭度をより大きな程度まで増加させるが、結果として過剰な「見回し」となることがある。したがって、およそ+/-15度が最小LTIパスアングルである可能性があり、およそ+/-45度が明瞭度利得と見回し低減との妥当なトレードオフである可能性があることが非限定例において考慮される。
会話は会話が行われる環境と同様に動的である。ひと時、周囲が静寂であることがある一方、数分後に、その場所が騒々しくなることがある。例えば、騒々しい人の流れにより、部屋が雑音で満たされることがある。会話は1対1または何人かの間であり得る。後者の状況では、話者はたぶんあるテーブルまたは別のテーブルの一端から今すぐにも言葉を差し挟み得る。
会話の動的性質により、会話支援デバイスに多数の状況が提示される。非常に騒々しい環境における1対1の会話の場合、明瞭度および理解の容易さを改善するように高指向性マイクロホンアレイが望ましい。より騒々しくない環境では、高指向性アレイは、デバイスの音を不自然であまりにも目立つようにする、周囲環境のあまりに多くの周囲の音を取り除くことができる。複数の話者がテーブルの周りの単一の会話に関与するとき、高指向性アレイは、結果としてユーザが軸外に座っている人のコメントを逃すことになり得る。
1つの例において、会話支援デバイスは、時変状況依存のアレイ処理を達成するためのいくつかの手段(すなわち、機能性)を含むことができる。1つのそのような手段は、ユーザが手動で異なる受音パターンを切り替えることを可能にさせるステップを含む。1つの非限定例として、ユーザには、アレイの指向性に関連した単純な1自由度のユーザインターフェースコントロール(例えば、回転されるツマミまたはスライダ)を与えることができる。そのような「ズーム」コントロールは、ユーザに会話中に自分の聴覚体験をカスタマイズする権限を与えることができる。このコントロールは、例えば、環境が非常に騒々しくなり、明瞭度が脅かされるようになるとき、ユーザがアレイの指向性を増加させ、次いで、周囲雑音レベルが後で減少するとき指向性を減少させることが可能になり得る(したがって、より自然な空間手掛かりおよび状況認識の増加を取り戻す)。コントロールは、パスアングル幅だけでなく、パスアングルの方位角も変更するのに使用し得る。例えば、自動車の乗客はメインローブを運転者の方に90度左に向け、乗客が運転者を見なくても会話が支援されることが可能になることを望むことができる。例えば、メインローブの方向および/または幅を変えることは、所望の方向に所定のアレイフィルタの個別の組を切り替えることによって達成することができる。このユーザコントロールは、会話支援システムの1つまたは複数の素子で実装することができる。1つの非限定例として、スマートフォンがシステムに関与している場合(例えば、図14に示す空間内に存在するまたはそれ以外の場合システムコントロールに結合される)、ユーザコントロールは、携帯電話上で実装することができる。そのようなユーザコントロールは、狭いパスアングルを使用するとき、前述の問題のうちのいくつかを改良することができる。
パスアングル幅および方位角の変更に加えて、ユーザは、選択的に異なる方位角における複数のパスアングルを入れたり切ったりすることができる。ユーザはスマートフォンアプリ(またはタブレットなどの異なるタイプの携帯用コンピューティングデバイス上のアプリ)を使用して、そのようなコントロールを達成することができる。そのコントロールは、例えば、ユーザに自分の位置の視覚アイコンおよび30度ごとに自分の周りの可能な音源を提示することができる。次いで、ユーザは、1つまたは複数の音源アイコンをタッピングして、その方向に向いたパスアングルを有効または無効にする。このようにして、例えば、ユーザは、0度および-90度における音源アイコンをタッピングして、それらの角度における話者の言うことを聞くことができ、その間、すべての他の角度における音源は減衰させることができる。可能なアレイ方位角の各々は、方位角に対応するILDおよびIPDを有する両耳用アレイを備える。このようにして、所与の角度からの音源は、ユーザには、その所与の角度に位置するように見える。アレイが頭部着用型である場合、頭部追跡を使用して、方位角、ILD、およびIPDを頭部位置の関数として変え、それによって、頭部位置とともに変える代わりに見掛けの話者の位置を空間に固定したまま保持することができる。頭部外アレイの場合、頭部追跡を使用して、ILDおよびIPDを変え、それによって、見掛けの話者の位置を空間に固定したま保持することができ、その間、アレイが頭部とともに移動しないので、方位角は移動しない。
時変処理の別の形はアレイの物理的方位に関連する。1つの非限定例において、スマートフォンケースの周辺の周りに配置されたマイクロホンを備えるアレイの場合、アレイは、デバイスが水平(例えば、テーブル上に平ら)であるか、または垂直(例えば、ポケット内にまたはネックレスを用いて首の周りからぶら下がる)であるかにより異なって実施することができる。この例において、メインローブは、水平に向けられたとき、テーブルに沿って前方に向くことができるが、次いで、垂直に向けられたとき、スマートフォンの画面の表面に対して垂直に向くように変更される。このようにして、ユーザは、デバイスの方位にかかわらず、指向性から利益を受け、したがって、デバイスをテーブル上またはポケット内/首の周りに自由に配置することができる。このメインローブ目標角度の変更は、アレイフィルタの異なる組に切り替えることによって達成することができ、その場合、アレイフィルタの両方の組は、本明細書に説明するプロセスを使用して設計することができる。そのような切り替えは、たぶんスマートフォン内に統合された加速度計からの信号を使用して自動化することができる。別の非限定例において、アレイは、デバイスが他の話者の声に出す(out-loud)受信に使用されているのか、または電話による通信の場合など、ユーザ自身の声の近接場受信に使用されているのかにより、異なって実施することができる。後者の場合、アレイフィルタは、遠距離場における他の音に対してユーザ自身の声のアレイ感度を増加させるように変更することができる。これは、例えば、電話会話の遠隔側で聴取者によって聞こえる信号対雑音比を増加させる。本明細書に説明する同じアレイフィルタ設計の方法論は、近接場および遠距離場の両方のデータを音響応答(S)および仕様(P)内に付加することによって、このフィルタ設計を達成することができる。非限定頭部着用型アレイ例の場合、そのような設計から結果として生じるフィルタは、いわゆる近接効果を増加させ、したがって、ユーザ自身の声対他の遠距離音の比を増加させる。スマートフォンケースに統合されたアレイの追加の非限定例として、そのような設計から結果として生じるフィルタは、メインローブを、スマートフォンの画面と平行に、ユーザの口の方に上方に向け、したがって、他の音に対してユーザの声から受け取られるエネルギーを増加させる。
図27は、図5と同様の、および図1と同様に配列された、4つの素子のアレイ20〜23を備える会話支援システム80を例示する。各マイクロホンの出力は、マイクバイアスおよびアナログ利得回路(それぞれ30〜33)を含む利得回路中を通過され、次いで、A/D(それぞれ40〜43)によってデジタル化される。デジタル化された信号は、上記のフィルタを実装するデジタル信号プロセッサ50に入力される。ユーザインターフェース(UI)46が含まれ得る。例えば、UIは、状態情報をユーザに提供するおよび/または上記の手動切り替えなどのユーザ入力を可能にする、あるタイプのディスプレイを含むことができる。出力はD/A60によってアナログ信号にまた戻され、次いで、2つのチャネルのD/A出力は、増幅器70によって増幅され、ヘッドホン(図示せず)に提供される。再生音量コントロールデバイス72が、ユーザが信号量を制御することを可能にさせる手段を提供するために含まれ得る。能動雑音低減がシステムの一部として含まれる場合、それはプロセッサ50を介して達成され得る、または当技術分野で知られているように別々に実装され得る。能動雑音低減センサおよび回路は、直接ヘッドホンに組み込むことができる。
会話支援システムは、好ましくは、ヘッドホン、イヤホン、小型イヤホンまたは電気マイクロホンアレイ出力信号をユーザの耳内に入力される圧力信号に変換する他のオーバーイヤ型、オンイヤ型、またはインイヤ型電気音響変換器を利用する。受動雑音遮断(NI: passive noise isolating)である、または能動雑音低減(ANR)を利用する、または受動および能動の両方である電気音響変換器は、ユーザの耳内の環境雑音も減衰させる。システムがNIおよび/またはANR電気音響変換器を利用する場合、および電気音響変換器がユーザの耳における環境雑音を変換されたマイクロホンアレイ出力信号の環境雑音よりも十分に低いレベルまで減衰させる場合、ユーザには、実質的にアレイ出力信号だけが聞こえる。したがって、ユーザは、アレイのTNR改善を全面的に利用する。非遮音型の、音響的にトランスペアレントな電気音響変換器が代わりにシステムに使用される場合、ユーザには環境雑音とアレイ信号との組合せが聞こえる。効果的なTNRは、ユーザの耳において再現される環境雑音およびアレイ信号の相対的なレベルによる。効果的なTNRは、アレイレベルが環境雑音を超えて増加されるので、アレイTNRに近似する。NIまたはANR電気音響変換器なしの高雑音環境において、アレイレベルは、完全なアレイベースのTNR改善を提供するために環境雑音を超える実質的な増幅を必要とすることがある。しかし、これは、高い音圧レベルをユーザの耳内に生じ、著しい不快感または聴覚損傷を生じることがある。したがって、いくつかの非限定例において、会話支援システムが、高雑音環境で使用されるとき、NIおよび/またはANR電気音響変換器を含むことが望ましいことであり得る。いくつかの非限定例において、提供される雑音低減の量(例えば、電気音響変換器における受動NI、ANR機能性または両方の組合せによって)は、アレイを通じて伝送される拡散背景雑音が電気音響変換器(ANRまたは受動NI)中を通過する拡散背景雑音とレベルがほぼ同等であるように、アレイの指向係数以上であるべきである。いくつかの非限定例において、電気音響変換器によって提供される雑音低減の量は、角度にわたってマイクロホンアレイの最大減衰と同等であり、それは、10dBから25dBの間のどこかの程度であり得る。概して、環境における雑音レベルが増加するとき、電気音響変換器からの増加された雑音低減が望ましい。ANR電気音響変換器によって提供される雑音低減の量を制御されたやり方で変えることが可能であることの方が、受動NIデバイスによって提供される雑音低減を変えることが可能であるよりも容易である。雑音低減の量は所望のやり方で制御することができる。典型的なフィードバックベースのANRデバイスにおいて、ループ補償フィルタが、安定した状態を保ちながら最大のANR性能を得るようにフィードバックループ応答を形成するのに使用される。1次まで、このフィルタにおける利得は、ANRの量を低減するために低減することができる。より複雑なシステムは、利得を低減するよりもフィルタ応答を形成する可能性があるが、これは必須ではない。
低雑音環境には、音響的にトランスペアレントなヘッドホンを使用することができる。あるいは、ANRヘッドホンの雑音低減を背景雑音レベルの関数として変えることができる。雑音環境には、完全なANRを利用することができる。より静寂な環境には、ANRを低減するか、または切ることができる。さらに、低雑音状況では、環境音をANRヘッドホンは、イヤカップまたは小型イヤホンの外側の追加のまたは一体型のマイクロホンを介して耳まで通過させることができる。したがって、この通過モードは、必ずしもアレイ信号を変更しなくても、環境意識を増加させる。
頭部外アレイの場合、さらに変更せずに、デバイス(例えば、図14の「空間」)の両側のマイクを左耳および右耳両方の信号に使用することにより、指向性が増加するが、アレイはカットオフ周波数未満ではモノラルともなる。また、左側と右側との間の頭部による狭い間隔(例えば、典型的なスマートフォンの寸法)および音響的日陰の欠如により、左耳および右耳信号が実質的に同様になる。これらの問題の両方により、アレイの空間的性能がほぼモノラルとなり得る。
正確な空間手掛かりを再現もし、また軸外音を減衰もさせるために、バイノーラルビームフォーミングを使用することができる。マイクロホンが搭載される任意のデバイス(スマートフォンなど)を含むマイクロホンの音響は、アレイフィルタの最小二乗法設計(以下に説明する)に含まれる。また、アレイの目標空間的性能は、バイノーラルダミーから得られる可能性がある、バイノーラル仕様を使用して定義される。頭部外バイノーラルビームフォーミングは、左側と右側との間に頭部がないという点において、上に論じたバイノーラルビームフォーミングと異なる。それにもかかわらず、設計方法は、頭部が2つの側の間に存在しなくても、バイノーラル手掛かり(例えば、ILDおよびIPD)を最小二乗法の意味において可能な限り正確に再現する。頭部外設計の別の利点は、ユーザ自身の声が他の話者とより良く分離され、ユーザ自身の声の増幅を低減し得ることである。これはマイクアレイのユーザとの近接性が減少することによるものであり、頭部上アレイに対する頭部外アレイのユーザの口と話者の口との間の角度分離によるものである。具体的には、アレイ設計方法は、上記の他のバイノーラルビームフォーミングのタスクも実施しながら、ユーザの声の増幅を低減するために空値をユーザの口の方に後方に導くように変更することができる。アレイによって受け取られたときのユーザの声の大きさを低減することに加えて、アレイの配置は、所望の話者、例えば、ユーザの前面の話者との近接性を増加させ、したがって、TNRを増加させることができる。
アレイが頭部装着型であるとき、アレイの方位角は、ユーザとアレイとが同一場所に配置されるので、ユーザに対する所望の話者の方位に対応する。遠隔アレイとユーザとが同一場所に配置されないとき、遠隔アレイ出力のILDおよびIPD手掛かりは、ユーザに対する所望の話者の物理的方位により良く合致するように歪曲させることができる。
メインローブは前方方向に導かなくてもよい。バイノーラルビームフォーミングを使用して他の目標角度が可能である。メインローブは、ユーザのすぐ隣に座っている話者の言うことを聞くためにユーザのすぐ左側または右側の方に導くことができる。このメインローブは、ユーザの左または右の話者に対応するバイノーラル手掛かりを再現し、依然として他の角度からの音は拒絶することもできる。アレイをユーザの前面のテーブル上に配置すると、ユーザの左に90度の話者は、アレイの左に90度ではない(例えば、話者は約-135度であり得る)。したがって、空間的目標は、純粋なバイノーラルから歪曲されなければならない。この例において、-135度における音源に対するアレイの目標バイノーラル仕様は、ユーザの左に90度の話者に関連したILDおよびIPDを再現すべきである。
図14に示すマイクロホン位置と異なるマイクロホン位置は、実施形態および空間的目標により、より良く実施することができる。他の非限定仮説的マイクロホン構成を、マイクロホン位置を小円で示す図28および図29に示す。図28における空間の4つの角の各々に隣接したマイクロホンの対は、高周波数におけるメインローブのより良い操舵制御を行うことができる。マイクロホンの配置により、アレイ処理の音響的自由度が決まる。マイクロホンの所与の数に対して、指向性性能(例えば、DI、バイノーラル手掛かりの保存)が他の方位角ではなく、ある方位角においてより重要である場合、より多くのマイクロホンを別の軸ではなく1つの軸に沿って配置することにより、より望ましい性能をもたらすことができる。図14におけるアレイは、例えば、アレイ性能を前向き方向に偏らせる。あるいは、図28におけるアレイは、アレイ性能を複数の軸外角度に偏らせる。図29におけるアレイは、例えば、90度回転したアレイに対して性能を前向き方向に偏らせる。マイクロホンの数量およびそれらの位置は変えることができる。また、左耳および右耳信号の各々を作成するのに使用されるマイクロホンの数は変えることができる。「空間」は長方形でなくてもよい。より一般に、アレイの最適なマイクロホン配列は、アレイを保持するデバイスの物理的制限を与えられた、すべての可能なマイクロホン間隔を試験することによって決定することができる。WNGは特に低周波数において検討することができる。
頭部外アレイは、頭部に取り付けられていないので、ユーザの「ルック」角度に機械的に従わない。これを考慮に入れるために、スマートフォン上のカメラを、ユーザの頭部の角度を追跡し、ルック角度をDSPに送るのに使用することができ、その場合、アレイパラメータは、新たなルック角度に対応するILDおよびIPDを回転させるために実時間で変更される。例示すると、カメラがユーザの頭部の-90度(左)の回転を検知した場合、アレイパラメータは、これまでは0度のアレイ応答を+90度(右)に再度レンダリングするように変更される。
メインローブ角度の選択は、ユーザによって制御され得る(例えば、スマートフォンアプリ上のユーザインターフェース(UI)を通じて--例えば、メインローブが導かれる話者の位置をタッピングすることによって)、またはメインローブ角度は、適応的に制御され得る(例えば、強力な近傍の(したがって、所望の)話者を示す高い変調エネルギーを有する空間的入力を有効にすることによって)。ビームパターンは、装着者が面している方向を追跡するのに使用することができる加速度計などの慣性センサを使用して適合することができる。例えば、加速度計は、ユーザの頭部に結合することができ(例えば、ユーザによって装着されたデバイスによって運ばれる)、したがって、装着者が面している方向を決定するのに使用することができ、ビームパターンをそれに応じて適合することができる。頭部装着型センサは、その出力情報を、ILDおよびIPDを適合するために信号処理を実施するデバイスに通信する必要がある。信号処理に関与するデバイスの例は、本明細書の他の場所に説明されている。デバイスは、代替として顔追跡または視線追跡を使用して、ユーザが見ている方向を決定することができる。顔および/または視線追跡を達成する方法は、当技術分野で知られている。ユーザの凝視の方向を追跡するための頭部装着型センサまたは他のセンサの使用は、アレイがテーブル上に平らに配置されたときと異なるビームパターンを作成する。
システムレベルにおいて、頭部上アレイに対する頭部外アレイの例の何らかの固有の属性がある。第一に、例は、携帯電話/スマートフォン、携帯電話/スマートフォンケース、眼鏡ケース、腕時計、ペンダント、または携帯可能である任意の他の物体を中心に構築することができる。実施形態の1つの動機は、それが社会的環境においてテーブル上に配置されたとき、無味乾燥に見えることである。すべての4つの縁部上の電話を囲む電話ケースは、図面に示すように間隔を空けたまたは他のやり方で間隔を空けた複数のマイクロホンを保持することができる。電話ケースは、配置される表面から減結合することができる、および/またはマイクロホンは、電話ケースから機械的に減結合することができる。この減結合は、ケースおよび/またはマイクロホンへの振動の伝達を抑制するように軟質材料(例えば、気泡ゴムまたは軟質エラストマー)をケースと表面および/またはマイクロホンとの間の機械的経路に使用することによってなど、所望のやり方で達成することができる。
会話支援システムは、デジタル信号プロセッサ(DSP)と、アナログ/デジタルおよびデジタル/アナログ(AD/DA)コンバータと、電池と、充電回路と、無線ラジオと、UIと、ヘッドホンとを備える可能性がある。構成要素(ヘッドホンを除く)の一部または全部を、特別に設計された電話ケースに、例えば、電話機能全体または美観への最小限の影響で、組み込むことができる。ヘッドホン(例えば、小型イヤホン)は有線またはワイヤレス、雑音低減または非雑音低減であり得る。雑音低減ヘッドホンの信号処理は、構成要素を電話ケースに取り付けて達成することができる。マイクロホンの一部または全部は、電話ケースまたは他の保持される物体内のマイクロホンの代わりに、またはマイクロホンに加えて、小型イヤホンによって保持することができる。機能性は、電話の一部として直接構築することもできる。電話プロセッサは、必要とされる処理の一部または全部を達成することができる。マイクロホンは、電話を電話ケースとともに使用した場合、露出されたままである必要がある。したがって、システムは、1つより多い物理的デバイスの間に分配することができる。これは以下により詳細に説明する。
アレイの機能を制御するUIは、携帯電話上に存在することができ、UI設定は、ワイヤレスで、または有線を介して、アレイ処理を行うDSPに伝送することができる。有線接続の場合、アナログオーディオ接続は、FSK符号化を介してコントロールデータを伝送することができる。これにより、例えば、携帯電話がBluetooth(登録商標)無線通信なしでDSPを制御することが可能になる。DSPは、上方圧縮などの補聴器の信号処理を実施することもでき、またはスマートフォンは、これらのタスクの一部を実施することができる。処理の一部は電話によって達成することができる。特別な電話ケースは、それ自体の電池を有することができ、その電池は電話の電池と同時に充電されることが可能となり得る。
アレイフィルタ設計
マイクロホンビームフォーミングは、複数のマイクロホンから出力された電気信号が、まず、フィルタリングされ、次いで、組み合わされて、望ましい圧力受領特性が作成されるプロセスである。2つのマイクロホンだけを自由場に含むアレイの場合、アレイフィルタの設計は決定性であり得る。当技術分野でよく知られた単純な数学的関係は、カーディオイドまたはハイパーカーディオイドなどのマイクロホンの位置幾何形状および所望の圧力受領特性の観点から複素アレイフィルタ係数を定義することができる。しかし、ささいでない受音特性を必要とする、十分な性能には追加の制限を必要とする、またはそれらの組合せを必要とする、2つより多くのマイクロホンを、自由場以外に、含むアレイのアレイフィルタの設計は、ささいでない。これらの複雑性は、アレイを会話支援用に設計しているとき起きる。例えば、TNRおよび明瞭度を増加させるために高い指向性を必要とすることは、2つより多いマイクロホンの使用を必要とする。さらに、会話支援システムをユーザの頭部上で使用することは、自由場と違って有害な音響効果を導入する。マイクロホンの間または近くに配置された任意の構造体からの悪影響がある。アレイ設計は、頭部または何らかの他の物体によるかどうかにかかわらず、これらの影響を考慮に入れる必要がある。さらに、バイノーラルビームフォーミングは、極性圧力受領パターンの具体的な大きさだけでなく、位相特性も必要とする。
会話支援にアレイフィルタを設計するための1つの方法を以下に説明する。まず、入力を説明する。すべての入力は、周波数領域において個別の機能であるが、周波数は、簡単にするために表記から省かれている。その代わりに、各入力が各周波数に供給され、各数学演算が特に他の指定がない限り各周波数に対して独立して行われることが理解される。アレイの所望の空間的性能は、極性仕様、Pとして示される、それはM個別極性角度の1×Mベクトルである。アレイ内の各マイクロホンの音響応答は、Sとして示され、それはLマイクロホンおよびM個別極性角度に対応するL×M行列である。これらの音響応答は、測定または理論モデルに基づくことができる。音響応答、Sは、アレイフィルタの設計において近傍のバッフルまたは表面の音響効果を含むために元の位置(バイノーラルダミー頭部上など)で測定することができ、それによって、結果として、前述のようにアレイ性能の改善となる。最大の所望のWNGは、Eとして示され、それはスカラーである。最大の所望のフィルタの大きさは、Gとして示され、それはLマイクロホンに対応する実数値の1×Lベクトルである。最大のフィルタの大きさ仕様は、上に論じるように、アレイ応答のローパス、アレイ応答のハイパスを実装する、DSP上のアレイ処理のデジタルクリッピングを防止する、または両側アレイのクロスヘッド帯域限定を実装するのに使用することができる。誤差重み関数、Wは、アレイフィルタ解決策における各極性角度の相対的重要性を決定する。WはM極性角度および他の場所のゼロの誤差重みに対応する対角線に沿った非ゼロ入力を有するM×M行列である。重み付け極性角度は、例えば、雑音源がアレイに対して既知の角度に存在する場合、設計者がより良い極性性能を達成するのに役立てることができ、その場合、他の角度における性能を犠牲にして極性目標により良く適合することは、アレイ性能全体に役立つであろう。
上記定義のすべてにおいて、M寸法は、より一般に任意の位置の組に対応することができ、必ずしも極性角度に対応しない可能性がある。したがって、以下の方法は、例えば、アジマス角の代わりに空間における任意の測定に基づいてアレイフィルタを作成するのに使用することができる。さらに、L寸法は、マイクロホンではなく、スピーカに対応することができ、それによって、当技術分野でよく知られている音響相反により、以下の方法をマイクロホンアレイの代わりにスピーカアレイのアレイフィルタを作成するのに使用することができる。
アレイフィルタは、反復法を使用して見出すことができ、その場合、WNG、最大利得、および複素極性性能の最初の仕様が提供され、フィルタ解決策が、例えば、音響応答データとともに最小二乗法の方法を使用して生成され、WNGおよびフィルタの大きさが計算され、所望の仕様と比較され、次いで、極性仕様に対するWNGおよび最大フィルタ利得の仕様の重要性が、それぞれ、比較により変更され、次いで、新たなフィルタ解決策が計算される。このプロセスは、WNGも、最大のフィルタの大きさの仕様も超えないが、例えば、最小二乗法の意味で複素極性仕様を満たす、解決策が見出されるまで継続する。当技術分野で知られているように、反復プロセスを誘導するために様々な他の最適化方法を適用することができる。
他のフィルタ設計方法が存在する。代替方法において、左アレイおよび右アレイの両方を一緒に解決することができる。この方法において、左アレイおよび右アレイの極性目標がそれぞれPlおよびPrとして示される。次いで、両耳間目標、Piが、Pr/Plの比から形成される。左アレイフィルタは、上記手順およびPl仕様を使用して解明され、結果としてアレイ極性性能Hlとなる。次いで、右アレイの極性目標、Prが、Pr=Pi*Hlとなるように左アレイの実際の極性性能によってオフセットされる。次いで、右アレイフィルタが更新されたPr仕様を使用して解明され、結果として、アレイ極性性能Hrとなる。次いで、左アレイ仕様は、Pl=Hr/Piとなるように、右アレイの実際の極性性能によってオフセットされる。次いで、左アレイフィルタが、更新されたPl仕様を使用して解明される。この反復プロセスは、目標両耳間性能が指定の許容値内になるまで継続し、左アレイフィルタを設計し、右アレイ仕様を更新し、右アレイフィルタを設計し、左アレイ仕様を更新し、などをする。
例
会話支援システムを実装する数多くの可能なやり方のうちのいくつかを例示する非限定例を図30および図31に示す。図30の組立品200は、アレイの左側の素子を左眼鏡テンプル部分202に取り付ける。ハウジング210は、テンプル202の上にはまり、受け開口229および233に嵌合する留め具216および218によって互いに保持される上部ハウジングハーフ212と下部ハウジングハーフ214とを含む。マイクロホン素子230、231および232は、下部ハーフ214内の空洞に嵌合する。有孔金属スクリーンであり得るグリル220は、マイクロホンへの機械的損傷を抑制するようにそれらを覆う。繊維メッシュカバー222は、マイクに対する風または髪のかすめによって起こされる雑音を低減するのに役立つ望ましい音響特性を有する。導体226はマイク信号を搬送する。同様の配列が頭部の右側に使用される。
図31の組立品300は、アレイを小型イヤホン302に追加する。ハウジング310が小型イヤホンに嵌合するアダプタ314によって保持される。空洞316〜318が6素子アレイの3つのマイクロホン素子のうちの各々1つを保持する。7つの素子(含まれる場合)は、例えば、ネックバンドによってまたはヘッドバンドによって保持することができる。あるいは、眼鏡のブリッジ上にもつことができる。
図32の会話支援システム90は、システム機能性の態様および1つより多いデバイスの間の機能の分配を例示する。まず、デバイス91は、アレイマイクロホンと、プロセッサと、UIとを含む。デバイス91は電話ケースでもよいが、そうでなくてもよい。以下の論議は一般に任意の遠隔(すなわち、非頭部装着型)アレイシステムに適用される。各マイクロホン信号がバイアス、利得、およびA/D回路中を通過した後、デジタル信号は、第1の信号プロセッサ1中に通される。信号プロセッサ1は、アレイ処理、等化、およびダイナミックレンジ圧縮などの信号処理を実施することができる。UI1はプロセッサ1に接続されて、アレイ処理アルゴリズムのパラメータなどのあるパラメータを制御する。次いで、プロセッサ1の出力は、例えば、ユーザによって装着されるヘッドホンであり得る、別個のデバイス92の一部である、第2の信号プロセッサ2に渡される。信号プロセッサ2は、アレイ処理、等化、およびダイナミックレンジ圧縮などの信号処理を実施することができる。第2のUI2は、第2のプロセッサ2に接続される。第1および第2両方のユーザインターフェース(UI1およびUI2)は、第1および第2両方のプロセッサに接続して、両方のプロセッサ上のパラメータを制御することもできる。第1のプロセッサは第1のデバイス91に内蔵され得るが、第2のプロセッサは第2のデバイス92に内蔵され得る。
第1のプロセッサから第2のプロセッサに渡されるデジタルデータは、有線接続を介して、またはBluetooth(登録商標)無線通信にわたってなど、ワイヤレス接続を介して伝送することができる。いずれかのユーザインターフェースから渡されたコントロールデータは、有線接続を介して、またはBluetooth(登録商標)無線通信にわたってなどワイヤレスで伝送することができる。プロセッサ上で起動されるアルゴリズムは、高い計算の複雑性を必要とするプロセスが、より実質的な電池容量またはより大きな物理的サイズを有するデバイス内のプロセッサ上で起動されるように編成することができる。第1のデバイス内の第1のプロセッサは、第2のプロセッサおよび第2のデバイスを迂回することができ、デジタルオーディオを、直接、D/Aおよびオーディオ増幅器を内蔵する第3のデバイス93に出力することができる。デバイス93は、デジタル信号をデバイス91および92から受け取るワイヤレスリンクを有する、能動小型イヤホンでよいが、能動小型イヤホンでなくてもよい。デバイス93の機能性は、デバイス91および/またはデバイス92内に含めることもできる。このようにして、追加の信号処理およびユーザインターフェースの特徴は、ユーザが第2のデバイス92を使用することを選択する場合、ユーザに利用可能であり得る。ユーザがプロセッサ2およびUI2を含む第2のデバイス92を使用することを選択しない場合、プロセッサ1およびUI1は、何らかの機能性を継続して提供する。この融通性により、ユーザはデバイス92内でのみ利用可能な最新の機能性を必要なときだけ利用することが可能になり得る。
一例において、指向性処理および等化はプロセッサ1上で行い、UI1によって制御することができるが、プロセッサ2およびUI2が第2のデバイス92を介して接続されるとき、ユーザは、スマートフォンを介して補聴器の上方圧縮およびそのアルゴリズムの制御を有効にする。この例において、第1のデバイス91は、頭部着用型アレイでよく、第2のデバイス92はスマートフォンでよい。
別の例において、プロセッサ1、UI1、ならびに接続されたマイクロホンおよび回路は、第1のデバイス91内でアレイ処理を実施することができるが、第2のデバイス92は、上方圧縮および他の補聴器のような処理を実施することができる。この例において、第2のデバイス92は、プロセッサ2と、UI2と、左および右AUXマイクおよび回路と、A/Dと、増幅器とを備える。この例において、第2のデバイス92は、第1のデバイス91がない場合、補聴器のような信号処理を実施する頭部着用型デバイス(例えば、小型イヤホン)でよいが、第1のデバイス91がユーザによってワイヤレスリンクにわたって接続されるとき、アレイ処理は第1のデバイス91内で行われ、アレイ処理された信号は第2のデバイス92に再生のため出力される。この例は、ユーザが小型の頭部着用型デバイス92を聴覚支援のために使用することができるが、次いで、騒々しい状況にあるとき、遠隔デバイス91(例えば、電話ケースの実施形態)をアレイ処理に接続して、聴覚の利点を増すことができる点において、有益である。
会話支援システムの別の非限定例には、補聴器としてのシステムの使用が関与する。遠隔アレイ(例えば、携帯電話もしくは携帯電話ケース、または眼鏡ケースなどの携帯用物体に組み込まれた遠隔アレイ)は、ユーザに近接して配置することができる。システムによって達成される信号処理(上記のように、1つまたは1つより多いデバイス上で)は、上記のように、マイクロホンアレイ処理および信号処理の両方を達成して、聴覚上の欠点を補償する。そのようなシステムは、ユーザが異なる規範的処理を実装することを可能にするUIを含むことができるが、含まなくてもよい。例えば、ユーザは、アレイ処理が変わる場合、またはアレイ処理がない場合、異なる規範的処理を使用してもよい。ユーザは、環境(例えば、周囲雑音レベル)の特性に基づいて規範的処理を調整できることを望むこともできる。聴覚支援デバイスコントロール用の携帯デバイスが、その開示がその全体において本明細書に組み込まれている、2014年4月14日に出願した、「Hearing Assistance Device Control」という名称の米国特許出願第14/258,825号に開示されている。
いくつかの実装形態を説明してきた。それにもかかわらず、本明細書に説明する概念の範囲から逸脱することなく、追加の変更を行うことができ、したがって、他の実施形態は以下の特許請求の範囲内にあることが理解される。
1、2 信号プロセッサ
10 マイクロホンアレイ、アレイ
12 7素子アレイ
20、21、22、23 マイクロホン、アレイ、素子
24、25、26 マイクロホン、素子
28 信号処理図
30、31、32、33 マイクバイアスおよびアナログ利得回路
40、41、42、43 A/D
46 ユーザインターフェース
50 デジタル信号プロセッサ、プロセッサ
60 D/A
70 増幅器
72 再生音量コントロールデバイス
80、90 会話支援システム
91 第1のデバイス
92 第2のデバイス
93 第3のデバイス
110 アレイフィルタ
111、113 アナログ加算器
120 左および右フィルタの組
200 組立品
202 左眼鏡テンプル部分
210 ハウジング
212 上部ハウジングハーフ
214 下部ハウジングハーフ
216、218 留め具
220 グリル
222 繊維メッシュカバー
226 導体
229、233 受け開口
230、231、232 マイクロホン素子
300 組立品
302 小型イヤホン
310 ハウジング
314 アダプタ
316、317、318 空洞

Claims (29)

  1. いかなるアレイマイクロホンをも含まない空間の外側に配列されたマイクロホンの両側アレイであって、前記空間が、左側と、右側と、前面と、後面とを有し、前記アレイが、複数のマイクロホンの左側サブアレイと、複数のマイクロホンの右側サブアレイとを備え、各マイクロホンが、マイクロホン出力信号を有する、マイクロホンの両側アレイと、
    前記マイクロホン出力信号から左耳オーディオ信号および右耳オーディオ信号を作成するプロセッサであって、
    前記左耳オーディオ信号が、前記左側サブアレイの前記マイクロホンのうちの1つまたは複数および前記右側サブアレイの前記マイクロホンのうちの1つまたは複数からの前記マイクロホン出力信号に基づいて作成され、
    前記右耳オーディオ信号が、前記左側サブアレイの前記マイクロホンのうちの1つまたは複数および前記右側サブアレイの前記マイクロホンのうちの1つまたは複数からの前記マイクロホン出力信号に基づいて作成される、プロセッサとを備える、会話支援システム。
  2. 前記プロセッサが、前記オーディオ信号の前記作成に関与する各マイクロホンの前記出力信号用のフィルタを備える、請求項1に記載の会話支援システム。
  3. 前記フィルタが、前記左側サブアレイおよび前記右側サブアレイのうちの1つまたは両方の理想出力信号の大きさおよび位相を周波数の関数として含む少なくとも1つの極性仕様を使用して作成される、請求項2に記載の会話支援システム。
  4. 各サブアレイに対して別々の極性仕様を備える、請求項3に記載の会話支援システム。
  5. 極性仕様が、バイノーラルダミーの各耳の極性頭部関連伝達関数に基づく、請求項3に記載の会話支援システム。
  6. 極性仕様が、人の頭部の各耳の極性頭部関連伝達関数に基づく、請求項3に記載の会話支援システム。
  7. 極性仕様がモデルに基づく、請求項3に記載の会話支援システム。
  8. 前記プロセッサが、前記左側サブアレイの前記マイクロホンのうちの1つまたは複数および前記右側サブアレイの前記マイクロホンのうちの1つまたは複数からの前記マイクロホン出力信号に基づいて前記左耳および右耳両方のオーディオ信号を作成するが、所定の周波数未満においてだけである、請求項1に記載の会話支援システム。
  9. 前記所定の周波数を超えると、前記プロセッサが、前記左側サブアレイの前記マイクロホンからの前記マイクロホン出力信号だけに基づいて前記左耳オーディオ信号を作成し、前記右側サブアレイの前記マイクロホンからの前記マイクロホン出力信号だけに基づいて前記右耳オーディオ信号を作成する、請求項8に記載の会話支援システム。
  10. 前記左側サブアレイが、ユーザの頭部の左側に近接して装着されるように配列され、前記右側サブアレイが、前記ユーザの頭部の右側に近接して装着されるように配列される、請求項1に記載の会話支援システム。
  11. 前記左側サブアレイマイクロホンが、前記空間の左側に沿って間隔が空けられ、前記右側サブアレイマイクロホンが、前記空間の右側に沿って間隔が空けられる、請求項1に記載の会話支援システム。
  12. マイクロホンの前記アレイが、前記空間の前面または後面のいずれかに沿って配置された少なくとも1つのマイクロホンをさらに備える、請求項11に記載の会話支援システム。
  13. 前記プロセッサが、前記アレイの主受音方向から所定のパスアングルの外側から前記アレイに到来する音を減衰させるように構成される、請求項1に記載の会話支援システム。
  14. 前記所定のパスアングルを変更する機能性をさらに備える、請求項13に記載の会話支援システム。
  15. 前記所定のパスアングルが、ユーザの頭部の追跡移動に基づいて変更される、請求項14に記載の会話支援システム。
  16. 前記プロセッサが、前記左耳オーディオ信号と前記右耳オーディオ信号との間の具体的な極性両耳間レベル差(ILD)および具体的な極性両耳間位相差(IPD)を作成するために前記マイクロホン信号を処理するように構成される、請求項1に記載の会話支援システム。
  17. 前記プロセッサが、前記左耳オーディオ信号および前記右耳オーディオ信号における具体的な極性ILDおよび具体的な極性IPDを作成するために、あたかも前記音源が前記アレイに対する前記音源の前記実際の角度と異なる角度にあるかのように、前記マイクロホン信号を処理するように構成される、請求項1に記載の会話支援システム。
  18. 前記マイクロホンアレイが、前記アレイの主受音方向を確立させる指向性を有し、前記会話支援システムが、前記アレイの指向性を変更する機能性をさらに備える、請求項1に記載の会話支援システム。
  19. 前記アレイの指向性に変化を起こすように操作されるように適合されるユーザ操作可能入力デバイスをさらに備える、請求項18に記載の会話支援システム。
  20. 前記ユーザ操作可能入力デバイスが、携帯用コンピューティングデバイスのディスプレイを備える、請求項19に記載の会話支援システム。
  21. 前記アレイの指向性が自動的に変更される、請求項18に記載の会話支援システム。
  22. 前記アレイの指向性が、ユーザの移動に基づいて変更される、請求項21に記載の会話支援システム。
  23. 前記アレイが、複数の指向性を有することができ、前記システムが、各アレイの指向性に対する方位角に対応するILDおよびIPDを有する両耳用アレイを備える、請求項18に記載の会話支援システム。
  24. 前記左側サブアレイが、携帯電話を保持するように適合される携帯電話ケースの左側に結合され、前記右側サブアレイが、前記携帯電話ケースの右側に結合される、請求項1に記載の会話支援システム。
  25. 前記アレイが、最大白色雑音利得(WNG)を有するように制限される、請求項1に記載の会話支援システム。
  26. 前記システムが、1つまたは複数の能動雑音低減(ANR)電気音響変換器とともに使用され、前記アレイが、指向係数(DI)を有し、前記電気音響変換器を用いて達成される雑音低減の量が、前記アレイの前記DI以下である、請求項1に記載の会話支援システム。
  27. 各々がプロセッサを有する少なくとも2つの別々の物理的デバイスを備え、前記デバイスが、有線またはワイヤレス通信を介して互いに通信する、請求項1に記載の会話支援システム。
  28. いかなるアレイマイクロホンをも含まない空間の外側に配列されたマイクロホンの両側アレイであって、前記空間が、左側と、右側と、前面と、後面とを有し、前記アレイが、複数のマイクロホンの左側サブアレイと、複数のマイクロホンの右側サブアレイとを備え、各マイクロホンが、マイクロホン出力信号を有する、マイクロホンの両側アレイと、
    前記マイクロホン出力信号から左耳オーディオ信号および右耳オーディオ信号を作成するプロセッサであって、
    前記左耳オーディオ信号が、前記左側サブアレイの前記マイクロホンのうちの1つまたは複数および前記右側サブアレイの前記マイクロホンのうちの1つまたは複数からの前記マイクロホン出力信号に基づいて作成されるが、所定の周波数未満においてだけであり、
    前記右耳オーディオ信号が、前記左側サブアレイの前記マイクロホンのうちの1つまたは複数および前記右側サブアレイの前記マイクロホンのうちの1つまたは複数からの前記マイクロホン出力信号に基づいて作成されるが、所定の周波数未満においてだけであり、
    前記所定の周波数を超えると、前記プロセッサが、前記左側サブアレイの前記マイクロホンからの前記マイクロホン出力信号だけに基づいて前記左耳オーディオ信号を作成し、前記右側サブアレイの前記マイクロホンからの前記マイクロホン出力信号だけに基づいて前記右耳オーディオ信号を作成し、
    前記プロセッサが、前記左耳オーディオ信号と前記右耳オーディオ信号との間の具体的な極性両耳間レベル差(ILD)および具体的な極性両耳間位相差(IPD)を作成するために前記マイクロホン信号を処理するように構成される、プロセッサとを備える、会話支援システム。
  29. 携帯用デバイスに結合され、前記携帯用デバイス上に配列されるマイクロホンの両側アレイであって、前記アレイが、複数のマイクロホンの左側サブアレイと、複数のマイクロホンの右側サブアレイとを備え、前記マイクロホンアレイが、前記アレイの主受音方向を確立させる指向性を有し、各マイクロホンが、マイクロホン出力信号を有する、マイクロホンの両側アレイと、
    前記マイクロホン出力信号から左耳オーディオ信号および右耳オーディオ信号を作成するプロセッサであって、
    前記左耳オーディオ信号が、前記左側サブアレイの前記マイクロホンのうちの1つまたは複数および前記右側サブアレイの前記マイクロホンのうちの1つまたは複数からの前記マイクロホン出力信号に基づいて作成されるが、所定の周波数未満においてだけであり、
    前記右耳オーディオ信号が、前記左側サブアレイの前記マイクロホンのうちの1つまたは複数および前記右側サブアレイの前記マイクロホンのうちの1つまたは複数からの前記マイクロホン出力信号に基づいて作成されるが、所定の周波数未満においてだけであり、
    前記所定の周波数を超えると、前記プロセッサが、前記左側サブアレイの前記マイクロホンからの前記マイクロホン出力信号だけに基づいて前記左耳オーディオ信号を作成し、前記右側サブアレイの前記マイクロホンからの前記マイクロホン出力信号だけに基づいて前記右耳オーディオ信号を作成し、
    前記プロセッサが、前記左耳オーディオ信号と前記右耳オーディオ信号との間の具体的な極性両耳間レベル差(ILD)および具体的な極性両耳間位相差(IPD)を作成するために前記マイクロホン信号を処理するように構成される、プロセッサと、
    前記アレイの指向性に変化を起こすように操作されるように適合されるユーザ操作可能入力デバイスとを備える、会話支援システム。
JP2016568482A 2014-02-10 2015-02-10 会話支援システム Active JP6204618B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461937873P 2014-02-10 2014-02-10
US61/937,873 2014-02-10
PCT/US2015/015271 WO2015120475A1 (en) 2014-02-10 2015-02-10 Conversation assistance system

Publications (2)

Publication Number Publication Date
JP2017505593A true JP2017505593A (ja) 2017-02-16
JP6204618B2 JP6204618B2 (ja) 2017-09-27

Family

ID=52577988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016568482A Active JP6204618B2 (ja) 2014-02-10 2015-02-10 会話支援システム

Country Status (5)

Country Link
US (1) US9560451B2 (ja)
EP (1) EP3105942B1 (ja)
JP (1) JP6204618B2 (ja)
CN (1) CN105981409B (ja)
WO (1) WO2015120475A1 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11750965B2 (en) 2007-03-07 2023-09-05 Staton Techiya, Llc Acoustic dampening compensation system
EP2928210A1 (en) 2014-04-03 2015-10-07 Oticon A/s A binaural hearing assistance system comprising binaural noise reduction
JP6460676B2 (ja) * 2014-08-05 2019-01-30 キヤノン株式会社 信号処理装置および信号処理方法
US9949041B2 (en) * 2014-08-12 2018-04-17 Starkey Laboratories, Inc. Hearing assistance device with beamformer optimized using a priori spatial information
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9615179B2 (en) 2015-08-26 2017-04-04 Bose Corporation Hearing assistance
WO2017158507A1 (en) * 2016-03-16 2017-09-21 Radhear Ltd. Hearing aid
US10063987B2 (en) 2016-05-31 2018-08-28 Nureva Inc. Method, apparatus, and computer-readable media for focussing sound signals in a shared 3D space
US9888308B2 (en) 2016-06-22 2018-02-06 Bose Corporation Directional microphone integrated into device case
JP2018007256A (ja) * 2016-07-04 2018-01-11 イーエム−テック・カンパニー・リミテッドＥＭ−ＴＥＣＨ．Ｃｏ．，Ｌｔｄ． オーディオフォーカシング機能を備える音声増幅装置
US10623870B2 (en) 2016-10-21 2020-04-14 Bose Corporation Hearing assistance using active noise reduction
US9843861B1 (en) * 2016-11-09 2017-12-12 Bose Corporation Controlling wind noise in a bilateral microphone array
US9930447B1 (en) 2016-11-09 2018-03-27 Bose Corporation Dual-use bilateral microphone array
US10911877B2 (en) * 2016-12-23 2021-02-02 Gn Hearing A/S Hearing device with adaptive binaural auditory steering and related method
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10555106B1 (en) * 2017-01-27 2020-02-04 Facebook Technologies, Llc Gaze-directed audio enhancement
US10366702B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US10366700B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Device for acquiring and processing audible input
US10229667B2 (en) 2017-02-08 2019-03-12 Logitech Europe S.A. Multi-directional beamforming device for acquiring and processing audible input
US10362393B2 (en) 2017-02-08 2019-07-23 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US9894452B1 (en) 2017-02-24 2018-02-13 Bose Corporation Off-head detection of in-ear headset
US10499139B2 (en) 2017-03-20 2019-12-03 Bose Corporation Audio signal processing for noise reduction
US10311889B2 (en) 2017-03-20 2019-06-04 Bose Corporation Audio signal processing for noise reduction
US10366708B2 (en) 2017-03-20 2019-07-30 Bose Corporation Systems and methods of detecting speech activity of headphone user
US10424315B1 (en) * 2017-03-20 2019-09-24 Bose Corporation Audio signal processing for noise reduction
US10249323B2 (en) 2017-05-31 2019-04-02 Bose Corporation Voice activity detection for communication headset
WO2019027914A1 (en) * 2017-07-31 2019-02-07 Bose Corporation CONVERSATIONAL AUDIO ASSISTANT
CN107613446B (zh) * 2017-09-27 2021-05-28 惠州Tcl移动通信有限公司 一种防止麦克风啸叫的检测方法、移动终端及存储介质
DK3477964T3 (da) * 2017-10-27 2021-05-25 Oticon As Høresystem, der er konfigureret til at lokalisere en mållydkilde
US10567888B2 (en) * 2018-02-08 2020-02-18 Nuance Hearing Ltd. Directional hearing aid
US10438605B1 (en) 2018-03-19 2019-10-08 Bose Corporation Echo control in binaural adaptive noise cancellation systems in headsets
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11750985B2 (en) * 2018-08-17 2023-09-05 Cochlear Limited Spatial pre-filtering in hearing prostheses
US20210186426A1 (en) * 2018-09-07 2021-06-24 University Of Washington System and method for detection of middle ear fluids
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US10795638B2 (en) 2018-10-19 2020-10-06 Bose Corporation Conversation assistance audio device personalization
US11089402B2 (en) 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
US11012774B2 (en) * 2018-10-29 2021-05-18 Apple Inc. Spatially biased sound pickup for binaural video recording
EP3668123A1 (en) * 2018-12-13 2020-06-17 GN Audio A/S Hearing device providing virtual sound
US10623845B1 (en) * 2018-12-17 2020-04-14 Qualcomm Incorporated Acoustic gesture detection for control of a hearable device
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
CN114051738A (zh) 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
US10715933B1 (en) * 2019-06-04 2020-07-14 Gn Hearing A/S Bilateral hearing aid system comprising temporal decorrelation beamformers
US11438710B2 (en) 2019-06-10 2022-09-06 Bose Corporation Contextual guidance for hearing aid
EP4000063A4 (en) 2019-07-21 2023-08-02 Nuance Hearing Ltd. LISTENING DEVICE WITH VOICE TRACKING
CN110312193A (zh) * 2019-08-09 2019-10-08 佛山博智医疗科技有限公司 助听器用声音辅助采集装置
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US11818548B2 (en) 2019-09-30 2023-11-14 Widex A/S Method of operating a binaural ear level audio system and a binaural ear level audio system
US11223889B2 (en) 2019-12-16 2022-01-11 Bose Corporation Audio device with vibrationally isolated transducer
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11277689B2 (en) 2020-02-24 2022-03-15 Logitech Europe S.A. Apparatus and method for optimizing sound quality of a generated audible signal
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11290837B1 (en) 2020-10-23 2022-03-29 Facebook Technologies, Llc Audio system using persistent sound source selection for audio enhancement
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61220590A (ja) * 1985-03-22 1986-09-30 アメリカン　テレフオン　アンド　テレグラフ　カムパニー 電気音響デバイス
JP2001521354A (ja) * 1997-10-20 2001-11-06 テクニシエ・ウニベルシタイト・デルフト マイクロホンの配列を含んでなる補聴器
JP2002538747A (ja) * 1999-03-05 2002-11-12 エティモティック リサーチ，インコーポレイティド 指向性マイクロフォン列のシステム
WO2004016037A1 (en) * 2002-08-13 2004-02-19 Nanyang Technological University Method of increasing speech intelligibility and device therefor
US20050141723A1 (en) * 2003-12-29 2005-06-30 Tae-Jin Lee 3D audio signal processing system using rigid sphere and method thereof
JP2006270649A (ja) * 2005-03-24 2006-10-05 Ntt Docomo Inc 音声・音響信号処理装置およびその方法
US20080004872A1 (en) * 2004-09-07 2008-01-03 Sensear Pty Ltd, An Australian Company Apparatus and Method for Sound Enhancement
US20080187148A1 (en) * 2007-02-05 2008-08-07 Sony Corporation Headphone device, sound reproduction system, and sound reproduction method
JP2010217268A (ja) * 2009-03-13 2010-09-30 Akita Prefectural Univ 音源方向知覚が可能な両耳信号を生成する低遅延信号処理装置
US20100296668A1 (en) * 2009-04-23 2010-11-25 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
US20110058676A1 (en) * 2009-09-07 2011-03-10 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dereverberation of multichannel signal
US20110293108A1 (en) * 2008-11-05 2011-12-01 HEAR IP Pty Ltd. system and method for producing a directional output signal
JP2013016929A (ja) * 2011-06-30 2013-01-24 Brother Ind Ltd 撮像装置、撮像方法およびプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289544A (en) 1991-12-31 1994-02-22 Audiological Engineering Corporation Method and apparatus for reducing background noise in communication systems and for enhancing binaural hearing systems for the hearing impaired
US5479522A (en) 1993-09-17 1995-12-26 Audiologic, Inc. Binaural hearing aid
US5757932A (en) 1993-09-17 1998-05-26 Audiologic, Inc. Digital hearing aid system
ATE383730T1 (de) 1998-02-18 2008-01-15 Widex As Binaurales digitales hörhilfesystem
EP1305975B1 (en) 2000-06-13 2011-11-23 GN Resound A/S Adaptive microphone array system with preserving binaural cues
WO2001097558A2 (en) 2000-06-13 2001-12-20 Gn Resound Corporation Fixed polar-pattern-based adaptive directionality systems
CA2354858A1 (en) * 2001-08-08 2003-02-08 Dspfactory Ltd. Subband directional audio signal processing using an oversampled filterbank
NL1021485C2 (nl) 2002-09-18 2004-03-22 Stichting Tech Wetenschapp Hoorbril-samenstel.
WO2007028250A2 (en) 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement
EP1858296A1 (en) * 2006-05-17 2007-11-21 SonicEmotion AG Method and system for producing a binaural impression using loudspeakers
WO2007137364A1 (en) 2006-06-01 2007-12-06 Hearworks Pty Ltd A method and system for enhancing the intelligibility of sounds
US8483416B2 (en) 2006-07-12 2013-07-09 Phonak Ag Methods for manufacturing audible signals
DE102007033896B4 (de) 2007-07-20 2012-04-19 Siemens Medical Instruments Pte. Ltd. Hörvorrichtung mit Signalverarbeitung auf der Basis konstruktionsbezogener Parameter und entsprechendes Verfahren
DE102008015263B4 (de) 2008-03-20 2011-12-15 Siemens Medical Instruments Pte. Ltd. Hörsystem mit Teilbandsignalaustausch und entsprechendes Verfahren
WO2009153718A1 (en) 2008-06-17 2009-12-23 Koninklijke Philips Electronics N.V. Earphone arrangement and method of operation therefor
US20110091057A1 (en) * 2009-10-16 2011-04-21 Nxp B.V. Eyeglasses with a planar array of microphones for assisting hearing
DK2629551T3 (en) 2009-12-29 2015-03-02 Gn Resound As Binaural hearing aid system
CN102771144B (zh) 2010-02-19 2015-03-25 西门子医疗器械公司 用于方向相关空间噪声减低的设备和方法
DK2537351T3 (da) 2010-02-19 2020-12-07 Sivantos Pte Ltd Fremgangsmåde til den binaurale laterale opfattelse for høreinstrumenter
US20110288860A1 (en) * 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
JP5533248B2 (ja) * 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
US8942382B2 (en) * 2011-03-22 2015-01-27 Mh Acoustics Llc Dynamic beamformer processing for acoustic echo cancellation in systems with high acoustic coupling
US9641951B2 (en) * 2011-08-10 2017-05-02 The Johns Hopkins University System and method for fast binaural rendering of complex acoustic scenes
WO2013065010A1 (en) 2011-11-01 2013-05-10 Cochlear Limited Sound processing with increased noise suppression
EP2817979A1 (en) * 2012-02-22 2014-12-31 Phonak AG Method for operating a binaural hearing system and a binaural hearing system
WO2014186580A1 (en) * 2013-05-17 2014-11-20 Crystal Sound, Llc Hearing assistive device and system
US9894454B2 (en) * 2013-10-23 2018-02-13 Nokia Technologies Oy Multi-channel audio capture in an apparatus with changeable microphone configurations
EP2882203A1 (en) * 2013-12-06 2015-06-10 Oticon A/s Hearing aid device for hands free communication
CN104581602B (zh) * 2014-10-27 2019-09-27 广州酷狗计算机科技有限公司 录音数据训练方法、多轨音频环绕方法及装置

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61220590A (ja) * 1985-03-22 1986-09-30 アメリカン　テレフオン　アンド　テレグラフ　カムパニー 電気音響デバイス
US4653606A (en) * 1985-03-22 1987-03-31 American Telephone And Telegraph Company Electroacoustic device with broad frequency range directional response
JP2001521354A (ja) * 1997-10-20 2001-11-06 テクニシエ・ウニベルシタイト・デルフト マイクロホンの配列を含んでなる補聴器
US20030156725A1 (en) * 1997-10-20 2003-08-21 Boone Marinus Marias Hearing aid comprising an array of microphones
JP2002538747A (ja) * 1999-03-05 2002-11-12 エティモティック リサーチ，インコーポレイティド 指向性マイクロフォン列のシステム
US20050169487A1 (en) * 1999-03-05 2005-08-04 Willem Soede Directional microphone array system
WO2004016037A1 (en) * 2002-08-13 2004-02-19 Nanyang Technological University Method of increasing speech intelligibility and device therefor
US20050141723A1 (en) * 2003-12-29 2005-06-30 Tae-Jin Lee 3D audio signal processing system using rigid sphere and method thereof
JP2005198251A (ja) * 2003-12-29 2005-07-21 Korea Electronics Telecommun 球体を用いた３次元オーディオ信号処理システム及びその方法
US20080004872A1 (en) * 2004-09-07 2008-01-03 Sensear Pty Ltd, An Australian Company Apparatus and Method for Sound Enhancement
JP2006270649A (ja) * 2005-03-24 2006-10-05 Ntt Docomo Inc 音声・音響信号処理装置およびその方法
US20080187148A1 (en) * 2007-02-05 2008-08-07 Sony Corporation Headphone device, sound reproduction system, and sound reproduction method
JP2008193420A (ja) * 2007-02-05 2008-08-21 Sony Corp ヘッドフォン装置、音声再生システム、音声再生方法
US20110293108A1 (en) * 2008-11-05 2011-12-01 HEAR IP Pty Ltd. system and method for producing a directional output signal
JP2013512588A (ja) * 2008-11-05 2013-04-11 ヒア アイピー ピーティーワイ リミテッド 指向性出力信号の生成システムおよび方法
JP2010217268A (ja) * 2009-03-13 2010-09-30 Akita Prefectural Univ 音源方向知覚が可能な両耳信号を生成する低遅延信号処理装置
US20100296668A1 (en) * 2009-04-23 2010-11-25 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
JP2012524917A (ja) * 2009-04-23 2012-10-18 クゥアルコム・インコーポレイテッド アクティブ雑音消去の自動制御のためのシステム、方法、装置、およびコンピュータ可読媒体
US20110058676A1 (en) * 2009-09-07 2011-03-10 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dereverberation of multichannel signal
JP2013504283A (ja) * 2009-09-07 2013-02-04 クゥアルコム・インコーポレイテッド マルチチャネル信号の残響除去のためのシステム、方法、装置、およびコンピュータ可読媒体
JP2013016929A (ja) * 2011-06-30 2013-01-24 Brother Ind Ltd 撮像装置、撮像方法およびプログラム

Also Published As

Publication number Publication date
JP6204618B2 (ja) 2017-09-27
EP3105942A1 (en) 2016-12-21
US20150230026A1 (en) 2015-08-13
CN105981409B (zh) 2019-06-14
WO2015120475A1 (en) 2015-08-13
CN105981409A (zh) 2016-09-28
EP3105942B1 (en) 2018-07-25
US9560451B2 (en) 2017-01-31

Similar Documents

Publication Publication Date Title
JP6204618B2 (ja) 会話支援システム
EP2360943B1 (en) Beamforming in hearing aids
US9307331B2 (en) Hearing device with selectable perceived spatial positioning of sound sources
JP6092151B2 (ja) 空間的に信号を強調する補聴器
EP3468228B1 (en) Binaural hearing system with localization of sound sources
JP2008017469A (ja) 音声処理システムおよび方法
JP6732890B2 (ja) 聴覚補助
DK201370793A1 (en) A hearing aid system with selectable perceived spatial positioning of sound sources
WO2004016037A1 (en) Method of increasing speech intelligibility and device therefor
CN111327980A (zh) 提供虚拟声音的听力设备
EP2887695B1 (en) A hearing device with selectable perceived spatial positioning of sound sources
US11632648B2 (en) Ear-mountable listening device having a ring-shaped microphone array for beamforming
EP4207804A1 (en) Headphone arrangement
WO2017211448A1 (en) Method for generating a two-channel signal from a single-channel signal of a sound source
Groth BINAURAL DIRECTIONALITY™ II WITH SPATIAL SENSE™
TW510142B (en) Rear-channel sound effect compensation device
JP2022019619A (ja) 聴覚デバイスを含む電子デバイスにおける方法
Liski Adaptive hear-through headset
CN116367050A (zh) 处理音频信号的方法、存储介质、电子设备和音频设备
Boyd Experimental investigations of auditory externalization and the application of head-movement information to hearing-aid signal processing
Prawda et al. Augmented Reality: Hear-through

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170831

R150 Certificate of patent or registration of utility model

Ref document number: 6204618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250