JP2016516355A - スピーカアレイを用いた堅牢なクロストークキャンセル - Google Patents

スピーカアレイを用いた堅牢なクロストークキャンセル Download PDF

Info

Publication number
JP2016516355A
JP2016516355A JP2016502158A JP2016502158A JP2016516355A JP 2016516355 A JP2016516355 A JP 2016516355A JP 2016502158 A JP2016502158 A JP 2016502158A JP 2016502158 A JP2016502158 A JP 2016502158A JP 2016516355 A JP2016516355 A JP 2016516355A
Authority
JP
Japan
Prior art keywords
listener
audio
room
microphones
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016502158A
Other languages
English (en)
Other versions
JP6193468B2 (ja
Inventor
マーティン イー ジョンソン
マーティン イー ジョンソン
ロナルド エヌ アイザック
ロナルド エヌ アイザック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2016516355A publication Critical patent/JP2016516355A/ja
Application granted granted Critical
Publication of JP6193468B2 publication Critical patent/JP6193468B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

スピーカアレイを用いてクロストークキャンセルを実行するオーディオ受信機が記載されている。オーディオ受信機は、部屋におけるリスナの位置を検出し、１つ以上のビームパターン行列を用いて、スピーカアレイを通して出力される１本の音声プログラムコンテンツを処理する。ビームパターン行列は、１つ以上の制約条件によって、生成する。制約条件として、リスナの右の耳において、右のチャネルを増大させ、かつ、左のチャネルを減少させること、リスナの左耳において、左のチャネルを増大させ、かつ、右のチャネルを減少させること、及び、部屋の全ての他の領域における音声を減少させること、を挙げることができる。これらの制約条件によって、オーディオ受信機は、部屋の周波数応答に対する変動の影響を最小にしてクロストークキャンセルが達成されるように、部屋の他の領域ではなく、主にリスナの方へ音を放射する。他の実施形態もまた記載されている。

Description

〔関連事項〕
本出願は、米国仮出願第６１／７８２，２８７号（２０１３年３月１４日出願）の、先の出願日の利益を主張する。
スピーカアレイを用いて、一つ以上の制約条件を達成することによって、クロストークキャンセルを実行するオーディオ受信機について説明する。他の実施形態についてもまた説明する。
単一のラウドスピーカは、リスナの両耳に、音を生成することができる。例えば、リスナの左側のラウドスピーカは、リスナの右耳に、それでもなお、いくらかの音を生成する。クロストークキャンセラの目的は、別の耳には音を生成することなく、リスナの耳の一つに音を生成することができることである。この分離により、任意の音を、他の耳に流出することなく、１つの耳に生成できる。独立して各耳で音を制御することは、音がラウドスピーカから離れた位置から到来するという印象を引き起こすために、用いることができる。
原則として、クロストークキャンセラは、音を２つの耳で別々に制御するのに、ただ２台のスピーカ（すなわち、２自由度）を必要とするだけである。多くのクロストークキャンセラは、リスナの頭のまわりで回折する音によって生成される影響（通常、頭部伝達関数（ＨＲＴＦｓ）として知られている）を補償することによって、リスナの耳における音を制御する。右のオーディオ入力チャネルをｄR、及び左のオーディオ入力チャネルをｄLと想定すると、クロストークキャンセラは、以下のように表すことができる。
この式で、ラウドスピーカから到来する音によるリスナ頭部の伝達関数Ｈは、伝達関数の逆関数Ｈ-1によって補償され、リスナの右及び左の耳でそれぞれ、右の出力チャネルｆR及び左の出力チャネルｆLを生じる。２台のスピーカだけを使う多くのクロストークキャンセラは、一部の周波数で状態調整が悪いことを欠点としている。
例えば、これらのシステムのラウドスピーカは、クロストークキャンセルを達成するために、大信号で駆動する必要があり、理想状態からの変化に非常に敏感である。言い換えると、システムが推定された伝達関数Ｈ（ラウドスピーカからリスナの耳への音の伝搬を表す）を用いて設計されるならば、Ｈの小さな変化により、クロストークキャンセラは動作を停止する可能性がある。この１つの例は、伝達関数Ｈは無響の環境（すなわち、音響反射のない）で測定されるにも関わらず、その後、実施されるのは多数の反射のある実際の部屋の場合である。
発明の一実施例は、複数のトランスデューサを有するスピーカアレイを用いて、クロストークキャンセルを実行するオーディオ受信機である。オーディオ受信機は、部屋又はリスニング領域でのリスナの位置を検出し、続いて、リスナが検出された位置に対応する一つ以上のビームパターン行列を用いて、１本の音声プログラムコンテンツを処理して、スピーカアレイにより出力する。ビームパターン行列は、特定の可聴周波数に各々対応し、一つ以上の制約条件に従って発生する。そして、オーディオ受信機にあらかじめセットすることができる。この制約条件として、以下を挙げることができる。（１）リスナの左耳で、１本の音声プログラムコンテンツの左のチャネルを最大にすること／増大させること、及び、右のチャネルを最小にすること／及び減少させること、（２）リスナの右耳で、右のチャネルを最大にすること／増大させること、及び、左のチャネルを最小にすること／及び減少させること、並びに、（３）部屋の全ての他の領域で、音声を最小にすること／減少させること、である。これらの制約により、オーディオ受信機は、主にリスナの方へ音を放射することになる。部屋の他の領域ではなく、リスナの方へ音を放射することによって、部屋の周波数応答への変化による影響が最小か又は減じた状態で、クロストークキャンセルが達成される。
上記概要には、本発明の全ての態様の網羅的なリストを挙げてはいない。本発明には、前述でまとめた種々の態様の全ての好適な組合せからの実施可能な全てのシステム及び方法が含まれ、並びに以下の詳細な説明で開示されるもの、特に出願と共に提出された請求項において指摘されるものが含まれると考えられる。このような組合せには、上記概要では具体的には説明されていない特定の優位性がある。
本発明の実施形態を、限定としてではなく例として、添付図面の図に示し、図面中、同様の参照符号は同様の要素を示す。本開示での、本発明の「ａｎ」又は「１つの」実施形態への言及は、必ずしも同じ実施形態に対するものではなく、それらは、少なくとも１つを意味していることに留意されたい。
一実施形態に係るオーディオシステムを有する部屋又はリスニング領域を示す。 別の実施形態に係るオーディオシステムを有する部屋又はリスニング領域を示す。 一実施形態に係る単一キャビネットに収納されたラウドスピーカアレイを示す。 別の実施形態に係る単一キャビネットに収納されたラウドスピーカアレイを示す。 一実施形態に係るオーディオ受信機の機能単位ブロック図及び若干の構成ハードウェア構成要素を示す。 部屋の最初の場所でのリスナを示す。 部屋の第２の場所でのリスナを示す。 一実施形態に係る、１組のマイクを用いて、単独のリスナ用のビームパターン行列を生成するためのシステムを示す。 一実施形態に係る、１組のマイクを用いて、複数のリスナ用のビームパターン行列を生成するためのシステムを示す。 一実施形態に係る、図５Ａ及び図５Ｂに示されるマイク構成を用いて、ビームパターン行列を生成する方法を示す。
以下、いくつかの実施形態について、添付の図面を参照しながら説明する。詳細について多く説明されるが、当然のことながら、本発明のいくつかの実施形態は、これらの詳細なしに実施してもよい。他の例では、本説明の理解を不明瞭にすることがないように、周知の回路、構造、及び技術について、詳細には示されていない。
図１Ａは、外部音源２、オーディオ受信機３及び一つ以上のラウドスピーカアレイ４を含むオーディオシステム１を示す。オーディオシステム１は、意図されたリスナ６が位置する部屋又はリスニング領域７に音声プログラムコンテンツを出力する。リスナ６は、習慣的に、オーディオシステム１が主に方向を定め又は標的とする目標位置の席に着く。目標位置は、通常は部屋７の中央にあるが、部屋７の任意の指定領域とすることができる。
外部音源２は、１つ以上の音声ストリーム（音声プログラムコンテンツを表す）を、処理のために、オーディオ受信機３に送信可能な任意のデバイスとすることができる。例えば、図１Ａのシステム１の外部音源２は、一つ以上の音声ストリーム（音声プログラムコンテンツを表現）を、処理のために、有線又は無線の接続のどちらかにより、オーディオ受信機３に送信するラップトップコンピュータである。別の実施形態では、外部音源２は、その代わりに、１つ以上のデスクトップコンピュータ、タブレット型コンピュータ、モバイル機器（例えば、携帯電話又はモバイル音楽プレーヤー）、及び、遠隔メディアサーバ（例えば、インターネットストリーム音楽又は映画サービス）とすることができる。
図１Ａで示すように、オーディオシステム１の構成要素は、異なるユニットに分散され、収容される。これに対して、図１Ｂのオーディオシステム１の実施形態で示すように、オーディオ受信機３は、ラウドスピーカアレイ４の中に統合されて、独立型ユニットを提供する。この実施形態では、ラウドスピーカアレイ４は、有線又は無線の接続のどちらかにより、音声プログラムコンテンツを表す１つ以上の音声ストリームを、外部音源２から直接受信する。
外部音源２から音声ストリームを受信するとして説明しているが、音声受信器３は、記憶媒体に、ローカルに記憶される音声ストリームにアクセスすることができる。この実施形態では、オーディオ受信機３は、外部音源２と連携することなく、ローカルな記憶媒体から、処理のために、音声ストリームを読み出す。
以下でより詳細に説明するように、オーディオ受信機３は、音声ストリームの処理及び一つ以上のラウドスピーカアレイ４の駆動用の任意のデバイスの種類又はデバイスのセットとすることができる。例えば、オーディオ受信機３は、ラップトップコンピュータ、デスクトップコンピュータ、タブレット型コンピュータ、モバイル機器、又はホームシアターオーディオ受信機とすることができる。
次にラウドスピーカアレイ４を参照すると、図２Ａは、単一キャビネット６に収容された複数のトランスデューサ５を有するスピーカアレイ４を示す。この例で、スピーカアレイ４は、キャビネット６内で、８つの行及び４つの列で均一に整列した３２個の互いに異なるトランスデューサ５を有する。別の実施形態では、異なる数のトランスデューサ５は、均一な又は不均一な間隔で、用いることができる。例えば、図２Ｂに示すように、１０個のトランスデューサ５は、キャビネット６内で一直線に並んで、サウンドバースタイルのスピーカアレイ４を形成することができる。平坦な面又は直線状に整列して示されているが、トランスデューサ５は、円弧に沿って湾曲した形態で整列させることができる。
トランスデューサ５は、フルレンジドライバ、ミッドレンジドライバ、サブウーファー、ウーファー及びツィータの任意の組合せとすることができる。トランスデューサ５の各々は、軽量ダイアフラム又は柔軟なサスペンションを介して、硬質のバスケット又はフレームに接続されるはコーンを用いることができる。このサスペンションは、円筒状の磁気間隙の中を電線コイル（例えば、ボイスコイル）が軸方向に動くことを制限する。電気オーディオ信号がボイスコイルに印加されると、ボイスコイルの電流によって磁場が生成され、可変の電磁石を形成する。コイル及びトランスデューサ５の磁気システムは、相互に作用して、コイル（したがって、それに結合しているコーン）を前後に動かす機械力を生成する。これによって、発生源（例えば、信号プロセッサ、コンピュータ、及びオーディオ受信機）から到来する印加された電気オーディオ信号の制御下で、音を再生する。単一のキャビネット６に収容された複数のトランスデューサ５を有するとして本明細書で説明しているが、別の実施形態では、スピーカアレイ４は、キャビネット６に収容された単一のトランスデューサ５を含むことができる。これらの実施形態では、スピーカアレイ４は、独立型のラウドスピーカである。
各トランスデューサ５は、異なる個別のオーディオ信号に応じて、個々に別々に駆動して音を発生することができる。
スピーカアレイ４のトランスデューサ５が、異なるパラメータ及び設定（遅延及びエネルギレベルを含む）に応じて、個々に別々に駆動されることを可能にすることによって、スピーカアレイ４は、多数の指向性パターンを発生することができる。この指向性パターンは、リスナ６に対して再生される音声プログラムコンテンツのそれぞれのチャネルを、シミュレートするか又はより十分に表現する。例えば、異なる幅及び指向性のビームパターンを、スピーカアレイ４によって放射することができる。
図１Ａに示すように、スピーカアレイ４は、オーディオ受信機３に接続する電線又は導管を含むことができる。例えば、各スピーカアレイ４は、２つの配線ポイントを含むことができ、オーディオ受信機３は補完的な配線ポイントを含むことができる。配線ポイントは、それぞれ、スピーカアレイ４及びオーディオ受信機３の裏の結合ポスト又はばねクリップとすることができる。電線は、スピーカアレイ４をオーディオ受信機３に電気的に接続するために、それぞれの配線ポイントのまわりに別々に巻き付けるか、さもなければ結合する。
別の実施形態では、図１Ｂに示すように、スピーカアレイ４は、無線のプロトコルを用いて、アレイ４及びオーディオ受信機３が物理的に接続されないが無線周波接続を維持するように、オーディオ受信機３に接続することができる。例えば、スピーカアレイ４は、オーディオ受信機３の対応するＷｉＦｉ送信器からのオーディオ信号受信用のＷｉＦｉ受信器を含むことができる。いくつかの実施形態では、スピーカアレイ４は、オーディオ受信機３から受信する無線のオーディオ信号を用いて、トランスデューサ５を駆動する一体型の増幅器を含むことができる。上述したように、スピーカアレイ４は、以下に説明する技術による信号処理、及び、各トランスデューサ５駆動用の構成要素を含む独立型ユニットとすることができる。
２つのスピーカアレイ４を含むものとして、図１Ａに示されているが、音声システム１は、無線の又は有線の接続によってオーディオ受信機３に接続する任意の数のスピーカアレイ４を含むことができる。例えば、オーディオシステム１は、前面左のチャネル、前面中心チャネル、前面右のチャネル、後部の右のサラウンドチャネル、後部の左のサラウンドチャネル及び低周波チャネル（例えば、サブウーファー）を表す６つのスピーカアレイ４を含むことができる。別の実施形態では、図１Ｂに示すように、オーディオシステム１は、単一のスピーカアレイ４を含むことができる。この単一のスピーカアレイ４は、サウンドバースタイルのスピーカアレイとすることができる。
図３は、一実施形態に係る、機能単位ブロック図及びオーディオ受信機３の若干の構成ハードウェア構成要素を示す。図３に示される構成要素は、オーディオ受信機３に含まれる要素を代表するものであり、他の構成要素を排除するものとして解釈してはならない。図３の各要素は、以下に例として説明する。
オーディオ受信機３は、一つ以上の外部音源２からの電気、無線又は光学の信号を用いて、音声プログラムコンテンツの一つ以上のチャネルを受信する複数の入力８を含むことができる。
入力８は、デジタル入力８Ａ及び８Ｂ、並びに、アナログ入力８Ｃ及び８Ｄのセット（オーディオ受信機３の露出表面に位置する物理的コネクタのセットを含む）とすることができる。例えば、入力８として、高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））入力、光学デジタル入力（ＴＯＳＬＩＮＫ）、同軸デジタル入力及びフォノ入力を挙げることができる。一実施形態では、オーディオ受信機３は、外部音源２との無線接続を通して、オーディオ信号を受信する。本実施形態では、入力８として、無線プロトコルを用いた外部音源２との通信用の無線アダプタが挙げられる。例えば、無線アダプタは、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＩＥＥＥ（登録商標）８０２．１１ｘ、セルラ広域自動車通信システム（ＧＳＭ（登録商標））、セルラ符号分割多元接続（ＣＤＭＡ）又は長期的進化（ＬＴＥ）を用いて通信することができる。
図１Ａ及び図１Ｂに示し、並びに上述したように、外部音源２は、ラップトップコンピュータ、又は、無線若しくは有線の接続によって、オーディオ受信機３に、音声プログラムコンテンツの一つ以上のチャネルを送信することができる任意のデバイスとすることができる。一実施形態では、外部音源２及びオーディオ受信機３は、１つの、分割できないユニットに統合されている。本実施形態では、ラウドスピーカアレイ４もまた、同じユニットに統合することができる。例えば、外部音源２及びオーディオ受信機３は、ユニットの左右の側に統合されたトランスデューサ５を有する１つのコンピュータに搭載することができる。
オーディオ受信機３に戻って、入力８からの全般的な信号の流れを次に説明する。最初にデジタル入力８Ａ及び８Ｂを見て、入力８Ａ及び／又は８Ｂを通してデジタルオーディオ信号を受信すると、オーディオ受信機３は、復号器９Ａ又は９Ｂを用いて、電気、光又は無線の信号を、音声プログラムコンテンツを表す１組のオーディオチャネルに復号化する。例えば、復号器９Ａは、６本のオーディオチャネル（例えば、５．１の信号）を含む単一の信号を受信し、６本のオーディオチャネルに信号を復号化することができる。復号器９は、任意の符復号器又は技法（先進的音響符号化（ＡＡＣ（登録商標））、ＭＰＥＧオーディオレイヤ２、ＭＰＥＧオーディオレイヤ３及びＦｒｅｅ Ｌｏｓｓｌｅｓｓ Ａｕｄｉｏ Ｃｏｄｅｃ（ＦＬＡＣ）を含む）を用いて、コード化されたオーディオ信号を復号化することができる。
アナログ入力８Ｃ及び８Ｄを参照すると、アナログ入力８Ｃ及び８Ｄによって受信される各アナログ信号は、音声プログラムコンテンツの単一のオーディオチャネルを表すことができる。したがって、複数のアナログ入力８Ｃ及び８Ｄは、１本の音声プログラムコンテンツの各チャネルを受信する必要があり得る。オーディオチャネルは、各アナログ／デジタル変換器１０Ａ及び１０Ｂによってデジタル化され、デジタルオーディオチャネルを形成することができる。
復号器９Ａ及び９Ｂ、並びにアナログ／デジタル変換器１０Ａ及び１０Ｂの各々からのデジタルオーディオチャネルは、マルチプレクサ１２に出力される。
マルチプレクサ１２は、制御信号１３に基づいて、１組のオーディオチャネルを選択的に出力する。制御信号１３は、オーディオ受信機３の制御回路若しくはプロセッサから、又は外部装置から受信することができる。例えば、オーディオ受信機３の動作モードを制御する制御回路は、１組のデジタルオーディオチャネルを選択的に出力するマルチプレクサ１２に、制御信号１３を出力することができる。
マルチプレクサ１２は、アレイプロセッサ１４に選択されたデジタルオーディオチャネルを供給する。マルチプレクサ１２によって出力されたチャネルは、アレイプロセッサ１４によって処理され、１組の処理されたオーディオチャネルを生成する。この処理は、高速フーリエ変換（ＦＦＴ）などの変換を用いて、時間及び周波数の双方の領域で、動作することができる。アレイプロセッサ１４は、特定用途向け集積回路（ＡＳＩＣｓ）などの専用プロセッサ、多目的マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号コントローラ、又は１組のハードウェア論理構造（例えば、フィルタ、演算論理ユニット、及び専用の状態機械）とすることができる。アレイプロセッサ１４は、位置推定器１５及び／又はクロストーク行列発生器１６からの入力に基づいて、スピーカアレイ４のトランスデューサ５を駆動する１組の信号を生成する。
位置推定器１５は、部屋７における１人以上の人間であるリスナの位置を決定する。例えば、位置推定器１５は、部屋７のリスナ６の物理的座標、又は、スピーカアレイ４（例えば、スピーカアレイ４に対する距離及び角度、又は座標）に対するリスナ６の位置を決定することができる。図４Ａは、部屋７において、スピーカアレイ４に対する座標ｘA、ｙAの位置にいるリスナ６を示す。リスナ６が部屋７の中を移動するにつれ、そして、音がスピーカアレイ４によって放出されている間、位置推定器１５はリスナ６の位置を決定する。単一のリスナ６に関して説明しているが、位置推定器１５は部屋７にいる複数のリスナ６の位置を決定することができる。本明細書に記載する位置推定器１５は、部屋７にいるリスナ６の位置を適応的に決定するが、一実施形態では、位置推定器は、リスナ６の位置は、最初の位置決定の後、固定されるとみなす。
位置推定器１５は、リスナ６の位置を決定する任意のデバイス又はアルゴリズムを用いることができる。一実施形態では、ユーザ入力デバイス１７は、リスナ６の位置決定を支援する位置推定器１５に接続する。ユーザ入力デバイス１７により、リスナ６は、スピーカアレイ４又は部屋７にある別の既知の物体に対するリスナ６の位置を、定期的に入力することができる。例えば、映画を見ている間、リスナ６は、図４Ａに示すように、スピーカアレイ４に対して、座標ｘA、ｙAを有するソファにまず最初に座る場合がある。リスナ６は、ユーザ入力デバイス１７を用いて、この位置を位置推定器１５に入力することができる。映画の中ほどで、リスナ６は、図４Ｂに示すように、スピーカアレイ４に対してｘB、ｙBに位置するテーブルに移動することを決定する場合がある。この移動に基づいて、リスナ６は、ユーザ入力デバイス１７を用いて、この新しい位置を位置推定器１５に入力することができる。ユーザ入力デバイス１７は、有線若しくは無線のキーボード、モバイル機器、又は、リスナ６が位置を位置推定器１５に入力することができる任意の他の同様な機器、とすることができる。一実施形態では、入力された値は、非数値又は相対値である。例えば、リスナ６は、自分がスピーカアレイ４の右側に位置することを指示することができる。
別の実施形態では、リスナ６の位置決定を支援するために、マイク１８を位置推定器１５に接続することができる。本実施形態では、マイク１８は、リスナ６と共に、又はリスナ６に近接して位置する。オーディオ受信機３は、スピーカアレイ４を駆動して１組のテスト音声を放出し、このテスト音声は、マイク１８で検知され、処理のために位置推定器１５に供給される。位置推定器１５は、検知された音に基づいて、スピーカアレイ４からマイク１８まで伝搬するさいのテスト音声の伝搬遅延を判断する。この伝搬遅延は、スピーカアレイ４に対するリスナ６の位置を決定するために、その後用いることができる。
マイク１８は、有線又は無線の接続を用いて、位置推定器１５に接続することができる。一実施形態では、マイク１８はモバイル機器（例えば、携帯電話）に一体化され、検知された音は１つ以上の無線プロトコル（例えば、ＢＬＵＥＴＯＯＴＨ及びＩＥＥＥ ８０２．１１ｘ）を用いて、位置推定器１５に送信される。マイク１８は、任意の種類の音響／電気トランスデューサ又はセンサ（微小電子機械システム（ＭＥＭＳ）マイクロホン、圧電マイクロホン、エレクトレットコンデンサマイクロホン、又はダイナミックマイクロホンなど）とすることができる。マイク１８は、カーディオイド、全方向性、及び８の字型などの極性パターンの範囲を提供することができる。一実施形態では、マイク１８の極性パターンは、時間と共に連続的に変動する可能性がある。単一のマイク１８として示され説明されているが、１つの実施形態では、複数のマイクロホン又はマイクアレイを、部屋７の音を検知するために用いることができる。
別の実施形態では、リスナ６の位置決定を支援するために、カメラ１９を位置推定器１５に接続することができる。カメラ１９は、部屋７に対して、スピーカアレイ４と同じ方向を向いているビデオカメラ又は静止画像カメラとすることができる。カメラ１９は、スピーカアレイ４の前にある領域のビデオ、又は１組の静止画像を記録する。これらの記録に基づいて、カメラ１９は、単独で又は位置推定器１５と連携して、リスナ６の顔又は体の他の部分を追尾する。位置推定器１５は、この顔／体の追尾に基づいて、リスナ６の位置を決定することができる。一実施形態では、スピーカアレイ４が音声プログラムコンテンツを出力する間、リスナ６の位置が更新されて正確であり続けることができるように、カメラ１９は定期的にリスナ６の形体を追尾する。例えば、歌がスピーカアレイ４を通して再生される間、カメラ１９は連続的にリスナ６を追尾することができる。
カメラ１９は、有線又は無線の接続を用いて、位置推定器１５に接続することができる。一実施形態では、カメラ１９はモバイル機器（例えば、携帯電話）に一体化され、記録されたビデオ又は静止画像は１つ以上の無線プロトコル（例えば、ＢＬＵＥＴＯＯＴＨ及びＩＥＥＥ ８０２．１１ｘ）を用いて、位置推定器１６に送信される。単一のカメラ１８として示され説明されているが、１つの実施形態では、複数のカメラは、顔／体の追尾に用いることができる。
更に別の実施形態では、１つ以上の赤外線（ＩＲ）センサ２０が、位置推定器１５に接続される。ＩＲセンサ２０は、スピーカアレイ４の前の領域にある物体から放射されるＩＲ光を捕捉する。これらの検知されたＩＲの測定値に基づいて、位置推定器１５は、リスナ６の位置を決定することができる。一実施形態では、スピーカアレイ４が音声を出力する間、リスナ６の位置が更新されて正確であり続けることができるように、ＩＲセンサ２０は定期的に作動する。例えば、歌がスピーカアレイ４を通して再生される間、ＩＲセンサ２０は、連続的にリスナ６を追尾することができる。
赤外センサ２０は、有線又は無線の接続を用いて、位置推定器１５に接続することができる。一実施形態では、ＩＲセンサ２０はモバイル機器（例えば、携帯電話）に一体化され、検知された赤外線は、１つ以上の無線プロトコル（例えば、ＢＬＵＥＴＯＯＴＨ及びＩＥＥＥ ８０２．１１ｘ）を用いて、位置推定器１５に送信される。
単一のリスナ６に関して上述したが、一実施形態では、位置推定器１５は、スピーカアレイ４に対する複数のリスナ６の位置を決定することができる。本実施形態では、リスナ６の各位置は、スピーカアレイ４によって放出される音を調節するために用いる。
上述した技法の任意の組合せを用いて、位置推定器１５は、リスナ６の位置を計算し、処理のために、クロストーク行列発生器１６にそれを供給する。クロストーク行列発生器１６は、リスナ６の検出された位置に基づいて、ビームパターン行列を読み出す。読み出されたビームパターン行列は、スピーカアレイ４を通して音を放出するための、一つ以上のあらかじめ定義された制約条件を達成する。一実施形態では、この制約条件の中に、以下のものを含む。（１）リスナ６の左耳で、１本の音声プログラムコンテンツの左のチャネルを最大にすること／増大させること、及び、右のチャネルを最小にすること／及び減少させること、（２）リスナ６の右耳で、右のチャネルを最大にすること／増大させること、及び、左のチャネルを最小にすること／及び減少させること、並びに、（３）部屋７の他の全ての領域で、音声を最小にすること／減少させること、である。ビームパターン行列を生成する方法は、以下でより詳細に説明する。
一実施形態では、１つの耳において、第２のチャネルを最小にする間、第１のチャネルを最大にする／増大させることとして、その耳において、第２のチャネルを減少させるか又は除去している間、その耳で、第１のチャネルの感知される音を増大させることを挙げることができる。この認識は、第１のチャネルのパワーが第２のチャネルのパワーよりかなり大きいことによって、画定することができる。
右のオーディオ入力チャネルをｄR、及び左のオーディオ入力チャネルをｄLと想定すると、ビームパターン行列は、リスナの右及び左の耳で、右の出力チャネルｆR及び左の出力チャネルｆLをそれぞれ生成する。これは以下の式によって表すことができる。ここで、Ｇはビームパターン行列である。
この式で、リスナの右及び左の耳でそれぞれ生成される右の出力チャネルｆR及び左の出力チャネルｆLは、右のオーディオ入力チャネルｄR及び左のオーディオ入力チャネルｄLに実質的にそれぞれ同様又は同一である。
一実施形態では、オーディオ受信機３は、部屋７で、１人以上のリスナ６のスピーカアレイ４に対する異なる位置に対応する複数のビームパターン行列を格納する。例えば、オーディオ受信機３は各座標対ｘ、ｙ（部屋７におけるリスナ６のスピーカアレイ４に対する位置を表す）に関する異なるビームパターン行列を記憶することができる。上述したように、ビームパターン行列は、部屋７にいる複数のリスナ６の位置に関連づけることができる。
一実施形態では、ビームパターン行列は、オーディオ受信機３のローカルな媒体に格納することができる。例えば、ビームパターン行列は、オーディオ受信機３の中で一体化された、超小型電子技術の、揮発性又は不揮発性媒体に格納することができる。別の実施形態では、ビームパターン行列は、遠隔のサーバ又はシステムに位置し、有線又は無線のネットワーク接続を用いて、オーディオ受信機３により、アクセスすることができる。例えば、オーディオ受信機３は、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．３、セルラ広域自動車通信システム（ＧＳＭ）、セルラ符号分割多元接続（ＣＤＭＡ）及び長期的進化（ＬＴＥ）のうちの１つ以上を用いて、ビームパターン行列にアクセスすることができる。
上述したように、部屋７の全ての他の領域で、音を最小にする一方、ビームパターン行列は、リスナ６の位置に基づいて、リスナ６の右及び左の耳について意図した音を、最大にすることができる。一実施形態では、各ビームパターン行列は、フィルタ（例えば、振幅及び位相）を記述する１組の複素数値から成る。この各フィルタは、スピーカアレイ４の対応するトランスデューサ５を駆動して、左右のオーディオチャネルを生成する特定の周波数に関するものである。例えば、ビームパターン行列は、次のように表すことができる。
上記のビームパターン行列の実例において、各ｒは、特定の周波数に関する左右のオーディオチャネルについて、スピーカアレイ４のｔ個のトランスデューサ５の各々に印加される振幅及び位相を記述する複素フィルタ値に対応する。上述したように、クロストークキャンセラ１６は、リスナ６の検出された位置に対応する、１つ以上の所望の各周波数に関するビームパターン行列を読み出す。読み出されたビームパターン行列は、１本の音声プログラムコンテンツを表す１つ以上のオーディオチャネルを処理するために、アレイプロセッサ１４に供給される。本明細書で用いる式は、周波数領域で記述されているが、ビームパターン行列のフィルタ値は、時間又は周波数の領域のどちらでも実行することができる。
複素フィルタ値は、１つ以上のあらかじめ定義された制約条件（当初ビームパターン行列を計算するために使用）を達成するために、各トランスデューサ５によって放出される音の振幅及び位相を記述する。上述したように、この制約条件の中に、以下のものを含むことができる。（１）リスナ６の左耳で、１本の音声プログラムコンテンツの左のチャネルを最大にすること／増大させること、及び、右のチャネルを最小にすること／減少させること、（２）リスナの右耳で、右のチャネルを最大にすること／増大させること、及び、左のチャネルを最小にすること／減少させること、並びに、（３）部屋７の全ての他の領域で、音声を最小にすること／減少させること、である。これらの制約条件により、オーディオ受信機３はリスナ６の方へ音を放射する。部屋７の他の領域ではなく、リスナ６の方へ音を放射することによって、部屋７の周波数応答に対する変動の影響を最小にして、クロストークキャンセルが達成される。
リスナ６の現在の位置に対応する１組の周波数に関する１つ以上のビームパターン行列を読み出すと、クロストークキャンセラ１６は、アレイプロセッサ１４にビームパターン行列を供給する。アレイプロセッサ１４は、ビームパターン行列に従って、マルチプレクサ１２から受信した１本の音声プログラムコンテンツの各オーディオチャネルを処理する。例えば、アレイプロセッサ１４は、ビームパターン行列の各複素フィルタ値を、スピーカアレイのトランスデューサ５に供給される対応するオーディオ信号に関する重み及び位相値として、用いることができる。アレイプロセッサ１４は、ビームパターン行列のフィルタ値に基づいて、制約条件の各々が達成されるように、トランスデューサ５に音を放出させる。（例えば、（１）リスナ６の左耳で、１本の音声プログラムコンテンツの左のチャネルを最大にすること、及び、右のチャネルを最小にすること、（２）リスナ６の右耳で、右のチャネルを最大にすること、及び、左のチャネルを最小にすること、並びに、（３）部屋７の全ての他の領域で、音声を最小にすること、がある。）
リスナ６に向けられる音を最大にすることによって、音が部屋７の大部分の領域で最小にされるので、部屋７は、リスナ６に対して、ほとんど影響を有しない。更に、調節に用いることができるより多くの制御次数（すなわち、スピーカアレイ４の多数のトランスデューサ５）があるので、条件の悪い場合（例えば、トランスデューサ５の感度変動及び部屋７の影響）によってクロストークキャンセルが影響されることは、より少なくなる可能性がある。
アレイプロセッサ１４は、高速フーリエ変換（ＦＦＴ）などの変換を用いて、時間及び周波数の双方の領域で、動作することができる。アレイプロセッサ１４は、特定用途向け集積回路（ＡＳＩＣ）などの専用プロセッサ、多目的マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号コントローラ、又は１組のハードウェア論理構造（例えば、フィルタ、論理演算装置、及び専用の状態機械など）とすることができる。図３に示すように、音声プログラムコンテンツの処理したセグメントは、１つ以上の互いに異なるアナログ信号を生成するために、アレイプロセッサ１４から１つ以上のデジタル／アナログ変換器２１まで伝達される。デジタル／アナログ変換器２１で生成されたアナログ信号は、ラウドスピーカアレイ４の選択されたトランスデューサ５を駆動するために、電力増幅器２２に供給される。
オーディオ受信機３は、位置推定器１５によって検出されたリスナ６の移動に基づいて、スピーカアレイ４の出力を絶えず調節することができる。例えば、リスナ６が移動したことを検出すると、クロストークキャンセラは、ビームパターン行列の更新されたセットを、処理のために、アレイプロセッサ１４に供給する。
図５Ａ及び図５Ｂを次に参照して、ビームパターン行列を生成するシステムを説明する。ビームパターン行列は、オーディオシステム１の初期構成の間にオーディオ受信機３によって、又は製造若しくは研究施設の離れたユニットによって生成することができる。下記の説明において、ビームパターン行列の生成は、オーディオ受信機３に関して説明する。しかし、別の実施形態では、これらの行列を計算し、１つ以上のオーディオ受信機に提供するために、異なる機器を用いることができる。
クロストークキャンセラ１６は、部屋７のリスナ６の位置に基づいて、１組の周波数に関する１つ以上のビームパターン行列を生成する。一実施形態では、オーディオ受信機３は、ビームパターン行列の生成を支援する１つ以上のマイク２２を含む。マイク２２は、リスナ６位置の決定に用いるマイク１８を含むことができるか、又は、マイク２２はマイク１８から独立させることができる。マイク２２は、部屋６のオーディオ受信機３及びラウドスピーカアレイ４を調整するために、最初に用いる。ビームパターン行列が一旦生成されたならば、マイク２２は取り外す／保管することができる。
図５Ａに示すように、マイク２２Ａはリスナ６の右耳を表すように置かれ、マイク２２Ｂはリスナ６の左耳を表すように置かれ、マイク２２Ｃはマイク２２Ａ及び２２Ｂから離れて、部屋７の他の領域に置かれる。図５Ｂに示される別の実施形態では、マイクは、複数のリスナ６を表すように置くことができる。例えば、マイク２２Ａ1及び２２Ｂ1は、第１のリスナ６の右及び左の耳を表すように置かれる。マイク２２Ａ2及び２２Ｂ2は、第２のリスナの右及び左の耳を表すように置かれる。そして、マイク２２Ｃは、マイク２２Ａ1、２２Ｂ1、２２Ａ2及び２２Ｂ2から離れて、部屋７の他の領域に置かれる。単一のリスナ６に関して以下に説明するが、クロストーク行列発生器１６は、複数のリスナ６の場合に、同様に動作することができる。
マイク２２は、有線又は無線の接続を用いて、クロストークキャンセラ１６に接続することができる。一実施形態では、マイク２２はモバイル機器（例えば、携帯電話）に一体化され、検知された音は１つ以上の無線プロトコル（例えば、ＢＬＵＥＴＯＯＴＨ及びＩＥＥＥ ８０２．１１ｘ）を用いて、クロストークキャンセラ１６に送信される。マイク２２は、任意の種類の音響／電気トランスデューサ又はセンサとすることができ、微小電子機械システム（ＭＥＭＳ）マイクロホン、圧電マイクロホン、エレクトレットコンデンサマイクロホン又はダイナミックマイクロホンが挙げられる。マイク２２は、カーディオイド、全方向性、及び８の字型などの極性パターンの範囲を提供することができる。一実施形態では、マイク２２の極性パターンは、時間と共に連続的に変動する可能性がある。
一実施形態では、オーディオ受信機３は、スピーカアレイ４のトランスデューサ５を駆動するために用いる一連のテスト音声を生成する。テスト音声は、持続時間、周波数、及びパワーを変動させることができ、リスナ６の左右の耳に対応する右のチャネル及び左のチャネルに分けることができる。図５Ａに示されるマイクレイアウトを用いて、クロストーク行列発生器１６は、１組の周波数における各周波数用のビームパターン行列を計算する。生成されたビームパターン行列は、１つ以上の制約条件に基づいて、スピーカアレイ４の各トランスデューサ５を駆動する。一実施形態では、この制約条件の中に、以下のものを含む。（１）マイク２２Ａで、１本の音声プログラムコンテンツの左のチャネルを最大にすること／増大させること、及び、右のチャネルを最小にすること／減少させること、（２）マイク２２Ｂで、右のチャネルを最大にすること／増大させること、及び、左のチャネルを最小にすること／減少させること、並びに、（３）マイク２２Ｃで、音声を生成しないか、又は非常に低レベルの音声を生成すること、である。例えば、右のチャネルテスト音声ｚL及び左のチャネルテスト音声ｚRに関して、上述の制約条件は、マイク２２Ａ及び２２Ｂについて、それぞれ、右のチャネルテスト音声ｚR及び左のチャネルテスト音ｚLと同一の検知された音声を与える一方、マイク２２Ｃはほとんど音を検知しない。上記の制約条件を用いて、クロストーク発生器１６は、反対のチャネルから音声が左右の耳に流出することを許すことなく、それぞれ、リスナ６の左右の耳で、右のチャネル及び左のチャネルを正確に生成するビームパターン行列を計算することができる。
図６は、一実施形態に係る、図５Ａ及び図５Ｂに示されるマイク構成を用いたビームパターン行列を生成する方法２３を示す。方法２３は、部屋７におけるリスナ６の位置決定の動作２４から始まる。この動作におけるリスナ６は、実際のリスナ６ではなく、その代わりに、リスナ６の耳を表すマイク２２Ａ及び２２Ｂの位置とすることができる。一実施形態では、位置推定器１５は、ユーザ入力デバイス１７、マイク１８、カメラ１９、及びＩＲセンサ２０のうちの一つ以上を用いて、リスナ６の位置を決定することができる。リスナ６の位置は、スピーカアレイ４、又は、部屋７の任意の他の既知の定着物に対する座標として、表すことができる。
リスナ６の位置決定と同時に、動作２５で、複数のテスト音声が、オーディオ受信機３によって部屋７に放出される。テスト音声は、それぞれ、リスナ６の右の及び左の耳に対応する、右のチャネルｚR及び左のチャネルｚLに分けられる。テスト音声は、各チャネルｚR及びｚLに関して、持続時間、周波数及びパワーを変動させることができる。
動作２６で、テスト音声が部屋７に浸透して、マイク２２はテスト音声を検知し、検知された音声は、クロストークキャンセラに送信される。上述及び図５Ａに示すように、マイク２２Ａはリスナ６の右耳を表すように置かれ、マイク２２Ｂはリスナ６の左耳を表すように置かれ、マイク２２Ｃはマイク２２Ａ及び２２Ｂから離れた、部屋７の他の領域に置かれる。検知された音声は、有線又は無線の接続を用いて、クロストークキャンセラに送信することができる。
動作２７で、各マイク２２から検知された音声は、リスナ６の位置に対応するビームパターン行列を生成するために、クロストーク行列発生器１６に供給される。クロストーク行列発生器１６は、１組のあらかじめ定義された制約条件の達成を目指すビームパターン行列を計算する。ビームパターン行列には、１つ以上の制約条件を達成するために、オーディオ信号（スピーカアレイ４の各トランスデューサ５に印加される）に適用される振幅／重み及び位相を記述する１組の複素フィルタ値が含まれる。一実施形態では、この制約条件として、以下が挙げられる。（１）マイク２２Ａで、１本の音声プログラムコンテンツの左のチャネルを最大にし、右のチャネルを最小にすること、（２）マイク２２Ｂで、右のチャネルを最大にし、左のチャネルを最小にすること、並びに、（３）マイク２２Ｃで、音声を生成しないか、又は非常に低レベルの音声を生成すること、である。これらの制約条件を達成するために、課題は最小二乗法問題として定式化することができる。この場合、ビームパターン行列のうち、マイク２２Ａ、２２Ｂでそれぞれ右及び左のチャネルを最大にし、かつ、最小にすることに関連する（例えば、クロストークキャンセル）部分に、大きな重みが適用される。一方、比較的より小さな重みが、マイク２２Ｃで音声を最小にすることに関連するビームパターン行列の部分に適用される。全体的な効果は、方法２３が、リスナ６から離れた音声を最小にする一方で、クロストークキャンセルを達成するということである。
一実施形態では、リスナ６の位置に対応する部屋７の伝達関数が決定される。決定した伝達関数は、ビームパターン行列生成の間に、部屋７の中を伝搬するテスト音声によって引き起こされる影響／外乱を補償するために用いられる。
動作２８で、計算されたビームパターン行列は、記憶されるか、及び／又は、さまざまな部屋及び環境で、上述したように、クロストークキャンセルを実行するために、１つ以上のオーディオ受信機３に送信することができる。送信は、有線又は無線の接続によって、実行することができる。一実施形態では、計算されたビームパターン行列は、製造設備で生産中に、他のオーディオ受信機３に記憶される。
対応するビームパターン行列が、１組の周波数に関して生成することができるように、方法２３は、リスナ６の複数の可能な位置に関して、絶えず実行することができる。各対応する位置に関する各ビームパターン行列は、上述したように、１つ以上の制約条件を用いてクロストークキャンセルを実行するために、１つ以上のオーディオ受信機３に送信することができる。上述した制約条件を用いて、クロストーク発生器１６は、反対のチャネルから音声がリスナ６の左右の耳に流出することを許すことなく、それぞれ、リスナ６の左右の耳で、右のチャネル及び左のチャネルを正確に生成するビームパターン行列を計算することができる。
上で説明したように、本発明の実施形態は、以下の機械可読媒体（超小型電子技術によるメモリなど）を搭載する製造品とすることができる。この機械可読媒体は、上述した動作を実行する１つ以上のデータ処理コンポーネント（全体的に「プロセッサ」と本明細書でいう）をプログラムする命令を記憶するものである。他の実施形態では、これらの動作の一部は、結線論理回路（例えば、専用デジタルフィルタブロック及び状態機械）を含む特定のハードウェア部品により実行することができる。それらの動作は、代わりに、プログラムされたデータ処理部品及び固定された結線回路部品の任意の組合せによって、実行することがあり得る。
ある実施形態について説明し添付の図面に示してきたが、このような実施形態は大まかな発明を単に例示するものであってそれを限定するものではない。また、他の種々の変更が当業者に想起され得るため、本発明は図示及び説明した特定の構成及び配置には限定されないことを理解されたい。したがって、説明は、限定的ではなく例示的であるとみなされる。

Claims (23)

  1. 部屋におけるリスナの位置を特定する工程と、
    複数のビームパターン行列を収容する記憶装置から、前記リスナの前記特定された位置に対応する、以前に記憶された１組のビームパターン行列を読み出す工程と、
    前記読み出されたビームパターン行列に基づいて、１組のビームパターンを生成するために、スピーカアレイを駆動する工程と、
    を含み、前記ビームパターンは、（１）前記リスナの左耳で、１本の音声プログラムコンテンツの左のチャネルを増大させ、かつ、右のチャネルを減少させ、（２）前記リスナの右耳で、前記右のチャネルを増大させ、かつ、前記左のチャネルを減少させ、並びに、（３）前記部屋の全ての他の領域で、音声のパワーを減少させることを特徴とする、クロストークキャンセルを実行する方法。
  2. 前記部屋における前記リスナの前記位置を特定する工程は、顔の検出及び追尾を実行する工程を含むことを特徴とする、請求項１に記載のクロストークキャンセルを実行する方法。
  3. 前記１本の音声プログラムコンテンツが再生され続ける間に、前記部屋における前記リスナの前記位置を反復して特定する工程を更に含むことを特徴とする、請求項１に記載のクロストークキャンセルを実行する方法。
  4. 前記反復した特定に基づいて、前記リスナが、前記部屋の異なる位置へ移動したと判断すると、前記リスナの前記異なる位置に対応する新しい１組のビームパターン行列を読み出す工程を更に含むことを特徴とする、請求項３に記載のクロストークキャンセルを実行する方法。
  5. ビームパターン行列の前記読み出された新しいセットに基づいて、１組のビームパターンを生成するために前記スピーカアレイを駆動する工程を更に含むことを特徴とする、請求項４に記載のクロストークキャンセルを実行する方法。
  6. 各ビームパターン行列は、前記スピーカアレイの各トランスデューサを駆動する周波数に対応する１組のフィルタ値であることを特徴とする、請求項１に記載のクロストークキャンセルを実行する方法。
  7. 前記記憶装置の前記複数のビームパターン行列は、前記スピーカアレイに対する、前記部屋の互いに異なる位置及び可聴周波数に各々対応することを特徴とする、請求項１に記載のクロストークキャンセルを実行する方法。
  8. 前記複数のビームパターン行列は、前記スピーカアレイの製造の間にあらかじめ設定されることを特徴とする、請求項７に記載のクロストークキャンセルを実行する方法。
  9. リスナの左耳の位置をシミュレートするようにマイクの第１のセットを部屋に配置する工程と、
    前記リスナの右耳の位置をシミュレートするようにマイクの第２のセットを前記部屋に配置する工程と、
    マイクの前記第１及び前記第２のセットから離れて、マイクの第３のセットを前記部屋に配置する工程と、
    左のオーディオチャネル及び右のオーディオチャネルでスピーカアレイを駆動する工程と、
    １組のビームパターンを決定する工程であって、（１）マイクの前記第１のセットにおいて、前記左のオーディオチャネルを最大にし、かつ、前記右のオーディオチャネルを最小にし、（２）マイクの前記第２のセットにおいて、前記右のオーディオチャネルを最大にし、かつ、前記左のオーディオチャネルを最小にし、（３）マイクの前記第３のセットによって検知される音声を最小にする、１組のビームパターンを決定する工程と、
    特定の周波数に関して、前記スピーカアレイを駆動する１組の実値として前記ビームパターンを表すクロストーク行列を生成する工程と、
    を含むことを特徴とする、クロストーク行列を生成するための方法。
  10. 前記部屋における前記リスナの新しい位置をシミュレートするマイクの前記第１、前記第２及び前記第３のセットを再配置する工程と、
    （１）マイクの前記第１のセットにおいて、前記左のオーディオチャネルを増大させ、かつ、前記右のオーディオチャネルを減少させ、（２）マイクの前記第２のセットにおいて、前記右のオーディオチャネルを増大させ、かつ、前記左のオーディオチャネルを減少させ、（３）マイクの前記第３のセットによって検知される音声を減少させる、新しい１組のビームパターンを決定する工程と、
    特定の周波数に関して、前記スピーカアレイを駆動する１組の実値として前記ビームパターンを表すクロストーク行列を生成する工程と、
    を更に含むことを特徴とする、請求項９に記載のクロストーク行列を生成するための方法。
  11. 異なる部屋で使用するオーディオ機器に前記クロストーク行列を提供する工程を更に含むことを特徴とする、請求項９に記載のクロストーク行列を生成するための方法。
  12. 前記１組のビームパターンは、最小二乗法アルゴリズムを用いて決定され、大きな重みは、それぞれ、マイクの前記第１及び前記第２のセットで、前記左右のオーディオチャネルを最大にし、かつ、最小にすることに適用され、より小さな重みは、マイクの前記第３のセットに適用されることを特徴とする、請求項９に記載のクロストーク行列を生成するための方法。
  13. 前記部屋の伝達関数を決定する工程と、
    前記部屋の中を伝搬する前記右のオーディオチャネル及び前記左のオーディオチャネルによって引き起こされる影響を補償するために、前記クロストーク行列の生成の間に、前記伝達関数を利用する工程と、
    を更に含むことを特徴とする、請求項９に記載のクロストーク行列を生成するための方法。
  14. 部屋に位置するリスナの左耳を表すマイクの第１のセットと、
    前記リスナの右耳を表すマイクの第２のセットと、
    前記リスナが位置する部屋の他の領域を表すマイクの第３のセットと、
    スピーカアレイに関する１組のビームパターンを決定するオーディオプロセッサと、
    を備え、前記ビームパターンは、マイクの前記第３のセットによって検知される音声を最小にしている間、マイクの前記第１のセットで左のオーディオチャネルを、マイクの前記第２のセットで右のオーディオチャネルを生成し、前記オーディオプロセッサは、前記スピーカアレイを駆動する１組の実値としての前記ビームパターンを表す前記クロストーク行列を生成することを特徴とする、クロストーク行列を生成するためのシステム。
  15. 前記１組のビームパターンは、最小二乗法アルゴリズムを用いて前記オーディオプロセッサによって決定され、大きな重みが、マイクの前記第１のセットにおいて前記左のオーディオチャネルの、及び、マイクの前記第２のセットにおいて前記右のオーディオチャネルの生成に適用される一方で、より小さな重みが、マイクの前記第３セットに適用されることを特徴とする、請求項１４に記載のクロストーク行列を生成するためのシステム。
  16. 異なる部屋で使用される外部機器に前記クロストーク行列を送信するための送信ユニットを更に備える、ことを特徴とする、請求項１５に記載の、クロストーク行列を生成するためのシステム。
  17. 前記部屋の伝達関数を決定する工程と、
    前記部屋の中を伝搬する前記右のオーディオチャネル及び前記左のオーディオチャネルによって引き起こされる影響を補償するために、前記クロストークパターン行列の前記生成の間に前記伝達関数を利用する工程と、
    を更に含む、ことを特徴とする、請求項１４に記載の方法。
  18. 命令を記憶する機械可読記憶媒体を備える製造品であって、前記命令は、コンピュータのプロセッサで実行されると、
    １つの部屋にいるリスナの位置を特定し、
    複数のクロストーク行列を収容する記憶装置から、前記リスナの前記特定された位置に対応する以前に記憶されたクロストーク行列を読み出し、
    前記読み出されたクロストーク行列に基づいて、スピーカアレイを駆動して１組のビームパターンを生成し、
    前記ビームパターンは、（１）前記リスナの左耳において、１本の音声プログラムコンテンツの左のチャネルを増大させ、かつ、右のチャネルを減少させ、（２）前記リスナの右耳において、前記右のチャネルを増大させ、かつ、前記左のチャネルを減少させ、並びに、（３）前記部屋の全ての他の領域で音声を最小にすることを特徴とする製造品。
  19. 前記部屋における前記リスナの前記位置は、顔追尾を用いて特定されることを特徴とする、請求項１８に記載の製造品。
  20. 前記リスナの前記位置の特定は、前記１本の音声プログラムコンテンツの継続期間の間に絶えず実行されることを特徴とする、請求項１８に記載の製造品。
  21. 前記リスナの前記部屋の新しい位置への移動を判断すると、前記リスナの前記新しい特定された位置に対応する新しいクロストーク行列を読み出すことを特徴とする、請求項２０に記載の製造品。
  22. 前記読み出された新しいクロストーク行列に基づいて、前記スピーカアレイを駆動して、１組のビームパターンを生成することを更に備えることを特徴とする、請求項２１に記載の製造品。
  23. 前記クロストーク行列は、特定の周波数に関する前記スピーカアレイの各トランスデューサを駆動する１組の複素フィルタ値であることを特徴とする、請求項１８に記載の製造品。
JP2016502158A 2013-03-14 2014-03-13 スピーカアレイを用いた堅牢なクロストークキャンセル Expired - Fee Related JP6193468B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361782287P 2013-03-14 2013-03-14
US61/782,287 2013-03-14
PCT/US2014/026503 WO2014151817A1 (en) 2013-03-14 2014-03-13 Robust crosstalk cancellation using a speaker array

Publications (2)

Publication Number Publication Date
JP2016516355A true JP2016516355A (ja) 2016-06-02
JP6193468B2 JP6193468B2 (ja) 2017-09-06

Family

ID=50686147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016502158A Expired - Fee Related JP6193468B2 (ja) 2013-03-14 2014-03-13 スピーカアレイを用いた堅牢なクロストークキャンセル

Country Status (7)

Country Link
US (1) US9756446B2 (ja)
EP (1) EP2974385A1 (ja)
JP (1) JP6193468B2 (ja)
KR (1) KR101752288B1 (ja)
CN (1) CN105122847B (ja)
AU (1) AU2014236850C1 (ja)
WO (1) WO2014151817A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154339B2 (en) * 2014-08-18 2018-12-11 Apple Inc. Rotationally symmetric speaker array
WO2016048381A1 (en) * 2014-09-26 2016-03-31 Nunntawi Dynamics Llc Audio system with configurable zones
AU2017202717B2 (en) * 2014-09-26 2018-05-17 Apple Inc. Audio system with configurable zones
CN107431871B (zh) 2015-02-16 2019-12-17 华为技术有限公司 过滤音频信号的音频信号处理装置和方法
CN104902388B (zh) * 2015-05-06 2018-05-25 苏州上声电子股份有限公司 用于实现多区域音量差异的声重放方法及系统
US9401158B1 (en) 2015-09-14 2016-07-26 Knowles Electronics, Llc Microphone signal fusion
CN105407443B (zh) * 2015-10-29 2018-02-13 小米科技有限责任公司 录音方法及装置
US9830930B2 (en) 2015-12-30 2017-11-28 Knowles Electronics, Llc Voice-enhanced awareness mode
US9779716B2 (en) 2015-12-30 2017-10-03 Knowles Electronics, Llc Occlusion reduction and active noise reduction based on seal quality
US9812149B2 (en) 2016-01-28 2017-11-07 Knowles Electronics, Llc Methods and systems for providing consistency in noise reduction during speech and non-speech periods
US11722821B2 (en) * 2016-02-19 2023-08-08 Dolby Laboratories Licensing Corporation Sound capture for mobile devices
US10531196B2 (en) * 2017-06-02 2020-01-07 Apple Inc. Spatially ducking audio produced through a beamforming loudspeaker array
CN107172568B (zh) * 2017-06-29 2024-04-05 深圳市泰衡诺科技有限公司上海分公司 一种立体声声场校准设备及校准方法
EP3425925A1 (en) * 2017-07-07 2019-01-09 Harman Becker Automotive Systems GmbH Loudspeaker-room system
US10516963B2 (en) * 2017-08-04 2019-12-24 Harman International Industries, Incorporated Adjusting the perceived elevation of an audio image on a solid cinema screen
CN111587582B (zh) * 2017-10-18 2022-09-02 Dts公司 用于3d音频虚拟化的音频信号预调节的系统、方法、以及存储介质
US10945090B1 (en) * 2020-03-24 2021-03-09 Apple Inc. Surround sound rendering based on room acoustics
GB202008547D0 (en) 2020-06-05 2020-07-22 Audioscenic Ltd Loudspeaker control
CN113314138B (zh) * 2021-04-25 2024-03-29 普联国际有限公司 基于麦克风阵列的声源监听分离方法、装置及存储介质
US11741093B1 (en) 2021-07-21 2023-08-29 T-Mobile Usa, Inc. Intermediate communication layer to translate a request between a user of a database and the database
US11924711B1 (en) 2021-08-20 2024-03-05 T-Mobile Usa, Inc. Self-mapping listeners for location tracking in wireless personal area networks
GB2616073A (en) * 2022-02-28 2023-08-30 Audioscenic Ltd Loudspeaker control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003174699A (ja) * 2001-09-27 2003-06-20 Nissan Motor Co Ltd 音声入出力装置
JP2008227804A (ja) * 2007-03-12 2008-09-25 Yamaha Corp アレイスピーカ装置
WO2012068174A2 (en) * 2010-11-15 2012-05-24 The Regents Of The University Of California Method for controlling a speaker array to provide spatialized, localized, and binaural virtual surround sound

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424719B1 (en) * 1999-07-29 2002-07-23 Lucent Technologies Inc. Acoustic crosstalk cancellation system
KR100739762B1 (ko) * 2005-09-26 2007-07-13 삼성전자주식회사 크로스토크 제거 장치 및 그를 적용한 입체 음향 생성 시스템
JP4821250B2 (ja) * 2005-10-11 2011-11-24 ヤマハ株式会社 音像定位装置
US9113264B2 (en) * 2009-11-12 2015-08-18 Robert H. Frater Speakerphone and/or microphone arrays and methods and systems of the using the same
US9107021B2 (en) * 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003174699A (ja) * 2001-09-27 2003-06-20 Nissan Motor Co Ltd 音声入出力装置
JP2008227804A (ja) * 2007-03-12 2008-09-25 Yamaha Corp アレイスピーカ装置
WO2012068174A2 (en) * 2010-11-15 2012-05-24 The Regents Of The University Of California Method for controlling a speaker array to provide spatialized, localized, and binaural virtual surround sound

Also Published As

Publication number Publication date
WO2014151817A1 (en) 2014-09-25
CN105122847B (zh) 2017-04-26
US9756446B2 (en) 2017-09-05
JP6193468B2 (ja) 2017-09-06
AU2014236850A1 (en) 2015-10-08
AU2014236850C1 (en) 2017-02-16
US20160021480A1 (en) 2016-01-21
AU2014236850B2 (en) 2016-09-15
KR20150119299A (ko) 2015-10-23
CN105122847A (zh) 2015-12-02
KR101752288B1 (ko) 2017-06-29
EP2974385A1 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
JP6193468B2 (ja) スピーカアレイを用いた堅牢なクロストークキャンセル
US11399255B2 (en) Adjusting the beam pattern of a speaker array based on the location of one or more listeners
JP6615300B2 (ja) ハンズフリー・ビームパターン構成
US9900723B1 (en) Multi-channel loudspeaker matching using variable directivity
JP6162320B2 (ja) 機器の方向をブロードキャストするための音波ビーコン

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170809

R150 Certificate of patent or registration of utility model

Ref document number: 6193468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees