JP2020501419A - ラウドスピーカ位置推定システム及び方法 - Google Patents

ラウドスピーカ位置推定システム及び方法 Download PDF

Info

Publication number
JP2020501419A
JP2020501419A JP2019526297A JP2019526297A JP2020501419A JP 2020501419 A JP2020501419 A JP 2020501419A JP 2019526297 A JP2019526297 A JP 2019526297A JP 2019526297 A JP2019526297 A JP 2019526297A JP 2020501419 A JP2020501419 A JP 2020501419A
Authority
JP
Japan
Prior art keywords
loudspeaker
angle
audio signal
microphone
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019526297A
Other languages
English (en)
Other versions
JP7035048B2 (ja
Inventor
グァンジー シー
グァンジー シー
マイケル エム グッドウィン
マイケル エム グッドウィン
エドワード スタイン
エドワード スタイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS Inc
Original Assignee
DTS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS Inc filed Critical DTS Inc
Publication of JP2020501419A publication Critical patent/JP2020501419A/ja
Application granted granted Critical
Publication of JP7035048B2 publication Critical patent/JP7035048B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

正しくないラウドスピーカの向き又はラウドスピーカとマイクロフォンアレイの間の経路における障害物などの異常状態が検出された場合に、ラウドスピーカの位置を推定しリスナーに通知するシステム及び方法の実施形態が記載される。例えば、マルチチャネルサラウンドサウンドシステムの前方構成要素は、マイクロフォンアレイと位置推定エンジンを含むことができる。位置推定エンジンは、ラウドスピーカとマイクロフォンアレイの間の距離を推定することができる。加えて、位置推定エンジンは、第１技術を用いてラウドスピーカの角度を推定することができる。位置推定エンジンは、第２技術を用いてラウドスピーカの角度を推定することもできる。２つの角度を処理して、異常状態が存在するかどうかを決定することができる。異常状態が存在する場合、リスナーに通知して問題を解決するための提案をグラフィカルユーザインタフェースで提供することができる。【選択図】図１Ａ

Description

（関連出願に対する相互参照）
本出願は、全体が引用により本明細書に組み入れられる、２０１６年１１月１６日に申請された「ラウドスピーカ位置推定システム及び方法（ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＬＯＵＤＳＰＥＡＫＥＲ ＰＯＳＩＴＩＯＮ ＥＳＴＩＭＡＴＩＯＮ）」という名称の米国仮出願第６２／４２３,０４１号明細書に対し、米国特許法１１９条に基づく優先権を主張するものである。
サラウンドサウンドシステムは、一般に、高品質リスニング経験を達成するためにリスナーによる較正を必要とする。従来は、サラウンドサウンドシステムは、スイートスポット又はデフォルトリスニング位置に配置されたマルチ要素マイクロフォンを用いて、サラウンドサウンドシステムの各ラウドスピーカによって再生される試験信号を受信するよう手動で較正される。マルチ要素マイクロフォンは、通常は、長いケーブルを介して音声／視覚（Ａ／Ｖ）受信機又はプロセッサに繋がれる。しかしながら、スイートスポットでのマルチ要素マイクロフォンの物理的配置又はデフォルトのリスニング位置付けは、リスナーにとって面倒である可能性がある。
米国仮出願第６２／４２３,０４１号明細書
本開示の１つの態様は、マルチチャネルサラウンドサウンドシステムにおけるラウドスピーカの位置を推定する装置を提供する。本装置は、第１マイクロフォン及び第２マイクロフォンを含むマイクロフォンアレイを備え、第１マイクロフォンが、試験信号を出力するラウドスピーカに応答して第１オーディオ信号を生成するよう構成され、第２マイクロフォンが、試験信号を出力するラウドスピーカに応答して第２オーディオ信号を生成するように構成される。本装置は、マイクロフォンアレイに結合された位置推定エンジンを備え、この位置推定エンジンが、第１オーディオ信号及び第２オーディオ信号に基づいて到着時間差推定値を決定し、到着時間差推定値に基づいて第１角度を決定し、第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別し、第２オーディオ信号から得られたインパルス応答における第２ダイレクトパス成分を識別し、第１ダイレクトパス成分及び第２ダイレクトパス成分に基づいて第２角度を決定し、第１角度及び第２角度の比較に基づいて異常状態が存在するかどうかを決定する、ように構成される。
前段落の装置は、以下の特徴の何れかの部分的組み合わせを含むことができ、位置推定エンジンが更に、第１オーディオ信号を１又は２以上の第１セグメントに区分し、第２オーディオ信号を１又は２以上の第２セグメントに区分し、１又は２以上の第１セグメントにおける第１セグメントのフーリエ変換を生成して第１フーリエ変換を形成し、１又は２以上の第２セグメントにおける第１セグメントのフーリエ変換を生成して第２フーリエ変換を形成し、且つ第１フーリエ変換及び第２フーリエ変換に基づいて到着時間差推定値を決定する、よう構成され、この位置推定エンジンは更に、１又は２以上の第１セグメント及び１又は２以上の第２セグメントの生成されたフーリエ変換に基づいて複数の到着時間差推定値を決定し、複数の到着時間差推定値をヒストグラムに集約し、ヒストグラムで最も多くの発生を有する複数の到着時間差推定値における到着時間差推定値に基づいて到着時間差推定値を決定するよう構成され、位置推定エンジンは更に、第１オーディオ信号から得られたインパルス応答における最高振幅に基づいて第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別するよう構成され、位置推定エンジンは更に、第１ダイレクトパス成分を含む第１時間ウィンドウを選択し、第２ダイレクトパス成分を含む第２時間ウィンドウを選択し、第１時間ウィンドウのデータ及び第２時間ウィンドウのデータを用いて相互相関を決定し、決定された相互相関を用いて第２角度を決定するよう構成され、位置推定エンジンは更に、第１角度と第２角度を比較し、第１角度と第２角度が閾値角度値内にないという決定に応答して異常状態が存在すると決定するよう構成され、閾値角度値は、０と１５度の間の値を含み、本装置は更に、異常状態が存在するという決定に応答してネットワークを介してユーザデバイスに通知を送信するよう構成された通知生成器を備え、この通知は、ラウドスピーカの角度が正しくないという指示、物体がラウドスピーカとマイクロフォンアレイの間の経路を塞いでいるという指示、ラウドスピーカの極性が正しくないという指示、又はラウドスピーカの位置が正しくないという指示の１つを含み、本装置は、サウンドバー、音声／視覚（Ａ／Ｖ）受信機、中央スピーカ、又はテレビジョンの１つを含み、マルチチャネルサラウンドサウンドシステムは、ステレオ、２．１、３．１、５．１、５．２、７．１、７．２、１１．１、１１．２、又は２２．２スピーカレイアウトのうちの１つに配列される。
本開示の別の態様は、マルチチャネルサラウンドサウンドシステムのラウドスピーカの位置を推定する方法を提供する。本方法は、マイクロフォンアレイの第１マイクロフォンから第１オーディオ信号及びマイクロフォンアレイの第２マイクロフォンから第２オーディオ信号を受信する段階と、第１オーディオ信号及び第２オーディオ信号に基づいて到着時間差推定値を決定する段階と、到着時間差推定値に基づいて第１角度を決定する段階と、第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別する段階と、第２オーディオ信号から得られたインパルス応答における第２ダイレクトパス成分を識別する段階と、第１ダイレクトパス成分及び第２ダイレクトパス成分に基づいて第２角度を決定する段階と、第１角度と第２角度の比較に基づいて異常状態が存在するかどうかを決定する段階と、を含む。
前段落の方法は、以下の特徴の何れかの部分的組み合わせを含むことができ、到着時間差推定値を決定する段階は更に、第１オーディオ信号を１又は２以上の第１セグメントに区分する段階と、第２オーディオ信号を１又は２以上の第２セグメントに区分する段階と、１又は２以上の第１セグメントにおける第１セグメントのフーリエ変換を生成して第１フーリエ変換を形成する段階と、１又は２以上の第２セグメントにおける第１セグメントのフーリエ変換を生成して第２フーリエ変換を形成する段階と、第１フーリエ変換及び第２フーリエ変換に基づいて到着時間差推定値を決定する段階と、を含み、第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別する段階は更に、第１オーディオ信号から得られたインパルス応答の最高振幅に基づいて第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別する段階を含み、異常状態が存在するかどうかを決定する段階は更に、第１角度と第２角度を比較する段階と、第１角度及び第２角度が閾値角度値内にないという決定に応答して異常状態が存在すると決定する段階と、を含み、閾値角度値は、０と１５度の間の値を含み、本方法は更に、異常状態が存在するという決定に応答してネットワークを介してユーザデバイスに通知を送信する段階を含み、この通知は、ラウドスピーカの角度が正しくないという指示、物体がラウドスピーカとマイクロフォンアレイの間の経路を塞いでいるという指示、ラウドスピーカの極性が正しくないという指示、又はラウドスピーカの位置が正しくないという指示のうちの１つを含む。
本開示の別の態様は、ハードウェアプロセッサによって実行されたときに、試験信号を送信するようラウドスピーカに指示し、第１技術を用いてマイクロフォンアレイの第１マイクロフォンから録音された第１オーディオ信号及びマイクロフォンアレイの第２マイクロフォンから録音された第２オーディオ信号に基づいて第１角度を決定し、第２技術を用いて第１オーディオ信号及び第２オーディオ信号に基づいて第２角度を決定し、異常状態が第１角度及び第２角度の比較に基づいて存在するかどうかを決定する、よう少なくとも構成される実行可能命令を格納して含む非一時的物理コンピュータストレージを提供する。
前段落の非一時的物理コンピュータストレージは、以下の特徴の何れかの部分的組み合わせを含むことができ、第１技術は、一般化相互相関及び位相変換（ＧＣＣ−ＰＨＡＴ）技術を含み、第２技術はダイレクトパス成分（ＤＰＣ）技術を含む。
本開示の要約の目的で、本発明の特定の態様、利点及新規の特徴を本明細書で説明してきた。全てのこのような利点が必ずしも本明細書で開示する発明の何れの特定の実施形態によっても達成できるとは限らない点を理解されたい。従って、本明細書に開示する発明は、本明細書で教示又は提案することができる他の利点を必ずしも達成することなく、本明細書にて教示されるように１つの利点又は利点の一群を達成又は最適化する方式で実施又は具現化することができる。
図面全体を通じて、参照要素間の対応関係を示すために参照符号は再使用される。図面は、本明細書で説明する発明の実施形態を例証するために提供され、本発明の範囲を限定するものではない。
１実施形態による、ラウドスピーカ位置を推定してマルチチャネルサラウンドサウンドシステムを較正する例示的な部屋環境を示すハイレベルブロック図である。 １実施形態によるネットワークを介してサウンドバーと通信するユーザデバイスを示すブロック図である。 例示的なラウドスピーカ位置推定プロセスを示す図である。 例示的なダイレクトパス成分（ＤＰＣ）選択プロセスを示す図である。 ＤＰＣを用いた例示的なラウドスピーカ角度決定プロセスを示す図である。 例示的なラウドスピーカ異常状態検出プロセスを示す図である。 図１Ａのマイクロフォンアレイにおける第１マイクロフォンのインパルス応答及び図１Ａのマイクロフォンアレイにおける第２マイクロフォンのインパルス応答を示す例示的なグラフである。 決定された第１角度及び決定された第２角度が同様の値を有する状況を示す例示的なグラフである。 決定された第１角度及び決定された第２角度が同様の値を有していない状況を示す例示的なグラフである。 図１Ｂのユーザデバイスによって表示することができる例示的なグラフィカルユーザインタフェース（ＧＵＩ）を示す図である。 別の例示的なラウドスピーカ位置推定プロセスを示す図である。 １実施形態による図１Ａの例示的な部屋環境における第１角度の実施例を示すハイレベルブロック図である。
背景技術において上述したように、スイートスポットにてマルチ要素マイクロフォンを物理的に配置するようリスナーに要求すること又は較正の目的でのデフォルトリスニング位置付けは、面倒である可能性がある。従って、１又は２以上のマイクロフォンを中央の既知の位置に統合することができる。例えば、１又は２以上のマイクロフォンは、サウンドバー、Ａ／Ｖ受信機、中央スピーカ、テレビジョン、マルチチャネルサラウンドサウンドシステムの前方構成要素に、テレビジョンの下方又は上方のデバイス及び／又はその他に一体化することができる。
標準的なレイアウトは、１又は２以上のマイクロフォンの中央の既知の位置又は別の基準ポイント（例えば、リスニング位置）に対して１又は２以上のラウドスピーカを配置する位置を示し、最適又は最適に近いリスニング経験を達成することができる。しかしながら、リスナーが最適位置にラウドスピーカを配置することは困難であることが多い。例えば、壁、ドア、家具、及び／又は他の物体が、リスナーが１又は２以上のラウドスピーカを最適位置に配置するのを妨げる場合がある。ラウドスピーカを最適位置に配置できない場合、音声画像の歪みが生じ、リスナーは、コンテンツクリエータが意図したサウンドシーンを経験できない可能性がある。
ラウドスピーカが最適位置に配置できないときには、ラウドスピーカに送信されたオーディオ信号を修正して、空間較正及び補償を介して歪みを最小限にすることができる。空間較正では、１又は２以上のマイクロフォンの中央の既知の位置に対して、又はリスニング位置に対してラウドスピーカの位置を決定するのが重要である場合がある。
典型的には、ラウドスピーカの位置は、ラウドスピーカを通じて較正信号を再生すること、較正マイクロフォンで結果音響信号を受信すること、マイクロフォン出力信号を録音すること、及び一般化相互相関位相変換重み付け（ＧＣＣ−ＰＨＡＴ）などの技術によって録音信号を分析することによって推定される。ＧＣＣ−ＰＨＡＴ技術は、ラウドスピーカが１又は２以上のマイクロフォンに直接向かい合っているときには、信頼できる結果を生成することができる。しかしながら、ＧＣＣ−ＰＨＡＴ技術は、他の状況下では信頼できない結果を生じることがある。例えば、ＧＣＣ−ＰＨＡＴ技術は、ラウドスピーカと１又は２以上のマイクロフォンの間の経路を物体が塞いだ場合に信頼できない結果を生じることがある。別の例として、ＧＣＣ−ＰＨＡＴ技術は、ラウドスピーカが１又は２以上のマイクロフォンに面する方向以外の方向に向けられた場合に信頼できない結果を生じることがある。
従って、ラウドスピーカの位置及び／又は向きを推定し且つラウドスピーカの向きが正しくない場合又はラウドスピーカとマイクロフォンとの間の経路の経路を物体が塞いでいる場合にリスナーに知らせるラウドスピーカ位置推定システムの実施形態を本明細書で説明する。例えば、ラウドスピーカ位置推定システムは、２又は３以上のマイクロフォンを含むデバイス（例えば、Ａ／Ｖ受信機、サウンドバー、中央スピーカ、テレビジョンなど）の中に一体化することができる。ラウドスピーカ位置推定システムは、試験信号（例えば、最大長シーケンス）を出力するようラウドスピーカに指示することができる。マイクロフォンの各々は、出力された試験信号の結果として生じた音響信号を受信することができる。マイクロフォンの各々は、音響信号をオーディオ信号に変換することができ、ここでオーディオ信号は、ストレージデバイスに録音することができる。ラウドスピーカ位置推定システムは、ラウドスピーカの距離を決定することができる。更に、ラウドスピーカ位置推定システムは、ＧＣＣ−ＰＨＡＴ技術及び録音されたオーディオ信号を用いてラウドスピーカの推定角度を決定することができる。ラウドスピーカ位置推定システムはまた、録音されたオーディオ信号から得られたダイレクトパス成分（ＤＰＣ）を用いてラウドスピーカの推定角度を決定することができる。
ラウドスピーカ位置推定システムは、２つの推定された角度を比較することができる。２つの推定角度が閾値角度値内にある場合、ラウドスピーカ位置推定システムは、マイクロフォンとラウドスピーカとの間に障害物が検出されなかったことをリスナーに通知することができる。ラウドスピーカ位置推定システムは同様に、ラウドスピーカがリスニングサークルの中心に正しく向けられていることをリスナーに通知することができる。任意選択的に、ラウドスピーカ位置推定システムは、２つの推定角度が閾値角度値内にある場合に推定角度の少なくとも１つに基づいて補償成分のパラメータを導き出すことができ、ここでパラメータを用いて、非理想のラウドスピーカ配置又は将来の他の異常状態（例えば、ラウドスピーカを通じた再生の前にオーディオを処理するとき）を補償することができる。しかしながら、２つの推定角度が閾値角度値内である場合、ラウドスピーカの正しくない又は非理想の角度及び／又は正しくない又は非理想のラウドスピーカ位置が存在することがある。ラウドスピーカ位置推定システムは、１又は両方の推定角度を理想角度（例えば、理想的なラウドスピーカレイアウトにおいて指定された角度）と比較することができ、比較された角度が別の閾値角度値内にない場合、ラウドスピーカ位置推定システムは、ラウドスピーカの正しくない又は非理想の角度及び／又は正しくない又は非理想のラウドスピーカ位置が存在すると決定することができる。２つの推定角度が閾値角度値内にない場合、ラウドスピーカ位置推定システムは、異常状態が検出されたことをリスナーに通知することができる。異常状態の例としては、マイクロフォンとラウドスピーカとの間の障害物、ラウドスピーカの正しくない又は非理想の角度、正しくないラウドスピーカの極性、及び／又は正しくない又は非理想のラウドスピーカ位置を挙げることができる。モバイルコンピュータデバイスなどのユーザデバイス上で実行されるアプリケーションは、ラウドスピーカ位置推定システムと通信して、通知を表示するインタフェースを生成することができる。これに代えて又は加えて、ラウドスピーカ位置推定システムは、ラウドスピーカに送信された信号を修正して非理想のラウドスピーカ配置又は他の異常状態を補償する情報を補償成分に提供することができる。ラウドスピーカ位置推定システムの追加の詳細は、図１Ａから図８に関して以下に説明する。
例示的なラウドスピーカ位置推定システムの概要
概要として、図１Ａは、１つの実施形態によるラウドスピーカ位置を推定し且つマルチチャネルサラウンドサウンドシステムを較正するための例示的な部屋環境１００を示すハイレベルブロック図を示している。マルチチャネルサラウンドサウンドシステムは、ステレオ、２．１、３．１、５．１、５．２、７．１、７．２、１１．１、１１．２、又は２２．などの標準化ラウドスピーカレイアウトに従って配列されることが多い。波面合成（ＷＦＳ）アレイ又は他のオブジェクトベースのレンダリングレイアウトなどの他のラウドスピーカレイアウト又はアレイを用いることもできる。サウンドバーは、モニタ又はテレビジョンなどのディスプレイデバイスの上又は下に据え付けることができる特殊ラウドスピーカエンクロージャである。最新のサウンドバーモデルは、左及び右チャネルスピーカと任意の中央スピーカ及び／又はサブウーファを同様に統合するスピーカアレイを含む給電式システムであることが多い。サウンドバーは、有線又は無線サラウンドスピーカ及び／又はサブウーファに接続されたときにホームシアターシステムの独立サラウンドサウンドシステム又はキーフロント構成要素の何れかのための融通性のあるソリューションになる。
図１Ａでは、部屋環境１００は、３．１ラウドスピーカ構成（例えば、サウンドバー１１、左サラウンドラウドスピーカ１０６、右サラウンドラウドスピーカ１０８、及びサブウーファ１０４）、テレビジョン１０２（又はモニタ又はビデオ画面）、リスナー１２０及びカウチ１２２を含む。サウンドバー１１０は、サウンドバー１１０のエンクロージャ内に統合されたスピーカアレイ１１２、マイクロフォンアレイ１１４、位置推定エンジン１１６、較正エンジン（図示せず）、及びＡ／Ｖ処理エンジン（図示せず）を含むことができる。他の実施形態では、サウンドバー１１０は、図１Ａに示したものとは異なる、より少ないか、又はより多い構成要素を含む。
ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）及びストリーミングコンテンツの出現及び普及は、マルチチャネルサウンドトラックの広範囲な利用可能性に繋がってきた。最新のサラウンドサウンドフォーマットは、このようなコンテンツを適正に再生するための理想的なラウドスピーカの配置を指定する。サラウンドサウンドシステムを所有する一般的なリスナーは、部屋のレイアウト又は家具の配置などの実際的な理由のためにラウドスピーカセットアップのためのこのような指示に従えないことが多い。このことは、コンテンツ制作者の意図とリスナーの空間オーディオ経験との間のミスマッチを生じることが多い。例えば、推奨される配置円１３０に沿ってラウドスピーカを配置すること及び推奨される配置円１３０の中心又は中心近くにリスナーが座ることが最前事例として推奨されることが多い。推奨されるラウドスピーカ配置の詳細は、全体が引用による組み入れられる国際テレコミュニケーションユニオン（ＩＴＵ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）レポートＩＴＵ−Ｒ ＢＳ．２１５９−４（２０１２年５月）「ホーム及びブロードキャスティングアプリケーションにおけるマルチチャネルサウンド技術」に見い出すことができる。しかしながら、部屋環境１００の部屋の制約又はユーザプリファレンスのせいで、右サラウンドラウドスピーカ１０８が、その推奨される位置１０９に配置されず、リスナー１２０は、推奨される配置円１３０の中心から離れたカウチ１２２に座っている。
空間較正として一般的に知られるこのような問題の１つの解決策は、典型的には、デフォルトリスニング位置（又はスイートスポット）にマイクロフォンアレイを配置するようリスナーに要求することである。本発明のシステムは、各それぞれのラウドスピーカを介して試験信号を再生し、対応するマイクロフォン信号（例えば、マイクロフォンアレイによって取り込まれた音響信号の変換バージョン）を録音し、録音した信号を分析して各ラウドスピーカの位置を近似する。各ラウドスピーカ１０６及び１０８の位置を近似することによって、本システムは、補償プロセスを用いてマルチチャネルサウンドトラックを実際のスピーカレイアウトに空間的に再フォーマット化することができる。分かり易くすると、空間較正プロセスは、一般的には、各ラウドスピーカの位置を近似する段階と、近似された位置を用いてラウドスピーカセットアップエラーを決定する段階と、セットアップエラーに対する改善措置を提案する段階と、及び／又は補償プロセスによって使用することができる補償パラメータ（例えば、ラウドスピーカ位置推定値）を推定する段階を含む。この補償プロセスは、推定された補償パラメータを用いて最適再生のために（例えば、ラウドスピーカが非理想のシステムレイアウトにあるとき）オーディオ信号を修正する段階を含むことができる。しかしながら、この空間較正プロセスは、一般的なリスナーに対する強要となるか、又は不都合となる可能性がある。リスナー１２０が異なる位置に動いたときに、このような既存の方法は、この変化を検出して補償するすべがなく、リスナー１２０が、新しいリスニング位置に配置されたマイクロフォンを用いて手動で全体の較正プロセスをやり遂げる必要がある。対照的に、サウンドバー１１０において一体化されたマイクロフォンアレイ１１４を用いて、サウンドバー１１０の較正エンジン（図示せず）は、ラウドスピーカ１０６及び１０８に対する空間較正を実行して、同時に、全体が引用により本明細書に組み入れられる「リスナー位置推定を含むサラウンドサウンドシステムの空間較正（ＳＰＡＴＩＡＬ ＣＡＬＩＢＲＡＴＩＯＮ ＯＦ ＳＵＲＲＯＵＮＤ ＳＯＵＮＤ ＳＹＳＴＥＭＳ ＩＮＣＬＵＤＩＮＧ ＬＩＳＴＥＮＥＲ ＰＯＳＩＴＩＯＮ ＥＳＴＩＭＡＴＩＯＮ）」という名称の米国特許公開第２０１５／００１６６４２号明細書に詳細に記載されるように、最小のユーザ介入によってリスナー１２０の位置を推定することができる。一部の実施形態では、全体が引用により本明細書に組み入れられる「サラウンドサウンドシステムを較正するためのグラフィカルユーザインタフェース（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ ＦＯＲ ＣＡＬＩＢＲＡＴＩＮＧ Ａ ＳＵＲＲＯＵＮＤ ＳＯＵＮＤ ＳＹＳＴＥＭ）」という名称の２０１６年１１月２１日に出願された米国特許出願第１５／３５７,９７１号明細書に詳細に記載されているように、リスナー位置をグラフィカルユーザインタフェースを介して指定することができる。空間較正の別の方法は、各ラウドスピーカ１０６及び１０８にマイクロフォンを組み込むことであり、中央構成要素において一体化された小型マイクロフォンアレイの使用と比較して極めて高価となる可能性がある。
しかしながら、補償パラメータの正確な推定は、ラウドスピーカ１０６及び１０８の位置の正確な推定に依存することがある。不正確なラウドスピーカ１０６及び１０８の位置推定は、不十分なオーディオ信号修正及び／又は次善のリスニング経験をもたらすことがある。従来のラウドスピーカ位置推定技術は、例えば、ラウドスピーカ１０６又は１０８がマイクロフォンアレイ１１４から外方に面するか又はマイクロフォンアレイ１１４とラウドスピーカ１０６又は１０８との間の経路が物体によって塞がれている場合には、機能しなくなる場合がある。例えば、左サラウンドスピーカ１０６の前面は、マイクロフォンアレイ１１４に面する方向に向けられていないので、従来のラウドスピーカ位置推定技術は、左サラウンドラウドスピーカ１０６の位置の推定が不正確であることがある。別の例として、カウチ１２２が右サラウンドラウドスピーカ１０８とマイクロフォンアレイ１１４の間の経路にあるので、右サラウンドスピーカ１０８の前面がマイクロフォンアレイ１１４に面する方向で向けられていても、従来のラウドスピーカ位置推定技術は右サラウンドラウドスピーカ１０８の位置を正確に推定できない場合がある。
従って、位置推定エンジン１１６は、ラウドスピーカ１０６又は１０８がマイクロフォンアレイ１１４の方向に向けられていないか、又はラウドスピーカ１０６又は１０８とマイクロフォンアレイ１１４との間の経路が塞がれている場合でも、ラウドスピーカ１０６及び１０８の位置推定を改善する技術を実施することができる。例えば、位置推定エンジン１１６は、第１技術を用いてラウドスピーカ１０６又は１０８の位置を推定することができる。第１技術を用いて推定された位置は、ベースライン推定値と考えることができる。位置推定エンジン１１６はまた、第２技術を用いてラウドスピーカ１０６又は１０８の位置を推定することができる。第２技術を用いて推定された位置は、遮られた経路又は正しくないラウドスピーカの向きのような異常状況を検出するのに活用することができる。位置推定エンジン１１６は、両方の位置推定値を用いて、信頼できるラウドスピーカ位置推定値を導くことができる。ラウドスピーカ位置推定値を用いて、ユーザ通知を生成及び／又は非理想のラウドスピーカ１０６又は１０８の配置又は他の異常状態を補償することができる。第１及び第２技術の追加の詳細は、図２Ａ−２Ｄに関して以下に説明する。位置推定エンジン１１６は、２つの位置推定技術を用いるものとして本明細書で説明しているが、これは限定を意図するものではない。位置推定エンジン１１６は、幾つかの位置推定技術の結果（例えば、３、４、５、６など）を組み合わせて、より信頼できるラウドスピーカ位置推定値を導くことができる。ニューラルネットワークなどの人工知能、又はヒューリスティック方法を用いて、位置推定技術の結果を組み合わせて、信頼できるラウドスピーカ位置推定値を導くことができる。
加えて、サウンドバー１１０は、異常状況が検出されたときにリスナー１２０に対する通知を生成することができる。図１Ｂは、１つの実施形態による、ネットワーク１１５を介してサウンドバー１１０と通信するユーザデバイス１４０を示すブロック図を示している。ネットワーク１１５は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、又は同様の組み合わせを含むことができる。図１Ｂに示すように、例示的なサウンドバー１１０は、位置推定エンジン１１６及び通知生成器１１８を含む。
ユーザデバイス１４０は、デスクトップコンピュータ、ラップトップ、タブレット、携帯情報端末（ＰＤＡ）、テレビジョン、無線ハンドヘルドデバイス（スマートフォンなど）、サウンドバー、セットトップボックス、Ａ／Ｖ受信機、ホームシアターシステムコンポーネント、これらの組み合わせ、及び／又はリスナー１２０によって操作されるものどとすることができる。ユーザデバイス１４０は、ユーザデバイス１４０に対してユーザインタフェースを表示させるアプリケーションを実行することができる。例えば、ユーザインタフェースは、サウンドバー１１０、サブウーファ１０４、左サラウンドラウドスピーカ１０６、及び／又は右サラウンドラウドスピーカ１０８の推定位置を表示することができる。ユーザインタフェースはまた、リスナー１２０が較正（例えば、空間較正及び／又は非空間較正）を開始するのを可能にする機能を含むことができる。リスナー１２０が較正を開始した場合、ユーザデバイス１４０は、ネットワーク１１５を介してサウンドバー１１０（例えば、図示していないが、サウンドバー１１０に組み込まれた較正エンジン）に較正作動の開始を指示することができる。較正作動の一部として、サウンドバー１１０は、本明細書で説明する方式で１又は２以上のラウドスピーカ１０６及び１０８の位置を推定するよう位置推定エンジン１１６に指示する。位置推定値の結果に基づいて、位置推定エンジン１１６は、異常状態が存在するかどうかを決定することができる。異常状態の例は、マイクロフォンアレイ１１４とラウドスピーカ１０６又は１０８との間の経路を塞ぐ物体、正しくないラウドスピーカ１０６又は１０８の角度、正しくないラウドスピーカ１０６又は１０８の極性、及び／又は正しくない又は非理想のラウドスピーカ１０６又は１０８の位置を含むことができる。この決定は、位置推定エンジン１１６によって通知生成器１１８に送信することができる。加えて、位置推定値（又は位置推定値から得られたパラメータ）をサウンドバー１１０内の補償成分（例えば、本明細書で説明する補償プロセスを実行する成分）に送信することができ、本明細書で説明するように配置されたラウドスピーカ１０６及び１０８を介した最適再生のためにマルチチャネルオーディオを修正する。
通知生成器１１８は、位置推定エンジン１１６によって提供された決定に基づいて通知を生成することができる。例えば、異常状態が検出されなかった場合、通知生成器１１８は、異常状態が検出されなかったという通知を生成でき、又は通知を全く生成しなくてもよい。代替として、異常状態が検出された場合、通知生成器１１８は、どの異常状態が検出されたかを示す通知を生成し、問題を修正する方法をリスナー１２０に指示し、及び／又は問題が修正されると較正選択肢を再度選択するようリスナー１２０に指示することができる。任意選択的に、サウンドバー１１０は、以下に詳細に説明するように、問題を自動的に修正することができる。
通知生成器１１８は、ネットワーク１１５を介してユーザデバイス１４０に通知を送信することができる。通知生成器１１８から通知を受信すると、本出願は、ユーザデバイス１４０に対してユーザインタフェースにおいて通知を表示させるようにすることができる。
図１Ａ−１Ｂは、サラウンドサウンドシステム構成の１つの実施例を例示しているに過ぎない点に留意されたい。他の実施形態は、より多く又はより少ないラウドスピーカを有する異なるラウドスピーカレイアウトを含むことができる。例えば、サウンドバー１１０は、中央チャネルスピーカ、２つの前方チャネルスピーカ（１つが左及び１つが右）、及びＡ／Ｖ受信機に置き換えて、従来の５．１構成を形成することができる。この例では、マイクロフォンアレイ１１４は、中央チャネルスピーカ又はＡＶ受信機において統合することができ、較正エンジン、位置推定エンジン１１６、及び通知生成器１１８は、Ａ／Ｖ受信機の一部とすることができ、更に、マイクロフォンアレイ１１４は、較正エンジン、位置推定エンジン１１６、及び／又は通知生成器１１８に結合することができる。サウンドバー１１０はまた、テレビジョン又は何れかの別のＡ／Ｖ構成要素に置き換えることができ、置き換えＡ／Ｖ構成要素は、較正エンジン、位置推定エンジン１１６、通知生成器１１８、及び／又はマイクロフォンアレイ１１４を含む。
図１Ａは２つのマイクロフォンを含むものとしてマイクロフォンアレイ１１４を示しているが、これは限定を意図するものではない。追加のマイクロフォン又はマイクロフォンアレイは、上部ラウドスピーカ、左側前方ラウドスピーカ、右側前方ラウドスピーカ、及び／又は適正な測定及び位置推定のための何れかの他のラウドスピーカに向かい合うように設置することができる。例えば、第３のマイクロフォンは、他の２つのマイクロフォンとは異なる深度及び／又は異なる高度でマイクロフォンアレイ１１４に含めることができる（例えば、他の２つのマイクロフォンと直線上に並ばない）。他の２つのマイクロフォンによって形成されたラインの外側に第３のマイクロフォンを位置付けることで、位置推定エンジン１１６がラウドスピーカの角度（例えば、アジマス角に加えて天頂角）を３次元で推定できるようになる。
図１Ａ−１Ｂは、サウンドバー１１０に含まれる単一の位置推定エンジン１１６を示すが、これは限定を意図するものではない。サウンドバー１１０は、あらゆる数の位置推定エンジン１１６（例えば、マイクロフォンアレイ１１４のマイクロフォンの複数の異なるサブセットの各々に対して１つの位置推定エンジン１１６）を含めることができる。例えば、位置推定エンジン１１６は、コンピュータプロセッシングユニット（ＣＰＵ）、メモリ、及び／又は他のハードウェア構成要素（例えば、アナログ−デジタルコンバータ（ＡＤＣ））を含むハードウェアデバイスとすることができる。ＣＰＵがマイクロフォンから録音されたオーディオ信号をプロセスできるように、バスは、ＣＰＵをマイクロフォンアレイ１１４のマイクロフォンに直接結合することができる。サウンドバー１１０が単一の位置推定エンジン１１６を含む場合、バスは、それぞれのマイクロフォンから録音されたオーディオ信号を一時的に格納するバッファにマイクロフォンアレイ１１４の各マイクロフォンを結合することができる。スイッチング機構を用いて、バッファからのデータをプロセスのためのＣＰＵに向けることができる。代替として、単一の位置推定エンジン１１６は、複数のＣＰＵを含むことができ、バスは、マイクロフォンアレイ１１４の各マイクロフォンを処理のための別個のＣＰＵに結合することができる。
例示的なラウドスピーカ位置推定プロセス
図２Ａは、例示的なラウドスピーカ位置推定プロセス２００を示している。１つの実施形態では、プロセス２００は、図１Ａ−１Ｂに関して上述したサウンドバー１１０（例えば、位置推定エンジン１１６及び／又は通知生成器１１８）を含む、本明細書で説明するシステムの何れかによって実行することができる。実施形態によっては、プロセス２００は、より少ない及び／又は追加のブロックを含むことができ、又は図示したものとは異なる順序でブロックを実行することができる。
ブロック２０４、２０６、２０８、２１０、２１２、２１４、及び２１６は、ラウドスピーカの位置を推定する第１の例示的な技術に対応する。例えば、第１技術は、ＧＣＣ−ＰＨＡＴ技術とすることができ、第１角度推定値を生成することができる。図２Ｂ及び２Ｃに記述したプロセス２１８及び２２０はそれぞれ、ラウドスピーカの位置を推定するための第２技術に対応する。例えば、第２技術は、ＤＰＣ技術とすることができ、第２角度推定値を生成することができる。
プロセス２００は、リスナーが較正を開始した後にブロック２０２で始めることができ、較正を実行するためのサウンドバー１１０によって実施される幾つかのプロセスのうちの１つとすることができる。本明細書で説明するプロセス２００は、サウンドバー１１０（例えば、位置推定エンジン１１６及び／又は通知生成器１１８）によって実施されて、単一のラウドスピーカの位置を推定し、及び／又は推定された位置に関する通知を生成することができる。サウンドバー１１０は、マルチチャネルサラウンドサウンドシステムの１又は２以上のラウンドスピーカに対してプロセス２００を繰り返すことができる。例えばサウンドバー１１０は、左サラウンドラウドスピーカ１０６に対して一度、及び右サラウンドラウドスピーカ１０８に対して一度、プロセス２００を実行することができる。
ブロック２０２において、ラウドスピーカは、試験信号を送信するよう指示される。例えば試験信号は、最大長シーケンス（例えば、疑似乱数バイナリシーケンス）とすることができる。有線又は無線接続を介して位置推定エンジン１１６による試験信号を送信するようラウドスピーカに指示することができる。１つの実施形態では、試験信号は５００ｍｓの出力である。ラウドスピーカは、ループバック遅延（例えば、ハードウェアバッファ、ハードウェアフィルタリング、デジタルからアナログへの信号の変換、アナログからデジタルへの信号の変換などによって引き起こされる遅延など、サウンドバー１１０及び／又はラウドスピーカにおけるハードウェア構成要素によって引き起こされる遅延）などの遅延後、試験信号を出力することができる。マイクロフォンアレイ１１４のマイクロフォンは各々、出力された試験信号の結果として生じた音響信号を受信することができる。マイクロフォンアレイ１１４のマイクロフォンは次いで、オーディオ信号にそれぞれ対応する電気信号に音響信号を変換することができる。オーディオ信号は、ストレージデバイス（図示せず）に順次的に録音することができる。例えば、オーディオ信号は、出力された試験信号のダイレクトパス成分並びに部屋環境１００内の物体（例えば、壁、物体など）によって起こる反響を含む可能性がある。ブロック２０２の完了後、プロセス２００はブロック２０４及びプロセス２１８に続く。
ブロック２０４において、変数ｎは、マイクロフォンアレイ１１４のマイクロフォンの数に等しく設定される。例えば変数ｎは、２、３、４、５、６などに設定することができる。
ブロック２０６において、変数ｉは１に等しく設定される。変数ｉは、マイクロフォンアレイ１１４の特定のマイクロフォンを識別することができる。
ブロック２０８において、マイクロフォンｉから録音されたオーディオ信号のフーリエ変換が実行されて、フーリエ変換ｉを生成する。マイクロフォンｉからのオーディオ信号は、設定時間の間録音することができる。例えば、設定時間は、サウンドバー１１０からのラウドスピーカの最大距離及び試験信号の時間長に基づくことができる。例として、サウンドバー１１０からのラウンドスピーカの最大距離は、１５ｍと２０ｍの間と予測することができる。従って、空中の音の速度が約３４２ｍ／ｓであるとすると、出力された試験信号がラウドスピーカからマイクロフォンｉに達する予測される最大伝播時間は、約４３．９ｍｓと５８．５ｍｓの間とすることができる。マイクロフォンｉからのオーディオ信号は、少なくとも予測される最大伝播時間に加えて試験信号の時間長（例えば、少なくとも約５５８．５ｍｓ）の間録音することができる。フーリエ変換は、録音されたオーディオ信号全体（例えば、オーディオ信号の約５５８．５ｍｓ）に対して実行することができる。代替として、フーリエ変換は、録音されたオーディオ信号の一部（例えば、録音されたオーディオ信号の１０ｍｓから３０ｍｓセグメント）に実行することができ、及び／又は複数のフーリエ変換は、録音されたオーディオ信号の異なる部分に実行することができる（例えば、フーリエ変換を録音されたオーディオ信号の各３０ｍｓセグメントに実行することができる）。
ブロック２１０において、プロセス２００は、変数ｉが変数ｎに等しいかどうかを決定する。変数ｉとｎが等しい場合、プロセス２００は、マイクロフォンアレイ１１４の各マイクロフォンから録音されたオーディオ信号にフーリエ変換を実行しブロック２１４に進むことができる。そうでなければ、プロセス２００は、マイクロフォンアレイ１１４の各マイクロフォンから録音されたオーディオ信号にフーリエ変換が実行されず、ブロック２１２に進むことができる。
ブロック２１２において、変数ｉは１ずつ増分される。変数ｉを１だけ増分した後に、プロセス２００はブロック２０８に戻る。
ブロック２１４において、フーリエ変換に基づいて、到着時間差が決定される。例えば、出力された試験信号（例えば音響信号の形態）は、マイクロフォンアレイ１１４のマイクロフォンの異なる位置が与えられた場合に、異なる時間にマイクロフォンアレイ１１４の各マイクロフォンに到達することができる。到着時間差は、この時間差を表すことができる。マイクロフォンアレイ１１４が２つのマイクロフォンを含む場合、到着時間差は以下のように決定することができる。
Figure 2020501419
 （１）
ここで、
Figure 2020501419
は、２つのマイクロフォンの到着時間差であり、Ｘ１（ω）及びＸ２（ω） は、２つのマイクロフォンからそれぞれ録音されたオーディオ信号のフーリエ変換であり、Ｗ（ω）は、加重関数である。加重関数は以下のように定義することができる。
Figure 2020501419
 （２）
代替の実施形態では、位置推定エンジン１１６は、可能な到着時間差推定値のセットを決定し、第１角度を決定する際に用いる到着時間差推定値であるとして１つの到着時間差推定値を選択する。例えば、上述のように、フーリエ変換は、録音されたオーディオ信号の１０ｍｓから３０ｍｓセグメントなど、録音されたオーディオ信号の一部分に実行することができる。試験信号が長い期間（例えば５００ｍｓ）持続する可能性があるので、録音されたオーディオ信号は、類似の時間長を有することができ、複数の等しい又はほぼ等しいセグメントに分割又は区分することができる。到着時間差は、各セグメントに対して決定することができる。例えば、第１到着時間差は、マイクロフォンアレイ１１４の第１マイクロフォンから録音された第１セグメント及びマイクロフォンアレイ１１４の第２マイクロフォンから録音された第１セグメントに対して決定することができ、第２到着時間差は、マイクロフォンアレイ１１４の第１マイクロフォンから録音された第２セグメント及びマイクロフォンアレイ１１４の第２マイクロフォンから録音された第２セグメントに対して決定することができる、等々。位置推定エンジン１１６は、様々な到着時間差推定値をヒストグラムに体系化することができる。例えば、位置推定エンジン１１６は到着時間差推定値を量子化して、量子化された到着時間差推定値をビンに入れることができる。最高発生数を有する到着時間差推定値（例えば、量子化された到着時間差推定値の最高数を有するビン）を、第１角度を決定する際に用いる到着時間差推定値として選択することができる。任意選択的に、各到着時間差推定値は、補間された相互相関から導き出しサブサンプル精度を達成することができる。各到着時間差推定値は、整数部分及び分数部分を含むことができる。到着時間差推定値の整数部分をヒストグラムに体系化することができる。到着時間差の整数部分は、ヒストグラムに基づいて選択することができる（例えば、発生の最高数を有する到着時間差推定値に対応する整数部分は、到着時間差の整数部分として選択することができる）且つ選択された到着時間差推定値に対応する分数部分を整数部分に追加することができる。例として、選択された到着時間差推定値に対応する分数部分は、選択されたビンに整数部分がある最初の到着時間差推定値の分数部分の平均値を取ることによって導くことができる。
ブロック２１６において、到着時間差に基づいて、ラウドスピーカの第１角度が決定される。例えば、マイクロフォンアレイ１１４のマイクロフォン間の距離を既知とすることができる。第１角度は以下のように決定することができる。
Figure 2020501419
 （３）
ここで、ｃは空気中の音の速度であり、ｄはマイクロフォンアレイ１１４のマイクロフォン間の距離であり、
Figure 2020501419
は、到着時間差である。第１角度は、マイクロフォンアレイ１１４のマイクロフォンを通過する線に対するラウドスピーカの中心とマイクロフォンアレイ１１４の中心をつなぐ線の角度を表すことができる。例として、マイクロフォンアレイ１１４のマイクロフォンがｘ−ｙ座標面のｙ成分を持たない線に整列され、ラウドスピーカの中心とマイクロフォンアレイ１１４の中心をつなぐ線がｘ−ｙ座標面のｘ成分を持たないようにラウドスピーカの中心が位置付けられる場合、決定される第１角度は、９０度とすることができる。図８は、１つの実施形態による、図１Ａの例示的な部屋環境１００における第１角度８１０の例を示すハイレベルブロック図を示している。図８に示すように、線８２０は、左サラウンドラウドスピーカ１０６の中心とマイクロフォンアレイ１１４の中心をつなぎ、線８３０は、マイクロフォンアレイ１１４のマイクロフォンを通過する線を表す。第１角度８１０は、線８２０と線８３０の間の角度を表す。第１角度が決定された後、プロセス２００は、図２Ｄに関して詳細に記載されるプロセス２２２に進む。１つの実施形態では、（１）マイクロフォンの各ペアに対する第１角度を決定して（例えば、マイクロフォンの各ペアに対してブロック２１４及び２１６を繰り返す）、次いで結果を融合させることにより、及び／又は（２）線形代数式を用いて到着方向を決定することによって、２より多いマイクロフォンを含むマイクロフォンアレイ１１４についての第１角度を決定することができる。
図２Ｂは、例示的なＤＰＣ選択プロセス２１８を示している。１つの実施形態では、プロセス２１８は、図１Ａ−１Ｂに関して上述したサウンドバー１１０（例えば、位置推定エンジン１１６）を含む、本明細書で説明されるシステムの何れかによって実行することができる。実施形態によっては、プロセス２１８は、より少ない及び／又は追加のブロックを含むことができ、又は図示したものとは異なる順序でブロックを実行することができる。
プロセス２１８は、プロセス２００のブロック２０２が完了した後、ブロック２２４で開始することができる。ブロック２２４において、変数ｎがマイクロフォンアレイ１１４のマイクロフォンの数に等しく設定される。例えば変数ｎは、２、３、４、５、６などに設定することができる。
ブロック２２６において、変数ｉは１に等しく設定される。変数ｉは、マイクロフォンアレイ１１４の特定のマイクロフォンを識別することができる。
ブロック２２８において、マイクロフォンｉから録音されたオーディオ信号及び試験信号から得られたインパルス応答における最大ピークが決定される。例として、位置推定エンジン１１６は、録音されたオーディオ信号のフーリエ変換を行い、試験信号のフーリエ変換で結果を除算することによって、インパルス応答を導くことができる。除算は、伝達関数のフーリエ変換を生じる。位置推定エンジン１１６は、伝達関数のフーリエ変換の逆フーリエ変換を行い、インパルス応答を導くことができる。１つの実施形態では、位置推定エンジン１１６は、ラウドスピーカが試験信号を出力するよう指示された後に１つのループバック遅延に対応する時間に開始し且つ試験信号に加えて試験信号の時間長を受信するための予測最大時間量に対応する時間に終わる、時間ウィンドウ内の最大ピークを識別する。
ブロック２３０において、決定された最大ピークに基づいて、閾値振幅が決定される。例えば、閾値振幅は、決定された最大ピークの設定パーセンテージ（例えば、５０％、６０％、７０％、８０％、９０％など）とすることができる。
ブロック２３２において、最大ピークの時間前の時間に対応し且つ閾値振幅よりも大きなインパルス応答のピークが存在するかどうかが決定される。場合によっては、部屋環境１００内の反響に起因して、最大ピークは、ＤＰＣ（例えば、１又は２以上の表面から反射した後にマイクロフォンｉに達することがある他のオーディオ信号とは対照的にラウドスピーカからマイクロフォンｉへのダイレクトパスで移動するオーディオ信号）ではない。従って、位置推定エンジン１１６は、最大ピークの前に発生し且つ一定の閾値より上の振幅を有する別のピークを発見することによってＤＰＣを決定することができる。
ブロック２３４において、プロセス２１８は、閾値振幅よりも大きな振幅を有する最大ピーク前のピークが存在する場合、ブロック２３８に進む。そうでなければ、プロセス２１８はブロック２３６に進む。
ブロック２３６において、マイクロフォンｉのＤＰＣは、最大ピークになるよう設定される。例えば、ＤＰＣは、ＤＰＣとみなされるのに十分高い振幅を有する他のピークが最大ピーク前に起こっていないので、最大ピークに設定することができる。図３は、マイクロフォンアレイ１１４のマイクロフォン３１４Ａについてのインパルス応答及びマイクロフォンアレイ１１４のマイクロフォン３１４Ｂについてのインパルス応答を示す、例示的なグラフ３００を示している。図３に示すように、ピーク３１０Ａは、マイクロフォン３１４Ａのインパルス応答の最大ピークであり、ピーク３１０Ｂは、マイクロフォン３１４Ｂのインパルス応答の最大ピークである。ピーク３１０Ａ及び３１０Ｂの前に起こるピークは、閾値振幅を超えない場合があり、従って、ピーク３１０Ａは、マイクロフォン３１４Ａのインパルス応答のＤＰＣとして設定することができ、ピーク３１０Ｂは、マイクロフォン３１４Ｂのインパルス応答のＤＰＣとして設定することができる。
ブロック２３８において、マイクロフォンｉのＤＰＣは、最大ピークの時間前の時間に対応し且つ閾値振幅よりも大きいインパルス応答における第１ピークになるよう設定される。例えば、最大ピーク前に起こる複数のピークは、閾値振幅を超えることがある。しかしながら、閾値振幅を超える第１ピークは、ＤＰＣとして選択することができる。
ブロック２４０において、プロセス２１８は、変数ｉが変数ｎに等しいかどうかを決定する。変数ｉ及びｎが等しい場合、プロセス２１８は、マイクロフォンアレイ１１４の各マイクロフォンのＤＰＣを決定し、プロセス２２０のブロック２４４に進むことができる。そうでなければ、プロセス２１８は、マイクロフォンアレイ１１４の各マイクロフォンに対してＤＰＣを決定せず、ブロック２４２に進むことができる。
ブロック２４２において、変数ｉは１ずつ増分される。変数ｉを１増分した後で、プロセス２１８はブロック２２８に戻る。
図２Ｃは、ＤＰＣを用いた例示的なラウドスピーカ角度決定プロセス２２０を示している。１つの実施形態では、プロセス２２０は、図１Ａ−１Ｂに関して上述したサウンドバー１１０（例えば、位置推定エンジン１１６）を含む、本明細書で説明するシステムの何れかによって実行することができる。実施形態によっては、プロセス２２０は、より少ない及び／又は追加のブロックを含むことができ、或いは、ブロックは、図示したものとは異なる順序で実行することができる。
プロセス２２０は、プロセス２１８のブロック２４０が完了した後、ブロック２４４で開始することができる。ブロック２４４において、各ＤＰＣの周りの時間ウィンドウが選択される。例えば、位置推定エンジン１１６は、各マイクロフォンｉＤＰＣに対して、それぞれのＤＰＣの周りの時間ウィンドウを選択することができる。時間ウィンドウは、ＤＰＣピークの時間前の数ｍｓ（例えば、１０ｍｓ、２０ｍｓなど）で開始することができ、ＤＰＣピークの時間後の数ｍｓ（例えば、１０ｍｓ、２０ｍｓなど）で終了することができる。
ブロック２４６において、選択された時間ウィンドウの間の相互相関が、時間遅延を推定するために決定される。例えば、位置推定エンジン１１６は、選択された時間ウィンドウに含まれるデータの相互相関を決定することができる。推定された時間遅延は、相互相関データの開始（例えば、マイクロフォンｉ時間ウィンドウの開始に対応する時間）と相互相関データが最高振幅を有する時間との間の時間の長さに対応することができる。任意選択的に、時間遅延推定の精度を改善するために、相互相関出力に対して補間を実行することができる。代替の実施形態では、位置推定エンジン１１６は、第２マイクロフォンのＤＰＣピークに対応する時間から第１マイクロフォンのＤＰＣピークに対応する時間を減算することによって推定時間遅延を決定することができる。しかしながら、この方式は、一部の実施形態では１サンプルのエラーでさえ結果として得られる角度決定に重大な影響を与える可能性があるので、相互相関を実行するよりも高いノイズをもたらすことがある。
ブロック２４８において、推定時間遅延に基づいて、第２角度が決定される。例えば、式（３）を推定時間遅延（例えば、到着時間差に置き換える）と共に用いて、第２角度を決定することができる。第２角度は、マイクロフォンアレイ１１４のマイクロフォンを通過する線に対するマイクフォンアレイ１１４の中心とラウドスピーカの中心をつなぐ線の角度を表すことができる。プロセス２２０が第２角度を決定すると、プロセス２２０は、プロセス２２２のブロック２５０に進むことができる。
図２Ｄは、例示的なラウドスピーカ異常状態検出プロセス２２２を示している。１つの実施形態では、プロセス２２２は、図１Ａ−１Ｂに関して上述したサウンドバー１１０（例えば、位置推定エンジン１１６及び／又は通知生成器１１８）を含む、本明細書で説明するシステムの何れかによって実行することができる。実施形態によっては、プロセス２２２はより少ない及び／又は追加のブロックを含むことができ、又は図示したものとは異なる順序でブロックを実行することができる。
プロセス２２２は、プロセス２２０のブロック２４８が完了した後、ブロック２５０で開始することができる。ブロック２５０において、第１角度が第２角度と比較される。一部の実施形態では、ブロック２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び２１６、プロセス２１８、及びプロセス２２０は、複数回繰り返される。従って、第１角度及び第２角度は、一連の試験を介して比較することができる。
決定された第１角度は、ラウドスピーカの出力がマイクロフォンアレイ１１４に直接向いているときに正確であるとすることができる。しかしながら、ラウドスピーカの出力が、マイクロフォンアレイ１１４に向いた方向以外の方向に面しているとき、又はマイクロフォンアレイ１４とラウドスピーカとの間の経路に障害物があるときに、決定された第１角度は正確でないとすることができる。ラウドスピーカの出力がマイクロフォンアレイ１１４に直接向いているときには、決定された第２角度も正確であるとすることができ、ラウドスピーカがマイクロフォンアレイ１１４に向いた方向以外の方向に面しているとき、又はマイクロフォンアレイ１１４とラウドスピーカとの間の経路に障害物があるときに、決定された第１角度よりも決定された第２角度が正確であるとすることができる。
従って、ブロック２５２において、第１角度と第２角度との差が閾値角度値よりも大きいかどうか、比較に基づいて決定される。２つの角度の差が閾値角度値を超える場合、これは、異常状態が存在することを示すことができる。例として、閾値角度値は、０と１５度の間とすることができる。ラウドスピーカがマイクロフォンアレイ１１４に面していないか、又は物体がラウドスピーカとマイクロフォンアレイ１１４との間の経路を塞いでいるときにＤＰＣ技術の比較的一貫した精度及びＧＣＣ−ＰＨＡＴ技術の不正確さを前提とすると、位置推定エンジン１１６は、このような状況ではＤＰＣ方法によって得られた結果を提供することができる。しかしながら、２つの角度の間の差が閾値角度値を超えない場合でも、ラウドスピーカの正しくない又は非理想の角度及び／又は正しくない又は非理想のラウドスピーカ位置が、依然として存在することがある。
ブロック２５４において、２つの角度が閾値角度値内である場合、プロセス２２２はブロック２５６に進む。そうでなければ、プロセス２２２はブロック２６２に進む。図４は、決定された第１角度４１０（例えば、ＧＣＣ−ＰＨＡＴ技術を用いて決定された）及び決定された第２角度４２０（例えば、ＤＰＣ技術を用いて決定された）が同様の値を有する状況を示す例示的なグラフ４００を示している。例えば、決定された第１角度４１０及び決定された第２角度４２０の値は、閾値角度値内とすることができる（例えば、角度は約０.３度内である）。複数の第１及び第２角度４１０及び４２０が決定されるように複数の試験を実行することができる。図５は、決定された第１角度５１０（例えば、ＧＣＣ−ＰＨＡＴ技術を用いて決定された）及び決定された第２角度４５０（例えば、ＤＰＣ技術を用いて決定された）が同様の値を持たない状況を示す例示的なグラフ５００を示している。例えば、決定された第１角度５１０及び決定された第２角度５２０の値は、閾値角度値内にないことがある（例えば、角度は約１１度離れている）。複数の第１及び第２角度５１０及び５２０が決定されるように複数の試験を実行することができる。
ブロック２５６において、第１及び／又は第２角度が、理想角度と比較される。理想角度は、理想ラウドスピーカレイアウトから得られ又は提供される角度とすることができる。この比較を実行して、ラウドスピーカの正しくない又は非理想の角度及び／又は正しくない又は非理想のラウドスピーカ位置が存在するかどうかを決定することができる。
ブロック２５８において、プロセス２２２は、第１及び／又は第２角度が理想角度（例えば、ラウドスピーカの正しくない又は非理想の角度及び／又は正しくない又は非理想のラウドスピーカ位置が検出されないことを示す）の閾値角度値（ブロック２５２又は２５４と同じ閾値角度値か又は異なるかの何れか）内である場合、ブロック２６０に進む。そうでなければ、プロセス２２２はブロック２６２に進む。
ブロック２６０において、エラーは検出されない。位置推定エンジン１１６は、エラーが検出されなかったことを通知生成器１１８に示すことができる。通知生成器１１８は、エラーが検出されなかったこと、ラウドスピーカの角度が正しいこと、及び／又は物体がラウドスピーカとサウンドバー１１０（例えば、マイクロフォンアレイ１１４）との間の経路を塞いでいないことを示す通知を生成することができる。代替として、通知生成器１１８は、通知を生成しなくてもよい。サウンドバー１１０は、決定された角度及び／又はＤＰＣピークに基づいて決定された距離の何れかを用いて較正の残りの部分を実行することができる。
ブロック２６２において、異常状態が検出される。位置推定エンジン１１６は、異常状態が検出されたことを通知生成器１１８に示すことができる。通知生成器１１８は、物体がマイクロフォンアレイ１１４とラウドスピーカとの間の経路を塞いでいること及び／又は物体を取り除かなくてはならないこと、ラウドスピーカの正しくない又は非理想の角度が検出されたこと、正しくない又は非理想のラウドスピーカ位置が検出されたこと、及び／又は正しくない極性が検出されたことを示す通知を生成することができる。
代替として又はこれに加えて、通知は、ラウドスピーカが間違って向けられていることを示すことができる。例えば、通知は、ラウドスピーカの向きをチェックする（例えば、ラウドスピーカが円１３０の中心に向けられているかどうかチェックする）ようリスナー１２０に通知することができる。
代替として又はこれに加えて、通知は、ラウドスピーカが正しくない位置を有する（例えば、ラウドスピーカが繋がれている出力が与えられる場合に、ラウドスピーカが部屋の間違った側に配置されている）ことを示すことができる。例えば、較正が開始されたときには、サウンドバー１１０は、試験信号を出力するようラウドスピーカの１又は２以上に指示する。従って、サウンドバー１１０は、例えば、どのサラウンドラウドスピーカが所与の時間に試験信号を出力しているかを認識する。左サラウンドラウドスピーカ１０６が右サラウンドジャックに接続され右サラウンドラウドスピーカ１０８が左サラウンドジャックに接続されるように、リスナー１２０が左サラウンド及び右サラウンドラウドスピーカを配線した場合、サウンドバー１１０は、右サラウンドラウドスピーカ１０８が試験信号を出力することが予測されるときに試験信号を出力するよう左サラウンドラウドスピーカ１０６に指示することができる。決定された第２角度（及び／又は決定された第１角度）は、左サラウンドラウドスピーカ１０６が試験信号を出力し且つ右サラウンドラウドスピーカ１０８が出力しない場合、予測される値を有することができる。従って、代わりの指定のラウドスピーカに予測される値（例えば、右サラウンドラウドスピーカに予測される値に類似である左サラウンドラウドスピーカの決定された第２角度の値）は、位置推定エンジン１１６によって認識することができ、リスナー１２０に相応に通知することができる。追加の実施形態では、リスナー１２０がラウドスピーカを手動で交換しなくてよいように、サウンドバー１１０は、このような状況でサウンドバー１１０の内部配線をリルートすることができる。
代替として又はこれに加えて、通知は、ラウドスピーカが正しくない極性を有することを示すことができる。例えば、ユーザは、ラウドスピーカの正入力を負ジャックに接続することができ、ラウドスピーカの負入力を正ジャックに接続することができる。このような状況では、マイクロフォンアレイ１１４のマイクロフォンから録音されたオーディオ信号は、試験信号と位相ずれ（例えば、１８０度位相ずれ）になる可能性がある。従って、位置推定エンジン１１６は、録音されたオーディオ信号と試験信号を比較することができる。２つの信号が一定の値の閾値（例えば、１８０度）内で互いに位相ずれである場合、正しくない極性を位置推定エンジン１１６によって認識することができ、リスナー１２０に適切に通知することができる。追加の実施形態では、リスナー１２０が手動でラウドスピーカを再配線しなくてよいように、サウンドバー１１０は、このような状況で極性を逆にするためにサウンドバー１１０の内部配線をリルートすることができる。
代替として又はこれに加えて、通知は、ラウドスピーカ位置が正しくない又は非理想の的であること、及び／又はラウドスピーカを再位置付けしなくてはならない位置を示すことができる。例えば、ＤＰＣピークは、ラウドスピーカとマイクロフォンアレイ１１４との間の距離に対応することができる。ＤＰＣピークがラウドスピーカからマイクロフォンアレイ１１４までのオーディオ信号のダイレクトパスに対応するので、ラウドスピーカが試験信号を出力するよう指示された時間にループバック遅延を付加して、ＤＰＣピークが起こった時間から組み合わせ時間を減算することは、オーディオ信号がラウドスピーカからマイクロフォンアレイ１１４に移動した時間に対応する。この時間は、空気中の音速で時間を乗算することによって位置推定エンジン１１６による距離推定値に変換することができる。この距離推定値は、ラウドスピーカとマイクロフォンアレイ１１４との間の距離を表すことができる。距離推定値は、角度推定値（例えば、第１角度）と組み合わせてラウドスピーカの可能な位置を決定することができる。位置推定エンジン１１６は、決定された可能な位置に基づいて最適再生のためにオーディオ信号を修正する補償成分によって使用する補償パラメータを取得することができ、及び／又は決定された可能な位置は、ユーザデバイス１４０上のグラフィカルユーザインタフェースに表示することができる。位置推定エンジン１１６はまた、ラウドスピーカを再位置付けするための提案される位置として実施可能な位置に近い推奨される配置円１３０に沿った位置（例えば、標準的なレイアウトにおける最も近い位置）を決定することもできる。一部の実施形態では、較正は、ラウドスピーカを推奨される位置に再位置付けした後に実行することができる。一部の実施形態では、ラウドスピーカの１又は２以上の可能な位置は、ユーザデバイス１４０上のグラフィカルユーザインタフェースに表示され、リスナー１２０は、ラウドスピーカの物理的な位置にぴったりの位置を選択することができる（例えば、リスナー１２０がラウドスピーカの再位置付けを要求されないように）。
ブロック２６０又は２６２で生成された通知は、通知生成器１１８によってネットワーク１１５を介してユーザデバイス１４０に送信することができる。ユーザデバイス１４０は通知を表示することができる。
代替の実施形態では、決定された角度の間の差が閾値角度値を超える場合、位置推定エンジン１１６は、決定された第２角度及び／又は較正を実行する場合に使用するＤＰＣピークに基づいて決定された距離を選択する。従って、通知を生成しなくてもよく較正を完了させることができる。
例示的なグラフィカルユーザインタフェース
図６は、図１Ｂのユーザデバイス１４０によって表示することができる例示的なグラフィカルユーザインタフェース（ＧＵＩ）６００を示している。例えば、ユーザデバイス１４０は、ユーザデバイス１４０にＧＵＩ６００を表示させるアプリケーションを実行することができる。ＧＵＩ６００は、較正ボタン６６０、補償ボタン６６２、及びサウンドバー６１０のグラフィカル表示、リスナー６２０、左サラウンドラウドスピーカ６０６、及び右サラウンドラウドスピーカ６０８を含むことができる。
較正ボタン６６０の選択は、ユーザデバイス１４０に、サウンドバー６１０（例えば、物理デバイスでありＧＵＩ６００に示した表現ではない）に命じて空間及び／又は非空間（例えば、正しくない極性検出）較正を実行させることができる。較正の一部として、サウンドバー６１０は、本明細書で説明するように通知を生成することができる。通知が生成された場合、通知をユーザデバイス１４０に送信してＧＵＩ６００に表示することができる。代替として、サウンドバー６１０が較正の結果をユーザデバイス１４０に送信することができ、ユーザデバイス１４０が、通知を生成すべきかどうかを決定することができる。
補償ボタン６６２の選択は、補償プロセスのオン及びオフを切り替えることができる。加えて、リスナー６２０アイコンを選択してＧＵＩ内でドラッグし、リスナー６２０の真の位置を表すことができる。ＧＵＩ６００内で、リスナー６２０が、ラウドスピーカ６０６及び６０８のレイアウト、リスナー６２０の位置、ラウドスピーカ６０６及び６０８の位置などを変更するのを可能にする追加の選択肢を選択することができる（図示せず）。例えば、通知がリスナー６２０に提供される及び／又は較正が１又は２以上の回数起動された後に異常状態の検出が続く場合、これらの追加の選択肢（例えば、リスナー６２０が幾つかの可能な表示選択肢からＧＵＩ６００でラウドスピーカの位置を選択できるようにする手動較正選択肢など）をリスナー６２０に提示することができる。
別の例示的なラウドスピーカ位置推定プロセス
図７は、別の例示的なラウドスピーカ位置推定プロセス７００を示している。１つの実施形態では、プロセス７００は、図１Ａ−１Ｂに関して上述したサウンドバー１１０（例えば、位置推定エンジン１１６及び／又は通知生成器１１８）を含む本明細書で説明したシステムの何れかによって実行することができる。実施形態によっては、プロセス７００は、より少ない及び／又は追加のブロックを含むことができ、又は図示したものとは異なる順序でブロックを実行することができる。
ブロック７０２において、試験信号を送信するようラウドスピーカに命じられる。例えば試験信号は最大長シーケンスとすることができる。ラウドスピーカに命じて有線又は無線接続を介して位置推定エンジン１１６による試験信号を送信することができる。マイクロフォンアレイ１１４のマイクロフォンは各々、出力された試験信号の結果としてオーディオ信号を生成することができる。オーディオ信号はストレージデバイス（図示せず）に録音することができる。
ブロック７０４において、第１角度が、第１技術を用いてマイクロフォンアレイ１１４の第１マイクロフォンから録音された第１オーディオ信号及びマイクロフォンアレイ１１４の第２マイクロフォンから録音された第２オーディオ信号に基づいて決定される。この第１技術は、ラウドスピーカの位置を推定するために用いられる何れの技術にもすることができる。例えば第１技術は、本明細書で説明するＧＣＣ−ＰＨＡＴ技術とすることができる。
ブロック７０６において、第２角度が第２技術を用いて第１オーディオ信号及び第２オーディオ信号に基づいて決定される。この第２技術は、第１技術以外のラウドスピーカの位置を推定するために用いられる何れかの技術とすることができる。例えば第２技術は、本明細書で説明するＤＰＣ技術とすることができる。
図７に示すように、ブロック７０４及び７０６は、順序通りに実行され、ブロック７０４が最初に実行される。しかしながら、これは限定を意図するものではない。例えば、ブロック７０４及び７０６を連続して実行することができ、ブロック７０６を最初に実行することもできる。別の例として、ブロック７０４及び７０６を同時に実行することができる。
ブロック７０８において、異常状態が存在するかどうかが、第１角度と第２角度の比較に基づいて決定される。例えば、第１角度と第２角度が閾値角度値より大きく異なる場合、本明細書で説明する異常状態の１又は２以上などの異常状態が存在することになる。そうでなければ、異常状態が存在しないことになる。
追加の実施形態
本開示の１つの態様は、マルチチャネルサラウンドサウンドシステムにおけるラウドスピーカの位置を推定する装置を提供する。本装置は、第１マイクロフォン及び第２マイクロフォンを含むマイクロフォンアレイを備え、第１マイクロフォンは、試験信号を出力するラウドスピーカに応答して第１オーディオ信号を生成するよう構成され、第２マイクロフォンは、試験信号を出力するラウドスピーカに応答して第２オーディオ信号を生成するように構成される。本装置は更に、マイクロフォンアレイに結合された位置推定エンジンを備え、位置推定エンジンは、第１オーディオ信号及び第２オーディオ信号に基づいて到着時間差を決定し、到着時間差に基づいて第１角度を決定し、第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別し、第２オーディオ信号から得られたインパルス応答における第２ダイレクトパス成分を識別し、第１ダイレクトパス成分及び第２ダイレクトパス成分に基づいて第２角度を決定し、第１角度と第２角度の比較に基づいて異常状態が存在するかどうかを決定する、ように構成される。
前段落の装置は、以下の特徴の何れかの部分的組み合わせを有することができ、位置推定エンジンは更に、第１オーディオ信号のフーリエ変換を生成して第１フーリエ変換を形成し、第２オーディオ信号のフーリエ変換を生成して第２フーリエ変換を形成し、第１フーリエ変換及び第２フーリエ変換に基づいて到着時間差を決定する、よう構成され、位置推定エンジンは更に、第１オーディオ信号の異なる部分及び第２オーディオ信号の異なる部分に基づいて他の到着時間差を決定し、到着時間差と他の到着時間差を集約し、集約された到着時間差における到着時間差に対応する値の発生の数に基づいて第１角度を決定するための到着時間差を選択するよう構成され、位置推定エンジンは更に、第１オーディオ信号から得られたインパルス応答における最高振幅に基づいて第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別するよう構成され、位置推定エンジンは更に、第１オーディオ信号から得られたインパルス応答における最高振幅の前に発生し且つ最高振幅の閾値内である第１オーディオ信号から得られたインパルス応答における第１振幅に基づいて第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別するよう構成され、位置推定エンジンは更に、第１ダイレクトパス成分を含む第１時間ウィンドウを選択し、第２ダイレクトパス成分を含む第２時間ウィンドウを選択し、第１時間ウィンドウのデータ及び第２時間ウィンドウのデータを用いて相互相関を決定し、決定した相互相関を用いて第２角度を決定するよう構成され、位置推定エンジンは更に、第１角度と第２角度を比較し、第１角度及び第２角度が閾値角度値内にないという決定に応答して異常状態が存在すると決定するよう構成され、位置推定エンジンは更に、第１角度及び第２角度が閾値角度値内にあるという決定に応答して異常状態が存在しないと決定するよう構成され、閾値角度値は０と１５度の間を含み、本装置は更に、異常状態が存在するという決定に応答してネットワークを介してユーザデバイスに通知を送信するよう構成された通知生成器を含み、この通知は、ラウドスピーカの角度が正しくないという指示、物体がラウドスピーカとマイクロフォンアレイの間の経路を塞いでいるという指示、ラウドスピーカの極性が正しくないという指示、又はラウドスピーカの位置が正しくないか又は理想的でないという指示の１つを含み、位置推定エンジンは更に、試験信号の出力をラウドスピーカに指示するよう構成され、本装置は、サウンドバー、音声／視覚（Ａ／Ｖ）受信機、中央スピーカ、又はテレビジョンの１つを備え、マルチチャネルサラウンドサウンドシステムは、ステレオ、２．１、３．１、５．１、５．２、７．１、７．２、１１．１、１１．２、又は２２．２スピーカレイアウトのうちの１つに配列される。
（用語）
本明細書で記載したこと以外の多くの他の変形形態は、本開示から明らかになるであろう。例えば実施形態によっては、本明細書で説明したアルゴリズムの何れかの一定の動作、事象、又は機能は、異なる順序で実行することができ、追加することができ、統合することができ、又は互いに省くことができる（例えば、全ての説明した動作又は事象が必ずしもアルゴリズムの実施に必要であるわけではない）。一定の実施形態では、動作又は事象は、同時に、例えば、マルチスレッドプロセス、割り込みプロセス、又はマルチプロセッサ又はプロセッサコア、又は順次ではない他の並行アーキテクチャを介して実行することができる。加えて、異なるタスク又はプロセスは、共に機能することができる異なる機械及び／又はコンピュータシステムによって実行することができる。
本明細書で開示した実施形態に関して記載される様々な例証の論理ブロック、モジュール、及びアルゴリズムのステップは、電子ハードウェア、コンピュータソフトウェア、又はこれらの組み合わせとして実施することができる。ハードウェアとソフトウェアのこの互換性を分かり易く示すために、様々な例証の構成要素、ブロック、モジュール、及びステップが、これらの機能の点で全体的に説明されている。このような機能がハードウェア又はソフトウェアとして実施されるかどうかは、特定の応用及び全体のシステムに課される設計制約に依存する。記載された機能は、各特定の応用に対して異なる方式で実施することができるが、このような実施の決定は、本開示の範囲から逸脱するものとして解釈すべきではない。
本明細書で開示した実施形態に関して説明した様々な例証の論理ブロック及びモジュールは、デジタル論理回路を含むハードウェアプロセッサ、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理、離散的ハードウェア構成要素、又は本明細書で説明する機能を実行するよう設計されたこれらの何れかの組み合わせなどの機械によって実施又は実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替として、プロセッサは、コントローラ、マイクロコントローラ、又は状態機械、同様の組み合わせなどとすることができる。プロセッサは、コンピュータ実行可能命令をプロセスするよう構成された電気回路を含むことができる。別の実施形態では、プロセッサは、コンピュータ実行可能命令をプロセスすることなく論理動作を実行するＦＰＧＡ又は他のプログラマブルデバイスを含む。プロセッサは、コンピュータデバイスの組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動した１又は２以上のマイクロプロセッサ、又は何れかの他のこのような構成として実施することもできる。コンピュータ環境は、限定されないが、例を挙げると、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、携帯式コンピュータデバイス、デバイスコントローラ、又は機器内のコンピュータエンジンに基づくコンピュータシステムを含む何れかのタイプのコンピュータシステムを含むことができる。
本明細書で開示した実施形態に関して説明した方法、プロセス、又はアルゴリズムのステップは、ハードウェアで直接、１又は２以上のメモリデバイスに格納され且つ１又は２以上のプロセッサによって実行されるソフトウェアモジュールで、又はこの２つの組み合わせで実施することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、又は非一時的コンピュータ可読ストレージ媒体、複数の媒体、又は当技術で既知の物理的コンピュータストレージの何れかの他の形態に存在することができる。例示的なストレージ媒体は、プロセッサがストレージ媒体から情報を読み取りストレージ媒体に情報を書き込むことができるようにプロセッサに結合することができる。代わりに、ストレージ媒体は、プロセッサに統合することができる。ストレージ媒体は、揮発性又は不揮発性とすることができる。プロセッサ及びストレージ媒体はＡＳＩＣに存在することができる。
とりわけ、「ｃａｎできる」、「ｍｉｇｈｔ」、「ｍａｙ」、「ｅ．ｇ．」などの本明細書で使用する条件言語は、一般的には、他に具体的に指示がない限り、又は使用される文脈内で理解される以外は、特定の実施形態が、特定の特徴、要素及び／又は状態を含むが、他の実施形態は含まないことを伝えることが意図される。従って、このような条件言語は、一般的には、特徴、要素及び／又は状態が、１又は２以上の実施形態に要求されること、又は１又は２以上の実施形態が、これらの特徴、要素及び／又は状態が何れかの特定の実施形態に含まれるか又は実行されるかどうかを、作成者入力又は指示の有無に関わらず、決定するための論理を必然的に含むことを意味するものではない。「ｃｏｍｐｒｉｓｉｎｇ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｈａｖｉｎｇ（有する）」などの語は同義語であり、包括的に、オープンエンド方式で使用され、追加の要素、特徴、動作、作動などを除外するものではない。「ｏｒ」という語は、例えば要素のリストをつなぐために使用されたときに、リストの中の要素の１つ、幾つか、又は全部を意味するように包括的な意味で（及び排他的な意味ではなく）使用される。本明細書で使用する「各々」という語は、その元々の意味を持つことに加えて、「各」という語が付けられる要素のセットの何れのサブセットも意味することができる。
「Ｘ、Ｙ及びＺの少なくとも１つ」という句のような離接語は、他に具体的に指示がない限り、項目、語などが、Ｘ、Ｙ、又はＺ、又はこれらの組み合わせの何れかであることを伝えるために一般的に使用される文脈によって理解すべきである。従って、このような接続語は、一般的には、特定の実施形態が、Ｘの少なくとも１つ、Ｙの少なくとも１つ及びＺの少なくとも１つが各々存在することを要求することを意味するようには意図されない。
他に明示的に指示されない限り、「ａ」又は「ａｎ」などの冠詞は、一般的には１又は２以上の記述された項目を含むと解釈すべきである。従って、「ように構成されたデバイス」などの句は、１又は２以上の列挙されたデバイスを含むことを意図する。このような１又は２以上の列挙されたデバイスは、表示された列挙を実行するようまとめて構成することもできる。例えば、「列挙Ａ、Ｂ及びＣを実行するよう構成されたプロセッサ」は、列挙Ｂ及びＣを実行するよう構成された第２プロセッサと共に作用する列挙Ａを実行するよう構成された第１プロセッサを含むことができる。
上記の詳細な説明は、様々な実施形態に適用される新しい特徴を図示、説明、及び指摘してきたが、図示したデバイス又はアルゴリズムの形態及び詳細における様々な省略、置換、及び変更は、本開示の精神から逸脱することなく行い得ることが理解されるであろう。理解されるように、本明細書で説明した本発明の特定の実施形態は、一部の特徴を他の特徴とは別に使用又は実施できる場合に、本明細書に示した特徴及び利点の全てを提供しない形式で実施することができる。
１００ 部屋環境
１０２ ＴＶ
１０４ サブウーファ
１０６ 左サラウンド
１０８ 右サラウンド
１０９ 推奨される位置
１１０ サウンドバー
１１２ スピーカアレイ
１１４ マイクロフォンアレイ
１１６ 位置推定エンジン
１２０ リスナー
１２２ カウチ
１３０ 推奨される配置円

Claims (20)

  1. マルチチャネルサラウンドサウンドシステムにおけるラウドスピーカの位置を推定する装置であって、前記装置が、
    第１マイクロフォン及び第２マイクロフォンを含むマイクロフォンアレイであって、前記第１マイクロフォンが、試験信号を出力する前記ラウドスピーカに応答して第１オーディオ信号を生成するよう構成され、前記第２マイクロフォンが、前記試験信号を出力する前記ラウドスピーカに応答して第２オーディオ信号を生成するように構成される、マイクロフォンアレイと、
    前記マイクロフォンアレイに結合された位置推定エンジンと、
    を備え、
    前記位置推定エンジンが、
    前記第１オーディオ信号及び前記第２オーディオ信号に基づいて到着時間差推定値を決定し、
    前記到着時間差推定値に基づいて第１角度を決定し、
    前記第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別し、
    前記第２オーディオ信号から得られたインパルス応答における第２ダイレクトパス成分を識別し、
    前記第１ダイレクトパス成分及び前記第２ダイレクトパス成分に基づいて第２角度を決定し、
    前記第１角度と前記第２角度の比較に基づいて異常状態が存在するかどうかを決定する、
    ように構成される、装置。
  2. 前記位置推定エンジンが更に、
    前記第１オーディオ信号を１又は２以上の第１セグメントに区分し、
    前記第２オーディオ信号を１又は２以上の第２セグメントに区分し、
    前記１又は２以上の第１セグメントにおける第１セグメントのフーリエ変換を生成して第１フーリエ変換を形成し、
    前記１又は２以上の第２セグメントにおける第１セグメントのフーリエ変換を生成して第２フーリエ変換を形成し、
    前記第１フーリエ変換及び前記第２フーリエ変換に基づいて前記到着時間差推定値を決定する、
    ように構成される、ことを特徴とする請求項１に記載の装置。
  3. 前記位置推定エンジンは更に、
    前記１又は２以上の第１セグメント及び前記１又は２以上の第２セグメントの生成されたフーリエ変換に基づいて複数の到着時間差推定値を決定し、
    前記複数の到着時間差推定値をヒストグラムに集約し、
    前記ヒストグラムにおいて最多発生を有する前記複数の到着時間差推定値のうちの１つの到着時間差推定値に基づいて前記到着時間差推定値を決定する、
    ように構成されることを特徴とする請求項２に記載の装置。
  4. 前記位置推定エンジンは更に、前記第１オーディオ信号から得られたインパルス応答における最高振幅に基づいて、前記第１オーディオ信号から得られたインパルス応答における前記第１ダイレクトパス成分を識別するように構成される、
    ことを特徴とする請求項１に記載の装置。
  5. 前記位置推定エンジンは更に、
    前記第１ダイレクトパス成分を含む第１時間ウィンドウを選択し、
    前記第２ダイレクトパス成分を含む第２時間ウィンドウを選択し、
    前記第１時間ウィンドウのデータ及び前記第２時間ウィンドウのデータを用いて相互相関を決定し、
    前記決定した相互相関を用いて前記第２角度を決定する、
    ように構成される、
    ことを特徴とする請求項１に記載の装置。
  6. 前記位置推定エンジンは更に、
    前記第１角度と前記第２角度を比較し、
    前記第１角度及び前記第２角度が閾値角度値内ではないという決定に応答して前記異常状態が存在すると決定する、
    ように構成される、
    ことを特徴とする請求項１に記載の装置。
  7. 前記閾値角度値は、０と１５度の間の値を含む、
    ことを特徴とする請求項６に記載の装置。
  8. 前記異常状態が存在するという決定に応答してネットワークを介してユーザデバイスに通知を送信するよう構成された通知生成器を更に備える、
    ことを特徴とする請求項１に記載の装置。
  9. 前記通知は、前記ラウドスピーカの角度が正しくないという指示、物体が前記ラウドスピーカと前記マイクロフォンアレイの間の経路を塞いでいるという指示、前記ラウドスピーカの極性が正しくないという指示、又は前記ラウドスピーカの位置が正しくないという指示のうちの１つを含む、
    ことを特徴とする請求項８に記載の装置。
  10. 前記装置は、サウンドバー、音声／視覚（Ａ／Ｖ）受信機、中央スピーカ、又はテレビジョンのうちの１つを含む、
    ことを特徴とする請求項１に記載の装置。
  11. 前記マルチチャネルサラウンドサウンドシステムは、ステレオ、２．１、３．１、５．１、５．２、７．１、７．２、１１．１、１１．２、又は２２．２スピーカレイアウトのうちの１つに配列される、
    ことを特徴とする請求項１に記載の装置。
  12. マルチチャネルサラウンドサウンドシステムにおけるラウドスピーカの位置を推定する方法であって、前記方法は、
    前記マイクロフォンアレイの第１マイクロフォンから第１オーディオ信号及び前記マイクロフォンアレイの第２マイクロフォンから第２オーディオ信号を受信する段階と、
    前記第１オーディオ信号及び前記第２オーディオ信号に基づいて到着時間差推定値を決定する段階と、
    前記到着時間差推定値に基づいて第１角度を決定する段階と、
    前記第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別する段階と、
    前記第２オーディオ信号から得られたインパルス応答における第２ダイレクトパス成分を識別する段階と、
    前記第１ダイレクトパス成分及び前記第２ダイレクトパス成分に基づいて第２角度を決定する段階と、
    前記第１角度と前記第２角度の比較に基づいて異常状態が存在するかどうかを決定する段階と、
    を含む、方法。
  13. 到着時間差推定値を決定する段階は更に、
    前記第１オーディオ信号を１又は２以上の第１セグメントに区分する段階と、
    前記第２オーディオ信号を１又は２以上の第２セグメントに区分する段階と、
    前記１又は２以上の第１セグメントにおける第１セグメントのフーリエ変換を生成して第１フーリエ変換を形成する段階と、
    前記１又は２以上の第２セグメントにおける第１セグメントのフーリエ変換を生成して第２フーリエ変換を形成する段階と、
    前記第１フーリエ変換及び前記第２フーリエ変換に基づいて前記到着時間差推定値を決定する段階と、
    を含む、請求項１２に記載の方法。
  14. 前記第１オーディオ信号から得られたインパルス応答における第１ダイレクトパス成分を識別する段階は更に、前記第１オーディオ信号から得られた前記インパルス応答における最高振幅に基づいて前記第１オーディオ信号から得られた前記インパルス応答における前記第１ダイレクトパス成分を識別する段階を含む、
    ことを特徴とする請求項１２に記載の方法。
  15. 異常状態が存在するかどうかを決定する段階は更に、
    前記第１角度と前記第２角度を比較する段階と、
    前記第１角度及び前記第２角度が閾値角度値内にないという決定に応答して前記異常状態が存在すると決定する段階と、
    を含む、請求項１２に記載の方法。
  16. 前記閾値角度値は、０と１５度の間の値を含む、請求項１５に記載の方法。
  17. 前記異常状態が存在するという決定に応答してネットワークを介してユーザデバイスに通知を送信する段階を更に含み、前記通知は、前記ラウドスピーカの角度が正しくないという指示、物体が前記ラウドスピーカと前記マイクロフォンアレイの間の経路を塞いでいるという指示、前記ラウドスピーカの極性が正しくないという指示、又は前記ラウドスピーカの位置が正しくないという指示のうちの１つを含む、
    ことを特徴とする請求項１２に記載の方法。
  18. 実行可能命令を格納した非一時的物理コンピュータストレージであって、前記実行可能命令は、ハードウェアプロセッサによって実行されたときに、少なくとも、
    試験信号を送信するようラウドスピーカに指示し、
    第１技術を用いて、マイクロフォンアレイの第１マイクロフォンから録音された第１オーディオ信号及び前記マイクロフォンアレイの第２マイクロフォンから録音された第２オーディオ信号に基づいて第１角度を決定し、
    第２技術を用いて、前記第１オーディオ信号及び前記第２オーディオ信号に基づいて第２角度を決定し、
    前記第１角度及び前記第２角度の比較に基づいて異常状態が存在するかどうかを決定する、
    ように構成される、非一時的物理コンピュータストレージ。
  19. 前記第１技術は、一般化相互相関及び位相変換（ＧＣＣ−ＰＨＡＴ）技術を含む、請求項１８に記載の非一時的物理コンピュータストレージ。
  20. 前記第２技術は、ダイレクトパス成分（ＤＰＣ）技術を含む、請求項１８に記載の非一時的物理コンピュータストレージ。
JP2019526297A 2016-11-16 2017-11-10 ラウドスピーカ位置推定システム及び方法 Active JP7035048B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662423041P 2016-11-16 2016-11-16
US62/423,041 2016-11-16
US15/366,818 2016-12-01
US15/366,818 US9986359B1 (en) 2016-11-16 2016-12-01 System and method for loudspeaker position estimation
PCT/US2017/061033 WO2018093670A1 (en) 2016-11-16 2017-11-10 System and method for loudspeaker position estimation

Publications (2)

Publication Number Publication Date
JP2020501419A true JP2020501419A (ja) 2020-01-16
JP7035048B2 JP7035048B2 (ja) 2022-03-14

Family

ID=62107878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019526297A Active JP7035048B2 (ja) 2016-11-16 2017-11-10 ラウドスピーカ位置推定システム及び方法

Country Status (6)

Country Link
US (6) US10375498B2 (ja)
EP (1) EP3542555B1 (ja)
JP (1) JP7035048B2 (ja)
KR (1) KR102456765B1 (ja)
CN (1) CN110192397B (ja)
WO (2) WO2018093671A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209972B2 (en) 2015-09-02 2021-12-28 D&M Holdings, Inc. Combined tablet screen drag-and-drop interface
US11113022B2 (en) * 2015-05-12 2021-09-07 D&M Holdings, Inc. Method, system and interface for controlling a subwoofer in a networked audio system
US10728666B2 (en) 2016-08-31 2020-07-28 Harman International Industries, Incorporated Variable acoustics loudspeaker
US10645516B2 (en) 2016-08-31 2020-05-05 Harman International Industries, Incorporated Variable acoustic loudspeaker system and control
US20230239646A1 (en) * 2016-08-31 2023-07-27 Harman International Industries, Incorporated Loudspeaker system and control
CN117221801A (zh) * 2016-09-29 2023-12-12 杜比实验室特许公司 环绕声系统中扬声器位置的自动发现和定位
US10375498B2 (en) 2016-11-16 2019-08-06 Dts, Inc. Graphical user interface for calibrating a surround sound system
US10299060B2 (en) * 2016-12-30 2019-05-21 Caavo Inc Determining distances and angles between speakers and other home theater components
US10366700B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Device for acquiring and processing audible input
US10362393B2 (en) * 2017-02-08 2019-07-23 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US10366702B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
EP3611937A4 (en) * 2017-04-12 2020-10-07 Yamaha Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
CN111615834B (zh) 2017-09-01 2022-08-09 Dts公司 用于虚拟化的音频的甜蜜点适配的方法、系统和装置
US20190154791A1 (en) * 2017-11-22 2019-05-23 Kelly Jowett Three-dimensional acoustic detection and imaging via hexidrant isolation and delay-mixing
CN108958693B (zh) * 2018-06-22 2021-07-16 联想(北京)有限公司 一种音频控制方法及电子设备
EP3756361A4 (en) * 2018-06-26 2021-10-20 Hewlett-Packard Development Company, L.P. CHANGING THE ANGLE OF AUDIO OUTPUT DEVICES
WO2020026864A1 (ja) * 2018-07-30 2020-02-06 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11722985B2 (en) * 2018-08-09 2023-08-08 Apple Inc. Object tracking and authentication using modular wall units
CN111213365A (zh) * 2018-08-17 2020-05-29 深圳市大疆创新科技有限公司 拍摄控制方法及控制器
US10992336B2 (en) 2018-09-18 2021-04-27 Roku, Inc. Identifying audio characteristics of a room using a spread code
US10931909B2 (en) 2018-09-18 2021-02-23 Roku, Inc. Wireless audio synchronization using a spread code
US10958301B2 (en) 2018-09-18 2021-03-23 Roku, Inc. Audio synchronization of a dumb speaker and a smart speaker using a spread code
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
US11184725B2 (en) * 2018-10-09 2021-11-23 Samsung Electronics Co., Ltd. Method and system for autonomous boundary detection for speakers
US11450069B2 (en) 2018-11-09 2022-09-20 Citrix Systems, Inc. Systems and methods for a SaaS lens to view obfuscated content
US11113092B2 (en) 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US11201889B2 (en) 2019-03-29 2021-12-14 Citrix Systems, Inc. Security device selection based on secure content detection
CN110166920B (zh) * 2019-04-15 2021-11-09 广州视源电子科技股份有限公司 桌面会议扩音方法、系统、装置、设备以及存储介质
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
CN113795425A (zh) * 2019-06-05 2021-12-14 索尼集团公司 信息处理装置、信息处理方法和程序
US11334212B2 (en) * 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
WO2021029447A1 (ko) * 2019-08-09 2021-02-18 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
JP7191793B2 (ja) * 2019-08-30 2022-12-19 株式会社東芝 信号処理装置、信号処理方法、及びプログラム
CN112492506A (zh) * 2019-09-11 2021-03-12 深圳市优必选科技股份有限公司 音频播放方法、装置、计算机可读存储介质及机器人
US10861465B1 (en) 2019-10-10 2020-12-08 Dts, Inc. Automatic determination of speaker locations
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
CN110933559B (zh) * 2019-11-28 2021-08-31 深圳创维－Rgb电子有限公司 一种智能音箱音效自适应调整方法、系统及存储介质
US11544415B2 (en) 2019-12-17 2023-01-03 Citrix Systems, Inc. Context-aware obfuscation and unobfuscation of sensitive content
US11539709B2 (en) 2019-12-23 2022-12-27 Citrix Systems, Inc. Restricted access to sensitive content
US20230078170A1 (en) * 2019-12-30 2023-03-16 Harman Becker Automotive Systems Gmbh Method for performing acoustic measurements
US11356776B2 (en) * 2020-01-03 2022-06-07 Summit Wireless Technologies, Inc. One button wireless speaker association
KR102304815B1 (ko) * 2020-01-06 2021-09-23 엘지전자 주식회사 오디오 장치 및 그의 동작방법
US11582266B2 (en) * 2020-02-03 2023-02-14 Citrix Systems, Inc. Method and system for protecting privacy of users in session recordings
US11277689B2 (en) 2020-02-24 2022-03-15 Logitech Europe S.A. Apparatus and method for optimizing sound quality of a generated audible signal
US11361113B2 (en) 2020-03-26 2022-06-14 Citrix Systems, Inc. System for prevention of image capture of sensitive information and related techniques
CN111526455A (zh) * 2020-05-21 2020-08-11 菁音电子科技（上海）有限公司 车载音响的校正增强方法及系统
WO2022041058A1 (en) 2020-08-27 2022-03-03 Citrix Systems, Inc. Privacy protection during video conferencing screen share
WO2022041163A1 (en) 2020-08-29 2022-03-03 Citrix Systems, Inc. Identity leak prevention
US11985494B2 (en) * 2021-04-07 2024-05-14 Steelseries Aps Apparatus for providing audio data to multiple audio logical devices
CN115499762A (zh) * 2021-06-18 2022-12-20 哈曼国际工业有限公司 用于自动环绕声配对和校准的条形音箱及方法
US11689875B2 (en) 2021-07-28 2023-06-27 Samsung Electronics Co., Ltd. Automatic spatial calibration for a loudspeaker system using artificial intelligence and nearfield response

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110357A (ja) * 2005-10-13 2007-04-26 Sony Corp テストトーンの判定方法および音場補正装置
JP2011259097A (ja) * 2010-06-07 2011-12-22 Sony Corp 音声信号処理装置及び音声信号処理方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6826284B1 (en) 2000-02-04 2004-11-30 Agere Systems Inc. Method and apparatus for passive acoustic source localization for video camera steering applications
AU2001255525A1 (en) 2000-04-21 2001-11-07 Keyhold Engineering, Inc. Self-calibrating surround sound system
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US7206415B2 (en) * 2002-04-19 2007-04-17 Bose Corporation Automated sound system designing
JP2005286903A (ja) * 2004-03-30 2005-10-13 Pioneer Electronic Corp 音響再生装置、音響再生システム、音響再生方法及び制御プログラム並びにこのプログラムを記録した情報記録媒体
EP1600791B1 (en) * 2004-05-26 2009-04-01 Honda Research Institute Europe GmbH Sound source localization based on binaural signals
US8037999B1 (en) * 2004-09-22 2011-10-18 Kumar Sivathanu B Soap dish system
US7859533B2 (en) * 2005-04-05 2010-12-28 Yamaha Corporation Data processing apparatus and parameter generating apparatus applied to surround system
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
US8519979B1 (en) * 2006-12-29 2013-08-27 The Mathworks, Inc. Multi-point interface for a graphical modeling environment
US7805286B2 (en) * 2007-11-30 2010-09-28 Bose Corporation System and method for sound system simulation
US8150051B2 (en) * 2007-12-12 2012-04-03 Bose Corporation System and method for sound system simulation
US8238563B2 (en) 2008-03-20 2012-08-07 University of Surrey-H4 System, devices and methods for predicting the perceived spatial quality of sound processing and reproducing equipment
US20090238371A1 (en) 2008-03-20 2009-09-24 Francis Rumsey System, devices and methods for predicting the perceived spatial quality of sound processing and reproducing equipment
US20110091055A1 (en) 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques
EP2375779A3 (en) 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for measuring a plurality of loudspeakers and microphone array
US9107021B2 (en) * 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
NZ587483A (en) 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
US9015612B2 (en) * 2010-11-09 2015-04-21 Sony Corporation Virtual room form maker
US9031268B2 (en) 2011-05-09 2015-05-12 Dts, Inc. Room characterization and correction for multi-channel audio
US9690539B2 (en) * 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
EP2907323B1 (en) 2012-10-09 2017-09-06 Koninklijke Philips N.V. Method and apparatus for audio interference estimation
AU2012394979B2 (en) * 2012-11-22 2016-07-14 Razer (Asia-Pacific) Pte. Ltd. Method for outputting a modified audio signal and graphical user interfaces produced by an application program
US9357306B2 (en) * 2013-03-12 2016-05-31 Nokia Technologies Oy Multichannel audio calibration method and apparatus
JP5985108B2 (ja) * 2013-03-19 2016-09-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． マイクロフォンの位置を決定するための方法及び機器
JP6217189B2 (ja) * 2013-07-04 2017-10-25 富士通株式会社 無線通信装置、無線通信方法、無線通信プログラムおよび無線通信システム
WO2015009748A1 (en) 2013-07-15 2015-01-22 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
EP3021691B1 (en) * 2013-07-19 2019-09-04 Altria Client Services LLC Methods and systems for incorporating nicotine into oral products
US9380399B2 (en) * 2013-10-09 2016-06-28 Summit Semiconductor Llc Handheld interface for speaker location
CN105981411B (zh) * 2013-11-27 2018-11-30 Dts（英属维尔京群岛）有限公司 用于高声道计数的多声道音频的基于多元组的矩阵混合
US9271077B2 (en) 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
US9560449B2 (en) * 2014-01-17 2017-01-31 Sony Corporation Distributed wireless speaker system
US9288597B2 (en) * 2014-01-20 2016-03-15 Sony Corporation Distributed wireless speaker system with automatic configuration determination when new speakers are added
US9866986B2 (en) * 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
JP6289936B2 (ja) * 2014-02-26 2018-03-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
KR20150104985A (ko) * 2014-03-07 2015-09-16 삼성전자주식회사 사용자 단말 및 오디오 시스템, 그리고 이의 스피커 제어 방법
CN106465031B (zh) * 2014-06-17 2019-10-18 夏普株式会社 音频装置、电视接收机以及声音信号调整方法
US9398392B2 (en) * 2014-06-30 2016-07-19 Microsoft Technology Licensing, Llc Audio calibration and adjustment
WO2016052876A1 (en) * 2014-09-30 2016-04-07 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
US10028220B2 (en) 2015-01-27 2018-07-17 Locix, Inc. Systems and methods for providing wireless asymmetric network architectures of wireless devices with power management features
US20160309277A1 (en) 2015-04-14 2016-10-20 Qualcomm Technologies International, Ltd. Speaker alignment
US9913065B2 (en) * 2015-07-06 2018-03-06 Bose Corporation Simulating acoustic output at a location corresponding to source position data
US9820047B2 (en) * 2015-09-01 2017-11-14 Panasonic Intellectual Property Management Co., Ltd. Signal processing method and speaker system
US10375498B2 (en) 2016-11-16 2019-08-06 Dts, Inc. Graphical user interface for calibrating a surround sound system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110357A (ja) * 2005-10-13 2007-04-26 Sony Corp テストトーンの判定方法および音場補正装置
JP2011259097A (ja) * 2010-06-07 2011-12-22 Sony Corp 音声信号処理装置及び音声信号処理方法

Also Published As

Publication number Publication date
KR102456765B1 (ko) 2022-10-19
US20190394599A1 (en) 2019-12-26
US11622220B2 (en) 2023-04-04
US20200267489A1 (en) 2020-08-20
EP3542555B1 (en) 2021-01-06
WO2018093671A1 (en) 2018-05-24
CN110192397A (zh) 2019-08-30
US20180139560A1 (en) 2018-05-17
US20190268710A1 (en) 2019-08-29
US20180249273A1 (en) 2018-08-30
US10887716B2 (en) 2021-01-05
US10313817B2 (en) 2019-06-04
CN110192397B (zh) 2021-10-12
JP7035048B2 (ja) 2022-03-14
KR20190084106A (ko) 2019-07-15
US10375498B2 (en) 2019-08-06
EP3542555A1 (en) 2019-09-25
US9986359B1 (en) 2018-05-29
US20180136898A1 (en) 2018-05-17
WO2018093670A1 (en) 2018-05-24
US10575114B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
JP7035048B2 (ja) ラウドスピーカ位置推定システム及び方法
US11778406B2 (en) Audio processing device and method therefor
US9357306B2 (en) Multichannel audio calibration method and apparatus
US9161149B2 (en) Three-dimensional sound compression and over-the-air transmission during a call
US10873814B2 (en) Analysis of spatial metadata from multi-microphones having asymmetric geometry in devices
US10880638B2 (en) Sound field forming apparatus and method
US11223924B2 (en) Audio distance estimation for spatial audio processing
JPWO2018008395A1 (ja) 音場形成装置および方法、並びにプログラム
US11284211B2 (en) Determination of targeted spatial audio parameters and associated spatial audio playback
JP2020500480A5 (ja)
JP6355049B2 (ja) 音響信号処理方法、及び音響信号処理装置
US20200335111A1 (en) Audio stream dependency information
WO2023130206A1 (en) Multi-channel speaker system and method thereof
JP2019087839A (ja) オーディオシステムおよびその補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220302

R150 Certificate of patent or registration of utility model

Ref document number: 7035048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150