JP2022539493A - 組織伝導オーディオシステムにおけるクロストークを緩和すること - Google Patents

組織伝導オーディオシステムにおけるクロストークを緩和すること Download PDF

Info

Publication number
JP2022539493A
JP2022539493A JP2021570856A JP2021570856A JP2022539493A JP 2022539493 A JP2022539493 A JP 2022539493A JP 2021570856 A JP2021570856 A JP 2021570856A JP 2021570856 A JP2021570856 A JP 2021570856A JP 2022539493 A JP2022539493 A JP 2022539493A
Authority
JP
Japan
Prior art keywords
audio content
ear
sensors
transducer array
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021570856A
Other languages
English (en)
Inventor
モルテザ カレギメーボディ,
ジェイコブ ライアン ドンリー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of JP2022539493A publication Critical patent/JP2022539493A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14Cross-over networks
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008Earpieces of the supra-aural or circum-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13Hearing devices using bone conduction transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

ヘッドセット上のオーディオシステムが、組織伝導を介してユーザの第1の耳の内耳にオーディオコンテンツを提示する。本システムは、ヘッドセット上の1つまたは複数のセンサーを介して、提示されたオーディオコンテンツに関するデータを監視する。1つまたは複数のセンサーは、ユーザの第2の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも1つのセンサーを含む。本システムは、データに関連するアレイ伝達関数(ATF)を推定し、推定されたATFを使用して、トランスデューサアレイのための音フィルタを生成する。本システムは、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示する。調整されたオーディオコンテンツは、第1の耳における調整されたオーディオコンテンツの振幅が第2の耳においてよりも高い振幅を有するように、第2の耳における減衰領域を有する。【選択図】図1

Description

本開示は、一般に、組織伝導オーディオシステムに関し、詳細には、組織伝導オーディオシステムにおけるクロストークの緩和に関する。
仮想および/または拡張情報をユーザに提示するために、ヘッドマウントディスプレイ(HMD)が使用され得る。たとえば、拡張現実/仮想現実をシミュレートするために、拡張現実(AR)ヘッドセットまたは仮想現実(VR)ヘッドセットが使用され得る。従来、AR/VRヘッドセットのユーザは、コンピュータ生成された音、ビデオ、および触覚を受信するかまたは場合によっては体験するためにヘッドフォンを装着する。しかしながら、ヘッドフォンを装着することは、現実世界の環境からの音を抑制し、これは、ユーザを予想外の危険にさらし、また、ユーザを環境から非意図的に切り離し得る。その上、外部ケーシングまたはHMDのストラップから分離されたヘッドフォンは、審美的に魅力に欠けることがあり、使用によって損傷を受けることがある。
組織伝導オーディオシステムにおけるクロストークを緩和するための方法。本方法は、ヘッドセットのトランスデューサアレイを介して、組織伝導(たとえば、骨伝導および/または軟骨伝導)を介してユーザの第1の耳にオーディオコンテンツを提示する。ヘッドセットのセンサーアレイが、ユーザの第1の耳と第2の耳の両方における、提示されたオーディオコンテンツに関するデータを監視する。オーディオコンテンツに関連するアレイ伝達関数(ATF:array transfer function)が、センサーデータに基づいて推定される。音フィルタが、推定されたATFを使用して生成される。音フィルタは、トランスデューサアレイからのトランスデューサ信号に適用され、これは、ユーザの耳に調整されたオーディオコンテンツを提示する。第1の耳における調整されたオーディオコンテンツの振幅は、第2の耳における減衰領域における調整されたオーディオコンテンツの振幅よりも高い。いくつかの実施形態では、第2の耳における調整されたオーディオコンテンツの振幅は、第1の耳における減衰領域における調整されたオーディオコンテンツの振幅よりも高い。いくつかの実施形態では、一時的コンピュータ可読媒体が、プログラムコード命令を記憶するように構成される。コード命令は、プロセッサによって実行されたとき、プロセッサに方法のステップを実施させる。
いくつかの実施形態では、オーディオシステムは、ヘッドセット(たとえば、ニアアイディスプレイ、ヘッドマウントディスプレイ)の一部である。オーディオシステムは、トランスデューサアレイと、1つまたは複数のセンサーと、コントローラとを含む。トランスデューサアレイは、組織伝導を介してユーザの第1の耳の内耳にオーディオコンテンツを提示するように構成される。ヘッドセット上の1つまたは複数のセンサーは、提示されたオーディオコンテンツに関するデータを監視するように構成され、1つまたは複数のセンサーは、第2の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも1つのセンサーを含む。コントローラは、データに関連するアレイ伝達関数(ATF)を推定し、推定されたATFを使用して、トランスデューサアレイのための音フィルタを生成するように構成される。コントローラは、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示するようにトランスデューサアレイに命令し、調整されたオーディオコンテンツは、第1の耳におけるオーディオコンテンツの振幅が第2の耳においてよりも高い振幅を有するように、第2の耳における減衰領域を有する。
本発明の第1の態様によれば、組織伝導を介してユーザの第1の耳の内耳にオーディオコンテンツを提示するトランスデューサアレイを介して、オーディオコンテンツを提示することと、ヘッドセット上の1つまたは複数のセンサーを介して、提示されたオーディオコンテンツに関するデータを監視することであって、1つまたは複数のセンサーが、ユーザの第2の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも1つのセンサーを含む、提示されたオーディオコンテンツに関するデータを監視することと、データに関連するアレイ伝達関数(ATF)を推定することと、推定されたATFを使用して、トランスデューサアレイのための音フィルタを生成することと、トランスデューサアレイを介して、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示することであって、調整されたオーディオコンテンツは、第1の耳における調整されたオーディオコンテンツの振幅が第2の耳においてよりも高い振幅を有するように、第2の耳における減衰領域を有する、調整されたオーディオコンテンツを提示することとを含む方法が提供される。
いくつかの実施形態では、組織伝導は、軟骨伝導と骨伝導とのうちの少なくとも1つを含み得る。
いくつかの実施形態では、トランスデューサアレイは、トランスデューサの第1のグループとトランスデューサの第2のグループとを含み得、トランスデューサの第1のグループは第1の耳に近接しており、トランスデューサの第2のグループは第2の耳に近接している。
いくつかの実施形態では、1つまたは複数のセンサーは、センサーの第1のグループとセンサーの第2のグループとを含み得、センサーの第1のグループは第1の耳に近接しており、センサーの第2のグループは第2の耳に近接しており、少なくとも1つのセンサーを含む。
いくつかの実施形態では、ヘッドセット上の1つまたは複数のセンサーを介して、提示されたオーディオコンテンツに関するデータを監視することは、センサーの第1のグループとセンサーの第2のグループとのうちの少なくとも1つを使用して、提示されたオーディオコンテンツに関するデータを監視することを含み得る。
いくつかの実施形態では、推定されたATFを使用して、トランスデューサアレイのための音フィルタを生成することは、音フィルタを生成するために、推定されたATFに最適化アルゴリズムを適用することであって、最適化アルゴリズムが1つまたは複数の制約を受ける、最適化アルゴリズムを適用することを含み得る。
いくつかの実施形態では、1つまたは複数の制約は、第1の耳がブライトゾーン(bright zone)として指定されることと、第2の耳がクワイエットゾーン(quiet zone)として指定されることとを含み得る。
いくつかの実施形態では、本方法は、組織伝導を介して第2の耳の内耳に第2のオーディオコンテンツを提示するトランスデューサアレイを介して、第2のオーディオコンテンツを提示することと、ヘッドセット上の少なくとも1つのセンサーを介して、提示された第2のオーディオコンテンツに関する第2のデータを監視することであって、少なくとも1つのセンサーが、第2の耳における提示された第2のオーディオコンテンツに関する第2のデータをキャプチャするように構成された少なくとも1つのセンサーを含む、提示された第2のオーディオコンテンツに関する第2のデータを監視することと、第2のデータに関連する第2のアレイ伝達関数(ATF)を推定することと、推定された第2のATFを使用して、トランスデューサアレイのための第2の音フィルタを生成することと、トランスデューサアレイを介して、第2の音フィルタに部分的に基づいて、調整された第2のオーディオコンテンツを提示することであって、調整されたオーディオコンテンツは、第1の耳における調整されたオーディオコンテンツの振幅が第2の耳においてよりも高い振幅を有するように、第1の耳における減衰領域を有する、調整された第2のオーディオコンテンツを提示することとをさらに含み得る。
いくつかの実施形態では、調整されたオーディオコンテンツを提示することと、調整された第2のオーディオコンテンツを提示することとは、様々な期間にわたって行われ得る。
本発明の第2の態様によれば、組織伝導を介してユーザの第1の耳の内耳にオーディオコンテンツを提示するように構成されたトランスデューサアレイと、提示されたオーディオコンテンツに関するデータを監視するように構成されたヘッドセット上の1つまたは複数のセンサーであって、1つまたは複数のセンサーが、第2の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも1つのセンサーを含む、1つまたは複数のセンサーと、データに関連するアレイ伝達関数(ATF)を推定することと、推定されたATFを使用して、トランスデューサアレイのための音フィルタを生成することと、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示するようにトランスデューサアレイに命令することであって、調整されたオーディオコンテンツは、第1の耳におけるオーディオコンテンツの振幅が第2の耳においてよりも高い振幅を有するように、第2の耳における減衰領域を有する、調整されたオーディオコンテンツを提示するようにトランスデューサアレイに命令することとを行うように構成されたコントローラとを備えるオーディオシステムが提供される。
いくつかの実施形態では、組織伝導は、軟骨伝導と骨伝導とのうちの少なくとも1つを含み得る。
いくつかの実施形態では、トランスデューサアレイは、トランスデューサの第1のグループとトランスデューサの第2のグループとを含み得、トランスデューサの第1のグループは第1の耳に近接しており、トランスデューサの第2のグループは第2の耳に近接している。
いくつかの実施形態では、1つまたは複数のセンサーは、センサーの第1のグループとセンサーの第2のグループとを含み得、センサーの第1のグループは第1の耳に近接しており、センサーの第2のグループは第2の耳に近接しており、少なくとも1つのセンサーを含む。
いくつかの実施形態では、コントローラは、音フィルタを生成するために、推定されたATFに最適化アルゴリズムを適用することであって、最適化アルゴリズムが1つまたは複数の制約を受ける、最適化アルゴリズムを適用することを行うようにさらに構成され得る。
いくつかの実施形態では、1つまたは複数の制約は、第1の耳がブライトゾーンとして指定されることと、第2の耳がクワイエットゾーンとして指定されることとを含み得る。
いくつかの実施形態では、本オーディオシステムは、組織伝導を介してユーザの第2の耳の内耳に第2のオーディオコンテンツを提示するように構成されたトランスデューサアレイと、提示されたオーディオコンテンツに関する第2のデータを監視するように構成されたヘッドセット上の1つまたは複数のセンサーであって、1つまたは複数のセンサーが、第2の耳における提示されたオーディオコンテンツに関する第2のデータをキャプチャするように構成された少なくとも1つのセンサーを含む、1つまたは複数のセンサーと、第2のデータに関連する第2のアレイ伝達関数(ATF)を推定することと、推定された第2のATFを使用して、トランスデューサアレイのための第2の音フィルタを生成することと、第2の音フィルタに部分的に基づいて、調整された第2のオーディオコンテンツを提示するようにトランスデューサアレイに命令することであって、調整されたオーディオコンテンツは、第2の耳における調整されたオーディオコンテンツの振幅が第1の耳においてよりも高い振幅を有するように、第1の耳における減衰領域を有する、調整された第2のオーディオコンテンツを提示するようにトランスデューサアレイに命令することとを行うように構成されたコントローラとをさらに備え得る。
いくつかの実施形態では、調整されたオーディオコンテンツを提示することと、調整された第2のオーディオコンテンツを提示することとは、様々な期間にわたって行われ得る。
本発明の第3の態様によれば、プログラムコード命令を記憶するように構成された非一時的コンピュータ可読媒体であって、命令は、プロセッサによって実行されたとき、プロセッサに、組織伝導を介してユーザの第1の耳の内耳にオーディオコンテンツを提示するトランスデューサアレイを介して、オーディオコンテンツを提示することと、ヘッドセット上の1つまたは複数のセンサーを介して、提示されたオーディオコンテンツに関するデータを監視することであって、1つまたは複数のセンサーが、ユーザの第2の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも1つのセンサーを含む、提示されたオーディオコンテンツに関するデータを監視することと、データに関連するアレイ伝達関数(ATF)を推定することと、推定されたATFを使用して、トランスデューサアレイのための音フィルタを生成することと、トランスデューサアレイを介して、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示することであって、調整されたオーディオコンテンツは、第1の耳における調整されたオーディオコンテンツの振幅が第2の耳においてよりも高い振幅を有するように、第2の耳における減衰領域を有する、調整されたオーディオコンテンツを提示することとを含むステップを実施させる、非一時的コンピュータ可読媒体が提供される。
いくつかの実施形態では、本非一時的コンピュータ可読媒体は、組織伝導を介して第2の耳の内耳に第2のオーディオコンテンツを提示するトランスデューサアレイを介して、第2のオーディオコンテンツを提示することと、ヘッドセット上の少なくとも1つのセンサーを介して、提示された第2のオーディオコンテンツに関する第2のデータを監視することであって、少なくとも1つのセンサーが、第2の耳における提示された第2のオーディオコンテンツに関する第2のデータをキャプチャするように構成された少なくとも1つのセンサーを含む、提示された第2のオーディオコンテンツに関する第2のデータを監視することと、第2のデータに関連する第2のアレイ伝達関数(ATF)を推定することと、推定された第2のATFを使用して、トランスデューサアレイのための第2の音フィルタを生成することと、トランスデューサアレイを介して、第2の音フィルタに部分的に基づいて、調整された第2のオーディオコンテンツを提示することであって、調整されたオーディオコンテンツは、第1の耳における調整されたオーディオコンテンツの振幅が第2の耳においてよりも高い振幅を有するように、第1の耳における減衰領域を有する、調整された第2のオーディオコンテンツを提示することとを行うようにさらに構成され得る。
いくつかの実施形態では、組織伝導は、軟骨伝導と骨伝導とのうちの少なくとも1つを含み得る。
第1の態様、第2の態様または第3の態様への組込みに好適であるものとして本明細書で説明される特徴は、本発明のすべての態様および実施形態にわたって一般化可能であるものとすることが諒解されよう。
1つまたは複数の実施形態による、ヘッドセットの図である。 1つまたは複数の実施形態による、ヘッドセットの一部分の側面図である。 1つまたは複数の実施形態による、クロストーク緩和より前の音場を示す図である。 1つまたは複数の実施形態による、クロストーク緩和の後の音場を示す図である。 1つまたは複数の実施形態による、例示的なオーディオシステムのブロック図である。 1つまたは複数の実施形態による、組織伝導オーディオシステムにおけるクロストークを緩和するためのプロセスの図である。 1つまたは複数の実施形態による、例示的な人工現実システムのブロック図である。
図は、単に例示の目的で様々な実施形態を示す。本明細書で説明される原理から逸脱することなく、本明細書で示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。
組織伝導オーディオシステムは、骨伝導と軟骨伝導の一方または両方を使用して、オーディオコンテンツをユーザに提示する。組織伝導は、軟骨伝導および/または骨伝導を使用して、ユーザにオーディオコンテンツを与える。組織伝導は、音響圧力波を生成するために骨および/または軟骨を振動させる骨伝導および/または軟骨伝導を介して行われ得る。
骨伝導オーディオシステムは、ユーザの耳道をふさがっていない状態に保ちながら、ユーザの耳にオーディオコンテンツを提供するために骨伝導を使用する。骨伝導オーディオシステムは、乳様突起などの骨を含むユーザの頭部における組織を振動させることによって、オーディオコンテンツに対応する組織伝搬音響圧力波を生成するトランスデューサアセンブリを含む。組織は、たとえば、骨、軟骨、筋肉、皮膚などを含み得る。骨伝導について、生成された音響圧力波のための主な経路は、頭部の骨を通って(鼓膜を迂回して)直接蝸牛に至るものである。骨伝導において、音響圧力波は、空気伝導経路を迂回して、ただ骨を通って進んで、蝸牛に達し得る。蝸牛は、組織伝搬音響圧力波を、脳が音として知覚する信号に変える。
軟骨伝導オーディオシステムは、ユーザの耳にオーディオコンテンツを提供するために軟骨伝導を使用する。軟骨伝導オーディオシステムは、外耳の周りの耳介軟骨の1つまたは複数の部分(たとえば、耳殻、耳珠、耳介軟骨の何らかの他の部分、またはそれらの何らかの組合せ)に結合されたトランスデューサアセンブリを含む。トランスデューサアセンブリは、耳介軟骨の1つまたは複数の部分を振動させることによって、オーディオコンテンツに対応する空気伝搬音響圧力波を生成する。この空気伝搬音響圧力波は、耳道の入口のほうへ伝搬し得、空気伝搬音響圧力波は鼓膜によって検出されることになる。ただし、軟骨伝導オーディオシステムは、様々なやり方で音響圧力波を生成するマルチパスシステムである。たとえば、耳介軟骨の1つまたは複数の部分を振動させることは、耳道を通って進む空気伝搬音響圧力波、耳道のいくつかの部分を振動させ、それにより、耳道内に空気伝搬音響圧力波を生成させる、組織伝搬音響圧力波、またはそれらの何らかの組合せを生成し得る。
組織伝導システムは、少なくとも、組織伝導システムがユーザの組織(骨、軟骨など)を振動させることによって空気伝搬音響波を生成することができるという理由で、空気伝搬オーディオシステム(たとえば、従来のスピーカー)とは異なることに留意されたい。組織の振動は、音響圧力波が組織、骨、空気、またはそれらの組合せを通って進み得るような、いくつかの音響経路を作成する。対照的に、一般的な空気伝搬オーディオシステムは、空気伝搬音響波を生成するために、空気を直接変位させる振動膜(vibrating membrane)をもつスピーカーを使用する。
オーディオシステムは、ヘッドセット(たとえば、ニアアイディスプレイまたはヘッドマウントディスプレイ)の一部であり得る。オーディオシステムは、トランスデューサアレイと、センサーと、コントローラとを含む。トランスデューサアレイは、組織伝導を介してヘッドセットユーザの内耳にオーディオコンテンツを提示する。センサーは、ヘッドセットユーザの両方の耳における最初に提示されたオーディオコンテンツに関するデータをキャプチャする。コントローラは、各耳において提示されたオーディオコンテンツに関連するアレイ伝達関数(ATF)を推定し、推定されたATFを使用して、音フィルタを生成する。ATFは、トランスデューサアレイによって作り出されたオーディオコンテンツが、センサーアレイによってどのように受信されるかを特徴づける伝達関数の集合を含む。伝達関数は、音の音源ロケーション、すなわち、トランスデューサにおいて作り出される音と、その音が検出される場所、すなわち、センサーにおいて作り出される音との間の関係を定義する。関係を定義するのを助けるパラメータは、特に、周波数、振幅、時間、位相、持続時間、到来方向(DoA)推定を含み得る。いくつかの実施形態では、伝達関数を決定するために、固有値分解(Eigen value decomposition)が使用される。他の実施形態では、伝達関数を決定するために、特異値分解(singular-value decomposition)が使用される。トランスデューサアレイは、組織伝導によって引き起こされたクロストークが緩和されるように、生成された音フィルタによって部分的に調整されたオーディオコンテンツを両方の耳に提示する。コントローラは、「ブライトゾーン」として第1の耳を指定し、減衰された「クワイエットゾーン」として第2の耳を指定する。調整されたオーディオコンテンツは、ブライトゾーンにおいてよりもクワイエットゾーンにおいてより低い振幅を有し、いくつかの場合には、クワイエットゾーンにおける音場中にヌル(null)があり得、オーディオコンテンツは知覚できない。
組織伝導トランスデューサを介してオーディオコンテンツを提示することは、たとえば、振動を伝達するための共通媒体としてのユーザの頭骨の共有による、クロストークを生じ得る。クロストークが知覚され得る領域において音を減衰させることによって、本明細書で説明されるオーディオシステムは、組織伝導から生じるクロストークの少なくとも一部を緩和する。
本発明の実施形態は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、あるいはそれらの何らかの組合せおよび/または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた(たとえば、現実世界の)コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る(観察者に3次元効果をもたらすステレオビデオなど)。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作成するために使用される、および/または人工現実において別様に使用される(たとえば、人工現実におけるアクティビティを実施する)アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連し得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、スタンドアロンHMD、モバイルデバイスまたはコンピューティングシステム、あるいは、1人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
システムの全体像
図1は、1つまたは複数の実施形態による、ヘッドセット100の図である。ヘッドセット100は、メディアをユーザに提示する。ヘッドセット100は、オーディオシステムと、フレーム110とを含む。概して、ヘッドセットは、コンテンツが、ヘッドセットを使用して提示されるように、ユーザの顔に装着され得る。コンテンツは、それぞれ、オーディオシステムおよびディスプレイを介して提示される、オーディオメディアコンテンツおよび視覚メディアコンテンツを含み得る。いくつかの実施形態では、ヘッドセットは、オーディオコンテンツをヘッドセットを介してユーザに提示するにすぎないことがある。フレーム110は、ヘッドセット100がユーザの顔に装着されることを可能にし、オーディオシステムの構成要素を格納する。一実施形態では、ヘッドセット100は、ヘッドマウントディスプレイ(HMD)であり得る。
オーディオシステムは、オーディオコンテンツをヘッドセットのユーザに提示する。オーディオシステムは組織伝導システムである。オーディオシステムは、構成要素の中でも、トランスデューサアレイと、センサーアレイと、コントローラ170とを含む。オーディオシステムは、組織伝導を介してオーディオコンテンツを提供し、また、その動作の副産物として、あるレベルのクロストークを生成し得る。たとえば、ユーザの第1の内耳に放出された音は、第1の耳の近くの組織への振動がユーザの頭骨を通ってユーザの他方の内耳に伝達することにより、ユーザの他方の内耳によっても受信され得る。いくつかの実施形態では、音響波は、頭骨以外の組織を通って送信され得る。オーディオシステムに関する追加の詳細が、図2~図6に関して以下で説明される。
トランスデューサアレイは、コントローラ170からの振動命令に従って、オーディオコンテンツ(すなわち、音響圧力波)を生成する。いくつかの実施形態では、オーディオコンテンツは基準オーディオ信号を含み得る。たとえば、基準オーディオ信号は、音楽、音声、または他のユーザの好ましいコンテンツなど、ユーザからのコンテンツであり得る。他の実施形態では、基準オーディオ信号は、最大長シーケンス、擬似ランダムピンクノイズ、擬似ランダムホワイトノイズ、線形正弦波掃引、対数正弦波掃引、またはそれらの何らかの組合せなど、大きい周波数範囲をカバーし得る。トランスデューサアレイはまた、オーディオコンテンツがコントローラの命令通りに調整された後に、フィルタ処理されたオーディオコンテンツをユーザに提示する。トランスデューサアレイは、図3A~図3Bに関してさらに説明される。
トランスデューサアレイは、音響圧力波を生成するために、組織(たとえば、骨、皮膚、軟骨など)を直接振動させる。トランスデューサアセンブリは、1つまたは複数のトランスデューサを含み得る。(組織伝導トランスデューサとも呼ばれる)トランスデューサは、骨伝導トランスデューサまたは軟骨伝導トランスデューサとして機能するように構成され得る。いくつかの実施形態では、各トランスデューサアレイは、周波数範囲の異なる部分をカバーするための1つまたは複数のトランスデューサを含み得る。たとえば、周波数範囲の第1の部分をカバーするために圧電トランスデューサが使用され得、周波数範囲の第2の部分をカバーするために可動コイルトランスデューサが使用され得る。いくつかの実施形態では、トランスデューサアレイは、人工内耳(cochlear implant)など、医療用インプラントとして働くトランスデューサを含み得る。
骨伝導トランスデューサは、ユーザの頭部における骨/組織を振動させることによって音響圧力波を生成する。骨伝導トランスデューサは、フレーム110のエンドピースに結合され、耳介の後ろでユーザの頭蓋骨の一部分に結合されるように構成され得る。骨伝導トランスデューサは、コントローラ170から振動命令を受信し、受信された命令に基づいてユーザの頭蓋骨の一部分を振動させる。骨伝導トランスデューサからの振動は、鼓膜を迂回して、ユーザの蝸牛のほうへ伝搬する組織伝搬音響圧力波を生成する。
軟骨伝導トランスデューサは、ユーザの耳の耳介軟骨の1つまたは複数の部分を振動させることによって音響圧力波を生成する。軟骨伝導トランスデューサは、フレーム110のテンプルアームに結合され、耳の耳介軟骨の1つまたは複数の部分に結合されるように構成され得る。たとえば、軟骨伝導トランスデューサは、ユーザの耳の耳介の背面に結合し得る。軟骨伝導トランスデューサは、外耳の周りの耳介軟骨に沿ったどこか(たとえば、耳殻、耳珠、耳介軟骨の何らかの他の部分、またはそれらの何らかの組合せ)に位置し得る。耳介軟骨の1つまたは複数の部分を振動させることは、耳道外の空気伝搬音響圧力波、耳道のいくつかの部分を振動させ、それにより、耳道内に空気伝搬音響圧力波を生成させる、組織伝搬音響圧力波、またはそれらの何らかの組合せを生成し得る。生成された空気伝搬音響圧力波は、耳道に沿って鼓膜のほうへ伝搬する。
センサーアレイは、トランスデューサアレイによって放出されたオーディオコンテンツを監視する。センサーアレイは、複数のセンサーを含む。図示の実施形態では、センサーアレイは、センサー140Aとセンサー140Bとを含む。センサー140A、140Bは、たとえば、マイクロフォン、加速度計、他の音響センサー、またはそれらの何らかの組合せであり得る。センサーアレイは、センサー140A、140Bからのデータを使用して、トランスデューサアレイによって提供されたオーディオコンテンツを監視する。センサーアレイは、監視されたオーディオコンテンツに基づいて、センサーデータを生成する。監視されたオーディオコンテンツは、センサーによってキャプチャされるより前にユーザの頭部を通って伝搬していることがあることに留意されたい。たとえば、トランスデューサ120Aによって提供されたオーディオコンテンツは、センサー140Bにおいて検出され得る。
いくつかの実施形態では、トランスデューサ120A~120Dおよびセンサー140A~140Bは、フレーム110内のおよび/またはフレーム110上の、図1において提示されたものとは異なるロケーションに配置され得る。たとえば、いくつかの実施形態では、センサー140A~140Bは、ユーザの耳内にフィットするように構成されたマイクロフォンであり得る。ヘッドセットは、図1に示されているものとは数および/またはタイプが異なる、トランスデューサおよび/またはセンサーを含み得る。
コントローラ170は、組織伝導システムを制御する。コントローラ170は、ユーザへの提示のために、ローカルメモリまたは何らかの外部エンティティ(たとえば、コンソール、リモートサーバなど)からオーディオデータ(たとえば、音楽)を受信し得る。コントローラ170は、受信されたオーディオデータに基づいて、振動命令を生成し、振動命令をトランスデューサアレイに提供する。いくつかの実施形態では、振動命令は、トランスデューサアレイが基準オーディオ信号を生成するようなものである。
コントローラ170は、センサーアレイからのセンサーデータを使用して、ATFを生成する。ATFは、上記で説明されたように、オーディオコンテンツ(たとえば、オーディオ基準信号)がセンサーアレイによって受信されるやり方を特徴づけるいくつかの伝達関数(たとえば、各センサーについての伝達関数)を含む。コントローラ170は、音フィルタを生成するためにATFを使用する。トランスデューサアレイによって提示されたオーディオコンテンツを調整するために、オーディオデータに適用される音フィルタ。図3A~図6に関して以下でより詳細に説明されるように、調整されたオーディオコンテンツは、トランスデューサアレイによって提示されたオーディオコンテンツ中のクロストークを緩和する。コントローラ170の動作は、図3A、図3B、および図4に関して、以下で詳細に説明される。
図2は、1つまたは複数の実施形態による、ヘッドセット205の一部分の側面図200である。ヘッドセット205は、ヘッドセット100の一実施形態である。ヘッドセット205は、組織伝導性オーディオシステムによって、オーディオコンテンツをユーザに提示する。ヘッドセット205は、ヘッドセット205がユーザの耳の耳殻210に近接していることがあるように、ユーザの耳に部分的に載っている。ヘッドセット205は、構成要素の中でも、トランスデューサアレイと、センサーアレイとを含む。トランスデューサアレイは、トランスデューサ230A、230Bのグループを含み、センサーアレイは、センサー245を含むセンサーのグループを含む。トランスデューサ230A、230Bは、トランスデューサ120A、120Cの実施形態であり、センサー245は、センサー140Aの一実施形態である。
トランスデューサ230A、230Bは、ユーザの一方または両方の耳にオーディオコンテンツを提供する。トランスデューサ230A、230Bは、ユーザの耳の上のまたはユーザの耳の近くの様々な組織に近接しており、および/または結合される。結合は、トランスデューサ230A、230Bの一部または全部と、ユーザの組織との間の間接的接触および/または直接的接触があるようなものであり得る。たとえば、トランスデューサ230Aは、ユーザの耳の耳殻の背面または耳殻210の上部に結合する軟骨伝導トランスデューサであり得る。トランスデューサ230Bは、耳の近くの骨の一部分に結合する骨伝導トランスデューサであり得る。トランスデューサ230A、230Bは、それらが結合された組織を振動させ、ユーザの内耳の蝸牛(図2に図示せず)によって音として検出される範囲の音響圧力波を生成する。
いくつかの実施形態では、ヘッドセット205は、1つまたは複数の骨伝導トランスデューサおよび軟骨伝導トランスデューサの組合せを含み得る。いくつかの実施形態では、ヘッドセット205は、1つまたは複数の空気伝導トランスデューサ(図示せず)を含み、空気伝導と組織伝導との組合せによって、ユーザにオーディオコンテンツを提供し得る。
センサー245は、トランスデューサアレイによって提示されたオーディオコンテンツを監視する。センサー245は、センサー140Aの一実施形態である。センサー245は、伝導トランスデューサ230A~Bおよび/または他の組織伝導トランスデューサ(たとえば、ユーザの他方の耳の近くに位置するもの)によって作り出された音響圧力波を検出するために、ヘッドセット上に配置される。いくつかの実施形態では、センサー245は耳道内に配置される。センサー245は、ヘッドセット上にまたはヘッドセットの近くに配置されたセンサーアレイの一部であり得、センサーアレイは複数のセンサーを含む。センサーアレイは、オーディオデータを測定すること以外の用途のために指定されたセンサーに加えて、センサー245と同様の複数の音響センサーを含み得る。他のセンサー、センサーアレイは、慣性測定ユニット(IMU)、ジャイロスコープ、位置センサー、加速度計、またはそれらの組合せを含み得る。ユーザの他方の耳において、オーディオシステムは、それぞれ、ヘッドセットのトランスデューサアレイおよびセンサーアレイ中に含まれる、トランスデューサの別のグループおよび少なくとも別のセンサーを含む。
クロストーク緩和
図3Aは、1つまたは複数の実施形態による、クロストーク緩和より前の音場300を示す。オーディオシステムは、音場300を生成することによって、ヘッドセットのユーザにオーディオコンテンツを提供する。オーディオシステムは、ヘッドセット(たとえば、ヘッドセット100)の一部であり得る。音場300は、少なくとも、音源領域310および320と、トランスデューサグループ350Aおよび350Bと、センサーグループ360Aおよび360Bとを含む。図4に関してさらに詳細に説明されるように、トランスデューサグループ350Aおよび350Bは、トランスデューサアレイの一部であり、センサーグループは、センサーアレイの一部である。
音場300は、トランスデューサグループ350A、350Bの一方または両方からのオーディオコンテンツが伝搬する領域である。音場300は、簡単のために矩形ジオメトリを有するものとして示されていることに留意されたい。実際には、音場300は、ユーザの頭部に対応することになる。音源領域310および320は、たとえば、ユーザの内耳、鼓膜、耳道、またはそれらの何らかの組合せを含むことになる音場310内の領域である。たとえば、音源領域310は、ユーザの右耳についての内耳に対応し得、音源領域320は、ユーザの左耳についての内耳に対応し得る。
トランスデューサグループ350A、350Bは、音場300を生成し、それにより、オーディオコンテンツを、それぞれ、音源領域310および音源領域320に提供する。トランスデューサグループ350A、350Bは、図2に示されているトランスデューサ230A、230Bなど、いくつかのトランスデューサを含み得る。トランスデューサアレイは、トランスデューサグループ350A、350Bの集合を含む。図示の実施形態では、音場300は、音源領域320ではなく、音源領域310に提示されるように意図されている。音場300はユーザの頭部内にあるので、組織伝導トランスデューサを介してオーディオコンテンツを提示することは、たとえば、振動を伝達するための共通媒体としてのユーザの頭骨の共有による、クロストークを生じ得ることに留意されたい。したがって、オーディオコンテンツを単一の音源領域に(たとえば、音源領域320にではなく、音源領域310に、またはその逆に)選択的に向けることは困難であり得る。図3Aに示されているように、たとえば、音源領域310において、トランスデューサグループ350Aが音場300中のオーディオコンテンツを作り出した場合、音場300は音源領域320にも達し、それにより、クロストークが生じる。また、簡単のために、クロストークは、音場300が音源領域320と重複することとして示されている。
センサーアレイは、音場300中のオーディオコンテンツを監視する。センサーアレイは、センサーグループ360A、360Bを介して、トランスデューサグループ350Aおよび/またはトランスデューサグループ350Bによって作り出されたオーディオコンテンツを監視する。センサーグループ360A、360Bは、各音源領域が、指定されたセンサーグループによって監視されるように、それぞれ、音源領域310および音源領域320と一致する。センサーグループ360A、360Bは、各々、図2に示されているセンサー245など、1つまたは複数のセンサーを含む。センサーグループ360Aは、音源領域310におけるオーディオコンテンツを監視するように構成され、センサーグループ360Bは、音源領域320におけるオーディオコンテンツを監視するように構成される。
いくつかの実施形態では、トランスデューサグループは、ユーザの第1の耳の上におよび/または第1の耳の近くに配置され、別のトランスデューサグループは、ユーザの第2の耳の上におよび/または第2の耳の近くに配置される。同様に、センサーグループは第1の耳に近接して配置され、別のセンサーグループは第2の耳に近接して配置される。
オーディオシステムのコントローラ(図示せず)が、音フィルタを生成するために、センサーグループ360A、360Bによってキャプチャされた音データを処理する。音フィルタは、クロストークを緩和するように働くトランスデューサアレイを介して、調整されたオーディオコンテンツを提示するために使用される。これは、図3Bおよび図4に関して以下でさらに説明される。
図3Bは、1つまたは複数の実施形態による、クロストーク緩和の後の音場315を示す。音場315は、オーディオシステムによって生成される。音場315は、図3Aで説明された音場300と実質的に同様であるが、減衰領域370を含むように変更された。減衰領域370は、トランスデューサグループ350A、350B中のトランスデューサによって作り出されたクロストークの少なくとも一部を緩和するのを助ける。
トランスデューサグループ350Aおよび/またはトランスデューサグループ350Bは、コントローラ(図示せず)からの命令に従って、調整されたオーディオコンテンツを周囲で作り出す。図示の実施形態では、調整されたオーディオコンテンツは、減衰領域370が音場315中に形成されるようなものである。図3Aに関して説明されるように、音場300は、クロストークにより音源領域320に達し得る。音源領域320、すなわち、内耳において知覚される音を減衰させることによって、オーディオシステムは、音源領域320において知覚されている音を緩和し、それにより、クロストークを低減することができる。
図示の実施形態では、音源領域320は、「クワイエットゾーン」として指定される。クワイエットゾーンは、減衰領域によって囲まれた音源領域である。減衰領域は、減衰領域に接する音場の部分に対してオーディオコンテンツが実質的に低減される、音場中のロケーションである。減衰領域は、音場の一部である減衰領域外の音からのしきい値レベルを下回る音響振幅を有するものとして定義され得る。いくつかの実施形態では、減衰領域に接する音場と、しきい値レベルとの間の勾配が、指数関数的に低下し得る。勾配は、特定の音場の波長または波数にひも付けられ得る。減衰領域のサイズは、受信された音の波長に基づいて決定され得、これは、ATFにおいて符号化され、音フィルタのために使用される。
いくつかの実施形態では、減衰領域はヌルであり得る。ヌルは、振幅が基本的に0である、音場中のロケーションである。したがって、音源領域320は減衰領域320内にあるので、音源領域320において知覚されたオーディオコンテンツは実質的に低減され、いくつかの場合には、そのオーディオコンテンツは、ユーザの左耳によって知覚できないように十分に低い。
図示の実施形態では、音源領域310は、「ブライトゾーン」として指定される。ブライトゾーンは、減衰領域内にない音場の音源領域である。いくつかの実施形態では、ブライトゾーンはまた、音場の何らかの増幅を含み得ることに留意されたい。たとえば、ブライトゾーンは、ブライトゾーンに接する音場の部分に対してオーディオコンテンツの振幅が増加されるようなものであり得る。
コントローラは、センサーアレイによってキャプチャされたデータを使用して、トランスデューサアレイによって再生された音と、センサーアレイによって受信された音との間の関係を特徴づける1つまたは複数のATFを推定する。コントローラは、推定された1つまたは複数のATFに基づいて、音フィルタを生成する。音フィルタは、トランスデューサアレイによって作り出されたオーディオ出力を調整する。たとえば、減衰領域370において、音フィルタは、減じられた振幅をもつオーディオコンテンツを生じ得る。ATFを推定し、音フィルタを生成するプロセスが、図4に関してさらに詳細に説明される。コントローラは、音源領域310、320において、フィルタ処理された、およびそれにより調整されたオーディオコンテンツを提示するように、トランスデューサグループ350A、350Bに命令する。
クワイエットゾーンにおいて、トランスデューサグループ350Bは、フィルタ処理されたオーディオコンテンツを音源領域320に提示する。減衰領域370の近くのユーザの内耳、すなわち、音源領域320は、音源領域310の近くの、ブライトゾーンにおいて作り出された音よりも低い振幅をもつ音を知覚する。図3Aにおいてクロストークが知覚された、音源領域320においてオーディオコンテンツを減衰させることは、ユーザによって聴取されるクロストークの少なくとも一部の緩和を生じる。いくつかの実施形態では、オーディオコンテンツのある部分は、音源領域320における内耳が知覚するように、音源320において作り出され得る。減衰領域370において減衰させる量は、音源320において作り出されるべきオーディオコンテンツを考慮し得る。たとえば、その内耳において知覚されるクロストークは、内耳に向けられたオーディオコンテンツが知覚できるように、減衰され得る。
図4は、1つまたは複数の実施形態による、例示的なオーディオシステム400のブロック図である。オーディオシステム400は、オーディオコンテンツをユーザに提供するヘッドセット(たとえば、ヘッドセット100)の構成要素であり得る。オーディオシステム400は、トランスデューサアレイ410と、センサーアレイ420と、コントローラ430とを含む。図1~図3Bで説明されたオーディオシステムは、オーディオシステム400の実施形態である。オーディオシステム400のいくつかの実施形態は、ここで説明される構成要素以外の他の構成要素を含む。同様に、構成要素の機能は、ここで説明されるものとは異なって分散され得る。たとえば、一実施形態では、コントローラ430は、ヘッドセット内に組み込まれるのではなく、ヘッドセットの外部にあり得る。
トランスデューサアレイ410は、オーディオコンテンツをユーザに提供する。トランスデューサアレイ410は、いくつかのトランスデューサグループ(たとえば、トランスデューサグループ350A、350B)を含み得る。各トランスデューサグループは、オーディオコンテンツをユーザに提供するために使用され得る1つまたは複数のトランスデューサ(たとえば、トランスデューサ120A、120B、120C、および120D)を含む。トランスデューサは、骨伝導トランスデューサ、軟骨伝導トランスデューサ、またはそれらの何らかの組合せなど、組織伝導トランスデューサであり得る。いくつかの実施形態では、トランスデューサは、1つまたは複数の空気トランスデューサ(すなわち、スピーカー)をも含み得ることに留意されたい。トランスデューサアレイ410は、周波数の総範囲上でオーディオコンテンツをユーザに提供する。たとえば、周波数の総範囲は、概して人間の聴覚の平均範囲の周りの、20Hz~20kHzである。トランスデューサアレイ410中のトランスデューサは、周波数の様々な範囲上で振動するように構成される。一実施形態では、トランスデューサアレイ410中の各トランスデューサは、周波数の総範囲上で動作する。別の実施形態では、1つまたは複数のトランスデューサは、低サブレンジ(たとえば、20Hz~500Hz)上で動作し、トランスデューサの第2のセットは、高サブレンジ(たとえば、500Hz~20kHz)上で動作する。いくつかの実施形態では、周波数の様々な範囲は、部分的に重複し得る。
トランスデューサアレイ410中の組織伝導トランスデューサは、コントローラ430によって受信された命令に従って音響圧力波を生成する。トランスデューサは、軟骨または骨など、ユーザの耳の近くの組織に結合され、音波を作り出すためにその組織を振動させる。音響圧力波は、蝸牛においてなど、ユーザの鼓膜および/または内耳によって検出される。別の実施形態では、トランスデューサは、耳の近くの組織ではなく、ユーザの顎または頭蓋骨に結合される。いくつかの実施形態では、トランスデューサアレイ410は、ユーザの耳の蝸牛によって知覚できる空気伝搬音響圧力波を生成するために振動する空気伝導トランスデューサを含み得る。
センサーアレイ420は、トランスデューサアレイ410によって作り出された音を検出する。センサーアレイ420は、1つまたは複数のセンサーグループ(たとえば、センサーグループ360A、360B)を含み得る。センサーグループは、1つまたは複数のセンサー(たとえば、センサー245)を含む。センサーは、たとえば、マイクロフォン、振動センサー、加速度計、またはそれらの任意の組合せであり得る。いくつかの実施形態では、センサーは、補聴器または人工内耳の構成要素であり得る。センサーアレイ420は、1つまたは複数のセンサーグループ中のセンサーを使用して、トランスデューサアレイ410によって生成されたオーディオコンテンツを監視するように構成される。センサーの数を増加させることは、トランスデューサアレイ410によって作り出された音場を表す情報の精度を改善し得る。各センサーは、音を検出し、検出された音を電子フォーマットに変換するように構成される。
コントローラ430(たとえば、コントローラ365)は、オーディオシステム400の動作を制御する。いくつかの実施形態では、コントローラ430は、オーディオシステム400によって作り出されたクロストークを緩和するように構成される。コントローラ430は、データストア440と、伝達関数モジュール450と、最適化モジュール460と、音フィルタモジュール470とを含む。コントローラ430は、いくつかの実施形態では、ヘッドセット内に位置し得る。コントローラ430のいくつかの実施形態は、ここで説明されるものとは異なる構成要素を有する。同様に、機能は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コントローラのいくつかの機能が、ヘッドセットの外部で実施され得る。
データストア440は、オーディオシステム400による使用のためのデータを記憶する。データストア440中のデータは、ヘッドセットのローカルエリアにおいて記録された音、オーディオコンテンツ、基準信号などのプリセットオーディオコンテンツ、頭部伝達関数(HRTF)、1つまたは複数のセンサーおよび/またはトランスデューサのための伝達関数、センサーおよび/またはトランスデューサのためのアレイ伝達関数(ATF)、最適化制約、音フィルタ、ユーザの頭部のためのモデル、ならびにオーディオシステム400による使用のための関連する他のデータ、あるいはそれらの任意の組合せを含み得る。ヘッドセットのローカルエリアにおいて記録された音は、センサーアレイ420によって収集されたデータを含み得る。データストア440は、いくつかの実施形態では、コントローラ430がどの音源領域(たとえば、耳)をブライトゾーンおよびクワイエットゾーンとして指定するかに関するデータを含む。
伝達関数モジュール450は、センサーアレイ420中の複数のセンサーグループによってキャプチャされたデータを使用して、アレイ伝達関数(ATF)を推定する。センサーグループは、1つまたは複数のセンサーを含む。各センサーグループは、特定の音源領域を監視するように構成される。たとえば、一実施形態では、右耳に関連する音源領域においてオーディオコンテンツを監視するセンサーグループと、左耳に関連する音源領域においてオーディオコンテンツを監視する第2のセンサーグループとがある。
上記で説明されたように、ATFは、トランスデューサアレイ410中のトランスデューサによって作り出された音と、センサーアレイ420中のセンサーによって受信された対応する音との間の関係を特徴づけるいくつかの伝達関数を含む。トランスデューサまたはセンサーのセットのための複数の伝達関数が、アレイ伝達関数と呼ばれる。いくつかの実施形態では、伝達関数を決定するために、固有値分解が使用される。いくつかの実施形態では、伝達関数を決定するために、特異値分解が使用される。所与のトランスデューサおよび/またはセンサーについて、センサーアレイ中のセンサーのすべてについての伝達関数の集合が、ATFと呼ばれる。ATFは、センサーアレイ420がトランスデューサからどのように音を受信するかを特徴づけ、トランスデューサアレイ410がどのように音を作り出すかを特徴づける。ATFはまた、トランスデューサのロケーションにおける音のパラメータと、センサーアレイ420が音を検出したパラメータとの間の関係を定義する。いくつかの実施形態では、相対伝達関数(RTF)が、センサーアレイ420上の任意のセンサーによって正規化された別のタイプのATFである。RTFは、トランスデューサアレイ410上の任意のトランスデューサによって正規化され得る。
最適化モジュール460は、トランスデューサアレイ410中のトランスデューサに適用されるべき1つまたは複数の音フィルタを作り出す。最適化モジュール460は、伝達関数モジュール450によって推定されたATFを入力として取り入れ、最適化アルゴリズムをATFに適用する。最適化アルゴリズムは、データストア440に記憶された1つまたは複数の制約を受けることがあり、それに応じて音フィルタを出力する。制約は、特に、ブライトゾーンまたはクワイエットゾーンとしての左耳の指定、ブライトゾーンまたはクワイエットゾーンとしての右耳の指定、音がユーザに伝達された伝導のタイプ(たとえば、空気、軟骨、および/または骨)、あるいはそれらの何らかの組合せを含み得る。いくつかの制約は、頭部伝達関数、ユーザの頭部のモデル、ユーザの写真、人口統計学的情報に依存する制約、またはそれらの何らかの組合せなど、ヘッドセットのユーザに関し得る。他の制約は、ユーザの組織および/または骨を通した再現された波の伝搬の方向、ユーザの組織および/または骨を通って作り出された音場の形状、あるいはそれらの何らかの組合せを含み得る。最適化アルゴリズムは、線形制約され、たとえば、線形制約最小分散(LCMV:linearly constrained minimum variance)アルゴリズム、帝国主義競争アルゴリズム(imperialist competitive algorithm)、または主成分分析を使用するアルゴリズムであり得る。最適化アルゴリズムは、本明細書で述べられないアルゴリズムであり得る。最適化モジュール460によって出力された音フィルタは、音フィルタモジュール470に入力される。音フィルタは、トランスデューサのうちの1つまたは複数によって提示された音響圧力波を増幅するかまたは減じ得、特定の周波数範囲を別様にターゲットにし、あるいはそれらの何らかの組合せを行い得る。音フィルタは、特に、ローパスフィルタと、ハイパスフィルタと、バンドパスフィルタとを含み得る。
いくつかの実施形態では、最適化モジュール460は、1つまたは複数の音フィルタの第1のセットを生成するために、ブライトゾーンである第1の耳、およびクワイエットゾーンであるものとしての第2の耳について、最適化アルゴリズムを適用する。最適化モジュール460はまた、1つまたは複数の音フィルタの第2のセットを生成するために、ブライトゾーンである第2の耳、およびクワイエットゾーンであるものとしての第1の耳について、最適化アルゴリズムを適用する。上記のプロセスは、並行してまたは連続して行われ得る。
音フィルタモジュール470は、トランスデューサアレイ410に音フィルタを提供する。トランスデューサアレイ410によって適用され、音フィルタは、ブライトゾーンとして指定された他方の耳にオーディオコンテンツを提供しながら、クワイエットゾーンとして指定された耳において(たとえば、ヌルであり得る)減衰された領域があるように、オーディオコンテンツを調整する。クロストークが知覚され得る領域において音を減衰させることによって、本明細書で説明されるオーディオシステム400は、組織伝導から生じるクロストークの少なくとも一部を緩和する。
図5は、1つまたは複数の実施形態による、組織伝導オーディオシステムにおけるクロストークを緩和するためのプロセス500である。図5に示されているプロセスは、オーディオシステム(たとえば、オーディオシステム400)の構成要素によって実施され得る。他のエンティティが、他の実施形態において図5中のステップの一部または全部を実施し得る。実施形態は、異なるおよび/または追加のステップを含むか、あるいは異なる順序でステップを実施し得る。
オーディオシステム400は、ヘッドセット(たとえば、ヘッドセット100)を装着しているユーザの第1の耳をブライトゾーンとして、およびユーザの第2の耳をクワイエットゾーンとして指定する510。
オーディオシステム400は、トランスデューサアレイ(たとえば、トランスデューサアレイ410)を介してユーザの第1の耳にオーディオコンテンツを提示する520。オーディオコンテンツは、たとえば、音楽、ボイスなどであり得る。いくつかの実施形態では、オーディオコンテンツは基準オーディオ信号を含み得る。トランスデューサアレイは、組織伝導を介してユーザの耳の内耳にオーディオコンテンツを提示する。オーディオコンテンツは組織伝導を介して提示されるので、オーディオコンテンツの一部は、ユーザの第2の耳においても受信され得る(すなわち、クロストーク)。
オーディオシステム400は、1つまたは複数のセンサーを使用して、提示されたオーディオコンテンツに関するデータを監視する530。1つまたは複数のセンサーは、センサーアレイ(たとえば、センサーアレイ420)の一部であり得る。1つまたは複数のセンサーは、ユーザの他方の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも1つのセンサーを含む。キャプチャされたデータは、第1の耳を対象とするが、第2の耳において検出された、オーディオコンテンツを表すデータを含む(すなわち、クロストーク)。
オーディオシステム400は、提示されたオーディオコンテンツに関連するアレイ伝達関数(ATF)を推定する540。コントローラ(たとえば、コントローラ430)によって推定されたATFは、1つまたは複数のセンサーによってキャプチャされたデータを使用して(たとえば、固有値分解を介して)計算される。ATFは、トランスデューサアレイ410中の各トランスデューサについて計算される。
オーディオシステム400は、推定されたATFを使用して、トランスデューサアレイのための音フィルタを生成する550。オーディオシステム400は、オーディオシステム400のコントローラ(たとえば、コントローラ430)を使用して、音フィルタを生成し得る。
オーディオシステム400は、トランスデューサアレイを介して、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示する560。調整されたオーディオコンテンツは、第1の耳における調整されたオーディオコンテンツの振幅が第2の耳においてよりも高い振幅を有するように、第2の耳における減衰領域を有する。したがって、調整されたオーディオコンテンツは、通常ならば第2の耳において発生するであろうクロストークをフィルタで除去し得る。
上記のプロセスは、第2の耳とのクロストークを緩和する様式で、第1の耳にコンテンツを提供することについて説明されることに留意されたい。オーディオシステム400は、第1の耳とのクロストークを緩和しながら、第2の耳にオーディオコンテンツを提供するために、同様のプロセスを実施するが、どちらの耳がブライトゾーンにあるか、およびどちらの耳がクワイエットゾーンにあるかを逆にし得る。各耳のための音フィルタは、それらの音フィルタが、調整されたオーディオコンテンツの持続時間内に生成されるように、互いに並行しておよび/または連続して生成され得る。しかしながら、各耳は、オーディオコンテンツを並行して受信する。
人工現実システムの例
図6は、1つまたは複数の実施形態による、例示的な人工現実システム600のブロック図である。人工現実システム600は、ユーザに人工現実環境、たとえば、仮想現実、拡張現実、複合現実環境、またはそれらの何らかの組合せを提示する。システム600は、その両方がコンソール610に結合された、ヘッドセット605と入出力(I/O)インターフェースとを備える。ヘッドセット605は、ヘッドセット100の一実施形態であり得る。図6は、1つのヘッドセットと1つのコンソールと1つのI/Oインターフェースとをもつ例示的なシステムを示すが、他の実施形態では、任意の数のこれらの構成要素が、システム600中に含まれ得る。
ヘッドセット605は、コンピュータ生成された要素(たとえば、2次元(2D)または3次元(3D)画像、2Dまたは3Dビデオ、音など)を用いた物理的な現実世界環境の拡張ビューを備えるコンテンツをユーザに提示する。ヘッドセット605は、アイウェアデバイスまたはヘッドマウントディスプレイであり得る。いくつかの実施形態では、提示されるコンテンツは、オーディオシステム400を介して提示されるオーディオコンテンツを含み、オーディオシステム400は、ヘッドセット605、コンソール610、またはその両方からオーディオ情報(たとえば、オーディオ信号)を受信し、そのオーディオ情報に基づいてオーディオコンテンツを提示する。ヘッドセット605は、人工現実コンテンツをユーザに提示する。ヘッドセット605は、オーディオシステム400と、深度カメラアセンブリ(DCA)630と、電子ディスプレイ635と、光学ブロック640と、1つまたは複数の位置センサー645と、慣性測定ユニット(IMU)650とを含む。いくつかの実施形態では、ヘッドセット605は、ここで説明されるものとは異なる構成要素を含む。さらに、様々な構成要素の機能性は、ここで説明されるものとは異なって分散され得る。
オーディオシステム400は、オーディオコンテンツをヘッドセット605のユーザに提供する。図1~図5を参照しながら上記で説明されたように、オーディオシステム400は、トランスデューサアレイ410を介して、オーディオコンテンツを提示し、センサーアレイ420を介して、提示されたオーディオコンテンツに関するデータをキャプチャする。オーディオシステム400は、組織伝導によって作り出されたクロストークを緩和する様式で、オーディオコンテンツを調整する音フィルタを決定する。
DCA630は、ヘッドセット605の一部または全部の周囲のローカル環境の深度情報を表すデータをキャプチャする。DCA630は、光生成器(たとえば、構造化光および/または飛行時間についてのフラッシュ)、1つまたは複数のイメージングデバイス、DCAコントローラ、またはそれらの何らかの組合せを含み得る。光生成器は、たとえば、DCAコントローラによって生成された放射命令に従って、照明光を用いてローカルエリアを照明する。DCAコントローラは、放射命令に基づいて、たとえば、ローカルエリアを照明する照明光の強度およびパターンを調整するように、光生成器のいくつかの構成要素の動作を制御するように構成される。いくつかの実施形態では、照明光は、構造化光パターン、たとえば、ドットパターン、ラインパターンなどを含み得る。いくつかの実施形態では、照明光は、2つまたはそれ以上のイメージングデバイスを介して、アクティブステレオイメージングのための追加のテクスチャを提供するために使用され得る。
1つまたは複数のイメージングデバイスは、各々、ローカルエリア中の1つまたは複数の物体の1つまたは複数の画像をキャプチャする。いくつかの実施形態では、複数のイメージングデバイスがあり、深度は決定されたステレオである。いくつかの実施形態では、1つまたは複数の物体は、照明光を用いて照明される。これらの事例では、DCAコントローラは、たとえば、構造化光深度処理技法、ToF深度処理技法、アクティブステレオ深度処理技法、ステレオ深度処理技法、またはそれらの何らかの組合せを使用して、深度情報を決定し得る。DCA630は、コンソール610などの別のデバイスに深度情報を送り得る。いくつかの実施形態では、DCA630は、キャプチャされた画像をコンソール610に提供し得、コンソール610は深度情報を決定する。
電子ディスプレイ635は、コンソール610から受信されたデータに従ってユーザに2D画像または3D画像を表示する。様々な実施形態では、電子ディスプレイ635は、単一の電子ディスプレイまたは複数の電子ディスプレイ(たとえば、ユーザの各眼のためのディスプレイ)を備える。電子ディスプレイ635の例は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ(AMOLED)、導波路ディスプレイ、何らかの他のディスプレイ、またはそれらの何らかの組合せを含む。
いくつかの実施形態では、光学ブロック640は、電子ディスプレイ635から受光された画像光を拡大し、画像光に関連する光学誤差を補正し、補正された画像光をヘッドセット605のユーザに提示する。様々な実施形態では、光学ブロック640は、1つまたは複数の光学要素を含む。光学ブロック640中に含まれる例示的な光学要素は、導波路、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を及ぼす任意の他の好適な光学要素を含む。その上、光学ブロック640は、様々な光学要素の組合せを含み得る。いくつかの実施形態では、光学ブロック640中の光学要素のうちの1つまたは複数は、部分反射コーティングまたは反射防止コーティングなど、1つまたは複数のコーティングを有し得る。
光学ブロック640による画像光の拡大および集束は、電子ディスプレイ635が、より大きいディスプレイよりも、物理的により小さくなり、重さが減じ、少ない電力を消費することを可能にする。さらに、拡大は、電子ディスプレイ635によって提示されるコンテンツの視野を増加させ得る。たとえば、表示されるコンテンツの視野は、表示されるコンテンツが、ユーザの視野のほとんどすべて(たとえば、対角約110度)、およびいくつかの場合にはすべてを使用して提示されるようなものである。さらに、いくつかの実施形態では、拡大の量は、光学要素を追加することまたは取り外すことによって調整され得る。
いくつかの実施形態では、光学ブロック640は、1つまたは複数のタイプの光学誤差を補正するように設計され得る。光学誤差の例は、たる形ひずみまたは糸巻き形ひずみ、縦色収差、あるいは横色収差を含む。他のタイプの光学誤差は、球面収差、色収差、またはレンズ像面湾曲による誤差、非点収差、または任意の他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイ635に提供されるコンテンツは予歪され、光学ブロック640が、そのコンテンツに基づいて生成された画像光を電子ディスプレイ635から受光したとき、光学ブロック640はそのひずみを補正する。
IMU650は、位置センサー645のうちの1つまたは複数から受信された測定信号に基づいて、ヘッドセット605の位置を指示するデータを生成する電子デバイスである。位置センサー645は、ヘッドセット605の運動に応答して1つまたは複数の測定信号を生成する。位置センサー645の例は、1つまたは複数の加速度計、1つまたは複数のジャイロスコープ、1つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、IMU650の誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー645は、IMU650の外部に、IMU650の内部に、またはそれらの何らかの組合せで位置し得る。1つまたは複数の実施形態では、IMU650および/または位置センサー645は、オーディオコンテンツ400によって提示されるオーディオコンテンツに関するデータをキャプチャするように構成された、センサーアレイ420中のセンサーであり得る。
1つまたは複数の位置センサー645からの1つまたは複数の測定信号に基づいて、IMU650は、ヘッドセット605の初期位置に対するヘッドセット605の推定現在位置を指示するデータを生成する。たとえば、位置センサー645は、並進運動(前/後、上/下、左/右)を測定するための複数の加速度計と、回転運動(たとえばピッチ、ヨー、およびロール)を測定するための複数のジャイロスコープとを含む。いくつかの実施形態では、IMU650は、測定信号を迅速にサンプリングし、サンプリングされたデータからヘッドセット605の推定現在位置を計算する。たとえば、IMU650は、加速度計から受信された測定信号を経時的に積分して速度ベクトルを推定し、その速度ベクトルを経時的に積分して、ヘッドセット605上の基準点の推定現在位置を決定する。代替的に、IMU650は、サンプリングされた測定信号をコンソール610に提供し、コンソール610は、誤差を低減するようにデータを解釈する。基準点は、ヘッドセット605の位置を表すために使用され得る点である。基準点は、概して、アイウェアデバイス605の配向および位置に関係する空間中の点、または位置として定義され得る。
I/Oインターフェース655は、ユーザがアクション要求を送り、コンソール610から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。I/Oインターフェース655は、1つまたは複数の入力デバイスを含み得る。例示的な入力デバイスは、キーボード、マウス、ハンドコントローラ、またはアクション要求を受信し、そのアクション要求をコンソール610に通信するための任意の他の好適なデバイスを含む。I/Oインターフェース655によって受信されたアクション要求は、コンソール610に通信され、コンソール610は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、I/Oインターフェース515は、上記でさらに説明されたように、I/Oインターフェース655の初期位置に対するI/Oインターフェース655の推定位置を指示する較正データをキャプチャするIMU650を含む。いくつかの実施形態では、I/Oインターフェース655は、コンソール610から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供されるか、または、コンソール610がアクションを実施するときに、コンソール610が、I/Oインターフェース655に命令を通信して、I/Oインターフェース655が触覚フィードバックを生成することを引き起こす。I/Oインターフェース655は、オーディオコンテンツの知覚される起点方向および/または知覚される起点ロケーションを決定する際に使用するためにユーザからの1つまたは複数の入力応答を監視し得る。
コンソール610は、ヘッドセット605とI/Oインターフェース655とのうちの1つまたは複数から受信された情報に従って、処理するためのコンテンツをヘッドセット605に提供する。図6に示されている例では、コンソール610は、アプリケーションストア620と、追跡モジュール625と、エンジン615とを含む。コンソール610のいくつかの実施形態は、図6に関して説明されるものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、図6に関して説明されるものとは異なる様式でコンソール610の構成要素の間で分散され得る。
アプリケーションストア620は、コンソール610が実行するための1つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、ヘッドセット605またはI/Oインターフェース655の移動を介してユーザから受信された入力に応答したものであり得る。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。
追跡モジュール625は、1つまたは複数の較正パラメータを使用してシステム環境600を較正し、ヘッドセット605またはI/Oインターフェース655の位置を決定する際の誤差を低減するように、1つまたは複数の較正パラメータを調整し得る。また、追跡モジュール625によって実施される較正は、ヘッドセット605中のIMU650および/またはI/Oインターフェース655中に含まれるIMU650から受信された情報を考慮する。さらに、ヘッドセット605の追跡が失われた場合、追跡モジュール625は、システム環境600の一部または全部を再較正し得る。
追跡モジュール625は、1つまたは複数の位置センサー645、IMU650、DCA630、またはそれらの何らかの組合せからの情報を使用して、ヘッドセット605またはI/Oインターフェース655の移動を追跡する。たとえば、追跡モジュール625は、ヘッドセット605からの情報に基づいて、ローカルエリアのマッピングにおいてヘッドセット605の基準点の位置を決定する。追跡モジュール625はまた、ヘッドセット605の基準点の位置、またはI/Oインターフェース655の基準点の位置を、それぞれ、ヘッドセット605の位置を指示するIMU650からのデータを使用して、またはI/Oインターフェース655の位置を指示するI/Oインターフェース655中に含まれるIMU650からのデータを使用して決定し得る。さらに、いくつかの実施形態では、追跡モジュール625は、位置またはヘッドセット605を指示するIMU650からのデータの部分を使用して、ヘッドセット605の将来の位置を予測し得る。追跡モジュール625は、ヘッドセット605またはI/Oインターフェース655の推定または予測された将来の位置をエンジン615に提供する。いくつかの実施形態では、追跡モジュール625は、音フィルタを生成する際に使用するためにオーディオシステム400に追跡情報を提供し得る。
エンジン615はまた、システム環境600内でアプリケーションを実行し、追跡モジュール625から、ヘッドセット605の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、エンジン615は、ユーザへの提示のためにヘッドセット605に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを指示する場合、エンジン615は、仮想環境において、またはローカルエリアを追加のコンテンツで拡張する環境において、ユーザの移動を反映する、ヘッドセット605のためのコンテンツを生成する。さらに、エンジン615は、I/Oインターフェース655から受信されたアクション要求に応答して、コンソール610上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ヘッドセット605を介した視覚または可聴フィードバック、あるいはI/Oインターフェース655を介した触覚フィードバックであり得る。
追加の構成情報
本開示の実施形態の上記の説明は、説明の目的で提示されており、網羅的であること、または開示される正確な形態に本開示を限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。
本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、製造プロセスに関して、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せにおいて具現され得る。
本明細書で説明されるステップ、動作、またはプロセスのいずれも、1つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、(たとえば、製造プロセスに関して)説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。
本開示の実施形態はまた、本明細書の動作を実施するための装置に関し得る。この装置は、必要とされる目的のために特別に構築され得、および/あるいは、この装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または電子命令を記憶するのに好適な任意のタイプの媒体に記憶され得、それらの媒体はコンピュータシステムバスに結合され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または増加された算出能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。
最終的に、本明細書において使用される言い回しは、主に読みやすさおよび教育目的で選択されており、本明細書において使用される言い回しは、本発明の主題を定めるかまたは制限するように選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。

Claims (15)

  1. 組織伝導を介してユーザの第1の耳の内耳にオーディオコンテンツを提示するトランスデューサアレイを介して、オーディオコンテンツを提示することと、
    ヘッドセット上の1つまたは複数のセンサーを介して、提示された前記オーディオコンテンツに関するデータを監視することであって、前記1つまたは複数のセンサーが、前記ユーザの第2の耳における提示された前記オーディオコンテンツに関するデータをキャプチャするように構成された少なくとも1つのセンサーを含む、提示された前記オーディオコンテンツに関するデータを監視することと、
    前記データに関連するアレイ伝達関数(ATF)を推定することと、
    推定された前記ATFを使用して、前記トランスデューサアレイのための音フィルタを生成することと、
    前記トランスデューサアレイを介して、前記音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示することであって、前記調整されたオーディオコンテンツは、前記第1の耳における前記調整されたオーディオコンテンツの振幅が前記第2の耳においてよりも高い振幅を有するように、前記第2の耳における減衰領域を有する、調整されたオーディオコンテンツを提示することと
    を含む、方法。
  2. 前記組織伝導が、軟骨伝導と骨伝導とのうちの少なくとも1つを含む、請求項1に記載の方法。
  3. 前記トランスデューサアレイが、トランスデューサの第1のグループとトランスデューサの第2のグループとを含み、トランスデューサの前記第1のグループが前記第1の耳に近接しており、トランスデューサの前記第2のグループが前記第2の耳に近接している、請求項1または2に記載の方法。
  4. 前記1つまたは複数のセンサーが、センサーの第1のグループとセンサーの第2のグループとを含み、センサーの前記第1のグループが前記第1の耳に近接しており、センサーの前記第2のグループが前記第2の耳に近接しており、前記少なくとも1つのセンサーを含み、好ましくは、前記ヘッドセット上の前記1つまたは複数のセンサーを介して、前記提示されたオーディオコンテンツに関するデータを監視することが、
    センサーの前記第1のグループとセンサーの前記第2のグループとのうちの少なくとも1つを使用して、前記提示されたオーディオコンテンツに関するデータを監視すること
    を含む、請求項1から3のいずれか一項に記載の方法。
  5. 推定された前記ATFを使用して、前記トランスデューサアレイのための前記音フィルタを生成することは、
    前記音フィルタを生成するために、前記推定されたATFに最適化アルゴリズムを適用することであって、前記最適化アルゴリズムが1つまたは複数の制約を受け、好ましくは、前記1つまたは複数の制約が、前記第1の耳がブライトゾーンとして指定されることと、前記第2の耳がクワイエットゾーンとして指定されることとを含む、最適化アルゴリズムを適用すること
    を含む、請求項1から4のいずれか一項に記載の方法。
  6. 組織伝導を介して第2の耳の内耳に第2のオーディオコンテンツを提示する前記トランスデューサアレイを介して、前記第2のオーディオコンテンツを提示することと、
    前記ヘッドセット上の少なくとも1つのセンサーを介して、提示された前記第2のオーディオコンテンツに関する第2のデータを監視することであって、前記少なくとも1つのセンサーが、前記第2の耳における提示された前記第2のオーディオコンテンツに関する第2のデータをキャプチャするように構成された少なくとも1つのセンサーを含む、提示された前記第2のオーディオコンテンツに関する第2のデータを監視することと、
    前記第2のデータに関連する第2のアレイ伝達関数(ATF)を推定することと、
    推定された前記第2のATFを使用して、前記トランスデューサアレイのための第2の音フィルタを生成することと、
    前記トランスデューサアレイを介して、前記第2の音フィルタに部分的に基づいて、調整された第2のオーディオコンテンツを提示することであって、前記調整されたオーディオコンテンツは、前記第1の耳における前記調整されたオーディオコンテンツの振幅が前記第2の耳においてよりも高い振幅を有するように、前記第1の耳における減衰領域を有し、好ましくは、調整されたオーディオコンテンツを提示することと、調整された第2のオーディオコンテンツを提示することとが、様々な期間にわたって行われる、調整された第2のオーディオコンテンツを提示することと
    をさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 組織伝導を介してユーザの第1の耳の内耳にオーディオコンテンツを提示するように構成されたトランスデューサアレイと、
    提示された前記オーディオコンテンツに関するデータを監視するように構成されたヘッドセット上の1つまたは複数のセンサーであって、前記1つまたは複数のセンサーが、第2の耳における提示された前記オーディオコンテンツに関するデータをキャプチャするように構成された少なくとも1つのセンサーを含む、1つまたは複数のセンサーと、
    前記データに関連するアレイ伝達関数(ATF)を推定することと、
    推定された前記ATFを使用して、前記トランスデューサアレイのための音フィルタを生成することと、
    前記音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示するように前記トランスデューサアレイに命令することであって、前記調整されたオーディオコンテンツは、前記第1の耳における前記オーディオコンテンツの振幅が前記第2の耳においてよりも高い振幅を有するように、前記第2の耳における減衰領域を有する、調整されたオーディオコンテンツを提示するように前記トランスデューサアレイに命令することと
    を行うように構成されたコントローラと
    を備えるオーディオシステム。
  8. 前記組織伝導が、軟骨伝導と骨伝導とのうちの少なくとも1つを含む、請求項7に記載のオーディオシステム。
  9. 前記トランスデューサアレイが、トランスデューサの第1のグループとトランスデューサの第2のグループとを含み、トランスデューサの前記第1のグループが前記第1の耳に近接しており、トランスデューサの前記第2のグループが前記第2の耳に近接している、請求項8に記載のオーディオシステム。
  10. 前記1つまたは複数のセンサーが、センサーの第1のグループとセンサーの第2のグループとを含み、センサーの前記第1のグループが前記第1の耳に近接しており、センサーの前記第2のグループが前記第2の耳に近接しており、前記少なくとも1つのセンサーを含む、請求項8または9に記載のオーディオシステム。
  11. 前記コントローラは、
    前記音フィルタを生成するために、推定された前記ATFに最適化アルゴリズムを適用することであって、前記最適化アルゴリズムが1つまたは複数の制約を受け、好ましくは、前記1つまたは複数の制約が、前記第1の耳がブライトゾーンとして指定されることと、前記第2の耳がクワイエットゾーンとして指定されることとを含む、最適化アルゴリズムを適用すること
    を行うようにさらに構成された、請求項8から10のいずれか一項に記載のオーディオシステム。
  12. 組織伝導を介して前記ユーザの第2の耳の内耳に第2のオーディオコンテンツを提示するように構成された前記トランスデューサアレイと、
    前記提示されたオーディオコンテンツに関する第2のデータを監視するように構成されたヘッドセット上の1つまたは複数のセンサーであって、前記1つまたは複数のセンサーが、前記第2の耳における前記提示されたオーディオコンテンツに関する第2のデータをキャプチャするように構成された少なくとも1つのセンサーを含む、1つまたは複数のセンサーと、
    前記第2のデータに関連する第2のアレイ伝達関数(ATF)を推定することと、
    推定された前記第2のATFを使用して、前記トランスデューサアレイのための第2の音フィルタを生成することと、
    前記第2の音フィルタに部分的に基づいて、調整された第2のオーディオコンテンツを提示するように前記トランスデューサアレイに命令することであって、前記調整されたオーディオコンテンツは、前記第2の耳における前記調整されたオーディオコンテンツの振幅が前記第1の耳においてよりも高い振幅を有するように、前記第1の耳における減衰領域を有し、好ましくは、調整されたオーディオコンテンツを提示することと、調整された第2のオーディオコンテンツを提示することとが、様々な期間にわたって行われる、調整された第2のオーディオコンテンツを提示するように前記トランスデューサアレイに命令することと
    を行うように構成された前記コントローラと
    をさらに備える、請求項7から11のいずれか一項に記載のオーディオシステム。
  13. プログラムコード命令を記憶するように構成された非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、
    組織伝導を介してユーザの第1の耳の内耳にオーディオコンテンツを提示するトランスデューサアレイを介して、オーディオコンテンツを提示することと、
    ヘッドセット上の1つまたは複数のセンサーを介して、提示された前記オーディオコンテンツに関するデータを監視することであって、前記1つまたは複数のセンサーが、前記ユーザの第2の耳における提示された前記オーディオコンテンツに関するデータをキャプチャするように構成された少なくとも1つのセンサーを含む、提示された前記オーディオコンテンツに関するデータを監視することと、
    前記データに関連するアレイ伝達関数(ATF)を推定することと、
    推定された前記ATFを使用して、前記トランスデューサアレイのための音フィルタを生成することと、
    前記トランスデューサアレイを介して、前記音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示することであって、前記調整されたオーディオコンテンツは、前記第1の耳における前記調整されたオーディオコンテンツの振幅が前記第2の耳においてよりも高い振幅を有するように、前記第2の耳における減衰領域を有する、調整されたオーディオコンテンツを提示することと
    を含むステップを実施させる、非一時的コンピュータ可読媒体。
  14. 組織伝導を介して第2の耳の内耳に第2のオーディオコンテンツを提示する前記トランスデューサアレイを介して、前記第2のオーディオコンテンツを提示することと、
    前記ヘッドセット上の少なくとも1つのセンサーを介して、提示された前記第2のオーディオコンテンツに関する第2のデータを監視することであって、前記少なくとも1つのセンサーが、前記第2の耳における提示された前記第2のオーディオコンテンツに関する第2のデータをキャプチャするように構成された少なくとも1つのセンサーを含む、提示された前記第2のオーディオコンテンツに関する第2のデータを監視することと、
    前記第2のデータに関連する第2のアレイ伝達関数(ATF)を推定することと、
    推定された前記第2のATFを使用して、前記トランスデューサアレイのための第2の音フィルタを生成することと、
    前記トランスデューサアレイを介して、前記第2の音フィルタに部分的に基づいて、調整された第2のオーディオコンテンツを提示することであって、前記調整されたオーディオコンテンツは、前記第1の耳における前記調整されたオーディオコンテンツの振幅が前記第2の耳においてよりも高い振幅を有するように、前記第1の耳における減衰領域を有する、調整された第2のオーディオコンテンツを提示することと
    を行うようにさらに構成された、請求項13に記載の非一時的コンピュータ可読媒体。
  15. 前記組織伝導が、軟骨伝導と骨伝導とのうちの少なくとも1つを含む、請求項13または14に記載の非一時的コンピュータ可読媒体。
JP2021570856A 2019-07-11 2020-07-07 組織伝導オーディオシステムにおけるクロストークを緩和すること Pending JP2022539493A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/509,023 2019-07-11
US16/509,023 US10993029B2 (en) 2019-07-11 2019-07-11 Mitigating crosstalk in tissue conduction audio systems
PCT/US2020/041038 WO2021007227A1 (en) 2019-07-11 2020-07-07 Mitigating crosstalk in tissue conduction audio systems

Publications (1)

Publication Number Publication Date
JP2022539493A true JP2022539493A (ja) 2022-09-12

Family

ID=71784728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021570856A Pending JP2022539493A (ja) 2019-07-11 2020-07-07 組織伝導オーディオシステムにおけるクロストークを緩和すること

Country Status (6)

Country Link
US (1) US10993029B2 (ja)
EP (1) EP3997892A1 (ja)
JP (1) JP2022539493A (ja)
KR (1) KR20220034836A (ja)
CN (1) CN114009061A (ja)
WO (1) WO2021007227A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD933635S1 (en) * 2020-04-17 2021-10-19 Bose Corporation Audio accessory
CN116473754B (zh) * 2023-04-27 2024-03-08 广东蕾特恩科技发展有限公司 一种用于美容仪的骨传导装置及控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6668061B1 (en) * 1998-11-18 2003-12-23 Jonathan S. Abel Crosstalk canceler
WO2010094812A2 (en) 2010-06-07 2010-08-26 Phonak Ag Bone conduction hearing aid system
US9324313B1 (en) * 2013-10-23 2016-04-26 Google Inc. Methods and systems for implementing bone conduction-based noise cancellation for air-conducted sound
US9547175B2 (en) * 2014-03-18 2017-01-17 Google Inc. Adaptive piezoelectric array for bone conduction receiver in wearable computers
EP3132617B1 (en) * 2014-08-13 2018-10-17 Huawei Technologies Co. Ltd. An audio signal processing apparatus
WO2016098820A1 (ja) 2014-12-18 2016-06-23 ローム株式会社 電磁型振動ユニットを用いた軟骨伝導聴取装置、および電磁型振動ユニット
US10231053B1 (en) 2016-12-13 2019-03-12 Facebook Technologies, Llc Bone-conduction headset with crosstalk cancelation function
US10419843B1 (en) * 2017-04-18 2019-09-17 Facebook Technologies, Llc Bone conduction transducer array for providing audio
US10070224B1 (en) * 2017-08-24 2018-09-04 Oculus Vr, Llc Crosstalk cancellation for bone conduction transducers

Also Published As

Publication number Publication date
WO2021007227A1 (en) 2021-01-14
CN114009061A (zh) 2022-02-01
US10993029B2 (en) 2021-04-27
US20210014614A1 (en) 2021-01-14
KR20220034836A (ko) 2022-03-18
EP3997892A1 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
US10959037B1 (en) Gaze-directed audio enhancement
CN112075087B (zh) 眼镜设备的混合音频系统
JP7297895B2 (ja) 骨伝導トランスデューサアセンブリの較正
US11178481B2 (en) Ear-plug assembly for hear-through audio systems
JP2022529202A (ja) ヘッドセットのユーザについての頭部伝達関数の決定のための音周波数のリモート推論
JP2023534154A (ja) 個別化された音プロファイルを使用するオーディオシステム
KR20210119461A (ko) 머리 전달 함수에 대한 헤드셋 효과의 보상
JP2022549548A (ja) オーディオコンテンツを提示するときに触覚コンテンツのレベルを調整するための方法およびシステム
JP2022539493A (ja) 組織伝導オーディオシステムにおけるクロストークを緩和すること
JP2022546161A (ja) 個別化された空間オーディオを作り出すためにビームフォーミングを介して耳殻情報を推論すること
JP2022542755A (ja) センサーアレイの音響センサーのサブセットを選択するための方法およびそのためのシステム
CN117981347A (zh) 用于对虚拟声源进行空间化的音频系统
JP2022548811A (ja) 触覚コンテンツを制御するための方法およびシステム
KR20230041755A (ko) 외이의 변위에 기초한 가상 마이크 교정
TW202329700A (zh) 具有藉由空氣傳導換能器驅動的組織換能器之音訊系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230418