JP2019506803A - ヘッドマウントスピーカのためのオーディオエンハンスメント - Google Patents

ヘッドマウントスピーカのためのオーディオエンハンスメント Download PDF

Info

Publication number
JP2019506803A
JP2019506803A JP2018538234A JP2018538234A JP2019506803A JP 2019506803 A JP2019506803 A JP 2019506803A JP 2018538234 A JP2018538234 A JP 2018538234A JP 2018538234 A JP2018538234 A JP 2018538234A JP 2019506803 A JP2019506803 A JP 2019506803A
Authority
JP
Japan
Prior art keywords
channel
gain
subband
crosstalk
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018538234A
Other languages
English (en)
Other versions
JP6546351B2 (ja
Inventor
セルデス ザッカリー
セルデス ザッカリー
トレイシー ジェームズ
トレイシー ジェームズ
クレイマー アラン
クレイマー アラン
Original Assignee
ブームクラウド 360 インコーポレイテッド
ブームクラウド 360 インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブームクラウド 360 インコーポレイテッド, ブームクラウド 360 インコーポレイテッド filed Critical ブームクラウド 360 インコーポレイテッド
Publication of JP2019506803A publication Critical patent/JP2019506803A/ja
Application granted granted Critical
Publication of JP6546351B2 publication Critical patent/JP6546351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14Cross-over networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本願の実施形態は、エンハンスされた空間的検出性およびクロストークシミュレーションを用いて音を生成するためのシステム、方法、および非一時的コンピュータ可読媒体の文脈で主に説明される。オーディオ処理システムは、オーディオ入力信号の左入力チャネルおよび右入力チャネルを受信し、オーディオ処理を実行して出力オーディオ信号を生成する。このシステムは、左入力チャネルおよび右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって、左および右の空間的にエンハンスされた信号を生成する。オーディオ処理システムは、フィルタおよび時間遅延を左入力チャネルおよび右入力チャネルに適用することなどによって、左クロストークチャネルおよび右クロストークチャネルを生成し、空間的にエンハンスされたチャネルをこれらのクロストークチャネルと混合する。いくつかの実施形態において、このシステムは、入力チャネルから導出された高/低周波数エンハンスメントチャネルおよびパススルーチャネルを含み、これらは、出力オーディオ信号と混合されることができる。

Description

本開示の実施形態は、一般に、バイノーラル(binaural)およびステレオオーディオ信号処理の分野に関し、より詳細には、ステレオイヤホンなどのヘッドマウントスピーカ上で再生するためにオーディオ信号を最適化することに関する。
ステレオ音声再生は、1つまたは複数のトランスデューサを使用して音場の空間特性を含む信号を符号化し再生することを含む。ステレオ音声は、リスナーが音場における空間感覚を知覚することを可能にする。典型的な立体音響再生システムにおいては、リスニングフィールドにおける固定された位置に配置された2つの「インフィールド」ラウドスピーカが、ステレオ信号を音波に変換する。各インフィールドラウドスピーカからの音波が、空間を通じてリスナーの両耳に向かって伝播し、音場内で様々な方向から聞かれる音の印象を作り出す。
ヘッドホンまたはインイヤーヘッドホンのようなヘッドマウントスピーカは、典型的には、左耳内へ音を放射する専用左スピーカ、および右耳内へ音を放射する専用右スピーカを含む。ヘッドマウントスピーカによって生成された音波は、インフィールドラウドスピーカによって生成された音波とは異なるように作用し、そのような差異はリスナーに知覚されることがある。同じ入力ステレオ信号が、ヘッドマウントスピーカから出力されたときと、インフィールドラウドスピーカから出力されたときに、異なるリスニング体験、場合によってはより好ましくないリスニング体験をもたらす可能性がある。
J. F. Yu, Y. S. Chen, "The Head Shadow Phenomenon Affected by Sound Source: In Vitro Measurement", Applied Mechanics and Materials, Vols. 284−287, pp. 1715−1720, 2013 Areti Andreopoulou, Agnieszka Roginska, Hariharan Mohanraj, "Analysis of the Spectral Variations in Repeated Head−Related Transfer Function Measurements, "Proceedings of the 19th International Conference on Auditory Display (ICAD2013). Lodz, Poland. 6−9 July 2013. International Community for Auditory Display, 2013
オーディオ処理システムは、出力チャネルの各々についてシミュレートされた対側クロストーク信号を作成し、これらのシミュレートされた信号を空間的にエンハンスされた信号と組み合わせることによって、再生のための1つまたは複数の出力チャネルを適応的に生成する。オーディオ処理システムは、ヘッドマウントスピーカ上でのリスニング体験をエンハンスし、音楽、映画、およびゲームを含む幅広いコンテンツ上で効果的に作用することができる。オーディオ処理システムは、リスナーによって経験される空間音場を特にエンハンスする、著しく音響的に満足させる経験を提供する、柔軟な構成(たとえば、フィルタ、ゲイン、および遅延)を含む。たとえば、オーディオ処理システムは、インフィールドラウドスピーカでステレオコンテンツを聴いているときに体験される音場に匹敵する音場を、ヘッドマウントスピーカに提供することができる。
いくつかの実施形態において、オーディオ処理システムは、左入力チャネルおよび右入力チャネルを含む入力オーディオ信号を受信する。左入力チャネルおよび右入力チャネルを使用して、オーディオ処理システムは、空間的にエンハンスされた左チャネルおよび空間的にエンハンスされた右チャネル、左クロストークチャネルおよび右クロストークチャネル、低周波数エンハンスメントチャネルおよび高周波数エンハンスメントチャネル、中間チャネル、ならびにパススルーチャネルを生成する。オーディオ処理システムは、異なるゲインをチャネルに適用することなどによって、生成されたチャネルを混合して、左出力チャネルおよび右出力チャネルを生成する。一態様において、オーディオ処理システムは、インフィールドスピーカの音波挙動の特徴である対側信号成分をシミュレートして、ヘッドマウントスピーカに対して出力されたときのオーディオ入力信号のリスニング体験を改善する。シミュレートされた対側信号は、逆側のチャネルスピーカに起因する追加的遅延と、リスナーの頭部および耳に起因するフィルタリング効果との両方を考慮する。フィルタリング効果は、それぞれのオーディオチャネルについての頭影効果に関するフィルタ機能によって提供される。したがって、音場の空間感覚が改善され、音場が拡大され、ヘッドマウントスピーカに関するより楽しめるリスニング体験という結果になる。
空間的にエンハンスされたチャネルは、左入力チャネルおよび右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって、音場の空間感覚をさらにエンハンスする。低周波数チャネルおよび高周波数チャネルはそれぞれ、入力チャネルの低周波数成分および高周波数成分をブーストする。中間チャネルおよびパススルーチャネルは、出力チャネルに対する(たとえば、空間的にエンハンスされていない)入力オーディオ信号の寄与を制御する。
いくつかの実施形態は、出力チャネルを生成するための方法を含み、この方法は、左入力チャネルおよび右入力チャネルを含む入力オーディオ信号を受信するステップと、左入力チャネルおよび右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって、空間的にエンハンスされた左チャネルおよび空間的にエンハンスされた右チャネルを生成するステップと、左入力チャネルをフィルタリングし時間遅延させることによって、左クロストークチャネルを生成するステップと、右入力チャネルをフィルタリングし時間遅延させることによって、右クロストークチャネルを生成するステップと、空間的にエンハンスされた左チャネルおよび右クロストークチャネルを混合することによって、左出力チャネルを生成するステップと、空間的にエンハンスされた右チャネルおよび左クロストークチャネルを混合することによって、右出力チャネルを生成するステップとを含む。
いくつかの実施形態は、オーディオ処理システムを含み、オーディオ処理システムは、左入力チャネルおよび右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって、空間的にエンハンスされた左チャネルおよび空間的にエンハンスされた右チャネルを生成するように構成されたサブバンド空間エンハンサと、左入力チャネルをフィルタリングし時間遅延させることによって、左クロストークチャネルを生成し、右入力チャネルをフィルタリングし時間遅延させることによって、右クロストークチャネルを生成するように構成されたクロストークシミュレータと、空間的にエンハンスされた左チャネルおよび右クロストークチャネルを混合することによって、左出力チャネルを生成し、空間的にエンハンスされた右チャネルおよび左クロストークチャネルを混合することによって、右出力チャネルを生成するように構成されたミキサとを含む。
いくつかの実施形態は、プログラムコードを記憶するように構成された非一時的コンピュータ可読媒体を含んでよく、プログラムコードは、命令を含み、命令は、プロセッサによって実行されたとき、左入力チャネルおよび右入力チャネルを含む入力オーディオ信号を受信することと、左入力チャネルおよび右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって、空間的にエンハンスされた左チャネルおよび空間的にエンハンスされた右チャネルを生成することと、左入力チャネルをフィルタリングし時間遅延させることによって、左クロストークチャネルを生成することと、右入力チャネルをフィルタリングし時間遅延させることによって、右クロストークチャネルを生成することと、空間的にエンハンスされた左チャネルおよび右クロストークチャネルを混合することによって、左出力チャネルを生成することと、空間的にエンハンスされた右チャネルおよび左クロストークチャネルを混合することによって、右出力チャネルを生成することとを、プロセッサに行わせる。
ステレオオーディオ再生システムを示す図である。 一実施形態に従って例示的なオーディオ処理システムを示す図である。 一実施形態に従うサブバンド空間エンハンサの周波数バンド分割器を示す図である。 一実施形態に従うサブバンド空間エンハンサの周波数バンドエンハンサを示す図である。 一実施形態に従うサブバンド空間エンハンサのエンハンス化バンドコンバイナを示す図である。 一実施形態に従うサブバンドコンバイナを示す図である。 一実施形態に従うクロストークシミュレータを示す図である。 一実施形態に従うパススルーを示す図である。 一実施形態に従う高/低周波数ブースタを示す図である。 一実施形態に従うミキサを示す図である。 一実施形態に従う、ヘッドマウントスピーカのためのオーディオ信号を最適化する例示的な方法を示す図である。 一実施形態に従う、入力オーディオ信号から空間的にエンハンスされたチャネルを生成する方法を示す図である。 一実施形態に従う、オーディオ入力信号からクロストークチャネルを生成する方法を示す図である。 一実施形態に従う、オーディオ入力信号から左パススルーチャネルおよび右パススルーチャネルならびに中間チャネルを生成する方法を示す図である。 一実施形態に従う、オーディオ入力信号から低周波数エンハンスメントチャネルおよび高周波数エンハンスメントチャネルを生成する方法を示す図である。 一実施形態に従う、オーディオ処理システムによって生成されたチャネル信号の周波数応答プロットの例を示す図である。 一実施形態に従う、オーディオ処理システムによって生成されたチャネル信号の周波数応答プロットの例を示す図である。 一実施形態に従う、オーディオ処理システムによって生成されたチャネル信号の周波数応答プロットの例を示す図である。 一実施形態に従う、オーディオ処理システムによって生成されたチャネル信号の周波数応答プロットの例を示す図である。 一実施形態に従う、オーディオ処理システムによって生成されたチャネル信号の周波数応答プロットの例を示す図である。
本明細書に説明された特徴および利点はすべてを包含するものではなく、特に、多くの追加の特徴および利点は、図面、明細書、および特許請求の範囲に照らして、当業者には明らかとなろう。さらに、本明細書で使用される言葉は、主として読みやすさおよび教示目的で選択されており、本発明の主題を描写または制限するように選択されていなくてよいことに留意されたい。
図面(図)および以下の説明は、単に例示として好ましい実施形態に関する。以下の議論から、本明細書で開示される構造および方法の代替的実施形態は、本発明の原理から逸脱することなく採用されてよい実施可能な代替形態として容易に認識されることに留意されたい。
ここで、本発明のいくつかの実施形態が詳細に参照され、その例が添付図面に示される。実用可能であれば、類似または同様の参照番号が図面で使用されてよく、類似または同様の機能を示してよいことに留意されたい。図面は、単に例示を目的として実施形態を示す。当業者であれば、以下の説明から、本明細書に例示される構造および方法の代替的実施形態が、本明細書に説明される原理から逸脱することなく採用されてよいことを、容易に認識するであろう。
例示的なオーディオ処理システム
図1を参照すると、リスニングフィールドにおける固定された位置に配置された2つのインフィールドラウドスピーカ110Aおよび110Bが、ステレオ信号を音波に変換し、音波は、リスナー120に向かって空間を通じて伝播して、音場内で様々な方向(たとえば仮想音源160)から聞かれる音の印象を作り出している。
ヘッドホンまたはインイヤーヘッドホンのようなヘッドマウントスピーカは、典型的には、左耳125L内へ音を放射する専用左スピーカ130L、および右耳125R内へ音を放射する専用右スピーカ130Rを含む。したがって、したがって、ヘッドマウントスピーカによる信号再生は、インフィールドラウドスピーカ110Aおよび110B上の信号再生とは様々な様式で異なるように作用する。
ヘッドマウントスピーカとは異なり、たとえば、リスナーから距離を置いて配置されたラウドスピーカ110Aおよび110Bはそれぞれが、リスナー120の左耳および右耳125L、125Rの両方で受信される「トランスオーラル」音波を生成する。右耳125Rは、左耳125Lがラウドスピーカ110Aから信号成分118Lを受信するときに対して少し遅延してラウドスピーカ110Aから信号成分112Lを受信する。信号成分118Lに対する信号成分112Lの時間遅延は、ラウドスピーカ110Aと左耳125Lとの間の距離に比べてラウドスピーカ110Aと右耳125Rとの間の距離が大きいことによって引き起こされる。同様に、左耳125Lは、右耳125Rがラウドスピーカ110Bから信号成分118Rを受信するときに対して少し遅延してラウドスピーカ110Bから信号成分112Rを受信する。
ヘッドマウントスピーカは、ユーザの耳の近くに音波を放射し、したがってトランスオーラル音波伝播をより少なく生成しまたは生成せず、したがって対側成分を生成しない。リスナー120の各耳は、同側音成分を対応するスピーカから受信し、対側クロストーク音成分を他方のスピーカから受信しない。したがって、リスナー120は、ヘッドマウントスピーカにより、異なる、典型的にはより小さい音場を知覚する。
図2は、一実施形態に従う、ヘッドマウントスピーカのためのオーディオ信号を処理するためのオーディオ処理システム200の例を示す。オーディオ処理システム200は、サブバンド空間エンハンサ210、クロストークシミュレータ215、パススルー220、高/低周波数ブースタ225、ミキサ230、およびサブバンドコンバイナ255を含む。オーディオ処理システム200の構成要素は、電子回路において実装されてよい。たとえば、ハードウェア構成要素は、(たとえば、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)などの専用プロセッサとして、)本明細書に開示された特定の動作を行うように構成された専用回路構成またはロジックを含んでよい。
システム200は、2つの入力チャネル、すなわち左入力チャネルXLおよび右入力チャネルXRを含む、入力オーディオ信号Xを受信する。入力オーディオ信号Xは、異なる左および右の入力チャネルを有するステレオオーディオ信号であってよい。入力オーディオ信号Xを使用して、システムは、2つの出力チャネルOL、ORを生成する。以下でより詳細に論じられるように、出力オーディオ信号Oは、入力オーディオ信号Xに基づく、空間エンハンスメント信号、シミュレートされたクロストーク信号、低/高周波数エンハンスメント信号、および/または他の処理出力の混合である。ヘッドマウントスピーカ280Lおよび280Rに対して出力されたとき、出力オーディオ信号Oは、音場サイズ、空間的音制御、およびトーン特性などの観点から、より大きなインフィールドラウドスピーカシステムに匹敵するリスニング体験を提供する。
サブバンド空間エンハンサ210は、入力オーディオ信号Xを受信し、空間的にエンハンスされた左チャネルYLおよび空間的にエンハンスされた右チャネルYRを含む空間的にエンハンスされた信号Yを生成する。サブバンド空間エンハンサ210は、周波数バンド分割器240、周波数バンドエンハンサ245、およびエンハンス化サブバンドコンバイナ250を含む。周波数バンド分割器240は、左入力チャネルXLおよび右入力チャネルXRを受信し、左入力チャネルXLを左サブバンド成分EL(1)ないしEL(n)に分割し、右入力チャネルXRを右サブバンド成分ER(1)ないしER(n)に分割し、ここで、nはサブバンドの数(たとえば4)である。n個のサブバンドはn個の周波数バンドのグループを定義し、各サブバンドは周波数バンドのうちの1つと対応する。
周波数バンドエンハンサ245は、左サブバンド成分EL(1)ないしEL(n)の中間およびサイドサブバンド成分間の強度比を変更すること、ならびに右サブバンド成分ER(1)ないしER(n)の中間およびサイドサブバンド成分間の強度比を変更することによって、入力オーディオ信号Xの空間成分をエンハンスする。各周波数バンドについて、周波数バンドエンハンサは、中間およびサイドサブバンド成分(たとえば、周波数バンドn=1についてEm(1)およびEs(1))を、対応する左サブバンド成分および右サブバンド成分(たとえば、EL(1)およびER(1))から生成し、異なるゲインを中間およびサイドサブバンド成分に適用して、エンハンスされた中間サブバンド成分およびエンハンスされたサイドサブバンド成分(たとえば、Ym(1)およびYs(1))を生成し、次いで、エンハンスされた中間およびサイドサブバンド成分を、左および右のエンハンスされたサブバンドチャネル(たとえば、YL(1)およびYR(1))に変換する。したがって、周波数バンドエンハンサ245は、エンハンスされた左サブバンドチャネルYL(1)ないしYL(n)、およびエンハンスされた右サブバンドチャネルYR(1)ないしYR(n)を生成し、ここで、nはサブバンド成分の数である。
エンハンス化サブバンドコンバイナ250は、エンハンスされた左サブバンドチャネルYL(1)ないしYL(n)から、空間的にエンハンスされた左チャネルYLを生成し、エンハンスされた右サブバンドチャネルYR(1)ないしYR(n)から、空間的にエンハンスされた右チャネルYRを生成する。
サブバンドコンバイナ255は、左サブバンド成分EL(1)ないしEL(n)を組み合わせることによって、左サブバンド混合チャネルELを生成し、右サブバンド成分ER(1)ないしER(n)を組み合わせることによって、右サブバンド混合チャネルERを生成する。左サブバンド混合チャネルELおよび右サブバンド混合チャネルERは、クロストークシミュレータ215、パススルー220、および/または高/低周波数ブースタ225に対する入力として使用される。いくつかの実施形態において、サブバンドバンドコンバイナ255は、サブバンド空間エンハンサ210、クロストークシミュレータ215、パススルー220、または高/低周波数ブースタ225のうちの1つと統合される。たとえば、サブバンドバンドコンバイナ255がクロストークシミュレータ215の一部である場合、クロストークシミュレータ215は、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERを、パススルー220および/または高/低周波数ブースタ225に提供してよい。
いくつかの実施形態において、サブバンドコンバイナ255はシステム200から省略される。たとえば、クロストークシミュレータ215、パススルー220、および/または高/低周波数ブースタ225は、サブバンド混合チャネルELおよびERの代わりに元のオーディオ入力チャネルXLおよびXRを受信し処理してよい。
クロストークシミュレータ215は、オーディオ入力信号Xから「頭影効果」を生成する。頭影効果は、リスナーの頭部の周りおよびそれを通じるトランスオーラル波伝播によって引き起こされる音波の変換を指し、それは、たとえば、図1に示されるように、オーディオ入力信号Xが、ラウドスピーカ110Aおよび110Bからリスナー120の左耳および右耳125Lおよび125Rの各々に対して伝送された場合に、リスナーによって知覚されることになる。たとえば、クロストークシミュレータ215は、左チャネルELから左クロストークチャネルCLを生成し、右チャネルERから右クロストークチャネルCRを生成する。左クロストークチャネルCLは、ローパスフィルタ、遅延、およびゲインを、左サブバンド混合チャネルELに適用することによって生成されてよい。右クロストークチャネルCRは、ローパスフィルタ、遅延、およびゲインを右サブバンド混合チャネルERに適用することによって生成されてよい。いくつかの実施形態において、ローパスフィルタではなく、ローシェルフフィルタまたはノッチフィルタが、左クロストークチャネルCLおよび右クロストークチャネルCRを生成するために使用されてよい。
パススルー220は、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERを加えることによって、中間(L+R)チャネルを生成する。中間チャネルは、左サブバンド混合チャネルELと右サブバンド混合チャネルERの両方に共通するオーディオデータを表す。中間チャネルは、左中間チャネルMLおよび右中間チャネルMRに分離されることができる。パススルー220は、左パススルーチャネルPLおよび右パススルーチャネルPRを生成する。パススルーチャネルは、元の左および右オーディオ入力信号XLおよびXR、または、周波数バンド分割器245によってオーディオ入力信号XLおよびXRから生成された左サブバンド混合チャネルELおよび右サブバンド混合チャネルERを表す。
高/低周波数ブースタ225は、オーディオ入力信号Xから、低周波数チャネルLFLおよびLFR、ならびに高周波数チャネルHFLおよびHFRを生成する。低周波数チャネルおよび高周波数チャネルは、オーディオ入力信号Xに対する周波数依存エンハンスメントを表す。いくつかの実施形態において、周波数依存エンハンスメントの種類または質は、ユーザによって設定されることができる。
ミキサ230は、サブバンド空間エンハンサ210、クロストークシミュレータ215、パススルー220、および高/低周波数ブースタ225の出力を組み合わせて、左出力信号OLおよび右出力信号ORを含むオーディオ出力信号Oを生成する。左出力信号OLは左スピーカ235Lに提供され、右出力信号ORは右スピーカ235Rに提供される。
ミキサ230によって生成された出力信号Oは、サブバンド空間エンハンサ210、クロストークシミュレータ215、パススルー220、および高/低周波数ブースタ225からの出力の重み付けされた組み合わせである。たとえば、左出力チャネルOLは、空間的にエンハンスされた左チャネルYLと、右クロストークチャネルCR(たとえば、トランスオーラル音伝播を介して左耳によって聞かれることになる右ラウドスピーカからの対側信号を表す)との組み合わせを含み、好ましくは、左中間チャネルML、左パススルーチャネルPL、ならびに左低および高周波数チャネルLFLおよびHFLの組み合わせをさらに含む。右出力チャネルORは、空間的にエンハンスされた右チャネルYRと、左クロストークチャネルCL(たとえば、トランスオーラル音伝播を介して右耳によって聞かれることになる左ラウドスピーカからの対側信号を表す)との組み合わせを含み、好ましくは、右中間チャネルMR、右パススルーチャネルPR、ならびに右低および高周波数チャネルLFRおよびHFRの組み合わせをさらに含む。ミキサ230に入力される信号の相対的重みは、入力の各々に適用されるゲインによって制御されることができる。
サブバンド空間エンハンサ210、サブバンドバンドコンバイナ255、クロストークシミュレータ215、パススルー220、高/低周波数ブースタ225、およびミキサ230の詳細な例示的実施形態は、図3Aないし図8に示されており、以下でより詳細に論じられる。
図3Aは、一実施形態に従うサブバンド空間エンハンサ210の周波数バンド分割器240を示す。周波数バンド分割器240は、定義されたn個の周波数サブバンドkに関して、左入力チャネルXLを左サブバンド成分EL(k)に分割した、右入力チャネルXRを右サブバンド成分ER(k)に分割する。周波数バンド分割器240は、入力ゲイン302およびクロスオーバーネットワーク304を含む。入力ゲイン302は、左入力チャネルXLおよび右入力チャネルXRを受信し、予め定義されたゲインを左入力チャネルXLおよび右入力チャネルXRの各々に適用する。いくつかの実施形態において、同じゲインが左および右入力チャネルXLおよびXRの各々に適用される。いくつかの実施形態において、入力ゲイン302は、−2dBゲインを入力オーディオ信号Xに適用する。いくつかの実施形態において、入力ゲイン302は、周波数バンド分割器240から分離され、またはシステム200から省略されるので、ゲインが入力オーディオ信号Xに適用されない。
クロスオーバーネットワーク304は、入力ゲイン302から入力オーディオ信号Xを受信し、入力オーディオ信号Xをサブバンド信号E(K)に分割する。クロスオーバーネットワーク304は、もたらされる出力が隣接サブバンドについての信号のセットを形成する限り、シリアル、パラレル、または派生型などの任意の様々な回路トポロジに配置された様々な種類のフィルタを使用してよい。クロスオーバーネットワーク304に含まれる例示的なフィルタは、無限インパルス応答(IIR)もしくは有限インパルス応答(FIR)バンドパスフィルタ、IIRピーキングおよびシェルフフィルタ、またはリンクウィッツライリーなどを含む。フィルタは、各周波数サブバンドkについて、左入力チャネルXLを左サブバンド成分EL(k)に分割し、右入力チャネルXRを右サブバンド成分ER(k)に分割する。1つの手法において、いくつかのバンドパスフィルタ、またはローパスフィルタ、バンドパスフィルタ、およびハイパスフィルタの任意の組み合わせが、人間の耳の臨界帯域の組み合わせを近似するために採用される。臨界帯域は、既存の1次トーンを第2のトーンがマスクできるバンド幅に対応する。たとえば、周波数サブバンドの各々は、統合されたバーク尺度臨界帯域のグループに対応してよい。たとえば、クロスオーバーネットワーク304は、左入力チャネルXLを、0ないし300Hz(バーク尺度帯域1ないし3に対応する)、300ないし510Hz(たとえば、バーク尺度帯域4ないし5)、510ないし2700Hz(たとえば、バーク尺度帯域6ないし15)、および2700Hzないしナイキスト(Nyquist)周波数(たとえば、バーク尺度7ないし24)にそれぞれ対応する、4つの左サブバンド成分EL(1)ないしEL(4)に分割し、同様に、対応する周波数バンドについて、右入力チャネルXRを右サブバンド成分ER(1)ないしER(4)に分割する。臨界帯域の統合されたセットを決定するプロセスは、幅広い音楽ジャンルからオーディオサンプルのコーパスを使用することと、24個のバーク尺度臨界帯域上のサイド成分に対する中間成分の長期平均エネルギー比をサンプルから決定することとを含む。次いで、同様の長期平均比を有する隣接周波数バンドが、一緒にグループ化されて臨界帯域のセットを形成する。他の実装形態において、フィルタが、左および右入力チャネルを4つより少ないまたは多いサブバンドへと分離する。周波数バンドの範囲は調整可能であってよい。クロスオーバーネットワーク304は、k=1ないしnについて、左サブバンド成分EL(k)および右サブバンド成分ER(k)の対を出力し、ここで、nは、サブバンドの数(たとえば、図3Aにおいてはn=4)である。
クロスオーバーネットワーク304は、左サブバンド成分EL(1)ないしEL(n)、および右サブバンド成分EL(1)ないしEL(n)を、サブバンド空間エンハンサ210の周波数バンドエンハンサ245に提供する。以下により詳細に論じられるように、左サブバンド成分EL(1)ないしEL(n)、および右サブバンド成分EL(1)ないしEL(n)は、クロストークシミュレータ215、パススルー220、および高/低周波数ブースタ225に提供されてもよい。
図3Bは、一実施形態に従うサブバンド空間エンハンサ210の周波数バンドエンハンサ245を示す。周波数バンドエンハンサ245は、空間的にエンハンスされた左サブバンド成分YL(1)ないしYL(n)および空間的にエンハンスされた右サブバンド成分YR(1)ないしYR(n)を、左サブバンド成分EL(1)ないしEL(n)および右サブバンド成分EL(1)ないしEL(n)から生成する。
周波数バンドエンハンサ245は、各サブバンドk(ただし、k=1ないしn)について、L/R−M/S変換器320(k)、中間/サイドプロセッサ330(k)、およびM/S−L/R変換器340(k)を含む。各L/R−M/S変換器320(k)は、エンハンスされたサブバンド成分EL(k)およびER(k)の対を受信し、これらの入力を中間サブバンド成分Em(k)およびサイドサブバンド成分Es(k)に変換する。中間サブバンド成分Em(k)は、左サブバンド成分EL(k)と右サブバンド成分ER(k)との間の相関された部分に対応する非空間サブバンド成分であり、したがって、非空間情報を含む。いくつかの実施形態において、中間サブバンド成分Em(k)は、サブバンド成分EL(k)とER(k)の合計として計算される。サイドサブバンド成分Es(k)は、左サブバンド成分EL(k)と右サブバンド成分ER(k)との間の相関されていない部分に対応する非空間サブバンド成分であり、したがって、空間情報を含む。いくつかの実施形態において、サイドサブバンド成分Es(k)は、サブバンド成分EL(k)とER(k)の差として計算される。一例において、L/R−M/S変換器320は、以下の方程式に従って、周波数サブバンドkの非空間サブバンド成分Em(k)および空間サブバンド成分Es(k)を得る。
m(k)=EL(k)+ER(k) 式(1)
s(k)=EL(k)−ER(k) 式(2)
各サブバンドkについて中間/サイドプロセッサ330(k)は、受信されたサイドサブバンド成分Es(k)を調整して、エンハンスされた空間サイドサブバンド成分Ys(k)を生成し、受信された中間サブバンド成分Em(k)を調整して、エンハンスされた中間サブバンド成分Ym(k)を生成する。一実施形態において、中間/サイドプロセッサ330(k)は、中間サブバンド成分Em(k)を、対応するゲイン係数Gm(k)によって調整し、増幅された非空間サブバンド成分Gm(k)*Em(k)を、対応する遅延関数Dmによって遅延して、エンハンスされた中間サブバンド成分Ym(k)を生成する。同様に、中間/サイドプロセッサ330(k)は、受信されたサイドサブバンド成分Es(k)を、対応するゲイン係数Gs(k)によって調整し、増幅された空間サブバンド成分Gs(k)*Xs(k)を、対応する遅延関数Dsによって遅延して、エンハンスされたサイドサブバンド成分Ys(k)を生成する。ゲイン係数および遅延量は、調整可能であってよい。ゲイン係数および遅延量は、スピーカパラメータに従って決定されてよく、またはパラメータ値の仮定されたセットに対して固定されてよい。周波数サブバンドkの中間/サイドプロセッサ430(k)は、以下の方程式に従って、エンハンスされた中間サブバンド成分Ym(k)およびエンハンスされたサイドサブバンド成分Ym(k)を生成する。
m(k)=Gm(k)*Dm(Em(k),k) 式(3)
s(k)=Gs(k)*Ds(Es(k),k) 式(4)
各中間/サイドプロセッサ330(k)は、中間(非空間)サブバンド成分Ym(k)およびサイド(空間)サブバンド成分Ys(k)を、それぞれの周波数サブバンドkの対応するM/S−L/R変換器340(k)に出力する。
ゲインおよび遅延係数の例が、以下の表1に列挙される。
Figure 2019506803
いくつかの実施形態において、0ないし300Hzサブバンドに対する中間/サイドプロセッサ330(1)は、0.5dBゲインを中間サブバンド成分Em(1)に、および4.5dBゲインをサイドサブバンド成分Es(1)に適用する。300ないし510Hzサブバンドに対する中間/サイドプロセッサ330(2)は、0dBゲインを中間サブバンド成分Em(2)に、および4dBゲインをサイドサブバンド成分Es(2)に適用する。510ないし2700Hzサブバンドに対する中間/サイドプロセッサ330(3)は、0.5dBゲインを中間サブバンド成分Em(3)に、および4.5dBゲインをサイドサブバンド成分Es(3)に適用する。2700Hzないしナイキスト周波数サブバンドに対する中間/サイドプロセッサ330(4)は、0dBゲインを中間サブバンド成分Em(4)に、および4dBゲインをサイドサブバンド成分Es(3)に適用する。
各M/S−L/R変換器340(k)は、エンハンスされたサブバンド中間成分Ym(k)およびエンハンスされたサブバンドサイド成分Ys(k)を受信し、それらを、エンハンスされた左サブバンド成分YL(k)およびエンハンスされた右サブバンド成分YR(k)に変換する。L/R−M/S変換器320(k)が、上記の式(1)および式(2)に従って、中間サブバンド成分Em(k)およびサイドサブバンド成分Es(k)を生成した場合、M/S−L/R変換器340(k)は、以下の方程式に従って、周波数サブバンドkのエンハンスされた左サブバンド成分YL(k)およびエンハンスされた右サブバンド成分YR(k)を生成する。
L(k)=(Ym(k)+Ys(k))/2 式(5)
R(k)=(Ym(k)−Ys(k))/2 式(6)
ある実施形態において、式(1)および式(2)におけるEL(k)およびER(k)は交換されてよく、その場合、式(5)および式(6)におけるYL(k)およびYR(k)も交換される。
図3Cは、一実施形態に従うサブバンド空間エンハンサ210のエンハンス化サブバンドコンバイナ250を示す。エンハンス化サブバンドコンバイナ250は、M/S−L/R変換器340(1)ないし340(n)からの(周波数バンドk=1ないしnの)エンハンスされた左サブバンド成分YL(1)ないしYL(n)を組み合わせて、左の空間的にエンハンスされたオーディオチャネルYLを生成し、M/S−L/R変換器340(1)ないし340(n)からの(周波数バンドk=1ないしnの)エンハンスされた右サブバンド成分YR(1)ないしYL(n)を組み合わせて、右の空間的にエンハンスされたオーディオチャネルYRを生成する。エンハンス化サブバンドコンバイナ250は、エンハンスされた左サブバンド成分YL(k)を組み合わせる左合計352、エンハンスされた右サブバンド成分YR(k)を組み合わせる右合計354、ならびにゲインを左合計352および右合計354の出力に適用するサブバンドゲイン346を含んでよい。いくつかの実施形態において、サブバンドゲイン356は0dBゲインを適用する。いくつかの実施形態において、以下の方程式に従って、左合計は、エンハンスされた左サブバンド成分YL(k)を組み合わせ、右合計354は、エンハンスされた右サブバンド成分YR(k)を組み合わせる。
k=1ないしnについて、YL=ΣYL(k) 式(7)
k=1ないしnについて、YR=ΣYR(k) 式(8)
いくつかの実施形態において、エンハンス化サブバンドコンバイナ250は、サブバンド成分中間サブバンド成分Ym(k)およびサイドサブバンド成分Ys(k)を組み合わせて、組み合わされた中間サブバンド成分Ymおよび組み合わされたサイドサブバンド成分Ysを生成して、次いで、単一のM/S−L/R変換が、チャネルごとに適用されて、YmおよびYsからYLおよびYRを生成する。中間/サイドゲインがサブバンドごとに適用され、様々なやり方で再結合されることができる。
図4は、一実施形態に従うオーディオ処理システム200のサブバンドコンバイナ255を示す。サブバンドコンバイナ255は、左合計402および右合計404を含む。左合計402は、周波数バンド分割器240から出力された左サブバンド成分EL(1)ないしEL(n)をサブバンド混合左チャネルELに変換する。右合計404は、周波数バンド分割器240から出力された右サブバンド成分ER(1)ないしER(n)をサブバンド混合右チャネルERに変換する。サブバンドコンバイナ255は、サブバンド混合左チャネルELおよびサブバンド混合右チャネルERを、クロストークシミュレータ215、パススルー220、および高/低周波数ブースタ225に提供する。いくつかの実施形態において、元のオーディオ入力チャネルXLおよびXRは、サブバンド混合左および右チャネルELおよびERの代わりに、クロストークシミュレータ215、パススルー220、および高/低周波数ブースタ225に提供される。ここで、サブバンドコンバイナ255は、システム200から省略されることが可能である。別の例において、サブバンドコンバイナ255は、周波数バンド分割器240からのサブバンド混合左チャネルELおよびサブバンド混合右チャネルERを元の入力チャネルXLおよびXRにデコードしてよい。いくつかの実施形態において、サブバンドコンバイナ255は、クロストークシミュレータ215、またはシステム200の何らかの他の構成要素と統合される。
図5は、一実施形態に従うオーディオ処理システム200のクロストークシミュレータ215を示す。クロストークシミュレータは、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERから左クロストークチャネルCLおよび右クロストークチャネルCRを生成する。左クロストークチャネルCLおよび右クロストークチャネルCRは、最終出力信号Oと混合されたとき、シミュレートされたリスナーの頭部を通じたトランスオーラル音波伝播を、出力信号Oに組み込む。たとえば、左クロストークチャネルCLは、右出力チャネルORを生成するために右同側音成分(たとえば、空間的にエンハンスされた右チャネルYR)と(たとえば、ミキサ230によって)混合されることができる対側音成分を表す。右クロストークチャネルCRは、左出力チャネルOLを生成するために左同側音成分(たとえば、空間的にエンハンスされた右チャネルYL)と混合されることができる対側音成分を表す。
クロストークシミュレータ215は、ヘッドマウントスピーカ235Lおよび235Rに対する出力のための対側音成分を生成し、それにより、ヘッドマウントスピーカ235Lおよび235Rにおいてラウドスピーカのようなリスニング体験を提供する。図5に戻ると、クロストークシミュレータ215は、左サブバンド混合チャネルELを処理するための頭影ローパスフィルタ502およびクロストーク遅延504、右サブバンド混合チャネルERを処理するための頭影ローパスフィルタ506およびクロストーク遅延508、ならびにゲインをクロストーク遅延504およびクロストーク遅延508の出力に適用するための頭影ゲイン510を含む。頭影ローパスフィルタ502は、左サブバンド混合チャネルELを受信し、リスナーの頭部を通じて通過した後に信号の周波数応答をモデル化する変調を適用する。頭影ローパスフィルタ502の出力は、時間遅延を頭影ローパスフィルタ502の出力に適用するクロストーク遅延504に提供される。時間遅延は、同側音成分に対する対側音成分によって横切られるトランスオーラル距離を表す。周波数応答は、リスナーの頭部による音波変調の周波数依存特性を決定するために経験的実験に基づいて生成されることができる。たとえば、非特許文献1、非特許文献2を参照されたい。たとえば、図1を参照すると、トランスオーラル伝播からの音波変調を表す周波数応答、および右耳125Rに到達するために対側音成分112Lが(同側音成分118Rに対して)移動する増大された距離をモデル化する時間遅延を用いて、同側音成分118Lをフィルタリングすることによって、右耳125Rに対して伝播する対側音成分112Lが、左耳125Lに伝播する同側音成分118Lから導出されることができる。いくつかの実施形態において、クロストーク遅延504が頭影ローパスフィルタ502に先立って適用される。
同様に、右サブバンド混合チャネルERに関して、頭影ローパスフィルタ506は、右サブバンド混合チャネルERを受信し、リスナーの頭部の周波数応答をモデル化する変調を適用する。頭影ローパスフィルタ506の出力は、クロストーク遅延508に提供され、クロストーク遅延508は、頭影ローパスフィルタ504の出力に時間遅延を適用する。いくつかの実施形態において、クロストーク遅延508は、頭影ローパスフィルタ506に先立って適用される。
頭影ゲイン510は、ゲインをクロストーク遅延504の出力に適用して、左クロストークチャネルCLを生成し、ゲインをクロストーク遅延506の出力に適用して、右クロストークチャネルCRを生成する。
いくつかの実施形態において、頭影ローパスフィルタ502および506は、2,023Hzのカットオフ周波数を有する。クロストーク遅延504および508は、0.792ミリ秒遅延を適用する。頭影ゲイン510は、−14.4dBゲインを適用する。
図6は、一実施形態に従うオーディオ処理システム200のパススルー220を示す。パススルー220は、オーディオ入力信号Xから中間(L+R)チャネルMおよびパススルーチャネルPを生成する。たとえば、パススルー220は、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERから左中間チャネルMLおよび右中間チャネルMRを生成し、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERから左パススルーチャネルPLおよび右パススルーチャネルPRを生成する。
パススルー220は、L+Rコンバイナ602、L+Rパススルーゲイン604、およびL/Rパススルーゲイン606を含む。L+Rコンバイナ602は、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERを受信し、左サブバンド混合チャネルELと右サブバンド混合チャネルERを加えて、左サブバンド混合チャネルELと右サブバンド混合チャネルERの両方に共通するオーディオデータを生成する。L+Rパススルーゲイン604は、ゲインをL+Rコンバイナ602の出力に加えて、左中間チャネルMLおよび右中間チャネルMRを生成する。中間チャネルMLおよびMRは、左サブバンド混合チャネルELと右サブバンド混合チャネルERの両方に共通するオーディオデータを表す。いくつかの実施形態において、左中間チャネルMLは右中間チャネルMRと同じである。別の例において、L+Rパススルーゲイン604は、異なるゲインを中間チャネルに適用して、異なる左中間チャネルMLおよび右中間チャネルMRを生成する。
L/Rパススルーゲイン606は、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERを受信し、ゲインを左サブバンド混合チャネルELに加えて、左パススルーチャネルPLを生成し、ゲインを右サブバンド混合チャネルERに加えて、右パススルーチャネルPRを生成する。いくつかの実施形態において、第1のゲインが左サブバンド混合チャネルELに適用されて、左パススルーチャネルPLを生成し、第2のゲインが右サブバンド混合チャネルERに適用されて、右パススルーチャネルPRを生成し、ここで、第1のゲインと第2のゲインは異なっている。いくつかの実施形態において、第1のゲインと第2のゲインは同じである。
いくつかの実施形態において、パススルー220は、元のオーディオ入力信号XLおよびXRを受信し処理する。ここで、中間チャネルMは、左入力信号XLと右入力信号XLの両方に共通するオーディオデータを表し、パススルーチャネルPは、元のオーディオ信号Xを表す(たとえば、周波数バンド分割器240による周波数サブバンドへの符号化、ならびにサブバンドバンドコンバイナ255による左サブバンド混合チャネルELおよび右サブバンド混合チャネルERへの再結合がない)。
いくつかの実施形態において、L+Rパススルーゲイン604は、−18dBゲインをL+Rコンバイナ602の出力に適用する。L/Rパススルーゲイン606は、−無限大dBゲインを左サブバンド混合チャネルELおよび右サブバンド混合チャネルERに適用する。
図7は、一実施形態に従うオーディオ処理システム200の高/低周波数ブースタ225を示す。高/低周波数ブースタ225は、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERから、低周波数チャネルLFLおよびLFRならびに高周波数チャネルHFLおよびHFRを生成する。低周波数および高周波数チャネルは、オーディオ入力信号Xに対する周波数依存エンハンスメントを表す。
高/低周波数ブースタ225は、第1の低周波数(LF)エンハンスバンドパスフィルタ702、第2のLFエンハンスバンドパスフィルタ704、LFフィルタゲイン705、高周波数(HF)エンハンスハイパスフィルタ708、およびHFフィルタゲイン710を含む。LFエンハンスバンドパスフィルタ702は、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERを受信し、周波数のバンドまたは広がりの外側の信号成分を減衰させる変調を適用し、それにより、周波数のバンドの内側の(たとえば低周波数)信号成分が通過するのを可能にする。LFエンハンスバンドパスフィルタ704は、LFエンハンスバンドパスフィルタ704の出力を受信し、周波数のバンドの外側の信号成分を減衰させる別の変調を適用する。
LFエンハンスバンドパスフィルタ702およびLFエンハンスバンドパスフィルタ704は、低周波数エンハンスメント・カスケード共振器を提供する。いくつかの実施形態において、LFエンハンスバンドパスフィルタ702および704は、調整可能な品質(Q)ファクタを備える58.175Hzの中心周波数を有する。Qファクタは、ユーザ設定またはプログラム構成に基づいて調整されることができる。たとえば、デフォルト設定が2.5のQファクタを含んでよいが、より積極的な設定は1.3のQファクタを含んでよい。共振器は、低周波数成分の時間エンベロープをエンハンスするためにアンダーダンプ応答(Q>0.5)を示すように構成される。
LFフィルタゲイン706は、ゲインをLFエンハンスバンドパスフィルタ704の出力に適用して、左LFチャネルLFLおよび右LFチャネルLFRを生成する。いくつかの実施形態において、LFフィルタゲイン706は、12dBゲインをLFエンハンスバンドパスフィルタ704の出力に適用する。
HFエンハンスハイパスフィルタ708は、左サブバンド混合チャネルELおよび右サブバンド混合チャネルERを受信し、カットオフ周波数よりも低い周波数を有する信号成分を減衰させる変調を適用し、それにより、カットオフ周波数よりも高い周波数を有する信号成分が通過するのを可能にする。いくつかの実施形態において、HFエンハンスハイパスフィルタ708は、4573Hzのカットオフ周波数を有する2次バターワース(butter worth)ハイパスフィルタである。
HFフィルタゲイン710は、ゲインをHFエンハンスハイパスフィルタ704の出力に適用して、左HFチャネルHFLおよび右HFチャネルHFRを生成する。いくつかの実施形態において、HFフィルタゲイン710は、0dBゲインをHFエンハンスハイパスフィルタ708の出力に適用する。
図8は、一実施形態に従うオーディオ処理システム200のミキサ230を示す。ミキサ230は、サブバンド空間エンハンサ210、クロストークシミュレータ215、パススルー220、および高/低周波数ブースタ225からの出力の重み付けされた組み合わせに基づいて、出力チャネルOLおよびORを生成する。ミキサ230は、左出力チャネルOLを左スピーカ235Lに提供し、右出力信号ORを右スピーカ235Rに提供する。
ミキサ230は、左合計802、右合計804、および出力ゲイン806を含む。左合計802は、サブバンド空間エンハンサ210からの空間的にエンハンスされた左チャネルYL、クロストークシミュレータ215からの右クロストークチャネルCR、パススルー220からの左中間チャネルMLおよび左パススルーチャネルPL、ならびに高/低周波数ブースタ225からの左低および高周波数チャネルLFLおよびHFLを受信し、左合計802は、これらのチャネルを組み合わせる。同様に、右合計804は、サブバンド空間エンハンサ210からの空間的にエンハンスされた左チャネルYR、クロストークシミュレータ215からの左クロストークチャネルCL、パススルー220からの右中間チャネルMRおよび右パススルーチャネルPR、ならびに高/低周波数ブースタ225からの右低および高周波数チャネルLFRおよびHFRを受信し、右合計804は、これらのチャネルを組み合わせる。
出力ゲイン806は、ゲインを左合計802の出力に適用して、左出力チャネルOLを生成し、ゲインを右合計の出力804に適用して、右出力チャネルORを生成する。いくつかの実施形態において、出力ゲイン806は、0dBゲインを左合計802および右合計804の出力に適用する。いくつかの実施形態において、サブバンドゲイン356、頭影ゲイン510、L+Rパススルーゲイン604、L/Rパススルーゲイン606、LFフィルタゲイン706、および/またはHFフィルタゲイン710が、ミキサ230と統合される。ここで、ミキサ230は、出力チャネルOLおよびORに対する入力チャネル寄与の相対的重みを制御する。
図9は、一実施形態に従う、ヘッドマウントスピーカのためのオーディオ信号を最適化する方法900を示す。オーディオ処理システム200は、並列にステップを実行し、異なる順序でステップを実行し、または異なるステップを実行してよい。
システム200は、左入力チャネルXLおよび右入力チャネルXRを含む入力オーディオ信号Xを受信する905。オーディオ入力信号Xは、左および右入力チャネルXLおよびXRが互いに異なるステレオ信号であってよい。
サブバンド空間エンハンサ210などのシステム200は、左および右入力チャネルXLおよびXRのサイドサブバンド成分および中間サブバンド成分をゲイン調整することから、空間的にエンハンスされた左チャネルYLおよび空間的にエンハンスされた右チャネルYRを生成する910。図10に関連して以下により詳細に論じられるように、空間的にエンハンスされた左および右チャネルYLおよびYRは、左および右入力チャネルXLおよびXRから導出された中間およびサイドサブバンド成分間の強度比を変更することによって、音場における空間感覚を改善する。
クロストークシミュレータ215などのシステム200は、左入力チャネルXLをフィルタリングし時間遅延させることから左クロストークチャネルCLを、右入力チャネルXRをフィルタリングし時間遅延させることから右クロストークチャネルCRを生成する915。クロストークチャネルCLおよびCRは、図1などに示されるように、左入力チャネルXLおよび右入力チャネルXRがラウドスピーカから出力された場合、リスナーに到達することになる左入力チャネルXLおよび右入力チャネルXRについてのトランスオーラルで対側クロストークをシミュレートする。クロストークチャネルを生成することは、図11に関連して以下により詳細に論じられる。
パススルー220などのシステム200は、左入力チャネルXLから左パススルーチャネルPLを、右入力チャネルXRから右パススルーチャネルPRを生成する920。パススルー220などのシステム200は、左入力チャネルXLおよび右入力チャネルXRを組み合わせることから、左および右中間チャネルMLおよびMRを生成する925。パススルーチャネルは、出力チャネルOに対する未処理の入力チャネルX入力チャネルの相対的寄与を制御するために使用されることができ、中間チャネルは、左入力チャネルXLおよび右入力チャネルXRの共通オーディオデータの相対的寄与を制御するために使用されることができる。パススルーおよび中間チャネルを生成することは、図12に関連して以下により詳細に論じられる。
高/低周波数ブースタ225などのシステム200は、カスケード共振器を左入力チャネルXLおよび右入力チャネルXRに適用することから、左および右低周波数チャネルLFLおよびLFRを生成する930。低周波数チャネルLFLおよびLFRは、出力チャネルOに対する入力チャネルXの低周波数オーディオ成分の相対的エンハンスメントを制御する。
高/低周波数ブースタ255などのシステム200は、ハイパスフィルタを左入力チャネルXLおよび右入力チャネルXRに適用することから、左および右高周波数チャネルHFLおよびHFRを生成する935。高周波数チャネルHFLおよびHFRは、出力チャネルOに対する入力チャネルXの高周波数オーディオ成分の相対的エンハンスメントを制御する。LFおよびHFチャネルを生成することは、図13に関連して以下により詳細に論じられる。
ミキサ230などのシステム200は、出力チャネルOLおよび出力チャネルORを生成する940。出力チャネルOLは、ヘッドマウント左スピーカ235Lに提供されることができ、右出力チャネルORは、右スピーカ235Rに提供される。出力チャネルOLは、サブバンド空間エンハンサ210からの空間的にエンハンスされた左チャネルYL、クロストークシミュレータ215からの右クロストークチャネルCR、パススルー220からの左中間チャネルMLおよび左パススルーチャネルPL、ならびに高/低周波数ブースタ225からの左低および高周波数チャネルLFLおよびHFLの重み付けされた組み合わせから生成される。出力チャネルORは、サブバンド空間エンハンサ210からの空間的にエンハンスされた左チャネルYR、クロストークシミュレータ215からの左クロストークチャネルCL、パススルー220からの右中間チャネルMRおよび右パススルーチャネルPR、ならびに高/低周波数ブースタ225からの右低および高周波数チャネルLFRおよびHFRの重み付けされた組み合わせから生成される。
ミキサ230に対する入力の相対的重みは、入力ゲイン302、サブバンドゲイン356、頭影ゲイン510、L+Rパススルーゲイン604、L/Rパススルーゲイン606、LFフィルタゲイン706、およびHFフィルタゲイン710など、上述されたようなチャネル源におけるゲインフィルタによって、制御されることができる。たとえば、ゲインフィルタは、チャネルの信号振幅を低減させて出力チャネルOに対するチャネルの寄与を低減させること、または信号振幅を増大させて出力チャネルOに対するチャネルの寄与を増大させることができる。いくつかの実施形態において、1つまたは複数のチャネルの信号振幅は、0または実質的に0に設定されてよく、出力チャネルOに対する1つまたは複数のチャネルの寄与がないという結果になる。
いくつかの実施形態において、サブバンドゲイン356は、−12ないし6dB間のゲインを適用し、頭影ゲイン510は、−無限大ないし0dBゲインを適用し、LFフィルタゲイン706は、0ないし20dBゲインを適用し、HFフィルタゲイン710は、0ないし20dBゲインを適用し、L/Rパススルーゲイン606は、−無限大ないし0dBゲインを適用し、L+Rパススルーゲイン604は、−無限大ないし0dBゲインを適用する。ゲインの相対値は、異なるチューニングを提供するように調整可能であってよい。いくつかの実施形態において、オーディオ処理システムは、ゲイン値の予め定義されたセットを使用する。たとえば、サブバンドゲイン356は、0dBゲインを適用し、頭影ゲイン510は、−14.4dBゲインを適用し、LFフィルタゲイン706は、12dBゲインの間を適用し、HFフィルタゲイン710は、0dBゲインを適用し、L/Rパススルーゲイン606は、−無限大dBゲインを適用し、L+Rパススルーゲイン604は、−18dBゲインを適用する。
上述されたように、方法900におけるステップは異なる順序で実行されてよい。一例において、ステップ910ないし935は、入力チャネルY、C、M、LF、およびHFが組み合わせのために実質的に同時にミキサ230に利用可能であるように、並列に実行される。
図10は、一実施形態に従う、入力オーディオ信号Xから空間的にエンハンスされたチャネルYLおよびYRを生成する方法1000を示す。方法1000は、システム200のサブバンド空間エンハンサ210などによって、方法900の910で実行されてよい。
周波数バンド分割器240のクロスオーバーネットワーク304などのサブバンド空間エンハンサ210は、入力チャネルXLをサブバンド混合サブバンドチャネルEL(1)ないしEL(n)に分離1010し、入力チャネルXRをサブバンド混合サブバンドチャネルER(1)ないしER(n)に分離する。Nは、サブバンドチャネルの予め定義された数であり、いくつかの実施形態においては、0ないし300Hz、300ないし510Hz、510ないし2700Hz、および2700Hzないしナイキスト周波数にそれぞれ対応する、4つのサブバンドチャネルである。上述されたように、n個のサブバンドチャネルは人間の年の臨界帯域を近似する。n個のサブバンドチャネルは、幅広い音楽ジャンルからオーディオサンプルのコーパスを使用することと、24個のバーク尺度臨界帯域上のサイド成分に対する中間成分の長期平均エネルギー比をサンプルから決定することとによって決定される、統合された臨界帯域のセットである。次いで、同様の長期平均比を有する隣接周波数バンドが、一緒にグループ化されてn個の臨界帯域のセットを形成する。
周波数バンドエンハンサ245のL/R−M/S変換器320(k)などのサブバンド空間エンハンサ210は、各サブバンドk(ただし、k=1ないしn)について、空間サブバンド成分Es(k)および非空間サブバンド成分Em(k)を生成する1020。たとえば、各L/R−M/S変換器320(k)は、サブバンド混合サブバンド成分EL(k)およびER(k)の対を受信し、上述された式(1)および(2)に従って、これらの入力を中間サブバンド成分Em(k)およびサイドサブバンド成分Es(k)に変換する。n=4に関して、L/R−M/S変換器320(1)ないし320(4)は、空間サブバンド成分Es(1)、Es(2)、Es(3)、およびEs(4)、ならびに非空間サブバンド成分Em(1)、Em(2)、Em(3)、およびEm(4)を生成する。
周波数バンドエンハンサ245の中間/サイドプロセッサ330(k)などのサブバンド空間エンハンサ210は、各サブバンドkについて、エンハンスされた空間サブバンド成分Ys(k)およびエンハンスされた非空間サブバンド成分Ym(k)を生成する1030。たとえば、各中間/サイドプロセッサ330(k)は、式(3)に従って、ゲインGm(k)および遅延関数Dを適用することによって、中間サブバンド成分Em(k)をエンハンスされた空間サブバンド成分Ym(k)に変換する。各中間/サイドプロセッサ330(k)は、式(4)に従って、ゲインGs(k)および遅延関数Dを適用することによって、サイドサブバンド成分Es(k)をエンハンスされた空間サブバンド成分Ys(k)に変換する。
いくつかの実施形態において、各サブバンドkについてのゲインGm(k)およびGs(k)の値は、幅広い音楽ジャンルのようなオーディオサンプルのコーパスから、サブバンドkにわたるサイド成分に対する中間成分の長期平均エネルギー比をサンプリングすることに基づいて、初期に決定される。いくつかの実施形態において、オーディオサンプルは、映画、映画、およびゲームなどの異なる種類のオーディオコンテンツを含んでよい。別の例において、サンプリングは、望ましい空間特性を含むことが知られるオーディオサンプルを使用して実行されることができる。これらのサイドエネルギーに対する中間エネルギーの比は、中間サブバンド成分Ym(k)およびエンハンスされたサイドサブバンド成分Ys(k)についてのGmおよびGsのゲインを計算する開始点として使用される。次いで、上述されたように、幅広いオーディオサンプルにわたって専門家の主観的リスニング試験を通じて、最終サブバンドゲインが定義される。いくつかの実施形態において、ゲインGmおよびGsならびに遅延DMおよびDSは、スピーカパラメータに従って決定されてよく、またはパラメータ値の仮定されたセットに対して固定されてよい。
周波数バンドエンハンサ245のM/S−L/R変換器340(k)などのサブバンド空間エンハンサ210は、各サブバンドkについて、空間的にエンハンスされた左サブバンド成分YL(k)および空間的にエンハンスされた右サブバンド成分YR(k)を生成する1040。各M/S−L/R変換器340(k)は、エンハンスされた中間成分Ym(k)およびエンハンスされたサイド成分Ys(k)を受信し、式(5)および(6)に従うなどして、それらを、空間的にエンハンスされた左サブバンド成分YL(k)および空間的にエンハンスされた右サブバンド成分YR(k)に変換する。ここで、空間的にエンハンスされた左サブバンド成分YL(k)は、エンハンスされた中間成分Ym(k)とエンハンスされたサイド成分Ys(k)を加えることに基づいて生成され、空間的にエンハンスされた右サブバンド成分YR(k)は、エンハンスされたサイド成分Ys(k)をエンハンスされた中間成分Ym(k)から引くことに基づいて生成される。n=4個のサブバンドに関して、M/S−L/R変換器340(1)ないし340(4)は、エンハンスされた左サブバンド成分YL(1)ないしYL(4)、およびエンハンスされた右サブバンド成分YR(1)ないしYR(4)を生成する。
エンハンス化サブバンドコンバイナ250などのサブバンド空間エンハンサ210は、エンハンスされた左サブバンド成分YL(1)ないしYL(n)を組み合わせることによって空間的にエンハンスされた左チャネルYLを、エンハンスされた右サブバンド成分YR(1)ないしYR(n)を組み合わせることによって空間的にエンハンスされた右チャネルYRを生成する1050。組み合わせは、上述されたように式5および6に基づいて実行されてよい。いくつかの実施形態において、エンハンス化サブバンドコンバイナ250は、左出力チャネルOLに対する空間的にエンハンスされた左チャネルYLの寄与、および右出力チャネルORに対する空間的にエンハンスされた右チャネルYRの寄与を制御する、空間的にエンハンスされた左チャネルYLおよび空間的にエンハンスされた左チャネルYRに対するサブバンドゲインをさらに適用する。いくつかの実施形態において、サブバンドゲインは、ベースラインレベルとして機能する0dBゲインであり、本明細書で論じられる他のゲインは、0dBゲインに対して相対的に設定される。いくつかの実施形態において、入力ゲイン302が−2dBゲインと異なるときなどに、サブバンドゲインは、しかるべく(たとえば、空間的にエンハンスされた左チャネルYLおよび空間的にエンハンスされた左チャネルYRについての望ましいベースラインレベルに到達するように)調整されることができる。
様々な実施形態において、方法1000におけるステップは異なる順序で実行されてよい。たとえば、サブバンドk=1ないしnについてのエンハンスされた空間サブバンド成分Ys(k)が組み合わされて、Ysを生成してよく、サブバンドk=1ないしnについてのエンハンスされた非空間サブバンド成分Ym(k)が組み合わされて、Ymを生成してよい。YsおよびYmは、M/S−L/R変換を使用して、空間的にエンハンスされたチャネルYLおよびYRに変換されてよい。
図11は、一実施形態に従う、オーディオ入力信号からクロストークチャネルを生成する方法1100を示す。方法1100は、方法900の915で実行されてよい。対側クロストーク信号を表すクロストークチャネルCLおよびCRは、フィルタおよび時間遅延を同側入力チャネルXLおよびXRに適用することに基づいて生成される。
システム200のサブバンドバンドコンバイナ255は、サブバンド混合サブバンドチャネルEL(1)ないしEL(n)を組み合わせることによってサブバンド混合左チャネルELを、サブバンド混合サブバンドチャネルER(1)ないしER(n)を組み合わせることによってサブバンド混合右チャネルERを生成する1110。左サブバンド混合チャネルELおよび右サブバンド混合チャネルERは、クロストークシミュレータ215、パススルー220、および/または高/低周波数ブースタ225に対する入力として使用される。いくつかの実施形態において、クロストークシミュレータ215、パススルー220、および/または高/低周波数ブースタ225は、サブバンド混合チャネルELおよびERの代わりに元のオーディオ入力チャネルXLおよびXRを受信し処理してよい。ここで、ステップ1100は実行されず、方法100の後続の処理ステップが、オーディオ入力チャネルXLおよびXRを使用して実行される。いくつかの実施形態において、サブバンドバンドコンバイナ255は、サブバンド混合左サブバンドチャネルEL(1)ないしEL(n)を左入力チャネルXLにデコードし、サブバンド混合右サブバンドチャネルER(1)ないしER(n)を右入力チャネルXRにデコードする。
システム200のクロストークシミュレータ215は、第1のローパスフィルタをサブバンド混合左チャネルELに適用する1120。第1のローパスフィルタは、リスナーの頭部を通じて通過した後の信号の周波数応答をモデル化する変調を適用するクロストークシミュレータ215の頭影ローパスフィルタ502であってよい。上述されたように、頭影ローパスフィルタ502は、2,023Hzのカットオフ周波数を有してよく、ここで、カットオフ周波数を超えるサブバンド混合左チャネルELの周波数成分が減衰される。システム200のクロストークシミュレータ215の他の実施形態は、頭影ローパスフィルタについてローシェルフまたはノッチフィルタを採用してよい。このフィルタは、0.5と1.0の間のQ、および−6dBと−24dBの間のゲインと共に、2,023Hzのカットオフ/中心周波数を有してよい。
クロストークシミュレータ215は、第1のクロストーク遅延を第1のローパスフィルタの出力に適用する1130。たとえば、クロス遅延504は、図1に示されるように、リスナー120の右耳125Rに到達するために左ラウドスピーカ110Aからの対側音成分112Lが右ラウドスピーカ110Bからの同側音成分118Rに対して移動する、増大されたトランスオーラル距離(ひいては増大された移動時間)をモデル化する時間遅延を提供する。いくつかの実施形態において、クロス遅延504は、0.792ミリ秒クロストーク遅延を、フィルタリングされたサブバンド混合左チャネルELに適用する。いくつかの実施形態において、ステップ1120と1130は、第1のクロストーク遅延が第1のローパスフィルタに先立って適用されるように逆順にされる。
クロストークシミュレータ215は、第2のローパスフィルタをサブバンド混合右チャネルERに適用する1140。第2のローパスフィルタは、リスナーの頭部を通じて通過した後の信号の周波数応答をモデル化する変調を適用するクロストークシミュレータ215の頭影ローパスフィルタ506であってよい。いくつかの実施形態において、頭影ローパスフィルタ506は、2,023Hzのカットオフ周波数を有してよく、ここで、カットオフ周波数を超えるサブバンド混合右チャネルERの周波数成分が減衰される。システム200のクロストークシミュレータ215の他の実施形態は、頭影ローパスフィルタについてローシェルフまたはノッチフィルタを採用してよい。このフィルタは、0.5と1.0の間のQ、および−6dBと−24dBの間のゲインと共に、2,023Hzのカットオフ周波数を有してよい。
クロストークシミュレータ215は、第2のクロストーク遅延を第2のローパスフィルタの出力に適用する1150。第2の時間遅延は、図1に示されるように、リスナー120の左耳125Lに到達するために右ラウドスピーカ110Bからの対側音成分112Rが左ラウドスピーカ110Bからの同側音成分118Lに対して移動する、増大されたトランスオーラル距離をモデル化する。いくつかの実施形態において、クロス遅延508は、0.792ミリ秒クロストーク遅延を、フィルタリングされたサブバンド混合左チャネルERに適用する。いくつかの実施形態において、ステップ1140と1150は、第2のクロストーク遅延が第2のローパスフィルタに先立って適用されるように逆順にされる。
クロストークシミュレータ215は、第1のゲインを第1のクロストーク遅延の出力に適用して1160、左クロストークチャネルCLを生成する。クロストークシミュレータ215は、第2のゲインを第2のクロストーク遅延の出力に適用して1170、右クロストークチャネルCRを生成する。いくつかの実施形態において、頭影ゲイン510は、−14.4dBゲインを適用して、左クロストークチャネルCLおよび右クロストークチャネルCR生成する。
様々な実施形態において、方法1100におけるステップは異なる順序で実行されてよい。たとえば、ステップ1120および1130が、ステップ1140および1150と並列に実行されて、左チャネルおよび右チャネルを並列に処理し、左クロストークチャネルCLおよび右クロストークチャネルCRを並列に生成するようにしてよい。
図12は、一実施形態に従う、オーディオ入力信号から左パススルーチャネルおよび右パススルーチャネルならびに中間チャネルを生成する方法1200を示す。方法1200は、方法900の920および925で実行されてよい。パススルーチャネルは、空間的にエンハンスされていない入力チャネルXの出力チャネルOに対する寄与を制御し、中間チャネルは、出力チャネルOに対する空間的にエンハンスされていない左入力チャネルXLおよび空間的にエンハンスされていない右入力チャネルXRの共通オーディオデータの出力チャネルOに対する寄与を制御する。
オーディオ処理システム200のパススルー220は、ゲインをサブバンド混合左チャネルELに適用して1210、パススルーチャネルPLを生成し、ゲインをサブバンド混合右チャネルERに適用して、パススルーチャネルPRを生成する。いくつかの実施形態において、パススルー220のL/Rパススルーゲイン606は、−無限大dBゲインを左サブバンド混合チャネルELおよび右サブバンド混合チャネルERに適用する。ここで、パススルーチャネルPLおよびPRは完全に減衰され、出力信号Oに寄与しない。ゲインのレベルは、出力信号Oに寄与する空間的にエンハンスされていない入力信号の量を制御するように調整されることができる。
パススルー220は、サブバンド混合左チャネルELおよびサブバンド混合右チャネルERを組み合わせて1220、中間(L+R)チャネルを生成する。たとえば、パススルー220のL+Rコンバイナ602は、左サブバンド混合チャネルELと右サブバンド混合チャネルERを加えて、左サブバンド混合チャネルELと右サブバンド混合チャネルERの両方に共通するオーディオデータを有するチャネルとする。
パススルー220は、ゲインを中間チャネルに適用して1230、左中間チャネルMLを生成し、ゲインを中間チャネルに適用して、右中間チャネルMRを生成する。いくつかの実施形態において、L+Rパススルーゲイン604は、−18dBゲインをL+Rコンバイナ602の出力に適用して、左および右中間チャネルMLおよびMRを生成する。ゲインのレベルは、出力信号Oに寄与する空間的にエンハンスされていない中間入力信号の量を制御するように調整されることができる。いくつかの実施形態において、単一のゲインが中間チャネルに適用され、ゲインが適用された中間チャネルは、左および右中間チャネルMLおよびMRに使用される。
様々な実施形態において、方法1200におけるステップは異なる順序で実行されてよい。たとえば、ステップ1210および1230が並列に実行されて、パススルーチャネルおよび中間チャネルを並列に生成するようにしてよい。
図13は、一実施形態に従う、オーディオ入力信号から低周波数エンハンスメントチャネルおよび高周波数エンハンスメントチャネルを生成する方法1300を示す図である。方法1300は、方法900の930および935で実行されてよい。LFエンハンスメントチャネルは、空間的にエンハンスされていない入力チャネルXの低周波数成分の出力チャネルOに対する寄与を制御する。HFエンハンスメントチャネルは、空間的にエンハンスされていない入力チャネルXの高周波数成分の出力チャネルOに対する寄与を制御する。
オーディオ処理システム200の高/低周波数ブースタ225は、第1のバンドパスフィルタをサブバンド混合左チャネルELおよびサブバンド混合右チャネルERに、第2のバンドパスフィルタを第1のバンドパスフィルタの出力に適用する1310。たとえば、LFエンハンスバンドパスフィルタ702およびLFエンハンスバンドパスフィルタ704は、低周波数エンハンスメントのためのカスケード共振器を提供する。第1のバンドパスフィルタおよび第2のバンドパスフィルタの特徴は、バンドパスフィルタの予め定義されたQファクタおよび/または中心周波数を有する異なる設定などのように、調整可能であってよい。いくつかの実施形態において、中心周波数は、予め定義されたレベル(たとえば、58.175Hz)に設定され、Qファクタは、調整可能である。いくつかの実施形態において、ユーザは、バンドパスフィルタに関する設定の予め定義されたセットから選択をすることができる。カスケード・バンドパスフィルタシステムは、典型的にはインフィールドラウドスピーカシステムにおいては別個のサブウーファを介して処理されるが、ヘッドマウントスピーカ(すなわちヘッドホン)上でレンダリングされるときには十分に表現されないことが多い信号におけるエネルギーを、選択的にエンハンスする。4次フィルタ設計(すなわち、2つのカスケード2次バンドパスフィルタ)は、励起されたときに明瞭な時間応答を示し、バスドラムおよびベースギターのアタックなどの混合における主要低周波要素に「パンチ」を加えると共に、2次バンドパスフィルタ、ローシェルフ、またはピーキングフィルタを使用して、低周波数スペクトルにおけるより広いバンド上で低周波エネルギーを単に増大させる場合に発生することがある全体的な「濁り」を回避する。
高/低周波数ブースタ225は、ゲインを第2のバンドパスフィルタの出力に適用して1320、低周波数チャネルLFLおよびLFRを生成する。たとえば、LFフィルタゲイン706は、ゲインをLFエンハンスバンドパスフィルタ704の出力に適用して、左LFチャネルLFLおよび右LFチャネルLFRを生成する。LFフィルタゲイン706は、オーディオ出力チャネルOLおよびORに対する低周波数チャネルLFLおよびLFRの寄与を制御する。
高/低周波数ブースタ225は、ハイパスフィルタをサブバンド混合左チャネルELおよびサブバンド混合右チャネルERに適用する1330。たとえば、HFエンハンスハイパスフィルタ708は、HFエンハンスハイパスフィルタ708のカットオフ周波数よりも低い周波数を有する信号成分を減衰する変調を適用する。上述されたように、HFエンハンスハイパスフィルタ708は、4573Hzのカットオフ周波数を有する2次バターワースフィルタであってよい。いくつかの実施形態において、ハイパスフィルタの特徴は調整可能であってよく、たとえば、カットオフ周波数およびゲインの異なる設定がハイパスフィルタの出力に適用される。このハイパスフィルタの追加によって達成される全体的な高周波増幅は、典型的な音楽信号(たとえば、シンバルなどの高周波打楽器、音響室応答の高周波要素など)内の顕著な音色、スペクトル、および時間情報を強調する働きをする。さらに、このエンハンスメントは、低周波数および中間周波数の非空間的信号要素(一般的に、ボーカル及びベースギター)における過度の着色を回避しながら、空間信号エンハンスメントの知覚される有効性を増大させる働きをする。
高/低周波数ブースタ225は、ゲインをハイパスフィルタの出力に適用して1340、高周波数チャネルHFLおよびHFRを生成する。ゲインのレベルは、オーディオ出力チャネルOLおよびORに対する高周波数チャネルHFLおよびHFRの寄与を制御するように調整されることができる。いくつかの実施形態において、HFフィルタゲイン710は、0dBゲインをHFエンハンスハイパスフィルタ708の出力に適用する。
様々な実施形態において、方法1300におけるステップは異なる順序で実行されてよい。たとえば、ステップ1310および1330がステップ1330および1340と並列に実行されて、低周波数および高周波数チャネルを並列に生成するようにしてよい。
図14は、一実施形態に従うオーディオチャネルの周波数プロット1400を示す。プロット1400において、オーディオ処理システム200はデフォルト設定において動作し、この設定では、高/低周波数ブースタ225のカスケード共振器(たとえば、LFエンハンスバンドパスフィルタ702およびLFエンハンスバンドパスフィルタ704)が、58.175Hzの中心周波数、および2.5のQファクタを有する。ライン1410は、左入力チャネルXLにおけるホワイトノイズのオーディオ入力信号Xの周波数応答である。ライン1420は、同じXLホワイトノイズ入力信号が与えられたとして、空間的にエンハンスされたチャネルYを生成するサブバンド空間エンハンサ210の周波数応答である。ライン1430は、同じXLホワイトノイズ入力信号が与えられたとして、クロストークチャネルCを生成するクロストークシミュレータ215の周波数応答である。ライン1440は、同じXLホワイトノイズ入力信号が与えられたとして、低周波数および高周波数チャネルLFおよびHFを生成する高/低周波数ブースタ225の周波数応答である。L/Rパススルーゲイン606は、デフォルト設定において−無限大dbに設定され、出力信号Oに対するパススルーチャネルPの寄与を除去する。
図15は、一実施形態に従うオーディオチャネルの周波数プロット1500を示す。ライン1510は、左入力チャネルXLにおけるホワイトノイズのオーディオ入力信号Xの周波数応答である。プロット1400においてと同様に、高/低周波数ブースタ225のカスケード(cascaded)共振器(たとえば、LFエンハンスバンドパスフィルタ702、およびLFエンハンスバンドパスフィルタ704)は、デフォルト設定において動作し、この設定では、バンドパスフィルタは、58.175Hzの中心周波数、および2.5のQファクタを有する。ライン1520は、同じXLホワイトノイズ入力信号が与えられたとして、左出力チャネルOLを生成するミキサ230の周波数応答である。ライン1520は、相関されたステレオホワイトノイズ入力信号が与えられた(すなわち、左信号と右信号が同一である)として、左出力チャネルOLを生成するミキサ230の周波数応答である。ライン1540は、相関されていないホワイトノイズ入力信号が与えられた(すなわち、右チャネルが左チャネルの逆バージョンである)として、左出力チャネルOLを生成するミキサ230の周波数応答である。
図16は、一実施形態に従うチャネル信号の周波数プロット1600を示す。オーディオ処理システム200は、ブーストされた設定において動作し、この設定では、高/低周波数ブースタ225のカスケード共振器(たとえば、LFエンハンスバンドパスフィルタ702およびLFエンハンスバンドパスフィルタ704)が、58.175Hzの中心周波数、および1.3のQファクタを有する。ライン1610は、左入力チャネルXLにおけるホワイトノイズのオーディオ入力信号Xの周波数応答である。ライン1620は、同じXLホワイトノイズ入力信号が与えられたとして、空間的にエンハンスされたチャネルYを生成するサブバンド空間エンハンサ210の周波数応答である。ライン1630は、同じXLホワイトノイズ入力信号が与えられたとして、クロストークチャネルCを生成するクロストークシミュレータ215の周波数応答である。ライン1640は、同じXLホワイトノイズ入力信号が与えられたとして、ブーストされた設定における高/低周波数ブースタ225およびパススルー230の組み合わされた周波数応答である。
図17は、上記のライン1640の個々の成分を示す。ライン1710は、上記の低周波数エンハンスメントの周波数応答である。ライン1720は、上記の高周波数フィルタエンハンスメントの周波数応答である。ライン1730は、上記のパススルー220の周波数応答である。ライン1710、1720、および1730は、ブーストされた設定において動作しているオーディオ処理システム200に関する図16に示されたライン1640の組み合わされたフィルタ応答の成分を表す。
図18は、一実施形態に従うオーディオチャネルの周波数プロット1800を示す。オーディオ処理システム200はブーストされた設定において動作する。ライン1810は、左入力チャネルXLにおけるホワイトノイズのオーディオ入力信号Xの周波数応答である。ライン1820は、同じXLホワイトノイズ入力信号が与えられたとして、左出力チャネルOLを生成するミキサ230の周波数応答である。ライン1830は、相関されたステレオホワイトノイズ入力信号が与えられた(すなわち、左信号と右信号が同一である)として、左出力チャネルOLを生成するミキサ230の周波数応答である。ライン1840は、相関されていないホワイトノイズ入力信号が与えられた(すなわち、右チャネルが左チャネルの逆バージョンである)として、左出力チャネルOLを生成するミキサ230の周波数応答である。
本開示を読むと、当業者であれば、本明細書に開示された原理を通じてさらに追加の代替的実施形態を理解するであろう。したがって、特定の実施形態および用途が図示および説明されているが、開示された実施形態は、本明細書に開示された厳密な構成および構成要素に限定されないことを理解されたい。本明細書で開示された方法および装置の配置、動作および詳細について、本明細書に説明された範囲から逸脱することなく、当業者には明らかである様々な修正、変更および変形が行われてよい。
本明細書に説明された任意のステップ、動作、またはプロセスが、単独でまたは他のデバイスと組み合わせて、1つまたは複数のハードウェアまたはソフトウェアモジュールを用いて実行または実装されてよい。一実施形態において、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体(たとえば非一時的コンピュータ可読媒体)を含むコンピュータプログラム製品で実装され、コンピュータプログラムコードは、上述されたステップ、動作、またはプロセスのいずれかまたは全部を実施するためにコンピュータプロセッサによって実行されることができる。

Claims (20)

  1. 左入力チャネルおよび右入力チャネルを含む入力オーディオ信号を受信するステップと、
    前記左入力チャネルおよび前記右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって、空間的にエンハンスされた左チャネルおよび空間的にエンハンスされた右チャネルを生成するステップと、
    前記左入力チャネルをフィルタリングし時間遅延させることによって、左クロストークチャネルを生成するステップと、
    前記右入力チャネルをフィルタリングし時間遅延させることによって、右クロストークチャネルを生成するステップと、
    前記空間的にエンハンスされた左チャネルおよび前記右クロストークチャネルを混合することによって、左出力チャネルを生成するステップと、
    前記空間的にエンハンスされた右チャネルおよび前記左クロストークチャネルを混合することによって、右出力チャネルを生成するステップと
    を含むことを特徴とする方法。
  2. 第1のバンドパスフィルタを前記左入力チャネルおよび前記右入力チャネルに適用することと、
    第2のバンドパスフィルタを前記第1のバンドパスフィルタの出力に適用することと、
    ゲインを前記第2のバンドパスフィルタの出力に適用することと
    によって、左低周波数チャネルおよび右低周波数チャネルを生成するステップをさらに含み、
    前記左出力チャネルを生成するステップは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、および前記左低周波数チャネルを混合するステップを含み、
    前記右出力チャネルを生成するステップは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、および前記右低周波数チャネルを混合するステップを含むことを特徴とする請求項1に記載の方法。
  3. 前記第1のバンドパスフィルタおよび前記第2のバンドパスフィルタは各々が、中心周波数および調整可能な品質(Q)ファクタを有することを特徴とする請求項2に記載の方法。
  4. ハイパスフィルタを前記左入力チャネルおよび前記右入力チャネルに適用することと、
    ゲインを前記ハイパスフィルタの出力に適用することと
    によって、左高周波数チャネルおよび右高周波数チャネルを生成するステップをさらに含み、
    前記左出力チャネルを生成するステップは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、および前記左高周波数チャネルを混合するステップを含み、
    前記右出力チャネルを生成するステップは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、および前記右高周波数チャネルを混合するステップを含むことを特徴とする請求項1に記載の方法。
  5. 前記ハイパスフィルタは、2次バターワースハイパスフィルタであることを特徴とする請求項4に記載の方法。
  6. ゲインを前記左入力チャネルおよび前記右入力チャネルに適用することによって、左パススルーチャネルおよび右パススルーチャネルを生成するステップをさらに含み、
    前記左出力チャネルを生成するステップは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、および前記左パススルーチャネルを混合するステップを含み、
    前記右出力チャネルを生成するステップは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、および前記右パススルーチャネルを混合するステップを含むことを特徴とする請求項1に記載の方法。
  7. 前記左入力チャネルおよび前記右入力チャネルを加えることと、
    前記加えられた左入力チャネルおよび右入力チャネルにゲインを適用することと
    によって、中間チャネルを生成するステップをさらに含み、
    前記左出力チャネルを生成するステップは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、および前記中間チャネルを混合するステップを含み、
    前記右出力チャネルを生成するステップは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、および前記中間チャネルを混合するステップを含むことを特徴とする請求項1に記載の方法。
  8. 前記左入力チャネルおよび前記右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって前記空間的にエンハンスされた左チャネルおよび前記空間的にエンハンスされた右チャネルを生成するステップは、
    前記左入力チャネルを左サブバンド成分へと分離するステップであって、前記左サブバンド成分の各々は、周波数バンドのグループからの1つの周波数バンドに対応する、該ステップと、
    右入力チャネルを右サブバンド成分へと分離するステップであって、前記右サブバンド成分の各々は、周波数バンドの前記グループからの1つの周波数バンドに対応する、該ステップと、
    前記左サブバンド成分および前記右サブバンド成分から前記中間サブバンド成分および前記サイドサブバンド成分を生成するステップと、
    前記中間サブバンド成分に対する前記サイドサブバンド成分のゲインを調整するステップと、
    前記ゲイン調整された中間サブバンド成分およびサイドサブバンド成分を再結合して、前記左の空間的にエンハンスされたチャネルおよび前記右の空間的にエンハンスされたチャネルを生成するステップと
    を含むことを特徴とする請求項1に記載の方法。
  9. 前記空間的にエンハンスされた左チャネルおよび前記空間的にエンハンスされた右チャネルを生成するステップは、前記左入力チャネルおよび前記右入力チャネルの前記サイドサブバンド成分および前記中間サブバンド成分に第1のゲインを適用するステップを含み、
    前記左クロストークチャネルを生成するステップは、前記フィルタリングされ時間遅延された左入力チャネルに第2のゲインを適用するステップを含み、
    前記右クロストークチャネルを生成するステップは、前記フィルタリングされ時間遅延された右入力チャネルに前記第2のゲインを適用するステップを含み、
    前記方法は、
    第1のバンドパスフィルタを前記左入力チャネルおよび前記右入力チャネルに適用すること、
    第2のバンドパスフィルタを前記第1のバンドパスフィルタの出力に適用すること、および
    第3のゲインを前記第2のバンドパスフィルタの出力に適用すること
    によって、左低周波数チャネルおよび右低周波数チャネルを生成するステップと、
    ハイパスフィルタを前記左入力チャネルおよび前記右入力チャネルに適用すること、および
    第4のゲインを前記ハイパスフィルタの出力に適用すること
    によって、左高周波数チャネルおよび右高周波数チャネルを生成するステップと、
    第5のゲインを前記左入力チャネルおよび前記右入力チャネルに適用すること
    によって、左パススルーチャネルおよび右パススルーチャネルを生成するステップと、
    前記左入力チャネルおよび前記右入力チャネルを加えること、および
    第6のゲインを前記加えられた左入力チャネルおよび右入力チャネルに適用すること
    によって、中間チャネルを生成するステップと
    をさらに含み、
    前記左出力チャネルを生成するステップは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、前記左低周波数チャネル、前記左高周波数チャネル、前記左パススルーチャネル、および前記中間チャネルを混合するステップを含み、
    前記右出力チャネルを生成するステップは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、前記右低周波数チャネル、前記右高周波数チャネル、前記右パススルーチャネル、および前記中間チャネルを混合するステップを含むことを特徴とする請求項1に記載の方法。
  10. 前記第1のゲインは、−12ないし6dBゲインであり、
    前記第2のゲインは、−無限大ないし0dBゲインであり、
    前記第3のゲインは、0ないし20dBゲインであり、
    前記第4のゲインは、0ないし20dBゲインであり、
    前記第5のゲインは、−無限大ないし0dBゲインであり、
    前記第6のゲインは、−無限大ないし0dBゲインであることを特徴とする請求項9に記載の方法。
  11. オーディオ処理システムであって、
    左入力チャネルおよび右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって、空間的にエンハンスされた左チャネルおよび空間的にエンハンスされた右チャネルを生成するように構成されたサブバンド空間エンハンサと、
    前記左入力チャネルをフィルタリングし時間遅延させることによって、左クロストークチャネルを生成し、
    前記右入力チャネルをフィルタリングし時間遅延させることによって、右クロストークチャネルを生成する
    ように構成されたクロストークシミュレータと、
    前記空間的にエンハンスされた左チャネルおよび前記右クロストークチャネルを混合することによって、左出力チャネルを生成し、
    前記空間的にエンハンスされた右チャネルおよび前記左クロストークチャネルを混合することによって、右出力チャネルを生成する
    ように構成されたミキサと
    を備えたことを特徴とするオーディオ処理システム。
  12. 前記システムは、左低周波数チャネルおよび右低周波数チャネルを生成するように構成された周波数ブースタをさらに含み、前記周波数ブースタは、
    前記左入力チャネルおよび前記右入力チャネルをフィルタリングするように構成された第1のバンドパスフィルタと、
    前記第1のバンドパスフィルタの出力をフィルタリングするように構成された第2のバンドパスフィルタと、
    ゲインを前記第2のバンドパスフィルタの出力に適用するための低周波数フィルタゲインと
    を含み、
    前記左出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、および前記左低周波数チャネルを混合するように構成された前記ミキサを含み、
    前記右出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、および前記右低周波数チャネルを混合するように構成された前記ミキサを含むことを特徴とする請求項11に記載のシステム。
  13. 前記第1のバンドパスフィルタおよび前記第2のバンドパスフィルタは各々が、中心周波数および調整可能な品質(Q)ファクタを有することを特徴とする請求項12に記載のシステム。
  14. 前記システムは、左高周波数チャネルおよび右高周波数チャネルを生成するように構成された周波数ブースタをさらに含み、前記周波数ブースタは、
    前記左入力チャネルおよび前記右入力チャネルをフィルタリングするように構成されたハイパスフィルタと、
    ゲインを前記ハイパスフィルタの出力に適用するための高周波数フィルタゲインと
    を含み、
    前記左出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、および前記左高周波数チャネルを混合するように構成された前記ミキサを含み、
    前記右出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、および前記右高周波数チャネルを混合するように構成された前記ミキサを含むことを特徴とする請求項11に記載のシステム。
  15. 前記ハイパスフィルタは、2次バターワースハイパスフィルタであることを特徴とする請求項14に記載のシステム。
  16. 前記システムは、左パススルーチャネルおよび右パススルーチャネルを生成するように構成されたパススルーをさらに含み、前記パススルーは、ゲインを前記左入力チャネルおよび前記右入力チャネルに適用するように構成されたパススルーゲインを含み、
    前記左出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、および前記左パススルーチャネルを混合するように構成された前記ミキサを含み、
    前記右出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、および前記右パススルーチャネルを混合するように構成された前記ミキサを含むことを特徴とする請求項11に記載のシステム。
  17. 前記システムは、中間チャネルを生成するように構成されたパススルーをさらに含み、前記パススルーは、
    前記左入力チャネルおよび前記右入力チャネルを加えるように構成されたコンバイナと、
    前記加えられた左入力チャネルおよび右入力チャネルにゲインを適用するように構成された中間ゲインと
    を含み、
    前記左出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、および前記左中間チャネルを混合するように構成された前記ミキサを含み、
    前記右出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、および前記右中間チャネルを混合するように構成された前記ミキサを含むことを特徴とする請求項11に記載のシステム。
  18. 前記左入力チャネルおよび前記右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって、前記空間的にエンハンスされた左チャネルおよび前記空間的にエンハンスされた右チャネルを生成するように構成された前記サブバンド空間エンハンサは、
    前記左入力チャネルを左サブバンド成分へと分離することであって、前記左サブバンド成分の各々は、周波数バンドのグループからの1つの周波数バンドに対応する、該分離することと、
    前記右入力チャネルを右サブバンド成分へと分離することであって、前記右サブバンド成分の各々は、周波数バンドの前記グループからの1つの周波数バンドに対応する、該分離することと、
    前記左サブバンド成分および前記右サブバンド成分から前記中間サブバンド成分および前記サイドサブバンド成分を生成することと、
    前記中間サブバンド成分に対する前記サイドサブバンド成分のゲインを調整することと、
    前記ゲイン調整された中間サブバンド成分およびサイドサブバンド成分を再結合して、前記左の空間的にエンハンスされたチャネルおよび前記右の空間的にエンハンスされたチャネルを生成することと
    を行うように構成された前記サブバンド空間エンハンサを含むことを特徴とする請求項11に記載のシステム。
  19. 前記空間的にエンハンスされた左チャネルおよび前記空間的にエンハンスされた右チャネルを生成するように構成された前記サブバンド空間エンハンサは、前記左入力チャネルおよび前記右入力チャネルの前記サイドサブバンド成分および前記中間サブバンド成分に第1のゲインを適用するように構成された前記サブバンド空間エンハンサを含み、
    前記左クロストークチャネルを生成するように構成された前記クロストークシミュレータは、前記フィルタリングされ時間遅延された左入力チャネルに第2のゲインを適用するように構成された前記クロストークシミュレータを含み、
    前記右クロストークチャネルを生成するように構成された前記クロストークシミュレータは、前記フィルタリングされ時間遅延された右入力チャネルに前記第2のゲインを適用するように構成された前記クロストークシミュレータを含み、
    前記システムは、左低周波数チャネル、右低周波数チャネル、左高周波数チャネル、および右高周波数チャネルを生成するように構成された周波数ブースタであって、
    前記左入力チャネルおよび前記右入力チャネルをフィルタリングするように構成された第1のバンドパスフィルタと、
    前記第1のバンドパスフィルタの出力をフィルタリングするように構成された第2のバンドパスフィルタと、
    第3のゲインを前記第2のバンドパスフィルタの出力に適用して、前記左低周波数チャネルおよび前記右低周波数チャネルを生成するように構成された低周波数フィルタゲインと、
    前記左入力チャネルおよび前記右入力チャネルをフィルタリングするように構成されたハイパスフィルタと、
    第4のゲインを前記ハイパスフィルタの出力に適用して、前記左高周波数チャネルおよび前記右高周波数チャネルを生成するように構成された高周波数フィルタゲインと
    を含む、該周波数ブースタと、
    左パススルーチャネル、右パススルーチャネル、および中間チャネルを生成するように構成されたパススルーとをさらに含み、前記パススルーは、
    第5のゲインを前記左入力信号および前記右入力信号に適用して、前記左パススルーチャネルおよび前記右パススルーチャネルを生成するように構成されたパススルーゲインと、
    前記左入力チャネルおよび前記右入力チャネルを加えるように構成されたコンバイナと、
    第6のゲインを前記加えられた左入力チャネルおよび右入力チャネルに適用して、前記左中間チャネルおよび前記右中間チャネルを生成するように構成された中間ゲインと
    を含み、
    前記左出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた左チャネル、前記右クロストークチャネル、前記左低周波数チャネル、前記左高周波数チャネル、前記左パススルーチャネル、および前記中間チャネルを混合するように構成された前記ミキサを含み、
    前記右出力チャネルを生成するように構成された前記ミキサは、前記空間的にエンハンスされた右チャネル、前記左クロストークチャネル、前記右低周波数チャネル、前記右高周波数チャネル、前記右パススルーチャネル、および前記中間チャネルを混合するように構成された前記ミキサを含むことを特徴とする請求項11に記載のシステム。
  20. プログラムコードを記憶するように構成された非一時的コンピュータ可読媒体であって、前記プログラムコードは命令を含み、前記命令は、プロセッサによって実行されたとき、該プロセッサに、
    左入力チャネルおよび右入力チャネルを含む入力オーディオ信号を受信することと、
    前記左入力チャネルおよび前記右入力チャネルのサイドサブバンド成分および中間サブバンド成分をゲイン調整することによって、空間的にエンハンスされた左チャネルおよび空間的にエンハンスされた右チャネルを生成することと、
    前記左入力チャネルをフィルタリングし時間遅延させることによって、左クロストークチャネルを生成することと、
    前記右入力チャネルをフィルタリングし時間遅延させることによって、右クロストークチャネルを生成することと、
    前記空間的にエンハンスされた左チャネルおよび前記右クロストークチャネルを混合することによって、左出力チャネルを生成することと、
    前記空間的にエンハンスされた右チャネルおよび前記左クロストークチャネルを混合することによって、右出力チャネルを生成することと
    をさせることを特徴とする非一時的コンピュータ可読媒体。
JP2018538234A 2016-01-19 2017-01-12 ヘッドマウントスピーカのためのオーディオエンハンスメント Active JP6546351B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662280121P 2016-01-19 2016-01-19
US62/280,121 2016-01-19
US201662388367P 2016-01-29 2016-01-29
US62/388,367 2016-01-29
PCT/US2017/013249 WO2017127286A1 (en) 2016-01-19 2017-01-12 Audio enhancement for head-mounted speakers

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019114655A Division JP2019193291A (ja) 2016-01-19 2019-06-20 ヘッドマウントスピーカのためのオーディオエンハンスメント

Publications (2)

Publication Number Publication Date
JP2019506803A true JP2019506803A (ja) 2019-03-07
JP6546351B2 JP6546351B2 (ja) 2019-07-17

Family

ID=59362451

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018538234A Active JP6546351B2 (ja) 2016-01-19 2017-01-12 ヘッドマウントスピーカのためのオーディオエンハンスメント
JP2019114655A Pending JP2019193291A (ja) 2016-01-19 2019-06-20 ヘッドマウントスピーカのためのオーディオエンハンスメント
JP2022017122A Active JP7378515B2 (ja) 2016-01-19 2022-02-07 ヘッドマウントスピーカのためのオーディオエンハンスメント

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019114655A Pending JP2019193291A (ja) 2016-01-19 2019-06-20 ヘッドマウントスピーカのためのオーディオエンハンスメント
JP2022017122A Active JP7378515B2 (ja) 2016-01-19 2022-02-07 ヘッドマウントスピーカのためのオーディオエンハンスメント

Country Status (11)

Country Link
US (1) US10009705B2 (ja)
EP (2) EP4307718A3 (ja)
JP (3) JP6546351B2 (ja)
KR (1) KR101858918B1 (ja)
CN (1) CN108781331B (ja)
AU (1) AU2017208916B2 (ja)
BR (1) BR112018014724B1 (ja)
CA (1) CA3011694C (ja)
NZ (1) NZ745422A (ja)
TW (1) TWI620171B (ja)
WO (1) WO2017127286A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022521811A (ja) * 2019-03-14 2022-04-12 ブームクラウド 360 インコーポレイテッド 優先度を持つ空間認識マルチバンド圧縮システム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225657B2 (en) 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
CN109923877B (zh) * 2016-11-11 2020-08-25 华为技术有限公司 对立体声音频信号进行加权的装置和方法
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain
US10499153B1 (en) 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
US10674266B2 (en) * 2017-12-15 2020-06-02 Boomcloud 360, Inc. Subband spatial processing and crosstalk processing system for conferencing
US10764704B2 (en) * 2018-03-22 2020-09-01 Boomcloud 360, Inc. Multi-channel subband spatial processing for loudspeakers
JP7402185B2 (ja) 2018-06-12 2023-12-20 マジック リープ, インコーポレイテッド 低周波数チャネル間コヒーレンス制御
US10575116B2 (en) 2018-06-20 2020-02-25 Lg Display Co., Ltd. Spectral defect compensation for crosstalk processing of spatial audio signals
US10715915B2 (en) * 2018-09-28 2020-07-14 Boomcloud 360, Inc. Spatial crosstalk processing for stereo signal
US10993061B2 (en) 2019-01-11 2021-04-27 Boomcloud 360, Inc. Soundstage-conserving audio channel summation
BR112022003440A2 (pt) * 2019-09-03 2022-05-24 Dolby Laboratories Licensing Corp Codec de efeitos de baixa latência, baixa frequência
US10841728B1 (en) 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
US11432069B2 (en) 2019-10-10 2022-08-30 Boomcloud 360, Inc. Spectrally orthogonal audio component processing
CN111065020B (zh) * 2019-11-07 2021-09-07 华为终端有限公司 音频数据处理的方法和装置
KR102465792B1 (ko) * 2020-10-24 2022-11-09 엑스멤스 랩스 인코포레이티드 사운드 생성 디바이스
CN112351379B (zh) * 2020-10-28 2021-07-30 歌尔光学科技有限公司 音频组件的控制方法以及智能头戴设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002159100A (ja) * 2000-09-29 2002-05-31 Nokia Mobile Phones Ltd 2チャネル・ステレオ・フォーマットの左及び右のチャネル入力信号を左及び右のチャネル出力信号に変換する方法及び信号処理装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2244162C3 (de) * 1972-09-08 1981-02-26 Eugen Beyer Elektrotechnische Fabrik, 7100 Heilbronn «system
US4748669A (en) * 1986-03-27 1988-05-31 Hughes Aircraft Company Stereo enhancement system
US7003467B1 (en) * 2000-10-06 2006-02-21 Digital Theater Systems, Inc. Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio
EP1532734A4 (en) 2002-06-05 2008-10-01 Sonic Focus Inc ACOUSTIC VIRTUAL REALITY ENGINE AND ADVANCED TECHNIQUES FOR IMPROVING THE DELIVERED SOUND
JP2004023486A (ja) 2002-06-17 2004-01-22 Arnis Sound Technologies Co Ltd ヘッドホンによる再生音聴取における音像頭外定位方法、及び、そのための装置
FI118370B (fi) * 2002-11-22 2007-10-15 Nokia Corp Stereolaajennusverkon ulostulon ekvalisointi
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
KR100636248B1 (ko) * 2005-09-26 2006-10-19 삼성전자주식회사 보컬 제거 장치 및 방법
JP4887420B2 (ja) 2006-03-13 2012-02-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 中央チャンネルオーディオのレンダリング
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
KR101061132B1 (ko) * 2006-09-14 2011-08-31 엘지전자 주식회사 다이알로그 증폭 기술
US8612237B2 (en) 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
US8705748B2 (en) 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
WO2009046223A2 (en) 2007-10-03 2009-04-09 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US8295498B2 (en) 2008-04-16 2012-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for producing 3D audio in systems with closely spaced speakers
US9247369B2 (en) 2008-10-06 2016-01-26 Creative Technology Ltd Method for enlarging a location with optimal three-dimensional audio perception
TWI449442B (zh) * 2009-01-14 2014-08-11 Dolby Lab Licensing Corp 用於無回授之頻域主動矩陣解碼的方法與系統
US8705769B2 (en) * 2009-05-20 2014-04-22 Stmicroelectronics, Inc. Two-to-three channel upmix for center channel derivation
WO2011005479A2 (en) * 2009-06-22 2011-01-13 SoundBeam LLC Optically coupled bone conduction systems and methods
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US9107021B2 (en) 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
US20110288860A1 (en) 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
US8660271B2 (en) 2010-10-20 2014-02-25 Dts Llc Stereo image widening system
KR101785379B1 (ko) 2010-12-31 2017-10-16 삼성전자주식회사 공간 음향에너지 분포 제어장치 및 방법
JP2013013042A (ja) * 2011-06-02 2013-01-17 Denso Corp 立体音響装置
JP5772356B2 (ja) * 2011-08-02 2015-09-02 ヤマハ株式会社 音響特性制御装置及び電子楽器
EP2560161A1 (en) 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
US9398391B2 (en) * 2012-05-29 2016-07-19 Creative Technology Ltd Stereo widening over arbitrarily-configured loudspeakers
US20150036826A1 (en) * 2013-05-08 2015-02-05 Max Sound Corporation Stereo expander method
US9338570B2 (en) * 2013-10-07 2016-05-10 Nuvoton Technology Corporation Method and apparatus for an integrated headset switch with reduced crosstalk noise
TW201532035A (zh) 2014-02-05 2015-08-16 Dolby Int Ab 預測式fm立體聲無線電雜訊降低

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002159100A (ja) * 2000-09-29 2002-05-31 Nokia Mobile Phones Ltd 2チャネル・ステレオ・フォーマットの左及び右のチャネル入力信号を左及び右のチャネル出力信号に変換する方法及び信号処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022521811A (ja) * 2019-03-14 2022-04-12 ブームクラウド 360 インコーポレイテッド 優先度を持つ空間認識マルチバンド圧縮システム
JP7354275B2 (ja) 2019-03-14 2023-10-02 ブームクラウド 360 インコーポレイテッド 優先度を持つ空間認識マルチバンド圧縮システム

Also Published As

Publication number Publication date
EP3406085A4 (en) 2019-12-04
AU2017208916B2 (en) 2019-01-31
JP2019193291A (ja) 2019-10-31
CA3011694C (en) 2019-04-02
KR101858918B1 (ko) 2018-05-16
JP7378515B2 (ja) 2023-11-13
BR112018014724B1 (pt) 2020-11-24
NZ745422A (en) 2019-09-27
JP6546351B2 (ja) 2019-07-17
EP4307718A3 (en) 2024-04-10
BR112018014724A2 (pt) 2018-12-11
AU2017208916A1 (en) 2018-09-06
TWI620171B (zh) 2018-04-01
CN108781331B (zh) 2020-11-06
EP3406085A1 (en) 2018-11-28
TW201732782A (zh) 2017-09-16
EP3406085B1 (en) 2024-05-01
US20170230777A1 (en) 2017-08-10
US10009705B2 (en) 2018-06-26
JP2022058913A (ja) 2022-04-12
KR20170127570A (ko) 2017-11-21
WO2017127286A1 (en) 2017-07-27
EP4307718A2 (en) 2024-01-17
CA3011694A1 (en) 2017-07-27
CN108781331A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
JP7378515B2 (ja) ヘッドマウントスピーカのためのオーディオエンハンスメント
JP5298199B2 (ja) モノフォニック対応およびラウドスピーカ対応のバイノーラルフィルタ
JP2022101630A (ja) 空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償
TWI692256B (zh) 次頻帶空間音訊增強
CN112566008A (zh) 音频上混方法、装置、电子设备和存储介质
JP6643778B2 (ja) 音響装置、電子鍵盤楽器およびプログラム
US20230085013A1 (en) Multi-channel decomposition and harmonic synthesis
US20240056735A1 (en) Stereo headphone psychoacoustic sound localization system and method for reconstructing stereo psychoacoustic sound signals using same
CN112584300A (zh) 音频上混方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190620

R150 Certificate of patent or registration of utility model

Ref document number: 6546351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250