JP2017503395A - サウンドステージ拡張用の装置及び方法 - Google Patents

Abstract

プロセッサによって実行可能な命令を備えた非一時的なコンピュータ可読記憶媒体が、デジタルオーディオ入力信号の右及び左チャンネル内の中央成分、サイド成分、及び周囲成分を識別する。中央成分及びサイド成分から空間比率が決定される。デジタルオーディオ入力信号は、前処理信号を形成するために、空間比率に基づいて調整される。再帰的なクロストークキャンセル処理が、クロストークキャンセルを形成するために、前処理信号に対して実行される。クロストークキャンセル信号の中央成分は、最終的なデジタルオーディオ出力を生成するために再調整される。

Description

関連出願の相互参照
本出願は、２０１３年１２月１３日出願の米国仮特許出願第６１／９１６，００９号及び２０１４年４月２２日出願の米国仮特許出願第６１／９８２，７７８号の優先権を主張し、それらの仮出願は、参照によって本明細書で援用される。

発明の分野
本発明は、一般にデジタルオーディオ信号の処理に関する。特に本発明は、サウンドステージ拡張用の技術に関する。

発明の背景
サウンドステージは、ステレオ場面の左端と右端の間で知覚される距離である。ステレオイメージは、サウンドステージを占めるように思われるファントムイメージを含む。優れたステレオイメージは、自然な聴取環境を伝達するために必要とされる。平坦で狭いステレオイメージは、全ての音を一方向から来るように知覚させ、従って音は、モノラルに思われる。

消費者電子装置（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、ウェアラブルコンピュータ、ゲーム機、テレビ等）は、一般にスピーカを含む。残念なことに、空間制限は、貧弱なサウンドステージ性能に帰着する。頭部伝達関数（ＨＲＴＦ）を用いて、この問題に取り組む試みがなされた。ＨＲＴＦは、仮想サラウンドサウンドスピーカを生成するために用いられる。残念なことに、ＨＲＴＦは、一個人の耳及び体形に基づいている。従って、どんな他の耳も、音源定位の低下を伴う空間的歪みを経験する可能性がある。

従って、合成又は測定されたＨＲＴＦに依存せずに、消費者装置における拡張サウンドステージ性能を得ることが望ましいであろう。

発明の概要
プロセッサによって実行可能な命令を備えた非一時的なコンピュータ可読記憶媒体が、デジタルオーディオ入力信号の右及び左チャンネル内の中央成分、サイド成分、及び周囲成分を識別する。中央成分及びサイド成分から空間比率が決定される。デジタルオーディオ入力信号は、前処理信号を形成するために、空間比率に基づいて調整される。再帰的なクロストークキャンセル処理が、クロストークキャンセル信号を形成するために、前処理信号に対して実行される。クロストークキャンセル信号の中央成分は、デジタルオーディオ出力を生成するために、後処理動作において再調整される。

図の簡単な説明
本発明は、添付の図面に関連して書かれた以下の詳細な説明に関連して、より完全に理解されよう。

同様の参照数字は、図面における幾つかの図の全体を通して対応する部分を指す。

本発明の実施形態に従って構成された消費者電子装置を示す。 本発明の実施形態による信号処理を示す。 本発明の実施形態に従って構成された音拡張モジュールを示す。 音拡張モジュールの前処理ステージに関連する処理動作を示す。 音拡張モジュールの後処理ステージに関連する処理動作を示す。

発明の詳細な説明
図１は、本発明の実施形態に従って構成されたデジタル消費者電子装置１００を示す。装置１００は、バス１１４を介して接続される中央処理装置１１０及び入力／出力装置１１２などの標準的なコンポーネントを含む。入力／出力装置１１２は、キーボード、マウス、タッチディスプレイ、スピーカ等を含んでも良い。ネットワーク（図示せず）への接続性を提供するために、ネットワークインターフェース回路１１６もまた、バス１１４に接続される。ネットワークは、有線及び無線ネットワークの任意の組み合わせであっても良い。

メモリ１２０もまた、バス１１４に接続される。メモリ１２０は、音源信号を含む１つ又は複数の音源ファイル１２２を含む。メモリ１２０はまた、音拡張モジュール１２４を格納し、音拡張モジュール１２４は、以下で説明されるように、本発明の動作を実行するために、中央処理装置１１０によって実行される命令を含む。音拡張モジュール１２４はまた、ネットワークインターフェース回路１１６を通して受信されるストリーミングオーディオ信号を処理しても良い。

図２は、音拡張モジュール１２４が、音源ファイル１２２（例えばステレオソースファイル）を受信しても良いことを示す。音拡張モジュール１２４は、拡張オーディオ出力１２６（例えば、強い中央ステージ及びサイド成分を備えた拡張ステレオサウンド）を生成するために、音源ファイルを処理する。

図３は、音拡張モジュール１２４の実施形態を示す。この場合に、入力は、Ｌｅｆｔ（左）（Ｌ）及びＲｉｇｈｔ（右）（Ｒ）ステレオチャネルである。前処理ステージ３００が、空間キューを分析し、且つ計算された空間比率に基づいて入力を調整する。次のステージ３０２は、以下で説明されるように、再帰的なクロストークキャンセルを実行する。最後に、後処理ステージ３０４が、以下で説明されるように、中央ステージ処理、等化、及びレベル制御を実行する。

図４は、前処理ステージ３００に関連する処理動作を示す。前処理ステージにおいて、聴取者が、再生音における情報を明確に知覚し解読できるように、入力音が分析され、一組のマルチスケール特徴が、中央聴覚システムにおける情報処理ステージに適合するように逆に追加される。一実施形態において、空間キューは、和信号４０２、差信号４０４、及びスペクトル情報４０６の形で分析される（４００）。図３に示されているように、和及び差は、Ｌｅｆｔ及びＲｉｇｈｔ入力から計算される。２つのチャネルの和は、Ｌｅｆｔ及びＲｉｇｈｔチャネルにおける相関成分又はＭｉｄ（中間）信号を表す。和信号３０６は、ファントムセンタ、しばしば映画における対話、又は音楽におけるボーカルに現れる信号を明らかにする。２つのチャネルの差３０８は、ハードパンされた（hard-panned）音又はサイド信号である。差信号は、２つのスピーカの１つだけに又はその１つの方にのみ現れる信号を決定する。差信号は、サイドに現れる成分を備えた特殊音響効果であることが多い。スペクトルが、スペクトル情報用に分析される。これが行われるのは、中央及びハードパンされた音が、オーディオファイル又はストリームを適切に表現できないからである。例えば、群衆音は、非常にランダムである。それは、中央及びサイドに又はサイドだけに存在し得る。スペクトルを分析することによって、和／差ステップによってタグを付けられた或る信号が、主成分（例えば対話、特殊音響効果）又はそれ以上に周囲音かどうかを決定することができる。周波数領域において、周囲音が、広帯域音として現れるのに対して、音響効果又は対話は、エンベロープスペクトルとして現れる。

次の処理動作は、中央及び周囲情報から空間比率を決定することである（４０８）。「空間比率」（ｒ）は、中央イメージと周囲音との間のエネルギ分布を表すように推定される。ステレオ入力は、最初に混合ブロック３１０に送信され、そこでＬｅｆｔチャネルは、

によって計算され、この式で、ＬＴ及びＨＴは、許容可能な空間比率用の低及び高閾値である。α及びβの両方は、ｒに基づいたスカラー調整係数である。より具体的には、α及びβは、ｒから固定線形変換を介して計算され、その結果、全ての項は、互いに関係する。Ｇは、結果としてのチャネルの振幅がその入力と同じであることを保証する正の利得係数である。計算は、Ｒｉｇｈｔチャネルに対して同じである。

空間比率は、３つの分析ブロック（和／差／スペクトル情報）によってタグを付けられた中央及び／又はサイド成分の量を表すように計算される。それは、経路３１４に示されているように、次の前処理ステップ（混合ブロック３１２）及びまた後処理ステージにおける混合で用いられる。ＬＴ及びＨＴは、予め設定された知覚パラメータであり、それらは、音楽、フィルム又はゲームの異なる性質を最適化するために、音楽、フィルム又はゲームのような個別コンテンツに基づいて最適化することができる。閾値は、コンテンツタイプに基づいて調整される。一般に、０．１〜０．３間のいずれかの閾値が妥当である。システムは、タグを付けられた特徴に基づいてコンテンツタイプを推定する。例えば、映画は、強い中央、重い周囲、及びダイナミックな音響効果を有する。対照的に、音楽は、周囲タグをほとんど有せず、異なる音源間のスペクトル−時間コンテンツにおける重複をほとんど有しない。

知覚パラメータは、音などの感覚的経験に基づいている。知覚に基づいた開示技術は、回復される位置特定キューを拾い上げるデコーダとして働く人間の脳に依存する。知覚閾値は、人間の脳／聴覚システムによって処理される情報のみを考慮する。位置特定キューは、人間の聴覚システムがオーディオ信号を効率的に認識し解読できるように、ステレオデジタルオーディオ信号から回復される。従って、知覚的に連続的なサウンドスケープは、仮想スピーカを生成せずに、再構成することができる。開示技術は、知覚空間において音を再構成する。即ち、開示技術は、無意識の認識プロセスが人間の聴覚システムにおいて解読するための情報を提示する。

図４における次の処理動作は、位置特定−重要情報（即ち、音の位置を特定するために脳が依存する情報）を得るために、空間比率４１０に基づいて入力信号を調整することである。周囲音は、それが、経時的に首尾一貫し、且つ主な対象（対話、音響効果）と矛盾なく働くように調整される。周囲音はまた、認識中枢が環境を理解するために重要である。次に、入力信号における異なる部分が、空間比率、そのタグの数、及びコンテンツタイプに基づいて調整される。明瞭な中央イメージを有するために、一実施形態は、周囲比率に対して最小の中央を−１０．５ｄＢに設定する。

混合ブロック３１２は、計算された空間比率及び選択された知覚閾値の比較に基づいて、中央イメージ及び周囲音のバランスを保つ。閾値は、中央音又はサイド音に対する強調を指定することによって選択されても良い。ユーザが中央音とサイド音との間のバランスを選択できるように、単純なグラフィカルユーザインターフェースが用いられても良い。単純なグラフィカルユーザインターフェースがまた、ユーザがボリュームレベルを選択できるように、用いられても良い。

こうすることによって、先行技術の再帰的なクロストークキャンセルに関連するバランス問題が解決される。これは、有効な自動バランスプロセスである。更に、これはまた、聴取者が周囲成分を明瞭に聞くことができることを保証する。

分析ブロックからの空間比率及び情報に基づいて、原信号が再混合される。可能な処理は、ファントムセンタが中央に固定されるように、ファントムセンタのエネルギを増大させることを含む。代替又は追加として、サイドにおける特殊音響効果は、それらが、再帰的なクロストークキャンセル中に効率的に広げられるように、強調されても良い。代替又は追加として、周囲音又は背景音は、中央イメージに影響を与えずに、音場を通して広げられる。周囲音の量はまた、連続的な没入型環境を維持するために、経時的に調整されても良い。

図３に戻ると、前処理３００後に、再帰的なクロストークキャンセル３０２が実行される。クロストークは、音が、各スピーカから反対側の耳に達する場合に発生する。望ましくないスペクトル着色は、原信号とクロストーク信号との間の強め合う及び弱め合う干渉故に引き起こされる。更に、空間歪みを引き起こす矛盾する空間キューが生成される。その結果、位置特定は失敗し、ステレオイメージは、ラウドスピーカの位置へと崩壊する。この問題の解決策は、クロストークキャンセル処理であり、それは、聴取者の鼓膜におけるクロストーク信号を音響的にキャンセルするために、反対側のスピーカにクロストークキャンセルベクトルを追加することを伴う。従来のアプローチは、クロストークキャンセル用にＨＲＴＦを用いることである。本明細書で用いられる単純化されたアプローチは、キャンセル信号を反対側のスピーカに逆に追加するだけである。特に、反転３１４、減衰３１６及び遅延３１８ステージは、高次の再帰的なクロストークキャンセラを形成するために用いられる。Ｌｅｆｔ及びＲｉｇｈｔチャネルは、
Ｌｅｆｔ（ｎ）＝Ｌｅｆｔ（ｎ）−Ａ_Ｌ＊Ｒｉｇｈｔ（ｎ−Ｄ_Ｌ）
Ｒｉｇｈｔ（ｎ）＝Ｒｉｇｈｔ（ｎ）−Ａ_Ｒ＊Ｌｅｆｔ（ｎ−Ｄ_Ｒ）
によって計算することができ、この式で、減衰を表すＡは、正のスカラー係数であり、Ｄは、遅延係数であり、ｎは、時間領域における所与のサンプルのインデックスである。一実施形態において、パラメータは、ハードウェアの物理的構成と一致するように最適化することができる。例えば、非対称スピーカ又はアンバランスな音強度を備えた消費者電子装置に対して、係数は、２つのチャネル間で異なることができる。減衰及び遅延時間は、任意のタイプの消費者電子装置スピーカ構成に適合するように構成することができる。

再帰的なクロストークキャンセル３０２後に、後処理３０４が実行される。図５は、中央アンカー１２２、等化１２４、及びレベル制御１２６を維持する形の後処理動作を示す。中央アンカー１２２の維持に関して、出力は、聴取者用に中央ステージを十分に強く維持するために再び調整される。何故なら、中央コンテンツを理解可能にすることは重要な特徴であるからである。人々は、強い中央イメージに慣れている。例えば、２つのスピーカが、同じレベルで同じ信号を出す場合に、ファントムセンタは、中央線において、聴取者により３ｄＢだけ増大されているように知覚される。従って、２つのスピーカ間にもう干渉がない場合に、もう音響加算は発生せず、中央における３ｄＢの増大もない。他方で、再帰的なクロストークキャンセル後に、ステレオストリームの深さ及び部屋環境が、埋め込まれている可能性があり、従って、回復されなければならない。かかる特徴を用いれば、オーディオコンテンツは、潜在的には、距離が一層遠く思える。人工残響又は更に中央からの小さなパンの使用は、中央イメージをサイドへドリフトさせる。これらの理由で、混合ブロック３２０は、中央信号を逆に追加する必要があるかどうかを決定する。Ｌｅｆｔチャネルは、

によって計算することができる。この式で、ｒは、前に計算された空間比率であり、Ｔは、知覚閾値である。閾値の値は、コンテンツタイプに基づいている。例えば、映画は、対話用に強い中央イメージを必要とするが、ゲームは、そうではない。一実施形態において、閾値は、０．０５から０．９５まで変更される。ｒは、Ｍｉｄ信号が、出されているオーディオ（例えば主な対話）において重要な役割をする場合に、Ｔより大きい。ｒ及びＴの比較がまた、前処理状態４０８で計算された元の空間比率を考慮することに留意されたい。αは、ｒに関する正のスカラー係数である。Ｃは、出力処理信号が、原入力信号と同じラウドネスであることを保証する別の利得係数である。同じプロセスはまた、Ｒｉｇｈｔチャネルに適用される。再び、このプロセスは、先行技術よりも中央イメージを安定させ、一方でサイド成分における拡幅効果を維持する。出力信号のステージ幅は、手動で調整することができる。前述の中央及びサイドグラフィカルユーザインターフェースは、この趣向を確立するために用いられても良い。例えば、１００％の幅（１００％のサイド音に対する好み）は、音が、背後又は右から耳に届くような十分な効果／幅を表す。

混合ブロック３２０に続いて、聴取者の頭及び電子装置のサイズに対して非理想的な遅延及び減衰係数を用いることによって生成される高周波帯域における可聴着色を除去するために、等化３２２が適用される。最後に、利得制御ブロック３２４は、全ての信号が、適切な振幅レンジ内にあり、且つ原入力信号と同じラウドネスを有することを確実にする。ユーザが指定したボリュームの好みもまた、この時点で適用されても良い。

他の後処理ステップは、圧縮及びピーク制限を含んでも良い。それらは、ラウドスピーカのダイナミックレンジを保持し、且つ望ましくない着色のない音質を維持するために用いられる。

当業者は、本発明の技術が、ソースファイル、ストリームコンテンツ等のための低コストの実時間計算プロセスを提供することを理解されよう。その技術はまた、デジタルオーディオ信号に埋め込まれても良い（即ち、デコーダが必要とされないように）。本発明の技術は、音板、ステレオラウドスピーカ、及びカーオーディオシステムに適用可能である。

本発明の実施形態は、様々なコンピュータ実行動作を実行するためのコンピュータコードを自らに有する非一時的なコンピュータ可読記憶媒体を備えたコンピュータ記憶製品に関する。媒体及びコンピュータコードは、本発明のために特に設計され構成されたものであっても良く、又はそれらは、コンピュータソフトウェア技術の当業者には周知で利用可能な種類であっても良い。コンピュータ可読媒体の例は、限定するわけではないが、特定用途向け集積回路（「ＡＳＩＣ」）、プログラム可能論理デバイス（「ＰＬＤ」）、並びにＲＯＭ及びＲＡＭ装置など、プログラムコードを記憶し実行するように特に構成された磁気媒体、光媒体、光磁気媒体及びハードウェア装置を含む。コンピュータコードの例は、コンパイラによって作成されるような機械コード、及びインタープリタを用いてコンピュータによって実行される一層高レベルのコードを含むファイルを含む。例えば、本発明の実施形態は、ＪＡＶＡ（登録商標）、Ｃ＋＋又は他のプログラミング言語及び開発ツールを用いて実行されても良い。本発明の別の実施形態は、機械実行可能ソフトウェア命令の代わりに、又はそれと組み合わせてハードワイヤード回路において実行されても良い。

説明のための前述の記載は、本発明の完全な理解を提供するように特定の専門用語を用いた。しかしながら、本発明を実行するために特定の詳細が必要とはされないことが、当業者には明らかであろう。従って、本発明の特定の実施形態の前述の記載は、実例及び説明のために提示されている。それらは、包括的であるようにも、本発明を開示された形態に正確に限定するようにも意図されていない。上記の教示を考慮すると、明らかに多くの修正及び変形が可能である。実施形態は、本発明の原理及びその実際的な用途を最も良く説明するために選択及び説明され、それによって、それらは、他の当業者が、考えられる特定の用途に適した様々な修正を用いて本発明及び様々な実施形態を最も良く利用できるようにする。添付の特許請求の範囲及びそれらの均等物が、本発明の範囲を定義するように意図されている。

Claims (4)

1. プロセッサによって実行可能な命令を備えた非一時的なコンピュータ可読記憶媒体であって、前記命令は、
   デジタルオーディオ入力信号の右及び左チャンネル内の中央成分、サイド成分、及び周囲成分を識別するための命令、
   前記中央成分及び前記サイド成分から空間比率を決定するための命令、
   前処理信号を形成するために、前記空間比率に基づいて前記デジタルオーディオ入力信号を調整するための命令、
   クロストークキャンセル信号を形成するために、前記前処理信号に対して再帰的なクロストークキャンセル処理を実行するための命令、
   前記クロストークキャンセル信号の前記中央成分を再調整するための命令、
   を含む、コンピュータ可読記憶媒体。
2. 前記デジタルオーディオ入力信号を調整するための前記命令が、選択された知覚閾値に従って、前記中央成分及び前記周囲成分のバランスを保つために、前記空間比率を前記選択された知覚閾値と比較する、請求項１に記載の非一時的なコンピュータ可読記憶媒体。
3. 前記中央成分を再調整するための前記命令が、前記空間比率を利用する、請求項１に記載の非一時的なコンピュータ可読記憶媒体。
4. 再帰的なクロストークキャンセルを実行するための前記命令が、頭部伝達関数処理なしに、第１のチャネルから第２のチャネルにキャンセル信号を追加し、且つ前記第２のチャネルから前記第１のチャネルにキャンセル信号を追加する命令を含む、請求項１に記載の非一時的なコンピュータ可読記憶媒体。

Images