JP2012529228A - スピーカ又はヘッドホン再生のための仮想オーディオ処理 - Google Patents

スピーカ又はヘッドホン再生のための仮想オーディオ処理 Download PDF

Info

Publication number
JP2012529228A
JP2012529228A JP2012514020A JP2012514020A JP2012529228A JP 2012529228 A JP2012529228 A JP 2012529228A JP 2012514020 A JP2012514020 A JP 2012514020A JP 2012514020 A JP2012514020 A JP 2012514020A JP 2012529228 A JP2012529228 A JP 2012529228A
Authority
JP
Japan
Prior art keywords
channel signal
signal
center channel
processing
side channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012514020A
Other languages
English (en)
Other versions
JP5746156B2 (ja
Inventor
マーティン ウォルシュ
ウィリアム ポール スミス
ジャン−マルク ジョット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS Inc
Original Assignee
DTS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS Inc filed Critical DTS Inc
Publication of JP2012529228A publication Critical patent/JP2012529228A/ja
Application granted granted Critical
Publication of JP5746156B2 publication Critical patent/JP5746156B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

オーディオ信号を処理する方法及び装置を提供する。本発明の一態様により、少なくともセンターチャンネル信号と、右サイドチャンネル信号と、左サイドチャンネル信号とを有する少なくとも1つのオーディオ信号を受信する段階と、第1の仮想化プロセッサを用いて右及び左サイドチャンネル信号を処理し、それによって右仮想化チャンネル信号と左仮想化チャンネル信号とを作成する段階と、空間拡張器を用いてセンターチャンネル信号を処理して異なる右及び左出力を生成し、それによって疑似ステレオ効果を用いてセンターチャンネルを拡張する段階と、右及び左仮想化チャンネル信号と右及び左出力を合計し、少なくとも1つの修正サイドチャンネル出力を生成する段階と有するオーディオ信号を処理する方法が含まれる。
【選択図】図3

Description

〔関連出願への相互参照〕
本発明は、発明者Walsh他に付与された2009年6月1日出願の「スピーカ又はヘッドホン再生のための仮想3Dオーディオ処理」という名称の米国特許仮出願出願番号第61/217,562号明細書に対する優先権を請求するものである。米国特許仮出願出願番号第61/217,562号明細書は、これによって引用により本明細書に組み込まれる。
〔連邦政府委託の研究/開発に関する記載〕
適用せず
本発明は、オーディオ信号を処理することに関し、より具体的には、仮想チャンネル上でサウンドを再生するオーディオ信号を処理することに関する。
オーディオは、家庭用電化製品において充実した内容のマルチメディアの体験をもたらす際に重要な役割を果たす。無線接続性の成長と共に家庭用電化製品デバイスの拡張性及び移動性により、ユーザは、コンテンツに瞬時にアクセス可能である。図1aは、当業者によって十分に理解されたヘッドホン12又はスピーカ14での再生のための従来のオーディオ再生システム10を示している。
従来のオーディオ再生システム10は、CDプレーヤ、テレビチューナ、又は手持ち式メディアプレーヤなどのような様々なオーディオ又はオーディオ/ビデオソース18からデジタル又はアナログオーディオソース信号16を受信する。オーディオ再生システム10は、放送オーディオ及び/又はビデオ信号の選択、処理、及び経路指定に専用のホームシアター受信機又は自動車オーディオシステムとすることができる。代替的に、オーディオ再生システム10及び1つ又はいくつかのオーディオ信号ソースは、携帯型メディアプレーヤ、テレビ、又はラップトップコンピュータなどのような家庭用電化製品デバイスに共に組み込むことができる。
オーディオ出力信号20は、一般的に、スピーカシステム上の再生に向けて処理及び出力される。このような出力信号20は、ヘッドホン12又は1対のフロントスピーカ14に送られる2チャンネル信号又はサラウンドサウンド再生のための多チャンネル信号とすることができる。サラウンドサウンド再生に対して、オーディオ再生システム10は、引用により本明細書に組み込まれている「デジタル・シアター・システムズ・インコーポレーテッド(DTS)」に譲渡された米国特許第5,974,380号明細書に説明されているような多チャンネル復号器を含むことができる。他の一般的に用いられる多チャンネル復号器は、DTS−HD(登録商標)及びドルビー(登録商標)AC3を含む。
オーディオ再生システム10は、更に、アナログオーディオソース又はデジタルオーディオ入力インタフェースを接続するためのアナログ/デジタル変換器のような標準的な処理機器(図示せず)を含む。オーディオ再生システム10は、オーディオ信号を処理するデジタル信号プロセッサ、並びにデジタル/アナログ変換器及び処理後の出力信号を変換器(ヘッドホン12又はスピーカ14)に送られる電気信号に変換する信号増幅器を含むことができる。
一般的に、スピーカ14は、様々な用途により判断されるような様々な構成に配置することができる。スピーカ14は、図1aに示すような内蔵型スピーカとすることができる。代替的に、スピーカ14は、テレビ受像機、ラップトップコンピュータ、又は手持ち式ステレオなどのような家庭用電化製品の場合のように同じ装置内に組み込むことができる。図1bは、互いに平行に位置決めされた2つの収容式スピーカ24a、24bを有するラップトップコンピュータ22を示している。収容式スピーカは、α’によって示めされるように互いから狭い間隔で離間している。家庭用電化製品は、並んで又は上下のような様々な向きに配置された収容式スピーカ24a、24bを含むことができる。収容式スピーカ24a、24bの間隔及び寸法決定は、特定用途向けであり、従って、ケーシングのサイズ及び物理的制約に依存する。
技術的及び物理的な制約のために、多くの場合に、オーディオ再生は、このような装置において損なわれるか又は制限される。これは、スピーカが狭い間隔で離間している場合か、又はラップトップ、MP3プレーヤ、及び携帯電話などにおけるようにヘッドホンが再生サウンドに利用される物理的制約を有する電子デバイスにおいて特に明白である。一部のデバイスは、スピーカ間の物理的分離のために及びスピーカと聴取者の間のこれに対応して小さい角度のために制限される。このようなサウンドシステムにおいては、知覚されるサウンドステージの幅は、適切に離間したスピーカを有するシステムより劣ると聴取者によって一般的に知覚される。多くの場合に、製品設計者は、センター搭載式スピーカを含まないことにより、テレビの美観上のデザインから逸脱するのを慎む。この妥協は、会話及び対話がセンタースピーカに向けられるのでテレビの音質全体を制限する場合がある。
これらのオーディオ制約に対処するために、1対のヘッドホン又は1対のスピーカ上で2チャンネル又は多チャンネルオーディオ信号を再生するオーディオ処理方法が一般的に使用される。このような方法は、間隔の狭いスピーカを有する用途において、空間増強効果を強制してオーディオ再生を改善する段階を含む。
米国特許第5,671,287号明細書において、Gerzonは、「位相性」が低くかつ再生後の全エネルギ応答が実質的に平坦である疑似ステレオ又は指向性分散効果を開示している。疑似ステレオ効果は、含まれる不快かつ望ましくない自覚的効果が最小である。疑似ステレオ効果により、サウンドソースの角度広がりのサイズのような疑似ステレオ効果の様々なパラメータを制御する簡単な方法も得ることができる。
米国特許第6,370,256号明細書において、McGrathは、入力オーディオ信号に属し、かつ各々が所定の模擬サウンド到着を出力する一連の主成分フィルタと、各々が主成分フィルタの対応する1つに属し、かつフィルタ遅延出力を生成するように遅延入力に基づいて可変量だけフィルタの出力を遅延させる一連の遅延要素と、その一連の遅延要素に相互接続され、かつオーディオスピーカ出力信号を生成するためにフィルタ遅延出力を合計する合計手段と、現在方位信号入力を有し、かつ遅延入力を供給するようにその一連の遅延要素の各々に相互接続したヘッド追跡パラメータマッピングユニットとを含むヘッド追跡式聴取環境における入力オーディオ信号に対する「ヘッド関連伝達関数」を開示している。
米国特許第6、574、649号明細書において、McGrathは、空間増強のための効率的な畳み込み技術を開示している。時間領域出力は、低い処理電力を使用して様々な空間効果を入力信号に追加する。
従来の空間オーディオ増強効果は、それらが仮想スピーカから出力され、それによって頭部の外側の効果(ヘッドホン再生において)又はスピーカの域を超えたアーク効果(スピーカ再生において)を有するという知覚をもたらすようにオーディオ信号を処理することを含む。このような「仮想化」処理は、ラテラル(又は「ハード・パン式」)サウンドの殆どを含むオーディオ信号に特に有効である。しかし、オーディオ信号が、両方のスピーカからのセンター・パン式サウンド成分を含む時に、センター・パン式サウンド成分の知覚される位置は、スピーカの中心点に「固定された」ままである。このようなサウンドがヘッドホン上で再生される時に、それらは、多くの場合に高位置であると知覚され、かつ望ましくない「頭部内」オーディオ体験をもたらす場合がある。
仮想オーディオ効果は、2チャンネル又はステレオ信号に向けて積極的にミキシングされないオーディオマテリアルに対してはそれほど切実なものではない。この点に関して、センター・パン式成分は、ミキシングを支配し、従って、空間増強は最小になる。入力信号が完全にモノーラルである(左右のオーディオソースチャンネルにおいて同一)極端な場合には、空間増強アルゴリズムが有効にされた時に、空間効果は全く聞こえない。
これは、スピーカが聴取者の耳の高さ(水平聴取面)より下にあるシステムにおいて特に問題である。このような構成は、ラップトップコンピュータ又はモバイルデバイスに存在する。これらの事例において、オーディオミキシングの処理後のハード・パン式成分は、スピーカを超えてかつスピーカの平面の上方の高い位置に知覚される場合があり、一方、センター・パン式及び/又はモノーラルコンテンツは、本来のスピーカの間から出ていると知覚される。これは、非常に「分離した」再生ステレオ印象をもたらす。
米国特許第5,671,287号明細書 米国特許第6,370,256号明細書 米国特許第6、574、649号明細書
従って、オーディオ信号に空間効果をもたらすことに対する益々増大する関心及びその利用に鑑みて、仮想オーディオ処理の改善に対する必要性が当業技術に存在する。
本発明の一態様により、少なくともセンターチャンネル信号、右サイドチャンネル信号、及び左サイドチャンネル信号を有する少なくとも1つのオーディオ信号を受信する段階と、第1の仮想化プロセッサを用いて右及び左サイドチャンネル信号を処理し、それによって右仮想化チャンネル信号及び左仮想化チャンネル信号を作成する段階と、空間拡張器でセンターチャンネル信号を処理して異なる右及び左出力を生成し、それによって疑似ステレオ効果を用いてセンターチャンネルを拡張する段階と、右及び左仮想化チャンネル信号を有する右及び左出力を合計し、少なくとも1つの修正サイドチャンネル出力を生成する段階とを有するオーディオ信号を処理する方法が含まれる。
センターチャンネル信号は、左右の位相シフト出力信号を生成する左右の全域通過フィルタによってフィルタリングされる。右及び左サイドチャンネル信号は、第1の仮想化プロセッサを用いて処理され、右サイドチャンネル信号及び左サイドチャンネル信号のうちの少なくとも一方のための異なる知覚空間位置を作成する。代替的な実施形態では、空間拡張器を用いてセンターチャンネル信号を処理する段階は、センターチャンネル信号に遅延又は全域通過フィルタを適用し、それによって位相シフトセンターチャンネル信号を作成する段階を更に含む。次に、位相シフトセンターチャンネル信号は、センターチャンネル信号から減算され、右出力が生成される。次に、位相シフトセンターチャンネル信号は、センターチャンネル信号に加算され、左出力が生成される。代替的な実施形態では、空間拡張器は、空間拡張の知覚量を判断する少なくとも1つの係数に基づいてセンターチャンネル信号をスケーリングする。係数は、a2+b2=cが成り立つ乗数a及びbにより判断され、cは、所定の一定値に等しい。
本発明の第2の態様により、少なくとも右サイドチャンネル信号及び左サイドチャンネル信号を有する少なくとも1つのオーディオ信号を受信する段階と、右及び左サイドチャンネル信号を処理してセンターチャンネル信号を抽出する段階と、第1の仮想化プロセッサを用いて右及び左サイドチャンネル信号を更に処理し、それによって右仮想化チャンネル信号及び左仮想化チャンネル信号を作成する段階と、空間拡張器によりセンターチャンネル信号を処理して異なる右及び左出力を生成し、それによって疑似ステレオ効果を用いてセンターチャンネルを拡張する段階と、右及び左仮想化チャンネル信号を有する右及び左出力を合計し、少なくとも1つの修正サイドチャンネル出力を生成する段階とを含むオーディオ信号を処理する方法が含まれる。
第1の処理段階は、右及び左サイドチャンネル信号をフィルタリングし、各サブバンド信号が異なる周波数帯域に関連付けられた複数のサブバンドオーディオ信号にする段階と、サブバンドセンターチャンネル信号を各周波数帯域から抽出する段階と、抽出されたサブバンドセンターチャンネル信号を再結合してフルバンドセンターチャンネル出力信号を生成する段階とを含むことができる。第1の処理段階は、少なくとも1つのスケーリング係数を用いて右又は左サブバンドサイドチャンネル信号の少なくとも一方をスケーリングすることにより、サブバンドセンターチャンネル信号を抽出する段階を含むことができる。少なくとも1つのスケーリング係数は、右及び左サイドチャンネル信号間のチャンネル間類似度指数を評価することによって判断されるように考えられている。チャンネル間類似度指数は、右及び左サイドチャンネル信号に共通の信号成分のマグニチュードに関連する。
本発明の第3の態様により、少なくともセンターチャンネル信号、右サイドチャンネル信号、及び左サイドチャンネル信号を有する少なくとも1つのオーディオ信号と、右及び左サイドチャンネル信号を受信し、第1の仮想化プロセッサを用いて右及び左サイドチャンネル信号を処理し、それによって右仮想化チャンネル信号及び左仮想化チャンネル信号を作成するためのプロセッサと、センターチャンネル信号を受信し、センターチャンネル信号を処理して異なる右及び左出力信号を生成し、それによって疑似ステレオ効果を用いてセンターチャンネルを拡張するための空間拡張器と、右及び左仮想化チャンネル信号と右及び左出力信号を合計し、少なくとも1つの修正サイドチャンネル出力を生成するためのミキサーとを含むオーディオ信号処理装置を提供する。右及び左サイドチャンネル信号は、第1の仮想化プロセッサを用いて処理され、右サイドチャンネル信号及び左サイドチャンネル信号のうちの少なくとも一方のための異なる知覚空間位置を作成する。本発明は、添付図面に関連して読む場合に以下の詳細説明を参照することによって最も良く理解される。
本明細書で開示する様々な実施形態の上記及び他の特徴及び利点は、同様の数字が全体を通して同様の部分を指す以下の説明及び図面に関してより良好に理解されるであろう。
ヘッドホン又はスピーカ上の再生のための従来のオーディオ再生システムを示す概略図である。 狭い間隔で離間した2つの収容式スピーカを有するラップトップコンピュータを示す概略図である。 フロントの1対のスピーカ上の再生のための仮想オーディオ処理装置を示す概略図である。 3つの平行処理ブロック及びセンターチャンネル処理ブロックに含まれた空間拡張器を有する仮想オーディオ処理システムのブロック図である。 和及び差伝達関数及び2つの出力信号の発生を備えたHRTFフィルタを有するフロントチャンネル仮想化処理ブロックのブロック図である。 和及び差伝達関数及び2つの出力信号の発生を備えたHRTFフィルタを有するサラウンドチャンネル仮想化処理ブロックのブロック図である。 本発明の実施形態による空間拡張処理の聴覚効果を示す概略図である。 右全域通過フィルタ及び左全域通過フィルタによってフィルタリングされたセンターチャンネル信号を示す空間拡張処理ブロックのブロック図である。 遅延ユニットを含む全域通過フィルタのブロック図である。 遅延ユニットを有する空間拡張処理ブロックのブロック図である。 1つの全域通過フィルタを有する空間拡張処理ブロックのブロック図である。 センターチャンネル信号を左右のチャンネル信号から抽出するためのセンターチャンネル抽出ブロックを含む仮想オーディオ処理装置のブロック図である。 サブバンド解析を行うセンターチャンネル抽出処理ブロックのブロック図である。 同じ処理ブロック内に空間拡張及びチャンネル仮想化器を有する仮想オーディオ処理装置のブロック図である。
以下の説明では、多くの特定の詳細に対して説明する。しかし、本発明の実施形態は、これらの特定の詳細がなくても実施することができることが理解される。他の例において、公知の回路、構造、及び技術は、この説明の理解を不明瞭にしないために図示を割愛した。
本発明の一実施形態の要素は、ハードウエア、ファームウエア、ソフトウエア、又はそのいずれかの組合せによって実施することができる。ソフトウエアに実施される時に、本発明の実施形態の要素は、本質的に、必要なタスクを行うコードセグメントである。ソフトウエアは、本発明の一実施形態に説明する作業を実行する実際のコード、又は作業を模倣又は模擬するコードを含むことができる。プログラムセグメント又はコードセグメントは、プロセッサ又は機械アクセス可能媒体に格納するか、又は伝達媒体上で搬送波に具現化されたコンピュータデータ信号又は搬送波によって変調された信号により伝達することができる。「プロセッサ可読又はアクセス可能媒体」又は「機械可読又はアクセス可能媒体」には、情報を格納、伝達、又は転送することができるあらゆる媒体を含むことができる。プロセッサ可読媒体の例として、電子回路、固体メモリデバイス、読取専用メモリ(ROM)、フラッシュメモリ、消去可能ROM、フロッピーディスケット、CD−ROM、光ディスク、ハードディスク、光ファイバメディア、高周波(RF)リンクなどがある。コンピュータデータ信号は、電子ネットワークチャンネル、光ファイバ、空気、電磁気、RFリンクなどのような伝達媒体上で伝播することができるあらゆる信号を含むことができる。コードセグメントは、「インターネット」、「イントラネット」などのようなコンピュータネットワークを通じてダウンロードすることができる。
機械アクセス可能媒体は、製造物品に実施することができる。機械アクセス可能媒体は、機械によってアクセスされた時に、機械に以下に説明する作業を実行させるデータを含むことができる。「データ」という用語は、ここでは機械可読を目的として符号化されたあらゆるタイプの情報を指す。従って、それは、プログラム、コード、データ、ファイルなどを含むことができる。
本発明の実施形態の全て又は一部は、ソフトウエアによって実施することができる。ソフトウエアは、互いに結合されたいくつかのモジュールを有することができる。ソフトウエアモジュールは、のモジュールに結合されて変数、パラメータ、引数、ポインタなどを受信し、及び/又は結果、更新された変数、ポインタなどを生成するか又は転送する。ソフトウエアモジュールは、プラットフォーム上で稼動中であるオペレーティングシステムと相互作用するソフトウエアドライバ又はインタフェースとすることができる。ソフトウエアモジュールは、ハードウエアデバイスへの及びそこからのデータを構成し、設定し、初期化し、送信し、かつ受信するハードウエアドライバとすることができる。
本発明の一実施形態は、通常、フローチャート、フローダイアグラム、構造線図、又はブロック図として示される処理として説明することができる。ブロック図では、逐次処理として作業を説明することができるが、作業の多くは平行して又は同時に実行することができる。更に、作業の順序を再配置することができる。処理は、作業が完了した時に終了する。処理は、方法、プログラム、手順などに対応することができる。
図2は、本発明の一実施形態を実施することができる環境を示す概略図である。環境は、少なくとも1つのオーディオソース信号28を受信するように構成された仮想オーディオ処理装置26を含む。オーディオソース信号28は、モノラル信号又は2チャンネル信号(音楽トラック又はTV放送など)のようなあらゆるオーディオ信号とすることができる。2チャンネルオーディオ信号は、1対のフロントスピーカLF、RFでの再生のための2つのサイドチャンネル信号LF(t)、RF(t)を含む。代替的に、オーディオソース信号28は、多チャンネル信号(映画サウンドトラックなど)とすることができ、かつセンターチャンネル信号CF(t)及びサラウンドサウンドスピーカアレイでの再生のための4つのサイドチャンネル信号LS(t)、LF(t)、RF(t)、RS(t)を含むことができる。オーディオソース信号28が少なくとも左チャンネル信号LF(t)及び右チャンネル信号RF(t)を含むことが好ましい。
仮想オーディオ処理装置26は、オーディオソース信号28を処理し、スピーカ又はヘッドホン上の再生に向けてオーディオ出力信号30a、30bを生成する。オーディオソース信号28は、図1aに示す標準的な「5.1」スピーカレイアウトのようなLS(左サラウンド)、LF(左フロント)、CF(センターフロント)、RF(右フロント)、RS(右サラウンド)、SW(サブウーファ)と記載したスピーカで聴取者を取り囲むスピーカ14のアレイでの演奏のための多チャンネル信号とすることができる。標準的な「5.1」スピーカレイアウト14は、一例としてかつ制限なしに示されている。この点に関して、オーディオ出力信号30a、30bは、「m.n」として表されるあらゆるソース(又は「仮想」)スピーカレイアウトの模擬するように構成することができるように考えられており、ここで、mは、主(衛星)チャンネルの数であり、nは、サブウーファ(又は「低周波数増強」)チャンネルの数である。代替的に、オーディオ出力信号30a、30bは、1対のヘッドホン12上の再生に向けて処理することができる。
仮想オーディオ処理装置26は、デジタルオーディオ入力及び出力インタフェースに接続したデジタル信号プロセッサ、及び一時的な処理データ及び処理プログラム命令の格納のためのメモリストレージを含むことができる様々な従来の処理手段(図示せず)を有する。
オーディオ出力信号30a、30bは、それぞれL及びRと記載された1対のスピーカに誘導される。図2は、5チャンネルオーディオ入力信号のためのスピーカLS、LF、CF、RF、及びRSの意図する配置を示している。テレビ又はラップトップコンピュータのような多くの実際的な用途において、出力スピーカL及びRの物理的間隔は、LF及びRFスピーカの意図する間隔よりも狭い。この場合、仮想オーディオ処理装置26は、ステレオ拡張効果を生成するように設計される。ステレオ拡張効果により、オーディオ信号LF(t)及びRF(t)が位置LF及びRFに位置するスピーカの仮想対から発するという幻想が得られる。従って、音は、スピーカの意図する位置に位置決めされた仮想スピーカから発すると知覚される。仮想スピーカは、空間サウンドステージ上のあらゆる位置に位置決めすることができる。この点に関して、オーディオソース信号28は、あらゆる知覚される位置で仮想スピーカから発するように処理することができるように考えられている。
5チャンネルオーディオソース信号28に対して、仮想オーディオ処理装置26は、オーディオチャンネル信号CF(t)、LS(t)、及びRS(t)がそれぞれ位置CF、LS、及びRSに位置するスピーカから発するという知覚を生成する。同様に、オーディオチャンネル信号CF(t)、LF(t)、及びRF(t)は、位置CF、LF、及びRFにそれぞれ位置するスピーカから発すると知覚することができる。当業技術で公知のように、これらの幻想は、スピーカと耳の間の音響伝達関数又は「頭部関連伝達関数(HRTF)」の測定値又は近似値を考慮してオーディオ入力信号28に変換を適用することによって達成することができる。HRTFは、あらゆるサウンドソースから発せられる音に対して課せられ、かつ聴取者の頭部の回りの音響回折によるものとされる周波数依存の時間及び振幅差に関連する。いずれかの方向からの全てのソースにより、2つの関連のHRTF(各耳に1つ)が得られるように考えられている。殆どの3Dサウンドシステムは、ユーザのHRTFを使用することができないことに注意することが重要であり、殆どの場合、非個別化(一般化された)HRTFが使用される。通常、物理的又は音響心理学的な理論的な手法は、母集団の大きいセグメントに一般化可能である非個別化HRTFを導出するのに使用される。
同側HRTFは、ソースに最も近い耳に取られる経路を表し、対側HRTFは、一番遠い耳に取られる経路を表している。図2上に示すHRTFは、以下の通りである。
0:フロント左又は右物理的スピーカ位置の同側HRTF、
0c:フロント左又は右物理的スピーカ位置の対側HRTF、
Fi:フロント左又は右仮想スピーカ位置のための同側HRTF、
Fc:フロント左又は右仮想スピーカ位置のための対側HRTF、
Si:サラウンド左又は右仮想スピーカ位置のための同側HRTF、
Sc:サラウンド左又は右仮想スピーカ位置のための対側HRTF、
F:フロントセンター仮想スピーカ位置(2つの耳に対して同一)のためのHRTF。
仮想オーディオ処理装置は、聴取者の正面方向に対する物理的スピーカレイアウトと仮想スピーカレイアウトの対称関係を仮定する。対称関係を用いて、聴取者は、オーディオ印象が方向的に均衡が保たれるように、CFスピーカとの関係で線形軸線上に位置決めされる。頭部位置の僅かな変化があっても対称関係がくずれないように考えられている。対称関係を一例としてかつ制限でなく示している。この点に関して、当業者は、本発明は、スピーカがサウンドステージ上のあらゆる知覚された位置に位置決めされたあらゆる数の仮想スピーカを含む非対称仮想スピーカレイアウトに拡張することができることを理解するであろう。
本発明の例示的な実施形態では、意図する出力スピーカは、ヘッドホン12とすることができる。この場合、実際の出力スピーカL及びRは、聴取者の耳に位置決めされる。伝達関数H0は、ヘッドホン伝達関数であり、伝達関数H0cは、無視することができる。
図3をここで参照すると、仮想オーディオ処理装置26のブロック図が示されている。全体的な処理は、オーディオソース信号チャンネル28を処理する3つの平行処理ブロックに分解され、信号チャンネル28の信号チャンネル28出力信号は、最終出力信号L(t)、R(t)を計算するためにそれぞれ合計される。各オーディオソース信号28は、仮想化され、従って、各ソースチャンネル信号LF(t)、RF(t)、LS(t)、RS(t)、CF(t)が3D空間において異なる所定の位置に位置決めされているという幻想が発生する。しかし、意図する空間効果をもたらすために、サイドチャンネル信号LF(t)、RF(t)、LS(t)、RS(t)の1つだけを仮想化する必要がある。5.1チャンネルシステムのサラウンドスピーカの様々な仮想化技術が、当業技術で公知である。一部のシステムにおいて、5.1サラウンドミキシングのLS(t)及びRS(t)チャンネルは、両側でフロント(サラウンドスピーカの通常の位置)からほぼ110°に対応するHRTFを有する仮想ソースを作成するようにバイノーラル的に処理することができる。
フロントチャンネル仮想化処理ブロック34は、フロントチャンネルソースオーディオ信号対LF(t)、RF(t)を処理する。サラウンドチャンネル仮想化処理ブロック36は、サラウンドチャンネルソースオーディオ信号対LS(t)、RS(I)を処理する。センターチャンネル仮想化処理ブロック38は、センターチャンネルソースオーディオ信号CF(t)を処理する。
フロントスピーカ出力に対して、センターチャンネル仮想化処理ブロック38は、3dBの信号減衰を含むことができる。ヘッドホン出力に対して、センターチャンネル仮想化処理ブロック38は、伝達関数[HF/H0i]によって定められるフィルタをソース信号CF(t)に適用することができる。
図3a及び図3bをここで参照すると、フロントチャンネル仮想化処理ブロック34及びサラウンドチャンネル仮想化処理ブロック36の好ましい実施形態を示すブロック図が示されている。この実施形態は、聴取者のフロント方向に対する物理的及び仮想スピーカレイアウトの対称性を仮定している。ブロックHFSUM、HFDIFF、HSSUM、及びHSDIFFは、以下によってそれぞれ定められる伝達関数を有するフィルタを表している。
HFSUM=[HFi+HFc]/[H0i+H0c];
HFDIFF=[HFiFc]/[H0i0c];
HSSUM=[HSi+HSc]/[H0i+H0c];
HSDIFF=[HSiSc]/[H0i0c].
図3を再び参照すると、センターチャンネル仮想化ブロック38には、空間拡張処理ブロック40(又は、空間拡張器、以下でより詳細に説明)が続き、1チャンネルの入力信号CF(t)から2つの異なる出力信号(L及びR)を生成し、疑似ステレオ効果をもたらす。疑似ステレオ効果により、モノラル信号は、2チャンネル又は多チャンネル出力信号に変換され、従って、2チャンネル又は多チャンネルステージにわたってモノラル信号が広げられる。
フロントのスピーカ再生においては、得られる主観的な効果は、センターチャンネルオーディオ信号CF(t)が、図4に示すように、物理的スピーカの近くに位置する空間の拡張された領域から発するという感覚である。得られる信号CF(t)は、従って、広げられ、すなわち、分散され、それによってより自然なサウンド知覚が作成される。ヘッドホン再生においては、得られる主観的な効果は、センターチャンネルオーディオ信号の局在性のより自然な外在的な知覚である。この主観的な効果は、改善したフロントの「頭部からの」知覚であり、従って、ヘッドホン再生において一般的な欠点が緩和される。
図3において、センターチャンネル仮想化処理ブロック38は、単入力単出力フィルタであり、従って、最初に入力信号CF(t)に空間拡張処理を適用し、次に、空間拡張処理ブロックの2つの出力信号L及びRの各々に全く同様にセンターチャンネル仮想化処理を適用することによって図3の処理を修正することに同等であると考えられる。
図5aをここで参照すると、空間拡張処理ブロック40のブロック図が示されている。ソース信号CF(t)は、左出力信号及び右出力信号L、Rに分割され、左出力信号及び右出力信号L、Rは、異なる全域通過フィルタAPFL及びAPFRによって処理される。全域通過フィルタは、全ての周波数を等しく伝える電子フィルタであるが、様々な周波数間の位相関係を修正する。従って、全域通過フィルタは、信号に周波数依存の位相シフトを提供し、及び/又は周波数で伝播遅延を修正することができる。全域通過フィルタは、一般的に処理において生じる他の不要な位相シフトを補正するか、又はノッチ櫛形フィルタを実行するために元の信号のシフトなしバージョンとのミキシングを補正するのに使用される。それらはまた、混合位相フィルタを同等マグニチュードの応答を有する最小位相フィルタに、又は不安定フィルタを同等マグニチュードの応答を有する安定フィルタに変換するのに使用される。
図5bをここで参照すると、全域通過フィルタ処理ブロックAPFの実施形態のブロック図が示されている。全域通過フィルタAPFは、センターチャンネル信号CF(t)に時間遅延を導入するZ-Nとして示される遅延ユニット42を含む。デジタル遅延長Nは、サンプルで表され、gは、そのマグニチュードが|g|<1.0であるような正又は負ループ利得を示している。空間拡張処理ブロック40は、各全域通過フィルタAPFについて異なるデジタル遅延長Nを含み、3と5msの間の遅延時間持続時間であることが好ましい。しかし、時間持続時間のこの範囲は、時間持続時間を様々なパラメータによって判断することができるので制限的であるように意図しているものではない。
図5cをここで参照すると、代替的な実施形態による空間拡張処理ブロック40のブロック図が示されている。この実施形態では、空間拡張処理ブロック40のL及びR出力信号間の差は、オーディオソース信号CF(t)にそれ自体の遅延コピーをそれぞれ加算及び減算することによって生成される。コピーされたCF(t)信号が2と4msの間のデジタル遅延長を有する時間遅延を含むことが好ましい。特定のデジタル遅延長Nに対して、空間拡張の程度は、スケーリング係数a及びbによって判断される。スケーリング係数は、比率a/bを有する乗数によって生成される。比率a/bは[0.0、1.0]内に含まれることが好ましい。出力信号L及びRの全電力は、規則a2+b2=cを課すことによって入力信号CF(t)の全電力に適合するように抑制することができる。cは、所定の一定値に等しいように考えられている。cが約0.5に等しいことが好ましい。
図5dをここで参照すると、代替的な実施形態による空間拡張処理ブロック40のブロック図が示されている。図5cの処理ブロックは、遅延ユニット42を全域通過フィルタAPFと入れ替えることによって修正される。遅延又は全域通過フィルタは、CF(t)に適用され、従って、位相シフトセンターチャンネル信号が作成される。位相シフトセンターチャンネル信号は、センターチャンネル信号から減算され、右出力が生成される。次に、位相シフトセンターチャンネル信号は、センターチャンネル信号に加算され、左出力が生成される。空間拡張処理ブロック40の変形は、APFを別の単入力単出力全域通過ネットワークと入れ替えることによって達成することができる。単入力単出力全域通過ネットワークを構成する代替方法は、図5a又は図5dに説明する空間拡張ブロックの実施形態において適用することができる。これらの方法は、複数の多重単入力単出力全域通過ネットワークをカスケード接続する段階、及び/又は全域通過ネットワークフィルタ内のあらゆる遅延ユニットを別の全域通過ネットワークと入れ替えるか又はカスケード接続する段階を含む。
図6をここで参照すると、装置26内に含まれたフロントチャンネル及びセンターチャンネル仮想化処理の別の実施形態が示されている。この実施形態は、オーディオソース信号28が個別のセンターチャンネル信号CF(t)を含まない時に好ましい。センターチャンネル抽出処理ブロック44は、フロントチャンネル仮想化処理ブロック34の前に挿入される。センターチャンネル抽出処理ブロック44は、LF(t)、RF(t)のように示されたフロントチャンネル信号対を受信して3つの信号LF’、RF’及びCF’を出力する。オーディオ信号CF’は、元の右及び左入力信号LF及びRFに共通である(又は「センター・パン式」)オーディオ信号成分を含む抽出されたセンターチャンネルオーディオ信号である。オーディオ信号LF’は、元の2チャンネル入力信号(LF、RF)内の左寄りに局在化された(すなわち、「パン式」)オーディオ信号成分を含む。同様に、オーディオ信号RF’は、入力信号(LF、RF)内の右寄りに局在化された(又は「パン式」)オーディオ信号成分を含む。3つの信号LF’、RF’及びCF’は、次に、図3の仮想オーディオ処理装置26の場合と同じ方法で処理される。任意的に、抽出されたセンターチャンネル信号CF’は、同じ仮想オーディオ処理装置26を元のセンターチャンネル信号を含む多チャンネル入力信号を処理するために使用することができるように、付加的に個別のセンターチャンネル入力信号CF(t)と組み合わせることができる。
図7をここで参照すると、センターチャンネル抽出処理ブロック44の実施形態のブロック図が示されている。オーディオソースチャンネル信号LF(t)及びRF(t)は、異なる周波数帯域と関連の複数のサブバンドオーディオ信号に信号を分解する任意的なサブバンド解析ステージ46a、46bにより処理される。これらのサブバンド解析ステージ46a、46bを含む実施形態では、センターチャンネル抽出処理は、各周波数帯域に対して別々に実行され、3つの出力チャンネルLF(t)、RF(t)、及びCF(t)の各々に対応するサブバンド出力信号をフルバンドオーディオ信号LF、RF、及びCFに再結合する合成ブロックを任意的に供給することができる。一実施形態では、センターチャンネル抽出処理は、
LF’=kL*LF;RF’=kR*RF;CF’=kC*(LF+RF);
によって実行される。
Lは、LF’信号のスケーリング係数を表し、kRは、RF’信号のスケーリング係数を表し、kCは、CF’信号のスケーリング係数を表している。一実施形態では、スケーリング係数kL、kR、及びkCは、連続的に入力チャンネル間のチャンネル間類似性Mの程度を評価し、チャンネル間類似性が高い時にkCの値を上げ、チャンネル間類似性が低い時にkCの値を下げる適応優位性検出器ブロック48により適応的に計算される。同時に、適応優位性検出器ブロックは、チャンネル間類似性が高い時にkL及びkRの値を下げ、チャンネル間類似性が低い時にこれらの値を上げる。本発明の一実施形態では、チャンネル間の類似度指数Mは、
M=log[|LF+RF|2/|LFRF|2
より定められる。
図8をここで参照すると、代替的な実施形態による仮想オーディオ処理ブロック260のブロック図が示されている。空間拡張処理ブロック40及び図3aのフロントチャンネル仮想化処理ブロック34は、単一の処理ブロックに組み合わされる。空間拡張処理は、オーディオソースチャンネル信号LF(t)及びRF(t)の和から導出されるフィルタHFSUMの出力に適用される。遅延又は全域通過フィルタは、CF(t)に適用され、従って、位相シフトセンターチャンネル信号が作成される。位相シフトセンターチャンネル信号は、センターチャンネル信号から減算され、右出力が生成される。次に、位相シフトセンターチャンネル信号は、センターチャンネル信号に加算され、左出力が生成される。右及び左サイドチャンネル信号の差は、フィルタリングされた差信号を発生させるためにHF(DIFF)によって処理される。フィルタリングされた差信号は、位相シフトセンターチャンネル信号と合計される。任意的な適応優位性検出器48は、チャンネル間類似度指数Mに従って連続的に空間拡張の程度を調節する。任意的に、図7の場合と同様に、入力信号LF(t)及びRF(t)は、サブバンド解析ブロック(図8では図示せず)によって前処理することができ、出力信号L及びRは、フルバンド信号にサブバンド信号を再結合するために合成ブロックにより後処理することができる。
本明細書に示す詳細は、一例としてかつ本発明の実施形態を例示的に説明することを目的とするにすぎず、本発明の原理及び概念上の特徴の最も有用かつ容易に理解される説明であると思われるものを提供するために呈示している。この点に関して、本発明の基本的な理解に必要である以上に詳細に本発明の詳細を示しておらず、図面と共に行った説明は、いくつかの形態の本発明を実際に具現化することができる方法を当業者に明らかにするものである。
26 仮想オーディオ処理装置
28 オーディオソース信号チャンネル
34 フロントチャンネル仮想化処理ブロック
40 空間拡張処理ブロック
LF(t)、RF(t)、LS(t)、RS(t) サイドチャンネル信号

Claims (28)

  1. オーディオ信号を処理する方法であって、
    少なくともセンターチャンネル信号と、右サイドチャンネル信号と、左サイドチャンネル信号とを有する少なくとも1つのオーディオ信号を受信する段階と、
    第1の仮想化プロセッサを用いて前記右及び左サイドチャンネル信号を処理し、それによって右仮想化チャンネル信号及び左仮想化チャンネル信号を作成する段階と、
    空間拡張器を用いて前記センターチャンネル信号を処理して異なる右及び左出力を生成し、それによって疑似ステレオ効果を用いてセンターチャンネルを拡張する段階と、
    前記右及び左仮想化チャンネル信号と前記右及び左出力を合計し、少なくとも1つの修正サイドチャンネル出力を生成する段階と、
    を含むことを特徴とする方法。
  2. 空間拡張器を用いて前記センターチャンネル信号を処理する前記段階は、
    右全域通過フィルタを用いて前記センターチャンネル信号を処理し、右位相シフト出力信号を生成する段階、
    を含む、
    ことを特徴とする請求項1に記載の方法。
  3. 空間拡張器を用いて前記センターチャンネル信号を処理する前記段階は、
    左全域通過フィルタを用いて前記センターチャンネル信号を処理し、左位相シフト出力信号を生成する段階、
    を含む、
    ことを特徴とする請求項1に記載の方法。
  4. 前記第1の仮想化プロセッサを用いて前記右及び左サイドチャンネル信号を処理する段階は、該右サイドチャンネル信号及び左サイドチャンネル信号の少なくとも一方のための異なる知覚空間位置を作成することを特徴とする請求項1に記載の方法。
  5. 空間拡張器を用いて前記センターチャンネル信号を処理する前記段階は、
    前記センターチャンネル信号に遅延又は全域通過フィルタを適用し、それによって位相シフトセンターチャンネル信号を作成する段階と、
    前記位相シフトセンターチャンネル信号を前記センターチャンネル信号から減算して前記右出力を生成する段階と、
    前記センターチャンネル信号に前記位相シフトセンターチャンネル信号を加算して前記左出力を生成する段階と、
    を含む、
    ことを特徴とする請求項1に記載の方法。
  6. 空間拡張器を用いて前記センターチャンネル信号を処理する前記段階は、空間拡張の知覚される量を判断する少なくとも1つの係数に基づいて該センターチャンネル信号をスケーリングする段階を更に含むことを特徴とする請求項5に記載の方法。
  7. 前記少なくとも1つの係数は、
    2+b2=c
    が成り立つ乗数a及びbによって判断され、
    cは、所定の一定値に等しい、
    ことを特徴とする請求項6に記載の方法。
  8. 前記所定の一定値は、0.5であることを特徴とする請求項7に記載の方法。
  9. 前記少なくとも1つのオーディオ信号は、右サラウンドサイドチャンネル信号及び左サラウンドサイドチャンネル信号を更に含むことを特徴とする請求項1に記載の方法。
  10. 前記右及び左サラウンドサイドチャンネル信号は、第2の仮想化プロセッサによって処理され、それによって右サラウンド仮想化チャンネル信号及び左サラウンド仮想化チャンネル信号を作成することを特徴とする請求項9に記載の方法。
  11. 前記右及び左サラウンド仮想化チャンネル信号と前記右及び左出力を合計し、少なくとも1つの修正サイドチャンネル出力を生成する段階、
    を更に含むことを特徴とする請求項10に記載の方法。
  12. 前記仮想化プロセッサは、H(SUM)として表される第1のHRTFフィルタ及びH(DIFF)として表される第2のHRTFフィルタを含み、
    (SUM)及びH(DIFF)は、以下の伝達関数:
    (SUM)=[Hi+Hc]/[H0i+H0c
    (DIFF)=[Hi−Hc]/[H0i−H0c
    を含み、ここで、Hiは、左又は右仮想スピーカ位置の同側HRTFであり、Hcは、該左又は右仮想スピーカ位置に対する対側HRTFであり、H0iは、左又は右物理的スピーカ位置に対する同側HRTFであり、H0cは、該左又は右物理的スピーカ位置に対する対側HRTFである、
    ことを特徴とする請求項1に記載の方法。
  13. オーディオ信号を処理する方法であって、
    少なくとも右サイドチャンネル信号と、左サイドチャンネル信号とを有する少なくとも1つのオーディオ信号を受信する段階と、
    前記右及び左サイドチャンネル信号を処理してセンターチャンネル信号を抽出する段階と、
    第1の仮想化プロセッサを用いて前記右及び左サイドチャンネル信号を更に処理し、それによって右仮想化チャンネル信号及び左仮想化チャンネル信号を作成する段階と、
    空間拡張器を用いて前記センターチャンネル信号を処理して異なる右及び左出力を生成し、それによって疑似ステレオ効果を用いてセンターチャンネルを拡張する段階と、
    前記右及び左仮想化チャンネル信号と前記右及び左出力を合計し、少なくとも1つの修正サイドチャンネル出力を生成する段階と、
    を含むことを特徴とする方法。
  14. 前記第1の処理段階は、
    前記右及び左サイドチャンネル信号をフィルタリングし、異なる周波数帯域に関連付けられた複数のサブバンドオーディオ信号にする段階と、
    少なくとも1つの周波数帯域においてサブバンドセンターチャンネル信号を抽出する段階と、
    前記サブバンドセンターチャンネル信号を再結合してフルバンドセンターチャンネル信号を生成する段階と、
    を含む、
    ことを特徴とする請求項13に記載の方法。
  15. 前記第1の処理段階は、
    少なくとも1つのスケーリング係数を用いて前記右又は左サイドチャンネル信号の少なくとも一方をスケーリングする段階、
    を含む、
    ことを特徴とする請求項13に記載の方法。
  16. 前記少なくとも1つのスケーリング係数は、前記右及び左サイドチャンネル信号間のチャンネル間類似度指数を連続的に評価することによって判断され、
    前記チャンネル間類似度指数は、前記右及び左サイドチャンネル信号に共通の信号成分のマグニチュードに関連する、
    ことを特徴とする請求項15に記載の方法。
  17. 前記チャンネル間類似度指数は、前記右及び左サイドチャンネル信号の和及び差の電力を比較することによって判断されることを特徴とする請求項16に記載の方法。
  18. 前記第1の仮想化プロセッサは、H(SUM)として表される第1のHRTFフィルタ及びH(DIFF)として表される第2のHRTFフィルタを含み、
    (SUM)及びH(DIFF)は、以下の伝達関数:
    (SUM)=[Hi+Hc]/[H0i+H0c
    (DIFF)=[Hi−Hc]/[H0i−H0c
    を含み、ここで、Hiは、左又は右仮想スピーカ位置の同側HRTFであり、Hcは、該左又は右仮想スピーカ位置に対する対側HRTFであり、H0iは、左又は右物理的スピーカ位置に対する同側HRTFであり、H0cは、該左又は右物理的スピーカ位置に対する対側HRTFである、
    ことを特徴とする請求項13に記載の方法。
  19. (SUM)を用いて前記右及び左サイドチャンネル信号の和を処理し、前記センターチャンネル信号を生成する段階、
    を含むことを特徴とする請求項18に記載の方法。
  20. 空間拡張器を用いて前記センターチャンネル信号を処理する前記段階は、
    前記センターチャンネル信号に遅延又は全域通過フィルタを適用し、それによって位相シフトセンターチャンネル信号を作成する段階と、
    前記位相シフトセンターチャンネル信号を前記センターチャンネル信号から減算して前記右出力を生成する段階と、
    前記センターチャンネル信号に前記位相シフトセンターチャンネル信号を加算して前記左出力を生成する段階と、
    を含む、
    ことを特徴とする請求項13に記載の方法。
  21. 前記センターチャンネル信号に遅延又は全域通過フィルタを適用し、それによって位相シフトセンターチャンネル信号を作成する段階と、
    前記位相シフトセンターチャンネル信号を前記センターチャンネル信号から減算して前記右出力を生成する段階と、
    前記センターチャンネル信号に前記位相シフトセンターチャンネル信号を加算して前記左出力を生成する段階と、
    (DIFF)を用いて前記右及び左サイドチャンネル信号の差を処理し、フィルタリングされた差信号を生成する段階と、
    前記フィルタリングされた差信号と前記位相シフトセンターチャンネル信号を合計する段階と、
    を更に含むことを特徴とする請求項18に記載の方法。
  22. 前記伝達関数H0iは、ヘッドホン伝達関数であり、前記伝達関数H0cは、実質的にゼロであることを特徴とする請求項18に記載の方法。
  23. 空間拡張の知覚される量を判断する少なくとも1つの係数に基づいて前記センターチャンネル信号をスケーリングする段階を含むことを特徴とする請求項20に記載の方法。
  24. 前記センターチャンネル信号の振幅が、前記右及び左サイドチャンネル信号間のチャンネル間類似度指数に基づくスケーリング係数によって連続的に調節され、
    前記類似度指数は、前記右及び左サイドチャンネル信号に共通の信号成分のマグニチュードに関連する、
    ことを特徴とする請求項20に記載の方法。
  25. 前記合計する段階は、ヘッドホン上の再生のための少なくとも2つの修正サイドチャンネル出力信号を生成することを特徴とする請求項1又は請求項13に記載の方法。
  26. 少なくともセンターチャンネル信号と、右サイドチャンネル信号と、左サイドチャンネル信号とを有する少なくとも1つのオーディオ信号と、
    前記右及び左サイドチャンネル信号を受信するためのプロセッサであって、該プロセッサが、第1の仮想化プロセッサを用いて該右及び左サイドチャンネル信号を処理し、それによって右仮想化チャンネル信号及び左仮想化チャンネル信号を作成する前記プロセッサと、
    前記センターチャンネル信号を受信するための空間拡張器であって、該空間拡張器が、該センターチャンネル信号を処理して異なる右及び左出力信号を生成し、それによって疑似ステレオ効果を用いてセンターチャンネルを拡張する前記空間拡張器と、
    前記右及び左仮想化チャンネル信号と前記右及び左出力信号を合計し、少なくとも1つの修正サイドチャンネル出力を生成するためのミキサーと、
    を含むことを特徴とするオーディオ信号処理装置。
  27. 前記第1の仮想化プロセッサを用いた前記右及び左サイドチャンネル信号の処理は、該右サイドチャンネル信号及び左サイドチャンネル信号の少なくとも一方のための異なる知覚空間位置を作成することを特徴とする請求項26に記載のオーディオ信号処理装置。
  28. 前記オーディオ信号は、右サラウンドサイドチャンネル信号及び左サラウンドサイドチャンネル信号を含むことを特徴とする請求項26に記載のオーディオ信号処理装置。
JP2012514020A 2009-06-01 2010-05-28 スピーカ又はヘッドホン再生のための仮想オーディオ処理 Expired - Fee Related JP5746156B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US21756209P 2009-06-01 2009-06-01
US61/217,562 2009-06-01
US12/762,915 2010-04-19
US12/762,915 US8000485B2 (en) 2009-06-01 2010-04-19 Virtual audio processing for loudspeaker or headphone playback
PCT/US2010/036683 WO2010141371A1 (en) 2009-06-01 2010-05-28 Virtual audio processing for loudspeaker or headphone playback

Publications (2)

Publication Number Publication Date
JP2012529228A true JP2012529228A (ja) 2012-11-15
JP5746156B2 JP5746156B2 (ja) 2015-07-08

Family

ID=43220244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012514020A Expired - Fee Related JP5746156B2 (ja) 2009-06-01 2010-05-28 スピーカ又はヘッドホン再生のための仮想オーディオ処理

Country Status (11)

Country Link
US (1) US8000485B2 (ja)
EP (1) EP2438530B1 (ja)
JP (1) JP5746156B2 (ja)
KR (1) KR101639099B1 (ja)
CN (1) CN102597987B (ja)
BR (1) BRPI1011868A2 (ja)
CA (1) CA2763160C (ja)
HK (1) HK1173250A1 (ja)
SG (1) SG176280A1 (ja)
TW (1) TWI489887B (ja)
WO (1) WO2010141371A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019518373A (ja) * 2016-05-06 2019-06-27 ディーティーエス・インコーポレイテッドDTS,Inc. 没入型オーディオ再生システム
JP2020510341A (ja) * 2017-03-08 2020-04-02 ディーティーエス・インコーポレイテッドDTS,Inc. 分散オーディオ仮想化システム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122385A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122387A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
WO2013122386A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
US9510124B2 (en) * 2012-03-14 2016-11-29 Harman International Industries, Incorporated Parametric binaural headphone rendering
US9264838B2 (en) 2012-12-27 2016-02-16 Dts, Inc. System and method for variable decorrelation of audio signals
US9258664B2 (en) * 2013-05-23 2016-02-09 Comhear, Inc. Headphone audio enhancement system
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
DE202014010599U1 (de) * 2014-01-05 2016-02-02 Kronoton Gmbh Gerät mit Lautsprechern
MX357405B (es) * 2014-03-24 2018-07-09 Samsung Electronics Co Ltd Metodo y aparato de reproduccion de señal acustica y medio de grabacion susceptible de ser leido en computadora.
US10089785B2 (en) 2014-07-25 2018-10-02 mindHIVE Inc. Real-time immersive mediated reality experiences
US20170257721A1 (en) * 2014-09-12 2017-09-07 Sony Semiconductor Solutions Corporation Audio processing device and method
CN104284271B (zh) * 2014-09-18 2018-05-15 国光电器股份有限公司 一种用于扬声器阵列的环绕声增强方法
US10063989B2 (en) * 2014-11-11 2018-08-28 Google Llc Virtual sound systems and methods
WO2016091332A1 (en) * 2014-12-12 2016-06-16 Huawei Technologies Co., Ltd. A signal processing apparatus for enhancing a voice component within a multi-channel audio signal
CN105142094B (zh) * 2015-09-16 2018-07-13 华为技术有限公司 一种音频信号的处理方法和装置
US10397730B2 (en) 2016-02-03 2019-08-27 Global Delight Technologies Pvt. Ltd. Methods and systems for providing virtual surround sound on headphones
EP3852394A1 (en) 2016-06-21 2021-07-21 Dolby Laboratories Licensing Corporation Headtracking for pre-rendered binaural audio
KR20200063151A (ko) 2017-09-01 2020-06-04 디티에스, 인코포레이티드 가상화된 오디오를 위한 스윗 스팟 어뎁테이션
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
CN108156561B (zh) * 2017-12-26 2020-08-04 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN116781827A (zh) 2018-02-15 2023-09-19 奇跃公司 混合现实虚拟混响
US10764704B2 (en) * 2018-03-22 2020-09-01 Boomcloud 360, Inc. Multi-channel subband spatial processing for loudspeakers
JP2021525980A (ja) 2018-05-30 2021-09-27 マジック リープ, インコーポレイテッドMagic Leap,Inc. フィルタパラメータに関するインデックススキーミング
US10602292B2 (en) 2018-06-14 2020-03-24 Magic Leap, Inc. Methods and systems for audio signal filtering
KR102531634B1 (ko) * 2018-08-10 2023-05-11 삼성전자주식회사 오디오 장치 및 그 제어방법
CN114205730A (zh) * 2018-08-20 2022-03-18 华为技术有限公司 音频处理方法和装置
FR3091636B1 (fr) * 2019-01-04 2020-12-11 Parrot Faurecia Automotive Sas Procédé de traitement d’un signal audio multicanal
EP4049466A4 (en) 2019-10-25 2022-12-28 Magic Leap, Inc. REVERBER FOOTPRINT ESTIMATION
US11445320B1 (en) * 2021-06-28 2022-09-13 Sennheiser Electronic Gmbh & Co. Kg Device for processing multi-channel audio signals, method for processing multi-channel audio signals, and computer-readable storage medium
WO2023122547A1 (en) * 2021-12-20 2023-06-29 Dolby Laboratories Licensing Corporation A method of processing audio for playback of immersive audio

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005414A (ja) * 2004-06-15 2006-01-05 Mitsubishi Electric Corp 擬似ステレオ信号生成装置および擬似ステレオ信号生成プログラム
WO2007106324A1 (en) * 2006-03-13 2007-09-20 Dolby Laboratories Licensing Corporation Rendering center channel audio
JP2007531913A (ja) * 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネル・エンコーダ
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
JP2009520419A (ja) * 2005-12-20 2009-05-21 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 2つの入力チャンネルを使用して3つの出力チャンネルを合成させる装置および方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69322920T2 (de) * 1992-10-15 1999-07-29 Koninkl Philips Electronics Nv System zur Ableitung eines Mittelkanalsignals aus einem Stereotonsignal
US6590983B1 (en) * 1998-10-13 2003-07-08 Srs Labs, Inc. Apparatus and method for synthesizing pseudo-stereophonic outputs from a monophonic input
US6442277B1 (en) * 1998-12-22 2002-08-27 Texas Instruments Incorporated Method and apparatus for loudspeaker presentation for positional 3D sound
US6928169B1 (en) * 1998-12-24 2005-08-09 Bose Corporation Audio signal processing
US7676047B2 (en) * 2002-12-03 2010-03-09 Bose Corporation Electroacoustical transducing with low frequency augmenting devices
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
EP1689719A1 (en) 2003-11-25 2006-08-16 Eli Lilly And Company 7-phenyl-isoquinoline-5-sulfonylamino derivatives as inhibitors of akt (proteinkinase b)
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
KR101177677B1 (ko) * 2004-10-28 2012-08-27 디티에스 워싱턴, 엘엘씨 오디오 공간 환경 엔진
AU2006232361B2 (en) * 2005-04-01 2010-12-23 Qualcomm Incorporated Methods and apparatus for encoding and decoding an highband portion of a speech signal
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
KR100644717B1 (ko) * 2005-12-22 2006-11-10 삼성전자주식회사 다채널 오디오 신호 생성 장치 및 그 방법
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US8712061B2 (en) * 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US8488796B2 (en) * 2006-08-08 2013-07-16 Creative Technology Ltd 3D audio renderer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531913A (ja) * 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネル・エンコーダ
JP2006005414A (ja) * 2004-06-15 2006-01-05 Mitsubishi Electric Corp 擬似ステレオ信号生成装置および擬似ステレオ信号生成プログラム
JP2009520419A (ja) * 2005-12-20 2009-05-21 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 2つの入力チャンネルを使用して3つの出力チャンネルを合成させる装置および方法
WO2007106324A1 (en) * 2006-03-13 2007-09-20 Dolby Laboratories Licensing Corporation Rendering center channel audio
JP2009530909A (ja) * 2006-03-13 2009-08-27 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 中央チャンネルオーディオのレンダリング
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019518373A (ja) * 2016-05-06 2019-06-27 ディーティーエス・インコーポレイテッドDTS,Inc. 没入型オーディオ再生システム
JP7502377B2 (ja) 2016-05-06 2024-06-18 ディーティーエス・インコーポレイテッド 没入型オーディオ再生システム
JP2020510341A (ja) * 2017-03-08 2020-04-02 ディーティーエス・インコーポレイテッドDTS,Inc. 分散オーディオ仮想化システム
JP7206211B2 (ja) 2017-03-08 2023-01-17 ディーティーエス・インコーポレイテッド 分散オーディオ仮想化システム

Also Published As

Publication number Publication date
EP2438530A1 (en) 2012-04-11
TWI489887B (zh) 2015-06-21
WO2010141371A1 (en) 2010-12-09
JP5746156B2 (ja) 2015-07-08
CA2763160C (en) 2016-02-23
US20100303246A1 (en) 2010-12-02
EP2438530A4 (en) 2016-12-07
CA2763160A1 (en) 2010-12-09
US8000485B2 (en) 2011-08-16
KR20120036303A (ko) 2012-04-17
HK1173250A1 (en) 2013-05-10
EP2438530B1 (en) 2018-04-04
BRPI1011868A2 (pt) 2017-05-16
KR101639099B1 (ko) 2016-07-12
CN102597987B (zh) 2015-06-17
TW201119420A (en) 2011-06-01
SG176280A1 (en) 2012-01-30
CN102597987A (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
JP5746156B2 (ja) スピーカ又はヘッドホン再生のための仮想オーディオ処理
US10299056B2 (en) Spatial audio enhancement processing method and apparatus
CA2423893C (en) Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio
KR102380231B1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2012042905A1 (ja) 音響再生装置および音響再生方法
US20060008100A1 (en) Apparatus and method for producing 3D sound
JP2006033847A (ja) 最適な仮想音源を提供する音響再生装置及び音響再生方法
US8027494B2 (en) Acoustic image creation system and program therefor
US20140219458A1 (en) Audio signal reproduction device and audio signal reproduction method
US11388538B2 (en) Signal processing device, signal processing method, and program for stabilizing localization of a sound image in a center direction
US7065218B2 (en) Method of generating a left modified and a right modified audio signal for a stereo system
JP7332745B2 (ja) 音声処理方法及び音声処理装置
US20240056735A1 (en) Stereo headphone psychoacoustic sound localization system and method for reconstructing stereo psychoacoustic sound signals using same
Jot et al. Center-Channel Processing in Virtual 3-D Audio Reproduction over Headphones or Loudspeakers
CN115278506A (zh) 音频处理方法以及音频处理装置
Aarts Applications of DSP for sound reproduction improvement
KR20080097564A (ko) 2채널 음향신호의 스테레오 효과를 보강하기 위한 입체음향출력장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140604

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140904

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150507

R150 Certificate of patent or registration of utility model

Ref document number: 5746156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees