JP2019508964A - ヘッドフォン上でバーチャルサラウンドサウンドを提供する方法及びシステム - Google Patents
ヘッドフォン上でバーチャルサラウンドサウンドを提供する方法及びシステム Download PDFInfo
- Publication number
- JP2019508964A JP2019508964A JP2018541276A JP2018541276A JP2019508964A JP 2019508964 A JP2019508964 A JP 2019508964A JP 2018541276 A JP2018541276 A JP 2018541276A JP 2018541276 A JP2018541276 A JP 2018541276A JP 2019508964 A JP2019508964 A JP 2019508964A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- filter
- audio input
- headphones
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000000694 effects Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims 8
- 238000001678 elastic recoil detection analysis Methods 0.000 claims 4
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 6
- 238000012546 transfer Methods 0.000 abstract description 3
- 210000004556 brain Anatomy 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 4
- 101001038970 Apis mellifera Larval-specific very high density lipoprotein Proteins 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 101001060519 Pacifastacus leniusculus Fibrinogen Proteins 0.000 description 2
- 241000405217 Viola <butterfly> Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本方法及び本システムは、オーディオ入力を用いてヘッドフォン上でバーチャルサラウンドサウンドを提供する。本明細書の実施形態は、サウンド処理に関し、より具体的にはヘッドフォンでのサラウンドサウンドの提供に関する。本明細書の実施形態は、頭部伝達関数(HRTF)フィルター及び他のオーディオ処理フィルターを用いてオーディオを処理して、3D空間内の複数のスピーカーをエミュレートすることによってヘッドフォン上でサラウンドサウンドをシミュレートするための方法及びシステムを開示し、ヘッドフォンへの入力はステレオ入力である。
【選択図】図3
【選択図】図3
Description
本出願は、2017年2月3日に出願されたインド国特許仮出願第201641003902号の利益に基づき、これを主張し、その内容が参照により本明細書に組み込まれる。
本明細書の実施形態は、サウンド処理に関し、より具体的には、ヘッドフォンでのサラウンドサウンドの提供に関する。
人間の聴覚はバイノーラルであり、これは、人間が両耳を使って1つ以上の音源からの音を聞くことを意味する。人間の耳のどちらかによって受け取られる音は、タイミング、強度、及び周波数が変化する。音源の位置を特定する人間の脳は、人間の耳が受け取る音におけるこうした変化を利用している。(フロントレフト、フロントセンター、フロントライト、サラウンドレフト、サラウンドライト、及び低周波効果(LFE)などの)複数のスピーカーを用いて、聴取者の周囲に360°の音場を生成するサラウンドサウンドソリューションがある。
しかし、ヘッドフォンの場合、聴取者は、通常、ステレオサウンドをステレオフォーマットで聴取するだけである。これにより、ユーザは、サラウンドシステムを用いて同じサウンドを聴くユーザに比べると、聴取体験が劣るヘッドフォンを介してサウンドを聴くことになる。
本発明の主な目的は、頭部伝達関数(HRTF)フィルター及び他のオーディオ処理フィルターを用いてオーディオを処理して3D空間内に複数のスピーカーをエミュレートすることによって、所定のレイアウトを用いてヘッドフォン上で現実的なバーチャルサラウンドサウンドをシミュレートするための、方法及びシステムを開示することにあり、ヘッドフォンへの入力はステレオ入力であるが、ステレオ入力に限られない。
本発明は、添付の図面に例示され、その全体を通して、類似の参照文字は、様々な図において対応する部分を示している。本明細書の実施形態は、図面を参照しての以下の説明からよりよく理解されるであろう。
本明細書の実施形態及びその様々な特徴やこれらの有利な詳細は、添付の図面に例示され、以降の説明で詳述される非限定の実施形態を参照してより十分に説明される。周知の構成要素及び処理技術の説明は、本明細書の実施形態を不要に曖昧にしないように省略されている。本明細書で用いられる例は、単に、本明細書の実施形態が実施され得る方法の理解を容易にするように、さらに、当業者が本明細書の実施形態を実施することを可能にするように意図されているに過ぎない。したがって、これらの例は、本明細書の実施形態の範囲を限定すると解釈されるべきではない。
本明細書の実施形態は、頭部伝達関数(HRTF)フィルターを用いてオーディオを処理して3D空間内に複数のスピーカーをエミュレートすることによって、ヘッドフォン上でサラウンドサウンドをシミュレートするための方法及びシステムを達成するのであって、ヘッドフォンへの入力は、ステレオ入力又はマルチチャネルオーディオ入力の少なくとも1つである。ここで図面、より具体的には図1から4を参照するに、類似の参照文字は、図面を通して一貫して対応する特徴を示しており、これらの図には、好ましい実施形態が示されている。
人間の耳は、約2.0kHz〜3kHzの周波数に最も敏感である。それより高い周波数及び低い周波数では、聴覚閾値は急速に増加する。30Hz程度の低い周波数のオーディオを聴くには、オーディオ圧力は約50dbでなければならない。
人間の聴覚はバイノーラルであり、これは、人間が両耳を使って1つ以上の音源からの音を聞くことを意味する。人間の耳のどちらかによって受け取られる音は、タイミング、強度、及び周波数が変化する。音源を定位する人間の脳は、人間の耳によって受け取られる音におけるこうした変化を利用している。人間の脳は、両耳間時間差(ITD)、両耳間レベル差(ILD)などの音キュー(sonic cue)を用いて音の方向及び位置を判定する。ITDとは、音源と各耳との間の距離の差に起因して、音が各耳に到達する時間差のことをいう。音が(図1に示すように)ユーザの左側に配置されたスピーカー101から来る場合、その音は、右耳に到達するより早く左耳に到達する。ILDとは、頭のオーディオ陰影によって生じる各耳における音の圧力レベル(ラウドネス)の差のことをいう。音波は、物体/表面によって吸収されるため、音は進むにつれて弱くなる。音が(図1に示すように)ユーザの左側に配置されたスピーカー101から来る場合、左耳には、右耳に比べて音が少し大きく聞こえる。さらに、脳は、耳の耳介の形状によるスペクトルの変化を利用して、スピーカー101の高さを判定する。
バイノーラルモデルは、音の位置を特定するためにこれらのキューを利用し、頭部伝達関数(HRTF)を用いて、音が空間における特定の点から発生していることを感じ取る。HRTFは、それぞれの耳に対して規定された頭部インパルス応答(HRIR)のフーリエ変換である。HRTFは、耳に対する音源の位置に依存する。HRTFは、音源から人間の耳に伝播する音波の変化(transformations)を捉える。こうした変化には、人間の体を通る音の反射及び回折が含まれる。これらの変化は、一方向に特化しており、後に、任意のモノラル音源に適用して、3D空間内で音をレンダリングするために必要なその物理的な特性与えることができる。バーチャルサラウンドシステムのスピーカー(音源)は、HRTFを用いて3D空間内に配置される。
本明細書の実施形態は、聴取者が、彼のヘッドフォンで音を聴いている間、彼の耳の外側の複数の音源(スピーカー)から来るその音を3D(3次元)的に感じ取るように、オーディオ入力(これはステレオ入力及びマルチチャネルオーディオ入力の少なくとも1つとすることができる)を変換する。本明細書の実施形態は、ヘッドフォンでバイノーラルサラウンドサウンドを提供するのに特有のスピーカーのレイアウトを提供し、オーディオ入力は処理され、処理されたオーディオ入力からのオーディオ要素が抽出され(オーディオ要素は、声楽、(ドラムのような)種々の楽器などを含むことができる)、オーディオ要素をバーチャルのフロントスピーカー、リアスピーカー、低周波スピーカー(LFE)、及び高周波スピーカー(ツイーター)でオーディオ要素をレンダリングして、ヘッドフォンでサラウンドサウンド体験を創出する。
本明細書において「ヘッドフォン」という用語は、音を耳に提供し、ユーザの頭に、あるいは頭の周りに装着することができる任意の機器をいう。ヘッドフォンは、インイヤ式のヘッドフォン(イヤフォン)、ユーザの耳の全て又は一部を覆って装着されるもの、あるいはユーザの耳に直接、音を提供する他の任意の手段とすることができる。ヘッドフォンは、ケーブル、あるいは(Blutooth(登録商標)、電波、又は他の任意の同等手段などの)ワイヤレス通信手段のような、音を受け取るのに適した手段を用いることができる。
本明細書の実施形態では、現在、ヘッドフォンからの音を聞いている1人以上のユーザを表すのに「ユーザ」及び「聴取者」という用語を同じ意味で用いる。
図2は、バーチャルサラウンドシステムのバーチャルレイアウトの一例を示す。レイアウトは、フロントセンタースピーカー(FCS)201と、フロントライトスピーカー(FRS)202と、フロントレフトスピーカー(FLS)203と、複数の高周波源(HFS)204と、レフトサラウンドスピーカー(LSS)205と、ライトサラウンドスピーカー(RSS)206と、LFE(低周波効果)スピーカー207とを有する。このレイアウトは、フロントレフトスピーカー203とフロントライトスピーカー202との間の角度が、標準の5.1サラウンド設定よりも広い。本明細書の一例の実施形態において、フロントレフトスピーカー203は、垂線(フロントセンタースピーカー201の位置)から−35°の角度にあり、フロントライトスピーカー202は、垂線(フロントセンタースピーカー201の位置)から35°の角度にある。レイアウトは、さらに、(標準のレイアウトに比べて)広い角度でサラウンドスピーカーを有する。本明細書の一例の実施形態において、レフトサラウンドスピーカー205は、垂線(フロントセンタースピーカー201の位置)から−120°の角度にあり、ライトサラウンドスピーカー206は、垂線(フロントセンタースピーカー201の位置)から120°の角度にある。フロントスピーカー(フロントセンタースピーカー201、フロントライトスピーカー202、及びフロントレフトスピーカー203)は、ユーザの耳の水平面から10°の高さに配置される。バックスピーカー(レフトサラウンドスピーカー205及びライトサラウンドスピーカー206)はユーザの耳の水平面から−5°の高さに配置される。高周波源204は、フロントスピーカーとリアスピーカーの間で、ユーザの耳に平行な線の少し後ろの位置に配置される。本明細書の一例の実施形態において、高周波源204は、ツイーターとすることができる。LFE207は、聴取者の後ろにバーチャルに配置することができる。このレイアウトによって、聴取者の周りの音は均一になる。
本明細書の実施形態は、オーディオ入力をフィルタリングし、オーディオの異なる要素(声楽、楽器(ドラム、ピアノ、バイオリンなど))を抽出し、人間の聴覚系が非常に敏感である、抽出された要素を、位置が保持されている正面スピーカーにレンダリングする。
図3は、3D空間内のバーチャルスピーカーからのオーディオを定位するプロセスを示す。ヘッドフォン301は、複数のオーディオフィルター302と、複数のHRTFフィルター303と、複数のチューニングエンジン304と、3Dオーディオミキサー305とを備える。ヘッドフォン301は、FLS203、FCS201、FRS202、LSS205、RSS206、HFS204、及びLFE207それぞれ用のオーディオフィルター302を備える。ヘッドフォン301は、FCS201、FLS203、FRS202、LSS205、RSS206、HFS204、及びLFE207それぞれ用のHRTFフィルター303を備える。ヘッドフォン301は、FCS201、FLS203、FRS202、LSS205、RSS206、HFS204、及びLFE207それぞれ用のチューニングエンジン304を備える。
オーディオフィルター302は、入力としてオーディオを受信すると、その入力をフィルタリングし、入力に存在する異なる要素を抽出する。入力にある異なる要素は、声楽、楽器などのうちの少なくとも1つを含むことができる。入力は、低周波範囲の楽器、高周波範囲の楽器、中周波範囲の楽器などのような、異なる範囲の楽器のオーディオ信号を含むこともできる。オーディオフィルター302−1及び302−2は、声楽などのオーディオ入力から人間の聴覚系が敏感である周波数や、バイオリン、ピアノ、フルートなどの楽器からの周波数をフィルタリングすることができる。オーディオフィルター302−3及び302−4は、低−中のバスドラム、ベースギター、ビオラ、チェロなどの楽器のようなオーディオ入力から低−中周波数をフィルタリングすることができる。低−中周波数は、低音に明瞭さを加える。オーディオフィルター302−5は、オーディオ入力から高周波成分をフィルタリングすることができる。これらの成分は、声楽、並びにバイオリン及びフルートなどのメロディー楽器に特別の明瞭さを加え、これらの音をよりリアルにする。オーディオフィルター302−6は、オーディオ入力から低周波成分(30−120Hz)をフィルタリングすることができる。これらの低音成分は音の強さや深さの感覚を提供する。
抽出された要素は、HRTFフィルター303に提供される。HRTFフィルター303は、バーチャルスピーカーのレイアウトが(図2に示すように)決定されているものとすれば、HRTFを用いて空間キュー(spatial cue)を各要素に与えることができる。HRTF−FCS303−2はオーディオフィルター302−1及び302−2からの出力を組み合わせ、オーディオ入力の2つのチャネルを用いて共通の音をレンダリングすることができる。チューニングエンジン304は、HRTFフィルター303の出力を音量、強度、低音、高音域などの少なくとも1つのファクタに関してチューニングすることができる。チューニングエンジン304は、予め規定することができる。許可されたユーザは、チューニングエンジン304を制御することができる。出力は、3Dオーディオミキサー305にてさらにミキシングされ、ヘッドフォン301の左右のチャネルでレンダリングされる。
オーディオ入力がマルチチャネルオーディオである場合、異なるチャネル(フロントレフト、フロントセンター、フロントライトなど、LFEチャネルを含む)に対応するオーディオを、HRTFフィルター303に直接、供給することができる。別々の高周波及び低周波チャネルの入力が利用できない場合、それらはステレオ入力の場合のように、左右チャネルのオーディオを、ハイパスフィルター302−6及びローパスフィルター302−5に通すことによって生成することができる。
図4は、バイノーラルサラウンドシステム用のオーディオ処理及びレンダリングのプロセスを示すフローチャートである。入力としてオーディオを受信すると、オーディオフィルター302は、入力にある異なる要素を抽出するために、入力をフィルタリングする(401)。オーディオフィルター302−1及び302−2は、オーディオ入力から、バイオリン、ピアノ、フルートなどの楽器からの周波数のような人間の聴覚系が敏感な周波数をフィルタリングする。オーディオフィルター302−3及び302−4は、オーディオ入力から、低−中のバスドラム、ベースギター、ビオラ、ピアノ、ギターなどの楽器からの低-中周波数をフィルタリングする。オーディオフィルター302−5は、オーディオ入力から高周波成分をフィルタリングする。オーディオフィルター302−6は、オーディオ入力から低周波成分(30−120Hz)をフィルタリングする。オーディオフィルター302は、抽出された要素をHRTFフィルター303に提供する。HRTFフィルター303は、スピーカーの空間内における位置及びレイアウトが(図2に示すように)決められているものとすれば、HRTFを用いて空間キューを各要素に与える(402)。チューニングエンジン304は、HRTFフィルター303の出力を音量、強度、低音、高音域などの少なくとも1つのファクタについてチューニングする(403)。3Dオーディオミキサー305は、チューニングエンジン304からの出力をミキシングし(404)、音をヘッドフォン301の左右のチャネルに3Dサラウンドサウンドでレンダリングする(405)。本方法400における様々な作用は、提示された順序、異なる順序、あるいは同時に実行することができる。さらに、いくつかの実施形態において、図4に挙げられたいくつかの作用は省いてもよい。
本明細書の実施形態は、通常のオーディオ入力を用いて通常のヘッドフォンでバイノーラルサラウンド体験を提供し、バーチャルサラウンド体験は、図2に示すようなレイアウトを用いて提供される。本明細書の実施形態は、(図2に示すような)レイアウトで配置された異なるバーチャルスピーカーに異なるオーディオ要素をレンダリングして、ヘッドフォンでサラウンド体験を与える方法及びシステムを提案する。
本明細書に開示された実施形態では、頭部伝達関数(HRTF)フィルターを用いてオーディオを処理して、3D空間内に複数のスピーカーをエミュレートすることによって、ヘッドフォンにサラウンドサウンドをシミュレートするための方法及びシステムを説明する。ヘッドフォンへの入力はオーディオ入力である。従って、保護の範囲は、そのようなプログラム、加えて内部にメッセージを有するコンピュータ可読手段に拡張され、このようなコンピュータ可読記憶手段は、プログラムがサーバーやモバイル機器、又は任意の適切なプログラマブル機器上で実行される際に、本方法における1つ以上のステップを実装するプログラムコード手段を含むことを理解されたい。本方法は、好適な実施形態では、例えば、超高速集積回路ハードウェア記述言語(VHDL)や、他のプログラミング言語で記述されたソフトウェアプログラムを介して、又は該ソフトウェアプログラムと一緒に実装されるか、あるいは少なくとも1つのハードウェアデバイス上で実行される1つ以上のVHDL又はいくつかのソフトウェアモジュールにより実行される。ハードウェアデバイスは、プログラム可能な任意の種類の携帯デバイスとすることができる。このデバイスは、例えば、ASICのようなハードウェア手段、例えばASICとFPGAのようなハードウェアとソフトウェア手段の組み合わせ、あるいは、少なくとも1つのマイクロプロセッサと内部にソフトウェアモジュールを有する少なくとも1つのメモリとすることができる手段を含むこともできる。本明細書で説明した本方法の実施形態は、一部をハードウェアで、また、一部をソフトウェアで実装することができる。代わりに、本発明は、例えば、複数のCPUを用いるような異なるハードウェアデバイス上に実装してもよい。
上述した特定の実施形態の説明は、本明細書の実施形態の一般的な性質を十分に表しており、他者が現在の知識を適用することによって、真の概念から逸脱することなく、様々な用途のために容易に変形及び/又はこのような特定の実施形態に適用することができ、そのため、このような適用及び変形は開示された実施形態の手段及び均等の範囲内で理解されるべきであり、また、そのように意図されている。本明細書で用いられている表現又は用語は説明を目的としてものであって、限定を目的としたものではない。そのため、本明細書の実施形態は、好ましい実施形態の観点から説明されてきたが、当業者は、本明細書で説明された実施形態の思想及び範囲内で本明細書の実施形態を変形とともに行うことができることを理解されたい。
Claims (24)
- ヘッドフォン(301)上でサラウンドサウンドをシミュレートする方法であって、前記方法は、
複数のオーディオフィルター(302)によってオーディオ入力にある複数の要素を抽出するために、前記オーディオ入力をフィルタリングするステップと、
複数のバーチャルスピーカーの定められたレイアウト用の複数の頭部伝達関数(HRTF)フィルター(303)によって、空間キューを前記抽出された複数の要素のそれぞれに与えるステップと、
複数のチューニングエンジン(304)によって前記複数のHRTFフィルター(303)の出力をチューニングするステップと、
3次元(3D)オーディオミキサー(305)によって、前記複数のチューニングエンジン(304)の前記チューニングされた出力をミキシングするステップと、
前記ミキシングされたチューニング出力を前記ヘッドフォン(301)の左右のチャネルにレンダリングするステップと、
を含む、方法。 - 前記オーディオ入力は、ステレオ入力及びマルチチャネルオーディオ入力の少なくとも1つである、請求項1に記載の方法。
- 複数の要素を抽出するために前記オーディオ入力をフィルタリングするステップは、
前記オーディオフィルター(302−1、302−2)によって、前記オーディオ入力から人間の聴覚系が敏感である周波数成分をフィルタリングするステップと、
前記オーディオフィルター(302−3、302−4)によって、前記オーディオ入力から低−中周波成分をフィルタリングするステップと、
前記オーディオフィルター(302−5)によって、前記オーディオ入力から高周波成分をフィルタリングするステップと、
前記オーディオフィルター(302−6)によって、前記オーディオ入力から低周波成分をフィルタリングするステップと、
をさらに含む、請求項1に記載の方法。 - 前記方法は、前記オーディオフィルター(302−1、302−2)によって抽出された周波数成分を合成するHRTFフィルタ(303)を含む、請求項3に記載の方法。
- 前記複数のバーチャルスピーカーの前記レイアウトは、フロントセンタースピーカー(FCS)(201)と、フロントライトスピーカー(FRS)(202)と、フロントレフトスピーカー(FLS)(203)と、複数の高周波源(HFS)(204)と、レフトサラウンドスピーカー(LSS)(205)と、ライトサラウンドスピーカー(RSS)(206)と、LFE(低周波効果)スピーカー(207)とを含む、請求項1に記載の方法。
- 前記FCS(201)、前記FRS(202)、及び前記FLSは、前記ヘッドフォン(301)のユーザの耳の水平面から10°の高さに配置される、請求項5に記載の方法。
- 前記FLS(203)と前記FRS(202)との間の角度は、標準の5.1サラウンド設定よりも広い、請求項5に記載の方法。
- 前記LSS(205)と前記RSS(206)との間の角度は、標準の5.1サラウンド設定より広い、請求項5に記載の方法。
- 前記LSS(205)と前記RSS(206)とは、前記ヘッドフォン(301)のユーザの耳の水平面から−5°の高さに配置される、請求項5に記載の方法。
- 前記複数のHFS(204)は、前記ヘッドフォン(301)のユーザの耳に平行な線の後ろに配置される、請求項5に記載の方法。
- 前記複数のHFS(204)は、複数のツイーターである、請求項5に記載の方法。
- 前記LFE(207)は、前記ヘッドフォン(301)のユーザの後ろにバーチャルに配置される、請求項5に記載の方法。
- 複数のオーディオフィルター(302)によってオーディオ入力にある複数の要素を抽出するために前記オーディオ入力をフィルタリングし、
複数のバーチャルスピーカーの定められたレイアウトのための複数の頭部伝達関数(HRTF)フィルター(303)によって、空間キューを前記抽出された複数の要素のそれぞれに与え、
複数のチューニングエンジン(304)によって前記複数のHRTFフィルター(303)の出力をチューニングし、
3次元(3D)オーディオミキサー(305)によって、前記複数のチューニングエンジン(304)の前記チューニングされた出力をミキシングし、且つ
前記ミキシングされたチューニング出力をヘッドフォン(301)の左右のチャネルにレンダリングするよう構成された、装置(301)。 - 前記オーディオ入力は、ステレオ入力及びマルチチャネルオーディオ入力の少なくとも1つである、請求項13に記載の装置。
- 前記装置(301)は、
前記オーディオフィルター(302−1、302−2)によって、前記オーディオ入力から人間の聴覚系が敏感である周波数成分をフィルタリングし、
前記オーディオフィルター(302−3、302−4)によって前記オーディオ入力から低−中周波成分をフィルタリングし、
前記オーディオフィルター(302−5)によって、前記オーディオ入力から高周波成分をフィルタリングし、
前記オーディオフィルター(302−6)によって、前記オーディオ入力から低周波成分をフィルタリングすることにより、複数の要素を抽出するために前記オーディオ入力をフィルタリングするように構成される、請求項13に記載の装置。 - 前記装置は、
前記オーディオフィルター(302−1、302−2)によって抽出された周波数成分を合成するHRTFフィルタ(303)をさらに含む、請求項15に記載の装置。 - 前記複数のバーチャルスピーカーの前記レイアウトは、フロントセンタースピーカー(FCS)(201)と、フロントライトスピーカー(FRS)(202)と、フロントレフトスピーカー(FLS)(203)と、複数の高周波源(HFS)(204)と、レフトサラウンドスピーカー(LSS)(205)と、ライトサラウンドスピーカー(RSS)(206)と、LFE(低周波効果)スピーカー(207)とを含む、請求項13に記載の装置。
- 前記FCS(201)、前記FRS(202)、及び前記FLS(203)は、前記ヘッドフォン(301)のユーザの耳の水平面から10°の高さに配置される、請求項17に記載の装置。
- 前記FLS(203)と前記FRS(202)の間の角度は、標準の5.1サラウンド設定よりも広い、請求項17に記載の装置。
- 前記LSS(205)と前記RSS(206)の間の角度は、標準の5.1サラウンド設定よりも広い、請求項17に記載の装置。
- 前記LSS(205)及び前記RSS(206)は、前記ヘッドフォン(301)のユーザの耳の水平面から−5°の高さに配置される、請求項17に記載の装置。
- 前記複数のHFS(204)は、前記ヘッドフォン(301)のユーザの耳に平行な線の後ろに配置される、請求項17に記載の装置。
- 前記複数のHFS(204)は、複数のツイーターである、請求項17に記載の装置。
- 前記LFE(207)は、前記ヘッドフォン(301)のユーザの後ろにバーチャルに配置される、請求項17に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN201641003902 | 2016-02-03 | ||
IN201641003902 | 2016-02-03 | ||
PCT/IN2017/050052 WO2017134688A1 (en) | 2016-02-03 | 2017-02-03 | Methods and systems for providing virtual surround sound on headphones |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019508964A true JP2019508964A (ja) | 2019-03-28 |
Family
ID=59500361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018541276A Pending JP2019508964A (ja) | 2016-02-03 | 2017-02-03 | ヘッドフォン上でバーチャルサラウンドサウンドを提供する方法及びシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10397730B2 (ja) |
EP (1) | EP3412038A4 (ja) |
JP (1) | JP2019508964A (ja) |
WO (1) | WO2017134688A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11617050B2 (en) | 2018-04-04 | 2023-03-28 | Bose Corporation | Systems and methods for sound source virtualization |
US10575094B1 (en) | 2018-12-13 | 2020-02-25 | Dts, Inc. | Combination of immersive and binaural sound |
WO2021041140A1 (en) * | 2019-08-27 | 2021-03-04 | Anagnos Daniel P | Headphone device for reproducing three-dimensional sound therein, and associated method |
US11356795B2 (en) * | 2020-06-17 | 2022-06-07 | Bose Corporation | Spatialized audio relative to a peripheral device |
US11982738B2 (en) | 2020-09-16 | 2024-05-14 | Bose Corporation | Methods and systems for determining position and orientation of a device using acoustic beacons |
TWI824522B (zh) * | 2022-05-17 | 2023-12-01 | 黃仕杰 | 音訊播放系統 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04296200A (ja) * | 1991-03-26 | 1992-10-20 | Mazda Motor Corp | 音響装置 |
US5742689A (en) * | 1996-01-04 | 1998-04-21 | Virtual Listening Systems, Inc. | Method and device for processing a multichannel signal for use with a headphone |
JP2015049470A (ja) * | 2013-09-04 | 2015-03-16 | ヤマハ株式会社 | 信号処理装置及びそのプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5438623A (en) * | 1993-10-04 | 1995-08-01 | The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration | Multi-channel spatialization system for audio signals |
US5757931A (en) * | 1994-06-15 | 1998-05-26 | Sony Corporation | Signal processing apparatus and acoustic reproducing apparatus |
US20060277034A1 (en) | 2005-06-01 | 2006-12-07 | Ben Sferrazza | Method and system for processing HRTF data for 3-D sound positioning |
DE602007007457D1 (de) | 2006-03-13 | 2010-08-12 | Dolby Lab Licensing Corp | Ableitung von mittelkanalton |
FR2903562A1 (fr) * | 2006-07-07 | 2008-01-11 | France Telecom | Spatialisation binaurale de donnees sonores encodees en compression. |
US8116458B2 (en) * | 2006-10-19 | 2012-02-14 | Panasonic Corporation | Acoustic image localization apparatus, acoustic image localization system, and acoustic image localization method, program and integrated circuit |
KR100850736B1 (ko) * | 2007-11-08 | 2008-08-06 | (주)엑스파미디어 | 머리전달함수를 이용하여 두 개 이상의 음원들로부터출력된 소리들을 공간으로 분리할 수 있는 장치 |
EP2356825A4 (en) | 2008-10-20 | 2014-08-06 | Genaudio Inc | AUDIO SPACE AND ENVIRONMENT SIMULATION |
US8000485B2 (en) | 2009-06-01 | 2011-08-16 | Dts, Inc. | Virtual audio processing for loudspeaker or headphone playback |
US9107018B2 (en) * | 2010-07-22 | 2015-08-11 | Koninklijke Philips N.V. | System and method for sound reproduction |
US8824709B2 (en) * | 2010-10-14 | 2014-09-02 | National Semiconductor Corporation | Generation of 3D sound with adjustable source positioning |
JP5893129B2 (ja) | 2011-04-18 | 2016-03-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオをアップミックスして3dオーディオを生成する方法とシステム |
TWI471020B (zh) | 2011-09-26 | 2015-01-21 | Chien Chuan Pan | 具可活動切換結構之多聲道掛載式揚聲裝置及其組裝方法 |
-
2017
- 2017-02-03 JP JP2018541276A patent/JP2019508964A/ja active Pending
- 2017-02-03 EP EP17747134.9A patent/EP3412038A4/en not_active Withdrawn
- 2017-02-03 WO PCT/IN2017/050052 patent/WO2017134688A1/en active Application Filing
- 2017-02-03 US US16/070,700 patent/US10397730B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04296200A (ja) * | 1991-03-26 | 1992-10-20 | Mazda Motor Corp | 音響装置 |
US5742689A (en) * | 1996-01-04 | 1998-04-21 | Virtual Listening Systems, Inc. | Method and device for processing a multichannel signal for use with a headphone |
JP2015049470A (ja) * | 2013-09-04 | 2015-03-16 | ヤマハ株式会社 | 信号処理装置及びそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3412038A4 (en) | 2019-08-14 |
EP3412038A1 (en) | 2018-12-12 |
WO2017134688A1 (en) | 2017-08-10 |
US20190037334A1 (en) | 2019-01-31 |
US10397730B2 (en) | 2019-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10397730B2 (en) | Methods and systems for providing virtual surround sound on headphones | |
JP5894634B2 (ja) | 個人ごとのhrtfの決定 | |
AU2001239516B2 (en) | System and method for optimization of three-dimensional audio | |
US9769589B2 (en) | Method of improving externalization of virtual surround sound | |
US20170325045A1 (en) | Apparatus and method for processing audio signal to perform binaural rendering | |
KR20170013931A (ko) | 청각-공간-최적화 전달 함수들의 결정 및 사용 | |
CN113170271B (zh) | 用于处理立体声信号的方法和装置 | |
US10341799B2 (en) | Impedance matching filters and equalization for headphone surround rendering | |
JP2000050400A (ja) | 左,右両耳用のオーディオ信号を音像定位させるための処理方法 | |
CN109195063B (zh) | 一种立体声发生系统及方法 | |
JP2017153083A (ja) | 自動車でオーディオ信号を再生する装置及び方法 | |
CN106792365B (zh) | 一种音频播放方法及装置 | |
US6990210B2 (en) | System for headphone-like rear channel speaker and the method of the same | |
CN107743713B (zh) | 处理用于在汽车中再现的立体声信号以通过前置扬声器实现单独的三维声音的装置和方法 | |
US10440495B2 (en) | Virtual localization of sound | |
JP2012531145A (ja) | マルチサウンドの入力を聴覚的に分離するdspベースの装置 | |
US20200059750A1 (en) | Sound spatialization method | |
US9794717B2 (en) | Audio signal processing apparatus and audio signal processing method | |
CN109923877B (zh) | 对立体声音频信号进行加权的装置和方法 | |
US7050596B2 (en) | System and headphone-like rear channel speaker and the method of the same | |
US6983054B2 (en) | Means for compensating rear sound effect | |
US11039266B1 (en) | Binaural reproduction of surround sound using a virtualized line array | |
US11218832B2 (en) | System for modelling acoustic transfer functions and reproducing three-dimensional sound | |
Tan | Binaural recording methods with analysis on inter-aural time, level, and phase differences | |
JP2003199200A (ja) | ヘッドホーンに類似するリアチャンネルスピーカーシステム及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200602 |