JP2017522771A - ルーム最適化された伝達関数の決定および使用 - Google Patents

ルーム最適化された伝達関数の決定および使用 Download PDF

Info

Publication number
JP2017522771A
JP2017522771A JP2016569427A JP2016569427A JP2017522771A JP 2017522771 A JP2017522771 A JP 2017522771A JP 2016569427 A JP2016569427 A JP 2016569427A JP 2016569427 A JP2016569427 A JP 2016569427A JP 2017522771 A JP2017522771 A JP 2017522771A
Authority
JP
Japan
Prior art keywords
room
transfer function
listening
optimized
listening room
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016569427A
Other languages
English (en)
Other versions
JP6446068B2 (ja
Inventor
ブランデンブルク・カールハインツ
ヴェルナー・ステファン
スラデチェック・クリストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technische Universitaet Ilmenau
Original Assignee
Technische Universitaet Ilmenau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technische Universitaet Ilmenau filed Critical Technische Universitaet Ilmenau
Publication of JP2017522771A publication Critical patent/JP2017522771A/ja
Application granted granted Critical
Publication of JP6446068B2 publication Critical patent/JP6446068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

空間生成においてオーディオ信号のルーム最適化された後処理に役立つ、リスニングルームのためのルーム最適化された伝達関数を決定するためのデバイスは、リスニングルーム(12)のルーム音響効果を分析するように、および、ルーム音響効果の分析に基づいて、バイノーラル近距離音響変換器による空間的再生が行われるべきであるリスニングルームのためのルーム最適化された伝達関数を決定するように構成される。バイノーラル近距離音響変換器によるオーディオ信号の空間的再生は、次いで、既知の頭部伝達関数を使用しておよびルーム最適化された伝達関数を使用してエミュレートされ得、合成されるべきルームは、頭部伝達関数(HRTF)に基づいてエミュレートされ得、リスニングルーム(12)は、ルーム最適化された伝達関数(TF)に基づいてエミュレートされ得る。

Description

本発明の実施形態は、リスニングルームのための「ルーム最適化された伝達関数」を決定するためのデバイスと、対応する方法と、対応する方法を使用してオーディオ信号を空間的に再生するためのデバイスとに関する。好ましい実施形態によれば、再生は、バイノーラル近距離音響変換器によって、例えば、ステレオヘッドセットまたはステレオインイヤイヤフォンなどによって行われる。さらなる実施形態は、上記2つのデバイスを備えるシステムと、説明する方法を実施するためのコンピュータ方法とに関する。
例えばマルチチャネルオーディオ信号に基づいて、空間的聴覚シーンを提示するときの知覚的品質は、提示するコンテンツの音響芸術的設計と、再生システムと、リスニングルームまたはルームのルーム音響効果とに決定的に依存する。オーディオ再生システムを開発するときの主要な目的は、リスナーによって妥当と思われると推定される聴覚イベントを生成することである。これは、例えば、画像サウンドコンテンツを再生するときに重要な役割を果たす。ユーザによって妥当と思われるように知覚されるコンテンツでは、例えば、定位可能性、距離の知覚、空間性の知覚および再生の音質など、様々な知覚的品質特徴が期待を満たす必要がある。理想的な事例では、再生された状況の知覚は、ルーム中の現実の状況と一致する。
ラウドスピーカーベースのオーディオ再生システムでは、2チャネルまたはマルチチャネルオーディオ素材がリスニングルーム中で再生される。このオーディオ素材は、完成したラウドスピーカー信号がすでに存在するチャネルベースの混合から発生し得る。さらに、ラウドスピーカー信号はまた、オブジェクトベースのサウンド再生方法によって生成され得る。ラウドスピーカー再生信号は、音のオブジェクト(例えば位置、ボリュームなど)の記述に基づいて生成され、優勢なラウドスピーカーセットアップを知っている。したがって、ラウドスピーカー間の連結軸上に通常あるファントム音源が生成される。選定されたラウドスピーカーセットアップと、リスニングルームの優勢なルーム音響効果とに応じて、これらのファントム音源は、異なる方向および距離においてリスナーによって知覚され得る。ここでのルーム音響効果は、再生される聴覚シーンの調和に決定的な影響を及ぼす。
しかしながら、ラウドスピーカー信号を介する再生は、あらゆるリスニング状況において実用的であるとは限らない。さらに、それは、ラウドスピーカーをどこでも設置することが可能であるとは限らない。そのような状況の例としては、モバイル端末上で音楽を聴取すること、変化するルームにおける使用、その他のユーザ受容または音響妨害があり得る。耳に直接的にまたは直接近接して「装着される」インイヤまたはヘッドセットのような近距離音響変換器は、ラウドスピーカーの代替として頻繁に使用される。
例えば、各側部または各耳のために音響駆動体を装備した、音響変換器を使用する古典的なステレオ再生は、2つの耳の間の連結軸上で頭部の中にあるべき再生中のファントム音源の知覚をリスナー中に生成する。これは、いわゆる「頭内定位」と呼ばれる。しかしながら、ファントム音源の妥当と思われる効果の外部知覚(エクスターニシティ)は起こらない。このようにして生成されるファントム音源は通常、例えば、リスニングルーム中のラウドスピーカーシステム(例えば2.0または5.1)を介して同じ音響シーンを再生するときに存在し得る、ユーザにとって復号可能な方向(情報)も距離(情報)も含まない。
ヘッドセットを使用して再生するときの頭内定位をバイパスするために、(オーディオ素材における芸術的設計および混合のいずれも失うことなしに)バイノーラル合成の方法が使用される。バイノーラル合成では、左耳および右耳のためにいわゆる「外耳伝達関数」(または頭部伝達関数、HRTF)が使用される。これらの頭部伝達関数は、各耳について、仮想音源に関連する頭部伝達関数のために複数のそれぞれの方向ベクトルを含み、それに従って、オーディオ信号は、聴覚シーンが空間的に表されるかまたは空間性がエミュレートされるように、オーディオ信号を再生するときにフィルタ処理される。バイノーラル合成は、両耳間特徴が、音源の方向を知覚する進展のために決定的に応答することを利用し、これらの両耳間特徴は頭部伝達関数で表される。定義された方向からオーディオ信号が知覚されるべきとき、この信号は、この方向に属する左耳または右耳のHRTFを使用してフィルタ処理される。したがって、バイノーラル合成を使用して、ヘッドセットを介して、例えばマルチチャネルオーディオとして記憶された、両方の現実的なサラウンドサウンドシーンを再生することが可能である。ラウドスピーカーセットアップを仮想的にシミュレートするために、ある方向に制限されたHRTFペアが、シミュレートされるべきラウドスピーカーごとに使用される。ラウドスピーカーセットアップの方向および距離の妥当と思われる表現のために、さらにリスニングルームの方向依存音響伝達関数(ルーム関連伝達関数、RRTF)もエミュレートされる必要がある。これらは、次いで、HRTFと組み合わされ、バイノーラルルームインパルス応答(BRIR)を生じる。BRIRは、フィルタとして音響信号に適用され得る。
しかしながら、最近の調査および試験は、再生信号の物理的に正しい合成は別として、オーディオ再生の妥当性がまた、コンテキスト依存の品質パラメータによって、および特に、ルーム音響効果に関してはユーザの期待の範囲上で決定的に決定されることを明らかに示している。したがって、バイノーラル合成における改善された手法が必要である。
本発明の目的は、特に音響効果合成と消費者の期待の範囲とを一致させるために、近距離音響変換器による改善された空間的再生を提供することである。
この目的は独立請求項によって達成される。
本発明の実施形態は、ルーム音響効果を分析することに基づいてリスニングルームのための「ルーム最適化された伝達関数」を決定するための(ポータブル)デバイスを提供する。ルーム最適化された伝達関数は、空間的再生においてオーディオ信号のルーム最適化された後処理に役立ち、合成されるべきルームは、頭部伝達関数(HRTF)に基づいてエミュレートされ得、リスニングルームは、ルーム最適化された伝達関数に基づいてエミュレートされ得る。組み合わされるとバイノーラルルーム関連ルームインパルス応答と呼ばれることもある、これらの2つの伝達関数を使用することによって、その結果は現実的なサラウンドサウンドシミュレーションになり、このシミュレーションは、空間性に関しては、マルチチャネル(ステレオ)信号によってあらかじめ決定されるが、ルーム音響効果によって特に予期される期待の範囲を考慮することによって改善される特徴に対応する。
さらなる実施形態に対応して、本発明は、バイノーラル近距離音響変換器によってオーディオ信号を空間的に再生するための別の(ポータブル)デバイスを提供し、空間的再生は、オーディオコンテンツを再生するとき、近距離音響変換器によって放出される音響信号上にリスニングルーム特性が印加されるように、既知の頭部伝達関数を使用して、およびリスニングルームのために最適化された伝達関数を使用してエミュレートされる。
中心的発案に対応して、本発明は、したがって、マルチチャネルステレオを再生するときにコグニティブ効果を考慮するための必須条件を提供する。第1の態様に対応して、それぞれのリスニングルームのためのルーム最適化された伝達関数が決定され、ここでは、例えば、聴覚シーンが、ヘッドセットによって(概してバイノーラル近距離音響変換器によって)再生されるべきである。ルーム最適化された伝達関数を決定することは、現実のルームの音響特性を合成的に表すことを目的として、決定または測定されたルーム音響効果に基づいてルーム音響フィルタを導出することに主に対応する。第2のステップでは、聴覚シーンは、次いで、第2の発明態様に対応して、HRTFを使用して、ならびにサラウンドサウンドシミュレーションとしてルーム最適化された伝達関数を使用して再生される。再生するとき、空間性はHRTFによって生成され、空間性を現在のリスニングルーム状況に調整することは、ルーム最適化された伝達関数によって達成される。言い換えれば、これは、ルーム最適化された伝達関数が、HRTFまたはHRTFによって処理された信号を調整または後処理することを意味する。その結果、オーディオコンテンツを再生するとき、マルチチャネルオーディオ素材によって定義される、再生されるべきルームと、リスナーが位置するリスニングルームとの間のダイバージェンスが低減される。
ルーム最適化された伝達関数を決定すること、すなわち、第1の変形形態に対応して、ルームの音響モデルを取得するためにリスニングルーム中でテスト距離にわたってルーム音響効果が分析され得るようにテスト音源とマイクロフォンとを使用する測定技術によって決定することのために、様々な方法がある。第2の変形形態に対応して、例えば、音声など、自然雑音もテスト信号として使用され得る。第2の変形形態は、事実上、例えば、上記で説明した機能が実装されたモバイルフォンまたはスマートフォンなど、マイクロフォンを備えるどんな電気端末デバイスでもルーム音響効果を決定するのに十分であるという、特殊な利点を提供する。第3の変形形態に対応して、リスニングルームの分析または音響ルームモデルを決定することが、幾何学的モデルに基づいて行われ得る。このコンテキストでは、後でリスニングルームの音響モデルを計算するために、例えば典型的には同じく(モバイルフォンのような)モバイル端末に組み込まれたカメラを使用して、幾何学的モデルが光学的に検出されることも考えられ得る。このようにして決定された音響ルームモデルから逸脱して、ルーム最適化された伝達関数が次いで識別され得る。
さらなる実施形態に対応して、リスニングルームだけでなく、リスニングルーム中のリスナーの測位も考慮に入れられ得る。ここでのバックグラウンドは、リスニング位置が壁により近いかどうか、またはリスナーがどの方向を向いているかに応じて、ルーム音響効果または音響知覚が変化することである。したがって、さらなる実施形態に対応して、例えば、リスニングルーム中のリスナーの位置またはリスナーの視野角に応じてここでは選択される、ルーム最適化された伝達関数内に、複数の方向依存および/または位置依存の伝達関数(伝達関数ファミリー)が蓄積され得る。
ルーム最適化された伝達関数に関しては、異なるリスニングルームのための複数のルーム最適化された伝達関数ファミリーは、リスナーが現在どのルーム中にいるかに応じてこれらがフェッチされ得るように、空間的再生のためのデバイス中に、またはデバイスに結合されたデータベース中に蓄積されることも有利である。空間的再生のためのデバイスは、例示的には、GPSのような位置決定デバイスをも含み得る。
さらなる実施形態に対応して、再生されるべきオーディオ素材上に、例示的にはリスニングルーム中の現実のラウドスピーカーセットアップに対応するかあるいはリスニングルーム特性は別としてまたはリスニングルーム特性と並列に自由に構成された仮想ラウドスピーカーセットアップの対応する特性を印加することも可能である。
さらなる実施形態は、ルーム最適化された伝達関数を決定するための、およびルーム最適化された伝達関数を使用してマルチチャネルステレオオーディオ信号(またはオブジェクトベースオーディオ信号またはWFSオーディオ信号)を再生するための対応する方法に関係する。
添付の図面を参照しながら以下の実施形態について詳細に説明する。
リスニングルームのためのリスニングルーム最適化された伝達関数を決定するためのデバイスの概略ブロック回路図を示す。 ルーム最適化された伝達関数を決定するときの方法の概略フローチャートである。 ルーム最適化された伝達関数を考慮しながらの、マルチチャネルステレオオーディオ素材の空間的再生のためのデバイスの概略ブロック回路図を示す。 ルーム最適化された伝達関数を考慮しながらの、マルチチャネルステレオオーディオ素材の空間的再生のための方法のための概略フローチャートである。 ルーム最適化された伝達関数を決定し使用するためのシステムの概略ブロック回路図を示す。
添付の図面を参照しながら本発明の実施形態について以下でより詳細に説明する前に、等しい要素または等しい効果の要素は、それの説明が相互に適用可能または交換可能であるように、等しい参照番号を提供されることを指摘する。
本発明について説明する前に、ヘッドセットを使用するロケーション依存の空間的音響再生のためにリスニングルームのルーム音響効果を検出し可聴化するための動機づけについて説明する。このコンテキストでは、バイノーラル合成について手短に説明し、操作され得る、バイノーラル合成のために使用される頭部伝達関数(HRTF)と、頭部伝達関数中に含まれている変形態とについての概観がある。この概観を使用して、本発明に従ってルーム音響効果の条件を考慮するために決定されるべきルーム最適化された伝達関数TFによってHRTFがどのように適応されるかも示される。
バイノーラル合成は、オーディオ信号が、音響変換器介して(好ましくは一方の耳において直接)出力される前に、あるフィルタ関数またはHRTFによってフィルタ処理されることに基づき、フィルタ特性は、例えばヘッドセットを使用しているとき、このようにしてサラウンドサウンドをエミュレートするために、方向ベクトルまたは仮想音源に応じて異なる。フィルタ関数/HRTFは、人間聴覚の自然サウンド定位機構に従ってモデル化される。これは、オーディオ信号をアナログまたはデジタル領域において処理すること、またはオーディオ信号がルーム中の任意の位置によって放出されたかのようにオーディオ信号上に音響特性を印加することを可能にする。音を定位するときの機構は以下の通りである。
入射の横方向を認識すること、
中間平面における入射の方向を認識すること、および
距離を認識すること
左/右の間のランタイム差および左/右の間の(周波数依存)レベル差などの音響特性は、入射の横方向に対して定位するために決定的である。ランタイム差の場合、特に低い周波数における位相ランタイムと高い周波数におけるグループランタイムは区別され得る。これらのランタイム差分は、いずれかのステレオ駆動体を使用する信号処理を介して再生され得る。中間平面における入射の方向を識別することは、特に、外耳および/または耳道の入口が音響信号の方向選択的フィルタ処理を実施することに基づく。このフィルタ処理は、ある入射方向をシミュレートするかまたは空間性をエミュレートするために、オーディオ信号が最初にそのような周波数フィルタによってフィルタ処理され得るように周波数選択される。音源とリスナーとの間の距離を決定することは様々な機構に基づく。主要な機構は、ボリューム、カバーされる音経路の周波数選択性フィルタ処理、音反射および初期時間ギャップである。上述のファクタの大部分は人について個別である。人について個別の変数は、例えば、耳の間の距離、または横方向および中間定位に特定の影響を及ぼす外耳の形状であり得る。サラウンドサウンドエミュレーションは、説明する機構に関してはオーディオ信号を操作することによって行われ、操作パラメータは(ルーム方向および距離に応じて)HRTF中にマッピングされる。
これらのHRTF(頭部伝達関数)は、自由にファイルされる音伝搬のために主に意図される。ここでのバックグラウンドは、音源によって放出された音が直接的にだけでなく(例えば壁を介した)反射様式でもリスナーに達し、それにより音響知覚の変化が生じるという点で、定位のための上述の3つのファクタが、閉じられたルーム中で適用されるときには損なわれることである。これは、ルーム中に、直接音および(後で到着する)反射音があることを意味し、音のこれらのタイプは、例えばルーム中のいくつかの周波数グループのランタイムおよび/または2次音源の位置を使用して、リスナーによって区別され得る。これら(ホール)パラメータはさらに、リスナーがルームサイズおよび品質を推定することが可能であるように、ルームのサイズおよび品質(例えば減衰、形状)に依存する。これらのルーム音響効果パラメータは主に定位の機構と同じ機構を介して知覚されるので、ルーム音響効果はバイノーラル様式でもエミュレートされ得る。ルーム音響効果をエミュレートするために、HRTFは、ヘッドセット再生の場合においてリスナーのためにいくつかの音響ルーム条件をシミュレートするバイノーラルルームインパルス応答(BRIR)を形成するようにRRTFによって拡張される。したがって、仮想ルームサイズに応じて、ホール挙動の変化と、シフトする2次音源と、特に1次音源のボリュームに関して、2次音源のボリュームを変化させることとが起こる。
初めに述べたように、コグニティブ効果もリスナーにおいて重要な役割を果たす。そのようなコグニティブ効果に関しての試験は、リスニングルームと合成されるべきルームとの間の整合の程度、起こっている妥当と思われる聴覚イリュージョンのような、パラメータの関係性が高いという結果になった。リスニングルームと再生されるべきルームとの間のダイバージェンスが低い場合、当業者は、聴覚イベントの低いエクスターニシティに関して話す。
これによって促進されて、バイノーラル合成は、聴覚シーンのバイノーラルシミュレーションが使用のコンテキストに適応され得るように拡張されるべきである。詳細には、シミュレーションは、例えば、現在のルーム音響効果(減衰)およびリスニングルームの幾何学的形状などのリスニング条件に適応される。距離の知覚、空間性の知覚および方向の知覚は、ここでは、それらが現在のリスニングルームに関して妥当と思われるように変化され得る。変動パラメータは、例えば、ランタイム差、レベル差、周波数選択性フィルタ処理または初期時間ギャップのような、HRTFまたはRRTF特徴である。適応は、例えば、あるサウンド挙動(反響挙動または反射挙動)のルームサイズがエミュレートされる方法で、またはリスナーと音源との間の距離が、例えば、最大値に限定される方法で行われる。サラウンドサウンド挙動に対する影響のさらなるファクタはリスニングルーム中のユーザの位置であり、というのも、それは、ユーザがルームの中央に配置されるか壁の近くに配置されるかにかかわらず、反響および反射に関しては決定的であるからである。この挙動はまた、HRTFまたはRRTFパラメータを適応させることによってエミュレートされ得る。音響シミュレーションの妥当性を局所的に改善するためにどのようにまたはどの手段を使用してHRTFまたはRRTFパラメータが適応されるかについては後で説明する。
ルーム音響効果を可聴化する概念は、それの基本構造では、一方では2つの独立したデバイスによって表され、他方では2つの対応する方法によって表される2つの構成要素を含む。第1の構成要素、すなわちルーム最適化された伝達関数TFを検出することについて、図1aおよび図1bを参照しながら説明し、その後、図2aおよび図2bを参照しながらルーム最適化された伝達関数TFを使用することについて説明する。
図1aは、リスニングルーム12のために最適化された伝達関数TFを決定するためのデバイス10を示す。ルーム最適化された伝達関数TFを決定するために、リスニングルーム12またはそれのルーム音響効果が分析される。したがって、デバイス10は、ルーム関連データを検出するための、ここではマイクロフォンインターフェースとして例示的に示された(参照番号14を参照)インターフェースを含む。バイノーラル合成によって後でリスニングルーム特性が音響素材上にそれに基づいて印加されることになる、ルーム最適化された伝達関数TFは、典型的には、既存のHRTFがすでに適応されているように構成されるので、デバイス10は、採用されるべきHRTFを考慮しながら伝達関数TFを決定することができる。これは、デバイス10は、場合によってはHRTFを読み取るかまたは渡すための別のインターフェースを含み得ることを意味する。
引き続いて、デバイス10から開始してルーム音響効果を決定するための異なる手順について説明し、それに基づいて、次いで後続のステップにおいて、ルーム最適化された伝達関数TFが決定される。第1の変形形態に対応して、リスニングルームの優勢なルーム音響条件を検出することが、測定技術を使用して行われ得る。例示的には、リスニングルーム12のルーム音響効果は、デバイス10を使用して、音響測定方法によって測定される。随意のラウドスピーカー(図示せず)を介して放出されるテスト信号は、これのために使用される。デバイス10がラウドスピーカーインターフェース(図示させず)を含むかまたはラウドスピーカー自体であるとき、デバイス10を使用して、テスト信号を再生することまたはラウドスピーカーを駆動することがここで行われ得る。ラウドスピーカーを介してルーム12に放出された測定信号は、(ラウドスピーカーマイクロフォンの間の)測定距離にわたる信号の変化から逸脱して、ルーム音響効果が識別され得るようにマイクロフォン14によって記録され、したがって、少なくともルーム最適化された伝達関数TFが、例えば、ルーム方向または複数のルーム最適化された伝達関数TFについて導出され得る。次いで、リスニングルームに関連するルーム音響パラメータが、1つの方向からの測定された伝達関数から導出される。これらは、次いで、必要とされる他の方向のためのルーム最適化された伝達関数TFを生成するために使用される。ここで、個別の第1の反射は、例えばインパルス応答(時間範囲における伝達関数)の領域を圧縮および/または拡張することによって、マッピングされるべき仮想音源位置の他の空間方向および距離に適応され得る。方向を知覚することに関連する情報はHRTF中にある。すべての空間方向についてまたは極めて高い精度でルーム最適化された伝達関数TFを決定するために、さらなる実施形態によれば、リスニングルーム12中のマイクロフォン14およびラウドスピーカーの異なる位置のためにテスト信号によって分析を繰り返すことが有利であり得る。
別の変形形態によれば、ルーム音響効果を決定することは、リスニングルーム12によってすでに反響された音響信号を使用して推定され得る。そのような信号の例は、ユーザの音声信号のような、いずれにせよ存在する環境雑音である。ここで使用されるアルゴリズムは、音声信号から反響を除去するためのアルゴリズムから導出される。ここでのバックグラウンドは、典型的には、反響消去アルゴリズムにおいて、反響がそれから除去されるべきである信号上に存在するルーム伝達関数が推定されることである。現在まで、これらのアルゴリズムは、元の信号に適用されたとき、反響による影響を受けない信号を最も良く生じるフィルタを識別するために使用されている。ルーム音響効果を分析する際に適用されるとき、リスニングルームの特徴を認識するためにフィルタ関数は識別されないが、推定方法のみが使用される。この手順では、デバイス10に結合されたマイクロフォン14がやはり使用される。
第3の変形形態に対応して、ルーム音響効果は、幾何学的ルームデータに基づいてシミュレートされ得る。この手順は、ルーム12の幾何学的データ(例えばエッジ寸法、自由経路長さ)が、ルーム音響効果を推定することを可能にすることに基づく。ルーム12のルーム音響効果は、音響効果比較モデルを含むルーム音響フィルタデータベースに基づいて直接的にシミュレートされるかまたは近似的に識別され得る。このコンテキストでは、例えば、拡散音モデルとともに音響光線追跡またはミラー音源方法のような方法が言及されるべきである。言及されるこれら2つの方法はリスニングルームの幾何学的モデルに基づく。このコンテキストでは、デバイス10のルーム関連データを検出するための上述のインターフェースは、必ずマイクロフォンインターフェースである必要があるが、幾何学データを読み取るのに役立つデータインターフェースとしても全般的に参照され得る。さらに、例えば、リスニングルーム中に存在するラウドスピーカーセットアップに関する情報を含む、ルーム音響効果を越えるさらなるデータがインターフェースによって読み取られることも可能である。
幾何学的ルームデータを収集するいくつかの方法は、第1のサブ変形形態に対応して、データが幾何学的データベース、例えばGoogle Maps Inhouseから取られ得ると考えられる。これらのデータベースは、典型的には幾何学的モデル、例えばルーム幾何学的形状のベクトルモデルを含み、それから開始して、距離だけでなく、反射特性も最初に決定され得る。さらなるサブ変形形態に対応して、画像データベースも入力として使用され得、この場合、幾何学的パラメータは、画像認識によって中間ステップにおいて後で決定される。代替サブ変形形態に対応して、画像データベースの画像情報を取る代わりに、幾何学的モデルがユーザによって直接決定され得るように、カメラ、または概して、光センサによって画像情報を決定することも可能であり得る。画像データに基づいて決定されたルーム幾何学的形状から開始して、次いで、ルーム音響効果が、前のポイントへの類推でシミュレートされ得る。
ルーム最適化された伝達関数TFは、このようにしてシミュレートされたルーム音響モデルによって、少なくとも1つのルームのための、好ましくは複数のルームのための後続のステップにおいて導出される。パラメータに関してはRRTFと同等である、ルーム最適化された伝達関数TFを導出することは、原則として、(ルーム方向ごとに)フィルタ関数を決定することに対応し、それによって、例えばあるルーム方向に音が伝搬するとき、ルーム中の音響挙動がシミュレートされ得る。ルーム固有伝達関数TFは、ルームごとに、典型的には複数の伝達関数を含み、それによって、(個々の立体角に関連する)頭部伝達関数は、(ルームインパルス応答を処理するときの手順と同等に)対応して適応され得る。複数のルーム最適化された伝達関数TFは、したがって、典型的には、関数のファミリーとして生じ、すなわち左/右についておよび関連する方向について複数を含む、頭部伝達関数の数に依存する。HRTFモデル中の頭部伝達関数の正確な数は、所望のルーム解像度能力に依存し、多数の方向ベクトルが補間によって決定されるHRTFモデルもあることに起因してかなり変化し得る。このコンテキストから、ルーム最適化された伝達関数TFを決定するためにデバイスによって使用されるべきHRTFモデルについてなぜ知覚可能であるかが明らかになる。別のステップでは、決定されたルーム最適化された伝達関数TFは、例えば、ルーム音響フィルタデータベース中に記憶される。
さらなる実施形態によれば、リスニングルームごとに、複数のルーム最適化された伝達関数ファミリー(TF)が決定され、記憶され得、それにより、リスニングルーム機能またはリスニングルーム中の音響挙動がリスナーの位置に応じて異なることが考慮に入れられる。言い換えれば、特殊なルーム最適化された伝達特性が、リスニングルーム12中のユーザの(可能な)位置ごとに決定され得、それの決定は、リスニングルーム12の1つの同じ音響モデルに基づき得る。したがって、好ましくは、リスニングルームの分析は1回のみ実施されるべきである。別の実施形態に対応して、異なるルーム最適化された伝達関数ファミリー(TF)が、ユーザが見るルーム方向ごとに決定され得る。
上記で説明したデバイス10は異なるように実装され得る。好ましい実施形態に対応して、デバイス10はモバイル装置として実装され、この場合、センサ14、例えばマイクロフォンまたはカメラが対応して組み込まれ得る。これは、さらなる実施形態が、一方では分析ユニット10を含み、他方ではマイクロフォンおよび/またはカメラを含む、ルーム最適化された伝達関数TFを識別するためのデバイスに関係することを意味する。ここでの分析ユニット10は、例えば、ハードウェアベースまたはソフトウェアベースとなるように実装され得る。したがって、デバイス10の実施形態は、内部CPUまたはクラウドコンピューティングを介して結合されたCPU、あるいはルーム最適化された伝達関数TFおよび/またはリスニングルーム分析を決定するように構成された他の論理を含む。ルーム最適化された伝達関数TFのソフトウェア実装決定のためのアルゴリズムがそれに基づく方法、または特に、その方法の基本ステップについて、図1bを参照しながら以下で説明する。
図1bは、ルーム最適化された伝達関数TFを決定するときの方法のフローチャート100を示す。方法100は、ルーム最適化された伝達関数TFを決定する中心ステップ110を含む。前にすでに説明したように、ステップ110は、ルーム音響効果120を分析すること(ステップ120「ルーム音響効果を分析する」を参照)と、場合によっては、存在するHRTF関数とに基づく。ステップ110から開始して、別の随意のステップ、すなわち、伝達関数TFを記憶することが続き得る。このステップは参照番号130を与えられている。
さらなる実施形態に対応して、図1aおよび図1bを参照しながら説明する実施形態では、このようにして取得されたデータセットが、位置を使用してリスニングルームに直接関連付けられ得るように、ルーム最適化された伝達関数TFを決定することとともにリスニングルームの位置を決定することを実施することも考えられ得る。これは、データベースからルーム最適化された伝達関数TFを後でフェッチする場合、位置を決定することから開始するそれぞれのデータセットの関連付けが可能であるという利点を提供する。
決定されたルーム最適化された伝達関数TFを使用することについて、図2aおよび図2bを参照しながら以下で説明する。
図2aは、バイノーラル近距離音響変換器22を使用する空間的再生のためのデバイス20を示す。デバイス20の機能について、特に、再生の方法200を示す図2bのフローチャートを使用して説明する。デバイス20は、例えば、マルチチャネルステレオオーディオ信号(またはオブジェクトベースオーディオ信号または波動場合成アルゴリズム(WFS)に基づくオーディオ信号)などのオーディオ信号24を再生するように、および同時にサラウンドサウンドをエミュレートする(ステップ210を参照)ように構成される。ここでの再生デバイス20は、HRTFを使用して、およびルーム最適化された伝達関数TFを使用してオーディオ信号を処理する。
デバイス20は、HRTF/TFストレージを含み得るか、または、例えば、HRTFと、また上記の方法に従って決定されたルーム最適化された伝達関数TFとがその上に記憶されたデータベースに接続される。好ましい実施形態に対応して、オーディオ信号を処理する前に、HRTFとTFを組み合わせること(ステップ220を参照)、またはTFに基づいてHRTFを適応させることが行われる。組合せの結果は、BRIR(ルームインパルス応答)に匹敵する伝達関数BRIR’であり、これを使用して、オーディオ信号24は、サラウンドサウンドをエミュレートする(ステップ210を参照)ために最後に処理される。原則として、この処理は、オーディオ信号にBRIR’ベースのフィルタを適用することに対応する。したがって、再生するとき、合成されるルームとリスニングルームとの間に高い程度の整合があるように、リスニングルーム中で優勢な音響条件に応じて音声信号を反響させることと組み合わせてバイノーラル合成を実施することも可能である。したがって、合成されるルームはユーザの期待の範囲と(少なくとも近似的に)整合し、それにより、シーンの妥当性が高まる。
実施形態に対応して、デバイス20はまた、GPS受信機などの位置決定ユニットを含み得、それによってリスナーの現在位置が確認され得る。確認された位置から逸脱して、リスニングルームが決定され、リスニングルームに関連するルーム最適化された伝達関数TFがロードされ(、適用可能な場合、ルームの変化で更新され)得る。場合によっては、記憶されたとき、ルーム中のリスナーの位置に応じた音響効果の差異を示すために、この位置決定手段によってリスニングルーム中のリスナーの位置を決定することも可能である。この位置決定ユニットはまた、第3の実施形態に対応して、方向依存のリスニングルーム音響効果に達するために、リスナーの視覚の方向も決定され、決定された視覚の方向に応じてTFが対応してロードされ得るように、配向決定ユニットによって拡張され得る。
2つのユニット10および20のこの基本的考慮から開始して、次に図3の拡張された実施形態について説明する。図3は、TFを識別するためのデバイスと、TFを使用してオーディオ信号を再生するためのデバイスとを含むシステム10+20から開始する、バイノーラル合成とともに使用されるために適応されたルーム音響シミュレーションを聴取するときの信号フローの概略図を示す。
そのようなシステム10+20は、例えば、再生されるべきデータがその上に記憶されたモバイル端末(例えばスマートフォン)であるように実装され得る。システム10+20は、原則として図1aのデバイス10と図1bのデバイス20との組合せであり、個々の構成要素は、機能指向の説明のために異なって再分割される。
システム10+20は、リスニングルームを可聴化するための機能ユニット20aと、バイノーラル合成のための機能ユニット20bとを含む。さらに、システム10+20は、ルーム音響効果をモデル化するための機能ブロック10aと、伝達挙動をモデル化するための機能ブロック10bとを含む。ルーム音響効果をモデル化することは、今度は、ルーム音響効果を検出するための機能ブロック10cによって実施される、リスニングルームを検出することに基づく。さらに、システム10+20は、図示の実施形態では、2つのストレージ、すなわち、シーン位置データを記憶するためのストレージ30aと、HRTFデータを記憶するためのストレージ30bとを含む。引き続いて、再生するときの情報フローから開始して、システム10+20の機能について説明し、リスニングルームがシステム10+20に知られているか、または位置決定方法によってすでに決定されている(上記を参照)と仮定する。
ヘッドセット22を使用してチャネルベースまたはオブジェクトベースオーディオデータ24を再生するとき、あらかじめモデル化されたルーム伝達関数TFを信号24に適用し、反響のためにそれを有する第1のステップにおいて、オーディオデータが信号処理ユニット20aに供給される。ルーム伝達関数TFをモデル化することは信号処理ブロック10aにおいて行われ、モデリングは、以下で説明するように、モデリング伝達挙動(機能ブロック10bを参照)によって重畳され得る。
この第2の(随意の)機能ブロック10bは、それぞれのリスニングルームにおいて仮想ラウドスピーカーセットアップをモデル化する。したがって、音響挙動は、再生されるべきオーディオファイルがあるラウドスピーカーセットアップ(2.0、5.1、9.2)上で再生されたかのように、ユーザのためにエミュレートされ得る。ここで、特にラウドスピーカー位置がリスニングルームに固定式に接続され、例えば周波数応答および方向特性によって定義されたある伝達挙動、または変動するレベル挙動が、それぞれのラウドスピーカーに関連付けられる。ここで、ルーム中に、特殊な音源タイプ、例えばミラー音源を固定式に配置することが可能である。ラウドスピーカーセットアップは、仮想ラウドスピーカーの位置、距離またはタイプに関する情報を含むシーン位置データに基づいてモデル化される。このシーン位置データは、現実のラウドスピーカーセットアップに対応するか、または仮想ラウドスピーカーセットアップに基づき得、典型的にはユーザによって個別化され得る。
可聴化処理ユニット20aにおける反響の後に、残響信号はバイノーラル合成20bに供給され、バイノーラル合成20bは、方向HRTFフィルタのセット(30bを参照)によってラウドスピーカーに属するオーディオ素材上に仮想ラウドスピーカーの方向を印加する。バイノーラル合成システムは、上記で説明したように、場合によっては、リスナーによる頭部回転を評価し得る。その結果は、対応する等化によって特殊なヘッドセットに適応され得るヘッドセット信号であり、音響信号は、特定のラウドスピーカーセットアップによってそれぞれのリスニングルーム中に出力されたかのように挙動する。
システム10+20は、例えば、モバイル端末またはホームシネマシステムの構成要素であるように実装され得る。概して、適用の分野は、例えば、バイノーラル近距離音響変換器を介して映画のサウンドまたは演奏オーディオなどの音楽およびエンターテインメントコンテンツを再生することである。
ここで、代替実施形態に対応して、図2aのデバイス20はまた、シーン位置データに基づいてあるラウドスピーカーセットアップまたはあるラウドスピーカーセットアップのためのオーディオ信号の再生をエミュレートするように構成され得ることが指摘されるべきである。対応して、別の実施形態によれば、デバイス10は、このラウドスピーカーセットアップがデバイス20によってエミュレートされ得るように、(例えば音響測定を使用して)リスニングルーム12においてラウドスピーカーセットアップのシーン位置データを決定するように構成され得る。
いくつかの態様についてデバイスのコンテキストにおいて説明したが、これらの態様は、デバイスのブロックまたは要素がそれぞれの方法ステップまたは方法ステップの特徴にも対応するように、対応する方法の説明をも表すことが明らかである。同様に、方法ステップのコンテキストとともにまたはそれとして説明する態様も、対応するデバイスの対応するブロックまたはアイテムまたは特徴の説明を表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路のような、ハードウェア装置によって(またはそれを使用して)実行され得る。いくつかの実施形態では、最も重要な方法ステップのうちの一部または複数はそのような装置によって実行され得る。
本発明の符号化信号、例えばオーディオ信号またはビデオ信号またはトランスポート電流信号は、デジタル記憶媒体上に記憶され得るか、あるいは伝送媒体、例えばワイヤレス伝送媒体またはワイヤード伝送媒体、例えばインターネット上で送信され得る。
本発明の符号化オーディオ信号は、デジタル記憶媒体上に記憶され得るか、あるいは伝送媒体、例えばインターネットのようなワイヤレス伝送媒体またはワイヤード伝送媒体上で送信され得る。
いくつかの実装要件に応じて、本発明の実施形態はハードウェアまたはソフトウェアにおいて実装され得る。実装は、それぞれの方法が実施されるようにプログラマブルコンピュータシステムと協働するかまたは協働することが可能である、電子的に読取り可能な制御信号をその上に記憶した、デジタル記憶媒体、例えばフロッピーディスク、DVD、Blu−Rayディスク、CD、ROM、PROM、およびEPROM、EEPROMまたはFLASHメモリ、ハードドライブまたは別の磁気もしくは光メモリを使用して実施され得る。したがって、デジタル記憶媒体はコンピュータ可読であり得る。
本発明によるいくつかの実施形態は、本明細書で説明する方法のうちの1つが実施されるようにプログラマブルコンピュータシステムと協働することが可能である、電子的に読取り可能な制御信号を含むデータキャリアを含む。
概して、本発明の実施形態は、プログラムコードをもつコンピュータプログラム製品として実装され得、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するとき、方法のうちの1つを実施するように動作可能である。
プログラムコードは、例えば機械可読キャリア上に記憶され得る。
他の実施形態は、本明細書で説明する方法のうちの1つを実施するためのコンピュータプログラムを備え、コンピュータプログラムは機械可読キャリア上に記憶される。
言い換えれば、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で動作するとき、本明細書で説明する方法のうちの1つを実施するためのプログラムコードを備えるコンピュータプログラムである。
本発明の方法のさらなる実施形態は、したがって、本明細書で説明する方法のうちの1つを実施するためのコンピュータプログラムをその上に記録して備える、データキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。
本発明の方法のさらなる実施形態は、したがって、本明細書で説明する方法のうちの1つを実施するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成され得る。
さらなる実施形態は、本明細書で説明する方法のうちの1つを実施するように構成または適応された、処理手段、例えばコンピュータ、またはプログラマブル論理デバイスを備える。
さらなる実施形態は、本明細書で説明する方法のうちの1つを実施するためのコンピュータプログラムをその上にインストールしたコンピュータを備える。
本発明によるさらなる実施形態は、本明細書で説明する方法のうちの少なくとも1つを実施するためのコンピュータプログラムを受信機に転送するように構成されたデバイスまたはシステムを備える。送信は電子的または光学的に実施され得る。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備え得る。
いくつかの実施形態では、本明細書で説明する方法の機能の一部または全部を実施するためにプログラマブル論理デバイス(例えばフィールドプログラマブルゲートアレイ、FPGA)が使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明する方法のうちの1つを実施するためにマイクロプロセッサと協働し得る。概して、いくつかの実施形態では、本方法は、好ましくはどんなハードウェアデバイスによっても実施され得る。これは、コンピュータプロセッサ(CPU)など、一般的に適用可能なハードウェアであるか、またはASICなど、本方法に固有のハードウェアであり得る。
上記で説明した実施形態は、本発明の原理を例示するためのものにすぎない。本明細書で説明する構成および詳細の修正形態および変形形態は、他の当業者に明らかであることを理解されたい。したがって、本発明は、本明細書の実施形態の記述および説明として提示される特定の詳細によっては限定されず、添付の特許請求の範囲によってのみ限定されることが意図される。

Claims (20)

  1. リスニングルーム(12)のために導出され、空間的再生においてオーディオ信号(24)のルーム最適化された後処理に役立つ、前記リスニングルーム(12)のためのルーム最適化された伝達関数(TF)を決定するためのデバイス(10)であって、前記オーディオ信号(24)の前記空間的再生が、既知の頭部伝達関数(HRTF)を使用しておよび前記ルーム最適化された伝達関数(TF)を使用してバイノーラル近距離音響変換器(22)によってエミュレートされ、
    合成されるべきルームが、前記頭部伝達関数(HRTF)に基づいてエミュレートされ得、前記リスニングルーム(12)が、前記ルーム最適化された伝達関数(TF)に基づいてエミュレートされ得、
    前記デバイス(10)は、前記リスニングルーム(12)のルーム音響効果を分析するように、および前記ルーム音響効果を分析することから開始して、前記バイノーラル近距離音響変換器(22)による前記空間的再生が行われるべきである前記リスニングルーム(12)のために前記ルーム最適化された伝達関数(TF)を決定するように構成された、
    デバイス(10)。
  2. 前記デバイス(10)は音響測定のためのポータブルデバイスのマイクロフォン(14)を備え、ならびに/あるいは前記リスニングルーム(12)の前記ルーム音響効果の分析は、環境雑音を使用しておよび/またはテスト信号を使用して前記リスニングルーム(12)中の音響測定によって行われる、請求項1に記載のデバイス(10)。
  3. 前記リスニングルーム(12)の前記ルーム音響効果の前記分析は、前記リスニングルーム(12)の幾何学的モデルを計算することおよび/または前記リスニングルーム(12)のカメラベースのモデルに基づいて前記幾何学的モデルをモデル化することに基づく、請求項1に記載のデバイス(10)。
  4. 前記ルーム最適化された伝達関数(TF)は、前記リスニングルーム(12)のルーム音響効果がそれに基づいてエミュレートされ得るように選択される、請求項2または3に記載のデバイス(10)。
  5. 前記デバイス(10)は、いくつかの仮想ラウドスピーカーが前記リスニングルーム(12)中にそれに対応して配置される仮想ラウドスピーカーセットアップを考慮して、前記ルーム最適化された伝達関数(TF)を決定するように構成された、請求項1から4のいずれかに記載デバイス(10)。
  6. 前記既知の頭部伝達関数(HRTF)は、複数の仮想音源の方向ベクトルに関連する左耳および右耳のための複数の個々の伝達関数(TF)を含む、請求項1から5のいずれかに記載のデバイス(10)。
  7. 前記ルーム最適化された伝達関数(TF)は複数の個々の方向伝達関数(TF)を含む、請求項1から6のいずれかに記載のデバイス(10)。
  8. 前記空間的再生をエミュレートすることは、両耳間特徴と、バランス特徴と、距離特徴とに基づき、
    前記両耳間特徴は、中間平面における入射の方向と、個々または非個々の頭部フィルタ処理との間の連結を含み、前記バランス特徴は、入射の横方向とボリュームの差との間の連結および/または入射の前記横方向とランタイム差との間の連結を含み、前記距離特徴は、仮想距離と周波数依存フィルタ処理との間の連結および/または前記仮想距離と初期時間ギャップとの間の連結および/または前記仮想距離と反射挙動との間の連結を含む、
    請求項1から7のいずれかに記載のデバイス(10)。
  9. 前記バイノーラル近距離音響変換器(22)は、波動場合成アルゴリズムに基づいて前記オーディオ信号(24)としてマルチチャネルステレオ信号、オブジェクトベースオーディオ信号(24)および/またはオーディオ信号(24)を出力するように構成されたヘッドセットである、請求項1から8のいずれかに記載のデバイス(10)。
  10. 前記デバイス(10)は、複数のリスニングルーム(12)のための複数のルーム最適化された伝達関数ファミリー(TF)がその中に蓄積されるストレージを備える、請求項1から9のいずれかに記載のデバイス(10)。
  11. リスニングルーム(12)のために導出され、空間的再生においてオーディオ信号(24)のルーム最適化された後処理に役立つ、前記リスニングルーム(12)のためのルーム最適化された伝達関数(TF)を決定するための方法(100)であって、バイノーラル近距離音響変換器(22)によって前記オーディオ信号(24)の前記空間的再生が、既知の頭部伝達関数(HRTF)を使用しておよび前記ルーム最適化された伝達関数(TF)を使用してエミュレートされ、合成されるべきルームが、前記頭部伝達関数(HRTF)に基づいてエミュレートされ得、前記リスニングルーム(12)が、前記ルーム最適化された伝達関数(TF)に基づいてエミュレートされ得、
    前記リスニングルーム(12)の優勢なルーム音響効果を分析すること(120)と、
    前記ルーム音響効果を分析することに基づいて、前記バイノーラル近距離音響変換器(22)による空間的再生が行われるべきである前記リスニングルーム(12)のための前記ルーム最適化された伝達関数(TF)を決定すること(110)と
    を含む、方法(100)。
  12. バイノーラル近距離音響変換器(22)によるオーディオ信号(24)の空間的再生のためのデバイス(20)であって、前記空間的再生が、既知の頭部伝達関数(HRTF)を使用して、およびリスニングルーム(12)のためのルーム最適化された伝達関数(TF)を使用してエミュレートされ、
    合成されるべきルームが、前記頭部伝達関数(HRTF)に基づいてエミュレートされ得、前記リスニングルーム(12)が、前記ルーム最適化された伝達関数(TF)に基づいてエミュレートされ得、
    前記ルーム最適化された伝達関数(TF)が、前記それぞれのリスニングルーム(12)のためにあらかじめ決定されている、
    デバイス(20)。
  13. 前記デバイス(20)は、異なるリスニングルーム(12)のための第1の複数の伝達関数ファミリー(TF)がその中に記憶される第1のストレージと、位置決定ユニットとを備え、
    前記位置決定ユニットは、前記位置を識別するし、識別された前記位置を使用して前記リスニングルーム(12)を決定するように構成され、
    前記デバイス(20)は、前記空間的再生をエミュレートするために、前記伝達関数ファミリーから前記それぞれのリスニングルーム(12)のための対応する伝達関数(TF)を選択するように構成された、
    請求項12に記載のデバイス(20)。
  14. 前記デバイス(20)は、異なる配向のための第2の複数の伝達関数ファミリー(TF)がその中に記憶される第2のストレージと、配向決定ユニットとを備え、
    前記配向決定ユニットは、前記リスニングルーム(12)における配向を決定するように構成され、
    前記デバイス(20)は、前記空間的再生をエミュレートするために、前記伝達関数ファミリーから前記それぞれの配向のための前記対応する伝達関数(TF)を選択するように構成された、
    請求項12または13に記載のデバイス(20)。
  15. 前記デバイス(20)は、前記リスニングルーム(12)中の異なる位置のための第3の複数の伝達関数ファミリー(TF)がその中に記憶される第3のストレージと、別の位置決定ユニットとを備え、
    前記別の位置決定ユニットは、前記リスニングルーム(12)中の位置を決定するように構成され、
    前記デバイス(20)は、前記空間的再生をエミュレートするために、前記伝達関数ファミリーから前記リスニングルーム(12)中の前記それぞれの位置のための前記対応する伝達関数(TF)を選択するように構成された、
    請求項12から14のいずれかに記載のデバイス(20)。
  16. 前記位置決定ユニットは、再生しながら、前記位置を再び決定するように構成され、前記デバイス(20)は、前記更新された位置に基づいて前記ルーム最適化された伝達関数(TF)を更新するように構成された、請求項13から15のいずれかに記載のデバイス(20)。
  17. バイノーラル近距離音響変換器(22)によってオーディオ信号(24)を空間的に再生するための方法(200)であって、
    既知の頭部伝達関数(HRTF)を使用して、および前記バイノーラル近距離音響変換器(22)による再生が行われるべきであるリスニングルーム(12)のためにあらかじめ決定されている前記リスニングルーム(12)のためのルーム最適化された伝達関数(TF)を使用して前記オーディオ信号(24)を後処理する(210)ことを含み、合成されるべきルームが、前記頭部伝達関数(HRTF)に基づいてエミュレートされ得、前記リスニングルーム(12)は、前記ルーム最適化された伝達関数(TF)に基づいてエミュレートされ得る、
    方法(200)。
  18. 再生する前に、ルーム関連ルームインパルス応答(BRIR’)を形成するために前記頭部伝達関数(HRTF)と前記ルーム最適化された伝達関数(TF)とを組み合わせること(220)が行われる、請求項17に記載の方法(200)。
  19. 請求項1から10のいずれかに記載のデバイス(10)と、
    請求項13から16のいずれかに記載のデバイス(20)と
    を備えるシステム(10+20)。
  20. プログラムがコンピュータ、CPUまたはモバイル端末上で動作するとき、請求項11または17に記載の前記方法(100、200)を実施するためのプログラムコードを有するコンピュータプログラム。

JP2016569427A 2014-05-28 2015-05-15 ルーム最適化された伝達関数の決定および使用 Active JP6446068B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014210215.4A DE102014210215A1 (de) 2014-05-28 2014-05-28 Ermittlung und Nutzung hörraumoptimierter Übertragungsfunktionen
DE102014210215.4 2014-05-28
PCT/EP2015/060792 WO2015180973A1 (de) 2014-05-28 2015-05-15 Ermittlung und nutzung hörraumoptimierter übertragungsfunktionen

Publications (2)

Publication Number Publication Date
JP2017522771A true JP2017522771A (ja) 2017-08-10
JP6446068B2 JP6446068B2 (ja) 2018-12-26

Family

ID=53268781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016569427A Active JP6446068B2 (ja) 2014-05-28 2015-05-15 ルーム最適化された伝達関数の決定および使用

Country Status (7)

Country Link
US (1) US10003906B2 (ja)
EP (1) EP3149969B1 (ja)
JP (1) JP6446068B2 (ja)
KR (1) KR102008771B1 (ja)
CN (1) CN106576203B (ja)
DE (1) DE102014210215A1 (ja)
WO (1) WO2015180973A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146160A (ja) * 2018-01-07 2019-08-29 クリエイティブ テクノロジー リミテッドCreative Technology Ltd 頭部追跡をともなうカスタマイズされた空間音声を生成するための方法
WO2021106613A1 (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2021158426A (ja) * 2020-03-25 2021-10-07 ヤマハ株式会社 デバイスシステム、音質制御方法および音質制御プログラム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2546504B (en) * 2016-01-19 2020-03-25 Facebook Inc Audio system and method
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US10042595B2 (en) 2016-09-06 2018-08-07 Apple Inc. Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
US10187740B2 (en) * 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
US11197119B1 (en) 2017-05-31 2021-12-07 Apple Inc. Acoustically effective room volume
CN109286889A (zh) * 2017-07-21 2019-01-29 华为技术有限公司 一种音频处理方法及装置、终端设备
EP3454578B1 (en) * 2017-09-06 2020-11-04 Sennheiser Communications A/S A communication system for communicating audio signals between a plurality of communication devices in a virtual sound environment
US10764703B2 (en) 2018-03-28 2020-09-01 Sony Corporation Acoustic metamaterial device, method and computer program
ES2954317T3 (es) * 2018-03-28 2023-11-21 Fund Eurecat Técnica de reverberación para audio 3D
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
US10966046B2 (en) * 2018-12-07 2021-03-30 Creative Technology Ltd Spatial repositioning of multiple audio streams
US11418903B2 (en) 2018-12-07 2022-08-16 Creative Technology Ltd Spatial repositioning of multiple audio streams
US11113092B2 (en) 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
WO2020189263A1 (ja) 2019-03-19 2020-09-24 ソニー株式会社 音響処理装置、音響処理方法、および音響処理プログラム
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
EP4011099A1 (de) 2019-08-06 2022-06-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und verfahren zur unterstützung von selektivem hören
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11330371B2 (en) 2019-11-07 2022-05-10 Sony Group Corporation Audio control based on room correction and head related transfer function
US11070930B2 (en) * 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
CN111031467A (zh) * 2019-12-27 2020-04-17 中航华东光电(上海)有限公司 一种hrir前后方位增强方法
CN111372167B (zh) * 2020-02-24 2021-10-26 Oppo广东移动通信有限公司 音效优化方法及装置、电子设备、存储介质
US11356795B2 (en) 2020-06-17 2022-06-07 Bose Corporation Spatialized audio relative to a peripheral device
EP3945729A1 (de) * 2020-07-31 2022-02-02 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. System und verfahren zur kopfhörerentzerrung und raumanpassung zur binauralen wiedergabe bei augmented reality
US11982738B2 (en) 2020-09-16 2024-05-14 Bose Corporation Methods and systems for determining position and orientation of a device using acoustic beacons
US11523243B2 (en) * 2020-09-25 2022-12-06 Apple Inc. Systems, methods, and graphical user interfaces for using spatialized audio during communication sessions
US11696084B2 (en) 2020-10-30 2023-07-04 Bose Corporation Systems and methods for providing augmented audio
US11700497B2 (en) 2020-10-30 2023-07-11 Bose Corporation Systems and methods for providing augmented audio
CN112584277B (zh) * 2020-12-08 2022-04-22 北京声加科技有限公司 一种室内音频均衡的方法
WO2022231338A1 (en) * 2021-04-28 2022-11-03 Samsung Electronics Co., Ltd. A portable receiving device of calibrating device configurations using room geometry and a system including the same
KR102652559B1 (ko) * 2021-11-24 2024-04-01 주식회사 디지소닉 음향실 및 이를 이용한 brir 획득 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
JP4990774B2 (ja) * 2004-09-01 2012-08-01 スミス リサーチ エルエルシー 個人化されたヘッドフォン仮想化処理
JP2014505420A (ja) * 2011-01-05 2014-02-27 コーニンクレッカ フィリップス エヌ ヴェ オーディオ・システムおよびその動作方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10249416B4 (de) * 2002-10-23 2009-07-30 Siemens Audiologische Technik Gmbh Verfahren zum Einstellen und zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät
JP2005223713A (ja) * 2004-02-06 2005-08-18 Sony Corp 音響再生装置、音響再生方法
CN102440003B (zh) * 2008-10-20 2016-01-27 吉诺迪奥公司 音频空间化和环境仿真
WO2012168765A1 (en) * 2011-06-09 2012-12-13 Sony Ericsson Mobile Communications Ab Reducing head-related transfer function data volume
US9293151B2 (en) * 2011-10-17 2016-03-22 Nuance Communications, Inc. Speech signal enhancement using visual information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4990774B2 (ja) * 2004-09-01 2012-08-01 スミス リサーチ エルエルシー 個人化されたヘッドフォン仮想化処理
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
JP2014505420A (ja) * 2011-01-05 2014-02-27 コーニンクレッカ フィリップス エヌ ヴェ オーディオ・システムおよびその動作方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146160A (ja) * 2018-01-07 2019-08-29 クリエイティブ テクノロジー リミテッドCreative Technology Ltd 頭部追跡をともなうカスタマイズされた空間音声を生成するための方法
JP7071297B2 (ja) 2018-01-07 2022-05-18 クリエイティブ テクノロジー リミテッド 頭部追跡をともなうカスタマイズされた空間音声を生成するための方法
US11785412B2 (en) 2018-01-07 2023-10-10 Creative Technology Ltd. Method for generating customized spatial audio with head tracking
US12022277B2 (en) 2018-01-07 2024-06-25 Creative Technology Ltd Method for generating customized spatial audio with head tracking
WO2021106613A1 (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
US12108242B2 (en) 2019-11-29 2024-10-01 Sony Group Corporation Signal processing device and signal processing method
JP2021158426A (ja) * 2020-03-25 2021-10-07 ヤマハ株式会社 デバイスシステム、音質制御方法および音質制御プログラム
JP7463796B2 (ja) 2020-03-25 2024-04-09 ヤマハ株式会社 デバイスシステム、音質制御方法および音質制御プログラム

Also Published As

Publication number Publication date
CN106576203A (zh) 2017-04-19
KR20170013931A (ko) 2017-02-07
JP6446068B2 (ja) 2018-12-26
DE102014210215A1 (de) 2015-12-03
WO2015180973A1 (de) 2015-12-03
CN106576203B (zh) 2020-02-07
KR102008771B1 (ko) 2019-08-09
EP3149969B1 (de) 2019-09-18
EP3149969A1 (de) 2017-04-05
US20170078820A1 (en) 2017-03-16
US10003906B2 (en) 2018-06-19

Similar Documents

Publication Publication Date Title
JP6446068B2 (ja) ルーム最適化された伝達関数の決定および使用
US8855341B2 (en) Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
US10349197B2 (en) Method and device for generating and playing back audio signal
CN113630711B (zh) 使用元数据处理的耳机的双耳呈现
KR101547035B1 (ko) 다중 마이크에 의한 3차원 사운드 포착 및 재생
US9769589B2 (en) Method of improving externalization of virtual surround sound
RU2595943C2 (ru) Аудиосистема и способ оперирования ею
CA2699004C (en) A method and an apparatus of decoding an audio signal
US11317233B2 (en) Acoustic program, acoustic device, and acoustic system
CN112005559B (zh) 改进环绕声的定位的方法
KR20050083928A (ko) 오디오 데이터를 처리하기 위한 방법 및 이에 따른 사운드수집 장치
CN113196805A (zh) 用于获得及再现双声道录音的方法
US20230104111A1 (en) Determining a virtual listening environment
US20240312468A1 (en) Spatial Audio Upscaling Using Machine Learning
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20240097694A (ko) 임펄스 응답 결정 방법 및 상기 방법을 수행하는 전자 장치
WO2024089036A1 (en) Audio signal processor and related method and computer program for generating a two-channel audio signal using a smart determination of the single-channel acoustic data

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181130

R150 Certificate of patent or registration of utility model

Ref document number: 6446068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250