JP2010531605A - バイノーラル型オブジェクト指向オーディオデコーダ - Google Patents

バイノーラル型オブジェクト指向オーディオデコーダ Download PDF

Info

Publication number
JP2010531605A
JP2010531605A JP2010514202A JP2010514202A JP2010531605A JP 2010531605 A JP2010531605 A JP 2010531605A JP 2010514202 A JP2010514202 A JP 2010514202A JP 2010514202 A JP2010514202 A JP 2010514202A JP 2010531605 A JP2010531605 A JP 2010531605A
Authority
JP
Japan
Prior art keywords
parameter
transfer function
head
related transfer
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010514202A
Other languages
English (en)
Other versions
JP5752414B2 (ja
JP2010531605A5 (ja
Inventor
ディルク ジェイ ブレーバールト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2010531605A publication Critical patent/JP2010531605A/ja
Publication of JP2010531605A5 publication Critical patent/JP2010531605A5/ja
Application granted granted Critical
Publication of JP5752414B2 publication Critical patent/JP5752414B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

頭部伝達関数パラメータに基づいて少なくとも1つのオーディオオブジェクトをデコード及び再生するためのデコード手段を有する、バイノーラル型オブジェクト指向オーディオデコーダが提案される。前記デコード手段は、仮想的な3次元空間においてオーディオオブジェクトを配置するように構成される。前記頭部伝達関数パラメータは、仰角パラメータ、方位角パラメータ及び距離パラメータに基づく。前記パラメータは、前記仮想的な3次元空間における前記オーディオオブジェクトの位置に対応する。前記バイノーラル型オブジェクト指向オーディオデコーダは、前記頭部伝達関数パラメータを受信するように構成され、前記受信された頭部伝達関数パラメータは、前記仰角パラメータ及び方位角パラメータに対してのみ変化する。前記バイノーラル型オブジェクト指向オーディオデコーダは、受信された所望の距離パラメータに従って、前記受信された頭部伝達関数パラメータを修正するための距離処理手段を特徴とする。前記修正された頭部伝達関数パラメータは、前記所望の距離において前記3次元空間において前記オーディオオブジェクトを配置するために利用される。前記頭部伝達関数パラメータの修正は、前記受信された頭部伝達関数パラメータについての所定の距離パラメータに基づく。

Description

本発明は、頭部伝達関数パラメータに基づいて少なくとも1つのオーディオオブジェクトをデコード及び再生するためのデコード手段を有する、バイノーラル型オブジェクト指向オーディオデコーダであって、前記デコード手段は、仮想的な3次元空間においてオーディオオブジェクトを配置するように構成され、前記頭部伝達関数パラメータは、仰角パラメータ、方位角パラメータ及び距離パラメータに基づくものであり、前記パラメータは、前記仮想的な3次元空間における前記オーディオオブジェクトの位置に対応し、前記バイノーラル型オブジェクト指向オーディオデコーダは、前記頭部伝達関数パラメータを受信するように構成され、前記受信された頭部伝達関数パラメータは、前記仰角パラメータ及び方位角パラメータに対してのみ変化するものであるバイノーラル型オブジェクト指向オーディオデコーダに関する。
3次元音源配置(positioning)は、ますます関心の高いものとなっている。このことは、モバイルの分野において特に当てはまる。モバイルゲームにおける音楽再生及び音声効果は、3次元空間に位置において配置されると、消費者に著しい体験を付加し得る。伝統的に、3次元配置は、F. L. Wightman及びD. J. Kistlerによる「Headphone simulation of free-field listening. I. Stimulus synthesis」(J. Acoust. Soc. Am., 85:858-867, 1989年)に記載されるように、いわゆる頭部伝達関数(HRTF)を利用する。
これら関数は、インパルス応答又は頭部伝達関数によって、特定の音源位置から鼓膜までの伝達を記述する。
MPEG標準化団体において、3次元バイノーラル型デコード及び再生方法が標準化されている。この方法は、従来のステレオ入力信号か又はモノラル入力信号からの、バイノーラル型ステレオ出力オーディオの生成を有する。このいわゆるバイノーラル型デコード方法は、Breebaart, J.、Herre, J.、Villemoes, L.、Jin, C.、Kjorling, K.、Plogsties, J.及びKoppens, J.による(2006年)、「Multi-channel goes mobile: MPEG Surround binaural rendering」(Proc. 29th AES conference、Seoul、韓国)より知られている。一般に、頭部伝達関数及び該関数のパラメータ表現は、仰角、方位角及び距離の関数として変化する。しかしながら、測定データの量を低減させるために、頭部伝達関数パラメータは主に、約1乃至2メートルの固定距離で測定される。開発されている3次元バイノーラル型デコーダにおいては、頭部伝達関数パラメータを該デコーダに供給するためのインタフェースが定義されている。このようにして、消費者は、別の頭部伝達関数を選択するか、又は自身のものを供給するかを選択することができる。しかしながら、現在のインタフェースは、仰角及び/又は方位角のパラメータのみという限られたセットに対してしか定義されていないという欠点を持つ。このことは、音源を異なる距離で配置する効果が包含されず、仮想的な音源の知覚される距離を消費者が修正できないことを意味する。更に、MPEGサラウンド規格が種々の仰角及び距離の値に対する頭部伝達関数パラメータのためのインタフェースを提供するとしても、HRTFが殆どの場合固定された距離でのみ測定され、距離に対する依存性が事前に知られないため、必要とされる測定データは多くの場合利用可能ではない。
本発明の目的は、空間におけるオブジェクトの任意の仮想的な配置を可能とする、拡張されたバイノーラル型オブジェクト指向オーディオデコーダを提供することにある。
本目的は、請求項1において定義された本発明によるバイノーラル型オブジェクト指向オーディオデコーダにより達成される。該バイノーラル型オブジェクト指向オーディオデコーダは、少なくとも1つのオーディオオブジェクトをデコード及び再生するためのデコード手段を有する。該デコード及び再生は、頭部伝達関数パラメータに基づく。該デコード及び再生は(しばしば1つの段に組み合わせられる)、仮想的な3次元空間においてデコードされるオーディオオブジェクトを配置するために利用される。頭部伝達関数パラメータは、仰角パラメータ、方位角パラメータ及び距離パラメータに基づく。これらパラメータは、該3次元空間におけるオーディオオブジェクトの(所望の)位置に対応する。該バイノーラル型オブジェクト指向オーディオデコーダは、仰角パラメータと方位角パラメータとに対してのみ変化する頭部伝達関数パラメータを受信するように構成される。
頭部伝達関数パラメータに対する距離効果が提供されないという欠点を克服するため、本発明は、受信された所望の距離に従って、受信された頭部伝達関数パラメータを修正することを提案する。該修正された頭部伝達関数パラメータは、所望の距離において、該3次元空間においてオーディオオブジェクトを配置するために利用される。頭部伝達関数パラメータの該修正は、該受信された頭部伝達関数パラメータに対する所定の距離パラメータに基づく。
本発明によるバイノーラル型オブジェクト指向オーディオデコーダの利点は、頭部伝達関数パラメータが、前記所定の距離から所望の距離へとこれらパラメータを修正することによって得られる距離パラメータによって拡張されることができる点である。該拡張は、頭部伝達関数パラメータの決定の間に利用された距離パラメータの明示的な提供なく実現される。このようにして、該バイノーラル型オブジェクト指向オーディオデコーダは、仰角及び方位角パラメータのみの使用という本質的な限界のないものとなる。この特性は、殆どの頭部伝達関数パラメータが変化する距離パラメータを全く組み入れないものであり、仰角、方位角及び距離の関数としての頭部伝達関数パラメータの測定が非常に高価で時間の掛かるものであるため、非常に価値のあるものである。更に、頭部伝達関数パラメータを保存するために必要とされるデータの量が、距離パラメータが含まれない場合には大きく低減される。
更なる利点は以下のとおりである。提案される本発明によれば、非常に小さな計算のオーバヘッドのみを伴って、正確な距離処理が達成される。ユーザは、オーディオオブジェクトの知覚される距離をその場で修正することができる。距離の修正はパラメータドメインで実行され、頭部伝達関数インパルス応答に対する距離修正操作(従来の3次元合成方法を利用する場合)に比べて、著しい複雑度の低減に帰着する。更に、距離修正は、元の頭部インパルス応答が利用可能でなくても利用されることができる。
一実施例においては、前記距離処理手段は、前記オーディオオブジェクトに対応する前記距離パラメータに増大に伴って、前記頭部伝達関数パラメータの前記レベルパラメータを減少させるように構成される。本実施例によれば、距離の変化が、現実に起こっているかのように、頭部伝達関数パラメータに適切な影響を与える。
一実施例においては、前記距離処理手段は、スケール因子によるスケーリングを利用するように構成され、前記スケール因子は、前記所定の距離パラメータ及び前記所望の距離の関数である。スケーリングの利点は、計算の労力がスケール因子の計算及び単純な乗算に限定される点である。該乗算は、大きな計算のオーバヘッドをもたらさない、非常に単純な演算である。
一実施例においては、前記スケール因子は、前記所定の距離パラメータと前記所望の距離との比である。斯かる計算の方法により、スケール因子が非常に単純且つ十分に正確なものとなる。
一実施例においては、前記スケール因子は、2つの耳のそれぞれについて計算され、各前記スケール因子は、前記2つの耳についての経路長の差を組み入れる。この計算の方法により、スケール因子が距離のモデリング/修正についての更なる精度を提供する。
一実施例においては、前記所定の距離パラメータは、約2メートルの値をとる。前述したように、測定データの量を低減するために、頭部伝達関数パラメータは主に約1乃至2メートルの固定距離で測定される。なぜなら、2メートルを超えると、HRTFの両耳間特性が、実質的に距離に対して一定となることが知られているからである。
一実施例においては、前記所望の距離パラメータは、オブジェクト指向オーディオデコーダにより供給される。このことは、該デコーダが、3次元空間におけるオーディオオブジェクトの位置を適切に再現することを可能とする。
一実施例においては、前記所望の距離パラメータは、専用のインタフェースによってユーザにより供給される。このことは、デコードされたオーディオオブジェクトを、ユーザが3次元空間において該ユーザが望むとおりに自由に配置することを可能とする。
一実施例においては、前記デコード手段は、MPEGサラウンド規格に従うデコーダを有する。この特性は、既存のMPEGサラウンドデコーダの再利用を可能とし、該デコーダが、さもなければ利用可能ではないような新たな特徴を得ることを可能とする。
本発明は更に、方法及び本発明による方法をプログラム可能な装置が実行することを可能とするコンピュータプログラムを提供する。
本発明のこれらの及び他の態様は、図面に示される実施例を参照しながら説明され明らかとなるであろう。
図面を通して、同一の参照番号は類似する又は対応する特徴を示す。図面に示される特徴の幾つかは、典型的にソフトウェアで実装され、それ自体がソフトウェアモジュール又はオブジェクトのようなソフトウェアエンティティを表す。
所定の距離パラメータについての頭部伝達関数パラメータを、所望の距離についての新たな頭部伝達関数パラメータへと修正するための距離処理手段を有する、オブジェクト指向オーディオデコーダを模式的に示す。 同側耳、対側耳、及びオーディオオブジェクトの知覚される位置を模式的に示す。 本発明の幾つかの実施例によるデコードの方法についてのフロー図を示す。
図1は、所定の距離パラメータについての頭部伝達関数パラメータを、所望の距離についての新たな頭部伝達関数パラメータへと修正するための距離処理手段200を有する、オブジェクト指向オーディオデコーダ500を模式的に示す。デコーダ装置100は、現在標準化されているバイノーラル型オブジェクト指向オーディオデコーダを表す。該デコーダ装置100は、頭部伝達関数パラメータに基づいて少なくとも1つのオーディオオブジェクトをデコード及び再生するためのデコード手段を有する。デコード手段の例は、QMF解析ユニット110、パラメータ変換ユニット120、空間合成ユニット130及びQMF合成ユニット140を有する。バイノーラル型オブジェクト指向デコードの詳細は、Breebaart, J.、Herre, J. 、Villemoes, L. 、Jin, C. 、Kjoerling, K. 、Plogsties, J. 及びKoppens, J.による (2006年)、「Multi-channel goes mobile: MPEG Surround binaural rendering」(Proc. 29th AES conference、Seoul、韓国)並びにISO/IEC JTC1/SC29/WG11 N8853:「Call for proposals on Spatial Audio Object Coding」に示される。
ダウンミクス101がデコード手段へと供給されると、該デコード手段は、パラメータ変換ユニット120へと供給されるような、オブジェクトパラメータ102と頭部伝達関数パラメータとに基づいて該ダウンミクスからオーディオオブジェクトをデコード及び再生する。該デコード及び再生は(しばしば1つの段に組み合わせられる)は、仮想的な3次元空間において該デコードされるオーディオオブジェクトを配置する。
より具体的には、ダウンミクス101は、QMF解析ユニット110に供給される。該ユニットにより実行される処理は、Breebaart, J.、van de Par, S.、Kohlrausch, A.及びSchuijers, E.による(2005年)、「Parametric coding of stereo audio」(Eurasip J. Applied Signal Proc.、issue 9: special issue on anthropomorphic processing of audio and speech、1305-1322)に記載されている。
オブジェクトパラメータ102は、パラメータ変換ユニット120に供給される。該パラメータ変換ユニットは、受信されたHRTFパラメータに基づいて、該オブジェクトパラメータをバイノーラルパラメータ104へと変換する。該バイノーラルパラメータは、全てが仮想空間における自身の位置を持つ1つ以上のオブジェクト信号から同時にもたらされる、レベル差、位相差及びコヒーレンス値を有する。バイノーラルパラメータについての詳細は、Breebaart, J.、Herre, J. 、Villemoes, L. 、Jin, C. 、Kjoerling, K. 、Plogsties, J. 及びKoppens, J.による (2006年)、「Multi-channel goes mobile: MPEG Surround binaural rendering」(Proc. 29th AES conference、Seoul、韓国)並びにBreebaart, J.及びFaller, C.による「Spatial audio processing: MPEG Surround and other applications」(John Wiley & Sons,、2007年)に見出される。
QMF解析ユニットの出力及びバイノーラルパラメータは、空間合成ユニット130へと供給される。該ユニットにより実行される処理は、Breebaart, J.、van de Par, S.、Kohlrausch, A.及びSchuijers, E.による(2005年)、「Parametric coding of stereo audio」(Eurasip J. Applied Signal Proc.、issue 9: special issue on anthropomorphic processing of audio and speech、1305-1322)に記載されている。続いて、空間合成ユニット130の出力は、3次元ステレオ出力を生成するQMF合成ユニット140へと供給される。
頭部伝達関数(HRTF)パラメータは、仰角パラメータ、方位角パラメータ及び距離パラメータに基づくものである。これらパラメータは、3次元空間におけるオーディオオブジェクトの(所望の)位置に対応する。
開発されているバイノーラル型オブジェクト指向オーディオデコーダ100においては、頭部伝達関数パラメータを該デコーダに供給するために、パラメータ変換ユニット120へのインタフェースが定義されている。しかしながら、現在のインタフェースは、仰角及び/又は方位角のパラメータのみという限られたセットに対してしか定義されていないという欠点を持つ。
頭部伝達関数パラメータに対する距離の効果を実現するために、本発明は、受信された所望の距離パラメータに従って、受信された頭部伝達関数パラメータを修正することを提案する。HRTFパラメータの該修正は、該受信されたHRTFパラメータに対する、所定の距離パラメータに基づく。該修正は、距離処理手段200において実行される。HRTFパラメータ201は、オーディオオブジェクト202毎の所望の距離と共に、距離処理手段200に供給される。該距離処理手段により生成された、修正された頭部伝達関数パラメータ103は、パラメータ変換ユニット120に供給され、該所望の距離において仮想的な3次元空間においてオーディオオブジェクトを配置するために利用される。
本発明によるバイノーラル型オブジェクト指向オーディオデコーダの利点は、頭部伝達関数パラメータが、該パラメータを所定の距離から所望の距離へと修正することによって得られる距離パラメータにより拡張されることができる点である。該拡張は、頭部伝達関数パラメータの決定の間に利用された距離パラメータの明示的な提供なく実現される。このようにして、該バイノーラル型オブジェクト指向オーディオデコーダ500は、デコーダ装置100の場合におけるような、仰角及び方位角パラメータのみを利用するという本質的な限定から解放されたものとなる。この特性は、殆どの頭部伝達関数パラメータは変化する距離パラメータを全く組み入れないものであり、仰角、方位角及び距離の関数としての頭部伝達関数パラメータの測定は非常に高価であるため、非常に価値のあるものである。更に、距離パラメータが含められない場合には、頭部伝達関数パラメータを保存するために必要とされるデータの量が大きく低減される。
更なる利点は以下のとおりである。提案される本発明を用いれば、非常に限られた計算オーバヘッドで、正確な距離処理が実現される。ユーザは、オーディオオブジェクトの知覚される距離を、その場で修正することができる。距離の修正はパラメータドメインで実行され、頭部伝達関数インパルス応答に対する距離修正(従来の3次元合成方法を利用する場合)に比べると、著しい複雑さの低減に帰着する。更に、距離修正は、元の頭部インパルス応答の利用可能性がなくとも適用され得る。
図2は、同側耳、対側耳、及びオーディオオブジェクトの知覚される位置を模式的に示す。オーディオオブジェクトは、位置320に仮想的に配置される。該オーディオオブジェクトは、各耳のオーディオオブジェクトに対する距離302及び030に依存して、ユーザの同側耳(左耳)及び対側耳(右耳)によって異なって知覚される。ユーザの基準距離301は、該オーディオオブジェクトの位置に対する、同側耳と対側耳との間の間隔の中心から測定される。
一実施例においては、頭部伝達関数パラメータは少なくとも、同側耳についてのレベル、対側耳についてのレベル、及び同側耳と対側耳との間の位相差を有し、これらパラメータが該オーディオオブジェクトの知覚される位置を決定する。これらパラメータは、周波数帯インデクスb、仰角e、及び方位角aの各組み合わせについて決定される。同側耳についてのレベルはP(a,e,b)により示され、対側耳についてのレベルはP(a,e,b)により示され、同側耳と対側耳との間の位相差はφ(a,e,b)により示される。HRTFについての詳細な情報は、F. L. Wightman及びD. J. Kistlerによる「Headphone simulation of free-field listening. I. Stimulus synthesis」(J. Acoust. Soc. Am., 85:858-867, 1989年)に見出される。周波数帯毎のレベルパラメータが、仰角(スペクトル中の特定のピーク及び谷により)と方位角についてのレベル差(各帯についてのレベルパラメータの比により決定される)との両方を容易化する。絶対位相値又は位相差値が、両耳間の到着時間差を捕捉し、オーディオオブジェクトの方位角についての重要な手掛かりともなる。
距離処理手段200は、所与の仰角e、方位角a及び周波数帯b、並びに所望の距離dについてのHRTFパラメータ201を受信し、これらは数字202により示される。距離処理手段200の出力は、パラメータ変換ユニット120への入力103として用いられる、修正されたHRTFパラメータP'(a,e,b)、P'(a,e,b)及びφ'(a,e,b)を有する:
Figure 2010531605
ここで、インデクスiは同側耳について利用され、インデクスcは対側耳について利用され、dは所望の距離であり、関数
Figure 2010531605
は、必要な修正処理を表す。オーディオオブジェクトに対する距離の変化に対して位相差は変化しないため、レベルのみが修正される点は、留意されるべきである。
一実施例においては、該距離処理手段は、オーディオオブジェクトに対応する距離パラメータの増大に伴って、頭部伝達関数パラメータのレベルパラメータを減少させるように構成される。本実施例を用いると、距離の変動が、現実に実際に起こったかのように、頭部伝達関数パラメータに適切に影響を与える。
一実施例においては、該距離処理手段は、所定の距離パラメータdref301及び所望の距離dの関数であるスケール因子によるスケーリングを利用するように構成される:
Figure 2010531605
ここで、レベルのインデクスXは、同側耳及び対側耳に対してそれぞれ値i又はcをとる。
スケール因子g及びgは、距離の関数としてHRTFパラメータPの変化を予測する特定の距離モデルG(a,e,b,d)に起因する:
Figure 2010531605
ここでdは所望の距離であり、drefはHRTF測定301の距離である。該スケーリングの利点は、計算労力がスケール因子計算及び単純な乗算に限定される点である。該乗算は、大きな計算オーバヘッドをもたらさない非常に単純な演算である。
一実施例においては、該スケール因子は、所定の距離パラメータdrefと所望の距離dとの比である:
Figure 2010531605
斯かるスケール因子の計算の方法は、非常に単純であり且つ十分に正確である。
一実施例においては、該スケール因子は2つの目のそれぞれについて計算され、各スケール因子が、2つの目についての経路長の差、即ち経路302と303との間の差を組み入れる。このとき、同側耳及び対側耳についてのスケール因子は、
Figure 2010531605
と表される。ここでβは、頭部の半径(典型的には8乃至9cm)である。この計算の方法により、スケール因子が、距離モデリング/修正に対して更なる精度をもたらす。
代替としては、関数
Figure 2010531605
が、HRTFパラメータP及びPに対して適用されるスケール因子gとしての乗算として実装されるのではなく、距離の増大につれてP及びPの値を減少させるより一般的な関数である。例えば、
Figure 2010531605
であり、ここでεは、非常に小さな距離における挙動に影響を与え、ゼロによる除算を防ぐための変数である。
一実施例においては、所定の距離パラメータは約2メートルの値をとり、この仮定についての説明としては、A. Kan、C. Jin及びA. van Schaikによる「Psychoacoustic evaluation of a new method for simulating near-field virtual auditory space」(Proc. 120th AES convention、Paris、フランス国、2006年)を参照されたい。前述したように、測定データの量を低減するため、頭部伝達関数パラメータは主に、約1乃至2メートルの固定距離で測定される。0乃至2メートルの範囲内の距離の変動は、頭部伝達関数パラメータの著しいパラメータ変化に帰着することは、留意されるべきである。
一実施例においては、所望の距離パラメータは、オブジェクト指向オーディオエンコーダにより供給される。このことは、デコーダが、3次元空間におけるオーディオオブジェクトの位置を、録音/エンコードの時点に該オブジェクトがあった位置に、適切に再現することを可能とする。
一実施例においては、所望の距離パラメータは、ユーザにより専用のインタフェースによって供給される。このことは、ユーザが、デコードされたオーディオオブジェクトを、該ユーザが望むとおりに3次元空間において自由に配置することを可能とする。
一実施例においては、デコード手段100は、MPEGサラウンド規格に従うデコーダを有する。この特性は、既存のMPEGサラウンドデコーダの再利用を可能とし、該デコーダが、さもなければ利用可能ではないような新たな特徴を得ることを可能とする。
図3は、本発明の幾つかの実施例によるデコードの方法についてのフロー図を示す。ステップ410において、対応するオブジェクトパラメータとのダウンミクスが受信される。ステップ420において、所望の距離及びHRTFパラメータが取得される。続いてステップ430において、距離処理が実行される。該ステップの結果、所定の距離パラメータについてのHRTFパラメータが、受信された所望の距離についての修正されたHRTFパラメータへと変換される。ステップ440において、受信されたダウンミクスが、受信されたオブジェクトパラメータに基づいてデコードされる。ステップ450において、デコードされたオーディオオブジェクトが、該修正されたHRTFパラメータに従って3次元空間に配置される。最後の2つのステップは、効率の理由のために1つのステップへと結合されても良い。
一実施例においては、コンピュータプログラムが本発明による方法を実行する。
一実施例においては、オーディオ再生装置が、本発明によるバイノーラル型オブジェクト指向オーディオデコーダを有する。
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。
添付する請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する(comprising)」なる語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素に先行する「1つの(a又はan)」なる語は、複数の斯かる要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。

Claims (16)

  1. 頭部伝達関数パラメータに基づいて少なくとも1つのオーディオオブジェクトをデコード及び再生するためのデコード手段を有する、バイノーラル型オブジェクト指向オーディオデコーダであって、前記デコード手段は、仮想的な3次元空間においてオーディオオブジェクトを配置するように構成され、前記頭部伝達関数パラメータは、仰角パラメータ、方位角パラメータ及び距離パラメータに基づくものであり、前記パラメータは、前記仮想的な3次元空間における前記オーディオオブジェクトの位置に対応し、前記バイノーラル型オブジェクト指向オーディオデコーダは、前記頭部伝達関数パラメータを受信するように構成され、前記受信された頭部伝達関数パラメータは、前記仰角パラメータ及び方位角パラメータに対してのみ変化するものであり、前記バイノーラル型オブジェクト指向オーディオデコーダは、受信された所望の距離パラメータに従って、前記受信された頭部伝達関数パラメータを修正するための距離処理手段を特徴とし、前記修正された頭部伝達関数パラメータは、前記所望の距離において前記3次元空間において前記オーディオオブジェクトを配置するために利用され、前記頭部伝達関数パラメータの修正は、前記受信された頭部伝達関数パラメータについての所定の距離パラメータに基づくものである、バイノーラル型オブジェクト指向オーディオデコーダ。
  2. 前記頭部伝達関数パラメータは、少なくとも同側耳についてのレベルパラメータ、対側耳についてのレベルパラメータ、及び同側耳と対側耳との間の位相差を有し、前記パラメータは前記オーディオオブジェクトの知覚される位置を決定する、請求項1に記載のバイノーラル型オブジェクト指向オーディオデコーダ。
  3. 前記距離処理手段は、前記オーディオオブジェクトに対応する前記距離パラメータに増大に伴って、前記頭部伝達関数パラメータの前記レベルパラメータを減少させるように構成された、請求項2に記載のバイノーラル型オブジェクト指向オーディオデコーダ。
  4. 前記距離処理手段は、スケール因子によるスケーリングを利用するように構成され、前記スケール因子は、前記所定の距離パラメータ及び前記所望の距離の関数である、請求項3に記載のバイノーラル型オブジェクト指向オーディオデコーダ。
  5. 前記スケール因子は、前記所定の距離パラメータと前記所望の距離との比である、請求項4に記載のバイノーラル型オブジェクト指向オーディオデコーダ。
  6. 前記スケール因子は、2つの耳のそれぞれについて計算され、各前記スケール因子は、前記2つの耳についての経路長の差を組み入れた、請求項4に記載のバイノーラル型オブジェクト指向オーディオデコーダ。
  7. 前記所定の距離パラメータは、約2メートルの値をとる、請求項3に記載のバイノーラル型オブジェクト指向オーディオデコーダ。
  8. 前記所望の距離パラメータは、オブジェクト指向オーディオエンコーダにより供給される、請求項1に記載のバイノーラル型オブジェクト指向オーディオデコーダ。
  9. 前記所望の距離パラメータは、専用のインタフェースによってユーザにより供給される、請求項1に記載のバイノーラル型オブジェクト指向オーディオデコーダ。
  10. 前記デコード手段は、MPEGサラウンド規格に従うデコーダを有する、請求項1に記載のバイノーラル型オブジェクト指向オーディオデコーダ。
  11. 頭部伝達関数パラメータに基づいて少なくとも1つのオーディオオブジェクトをデコード及び再生するステップを有する、オーディオをデコードする方法であって、前記デコード及び再生するステップは、仮想的な3次元空間においてオーディオオブジェクトを配置するステップを有し、前記頭部伝達関数パラメータは、仰角パラメータ、方位角パラメータ及び距離パラメータに基づくものであり、前記パラメータは、前記仮想的な3次元空間における前記オーディオオブジェクトの位置に対応し、前記デコード及び再生は、受信された頭部伝達関数パラメータに基づくものであり、前記受信された頭部伝達関数パラメータは、前記仰角パラメータ及び方位角パラメータに対してのみ変化するものであり、前記オーディオをデコードする方法は、受信された所望の距離パラメータに従って、前記受信された頭部伝達関数パラメータを修正するステップを特徴とし、前記修正された頭部伝達関数パラメータは、前記所望の距離において前記3次元空間において前記オーディオオブジェクトを配置するために利用され、前記頭部伝達関数パラメータの修正は、前記受信された頭部伝達関数パラメータについての所定の距離パラメータに基づくものである方法。
  12. 前記頭部伝達関数パラメータの修正は、前記頭部伝達関数パラメータのレベルパラメータの減少が、前記オーディオオブジェクトに対応する前記距離パラメータの増大を引き起こすように為される、請求項11に記載のオーディオをデコードする方法。
  13. 前記頭部伝達関数パラメータの修正は、スケール因子によるスケーリングによって実行され、前記スケール因子は、前記所定の距離パラメータ及び前記所望の距離の関数である、請求項12に記載のオーディオをデコードする方法。
  14. 前記デコード及び再生は、バイノーラル型MPEGサラウンド規格に従って実行される、請求項11に記載のオーディオをデコードする方法。
  15. 請求項11乃至14のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
  16. 請求項1に記載のバイノーラル型オブジェクト指向オーディオデコーダを有するオーディオ再生装置。
JP2010514202A 2007-06-26 2008-06-23 バイノーラル型オブジェクト指向オーディオデコーダ Expired - Fee Related JP5752414B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07111073.8 2007-06-26
EP07111073 2007-06-26
PCT/IB2008/052469 WO2009001277A1 (en) 2007-06-26 2008-06-23 A binaural object-oriented audio decoder

Publications (3)

Publication Number Publication Date
JP2010531605A true JP2010531605A (ja) 2010-09-24
JP2010531605A5 JP2010531605A5 (ja) 2014-02-13
JP5752414B2 JP5752414B2 (ja) 2015-07-22

Family

ID=39811962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010514202A Expired - Fee Related JP5752414B2 (ja) 2007-06-26 2008-06-23 バイノーラル型オブジェクト指向オーディオデコーダ

Country Status (7)

Country Link
US (1) US8682679B2 (ja)
EP (1) EP2158791A1 (ja)
JP (1) JP5752414B2 (ja)
KR (1) KR101431253B1 (ja)
CN (1) CN101690269A (ja)
TW (1) TW200922365A (ja)
WO (1) WO2009001277A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017016062A (ja) * 2015-07-06 2017-01-19 キヤノン株式会社 制御装置、測定システム、制御方法及びプログラム

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL186237A (en) 2007-09-24 2013-11-28 Alon Schaffer Flexible rack for bicycle gear
KR20120062758A (ko) 2009-08-14 2012-06-14 에스알에스 랩스, 인크. 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
EP2346028A1 (en) 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
WO2012122397A1 (en) 2011-03-09 2012-09-13 Srs Labs, Inc. System for dynamically creating and rendering audio objects
TWI517142B (zh) * 2012-07-02 2016-01-11 Sony Corp Audio decoding apparatus and method, audio coding apparatus and method, and program
CN103748629B (zh) 2012-07-02 2017-04-05 索尼公司 解码装置和方法、编码装置和方法以及程序
JPWO2014007097A1 (ja) 2012-07-02 2016-06-02 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
KR20150032649A (ko) 2012-07-02 2015-03-27 소니 주식회사 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램
MX2015008836A (es) * 2013-01-14 2015-10-14 Koninkl Philips Nv Codificador y decodificador de multiples canales con transmision eficiente de informacion de posicion.
US9860663B2 (en) * 2013-01-15 2018-01-02 Koninklijke Philips N.V. Binaural audio processing
CN105264600B (zh) 2013-04-05 2019-06-07 Dts有限责任公司 分层音频编码和传输
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
EP3063955B1 (en) 2013-10-31 2019-10-16 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing
EP3796678A1 (en) 2013-11-05 2021-03-24 Oticon A/s A binaural hearing assistance system allowing the user to modify a location of a sound source
CN104869524B (zh) * 2014-02-26 2018-02-16 腾讯科技(深圳)有限公司 三维虚拟场景中的声音处理方法及装置
WO2015134658A1 (en) 2014-03-06 2015-09-11 Dolby Laboratories Licensing Corporation Structural modeling of the head related impulse response
US9602946B2 (en) * 2014-12-19 2017-03-21 Nokia Technologies Oy Method and apparatus for providing virtual audio reproduction
US9602947B2 (en) 2015-01-30 2017-03-21 Gaudi Audio Lab, Inc. Apparatus and a method for processing audio signal to perform binaural rendering
TWI607655B (zh) * 2015-06-19 2017-12-01 Sony Corp Coding apparatus and method, decoding apparatus and method, and program
WO2017126895A1 (ko) 2016-01-19 2017-07-27 지오디오랩 인코포레이티드 오디오 신호 처리 장치 및 처리 방법
SG11201804892PA (en) * 2016-01-19 2018-08-30 3D Space Sound Solutions Ltd Synthesis of signals for immersive audio playback
CN105933826A (zh) * 2016-06-07 2016-09-07 惠州Tcl移动通信有限公司 一种自动设置声场的方法、系统及耳机
US9906885B2 (en) * 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
EP3488623B1 (en) * 2016-07-20 2020-12-02 Dolby Laboratories Licensing Corporation Audio object clustering based on renderer-aware perceptual difference
JP6977030B2 (ja) 2016-10-28 2021-12-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 複数のオーディオソースの再生のためのバイノーラルレンダリング装置および方法
EP3422743B1 (en) 2017-06-26 2021-02-24 Nokia Technologies Oy An apparatus and associated methods for audio presented as spatial audio
CN111034225B (zh) * 2017-08-17 2021-09-24 高迪奥实验室公司 使用立体混响信号的音频信号处理方法和装置
KR102561608B1 (ko) 2017-12-12 2023-08-01 소니그룹주식회사 신호 처리 장치 및 방법, 그리고 프로그램
FR3075443A1 (fr) * 2017-12-19 2019-06-21 Orange Traitement d'un signal monophonique dans un decodeur audio 3d restituant un contenu binaural
EP3824463A4 (en) 2018-07-18 2022-04-20 Sphereo Sound Ltd. AUDIO PANORAMIC DETECTION AND SYNTHESIS OF THREE-DIMENSIONAL (3D) AUDIO CONTENT FROM ENVELOPING CHANNEL LIMITED SOUND
CN109413546A (zh) * 2018-10-30 2019-03-01 Oppo广东移动通信有限公司 音频处理方法、装置、终端设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08107600A (ja) * 1994-10-04 1996-04-23 Yamaha Corp 音像定位装置
JPH08149600A (ja) * 1994-11-18 1996-06-07 Yamaha Corp 3次元サウンドシステム
JP2000166000A (ja) * 1998-11-13 2000-06-16 Lucent Technol Inc 平滑な3dデジタル・オ―ディオのために測定したhrtfを調整する方法および装置
JP2002176700A (ja) * 2000-09-26 2002-06-21 Matsushita Electric Ind Co Ltd 信号処理装置および記録媒体
JP2007067858A (ja) * 2005-08-31 2007-03-15 Sony Corp 音声信号処理装置、音声信号処理方法およびプログラム並びに入力装置
WO2007031906A2 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. A method of and a device for generating 3d sound
WO2007031896A1 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. Audio coding
WO2007031905A1 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. Method of and device for generating and processing parameters representing hrtfs
WO2007045016A1 (en) * 2005-10-20 2007-04-26 Personal Audio Pty Ltd Spatial audio simulation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3258195B2 (ja) 1995-03-27 2002-02-18 シャープ株式会社 音像定位制御装置
US6421446B1 (en) * 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
GB9726338D0 (en) * 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
GB2343347B (en) * 1998-06-20 2002-12-31 Central Research Lab Ltd A method of synthesising an audio signal
US7928311B2 (en) * 2004-12-01 2011-04-19 Creative Technology Ltd System and method for forming and rendering 3D MIDI messages
KR100606734B1 (ko) * 2005-02-04 2006-08-01 엘지전자 주식회사 삼차원 입체음향 구현 방법 및 그 장치
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08107600A (ja) * 1994-10-04 1996-04-23 Yamaha Corp 音像定位装置
JPH08149600A (ja) * 1994-11-18 1996-06-07 Yamaha Corp 3次元サウンドシステム
JP2000166000A (ja) * 1998-11-13 2000-06-16 Lucent Technol Inc 平滑な3dデジタル・オ―ディオのために測定したhrtfを調整する方法および装置
JP2002176700A (ja) * 2000-09-26 2002-06-21 Matsushita Electric Ind Co Ltd 信号処理装置および記録媒体
JP2007067858A (ja) * 2005-08-31 2007-03-15 Sony Corp 音声信号処理装置、音声信号処理方法およびプログラム並びに入力装置
WO2007031906A2 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. A method of and a device for generating 3d sound
WO2007031896A1 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. Audio coding
WO2007031905A1 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. Method of and device for generating and processing parameters representing hrtfs
JP2009508157A (ja) * 2005-09-13 2009-02-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化
JP2009508385A (ja) * 2005-09-13 2009-02-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元音声を生成する方法及び装置
WO2007045016A1 (en) * 2005-10-20 2007-04-26 Personal Audio Pty Ltd Spatial audio simulation
JP2009512364A (ja) * 2005-10-20 2009-03-19 パーソナル・オーディオ・ピーティーワイ・リミテッド 仮想オーディオシミュレーション

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017016062A (ja) * 2015-07-06 2017-01-19 キヤノン株式会社 制御装置、測定システム、制御方法及びプログラム

Also Published As

Publication number Publication date
US8682679B2 (en) 2014-03-25
KR101431253B1 (ko) 2014-08-21
EP2158791A1 (en) 2010-03-03
JP5752414B2 (ja) 2015-07-22
WO2009001277A1 (en) 2008-12-31
US20100191537A1 (en) 2010-07-29
TW200922365A (en) 2009-05-16
KR20100049555A (ko) 2010-05-12
CN101690269A (zh) 2010-03-31

Similar Documents

Publication Publication Date Title
JP5752414B2 (ja) バイノーラル型オブジェクト指向オーディオデコーダ
US20200335115A1 (en) Audio encoding and decoding
CN105144287B (zh) 解码器、编码器及用于编码的方法
US8265284B2 (en) Method and apparatus for generating a binaural audio signal
US11423917B2 (en) Audio decoder and decoding method
JP6328662B2 (ja) バイノーラルのオーディオ処理
RU2643644C2 (ru) Кодирование и декодирование аудиосигналов
TW201810249A (zh) 使用近場/遠場渲染之距離聲相偏移
KR20180042397A (ko) 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩 및 디코딩
RU2427978C2 (ru) Кодирование и декодирование аудио
He et al. Literature review on spatial audio
Tomasetti et al. Latency of spatial audio plugins: a comparative study
JP2021015310A (ja) オーディオ・デコーダおよびデコード方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130924

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20131218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150520

R150 Certificate of patent or registration of utility model

Ref document number: 5752414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees