JP2016523467A5 - - Google Patents

Download PDF

Info

Publication number
JP2016523467A5
JP2016523467A5 JP2016516820A JP2016516820A JP2016523467A5 JP 2016523467 A5 JP2016523467 A5 JP 2016523467A5 JP 2016516820 A JP2016516820 A JP 2016516820A JP 2016516820 A JP2016516820 A JP 2016516820A JP 2016523467 A5 JP2016523467 A5 JP 2016523467A5
Authority
JP
Japan
Prior art keywords
hierarchical elements
rendering
conversion information
function
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016516820A
Other languages
English (en)
Other versions
JP6067935B2 (ja
JP2016523467A (ja
Filing date
Publication date
Priority claimed from US14/289,602 external-priority patent/US9384741B2/en
Application filed filed Critical
Publication of JP2016523467A publication Critical patent/JP2016523467A/ja
Publication of JP2016523467A5 publication Critical patent/JP2016523467A5/ja
Application granted granted Critical
Publication of JP6067935B2 publication Critical patent/JP6067935B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (30)

  1. バイノーラルオーディオレンダリングの方法であって
    変換情報および符号化されたオーディオデータを含むビットストリームを取得することと、
    減少された複数の階層的な要素を取得するために前記符号化されたオーディオデータを復号することと、前記変換情報は、前記減少された複数の階層的な要素を生成するために複数の階層的な要素によって表される音場がどのように変換されたかについて説明し、前記減少された複数の階層的な要素は、前記複数の階層的な要素の数よりも小さい階層的な要素の数を有する、
    前記変換情報に基づいて、前記減少された複数の階層的な要素に対して前記バイノーラルオーディオレンダリングを実行することと
    を備える、バイノーラルオーディオレンダリングの方法。
  2. 前記バイノーラルオーディオレンダリングを実行することは、前記変換情報に基づいて、前記減少された複数の階層的な要素をレンダリングする基準フレームを複数のチャンネルに変換することを備える、請求項1に記載の方法。
  3. 前記変換情報は、前記音場が変換された仰角角度と方位角角度とを少なくとも指定する回転情報を備える、請求項1に記載の方法。
  4. 前記バイノーラルオーディオレンダリングを実行することは、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することと、
    前記変換されたレンダリング関数に対してエネルギー保存関数を適用することと
    を備える、請求項1に記載の方法。
  5. 前記バイノーラルオーディオレンダリングを実行することは、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換することと、
    乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合することと
    を備える、請求項1に記載の方法。
  6. 前記バイノーラルオーディオレンダリングを実行することは、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換することと、
    畳み込み演算を必要とすることなく、乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合することと
    を備える、請求項1に記載の方法。
  7. 前記バイノーラルオーディオレンダリングを実行することは、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによってレンダリング関数を変換することと、
    回転されたバイノーラルオーディオレンダリング関数を生成するために、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合することと、
    左チャンネルと右チャンネルとを生成するために、前記回転されたバイノーラルオーディオレンダリング関数を前記減少された複数の階層的な要素に適用することと
    を備える、請求項1に記載の方法。
  8. 前記複数の階層的な要素は複数の球面調和係数を備え、前記複数の球面調和係数のうち少なくとも1つは、1よりも大きい次数と関連付けられる、請求項1に記載の方法。
  9. 解析された符号化されたオーディオデータを取得するために、前記ビットストリームからの前記符号化されたオーディオデータを解析することと、
    前記減少された複数の階層的な要素を取得するために、前記解析された符号化されたオーディオデータを復号することと、
    前記ビットストリームからの前記変換情報を解析することと
    さらに備える、請求項1に記載の方法。
  10. 前記複数の階層的な要素によって表される前記音場に対する聴取者の頭部の位置を取得することと、
    前記変換情報および前記聴取者の前記頭部の前記位置に基づいて、更新された変換情報を決定することと
    をさらに備え、
    ここにおいて、前記バイノーラルオーディオレンダリングを実行することは、前記更新された変換情報に基づいて、前記減少された複数の階層的な要素に対して前記バイノーラルオーディオレンダリングを実行することを備える、請求項1に記載の方法。
  11. 1つまたは複数のプロセッサは、
    変換情報および符号化されたオーディオデータを含むビットストリームを取得し、
    減少された複数の階層的な要素を取得するために前記符号化されたオーディオデータを復号し、前記変換情報は、前記減少された複数の階層的な要素を生成するために複数の階層的な要素によって表される音場がどのように変換されたかについて説明し、前記減少された複数の階層的な要素は、前記複数の階層的な要素の数よりも小さい階層的な要素の数を有する、
    前記変換情報に基づいて、前記減少された複数の階層的な要素に対してバイノーラルオーディオレンダリングを実行する
    ように構成される、前記1つまたは複数のプロセッサを備えるデバイス。
  12. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、前記減少された複数の階層的な要素をレンダリングする基準フレームを複数のチャンネルに変換するようにさらに構成される、請求項11に記載のデバイス。
  13. 前記変換情報は、前記音場が変換された仰角角度と方位角角度とを少なくとも指定する回転情報を備える、請求項11に記載のデバイス。
  14. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換し、前記変換されたレンダリング関数に対してエネルギー保存関数を適用するようにさらに構成される、請求項11に記載のデバイス。
  15. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換し、乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合するようにさらに構成される、請求項11に記載のデバイス。
  16. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換し、畳み込み演算を必要とすることなく、乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合するようにさらに構成される、請求項11に記載のデバイス。
  17. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換し、回転されたバイノーラルオーディオレンダリング関数を生成するために、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合し、左チャンネルと右チャンネルとを生成するために、前記回転されたバイノーラルオーディオレンダリング関数を前記減少された複数の階層的な要素に適用するようにさらに構成される、請求項11に記載のデバイス。
  18. 前記複数の階層的な要素は複数の球面調和係数を備え、前記複数の球面調和係数のうち少なくとも1つは、1よりも大きい次数と関連付けられる、請求項11に記載のデバイス。
  19. 前記1つまたは複数のプロセッサは、
    前記ビットストリームからの前記符号化されたオーディオデータを解析し、
    前記減少された複数の階層的な要素を生成するために、前記解析された符号化されたオーディオデータを復号し、
    前記ビットストリームからの前記変換情報を解析する
    ようにさらに構成される、請求項11に記載のデバイス。
  20. 前記1つまたは複数のプロセッサは、
    前記複数の階層的な要素によって表される前記音場に対する聴取者の頭部の位置を取得し、
    前記変換情報および前記聴取者の前記頭部の前記位置に基づいて、更新された変換情報を決定する
    ようにさらに構成され、
    ここにおいて、前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記更新された変換情報に基づいて、前記減少された複数の階層的な要素に対して前記バイノーラルオーディオレンダリングを実行するようにさらに構成される、請求項11に記載のデバイス。
  21. 変換情報および符号化されたオーディオデータを含むビットストリームを取得するための手段と、
    減少された複数の階層的な要素を取得するために前記符号化されたオーディオデータを復号するための手段と、前記変換情報は、前記減少された複数の階層的な要素を生成するために複数の階層的な要素によって表される音場がどのように変換されたかについて説明し、前記減少された複数の階層的な要素は、前記複数の階層的な要素の数よりも小さい階層的な要素の数を有する、
    前記変換情報に基づいて、前記減少された複数の階層的な要素に対してバイノーラルオーディオレンダリングを実行するための手段と
    を備える装置。
  22. 前記バイノーラルオーディオレンダリングを実行するための前記手段は、前記変換情報に基づいて、前記減少された複数の階層的な要素をレンダリングする基準フレームを複数のチャンネルに変換するための手段を備える、請求項21に記載の装置。
  23. 前記変換情報は、前記音場が変換された仰角角度と方位角角度とを少なくとも指定する回転情報を備える、請求項21に記載の装置。
  24. 前記バイノーラルオーディオレンダリングを実行するための前記手段は、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換するための手段と、
    前記変換されたレンダリング関数に対してエネルギー保存関数を適用するための手段と
    を備える、請求項21に記載の装置。
  25. 前記バイノーラルオーディオレンダリングを実行するための前記手段は、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換するための手段と、
    畳み込み演算を必要とすることなく、乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合するための手段と
    を備える、請求項21に記載の装置。
  26. 前記バイノーラルオーディオレンダリングを実行するための前記手段は、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換するための手段と、
    回転されたバイノーラルオーディオレンダリング関数を生成するために、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合するための手段と、
    左チャンネルと右チャンネルとを生成するために、前記回転されたバイノーラルオーディオレンダリング関数を前記減少された複数の階層的な要素に適用するための手段と
    を備える、請求項21に記載の装置。
  27. 前記複数の階層的な要素は複数の球面調和係数を備え、前記複数の球面調和係数のうち少なくとも1つは、1よりも大きい次数と関連付けられる、請求項21に記載の装置。
  28. 解析された符号化されたオーディオデータを取得するために、前記ビットストリームからの前記符号化されたオーディオデータを解析するための手段と、
    前記減少された複数の階層的な要素を取得するために、前記解析された符号化されたオーディオデータを復号するための手段と、
    前記ビットストリームからの前記変換情報を解析するための手段と、
    さらに備える、請求項21に記載の装置。
  29. 前記複数の階層的な要素によって表される前記音場に対する聴取者の頭部の位置を取得するための手段と、
    前記変換情報および前記聴取者の前記頭部の前記位置に基づいて、更新された変換情報を決定するための手段と
    をさらに備え、
    ここにおいて、前記バイノーラルオーディオレンダリングを実行するための前記手段は、前記更新された変換情報に基づいて、前記減少された複数の階層的な要素に対して前記バイノーラルオーディオレンダリングを実行するための手段を備える、請求項21に記載の装置。
  30. 実行されると、1つまたは複数のプロセッサを、
    変換情報および符号化されたオーディオデータを含むビットストリームを取得し、
    減少された複数の階層的な要素を取得するために前記符号化されたオーディオデータを復号し、前記変換情報は、前記減少された複数の階層的な要素を生成するために複数の階層的な要素によって表される音場がどのように変換されたかについて説明し、前記減少された複数の階層的な要素は、前記複数の階層的な要素の数よりも小さい階層的な要素の数を有する、
    前記変換情報に基づいて、前記減少された複数の階層的な要素に対してバイノーラルオーディオレンダリングを実行する
    ように構成する、その上に記憶された命令を備える、非一時的コンピュータ可読記憶媒体。
JP2016516820A 2013-05-29 2014-05-29 回転された高次アンビソニックスのバイノーラル化 Expired - Fee Related JP6067935B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361828313P 2013-05-29 2013-05-29
US61/828,313 2013-05-29
US14/289,602 US9384741B2 (en) 2013-05-29 2014-05-28 Binauralization of rotated higher order ambisonics
US14/289,602 2014-05-28
PCT/US2014/040021 WO2014194088A2 (en) 2013-05-29 2014-05-29 Binauralization of rotated higher order ambisonics

Publications (3)

Publication Number Publication Date
JP2016523467A JP2016523467A (ja) 2016-08-08
JP2016523467A5 true JP2016523467A5 (ja) 2016-10-06
JP6067935B2 JP6067935B2 (ja) 2017-01-25

Family

ID=51985121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016516820A Expired - Fee Related JP6067935B2 (ja) 2013-05-29 2014-05-29 回転された高次アンビソニックスのバイノーラル化

Country Status (6)

Country Link
US (1) US9384741B2 (ja)
EP (1) EP3005738B1 (ja)
JP (1) JP6067935B2 (ja)
KR (1) KR101723332B1 (ja)
CN (1) CN105325015B (ja)
WO (1) WO2014194088A2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131305B2 (en) * 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US9502044B2 (en) 2013-05-29 2016-11-22 Qualcomm Incorporated Compression of decomposed representations of a sound field
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9502045B2 (en) 2014-01-30 2016-11-22 Qualcomm Incorporated Coding independent frames of ambient higher-order ambisonic coefficients
JP6374980B2 (ja) * 2014-03-26 2018-08-15 パナソニック株式会社 サラウンドオーディオ信号処理のための装置及び方法
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
US9712936B2 (en) * 2015-02-03 2017-07-18 Qualcomm Incorporated Coding higher-order ambisonic audio data with motion stabilization
CN106297820A (zh) 2015-05-14 2017-01-04 杜比实验室特许公司 具有基于迭代加权的源方向确定的音频源分离
KR102517867B1 (ko) * 2015-08-25 2023-04-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 디코더 및 디코딩 방법
WO2017119320A1 (ja) * 2016-01-08 2017-07-13 ソニー株式会社 音声処理装置および方法、並びにプログラム
EP3473022B1 (en) 2016-06-21 2021-03-17 Dolby Laboratories Licensing Corporation Headtracking for pre-rendered binaural audio
US9653095B1 (en) 2016-08-30 2017-05-16 Gopro, Inc. Systems and methods for determining a repeatogram in a music composition using audio features
WO2018064528A1 (en) * 2016-09-29 2018-04-05 The Trustees Of Princeton University Ambisonic navigation of sound fields from an array of microphones
EP3324407A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a ratio as a separation characteristic
EP3324406A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a variable threshold
US11252524B2 (en) 2017-07-05 2022-02-15 Sony Corporation Synthesizing a headphone signal using a rotating head-related transfer function
AR112451A1 (es) * 2017-07-14 2019-10-30 Fraunhofer Ges Forschung Concepto para generar una descripción mejorada de campo de sonido o un campo de sonido modificado utilizando una descripción de campo de sonido multi-punto
CA3069772C (en) 2017-07-14 2024-01-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for generating an enhanced sound-field description or a modified sound field description using a depth-extended dirac technique or other techniques
WO2019012133A1 (en) 2017-07-14 2019-01-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPT OF GENERATING AN ENHANCED AUDIO FIELD DESCRIPTION OR A MODIFIED AUDIO FIELD DESCRIPTION USING A MULTILAYER DESCRIPTION
US10674301B2 (en) * 2017-08-25 2020-06-02 Google Llc Fast and memory efficient encoding of sound objects using spherical harmonic symmetries
US11328735B2 (en) * 2017-11-10 2022-05-10 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
CN111656442A (zh) * 2017-11-17 2020-09-11 弗劳恩霍夫应用研究促进协会 使用量化和熵编码来编码或解码定向音频编码参数的装置和方法
EP3729831A1 (en) 2017-12-18 2020-10-28 Dolby International AB Method and system for handling global transitions between listening positions in a virtual reality environment
US11062716B2 (en) * 2017-12-28 2021-07-13 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
GB2572761A (en) * 2018-04-09 2019-10-16 Nokia Technologies Oy Quantization of spatial audio parameters
GB2577698A (en) * 2018-10-02 2020-04-08 Nokia Technologies Oy Selection of quantisation schemes for spatial audio parameter encoding
CN111107481B (zh) 2018-10-26 2021-06-22 华为技术有限公司 一种音频渲染方法及装置
GB2586214A (en) * 2019-07-31 2021-02-17 Nokia Technologies Oy Quantization of spatial audio direction parameters
GB2586461A (en) * 2019-08-16 2021-02-24 Nokia Technologies Oy Quantization of spatial audio direction parameters
US11521623B2 (en) 2021-01-11 2022-12-06 Bank Of America Corporation System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
CN101884065B (zh) * 2007-10-03 2013-07-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成的方法
WO2011104463A1 (fr) * 2010-02-26 2011-09-01 France Telecom Compression de flux audio multicanal
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
US9959875B2 (en) * 2013-03-01 2018-05-01 Qualcomm Incorporated Specifying spherical harmonic and/or higher order ambisonics coefficients in bitstreams
US9369818B2 (en) * 2013-05-29 2016-06-14 Qualcomm Incorporated Filtering with binaural room impulse responses with content analysis and weighting

Similar Documents

Publication Publication Date Title
JP2016523467A5 (ja)
JP2016513811A5 (ja)
JP2022120119A (ja) 高次アンビソニックス信号表現を圧縮又は圧縮解除するための方法又は装置
TWI590234B (zh) 編碼聲訊資料之方法和裝置,以及解碼已編碼聲訊資料之方法和裝置
JP2016076972A5 (ja)
JP2015522183A5 (ja)
JP2015527610A5 (ja)
RU2015128090A (ru) Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля
JP2013017167A5 (ja)
WO2014194088A3 (en) Binauralization of rotated higher order ambisonics
JP2015065671A5 (ja)
JP2015194666A5 (ja)
JP2016524727A5 (ja)
JP2016140108A5 (ja)
JP2015039191A5 (ja)
MY182209A (en) Apparatus and method realizing a fading of an mdct spectrum to white noise prior to fdns application
JP2015006006A5 (ja)
JP2015506650A5 (ja)
WO2014134472A3 (en) Transforming spherical harmonic coefficients
MX2016016566A (es) Reduccion de la correlacion entre canales de segundo plano ambisonicos de orden superior (hoa).
JP7333855B2 (ja) 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置
JP2015128311A5 (ja)
JP2017526957A5 (ja)
MX2017016228A (es) Aparato codificador, metodo de codificacion, aparato decodificador, metodo de decodificacion, y programa.
FI3826307T3 (fi) Menetelmä liikekompensoitua ennustusta varten