JP2016523467A5 - - Google Patents

Download PDF

Info

Publication number
JP2016523467A5
JP2016523467A5 JP2016516820A JP2016516820A JP2016523467A5 JP 2016523467 A5 JP2016523467 A5 JP 2016523467A5 JP 2016516820 A JP2016516820 A JP 2016516820A JP 2016516820 A JP2016516820 A JP 2016516820A JP 2016523467 A5 JP2016523467 A5 JP 2016523467A5
Authority
JP
Japan
Prior art keywords
hierarchical elements
rendering
conversion information
function
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016516820A
Other languages
English (en)
Other versions
JP2016523467A (ja
JP6067935B2 (ja
Filing date
Publication date
Priority claimed from US14/289,602 external-priority patent/US9384741B2/en
Application filed filed Critical
Publication of JP2016523467A publication Critical patent/JP2016523467A/ja
Publication of JP2016523467A5 publication Critical patent/JP2016523467A5/ja
Application granted granted Critical
Publication of JP6067935B2 publication Critical patent/JP6067935B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (30)

  1. バイノーラルオーディオレンダリングの方法であって
    変換情報および符号化されたオーディオデータを含むビットストリームを取得することと、
    減少された複数の階層的な要素を取得するために前記符号化されたオーディオデータを復号することと、前記変換情報は、前記減少された複数の階層的な要素を生成するために複数の階層的な要素によって表される音場がどのように変換されたかについて説明し、前記減少された複数の階層的な要素は、前記複数の階層的な要素の数よりも小さい階層的な要素の数を有する、
    前記変換情報に基づいて、前記減少された複数の階層的な要素に対して前記バイノーラルオーディオレンダリングを実行することと
    を備える、バイノーラルオーディオレンダリングの方法。
  2. 前記バイノーラルオーディオレンダリングを実行することは、前記変換情報に基づいて、前記減少された複数の階層的な要素をレンダリングする基準フレームを複数のチャンネルに変換することを備える、請求項1に記載の方法。
  3. 前記変換情報は、前記音場が変換された仰角角度と方位角角度とを少なくとも指定する回転情報を備える、請求項1に記載の方法。
  4. 前記バイノーラルオーディオレンダリングを実行することは、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することと、
    前記変換されたレンダリング関数に対してエネルギー保存関数を適用することと
    を備える、請求項1に記載の方法。
  5. 前記バイノーラルオーディオレンダリングを実行することは、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換することと、
    乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合することと
    を備える、請求項1に記載の方法。
  6. 前記バイノーラルオーディオレンダリングを実行することは、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換することと、
    畳み込み演算を必要とすることなく、乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合することと
    を備える、請求項1に記載の方法。
  7. 前記バイノーラルオーディオレンダリングを実行することは、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによってレンダリング関数を変換することと、
    回転されたバイノーラルオーディオレンダリング関数を生成するために、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合することと、
    左チャンネルと右チャンネルとを生成するために、前記回転されたバイノーラルオーディオレンダリング関数を前記減少された複数の階層的な要素に適用することと
    を備える、請求項1に記載の方法。
  8. 前記複数の階層的な要素は複数の球面調和係数を備え、前記複数の球面調和係数のうち少なくとも1つは、1よりも大きい次数と関連付けられる、請求項1に記載の方法。
  9. 解析された符号化されたオーディオデータを取得するために、前記ビットストリームからの前記符号化されたオーディオデータを解析することと、
    前記減少された複数の階層的な要素を取得するために、前記解析された符号化されたオーディオデータを復号することと、
    前記ビットストリームからの前記変換情報を解析することと
    さらに備える、請求項1に記載の方法。
  10. 前記複数の階層的な要素によって表される前記音場に対する聴取者の頭部の位置を取得することと、
    前記変換情報および前記聴取者の前記頭部の前記位置に基づいて、更新された変換情報を決定することと
    をさらに備え、
    ここにおいて、前記バイノーラルオーディオレンダリングを実行することは、前記更新された変換情報に基づいて、前記減少された複数の階層的な要素に対して前記バイノーラルオーディオレンダリングを実行することを備える、請求項1に記載の方法。
  11. 1つまたは複数のプロセッサは、
    変換情報および符号化されたオーディオデータを含むビットストリームを取得し、
    減少された複数の階層的な要素を取得するために前記符号化されたオーディオデータを復号し、前記変換情報は、前記減少された複数の階層的な要素を生成するために複数の階層的な要素によって表される音場がどのように変換されたかについて説明し、前記減少された複数の階層的な要素は、前記複数の階層的な要素の数よりも小さい階層的な要素の数を有する、
    前記変換情報に基づいて、前記減少された複数の階層的な要素に対してバイノーラルオーディオレンダリングを実行する
    ように構成される、前記1つまたは複数のプロセッサを備えるデバイス。
  12. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、前記減少された複数の階層的な要素をレンダリングする基準フレームを複数のチャンネルに変換するようにさらに構成される、請求項11に記載のデバイス。
  13. 前記変換情報は、前記音場が変換された仰角角度と方位角角度とを少なくとも指定する回転情報を備える、請求項11に記載のデバイス。
  14. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換し、前記変換されたレンダリング関数に対してエネルギー保存関数を適用するようにさらに構成される、請求項11に記載のデバイス。
  15. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換し、乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合するようにさらに構成される、請求項11に記載のデバイス。
  16. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換し、畳み込み演算を必要とすることなく、乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合するようにさらに構成される、請求項11に記載のデバイス。
  17. 前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換し、回転されたバイノーラルオーディオレンダリング関数を生成するために、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合し、左チャンネルと右チャンネルとを生成するために、前記回転されたバイノーラルオーディオレンダリング関数を前記減少された複数の階層的な要素に適用するようにさらに構成される、請求項11に記載のデバイス。
  18. 前記複数の階層的な要素は複数の球面調和係数を備え、前記複数の球面調和係数のうち少なくとも1つは、1よりも大きい次数と関連付けられる、請求項11に記載のデバイス。
  19. 前記1つまたは複数のプロセッサは、
    前記ビットストリームからの前記符号化されたオーディオデータを解析し、
    前記減少された複数の階層的な要素を生成するために、前記解析された符号化されたオーディオデータを復号し、
    前記ビットストリームからの前記変換情報を解析する
    ようにさらに構成される、請求項11に記載のデバイス。
  20. 前記1つまたは複数のプロセッサは、
    前記複数の階層的な要素によって表される前記音場に対する聴取者の頭部の位置を取得し、
    前記変換情報および前記聴取者の前記頭部の前記位置に基づいて、更新された変換情報を決定する
    ようにさらに構成され、
    ここにおいて、前記バイノーラルオーディオレンダリングを実行するために、前記1つまたは複数のプロセッサは、前記更新された変換情報に基づいて、前記減少された複数の階層的な要素に対して前記バイノーラルオーディオレンダリングを実行するようにさらに構成される、請求項11に記載のデバイス。
  21. 変換情報および符号化されたオーディオデータを含むビットストリームを取得するための手段と、
    減少された複数の階層的な要素を取得するために前記符号化されたオーディオデータを復号するための手段と、前記変換情報は、前記減少された複数の階層的な要素を生成するために複数の階層的な要素によって表される音場がどのように変換されたかについて説明し、前記減少された複数の階層的な要素は、前記複数の階層的な要素の数よりも小さい階層的な要素の数を有する、
    前記変換情報に基づいて、前記減少された複数の階層的な要素に対してバイノーラルオーディオレンダリングを実行するための手段と
    を備える装置。
  22. 前記バイノーラルオーディオレンダリングを実行するための前記手段は、前記変換情報に基づいて、前記減少された複数の階層的な要素をレンダリングする基準フレームを複数のチャンネルに変換するための手段を備える、請求項21に記載の装置。
  23. 前記変換情報は、前記音場が変換された仰角角度と方位角角度とを少なくとも指定する回転情報を備える、請求項21に記載の装置。
  24. 前記バイノーラルオーディオレンダリングを実行するための前記手段は、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換するための手段と、
    前記変換されたレンダリング関数に対してエネルギー保存関数を適用するための手段と
    を備える、請求項21に記載の装置。
  25. 前記バイノーラルオーディオレンダリングを実行するための前記手段は、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換するための手段と、
    畳み込み演算を必要とすることなく、乗算演算を使用して、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合するための手段と
    を備える、請求項21に記載の装置。
  26. 前記バイノーラルオーディオレンダリングを実行するための前記手段は、
    前記変換情報に基づいて、レンダリング関数が前記減少された複数の階層的な要素をレンダリング可能である基準フレームを変換することによって前記レンダリング関数を変換するための手段と、
    回転されたバイノーラルオーディオレンダリング関数を生成するために、前記変換されたレンダリング関数を複素数両耳室内インパルス応答関数と結合するための手段と、
    左チャンネルと右チャンネルとを生成するために、前記回転されたバイノーラルオーディオレンダリング関数を前記減少された複数の階層的な要素に適用するための手段と
    を備える、請求項21に記載の装置。
  27. 前記複数の階層的な要素は複数の球面調和係数を備え、前記複数の球面調和係数のうち少なくとも1つは、1よりも大きい次数と関連付けられる、請求項21に記載の装置。
  28. 解析された符号化されたオーディオデータを取得するために、前記ビットストリームからの前記符号化されたオーディオデータを解析するための手段と、
    前記減少された複数の階層的な要素を取得するために、前記解析された符号化されたオーディオデータを復号するための手段と、
    前記ビットストリームからの前記変換情報を解析するための手段と、
    さらに備える、請求項21に記載の装置。
  29. 前記複数の階層的な要素によって表される前記音場に対する聴取者の頭部の位置を取得するための手段と、
    前記変換情報および前記聴取者の前記頭部の前記位置に基づいて、更新された変換情報を決定するための手段と
    をさらに備え、
    ここにおいて、前記バイノーラルオーディオレンダリングを実行するための前記手段は、前記更新された変換情報に基づいて、前記減少された複数の階層的な要素に対して前記バイノーラルオーディオレンダリングを実行するための手段を備える、請求項21に記載の装置。
  30. 実行されると、1つまたは複数のプロセッサを、
    変換情報および符号化されたオーディオデータを含むビットストリームを取得し、
    減少された複数の階層的な要素を取得するために前記符号化されたオーディオデータを復号し、前記変換情報は、前記減少された複数の階層的な要素を生成するために複数の階層的な要素によって表される音場がどのように変換されたかについて説明し、前記減少された複数の階層的な要素は、前記複数の階層的な要素の数よりも小さい階層的な要素の数を有する、
    前記変換情報に基づいて、前記減少された複数の階層的な要素に対してバイノーラルオーディオレンダリングを実行する
    ように構成する、その上に記憶された命令を備える、非一時的コンピュータ可読記憶媒体。
JP2016516820A 2013-05-29 2014-05-29 回転された高次アンビソニックスのバイノーラル化 Expired - Fee Related JP6067935B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361828313P 2013-05-29 2013-05-29
US61/828,313 2013-05-29
US14/289,602 2014-05-28
US14/289,602 US9384741B2 (en) 2013-05-29 2014-05-28 Binauralization of rotated higher order ambisonics
PCT/US2014/040021 WO2014194088A2 (en) 2013-05-29 2014-05-29 Binauralization of rotated higher order ambisonics

Publications (3)

Publication Number Publication Date
JP2016523467A JP2016523467A (ja) 2016-08-08
JP2016523467A5 true JP2016523467A5 (ja) 2016-10-06
JP6067935B2 JP6067935B2 (ja) 2017-01-25

Family

ID=51985121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016516820A Expired - Fee Related JP6067935B2 (ja) 2013-05-29 2014-05-29 回転された高次アンビソニックスのバイノーラル化

Country Status (6)

Country Link
US (1) US9384741B2 (ja)
EP (1) EP3005738B1 (ja)
JP (1) JP6067935B2 (ja)
KR (1) KR101723332B1 (ja)
CN (1) CN105325015B (ja)
WO (1) WO2014194088A2 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131305B2 (en) * 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US20140355769A1 (en) 2013-05-29 2014-12-04 Qualcomm Incorporated Energy preservation for decomposed representations of a sound field
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9502045B2 (en) 2014-01-30 2016-11-22 Qualcomm Incorporated Coding independent frames of ambient higher-order ambisonic coefficients
JP6374980B2 (ja) * 2014-03-26 2018-08-15 パナソニック株式会社 サラウンドオーディオ信号処理のための装置及び方法
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
US9712936B2 (en) 2015-02-03 2017-07-18 Qualcomm Incorporated Coding higher-order ambisonic audio data with motion stabilization
CN106297820A (zh) 2015-05-14 2017-01-04 杜比实验室特许公司 具有基于迭代加权的源方向确定的音频源分离
US10672408B2 (en) 2015-08-25 2020-06-02 Dolby Laboratories Licensing Corporation Audio decoder and decoding method
CN108476365B (zh) * 2016-01-08 2021-02-05 索尼公司 音频处理装置和方法以及存储介质
CN109417677B (zh) 2016-06-21 2021-03-05 杜比实验室特许公司 用于预渲染的双耳音频的头部跟踪
US9653095B1 (en) 2016-08-30 2017-05-16 Gopro, Inc. Systems and methods for determining a repeatogram in a music composition using audio features
US11032663B2 (en) 2016-09-29 2021-06-08 The Trustees Of Princeton University System and method for virtual navigation of sound fields through interpolation of signals from an array of microphone assemblies
EP3324407A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a ratio as a separation characteristic
EP3324406A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a variable threshold
WO2019009085A1 (ja) * 2017-07-05 2019-01-10 ソニー株式会社 信号処理装置および方法、並びにプログラム
RU2740703C1 (ru) 2017-07-14 2021-01-20 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Принцип формирования улучшенного описания звукового поля или модифицированного описания звукового поля с использованием многослойного описания
RU2736418C1 (ru) 2017-07-14 2020-11-17 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Принцип формирования улучшенного описания звукового поля или модифицированного описания звукового поля с использованием многоточечного описания звукового поля
RU2736274C1 (ru) 2017-07-14 2020-11-13 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Принцип формирования улучшенного описания звукового поля или модифицированного описания звукового поля с использованием dirac-технологии с расширением глубины или других технологий
US10674301B2 (en) * 2017-08-25 2020-06-02 Google Llc Fast and memory efficient encoding of sound objects using spherical harmonic symmetries
PL3707706T3 (pl) * 2017-11-10 2021-11-22 Nokia Technologies Oy Określanie kodowania przestrzennego parametrów dźwięku i związane z tym dekodowanie
CN111656441B (zh) 2017-11-17 2023-10-03 弗劳恩霍夫应用研究促进协会 编码或解码定向音频编码参数的装置和方法
CN111527760B (zh) 2017-12-18 2022-12-20 杜比国际公司 用于处理虚拟现实环境中的听音位置之间的全局过渡的方法和系统
WO2019129350A1 (en) * 2017-12-28 2019-07-04 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
GB2572761A (en) * 2018-04-09 2019-10-16 Nokia Technologies Oy Quantization of spatial audio parameters
BR112020015835A2 (pt) * 2018-04-11 2020-12-15 Dolby International Ab Métodos, aparelho e sistemas para renderização de áudio 6dof e representações de dados e estruturas de fluxo de bits para renderização de áudio 6dof
GB2577698A (en) * 2018-10-02 2020-04-08 Nokia Technologies Oy Selection of quantisation schemes for spatial audio parameter encoding
CN111107481B (zh) * 2018-10-26 2021-06-22 华为技术有限公司 一种音频渲染方法及装置
GB2586214A (en) * 2019-07-31 2021-02-17 Nokia Technologies Oy Quantization of spatial audio direction parameters
GB2586461A (en) * 2019-08-16 2021-02-24 Nokia Technologies Oy Quantization of spatial audio direction parameters
US11521623B2 (en) 2021-01-11 2022-12-06 Bank Of America Corporation System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
CN101884065B (zh) * 2007-10-03 2013-07-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成的方法
EP2539892B1 (fr) * 2010-02-26 2014-04-02 Orange Compression de flux audio multicanal
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
US9685163B2 (en) * 2013-03-01 2017-06-20 Qualcomm Incorporated Transforming spherical harmonic coefficients
US9420393B2 (en) * 2013-05-29 2016-08-16 Qualcomm Incorporated Binaural rendering of spherical harmonic coefficients

Similar Documents

Publication Publication Date Title
JP2016523467A5 (ja)
JP2016513811A5 (ja)
JP2022120119A (ja) 高次アンビソニックス信号表現を圧縮又は圧縮解除するための方法又は装置
TWI590234B (zh) 編碼聲訊資料之方法和裝置,以及解碼已編碼聲訊資料之方法和裝置
JP2016076972A5 (ja)
JP2015522183A5 (ja)
JP2015527610A5 (ja)
RU2015128090A (ru) Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля
JP2013017167A5 (ja)
WO2014194088A3 (en) Binauralization of rotated higher order ambisonics
JP2016524727A5 (ja)
JP2015039191A5 (ja)
JP2015006006A5 (ja)
PH12016502356A1 (en) Reducing correlation between higher order ambisonic (hoa) background channels
JP2015506650A5 (ja)
WO2014134472A3 (en) Transforming spherical harmonic coefficients
JP2017511620A5 (ja)
JP2013232935A5 (ja)
JP7333855B2 (ja) 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置
JP2017526957A5 (ja)
JP2017534911A5 (ja)
JP2017535174A5 (ja)
MX2017016228A (es) Aparato codificador, metodo de codificacion, aparato decodificador, metodo de decodificacion, y programa.
FI3826307T3 (fi) Menetelmä liikekompensoitua ennustusta varten
JP2015154307A5 (ja)