JP2017535174A5 - - Google Patents

Claims (32)

1. 高次アンビソニック（ＨＯＡ）オーディオ信号をレンダリングするためのデバイスであって、
   ＨＯＡオーディオ信号に関連付けられるＨＯＡオーディオデータおよび視野（ＦＯＶ）パラメータ情報を記憶するように構成されたメモリと、
   前記メモリに結合された１つまたは複数のプロセッサと
   を備え、前記１つまたは複数のプロセッサは、
   修正されたレンダリング行列を形成するために、基準画面の１つまたは複数のＦＯＶパラメータと、表示窓の１つまたは複数のＦＯＶパラメータとに基づいて、レンダリング行列を修正し、
   前記ＨＯＡオーディオ信号を１つまたは複数のスピーカーフィードへとレンダリングするために、前記記憶されたＨＯＡオーディオデータの少なくとも一部に前記修正されたレンダリング行列を適用する
   ように構成される、デバイス。
2. 前記１つまたは複数のプロセッサはさらに、
   前記ＨＯＡオーディオデータのためのレンダラを決定し、
   前記表示窓の前記１つまたは複数のＦＯＶパラメータと、前記基準画面の前記１つまたは複数のＦＯＶパラメータとに基づいて、前記レンダラを修正する
   ように構成される、請求項１に記載のデバイス。
3. 前記ＨＯＡオーディオデータのための前記レンダラを決定するために、前記１つまたは複数のプロセッサはさらに、前記１つまたは複数のスピーカーフィードに関連付けられるスピーカー構成に基づいて、前記レンダラを決定するように構成される、請求項２に記載のデバイス。
4. 前記レンダラは、レンダリングフォーマットまたは前記ＨＯＡオーディオデータを再現フォーマットに変換するためのアルゴリズムのうちの１つまたは複数を備える、請求項２に記載のデバイス。
5. 前記レンダラを修正するために、前記１つまたは複数のプロセッサはさらに、
   前記基準画面の前記１つまたは複数のＦＯＶパラメータと、前記表示窓の前記１つまたは複数のＦＯＶパラメータとに基づいて、スピーカー角度情報を修正するための角度マッピング関数を決定し、
   前記１つまたは複数のスピーカーフィードに関連付けられるスピーカーのための修正された角度を生成するために、前記角度マッピング関数に基づいて、前記スピーカーのための角度を修正する
   ように構成される、請求項２に記載のデバイス。
6. 前記１つまたは複数のプロセッサはさらに、ユーザ起動ズーム機能を検出することに応答して、ズームされた表示窓の１つまたは複数のＦＯＶパラメータを決定する決定するように構成され、前記レンダラを修正するために、前記１つまたは複数のプロセッサはさらに、前記ズームされた表示窓の前記１つまたは複数のＦＯＶパラメータに基づいて、前記レンダラを修正するように構成される、請求項２に記載のデバイス。
7. 前記レンダラを修正するために、前記１つまたは複数のプロセッサはさらに、
   ユーザ起動ズーム動作を検出することに応答して、倍率を取得し、
   前記倍率と、前記表示窓の前記１つまたは複数のＦＯＶパラメータとに基づいて、ズームされた表示窓の１つまたは複数のＦＯＶパラメータを決定し、
   前記ズームされた表示窓の前記１つまたは複数のＦＯＶパラメータと、前記基準画面の前記１つまたは複数のＦＯＶパラメータとに基づいて、スピーカー角度情報を修正するための角度マッピング関数を決定し、
   前記１つまたは複数のスピーカーの第１のスピーカーのための修正された角度を生成するために、前記角度マッピング関数に基づいて、前記第１のスピーカーに関連付けられる角度を修正する
   ように構成される、請求項６に記載のデバイス。
8. 前記ズームされた表示窓の前記１つまたは複数のＦＯＶパラメータを決定するために、前記１つまたは複数のプロセッサはさらに、前記表示窓のための１つまたは複数の方位角と、前記倍率とに基づいて、前記ズームされた表示窓のための１つまたは複数の方位角を決定するように構成され、前記ズームされた表示窓の前記１つまたは複数のＦＯＶパラメータを決定するために、前記１つまたは複数のプロセッサはさらに、前記表示窓のための１つまたは複数の仰角と、前記倍率とに基づいて、前記ズームされた表示窓のための１つまたは複数の仰角を決定するように構成される、請求項７に記載のデバイス。
9. 前記基準画面のための前記１つまたは複数のＦＯＶパラメータは、前記基準画面のための１つまたは複数の方位角または前記基準画面のための１つまたは複数の仰角のうちの少なくとも１つを備える、請求項１に記載のデバイス。
10. 前記表示窓のための前記１つまたは複数のＦＯＶパラメータは、前記表示窓のための１つまたは複数の方位角または前記表示窓のための１つまたは複数の仰角のうちの少なくとも１つを備える、請求項１に記載のデバイス。
11. 前記１つまたは複数のプロセッサはさらに、ユーザ起動ズーム動作を検出することに応答して取得された倍率に基づいて、前記ＨＯＡオーディオ信号を前記１つまたは複数のスピーカーフィードへとレンダリングするように構成される、請求項１に記載のデバイス。
12. 前記基準画面のための前記１つまたは複数のＦＯＶパラメータは、前記基準画面の中心の座標および前記表示窓の中心の座標を備える、請求項１に記載のデバイス。
13. 前記１つまたは複数のプロセッサはさらに、
    前記基準画面の前記１つまたは複数のＦＯＶパラメータに基づいて、前記基準画面の前記中心の前記座標を決定し、
    前記表示窓の前記１つまたは複数のＦＯＶパラメータに基づいて、前記表示窓の前記中心の前記座標を決定する
    ように構成される、請求項１２に記載のデバイス。
14. 前記１つまたは複数のプロセッサはさらに、
    前記ＨＯＡオーディオデータのためのレンダラを決定し、
    前記表示窓の前記中心の前記座標と、前記基準画面の前記中心の前記座標とに基づいて、前記レンダラを修正する
    ように構成される、請求項１２に記載のデバイス。
15. 前記１つまたは複数のプロセッサはさらに、
    前記ＨＯＡオーディオ信号によって記述される音場を前記基準画面の前記中心から前記表示窓の前記中心に回転させる
    ように構成される、請求項１２に記載のデバイス。
16. 前記ＨＯＡオーディオ信号は、ＭＰＥＧ−Ｈ ３Ｄ準拠ビットストリームを備える、請求項１に記載のデバイス。
17. 前記１つまたは複数のプロセッサはさらに構成され、前記基準画面の前記１つまたは複数の視野（ＦＯＶ）パラメータと、前記表示窓の前記１つまたは複数のＦＯＶパラメータとに基づいて、前記ＨＯＡオーディオ信号のレンダリングが有効にされるどうかを指示するシンタックス要素を受信する、請求項１に記載のデバイス。
18. 前記デバイスはさらに、前記１つまたは複数のスピーカーフィードに関連付けられる少なくとも１つのスピーカーを備え、前記ＨＯＡオーディオ信号をレンダリングするために、前記１つまたは複数のプロセッサはさらに、前記少なくとも１つのスピーカーを駆動するために、ラウドスピーカーフィードを生成するように構成される、請求項１に記載のデバイス。
19. 前記デバイスはさらに、前記表示窓を表示するためのディスプレイを備える、請求項１に記載のデバイス。
20. 前記１つまたは複数のプロセッサはさらに、複数のＨＯＡ係数を決定するために前記ＨＯＡオーディオ信号を復号するように構成される、請求項１に記載のデバイス。
21. 前記１つまたは複数のプロセッサはさらに、
    球の９００個のサンプリング点のためのモード行列を生成し、
    効果行列を生成するために、前記基準画面の前記１つまたは複数のＦＯＶパラメータと、前記表示窓の前記１つまたは複数のＦＯＶパラメータとに基づいて、前記モード行列を修正し、
    前記効果行列に基づいて、前記ＨＯＡ係数をレンダリングする
    ように構成される、請求項２０に記載のデバイス。
22. 前記記憶されたＨＯＡオーディオデータは、１つまたは複数のフォアグラウンドオーディオオブジェクトを含み、前記１つまたは複数のプロセッサはさらに、前記１つまたは複数のフォアグラウンドオーディオオブジェクトに基づいて、前記記憶されたＨＯＡオーディオデータを再構成するように構成され、前記レンダリングされたＨＯＡオーディオ信号は、前記再構成された１つまたは複数のフォアグラウンドオーディオオブジェクトを表すＨＯＡ係数を備える、請求項１に記載のデバイス。
23. 高次アンビソニック（ＨＯＡ）オーディオ信号をレンダリングする方法であって、
    修正されたレンダリング行列を形成するために、基準画面の１つまたは複数の視野（ＦＯＶ）パラメータと、表示窓の１つまたは複数のＦＯＶパラメータとに基づいて、レンダリング行列を修正することと、
    前記ＨＯＡオーディオ信号を１つまたは複数のスピーカーフィードへとレンダリングするために、前記ＨＯＡオーディオ信号の少なくとも一部に前記修正されたレンダリング行列を適用することと
    を備える、方法。
24. 前記ＨＯＡオーディオ信号を備える符号化されたオーディオデータのビットストリームを受信することと、ここにおいて、前記符号化されたオーディオデータは、対応するビデオデータに関連付けられる、
    前記ビットストリームから、前記対応するビデオデータのための前記基準画面の前記１つまたは複数のＦＯＶパラメータを取得することと、
    前記対応するビデオデータを表示するための前記表示窓の前記１つまたは複数のＦＯＶパラメータを取得することと
    をさらに備える、請求項２３に記載の方法。
25. 前記ＨＯＡオーディオ信号のためのレンダラを決定することと、
    前記表示窓の前記１つまたは複数のＦＯＶパラメータと、前記基準画面の前記１つまたは複数のＦＯＶパラメータとに基づいて、前記レンダラを修正することと
    をさらに備える、請求項２３に記載の方法。
26. 前記ＨＯＡオーディオ信号のための前記レンダラを決定することは、前記１つまたは複数のスピーカーフィードのスピーカー構成に基づいて、前記レンダラを決定することを備える、請求項２５に記載の方法。
27. 前記基準画面のための前記１つまたは複数のＦＯＶパラメータは、前記基準画面のための１つまたは複数の方位角または前記基準画面のための１つまたは複数の仰角のうちの少なくとも１つを備える、請求項２６に記載の方法。
28. 複数のＨＯＡ係数を決定するために、前記ＨＯＡオーディオ信号を復号することと、
    前記ＨＯＡ係数をレンダリングすることと
    をさらに備える、請求項２３に記載の方法。
29. 前記ＨＯＡオーディオ信号は、支配的オーディオ信号を含み、前記方法は、前記支配的オーディオ信号に基づいて、前記ＨＯＡオーディオ信号を再構成することをさらに備え、ここにおいて、前記レンダリングされたＨＯＡオーディオ信号は、前記再構成された支配的オーディオ信号を表すＨＯＡ係数を備える、請求項２３に記載の方法。
30. 高次アンビソニック（ＨＯＡ）オーディオ信号をレンダリングするための装置であって、
    前記ＨＯＡオーディオ信号を受信するための手段と、
    修正されたレンダリング行列を形成するために、基準画面の１つまたは複数の視野（ＦＯＶ）パラメータと、表示窓の１つまたは複数のＦＯＶパラメータとに基づいて、レンダリング行列を修正するための手段と、
    前記ＨＯＡオーディオ信号を１つまたは複数のスピーカーフィードへとレンダリングするために、前記ＨＯＡオーディオ信号の少なくとも一部に前記修正されたレンダリング行列を適用するための手段と
    を備える、装置。
31. 前記ＨＯＡオーディオ信号を備える符号化されたオーディオデータのビットストリームを受信するための手段と、ここにおいて、前記符号化されたオーディオデータは、対応するビデオデータに関連付けられる、
    前記ビットストリームから、前記対応するビデオデータのための前記基準画面の前記１つまたは複数のＦＯＶパラメータを取得するための手段と、
    前記対応するビデオデータを表示するための前記表示窓の前記１つまたは複数のＦＯＶパラメータを取得するための手段と
    をさらに備える、請求項３０に記載の装置。
32. 命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、高次アンビソニック（ＨＯＡ）オーディオ信号をレンダリングするためのデバイスの１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに、
    修正されたレンダリング行列を形成するために、基準画面の１つまたは複数の視野（ＦＯＶ）パラメータと、表示窓の１つまたは複数のＦＯＶパラメータとに基づいて、レンダリング行列を修正することと、
    前記ＨＯＡオーディオ信号を１つまたは複数のスピーカーフィードへとレンダリングするために、前記ＨＯＡオーディオ信号の少なくとも一部に前記修正されたレンダリング行列を適用することと
    を行わせる、非一時的コンピュータ可読記憶媒体。