JP2017523452A5

JP2017523452A5 -

Info

Publication number: JP2017523452A5
Application number: JP2016573840A
Authority: JP
Filing date: 2015-07-02
Publication date: 2018-08-09

Claims

圧縮された高次アンビソニックス（HOA）表現から方向情報をデコードする方法であって、前記圧縮されたHOA表現の各フレームについて、
・前記圧縮されたHOA表現から、
各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合（M _FB (k)）と、
それぞれの周波数サブバンドおよびD _SB 個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビット（bSubBandDirIsActive(k,f _j )）と、
それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,f _j )）および方向性サブバンド信号情報とを抽出する段階と；
・それぞれの周波数サブバンド方向について、前記相対方向インデックス（RelDirIndices(k,f _j )）を絶対方向インデックスに変換する段階であって、各相対方向インデックスは、前記ビット（bSubBandDirIsActive(k,f _j )）が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合（M _FB (k)）内のインデックスとして使われる、段階と；
・前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階と；
・前記複数の打ち切りされたHOA係数シーケンスから打ち切りされたHOA表現を再構成する段階と；
・分解フィルタバンクにおいて、前記再構成された打ち切りされたHOA表現を複数F個の周波数サブバンドについての周波数サブバンド表現に分解する段階とを含み、
方向性サブバンド信号を予測する前記段階は、前記周波数サブバンド表現および複数の予測行列を使う、
方法。
現在フレームにおける方向性サブバンド信号を予測する前記段階は、前のフレームの当該サブバンドの方向性サブバンド信号を判別することを含み、
前記方向性サブバンド信号のインデックスが前記前のフレームにおいて0であり、現在フレームにおいて0でない場合には、新たな方向性サブバンド信号が生成され、
前記方向性信号のインデックスが前記前のフレームにおいて0でなく、現在フレームにおいて0である場合には、前の方向性サブバンド信号がキャンセルされ、
方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には該方向性サブバンド信号の方向が該第一の方向から該第二の方向に動かされる、
請求項１記載の方法。
前記抽出する段階は、前記圧縮されたHOA表現を多重分離して、知覚的に符号化された部分とエンコードされたサイド情報部分とを得ることを含み前記知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンスを含み、前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合と、アクティブなサブバンド方向の前記相対方向インデックスと、割り当てベクトルと、前記予測行列と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示す前記ビットとを含む、請求項１記載の方法。
前記方向性サブバンド信号情報は、アクティブな方向の集合（M _DIR (k)）と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合（M _DIR (k＋1,f ₁ )、…、M _DIR (k＋1,f _F )）とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合（M _DIR (k)）内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである、請求項１記載の方法。
入力高次アンビソニックス（HOA）信号のフレームについての方向情報をエンコードする方法であって、
・前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合（M _DIR (k)）を決定する段階であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と；
・前記入力HOA信号を複数の周波数サブバンド（f ₁ ,…,f _F ）に分割する段階と；
・アクティブな候補方向の前記第一の集合（M _DIR (k)）のうちで、前記周波数サブバンドのそれぞれについて、D _SB 個までのアクティブなサブバンド方向の第二の集合を決定する段階と；
・周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と；
・現在フレームについての方向情報を集める段階であって、前記方向情報は、
前記アクティブな候補方向（M _DIR (k)）と、
各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビット（bSubBandDirIsActive(k,f _j )）と、
各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,f _j )）とを含む、段階と；
・集められた方向情報を伝送する段階とを含む、
方法。
前記入力HOA信号から、打ち切りされたHOA表現および方向性サブバンド信号を組成する段階をさらに含み、前記打ち切りされたHOA表現は、一つまたは複数の係数シーケンスが0に設定されているHOA信号であり、前記方向情報は、前記方向性サブバンド信号が関連する方向を与えるものであり、前記伝送する段階はさらに、前記打ち切りされたHOA表現と、前記方向性サブバンド信号を定義する情報とを伝送することを含む、請求項５記載の方法。
前記方向性サブバンド信号を定義する情報は予測行列を含む、請求項６記載の方法。
・アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる使用される候補方向の集合（M _FB (k)）と、使用される候補方向の前記集合の要素数（NoOfGlobalDirs(k)）とを決定する段階であって、方向情報を集める際の前記アクティブな候補方向が前記使用される候補方向である、段階と；
・前記使用される候補方向を、そのグローバル方向インデックスによってエンコードし、前記要素数をlog ₂ (D)ビットによってエンコードする段階であって、Dは（フルバンド）候補方向のあらかじめ定義された最大数である、段階とをさらに含む、
請求項６記載の方法。
アクティブなサブバンド方向の軌跡を決定する段階をさらに含み、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスであり、現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向は、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較され、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される、請求項６記載の方法。
サブバンド毎に各方向に割り当てされた前記方向インデックスは軌跡インデックスであり、当該方法はさらに、
・それぞれの決定された軌跡に軌跡インデックスを割り当てる段階と；
・各周波数サブバンドについてインデックスのタプルを含むタプル集合（M _DIR (k,f ₁ )、…、M _DIR (k,f _F )）を生成する段階とを含み、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む、
請求項８記載の方法。
圧縮された高次アンビソニックス（HOA）表現から方向情報をデコードする装置であって、
・前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合（M _FB (k)）と、
それぞれの周波数サブバンドおよび最大（D _SB ）個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビット（bSubBandDirIsActive(k,f _j )）と、
それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,f _j )）および方向性サブバンド信号情報と
を抽出するよう構成された抽出モジュールと；
・それぞれの周波数サブバンド方向について、前記相対方向インデックス（RelDirIndices(k,f _j )）を絶対方向インデックスに変換するよう構成された変換モジュールであって、各相対方向インデックスは、前記ビット（bSubBandDirIsActive(k,f _j )）が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合（M _FB (k)）内のインデックスとして使われる、モジュールと；
・前記方向性サブバンド信号情報から方向性サブバンド信号を予測するよう構成された予測モジュールであって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、モジュールと；
・前記複数の打ち切りされたHOA係数シーケンスから打ち切りされたHOA表現を再構成するよう構成された打ち切りHOA表現再構成モジュールと；
・前記再構成された打ち切りされたHOA表現を複数F個の周波数サブバンドについての周波数サブバンド表現に分解するよう構成された一つまたは複数の分解フィルタバンクとを有しており、
前記予測モジュールは、方向性サブバンド信号の前記予測のために、前記周波数サブバンド表現および複数の予測行列を使う、
装置。
現在フレームにおける方向性サブバンド信号を予測するよう構成された前記予測モジュールは、
・前のフレームの当該サブバンドの方向性サブバンド信号を判別し；
・前記方向性サブバンド信号のインデックスが前記前のフレームにおいて0であり、現在フレームにおいて0でない場合には、新たな方向性サブバンド信号を生成し；
・前記方向性信号のインデックスが前記前のフレームにおいて0でなく、現在フレームにおいて0である場合には、前の方向性サブバンド信号をキャンセルし；
・方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には該方向性サブバンド信号の方向を該第一の方向から該第二の方向に動かす
ようさらに構成されている、請求項１１記載の装置。
前記抽出モジュールは、前記圧縮されたHOA表現を多重分離して、知覚的に符号化された部分とエンコードされたサイド情報部分とを得るようさらに構成されており、前記知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンスを含み、
前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合と、アクティブなサブバンド方向の前記相対方向インデックスと、前記割り当てベクトルと、前記予測行列と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示す前記ビットとを含む、請求項１１記載の装置。
前記方向性サブバンド信号情報は、アクティブな方向の集合（M _DIR (k)）と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合（M _DIR (k＋1,f ₁ )、…、M _DIR (k＋1,f _F )）とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合（M _DIR (k)）内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである、請求項１１記載の装置。
入力高次アンビソニックス（HOA）信号のフレームについての方向情報をエンコードするための装置であって、
・前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合（M _DIR (k)）を決定するよう構成されたアクティブ候補決定モジュールであって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、モジュールと；
・前記入力HOA信号を複数の周波数サブバンド（f ₁ ,…,f _F ）に分割するよう構成された分解フィルタバンク・モジュールと；
・アクティブな候補方向の前記第一の集合（M _DIR (k)）のうちで、前記周波数サブバンドのそれぞれについて、D _SB 個までのアクティブなサブバンド方向の第二の集合を決定するよう構成されたサブバンド方向決定モジュールと；
・周波数サブバンド毎に各方向に相対方向インデックスを割り当てるよう構成された相対方向インデックス割り当てモジュールであって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、モジュールと；
・現在フレームについての方向情報を集めるよう構成された方向情報まとめモジュールであって、前記方向情報は、
前記アクティブな候補方向（M _DIR (k)）と、
各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビット（bSubBandDirIsActive(k,f _j )）と、
各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,f _j )）とを含む、
モジュールと；
・集められた方向情報をパックするよう構成されたパッキング・モジュールとを有する、
装置。
前記方向性サブバンド信号を定義する情報は予測行列を含む、請求項１５記載の装置。
・アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる、使用される候補方向の集合（M _FB (k)）を決定し、使用される候補方向の前記集合の要素数（NoOfGlobalDirs(k)）を決定するよう構成された使用候補方向決定モジュールであって、前記方向情報まとめモジュールが集める前記方向情報に含まれる前記アクティブな候補方向が前記使用される候補方向である、モジュールと；
・前記使用される候補方向を、そのグローバル方向インデックスによってエンコードし、前記要素数をlog ₂ (D)ビットによってエンコードするよう構成されたエンコーダであって、Dはフルバンドについての候補方向のあらかじめ定義された最大数である、モジュールとをさらに有する、
請求項１５記載の装置。
アクティブなサブバンド方向の軌跡を決定するよう構成された軌跡決定モジュールをさらに有しており、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスであり、一つまたは複数の方向比較器が、現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向を、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較し、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される、請求項１５記載の装置。
前記相対方向インデックス割り当てモジュールがサブバンド毎に各方向に割り当てる方向インデックスは軌跡インデックスであり、前記相対方向インデックス割り当てモジュールがさらに、
・それぞれの決定された軌跡に軌跡インデックスを割り当てるよう構成された軌跡インデックス割り当てモジュールと；
・各周波数サブバンドについてインデックスのタプルを含むタプル集合（M _DIR (k,f ₁ )、…、M _DIR (k,f _F )）を生成するよう構成されたタプル集合生成器とを有しており、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む、
請求項１８記載の装置。