JP2020519950A5 - - Google Patents

Description

第12のEEEは、マルチチャネルの空間的オーディオ・フォーマットの入力信号を処理するための装置に関する。本装置は、受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト位置メタデータを決定するプロセッサと、受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出する抽出器とを備える。受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出することは、オブジェクト・オーディオ信号および残差オーディオ信号を決定することを含む。
いくつかの態様を記載しておく。
〔態様１〕
マルチチャネルの空間的フォーマットの入力オーディオ信号を処理する方法であって：
前記入力オーディオ信号に基づいてオブジェクト位置を決定し；
決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することを含み、
前記オブジェクト位置を決定することは、いくつかの周波数サブバンドのそれぞれについて、一つまたは複数の音到来方向を決定することを含む、
方法。
〔態様２〕
前記決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することは：
前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定し；
前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成し；
各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成することを含む、
態様１記載の方法。
〔態様３〕
前記オブジェクト位置についての前記混合利得は、周波数依存である、態様２記載の方法。
〔態様４〕
前記空間的フォーマットが複数のチャネルを定義し；
前記空間的マッピング関数は、前記空間的フォーマットの前記複数のチャネルから所与の位置におけるオーディオ信号を抽出するための、その空間的フォーマットの空間的デコード関数である、
態様２または３記載の方法。
〔態様５〕
前記空間的フォーマットの空間的パン関数は、ソース位置におけるソース信号を、前記空間的フォーマットによって定義される前記複数のチャネルにマッピングするための関数であり、
前記空間的デコード関数は、前記空間的パン関数および前記空間的デコード関数の相続く適用が、単位球上のすべての位置について1の利得を与えるように定義される、
態様４記載の方法。
〔態様６〕
所与の周波数サブバンドおよび所与のオブジェクト位置について前記混合利得を決定することは、その所与のオブジェクト位置と、その所与の周波数サブバンドにおける前記入力オーディオ信号の共分散行列とに基づく、態様２記載の方法。
〔態様７〕
前記所与の周波数サブバンドおよび前記所与のオブジェクト位置についての前記混合利得は、前記所与の周波数サブバンドにおける前記入力オーディオ信号についてのステアリング関数を、前記所与のオブジェクト位置において評価したものに依存する、態様６記載の方法。
〔態様８〕
前記ステアリング関数は、前記所与の周波数サブバンドにおける前記入力オーディオ信号の共分散行列に基づく、態様７記載の方法。
〔態様９〕
前記所与の周波数サブバンドおよび前記所与のオブジェクト位置についての前記混合利得を決定することは、前記所与のオブジェクト位置の時間を追った変化率にさらに基づき、前記混合利得は、前記所与のオブジェクト位置の変化率に依存して減衰させられる、態様６ないし８のうちいずれか一項記載の方法。
〔態様１０〕
各周波数サブバンドについて、各オブジェクト位置について、周波数サブバンド出力信号を生成することは：
利得行列および空間的デコード行列を前記入力オーディオ信号に適用することを含み、前記利得行列は、その周波数サブバンドについての決定された混合利得を含み、
前記空間的デコード行列は、各オブジェクト位置について一つで、複数のマッピング・ベクトルを含み、各マッピング・ベクトルは、それぞれのオブジェクト位置で前記空間的デコード関数を評価することによって得られる、
態様２記載の方法。
〔態様１１〕
前記複数の出力信号を前記空間的フォーマットに再エンコードして、マルチチャネルの空間的フォーマットのオーディオ・オブジェクト信号を得て；
前記入力オーディオ信号から該オーディオ・オブジェクト信号を減算して、マルチチャネルの空間的フォーマットの残差オーディオ信号を得ることをさらに含む、
態様１記載の方法。
〔態様１２〕
前記残差オーディオ信号にダウンミックスを適用して、ダウンミックスされた残差オーディオ信号を得ることをさらに含み、前記ダウンミックスされた残差オーディオ信号のチャネル数は、前記入力オーディオ信号のチャネル数より少ない、
態様１１記載の方法。
〔態様１３〕
前記オブジェクト位置を決定することはさらに：
前記いくつかの周波数サブバンドについての優勢な音到来方向の諸集合の和集合を決定し；
前記和集合に対してクラスタリング・アルゴリズムを適用して、前記複数のオブジェクト位置を決定することを含む、
態様１記載の方法。
〔態様１４〕
音到来の優勢方向の前記集合を決定することは：
その周波数サブバンド内の前記入力オーディオ信号の共分散行列から諸要素を抽出することと；
その周波数サブバンド内の前記オーディオ入力信号の投影関数の極大を決定することであって、前記投影関数は、前記オーディオ入力信号の前記共分散行列および前記空間的フォーマットの空間的パン関数に基づく、こととのうちの少なくとも一方に関わる、
態様１３記載の方法。
〔態様１５〕
各優勢方向は、関連する重みをもち；
前記クラスタリング・アルゴリズムは、前記優勢方向の重み付けされたクラスタリングを実行する、
態様１３または１４記載の方法。
〔態様１６〕
前記クラスタリング・アルゴリズムは：k平均アルゴリズム、重み付けされたk平均アルゴリズム、期待値最大化アルゴリズム、および重み付けされた平均アルゴリズムのうちの一つである、
態様１３ないし１５のうちいずれか一項記載の方法。
〔態様１７〕
前記オブジェクト位置を示すオブジェクト位置メタデータを生成することをさらに含む、
態様１ないし１６のうちいずれか一項記載の方法。
〔態様１８〕
前記オブジェクト・オーディオ信号は、受領された空間的オーディオ・フォーマットの入力信号の前記いくつかのサブバンドの各サブバンドにおいて線形混合行列に基づいて決定される、態様１ないし１７のうちいずれか一項記載の方法。
〔態様１９〕
行列係数はそれぞれの周波数帯域ごとに異なる、態様１８記載の方法。
〔態様２０〕
オブジェクト・オーディオ信号を抽出することは、前記入力オーディオ信号から前記オブジェクト・オーディオ信号の寄与を差し引くことによって決定される、態様１ないし１９のうちいずれか一項記載の方法。
〔態様２１〕
マルチチャネルの空間的フォーマットの入力オーディオ信号を処理するための装置であって、当該装置は：
前記入力オーディオ信号を解析して、前記入力オーディオ信号に含まれるオーディオ・オブジェクトの複数のオブジェクト位置を決定する段階であって、該解析することは、いくつかの周波数サブバンドの各周波数サブバンドについて、一つまたは複数の優勢な音到来方向を決定することを含む、段階と；
前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定する段階と；
前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成する段階と；
各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成する段階とを実行するよう適応されたプロセッサを有する、
装置。

Claims (17)

1. マルチチャネルの空間的フォーマットの入力オーディオ信号を処理する方法であって、前記空間的フォーマットは高次アンビソニックスまたはBフォーマットの一方であり、複数のチャネルを定義し、当該方法は：
   前記入力オーディオ信号に基づいてオブジェクト位置を決定し；
   決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することを含み、
   前記オブジェクト位置を決定することは、いくつかの周波数サブバンドのそれぞれについて、一つまたは複数の音到来方向を決定することを含み、
   前記決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することは：
   前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定する段階と；
   前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成する段階であって、前記空間的マッピング関数は、前記空間的フォーマットの前記複数のチャネルから所与の位置におけるオーディオ信号を抽出するための、その空間的フォーマットの空間的デコード関数である、段階と；
   各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成する段階とを含む、
   方法。
2. 前記オブジェクト位置についての前記混合利得は、周波数依存である、請求項１記載の方法。
3. 前記空間的フォーマットの空間的パン関数は、ソース位置におけるソース信号を、前記空間的フォーマットによって定義される前記複数のチャネルにマッピングするための関数であり、
   前記空間的デコード関数は、前記空間的パン関数および前記空間的デコード関数の相続く適用が、単位球上のすべての位置について1の利得を与えるように定義される、
   請求項１記載の方法。
4. 所与の周波数サブバンドおよび所与のオブジェクト位置について前記混合利得を決定することは、その所与のオブジェクト位置と、前記所与の周波数サブバンドにおける前記入力オーディオ信号についてのステアリング関数を、前記所与のオブジェクト位置において評価したものとに基づき、前記ステアリング関数は、前記所与の周波数サブバンドにおける前記入力オーディオ信号の前記複数のチャネルの共分散行列に基づく、請求項１記載の方法。
5. 前記所与の周波数サブバンドおよび前記所与のオブジェクト位置についての前記混合利得を決定することは、前記所与のオブジェクト位置の時間を追った変化率にさらに基づき、前記混合利得は、前記所与のオブジェクト位置の変化率に依存して減衰させられる、請求項４記載の方法。
6. 各周波数サブバンドについて、各オブジェクト位置について、周波数サブバンド出力信号を生成することは：
   利得行列および空間的デコード行列を前記入力オーディオ信号に適用することを含み、前記利得行列は、その周波数サブバンドについての決定された混合利得を含み、
   前記空間的デコード行列は、各オブジェクト位置について一つで、複数のマッピング・ベクトルを含み、各マッピング・ベクトルは、それぞれのオブジェクト位置で前記空間的デコード関数を評価することによって得られる、
   請求項１記載の方法。
7. 前記複数の出力信号を前記空間的フォーマットに再エンコードして、マルチチャネルの空間的フォーマットのオーディオ・オブジェクト信号を得て；
   前記入力オーディオ信号から該オーディオ・オブジェクト信号を減算して、マルチチャネルの空間的フォーマットの残差オーディオ信号を得ることをさらに含む、
   請求項１記載の方法。
8. 前記残差オーディオ信号にダウンミックスを適用して、ダウンミックスされた残差オーディオ信号を得ることをさらに含み、前記ダウンミックスされた残差オーディオ信号のチャネル数は、前記入力オーディオ信号のチャネル数より少ない、
   請求項７記載の方法。
9. 前記オブジェクト位置を決定することはさらに：
   前記いくつかの周波数サブバンドについての優勢な音到来方向の諸集合の和集合を決定し；
   前記和集合に対してクラスタリング・アルゴリズムを適用して、前記複数のオブジェクト位置を決定することを含む、
   請求項１記載の方法。
10. 音到来の優勢方向の前記集合を決定することは：
    その周波数サブバンド内の前記入力オーディオ信号の共分散行列から諸要素を抽出することと；
    その周波数サブバンド内の前記オーディオ入力信号の投影関数の極大を決定することであって、前記投影関数は、前記オーディオ入力信号の前記共分散行列および前記空間的フォーマットの空間的パン関数に基づく、こととのうちの少なくとも一方に関わる、
    請求項９記載の方法。
11. 各優勢方向は、関連する重みをもち；
    前記クラスタリング・アルゴリズムは、前記優勢方向の重み付けされたクラスタリングを実行する、
    請求項９または１０記載の方法。
12. 前記クラスタリング・アルゴリズムは：k平均アルゴリズム、重み付けされたk平均アルゴリズム、期待値最大化アルゴリズム、および重み付けされた平均アルゴリズムのうちの一つである、
    請求項９ないし１１のうちいずれか一項記載の方法。
13. 前記オブジェクト位置を示すオブジェクト位置メタデータを生成することをさらに含む、
    請求項１ないし１２のうちいずれか一項記載の方法。
14. 前記オブジェクト・オーディオ信号は、受領された空間的フォーマットの入力信号の前記いくつかのサブバンドの各サブバンドにおいて線形混合行列に基づいて決定される、請求項１ないし１３のうちいずれか一項記載の方法。
15. 行列係数はそれぞれの周波数帯域ごとに異なる、請求項１４記載の方法。
16. オブジェクト・オーディオ信号を抽出することは、前記入力オーディオ信号から前記オブジェクト・オーディオ信号の寄与を差し引くことによって決定される、請求項１ないし１５のうちいずれか一項記載の方法。
17. マルチチャネルの空間的フォーマットの入力オーディオ信号を処理するための装置であって、前記空間的フォーマットは高次アンビソニックスまたはBフォーマットの一方であり、複数のチャネルを定義し、当該装置は：
    前記入力オーディオ信号を解析して、前記入力オーディオ信号に含まれるオーディオ・オブジェクトの複数のオブジェクト位置を決定する段階であって、該解析することは、いくつかの周波数サブバンドの各周波数サブバンドについて、一つまたは複数の優勢な音到来方向を決定することを含む、段階と；
    前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定する段階と；
    前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成する段階であって、前記空間的マッピング関数は、前記空間的フォーマットの前記複数のチャネルから所与の位置におけるオーディオ信号を抽出するための、その空間的フォーマットの空間的デコード関数である、段階と；
    各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成する段階とを実行するよう適応されたプロセッサを有する、
    装置。