JP2015527610A5

JP2015527610A5 -

Info

Publication number: JP2015527610A5
Application number: JP2015522115A
Authority: JP
Filing date: 2013-07-19
Publication date: 2016-08-18
Anticipated expiration: 2033-07-19

Claims

前処理されたオーディオデータをエンコードする方法であって、
第１のＨｉｇｈｅｒ−ＯｒｄｅｒＡｍｂｉｓｏｎｉｃｓ（ＨＯＡ）フォーマットと、複数のマイクロホンの一セットアップを用いたマイクロホン録音と、具体的なパンニングによりミックスされたマルチチャンネルオーディオストリームとを含む、少なくとも異なる３つのタイプからオーディオデータのオーディオデータタイプを検出するステップと、
前記検出するステップにより、オーディオデータが第１のＨＯＡフォーマットを有するとき、逆ＤｉｓｃｒｅｔｅＳｐｈｅｒｉｃａｌＨａｒｍｏｎｉｃｓＴｒａｎｓｆｏｒｍ（ｉＤＳＨＴ）が、第１のＨＯＡフォーマットのオーディオデータの係数を異なる第２のＨＯＡフォーマットの係数に変換するステップと、
前記検出するステップにより、オーディオデータが第１のＨＯＡフォーマットを有するとき、オーディオデータ、または空間領域の前記係数をエンコードするステップと、
オーディオデータのオーディオ前処理を示す補助データをエンコードするステップであって、前記補助データは少なくとも仮想的または実際のスピーカ位置に関するメタデータと、オーディオデータに関するミキシング情報とを含み、ミキシング情報は第１のＨＯＡフォーマットの詳細、複数のマイクロホンのセットアップ、及び前記パンニングの詳細のうち少なくとも一つの詳細を含む、ステップとを有する、
方法。
前処理オーディオデータと補助データの少なくとも一部とはオーディオプロダクション段階から得られ、得られた補助データの一部は修正情報、編集情報及び合成情報のうち少なくとも一つを含む、請求項１に記載の方法。
オーディオプロダクション段階は録音、ミキシング、及びサウンド合成のうち少なくとも一つを実行する、請求項２に記載の方法。
前記補助データは、オーディオコンテンツがＨＯＡコンテンツと、ＨＯＡコンテンツ表現のオーダー、２次元、３次元、または半球表現、及び空間的サンプリングポイントの位置のうち少なくとも一つとから得られたことを示す、
請求項１ないし３いずれか一項に記載の方法。
前記補助データは、オーディオコンテンツがＶＢＡＰと、ＶＢＡＰタプルまたはスピーカのトリプレットの割り当てとを用いて、合成的にミックスされたことを示す、
請求項１ないし４いずれか一項に記載の方法。
前記補助データは、オーディオコンテンツが固定された離散的マイクロホンで録音されたことと、録音セットの一以上のマイクロホンの一以上の位置と方向及び一以上の種類のマイクロホンのうち少なくとも一方とを示す、
請求項１ないし５いずれか一項に記載の方法。
エンコードされたオーディオデータをデコードする方法であって、
エンコードされたオーディオデータがエンコード前に前処理されていると判断するステップと、
前記オーディオデータをデコードするステップと、
受信データから、前処理に関する情報を抽出するステップであって、前記情報は、少なくとも仮想的または実際のスピーカ位置に関するメタデータと、オーディオデータに関するミキシング情報とを含み、ミキシング情報は第１のＨＯＡフォーマットの詳細と、複数のマイクロホンのセットアップと、具体的なパンニングの詳細とのうち少なくとも一つの詳細を含む、ステップと、
抽出された前処理情報に応じて、デコードされたオーディオデータを後処理するステップとを有する。
方法。
前処理に関する情報は、オーディオコンテンツがＨＯＡコンテンツから求められたこと、及びＨＯＡコンテンツ表現のオーダーと、２次元、３次元、または半球表現と、空間サンプリングポイントの位置とのうちの少なくとも一つを示し、後処理は、ＤＳＨＴを適用して、デコードされたオーディオデータから第１のＨＯＡフォーマットによるＨＯＡ表現を回復するステップを含む、請求項７に記載の方法。
前処理に関する情報は、オーディオコンテンツがＶＢＡＰと、ＶＢＡＰタプルまたはスピーカのトリプレットの割り当てとを用いて、合成的にミックスされたことを示す、
請求項１ないし８いずれか一項に記載の方法。
前処理に関する情報は、オーディオコンテンツが固定された離散的マイクロホンで録音されたことと、録音セットの一以上のマイクロホンの一以上の位置と方向及び一以上の種類のマイクロホンのうち少なくとも一方とを示す、
請求項１ないし９いずれか一項に記載の方法。
メタデータの利用は任意的であり、オンとオフを切り替えることができる、
請求項１ないし１０いずれか一項に記載の方法。
前処理されたオーディオデータをエンコードするエンコーダであって、
オーディオデータは、第１のＨｉｇｈｅｒ−ＯｒｄｅｒＡｍｂｉｓｏｎｉｃｓ（ＨＯＡ）フォーマットと、複数のマイクロホンの一セットアップを用いたマイクロホン録音と、具体的なパンニングによりミックスされたマルチチャンネルオーディオストリームとを含む、少なくとも異なる３つのタイプのうちのオーディオデータタイプを有し、
前記エンコーダは、
オーディオデータが第１のＨＯＡフォーマットを有するとき、第１のＨＯＡフォーマットのオーディオデータの係数を異なる第２のＨＯＡフォーマットの係数に変換する逆ＤｉｓｃｒｅｔｅＳｐｈｅｒｉｃａｌＨａｒｍｏｎｉｃｓＴｒａｎｓｆｏｒｍ（ｉＤＳＨＴ）ブロックと、
オーディオデータが第１のＨＯＡフォーマットを有するとき、オーディオデータをエンコードし、または空間領域の前記係数をエンコードする第１のエンコーダと、
オーディオデータのオーディオ前処理を示す補助データをエンコードする第２のエンコーダであって、前記補助データは少なくとも仮想的または実際のスピーカ位置に関するメタデータと、オーディオデータに関するミキシング情報とを含み、ミキシング情報は第１のＨＯＡフォーマットの詳細、複数のマイクロホンのセットアップ、及び前記パンニングの詳細のうち少なくとも一つの詳細を含む、第２のエンコーダとを有する、
エンコーダ。
エンコーダは、ＤＳＨＴブロックと、ＭＤＣＴブロックと、逆ＤＳＨＴを実行する第２の逆ＤＳＨＴブロックと、音源方向検出ブロックと、パラメータ計算ブロックとを有し、
ＤＳＨＴブロックは、前記逆ＤＳＨＴブロックにより実行されるｉＤＳＨＴの逆であるＤＳＨＴを計算及び実行するように構成され、ＭＤＣＴブロックと、音源方向検出ブロックと、パラメータ計算ブロックとに出力を提供し、
ＭＤＣＴブロックは、オーディオフレームセグメントの時間的オーバーラップを補償するように構成され、第２の逆ＤＳＨＴブロックに出力を提供し、
音源方向検出ブロックは、ＤＳＨＴブロックの出力中の一以上の最強音源方向を検出するように構成され、パラメータ計算ブロックに出力を提供し、
パラメータ計算ブロックは、回転パラメータを計算するように構成され、第２の逆ＤＳＨＴブロックに回転パラメータを提供し、回転パラメータは、第２の逆ＤＳＨＴブロックの逆ＤＳＨＴのサンプリンググリッドの空間的サンプル位置を、検出された一以上の最強音源方向の一つにマッピングする回転を確定し、
第２の逆ＤＳＨＴブロックは、パラメータ計算ブロックから受け取った回転パラメータから適応的回転マトリクスを計算し、適応的逆ＤＳＨＴを実行するように構成され、適応的逆ＤＳＨＴは適応的回転マトリクスと逆ＤＳＨＴによる回転を含む、
請求項１２に記載のエンコーダ。
エンコードされたオーディオデータをデコードするデコーダであって、
エンコードされたオーディオデータがエンコード前に前処理されていると判断するアナライザと、
前記オーディオデータをデコードする第１のデコーダと、
受信データから、前処理に関する情報を抽出する、前記情報は、少なくとも仮想的または実際のスピーカ位置に関するメタデータと、オーディオデータに関するミキシング情報とを含み、ミキシング情報は第１のＨＯＡフォーマットの詳細と、複数のマイクロホンのセットアップと、具体的なパンニングの詳細とのうち少なくとも一つの詳細を含む、データストリームパーサ及び抽出ユニットと、
抽出された前処理情報に応じて、デコードされたオーディオデータを後処理する処理ユニットとを有する、
デコーダ。
ＨＯＡ信号をレンダリングするのに適したオーディオレンダラであって、
前記オーディオレンダラは
マルチチャンネルオーディオデータと、複数の入力チャンネルの空間的位置情報とを受信する前記複数の入力チャンネルと、
メタデータを受信する、前記メタデータはマルチチャンネルオーディオデータに適用されたオーディオミキシングのタイプを指定する、少なくとも１つのチャネルとを有するインタフェースを含む、
オーディオレンダラ。
プロセッサに請求項１ないし１１いずれか一項に記載の方法を実行させるコンピュータプログラム。