JP2021513775A - オーディオオブジェクトのオブジェクト位置を変換するための装置、オーディオストリームプロバイダ、オーディオコンテンツ制作システム、オーディオ再生装置、方法およびコンピュータプログラム - Google Patents

オーディオオブジェクトのオブジェクト位置を変換するための装置、オーディオストリームプロバイダ、オーディオコンテンツ制作システム、オーディオ再生装置、方法およびコンピュータプログラム Download PDF

Info

Publication number
JP2021513775A
JP2021513775A JP2020541721A JP2020541721A JP2021513775A JP 2021513775 A JP2021513775 A JP 2021513775A JP 2020541721 A JP2020541721 A JP 2020541721A JP 2020541721 A JP2020541721 A JP 2020541721A JP 2021513775 A JP2021513775 A JP 2021513775A
Authority
JP
Japan
Prior art keywords
region
spherical
representation
triangle
cartesian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020541721A
Other languages
English (en)
Other versions
JP7034309B2 (ja
Inventor
ヴィボルト・オリバー
クンツ・アヒム
エルテル・クリスチャン
ディック・ザシャ
ナーゲル・フレデリク
ノイジンガー・マティアス
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2021513775A publication Critical patent/JP2021513775A/ja
Application granted granted Critical
Publication of JP7034309B2 publication Critical patent/JP7034309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【要約書】オーディオオブジェクトのオブジェクト位置をデカルト表現(110)から球面表現(112)に変換するための装置(100)が説明される。デカルト表現の基準領域は、複数の基準領域三角形(630、532、634、636)に細分され、複数の球面領域三角形(660、662、664、666)は、球面表現の円に内接する。装置は、どの基本領域三角形にオーディオオブジェクトのオブジェクト位置の基本領域への投影(P)が配置されているかを決定するように構成され、装置は、基本領域三角形を関連する球面領域三角形にマッピングする線形変換(式(II))を使用して、オブジェクト位置の投影(P)のマッピングされた位置(式(I))を決定するように構成される。装置は、マッピングされた位置(式(I))から方位角(φ)および中間半径値(式(III))を導出するように構成される。装置は、中間半径値(rxy、(式(III))に応じて、および基本領域からのオブジェクト位置の距離(z)に応じて、球面領域半径値(式(IV))および仰角(式(V))を取得するように構成される。オーディオオブジェクトのオブジェクト位置を球面表現から球面表現に変換するための装置、これらの装置の適用、方法、およびコンピュータプログラムについても説明される。

Description

本発明による実施形態は、オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に、およびその逆に変換するための装置に関する。
本発明による実施形態は、オーディオストリームプロバイダに関する。
本発明によるさらなる実施形態は、オーディオコンテンツ制作システムに関する。
本発明によるさらなる実施形態は、オーディオ再生装置に関する。
本発明によるさらなる実施形態は、それぞれの方法に関する。
本発明によるさらなる実施形態は、コンピュータプログラムに関する。
本発明による実施形態は、動的オブジェクト位置メタデータのマッピング規則に関する。
オーディオオブジェクトまたはスピーカの位置は、デカルト座標(空間中心の記述)で記述されることもあれば、球面座標(自己中心の記述)で記述されることもある。
しかし、良好な聴覚印象を維持しながら、オブジェクトの位置またはスピーカの位置をある表現から別の表現に変換することが望ましい場合が多いことが分かっている。記載されたスピーカ設定の一般的なトポロジーを維持し、指定されたスピーカ位置から再生される正しいオブジェクト位置を維持することも望ましい。
この状況に鑑みて、達成可能な聴覚印象と計算の複雑さとの間の良好なトレードオフを提供する、オブジェクトメタデータのデカルト表現(たとえば、オブジェクト位置データ)と球面表現との間の変換を可能にする概念が望まれている。
本発明による一実施形態は、オーディオオブジェクトのオブジェクト位置(たとえば、「オブジェクト位置データ」)を(たとえば、x、yおよびz座標を含む)デカルト表現から(またはデカルト座標系表現から)(たとえば、方位角、球面領域半径値、仰角を含む)球面表現(または球面座標系表現)に変換するための装置を作成する。
デカルト表現の基準領域(たとえば、頂点(−1;−1;0)、(1;−1;0)、(1;1;0)および(−1;1;0)を有するxy平面の2次領域)は、複数の基準領域三角形(たとえば、緑の三角形または第1のハッチングを有する三角形、紫の三角形または第2のハッチングを有する三角形、赤い三角形または第3のハッチングを有する三角形および白い三角形または第4のハッチングを有する三角形)に細分される。たとえば、基準領域三角形はすべて、基本領域の中心位置に角を有してもよい。さらに、複数の(たとえば、対応するまたは関連する)球面領域三角形は、球面表現の円に内接することができる(ここで、たとえば、球面領域三角形のそれぞれは、基準領域三角形に関連し、球面領域三角形は、基準領域三角形と比較すると通常は変形しており、特定の基本領域三角形をその関連する球面領域三角形にマッピングするためのマッピング(好ましくは線形マッピング)がある)。たとえば、球面領域三角形はすべて、円の中心に角を含んでもよい。
装置は、基本領域三角形のどれに、基本領域へのオーディオオブジェクトのオブジェクト位置の投影が配置されているかを決定するように構成される。さらに、装置は、基本領域三角形(ここではオーディオオブジェクトのオブジェクト位置の基本領域への投影が配置されている)をその関連する球面領域三角形にマッピングする変換(好ましくは線形変換)を使用して、オブジェクト位置の投影のマッピングされた位置を決定するように構成される。装置はさらに、マッピングされた位置から方位角および中間半径値(たとえば球面座標系の基本平面における、たとえば仰角ゼロにおける、2次元半径値)を導出するように構成される。
たとえば、円に内接する球面領域三角形を円セグメントにマッピングする半径調整が使用されてもよい。たとえば、調整された中間半径rxyを取得する半径調整が使用されてもよい。半径調整は、たとえば、方位角φに応じて以前に取得された半径値
Figure 2021513775
をスケーリングすることができる。
装置は、(調整されても調整されなくてもよい)中間半径値に応じて、および基本領域からのオブジェクト位置の距離に応じて、球面領域半径値および仰角を取得するように構成される。仰角は、中間半径値と基本領域からのオブジェクト位置の距離との脚を有する直角三角形の角度として決定されてもよい。さらに、球面領域半径は、直角三角形の斜辺の長さ、またはその調整されたバージョンであってもよい。
さらに、装置は、オプションで、調整された仰角を取得するように構成されてもよい(たとえば、第1の角度領域の角度を第1のマッピングされた角度領域に線形にマッピングし、第2の角度領域内の角度を第2のマッピングされた角度領域に線形にマッピングする非線形マッピングを使用して、ここで、第1の角度領域は、第1のマッピングされた角度領域と比較したときに異なる幅または範囲を有し、たとえば、第1の角度領域と第2の角度領域によって一緒にカバーされる角度範囲は、第1のマッピングされた角度領域と第2のマッピングされた角度領域によって一緒にカバーされる角度範囲と同一である)。
この装置は、上記の処理ステップの組み合わせにより、適度に良好なオーディオ品質を得ながら、比較的少ない計算労力で、オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に変換できるという発見に基づいている。また、前述の手順は通常、適度な労力で反転できることが分かっている、つまり、適度な労力で、たとえばオーディオデコーダ側で、球面表現からデカルト表現に戻すことができる。
たとえば、デカルト表現の基本領域(基準領域とも呼ばれる)を基準領域三角形(基本領域三角形とも呼ばれる)に細分し、基準角三角形内の位置を球面領域三角形内の位置にマッピングすることにより、デカルト表現から球面表現への単純な遷移を行うことができ、これは、ほとんど計算労力を必要とせず、容易に反転できる。さらに、三角形を適切に選択することにより、わずかな計算労力で、聴覚印象の監査可能な劣化を回避または少なくとも最小限に抑えることができる。これは、特定の三角形内の音源が同様の聴覚印象を引き起こすように三角形を定義できるためである。
たとえば、空間中心のパラメータで記述されたスピーカ設定は、提案する変換で自己中心の記述に変換され、トポロジーを維持する。さらに、正確なスピーカの位置にあるオブジェクトの位置が、変換後も同じスピーカに配置されることも望まれる。本発明による実施形態は、これらの要件を満たすことができる。
さらに、方位角および中間半径値(2次元半径値である場合もある)が導出され、球面領域半径値および仰角が中間半径値から、基本領域からのオブジェクト位置の距離に応じて導出される多段階手順を使用すると、マッピングは、比較的小さな計算労力を使用して実行でき、かつ容易に反転可能な方法で設計できる「小さな」ステップに分割できることが分かっている。
好ましい実施形態では、装置は、変換行列によって記述される線形変換を使用して、オブジェクト位置の投影のマッピングされた位置を決定するように構成される。装置は、決定された基準領域三角形に応じて変換行列を取得するように構成される。言い換えれば、どの基本領域三角形にオーディオオブジェクトのオブジェクト位置の基本領域への投影が配置されているかの決定に基づいて、変換行列が選択されてもよい(たとえば、複数の事前計算された変換行列に基づいて)。あるいは、変換行列は、たとえば、決定された基本領域三角形の角の位置および決定された(関連する)球面領域三角形の角の位置に応じて、装置によって計算されてもよい。したがって、適切な変換行列を選択することは非常に容易で、変換は計算的に単純な線形演算を使用して行うことができる。
好ましい実施形態では、変換行列は、特許請求の範囲に示すような方程式に従って定義される。この場合、変換行列は、決定された基準領域三角形の(たとえば、2つの)角のx座標とy座標、および関連する球面領域三角形の(たとえば、2つの)角のx座標とy座標によって決定される。たとえば、決定された基準領域三角形の第3の角および/または関連する球面領域三角形の第3の角は、座標系の原点にあると想定することができ、変換の計算が容易となる。
好ましい実施形態では、基本領域三角形は、デカルト表現の原点の「前」の領域をカバーする第1の底角三角形を含む。第2の基本領域三角形は、デカルト表現の原点の左側の領域をカバーしている。第3の基本領域三角形は、デカルト表現の原点の右側の領域をカバーしている。第4の基本領域三角形は、デカルト表現の原点の後ろの領域をカバーしている。そのような基本領域三角形を使用することにより、異なる基本領域三角形は、異なる聴覚印象をもたらす領域を定義する(オブジェクトがそのような領域に配置されている場合)。ただし、オプションでさらに多くの異なる三角形を区別して、より細かい空間解像度を得る(および/またはデカルト表現から球面表現への変換から生じるアーティファクトを減らす)ことができる。
一態様によれば、水平面/層におけるスピーカ位置に基づくセグメンテーションによる基本領域三角形の定義は重要な特徴であり、図18〜24および水平面における5.1スピーカ設定に基づく式を参照されたい。詳細については、セクション10も参照されたい。
一実施形態によれば、球面領域三角形は、球面表現の原点の前の領域をカバーする第1の球面領域三角形、球面表現の原点の左側の領域をカバーする第2の球面領域三角形、球面表現の原点の右側の領域をカバーする第3の球面領域三角形および球面表現の原点の後ろの領域をカバーする第4の球面領域三角形を含んでもよい。これらの4つの球面領域三角形は、前述の4つの基本領域三角形によく対応している。しかしながら、球面領域三角形は、たとえば、それらが異なる角度を含むという点で、関連する基本領域三角形とは実質的に異なり得ることに留意されたい。基本領域三角形は、デカルト表現のx−y平面の二次領域に内接していることが好ましい。対照的に、球面領域三角形は、たとえば、球面表現の仰角ゼロの平面の円に内接している。おそらく、三角形の配置は、対称軸に対する対称性を含むこともでき、対称軸は、たとえば、リスナーまたはリスニング環境の正面図に関連する方向に延びてもよい。
好ましい実施形態では、基本領域三角形の角の座標および関連する球面領域三角形の角の座標は、特許請求の範囲に示すように定義され得る。このような三角形の選択は、特に良好な結果をもたらすことが分かっている。
好ましい実施形態では、装置は、特許請求の範囲に示すようなマッピング規則に従って、マッピングされた位置のマッピングされた座標から方位角を導出するように構成される。たとえば、マッピング規則はアークタンジェント(arctan)関数を使用して、マッピングされた位置の座標を方位角にマッピングすることができ、この場合、「特別な場合」の処理を実装してもい(特に、座標の1つがゼロの場合)。
このような方位角の導出も計算上効率的である。記述された計算規則は、計算上特に効率的であり、数値的にも安定しており、信頼できない結果は無効になる。
好ましい実施形態では、装置は、特許請求の範囲に示す式に従って、マッピングされた位置のマッピングされた座標から中間半径値を導出するように構成される。このような半径の計算は、実装が特に容易で、良好な結果が得られる。
好ましい実施形態では、装置は、円に内接する球面領域三角形を円セグメントにマッピングする半径調整を使用して、中間半径値に応じて球面領域半径値を取得するように構成される。そのような変換は、単一の三角関数を評価することによって行うことができるため、計算上非常に効率的であり、容易に反転可能であることが分かっている。さらに、球面領域で利用可能なすべての範囲の半径値は、そのような手法を使用することによって利用できることが分かっている。
好ましい実施形態では、装置は、半径調整を使用して中間半径値に応じて球面領域半径値を取得するように構成され、半径調整は、方位角に応じて以前に取得された中間半径値をスケーリングするように適合される。したがって、たとえば、それぞれの球面領域三角形が内接する円の半径と、直角二等辺三角形の斜辺の距離との間の比率に応じて、斜辺の反対側の角から方位角で決定される方向に中間半径値を拡大することが可能である。
好ましい実施形態では、装置は、特許請求の範囲で定義されるマッピング方程式を使用して、中間半径値に応じて球面領域半径値を取得するように構成される。この手法は、5.1+4Hスピーカ設定に特に適していることが分かっている。
好ましい実施形態では、装置は、中間半径値と基本領域からのオブジェクト位置の距離との脚を有する直角三角形の角度として仰角を取得するように構成される。仰角のそのような計算は、特に良好な結果を提供し、適度な労力で座標変換の反転を可能にすることも分かっている。
好ましい実施形態では、装置は、球面領域半径を、中間半径値と基本領域からのオブジェクト位置の距離との脚を有する直角三角形の斜辺長、またはその調整バージョンとして取得するように構成される。そのような計算は複雑さが低く、反転可能であることが分かっている。ただし、場合によっては、たとえば、球面領域半径値が直角三角形の斜辺の長さとして単純に取得される場合、半径値が、球面領域三角形が内接する円の半径を超えることがあり、これは別の調整を行い、それによって調整された球面領域半径値を、球面領域三角形が内接する円の半径以下の値の範囲にするために有利である。
好ましい実施形態では、装置は、特許請求の範囲に記載されている仰角を取得するように、および/または特許請求の範囲に記載されている球面領域半径を取得するように構成される。これらの計算規則は、比較的小さな計算労力を伴い、通常、適度な労力で座標変換の反転を可能にすることが分かっている。
好ましい実施形態では、装置は、調整された仰角を取得するように構成される(たとえば、第1の角度領域の角度を第1のマッピングされた角度領域に線形にマッピングし、第2の角度領域内の角度を第2のマッピングされた角度領域に線形にマッピングする非線形マッピングを使用して、ここで、第1の角度領域は、第1のマッピングされた角度領域と比較したときに異なる幅を有し、たとえば、第1の角度領域と第2の角度領域によって一緒にカバーされる角度範囲は、第1のマッピングされた角度領域と第2のマッピングされた角度領域によって一緒にカバーされる角度範囲と同一である)。したがって、たとえばスピーカの位置に座標変換を適合させることが可能である。また、このようなマッピングを利用することで、聴覚上、デカルト表現の仰角と球面表現の仰角とが1対1に対応しないと考えることができる。したがって、区分的線形マッピングであり得るこのような非線形マッピングを実行することによって、仰角の適切な調整を実行することができ、これも適度な努力で反転できる。
好ましい実施形態では、装置は、第1の角度領域の角度を第1のマッピングされた角度領域に線形にマッピングし、第2の角度領域内の角度を第2のマッピングされた角度領域に線形にマッピングする非線形マッピングを使用して、調整された仰角を取得するように構成され、ここで、第1の角度領域は、第1のマッピングされた角度領域と比較したときに異なる幅を有する。したがって、変換を実行するとき一部の領域では仰角が「圧縮」され、他の領域では仰角が「広がる」。これは、良好な聴覚印象を得るのに役立つ。
好ましい実施形態では、第1の角度領域および第2の角度領域によって(一緒に)カバーされる角度範囲は、第1のマッピングされた角度領域および第2のマッピングされた角度領域によって一緒にカバーされる角度範囲と同一である。したがって、高さの特定の角度領域(たとえば、0°から90°)は、同じサイズの角度領域(たとえば、0°から90°)にマッピングでき、ここで、非線形マッピングによって一部の角度領域は広がり、一部の角度領域は圧縮される。
好ましい実施形態では、装置は、特許請求の範囲で提供される規則に従って、仰角を調整された仰角にマッピングするように構成される。そのような規則は、特に良好な聴覚印象を提供することが分かっている。
好ましい実施形態では、装置は、球面領域半径に基づいて、調整された球面領域半径を取得するように構成される。球面領域半径を調整することは、球面領域三角形が内接する円の半径を球面領域半径が超えることを回避するのに役立つ可能性があることが分かっている。
好ましい実施形態では、装置は、調整された球面領域半径を取得するために、デカルト系の正方形の境界を球面座標系の円にマッピングするマッピングを実行するように構成される。このようなマッピングは、球面領域半径を望ましい値の範囲にするために適切であることが分かっている。
好ましい実施形態では、装置は、特許請求の範囲で提供される規則に従って、球面領域半径を調整された球面領域半径にマッピングするように構成される。この規則が調整された球面領域半径を望ましい値の範囲にするのによく適していること、および説明されている規則が容易に反転可能であることも分かっている。
別の実施形態は、オーディオオブジェクトのオブジェクト位置(たとえば、「オブジェクト位置データ」)を(たとえば、方位角、球面領域半径値および仰角を含む)球面表現から(または球面座標系表現から)(たとえば、x、yおよびz座標を含む)デカルト表現(またはデカルト座標系表現)に変換するための装置を作成する。
デカルト表現の基本領域(たとえば、頂点(−1;−1;0)、(1;−1;0)、(1;1;0)および(−1;1;0)を有するxy平面の2次領域)は、複数の基準領域三角形(たとえば、緑の三角形または第1のハッチングを使用して示される三角形、紫の三角形または第2のハッチングを使用して示される三角形、赤い三角形または第3のハッチングを使用して示される三角形および白い三角形または第4のハッチングを使用して示される三角形)に細分され(たとえば、基準領域の三角形はすべて、基本領域の中心位置に角を有してもよい)、ここで、複数の(対応するまたは関連する)球面領域三角形は、球面表現の円に内接している(ここで、たとえば、球面領域三角形のそれぞれは、基準領域三角形に関連し、球面領域三角形は、基準領域三角形と比較すると通常は変形し、特定の基本領域三角形を関連する球面領域三角形にマッピングするための好ましくは線形マッピングがある)。たとえば、球面領域三角形はすべて、円の中心に角を含んでもよい。
装置は、オプションで、仰角に基づいて、マッピングされた仰角を取得するように構成されてもよい(たとえば、第1の角度領域の角度を第1のマッピングされた角度領域に線形にマッピングし、第2の角度領域内の角度を第2のマッピングされた角度領域に線形にマッピングする非線形マッピングを使用して、ここで、第1の角度領域は、第1のマッピングされた角度領域と比較したときに異なる幅を有し、たとえば、第1の角度領域と第2の角度領域によって一緒にカバーされる角度範囲は、第1のマッピングされた角度領域と第2のマッピングされた角度領域によって一緒にカバーされる角度範囲と同一である)。
装置はまた、オプションで、球面領域半径に基づいて、マッピングされた球面領域半径を取得するように構成されてもよい。
装置はさらに、仰角またはマッピングされた仰角に基づいて、および球面領域半径またはマッピングされた球面領域半径に基づいて、基本領域からのオブジェクト位置の距離および中間半径(たとえば、2次元半径であり得る)を表す値を取得するように構成される。装置は、オプションとして、中間半径に基づいて半径補正を実行するように構成されてもよい。
装置はまた、中間半径に基づいて、またはその補正されたバージョンに基づいて、および方位角に基づいて、円に内接する三角形の1つ内の位置を決定するように構成される。さらに、装置は、円に内接する三角形の1つ内の決定された位置に基づいて、(たとえば、決定された位置がある三角形を基本平面の関連する三角形にマッピングする線形変換マッピングを使用して)基本平面へのオブジェクトの位置の投影のマッピングされた位置を決定するように構成される。たとえば、マッピングされた位置および基本領域からのオブジェクト位置の距離は、一緒に、デカルト座標系におけるオーディオオブジェクトの位置を決定し得る。
この装置は、オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に変換するための上記の装置と同様の考慮事項に基づいていることに留意されたい。オブジェクト位置を球面表現からデカルト表現に変換するための装置によって実行される変換は、たとえば、上述の装置の操作を逆にすることができる。また、オーディオオブジェクトのオブジェクト位置を球面表現からデカルト表現に変換するための装置によって実行される操作は、複雑さが低い部分的に独立した(または後続の)処理ステップに分割されるため、通常、計算的に単純であることが分かっている。
好ましい実施形態では、装置は、仰角に基づいてマッピングされた仰角を取得するように構成される。これは、球面領域レンダリングに適した仰角から、デカルト領域レンダリングによく適合した仰角に至るのに役立つ。
好ましい実施形態では、装置は、第1の角度領域の角度を第1のマッピングされた角度領域に線形にマッピングし、第2の角度領域内の角度を第2のマッピングされた角度領域に線形にマッピングする非線形マッピングを使用して、マッピングされた仰角を取得するように構成され、ここで、第1の角度領域は、第1のマッピングされた角度領域と比較したときに異なる幅を有する。このような区分的線形マッピング(全体として、非線形マッピング)は、計算上非常に効率的な方法で実行でき、通常、改善された聴覚印象をもたらすことが分かっている。
好ましい実施形態では、第1の角度範囲領域および第2の角度範囲領域によって一緒にカバーされる角度範囲は、第1のマッピングされた角度範囲領域および第2のマッピングされた角度範囲領域によって一緒にカバーされる角度範囲と同一である。したがって、特定の角度範囲(たとえば、0°から90°)を対応する角度範囲(たとえば、0°から90°まで)にマッピングでき、ここで、非線形(ただし区分的線形)マッピングによって一部の角度領域は圧縮され、一部の角度領域は広がる。そのようなマッピングは、良好な聴覚印象を得るために役立ち、計算上効率的であることが分かっている。
好ましい実施形態では、装置は、特許請求の範囲で提供される規則に従って、仰角をマッピングされた仰角にマッピングするように構成される。この規則は特に有利な実装であることが分かっている。
好ましい実施形態では、装置は、球面領域半径に基づいて、マッピングされた球面領域半径を取得するように構成される。球面領域半径(たとえば、球面領域三角形が内接する円の半径によって決定される値の範囲内にある場合がある)は準最適であることに留意されたい。このため、マッピングを適用して、マッピングされた球面領域半径を導出することが有利である。たとえば、球面領域半径は、マッピングされた球面領域半径の値が円の半径よりも大きくなるようにマッピングされ得る。たとえば、これは、たとえば次の関係
Figure 2021513775
を使用して、円の半径に近い球面領域半径について達成でき、球面領域半径は
Figure 2021513775
、マッピングされた球面領域半径は
Figure 2021513775
である。
言い換えると、マッピングされた球面領域半径は、たとえば、マッピングされた球面領域半径値から導出された2次元半径値が前記円の半径以下になるように決定されてもよい。
好ましい実施形態では、装置は、仰角に応じて、またはマッピングされた仰角に応じて、球面領域半径をスケーリングするように構成される。たとえば、装置は、(たとえば、マッピングされた仰角を導出するために)球面座標系の円をデカルト系の正方形の境界にマッピングするマッピングを実行するように構成することができる。このようなマッピングを使用することにより、マッピングされた球面領域半径が、2次元半径値の導出、さらにz座標値の取得に適していることが分かる。
好ましい実施形態では、装置は、特許請求の範囲に記載される規則に従って、球面領域半径に基づいて、マッピングされた球面領域半径を取得するように構成される。そのような規則は特に効率的であり、良好な聴覚印象をもたらすことが分かっている。
好ましい実施形態では、装置は、特許請求の範囲で定義される規則に従って、基本領域からのオブジェクト位置の距離を表す値zを取得するように構成される。代替的または追加的に、装置は、特許請求の範囲で定義される規則に従って中間半径を取得するように構成されてもよい。これらの規則は特に効率的で実装が容易であることが分かっている。
好ましい実施形態では、装置は、円セグメントを円に内接する三角形にマッピングするマッピングを使用して半径補正を実行するように構成される。たとえば、ゼロと、方位角とは無関係に球面領域三角形が内接する円の半径との間の値をとることができる中間半径は、マッピングされた球面領域半径の最大取得可能値が、円の中心から円に内接する三角形の辺の距離に制限されるように(たとえば、方位角によって記述される方向に)マッピングできる。たとえば、中間半径は、それぞれの球面領域三角形の辺の距離(たとえば、方位角で表される方向)と、球面領域三角形が内接する円の半径との方位角依存比を使用してスケーリングされる。
好ましい実施形態では、装置は、方位角に応じて中間半径をスケーリングして、補正された半径を取得するように構成される。このようなスケーリングは通常、計算が容易で、過度の歪みを発生させることなく、円のセクタを三角形にマッピングするのに適している。
別の好ましい実施形態は、たとえば5.1のように、水平面内のスピーカ設定によって与えられるセグメンテーションに基づいている。
好ましい実施形態では、装置は、特許請求の範囲に定義される規則に従って、中間半径に基づいて、補正された半径を取得するように構成される。この規則は特に有利であり、特に良好な聴覚印象をもたらすことが分かっている。
好ましい実施形態では、装置は、特許請求の範囲で定義される規則に従って、円に内接する三角形の1つ内の位置を決定するように構成される。この規則は単純な三角関数のみを使用し、x座標とy座標を明確に定義するのに適している。
好ましい実施形態では、装置は、円に内接する三角形の1つ内の決定された位置に基づいて、決定された位置がある三角形を基本平面の関連する三角形にマッピングする線形変換を使用して、オブジェクト位置の基本平面への投影のマッピングされた位置(たとえば、x座標とy座標)を決定するように構成される。このような線形変換は、球面領域とデカルト領域tの間でマッピングするための非常に効率的な(そして反転可能な)方法であることが分かっている。
好ましい実施形態では、装置は、特許請求の範囲で定義されるマッピング規則に従って、オブジェクト位置の基本平面への投影のマッピングされた位置を決定するように構成される。このマッピング規則は効率的で反転可能であることが分かっている。
好ましい実施形態では、変換行列は、特許請求の範囲に記載されているように定義される。
好ましい実施形態では、基本領域三角形は、すでに上述したように、第1の基本領域三角形、第2の基本領域三角形、第3の基本領域三角形および第4の基本領域三角形を含む。
同様に、好ましい実施形態では、球面領域三角形は、すでに上述したように、第1の球面領域三角形、第2の球面領域三角形、第3の球面領域三角形および第4の球面領域三角形を含む。
他の好ましい実施形態では、底角三角形の角の座標は、特許請求の範囲に記載されているように定義される。基本領域三角形、球面領域三角形、および前記三角形の角の特定の選択は、オブジェクト位置をデカルト表現から球面表現に変換するための装置に関して上述したのと同じ考慮事項に基づいている。
本発明による別の実施形態は、オーディオストリームを提供するためのオーディオストリームプロバイダを作成する。オーディオストリームプロバイダは、オーディオオブジェクトの位置をデカルト表現で表す入力オブジェクト位置情報を受け取るように構成される。オーディオストリームプロバイダは、球面表現でのオブジェクト位置を表す出力オブジェクト位置情報を含むオーディオストリームを提供するようにさらに構成される。オーディオストリームプロバイダは、デカルト表現を球面表現に変換するために、上述の装置を含む。
別の実施形態によれば、球面からデカルトへの変換を備えたオーディオストリームプロバイダを有することも可能である。
このようなオーディオストリームプロバイダは、デカルト表現を使用して入力オブジェクト位置情報を処理でき、さらに位置の球面表現を含むオーディオストリームを提供できる。したがって、オーディオストリームは、効率的に動作するためにオブジェクトの位置の球面表現を必要とするオーディオデコーダで使用できる。
本発明による別の実施形態は、オーディオコンテンツ制作システムを作成する。オーディオコンテンツ制作システムは、オーディオオブジェクトの位置をデカルト表現で表すオブジェクト位置情報を決定するように構成される。オーディオコンテンツ制作システムは、デカルト表現を球面表現に変換するために、上述の装置を含む。さらに、オーディオコンテンツ制作システムは、球面表現をオーディオストリームに含めるように構成される。
しかしながら、代わりに、球面からデカルトへの変換も可能である。
このようなオーディオコンテンツ制作システムには、オブジェクト位置を最初にデカルト表現で決定できるという利点があり、これは多くのユーザにとって便利でより直感的である。しかしながら、それにもかかわらず、オーディオコンテンツ制作システムは、オーディオストリームが、最初にデカルト表現で決定されたオブジェクト位置の球面表現を含むように、オーディオストリームを提供することができる。したがって、オーディオストリームは、効率的に動作するためにオブジェクトの位置の球面表現を必要とするオーディオデコーダで使用できる。
本発明による別の実施形態は、オーディオ再生装置を作成する。オーディオ再生装置は、オブジェクト位置情報の球面表現を含むオーディオストリームを受け取るように構成される。オーディオ再生装置はまた、球面表現をオブジェクト位置情報のデカルト表現に(またはその逆に)変換するように構成された前述のような装置を含む。オーディオ再生装置は、オブジェクト位置情報のデカルト表現に応じて、オーディオオブジェクトを音響トランスデューサ(たとえば、スピーカ)に関連する複数のチャネル信号にレンダリングするように構成されたレンダラをさらに含む。
したがって、レンダラがデカルト表現のオブジェクト位置情報を必要とする場合でも、オーディオ再生装置は、オブジェクト位置情報の球面表現を含むオーディオストリームを処理することができる。言い換えると、オブジェクト位置を球面表現からデカルト表現に変換するための装置が、オーディオ再生装置において有利に使用され得ることは明らかである。
すべてのアプリケーション(生産ツールやデコーダなど)は逆(ミラー)の方法で実装でき、球面座標からデカルト座標への変換をデカルト座標から球面座標への変換で置き換えるまたはその逆(たとえば球面→デカルトおよびデカルト→球面)ができることに留意されたい。
本発明によるさらなる実施形態は、それぞれの方法を作成する。
ただし、これらの方法は、対応する装置と同じ考慮事項に基づいていることに留意されたい。さらに、方法は、装置に関して本明細書で説明される特徴、機能、および詳細のいずれかによって、個別に、および組み合わせて、補足することができる。
さらに、本発明による実施形態は、前記方法を実行するためのコンピュータプログラムを作成する。
次に、添付の図面を参照して、本出願による実施形態を説明する。
本発明の一実施形態による、オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に変換するための装置のブロック概略図を示す。 本発明の一実施形態による、オブジェクトのオブジェクト位置を球面表現からデカルト表現に変換するための装置のブロック概略図を示す。 5.1+4H設定のための対応するスピーカ位置を備えたデカルトパラメータ空間の例の概略図を示す。 ISO/IEC23008−3:2015 MPEG−H 3Dオーディオによる球面座標系の概略図を示す。 デカルト座標系および球面座標系における話者の位置の概略図を示す。 デカルト座標系の三角形の、球面座標系の対応する三角形へのマッピングのグラフィック表現を示す。 デカルト座標系の三角形内の点の、球面座標系の対応する三角形内の点へのマッピングの概略図を示す。 〔表1〕デカルト座標系の三角形の角の座標と、球面座標系の角または対応する三角形の座標を示す。 本発明による実施形態で使用される半径調整の概略図を示す。 本発明による実施形態で使用される仰角および球面領域半径の導出の概略図を示す。 本発明による実施形態で使用される半径の補正の概略図を示す。 本発明の一実施形態による、オーディオストリームプロバイダのブロック概略図を示す。 本発明の一実施形態による、オーディオコンテンツ制作システムのブロック概略図を示す。 本発明の一実施形態による、オーディオ再生装置のブロック概略図を示す。 本発明の実施形態による方法のフローチャートを示す。 本発明の一実施形態による方法のフローチャートを示す。 本発明の一実施形態による、方法のフローチャートを示す。 5.1+4H設定のための対応するスピーカ位置を備えたデカルトパラメータ空間の例の概略図を示す。 ISO/IEC23008−3:2015 MPEG−H 3Dオーディオによる球面座標系の概略図を示す。 デカルト座標系および球面座標系における話者の位置の概略図を示す。 デカルト座標系の三角形の、球面座標系の対応する三角形へのマッピングのグラフィック表現を示す。 デカルト座標系の三角形内の点の、球面座標系の対応する三角形内の点へのマッピングの概略図を示す。 〔表2〕デカルト座標系の三角形の角の座標と、球面座標系の角または対応する三角形の座標を示す。 本発明による実施形態で使用される半径調整の概略図を示す。 本発明による実施形態で使用される仰角および球面領域半径の導出の概略図を示す。 本発明による実施形態で使用される半径の補正の概略図を示す。
以下に、異なる発明の実施形態および態様を説明する。また、さらなる実施形態は、添付の特許請求の範囲によって定義される。
特許請求の範囲によって定義される任意の実施形態は、本明細書で説明される詳細(特徴および機能)のいずれかによって補足され得ることに留意されたい。また、本明細書で説明する実施形態は、個別に使用することができ、また、特許請求の範囲に含まれる詳細(特徴および機能)のいずれかによって任意に補足することもできる。
また、本明細書で説明する個々の態様は、個別にまたは組み合わせて使用できることに留意されたい。したがって、詳細は、前記態様の別の1つに詳細を追加することなく、前記個別の態様のそれぞれに追加することができる。
また、本開示は、オーディオエンコーダ(入力オーディオ信号の符号化表現を提供するための装置)およびオーディオデコーダ(符号化表現に基づいてオーディオ信号の復号表現を提供するための装置)で使用可能な機能を明示的または暗示的に説明することにも留意されたい。したがって、本明細書で説明する機能のいずれも、オーディオエンコーダのコンテキストおよびオーディオデコーダのコンテキストで使用することができる。
さらに、方法に関連して本明細書に開示された特徴および機能は、(そのような機能を実行するように構成された)装置でも使用することができる。さらに、装置に関して本明細書に開示された任意の特徴および機能は、対応する方法でも使用することができる。言い換えれば、本明細書で開示される方法は、装置に関して説明される特徴および機能のいずれかによって補足することができる。
また、本明細書で説明する特徴および機能のいずれも、「代替の実装」セクションで説明するように、ハードウェアまたはソフトウェアで、あるいはハードウェアとソフトウェアの組み合わせを使用して実装できる。
1.図1による実施形態
図1は、オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に変換するための装置のブロック概略図を示す。
装置100は、たとえばデカルト座標x、y、zを含み得るデカルト表現110を受け取るように構成される。さらに、装置100は、たとえば座標r、φおよびθを含み得る球面表現112を提供するように構成される。
装置は、デカルト表現の基準領域が複数の基準領域三角形に細分され(たとえば、図6に示すように)、複数の球面領域三角形が球面表現の円に内接している(たとえば、これも図6に示すように)という想定に基づいていてもよい。
装置100は、基本領域三角形のどれに、基本領域へのオーディオオブジェクトのオブジェクト位置の投影が配置されているかを決定するように構成された三角形決定器(または決定)120を含む。たとえば、三角形決定器120は、オブジェクト位置情報のx座標およびy座標に基づいて三角形識別122を提供することができる。
さらに、装置は、基本領域三角形(ここではオーディオオブジェクトのオブジェクト位置の基本領域への投影が配置されている)をその関連する球面領域三角形にマッピングする線形変換を使用して、オブジェクト位置の投影のマッピングされた位置を決定するように構成されたマッピング位置決定器を含んでもよい。言い換えれば、マッピング位置決定器は、第1の基本領域三角形内の位置を第1の球面領域三角形内の位置にマッピングし、第2の基本領域三角形内の位置を第2の球面領域三角形内の位置にマッピングする。一般的に言えば、i番目の基本領域三角形内の位置は、i番目の球面領域三角形内の位置にマッピングできる(i番目の基本領域三角形の境界は、i番目の球面領域三角形の境界にマッピングできる)。したがって、マッピング位置決定器130は、x座標およびy座標に基づいて、そして、三角形決定器120によって提供される三角形識別122にも基づいて、マッピングされた位置132を提供することができる。
さらに、装置100は、マッピングされた位置132(2つの座標で表すことができる)から方位角(たとえば、角度φ)および中間半径値(たとえば、中間半径値
Figure 2021513775
)を導出するように構成された方位角/中間半径値導出器140を含む。方位角情報は142と呼ばれ、中間半径値は144と呼ばれる。
オプションで、装置100は、中間半径値144を受け取り、それに基づいて、調整された中間半径値148を提供する半径調整器146を含む。以下に、調整された中間半径値を参照して、さらなる処理について説明する。ただし、オプションの半径調整器146がない場合、中間半径値144は、調整された中間半径値148に代わることができる。
装置100はまた、中間半径値144に応じて、または調整された中間半径値148に応じて、そして基本領域からのオブジェクト位置の距離を表すz座標にも応じて仰角152(たとえば、
Figure 2021513775
と呼ばれる)を取得するように構成された仰角計算器150を含む。
さらに、装置100は、中間半径値144、または調整された中間半径値148に応じて、そして基本領域からのオブジェクト位置の距離を表すz座標にも応じて球面領域半径値を取得するように構成された球面領域半径値計算器を含む。したがって、球面領域半径値計算器160は球面領域半径値162を提供し、これはまた
Figure 2021513775
と呼ばれる。
オプションで、装置100はまた、仰角152に基づいて補正または調整された仰角172(たとえば、θと呼ばれる)を取得するように構成された仰角補正器(または調整器)170を含む。
さらに、装置100はまた、球面領域半径値162に基づいて補正または調整された球面領域半径値182を提供するように構成された球面領域半径値補正器(または球面領域半径値調整器)180を含む。補正または調整された球面領域半径値182は、たとえば、rと呼ばれる。
装置100は、本明細書で説明される特徴および機能のいずれかによって補足され得ることに留意されたい。また、個々のブロックのそれぞれは、たとえば、他のブロックが特定の詳細を使用して実装されることを必要とせずに、以下で説明される詳細を使用して実装され得ることに留意されたい。
装置100の機能性に関して、装置は、複数の小さなステップを実行するように構成され、ステップのそれぞれは、球面表現をデカルト表現に変換するための装置の側で反転可能であることに留意されたい。
装置の全体的な機能は、デカルト表現で与えられるオブジェクト位置(たとえば、有効なオブジェクト位置は、デカルト座標系の原点を中心とし、デカルト座標系の軸と整列している立方体内にある可能性がある)を、聴覚印象を大幅に低下させることなく球面表現にマッピングできる(たとえば、有効なオブジェクト位置は、球面座標系の原点を中心とする球内にある可能性がある)という概念に基づいている。たとえば、スピーカの位置が三角形/セグメンテーションを定義する場合、直接スピーカマッピングが有効になる。 基本領域(たとえば、x−y平面)へのオブジェクト位置の投影は、基本領域へのオブジェクト位置の投影が配置されている三角形に関連付けられている球面領域三角形内の位置にマッピングできる。したがって、球面領域三角形が配置されている領域内の2次元位置である、マッピングされた位置132が得られる。
方位角は、方位角導出器または方位角導出を使用して、このマッピングされた位置132から直接導出される。しかしながら、仰角152および球面領域半径値162はまた、マッピングされた位置132から導出することができる中間半径値144に基づいて(または調整された中間半径値148に基づいて)取得できることが分かっている。単純なオプションでは、マッピングされた位置132から容易に導出できる中間半径値144を使用して球面領域半径値162を導出でき、ここではz座標が考慮される(球面領域半径値計算器160)。また、仰角152は、中間半径値144から、または調整された中間半径値148から容易に導出することができ、ここでもz座標が考慮される。特に、マッピング位置決定器130によって実行されるマッピングは、そのようなマッピングを実行しないであろう手法と比較すると、結果を大幅に改善する。
さらに、中間半径値が半径調整器146によって調整され、仰角152がオプションの仰角補正器または仰角調整器170によって調整される場合、および球面領域半径値162が球面領域半径値補正器または球面領域半径値調整器180によって補正または調整される場合、変換の品質がさらに改善され得ることが分かっている。半径調整器146および球面領域半径値補正器180は、たとえば、半径の値の範囲を調整するために使用することができ、その結果、得られる半径値182は、デカルト表現によく適合した値の範囲を含む。同様に、仰角補正器170は補正仰角172を提供することができ、オーディオ処理の分野で通常使用される球面表現に仰角をよりよく調整することが達成されるので、特に良好な聴覚印象をもたらす。
さらに、装置100は、個別におよび組み合わせての両方で、本明細書で説明される特徴および機能のいずれかによってオプションで補足できることに留意されたい。
特に、装置100は、「制作側変換」に関して説明される特徴および機能のいずれかによってオプションで補足することができる。
本明細書で説明される特徴、機能、および詳細は、オプションで、個別にまたは組み合わせて装置100に導入することができる。
2.図2による実施形態
図2は、オーディオオブジェクトのオブジェクト位置を球面表現からデカルト表現に変換するための装置のブロック概略図を示す。
オブジェクト位置を球面表現からデカルト表現に変換するための装置は、全体として200と呼ばれる。
装置200は、球面表現であるオブジェクト位置情報を受け取る。球面表現は、たとえば、球面領域半径値r、方位角値(たとえば、φ)および高さ値(たとえば、θ)を含み得る。
装置100と同様に、装置200もまた、デカルト表現の基準領域(たとえば、頂点(−1;−1;0)、(1;−1;0)、(1;1;0)および(−1;1;0)を有するxy平面の2次領域)は、複数の基準領域三角形(たとえば、第1の基準領域三角形、第2の基準領域三角形、第3の基準領域三角形および第4の基準領域三角形)に細分されるという想定に基づいている。たとえば、基準領域三角形はすべて、基本領域の中心位置に角を有してもよい。さらに、球面表現の円に内接する複数の(対応するまたは関連する)球面領域三角形があると想定される(ここで、たとえば、球面領域三角形のそれぞれは、基本領域三角形に関連し、球面領域三角形は、関連する基準領域三角形と比較すると通常は変形しており、特定の基本領域三角形をその関連する球面領域三角形にマッピングするための線形マッピングがある)。さらに、球面領域三角形は、たとえば、円の中心に角を含んでもよい。
装置200は、球面表現210の仰角値を受け取る仰角マッパ220をオプションで含む。仰角マッパ220は、仰角(たとえば、θと呼ばれる)に基づいて、マッピングされた仰角222(たとえば、
Figure 2021513775
と呼ばれる)を取得するように構成される。たとえば、仰角マッパ220は、第1の角度領域の角度を第1のマッピングされた角度領域に線形にマッピングし、第2の角度領域内の角度を第2のマッピングされた角度付き領域に線形にマッピングする非線形マッピングを使用して、マッピングされた仰角222を取得するように構成することができ、ここで、第1の角度領域は、第1のマッピングされた角度付き領域と比較したときに異なる幅を有し、たとえば、第1の角度領域と第2の角度領域によって一緒にカバーされる角度範囲は、第1のマッピングされた角度領域と第2のマッピングされた角度領域によって一緒にカバーされる角度範囲と同一である。
さらに、装置200は、球面領域半径(たとえば、r)を受け取る球面領域半径値マッパ230をオプションで含む。オプションの球面領域半径値マッパ230は、球面領域半径(たとえば、r)に基づいて、マッピングされた球面領域半径232を取得するように構成され得る。
さらに、装置200は、仰角218に基づいてまたはマッピングされた仰角222に基づいて、および球面領域半径228に基づいてまたはマッピングされた球面領域半径232に基づいて、基本領域からのオブジェクト位置の距離を表す値(たとえば、z)を取得するように構成されたz座標計算器240を含む。基本領域からのオブジェクト位置の距離を表す値は、242と呼ばれ、「z」と呼ばれることもある。
さらに、装置200は、仰角218に基づいてまたはマッピングされた仰角222に基づいて、およびまた、球面領域半径228に基づいてまたはマッピングされた球面領域半径232に基づいて、中間半径252(たとえば、rxyと呼ばれる)を取得するように構成された中間半径計算器250を含む。
装置200は、オプションとして、半径補正器260を含み、これは、中間半径252および方位角258を受け取り、補正された(または調整された)半径値262を提供するように構成され得る。
装置200はまた、中間半径252に基づいて、または中間半径の補正バージョン262に基づいて、および方位角値258(たとえば、φ)に基づいて、円に内接する三角形(球面領域三角形)の1つ内の位置を決定するように構成された位置決定器270を含む。三角形の1つ内の位置は272と呼ぶことができ、たとえば、2つの座標
Figure 2021513775
および
Figure 2021513775
(球面領域三角形がある平面内のデカルト座標)で表すことができる。
装置200は、オプションで、位置272がどの球面領域三角形にあるかを決定する三角形識別280を含んでもよい。三角形識別280によって実行されるこの識別は、たとえば、マッパ290によって使用されるマッピング規則を選択するために使用されてもよい。
マッパ290は、円に内接する三角形の1つ内の決定された位置272に基づいて、(たとえば、決定された位置がある三角形を基本平面の関連する三角形にマッピングする変換または線形変換を使用して)基本平面へのオブジェクトの位置の投影のマッピングされた位置292を決定するように構成される。したがって、マッピングされた位置292(基本平面内の2次元位置であり得る)および基本領域からのオブジェクト位置の距離(たとえば、z値242)は、一緒に、デカルト座標系におけるオーディオオブジェクトの位置を決定し得る。
装置200の機能は、たとえば、装置100の機能の逆であってもよく、それにより、装置100によって提供される球面表現112を装置200を使用してオブジェクト位置のデカルト表現にマッピングすることが可能であることに留意されたい(ここで、(仰角218、球面領域半径228および方位角258を含み得る)球面表現のオブジェクト位置情報210は、装置100によって提供される球面表現112と等しくてもよいか、または、球面表現112から導出されてもよい(たとえば、球面表現112の不可逆符号化または量子化バージョンであってもよい))。たとえば、処理を適切に選択することにより、装置100によって実行される変換は、装置200による適度な労力で反転可能であることが達成され得る。
さらに、球面領域三角形の1つ内の位置のデカルト表現の基本平面内の位置へのマッピングがあることが装置200の重要な特徴であることに留意されたいが、それはこの機能により適度な複雑さで聴覚に優れた印象を与えるマッピングが可能になるからである。
さらに、装置200は、個別におよび組み合わせての両方で、本明細書で説明される特徴、機能および詳細のいずれかによって補足できることに留意されたい。
3.さらなる実施形態および考慮事項
以下に、オブジェクト位置メタデータまたは動的オブジェクト位置メタデータのマッピング規則に関するいくつかの詳細について説明する。位置は動的である必要はないことに留意されたい。また、静的オブジェクト位置がマッピングされる場合がある。
本発明による実施形態は、制作側でデカルト座標系が使用される場合の制作側オブジェクトメタデータ、特にオブジェクト位置データからの変換に関するが、トランスポート形式では、オブジェクト位置メタデータは球面座標で記述される。
デカルト座標では、球面座標系と比較してスピーカが数学的に「正しい」位置に常に配置されるとは限らないことが問題であることが認識されている。したがって、デカルト空間からの立方体領域が球または半球に正しく投影されるようにする変換が必要である。
たとえば、球面座標系ベースのオーディオオブジェクトレンダラ(たとえば、MPEG−H 3Dオーディオ標準に記載されているレンダラ)を使用して、または対応する変換アルゴリズムを備えたデカルトベースのレンダラを使用して、スピーカの位置が均等にレンダリングされる。
立方体の表面は、スピーカが配置されている球の表面にマッピングまたは投影した方がよい(または、マッピングまたは投影すべき場合もある)ことがあることが分かっている。さらに、変換アルゴリズムの計算の複雑さが小さいことが望まれる(または必要になる場合もある)。これは、球面座標からデカルト座標への変換ステップに特に当てはまる。
本発明の適用例は、オーディオオブジェクト座標にしばしばデカルトパラメータ空間(x、y、z)を使用するが、オーディオオブジェクト位置をMPEG−H 3Dオーディオなどの球面座標(方位角、仰角、半径)で記述するトランスポート形式を使用する最新のオーディオオブジェクトオーサリングツールを使用することである。ただし、トランスポート形式はレンダラ(球面またはデカルト)に依存しない場合があり、後で適用される。
以下では、本発明は、例として5.1+4Hスピーカ設定について説明されるが、あらゆる種類のスピーカ設定(たとえば、7.1+4、22.2など)またはさまざまなデカルトパラメータ空間(軸の異なる方向、または軸の異なるスケーリングなど)に対して容易に移行できることに留意されたい。
座標系の一般的な比較
以下に、座標系の一般的な比較を示す。
この目的のために、図3は、5.1+4H設定のためのスピーカ位置を備えたデカルトパラメータ空間の例の概略図を示している。見て分かるように、正規化されたオブジェクト位置は、たとえば、座標(−1;−1;0)、(1;−1;0)、(1;1;0)、(−1;1;0)、(−1;−1;1)、(1;−1;1)、(1;1;1)および(−1;1;1)の角を有する立方体内にある。
比較として、図4は、ISO/IEC 23008−3:2015 MEG−H 3Dオーディオによる球面座標系の概略図を示している。見て分かるように、オブジェクトの位置は、方位角、仰角および(球面領域)半径によって記述される。
ただし、ISO座標系の座標XおよびYは、上記のデカルト座標系とは異なる方法で定義されていることに留意されたい。
ただし、ここに示されている座標系は例としてのみ見なされるべきであることに留意されたい。
3.1制作側の変換(デカルトから球面またはデカルト−球面)
以下に、(たとえば、オブジェクト位置の)デカルト表現から(たとえば、オブジェクト位置の)球面表現への変換を説明するが、これは、好ましくは、装置100によって実行され得る。
ここで説明する特徴、機能および詳細は、オプションとして、個別におよび組み合わせての両方で、装置100に取り込むことができることに留意されたい。
しかしながら、ここで説明される「投影側変換」(デカルト表現から球面表現への変換)は、そのまま(または装置100の特徴および機能の1つ以上の組み合わせで、または特許請求の範囲によって定義されるような特徴および機能の1つ以上と組み合わせて)使用することができる本発明による実施形態と見なすことができる。
ここでは、たとえば、スピーカ位置が、たとえば、ITU勧告ITU−R BS.2159−7によって説明され、MPEG−H仕様に説明されているように、球面座標で与えられると想定する。
変換は別々の方法で適用される。最初に、x座標およびy座標が、方位角/xy平面(たとえば、基本平面)の方位角φおよび半径rxyにマッピングされる。これは、たとえば、装置100のブロック120、130、140によって実行されてもよい。その後、3D空間の仰角および半径(多くの場合、球面領域半径値と呼ばれる)が、z座標を使用して計算される。これは、たとえば、ブロック146(オプション)、150、160、170(オプション)および180(オプション)によって実行することができる。マッピングは、例として(または代表的に)5.1+4Hスピーカ設定について説明されている。
特殊なケースx=y=0;
なお、オプションとして、特殊なケースx=y=0に対して以下の仮定を行うことができる。
z>0の場合:
φ=未定義(=0°)、θ=90°およびr=z。
z=0の場合:
φ=未定義(=0°)、θ=0°およびr=0。
1)xy平面での変換
xy平面で行われる変換は、たとえば、以下で説明される3つのステップを含むことができる。
ステップ1:(オプション、準備ステップの場合がある)
第1のステップでは、デカルト座標系の三角形が、球面座標系の対応する三角形にマッピングされる。
たとえば、図6は、グラフィック表現の基準領域三角形および関連する球面領域三角形を示している。たとえば、グラフィック表現610は、4つの三角形を示している。たとえば、x座標方向620およびy座標方向622がある。原点は、たとえば位置624にある。たとえば、4つの三角形は、たとえば、正規化された座標(−1;−1)、(1;−1)、(1;1)および(−1;1)を含み得る正方形に内接している。第1の三角形(緑色で示されているか、第1のハッチングを使用)は630で示され、(1;1)、(−1;1)および(0;0)に角を有する。紫色で、または第2のハッチングを使用して示されている第2の三角形は632で示され、座標(−1;1)、(−1;−1)および(0;0)に角を有する。第3の三角形634は、赤色で、または第3のハッチングを使用して示され、座標(−1;−1)、(1;−1)および(0;0)に角を有する。第4の三角形636は、白色で、または第4のハッチングを使用して示され、座標(1;−1)、(1;1)および(0;0)に角を有する。
したがって、(正規化された)単位正方形の内部領域全体が4つの三角形で埋められ、第4の三角形はすべて、座標系の原点に角の1つを有する。第1の三角形630は原点の「前」にあり(たとえば、原点にあると想定されるリスナーの前にある)、第2の三角形632は原点の左側にあり、第3の三角形は原点の「後ろ」にあり、第4の三角形636は原点の右側にあると設定することができる。別の言い方をすると、第1の三角形630は原点から見たときの第1の角度範囲をカバーし、第2の三角形632は原点から見たときの第2の角度範囲をカバーし、第3の三角形は原点から見たときの第3の角度範囲をカバーし、第4の三角形は原点から見たときの第4の角度範囲をカバーする。考えられる4つのスピーカ位置は単位正方形の角と一致し、第5のスピーカ位置(中央スピーカ)は座標(0;1)にあると想定されることに留意されたい。
グラフィック表現650は、球面座標系の単位円に内接する関連する三角形を示している。
グラフィック表現650で分かるように、4つの三角形が、たとえば、球面座標系の基本領域(たとえば、仰角ゼロ)にある単位円に内接している。第1の球面領域三角形660は、緑色または第1のハッチングで示され、第1の基本領域三角形630に関連付けられている。第2の球面領域三角形662は、紫色または第2のハッチングで示され、第2の基本領域三角形632に関連付けられている。第3の球面領域三角形664は、赤色または第3のハッチングで示され、第3の基本領域三角形634に関連付けられている。第4の球面領域三角形666は、白色または第4のハッチングで示され、第4の基本領域三角形636に関連付けられている。隣接する球面領域三角形は、共通の三角形の縁を共有する。また、4つの球面領域三角形は、原点から見たとき360°の全範囲をカバーしている。たとえば、第1の球面領域三角形660は原点から見たときの第1の角度範囲をカバーし、第2の球面領域三角形662は原点から見たときの第2の角度範囲をカバーし、第3の球面領域三角形664は原点から見たときの第3の角度範囲をカバーし、第4の球面領域三角形666は原点から見たときの第4の角度範囲をカバーする。たとえば、第1の球面領域三角形660は原点の前の角度範囲をカバーし、第2の球面領域三角形662は左側または原点の角度範囲をカバーし、第3の球面領域三角形は原点の背面の角度範囲をカバーし、第4の球面領域三角形666は原点の右側の角度範囲をカバーすることができる。また、4つのスピーカ位置は、隣接する球面領域三角形の共通の角である円上の位置に配置してもよい。(たとえば、中央スピーカの)別のスピーカ位置は、球面領域三角形の外側(たとえば、第1の球面領域三角形の「前」の円上)に配置してもよい。
一般的に言えば、球面領域三角形がカバーする角度範囲は、関連する基本領域三角形がカバーする角度範囲とは異なる場合があることにも留意されたい。たとえば、各基本領域の三角形は、たとえば、デカルト座標系の原点から見たときの90°の角度範囲をカバーできるが、第1、第2、第4の球面領域三角形は、90°より小さい角度範囲をカバーし、第3の球面領域三角形は、90°より大きい角度範囲をカバーできる(球面座標系の原点から見たとき)。または、以下の5つのセグメントの例に示すように、より多くの三角形を使用することもできる。
さらに、基本領域三角形630、632、634、636は等しくてもよいが、球面領域三角形は異なる形状を有してもよく、その場合第2の球面領域三角形666の形状と第4の球面領域三角形666の形状は等しくてもよい(ただし、互いにミラーリングされる)。
さらに、デカルト表現と球面表現の両方で、より多くの三角形を使用できることに留意されたい。
以下に、例として、1つの三角形についての、デカルト座標系の三角形から球面座標系の対応する三角形へのマッピングを示す。
例として、図7は、基本領域三角形および関連する球面領域三角形のグラフィック表現を示している。グラフィック表現710で分かるように、「第2の基本領域三角形」であってもよい基本領域三角形は、座標P、Pおよびデカルト座標系の原点に角を含む。グラフィック表現750に見られるように、関連する球面領域三角形(たとえば、「第2の球面領域三角形」)は、座標
Figure 2021513775
およびデカルト座標系の原点に角を含むことができる。たとえば、第1の基本領域三角形632内の点Pは、関連する球面領域三角形662の対応する点
Figure 2021513775
にマッピングされる。
たとえば点Pのような三角形またはその中の位置は、線形変換
Figure 2021513775
を使用して相互に投影(またはマッピング)できる。
変換行列は、たとえば、(関連する)三角形
Figure 2021513775

Figure 2021513775

Figure 2021513775
および
Figure 2021513775
の角の既知の位置を使用して計算(または事前計算)できる。これらの点は、スピーカ設定、対応するスピーカの位置、および位置
Figure 2021513775
が位置する三角形によって異なる。
Figure 2021513775
しかしながら、変換行列
Figure 2021513775
は、たとえば、事前に計算されてもよいことに留意されたい。
たとえば、概念が装置100を使用して実施される場合、三角形決定器120は、デカルト表現から球面表現に変換される位置Pがどの三角形に位置するかを決定することができる(または、より正確には、(元の、3次元の)位置の基本平面への(2次元の)投影Pがどの基本領域三角形に配置されているかを決定することができ、ここで位置は、x座標、y座標、およびz座標によって記述される3次元の位置であると想定される)。位置の投影Pがどの三角形にあるかの決定に従って、適切な変換行列
Figure 2021513775
が選択され、マッピング位置決定器130によって(たとえば、投影Pに)適用され得る。
このようにして、マッピングされた位置
Figure 2021513775
が得られる。
以下に、基本領域三角形および球面領域三角形に関する例を説明する。
たとえば、5.1+4Hスピーカ設定には、中間層に標準の5.1スピーカ設定が含まれており、これは、xy平面での投影の基準となる。表1では、対応する点P、P
Figure 2021513775
および
Figure 2021513775
が、投影すべき4つの三角形に与えられている。
Figure 2021513775
しかしながら、表1に示される点は単なる例として考慮されるべきであり、この概念は他のスピーカ配置と組み合わせて適用することもできることに留意すべきであり、その場合三角形は当然異なる方法で選択され得る。
ステップ2
第2のステップでは、半径
Figure 2021513775
(中間半径または中間半径値と呼ぶこともできる)および方位角φが、マッピングされた座標
Figure 2021513775
および
Figure 2021513775
に基づいて計算される。たとえば、この計算は、方位角偏差と中間半径値決定器によって実行され、装置100ではブロック140として示されている。たとえば、次の計算またはマッピングを実行できる。
Figure 2021513775
Figure 2021513775
ステップ3(オプション)
スピーカは、たとえば、球面座標系とは対照的にデカルト座標系では正方形上に配置されるため、半径(たとえば、中間半径値
Figure 2021513775
)を調整できる。球面座標系では、スピーカは、たとえば円上に配置される。
半径を調整するには、デカルトスピーカの正方形の境界を球面座標系の円に投影する。これは、弦が円の対応するセグメントに投影されることを意味する。
この機能は、たとえば、装置100の半径調整器146によって実行され得ることに留意されたい。
図8は、たとえば第1の球面領域三角形を考慮したスケーリングを示している。第1の球面領域三角形830内の点840は、たとえば、中間半径値
Figure 2021513775
および方位角φによって記述されている。弦上の点は、たとえば、通常、円の半径よりも小さい(中間)半径値を含み得る(半径が正規化されていると想定される場合、円の半径は1であり得る)。ただし、弦上の点の「半径」(または半径座標、または原点からの距離)は方位角に依存する場合があり、弦の端点は円の半径の値と同じ半径値を有する場合がある。ただし、第1の球面領域三角形内の点の場合、半径値は、円の半径(たとえば、1)と弦上のそれぞれの点の半径値(たとえば、原点からの距離)との間の比率でスケーリングされてもよい。したがって、弦上の点の半径値は、それらが円の半径と等しくなるようにスケーリングされてもよい。同じ方位角を有する他の点(たとえば、点840など)は、比例でスケーリングされる。
このような半径(より正確には、中間半径値)の調整の例を以下に示す。
Figure 2021513775
の場合、
Figure 2021513775
Figure 2021513775
の場合、
Figure 2021513775
Figure 2021513775
の場合、
Figure 2021513775
2)z成分の変換
たとえば、最上層の高さは、球面座標系では30°の仰角と想定される。
別の言い方をすると、一例として、(「最上層」を構成すると見なされ得る)高架スピーカが30°の仰角で配置されると想定される。
図9は、例として、球面座標系での量の定義を示している。図9から分かるように、定義は2次元の投影図で示されている。特に、図9は、(調整された)中間半径値rxy、デカルト表現のz座標、球面領域半径値
Figure 2021513775
および仰角
Figure 2021513775
を示している。
以下に、
Figure 2021513775
および
Figure 2021513775
、その補正または調整されたバージョンr、θを決定するための異なるステップについて説明する。
ステップ1:
例では、半径rxy(調整された中間半径値である場合がある)およびz成分(デカルト表現のz値である場合がある)に基づいて仰角
Figure 2021513775
を計算することができる。この計算は、たとえば、仰角計算器150によって実行されてもよい。さらに、この方法は、角度
Figure 2021513775
(仰角とも呼ばれる)およびrxyに基づいて3D半径
Figure 2021513775
(球面領域半径値とも呼ばれる)を計算することも含む。たとえば、計算
Figure 2021513775
=rxy/cos(
Figure 2021513775
)を使用できる。
ただし、3D半径
Figure 2021513775
は、半径rxyおよびz成分に基づいて計算することもできる。この計算は、たとえば、球面領域半径値計算器160によって実行されてもよい。
たとえば、
Figure 2021513775
および
Figure 2021513775
は次のように計算できる。
Figure 2021513775
Figure 2021513775
ステップ2:(オプション)
オプションで、デカルト系の長方形の境界を球面座標の単位円に投影したことによる半径
Figure 2021513775
の補正を実行できる。
図10は、この変換の概略図を示している。
図10から分かるように、球面領域半径値
Figure 2021513775
は、球面座標系の単位円の半径よりも大きい値をとることができる。前のステップで説明した上記の式を参照すると、rxyが0から1までの値をとることができるという想定と、zが0から1の間の値、または−1から1の間の値をとることができるという想定の下で(たとえば、球面座標系内の単位キューブ内の点の場合)、
Figure 2021513775

Figure 2021513775
までの値をとることができる。
これにより、球面領域半径値が補正または調整され、補正(または調整)された球面領域半径値rが得られる。たとえば、次の方程式またはマッピング規則を使用して、補正または調整を行うことができる。
Figure 2021513775
の場合、
Figure 2021513775
Figure 2021513775
の場合、
Figure 2021513775
なお、上述した球面領域半径値の調整または補正は、球面領域半径値補正器180により行われてもよいことに留意されたい。
ステップ3:(オプション)
デカルト座標系(
Figure 2021513775
)および球面(θ=30°)座標系でのスピーカの配置が異なるため、オプションで仰角
Figure 2021513775
の補正を実行できる。
言い換えると、高さスピーカまたは高架スピーカは、たとえば、デカルト座標系と球面座標系とで異なる高さに配置されるため、
Figure 2021513775
のθへのマッピングをオプションで実行できる。このようなマッピングは、聴覚印象を改善するのに役立ち、オーディオデコーダの側で達成できる。たとえば、
Figure 2021513775
のθへのマッピングは、次の方程式またはマッピング規則に従って実行される。
Figure 2021513775
しかし、以下で説明するように、より一般的な式を使用することもできる。
たとえば、
Figure 2021513775
のθへのマッピングは、仰角補正器170によって実行することができる。
結論として、デカルト表現を球面表現に変換するときに使用できる機能に関する詳細を説明してきた。ここで説明された詳細は、個別にまたは組み合わせて、オプションで装置100に導入することができる。
3.2デコーダ側の変換(球面からデカルトまたは「球面−デカルト」)(実施形態)
デコーダ側では、(制作側で実行される手順と逆の場合がある)反転変換を実行することができる。これは、変換ステップが、たとえば、逆の順序で反転される場合があることを意味する。
以下に、いくつかの詳細について説明する。
1)高さの変換とxy平面への半径の投影(z成分の計算)
特殊なケースθ=90°:(オプション)
オプションで、θ=90°の場合に特別な処理を実行できる。たとえば、この場合、次の設定を使用できる。
x=0、y=0およびz=r
ステップ1:(オプション)
オプションで、たとえば、上記の
Figure 2021513775
のθへの(オプションの)マッピングを逆にすることができるθの
Figure 2021513775
へのマッピングを実行することができる。たとえば、θの
Figure 2021513775
へのマッピングは、次のマッピング規則を使用して行うことができる。
Figure 2021513775
θの
Figure 2021513775
へのマッピングは、たとえば、仰角マッパ220によって実行することができ、オプションであると見なすことができることに留意されたい。
ステップ2:(オプション)
オプションで、半径補正の反転を実行することができる。たとえば、デカルト系の長方形の境界を球面座標系の単位円に投影したことによる上記の半径
Figure 2021513775
の補正は、このような操作によって反転することができる。
たとえば、半径補正の反転は、次のマッピング規則を使用して実行できる。
Figure 2021513775
たとえば、半径補正の反転は、球面領域半径値マッパ230によって実行されてもよい。
ステップ3:
さらに、z座標zおよび半径値または「中間半径値「rxy」は、マッピングされた球面領域半径値
Figure 2021513775
に基づいて、およびマッピングされた仰角
Figure 2021513775
に基づいて(または、上記の
Figure 2021513775
のθへのオプションのマッピングと半径補正の上記のオプションの反転が省略されている場合、代わりに、球面領域半径値rおよび仰角θに基づいて)計算することができる。
たとえば、zおよびrxyの計算は、次のマッピング規則に従って実行できる。
Figure 2021513775
Figure 2021513775
たとえば、z座標の計算は、z座標計算器240によって実行されてもよい。rxyの計算は、たとえば、中間半径計算器250によって実行されてもよい。
2)xおよびy成分の計算
以下に、x成分およびy成分の計算について説明する。たとえば、x成分およびy成分は、中間半径rxyに基づいて、および方位角φに基づいて決定される。
ステップ1:(オプション)
オプションで、半径補正の反転を実行することができる。たとえば、スピーカが球面座標系とは対照的にデカルト座標系の正方形に配置されているために行われるオプションの半径調整は、反転することができる。
半径補正のオプションの反転は、たとえば、次のマッピング規則に従って実行できる。
Figure 2021513775
たとえば、半径補正のオプションの反転は、半径補正器260によって実行されてもよい。
ステップ2:
さらに、座標
Figure 2021513775
および
Figure 2021513775
の計算が実行されてもよい。たとえば、
Figure 2021513775
および
Figure 2021513775
は、補正された半径値
Figure 2021513775
および方位角に基づいて決定されてもよい。たとえば、
Figure 2021513775
および
Figure 2021513775
の計算には、次のマッピング規則を使用できる。
Figure 2021513775
Figure 2021513775
Figure 2021513775
および
Figure 2021513775
の計算は、たとえば、位置決定器270によって実行されてもよい。
ステップ3:
さらに、デカルト表現における座標である座標xおよびyの計算が実行されてもよい。
特に、線形変換 −1が使用され得る。変換行列 −1は、上述の変換行列の反転であり得る。変換行列 −1は、たとえば、どの球面領域三角形に座標
Figure 2021513775
および
Figure 2021513775
が配置されるかという問題に応じて選択されてもよい。この目的のために、三角形識別280がオプションで実行されてもよい。次に、前述のように定義された適切な変換行列 −1を選択できる。
たとえば、座標xおよびyの計算は、次のマッピング規則に従って実行できる。
Figure 2021513775
たとえば、xおよびyの計算は、マッパ290によって実行することができ、適切なマッピング行列 −1は、座標
Figure 2021513775
および
Figure 2021513775
に応じて、特に、どの球面領域三角形に座標
Figure 2021513775
および
Figure 2021513775
を有する点が配置されているかという問題に応じて選択される。
結論として、球面座標r、φ、θに基づくデカルト座標x、y、zの導出について説明した。
ただし、上記の計算は、たとえば、異なる基準領域三角形、球面領域三角形、またはマッピング規則定数を選択することによって適応できることに留意されたい。また、たとえば、基本領域三角形の1つを2つの基本領域三角形に分割することにより、および/またはより多くの球面領域三角形を定義することにより、三角形の数を変えることができる。
また、本明細書で説明する詳細のいずれも、個別にまたは組み合わせて、オプションで装置200に導入できることにも留意されたい。
3.図11によるオーディオストリームプロバイダ
図11は、本発明の一実施形態による、オーディオストリームプロバイダのブロック概略図を示している。
図11によるオーディオストリームプロバイダは、全体として1100で示されている。オーディオストリームプロバイダ1100は、オーディオオブジェクト位置をデカルト表現で表す入力オブジェクト位置情報を受け取るように構成される。さらに、オーディオストリームプロバイダは、球面表現でのオーディオオブジェクト位置を記述する出力オブジェクト位置情報を含むオーディオストリーム1112を提供するように構成される。オーディオストリームプロバイダ1100は、オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に変換するための装置1130を含む。
装置1130は、入力オブジェクト位置情報に含まれるデカルト表現を、オーディオストリーム1112に含まれる球面表現に変換するために使用される。したがって、オーディオストリームプロバイダ1100は、入力オブジェクト位置情報がオーディオオブジェクトの位置を単にデカルト表現で表すだけであっても、オブジェクト位置を球面表現で表すオーディオストリームを提供することができる。したがって、オーディオストリーム1112は、オーディオコンテンツを適切にレンダリングするためにオブジェクト位置の球面表現を必要とするオーディオデコーダによって使用できる。したがって、オーディオストリームプロバイダ1100は、オブジェクト位置情報がデカルト表現で利用可能である制作環境での使用に非常に適している。多くのオーディオ制作環境は、オーディオオブジェクトの位置をデカルト表現(たとえば、x、y、z座標を使用)で便利に指定するのに適している。したがって、オーディオストリームプロバイダ1100は、そのようなオーディオ制作機器からオブジェクト位置情報を受け取り、オブジェクト位置情報の球面表現に依存するオーディオデコーダによって使用可能なオーディオストリーム1112を提供することができる。
さらに、オーディオストリームプロバイダ1100は、オプションで追加の機能を含むことができることに留意されたい。たとえば、オーディオストリームプロバイダ1100は、入力オーディオ情報を受け取り、それに基づいて、符号化されたオーディオ表現を提供するオーディオエンコーダを含むことができる。たとえば、オーディオストリームプロバイダは、1つのチャネル入力信号を受け取るか、マルチチャネル入力信号を受け取り、それに基づいて、これもオーディオストリーム1112に含まれる、1つのチャネル入力オーディオ信号またはマルチチャネル入力オーディオ信号の符号化表現を提供できる。たとえば、1つ以上の入力チャネルは、「オーディオオブジェクト」(たとえば、特定の楽器などの特定の音源、または特定の他の音源)からのオーディオ信号を表すことができる。このオーディオ信号は、オーディオストリームプロバイダに含まれるオーディオエンコーダによって符号化され、符号化表現はオーディオストリームに含まれる。符号化は、たとえば、周波数領域エンコーダ(AACエンコーダ、またはその改良バージョンなど)または線形予測領域オーディオエンコーダ(LPCベースのオーディオエンコーダなど)を使用できる。しかしながら、オーディオオブジェクトの位置は、たとえば、入力オブジェクト位置情報1110によって記述されてもよく、装置1130によって球面表現に変換されてもよく、その場合入力オブジェクト位置情報の球面表現は、オーディオストリームに含まれてもよい。したがって、オーディオオブジェクトのオーディオコンテンツは、オブジェクト位置情報とは別に符号化されてもよく、これは通常、符号化効率を大幅に向上させる。
ただし、オーディオストリームプロバイダは、オプションでダウンミックス機能(たとえば、複数のオーディオオブジェクトからの信号を1つまたは2つ以上のダウンミックス信号にダウンミックスする)などの追加の機能を含む場合があり、1つまたは2つ以上のダウンミックス信号のオーディオストリーム1112への符号化表現を提供するように構成されてもよい。
さらに、オーディオストリームプロバイダは、オプションで、2つ以上のオーディオオブジェクトから2つ以上のオブジェクト信号間の関係を説明する側面情報能(たとえば、オブジェクト間の相関、オブジェクト間の時間差、オブジェクト間位相差および/またはオブジェクト間レベル差など)を取得する機能も含む。この側面情報は、たとえば、符号化されたバージョンで、オーディオストリームプロバイダによってオーディオストリーム1112に含まれ得る。
このようにして、情報は、たとえば、符号化されたバージョンで、オーディオストリームプロバイダによってオーディオストリーム1112に含まれ得る。
したがって、オーディオストリームプロバイダ1100は、たとえば、符号化されたダウンミックス信号、符号化されたオブジェクト関係メタデータ(側面情報)、および符号化されたオブジェクト位置情報をオーディオストリームに含めるように構成でき、符号化されたオブジェクト位置情報は、球面表現であってもよい。
しかしながら、オーディオストリームプロバイダ1100は、オプションとして、オーディオストリームプロバイダおよびオーディオエンコーダに関して当業者に知られている特徴および機能のいずれかによって補足されてもよい。
また、装置1130は、たとえば、上述の装置100に対応してもよく、本明細書で説明されるような追加の特徴および機能および詳細をオプションで含み得ることに留意されたい。
4.図12によるオーディオコンテンツ制作システム
図12は、本発明の一実施形態による、オーディオコンテンツ制作システム1200のブロック概略図を示している。
オーディオコンテンツ制作システム1200は、オーディオオブジェクトの位置をデカルト表現で表すオブジェクト位置情報を決定するように構成され得る。たとえば、オーディオコンテンツ制作システムは、ユーザがデカルト表現でオブジェクト位置情報を入力できるユーザインターフェースを含むことができる。ただし、オプションとして、オーディオコンテンツ制作システムは、他の入力情報から、たとえば、オブジェクト位置の測定から、またはオブジェクトの動きのシミュレーションから、または他の任意の適切な機能から、デカルト表現のオブジェクト位置情報を導出することもできる。
さらに、オーディオコンテンツ制作システムは、本明細書で説明するように、オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に変換するための装置を含む。オブジェクト位置を変換するための装置は1230で示され、上述のように装置100に対応し得る。さらに、装置1230は、決定されたデカルト表現を球面表現に変換するために使用される。
さらに、オーディオコンテンツ制作システムは、装置1230によって提供される球面表現をオーディオストリーム1212に含めるように構成される。
したがって、オブジェクト位置情報が元々(たとえば、ユーザインターフェースから、または他の任意のオブジェクト位置決定概念を使用して)デカルト表現で決定されても、オーディオコンテンツ制作システムは、球面表現のオブジェクト位置情報を含むオーディオストリームを提供することができる。
当然のことながら、オーディオコンテンツ制作システムは、他のオーディオコンテンツ情報、たとえば、オーディオ信号の符号化表現、および場合によっては追加のメタ情報をオーディオストリーム1212に含めることもできる。たとえば、オーディオコンテンツ制作システムは、オーディオストリームプロバイダ1110に関して説明された追加情報をオーディオストリーム1212に含めることができる。
したがって、オーディオコンテンツ制作システム1200は、オプションで、1つ以上のオーディオ信号の符号化された表現を提供するオーディオエンコーダを含むことができる。オーディオコンテンツ制作システム1200はまた、オプションで、複数のオーディオオブジェクトからのオーディオ信号を1つまたは2つ以上のダウンミックス信号にダウンミックスするダウンミキサを含むことができる。さらに、オーディオコンテンツ制作システムは、オプションで、オブジェクト関係情報(たとえば、オブジェクトレベルの差情報またはオブジェクト間の相関値、またはオブジェクト間の時間差値など)を導出するように構成されてもよく、その符号化表現をオーディオストリーム1212に含めることができる。
要約すると、オーディオコンテンツ制作システム1200は、オブジェクト位置が元々デカルト表現で提供されていたとしても、球面表現のオブジェクト位置情報が含まれるオーディオストリーム1212を提供することができる。
当然のことながら、オブジェクト位置をデカルト表現から球面表現に変換するための装置1230は、本明細書で説明される特徴および機能および詳細のいずれかによって補足することができる。
5.図13によるオーディオ再生装置
図13は、本発明の一実施形態による、オーディオ再生装置1300のブロック概略図を示している。
オーディオ再生装置1300は、オブジェクト位置情報の球面表現を含むオーディオストリーム1310を受け取るように構成される。さらに、オーディオストリーム1310は、通常、符号化オーディオデータも含む。
オーディオ再生装置は、本明細書で説明するように、オブジェクト位置を球面表現からデカルト表現に変換するための装置1330を含む。オブジェクト位置を変換するための装置1330は、たとえば、本明細書で説明される装置200に対応し得る。したがって、オブジェクト位置を変換するための装置1330は、参照番号1332で示されるように、球面表現でオブジェクト位置情報を受け取り、デカルト表現でオブジェクト位置情報を提供することができる。
さらに、オーディオ再生装置1300は、オブジェクト位置情報のデカルト表現1332に応じて、オーディオオブジェクトを音響トランスデューサに関連する複数のチャネル信号1350にレンダリングするように構成されたレンダラ1340も含む。
オプションで、オーディオ再生装置は、たとえば、オーディオストリーム1310に含まれる符号化オーディオデータを受け取り、それに基づいて、復号化オーディオ情報1362を提供することができるオーディオ復号(またはオーディオデコーダ)1360も含む。たとえば、オーディオ復号は、復号化オーディオ情報1362として、1つ以上のチャネル信号または1つ以上のオブジェクト信号をレンダラ1340に提供することができる。
さらに、レンダラ1340は、オブジェクト位置のデカルト表現1332によって決定された(聴覚環境内の)位置でオーディオオブジェクトの信号をレンダリングできることに留意されたい。したがって、レンダラ1340は、オブジェクト位置のデカルト表現1332を使用して、オーディオオブジェクトに関連する信号をどのようにチャネル信号1350に分配すべきかを決定することができる。言い換えると、レンダラ1340は、オブジェクト位置情報のデカルト表現に基づいて、オーディオオブジェクトからの信号をレンダリングする音声トランスデューサまたはスピーカ(および異なるチャネル信号で信号がレンダリングされる強度)を決定する。
これにより、オーディオ再生の効率的なコンセプトが提供される。また、多くのレンダラは通常、球面表現のオブジェクト位置表現を処理することが困難である(または球面表現のオブジェクト位置情報をまったく処理できない)ため、デカルト表現でオブジェクト位置情報を受け取るいくつかのタイプのレンダラを使用できることに留意されたい。
したがって、球面表現のオブジェクト位置情報をデカルト表現に変換するための装置1330を使用することにより、オーディオ再生装置は、デカルト表現で提供されるオブジェクト位置情報に最適なレンダリング装置を使用することができる。また、装置1330は、上述のように、比較的小さな計算労力で実装できることに留意されたい。
さらに、装置1330は、装置200に関して説明される特徴および機能性および詳細のいずれかによって補足され得ることに留意されたい。
6.図14による方法
図14は、オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に変換する方法のフローチャートを示している。
請求項14に記載の方法1400は、いくつかの基本領域三角形のうちのどれに、基本領域へのオーディオオブジェクトのオブジェクト位置の投影が配置されているかを決定するステップ1410を含む。この方法はまた、基本領域三角形をその関連する球面領域三角形にマッピングする線形変換を使用してオブジェクト位置の投影のマッピングされた位置を決定するステップ1420を含む。
この方法はまた、マッピングされた位置から方位角および中間半径値を導出するステップ1430を含む。この方法はまた、中間半径値に応じて、および基本領域からのオブジェクト位置の距離に応じて、球面領域半径値および仰角を取得するステップ1440を含む。
この方法は、オブジェクト位置をデカルト表現から球面表現に変換するための上記の装置と同じ考慮事項に基づいている。したがって、方法1400は、たとえば、装置100に関して、本明細書で説明される特徴、機能および詳細のいずれかによって補足することができる。
7.図15による方法
図15は、オーディオオブジェクトのオブジェクト位置を球面表現からデカルト表現に変換する方法のフローチャートを示している。
方法は、仰角またはマッピングされた仰角に基づいて、および球面領域半径またはマッピングされた球面領域半径に基づいて、基本領域からのオブジェクト位置の距離および中間半径を表す値を取得するステップ1510を含む。
方法はまた、中間半径またはその補正されたバージョンに基づいて、および方位角に基づいて、円に内接する複数の三角形の1つ内の位置を決定するステップ1520を含む。
方法はまた、円に内接する三角形の1つ内の決定された位置に基づいて、デカルト表現の基本平面へのオブジェクト位置の投影のマッピングされた位置を決定するステップ1530を含む。
方法は、上記の装置と同じ考慮事項に基づいている。また、方法1500は、本明細書で説明される特徴、機能および詳細のいずれかによって補足することができる。
特に、方法1500は、装置200に関して説明される特徴、機能および詳細のいずれかによって補足することができる。
8.図16による方法
図16は、オーディオ再生の方法1600のフローチャートを示している。
方法は、オブジェクト位置情報の球面表現を含むオーディオストリームを受け取るステップ1610を含む。
方法はまた、オブジェクト位置情報の球面表現をデカルト表現に変換するステップ1620を含む。
方法はまた、オブジェクト位置情報のデカルト表現に応じて、音声オブジェクトを音響トランスデューサに関連する複数のチャネル信号にレンダリングするステップ1630を含む。
特に、方法1600は、本明細書で説明される特徴、機能および詳細のいずれかによって補足することができる。
9.結論およびさらなる実施形態
以下に、個別に、または本明細書に記載されている特徴、機能および詳細と組み合わせて使用できる追加の実施形態について説明する。
また、以下で説明される特徴および機能および詳細は、オプションで、本明細書で説明される他の実施形態のいずれかと組み合わせて使用することができる。
第1の態様は、異なる座標空間間でオーディオ関連オブジェクトのメタデータを変換する方法を作成する。
第2の態様は、オーディオ関連オブジェクトのメタデータを空間関連座標からリスナー関連座標に変換する、またはその逆を行う方法を作成する。
第3の態様は、異なる座標空間間でスピーカ位置を変換する方法を作成する。
第4の態様は、スピーカ位置のメタデータを空間関連座標からリスナー関連座標に変換する、またはその逆を行う方法を作成する。
第5の態様は、オーディオオブジェクトの位置のメタデータをデカルトパラメータ空間から球面座標系に変換する方法を作成し、この方法では、xy平面から方位角jへの変換と、z成分から仰角qへの変換は分かれている。
第6の態様は、スピーカ位置をデカルト空間から球面座標系に正しくマッピングする、第5の態様による方法を作成する。
第7の態様は、スピーカが配置されているデカルト座標系における直方体空間の表面を、球面座標系における対応するスピーカを含む球体の表面に投影する、第5の態様による方法を作成する。
第8の態様は、以下の処理ステップを含む第1の態様から第5の態様の1つによる方法を作成する。
−xy平面内の2つの隣接するスピーカ位置と直方体の中心とによって形成される三角形を、球面空間の対応する三角形に投影するステップ
−スピーカ長方形の外縁をxy平面から球面座標系の水平面におけるスピーカを含む対応する円にマッピングするために半径を補正するステップ
−z成分に基づいて半径に高さを適用して、球面(3D)半径を決定するステップ
−仰角に基づいて半径を補正して、高さスピーカも球面にマッピングするステップ
−仰角を補正して、デカルト座標系および球面座標系での高さスピーカのさまざまな高さを反映させるステップ
第9の態様は、第5の態様による逆演算を実行する方法を作成する。
第10の態様は、第6の態様による逆演算を実行する方法を作成する。
第11の態様は、第7の態様による逆演算を実行する方法を作成する。
第12の態様は、第8の態様による逆演算を実行する方法を作成する。
10.さらなる実施形態
以下に、本発明によるさらなる実施形態が説明され、それらは、個別に、または本明細書(および特許請求の範囲)に記載されている特徴、機能および詳細のいずれかと組み合わせて使用することができる。さらに、本明細書(および特許請求の範囲)に記載されている他の実施形態のいずれかは、個別におよび組み合わせて、このセクションに記載されている特徴、機能および詳細のいずれかによって任意に補足できる。
動的オブジェクト位置メタデータのマッピング規則:
このセクションでは、制作側でデカルト座標系が使用される場合の制作側オブジェクトメタデータ、特にオブジェクト位置データからの変換について説明するが、トランスポート形式では、オブジェクト位置メタデータは球面座標で記述される。
問題は、デカルト座標では、球面座標系と比較してスピーカが数学的に「正しい」位置に常に配置されるとは限らないことである。したがって、デカルト空間からの立方体領域が球(または半球)に正しく投影されるようにする変換が必要である。たとえば、球面座標系ベースのオーディオオブジェクトレンダラ(たとえば、MPEG−H 3Dオーディオ標準に記載されているレンダラ)を使用して、または対応する変換アルゴリズムを備えたデカルトベースのレンダラを使用して、スピーカの位置が均等にレンダリングされる。直方体の表面は、スピーカが配置されている球の表面にマッピング/投影した方がよい、または投影すべきである。
さらに、変換アルゴリズムは、特に球面座標からデカルト座標への変換ステップでは、計算の複雑さが小さいことが望ましいか、または必要である。
本発明による実施形態の適用例は、オーディオオブジェクト座標にしばしばデカルトパラメータ空間(x、y、z)を使用するが、オーディオオブジェクト位置をMPEG−H 3Dオーディオなどの球面座標(方位角、仰角、半径)で記述するトランスポート形式を使用する最新のオーディオオブジェクトオーサリングツールを使用することである。ただし、トランスポート形式はレンダラ(球面またはデカルト)に依存しない(またはする必要がある)場合があり、後で適用される。
変換は、5.1+4Hスピーカ設定について例示的に説明されているが、あらゆる種類のスピーカ設定(たとえば7.1+4、22.2など)またはさまざまなデカルトパラメータ空間(軸の異なる方向、または軸の異なるスケーリングなど)に対して容易に移行できる。
座標系の一般的な比較
5.1+4H設定のための対応するスピーカ位置を備えたデカルトパラメータ空間の例を図17に示す。
ISO/IEC23008−3:2015 MPEG−H 3Dオーディオに準拠した球面座標系の例を図18に示す。
ISO座標系の座標XおよびYは、上記のデカルト座標系とは異なる方法で定義されていることに留意されたい。
制作側の変換(デカルトから球面)
スピーカ位置は、たとえば、ITU−R勧告ITU−R BS.2051−1(プログラム制作用の高度なサウンドシステム)で説明され、MPEG−H仕様で説明されているように、球面座標で与えられる。変換は別々の方法で適用される。最初に、x座標およびy座標が、方位角/xy平面の方位角φおよび半径
Figure 2021513775
にマッピングされる。その後、3D空間の仰角および半径が、z座標を使用して計算される。マッピングは、例として5.1+4Hスピーカ設定について説明されている。
特殊なケースx=y=0:
z>0の場合:
φ=未定義(=0°)、θ=90°およびr=z。
z=0の場合:
φ=未定義(=0°)、θ=0°およびr=0。
1)xy平面での変換
デカルト座標系および球面座標系の、ならびにスピーカ(塗りつぶされた正方形)の概略表現を示す図19を参照する。
ステップ1:
第1のステップでは、デカルト座標系の三角形が、球面座標系の対応する三角形にマッピングされる。
図20を参照すると、デカルト座標系では正方形に、球面座標系では円に内接する三角形のグラフィック表現が示されている。
以下では、これを1つの三角形の例として示す。図21も参照されたい。
三角形は、線形変換
Figure 2021513775
を使用して互いに投影できる。
変換行列は、三角形
Figure 2021513775

Figure 2021513775

Figure 2021513775
および
Figure 2021513775
の角の既知の位置を使用して計算できる。これらの点は、スピーカ設定、対応するスピーカの位置、および位置
Figure 2021513775
が位置する三角形によって異なる。
Figure 2021513775
5.1+4Hスピーカ設定には、中間層に標準の5.1スピーカ設定が含まれており、これは、xy平面での投影の基準となる。表2では、対応する点、
Figure 2021513775

Figure 2021513775

Figure 2021513775
および
Figure 2021513775
が、投影すべき5つの三角形に与えられている。
Figure 2021513775
ステップ2:
マッピングされた座標
Figure 2021513775
および
Figure 2021513775
に基づいて、半径
Figure 2021513775
および方位角φを計算する。
Figure 2021513775
Figure 2021513775
ステップ3:
スピーカは球面座標系とは対照的に、デカルト座標系では正方形上に配置されるため、半径を調整する必要がある。球面座標系では、スピーカは円上に配置される。
半径を調整するには、デカルトスピーカの正方形の境界を球面座標系の円に投影する。これは、弦が円の対応するセグメントに投影されることを意味する。
Figure 2021513775
の場合、
Figure 2021513775
2)z成分の変換
最上層の高さは、球面座標系では
Figure 2021513775
30°(または35°)の仰角であると想定されている(通常、ITU−RBS.2051で推奨される仰角)。
図23も参照されたい。
ステップ1:
半径
Figure 2021513775
およびz成分に基づいて仰角
Figure 2021513775
を計算する。さらに、角度
Figure 2021513775
および
Figure 2021513775
に基づいて3D半径
Figure 2021513775
を計算する。
Figure 2021513775
Figure 2021513775
ステップ2:
デカルト系の長方形の境界を球面座標系の単位円に投影したことによる半径
Figure 2021513775
の補正。
図24も参照されたい。
Figure 2021513775
の場合、
Figure 2021513775
Figure 2021513775
の場合、
Figure 2021513775
ステップ3:
デカルト座標系(
Figure 2021513775
=45°)と球面座標系(
Figure 2021513775
=30°(または35°))でのスピーカの配置が異なることによる、仰角
Figure 2021513775
の補正。
Figure 2021513775
のθへのマッピング:
Figure 2021513775
デコーダ側変換(球面からデカルト)
デコーダ側では、制作側への逆変換を実行する必要がある。つまり、変換ステップが逆の順序で反転される。
高さの変換とxy平面への半径の投影(z成分の計算)
特殊なケースθ=90°:
x=0、y=0およびz=r
ステップ1:
Figure 2021513775
=30°(または35°)におけるθの
Figure 2021513775
へのマッピング
Figure 2021513775
ステップ2:
Figure 2021513775
=45°における半径補正の反転
Figure 2021513775
ステップ3:
zおよび
Figure 2021513775
を計算する
Figure 2021513775
Figure 2021513775
xおよびy成分の計算
ステップ1:
半径補正の反転。
Figure 2021513775
ステップ2:
Figure 2021513775
および
Figure 2021513775
の計算。
Figure 2021513775
Figure 2021513775
ステップ3:
Figure 2021513775
および
Figure 2021513775
の計算。
Figure 2021513775
拡散メタデータのマッピング規則:
エンコーダ(デカルト→球面):(注:均一拡散シグナリングは使用しないこと)
Figure 2021513775
Figure 2021513775
Figure 2021513775
の場合に最大距離値となる
Figure 2021513775
幅の広がり:
Figure 2021513775
、高さの広がり:
Figure 2021513775
および距離の広がり:
Figure 2021513775
デコーダ(球面→デカルト)
Figure 2021513775
Figure 2021513775
Figure 2021513775
ビットストリームの均一な拡散の場合、変換は次のとおりである。
Figure 2021513775
Figure 2021513775

Figure 2021513775
、および
Figure 2021513775
を[0、1]の範囲に制限する。
11.さらなる注意
一般的な注意として、正確に4つのセグメントまたは三角形を使用する必要はないことに留意されたい。たとえば、セグメント(またはデカルト領域三角形や球面領域三角形などの三角形)は、スピーカ設定の水平面のスピーカ位置によって定義できる。たとえば、5.1+4高さスピーカ(高架スピーカ)の設定では、5.1の基本設定でセグメントまたは三角形を定義できる。したがって、この例では5つのセグメントを定義できる(たとえば、セクション10の説明を参照されたい)。7.1+4の高さスピーカ(高架スピーカ)の設定では、7つのセグメントまたは三角形を定義できる。これは、たとえば、セクション10に示されているより一般的な方程式(固定角度を含まない)で表すことができる。また、高さスピーカ(高架スピーカ)の角度は、たとえば、設定ごとに異なる場合がある(たとえば、30度または35度)。
したがって、三角形の数および角度範囲は、たとえば、実施形態ごとに異なる場合がある。
12.実装の代替
本明細書で説明する特徴および機能のいずれも、このセクションで説明するように、ハードウェアまたはソフトウェアで、あるいはハードウェアとソフトウェアの組み合わせを使用して実装できる。
一部の態様を装置の文脈で説明したが、これらの態様は対応する方法の説明も表し、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応するブロックまたはアイテムまたは対応する装置の機能の説明も表す。方法ステップの一部またはすべては、たとえばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(または使用して)実行されてもよい。一部の実施形態では、最も重要な方法ステップのうちの1つ以上をそのような装置によって実行することができる。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装は、電子的に読み取り可能な制御信号が格納されたデジタルストレージ媒体、たとえばフロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリを使用して実行でき、それらは、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)。したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。
本発明による一部の実施形態は、本明細書に記載の方法の1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、方法の1つを実行するように動作する。プログラムコードは、たとえば、機械可読キャリアに格納されてもよい。
他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含む。
つまり、本発明の方法の実施形態はしたがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含み、それが記録されたデータキャリア(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。データキャリア、デジタルストレージ媒体、または記録された媒体は、通常、有形および/または非一時的である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、たとえばインターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書に記載の方法の1つを実行するように構成または適合された処理手段、たとえばコンピュータ、またはプログラム可能な論理デバイスを含む。
さらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを受信側に(たとえば、電子的または光学的に)転送するように構成された装置またはシステムを含む。受信側は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、たとえば、コンピュータプログラムを受信側に転送するためのファイルサーバを備えてもよい。
一部の実施形態では、プログラム可能な論理デバイス(たとえば、フィールド・プログラマブル・ゲート・アレイ)を使用して、本明細書に記載の方法の機能の一部またはすべてを実行することができる。一部の実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載の方法の1つを実行するためにマイクロプロセッサと協働してもよい。一般に、これらの方法は、任意のハードウェア装置によって実行されることが好ましい。
本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装されてもよい。
本明細書に記載の装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装されてもよい。
本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行されてもよい。
本明細書に記載の方法、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアによって実行されてもよい。
上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載の配置および詳細の修正および変更は、他の当業者には明らかであることを理解されたい。したがって、本明細書の実施形態の説明として提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ制限されることが意図されている。

Claims (69)

  1. オーディオオブジェクトのオブジェクト位置をデカルト表現(110)から球面表現(112)に変換するための装置(100)であって、
    前記デカルト表現の基準領域は、複数の基準領域三角形(630、532、634、636)に細分され、複数の球面領域三角形(660、662、664、666)は、球面表現の円に内接し、
    前記装置は、どの前記基本領域三角形に前記オーディオオブジェクトの前記オブジェクト位置の前記基本領域への投影(P)が配置されているかを決定するように構成され、そして
    前記装置は、前記基本領域三角形をその関連する球面領域三角形にマッピングする線形変換(
    Figure 2021513775
    )を使用して前記オブジェクト位置の前記投影(P)のマッピングされた位置(
    Figure 2021513775
    )を決定するように構成され、
    前記装置は、前記マッピングされた位置(
    Figure 2021513775
    )から方位角(
    Figure 2021513775
    )および中間半径値(
    Figure 2021513775
    )を導出するように構成され、
    前記装置は、前記中間半径値(rxy、
    Figure 2021513775
    )に応じて、および前記基本領域からの前記オブジェクト位置の距離(z)に応じて、球面領域半径値(
    Figure 2021513775
    )および仰角(
    Figure 2021513775
    )を取得するように構成される、装置(100)。
  2. 前記装置は、変換行列
    Figure 2021513775
    によって記述される線形変換を使用して、前記オブジェクト位置の前記投影Pの前記マッピングされた位置
    Figure 2021513775

    Figure 2021513775
    によって決定するように構成され、前記装置は、前記決定された基準領域三角形に応じて前記変換行列を取得するように構成される、請求項1に記載の装置。
  3. 前記変換行列は、
    Figure 2021513775
    によって定義され、
    Figure 2021513775

    Figure 2021513775

    Figure 2021513775

    Figure 2021513775
    は、前記決定された基準領域三角形の2つの角のx座標およびy座標であり、
    Figure 2021513775

    Figure 2021513775

    Figure 2021513775

    Figure 2021513775
    は、前記関連する球面領域三角形の2つの角のx座標およびy座標である、請求項2に記載の装置。
  4. 前記基本領域三角形は、
    −前記デカルト表現の原点の前の領域をカバーする第1の基本領域三角形、
    −前記デカルト表現の前記原点の左側の領域をカバーする第2の基本領域三角形、
    −前記デカルト表現の前記原点の右側の領域をカバーする第3の基本領域三角形、および
    −前記デカルト表現の原点の後ろの領域をカバーする第4の基本領域三角形を含む、請求項1から3のいずれか一項に記載の装置。
  5. 前記球面領域三角形は、
    −前記球面表現の原点の前の領域をカバーする第1の球面領域三角形、
    −前記球面表現の前記原点の左側の領域をカバーする第2の球面領域三角形、
    −前記球面表現の前記原点の右側の領域をカバーする第3の球面領域三角形、
    −前記球面表現の原点の後ろの領域をカバーする第4の球面領域三角形を含む、請求項1から4のいずれか一項に記載の装置。
  6. 前記基本領域三角形は、
    −前記デカルト表現の原点の右前領域の領域をカバーする第1の基本領域三角形、
    −前記デカルト表現の原点の左前領域の領域をカバーする第2の基本領域三角形、
    −前記デカルト表現の前記原点の左側の領域をカバーする第3の基本領域三角形、
    −前記デカルト表現の前記原点の右側の領域をカバーする第4の基本領域三角形、および
    −前記デカルト表現の原点の後ろの領域をカバーする第5の基本領域三角形、を含む、請求項1から3のいずれか一項に記載の装置。
  7. 前記球面領域三角形は、
    −前記球面表現の原点の右前方領域の領域をカバーする第1の球面領域三角形、
    −前記球面表現の原点の左前方領域の領域をカバーする第2の球面領域三角形、
    −前記球面表現の前記原点の左側の領域をカバーする第3の球面領域三角形、
    −前記球面表現の前記原点の右側の領域をカバーする第4の球面領域三角形、および
    −前記球面表現の原点の後ろの領域をカバーする第5の球面領域三角形を含む、請求項1から4および6のいずれか一項に記載の装置。
  8. 基本領域三角形の角の座標P1、P2、および関連する球面領域三角形の角の座標
    Figure 2021513775
    および
    Figure 2021513775
    は、次のように定義され、
    Figure 2021513775
    前記それぞれの三角形の第3の角は、前記それぞれの座標系の原点にある、
    請求項1から5のいずれか一項に記載の装置。
  9. 基本領域三角形の角の座標P1、P2、および関連する球面領域三角形の角の座標
    Figure 2021513775
    および
    Figure 2021513775
    は、次のように定義され、
    Figure 2021513775
    前記それぞれの三角形の第3の角は、前記それぞれの座標系の原点にある、
    請求項1から3および6から7のいずれか一項に記載の装置。
  10. 前記装置は、
    Figure 2021513775
    によって、前記マッピングされた位置(
    Figure 2021513775
    )のマッピングされた座標
    Figure 2021513775
    および
    Figure 2021513775
    から前記方位角
    Figure 2021513775
    を導出するように構成される、
    請求項1から9のいずれか一項に記載の装置。
  11. 前記装置は、
    Figure 2021513775
    によって、前記マッピングされた位置(
    Figure 2021513775
    )のマッピングされた座標
    Figure 2021513775
    および
    Figure 2021513775
    から前記中間半径値
    Figure 2021513775
    を導出するように構成される、
    請求項1から10のいずれか一項に記載の装置。
  12. 前記装置は、前記円に内接する球面領域三角形を円セグメントにマッピングする半径調整を使用して、前記中間半径値に応じて前記球面領域半径値(
    Figure 2021513775
    )を取得するように構成される、
    請求項1から11のいずれか一項に記載の装置。
  13. 前記装置は、半径調整を使用して前記中間半径値に応じて前記球面領域半径値(
    Figure 2021513775
    )を取得するように構成され、
    前記半径調整は、前記方位角
    Figure 2021513775
    に応じて以前に取得された前記中間半径値(
    Figure 2021513775
    )をスケーリングするように適合される、
    請求項1から12のいずれか一項に記載の装置。
  14. 前記装置は、
    Figure 2021513775
    の場合、
    Figure 2021513775
    Figure 2021513775
    の場合、
    Figure 2021513775
    Figure 2021513775
    の場合、
    Figure 2021513775
    の形式のマッピングを使用して、前記中間半径値に応じて前記球面領域半径値(
    Figure 2021513775
    )を取得するように構成され、
    Figure 2021513775
    は前記中間半径値
    Figure 2021513775
    の半径調整バージョンであり、
    Figure 2021513775
    は方位角である、
    請求項1から13のいずれか一項に記載の装置。
  15. 前記装置は、
    Figure 2021513775
    の場合、
    Figure 2021513775
    の形式のマッピングを使用して、前記中間半径値
    Figure 2021513775
    に応じて前記球面領域半径値rxyを取得するように構成され、
    Figure 2021513775
    および
    Figure 2021513775
    は、それぞれの球面領域三角形の2つの角の位置角度である、
    請求項1から14のいずれか一項に記載の装置。
  16. 前記装置は、前記中間半径値と前記基本領域からの前記オブジェクト位置の前記距離との脚を有する直角三角形の角度として前記仰角を取得するように構成される、
    請求項1から15のいずれか一項に記載の装置。
  17. 前記装置は、前記球面領域半径を、前記中間半径値と前記基本領域からの前記オブジェクト位置の前記距離との脚を有する直角三角形の斜辺長
    Figure 2021513775
    、またはその調整バージョンとして取得するように構成される、
    請求項1から16のいずれか一項に記載の装置。
  18. 前記装置は、
    Figure 2021513775
    によって前記仰角
    Figure 2021513775
    を取得するように構成され、および/または
    Figure 2021513775
    によって前記球面領域半径
    Figure 2021513775
    を取得するように構成され、
    zは前記基本領域からの前記オブジェクト位置の前記距離であり、
    Figure 2021513775
    は前記中間半径値、またはその調整バージョンである、
    請求項1から17のいずれか一項に記載の装置。
  19. 前記装置は、調整された仰角(
    Figure 2021513775
    )を取得するように構成される、
    請求項1から18のいずれか一項に記載の装置。
  20. 前記装置は、第1の角度領域の角度を第1のマッピングされた角度領域に線形にマッピングし、第2の角度領域内の角度を第2のマッピングされた角度領域に線形にマッピングする非線形マッピングを使用して、前記調整された仰角を取得するように構成され、ここで、前記第1の角度領域は、前記第1のマッピングされた角度領域と比較したときに異なる幅を有する、
    請求項19に記載の装置。
  21. 第1の角度領域および前記第2の角度領域によって一緒にカバーされる角度範囲は、前記第1のマッピングされた角度領域および前記第2のマッピングされた角度領域によって一緒にカバーされる角度範囲と同一である、
    請求項20に記載の装置。
  22. 前記装置は、
    Figure 2021513775
    によって、前記仰角
    Figure 2021513775
    を前記調整された仰角θにマッピングするように構成される、
    請求項19から21のいずれか一項に記載の装置。
  23. 前記装置は、
    Figure 2021513775
    によって、前記仰角
    Figure 2021513775
    を前記調整された仰角θにマッピングするように構成され、
    Figure 2021513775
    は前記デカルト座標系における高さスピーカの仰角であり、
    Figure 2021513775
    は前記球面座標系における高さスピーカの仰角である、
    請求項19から22のいずれか一項に記載の装置。
  24. 前記装置は、球面領域半径に基づいて、調整された球面領域半径を取得するように構成される、
    請求項1から23のいずれか一項に記載の装置。
  25. 前記装置は、調整された球面領域半径を取得するために、デカルト系の正方形の境界を球面座標系の円にマッピングするマッピングを実行するように構成される、
    請求項24に記載の装置。
  26. 前記装置は、
    Figure 2021513775
    の場合、
    Figure 2021513775
    Figure 2021513775
    の場合、
    Figure 2021513775
    によって、前記球面領域半径
    Figure 2021513775
    を前記調整された球面領域半径rにマッピングするように構成され、
    Figure 2021513775
    は前記仰角である、
    請求項24または請求項25に記載の装置。
  27. オーディオオブジェクトのオブジェクト位置を球面表現(218、228、258)からデカルト表現(242、292)に変換するための装置(200)であって、
    前記デカルト表現の基準領域は、複数の基準領域三角形に細分され、複数の球面領域三角形は、球面表現の円に内接し、
    前記装置は、前記仰角(218)または前記マッピングされた仰角(222)に基づいて、そして前記球面領域半径(228)または前記マッピングされた球面領域半径(232)に基づいて、前記基本領域からの前記オブジェクト位置の距離および中間半径(252、rxy)を表す値(z)(242)を取得するように構成され、
    前記装置は、前記中間半径(252)またはその修正バージョン(262)に基づいて、および方位角(
    Figure 2021513775
    )に基づいて、前記円に内接する前記三角形の1つ内の位置(272、
    Figure 2021513775
    )を決定するように構成され、
    前記装置は、前記円に内接する前記三角形の1つ内の前記決定された位置(272、
    Figure 2021513775
    )に基づいて、前記基本平面への前記オブジェクト位置の前記投影(272、P)のマッピングされた位置(292)を決定するように構成される、装置(200)。
  28. 前記装置は、仰角に基づいてマッピングされた仰角(
    Figure 2021513775
    )を取得するように構成される、
    請求項27に記載の装置。
  29. 前記装置は、第1の角度領域の角度を第1のマッピングされた角度領域に線形にマッピングし、第2の角度領域内の角度を第2のマッピングされた角度領域に線形にマッピングする非線形マッピングを使用して、前記マッピングされた仰角を取得するように構成され、ここで、前記第1の角度領域は、前記第1のマッピングされた角度領域と比較したときに異なる幅を有する、
    請求項28に記載の装置。
  30. 前記第1の角度領域および前記第2の角度領域によって一緒にカバーされる角度範囲は、前記第1のマッピングされた角度領域および前記第2のマッピングされた角度領域によって一緒にカバーされる角度範囲と同一である、
    請求項29に記載の装置。
  31. 前記装置は、
    Figure 2021513775
    によって、仰角θをマッピングされた仰角
    Figure 2021513775
    にマッピングするように構成される、
    請求項28から30のいずれか一項に記載の装置。
  32. 前記装置は、
    Figure 2021513775
    によって、前記仰角θを前記マッピングされた仰角
    Figure 2021513775
    にマッピングするように構成され、
    Figure 2021513775
    は前記デカルト座標系における高さスピーカの仰角であり、
    Figure 2021513775
    は前記球面座標系における高さスピーカの仰角である、
    請求項28から31のいずれか一項に記載の装置。
  33. 前記装置は、球面領域半径に基づいて、マッピングされた球面領域半径
    Figure 2021513775
    を取得するように構成される、
    請求項27から32のいずれか一項に記載の装置。
  34. 前記装置は、前記仰角に応じて、または前記マッピングされた仰角に応じて、前記球面領域半径をスケーリングするように構成され、
    前記装置は、球面座標系の円をデカルト系の正方形の境界にマッピングするマッピングを実行するように構成される、
    請求項33に記載の装置。
  35. 前記装置は、
    Figure 2021513775
    によって、球面領域半径rに基づいて前記マッピングされた球面領域半径
    Figure 2021513775
    を取得するように構成され、
    Figure 2021513775
    は前記仰角または前記マッピングされた仰角である、
    請求項33または請求項34に記載の装置。
  36. 前記装置は、
    Figure 2021513775
    によって、球面領域半径rに基づいて前記マッピングされた球面領域半径
    Figure 2021513775
    を取得するように構成され、
    Figure 2021513775
    は前記仰角または前記マッピングされた仰角であり、
    Figure 2021513775
    は前記球面座標系における高さスピーカの仰角である、
    請求項33から35のいずれか一項に記載の装置。
  37. 前記装置は、
    Figure 2021513775
    によって、前記基本領域からの前記オブジェクト位置の距離を表す前記値zを取得するように構成され、
    および/または、前記装置は、
    Figure 2021513775
    によって前記中間半径rxyを取得するように構成され、
    Figure 2021513775
    は前記球面領域半径または前記マッピングされた球面領域半径であり、
    Figure 2021513775
    は前記仰角または前記マッピングされた仰角である、
    請求項27から36のいずれか一項に記載の装置。
  38. 前記装置は、円セグメントを円に内接する三角形にマッピングするマッピングを使用して前記半径補正を実行するように構成される、
    請求項27から37のいずれか一項に記載の装置。
  39. 前記装置は、前記方位角に応じて前記中間半径をスケーリングして、補正された半径を取得するように構成される、
    請求項27から38のいずれか一項に記載の装置。
  40. 前記装置は、
    Figure 2021513775
    によって、前記中間半径
    Figure 2021513775
    に基づいて、前記補正された半径
    Figure 2021513775
    を取得するように構成され、
    Figure 2021513775
    は前記方位角である、
    請求項27から39のいずれか一項に記載の装置。
  41. 前記装置は、
    Figure 2021513775
    によって、前記中間半径
    Figure 2021513775
    に基づいて、前記補正された半径
    Figure 2021513775
    を取得するように構成され、
    Figure 2021513775
    は前記方位角であり、
    Figure 2021513775
    および
    Figure 2021513775
    は、それぞれの球面領域三角形の2つの角の位置角度である、
    請求項27から40のいずれか一項に記載の装置。
  42. 前記装置は、
    Figure 2021513775
    Figure 2021513775
    によって、前記円に内接する前記三角形のうちの1つ内の位置(
    Figure 2021513775
    )を決定するように構成され、
    Figure 2021513775
    および
    Figure 2021513775
    は座標値であり、
    Figure 2021513775
    は前記中間半径または前記補正された半径であり、
    Figure 2021513775
    は前記方位角である、
    請求項27から41のいずれか一項に記載の装置。
  43. 前記装置は、前記円に内接する前記三角形の1つ内の前記決定された位置(
    Figure 2021513775
    )に基づいて、前記決定された位置がある前記三角形を前記基本平面の関連する三角形にマッピングする線形変換マッピングを使用して、前記基本平面への前記オブジェクトの位置の前記投影(P)の前記マッピングされた位置を決定するように構成される、
    請求項27から42のいずれか一項に記載の装置。
  44. 前記装置は、
    Figure 2021513775
    によって、前記基本平面への前記オブジェクト位置の前記投影Pの前記マッピングされた位置を決定するように構成され、
    Tは変換行列であり、
    Figure 2021513775
    は、前記基本平面への前記オブジェクト位置の前記投影を表すベクトルである、
    請求項27から43のいずれか一項に記載の装置。
  45. 前記変換行列は、
    Figure 2021513775
    によって定義され、
    Figure 2021513775

    Figure 2021513775

    Figure 2021513775

    Figure 2021513775
    は、前記決定された基準領域三角形の2つの角のx座標およびy座標であり、
    Figure 2021513775

    Figure 2021513775

    Figure 2021513775

    Figure 2021513775
    は、前記関連する球面領域三角形の2つの角のx座標およびy座標である、請求項44に記載の装置。
  46. 前記基本領域三角形は、
    −前記デカルト表現の原点の前の領域をカバーする第1の基本領域三角形、
    −前記デカルト表現の前記原点の左側の領域をカバーする第2の基本領域三角形、
    −前記デカルト表現の前記原点の右側の領域をカバーする第3の基本領域三角形、および
    −前記デカルト表現の原点の後ろの領域をカバーする第4の基本領域三角形を含む、請求項27から45のいずれか一項に記載の装置。
  47. 前記球面領域三角形は、
    −前記球面表現の原点の前の領域をカバーする第1の球面領域三角形、
    −前記球面表現の前記原点の左側の領域をカバーする第2の球面領域三角形、
    −前記球面表現の前記原点の右側の領域をカバーする第3の球面領域三角形、
    −前記球面表現の原点の後ろの領域をカバーする第4の球面領域三角形を含む、請求項27から46のいずれか一項に記載の装置。
  48. 前記基本領域三角形は、
    −前記デカルト表現の原点の右前領域の領域をカバーする第1の基本領域三角形、
    −前記デカルト表現の原点の左前領域の領域をカバーする第2の基本領域三角形、
    −前記デカルト表現の前記原点の左側の領域をカバーする第3の基本領域三角形、
    −前記デカルト表現の前記原点の右側の領域をカバーする第4の基本領域三角形、および
    −前記デカルト表現の原点の後ろの領域をカバーする第5の基本領域三角形、を含む、請求項27から45のいずれか一項に記載の装置。
  49. 前記球面領域三角形は、
    −前記球面表現の原点の右前方領域の領域をカバーする第1の球面領域三角形、
    −前記球面表現の原点の左前方領域の領域をカバーする第2の球面領域三角形、
    −前記球面表現の前記原点の左側の領域をカバーする第3の球面領域三角形、
    −前記球面表現の前記原点の右側の領域をカバーする第4の球面領域三角形、および
    −前記球面表現の原点の後ろの領域をカバーする第5の球面領域三角形を含む、請求項27から45および48のいずれか一項に記載の装置。
  50. 基本領域三角形の角の座標P1、P2、および関連する球面領域三角形の角の座標
    Figure 2021513775
    および
    Figure 2021513775
    は、次のように定義され、
    Figure 2021513775
    前記それぞれの三角形の第3の角は、前記それぞれの座標系の原点にある、
    請求項27から49のいずれか一項に記載の装置。
  51. オーディオストリームを提供するためのオーディオストリームプロバイダ(1100)であって、
    前記オーディオストリームプロバイダは、オーディオオブジェクトの位置をデカルト表現で表す入力オブジェクト位置情報(1110)を受け取り、かつ
    前記オブジェクトの前記位置を球面表現で表す出力オブジェクト位置情報を含むオーディオストリーム(1112)を提供するように構成され、
    前記オーディオストリームプロバイダは、前記デカルト表現を前記球面表現に変換するために、請求項1から26のいずれか一項に記載の装置(100;1130)を含む、
    オーディオストリームプロバイダ(1100)。
  52. オーディオコンテンツ制作システム(1200)であって、
    前記オーディオコンテンツ制作システムは、オーディオオブジェクトの位置をデカルト表現で表すオブジェクト位置情報を決定するように構成され、
    前記オーディオコンテンツ制作システムは、前記デカルト表現を前記球面表現に変換するために、請求項1から26のいずれか一項に記載の装置(100;1230)を含み、
    前記オーディオコンテンツ制作システムは、前記球面表現をオーディオストリームに含めるように構成される、
    オーディオコンテンツ制作システム(1200)。
  53. オーディオ再生装置(1300)であって、
    前記オーディオ再生装置は、オブジェクト位置情報の球面表現を含むオーディオストリーム(1112;1212;1310)を受け取るように構成され、
    前記オーディオ再生装置は、前記球面表現を前記オブジェクト位置情報のデカルト表現に変換するように構成された、請求項27から50のいずれか一項に記載の装置(200;1330)を含み、
    前記オーディオ再生装置は、前記オブジェクト位置情報の前記デカルト表現に応じて、音響トランスデューサに関連する複数のチャネル信号(1350)にオーディオオブジェクトをレンダリングするように構成されたレンダラ(1340)を含む、
    オーディオ再生装置(1300)。
  54. オーディオストリームを提供するためのオーディオストリームプロバイダ(1100)であって、
    前記オーディオストリームプロバイダは、オーディオオブジェクトの位置を球面表現で表す入力オブジェクト位置情報(1110)を受け取り、かつ
    前記オブジェクトの前記位置をデカルト表現で表す出力オブジェクト位置情報を含むオーディオストリーム(1112)を提供するように構成され、
    前記オーディオストリームプロバイダは、前記球面表現を前記デカルト表現に変換するために、請求項27から50のいずれか一項に記載の装置(100;1130)を含む、
    オーディオストリームプロバイダ(1100)。
  55. オーディオコンテンツ制作システム(1200)であって、
    前記オーディオコンテンツ制作システムは、オーディオオブジェクトの位置を球面表現で表すオブジェクト位置情報を決定するように構成され、
    前記オーディオコンテンツ制作システムは、前記球面表現を前記デカルト表現に変換するために、請求項27から50のいずれか一項に記載の装置(100;1230)を含み、
    前記オーディオコンテンツ制作システムは、前記デカルト表現をオーディオストリームに含めるように構成される、
    オーディオコンテンツ制作システム(1200)。
  56. オーディオ再生装置(1300)であって、
    前記オーディオ再生装置は、オブジェクト位置情報のデカルト表現を含むオーディオストリーム(1112;1212;1310)を受け取るように構成され、
    前記オーディオ再生装置は、前記デカルト表現を前記オブジェクト位置情報の球面表現に変換するように構成された、請求項1から27のいずれか一項に記載の装置(200;1330)を含み、
    前記オーディオ再生装置は、前記オブジェクト位置情報の前記球面表現に応じて、音響トランスデューサに関連する複数のチャネル信号(1350)にオーディオオブジェクトをレンダリングするように構成されたレンダラ(1340)を含む、
    オーディオ再生装置(1300)。
  57. オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に変換するための方法(1400)であって、
    前記デカルト表現の基準領域は、複数の基準領域三角形に細分され、複数の球面領域三角形は、球面表現の円に内接し、
    前記方法は、どの前記基本領域三角形に前記オーディオオブジェクトの前記オブジェクト位置の前記基本領域への投影(P)が配置されているかを決定するステップ(1410)を含み、そして
    前記方法は、前記基本領域三角形をその関連する球面領域三角形にマッピングする線形変換(
    Figure 2021513775
    )を使用して前記オブジェクト位置の前記投影(P)のマッピングされた位置(
    Figure 2021513775
    )を決定するステップ(1420)を含み、
    前記方法は、前記マッピングされた位置(
    Figure 2021513775
    )から方位角[
    Figure 2021513775
    ]および中間半径値(
    Figure 2021513775
    )を導出するステップ(1430)を含み、
    前記方法は、前記中間半径値(rxy、
    Figure 2021513775
    )に応じて、および前記基本領域からの前記オブジェクト位置の距離(z)に応じて、球面領域半径値(
    Figure 2021513775
    )および仰角(
    Figure 2021513775
    )を取得するステップ(1440)を含む、方法(1400)。
  58. オーディオオブジェクトのオブジェクト位置を球面表現からデカルト表現に変換するための方法(1500)であって、
    前記デカルト表現の基準領域は、複数の基準領域三角形に細分され、複数の球面領域三角形は、球面表現の円に内接し、
    前記方法は、仰角またはマッピングされた仰角に基づいて、そして球面領域半径またはマッピングされた球面領域半径に基づいて、前記基本領域からの前記オブジェクト位置の距離(z)および中間半径を表す値(rxy)を取得するステップ(1510)を含み、
    前記方法は、前記中間半径またはその修正バージョンに基づいて、および方位角[
    Figure 2021513775
    ]に基づいて、前記円に内接する前記三角形の1つ内の位置(
    Figure 2021513775
    )を決定するステップ(1520)を含み、
    前記方法は、前記円に内接する前記三角形の1つ内の前記決定された位置(
    Figure 2021513775
    )に基づいて、前記基本平面への前記オブジェクト位置の前記投影(P)のマッピングされた位置を決定するステップ(1530)を含む、方法(1500)。
  59. オーディオストリームを提供する方法であって、
    前記方法は、オーディオオブジェクトの位置をデカルト表現で表す入力オブジェクト位置情報を受け取るステップを含み、
    前記オブジェクトの前記位置を球面表現で表す出力オブジェクト位置情報を含むオーディオストリームを提供するステップを含み、
    前記方法は、請求項57に記載の前記方法を使用して、前記デカルト表現を前記球面表現に変換するステップを含む、方法。
  60. オーディオコンテンツを制作する方法であって、
    前記方法は、オーディオオブジェクトの位置をデカルト表現で表すオブジェクト位置情報を決定するステップを含み、
    前記方法は、請求項57に記載の前記方法を使用して、前記デカルト表現を前記球面表現に変換するステップを含み、
    前記方法は、前記球面表現をオーディオストリームに含めるステップを含む、方法。
  61. オーディオ再生の方法(1600)であって、
    前記方法は、オブジェクト位置情報の球面表現を含むオーディオストリームを受け取るステップ(1610)を含み、
    前記方法は、請求項58によって、前記球面表現を前記オブジェクト位置情報のデカルト表現に変換するステップ(1620)を含み、
    前記方法は、前記オブジェクト位置情報の前記デカルト表現に応じて、音響トランスデューサに関連する複数のチャネル信号にオーディオオブジェクトをレンダリングするステップ(1630)を含む、方法(1600)。
  62. オーディオストリームを提供する方法であって、
    前記方法は、オーディオオブジェクトの位置を球面表現で表す入力オブジェクト位置情報を受け取るステップを含み、
    前記オブジェクトの前記位置をデカルト表現で表す出力オブジェクト位置情報を含むオーディオストリームを提供するステップを含み、
    前記方法は、請求項58に記載の前記方法を使用して、前記球面表現を前記デカルト表現に変換するステップを含む、方法。
  63. オーディオコンテンツを制作する方法であって、
    前記方法は、オーディオオブジェクトの位置を球面表現で表すオブジェクト位置情報を決定するステップを含み、
    前記方法は、請求項58に記載の前記方法を使用して、前記球面表現を前記デカルト表現に変換するステップを含み、
    前記方法は、前記デカルト表現をオーディオストリームに含めるステップを含む、方法。
  64. オーディオ再生の方法(1600)であって、
    前記方法は、オブジェクト位置情報のデカルト表現を含むオーディオストリームを受け取るステップを含み、
    前記方法は、請求項57によって、前記デカルト表現を前記オブジェクト位置情報の球面表現に変換するステップを含み、
    前記方法は、前記オブジェクト位置情報の前記球面表現に応じて、音響トランスデューサに関連する複数のチャネル信号にオーディオオブジェクトをレンダリングするステップを含む、方法(1600)。
  65. コンピュータ上で実行されるときに、請求項57から64のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
  66. オーディオオブジェクトのオブジェクト位置をデカルト表現(110)から球面表現(112)に変換するための装置(100)であって、前記オブジェクト位置は、方位角、仰角、および球面領域半径を使用して記述され、
    たとえば、スピーカは、前記デカルト表現に関連付けられたデカルト座標系の正方形に配置され、スピーカは、前記球面表現に関連付けられた球面座標系の円に配置され、
    前記デカルト表現の基準領域は、複数の基準領域三角形(630、532、634、636)に細分され、複数の球面領域三角形(660、662、664、666)は、前記球面表現の円に内接し、
    前記球面領域三角形のそれぞれは、基準領域三角形に関連付けられ、
    前記基本領域三角形の少なくともいくつかの角の位置は、前記デカルト座標系におけるスピーカの位置に対応し、
    前記球面領域三角形の少なくともいくつかの角の位置は、前記球面座標系におけるスピーカの位置に対応し、
    前記装置は、どの前記基準領域三角形に前記オーディオオブジェクトの前記オブジェクト位置の前記基本領域への投影(P)が配置されているかを決定するように構成され、そして
    前記装置は、関連する球面領域三角形に前記基本領域三角形をマッピングする線形変換(
    Figure 2021513775
    )を使用して前記オブジェクト位置の前記投影(P)のマッピングされた位置(
    Figure 2021513775
    )を決定するように構成され、
    前記装置は、前記マッピングされた位置(
    Figure 2021513775
    )から方位角(
    Figure 2021513775
    )および中間半径値(
    Figure 2021513775
    )を導出するように構成され、
    前記装置は、前記中間半径値(rxy、
    Figure 2021513775
    )に応じて、および前記基本領域からの前記オブジェクト位置の距離(z)に応じて、球面領域半径値(
    Figure 2021513775
    )および仰角(
    Figure 2021513775
    )を取得するように構成される、装置(100)。
  67. オーディオオブジェクトのオブジェクト位置をデカルト表現から球面表現に変換する方法(1400)であって、前記オブジェクト位置は、方位角、仰角、および球面領域半径を使用して記述され、
    たとえば、スピーカは、前記デカルト表現に関連付けられたデカルト座標系の正方形に配置され、スピーカは、前記球面表現に関連付けられた球面座標系の円に配置され、
    前記デカルト表現の基準領域は、複数の基準領域三角形に細分され、複数の球面領域三角形は、前記球面表現の円に内接し、
    前記球面領域三角形のそれぞれは、基準領域三角形に関連付けられ、
    前記基本領域三角形の少なくともいくつかの角の位置は、前記デカルト座標系におけるスピーカの位置に対応し、
    前記球面領域三角形の少なくともいくつかの角の位置は、前記球面座標系におけるスピーカの位置に対応し、
    前記方法は、どの前記基本領域三角形に前記オーディオオブジェクトの前記オブジェクト位置の前記基本領域への投影(P)が配置されているかを決定するステップ(1410)を含み、そして
    前記方法は、その関連する球面領域三角形に前記基本領域三角形をマッピングする線形変換(
    Figure 2021513775
    )を使用して前記オブジェクト位置の前記投影(P)のマッピングされた位置(
    Figure 2021513775
    )を決定するステップ(1420)を含み、
    前記方法は、前記マッピングされた位置(
    Figure 2021513775
    )から方位角[
    Figure 2021513775
    ]および中間半径値(
    Figure 2021513775
    )を導出するステップ(1430)を含み、
    前記方法は、前記中間半径値(rxy、
    Figure 2021513775
    )に応じて、および前記基本領域からの前記オブジェクト位置の距離(z)に応じて、球面領域半径値(
    Figure 2021513775
    )および仰角(
    Figure 2021513775
    )を取得するステップ(1440)を含む、方法(1400)。
  68. オーディオオブジェクトのオブジェクト位置を、方位角、仰角、および球面領域半径を使用して記述される球面表現(218、228、258)からデカルト表現(242、292)に変換するための装置(200)であって、
    たとえば、スピーカは、前記デカルト表現に関連付けられたデカルト座標系の正方形に配置され、スピーカは、前記球面表現に関連付けられた球面座標系の円に配置され、
    前記デカルト表現の基準領域は、複数の基準領域三角形に細分され、複数の球面領域三角形は、前記球面表現の円に内接し、
    前記基本領域三角形の少なくともいくつかの角の位置は、前記デカルト座標系におけるスピーカの位置に対応し、
    前記球面領域三角形の少なくともいくつかの角の位置は、前記球面座標系におけるスピーカの位置に対応し、
    前記装置は、前記仰角(218)またはマッピングされた仰角(222)に基づいて、そして前記球面領域半径(228)またはマッピングされた球面領域半径(232)に基づいて、前記基本領域からの前記オブジェクト位置の距離および中間半径(252、rxy)を表す値(z)(242)を取得するように構成され、
    前記装置は、前記中間半径(252)、または、前記球面座標系とは異なり、前記スピーカが前記デカルト座標系の正方形に配置されているため行われる半径調整反転される前記中間半径の修正バージョン(262)に基づいて、および前記方位角(
    Figure 2021513775
    )に基づいて、前記円に内接する前記三角形の1つ内の位置(272、
    Figure 2021513775
    )を決定するように構成され、そして前記装置は、前記決定された位置にある前記三角形を、前記基本平面の関連する三角形にマッピングする線形変換を使用して、前記円に内接する前記三角形の1つ内の前記決定された位置(272、
    Figure 2021513775
    )に基づいて、前記オブジェクト位置の前記基本平面への前記投影(272、P)のマッピングされた位置(292)を決定するように構成され、
    前記値(z)(242)は、前記基本領域からの前記オブジェクト位置の前記距離を記述し、前記マッピングされた位置(292)は、前記デカルト表現における前記オブジェクト位置を記述する、装置(200)。
  69. オーディオオブジェクトのオブジェクト位置を、方位角、仰角、および球面領域半径を使用して記述される球面表現からデカルト表現に変換する方法(1500)であって、
    たとえば、スピーカは、前記デカルト表現に関連付けられたデカルト座標系の正方形に配置され、スピーカは、前記球面表現に関連付けられた球面座標系の円に配置され、
    前記デカルト表現の基準領域は、複数の基準領域三角形に細分され、複数の球面領域三角形は、球面表現の円に内接し、
    前記基本領域三角形の少なくともいくつかの角の位置は、前記デカルト座標系におけるスピーカの位置に対応し、
    前記球面領域三角形の少なくともいくつかの角の位置は、前記球面座標系におけるスピーカの位置に対応し、
    前記方法は、仰角またはマッピングされた仰角に基づいて、そして球面領域半径またはマッピングされた球面領域半径に基づいて、前記基本領域からの前記オブジェクト位置の距離および中間半径(rxy)を表す値(z)を取得するステップ(1510)を含み、
    前記方法は、前記中間半径、または、前記球面座標系とは異なり、前記スピーカが前記デカルト座標系の正方形に配置されているため行われる半径調整反転される前記中間半径の修正バージョンに基づいて、および前記方位角[
    Figure 2021513775
    ]に基づいて、前記円に内接する前記三角形の1つ内の位置(
    Figure 2021513775
    )を決定するステップ(1520)を含み、そして
    前記方法は、前記決定された位置にある前記三角形を、前記基本平面の関連する三角形にマッピングする線形変換を使用して、前記円に内接する前記三角形の1つ内の前記決定された位置(
    Figure 2021513775
    )に基づいて、前記オブジェクト位置の前記基本平面への前記投影(P)のマッピングされた位置を決定するステップ(1530)を含み、
    前記値(z)(242)は、前記基本領域からの前記オブジェクト位置の前記距離を記述し、前記マッピングされた位置(292)は、前記デカルト表現における前記オブジェクト位置を記述する、方法(1500)。

JP2020541721A 2018-01-30 2019-01-29 オーディオオブジェクトのオブジェクト位置を変換するための装置、オーディオストリームプロバイダ、オーディオコンテンツ制作システム、オーディオ再生装置、方法およびコンピュータプログラム Active JP7034309B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18154307.5 2018-01-30
EP18154307 2018-01-30
PCT/EP2018/025211 WO2019149337A1 (en) 2018-01-30 2018-08-08 Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs
EPPCT/EP2018/025211 2018-08-08
PCT/EP2019/052156 WO2019149710A1 (en) 2018-01-30 2019-01-29 Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs

Publications (2)

Publication Number Publication Date
JP2021513775A true JP2021513775A (ja) 2021-05-27
JP7034309B2 JP7034309B2 (ja) 2022-03-11

Family

ID=61188596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020541721A Active JP7034309B2 (ja) 2018-01-30 2019-01-29 オーディオオブジェクトのオブジェクト位置を変換するための装置、オーディオストリームプロバイダ、オーディオコンテンツ制作システム、オーディオ再生装置、方法およびコンピュータプログラム

Country Status (15)

Country Link
US (1) US11653162B2 (ja)
EP (1) EP3747204B1 (ja)
JP (1) JP7034309B2 (ja)
KR (1) KR102412012B1 (ja)
CN (1) CN112154676B (ja)
AR (2) AR114348A1 (ja)
AU (1) AU2019214298C1 (ja)
BR (1) BR112020015417A2 (ja)
CA (1) CA3090026C (ja)
ES (1) ES2962111T3 (ja)
MX (1) MX2020007998A (ja)
RU (1) RU2751129C1 (ja)
SG (1) SG11202007293UA (ja)
TW (1) TWI716810B (ja)
WO (2) WO2019149337A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008890A1 (ja) * 2018-07-04 2020-01-09 ソニー株式会社 情報処理装置および方法、並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015179986A (ja) * 2014-03-19 2015-10-08 ヤマハ株式会社 オーディオ定位設定装置、方法、及び、プログラム
WO2016210174A1 (en) * 2015-06-25 2016-12-29 Dolby Laboratories Licensing Corporation Audio panning transformation system and method

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6684176B2 (en) * 2001-09-25 2004-01-27 Symbol Technologies, Inc. Three dimensional (3-D) object locator system for items or sites using an intuitive sound beacon: system and method of operation
ZA200503594B (en) * 2002-12-02 2006-08-30 Thomson Licensing Sa Method for describing the composition of audio signals
FR2858403B1 (fr) * 2003-07-31 2005-11-18 Remy Henri Denis Bruno Systeme et procede de determination d'une representation d'un champ acoustique
WO2010131431A1 (ja) * 2009-05-11 2010-11-18 パナソニック株式会社 音響再生装置
EP3913931B1 (en) * 2011-07-01 2022-09-21 Dolby Laboratories Licensing Corp. Apparatus for rendering audio, method and storage means therefor.
EP2600637A1 (en) 2011-12-02 2013-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for microphone positioning based on a spatial power density
RU2602346C2 (ru) * 2012-08-31 2016-11-20 Долби Лэборетериз Лайсенсинг Корпорейшн Рендеринг отраженного звука для объектно-ориентированной аудиоинформации
US9913064B2 (en) * 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
JP6253031B2 (ja) 2013-02-15 2017-12-27 パナソニックIpマネジメント株式会社 キャリブレーション方法
CN105103569B (zh) * 2013-03-28 2017-05-24 杜比实验室特许公司 使用被组织为任意n边形的网格的扬声器呈现音频
EP2809088B1 (en) * 2013-05-30 2017-12-13 Barco N.V. Audio reproduction system and method for reproducing audio data of at least one audio object
KR102226420B1 (ko) 2013-10-24 2021-03-11 삼성전자주식회사 다채널 오디오 신호 생성 방법 및 이를 수행하기 위한 장치
EP2925024A1 (en) * 2014-03-26 2015-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
US9723419B2 (en) * 2014-09-29 2017-08-01 Bose Corporation Systems and methods for determining metric for sound system evaluation
US9578439B2 (en) * 2015-01-02 2017-02-21 Qualcomm Incorporated Method, system and article of manufacture for processing spatial audio
EP3286930B1 (en) * 2015-04-21 2020-05-20 Dolby Laboratories Licensing Corporation Spatial audio signal manipulation
EP3332557B1 (en) * 2015-08-07 2019-06-19 Dolby Laboratories Licensing Corporation Processing object-based audio signals
EP4333461A3 (en) * 2015-11-20 2024-04-17 Dolby Laboratories Licensing Corporation Improved rendering of immersive audio content
GB2546504B (en) * 2016-01-19 2020-03-25 Facebook Inc Audio system and method
CN105898668A (zh) * 2016-03-18 2016-08-24 南京青衿信息科技有限公司 一种声场空间的坐标定义方法
US9949052B2 (en) * 2016-03-22 2018-04-17 Dolby Laboratories Licensing Corporation Adaptive panner of audio objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015179986A (ja) * 2014-03-19 2015-10-08 ヤマハ株式会社 オーディオ定位設定装置、方法、及び、プログラム
WO2016210174A1 (en) * 2015-06-25 2016-12-29 Dolby Laboratories Licensing Corporation Audio panning transformation system and method

Also Published As

Publication number Publication date
CN112154676A (zh) 2020-12-29
ES2962111T3 (es) 2024-03-15
JP7034309B2 (ja) 2022-03-11
MX2020007998A (es) 2020-09-21
TW201937944A (zh) 2019-09-16
CA3090026A1 (en) 2019-08-08
KR20200139670A (ko) 2020-12-14
KR102412012B1 (ko) 2022-06-22
EP3747204C0 (en) 2023-09-27
EP3747204A1 (en) 2020-12-09
WO2019149337A1 (en) 2019-08-08
AU2019214298C1 (en) 2023-07-20
AR127189A2 (es) 2023-12-27
WO2019149710A1 (en) 2019-08-08
TWI716810B (zh) 2021-01-21
AR114348A1 (es) 2020-08-26
CA3090026C (en) 2023-03-21
RU2751129C1 (ru) 2021-07-08
US11653162B2 (en) 2023-05-16
BR112020015417A2 (pt) 2020-12-08
SG11202007293UA (en) 2020-08-28
CN112154676B (zh) 2022-05-17
AU2019214298B2 (en) 2022-04-07
US20200359149A1 (en) 2020-11-12
EP3747204B1 (en) 2023-09-27
AU2019214298A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
TWI713866B (zh) 用於生成增強聲場描述的裝置與方法以及其計算機程式與記錄媒體
RU2683380C2 (ru) Устройство и способ для повторного отображения относящихся к экрану звуковых объектов
CN108924729B (zh) 采用几何距离定义的音频呈现装置和方法
CN113316943B (zh) 再现空间扩展声源的设备与方法、或从空间扩展声源生成比特流的设备与方法
TWI692753B (zh) 生成增強的聲場描述的裝置與方法及其計算機程式與記錄媒體、和生成修改的聲場描述的裝置及方法及其計算機程式
US20220417694A1 (en) Apparatus and Method for Synthesizing a Spatially Extended Sound Source Using Cue Information Items
US20230110257A1 (en) 6DOF Rendering of Microphone-Array Captured Audio For Locations Outside The Microphone-Arrays
CN115280800A (zh) 再现空间扩展声源的装置和方法或使用锚定信息生成空间扩展声源的描述的装置和方法
JP7034309B2 (ja) オーディオオブジェクトのオブジェクト位置を変換するための装置、オーディオストリームプロバイダ、オーディオコンテンツ制作システム、オーディオ再生装置、方法およびコンピュータプログラム
JPWO2020127329A5 (ja)
US20230262407A1 (en) Methods, apparatus and systems for a pre-rendered signal for audio rendering
CN118511547A (zh) 使用空间扩展声源的渲染器、解码器、编码器、方法及比特流
KR20230152139A (ko) Hoa 계수를 획득하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220301

R150 Certificate of patent or registration of utility model

Ref document number: 7034309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150