JP2021517668A - メタデータを利用するオーディオ信号処理方法及び装置 - Google Patents

メタデータを利用するオーディオ信号処理方法及び装置 Download PDF

Info

Publication number
JP2021517668A
JP2021517668A JP2020554183A JP2020554183A JP2021517668A JP 2021517668 A JP2021517668 A JP 2021517668A JP 2020554183 A JP2020554183 A JP 2020554183A JP 2020554183 A JP2020554183 A JP 2020554183A JP 2021517668 A JP2021517668 A JP 2021517668A
Authority
JP
Japan
Prior art keywords
signal
reference distance
distance
distance information
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020554183A
Other languages
English (en)
Other versions
JP7102024B2 (ja
Inventor
ヒュンジョ・チュン
サンペ・チョン
Original Assignee
ガウディオ・ラボ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ガウディオ・ラボ・インコーポレイテッド filed Critical ガウディオ・ラボ・インコーポレイテッド
Publication of JP2021517668A publication Critical patent/JP2021517668A/ja
Priority to JP2022104743A priority Critical patent/JP7371968B2/ja
Application granted granted Critical
Publication of JP7102024B2 publication Critical patent/JP7102024B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

オーディオ信号をレンダリングするオーディオ信号処理装置が開示される。前記オーディオ信号処理装置はプロセッサを含む。前記プロセッサは、前記オーディオ信号と第１エレメント基準距離情報を含むメタデータを受信し、前記第１エレメント基準距離情報は前記エレメント信号の基準距離を指示し、前記第１エレメント基準距離情報に基づいて前記第１エレメント信号をレンダリングする。前記オーディオ信号は前記第１エレメント信号と同時にレンダリングされる第２エレメント信号を含み、前記メタデータは前記第２エレメント信号の距離を指示する第２エレメント距離情報を含む。前記第１エレメント基準距離情報を示すために必要なビット数は、前記第２エレメント距離情報を示すために必要なビット数より少ない。

Description

本発明は、オーディオ信号処理方法及び装置に関する。詳しくは、本発明はメタデータを利用するオーディオ信号処理方法及び装置に関する。
３Ｄオーディオとは、従来のサラウンドオーディオから提供する水平面（２Ｄ）上のサウンドシーンに高さ方向に当たる他の軸を提供することで、３次元空間上において臨場感のあるサウンドを提供するための一連の信号処理、伝送、符号化、及び再生技術などを通称する。特に、３Ｄオーディオを提供するためには、従来より多数のスピーカを使用するか、或いは少数のスピーカを使用してもスピーカが存在しない仮想の位置において音像が結ばれるようにするレンダリング技術が要求される。
３Ｄオーディオは超高解像度ＴＶ（ＵＨＤＴＶ）に対応するオーディオソリューションになると予想されるが、高品質インフォーテインメント空間と進化しつつある車両におけるサウンドをはじめ、その他に劇場サウンド、個人用３ＤＴＶ、タブレット、無線通信端末、及びクラウドゲームなど、多様な分野で応用されると予想される。
一方、３Ｄオーディオに提供される音源の形態としては、チャネル基盤の信号とオブジェクト基盤の信号が存在する。これだけでなく、チャネル基盤の信号とオブジェクト基盤の信号が混合された形態の音源が存在してもよく、これを介してユーザに新たな形態のコンテンツ経験を提供することができる。
バイノーラルレンダリングは、このような３Ｄオーディオを人の両耳に伝達される信号にモデリングすることである。ユーザは、ヘッドホンやイヤホンなどを介したバイノーラルレンダリングされた２チャネルオーディオ出力信号を介しても立体感を感じることができる。バイノーラルレンダリングの具体的な原理は以下のようである。人は常に両耳を介して音を聞き、音を介して音源の位置と方向を認識する。よって、３Ｄオーディオを人の両耳に伝達されるオーディオ信号の形態にモデリングすることができれば、多数のスピーカがなくても、２チャネルオーディオ出力を介しても３Ｄオーディオの立体感を再現することができる。
本発明の一実施例は、メタデータを利用するオーディオ信号処理方法及び装置を提供することを目的とする。
詳しくは、本発明の一実施例は、メタデータを利用してオブジェクト信号、チャネル信号、またはアンビソニック信号をレンダリングするオーディオ信号処理方法及び装置を提供することを目的とする。
本発明の実施例によって第１エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置は、前記オーディオ信号と第１エレメント基準距離情報を含むメタデータを獲得し、前記第１エレメント基準距離情報は前記第１エレメント信号の基準距離を指示し、前記第１エレメント基準距離情報に基づいて前記第１エレメント信号をレンダリングするプロセッサを含む。前記オーディオ信号は、前記第１エレメント信号と同時にレンダリングされる第２エレメント信号を含む。前記メタデータは、前記第２エレメント信号の距離を指示する第２エレメント距離情報を含む。前記第１エレメント基準距離情報を示すために必要なビット数は、前記第２エレメント距離情報を示すために必要なビット数より少ない。前記第１エレメント基準距離情報が示す基準距離のセット（ｓｅｔ）は、前記第２エレメント距離情報が示す距離のセット（ｓｅｔ）のサブセット（ｓｕｂｓｅｔ）である。
前記第１エレメント基準距離情報は、指数関数を使用して前記第１エレメント信号の基準距離を指示する。
前記第１エレメント基準距離情報は、前記指数関数の指数の値を決定する。
前記第１エレメント基準距離情報を示すために使用されるビット数は７ビットであり、前記第２エレメント距離情報を示すために使用されるビット数は９ビットである。
前記プロセッサは、下記数式を使用して前記第１エレメント基準距離情報から前記第１エレメント信号の基準距離を獲得する。
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
前記Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅは前記第１エレメント信号の基準距離であり、前記第１エレメント信号の基準距離の単位はメートル（ｍ）であり、
前記ｂｓ＿Ｒｅｆｅｒｅｎｃｅ＿Ｄｉｓｔａｎｃｅは前記第１エレメント基準距離情報であり、
前記第１エレメント基準距離情報の値は０から１２７までの整数である。
前記第２エレメント基準距離情報が示し得る値は０から５１１までの整数である。前記プロセッサは、前記第２エレメント距離情報の値が０であれば前記第２エレメント信号の距離が０であると判断し、前記第２エレメント距離情報の値が１から５１１であれば、下記数式を使用して前記第２エレメント距離情報から前記第２エレメント信号の距離を獲得する。
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
前記Ｄｉｓｔａｎｃｅは前記第２エレメント信号の距離であり、前記第２エレメント信号の距離の単位はメートル（ｍ）であり、前記Ｐｏｓｉｔｉｏｎ＿Ｄｉｓｔａｎｃｅは第２エレメント距離情報である。
前記プロセッサは、前記第１エレメント基準距離情報が定義されていなければ、前記第１エレメント基準距離情報が第１エレメントデフォルト基準距離を指示するとみなし、前記第２エレメント距離情報が定義されていなければ、前記第２エレメント距離情報が第２エレメントデフォルト距離を指示するとみなす。前記第１エレメントデフォルト基準距離と前記第２エレメントデフォルト距離は同じ値である。
前記第１エレメント基準距離情報が指示し得る最小基準距離は、０より大きい予め指定された正の数である。
前記第１エレメント信号を含むオーディオ信号は前記第２エレメント信号を含み、前記プロセッサは前記第１エレメント信号と前記第２エレメント信号を同時にレンダリングする。この際、前記プロセッサは、前記第１エレメント基準距離情報に基づいて前記第１エレメント信号がレンダリングされた音響出力のラウドネスを調整し、前記第２エレメント距離情報に基づいて前記第２エレメント信号がレンダリングされた音響出力のラウドネスを調整する。また、前記プロセッサは、前記第１エレメント基準距離情報に基づいて前記第１エレメント信号にディレイを適用し、前記第２エレメント距離情報に基づいて前記第２エレメント信号にディレイを適用する。
前記第１エレメント信号はチャネル信号であり、前記第２エレメント信号はオブジェクト信号である。
前記第１エレメント信号はアンビソニック信号であり、前記第２エレメント信号はオブジェクト信号である。
前記第１エレメント信号はチャネル信号であり、前記オーディオ信号はアンビソニック信号を更に含む。前記プロセッサは、前記第１エレメント信号の基準距離に基づいて前記アンビソニック信号をレンダリングする。
前記第１エレメント信号はチャネル信号であり、前記オーディオ信号はアンビソニック信号を更に含む。前記第１エレメント基準距離情報はチャネル基準距離情報であり、前記メタデータはアンビソニック信号の基準距離を指示するアンビソニック基準距離情報を含む。前記プロセッサはチャネル基準距離情報に基づいて前記チャネル信号をレンダリングし、アンビソニック基準距離情報に基づいて前記アンビソニック信号をレンダリングする。
前記プロセッサは、前記第１エレメント基準距離情報に基づいて前記第２エレメント信号をレンダリングする。
本発明の一実施例による第１エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置は、前記第１エレメント信号の基準距離を指示する第１エレメント基準距離情報を設定し、前記第１エレメント基準距離情報を含むメタデータを生成するプロセッサを含む。
前記オーディオ信号は前記第２エレメント信号を含み、前記メタデータは前記第２エレメント信号の距離を指示する第２エレメント距離情報を含む。
前記第１エレメント基準距離情報の指示に使用されるビット数は、第２エレメント距離情報の指示に使用されるビット数より少ない。前記第１エレメント基準距離情報が示す基準距離のセット（ｓｅｔ）は、前記第２エレメント距離情報が示す距離のセット（ｓｅｔ）のサブセット（ｓｕｂｓｅｔ）である。
前記第１エレメント基準距離情報は、指数関数を使用して前記第１エレメント信号の基準距離を指示する。
前記第１エレメント基準距離情報は、前記指数関数の指数の値を決定する。
前記第１エレメント基準距離情報を示すために必要なビット数は７ビットであり、前記第２エレメント距離情報を示すために必要なビット数は９ビットである。
前記プロセッサは、前記第１エレメント基準距離情報が以下の数式によって前記第１エレメント信号の基準距離を指示するよう、前記第１エレメント基準距離情報の値を設定する。
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
前記Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅは前記第１エレメント信号の基準距離であり、前記第１エレメント信号の基準距離の単位はメートル（ｍ）であり、前記ｂｓ＿Ｒｅｆｅｒｅｎｃｅ＿Ｄｉｓｔａｎｃｅは前記第１エレメント基準距離情報であり、前記第１エレメント基準距離情報の値は０から１２７までの整数である。
前記第２エレメント基準距離情報が示し得る値は０から５１１までの整数である。前記プロセッサは、前記第２エレメント信号の距離が０であれば前記第２エレメント距離情報の値を０に設定し、前記第２エレメント信号の距離が０ではなければ、前記第２エレメント距離情報が以下の数式によって前記第２エレメント信号の距離を指示するように前記第２エレメント距離情報の値を設定する。
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
前記Ｄｉｓｔａｎｃｅは前記第２エレメント信号の基準距離であり、前記第２エレメント信号の距離の単位はメートル（ｍ）であり、前記Ｐｏｓｉｔｉｏｎ＿Ｄｉｓｔａｎｃｅは前記第２エレメント距離情報であり、前記第２エレメント距離情報の値は１から５１１までの整数である。
前記第１エレメント基準距離情報が定義されていなければ、前記第１エレメント基準距離情報は第１エレメントデフォルト基準距離を指示するとみなされ、前記第２エレメント距離情報が定義されていなければ、前記第２エレメント距離情報は第２エレメントデフォルト距離を指示するとみなされる。前記第１エレメントデフォルト基準距離と前記第２エレメントデフォルト距離は同じ値である。
前記第１エレメント基準距離情報が指示し得る最小基準距離は、０より大きい予め指定された正の数である。
前記第１エレメント信号はチャネル信号であり、前記第２エレメント信号はオブジェクト信号である。
前記第１エレメント信号はアンビソニック信号であり、前記第２エレメント信号はオブジェクト信号である。
本発明の一実施例は、メタデータを利用するオーディオ信号処理方法及び装置を提供する。
詳しくは、本発明の一実施例は、メタデータを利用してオブジェクト信号、チャネル信号、またはアンビソニック信号をレンダリングするオーディオ信号処理方法及び装置を提供する。
本発明の一実施例によってオーディオ信号をエンコーディングするオーディオ信号処理装置を示すブロック図である。 本発明の一実施例によるオーディオ信号をデコーディングするオーディオ信号処理装置を示すブロック図である。 本発明の一実施例によるレンダラが使用するメタデータを示す図である。 本発明の他の実施例によるレンダラが使用するメタデータコンフィグレーションのシンタックスを示す図である。 本発明の実施例によるイントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す図である。 本発明の実施例によるダイナミックメタデータフレーム（ｄｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）とシングルダイナミックメタデータフレーム（ｓｉｎｇｌｅＤｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す図である。 本発明の一実施例によってＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏ標準に従って定義されていない外部レンダラが使用するオブジェクト信号のメタデータであるＧＯＡメタデータ、チャネル信号のメタデータであるＧＣＡメタデータ、及びアンビソニック信号のメタデータであるＧＨＡメタデータを示す図である。 本発明の実施例によるメタデータのチャネル基準距離情報の値、オブジェクト距離情報の値、及びチャネル信号の基準距離の間の関係を示す図である。 本発明の他の実施例によってメタデータ関連設定を指示するメタデータコンフィグレーション（ｃｏｎｆｉｇｕｒａｔｉｏｎ）のシンタックスを示す図である。 本発明の他の実施例によるイントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す図である。 本発明の実施例によるシングルダイナミックメタデータフレーム（ｓｉｎｇｌｅＤｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す図である。 本発明の他の実施例によってＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏ標準に従って定義されていない外部レンダラが使用するオブジェクト信号のメタデータであるＧＯＡメタデータ、チャネル信号のメタデータであるＧＣＡメタデータ、及びアンビソニック信号のメタデータであるＧＨＡメタデータを示す図である。 本発明の実施例によって第１エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置がメタデータを生成する動作を示す図である。 本発明の実施例によって第１エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置が第１エレメント信号をレンダリングする動作を示す図である。
以下、添付した図面を参照し本発明の実施例について本発明が属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本発明は様々な異なる形態に具現されてもよく、ここで説明する実施例に限らない。そして、図面において、本発明を明確に説明するために説明とは関係のない部分は省略しており、明細書全体にわたって類似した部分に対しては類似した図面符号をつけている。
また、ある部分がある構成要素を「含む」という際、これは特に反対する記載がない限り、他の構成要素を除くのではなく、他の構成要素を更に含むことを意味する。
図１は、本発明の一実施例によるオーディオ信号をエンコーディングするオーディオ信号処理装置を示すブロック図である。
本発明の一実施例によってオーディオ信号をエンコーディングするオーディオ信号処理装置は、チャネル、アンビソニックス（ＨＯＡ）、及びオブジェクト信号のうち少なくとも一つをエンコーディングする。プレレンダラ／ミキサ１０は、チャネル信号、アンビソニック信号、及びオブジェクト信号のうち少なくもいずれか一つを受信してミキシングする。プレレンダリングが必要であれば、プレレンダラ／ミキサ１０は、チャネル信号、アンビソニック信号、及びオブジェクト信号のうち少なくもいずれか一つをプレレンダリングする。
ＨＯＡ空間エンコーダ３０は、アンビソニック信号とプレレンダリングされたオブジェクト信号を合成し、プレレンダリングされたオブジェクト信号を伝送するためのアンビソニックスチャネル信号と、アンビソニックスチャネル信号に関するメタデータに変換する。
ＳＡＯＣ ３Ｄエンコーダ４０は、個別オブジェクト信号を伝送するためのＳＡＯＣチャネルの形態とＳＡＯＣチャネルに関するメタデータに変換する。
オーディオ信号を制作する際に使用された再生システムがスピーカレイアウトで構成されるか、またはオーディオ信号が再生される再生システムが仮想のスピーカレイアウトを介したバイノーラルレンダリングで再生される２チャネル再生システムであれば、オーディオ信号処理装置は該当スピーカレイアウトの位置情報を再生レイアウト（Ｒｅｐｒｏｄｕｃｔｉｏｎ Ｌａｙｏｕｔ）で受信する。スピーカレイアウトの位置のうち、スピーカレイアウトのスイートスポットの聴取者からスピーカまでの距離は、該当レイアウトの基準距離（Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｔａｎｃｅ）にエンコーディングされる。ＯＡＭエンコーダ２０は、ビットストリームのメタデータに基準距離をエンコーディングする。また、オブジェクトからスイートスポットの聴取者までの距離はオブジェクト距離と入力される。ＳＡＯＣ ３Ｄエンコーダ４０は、オブジェクト距離をメタデータでエンコーディングする。他の実施例において、オブジェクト距離（Ｏｂｊｅｃｔ Ｄｉｓｔａｎｃｅ）は個別にエンコーダ８０に伝達され、エンコーダ８０はオブジェクト距離をビットストリームのメタデータでエンコーディングする。
図２は、本発明の一実施例によるオーディオ信号をデコーディングするオーディオ信号処理装置を示すブロック図である。
本発明の一実施例によるオーディオ信号デコーダは、コアデコーダ１１０、ミキサ１３０、及びポストプロセッサ１４０を含む。コアデコーダ１１０は、スピーカ（ｌｏｕｄｓｐｅａｋｅｒ）チャネル信号、個別（ｄｉｓｃｒｅｔｅ）オブジェクト信号、オブジェクトダウンミックス信号、及び予め−レンダリングされた（ｐｒｅｒｅｎｄｅｒｅｄ）信号のうち少なくとも一つをデコーディングする。コアデコーダ１１０は、ＵＳＡＣ（Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）基盤のコーデックを使用する。コアデコーダ１１０は、コアデコーダ１１０が受信しビットストリームをデコードし、デコードされた信号をデコードされた信号のタイプに応じてフォーマットコンバータ１２２、オブジェクトレンダラ１２４、ＯＡＭデコーダ１２５、ＳＡＯＣデコーダ１２６、及びＨＯＡデコーダ１２８のうち少なくともいずれも一つに伝達する。
フォーマットコンバータ１２２は、伝送されたチャネル信号を出力スピーカチャネル信号に変換する。フォーマットコンバータ１２２は、伝送されたチャネル構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）を再生されるスピーカチャネル構成に変換する。出力スピーカチャネルの個数（例えば、５．１チャネル）が伝送されたチャネルの個数（例えば、２２．２チャネル）より少ないか伝送されたチャネル構成と再生されるチャネル構成が異なれば、フォーマットコンバータ１２２は伝送されたチャネル信号に対するダウンミックスを行う。デコーダは入力チャネル信号と出力スピーカチャネル信号との間の組み合わせを利用して最適のダウンミックスマトリックスを生成し、生成されたマトリックスを利用してダウンミックスを行う。フォーマットコンバータ１２２が処理するチャネル信号は、予め−レンダリングされたオブジェクト信号を含む。オーディオ信号をエンコーディングする前に、少なくとも一つのオブジェクト信号が予め−レンダリングされてチャネル信号のミックス（ｍｉｘ）される。フォーマットコンバータ１２２は、このようにミックスされたオブジェクト信号をチャネル信号と共に出力スピーカチャネル信号に変換する。
オブジェクトレンダラ１２４及びＳＡＯＣデコーダ１２６は、オブジェクト信号をレンダリングする。オブジェクト信号は、個別オブジェクトウェーブフォームとパラメトリックオブジェクトウェーブフォームを含む。オブジェクト信号がオブジェクトウェーブフォームを含めば、エンコーダはモノフォニック（ｍｏｎｏｐｈｏｎｉｃ）ウェーブフォーム形態のオブジェクト信号を受信する。この際、エンコーダは単一チャネルエレメント（Ｓｉｎｇｌｅ Ｃｈａｎｎｅｌ Ｅｌｅｍｅｎｔｓ、ＳＣＥｓ）を利用してオブジェクト信号を伝送する。オブジェクト信号がパラメトリックオブジェクトウェーブフォームを含めば、複数のオブジェクト信号は少なくとも一つチャネル信号にダウンミックスされる。この際、各オブジェクトの特徴とオブジェクト間の関係がＳＡＯＣ（Ｓｉｎｇｌｅ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ）パラメータで表現される。オブジェクト信号はダウンミックスされてコアコーデックでエンコーディングされ、エンコーダはエンコーディングの際に共に生成されるパラメトリック情報をデコーダに伝送する。
オブジェクト信号がデコーダに伝送される際、オブジェクト信号に対応する圧縮されたオブジェクトメタデータが共に伝送される。オブジェクトメタデータは、オブジェクト属性を時間と空間単位に量子化し、３次元空間における各オブジェクトの位置及びゲイン値を指示する。ＯＡＭデコーダ１２５は圧縮されたオブジェクトメタデータを受信し、圧縮されたオブジェクトメタデータをデコードしてオブジェクトレンダラ１２４及びＳＡＯＣデコーダ１２６のうち少なくともいずれか一つに伝達する。
オブジェクトレンダラ１２４は、オブジェクトメタデータを利用して各オブジェクト信号を与えられた再生フォーマットに応じてレンダリングする。この際、オブジェクトレンダラ１２４は、オブジェクトメタデータに基づいてオブジェクト信号を特定出力チャネルにレンダリングする。ＳＡＯＣデコーダ１２６は、デコードされたＳＡＯＣ伝送チャネルとパラメトリック情報からオブジェクト信号及びチャネル信号のうち少なくともいずれか一つを復元する。ＳＡＯＣデコーダ１２６は、再生レイアウト情報とオブジェクトメタデータに基づいて出力オーディオ信号を生成する。このように、オブジェクトレンダラ１２４及びＳＡＯＣデコーダ１２６は、オブジェクト信号をチャネル信号にレンダリングする。
ＨＯＡデコーダ１２８はＨＯＡ（Ｈｉｇｈｅｒ Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ）信号及びＨＯＡ付加情報を受信し、ＨＯＡ信号及びＨＯＡ付加情報をデコードする。ＨＯＡデコーダ１２８は、チャネル信号やオブジェクト信号を別途の数式にモデリングシテサウンドシーン（ｓｏｕｎｄ ｓｃｅｎｅ）を生成する。生成されたサウンドシーンでスピーカがある空間上の位置を選択すると、スピーカチャネル信号でレンダリングが行われる。
図２には示していないが、コアデコーダ１１０から出力された信号に対し、前処理過程としてダイナミックレンジ制御（Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｎｔｒｏｌ、ＤＲＣ）が行われる。ＤＲＣは再生されるオーディオ信号のダイナミックレンジを一定レベルに制限することであって、ＤＲＣが適用された信号は予め設定された範囲より小さい音はより大きく、予め設定された範囲より大きい音はより小さく調整される。
フォーマットコンバータ１２２、オブジェクトレンダラ１２４、ＯＡＭデコーダ１２５、ＳＡＯＣデコーダ１２６、及びＨＯＡデコーダ１２８から出力されたオーディオ信号はミキサ１３０に伝達される。ミキサ１３０はチャネル基盤のウェーブフォームとレンダリングされたオブジェクトウェーブフォームのディレイ（ｄｅｌａｙ）を調整し、チャネル基板のウェーブフォームとレンダリングされたオブジェクトウェーブフォームをサンプル単位で合算する。ミキサ１３０によって合算されたオーディオ信号は、ポストプロセッシングユニット１４０に伝達される。
ポストプロセッシングユニット１４０はレンダラ１５０を含む。レンダラ１５０は、スピーカレンダラ１５１とバイノーラルレンダラ１５３のうち少なくともいずれか一つを含む。スピーカレンダラ１５１は、ミキサ１３０から伝達されたマルチチャネル及びマルチオブジェクトオーディオ信号のうち少なくともいずれか一つを出力するためのポストプロセッシングを伝達する。このようなポストプロセッシングは、ダイナミックレンジ制御（ＤＲＣ）、ラウドネス正規化（Ｌｏｕｄｎｅｓｓ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＬＮ）、及びピーク制限（Ｐｅａｋ Ｌｉｍｉｔｅｒ、ＰＬ）のうち少なくともいずれか一つを含む。
バイノーラルレンダラ１５３は、マルチチャネル及びマルチオブジェクトオーディオ信号のうち少なくともいずれか一つのバイノーラルダウンミックス信号を生成する。バイノーラルダウンミックス信号は、各入力チャネル信号及びオブジェクト信号が３次元上に位置する仮想の音源によって表現されるようにする２チャネルのオーディオ信号である。バイノーラルレンダラ１５３は、スピーカレンダラ１５１に供給されるオーディオ信号を入力信号として受信する。バイノーラルレンダリングはＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタに基づいて行われ、時間ドメインまたはＱＭＦドメイン上で行われる。ポストプロセッサ１４０は、バイノーラルレンダリングのポストプロセッシングとして上述したダイナミックレンジ制御（ＤＲＣ）、ラウドネス正規化（ＬＮ）、及びピーク制限（ＰＬ）のうち少なくともいずれか一つを更に行う。
チャネル信号、オブジェクト信号、及びアンビソニック信号を含むコンテンツがレンダリングされれば、レンダラは各エレメント間のラウドネス（ｌｏｕｄｎｅｓｓ）及び距離に対する相対的なバランスを維持しながらレンダリングする必要がある。特に、エレメントメタデータは、再生レイアウトの基準距離（ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅ）を指示する情報を含む。オーディオ信号の各エレメント信号の基準距離は、オーディオ信号が表現する仮想空間で聴者がスイートスポットに位置する際に各エレメント信号をレンダリングするために必要な仮想スピーカレイアウトの円周と聴者との間の距離、つまり、半径を示す。オブジェクト信号の距離、つまり、オブジェクト距離は、オブジェクト信号を含むオーディオ信号が表現する仮想空間で聴者がスイートスポットに位置する際の聴者の頭の中心からシミュレーションされて再生されるオブジェクトまでの距離を示す。また、チャネル信号の基準距離は、聴者の頭の中心からチャネル信号を含むオーディオ信号を制作する際に使用されたスピーカレイアウトまでの距離で示される。また、アンビソニック信号の基準距離は、アンビソニック信号を含むオーディオ信号が表現する仮想空間で聴者がスイートスポットに位置する際、聴者の頭の中心からアンビソニック信号を再生するためにデコーディングされた実際または仮想のスピーカレイアウトまでの距離を示す。説明の便宜上、オブジェクト信号の距離、つまり、オブジェクト距離（ｏｂｊｅｃｔ ｄｉｓｔａｎｃｅ）を指示する情報をオブジェクト距離情報と称する。レンダラがオブジェクト距離情報を使用しても、チャネル信号またはアンビソニック信号をレンダリングする際に使用される基準距離を決定する方法が定義されていなければ、以下のような問題が発生する恐れがある。例えば、オブジェクトをバイノーラルレンダリングするに当たって、オブジェクト信号を仮想のスピーカチャネル信号でレンダリングした後、チャネル信号バイノーラル信号に更にレンダリングして最終バイノーラル信号を再生する場合、最終再生システムで使用される仮想のスピーカレイアウトの変化によって創作者の意図通りオブジェクト信号とノン−ダイエジェティック（ｎｏｎ−ｄｉｅｇｅｔｉｃ）チャネル信号との間のボリュームバランスが維持されなくなる可能性がある。この際、ノン−ダイエジェティックオーディオ信号は、聴取者を基準に固定されたオーディオシーン（ａｕｄｉｏ ｓｃｅｎｅ）を構成する信号である。仮想の空間で聴取者の動きとは関係なくノン−ダイエジェティックオーディオ信号に対応して出力される音響の方向性は変化しない可能性がある。また、聴取者が認知するチャネル信号またはアンビソニック信号がシミュレーションする音相とオブジェクトの相対的な距離が創作者の意図とは異なる可能性がある。また、レンダラが距離基盤（ｄｅｐｅｎｄｅｎｔ）アンビソニックレンダリングを行う際、レンダラは創作者が意図した距離に比べアンビソニック信号を不足に補償（ｕｎｄｅｒｃｏｍｐｅｎｓａｔｅ）するか過度に補償（ｏｖｅｒｃｏｍｐｅｎｓａｔｅ）する可能性がある。
よって、チャネル信号及びアンビソニック信号それぞれの基準距離に対する情報が提供される必要がある。また、レンダラはチャネル信号の基準距離に対する情報に基づいてチャネル信号をレンダリングする必要がある。また、レンダラはアンビソニック信号の基準距離に対する情報に基づいてアンビソニック信号をレンダリングする必要がある。詳しくは、レンダラは、エレメント信号の基準距離に対する情報に基づいてエレメント信号がレンダリングされた音響出力のラウドネスを調整する必要がある。また、レンダラがエレメント信号をレンダリングする際、レンダラはエレメント信号の基準距離に対する情報に基づいてディレイを適用する必要がある。説明の便宜上、チャネル信号の基準距離に対する情報をチャネル基準距離情報と称する。また、アンビソニック信号の基準距離に対する情報をアンビソニック基準距離情報と称する。チャネル基準距離情報及びアンビソニック基準距離情報を設定し使用する方法については、図３乃至図１４を介して説明する。また、本明細書ではＩＳＯ／ＩＥＣのＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏ標準を例に挙げて本発明の実施例を説明する。但し、本発明の実施例はＩＳＯ／ＩＥＣのＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏ標準に限らない。
まず、基準距離に対する情報を含むメタデータのシンタックスに対する実施例を説明する。
図３は、本発明の一実施例によるレンダラが使用するメタデータを示す図である。詳しくは、図３（ａ）は本発明の一実施例によってメタデータ関連設定を指示するメタデータコンフィグレーション（ｃｏｎｆｉｇｕｒａｔｉｏｎ）のシンタックスを示す。図３（ｂ）は、本発明の一実施例によってメタデータ関連設定によってフレームごとにメタデータを指示するメタデータフレームのシンタックスを示す。図３（ｃ）は、一実施例によってＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏ標準によって定義されていない外部レンダラにオブジェクト信号のメタデータを伝達するインタフェースとして定義されたＧＯＡメタデータを示す。
レンダラは、チャネル基準距離情報が定義されていないチャネル信号にチャネル信号の基準距離のデフォルト値を適用する。説明の便宜上、チャネル信号の基準距離のデフォルト値をチャネルデフォルト基準距離と称する。ビットストリームがチャネル信号の基準距離を定義しなければ、レンダラはチャネルデフォルト基準距離をチャネル信号の基準距離とみなす。メタデータコンフィグレーションは、メタデータフレームでチャネル基準距離情報（ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）がチャネルデフォルト基準距離以外に他の値を有するのかを示す基準距離フラッグ（ｈａｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）を含む。基準距離フラッグが活性化されなければ、チャネル基準距離情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）の値を予め指定された値に設定する。これについては後に再度説明する。
レンダラは、オブジェクト距離情報が定義されていないオブジェクト信号、例えば、方向（ａｚｉｍｕｔｈ）と高さ（ｅｌｅｖａｔｉｏｎ）のみを有するオブジェクト信号にデフォルト距離値を適用する。説明の便宜上、オブジェクト信号のデフォルト距離値はのオブジェクトデフォルト距離と称する。オブジェクト信号がエンコーディングされたビットストリームがオブジェクト信号の距離を定義しなければ、レンダラはオブジェクトデフォルト距離をオブジェクト信号の距離とみなす。メタデータコンフィグレーションは、メタデータフレームでオブジェクト距離情報（ｏｂｊｅｃｔ＿ｄｉｓｔａｎｃｅ）がオブジェクトデフォルト距離ではない値を指示するのかを示すオブジェクト距離フラッグ（ｈａｓ＿ｏｂｊｅｃｔ＿ｄｉｓｔａｎｃｅ）を含む。オブジェクト距離フラッグは、オブジェクト信号グループごとにオブジェクト距離情報がオブジェクトデフォルト距離以外に他の値を指示するのかを指示する。また、メタデータコンフィグレーションは、バイノーラルレンダリングが行われれば、該当チャネル信号グループが直接（ｄｉｒｅｃｔｌｙ）ヘットフォンに出力されるのかを指示するフラッグ（ｄｉｒｅｃｔＨｅａｄｐｈｏｎｅ）を含む。
メタデータフレームは、チャネル基準距離情報（ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）を含む。詳しくは、基準距離フラッグ（ｈａｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）が活性化されていれば、メタデータフレームのチャネル基準距離情報（ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）はチャネルデフォルト基準距離以外の値を指示する。チャネル基準距離情報（ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は６ビットで指示される。また、オブジェクト距離フラッグ（ｈａｓ＿ｏｂｊｅｃｔ＿ｄｉｓｔａｎｃｅ）が活性化されていれば、メタデータフレームは現在フレームがイントラコーディングされた（ｉｎｔｒａｃｏｄｅｄ）データを含むのかを示すイントラコーディングフラッグ（ｈａｓ＿ｉｎｔｒａｃｏｄｅｄ＿ｄａｔａ）を含む。メタデータフレームに当たるフレームがイントラコーディングされているのかによって、メタデータフレームはイントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＭｅｔａｄａｔａＦｒａｍｅ）またはダイナミックメタデータフレーム（ｄｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）を含む。
ＧＯＡメタデータは、ＧＯＡメタデータのチャネル基準距離情報（ｇｏａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）がチャネルデフォルト基準距離以外に他の値を指示するのかを示すＧＯＡ基準距離フラッグ（ｇｏａ＿ｈａｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）を含む。ＧＯＡ基準距離フラッグが活性化されていれば、ＧＯＡメタデータのチャネル基準距離情報はチャネルデフォルト基準距離以外の値を指示する。チャネル基準距離情報は６ビットで指示される。ＧＯＡメタデータは、ＧＯＡメタデータのオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）がオブジェクトデフォルト基準距離以外に他の値を指示するのかを示すオブジェクト距離フラッグ（ｇｏａ＿ｈａｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）を含む。この際、ＧＯＡメタデータはオブジェクト信号グループごとにＧＯＡメタデータがオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）がオブジェクトデフォルト距離のデフォルト値以外に他の値を指示するのかを示す。ＧＯＡオブジェクト距離フラッグ（ｇｏａ＿ｈａｓ＿ＯｂｊｅｃｔＤｉｓｔａｎｃｅ）が活性化されていれば、ＧＯＡメタデータのオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）はオブジェクトデフォルト距離以外に他の値を指示する。この際、オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は８ビットで指示される。
上述したシンタックスでのように、メタデータで基準距離に関する情報を指示するために割り当てられるビット数は制限的である。制限されたビット数が使用されるため、基準距離に対する情報の量子化レベル間の差が過度に大きければ、レンダラは距離の変化がレンダリングに及ぼす影響をうまく反映できない恐れがある。また、基準距離に関する情報の量子化レベル間の差が過度に小さければ、基準距離に対する情報を指示するフィールドの伝送及び格納の負担が大きくなる恐れがある。よって、基準距離に対する情報を示すための適切な量子化方法が必要である。
メタデータは指数関数を使用してチャネル基準距離を指示する。詳しくは、チャネル基準距離情報は該当指数関数の指数の値を決定する。このような実施例において、チャネル基準距離情報の値が大きくなるにつれ、チャネル基準距離情報が示す距離も指数関数に応じて増加する。よって、レンダラは距離に応じて減殺される音の大きさを均等にレンダリングすることができる。
上述したメタデータでのように、チャネル基準距離情報を指示するフィールドのビット数はオブジェクト距離情報を指示するフィールドのビット数より少ない。スピーカの位置をシミュレーションするチャネル信号よりリアルタイムで変化し得るオブジェクトの位置をシミュレーションするオブジェクト信号の距離表現が精密な必要があるためである。チャネル基準距離情報が示す基準距離値のセット（ｓｅｔ）は、オブジェクト距離情報が示すオブジェクト距離値のセット（ｓｅｔ）のサブセット（ｓｕｂｓｅｔ）である。これを介し、チャネル信号とオブジェクト信号が共にレンダリング可能な場合、レンダラはチャネル信号とオブジェクト信号のうち少なくともいずれか一つを効率的にレンダリングする。
チャネル基準距離情報が指示し得る最小距離は、０より大きい予め指定された正の数である。この際、最小距離は４５０ｍｍである。基準距離が一定大きさ以下であれば、基準距離の変化がレンダリングに及ぼす影響が微々たるものであるためである。このような実施例を介し、チャネル基準情報が示すために必要なビット数を減らすことができる。
また、レンダラは、チャネル基準距離情報が定義されていないチャネル信号にチャネルデフォルト基準距離を適用する。チャネル信号がエンコーディングされたビットストリームがチャネル信号の基準距離を定義しなければ、レンダラはチャネルデフォルト基準距離をチャネル信号の基準距離とみなす。この際、チャネルデフォルト基準距離は予め指定された値である。予め指定された値は１００８ｍｍである。
具体的な実施例において、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
Reference distance = distanceOffset + [10^(0.03225380 * (reference_distance + 82)) -1]
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅはチャネル信号の基準距離であり、基準距離の単位はミリメートル（ｍｍ）である。また、ｄｉｓｔａｎｃｅＯｆｆｓｅｔはチャネル信号の基準距離のオフセット値を示す。詳しくは、ｄｉｓｔａｎｃｅＯｆｆｓｅｔの値は１０ｍｍである。また、ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小４５０ｍｍから最大４７５２１ｍｍに当たる距離を指示する。
詳しくは、上述したメタデータフレームのチャネル基準情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。
Figure 2021517668
また、上述したＧＯＡメタデータのチャネル基準情報（ｇｏａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。
Figure 2021517668
図４は、本発明の他の実施例によるレンダラが使用するメタデータコンフィグレーションのシンタックスを示す図である。また、図５は本発明の実施例によるイントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す図である。図６は、本発明の実施例によるダイナミックメタデータフレーム（ｄｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）とシングルダイナミックメタデータフレーム（ｓｉｎｇｌｅＤｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す図である。
チャネルデフォルト基準距離は、チャネル信号と共に再生されるエレメント信号の基準距離のデフォルト値と同じ値に設定される。詳しくは、チャネルデフォルト基準距離はオブジェクトデフォルト距離と同じ値に設定される。詳しくは、チャネルデフォルト基準距離はアンビソニック信号の基準距離のデフォルト値と同じく設定される。また、チャネル基準距離情報の値が特定値であれば、チャネル基準距離情報はチャネル信号の基準距離のデフォルト値を指示する。チャネル基準距離情報がチャネルデフォルト基準距離を指示すれば、チャネル基準距離情報は、チャネル基準距離を指示するために使用する指数関数を使用せずに予め指定された値を指示する。詳しくは、チャネル基準距離情報はチャネル基準距離情報の値が０から６２までであれば、以下の数式を利用してチャネル信号の基準距離を指示する。
Reference distance = distanceOffset + [10^(0.03225380 * (bs_reference_distance + 83)) -1]
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅはチャネル信号の基準距離であり、基準距離の単位はミリメートル（ｍｍ）である。また、ｄｉｓｔａｎｃｅＯｆｆｓｅｔはチャネル信号の基準距離のオフセット値を示す。詳しくは、ｄｉｓｔａｎｃｅＯｆｆｓｅｔの値は１０ｍｍである。また、ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小４８４ｍｍから最大５１１８４ｍｍに当たる距離を指示する。
また、チャネル基準距離情報の値が６３であれば、チャネル基準距離情報はチャネル信号の基準距離のデフォルト基準値であることを示す。チャネルデフォルト基準値は２＾（５／３）ｍ（つまり、３７１４．８ｍｍ）であることを指示する。
メタデータフレームのチャネル基準情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。
Figure 2021517668
図４の実施例において、基準距離フラッグ（ｈａｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）が活性化されていなければ、基準距離情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）の値はデフォルト基準距離を指示する予め指定された値に設定される。この際、予め指定された値は６３である。図４のメタデータコンフィグレーションのシンタックスのうち残りは図３で説明した通りである。
上述したように、メタデータフレームに当たるフレームがイントラコーディングされれば、メタデータフレームはイントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）を含む。図５は、具体的な実施例によるイントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す。
イントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）は、全てのオブジェクト信号の距離が固定された値であるかを指示する固定距離フラッグ（ｆｉｘｅｄ＿ｄｉｓｔａｎｃｅ）を含む。また、イントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）は、全てのオブジェクトに共通のオブジェクト距離が使用されるのかを指示する共通距離（ｃｏｍｍｏｎ＿ｄｉｓｔａｎｃｅ）フラッグを含む。固定距離フラッグまたは共通距離フラッグが活性化されていれば、レンダラはオブジェクト信号の距離のデフォルト値を使用して全てのオブジェクト信号をレンダリングする。固定距離フラッグまたは共通距離フラッグが活性化されていなければ、レンダラは各オブジェクト信号の距離（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）に基づいて各オブジェクト信号をレンダリングする。
また、ダイナミックメタデータフレーム（ｄｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）は、シングルダイナミックメタデータフレーム（ｓｉｎｇｌｅＤｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）を介してオブジェクト信号の基準距離を指示する。図６（ａ）は、具体的な実施例によるダイナミックメタデータフレーム（ｄｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す。図６（ｂ）は、具体的な実施例によるシングルダイナミックメタデータフレーム（ｓｉｎｇｌｅＤｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す。
シングルダイナミックメタデータフレームにおいて、オブジェクト信号の距離（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は絶対値で伝送されるか差等的に伝送される。シングルダイナミックメタデータフレームは、オブジェクト距離が絶対値で伝送されるのか差等的に伝送されるのかを指示する絶対距離フラッグ（ｆｌａｇ＿ｄｉｓｔ＿ａｂｓｏｌｕｔｅ）を含む。絶対距離フラッグ（ｆｌａｇ＿ｄｉｓｔ＿ａｂｓｏｌｕｔｅ）が活性化されていれば、シングルダイナミックメタデータフレームはオブジェクト信号の距離を絶対値で指示する。詳しくは、シングルダイナミックメタデータフレームが含むオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）はオブジェクト信号の距離を指示する。オブジェクト信号の距離は、スイートスポットにある聴取者の頭の中央からオブジェクトまでの距離である。この際、シングルダイナミックメタデータフレームが含むオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。
Figure 2021517668
また、絶対距離フラッグ（ｆｌａｇ＿ｄｉｓｔ＿ａｂｓｏｌｕｔｅ）が活性化されていなければ、シングルダイナミックメタデータフレームはオブジェクト信号の以前のオブジェクト距離の値と現在のオブジェクト距離の値との差を指示する。詳しくは、シングルダイナミックメタデータフレームが含むオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）はオブジェクト信号の以前のオブジェクト距離の値と現在のオブジェクト距離の値との差を指示する。シングルダイナミックメタデータフレームは、イントラフレーム期間（ｉｎｔｒａ−ｆｒａｍｅ ｐｅｒｉｏｄ）の間にオブジェクト信号の距離が変更されるのかを指示する距離フラッグ（ｄｉｓｔａｎｃｅ＿ｆｌａｇ）を含む。距離フラッグ（ｄｉｓｔａｎｃｅ＿ｆｌａｇ）が活性化されていれば、シングルダイナミックメタデータフレームは線形的にインターポレーションされた値とオブジェクト信号の実際の（ａｃｔｕａｌ）オブジェクト距離の値との間の距離差（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ＿ｄｉｆｆｅｒｅｎｃｅ）を指示する。また、距離フラッグ（ｄｉｓｔａｎｃｅ＿ｆｌａｇ）が活性化されていれば、シングルダイナミックメタデータフレームはオブジェクト距離の差を指示するために必要なビット数（ｎＢｉｔｓＤｉｓｔａｎｃｅ）も指示する。上述したチャネル基準距離情報に関する実施例は、アンビソニック基準距離情報にも同じく適用される。それについては、図７を介して詳しく説明する。
図７は、本発明の一実施例によってＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏ標準に従って定義されていない外部レンダラが使用するオブジェクト信号のメタデータであるＧＯＡメタデータ、チャネル信号のメタデータであるＧＣＡメタデータ、及びアンビソニック信号のメタデータであるＧＨＡメタデータを示す図である。
メタデータは指数関数を使用してアンビソニック基準距離を指示する。詳しくは、アンビソニック基準距離情報は該当指数関数の指数の値を決定する。このような実施例において、アンビソニック基準距離情報の値が大きくなるにつれ、アンビソニック基準距離情報が示す距離も指数関数に応じて増加する。よって、レンダラは距離に応じて減殺される音の大きさを均等にレンダリングすることができる。
上述したメタデータでのように、アンビソニック基準距離情報を指示するフィールドのビット数はオブジェクト距離情報を指示するフィールドのビット数より少ない。アンビソニック基準距離情報が示す基準距離値のセットは、オブジェクト距離情報が示すオブジェクト距離値のセットのサブセットである。これを介し、アンビソニック信号とオブジェクト信号が共にレンダリング可能な際、レンダラはアンビソニック信号とオブジェクト信号のうち少なくともいずれか一つを効率的にレンダリングすることができる。
アンビソニック基準距離情報が指示し得る最小距離は、０より大きい予め指定された正の数である。この際、最小距離は４８４ｍｍである。基準距離が一定大きさ以下であれば、基準距離の変化がレンダリングに及ぼす影響が微々たるものであるためである。
レンダラは、アンビソニック基準距離情報が定義されていないアンビソニック信号にアンビソニック信号の基準距離のデフォルト値を適用する。説明の便宜上、アンビソニック信号の基準距離の値のデフォルト値をアンビソニックデフォルト基準距離と称する。アンビソニック信号がエンコーディングされたビットストリームがアンビソニック信号の基準距離を定義しなければ、レンダラはアンビソニックデフォルト基準距離をアンビソニック信号の基準距離とみなす。アンビソニックデフォルト基準距離の値は、アンビソニック信号と共に再生し得るエレメント信号の基準距離のデフォルト値と同じく設定される。詳しくは、アンビソニックデフォルト基準距離はオブジェクト信号またはチャネル信号の基準距離のデフォルト値と同じく設定される。また、アンビソニック基準距離情報の値が特定値であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。アンビソニック基準距離情報がアンビソニックデフォルト基準距離を指示すれば、アンビソニック基準距離情報は、基準距離を指示するために使用する指数関数を使用せずに予め指定された値を指示する。詳しくは、アンビソニック基準距離情報はアンビソニック基準距離情報の値が０から６２までであれば、以下の数式を利用してアンビソニック信号の基準距離を指示する。
Reference distance = distanceOffset + [10^(0.03225380 * (bs_reference_distance + 83)) -1]
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅはアンビソニック信号の基準距離であり、基準距離の単位はミリメートル（ｍｍ）である。また、ｄｉｓｔａｎｃｅＯｆｆｓｅｔはアンビソニック信号の基準距離のオフセット値を示す。詳しくは、ｄｉｓｔａｎｃｅＯｆｆｓｅｔの値は１０ｍｍである。また、ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅはアンビソニック基準距離情報の値を示す。アンビソニック基準距離情報は、最小４８４ｍｍから最大５１１８４ｍｍに当たる距離を指示する。
また、アンビソニック基準距離情報の値が６３であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。アンビソニックデフォルト基準距離は２＾（５／３）ｍ（つまり、３７１４．８ｍｍ）である。また、ビットストリームがアンビソニック信号の基準距離を定義しなければ、レンダラはアンビソニックデフォルト基準距離をアンビソニック信号の基準距離とみなす。
図７（ａ）は、ＧＯＡメタデータを示す。ＧＯＡメタデータは、ＧＯＡメタデータのオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）がオブジェクトデフォルト距離以外の値を指示するのかを示すＧＯＡオブジェクト距離フラッグ（ｇｏａ＿ｈａｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）を含む。この際、ＧＯＡメタデータはオブジェクト信号グループごとにＧＯＡメタデータのオブジェクト距離情報がオブジェクトデフォルト距離以外の値を指示するのか指示する。ＧＯＡオブジェクト距離フラッグ（ｇｏａ＿ｈａｓ＿ＯｂｊｅｃｔＤｉｓｔａｎｃｅ）が活性化されていれば、ＧＯＡメタデータのオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）はオブジェクトデフォルト距離以外の値を指示する。オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は８ビットで指示される。ＧＯＡメタデータが含むオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
図７（ｂ）は、ＧＣＡメタデータを示す。ＧＣＡメタデータは、ＧＣＡメタデータのチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）がデフォルト距離以外の値を指示するのかを示すＧＣＡチャネル距離フラッグ（ｇｃａ＿ｈａｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）を含む。この際、ＧＣＡメタデータはチャネル信号グループごとにＧＣＡメタデータのチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）がチャネルデフォルト基準距離以外の値を指示するのか指示する。ＧＣＡチャネル距離フラッグ（ｇｃａ＿ｈａｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）が活性化されていれば、ＧＣＡメタデータのチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）はチャネルデフォルト基準距離以外の値を指示する。チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は６ビットで指示される。また、ＧＣＡメタデータはバイノーラルレンダリングが行われれば、該当チャネル信号グループが直接（ｄｉｒｅｃｔｌｙ）ヘットフォンに出力されるのかを指示するフラッグ（ｇｃａ＿ｄｉｒｅｃｔＨｅａｄｐｈｏｎｅ）を含む。ＧＣＡメタデータが含むチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。
Figure 2021517668
図７（ｃ）は、ＧＨＡメタデータを示す。ＧＨＡメタデータは、ＧＨＡメタデータのアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）がアンビソニックデフォルト基準距離以外の値を指示するのかを示すＧＨＡアンビソニック距離フラッグ（ｇｈａ＿ｈａｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）を含む。この際、ＧＨＡメタデータはアンビソニック信号グループごとにＧＨＡメタデータのアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）がアンビソニックデフォルト基準距離以外の値を指示するのか指示する。ＧＨＡアンビソニック距離フラッグ（ｇｈａ＿ｈａｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）が活性化されていれば、ＧＨＡメタデータのアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）はアンビソニックデフォルト基準距離以外の値を指示する。アンビソニック基準距離情報は６ビットで指示される。ＧＨＡメタデータが含むアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってアンビソニック信号の基準距離を指示する。
Figure 2021517668
上述したように、チャネルデフォルト基準距離は、チャネル信号と共に再生し得るエレメント信号の基準距離のデフォルト値と同じく設定される。また、チャネル基準距離情報の値が特定値であれば、チャネル基準距離情報はチャネル信号の基準距離のデフォルト値を指示する。そのために、チャネル基準距離情報は特定値でチャネルデフォルト基準距離に当たる指数関数を使用してチャネル信号の基準距離を指示する。後述する実施例において、上述した実施例と配置する説明がはければ、後述する実施例と上述した実施例が共に適用される。
詳しくは、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
Reference distance = distanceOffset + 2^[(bs_reference_distance + 99)/11]
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅはチャネル信号の基準距離であり、基準距離の単位はミリメートル（ｍｍ）である。また、ｄｉｓｔａｎｃｅＯｆｆｓｅｔはチャネル信号の基準距離のオフセット値を示す。詳しくは、ｄｉｓｔａｎｃｅＯｆｆｓｅｔの値は２＾（５／３）＊１０００−２＾（１２８／１１）≒−８．６２２０ｍｍである。また、ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小５０３ｍｍから最大２７１１５ｍｍに当たる距離を指示する。また、チャネル基準距離情報の値が２９であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
メタデータフレームのチャネル基準情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。
Figure 2021517668
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＯＡメタデータが含むオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＣＡメタデータが含むチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小５０３ｍｍから最大２７１１５ｍｍに当たる距離を指示する。また、チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が２９であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
Figure 2021517668
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。ＧＨＡメタデータが含むアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小５０３ｍｍから最大２７１１５ｍｍに当たる距離を指示する。また、アンビソニック基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が２９であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。
Figure 2021517668
他の具体的な実施例において、メタデータは、予め指定された距離と同じであるか小さいチャネル信号の基準距離は、線形化された間隔でチャネル信号の基準距離を指示する。この際、メタデータは、予め指定された距離より大きいチャネル信号の基準距離は指数関数を使用して指示する。予め指定された距離は３．１ｍである。このような実施例において、チャネル信号の基準距離が相対的に近ければ、チャネル基準距離情報は細密な量子化間隔を使用してチャネル信号の基準距離を指示する。チャネル信号の基準距離が相対的に遠ければ、チャネル基準距離情報は細密ではない量子化間隔を使用してチャネル信号の基準距離を指示する。後述する実施例において、上述した実施例と配置する説明がはければ、後述する実施例と上述した実施例が適用される。
詳しくは、チャネル基準距離情報の値が０から３８であれば、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
Reference_distance = (4 * bs_reference_distance + 4) / 160 * default_reference_distance
詳しくは、チャネル基準距離情報の値が３９から６３であれば、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
Reference_distance = 10^(1/20 * (bs_reference_distance - 39)) * default_reference_distance
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅはチャネル信号の基準距離であり、基準距離の単位はメートル（ｍ）である。また、ｄｅｆａｕｌｔ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅはチャネルデフォルト基準距離を示す。ｄｅｆａｕｌｔ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅの値は２＾（５／３）（つまり、３．７１４８ｍ）である。また、ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小０．０７９４ｍから最大５０．３１７ｍに当たる距離を指示する。また、チャネル基準距離情報の値が３９であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
メタデータフレームのチャネル基準情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。
Figure 2021517668
また、オブジェクト距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＯＡメタデータが含むオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＣＡメタデータが含むチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小０．０７９４ｍから最大５０．３１７ｍに当たる距離を指示する。また、チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が３９であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
Figure 2021517668
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。ＧＨＡメタデータが含むアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小０．０７９４ｍから最大５０．３１７ｍに当たる距離を指示する。また、アンビソニック基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が３９であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。
Figure 2021517668
他の具体的な実施例において、メタデータは指数関数を使用してチャネル信号の基準距離を指示する。後述する実施例において、上述した実施例と配置する説明がはければ、後述する実施例と上述した実施例が共に適用される。
詳しくは、チャネル基準距離情報の値が０から３８であれば、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
Reference distance = A*[2^(C*bs_reference_distance)] + B;
この際、Ａ＝２＾９、Ｂ＝２＾（５／３）＊１００−２＾（１２８／１１）≒−８．６２２０ｍｍ、及びＣ＝１／１１である。
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅはチャネル信号の基準距離であり、基準距離の単位はミリメートル（ｍｍ）である。また、ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小５０３ｍｍから最大２７１１５ｍｍに当たる距離を指示する。また、チャネル基準距離情報の値が２９であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
メタデータフレームのチャネル基準情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。
Figure 2021517668
また、オブジェクト距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＯＡメタデータが含むオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＣＡメタデータが含むチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小５０３ｍｍから最大２７１１５ｍｍに当たる距離を指示する。また、チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が２９であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
Figure 2021517668
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。ＧＨＡメタデータが含むアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小５０３ｍｍから最大２７１１５ｍｍに当たる距離を指示する。また、アンビソニック基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が２９であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。
Figure 2021517668
但し、このような実施例によると、チャネル基準距離情報は比較的短い距離で過度に細密な量子化間隔を使用してチャネル信号の基準距離を指示するようになる。他の具体的な実施例において、メタデータは指数関数を使用してチャネル信号の基準距離を指示し、チャネル信号の基準距離によって指数関数の量子化間隔に応じて調整される。後述する実施例において、上述した実施例と配置する説明がはければ、上述した実施例が適用される。
詳しくは、メタデータは以下の数式を使用してチャネル信号の基準距離を指示する。
reference_distance = A*2^(C*bs_reference_distance) + B;
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅはチャネル信号の基準距離である。また、ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅはチャネル基準距離情報の値を示す。チャネル基準距離情報の値が０から３７であれば、Ａ＝２＾（−１３／１２）、Ｂ＝０、及びＣ＝１／１２である。また、チャネル基準距離情報の値が３８から５５であれば、Ａ＝２＾（−２８／９）、Ｂ＝０、及びＣ＝１／９である。更に、チャネル基準距離情報の値が５６から６３であれば、Ａ＝２＾（−３１／６）、Ｂ＝０、及びＣ＝１／６である。チャネル基準距離情報は、最小４７２ｍｍから最大４０３１８ｍｍに当たる距離を指示する。また、チャネル基準距離情報の値が３３であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
メタデータフレームのチャネル基準情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。
Figure 2021517668
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＯＡメタデータが含むオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＣＡメタデータが含むチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小４７２ｍｍから最大４０３１８ｍｍに当たる距離を指示する。また、チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が３３であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
Figure 2021517668
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。ＧＨＡメタデータが含むアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小４７２ｍｍから最大４０３１８ｍｍに当たる距離を指示する。また、アンビソニック基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が３３であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。
Figure 2021517668
本発明の他の実施例として、メタデータは線形関数と指数関数が組み合わせられた数式を使用してチャネル信号の基準距離を指示する。この際、線形関数と指数関数が組み合わせられた数式は、相対的に短い距離では線形関数の特性が指数関数の特性より更に反映され、相対的に遠い距離では指数関数の特性が線形関数の特性より更に多く反映される。詳しくは、チャネル基準距離情報は下記数式を使用してチャネル信号の基準距離を指示する。
y = alpha*b/Bref*Dref + (1-alpha)*10.^(h*(b-Bref))*Dref;
h = log10(1/(1-alpha)*(Dmax/Dref - alpha*Bmax/Bref))/(Bmax-Bref);
この際、ｙはチャネル信号の基準距離であり、基準距離の単位はミリメートル（ｍｍ）である。また、Ｄｒｅｆ、Ｄｍａｘ、及びＢｍａｘの値は以下のようである。
Ｄｒｅｆ＝２＾（５／３）、Ｄｍａｘ＝１６７０００、Ｂｍａｘ＝２５５
更に、前記数式において、ａｌｐｈａが０から１の間の値に設定されることで、指数関数の特性と線形関数の特性の割合が調製される。具体的な実施例において、ａｌｐｈａは０．６５である。
上述したように、チャネル基準距離情報が示す基準距離のセットは、オブジェクト距離情報が示す距離値のセットのサブセットである。よって、他の具体的な実施例において、メタデータはオブジェクト距離情報が示し得る距離のセットをサンプリングした値を使用してチャネル信号の基準距離を指示する。それについては図８を介して説明する。
図８は、本発明の実施例によるメタデータのチャネル基準距離情報の値、オブジェクト距離情報の値、及びチャネル信号の基準距離の間の関係を示す図である。
メタデータのチャネル基準距離情報が指示する基準距離の間の間隔はＪＮＤ（Ｊｕｓｔ−ｎｏｔｉｃａｂｌｅ Ｄｉｆｆｅｒｅｎｃｅ）を考慮して設定される。後述する実施例において、上述した実施例と配置する説明がはければ、後述する実施例と上述した実施例が共に適用される。詳しくは、メタデータのチャネル基準距離情報が指示する基準距離の間の間隔は、音減殺によって２地点で音の大きさがＪＮＤだけ差が発生し得る距離以上に設定される。このような実施例において、チャネル信号の基準距離セットは以下のコードによってオブジェクト信号の距離のセットからサンプリングされる。
Figure 2021517668
また、このような実施例において、オブジェクト距離情報は指数関数と線形関数が組み合わせられた関数を使用してオブジェクト信号の距離を指示する。また、チャネル基準距離情報が指示する基準距離の間の間隔は、音減殺によって２地点で音の大きさの差が０．７ｄＢ以上発生するように設定される。図８は、それによって設定されたメタデータにおいて、チャネル基準距離情報の値（Ｂｉｔ）、オブジェクト距離情報の値（Ｏｂｊ＿Ｄｉｓｔａｎｃｅ＿Ｉｎｄｅｘ）、及びチャネル信号の基準距離（Ｃｈ＿Ｒｅｆｅｒｅｎｃｅ＿Ｄｉｓｔａｎｃｅ）間の関係を示す。
メタデータフレームのチャネル基準情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離（ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅ）を指示する。チャネル基準距離情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は、最小０．５ｍから最大３６．１ｍに当たる距離を指示する。また、チャネル基準距離情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）の値が２６であれば、チャネル基準距離情報はチャネルデフォルト基準距離である３．１７５ｍを指示する。
Figure 2021517668
また、オブジェクト距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＯＡメタデータが含むオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
ＧＣＡメタデータが含むチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小０．５ｍから最大３６．１ｍに当たる距離を指示する。また、チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が２６であれば、チャネル基準距離情報はチャネルデフォルト基準距離である３．１７５ｍを指示する。
Figure 2021517668
この際、ｄｉｓｔａｎｃｅ（ｘ）は、オブジェクト距離情報の値がｘである場合のオブジェクト距離情報が指示する基準距離である。
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。ＧＨＡメタデータが含むアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は、最小０．５ｍから最大３６．１ｍに当たる距離を指示する。また、アンビソニック基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）の値が２６であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離である３．１７５ｍを指示する。
Figure 2021517668
この際、ｄｉｓｔａｎｃｅ（ｘ）は、オブジェクト距離情報の値がｘである場合のオブジェクト距離情報が指示する基準距離である。
上述した実施例において、チャネル基準距離情報及びアンビソニック基準距離情報は６ビットで表現されており、オブジェクト距離情報は８ビットで表現されている。具体的な実施例において、チャネル基準距離情報及びアンビソニック基準距離情報は７ビットで表現され、オブジェクト距離情報は９ビットで表現される。
メタデータのチャネル基準距離情報が８ビットで表現される場合も、上述した実施例が適用される。詳しくは、メタデータは指数関数を使用してチャネル基準距離を指示する。詳しくは、チャネル基準距離情報は該当指数関数の指数の値を決定する。
チャネル信号の基準距離値のセットは、オブジェクト信号の基準距離値のセットのサブセットである。チャネル基準距離情報が指示し得る最小距離は、０より大きい予め指定された正の数である。この際、最小距離は０．５ｍである。また、レンダラは、チャネル基準距離情報が定義されていないチャネル信号にチャネルデフォルト基準距離を適用する。この際、チャネルデフォルト基準距離は予め指定された値である。予め指定された値はオブジェクトデフォルト距離と同じである。詳しくは、予め指定された値は３．１７４８ｍである。
具体的な実施例において、チャネル基準距離情報は下記数式を利用してチャネル信号の基準距離を指示する。
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅはチャネル信号の基準距離であり、基準距離の単位はメートル（ｍ）である。ｂｓ＿Ｒｅｆｅｒｅｎｃｅ＿Ｄｉｓｔａｎｃｅはチャネル基準距離情報の値である。
このようなチャネル基準距離情報に関する実施例は、アンビソニック基準距離情報にも適用される。このような実施例に適用されるメタデータのシンタックスについては、図９乃至図１２を介して説明する。以降の説明で特に配置される言及がなければ、上述した実施例が共に適用される。
図９は、本発明の他の実施例によってメタデータ関連設定を指示するメタデータコンフィグレーション（ｃｏｎｆｉｇｕｒａｔｉｏｎ）のシンタックスを示す図である。
上述したように、チャネル基準距離情報は７ビットで表現される。よって、メタデータコンフィグレーション（ｃｏｎｆｉｇｕｒａｔｉｏｎ）のチャネル基準距離情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は７ビットを介して指示される。また、チャネルデフォルト基準距離を指示するチャネル基準距離情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は５７である。これについては後に再度説明する。チャネル基準距離情報（ｂｓ＿ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離（Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅ）を指示する。
Figure 2021517668
上述していないメタデータコンフィグレーション（ｃｏｎｆｉｇｕｒａｔｉｏｎ）のシンタックスに関する部分は、図４を介して説明した実施例が適用される。
図１０は、本発明の他の実施例によるイントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す図である。
上述したように、オブジェクト距離情報は９ビットで表現される。よって、イントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は９ビットを介して指示される。また、オブジェクトデフォルト距離（ｄｅｆａｕｌｔ＿ｄｉｓｔａｎｃｅ）も同じく９ビットを介して指示される。
オブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離（ｄｉｓｔａｎｃｅ）を指示する。
Figure 2021517668
上述していないイントラコーディングメタデータフレーム（ｉｎｔｒａｃｏｄｅｄＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスに関する部分は、図５を介して説明した実施例が適用される。
図１１は、本発明の実施例によるシングルダイナミックメタデータフレーム（ｓｉｎｇｌｅＤｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスを示す図である。
シングルダイナミックメタデータフレーム（ｓｉｎｇｌｅＤｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のオブジェクト距離情報（ｐｏｓｉｔｉｏｎ＿ｄｉｓｔａｎｃｅ）は同じく９ビットを介して指示される。上述していないシングルダイナミックメタデータフレームは（ｓｉｎｇｌｅＤｙｎａｍｉｃＰｒｏｄＭｅｔａｄａｔａＦｒａｍｅ）のシンタックスに関する部分は、図６を介して説明した実施例が適用される。
図１２は、本発明の他の実施例によってＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏ標準に従って定義されていない外部レンダラが使用するオブジェクト信号のメタデータであるＧＯＡメタデータ、チャネル信号のメタデータであるＧＣＡメタデータ、及びアンビソニック信号のメタデータであるＧＨＡメタデータを示す図である。
図１２（ａ）は、ＧＯＡメタデータを示す。オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は９ビットで指示される。ＧＯＡメタデータが含むオブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報（ｇｏａ＿ｂｓＯｂｊｅｃｔＤｉｓｔａｎｃｅ）は、最小０から最大１６７Ｋｍに当たる距離を指示する。
Figure 2021517668
図１２（ｂ）は、ＧＣＡメタデータを示す。ＧＣＡメタデータのチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）はチャネルデフォルト基準距離以外の値を指示する。チャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は７ビットで指示される。ＧＣＡメタデータが含むチャネル基準距離情報（ｇｃａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってチャネル信号の基準距離を指示する。
Figure 2021517668
図１２（ｃ）は、ＧＨＡメタデータを示す。ＧＨＡメタデータのアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は７ビットで指示される。ＧＨＡメタデータが含むアンビソニック基準距離情報（ｇｈａ＿ｂｓＲｅｆｅｒｅｎｃｅＤｉｓｔａｎｃｅ）は以下の表によってアンビソニック信号の基準距離を指示する。
Figure 2021517668
図１３は、本発明の実施例によって第１エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置がメタデータを生成する動作を示す図である。
オーディオ信号処理装置は、第１エレメント信号の基準距離を指示する第１エレメント基準距離情報を設定するＳ１３０１。オーディオ信号処理装置は、第１エレメント基準距離情報を含むメタデータを生成するＳ１３０３。この際、オーディオ信号は第２エレメント信号を含むことができる（ｃａｐａｂｌｅ ｏｆ ｉｎｃｌｕｄｅ）。また、メタデータは、第２エレメント信号の距離を指示する第２エレメント距離情報を含むことができる（ｃａｐａｂｌｅ ｏｆ ｉｎｃｌｕｄｅ）。この際、第１エレメント基準距離情報の指示に使用されるビット数は、第２エレメント距離情報の指示に使用されるビット数より少ない。詳しくは、第１エレメント基準距離情報を示すために必要なビット数は７ビットであり、前記第２エレメント距離情報を示すために必要なビット数は９ビットである。また、第１エレメント信号はチャネル信号であり、第２エレメント信号はオブジェクト信号である。また、第１エレメント信号はアンビソニック信号であり、第２エレメント信号はオブジェクト信号である。
第１エレメント基準距離情報が示す基準距離のセット（ｓｅｔ）は、第２エレメント距離情報が示す距離のセット（ｓｅｔ）のサブセット（ｓｕｂｓｅｔ）である。これを介し、レンダラが第１エレメント信号と第２エレメント信号のレンダリングを支援するために考慮すべき基準距離と距離の個数を減らすことができる。よって、このような実施例を介してレンダリング効率を上げることができる。
第１エレメント基準距離情報を指示する方法に、図３乃至図１２を介して説明したチャネル信号の基準距離指示方法に関する実施例、またはアンビソニック信号の基準距離指示方法に関する実施例が適用される。また、第２エレメント距離情報を指示するための方法に、図３乃至図１２を介して説明したオブジェクト信号の基準距離指示方法に関する実施例が適用される。
詳しくは、第１エレメント基準距離情報は、指数関数を使用して第１エレメント信号の基準距離を指示する。詳しくは、第１エレメント基準距離情報は、前記指数関数の指数の値を決定する。具体的な実施例において、第１エレメント基準距離情報は、以下の数式を使用して第１エレメント信号の基準距離を指示する。オーディオ信号処理装置は、前記第１エレメント基準距離情報が以下の数式を使用して前記第１エレメント信号の基準距離を指示するよう、前記第１エレメント基準距離情報の値を設定する。
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅは前記第１エレメント信号の基準距離であり、第１エレメント信号の基準距離の単位はメートル（ｍ）である。また、ｂｓ＿Ｒｅｆｅｒｅｎｃｅ＿Ｄｉｓｔａｎｃｅは第１エレメント基準距離情報であり、第１エレメント基準距離情報の値は０から１２７までの整数である。
第２エレメント基準距離情報が示し得る値は０から５１１までの整数である。第２エレメント距離情報の値が０であれば、前記第２エレメント距離情報は前記第２エレメント信号の距離が０であることを指示する。第２エレメント信号の距離が０であれば、オーディオ信号処理装置は第２エレメント距離情報の値を０に設定する。第２エレメント距離情報の値が１から５１１であれば、第２エレメント基準距離情報は以下の数式を使用して前記第２エレメント信号の距離を指示する。第２エレメント信号の距離が０ではなければ、オーディオ信号処理装置は、第２エレメント信号の距離情報が以下の数式によって第２エレメント信号の距離を指示するよう、第２エレメント距離情報の値を設定する。
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
Ｄｉｓｔａｎｃｅは第２エレメント信号の距離であり、第２エレメント信号の距離の単位はメートル（ｍ）である。また、Ｐｏｓｉｔｉｏｎ＿Ｄｉｓｔａｎｃｅは第２エレメント距離情報であり、第２エレメント距離情報の値は１から５１１までの整数である。
第１エレメント基準距離情報が定義されていなければ、オーディオ信号処理装置は、第１エレメント基準距離情報が第１エレメントデフォルト基準距離を指示するとみなす。また、第２エレメント距離情報が定義されていなければ、オーディオ信号処理装置は、第２エレメント距離情報が第２エレメントデフォルト距離を指示するとみなす。第１エレメントデフォルト基準距離と前記第２エレメントデフォルト距離の値は同じ値である。
第１エレメント基準距離情報が指示し得る最小基準距離は、０より大きい予め指定された正の数である。この際、第２エレメント距離情報が指示し得る最小距離は０である。これを介し、基準距離の影響が微々たる予め指定された距離以下の距離は一つの値に指示して、第１エレメント基準距離情報を示すために必要なビット数を減らすことができる。
図１４は、本発明の実施例によって第１エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置が第１エレメント信号をレンダリングする動作を示す図である。
オーディオ信号処理装置は、オーディオ信号と第１エレメント信号の基準距離を指示する第１エレメント基準距離情報を含むメタデータを獲得するＳ１４０１。この際、オーディオ信号は第２エレメント信号を含むことができる（ｃａｐａｂｌｅ ｏｆ ｉｎｃｌｕｄｅ）。また、メタデータは、第２エレメント信号の距離を指示する第２エレメント距離情報を含むことができる（ｃａｐａｂｌｅ ｏｆ ｉｎｃｌｕｄｅ）。この際、第１エレメント基準距離情報の指示に使用されるビット数は、第２エレメントの距離に関する情報の指示に使用されるビット数より少ない。詳しくは、第１エレメント基準距離情報を示すために必要なビット数は７ビットであり、前記第２エレメント距離情報を示すために必要なビット数は９ビットである。また、第１エレメント信号はチャネル信号であり、第２エレメント信号はオブジェクト信号である。また、第１エレメント信号はアンビソニック信号であり、第２エレメント信号はオブジェクト信号である。
第１エレメント基準距離情報が示す基準距離のセット（ｓｅｔ）は、第２エレメントの距離に関する情報が示す基準距離のセット（ｓｅｔ）のサブセット（ｓｕｂｓｅｔ）である。これを介し、第１エレメント信号と第２エレメント信号のレンダリングを支援するために考慮すべき基準距離の個数を減らすことができる。よって、このような実施例を介してレンダリング効率を上げることができる。
第１エレメント基準距離情報を指示する方法に、図３乃至図１２を介して説明したチャネル信号の基準距離指示方法に関する実施例、またはアンビソニック信号の基準距離指示方法に関する実施例が適用される。また、第２エレメント距離情報を指示するための方法に、図３乃至図１２を介して説明したオブジェクト信号の基準距離指示方法に関する実施例が適用される。
詳しくは、第１エレメント基準距離情報は、指数関数を使用して第１エレメント信号の基準距離を指示する。詳しくは、第１エレメント基準距離情報は、指数関数の指数の値を決定する。具体的な実施例において、第１エレメント基準距離情報は、以下の数式を使用して第１エレメント信号の基準距離を指示する。オーディオ信号処理装置は、以下の数式によって第１エレメント信号の基準距離を獲得する。
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
この際、Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅは前記第１エレメント信号の基準距離であり、第１エレメント信号の基準距離の単位はメートル（ｍ）である。また、ｂｓ＿Ｒｅｆｅｒｅｎｃｅ＿Ｄｉｓｔａｎｃｅは第１エレメント基準距離情報であり、第１エレメント基準距離情報の値は０から１２７までの整数である。
第２エレメント距離情報が示し得る値は０から５１１までの整数である。第２エレメント距離情報の値が０であれば、第２エレメント基準距離情報は第２エレメント信号の距離が０であることを指示する。第２エレメント距離情報の値が０であれば、オーディオ信号処理装置は第２エレメント信号の距離を０と判断する。この際、第２エレメント距離情報の値が１から５１１であれば、第２エレメント基準距離情報は以下の数式を使用して第２エレメント信号の距離を指示する。第２エレメント距離情報の値が１から５１１の間の整数であれば、オーディオ信号処理装置は以下の数式によって第２エレメント信号の距離を獲得する。
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
Ｄｉｓｔａｎｃｅは第２エレメント信号の距離であり、第２エレメント信号の距離の単位はメートル（ｍ）である。また、Ｐｏｓｉｔｉｏｎ＿Ｄｉｓｔａｎｃｅは第２エレメント距離情報である。第２エレメント距離情報の値は０から５１１までの整数である。
第１エレメント基準距離情報が定義されていなければ、オーディオ信号処理装置は、第１エレメント基準距離情報が第１エレメントデフォルト基準距離を指示するとみなす。また、第２エレメント距離情報が定義されていなければ、オーディオ信号処理装置は、第２エレメント距離情報が第２エレメントデフォルト距離を指示するとみなす。第１エレメントデフォルト基準距離と第２エレメントデフォルト距離は同じ値である。
第１エレメント基準距離情報が指示し得る最小基準距離は、０より大きい予め指定された正の数である。この際、第２エレメント距離情報が指示し得る最小距離は０である。これを介し、基準距離の影響が微々たる予め指定された距離以下の距離は一つの値に指示して、第１エレメント基準距離情報を示すための必要なビット数を減らすことができる。
オーディオ信号処理装置は、第１エレメント基準距離情報に基づいて第１エレメント信号をレンダリングするＳ１４０３。詳しくは、オーディオ信号処理装置は、第１エレメント基準距離情報に基づいて第１エレメント信号がレンダリングされた音響のラウドネスを調整する。オーディオ信号処理装置は、第１エレメント信号と第２エレメント信号を同時にレンダリングする。オーディオ信号処理装置は、第１エレメント信号からレンダリングされた音響と第２エレメント信号からレンダリングされた音響を同時に出力する。オーディオ信号処理装置は、第１エレメント基準距離情報及び第２エレメント距離情報に基づいて、第１エレメント信号がレンダリングされた音響出力のラウドネスと第２エレメント信号がレンダリングされた音響出力のラウドネスそれぞれを調整する。これを介し、オーディオ信号処理装置は、第１エレメント信号がレンダリングされた音響出力のラウドネスと第２エレメント信号がレンダリングされた音響出力のラウドネスとの間のバランスを取ることができる。
また、オーディオ信号処理装置は、第１エレメント基準距離情報に基づいて第１エレメント信号にディレイを適用する。オーディオ信号処理装置は、第１エレメント信号と第２エレメント信号を同時にレンダリングする。この際、オーディオ信号処理装置は、第１エレメント基準距離情報及び第２エレメント距離情報に基づいて、第１エレメント信号と第２エレメント信号それぞれにディレイを適用して音響遅延時間を合わせる。第１エレメント信号の基準距離及び第２エレメント信号の距離によって聴取者が感じるべき距離感が異なるためである。
また、オーディオ信号はアンビソニック信号とチャネル信号をいずれも含む。この際、オーディオ信号処理装置は、一つの基準距離情報を使用してアンビソニック信号とチャネル信号を同時にレンダリングする。詳しくは、オーディオ信号処理装置は、同じ基準距離を使用してアンビソニック信号とチャネル信号を同時にレンダリングする。他の具体的な実施例において、オーディオ信号処理装置は、アンビソニック信号とチャネル信号に互いに異なる基準距離を適用してレンダリングする。この場合、基準距離の差による音場補正及びラウドネス補正が行われる。また、基準距離の差によって互いに異なるディレイを適用して音響遅延時間を合わせる。他の具体的な実施例において、オーディオ信号処理装置は、チャネル基準距離情報に基づいてチャネル信号をレンダリングし、アンビソニック基準距離情報に基づいてアンビソニック信号をレンダリングする。また、オーディオ信号処理装置は、第１エレメント基準距離情報に基づいて第２エレメント信号をレンダリングする。
これまで本発明を具体的な実施例を介して説明したが、当業者であれば本発明の趣旨及び範囲を逸脱せずに修正、変更し得るはずである。つまり、本発明はマルチオーディオ信号に対するプロセシングの実施例について説明したが、本発明はオーディオ信号のみならず、ビデオ信号を含む多様なマルチメディア信号にも同じく適用及び拡張することができる。よって、本発明の詳細な説明及び実施例から本発明の属する技術分野に属する人が容易に類推し得るものは、本発明の権利範囲に属すると解釈される。
１０、プレレンダラ／ミキサ
２０、ＯＡＭエンコーダ
３０、ＨＯＡ空間エンコーダ
４０、Ｄエンコーダ
８０、エンコーダ
１１０、コアデコーダ
１２２、フォーマットコンバータ
１２４、オブジェクトレンダラ
１２５、ＯＡＭデコーダ
１２６、ＳＡＯＣデコーダ
１２８、ＨＯＡデコーダ
１３０、ミキサ
１４０、ポストプロセッサ
１５０、レンダラ
１５１、スピーカレンダラ
１５３、バイノーラルレンダラ

Claims (26)

  1. 第１エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置において、
    前記オーディオ信号と第１エレメント基準距離情報を含むメタデータを獲得し、前記第１エレメント基準距離情報は前記第１エレメント信号の基準距離を指示し、前記第１エレメント基準距離情報に基づいて前記第１エレメント信号をレンダリングするプロセッサを含み、
    前記オーディオ信号は、前記第１エレメント信号と同時にレンダリングされる第２エレメント信号を含み、
    前記メタデータは、前記第２エレメント信号の距離を指示する第２エレメント距離情報を含み、
    前記第１エレメント基準距離情報を示すために必要なビット数は、前記第２エレメント距離情報を示すために必要なビット数より少なく、
    前記第１エレメント基準距離情報が示す基準距離のセット（ｓｅｔ）は、前記第２エレメント距離情報が示す距離のセット（ｓｅｔ）のサブセット（ｓｕｂｓｅｔ）である
    オーディオ信号処理装置。
  2. 前記第１エレメント基準距離情報は、指数関数を使用して前記第１エレメント信号の基準距離を指示する
    請求項１に記載のオーディオ信号処理装置。
  3. 前記第１エレメント基準距離情報は、前記指数関数の指数の値を決定する
    請求項２に記載のオーディオ信号処理装置。
  4. 前記第１エレメント基準距離情報を示すために使用されるビット数は７ビットであり、
    前記第２エレメント距離情報を示すために使用されるビット数は９ビットである
    請求項３に記載のオーディオ信号処理装置。
  5. 前記プロセッサは、
    下記数式を使用して前記第１エレメント基準距離情報から前記第１エレメント信号の基準距離を獲得し、
    Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
    前記Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅは前記第１エレメント信号の基準距離であり、前記第１エレメント信号の基準距離の単位はメートル（ｍ）であり、
    前記ｂｓ＿Ｒｅｆｅｒｅｎｃｅ＿Ｄｉｓｔａｎｃｅは前記第１エレメント基準距離情報であり、
    前記第１エレメント基準距離情報の値は０から１２７までの整数である
    請求項４に記載のオーディオ信号処理装置。
  6. 前記第２エレメント基準距離情報が示し得る値は０から５１１までの整数であり、
    前記プロセッサは、
    前記第２エレメント距離情報の値が０であれば、前記第２エレメント信号の距離が０であると判断し、
    前記第２エレメント距離情報の値が１から５１１であれば、下記数式を使用して前記第２エレメント距離情報から前記第２エレメント信号の距離を獲得し、
    Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
    前記Ｄｉｓｔａｎｃｅは前記第２エレメント信号の距離であり、前記第２エレメント信号の距離の単位はメートル（ｍ）であり、
    前記Ｐｏｓｉｔｉｏｎ＿Ｄｉｓｔａｎｃｅは第２エレメント距離情報である
    請求項５に記載のオーディオ信号処理装置。
  7. 前記プロセッサは、
    前記第１エレメント基準距離情報が定義されていなければ、前記第１エレメント基準距離情報が第１エレメントデフォルト基準距離を指示するとみなし、
    前記第２エレメント距離情報が定義されていなければ、前記第２エレメント距離情報が第２エレメントデフォルト距離を指示するとみなし、
    前記第１エレメントデフォルト基準距離と前記第２エレメントデフォルト距離は同じ値である
    請求項１に記載のオーディオ信号処理装置。
  8. 前記第１エレメント基準距離情報が指示し得る最小基準距離は、０より大きい予め指定された正の数である
    請求項１に記載のオーディオ信号処理装置。
  9. 前記第１エレメント信号を含むオーディオ信号は前記第２エレメント信号を含み、
    前記プロセッサは、
    前記第１エレメント信号と前記第２エレメント信号を同時にレンダリングする
    請求項１に記載のオーディオ信号処理装置。
  10. 前記プロセッサは、
    前記第１エレメント基準距離情報に基づいて前記第１エレメント信号がレンダリングされた音響出力のラウドネスを調整し、前記第２エレメント距離情報に基づいて前記第２エレメント信号がレンダリングされた音響出力のラウドネスを調整する
    請求項９に記載のオーディオ信号処理装置。
  11. 前記プロセッサは、
    前記第１エレメント基準距離情報に基づいて前記第１エレメント信号にディレイを適用し、前記第２エレメント距離情報に基づいて前記第２エレメント信号にディレイを適用する
    請求項９に記載のオーディオ信号処理装置。
  12. 前記第１エレメント信号はチャネル信号であり、前記第２エレメント信号はオブジェクト信号である
    請求項１に記載のオーディオ信号処理装置。
  13. 前記第１エレメント信号はアンビソニック信号であり、前記第２エレメント信号はオブジェクト信号である
    請求項１に記載のオーディオ信号処理装置。
  14. 前記第１エレメント信号はチャネル信号であり、
    前記オーディオ信号はアンビソニック信号を更に含み、
    前記プロセッサは、
    前記第１エレメント信号の基準距離に基づいて前記チャネル信号と前記アンビソニック信号をレンダリングする
    請求項１に記載のオーディオ信号処理装置。
  15. 前記第１エレメント信号はチャネル信号であり、
    前記オーディオ信号はアンビソニック信号を更に含み、
    前記メタデータは、前記チャネル信号の基準距離を指示するチャネル基準距離情報と前記アンビソニック信号の基準距離を指示するアンビソニック基準距離情報を含み、
    前記プロセッサは、
    前記チャネル基準距離情報に基づいて前記チャネル信号をレンダリングし、前記アンビソニック基準距離情報に基づいて前記アンビソニック信号をレンダリングする
    請求項１に記載のオーディオ信号処理装置。
  16. 前記プロセッサは、
    前記第１エレメント基準距離情報に基づいて前記第２エレメント信号をレンダリングする
    請求項１に記載のオーディオ信号処理装置。
  17. 第１エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置において、
    前記第１エレメント信号の基準距離を指示する第１エレメント基準距離情報を設定し、前記第１エレメント基準距離情報を含むメタデータを生成するプロセッサを含み、
    前記オーディオ信号は第２エレメント信号を含み、
    前記メタデータは前記第２エレメント信号の距離を指示する第２エレメント距離情報を含み、
    前記第１エレメント基準距離情報の指示に使用されるビット数は、第２エレメント距離情報の指示に使用されるビット数より少なく、
    前記第１エレメント基準距離情報が示す基準距離のセット（ｓｅｔ）は、前記第２エレメント距離情報が示す距離のセット（ｓｅｔ）のサブセット（ｓｕｂｓｅｔ）である
    オーディオ信号処理装置。
  18. 前記第１エレメント基準距離情報は、指数関数を使用して前記第１エレメント信号の基準距離を指示する
    請求項１７に記載のオーディオ信号処理装置。
  19. 前記第１エレメント基準距離情報は、前記指数関数の指数の値を決定する
    請求項１８に記載のオーディオ信号処理装置。
  20. 前記第１エレメント基準距離情報を示すために使用必要なビット数は７ビットであり、前記第２エレメント距離情報を示すために必要なビット数は９ビットである
    請求項１９に記載のオーディオ信号処理装置。
  21. 前記プロセッサは、
    前記第１エレメント基準距離情報が以下の数式によって前記第１エレメント信号の基準距離を指示するよう、前記第１エレメント基準距離情報の値を設定し、
    Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
    前記Ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅは前記第１エレメント信号の基準距離であり、前記第１エレメント信号の基準距離の単位はメートル（ｍ）であり、
    前記ｂｓ＿Ｒｅｆｅｒｅｎｃｅ＿Ｄｉｓｔａｎｃｅは前記第１エレメント基準距離情報であり、
    前記第１エレメント基準距離情報の値は０から１２７までの整数である
    請求項２０に記載のオーディオ信号処理装置。
  22. 前記第２エレメント基準距離情報が示し得る値は０から５１１までの整数であり、
    前記プロセッサは、
    前記第２エレメント信号の距離が０であれば前記第２エレメント距離情報の値を０に設定し、
    前記第２エレメント信号の距離が０ではなければ、前記第２エレメント距離情報が以下の数式によって前記第２エレメント信号の距離を指示するように前記第２エレメント距離情報の値を設定し、
    Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
    前記Ｄｉｓｔａｎｃｅは前記第２エレメント信号の基準距離であり、前記第２エレメント信号の距離の単位はメートル（ｍ）であり、
    前記Ｐｏｓｉｔｉｏｎ＿Ｄｉｓｔａｎｃｅは前記第２エレメント距離情報であり、
    前記第２エレメント距離情報の値は１から５１１までの整数である
    請求項２１に記載のオーディオ信号処理装置。
  23. 前記第１エレメント基準距離情報が定義されていなければ、前記第１エレメント基準距離情報は第１エレメントデフォルト基準距離を指示するとみなされ、
    前記第２エレメント距離情報が定義されていなければ、前記第２エレメント距離情報は第２エレメントデフォルト距離を指示するとみなされ、
    前記第１エレメントデフォルト基準距離と前記第２エレメントデフォルト距離は同じ値である
    請求項１７に記載のオーディオ信号処理装置。
  24. 前記第１エレメント基準距離情報が指示し得る最小基準距離は、０より大きい予め指定された正の数である
    請求項１７に記載のオーディオ信号処理装置。
  25. 前記第１エレメント信号はチャネル信号であり、前記第２エレメント信号はオブジェクト信号である
    請求項１７に記載のオーディオ信号処理装置。
  26. 前記第１エレメント信号はアンビソニック信号であり、前記第２エレメント信号はオブジェクト信号である
    請求項１７に記載のオーディオ信号処理装置。
JP2020554183A 2018-04-10 2019-04-10 メタデータを利用するオーディオ信号処理装置 Active JP7102024B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022104743A JP7371968B2 (ja) 2018-04-10 2022-06-29 メタデータを利用するオーディオ信号処理方法及び装置

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
KR10-2018-0041394 2018-04-10
KR20180041394 2018-04-10
KR20180078449 2018-07-05
KR10-2018-0078449 2018-07-05
KR20180079649 2018-07-09
KR10-2018-0079649 2018-07-09
KR20180080911 2018-07-12
KR10-2018-0080911 2018-07-12
KR20180083819 2018-07-19
KR10-2018-0083819 2018-07-19
PCT/KR2019/004248 WO2019199040A1 (ko) 2018-04-10 2019-04-10 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022104743A Division JP7371968B2 (ja) 2018-04-10 2022-06-29 メタデータを利用するオーディオ信号処理方法及び装置

Publications (2)

Publication Number Publication Date
JP2021517668A true JP2021517668A (ja) 2021-07-26
JP7102024B2 JP7102024B2 (ja) 2022-07-19

Family

ID=68162888

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020554183A Active JP7102024B2 (ja) 2018-04-10 2019-04-10 メタデータを利用するオーディオ信号処理装置
JP2022104743A Active JP7371968B2 (ja) 2018-04-10 2022-06-29 メタデータを利用するオーディオ信号処理方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022104743A Active JP7371968B2 (ja) 2018-04-10 2022-06-29 メタデータを利用するオーディオ信号処理方法及び装置

Country Status (5)

Country Link
US (2) US11540075B2 (ja)
JP (2) JP7102024B2 (ja)
KR (1) KR102637876B1 (ja)
CN (1) CN112005560B (ja)
WO (1) WO2019199040A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7102024B2 (ja) * 2018-04-10 2022-07-19 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理装置
KR102550396B1 (ko) 2020-03-12 2023-07-04 가우디오랩 주식회사 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어 방법 및 이를 이용하는 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192602A1 (ja) * 2013-05-31 2014-12-04 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP2015534656A (ja) * 2012-10-11 2015-12-03 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ オーディオデータ生成装置及び方法、オーディオデータ再生装置及び方法
JP2016534586A (ja) * 2013-09-17 2016-11-04 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド マルチメディア信号処理方法および装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4134794B2 (ja) * 2003-04-07 2008-08-20 ヤマハ株式会社 音場制御装置
JP2005333621A (ja) * 2004-04-21 2005-12-02 Matsushita Electric Ind Co Ltd 音情報出力装置及び音情報出力方法
WO2010113454A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 記録媒体、再生装置、及び集積回路
EP2434769B1 (en) * 2009-05-19 2016-08-10 Panasonic Intellectual Property Management Co., Ltd. Recording method and playback method
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2700250B1 (en) * 2011-04-18 2015-03-04 Dolby Laboratories Licensing Corporation Method and system for upmixing audio to generate 3d audio
GB201211512D0 (en) * 2012-06-28 2012-08-08 Provost Fellows Foundation Scholars And The Other Members Of Board Of The Method and apparatus for generating an audio output comprising spartial information
CN105009207B (zh) 2013-01-15 2018-09-25 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
US9549276B2 (en) * 2013-03-29 2017-01-17 Samsung Electronics Co., Ltd. Audio apparatus and audio providing method thereof
CN105264600B (zh) 2013-04-05 2019-06-07 Dts有限责任公司 分层音频编码和传输
WO2014175591A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호처리 방법
EP2830049A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2830332A3 (en) * 2013-07-22 2015-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration
WO2015073454A2 (en) * 2013-11-14 2015-05-21 Dolby Laboratories Licensing Corporation Screen-relative rendering of audio and encoding and decoding of audio for such rendering
US10063207B2 (en) * 2014-02-27 2018-08-28 Dts, Inc. Object-based audio loudness management
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
EP2925024A1 (en) * 2014-03-26 2015-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition
CN105657633A (zh) * 2014-09-04 2016-06-08 杜比实验室特许公司 生成针对音频对象的元数据
CN105120418B (zh) * 2015-07-17 2017-03-22 武汉大学 双声道3d音频生成装置及方法
US10278000B2 (en) 2015-12-14 2019-04-30 Dolby Laboratories Licensing Corporation Audio object clustering with single channel quality preservation
TWI744341B (zh) * 2016-06-17 2021-11-01 美商Ｄｔｓ股份有限公司 使用近場/遠場渲染之距離聲相偏移
KR102197544B1 (ko) * 2016-08-01 2020-12-31 매직 립, 인코포레이티드 공간화 오디오를 가진 혼합 현실 시스템
US10645516B2 (en) * 2016-08-31 2020-05-05 Harman International Industries, Incorporated Variable acoustic loudspeaker system and control
CN107820166B (zh) * 2017-11-01 2020-01-07 江汉大学 一种声音对象的动态渲染方法
JP7102024B2 (ja) * 2018-04-10 2022-07-19 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015534656A (ja) * 2012-10-11 2015-12-03 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ オーディオデータ生成装置及び方法、オーディオデータ再生装置及び方法
WO2014192602A1 (ja) * 2013-05-31 2014-12-04 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP2016534586A (ja) * 2013-09-17 2016-11-04 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド マルチメディア信号処理方法および装置

Also Published As

Publication number Publication date
US11950080B2 (en) 2024-04-02
CN112005560A (zh) 2020-11-27
JP7371968B2 (ja) 2023-10-31
US11540075B2 (en) 2022-12-27
KR20200130644A (ko) 2020-11-19
US20230091281A1 (en) 2023-03-23
JP2022126849A (ja) 2022-08-30
CN112005560B (zh) 2021-12-31
WO2019199040A1 (ko) 2019-10-17
US20210084426A1 (en) 2021-03-18
JP7102024B2 (ja) 2022-07-19
KR102637876B1 (ko) 2024-02-20

Similar Documents

Publication Publication Date Title
TWI744341B (zh) 使用近場/遠場渲染之距離聲相偏移
EP2805326B1 (en) Spatial audio rendering and encoding
EP2382803B1 (en) Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
KR101054932B1 (ko) 스테레오 오디오 신호의 동적 디코딩
US11089425B2 (en) Audio playback method and audio playback apparatus in six degrees of freedom environment
AU2018204427C1 (en) Method and apparatus for rendering acoustic signal, and computer-readable recording medium
JP7371968B2 (ja) メタデータを利用するオーディオ信号処理方法及び装置
JP2018110366A (ja) ３ｄサウンド映像音響機器
JP2023099599A (ja) バイノーラルコンテンツを配信する３ｄ音声デコーダにおけるモノラル信号の処理
WO2008084436A1 (en) An object-oriented audio decoder
KR20190060464A (ko) 오디오 신호 처리 방법 및 장치
KR20210007122A (ko) 오디오 신호 처리 방법 및 장치
KR20210004250A (ko) 오디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220629

R150 Certificate of patent or registration of utility model

Ref document number: 7102024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150