JP2020519950A - マルチチャネル空間的オーディオ・フォーマット入力信号の処理 - Google Patents

マルチチャネル空間的オーディオ・フォーマット入力信号の処理 Download PDF

Info

Publication number
JP2020519950A
JP2020519950A JP2019561833A JP2019561833A JP2020519950A JP 2020519950 A JP2020519950 A JP 2020519950A JP 2019561833 A JP2019561833 A JP 2019561833A JP 2019561833 A JP2019561833 A JP 2019561833A JP 2020519950 A JP2020519950 A JP 2020519950A
Authority
JP
Japan
Prior art keywords
spatial
audio signal
object position
signal
frequency subband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019561833A
Other languages
English (en)
Other versions
JP7224302B2 (ja
JP2020519950A5 (ja
Inventor
エス． マグラス，デイヴィッド
エス． マグラス，デイヴィッド
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority claimed from PCT/US2018/030680 external-priority patent/WO2018208560A1/en
Publication of JP2020519950A publication Critical patent/JP2020519950A/ja
Publication of JP2020519950A5 publication Critical patent/JP2020519950A5/ja
Application granted granted Critical
Publication of JP7224302B2 publication Critical patent/JP7224302B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)

Abstract

マルチチャネルの空間的オーディオ・フォーマットの入力信号を処理するための装置、コンピュータ可読媒体および方法。たとえば、一つのそのような方法は、受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト位置メタデータを決定し；受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出することを含み、該受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出することは、オブジェクト・オーディオ信号および残差オーディオ信号を決定することを含む。

Description

関連出願への相互参照
本願は2017年12月13日に出願された米国仮特許出願第62/598,068号、2017年7月3日に出願された欧州特許出願第17179315.1号および2017年5月9日に出願された米国仮特許出願第62/503,657号の優先権を主張するものである。各出願の内容はここに参照によって組み込まれる。
技術分野
本開示は、空間的オーディオ・フォーマット（たとえば、アンビソニックス、高次アンビソニックス、またはBフォーマット）のオブジェクト・ベースのフォーマット（たとえば、ドルビーのAtmosフォーマット）への変換を含む、没入型オーディオ・フォーマット変換に関する。
本稿は、空間的オーディオ・フォーマット（たとえば、アンビソニックス、高次アンビソニックス、またはBフォーマット）をオブジェクト・ベースのフォーマット（たとえば、ドルビーのAtmosフォーマット）に変換する技術的問題に取り組む。
この点に関し、本明細書および請求項を通じて使用される用語「空間的オーディオ・フォーマット」は、特に、一つまたは複数の位置で記録された音場の方向特性を表わす、ラウドスピーカーに依存しない信号を提供するオーディオ・フォーマットに関する。さらに、本明細書および請求項を通じて使用される用語「オブジェクト・ベースのフォーマット」は、特に、音源を表わす、ラウドスピーカーに依存しない信号を提供するオーディオ・フォーマットに関する。
本稿のある側面は、マルチチャネル空間的フォーマット入力オーディオ信号（すなわち、複数のチャネルを含む空間的フォーマット（空間的オーディオ・フォーマット）のオーディオ信号）を処理する方法に関する。空間的フォーマット（空間的オーディオ・フォーマット）は、たとえば、アンビソニックス、高次アンビソニックス（HOA）、またはBフォーマットでありうる。この方法は、入力オーディオ信号を解析して、入力オーディオ信号に含まれるオーディオ・オブジェクトの複数のオブジェクト位置を決定することを含んでいてもよい。オブジェクト位置は、たとえばデカルト座標または球面座標で3-ベクトルによって示される空間位置であってもよい。代替的に、用途に応じて、オブジェクト位置は二次元で示されてもよい。
本方法はさらに、入力オーディオ信号の複数の周波数サブバンドのそれぞれについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置の混合利得を決定することを含んでいてもよい。この目的に向け、本方法は、入力オーディオ信号に時間‐周波数変換を適用し、結果として得られる周波数係数を周波数サブバンドに配置することを含んでいてもよい。あるいはまた、本方法は、入力オーディオ信号にフィルタバンクを適用することを含んでいてもよい。混合利得は、オブジェクト利得と称されることがある。
本方法はさらに、各周波数サブバンドについて、各オブジェクト位置について、入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成することを含んでいてもよい。空間的マッピング関数は、空間的デコード関数、たとえば、空間的デコード関数DS(loc)であってもよい。
本方法はさらに、各オブジェクト位置について、そのオブジェクト位置についての周波数サブバンド出力信号を足し合わせることによって出力信号を生成することを含んでいてもよい。加算は加重和であってもよい。オブジェクト位置は、オブジェクト位置メタデータとして出力されてもよい（たとえば、オブジェクト位置を示すオブジェクト位置メタデータが生成され、出力されてもよい）。出力信号は、オブジェクト信号またはオブジェクト・チャネルと称されてもよい。上記の処理は、各所定の時間期間について（たとえば、各時間ブロックについて、または時間‐周波数変換の各変換窓について）実行されてもよい。
典型的には、空間的フォーマットからオブジェクト・ベースのフォーマットへのフォーマット変換のための既知のアプローチは、一組の優勢方向に関連するオーディオ・オブジェクト信号を抽出するときに広帯域アプローチを適用する。対照的に、提案される方法は、オーディオ・オブジェクト信号を決定するためのサブバンド・ベースのアプローチを適用する。そのように構成されることで、提案される方法は、サブバンド毎に明確なパンニング／ステアリング決定を提供することができる。それにより、オーディオ・オブジェクトの方向の離散性が向上し、結果として得られるオーディオ・オブジェクトにおける「ぼけ（smearing）」が少なくなる。たとえば、（可能性としては広帯域アプローチを使って、またはサブバンド・ベースのアプローチを使って）優勢方向を決定した後、あるオーディオ・オブジェクトが、第一の周波数サブバンドにおいてはある優勢方向にパンされるが、第二の周波数サブバンドにおいては別の優勢方向にパンされることが判明する可能性がありうる。異なるサブバンドにおけるオーディオ・オブジェクトのこの異なるパン挙動は、フォーマット変換のための既知のアプローチによっては捕捉されず、方向性の離散性の減少とぼけの増加という代償を伴う。
いくつかの例では、オブジェクト位置についての混合利得は、周波数依存であってもよい。
いくつかの例では、空間的フォーマットは、複数のチャネルを定義してもよい。その際、空間的マッピング関数は、空間的フォーマットの前記複数のチャネルから所与の位置におけるオーディオ信号を抽出するための、その空間的フォーマットの空間的デコード関数であってもよい。所与の位置におけるとは、たとえば、該所与の位置から入射することを意味するものとする。
いくつかの例では、空間的フォーマットの空間的パン関数は、ソース位置におけるソース信号を、空間的フォーマットによって定義される前記複数のチャネルにマッピングするための関数であってもよい。ソース位置におけるとは、たとえば、そのソース位置から入射することを意味するものとする。マッピングは、パンニング〔パン〕と称されることがある。空間的デコード関数は、空間的パン関数および空間的デコード関数の相続く適用が、単位球上のすべての位置について1の利得を与えるように定義されてもよい。空間的デコード関数はさらに、平均のデコードされたパワーが最小化されるように定義されてもよい。
いくつかの例では、所与の周波数サブバンドおよび所与のオブジェクト位置についての混合利得の決定は、その所与のオブジェクト位置と、その所与の周波数サブバンドにおける入力オーディオ信号の共分散行列とに基づいてもよい。
いくつかの例では、前記所与の周波数サブバンドおよび前記所与のオブジェクト位置についての混合利得は、前記所与の周波数サブバンドにおける入力オーディオ信号についてのステアリング関数を、前記所与のオブジェクト位置において評価したものに依存してもよい。
いくつかの例では、ステアリング関数は、前記所与の周波数サブバンドにおける入力オーディオ信号の共分散行列に基づいていてもよい。
いくつかの例では、所与の周波数サブバンドおよび所与のオブジェクト位置についての混合利得を決定することは、前記所与のオブジェクト位置の時間を追った変化率にさらに基づいていてもよい。混合利得は、所与のオブジェクト位置の変化率に依存して減衰させられてもよい。たとえば、混合利得は、変化率が高い場合には減衰させられてもよく、静的なオブジェクト位置については減衰させられなくてもよい。
いくつかの例では、各周波数サブバンドについて、各オブジェクト位置について、周波数サブバンド出力信号を生成することは、利得行列および空間的デコード行列を入力オーディオ信号に適用することを含んでいてもよい。利得行列および空間的デコード行列は、相次いで適用されてもよい。利得行列は、その周波数サブバンドについての決定された混合利得を含んでいてもよい。たとえば、利得行列は、前記混合利得を適切に順序付けられたその対角成分としてもつ対角行列であってもよい。空間的デコード行列は、各オブジェクト位置について一つで、複数のマッピング・ベクトルを含んでいてもよい。各マッピング・ベクトルは、それぞれのオブジェクト位置で前記空間的デコード関数を評価することによって得られてもよい。たとえば、空間的デコード関数は、ベクトル値関数（たとえば、マルチチャネルの空間的フォーマットの入力オーディオ信号がns×1の列ベクトルとして定義される場合、1×nsの行ベクトルを与える、R3→Rns）であってもよい。
いくつかの例では、本方法はさらに、前記複数の出力信号を空間的フォーマットに再エンコードして、マルチチャネルの空間的フォーマットのオーディオ・オブジェクト信号を得ることを含んでいてもよい。本方法はさらにまた、入力オーディオ信号から該オーディオ・オブジェクト信号を減算して、マルチチャネル空間的フォーマット残差オーディオ信号を得ることを含んでいてもよい。空間的フォーマット残差信号は、前記出力信号およびもしあれば位置メタデータと一緒に出力されてもよい。
いくつかの例では、本方法はさらに、残差オーディオ信号にダウンミックスを適用して、ダウンミックスされた残差オーディオ信号を得ることを含んでいてもよい。ダウンミックスされた残差オーディオ信号のチャネル数は、入力オーディオ信号のチャネル数よりも少なくてもよい。ダウンミックスされた空間的フォーマット残差信号は、前記出力信号およびもしあれば位置メタデータと一緒に出力されてもよい。
いくつかの例では、入力オーディオ信号を解析することは、各周波数サブバンドについて、音到来の一つまたは複数の優勢方向の集合を決定することに関わってもよい。入力オーディオ信号を解析することはさらに、前記複数の周波数サブバンドについての前記一つまたは複数の優勢方向の諸集合の和集合を決定することを含んでいてもよい。入力オーディオ信号を解析することはさらにまた、前記諸集合の和集合に対してクラスタリング・アルゴリズムを適用して、前記複数のオブジェクト位置を決定することを含んでいてもよい。
いくつかの例では、音到来の優勢方向の前記集合を決定することは：その周波数サブバンド内の入力オーディオ信号の共分散行列から諸要素を抽出すること、および、その周波数サブバンド内の入力オーディオ信号の投影関数の極大を決定することと、のうちの少なくとも一つに関わってもよい。前記投影関数は、入力オーディオ信号の共分散行列および空間的フォーマットの空間的パン関数に基づいていてもよい。
いくつかの例では、各優勢方向は、関連する重みを有していてもよい。次いで、クラスタリング・アルゴリズムは、優勢方向の重み付けされたクラスタリングを実行してもよい。それぞれの重みは、たとえば、その優勢方向についての信頼値を示してもよい。信頼値は、オーディオ・オブジェクトが実際に前記オブジェクト位置に位置されているかどうかの確からしさを示しうる。
いくつかの例では、クラスタリング・アルゴリズムは、k平均アルゴリズム、重み付けされたk平均アルゴリズム、期待値最大化（expectation-maximization）アルゴリズム、および重み付けされた平均アルゴリズムのうちの一つであってもよい。
いくつかの例では、本方法はさらに、オブジェクト位置を示すオブジェクト位置メタデータを生成することを含んでいてもよい。オブジェクト位置メタデータは、前記出力信号およびもしあれば（ダウンミックスされた）空間的フォーマット残差信号と一緒に出力されてもよい。
本稿の別の側面は、マルチチャネルの空間的フォーマットの入力オーディオ信号を処理するための装置に関する。本装置はプロセッサを含んでいてもよい。プロセッサは、入力オーディオ信号を解析して、入力オーディオ信号に含まれるオーディオ・オブジェクトの複数のオブジェクト位置を決定するよう適応されてもよい。プロセッサはさらに、入力オーディオ信号の複数の周波数サブバンドのそれぞれについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定するよう適応されてもよい。プロセッサはさらに、各周波数サブバンドについて、各オブジェクト位置について、入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成するよう適応されてもよい。プロセッサはさらにまた、各オブジェクト位置について、そのオブジェクト位置についての周波数サブバンド出力信号を足し合わせることによって出力信号を生成するよう適応されてもよい。本装置は、プロセッサに結合されたメモリをさらに有していてもよい。メモリは、プロセッサによる実行のためにそれぞれの命令を記憶してもよい。
本稿の別の側面は、ソフトウェア・プログラムに関する。本ソフトウェア・プログラムは、プロセッサ上での実行のために、かつプロセッサ上で実行されるときに本稿で概説される方法ステップを実行するように適応されてもよい。
本稿の別の側面は、記憶媒体に関する。記憶媒体は、プロセッサ上での実行のために、かつプロセッサ上で実行されるときに本稿で概説される方法ステップを実行するように適応されたソフトウェア・プログラムを有していてもよい。
本稿の別の側面は、コンピュータ・プログラム製品に関する。コンピュータ・プログラムは、コンピュータ上で実行されるときに、本稿で概説される方法ステップを実行するための実行可能命令を含んでいてもよい。
本稿の別の側面は、マルチチャネルの空間的オーディオ・フォーマットの入力信号を処理する方法に関し、本方法は、受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト位置メタデータを決定するステップと；受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出するステップとを含む。受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出することは、オブジェクト・オーディオ信号および残差オーディオ信号を決定することを含む。
抽出された各オーディオ・オブジェクト信号は、対応するオブジェクト位置メタデータを有していてもよい。オブジェクト位置メタデータは、オブジェクトの到来方向を示してもよい。オブジェクト位置メタデータは、受領された空間的オーディオ・フォーマットの入力信号の統計から導出されてもよい。オブジェクト位置メタデータは、随時変化してもよい。オブジェクト・オーディオ信号は、受領された空間的オーディオ・フォーマットの入力信号のいくつかのサブバンドのそれぞれにおける線形混合行列に基づいて決定されてもよい。残差信号は、受領された空間的オーディオ・フォーマットの入力信号のいくつかのチャネルよりも少ない数のチャネルから構成されてもよいマルチチャネル残差信号であってもよい。
オブジェクト・オーディオ信号を抽出することは、前記空間的オーディオ・フォーマットの入力信号から前記オブジェクト・オーディオ信号の寄与を差し引くことによって決定されてもよい。また、オブジェクト・オーディオ信号を抽出することは、前記一つまたは複数のオブジェクト・オーディオ信号および前記残差信号を生成するための後続の処理によって使用されうる線形混合行列係数を決定することをも含んでいてもよい。行列係数は、それぞれの周波数帯について異なっていてもよい。
本稿の別の側面は、マルチチャネルの空間的オーディオ・フォーマットの入力信号を処理する装置に関し、本装置は、受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト位置メタデータを決定するためのプロセッサと；受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出するための抽出器とを備え、受領された空間的オーディオ・フォーマット入力信号に基づいてオブジェクト・オーディオ信号を抽出することは、オブジェクト・オーディオ信号および残差オーディオ信号を決定することを含む。
本特許出願に概説されているその実施形態を含む方法およびシステムは、単体で、または本稿に開示される他の方法およびシステムと組み合わせて使用されうることに注意しておくべきである。さらに、本特許出願に概説される方法およびシステムのすべての側面は、任意に組み合わされてもよい。特に、請求項の特徴は、任意の仕方で互いに組み合わされてもよい。
本発明は、添付の図面を参照して、例示的に下記で説明される。
本発明のある側面を示す例示的な概念ブロック図を示す。 周波数領域変換に関する本発明の側面を示す例示的な概念ブロック図を示す。 周波数領域バンディング利得bandb(f)の例示的な図を示す。 共分散計算のための時間窓winb(k)の例示的な図を示す。 空間的オーディオ・フォーマット（たとえば、アンビソニックス、HOA、またはBフォーマット）をオブジェクト・ベースのオーディオ・フォーマット（たとえば、ドルビーのAtmosフォーマット）に変換するための例示的な方法のフローチャートを示す。 空間的オーディオ・フォーマットをオブジェクト・ベースのオーディオ・フォーマットに変換するための方法の別の例のフローチャートを示す。 図６の方法のステップを実装する方法の一例のフローチャートである。 図６の方法と関連して実行されうる方法の一例のフローチャートである。
図1は、本発明の例示的なシステム100を示す例示的な概念ブロック図を示している。システム100は、システム100によって受領される入力であってもよいnsチャネルの空間的オーディオ・フォーマット101を含む。空間的オーディオ・フォーマット101は、Bフォーマット、アンビソニックス・フォーマットまたはHOAフォーマットであってもよい。システム100の出力は、下記を含んでいてもよい：
・no個のオーディオ・オブジェクトを表わすno個のオーディオ出力チャネル；
・no個のオブジェクトの時間変化する位置を指定する位置データ；
・nr個の残差オーディオ・チャネルの集合。これは、もとの音場から上記no個のオブジェクトが除去されたものを表わす。
システム100は、オブジェクト位置を決定するための第一の処理ブロック102と、オブジェクト・オーディオ信号を抽出するための第二の処理ブロック103とを含んでいてもよい。ブロック102は、空間的オーディオ信号101を解析し、（時間間隔τmによって定義される）規則的な時点における、ある数（no）のオブジェクトの位置を決定するための処理を含むよう構成されてもよい。すなわち、処理は、所定の時間期間ごとに実行されてもよい。
たとえば、時刻t＝kτmにおけるオブジェクトo（1≦o≦no）の位置は、3-ベクトル
Figure 2020519950
 によって与えられる。
用途（たとえば平面構成用）に依存して、時刻t＝kτmにおけるオブジェクトo（1≦o≦no）の位置は2-ベクトルによって与えられてもよい。
ブロック102は、オブジェクト位置メタデータ111を出力してもよく、オブジェクト位置情報をさらなる処理のためにブロック103に提供してもよい。
ブロック103は、空間的オーディオ信号（入力オーディオ信号）101を処理し、no個のオーディオ・オブジェクトを表わすno個のオーディオ信号（出力信号、オブジェクト信号、またはオブジェクト・チャネル）112を抽出するための処理を含むよう構成されてもよい（オーディオ・オブジェクトは、1≦o≦noであるとして、ベクトルvo(k)〔→付き〕によって定義される位置をもつ）。nrチャネルの残差オーディオ信号（空間的フォーマットの残差オーディオ信号またはダウンミックスされた空間的フォーマットの残差オーディオ信号）113も、この第二段の出力として提供される。
図2は、周波数領域変換に関する本発明の側面を示す例示的な概念ブロック図を示している。ある好ましい実施形態では、入力および出力オーディオ信号は、周波数領域で（たとえばCQMF変換された信号を使って）処理される。図2に示される変数は、以下のように定義されてもよい：
Figure 2020519950
図2は、周波数領域への変換および周波数領域からの変換を示している。この図では、CQMFおよびCQMF-1変換が示されているが、他の周波数領域変換が当技術分野で知られており、この状況で適用可能でありうる。また、たとえば、入力オーディオ信号にフィルタバンクが適用されてもよい。
一例では、図2は、入力信号（たとえば、マルチチャネルの空間的フォーマット入力オーディオ信号、または略して入力オーディオ信号）を受領することを含むシステム200を示している。入力信号は、各チャネルiについての入力信号si(t) 201を含んでいてもよい。すなわち、入力信号は複数のチャネルを含んでいてもよい。複数のチャネルは、空間的フォーマットによって定義される。チャネルiについての入力信号201はCQMF変換202によって周波数領域に変換され、該CQMF変換202はSi(k,f)（チャネルiについての周波数領域信号）203を出力してもよい。チャネルiについての周波数領域入力203は、ブロック204および205に提供されてもよい。ブロック204は、図1のブロック102と同様の機能を実行してもよく、ベクトルvo(k)〔→付き〕（オブジェクトoの位置）211を出力してもよい。該出力211は、一組の出力（たとえば、o＝1,2,…,nについての出力）であってもよい。ブロック204は、オブジェクト位置情報をさらなる処理のためにブロック205に提供してもよい。ブロック205は、図1のブロック103と同様の機能を実行してもよい。ブロック205はTo(k,f)（オブジェクトoについての周波数領域出力）212を出力してもよく、これは次いで、CQMF-1変換によって周波数領域から時間領域に変換されて、to(t)（オブジェクトoについての出力信号）213を決定してもよい。ブロック205はさらにUr(k,f)（周波数領域の出力残差チャネルr）214を出力してもよく、これは次いでCQMF-1変換によって周波数領域から時間領域に変換されて、ur(t)（出力残差チャネルr）215を決定してもよい。
周波数領域変換は、規則的な時間間隔τmで実行されるので、ブロックkにおける変換された信号Si(k,f)は、時刻t＝kτmを中心とした時間区間におけるこの入力信号の周波数領域表現である：
Figure 2020519950
いくつかの実施形態では、周波数領域処理は、ある数nbの帯域上で実行される。これは、周波数ビンの集合（f∈{1,2,…,nf}）をnb個の帯域に割り当てることによって達成される。このグループ化は、図3に示されるように、nb個の利得ベクトルbandb(f)の集合を介して達成されうる。この例では、nf＝64、nb＝13である。
空間的オーディオ入力（入力オーディオ信号）は、複数ns個のチャネルを定義してもよい。いくつかの実施形態では、空間的オーディオ入力は、ns個の空間的オーディオ信号の共分散行列をまず計算することによって解析される。共分散行列は、図1のブロック102および図2のブロック204によって決定されてもよい。ここに記載される例では、各周波数帯域（周波数サブバンド）において、各時間ブロックkについて共分散が計算される。ns個の周波数領域の入力信号を列ベクトルに配置すると、次のようになる：
Figure 2020519950
限定しない例として、入力オーディオ信号の共分散（共分散行列）は、次のように計算されてもよい：
Figure 2020519950
 ここで、■*演算子は複素共役転置を表わす。
一般に、ブロックkについての共分散Cb(k)は、周波数領域における入力オーディオ信号の外積S(k',f)×S(k',f)*の和（加重和）から計算される[ns×ns]行列である。重み付け関数（もしあれば）winb(k−k')およびbandb(f)は、帯域bのまわりの周波数ビンおよびブロックkのまわりの時間ブロックに対してより大きな重みを適用するように選択されてもよい。
典型的な時間窓winb(k)が図4に示されている。この例では、winb(k)＝0 ∀k＜0であり、共分散計算が因果的であることを保証している（よって、ブロックkについての共分散の計算はブロックkまたはそれ以前の周波数領域入力信号にのみ依存する）。
パワーおよび規格化された共分散は、次のように計算されうる：
Figure 2020519950
Figure 2020519950
 ここで、t()は行列のトレースを表わす。
次に、入力フォーマットおよび残差フォーマットを定義するパン関数について述べる。
空間的オーディオ入力信号は、パン規則に従って組み合わされる聴覚要素（要素cは位置locc(t)にパンされる信号sigc(t)からなる）を含むと想定される：
Figure 2020519950
 そのため、空間的入力フォーマットは、単位ベクトルを入力として取り、長さnsの列ベクトルを出力として生成するパン関数PS：R3→Rnsによって定義される。
一般に、空間的フォーマット（空間的オーディオ・フォーマット）は、複数のチャネル（たとえば、ns個のチャネル）を定義する。パン関数（または空間的パン関数）は、上記の例において示されるように、ソース位置にある（たとえば該ソース位置から入射する）ソース信号を空間的フォーマットによって定義される複数のチャネルにマッピング（パン）するための関数である。ここで、パン関数（空間的パン関数）は、それぞれのパン規則を実装する。同様の陳述は、後述する残差出力信号のパン関数（たとえばパン関数PR）にも当てはまる。
同様に、残差出力信号は、パン規則に従って組み合わされる聴覚要素を含むと想定され、ここで、パン関数PR：R3→Rnrは、単位ベクトルを入力として取り、長さnrの列ベクトルを出力として生成する。これらのパン関数PS()およびPR()は、それぞれ空間的入力信号および残差出力信号の特性を定義するが、これは、これらの信号が必ずしも式7の方法に従って構成されることを意味するものではないことを注意しておく。いくつかの実施形態では、残差出力信号のチャネル数nrおよび空間的入力信号のチャネル数nsは等しくてもよい（nr＝ns）。
次に、入力デコード関数について述べる。
空間的入力フォーマット・パン関数（たとえばPS：R3→Rns）が与えられるとき、単位ベクトルを入力として取り、長さnsの行ベクトルを出力として返す空間的入力フォーマット・デコード関数（空間的デコード関数）DS：R3→Rnsを導出することも有用である。関数DS(loc)は、locによって指定される方向のまわりのオーディオ成分に対応する、マルチチャネル空間的入力信号から単一のオーディオ信号を抽出するために好適な行ベクトルを提供するように定義されるべきである。
一般に、パンナー／デコーダの組み合わせは、1の利得を与えるように構成されてもよい：
Figure 2020519950
 さらに、平均のデコードされたパワー（単位球面上で積分される）は最小化されてもよい：
Figure 2020519950
たとえば、空間的入力信号が、式10に示されるパン関数：
Figure 2020519950
 に従って、二次アンビソニックスのパン規則に従ってパンされるオーディオ成分を含んでいるとする。
最適なデコード関数DS()は次のように決定されてもよい。
Figure 2020519950
デコード関数DSは、本開示の文脈における空間的フォーマットの空間的デコード関数の例である。一般に、空間的フォーマットの空間的デコード関数は、その空間的フォーマットによって定義される複数のチャネルから、所与の位置locにおける（たとえば、該所与の位置から入射する）オーディオ信号を抽出するための関数である。空間的デコード関数は、空間的パン関数（たとえばPS）および空間的デコード関数（たとえばDS）の相続く適用が単位球上のすべての位置について利得1を与えるように定義（たとえば、決定、計算）されてもよい。空間的デコード関数はさらに、平均デコード・パワーが最小化されるように定義（たとえば、決定、計算）されてもよい。
次にステアリング関数について述べる。
空間的オーディオ入力信号は、それぞれの入射到来方向をもつ複数のオーディオ成分から構成されると想定され、よって、共分散行列の検査によって、特定の方向に現われるオーディオ信号の割合を推定する方法を有することが望ましい。下記で定義されるステアリング関数Steerがそのような推定値を提供できる。
いくつかの複雑な空間的入力信号は、多数のオーディオ成分を含み、空間的入力フォーマット・パン関数の有限の空間分解能は、全オーディオ入力パワーのうち、「拡散（diffuse）」と考えられる何らかの割合がありうることを意味する（すなわち、信号のこの部分は、すべての方向に一様に広がっていると考えられる）。
よって、任意の所与の到来方向v→〔→付きのv〕について、推定された拡散量を除いて、ベクトルv→のまわりの領域に存在する空間的オーディオ入力信号の量の推定ができることが望ましい。
関数（ステアリング関数）Steer(C,v→)は、入力空間的信号が位置v→にあるオーディオ成分のみで構成されるときはいつでもその関数が値1.0をとり、入力空間的信号が方向v→のほうへのバイアスを含まないように見えるときは値0.0をとるように定義されてもよい。一般に、ステアリング関数は、入力オーディオ信号の共分散行列Cに基づく（たとえば依存する）。また、ステアリング関数を、範囲[0.0,1.0]とは異なる数値範囲に規格化してもよい。
さて、規格化された共分散Cをもつ音場において、特定の方向v→におけるパワーの割合を、投影関数
Figure 2020519950
 を使って推定することが一般的である。
この投影関数は、規格化された共分散行列が、v→に近い方向において大きな信号成分をもつ入力信号に対応するときはいつでも、より大きな値をとる。同様に、この投影関数は、規格化された共分散行列が、v→に近い方向において優勢オーディオ成分をもたない入力信号に対応するときはいつでも、より小さな値をとる。
よって、この投影関数は、ステアリング関数Steer(C,v→)を形成するために投影関数から単調なマッピングを形成することによって、方向v→のほうにバイアスされる入力信号の比率を推定するために使用されうる。
この単調マッピングを決定するために、まず関数proj(C,v→)の期待値を、二つの仮想的な使用事例：(1)入力信号が拡散音場を含んでいる場合および(2)入力信号がv→の方向に単一の音成分を含んでいる場合について、推定するべきである。以下の説明は、下記の式16および式19で定義されるDiffusePowerおよびSteerPowerに基づく、式20および式21との関連で記述されるSteer(C,v→)関数の定義につながる。
任意の入力パン関数（たとえば、入力パン関数PS()）が与えられれば、（拡散音場の共分散を表わす）平均共分散を決定することが可能である：
Figure 2020519950
 拡散音場の規格化された共分散は、次のように計算されうる：
Figure 2020519950
 ここで、規格化された共分散Cをもつ音場における特定の方向v→におけるパワーの割合を、投影関数
Figure 2020519950
 を使って推定することが一般的である。
投影が拡散音場に適用されるとき、方向v→の近傍における拡散パワーは、次のように決定されうる。
Figure 2020519950
典型的には、DiffusePower(v→)は実定数であってもよく（たとえば、DiffusePower(v→)は方向v→に依存しない）、よって、それは、（空間的パン関数および空間的デコード関数の例として）音場入力パン関数およびデコード関数PS()およびDS()の定義のみから導出されるので、事前計算されてもよい。
空間的入力信号が方向v→に位置された単一のオーディオ成分で構成されているとすると、結果として得られる共分散行列は：
Figure 2020519950
 となり、規格化された共分散は：
Figure 2020519950
 となり、よって、proj()関数が適用されてSteerPowerを決定することができる：
Figure 2020519950
典型的には、SteerPower(v→)は実定数であり、よって、それは、（空間的パン関数および空間的デコード関数の例として）音場入力パン関数およびデコード関数PS()およびDS()の定義のみから導出されるので、事前計算されてもよい。
入力空間的信号が方向v→からの優勢信号を含んでいる度合いの推定値を、スケーリングされた投影関数ψ(C,v→)を、よってステアリング関数Steer(C,v→)を計算することによって、形成する。
Figure 2020519950
Figure 2020519950
一般的に言えば、ステアリング関数Steer(C,v→)は、入力空間的信号が位置v→にあるオーディオ成分のみで構成される場合はいつでも値1.0をとり、入力空間的信号が方向v→のほうへのバイアスを含まないように見える場合は値0.0をとる。上述のように、ステアリング関数は、範囲[0.0,1.0]とは異なる数値範囲に規格化されてもよい。
いくつかの実施形態において、空間的入力フォーマットが、パン関数：
Figure 2020519950
 および好適なデコード関数
Figure 2020519950
 によって定義される一次アンビソニックス・フォーマットである場合、Steer()関数は次のように定義されうる：
Figure 2020519950
次に、残差フォーマットについて述べる。
いくつかの実施形態において、残差出力信号は、空間的入力フォーマットと同じ空間的フォーマットで定義されてもよい（よって、パン関数は同じである：PS(v→)＝PR(v→)）。残差出力信号は、図1のブロック103および図2のブロック205によって決定されてもよい。この場合、残差チャネルの数は入力チャネルの数と等しく、nr＝nsとなる。さらに、この場合、残差ダウンミックス行列：R＝Ins（[ns×ns]の恒等行列）が定義されてもよい。
いくつかの実施形態では、残差出力信号は、空間的入力信号よりも少数のチャネルから構成される、つまりnr＜nsである。この場合、残差フォーマットを定義するパン関数は、空間的入力パン関数とは異なる。さらに、nsチャネルの空間的入力信号をnrチャネルの残差出力チャネルに変換するのに好適な[nr×ns]のミックスダウン行列Rを形成することが望ましい。
好ましくは、Rは（その空間的フォーマットの空間的パン関数および残差フォーマットの例としての）PS()からPR()への線形変換を提供するよう選択されてもよい：
Figure 2020519950
式25により定義される行列Rの一例は、空間的入力フォーマットが三次アンビソニックスであり、残差フォーマットが一次アンビソニックスである場合に適用される残差ダウンミックス行列：
Figure 2020519950
 である。
あるいはまた、Rは「最小誤差」マッピングを提供するように選択されてもよい。たとえば、単位球上にほぼ一様に広がるnb個の単位ベクトルの集合B＝{b1 →,b2 →,…,bnb →}が与えられた場合、nb個の列ベクトルを積み重ねることによって一対の行列が形成されてもよい：
Figure 2020519950
Figure 2020519950
 ここで、Bsは空間的入力パンニング・ベクトルの[ns×nb]の配列、BRは残差出力パンニング・ベクトルの[nr×nb]の配列である。
残差ダウンミックス行列Rについての好適な選択は、次式で与えられる：
Figure 2020519950
 ここで、BS +は行列BSの疑似逆行列を示す。
次に、本開示の実施形態によるマルチチャネルの空間的フォーマットの入力オーディオ信号を処理する方法600の例について、図6を参照して述べる。本方法は、上記の概念のいずれを用いることがある。方法600の処理は、たとえば、各時間ブロックkにおいて実行されてもよい。すなわち、方法600は、所定の各時間期間について（たとえば、時間‐周波数変換の各変換窓について）実行されてもよい。マルチチャネルの空間的フォーマットの入力オーディオ信号は、空間的フォーマット（空間的オーディオ・フォーマット）のオーディオ信号であってよく、複数チャネルを含んでいてもよい。空間的フォーマット（空間的オーディオ・フォーマット）は、アンビソニックス、HOA、またはBフォーマットであってもよいが、これらに限定されない。
ステップS610では、入力オーディオ信号が解析され、入力オーディオ信号に含まれるオーディオ・オブジェクトの複数のオブジェクト位置が決定される。たとえば、no個のオブジェクト（o∈[1,no]）の位置vo →(k)が決定されてもよい。これは、入力オーディオ信号のシーン解析を実行することに関わってもよい。このステップは、サブバンド・ベースのアプローチおよびブロードバンド・アプローチのいずれかによって実行されてもよい。
ステップS620では、入力オーディオ信号の複数の周波数サブバンドのそれぞれについて、および各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置について混合利得が決定される。このステップに先立って、本方法は、時間領域入力オーディオ信号に時間‐周波数変換を適用するステップをさらに含んでいてもよい。
ステップS630では、各周波数サブバンドについて、および各オブジェクト位置について、入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号が生成される。空間的マッピング関数は、空間的デコード関数（たとえば、空間的デコード関数PS）であってもよい。
ステップS640では、各オブジェクト位置について、そのオブジェクト位置についての周波数サブバンド出力信号を足し合わせることによって、出力信号が生成される。さらに、オブジェクト位置が、オブジェクト位置メタデータとして出力されてもよい。よって、このステップは、オブジェクト位置を示すオブジェクト位置メタデータを生成することをさらに含んでいてもよい。オブジェクト位置メタデータは、前記出力信号と一緒に出力されてもよい。本方法はさらに、周波数領域出力信号に逆時間‐周波数変換を適用するステップを含んでいてもよい。
ここで、ステップS610において入力オーディオ信号の解析のために使用されうる処理、すなわち、オブジェクト位置の決定の限定しない例について、図7を参照して述べる。この処理は、たとえば、図1のブロック102および図2のブロック204によって／において実行されてもよい。本発明の目標は、（t＝kτmのまわりの時間における空間的オーディオ入力信号si(t)によって表わされる）音場内の優勢なオーディオ・オブジェクトの位置vo →(k)を決定することである。このプロセスは、略称DOLによって言及されてもよく、いくつかの実施形態では、このプロセスは、ステップDOL1、DOL2、およびDOL3によって（たとえば、各時間ブロックkにおいて）達成される。
ステップS710では、各周波数サブバンドについて、音到来の一つまたは複数の優勢方向の集合が決定される。これは、下記のプロセスDOL1を実行することに関わってもよい。
DOL1：各帯域bについて、優勢な音到来方向（db,j →）の集合Vbを決定する。それぞれの優勢な音到来方向は、それぞれの方向ベクトルに割り当てられた「信頼性」を示す、関連付けられた重み付け因子wb,jを有していてもよい：
Figure 2020519950
 この第一段階(1)、DOL1は、いくつかの異なる方法によって達成されうる。いくつかの代替的な方法はたとえば下記のようなものである。
DOL1(a)：
・いくつかの優勢な到来方向db,1 →、db,2 →を決定するために、当該技術分野で知られているMUSICアルゴリズム（たとえば非特許文献１参照）が使用されてもよい。
Schmidt, R.O、"Multiple Emitter Location and Signal Parameter Estimation"、IEEE Trans. Antennas Propagation, Vol.AP-34 (March 1986, pp.276-280
DOL1(b)：
いくつかの一般的に使用されている空間的フォーマットについては、共分散行列の要素から単一の優勢な到来方向が決定されてもよい。いくつかの実施形態では、空間的入力フォーマットが、パン関数：
Figure 2020519950
 によって定義される一次アンビソニックス・フォーマットである場合、帯域bにおける優勢な到来方向についての推定は、共分散行列から三つの要素を抽出し、次いで規格化して単位ベクトルを形成することによってなされてもよい：
Figure 2020519950
 DOL1(b)の処理は、関連する周波数サブバンド内の入力オーディオ信号の共分散行列から要素を抽出することの例に関係していると言える。
DOL1(c)：帯域bについての優勢な到来方向は、投影関数：
Figure 2020519950
 の極大のすべてを見出すことによって決定されうる。
極大を探すために使用されうる一つの例示的な方法は、勾配探索法によって初期推定値を洗練していき、それによりproj(v→)の値を極大化することによって機能する。初期推定値は：
・いくつかのランダムな方向を出発点として選択する
・前の時間ブロックk−1からの（この帯域bについての）優勢方向のそれぞれを出発点としてとる、
ことによって見出されてもよい。
よって、優勢な音到来方向の集合を決定することは、関連する周波数サブバンド内の入力オーディオ信号の共分散行列から要素を抽出することと、周波数サブバンド内の入力オーディオ信号の投影関数の極大を決定することとのうちの少なくとも一つに関わりうる。投影関数は、たとえば、入力オーディオ信号の共分散行列（たとえば規格化された共分散行列）およびその空間的フォーマットの空間的パン関数に基づいていてもよい。
ステップS720では、前記複数の周波数サブバンドについての前記一つまたは複数の優勢方向の諸集合の和集合が決定される。これは、下記のプロセスDOL2を実行することに関わりうる。
DOL2：優勢な音到来方向の集まりから、すべての帯域の優勢音到来方向集合の和集合を形成する：
Figure 2020519950
上記で概説した方法（DOL1(a)、DOL1(b)およびDOL1(c)）を使用して、帯域bについて優勢な音到来方向（db,1 →、db,1 →、）の集合を決定してもよい。これらの優勢な音到来方向のそれぞれについて、対応する「信頼因子」(wb,1、wb,2、）が決定されてもよい。これらは、それぞれの優勢な音到来方向にどの程度の重み付けが与えられるべきかを示す。
最も一般的な場合では、重み付けは、次のように、いくつかの因子を組み合わせることによって計算されうる：
Figure 2020519950
 式35において、関数WeightL()は、時間ブロックkにおける帯域bにおける入力信号のパワーに応答する「ラウドネス」重み付け因子を与える。たとえば、帯域b内のオーディオ信号の特定ラウドネスに対する近似が使用されてもよい：
Figure 2020519950
 同様に、式35において、関数Steer()は、入力信号が方向db,m →においてパワーを含む度合いに応答する「方向ステアリング」重み付け因子を与える。
各帯域bについて、優勢な音到来方向
Figure 2020519950
 〔（db,1 →、db,1 →、）とも書く；他も同様〕およびそれらの関連付けられた重み(wb,1、wb,2、）は（アルゴリズム・ステップDOL1により）定義されている。次に、アルゴリズム・ステップDOL2により、すべての帯域についての方向および重みが一緒に組み合わされて、方向および重み（それぞれd'j →およびw'jと称される）の単一の集合が形成される：
Figure 2020519950
ステップS730では、前記複数のオブジェクト位置を決定するために、前記諸集合の和集合にクラスタリング・アルゴリズムが適用される。これは、下記のプロセスDOL3を実行することに関わりうる。
DOL3：優勢な音到来方向の重み付けされた集合から、no個のオブジェクト方向を決定する：
Figure 2020519950
次いで、アルゴリズム・ステップDOL3は、ある数（no）のオブジェクト位置を決定する。これは、クラスタリング・アルゴリズムによって達成できる。優勢方向が関連付けられた重みをもつ場合、クラスタリング・アルゴリズムは優勢方向の重み付けされたクラスタリングを実行することができる。DOL3についてのいくつかの代替的な方法として、たとえば下記のようなものがある。
DOL3(a) 重み付けされたk平均アルゴリズム（たとえば、非特許文献２参照）が、方向の集合をno個の部分集合にクラスタリングすることによって、no個の重心の集合（e1 →、e2 →、、eno →）を見出すために使用されてもよい。この重心の集合は、次いで、
Figure 2020519950
 により規格化および並べ替えされて、オブジェクト位置の集合（v1 →(k)、v2 →(k)、、vno →(k)）を生成する。ここで、並べ替えperm()は、ブロックからブロックへのオブジェクト位置変化：
Figure 2020519950
 を最小にするよう実行される。
Steinley, Douglas、"K-means clustering: A half-century synthesis"、British Journal of Mathematical and Statistical Psychology 59.1 (2006):1-34
DOL3(b) 期待値最大化のような他のクラスタリング・アルゴリズムを使用してもよい。
DOL3(c) no＝1の特別な場合においては、優勢な音到来方向の重み付けされた平均が使用され：
Figure 2020519950
 次いで規格化されてもよい：
Figure 2020519950
このように、ステップS730におけるクラスタリング・アルゴリズムは、たとえば、k平均アルゴリズム、重み付けされたk平均アルゴリズム、期待値最大化アルゴリズム、および重み付けされた平均アルゴリズムのうちの一つであってもよい。
図8は、図6の方法600との関連で、たとえばステップS640の後に、任意的に実行されうる方法800の例のフローチャートである。
ステップS810では、前記複数の出力信号は空間的フォーマットに再エンコードされて、マルチチャネルの空間的フォーマットのオーディオ・オブジェクト信号が得られる。
ステップS820では、オーディオ・オブジェクト信号が入力オーディオ信号から減算され、マルチチャネルの空間的フォーマットの残差オーディオ信号が得られる。
ステップS830では、残差オーディオ信号に対してダウンミックスが適用されて、ダウンミックスされた残差オーディオ信号が得られる。ここで、ダウンミックスされた残差オーディオ信号のチャネル数は、入力オーディオ信号のチャネル数よりも少なくてもよい。ステップS830は、任意的であってもよい。
次に、ステップS620、S630、およびS640を実装するために使用されうるオブジェクト・オーディオ信号の抽出に関する処理について述べる。この処理は、たとえば図1のブロック103および図2のブロック205によって／において実行されてもよい。DOLプロセス（上述のDOL1ないしDOL3）は、各時間ブロックkにおけるno個のオブジェクトの位置vo →(k)を決定する（o∈[1,no]）。これらのオブジェクト位置に基づいて、空間的オーディオ入力信号が処理され（たとえば、ブロック103または205において）、no個のオブジェクト出力信号およびnr個の残差出力信号の集合が形成される。このプロセスは、略称EOSによって言及されてもよく、いくつかの実施形態では、このプロセスは、ステップEOS1ないしEOS6によって（たとえば、各時間ブロックkにおいて）達成される。
EOS1：no個の行ベクトルを積み重ねることによって、[no×ns]のオブジェクト・デコード行列を決定する。
Figure 2020519950
オブジェクト・デコード行列Dは空間的デコード行列の例である。一般に、空間的デコード行列は、複数のマッピング・ベクトル（たとえば、ベクトルDS(vi →(k))）を含む。各オブジェクト位置について一つのマッピング・ベクトルである。これらのマッピング・ベクトルのそれぞれは、それぞれのオブジェクト位置において空間的デコード関数を評価することによって得られてもよい。空間的デコード関数は、ベクトル値関数（たとえば、マルチチャネルの空間的フォーマットの入力オーディオ信号の1×nsの行ベクトルが、ns×1の列ベクトルとして定義される）R3→Rnsであってもよい。
EOS2：no個の列ベクトルを積み重ねることによって、[ns×no]の、オブジェクトをエンコードする行列を決定する：
Figure 2020519950
 オブジェクト・エンコード行列Eは空間的パン行列の例である。一般に、空間的パン行列は、複数のマッピング・ベクトル（たとえば、ベクトルPS(vi →(k))）を含む。各オブジェクト位置について一つのマッピング・ベクトルである。これらのマッピング・ベクトルのそれぞれは、それぞれのオブジェクト位置において空間的パン関数を評価することによって得られてもよい。空間的パン関数は、ベクトル値関数（たとえば、マルチチャネルの空間的フォーマットの入力オーディオ信号のns×1の列ベクトルが、ns×1の列ベクトルとして定義される）R3→Rnsであってもよい。
EOS3：各帯域b∈[1,nb]について、かつ各出力オブジェクトo∈[1,no]について、オブジェクト利得gb,oを決定する。ここで、0≦gb,o≦1である。これらのオブジェクトまたは混合利得は周波数依存性であってもよい。いくつかの実施形態では：
Figure 2020519950
 これらのオブジェクト利得係数を配列して、オブジェクト利得行列Gb（これは[no×no]の対角行列である）を形成する。
Figure 2020519950
オブジェクト利得行列Gbは、以下では利得行列と称されることがある。この利得行列は、周波数サブバンドbについての決定された混合利得を含む。より詳細には、この利得行列は、前記混合利得（適切に順序付けられた、各オブジェクト位置について一つの混合利得）をその対角成分としてもつ対角行列である。
このように、プロセスEOS3は、各周波数サブバンドおよび各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得（たとえば、周波数依存の混合利得）を決定する。このように、プロセスEOS3は、上述の方法600のステップS620の実装の例である。一般に、所与の周波数サブバンドおよび所与のオブジェクト位置についての混合利得の決定は、前記所与のオブジェクト位置と、前記所与の周波数サブバンドにおける入力オーディオ信号の共分散行列（たとえば、規格化された共分散行列）とに基づいていてもよい。共分散行列への依存は、ステアリング関数Steer(C'b(k),vo →(k))を通じてであってもよい。該ステアリング関数が、入力オーディオ信号の共分散行列C（または規格化された共分散行列C'）に基づいている（たとえば依存する）。すなわち、所与の周波数サブバンドおよび所与のオブジェクト位置についての混合利得は、所与の周波数帯域における入力オーディオ信号についてのステアリング関数を、所与のオブジェクト位置において評価したものに依存しうる。
EOS4 オブジェクト・デコード行列およびオブジェクト利得行列を空間的入力信号S(k,f)に適用し、周波数サブバンドbにわたって総和することにより、周波数領域のオブジェクト出力信号T(k,f)を計算する。
Figure 2020519950
 （S(k,f)の定義については、式3を参照）。周波数領域のオブジェクト出力信号T(k,f)は、周波数サブバンド出力信号と称されてもよい。総和は、たとえば、加重和であってもよい。
プロセスEOS4は、上述の方法600のステップS630およびS640の実装の例である。
一般に、ステップS630において、ある周波数サブバンドおよびオブジェクト位置についての周波数サブバンド出力信号を生成することは、利得行列（たとえば行列Gb）および空間的デコード行列（たとえば行列D）を入力オーディオ信号に適用することに関わってもよい。そこで、利得行列および空間的デコード行列が相次いで適用されてもよい。
EOS5：オブジェクト出力信号T(k,f)を再エンコードして、この再エンコードされた信号を空間的入力から差し引くことにより、周波数領域の残差空間的信号を計算する：
Figure 2020519950
[nr×ns]の残差ダウンミックス行列Rを（たとえば式29の方法により）決定し、この残差ダウンミックス行列により残差空間的信号を変換して周波数領域の残差出力信号を計算する：
Figure 2020519950
このように、プロセスEOS5は、上述の方法800のステップS810、S820、およびS830の実装の例である。よって、前記複数の出力信号を空間的フォーマットに再エンコードすることは、空間的パン行列（たとえば行列E）に基づいていてもよい。たとえば、前記複数の出力信号を空間的フォーマットに再エンコードすることは、空間的パン行列（たとえば行列E）を前記複数の出力信号のベクトルに適用することに関わってもよい。前記残差オーディオ信号（たとえばS'）にダウンミックスを適用することは、前記残差オーディオ信号にダウンミックス行列（たとえばダウンミックス行列R）を適用することに関わってもよい。
EOSプロセスにおける最初の二つのステップ、EOS1およびEOS2は、空間的オーディオ入力から（D行列を使って）オブジェクト・オーディオ信号を抽出し、これらのオブジェクトを（E行列を使って）空間的オーディオ・フォーマットに再エンコードするのに好適な行列係数の計算に関わる。これらの行列はPS()およびDS()関数を使って形成される。これらの関数の例（入力空間的オーディオ・フォーマットが二次アンビソニックスである場合）は、式10および式11で与えられている。
EOS3ステップは、いくつかの仕方で実装されうる。いくつかの代替的な方法は次のとおり。
EOS3(a)：オブジェクト利得（gb,o：o∈[1,no]）は、式51：
Figure 2020519950
 の方法を使って計算されてもよい。この実施形態では、Steer()関数は、空間的入力信号のどの割合が方向vo →(k)に存在するかを示すために使用される。
それにより、各周波数サブバンドおよび各オブジェクト位置についての混合利得（たとえば、周波数依存の混合利得）が決定（たとえば計算）できる。一般に、所与の周波数サブバンドおよび所与のオブジェクト位置についての混合利得の決定は、前記所与のオブジェクト位置と、前記所与の周波数サブバンドにおける入力オーディオ信号の共分散行列（たとえば、規格化された共分散行列）とに基づいていてもよい。共分散行列への依存は、ステアリング関数Steer(C'b(k),vo →(k))を介してであってもよい。該ステアリング関数が、入力オーディオ信号の共分散行列C（または規格化された共分散行列C'）に基づいている（たとえば依存する）。すなわち、所与の周波数サブバンドおよび所与のオブジェクト位置についての混合利得は、所与の周波数帯域における入力オーディオ信号についてのステアリング関数を、所与のオブジェクト位置において評価したものに依存しうる。
EOS3(b)：一般に、所与の周波数サブバンドおよび所与のオブジェクト位置についての混合利得を決定することは、所与のオブジェクト位置の時間を追った変化率にさらに基づいていてもよい。たとえば、混合利得は、所与のオブジェクト位置の変化率に依存して減衰させられてもよい。
換言すれば、オブジェクト利得は、いくつかの利得因子（そのそれぞれは、一般に、範囲[0,1]内の実数値である）を組み合わせることによって計算されうる。たとえば：
Figure 2020519950
 ここで、
Figure 2020519950
 であり、gb,o (Jump)は、オブジェクト位置が静的である
Figure 2020519950
 ときは常にほぼ1に等しく、オブジェクト位置が時間ブロックのまわりの領域で有意に「ジャンプしている」とき（たとえば、ある閾値αについて
Figure 2020519950
 であるとき）はほぼ0に等しい利得因子であるよう計算される。
利得因子gb,o (Jump)は、時間ブロックk−1の間にオブジェクトが存在しなかった位置に時間ブロックkにおいて新たなオブジェクトが「出現する」ときに起こりうるように、オブジェクト位置が急速に変化しているときはいつでも、オブジェクト振幅を減衰させることを意図されている。
いくつかの実施形態では、gb,o (Jump)は、まずjump値：
Figure 2020519950
 を計算し、次いでgb,o (Jump)：
Figure 2020519950
 を計算することによって計算される。
いくつかの実施形態では、αについての好適な値は0.5であり、一般に、0.05＜α＜1となるよう選択する。
図5は、本願の原理による例示的な方法500を示している。方法500は、501で、空間的オーディオ情報を受領することを含む。空間的オーディオ情報は、図1に示されるnsチャネルの空間的オーディオ・フォーマット101および図2に示されるsi(t)（チャネルiについての入力信号）201と整合しうる。502では、オブジェクト位置が、受領された空間的オーディオ情報に基づいて決定されてもよい。たとえば、図1に示されるブロック102および図2に示されるブロック204との関連で述べたように、オブジェクト位置が決定されてもよい。ブロック502は、オブジェクト位置メタデータ504を出力してもよい。オブジェクト位置メタデータ504は、図1に示されるオブジェクト位置メタデータ111および図2に示されるvo →(k)（オブジェクトoの位置）211と同様であってもよい。
503では、受領された空間的オーディオ情報に基づいて、オブジェクト・オーディオ信号が抽出されてもよい。たとえば、オブジェクト・オーディオ信号は、図1に示されるブロック103および図2に示されるブロック205に関連して述べたように抽出されてもよい。ブロック503は、オブジェクト・オーディオ信号505を出力してもよい。オブジェクト・オーディオ信号505は、図1に示されるオブジェクト／オーディオ信号112および図2に示されるオブジェクトoについての出力信号213と同様であってもよい。ブロック503はさらに、残差オーディオ信号506を出力してもよい。残差オーディオ信号506は、図1に示される残差オーディオ信号113および図2に示される出力残差オーディオ信号r 215と同様であってもよい。
マルチチャネルの空間的フォーマットの入力オーディオ信号を処理する諸方法が上記に記載されている。本開示は、同様に、マルチチャネルの空間的フォーマットの入力オーディオ信号を処理するための装置に関することが理解される。装置は、上記のプロセスのいずれか、たとえば、方法600、700、および800のステップ、ならびにそれらのそれぞれの実装DOL1〜DOL3およびEOS1〜EOS5を実行するよう適応されたプロセッサを有していてもよい。そのような装置は、さらに、前記プロセッサに結合されたメモリを有していてもよく、前記メモリは、前記プロセッサによる実行のためのそれぞれの命令を記憶する。
本開示に記載された実装に対するさまざまな修正が、当業者には容易に明らかとなることがありうる。本明細書で定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用されてもよい。よって、特許請求の範囲は、本明細書に示されている実装に限定されることは意図されておらず、本開示、本稿に開示される原理および新規な特徴と整合する最も広い範囲を与えられるべきである。
本稿に記載される方法およびシステムは、ソフトウェア、ファームウェアおよび／またはハードウェアとして実装されてもよい。ある種のコンポーネントは、たとえば、デジタル信号プロセッサまたはマイクロプロセッサ上で動作するソフトウェアとして実装されてもよい。他のコンポーネントは、たとえば、ハードウェアとして、およびまたは特定用途向け集積回路として実装されてもよい。上述の方法およびシステムにおいて遭遇される信号は、ランダム・アクセス・メモリまたは光記憶媒体のような媒体に記憶されてもよい。それらの信号は、無線ネットワーク、衛星ネットワーク、ワイヤレス・ネットワーク、または有線ネットワーク、たとえばインターネットなどのネットワークを介して転送されてもよい。本稿に記載される方法およびシステムを利用する典型的な装置は、オーディオ信号を記憶および／またはレンダリングするために使用される可搬式電子装置または他の消費者装置である。
本発明のさらなる実装例は、以下に列挙される箇条書き実施例（enumerated example embodiment、EEE）に要約される。
第1のEEEは、マルチチャネルの空間的オーディオ・フォーマットの入力信号を処理するための方法に関する。本方法は、受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト位置メタデータを決定し、受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出することを含む。受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出することは、オブジェクト・オーディオ信号および残差オーディオ信号を決定することを含む。
第2のEEEは、前記第一のEEEによる方法に関し、抽出された各オーディオ・オブジェクト信号は、対応するオブジェクト位置メタデータを有する。
第3のEEEは、第1または第2のEEEによる方法に関し、オブジェクト位置メタデータは、オブジェクトの到来方向を示す。
第4のEEEは、第1ないし第3のEEEのうちいずれか一項による方法に関し、オブジェクト位置メタデータは、受領された空間的オーディオ・フォーマットの入力信号の統計から導出される。
第5のEEEは、第1ないし第4のEEEのうちいずれか一項による方法に関し、オブジェクト位置メタデータは随時変化する。
第6のEEEは、第1ないし第5のEEEのうちいずれか一項による方法に関し、前記オブジェクト・オーディオ信号は、前記受領された空間的オーディオ・フォーマットの入力信号のいくつかのサブバンドのそれぞれにおける線形混合行列に基づいて決定される。
第7のEEEは、第1ないし第6のEEEのうちいずれか一項による方法に関し、前記残差信号はマルチチャネル残差信号である。
第8のEEEは、第7のEEEによる方法に関し、前記マルチチャネル残差信号は、受領された空間的オーディオ・フォーマットの入力信号のチャネル数よりも少ない数のチャネルから構成される。
第9のEEEは、第1ないし第8のEEEのうちいずれか一項による方法に関し、オブジェクト・オーディオ信号の抽出は、前記空間的オーディオ・フォーマットの入力信号から前記オブジェクト・オーディオ信号の寄与を差し引くことによって、決定される。
第10のEEEは、第1ないし第9のEEEのうちいずれか一項による方法に関し、オブジェクト・オーディオ信号を抽出することは、前記一つまたは複数のオブジェクト・オーディオ信号および前記残差信号を生成するために、後続の処理によって使用されうる線形混合行列係数を決定することを含む。
第11のEEEは、第1〜第10のEEEのうちいずれか一項による方法に関し、行列係数は、周波数帯ごとに異なる。
第12のEEEは、マルチチャネルの空間的オーディオ・フォーマットの入力信号を処理するための装置に関する。本装置は、受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト位置メタデータを決定するプロセッサと、受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出する抽出器とを備える。受領された空間的オーディオ・フォーマットの入力信号に基づいてオブジェクト・オーディオ信号を抽出することは、オブジェクト・オーディオ信号および残差オーディオ信号を決定することを含む。

Claims (21)

  1. マルチチャネルの空間的フォーマットの入力オーディオ信号を処理する方法であって：
    前記入力オーディオ信号に基づいてオブジェクト位置を決定し；
    決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することを含み、
    前記オブジェクト位置を決定することは、いくつかの周波数サブバンドのそれぞれについて、一つまたは複数の音到来方向を決定することを含む、
    方法。
  2. 前記決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することは：
    前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定し；
    前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成し；
    各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成することを含む、
    請求項１記載の方法。
  3. 前記オブジェクト位置についての前記混合利得は、周波数依存である、請求項２記載の方法。
  4. 前記空間的フォーマットが複数のチャネルを定義し；
    前記空間的マッピング関数は、前記空間的フォーマットの前記複数のチャネルから所与の位置におけるオーディオ信号を抽出するための、その空間的フォーマットの空間的デコード関数である、
    請求項２または３記載の方法。
  5. 前記空間的フォーマットの空間的パン関数は、ソース位置におけるソース信号を、前記空間的フォーマットによって定義される前記複数のチャネルにマッピングするための関数であり、
    前記空間的デコード関数は、前記空間的パン関数および前記空間的デコード関数の相続く適用が、単位球上のすべての位置について1の利得を与えるように定義される、
    請求項４記載の方法。
  6. 所与の周波数サブバンドおよび所与のオブジェクト位置について前記混合利得を決定することは、その所与のオブジェクト位置と、その所与の周波数サブバンドにおける前記入力オーディオ信号の共分散行列とに基づく、請求項２記載の方法。
  7. 前記所与の周波数サブバンドおよび前記所与のオブジェクト位置についての前記混合利得は、前記所与の周波数サブバンドにおける前記入力オーディオ信号についてのステアリング関数を、前記所与のオブジェクト位置において評価したものに依存する、請求項６記載の方法。
  8. 前記ステアリング関数は、前記所与の周波数サブバンドにおける前記入力オーディオ信号の共分散行列に基づく、請求項７記載の方法。
  9. 前記所与の周波数サブバンドおよび前記所与のオブジェクト位置についての前記混合利得を決定することは、前記所与のオブジェクト位置の時間を追った変化率にさらに基づき、前記混合利得は、前記所与のオブジェクト位置の変化率に依存して減衰させられる、請求項６ないし８のうちいずれか一項記載の方法。
  10. 各周波数サブバンドについて、各オブジェクト位置について、周波数サブバンド出力信号を生成することは：
    利得行列および空間的デコード行列を前記入力オーディオ信号に適用することを含み、前記利得行列は、その周波数サブバンドについての決定された混合利得を含み、
    前記空間的デコード行列は、各オブジェクト位置について一つで、複数のマッピング・ベクトルを含み、各マッピング・ベクトルは、それぞれのオブジェクト位置で前記空間的デコード関数を評価することによって得られる、
    請求項２記載の方法。
  11. 前記複数の出力信号を前記空間的フォーマットに再エンコードして、マルチチャネルの空間的フォーマットのオーディオ・オブジェクト信号を得て；
    前記入力オーディオ信号から該オーディオ・オブジェクト信号を減算して、マルチチャネルの空間的フォーマットの残差オーディオ信号を得ることをさらに含む、
    請求項１記載の方法。
  12. 前記残差オーディオ信号にダウンミックスを適用して、ダウンミックスされた残差オーディオ信号を得ることをさらに含み、前記ダウンミックスされた残差オーディオ信号のチャネル数は、前記入力オーディオ信号のチャネル数より少ない、
    請求項１１記載の方法。
  13. 前記オブジェクト位置を決定することはさらに：
    前記いくつかの周波数サブバンドについての優勢な音到来方向の諸集合の和集合を決定し；
    前記和集合に対してクラスタリング・アルゴリズムを適用して、前記複数のオブジェクト位置を決定することを含む、
    請求項１記載の方法。
  14. 音到来の優勢方向の前記集合を決定することは：
    その周波数サブバンド内の前記入力オーディオ信号の共分散行列から諸要素を抽出することと；
    その周波数サブバンド内の前記オーディオ入力信号の投影関数の極大を決定することであって、前記投影関数は、前記オーディオ入力信号の前記共分散行列および前記空間的フォーマットの空間的パン関数に基づく、こととのうちの少なくとも一方に関わる、
    請求項１３記載の方法。
  15. 各優勢方向は、関連する重みをもち；
    前記クラスタリング・アルゴリズムは、前記優勢方向の重み付けされたクラスタリングを実行する、
    請求項１３または１４記載の方法。
  16. 前記クラスタリング・アルゴリズムは：k平均アルゴリズム、重み付けされたk平均アルゴリズム、期待値最大化アルゴリズム、および重み付けされた平均アルゴリズムのうちの一つである、
    請求項１３ないし１５のうちいずれか一項記載の方法。
  17. 前記オブジェクト位置を示すオブジェクト位置メタデータを生成することをさらに含む、
    請求項１ないし１６のうちいずれか一項記載の方法。
  18. 前記オブジェクト・オーディオ信号は、受領された空間的オーディオ・フォーマットの入力信号の前記いくつかのサブバンドの各サブバンドにおいて線形混合行列に基づいて決定される、請求項１ないし１７のうちいずれか一項記載の方法。
  19. 行列係数はそれぞれの周波数帯域ごとに異なる、請求項１８記載の方法。
  20. オブジェクト・オーディオ信号を抽出することは、前記入力オーディオ信号から前記オブジェクト・オーディオ信号の寄与を差し引くことによって決定される、請求項１ないし１９のうちいずれか一項記載の方法。
  21. マルチチャネルの空間的フォーマットの入力オーディオ信号を処理するための装置であって、当該装置は：
    前記入力オーディオ信号を解析して、前記入力オーディオ信号に含まれるオーディオ・オブジェクトの複数のオブジェクト位置を決定する段階であって、該解析することは、いくつかの周波数サブバンドの各周波数サブバンドについて、一つまたは複数の優勢な音到来方向を決定することを含む、段階と；
    前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定する段階と；
    前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成する段階と；
    各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成する段階とを実行するよう適応されたプロセッサを有する、
    装置。
JP2019561833A 2017-05-09 2018-05-02 マルチチャネル空間的オーディオ・フォーマット入力信号の処理 Active JP7224302B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762503657P 2017-05-09 2017-05-09
US62/503,657 2017-05-09
EP17179315.1 2017-07-03
EP17179315 2017-07-03
US201762598068P 2017-12-13 2017-12-13
US62/598,068 2017-12-13
PCT/US2018/030680 WO2018208560A1 (en) 2017-05-09 2018-05-02 Processing of a multi-channel spatial audio format input signal

Publications (3)

Publication Number Publication Date
JP2020519950A true JP2020519950A (ja) 2020-07-02
JP2020519950A5 JP2020519950A5 (ja) 2021-07-26
JP7224302B2 JP7224302B2 (ja) 2023-02-17

Family

ID=62111278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561833A Active JP7224302B2 (ja) 2017-05-09 2018-05-02 マルチチャネル空間的オーディオ・フォーマット入力信号の処理

Country Status (4)

Country Link
US (1) US10893373B2 (ja)
EP (1) EP3622509B1 (ja)
JP (1) JP7224302B2 (ja)
CN (1) CN110800048B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022083444A (ja) * 2020-11-24 2022-06-03 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを送信するコンピュータシステムおよびその方法
JP2022083445A (ja) * 2020-11-24 2022-06-03 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
JP2022083443A (ja) * 2020-11-24 2022-06-03 ネイバー コーポレーション オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3990937A1 (en) * 2019-07-24 2022-05-04 Huawei Technologies Co., Ltd. Apparatus for determining spatial positions of multiple audio sources
US11750745B2 (en) * 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100329466A1 (en) * 2009-06-25 2010-12-30 Berges Allmenndigitale Radgivningstjeneste Device and method for converting spatial audio signal
JP2012526296A (ja) * 2009-05-08 2012-10-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 音声フォーマット・トランスコーダ
WO2016133785A1 (en) * 2015-02-16 2016-08-25 Dolby Laboratories Licensing Corporation Separating audio sources
JP2017508175A (ja) * 2014-01-09 2017-03-23 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・コンテンツの空間的誤差メトリック

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
EP1761110A1 (en) * 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
CN101473645B (zh) * 2005-12-08 2011-09-21 韩国电子通信研究院 使用预设音频场景的基于对象的三维音频服务系统
EP2595149A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for transcoding downmix signals
GB2467247B (en) * 2007-10-04 2012-02-29 Creative Tech Ltd Phase-amplitude 3-D stereo encoder and decoder
KR20110049863A (ko) * 2008-08-14 2011-05-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 신호 트랜스포맷팅
US8219394B2 (en) * 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
EP2469741A1 (en) 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
US9728194B2 (en) * 2012-02-24 2017-08-08 Dolby International Ab Audio processing
TWI590234B (zh) 2012-07-19 2017-07-01 杜比國際公司 編碼聲訊資料之方法和裝置，以及解碼已編碼聲訊資料之方法和裝置
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
AU2013301831B2 (en) 2012-08-10 2016-12-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoder, decoder, system and method employing a residual concept for parametric audio object coding
EP2738962A1 (en) 2012-11-29 2014-06-04 Thomson Licensing Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field
EP2765791A1 (en) 2013-02-08 2014-08-13 Thomson Licensing Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field
GB2515089A (en) 2013-06-14 2014-12-17 Nokia Corp Audio Processing
GB2517690B (en) * 2013-08-26 2017-02-08 Canon Kk Method and device for localizing sound sources placed within a sound environment comprising ambient noise
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
CN104683933A (zh) 2013-11-29 2015-06-03 杜比实验室特许公司 音频对象提取
WO2015145782A1 (en) 2014-03-26 2015-10-01 Panasonic Corporation Apparatus and method for surround audio signal processing
US9847087B2 (en) 2014-05-16 2017-12-19 Qualcomm Incorporated Higher order ambisonics signal compression
EP2963949A1 (en) 2014-07-02 2016-01-06 Thomson Licensing Method and apparatus for decoding a compressed HOA representation, and method and apparatus for encoding a compressed HOA representation
EP2963948A1 (en) 2014-07-02 2016-01-06 Thomson Licensing Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a HOA signal representation
CN106463132B (zh) 2014-07-02 2021-02-02 杜比国际公司 对压缩的hoa表示编码和解码的方法和装置
US9838819B2 (en) 2014-07-02 2017-12-05 Qualcomm Incorporated Reducing correlation between higher order ambisonic (HOA) background channels
CN105336335B (zh) * 2014-07-25 2020-12-08 杜比实验室特许公司 利用子带对象概率估计的音频对象提取
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
CN107851432B (zh) * 2015-07-29 2022-01-28 杜比实验室特许公司 用于声场信号的空间处理的系统和方法
EP3357259B1 (en) 2015-09-30 2020-09-23 Dolby International AB Method and apparatus for generating 3d audio content from two-channel stereo content
US9961475B2 (en) 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from object-based audio to HOA

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012526296A (ja) * 2009-05-08 2012-10-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 音声フォーマット・トランスコーダ
US20100329466A1 (en) * 2009-06-25 2010-12-30 Berges Allmenndigitale Radgivningstjeneste Device and method for converting spatial audio signal
JP2017508175A (ja) * 2014-01-09 2017-03-23 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・コンテンツの空間的誤差メトリック
WO2016133785A1 (en) * 2015-02-16 2016-08-25 Dolby Laboratories Licensing Corporation Separating audio sources

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022083444A (ja) * 2020-11-24 2022-06-03 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを送信するコンピュータシステムおよびその方法
JP2022083445A (ja) * 2020-11-24 2022-06-03 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
JP2022083443A (ja) * 2020-11-24 2022-06-03 ネイバー コーポレーション オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法

Also Published As

Publication number Publication date
US10893373B2 (en) 2021-01-12
JP7224302B2 (ja) 2023-02-17
US20200169824A1 (en) 2020-05-28
CN110800048B (zh) 2023-07-28
EP3622509B1 (en) 2021-03-24
CN110800048A (zh) 2020-02-14
EP3622509A1 (en) 2020-03-18

Similar Documents

Publication Publication Date Title
JP2020519950A (ja) マルチチャネル空間的オーディオ・フォーマット入力信号の処理
US11540080B2 (en) Audio processing apparatus and method, and program
US11894010B2 (en) Signal processing apparatus, signal processing method, and program
US11832080B2 (en) Spatial audio parameters and associated spatial audio playback
US10650836B2 (en) Decomposing audio signals
US8718293B2 (en) Signal separation system and method for automatically selecting threshold to separate sound sources
KR102063307B1 (ko) 음장 기술을 생성하기 위한 장치, 방법, 또는 컴퓨터 프로그램
JP6987075B2 (ja) オーディオ源分離
WO2005024788A1 (ja) 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
EP3332557B1 (en) Processing object-based audio signals
US10827295B2 (en) Method and apparatus for generating 3D audio content from two-channel stereo content
CN110771181B (zh) 用于将空间音频格式转换为扬声器信号的方法、系统和设备
JP2020519950A5 (ja)
WO2018208560A1 (en) Processing of a multi-channel spatial audio format input signal
US20180144759A1 (en) Audio source separation with source direction determination based on iterative weighting
JP6815956B2 (ja) フィルタ係数算出装置、その方法、及びプログラム
US20220392462A1 (en) Multichannel audio encode and decode using directional metadata
US20220358937A1 (en) Determining corrections to be applied to a multichannel audio signal, associated coding and decoding
JP2006126332A (ja) 信号平均振幅推定方法、信号平均振幅推定装置、信号平均振幅推定プログラム及びこのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230207

R150 Certificate of patent or registration of utility model

Ref document number: 7224302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150