JP2016525813A - オーディオ装置及びそのための方法 - Google Patents

オーディオ装置及びそのための方法 Download PDF

Info

Publication number
JP2016525813A
JP2016525813A JP2016513470A JP2016513470A JP2016525813A JP 2016525813 A JP2016525813 A JP 2016525813A JP 2016513470 A JP2016513470 A JP 2016513470A JP 2016513470 A JP2016513470 A JP 2016513470A JP 2016525813 A JP2016525813 A JP 2016525813A
Authority
JP
Japan
Prior art keywords
audio
rendering
cluster
loudspeakers
clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016513470A
Other languages
English (en)
Other versions
JP2016525813A5 (ja
JP6291035B2 (ja
Inventor
ブライン ウェルネル パウルス ヨセフュス デ
ブライン ウェルネル パウルス ヨセフュス デ
アルノルドス ウェルネル ヨハネス オーメン
アルノルドス ウェルネル ヨハネス オーメン
アキ サカリ ハールマー
アキ サカリ ハールマー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Priority claimed from PCT/IB2014/061226 external-priority patent/WO2014184706A1/en
Publication of JP2016525813A publication Critical patent/JP2016525813A/ja
Publication of JP2016525813A5 publication Critical patent/JP2016525813A5/ja
Application granted granted Critical
Publication of JP6291035B2 publication Critical patent/JP6291035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/308Electronic adaptation dependent on speaker or headphone connection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024Positioning of loudspeaker enclosures for spatial sound reproduction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

オーディオ装置は、オーディオデータと複数のオーディオトランスデューサ603のためのオーディオトランスデューサ位置データとを受信するためのレシーバ605を有する。レンダリング部607は、オーディオデータからオーディオトランスデューサ603のためのオーディオトランスデューサ駆動信号を生成することによりオーディオデータをレンダリングする。更に、クラスタ部609は、オーディオトランスデューサ位置データと距離測定基準に従うオーディオトランスデューサ間の距離とに基づいてオーディオトランスデューサをクラスタのセットにクラスタ化する。レンダリングコントローラ611は、クラスタ化に基づいてレンダリングを適応させる。本装置は、例えば、十分に近いオーディオトランスデューサを含む特定のサブセットに対してアレイ処理技術を選択し得る。本アプローチは、オーディオトランスデューサ設定への自動適応を可能にし、これにより、例えば、ラウドスピーカのポジショニングについてユーザの増大されたフレキシビリティを可能にする。

Description

本発明は、オーディオ処理装置及びそのための方法に関し、とりわけ、排他的ではないが、異なるタイプのオーディオ成分を有する空間オーディオのレンダリングに関する。
ここ数十年間において、オーディオアプリケーションの多様性及びフレキシビリティは、例えば大幅に変化するオーディオレンダリングアプリケーションの多様性によって非常に増大している。それに加え、オーディオレンダリングセットアップは、多様な音響環境において、及び、多くの異なるアプリケーションのために用いられる。
昔から、空間サウンド再生システムは、常に1又はそれ以上の指定されたラウドスピーカ設定のために開発されていた。結果として、空間体験は、使用される実際のラウドスピーカ設定が規定された公称設定にどれくらい密接にマッチするかに依存し、良質な空間体験は、典型的には、実質的に正しくセットアップされているシステムに対してのみ、即ち、指定されたラウドスピーカ設定に従って、実現される。
しかしながら、典型的に比較的多数のラウドスピーカを有する特定のラウドスピーカ設定を用いるという要求は、扱いにくく、不利である。実際には、例えばホームシネマサラウンドサウンドシステムを配置したときに消費者により知覚される重大な不都合は、比較的多数のラウドスピーカが特定の位置に配置されることを必要とすることである。典型的には、実際のサラウンドサウンドラウドスピーカセットアップは、最適な位置にラウドスピーカを配置することが実現困難であることをユーザが見つけることに起因して、例えばリビングルームにおける利用可能なスピーカ位置に関する制限に起因して、理想的なセットアップから逸脱するだろう。従って、斯様なセットアップにより提供される体験、とりわけ空間体験は、最適状態に及ばない。
それ故、近年において、ラウドスピーカの位置に関するあまり厳しくない消費者需要に向かう強い傾向が存在している。更に、これらの主な要求は、ラウドスピーカセットアップが彼らの家環境に合うということであり、同時に、彼らはもちろんシステムが依然として高質サウンド体験、とりわけ正確な空間体験を提供するのを期待する。これらの相反する要求は、ラウドスピーカの数が増大するにつれてより顕著になる。更に、この問題は、複数の方向から聴取者に来るサウンドを伴う完全な三次元サウンド再生の供給に向かう現在の傾向に起因して、より関連するようになった。
オーディオエンコーディングフォーマットは、ますます能力があり、多様な、及び、フレキシブルなオーディオサービスを提供するために開発されている。とりわけ、空間オーディオサービスをサポートするオーディオエンコーディングフォーマットが開発されている。
MPEG、DTS及びドルビーデジタルのような良く知られたオーディオ符号化技術は、空間イメージを、聴取者の回りの固定された位置に配置される多数のチャネルとして表す符号化されたマルチチャネルオーディオ信号を生成する。マルチチャネル信号に対応するセットアップとは異なるスピーカセットアップに関して、空間イメージは、最適状態に及ばないだろう。また、チャネルベースのオーディオ符号化システムは、典型的には、異なる数のスピーカに対処することができない。
(ISO/IEC)MPEG−2は、ビットストリームフォーマットがオーディオ信号の2チャネル及び5マルチチャネルミックスを有するマルチチャネルオーディオ符号化ツールを提供する。(ISO/IEC)MPEG−1デコーダによりビットストリームをデコードしたときには、2チャネルの後方互換性をもつミックスが再生される。MPEG−2デコーダによりビットストリームをデコードしたときには、3つの補助データは、ステレオチャネルと組み合わせられた(デマトリクスされた)ときにオーディオ信号の5つのチャネルミックスをもたらすようにデコードされる。
(ISO/IEC MPEG−D)MPEGサラウンドは、既存のモノラル又はステレオベースの符号器がマルチチャネルオーディオアプリケーションまで拡張されるのを可能にするマルチチャネルオーディオ符号化ツールを提供する。図1は、MPEGサラウンドシステムの要素の一例を示している。オリジナルマルチチャネル入力の分析により取得される空間パラメータを用いて、MPEGサラウンドデコーダは、マルチチャネル出力信号を取得するために、モノラル又はステレオ信号の制御されたアップミックスにより、空間イメージを再生成することができる。
マルチチャネル入力信号の空間イメージはパラメータ化されるので、MPEGサラウンドは、マルチチャネルラウドスピーカセットアップを用いないデバイスをレンダリングすることにより、同じマルチチャネルビットストリームのデコーディングを可能にする。一例は、ヘッドホン上での仮想サラウンド再生であり、これは、MPEGサラウンドバイノーラルデコーディング処理と呼ばれる。このモードにおいて、現実的なサラウンド体験は、標準的なヘッドホンを用いている間に提供され得る。他の例は、より高いオーダのマルチチャネル出力(例えば7.1チャネル)の、より低いオーダのセットアップ(例えば5.1チャネル)への削減である。
述べられたように、空間サウンドをレンダリングするために使用されるレンダリング設定のバリエーション及びフレキシビリティは、主流派の消費者に対して利用可能になるますます多くの再生フォーマットにより、近年大幅に増大している。これは、オーディオのフレキシブルな表現を必要とする。重要なステップは、MPEGサラウンドコーデックの導入によりもたらされている。それにもかかわらず、オーディオは、依然として、特定のラウドスピーカセットアップ(例えば、ITU 5.1ラウドスピーカセットアップ)のために生成及び送信される。異なるセットアップを介した再生、及び、非標準の(即ち、フレキシブルな又はユーザ定義の)ラウドスピーカセットアップを介した再生は特定されない。実際に、特定の予め決められた及び公称のラウドスピーカセットアップから独立してオーディオエンコーディング及び表現を行うという欲求がますます存在するようになっている。多種多様な異なるラウドスピーカセットアップへのフレキシブルな適合は、デコーダ/レンダリング側で実行され得ることがますます好ましくなる。
オーディオのよりフレキシブルな表現を提供するために、MPEGは、"Spatial Audio Object Coding"(ISO/IEC MPEG−D SAOC)として知られるフォーマットを標準化した。DTS、ドルビーデジタル及びMPEGサラウンドのようなマルチチャネルオーディオ符号化システムとは対照的に、SAOCは、オーディオチャネルよりもむしろ個々のオーディオオブジェクトの効率的な符号化を提供する。MPEGサラウンドにおいて、各ラウドスピーカチャネルがサウンドオブジェクトの異なるミックスによって生じるとみなされ得るのに対し、SAOCは、図2に示されるように、マルチチャネルミックスにおいて個々のサウンドオブジェクトの位置の双方向操作を可能にする。
MPEGサラウンドと同様に、SAOCは、モノラル又はステレオダウンミクスを生成する。加えて、オブジェクトパラメータは、計算され、含められる。デコーダ側において、ユーザは、位置、レベル、均一化のような個々のオブジェクトの種々のフィーチャを制御するために、又は、残響のような効果を適用するために、これらのパラメータを操作してもよい。図3は、ユーザがSAOCビットストリームに含まれる個々のオブジェクトを制御するのを可能にするインタラクティブインタフェースを示している。レンダリングマトリクスにより、個々のサウンドオブジェクトは、スピーカチャネルにマッピングされる。
SAOCは、よりフレキシブルなアプローチを可能にし、とりわけ、再生チャネルに加えてオーディオオブジェクトを送信することにより、より多くのレンダリングベースの適応性を可能にする。これは、空間がラウドスピーカにより適切に覆われることを条件として、デコーダ側が空間における不定の位置にオーディオオブジェクトを配置するのを可能にする。このように、送信されたオーディオと再生又はレンダリングセットアップとの間に関係がなく、それ故に、不定のラウドスピーカセットアップが用いられ得る。これは、例えば典型的なリビングルームにおけるホームシネマセットアップに対して有利であり、ここで、スピーカは意図された位置にはほとんどない。SAOCにおいて、これは、オブジェクトがサウンドシーンに配置されるデコーダ側で決定され、これは、芸術的な視点から常に望まれるというわけではない。SAOC規格は、ビットストリームにおいてデフォルトのレンダリングマトリクスを送信するための手段を提供し、デコーダの責任を取り除く。しかしながら、提供された方法は、固定された再生セットアップ又は詳細不明の構文に依存する。それ故、SAOCは、ラウドスピーカセットアップと独立してオーディオシーンを完全に送信する規範的な手段を提供しない。また、SAOCは、拡散信号成分の信頼できるレンダリングに対してあまり備えられていない。拡散サウンドを取り込むためにいわゆるMBO(Multichannel Background Object)を含むという可能性があるにもかかわらず、このオブジェクトは、1つの特定のスピーカ設定に関係する。
3Dオーディオのためのオーディオフォーマットに関する他の仕様は、DTS社により開発された(Digital Theater Systems)。DTS社は、次世代のコンテンツ生成を加速させるためのオープンオブジェクトベースのオーディオ生成及びオーサリングプラットフォームであるMDA(Multi―Dimensional Audio)を開発した。MDAプラットフォームは、チャネル及びオーディオオブジェクトの双方をサポートし、任意のスピーカの数及び設定に適応する。MDAフォーマットは、個々のサウンドオブジェクトとともにレガシーマルチチャネルダウンミクスの伝送を可能にする。加えて、オブジェクトポジショニングデータが含まれる。MDAオーディオストリームを生成する原理は図4に示されている。
MDAアプローチにおいて、サウンドオブジェクトは拡張ストリームにおいて別々に受信され、これらは、マルチチャネルダウンミクスから抽出されてもよい。生ずるマルチチャネルダウンミクスは、個別に利用可能なオブジェクトと一緒にレンダリングされる。
オブジェクトは、いわゆるステムから成ってもよい。これらのステムは、基本的にグループ化された(ダウンミクスされた)トラック又はオブジェクトである。それ故、オブジェクトは、ステムにパッキングされた複数のサブオブジェクトから成ってもよい。MDAにおいて、マルチチャネルリファレンスミクスは、オーディオオブジェクトの選択によって送信され得る。MDAは、各オブジェクトのための3D位置的データを送信する。そして、オブジェクトは、3D位置的データを用いて抽出され得る。その代わりに、逆ミクス−マトリクスが送信されてもよく、オブジェクトとリファレンスミクスとの間の関係を記述する。
MDAの説明から、サウンド−シーン情報は、角度及び距離を各オブジェクトに割り当てることにより恐らく送信され、オブジェクトがどこに配置されるべきか、例えばデフォルトの前方方向に対して配置されるべきことを示す。故に、位置的情報は、各オブジェクトに対して送信される。これは、ポイント−ソースのために有益であるが、(例えば合唱団又は拍手のような)広いソースを記述すること又は(雰囲気のような)サウンドフィールドを拡散することに失敗している。全てのポイント−ソースがリファレンスミクスから抽出されたとき、アンビエントマルチチャネルミクスが残る。SAOCと同様に、MDAにおける残りのものは、特定のラウドスピーカセットアップに対して固定される。
故に、SAOC及びMDA双方のアプローチは、デコーダ側で個別に操作され得る個々のオーディオオブジェクトの伝送を取り込む。2つのアプローチ間の相違は、SAOCがダウンミクスに対してオブジェクトを特徴づけるパラメータを供給することにより(即ち、オーディオオブジェクトがデコーダ側でダウンミクスから生成されるように)オーディオオブジェクトに関する情報を供給する点であるのに対し、MDAは、(即ち、デコーダ側でダウンミクスから独立して生成され得る)完全な及び別個のオーディオオブジェクトとしてオーディオオブジェクトを供給する。双方のアプローチに関して、位置データは、オーディオオブジェクトのために通信され得る。
現在、ISO/IEC MPEGの範囲内で、MPEG 3D Audioという規格が、3Dオーディオの伝送及びレンダリングを促進するために準備されている。MPEG−3D Audioは、HEVCビデオコーディング及びMMT(MPEGメディアトランスポート)システム層とともにMPEG−Hセットの部分になることを意図される。図5は、意図されたMPEG 3D Audioシステムの現在の高水準のブロック図を示している。
従来のチャネルベースのフォーマットに加えて、本アプローチは、オブジェクトベース及びシーンベースのフォーマットをサポートすることを意図される。システムの重要な態様は、その質がビットレートを増大させるために透明にスケールすべきであるということである。即ち、データレートが増大するにつれて、エンコーディング及びデコーディングによりもたらされた劣化は、わずかになるまで低減し続けるべきである。しかしながら、斯様な要求は、過去に非常に多く用いられたパラメトリック符号化技術(即ち、MPEG−4,HE−AAC v2,MPEG Surround,MPEG−D,SAOC及びMPEG−D USAC)のための問題を含む傾向がある。とりわけ、個々の信号に対する情報損失の補償は、極めて高ビットレートでもパラメトリックデータにより完全には補正されない傾向にある。実際には、質は、パラメトリックモデルの固有の質により限定されるだろう。
更に、MPEG−3D Audioは、再生セットアップから独立している、生ずるビットストリームを提供しようとする。想定された再生可能性は、ヘッドホン及び密集したラウドスピーカを介した仮想サラウンドとともに、最大22.2チャネルのフレキシブルなラウドスピーカセットアップを含む。
要約すると、既存のサウンド再生システムの大多数は、ラウドスピーカセットアップに関して適度な量のフレキシビリティだけを可能にする。ほとんど全ての既存のシステムが、ラウドスピーカの一般的な設定に関する(例えば、聴取者の回りにおおよそ等距離に配置されるラウドスピーカ、聴取者の前のライン上に設けられるラウドスピーカ、又は、ヘッドホン)、又は、(例えば、少数の分離したローカライズ可能なソースからなるか、又は、非常に拡散したサウンドシーンからなる)コンテンツの性質に関する、或る基本的な想定から開発されているので、あらゆるシステムは、(ユーザの家におけるような)レンダリング環境において生じ得るラウドスピーカ設定の制限された範囲のための最適な体験を供給することのみが可能である。それ故、フレキシブルなラウドスピーカセットアップを可能にするサウンドレンダリングシステムの新たな種類が要求される。
故に、よりフレキシブルなオーディオシステムを開発するために種々のアクティビティが現在行われている。とりわけ、ヘッドホン及びフレキシブルなラウドスピーカセットアップに対して没入したオーディオ体験を消費者に供給する単一の効率的なフォーマットを供給する目的で、ISO/IEC MPEG−H 3Dオーディオ規格として知られるオーディオ規格を開発するためのオーディオ規格化アクティビティが開始されている。
このアクティビティは、ほとんどの消費者が、(例えば部屋の物理的制約に起因して)従来の規格の規格化されたラウドスピーカセットアップ要求に応じることができない、及び/又は、それに応じようとしないことを認めている。代わりに、彼らは、これらがどこに適していようとも、家の環境内にラウドスピーカを配置し、これは、概して、最適状態に及ばないサウンド体験をもたらす。これが単純に日常的現実であるという事実を考えれば、MPEG−H 3D オーディオイニシアティブは、好ましいラウドスピーカセットアップを考慮した最適な体験を消費者に提供することを目的としている。故に、ラウドスピーカが任意の特定の位置にあると想定する、それ故、ラウドスピーカセットアップをオーディオ規格の要件に適応させることをユーザに要求するよりはむしろ、イニシアティブは、ユーザが確立した任意の特定のラウドスピーカ設定に適応するオーディオシステムを開発しようとしている。
MPEG−H 3D Audio Call for Proposalsにおける基準のレンダリング装置は、VBAP(Vector Base Amplitude Panning;ベクトルに基づく振幅パニング)の使用に基づいている。これは、ラウドスピーカの対(又は、異なる高さにおけるラウドスピーカを含むセットアップにおける3つ)の間のソース/チャネルの再パニングを適用することにより、規格化されたラウドスピーカ設定(例えば、5.1,7.1又は22.2)からのずれを修正する確立された技術である。
VBAPは、概して、多くの状況において適切な解決策を提供することに起因した非標準のラウドスピーカ配置を修正するための基準の技術であるとみなされる。しかしながら、この技術が効果的に扱うことができるラウドスピーカ位置のずれに対する制約があることは明らかになっている。例えば、VBAPは振幅パニングに依存するので、ラウドスピーカ間、とりわけ前部と後部との間の大きなギャップを伴う使用事例においてあまり満足のいく結果を与えない。また、サラウンドコンテンツ及び前方ラウドスピーカのみを伴う使用事例を扱うことは完全にはできない。VBAPが最適状態に及ばない結果を与える他の特定の使用事例は、例えばTVの周り(又は、おそらくTVにおいて一体化されもする)のような、利用可能なラウドスピーカのサブセットが小さい領域の範囲内でクラスタ化されたときである。従って、改良されたレンダリング及び適応アプローチは望ましいだろう。
それ故、改良されたオーディオレンダリングアプローチが有利であり、とりわけ、増大されたフレキシビリティ、促進された実装及び/又は動作を可能にする、ラウドスピーカのよりフレキシブルなポジショニング、異なるラウドスピーカ設定に対する向上した適応及び/又は向上したパフォーマンスを可能にする、アプローチが有利であるだろう。
従って、本発明は、上述した欠点の1又はそれ以上を単独で又は任意の組み合わせで好ましくは緩和、軽減又は除去しようとする。
本発明の一態様によれば、オーディオデータ及び複数のオーディオトランスデューサのためのオーディオトランスデューサ位置データを受信するためのレシーバと、前記オーディオデータから前記複数のオーディオトランスデューサのためのオーディオトランスデューサ駆動信号を生成することにより前記オーディオデータをレンダリングするためのレンダリング部と、前記オーディオトランスデューサ位置データ、及び、空間距離測定基準に従った前記複数のオーディオトランスデューサのうちのオーディオトランスデューサ間の距離に基づいて、前記複数のオーディオトランスデューサをオーディオトランスデューサクラスタのセットにクラスタ化するためのクラスタ部と、前記のクラスタ化に基づいて前記のレンダリングを適応させるように構成されたレンダリングコントローラとを有する、オーディオ装置が提供される。
本発明は、多くのシナリオにおいて改良されたレンダリングを提供し得る。多くの実用的なアプリケーションにおいて、大幅に向上したユーザ体験が実現され得る。本アプローチは、オーディオをレンダリングするために使用されるオーディオトランスデューサ(詳細にはラウドスピーカ)の位置決めについて増大されたフレキシビリティ及び自由度を可能にする。多くのアプリケーション及び実施形態において、本アプローチは、レンダリングが特定のオーディオトランスデューサ設定に適応するのを可能にし得る。実際に、多くの実施形態において、本アプローチは、ユーザが(おそらく、聴取スポットを囲もうと試みるような、全般的なガイドラインに関連した)所望の位置にラウドスピーカを配置するのを可能にしてもよく、本システムは、特定の設定に自動的に適応してもよい。
本アプローチは、高度なフレキシビリティを提供し得る。実際に、クラスタ化アプローチは、特定の設定へのアドホック適応を提供し得る。例えば、本アプローチは、例えば各クラスタにおけるオーディオトランスデューサのサイズの予め決められた決定を必要としない。実際に、典型的な実施形態及びシナリオにおいて、各クラスタにおけるオーディオトランスデューサの数は、クラスタ化の前に知られていないだろう。また、各クラスタにおけるオーディオトランスデューサの数は、典型的には、(少なくとも幾つかの)異なるクラスタの間で異なるだろう。
幾つかのクラスタは、(例えば、単一のオーディオトランスデューサが、全ての他オーディオトランスデューサからの距離がクラスタ化のための所与の要件を満たすにはあまりに遠い場合に)単一のオーディオトランスデューサのみを有し得る。
クラスタ化は、空間コヒーレンスをもつオーディオトランスデューサを同じクラスタにクラスタ化させようとしてもよい。所与のクラスタにおけるオーディオトランスデューサは、最大距離又は最大隣接距離のような、所与の空間関係を有してもよい。
レンダリングコントローラは、レンダリングを適応させてもよい。前記の適応は、1又はそれ以上のクラスタのためのレンダリングアルゴリズム/モードの選択であってもよく、及び/又は、レンダリングアルゴリズム/モードのパラメータの適応/設定/変形であってもよい。
レンダリングの適応は、オーディオトランスデューサのクラスタへの配置、クラスタの数、クラスタにおけるオーディオトランスデューサのパラメータ(例えば、全てのオーディオトランスデューサ間の、又は、最も近い隣接オーディオトランスデューサ間の最大の距離)のような、クラスタ化の結果に基づいてもよい。
オーディオトランスデューサ間の距離(実際には、幾つかの実施形態において、例えば最も近い隣接物の決定等を含む全ての距離)は、空間距離測定基準に従って決定され得る。
空間距離測定基準は、多くの実施形態において、ユークリッド又は角距離であり得る。
幾つかの実施形態において、空間距離測定基準は、三次元ユークリッド距離のような三次元空間距離測定基準であってもよい。
幾つかの実施形態において、空間距離測定基準は、二次元のユークリッド距離のような二次元空間距離測定基準であってもよい。例えば、空間距離測定基準は、平面に投射されるベクトルのユークリッド距離であってもよい。例えば、2つのラウドスピーカの位置の間のベクトルは、水平面に投射されてもよく、距離は、投射されたベクトルのユークリッド長さとして決定されてもよい。
幾つかの実施形態において、空間距離測定基準は、(例えば、2つのオーディオトランスデューサの極性表現の角度値の差分に対応する)角距離のような一次元空間距離測定基準であってもよい。
オーディオトランスデューサ信号は、オーディオトランスデューサのための駆動信号であってもよい。オーディオトランスデューサ信号は、例えばフィルタリング又は増幅により、オーディオトランスデューサに供給される前に更に処理されてもよい。同等に、オーディオトランスデューサは、供給された駆動信号を増幅及び/又はフィルタリングするための機能を含むアクティブトランスデューサであってもよい。オーディオトランスデューサ信号は、複数のオーディオトランスデューサの各オーディオトランスデューサに対して生成されてもよい。
オーディオトランスデューサ位置データは、オーディオトランスデューサのセットの各オーディオトランスデューサに関する位置指標を与えてもよく、又は、そのサブセットのみに関する位置指標を与えてもよい。
オーディオデータは、オーディオチャネル、オーディオオブジェクト等のような、1又はそれ以上のオーディオ成分を有してもよい。
レンダリング部は、各オーディオ成分に対して、オーディオトランスデューサのためのオーディオトランスデューサ信号成分を生成し、複数のオーディオ成分のためのオーディオトランスデューサ信号成分を組み合わせることにより各オーディオトランスデューサに対するオーディオトランスデューサ信号を生成するように構成されてもよい。
本アプローチは、比較的多い数のオーディオトランスデューサを有するオーディオトランスデューサに非常に適している。実際に、幾つかの実施形態において、複数のオーディオトランスデューサは、10以上又は15ものオーディオトランスデューサを有する。
幾つかの実施形態において、レンダリング部は、複数のレンダリングモードに従ってオーディオ成分をレンダリング可能であってもよく、レンダリングコントローラは、クラスタ化に基づいて複数のレンダリングモードから少なくとも1つのレンダリングモードを選択するように構成されてもよい。
オーディオデータ及びオーディオトランスデューサ位置データは、幾つかの実施形態において、同じデータストリームにおいて、及び、場合により同じソースから、一緒に受信されてもよい。他の実施形態において、データは、独立していてもよく、実際には、例えば異なるフォーマットにおいて及び異なるソースから受信された、完全に分離したデータであってもよい。例えば、オーディオデータは、リモートソースからのエンコードされたオーディオデータストリームとして受信されてもよく、オーディオトランスデューサ位置データは、ローカルの手動ユーザ入力から受信されてもよい。故に、レシーバは、オーディオデータ及びオーディオトランスデューサ位置データを受信するための別々の(下位)レシーバを有してもよい。実際に、オーディオデータ及びオーディオトランスデューサ位置データを受信するための(下位)レシーバは、異なる物理デバイスにおいて実装されてもよい。
オーディオトランスデューサ駆動信号は、オーディオトランスデューサがオーディオトランスデューサ駆動信号により表されたオーディオをレンダリングするのを可能にする任意の信号であってもよい。例えば、幾つかの実施形態において、オーディオトランスデューサ駆動信号は、受動的なオーディオトランスデューサに直接供給されるアナログ出力信号であってもよい。他の実施形態において、オーディオトランスデューサ駆動信号は、例えばアクティブスピーカにより増幅され得る低出力アナログ信号であってもよい。更に他の実施形態において、オーディオトランスデューサ駆動信号は、例えばオーディオトランスデューサによりアナログ信号に変換され得るデジタル化された信号であってもよい。幾つかの実施形態において、オーディオトランスデューサ駆動信号は、例えば、ネットワーク又は例えばワイヤレス通信リンクを介してオーディオトランスデューサに通信され得るエンコードされたオーディオ信号であってもよい。斯様な例において、オーディオトランスデューサは、デコーディング機能を有してもよい。
本発明のオプショナルな特徴によれば、レンダリング部は、複数のレンダリングモードに従ってオーディオ成分をレンダリング可能であり、レンダリングコントローラは、異なるオーディオトランスデューサクラスタに対して複数のレンダリングモードからレンダリングモードを独立して選択するように構成される。
これは、多くの実施形態においてレンダリングの改良された及び効率的な適応を提供し得る。とりわけ、有利なレンダリングアルゴリズムが、これらのレンダリングアルゴリズムをサポート可能であるオーディオトランスデューササブセットに動的に及び特別に割り当てられるのを可能にする一方で、他のアルゴリズムがこれらのレンダリングアルゴリズムをサポートすることができないサブセットに適用されるのを可能にする。
レンダリングコントローラは、異なるレンダリングモードがクラスタのための考えられる選択対象であるという点で、異なるクラスタに対してレンダリングモードを独立して選択するように構成されてもよい。詳細には、一のレンダリングモードが第1のクラスタに対して選択され得る一方で、異なるレンダリングモードが異なるクラスタに対して選択される。
1つのクラスタのためのレンダリングモードの選択対象は、クラスタに属しているオーディオトランスデューサに関連付けられた特性を考慮してもよいが、例えば、幾つかのシナリオにおいて、他のクラスタに関連付けられた特性を考慮してもよい。
本発明のオプショナルな特徴によれば、レンダリング部は、アレイ処理レンダリングを実行可能であり、レンダリングコントローラは、基準を満たしている、オーディオトランスデューサクラスタのセットのうちの第1のクラスタの特性に基づいて第1のクラスタに対してアレイ処理レンダリングを選択するように構成される。
これは、多くの実施形態において向上したパフォーマンスを提供し、及び/又は、向上したユーザ体験及び又は増大した自由度及びフレキシビリティを可能にし得る。とりわけ、本アプローチは、特定のレンダリングシナリオに対する向上した適応を可能にし得る。
アレイ処理は、とりわけ効率的なレンダリングを可能にし、とりわけ、所望の空間知覚的特性によるオーディオレンダリングについて高度なフレキシビリティを可能にし得る。しかしながら、アレイ処理は、典型的には、アレイのオーディオトランスデューサがすぐ近くであることを必要とする。
アレイ処理において、オーディオ信号は、所望の放射パターンを供給するためにオーディオトランスデューサ間で調整される位相及び振幅を有する複数のオーディオトランスデューサに供給することによりレンダリングされる。位相及び振幅は、典型的には周波数依存である。
アレイ処理は、ビーム形成(beam forming)、波動場(wave field)合成及び(ビーム形成の形式とみなされ得る)ダイポール(dipole)処理を詳細に含んでもよい。異なるアレイ処理は、アレイのオーディオトランスデューサのための異なる要件を有してもよく、向上したパフォーマンスは、幾つかの実施形態において、異なるアレイ処理技術の間で選択することにより実現され得る。
本発明のオプショナルな特徴によれば、レンダリング部は、アレイ処理レンダリングを実行するように構成され、レンダリングコントローラは、オーディオトランスデューサクラスタのセットのうちの第1のクラスタの特性に基づいて第1のクラスタに対してアレイ処理レンダリングを適応させるように構成される。
これは、多くの実施形態において向上したパフォーマンスを提供し、及び/又は、向上したユーザ体験及び又は増大した自由度及びフレキシビリティを可能にし得る。とりわけ、本アプローチは、特定のレンダリングシナリオに対する向上した適応を可能にし得る。
アレイ処理は、特に効率的なレンダリングを可能にし、とりわけ、所望の知覚的空間特性によるオーディオレンダリングについて高度なフレキシビリティを可能にし得る。しかしながら、アレイ処理は、典型的には、アレイのオーディオトランスデューサがすぐ近くであることを必要とする。
本発明のオプショナルな特徴によれば、特性は、空間距離測定基準に従う最も近い隣接物である第1のクラスタのオーディオトランスデューサ間の最大距離、空間距離測定基準に従う第1のクラスタのオーディオトランスデューサ間の最大距離、第1のクラスタにおけるオーディオトランスデューサの数のうち少なくとも1つである。
これは、レンダリングの、詳細にはアレイ処理の特に有利な適応を提供し得る。
本発明のオプショナルな特徴によれば、クラスタは、オーディオトランスデューサクラスタのセットのうちの第1のクラスタのための特性指標を生成するように構成され、レンダリングコントローラは、特性指標に基づいて第1のクラスタに対してレンダリングを適応させるように構成される。
これは、多くの実施形態において向上したパフォーマンスを提供し、及び/又は、向上したユーザ体験及び/又は増大したフレキシビリティを可能にし得る。とりわけ、本アプローチは、特定のレンダリングシナリオに対する向上した適応を可能にし得る。
レンダリングの適応は、例えば、特性に基づいてレンダリングモードを選択することによるものであってもよい。別の例として、適応は、レンダリングアルゴリズムのパラメータを適合することによるものであってもよい。
本発明のオプショナルな特徴によれば、特性指標は、空間距離測定基準に従う最も近い隣接物である第1のクラスタのオーディオトランスデューサ間の最大距離、及び、第1のクラスタの任意の2つのオーディオトランスデューサ間の最大距離のグループから選択される少なくとも1つの特性を示す。
これらのパラメータは、多くの実施形態及びシナリオにおいて特に有利な適合及びパフォーマンスを提供し得る。とりわけ、これらは、多くの場合、アレイ処理の適合性及び/又はアレイ処理のための好ましいパラメータの極めて強い指標を与え得る。本発明のオプショナルな特徴によれば、特性指標は、第1のクラスタの1又はそれ以上のオーディオトランスデューサの周波数応答、レンダリング部のレンダリングモードのための周波数範囲制限、第1のクラスタにおけるオーディオトランスデューサの数、基準位置及びレンダリング環境の幾何学的特性のうち少なくとも1つに対する第1のクラスタの向き、及び、第1のクラスタの空間サイズのグループから選択される少なくとも1つの特性を示す。
これらのパラメータは、多くの実施形態及びシナリオにおいて特に有利な適合及びパフォーマンスを提供し得る。
本発明のオプショナルな特徴によれば、クラスタ部は、前の繰り返しのクラスタに対するオーディオトランスデューサの繰り返された包含に基づいてオーディオトランスデューサクラスタのセットを生成するように構成され、第1のオーディオトランスデューサは、オーディオトランスデューサクラスタのセットのうちの第1のクラスタの1又はそれ以上のオーディオトランスデューサに関して距離基準を満たしている第1のオーディオトランスデューサに基づいて第1のクラスタに含まれる。これは、多くの実施形態において特に有利なクラスタ化を提供し得る。とりわけ、次第により大きくなるクラスタが段階的に生成される"ボトムアップ"クラスタ化を可能にし得る。多くの実施形態において、有利なクラスタ化は、比較的低い計算リソース使用のために実現される。
この処理は、1つのオーディオトランスデューサを有する各クラスタを有するクラスタのセットにより初期化されてもよく、又は、例えば(例えば、所与の要件を満たす)わずかなオーディオトランスデューサの最初のクラスタのセットによって初期化されてもよい。
幾つかの実施形態において、距離基準は、以下のグループから選択される少なくとも1つの要件を有する。
− 第1のオーディオトランスデューサは、第1のクラスタの任意のオーディオトランスデューサに最も近いオーディオトランスデューサである。
− 第1のオーディオトランスデューサは、第1のクラスタの任意のオーディオトランスデューサに最も近いオーディオトランスデューサであるオーディオトランスデューサを有するオーディオトランスデューサクラスタに属している。
− 第1のクラスタのオーディオトランスデューサと第1のオーディオトランスデューサとの間の距離は、異なるクラスタのオーディオトランスデューサを有するオーディオトランスデューサペアの間の任意の他の距離より低い。
− 第1のクラスタのオーディオトランスデューサと第1のオーディオトランスデューサが属しているクラスタのオーディオトランスデューサとの間の距離は、異なるクラスタのオーディオトランスデューサを有するオーディオトランスデューサペアの間の任意の他の距離より低い。
幾つかの実施形態において、クラスタ部は、クラスタの繰り返される除算が後に続くクラスタの生成に基づいてオーディオトランスデューサクラスタのセットを生成するように構成されてもよく、クラスタの各除算は、閾値を超えるクラスタの2つのオーディオトランスデューサ間の距離に基づく。これは、多くの実施形態において特に有利なクラスタ化を提供し得る。とりわけ、これは、次第により小さくなるクラスタがより大きなクラスタから段階的に生成される"トップダウン"クラスタ化を可能にし得る。多くの実施形態において、有利なクラスタ化は、比較的低い計算リソース使用のために実現される。
この処理は、全てのクラスタを含む単一のクラスタを有するクラスタのセットにより初期化されてもよく、例えば、(例えば、所与の要件を満たす)多数のオーディオトランスデューサを有する最初のクラスタのセットにより初期化されてもよい。本発明のオプショナルな特徴によれば、クラスタ部は、クラスタにおいて空間距離測定基準に従う最も近い隣接物である2つオーディオトランスデューサが閾値を超える距離をもたないという要件の影響下にあるオーディオトランスデューサクラスタのセットを生成するように構成される。これは、多くの実施形態において特に有利なパフォーマンス及び動作を提供し得る。
例えば、アレイ処理に適していると想定され得るクラスタを生成してもよい。
幾つかの実施形態において、クラスタ部は、クラスタにおいて2つのラウドスピーカが閾値を超える距離を有するという要件の影響下でオーディオトランスデューサクラスタのセットを生成するように構成されてもよい。本発明のオプショナルな特徴によれば、クラスタ部は、複数のオーディオトランスデューサのうち少なくとも幾つかのオーディオトランスデューサの音響レンダリング特性を示すレンダリングデータを受信し、レンダリングデータに基づいて複数のオーディオトランスデューサをオーディオトランスデューサのセットにクラスタ化するように更に構成される。
これは、多くの実施形態及びシナリオにおいて、レンダリングの向上した適応を可能にし得るクラスタ化を提供し得る。音響レンダリング特性は、例えば、1又はそれ以上のオーディオトランスデューサのための、周波数帯域幅又は中央周波数のような、周波数範囲指標を含んでもよい。
とりわけ、幾つかの実施形態において、クラスタ化は、オーディオトランスデューサの、例えば主な放射方向により表される放射パターンに依存してもよい。
本発明のオプショナルな特徴によれば、クラスタ部は、レンダリング部により実行され得るレンダリングアルゴリズムの特性を示すレンダリングアルゴリズムデータを受信し、レンダリングアルゴリズムデータに基づいて複数のオーディオトランスデューサをオーディオトランスデューサクラスタのセットにクラスタ化するように更に構成される。
これは、多くの実施形態及びシナリオにおいて、レンダリングの向上した適応を可能にし得るクラスタ化を提供し得る。レンダリングアルゴリズムデータは、例えば、どのレンダリングアルゴリズム/モードがレンダリング部によりサポートされ得るか、何の制限がこれらに対して存在するか等についての指標を含んでもよい。本発明のオプショナルな特徴によれば、空間距離測定基準は、基準位置又は方向に対するオーディオトランスデューサ間の角度差を反映する角距離測定基準である。
これは、多くの実施形態において向上したパフォーマンスを提供し得る。とりわけ、例えばアレイ処理のためのクラスタの適合性に対する向上した相関関係を提供し得る。本発明の一態様によれば、オーディオデータ及び複数のオーディオトランスデューサのためのオーディオトランスデューサ位置データを受信するステップと、前記オーディオデータから前記複数のオーディオトランスデューサのためのオーディオトランスデューサ駆動信号を生成することにより前記オーディオデータをレンダリングするステップと、前記オーディオトランスデューサ位置データと空間距離測定基準に従う前記複数のオーディオトランスデューサのオーディオトランスデューサ間の距離とに基づいて前記複数のオーディオトランスデューサをオーディオトランスデューサクラスタのセットにクラスタ化するステップと、前記のクラスタ化に基づいて前記のレンダリングを適合させるステップとを有する、オーディオ処理の方法が提供される。
本発明のこれらの及び他の態様、特徴及び利点は、以下で述べられる実施形態から明らかになり、これらを参照して説明されるだろう。
本発明の実施形態は、単なる例により、図面を参照して述べられるだろう。
従来技術によるMPEGサラウンドシステムの原理の一例を示す。 従来技術によるSAOCの要素の一例を示す。 ユーザがSAOCビットストリームに含まれる個々のオブジェクトを制御するのを可能にするインタラクティブインタフェースを示す。 従来技術によるDTS MDAのオーディオエンコーディングの原理の一例を示す。 従来技術によるMPEG−H 3D Audioシステムの要素の一例を示す。 本発明の幾つかの実施形態に従うオーディオ装置の一例を示す。 本発明の幾つかの実施形態に従うラウドスピーカ設定の一例を示す。 図7のラウドスピーカ設定のためのクラスタ化の一例を示す。 本発明の幾つかの実施形態に従うラウドスピーカ設定の一例を示す。 図7のラウドスピーカ設定のためのクラスタ化の一例を示す。
以下の説明は、異なるタイプであり得る複数のオーディオ成分をレンダリングするように構成されたレンダリングシステムに、とりわけ、MPEG−H 3Dオーディオストリームのオーディオチャネル、オーディオオブジェクト及びオーディオシーンオブジェクトのレンダリングに適用可能な本発明の実施形態にフォーカスする。しかしながら、本発明は、このアプリケーションに限定されるものではなく、多くの他のオーディオレンダリングシステム及び他のオーディオストリームに適用されてもよいことが明らかであるだろう。
述べられたレンダリングシステムは、その動作を、使用される特定のオーディオトランスデューサレンダリング設定に(詳細には、レンダリングにおいて用いられるオーディオトランスデューサの特定の位置に)適合することができる適応可能なレンダリングシステムである。
大多数の既存のサウンド再生システムは、ラウドスピーカセットアップの極めて少量のフレキシビリティのみを可能にする。ラウドスピーカの一般的な設定(例えば、ラウドスピーカが、聴取者の回りに多少等離れて配置されるか、又は、聴取者の前のライン上に設けられる等)に関する、及び/又は、オーディオコンテンツの性質(例えば、少数の別個のローカライズ可能なソースから成るか、又は、非常に拡散したサウンドシーンから成る等)に関する、基本的な前提によって概ね開発されている従来のシステムに起因して、既存のシステムは、典型的には、ラウドスピーカ設定の制限された範囲のための最適な体験のみを供給することが可能である。これは、ユーザ体験、とりわけ多くの現実の使用の場合における空間体験の大幅な削減をもたらし、及び/又は、ユーザがラウドスピーカを配置するための自由度及びフレキシビリティを激しく低減する。
以下で述べられるレンダリングシステムは、高音質を供給可能であり、典型的には、広範囲の多様なラウドスピーカセットアップのための最適化された体験を可能とする適応可能なレンダリングシステムを提供する。それ故、(家庭用のレンダリングアプリケーションのためのような)多くのアプリケーションにおいて求められる自由度及びフレキシビリティを提供する。
レンダリングシステムは、クラスタのセットへのラウドスピーカのクラスタ化を実行するクラスタ化アルゴリズムの使用に基づいている。クラスタ化は、基準ポイントに対するユークリッド距離又は角度差/距離のような、適切な空間距離測定基準を用いて決定されるラウドスピーカ間の距離に基づいている。クラスタ化アプローチは、任意のラウドスピーカセットアップ及び設定に適用されてもよく、所与の設定の特定の特性を反映するクラスタの適応可能な及び動的な生成を提供し得る。詳細には、クラスタ化は、空間コヒーレンスを示すラウドスピーカを一緒に識別及びクラスタ化してもよい。そして、個々のクラスタの範囲内のこの空間コヒーレンスは、空間コヒーレンスの利用に基づくレンダリングアルゴリズムにより用いられ得る。例えば、ビーム形成レンダリングのような、アレイ処理に基づくレンダリングは、識別された個々のクラスタの範囲内で適用され得る。故に、クラスタ化は、ビーム形成処理を用いてオーディオをレンダリングするために用いられ得るラウドスピーカのクラスタの識別を可能にしてもよい。
従って、レンダリングシステムにおいて、レンダリングは、クラスタ化に依存して適合される。クラスタ化の結果に依存して、レンダリングシステムは、レンダリングの1又はそれ以上のパラメータを選択してもよい。実際に、多くの実施形態において、レンダリングアルゴリズムは、各クラスタに対して自由に選択されてもよい。故に、所与のラウドスピーカのために用いられるアルゴリズムは、クラスタ化に依存し、詳細には、ラウドスピーカが属しているクラスタに依存するだろう。レンダリングシステムは、例えば、アレイ処理(例えばビーム形成処理)によりこのクラスタからレンダリングされるオーディオを伴うラウドスピーカの単一のアレイとしての所与の数よりも多いラウドスピーカにより各クラスタを処理してもよい。
幾つかの実施形態において、レンダリングアプローチは、詳細にはラウドスピーカの全体のセットの中から1又はそれ以上のサブセットを識別し得るクラスタ化処理に基づいており、これは、適用されるべき特定のレンダリングアルゴリズムを可能にする空間コヒーレンスを有してもよい。詳細には、クラスタ化は、アレイ処理技術が効果的に適用され得るフレキシブルなラウドスピーカセットアップにおけるラウドスピーカのサブセットのフレキシブルな及び特別な生成を提供してもよい。サブセットの識別は、隣接するラウドスピーカ間の空間距離に基づく。
幾つかの実施形態において、ラウドスピーカクラスタ又はサブセットは、サブセットのレンダリングパフォーマンスに関連する1又はそれ以上のインジケータにより特徴付けられてもよく、レンダリングの1又はそれ以上のパラメータが適宜設定されてもよい。
例えば、所与のクラスタに関して、サブセットの考えられるアレイパフォーマンスのインジケータが生成されてもよい。斯様なインジケータは、例えば、サブセットの範囲内のラウドスピーカ間の最大の間隔、サブセットの全体の空間範囲(サイズ)、アレイ処理がサブセットに効果的に適用され得る周波数帯域幅、一部の基準位置に対するサブセットの位置、方向又は向き、アレイ処理の1又はそれ以上のタイプに関してその処理がサブセットに効果的に適用され得るかどうかを特定するインジケータを含んでもよい。
多くの異なるレンダリングアプローチが異なる実施形態において用いられ得るにもかかわらず、本アプローチは、詳細には、多くの実施形態において、アレイ処理に特に適している任意の所与の(ランダムな)設定においてラウドスピーカのサブセットを識別及び生成するように構成されてもよい。以下の説明は、少なくとも1つの考えられるレンダリングモードがアレイ処理を用いる実施形態にフォーカスするが、他の実施形態においてアレイ処理が使用されなくてもよいことはいうまでもないだろう。
アレイ処理を用いて、マルチラウドスピーカセットアップにより再生されるサウンドフィールドの空間特性が制御され得る。異なるタイプのアレイ処理が存在するが、一般には、この処理は、場合により周波数に依存する手段において、各ラウドスピーカ信号に適用される個々のゲイン及び位相の変更を伴う複数のラウドスピーカに共通の入力信号を送ることを含む。アレイ処理は、以下のように設計されてもよい。
− サウンドが放射される空間領域を制限する(ビーム形成)。
− 一部の所望のソース位置において仮想サウンドソースと同一である空間サウンドフィールドをもたらす(波動場合成及び同様の技術)。
− 特定の方向の方へのサウンド放射を阻止する(ダイポールアンテナ処理)。
− 聴取者に対して明瞭な指向性連想を伝えないようにサウンドをレンダリングする。
− 聴取空間における特別な位置のための所望の空間体験を生成するようにサウンドをレンダリングする(クロストークキャンセレーション及びHRTFsを用いたラウドスピーカの可聴化)。
これらは単なる幾つかの特定の例に過ぎず、任意の他のオーディオアレイ処理が代わりに又は追加的に用いられてもよいことはいうまでもないだろう。
異なるアレイ処理技術は、(例えば、ラウドスピーカ間の最大の許容可能な間隔又はアレイにおけるラウドスピーカの最小数に関する)ラウドスピーカアレイのための異なる要件を有する。これらの要件はアプリケーション及び使用事例にも依存する。これらは、アレイ処理が効果的であることを必要とされる周波数帯域幅に関連していてもよく、これらは、知覚的に誘導されてもよい。例えば、波動場合成処理は、最大25cmのラウドスピーカ間隔により効果的になってもよく、典型的には、比較的長いアレイが実際の利点をもつことを必要とする。ビーム形成処理は、一方で、典型的には、より小さなラウドスピーカ間隔(言わば、10cmより小さい)によってのみ有益であるが、比較的短いアレイにより依然として効果的であり得る一方で、ダイポール処理は、比較的密集した2つのラウドスピーカのみを必要とする。
それ故、ラウドスピーカの全体のセットの異なるサブセットは、異なるタイプのアレイ処理に適していてもよい。チャレンジは、これらの異なるサブセットを識別し、適切なアレイ処理技術がこれらに適用され得るようにこれらを特徴付けることである。述べられたレンダリングシステムにおいて、サブセットは、必要とされている特定のラウドスピーカ設定の事前認識又は前提を伴うことなく動的に決定される。この決定は、これらの空間関係上に依存するラウドスピーカのサブセットを生成するクラスタ化アプローチに基づく。
レンダリングシステムは、特定のラウドスピーカ設定に動作を適宜適応させてもよく、詳細には、向上したレンダリングを提供するために、とりわけ向上した空間レンダリングを提供するために、アレイ処理技術の使用を最適化してもよい。実際には、典型的には、アレイ処理は、適切なラウドスピーカアレイによって用いられたときに、例えば幾つかのレンダリングシステムにおいて用いられるVBAPアプローチと比較して、大幅に向上した空間体験を提供することができる。レンダリングシステムは、適切なアレイ処理をサポートし得る適切なラウドスピーカサブセットを自動的に識別することができ、これにより、向上した全体のオーディオレンダリングを可能にする。
図6は、本発明の幾つかの実施形態によるレンダリングシステム/オーディオ装置601の一例を示している。
オーディオ処理装置601は、詳細には、具体例においてはラウドスピーカ603であるオーディオトランスデューサのセットのための駆動信号を生成するオーディオレンダリング装部ある。故に、オーディオ処理装置601は、具体例においてラウドスピーカのセット603のための駆動信号であるオーディオトランスデューサ駆動信号を生成する。図6は、6つのラウドスピーカの一例を詳細に示しているが、これは、単に具体例を示しているに過ぎず、任意の数のラウドスピーカが用いられてもよいことはいうまでもないだろう。実際に、多くの実施形態において、ラウドスピーカの全体数は、10以上又は15ものラウドスピーカであり得る。
オーディオ処理装置601は、ラウドスピーカ603からレンダリングされるべき複数のオーディオ成分を有するオーディオデータを受信するレシーバ605を有する。オーディオ成分は、典型的には、ユーザに対して空間体験を提供するためにレンダリングされ、例えば、オーディオ信号、オーディオチャネル、オーディオオブジェクト及び/又はオーディオシーンオブジェクトを含んでもよい。幾つかの実施形態において、オーディオデータは、単一のモノラルオーディオ信号のみを表してもよい。他の実施形態において、異なるタイプの複数のオーディオ成分は、例えば、オーディオデータにより表されてもよい。
オーディオ処理装置601は、オーディオデータからのオーディオトランスデューサ駆動信号(以後、単純に駆動信号と呼ばれる)、即ちラウドスピーカ603のための駆動信号を生成することにより、オーディオデータ(の少なくとも部分)をレンダリングするように構成されるレンダリング部607を更に有する。故に、駆動信号がラウドスピーカ603に供給されたときに、これらは、オーディオデータにより表されるオーディオを生成する。
レンダリング部は、詳細には、受信したオーディオデータにおける多数のオーディオ成分の各々からラウドスピーカ603のための駆動信号成分を生成してもよく、そして、異なるオーディオ成分のための駆動信号成分を、単一のオーディオトランスデューサ信号に、即ち、ラウドスピーカ603に供給される最終駆動装置信号に、組み合わせる。簡潔さ及び明瞭さのために、図6及び以下の説明は、駆動信号に適用され得る標準の信号処理動作又は駆動信号を生成する時について述べないだろう。しかしながら、システムが例えばフィルタリング及び増幅機能を含んでもよいことはいうまでもないだろう。
レシーバ605は、幾つかの実施形態において、1又はそれ以上のオーディオ成分のためのエンコードされたオーディオデータを有するエンコードされたオーディオデータを受信してもよく、オーディオデータをデコードし、デコードされたオーディオストリームをレンダリング部607に供給するように構成されてもよい。詳細には、一のオーディオストリームが各オーディオ成分に対して供給されてもよい。代わりに、一のオーディオストリームは、(例えばSAOCビットストリームのためのような)複数のサウンドオブジェクトのダウンミクスであり得る。
幾つかの実施形態において、レシーバ605は、位置データをオーディオ成分のためのレンダリング部607に供給するように更に構成されてもよく、レンダリング部607は、オーディオ成分を適宜配置してもよい。幾つかの実施形態において、位置データは、別個のアルゴリズムにより、例えばユーザ入力から供給されてもよく、又は、レンダリングシステム/オーディオ装置601自体により生成されてもよい。一般に、位置データが任意の適切な手段において及び任意の適切なフォーマットにおいて生成及び供給されてもよいことはいうまでもないだろう。
従来のシステムとは対照的に、図6のオーディオ処理装置601は、ラウドスピーカ603の予め決められた又は想定された位置に基づいて駆動信号を生成するだけではない。むしろ、システムは、レンダリングをラウドスピーカの特定の設定に適応させる。この適応は、ラウドスピーカ603の、オーディオトランスデューサクラスタのセットへのクラスタ化に基づく。
従って、レンダリングシステムは、複数のオーディオトランスデューサをオーディオトランスデューサクラスタのセットにクラスタ化するように構成されるクラスタ部609を有する。故に、ラウドスピーカ603のサブセットに対応する複数のクラスタは、クラスタ部609により生成される。1又はそれ以上の生ずるクラスタは、単一のラウドスピーカのみを有してもよく、又は、複数のラウドスピーカ603を有してもよい。1又はそれ以上のクラスタにおけるラウドスピーカの数は、予め決められたものではないが、ラウドスピーカ603間の空間関係に依存する。
クラスタ化は、レシーバ605からクラスタ部609に供給されるオーディオトランスデューサ位置データに基づく。クラスタ化は、空間距離が空間距離測定基準に従って決定される、ラウドスピーカ603間の空間距離に基づく。空間距離測定基準は、例えば、二又は三次元のユークリッド距離であってもよく、又は、適切な基準ポイント(例えば、聴取位置)に対する角距離であってもよい。
オーディオトランスデューサ位置データは、(例えば、聴取位置に対する、ラウドスピーカ603の他の位置に対する位置、又は、環境における別々のローカライゼーションデバイス又は他のデバイスの位置を含む)絶対的な又は相対的な位置を含む1又はそれ以上のラウドスピーカ603の位置の指標を供給する任意のデータであってもよいことはいうまでもないだろう。オーディオトランスデューサ位置データが任意の適切な手段において供給又は生成されてもよいことも理解されるだろう。例えば、幾つかの実施形態において、オーディオトランスデューサ位置データは、例えば(聴取位置のような)基準位置に対する実際の位置として、又は、ラウドスピーカ間の距離及び角度として、ユーザにより手動で入力されてもよい。他の例において、オーディオ処理装置601は、測定に基づいてラウドスピーカ603の位置を推定するための機能をそれ自身が有してもよい。例えば、ラウドスピーカ603は、マイクロフォンを備えてもよく、これは、位置を推定するために用いられてもよい。例えば、各ラウドスピーカ603は、テスト信号を順次レンダリングしてもよく、マイクロフォン信号におけるテスト信号成分間の時間差が決定されてもよく、テスト信号をレンダリングするラウドスピーカ603までの距離を推定するために用いられてもよい。そして、複数(及び典型的には全て)のラウドスピーカ603のためのテストから取得された距離の完全なセットは、ラウドスピーカ603のための相対位置を推定するために用いられ得る。
クラスタ化は、空間コヒーレンスを有するラウドスピーカをクラスタにクラスタ化しようとするだろう。故に、ラウドスピーカのクラスタは、各クラスタの範囲内のラウドスピーカが互いに対して1又はそれ以上の距離要件を満たす所で生成される。例えば、各クラスタは、各ラウドスピーカが予め決められた閾値より低いクラスタの少なくとも1つの他のラウドスピーカまでの(距離測定基準に従う)距離を有するラウドスピーカのセットを有してもよい。幾つかの実施形態において、クラスタの生成は、クラスタにおける任意の2つのラウドスピーカ間の(距離測定基準に従う)最大の距離が閾値より小さいという要件の影響下にあってもよい。
クラスタ部609は、距離測定基準、位置データ及びクラスタのラウドスピーカのための相対的な距離要件に基づいてクラスタ化を実行するように構成される。故に、クラスタ部609は、任意の特定のラウドスピーカ位置又は設定を想定しないか又は必要としない。むしろ、任意のラウドスピーカ設定は、位置データに基づいてクラスタ化してもよい。所与のラウドスピーカ設定が適切な空間コヒーレンスによって配置されるラウドスピーカのセットを実際に有する場合、クラスタ化は、ラウドスピーカのセットを有するクラスタを生成するだろう。同時に、所望の空間コヒーレンスを呈するために任意の他のラウドスピーカにあまり近くないラウドスピーカは、ラウドスピーカ自身のみを有するクラスタになるだろう。
それ故、クラスタ化は、任意のラウドスピーカ設定への極めてフレキシブルな適応を提供し得る。実際に、任意の所与のラウドスピーカ設定に関して、クラスタ化は、例えば、アレイ処理に適しているラウドスピーカ603の任意のサブセットを識別してもよい。
クラスタ部609は、レンダリング部607に更に結合される適応/レンダリングコントローラ611に結合される。レンダリングコントローラ611は、クラスタ化に基づいてレンダリング部607によりレンダリングを適応させるように構成される。
それ故、クラスタ部609は、クラスタ化の結果を記述するデータをレンダリングコントローラ611に供給する。データは、詳細には、どのラウドスピーカ603がどのクラスタに属しているかという指標、即ち生ずるクラスタの及びこれらの構成要素の指標を含んでもよい。多くの実施形態において、ラウドスピーカが1つを超えるクラスタに属していてもよいことに注意すべきである。ラウドスピーカが各クラスタ内にあるという情報に加えて、クラスタ部609は、例えばクラスタにおけるラウドスピーカ間の平均又は最大の距離の指標(例えば、クラスタにおける各ラウドスピーカとクラスタの最も近い他のラウドスピーカとの間の平均又は最大の距離)のような、追加の情報を生成してもよい。
レンダリングコントローラ611は、クラスタ部609から情報を受信し、それに基づいて、特定のクラスタ化にレンダリングを適応させるようにレンダリング部607を制御するように構成される。この適応は、例えば、例えばレンダリングモード/アルゴリズムの1又はそれ以上のパラメータの設定による、レンダリングモード/アルゴリズムの設定、及び/又は、レンダリングモード/アルゴリズムの選択であってもよい。
例えば、レンダリングコントローラ611は、所与のクラスタに関して、クラスタに適しているレンダリングアルゴリズムを選択する。例えば、クラスタが単一のラウドスピーカのみを有する場合、幾つかのオーディオ成分のレンダリングは、例えば異なるクラスタに属している他のラウドスピーカを用いるVBAPアルゴリズムによるものであってもよい。しかしながら、クラスタが、代わりに、充分な数のラウドスピーカを有する場合、オーディオ成分のレンダリングは、代わりに、ビーム形成又は波動場合成のようなアレイ処理を用いて実行されてもよい。故に、本アプローチは、アレイ処理技術が空間認知力を向上させるために適用され得る一方で同時にこれが可能ではないときに他のレンダリングモードが用いられるのを可能にするラウドスピーカの自動検出及びクラスタ化を可能にする。
幾つかの実施形態において、レンダリングモードのパラメータは、更なる特性に依存してセットされてもよい。例えば、実際のアレイ処理は、アレイ処理レンダリングのために使用される所与のクラスタにおけるラウドスピーカの特定の位置を反映するように適合されてもよい。
他の例として、レンダリングモード/アルゴリズムが予め選択されてもよく、レンダリングのためのパラメータは、クラスタ化に依存してセットされてもよい。例えば、ビーム形成アルゴリズムは、所与のクラスタに含まれるラウドスピーカの数を反映するように適合されてもよい。
故に、幾つかの実施形態において、レンダリングコントローラ611は、クラスタ化に依存して多数の異なるアルゴリズム間で選択するように構成され、詳細には、異なるクラスタに対して異なるレンダリングアルゴリズムを選択可能である。
とりわけ、レンダリング部607は、異なる特性を有する複数のレンダリングモードに従ってオーディオ成分をレンダリングするように動作可能であってもよい。例えば、幾つかのレンダリングモードは、非常に特別な、及び、非常にローカライズされたオーディオ認識を与えるレンダリングを与えるアルゴリズムを使用するのに対し、他のレンダリングモードは、拡散した、及び、広げられた位置認識を与えるレンダリングアルゴリズムを使用する。故に、レンダリング及び知覚された空間体験は、どのレンダリングアルゴリズムが用いられるかに依存して極めて大幅に異なり得る。また、異なるレンダリングアルゴリズムは、オーディオをレンダリングするために使用されるラウドスピーカ603に対する異なる要件を有してもよい。例えば、ビーム形成又は波動場合成のようなアレイ処理は、一緒に近くに配置される複数のラウドスピーカを必要とするのに対し、VBAP技術は、更に離れて配置されるラウドスピーカによって用いられ得る。
特定の実施形態において、レンダリングコントローラ611は、レンダリング部607により用いられるレンダリングモードを制御するように構成される。故に、レンダリングコントローラ611は、どの特定のレンダリングアルゴリズムがレンダリング部607によって用いられるかを制御する。レンダリングコントローラ611は、クラスタ化に基づいてレンダリングモードを選択し、それ故、オーディオ処理装置601により使用されるレンダリングアルゴリズムは、ラウドスピーカ603の位置に依存するだろう。
レンダリングコントローラ611は、レンダリング特性を調整するだけではなく、又は、システムのためのレンダリングモード間を全体として切り替えるだけではない。むしろ、図6のオーディオ処理装置601は、個々のラウドスピーカクラスタのためのレンダリングモード及びアルゴリズムを選択するように構成される。この選択は、典型的には、クラスタにおけるラウドスピーカ603の特定の特性に依存する。故に、一のレンダリングモードが幾つかのラウドスピーカ603に対して用いられてもよいのに対し、他のレンダリングモードが(異なるクラスタにおける)他のラウドスピーカ603に対して同時に用いられてもよい。それ故、斯様な実施形態において、図6のシステムによりレンダリングされるオーディオは、空間レンダリングモードがクラスタ化に依存して選択される、ラウドスピーカ603の異なるサブセットに対する異なる空間レンダリングモードの適用の組み合わせである。
レンダリングコントローラ611は、詳細には、各クラスタに対してレンダリングモードを独立して選択してもよい。
異なるクラスタに対する異なるレンダリングアルゴリズムの使用は、多くのシナリオにおいて向上したパフォーマンスを提供し、特定のレンダリングセットアップへの向上した適応を可能にし得る一方で、多くのシナリオにおいて向上した空間体験を提供する。
幾つかの実施形態において、レンダリングコントローラ611は、異なるオーディオ成分に対して異なるレンダリングアルゴリズムを選択するように構成されてもよい。例えば、異なるアルゴリズムは、オーディオ成分の所望の位置又はタイプに依存して選択されてもよい。例えば、空間的に明確に定義されたオーディオ成分が2つのクラスタの間の位置からレンダリングされることを意図される場合、レンダリングコントローラ611は、例えば、異なるクラスタからのラウドスピーカを用いてVBAPレンダリングアルゴリズムを選択してもよい。しかしながら、より拡散したオーディオ成分がレンダリングされる場合、ビーム形成は、聴取位置の方向に切欠きをもつビームによりオーディオ成分をレンダリングするために1つのクラスタ内で用いられてもよく、これにより、任意の直接的な音響経路を減衰させる。
本アプローチは、少ない数のラウドスピーカによって用いられてもよいが、多くの実施形態において、より多い数のラウドスピーカを用いたシステムに対して特に有利であり得る。本アプローチは、例えば合計4つのラウドスピーカを有するシステムに対しても利点を提供し得る。しかしながら、これは、例えば10以上又は15のラウドスピーカを有するシステムのような、多数のラウドスピーカを有する設定をサポートしてもよい。例えば、本システムは、ユーザが部屋の周りに多数のラウドスピーカを配置するように単純に尋ねられる使用シナリオを可能にし得る。そして、本システムは、クラスタ化を実行することができ、これを、ラウドスピーカのユーザポジショニングから生じている特定のラウドスピーカ設定にレンダリングを自動的に適応させるために用いる。
異なるクラスタ化アルゴリズムが異なる実施形態において用いられてもよい。以下において、適切なクラスタ化アルゴリズムの幾つかの特定の例が述べられるだろう。クラスタ化は、適切な空間距離測定基準に従って測定されるラウドスピーカ間の空間距離に基づく。これは、詳細には、ユークリッド距離(典型的には、二次元又は三次元距離)又は角距離であり得る。クラスタ化は、クラスタのラウドスピーカ間の距離のための要件のセットを満たす空間関係をもつラウドスピーカをクラスタ化しようとする。これらの要件は、典型的には、各ラウドスピーカに関して、クラスタの少なくとも1つの他のラウドスピーカまでの距離が閾値より小さいという要件を含み得る(又はからなり得る。一般に、多くの異なるストラテジ及びアルゴリズムが、データセットをサブセットにクラスタ化するために存在する。クラスタ化の背景及び目的に依存して、幾つかのクラスタ化ストラテジ及びアルゴリズムは、他のものより適切である。
アレイ処理が用いられる述べられたシステムにおいて、クラスタ化は、セットアップにおけるラウドスピーカ間の空間距離に基づく。これは、アレイにおけるラウドスピーカ間の空間距離がアレイ処理の任意のタイプの有効性を決定することについての原理パラメータであるためである。より詳しくは、クラスタ部609は、クラスタ内のラウドスピーカ間で生じる最大の間隔に関する或る要件を満たすラウドスピーカのクラスタを識別しようとする。
典型的には、クラスタ化は、クラスタのセットが変更される繰り返しの数を有する。詳細には、"階層的な"クラスタ化(又は、"コネクティビティベースの"クラスタ化)として知られるクラスタ化ストラテジの種類が、多くの場合有利である。斯様なクラスタ化方法において、クラスタは、基本的には、クラスタ内の要素を接続するために必要とされる最大の距離により規定される。
階層的なクラスタ化の主な特性は、クラスタ化が異なる最大距離に対して実行されるときに、結果は、クラスタの、階層又はツリー構造であり、より大きなクラスタはより小さなサブクラスタを含み、これらは、更に小さなサブサブクラスタも含むことである。
階層的なクラスタ化の種類の範囲内において、クラスタ化を実行するための2つの異なるアプローチが区別され得る。より小さなクラスタが、例えば個々のより小さなクラスタより緩い最大距離基準を満たし得る、より大きなものにマージされる、凝集又は"ボトムアップ"のクラスタ化。より大きなクラスタが、より大きなクラスタより厳しい最大距離要件を満たし得る、より小さなクラスタに分解される、分析的又は"トップダウン"クラスタ化。ここで述べられるものより他のクラスタ化方法及びアルゴリズムが本発明から逸脱することなく用いられてもよいことはいうまでもないだろう。例えば、"最近接チェイン"アルゴリズム又は"密度に基づくクラスタ化"方法が幾つかの実施形態において用いられてもよい。
クラスタ部609が各繰り返しにおける1又はそれ以上のクラスタを発達させようとする、反復的なアプローチを用いる第1のクラスタ化アプローチが述べられるだろう。即ち、ボトムアップクラスタ化方法が述べられるだろう。この例では、クラスタ化は、前の繰り返しのクラスタに対するオーディオトランスデューサの繰り返された包含に基づく。幾つかの実施形態において、1つのクラスタだけが各繰り返しにおいて考慮される。他の実施形態において、複数のクラスタは、各繰り返しにおいて考慮されてもよい。本アプローチにおいて、追加のラウドスピーカは、ラウドスピーカがクラスタにおける1又はそれ以上のラウドスピーカの適切な距離基準を満たす場合に、所与のクラスタに含まれてもよい。詳細には、ラウドスピーカは、所与のクラスタにおけるラウドスピーカまでの距離が閾値よりも低い場合、所与のクラスタに含まれてもよい。幾つかの実施形態において、閾値は、固定された値であってもよく、それ故、予め決められた値よりクラスタのラウドスピーカに近い場合にラウドスピーカが含まれる。他の実施形態において、閾値は、可変であってもよく、例えば、他のラウドスピーカまでの距離に対するものであってもよい。例えば、ラウドスピーカは、最大の許容可能な距離に対応する固定された閾値より低く、ラウドスピーカが実際にクラスタに最も近いラウドスピーカであることを保証する閾値より低い場合に含まれてもよい。
幾つかの実施形態において、クラスタ部609は、第2のクラスタのラウドスピーカが第1のクラスタへの包含に適していることを見出された場合、第1及び第2のクラスタをマージするように構成されてもよい。
例となるクラスタ化アプローチを説明するために、図7の例となるセットアップが考慮されてもよい。セットアップは、空間位置が知られているものと想定される(即ち、オーディオトランスデューサ位置データがクラスタ部609に供給されている)16のラウドスピーカから成る。
クラスタ化は、最初に全ての最近接ペアを識別することにより開始する。即ち、各ラウドスピーカに関して、最も近いラウドスピーカが見つけられる。この時点において、距離が、異なる実施形態において異なる手段で規定されてもよい、即ち、異なる空間距離測定基準が用いられてもよいことに注意すべきである。明確にするため、空間距離測定基準は"ユークリッド距離"、即ち、空間における2つのポイント間の距離で最も共通の定義であることが想定されるだろう。
見つけられるペアは、このセットアップのための最も低いレベルのクラスタ又はサブセットである。即ち、これらは、クラスタの階層的なツリー構造における最も低い分岐を形成する。我々は、この第1のステップにおいて、ラウドスピーカ間の距離(間隔)が或る値Dmaxより低い場合、ラウドスピーカのペアが"クラスタ"としかみなされないという追加の要件を課してもよい。この値は、本アプリケーションに関して選択されてもよい。例えば、目的がアレイ処理のために用いられ得るラウドスピーカのクラスタを識別することである場合、我々は、2つのラウドスピーカが例えば50cmを超えて分離されるペアを除外してもよい。これは、我々が、有益なアレイ処理が斯様なラウドスピーカ間の間隔を超えて可能ではないことを知っているためである。50cmのこの上限を用いて、我々は、図8の表の第1列にリストアップされるペアを見つける。各ペアに対してリストアップされるものは、対応する間隔
Figure 2016525813
である。
次の繰り返しにおいて、最も近い隣接物が、第1のステップにおいて見つけられたクラスタのそれぞれに対して見つけられ、この最も近い隣接物がクラスタに追加される。最も近い隣接物は、この場合、距離測定基準に従って決定される距離によってクラスタの内のラウドスピーカのうちいずれかまでの最も短い距離をもつクラスタの外側のラウドスピーカ(これは、"最小の"、"単一結合の"又は"最近接の"クラスタ化として知られる)として規定される。
従って、各クラスタに関して、我々は、(我々がAとラベル付けした)クラスタの外側のラウドスピーカjを見つける。
Figure 2016525813
は、Aの外側の全てのラウドスピーカの最も小さな値を有する。d(i,j)は、ラウドスピーカの位置i及びjの間の用いられた距離測定基準である。
故に、この例において、第1のクラスタにおける第1のラウドスピーカを含むための要件は、第1のラウドスピーカが第1のクラスタの任意のラウドスピーカに最も近いラウドスピーカであることを要する。
また、この繰り返しにおいて、我々は、ラウドスピーカをあまりに遠く離れているクラスタに追加することを阻止するために、クラスタにおける全てのラウドスピーカからDmaxより更に離れた最も近い隣接物を除外してもよい。故に、この包含は、距離が所与の閾値を超えないという要件下にあってもよい。
先に述べた方法は、一度に単一の要素(ラウドスピーカ)により成長するクラスタをもたらす。
クラスタのマージ(又は"連結")は、アプリケーションに依存し得る一部のマージ(又は"連結")ルールに従って、発生するのを可能にし得る。
例えば、ラウドスピーカアレイ処理を用いた例において、クラスタAの識別された最も近い隣接物が既に他のクラスタBの部分である場合、その後、2つのクラスタが単一のものにマージされることを意味する。これは、最も近い隣接物だけがクラスタAに追加される場合よりも大きなラウドスピーカアレイ及びそれ故により効果的なアレイ処理をもたらすためである(クラスタA及びB間の距離が双方のクラスタA及びBの範囲内の最大間隔に常に少なくとも等しいことに留意されたい。従って、クラスタA及びBのマージは、最も近い隣接物のみをクラスタAに追加することよりも、生ずるクラスタにおける最大間隔を増大しない。従って、最も近い隣接物のみが追加される場合よりもマージされたクラスタの範囲内のより大きな最大間隔をもたらすという意味においてクラスタをマージする副作用はあり得ない)。
故に、幾つかの実施形態において、第1のクラスタに第1のラウドスピーカを含むための要件は、第1のラウドスピーカが、第1のクラスタの任意のラウドスピーカに最も近いラウドスピーカであるラウドスピーカを有するクラスタに属していることを要する。
例えば適用要件に依存して、マージのルールに対するバリエーションが考えられることに注意されたい。
(先に述べたマージルールによる)この第2のクラスタ化の繰り返しの生ずるクラスタは、これらの対応する最大間隔
Figure 2016525813
とともに、図8の表の第2列においてリストアップされる。
この繰り返しは、新たなより高レベルのクラスタが見つからなくなるまで繰り返され、その後、クラスタ化が完了する。
図8の表は、図7の例となるセットアップのために識別される全てのクラスタをリストアップする。
我々は、全体で10のクラスタが識別されていることを知る。最も高いクラスタ化レベルには2つのクラスタがある。1つは、6のラウドスピーカ(4つのクラスタ化ステップの後に生ずる、図7における楕円体701により示される、1,2,3,4,15及び16)からなる。1つは、3のラウドスピーカ(2つのクラスタ化の繰り返しの後に生ずる、図7における楕円体703により示される、8,9及び10)からなる。2つのラウドスピーカからなる6の最も低いレベルのクラスタがある。繰り返し数3において、前記のマージルールに従って、共通のラウドスピーカを有しない2つのクラスタ((1,2,16)及び(3,4))はマージされることに留意されたい。全ての他のマージは、1つのラウドスピーカが他のクラスタに既に属している2つのラウドスピーカクラスタを含み、従って、効果的に、2つのラウドスピーカクラスタの他のラウドスピーカだけが他のクラスタに追加される。
各クラスタに関して、図8の表は、クラスタ内で生じる最も大きなラウドスピーカ間の間隔
Figure 2016525813
をリストアップしている。ボトムアップのアプローチにおいて、
Figure 2016525813
は、前のクラスタ化ステップからの全ての構成するクラスタのための
Figure 2016525813
の値の最大のもの、及び、マージが現在のクラスタ化ステップにおいて生じる2つのラウドスピーカ間の距離として各々のクラスタに対して規定され得る。故に、あらゆるクラスタに対して、
Figure 2016525813
の値は、そのサブクラスタの
Figure 2016525813
の値に常に等しいか又はこの値より大きい。換言すれば、連続的な繰り返しにおいて、クラスタは、より小さなクラスタから、単調に増大する最大の間隔を有するより大きなクラスタに成長する。
前記のボトムアップの実施形態の代替バージョンにおいて、各クラスタ化の繰り返しにおいて、セットにおける2つの最も近い隣接物(クラスタ及び/又は個々のラウドスピーカ)だけが見つけられ、マージされる。故に、第1の繰り返しにおいて、別個のクラスタに依然としてある全ての個々のラウドスピーカによれば、我々は、これらの間の最も小さな距離を有する2つのラウドスピーカを見つけることにより開始し、2つのラウドスピーカクラスタを形成するためにこれらを連結する。そして、手順は繰り返され、最も近い隣接物のペア(クラスタ及び/又は個々のラウドスピーカ)を見つける及び連結する等を行う。この手順は、全てのラウドスピーカが単一のクラスタにマージされるまで実行されてもよく、又は、最も近い隣接物が或る制限(例えば50cm)を一旦超えると終了されてもよい。
故に、この例において、第1のラウドスピーカを第1のクラスタに含むための要件は、第1のクラスタのラウドスピーカと第1のラウドスピーカとの間の距離が、異なるクラスタのラウドスピーカを有するラウドスピーカペアの間の任意の他の距離よりも低いことを要するか、又は、第1のクラスタのラウドスピーカと第1のラウドスピーカが属しているクラスタのラウドスピーカとの間の距離が、異なるクラスタのラウドスピーカを有するラウドスピーカペアの間の任意の他の距離より低いことを要する。
図7の例に関して、特定のアプローチは、以下のクラスタ化ステップをもたらす。
Figure 2016525813
従って、我々は、図8の表においてボールド体で示された、この手順から生ずるクラスタが、第1のクラスタ化の例を用いて見出されたクラスタのサブセットを形成することを知る。これは、第1の例において、ラウドスピーカが、階層的な関係をもたない複数のクラスタの要素であり得るのに対し、第2の例において、クラスタメンバーシップが排他的であるためである。
幾つかの実施形態において、前記のボトムアップのアプローチから得られるような、完全なクラスタ化階層は必要とされないかもしれない。代わりに、最大の間隔に関する1又はそれ以上の特定の要件を満たすクラスタを識別することが十分であるかもしれない。例えば、我々は、(例えば、50cmに等しい)所与の閾値Dmaxの最大の間隔をもつ全ての最も高いレベルのクラスタを識別したいかもしれない。これは、例えば、これは、特定のレンダリングアルゴリズムが効果的に適用され得る最大の間隔と見なされるためである。
これは、以下のように実現され得る。ラウドスピーカのうちの1つ(即ち、ラウドスピーカ1)により開始すると、最大の可能な値Dmaxより小さい、このラウドスピーカ1までの距離を有する全てのラウドスピーカが見つけられる。より大きな距離をもつラウドスピーカは、考慮中にレンダリング処理方法のうちいずれかを用いて、一緒に効果的に用いられるにはラウドスピーカ1からあまりに離れ過ぎているとみなされる。最大の値は、例えばアレイ処理のどのタイプが考慮されるかに依存して、例えば25又は50cmにセットされ得る。ラウドスピーカの生ずるクラスタは、ラウドスピーカ1が要素であり、最大の間隔基準を満たす、最も大きなサブセットを構成することについて、第1の繰り返しである。
そして、同じ手順は、(もしあれば)ラウドスピーカ1のクラスタにあるラウドスピーカに対して実行される。ここで見つけられるラウドスピーカは、既にクラスタの部分であったものを除いて、クラスタに追加される。このステップは、追加のラウドスピーカが見つけられなくなるまで、新しく追加されたラウドスピーカに対して繰り返される。この時点において、ラウドスピーカ1が属しており、最大の間隔基準を満たす最も大きなクラスタが識別された。
この手順をDmax=0.5mを伴う図7のセットアップに適用し、ラウドスピーカ1で開始することは、前と同じように、ラウドスピーカ1,2,3,4,15及び16を含む、楕円701により示されるクラスタをもたらす。この手順において、このクラスタ/サブセットは、2つの繰り返しだけで構成される。第1回の後、サブセットは、ラウドスピーカ1,2,3及び16を含み、全てがラウドスピーカ1からDmaxより小さい距離だけ離れている。第2の繰り返しにおいて、ラウドスピーカ2及び3並びにラウドスピーカ16からDmaxより少ない距離だけ離れている、ラウドスピーカ4及び15が追加される。次の繰り返しにおいて更なるラウドスピーカは追加されない。従って、クラスタ化は終了される。
連続的な繰り返しにおいて、前に見つけられたサブセットのいずれとも重複していない他のクラスタが同様に識別される。各繰り返しにおいて、前に識別されたサブセットのいずれかの部分であると識別されなかったラウドスピーカだけが考慮される必要がある。
この手順の終わりに、全ての最も近い隣接物がほとんどのDmaxのラウドスピーカ間距離を有する全ての最も大きなクラスタが識別された。
図7の例となるセットアップに関して、楕円703により前と同じように示され、ラウドスピーカ8,9及び10を含む1つだけの追加のクラスタが見つけられる。
最大の間隔Dmaxに関する異なる要件を満たす全てのクラスタを見つけるために、上で概説される手順は、Dmaxのこの新たな値によって前と同じように単純に実行され得る。新たなDmaxが前のものより小さい場合、見つけられるクラスタは、常に、Dmaxのより大きな値によって見つけられるクラスタのサブクラスタであることに留意されたい。これは、手順がDmaxの複数の値に対して実行される場合、最も大きな値から開始し、値を単調に減少させることが効率的であることを意味する。これは、あらゆる次の評価が、前のものから生じたクラスタに適用されることだけを必要とするためである。
例えば、Dmax=0.25mの値が0.5mの代わりに図7のセットアップのために用いられる場合、2つのサブクラスタが見つけられる。第1のものは、ラウドスピーカ15を引いたラウドスピーカ1を含む元のクラスタである一方で、第2のものは、依然としてラウドスピーカ8,9及び10を含む。Dmaxが0.15mまで更に減少する場合、ラウドスピーカ1及び16を含む単一のクラスタだけが見つけられる。
幾つかの実施形態において、クラスタ部609は、クラスタの繰り返された分割が後に続くクラスタの最初の生成に基づいてクラスタのセットを生成するように構成されてもよい。クラスタの各分割は、閾値を超えるクラスタの2つのオーディオトランスデューサ間の距離に基づく。故に、幾つかの実施形態において、トップダウンクラスタ化が考慮され得る。
トップダウンクラスタ化は、ボトムアップのクラスタ化の反対の方法で動作するものとみなされ得る。これは、単一のクラスタに全てのラウドスピーカを置くことにより開始してもよく、その後、再帰的な繰り返しにおけるクラスタをより小さなクラスタに分割する。各分割は、2つの生ずる新たなクラスタ間の空間距離測定基準が最大になるように行われてもよい。これは、かなり多くの要素(ラウドスピーカ)を有する多次元設定に対して実装するために非常に面倒であるかもしれない。とりわけ処理の最初の段階において、評価されなければならない考えられる分割の数が非常に大きくなり得るためである。それ故、幾つかの実施形態において、斯様なクラスタ化方法は、前のクラスタ化ステップと組み合わせて用いられてもよい。
前に述べられたクラスタ化アプローチは、トップダウンクラスタ化手順のための最も高いレベルの開始ポイントとして機能し得る最初のクラスタ化を生成するために用いられてもよい。従って、単一の最初のクラスタにおける全てのラウドスピーカから開始するよりはむしろ、我々は、有益であるとみなされる最もゆるい間隔要件(例えば50cmの最大間隔)を満たす最も大きなクラスタを識別するために低い複雑性のクラスタ化手順を最初に用い、そして、これらのクラスタに対してトップダウンクラスタ化手順を実行し、最も小さな考えられる(2つのラウドスピーカ)クラスタに達するまで、連続的な繰り返しにおいて各クラスタをより小さなものへと分解する。これは、トップダウンクラスタ化における第1のステップが大き過ぎる最大間隔に起因して有益でないクラスタをもたらすことを阻止する。前に論じられたように、ここで回避されるこれらの第1のトップダウンクラスタ化ステップは、最もコンピュータ処理的に厳しい。これは、多くのクラスタ化の可能性が評価される必要があるためであり、従って、実際にこれらを実行する必要性を除去することは、手順の効率を大幅に向上させ得る。
トップダウン手順の各繰り返しにおいて、クラスタは、クラスタの範囲内で生じる最も大きな間隔の位置で分割される。このための合理的根拠は、この最も大きい間隔が、アレイ処理がクラスタに効果的に適用され得る最大の周波数を決定する限定因子である点である。この最も大きな間隔でのクラスタを分割することは、各々が、親クラスタよりも、より小さな最も大きな間隔を有し、それ故により高い最大の効果的な周波数を有する、2つの新たなクラスタをもたらす。クラスタは、2つだけのラウドスピーカからなるクラスタが残るまで、単調に減少する最大の間隔によって、より小さなクラスタに更に分割され得る。
クラスタが一次元のセット(線形アレイ)の場合において分割されるべき位置を見つけることは些細なことであるが、これは、クラスタを2つのサブクラスタに分割するための多くの考えられる手段があるので、2D又は3D設定には当てはまらない。原理上、しかしながら、2つのサブクラスタへの全ての考えられる分割を考慮し、これらの間の最も大きな間隔をもたらすものを見つけることが可能である。2つのクラスタ間のこの間隔は、1つのサブクラスタの要素である1つのラウドスピーカと他のサブクラスタの要素である他のラウドスピーカとを有するラウドスピーカの任意のペアの間の最も小さな距離として規定されてもよい。
従って、サブクラスタA及びBへの考えられる各分割に対して、我々は、
Figure 2016525813
の値を決めることができる。分割は、この値が最大になるように行われる。一例として、ラウドスピーカ1,2,3,4,15及び16を含む、楕円701により示された図7におけるセットアップのクラスタを考慮する。このクラスタにおける最も大きな間隔(0.45m)は、ラウドスピーカ1,2,3,4及び16からなるクラスタとラウドスピーカ15のみからなるクラスタとの間で見出される。それ故、第1の分割は、クラスタからのラウドスピーカ15の除去をもたらす。新たなクラスタにおいて、最も大きな間隔(0.25m)は、ラウドスピーカ1,2及び16からなるクラスタとラウドスピーカ3及び4からなるクラスタとの間で見出され、従って、クラスタは、これらの2つのより小さなクラスタに分割される。最終的な分割は、最も大きな間隔(0.22m)がラウドスピーカ1及び16からなるクラスタとラウドスピーカ2のみからなるクラスタとの間で見出される残りの3つのラウドスピーカクラスタに対して行われ得る。従って、最終的な分割において、ラウドスピーカ2が除去され、ラウドスピーカ1及び16からなる最終的なクラスタが残る。
図7における楕円703により示されたクラスタに同じ手順を適用することは、ラウドスピーカ8及び9からなるクラスタとラウドスピーカ10のみからなるクラスタとの間の分割をもたらす。
本システムにおいて、全ての距離は、適切な距離測定基準に従って決定される。
前記のクラスタ化の例において、距離測定基準は、空間における2つのポイント間の距離を規定する最も一般的な手段である傾向がある、ラウドスピーカ間のユークリッド空間距離であった。
しかしながら、クラスタ化は、空間距離のための他の測定基準を用いて実行されてもよい。個々のアプリケーションの特定の要件及び優先度に依存して、距離測定基準の1つの定義は、他のものより適切であってもよい。異なる使用事例及び対応する考えられる空間距離測定基準の幾つかの例が以下において述べられるだろう。
第一に、2つのポイントi及びjの間のユークリッド距離は、
Figure 2016525813
として規定されてもよい。i,jは、次元nにおけるポイントi及びjのそれぞれの座標を表わし、Nは、次元数である。
測定基準は、空間における2つのポイント間の空間距離を規定する最も一般的な手段を表す。距離測定基準としてユークリッド距離を用いることは、我々が、互いに対して、他のものに対して、又は、一部の基準位置(例えば、好ましい聴取位置)に対して、これらの向きを考慮することなくラウドスピーカ間の距離を決めることを意味する。空間において任意に分配されるラウドスピーカのセットに関して、これは、我々が観察の任意の特定の方向に関係しない手法において双方のクラスタ及びこれらの特性(例えば、使用可能な周波数範囲又は適切な処理タイプ)を決定していることを意味する。従って、この場合における特性は、その背景から独立して、アレイ自体の或る特性を反映する。これは幾つかのアプリケーションにおいて有益であってもよいが、多くの場合において好ましいアプローチではない。
幾つかの実施形態において、聴取位置に対する角度又は"予測された"距離測定基準が用いられてもよい。ラウドスピーカアレイのパフォーマンス制限は、基本的には、最大間隔及びアレイの全体空間範囲(サイズ)により決定される。しかしながら、アレイの外見上の又は効果的な最大間隔及びサイズはアレイが観察される方向に依存し、我々は一般に或る領域又は方向に対するアレイのパフォーマンスに主として興味があるので、多くの使用事例において、この領域、方向又は観察のポイントを考慮する距離測定基準を用いることを意味する。
詳細には、多くの使用事例において、基準の又は好ましい聴取位置が規定され得る。斯様な場合において、我々は、この聴取位置で或るサウンド体験を実現するために適切であるラウドスピーカのクラスタを決定することを望み、クラスタのクラスタ化及び特徴付けは、それ故、この聴取位置に関連すべきである。
これを行う1つの手段は、聴取位置に対するその角度
Figure 2016525813
の観点から各ラウドスピーカの位置を規定すること、及び、それらのそれぞれの角度の間の絶対的な差分
Figure 2016525813
により、又は代わりに、ポイントi及びjの位置ベクトル間のコサイン
Figure 2016525813
の観点から、2つのラウドスピーカ間の距離を規定することである。これは、角度又はコサインの類似の距離測定基準として知られている。クラスタ化がこの距離測定基準を用いて実行される場合、聴取位置から見て同じライン上に(従って互いの前方又は後方に)配置されるラウドスピーカは同じ位置に配置されるとみなされる。サブセットにおいて生じる最大の間隔は、基本的には一次元の問題まで低減されるので、決定するのが容易である。
ユークリッド距離測定基準の場合のように、クラスタ化は、互いから離れている距離が或る最大距離Dmaxより小さいラウドスピーカに制限されてもよい。このDmaxは、最大の角度差の観点から直接的に規定されてもよい。しかしながら、ラウドスピーカアレイの重要なパフォーマンス特性(例えば、その使用可能な周波数範囲)は、(再生されたサウンドの波長との関係を介して)ラウドスピーカ間の物理的距離に関連しているので、多くの場合、ユークリッド距離測定基準の場合のような、物理メーターにおいて表されるDmaxを用いることが好ましい。パフォーマンスがアレイに対する観察の方向に依存するという事実を考慮するために、ラウドスピーカ間の予測された距離が、これらの間の直接的なユークリッド距離よりはむしろ用いられてもよい。詳細には、2つのラウドスピーカ間の距離は、(聴取位置から見て)2つのラウドスピーカ間の角度の二等分線に直交する方向における距離として規定されてもよい。
これは、3つのラウドスピーカクラスタのための図9に示されている。距離測定基準は、
Figure 2016525813
により与えられる。ここで、r及びrは、それぞれ、基準位置からラウドスピーカi及びjまでの半径方向距離である。予測された距離測定基準が角距離の形式であることに注意すべきである。
クラスタにおける全てのラウドスピーカが互いに十分に近い場合、又は、聴取位置がクラスタから十分に離れている場合、クラスタにおける全てのペアの間の二等分線は平行になり、距離定義はクラスタ内で一致することに留意されたい。
識別されたクラスタを特徴付けることにおいて、予測された距離は、クラスタの最大間隔
Figure 2016525813
及びサイズLを決定するために用いられ得る。そして、これは、決定された効果的な周波数範囲において映されるだろう。また、これは、どのアレイ処理技術がクラスタに効果的に適用され得るかについての決定を変えてもよい。
先に述べたボトムアップのアプローチに応じたクラスタ化手順が角度距離測定基準、(0,2)での基準位置、及び、50cmのラウドスピーカ間の最大の予測された距離Dmaxを伴う図7のセットアップに適用される場合、これは、クラスタ化ステップの以下のシーケンスをもたらす。
Figure 2016525813
我々は、この場合においてクラスタ化の順序がユークリッド距離測定基準を伴う例とは多少異なるとみなし、更に、我々は、最大の距離基準を満たす1つの追加のクラスタを見つける。これは、我々が常にユークリッド距離と同等か又はこれよりも小さい予測された距離を見ているためである。図10は、クラスタ及びこれらの対応する特性をリストアップしている表を与える。
識別されたクラスタに最終的に適用されるレンダリング処理において、クラスタ内のラウドスピーカの半径方向距離の任意の差分は、遅延によって補正されてもよい。この角度距離測定基準を伴うクラスタ化の結果は、ユークリッド距離測定基準によって取得されたものと非常に類似するが、これは、この例においてラウドスピーカが基準位置周辺で多かれ少なかれ円形に分配されるという理由だけであることに留意されたい。より一般的な場合において、クラスタ化の結果は、異なる距離測定基準の間で非常に異なり得る。
角度距離測定基準が一次元であるので、クラスタ化は、この場合、基本的には一次元であり、それ故、実質的にコンピュータ処理的に厳しくならないだろう。確かに、実際には、トップダウンのクラスタ化手順は、この場合において典型的には実行可能である。最も近い隣接物の定義がこの場合において完全に明白であり、それ故、評価するための考えられるクラスタ化の数が限定されるためである。
単一の好ましい聴取位置だけでなく、サウンド体験が最適化されるべきである拡張された聴取エリアがある使用事例において、角度の又は予測された距離測定基準を伴う実施形態が依然として用いられてもよい。この場合において、1つは、聴取エリアにおける各位置に対して、又は、聴取エリアのみの極端な位置のみ(例えば、矩形の聴取エリアの場合における四隅)に対して、識別されたクラスタのクラスタ化及び特徴付けを別々に実行してもよく、最も重要な聴取位置にクラスタの最終的なクラスタ化及び特徴付けを決定させてもよい。
前の例において、距離測定基準は、聴取位置又はユーザ中心であるエリアに対して規定された。これは、多くの使用事例においてその意図が或る位置又はエリアにおけるサウンド体験を最適化することであることを意味する。しかしながら、ラウドスピーカアレイは、再生されたサウンドの部屋とのインタラクションに影響するために用いられてもよい。例えば、サウンドは、仮想サウンドソースをもたらすために壁の方へ指向されてもよく、又は、サウンドは、強い反射を阻止するために壁、天井又は床から離れるように指向されてもよい。斯様な使用事例において、これは、聴取位置に対するよりもむしろ部屋の形状の幾つかの態様に対して距離測定基準を規定することを意味する。
とりわけ、前の実施形態において説明したようなラウドスピーカ間の予測された距離測定基準が用いられてもよいが、例えば壁に直交する方向に対するものであってもよい。この場合において、サブセットの生ずるクラスタ化及び特徴付けは、壁に関するクラスタのアレイパフォーマンスを示すだろう。
簡潔さのために、上で詳細に述べられた例は2Dにおいて示された。しかしながら、前記の方法は、同様に3Dラウドスピーカ設定に適用する。使用事例に依存して、1つは、2D水平面において及び/又は1若しくはそれ以上の垂直面において別々にクラスタ化を実行してもよく、又は、三次元全てにおいて同時にクラスタ化を実行してもよい。クラスタ化が水平面において及び垂直次元において別々に実行される場合において、先に述べた通りの異なるクラスタ化手法及び距離測定基準が2つのクラスタ化手順に対して用いられてもよい。クラスタ化が3Dにおいて(従って、三次元全てにおいて同時に)行われる場合において、最大間隔のための異なる基準が、水平面において及び垂直次元において用いられてもよい。例えば、角距離が10度より小さい場合、水平面において2つのラウドスピーカが同じクラスタに属しているとみなされ得るのに対し、垂直に置き換えられる2つのラウドスピーカに関して、その要件はより緩くなってもよい(例えば、20度未満)。
述べられたアプローチは、多数の異なるレンダリングアルゴリズムによって用いられてもよい。考えられるレンダリングアルゴリズムは、例えば、以下のものを含んでもよい。
ビーム形成レンダリング:
ビーム形成は、密接に(例えば間に数デシメートルしかないように)配置されるラウドスピーカアレイ、即ち複数のラウドスピーカのクラスタに関連するレンダリング方法である。個々のラウドスピーカ間の振幅及び位相関係を制御することは、音が指定された方向に"放射される"のを可能にし、及び/又は、ソースがラウドスピーカアレイの前方又は後方の特定の位置に"フォーカスされる"のを可能にする。この方法の詳細な説明は、例えば、Van Veen, B.D, Beamforming: a versatile approach to spatial filtering, ASSP Magazine, IEEE (Volume:5 , Issue: 2 ), Date of Publication: April 1988において見つけられ得る。この論文は、センサ(マイクロフォン)の視点から述べられているが、述べられた原理は、音響相反原理に起因したラウドスピーカからのビーム形成に対して同等に適用する。
ビーム形成は、アレイ処理の一例である。
この種のレンダリングが有益である典型的な使用事例は、ラウドスピーカの小さなアレイが聴取者の正面に配置される一方で、ラウドスピーカが後方又は左前及び右前に存在しない場合である。斯様な場合において、聴取部屋の側壁にオーディオチャネル又はオブジェクトのうち幾つかを"放射する"ことによりユーザのための十分なサラウンド体験を生成することが可能である。壁を離れたサウンドの反射は、後方及び/又は側方から聴取者に到達し、それ故、完全に没入した"バーチャルサラウンド"体験を生成する。これは、"サウンドバー"タイプの種々の消費者向け製品において使用されるレンダリング方法である。
ビーム形成レンダリングが有益に使用され得る他の例は、レンダリングされるべきサウンドチャネル又はオブジェクトがスピーチを含む時である。ビーム形成を用いてユーザの方へ向けられるビームとしてこれらのスピーチオーディオ成分をレンダリングすることは、部屋においてあまり反響が生成されないので、ユーザのためのより良好なスピーチ理解度をもたらし得る。
ビーム形成は、典型的には、ラウドスピーカ間の間隔が数デシメートルを超えるラウドスピーカ設定(のサブ部分)のためには用いられないだろう。
従って、ビーム形成は、比較的多い数の極めて密集したラウドスピーカが見つけられる、1又はそれ以上のクラスタが識別されるシナリオにおけるアプリケーションに適している。故に、斯様なクラスタの各々に関して、例えばラウドスピーカが存在しない方向からの知覚されたサウンドソースを生成するために、ビーム形成レンダリングアルゴリズムが用いられてもよい。
クロストークキャンセレーションレンダリング:
これは、2つのラウドスピーカから完全に没入した3Dサラウンド体験を生成することができるレンダリング方法である。これは、頭部伝達関数(Head Related Transfer Functions又はHRTFs)を用いたヘッドホンを介したバイノーラルレンダリングに密接に関連する。ラウドスピーカがヘッドホンの代わりに用いられるので、フィードバックループは、左側のラウドスピーカから右耳までのクロストークを除去するために用いられなければならない、及び、逆もまた同じである。この方法の詳細な説明は、例えば、Kirkeby, Ole; Rubak, Per; Nelson, Philip A.; Farina, Angelo, Design of Cross-Talk Cancellation Networks by Using Fast Deconvolution, AES Convention:106 (May 1999) Paper Number:4916において見つけられ得る。
斯様なレンダリングアプローチは、例えば、正面領域における2つだけのラウドスピーカを伴う使用事例に適しているかもしれないが、この制限されたセットアップから十分な空間体験を実現することが依然として望ましい。とりわけラウドスピーカが互いに近いときに、クロストークキャンセレーションを用いて単一の聴取位置に安定した空間的錯覚を生成することが可能であることは良く知られている。ラウドスピーカが互いから離れている場合、生ずる空間イメージは、横断経路の複雑性のため、より不安定になり、間違って伝えられるサウンドになる。この例における提案されたクラスタ化は、クロストークキャンセレーション及びHRTFフィルタリングに基づく"仮想ステレオ"手法又は単調なステレオ再生が用いられるべきかどうかを決定するために用いられ得る。
ステレオダイポールレンダリング:
このレンダリング方法は、共通(合計)信号がモノラルで再生される一方で差分信号がダイポール放射パターンで再生されるような態様で空間オーディオ信号を処理することによりユーザのための広いサウンドイメージをレンダリングするために2又はそれ以上の近くにあるラウドスピーカを用いる。この方法の詳細な説明は、例えば、Kirkeby, Ole; Nelson, Philip A.; Hamada, Hareo, The 'Stereo Dipole': A Virtual Source Imaging System Using Two Closely Spaced Loudspeakers, JAES Volume 46 Issue 5 pp. 387-395; May 1998において見つけられ得る。
斯様なレンダリングアプローチは、例えば、聴取者の真正面にある幾つか(即ち2又は3)の密集したラウドスピーカの非常に小さなセットアップだけが十分な正面サウンドイメージをレンダリングするために利用可能である使用事例に適していてもよい。
波動場合成レンダリング:
これは、大きな聴取空間内で元のサウンド場を正確に再形成するためにラウドスピーカのアレイを用いるレンダリング方法である。この方法の詳細な説明は、例えば、Boone, Marinus M.; Verheijen, Edwin N. G.Sound Reproduction Applications with Wave-Field Synthesis, AES Convention:104 (May 1998) Paper Number:4689において見つけられ得る。
波動場合成レンダリングは、アレイ処理の一例である。
これは、オブジェクトベースのサウンドシーンに特に適しているが、他のオーディオタイプ(例えば、チャネル又はシーンベースのもの)と互換性がある。制限は、約25cm間隔に過ぎない間隔で多数のラウドスピーカを有するラウドスピーカ設定にのみ適していることである。このレンダリングアルゴリズムは、とりわけ、非常に近くに一緒に配置される充分なラウドスピーカを有するクラスタが検出される場合に適用されてもよい。とりわけ、クラスタは、聴取エリアの正面、後方又は側方領域のうち少なくとも1つの実質的な部分に及ぶ。斯様な場合、本方法は、例えば標準のステレオ再生よりも、より現実的な体験を提供してもよい。
最小二乗法で最適化されたレンダリング:
これは、ラウドスピーカ位置がパラメータとして特定され、ラウドスピーカ信号が一部の聴取エリア内においてターゲットサウンド場と再生されたサウンド場との間の差分を最小化するように最適化される数値的な最適化手順によって指定されたターゲットサウンド場を実現することを試みる一般的なレンダリング方法である。この方法の詳細な説明は、例えば、Shin, Mincheol; Fazi, Filippo M.; Seo, Jeongil; Nelson, Philip A., Efficient 3-D Sound Field Reproduction, AES Convention:130 (May 2011) Paper Number:8404において見つけられ得る。
斯様なレンダリングアプローチは、例えば、波動場合成及びビーム形成のために述べられた使用事例に適していてもよい。
ベクトルベースの振幅パニングレンダリング:
これは、基本的には、空間における既知の2又は3次元位置に配置される2つを超えるラウドスピーカに対してラウドスピーカのペアの間で振幅パニング原理を適合することにより規格化されていないラウドスピーカ設定をサポートするステレオのレンダリング方法の一般化である方法である。この方法の詳細な説明は、例えば、V. Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", J.AudioEng.Soc.,Vol.45,No.6, 1997において見つけられ得る。
斯様なレンダリングアプローチは、例えば、アレイ処理が用いられるのを可能にするにはクラスタ間の距離があまりに大きいが、パニングが適切な結果を与えるのを可能にするには十分近い、ラウドスピーカのクラスタ間で適用することに(とりわけ、ラウドスピーカの距離が比較的大きいが、聴取エリアの周りの球体上に(ほぼ)配置されるシナリオに)適していてもよい。詳細には、VBAPは、或る最大のラウドスピーカ間の間隔基準を満たしている共通の識別されたクラスタに属していないラウドスピーカサブセットのための"デフォルトの"レンダリングモードであってもよい。
先に述べたように、幾つかの実施形態において、レンダリング部は、複数のレンダリングモードに従ってオーディオ成分をレンダリングすることができ、レンダリングコントローラ611は、クラスタ化に依存してラウドスピーカ603に対してレンダリングモードを選択してもよい。
とりわけ、レンダリング部607は、適切な空間関係をもつラウドスピーカ603を用いてオーディオ成分をレンダリングするためのアレイ処理を実行可能であってもよい。故に、クラスタ化が適切な距離要件を満たすラウドスピーカ603のクラスタを識別する場合、レンダリングコントローラ611は、特定のクラスタのラウドスピーカ603からオーディオ成分をレンダリングするためにアレイ処理を選択してもよい。
アレイ処理は、個々のラウドスピーカのための位相及び振幅(又は、それに応じて時間領域における時間遅延及び振幅)に影響し得る1又はそれ以上の重み付け因子を除いて、同じ信号を複数のラウドスピーカに供給することにより複数のラウドスピーカからオーディオ成分をレンダリングすることを含む。位相及び振幅を調整することにより、異なるレンダリングされたオーディオ信号の間の干渉が制御され、これにより、オーディオ成分の全体のレンダリングが制御されるのを可能にする。例えば、重みは、幾つかの方向において正の干渉を、他の方向において負の干渉を与えるように調整され得る。この手法において、指向性特性が例えば調整されてもよく、例えば、ビーム形成が、所望の方向における主ビーム及び切欠きによって実現されてもよい。典型的には、周波数に依存するゲインは、所望の全体の効果を与えるために用いられる。
レンダリング部607は、詳細には、ビーム形成レンダリング及び波動場合成レンダリングを実行可能であってもよい。前者は、多くのシナリオにおいて特に有利なレンダリングを提供し得るが、効果的なアレイのラウドスピーカが一緒に非常に近くにある(例えば25cmしか離れていない)ことを要する。波動場合成アルゴリズムは、第2の好ましいオプションであってもよく、おそらく最大50cmのスピーカ間距離に適していてもよい。
故に、斯様なシナリオにおいて、クラスタ化は、25cm未満のスピーカ間距離を有するラウドスピーカ603のクラスタを識別してもよい。斯様な場合において、レンダリングコントローラ611は、クラスタのラウドスピーカからオーディオ成分をレンダリングするためにビーム形成を用いることを選択してもよい。しかしながら、斯様なクラスタが識別されないが、その代わりに50cm未満のスピーカ間距離を有するラウドスピーカ603のクラスタが見つけられた場合、レンダリングコントローラ611は、その代わりに波動場合成アルゴリズムを選択してもよい。斯様なクラスタが見つけられない場合、例えばVBAPアルゴリズムのような、他のレンダリングアルゴリズムが用いられてもよい。
幾つかの実施形態において、より複雑な選択が実行されてもよく、とりわけ、クラスタの異なるパラメータが考慮されてもよいことはいうまでもないだろう。例えば、50cm未満のスピーカ間距離を伴う多数のラウドスピーカを伴うクラスタが見つけられるのに対し、25cm未満のスピーカ間距離を伴うクラスタが数個のラウドスピーカしか有さない場合、波動場合成は、ビーム形成と比べて好ましいかもしれない。
故に、幾つかの実施形態において、レンダリングコントローラは、基準を満たしている第1のクラスタの特性に基づいて第1のクラスタに対してアレイ処理レンダリングを選択してもよい。基準は、例えば、クラスタが所与の数よりも多いラウドスピーカを有すること、及び、最も近い隣接ラウドスピーカ間の最大距離が所与の値より小さいことであってもよい。例えば、3つよりも多いラウドスピーカが、クラスタの他のラウドスピーカから言わば25cmを超えるラウドスピーカを伴わないクラスタにおいて見つけられた場合、その後、ビーム形成レンダリングがクラスタに対して選択されてもよい。そうでない場合、代わりに、3つよりも多いラウドスピーカを伴うがクラスタの他のラウドスピーカから言わば50cmを超えるラウドスピーカを伴わないクラスタが見つけられた場合、その後、波動場合成レンダリングがクラスタに対して選択されてもよい。
これらの例において、クラスタの最も近い隣接物の間の最大距離が詳細には考慮される。最も近い隣接物のペアは、クラスタの第1のラウドスピーカが距離測定基準に従ってペアの第2のラウドスピーカに最も近いラウドスピーカであるペアであるとみなされてもよい。故に、第2のラウドスピーカから第1のラウドスピーカまでの距離測定基準を用いて測定される距離は、第2のラウドスピーカからクラスタの任意の他のラウドスピーカまでの任意の距離より小さい。第2のラウドスピーカの最も近い隣接物である第1のラウドスピーカは、第2のラウドスピーカが第1のラウドスピーカの最も近い隣接物であることを必ずしも意味しないことに留意すべきである。実際に、第1のラウドスピーカに最も近いラウドスピーカは、第2のラウドスピーカよりも第1のラウドスピーカに近いが、第1のラウドスピーカよりも第2のラウドスピーカから離れている第3のラウドスピーカであってもよい。
最も近い隣接物の間の最大距離は、アレイ処理の効率性(及び詳細には干渉関係)がこの距離に依存する場合にアレイ処理を用いるかどうかを決定するために特に重要である。
用いられ得る他の関連したパラメータは、クラスタにおける任意の2つのラウドスピーカ間の最大距離である。とりわけ、効率的な波動場合成レンダリングに関して、使用されるアレイのサイズ全体が十分に大きいことが必要とされる。それ故、幾つかの実施形態において、前記の選択は、クラスタにおけるトランスデューサの任意のペアの間の最大距離に基づいてもよい。
クラスタにおけるラウドスピーカの数は、アレイ処理のために用いられ得るトランスデューサの最大の数に対応する。この数は、実行され得るレンダリングの強い指標を与える。
実際には、アレイにおけるラウドスピーカの数は、典型的には、アレイ処理のための自由度の程度の最大の数に対応する。例えば、ビーム形成に関して、これは、生成され得る切欠き及びビームの数を示してもよい。また、これは、例えば主ビームがどれくらい狭く作られるかに影響してもよい。故に、クラスタにおけるラウドスピーカの数は、アレイ処理を用いるか否かを選択するために役立ち得る。
クラスタのこれらの特性は、クラスタに対して用いられるレンダリングアルゴリズムの種々のパラメータを適応させるために用いられてもよいことはいうまでもないだろう。例えば、ラウドスピーカの数は、切欠きがどこに指向されるかを選択するために用いられてもよく、ラウドスピーカ間の距離が、重み等を決定するときに用いられてもよい。実際に、幾つかの実施形態において、レンダリングアルゴリズムは、予め決められてもよく、クラスタ化に基づいてこれの選択がなくてもよい。例えば、アレイ処理レンダリングが予め選択されてもよい。しかしながら、アレイ処理のためのパラメータは、クラスタ化に依存して変更/設定されてもよい。
実際に、幾つかの実施形態において、クラスタ部609は、ラウドスピーカのクラスタのセットを生成するだけでなく、1又はそれ以上のクラスタのための特性指標を生成してもよく、レンダリングコントローラ611は、適宜レンダリングを適応させてもよい。例えば、特性指標が第1のクラスタに対して生成される場合、レンダリングコントローラは、特性指標に基づいて第1のクラスタに対してレンダリングを適応させてもよい。
故に、クラスタを識別することに加えて、これらは、例えば選択又は決定手順においてこれらを用いることにより、及び/又は、レンダリングアルゴリズムのパラメータを調整することにより、最適化されたサウンドレンダリングを促進するために特徴付けられてもよい。
例えば、識別されたクラスタの各々に対して述べられたように、そのクラスタ内の最大間隔
Figure 2016525813
が決定されてもよい。即ち、最も近い隣接物の間の最大距離が決定されてもよい。また、クラスタの全体の空間範囲又はサイズLが、クラスタ内のラウドスピーカのうちの任意の2つの間の最大距離として決定されてもよい。
これらの2つのパラメータは、(場合により、サブセット内のラウドスピーカの数及びこれらの特性(例えばこれらの周波数帯域幅)のような他のパラメータと共に)アレイ処理をサブセットに適用するための使用可能な周波数範囲を決定するために、及び、適用可能なアレイ処理タイプ(例えば、ビーム形成、波動場合成、ダイポール処理等)を決定するために、用いられ得る。とりわけ、サブセットの最大の使用可能な周波数fmaxは、音速であるcを伴って、
Figure 2016525813
として決定され得る。また、サブセットのための使用可能な周波数範囲のより低い制限は、
Figure 2016525813
又は、
Figure 2016525813
として決定されてもよい。これは、アレイ処理が周波数fminまで効果的に下がることを表し、対応する波長
Figure 2016525813
は、サブセットの全体のサイズLのオーダである。故に、レンダリングモードのための周波数範囲制限が決定されてもよく、(例えば、適切なレンダリングアルゴリズムを選択することにより)レンダリングモードを適宜適応させ得るレンダリングコントローラ611に供給されてもよい。
周波数範囲を決定するための特定の基準は、異なる実施形態の間で変化してもよく、前記の式は、単なる例として意図されるに過ぎないことに留意すべきである。幾つかの実施形態において、識別されたサブセットの各々は、それ故、1又はそれ以上のレンダリングモードのための対応する使用可能な周波数範囲[fmin,fmax]により特徴付けられてもよい。これは、例えば、この周波数範囲に対して1つのレンダリングモード(詳細にはアレイ処理)を、他の周波数に対して他のレンダリングモードを選択するために用いられてもよい。
決定された周波数範囲の関連性は、アレイ処理のタイプに依存する。例えば、ビーム形成処理に関してfmin及びfmaxの双方が考慮されるべきである一方で、fminは、ダイポール処理に対してあまり関連性がない。これらを考慮すると、fmin及び/又はfmaxの値は、アレイ処理のどのタイプが特定のクラスタに適用可能か、及びどれがそうでないかを決定するために用いられ得る。
前記のパラメータに加えて、各クラスタは、基準位置に対するその位置、方向又は向きのうち1又はそれ以上により特徴付けられてもよい。これらのパラメータを決定することに関して、各クラスタの中央位置、例えば、基準位置から見て、クラスタの2つの一番遠いラウドスピーカ間の角度の二等分線、又は、基準位置に対するクラスタにおける全てのラウドスピーカの全ての位置ベクトルの平均であるクラスタの重み付けされた重心位置が規定されてもよい。また、これらのパラメータは、各クラスタのための適切なレンダリング処理技術を識別するために用いられてもよい。
前の例において、クラスタ化は、距離測定基準に従うラウドスピーカ間の空間距離の考察に基づいてのみ実行された。しかしながら、他の実施形態において、クラスタ化は、他の特性又はパラメータを更に考慮してもよい。
例えば、幾つかの実施形態において、クラスタ部609には、レンダリング部により実行され得るレンダリングアルゴリズムの特性を示すレンダリングアルゴリズムデータが供給されてもよい。例えば、レンダリングアルゴリズムデータは、レンダリング部607が実行可能であるレンダリングアルゴリズム、及び/又は、個々のアルゴリズムのための制限を特定し得る。例えば、レンダリングアルゴリズムデータは、レンダリング部607が、最大3つのラウドスピーカのためにVBAP、アレイにおけるラウドスピーカの数が2を超えるが6より小さい場合且つ最大の隣接距離が25cmより小さい場合にビーム形成、最大の隣接距離が50cmより小さい場合に最大10のラウドスピーカに対して波動場合成を用いてレンダリング可能であることを示してもよい。
そして、クラスタ化は、レンダリングアルゴリズムデータに依存して実行され得る。例えば、クラスタ化アルゴリズムのパラメータは、レンダリングアルゴリズムデータに依存してセットされてもよい。例えば、前記の例において、クラスタ化は、ラウドスピーカの数を10に制限してもよく、クラスタにおける少なくとも1つのラウドスピーカまでの距離が50cmより小さい場合に、新たなラウドスピーカが既存のクラスタのみに含まれるのを可能にしてもよい。クラスタ化の後、レンダリングアルゴリズムが選択されてもよい。例えば、ラウドスピーカの数が5を超えており、最大の隣接距離が50cmにすぎない場合、波動場合成が選択される。そうでなければ、クラスタ内に2つを超えるラウドスピーカがある場合、ビーム形成が選択される。そうでなければ、VBAPが選択される。
代わりに、アレイにおけるラウドスピーカの数が2を超えるが6より小さい場合、且つ、最大の隣接距離が25cmより小さい場合に、レンダリングアルゴリズムデータは、レンダリングがVBAP又は波動場合成を用いてのみレンダリング可能であることを示した場合、その後、クラスタ化は、ラウドスピーカの数を5に制限してもよく、クラスタ内の少なくとも1つのラウドスピーカまでの距離が25cmより小さい場合にのみ、新たなラウドスピーカが既存のクラスタに含まれるのを可能にしてもよい。
幾つかの実施形態において、クラスタ部609には、少なくとも幾つかのラウドスピーカ603の音響レンダリング特性を示すレンダリングデータが供給されてもよい。詳細には、レンダリングデータは、ラウドスピーカ603の周波数応答を示してもよい。例えば、レンダリングデータは、個々のラウドスピーカが低周波数ラウドスピーカ(例えばウーファ)、高周波数ラウドスピーカ(例えばツィータ)又は広帯域のラウドスピーカであるかどうかを示してもよい。そして、この情報は、クラスタ化するときに考慮され得る。例えば、対応する周波数範囲をもつラウドスピーカだけが一緒にクラスタ化されることが必要とされてもよく、これにより、例えば、アレイ処理のために不適切であるウーファ及びツィータを有するクラスタを回避する。
また、レンダリングデータは、ラウドスピーカ603の主な音響軸の向き及び/又はラウドスピーカ603の放射パターンを示してもよい。例えば、レンダリングデータは、個々のラウドスピーカが比較的幅広いか又は比較的狭い放射パターンを有するかどうか、及び、放射パターンの主軸がどの方向に配向されているかを示してもよい。この情報は、クラスタ化するときに考慮されてもよい。例えば、放射パターンが充分な重なるラウドスピーカだけが一緒にクラスタ化されることが必要とされてもよい。
より複雑な例として、クラスタ化は、管理されない統計的学習方法を用いて実行されてもよい。各ラウドスピーカkは、多次元空間における特徴ベクトル
Figure 2016525813
により表され得る。ここで、3D空間における座標は、x,y,zである。この実施形態における周波数応答は、例えば周波数応答のスペクトル重心を表し得る単一のパラメータsにより特徴付けられてもよい。最後に、ラウドスピーカ位置から聴取位置までのラインに対する水平角は、aにより与えられる。本例において、クラスタ化は、フィーチャベクトル全体を考慮して実行される。パラメトリックな管理されない学習において、1つは、最初に、フィーチャ空間におけるNクラスタ中心
Figure 2016525813
を初期化する。これらは、典型的には、ランダムに初期化されるか又はラウドスピーカ位置からサンプリングされる。次に、aの位置が、フィーチャ空間におけるラウドスピーカ位置の分配を良好に表すように更新される。これを実行するための種々の方法が存在し、背景又は前記の階層的なクラスタ化において述べられたものと同様の手段で、繰り返しの間において、クラスタを分割及び再グループ化することも可能である。
上記の説明は、明瞭さのために、異なる機能的な回路、ユニット及びプロセッサを参照して本発明の実施形態について述べていることが理解されるだろう。しかしながら、異なる機能的な回路、ユニット又はプロセッサの間の機能の任意の適切な分配が本発明から逸脱することなく用いられてもよいことが明らかであるだろう。例えば、別々のプロセッサ又はコントローラにより実行されるように示された機能は、同じプロセッサ又はコントローラにより実行されてもよい。それ故、特定の機能ユニット又は回路への参照は、厳しい論理的又は物理的な構造又は組織を示すよりはむしろ、述べられた機能を与えるための適切な手段への参照としてのみ理解されるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式において実装され得る。本発明は、オプションとして、1又はそれ以上のデータ処理装置及び/又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の一実施形態の要素及び成分は、任意の適切な手段において、物理的に、機能的に、及び、論理的に実装されてもよい。実際に、機能は、単一のユニットにおいて、複数のユニットにおいて、又は、他の機能ユニットの部分として、実装されてもよい。それ自体、本発明は、単一のユニットにおいて実装されてもよく、又は、異なるユニット、回路及びプロセッサの間で物理的及び機能的に分配されてもよい。
本発明が幾つかの実施形態に関して述べられたが、ここで記載される特定の形式に限定されることを意図するものではない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。加えて、特徴が特定の実施形態に関して述べられるように見え得るが、当業者は、述べられた実施形態の種々の特徴が本発明に従って組み合わせられ得ることを認めるだろう。請求項において、有するという用語は、他の要素又はステップの存在を除外するものではない。
更に、個別に記載されているが、複数の手段、要素、回路又は方法ステップは、例えば単一の回路、ユニット又はプロセッサにより実装されてもよい。加えて、個々の特徴が異なる請求項に含まれ得るが、これらは、場合により、有利に組み合わせられてもよく、異なる請求項における包含は、特徴の組み合わせが有利及び/又は実行可能なものではないことを意味するものではない。また、請求項の1つのカテゴリにおける特徴の包含は、このカテゴリに対する限定を意味するものではなく、むしろ、特徴が適切に他の請求項カテゴリに同程度に適用可能であることを示す。更に、請求項中のフィーチャの順序は、フィーチャが動作されなければならない任意の特定の順序を意味するものではなく、とりわけ、方法クレームにおける個々のステップの順序は、ステップがこの順序で実行されなければならないことを意味するものではない。むしろ、ステップは、任意の適切な順序で実行されてもよい。加えて、単数表記の参照は、複数を除外するものではない。それ故、"第1の"、"第2"等への参照は、複数を排除するものではない。請求項中の参照符号は、単に明らかにする一例だけのものとして供給されるものであり、任意の手段において請求項の範囲を限定するものとして解釈されるべきではない。

Claims (15)

  1. オーディオデータ及び複数のオーディオトランスデューサのためのオーディオトランスデューサ位置データを受信するためのレシーバと、
    前記オーディオデータから前記複数のオーディオトランスデューサのためのオーディオトランスデューサ駆動信号を生成することにより前記オーディオデータをレンダリングするためのレンダリング部と、
    前記オーディオトランスデューサ位置データ、及び、空間距離測定基準に従った前記複数のオーディオトランスデューサのうちのオーディオトランスデューサ間の距離に基づいて、前記複数のオーディオトランスデューサをオーディオトランスデューサクラスタのセットにクラスタ化するためのクラスタ部と、
    前記のクラスタ化に基づいて前記のレンダリングを適応させるように構成されたレンダリングコントローラとを有する、オーディオ装置。
  2. 前記レンダリング部は、複数のレンダリングモードに従ってオーディオ成分をレンダリング可能であり、
    前記レンダリングコントローラは、異なるオーディオトランスデューサクラスタに対して前記複数のレンダリングモードからレンダリングモードを独立して選択するように構成される、請求項1に記載のオーディオ装置。
  3. 前記レンダリング部は、アレイ処理レンダリングを実行可能であり、
    前記レンダリングコントローラは、基準を満たしている、前記オーディオトランスデューサクラスタのセットのうちの第1のクラスタの特性に基づいて前記第1のクラスタに対してアレイ処理レンダリングを選択するように構成される、請求項2に記載のオーディオ装置。
  4. 前記レンダリング部は、アレイ処理レンダリングを実行するように構成され、
    前記レンダリングコントローラは、前記オーディオトランスデューサクラスタのセットのうちの第1のクラスタの特性に基づいて前記第1のクラスタに対して前記アレイ処理レンダリングを適応させるように構成される、請求項1に記載のオーディオ装置。
  5. 前記特性は、前記空間距離測定基準に従う最も近い隣接物である前記第1のクラスタのオーディオトランスデューサ間の最大距離、前記空間距離測定基準に従う前記第1のクラスタのオーディオトランスデューサ間の最大距離、前記第1のクラスタにおけるオーディオトランスデューサの数のうち少なくとも1つである、請求項3又は請求項4に記載のオーディオ装置。
  6. 前記クラスタは、前記オーディオトランスデューサクラスタのセットのうちの第1のクラスタのための特性指標を生成するように構成され、
    前記レンダリングコントローラは、前記特性指標に基づいて前記第1のクラスタに対して前記のレンダリングを適応させるように構成される、請求項1に記載のオーディオ装置。
  7. 前記特性指標は、前記空間距離測定基準に従う最も近い隣接物である前記第1のクラスタのオーディオトランスデューサ間の最大距離、及び、前記第1のクラスタの任意の2つのオーディオトランスデューサ間の最大距離のグループから選択される少なくとも1つの特性を示す、請求項6に記載のオーディオ装置。
  8. 前記特性指標は、前記第1のクラスタの1又はそれ以上のオーディオトランスデューサの周波数応答、前記レンダリング部のレンダリングモードのための周波数範囲制限、前記第1のクラスタにおけるオーディオトランスデューサの数、基準位置及びレンダリング環境の幾何学的特性のうち少なくとも1つに対する前記第1のクラスタの向き、及び、前記第1のクラスタの空間サイズのグループから選択される少なくとも1つの特性を示す、請求項6に記載のオーディオ装置。
  9. 前記クラスタ部は、前の繰り返しのクラスタに対するオーディオトランスデューサの繰り返された包含に基づいて前記オーディオトランスデューサクラスタのセットを生成するように構成され、第1のオーディオトランスデューサは、前記オーディオトランスデューサクラスタのセットのうちの第1のクラスタの1又はそれ以上のオーディオトランスデューサに関して距離基準を満たしている前記第1のオーディオトランスデューサに基づいて前記第1のクラスタに含まれる、請求項1に記載のオーディオ装置。
  10. 前記クラスタ部は、クラスタにおいて前記空間距離測定基準に従って最も近くで隣り合う2つのオーディオトランスデューサが閾値を超える距離を有するという要件の影響下で前記オーディオトランスデューサクラスタのセットを生成するように構成される、請求項1に記載のオーディオ装置。
  11. 前記クラスタ部は、前記複数のオーディオトランスデューサのうち少なくとも幾つかのオーディオトランスデューサの音響レンダリング特性を示すレンダリングデータを受信し、前記レンダリングデータに基づいて前記複数のオーディオトランスデューサを前記オーディオトランスデューサのセットにクラスタ化するように更に構成される、請求項1に記載のオーディオ装置。
  12. 前記クラスタ部は、前記レンダリング部により実行され得るレンダリングアルゴリズムの特性を示すレンダリングアルゴリズムデータを受信し、前記レンダリングアルゴリズムデータに基づいて前記複数のオーディオトランスデューサを前記オーディオトランスデューサクラスタのセットにクラスタ化するように更に構成される、請求項1に記載のオーディオ装置。
  13. 前記空間距離測定基準は、基準位置又は方向に対するオーディオトランスデューサ間の角度差を反映する角距離測定基準である、請求項1に記載のオーディオ装置。
  14. オーディオデータ及び複数のオーディオトランスデューサのためのオーディオトランスデューサ位置データを受信するステップと、
    前記オーディオデータから前記複数のオーディオトランスデューサのためのオーディオトランスデューサ駆動信号を生成することにより前記オーディオデータをレンダリングするステップと、
    前記オーディオトランスデューサ位置データと空間距離測定基準に従う前記複数のオーディオトランスデューサのオーディオトランスデューサ間の距離とに基づいて前記複数のオーディオトランスデューサをオーディオトランスデューサクラスタのセットにクラスタ化するステップと、
    前記のクラスタ化に基づいて前記のレンダリングを適合させるステップとを有する、オーディオ処理の方法。
  15. コンピュータプログラムがコンピュータ上で実行されたときに、請求項14の全てのステップを実行するように適合されるコンピュータプログラムコード手段を有する、コンピュータプログラム製品。
JP2016513470A 2014-01-02 2014-05-06 オーディオ装置及びそのための方法 Active JP6291035B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14150062 2014-01-02
EP14150062.9 2014-01-02
PCT/IB2014/061226 WO2014184706A1 (en) 2013-05-16 2014-05-06 An audio apparatus and method therefor

Publications (3)

Publication Number Publication Date
JP2016525813A true JP2016525813A (ja) 2016-08-25
JP2016525813A5 JP2016525813A5 (ja) 2017-11-30
JP6291035B2 JP6291035B2 (ja) 2018-03-14

Family

ID=49916971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016513470A Active JP6291035B2 (ja) 2014-01-02 2014-05-06 オーディオ装置及びそのための方法

Country Status (1)

Country Link
JP (1) JP6291035B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150774A1 (ja) * 2017-02-17 2018-08-23 シャープ株式会社 音声信号処理装置及び音声信号処理システム
WO2018173413A1 (ja) * 2017-03-24 2018-09-27 シャープ株式会社 音声信号処理装置及び音声信号処理システム
CN112133316A (zh) * 2019-06-25 2020-12-25 诺基亚技术有限公司 空间音频表示和渲染
CN113170274A (zh) * 2018-11-21 2021-07-23 诺基亚技术有限公司 环境音频表示和相关联的渲染
WO2022133121A3 (en) * 2020-12-18 2022-09-09 Qualcomm Incorporated Smart hybrid rendering for augmented reality/virtual reality audio

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4783804A (en) * 1985-03-21 1988-11-08 American Telephone And Telegraph Company, At&T Bell Laboratories Hidden Markov model speech recognition arrangement
JP2006295592A (ja) * 2005-04-12 2006-10-26 Nippon Hoso Kyokai <Nhk> スピーカ装置
WO2011054860A2 (en) * 2009-11-04 2011-05-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement and apparatus and method for providing drive signals for loudspeakers of a loudspeaker arrangement based on an audio signal associated with a virtual source
WO2012098191A1 (fr) * 2011-01-19 2012-07-26 Devialet Dispositif de traitement audio
US20130101122A1 (en) * 2008-12-02 2013-04-25 Electronics And Telecommunications Research Institute Apparatus for generating and playing object based audio contents

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4783804A (en) * 1985-03-21 1988-11-08 American Telephone And Telegraph Company, At&T Bell Laboratories Hidden Markov model speech recognition arrangement
JP2006295592A (ja) * 2005-04-12 2006-10-26 Nippon Hoso Kyokai <Nhk> スピーカ装置
US20130101122A1 (en) * 2008-12-02 2013-04-25 Electronics And Telecommunications Research Institute Apparatus for generating and playing object based audio contents
WO2011054860A2 (en) * 2009-11-04 2011-05-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement and apparatus and method for providing drive signals for loudspeakers of a loudspeaker arrangement based on an audio signal associated with a virtual source
WO2012098191A1 (fr) * 2011-01-19 2012-07-26 Devialet Dispositif de traitement audio

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150774A1 (ja) * 2017-02-17 2018-08-23 シャープ株式会社 音声信号処理装置及び音声信号処理システム
WO2018173413A1 (ja) * 2017-03-24 2018-09-27 シャープ株式会社 音声信号処理装置及び音声信号処理システム
JPWO2018173413A1 (ja) * 2017-03-24 2020-02-06 シャープ株式会社 音声信号処理装置及び音声信号処理システム
US10999678B2 (en) 2017-03-24 2021-05-04 Sharp Kabushiki Kaisha Audio signal processing device and audio signal processing system
CN113170274A (zh) * 2018-11-21 2021-07-23 诺基亚技术有限公司 环境音频表示和相关联的渲染
CN113170274B (zh) * 2018-11-21 2023-12-15 诺基亚技术有限公司 环境音频表示和相关联的渲染
CN112133316A (zh) * 2019-06-25 2020-12-25 诺基亚技术有限公司 空间音频表示和渲染
WO2022133121A3 (en) * 2020-12-18 2022-09-09 Qualcomm Incorporated Smart hybrid rendering for augmented reality/virtual reality audio
US11601776B2 (en) 2020-12-18 2023-03-07 Qualcomm Incorporated Smart hybrid rendering for augmented reality/virtual reality audio

Also Published As

Publication number Publication date
JP6291035B2 (ja) 2018-03-14

Similar Documents

Publication Publication Date Title
US9860669B2 (en) Audio apparatus and method therefor
US11197120B2 (en) Audio processing apparatus and method therefor
US11425503B2 (en) Automatic discovery and localization of speaker locations in surround sound systems
US9622010B2 (en) Bi-directional interconnect for communication between a renderer and an array of individually addressable drivers
JP6309545B2 (ja) 球面調和係数のためのレンダラを決定すること
US9532158B2 (en) Reflected and direct rendering of upmixed content to individually addressable drivers
US20190253826A1 (en) Method and apparatus for acoustic scene playback
JP6291035B2 (ja) オーディオ装置及びそのための方法
WO2014087277A1 (en) Generating drive signals for audio transducers
EP4383757A1 (en) Adaptive loudspeaker and listener positioning compensation
US20240163626A1 (en) Adaptive sound image width enhancement

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171023

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171023

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180208

R150 Certificate of patent or registration of utility model

Ref document number: 6291035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250