JP2019535210A - 自由視点レンダリングにおけるオーディオオブジェクトの修正 - Google Patents

自由視点レンダリングにおけるオーディオオブジェクトの修正 Download PDF

Info

Publication number
JP2019535210A
JP2019535210A JP2019519985A JP2019519985A JP2019535210A JP 2019535210 A JP2019535210 A JP 2019535210A JP 2019519985 A JP2019519985 A JP 2019519985A JP 2019519985 A JP2019519985 A JP 2019519985A JP 2019535210 A JP2019535210 A JP 2019535210A
Authority
JP
Japan
Prior art keywords
audio object
rendering
user
free viewpoint
anomaly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019519985A
Other languages
English (en)
Other versions
JP7100633B2 (ja
Inventor
ラッセ ラークソネン
ラッセ ラークソネン
Original Assignee
ノキア テクノロジーズ オーユー
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オーユー, ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2019535210A publication Critical patent/JP2019535210A/ja
Priority to JP2021078430A priority Critical patent/JP7100741B2/ja
Application granted granted Critical
Publication of JP7100633B2 publication Critical patent/JP7100633B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

ある実施例は、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記オーディオオブジェクトとの間の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。【選択図】図１２

Description

例示的および非限定的な実施形態は、概してオーディオオブジェクトに関し、特にオーディオオブジェクトの修正に関する。
背景
オーディオビジュアル消費における自由視点とは、ユーザがコンテンツ消費空間内で動くことができることを指す。非自由視点仮想現実体験では、視点の方向の変更（回転）に限定される一方、自由視点レンダリングによると、視点の方向の変更（回転）に加えて、移動を介したレンダリング点の変更（並進）も可能である。自由視点レンダリングにおいてオーディオオブジェクトを設けることが知られている。したがって、自由視点レンダリングでは、幾何学的変換は三次元回転、および二次元または三次元並進が含まれる。
摘要
以下の要約はあくまで例示を目的としており、請求の範囲を限定する意図はない。
ある態様において、例示的方法は、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記オーディオオブジェクトとの間の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
別の態様において、例示的装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備え、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記オーディオオブジェクトとの間の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を実行させるように構成されている。
別の態様において、例示的装置は、機械によって可読な非一時的プログラム記憶装置であって、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するプログラム記憶装置を備え、前記動作は、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記オーディオオブジェクトとの間の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
上述の態様やその他の特徴が、以下の図を参照して、下記において説明される。
図１は、例示的実施形態の特徴を含むリアリティシステムを示す図である。 図２は、図１に示すシステムのいくつかの構成要素を示す図である。 図３は、三人称視点からの仮想現実領域を例示した図である。 図４は、オーディオオブジェクトと前記自由視点レンダリングにおける前記ユーザの位置との間の位置的な衝突異常の例を示す、図３と同様の図である。 図５Ａ〜図５Ｄは、オーディオオブジェクトと前記自由視点レンダリングにおける前記ユーザの位置との間の位置的な衝突異常に対する異なる結果を示す図である。 図６は、図１、図２に示すシステムのいくつかの構成要素を示す図である。 図７は、例示的実施形態の特徴をプログラミングするためのユーザインターフェースの例を示す図である。 図８は、図４に示す位置的な衝突異常への対処の例を示す図である。 図９は、例示的方法を示す図である。 図１０は、有効距離パラメータの例を示す図である。 図１０Ａ、図１０Ｂは、有効距離パラメータの場の強度を例示する図である。 図１１は、例示的方法を示す図である。 図１２は、例示的方法を示す図である。 図１３は、例示的方法を示す図である。 図１４は、例示的方法を示す図である。 図１５は、例示的方法を示す図である。
実施例の詳細説明
図１は、例示的実施形態の特徴を含むリアリティシステム１０を示す図である。リアリティシステム１０は、例えば、ユーザによって、拡張現実（Augmented Reality：ＡＲ）、仮想現実（Virtual Reality：ＶＲ）、またはプレゼンスキャプチャ（Presence-Captured：ＰＣ）体験とコンテンツ消費に利用されうる。図示の例示的実施形態を参照に特徴を説明するが、多数の別態様の実施形態で特徴が実現できることが理解されよう。
システム１０は、ユーザに自由視点レンダリングを提供するように構成される。システム１０は概して、ビジュアルシステム１２と、オーディオシステム１４と、相対位置システム１６とを備える。ビジュアルシステム１２は、ユーザに視覚的画像を提供するように構成される。ビジュアルシステム１２は、例えば、仮想現実（ＶＲ）ヘッドセット、ゴーグル、またはメガネを備えてもよい。オーディオシステム１４は、例えば、１つまたは複数のスピーカ、ＶＲヘッドセット、またはイヤフォンによって、ユーザにオーディオ音声を提供するように構成される。相対位置システム１６は、例えば、ユーザの頭部のような、ユーザの位置を検出し、リアリティコンテンツ消費空間での領域内のユーザの位置を判定するように構成される。リアリティコンテンツ消費空間内での動きは、実際のユーザの動き、ユーザ制御の動き、および／またはその他の外部制御された動きや所定の動き、あるいはこれらの任意の組合せに基づいていてもよい。ユーザは、自由視点のコンテンツ消費空間内で移動可能である。相対位置システム１６は、現実世界でのユーザの動きに応じて、ユーザが見聞きするものを変更可能であってもよい。すなわち、当該現実世界での動きによって、自由視点レンダリングでユーザが見聞きするものを変化させるのである。
図２も参照すると、リアリティシステム１０は概して、１つまたは複数のコントローラ１８と、１つまたは複数の入力部２０と、１つまたは複数の出力部２２とを備える。入力部２０の例としては、相対位置システム１６からの位置センサ、別のデバイスから、例えばインターネットを介して送られたリアリティ情報、またはシステム１０に情報を入力するためのその他任意の適切なデバイスが挙げられる。出力部２２の例としては、ビジュアルシステム１２のＶＲヘッドセットに設けられたディスプレイ、オーディオシステム１４のスピーカ、別のデバイスへ情報を通信する通信出力部が挙げられる。コントローラ１８は、１つまたは複数のプロセッサ２４と、ソフトウェア２８を有する１つまたは複数のメモリ２６とを備える。
図３も参照すると、自由視点媒介現実体験のスナップショットが示されている。この例では、体験には、複数の木３２と、複数羽の鳥３４と、蜂の巣３８が付いた枝３６と、複数匹の蜂４０とが含まれる。図３は、自由視点のビデオおよびオーディオを体験しているユーザを示す。同図では、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）とヘッドフォンの組合せを装着した現実世界のユーザが、媒介現実体験の中にいる。言い換えると、図３は、ユーザと、このユーザが体験している媒介現実空間とが組み合わされた三人称視点を示す。体験中のユーザの位置は、符号３０で示す。この媒介現実空間は、オーディオオブジェクト音源３２、３４、３８、４０が現実空間に設けられたビデオ表現である。この例では、ユーザは自然の一場面を体験しており、その周りを鳥がさえずり、ユーザ前方では蜂が巣の周りをブンブンと音を立てているのを見聞きしている。
さらに図４を参照すると、媒介現実体験内で、ユーザが図３の位置から新たな位置へと移動したところが示されている。ただし、この図４に示す新たな位置では、ユーザは、オーディオオブジェクトまたは音源内へと、またはそれを通り抜けて移動している。具体的には、ユーザ３０の頭部３１が蜂の巣３８内に示されている。これは、自由視点レンダリングにおける、オーディオオブジェクト３８とユーザの位置との間の位置的な衝突異常を示す。現実世界では、人の頭部は、蜂の巣を破壊しない限り、蜂の巣内に存在しえない。図示されている蜂の巣内の頭部は、位置的な衝突異常の一例に過ぎない。別の例としては、例えば、現実では人が生存可能な温度を超えた熱を発する炉の近くにユーザが存在することが挙げられる。この位置的な衝突異常に基づいて、炉の音のオーディオオブジェクトを、１つまたは複数のパラメータに応じて修正できる。オーディオオブジェクトの修正は、いかなるオーディオオブジェクトの干渉にも当てはまりうる。これは現実世界では起こりえない、危険である、または気持ちが悪いことに必ずしも限られない。
本明細書に記載の複数の特徴は、新規のオーディオオブジェクトの干渉の検出、および改良された自由視点オーディオのユーザ体験の定義に利用されてもよい。これらの特徴を、例えば、拡張現実（ＡＲ）、仮想現実（ＶＲ）、およびプレゼンスキャプチャ（ＰＣ）体験とコンテンツ消費に供することができる。特に、これらの特徴は、オブジェクトに基づくオーディオ等の空間的オーディオと、ユーザの干渉およびユーザインターフェースと共に利用されてもよい。
オーディオビジュアル消費における自由視点では、ユーザは、例えば撮影地点（ＮＯＫＩＡ ＯＺＯデバイスの位置等）の周辺領域で、連続的にまたは断続的に移動、あるいは例えば少なくとも２つの撮影点間で移動可能である。ユーザは、移動可能領域での各方向、各位置で、自然な形でオーディオビジュアルシーンを知覚できる。例えば、コンピュータが生成した追加効果や取得されたオーディオビジュアル情報の修正等により、少なくとも一部がシミュレーションされるような体験は、包括的に「媒介現実体験」と称されうる。コンテンツは、撮影されてもよいし（その場合、知覚された現実に対応する）、コンピュータにより生成されてもよいし、これらの組合せであってもよい。事前に記録または生成されたものであってもよいし、例えばライブ映像であってもよい。取得されたコンテンツおよびデータの例としては、例えば、空間的オーディオとビデオ、点群（point clouds）、および例えば無線周波数（Radio-Frequency：ＲＦ）追跡によって取得されうる地理的位置データが挙げられる。ＲＦ追跡は、例えば高精度屋内測位（High-Accuracy Indoor Positioning：ＨＡＩＰ）技術に基づいてもよい。オーディオオブジェクトは、取得されたものであっても、生成されたものであってもよい。
図３および図４を参照して上述したように、自由視点媒介現実体験のユーザは、ヘッドマウントディスプレイ（ＨＭＤ）を使用してビデオコンテンツを消費し、ヘッドフォンを使用して対応するオーディオコンテンツを消費してもよい。このシステムの少なくとも１つの構成要素が、ユーザの頭部の動きを追跡してもよい。これにより、ビデオの「適正部分」を適切な視点からユーザに提示できる。さらに同様に、消費空間内のユーザの位置および向きに対して適切な位置に、オーディオオブジェクトや音源を出現させることができる。ユーザは、当該ユーザの動きが、媒介現実空間において知覚された動きに直接的または間接的に対応するようにして、現実空間内を移動してもよい。一方、ユーザはこの空間中の自身の動きを、ユーザインターフェースを介して制御してもよい。場合によっては、動きが事前にプログラムされてもよいし、第三者（制御担当者またはサービス等）によって制御されてもよい。場合によっては、現実空間における撮影デバイスの実際の動きによって、同様の効果が実現されてもよい。
図４に示すように、自由視点レンダリングにより、撮影位置または初期レンダリング位置にあるオーディオ音源に対して、ユーザが「直接つながる」ことが可能となる。「初期」というのは、時間によって変わる位置の内、所与の時点において意図した位置であるとも捉えられる。このオーディオ干渉の開始、期間、さらに反応は、これまで概して特定されていなかった。この接続または干渉に対するあらゆる初期反応は、オーディオオブジェクトや使用状況の一部に限られることが好ましいようである。自由視点レンダリングにおけるオーディオオブジェクトの干渉についての共通の枠組みが、これまで欠けていたのである。本明細書で解決しようとする問題としては、自由視点オーディオにおけるオーディオオブジェクトとの干渉とは何か、その干渉をどのように検出するのか、干渉はいつどこで始まり、いつどこで終わるのか、すなわち、どれ程の期間なのか、が挙げられる。
さらに図５Ａを参照する。同図は、ユーザ３０が「レンダリング」において位置Ｋから位置Ｌに移動する際に、オーディオオブジェクト３８に接触することを示す。ユーザが見るものにさらに対応する、自然なオーディオ反応もありうる。ユーザ（頭部にヘッドフォンを装着）は、オーディオオブジェクト３８の初期位置へと移動しているように示されている。したがって、ユーザがレンダリングされた位置がオーディオオブジェクト３８に重なると、この位置的な衝突異常に対して、オーディオオブジェクトがユーザにどのように提示されるという問題が生じる。これに対して、いくつかの初期反応が考えられる。
本明細書に記載の特徴により、高品質の自由視点オーディオ体験について、位置的な衝突異常による干渉と、当該干渉に対する反応とが定義されうる。ここで、コンテンツ作成者の視点も考慮に入れてもよい。柔軟性を与えることによって、多様な使用状況を網羅する、多数の異なるレンダリングのオプションが選択可能であってもよい。さらに、所与のオーディオオブジェクトについて、最適な、または所望のレンダリングのオプションがどのようなものであるかについての情報が提供可能であってもよい。言い換えると、これらを考慮した作成ツールが考えられるのである。このような手法は従来のシステムには欠けており、本明細書に記載の特徴を利用して、共通の枠組みが定義されうる。
本明細書に記載の特徴は、自由視点媒介現実体験についてパラメータ化されたオブジェクトとオーディオの干渉に対して利用されてもよい。干渉は、自由視点オーディオにおいて、レンダリング位置に基づいて、あるオーディオオブジェクトをレンダリングすることと定義されてもよい。これは例えば、オーディオオブジェクトメタデータとして記憶、送信可能なパラメータ組を定義することで実現できる。あるいは、当該メタデータは、チャネル、トラック、または例えば方向オーディオサブバンド要素またはパラメータの組であってもよい。
システム全体として、オーディオオブジェクト、チャネル、トラック等に対して、パラメータまたはそのサブセットを設定するインターフェースをさらに備えてもよい。このインターフェースは、空間的オーディオ作成ソフトウェアの一部であってもよい。さらに、システムは、拡張空間レンダラ、または空間レンダラ前段の修正ブロックを有してもよい。後者は、ユーザと、１つまたは複数のオーディオオブジェクトとの干渉の検出に応じて、当該オーディオオブジェクトを修正するものである。図６は、例示的実施形態のいくつかの特徴を示すブロック図である。
ユーザの干渉および当該干渉の検出は、少なくとも現在の「レンダリング位置」に基づいてもよい。これは、例えばオーディオオブジェクトの位置に対するＫまたはＬ等を含むものであってもよい。これはまた、例えば前の「レンダリング位置」または「レンダリング位置」の変化のように、動きベクトルＶを考慮したものであってもよい。さらなるいくつかの実施形態では、次の「レンダリング位置」の予想も使用してもよい。二次パラメータを通じて、この行動が反映されてもよい。ここで、「レンダリング位置」は、媒介現実におけるユーザの視点を指す。この位置／視点は、例えば上述のような自由視点媒介現実体験において変動しうる。
さらなる実施形態では、ユーザからオーディオオブジェクトへの干渉の概念は、媒介現実空間における、ユーザの位置または視点を逸脱したユーザの移動または行動についての分析を含みうる。例えば、ユーザは、その手やアプリケーションコントローラ組によってオーディオオブジェクトを操作することで、当該オーディオオブジェクトに干渉しうる。ＶＲについて、様々なオブジェクト操作技術が知られている。これらはユーザ入力手段に該当する。反応は、本明細書に記載の特徴を有する技術により特定される。反応は、次の２つの分類に分けられる。第１の分類は「干渉検出および修正パラメータ調整」に関し、第２の分類は「オーディオオブジェクトの空間的修正」に関する。
いくつかの高度な実施形態では、ユーザの干渉に基づくオーディオオブジェクトの共通レンダリングが利用されてもよい。高度な実施形態とは、複数のユーザのコンテンツ消費に対応したもの等である。言い換えると、少なくとも２人のユーザが、同一の媒介現実体験を同時に消費しうる。典型的には、各ユーザに対するオーディオレンダリングが、その他のユーザ（複数可）に対してレンダリングされたものとは独立しているのである。共通レンダリングを利用する場合、１人のユーザのレンダリングに対する修正が、第２のユーザの対応するレンダリングに反映されてもよい。これにより、面白みのあるゲームのような、新たな種類のオーディオオブジェクトのレンダリングおよび体験が実現可能となりうる。
オブジェクトがいかにレンダリングされるかに関するオーディオオブジェクトの特性または特徴の最小単位を、オーディオトラックおよび「レンダリングされた」空間のオブジェクトの位置としてもよい。典型的には、サイズの特性が使用される。これを利用して、例えば、スピーカ設定におけるいくつのスピーカが、オーディオオブジェクトの現在位置に基づいて、当該オーディオオブジェクトをレンダリングするのかを示すことができる。例えば、ヘリコプターに対応するオーディオオブジェクトを、ユーザの上空所定距離で飛んだ後に、ユーザの右前方に飛んでいくようにミキシングしてもよい。実際、ヘリコプターに対応するオーディオトラックは、レンダリング中に、最適なスピーカ（あるいはユーザにより任意に設定されたもの）によって適宜パンニングされる。図６を参照すると、この工程は、右側のボックス４４に示される、空間的レンダリングエンジンによって実行されてもよい。図７は、ＤＯＬＢＹ ＡＴＭＯＳを例として、ミキシングを例示的に視覚化したものを示す。このミキシングの視覚化は、異常修正パラメータと修正調整パラメータ（例えば、後述の有効距離と可逆性）のプログラミングに適用されてもよい。コンテンツ消費空間２９内の例えば３８ａ〜３８ｄで示す個別のオーディオ音源は、互いに異なりうる個別化された反応に対して、別々の修正パラメータを有するようにプログラムされてもよい。これは一例に過ぎず、限定的に捉えるべきではない。いくつかの例では、インターフェースにより、例えば３８ａおよび３８ｂ等の２つ以上のオーディオ音源に、同時に共通修正パラメータを設定できる。例えば、共通のオーディオオブジェクトの「種類」分類に基づくもの等であってもよい。これによって、インターフェースでのパラメータ設定が迅速にできる。
オーディオオブジェクトのオーディオトラックは、モノラルトラック、ステレオトラック、またはマルチチャネルトラックであってもよい。さらに、オーディオトラックは、空間的再生のためのさらなるメタデータを含んでもよい。高品質レンダリングに対して好ましい、いくつかの形態の空間的トラックが存在する。ただし、モノオーディオトラックが活用されてもよい。より高度の実施形態では、本明細書でさらに考慮される追加的な特性が含まれてもよい。そのような追加的特性の例としては、オーディオ音源の方向と指向性が挙げられる。
図６において、「レンダリング位置追跡」４６は、ユーザの位置または視点を追跡することを指す。これは、頭部追跡４８の機能に組み合わされてもよい。追跡４６、４８には、従前の追跡システム（複数可）を利用してもよい。干渉検出により、オーディオオブジェクトのレンダリングを修正すべき時が定義される。さらに、どの程度の修正を行うべきかも定義されてもよい。干渉は、レンダリング位置と、オーディオオブジェクトの位置と、「有効距離」パラメータと称する包括的パラメータに基づいて検出されてもよい。この「有効距離」パラメータについては、より詳細に後述する。さらに、干渉検出において、オーディオオブジェクトのサイズが考慮されてもよい。ただし、実施の形態によっては、この情報が「有効距離」パラメータで考慮されてもよい。さらに、レンダリング位置のサイズについての入力が利用されてもよい。ただし、この情報が省略されて、想定される人の頭部の大きさが利用されてもよい。例えば、頭部の向き情報のような頭部追跡入力が利用されてもよい。
上述のように、本明細書に記載の特徴は、自由視点媒介現実体験に関する干渉検出および干渉パラメータ修正と共に利用されてもよい。システムが全体として、いつユーザがオーディオオブジェクトに干渉するか、オーディオオブジェクトに干渉するユーザがどのようにオーディオオブジェクトの状態とレンダリングとに影響するかを定義するパラメータ組からなってもよい。これらのパラメータは、とりわけ既存のより低性能なレンダラとの逆相互運用性を可能とするメタデータとして実現されてもよい。ここでの相互運用性とは、従来のシステムが、その当時利用できなかった本明細書に記載の新規のシステムにより提供される新たな特徴を追加しても、障害なく初期動作可能であるということである。したがって、本明細書に記載の特徴は、自由視点オーディオにおける、オーディオオブジェクトとの干渉の検出と、この干渉に関するオーディオオブジェクト特性の修正に影響を及ぼすパラメータ選択に関する問題を解決するものである。
図６に示すように、頭部追跡４８およびレンダリング位置追跡４６によって得られた結果を、ブロック５０で示すように干渉検出および修正パラメータ調整に利用できる。干渉検出および修正パラメータ調整５０と、頭部追跡４８からの出力を、オーディオオブジェクト空間的修正エンジン５２への入力としてもよい。少なくとも１つのプロセッサと、コンピュータコードを有する少なくとも１つのメモリとを備えるこのエンジン５２が、空間的レンダリングエンジン４４（少なくとも１つのプロセッサと、コンピュータコードを有する少なくとも１つのメモリとを備える）に使用される出力を生成してもよい。復号空間的オーディオ５６は、空間的レンダリングエンジン４４に対する入力としても利用されてもよい。
考えられる４つの基本修正パラメータとして、位置、拡縮、回転、増幅が挙げられる。そのいくつかの例を示す図８を参照する。位置パラメータは、オーディオオブジェクト３８に対する位置修正（Ｘ−Ｙ−Ｚ内）を定義してもよい。例えば、これを利用して、オーディオオブジェクトをユーザ／レンダリング位置から離すように動かしてもよい。拡縮パラメータは、オーディオオブジェクト３８に対するサイズ修正（Ｘ−Ｙ−Ｚ内）を定義してもよい。したがって、拡縮によって、オーディオオブジェクトの形状変化も生じうる。例えば、拡縮は、オーディオオブジェクトでユーザ（またはユーザの頭部３１）を取り囲むようにオーディオオブジェクトを拡大するために利用されてもよい。回転パラメータは、オーディオオブジェクト３８に対する回転修正（Ｘ−Ｙ−Ｚを中心に）を定義してもよい。これは例えば、オーディオオブジェクトが指向性または空間的オーディオトラックを有する場合に有効でありうる。増幅パラメータは、元の音量に対する、オーディオオブジェクト３８の音量を定義してもよい。これは典型的には、時間と共に変化しうる。例えば、特定の時間での干渉によって、オーディオオブジェクトが無音となり、別の時間での干渉は音量に無影響であってもよい。
図８は、図４に示す位置的な衝突異常の、干渉の３つの修正と、それによるオーディオオブジェクト３８のレンダリングを示す。矢印Ａで示すように、元のオーディオオブジェクト３８のサイズを修正して、３８'で示すようにオーディオオブジェクトがユーザの頭部３１の外側となるようにしてもよい（例えばサイズは、どのスピーカが音声再生または音量に寄与するかに影響しうる）。矢印Ｂで示すように、位置を修正することで、３８''で示すように、オーディオオブジェクトをレンダリング点から離してもよい（位置によって、音が再生される方向が影響を受ける）。矢印Ｃで示すように、サイズと回転の両方を修正してもよい。これにより、３８'''で示すように、オーディオオブジェクトがユーザの外側に置かれ、ユーザの周囲を回転するようになる（回転は、少なくともステレオトラックまたは何らかの人工的空間処理を前提とする）。
追加的パラメータにより、体験設計の自由度をさらに増すように、より高度な反応を定義されうる。その例としては、等化、指向性、タイムシフトが挙げられる。等化パラメータは、オーディオオブジェクトのオーディオトラック再生レベルの周波数依存修正を定義してもよい。オーディオオブジェクトは、指向性特性を有してもよく、オーディオオブジェクトの指向性は、指向性パラメータに応じてさらに修正されてもよい。この指向性パラメータは、例えばオーディオオブジェクトのオーディオトラックの再生に関して、区域形状、サイズ、および方向を定義してもよく、周波数依存性であってもよい。指向性は、等化パラメータの二次パラメータであってもよい。タイムシフトパラメータは、オーディオオブジェクトのオーディオトラックの再生時間コードに対する修正を定義してもよい。これは例えば、相対的または絶対的タイムシフトであってもよい。したがって、ユーザの干渉は、例えば、オーディオトラックを開始させるか「巻き戻す」ものであってもよい。例えば、さらに高度なパラメータにより、オーディオオブジェクトが接触したユーザを追うようにしてもよいし（「追いかけ」パラメータ）、オーディオオブジェクトまたはそのオーディオトラックを倍加させるようにしてもよい（「オブジェクト乗算」パラメータ）。これらの高度なパラメータによって、特に、多数のユーザの干渉や、（新規）自由視点媒介現実体験における新たな楽しい体験が実現されてもよい。さらに、特定の反応を示すパラメータが存在してもよい（外部化向上のための脱相関フィルタの使用等）。
空間的オーディオレンダリングエンジン４４（図６参照）は、オーディオオブジェクトと、基本的なミキシング（いわゆる基礎オーディオと適宜呼ばれるものある）を受信し、レンダリング点で空間的オーディオをレンダリングする。さらに図９も参照する。ここで、空間的オーディオレンダリングエンジン４４が、少なくとも１つの修正オーディオオブジェクトインスタンスを受信することが想定される。この修正は、検出された干渉５６と、オーディオオブジェクトに対して定義されたパラメータ組に基づく。後述のように、少なくとも１つのパラメータが、「いつ」オーディオオブジェクトが干渉に反応するかを定義してもよい。上述のように、少なくとも１つのパラメータが、オーディオオブジェクトが「どのように」干渉に反応するか定義してもよい。図９は、オーディオオブジェクト空間的修正エンジンで、オーディオオブジェクトを修正する処理を示す。いくつかの実施形態では、この処理は空間的レンダリングエンジン４４の一部であってもよい。５８で示すように、オーディオオブジェクトの干渉情報が得られ、６０で示すように、オーディオオブジェクトに対して、対応する修正パラメータの調整が実行される。例えば、位置的な衝突異常のようなオーディオオブジェクトの干渉が検出されると、ブロック６２に示すように、修正パラメータの少なくとも１つが適用されてもよい。その後、空間的レンダリングエンジン４４は、修正されたオーディオオブジェクトのレンダリングを実行してもよい。
オーディオオブジェクトに適用される修正は、例えばオーディオトラックの種類のような、オーディオオブジェクト特性に依存してもよい。例えば、モノトラックを適宜、脱相関部で処理して、信号の外化（モノからステレオにアップミキシング）を向上してもよい。空間的レンダリングエンジン４４は、修正されたオーディオオブジェクトインスタンスをその他の任意のオーディオオブジェクトと同じく扱ってもよい。体験が設計およびミキシングされた際に慎重にパラメータが選択されたと仮定すると、オーディオオブジェクトの干渉下でのレンダリングが向上する。
さらに図５Ｂから図５Ｄを参照する。これらの図は、図４の場合の問題に対して、レンダラが独自に実行できるさらなる反応の例を示す。図５Ｂに示すように、オーディオ音源３８は、ユーザ３０がそこに入ると無音化されてもよい。この手法により、その他の手法で生じうる不快な効果が防止されるが、使用状況全体であまり現実的ではないか、好ましくない可能性がある。図５Ｃに示すように、オーディオ音源３８は何事もなかったかのようにレンダリングされてもよい。すなわち、ユーザの頭部にオーディオ音源が現れ続けてもよい。これは不快または非現実的となり、（ユーザおよび／またはオーディオオブジェクト等による）小さな動きの場合はかなり酷い状況となりうる。すなわち、オーディオオブジェクトのようなレンダリングされたオーディオ音声がユーザの頭部を前後に往復してしまうのである。図５Ｄに示すように、オーディオ音源３８はユーザを避けてもよい。すなわち、ユーザとオーディオ音源との間に一定の距離（ある位置に対して相対的距離、または絶対距離等）が維持されてもよい。この手法は、使用状況によっては非現実的で不適切かもしれないが、オーディオオブジェクトが背景をなし、どの視覚的オブジェクトにも対応していない場合に、特に自然になりうる。
図５Ｂの場合、蜂の巣または個々の蜂の音が止む。明らかにこれはユーザ体験として違和感を生じさせると考えられる。しかし、ユーザが見るものに相当しうるのである。図５Ｂのレンダリングの場合、実際のオーディオオブジェクトに応じてそのレンダリングは現実的となりうる。個別の蜂型オブジェクトが存在するか、オブジェクトが複数の部位から形成される場合、レンダリングはユーザの周りでブンブン鳴く蜂に対応しうる。一方、オーディオオブジェクトが１つの蜂の巣である場合、ブンブン音はユーザの頭の中に生じることになり、これは不快になりうる。図５Ｂのレンダリングは、正確な実施の形態の詳細とは独立して実行されてもよい。ただし、これもかなり非現実的かつ不快なものとなりうる。この場合も、視覚体験に対応しないと考えられる。このような図５Ｂから図５Ｄの例とは異なり、上述のパラメータ化された修正は、より自然な反応または無理のない反応を実現しうる。図８に示すようなパラメータ化された干渉を使用して、図５に示す各反応を制御された形で容易に実現するようにしてもよい。
柔軟性をさらに高められるようにする必要があり、より重要な点としてコンテンツ作成者の視点を考慮に入れる必要がある。これによって、ユーザの干渉下におけるオーディオオブジェクトのレンダリングに関してできるだけ良好なユーザ体験を実現する。柔軟性を実現するために、できるだけ多くの使用状況を網羅できるような、多数の異なるレンダリングのオプションが選択可能であってもよい。さらに、所与のオーディオオブジェクトについて、最適な、または所望のレンダリングのオプションがどのようなものであるかについての情報が提供可能であってもよい。言い換えると、関連するオーディオオブジェクトの種類を考慮して作成ツールが提供されてもよく、これにより異なる種類のオーディオオブジェクトに対する異なる修正パラメータが提供される。
本明細書に記載の特徴によって、自由視点オーディオにおける自然な反応が可能になる。本明細書に記載の特徴によって、複数のユーザのいる状況におけるゲームのようなインタラクションといった、自由視点オーディオにおける新たな刺激的なユーザ体験が提供される。本明細書に記載の特徴によって、予期できる出力を伴う様々な異なるオーディオオブジェクトとの直感的なユーザの干渉が可能になる。本明細書に記載の特徴によって、コンテンツ作成における新規なツールと機会を実現し、これによって、上述の効果やコンテンツの差別化をもたらす。これはメタデータとして実施されてもよく、さらにこのメタデータによって、下位「互換性」（すなわち、従前のレンダラはメタデータを考慮に入れず、単純にこの新しい機能性が提供されない）を可能にしつつ、市場において他にないレンダラを実現する可能性がある。さらに、このシステムの態様は、例えば、自由視点オーディオに対応するＭＰＥＧまたは３ＧＰＰ標準において活用されてもよい。
上述のように、追加のパラメータを使用して、修正パラメータを調整してもよい。これらの追加のパラメータは、修正調整パラメータとされてもよい。干渉の検出は、２つの主要な構成要素のＸ−Ｙ−Ｚ座標（レンダリングの位置およびオーディオオブジェクトの位置）が既知である場合、距離の算出に基づいてもよい。これらのサイズ情報から導かれた閾値により、空間においてユーザがオーディオオブジェクトに交差する場所が定義されてもよい。さらに、「有効距離」パラメータによって、実際の交差地点とは異なる距離で干渉が始まる場所が定義されてもよい。
高度の実施形態では、ユーザの形状（またはレンダリングの点）は、オーディオオブジェクトと同様に、既知であり、上述の算出に使用されてもよい。しかし、実際には、ユーザの実際の形状を考慮に入れることは、レンダリングにおいて何らかの実質的な変更や改善がなければ、計算が高度に複雑になるおそれがある。一部のユーザにとっては、頭部伝達関数（Head-Related Transfer Function：ＨＲＴＦ）に関するフィルタリングの暗黙の変更が知覚的には重大になるおそれがある。オーディオオブジェクトの形状に対するパラメータ組も、考慮される場合がある。ユーザの形状／レンダリングの点に対して個別の定義が必要となりうる。
有効距離
有効距離パラメータは、修正調整パラメータを考慮したものであっても、ユーザが現在のオーディオオブジェクトに対して干渉すると考えられる距離を定義するコアパラメータであってもよい。有効距離の一例が図１０に示されている。有効距離パラメータは、１つまたは複数の他のパラメータの効果が考慮されうる距離を定義する。言い換えると、このパラメータは、オーディオオブジェクト特性に対するユーザの干渉および周囲１００を発端とするパラメータの「力場」強度を定義する。異なる修正パラメータは、異なる有効距離パラメータを有してもよいし、共通有効距離パラメータに対して異なる反応を示してもよい。この距離は、レンダリングされた空間においてオーディオオブジェクトの位置に相対的である。これは、方向について定義されてもよい。例えば、有効距離は、ユーザの干渉の方向によって異なってもよい。このように、有効距離に対するＸ−Ｙ−Ｚ要素が示されてもよい。局所座標は、好ましくはオーディオオブジェクトのサイズおよび回転特性に基づいている。ある実施形態では、有効距離パラメータに対してより複雑な形状を定義することが望ましい。
図１０Ａに示すように、効果曲線１０２の形状は、上述の距離の関数として定義されてもよい。このように、効果は例えば、干渉が始まると穏やかに増加し、ユーザが有効領域深く移動するにつれて強くなり、ユーザがオーディオオブジェクトの原点から遠ざかるにつれて最大効果に対して穏やかに減少する。有効距離は干渉を検出し標示するために求められるが、異なる修正パラメータに対して異なる有効距離が設けられていることも有用である。したがって、有効距離パラメータの修正要素は、パラメータごとに定義されていてもよい。図１０Ａは、オーディオオブジェクトからの一方向のみについての修正パラメータに対する有効距離パラメータの効果を例示している。図１０Ｂは、オーディオオブジェクトからの異なる第２の方向についての修正パラメータに対する有効距離パラメータの効果曲線１０２'を示す。上述の説明は、１つの修正パラメータの効果に影響を及ぼす修正調整パラメータ（本例では有効距離パラメータ）に対するものである。ただし、この効果は、オーディオオブジェクト自体に関するものであってもよく、修正パラメータに直接関するものではない。言い換えると、このオーディオオブジェクトに対する効果は、パラメータ化された算出によって必ずしも策定されるものではない。
可逆性
可逆性修正パラメータは、修正調整パラメータを考慮したものであっても、コアパラメータとも考えられてもよく、干渉反応の可逆性を定義してもよい。ユーザの干渉によってオーディオオブジェクトのレンダリングが修正された後、当該ユーザの干渉は取り除かれてもよい（すなわち、レンダリング位置が再び変化する）。オーディオオブジェクトは、新しい修正状態を維持してもよいし、元の「意図された」状態に戻ってもよい。可逆性パラメータは、この受動的な修正が行われるというオーディオオブジェクトの傾向を規定している。
ある実施形態では、可逆性は別のパラメータの二次的パラメータであってもよい（または有効距離パラメータについて上述したように、さらにサブ修正要素が用いられてもよい）。例えば、ユーザの干渉によってオーディオオブジェクトのサイズと空間における位置とが修正された場合、当該ユーザの干渉を除去することによって、前の修正された特性（例えば、パラメータ値０）を維持しつつ、後の修正された特性は元の状態に変更される（例えば、正のパラメータ値）。したがって、このパラメータはヒステリシスのように、この変更の速度を規定している。
上記で元の状態と呼んでいるものは、そこから修正が生じている状態ではない場合もある。これは、例えば時間に基づいてオーディオオブジェクトの根本的な状態が変化しうるためである。したがって、ユーザの干渉を除去することによって、第２のユーザの干渉と同じオーディオオブジェクトの修正が発生する場合がある。これは、レンダリングを円滑に修正するために、有効距離および可逆性に基づいて、干渉検出によって制御されうる。
上述のパラメータを使用して、「オーディオオブジェクト空間的修正エンジン」によって活用されるような修正パラメータを調整してもよい。図１１は、その全体のプロセスを示している。干渉７０の検出に応じて、ブロック７２に示すように、干渉にどのような変更が加えられたかに関する判定が行われる。干渉は、ブロック７４に示すように、有効距離に基づく調整を適用する等して増強されてもよい。干渉は、ブロック７６に示すように、可逆性に基づく調整を適用する等して抑制されてもよい。ブロック７８に示すように、ここで修正情報がオーディオオブジェクト空間的レンダリングエンジンに送信されてもよい。少なくともある実施形態では、新たな調整が前の調整と提案された新たな調整の内のより意義のある方であってもよい。例えば、新たな調整は、ブロック７２に示すように、ブロック７４からの出力とブロック７６からの出力の内のより意義のある方であってもよい。
本明細書に記載の特徴によって、自由視点オーディオにおける自然な反応を実現するシステムが作り出されてもよい。本明細書に記載の特徴によって、様々な異なるオーディオオブジェクトとの、ユーザの直感的な干渉が可能となってもよい。本明細書に記載の特徴によって、コンテンツ作成における新規なツールと機会を実現し、これによって、上述の効果やコンテンツおよび製品の差別化をもたらしてもよい。
さらに図１２を参照し、ある例示的方法によると、方法は、ブロック８０に示すように、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、ブロック８２に示すように、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
前記変更することは、前記オーディオオブジェクトのサイズ、位置、拡縮、回転、および増幅の内の少なくとも１つに関するものであってもよい。前記変更することは、等化、指向性、タイムシフト、追いかけ、およびオーディオオブジェクト乗算の内の少なくとも１つに関するものであってもよい。前記自由視点レンダリングは第２のオーディオオブジェクトのレンダリングを含み、前記方法は、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトと、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトに対する前記ユーザの位置との間の第２の位置的な衝突異常を検出することと、前記第２の位置的な衝突異常の検出に応じて、少なくとも１つの異なる所定の異常修正パラメータに基づいて、前記第２のオーディオオブジェクトのレンダリングを変更することと、をさらに含んでもよい。前記少なくとも１つの所定の異常修正パラメータは、少なくとも２つの前記所定の異常修正パラメータを含んでもよい。前記方法は、前記オーディオオブジェクトに基づいて、修正調整によって前記オーディオオブジェクトのレンダリングの前記変更に対する、前記少なくとも１つの所定の異常修正パラメータによる影響を変えることをさらに含んでもよい。前記修正調整は、時間間隔および／または拡縮の変更を前記少なくとも１つの所定の異常修正パラメータに適用するものであってもよい。前記修正調整は、前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置との間の距離に関する有効距離修正調整であってもよい。前記修正調整は、前記位置的な衝突異常の少なくとも部分的な除去を後で検出したことに応じた可逆性修正調整であってもよい。前記方法は、検出された前記位置的な衝突異常の種類に基づいて、少なくとも１つの所定の異常修正パラメータを選択することをさらに含んでもよい。前記方法は、検出された前記位置的な衝突異常の特徴に基づいて、前記選択された少なくとも１つの所定の異常修正パラメータに対する値を選択することをさらに含んでもよい。前記位置的な衝突異常を検出することは、レンダリング位置追跡を使用することを含んでもよい。前記位置的な衝突異常を検出することは、前記ユーザの頭部の頭部追跡を使用することをさらに含んでもよい。前記相対的移動は、前記自由視点レンダリングにおける前記ユーザの第１の位置を、前記自由視点レンダリングにおける前記ユーザの第２の異なる位置へと変更することを含んでもよく、ここで前記位置的な衝突異常は、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記ユーザの前記第２の位置との間に生じる。一例においては、前記自由視点レンダリングにおける前記ユーザの位置を変更しなくてもよい。これは、前記自由視点レンダリングにおける前記ユーザの位置が実質的に不変である一方、変化される前記オーディオオブジェクトの位置でありうる。例えば、図４に示す蜂の一匹がユーザの頭部へと（おそらくユーザの口へと、またはユーザの口を通らず）飛び込んで来る可能性があるが、これを除いてはユーザの頭部はレンダリングにおいて固定されている。レンダリング中で発生したことを鑑みてユーザが移動すべきレンダリングにおいて、当該レンダリングにおけるユーザの位置は変化していない。これにより、レンダリングにおけるオーディオオブジェクトの動きは、当該レンダリングにおけるユーザに予期される動きがなければ、位置的な衝突異常を生じる。例えば、レンダリング中で溶岩が流れ、ユーザが溶岩を避ける動きをしない場合（または、実際に予期されるであろう程度に迅速に動かない場合）、レンダリング中のユーザの位置に対する溶岩の動きによって位置的な衝突異常が生じる。本明細書に記載の特徴によると、自由視点レンダリングにおけるユーザの位置とオーディオオブジェクトの位置との間に起こりうる位置的な衝突異常は、正常に定義された動きや相対位置を外れた出来事を体験するために、ユーザにとってより意味があり有用な形で調整されてもよい。
ある例示的実施形態によると、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備える装置が提供されてもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を実行させるように構成されている。
前記変更することは、前記オーディオオブジェクトのサイズ、位置、拡縮、回転、および増幅の内の少なくとも１つに関するものであってもよい。前記変更することは、等化、指向性、タイムシフト、追いかけ、およびオーディオオブジェクト乗算の内の少なくとも１つに関するものであってもよい。前記自由視点レンダリングは第２のオーディオオブジェクトのレンダリングを含んでもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトと、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトに対する前記ユーザの位置との間の第２の位置的な衝突異常を検出することと、前記第２の位置的な衝突異常の検出に応じて、少なくとも１つの異なる所定の異常修正パラメータに基づいて、前記第２のオーディオオブジェクトのレンダリングを変更することと、を実行させるように構成されてもよい。前記少なくとも１つの所定の異常修正パラメータは、少なくとも２つの前記所定の異常修正パラメータを含んでもよい。前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、前記オーディオオブジェクトに基づいて、修正調整によって前記オーディオオブジェクトのレンダリングの前記変更に対する、前記少なくとも１つの所定の異常修正パラメータによる影響を変えることを実行させるように構成されてもよい。前記修正調整は、時間間隔および／または拡縮の変更を前記少なくとも１つの所定の異常修正パラメータに適用するように構成されてもよい。前記修正調整は、前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置との間の距離に関する有効距離修正調整であってもよい。前記修正調整は、前記位置的な衝突異常の少なくとも部分的な除去を後で検出したことに応じた可逆性修正調整であってもよい。
ある例示的実施形態によると、機械によって可読な非一時的プログラム記憶装置が提供されてもよく、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するものであり、前記動作は、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
１つまたは複数のコンピュータ可読媒体の任意の組合せが、メモリとして使用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体や非一時的コンピュータ可読記憶媒体であってもよい。非一時的コンピュータ可読記憶媒体は、伝搬信号を含まず、例えば、電子的、磁気的、光学的、電磁気的、赤外線、もしくは半導体システム、装置、もしくはデバイス、またはこれらの任意の適切な組合せが挙げられるが、これらに限定されない。コンピュータ可読記憶媒体のさらに特定の（非限定的）例としては、１つまたは複数の配線を有する電気的接続部、可搬コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラム可能リードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、可搬性コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光学的記憶装置、磁気的記憶装置、またはこれらの任意の適切な組合せが挙げられる。
ある例示的実施形態によると、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出する手段と、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更する手段と、を備える装置が提供されてもよい。
さらに図１３を参照し、ある例示的方法によると、ブロック８４に示すように、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、ブロック８６に示すように、前記オーディオオブジェクトの識別された前記分類型に基づいて、前記オーディオオブジェクトと共に少なくとも１つの所定の異常修正パラメータを保存することと、を含む方法が提供されてもよい。
別の例によると、例示的装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備えてもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトに対するオブジェクト分類型の識別をさせることと、前記オーディオオブジェクトの識別された前記分類型に基づいて、前記オーディオオブジェクトと共に少なくとも１つの所定の異常修正パラメータを保存することと、を実行させるように構成されている。
別の例によると、例示的装置は、機械によって可読な非一時的プログラム記憶装置であって、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するプログラム記憶装置を備えてもよく、前記動作は、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、前記オーディオオブジェクトの識別された前記分類型に基づいて、前記オーディオオブジェクトと共に少なくとも１つの所定の異常修正パラメータを保存することと、を含む。
さらに図１４を参照し、ある例示的方法によると、ブロック８８に示すように、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記オーディオオブジェクトに対する前記ユーザの位置との間の位置的な衝突異常を検出することと、ブロック９０に示すように、前記位置的な衝突異常の検出に応じて、前記オーディオオブジェクトのオブジェクト型分類に少なくとも部分的に基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む方法が提供されてもよい。
別の例によると、例示的装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備えてもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記オーディオオブジェクトに対する前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、前記オーディオオブジェクトのオブジェクト型分類に少なくとも部分的に基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を実行させるように構成されている。
別の例によると、例示的装置は、機械によって可読な非一時的プログラム記憶装置であって、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するプログラム記憶装置を備えてもよく、前記動作は、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記オーディオオブジェクトに対する前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、前記オーディオオブジェクトのオブジェクト型分類に少なくとも部分的に基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
さらに図１５を参照し、別の例示的方法によると、ブロック９２に示すように、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、ブロック９４に示すように、前記オーディオオブジェクトの識別された前記オブジェクト分類型に基づいて、少なくとも１つの所定の異常修正パラメータを、再生される際の前記オーディオオブジェクトに関連付けることと、を含む方法が提供されてもよい。
別の例によると、例示的装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備えてもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、前記オーディオオブジェクトの識別された前記オブジェクト分類型に基づいて、少なくとも１つの所定の異常修正パラメータを、再生される際の前記オーディオオブジェクトに関連付けることと、を実行させるように構成されている。
別の例によると、例示的装置は、機械によって可読な非一時的プログラム記憶装置であって、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するプログラム記憶装置を備えてもよく、前記動作は、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、前記オーディオオブジェクトの識別された前記オブジェクト分類型に基づいて、少なくとも１つの所定の異常修正パラメータを、再生される際の前記オーディオオブジェクトに関連付けることと、を含む。
本明細書に記載の第１の特徴は、自由視点オーディオオブジェクトにおける干渉の定義および検出に関する。さらに、当該特徴は、干渉に基づいたパラメータ修正の程度を定義することに関する。本明細書に記載の第２の特徴は、実際のパラメータ修正と、その修正がオーディオオブジェクトのレンダリングにいかに影響を及ぼすかに関する。第１の特徴は、位置異常に関する問題を解決するための実現技術として使用されてもよい。これらの特徴は、ユーザがオーディオオブジェクトにいかに干渉するか、それによりどのようなレンダリングが実現可能であるかに対して、コンテンツ制作者に制御させる徹底した解決策を提供するシステムを作り出すために使用されてもよい。本明細書に記載の特徴によって、ユーザがオーディオオブジェクトに接触した際に何かが発生する必要があるという要望が満たされてもよく、これにより、真実味のある体験が作り出される。これは基本的に、間接的、すなわち意図されていない干渉である。これによる結果は、概して「自然」かつ「真実味のある」ものとなる。これは、地理的位置に対応付けられたオーディオ効果を単にカスタマイズするものではない。本明細書に記載の特徴は、完全な自由視点オーディオと共に、「単一の」オーディオオブジェクトの修正のために使用されるものであってもよく、単に複数のオーディオオブジェクトを組み合わせるものではない。
上述の説明は単に例示的なものであると理解されよう。当業者であれば、様々な変更や修正に想達できる。例えば、各従属請求項に記載された特徴は、任意の組合せ（複数可）で互いに組み合わされてもよい。さらに、上述の異なる実施形態の特徴は、選択的に新たな実施形態に組み合わせることができる。したがって、上述の説明は、添付の請求の範囲に該当するそのような変更、修正、変形のすべてを包含することが意図されている。

Claims (24)

  1. ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記自由視点レンダリングにおける前記オーディオオブジェクトとの間の相対的移動の間、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、
    前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、
    を含む方法。
  2. 前記変更することは、前記オーディオオブジェクトのサイズ、位置、拡縮、回転、および増幅の内の少なくとも１つに関する、請求項１に記載の方法。
  3. 前記変更することは、等化、指向性、タイムシフト、追いかけ、およびオーディオオブジェクト乗算の内の少なくとも１つに関する、請求項１または２に記載の方法。
  4. 前記自由視点レンダリングは第２のオーディオオブジェクトのレンダリングを含み、
    前記方法は、
    前記自由視点レンダリングにおける前記第２のオーディオオブジェクトと前記自由視点レンダリングにおける前記ユーザの位置との間の第２の位置的な衝突異常を検出することと、
    前記第２の位置的な衝突異常の検出に応じて、少なくとも１つの異なる所定の異常修正パラメータに基づいて、前記第２のオーディオオブジェクトのレンダリングを変更することと、
    をさらに含む、請求項１から３のいずれかに記載の方法。
  5. 前記少なくとも１つの所定の異常修正パラメータは、少なくとも２つの前記所定の異常修正パラメータを含む、請求項１から４のいずれかに記載の方法。
  6. 前記オーディオオブジェクトに基づいて、修正調整によって前記オーディオオブジェクトのレンダリングの前記変更に対する、前記少なくとも１つの所定の異常修正パラメータによる影響を変えることをさらに含む、請求項１から５のいずれかに記載の方法。
  7. 前記修正調整は、時間間隔および／または拡縮の変更を前記少なくとも１つの所定の異常修正パラメータに適用する、請求項６に記載の方法。
  8. 前記修正調整は、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記自由視点レンダリングにおける前記ユーザの位置との間の距離に関する有効距離修正調整である、請求項６に記載の方法。
  9. 前記修正調整は、前記位置的な衝突異常の少なくとも部分的な除去を後で検出したことに応じた可逆性修正調整である、請求項６に記載の方法。
  10. 検出された前記位置的な衝突異常の種類に基づいて、前記少なくとも１つの所定の異常修正パラメータを選択することをさらに含む、請求項１から９のいずれかに記載の方法。
  11. 検出された前記位置的な衝突異常の特徴に基づいて、前記選択された少なくとも１つの所定の異常修正パラメータに対する値を選択することをさらに含む、請求項１０に記載の方法。
  12. 前記位置的な衝突異常を検出することは、レンダリング位置追跡を使用することを含む、請求項１から１１のいずれかに記載の方法。
  13. 前記位置的な衝突異常を検出することは、前記ユーザの頭部の頭部追跡を使用することをさらに含む、請求項１２に記載の方法。
  14. 前記相対的移動は、前記自由視点レンダリングにおける前記ユーザの第１の位置を、前記自由視点レンダリングにおける前記ユーザの第２の異なる位置へと変更することを含み、ここで前記位置的な衝突異常は、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記ユーザの前記第２の位置との間に生じる、請求項１から１３のいずれかに記載の方法。
  15. 少なくとも１つのプロセッサと、
    コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備える装置であって、
    前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、
    ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記自由視点レンダリングにおける前記オーディオオブジェクトとの間の相対的移動の間、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、
    前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、
    を実行させるように構成されている、装置。
  16. 前記変更することは、前記オーディオオブジェクトのサイズ、位置、拡縮、回転、および増幅の内の少なくとも１つに関する、請求項１５に記載の装置。
  17. 前記変更することは、等化、指向性、タイムシフト、追いかけ、およびオーディオオブジェクト乗算の内の少なくとも１つに関する、請求項１５または１６に記載の装置。
  18. 前記自由視点レンダリングは第２のオーディオオブジェクトのレンダリングを含み、
    前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、
    前記自由視点レンダリングにおける前記第２のオーディオオブジェクトと、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトに対する前記ユーザの位置との間の第２の位置的な衝突異常を検出することと、
    前記第２の位置的な衝突異常の検出に応じて、少なくとも１つの異なる所定の異常修正パラメータに基づいて、前記第２のオーディオオブジェクトのレンダリングを変更することと、
    を実行させるように構成されている、請求項１５から１７のいずれかに記載の装置。
  19. 前記少なくとも１つの所定の異常修正パラメータは、少なくとも２つの前記所定の異常修正パラメータを含む、請求項１５から１８のいずれかに記載の装置。
  20. 前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、前記オーディオオブジェクトに基づいて、修正調整によって前記オーディオオブジェクトのレンダリングの前記変更に対する、前記少なくとも１つの所定の異常修正パラメータによる影響を変えることを実行させるように構成されている、請求項１５から１９のいずれかに記載の装置。
  21. 前記修正調整は、時間間隔および／または拡縮の変更を前記少なくとも１つの所定の異常修正パラメータに適用するように構成された、請求項２０に記載の装置。
  22. 前記修正調整は、前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置との間の距離に関する有効距離修正調整である、請求項２０に記載の装置。
  23. 前記修正調整は、前記位置的な衝突異常の少なくとも部分的な除去を後で検出したことに応じた可逆性修正調整である、請求項２０に記載の装置。
  24. 機械によって可読な非一時的プログラム記憶装置であって、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するプログラム記憶装置であり、
    前記動作は、
    ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記自由視点レンダリングにおける前記オーディオオブジェクトとの間の相対的移動の間、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、
    前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、
    を含む、非一時的プログラム記憶装置。
JP2019519985A 2016-10-14 2017-10-06 自由視点レンダリングにおけるオーディオオブジェクトの修正 Active JP7100633B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021078430A JP7100741B2 (ja) 2016-10-14 2021-05-06 自由視点レンダリングにおけるオーディオオブジェクトの修正

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/293,607 2016-10-14
US15/293,607 US9980078B2 (en) 2016-10-14 2016-10-14 Audio object modification in free-viewpoint rendering
PCT/FI2017/050705 WO2018069573A1 (en) 2016-10-14 2017-10-06 Audio object modification in free-viewpoint rendering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021078430A Division JP7100741B2 (ja) 2016-10-14 2021-05-06 自由視点レンダリングにおけるオーディオオブジェクトの修正

Publications (2)

Publication Number Publication Date
JP2019535210A true JP2019535210A (ja) 2019-12-05
JP7100633B2 JP7100633B2 (ja) 2022-07-13

Family

ID=61902894

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019519985A Active JP7100633B2 (ja) 2016-10-14 2017-10-06 自由視点レンダリングにおけるオーディオオブジェクトの修正
JP2021078430A Active JP7100741B2 (ja) 2016-10-14 2021-05-06 自由視点レンダリングにおけるオーディオオブジェクトの修正

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021078430A Active JP7100741B2 (ja) 2016-10-14 2021-05-06 自由視点レンダリングにおけるオーディオオブジェクトの修正

Country Status (5)

Country Link
US (2) US9980078B2 (ja)
EP (1) EP3526982A4 (ja)
JP (2) JP7100633B2 (ja)
CN (2) CN112911495B (ja)
WO (1) WO2018069573A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7492833B2 (ja) 2020-02-06 2024-05-30 株式会社 ディー・エヌ・エー 拡張現実技術を用いたコンテンツを提供するためのプログラム、システム、及び方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
EP3410747B1 (en) * 2017-06-02 2023-12-27 Nokia Technologies Oy Switching rendering mode based on location data
US10224033B1 (en) * 2017-09-05 2019-03-05 Motorola Solutions, Inc. Associating a user voice query with head direction
DE102018206025A1 (de) * 2018-02-19 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering
EP3821619A4 (en) * 2018-07-13 2022-03-30 Nokia Technologies Oy MULTI-VIEWER MULTI-USER AUDIO USER EXPERIENCE
WO2020144062A1 (en) * 2019-01-08 2020-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Efficient spatially-heterogeneous audio elements for virtual reality
GB2582569A (en) 2019-03-25 2020-09-30 Nokia Technologies Oy Associated spatial audio playback
WO2020242506A1 (en) * 2019-05-31 2020-12-03 Dts, Inc. Foveated audio rendering
CN115278350A (zh) * 2021-04-29 2022-11-01 华为技术有限公司 一种渲染方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099482B1 (en) * 2001-03-09 2006-08-29 Creative Technology Ltd Method and apparatus for the simulation of complex audio environments
US20140285312A1 (en) * 2013-03-19 2014-09-25 Nokia Corporation Audio Mixing Based Upon Playing Device Location
US20140350944A1 (en) * 2011-03-16 2014-11-27 Dts, Inc. Encoding and reproduction of three dimensional audio soundtracks
WO2016014254A1 (en) * 2014-07-23 2016-01-28 Pcms Holdings, Inc. System and method for determining audio context in augmented-reality applications
US20160125867A1 (en) * 2013-05-31 2016-05-05 Nokia Technologies Oy An Audio Scene Apparatus
US20160266865A1 (en) * 2013-10-31 2016-09-15 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633993A (en) 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
US5758257A (en) 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
US6330486B1 (en) 1997-07-16 2001-12-11 Silicon Graphics, Inc. Acoustic perspective in a virtual three-dimensional environment
US6151020A (en) 1997-10-24 2000-11-21 Compaq Computer Corporation Real time bit map capture and sharing for collaborative tools
GB2372923B (en) 2001-01-29 2005-05-25 Hewlett Packard Co Audio user interface with selective audio field expansion
US7491123B2 (en) 2004-07-29 2009-02-17 Nintendo Co., Ltd. Video game voice chat with amplitude-based virtual ranging
JP5046531B2 (ja) 2006-03-01 2012-10-10 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲームシステム
DE102007059597A1 (de) 2007-09-19 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eine Vorrichtung und ein Verfahren zur Ermittlung eines Komponentensignals in hoher Genauigkeit
WO2009067670A1 (en) 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
CN102186544B (zh) 2008-01-17 2014-05-14 维沃克斯公司 用于在采用每个具象的渲染环境的虚拟现实系统中提供实时的每个具象的流数据的可扩展技术
US8170222B2 (en) 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
US8861739B2 (en) 2008-11-10 2014-10-14 Nokia Corporation Apparatus and method for generating a multichannel signal
KR20100138700A (ko) 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR20120062758A (ko) 2009-08-14 2012-06-14 에스알에스 랩스, 인크. 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
EP2508011B1 (en) 2009-11-30 2014-07-30 Nokia Corporation Audio zooming process within an audio scene
US9210503B2 (en) 2009-12-02 2015-12-08 Audience, Inc. Audio zoom
CN102713664B (zh) 2010-01-12 2016-03-16 诺基亚技术有限公司 协作式位置/方位估计
DE102010030534A1 (de) 2010-06-25 2011-12-29 Iosono Gmbh Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion
RU2570359C2 (ru) 2010-12-03 2015-12-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Прием звука посредством выделения геометрической информации из оценок направления его поступления
WO2012122397A1 (en) 2011-03-09 2012-09-13 Srs Labs, Inc. System for dynamically creating and rendering audio objects
US8836771B2 (en) 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
JP5895050B2 (ja) 2011-06-24 2016-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 符号化された多チャンネルオーディオ信号を処理するオーディオ信号プロセッサ及びその方法
TWI603632B (zh) 2011-07-01 2017-10-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
CN102855133B (zh) * 2011-07-01 2016-06-08 云联（北京）信息技术有限公司 一种计算机处理单元交互式系统
US9554229B2 (en) 2011-10-31 2017-01-24 Sony Corporation Amplifying audio-visual data based on user's head orientation
WO2013064943A1 (en) 2011-11-01 2013-05-10 Koninklijke Philips Electronics N.V. Spatial sound rendering system and method
EP2829083B1 (en) 2012-03-23 2016-08-10 Dolby Laboratories Licensing Corporation System and method of speaker cluster design and rendering
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
WO2013192111A1 (en) 2012-06-19 2013-12-27 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
DE102012014088B3 (de) * 2012-07-16 2013-10-10 Stefan Stahl Windenergieanlage
EP2688318B1 (en) 2012-07-17 2018-12-12 Alcatel Lucent Conditional interaction control for a virtual object
US9158768B2 (en) * 2012-07-25 2015-10-13 Paypal, Inc. System and methods to configure a query language using an operator dictionary
WO2014036121A1 (en) 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
US9179232B2 (en) 2012-09-17 2015-11-03 Nokia Technologies Oy Method and apparatus for associating audio objects with content and geo-location
EP2733964A1 (en) * 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
US20140153753A1 (en) * 2012-12-04 2014-06-05 Dolby Laboratories Licensing Corporation Object Based Audio Rendering Using Visual Tracking of at Least One Listener
WO2014113891A1 (en) 2013-01-25 2014-07-31 Hu Hai Devices and methods for the visualization and localization of sound
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
MX2015014065A (es) 2013-04-05 2016-11-25 Thomson Licensing Metodo para manejar campo reverberante para audio inmersivo.
WO2014171706A1 (ko) * 2013-04-15 2014-10-23 인텔렉추얼디스커버리 주식회사 가상 객체 생성을 이용한 오디오 신호 처리 방법
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
CN105191354B (zh) * 2013-05-16 2018-07-24 皇家飞利浦有限公司 音频处理装置及其方法
US9589767B2 (en) * 2013-07-19 2017-03-07 Advanced Energy Industries, Inc. Systems, methods, and apparatus for minimizing cross coupled wafer surface potentials
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
WO2015066037A1 (en) 2013-10-28 2015-05-07 Brown University Virtual reality methods and systems
CN103702072A (zh) * 2013-12-11 2014-04-02 乐视致新电子科技（天津）有限公司 一种基于可视终端的监护方法和可视终端
US10063207B2 (en) * 2014-02-27 2018-08-28 Dts, Inc. Object-based audio loudness management
WO2015152661A1 (ko) 2014-04-02 2015-10-08 삼성전자 주식회사 오디오 오브젝트를 렌더링하는 방법 및 장치
US20150302651A1 (en) * 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
US20160150345A1 (en) 2014-11-24 2016-05-26 Electronics And Telecommunications Research Institute Method and apparatus for controlling sound using multipole sound object
US9787846B2 (en) 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
US9794721B2 (en) 2015-01-30 2017-10-17 Dts, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
CN106162500B (zh) 2015-04-08 2020-06-16 杜比实验室特许公司 音频内容的呈现
US9690374B2 (en) 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
GB2540175A (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Spatial audio processing apparatus
US9937422B2 (en) 2015-12-09 2018-04-10 Microsoft Technology Licensing, Llc Voxel-based, real-time acoustic adjustment
US20170169613A1 (en) 2015-12-15 2017-06-15 Lenovo (Singapore) Pte. Ltd. Displaying an object with modified render parameters
CN105611481B (zh) * 2015-12-30 2018-04-17 北京时代拓灵科技有限公司 一种基于空间声的人机交互方法和系统
WO2017136573A1 (en) 2016-02-02 2017-08-10 Dts, Inc. Augmented reality headphone environment rendering
WO2017136580A1 (en) 2016-02-04 2017-08-10 Magic Leap, Inc. Technique for directing audio in augmented reality system
TWI744341B (zh) 2016-06-17 2021-11-01 美商Ｄｔｓ股份有限公司 使用近場/遠場渲染之距離聲相偏移

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099482B1 (en) * 2001-03-09 2006-08-29 Creative Technology Ltd Method and apparatus for the simulation of complex audio environments
US20140350944A1 (en) * 2011-03-16 2014-11-27 Dts, Inc. Encoding and reproduction of three dimensional audio soundtracks
US20140285312A1 (en) * 2013-03-19 2014-09-25 Nokia Corporation Audio Mixing Based Upon Playing Device Location
US20160125867A1 (en) * 2013-05-31 2016-05-05 Nokia Technologies Oy An Audio Scene Apparatus
US20160266865A1 (en) * 2013-10-31 2016-09-15 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing
WO2016014254A1 (en) * 2014-07-23 2016-01-28 Pcms Holdings, Inc. System and method for determining audio context in augmented-reality applications

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADRIAN DAVID CHEOK, ET AL.: "Touch-Space: Mixed Reality Game Space Based on Ubiquitous, Tangible, and Social Computing", PERSONAL AND UBIQUITOUS COMPUTING, vol. Vol. 6, No. 5-6, JPN6021023432, 2002, pages 430 - 442, ISSN: 0004530528 *
CARL SCHISSLER, ET AL.: "Efficient HRTF-Based Spatial Audio for Area and Volumetric Sources", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, vol. 22, no. 4, JPN6020028975, April 2016 (2016-04-01), pages 1356 - 1366, XP011603109, ISSN: 0004320659, DOI: 10.1109/TVCG.2016.2518134 *
KENNETH SALISBURY, ET AL.: "Haptic Rendering: Introductory Comcepts", IEEE COMPUTER GRAPHICS AND APPLICATIONS, vol. March/April 2004, JPN6020028974, 2004, pages 24 - 32, ISSN: 0004320658 *
OHAN ODA, ET AL.: "Interference Avoidance in Multi-User Hand-Held Augmented Reality", IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY 2009 SCIENCE AND TECHNOLOGY PROCEEDINGS, JPN6020028973, 19 October 2009 (2009-10-19), pages 13 - 22, XP031568951, ISSN: 0004530527 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7492833B2 (ja) 2020-02-06 2024-05-30 株式会社 ディー・エヌ・エー 拡張現実技術を用いたコンテンツを提供するためのプログラム、システム、及び方法

Also Published As

Publication number Publication date
JP7100633B2 (ja) 2022-07-13
US20190082282A1 (en) 2019-03-14
US20180109901A1 (en) 2018-04-19
US9980078B2 (en) 2018-05-22
CN112911495A (zh) 2021-06-04
CN112911495B (zh) 2022-09-02
CN109845290B (zh) 2021-03-02
CN109845290A (zh) 2019-06-04
US10433096B2 (en) 2019-10-01
WO2018069573A1 (en) 2018-04-19
EP3526982A1 (en) 2019-08-21
EP3526982A4 (en) 2020-06-17
JP2021119708A (ja) 2021-08-12
JP7100741B2 (ja) 2022-07-13

Similar Documents

Publication Publication Date Title
JP7100741B2 (ja) 自由視点レンダリングにおけるオーディオオブジェクトの修正
JP6388939B2 (ja) 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理
CN110121695B (zh) 虚拟现实领域中的装置及相关联的方法
EP3095254B1 (en) Enhanced spatial impression for home audio
US11540081B2 (en) Spatial audio downmixing
US20210329400A1 (en) Spatial Audio Rendering Point Extension
CN112602053A (zh) 音频装置和音频处理的方法
US20240022870A1 (en) System for and method of controlling a three-dimensional audio engine
WO2019067904A1 (en) SPACE AUDIO LIFT MIXER
US20210006929A1 (en) Audio Processing
McArthur et al. Distance in audio for VR: Constraints and opportunities
US11272308B2 (en) File format for spatial audio
CN117750270A (zh) 音频的空间共混

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210506

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210517

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210518

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210618

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210622

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211213

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220517

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220610

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220701

R150 Certificate of patent or registration of utility model

Ref document number: 7100633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150