JP2023008889A - ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法 - Google Patents
ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法 Download PDFInfo
- Publication number
- JP2023008889A JP2023008889A JP2022103609A JP2022103609A JP2023008889A JP 2023008889 A JP2023008889 A JP 2023008889A JP 2022103609 A JP2022103609 A JP 2022103609A JP 2022103609 A JP2022103609 A JP 2022103609A JP 2023008889 A JP2023008889 A JP 2023008889A
- Authority
- JP
- Japan
- Prior art keywords
- content
- format
- electronic device
- computer system
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004519 manufacturing process Methods 0.000 claims abstract description 42
- 238000004891 communication Methods 0.000 claims description 72
- 230000005236 sound signal Effects 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 238000009877 rendering Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
- G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
- Stereophonic System (AREA)
Abstract
Description
多様な実施形態は、ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法に関する。
一般的に、コンテンツ提供サーバは、完成した形態のオーディオコンテンツをユーザに提供する。このとき、完成した形態のオーディオコンテンツは、複数のオーディオ信号をミキシングして実現されるが、例えば、ステレオ形態のオーディオコンテンツなどがこれに該当する。これにより、ユーザの電子装置は、完成した形態のオーディオコンテンツを受信してこれを再生する。すなわち、ユーザは、完成した形態のオーディオコンテンツを基盤とする、定められた構成の音響しか聞くことしかできない。
多様な実施形態は、多様な制作環境で制作されるコンテンツと多様な再生環境を支援するコンピュータシステムおよびその方法を提供する。
多様な実施形態は、多様な制作環境で制作されるコンテンツに対して、多様な再生環境でユーザカスタム型の臨場感を実現することができるコンピュータシステムおよびその方法を提供する。
多様な実施形態に係るコンピュータシステムによる方法は、複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信する段階、電子装置の前記コンテンツの再生環境に応じて前記コンテンツのフォーマットを変換する段階、および前記変換されたフォーマットの前記コンテンツを前記電子装置に送信する段階を含んでよい。
多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体に記録されるコンピュータプログラムは、前記方法を前記コンピュータシステムに実行させるためのものであってよい。
多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体には、前記方法を前記コンピュータシステムに実行させるためのプログラムが記録されていてよい。
多様な実施形態に係るコンピュータシステムは、メモリ、通信モジュール、および前記メモリおよび前記通信モジュールとそれぞれ連結して前記メモリに記録された少なくとも1つの命令を実行するように構成されたプロセッサを含み、前記プロセッサは、前記通信モジュールにより、複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信し、電子装置の前記コンテンツの再生環境に応じて前記コンテンツのフォーマットを変換し、前記通信モジュールを経て、前記変換されたフォーマットの前記コンテンツを前記電子装置に送信するように構成されてよい。
多様な実施形態によると、コンピュータシステムは、多様な制作環境で制作されるコンテンツと多様な再生環境を支援することができる。すなわち、コンピュータシステムは、再生環境に符合するフォーマットのコンテンツを電子装置に提供することができる。このために、コンピュータシステムは、制作環境で設定されるコンテンツのフォーマットを再生環境に符合するように変換する。したがって、コンピュータシステムは、多様な制作環境で制作されるコンテンツに対して、多様な再生環境でユーザカスタム型の臨場感を実現することができる。このとき、コンピュータシステムは、プレーンコンテンツはもちろん、イマーシブコンテンツを処理することもできる。言い換えれば、コンピュータシステムは、多様な再生環境でイマーシブコンテンツによるユーザカスタム型の臨場感を実現することができる。
以下、本文書の多様な実施形態について、添付の図面を参照しながら説明する。
以下、物体(object)という用語は、オーディオ信号を発生させる機器または人物を示してよい。例えば、物体は、楽器、楽器の演奏者、ボーカリスト(vocalist)、話者(talker)、伴奏や音響効果などを発生させるスピーカ、またはアンビエンス(ambience)を発生させる背景のうちの1つを含んでよい。また、オーディオファイル(audio file)という用語は、各物体が発生させるオーディオ信号に対するオーディオデータを示してよい。
以下、メタデータという用語は、少なくとも1つのオーディオファイルと関連するオーディオ場面の属性を説明するための情報を示してよい。このとき、オーディオ場面は、少なくとも1つの物体で構成され、メタデータは、物体に対する少なくとも1つの空間的特徴を含んでよい。例えば、メタデータは、少なくとも1つの物体の位置情報、少なくとも2つの物体の位置の組み合わせを示すグループ情報、または少なくとも1つの物体が配置される現場(venue)の環境情報のうちの少なくとも1つを含んでよい。また、現場は、例えば、スタジオ(studio)、コンサートホール(concert hall)、ストリート(street)、スタジアム(stadium)などを含んでよい。
図1は、多様な実施形態における、コンテンツ提供システム100を示したブロック図である。
図1を参照すると、多様な実施形態に係るコンテンツ提供システム100は、コンピュータシステム110および電子装置150を含んでよい。
コンピュータシステム110は、ユーザのためにコンテンツを提供してよい。このとき、コンテンツは、オーディオコンテンツ、ビデオコンテンツ、バーチャルリアリティ(virtual reality:VR)コンテンツ、拡張現実(augmented reality:AR)コンテンツ、エクステンデッドリアリティ(extended reality:XR)コンテンツなどの多様な形態のコンテンツであってよい。また、コンテンツは、プレーン(plain)コンテンツまたはイマーシブ(immersive)コンテンツのうちの少なくとも一方を含んでよい。プレーンコンテンツは、完成した形態のコンテンツであり、イマーシブコンテンツは、ユーザカスタム型コンテンツであってよい。以下、オーディオコンテンツを例に挙げて説明する。
プレーンオーディオコンテンツは、複数の物体から発生するオーディオ信号がミキシングされたステレオ形態で実現されてよい。一方、イマーシブオーディオコンテンツは、複数の物体から発生するオーディオ信号に対するオーディオファイルおよびこれに対するメタデータで構成されてよい。このとき、イマーシブオーディオコンテンツ内において、オーディオファイルとこれに対するメタデータは個別に存在してよい。
電子装置150は、コンピュータシステム110から提供されるコンテンツを再生してよい。このとき、コンテンツは、オーディオコンテンツ、ビデオコンテンツ、バーチャルリアリティ(VR)コンテンツ、拡張現実(AR)コンテンツ、エクステンデッドリアリティ(XR)コンテンツなどの多様な形態のコンテンツであってよい。また、コンテンツは、プレーン(plain)コンテンツまたはイマーシブ(immersive)コンテンツのうちの少なくとも一方を含んでよい。
コンピュータシステム110からイマーシブオーディオコンテンツが受信されれば、電子装置150は、イマーシブオーディオコンテンツからオーディオファイルおよびこれに対するメタデータをそれぞれ取得してよい。この後、電子装置150は、メタデータに基づいてオーディオファイルを再生してよい。これにより、電子装置150は、イマーシブオーディオコンテンツに基づいて、オーディオと関連してユーザカスタム型の臨場感を実現することが可能となる。したがって、ユーザは、少なくとも1つの物体が配置された現場において、該当の物体が発生させるオーディオ信号を直に聞くような臨場感を感じることができるようになる。
図2は、図1のコンピュータシステム110と電子装置150の詳細構成を示したブロック図である。図3は、図1のコンピュータシステム110の機能を説明するための例示図である。
図2を参照すると、多様な実施形態に係るコンピュータシステム110は、電子機器(制作スタジオとも呼ばれる)210またはサーバ230のうちの少なくとも1つを含んでよい。一実施形態において、コンピュータシステム110の構成要素のうちの少なくとも1つが省略されてもよいし、少なくとも1つの他の構成要素が追加されてもよい。一実施形態において、コンピュータシステム110の構成要素のうちの少なくとも2つが1つに統合されて実現されてもよい。一実施形態によると、電子機器210とサーバ230は、1つに統合されて実現されてもよい。例えば、電子機器210は、オーディオコンソール、ダンテ(dante)のようなオーディオインタフェースなどの多様なハードウェアを備える機器であって、スマートフォン、携帯電話、ナビゲーション、コンピュータ、ノート型PC、デジタル放送用端末、PDA、PMP、タブレット、ゲームコンソール、ウェアラブルデバイス、IoTデバイス、家電機器、医療機器、またはロボットのうちの少なくとも1つを含んでよい。
電子機器210は、コンテンツを制作してよい。このとき、電子機器210の類型に応じてコンテンツの制作環境が定義されてよい。また、コンテンツの制作環境に応じてコンテンツのフォーマットが設定されてよい。すなわち、電子機器210は、予め定められたフォーマットのコンテンツを制作してよい。コンテンツのフォーマットは、イマーシブコンテンツに対する第1フォーマットや第2フォーマット、またはプレーンコンテンツに対する第3フォーマットのうちの少なくとも1つを含んでよい。第1フォーマットは、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生するためのフォーマットを示してよい。例えば、第1フォーマットはGA7フォーマットを含み、GA7フォーマットはバイナリ形態で表現されてよい。第2フォーマットは、メタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するためのフォーマットを示し、マルチチャンネルフォーマットとも呼ばれる。例えば、第2フォーマットはADM(audio definition model)フォーマットを含み、ADMフォーマットはXML(extensible markup language)形態で表現されてよい。ここで、ADMフォーマットは、5.1、7.1、ドルビーアトモス(dolby atmos)のようなオブジェクト指向オーディオ技術で支援されている。すなわち、第1フォーマットのオーディオコンテンツは、第1フォーマットに従ってメタデータを含んでよく、第2フォーマットのオーディオコンテンツは、第2フォーマットに従ってメタデータを含んでよい。
一実施形態において、電子機器210は、図3に示すように、第1フォーマットのコンテンツ、第2フォーマットのコンテンツ、または第3フォーマットのコンテンツのうちの少なくとも1つを制作してよい。以下、オーディオコンテンツを例に挙げて説明する。
第3フォーマットのオーディオコンテンツ、すなわち、プレーンオーディオコンテンツは、複数の物体から発生するオーディオ信号がミキシングされたステレオ形態で実現されてよい。例えば、電子機器210は、オーディオ信号がミキシングされたオーディオ信号を現場で取得し、これに基づいてプレーンオーディオコンテンツを生成してよい。一方、第1フォーマットのオーディオコンテンツ、すなわち、イマーシブオーディオコンテンツは、現場で複数の物体から発生するオーディオ信号に対するオーディオファイルおよびこれに対するメタデータで構成されてよい。このとき、イマーシブオーディオコンテンツ内で、オーディオファイルとこれに対するメタデータは個別に存在してよい。例えば、電子機器210は、複数の物体に対するオーディオファイルをそれぞれ取得し、これに基づいてイマーシブオーディオコンテンツを生成してよい。
多様な実施形態によると、電子装置150の再生環境が定義されてよい。このとき、電子装置150の類型に応じて電子装置150の再生環境が決定されてよい。また、電子装置150は、自身の再生環境に応じてコンテンツを再生してよい。
具体的に、電子装置150は、イマーシブコンテンツの再生が可能な第1電子装置251や第2電子装置253、またはプレーンコンテンツの再生が可能な第3電子装置255のうちの少なくとも1つを含んでよい。第1電子装置251は、第1フォーマットのコンテンツを再生するためのものであって、メタデータに基づいて物体と関連するオーディオ信号をレンダリングして再生してよい。例えば、第1電子装置251は、スマートフォン(smart phone)、携帯電話、ナビゲーション、コンピュータ、ノート型PC、デジタル放送用端末、PDA(personal digital assistants)、PMP(portable multimedia player)、タブレット、ゲームコンソール(game console)、ウェアラブルデバイス(wearable device)、IoT(internet of things)デバイス、家電機器、医療機器、またはロボット(robot)のうちの少なくとも1つを含んでよい。第2電子装置253は、第2フォーマットのコンテンツを再生するためのものであって、メタデータに基づいて物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生してよい。例えば、第2電子装置253は、AVR(audio video receiver)、サウンドバー(soundbar)、またはホームシアター(home cinema)のうちの少なくとも1つを含んでよい。第3電子装置255は、第3フォーマットのコンテンツを再生するためのものであって、受信されるプレーンコンテンツを再生してよい。
サーバ230は、コンテンツを電子装置150に送信してよい。このとき、サーバ230は、コンテンツの再生環境に応じてコンテンツを送信してよい。具体的に、サーバ230は、コンテンツの制作環境と再生環境の符合状況に応じてコンテンツを処理してよい。
一実施形態によると、コンテンツの制作環境と再生環境が符合しない場合、サーバ230は、コンテンツのタイプを変換してよい。このとき、サーバ230は、電子装置150のコンテンツの再生環境に符合するようにコンテンツのタイプを変換してよい。一例として、第2フォーマットのコンテンツが第1電子装置251で再生されるようにするために、サーバ230は、電子機器210から受信される第2フォーマットのコンテンツを第1フォーマットのコンテンツに変換してよい。これにより、サーバ230は、第1フォーマットのコンテンツを第1電子装置251に送信することが可能となる。他の例として、第1フォーマットのコンテンツが第2電子装置253で再生されるようにするために、サーバ230は、電子機器210から受信される第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換してよい。これにより、サーバ230は、第2フォーマットのコンテンツを第2電子装置253に送信することが可能となる。
他の実施形態によると、コンテンツの制作環境と再生環境が符合する場合、サーバ230は、コンテンツのフォーマットを変換せずに維持してよい。一例として、第1フォーマットのコンテンツが第1電子装置251で再生されるようにするために、サーバ230は、電子機器210から受信される第1フォーマットのコンテンツを第1電子装置251に伝達してよい。他の例として、第2フォーマットのコンテンツが第2電子装置253で再生されるようにするために、サーバ230は、電子機器210から受信される第2フォーマットのコンテンツを第2電子装置253に伝達してよい。また他の例として、第3フォーマットのコンテンツが第3電子装置255で再生されるようにするために、サーバ230は、電子機器210から受信される第3フォーマットのコンテンツを第3電子装置255に伝達してよい。
図4は、多様な実施形態における、コンテンツ提供システム100の信号の流れを示したフローチャートである。
図4を参照すると、段階410において、電子機器210は、制作環境に応じてコンテンツを制作してよい。このとき、電子機器210の類型に応じてコンテンツの制作環境が定義されてよい。この後、コンテンツの制作環境に応じてコンテンツのフォーマットが設定されてよい。コンテンツのフォーマットは、第1フォーマット、第2フォーマット、または第3フォーマットのうちの1つが設定されてよい。第1フォーマットのコンテンツは、イマーシブコンテンツであって、第1フォーマットに従ってメタデータを含んでよい。第2フォーマットのコンテンツは、イマーシブコンテンツであって、第2フォーマットに従ってメタデータを含んでよい。第3フォーマットのコンテンツは、プレーンコンテンツであってよい。電子機器210は、第1フォーマットのコンテンツ、第2フォーマットのコンテンツ、または第3フォーマットのコンテンツのうちの少なくとも1つを制作してよい。この後、段階420において、電子機器210は、サーバ230にコンテンツを送信してよい。これにより、段階420において、サーバ230は、電子機器210からコンテンツを受信してよい。
次に、段階430において、サーバ230は、受信されるコンテンツの制作環境が再生環境に符合するかどうかを判断してよい。すなわち、サーバ230は、コンテンツに対して、制作環境が再生環境に符合するかどうかを判断してよい。このとき、サーバ230は、コンテンツのフォーマットに基づいて制作環境が再生環境に符合するかどうかを判断してよい。これは、コンテンツのフォーマットが制作環境に応じて設定されているためである。
段階430において、コンテンツの制作環境と再生環境が符合しないと判断されれば、段階440において、サーバ230は、再生環境に応じてコンテンツのフォーマットを変換してよい。すなわち、サーバ230は、電子装置150のコンテンツの再生環境に符合するようにコンテンツのタイプを変換してよい。この後、段階450において、サーバ230は、変換されたフォーマットのコンテンツを電子装置150に送信してよい。一例として、第2フォーマットのコンテンツが第1電子装置251で再生されるようにするために、サーバ230は、電子機器210から受信される第2フォーマットのコンテンツを第1フォーマットのコンテンツに変換してよい。これにより、サーバ230は、第1フォーマットのコンテンツを第1電子装置251に送信することが可能となる。他の例として、第1フォーマットのコンテンツが第2電子装置253で再生されるようにするために、サーバ230は、電子機器210から受信される第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換してよい。これにより、サーバ230は、第2フォーマットのコンテンツを第2電子装置253に送信することが可能となる。
一方、段階430において、コンテンツの制作環境と再生環境が符合すると判断されれば、段階450において、サーバ230は、設定されたフォーマットのコンテンツを電子装置150に送信してよい。すなわち、サーバ230は、コンテンツのフォーマットを変換せずに維持しながら、電子装置150にコンテンツを送信してよい。一例として、第1フォーマットのコンテンツが第1電子装置251で再生されるようにするために、サーバ230は、電子機器210から受信される第1フォーマットのコンテンツを第1電子装置251に伝達してよい。他の例として、第2フォーマットのコンテンツが第2電子装置253で再生されるようにするために、サーバ230は、電子機器210から受信される第2フォーマットのコンテンツを第2電子装置253に伝達してよい。また他の例として、第3フォーマットのコンテンツが第3電子装置255で再生されるようにするために、サーバ230は、電子機器210から受信される第3フォーマットのコンテンツを第3電子装置255に伝達してよい。
これにより、段階460において、電子装置150は、受信されるコンテンツを再生環境に応じて再生してよい。このとき、電子装置150は、第1電子装置251、第2電子装置253、または第3電子装置255のうちの少なくとも1つを含んでよい。第1電子装置251は、第1フォーマットのコンテンツを受信して再生してよい。ここで、第1電子装置251は、メタデータに基づいて物体と関連するオーディオ信号をレンダリングして再生してよい。第2電子装置253は、第2フォーマットのコンテンツを受信して再生してよい。ここで、第2電子装置253は、メタデータに基づいて物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生してよい。第3電子装置255は、第3フォーマットのコンテンツを受信して再生してよい。ここで、第3電子装置は、受信されるプレーンコンテンツを再生してよい。
図5は、多様な実施形態における、サーバ230の内部構成を示したブロック図である。図6、図7、図8、図9a、図9b、図10a、および図10bは、サーバ230の機能を説明するための例示図である。
図5を参照すると、多様な実施形態に係るサーバ230は、通信モジュール510、メモリ520、またはプロセッサ530のうちの少なくとも1つを含んでよい。一実施形態において、サーバ230の構成要素のうちの少なくともいずれか1つが省略されてもよいし、少なくとも1つの他の構成要素が追加されてもよい。一実施形態において、サーバ230の構成要素のうちの少なくともいずれか2つが1つの統合された回路で実現されてもよい。
通信モジュール510は、サーバ230と外部装置との通信を実行してよい。通信モジュール510は、サーバ230と外部装置との間に通信チャンネルを確立し、通信チャンネルを介して外部装置との通信を実行してよい。例えば、外部装置は、電子機器210または電子装置150のうちの少なくとも1つを含んでよい。通信モジュール510は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも1つを含んでよい。有線通信モジュールは、外部装置と有線で接続し、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか1つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース(Bluetooth(登録商標))、Wi-Fiダイレクト(WiFi direct)、または赤外線通信(IrDA:infrared data association)のうちの少なくともいずれか1つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラーネットワーク、インターネット、またはLAN(local area network)やWAN(wide area network)のようなコンピュータネットワークのうちの少なくともいずれか1つを含んでよい。一実施形態において、通信モジュール510は、HLS(HTTP live streaming)プロトコルまたはDASH(dynamic adaptive streaming over HTTP)のうちの少なくとも1つを支援してよい。
メモリ520は、サーバ230の少なくとも1つの構成要素によって使用される多様なデータを記録してよい。例えば、メモリ520は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか1つを含んでよい。データは、少なくとも1つのプログラムおよびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ520に少なくとも1つの命令を含むソフトウェアとして記録されてよい。
プロセッサ530は、メモリ520のプログラムを実行し、サーバ230の少なくとも1つの構成要素を制御してよい。これにより、プロセッサ530は、データ処理または演算を実行してよい。このとき、プロセッサ530は、メモリ520に記録された命令を実行してよい。プロセッサ530は、コンテンツを電子装置150に送信してよい。このとき、プロセッサ530は、コンテンツの再生環境に応じてコンテンツを送信してよい。具体的に、プロセッサ530は、コンテンツの制作環境と再生環境の符合状況に応じてコンテンツを処理してよい。一実施形態によると、コンテンツの制作環境と再生環境が符合しない場合、サーバ230は、コンテンツのタイプを変換してよい。このとき、サーバ230は、電子装置150のコンテンツの再生環境に符合するようにコンテンツのタイプを変換してよい。他の実施形態によると、コンテンツの制作環境と再生環境が符合する場合、サーバ230は、コンテンツのフォーマットを変換せずに維持してよい。
具体的に、コンテンツのフォーマットは、第1フォーマット、第2フォーマット、または第3フォーマットのうちの1つが設定されてよい。第1フォーマットのコンテンツは、イマーシブコンテンツであって、第1フォーマットは、メタデータに基づいて物体と関連するオーディオ信号をレンダリングして再生するためのフォーマットを示してよい。例えば、第1フォーマットはGA7フォーマットを含み、GA7フォーマットはバイナリ形態で表現されてよい。第2フォーマットのコンテンツは、イマーシブコンテンツであって、第2フォーマットは、メタデータに基づいて物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するためのフォーマットを示し、マルチチャンネルフォーマットとも呼ばれる。例えば、第2フォーマットはADMフォーマットを含み、ADMフォーマットはXML形態で表現されてよい。ここで、ADMフォーマットは、5.1、7.1、ドルビーアトモスのような技術で支援されている。すなわち、第1フォーマットのオーディオコンテンツは、第1フォーマットに従ってメタデータを含み、第2フォーマットのオーディオコンテンツは、第2フォーマットに従ってメタデータを含んでよい。第3フォーマットのコンテンツは、プレーンコンテンツであってよい。
多様な実施形態によると、プロセッサ530は、第1変換モジュール531、第1エンコーダ533、第2変換モジュール535、または第2エンコーダ537のうちの少なくとも1つを含んでよい。
第1変換モジュール531は、第2フォーマットのコンテンツを第1フォーマットのコンテンツに変換してよい。ここで、第1変換モジュール531は、コンバータ(converter)とも呼ばれる。第2フォーマットのコンテンツが第1電子装置251で再生されるようにするために、第1変換モジュール531は、通信モジュール510を通じて電子機器210から受信される第2フォーマットのコンテンツを第1フォーマットのコンテンツに変換してよい。例えば、第1変換モジュール531は、ADMフォーマットのコンテンツをGA7フォーマットのコンテンツに変換してよい。一実施形態によると、第1変換モジュール531は、第2フォーマットのコンテンツからメタデータを検出し、検出されたメタデータを第1フォーマットに変換することによって第1フォーマットのコンテンツを生成してよい。例えば、第1変換モジュール531は、検出されたメタデータを図6に示すような構造のバイナリ形態で表現されるメタデータに変換し、変換されたメタデータを利用して、第1フォーマットのコンテンツを図7に示すようなPCM入力(input)構造で生成してよい。図6によると、メタデータは、各物体の位置、各物体と関連するオーディオ効果、または現場と関連するオーディオ効果のうちの少なくとも1つを示してよい。図7によると、PCM入力構造は、先進的音響符号化(advanced audio coding:AAC)規格を支援し、複数のチャンネルで構成され、チャンネルのうちの1つが変換されたメタデータのために設けられてよい。
第1エンコーダ533は、第1フォーマットのコンテンツをエンコードしてよい。例えば、第1エンコーダ533は、GA7フォーマットのコンテンツをエンコードしてよい。一実施形態によると、第1エンコーダ533は、第1変換モジュール531から出力される第1フォーマットのコンテンツをエンコードしてよい。他の実施形態によると、第1エンコーダ533は、通信モジュール510を通じて電子機器210から受信される第1フォーマットのコンテンツをエンコードしてよい。例えば、第1エンコーダ533は、AACエンコーダとも呼ばれる。第1エンコーダ533は、第1フォーマットのコンテンツを図7に示すようなPCM入力構造で、図8に示すようなAACビットストリーム構造にエンコードしてよい。ここで、第1フォーマットのコンテンツのメタデータは、AACビットストリーム内のDSE(data stream element)に注入されてよい。これにより、プロセッサ530は、通信モジュール510を経て、第1フォーマットのコンテンツを電子装置150に送信してよい。このとき、プロセッサ530は、第1フォーマットのコンテンツを第1電子装置251に送信してよい。これにより、第1電子装置251は、第1フォーマットのコンテンツを再生することが可能となる。
第2変換モジュール535は、第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換してよい。ここで、第2変換モジュール535は、ダウンミキサー(downmixer)とも呼ばれる。第1フォーマットのコンテンツが第2電子装置253で再生されるようにするために、第2変換モジュール535は、通信モジュール510を通じて電子機器210から受信される第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換してよい。例えば、第2変換モジュール535は、GA7フォーマットのコンテンツをマルチチャンネルフォーマットのコンテンツに変換してよい。一実施形態によると、第2変換モジュール535は、再生環境のオーディオ出力デバイスに対するレイアウトに基づいて、第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換してよい。これにより、プロセッサ530は、通信モジュール510を経て、第2フォーマットのコンテンツを電子装置150に送信してよい。このとき、プロセッサ530は、第2フォーマットのコンテンツを第2電子装置253に送信してよい。
一例として、第2変換モジュール535は、図7に示すようなPCM入力構造のコンテンツから、図9aに示すような5.1構造のコンテンツを生成してよい。これにより、プロセッサ530は、図9aに示すような5.1構造のコンテンツを第2電子装置253の制御モジュールCに送信してよい。これにより、第2電子装置253の制御モジュールCは、図9bに示すように、オーディオ出力デバイスFL、FR、FC、LFE、SL、SRを利用して、5.1構造のコンテンツを再生することが可能となる。他の例として、第2変換モジュール535は、図7に示すようなPCM入力構造のコンテンツから、図10aに示すような7.1構造のコンテンツを生成してよい。これにより、プロセッサ530は、図10aに示すような7.1構造のコンテンツを第2電子装置253の制御モジュールCに送信してよい。これにより、第2電子装置253は、図10bに示すように、オーディオ出力デバイスFL、FR、FC、LFE、SL、SR、SBL、SBRを利用して、7.1構造のコンテンツを再生することが可能となる。
第2エンコーダ537は、第3フォーマットのコンテンツをエンコードしてよい。すなわち、第2エンコーダ537は、プレーンコンテンツをエンコードしてよい。このとき、第2エンコーダ537は、通信モジュール510を通じて電子機器210から受信される第3フォーマットのコンテンツをエンコードしてよい。これにより、プロセッサ530は、通信モジュール510を経て、第3フォーマットのコンテンツを電子装置150に送信してよい。このとき、プロセッサ530は、第3フォーマットのコンテンツを第3電子装置255に送信してよい。これにより、第3電子装置255は、第3フォーマットのコンテンツを再生することが可能となる。
図11は、多様な実施形態における、サーバ230の動作を示したフローチャートである。
図11を参照すると、段階1110において、サーバ230は、コンテンツを受信してよい。プロセッサ530は、通信モジュール510を経て、電子機器210からコンテンツを受信してよい。このとき、電子機器210の類型に応じてコンテンツの制作環境が決定されてよい。また、コンテンツの制作環境に応じてコンテンツのフォーマットが設定されてよい。コンテンツのフォーマットは、第1フォーマット、第2フォーマット、または第3フォーマットのうちの1つが設定されてよい。第1フォーマットのコンテンツは、イマーシブコンテンツであって、第1フォーマットに従ってメタデータを含んでよい。第2フォーマットのコンテンツは、イマーシブコンテンツであって、第2フォーマットに従ってメタデータを含んでよい。第3フォーマットのコンテンツは、プレーンコンテンツであってよい。
段階1120において、サーバ230は、コンテンツに対して、制作環境が再生環境に符合するかどうかを判断してよい。プロセッサ530は、コンテンツのフォーマットに基づいて、制作環境が再生環境に符合するかどうかを判断してよい。これは、コンテンツのフォーマットが制作環境に応じて設定されているためである。
段階1120において、コンテンツの制作環境が再生環境に符合しないと判断されれば、段階1130において、サーバ230は、再生環境に応じてコンテンツのフォーマットを変換してよい。プロセッサ530は、電子装置150のコンテンツの再生環境に符合するようにコンテンツのタイプを変換してよい。一実施形態によると、第1電子装置251で再生されるようにするために、第1変換モジュール531は、第2フォーマットのコンテンツを第1フォーマットのコンテンツに変換してよい。例えば、第1変換モジュール531は、ADMフォーマットのコンテンツをGA7フォーマットのコンテンツに変換してよい。このとき、第1変換モジュール531は、第2フォーマットのコンテンツからメタデータを検出し、検出されたメタデータを第1フォーマットに変換することによって第1フォーマットのコンテンツを生成してよい。他の実施形態によると、第2電子装置253で再生されるようにするために、第2変換モジュール535は、第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換してよい。例えば、第2変換モジュール535は、GA7フォーマットのコンテンツをマルチチャンネルフォーマットのコンテンツに変換してよい。このとき、第2変換モジュール535は、再生環境のオーディオ出力デバイスに対するレイアウトに基づいて、第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換してよい。
次に、段階1140において、サーバ230は、変換されたフォーマットのコンテンツを電子装置150に送信してよい。プロセッサ530は、通信モジュール510を経て、変換されたフォーマットのコンテンツを電子装置150に送信してよい。一実施形態によると、プロセッサ530は、第1フォーマットのコンテンツを第1電子装置251に送信してよい。このとき、第1エンコーダ533が、第1変換モジュール531から出力される第1フォーマットのコンテンツをエンコードしてよい。例えば、第1エンコーダ533は、GA7フォーマットのコンテンツをエンコードしてよい。この後、プロセッサ530は、第1フォーマットのコンテンツを第1電子装置251に送信してよい。これにより、第1電子装置251は、第1フォーマットのコンテンツを再生することが可能となる。他の実施形態によると、プロセッサ530は、第2フォーマットのコンテンツを第2電子装置253に送信してよい。これにより、第2電子装置253は、第2フォーマットのコンテンツを再生することが可能となる。例えば、プロセッサ530は、マルチチャンネルフォーマットのコンテンツを図9bまたは図10bに示すような第2電子装置253の制御モジュールCに送信してよい。これにより、第2電子装置253の制御モジュールCは、オーディオ出力デバイスFL、FR、FC、LFE、SL、SR、FL、FR、FC、LFE、SL、SR、SBL、SBRを利用して、マルチチャンネルフォーマットのコンテンツを再生することが可能となる。
一方、段階1120で、コンテンツの制作環境が再生環境に符合すると判断されれば、段階1150において、サーバ230は、設定されたフォーマットのコンテンツを電子装置150に送信してよい。プロセッサ530は、コンテンツのフォーマットを変換せずに維持しながら、通信モジュール510を経て、コンテンツを電子装置150に送信してよい。一実施形態によると、プロセッサ530は、第1フォーマットのコンテンツを第1電子装置251に伝達してよい。このとき、第1エンコーダ533は、通信モジュール510を通じて受信される第1フォーマットのコンテンツをエンコードしてよい。例えば、第1エンコーダ533は、GA7フォーマットのコンテンツをエンコードしてよい。この後、プロセッサ530は、第1フォーマットのコンテンツを第1電子装置251に送信してよい。他の実施形態によると、プロセッサ530は、第2フォーマットのコンテンツを第2電子装置253に伝達してよい。これにより、第2電子装置253は、第2フォーマットのコンテンツを再生することが可能となる。また他の実施形態によると、プロセッサ530は、第3フォーマットのコンテンツを第3電子装置255に伝達してよい。このとき、第2エンコーダ537が、通信モジュール510を通じて受信される第3フォーマットのコンテンツをエンコードしてよい。この後、プロセッサ530は、第3フォーマットのコンテンツを第3電子装置255に送信してよい。これにより、第3電子装置255は、第3フォーマットのコンテンツを再生することが可能となる。
図12は、多様な実施形態における、電子装置150の内部構成を示したブロック図である。
図12を参照すると、多様な実施形態に係る電子装置150は、接続端子1210、通信モジュール1220、入力モジュール1230、表示モジュール1240、オーディオモジュール1250、メモリ1260、またはプロセッサ1270のうちの少なくとも1つを含んでよい。一実施形態において、電子装置150の構成要素のうちの少なくともいずれか1つが省略されてもよいし、少なくとも1つの他の構成要素が追加されてもよい。一実施形態において、電子装置150の構成要素のうちの少なくともいずれか2つが1つの統合された回路で実現されてもよい。
接続端子1210は、電子装置150と外部装置を物理的に接続してよい。例えば、外部装置は、他の電子装置を含むことがある。このために、接続端子1210は、少なくとも1つのコネクタを含んでよい。例えば、コネクタは、HDMI(登録商標)コネクタ、USBコネクタ、SDカードコネクタ、またはオーディオコネクタのうちの少なくともいずれか1つを含んでよい。
通信モジュール1220は、電子装置150と外部装置との通信を実行してよい。通信モジュール1220は、電子装置150と外部装置との間に通信チャンネルを確立し、通信チャンネルを介して外部装置との通信を実行してよい。例えば、外部装置は、コンピュータシステム110、特に、サーバ230を含んでよい。通信モジュール1220は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも1つを含んでよい。有線通信モジュールは、接続端子1210を介して外部装置と有線で接続し、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか1つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース、Wi-Fiダイレクト、または赤外線通信のうちの少なくともいずれか1つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラーネットワーク、インターネット、またはLANやWANのようなコンピュータネットワークのうちの少なくともいずれか1つを含んでよい。
入力モジュール1230は、電子装置150の少なくとも1つの構成要素に使用される信号を入力してよい。入力モジュール1230は、ユーザが電子装置150に信号を直接に入力するように構成される入力装置、周辺環境を感知して信号を発生するように構成されるセンサ装置、または映像を撮影し、映像データを生成するように構成されるカメラモジュールのうちの少なくともいずれか1つを含んでよい。例えば、入力装置は、マイクロフォン(microphone)、マウス(mouse)、またはキーボード(keyboard)のうちの少なくともいずれか1つを含んでよい。一実施形態において、センサ装置は、ヘッドトラッキング(head tracking)センサ、ヘッドマウントディスプレイ(head-mounted display:HMD)コントローラ、タッチを感知するように設定されたタッチ回路(touch circuitry)、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくともいずれか1つを含んでよい。
表示モジュール1240は、情報を視覚的に表示してよい。例えば、表示モジュール1240は、ディスプレイ、ヘッドマウントディスプレイ(HMD)、ホログラム装置、またはプロジエクタのうちの少なくともいずれか1つを含んでよい。一例として、表示モジュール1240は、入力モジュール1230のタッチ回路またはセンサ回路のうちの少なくともいずれか1つと組み立てられ、タッチスクリーンで実現されてよい。
オーディオモジュール1250は、情報を聴覚的に再生してよい。このとき、オーディオモジュール1250は、少なくとも1つのオーディオ出力デバイスを含んでよい。例えば、オーディオ出力デバイスは、スピーカ、レシーバ、イヤホン、またはヘッドホンのうちの少なくともいずれか1つを含んでよい。
メモリ1260は、電子装置150の少なくとも1つの構成要素によって使用される多様なデータを記録してよい。例えば、メモリ1260は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか1つを含んでよい。データは、少なくとも1つのプログラムおよびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ1260に少なくとも1つの命令を含むソフトウェアとして記録されてよく、例えば、オペレーティングシステム、ミドルウェア、またはアプリケーションのうちの少なくともいずれか1つを含んでよい。
プロセッサ1270は、メモリ1260のプログラムを実行し、電子装置150の少なくとも1つの構成要素を制御してよい。これにより、プロセッサ1270は、データ処理または演算を実行してよい。このとき、プロセッサ1270は、メモリ1260に記録された命令を実行してよい。プロセッサ1270は、サーバ230から提供されるコンテンツを再生してよい。プロセッサ1270は、表示モジュール1240を経て、ビデオコンテンツを再生してよく、オーディオモジュール1250を経て、プレーンオーディオコンテンツまたはイマーシブオーディオコンテンツのうちの少なくとも1つを再生してよい。プロセッサ1270は、電子装置150の再生環境に応じてコンテンツを再生してよい。このとき、電子装置150の類型に応じて電子装置150の再生環境が決定されてよい。
一実施形態によると、電子装置150が第1電子装置251の場合、プロセッサ1270は、通信モジュール1220を経て、サーバ230から第1フォーマットのコンテンツを受信し、これによって第1フォーマットのコンテンツを再生してよい。このとき、第1フォーマットのコンテンツは、イマーシブコンテンツであって、第1フォーマットに従ってメタデータを含んでよい。このような場合、プロセッサ1270は、デコーダ1275を含んでよい。デコーダ1275は、第1フォーマットのコンテンツをデコードしてよい。すなわち、サーバ230から受信される第1フォーマットのコンテンツは、サーバ230の第1エンコーダ533によってエンコードされているため、デコーダ1275が第1フォーマットのコンテンツをデコードするようになる。また、プロセッサ1270は、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生してよい。このために、プロセッサ1270は、レンダラー(renderer)をさらに含んでよい。これにより、プロセッサ1270は、メタデータの物体の空間的特徴に基づいて、オーディオオーディオ信号をレンダリングしてよい。これにより、プロセッサ1270は、ユーザカスタム型の臨場感を実現することが可能となり、第1電子装置251のユーザは、ユーザカスタム型の臨場感を感じることが可能となる。
一例として、メモリ1260には複数のプリセット(preset)が記録されてよい。このような場合、プロセッサ1270は、第1フォーマットのコンテンツ内のメタデータをプリセットとしてメモリ1260に記録してよい。また、ユーザがプリセットのうちの1つを選択すれば、プロセッサ1270は、選択されたプリセットのメタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生してよい。
他の実施形態によると、電子装置150が第2電子装置253の場合、プロセッサ1270は、通信モジュール1220を経て、サーバ230から第2フォーマットのコンテンツを受信し、これによって第2フォーマットのコンテンツを再生してよい。このとき、第2フォーマットのコンテンツは、イマーシブコンテンツであって、第1フォーマットに従ってメタデータを含んでよい。このような場合、プロセッサ1270は、メタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生してよい。ここで、第2電子装置253にはオーディオ出力デバイスに対するレイアウトが設定されており、プロセッサ1270は、設定されたレイアウトによってオーディオ出力デバイスを制御してオーディオ信号を再生してよい。これにより、第2電子装置253は、オーディオ出力デバイスそれぞれから出力される信号の組み合わせから、ユーザカスタム型の臨場感を感じることが可能となる。
また他の実施形態によると、電子装置150が第3電子装置255の場合、プロセッサ1270は、通信モジュール1220を経て、サーバ230から第3フォーマットのコンテンツを受信し、これによって第3フォーマットのコンテンツを再生してよい。このとき、第3フォーマットのコンテンツは、プレーンコンテンツであってよい。このような場合、プロセッサ1270は、デコーダ1275を含んでよい。デコーダ1275は、第3フォーマットのコンテンツをデコードしてよい。すなわち、サーバ230から受信される第3フォーマットのコンテンツは、サーバ230の第2エンコーダ537によってエンコードされているため、デコーダ1275が第3フォーマットのコンテンツをデコードするようになる。また、プロセッサ1270は、オーディオ出力デバイスを通じてプレーンコンテンツを再生してよい。
図13は、多様な実施形態における、電子装置150の動作を示したフローチャートである。
図13を参照すると、段階1310において、電子装置150は、コンテンツを受信してよい。プロセッサ1270は、通信モジュール1220を経て、サーバ230からコンテンツを受信してよい。このとき、電子装置150の類型または電子装置150の再生環境に符合するコンテンツが受信されてよい。次に、段階1320において、電子装置150は、再生環境に応じてコンテンツを再生してよい。
一実施形態によると、電子装置150が第1電子装置251の場合、プロセッサ1270は、第1フォーマットのコンテンツを再生してよい。このとき、第1フォーマットのコンテンツは、イマーシブコンテンツであって、第1フォーマットに従ってメタデータを含んでよい。プロセッサ1270は、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生してよい。これにより、プロセッサ1270は、メタデータの物体の空間的特徴に基づいて、オーディオオーディオ信号をレンダリングしてよい。これにより、プロセッサ1270は、ユーザカスタム型の臨場感を実現することが可能となり、第1電子装置251のユーザは、ユーザカスタム型の臨場感を感じることが可能となる。
一例として、メモリ1260には複数のプリセットが記録されてよい。このような場合、プロセッサ1270は、第1フォーマットのコンテンツ内のメタデータをプリセットとしてメモリ1260に記録してよい。また、ユーザがプリセットのうちの1つを選択すれば、プロセッサ1270は、選択されたプリセットのメタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生してよい。
他の実施形態によると、電子装置150が第2電子装置253の場合、プロセッサ1270は、第2フォーマットのコンテンツを再生してよい。このとき、第2フォーマットのコンテンツは、イマーシブコンテンツであって、第1フォーマットに従ってメタデータを含んでよい。このような場合、プロセッサ1270は、メタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生してよい。これにより、第2電子装置253は、オーディオ出力デバイスそれぞれから出力される信号の組み合わせから、ユーザカスタム型の臨場感を感じることが可能となる。
また他の実施形態によると、電子装置150が第3電子装置255の場合、プロセッサ1270は、第3フォーマットのコンテンツを再生してよい。このとき、第3フォーマットのコンテンツは、プレーンコンテンツであってよい。また、プロセッサ1270は、オーディオ出力デバイスを通じてプレーンコンテンツを再生してよい。
多様な実施形態によると、コンピュータシステム110は、多様な制作環境で制作されるコンテンツと多様な再生環境を支援してよい。すなわち、コンピュータシステム110は、再生環境に符合するフォーマットのコンテンツを電子装置150に提供することができる。このために、コンピュータシステム110、具体的にはサーバ230は、制作環境で設定されるコンテンツのフォーマットを再生環境に符合するように変換してよい。したがって、コンピュータシステム110は、多様な制作環境で制作されるコンテンツに対して、多様な再生環境でユーザカスタム型の臨場感を実現することが可能となる。このとき、コンピュータシステム110は、プレーンコンテンツはもちろん、イマーシブコンテンツも処理することができる。言い換えれば、コンピュータシステム110は、多様な再生環境でイマーシブコンテンツによるユーザカスタム型の臨場感を実現することが可能となる。
多様な実施形態に係るコンピュータシステム110による方法は、複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信する段階1110、電子装置150のコンテンツの再生環境に応じてコンテンツのフォーマットを変換する段階1130、および変換されたフォーマットのコンテンツを電子装置150に送信する段階1140を含んでよい。
多様な実施形態によると、コンテンツのフォーマットは、コンテンツの制作環境に応じて設定されてよい。
多様な実施形態によると、コンテンツのフォーマットは、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生するための第1フォーマット、またはメタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するための第2フォーマットのうちの少なくとも一方を含んでよい。
一実施形態によると、コンテンツのフォーマットを変換する段階1130は、第2フォーマットのコンテンツを第1フォーマットのコンテンツに変換する段階を含んでよい。
例えば、第1フォーマットのコンテンツに変換する段階は、第2フォーマットのコンテンツからメタデータを検出する段階、およびメタデータを第1フォーマットに変換する段階を含んでよい。
他の実施形態によると、コンテンツのフォーマットを変換する段階1130は、第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換する段階を含んでよい。
例えば、第2フォーマットのコンテンツに変換する段階は、再生環境のオーディオ出力デバイスに対するレイアウトに基づいて、第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換する段階を含んでよい。
多様な実施形態によると、コンピュータシステム110による方法は、コンテンツに対して制作環境と再生環境が符合する場合、コンテンツのフォーマットを維持しながら、電子装置150にコンテンツを送信する段階1150をさらに含んでよい。
多様な実施形態によると、コンピュータシステム110による方法は、複数のオーディオ信号である完成したコンテンツを受信する段階、および完成したコンテンツを電子装置150に送信する段階をさらに含んでよい。
多様な実施形態に係るコンピュータシステム110は、メモリ520、通信モジュール510、メモリ520、および通信モジュール510とそれぞれ連結し、メモリ520に記録された少なくとも1つの命令を実行するように構成されたプロセッサ530を含んでよい。
多様な実施形態によると、プロセッサ530は、通信モジュール510を経て、複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信し、電子装置150のコンテンツの再生環境に応じてコンテンツのフォーマットを変換し、通信モジュール510を経て、変換されたフォーマットのコンテンツを電子装置150に送信するように構成されてよい。
多様な実施形態によると、コンテンツのフォーマットは、コンテンツの制作環境に応じて設定されてよい。
多様な実施形態によると、コンテンツのフォーマットは、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生するための第1フォーマット、またはメタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するための第2フォーマットのうちの少なくとも一方を含んでよい。
一実施形態によると、プロセッサ530は、第2フォーマットのコンテンツを第1フォーマットのコンテンツに変換するように構成される第1変換モジュール531を含んでよい。
例えば、第1変換モジュール531は、第2フォーマットのコンテンツからメタデータを検出し、メタデータを第1フォーマットに変換するように構成されてよい。
他の実施形態によると、プロセッサ530は、第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換するように構成される第2変換モジュール535を含んでよい。
例えば、第2変換モジュール535は、再生環境のオーディオ出力デバイスに対するレイアウトに基づいて、第1フォーマットのコンテンツを第2フォーマットのコンテンツに変換するように構成されてよい。
多様な実施形態によると、プロセッサ530は、コンテンツに対して制作環境と再生環境が符合する場合、コンテンツのフォーマットを維持しながら、通信モジュール510を経て、電子装置150にコンテンツを送信するように構成されてよい。
多様な実施形態によると、プロセッサ530は、通信モジュール510を経て、複数のオーディオ信号である完成されたコンテンツを受信し、通信モジュール510を経て、完成したコンテンツを電子装置150に送信するように構成されてよい。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてもよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
本文書の多様な実施形態およびここで使用した用語は、本文書に記載された技術を特定の実施形態に対して限定しようとするものでなく、該当の実施例の多様な変更、均等物、および/または代替物を含むものと理解されなければならない。図面の説明に関し、類似の構成要素には類似の参照符号を使用した。単数の表現は、文脈において明らかに異なるように意味していない限り、複数の表現を含んでよい。本文書において、「AまたはB」、「Aおよび/またはBのうちの少なくとも1つ」、「A、B、またはC」、または「A、B、および/またはCのうちの少なくとも1つ」などの表現は、ともに羅列された項目のすべての可能な組み合わせを含んでよい。「第1」、「第2」、「一番目」、または「二番目」などの表現は、該当の構成要素を順序または重要度に関係なく修飾してよく、ある構成要素を他の構成要素と区分するためだけに使用されるものであって、該当の構成要素を限定するものではない。ある(例:第1)構成要素が他の(例:第2)構成要素に「(機能的にまたは通信的に)連結して」いる又は「接続して」いると言及された場合には、前記のある構成要素が前記の他の構成要素に直接的に連結してもよいし、別の構成要素(例:第3構成要素)を介して連結してもよい。
本文書で使用される用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで構成されたユニットを含み、例えば、ロジック、論理ブロック、部品、または回路などの用語と相互互換的に使用されてよい。モジュールは、一体で構成された部品、または1つまたはそれ以上の機能を実行する最小単位またはその一部であってよい。例えば、モジュールは、ASIC(application-specific integrated circuit)で構成されてよい。
多様な実施形態によると、記述した構成要素のそれぞれの構成要素(例:モジュールまたはプログラム)は、単数または複数の個体を含んでよい。多様な実施形態によると、上述した該当の構成要素のうちの1つ以上の構成要素または段階が省略されてもよし、1つ以上の他の構成要素または段階が追加されてもよい。代替的または追加的に、複数の構成要素(例:モジュールまたはプログラム)は、1つの構成要素として統合されてもよい。このような場合、統合された構成要素は、複数の構成要素それぞれの構成要素の1つ以上の機能を、統合前に複数の構成要素のうちの該当の構成要素によって実行されるものと同一または類似に実行してよい。多様な実施形態によると、モジュール、プログラム、または他の構成要素によって実行される段階は、順次的、並列的、反復的、または発見的に実行されてもよいし、段階のうちの1つ以上が他の順序で実行されてもよいし、省略されてもよいし、1つ以上の他の段階が追加されてもよい。
Claims (20)
- コンピュータシステムによる方法であって、
複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信する段階、
電子装置の前記コンテンツの再生環境に応じて前記コンテンツのフォーマットを変換する段階、および
前記変換されたフォーマットの前記コンテンツを前記電子装置に送信する段階
を含む、方法。 - 前記コンテンツのフォーマットは、
前記コンテンツの制作環境に応じて設定される、
請求項1に記載の方法。 - 前記コンテンツのフォーマットは、
前記メタデータに基づいて、前記物体と関連するオーディオ信号をレンダリングして再生するための第1フォーマット、または
前記メタデータに基づいて、前記物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するための第2フォーマット
のうちの少なくとも一方を含む、請求項1に記載の方法。 - 前記コンテンツのフォーマットを変換する段階は、
前記第2フォーマットのコンテンツを前記第1フォーマットのコンテンツに変換する段階
を含む、請求項3に記載の方法。 - 前記第1フォーマットのコンテンツに変換する段階は、
前記第2フォーマットのコンテンツから前記メタデータを検出する段階、および
前記メタデータを前記第1フォーマットに変換する段階
を含む、請求項4に記載の方法。 - 前記コンテンツのフォーマットを変換する段階は、
前記第1フォーマットのコンテンツを前記第2フォーマットのコンテンツに変換する段階
を含む、請求項3に記載の方法。 - 前記第2フォーマットのコンテンツに変換する段階は、
前記再生環境の前記オーディオ出力デバイスに対するレイアウトに基づいて、前記第1フォーマットのコンテンツを前記第2フォーマットのコンテンツに変換する段階
を含む、請求項6に記載の方法。 - 前記コンテンツに対して前記制作環境と前記再生環境が符合する場合、前記コンテンツのフォーマットを維持しながら、前記コンテンツを前記電子装置に送信する段階
をさらに含む、請求項2に記載の方法。 - 複数のオーディオ信号である完成したコンテンツを受信する段階、および
前記完成したコンテンツを前記電子装置に送信する段階
をさらに含む、請求項1に記載の方法。 - 請求項1~9のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラム。
- 請求項1~9のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。
- コンピュータシステムであって、
メモリ、
通信モジュール、および
前記メモリおよび前記通信モジュールとそれぞれ連結して前記メモリに記録された少なくとも1つの命令を実行するように構成されたプロセッサを含み、
前記プロセッサは、
前記通信モジュールを経て、複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信し、
電子装置の前記コンテンツの再生環境に応じて前記コンテンツのフォーマットを変換し、
前記通信モジュールを経て、前記変換されたフォーマットの前記コンテンツを前記電子装置に送信するように構成される、
コンピュータシステム。 - 前記コンテンツのフォーマットは、
前記コンテンツの制作環境に応じて設定される、
請求項12に記載のコンピュータシステム。 - 前記コンテンツのフォーマットは、
前記メタデータに基づいて、前記物体と関連するオーディオ信号をレンダリングして再生するための第1フォーマット、または
前記メタデータに基づいて、前記物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するための第2フォーマット
のうちの少なくとも一方を含む、請求項12に記載のコンピュータシステム。 - 前記プロセッサは、
前記第2フォーマットのコンテンツを前記第1フォーマットのコンテンツに変換するように構成される第1変換モジュール
を含む、請求項14に記載のコンピュータシステム。 - 前記第1変換モジュールは、
前記第2フォーマットのコンテンツから前記メタデータを検出し、
前記メタデータを前記第1フォーマットに変換するように構成される、
請求項15に記載のコンピュータシステム。 - 前記プロセッサは、
前記第1フォーマットのコンテンツを前記第2フォーマットのコンテンツに変換するように構成される第2変換モジュールを含む、
請求項14に記載のコンピュータシステム。 - 前記第2変換モジュールは、
前記再生環境の前記オーディオ出力デバイスに対するレイアウトに基づいて、前記第1フォーマットのコンテンツを前記第2フォーマットのコンテンツに変換するように構成される、
請求項17に記載のコンピュータシステム。 - 前記プロセッサは、
前記コンテンツに対して前記制作環境と前記再生環境が符合する場合、前記コンテンツのフォーマットを維持しながら、前記通信モジュールを経て、前記コンテンツを前記電子装置に送信するように構成される、
請求項13に記載のコンピュータシステム。 - 前記プロセッサは、
前記通信モジュールを経て、複数のオーディオ信号である完成したコンテンツを受信し、
前記通信モジュールを経て、前記完成したコンテンツを前記電子装置に送信するように構成される、
請求項12に記載のコンピュータシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210083681A KR20230001135A (ko) | 2021-06-28 | 2021-06-28 | 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법 |
KR10-2021-0083681 | 2021-06-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023008889A true JP2023008889A (ja) | 2023-01-19 |
Family
ID=84541692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022103609A Pending JP2023008889A (ja) | 2021-06-28 | 2022-06-28 | ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220417693A1 (ja) |
JP (1) | JP2023008889A (ja) |
KR (1) | KR20230001135A (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006503490A (ja) * | 2002-10-15 | 2006-01-26 | 韓國電子通信研究院 | ユーザの選好度によるオーディオ信号適応変換装置、および、その方法 |
JP2015531078A (ja) * | 2012-07-31 | 2015-10-29 | インテレクチュアル ディスカバリー シーオー エルティディIntellectual Discovery Co.,Ltd. | オーディオ信号処理方法および装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104885151B (zh) * | 2012-12-21 | 2017-12-22 | 杜比实验室特许公司 | 用于基于感知准则呈现基于对象的音频内容的对象群集 |
JP6192813B2 (ja) * | 2013-05-24 | 2017-09-06 | ドルビー・インターナショナル・アーベー | オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 |
EP2830333A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals |
WO2015080967A1 (en) * | 2013-11-28 | 2015-06-04 | Dolby Laboratories Licensing Corporation | Position-based gain adjustment of object-based audio and ring-based channel audio |
CN109068260B (zh) * | 2014-05-21 | 2020-11-27 | 杜比国际公司 | 配置经由家庭音频回放系统的音频的回放的系统和方法 |
US9934790B2 (en) * | 2015-07-31 | 2018-04-03 | Apple Inc. | Encoded audio metadata-based equalization |
-
2021
- 2021-06-28 KR KR1020210083681A patent/KR20230001135A/ko unknown
-
2022
- 2022-06-28 JP JP2022103609A patent/JP2023008889A/ja active Pending
- 2022-06-28 US US17/809,337 patent/US20220417693A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006503490A (ja) * | 2002-10-15 | 2006-01-26 | 韓國電子通信研究院 | ユーザの選好度によるオーディオ信号適応変換装置、および、その方法 |
JP2015531078A (ja) * | 2012-07-31 | 2015-10-29 | インテレクチュアル ディスカバリー シーオー エルティディIntellectual Discovery Co.,Ltd. | オーディオ信号処理方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220417693A1 (en) | 2022-12-29 |
KR20230001135A (ko) | 2023-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6676801B2 (ja) | マルチチャンネル音声コンテンツを表すビットストリームを生成する方法、およびデバイス | |
US20170098452A1 (en) | Method and system for audio processing of dialog, music, effect and height objects | |
JP2019533404A (ja) | バイノーラルオーディオ信号処理方法及び装置 | |
TW201325269A (zh) | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 | |
KR102505249B1 (ko) | 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 전송하는 컴퓨터 시스템 및 그의 방법 | |
US11930348B2 (en) | Computer system for realizing customized being-there in association with audio and method thereof | |
US11930349B2 (en) | Computer system for producing audio content for realizing customized being-there and method thereof | |
JP2022511159A (ja) | 異なるフォーマットで捕捉されたオーディオ信号を、エンコードおよびデコード動作を簡単にするために、より少数のフォーマットに変換すること | |
KR20210072388A (ko) | 오디오 출력 장치 및 오디오 출력 장치의 제어 방법 | |
US11122386B2 (en) | Audio rendering for low frequency effects | |
US10667074B2 (en) | Game streaming with spatial audio | |
CN115211146A (zh) | 音频表示和相关联的渲染 | |
US11729574B2 (en) | Spatial audio augmentation and reproduction | |
JP2023008889A (ja) | ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法 | |
WO2022262758A1 (zh) | 音频渲染系统、方法和电子设备 | |
WO2022262750A1 (zh) | 音频渲染系统、方法和电子设备 | |
US20230123253A1 (en) | Method and Apparatus for Low Complexity Low Bitrate 6DOF HOA Rendering | |
WO2020257193A1 (en) | Audio rendering for low frequency effects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231031 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240206 |