JP2023175947A - スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 - Google Patents
スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 Download PDFInfo
- Publication number
- JP2023175947A JP2023175947A JP2023174101A JP2023174101A JP2023175947A JP 2023175947 A JP2023175947 A JP 2023175947A JP 2023174101 A JP2023174101 A JP 2023174101A JP 2023174101 A JP2023174101 A JP 2023174101A JP 2023175947 A JP2023175947 A JP 2023175947A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- audio
- audio object
- metadata
- azimuth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 claims description 100
- 238000009877 rendering Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 5
- 230000001747 exhibiting effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Stereophonic System (AREA)
Abstract
【課題】スクリーン関連オーディオオブジェクトリマッピングのための装置及び方法を提供する。【解決手段】装置において、オブジェクトレンダラ120はオーディオオブジェクトを受信し、オブジェクトメタデータプロセッサ110はメタデータを受信する。オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第1の位置およびスクリーンのサイズに応じてオーディオオブジェクトの第2の位置を計算し、オブジェクトレンダラに位置情報を供給し、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第1の位置を位置情報としてオブジェクトレンダラに供給する。オブジェクトレンダラは、オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成する。【選択図】図1
Description
本発明は、オーディオ信号処理に関し、特に、オーディオオブジェクトリマッピングのための装置および方法、より詳細には、スクリーン関連オーディオオブジェクトリマッピングのための装置および方法に関する。
日常生活におけるマルチメディアコンテンツ消費の増大にともなって、洗練されたマルチメディアソリューションに対する需要が絶えず増大している。この側面において、視覚コンテンツおよびオーディオコンテンツを統合することが、重要な役割を果たす。視覚およびオーディオマルチメディアコンテンツを利用可能な視覚およびオーディオ再生設定に最適に調整することが望ましい。
現行の技術水準において、オーディオオブジェクトは既に知られている。オーディオオブジェクトは、たとえば、関連付けられるメタデータを有する音声トラックと考えることができる。メタデータは、たとえば、未処理のオーディオデータの特性、たとえば、所望の再生位置または音量レベルを記述することができる。オブジェクトベースのオーディオの利点は、再生側の特定のレンダリング処理によって、すべての再生スピーカレイアウトにとって可能な最良の様式で所定の動きを再生することができることである。
幾何学的メタデータを使用して、オーディオオブジェクトがどこでレンダリングされるべきか、たとえば、基準点、たとえば聴き手に対する方位角もしくは仰角または絶対位置を規定することができる。メタデータは、オブジェクトオーディオ信号とともに記憶され、または送信される。
第105回MPEG会合におけるMPEG-Hのコンテキストにおいて、このオーディオグループは、複数の異なるアプリケーション規格の要件および時間線を検討した。その検討によれば、次世代ブロードキャストシステムのために特定の時点と特定の要件とを合わせることが不可欠である。それによれば、システムは、符号化器入力においてオーディオオブジェクトを受け入れることが可能であるべきである。その上、システムは、オーディオオブジェクトのシグナリング、送達およびレンダリングをサポートすべきであり、たとえば、対話強化、代替言語トラックおよびオーディオ記述言語について、ユーザがオブジェクトを制御することを可能にすべきである。
現行の技術水準において、種々の概念が提供されている。「Method and apparatus for playback of a higher-order ambisonics audio signal」([1]参照)において提示されている第1の従来技術によれば、そのリンクされている視覚オブジェクトに対する空間音場指向オーディオの再生が、空間ワーピング処理を適用することによって適合される。その従来技術において、復号器は、スクリーンの方向にあるすべての音声オブジェクトが、標的スクリーンと基準スクリーンとのサイズ比に従って圧縮または伸張されるように、音場をワーピングする。コンテンツ再生に使用されるスクリーンの基準サイズ(または基準聴取位置からの視野角)をメタデータとして、コンテンツとともに符号化し送信する可能性が含まれている。代替的に、固定基準スクリーンサイズが符号化において、また復号のために仮定され、復号器には、標的スクリーンの実際のサイズが分かっている。この従来技術において、復号器は、スクリーンの方向にあるすべての音声オブジェクトが、標的スクリーンのサイズと基準スクリーンのサイズとの比に従って圧縮または伸張されるように、音場をワーピングする。いわゆる「2断片区分的線形」ワーピング関数が使用される。伸張は、音声アイテムの角度位置に限定される。その従来技術において、中心合わせされたスクリーンについて、ワーピング関数の定義は、スクリーン関連リマッピングのマッピング関数の定義と同様である。3断片区分的線形マッピング関数の第1の断片および第3の断片が、2断片区分的線形関数として定義され得る。しかしながら、その従来技術では、適用は空間領域におけるHOA(HOA=高次アンビソニックス)(音場指向)信号に限定される。その上、ワーピング関数は、基準スクリーンと再生スクリーンとの比に依存するのみであり、中心合わせされていないスクリーンに関する定義は与えられていない。
別の従来技術である「Vorrichtung und Verfahren zum Bestimmen einer Wiedergabe-position」([2]参照)において、音源の位置をビデオ再生に適合させるための方法が記載されている。音源の再生位置は、基準位置に対する方向および距離、ならびに、カメラパラメータに応じて、各音声オブジェクトについて個々に決定される。その従来技術はまた、固定基準サイズを有するスクリーンが仮定されていることも記載している。シーンを基準スクリーンよりも大きいまたは小さい再生スクリーンに適合させるために、(デカルト座標における)すべての位置パラメータの線形スケーリングが実行される。しかしながら、その従来技術によれば、物理的なカメラおよび投影パラメータを組み込むことは複雑であり、そのようなパラメータは常に利用可能であるとは限らない。その上、その従来技術の方法はデカルト座標(x,y,z)において作用し、そのため、シーンスケーリングによってオブジェクトの位置だけでなく距離も変化する。さらに、この従来技術は、角座標における相対スクリーンサイズ(開口角、視野角)の変化に対してオブジェクトの位置を適合させることには適用可能ではない。
さらなる従来技術である「Verfahren zur Audiocodierung」([3]参照)において、現在の(時間とともに変化する)水平および垂直の視野角をデータストリーム(元のシーンにおける聴き手の位置に関する基準視野角)内で送信することを含む方法が記載されている。再生側において、再生のサイズおよび位置が分析され、音声オブジェクトの再生が、基準スクリーンと一致するように個々に最適化される。
別の従来技術である「Acoustical Zooming Based on a parametric Sound Field Representation」([4]参照)において、視覚的シーンの移動に追従するオーディオレンダリング(「音響ズーム」)を可能にする方法が記載されている。音響ズーム処理は、仮想記録位置のシフトとして定義される。ズームアルゴリズムのシーンモデルが、すべての音源を、任意ではあるが固定された半径を有する円上に配置する。しかしながら、その従来技術の方法はDirACパラメータ領域において作用し、距離および角度(到来方向)は変化され、マッピング関数は非線形であり、ズーム係数/パラメータに依存し、中心合わせされていないスクリーンはサポートされない。
「Acoustical Zooming Based on a Parametric Sound Field Representation」http://www.aes.org/tmpFiles/elib/20140814/15417.pdf
本発明の目的は、既存のマルチメディア再生設定を利用したオーディオおよび視覚マルチメディアコンテンツ統合のための改善された概念を提供することである。本発明の目的は、請求項1による装置、請求項13による復号器デバイス、請求項14による方法、および、請求項15によるコンピュータプログラムによって解決される。
オーディオオブジェクトリマッピングのための装置が提供される。装置は、オブジェクトメタデータプロセッサと、オブジェクトレンダラと、を備えている。オブジェクトレンダラは、オーディオオブジェクトを受信するように構成されている。オブジェクトメタデータプロセッサは、オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するように構成されている。その上、オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第1の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されている。オブジェクトレンダラは、オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するように構成されている。オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第1の位置を位置情報としてオブジェクトレンダラに供給するように構成されている。さらに、オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第2の位置を位置情報としてオブジェクトレンダラに供給するように構成されている。
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第2の位置を計算しないように構成されてもよい。
一実施形態において、オブジェクトレンダラは、たとえば、位置情報がオーディオオブジェクトの第1の位置またはオーディオオブジェクトの第2の位置であるかを決定しないように構成されてもよい。
一実施形態によれば、オブジェクトレンダラは、たとえば、再生環境のスピーカの数にさらに応じてスピーカ信号を生成するように構成されてもよい。
一実施形態において、オブジェクトレンダラは、たとえば、再生環境のスピーカの各々のスピーカ位置にさらに応じてスピーカ信号を生成するように構成されてもよい。
一実施形態によれば、オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第1の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されており、第1の位置は3次元空間内の第1の位置を示し、第2の位置は3次元空間内の第2の位置を示す。
一実施形態において、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第1の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されてもよく、第1の位置は第1の方位角、第1の仰角および第1の距離を示し、第2の位置は第2の方位角、第2の仰角および第2の距離を示す。
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、第1の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第2の指示をさらに含むメタデータを受信するように構成されてもよく、上記第2の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第2の指示が指示する場合、第2の位置がスクリーンのスクリーン領域上の第1の値をとるように、オーディオオブジェクトの第1の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されてもよい。
一実施形態において、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第2の指示が指示する場合、第2の位置が第2の値(スクリーン領域にあるかないかのいずれかである)をとるように、オーディオオブジェクトの第1の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されてもよい。
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、第1の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第2の指示をさらに含むメタデータを受信するように構成されてもよく、上記第2の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第2の指示が指示する場合、オーディオオブジェクトの第1の位置、スクリーンのサイズ、および、マッピング曲線としての第1のマッピング曲線に応じてオーディオオブジェクトの第2の位置を計算するように構成されてもよく、第1のマッピング曲線は、第1の値間隔における元のオブジェクト位置の、第2の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義する。その上、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第2の指示が指示する場合、オーディオオブジェクトの第1の位置、スクリーンのサイズ、および、マッピング曲線としての第2のマッピング曲線に応じてオーディオオブジェクトの第2の位置を計算するように構成されてもよく、第2のマッピング曲線は、第1の値間隔における元のオブジェクト位置の、第3の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義し、上記第2の値間隔は第3の値間隔によって含まれ、上記第2の値間隔は上記第3の値間隔よりも小さい。
一実施形態において、第1の値間隔、第2の値間隔、および第3の値間隔の各々は、たとえば、方位角の値間隔であってもよく、第1の値間隔、第2の値間隔、および第3の値間隔の各々は、たとえば、仰角の値間隔であってもよい。
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、第1の線形マッピング関数および第2の線形マッピング関数の少なくとも一方に応じてオーディオオブジェクトの第2の位置を計算するように構成されてもよく、第1の線形マッピング関数は、第1の方位角値を第2の方位角値にマッピングするように定義されており、第2の線形マッピング関数は、第1の仰角値を第2の仰角値にマッピングするように定義されており、
は方位角スクリーン左端基準を示し、
は方位角スクリーン右端基準を示し、
は仰角スクリーン上端基準を示し、
は仰角スクリーン下端基準を示し、
は前記スクリーンの方位角スクリーン左端を示し、
は前記スクリーンの方位角スクリーン右端を示し、
は前記スクリーンの仰角スクリーン上端を示し、
は前記スクリーンの仰角スクリーン下端を示し、
は前記第1の方位角値を示し、
は第2の方位角値を示し、θは第1の仰角値を示し、θ’は第2の仰角値を示し、第2の方位角値
は、たとえば、以下の式に従って第1の線形マッピング関数による第1の方位角値
の第1のマッピングからもたらすことができ、
第2の仰角値θ’は、たとえば、以下の式に従って第2の線形マッピング関数による第1の仰角値θの第2のマッピングからもたらすことができる。
は方位角スクリーン左端基準を示し、
は方位角スクリーン右端基準を示し、
は仰角スクリーン上端基準を示し、
は仰角スクリーン下端基準を示し、
は前記スクリーンの方位角スクリーン左端を示し、
は前記スクリーンの方位角スクリーン右端を示し、
は前記スクリーンの仰角スクリーン上端を示し、
は前記スクリーンの仰角スクリーン下端を示し、
は前記第1の方位角値を示し、
は第2の方位角値を示し、θは第1の仰角値を示し、θ’は第2の仰角値を示し、第2の方位角値
は、たとえば、以下の式に従って第1の線形マッピング関数による第1の方位角値
の第1のマッピングからもたらすことができ、
第2の仰角値θ’は、たとえば、以下の式に従って第2の線形マッピング関数による第1の仰角値θの第2のマッピングからもたらすことができる。
その上、復号器デバイスが提供される。復号器デバイスは、1つまたは複数のオーディオ入力チャネルを取得し、1つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、1つまたは複数のSAOCトランスポートチャネルを取得するためにビットストリームを復号するためのUSAC復号器を備えている。さらに、復号器デバイスは、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループを取得するために1つまたは複数のSAOCトランスポートチャネルを復号するためのSAOC復号器を備えている。その上、復号器デバイスは、上述した実施形態による装置を備えている。装置は、上述した実施形態による装置のオブジェクトメタデータプロセッサであり、かつ非圧縮メタデータを取得するために圧縮オブジェクトメタデータを復号するために実装されるオブジェクトメタデータ復号器を備え、装置は、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループを取得するために非圧縮メタデータに応じて、1つまたは複数の入力オーディオオブジェクトをレンダリングするための、上述した実施形態による装置のオブジェクトレンダラをさらに備えている。さらに、復号器デバイスは、1つまたは複数の変換済みチャネルを取得するために1つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器を備えている。その上、復号器デバイスは、1つまたは複数の復号オーディオチャネルを取得するために、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループの1つまたは複数のオーディオオブジェクト、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループの1つまたは複数のオーディオオブジェクト、および、1つまたは複数の変換済みチャネルを混合するための混合器を備えている。
さらに、スピーカ信号を生成するための方法が提供される。方法は、以下のステップを含む。
- オーディオオブジェクトを受信するステップ。
- オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するステップ。
- オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第1の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するステップ。
- オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するステップ。
- オーディオオブジェクトを受信するステップ。
- オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するステップ。
- オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第1の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するステップ。
- オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するステップ。
オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、位置情報は、オーディオオブジェクトの第1の位置である。オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、位置情報は、オーディオオブジェクトの第2の位置である。
その上、コンピュータプログラムが提供される。コンピュータプログラムは、コンピュータまたは信号プロセッサ上で実行されるとき、上述した方法を実施するように構成されている。
以下において、図面を参照して本発明の実施形態を詳細に説明する。
図1は、一実施形態によるオーディオオブジェクトリマッピングのための装置を示す。装置は、オブジェクトメタデータプロセッサ110と、オブジェクトレンダラ120と、を備えている。
オブジェクトレンダラ120は、オーディオオブジェクトを受信するように構成されている。
オブジェクトメタデータプロセッサ110は、オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するように構成されている。その上、オブジェクトメタデータプロセッサ110は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第1の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されている。
オブジェクトレンダラ120は、オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するように構成されている。
オブジェクトメタデータプロセッサ110は、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第1の位置を位置情報としてオブジェクトレンダラ120に供給するように構成されている。
さらに、オブジェクトメタデータプロセッサ110は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第2の位置を位置情報としてオブジェクトレンダラ120に供給するように構成されている。
一実施形態によれば、オブジェクトメタデータプロセッサ110は、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第2の位置を計算しないように構成されてもよい。
一実施形態において、オブジェクトレンダラ120は、たとえば、位置情報がオーディオオブジェクトの第1の位置またはオーディオオブジェクトの第2の位置であるかを決定しないように構成されてもよい。
一実施形態によれば、オブジェクトレンダラ120は、たとえば、再生環境のスピーカの数にさらに応じてスピーカ信号を生成するように構成されてもよい。
一実施形態において、オブジェクトレンダラ120は、たとえば、再生環境のスピーカの各々のスピーカ位置にさらに応じてスピーカ信号を生成するように構成されてもよい。
一実施形態によれば、オブジェクトメタデータプロセッサ110は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第1の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されており、第1の位置は3次元空間内の第1の位置を示し、第2の位置は3次元空間内の第2の位置を示す。
一実施形態において、オブジェクトメタデータプロセッサ110は、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第1の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されてもよく、第1の位置は第1の方位角、第1の仰角および第1の距離を示し、第2の位置は第2の方位角、第2の仰角および第2の距離を示す。
一実施形態によれば、オブジェクトメタデータプロセッサ110は、たとえば、第1の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第2の指示をさらに含むメタデータを受信するように構成されてもよく、上記第2の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサ110は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第2の指示が指示する場合、第2の位置がスクリーンのスクリーン領域上の第1の値をとるように、オーディオオブジェクトの第1の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されてもよい。
一実施形態において、オブジェクトメタデータプロセッサ110は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第2の指示が指示する場合、第2の位置が、スクリーン領域にあるかないかのいずれかである第2の値
をとるように、オーディオオブジェクトの第1の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されてもよい。
をとるように、オーディオオブジェクトの第1の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第2の位置を計算するように構成されてもよい。
一実施形態によれば、オブジェクトメタデータプロセッサ110は、たとえば、第1の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第2の指示をさらに含むメタデータを受信するように構成されてもよく、上記第2の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサ110は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第2の指示が指示する場合、オーディオオブジェクトの第1の位置、スクリーンのサイズ、および、マッピング曲線としての第1のマッピング曲線に応じてオーディオオブジェクトの第2の位置を計算するように構成されてもよく、第1のマッピング曲線は、第1の値間隔における元のオブジェクト位置の、第2の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義する。その上、オブジェクトメタデータプロセッサ110は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第2の指示が指示する場合、オーディオオブジェクトの第1の位置、スクリーンのサイズ、および、マッピング曲線としての第2のマッピング曲線に応じてオーディオオブジェクトの第2の位置を計算するように構成されてもよく、第2のマッピング曲線は、第1の値間隔における元のオブジェクト位置の、第3の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義し、上記第2の値間隔は第3の値間隔によって含まれ、上記第2の値間隔は上記第3の値間隔よりも小さい。
一実施形態において、第1の値間隔、第2の値間隔、および第3の値間隔の各々は、たとえば、方位角の値間隔であってもよく、第1の値間隔、第2の値間隔、および第3の値間隔の各々は、たとえば、仰角の値間隔であってもよい。
以下において、本発明の特定の実施形態および本発明の複数の実施形態の任意選択の特徴を説明する。
固定位置向けに意図されていないが、その位置が再生設定におけるスクリーンのサイズとともに変化することになるオーディオオブジェクト(3D空間における位置、たとえば、与えられている方位角、仰角および距離と関連付けられるオーディオ信号)が存在し得る。
オブジェクトがスクリーン関連として(たとえば、メタデータ内のフラグによって)シグナリングされる場合、その位置が、特定の規則に従ってスクリーンサイズに対してリマッピング/再計算される。
図2は、一実施形態によるオブジェクトレンダラを示す。
導入として、以下が留意される。
オブジェクトベースのオーディオフォーマットにおいて、メタデータは、オブジェクト信号とともに記憶または送信される。オーディオオブジェクトは、メタデータおよび再生環境に関する情報を使用して再生側でレンダリングされる。そのような情報は、たとえば、スピーカの数またはスクリーンのサイズである。
表1:例示的なメタデータ
表1:例示的なメタデータ
オブジェクトについて、幾何学的メタデータを使用して、オーディオオブジェクトがどのようにレンダリングされるべきか、たとえば、基準点、たとえば聴き手に対する方位角もしくは仰角または基準点、たとえば聴き手に対する絶対位置を規定することができる。レンダラは、幾何学的データならびに利用可能なスピーカおよびそれらのスピーカの位置に基づいて、スピーカ信号を計算する。
本発明による実施形態は、以下のように、上述から明らかになる。
スクリーン関連レンダリングを制御するために、追加のメタデータフィールドが、幾何学的メタデータをどのように解釈するかを制御する。
フィールドがOFFに設定されている場合、幾何学的メタデータはレンダラによって、スピーカ信号を計算するために解釈される。
フィールドがONに設定されている場合、幾何学的メタデータはレンダラによって、公称データから他の値へとマッピングされる。このリマッピングは、オブジェクトメタデータプロセッサに従うレンダラがオブジェクトメタデータの前処理について不可知であり、変化せずに動作するように、幾何学的メタデータに対して行われる。そのようなメタデータフィールドの例を、以下の表に与える。
表2:スクリーン関連レンダリングを制御するためのメタデータおよびそれらの意味:
表2:スクリーン関連レンダリングを制御するためのメタデータおよびそれらの意味:
以下の表は、メタデータがどのように効率的にコード化され得るかの例を提示する。
表3-一実施形態によるObjectMetadataConfig()の構文
hasOnScreenObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する(位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン(onscreen)」であることを規定する。このフラグが1に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。代替形態によれば、フラグは使用されず、基準スクリーン角度が規定される。ScreenRelativeObject=1である場合、すべての角度がこの基準角度に対して相対的である。オーディオオブジェクトがスクリーン上にあると分かっている必要がある他の使用事例があり得る。
表3-一実施形態によるObjectMetadataConfig()の構文
hasOnScreenObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する(位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン(onscreen)」であることを規定する。このフラグが1に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。代替形態によれば、フラグは使用されず、基準スクリーン角度が規定される。ScreenRelativeObject=1である場合、すべての角度がこの基準角度に対して相対的である。オーディオオブジェクトがスクリーン上にあると分かっている必要がある他の使用事例があり得る。
isScreenRelativeObjectに関連して、一実施形態によれば、2つの可能性があることが留意される、すなわち、位置をリマッピングするが、これは依然としてすべての値をとることができる(スクリーン相対的)、および、スクリーン領域上にある値のみを含むことができるようにリマッピングする(オンスクリーン)。
リマッピングは、ローカルスクリーンサイズを考慮に入れ、幾何学的メタデータのマッピングを実施するオブジェクトメタデータプロセッサにおいて行われる。
図3は、一実施形態によるオブジェクトメタデータプロセッサを示す。
スクリーン関連幾何学的メタデータ修正について、以下のことが言える。
情報isScreenRelativeObjectおよびisOnScreenObjectに応じて、スクリーン関連オーディオ要素をシグナリングするための以下の2つの可能性がある。
a)スクリーン相対的オーディオ要素
b)オンスクリーンオーディオ要素
a)スクリーン相対的オーディオ要素
b)オンスクリーンオーディオ要素
両方の事例において、オーディオ要素の位置データが、オブジェクトメタデータプロセッサによってリマッピングされる。その位置の元の方位角および仰角を、リマッピングされた方位角およびリマッピングされた仰角にマッピングする曲線が適用される。
基準は、メタデータ内の公称スクリーンサイズまたは仮定されるデフォルトスクリーンサイズである。
たとえば、ITU-R REC-BT.2022(フラットパネルディスプレイ上のSDTVおよびHDTVテレビ画像の品質の主観的評価に関する一般的な観賞条件)において定義されている視野角を使用することができる。
これら2つのタイプのスクリーン関連の間の差は、リマッピング曲線の定義である。
事例a)において、リマッピングされた方位角は、-180°と180°との間の値をとることができ、リマッピングされた仰角は、-90°と90°との間の値をとることができる。曲線は、デフォルトの左端方位角とデフォルトの右端方位角との間の方位角値が所与のスクリーン左端と所与のスクリーン右端との間の間隔にマッピング(圧縮または伸張)されるように(したがって、仰角も同様に)定義される。全範囲の値がカバーされるように、他の方位角および仰角値がそれに従って圧縮または伸張される。
図4は、実施形態による方位角リマッピングを示す。
事例b)において、リマッピングされる方位角および仰角は、スクリーン領域上の位置を記述する値(方位角(スクリーン左端) 方位角(リマッピングされた) 方位角(スクリーン右端)および仰角(スクリーン下端) 仰角(リマッピングされた) 仰角(スクリーン上端))のみをとることができる。
これらの範囲外の値を処理するための複数の異なる可能性がある。それらはいずれも、-180°方位角とスクリーン左端との間のすべてのオブジェクトがスクリーン左端に行き着き、スクリーン右端と180°方位角との間のすべてのオブジェクトが右スクリーンに行き着くように、スクリーンの端部に対してマッピングされる。別の可能性は、後半球の値を前半球にマッピングすることである。その後、左半球において、-180°+方位角(スクリーン左端)と方位角(スクリーン左端)との間の位置が、スクリーン左端にマッピングされる。-180°と-180°+方位角(スクリーン左端)との間の値が、0°と方位角(スクリーン左端)との間の値にマッピングされる。右半球および仰角は同じように処理される。
図5は、実施形態による仰角リマッピングを示す。
勾配が変化する曲線の点-x1および+x2(+x1とは異なってもよく、または等しくてもよい)は、デフォルト値(デフォルトの仮定される標準スクリーンサイズ+位置)であるか、または、それらは、メタデータ内に(たとえば、その後そこで再生スクリーンサイズを与え得る再生者によって)存在し得る。
線分から構成されていないが、代わりに湾曲している可能なマッピング関数もある。
追加のメタデータが、たとえば、パン挙動または聴き取りの分解能を計上するためのオフセットまたは非線形係数を定義する、リマッピングの方法を制御してもよい。
また、たとえば、後部に対して意図されているすべてのオブジェクトをスクリーン上に「投影」することによって、マッピングがどのように実施されるかがシグナリングされてもよい。
そのような代替的なマッピング方法は、以下の図面にリストされている。
そこで、図6は、実施形態による方位角リマッピングを示す。
図7は、実施形態による仰角リマッピングを示す。
未知のスクリーンサイズ挙動に関して、
再生スクリーンサイズが与えられていない場合、
- デフォルトのスクリーンサイズが仮定されるか、または
― たとえオブジェクトがスクリーン関連またはオンスクリーンとしてマークされている場合であっても、マッピングは適用されない。
未知のスクリーンサイズ挙動に関して、
再生スクリーンサイズが与えられていない場合、
- デフォルトのスクリーンサイズが仮定されるか、または
― たとえオブジェクトがスクリーン関連またはオンスクリーンとしてマークされている場合であっても、マッピングは適用されない。
図4に戻って、別の実施形態では、事例b)において、リマッピングされる方位角および仰角は、スクリーン領域上の位置を記述する値(方位角(スクリーン左端)≦方位角(リマッピングされた)≦方位角(スクリーン右端)および仰角(スクリーン下端)≦仰角(リマッピングされた)≦仰角(スクリーン上端))のみをとることができる。これらの範囲外の値を処理するための以下の複数の異なる可能性がある。いくつかの実施形態において、それらはいずれも、+180°方位角とスクリーン左端との間のすべてのオブジェクトがスクリーン左端に行き着き、スクリーン右端と-180°方位角との間のすべてのオブジェクトがスクリーン右端に行き着くように、スクリーンの端部に対してマッピングされる。別の可能性は、後半球の値を前半球にマッピングすることである。
その後、左半球において、+180°-方位角(スクリーン左端)と方位角(スクリーン左端)との間の位置が、スクリーン左端にマッピングされる。+180°と+180°-方位角(スクリーン左端)との間の値が、0°と方位角(スクリーン左端)との間の値にマッピングされる。右半球および仰角は同じように処理される。
図16は、図5と同様の図である。図16によって示す実施形態において、両方の図面において、-90°~+90°の横座標軸上の値間隔および-90°~+90°の縦座標軸上の値間隔が示されている。
図17は、図7と同様の図である。図17によって示す実施形態において、両方の図面において、-90°~+90°の横座標軸上の値間隔および-90°~+90°の縦座標軸上の値間隔が示されている。
以下において、本発明のさらなる実施形態およびさらなる実施形態の任意選択の特徴を、図8~図15を参照して説明する。
いくつかの実施形態によれば、スクリーン関連要素リマッピングは、たとえば、ビットストリームが、OAMデータ(OAMデータ=関連オブジェクトメタデータ)を伴うスクリーン関連要素を含み(少なくとも1つのオーディオ要素についてisScreenRelativeObject flag == 1)、かつ、ローカルスクリーンサイズがLocalScreenSize()インターフェースを介して復号器にシグナリングされる場合にのみ処理することができる。
幾何学的位置データ(ユーザ対話による任意の位置修正が行われる前のOAMデータ)を、たとえば、マッピング関数の定義および利用によって、異なる範囲の値にマッピングすることができる。リマッピングは、たとえば、レンダラがリマッピングについて不可知であり、変化せずに動作するように、レンダリングに対する前処理ステップとして幾何学的位置データを変更することができる。
公称基準スクリーンのスクリーンサイズ(混合およびモニタリングプロセスにおいて使用される)および/または再生室内のローカルスクリーンサイズ情報が、たとえば、リマッピングのために考慮に入れられ得る。
公称基準スクリーンサイズが与えられない場合、たとえば、例として4kディスプレイおよび最適な観賞距離を仮定して、デフォルトの基準値が使用されてもよい。
ローカルスクリーンサイズ情報が与えられない場合、たとえば、リマッピングは適用されるべきではない。
たとえば、2つの線形マッピング関数を、仰角および方位角値のマッピングのために定義することができる。
図13は、一実施形態による位置データのリマッピング関数を示す。特に、図13において、方位角のマッピングのためのマッピング関数が示されている。図13において、曲線は、公称基準左端方位角と公称基準右端方位角との間の方位角値が所与のローカルスクリーン左端と所与のローカルスクリーン右端との間の間隔にマッピング(圧縮または伸張)されるように定義される。全範囲の値がカバーされるように、他の方位角値がそれに従って圧縮または伸張される。
リマッピングされた方位角は、たとえば、-180°と180°との間の値をとることができ、リマッピングされた仰角は、-90°と90°との間の値をとることができる。
たとえば、一実施形態によれば、isScreenRelativeObjectフラグが0に設定されている場合、対応する要素についてスクリーン関連要素リマッピングは適用されず、幾何学的位置データ(OAMデータ+ユーザ対話による位置変化)が、レンダラによって、再生信号を計算するために直に使用される。
いくつかの実施形態によれば、すべてのスクリーン関連要素の位置が、たとえば、再生室に対する適合として再生スクリーンサイズに従ってリマッピングされてもよい。たとえば、再生スクリーンサイズ情報が与えられていないか、または、スクリーン関連要素が存在しない場合、リマッピングは適用されない。
リマッピングは、たとえば再生室内の再生スクリーンサイズ情報や、たとえば混合およびモニタリングプロセスにおいて使用される基準スクリーンのスクリーンサイズ情報を考慮に入れる線形マッピング関数によって定義されてもよい。
一実施形態による方位角マッピング関数が、図13に示されている。上記図13において、方位角のマッピング関数が示されている。図13にあるように、この関数は、たとえば、基準スクリーンの左端と右端との間の方位角値が、再生スクリーンの左端と右端との間の間隔にマッピング(圧縮または伸張)されるように定義されてもよい。全範囲の値がカバーされるように、他の方位角値が圧縮または伸張される。
仰角マッピング関数は、たとえば、それに従って定義されてもよい(図14参照)。スクリーン関連処理は、たとえば、高解像度ビデオコンテンツにズームするためのズーム領域をも考慮に入れることができる。スクリーン関連処理は、たとえば、動的位置データを伴い、スクリーン関連としてラベリングされている要素についてのみ定義され得る。
以下において、3Dオーディオコーデックシステムのシステム概要を提供する。本発明の実施形態は、そのような3Dオーディオコーデックシステムにおいて利用することができる。3Dオーディオコーデックシステムは、たとえば、チャネルおよびオブジェクト信号のコード化のためのMPEG-D USACコーデックに基づいてもよい。
実施形態によれば、大量のオブジェクトのコード化効率を増大させるために、MPEG SAOC技術が適合されている(SAOC=空間オーディオオブジェクトコード化)。たとえば、いくつかの実施形態によれば、3つのタイプのレンダラが、たとえば、チャネルに対するオブジェクトのレンダリング、ヘッドホンに対するチャネルのレンダリング、または、異なるスピーカ設定に対するチャネルのレンダリングのタスクを実施することができる。
オブジェクト信号が明示的に送信されるか、または、SAOCを使用してパラメトリックに符号化されると、対応するオブジェクトメタデータ情報が、圧縮され、3Dオーディオビットストリームに多重化される。
図8および図9は、3Dオーディオシステムの種々のアルゴリズムブロックを示す。特に、図8は、3Dオーディオ符号化器の概略を示す。図9は、一実施形態による3Dオーディオ復号器の概略を示す。
ここで、図8および図9のモジュールの可能な実施形態を説明する。
図8において、プレレンダラ810(混合器とも称する)が示されている。図8の構成において、プレレンダラ810(混合器)は任意である。プレレンダラ810は、符号化する前にチャネル+オブジェクト入力シーンをチャネルシーンに変換するために任意に使用することができる。機能的に、符号化器側のプレレンダラ810は、たとえば、後述する復号器側のオブジェクトレンダラ/混合器920の機能に関連付けることができる。オブジェクトのプレレンダリングによって、基本的に同時にアクティブなオブジェクト信号の数とは無関係である符号化器入力における決定論的信号エントロピーが保証される。オブジェクトのプレレンダリングによって、オブジェクトメタデータ送信は必要ない。離散的なオブジェクト信号が、符号化器がそれを使用するように構成されているチャネルレイアウトにレンダリングされる。チャネルごとのオブジェクトの重みは、関連オブジェクトメタデータ(OAM)から取得される。
スピーカ-チャネル信号、離散的なオブジェクト信号、オブジェクトダウンミックス信号およびプレレンダリング済み信号のコアコーデックは、MPEG-D USAC技術(USACコアコーデック)に基づく。USAC符号化器820(たとえば、図8に示す)は、入力のチャネルおよびオブジェクト割り当ての幾何学的かつ意味論的情報に基づいてチャネルとオブジェクトマッピング情報を作成することによって、複数の信号のコード化を処理する。このマッピング情報は、どのように入力チャネルとオブジェクトがUSACチャネル要素(CPE、SCE、LFE)にマッピングされ、対応する情報が復号器に送信されるかを記述する。
SAOCデータまたはオブジェクトメタデータのようなすべての追加のペイロードが拡張要素を通じて渡されており、たとえば、USAC符号化器のレート制御において考慮され得る。
オブジェクトのコード化は、レンダラのレート/歪み要件および双方向性要件に応じて、種々の方法で可能である。以下のオブジェクトコード化変形形態が可能である。
プレレンダリング済みオブジェクト:オブジェクト信号は、符号化前に22.2チャネル信号にプレレンダリングおよび混合される。後続のコード化チェーンは、22.2チャネル信号を考慮する。
離散オブジェクト波形:オブジェクトは、モノラル波形としてUSAC符号化器820に供給される。USAC符号化器820は、単一チャネル要素SCEを使用して、チャネル信号に加えてオブジェクトを送信する。復号されたオブジェクトは、受信機側でレンダリングおよび混合される。圧縮オブジェクトメタデータ情報が、受信機/レンダラにともに送信される。
パラメトリックオブジェクト波形:オブジェクト特性およびそれらの互いに対する関連が、SAOCパラメータによって記述される。オブジェクト信号のダウンミックスが、USAC符号化器820によってUSACを用いてコード化される。パラメトリック情報がともに送信される。ダウンミックスチャネルの数は、オブジェクトの数と全体的なデータレートに応じて選択される。圧縮オブジェクトメタデータ情報が、SAOCレンダラに送信される。
プレレンダリング済みオブジェクト:オブジェクト信号は、符号化前に22.2チャネル信号にプレレンダリングおよび混合される。後続のコード化チェーンは、22.2チャネル信号を考慮する。
離散オブジェクト波形:オブジェクトは、モノラル波形としてUSAC符号化器820に供給される。USAC符号化器820は、単一チャネル要素SCEを使用して、チャネル信号に加えてオブジェクトを送信する。復号されたオブジェクトは、受信機側でレンダリングおよび混合される。圧縮オブジェクトメタデータ情報が、受信機/レンダラにともに送信される。
パラメトリックオブジェクト波形:オブジェクト特性およびそれらの互いに対する関連が、SAOCパラメータによって記述される。オブジェクト信号のダウンミックスが、USAC符号化器820によってUSACを用いてコード化される。パラメトリック情報がともに送信される。ダウンミックスチャネルの数は、オブジェクトの数と全体的なデータレートに応じて選択される。圧縮オブジェクトメタデータ情報が、SAOCレンダラに送信される。
復号器側で、USAC復号器910がUSAC復号を実行する。
その上、実施形態によれば、復号器デバイスが提供される。図9を参照されたい。復号器デバイスは、1つまたは複数のオーディオ入力チャネルを取得し、1つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、1つまたは複数のSAOCトランスポートチャネルを取得するためにビットストリームを復号するためのUSAC復号器910を備えている。
さらに、復号器デバイスは、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループを取得するために1つまたは複数のSAOCトランスポートチャネルを復号するためのSAOC復号器915を備えている。
その上、復号器デバイスは、図1~図7に関連して上述した実施形態による、または、図11~図15に関連して後述するような装置917を備えている。装置917は、図1の装置のオブジェクトメタデータプロセッサ110であり、圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器918を備えている。
さらに、上述した実施形態による装置917は、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループを取得するために、非圧縮メタデータに応じて、1つまたは複数の入力オーディオオブジェクトをレンダリングするための、たとえば、図1の装置のオブジェクトレンダラ120であるオブジェクトレンダラ920を備えている。
さらに、復号器デバイスは、1つまたは複数の変換済みチャネルを取得するために1つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器922を備えている。
その上、復号器デバイスは、1つまたは複数の復号オーディオチャネルを取得するために、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループの1つまたは複数のオーディオオブジェクト、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループの1つまたは複数のオーディオオブジェクト、および、1つまたは複数の変換済みチャネルを混合するための混合器930を備えている。
図9において、復号器デバイスの特定の実施形態が示されている。オブジェクト信号のためのSAOC符号化器815(SAOC符号化器815は任意である、図8参照)およびSAOC復号器915(図9参照)は、MPEG SAOC技術に基づく。システムは、より少数の送信済みチャネルおよび追加のパラメトリックデータ(OLD、IOC、DMG)に基づいていくつかのオーディオオブジェクトを再生成、修正およびレンダリングすることが可能である(OLD=オブジェクトレベル差、IOC=オブジェクト間相関、DMG=ダウンミックス利得)。追加のパラメトリックデータは、すべてのオブジェクトを個々に送信するために必要とされるよりも大幅に低いデータレートを呈し、コード化を非常に効率的にする。
SAOC符号化器815は、入力として、モノラル波形としてのオブジェクト/チャネル信号をとり、パラメトリック情報(3Dオーディオビットストリームにパックされる)およびSAOCトランスポートチャネル(単一チャネル要素を使用して符号化され、送信される)を出力する。
SAOC復号器915は、復号されたSAOCトランスポートチャネルおよびパラメトリック情報からオブジェクト/チャネル信号を再構築し、再生レイアウト、解凍されたオブジェクトメタデータ情報、および、任意ではあるがユーザ対話情報に基づいて出力オーディオシーンを生成する。
オブジェクトメタデータコーデックに関して、各オブジェクトについて、3D空間内のオブジェクトの幾何学的位置および分散を指定する関連メタデータが、たとえば、図8のメタデータ符号化器818によって、時間および空間におけるオブジェクト特性の量子化によって効率的にコード化される。圧縮オブジェクトメタデータcOAM(cOAM=圧縮オーディオオブジェクトメタデータ)は、サイド情報として受信機に送信される。受信機側で、cOAMはメタデータ復号器918によって復号される。
たとえば、図9において、メタデータ復号器918は、たとえば、上述した実施形態の1つによるオブジェクトメタデータプロセッサを実装してもよい。
オブジェクトレンダラ、たとえば、図9のオブジェクトレンダラ920は、圧縮オブジェクトメタデータを利用して、所与の再生フォーマットによるオブジェクト波形を生成する。各オブジェクトは、そのメタデータに従って特定の出力チャネルにレンダリングされる。このブロックの出力は、部分結果の合計からもたらされる。
たとえば、図9において、オブジェクトレンダラ920は、たとえば、上述した実施形態の1つに従って実装されてもよい。
図9において、メタデータ復号器918は、たとえば、図1~図7および図11~図15を参照して説明されている、上述したまたは後述する実施形態の1つに従って説明されているようなオブジェクトメタデータプロセッサとして実装されてもよく、オブジェクトレンダラ920は、たとえば、図1~図7および図11~図15を参照して説明されている、上述したまたは後述する実施形態の1つに従って説明されているようなオブジェクトレンダラとして実装されてもよい。メタデータ復号器918およびオブジェクトレンダラ920は、たとえば、ともに、図1~図7および図11~図15を参照して上述または後述されているような、スピーカ信号を生成するための装置917を実装してもよい。
チャネルベースのコンテンツと離散/パラメトリックオブジェクトの両方が復号される場合、たとえば、図9の混合器930によって得られる波形が出力される前に(または、それらをバイノーラルレンダラまたはスピーカレンダラモジュールのような後処理装置モジュールに供給する前に)チャネルベースの波形とレンダリングされるオブジェクト波形が混合される。
バイノーラルレンダラモジュール940は、たとえば、各入力チャネルが仮想音源によって表されるような、マルチチャネルオーディオ材料のバイノーラルダウンミックスを生成することができる。この処理は、QMF領域においてフレームごとに実行される。バイノーラル化は、たとえば、測定されるバイノーラル室内インパルス応答に基づいてもよい。
スピーカレンダラ922は、たとえば、送信チャネル構成と所望の再生フォーマットとの間で変換することができる。したがって、これは以下においてフォーマット変換器922と呼ばれる。フォーマット変換器922は、より少数の出力チャネルへの変換を実施し、たとえば、ダウンミックスを生成する。システムは、入力フォーマットと出力フォーマットとの所与の組み合わせについて最適化されたダウンミックス行列を自動的に生成し、これらの行列をダウンミックスプロセスにおいて適用する。フォーマット変換器922は、標準スピーカ構成、および、非標準的なスピーカ位置を有するランダム構成を可能にする。
図10は、フォーマット変換器の構造を示す。図10は、ダウンミックス構成器1010、および、QMF領域においてダウンミックスを処理するためのダウンミックスプロセッサを示す(QMF領域=直交ミラーフィルタ領域)。
いくつかの実施形態によれば、オブジェクトレンダラ920は、図1~図7を参照して説明されている上述した複数の実施形態の1つに関連して説明されているような、または、図11~図15を参照して説明される後述する複数の実施形態の1つに関連して説明されるような、スクリーン関連オーディオオブジェクトリマッピングを実現するように構成することができる。
以下において、本発明のさらなる実施形態および本発明の実施形態の概念を説明する。
いくつかの実施形態によれば、オブジェクトのユーザ制御は、たとえば、記述的メタデータ、たとえば、ビットストリーム内部にオブジェクトが存在するか、および、オブジェクトの高レベル特性に関する情報を利用することができ、たとえば、制限的メタデータ、たとえば、コンテンツ生成者によってどのように対話が可能であるかまたは可能にされるかに関する情報を利用することができる。
いくつかの実施形態によれば、オーディオオブジェクトのシグナリング、送達およびレンダリングは、たとえば、位置的メタデータ、構造的メタデータ、たとえば、オブジェクトのグループ分けおよび階層、特定のスピーカにレンダリングし、チャネルコンテンツをオブジェクトとしてシグナリングするための機能、ならびに、オブジェクトシーンをスクリーンサイズに適合させるための手段を利用することができる。
実施形態は、3D空間ですでに定義されている幾何学的位置とオブジェクトのレベルに加えて、開発されている新たなメタデータフィールドを提供する。
オブジェクトベースのオーディオシーンが異なる再生設定において再生される場合、いくつかの実施形態によれば、レンダリングされる音源の位置を、たとえば、自動的に再生の寸法にスケーリングすることができる。オーディオ-視覚コンテンツが提示される場合、音源の配置と、音声の視覚的な発生源の位置とは、たとえば、もはや一致していない場合があるため、再生に対するオーディオオブジェクトを標準的にレンダリングすると、たとえば、位置的なオーディオと視覚との一貫性が乱れることになり得る。
この効果を回避するために、たとえば、オーディオオブジェクトが3D空間内の固定位置向けに意図されておらず、その位置が再生設定におけるスクリーンのサイズとともに変化すべきであることをシグナリングするための可能性が利用され得る。いくつかの実施形態によれば、これらのオーディオオブジェクトの特別な処理、および、シーンスケーリングアルゴリズムの定義によって、再生が、たとえば、再生環境のローカルな特性に対して最適化することができるため、たとえば、より没入型の経験が可能になり得る。
いくつかの実施形態において、レンダラまたは前処理モジュールは、たとえば、再生室内のローカルなスクリーンサイズを考慮に入れることができ、したがって、たとえば、映画またはゲームの側面においてオーディオとビデオとの間の関係を保持することができる。そのような実施形態において、このとき、オーディオシーンは、たとえば、視覚要素の位置と対応する音源の位置とが一致するように、再生設定に従ってスケーリングすることができる。たとえば、サイズが変動するスクリーンに関するオーディオと視覚との位置的な一貫性を維持することができる。
たとえば、実施形態によれば、このとき、対話および発話を、再生スクリーンサイズに関係なく、スクリーン上の話者の方向から知覚することができる。このとき、これは、定位置にある音源と、音声の軌道と視覚要素の移動とが対応しなければならない移動している音源とについて可能である。
スクリーン関連レンダリングを制御するために、オブジェクトをスクリーン関連としてマークすることを可能にする追加のメタデータフィールドが導入される。オブジェクトがスクリーン関連としてマークされた場合、その幾何学的位置データが、レンダリングの前に他の値にリマッピングされる。たとえば、図13は、方位角に関する例示的な(リ)マッピングを示す。
とりわけ、いくつかの実施形態は、たとえば、角度領域(方位角、仰角)において機能する単純なマッピング関数が定義されることを実現することができる。
その上、いくつかの実施形態は、たとえば、オブジェクトの距離が変化せず、スクリーンに向かう若しくはスクリーンから離れる「ズーム」、または仮想的な移動が実行されず、オブジェクトの位置のみのスケーリングが実行されることを実現することができる。
さらに、いくつかの実施形態は、マッピング関数がスクリーン比に基づくだけでなく、スクリーン端部の方位角および仰角も考慮に入れるため、たとえば、中心合わせされていない再生スクリーン
を処理することができる。
を処理することができる。
その上、いくつかの実施形態は、たとえば、オンスクリーンオブジェクトに対する特別なマッピング関数を定義することができる。いくつかの実施形態によれば、方位角および仰角のマッピング関数は、たとえば、独立であることができ、そのため、方位角または仰角値のみをリマッピングするように選択することができる。
以下にさらなる実施形態を提供する。
図11は、一実施形態によるオブジェクトベースのオーディオのレンダリングを示す。オーディオオブジェクトは、たとえば、メタデータおよび再生環境に関する情報を使用して再生側でレンダリングすることができる。そのような情報は、たとえば、スピーカの数またはスクリーンのサイズである。レンダラ1110は、幾何学的データならびに利用可能なスピーカおよびそれらのスピーカの位置に基づいて、スピーカ信号を計算することができる。
ここで、一実施形態によるオブジェクトメタデータ(プリ)プロセッサ1210を、図12を参照して説明する。
図12において、オブジェクトメタデータプロセッサ1210は、ローカルスクリーンサイズを考慮に入れ、幾何学的メタデータのマッピングを実施するリマッピングを実行するように構成されている。
スクリーン関連オブジェクトの位置データが、オブジェクトメタデータプロセッサ1210によってリマッピングされる。たとえば、その位置の元の方位角および仰角を、リマッピングされた方位角およびリマッピングされた仰角にマッピングする曲線を適用することができる。
たとえば、混合およびモニタリングプロセスにおいて利用される公称基準スクリーンのスクリーンサイズ、ならびに、再生室内のローカルスクリーンサイズ情報が、たとえば、リマッピングのために考慮に入れられ得る。
たとえば、再生スクリーンサイズと称され得る基準スクリーンサイズが、たとえば、メタデータ内で送信され得る。
いくつかの実施形態において、公称スクリーンサイズが与えられない場合、たとえば、デフォルトのスクリーンサイズが仮定されてもよい。
たとえば、ITU-R REC-BT.2022(参照:フラットパネルディスプレイ上のSDTVおよびHDTVテレビ画像の品質の主観的評価に関する一般的な観賞条件)において定義されている視野角を、例として使用することができる。
いくつかの実施形態において、たとえば、2つの線形マッピング関数を、仰角および方位角値のリマッピングのために定義することができる。
以下において、いくつかの実施形態によるスクリーン関連幾何学的メタデータの修正を、図13~図15を参照して説明する。
リマッピングされた方位角は、-180°と180°との間の値をとることができ、リマッピングされた仰角は、-90°と90°との間の値をとることができる。マッピング曲線は一般的に、デフォルトの左端方位角とデフォルトの右端方位角との間の方位角値が所与のスクリーン左端と所与のスクリーン右端との間の間隔にマッピング(圧縮または伸張)されるように(したがって、仰角も同様に)定義される。全範囲の値がカバーされるように、他の方位角および仰角値がそれに従って圧縮または伸張される。
方位角のマッピング関数は図13に示されており、仰角のマッピング関数は図14に示されている。
勾配が変化し得る曲線の点
は、デフォルト値(デフォルトの仮定される標準スクリーンサイズおよびデフォルトの仮定される標準スクリーン位置)として設定されるか、または、それらは、メタデータ内に(たとえば、その後そこで再生/モニタリングスクリーンサイズを与え得る再生者によって)存在し得る。
は、デフォルト値(デフォルトの仮定される標準スクリーンサイズおよびデフォルトの仮定される標準スクリーン位置)として設定されるか、または、それらは、メタデータ内に(たとえば、その後そこで再生/モニタリングスクリーンサイズを与え得る再生者によって)存在し得る。
スクリーン関連リマッピングのためのオブジェクトメタデータの定義に関して、スクリーン関連レンダリングを制御するために、「isScreenRelativeObject」と名付けられる追加のメタデータフラグが定義される。このフラグは、たとえば、オーディオオブジェクトがローカル再生スクリーンサイズに関連して処理/レンダリングされるべきであるか否かを定義することができる。
オーディオシーン内にスクリーン関連要素が存在する場合、混合およびモニタリングに使用された公称基準スクリーンのスクリーンサイズ情報(オーディオコンテンツの再生中に使用されているスクリーンサイズ)を提供するための可能性が提供される。
表4-一実施形態によるObjectMetadataConfig()の構文
hasScreenRelativeObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
hasScreenSize このフラグは公称スクリーンサイズが定義されるか否かを指定する。この定義は、スクリーン端部に対応する視野角を介して行われる。hasScreenSizeがゼロである場合、以下の値がデフォルトとして使用される。
bsScreenSizeAz このフィールドは、スクリーン左端およびスクリーン右端に対応する方位角を定義する。
bsScreenSizeTopEl このフィールドは、スクリーン上端に対応する仰角を定義する。
bsScreenSizeBottomEl このフィールドは、スクリーン下端に対応する仰角を定義する。
isScreenRelativeObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する(位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである。
表4-一実施形態によるObjectMetadataConfig()の構文
hasScreenRelativeObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
hasScreenSize このフラグは公称スクリーンサイズが定義されるか否かを指定する。この定義は、スクリーン端部に対応する視野角を介して行われる。hasScreenSizeがゼロである場合、以下の値がデフォルトとして使用される。
bsScreenSizeAz このフィールドは、スクリーン左端およびスクリーン右端に対応する方位角を定義する。
bsScreenSizeTopEl このフィールドは、スクリーン上端に対応する仰角を定義する。
bsScreenSizeBottomEl このフィールドは、スクリーン下端に対応する仰角を定義する。
isScreenRelativeObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する(位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである。
一実施形態によれば、再生スクリーンサイズが与えられない場合、デフォルトの再生スクリーンサイズおよびデフォルトの再生スクリーン位置が仮定されるか、または、たとえオブジェクトがスクリーン関連としてマークされていても、マッピングが適用されない。
実施形態のいくつかは、可能な変形形態を実現する。
いくつかの実施形態において、非線形マッピング関数が利用される。これらの可能なマッピング関数は、線分から構成されておらず、代わりに湾曲している。いくつかの実施形態において、追加のメタデータが、たとえば、パン挙動または聴き取りの分解能を計上するためのオフセットまたは非線形係数を定義する、リマッピングの方法を制御する。
いくつかの実施形態は、方位角および仰角の独立した処理を実現する。方位角および仰角は、独立してスクリーン関連としてマークおよび処理され得る。表5は、そのような実施形態によるObjectMetadataConfig()の構文を示す。
表5:一実施形態によるObjectMetadataConfig()の構文
表5:一実施形態によるObjectMetadataConfig()の構文
いくつかの実施形態は、オンスクリーンオブジェクトの定義を利用する。これは、スクリーン関連オブジェクトとオンスクリーンオブジェクトとの間で区別され得る。このとき、可能な構文は以下の表6のものであり得る。
表6-一実施形態によるObjectMetadataConfig()の構文
hasOnScreenObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する(位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである)。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン」であるか否かを規定する。このフラグが1に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。
表6-一実施形態によるObjectMetadataConfig()の構文
hasOnScreenObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する(位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである)。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン」であるか否かを規定する。このフラグが1に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。
いくつかの実施形態によって実現されるものとして、これらの範囲外の値を処理するための以下の複数の異なる可能性がある。それらは、スクリーンの端部にマッピングされ得る。その後、左半球において、180°と
との間の位置が、スクリーン左端
にマッピングされる。右半球および仰角は同じように処理される(図15内の破線でないマッピング関数1510)。
との間の位置が、スクリーン左端
にマッピングされる。右半球および仰角は同じように処理される(図15内の破線でないマッピング関数1510)。
実施形態のいくつかによって実現される別の可能性は、後半球の値を前半球にマッピングすることである。180°と
との間の値が、0°と
との間の値にマッピングされる。右半球および仰角は同じように処理される(図15内の破線のマッピング関数1520)。
との間の値が、0°と
との間の値にマッピングされる。右半球および仰角は同じように処理される(図15内の破線のマッピング関数1520)。
図15は、これらの実施形態による方位角のリマッピング(オンスクリーンオブジェクト)を示す。
所望の挙動の選択は、追加のメタデータ(たとえば、後方([180°および
]ならびに[-180°および
]向けに意図されているすべてのオンスクリーンオブジェクトをスクリーン上に「投影」するためのフラグ)によってシグナリングされ得る。
]ならびに[-180°および
]向けに意図されているすべてのオンスクリーンオブジェクトをスクリーン上に「投影」するためのフラグ)によってシグナリングされ得る。
いくつかの態様が装置の側面で説明されているが、これらの態様はまた、対応する方法の説明をも表すことは明らかであり、ブロックまたはデバイスが、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの側面で説明されている態様は、対応する装置の対応するブロックまたは項目もしくは特徴の説明をも表す。
本発明の分解されている信号は、デジタル記憶媒体上に記憶することができ、または、インターネットのような、無線伝送媒体もしくは有線伝送媒体などの伝送媒体上で伝送することができる。
特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェア内で実装することができる。実施態様は、それぞれの方法が実施されるようにプログラム可能コンピュータシステムと協働する(または協働することが可能である)、電子可読制御信号を記憶されているデジタル記憶媒体、たとえば、フロッピーディスク、DVD、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリを使用して実施することができる。
本発明によるいくつかの実施形態は、本明細書において説明されている方法の1つが実施されるように、プログラム可能コンピュータシステムと協働することが可能である、電子可読制御信号を有する非一時的データキャリアを含む。
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するときに、方法の1つを実施するように動作可能である。プログラムコードは、たとえば、機械可読キャリア上に記憶されてもよい。
他の実施形態は、機械可読キャリア上に記憶されている、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムを含む。
言い換えれば、それゆえ、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で動作するときに、本明細書において説明されている方法の1つを実施するためのプログラムコードを有するコンピュータプログラムである。
それゆえ、本発明の方法のさらなる実施形態は、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムを記録されて含むデータキャリア(またはデジタル記憶媒体、もしくはコンピュータ可読媒体)である。
それゆえ、本発明の方法のさらなる実施形態は、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムを表すデータストリームまたは信号系列である。データストリームまたは信号系列は、たとえば、データ通信接続、たとえばインターネットを介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書において説明されている方法の1つを実施するように構成または適合されている処理手段、たとえば、コンピュータ、またはプログラム可能論理デバイスを含む。
さらなる実施形態は、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムをインストールされているコンピュータを含む。
いくつかの実施形態において、プログラム可能論理デバイス(たとえば、フィールドプログラマブルゲートアレイ)は、本明細書において説明されている方法の機能のいくつかまたはすべてを実施するために使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書において説明されている方法の1つを実施するために、マイクロプロセッサと協働することができる。一般的に、方法は、任意のハードウェア装置によって実施されることが好ましい。
上述した実施形態は、本発明の実施形態の原理を例示しているに過ぎない。本明細書において説明されている構成および詳細の修正および変形が、当業者には諒解されよう。それゆえ、本明細書において実施形態の記述および説明の目的で提示されている特定の詳細によってではなく、添付の特許請求項の範囲のみによって限定されることが意図されている。
[備考]
[請求項1]
スピーカ信号を生成するための装置であって、
オブジェクトメタデータプロセッサ(110)と、
オブジェクトレンダラ(120)と、を備え、
前記オブジェクトレンダラ(120)は、オーディオオブジェクトを受信するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含むとともに前記オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置に応じて、かつスクリーンのサイズに応じて、前記オーディオオブジェクトの第2の位置を計算するように構成されており、
前記オブジェクトレンダラ(120)は、前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第1の位置を前記位置情報として前記オブジェクトレンダラ(120)に供給するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第2の位置を前記位置情報として前記オブジェクトレンダラ(120)に供給するように構成されている装置。
[請求項2]
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第2の位置を計算しないように構成されている請求項1に記載の装置。
[請求項3]
前記オブジェクトレンダラ(120)は、前記位置情報が前記オーディオオブジェクトの前記第1の位置または前記オーディオオブジェクトの前記第2の位置であるかを決定しないように構成されている請求項1または2に記載の装置。
[請求項4]
前記オブジェクトレンダラ(120)はさらに再生環境の前記スピーカの数に応じて前記スピーカ信号を生成するように構成されている請求項1から3のいずれか一項に記載の装置。
[請求項5]
前記オブジェクトレンダラ(120)は、前記再生環境の前記スピーカの各々のスピーカ位置にさらに応じて前記スピーカ信号を生成するように構成されている請求項4に記載の装置。
[請求項6]
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成され、前記第1の位置は3次元空間内の前記第1の位置を示し、前記第2の位置は前記3次元空間内の前記第2の位置を示す請求項1から5のいずれか一項に記載の装置。
[請求項7]
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置に応じて、かつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成され、前記第1の位置は第1の方位角、第1の仰角および第1の距離を示し、前記第2の位置は第2の方位角、第2の仰角および第2の距離を示す請求項6に記載の装置。
[請求項8]
前記オブジェクトメタデータプロセッサ(110)は、第1の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合、第2の指示をさらに含む前記メタデータを受信するように構成されており、前記第2の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第2の指示が指示する場合、前記第2の位置が前記スクリーンのスクリーン領域上の第1の値をとるように、前記オーディオオブジェクトの前記第1の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成されている請求項1から7のいずれか一項に記載の装置。
[請求項9]
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記オンスクリーンオブジェクトでないことを前記第2の指示が指示する場合、スクリーン領域にあるかないかのいずれかである第2の値を前記第2の位置がとるように、前記オーディオオブジェクトの前記第1の位置に応じてかつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成されている、請求項8に記載の装置。
[請求項10]
前記オブジェクトメタデータプロセッサ(110)は、第1の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合に、第2の指示をさらに含む、前記メタデータを受信するように構成されており、前記第2の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第2の指示が指示する場合、前記オーディオオブジェクトの前記第1の位置、前記スクリーンの前記サイズ、および、マッピング曲線としての第1のマッピング曲線に応じて前記オーディオオブジェクトの前記第2の位置を計算するように構成されており、前記第1のマッピング曲線は、第1の値間隔における元のオブジェクト位置の、第2の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがオンスクリーンオブジェクトでないことを前記第2の指示が指示する場合、前記オーディオオブジェクトの前記第1の位置、前記スクリーンの前記サイズ、および、前記マッピング曲線としての第2のマッピング曲線に応じて前記オーディオオブジェクトの前記第2の位置を計算するように構成されており、前記第2のマッピング曲線は、前記第1の値間隔における元のオブジェクト位置の、第3の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、前記第2の値間隔は前記第3の値間隔によって含まれ、前記第2の値間隔は前記第3の値間隔よりも小さい請求項1から7のいずれか一項に記載の装置。
[請求項11]
前記第1の値間隔、前記第2の値間隔および前記第3の値間隔は、方位角の値間隔であるか、または
前記第1の値間隔、前記第2の値間隔および前記第3の値間隔は仰角の値間隔である請求項10に記載の装置。
[請求項12]
前記オブジェクトメタデータプロセッサ(110)は、第1の線形マッピング関数および第2の線形マッピング関数の少なくとも1つに応じて前記オーディオオブジェクトの前記第2の位置を計算するように構成されており、
前記第1の線形マッピング関数は、第1の方位角値を第2の方位角値にマッピングするように定義されており、
前記第2の線形マッピング関数は、第1の仰角値を第2の仰角値にマッピングするように定義されており、
は方位角スクリーン左端基準を示し、
は方位角スクリーン右端基準を示し、
は仰角スクリーン上端基準を示し、
は仰角スクリーン下端基準を示し、
は前記スクリーンの方位角スクリーン左端を示し、
は前記スクリーンの方位角スクリーン右端を示し、
は前記スクリーンの仰角スクリーン上端を示し、
は前記スクリーンの仰角スクリーン下端を示し、
は前記第1の方位角値を示し、
は前記第2の方位角値を示し、
θは前記第1の仰角値を示し、
θ’は前記第2の仰角値を示し、
前記第2の方位角値
は、以下の式に従って前記第1の線形マッピング関数による前記第1の方位角値
の第1のマッピングからもたらされ、
前記第2の仰角値θ’は、以下の式に従って前記第2の線形マッピング関数による前記第1の仰角値θの第2のマッピングからもたらされる請求項1から11のいずれか一項に記載の装置。
[請求項13]
復号器デバイスであって、
1つまたは複数のオーディオ入力チャネルを取得し、1つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、1つまたは複数のSAOCトランスポートチャネルを取得するためにビットストリームを復号するためのUSAC復号器(910)と、
1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループを取得するために前記1つまたは複数のSAOCトランスポートチャネルを復号するためのSAOC復号器(915)と、
請求項1から12のいずれか一項に記載の装置(917)であって、
請求項1から12のいずれか一項に記載の装置の前記オブジェクトメタデータプロセッサ(110)であり、前記圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器(918)、及び
前記非圧縮メタデータに応じて前記1つまたは複数の入力オーディオオブジェクトをレンダリングして、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループを取得するための、請求項1から12のいずれか一項に記載の装置の前記オブジェクトレンダラ(920;120)を有する装置(917)と、
1つまたは複数の変換済みチャネルを取得するために前記1つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器(922)と、
1つまたは複数の復号オーディオチャネルを取得するために、前記1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループの前記1つまたは複数のオーディオオブジェクト、前記1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループの前記1つまたは複数のオーディオオブジェクト、および、1つまたは複数の変換済みオーディオチャネルを混合するための混合器(930)と、
を備えた復号器デバイス。
[請求項14]
スピーカ信号を生成するための方法であって、
オーディオオブジェクトを受信するステップと、
前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するステップと、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置およびスクリーンのサイズに応じて、前記オーディオオブジェクトの第2の位置を計算するステップと、
前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するステップと、を含み、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第1の位置であり、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第2の位置である方法。
[請求項15]
コンピュータまたは信号プロセッサ上で実行されるときに請求項14に記載の方法を実施するためのコンピュータプログラム。
[請求項1]
スピーカ信号を生成するための装置であって、
オブジェクトメタデータプロセッサ(110)と、
オブジェクトレンダラ(120)と、を備え、
前記オブジェクトレンダラ(120)は、オーディオオブジェクトを受信するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含むとともに前記オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置に応じて、かつスクリーンのサイズに応じて、前記オーディオオブジェクトの第2の位置を計算するように構成されており、
前記オブジェクトレンダラ(120)は、前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第1の位置を前記位置情報として前記オブジェクトレンダラ(120)に供給するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第2の位置を前記位置情報として前記オブジェクトレンダラ(120)に供給するように構成されている装置。
[請求項2]
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第2の位置を計算しないように構成されている請求項1に記載の装置。
[請求項3]
前記オブジェクトレンダラ(120)は、前記位置情報が前記オーディオオブジェクトの前記第1の位置または前記オーディオオブジェクトの前記第2の位置であるかを決定しないように構成されている請求項1または2に記載の装置。
[請求項4]
前記オブジェクトレンダラ(120)はさらに再生環境の前記スピーカの数に応じて前記スピーカ信号を生成するように構成されている請求項1から3のいずれか一項に記載の装置。
[請求項5]
前記オブジェクトレンダラ(120)は、前記再生環境の前記スピーカの各々のスピーカ位置にさらに応じて前記スピーカ信号を生成するように構成されている請求項4に記載の装置。
[請求項6]
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成され、前記第1の位置は3次元空間内の前記第1の位置を示し、前記第2の位置は前記3次元空間内の前記第2の位置を示す請求項1から5のいずれか一項に記載の装置。
[請求項7]
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置に応じて、かつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成され、前記第1の位置は第1の方位角、第1の仰角および第1の距離を示し、前記第2の位置は第2の方位角、第2の仰角および第2の距離を示す請求項6に記載の装置。
[請求項8]
前記オブジェクトメタデータプロセッサ(110)は、第1の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合、第2の指示をさらに含む前記メタデータを受信するように構成されており、前記第2の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第2の指示が指示する場合、前記第2の位置が前記スクリーンのスクリーン領域上の第1の値をとるように、前記オーディオオブジェクトの前記第1の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成されている請求項1から7のいずれか一項に記載の装置。
[請求項9]
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記オンスクリーンオブジェクトでないことを前記第2の指示が指示する場合、スクリーン領域にあるかないかのいずれかである第2の値を前記第2の位置がとるように、前記オーディオオブジェクトの前記第1の位置に応じてかつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成されている、請求項8に記載の装置。
[請求項10]
前記オブジェクトメタデータプロセッサ(110)は、第1の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合に、第2の指示をさらに含む、前記メタデータを受信するように構成されており、前記第2の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第2の指示が指示する場合、前記オーディオオブジェクトの前記第1の位置、前記スクリーンの前記サイズ、および、マッピング曲線としての第1のマッピング曲線に応じて前記オーディオオブジェクトの前記第2の位置を計算するように構成されており、前記第1のマッピング曲線は、第1の値間隔における元のオブジェクト位置の、第2の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがオンスクリーンオブジェクトでないことを前記第2の指示が指示する場合、前記オーディオオブジェクトの前記第1の位置、前記スクリーンの前記サイズ、および、前記マッピング曲線としての第2のマッピング曲線に応じて前記オーディオオブジェクトの前記第2の位置を計算するように構成されており、前記第2のマッピング曲線は、前記第1の値間隔における元のオブジェクト位置の、第3の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、前記第2の値間隔は前記第3の値間隔によって含まれ、前記第2の値間隔は前記第3の値間隔よりも小さい請求項1から7のいずれか一項に記載の装置。
[請求項11]
前記第1の値間隔、前記第2の値間隔および前記第3の値間隔は、方位角の値間隔であるか、または
前記第1の値間隔、前記第2の値間隔および前記第3の値間隔は仰角の値間隔である請求項10に記載の装置。
[請求項12]
前記オブジェクトメタデータプロセッサ(110)は、第1の線形マッピング関数および第2の線形マッピング関数の少なくとも1つに応じて前記オーディオオブジェクトの前記第2の位置を計算するように構成されており、
前記第1の線形マッピング関数は、第1の方位角値を第2の方位角値にマッピングするように定義されており、
前記第2の線形マッピング関数は、第1の仰角値を第2の仰角値にマッピングするように定義されており、
は方位角スクリーン左端基準を示し、
は方位角スクリーン右端基準を示し、
は仰角スクリーン上端基準を示し、
は仰角スクリーン下端基準を示し、
は前記スクリーンの方位角スクリーン左端を示し、
は前記スクリーンの方位角スクリーン右端を示し、
は前記スクリーンの仰角スクリーン上端を示し、
は前記スクリーンの仰角スクリーン下端を示し、
は前記第1の方位角値を示し、
は前記第2の方位角値を示し、
θは前記第1の仰角値を示し、
θ’は前記第2の仰角値を示し、
前記第2の方位角値
は、以下の式に従って前記第1の線形マッピング関数による前記第1の方位角値
の第1のマッピングからもたらされ、
前記第2の仰角値θ’は、以下の式に従って前記第2の線形マッピング関数による前記第1の仰角値θの第2のマッピングからもたらされる請求項1から11のいずれか一項に記載の装置。
[請求項13]
復号器デバイスであって、
1つまたは複数のオーディオ入力チャネルを取得し、1つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、1つまたは複数のSAOCトランスポートチャネルを取得するためにビットストリームを復号するためのUSAC復号器(910)と、
1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループを取得するために前記1つまたは複数のSAOCトランスポートチャネルを復号するためのSAOC復号器(915)と、
請求項1から12のいずれか一項に記載の装置(917)であって、
請求項1から12のいずれか一項に記載の装置の前記オブジェクトメタデータプロセッサ(110)であり、前記圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器(918)、及び
前記非圧縮メタデータに応じて前記1つまたは複数の入力オーディオオブジェクトをレンダリングして、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループを取得するための、請求項1から12のいずれか一項に記載の装置の前記オブジェクトレンダラ(920;120)を有する装置(917)と、
1つまたは複数の変換済みチャネルを取得するために前記1つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器(922)と、
1つまたは複数の復号オーディオチャネルを取得するために、前記1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループの前記1つまたは複数のオーディオオブジェクト、前記1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループの前記1つまたは複数のオーディオオブジェクト、および、1つまたは複数の変換済みオーディオチャネルを混合するための混合器(930)と、
を備えた復号器デバイス。
[請求項14]
スピーカ信号を生成するための方法であって、
オーディオオブジェクトを受信するステップと、
前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するステップと、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置およびスクリーンのサイズに応じて、前記オーディオオブジェクトの第2の位置を計算するステップと、
前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するステップと、を含み、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第1の位置であり、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第2の位置である方法。
[請求項15]
コンピュータまたは信号プロセッサ上で実行されるときに請求項14に記載の方法を実施するためのコンピュータプログラム。
Claims (15)
- スピーカ信号を生成するための装置であって、
オブジェクトメタデータプロセッサ(110)と、
オブジェクトレンダラ(120)と、を備え、
前記オブジェクトレンダラ(120)は、オーディオオブジェクトを受信するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含むとともに前記オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置に応じて、かつスクリーンのサイズに応じて、前記オーディオオブジェクトの第2の位置を計算するように構成されており、
前記オブジェクトレンダラ(120)は、前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第1の位置を前記位置情報として前記オブジェクトレンダラ(120)に供給するように構成されており、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第2の位置を前記位置情報として前記オブジェクトレンダラ(120)に供給するように構成されている装置。 - 前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第2の位置を計算しないように構成されている請求項1に記載の装置。
- 前記オブジェクトレンダラ(120)は、前記位置情報が前記オーディオオブジェクトの前記第1の位置または前記オーディオオブジェクトの前記第2の位置であるかを決定しないように構成されている請求項1または2に記載の装置。
- 前記オブジェクトレンダラ(120)はさらに再生環境の前記スピーカの数に応じて前記スピーカ信号を生成するように構成されている請求項1から3のいずれか一項に記載の装置。
- 前記オブジェクトレンダラ(120)は、前記再生環境の前記スピーカの各々のスピーカ位置にさらに応じて前記スピーカ信号を生成するように構成されている請求項4に記載の装置。
- 前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成され、前記第1の位置は3次元空間内の前記第1の位置を示し、前記第2の位置は前記3次元空間内の前記第2の位置を示す請求項1から5のいずれか一項に記載の装置。
- 前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置に応じて、かつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成され、前記第1の位置は第1の方位角、第1の仰角および第1の距離を示し、前記第2の位置は第2の方位角、第2の仰角および第2の距離を示す請求項6に記載の装置。
- 前記オブジェクトメタデータプロセッサ(110)は、第1の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合、第2の指示をさらに含む前記メタデータを受信するように構成されており、前記第2の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第2の指示が指示する場合、前記第2の位置が前記スクリーンのスクリーン領域上の第1の値をとるように、前記オーディオオブジェクトの前記第1の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成されている請求項1から7のいずれか一項に記載の装置。 - 前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトが前記オンスクリーンオブジェクトでないことを前記第2の指示が指示する場合、スクリーン領域にあるかないかのいずれかである第2の値を前記第2の位置がとるように、前記オーディオオブジェクトの前記第1の位置に応じてかつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第2の位置を計算するように構成されている、請求項8に記載の装置。
- 前記オブジェクトメタデータプロセッサ(110)は、第1の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合に、第2の指示をさらに含む、前記メタデータを受信するように構成されており、前記第2の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第2の指示が指示する場合、前記オーディオオブジェクトの前記第1の位置、前記スクリーンの前記サイズ、および、マッピング曲線としての第1のマッピング曲線に応じて前記オーディオオブジェクトの前記第2の位置を計算するように構成されており、前記第1のマッピング曲線は、第1の値間隔における元のオブジェクト位置の、第2の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、
前記オブジェクトメタデータプロセッサ(110)は、前記オーディオオブジェクトがオンスクリーンオブジェクトでないことを前記第2の指示が指示する場合、前記オーディオオブジェクトの前記第1の位置、前記スクリーンの前記サイズ、および、前記マッピング曲線としての第2のマッピング曲線に応じて前記オーディオオブジェクトの前記第2の位置を計算するように構成されており、前記第2のマッピング曲線は、前記第1の値間隔における元のオブジェクト位置の、第3の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、前記第2の値間隔は前記第3の値間隔によって含まれ、前記第2の値間隔は前記第3の値間隔よりも小さい請求項1から7のいずれか一項に記載の装置。 - 前記第1の値間隔、前記第2の値間隔および前記第3の値間隔は、方位角の値間隔であるか、または
前記第1の値間隔、前記第2の値間隔および前記第3の値間隔は仰角の値間隔である請求項10に記載の装置。 - 前記オブジェクトメタデータプロセッサ(110)は、第1の線形マッピング関数および第2の線形マッピング関数の少なくとも1つに応じて前記オーディオオブジェクトの前記第2の位置を計算するように構成されており、
前記第1の線形マッピング関数は、第1の方位角値を第2の方位角値にマッピングするように定義されており、
前記第2の線形マッピング関数は、第1の仰角値を第2の仰角値にマッピングするように定義されており、
は方位角スクリーン左端基準を示し、
は方位角スクリーン右端基準を示し、
は仰角スクリーン上端基準を示し、
は仰角スクリーン下端基準を示し、
は前記スクリーンの方位角スクリーン左端を示し、
は前記スクリーンの方位角スクリーン右端を示し、
は前記スクリーンの仰角スクリーン上端を示し、
は前記スクリーンの仰角スクリーン下端を示し、
は前記第1の方位角値を示し、
は前記第2の方位角値を示し、
θは前記第1の仰角値を示し、
θ’は前記第2の仰角値を示し、
前記第2の方位角値
は、以下の式に従って前記第1の線形マッピング関数による前記第1の方位角値
の第1のマッピングからもたらされ、
前記第2の仰角値θ’は、以下の式に従って前記第2の線形マッピング関数による前記第1の仰角値θの第2のマッピングからもたらされる請求項1から11のいずれか一項に記載の装置。
- 復号器デバイスであって、
1つまたは複数のオーディオ入力チャネルを取得し、1つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、1つまたは複数のSAOCトランスポートチャネルを取得するためにビットストリームを復号するためのUSAC復号器(910)と、
1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループを取得するために前記1つまたは複数のSAOCトランスポートチャネルを復号するためのSAOC復号器(915)と、
請求項1から12のいずれか一項に記載の装置(917)であって、
請求項1から12のいずれか一項に記載の装置の前記オブジェクトメタデータプロセッサ(110)であり、前記圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器(918)、及び
前記非圧縮メタデータに応じて前記1つまたは複数の入力オーディオオブジェクトをレンダリングして、1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループを取得するための、請求項1から12のいずれか一項に記載の装置の前記オブジェクトレンダラ(920;120)を有する装置(917)と、
1つまたは複数の変換済みチャネルを取得するために前記1つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器(922)と、
1つまたは複数の復号オーディオチャネルを取得するために、前記1つまたは複数のレンダリングされたオーディオオブジェクトから成る第1のグループの前記1つまたは複数のオーディオオブジェクト、前記1つまたは複数のレンダリングされたオーディオオブジェクトから成る第2のグループの前記1つまたは複数のオーディオオブジェクト、および、1つまたは複数の変換済みオーディオチャネルを混合するための混合器(930)と、
を備えた復号器デバイス。 - スピーカ信号を生成するための方法であって、
オーディオオブジェクトを受信するステップと、
前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトの第1の位置をさらに含むメタデータを受信するステップと、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第1の位置およびスクリーンのサイズに応じて、前記オーディオオブジェクトの第2の位置を計算するステップと、
前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するステップと、を含み、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第1の位置であり、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第2の位置である方法。 - コンピュータまたは信号プロセッサ上で実行されるときに請求項14に記載の方法を実施するためのコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14161819 | 2014-03-26 | ||
EP14161819.9 | 2014-03-26 | ||
EP14196769.5A EP2928216A1 (en) | 2014-03-26 | 2014-12-08 | Apparatus and method for screen related audio object remapping |
EP14196769.5 | 2014-12-08 | ||
JP2020118271A JP2020182227A (ja) | 2014-03-26 | 2020-07-09 | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020118271A Division JP2020182227A (ja) | 2014-03-26 | 2020-07-09 | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023175947A true JP2023175947A (ja) | 2023-12-12 |
Family
ID=52015948
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016559292A Active JP6422995B2 (ja) | 2014-03-26 | 2015-03-25 | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
JP2018194721A Active JP6734343B2 (ja) | 2014-03-26 | 2018-10-16 | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
JP2020118271A Pending JP2020182227A (ja) | 2014-03-26 | 2020-07-09 | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
JP2023174101A Pending JP2023175947A (ja) | 2014-03-26 | 2023-10-06 | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016559292A Active JP6422995B2 (ja) | 2014-03-26 | 2015-03-25 | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
JP2018194721A Active JP6734343B2 (ja) | 2014-03-26 | 2018-10-16 | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
JP2020118271A Pending JP2020182227A (ja) | 2014-03-26 | 2020-07-09 | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
Country Status (19)
Country | Link |
---|---|
US (4) | US10192563B2 (ja) |
EP (4) | EP2928216A1 (ja) |
JP (4) | JP6422995B2 (ja) |
KR (1) | KR101920356B1 (ja) |
CN (2) | CN106463128B (ja) |
AR (1) | AR099835A1 (ja) |
AU (1) | AU2015238354B2 (ja) |
BR (1) | BR112016022045B1 (ja) |
CA (1) | CA2943570C (ja) |
ES (2) | ES2723965T3 (ja) |
FI (1) | FI3487189T3 (ja) |
MX (1) | MX355455B (ja) |
MY (1) | MY184715A (ja) |
PL (2) | PL3123741T3 (ja) |
PT (2) | PT3123741T (ja) |
RU (1) | RU2683380C2 (ja) |
SG (1) | SG11201607953TA (ja) |
TW (1) | TWI595785B (ja) |
WO (1) | WO2015144766A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2830051A3 (en) | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
EP2928216A1 (en) | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
US9940937B2 (en) * | 2014-10-10 | 2018-04-10 | Qualcomm Incorporated | Screen related adaptation of HOA content |
CN106797499A (zh) | 2014-10-10 | 2017-05-31 | 索尼公司 | 编码装置和方法、再现装置和方法以及程序 |
CN106303897A (zh) * | 2015-06-01 | 2017-01-04 | 杜比实验室特许公司 | 处理基于对象的音频信号 |
CN107615767B (zh) | 2015-06-02 | 2021-05-25 | 索尼公司 | 发送装置、发送方法、媒体处理装置、媒体处理方法以及接收装置 |
CN113055801B (zh) * | 2015-07-16 | 2023-04-07 | 索尼公司 | 信息处理装置、信息处理方法及计算机可读介质 |
DE102015220595A1 (de) * | 2015-10-22 | 2017-04-27 | Robert Bosch Gmbh | Batteriezelle mit teilweise flexibel formbarer Wandung |
WO2017087564A1 (en) * | 2015-11-20 | 2017-05-26 | Dolby Laboratories Licensing Corporation | System and method for rendering an audio program |
US9854375B2 (en) * | 2015-12-01 | 2017-12-26 | Qualcomm Incorporated | Selection of coded next generation audio data for transport |
JP2019518373A (ja) | 2016-05-06 | 2019-06-27 | ディーティーエス・インコーポレイテッドDTS,Inc. | 没入型オーディオ再生システム |
BR112018074203A2 (pt) * | 2016-05-30 | 2019-05-14 | Sony Corporation | dispositivo e método de processamento audiovisual, e, programa |
US10979844B2 (en) | 2017-03-08 | 2021-04-13 | Dts, Inc. | Distributed audio virtualization systems |
US10972859B2 (en) * | 2017-04-13 | 2021-04-06 | Sony Corporation | Signal processing apparatus and method as well as program |
EP3618463A4 (en) * | 2017-04-25 | 2020-04-29 | Sony Corporation | SIGNAL PROCESSING DEVICE, METHOD AND PROGRAM |
US10986457B2 (en) * | 2017-07-09 | 2021-04-20 | Lg Electronics Inc. | Method and device for outputting audio linked with video screen zoom |
CN111133775B (zh) * | 2017-09-28 | 2021-06-08 | 株式会社索思未来 | 音响信号处理装置以及音响信号处理方法 |
WO2019149337A1 (en) | 2018-01-30 | 2019-08-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs |
CN111801952A (zh) * | 2018-03-08 | 2020-10-20 | 索尼公司 | 信息处理装置、信息处理方法、信息处理系统和程序 |
KR102637876B1 (ko) | 2018-04-10 | 2024-02-20 | 가우디오랩 주식회사 | 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치 |
KR20210030279A (ko) * | 2018-07-04 | 2021-03-17 | 소니 주식회사 | 정보 처리 장치 및 방법, 그리고 프로그램 |
GB2577698A (en) * | 2018-10-02 | 2020-04-08 | Nokia Technologies Oy | Selection of quantisation schemes for spatial audio parameter encoding |
WO2021186104A1 (en) * | 2020-03-16 | 2021-09-23 | Nokia Technologies Oy | Rendering encoded 6dof audio bitstream and late updates |
US11743670B2 (en) * | 2020-12-18 | 2023-08-29 | Qualcomm Incorporated | Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications |
GB202118094D0 (en) * | 2021-12-14 | 2022-01-26 | Nokia Technologies Oy | A method and apparatus for AR scene modification |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030007648A1 (en) * | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
DE10154932B4 (de) | 2001-11-08 | 2008-01-03 | Grundig Multimedia B.V. | Verfahren zur Audiocodierung |
DE10305820B4 (de) | 2003-02-12 | 2006-06-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition |
US7606372B2 (en) * | 2003-02-12 | 2009-10-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for determining a reproduction position |
US7548657B2 (en) * | 2005-06-25 | 2009-06-16 | General Electric Company | Adaptive video compression of graphical user interfaces using application metadata |
JP5174527B2 (ja) * | 2008-05-14 | 2013-04-03 | 日本放送協会 | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
CN102099854B (zh) * | 2008-07-15 | 2012-11-28 | Lg电子株式会社 | 处理音频信号的方法和装置 |
KR101387902B1 (ko) | 2009-06-10 | 2014-04-22 | 한국전자통신연구원 | 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더 |
CN102549655B (zh) * | 2009-08-14 | 2014-09-24 | Dts有限责任公司 | 自适应成流音频对象的系统 |
ES2644520T3 (es) * | 2009-09-29 | 2017-11-29 | Dolby International Ab | Decodificador de señal de audio MPEG-SAOC, método para proporcionar una representación de señal de mezcla ascendente usando decodificación MPEG-SAOC y programa informático usando un valor de parámetro de correlación inter-objeto común dependiente del tiempo/frecuencia |
CN116419138A (zh) * | 2010-03-23 | 2023-07-11 | 杜比实验室特许公司 | 音频再现方法和声音再现系统 |
EP2450880A1 (en) | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
AR088777A1 (es) * | 2011-03-18 | 2014-07-10 | Fraunhofer Ges Forschung | Transmision de longitud de elemento de cuadro en la codificacion de audio |
AU2012279349B2 (en) * | 2011-07-01 | 2016-02-18 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3D audio authoring and rendering |
HUE054452T2 (hu) * | 2011-07-01 | 2021-09-28 | Dolby Laboratories Licensing Corp | Rendszer és eljárás adaptív hangjel elõállítására, kódolására és renderelésére |
EP2637427A1 (en) * | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
EP2637327A1 (en) | 2012-03-09 | 2013-09-11 | Harman International Industries Ltd. | Audio mixing console with lighting control and method of mixing by means of a mixing console |
US9190065B2 (en) * | 2012-07-15 | 2015-11-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
US9479886B2 (en) * | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
WO2014032709A1 (en) * | 2012-08-29 | 2014-03-06 | Huawei Technologies Co., Ltd. | Audio rendering system |
EP2928216A1 (en) * | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
-
2014
- 2014-12-08 EP EP14196769.5A patent/EP2928216A1/en not_active Withdrawn
-
2015
- 2015-03-16 TW TW104108296A patent/TWI595785B/zh active
- 2015-03-25 BR BR112016022045-5A patent/BR112016022045B1/pt active IP Right Grant
- 2015-03-25 RU RU2016141642A patent/RU2683380C2/ru active
- 2015-03-25 MY MYPI2016001725A patent/MY184715A/en unknown
- 2015-03-25 PL PL15716439T patent/PL3123741T3/pl unknown
- 2015-03-25 ES ES15716439T patent/ES2723965T3/es active Active
- 2015-03-25 KR KR1020167029805A patent/KR101920356B1/ko active IP Right Grant
- 2015-03-25 EP EP18248305.7A patent/EP3487189B1/en active Active
- 2015-03-25 EP EP23167354.2A patent/EP4254988A3/en active Pending
- 2015-03-25 EP EP15716439.3A patent/EP3123741B1/en active Active
- 2015-03-25 AR ARP150100877A patent/AR099835A1/es active IP Right Grant
- 2015-03-25 PT PT15716439T patent/PT3123741T/pt unknown
- 2015-03-25 AU AU2015238354A patent/AU2015238354B2/en active Active
- 2015-03-25 FI FIEP18248305.7T patent/FI3487189T3/fi active
- 2015-03-25 WO PCT/EP2015/056417 patent/WO2015144766A1/en active Application Filing
- 2015-03-25 JP JP2016559292A patent/JP6422995B2/ja active Active
- 2015-03-25 PL PL18248305.7T patent/PL3487189T3/pl unknown
- 2015-03-25 SG SG11201607953TA patent/SG11201607953TA/en unknown
- 2015-03-25 CN CN201580026227.6A patent/CN106463128B/zh active Active
- 2015-03-25 CA CA2943570A patent/CA2943570C/en active Active
- 2015-03-25 MX MX2016012286A patent/MX355455B/es active IP Right Grant
- 2015-03-25 CN CN202010076120.5A patent/CN111276153B/zh active Active
- 2015-03-25 PT PT182483057T patent/PT3487189T/pt unknown
- 2015-03-25 ES ES18248305T patent/ES2953685T3/es active Active
-
2016
- 2016-09-23 US US15/274,310 patent/US10192563B2/en active Active
-
2018
- 2018-10-16 JP JP2018194721A patent/JP6734343B2/ja active Active
- 2018-12-28 US US16/236,079 patent/US10854213B2/en active Active
-
2020
- 2020-07-09 JP JP2020118271A patent/JP2020182227A/ja active Pending
- 2020-11-17 US US16/950,768 patent/US11527254B2/en active Active
-
2022
- 2022-11-18 US US18/057,188 patent/US11900955B2/en active Active
-
2023
- 2023-10-06 JP JP2023174101A patent/JP2023175947A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6734343B2 (ja) | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 | |
KR102127955B1 (ko) | 고차 앰비소닉 오디오 신호의 재생 방법 및 장치 | |
AU2016202227B2 (en) | System and Method for Adaptive Audio Signal Generation, Coding and Rendering | |
KR20240082323A (ko) | 고차 앰비소닉 오디오 신호의 재생 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231117 |