JP2019036987A - スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 - Google Patents

スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 Download PDF

Info

Publication number
JP2019036987A
JP2019036987A JP2018194721A JP2018194721A JP2019036987A JP 2019036987 A JP2019036987 A JP 2019036987A JP 2018194721 A JP2018194721 A JP 2018194721A JP 2018194721 A JP2018194721 A JP 2018194721A JP 2019036987 A JP2019036987 A JP 2019036987A
Authority
JP
Japan
Prior art keywords
screen
audio
metadata
audio object
azimuth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018194721A
Other languages
English (en)
Other versions
JP6734343B2 (ja
Inventor
ジモーネ・フュグ
Fueg Simone
ヤン・プログスティエス
Plogsties Jan
ザッシャ・ディック
Dick Sascha
ヨハネス・ヒルパート
Hilpert Johannes
ユリアン・ロビリアード
Robilliard Julien
アキーム・クンツ
Kuntz Achim
アンドレアス・ホェルツァー
Hoelzer Andreas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JP2019036987A publication Critical patent/JP2019036987A/ja
Application granted granted Critical
Publication of JP6734343B2 publication Critical patent/JP6734343B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】スピーカ信号を生成するための装置が提供される。
【解決手段】オーディオオブジェクトをリマッピングする装置は、オブジェクトメタデータプロセッサ（１１０）と、オブジェクトレンダラ（１２０）とを備える。オブジェクトレンダラ（１２０）は、オーディオオブジェクトを受信するように構成されている。オブジェクトメタデータプロセッサ（１１０）は、オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含んだオーディオオブジェクトの第１の位置をさらに含むメタデータを受信する。オブジェクトメタデータプロセッサ（１１０）は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算する。
【選択図】図１

Description

本発明は、オーディオ信号処理に関し、特に、オーディオオブジェクトリマッピングのための装置および方法、より詳細には、スクリーン関連オーディオオブジェクトリマッピングのための装置および方法に関する。
日常生活におけるマルチメディアコンテンツ消費の増大にともなって、洗練されたマルチメディアソリューションに対する需要が絶えず増大している。この側面において、視覚コンテンツおよびオーディオコンテンツを統合することが、重要な役割を果たす。視覚およびオーディオマルチメディアコンテンツを利用可能な視覚およびオーディオ再生設定に最適に調整することが望ましい。
現行の技術水準において、オーディオオブジェクトは既に知られている。オーディオオブジェクトは、たとえば、関連付けられるメタデータを有する音声トラックと考えることができる。メタデータは、たとえば、未処理のオーディオデータの特性、たとえば、所望の再生位置または音量レベルを記述することができる。オブジェクトベースのオーディオの利点は、再生側の特定のレンダリング処理によって、すべての再生スピーカレイアウトにとって可能な最良の様式で所定の動きを再生することができることである。
幾何学的メタデータを使用して、オーディオオブジェクトがどこでレンダリングされるべきか、たとえば、基準点、たとえば聴き手に対する方位角もしくは仰角または絶対位置を規定することができる。メタデータは、オブジェクトオーディオ信号とともに記憶され、または送信される。
第１０５回ＭＰＥＧ会合におけるＭＰＥＧ−Ｈのコンテキストにおいて、このオーディオグループは、複数の異なるアプリケーション規格の要件および時間線を検討した。その検討によれば、次世代ブロードキャストシステムのために特定の時点と特定の要件とを合わせることが不可欠である。それによれば、システムは、符号化器入力においてオーディオオブジェクトを受け入れることが可能であるべきである。その上、システムは、オーディオオブジェクトのシグナリング、送達およびレンダリングをサポートすべきであり、たとえば、対話強化、代替言語トラックおよびオーディオ記述言語について、ユーザがオブジェクトを制御することを可能にすべきである。
現行の技術水準において、種々の概念が提供されている。「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｐｌａｙｂａｃｋ ｏｆ ａ ｈｉｇｈｅｒ−ｏｒｄｅｒ ａｍｂｉｓｏｎｉｃｓ ａｕｄｉｏ ｓｉｇｎａｌ」（［１］参照）において提示されている第１の従来技術によれば、そのリンクされている視覚オブジェクトに対する空間音場指向オーディオの再生が、空間ワーピング処理を適用することによって適合される。その従来技術において、復号器は、スクリーンの方向にあるすべての音声オブジェクトが、標的スクリーンと基準スクリーンとのサイズ比に従って圧縮または伸張されるように、音場をワーピングする。コンテンツ再生に使用されるスクリーンの基準サイズ（または基準聴取位置からの視野角）をメタデータとして、コンテンツとともに符号化し送信する可能性が含まれている。代替的に、固定基準スクリーンサイズが符号化において、また復号のために仮定され、復号器には、標的スクリーンの実際のサイズが分かっている。この従来技術において、復号器は、スクリーンの方向にあるすべての音声オブジェクトが、標的スクリーンのサイズと基準スクリーンのサイズとの比に従って圧縮または伸張されるように、音場をワーピングする。いわゆる「２断片区分的線形」ワーピング関数が使用される。伸張は、音声アイテムの角度位置に限定される。その従来技術において、中心合わせされたスクリーンについて、ワーピング関数の定義は、スクリーン関連リマッピングのマッピング関数の定義と同様である。３断片区分的線形マッピング関数の第１の断片および第３の断片が、２断片区分的線形関数として定義され得る。しかしながら、その従来技術では、適用は空間領域におけるＨＯＡ（ＨＯＡ＝高次アンビソニックス）（音場指向）信号に限定される。その上、ワーピング関数は、基準スクリーンと再生スクリーンとの比に依存するのみであり、中心合わせされていないスクリーンに関する定義は与えられていない。
別の従来技術である「Ｖｏｒｒｉｃｈｔｕｎｇ ｕｎｄ Ｖｅｒｆａｈｒｅｎ ｚｕｍ Ｂｅｓｔｉｍｍｅｎ ｅｉｎｅｒ Ｗｉｅｄｅｒｇａｂｅ−ｐｏｓｉｔｉｏｎ」（［２］参照）において、音源の位置をビデオ再生に適合させるための方法が記載されている。音源の再生位置は、基準位置に対する方向および距離、ならびに、カメラパラメータに応じて、各音声オブジェクトについて個々に決定される。その従来技術はまた、固定基準サイズを有するスクリーンが仮定されていることも記載している。シーンを基準スクリーンよりも大きいまたは小さい再生スクリーンに適合させるために、（デカルト座標における）すべての位置パラメータの線形スケーリングが実行される。しかしながら、その従来技術によれば、物理的なカメラおよび投影パラメータを組み込むことは複雑であり、そのようなパラメータは常に利用可能であるとは限らない。その上、その従来技術の方法はデカルト座標（ｘ，ｙ，ｚ）において作用し、そのため、シーンスケーリングによってオブジェクトの位置だけでなく距離も変化する。さらに、この従来技術は、角座標における相対スクリーンサイズ（開口角、視野角）の変化に対してオブジェクトの位置を適合させることには適用可能ではない。
さらなる従来技術である「Ｖｅｒｆａｈｒｅｎ ｚｕｒ Ａｕｄｉｏｃｏｄｉｅｒｕｎｇ」（［３］参照）において、現在の（時間とともに変化する）水平および垂直の視野角をデータストリーム（元のシーンにおける聴き手の位置に関する基準視野角）内で送信することを含む方法が記載されている。再生側において、再生のサイズおよび位置が分析され、音声オブジェクトの再生が、基準スクリーンと一致するように個々に最適化される。
別の従来技術である「Ａｃｏｕｓｔｉｃａｌ Ｚｏｏｍｉｎｇ Ｂａｓｅｄ ｏｎ ａ ｐａｒａｍｅｔｒｉｃ Ｓｏｕｎｄ Ｆｉｅｌｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ」（［４］参照）において、視覚的シーンの移動に追従するオーディオレンダリング（「音響ズーム」）を可能にする方法が記載されている。音響ズーム処理は、仮想記録位置のシフトとして定義される。ズームアルゴリズムのシーンモデルが、すべての音源を、任意ではあるが固定された半径を有する円上に配置する。しかしながら、その従来技術の方法はＤｉｒＡＣパラメータ領域において作用し、距離および角度（到来方向）は変化され、マッピング関数は非線形であり、ズーム係数／パラメータに依存し、中心合わせされていないスクリーンはサポートされない。
［１］欧州特許出願公開第２０１２０３０５２７１号明細書 ［２］国際公開第２００４０７３３５２号パンフレット ［３］欧州特許出願公開第２００２００２４６４３号明細書
［４］「Ａｃｏｕｓｔｉｃａｌ Ｚｏｏｍｉｎｇ Ｂａｓｅｄ ｏｎ ａ Ｐａｒａｍｅｔｒｉｃ Ｓｏｕｎｄ Ｆｉｅｌｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ」http://www.aes.org/tmpFiles/elib/20140814/15417.pdf
本発明の目的は、既存のマルチメディア再生設定を利用したオーディオおよび視覚マルチメディアコンテンツ統合のための改善された概念を提供することである。本発明の目的は、請求項１による装置、請求項１３による復号器デバイス、請求項１４による方法、および、請求項１５によるコンピュータプログラムによって解決される。
オーディオオブジェクトリマッピングのための装置が提供される。装置は、オブジェクトメタデータプロセッサと、オブジェクトレンダラと、を備えている。オブジェクトレンダラは、オーディオオブジェクトを受信するように構成されている。オブジェクトメタデータプロセッサは、オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するように構成されている。その上、オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されている。オブジェクトレンダラは、オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するように構成されている。オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第１の位置を位置情報としてオブジェクトレンダラに供給するように構成されている。さらに、オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第２の位置を位置情報としてオブジェクトレンダラに供給するように構成されている。
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第２の位置を計算しないように構成されてもよい。
一実施形態において、オブジェクトレンダラは、たとえば、位置情報がオーディオオブジェクトの第１の位置またはオーディオオブジェクトの第２の位置であるかを決定しないように構成されてもよい。
一実施形態によれば、オブジェクトレンダラは、たとえば、再生環境のスピーカの数にさらに応じてスピーカ信号を生成するように構成されてもよい。
一実施形態において、オブジェクトレンダラは、たとえば、再生環境のスピーカの各々のスピーカ位置にさらに応じてスピーカ信号を生成するように構成されてもよい。
一実施形態によれば、オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されており、第１の位置は３次元空間内の第１の位置を示し、第２の位置は３次元空間内の第２の位置を示す。
一実施形態において、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１の位置は第１の方位角、第１の仰角および第１の距離を示し、第２の位置は第２の方位角、第２の仰角および第２の距離を示す。
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、第１の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含むメタデータを受信するように構成されてもよく、上記第２の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第２の指示が指示する場合、第２の位置がスクリーンのスクリーン領域上の第１の値をとるように、オーディオオブジェクトの第１の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよい。
一実施形態において、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第２の指示が指示する場合、第２の位置が第２の値（スクリーン領域にあるかないかのいずれかである）をとるように、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよい。
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、第１の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含むメタデータを受信するように構成されてもよく、上記第２の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第２の指示が指示する場合、オーディオオブジェクトの第１の位置、スクリーンのサイズ、および、マッピング曲線としての第１のマッピング曲線に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第２の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義する。その上、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第２の指示が指示する場合、オーディオオブジェクトの第１の位置、スクリーンのサイズ、および、マッピング曲線としての第２のマッピング曲線に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第２のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第３の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義し、上記第２の値間隔は第３の値間隔によって含まれ、上記第２の値間隔は上記第３の値間隔よりも小さい。
一実施形態において、第１の値間隔、第２の値間隔、および第３の値間隔の各々は、たとえば、方位角の値間隔であってもよく、第１の値間隔、第２の値間隔、および第３の値間隔の各々は、たとえば、仰角の値間隔であってもよい。
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、第１の線形マッピング関数および第２の線形マッピング関数の少なくとも一方に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１の線形マッピング関数は、第１の方位角値を第２の方位角値にマッピングするように定義されており、第２の線形マッピング関数は、第１の仰角値を第２の仰角値にマッピングするように定義されており、
Figure 2019036987
は方位角スクリーン左端基準を示し、
Figure 2019036987
は方位角スクリーン右端基準を示し、
Figure 2019036987
は仰角スクリーン上端基準を示し、
Figure 2019036987
は仰角スクリーン下端基準を示し、
Figure 2019036987
は前記スクリーンの方位角スクリーン左端を示し、
Figure 2019036987
は前記スクリーンの方位角スクリーン右端を示し、
Figure 2019036987
は前記スクリーンの仰角スクリーン上端を示し、
Figure 2019036987
は前記スクリーンの仰角スクリーン下端を示し、
Figure 2019036987
は前記第１の方位角値を示し、
Figure 2019036987
は第２の方位角値を示し、θは第１の仰角値を示し、θ'は第２の仰角値を示し、第２の方位角値
Figure 2019036987
は、たとえば、以下の式に従って第１の線形マッピング関数による第１の方位角値
Figure 2019036987
の第１のマッピングからもたらすことができ、
Figure 2019036987
第２の仰角値θ'は、たとえば、以下の式に従って第２の線形マッピング関数による第１の仰角値θの第２のマッピングからもたらすことができる。
Figure 2019036987
その上、復号器デバイスが提供される。復号器デバイスは、１つまたは複数のオーディオ入力チャネルを取得し、１つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、１つまたは複数のＳＡＯＣトランスポートチャネルを取得するためにビットストリームを復号するためのＵＳＡＣ復号器を備えている。さらに、復号器デバイスは、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループを取得するために１つまたは複数のＳＡＯＣトランスポートチャネルを復号するためのＳＡＯＣ復号器を備えている。その上、復号器デバイスは、上述した実施形態による装置を備えている。装置は、上述した実施形態による装置のオブジェクトメタデータプロセッサであり、かつ非圧縮メタデータを取得するために圧縮オブジェクトメタデータを復号するために実装されるオブジェクトメタデータ復号器を備え、装置は、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループを取得するために非圧縮メタデータに応じて、１つまたは複数の入力オーディオオブジェクトをレンダリングするための、上述した実施形態による装置のオブジェクトレンダラをさらに備えている。さらに、復号器デバイスは、１つまたは複数の変換済みチャネルを取得するために１つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器を備えている。その上、復号器デバイスは、１つまたは複数の復号オーディオチャネルを取得するために、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループの１つまたは複数のオーディオオブジェクト、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループの１つまたは複数のオーディオオブジェクト、および、１つまたは複数の変換済みチャネルを混合するための混合器を備えている。
さらに、スピーカ信号を生成するための方法が提供される。方法は、以下のステップを含む。
− オーディオオブジェクトを受信するステップ。
− オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するステップ。
− オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するステップ。
− オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するステップ。
オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、位置情報は、オーディオオブジェクトの第１の位置である。オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、位置情報は、オーディオオブジェクトの第２の位置である。
その上、コンピュータプログラムが提供される。コンピュータプログラムは、コンピュータまたは信号プロセッサ上で実行されるとき、上述した方法を実施するように構成されている。
一実施形態によるスピーカ信号を生成するための装置を示す図である。 一実施形態によるオブジェクトレンダラを示す図である。 一実施形態によるオブジェクトメタデータプロセッサを示す図である。 実施形態による方位角リマッピングを示す図である。 実施形態による仰角リマッピングを示す図である。 実施形態による方位角リマッピングを示す図である。 他の実施形態による仰角リマッピングを示す図である。 ３Ｄオーディオ復号器の概略図である。 一実施形態による３Ｄオーディオ復号器の概略図である。 フォーマット変換器の構造を示す図である。 一実施形態によるオブジェクトベースのオーディオのレンダリングを示す図である。 一実施形態によるオブジェクトメタデータプリプロセッサを示す図である。 一実施形態による方位角リマッピングを示す図である。 一実施形態による仰角のリマッピングを示す図である。 一実施形態による方位角のリマッピングを示す図である。 他の実施形態による仰角リマッピングを示す図である。 さらなる実施形態による仰角リマッピングを示す図である。
以下において、図面を参照して本発明の実施形態を詳細に説明する。
図１は、一実施形態によるオーディオオブジェクトリマッピングのための装置を示す。装置は、オブジェクトメタデータプロセッサ１１０と、オブジェクトレンダラ１２０と、を備えている。
オブジェクトレンダラ１２０は、オーディオオブジェクトを受信するように構成されている。
オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するように構成されている。その上、オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されている。
オブジェクトレンダラ１２０は、オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するように構成されている。
オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第１の位置を位置情報としてオブジェクトレンダラ１２０に供給するように構成されている。
さらに、オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第２の位置を位置情報としてオブジェクトレンダラ１２０に供給するように構成されている。
一実施形態によれば、オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第２の位置を計算しないように構成されてもよい。
一実施形態において、オブジェクトレンダラ１２０は、たとえば、位置情報がオーディオオブジェクトの第１の位置またはオーディオオブジェクトの第２の位置であるかを決定しないように構成されてもよい。
一実施形態によれば、オブジェクトレンダラ１２０は、たとえば、再生環境のスピーカの数にさらに応じてスピーカ信号を生成するように構成されてもよい。
一実施形態において、オブジェクトレンダラ１２０は、たとえば、再生環境のスピーカの各々のスピーカ位置にさらに応じてスピーカ信号を生成するように構成されてもよい。
一実施形態によれば、オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されており、第１の位置は３次元空間内の第１の位置を示し、第２の位置は３次元空間内の第２の位置を示す。
一実施形態において、オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１の位置は第１の方位角、第１の仰角および第１の距離を示し、第２の位置は第２の方位角、第２の仰角および第２の距離を示す。
一実施形態によれば、オブジェクトメタデータプロセッサ１１０は、たとえば、第１の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含むメタデータを受信するように構成されてもよく、上記第２の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第２の指示が指示する場合、第２の位置がスクリーンのスクリーン領域上の第１の値をとるように、オーディオオブジェクトの第１の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよい。
一実施形態において、オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第２の指示が指示する場合、第２の位置が、スクリーン領域にあるかないかのいずれかである第２の値
をとるように、オーディオオブジェクトの第１の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよい。
一実施形態によれば、オブジェクトメタデータプロセッサ１１０は、たとえば、第１の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含むメタデータを受信するように構成されてもよく、上記第２の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第２の指示が指示する場合、オーディオオブジェクトの第１の位置、スクリーンのサイズ、および、マッピング曲線としての第１のマッピング曲線に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第２の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義する。その上、オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第２の指示が指示する場合、オーディオオブジェクトの第１の位置、スクリーンのサイズ、および、マッピング曲線としての第２のマッピング曲線に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第２のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第３の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義し、上記第２の値間隔は第３の値間隔によって含まれ、上記第２の値間隔は上記第３の値間隔よりも小さい。
一実施形態において、第１の値間隔、第２の値間隔、および第３の値間隔の各々は、たとえば、方位角の値間隔であってもよく、第１の値間隔、第２の値間隔、および第３の値間隔の各々は、たとえば、仰角の値間隔であってもよい。
以下において、本発明の特定の実施形態および本発明の複数の実施形態の任意選択の特徴を説明する。
固定位置向けに意図されていないが、その位置が再生設定におけるスクリーンのサイズとともに変化することになるオーディオオブジェクト（３Ｄ空間における位置、たとえば、与えられている方位角、仰角および距離と関連付けられるオーディオ信号）が存在し得る。
オブジェクトがスクリーン関連として（たとえば、メタデータ内のフラグによって）シグナリングされる場合、その位置が、特定の規則に従ってスクリーンサイズに対してリマッピング／再計算される。
図２は、一実施形態によるオブジェクトレンダラを示す。
導入として、以下が留意される。
オブジェクトベースのオーディオフォーマットにおいて、メタデータは、オブジェクト信号とともに記憶または送信される。オーディオオブジェクトは、メタデータおよび再生環境に関する情報を使用して再生側でレンダリングされる。そのような情報は、たとえば、スピーカの数またはスクリーンのサイズである。
表１：例示的なメタデータ
Figure 2019036987
オブジェクトについて、幾何学的メタデータを使用して、オーディオオブジェクトがどのようにレンダリングされるべきか、たとえば、基準点、たとえば聴き手に対する方位角もしくは仰角または基準点、たとえば聴き手に対する絶対位置を規定することができる。レンダラは、幾何学的データならびに利用可能なスピーカおよびそれらのスピーカの位置に基づいて、スピーカ信号を計算する。
本発明による実施形態は、以下のように、上述から明らかになる。
スクリーン関連レンダリングを制御するために、追加のメタデータフィールドが、幾何学的メタデータをどのように解釈するかを制御する。
フィールドがＯＦＦに設定されている場合、幾何学的メタデータはレンダラによって、スピーカ信号を計算するために解釈される。
フィールドがＯＮに設定されている場合、幾何学的メタデータはレンダラによって、公称データから他の値へとマッピングされる。このリマッピングは、オブジェクトメタデータプロセッサに従うレンダラがオブジェクトメタデータの前処理について不可知であり、変化せずに動作するように、幾何学的メタデータに対して行われる。そのようなメタデータフィールドの例を、以下の表に与える。
表２：スクリーン関連レンダリングを制御するためのメタデータおよびそれらの意味：
Figure 2019036987
加えて、公称スクリーンサイズまたはオーディオコンテンツの再生中に使用されるスクリーンサイズが、メタデータ情報として送信され得る。
Figure 2019036987
以下の表は、メタデータがどのように効率的にコード化され得るかの例を提示する。
表３−一実施形態によるObjectMetadataConfig()の構文
Figure 2019036987
hasOnScreenObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する（位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン（onscreen）」であることを規定する。このフラグが１に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。代替形態によれば、フラグは使用されず、基準スクリーン角度が規定される。ScreenRelativeObject=1である場合、すべての角度がこの基準角度に対して相対的である。オーディオオブジェクトがスクリーン上にあると分かっている必要がある他の使用事例があり得る。
isScreenRelativeObjectに関連して、一実施形態によれば、２つの可能性があることが留意される、すなわち、位置をリマッピングするが、これは依然としてすべての値をとることができる（スクリーン相対的）、および、スクリーン領域上にある値のみを含むことができるようにリマッピングする（オンスクリーン）。
リマッピングは、ローカルスクリーンサイズを考慮に入れ、幾何学的メタデータのマッピングを実施するオブジェクトメタデータプロセッサにおいて行われる。
図３は、一実施形態によるオブジェクトメタデータプロセッサを示す。
スクリーン関連幾何学的メタデータ修正について、以下のことが言える。
情報isScreenRelativeObjectおよびisOnScreenObjectに応じて、スクリーン関連オーディオ要素をシグナリングするための以下の２つの可能性がある。
ａ）スクリーン相対的オーディオ要素
ｂ）オンスクリーンオーディオ要素
両方の事例において、オーディオ要素の位置データが、オブジェクトメタデータプロセッサによってリマッピングされる。その位置の元の方位角および仰角を、リマッピングされた方位角およびリマッピングされた仰角にマッピングする曲線が適用される。
基準は、メタデータ内の公称スクリーンサイズまたは仮定されるデフォルトスクリーンサイズである。
たとえば、ＩＴＵ−Ｒ ＲＥＣ−ＢＴ．２０２２（フラットパネルディスプレイ上のＳＤＴＶおよびＨＤＴＶテレビ画像の品質の主観的評価に関する一般的な観賞条件）において定義されている視野角を使用することができる。
これら２つのタイプのスクリーン関連の間の差は、リマッピング曲線の定義である。
事例ａ）において、リマッピングされた方位角は、−１８０°と１８０°との間の値をとることができ、リマッピングされた仰角は、−９０°と９０°との間の値をとることができる。曲線は、デフォルトの左端方位角とデフォルトの右端方位角との間の方位角値が所与のスクリーン左端と所与のスクリーン右端との間の間隔にマッピング（圧縮または伸張）されるように（したがって、仰角も同様に）定義される。全範囲の値がカバーされるように、他の方位角および仰角値がそれに従って圧縮または伸張される。
図４は、実施形態による方位角リマッピングを示す。
事例ｂ）において、リマッピングされる方位角および仰角は、スクリーン領域上の位置を記述する値（方位角（スクリーン左端） 方位角（リマッピングされた） 方位角（スクリーン右端）および仰角（スクリーン下端） 仰角（リマッピングされた） 仰角（スクリーン上端））のみをとることができる。
これらの範囲外の値を処理するための複数の異なる可能性がある。それらはいずれも、−１８０°方位角とスクリーン左端との間のすべてのオブジェクトがスクリーン左端に行き着き、スクリーン右端と１８０°方位角との間のすべてのオブジェクトが右スクリーンに行き着くように、スクリーンの端部に対してマッピングされる。別の可能性は、後半球の値を前半球にマッピングすることである。その後、左半球において、−１８０°＋方位角（スクリーン左端）と方位角（スクリーン左端）との間の位置が、スクリーン左端にマッピングされる。−１８０°と−１８０°＋方位角（スクリーン左端）との間の値が、０°と方位角（スクリーン左端）との間の値にマッピングされる。右半球および仰角は同じように処理される。
図５は、実施形態による仰角リマッピングを示す。
勾配が変化する曲線の点−ｘ１および＋ｘ２（＋ｘ１とは異なってもよく、または等しくてもよい）は、デフォルト値（デフォルトの仮定される標準スクリーンサイズ＋位置）であるか、または、それらは、メタデータ内に（たとえば、その後そこで再生スクリーンサイズを与え得る再生者によって）存在し得る。
線分から構成されていないが、代わりに湾曲している可能なマッピング関数もある。
追加のメタデータが、たとえば、パン挙動または聴き取りの分解能を計上するためのオフセットまたは非線形係数を定義する、リマッピングの方法を制御してもよい。
また、たとえば、後部に対して意図されているすべてのオブジェクトをスクリーン上に「投影」することによって、マッピングがどのように実施されるかがシグナリングされてもよい。
そのような代替的なマッピング方法は、以下の図面にリストされている。
そこで、図６は、実施形態による方位角リマッピングを示す。
図７は、実施形態による仰角リマッピングを示す。
未知のスクリーンサイズ挙動に関して、
再生スクリーンサイズが与えられていない場合、
− デフォルトのスクリーンサイズが仮定されるか、または
― たとえオブジェクトがスクリーン関連またはオンスクリーンとしてマークされている場合であっても、マッピングは適用されない。
図４に戻って、別の実施形態では、事例ｂ）において、リマッピングされる方位角および仰角は、スクリーン領域上の位置を記述する値（方位角（スクリーン左端）≦方位角（リマッピングされた）≦方位角（スクリーン右端）および仰角（スクリーン下端）≦仰角（リマッピングされた）≦仰角（スクリーン上端））のみをとることができる。これらの範囲外の値を処理するための以下の複数の異なる可能性がある。いくつかの実施形態において、それらはいずれも、＋１８０°方位角とスクリーン左端との間のすべてのオブジェクトがスクリーン左端に行き着き、スクリーン右端と−１８０°方位角との間のすべてのオブジェクトがスクリーン右端に行き着くように、スクリーンの端部に対してマッピングされる。別の可能性は、後半球の値を前半球にマッピングすることである。
その後、左半球において、＋１８０°−方位角（スクリーン左端）と方位角（スクリーン左端）との間の位置が、スクリーン左端にマッピングされる。＋１８０°と＋１８０°−方位角（スクリーン左端）との間の値が、０°と方位角（スクリーン左端）との間の値にマッピングされる。右半球および仰角は同じように処理される。
図１６は、図５と同様の図である。図１６によって示す実施形態において、両方の図面において、−９０°〜＋９０°の横座標軸上の値間隔および−９０°〜＋９０°の縦座標軸上の値間隔が示されている。
図１７は、図７と同様の図である。図１７によって示す実施形態において、両方の図面において、−９０°〜＋９０°の横座標軸上の値間隔および−９０°〜＋９０°の縦座標軸上の値間隔が示されている。
以下において、本発明のさらなる実施形態およびさらなる実施形態の任意選択の特徴を、図８〜図１５を参照して説明する。
いくつかの実施形態によれば、スクリーン関連要素リマッピングは、たとえば、ビットストリームが、ＯＡＭデータ（ＯＡＭデータ＝関連オブジェクトメタデータ）を伴うスクリーン関連要素を含み（少なくとも１つのオーディオ要素についてisScreenRelativeObject flag == 1）、かつ、ローカルスクリーンサイズがLocalScreenSize()インターフェースを介して復号器にシグナリングされる場合にのみ処理することができる。
幾何学的位置データ（ユーザ対話による任意の位置修正が行われる前のＯＡＭデータ）を、たとえば、マッピング関数の定義および利用によって、異なる範囲の値にマッピングすることができる。リマッピングは、たとえば、レンダラがリマッピングについて不可知であり、変化せずに動作するように、レンダリングに対する前処理ステップとして幾何学的位置データを変更することができる。
公称基準スクリーンのスクリーンサイズ（混合およびモニタリングプロセスにおいて使用される）および／または再生室内のローカルスクリーンサイズ情報が、たとえば、リマッピングのために考慮に入れられ得る。
公称基準スクリーンサイズが与えられない場合、たとえば、例として４ｋディスプレイおよび最適な観賞距離を仮定して、デフォルトの基準値が使用されてもよい。
ローカルスクリーンサイズ情報が与えられない場合、たとえば、リマッピングは適用されるべきではない。
たとえば、２つの線形マッピング関数を、仰角および方位角値のマッピングのために定義することができる。
公称スクリーンサイズのスクリーン端部は、たとえば、以下によって与えることができる。
Figure 2019036987
再生スクリーン端部は、たとえば、以下によって省略することができる。
Figure 2019036987
方位角および仰角位置データのリマッピングは、たとえば、以下の線形マッピング関数によって定義することができる。
Figure 2019036987
Figure 2019036987
図１３は、一実施形態による位置データのリマッピング関数を示す。特に、図１３において、方位角のマッピングのためのマッピング関数が示されている。図１３において、曲線は、公称基準左端方位角と公称基準右端方位角との間の方位角値が所与のローカルスクリーン左端と所与のローカルスクリーン右端との間の間隔にマッピング（圧縮または伸張）されるように定義される。全範囲の値がカバーされるように、他の方位角値がそれに従って圧縮または伸張される。
リマッピングされた方位角は、たとえば、−１８０°と１８０°との間の値をとることができ、リマッピングされた仰角は、−９０°と９０°との間の値をとることができる。
たとえば、一実施形態によれば、isScreenRelativeObjectフラグが０に設定されている場合、対応する要素についてスクリーン関連要素リマッピングは適用されず、幾何学的位置データ（ＯＡＭデータ＋ユーザ対話による位置変化）が、レンダラによって、再生信号を計算するために直に使用される。
いくつかの実施形態によれば、すべてのスクリーン関連要素の位置が、たとえば、再生室に対する適合として再生スクリーンサイズに従ってリマッピングされてもよい。たとえば、再生スクリーンサイズ情報が与えられていないか、または、スクリーン関連要素が存在しない場合、リマッピングは適用されない。
リマッピングは、たとえば再生室内の再生スクリーンサイズ情報や、たとえば混合およびモニタリングプロセスにおいて使用される基準スクリーンのスクリーンサイズ情報を考慮に入れる線形マッピング関数によって定義されてもよい。
一実施形態による方位角マッピング関数が、図１３に示されている。上記図１３において、方位角のマッピング関数が示されている。図１３にあるように、この関数は、たとえば、基準スクリーンの左端と右端との間の方位角値が、再生スクリーンの左端と右端との間の間隔にマッピング（圧縮または伸張）されるように定義されてもよい。全範囲の値がカバーされるように、他の方位角値が圧縮または伸張される。
仰角マッピング関数は、たとえば、それに従って定義されてもよい（図１４参照）。スクリーン関連処理は、たとえば、高解像度ビデオコンテンツにズームするためのズーム領域をも考慮に入れることができる。スクリーン関連処理は、たとえば、動的位置データを伴い、スクリーン関連としてラベリングされている要素についてのみ定義され得る。
以下において、３Ｄオーディオコーデックシステムのシステム概要を提供する。本発明の実施形態は、そのような３Ｄオーディオコーデックシステムにおいて利用することができる。３Ｄオーディオコーデックシステムは、たとえば、チャネルおよびオブジェクト信号のコード化のためのＭＰＥＧ−Ｄ ＵＳＡＣコーデックに基づいてもよい。
実施形態によれば、大量のオブジェクトのコード化効率を増大させるために、ＭＰＥＧ ＳＡＯＣ技術が適合されている（ＳＡＯＣ＝空間オーディオオブジェクトコード化）。たとえば、いくつかの実施形態によれば、３つのタイプのレンダラが、たとえば、チャネルに対するオブジェクトのレンダリング、ヘッドホンに対するチャネルのレンダリング、または、異なるスピーカ設定に対するチャネルのレンダリングのタスクを実施することができる。
オブジェクト信号が明示的に送信されるか、または、ＳＡＯＣを使用してパラメトリックに符号化されると、対応するオブジェクトメタデータ情報が、圧縮され、３Ｄオーディオビットストリームに多重化される。
図８および図９は、３Ｄオーディオシステムの種々のアルゴリズムブロックを示す。特に、図８は、３Ｄオーディオ符号化器の概略を示す。図９は、一実施形態による３Ｄオーディオ復号器の概略を示す。
ここで、図８および図９のモジュールの可能な実施形態を説明する。
図８において、プレレンダラ８１０（混合器とも称する）が示されている。図８の構成において、プレレンダラ８１０（混合器）は任意である。プレレンダラ８１０は、符号化する前にチャネル＋オブジェクト入力シーンをチャネルシーンに変換するために任意に使用することができる。機能的に、符号化器側のプレレンダラ８１０は、たとえば、後述する復号器側のオブジェクトレンダラ／混合器９２０の機能に関連付けることができる。オブジェクトのプレレンダリングによって、基本的に同時にアクティブなオブジェクト信号の数とは無関係である符号化器入力における決定論的信号エントロピーが保証される。オブジェクトのプレレンダリングによって、オブジェクトメタデータ送信は必要ない。離散的なオブジェクト信号が、符号化器がそれを使用するように構成されているチャネルレイアウトにレンダリングされる。チャネルごとのオブジェクトの重みは、関連オブジェクトメタデータ（ＯＡＭ）から取得される。
スピーカ−チャネル信号、離散的なオブジェクト信号、オブジェクトダウンミックス信号およびプレレンダリング済み信号のコアコーデックは、ＭＰＥＧ−Ｄ ＵＳＡＣ技術（ＵＳＡＣコアコーデック）に基づく。ＵＳＡＣ符号化器８２０（たとえば、図８に示す）は、入力のチャネルおよびオブジェクト割り当ての幾何学的かつ意味論的情報に基づいてチャネルとオブジェクトマッピング情報を作成することによって、複数の信号のコード化を処理する。このマッピング情報は、どのように入力チャネルとオブジェクトがＵＳＡＣチャネル要素（ＣＰＥ、ＳＣＥ、ＬＦＥ）にマッピングされ、対応する情報が復号器に送信されるかを記述する。
ＳＡＯＣデータまたはオブジェクトメタデータのようなすべての追加のペイロードが拡張要素を通じて渡されており、たとえば、ＵＳＡＣ符号化器のレート制御において考慮され得る。
オブジェクトのコード化は、レンダラのレート／歪み要件および双方向性要件に応じて、種々の方法で可能である。以下のオブジェクトコード化変形形態が可能である。
プレレンダリング済みオブジェクト：オブジェクト信号は、符号化前に２２．２チャネル信号にプレレンダリングおよび混合される。後続のコード化チェーンは、２２．２チャネル信号を考慮する。
離散オブジェクト波形：オブジェクトは、モノラル波形としてＵＳＡＣ符号化器８２０に供給される。ＵＳＡＣ符号化器８２０は、単一チャネル要素ＳＣＥを使用して、チャネル信号に加えてオブジェクトを送信する。復号されたオブジェクトは、受信機側でレンダリングおよび混合される。圧縮オブジェクトメタデータ情報が、受信機／レンダラにともに送信される。
パラメトリックオブジェクト波形：オブジェクト特性およびそれらの互いに対する関連が、ＳＡＯＣパラメータによって記述される。オブジェクト信号のダウンミックスが、ＵＳＡＣ符号化器８２０によってＵＳＡＣを用いてコード化される。パラメトリック情報がともに送信される。ダウンミックスチャネルの数は、オブジェクトの数と全体的なデータレートに応じて選択される。圧縮オブジェクトメタデータ情報が、ＳＡＯＣレンダラに送信される。
復号器側で、ＵＳＡＣ復号器９１０がＵＳＡＣ復号を実行する。
その上、実施形態によれば、復号器デバイスが提供される。図９を参照されたい。復号器デバイスは、１つまたは複数のオーディオ入力チャネルを取得し、１つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、１つまたは複数のＳＡＯＣトランスポートチャネルを取得するためにビットストリームを復号するためのＵＳＡＣ復号器９１０を備えている。
さらに、復号器デバイスは、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループを取得するために１つまたは複数のＳＡＯＣトランスポートチャネルを復号するためのＳＡＯＣ復号器９１５を備えている。
その上、復号器デバイスは、図１〜図７に関連して上述した実施形態による、または、図１１〜図１５に関連して後述するような装置９１７を備えている。装置９１７は、図１の装置のオブジェクトメタデータプロセッサ１１０であり、圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器９１８を備えている。
さらに、上述した実施形態による装置９１７は、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループを取得するために、非圧縮メタデータに応じて、１つまたは複数の入力オーディオオブジェクトをレンダリングするための、たとえば、図１の装置のオブジェクトレンダラ１２０であるオブジェクトレンダラ９２０を備えている。
さらに、復号器デバイスは、１つまたは複数の変換済みチャネルを取得するために１つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器９２２を備えている。
その上、復号器デバイスは、１つまたは複数の復号オーディオチャネルを取得するために、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループの１つまたは複数のオーディオオブジェクト、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループの１つまたは複数のオーディオオブジェクト、および、１つまたは複数の変換済みチャネルを混合するための混合器９３０を備えている。
図９において、復号器デバイスの特定の実施形態が示されている。オブジェクト信号のためのＳＡＯＣ符号化器８１５（ＳＡＯＣ符号化器８１５は任意である、図８参照）およびＳＡＯＣ復号器９１５（図９参照）は、ＭＰＥＧ ＳＡＯＣ技術に基づく。システムは、より少数の送信済みチャネルおよび追加のパラメトリックデータ（ＯＬＤ、ＩＯＣ、ＤＭＧ）に基づいていくつかのオーディオオブジェクトを再生成、修正およびレンダリングすることが可能である（ＯＬＤ＝オブジェクトレベル差、ＩＯＣ＝オブジェクト間相関、ＤＭＧ＝ダウンミックス利得）。追加のパラメトリックデータは、すべてのオブジェクトを個々に送信するために必要とされるよりも大幅に低いデータレートを呈し、コード化を非常に効率的にする。
ＳＡＯＣ符号化器８１５は、入力として、モノラル波形としてのオブジェクト／チャネル信号をとり、パラメトリック情報（３Ｄオーディオビットストリームにパックされる）およびＳＡＯＣトランスポートチャネル（単一チャネル要素を使用して符号化され、送信される）を出力する。
ＳＡＯＣ復号器９１５は、復号されたＳＡＯＣトランスポートチャネルおよびパラメトリック情報からオブジェクト／チャネル信号を再構築し、再生レイアウト、解凍されたオブジェクトメタデータ情報、および、任意ではあるがユーザ対話情報に基づいて出力オーディオシーンを生成する。
オブジェクトメタデータコーデックに関して、各オブジェクトについて、３Ｄ空間内のオブジェクトの幾何学的位置および分散を指定する関連メタデータが、たとえば、図８のメタデータ符号化器８１８によって、時間および空間におけるオブジェクト特性の量子化によって効率的にコード化される。圧縮オブジェクトメタデータｃＯＡＭ（ｃＯＡＭ＝圧縮オーディオオブジェクトメタデータ）は、サイド情報として受信機に送信される。受信機側で、ｃＯＡＭはメタデータ復号器９１８によって復号される。
たとえば、図９において、メタデータ復号器９１８は、たとえば、上述した実施形態の１つによるオブジェクトメタデータプロセッサを実装してもよい。
オブジェクトレンダラ、たとえば、図９のオブジェクトレンダラ９２０は、圧縮オブジェクトメタデータを利用して、所与の再生フォーマットによるオブジェクト波形を生成する。各オブジェクトは、そのメタデータに従って特定の出力チャネルにレンダリングされる。このブロックの出力は、部分結果の合計からもたらされる。
たとえば、図９において、オブジェクトレンダラ９２０は、たとえば、上述した実施形態の１つに従って実装されてもよい。
図９において、メタデータ復号器９１８は、たとえば、図１〜図７および図１１〜図１５を参照して説明されている、上述したまたは後述する実施形態の１つに従って説明されているようなオブジェクトメタデータプロセッサとして実装されてもよく、オブジェクトレンダラ９２０は、たとえば、図１〜図７および図１１〜図１５を参照して説明されている、上述したまたは後述する実施形態の１つに従って説明されているようなオブジェクトレンダラとして実装されてもよい。メタデータ復号器９１８およびオブジェクトレンダラ９２０は、たとえば、ともに、図１〜図７および図１１〜図１５を参照して上述または後述されているような、スピーカ信号を生成するための装置９１７を実装してもよい。
チャネルベースのコンテンツと離散／パラメトリックオブジェクトの両方が復号される場合、たとえば、図９の混合器９３０によって得られる波形が出力される前に（または、それらをバイノーラルレンダラまたはスピーカレンダラモジュールのような後処理装置モジュールに供給する前に）チャネルベースの波形とレンダリングされるオブジェクト波形が混合される。
バイノーラルレンダラモジュール９４０は、たとえば、各入力チャネルが仮想音源によって表されるような、マルチチャネルオーディオ材料のバイノーラルダウンミックスを生成することができる。この処理は、ＱＭＦ領域においてフレームごとに実行される。バイノーラル化は、たとえば、測定されるバイノーラル室内インパルス応答に基づいてもよい。
スピーカレンダラ９２２は、たとえば、送信チャネル構成と所望の再生フォーマットとの間で変換することができる。したがって、これは以下においてフォーマット変換器９２２と呼ばれる。フォーマット変換器９２２は、より少数の出力チャネルへの変換を実施し、たとえば、ダウンミックスを生成する。システムは、入力フォーマットと出力フォーマットとの所与の組み合わせについて最適化されたダウンミックス行列を自動的に生成し、これらの行列をダウンミックスプロセスにおいて適用する。フォーマット変換器９２２は、標準スピーカ構成、および、非標準的なスピーカ位置を有するランダム構成を可能にする。
図１０は、フォーマット変換器の構造を示す。図１０は、ダウンミックス構成器１０１０、および、ＱＭＦ領域においてダウンミックスを処理するためのダウンミックスプロセッサを示す（ＱＭＦ領域＝直交ミラーフィルタ領域）。
いくつかの実施形態によれば、オブジェクトレンダラ９２０は、図１〜図７を参照して説明されている上述した複数の実施形態の１つに関連して説明されているような、または、図１１〜図１５を参照して説明される後述する複数の実施形態の１つに関連して説明されるような、スクリーン関連オーディオオブジェクトリマッピングを実現するように構成することができる。
以下において、本発明のさらなる実施形態および本発明の実施形態の概念を説明する。
いくつかの実施形態によれば、オブジェクトのユーザ制御は、たとえば、記述的メタデータ、たとえば、ビットストリーム内部にオブジェクトが存在するか、および、オブジェクトの高レベル特性に関する情報を利用することができ、たとえば、制限的メタデータ、たとえば、コンテンツ生成者によってどのように対話が可能であるかまたは可能にされるかに関する情報を利用することができる。
いくつかの実施形態によれば、オーディオオブジェクトのシグナリング、送達およびレンダリングは、たとえば、位置的メタデータ、構造的メタデータ、たとえば、オブジェクトのグループ分けおよび階層、特定のスピーカにレンダリングし、チャネルコンテンツをオブジェクトとしてシグナリングするための機能、ならびに、オブジェクトシーンをスクリーンサイズに適合させるための手段を利用することができる。
実施形態は、３Ｄ空間ですでに定義されている幾何学的位置とオブジェクトのレベルに加えて、開発されている新たなメタデータフィールドを提供する。
オブジェクトベースのオーディオシーンが異なる再生設定において再生される場合、いくつかの実施形態によれば、レンダリングされる音源の位置を、たとえば、自動的に再生の寸法にスケーリングすることができる。オーディオ−視覚コンテンツが提示される場合、音源の配置と、音声の視覚的な発生源の位置とは、たとえば、もはや一致していない場合があるため、再生に対するオーディオオブジェクトを標準的にレンダリングすると、たとえば、位置的なオーディオと視覚との一貫性が乱れることになり得る。
この効果を回避するために、たとえば、オーディオオブジェクトが３Ｄ空間内の固定位置向けに意図されておらず、その位置が再生設定におけるスクリーンのサイズとともに変化すべきであることをシグナリングするための可能性が利用され得る。いくつかの実施形態によれば、これらのオーディオオブジェクトの特別な処理、および、シーンスケーリングアルゴリズムの定義によって、再生が、たとえば、再生環境のローカルな特性に対して最適化することができるため、たとえば、より没入型の経験が可能になり得る。
いくつかの実施形態において、レンダラまたは前処理モジュールは、たとえば、再生室内のローカルなスクリーンサイズを考慮に入れることができ、したがって、たとえば、映画またはゲームの側面においてオーディオとビデオとの間の関係を保持することができる。そのような実施形態において、このとき、オーディオシーンは、たとえば、視覚要素の位置と対応する音源の位置とが一致するように、再生設定に従ってスケーリングすることができる。たとえば、サイズが変動するスクリーンに関するオーディオと視覚との位置的な一貫性を維持することができる。
たとえば、実施形態によれば、このとき、対話および発話を、再生スクリーンサイズに関係なく、スクリーン上の話者の方向から知覚することができる。このとき、これは、定位置にある音源と、音声の軌道と視覚要素の移動とが対応しなければならない移動している音源とについて可能である。
スクリーン関連レンダリングを制御するために、オブジェクトをスクリーン関連としてマークすることを可能にする追加のメタデータフィールドが導入される。オブジェクトがスクリーン関連としてマークされた場合、その幾何学的位置データが、レンダリングの前に他の値にリマッピングされる。たとえば、図１３は、方位角に関する例示的な（リ）マッピングを示す。
とりわけ、いくつかの実施形態は、たとえば、角度領域（方位角、仰角）において機能する単純なマッピング関数が定義されることを実現することができる。
その上、いくつかの実施形態は、たとえば、オブジェクトの距離が変化せず、スクリーンに向かう若しくはスクリーンから離れる「ズーム」、または仮想的な移動が実行されず、オブジェクトの位置のみのスケーリングが実行されることを実現することができる。
さらに、いくつかの実施形態は、マッピング関数がスクリーン比に基づくだけでなく、スクリーン端部の方位角および仰角も考慮に入れるため、たとえば、中心合わせされていない再生スクリーン
Figure 2019036987
を処理することができる。
その上、いくつかの実施形態は、たとえば、オンスクリーンオブジェクトに対する特別なマッピング関数を定義することができる。いくつかの実施形態によれば、方位角および仰角のマッピング関数は、たとえば、独立であることができ、そのため、方位角または仰角値のみをリマッピングするように選択することができる。
以下にさらなる実施形態を提供する。
図１１は、一実施形態によるオブジェクトベースのオーディオのレンダリングを示す。オーディオオブジェクトは、たとえば、メタデータおよび再生環境に関する情報を使用して再生側でレンダリングすることができる。そのような情報は、たとえば、スピーカの数またはスクリーンのサイズである。レンダラ１１１０は、幾何学的データならびに利用可能なスピーカおよびそれらのスピーカの位置に基づいて、スピーカ信号を計算することができる。
ここで、一実施形態によるオブジェクトメタデータ（プリ）プロセッサ１２１０を、図１２を参照して説明する。
図１２において、オブジェクトメタデータプロセッサ１２１０は、ローカルスクリーンサイズを考慮に入れ、幾何学的メタデータのマッピングを実施するリマッピングを実行するように構成されている。
スクリーン関連オブジェクトの位置データが、オブジェクトメタデータプロセッサ１２１０によってリマッピングされる。たとえば、その位置の元の方位角および仰角を、リマッピングされた方位角およびリマッピングされた仰角にマッピングする曲線を適用することができる。
たとえば、混合およびモニタリングプロセスにおいて利用される公称基準スクリーンのスクリーンサイズ、ならびに、再生室内のローカルスクリーンサイズ情報が、たとえば、リマッピングのために考慮に入れられ得る。
たとえば、再生スクリーンサイズと称され得る基準スクリーンサイズが、たとえば、メタデータ内で送信され得る。
いくつかの実施形態において、公称スクリーンサイズが与えられない場合、たとえば、デフォルトのスクリーンサイズが仮定されてもよい。
たとえば、ＩＴＵ−Ｒ ＲＥＣ−ＢＴ．２０２２（参照：フラットパネルディスプレイ上のＳＤＴＶおよびＨＤＴＶテレビ画像の品質の主観的評価に関する一般的な観賞条件）において定義されている視野角を、例として使用することができる。
いくつかの実施形態において、たとえば、２つの線形マッピング関数を、仰角および方位角値のリマッピングのために定義することができる。
以下において、いくつかの実施形態によるスクリーン関連幾何学的メタデータの修正を、図１３〜図１５を参照して説明する。
リマッピングされた方位角は、−１８０°と１８０°との間の値をとることができ、リマッピングされた仰角は、−９０°と９０°との間の値をとることができる。マッピング曲線は一般的に、デフォルトの左端方位角とデフォルトの右端方位角との間の方位角値が所与のスクリーン左端と所与のスクリーン右端との間の間隔にマッピング（圧縮または伸張）されるように（したがって、仰角も同様に）定義される。全範囲の値がカバーされるように、他の方位角および仰角値がそれに従って圧縮または伸張される。
すでに上述したように、公称スクリーンサイズのスクリーン端部は、たとえば、以下によって与えることができる。
Figure 2019036987
再生スクリーン端部は、たとえば、以下によって省略することができる。
Figure 2019036987
方位角および仰角位置データのリマッピングは、たとえば、以下の線形マッピング関数によって定義することができる。
Figure 2019036987
Figure 2019036987
方位角のマッピング関数は図１３に示されており、仰角のマッピング関数は図１４に示されている。
勾配が変化し得る曲線の点
Figure 2019036987
は、デフォルト値（デフォルトの仮定される標準スクリーンサイズおよびデフォルトの仮定される標準スクリーン位置）として設定されるか、または、それらは、メタデータ内に（たとえば、その後そこで再生／モニタリングスクリーンサイズを与え得る再生者によって）存在し得る。
スクリーン関連リマッピングのためのオブジェクトメタデータの定義に関して、スクリーン関連レンダリングを制御するために、「isScreenRelativeObject」と名付けられる追加のメタデータフラグが定義される。このフラグは、たとえば、オーディオオブジェクトがローカル再生スクリーンサイズに関連して処理／レンダリングされるべきであるか否かを定義することができる。
オーディオシーン内にスクリーン関連要素が存在する場合、混合およびモニタリングに使用された公称基準スクリーンのスクリーンサイズ情報（オーディオコンテンツの再生中に使用されているスクリーンサイズ）を提供するための可能性が提供される。
表４−一実施形態によるObjectMetadataConfig()の構文
Figure 2019036987
hasScreenRelativeObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
hasScreenSize このフラグは公称スクリーンサイズが定義されるか否かを指定する。この定義は、スクリーン端部に対応する視野角を介して行われる。hasScreenSizeがゼロである場合、以下の値がデフォルトとして使用される。
Figure 2019036987
bsScreenSizeAz このフィールドは、スクリーン左端およびスクリーン右端に対応する方位角を定義する。
Figure 2019036987
bsScreenSizeTopEl このフィールドは、スクリーン上端に対応する仰角を定義する。
Figure 2019036987
bsScreenSizeBottomEl このフィールドは、スクリーン下端に対応する仰角を定義する。
Figure 2019036987
isScreenRelativeObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する（位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである。
一実施形態によれば、再生スクリーンサイズが与えられない場合、デフォルトの再生スクリーンサイズおよびデフォルトの再生スクリーン位置が仮定されるか、または、たとえオブジェクトがスクリーン関連としてマークされていても、マッピングが適用されない。
実施形態のいくつかは、可能な変形形態を実現する。
いくつかの実施形態において、非線形マッピング関数が利用される。これらの可能なマッピング関数は、線分から構成されておらず、代わりに湾曲している。いくつかの実施形態において、追加のメタデータが、たとえば、パン挙動または聴き取りの分解能を計上するためのオフセットまたは非線形係数を定義する、リマッピングの方法を制御する。
いくつかの実施形態は、方位角および仰角の独立した処理を実現する。方位角および仰角は、独立してスクリーン関連としてマークおよび処理され得る。表５は、そのような実施形態によるObjectMetadataConfig()の構文を示す。
表５：一実施形態によるObjectMetadataConfig()の構文
Figure 2019036987
いくつかの実施形態は、オンスクリーンオブジェクトの定義を利用する。これは、スクリーン関連オブジェクトとオンスクリーンオブジェクトとの間で区別され得る。このとき、可能な構文は以下の表６のものであり得る。
表６−一実施形態によるObjectMetadataConfig()の構文
Figure 2019036987
hasOnScreenObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する（位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである）。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン」であるか否かを規定する。このフラグが１に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。
オンスクリーンオブジェクトについて、リマッピングされた方位角および仰角は、スクリーン領域上の位置を記述する値のみをとることができる
Figure 2019036987
。
いくつかの実施形態によって実現されるものとして、これらの範囲外の値を処理するための以下の複数の異なる可能性がある。それらは、スクリーンの端部にマッピングされ得る。その後、左半球において、１８０°と
Figure 2019036987
との間の位置が、スクリーン左端
Figure 2019036987
にマッピングされる。右半球および仰角は同じように処理される（図１５内の破線でないマッピング関数１５１０）。
実施形態のいくつかによって実現される別の可能性は、後半球の値を前半球にマッピングすることである。１８０°と
Figure 2019036987
との間の値が、０°と
Figure 2019036987
との間の値にマッピングされる。右半球および仰角は同じように処理される（図１５内の破線のマッピング関数１５２０）。
図１５は、これらの実施形態による方位角のリマッピング（オンスクリーンオブジェクト）を示す。
所望の挙動の選択は、追加のメタデータ（たとえば、後方（［１８０°および
Figure 2019036987
］ならびに［−１８０°および
Figure 2019036987
］向けに意図されているすべてのオンスクリーンオブジェクトをスクリーン上に「投影」するためのフラグ）によってシグナリングされ得る。
いくつかの態様が装置の側面で説明されているが、これらの態様はまた、対応する方法の説明をも表すことは明らかであり、ブロックまたはデバイスが、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの側面で説明されている態様は、対応する装置の対応するブロックまたは項目もしくは特徴の説明をも表す。
本発明の分解されている信号は、デジタル記憶媒体上に記憶することができ、または、インターネットのような、無線伝送媒体もしくは有線伝送媒体などの伝送媒体上で伝送することができる。
特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェア内で実装することができる。実施態様は、それぞれの方法が実施されるようにプログラム可能コンピュータシステムと協働する（または協働することが可能である）、電子可読制御信号を記憶されているデジタル記憶媒体、たとえば、フロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実施することができる。
本発明によるいくつかの実施形態は、本明細書において説明されている方法の１つが実施されるように、プログラム可能コンピュータシステムと協働することが可能である、電子可読制御信号を有する非一時的データキャリアを含む。
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するときに、方法の１つを実施するように動作可能である。プログラムコードは、たとえば、機械可読キャリア上に記憶されてもよい。
他の実施形態は、機械可読キャリア上に記憶されている、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムを含む。
言い換えれば、それゆえ、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で動作するときに、本明細書において説明されている方法の１つを実施するためのプログラムコードを有するコンピュータプログラムである。
それゆえ、本発明の方法のさらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムを記録されて含むデータキャリア（またはデジタル記憶媒体、もしくはコンピュータ可読媒体）である。
それゆえ、本発明の方法のさらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムを表すデータストリームまたは信号系列である。データストリームまたは信号系列は、たとえば、データ通信接続、たとえばインターネットを介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書において説明されている方法の１つを実施するように構成または適合されている処理手段、たとえば、コンピュータ、またはプログラム可能論理デバイスを含む。
さらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムをインストールされているコンピュータを含む。
いくつかの実施形態において、プログラム可能論理デバイス（たとえば、フィールドプログラマブルゲートアレイ）は、本明細書において説明されている方法の機能のいくつかまたはすべてを実施するために使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書において説明されている方法の１つを実施するために、マイクロプロセッサと協働することができる。一般的に、方法は、任意のハードウェア装置によって実施されることが好ましい。
上述した実施形態は、本発明の実施形態の原理を例示しているに過ぎない。本明細書において説明されている構成および詳細の修正および変形が、当業者には諒解されよう。それゆえ、本明細書において実施形態の記述および説明の目的で提示されている特定の詳細によってではなく、添付の特許請求項の範囲のみによって限定されることが意図されている。

Claims (15)

  1. スピーカ信号を生成するための装置であって、
    オブジェクトメタデータプロセッサ（１１０）と、
    オブジェクトレンダラ（１２０）と、を備え、
    前記オブジェクトレンダラ（１２０）は、オーディオオブジェクトを受信するように構成されており、
    前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含むとともに前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するように構成されており、
    前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置に応じて、かつスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するように構成されており、
    前記オブジェクトレンダラ（１２０）は、前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するように構成されており、
    前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第１の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されており、
    前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第２の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されている装置。
  2. 前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第２の位置を計算しないように構成されている請求項１に記載の装置。
  3. 前記オブジェクトレンダラ（１２０）は、前記位置情報が前記オーディオオブジェクトの前記第１の位置または前記オーディオオブジェクトの前記第２の位置であるかを決定しないように構成されている請求項１または２に記載の装置。
  4. 前記オブジェクトレンダラ（１２０）はさらに再生環境の前記スピーカの数に応じて前記スピーカ信号を生成するように構成されている請求項１から３のいずれか一項に記載の装置。
  5. 前記オブジェクトレンダラ（１２０）は、前記再生環境の前記スピーカの各々のスピーカ位置にさらに応じて前記スピーカ信号を生成するように構成されている請求項４に記載の装置。
  6. 前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成され、前記第１の位置は３次元空間内の前記第１の位置を示し、前記第２の位置は前記３次元空間内の前記第２の位置を示す請求項１から５のいずれか一項に記載の装置。
  7. 前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置に応じて、かつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成され、前記第１の位置は第１の方位角、第１の仰角および第１の距離を示し、前記第２の位置は第２の方位角、第２の仰角および第２の距離を示す請求項６に記載の装置。
  8. 前記オブジェクトメタデータプロセッサ（１１０）は、第１の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含む前記メタデータを受信するように構成されており、前記第２の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
    前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記第２の位置が前記スクリーンのスクリーン領域上の第１の値をとるように、前記オーディオオブジェクトの前記第１の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成されている請求項１から７のいずれか一項に記載の装置。
  9. 前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記オンスクリーンオブジェクトでないことを前記第２の指示が指示する場合、スクリーン領域にあるかないかのいずれかである第２の値を前記第２の位置がとるように、前記オーディオオブジェクトの前記第１の位置に応じてかつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成されている、請求項８に記載の装置。
  10. 前記オブジェクトメタデータプロセッサ（１１０）は、第１の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合に、第２の指示をさらに含む、前記メタデータを受信するように構成されており、前記第２の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
    前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、マッピング曲線としての第１のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第１のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第２の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、
    前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトでないことを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、前記マッピング曲線としての第２のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第２のマッピング曲線は、前記第１の値間隔における元のオブジェクト位置の、第３の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、前記第２の値間隔は前記第３の値間隔によって含まれ、前記第２の値間隔は前記第３の値間隔よりも小さい請求項１から７のいずれか一項に記載の装置。
  11. 前記第１の値間隔、前記第２の値間隔および前記第３の値間隔は、方位角の値間隔であるか、または
    前記第１の値間隔、前記第２の値間隔および前記第３の値間隔は仰角の値間隔である請求項１０に記載の装置。
  12. 前記オブジェクトメタデータプロセッサ（１１０）は、第１の線形マッピング関数および第２の線形マッピング関数の少なくとも１つに応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、
    前記第１の線形マッピング関数は、第１の方位角値を第２の方位角値にマッピングするように定義されており、
    前記第２の線形マッピング関数は、第１の仰角値を第２の仰角値にマッピングするように定義されており、
    Figure 2019036987
    は方位角スクリーン左端基準を示し、
    Figure 2019036987
    は方位角スクリーン右端基準を示し、
    Figure 2019036987
    は仰角スクリーン上端基準を示し、
    Figure 2019036987
    は仰角スクリーン下端基準を示し、
    Figure 2019036987
    は前記スクリーンの方位角スクリーン左端を示し、
    Figure 2019036987
    は前記スクリーンの方位角スクリーン右端を示し、
    Figure 2019036987
    は前記スクリーンの仰角スクリーン上端を示し、
    Figure 2019036987
    は前記スクリーンの仰角スクリーン下端を示し、
    Figure 2019036987
    は前記第１の方位角値を示し、
    Figure 2019036987
    は前記第２の方位角値を示し、
    θは前記第１の仰角値を示し、
    θ'は前記第２の仰角値を示し、
    前記第２の方位角値
    Figure 2019036987
    は、以下の式に従って前記第１の線形マッピング関数による前記第１の方位角値
    Figure 2019036987
    の第１のマッピングからもたらされ、
    Figure 2019036987
    前記第２の仰角値θ'は、以下の式に従って前記第２の線形マッピング関数による前記第１の仰角値θの第２のマッピングからもたらされる請求項１から１１のいずれか一項に記載の装置。
    Figure 2019036987
  13. 復号器デバイスであって、
    １つまたは複数のオーディオ入力チャネルを取得し、１つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、１つまたは複数のＳＡＯＣトランスポートチャネルを取得するためにビットストリームを復号するためのＵＳＡＣ復号器（９１０）と、
    １つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループを取得するために前記１つまたは複数のＳＡＯＣトランスポートチャネルを復号するためのＳＡＯＣ復号器（９１５）と、
    請求項１から１２のいずれか一項に記載の装置（９１７）であって、
    請求項１から１２のいずれか一項に記載の装置の前記オブジェクトメタデータプロセッサ（１１０）であり、前記圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器（９１８）、及び
    前記非圧縮メタデータに応じて前記１つまたは複数の入力オーディオオブジェクトをレンダリングして、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループを取得するための、請求項１から１２のいずれか一項に記載の装置の前記オブジェクトレンダラ（９２０；１２０）を有する装置（９１７）と、
    １つまたは複数の変換済みチャネルを取得するために前記１つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器（９２２）と、
    １つまたは複数の復号オーディオチャネルを取得するために、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループの前記１つまたは複数のオーディオオブジェクト、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループの前記１つまたは複数のオーディオオブジェクト、および、１つまたは複数の変換済みオーディオチャネルを混合するための混合器（９３０）と、
    を備えた復号器デバイス。
  14. スピーカ信号を生成するための方法であって、
    オーディオオブジェクトを受信するステップと、
    前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するステップと、
    前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置およびスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するステップと、
    前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するステップと、を含み、
    前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第１の位置であり、
    前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第２の位置である方法。
  15. コンピュータまたは信号プロセッサ上で実行されるときに請求項１４に記載の方法を実施するためのコンピュータプログラム。
JP2018194721A 2014-03-26 2018-10-16 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 Active JP6734343B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP14161819 2014-03-26
EP14161819.9 2014-03-26
EP14196769.5A EP2928216A1 (en) 2014-03-26 2014-12-08 Apparatus and method for screen related audio object remapping
EP14196769.5 2014-12-08

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016559292A Division JP6422995B2 (ja) 2014-03-26 2015-03-25 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020118271A Division JP2020182227A (ja) 2014-03-26 2020-07-09 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法

Publications (2)

Publication Number Publication Date
JP2019036987A true JP2019036987A (ja) 2019-03-07
JP6734343B2 JP6734343B2 (ja) 2020-08-05

Family

ID=52015948

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016559292A Active JP6422995B2 (ja) 2014-03-26 2015-03-25 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
JP2018194721A Active JP6734343B2 (ja) 2014-03-26 2018-10-16 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
JP2020118271A Pending JP2020182227A (ja) 2014-03-26 2020-07-09 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
JP2023174101A Pending JP2023175947A (ja) 2014-03-26 2023-10-06 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016559292A Active JP6422995B2 (ja) 2014-03-26 2015-03-25 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020118271A Pending JP2020182227A (ja) 2014-03-26 2020-07-09 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
JP2023174101A Pending JP2023175947A (ja) 2014-03-26 2023-10-06 スクリーン関連オーディオオブジェクトリマッピングのための装置および方法

Country Status (19)

Country Link
US (4) US10192563B2 (ja)
EP (4) EP2928216A1 (ja)
JP (4) JP6422995B2 (ja)
KR (1) KR101920356B1 (ja)
CN (2) CN106463128B (ja)
AR (1) AR099835A1 (ja)
AU (1) AU2015238354B2 (ja)
BR (1) BR112016022045B1 (ja)
CA (1) CA2943570C (ja)
ES (2) ES2723965T3 (ja)
FI (1) FI3487189T3 (ja)
MX (1) MX355455B (ja)
MY (1) MY184715A (ja)
PL (2) PL3123741T3 (ja)
PT (2) PT3123741T (ja)
RU (1) RU2683380C2 (ja)
SG (1) SG11201607953TA (ja)
TW (1) TWI595785B (ja)
WO (1) WO2015144766A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
US9940937B2 (en) * 2014-10-10 2018-04-10 Qualcomm Incorporated Screen related adaptation of HOA content
CN106797499A (zh) 2014-10-10 2017-05-31 索尼公司 编码装置和方法、再现装置和方法以及程序
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
CN107615767B (zh) 2015-06-02 2021-05-25 索尼公司 发送装置、发送方法、媒体处理装置、媒体处理方法以及接收装置
CN113055801B (zh) * 2015-07-16 2023-04-07 索尼公司 信息处理装置、信息处理方法及计算机可读介质
DE102015220595A1 (de) * 2015-10-22 2017-04-27 Robert Bosch Gmbh Batteriezelle mit teilweise flexibel formbarer Wandung
WO2017087564A1 (en) * 2015-11-20 2017-05-26 Dolby Laboratories Licensing Corporation System and method for rendering an audio program
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
JP2019518373A (ja) 2016-05-06 2019-06-27 ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． 没入型オーディオ再生システム
BR112018074203A2 (pt) * 2016-05-30 2019-05-14 Sony Corporation dispositivo e método de processamento audiovisual, e, programa
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US10972859B2 (en) * 2017-04-13 2021-04-06 Sony Corporation Signal processing apparatus and method as well as program
EP3618463A4 (en) * 2017-04-25 2020-04-29 Sony Corporation SIGNAL PROCESSING DEVICE, METHOD AND PROGRAM
US10986457B2 (en) * 2017-07-09 2021-04-20 Lg Electronics Inc. Method and device for outputting audio linked with video screen zoom
CN111133775B (zh) * 2017-09-28 2021-06-08 株式会社索思未来 音响信号处理装置以及音响信号处理方法
WO2019149337A1 (en) 2018-01-30 2019-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs
CN111801952A (zh) * 2018-03-08 2020-10-20 索尼公司 信息处理装置、信息处理方法、信息处理系统和程序
KR102637876B1 (ko) 2018-04-10 2024-02-20 가우디오랩 주식회사 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치
KR20210030279A (ko) * 2018-07-04 2021-03-17 소니 주식회사 정보 처리 장치 및 방법, 그리고 프로그램
GB2577698A (en) * 2018-10-02 2020-04-08 Nokia Technologies Oy Selection of quantisation schemes for spatial audio parameter encoding
WO2021186104A1 (en) * 2020-03-16 2021-09-23 Nokia Technologies Oy Rendering encoded 6dof audio bitstream and late updates
US11743670B2 (en) * 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
GB202118094D0 (en) * 2021-12-14 2022-01-26 Nokia Technologies Oy A method and apparatus for AR scene modification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278381A (ja) * 2008-05-14 2009-11-26 Nippon Hoso Kyokai <Nhk> 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
JP2013187908A (ja) * 2012-03-06 2013-09-19 Thomson Licensing 高次アンビソニックス・オーディオ信号の再生のための方法および装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
DE10154932B4 (de) 2001-11-08 2008-01-03 Grundig Multimedia B.V. Verfahren zur Audiocodierung
DE10305820B4 (de) 2003-02-12 2006-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition
US7606372B2 (en) * 2003-02-12 2009-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for determining a reproduction position
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
CN102099854B (zh) * 2008-07-15 2012-11-28 Lg电子株式会社 处理音频信号的方法和装置
KR101387902B1 (ko) 2009-06-10 2014-04-22 한국전자통신연구원 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더
CN102549655B (zh) * 2009-08-14 2014-09-24 Dts有限责任公司 自适应成流音频对象的系统
ES2644520T3 (es) * 2009-09-29 2017-11-29 Dolby International Ab Decodificador de señal de audio MPEG-SAOC, método para proporcionar una representación de señal de mezcla ascendente usando decodificación MPEG-SAOC y programa informático usando un valor de parámetro de correlación inter-objeto común dependiente del tiempo/frecuencia
CN116419138A (zh) * 2010-03-23 2023-07-11 杜比实验室特许公司 音频再现方法和声音再现系统
EP2450880A1 (en) 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
AR088777A1 (es) * 2011-03-18 2014-07-10 Fraunhofer Ges Forschung Transmision de longitud de elemento de cuadro en la codificacion de audio
AU2012279349B2 (en) * 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
HUE054452T2 (hu) * 2011-07-01 2021-09-28 Dolby Laboratories Licensing Corp Rendszer és eljárás adaptív hangjel elõállítására, kódolására és renderelésére
EP2637327A1 (en) 2012-03-09 2013-09-11 Harman International Industries Ltd. Audio mixing console with lighting control and method of mixing by means of a mixing console
US9190065B2 (en) * 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
WO2014032709A1 (en) * 2012-08-29 2014-03-06 Huawei Technologies Co., Ltd. Audio rendering system
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278381A (ja) * 2008-05-14 2009-11-26 Nippon Hoso Kyokai <Nhk> 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
JP2013187908A (ja) * 2012-03-06 2013-09-19 Thomson Licensing 高次アンビソニックス・オーディオ信号の再生のための方法および装置

Also Published As

Publication number Publication date
PL3123741T3 (pl) 2019-08-30
EP3487189B1 (en) 2023-05-24
BR112016022045B1 (pt) 2022-09-27
AU2015238354B2 (en) 2018-11-08
CA2943570C (en) 2019-12-17
CN111276153A (zh) 2020-06-12
EP3123741A1 (en) 2017-02-01
ES2723965T3 (es) 2019-09-04
US11900955B2 (en) 2024-02-13
US20170011751A1 (en) 2017-01-12
SG11201607953TA (en) 2016-10-28
AR099835A1 (es) 2016-08-24
US20210065729A1 (en) 2021-03-04
MX2016012286A (es) 2016-11-30
EP4254988A2 (en) 2023-10-04
RU2016141642A (ru) 2018-04-26
CN106463128B (zh) 2020-02-21
AU2015238354A1 (en) 2016-11-10
EP2928216A1 (en) 2015-10-07
RU2683380C2 (ru) 2019-03-28
JP2020182227A (ja) 2020-11-05
CA2943570A1 (en) 2015-10-01
EP4254988A3 (en) 2023-11-01
CN106463128A (zh) 2017-02-22
EP3123741B1 (en) 2019-02-20
US10854213B2 (en) 2020-12-01
TW201603584A (zh) 2016-01-16
BR112016022045A2 (ja) 2017-08-22
JP2023175947A (ja) 2023-12-12
MY184715A (en) 2021-04-19
US20190139562A1 (en) 2019-05-09
PT3123741T (pt) 2019-06-04
FI3487189T3 (fi) 2023-08-11
WO2015144766A1 (en) 2015-10-01
JP2017513390A (ja) 2017-05-25
KR101920356B1 (ko) 2018-11-21
US20230162749A1 (en) 2023-05-25
KR20160140784A (ko) 2016-12-07
PL3487189T3 (pl) 2023-09-18
ES2953685T3 (es) 2023-11-15
US11527254B2 (en) 2022-12-13
US10192563B2 (en) 2019-01-29
CN111276153B (zh) 2024-03-29
JP6422995B2 (ja) 2018-11-14
RU2016141642A3 (ja) 2018-04-26
MX355455B (es) 2018-04-18
PT3487189T (pt) 2023-08-29
JP6734343B2 (ja) 2020-08-05
TWI595785B (zh) 2017-08-11
EP3487189A1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
JP6422995B2 (ja) スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
JP7116144B2 (ja) 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理
KR102127955B1 (ko) 고차 앰비소닉 오디오 신호의 재생 방법 및 장치
JP6045696B2 (ja) オーディオ信号処理方法および装置
RU2617553C2 (ru) Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала
JP6055576B2 (ja) 任意のスピーカー・レイアウトへのオーディオ・オブジェクトのパン
US20170086008A1 (en) Rendering Virtual Audio Sources Using Loudspeaker Map Deformation
JP6622388B2 (ja) ビデオ画像に関連付けられているオーディオ信号を処理する方法および装置
KR20150111117A (ko) 오디오 신호 처리 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200709

R150 Certificate of patent or registration of utility model

Ref document number: 6734343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250