BR112016022045B1 - Aparelho e método para remapeamento do objeto de áudio relacionado à tela - Google Patents
Aparelho e método para remapeamento do objeto de áudio relacionado à tela Download PDFInfo
- Publication number
- BR112016022045B1 BR112016022045B1 BR112016022045-5A BR112016022045A BR112016022045B1 BR 112016022045 B1 BR112016022045 B1 BR 112016022045B1 BR 112016022045 A BR112016022045 A BR 112016022045A BR 112016022045 B1 BR112016022045 B1 BR 112016022045B1
- Authority
- BR
- Brazil
- Prior art keywords
- screen
- audio
- metadata
- audio object
- depending
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Abstract
APARELHO E MÉTODO PARA REMAPEAMENTO DO OBJETO DE ÁUDIO RELACIONADO À TELA. Um aparelho para gerar sinais de alto-falante é fornecido. O aparelho compreende um processador (110) de metadados do objeto e um renderizador (120) de objeto. O renderizador (120) de objeto é configurado para receber um objeto de áudio. O processador (110) de metadados do objeto é configurado para receber metadados, compreendendo uma indicação sobre se o objeto de áudio é relacionado à tela, e compreendendo, ainda, uma primeira posição do objeto de áudio. O processador (110) de metadados do objeto é configurado para calcular uma segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo de um tamanho de uma tela, se o objeto de áudio for indicado nos metadados como estando relacionado à tela. O renderizador (120) de objeto é configurado para gerar os sinais de alto-falante dependendo do objeto de áudio e dependendo da informação de posição. O processador (110) de metadados do objeto é configurado para inserir a primeira posição do objeto de áudio como a informação de posição dentro do renderizador (120) de objeto, se o objeto de áudio for indicado nos metadados como não sendo relacionado à tela. O processador (110) de metadados do (...).
Description
[0001] A presente invenção refere-se ao processamento de sinal de áudio, em particular, a um aparelho e um método para remapeamento do objeto de áudio e, mais particularmente, a um aparelho e um método para remapeamento do objeto de áudio relacionado à tela.
[0002] Com o consumo crescente do conteúdo de multimidia no cotidiano, a demanda por soluções sofisticadas de multimidia aumenta constantemente. Nesse contexto, a integração do conteúdo visual e sonoro possui uma função importante. Um ajuste ideal do conteúdo de multimidia visual e sonoro para a configuração de reprodução visual e de áudio seria desejado.
[0003] No estado da técnica, objetos de áudio são conhecidos. Objetos de áudio pode, por exemplo, ser considerados como faixas de som com metadados associados. Os metadados podem, por exemplo, descrever as caracteristicas dos dados brutos de áudio, por exemplo, a posição de reprodução desejada ou o nivel de volume. Uma vantagem do áudio com base em objeto é que um movimento predefinido pode ser reproduzido por um processo de renderização especial no lado de reprodução na melhor forma possivel para todos os layouts do alto-falante de reprodução.
[0004] Os metadados geométricos podem ser utilizados para definir onde um objeto de áudio deveria ser renderizado, por exemplo, ângulos no azimute ou na elevação ou posições absolutas em relação a um ponto de referência, por exemplo, o ouvinte. Os metadados são armazenados ou transmitidos junto com os sinais de áudio do objeto.
[0005] No contexto de MPEG-H, no 105° encontro de MPEG, o grupo de áudio revisou as exigências e prazos de diferentes normas de aplicação (MPEG = Moving Picture Experts Group | Grupo de Especialistas em Imagens com Movimento). De acordo com essa revisão, seria essencial atender certos pontos no tempo e exigências especificas para um sistema de transmissão da geração futura. De acordo com isso, um sistema deveria ser capaz de aceitar objetos de áudio na entrada do codificador. Além disso, o sistema deve suportar a sinalização, a entrega e a renderização de objetos de áudio e deve permitir o controle do usuário de objetos, por exemplo, para melhoria do diálogo, faixas de linguagem alternativa e linguagem de descrição de áudio.
[0006] No estado da técnica, diferentes conceitos são fornecidos. De acordo com uma primeira técnica anterior, apresentada em "Method and apparatus for playback of a higherorder ambisonics audio signal" (consulte [1]), a reprodução do áudio orientado por campo de som espacial em seus objetos visiveis ligados é adaptada pela aplicação de processamento de deformação de espaço. Nessa técnica anterior, o decodificador deforma o campo de som de modo que todos os objetos de som na direção da tela sejam comprimidos ou alongados de acordo com a proporção dos tamanhos das telas alvo e de referência. Uma possibilidade é incluida para codificar e transmitir o tamanho de referência (ou o ângulo de visualização de uma posição de audição de referência) da tela utilizada na produção de conteúdo como metadados juntos com o conteúdo. De modo alternativo, um tamanho de tela de referência fixo é assumido na codificação e para a codificação, e o decodificador sabe o tamanho real da tela alvo. Nessa técnica anterior, o decodificador deforma o campo de som de modo que todos os objetos de som na direção da tela sejam comprimidos ou alongados de acordo com a proporção do tamanho da tela alvo e do tamanho da tela de referência. As assim chamadas funções de deformação "lineares definidas em trechos de dois segmentos" são utilizadas. Essa extensão é limitada às posições angulares dos itens de som. Nessa técnica anterior, para as telas centralizadas a definição da função de deformação é similar à definição da função de mapeamento para o mapeamento relacionado à tela. 0 primeiro e o terceiro segmento da função de mapeamento linear definida em trecho poderiam ser definidos como uma função linear definida em trecho de dois segmentos. Entretanto, com essa técnica anterior, o pedido é limitado a sinais de HOA (HOA = ambisonics de ordem superior | higher order ambisonics) (orientados por campo de som) no dominio de espaço. Além disso, a função de deformação é apenas dependente da proporção da tela de referência e tela de reprodução, nenhuma definição para as telas não centralizadas é fornecida.
[0007] Em outra técnica anterior, "Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition“ (consulte [2]), um método para adaptar a posição de uma fonte sonora à reprodução de vídeo é descrito. A posição de reprodução da fonte sonora é determinada individualmente para cada objeto de som na dependência da direção e distância ao ponto de referência e dos parâmetros da camera. Essa técnica anterior também descreve uma tela com um tamanho de referência fixo que é assumido. Uma escala linear de todos os parâmetros de posição (em coordenadas Cartesianas) é conduzida para adaptar a cena a uma tela de reprodução que é maior ou menor que a tela de referência. Entretanto, de acordo com essa técnica anterior, a incorporação da câmera física e parâmetros de projeção é complexa e tais parâmetros não estão sempre disponíveis. Além disso, o método dessa técnica anterior opera nas coordenadas Cartesianas (x,y,z), então não apenas a posição, mas também a distância de um objeto muda com a escala da cena. Além disso, essa técnica anterior não é aplicável para uma adaptação da posição do objeto em relação às mudanças de tamanho relativo da tela (ângulo de abertura, ângulo de visualização) em coordenadas angulares.
[0008] Em outra técnica anterior, “Verfahren zur Audiocodierung" (consulte [3]), um método é descrito, incluindo uma transmissão do ângulo de visualização atual horizontal e vertical (variante no tempo) na corrente de dados (ângulo de visualização de referência, em relação à posição do ouvinte na cena original). No lado da reprodução, o tamanho e a posição da reprodução são analisados e a reprodução dos objetos de som é individualmente otimizada para combinar com a tela de referência.
[0009] Em outra técnica anterior, "Acoustical Zooming Based on a parametric Sound Field Representation" (consulte [4]), um método é descrito, que fornece a renderização do áudio que segue o movimento da cena visual ("Zoom acústico"). 0 processo de zoom acústico é definido como uma alternância da posição de gravação virtual. 0 modelo da cena para o algoritmo de zoom coloca todas as fontes sonoras em um circulo com um raio arbitrário, porém fixo. Entretanto, o método dessa técnica anterior trabalha no dominio de parâmetro DirAC, distância e ângulos (direção de chegada) são mudados, a função de mapeamento é não linear e depende de um parâmetro/fator de zoom e telas não centralizadas não são suportadas.
[0010] O objeto da presente invenção é fornecer conceitos melhorados para integração do conteúdo de multimidia de áudio e visual que emprega configurações existentes de reprodução de multimidia. O objeto da presente invenção é solucionado por um aparelho, de acordo com a reivindicação 1, por um dispositivo decodificador, de acordo com a reivindicação 13, por um método, de acordo com a reivindicação 14 e por um programa de computador, de acordo com a reivindicação 15.
[0011] Um aparelho para remapeamento do objeto de áudio é fornecido. O aparelho compreende um processador de metadados do objeto e um renderizador de objeto. O renderizador de objeto é configurado para receber um objeto de áudio. O processador de metadados do objeto é configurado para receber metadados, compreendendo uma indicação sobre se o objeto de áudio é relacionado à tela e compreendendo, ainda, uma primeira posição do objeto de áudio. Além disso, o processador de metadados do objeto é configurado para calcular uma segunda posição do objeto de áudio dependendo na primeira posição do objeto de áudio e dependendo de um tamanho de uma tela, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela. 0 renderizador de objeto é configurado para gerar os sinais de alto-falante dependendo do objeto de áudio e dependendo da informação de posição. 0 processador de metadados do objeto é configurado para inserir a primeira posição do objeto de áudio como a informação de posição dentro do renderizador de objeto, se o objeto de áudio estiver indicado nos metadados como não sendo relacionado à tela. Além disso, o processador de metadados do objeto é configurado para inserir a segunda posição do objeto de áudio como a informação de posição dentro do renderizador de objeto, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela.
[0012] De acordo com uma aplicação, o processador de metadados do objeto pode, por exemplo, ser configurado para não calcular a segunda posição do objeto de áudio, se o objeto de áudio estiver indicado nos metadados como não sendo relacionado à tela.
[0013] Em uma aplicação, o renderizador de objeto pode, por exemplo, ser configurado para não determinar se a informação de posição é a primeira posição do objeto de áudio ou a segunda posição do objeto de áudio.
[0014] De acordo com uma aplicação, o renderizador de objeto pode, por exemplo, ser configurado para gerar os sinais de alto-falante dependendo, ainda, do número de alto-falantes de um ambiente de reprodução.
[0015] Em uma aplicação, o renderizador de objeto pode, por exemplo, ser configurado para gerar os sinais de alto-falante dependendo, ainda, de uma posição do alto-falante de cada um dos alto-falantes do ambiente de reprodução.
[0016] De acordo com uma aplicação, o processador de metadados do objeto é configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela, em que a primeira posição indica a primeira posição em um espaço tridimensional e em que a segunda posição indica a segunda posição no espaço tridimensional.
[0017] Em uma aplicação, o processador de metadados do objeto pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela, em que a primeira posição indica um primeiro azimute, uma primeira elevação e uma primeira distância e em que a segunda posição indica um segundo azimute, uma segunda elevação e uma segunda distância.
[0018] De acordo com uma aplicação, o processador de metadados do objeto pode, por exemplo, ser configurado para receber os metadados, compreendendo a indicação sobre se o objeto de áudio é relacionado à tela como uma primeira indicação e compreendendo, ainda, uma segunda indicação, se o objeto de áudio estiver relacionado à tela, a referida segunda indicação indicando se o objeto de áudio é um objeto na tela. O processador de metadados do objeto pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, de modo que a segunda posição toma um primeiro valor em uma área de exibição da tela, se a segunda indicação indicar que o objeto de áudio é um objeto na tela.
[0019] Em uma aplicação, o processador de metadados do objeto pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, de modo que a segunda posição toma um segundo valor, que está na área de exibição ou não está na área de exibição, se a segunda indicação indicar que o objeto de áudio não é um objeto na tela.
[0020] De acordo com uma aplicação, o processador de metadados do objeto pode, por exemplo, ser configurado para receber os metadados, compreendendo a indicação sobre se o objeto de áudio é relacionado à tela como uma primeira indicação e compreendendo, ainda, uma segunda indicação, se o objeto de áudio estiver relacionado à tela, a referida segunda indicação indicando se o objeto de áudio é um objeto na tela. O processador de metadados do objeto pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio, dependendo do tamanho da tela e dependendo de uma primeira curva do mapeamento como a curva do mapeamento, se a segunda indicação indicar que o objeto de áudio é um objeto na tela, em que a primeira curva do mapeamento define um mapeamento de posições do objeto original em um primeiro intervalo de valor para as posições do objeto remapeado em um segundo intervalo de valor. Além disso, o processador de metadados do objeto pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio, dependendo do tamanho da tela e dependendo de uma segunda curva do mapeamento como a curva do mapeamento, se a segunda indicação indicar que o objeto de áudio não é um objeto na tela, em que a segunda curva do mapeamento define um mapeamento de posições do objeto original no primeiro intervalo de valor para as posições do objeto remapeado em um terceiro intervalo de valor e em que o referido segundo intervalo de valor é compreendido pelo terceiro intervalo de valor e em que o referido segundo intervalo de valor é menor que o referido terceiro intervalo de valor.
[0021] Em uma aplicação, cada um dentre o primeiro intervalo de valor e o segundo intervalo de valor e o terceiro intervalo de valor pode, por exemplo, ser um intervalo de valor de ângulos de azimute, ou cada um dentre o primeiro intervalo de valor e o segundo intervalo de valor e o terceiro intervalo de valor pode, por exemplo, ser um intervalo de valor de ângulos de elevação.
[0022] De acordo com uma aplicação, o processador de metadados do objeto pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo de pelo menos uma dentre uma primeira função de mapeamento linear e uma segunda função de mapeamento linear, em que a primeira função de mapeamento linear é definida para mapear um primeiro valor de azimute para um segundo valor de azimute, em que a segunda função de mapeamento linear é definida para mapear um primeiro valor de elevação para um segundo valor de elevação, em que
indica uma referência da margem de exibição do nominal azimute esquerdo, em que 
indica uma referência da margem de exibição do azimute esquerdo, em que 
indica uma referência da margem de exibição de elevação superior, em que
tfl bottom .nominal indica uma referência da margem de exibição de elevação inferior, em que
indica uma margem de exibição do azimute esquerdo da tela, em que 
indica uma margem de exibição Qrepro do azimute direito da tela, em que
top indica uma margem de Qrepro exibição de elevação superior da tela, em que 
n indica uma margem de exibição de elevação inferior da tela, em que indica o primeiro valor de azimute, em que indica o segundo valor de azimute, em que 0 indica oi primeiro valor de elevação, em que 0 indica o segundo valor de elevação, em que o segundo valor de azimute <P pode, por exemplo, resultar de um primeiro mapeamento do primeiro valor de azimute de acordo com a primeira função de mapeamento linear de acordo com
[0023] e em que o segundo valor de elevação 0 pode, por exemplo, resultar de um segundo mapeamento do primeiro valor de elevação 0 de acordo com a segunda função de mapeamento linear de acordo com
[0024] Além disso, um dispositivo decodificador é fornecido. O dispositivo decodificador compreende um decodificador de USAC para decodificar um fluxo contínuo de dados para obter um ou mais canal(is) de entrada de áudio, para obter um ou mais objeto(s) de entrada de áudio, para obter metadados comprimidos do objeto e para obter um ou mais canal(is) de transporte SAOC. Além disso, o dispositivo decodificador compreende um decodificador de SAOC para decodificar um ou mais canal(is) de transporte SAOC para obter um primeiro grupo de um ou mais objeto(s) de áudio renderizado(s). Além disso, o dispositivo decodificador compreende um aparelho de acordo com as aplicações descritas acima. 0 aparelho compreende um decodificador de metadados de objeto, sendo o processador de metadados do objeto do aparelho de acordo com as aplicações descritas acima e sendo implementado para decodificar os metadados comprimidos do objeto para obter metadados não comprimidos e o aparelho compreende ainda o renderizador de objeto do aparelho de acordo com as aplicações descritas acima, para renderizar um ou mais objeto(s) de entrada de áudio dependendo dos metadados não comprimidos para obter um segundo grupo de um ou mais objeto(s) de áudio renderizado(s). Além disso, o dispositivo decodificador compreende um conversor de formato para converter um ou mais canal(is) de entrada de áudio para obter um ou mais canal(is) convertido(s). Além disso, o dispositivo decodificador compreende um misturador para misturar um ou mais objeto(s) de áudio do primeiro grupo de um ou mais objeto(s) de áudio renderizado(s), um ou mais objeto(s) de áudio do segundo grupo de um ou mais objeto(s) de áudio renderizado(s) e um ou mais canal(is) convertido(s) para obter um ou mais canal(is) de áudio decodificado.
[0025] Além disso, um método para gerar sinais de alto-falante é fornecido. 0 método compreende: Receber um objeto de áudio. Receber metadados, compreendendo uma indicação sobre se o objeto de áudio é relacionado à tela e compreendendo, ainda, uma primeira posição do objeto de áudio. Calcular uma segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo de um tamanho de uma tela, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela. Gerar os sinais de alto-falante dependendo do objeto de áudio e dependendo da informação de posição.
[0026] A informação de posição é a primeira posição do objeto de áudio, se o objeto de áudio estiver indicado nos metadados como não sendo relacionado à tela. A informação de posição é a segunda posição do objeto de áudio, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela.
[0027] Além disso, um programa de computador é fornecido, em que o programa de computador é configurado para implementar o método descrito acima quando sendo executado em um computador ou processador de sinal.
[0028] A seguir, as aplicações da presente invenção serão descritas em maiores detalhes com referência às figuras, nas quais:
[0029] A Figura 1 é um aparelho para gerar sinais de alto-falante, de acordo com uma aplicação,
[0030] A Figura 2 ilustra um renderizador de objeto, de acordo com uma aplicação,
[0031] A Figura 3 ilustra um processador de metadados do objeto, de acordo com uma aplicação,
[0032] A Figura 4 ilustra remapeamento de azimute, de acordo com as aplicações,
[0033] A Figura 5 ilustra o remapeamento de elevação, de acordo com as aplicações,
[0034] A Figura 6 ilustra o remapeamento de azimute, de acordo com as aplicações,
[0035] A Figura 7 ilustra o remapeamento de elevação, de acordo com outras aplicações,
[0036] A Figura 8 ilustra uma visão geral de um codificador de áudio 3D,
[0037] A Figura 9 ilustra uma visão geral de um decodificador de áudio 3D, de acordo com uma aplicação,
[0038] A Figura 10 ilustra uma estrutura de um conversor de formato,
[0039] A Figura 11 ilustra a renderização de áudio com base no objeto, de acordo com uma aplicação,
[0040] A Figura 12 ilustra um pré-processador de metadados do objeto, de acordo com uma aplicação,
[0041] A Figura 13 ilustra o remapeamento de azimute, de acordo com uma aplicação,
[0042] A Figura 14 ilustra o remapeamento de ângulos de elevação, de acordo com uma aplicação,
[0043] A Figura 15 ilustra o remapeamento de ângulos de azimute, de acordo com uma aplicação,
[0044] A Figura 16 ilustra o remapeamento de elevação de acordo com outras aplicações, e
[0045] A Figura 17 ilustra o remapeamento de elevação de acordo com aplicações adicionais.
[0046] A figura 1 ilustra um aparelho para remapeamento do objeto de áudio, de acordo com uma aplicação. O aparelho compreende um processador de metadados do objeto (110) e um renderizador de objeto (120).
[0047] O renderizador de objeto (120) é configurado para receber um objeto de áudio.
[0048] O processador de metadados do objeto (110) é configurado para receber metadados, compreendendo uma indicação sobre se o objeto de áudio é relacionado à tela e compreendendo, ainda, uma primeira posição do objeto de áudio. Além disso, o processador de metadados do objeto (110) é configurado para calcular uma segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo de um tamanho de uma tela, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela.
[0049] O renderizador de objeto (120) é configurado para gerar os sinais de alto-falante dependendo do objeto de áudio e dependendo da informação de posição.
[0050] O processador de metadados do objeto (110) é configurado para inserir a primeira posição do objeto de áudio como a informação de posição dentro do renderizador de objeto (120), se o objeto de áudio estiver indicado nos metadados como não sendo relacionado à tela.
[0051] Além disso, o processador de metadados do objeto (110) é configurado para inserir a segunda posição do objeto de áudio como a informação de posição dentro do renderizador de objeto (120), se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela.
[0052] De acordo com uma aplicação, o processador de metadados do objeto (110) pode, por exemplo, ser configurado para não calcular a segunda posição do objeto de áudio, se o objeto de áudio estiver indicado nos metadados como não sendo relacionado à tela.
[0053] Em uma aplicação, o renderizador de objeto (120) pode, por exemplo, ser configurado para não determinar se a informação de posição é a primeira posição do objeto de áudio ou a segunda posição do objeto de áudio.
[0054] De acordo com uma aplicação, o renderizador de objeto (120) pode, por exemplo, ser configurado para gerar os sinais de alto-falante dependendo, ainda, do número de altofalantes de um ambiente de reprodução.
[0055] Em uma aplicação, o renderizador de objeto (120) pode, por exemplo, ser configurado para gerar os sinais de alto-falante dependendo, ainda, de uma posição do altofalante de cada um dentre os alto-falantes doo ambiente de reprodução.
[0056] De acordo com uma aplicação, o processador de metadados do objeto (110) é configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela, em que a primeira posição indica a primeira posição em um espaço tridimensional e em que a segunda posição indica a segunda posição no espaço tridimensional.
[0057] Em uma aplicação, o processador de metadados do objeto (110) pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela, em que a primeira posição indica um primeiro azimute, uma primeira elevação e uma primeira distância e em que a segunda posição indica um segundo azimute, uma segunda elevação e uma segunda distância.
[0058] De acordo com uma aplicação, o processador de metadados do objeto (110) pode, por exemplo, ser configurado para receber os metadados, compreendendo a indicação sobre se o objeto de áudio é relacionado à tela como uma primeira indicação e compreendendo, ainda, uma segunda indicação, se o objeto de áudio estiver relacionado à tela, a referida segunda indicação indicando se o objeto de áudio é um objeto na tela. 0 processador de metadados do objeto (110) pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, de modo que a segunda posição toma um primeiro valor em uma área de exibição da tela, se a segunda indicação indicar que o objeto de áudio é um objeto na tela.
[0059] Em uma aplicação, o processador de metadados do objeto (110) pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, de modo que a segunda posição toma um segundo valor, que está na área de exibição ou não está na área de exibição, se a segunda indicação indicar que o objeto de áudio não é um objeto na tela.
[0060] De acordo com uma aplicação, o processador de metadados do objeto (110) pode, por exemplo, ser configurado para receber os metadados, compreendendo a indicação sobre se o objeto de áudio é relacionado à tela como uma primeira indicação e compreendendo, ainda, uma segunda indicação, se o objeto de áudio estiver relacionado à tela, a referida segunda indicação indicando se o objeto de áudio é um objeto na tela. O processador de metadados do objeto (110) pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio, dependendo do tamanho da tela e dependendo de uma primeira curva do mapeamento como a curva do mapeamento, se a segunda indicação indicar que o objeto de áudio é um objeto na tela, em que a primeira curva do mapeamento define um mapeamento de posições do objeto original em um primeiro intervalo de valor para as posições do objeto remapeado em um segundo intervalo de valor. Além disso, o processador de metadados do objeto (110) pode, por exemplo, ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio, dependendo do tamanho da tela e dependendo de uma segunda curva do mapeamento como a curva do mapeamento, se a segunda indicação indicar que o objeto de áudio não é um objeto na tela, em que a segunda curva do mapeamento define um mapeamento de posições do objeto original no primeiro intervalo de valor para as posições do objeto remapeado em um terceiro intervalo de valor e em que o referido segundo intervalo de valor é compreendido pelo terceiro intervalo de valor e em que o referido segundo intervalo de valor é menor que o referido terceiro intervalo de valor.
[0061] Em uma aplicação, cada um dentre o primeiro intervalo de valor e o segundo intervalo de valor e o terceiro intervalo de valor pode, por exemplo, ser um intervalo de valor de ângulos de azimute, ou cada um dentre o primeiro intervalo de valor e o segundo intervalo de valor e o terceiro intervalo de valor pode, por exemplo, ser um intervalo de valor de ângulos de elevação.
[0062] A seguir, aplicações particulares da presente invenção e recursos opcionais de uma pluralidade de aplicações da presente invenção são descritas.
[0063] Poderia haver objetos de áudio (sinal de áudio associado com uma posição no espaço 3D, por exemplo, azimute, elevação e distância dados) que não são destinados para uma posição disparada, mas cuja posição deveria mudar com o tamanho de uma tela na configuração de reprodução.
[0064] Se um objeto é sinalizado como relacionado à tela (por exemplo, por um indicador nos metadados), sua posição é remapeada/recalculada em relação ao tamanho da tela de acordo com uma regra especifica.
[0065] A figura 2 ilustra um renderizador de objeto de acordo com uma aplicação.
[0066] Como uma introdução, o seguinte é observado:
[0067] Em formatos de áudio com base em objeto metadados são armazenados ou transmitidos ao longo com sinais de objeto. Os objetos de áudio são renderizados no lado da reprodução utilizando os metadados e informações sobre o ambiente de reprodução. Tais informações são, por exemplo, o número de alto-falantes ou o tamanho da tela.
[0068] Tabela 1: Metadados exemplares:
[0069] Para objetos, metadados geométricos podem ser utilizados para definir como eles deveriam ser renderizados, por exemplo, ângulos em posições de azimute ou elevação ou absoluta em relação a um ponto de referência, por exemplo, o ouvinte. 0 renderizador calcula os sinais de alto-falante com base nos dados geométricos e os alto-falantes disponíveis e sua posição.
[0070] As aplicações de acordo com a presente invenção emergem da parte de cima da seguinte forma.
[0071] A fim de controlar a renderização relacionada à tela, um campo de metadados adicional controla como interpretar os metadados geométricos:
[0072] Se o campo estiver definido como OFF (DESLIGADO) os metadados geométricos são interpretados pelo renderizador para calcular os sinais de alto-falante.
[0073] Se o campo estiver definido para ON (LIGADO) os metadados geométricos são mapeados a partir dos dados nominais para outros valores. O remapeamento é feito nos metadados geométricos, de modo que o renderizador que segue o processador de metadados do objeto seja agnóstico do pré- processamento dos metadados do objeto e opera inalterado. Exemplos de tais campos de metadados são dados nas tabelas a seguir.
[0074] Tabela 2: Metadados exemplares para controlar a renderizaçao relacionada
[0075] Além disso, o tamanho nominal da tela ou o tamanho da tela utilizado durante a produção do conteúdo de áudio poderia ser enviado como informações de metadados.
[0076] A seguinte tabela apresenta um exemplo de como esses metadados poderiam ser eficientemente codificados.
[0077] Tabela 3 — Sintaxe de ObjectMetadataConfig () de acordo com uma aplicação:
hasOnScreenObjects Esse indicador especifica se objetos relacionados à tela estão presentes. isScreenRelatedObject Esse indicador define se uma posição do objeto é relativa à tela (a posição deveria ser renderizada de forma diferente, de modo que sua posição fosse remapeada, mas pode ainda conter todos os valores angulares válidos. isOnScreenObject Esse indicador define que o objeto correspondente está "na tela". Objetos onde esse indicador é igual a 1 deveriam ser renderizados de forma diferente, de modo que sua posição pode apenas tomar valores na área da tela. De acordo com uma alternativa, o indicador não é utilizado, mas um ângulo da tela de referência é definido. Se isScreenRelativeObject=l então todos os ângulos são relativos a esse ângulo de referência. Podem haver outros casos de uso onde é necessário que o objeto de áudio está na tela.
[0078] É observado em relação a isScreenRelativeObject que, de acordo com uma aplicação, há duas possibilidades: Remapeamento de posição, mas pode ainda tomar todos os valores (relativos à tela) e remapeamento de modo que possa conter apenas valores que estão na área da tela (na tela).
[0079] O remapeamento é feito em um processador de metadados do objeto que leva o tamanho da tela local em consideração e realiza o mapeamento dos metadados geométricos.
[0080] A figura 3 ilustra um processador de metadados do objeto de acordo com uma aplicação.
[0081] De acordo com a modificação dos metadados geométricos relacionados à tela, o seguinte é referido.
[0082] Dependendo das informações isScreenRelativeObject e isOnScreenObject há duas possibilidades de sinalizar os elementos de áudio relacionados à tela: a) Elementos de áudio relacionados à tela b) Elementos de áudio na tela
[0083] Em ambos os casos, os dados de posição dos elementos de áudio são remapeados pelo processador de metadados do objeto. Uma curva é aplicada mapeando o ângulo original de azimute e elevação da posição em um ângulo de azimute mapeado e um de elevação remapeado.
[0084] A referência é o tamanho nominal da tela nos metadados ou um tamanho da tela padrão assumido.
[0085] Por exemplo, um ângulo de visualização definido em ITU-R REC-BT.2022 (Condições gerais de visualização para avaliação subjetiva de qualidade de fotos de televisão SDTV e HDTV em telas de painel plano) pode ser utilizado.
[0086] A diferença entre os dois tipos de relação à tela é a definição da curva do remapeamento.
[0087] No caso a) o azimute remapeado pode tomar valores entre -180° e 180° e a elevação remapeada pode tomar valores entre -90° e 90°. A curva é definida de modo que os valores de azimute entre um azimute de margem esquerda padrão e um azimute de margem direta padrão são remapeados (comprimidos ou expandidos) ao intervalo entre a dada margem da tela esquerda e a dada margem da tela direita (e certamente para a elevação). Os outros valores de azimute e de elevação são comprimidos ou expandidos certamente, de modo que toda a faixa de valores seja coberta.
[0088] A figura 4 ilustra o remapeamento de azimute de acordo com as aplicações.
[0089] No caso b) o azimute e a elevação remapeados podem apenas tomar valores que descrevam as posições na área da tela (Azimute(margem da tela esquerda) Azimute(remapeado) Azimute(margem da tela direita) e Elevação(margem da tela inferior) Elevação(remapeado) Elevação(margem da tela superior)).
[0090] Há diferentes possibilidades de tratar os valores fora dessas faixas: Elas poderiam ser mapeadas nas margens da tela de modo que todos os objetos entre -180° azimute e a margem da tela esquerda acabassem na margem da tela esquerda e todos os objetos entre a margem da tela direita e 180° azimute acabassem na tela direita. Outra possibilidade é mapear os valores do hemisfério traseiro ao hemisfério frontal. No hemisfério esquerdo então as posições entre -180° + Azimute(margem da tela esquerda) e Azimute(margem da tela esquerda) são mapeadas para a margem da tela esquerda. Os valores entre -180° e -180° + Azimute(margem da tela esquerda) são mapeados para os valores entre 0o e Azimute(margem da tela esquerda). O hemisfério direito e os ângulos de elevação são tratados da mesma forma.
[0091] A figura 5 ilustra o remapeamento de elevação de acordo com as aplicações.
[0092] Os pontos -xl e +x2 (que podem ser diferentes ou iguais a +xl) da curva onde o gradiente muda para ser definido como valores padrão (tamanho da tela padrão assumido predefinido + posição) ou eles podem estar presentes nos metadados (por exemplo, pelos produtos, que poderia, então, colocar o tamanho da tela de produção ali).
[0093] Há também as funções de mapeamento possíveis que não consistem em segmentos lineares, mas são curvados.
[0094] Metadados adicionais poderiam controlar a forma de remapeamento, por exemplo, definindo coeficientes de deslocamentos ou não lineares para representar o comportamento de posicionamento ou a resolução da audição.
[0095] Também poderia ser sinalizado conforme o mapeamento é realizado, por exemplo, "projetando" todos os objetos destinados para a parte traseira na tela.
[0096] Tais métodos de remapeamento alternativo são apresentados nas seguintes figuras.
[0097] Assim, a figura 6 ilustra o remapeamento de azimute de acordo com as aplicações.
[0098] A figura 7 ilustra o remapeamento de elevação de acordo com as aplicações.
[0099] Referente ao comportamento desconhecido do tamanho da tela:
[0100] se nenhum tamanho da tela de reprodução for dado, então um tamanho da tela predefinido é assumido, ou - nenhum mapeamento é aplicado, mesmo se um objeto estiver marcado como relacionado à tela ou na tela.
[0101] Retornando à figura 4, em outra aplicação, no caso b) o azimute e a elevação remapeados podem apenas tomar valores que descrevam as posições na área da tela (Azimute(margem da tela esquerda) d Azimute(remapeado) d Azimute(margem da tela direita) e Elevação(margem da tela inferior) d Elevação(remapeado) d Elevação(margem da tela superior)). Há diferentes possibilidades de tratar os valores fora dessas faixas: Em algumas aplicações, elas poderiam ser mapeadas às margens da tela de modo que todos os objetos entre +180° azimute e a margem da tela esquerda acabasse na margem da tela esquerda e todos os objetos entre a margem da tela direita e -180° azimute acabassem na margem da tela direita. Outra possibilidade é mapear os valores do hemisfério traseiro ao hemisfério frontal.
[0102] No hemisfério esquerdo então as posições entre +180° - Azimute(margem da tela esquerda) e Azimute(margem da tela esquerda) são mapeadas para a margem da tela esquerda. Os valores entre +180° e +180° - Azimute(margem da tela esquerda) são mapeados para os valores entre 0o e Azimute(margem da tela esquerda). 0 hemisfério direito e os ângulos de elevação são tratados da mesma forma.
[0103] A figura 16 ilustra uma figura similar à figura 5. Nas aplicações ilustradas pela Figura 16, em ambos os diagramas, um intervalo de valor no eixo de abscissas de -90° a +90° e um intervalo de valor no eixo de ordenadas de -90° a +90° é ilustrado.
[0104] A figura 17 ilustra uma figura similar à figura 7. Nas aplicações ilustradas pela figura 17, em ambos os diagramas, um intervalo de valor no eixo de abscissas de -90° a +90° e um intervalo de valor no eixo de ordenadas de -90° a +90° é ilustrado.
[0105] A seguir, aplicações adicionais da invenção e recursos opcionais de aplicações adicionais são descritas com referência à figura 8 - figura 15.
[0106] De acordo com algumas aplicações, o remapeamento do elemento relacionado à tela pode, por exemplo, ser apenas processado se o fluxo continuo de dados contiver elementos relacionados à tela (indicador isScreenRelativeObject == 1 para pelo menos um elemento de áudio) que são acompanhados por dados OAM (dados OAM | object associated metadata = metadados do objeto associado) e se o tamanho da tela local for sinalizado ao decodificador através da interface LocalScreenSize().
[0107] Os dados posicionais geométricos (dados OAM antes de qualquer modificação de posição pela interação do usuário ter acontecido) podem, por exemplo, ser mapeados para uma faixa diferente de valores pela definição e utilização de uma função de mapeamento. 0 remapeamento pode, por exemplo, mudar os dados posicionais geométricos como uma etapa de pré- processamento para a renderização, de modo que o renderizador seja agnóstico do remapeamento e opere inalterado.
[0108] O tamanho da tela de uma tela de referência nominal (utilizada no processo de mistura e monitoramento) e/ou as informações do tamanho da tela local na sala de reprodução podem, por exemplo, ser consideradas para o remapeamento.
[0109] Se nenhum tamanho de tela de referência nominal for dado, valores de referência predefinidos podem, por exemplo, ser utilizados, por exemplo, assumindo uma tela de 4k e uma distância de visualização ideal.
[0110] Se nenhuma informação do tamanho de tela local for dada, então o remapeamento não deverá, por exemplo, ser aplicado.
[0111] Duas funções de mapeamento linear, pode, por exemplo, ser definidas para o remapeamento dos valores de elevação e azimute:
[0112] As margens da tela do tamanho nominal da tela podem, por exemplo, ser dadas por:
[0113]
[0114] As margens da tela de reprodução podem, por exemplo, ser abreviadas por:
[0115]
[0116] O remapeamento dos dados de posição de azimute e elevação pode, por exemplo, ser definido pelas seguintes funções de mapeamento linear:
[0117] A figura 13 ilustra uma função de remapeamento dos dados de posição de acordo com uma aplicação. Em particular, na figura 13, uma função de mapeamento para o mapeamento do azimute é retratada. Na figura 13, a curva é definida de modo que os valores de azimute entre o azimute da margem esquerda de referência nominal e o azimute da margem direita de referência nominal sejam mapeados (comprimidos ou expandidos) ao intervalo entre a dada margem da tela esquerda local e a dada margem da tela direita local. Os outros valores de azimute são comprimidos ou expandidos corretamente, de modo que toda a faixa de valores seja coberta.
[0118] O azimute remapeado pode, por exemplo, tomar valores entre -180° e 180° e a elevação remapeada pode tomar valores entre -90° e 90°.
[0119] De acordo com uma aplicação, por exemplo, se o indicador isScreenRelativeObject for definido a zero, então nenhum remapeamento do elemento relacionado à tela é aplicado para o elemento correspondente e os dados posicionais geométricos (dados OAM mais mudança de posição por interatividade do usuário) são diretamente utilizados pelo renderizador para calcular os sinais de reprodução.
[0120] De acordo com algumas aplicações, as posições de todos os elementos relacionados à tela podem, por exemplo, ser remapeadas de acordo com o tamanho da tela de reprodução como uma adaptação à sala de reprodução. Por exemplo, se nenhuma informação do tamanho da tela de reprodução for dada ou nenhum elemento relacionado à tela existir, nenhum remapeamento é aplicado.
[0121] O remapeamento pode, por exemplo, ser definido pelas funções de mapeamento linear que consideram as informações do tamanho da tela de reprodução na sala de reprodução e informações do tamanho da tela de uma tela de referência, por exemplo, utilizada no processo de mistura e monitoramento.
[0122] Uma função de mapeamento de azimute de acordo com uma aplicação é retratada na figura 13. Na referida figura 13, uma função de mapeamento de ângulos de azimute é ilustrada. Como na figura 13, pode, por exemplo, ser definida de modo que os valores de azimute entre a margem esquerda e a margem direita da tela de referência sejam mapeados (comprimidos ou expandidos) ao intervalo entre a margem esquerda e a margem direita da tela de reprodução. Outros valores de azimute são comprimidos ou expandidos, de modo que toda a faixa de valores seja coberta.
[0123] Uma função de mapeamento de elevação pode, por exemplo, ser definida corretamente (consulte a figura 14). O processamento relacionado à tela pode, por exemplo, ainda considerar uma área de zoom para aplicar zoom no conteúdo de video de alta resolução. O processamento relacionado à tela pode, por exemplo, ser apenas definido para os elementos que são acompanhados pelos dados de posição dinâmica e que são identificados como relacionados à tela.
[0124] A seguir, uma visão geral do sistema de um sistema de codec de áudio 3D é fornecida. Aplicações da presente invenção podem ser empregadas em tal sistema de codec de áudio 3D. O sistema de codec de áudio 3D pode, por exemplo, ser com base em um Codec MPEG-D USAC para codificação do canal e sinais de objeto.
[0125] De acordo com as aplicações, para aumentar a eficiência para codificar uma grande quantidade de objetos, a tecnologia MPEG SAOC tem sido adaptada (SAOC | Spatial Audio Object Coding = Codificação de Objeto de Áudio Espacial). Por exemplo, de acordo com algumas aplicações, três tipos de renderizadores pode, por exemplo, realizar as tarefas para renderizar objetos em canais, renderizando os canais fones de ouvido ou renderizando canais para uma configuração diferente de alto-falante.
[0126] Quando os sinais de objeto são explicitamente transmitidos ou parametricamente codificados utilizando SAOC, as informações de metadados do objeto são comprimidas e multiplexadas em fluxo continuo de dados de áudio 3D.
[0127] A figura 8 e a figura 9 mostram diferentes blocos algorítmicos do sistema de áudio 3D. Em particular, a figura 8 ilustra uma visão geral de um codificador de áudio 3D. A figura 9 ilustra uma visão geral de um decodificador de áudio 3D de acordo com uma aplicação.
[0128] Possíveis aplicações dos módulos da figura 8 e da figura 9 são agora descritas.
[0129] Na figura 8, um pré-renderizador (810) (também referido como misturador) é ilustrado. Na configuração da figura 8, o pré-renderizador (810) (misturador) é opcional. 0 pré-renderizador (810) pode ser opcionalmente utilizado para converter uma cena de entrada Canal+Objeto em uma cena de canal antes da codificação. Funcionalmente, o pré-renderizador (810) no lado do codificador pode, por exemplo, ser relacionado à funcionalidade do renderizador de objeto/misturador (920) no lado do decodificador, que é descrito abaixo. A pré- renderização dos objetos garante uma entropia do sinal deterministico na entrada do codificador que é basicamente independentemente do número de sinais de objeto simultaneamente ativos. Com a pré-renderização dos objetos, nenhuma transmissão dos metadados do objeto é necessária. Os sinais de objeto discretos são renderizados ao Layout do Canal que o codificador é configurado para utilizar. Os pesos dos objetos para cada canal são obtidos dos metadados do objeto associado (OAM).
[0130] O codec central para os sinais do canal por alto-falante, sinais de objeto discretos, sinais de downmix do objeto e sinais pré-renderizados é com base na tecnologia MPEGD USAC (Codec central de USAC). 0 codificador de USAC (820) (por exemplo, ilustrado na figura 8) controla a codificação dos vários sinais por meio da criação de informações de mapeamento de canal e objeto com base nas informações geométricas e semânticas do canal de entrada e atribuição do objeto. Essas informações de mapeamento descrevem, como os canais de entrada e objetos são mapeados para os Elementos do Canal por USAC (CPEs, SCEs, LFEs) e as informações correspondentes são transmitidas ao decodificador.
[0131] Todas as cargas úteis adicionais como os dados de SAOC metadados de objeto têm passado através dos elementos de extensão e podem, por exemplo, ser considerados no controle da taxa do codificador de USAC.
[0132] A codificação dos objetos é possivel em diferentes formas, dependendo das exigências de taxa/distorção e das exigências de interatividade para o renderizador. As seguintes variantes da codificação do objeto são possiveis: Objetos pré-renderizados: Sinais de objeto são pré-renderizados e misturados aos (22,2) sinais do canal antes da codificação. A cadeia da codificação subsequente vê os (22.2) sinais do canal. Formas de onda do objeto discreto: Objetos são fornecidos como formas de onda monofônicas ao codificador de USAC (820). O codificador de USAC (820) utiliza elementos únicos de canal SCEs para transmitir os objetos além dos sinais do canal. Os objetos decodificados são renderizados e misturados no lado do receptor. As informações do objeto comprimido de metadados são transmitidas ao em conjunto com o receptor/renderizador. Formas de onda do objeto paramétrico: Propriedades do objeto e sua relação a cada uma das outras são descritas por meios de parâmetros de SAOC. O downmix dos sinais de objeto é codificado com USAC pelo codificador de USAC (820). As informações paramétricas são transmitidas em conjunto. O número de canais de downmix é escolhido dependendo do número de objetos e toda a taxa de dados. As informações de metadados do objeto comprimido são transmitidas ao renderizador de SAOC.
[0133] No lado do decodificador, um decodificador de USAC 910 conduz a decodificação de USAC.
[0134] Além disso, de acordo com as aplicações, um dispositivo decodificador é fornecido, consulte a figura 9. O dispositivo decodificador compreende um decodificador de USAC (910) para decodificar um fluxo continuo de dados para obter um ou mais canal(is) de entrada de áudio, para obter um ou mais objeto(s) de entrada de áudio, para obter metadados comprimidos do objeto e para obter um ou mais canal(is) de transporte SAOC.
[0135] Além disso, o dispositivo decodificador compreende um decodificador de SAOC (915) para decodificar um ou mais canal(is) de transporte SAOC para obter um primeiro grupo de um ou mais objeto(s) de áudio renderizado(s).
[0136] Além disso, o dispositivo decodificador compreende um aparelho (917) de acordo com as aplicações descritas acima em relação à figura de 1 a 7 ou conforme descrito abaixo em relação à figura de 11 a 15. 0 aparelho (917) compreende um decodificador de metadados de objeto (918), por exemplo, sendo o processador de metadados do objeto (110) do aparelho da figura 1 e sendo implementado para decodificar os metadados comprimidos do objeto para obter metadados não comprimidos.
[0137] Além disso, o aparelho (917) de acordo com as aplicações descritas acima compreende um renderizador de objeto (920), por exemplo, sendo o renderizador de objeto 120 do aparelho da figura 1, para renderizar um ou mais objeto(s) de entrada de áudio dependendo dos metadados não comprimidos para obter um segundo grupo de um ou mais objeto(s) de áudio renderizado(s).
[0138] Além disso, o dispositivo decodificador compreende um conversor de formato (922) para converter um ou mais canal(is) de entrada de áudio para obter um ou mais canal(is) convertido(s).
[0139] Além disso, o dispositivo decodificador compreende um misturador (930) para misturar um ou mais objeto(s) de áudio do primeiro grupo de um ou mais objeto(s) de áudio renderizado(s), um ou mais objeto(s) de áudio do segundo grupo de um ou mais objeto(s) de áudio renderizado(s) e um ou mais canal(is) convertido(s) para obter um ou mais canal(is) de áudio decodificado.
[0140] Na figura 9, uma aplicação particular de um dispositivo decodificador é ilustrada. 0 codificador de SAOC (815) (o codificador de SAOC (815) é opcional, consulte figura 8) e o decodificador de SAOC (915) (consulte figura 9) para sinais de objeto são com base na tecnologia de MPEG SAOC. O sistema é capaz de decifrar, modificar e renderizar um número de objetos de áudio com base em um número menor de canais transmitidos e dados paramétricos adicionais (OLDs, IOCs, DMGs) (OLD | object level difference = diferença do nivel do objeto, IOC | inter object correlation = correlação intraobjeto, DMG | downmix gain = ganho de downmix). Os dados paramétricos adicionais exibem uma taxa de dados significantemente inferior do que é necessário para transmitir todos os objetos individualmente, tornando a codificação muito eficiente.
[0141] 0 codificador de SAOC (815) toma como entrada o objeto/sinais do canal como formas de onda monofônicas e emite as informações paramétricas (que são embaladas no fluxo continuo de dados de áudio 3D) e os canais de transporte SAOC (que são codificados utilizando os elementos de canal único e transmitidos).
[0142] O decodificador de SAOC (915) reconstrói o objeto/sinais do canal dos canais de transporte SAOC decodificados e informações paramétricas e gera a cena de áudio de saida com base no layout de reprodução, nas informações de metadados do objeto descomprimido e opcionalmente nas informações de interação do usuário.
[0143] Com referência ao codec dos metadados do objeto, para cada objeto, os metadados associados que especificam a posição geométrica e dispersão do objeto no espaço 3D são eficientemente codificados pela quantização das propriedades do objeto no tempo e espaço, por exemplo, pelo codificador de metadados (818) da figura 8. Os metadados comprimidos do objeto cOAM (cOAM | compressed audio object metadata = metadados comprimidos do objeto de áudio) são transmitidos ao receptor como informações laterais. No receptor o cOAM é decodificado pelo decodificador de metadados (918).
[0144] Por exemplo, na figura 9, o decodificador de metadados 918 pode, por exemplo, implementar um processador de metadados do objeto de acordo com uma das aplicações descritas acima.
[0145] Um renderizador de objeto, por exemplo, renderizador de objeto (920) da figura 9, utiliza os metadados comprimidos do objeto para gerar formas de onda do objeto de acordo com o dado formato de reprodução. Cada objeto é renderizado para certos canais de saida de acordo com seus metadados. A saida desse bloco resulta da soma dos resultados parciais.
[0146] Por exemplo, na figura 9, o renderizador de objeto (920) pode, por exemplo, ser implementado de acordo com uma das aplicações descritas acima.
[0147] Na figura 9, o decodificador de metadados (918) pode, por exemplo, ser implementado como um processador de metadados do objeto conforme descrito de acordo com uma das aplicações descritas acima ou descritas abaixo, descrito com referência à figura de 1 a 7 e figura 11 à figura 15 e o renderizador de objeto (920) pode, por exemplo, ser implementado como um renderizador de objeto conforme descrito de acordo com uma das aplicações descritas acima ou descritas abaixo, descrito com referência à figura 1 a 7 e figura 11 a figura 15. O decodificador de metadados (918) e o renderizador de objeto (920) pode, por exemplo, juntos implementar um aparelho (917) para gerar sinais de alto-falante conforme descrito acima ou conforme descrito abaixo com referência à figura 1 a 7 e figura 11 a figura 15.
[0148] Se tanto o conteúdo com base no canal quanto os objetos discretos/paramétricos forem decodificados, as formas de onda com base no canal e as formas de onda do objeto renderizadas são misturadas antes de emitir as formas de onda resultantes, por exemplo, pelo misturador (930) da figura 9 (ou antes de inseri-los a um módulo do pós-processador como o renderizador binaural ou o módulo do renderizador do altofalante).
[0149] Um módulo do renderizador binaural (940), pode, por exemplo, produzir um downmix binaural do material de áudio multicanal, de modo que cada canal de entrada seja representado por uma fonte sonora virtual. O processamento é conduzido por estruturas no dominio de QMF. A binauralização pode, por exemplo, ser com base nas respostas de impulso da sala binaural medido.
[0150] Um renderizador do alto-falante (922) pode, por exemplo, converter entre a configuração do canal transmitido e o formato de reprodução desejado. É, assim, chamado de conversor de formato (922) a seguir. 0 conversor de formato (922) realiza conversões em números inferiores dos canais de saida, por exemplo, ele cria downmix. 0 sistema gera automaticamente as matrizes de downmix otimizada para a dada combinação de formatos de entrada e saida e aplica essas matrizes em um processo de downmix. 0 conversor de formato (922) possibilita as configurações padrões do alto-falante bem como as configurações aleatórias com posições do alto-falante não padrões.
[0151] A figura 10 ilustra uma estrutura de um conversor de formato. A figura 10 ilustra um configurador de downmix (1010) e um processador de downmix para processamento do downmix no dominio de QMF (dominio de QMF | quadrature mirror filter domain = dominio do filtro em espelho de quadratura).
[0152] De acordo com algumas aplicações, o renderizador de objeto (920) pode ser configurado para realizar o remapeamento do objeto de áudio relacionado à tela conforme descrito em relação à uma da pluralidade de aplicações descrita acima que foi descrita com referência à figura 1 a figura 7, ou conforme descrito em relação à uma da pluralidade de aplicações descritas abaixo que será descrita com referência à figura 11 a figura 15.
[0153] A seguir, as aplicações adicionais e conceitos de aplicações da presente invenção são descritas.
[0154] De acordo com algumas aplicações, o controle do usuário de objetos pode, por exemplo, empregar metadados descritivos, por exemplo, informações sobre a existência do objeto dentro do fluxo continuo de dados e propriedades de alto nivel dos objetos e pode, por exemplo, empregar metadados restritivos, por exemplo, informações sobre como a interação é possivel ou habilitada pelo criador do conteúdo.
[0155] De acordo com algumas aplicações, a sinalização, entrega e renderização dos objetos de áudio podem, por exemplo, empregar metadados de posição, metadados estruturais, por exemplo, agrupamento e hierarquia de objetos, uma capacidade de renderizar ao alto-falante especifico e sinalizar o conteúdo do canal como objetos e meios para adaptar a cena do objeto ao tamanho da tela.
[0156] As aplicações fornecem novos campos de metadados onde desenvolvidos além da posição geométrica já definida e nivel do objeto no espaço 3D.
[0157] Se uma cena de áudio com base em objeto é reproduzida em diferentes configurações de reprodução, de acordo com algumas aplicações, as posições das fontes sonoras renderizadas pode, por exemplo, ser automaticamente escaladas na dimensão da reprodução. No caso de o conteúdo audiovisual ser apresentado, a renderização padrão dos objetos de áudio para a reprodução pode, por exemplo, levar a uma violação da coerência audiovisual de posição como localizações da fonte sonora e a posição do originador visual do som pode, por exemplo, não ser mais consistente.
[0158] Para evitar esse efeito, uma possibilidade pode, por exemplo, ser empregada para sinalizar que os objetos de áudio não são destinados para uma posição disparada no espaço 3D, mas cuja posição deveria mudar com o tamanho de uma tela na configuração de reprodução. De acordo com algumas aplicações, um tratamento especial desses objetos de áudio e uma definição para um algoritmo de escala por cena pode, por exemplo, possibilitar uma experiência mais imersiva, pois a reprodução pode, por exemplo, ser otimizada nas caracteristicas locais do ambiente de reprodução.
[0159] Em algumas aplicações, um renderizador ou um módulo de pré-processamento pode, por exemplo, considerar o tamanho da tela local na sala de reprodução e pode, por exemplo, preservar, assim, a relação entre áudio e video em um contexto de filme e jogos. Em tais aplicações, a cena de áudio pode, por exemplo, por exemplo, então ser automaticamente escalada de acordo com a configuração de reprodução, de modo que as posições de elementos visuais e a posição de uma fonte sonora correspondente estejam de acordo. A coerência de posição audiovisual para telas que variam no tamanho pode, por exemplo, ser mantida.
[0160] Por exemplo, de acordo com as aplicações, diálogo e fala pode, por exemplo, ser então percebidos a partir da direção de um alto-falante na tela independentemente do tamanho da tela de reprodução. Isso é então possível para suportar fontes bem como para mover as fontes onde as trajetórias do som e movimento dos elementos visuais devem corresponder.
[0161] A fim de controlar a renderização relacionada à tela, um campo de metadados adicionais é introduzido possibilitando fazer objetos como relacionados à tela. Se o objeto for marcado como relacionado à tela, seus metadados geométricos de posição são remapeados em outros valores antes da renderização. Por exemplo, a figura 13 ilustra uma função de (re)mapeamento exemplar para ângulos de azimute.
[0162] Nomeadamente, algumas aplicações podem, por exemplo, atingir uma função de mapeamento simples que é definida trabalhando no domínio angular (azimute, elevação).
[0163] Além disso, algumas aplicações, podem, por exemplo, perceber que a distância dos objetos não é mudada, nenhum movimento de "zoom" ou virtual em direção à tela ou distante da tela é conduzido, mas uma escala apenas da posição de objetos.
[0164] Além disso, algumas aplicações, podem, por exemplo, controlar as telas de reprodução não centralizadas (
Pois a função de mapeamento não é apenas com base no índice da tela, mas considera as margens de azimute e de elevação da tela.
[0165] Além disso, algumas aplicações, podem, por exemplo, definir funções de mapeamento especiais para objetos na tela. De acordo com algumas aplicações, as funções de mapeamento para azimute e elevação podem, por exemplo, ser independentes, assim pode ser escolhido remapear apenas os valores de azimute ou de elevação.
[0166] A seguir, as aplicações adicionais são fornecidas.
[0167] A figura 11 ilustra a renderização de áudio com base em objeto de acordo com uma aplicação. Os objetos de áudio podem, por exemplo, ser renderizados no lado de reprodução utilizando os metadados e informações sobre o ambiente de reprodução. Tais informações são, por exemplo, o número de alto-falantes ou o tamanho da tela. 0 renderizador (1110) pode, por exemplo, calcular os sinais de alto-falante com base nos dados geométricos e nos alto-falantes disponíveis e suas posições.
[0168] Agora, um pré-processador dos metadados do objeto (1210) de acordo com uma aplicação é descrito com referência à figura 12.
[0169] Na figura 12, o processador de metadados do objeto (1210) é configurado para conduzir o remapeamento que considera o tamanho da tela local e realiza o mapeamento dos metadados geométricos.
[0170] Os dados de posição dos objetos relacionados à tela são remapeados pelo processador de metadados do objeto (1210). Uma curva pode, por exemplo, ser aplicada mapeando o ângulo original de azimute e elevação da posição em um ângulo de azimute mapeado e um de elevação remapeado.
[0171] O tamanho da tela de uma tela de referência nominal, por exemplo, empregado no processo de mistura e monitoramento e informação do tamanho de tela local na sala de reprodução pode, por exemplo, ser considerado para o remapeamento.
[0172] A tela de referência tamanho, que pode, por exemplo, ser referida como tamanho da tela de produção, pode, por exemplo, ser transmitida nos metadados.
[0173] Em algumas aplicações, se nenhum tamanho nominal da tela é dado, um tamanho da tela predefinido pode, por exemplo, ser assumido.
[0174] Por exemplo, um ângulo de visualização definido em ITU-R REC-BT.2022 (consulte: General viewing conditions for subjective assessment of quality of SDTV and HDTV television pictures on flat panel displays) pode, por exemplo, ser utilizado.
[0175] Em algumas aplicações, duas funções de mapeamento linear podem, por exemplo, ser definidas para o remapeamento dos valores de elevação e azimute.
[0176] A seguir, a modificação dos metadados geométricos relacionados à tela de acordo com algumas aplicações é descrita com referência à figura 13 a figura 15.
[0177] O azimute remapeado pode considerar os valores entre -180° e 180° e a elevação remapeada pode considerar os valores entre -90° e 90°. A curva do mapeamento é, no geral, definida de modo que os valores de azimute entre um azimute de margem esquerda padrão e um azimute de margem direta padrão sejam mapeados (comprimidos ou expandidos) ao intervalo entre a dada margem da tela esquerda e a dada margem da tela direita (e corretamente para a elevação). Os outros valores de azimute e de elevação são comprimidos ou expandidos corretamente, de modo que toda a faixa de valores seja coberta.
[0178] Conforme já descrito acima, as margens da tela do tamanho nominal da tela podem, por exemplo, ser dadas por:
[0179]
[0180] As margens da tela de reprodução podem, por exemplo, ser abreviadas por:
[0181]
[0182] 0 remapeamento dos dados de posição de azimute e elevação pode, por exemplo, ser definido pelas seguintes funções de mapeamento linear:
[0183] A função de mapeamento para o azimute é retratada na figura 13 e a função de mapeamento para a elevação é retratada na figura 14. rnio/ii -.nominal -.nominal /ÿnominal r\nominal
[0184] 0s pontos
das curvas onde o gradiente muda podem ser definidos como valores padrão (tamanho da tela padrão assumido predefinido e posição da tela padrão assumida predefinida) ou eles podem estar presentes nos metadados (por exemplo, pelo produtor, que poderia então colocar o tamanho de produção / monitoramento da tela ali).
[0185] Com referência à definição dos metadados do objeto para à tela remapeamento relacionado à tela, a fim de controlar a renderização relacionada à tela, um indicador de metadados adicional chamado isScreenRelativeObject definido. Esse indicador pode, por exemplo, definir, se um objeto de áudio deveria ser processador/renderizado em relação ao tamanho da tela de reprodução local.
[0186] Se houver elementos relacionados à tela presentes na cena de áudio, então a possibilidade é oferecida para fornecer as informações de tamanho da tela de uma tela de referência nominal que foi utilizada para misturar e monitorar (tamanho da tela utilizado durante a produção do conteúdo de áudio).
[0187] Tabela 4 — Sintaxe de ObjectMetadataConfig(), de acordo com uma aplicação:
hasScreenRelativeObjects Esse indicador especifica se objetos relativos à tela estão presentes. hasScreensize Esse indicador especifica se um tamanho nominal da tela é definido. A definição é feita através dos ângulos de visualização correspondentes às margens da tela. No caso de hasScreenSize ser zero, os seguintes valores são utilizados como predefinidos: 
bsScreensizeAz Esse campo define o azimute correspondente à margem da tela direita e esquerda: 
bsScreensizeTopEl Esse campo define a elevação correspondente à margem superior da tela: 
bsScreenSizeBottomEl Esse campo define a elevação correspondente à margem inferior da tela: 
isScreenRelativeObject Esse indicador define se uma posição do objeto é relativa à tela (a posição deveria ser renderizada de forma diferente, de modo que sua posição seja remapeada, mas pode ainda conter todos os valores angulares válidos).
[0188] De acordo com uma aplicação, se nenhum tamanho da tela de reprodução for dado, então qualquer tamanho da tela predefinido de reprodução e uma posição da tela de produção predefinida é assumida, ou nenhum mapeamento é aplicado, mesmo se um objeto estiver marcado como relacionado à tela.
[0189] Algumas das aplicações realizam as possiveis variações.
[0190] Em algumas aplicações, as funções de mapeamento não lineares são empregadas. Essas possiveis funções de mapeamento não consistem em segmentos lineares, mas são em vez disso curvadas. Em algumas aplicações, metadados adicionais controlam a forma de remapeamento, por exemplo, definindo os coeficientes de deslocamentos ou não lineares para representar o comportamento de posicionamento ou a resolução da audição.
[0191] Algumas aplicações realizam o processamento independente de azimute e elevação. Azimute e elevação poderiam ser marcados e processados como relacionados à tela independentemente. A Tabela 5 ilustra a sintaxe de ObjectMetadataConfig() de acordo com tal aplicação.
[0192] Tabela 5: Sintaxe de ObjectMetadataConfig() de acordo com uma aplicação:
[0193] Algumas aplicações empregam uma definição dos objetos na tela. Pode ser distinguido entre objetos relacionados à tela e objetos na tela. Uma possível sintaxe então poderia ser a seguinte da tabela 6:
[0194] Tabela 6 — Sintaxe de ObjectMetadataConfig() de acordo com uma aplicação:
hasOnScreenObjects isScreenRelatedObject Esse indicador especifica se objetos relacionados à tela estão presentes. Esse indicador define se uma posição do objeto é relativa à tela (a posição deveria ser 59/105 51/55 renderizada de forma diferente, de modo que sua posição seja remapeada, mas pode ainda conter todos os valores angulares válidos). isOnScreenObject Esse indicador define se o objeto correspondente está "na tela". Objetos onde esse indicador é igual a 1 devem ser renderizados de forma diferente de modo que sua posição possa apenas considerar valores na área da tela.
[0195] Para objetos na tela, o azimute e a elevação remapeados podem apenas tomar valores que descrevam as posições na área da tela
[0196] Conforme observado por algumas aplicações, há diferentes possibilidades de tratar os valores fora dessas faixas: eles poderiam ser mapeados ás margens da tela. No hemisfério esquerdo as posições entre 180° e 180°
- são mapeadas na margem da tela esquerdaÿ'
0 hemisfério direito e os ângulos de elevação são tratados da mesma forma (função de mapeamento não tracejada (1510) na figura 15).
[0197] Outra possibilidade percebida por algumas das aplicações é mapear os valores dos hemisférios traseiros ao hemisfério frontal. Os valores entre 180° e 180°
- (3"mmalsão mapeados aos valores entre
. O hemisfério direito e os ângulos de elevação são tratados da mesma forma (função tracejada de mapeamento (1520) na figura 15).
[0198] A figura 15 ilustra o remapeamento dos ângulos de azimute (objetos na tela) de acordo com essas aplicações.
[0199] A escolha do comportamento desejado poderia ser sinalizada por metadados adicionais (por exemplo, um indicador para "projetar" todos os objetos na tela destinados para a parte traseira ([180° e 180°
e [-180° e -180° - 
na tela).
[0200] Embora alguns aspectos tenham sido descritos no contexto de um aparelho, é evidente que esses aspectos também representam uma descrição do método correspondente, no qual um bloco ou dispositivo corresponde a uma etapa do método ou uma caracteristica de uma etapa do método. De forma análoga, os aspectos descritos no contexto de uma etapa do método também representam uma descrição de um bloco correspondente ou de um item ou uma caracteristica de um aparelho correspondente.
[0201] O sinal inventivo decomposto pode ser armazenado em um meio de armazenamento digital ou pode ser transmitido por um meio de transmissão, tal como um meio de transmissão sem fio ou um meio de transmissão cabeado, tal como a Internet.
[0202] Dependendo de certas exigências de implementação, as aplicações da invenção podem ser implementadas em hardware ou em software. A implementação pode ser realizada utilizando-se um meio de armazenamento digital, por exemplo, um disquete, um DVD, um CD, uma memória ROM, uma PROM, uma EPROM, uma EEPROM ou uma memória FLASH, tendo sinais de controle eletronicamente legiveis armazenados nele (ou são capazes de cooperar) com um sistema de computador programável, de modo que o respectivo método seja realizado.
[0203] Algumas aplicações, de acordo com a invenção, compreendem um transportador de dados não transitório tendo sinais de controle eletronicamente legiveis, que são capazes de cooperar com um sistema de computador programável, de modo que um dos métodos descritos neste documento seja realizado.
[0204] De forma geral, as aplicações da presente invenção podem ser implementadas como um produto do programa de computador com um código do programa, com o código do programa sendo operativo para realizar um dos métodos quando o produto do programa de computador é executado em um computador. O código do programa pode, por exemplo, ser armazenado em um transportador legivel por máquina.
[0205] Outras aplicações compreendem o programa de computador para realizar um dos métodos descritos neste documento, armazenados em um transportador legivel por máquina.
[0206] Em outras palavras, uma aplicação do método inventivo é, portanto, um programa de computador tendo um código do programa para realizar um dos métodos descritos neste documento, quando o programa de computador é executado em um computador.
[0207] Outra aplicação dos métodos inventivos é, portanto, um transportador de dados (ou um meio de armazenamento digital, ou um meio legivel por computador) compreendendo, gravado nele, o programa de computador para realizar um dos métodos descritos neste documento.
[0208] Outra aplicação do método inventivo é, portanto, um fluxo de dados ou uma sequência de sinais que representa o programa de computador para realizar um dos métodos descritos neste documento. 0 fluxo de dados ou a sequência de sinais pode, por exemplo, ser configurada para ser transferida por meio de uma conexão de comunicação de dados, por exemplo, pela Internet.
[0209] Outra aplicação compreende um meio de processamento, por exemplo, um computador ou um dispositivo lógico programável, configurado ou adaptado para realizar um dos métodos descritos neste documento.
[0210] Outra aplicação compreende um computador, em que o programa de computador para realizar um dos métodos descritos neste documento está instalado nele.
[0211] Em algumas aplicações, um dispositivo lógico programável (por exemplo, um arranjo de portas de campo programáveis) pode ser utilizado para realizar algumas ou todas as funcionalidades dos métodos descritos neste documento. Em algumas aplicações, um arranjo de portas de campo programáveis pode cooperar com um microprocessador, a fim de realizar um dos métodos descritos neste documento. De forma geral, os métodos são preferivelmente realizados por qualquer aparelho de hardware.
[0212] As aplicações descritas acima são meramente ilustrativas para os princípios da presente invenção. Entendese que as modificações e as variações das disposições, e os detalhes descritos no presente documento, serão evidentes a outros especialistas na técnica. É intenção da invenção, portanto, ser limitada apenas pelo escopo das reivindicações da patente anexas e não pelos detalhes específicos apresentados em forma de descrição e explicação das aplicações no presente documento.
[0213] [1] "Method and apparatus for playback of a higher-order ambisonics audio signal", Pedido de Patente N° EP20120305271.
[0214] [2] "Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition", Pedido de Patente N° W02004073352A1.
[0215] [3] "Verfahren zur Audiocodierung", Pedido de Patente N° EP20020024643.
[0216] [4] "Acoustical Zooming Based on a Parametric Sound Field Representation" http://www.aes.org/tmpFiles/elib/20140814/15417.pdf.
Claims (14)
1. Um aparelho para gerar sinais de altofalante, caracterizado por compreender: um processador (110) de metadados do objeto, e um renderizador (120) de objeto, em que o renderizador (120) de objeto é configurado para receber um objeto de áudio, em que o processador (110) de metadados do objeto é configurado para receber metadados, compreendendo uma indicação sobre se o objeto de áudio é relacionado à tela, e compreendendo, ainda, uma primeira posição do objeto de áudio, em que o processador (110) de metadados do objeto é configurado para calcular uma segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo de um tamanho de uma tela, se o objeto de áudio for indicado nos metadados como sendo relacionado à tela, em que o renderizador (120) de objeto é configurado para gerar os sinais de alto-falante dependendo do objeto de áudio e dependendo da informação de posição, em que o processador (110) de metadados do objeto é configurado para inserir a primeira posição do objeto de áudio como a informação de posição no renderizador (120) de objeto, se o objeto de áudio for indicado nos metadados como não sendo relacionado à tela, e em que o processador (110) de metadados do Petição 870200109249, de 28/08/2020, pág. 9/132 objeto é configurado para inserir a segunda posição do objeto de áudio como a informação de posição no renderizador (120) de objeto, se o objeto de áudio for indicado nos metadados como sendo relacionados à tela.
2. Um aparelho de acordo com a reivindicação 1, caracterizado pelo processador (110) de metadados do objeto ser configurado para não calcular a segunda posição do objeto de áudio, se o objeto de áudio for indicado nos metadados como não sendo relacionado à tela.
3. Um aparelho de acordo com a reivindicação 1 ou 2, caracterizado pelo renderizador (120) de objeto ser configurado para não determinar se a informação de posição for a primeira posição do objeto de áudio ou a segunda posição do objeto de áudio.
4. Um aparelho de acordo com uma das reivindicações anteriores, caracterizado pelo renderizador (120) de objeto ser configurado para gerar os sinais de alto-falante dependendo, ainda, do número de alto-falantes de um ambiente de reprodução.
5. Um aparelho de acordo com a reivindicação 4, caracterizado pelo renderizador (120) de objeto ser configurado para gerar os sinais de alto-falante dependendo, ainda, de uma posição do alto-falante de cada um dos alto-falantes do ambiente de reprodução.
6. Um aparelho de acordo com uma das reivindicações anteriores, caracterizado pelo processador (110) de metadados do objeto ser configurado para calcular Petição 870200109249, de 28/08/2020, pág. 10/132 a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, se o objeto de áudio estiver indicado nos metadados como sendo relacionado à tela, em que a primeira posição indica a primeira posição em um espaço tridimensional, e em que a segunda posição indica a segunda posição no espaço tridimensional.
7. Um aparelho de acordo com a reivindicação 6, caracterizado pelo processador (110) de metadados do objeto ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, se o objeto de áudio estiver indicado nos metadados como estando relacionado à tela, em que a primeira posição indica um primeiro azimute, uma primeira elevação e uma primeira distância, e em que a segunda posição indica um segundo azimute, uma segunda elevação e uma segunda distância.
8. Um aparelho de acordo com uma das reivindicações anteriores, caracterizado pelo processador (110) de metadados do objeto ser configurado para receber os metadados, compreendendo a indicação sobre se o objeto de áudio é relacionado à tela como uma primeira indicação, e compreendendo, ainda, uma segunda indicação, se o objeto de áudio estiver relacionado à tela, a referida segunda indicação indicando se o objeto de áudio é um objeto na tela, e em que o processador (110) de metadados do Petição 870200109249, de 28/08/2020, pág. 11/132 objeto é configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, de modo que a segunda posição toma um primeiro valor em uma área de exibição da tela, se a segunda indicação indicar que o objeto de áudio é um objeto na tela.
9. Um aparelho de acordo com a reivindicação 8, caracterizado pelo processador (110) de metadados do objeto ser configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo do tamanho da tela, de modo que a segunda posição tome um segundo valor, que está na área de exibição ou não está na área de exibição, se a segunda indicação indicar que o objeto de áudio não é um objeto na tela.
10. Um aparelho de acordo com uma das reivindicações 1 a 7, caracterizado pelo processador (110) de metadados do objeto ser configurado para receber os metadados, compreendendo a indicação sobre se o objeto de áudio é relacionado à tela como uma primeira indicação, e compreendendo, ainda, uma segunda indicação, se o objeto de áudio estiver relacionado à tela, a referida segunda indicação indicando se o objeto de áudio é um objeto na tela, em que o processador (110) de metadados do objeto é configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de Petição 870200109249, de 28/08/2020, pág. 12/132 áudio, dependendo do tamanho da tela, e dependendo de uma primeira curva do mapeamento como a curva do mapeamento, se a segunda indicação indicar que o objeto de áudio é um objeto na tela, em que a primeira curva do mapeamento define um mapeamento das posições do objeto original em um primeiro intervalo de valor nas posições do objeto remapeado em um segundo intervalo de valor, e em que o processador (110) de metadados do objeto é configurado para calcular a segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio, dependendo do tamanho da tela, e dependendo de uma segunda curva do mapeamento como a curva do mapeamento, se a segunda indicação indicar que o objeto de áudio não é um objeto na tela, em que a segunda curva do mapeamento define um mapeamento das posições do objeto original no primeiro intervalo de valor para as posições do objeto remapeado em um terceiro intervalo de valor, e em que o referido segundo intervalo de valor é compreendido pelo terceiro intervalo de valor, e em que o referido segundo intervalo de valor é menor que o referido terceiro intervalo de valor.
11. Um aparelho de acordo com a reivindicação 10, caracterizado por cada dentre o primeiro intervalo de valor, o segundo intervalo de valor e o terceiro intervalo de valor ser um intervalo de valor de ângulos de azimute, ou em que cada dentre o primeiro intervalo de valor e o segundo intervalo de valor e o terceiro intervalo Petição 870200109249, de 28/08/2020, pág. 13/132 de valor é um intervalo de valor de ângulos de elevação.
12. Um aparelho de acordo com uma das reivindicações anteriores, caracterizado pelo processador (110) de metadados do objeto ser configurado para calcular a segunda posição do objeto de áudio dependendo de pelo menos um dentre uma primeira função de mapeamento linear e uma segunda função de mapeamento linear, em que a primeira função de mapeamento linear é definida para mapear um primeiro valor de azimute para um segundo valor de azimute, em que a segunda função de mapeamento linear é definida para mapear um primeiro valor de elevação para um segundo valor de elevação, em que indica uma referência da margem de exibição do azimute esquerdo, em que indica uma referência da margem de exibição do azimute esquerdo, em que indica uma referência da margem de exibição de elevaçao superior, em que indica uma referência da margem de exibição de elevação inferior, em que indica uma margem de exibição do azimute esquerdo da tela em que indica uma margem de exibição do azimute direito da tela, em que indica uma margem de exibição de elevaçao superior da tela Petição 870200109249, de 28/08/2020, pág. 14/132 em que indica uma margem de exibição de elevação inferior da tela, em que indica o primeiro valor de azimute, azimute, em que indica o segundo valor de elevaçao, elevação, em que em que indica o primeiro valor de indica o segundo valor de em que o segundo valor de azimute resulta de um primeiro mapeamento do primeiro valor de azimute de acordo com a primeira função de mapeamento linear de acordo com , e em que o segundo valor de elevação resulta de um segundo mapeamento do primeiro valor de elevação de acordo com a segunda função de mapeamento linear de acordo com Petição 870200109249, de 28/08/2020, pág. 15/132
13. Um dispositivo decodificador, caracterizado por compreender: um decodificador de USAC (910) para decodificar um fluxo continuo de dados para obter um ou mais canal(is) de entrada de áudio, para obter um ou mais objeto(s) de entrada de áudio, para obter metadados comprimidos do objeto e para obter um ou mais canal(is) de transporte SAOC, um decodificador de SAOC (915) para decodificar um ou mais canal(is) de transporte SAOC para obter um primeiro grupo de um ou mais objeto(s) de áudio renderizado(s), um aparelho (917), de acordo com uma das reivindicações anteriores, em que o aparelho compreende um decodificador (918) de metadados de objeto, sendo o processador (110) de metadados do objeto do aparelho, de acordo com uma das reivindicações anteriores, e sendo implementado para decodificar os metadados comprimidos do objeto para obter metadados não comprimidos, e o renderizador de objeto (920; 120) do aparelho, de acordo com uma das reivindicações anteriores, Petição 870200109249, de 28/08/2020, pág. 16/132 para renderizar um ou mais objeto(s) de entrada de áudio dependendo dos metadados não comprimidos para obter um segundo grupo de um ou mais objeto(s) de áudio renderizado(s), um conversor de formato (922) para converter um ou mais canal(is) de entrada de áudio para obter um ou mais canal(is) convertido(s), e um misturador (930) para misturar um ou mais objeto(s) de áudio do primeiro grupo de um ou mais objeto(s) de áudio renderizado(s), um ou mais objeto(s) de áudio do segundo grupo de um ou mais objeto(s) de áudio renderizado(s) e um ou mais canal(is) convertido(s) para obter um ou mais canal(is) de áudio decodificado.
14. Um método para gerar sinais de altofalante, caracterizado por compreender: receber um objeto de áudio, receber metadados, compreendendo uma indicação sobre se o objeto de áudio é relacionado à tela, e compreendendo, ainda, uma primeira posição do objeto de áudio, calcular uma segunda posição do objeto de áudio dependendo da primeira posição do objeto de áudio e dependendo de um tamanho de uma tela, se o objeto de áudio for indicado nos metadados como sendo relacionado à tela, gerar os sinais de alto-falante dependendo do objeto de áudio e dependendo da informação de posição, em que a informação de posição é a primeira posição do objeto de áudio, se o objeto de áudio for Petição 870200109249, de 28/08/2020, pág. 17/132 indicado posição indicado nos metadados como sendo não relacionado à tela, e em que a informação de posição é a segunda do objeto de áudio, se o objeto de áudio for nos metadados como sendo relacionado à tela.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14161819.9 | 2014-03-26 | ||
| EP14161819 | 2014-03-26 | ||
| EP14196769.5 | 2014-12-08 | ||
| EP14196769.5A EP2928216A1 (en) | 2014-03-26 | 2014-12-08 | Apparatus and method for screen related audio object remapping |
| PCT/EP2015/056417 WO2015144766A1 (en) | 2014-03-26 | 2015-03-25 | Apparatus and method for screen related audio object remapping |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112016022045A2 BR112016022045A2 (pt) | 2017-08-22 |
| BR112016022045B1 true BR112016022045B1 (pt) | 2022-09-27 |
Family
ID=52015948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112016022045-5A BR112016022045B1 (pt) | 2014-03-26 | 2015-03-25 | Aparelho e método para remapeamento do objeto de áudio relacionado à tela |
Country Status (19)
| Country | Link |
|---|---|
| US (4) | US10192563B2 (pt) |
| EP (4) | EP2928216A1 (pt) |
| JP (4) | JP6422995B2 (pt) |
| KR (1) | KR101920356B1 (pt) |
| CN (2) | CN106463128B (pt) |
| AR (1) | AR099835A1 (pt) |
| AU (1) | AU2015238354B2 (pt) |
| BR (1) | BR112016022045B1 (pt) |
| CA (1) | CA2943570C (pt) |
| ES (2) | ES2723965T3 (pt) |
| FI (1) | FI3487189T3 (pt) |
| MX (1) | MX355455B (pt) |
| MY (1) | MY184715A (pt) |
| PL (2) | PL3123741T3 (pt) |
| PT (2) | PT3487189T (pt) |
| RU (1) | RU2683380C2 (pt) |
| SG (1) | SG11201607953TA (pt) |
| TW (1) | TWI595785B (pt) |
| WO (1) | WO2015144766A1 (pt) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2830052A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension |
| EP2928216A1 (en) | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
| US9940937B2 (en) * | 2014-10-10 | 2018-04-10 | Qualcomm Incorporated | Screen related adaptation of HOA content |
| CN115243075A (zh) | 2014-10-10 | 2022-10-25 | 索尼公司 | 再现装置和再现方法 |
| CN106303897A (zh) | 2015-06-01 | 2017-01-04 | 杜比实验室特许公司 | 处理基于对象的音频信号 |
| CN113242448B (zh) * | 2015-06-02 | 2023-07-14 | 索尼公司 | 发送装置和方法、媒体处理装置和方法以及接收装置 |
| RU2721750C2 (ru) | 2015-07-16 | 2020-05-21 | Сони Корпорейшн | Устройство обработки информации, способ обработки информации и программа |
| DE102015220595A1 (de) * | 2015-10-22 | 2017-04-27 | Robert Bosch Gmbh | Batteriezelle mit teilweise flexibel formbarer Wandung |
| US10251007B2 (en) | 2015-11-20 | 2019-04-02 | Dolby Laboratories Licensing Corporation | System and method for rendering an audio program |
| US9854375B2 (en) * | 2015-12-01 | 2017-12-26 | Qualcomm Incorporated | Selection of coded next generation audio data for transport |
| US20170325043A1 (en) * | 2016-05-06 | 2017-11-09 | Jean-Marc Jot | Immersive audio reproduction systems |
| WO2017208820A1 (ja) | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
| US10979844B2 (en) | 2017-03-08 | 2021-04-13 | Dts, Inc. | Distributed audio virtualization systems |
| KR102490786B1 (ko) * | 2017-04-13 | 2023-01-20 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 그리고 프로그램 |
| US20200126582A1 (en) * | 2017-04-25 | 2020-04-23 | Sony Corporation | Signal processing device and method, and program |
| WO2019013400A1 (ko) * | 2017-07-09 | 2019-01-17 | 엘지전자 주식회사 | 비디오 화면 줌에 연동되는 오디오 출력 방법 및 출력 장치 |
| JP6988904B2 (ja) * | 2017-09-28 | 2022-01-05 | 株式会社ソシオネクスト | 音響信号処理装置および音響信号処理方法 |
| WO2019149337A1 (en) * | 2018-01-30 | 2019-08-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs |
| JPWO2019171907A1 (ja) * | 2018-03-08 | 2021-03-04 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
| KR102637876B1 (ko) | 2018-04-10 | 2024-02-20 | 가우디오랩 주식회사 | 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치 |
| BR112020026728A2 (pt) * | 2018-07-04 | 2021-03-23 | Sony Corporation | Dispositivo e método de processamento de informação, e, meio de armazenamento legível por computador |
| GB2577698A (en) * | 2018-10-02 | 2020-04-08 | Nokia Technologies Oy | Selection of quantisation schemes for spatial audio parameter encoding |
| JP2023517709A (ja) * | 2020-03-16 | 2023-04-26 | ノキア テクノロジーズ オサケユイチア | エンコードされた６ｄｏｆオーディオビットストリームのレンダリング及び遅延型更新 |
| US11743670B2 (en) * | 2020-12-18 | 2023-08-29 | Qualcomm Incorporated | Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications |
| GB202118094D0 (en) * | 2021-12-14 | 2022-01-26 | Nokia Technologies Oy | A method and apparatus for AR scene modification |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030007648A1 (en) * | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
| DE10154932B4 (de) | 2001-11-08 | 2008-01-03 | Grundig Multimedia B.V. | Verfahren zur Audiocodierung |
| DE10305820B4 (de) | 2003-02-12 | 2006-06-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition |
| US7606372B2 (en) * | 2003-02-12 | 2009-10-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for determining a reproduction position |
| US7548657B2 (en) * | 2005-06-25 | 2009-06-16 | General Electric Company | Adaptive video compression of graphical user interfaces using application metadata |
| JP5174527B2 (ja) * | 2008-05-14 | 2013-04-03 | 日本放送協会 | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
| WO2010008198A2 (en) | 2008-07-15 | 2010-01-21 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
| KR101387902B1 (ko) * | 2009-06-10 | 2014-04-22 | 한국전자통신연구원 | 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더 |
| KR101842411B1 (ko) * | 2009-08-14 | 2018-03-26 | 디티에스 엘엘씨 | 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템 |
| BR112012007138B1 (pt) | 2009-09-29 | 2021-11-30 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos |
| KR101490725B1 (ko) * | 2010-03-23 | 2015-02-06 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 비디오 디스플레이 장치, 오디오-비디오 시스템, 음향 재생을 위한 방법 및 로컬라이즈된 지각적 오디오를 위한 음향 재생 시스템 |
| EP2450880A1 (en) | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
| EP2686848A1 (en) * | 2011-03-18 | 2014-01-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Frame element positioning in frames of a bitstream representing audio content |
| TW202339510A (zh) * | 2011-07-01 | 2023-10-01 | 美商杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
| AU2012279349B2 (en) * | 2011-07-01 | 2016-02-18 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3D audio authoring and rendering |
| EP2637427A1 (en) * | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
| EP2637327A1 (en) | 2012-03-09 | 2013-09-11 | Harman International Industries Ltd. | Audio mixing console with lighting control and method of mixing by means of a mixing console |
| US9190065B2 (en) * | 2012-07-15 | 2015-11-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
| US9516446B2 (en) * | 2012-07-20 | 2016-12-06 | Qualcomm Incorporated | Scalable downmix design for object-based surround codec with cluster analysis by synthesis |
| WO2014032709A1 (en) * | 2012-08-29 | 2014-03-06 | Huawei Technologies Co., Ltd. | Audio rendering system |
| EP2928216A1 (en) * | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
-
2014
- 2014-12-08 EP EP14196769.5A patent/EP2928216A1/en not_active Withdrawn
-
2015
- 2015-03-16 TW TW104108296A patent/TWI595785B/zh active
- 2015-03-25 EP EP15716439.3A patent/EP3123741B1/en active Active
- 2015-03-25 PT PT182483057T patent/PT3487189T/pt unknown
- 2015-03-25 BR BR112016022045-5A patent/BR112016022045B1/pt active IP Right Grant
- 2015-03-25 RU RU2016141642A patent/RU2683380C2/ru active
- 2015-03-25 PL PL15716439T patent/PL3123741T3/pl unknown
- 2015-03-25 CA CA2943570A patent/CA2943570C/en active Active
- 2015-03-25 JP JP2016559292A patent/JP6422995B2/ja active Active
- 2015-03-25 PT PT15716439T patent/PT3123741T/pt unknown
- 2015-03-25 MY MYPI2016001725A patent/MY184715A/en unknown
- 2015-03-25 FI FIEP18248305.7T patent/FI3487189T3/fi active
- 2015-03-25 EP EP23167354.2A patent/EP4254988A3/en active Pending
- 2015-03-25 EP EP18248305.7A patent/EP3487189B1/en active Active
- 2015-03-25 ES ES15716439T patent/ES2723965T3/es active Active
- 2015-03-25 WO PCT/EP2015/056417 patent/WO2015144766A1/en active Application Filing
- 2015-03-25 MX MX2016012286A patent/MX355455B/es active IP Right Grant
- 2015-03-25 ES ES18248305T patent/ES2953685T3/es active Active
- 2015-03-25 AU AU2015238354A patent/AU2015238354B2/en active Active
- 2015-03-25 AR ARP150100877A patent/AR099835A1/es active IP Right Grant
- 2015-03-25 KR KR1020167029805A patent/KR101920356B1/ko active IP Right Grant
- 2015-03-25 CN CN201580026227.6A patent/CN106463128B/zh active Active
- 2015-03-25 SG SG11201607953TA patent/SG11201607953TA/en unknown
- 2015-03-25 CN CN202010076120.5A patent/CN111276153B/zh active Active
- 2015-03-25 PL PL18248305.7T patent/PL3487189T3/pl unknown
-
2016
- 2016-09-23 US US15/274,310 patent/US10192563B2/en active Active
-
2018
- 2018-10-16 JP JP2018194721A patent/JP6734343B2/ja active Active
- 2018-12-28 US US16/236,079 patent/US10854213B2/en active Active
-
2020
- 2020-07-09 JP JP2020118271A patent/JP2020182227A/ja active Pending
- 2020-11-17 US US16/950,768 patent/US11527254B2/en active Active
-
2022
- 2022-11-18 US US18/057,188 patent/US11900955B2/en active Active
-
2023
- 2023-10-06 JP JP2023174101A patent/JP2023175947A/ja active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112016022045B1 (pt) | Aparelho e método para remapeamento do objeto de áudio relacionado à tela | |
| JP7116144B2 (ja) | 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理 | |
| AU2015238694A1 (en) | Apparatus and method for audio rendering employing a geometric distance definition | |
| EP2862370A1 (en) | Rendering and playback of spatial audio using channel-based audio systems | |
| US9858932B2 (en) | Processing of time-varying metadata for lossless resampling | |
| KR20200075826A (ko) | 신호 처리 장치 및 방법, 그리고 프로그램 | |
| GB2568726A (en) | Object prioritisation of virtual content | |
| US20220270626A1 (en) | Method and apparatus in audio processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 25/03/2015, OBSERVADAS AS CONDICOES LEGAIS |