BRPI0719884B1 - método, aparelho e mídia legível por computador para decodificar um sinal de áudio - Google Patents

método, aparelho e mídia legível por computador para decodificar um sinal de áudio Download PDF

Info

Publication number
BRPI0719884B1
BRPI0719884B1 BRPI0719884-1A BRPI0719884A BRPI0719884B1 BR PI0719884 B1 BRPI0719884 B1 BR PI0719884B1 BR PI0719884 A BRPI0719884 A BR PI0719884A BR PI0719884 B1 BRPI0719884 B1 BR PI0719884B1
Authority
BR
Brazil
Prior art keywords
information
signal
mix
downward
multichannel
Prior art date
Application number
BRPI0719884-1A
Other languages
English (en)
Inventor
Hyen O. Oh
Yang Won Jung
Original Assignee
Lg Eletronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lg Eletronics Inc filed Critical Lg Eletronics Inc
Publication of BRPI0719884A2 publication Critical patent/BRPI0719884A2/pt
Publication of BRPI0719884B1 publication Critical patent/BRPI0719884B1/pt

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/20Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

MÉTODO E APARELHO PARA PROCESSAR UM SINAL DE ÁUDIO É revelado um método para processar um sinal de áudio, compreendendo: recebe um sinal de mixagem descendente, uma informação de objeto, e uma informação de mixagem; gerar uma informação de processamento de mixagem descendente utilizando a informação de objeto e a informação de mixagem; processar o sinal de mixagem usando a informação de processamento de mixagem descendente; e, gerar uma informação de multi-canal usando a informação de objeto e a informação de mixagem, em que o número de canal de sinal de mixagem descendente é igual ao número de canal do sinal de mixagem descendente processado.

Description

CAMPO TÉCNICO
A presente invenção se refere a um método e aparelho para processar um sinal de áudio, e mais especificamente, a um método e aparelho para decodificar um sinal de áudio recebido em um meio digital, como um sinal de transmissão, e assim por diante.
FUNDAMENTOS DA TÉCNICA
Enquanto mixando descendentemente vários objetos de áudio para um final mono ou estéreo, os parâmetros a partir dos sinais de objetos individuais podem ser extraídos. Esses parâmetros podem ser utilizados em um decodificador de um sinal de áudio, e o re- posicionamento/pann/ng das fontes individuais pode ser controlado por intermédio de seleção do usuário.
REVELAÇÃO PROBLEMA TÉCNICO
Contudo, para controlar os sinais de objetos individuais, o reposicionamen- io/panning das fontes individuais incluídas em um sinal de mixagem descendente (downmix) deve ser realizado adequadamente.
Contudo, para compatibilidade retroativa com relação ao método de decodificação orientado para canal (como um MPEG Surround), um parâmetro de objeto deve ser convertido de modo flexível em um parâmetro de multicanal exigido no processo e mixagem ascendente.
SOLUÇÃO TÉCNICA
Consequentemente, a presente invenção se refere a um método e aparelho para processar um sinal de áudio que substancialmente obvia um ou mais problemas devido às limitações e desvantagens da técnica relacionada.
Um objetivo da presente invenção é o de prover um método e aparelho para processar um sinal de áudio para controlar ganho de objeto e panningde forma irrestrita.
Outro objetivo da presente invenção é o de prover um método e aparelho para processar um sinal de áudio para controlar ganho de objeto e panningcom base em seleção do usuário.
Vantagens, objetivos e características adicionais a invenção serão apresentados em parte na descrição a seguir e em parte se tornarão evidentes para aqueles de conhecimento comum na técnica a partir do exame do que se segue, ou podem ser aprendidos a partir da prática da invenção. Os objetivos e outras vantagens da invenção podem ser realizados e obtidos através da estrutura particularmente assinalada na descrição escrita e nas suas reivindicações assim como nos desenhos anexos.
EFEITOS VANTAJOSOS
A presente invenção provê os seguintes efeitos ou vantagens.
Em primeiro lugar, a presente invenção é capaz de prover um método e aparelho para processar um sinal de áudio para controlar ganho de objeto e panningde forma irrestrita.
Em segundo lugar, a presente invenção é capaz de prover um método e um aparelho para processar um sinal de áudio para controlar ganho de objeto e panningcom base em seleção de usuário.
DESCRIÇÃO DOS DESENHOS
Os desenhos anexos, os quais são incluídos para prover um entendimento adicional da invenção e são incorporados e constituem uma parte desse pedido, ilustram modalidades da invenção e em conjunto com a descrição servem para explicar o princípio da invenção. Nos desenhos;
A Figura 1 é um diagrama exemplar de blocos para explicar o conceito básico de renderizar um sinal de mixagem descendente com base em configuração de reprodução e controle de usuário.
A Figura 2 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma modalidade da presente invenção correspondendo ao primeiro esquema.
A Figura 3 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com outra modalidade da presente invenção correspondendo ao primeiro esquema.
A Figura 4 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma modalidade da presente invenção correspondendo ao segundo esquema.
A Figura 5 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com outra modalidade da presente invenção correspondendo ao segundo esquema.
A Figura 6 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com outra modalidade da presente invenção correspondendo ao segundo esquema.
A Figura 7 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma modalidade da presente invenção correspondendo ao terceiro esquema.
A Figura 8 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com outra modalidade da presente invenção correspondendo ao terceiro esquema.
A Figura 9 é diagrama exemplar de blocos para explicar o conceito básico da uni- dade de renderização.
As Figuras 10A a 10C são diagramas exemplares de blocos de uma primeira modalidade de uma unidade de processamento de mixagem descendente ilustrada na Figura 7.
A Figura 11 é um diagrama exemplar de blocos de uma segunda modalidade de uma unidade de processamento de mixagem descendente ilustrada na Figura 7.
A Figura 12 é um diagrama exemplar de blocos de uma terceira modalidade de uma unidade de processamento de mixagem descendente ilustrada na Figura 7.
A Figura 13 é um diagrama exemplar de blocos de uma quarta modalidade de uma unidade de processamento de mixagem descendente ilustrada na Figura 7.
A Figura 14 é um diagrama exemplar de blocos de uma estrutura de fluxo de bits de um sinal de áudio compactado de acordo com uma segunda modalidade da presente invenção.
A Figura 15 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma segunda modalidade da presente invenção.
A Figura 16 é um diagrama exemplar de blocos de uma estrutura de fluxo de bits de um sinal de áudio compactado de acordo com uma terceira modalidade da presente invenção.
A Figura 17 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma quarta modalidade da presente invenção.
A Figura 18 é um diagrama exemplar de blocos para explicar o esquema de transmissão para tipo variável de objeto.
A Figura 19 é um diagrama exemplar de blocos para um aparelho para processar um sinal de áudio de acordo com uma quinta modalidade da presente invenção.
MELHOR MODO
Para alcançar esses objetivos e outras vantagens e de acordo com o propósito da invenção, conforme incorporado e amplamente descrito aqui, um método para processar um sinal de áudio, compreendendo receber um sinal de mixagem descendente, uma informação de objeto, e uma informação de mixagem; gerar uma informação de processamento de mixagem descendente utilizando a informação de objeto e a informação de mixagem; processar o sinal de mixagem descendente utilizando a informação de processamento de mixagem descendente, e, gerar uma informação de multicanal utilizando a informação de objeto e a informação de mixagem, em que o número de canal do sinal de mixagem descendente é igual ao número de canal do sinal de mixagem descendente é igual ao número de canal do sinal de mixagem descendente processado.
De acordo com a presente invenção, em que a informação de objeto inclui pelo menos uma de uma informação de nível de objeto e uma informação de correlação de objeto.
De acordo com a presente invenção, em que a informação de processamento de mixagem descendente corresponde a uma informação para controlar panningde objeto se o número de canal da mixagem descendente corresponder a pelo menos dois.
De acordo com a presente invenção, em que a informação de processamento de mixagem descendente corresponde a uma informação para controlar ganho de objeto.
De acordo com a presente invenção, em que o processamento do sinal de mixagem descendente é realizado por um módulo 2x2 no caso em que o sinal de mixagem descendente corresponde a um sinal estéreo.
De acordo com a presente invenção, em que um canal do sinal de mixagem descendente processado corresponde a uma combinação de um canal do sinal de mixagem descendente multiplicado por um primeiro ganho e o outro canal do sinal de mixagem descendente multiplicado por um segundo ganho no caso em que o sinal de mixagem descendente corresponde a um sinal estéreo.
De acordo com a presente invenção, compreendendo ainda, gerar um sinal de saída no domínio de tempo utilizando o sinal de mixagem descendente processado.
De acordo com a presente invenção, em que o sinal de mixagem descendente corresponde a um sinal de domínio de sub-banda gerado através de banco de filtros de análise de sub-banda.
De acordo com a presente invenção, em que a informação de multicanal inclui pelo menos uma de informação de nível de canal e informação de correlação de canal.
De acordo com a presente invenção, compreendendo ainda, gerar um sinal de multicanal utilizando o sinal de mixagem descendente processado e a informação de multicanal.
De acordo com a presente invenção, em que a informação de mixagem é gerada utilizando pelo menos uma de uma informação de posição de objeto e uma informação de configuração de reprodução.
De acordo com a presente invenção, em que o sinal de mixagem descendente é recebido como um sinal de transmissão.
De acordo com a presente invenção, em que o sinal de mixagem descendente é recebido em um meio digital.
De acordo com a presente invenção, em que o sinal de mixagem descendente é recebido como um sinal de transmissão.
De acordo com a presente invenção, em que o sinal de mixagem descendente é recebido em um meio digital.
Em outro aspecto da presente invenção, um método para processar um sinal de áudio, compreendendo: receber um sinal de mixagem descendente, uma informação de objeto, e uma informação de mixagem; decompor o sinal de mixagem descendente em um sinal de sub-banda; gerar uma informação de processamento de mixagem descendente utilizando a informação de objeto e a informação de mixagem; e, processar o sinal de sub- banda utilizando a informação de processamento de mixagem descendente; gerar um sinal de saída utilizando o sinal de sub-banda processado, em que o número de canal do sinal de mixagem descendente é igual ao número do sinal de saída, e o sinal de saída corresponde a um sinal de domínio de tempo.
Em outro aspecto da presente invenção, um meio legível por computador tendo instruções armazenadas no mesmo, as quais, quando executadas por um processador, fazem com que o processador realize operações, compreendendo: receber um sinal de mixagem descendente, uma informação de objeto, e uma informação de mixagem; gerar uma informação de processamento de mixagem descendente utilizando a informação de objeto e a informação de mixagem; processar o sinal de mixagem descendente utilizando a informação de processamento de mixagem descendente; e, gerar uma informação de multicanal utilizando a informação de objeto e a informação de mixagem, em que o número de canal do sinal de mixagem descendente é igual ao número de canal do sinal de mixagem descendente processado.
Em outro aspecto da presente invenção, um meio legível por computador tendo instruções armazenadas no mesmo, as quais, quando executadas por um processador, fazem com que o processador realize operações, compreendendo: receber um sinal de mixagem descendente, uma informação de objeto e uma informação de mixagem; decompor o sinal de mixagem descendente em um sinal de sub-banda; gerar uma informação de processamento de mixagem descendente utilizando a informação de objeto e a informação de mixagem; e, processar o sinal de sub-banda utilizando a informação de processamento de mixagem descendente; gerar um sinal de saída utilizando o sinal de sub-banda processado, em que o número de canal do sinal de mixagem descendente é igual ao número do sinal de saída, e o sinal de saída corresponde a um sinal de domínio de tempo.
Em outro aspecto da presente invenção, um aparelho para processar um sinal de áudio, compreendendo: uma unidade geradora de informação recebendo uma informação de objeto e uma informação de mixagem, e gerando uma informação de processamento de mixagem descendente utilizando a informação de objeto e a informação de mixagem, e gerando uma informação de multicanal utilizando a informação de objeto e a informação de mixagem; e, uma unidade de processamento de mixagem descendente recebendo um sinal de mixagem descendente e a informação de processamento de mixagem descendente, e processando o sinal de mixagem descendente utilizando a informação de processamento de mixagem descendente; em que o número de canal do sinal de mixagem descendente é igual ao número de canal do sinal de mixagem descendente processado.
Em outro aspecto da presente invenção, um aparelho para processar um sinal de áudio, compreendendo: uma unidade geradora de informação recebendo um sinal de mixagem descendente, uma informação de objeto, e uma informação de mixagem, a unidade geradora de informação gerando uma informação de processamento de mixagem descendente utilizando a informação de objeto e a informação de mixagem; e, uma unidade de processamento de mixagem descendente decompondo o sinal de mixagem descendente em um sinal de sub-banda, processando o sinal de sub-banda utilizando a informação de processamento de mixagem descendente, e gerando um sinal de saída utilizando o sinal de sub-banda processado, em que o número de canal do sinal de mixagem descendente é igual ao número do sinal de saída, e o sinal de saída corresponde a um sinal de domínio de tempo.
Em outro aspecto da presente invenção, um método para processar um sinal de áudio, compreendendo: obter um sinal de mixagem descendente utilizando múltiplos sinais de objeto; gerar uma informação de objeto representando uma relação entre os múltiplos sinais de objeto utilizando os múltiplos sinais de objeto e o sinal de mixagem descendente e, transmitindo o sinal de mixagem descendente e a informação de objeto, em que o sinal de mixagem descendente pode ser um sinal de mixagem descendente processado para que o número de canal do sinal de mixagem descendente seja igual ao número de mixagem descendente processado.
Deve ser entendido que a descrição geral precedente e a descrição detalhada a seguir da presente invenção são exemplares e explanatórias e pretendem prover explanação adicional da invenção conforme reivindicada.
MODO PARA A INVENÇÃO
Será feita agora em detalhe referência às modalidades preferidas da presente invenção, cujos exemplos são ilustrados nos desenhos anexos. Sempre que possível, os mesmos números de referência serão utilizados por todos os desenhos para se referir às mesmas partes ou partes semelhantes.
Antes de descrever a presente invenção, deve ser observado que a maioria dos termos revelados na presente invenção correspondem aos termos gerais conhecidos na técnica, mas alguns termos foram selecionados pelo requerente conforme necessário e serão em seguida revelados na descrição a seguir da presente invenção. Portanto, é preferível que os termos definidos pelo requerente sejam entendidos com base em seus significados na presente invenção.
Especificamente, “parâmetro” na descrição a seguir significa informação incluindo valores, parâmetros de sentido estreito, coeficientes, elementos, e assim por diante. Em seguida, o termo “parâmetro” será utilizado em vez do termo “informação” como um parâmetro de objeto, um parâmetro de mixagem, um parâmetro de processamento de mixagem descendente, e assim por diante, o que não impõe limitação à presente invenção.
Na mixagem descendente de vários sinais de canal ou sinais de objeto, um parâmetro de objeto e um parâmetro espacial podem ser extraídos. Um decodificador pode gerar sinal de saída utilizando um sinal de mixagem descendente e o parâmetro de objeto (ou o parâmetro espacial). O sinal de saída pode ser renderizado com base na configuração de reprodução e no controle de usuário pelo decodificador. O processo de renderização será explicado em detalhe com referência à Figura 1 a seguir.
A Figura 1 é um diagrama exemplar para explicar o conceito básico de renderizar mixagem descendente com base em configuração de reprodução e controle de usuário. Com referência à Figura 1, um decodificador 100 pode incluir uma unidade geradora de informação de renderização 110 e uma unidade de renderização 120, e também pode incluir um renderizador 110a e uma síntese 120a em vez da unidade geradora de informação de renderização 110 e da unidade de renderização 120.
Uma unidade geradora de informação de renderização 110 pode ser configurada para receber uma informação secundária incluindo um parâmetro de objeto ou um parâmetro espacial a partir de um decodificador, e também receber uma configuração de reprodução ou um controle de usuário a partir de uma configuração de dispositivo ou de uma interface de usuário. O parâmetro de objeto pode corresponder a um parâmetro extraído na mixagem descendente de pelo menos um sinal de objeto, e o parâmetro espacial pode corresponder a um parâmetro extraído na mixagem descendente de pelo menos um sinal de canal. Adicionalmente, informação de tipo, e informação de característica para cada objeto, podem ser incluídas na informação lateral. A informação de tipo e a informação de característica podem descrever nome de instrumento, nome de dispositivo de reprodução, e assim por diante. A configuração de reprodução pode incluir posição de alto-falante e informação de ambiente (posição virtual do alto-falante), e o controle de usuário pode corresponder a uma informação de controle introduzida por um usuário para controlar as posições do objeto e os ganhos do objeto, e também pode corresponder a uma informação de controle para a configuração de reprodução. Entretanto, a configuração de reprodução e o controle de usuário podem ser representados como uma informação de mixagem, a qual não impõe limitação à presente invenção.
Uma unidade geradora de informação de renderização 110 pode ser configurada para gerar uma informação de renderização utilizando uma informação de mixagem (a configuração de reprodução e controle de usuário) e a informação secundária recebida. Uma unidade de renderização 120 pode ser configurada para gerar um parâmetro de multicanal utilizando a informação de renderização no caso em que a mixagem descendente de um sinal de áudio (abreviado “sinal de mixagem descendente”) não é transmitida, e gerar sinais de multicanal utilizando a informação de renderização e a mixagem descendente no caso em que a mixagem descendente de um sinal de áudio é transmitida.
Um renderizador 110a pode ser configurado para gerar sinais de multicanal utilizando informação de mixagem (a configuração de reprodução e o controle de usuário) e a informação secundária recebida. Uma síntese 120a pode ser configurada para sintetizar os sinais de multicanal utilizando os sinais de multicanal gerados pelo renderizador 110a.
Como declarado anteriormente, o decodificador pode renderizar o sinal de mixagem descendente com base na configuração de reprodução e controle de usuário. Entretanto, para controlar os sinais de objetos individuais, um decodificador pode receber um parâmetro de objeto como uma informação secundária e controlar a panningde objeto e o ganho de objeto com base no parâmetro de objeto transmitido.
1. Controlando o ganho e a panningdos sinais de objeto
Métodos variáveis para controlar os sinais de objetos individuais podem ser providos. Em primeiro lugar, no caso em que um decodificador recebe um parâmetro de objeto e gera os sinais de objeto individuais utilizando o parâmetro de objeto, então, pode controlar os sinais de objetos individuais com base em uma informação de mixagem (a configuração de reprodução, o nível de objeto, etc.).
Em segundo lugar, no caso em que um decodificador gera o parâmetro de multicanal a ser introduzido em um decodificador de multicanal, o decodificador de multicanal pode mixar ascendentemente um sinal de mixagem descendente recebido a partir de um codificador utilizando o parâmetro de multicanal. O segundo método mencionado acima pode ser classificado em três tipos de esquema. Especificamente: 1) utilizando um decodificador de multicanal convencional, 2) modificando um decodificador de multicanal, 3) processamento de mixagem descendente de sinais de áudio antes de serem introduzidos em um decodificador de multicanal pode ser provido. O decodificador de multicanal convencional pode corresponder a uma codificação de áudio espacial orientada para canal (por exemplo, decodificador MPEG Surround) o qual não impõe limitação à presente invenção. Detalhes de três tipos de esquema serão explicados conforme a seguir.
1.1 Utilizando um decodificador de multicanal
O primeiro esquema pode utilizar um decodificador de multicanal convencional no estado em que se encontra sem modificar um decodificador de multicanal. Primeiramente, um caso de utilizar o ADG (ganho de mixagem descendente arbitrária) para controlar ganhos de objeto e um caso de utilizar a configuração 5-2-5 para controlar panningde objeto serão explicados com referência à Figura 2 conforme a seguir. Subsequentemente, um caso de ser ligado com uma unidade de remixagem de cena será explicado com referência à Figura 3.
A Figura 2 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma modalidade da presente invenção correspondendo ao primeiro esquema. Com referência à Figura 2, um aparelho para processar um sinal de áudio 200 (em seguida simplesmente um decodificador 200’) pode incluir uma unidade geradora de informação 210 e um decodificador de multicanal 230. A unidade geradora de informação 210 pode receber uma informação secundária incluindo um parâmetro de objeto a partir de um codificador e uma informação de mixagem a partir de uma interface de usuário, e pode gerar um parâmetro de multicanal incluindo um ganho de mixagem descendente arbitrário ou um ganho de modificação de ganho (em seguida simplesmente “ADG”). O ADG pode descrever uma relação de um primeiro ganho estimado com base na informação de mixagem e a informação de objeto em relação a um segundo ganho estimado com base na informação de objeto. Especificamente, a unidade geradora de informação 210 pode gerar o ADG apenas se o sinal de mixagem descendente corresponder a um sinal modo. O decodificador de multicanal 230 pode receber uma mixagem descendente de um sinal de áudio a partir de um codificador e um parâmetro de multicanal a partir da unidade geradora de in-formação 210, e pode gerar uma saída de multicanal utilizando o sinal de mixagem descendente e o parâmetro de multicanal.
O parâmetro de multicanal pode incluir uma diferença de nível de canal (em seguida, abreviado, “CLD”), uma correlação intercanal (em seguida abreviado “ICC”), um coeficiente de predição de canal (em seguida abreviado “CPC”).
Como CLD, ICC, e CPC descrevem diferença de intensidade ou correlação entre dois canais, e serve para controlar panninge correlação de objetos. Podem-se controlar posições de objeto e difusão (sonoridade) de objeto utilizando o CLD, o ICC, etc. Entretanto, o CLD descreve a diferença relativa de nível em vez do nível absoluto, e a energia dos dois canais divididos é economizada. Portanto, não se podem controlar os ganhos de objeto mediante manejo de CLD, etc. Em outras palavras, o objeto específico não pode ser emudecido ou ter o volume aumentado mediante uso do CLD, etc.
Adicionalmente, o ADG descreve o ganho dependente de tempo e frequência para controlar o fator de correção por um usuário. Se esse fator de correção for empregado, ele é capaz de processar modificação de sinal de mixagem descendente antes de uma mixagem ascendente de multicanal. Portanto, no caso em que o parâmetro ADG é recebido a partir da unidade geradora de informação 210, o decodificador de multicanal 230 pode controlar os ganhos de objeto de tempo e frequência específicos utilizando o parâmetro ADG.
Entretanto, um caso em que o sinal de mixagem descendente estéreo recebido é emitido como um canal estéreo pode ser definido na fórmula 1 a seguir. Fórmula 1
Figure img0001
onde são os canais de entrada, 'são os canais de saída, são os ganhos, e Wxx é o peso.
É necessário controlar diafonia entre o canal esquerdo e o canal direito para panningde objeto. Especificamente, uma parte do canal esquerdo de sinal de mixagem descendente pode ser emitida como um canal direito do sinal de saída, e uma parte do canal direito do sinal de mixagem descendente pode ser emitida como canal esquerdo do sinal de saída. Na fórmula 1, W12 θ W21 podem constituir um componente de diafonia (em outras palavras, termo cruzado).
O caso mencionado acima corresponde a uma configuração 2-2-2, o que significa entrada de canal-2, transmissão de canal-2, e saída de canal-2. Para realizar a configuração 2-2-2, a configuração 5-2-5 (entrada de canal-2, transmissão de canal-5, e saída de canal-2) de codificação de áudio espacial orientada para canal convencional (por exemplo, MPEG surround) pode ser utilizada. Primeiramente, para emitir dois canais para configuração 2-2-2, certo canal entre cinco canais de saída de configuração 5-2-5 podem ser aplicados para um canal desabilitado (um canal falso). Para proporcionar diafonia entre os dois canais transmitidos, e os dois canais de saída, o CLD e o CPC; mencionados acima; podem ser ajustados. Resumidamente, 0 fator de ganho S* na fórmula 1 é obtido utilizando-se o ADG mencionado acima, e o fator de ponderação wn~W22 na fórmula 1 é obtido utilizando-se o CLD e o CPC.
Na implementação da configuração 2-2-2 utilizando a configuração 5-2-5, para reduzir a complexidade, o modo padrão de codificação de áudio espacial convencional pode ser empregada. Como característica de CLD padrão é supostamente de emitir 2-canal, é possível reduzir a quantidade de computação se o CLD padrão for empregado. Particularmente, como não há necessidade e sintetizar um canal falso, se pode reduzir a quantidade de computação de forma ampla. Portanto, aplicação do modo padrão é associada. Especificamente, apenas o CLD padrão de três CLDs (correspondendo a 0, 1 e 2 no padrão MPEG surround) é utilizado para decodificação. Por outro lado, 4 CLDs entre canal esquerdo, canal direito, e canal central (correspondendo a 3, 4, 5, e 6 no padrão MPEG surround) e dos ADGs (correspondendo a 7 e 8 no padrão MPEG surround) são gerados para controlar objeto. Nesse caso, os CLDs correspondendo a 3 e 5 descrevem a diferença de nível de canal entre o canal esquerdo mais o canal direito e o canal central ((l+r)/c é apropriado para ajuste para 150 dB (aproximadamente infinito) para emudecer o canal central. E, para implementar diafonia, mixagem ascendente baseada em energia ou mixagem ascendente baseada em predição pode ser realizada, o que é invocado no caso em que o modo TTT (“bsTttMode- Low” no padrão MPEG surround) corresponde ao modo baseado em energia (com subtração, compatibilidade de matriz habilitada) (3o modo), ou modo de predição (1o modo ou 2° modo).
A Figura 3 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com outra modalidade da presente invenção correspondendo ao primeiro esquema. Com referência à Figura 3, um aparelho para processar um sinal de áudio de acordo com outra modalidade da presente invenção 300 (em seguida simplesmente um decodificador 300) pode incluir uma unidade geradora de informação 310, uma unidade de renderização de cena 320, um decodificador de multicanal 330, e uma unidade de remixagem de cena 350.
A unidade geradora de informação 310 pode ser configurada para receber uma informação secundária incluindo um parâmetro de objeto a partir de um codificador se o sinal de mixagem descendente corresponder ao sinal de canal mono (isto é, o número do canal de mixagem descendente é “1”) pode receber uma informação de mixagem a partir da interface de usuário, e pode gerar um parâmetro de multicanal utilizando a informação secundária e a informação de mixagem. O número de canal de mixagem descendente pode ser estimado com base em uma informação de indicador também incluída na informação lateral como o próprio sinal de mixagem descendente e seleção de usuário. A unidade geradora de informação 310 pode ter a mesma configuração da unidade geradora de informação precedente 210. O parâmetro de multicanal é introduzido no decodificador de multicanal 330, o decodificador de multicanal 330 pode ter a mesma configuração do decodificador de multicanal precedente 230.
A unidade de renderização de cena 320 pode ser configurada para receber uma informação secundária incluindo um parâmetro de objeto a partir de um codificador se o sinal de mixagem descendente corresponder ao sinal de canal não-mono (isto é, o número do canal de mixagem descendente for superior a “2”) pode receber uma informação de mixagem a partir de uma interface de usuário, e pode gerar um parâmetro de remixagem utilizando a informação secundária e a informação de mixagem. O parâmetro de remixagem corresponde a um parâmetro para remixar um canal estéreo e gerar saídas de mais do que 2-canais. O parâmetro de remixagem é introduzido na unidade de remixagem de cena 350. A unidade de remixagem de cena 350 pode ser configurada para remixar o sinal de mixagem descendente utilizando o parâmetro de remixagem se o sinal de mixagem descendente for superior a sinal de 2-canais.
Resumidamente, dois caminhos poderiam ser considerados como implementações separadas para aplicações separadas em um decodificador 300.
1.2 . Modificando um decodificador de multicanal
O segundo esquema pode modificar um decodificador de multicanal convencional. Primeiramente, um caso de uso de saída virtual para controlar ganho de objeto, e um caso de modificar uma configuração de dispositivo para controlar panningde objeto, serão explicados com referência à Figura 4, a seguir. Subsequentemente, um caso de realizar funcionalidade TBT(2x2) em um decodificador de multicanal será explicado com referência à Figura 5.
A Figura 4 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma modalidade da presente invenção correspondendo ao segundo esquema. Com referência à Figura 4, um aparelho para processar um sinal de áudio de acordo com uma modalidade da presente invenção correspondendo ao segundo esquema 400 (em seguida simplesmente “um decodificador 400”) pode incluir uma unidade geradora de informação 410, uma síntese de multicanal interna 420, e uma unidade de ma-peamento de saída 430. A síntese interna de multicanal 420, e a unidade de mapeamento de saída 430, podem ser incluídas em uma unidade de síntese.
A unidade geradora de informação 410 pode ser configurada para receber uma informação secundária incluindo um parâmetro de objeto a partir de um codificador, e um parâmetro de mixagem a partir de uma interface de usuário. E a unidade geradora de informação 410 pode ser configurada para gerar um parâmetro de multicanal e uma informação de configuração de dispositivo utilizando a informação secundária e a informação de mixagem. O parâmetro de multicanal pode ter a mesma configuração que o parâmetro de multicanal precedente. Assim, detalhes do parâmetro de multicanal serão omitidos na descrição a seguir. A informação de configuração de dispositivo pode corresponder à HRTF parametrizada para processamento binaural, o que será explicado na descrição de “1.2.2 Utilizando uma informação de configuração de dispositivo”.
A síntese interna de multicanal 420 pode ser configurada para receber um parâmetro de multicanal e uma informação de configuração de dispositivo a partir da unidade geradora de parâmetro 410 e sinal de mixagem descendente a partir de um codificador. A síntese interna de multicanal 420 pode ser configurada para gerar uma saída de multicanal temporal incluindo uma saída virtual, a qual será explicada na descrição de “1.2.1 Utilizando uma saída virtual”.
1.2.1 Utilizando uma saída virtual
Como o parâmetro de multicanal (por exemplo: CLD) pode controlar a panningde objeto, é difícil controlar o ganho de objeto assim como a panningde objeto por intermédio de um decodificador de multicanal convencional.
Entretanto, para ganho de objeto, o decodificador 400 (especialmente a síntese interna de multicanal 420) pode mapear a energia relativa de objeto para um canal virtual (por exemplo: canal central). A energia relativa de objeto corresponde à energia a ser reduzida. Por exemplo, para emudecer certo objeto, o decodificador 400 pode mapear mais do que 99,9% da energia de objeto para um canal virtual. Então, o decodificador 400 (especialmente, a unidade de mapeamento de saída 430) não emite o canal virtual para o qual a energia de objeto restante é mapeada. Concluindo, se mais do que 99,9% do objeto forem mapeados para um canal virtual o qual não é emitido, o objeto desejado pode ser quase que emudecido.
1.2.2 Utilizando uma informação de ajuste de dispositivo
O decodificador 400 pode ajustar uma informação de ajuste de dispositivo para controlar a panningde objeto e o ganho de objeto. Por exemplo, o decodificador pode ser configurado para gerar uma HRTF parametrizada para processamento binaural no padrão MPEG Surround. A HRTF parametrizada pode ser variável de acordo com a configuração do dispositivo. Pode-se supor que os sinais de objeto podem ser controlados de acordo com a fórmula 2 a seguir. Fórmula 2 Lnew = ai * obji + az * obj2 ■+ as * objs + *♦+ = FT-I * rtbi-i + * rJní-t + Ivi * nhin 4- J onde objk são os sinais de objeto, Lnew θ Rnew constituem um sinal estéreo desejado, ak e bk são coeficientes para controle de objeto.
Uma informação de objeto dos sinais de objeto objk pode ser estimada a partir de um parâmetro de objeto incluído na informação secundária transmitida. Os coeficientes ak, os quais são definidos de acordo com o ganho de objeto e a panningde objeto podem ser estimados a partir da informação de mixagem. O ganho de objeto e a panningde objeto desejadas podem ser ajustados utilizando os coeficientes ak, bk.
Os coeficientes ak, bk podem ser definidos para corresponder ao parâmetro HRTF para processamento binaural, o que será explicado em detalhe a seguir.
No padrão MPEG Surround (configuração 5-1 -5i) (a partir de ISO/IEC FDIS 23003- 1:2006(E), Information Technology - MPEG Audio Technologies - Parti: MPEG Surround), o processamento binaural é como abaixo. Fórmula 3
Figure img0002
onde yB é saída, a matriz H é a matriz de conversão para processamento binaural. Fórmula 4
Figure img0003
Os elementos da matriz H são definidos como a seguir: Fórmula 5
Figure img0004
Fórmula 6
Figure img0005
Fórmula 7
Figure img0006
1.2.3 Realizando a funcionalidade TBT(2x2) em urn decodificador de multicanal A Figura 5 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com outra modalidade da presente invenção correspondendo ao segundo esquema. A Figura 5 é um diagrama exemplar de blocos de funcionalidade TBT em um decodificador de multicanal. Com referência à Figura 5, um módulo TBT 510 pode ser configurado para receber sinais de entrada e uma informação de controle TBT, e gerar sinais de saída. O módulo TBT 510 pode ser incluído no decodificador 200 da Figura 2 (ou especificamente, no decodificador multicanal 230). O decodificador multicanal 230 pode ser implementado de acordo com o padrão MPEG Surround, o qual não impõe limitação à presente invenção. Fórmula 9
Figure img0007
onde x são os canais de entrada, y são os canais de saída, e w é o peso.
A saída yi pode corresponder a uma entrada xi combinada da mixagem descen dente multiplicada por um primeiro ganho wu e entrada X2 multiplicada por um segundo ganho W12.
A informação de controle TBT introduzida no módulo TBT 510 inclui elementos que podem compor o peso w (wn, W12, w2i, W22).
No padrão MPEG Surround, o módulo OTT (Um-Para-Dois) e o módulo TTT (Dois- Para-Três) não é adequado para remixar o sinal de entrada embora o módulo OTT e o módulo TTT possam misturar ascendentemente o sinal de entrada.
Para remixar o sinal de entrada, o módulo TBT (2x2) 510 (em seguida abreviado “módulo TBT 510”) pode ser provido. O módulo TBT 510 pode ser configurado para receber um sinal estéreo e emitir o sinal estéreo remixado. O peso w pode ser composto de CLD(s) e ICC(s).
Se o termo de peso wn~W22 for transmitido como uma informação de controle TBT, o decodificador pode controlar o ganho de objeto assim como panningde objeto utilizando o termo de peso recebido. Ao transmitir o termo de peso w, esquema variável pode ser provido. Primeiramente, uma informação de controle TBT inclui termo cruzado como o W12 e W21. Em segundo lugar, uma informação TBT não inclui o termo cruzado como W12 e W21. Em terceiro lugar, o número do termo como uma informação de controle TBT varia de forma adap- tativa.
Primeiramente, existe a necessidade de receber 0 termo cruzado como o W12 e W21 para controlar a panningde objeto como sinal à esquerda de canal de entrada segue para a direita do canal de saída. No caso de N canais de entrada e M canais de saída, os termos cujo número é NxM podem ser transmitidos como informação de controle TBT. Os termos podem ser quantizados com base em uma tabela de quantização de parâmetro CLD introduzida em um MPEG Surround, o qual não impõe limitação à presente invenção.
Em segundo lugar, a menos que o objeto à esquerda seja deslocado para posição à direita, (isto é, quando o objeto à esquerda é deslocado para a posição mais à esquerda ou posição à esquerda adjacente à posição central, ou quando apenas o nível do objeto é ajustado), não há a necessidade de utilizar o termo cruzado. Nesse caso, é adequado que o termo excerto o termo cruzado seja transmitido. No caso de N canais de entrada e M canais de saída, os termos, cujo número é exatamente N, podem ser transmitidos.
Em terceiro lugar, o número da informação de controle TBT varia de forma adapta- tiva de acordo com a necessidade de termo cruzado para reduzir a taxa de bits de uma informação de controle TBT. Uma informação de indicação “cross_flag” indicando se o termo cruzado está presente ou não é definida para ser transmitida como uma informação de controle TBT. O significado da informação de indicação “cross_flag” é mostrado na tabela 1 a seguir.
Tabela 1 - significado de cross_flag
Figure img0008
Figure img0009
No caso em que cross_flag é igual a 0, a informação de controle TBT não inclui o termo cruzado, apenas o termo não-cruzado como wn e W22 estão presentes. Caso contrário (“crossjlag” é igual a 1), a informação de controle TBT inclui o termo cruzado.
Além disso, uma informação de indicação “reverse_flag” indicando se termo cruzado está presente ou termo não-cruzado está presente é definida para ser transmitida como uma informação de controle TBT. O significado da informação de indicação “reversejlag” é mostrado na tabela 2 a seguir.
Tabela 2 - significado de reverse_flag
Figure img0010
No caso em que reversejlag é igual a 0, a informação de controle TBT não inclui 0 termo cruzado, apenas o termo não-cruzado como o wn e W22 está presente. Caso contrário (“reversejlag” é igual a 1), a informação de controle TBT inclui apenas o termo cruzado.
Adicionalmente, a informação de indicação “sidejlag” indicando se o termo cruzado está presente e o termo não-cruzado está presente é definida para ser transmitida como uma informação de controle TBT. O significado da informação de indicação “sidejlag” é mostrado na tabela 3 a seguir.
Tabela 3 - significado de side_config
Figure img0011
Como a tabela 3 corresponde à combinação da tabela 1 e da tabela 2, os detalhes da tabela 3 serão omitidos. 1.2.4 Realizando a funcionalidade TBT (2x2) em um decodificador de multicanal mediante modificação de um decodificador binaural
O caso de “1.2.2 Utilizando uma informação de configuração de dispositivo” pode ser realizado sem modificar o decodificador binaural. Em seguida, realizando a funcionalida de TBT mediante modificação de um decodificador binaural empregado em um decodificador MPEG Surround, com referência à Figura 6.
A Figura 6 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com a outra modalidade da presente invenção correspondendo ao segundo esquema. Especificamente, um aparelho para processar um sinal de áudio 630 mostrado na Figura 6 pode corresponder a um decodificador binaural incluído no decodificador de multicanal 230 da Figura 2 ou a unidade de síntese da Figura 4, que não impõe limitação à presente invenção.
Um aparelho para processar um sinal de áudio 630 (em seguida “um decodificador binaural 630”) pode incluir uma análise QMF 632, uma conversão de parâmetro 634, uma síntese espacial 636, e uma síntese QMF 638. Elementos do decodificador binaural 630 podem ter a mesma configuração do decodificador binaural MPEG Surround no padrão MPEG Surround. Por exemplo, a síntese espacial 636 pode ser configurada para consistir em uma matriz 2x2 (filtro), de acordo com a seguinte fórmula: Fórmula 10
Figure img0012
com yo sendo os canais de entrada de domínio QMF e YB sendo os canais de saída binaurais, k representa o índice de canal QMF híbrido, e i é o índice de derivação de filtro HRTF, e n é o índice de partição QMF. O decodificador binaural 630 pode ser configurado para realizar a funcionalidade mencionada acima descrita na subcláusula “1.2.2 Utilizando uma informação de configuração de dispositivo”. Contudo, os elementos hy podem ser gerados utilizando um parâmetro de multicanal e uma informação de mixagem em vez de um parâmetro de multicanal e parâmetro HRTF. Nesse caso, o decodificador binaural 600 pode realizar a funcionalidade do módulo TBT 510 na Figura 5. Detalhes dos elementos do decodificador binaural 630 serão omitidos.
O decodificador binaural 630 pode ser operado de acordo com uma informação de indicação “binaural_flag”. Particularmente, o decodificador binaural 630 pode ser saltado no caso em que uma informação de indicação binaural_flag é “0”, caso contrário (o binau- ral_flag é “1”), o decodificador binaural 630 pode ser operado como abaixo.
Tabela 4 - significado de binaural_flag
Figure img0013
1.3 Processando mixagem descendente de sinais de áudio antes de serem introdu- zidos em um decodificador de multicanal O primeiro esquema de uso de um decodificador de multicanal convencional foi ex-plicado na subcláusula em “1.1”, o segundo esquema de modificação de um decodificador de multicanal foi explicado na subcláusula em “1.2”. O terceiro esquema de processamento de mixagem descendente de sinais de áudio, antes de serem introduzidos em um decodificador de multicanal, será explicado como a seguir.
A Figura 7 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma modalidade da presente invenção correspondendo ao terceiro esquema. A Figura 8 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com outra modalidade da presente invenção correspondendo ao terceiro esquema. Primeiramente, com referência à Figura 7, um aparelho para processar um sinal de áudio 700 (em seguida simplesmente “um decodificador 700”) pode incluir uma unidade geradora de informação 710, uma unidade de processamento de mixagem descendente 720, e um decodificador de multicanal 730. Com referência à Figura 8, um aparelho para processar um sinal de áudio 800 (em seguida simplesmente “um decodificador 800”) pode incluir uma unidade geradora de informação 810 e uma unidade de síntese de multicanal 840 tendo um decodificador de multicanal 830. O decodificador 800 pode ser outro aspecto do decodificador 700. Em outras palavras, a unidade geradora de informação 810 tem a mesma configuração a unidade geradora de informação 710, o decodificador de multicanal 830 tem a mesma configuração do decodificador de multicanal 730 e, a unidade de síntese de multicanal 840 pode ter a mesma configuração da unidade de processamento de unidade descendente 720 e unidade de multicanal 730. Portanto, os elementos do decodificador 700 serão explicados em detalhe, mas detalhes dos elementos do decodificador 800 serão omitidos.
A unidade geradora de informação 710 pode ser configurada para receber uma in-formação secundária incluindo um parâmetro de objeto a partir de um codificador e uma informação de mixagem a partir de uma interface e usuário, e para gerar um parâmetro de multicanal a ser emitido para o decodificador de multicanal 730. A partir desse ponto de vista, a unidade geradora de informação 710 tem a mesma configuração da unidade geradora de informação precedente 210 da Figura 2. O parâmetro de processamento de mixagem descendente pode corresponder a um parâmetro para controlar o ganho de objeto e a panningde objeto. Por exemplo, ele é capaz de mudar a posição de objeto ou o ganho e objeto no caso em que o sinal de objeto está localizado tanto no canal esquerdo como no canal direito. Ele também é capaz de renderizar o sinal de objeto para estar localizado em posição oposta no caso em que o sinal de objeto está localizado apenas em um de canal esquerdo e canal direito. Para que esses casos sejam realizados, a unidade de processamento de mixagem descendente 720 pode ser um módulo TBT (operação de matriz 2x2). No caso em que a unidade geradora de informação 710 pode ser configurada para gerar o ADG descrito com referência à Figura 2 para controlar o ganho de objeto, o parâmetro de processamento de mixagem descendente pode incluir parâmetro para controlar a panningde objeto exceto o ganho de objeto.
Além disso, a unidade geradora de informação 710 pode ser configurada para receber informação HRTF a partir do banco de dados HRTF, e para gerar um parâmetro de multicanal extraordinário incluindo um parâmetro HRTF a ser introduzido no decodificador de multicanal 730. Nesse caso, a unidade geradora de informação 710 pode gerar parâmetro de multicanal e parâmetro de multicanal extraordinário no mesmo domínio de sub-banda e transmitir em sincronização mútua para o decodificador de multicanal 730. O parâmetro de multicanal extraordinário incluindo o parâmetro HRTF será explicado em detalhe na subcláusula “3. Processando Modo Binaural”.
A unidade de processamento de mixagem descendente 720 pode ser configurada para receber mixagem descendente de um sinal de áudio a partir de um codificador e o parâmetro de processamento de mixagem descendente a partir da unidade geradora de informação 710, e decompor um sinal de domínio de sub-banda utilizando banco de filtros de análise de sub-banda. A unidade de processamento de mixagem descendente 720 pode ser configurada para gerar o sinal de mixagem descendente processado utilizando o sinal de mixagem descendente e o parâmetro de processamento de mixagem descendente. Nesse processamento, pode-ser pré-processar o sinal de mixagem descendente para controlar a panningde objeto e o ganho de objeto. O sinal de mixagem descendente processado pode ser introduzido ao decodificador de multicanal 730 para ser mixado ascendentemente.
Além disso, o sinal de mixagem descendente processado também pode ser emitido e reproduzido por intermédio do alto-falante. Para emitir diretamente o sinal processado por intermédio dos alto-falantes, a unidade de processamento de mixagem descendente 720 pode executar o banco de filtros de síntese utilizando o sinal de domínio de sub-banda pré- processado e emitir um sinal PGM de tempo-domínio. Ela pode selecionar se emite diretamente como sinal PGM ou entrada para o decodificador de multicanal por intermédio de seleção de usuário.
O decodificador de multicanal 730 pode ser configurado para gerar sinal de saída de multicanal utilizando a mixagem descendente processada e o parâmetro de multicanal. O decodificador de multicanal 730 pode introduzir um retardo quando o sinal de mixagem des-cendente processado e o parâmetro de multicanal são introduzidos no decodificador de mul-ticanal 730. O sinal de mixagem descendente processado pode ser sintetizado em domínio de frequência (por exemplo: domínio QMF, domínio QMF híbrido, etc.), e o parâmetro de multicanal pode ser sintetizado no domínio de tempo. No padrão MPEG surround, retardo e sincronização para conectar HE-AAC são introduzidos. Portanto, o decodificador de multica-  nal 730 pode introduzir o retardo de acordo com o padrão MPEG Surround.
A configuração da unidade de processamento de mixagem descendente 720 será explicada em detalhe com referência à Figura 9 - Figura 13. 1.3.1 Um caso geral e casos especiais de unidade de processamento de mixagem descendente
A Figura 9 é um diagrama exemplar de blocos para explicar o conceito básico da unidade de renderização. Com referência à Figura 9, um módulo de renderização 900 pode ser configurado para gerar M sinais de saída utilizando N sinais de entrada, uma configuração de reprodução, e um controle de usuário. Os N sinais de entrada podem corresponder aos sinais de objeto ou aos sinais de canal. Além disso, os N sinais de entrada podem corresponder quer seja ao parâmetro de objeto ou ao parâmetro de multicanal. A configuração do módulo de renderização 900 pode ser implementada em uma de unidade de processamento de mixagem descendente 720 da Figura 7, a unidade de renderização anteriormente mencionada 120 da Figura 1, e o renderizador anteriormente mencionado 110a da Figura 1, o que não impõe limitação à presente invenção.
Se o módulo de renderização 900 puder ser configurado para gerar diretamente M sinais de canal utilizando N sinais de objeto sem somar sinais de objeto individuais correspondendo a certo canal, a configuração do módulo de renderização 900 pode ser representada pela seguinte fórmula 11. Fórmula 11
Figure img0014
Ci é um i° sinal de canal, Oj é j° sinal de entrada, e Rp é uma matriz mapeando j° sinal de entrada para i° canal.
Se a matriz R for separada em componente de energia E e componente de descor- relação, a fórmula 11 pode ser representada conforme a seguir. Fórmula 12
Figure img0015
Pode-se controlar as posições de objeto utilizando o componente de energia E, e se pode controlar a difusão de objeto utilizando o componente de descorrelação D.
Supondo que apenas i° sinal de entrada é introduzido para ser emitido por intermédio de j° canal e k° canal, a fórmula 12 pode ser representada conforme a seguir. Fórmula 13
Figure img0016
cos(6r ,) ay_,. siní^) /?. . rnsíTZ A fí. sir 69. a’-! é a porção de ganho mapeada para j° canal, ?’■<' é a porção de ganho mapeada para k° canal, θ é o nível de difusão, e ^(°’) é a saída descorrelacionada.
Supondo que a descorrelação é omitida, a fórmula 13 pode ser simplificada como a seguir. Fórmula 14
Figure img0017
Se os valores de peso para todas as entradas mapeadas para certo canal forem estimadas de acordo com o método mencionado acima, pode-se obter valores de peso para cada canal por intermédio do seguinte método. 1) Somando-se os valores de peso para todas as entradas mapeadas para certo canal. Por exemplo, no caso em que a entrada 1 Oi e entrada 2 O2 são introduzidas e o canal de saída corresponde ao canal esquerdo L, canal central C, e canal direito R, valores e peso total dc(tot), ciRctot) podem ser obtidos conforme a seguir: Fórmula 15
Figure img0018
onde é um valor e peso para entrada 1 mapeada para canal esquerdo L, é um valor de peso para entrada 1 mapeada para canal central C, ac2é um valor de peso para entrada 2 mapeada para canal central C, e aR2 é um valor de peso para entrada 2 mapeada para canal direito R. Nesse caso, apenas a entrada 1 é mapeada para o canal esquerdo, apenas a entrada 2 é mapeada para 0 canal direito, a entrada 1 e a entrada 2 são mapeadas em conjun to para o canal central. 2) Somar os valores de peso para todas as entradas mapeadas para certo canal, então dividir a soma no par de canais mais dominantes, e mapear o sinal descorrelacionado para o outro canal para efeito surround. Nesse caso, o par de canais dominantes pode corresponder ao canal esquerdo e ao canal central no caso em que certa entrada está posicionada no ponto entre a esquerda e o centro. 3) Estimar o valor de peso do canal mais dominante, fornecendo o canal correlacionado atenuado para o outro canal, cujo valor é um valor relativo do valor de peso estimado. 4) Utilizando valores de peso para cada par de canais, combinar adequadamente o sinal descorrelacionado, então definindo para uma informação secundária para cada canal. 1.3.2 Um caso em que a unidade de processamento de mixagem descendente inclui uma parte de mixagem correspondendo à matriz 2x4
As Figuras 10A a 10C são diagramas exemplares de bloco de uma primeira modalidade de uma unidade de processamento de mixagem descendente ilustrada na Figura 7. Como declarado anteriormente, uma primeira modalidade de uma unidade de processamento de mixagem descendente 720a (em seguida simplesmente “uma unidade de processamento de mixagem descendente 720a”) pode ser implementação de módulo de renderização 900.
Em primeiro lugar, supondo que Dn = D21 = aD e Dn = D22 = bD, a fórmula 12 é simplificada como a seguir. Fórmula 15
Figure img0019
A unidade de processamento de mixagem descendente de acordo com a fórmula 15 é ilustrada na Figura 10A. Com referência à Figura 10A, uma unidade de processamento de mixagem descendente 720a pode ser configurada para ignorar o sinal de entrada no caso de sinal de entrada mono (m), e para processar o sinal de entrada no caso de sinal de entrada estéreo (L, R). A unidade de processamento de mixagem descendente 720a pode incluir uma parte de descorrelação 722a e uma parte de mixagem 724a. A parte de descor- relação 722a tem um descorrelacionador aD e um descorrelacionador bD que pode ser configurado para descorrelacionar o sinal de entrada. A parte de descorrelação 722a pode corresponder a uma matriz 2x2. A parte de mixagem 724a pode ser configurada para mapear o sinal de entrada e o sinal descorrelacionado para cada canal. A parte de mixagem 724a pode corresponder a uma matriz 2x4.
Em segundo lugar, supondo que Dn = aDi, D21 = bD-\, D12 = CD2 =, e D22 = dD2, a fórmula 12 é simplificada como a seguir. Fórmula 15-2
Figure img0020
A unidade de processamento de mixagem descendente de acordo com a fórmula 15 é ilustrada na Figura 10B. Com referência à Figura 10B, uma parte de descorrelação 722’ incluindo dois descorrelacionadores Di, D2 pode ser configurada para gerar sinais descorrelação Di(a*Oi+b*C>2), D2(c*Oi+d*O2).
Em terceiro lugar, supondo que Dn = Di, O2i = 0, D12 = 0, e D22 = D2, a fórmula 12 é simplificada como a seguir. Fórmula 15-3
Figure img0021
A unidade de processamento de mixagem descendente de acordo com a fórmula 15 é ilustrada na Figura 10C. Com referência à Figura 10C, uma parte de descorrelação 722” incluindo dois descorrelacionadores Di, D2 pode ser configurada para gerar os sinais descorrelacionados Di(Oi), D2(Ü2). 1.3.2 Um caso em que a unidade de processamento de mixagem descendente inclui uma parte de mixagem correspondendo à matriz 2x3 A fórmula anterior 15 pode ser representada como a seguir: Fórmula 16
Figure img0022
A matriz R é uma matriz 2x3, a matriz O é uma matriz 3x1, e o C é uma matriz 2x1.
A Figura 11 é um diagrama exemplar de blocos de uma segunda modalidade de uma unidade de processamento de mixagem descendente ilustrada na Figura 7. Como previamente declarado, uma segunda modalidade de uma unidade de processamento de mixagem descendente 720b (em seguida simplesmente “uma unidade de processamento de mixagem descendente 720b”) pode ser implementação do módulo de renderização 900 como a unidade de processamento de mixagem descendente 720a. Com referência à Figura 11, uma unidade de processamento de mixagem descendente 720b pode ser configurada para saltar o sinal de entrada no caso de sinal de entrada mono (m), e para processar o sinal de entrada no caso de sinal de entrada estéreo (L, R). A unidade de processamento de mixagem descendente 720b pode incluir uma parte de descorrelação 722b e uma parte de mixagem 724b. A parte de descorrelação 722b tem um descorrelacionador D que pode ser configurado para descorrelacionar o sinal de entrada Oi, O2 e produzir o sinal descorrelacionado D(OI+C>2). A parte de descorrelação 722b pode corresponder a uma matriz 1x2. A parte de mixagem 724b pode ser configurada para mapear o sinal de entrada e o sinal descorrelacionado para cada canal. A parte de mixagem 724b pode corresponder a uma matriz 2x3 a qual pode ser mostrada como uma matriz R na fórmula 16.
Adicionalmente, a parte de descorrelação 722b pode ser configurada para descor-relacionar um sinal de diferença O1-O2 como sinal comum de dois sinais de entrada O1, O2. A parte de mixagem 724b pode ser configurada para mapear 0 sinal de entrada e o sinal comum descorrelacionado para cada canal. 1.3.3 Um caso em que a unidade de processamento de mixagem descendente inclui uma parte de mixagem com várias matrizes Certo sinal de objeto pode ser audível como uma impressão similar em qualquer lugar sem estar posicionado em uma posição especificada, 0 qual pode ser denominado “sinal de som espacial”. Por exemplo, aplauso ou ruídos de uma sala de concerto pode ser um exemplo o sinal de som espacial. O sinal de som espacial precisa reproduzido por intermédio de todos os alto-falantes. Se o sinal de som espacial reproduz como o mesmo sinal por intermédio de todos os alto-falantes, é difícil perceber a característica espacial do sinal devido à elevada intercorrelação (IC) do sinal. Portanto, há a necessidade de acrescentar sinal correlacionado ao sinal de cada sinal de canal.
A Figura 12 é um diagrama exemplar de blocos de uma terceira modalidade de uma unidade de processamento de mixagem descendente ilustrada na Figura 7. Com referência à Figura 12, uma terceira modalidade de uma unidade de processamento de mixagem descendente 720c (em seguida simplesmente “uma unidade de processamento de mixagem descendente 720c”) pode ser configurada para gerar sinal de som espacial utilizando sinal de entrada Oi, o qual pode incluir uma parte de descorrelação 722c com N descorrelaciona- dores e uma parte de mixagem 724c. A parte de descorrelação 722c pode ter N descorrela- cionadores Di, D2, ..., DN que podem ser configurados para descorrelacionar o sinal de entrada Oi. A parte de mixagem 724c pode ter N matriz Rj, Rk, ..., Ri que pode ser configurada para gerar sinais de saída Cj, Ck, Ci utilizando o sinal de entrada Oi e o sinal descorrelacionado Dx(Oi). A matriz Rj pode ser representada como a seguinte fórmula. Fórmula 17
Figure img0023
Oi é o i° sinal de entrada, Rj é uma matriz mapeando i° sinal de entrada Oi para j° canal, e Cj-i é j° sinal de saída . O valor θi é a taxa de descorrelação. O valor i-1pode ser estimado com base em ICC incluído no parâmetro de multicanal. Adicionalmente, a parte de mixagem 724c pode gerar sinais de saída com base na in- formação de característica espacial compondo a taxa de descorrelação recebida a partir da interface de usuário por intermédio da unidade geradora de informação 710, a qual não impõe limitação à presente invenção. O número de descorrelacionadores (N) pode ser igual ao número de canais de saída. Por outro lado, o sinal descorrelacionado pode ser adicionado aos canais de saída selecionados pelo usuário. Por exemplo, pode-se posicionar certo sinal de som espacial à esquerda, à direita, e centro e emitir como um sinal de som espacial por intermédio do alto- falante de canal esquerdo. 1.3.4 Um caso em que a unidade de processamento de mixagem descendente inclui uma parte de mixagem descendente adicional
A Figura 13 é um diagrama exemplar de blocos de uma quarta modalidade de uma unidade de processamento de mixagem descendente ilustrada na Figura 7. Uma quarta mo-dalidade de uma unidade de processamento de mixagem descendente 720d (aqui simplesmente “uma unidade de processamento de mixagem descendente 720d”) pode ser configurada para ignorar se o sinal de entrada corresponde a um sinal mono (m). A unidade de processamento de mixagem descendente 720d inclui uma parte de mixagem descendente adicional 722d que pode ser configurada para mixar descendentemente o sinal estéreo para ser sinal mono se o sinal de entrada corresponder a um sinal estéreo. O canal mono mixado descendentemente (m) adicional é utilizado como entrada para o decodificador de multicanal 730. O decodificador de multicanal 730 pode controlar a panningde objeto (especialmente diafonia) mediante uso do sinal de entrada modo. Nesse caso, a unidade geradora de informação 710 pode gerar um parâmetro de multicanal com base na configuração 5-1-5i do padrão MPEG Surround.
Adicionalmente, se ganho para o sinal de mixagem descendente mono como o ganho de mixagem descendente artística mencionado acima ADG a Figura 2 for aplicado, pode-se controlar a panningde objeto e o ganho de objeto mais facilmente. O ADG pode ser gerado pela unidade geradora de informação 710 com base na informação de mixagem.
2. Mixagemascendentedesinaisdecanalecontrolandosinaisdeobjeto
A Figura 14 é um diagrama exemplar de blocos de uma estrutura de fluxo de bits de um sinal de áudio compactado de acordo com uma segunda modalidade da presente invenção. A Figura 15 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma segunda modalidade da presente invenção. Com referência à (a) da Figura 14, o sinal de mixagem descendente a, parâmetro de multicanal β, e parâmetro de objetivo são incluído na estrutura de fluxo de bits. O parâmetro de multicanal β é um parâmetro para mixar ascendentemente o sinal de mixagem descendente. Por outro lado, o parâmetro de objeto Y é um parâmetro para controlar a panningde objeto e o ganho de objeto. Com referência à Figura (b) da Figura 14, o sinal de mixagem descendente a, um parâmetro padrão β’, e o parâmetro de objeto sâo incluídos na estrutura de fluxo de bits. O parâmetro padrão β’ pode incluir informação pré-estabelecida para controlar o ganho de objeto e panningde objeto. A informação pré-estabelecida pode corresponder de um codificador. Por exemplo, a informação pré-estabelecida pode descrever que o sinal de guitarra está localizado em um ponto entre a esquerda e o centro, e o nível a guitarra é ajustado em certo volume, e o número do canal de saída nesse momento é ajustado para certo canal. O parâmetro padrão para cada quadro ou quadro específico pode estar presente no fluxo de bits. Informação de indicação indicando se o parâmetro padrão para esse quadro é diferente do parâmetro padrão do quadro anterior ou não pode estar presente no fluxo de bits. Mediante inclusão do parâmetro padrão no fluxo de bits, se pode pegar menos taxas de bits do que informação secundária com o parâmetro de objeto incluído no fluxo de bits. Adicionalmente, informação de cabeçalho do fluxo de bits é omitida na Figura 14. A sequência do fluxo de bits pode ser rearranjada.
Com referência à Figura 15, um aparelho para processar um sinal de áudio de acordo com uma segunda modalidade da presente invenção 1000 (em seguida simplesmente “um decodificador 1000”) pode incluir um demultiplexador de fluxo de bits 1005, uma unidade geradora de informação 1010, uma unidade de processamento de mixagem descendente 1020, e um decodificador de multicanal 1030. O demultiplexador 1005 pode ser configurado para dividir o sinal de áudio multiplexado em uma mixagem descendente a, um primeiro parâmetro de multicanal β, e um parâmetro de objeto Y. A unidade geradora de informação 1010 pode ser configurada para gerar um segundo parâmetro de multicanal utilizando um parâmetro de objeto Y e um parâmetro de mixagem. O parâmetro de mixagem compreende uma informação de modo indicando se a primeira informação de multicanal β é aplicada à mixagem descendente processada. A informação de modo pode corresponder a uma informação para seleção por um usuário. De acordo com a informação de modo, a informação geradora de informação 1020 decide se transmite o primeiro parâmetro de multicanal β ou o segundo parâmetro de multicanal.
A unidade de processamento de mixagem descendente 1020 pode ser configurada para determinar um esquema de processamento de acordo com a informação de modo incluída na informação de mixagem. Adicionalmente, a unidade de processamento de mixagem descendente 1020 pode ser configurada para processar a mixagem descendente a de acordo com o esquema de processamento determinado. Então a unidade de processamento de mixagem descendente 1020 transmite a mixagem descendente processada para o decodificador de multicanal 1030.
O decodificador de multicanal 1030 pode ser configurado para receber ou o primeiro parâmetro de multicanal β ou o segundo parâmetro de multicanal. No caso em que o parâmetro padrão β’ é incluído no fluxo de bits, o decodificador de multicanal 1030 pode utilizar o parâmetro padrão β’ em vez do parâmetro de multicanal β.
Então, o decodificador de multicanal 1030 pode ser configurado para gerar saída de multicanal utilizando o sinal de mixagem descendente processado e o parâmetro de multicanal recebido. O decodificador de multicanal 1030 pode ter a mesma configuração do decodificador de multicanal mencionado primeiro 730, o que não impõe limitação à presente invenção.
3. Processamento Binaural
Um decodificador de multicanal pode ser operado em um modo binaural. Isso permite uma impressão de multicanal através dos fones de ouvido por intermédio de filtração de Função de Transferência Relacionada à Cabeça Humana (HRTF). Para decodificação binaural, o sinal de mixagem descendente e os parâmetros de multicanal são utilizados em combinação com filtros HRTF fornecidos ao decodificador.
A Figura 16 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma terceira modalidade da presente invenção. Com referência à Figura 16, um aparelho para processar um sinal de áudio de acordo com uma terceira modalidade (em seguida simplesmente “um decodificador 1100”) pode compreender uma unidade geradora de informação 1110, uma unidade de processamento de mixagem descendente 1120, e um decodificador de multicanal 1130 com uma parte de equiparação de sincronização 1130a.
A unidade geradora de informação 1110 pode ter a mesma configuração da unidade geradora de informação 710 ad Figura 7, com HRTF dinâmica de geração. A unidade de processamento de mixagem descendente 1120 pode ter a mesma configuração da unidade de processamento de mixagem descendente 720 da Figura 7. Como os elementos precedentes, o decodificador de multicanal 1130 exceto pela parte de equiparação de sincronização 1130a é o mesmo caso dos elementos anteriormente mencionados. Portanto, detalhes da unidade geradora de informação 1110, da unidade de processamento de mixagem descendente 1120, e do decodificador de multicanal 1130 serão omitidos.
A HRTF dinâmica descreve a relação entre os sinais de objeto e sinais de alto- falante virtual correspondendo ao azimute HRTF e ângulos de elevação, que é informação dependente de tempo de acordo com controle de usuário de tempo real.
A HRTF dinâmica pode corresponder a um dos próprios coeficientes de filtro HTRF, informação de coeficiente parametrizada, e informação de índice no caso em que o decodificador de multicanal compreende todo o conjunto de filtros HRTF.
Não há necessidade de equiparar uma informação HRTF dinâmica com o quadro de sinal de mixagem descendente independente do tipo da HRTF dinâmica. Para equiparar informação HRTF com sinal de mixagem descendente, pode se prover três tipos de esquemas como a seguir: 1) Inserir uma informação de indicador em cada informação HRTF e sinal de mixagem descendente de fluxo de bits, então combinar a HRTF com o sinal de mixagem descendente de fluxo de bits com base na informação de indicador inserida. Nesse esquema, é adequado que a informação de indicador possa ser incluída no campo auxiliar no padrão MPEG Surround. A informação de indicador pode ser representada como uma informação de tempo, uma informação de contador, uma informação de índice, etc. 2) Inserir informação HRTF no quadro de fluxo de bits. Nesse esquema, é possível aplicar informação de modo indicando se o quadro atual corresponde ou não a um modo padrão. Se o modo padrão o qual descreve informação HRTF do quadro atual for igual à informação HRTF do quadro anterior aplicado, pode-se reduzir as taxas de bit da informação HRTF. 2-1) Além disso, é possível definir informação de transmissão indicando se a informação HRTF do quadro atual já foi transmitida. Se a informação de transmissão que descreve a informação HRTF do quadro atual é igual à informação HRTF transmitida do quadro aplicado, também é possível reduzir as taxas de bits da informação HRTF. 3) Transmitir várias informações HRTF antecipadamente, então transmitir informação de identificação indicando qual HRTF entre as informações HRTF transmitidas por cada quadro.
Além disso, no caso em que o coeficiente HTRF varia subitamente, distorção pode ser gerada. Para reduzir essa distorção, é apropriado realizar suavização de coeficiente ou do sinal renderizado.
4. Renderização
A Figura 17 é um diagrama exemplar de blocos de um aparelho para processar um sinal de áudio de acordo com uma quarta modalidade da presente invenção. O aparelho para processar um sinal de áudio de acordo com uma quarta modalidade da presente invenção 1200 (em seguida simplesmente “um processador 1200”) pode compreender um codificador 1210 pelo lado do codificador 1200A, e uma unidade de renderização 1220 e uma unidade de síntese 1230 pelo lado do decodificador 1200B. O codificador 1210 pode ser configurado para receber sinal de objeto de multicanal e gerar uma mixagem descendente de sinal de áudio e uma informação secundária. A unidade de renderização 1220 pode ser configurada para receber informação secundária a partir do codificador 1210, configuração de reprodução e controle de usuário a partir de uma configuração de dispositivo ou uma interface de usuário, e gerar informação de renderização utilizando a informação secundária, configuração de reprodução, e controle de usuário. A unidade de síntese 1230 pode ser configurada para sintetizar sinal de saída de multicanal utilizando a informação de renderização e o sinal de mixagem descendente recebido a partir de um codificador 1210.
4.1 Aplicando efeito-modo
O efeito-modo é um modo para sinal remixado ou reconstruído. Por exemplo, modo ao vivo, modo banda de música, modo karaokê, etc. podem estar presentes. A informação de efeito-modo pode corresponder a um conjunto de parâmetros de mixagem gerado por um produtor, outro usuário, etc. Se a informação de efeito-modo for aplicada, um usuário final não tem que controlar a panningde objeto e ganho de objeto integralmente porque o usuário pode selecionar uma das informações de efeito-modo predeterminadas.
Dois métodos de gerar uma informação de efeito-modo podem ser distinguidos. Em primeiro lugar, é possível que uma informação de efeito-modo seja gerada pelo codificador 1200A e transmitida para o decodificador 1200B. Em segundo lugar, a informação de efeito- modo pode ser gerada automaticamente pelo lado do decodificador. Detalhes dos dois modos serão descritos como a seguir.
4.1.1 Transmitindo informação de efeito-modo para o lado de decodificador
A informação de efeito-modo pode ser gerada em um codificador 1200A por inter-médio de um produtor. De acordo com esse método, o decodificador 1200B pode ser confi-gurado para receber informação secundária incluindo a informação de efeito-modo e emitir interface de usuário através do qual um usuário pode selecionar uma das informações de efeito-modo. O decodificador 1200B pode ser configurado para gerar canal de saída com base na informação de efeito-modo selecionada.
Além disso, é inadequado ouvir sinal de mixagem descendente no estado em que se encontra para um ouvinte no caso em que o codificador 1200A realiza a mixagem descendente do sinal para elevar a qualidade dos sinais de objeto. Contudo, se a informação de efeito-modo for aplicada no decodificador 1200B, é possível reproduzir o sinal de mixagem descendente como a qualidade máxima.
4.1.2 Gerando informação de efeito-modo no lado de decodificador
A informação de efeito-modo pode ser gerada em um decodificador 1200B. O de-codificador 1200B pode ser configurado para pesquisar informações de efeito-modo apropriadas para o sinal de mixagem descendente. Então, o decodificador 1200B pode ser configurado para selecionar um dos efeitos-modos pesquisados por ele próprio (modo de ajuste automático) ou habilitar que um usuário selecione um deles (modo de seleção de usuário). Então o decodificador 1200B pode ser configurado para obter informação de objeto (número de objetos, nomes de instrumento, etc.) incluída na informação secundária, e objeto de controle com base na informação de efeito-modo selecionada e na informação de objeto.
Adicionalmente, pode-se controlar objetos similares globalmente. Por exemplo, ins-trumentos associados a um ritmo podem ser objetos similares no caso de “modo de impressão de ritmo”. Controlar globalmente significa controlar cada objeto simultaneamente mais propriamente do que controlar objetos utilizando o mesmo parâmetro.
Além disso, pode-se controlar o objeto com base na configuração do decodificador e ambiente do dispositivo (incluindo se fones de ouvido ou alto-falantes). Por exemplo, objeto correspondendo à melodia principal pode ser enfatizado no caso em que o ajuste de volume do dispositivo está baixo, objeto correspondendo à melodia principal pode ser reprimido no caso em que o ajuste do volume do dispositivo está alto.
4.2 Tipo de objeto do sinal de entrada pelo lado do codificador
O sinal de entrada introduzido em um codificador 1200A pode ser classificado em três tipos como a seguir.
1) Objeto mono (objeto de canal mono)
Objeto mono é o tipo mais geral de objeto. É possível sintetizar o sinal de mixagem descendente interna simplesmente mediante soma dos objetos. Também é possível sintetizar o sinal de mixagem descendente interno utilizando ganho de objeto e panningde objeto que pode ser um de controle de usuário e informação provida. Ao gerar o sinal de mixagem descendente interno, também é possível gerar informação de renderização utilizando pelo menos uma característica de objeto, entrada de usuário, e informação provida com objeto.
No caso em que o sinal de mixagem descendente externa está presente, é possível extrair e transmitir informação indicando a relação entre mixagem descendente externa e o objeto.
2) Objeto estéreo (objeto de canal estéreo)
É possível sintetizar o sinal de mixagem descendente interna simplesmente mediante soma de objetos como o caso do objeto mono mencionado primeiro. Também é possível sintetizar o sinal de mixagem descendente interna utilizando ganho de objeto e panning de objeto que pode ser um de controle de usuário e informação provida. No caso em que o sinal de mixagem descendente corresponde a um sinal mono, é possível que o codificador 1200A utilize objeto convertido em sinal mono para gerar sinal de mixagem descendente. Nesse caso, pode-se extrair e transferir informação associada ao objeto (por exemplo: informação de panningem cada domínio de tempo-frequência) na conversão para sinal mono. Como o objeto mono precedente, ao gerar sinal de mixagem descendente interna, também é possível gerar informação de renderização utilizando pelo menos uma de: característica de objeto, entrada de usuário, informação provida com o objeto. Como o objeto mono precedente, no caso em que o sinal de mixagem descendente externa está presente, é possível extrair e transmitir informação indicando a relação entre mixagem descendente externa e o objeto.
3) Objeto de multicanal
No caso de objeto de multicanal, pode-se realizar o método mencionado acima descrito com objeto mono e objeto estéreo. Adicionalmente, pode-se introduzir objeto de multicanal com uma forma de MPEG Surround. Nesse caso, pode-se gerar mixagem descendente baseado em objeto (por exemplo, mixagem descendente SAOC) utilizando canal de mixagem descendente de objeto, e utilizar informação de multicanal (por exemplo: informação espacial em MPEG Surround) para gerar informação de multicanal e informação de renderização. Portanto, é possível reduzir a quantidade de computação porque o objeto de multicanal presente na forma de MPEG Surround não tem que decodificar e codificar utilizando codificador orientado para objeto (por exemplo, codificador SAOC). Se mixagem descendente de objeto corresponder a estéreo e mixagem descendente baseada em objeto (por exemplo: mixagem descendente SAOC) corresponder a mono nesse caso, é possível aplicar o método mencionado acima descrito com objeto estéreo.
4) Esquema de transmissão para tipo variável de objeto
Como declarado anteriormente, tipo variável de objeto (objeto mono, objeto estéreo, e objeto de multicanal) pode ser transmitido a partir do codificador 1200A para o decodificador 1200B. O esquema de transmissão para tipo variável de objeto pode ser provido como a seguir:
Com referência à Figura 18, quando a mixagem descendente inclui múltiplos objetos, uma informação secundária inclui informação para cada objeto. Por exemplo, quando múltiplos objetos consistem em enésimo objeto mono (A), canal esquerdo de N+1° objeto (B), e canal direito de N+1° objeto (C), uma informação secundária inclui informação para três objetos (A, B, C).
A informação secundária pode compreender informação de indicação de correlação indicando se um objeto é parte de um objeto estéreo ou objeto de multicanal, por exemplo, objeto mono, um canal (L ou R) de objeto estéreo, e assim por diante. Por exemplo, informação de indicação de correlação é “0” se objeto mono estiver presente, informação de indicação de correlação é “1” se um canal de objeto estéreo estiver presente. Quando uma parte de objeto estéreo e a outra parte de objeto estéreo forem transmitidas em sucessão, informação de indicação de correlação para outra parte de objeto estéreo pode ser qualquer valor (por exemplo: “0”, “1” ou tudo quanto). Além disso, informação de indicação de correlação para outra parte de objeto estéreo pode não ser transmitida.
Além disso, no caso de objeto de multicanal, informação de indicação de correlação para uma parte de objeto de multicanal pode ser um valor descrevendo o número de objeto de multicanal. Por exemplo, no caso de objeto de canal 5.1, informação de indicação de correlação para canal esquerdo do canal 5.1 pode ser “5”, informação de indicação de correlação para o outro canal (R, Lr, Rr, C, LFE) do canal 5.1 pode ser ou “0” ou não transmitido.
4.3 Atributo de objeto O objeto pode ter os três tipos de atributo como a seguir: a) Objeto único
Objeto único pode ser configurado como uma fonte. Ele é capaz de empregar um parâmetro ao objeto único para controlar panningde objeto e ganho de objeto na geração de sinal de mixagem descendente e reprodução. O “um parâmetro” pode significar não apenas um parâmetro para todo o domínio de tempo/frequência, mas também um parâmetro para cada partição de tempo/frequência.
b) Objeto agrupado
Como o objeto único pode ser configurado como mais do que duas fontes. Pode-se empregar um parâmetro para objeto agrupado para controlar panningde objeto e ganho de objeto embora objeto agrupado seja introduzido como pelo menos duas fontes. Detalhes do objeto agrupado devem ser explicados com referência à Figura 19 como a seguir: Com referência à Figura 19, um codificador 1300 inclui uma unidade de agrupamento 1310 e uma unidade de mixagem descendente 1320. A unidade de agrupamento 1310 pode ser configurada para agrupar pelo menos dois objetos entre entrada de multiobjeto introduzida, com base em uma informação de agrupamento. A informação de agrupamento pode ser gerada pelo produtor pelo lado do codificador. A unidade de mixagem descendente 1320 pode ser configurada para gerar sinal de mixagem descendente utilizando o objeto agrupado gerado pela unidade de agrupamento 1310. A unidade de mixagem descendente 1320 pode ser configurada para gerar uma informação secundária para objeto agrupado.
c) Objeto em combinação
Objeto em combinação é um objeto combinado com pelo menos uma fonte. É possível controlar a panningde objeto e ganho globalmente, mas manter inalterada a relação entre os objetos combinados. Por exemplo, no caso de tambor, é possível controlar o tambor, mas manter inalterada a relação entre o tambor base, tam-tam, e símbolo. Por exemplo, quando o tambor base está localizado no ponto central e o símbolo está localizado no ponto à esquerda, é possível posicionar o tambor base no ponto à direita e posicionar o símbolo no ponto entre o centro e a direita no caso em que o tambor é deslocado para a direita.
Informação de relação entre objetos combinados pode ser transmitida para um de-codificador. Por outro lado, o decodificador pode extrair a informação de relação utilizando objeto em combinação.
4.4 Controlando hierarquicamente os objetos
Pode-se controlar hierarquicamente os objetos. Por exemplo, após controlar a bateria, pode-se controlar cada sub-elemento da bateria. Para controlar hierarquicamente os objetos, três esquemas são providos como a seguir:
a) III (interface de usuário)
Apenas o elemento representativo pode ser exibido sem exibir todos os objetos. Se o elemento representativo for selecionado por um usuário, todos os objetos são exibidos.
b) Agrupamento de objeto
Após agrupar os objetos para representar elementos representativos, é possível controlar elemento representativo para controlar todos os objetos agrupados como elemento representativo. Informação extraída no processo de agrupamento pode ser transmitida para um decodificador. Além disso, a informação de agrupamento pode ser gerada em um decodificador. Aplicar informação de controle globalmente pode ser realizado com base na informação de controle predeterminada para cada elemento.
c) Configuração de objeto
É possível utilizar o objeto em combinação mencionado acima. Informação referente ao elemento de objeto em combinação pode ser gerada ou em um codificador ou em um decodificador. Informação relacionada aos elementos a partir de um codificador pode ser transmitida como uma forma diferente a partir da informação relacionada ao objeto em com-binação.
Será evidente para aqueles versados na técnica que diversas modificações e variações podem ser feitas na presente invenção sem se afastar do espírito ou escopo das invenções. Assim, pretende-se que a presente invenção abranja as modificações e variações dessa invenção desde que elas estejam dentro do escopo das reivindicações anexas e de seus equivalentes.
APLICABILIDADE INDUSTRIAL
Consequentemente, a presente invenção é aplicável para codificar e decodificar um sinal de áudio.

Claims (8)

1. Método para decodificar um sinal de áudio, o método executado por um aparelho (700, 800, 1000, 1100, 1200B) e CARACTERIZADO por compreender: receber um sinal de mixagem descendente compreendendo pelo menos um sinal de objeto, informação de objeto determinada quando o sinal de mixagem descendente é gerado, e informação de mixagem para controlar o pelo menos um sinal de objeto; gerar informação de processamento de mixagem descendente com base na informação de objeto e na informação de mixagem; processar o sinal de mixagem descendente com base na informação de processamento de mixagem descendente; gerar informação de multicanal com base na informação de objeto e na informação de mixagem; e gerar um sinal de multicanal com base no sinal de mixagem descendente processado e na informação de multicanal, em que: um número de canais do sinal de mixagem descendente é igual a um número de canais do sinal de mixagem descendente processado; a informação de objeto inclui pelo menos uma dentre informação de nível de objeto e informação de correlação de objeto; e a informação de multicanal inclui pelo menos uma dentre informação de nível de canal e informação de correlação de canal.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a informação de processamento de mixagem descendente é informação para controlar panningde objeto com base no número de canais do sinal de mixagem descendente sendo pelo menos dois.
3. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o processamento do sinal de mixagem descendente é realizado por um módulo 2x2 com base no sinal de mixagem descendente sendo um sinal estéreo.
4. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que um canal do sinal de mixagem descendente processado compreende uma combinação de um primeiro canal do sinal de mixagem descendente multiplicado por um primeiro ganho e um segundo canal do sinal de mixagem descendente multiplicado por um segundo ganho, com base no sinal de mixagem descendente sendo um sinal estéreo.
5. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o sinal de mixagem descendente é recebido como um sinal de transmissão.
6. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o sinal de mixagem descendente é recebido em um meio digital.
7. Mídia legível por computador tendo instruções armazenadas na mesma, as quais quando executadas por um processador fazem com que o processador realize operações, CARACTERIZADA pelas operações compreenderem: receber um sinal de mixagem descendente compreendendo pelo menos um sinal de objeto, informação de objeto determinada quando o sinal de mixagem descendente é gerado, e informação de mixagem para controlar o pelo menos um sinal de objeto; gerar informação de processamento de mixagem descendente com base na informação de objeto e na informação de mixagem; processar o sinal de mixagem descendente com base na informação de processamento de mixagem descendente; gerar informação de multicanal com base na informação de objeto e na informação de mixagem; e gerar um sinal de multicanal com base no sinal de mixagem descendente processado e na informação de multicanal, em que: um número de canais do sinal de mixagem descendente é igual a um número de canais do sinal de mixagem descendente processado; a informação de objeto inclui pelo menos uma dentre informação de nível de objeto e informação de correlação de objeto; a informação de multicanal inclui pelo menos uma dentre informação de nível de canal e informação de correlação de canal.
8. Aparelho para decodificar um sinal de áudio, CARACTERIZADO por compreender: uma unidade geradora de informação (710, 810, 1010, 1110) configurada para receber um sinal de mixagem descendente compreendendo pelo menos um sinal de objeto, informação de objeto determinada quando o sinal de mixagem descendente é gerado, e informação de mixagem para controlar o pelo menos um sinal de objeto, e gerar informação de processamento de mixagem descendente com base na informação de objeto e na informação de mixagem, e gerar informação de multicanal com base na informação de objeto e na informação de mixagem; uma unidade de processamento de mixagem descendente (720, 720a, 720b, 720c, 720d, 1020, 1120) configurada para receber a informação de processamento de mixagem descendente, e processar o sinal de mixagem descendente com base na informação de processamento de mixagem descendente; e um decodificador multicanal (730, 830, 1030, 1130) configurado para gerar um sinal multicanal com base no sinal de mixagem descendente processado e na informação de mul-ticanal, em que: um número de canais do sinal de mixagem descendente é igual a um número de canais do sinal de mixagem descendente processado; a informação de objeto inclui pelo menos uma dentre informação de nível de objeto 5 e informação de correlação de objeto; a informação de multicanal inclui pelo menos uma dentre informação de nível de canal e informação de correlação de canal.
BRPI0719884-1A 2006-12-07 2007-12-06 método, aparelho e mídia legível por computador para decodificar um sinal de áudio BRPI0719884B1 (pt)

Applications Claiming Priority (26)

Application Number Priority Date Filing Date Title
US86907706P 2006-12-07 2006-12-07
US60/869,077 2006-12-07
US60/869.077 2006-12-07
US87713406P 2006-12-27 2006-12-27
US60/877.134 2006-12-27
US88356907P 2007-01-05 2007-01-05
US60/883,569 2007-01-05
US60/883.569 2007-01-05
US88404307P 2007-01-09 2007-01-09
US60/884,043 2007-01-09
US60/884.043 2007-01-09
US88434707P 2007-01-10 2007-01-10
US60/884,347 2007-01-10
US60/884.347 2007-01-10
US88458507P 2007-01-11 2007-01-11
US60/884.585 2007-01-11
US60/884,585 2007-01-11
US88534707P 2007-01-17 2007-01-17
US88534307P 2007-01-17 2007-01-17
US60/885.347 2007-01-17
US60/885.343 2007-01-17
US88971507P 2007-02-13 2007-02-13
US60/889.715 2007-02-13
US95539507P 2007-08-13 2007-08-13
US60/955.395 2007-08-13
PCT/KR2007/006318 WO2008069596A1 (en) 2006-12-07 2007-12-06 A method and an apparatus for processing an audio signal

Publications (2)

Publication Number Publication Date
BRPI0719884A2 BRPI0719884A2 (pt) 2014-02-11
BRPI0719884B1 true BRPI0719884B1 (pt) 2020-10-27

Family

ID=39492395

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0719884-1A BRPI0719884B1 (pt) 2006-12-07 2007-12-06 método, aparelho e mídia legível por computador para decodificar um sinal de áudio

Country Status (11)

Country Link
US (11) US8488797B2 (pt)
EP (6) EP2122612B1 (pt)
JP (5) JP5290988B2 (pt)
KR (5) KR101111520B1 (pt)
CN (5) CN101553865B (pt)
AU (1) AU2007328614B2 (pt)
BR (1) BRPI0719884B1 (pt)
CA (1) CA2670864C (pt)
MX (1) MX2009005969A (pt)
TW (1) TWI371743B (pt)
WO (5) WO2008069594A1 (pt)

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
EP1905002B1 (en) 2005-05-26 2013-05-22 LG Electronics Inc. Method and apparatus for decoding audio signal
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
AU2006266655B2 (en) * 2005-06-30 2009-08-20 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
JP2009500656A (ja) * 2005-06-30 2009-01-08 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
CN101156065B (zh) * 2005-07-11 2010-09-29 松下电器产业株式会社 超声波探伤方法和超声波探伤装置
EP1974347B1 (en) * 2006-01-19 2014-08-06 LG Electronics Inc. Method and apparatus for processing a media signal
WO2007091850A1 (en) * 2006-02-07 2007-08-16 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
ES2438176T3 (es) * 2006-07-04 2014-01-16 Electronics And Telecommunications Research Institute Método para restablecer una señal de audio de múltiples canales usando un decodificador de HE-AAC y un decodificador de MPEG surround
CA2670864C (en) * 2006-12-07 2015-09-29 Lg Electronics Inc. A method and an apparatus for processing an audio signal
EP2109861B1 (en) * 2007-01-10 2019-03-13 Koninklijke Philips N.V. Audio decoder
KR20080082924A (ko) 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호의 처리 방법 및 장치
KR20080082916A (ko) 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
JP5291096B2 (ja) * 2007-06-08 2013-09-18 エルジー エレクトロニクス インコーポレイティド オーディオ信号処理方法及び装置
WO2009031871A2 (en) 2007-09-06 2009-03-12 Lg Electronics Inc. A method and an apparatus of decoding an audio signal
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
KR20110052562A (ko) 2008-07-15 2011-05-18 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
JP5258967B2 (ja) 2008-07-15 2013-08-07 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2010041877A2 (en) * 2008-10-08 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a signal
JP5694174B2 (ja) * 2008-10-20 2015-04-01 ジェノーディオ,インコーポレーテッド オーディオ空間化および環境シミュレーション
US8861739B2 (en) 2008-11-10 2014-10-14 Nokia Corporation Apparatus and method for generating a multichannel signal
KR20100065121A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US8670575B2 (en) * 2008-12-05 2014-03-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
JP5309944B2 (ja) * 2008-12-11 2013-10-09 富士通株式会社 オーディオ復号装置、方法、及びプログラム
US8620008B2 (en) 2009-01-20 2013-12-31 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR101187075B1 (ko) * 2009-01-20 2012-09-27 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US8139773B2 (en) * 2009-01-28 2012-03-20 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
KR101137361B1 (ko) * 2009-01-28 2012-04-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
AU2010305717B2 (en) * 2009-10-16 2014-06-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing one or more adjusted parameters for provision of an upmix signal representation on the basis of a downmix signal representation and a parametric side information associated with the downmix signal representation, using an average value
EP2491551B1 (en) * 2009-10-20 2015-01-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing an upmix signal representation on the basis of a downmix signal representation, apparatus for providing a bitstream representing a multichannel audio signal, methods, computer program and bitstream using a distortion control signaling
KR101106465B1 (ko) * 2009-11-09 2012-01-20 네오피델리티 주식회사 멀티밴드 drc 시스템의 게인 설정 방법 및 이를 이용한 멀티밴드 drc 시스템
EP2489038B1 (en) * 2009-11-20 2016-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter
US20120277894A1 (en) * 2009-12-11 2012-11-01 Nsonix, Inc Audio authoring apparatus and audio playback apparatus for an object-based audio service, and audio authoring method and audio playback method using same
KR101341536B1 (ko) * 2010-01-06 2013-12-16 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2557190A4 (en) * 2010-03-29 2014-02-19 Hitachi Metals Ltd ULTRAFINE INITIATIVE CRYSTAL ALLOY, NANOCRYSTALLINE SOFT MAGNETIC ALLOY AND METHOD OF MANUFACTURING THEREOF AND MAGNETIC COMPONENT SHAPED FROM NANOCRYSTALLINE SOFT MAGNETIC ALLOY
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
EP2586025A4 (en) 2010-07-20 2015-03-11 Huawei Tech Co Ltd A tone signal
US8948403B2 (en) * 2010-08-06 2015-02-03 Samsung Electronics Co., Ltd. Method of processing signal, encoding apparatus thereof, decoding apparatus thereof, and signal processing system
JP5903758B2 (ja) 2010-09-08 2016-04-13 ソニー株式会社 信号処理装置および方法、プログラム、並びにデータ記録媒体
TWI651005B (zh) 2011-07-01 2019-02-11 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
EP2560161A1 (en) 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
CN103050124B (zh) 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
CN103890841B (zh) * 2011-11-01 2017-10-17 皇家飞利浦有限公司 音频对象编码和解码
RU2014133903A (ru) * 2012-01-19 2016-03-20 Конинклейке Филипс Н.В. Пространственные рендеризация и кодирование аудиосигнала
US9516446B2 (en) * 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
CN104541524B (zh) 2012-07-31 2017-03-08 英迪股份有限公司 一种用于处理音频信号的方法和设备
KR20140017338A (ko) * 2012-07-31 2014-02-11 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 장치 및 방법
WO2014020181A1 (en) * 2012-08-03 2014-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
RU2635884C2 (ru) * 2012-09-12 2017-11-16 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для предоставления улучшенных характеристик направленного понижающего микширования для трехмерного аудио
US9344050B2 (en) * 2012-10-31 2016-05-17 Maxim Integrated Products, Inc. Dynamic speaker management with echo cancellation
RU2613731C2 (ru) 2012-12-04 2017-03-21 Самсунг Электроникс Ко., Лтд. Устройство предоставления аудио и способ предоставления аудио
WO2014111765A1 (en) * 2013-01-15 2014-07-24 Koninklijke Philips N.V. Binaural audio processing
WO2014111829A1 (en) 2013-01-17 2014-07-24 Koninklijke Philips N.V. Binaural audio processing
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
US9208775B2 (en) 2013-02-21 2015-12-08 Qualcomm Incorporated Systems and methods for determining pitch pulse period signal boundaries
JP5591423B1 (ja) 2013-03-13 2014-09-17 パナソニック株式会社 オーディオ再生装置およびオーディオ再生方法
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
CN108810793B (zh) 2013-04-19 2020-12-15 韩国电子通信研究院 多信道音频信号处理装置及方法
EP2989631A4 (en) * 2013-04-26 2016-12-21 Nokia Technologies Oy AUDIO SIGNAL ENCODER
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
CN105393304B (zh) * 2013-05-24 2019-05-28 杜比国际公司 音频编码和解码方法、介质以及音频编码器和解码器
WO2014187989A2 (en) 2013-05-24 2014-11-27 Dolby International Ab Reconstruction of audio scenes from a downmix
CN109887516B (zh) 2013-05-24 2023-10-20 杜比国际公司 对音频场景进行解码的方法、音频解码器以及介质
US9883312B2 (en) * 2013-05-29 2018-01-30 Qualcomm Incorporated Transformed higher order ambisonics audio data
KR101454342B1 (ko) * 2013-05-31 2014-10-23 한국산업은행 서라운드 채널 오디오 신호를 이용한 추가 채널 오디오 신호 생성 장치 및 방법
EP3005344A4 (en) * 2013-05-31 2017-02-22 Nokia Technologies OY An audio scene apparatus
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
PT3022949T (pt) 2013-07-22 2018-01-23 Fraunhofer Ges Forschung Descodificador de áudio multicanal, codificador de áudio de multicanal, métodos, programa de computador e representação de áudio codificada usando uma descorrelação dos sinais de áudio renderizados
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830333A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
TWI671734B (zh) 2013-09-12 2019-09-11 瑞典商杜比國際公司 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統
WO2015041477A1 (ko) 2013-09-17 2015-03-26 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
EP3074970B1 (en) * 2013-10-21 2018-02-21 Dolby International AB Audio encoder and decoder
EP2866227A1 (en) 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
CN117376809A (zh) 2013-10-31 2024-01-09 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
BR112016014892B1 (pt) 2013-12-23 2022-05-03 Gcoa Co., Ltd. Método e aparelho para processamento de sinal de áudio
WO2015104447A1 (en) 2014-01-13 2015-07-16 Nokia Technologies Oy Multi-channel audio signal classifier
EP4294055A1 (en) 2014-03-19 2023-12-20 Wilus Institute of Standards and Technology Inc. Audio signal processing method and apparatus
CN108966111B (zh) 2014-04-02 2021-10-26 韦勒斯标准与技术协会公司 音频信号处理方法和装置
CN110636415B (zh) * 2014-08-29 2021-07-23 杜比实验室特许公司 用于处理音频的方法、系统和存储介质
JP6360253B2 (ja) * 2014-09-12 2018-07-18 ドルビー ラボラトリーズ ライセンシング コーポレイション サラウンドおよび/または高さスピーカーを含む再生環境におけるオーディオ・オブジェクトのレンダリング
TWI587286B (zh) 2014-10-31 2017-06-11 杜比國際公司 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體
US9609383B1 (en) * 2015-03-23 2017-03-28 Amazon Technologies, Inc. Directional audio for virtual environments
CN107787584B (zh) * 2015-06-17 2020-07-24 三星电子株式会社 处理低复杂度格式转换的内部声道的方法和装置
JP6797187B2 (ja) 2015-08-25 2020-12-09 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・デコーダおよびデコード方法
CN109427337B (zh) 2017-08-23 2021-03-30 华为技术有限公司 立体声信号编码时重建信号的方法和装置
TWI703557B (zh) * 2017-10-18 2020-09-01 宏達國際電子股份有限公司 聲音播放裝置、方法及非暫態儲存媒體
DE102018206025A1 (de) * 2018-02-19 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering
KR102471718B1 (ko) * 2019-07-25 2022-11-28 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
WO2021034983A2 (en) * 2019-08-19 2021-02-25 Dolby Laboratories Licensing Corporation Steering of binauralization of audio
CN111654745B (zh) * 2020-06-08 2022-10-14 海信视像科技股份有限公司 多声道的信号处理方法及显示设备
JP7457215B1 (ja) 2023-04-25 2024-03-27 マブチモーター株式会社 梱包構造

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1982004314A1 (en) 1981-05-29 1982-12-09 Sturm Gary V Aspirator for an ink jet printer
FR2567984B1 (fr) * 1984-07-20 1986-08-14 Centre Techn Ind Mecanique Distributeur hydraulique proportionnel
US5583962A (en) 1991-01-08 1996-12-10 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
US6141446A (en) 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US5838664A (en) 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6226325B1 (en) 1996-03-27 2001-05-01 Kabushiki Kaisha Toshiba Digital data processing system
US6128597A (en) 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
US6131084A (en) 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
DE69817181T2 (de) 1997-06-18 2004-06-17 Clarity, L.L.C., Ann Arbor Verfahren und gerät zur blindseparierung von signalen
US6026168A (en) 1997-11-14 2000-02-15 Microtek Lab, Inc. Methods and apparatus for automatically synchronizing and regulating volume in audio component systems
WO1999053479A1 (en) 1998-04-15 1999-10-21 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Fast frame optimisation in an audio encoder
US6122619A (en) 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
FI114833B (fi) * 1999-01-08 2004-12-31 Nokia Corp Menetelmä, puhekooderi ja matkaviestin puheenkoodauskehysten muodostamiseksi
US7103187B1 (en) 1999-03-30 2006-09-05 Lsi Logic Corporation Audio calibration system
US6539357B1 (en) 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
CN1273082C (zh) 2000-03-03 2006-09-06 卡迪亚克M.R.I.公司 磁共振样品分析装置
KR100809310B1 (ko) 2000-07-19 2008-03-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 스테레오 서라운드 및/또는 오디오 센터 신호를 구동하기 위한 다중-채널 스테레오 컨버터
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7032116B2 (en) * 2001-12-21 2006-04-18 Intel Corporation Thermal management for computer systems running legacy or thermal management operating systems
ES2323294T3 (es) 2002-04-22 2009-07-10 Koninklijke Philips Electronics N.V. Dispositivo de decodificacion con una unidad de decorrelacion.
US8498422B2 (en) 2002-04-22 2013-07-30 Koninklijke Philips N.V. Parametric multi-channel audio representation
JP4013822B2 (ja) 2002-06-17 2007-11-28 ヤマハ株式会社 ミキサ装置およびミキサプログラム
WO2004008806A1 (en) 2002-07-16 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
JP4084990B2 (ja) 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
JP4496379B2 (ja) 2003-09-17 2010-07-07 財団法人北九州産業学術推進機構 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
US6937737B2 (en) * 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
TWI233091B (en) * 2003-11-18 2005-05-21 Ali Corp Audio mixing output device and method for dynamic range control
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
WO2005086139A1 (en) * 2004-03-01 2005-09-15 Dolby Laboratories Licensing Corporation Multichannel audio coding
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
US7756713B2 (en) 2004-07-02 2010-07-13 Panasonic Corporation Audio signal decoding device which decodes a downmix channel signal and audio signal encoding device which encodes audio channel signals together with spatial audio information
KR100745688B1 (ko) 2004-07-09 2007-08-03 한국전자통신연구원 다채널 오디오 신호 부호화/복호화 방법 및 장치
EP1779385B1 (en) 2004-07-09 2010-09-22 Electronics and Telecommunications Research Institute Method and apparatus for encoding and decoding multi-channel audio signal using virtual source location information
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
RU2391714C2 (ru) * 2004-07-14 2010-06-10 Конинклейке Филипс Электроникс Н.В. Преобразование аудиоканалов
ES2373728T3 (es) 2004-07-14 2012-02-08 Koninklijke Philips Electronics N.V. Método, dispositivo, aparato codificador, aparato decodificador y sistema de audio.
JP4892184B2 (ja) * 2004-10-14 2012-03-07 パナソニック株式会社 音響信号符号化装置及び音響信号復号装置
US8204261B2 (en) 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
KR101271069B1 (ko) * 2005-03-30 2013-06-04 돌비 인터네셔널 에이비 다중채널 오디오 인코더 및 디코더와, 인코딩 및 디코딩 방법
US20060262936A1 (en) * 2005-05-13 2006-11-23 Pioneer Corporation Virtual surround decoder apparatus
KR20060122694A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 두 채널 이상의 다운믹스 오디오 신호에 공간 정보비트스트림을 삽입하는 방법
JP2008542816A (ja) 2005-05-26 2008-11-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号の符号化及び復号化方法
CA2610430C (en) 2005-06-03 2016-02-23 Dolby Laboratories Licensing Corporation Channel reconfiguration with side information
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
KR100857102B1 (ko) 2005-07-29 2008-09-08 엘지전자 주식회사 인코딩된 오디오 신호 생성 및 처리 방법
US20070083365A1 (en) 2005-10-06 2007-04-12 Dts, Inc. Neural network classifier for separating audio sources from a monophonic audio signal
EP1640972A1 (en) 2005-12-23 2006-03-29 Phonak AG System and method for separation of a users voice from ambient sound
JP4944902B2 (ja) 2006-01-09 2012-06-06 ノキア コーポレイション バイノーラルオーディオ信号の復号制御
JP4399835B2 (ja) * 2006-07-07 2010-01-20 日本ビクター株式会社 音声符号化方法及び音声復号化方法
EP2112652B1 (en) * 2006-07-07 2012-11-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for combining multiple parametrically coded audio sources
KR101396140B1 (ko) 2006-09-18 2014-05-20 코닌클리케 필립스 엔.브이. 오디오 객체들의 인코딩과 디코딩
RU2551797C2 (ru) * 2006-09-29 2015-05-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
WO2008046530A2 (en) 2006-10-16 2008-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for multi -channel parameter transformation
EP2054875B1 (en) * 2006-10-16 2011-03-23 Dolby Sweden AB Enhanced coding and parameter representation of multichannel downmixed object coding
CA2670864C (en) * 2006-12-07 2015-09-29 Lg Electronics Inc. A method and an apparatus for processing an audio signal

Also Published As

Publication number Publication date
US20100014680A1 (en) 2010-01-21
EP2102857A4 (en) 2010-01-20
CA2670864A1 (en) 2008-06-12
US8005229B2 (en) 2011-08-23
US20080199026A1 (en) 2008-08-21
US20080205670A1 (en) 2008-08-28
KR101100222B1 (ko) 2011-12-28
US20100010818A1 (en) 2010-01-14
US7783050B2 (en) 2010-08-24
US8340325B2 (en) 2012-12-25
CN101553866B (zh) 2012-05-30
US8428267B2 (en) 2013-04-23
US20100010819A1 (en) 2010-01-14
EP2122612B1 (en) 2018-08-15
EP2187386B1 (en) 2020-02-05
JP5270566B2 (ja) 2013-08-21
US7986788B2 (en) 2011-07-26
EP2102856A4 (en) 2010-01-13
CN101553867B (zh) 2013-04-17
KR101111520B1 (ko) 2012-05-24
US20100010821A1 (en) 2010-01-14
JP5290988B2 (ja) 2013-09-18
CN101568958B (zh) 2012-07-18
JP2010511910A (ja) 2010-04-15
WO2008069593A1 (en) 2008-06-12
KR20090098863A (ko) 2009-09-17
AU2007328614A1 (en) 2008-06-12
EP2102856A1 (en) 2009-09-23
TW200834544A (en) 2008-08-16
CN101568958A (zh) 2009-10-28
US7783049B2 (en) 2010-08-24
WO2008069597A1 (en) 2008-06-12
US20100010820A1 (en) 2010-01-14
EP2122612A4 (en) 2010-01-13
CN101553865B (zh) 2012-01-25
EP2122613A1 (en) 2009-11-25
BRPI0719884A2 (pt) 2014-02-11
EP2102858A4 (en) 2010-01-20
CA2670864C (en) 2015-09-29
WO2008069596A1 (en) 2008-06-12
CN101553865A (zh) 2009-10-07
CN101553866A (zh) 2009-10-07
WO2008069595A1 (en) 2008-06-12
US20080205671A1 (en) 2008-08-28
CN101553868B (zh) 2012-08-29
KR101128815B1 (ko) 2012-03-27
KR101100223B1 (ko) 2011-12-28
EP2122613B1 (en) 2019-01-30
EP2187386A3 (en) 2010-07-28
EP2102857B1 (en) 2018-07-18
EP2122612A1 (en) 2009-11-25
EP2187386A2 (en) 2010-05-19
EP2102858A1 (en) 2009-09-23
JP5302207B2 (ja) 2013-10-02
KR20090100386A (ko) 2009-09-23
AU2007328614B2 (en) 2010-08-26
US8488797B2 (en) 2013-07-16
US8311227B2 (en) 2012-11-13
US20080205657A1 (en) 2008-08-28
CN101553867A (zh) 2009-10-07
JP2010511911A (ja) 2010-04-15
TWI371743B (en) 2012-09-01
JP5209637B2 (ja) 2013-06-12
MX2009005969A (es) 2009-06-16
EP2102857A1 (en) 2009-09-23
US7715569B2 (en) 2010-05-11
JP2010511909A (ja) 2010-04-15
KR20090098864A (ko) 2009-09-17
KR20090098865A (ko) 2009-09-17
EP2122613A4 (en) 2010-01-13
US20090281814A1 (en) 2009-11-12
WO2008069594A1 (en) 2008-06-12
CN101553868A (zh) 2009-10-07
US20080192941A1 (en) 2008-08-14
KR101111521B1 (ko) 2012-03-13
JP2010511908A (ja) 2010-04-15
JP5450085B2 (ja) 2014-03-26
JP2010511912A (ja) 2010-04-15
US7783051B2 (en) 2010-08-24
KR20090098866A (ko) 2009-09-17
US7783048B2 (en) 2010-08-24

Similar Documents

Publication Publication Date Title
BRPI0719884B1 (pt) método, aparelho e mídia legível por computador para decodificar um sinal de áudio
RU2417549C2 (ru) Способ и устройство для обработки аудиосигнала

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06T Formal requirements before examination [chapter 6.20 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: A CLASSIFICACAO ANTERIOR ERA: G10L 19/00

Ipc: G10L 19/008 (2013.01), H04S 3/00 (1980.01), H04S 7

B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 27/10/2020, OBSERVADAS AS CONDICOES LEGAIS.