BRPI0708047A2 - method for encoding and decoding object-based and equipment-based audio signal - Google Patents

method for encoding and decoding object-based and equipment-based audio signal Download PDF

Info

Publication number
BRPI0708047A2
BRPI0708047A2 BRPI0708047-6A BRPI0708047A BRPI0708047A2 BR PI0708047 A2 BRPI0708047 A2 BR PI0708047A2 BR PI0708047 A BRPI0708047 A BR PI0708047A BR PI0708047 A2 BRPI0708047 A2 BR PI0708047A2
Authority
BR
Brazil
Prior art keywords
information
audio signal
channel
parameter information
signal
Prior art date
Application number
BRPI0708047-6A
Other languages
Portuguese (pt)
Inventor
Sung Yong Yoon
Hee Suk Pang
Hyun Kook Lee
Dong Soo Kim
Jae Hyun Lim
Original Assignee
Lg Eletronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lg Eletronics Inc filed Critical Lg Eletronics Inc
Publication of BRPI0708047A2 publication Critical patent/BRPI0708047A2/en

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/173Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/20Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic

Abstract

MéTODO PARA CODIFICAR E DECODIFICAR SINAL DE áUDIO COM BASE EM OBJETO E EQUIPAMENTO PARA O MESMO. São providos métodos e equipamentos para codificar e decodificar um sinal de áudio com base em objeto. O método para decodificar um sinal de áudio com base em objeto inclui extrair um sinal de mistura descendente e informações de parâmetros com base em objeto a partir de um sinal de áudio de alimentação, gerar um sinal de áudio objeto usando o sinal de mistura descendente e as informações de parâmetros com base em objeto e gerar um sinal de áudio objeto com efeitos tridimensionais (3D) por aplicação de informações 3D ao sinal de áudio objeto. Assim sendo, é possível localizar uma imagem de som para cada sinal de áudio objeto e assim prover um sentimento vivido de realidade durante a reprodução de sinais de áudio objeto.METHOD FOR ENCODING AND DECODING AUDIO SIGNAL BASED ON OBJECT AND EQUIPMENT FOR THE SAME. Methods and equipment are provided for encoding and decoding an object-based audio signal. The method for decoding an object-based audio signal includes extracting a descending mix signal and object-based parameter information from a feed audio signal, generating an object audio signal using the descending mix signal, and the object-based parameter information and generate an object audio signal with three-dimensional (3D) effects by applying 3D information to the object audio signal. Therefore, it is possible to locate a sound image for each object audio signal and thus provide a lived feeling of reality during the reproduction of object audio signals.

Description

"MÉTODO PARA CODIFICAR E DECODIFICAR SINAL DE ÁU-DIO COM BASE EM OBJETO E EQUIPAMENTO PARA O MESMO""METHOD FOR CODING AND DECODING OBJECT-BASED AUDIO SIGNAL AND EQUIPMENT FOR THE SAME"

CAMPO TÉCNICOTECHNICAL FIELD

A presente invenção está relacionada a métodos eequipamentos para codificar e decodificar um sinal de áudioe, mais particularmente, a métodos e equipamentos para codi-ficar e decodificar um sinal de áudio que pode localizar umaimagem de som em uma localização espacial desejada para cadasinal de áudio objeto.The present invention relates to methods and equipment for encoding and decoding an audio signal and more particularly to methods and equipment for encoding and decoding an audio signal which can locate a sound image at a desired spatial location for object audio signaling. .

TÉCNICA DE EMBASAMENTOFILLING TECHNIQUE

De um modo geral, em um típico método para codifi-cação de áudio com base em objeto, um codificador de objetogera um sinal de mistura descendente ao misturar - baixaruma pluralidade de sinais de áudio objeto e gerar informa-ções de parâmetros, incluindo uma pluralidade de peças deinformações extraídas a partir dos sinais de áudio objeto.Em um típico método para decodificação de áudio com base emobjeto, um decodificador de objeto restaura uma pluralidadede sinais de áudio objeto por decodificação de um sinal demistura descendente recebido usando informações de parâme-tros com base em objeto e um reprodutor sintetiza os sinaisde áudio objeto para um sinal de dois canais ou um sinal demúltiplos canais usando dados de controle, os quais são ne-cessários para designar as posições dos sinais de áudio ob-j eto.Generally speaking, in a typical method for object-based audio coding, an object encoder generates a downmix signal by mixing down a plurality of object audio signals and generating parameter information, including a plurality. pieces of information extracted from the object audio signals. In a typical method for object-based audio decoding, an object decoder restores a plurality of object audio signals by decoding a received down-mix signal using parameter information with object-based and a player synthesizes the object audio signals into a two-channel or multi-channel signal using control data, which is required to designate the positions of the target audio signals.

No entanto, os dados de controle são simplesmenteinformações entre níveis e existe uma clara limitação para acriação de efeitos 3D por desempenho de localização de ima-gem de som simplesmente usando informações de nível.However, control data is simply level information, and there is a clear limitation to 3D effect creation by sound image localization performance simply by using level information.

DESCRIÇÃO DA INVENÇÃODESCRIPTION OF THE INVENTION

PROBLEMA TÉCNICOTECHNICAL PROBLEM

A presente invenção propicia métodos e equipamen-tos para codificação e decodificação de um sinal de áudioque podem posicionar uma imagem de som em uma localizaçãoespacial desejada para cada sinal de áudio objeto.The present invention provides methods and equipment for encoding and decoding an audio signal that can position a sound image at a desired spatial location for each audio signal object.

Solução TécnicaTechnical Solution

De acordo com um aspecto da presente invenção, éprovido um método para decodificação de um sinal de áudio. Ométodo inclui extrair um sinal de mistura descendente e in-formações de parâmetros com base em objeto a partir de umsinal de áudio de alimentação, gerar um sinal de áudio obje-to usando o sinal de mistura descendente e as informações deparâmetros com base em objeto e gerar um sinal de áudio ob-jeto com efeitos tridimensionais (3D) por aplicação de in-formações 3D ao sinal de áudio objeto.According to one aspect of the present invention, there is provided a method for decoding an audio signal. The method includes extracting a down mix signal and object-based parameter information from a feed audio signal, generating an object audio signal using the down mix signal, and object-based parameter information, and generate an object audio signal with three-dimensional (3D) effects by applying 3D information to the object audio signal.

De acordo com outro aspecto da presente invenção,é provido um equipamento para decodificar um sinal de áudio.0 equipamento compreende um demultiplexador para extrair umsinal de mistura descendente e informações de parâmetros combase em objeto a partir de um sinal de áudio de alimentação;um decodificador de objetos para gerar um sinal de áudio ob-jeto usando o sinal de mistura descendente e as informaçõesde parâmetros com base em objeto; e um reprodutor para gerarum sinal de áudio objeto com efeitos 3D por aplicação de in-formações 3D ao sinal de áudio objeto.According to another aspect of the present invention there is provided equipment for decoding an audio signal. The equipment comprises a demultiplexer for extracting a downmix signal and object-based parameter information from a feed audio signal; of objects to generate an object audio signal using the descending mix signal and object-based parameter information; and a player for generating an object audio signal with 3D effects by applying 3D information to the object audio signal.

De acordo com outro aspecto da presente invenção,é provido um método para decodificar um sinal de áudio. 0método compreende extrair um sinal de mistura descendente einformações de parâmetros com base em objeto a partir de umsinal de áudio de alimentação; gerar informações de parâme-tros com base em canal por conversão das informações de pa-râmetros com base em objeto; gerar um sinal de áudio usandoo sinal de mistura descendente e as informações de parâme-tros com base em canal; e gerar um sinal de áudio com efei-tos 3D por aplicação de informações 3D ao sinal de áudio.According to another aspect of the present invention, a method for decoding an audio signal is provided. The method comprises extracting a downmix signal and object-based parameter information from a feed audio signal; generate channel-based parameter information by converting object-based parameter information; generate an audio signal using the downmix signal and channel-based parameter information; and generating an audio signal with 3D effects by applying 3D information to the audio signal.

De acordo com outro aspecto da presente invenção,é provido um equipamento para decodificar um sinal de áudio.O equipamento compreende um demultiplexador para extrair umsinal de mistura descendente e informações de parâmetros combase em objeto a partir de um sinal de áudio de alimentação;um reprodutor que retira informações 3D usando dados de ín-dice e emite as informações 3D; um transcodificador para ge-rar informações de parâmetros com base em canal usando asinformações de parâmetros com base em objeto e as informa-ções 3D; e um decodificador de múltiplos canais para gerarum sinal de áudio usando o sinal de mistura descendente e asinformações de parâmetros com base em canal e gerar um sinalde áudio com efeitos 3D por aplicação de informações 3D aosinal de áudio.According to another aspect of the present invention there is provided equipment for decoding an audio signal.The equipment comprises a demultiplexer for extracting a downmix signal and object-based parameter information from a feed audio signal; which pulls out 3D information using index data and outputs the 3D information; a transcoder for generating channel-based parameter information using object-based parameter information and 3D information; and a multi-channel decoder for generating an audio signal using the downmix signal and channel-based parameter information and generating a 3D effect audio signal by applying 3D audio signal information.

De acordo com outro aspecto da presente invenção,é provido um equipamento para decodificar um sinal de áudio.O equipamento compreende um demultiplexador para extrair umsinal de mistura descendente e informações de parâmetros combase em objeto a partir de um sinal de áudio de alimentação;um reprodutor que retira informações 3D usando dados de ín-dice de alimentação e emite as informações 3D; um transcodi-ficador para converter as informações de parâmetros com baseem objeto para informações de parâmetros com base em canal,converter as informações 3D em informações de parâmetros combase em canal e emitir as informações de parâmetros com baseem canal e as informações 3D com base em canal; e um decodi-ficador de múltiplos canais para gerar um sinal de áudio u-sando o sinal de mistura descendente e as informações de pa-râmetros com base em canal e gerar um sinal de áudio com e-feitos 3D por aplicação de informações 3D com base em canalao sinal de áudio.According to another aspect of the present invention there is provided equipment for decoding an audio signal.The equipment comprises a demultiplexer for extracting a downmix signal and object-based parameter information from a feed audio signal; which pulls out 3D information using feed index data and outputs 3D information; a transcoder for converting object-based parameter information to channel-based parameter information, converting 3D information to channel-based parameter information, and outputting channel-based parameter information and channel-based 3D information ; and a multi-channel decoder for generating an audio signal using the descending mix signal and channel-based parameter information and generating a 3D e-made audio signal by applying 3D information with Canna audio signal base.

De acordo com outro aspecto da presente invenção,é provido um método para codificar um sinal de áudio. O mé-todo compreende gerar um sinal de mistura descendente pormistura de um sinal de áudio objeto; extrair informações comreferência ao sinal de áudio objeto e gerar informações deparâmetros com base em objeto com base nas informações ex-traídas; e inserir dados de índice nas informações de parâ-metros com base em objeto, os dados de índice sendo necessá-rios para pesquisar informações 3D que são usadas para criarefeitos 3D para o sinal de áudio objeto.According to another aspect of the present invention, a method is provided for encoding an audio signal. The method comprises generating a downward mixing signal by mixing an object audio signal; extract information with reference to the object audio signal and generate object-based parameter information based on the extracted information; and inserting index data into object-based parameter information, index data being required to search for 3D information that is used to create 3D effects for the object audio signal.

De acordo com outro aspecto da presente invenção,é provido um meio para gravação ou registro para leitura porcomputador que possui nele registrado um programa para exe-cução de um dos métodos acima mencionados.In accordance with another aspect of the present invention, there is provided a means for writing or recording for computer readout which has a program for executing one of the above methods recorded therein.

EFEITOS VANTAJOSOSADVANTABLE EFFECTS

Como foi acima descrito, de acordo com a presenteinvenção, é possível propiciar uma sensação mais vivida derealidade do que em típicos métodos para codificação e deco-dificação de áudio com base em objeto durante a reproduçãode sinais de áudio objeto por localização de uma imagem desom para cada um dos sinais de áudio objeto, concomitante-mente fazendo-se o melhor uso de típicos métodos de codifi-cação e decodificação de áudio com base em objeto, Além dis-so, é possível criar uma realidade virtual de alta fidelida-de pela aplicação da presente invenção a jogos interativosem que informações de posição de personagens do jogo manipu-lados através de uma rede pelos jogadores variam freqüente-mente.As described above, according to the present invention, it is possible to provide a more vivid sense of reality than in typical methods for object-based audio coding and decofication during playback of object audio signals by locating a single image to each of the object audio signals, concomitantly making the best use of typical object-based audio coding and decoding methods. In addition, it is possible to create a high-fidelity virtual reality by Application of the present invention to interactive games where the position information of game characters manipulated across a network by players often varies.

BREVE DESCRIÇÃO DOS DESENHOSBRIEF DESCRIPTION OF DRAWINGS

A Figura 1 ilustra um diagrama de blocos de um tí-pico equipamento de codificação de áudio com base em objeto.Figure 1 illustrates a block diagram of a typical object-based audio coding equipment.

A Figura 2 é um diagrama de blocos de um equipa-mento para decodificação de um sinal de áudio de acordo comuma modalidade da presente invenção.Figure 2 is a block diagram of equipment for decoding an audio signal according to an embodiment of the present invention.

A Figura 3 ilustra um fluxograma que apresenta umaoperação do equipamento ilustrado na Figura 2.Figure 3 illustrates a flowchart showing an operation of the equipment illustrated in Figure 2.

A Figura 4 ilustra um diagrama de blocos de um e-quipamento para decodificação de um sinal de áudio de acordocom outra modalidade da presente invenção.Figure 4 illustrates a block diagram of an equipment for decoding an audio signal according to another embodiment of the present invention.

A Figura 5 ilustra um fluxograma que apresenta umaoperação do equipamento ilustrado na Figura 4.Figure 5 illustrates a flow chart showing an operation of the equipment illustrated in Figure 4.

A Figura 6 ilustra um diagrama de blocos de um e-quipamento para decodificação de um sinal de áudio de acordocom outra modalidade da presente invenção.A Figura 7 ilustra a aplicação de informações tri-dimensionais (3D) a quadros pelo equipamento ilustrado naFigura 6.Figure 6 illustrates a block diagram of an equipment for decoding an audio signal according to another embodiment of the present invention. Figure 7 illustrates the application of three-dimensional (3D) information to frames by the equipment illustrated in Figure 6.

A Figura 8 ilustra um diagrama de blocos de um e-quipamento para decodificação de um sinal de áudio de acordocom outra modalidade da presente invenção; eFigure 8 illustrates a block diagram of an equipment for decoding an audio signal according to another embodiment of the present invention; and

A Figura 9 ilustra um diagrama de blocos de um e-quipamento para decodificação de um sinal de áudio de acordocom outra modalidade da presente invenção.Figure 9 illustrates a block diagram of an equipment for decoding an audio signal according to another embodiment of the present invention.

MELHOR FORMA PARA A PRÁTICA DA INVENÇÃOBEST FORM FOR INVENTION PRACTICE

A presente invenção será mais completamente des-crita a seguir por referência aos desenhos anexos em que sãoapresentadas modalidades exemplares da invenção.The present invention will be more fully described below with reference to the accompanying drawings in which exemplary embodiments of the invention are set forth.

Os métodos e equipamentos para codificação e deco-dificação de um sinal de áudio de acordo com a presente in-venção podem ser aplicados, porém não ficam restritos, aprocessos de codificação e decodificação de áudio com baseem objetos. Dito de outra forma, os métodos e equipamentospara codificação e decodificação de um sinal de áudio de a-cordo com a presente invenção podem ser também aplicados avárias operações de processamento de sinais que não aquelasaqui descritas, contanto que as operações de processamentode sinais atendam a algumas condições. Os métodos e equipa-mentos para codificação e decodificação de um sinal de áudiode acordo com a presente invenção podem posicionar imagensde sons de sinais de áudio objeto em localizações espaciaisdesejadas pela aplicação de informações tridimensionais(3D) , tais como uma função de transferência relacionadas acabeça (HRTF - Head Related Transfer Function) aos sinais deáudio objeto.Methods and equipment for encoding and decoding an audio signal in accordance with the present invention may be applied, but are not restricted, object based audio encoding and decoding processes. In other words, methods and equipment for encoding and decoding an audio signal in accordance with the present invention may also be applied to various signal processing operations other than those described herein, provided that signal processing operations meet some conditions. The methods and equipment for encoding and decoding an audio signal according to the present invention can position images of object audio signal sounds at spatial locations desired by applying three-dimensional (3D) information, such as a related transfer function. HRTF - Head Related Transfer Function) to object audio signals.

A Figura 1 ilustra um típico equipamento de codi-ficação de áudio com base em objeto. Fazendo referência àFigura 1, o equipamento de codificação de áudio com base emobjeto inclui um codificador de objeto 110 e um gerador decorrente de bits / bitstream 120.Figure 1 illustrates a typical object-based audio coding equipment. Referring to Figure 1, the object-based audio coding equipment includes an object encoder 110 and a bit-stream generator 120.

O codificador de objetos 110 recebe N sinais deáudio objeto e gera um sinal de mistura descendente com baseem objeto e informações de parâmetros com base em objeto in-cluindo uma pluralidade de peças de informações extraídas apartir dos N sinais de áudio objeto. A pluralidade de peçasde informações pode ser constituída por valores de correla-ção e diferença de energia.Object encoder 110 receives N object audio signals and generates an object based downmix signal and object based parameter information including a plurality of pieces of information extracted from the N object audio signals. The plurality of pieces of information may consist of correlation values and energy difference.

0 gerador de corrente de bits 120 gera uma corren-te de bits por combinação do sinal de mistura descendentecom base em objeto e das informações de parâmetros com baseem objeto gerados pelo codificador de objetos 110. a corren-te de bits gerada pelo gerador de corrente de bits 120 podeincluir parâmetros de mistura padrão necessários para ajus-tes padrão para um equipamento de decodificação. Os parâme-tros de mistura padrão podem incluir dados de índice neces-sários para pesquisa de informações 3D, tais como uma HRTF,que podem ser usados para a criação de efeitos 3D.Bitstream generator 120 generates a bitstream by combining the object-based descending mix signal and object-based parameter information generated by the object encoder 110. the bitstream generated by the current generator 120 bits can include standard mix parameters required for standard adjustments to a decoding equipment. Standard mix parameters can include index data needed for searching 3D information, such as an HRTF, which can be used for creating 3D effects.

A Figura 2 ilustra um equipamento para decodifica-ção de um sinal de áudio de acordo com uma modalidade dapresente invenção. O equipamento ilustrado na Figura 2 podeser projetado por combinação do conceito de localização bi-aural 3D com base em HRTF para um típico método de codifica-ção com base em objeto. Uma HRTF consiste de uma função detransferência que descreve a transmissão de ondas de som en-tre uma fonte de som em uma posição arbitrária e o tímpano,e responde com um valor que varia de acordo com a direção ealtitude da fonte do som. Caso um sinal sem qualquer dire-cionamento seja filtrado usando-se a HRTF, o sinal pode serouvido como se ele fora produzido a partir de uma certa direção.Figure 2 illustrates equipment for decoding an audio signal according to an embodiment of the present invention. The equipment illustrated in Figure 2 may be designed by combining the HRTF-based 3D bi-aural localization concept for a typical object-based coding method. An HRTF consists of a transfer function that describes the transmission of sound waves between a sound source in an arbitrary position and the eardrum, and responds with a value that varies according to the direction and amplitude of the sound source. If a signal without any direction is filtered using HRTF, the signal can be heard as if it were produced from a certain direction.

Fazendo referência à Figura 2, o equipamento in-clui um demultiplexador 130, um decodificador de objetos140, um reprodutor 150 e uma base de dados de informações 3D 160.Referring to Figure 2, the apparatus includes a demultiplexer 130, an object decoder 140, a player 150, and a 3D information database 160.

0 demultiplexador 130 extrai um sinal de misturadescendente e informações de parâmetros com base em objeto apartir de uma corrente de bits de alimentação. 0 decodifica-dor de objetos 140 gera um sinal de áudio objeto com base nosinal de mistura descendente e nas informações de parâmetroscom base em objeto. A base de dados de informações 3D 160 éuma base de dados que armazena informações 3D, tais como aHRTF, e pesquisa e emite informações 3D correspondentes adados de índice de alimentação. O reprodutor 150 gera um si-nal 3D usando o sinal de áudio objeto gerado pelo decodifi-cador de objetos 140 e as informações 3D emitidas pela basede dados de informações 3D 160.Demultiplexer 130 extracts a downward mix signal and object-based parameter information from a feed bit stream. Object decoder 140 generates an object-based audio signal based on the descending mix signals and object-based parameter information. The 3D information database 160 is a database that stores 3D information, such as aHRTF, and searches and outputs corresponding 3D feed index information. Player 150 generates a 3D signal using the object audio signal generated by the object decoder 140 and the 3D information output from the 3D information base 160.

A Figura 3 ilustra uma operação do equipamento i-lustrado na Figura 2. Fazendo referência às Figuras 2 e 3,quando uma corrente de bits transmitida por um equipamentopara codificação de um sinal de áudio é recebida (sl70), odemultiplexador 130 extrai um sinal de mistura descendente einformações de parâmetros com base em objeto a partir dacorrente de bits (sl72). O decodificador de objetos 140 geraum sinal de áudio objeto usando o sinal de mistura descen-dente e as informações de parâmetros com base em objeto(sl74).Figure 3 illustrates an operation of the equipment shown in Figure 2. Referring to Figures 2 and 3, when a bit stream transmitted by an equipment for encoding an audio signal is received (sl70), multiplexer 130 extracts a signal from descending mix and object-based parameter information from bit stream (sl72). Object decoder 140 generates an object audio signal using the descending mix signal and object-based parameter information (sl74).

O reprodutor 150 retira informações 3D a partir dabase de dados de informações 3D 160 usando dados de índiceincluídos em dados de controle, que são necessárias para de-signar as posições de sinais de áudio objeto (sl76) . O re-produtor 150 gera um sinal 3D com efeitos 3D efetuando umaoperação de reprodução 3D usando o sinal de áudio objetoprovido pelo decodificador de objetos 110 e as informações3D providas pela base de dados de informações 3D 160 (sl78).Player 150 pulls 3D information from the 3D information data base 160 using index data included in control data, which is required to designate the positions of object audio signals (sl76). The re-producer 150 generates a 3D signal with 3D effects by performing a 3D playback operation using the object audio signal provided by the object decoder 110 and the 3D information provided by the 3D information database 160 (sl78).

O sinal 3D gerado pelo reprodutor 150 pode ser umsinal de 2 canais com três ou mais direções e pode portantoser reproduzido na forma de um som estéreo 3D por alto fa-lantes de dois canais tais como em fones de ouvido. Dito deoutra forma, o sinal 3D gerado pelo reprodutor 150 pode serreproduzido por alto falantes de dois canais de forma que umusuário possa se sentir como o sinal 3D misto baixado fossereproduzido a partir de uma fonte de som com três ou maiscanais. A direção de uma fonte de som pode ser determinadacom base pelo menos na diferença entre as intensidades dedois sons respectivamente alimentados a ambos os ouvidos, nointervalo de tempo entre os dois sons e na diferença entreas fases dos dois sons. Portanto, o reprodutor 3D 150 podegerar um sinal 3D com base em como os seres humanos podemdeterminar a posição 3D de uma fonte de som com seu sentidode audição.The 3D signal generated by the player 150 may be a 2 channel signal with three or more directions and may therefore be reproduced in the form of a 3D stereo sound over two channel speakers such as in headphones. In other words, the 3D signal generated by the player 150 can be reproduced by two-channel speakers so that a user can feel like the downloaded mixed 3D signal will be produced from a sound source with three or more channels. The direction of a sound source can be determined on the basis of at least the difference between the intensities of finger sounds respectively fed to both ears, the time interval between the two sounds and the difference between the phases of the two sounds. Therefore, the 3D player 150 can generate a 3D signal based on how humans can determine the 3D position of a sound source with their sense of hearing.

Um equipamento para codificação de um sinal de áu-dio pode incluir dados de índice necessários para retirarinformações 3D em informações de parâmetros de mistura pa-drão para ajustes padrão. Em tal caso, o reprodutor 150 podeextrair informações 3D a partir da base de dados de informa-ções 3D 160 usando os dados de índice incluídos nas informa-ções de parâmetros de mistura padrão.Equipment for encoding an audio signal may include index data needed to derive 3D information from standard mixing parameter information for standard settings. In such a case, the player 150 may extract 3D information from the 3D information database 160 using the index data included in the standard mix parameter information.

Um equipamento para codificação de um sinal de áu-dio pode incluir, em dados de controle, dados de índice quesão necessários para pesquisar informações 3D, tais como umaHRTF que pode ser usada para criar efeitos 3D para um sinalobjeto. Dito de outra forma, as informações de parâmetros demistura incluídas em dados de controle usados por um equipa-mento para codificação de um sinal de áudio podem incluirnão somente informações de nível mas também dados de índicenecessários para pesquisar informações 3D. As informações deparâmetros de mistura podem consistir de informações de tem-po, tais como informações de diferença de tempo entre ca-nais, informações de posição, ou uma combinação das informa-ções de nível e das informações de tempo.Equipment for coding an audio signal may include, in control data, index data that is required to search for 3D information, such as an RTF that can be used to create 3D effects for an object signal. In other words, the parameter information of the mix included in control data used by equipment for encoding an audio signal can include not only level information but also necessary data to search for 3D information. Mix parameter information may consist of time information such as time difference information between channels, position information, or a combination of level information and time information.

Caso exista uma pluralidade de sinais de áudio ob-jeto e efeitos 3D devam ser adicionados a um ou mais dentrea pluralidade de sinais de áudio objeto, as informações 3Dcorrespondentes a certos dados de índice são pesquisadas eextraídas a partir da base de dados de informações 3D 160,que armazena informações 3D especificando as posições metados sinais de áudio objeto aos quais devem ser adicionadosos efeitos 3D. A seguir, o reprodutor 3D 150 efetua uma ope-ração de reprodução 3D usando as informações 3D extraídas, de forma a que os efeitos 3D possam ser criados. As informa-ções 3D com referência a todos os sinais objeto podem serusadas como informações de parâmetros de mistura. Caso asinformações 3D sejam aplicadas somente a alguns sinais obje-to, podem também ser usadas informações de nível e informa-ções de tempo com referência a sinais objeto que não os pou-cos sinais objeto como informações de parâmetros de mistura.If there is a plurality of object audio signals and 3D effects to be added to one or more of the plurality of object audio signals, the 3D information corresponding to certain index data is searched and extracted from the 3D information database 160. , which stores 3D information specifying the metered positions of audio object signals to which 3D effects should be added. The 3D player 150 then performs a 3D playback operation using the extracted 3D information so that 3D effects can be created. 3D information with reference to all object signals can be used as mixing parameter information. If 3D information is only applied to some object signals, level information and time information may also be used with reference to object signals other than the few object signals as mix parameter information.

A Figura 4 ilustra um equipamento para decodifica-ção de um sinal de áudio de acordo com outra modalidade dapresente invenção. Fazendo referência à Figura 4, o equipa-mento inclui um decodificador de múltiplos canais 270, emlugar de um decodificador de objetos.Figure 4 illustrates an apparatus for decoding an audio signal according to another embodiment of the present invention. Referring to Figure 4, the apparatus includes a multi-channel decoder 270 in place of an object decoder.

Mais especificamente, o equipamento inclui um de-multiplexador 230, um transcodificador 240, um reprodutor250, uma base de dados de informações 3D 260 e o decodifica-dor de múltiplos canais 270.More specifically, the apparatus includes a de-multiplexer 230, a transcoder 240, a player 250, a 3D information database 260, and the multi-channel decoder 270.

O demultiplexador 230 extrai um sinal de misturadescendente e informações de parâmetros com base em objeto apartir de uma corrente de bits de alimentação. 0 reprodutor250 designa a posição 3D de cada sinal objeto usando infor-mações 3D correspondentes a dados de índice incluídos em da-dos de controle. O transcodificador 230 gera informações deparâmetros com base em canal por sintetização de informaçõesde parâmetros com base em objeto e informações de posição 3Dde cada sinal de áudio objeto provido pelo reprodutor 250. 0decodificador de múltiplos canais 270 gera um sinal 3D usan-do o sinal de mistura descendente provido pelo demultiplexa-dor 230 e as informações de parâmetros com base em canalprovidas pelo transcodificador 230.Demultiplexer 230 extracts a downward mix signal and object-based parameter information from a feed bit stream. Player 250 assigns the 3D position of each object signal using 3D information corresponding to index data included in control data. Transcoder 230 generates channel-based parameter information by synthesizing object-based parameter information and 3D position information from each object audio signal provided by the 250 player. Multi-channel decoder 270 generates a 3D signal using the mix signal provided by the demultiplexer 230 and the channel-based parameter information provided by the transcoder 230.

A Figura 5 ilustra uma operação do equipamento i-lustrado na Figura 4. Fazendo referência às Figuras 4 e 5, oequipamento recebe uma corrente de bits (s280). 0 demulti-plexador 230 extrai um sinal de mistura descendente com baseem objeto e informações de parâmetros com base em objeto apartir da corrente de bits recebida (s282). 0 reprodutor 250extrai dados de índice incluídos nos dados de controle, quesão usados para designar as posições de sinais de áudio ob-jeto e extrai informações 3D correspondentes aos dados deíndice a partir da base de dados de informações 3D 260(s284). As posições dos sinais de áudio objeto designadasprincipalmente por informações de parâmetros de mistura pa-drão podem ser alteradas por designação de informações 3Dcorrespondentes a posições desejadas dos sinais de áudio ob-jeto usando-se dados de controle de mistura.Figure 5 illustrates an operation of the equipment shown in Figure 4. Referring to Figures 4 and 5, the equipment receives a bit stream (s280). Demultiplexer 230 extracts an object-based down mix signal and object-based parameter information from the received bit stream (s282). The player 250 extracts index data included in the control data which is used to designate the positions of target audio signals and extracts 3D information corresponding to the index data from the 3D information database 260 (s284). The positions of the object audio signals designated primarily by default mix parameter information may be changed by assigning 3D information corresponding to desired positions of the subject audio signals using mix control data.

O transcodificador 230 gera informações de parâme-tros com base em canal com referência a M canais por sinte-tização de informações de parâmetros com base em objeto comreferência a N sinais objeto, que são transmitidas por umequipamento para codificação de um sinal de áudio, e infor-mações de posição 3D de cada um dos sinais objeto, que sãoobtidas usando-se informações 3D tais como uma HRTF pelo re-produtor 250 (s28 6).O decodificador de múltiplos canais 270 gera umsinal de áudio usando o sinal de mistura descendente com ba-se em objeto provido pelo demultiplexador 230 e as informa-ções de parâmetros com base em canal providas pelo transco-dificador 230, e gera um sinal de múltiplos canais efetuandouma operação de reprodução 3D sobre o sinal de áudio usandoinformações 3D incluídas nas informações de parâmetros combase em canal (s290) .The transcoder 230 generates channel-based parameter information with reference to M channels by synthesizing object-based parameter information with reference to N object signals, which are transmitted by an equipment for encoding an audio signal, and 3D position information of each of the object signals, which is obtained using 3D information such as an HRTF by re-producer 250 (s286). The multi-channel decoder 270 generates an audio signal using the downmix signal. based on an object provided by the demultiplexer 230 and the channel-based parameter information provided by the transceiver 230, and generates a multi-channel signal by performing a 3D playback operation on the audio signal using 3D information included in the information. of channel combase parameters (s290).

A Figura 6 ilustra um equipamento para decodifica-ção de um sinal de áudio de acordo com outra modalidade dapresente invenção. O equipamento ilustrado na Figura 6 é di-ferente do equipamento ilustrado na Figura 4 pelo fato deque um transcodificador 440 transmite informações de parâme-tros com base em canal e informações 3D separadamente paraum decodificador de múltiplos canais 470. Dito de outra for-ma, o transcodificador 440, ao contrário do transcodificador240 ilustrado na Figura 4, transmite informações de parâme-tros com base em canal com referência a M canais, que sãoobtidas usando-se informações de parâmetros com base em ob-jeto com referência a N sinais objeto, e informações 3D, quesão aplicadas a cada um dos N sinais objeto, para o decodi-ficador de múltiplos canais 470, em lugar de transmitir in-formações de parâmetros com base em canal incluindo informa-ções 3D.Figure 6 illustrates an apparatus for decoding an audio signal according to another embodiment of the present invention. The equipment shown in Figure 6 is different from the equipment shown in Figure 4 in that a transcoder 440 transmits channel-based parameter information and 3D information separately to a 470 multi-channel decoder. transcoder 440, unlike transcoder240 shown in Figure 4, transmits channel-based parameter information with reference to M channels, which is obtained using object-based parameter information with reference to N object signals, and 3D information, which is applied to each of the N object signals, to the multi-channel decoder 470, rather than transmitting channel-based parameter information including 3D information.

Fazendo referência à Figura 7, as informações deparâmetros com base em canal e as informações 3D possuemseus próprios dados de índice de quadro. Dessa forma, o de-codificador de múltiplos canais 470 pode aplicar informações3D a um quadro predeterminado de uma corrente de bits porsincronização das informações de parâmetros com base em ca-nal e as informações 3D usando os Índices de quadro das in-formações de parâmetros com base em canal e as informações3D. Como exemplo, e fazendo referência à Figura 7, as infor-mações 3D correspondentes ao índice 2 podem ser aplicadas aoinício do quadro 2 possuindo o índice 2.Referring to Figure 7, the channel-based parameter information and the 3D information have their own frame index data. Thus, the multi-channel decoder 470 can apply 3D information to a predetermined frame of a bit stream by synchronizing channel-based parameter information and 3D information using the Frame Indexes of parameter information with channel base and the 3D information. As an example, and referring to Figure 7, the 3D information corresponding to index 2 may be applied to the beginning of table 2 having index 2.

Mesmo que as informações 3D sejam atualizadas aolongo do tempo, é possível determinar onde nas informaçõesde parâmetros com base em canal as informações 3D devem seraplicadas por referência a um índice de quadro das informa-ções 3D. Dito de outra forma, o transcodif icador 440 podeinserir informações de índice de quadro em informações deparâmetros com base em canal e informações 3D, respectiva-mente, de modo a que o decodificador de múltiplos canais 470sincronize temporariamente as informações de parâmetros combase em canal e as informações 3D.Even if the 3D information is updated over time, it is possible to determine where in the channel-based parameter information the 3D information should be applied by reference to a frame index of the 3D information. In other words, the transcoder 440 can input frame index information into channel-based parameter information and 3D information, respectively, so that the 470 multi-channel decoder temporarily synchronizes channel-based parameter information and 3D information.

A Figura 8 ilustra um equipamento para decodifica-ção de um sinal de áudio de acordo com outra modalidade dapresente invenção. O equipamento ilustrado na Figura 8 é di-ferente do equipamento ilustrado na Figura 6 pelo fato deque o equipamento ilustrado na Figura 8 compreende também umpré-processador 543 e um processador de efeitos 580 além deum demultiplexador 530, um transcodificador 547, um reprodu-tor 550 e uma base de dados de informações 3D 560, e pelofato de que a base de dados de informações 3D 560 está in-cluída no processador 550.Figure 8 illustrates an apparatus for decoding an audio signal according to another embodiment of the present invention. The equipment illustrated in Figure 8 is different from the equipment illustrated in Figure 6 in that the equipment illustrated in Figure 8 also comprises a preprocessor 543 and an effects processor 580 in addition to a demultiplexer 530, a transcoder 547, a player 550 and a 3D 560 information database, and the fact that the 3D 560 information database is included in the 550 processor.

Mais especificamente, as estruturas e operações dodemultiplexador 530, do transcodificador 547, do reprodutor560, da base de dados de informações 3D 560 e do decodifica-dor de múltiplos canais 570 são as mesmas que as estruturase operações de seus respectivos pares ilustrados na Figura6. Fazendo referência à Figura 8, o processador de efeitos580 pode adicionar um efeito predeterminado a um sinal demistura descendente. O pré-processador 543 pode efetuar umaoperação de pré-processamento sobre, por exemplo, um sinalde mistura descendente estéreo, de forma a que a posição dosinal de mistura descendente estéreo possa ser ajustada. Abase de dados de informações 3D 560 pode estar incluída noreprodutor 550.More specifically, the structures and operations of multiplexer 530, transcoder 547, player 560, 3D information database 560, and multi-channel decoder 570 are the same as the structures and operations of their respective pairs illustrated in Figure 6. Referring to Figure 8, the effects processor 580 may add a predetermined effect to a downward mixing signal. The preprocessor 543 may perform a preprocessing operation on, for example, a stereo downmix signal so that the position of the stereo downmix signal can be adjusted. The 3D information data base 560 may be included in the 550 product.

A Figura 9 ilustra um equipamento para decodifica-ção de um sinal de áudio de acordo com outra modalidade dapresente invenção. O equipamento ilustrado na Figura 9 é di-ferente do equipamento ilustrado na Figura 8 pelo fato deque uma unidade 680 para gerar um sinal 3D é dividida em umdecodificador de múltiplos canais 670 e uma memória 675. Fa-zendo referência à Figura 9, o decodificador de múltiploscanais 670 copia informações 3D, que estão armazenadas emuma memória inativa do decodificador de múltiplos canais670, para a memória 675, e a memória 675 efetua uma operaçãode reprodução 3D usando as informações 3D. As informações 3Dcopiadas para a memória 675 podem ser atualizadas com infor-mações 3D emitidas por um transcodificador 647. Portanto, épossível gerar um sinal 3D usando-se informações 3D deseja-das sem quaisquer modificações na estrutura do decodificadorde múltiplos canais 670.A presente invenção pode ser efetivad na forma deum código para leitura por computador registrado em um meiopara gravação / registro para leitura por computador. 0 meiode gravação para leitura por computador pode ser qualquertipo de dispositivo de gravação em que dados sejam armazena-dos de uma maneira legível por computadores. Os exemplos domeio de gravação para leitura por computador incluem umaROM, uma RAM, um CD-ROM, uma fita magnética, um disquete, umarmazenamento de dados óptico e uma onda portadora (por e-xemplo, transmissão de dados através da Internet). 0 meio degravação para leitura por computador pode estar distribuídoatravés de uma pluralidade de sistemas de computador conec-tados a uma rede, de forma que o código para leitura porcomputador seja ali registrado e a partir dali executado deuma maneira descentralizada. Programas, códigos e segmentosde código funcionais necessários para efetivar a presenteinvenção podem ser facilmente produzidos pelos técnicos naárea.Figure 9 illustrates an apparatus for decoding an audio signal according to another embodiment of the present invention. The equipment shown in Figure 9 is different from the equipment shown in Figure 8 in that a unit 680 for generating a 3D signal is divided into a multi-channel decoder 670 and a memory 675. Referring to Figure 9, the decoder Multi-channel 670 copies 3D information, which is stored in an inactive memory from the 670 multi-channel decoder, to memory 675, and memory 675 performs a 3D playback operation using the 3D information. 3D-copied information for memory 675 can be updated with 3D information output from a transcoder 647. Therefore, a 3D signal can be generated using desired 3D information without any modifications to the structure of the multi-channel decoder 670. The present invention It may be effected in the form of a computer readable code recorded in a computer readable record / register. The computer readable medium can be any type of writing device in which data is stored in a computer readable manner. Examples of computer readable recording domain include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage and a carrier wave (for example, data transmission over the Internet). The computer-readable write medium may be distributed across a plurality of computer systems connected to a network, so that the code for computer reading is recorded therein and executed therein in a decentralized manner. Programs, codes, and functional code segments required to carry out this invention can be readily produced by those skilled in the art.

Outras implementações se inserem no escopo dasreivindicações a seguir.Other implementations fall within the scope of the following claims.

Aplicação IndustrialIndustrial application

A presente invenção pode ser aplicada a váriosprocessos para decodificação de áudio com base em objeto epode prover uma sensação vivida de realidade durante a re-produção de sinais de áudio objeto por localização de umaimagem de som para cada um dos sinais de áudio objeto.The present invention can be applied to various object-based audio decoding processes and can provide a vivid sense of reality during the re-production of object audio signals by locating a sound image for each of the object audio signals.

Claims (35)

1. Método para decodificar um sinal de áudio,CARACTERIZADO pelo fato de que compreende:extrair um sinal de mistura descendente e informa-ções de parâmetros com base em objeto a partir de um sinalde áudio de alimentação;gerar um sinal de áudio objeto usando o sinal demistura descendente e as informações de parâmetros com baseem objeto; egerar um sinal de áudio objeto com efeitos tridi-mensionais (3D) por aplicação de informações 3D ao sinal deáudio objeto.1. A method for decoding an audio signal, characterized in that it comprises: extracting a descending mix signal and object-based parameter information from a feed audio signal, generating an object audio signal using the downmix signal and object-based parameter information; generate an object audio signal with three-dimensional effects (3D) by applying 3D information to the object audio signal. 2. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que as informações 3D são infor-mações de função de transferência relacionadas a cabeça(HRTF - Head Related Transfer Function).Method according to claim 1, characterized in that the 3D information is Head Related Transfer Function (HRTF) information. 3. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que compreende também armazenaras informações 3D em uma base de dados.Method according to claim 1, characterized in that it also comprises storing 3D information in a database. 4. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que as informações 3D correspon-dem a dados de índice que são incluídos em dados de controleque são usados para reproduzir o sinal de áudio objeto.Method according to claim 1, characterized in that the 3D information corresponds to index data that is included in control data that is used to reproduce the object audio signal. 5. Método, de acordo com a reivindicação 4,CARACTERIZADO pelo fato de que os dados de controle compre-endem pelo menos uma dentre informações de nível entre ca-nais, informações de tempo entre canais, informações de po-sição e uma combinação das informações de nível e informa-ções de tempo entre canais.A method according to claim 4, characterized in that the control data comprises at least one of channel level information, channel time information, position information and a combination of the level information and time information between channels. 6. Método, de acordo com a reivindicação 4,CARACTERIZADO pelo fato de que compreende também reproduziro sinal de áudio objeto usando os dados de controle.Method according to claim 4, characterized in that it further comprises reproducing object audio signal using the control data. 7. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que os dados de índice são inclu-ídos em informações de parâmetros de mistura padrão, que sãoincluídas nas informações de parâmetros com base em objeto.Method according to claim 1, characterized in that the index data is included in standard mix parameter information, which is included in the object-based parameter information. 8. Equipamento para decodificar um sinal de áudio,CARACTERIZADO pelo fato de que compreende:um demultiplexador para extrair um sinal de mistu-ra descendente e informações de parâmetros com base em obje-to a partir de um sinal de áudio de alimentação;um decodificador de objetos para gerar um sinal deáudio objeto usando o sinal de mistura descendente e as in-formações de parâmetros com base em objeto; eum reprodutor para gerar um sinal de áudio objetocom efeitos 3D por aplicação de informações 3D ao sinal deáudio objeto.8. Equipment for decoding an audio signal, characterized in that it comprises: a demultiplexer for extracting a descending mix signal and object-based parameter information from a power audio signal; of objects to generate an object audio signal using the descending mix signal and object-based parameter information; It is a player for generating an object audio signal with 3D effects by applying 3D information to the object audio signal. 9. Equipamento, de acordo com a reivindicação 8,CARACTERIZADO pelo fato de que compreende também uma base dedados de informações 3D que armazena as informações 3D.Equipment according to claim 8, characterized in that it also comprises a 3D information database which stores the 3D information. 10. Equipamento, de acordo com a reivindicação 8,CARACTERIZADO pelo fato de que as informações 3D são infor-mações de função de transferência relacionadas a cabeça(HRTF - Head Related Transfer Function).Equipment according to claim 8, characterized by the fact that the 3D information is Head Related Transfer Function (HRTF) information. 11. Equipamento, de acordo com a reivindicação 8,CARACTERIZADO pelo fato de que as informações 3D correspon-dem a dados de índice que são incluídos em dados de controleque são usados para reproduzir o sinal de áudio objeto.Equipment according to claim 8, characterized in that the 3D information corresponds to index data that is included in control data that is used to reproduce the object audio signal. 12.Equipamento, de acordo com a reivindicação 11,CARACTERIZADO pelo fato de que os dados de controle compre-endem pelo menos uma dentre informações de nível entre ca-nais, informações de tempo entre canais, informações de po-sição e uma combinação das informações de nível e informa-ções de tempo entre canais.Equipment according to claim 11, characterized in that the control data comprises at least one of channel level information, channel time information, position information and a combination of the level information and time information between channels. 13.Método para decodificar um sinal de áudio,CARACTERIZADO pelo fato de que compreende:extrair um sinal de mistura descendente e informa-ções de parâmetros com base em objeto a partir de um sinalde áudio de alimentação;gerar informações de parâmetros com base em canalpor conversão das informações de parâmetros com base em ob-jeto; egerar um sinal de áudio usando o sinal de misturadescendente e as informações de parâmetros com base em canale gerar um sinal de áudio com efeitos 3D por aplicação deinformações 3D ao sinal de áudio.13. A method for decoding an audio signal, characterized in that it comprises: extracting a downmix signal and object-based parameter information from a feed audio signal; generating channel-based parameter information conversion of object-based parameter information; Generating an audio signal using the downmix signal and channel-based parameter information generates an audio signal with 3D effects by applying 3D information to the audio signal. 14.Método, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que compreende também armazenaras informações 3D em uma base de dados.A method according to claim 13, characterized in that it also comprises storing 3D information in a database. 15.Método, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que as informações 3D são infor-mações HRTF.A method according to claim 13, characterized in that the 3D information is HRTF information. 16.Método, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que as informações 3D correspon-dem a dados de Índice que são incluídos em dados de controleque são usados para reproduzir o sinal de áudio objeto.A method according to claim 13, characterized in that the 3D information corresponds to Index data that is included in control data that is used to reproduce the object audio signal. 17. Método, de acordo com a reivindicação 16,CARACTERIZADO pelo fato de que os dados de controle compre-endem pelo menos uma dentre informações de nível entre ca-nais, informações de tempo entre canais, informações de po-sição e uma combinação das informações de nível e informa-ções de tempo entre canais.A method according to claim 16, characterized in that the control data comprises at least one of channel level information, channel time information, position information, and a combination of the level information and time information between channels. 18. Método, de acordo com a reivindicação 16,CARACTERIZADO pelo fato de que compreende também reproduziro sinal de áudio objeto usando os dados de controle.A method according to claim 16, characterized in that it further comprises reproducing object audio signal using the control data. 19. Método, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que compreende também adicionarum efeito predeterminado ao sinal de mistura descendente.A method according to claim 13, characterized in that it further comprises adding a predetermined effect to the downmix signal. 20. Equipamento para decodificar um sinal de áudio,CARACTERIZADO pelo fato de que compreende:um demultiplexador para extrair um sinal de mistu-ra descendente e informações de parâmetros com base em obje-to a partir de um sinal de áudio de alimentação;um reprodutor que retira informações 3D usando da-dos de índice e emite as informações 3D;um transcodificador para gerar informações de pa-râmetros com base em canal usando as informações de parâme-tros com base em objeto e as informações 3D; eum decodificador de múltiplos canais para gerar umsinal de áudio usando o sinal de mistura descendente e asinformações de parâmetros com base em canal e gerar um sinalde áudio com efeitos 3D por aplicação de informações 3D aosinal de áudio.20. An audio signal decoding apparatus, characterized in that it comprises: a demultiplexer for extracting a downmix signal and object-based parameter information from a feed audio signal; which pulls out 3D information using index data and outputs 3D information, a transcoder for generating channel-based parameter information using object-based parameter information and 3D information; It is a multi-channel decoder for generating an audio signal using the downmix signal and channel-based parameter information and generating a 3D effect audio signal by applying 3D audio signal information. 21. Equipamento, de acordo com a reivindicação 20,CARACTERIZADO pelo fato de que compreende também uma base dedados de informações 3D que armazena as informações 3D.Equipment according to claim 20, characterized in that it also comprises a 3D information database which stores the 3D information. 22. Equipamento, de acordo com a reivindicação 20,CARACTERIZADO pelo fato de que a base de dados de informa-ções 3D está incluída no reprodutor.Equipment according to claim 20, characterized in that the 3D information database is included in the player. 23. Equipamento, de acordo com a reivindicação 20,CARACTERIZADO pelo fato de que compreende também um proces-sador de efeitos que adiciona um efeito predeterminado aosinal de mistura descendente.Equipment according to claim 20, characterized in that it also comprises an effect processor that adds a predetermined effect to the downward mixing signals. 24. Equipamento, dè acordo com a reivindicação 20,CARACTERIZADO pelo fato de que os dados de índice são inclu-ídos em dados de controle que são usados para reproduzir osinal de áudio objeto.Equipment according to claim 20, characterized in that the index data is included in control data that is used to reproduce the audio object signals. 25. Equipamento, de acordo com a reivindicação 24,CARACTERIZADO pelo fato de que os dados de controle compre-endem pelo menos uma dentre informações de nível entre ca-nais, informações de tempo entre canais, informações de po-sição e uma combinação das informações de nível e informa-ções de tempo entre canais.Equipment according to claim 24, characterized in that the control data comprises at least one of channel level information, channel time information, position information and a combination of the level information and time information between channels. 26. Equipamento para decodificar um sinal de áudio,CARACTERIZADO pelo fato de que compreende:um demultiplexador para extrair um sinal de mistu-ra descendente e informações de parâmetros com base em obje-to a partir de um sinal de áudio de alimentação;um reprodutor que retira informações 3D usando da-dos de índice de alimentação e emite as informações 3D;um transcodificador para converter as informaçõesde parâmetros com base em objeto para informações de parâme-tros com base em canal, converter as informações 3D em in-formações de parâmetros com base em canal e emitir as infor-mações de parâmetros com base em canal e as informações 3Dcom base em canal; eum decodificador de múltiplos canais para gerar umsinal de áudio usando· o sinal de mistura descendente e asinformações de parâmetros com base em canal e gerar um sinalde áudio com efeitos 3D por aplicação de informações 3D combase em canal ao sinal de áudio.26. Equipment for decoding an audio signal, characterized in that it comprises: a demultiplexer for extracting a descending mix signal and object-based parameter information from a feed audio signal; which pulls 3D information using feed index data and outputs 3D information, a transcoder for converting object-based parameter information to channel-based parameter information, converting 3D information into parameter information channel-based and output channel-based parameter information and channel-based 3D information; It is a multi-channel decoder for generating an audio signal using the downmix signal and channel-based parameter information and generating a 3D effect audio signal by applying channel-matched 3D information to the audio signal. 27.Equipamento, de acordo com a reivindicação 26,CARACTERIZADO pelo fato de que o decodif icador de múltiploscanais compreende uma memória que armazena informações 3Dcomumente usadas para gerar um sinal de áudio com os efeitos3D.Equipment according to claim 26, characterized in that the multi-channel decoder comprises a memory that stores 3D information commonly used to generate an audio signal with 3D effects. 28.Equipamento, de acordo com a reivindicação 27,CARACTERIZADO pelo fato de que as informações 3D armazenadasna memória são atualizadas com as informações 3D com base emcanal.Equipment according to claim 27, characterized in that the 3D information stored in memory is updated with the channel-based 3D information. 29.Equipamento, de acordo com a reivindicação 26,CARACTERIZADO pelo fato de que os dados de Índice são inclu-ídos em dados de controle de mistura que são usados para re-produzir o sinal de áudio objeto.Equipment according to claim 26, characterized in that the Index data is included in mix control data that is used to reproduce the object audio signal. 30.Equipamento, de acordo com a reivindicação 26,CARACTERIZADO pelo fato de que as informações de parâmetroscom base em canal e as informações 3D com base em canal com-preendem informações de índice para sincronização das infor-mações de parâmetros com base em canal com as informações 3Dcom base em canal.Equipment according to claim 26, characterized in that the channel-based parameter information and the channel-based 3D information comprises index information for synchronization of channel-based parameter information with the channel-based 3D information. 31. Método para codificar um sinal de áudio,CARACTERIZADO pelo fato de que compreende:gerar um sinal de mistura descendente por misturadescendente de um sinal de áudio objeto;extrair informações com referência ao sinal de áu-dio objeto e gerar informações de parâmetros com base em ob-jeto com base nas informações extraídas; einserir dados de índice nas informações de parâme-tros com base em objeto, os dados de índice sendo necessá-rios para pesquisar informações 3D que são usadas para criarefeitos 3D para o sinal de áudio objeto.31. A method of encoding an audio signal, characterized by the fact that it comprises: generating a downward mixing signal by mixing an object audio signal, extracting information with reference to the object audio signal and generating parameter information based on it. object based on the information extracted; Insert index data into object-based parameter information, index data being required to search for 3D information that is used to create 3D effects for the object audio signal. 32. Método, de acordo com a reivindicação 31,CARACTERIZADO pelo fato de que compreende também gerar umacorrente de bits por combinação do sinal de mistura descen-dente com base em objeto e as informações de parâmetros combase em objeto com os dados de índice nela inseridos.Method according to claim 31, characterized in that it also comprises generating a bit stream by combining the object-based descending mix signal and the object-matched parameter information with the index data inserted therein. . 33. Método, de acordo com a reivindicação 31,CARACTERIZADO pelo fato de que as informações 3D são infor-mações HRTF.A method according to claim 31, characterized in that the 3D information is HRTF information. 34. Meio para registro para leitura por computadorCARACTERIZADO pelo fato de que possui nele registrado umprograma para execução do método do tipo definido em qual-quer uma das reivindicações 1 a 7.34. A means for recording for computer reading. Characterized by the fact that it has recorded in it a program for carrying out the method of the type defined in any one of claims 1 to 7. 35. Meio para registro para leitura por computadorCARACTERIZADO pelo fato de que possui nele registrado umprograma para execução do método do tipo definido em qual-quer uma das reivindicações 1 a 7.35. A means for computer readable recording. It is characterized by the fact that it has recorded in it a program for carrying out the method of the type defined in any one of claims 1 to 7.
BRPI0708047-6A 2006-02-09 2007-02-09 method for encoding and decoding object-based and equipment-based audio signal BRPI0708047A2 (en)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US77147106P 2006-02-09 2006-02-09
US60/771.471 2006-02-09
US77333706P 2006-02-15 2006-02-15
US60/773.337 2006-02-15
US88071407P 2007-01-17 2007-01-17
US60/880.714 2007-01-17
US88094207P 2007-01-18 2007-01-18
US60/880.942 2007-01-18
PCT/KR2007/000730 WO2007091870A1 (en) 2006-02-09 2007-02-09 Method for encoding and decoding object-based audio signal and apparatus thereof

Publications (1)

Publication Number Publication Date
BRPI0708047A2 true BRPI0708047A2 (en) 2011-05-17

Family

ID=39731308

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0708047-6A BRPI0708047A2 (en) 2006-02-09 2007-02-09 method for encoding and decoding object-based and equipment-based audio signal

Country Status (7)

Country Link
EP (1) EP1984916A4 (en)
JP (1) JP2009526467A (en)
AU (1) AU2007212873B2 (en)
BR (1) BRPI0708047A2 (en)
CA (1) CA2646278A1 (en)
TW (1) TWI326448B (en)
WO (1) WO2007091870A1 (en)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101617360B (en) 2006-09-29 2012-08-22 韩国电子通信研究院 Apparatus and method for coding and decoding multi-object audio signal with various channel
MY145497A (en) 2006-10-16 2012-02-29 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
BRPI0715312B1 (en) 2006-10-16 2021-05-04 Koninklijke Philips Electrnics N. V. APPARATUS AND METHOD FOR TRANSFORMING MULTICHANNEL PARAMETERS
EP2595152A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transkoding apparatus
EP2109861B1 (en) 2007-01-10 2019-03-13 Koninklijke Philips N.V. Audio decoder
EP2115739A4 (en) 2007-02-14 2010-01-20 Lg Electronics Inc Methods and apparatuses for encoding and decoding object-based audio signals
WO2009054665A1 (en) * 2007-10-22 2009-04-30 Electronics And Telecommunications Research Institute Multi-object audio encoding and decoding method and apparatus thereof
CN101911732A (en) * 2008-01-01 2010-12-08 Lg电子株式会社 The method and apparatus that is used for audio signal
CA2710560C (en) 2008-01-01 2015-10-27 Lg Electronics Inc. A method and an apparatus for processing an audio signal
EP2083585B1 (en) 2008-01-23 2010-09-15 LG Electronics Inc. A method and an apparatus for processing an audio signal
WO2009093866A2 (en) 2008-01-23 2009-07-30 Lg Electronics Inc. A method and an apparatus for processing an audio signal
KR101461685B1 (en) * 2008-03-31 2014-11-19 한국전자통신연구원 Method and apparatus for generating side information bitstream of multi object audio signal
JP5406276B2 (en) * 2008-04-16 2014-02-05 エルジー エレクトロニクス インコーポレイティド Audio signal processing method and apparatus
KR101061129B1 (en) * 2008-04-24 2011-08-31 엘지전자 주식회사 Method of processing audio signal and apparatus thereof
EP2360194B1 (en) * 2008-11-27 2015-03-11 Toray Industries, Inc. Siloxane resin composition and protective film for touch panel using same
MX347100B (en) * 2012-12-04 2017-04-12 Samsung Electronics Co Ltd Audio providing apparatus and audio providing method.
MX347551B (en) * 2013-01-15 2017-05-02 Koninklijke Philips Nv Binaural audio processing.
CN105144751A (en) * 2013-04-15 2015-12-09 英迪股份有限公司 Audio signal processing method using generating virtual object
TWI615834B (en) * 2013-05-31 2018-02-21 Sony Corp Encoding device and method, decoding device and method, and program
KR102231755B1 (en) 2013-10-25 2021-03-24 삼성전자주식회사 Method and apparatus for 3D sound reproducing
EP3127110B1 (en) * 2014-04-02 2018-01-31 Dolby International AB Exploiting metadata redundancy in immersive audio metadata

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100416757B1 (en) * 1999-06-10 2004-01-31 삼성전자주식회사 Multi-channel audio reproduction apparatus and method for loud-speaker reproduction
WO2004036548A1 (en) * 2002-10-14 2004-04-29 Thomson Licensing S.A. Method for coding and decoding the wideness of a sound source in an audio scene
AU2003298146B2 (en) * 2002-12-02 2009-04-09 Interdigital Ce Patent Holdings Method for describing the composition of audio signals
EP1427252A1 (en) * 2002-12-02 2004-06-09 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing audio signals from a bitstream
JP2005352396A (en) * 2004-06-14 2005-12-22 Matsushita Electric Ind Co Ltd Sound signal encoding device and sound signal decoding device
CN101410891A (en) 2006-02-03 2009-04-15 韩国电子通信研究院 Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue
CN101617360B (en) * 2006-09-29 2012-08-22 韩国电子通信研究院 Apparatus and method for coding and decoding multi-object audio signal with various channel

Also Published As

Publication number Publication date
EP1984916A4 (en) 2010-09-29
CA2646278A1 (en) 2007-08-16
TWI326448B (en) 2010-06-21
WO2007091870A8 (en) 2008-09-12
AU2007212873B2 (en) 2010-02-25
WO2007091870A1 (en) 2007-08-16
JP2009526467A (en) 2009-07-16
AU2007212873A1 (en) 2007-08-16
EP1984916A1 (en) 2008-10-29
TW200741649A (en) 2007-11-01

Similar Documents

Publication Publication Date Title
BRPI0708047A2 (en) method for encoding and decoding object-based and equipment-based audio signal
US20090177479A1 (en) Method for Encoding and Decoding Object-Based Audio Signal and Apparatus Thereof
JP6088444B2 (en) 3D audio soundtrack encoding and decoding
EP1416769B1 (en) Object-based three-dimensional audio system and method of controlling the same
KR102294767B1 (en) Multiplet-based matrix mixing for high-channel count multichannel audio
KR101054932B1 (en) Dynamic Decoding of Stereo Audio Signals
CN101133679B (en) Personalized headphone virtualization
RU2643644C2 (en) Coding and decoding of audio signals
BRPI0710923A2 (en) methods and apparatus for encoding and decoding object-oriented audio signals
KR101764175B1 (en) Method and apparatus for reproducing stereophonic sound
GB2549532A (en) Merging audio signals with spatial metadata
BR112016022078B1 (en) APPARATUS AND METHOD FOR AUDIO RENDERING EMPLOYING A GEOMETRIC DISTANCE DEFINITION
CN104054126A (en) Spatial audio rendering and encoding
CN109410912B (en) Audio processing method and device, electronic equipment and computer readable storage medium
BR112020000759A2 (en) apparatus for generating a modified sound field description of a sound field description and metadata in relation to spatial information of the sound field description, method for generating an enhanced sound field description, method for generating a modified sound field description of a description of sound field and metadata in relation to spatial information of the sound field description, computer program, enhanced sound field description
RU2455708C2 (en) Methods and devices for coding and decoding object-oriented audio signals
KR102370672B1 (en) Method and apparatus for providing audio data, method and apparatus for providing audio metadata, method and apparatus for playing audio data
KR20050115800A (en) Exednded high resolution audio signal encoder and decoder thereof
CN110782865A (en) Three-dimensional sound creation interactive system
RU2407070C2 (en) Method and device for encoding and decoding object-oriented audio signal
JP5743003B2 (en) Wavefront synthesis signal conversion apparatus and wavefront synthesis signal conversion method
JP5590169B2 (en) Wavefront synthesis signal conversion apparatus and wavefront synthesis signal conversion method
JP6306958B2 (en) Acoustic signal conversion device, acoustic signal conversion method, and acoustic signal conversion program
KR20200054084A (en) Method of producing a sound and apparatus for performing the same
Kang et al. A Multichannel Surround Audio Format Applying 3D Sound Technology

Legal Events

Date Code Title Description
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 10A ANUIDADE.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]