ES2636808T3 - Codificación de escenas de audio - Google Patents

Abstract

Un método para codificar una losa tiempo/frecuencia de una escena de audio que al menos comprende N objetos de audio, el método comprende: recibir (E02) los N objetos de audio; generar (E04) M señales de submezcla según al menos los N objetos de audio; generar (E06) una matriz de reconstrucción con elementos de matriz para la reconstrucción de al menos los N objetos de audio de las M señales de submezcla, en donde las aproximaciones de al menos los N objetos de audio se pueden obtener como combinaciones lineales de al menos las M señales de submezcla con los elementos de matriz de la matriz de reconstrucción como coeficientes en las combinaciones lineales; y generar (E08) una secuencia de bits que comprende las M señales de submezcla y al menos algunos de los elementos de matriz de la matriz de reconstrucción.

Description

5

10

15

20

25

30

35

40

45

50

DESCRIPCION

Codificacion de escenas de audio.

Referencia cruzada a solicitudes relacionadas

La presente solicitud invoca prioridad sobre la Solicitud de Patente Provisional de Estados Unidos No. 61/827,246, presentada el dfa 24 de mayo de 2013.

Campo tecnico

La invencion descrita en la presente memoria se refiere, en general, al campo de la codificacion y descodificacion de audio. En particular, se refiere a la codificacion y descodificacion de una escena de audio que comprende objetos de audio.

Antecedentes

Existen sistemas de codificacion de audio para la codificacion de audio espacial parametrica. Por ejemplo, MPEG Surround describe un sistema para la codificacion espacial parametrica de audio multicanal. MPEG SAOC (Codificacion de Objetos de Audio Espacial) describe un sistema para la codificacion parametrica de objetos de audio.

En un lado de codificador, dichos sistemas submezclan, normalmente, los canales/objetos en una submezcla que, en general, es una submezcla mono (un canal) o una submezcla estereo (dos canales) y extraen informacion conexa que describe las propiedades de los canales/objetos mediante parametros como diferencias de nivel y correlacion cruzada. La submezcla y la informacion conexa se codifican y envfan luego a un lado de descodificador. En el lado de descodificador, se reconstruyen los canales/objetos, a saber, se aproximan, a partir de la submezcla bajo el control de los parametros de la informacion conexa.

Una desventaja de dichos sistemas es que la reconstruccion es, en general, matematicamente compleja y, con frecuencia, tiene que depender de suposiciones sobre las propiedades del contenido de audio que no se describe, de manera explfcita, por los parametros enviados como informacion conexa. Dichas suposiciones pueden ser, por ejemplo, que los canales/objetos se consideran no correlacionados a menos que se envfe un parametro de correlacion cruzada o que se genere la submezcla de los canales/objetos en una forma espedfica. Ademas, la complejidad matematica y la necesidad de suposiciones adicionales aumentan radicalmente a medida que el numero de canales de la submezcla aumenta.

Ademas, las suposiciones requeridas se reflejan, intrmsecamente, en detalles algontmicos del procesamiento aplicado en el lado de descodificador. Ello supone que se tiene que incluir bastante inteligencia en el lado de descodificador. Esto constituye una desventaja en que puede ser diffcil actualizar o modificar los algoritmos una vez que los descodificadores se han desplegado en, p.ej., dispositivos de consumidor que son diffciles o incluso imposibles de actualizar.

I. Citas del Informe de Busqueda Internacional

El Informe de Busqueda Internacional correspondiente al presente documento cita, entre otras, las siguientes referencias:

Publicacion de Solicitud Internacional de Patente No. WO 2008/046530 A2, la cual describe un transformador de parametros que genera parametros de nivel e indica una relacion de energfa entre un primer y un segundo canal de audio de una senal de audio multicanal asociada a una configuracion de altavoz multicanal. El parametro de nivel se genera segun parametros de objetos para multiples objetos de audio asociados a un canal de submezcla, el cual se genera usando senales de audio de objetos asociadas a los objetos de audio. Los parametros de objetos comprenden un parametro de energfa que indica una energfa de la senal de audio de objeto. Con el fin de derivar la coherencia y los parametros de nivel, se usa un generador de parametros, el cual combina el parametro de energfa y los parametros de renderizacion de objetos, los cuales dependen de una configuracion de renderizacion deseada.

El Informe Blanco "Dolby Atmos Next-Generation Audio for Cinema", XP055067682, describe que Dolby Atmos adiciona la flexibilidad y potencia de objetos de audio dinamicos a flujos de trabajo basados en canales tradicionales, y permite a los realizadores de pelfculas controlar elementos de sonido discretos independientemente de las configuraciones espedficas del altavoz de reproduccion.

La Publicacion de Solicitud de Patente de Estados Unidos No. US 2005/0114121 A1 describe un dispositivo informatico que comprende una memoria para almacenar senales de audio, en parte pregrabadas, cada una correspondiente a una fuente definida, por medio de datos de posicion espacial, y un modulo de procesamiento para procesar dichas senales de audio en tiempo real como una funcion de los datos de posicion espacial. El modulo de procesamiento permite calcular los parametros de nivel de potencia instantaneos sobre la base de las senales de audio, las fuentes correspondientes definiendose por los parametros de nivel de potencia instantaneos. El modulo de procesamiento comprende un modulo de seleccion para reagrupar algunas de las senales de audio en un numero

2

5

10

15

20

25

30

35

40

45

50

variable de grupos de senales de audio y el modulo de procesamiento puede calcular datos de posicion espacial que son representativos de un grupo de senales de audio como una funcion de los datos de posicion espacial y parametros de nivel de potencia instantaneos para cada fuente correspondiente.

Breve descripcion de los dibujos

A continuacion se describiran realizaciones a modo de ejemplo en mayor detalle y con referencia a los dibujos anexos, en los cuales:

la Figura 1 es un dibujo esquematico de un sistema de codificacion/descodificacion de audio segun realizaciones a modo de ejemplo;

la Figura 2 es un dibujo esquematico de un sistema de codificacion/descodificacion de audio que tiene un descodificador heredado segun realizaciones a modo de ejemplo;

la Figura 3 es un dibujo esquematico de un lado de codificacion de un sistema de codificacion/descodificacion de audio segun realizaciones a modo de ejemplo;

la Figura 4 es un diagrama de flujo de un metodo de codificacion segun realizaciones a modo de ejemplo;

la Figura 5 es un dibujo esquematico de un codificador segun realizaciones a modo de ejemplo;

la Figura 6 es un dibujo esquematico de un lado de descodificador de un sistema de codificacion/descodificacion de audio segun realizaciones a modo de ejemplo;

la Figura 7 es un diagrama de flujo de un metodo de descodificacion segun realizaciones a modo de ejemplo;

la Figura 8 es un dibujo esquematico de un lado de descodificador de un sistema de codificacion/descodificacion de audio segun realizaciones a modo de ejemplo; y

la Figura 9 es un dibujo esquematico de transformaciones tiempo/frecuencia llevadas a cabo en un lado de descodificador de un sistema de codificacion/descodificacion de audio segun realizaciones a modo de ejemplo.

Todas las figuras son esquematicas y, en general, solo muestran partes que son necesarias para elucidar la invencion, mientras que otras partes se pueden omitir o simplemente sugerir. A menos que se indique lo contrario, iguales numerales de referencia se refieren a partes iguales en diferentes figuras.

Descripcion detallada

Segun lo establecido mas arriba, es un objeto proveer un codificador y un descodificador y metodos asociados que proveen una reconstruccion menos compleja y mas flexible de los objetos de audio.

I. Resumen - Codificador

Segun un primer aspecto, las realizaciones a modo de ejemplo proponen metodos de codificacion, codificadores y productos de programas de ordenador para la codificacion. Los metodos, codificadores y productos de programas de ordenador propuestos pueden tener, en general, las mismas caractensticas y ventajas.

Segun las realizaciones a modo de ejemplo, se provee un metodo para codificar una losa tiempo/frecuencia de una escena de audio que al menos comprende N objetos de audio. El metodo comprende: recibir los N objetos de audio; generar M senales de submezcla segun al menos los N objetos de audio; generar una matriz de reconstruccion con elementos de matriz que permite la reconstruccion de al menos los N objetos de audio de las M senales de submezcla; y generar una secuencia de bits que comprende las M senales de submezcla y al menos algunos de los elementos de matriz de la matriz de reconstruccion.

El numero N de objetos de audio puede ser igual a o mayor que uno. El numero M de senales de submezcla puede ser igual a o mayor que uno.

Con dicho metodo se genera una secuencia de bits que comprende M senales de submezcla y al menos algunos de los elementos de matriz de una matriz de reconstruccion como informacion conexa. Mediante la inclusion de elementos de matriz individuales de la matriz de reconstruccion en la secuencia de bits, se requiere muy poca inteligencia en el lado de descodificador. Por ejemplo, no hay necesidad, en el lado de descodificador, de un calculo complejo de la matriz de reconstruccion segun los parametros de objetos transmitidos y suposiciones adicionales. Por consiguiente, la complejidad matematica en el lado de descodificador se reduce de forma significativa. Ademas, la flexibilidad relativa al numero de senales de submezcla aumenta en comparacion con los metodos de la tecnica anterior dado que la complejidad del metodo no depende del numero de senales de submezcla usadas.

Segun su uso en la presente memoria, escena de audio se refiere, en general, a un entorno de audio tridimensional que comprende elementos de audio asociados a posiciones en un espacio tridimensional que se puede renderizar para la reproduccion en un sistema de audio.

5

10

15

20

25

30

35

40

45

50

55

60

Segun su uso en la presente memoria, objeto de audio se refiere a un elemento de una escena de audio. Un objeto de audio comprende, normalmente, una senal de audio e informacion adicional como, por ejemplo, la posicion del objeto en un espacio tridimensional. La informacion adicional se usa, normalmente, para renderizar de forma optima el objeto de audio en un sistema de reproduccion dado.

Segun su uso en la presente memoria, una senal de submezcla se refiere una senal que es una combinacion de al menos los N objetos de audio. Otras senales de la escena de audio como, por ejemplo, los canales de lecho (se describiran mas abajo), se pueden combinar tambien en la senal de submezcla. Por ejemplo, las M senales de submezcla pueden corresponder a una renderizacion de la escena de audio para una configuracion de altavoces dada, p.ej., una configuracion 5.1 estandar. El numero de senales de submezcla, aqu denotado por M, es normalmente (pero no necesariamente) menor que la suma del numero de objetos de audio y canales de lecho, lo cual explica por que se hace referencia a las M senales de submezcla como una submezcla.

Los sistemas de codificacion/descodificacion de audio normalmente dividen el espacio tiempo-frecuencia en losas tiempo/frecuencia, p.ej., mediante la aplicacion de bancos de filtros apropiados a las senales de audio de entrada. Una losa tiempo/frecuencia se refiere, en general, a una porcion del espacio tiempo-frecuencia correspondiente a un intervalo de tiempo y a una subbanda de frecuencia. El intervalo de tiempo puede corresponder, normalmente, a la duracion de una trama de tiempo usada en el sistema de codificacion/descodificacion de audio. La subbanda de frecuencia puede corresponder, normalmente, a una o varias subbandas de frecuencia vecinas definidas por el banco de filtros usado en el sistema de codificacion/descodificacion. En caso de que la subbanda de frecuencia corresponda a varias subbandas de frecuencia vecinas definidas por el banco de filtros, ello permite tener subbandas de frecuencia no uniformes en el proceso de descodificacion de la senal de audio, por ejemplo subbandas de frecuencia mas anchas para frecuencias mas altas de la senal de audio. En un caso de banda ancha, donde el sistema de codificacion/descodificacion de audio funciona en todo el rango de frecuencia, la subbanda de frecuencia de la losa tiempo/frecuencia puede corresponder a todo el rango de frecuencia. El metodo de mas arriba describe las etapas de codificacion para codificar una escena de audio durante una losa tiempo/frecuencia. Sin embargo, se comprendera que el metodo se puede repetir para cada losa tiempo/frecuencia del sistema de codificacion/descodificacion de audio. Asimismo, se comprendera que varias losas tiempo/frecuencia se pueden codificar de forma simultanea. Normalmente, las losas tiempo/frecuencia vecinas pueden superponer un bit en el tiempo y/o frecuencia. Por ejemplo, una superposicion en el tiempo puede ser equivalente a una interpolacion lineal de los elementos de la matriz de reconstruccion en el tiempo, a saber, de un intervalo de tiempo al siguiente. Sin embargo, la presente descripcion se dirige a otras partes del sistema de codificacion/descodificacion y cualquier superposicion en el tiempo y/o la frecuencia entre losas tiempo/frecuencia vecinas se deja para que la implemente una persona con experiencia en la tecnica.

Segun las realizaciones a modo de ejemplo, las M senales de submezcla se disponen en un primer campo de la secuencia de bits usando un primer formato, y los elementos de matriz se disponen en un segundo campo de la secuencia de bits usando un segundo formato, permitiendo asf que un descodificador que solo admite el primer formato descodifique y reproduzca las M senales de submezcla en el primer campo y descarte los elementos de matriz en el segundo campo. Ello resulta ventajoso en que las M senales de submezcla en la secuencia de bits son compatibles de forma retroactiva con descodificadores heredados que no implementan la reconstruccion de objetos de audio. En otras palabras, los descodificadores heredados pueden aun descodificar y reproducir las M senales de submezcla de la secuencia de bits, por ejemplo mediante el mapeo de cada senal de submezcla a una salida de canal del descodificador.

Segun las realizaciones a modo de ejemplo, el metodo puede ademas comprender la etapa de recibir datos posicionales correspondientes a cada uno de los N objetos de audio, en donde las M senales de submezcla se generan segun los datos posicionales. Los datos posicionales asocian, normalmente, cada objeto de audio a una posicion en un espacio tridimensional. La posicion del objeto de audio puede variar con el tiempo. Mediante el uso de los datos posicionales cuando se submezclan los objetos de audio, los objetos de audio se mezclaran en las M senales de submezcla de modo tal que si las M senales de submezcla, por ejemplo, se escuchan en un sistema con M canales de salida, los objetos de audio sonaran como si se ubicaran aproximadamente en sus respectivas posiciones. Ello es, por ejemplo, ventajoso si las M senales de submezcla son compatibles de manera retroactiva con un descodificador heredado.

Segun las realizaciones a modo de ejemplo, los elementos de matriz de la matriz de reconstruccion son variables con el tiempo y la frecuencia. En otras palabras, los elementos de matriz de la matriz de reconstruccion pueden ser diferentes para las diferentes losas tiempo/frecuencia. De esta manera, se logra una gran flexibilidad en la reconstruccion de los objetos de audio.

Segun las realizaciones a modo de ejemplo, la escena de audio ademas comprende multiples canales de lecho. Ello es comun, por ejemplo, en aplicaciones de audio de cine donde el contenido de audio comprende canales de lecho ademas de objetos de audio. En dichos casos, las M senales de submezcla se pueden generar segun al menos los N objetos de audio y los multiples canales de lecho. Un canal de lecho se refiere, en general, a una senal de audio que corresponde a una posicion fija en el espacio tridimensional. Por ejemplo, un canal de lecho puede corresponder a uno de los canales de salida del sistema de codificacion/descodificacion de audio. Como tal, un canal de lecho se puede interpretar como un objeto de audio que tiene una posicion asociada en un espacio tridimensional que es

5

10

15

20

25

30

35

40

45

50

55

igual a la posicion de uno de los altavoces de salida del sistema de codificacion/descodificacion de audio. Un canal de lecho se puede asociar, por lo tanto, a una etiqueta que simplemente indica la posicion del altavoz de salida correspondiente.

Cuando la escena de audio comprende canales de lecho, la matriz de reconstruccion puede comprender elementos de matriz que permiten la reconstruccion de los canales de lecho a partir de las M senales de submezcla.

En algunas situaciones, la escena de audio puede comprender un vasto numero de objetos. Con el fin de reducir la complejidad y la cantidad de datos requeridos para representar la escena de audio, la escena de audio se puede simplificar reduciendo el numero de objetos de audio. Por consiguiente, si la escena de audio originalmente comprende K objetos de audio, en donde K>N, el metodo puede ademas comprender las etapas de recibir los K objetos de audio y reducir los K objetos de audio en los N objetos de audio mediante la agrupacion de los K objetos en N clusteres y la representacion de cada cluster por un objeto de audio.

Con el fin de simplificar la escena, el metodo puede ademas comprender la etapa de recibir datos posicionales correspondientes a cada uno de los K objetos de audio, en donde la agrupacion de los K objetos en N clusteres se basa en una distancia posicional entre los K objetos segun sean dados por los datos posicionales de los K objetos de audio. Por ejemplo, los objetos de audio que son cercanos entre sf en terminos de posicion en el espacio tridimensional se pueden agrupar juntos.

Segun se describe mas arriba, las realizaciones a modo de ejemplo del metodo son flexibles con respecto al numero de senales de submezcla usadas. En particular, el metodo puede usarse, de forma ventajosa, cuando hay mas de dos senales de submezcla, a saber, cuando M es mayor que dos. Por ejemplo, se pueden usar cinco o siete senales de submezcla correspondientes a los establecimientos de audio 5.1 o 7.1 convencionales. Ello es ventajoso dado que, al contrario de los sistemas de la tecnica anterior, la complejidad matematica de los principios de codificacion propuestos permanece igual independientemente del numero de senales de submezcla usadas.

Con el fin de permitir la reconstruccion mejorada de los N objetos de audio, el metodo puede ademas comprender: formar L senales auxiliares a partir de los N objetos de audio; incluir elementos de matriz en la matriz de reconstruccion que permiten la reconstruccion de al menos los N objetos de audio a partir de las M senales de submezcla y las L senales auxiliares; e incluir las L senales auxiliares en la secuencia de bits. Las senales auxiliares sirven, por consiguiente, como senales de ayuda que, por ejemplo, pueden capturar aspectos de los objetos de audio que son diffciles de reconstruir a partir de las senales de submezcla. Las senales auxiliares se pueden basar ademas en los canales de lecho. El numero de senales auxiliares puede ser igual a o mayor que uno.

Segun una realizacion a modo de ejemplo, las senales auxiliares pueden corresponder a objetos de audio particularmente importantes como, por ejemplo, un objeto de audio que representa un dialogo. Por consiguiente, al menos una de las L senales auxiliares puede ser igual a uno de los N objetos de audio. Ello permite renderizar los objetos importantes en una mayor calidad que si tuvieran que reconstruirse a partir de los M canales de submezcla solamente. En la practica, algunos de los objetos de audio se pueden haber priorizado y/o etiquetado por un creador de contenido de audio como los objetos de audio que se incluyen preferiblemente de forma individual como objetos auxiliares. Ademas, ello hace la modificacion/procesamiento de dichos objetos anterior a la renderizacion menos propensa a los artefactos. A modo de compromiso entre la velocidad de bits y la calidad, tambien es posible enviar una mezcla de dos o mas objetos de audio como una senal auxiliar. En otras palabras, al menos una de las L senales auxiliares se puede formar como una combinacion de al menos dos de los N objetos de audio.

Segun una realizacion a modo de ejemplo, las senales auxiliares representan dimensiones de senal de los objetos de audio que se pierden en el proceso de generar las M senales de submezcla, p.ej., dado que el numero de objetos independientes es, normalmente, mas alto que el numero de canales de submezcla o dado que dos objetos se asocian a dichas posiciones que se mezclan en la misma senal de submezcla. Un ejemplo del ultimo caso es una situacion donde dos objetos se separan solo verticalmente pero comparten la misma posicion cuando se proyectan en el plano horizontal, lo cual significa que se renderizaran, normalmente, para el mismo canal de submezcla de un establecimiento de altavoz envolvente 5.1 estandar, donde todos los altavoces se encuentran en el mismo plano horizontal. De manera espedfica, las M senales de submezcla abarcan un hiperplano en un espacio de senal. Mediante la formacion de combinaciones lineales de las M senales de submezcla se pueden reconstruir solo las senales de audio que residen en el hiperplano. Con el fin de mejorar la reconstruccion, se pueden incluir las senales auxiliares que no residen en el hiperplano y asf permitir tambien la reconstruccion de senales que no residen en el hiperplano. En otras palabras, segun las realizaciones a modo de ejemplo, al menos una de las multiples senales auxiliares no reside en el hiperplano abarcado por las M senales de submezcla. Por ejemplo, al menos una de las multiples senales auxiliares puede ser ortogonal al hiperplano abarcado por las M senales de submezcla.

Segun las realizaciones a modo de ejemplo, se provee un medio legible por ordenador que comprende instrucciones de codigo de ordenador adaptadas para llevar a cabo cualquier metodo del primer aspecto cuando se ejecutan en un dispositivo que tiene capacidad de procesamiento.

Segun las realizaciones a modo de ejemplo, se provee un codificador para codificar una losa tiempo/frecuencia de una escena de audio que al menos comprende N objetos de audio, que comprende: un componente receptor

5

10

15

20

25

30

35

40

45

50

configurado para recibir los N objetos de audio; un componente de generacion de submezcla configurado para recibir los N objetos de audio del componente receptor y para generar M senales de submezcla segun al menos los N objetos de audio; un componente de analisis configurado para generar una matriz de reconstruccion con elementos de matriz que permite la reconstruccion de al menos los N objetos de audio a partir de las M senales de submezcla; y un componente de generacion de secuencia de bits configurado para recibir las M senales de submezcla del componente de generacion de submezcla y la matriz de reconstruccion del componente de analisis y para generar una secuencia de bits que comprende las M senales de submezcla y al menos algunos de los elementos de matriz de la matriz de reconstruccion.

II. Resumen - Descodificador

Segun un segundo aspecto, las realizaciones a modo de ejemplo proponen metodos de descodificacion, dispositivos de descodificacion y productos de programas de ordenador para la descodificacion. Los metodos, dispositivos y productos de programas de ordenador propuestos pueden tener, en general, las mismas caractensticas y ventajas.

Las ventajas relativas a las caractensticas y establecimientos segun se presentan en el resumen del codificador mas arriba pueden ser, en general, validas para las correspondientes caractensticas y establecimientos del descodificador.

Segun las realizaciones a modo de ejemplo, se provee un metodo para descodificar una losa tiempo-frecuencia de una escena de audio que al menos comprende N objetos de audio, el metodo comprende las etapas de: recibir una secuencia de bits que comprende M senales de submezcla y al menos algunos elementos de matriz de una matriz de reconstruccion; generar la matriz de reconstruccion usando los elementos de matriz; y reconstruir los N objetos de audio a partir de las M senales de submezcla usando la matriz de reconstruccion.

Segun las realizaciones a modo de ejemplo, las M senales de submezcla se disponen en un primer campo de la secuencia de bits usando un primer formato, y los elementos de matriz se disponen en un segundo campo de la secuencia de bits usando un segundo formato, permitiendo asf que un descodificador que solo admite el primer formato descodifique y reproduzca las M senales de submezcla en el primer campo y descarte los elementos de matriz en el segundo campo.

Segun las realizaciones a modo de ejemplo, los elementos de matriz de la matriz de reconstruccion son variables con el tiempo y la frecuencia.

Segun las realizaciones a modo de ejemplo, la escena de audio ademas comprende multiples canales de lecho, el metodo ademas comprende reconstruir los canales de lecho a partir de las M senales de submezcla usando la matriz de reconstruccion.

Segun las realizaciones a modo de ejemplo, el numero M de senales de submezcla es mayor que dos.

Segun las realizaciones a modo de ejemplo, el metodo ademas comprende: recibir L senales auxiliares formadas a partir de los N objetos de audio; reconstruir los N objetos de audio de las M senales de submezcla y las L senales auxiliares usando la matriz de reconstruccion, en donde la matriz de reconstruccion comprende elementos de matriz que permiten la reconstruccion de al menos los N objetos de audio de las M senales de submezcla y las L senales auxiliares.

Segun las realizaciones a modo de ejemplo, al menos una de las L senales auxiliares es igual a uno de los N objetos de audio.

Segun las realizaciones a modo de ejemplo, al menos una de las L senales auxiliares es una combinacion de los N objetos de audio.

Segun las realizaciones a modo de ejemplo, las M senales de submezcla abarcan un hiperplano, en donde al menos una de las multiples senales auxiliares no reside en el hiperplano abarcado por las M senales de submezcla.

Segun las realizaciones a modo de ejemplo, la al menos una de las multiples senales auxiliares que no reside en el hiperplano es ortogonal al hiperplano abarcado por las M senales de submezcla.

Segun se describe mas arriba, los sistemas de codificacion/descodificacion de audio funcionan, normalmente, en el dominio de la frecuencia. Por consiguiente, los sistemas de codificacion/descodificacion de audio llevan a cabo transformadas tiempo/frecuencia de senales de audio usando bancos de filtros. Se pueden usar diferentes tipos de transformadas tiempo/frecuencia. Por ejemplo, las M senales de submezcla se pueden representar con respecto a un primer dominio de la frecuencia y la matriz de reconstruccion se puede representar con respecto a un segundo dominio de la frecuencia. Con el fin de reducir la carga computacional en el descodificador, es ventajoso elegir el primer y segundo dominios de la frecuencia de manera inteligente. Por ejemplo, el primer y segundo dominios de la frecuencia se pueden elegir como el mismo dominio de la frecuencia como, por ejemplo, un dominio de Transformada Discreta del Coseno Modificada (MDCT, por sus siglas en ingles). De esta manera, uno puede evitar transformar las M senales de submezcla del primer dominio de la frecuencia al dominio de tiempo seguido por una

5

10

15

20

25

30

35

40

45

50

55

transformacion al segundo dominio de la frecuencia en el descodificador. De manera alternativa, puede ser posible elegir el primer y segundo dominios de la frecuencia de manera tal que la transformada del primer dominio de la frecuencia al segundo dominio de la frecuencia se puede implementar conjuntamente de modo que no es necesario hacerlo mediante el dominio de tiempo en medio.

El metodo puede ademas comprender recibir datos posicionales correspondientes a los N objetos de audio y renderizar los N objetos de audio usando los datos posicionales para crear al menos un canal de audio de salida. De esta manera, los N objetos de audio reconstruidos se mapean en los canales de salida del sistema de codificador/descodificador de audio segun su posicion en el espacio tridimensional.

La renderizacion se lleva a cabo, preferiblemente, en un dominio de la frecuencia. Con el fin de reducir la carga computacional en el descodificador, el dominio de la frecuencia de la renderizacion se elige, preferiblemente, de manera inteligente con respecto al dominio de la frecuencia en el cual los objetos de audio se reconstruyen. Por ejemplo, si la matriz de reconstruccion se representa con respecto a un segundo dominio de la frecuencia correspondiente a un segundo banco de filtros, y la renderizacion se lleva a cabo en un tercer dominio de la frecuencia correspondiente a un tercer banco de filtros, el segundo y tercer bancos de filtros se eligen, preferiblemente, para que sean, al menos parcialmente, el mismo banco de filtros. Por ejemplo, el segundo y tercer bancos de filtros pueden comprender un dominio de Filtro Espejo en Cuadratura (QMF, por sus siglas en ingles). De manera alternativa, el segundo y tercer dominios de la frecuencia pueden comprender un banco de filtros MDCT. Segun una realizacion a modo de ejemplo, el tercer banco de filtros puede estar compuesto de una secuencia de bancos de filtros como, por ejemplo, un banco de filtros QMF seguido por un banco de filtros Nyquist. De ser asf, al menos uno de los bancos de filtros de la secuencia (el primer banco de filtros de la secuencia) es igual al segundo banco de filtros. De esta manera, se puede decir que el segundo y tercer bancos de filtros son, al menos parcialmente, el mismo banco de filtros.

Segun las realizaciones a modo de ejemplo, se provee un medio legible por ordenador que comprende instrucciones de codigo de ordenador adaptadas para llevar a cabo cualquier metodo del segundo aspecto cuando se ejecutan en un dispositivo que tiene capacidad de procesamiento.

Segun las realizaciones a modo de ejemplo, se provee un descodificador para descodificar una losa tiempo- frecuencia de una escena de audio que al menos comprende N objetos de audio, que comprende: un componente receptor configurado para recibir una secuencia de bits que comprende M senales de submezcla y al menos algunos elementos de matriz de una matriz de reconstruccion; un componente de generacion de matriz de reconstruccion configurado para recibir los elementos de matriz del componente receptor y, segun ello, generar la matriz de reconstruccion; y un componente de reconstruccion configurado para recibir la matriz de reconstruccion del componente de generacion de matriz de reconstruccion y para reconstruir los N objetos de audio de las M senales de submezcla usando la matriz de reconstruccion.

III. Realizaciones a modo de ejemplo

La Figura 1 ilustra un sistema de codificacion/descodificacion 100 para codificar/descodificar una escena de audio 102. El sistema de codificacion/descodificacion 100 comprende un codificador 108, un componente de generacion de secuencia de bits 110, un componente de descodificacion de secuencia de bits 118, un descodificador 120 y un renderizador 122.

La escena de audio 102 se representa por uno o mas objetos de audio 106a, a saber, senales de audio como, por ejemplo, N objetos de audio. La escena de audio 102 puede ademas comprender uno o mas canales de lecho 106b, a saber, senales que directamente corresponden a uno de los canales de salida del renderizador 122. La escena de audio 102 se representa ademas por metadatos que comprenden informacion posicional 104. La informacion posicional 104 se usa, por ejemplo, por el renderizador 122 cuando se renderiza la escena de audio 102. La informacion posicional 104 puede asociar los objetos de audio 106a, y posiblemente tambien los canales de lecho 106b, con una posicion espacial en un espacio tridimensional como una funcion de tiempo. Los metadatos pueden comprender ademas otro tipo de datos que son utiles para renderizar la escena de audio 102.

La parte de codificacion del sistema 100 comprende el codificador 108 y el componente de generacion de secuencia de bits 110. El codificador 108 recibe los objetos de audio 106a, los canales de lecho 106b si estuvieran presentes, y los metadatos que comprenden informacion posicional 104. Segun ello, el codificador 108 genera una o mas senales de submezcla 112 como, por ejemplo, las M senales de submezcla. A modo de ejemplo, las senales de submezcla 112 pueden corresponder a los canales [Lf Rf Cf Ls Rs LFE] de un sistema de audio 5.1. ("L" significa izquierda, "R" significa derecha, "C" significa central, "f" significa frontal, "s" significa envolvente, y "LFE" significa efectos de baja frecuencia).

El codificador 108 genera ademas informacion conexa. La informacion conexa comprende una matriz de reconstruccion. La matriz de reconstruccion comprende elementos de matriz 114 que permiten la reconstruccion de al menos los objetos de audio 106a a partir de las senales de submezcla 112. La matriz de reconstruccion puede ademas permitir la reconstruccion de los canales de lecho 106b.

5

10

15

20

25

30

35

40

45

50

55

El codificador 108 transmite las M senales de submezcla 112 y al menos algunos de los elementos de matriz 114 al componente de generacion de secuencia de bits 110. El componente de generacion de secuencia de bits 110 genera una secuencia de bits 116 que comprende las M senales de submezcla 112 y al menos algunos de los elementos de matriz 114 llevando a cabo la cuantificacion y codificacion. El componente de generacion de secuencia de bits 110 ademas recibe los metadatos que comprenden informacion posicional 104 para la inclusion en la secuencia de bits 116.

La parte de descodificacion del sistema comprende el componente de descodificacion de secuencia de bits 118 y el descodificador 120. El componente de descodificacion de secuencia de bits 118 recibe la secuencia de bits 116 y lleva a cabo la descodificacion y descuantificacion para extraer las M senales de submezcla 112 y la informacion conexa que comprende al menos algunos de los elementos de matriz 114 de la matriz de reconstruccion. Las M senales de submezcla 112 y los elementos de matriz 114 se ingresan entonces en el descodificador 120 que, basado en ello, genera una reconstruccion 106' de los N objetos de audio 106a y posiblemente tambien de los canales de lecho 106b. La reconstruccion 106' de los N objetos de audio es, por lo tanto, una aproximacion de los N objetos de audio 106a y posiblemente tambien de los canales de lecho 106b.

A modo de ejemplo, si las senales de submezcla 112 corresponden a los canales [Lf Rf Cf Ls Rs LFE] de una configuracion 5.1, el descodificador 120 puede reconstruir los objetos 106' usando solamente los canales de banda completa [Lf Rf Cf Ls Rs] e ignorando, de esta manera, los LFE. Ello tambien se aplica a otras configuraciones de canal. El canal LFE de la submezcla 112 se puede enviar (basicamente sin modificaciones) al renderizador 122.

Los objetos de audio 106' reconstruidos, junto con la informacion posicional 104, se ingresan entonces en el renderizador 122. Basado en los objetos de audio 106' reconstruidos y en la informacion posicional 104, el renderizador 122 renderiza una senal de salida 124 que tiene un formato que es apropiado para la reproduccion en una configuracion de altavoces o auriculares deseada. Los formatos de salida tfpicos son un establecimiento envolvente 5.1 estandar (3 altavoces frontales, 2 altavoces envolventes y 1 altavoz con efectos de baja frecuencia, LFE) o un establecimiento 7.1 + 4 (3 altavoces frontales, 4 altavoces envolventes, 1 altavoz LFE y 4 altavoces elevados).

En algunas realizaciones, la escena de audio original puede comprender un gran numero de objetos de audio. El procesamiento de un gran numero de objetos de audio tiene el costo de la alta complejidad computacional. Tambien la cantidad de informacion conexa (la informacion posicional 104 y los elementos de matriz de reconstruccion 114) que se incorporaran en la secuencia de bits 116 depende del numero de objetos de audio. Normalmente, la cantidad de informacion conexa crece de forma lineal con el numero de objetos de audio. Por consiguiente, con el fin de ahorrar complejidad computacional y/o de reducir la velocidad de bits necesaria para codificar la escena de audio, puede ser ventajoso reducir el numero de objetos de audio antes de la codificacion. A tales fines, el sistema de codificador/descodificador de audio 100 puede ademas comprender un modulo de simplificacion de escena (no se muestra) dispuesto en sentido ascendente del codificador 108. El modulo de simplificacion de escena toma los objetos de audio originales y posiblemente tambien los canales de lecho como entrada y lleva a cabo el procesamiento para producir los objetos de audio 106a. El modulo de simplificacion de escena reduce el numero, digamos K, de objetos de audio originales a un numero N mas factible de objetos de audio 106a llevando a cabo la agrupacion. Mas precisamente, el modulo de simplificacion de escena organiza los K objetos de audio originales y posiblemente tambien los canales de lecho en N clusteres. Normalmente, los clusteres se definen segun la proximidad espacial en la escena de audio de los K objetos de audio originales/canales de lecho. Con el fin de determinar la proximidad espacial, el modulo de simplificacion de escena puede tomar informacion posicional de los objetos de audio originales/canales de lecho como entrada. Cuando el modulo de simplificacion de escena ha formado los N clusteres, procede a representar cada cluster mediante un objeto de audio. Por ejemplo, un objeto de audio que representa un cluster se puede formar como una suma de los objetos de audio/canales de lecho que forman parte del cluster. Mas espedficamente, el contenido de audio de los objetos de audio/canales de lecho se puede anadir para generar el contenido de audio del objeto de audio representativo. Ademas, las posiciones de los objetos de audio/canales de audio en el cluster se pueden promediar para dar una posicion del objeto de audio representativo. El modulo de simplificacion de escena incluye las posiciones de los objetos de audio representativos en los datos posicionales 104. Ademas, el modulo de simplificacion de escena produce los objetos de audio representativos que constituyen los N objetos de audio 106a de la Figura 1.

Las M senales de submezcla 112 se pueden disponer en un primer campo de la secuencia de bits 116 usando un primer formato. Los elementos de matriz 114 se pueden disponer en un segundo campo de la secuencia de bits 116 usando un segundo formato. De esta manera, un descodificador que solo admite el primer formato puede descodificar y reproducir las M senales de submezcla 112 en el primer campo y descartar los elementos de matriz 114 en el segundo campo.

El sistema de codificador/descodificador de audio 100 de la Figura 1 admite tanto el primer formato como el segundo formato. Mas precisamente, el descodificador 120 se configura para interpretar el primer y segundo formatos, lo cual significa que puede reconstruir los objetos 106' segun las M senales de submezcla 112 y los elementos de matriz 114.

5

10

15

20

25

30

35

40

45

50

55

La Figura 2 ilustra un sistema de codificador/descodificador de audio 200. La parte de codificacion 108, 110 del sistema 200 corresponde a la de la Figura 1. Sin embargo, la parte de descodificacion del sistema de codificador/descodificador de audio 200 difiere de la del sistema de codificador/descodificador de audio 100 de la Figura 1. El sistema de codificador/descodificador de audio 200 comprende un descodificador heredado 230 que admite el primer formato pero no el segundo formato. Por consiguiente, el descodificador heredado 230 del sistema de codificador/descodificador de audio 200 no puede reconstruir los objetos de audio/canales de lecho 106a-b. Sin embargo, dado que el descodificador heredado 230 admite el primer formato, puede aun descodificar las M senales de submezcla 112 para generar una salida 224 que es una representacion basada en el canal como, por ejemplo, una representacion 5.1, apropiada para la reproduccion directa en un establecimiento de altavoz multicanal correspondiente. Se hace referencia a esta propiedad de las senales de submezcla como retrocompatibilidad, lo cual significa tambien que un descodificador heredado que no admite el segundo formato, a saber, no puede interpretar la informacion conexa que comprende los elementos de matriz 114, puede aun descodificar y reproducir las M senales de submezcla 112.

Ahora se describira en mayor detalle el funcionamiento del lado de codificador del sistema de codificacion/descodificacion de audio 100 con referencia a la Figura 3 y al diagrama de flujo de la Figura 4.

La Figura 4 ilustra el codificador 108 y el componente de generacion de secuencia de bits 110 de la Figura 1 en mayor detalle. El codificador 108 tiene un componente receptor (no se muestra), un componente de generacion de submezcla 318 y un componente de analisis 328.

En la etapa E02, el componente receptor del codificador 108 recibe los N objetos de audio 106a y los canales de lecho 106b si estuvieran presentes. El codificador 108 puede ademas recibir los datos posicionales 104. Mediante el uso de la notacion vectorial, los N objetos de audio se pueden denotar por un vector S = [St S2... SN]T, y los canales de lecho por un vector B. Los N objetos de audio y los canales de lecho pueden, conjuntamente, representarse por un vector A = [BT ST]T.

En la etapa E04, el componente de generacion de submezcla 318 genera las M senales de submezcla 112 de los N objetos de audio 106a y los canales de lecho 106b si estuvieran presentes. Mediante el uso de la notacion vectorial, las M senales de submezcla se pueden representar por un vector D = [D1 D2 ... DM]T que comprende las M senales de submezcla. En general, una submezcla de multiples senales es una combinacion de las senales como, por ejemplo, una combinacion lineal de las senales. A modo de ejemplo, las M senales de submezcla pueden corresponder a una configuracion de altavoces particular como, por ejemplo, la configuracion de los altavoces [Lf Rf Cf Ls Rs LFE] en una configuracion de altavoces 5.1.

El componente de generacion de submezcla 318 puede usar la informacion posicional 104 cuando genera las M senales de submezcla, de modo que los objetos se combinaran en las diferentes senales de submezcla segun su posicion en un espacio tridimensional. Ello es particularmente relevante cuando las propias M senales de submezcla corresponden a una configuracion de altavoces espedfica como en el ejemplo de mas arriba. A modo de ejemplo, el componente de generacion de submezcla 318 puede derivar una matriz de presentacion Pd (correspondiente a una matriz de presentacion aplicada en el renderizador 122 de la Figura 1) segun la informacion posicional y usarla para generar la submezcla segun D = Pd*[BTS T]T.

Los N objetos de audio 106a y los canales de lecho 106b, si estuvieran presentes, tambien son entradas en el componente de analisis 328. El componente de analisis 328 normalmente funciona en losas tiempo/frecuencia individuales de las senales de audio de entrada 106a-b. A tal fin, los N objetos de audio 106a y los canales de lecho 106b se pueden alimentar a traves de un banco de filtros 338, p.ej., un banco QMF, el cual lleva a cabo una transformada tiempo a frecuencia de las senales de audio de entrada 106a-b. En particular, el banco de filtros 338 se asocia a multiples subbandas de frecuencia. La resolucion de frecuencia de una losa tiempo/frecuencia corresponde a una o mas de dichas subbandas de frecuencia. La resolucion de frecuencia de las losas tiempo/frecuencia puede ser no uniforme, a saber, puede variar con la frecuencia. Por ejemplo, una resolucion de frecuencia mas baja se puede usar para frecuencias altas, lo cual significa que una losa tiempo/frecuencia en el rango de alta frecuencia puede corresponder a varias subbandas de frecuencia segun se define por el banco de filtros 338.

En la etapa E06, el componente de analisis 328 genera una matriz de reconstruccion, aqu denotada por R1. La matriz de reconstruccion generada se compone de multiples elementos de matriz. La matriz de reconstruccion R1 es tal que permite la reconstruccion de (una aproximacion de) los objetos de audio N 106a y posiblemente tambien de los canales de lecho 106b de las M senales de submezcla 112 en el descodificador.

El componente de analisis 328 puede tomar diferentes enfoques para generar la matriz de reconstruccion. Por ejemplo, se puede usar un enfoque predictivo de Mmimo Error Cuadratico Medio (MMSE, por sus siglas en ingles), el cual toma los N objetos de audio/canales de lecho 106a-b como entrada asf como las M senales de submezcla 112 como entrada. Ello se puede describir como un enfoque cuyo objetivo es encontrar la matriz de reconstruccion que minimiza el error cuadratico medio de los objetos de audio/canales de lecho reconstruidos. En particular, el enfoque reconstruye los N objetos de audio/canales de lecho usando una matriz de reconstruccion candidata y los compara con los objetos de audio/canales de lecho 106a-b de entrada en terminos del error cuadratico medio. La

5

10

15

20

25

30

35

40

45

50

55

matriz de reconstruccion candidata que minimiza el error cuadratico medio se selecciona como la matriz de reconstruccion y sus elementos de matriz 114 son la salida del componente de analisis 328.

El enfoque MMSE requiere calculos de correlacion y matrices de covarianza de los N objetos de audio/canales de lecho 106a-b y las M senales de submezcla 112. Segun el enfoque de mas arriba, dichas correlaciones y covarianzas se miden segun los N objetos de audio/canales de lecho 106a-b y las M senales de submezcla 112. En un enfoque alternativo, basado en el modelo, el componente de analisis 328 toma los datos posicionales 104 como entrada en lugar de las M senales de submezcla 112. Mediante ciertas suposiciones, p.ej., suponiendo que los N objetos de audio no se correlacionan mutuamente, y usando dicha suposicion en combinacion con las reglas de submezcla aplicadas en el componente de generacion de submezcla 318, el componente de analisis 328 puede calcular las correlaciones y covarianzas requeridas que se necesitan para llevar a cabo el metodo MMSE descrito mas arriba.

Los elementos de la matriz de reconstruccion 114 y las M senales de submezcla 112 se ingresan entonces en el componente de generacion de secuencia de bits 110. En la etapa E08, el componente de generacion de secuencia de bits 110 cuantifica y codifica las M senales de submezcla 112 y al menos algunos de los elementos de matriz 114 de la matriz de reconstruccion y los dispone en la secuencia de bits 116. En particular, el componente de generacion de secuencia de bits 110 puede disponer las M senales de submezcla 112 en un primer campo de la secuencia de bits 116 usando un primer formato. Ademas, el componente de generacion de secuencia de bits 110 puede disponer los elementos de matriz 114 en un segundo campo de la secuencia de bits 116 usando un segundo formato. Segun se describe previamente con referencia a la Figura 2, ello permite a un descodificador heredado que solo admite el primer formato descodificar y reproducir las M senales de submezcla 112 y descartar los elementos de matriz 114 en el segundo campo.

La Figura 5 ilustra una realizacion alternativa del codificador 108. En comparacion con el codificador que se muestra en la Figura 3, el codificador 508 de la Figura 5 permite ademas que una o mas senales auxiliares se incluyan en la secuencia de bits 116. A tal fin, el codificador 508 comprende un componente de generacion de senales auxiliares 548. El componente de generacion de senales auxiliares 548 recibe los objetos de audio/canales de lecho 106a-b y, segun ello, se generan una o mas senales auxiliares 512. El componente de generacion de senales auxiliares 548 puede, por ejemplo, generar las senales auxiliares 512 como una combinacion de los objetos de audio/canales de lecho 106a-b. Mediante la denotacion de las senales auxiliares por el vector C = [C1 C2 ... CL]T, las senales auxiliares se pueden generar como C = Q * [ST ST]T, donde Q es una matriz que puede ser variable con el tiempo y la frecuencia. Ello incluye el caso donde las senales auxiliares son iguales a uno o mas de los objetos de audio y donde las senales auxiliares son combinaciones lineales de los objetos de audio. Por ejemplo, la senal auxiliar puede representar un objeto particularmente importante como, por ejemplo, un dialogo.

El rol de las senales auxiliares 512 es mejorar la reconstruccion de los objetos de audio/canales de lecho 106a-b en el descodificador. Mas precisamente, en el lado de descodificador, los objetos de audio/canales de lecho 106a-b se pueden reconstruir segun las M senales de submezcla 112 asf como las L senales auxiliares 512. La matriz de reconstruccion comprendera, por lo tanto, elementos de matriz 114 que permiten la reconstruccion de los objetos de audio/canales de lecho a partir de las M senales de submezcla 112 asf como las L senales auxiliares.

Las L senales auxiliares 512 pueden, por lo tanto, ingresarse en el componente de analisis 328 de modo que pueden tenerse en cuenta cuando se genera la matriz de reconstruccion. El componente de analisis 328 puede enviar tambien una senal de control al componente de generacion de senales auxiliares 548. Por ejemplo, el componente de analisis 328 puede controlar que objetos de audio/canales de lecho incluir en las senales auxiliares y como se incluiran. En particular, el componente de analisis 328 puede controlar la eleccion de la Q-matriz. El control puede, por ejemplo, basarse en el enfoque MMSE descrito mas arriba de modo que las senales auxiliares se seleccionan de modo que los objetos de audio/canales de lecho reconstruidos estan tan cerca como sea posible de los objetos de audio/canales de lecho 106a-b.

Ahora se describira en mayor detalle el funcionamiento del lado de descodificador del sistema de codificacion/descodificacion de audio 100 con referencia a la Figura 6 y al diagrama de flujo de la Figura 7.

La Figura 6 ilustra el componente de descodificacion de secuencia de bits 118 y el descodificador 120 de la Figura 1 en mayor detalle. El descodificador 120 comprende un componente de generacion de matriz de reconstruccion 622 y un componente de reconstruccion 624.

En la etapa D02 el componente de descodificacion de secuencia de bits 118 recibe la secuencia de bits 116. El componente de descodificacion de secuencia de bits 118 descodifica y descuantifica la informacion en la secuencia de bits 116 para extraer las M senales de submezcla 112 y al menos algunos de los elementos de matriz 114 de la matriz de reconstruccion.

El componente de generacion de matriz de reconstruccion 622 recibe los elementos de matriz 114 y procede a generar una matriz de reconstruccion 614 en la etapa D04. El componente de generacion de matriz de reconstruccion 622 genera la matriz de reconstruccion 614 disponiendo los elementos de matriz 114 en posiciones apropiadas en la matriz. Si no se reciben todos los elementos de matriz de la matriz de reconstruccion, el

5

10

15

20

25

30

35

40

45

50

55

componente de generacion de matriz de reconstruccion 622 puede, por ejemplo, insertar ceros en lugar de los elementos faltantes.

La matriz de reconstruccion 614 y las M senales de submezcla se ingresan entonces en el componente de reconstruccion 624. El componente de reconstruccion 624 entonces, en la etapa D06, reconstruye los N objetos de audio y, si fuera aplicable, los canales de lecho. En otras palabras, el componente de reconstruccion 624 genera una aproximacion 106' de los N objetos de audio/canales de lecho 106a-b.

A modo de ejemplo, las M senales de submezcla pueden corresponder a una configuracion de altavoces particular como, por ejemplo, la configuracion de los altavoces [Lf Rf Cf Ls Rs LFE] en una configuracion de altavoces 5.1. De ser asf, el componente de reconstruccion 624 puede basar la reconstruccion de los objetos 106' solamente en las senales de submezcla correspondientes a los canales de banda completa de la configuracion de altavoces. Como se explica mas arriba, la senal de banda limitada (senal de baja frecuencia LFE) se puede enviar basicamente sin modificaciones al renderizador.

El componente de reconstruccion 624 funciona, normalmente, en un dominio de la frecuencia. Mas precisamente, el componente de reconstruccion 624 funciona en losas tiempo/frecuencia individuales de las senales de entrada. Por lo tanto, las M senales de submezcla 112 estan normalmente sujetas a una transformada de tiempo a frecuencia 623 antes de ingresar en el componente de reconstruccion 624. La transformada de tiempo a frecuencia 623 es, normalmente, igual o similar a la transformada 338 aplicada en el lado de codificador. Por ejemplo, la transformada de tiempo a frecuencia 623 puede ser una transformada QMF.

Con el fin de reconstruir los objetos de audio/canales de lecho 106', el componente de reconstruccion 624 aplica una funcion de matrizacion. Mas espedficamente, mediante el uso de la notacion introducida previamente, el componente de reconstruccion 624 puede generar una aproximacion A' del objeto de audio/canales de lecho como A' = R1 * D. La matriz de reconstruccion R1 puede variar como una funcion de tiempo y frecuencia. Por consiguiente, la matriz de reconstruccion puede variar entre diferentes losas tiempo/frecuencia procesadas por el componente de reconstruccion 624.

Los objetos de audio/canales de lecho 106' reconstruidos se transforman, normalmente, otra vez en el dominio de tiempo 625 antes de producirse desde el descodificador 120.

La Figura 8 ilustra la situacion donde la secuencia de bits 116 comprende ademas senales auxiliares. En comparacion con la realizacion de la Figura 7, el componente de descodificacion de secuencia de bits 118 ahora ademas descodifica una o mas senales auxiliares 512 de la secuencia de bits 116. Las senales auxiliares 512 se ingresan en el componente de reconstruccion 624 donde se incluyen en la reconstruccion de los objetos de audio/canales de lecho. Mas particularmente, el componente de reconstruccion 624 genera los objetos de audio/canales de lecho aplicando la funcion de matriz A' = R1 * [DT CT]T.

La Figura 9 ilustra las diferentes transformadas tiempo/frecuencia usadas en el lado de descodificador en el sistema de codificacion/descodificacion de audio 100 de la Figura 1. El componente de descodificacion de secuencia de bits 118 recibe la secuencia de bits 116. Un componente de descodificacion y descuantificacion 918 descodifica y descuantifica la secuencia de bits 116 para extraer informacion posicional 104, las M senales de submezcla 112 y los elementos de matriz 114 de una matriz de reconstruccion.

En esta etapa, las M senales de submezcla 112 se representan, normalmente, en un primer dominio de la frecuencia, correspondiente a un primer conjunto de bancos de filtros tiempo/frecuencia aqrn denotados por T/Fc y F/Tc para la transformacion del dominio de tiempo al primer dominio de la frecuencia y del primer dominio de la frecuencia al dominio de tiempo, respectivamente. Normalmente, los bancos de filtros correspondientes al primer dominio de la frecuencia pueden implementar una transformada de ventana de superposicion como, por ejemplo, una MDCT y una MDCT inversa. El componente de descodificacion de secuencia de bits 118 puede comprender un componente de transformacion 901 que transforma las M senales de submezcla 112 en el dominio de tiempo usando el banco de filtros F/Tc.

El descodificador 120 y, en particular, el componente de reconstruccion 624 normalmente procesan senales con respecto a un segundo dominio de la frecuencia. El segundo dominio de la frecuencia corresponde a un segundo conjunto de bancos de filtros tiempo/frecuencia aqrn denotados por T/Fu y F/Tu para la transformacion del dominio de tiempo en el segundo dominio de la frecuencia y del segundo dominio de la frecuencia en el dominio de tiempo, respectivamente. El descodificador 120 puede, por lo tanto, comprender un componente de transformacion 903 que transforma las M senales de submezcla 112, que se representan en el dominio de tiempo, en el segundo dominio de la frecuencia usando el banco de filtros T/Fu. Cuando el componente de reconstruccion 624 ha reconstruido los objetos 106' segun las M senales de submezcla llevando a cabo el procesamiento en el segundo dominio de la frecuencia, un componente de transformacion 905 puede transformar los objetos 106' reconstruidos otra vez en el dominio de tiempo usando el banco de filtros F/Tu.

El renderizador 122 normalmente procesa senales con respecto a un tercer dominio de la frecuencia. El tercer dominio de la frecuencia corresponde a un tercer conjunto de bancos de filtros tiempo/frecuencia aqrn denotados por T/Fr y F/Tr para la transformacion del dominio de tiempo al tercer dominio de la frecuencia y del tercer dominio de la

5

10

15

20

25

30

35

40

45

50

55

frecuencia al dominio de tiempo, respectivamente. El renderizador 122 puede, por lo tanto, comprender un componente de transformacion 907 que transforma los objetos de audio 106' reconstruidos del dominio de tiempo al tercer dominio de la frecuencia usando el banco de filtros T/Fr. Una vez que el renderizador 122, mediante un componente de renderizacion 922, haya renderizado los canales de salida 124, los canales de salida se pueden transformar en el dominio de tiempo por un componente de transformacion 909 usando el banco de filtros F/Tr.

Como es evidente a partir de la descripcion de mas arriba, el lado de descodificador del sistema de codificacion/descodificacion de audio incluye un numero de etapas de transformacion tiempo/frecuencia. Sin embargo, si el primer, segundo y tercer dominios de la frecuencia se seleccionan de ciertas maneras, algunas de las etapas de transformacion tiempo/frecuencia se vuelven redundantes.

Por ejemplo, algunos del primer, segundo y tercer dominios de la frecuencia se pueden elegir para que sean iguales o se pueden implementar conjuntamente para ir directamente de un dominio de la frecuencia al otro sin recorrer todo el trayecto hasta el dominio de tiempo. Un ejemplo de lo ultimo es el caso donde la unica diferencia entre el segundo y tercer dominios de la frecuencia es que el componente de transformacion 907 en el renderizador 122 usa un banco de filtros Nyquist para una resolucion de frecuencia aumentada a bajas frecuencias ademas de un banco de filtros QMF que es comun para los componentes de transformacion 905 y 907. En dicho caso, los componentes de transformacion 905 y 907 se pueden implementar de manera conjunta en la forma de un banco de filtros Nyquist y asf ahorrar complejidad computacional.

En otro ejemplo, el segundo y tercer dominios de la frecuencia son iguales. Por ejemplo, el segundo y tercer dominios de la frecuencia pueden, ambos, ser un dominio de la frecuencia QMF. En dicho caso, los componentes de transformacion 905 y 907 son redundantes y se pueden eliminar, y asf ahorrar complejidad computacional.

Segun otro ejemplo, el primer y segundo dominios de la frecuencia pueden ser iguales. Por ejemplo, el primer y segundo dominios de la frecuencia pueden, ambos, ser un dominio MDCT. En dicho caso, el primer y segundo componentes de transformacion 901 y 903 se pueden eliminar, y asf ahorrar complejidad computacional.

Equivalentes, extensiones, alternativas y varios

Realizaciones adicionales de la presente descripcion seran aparentes para una persona con experiencia en la tecnica tras estudiar la descripcion de mas arriba. Aunque la presente descripcion y los dibujos describen realizaciones y ejemplos, la descripcion no se limita a dichos ejemplos espedficos. Se pueden llevar a cabo numerosas modificaciones y variaciones sin apartarse del alcance de la presente descripcion, el cual se define por las reivindicaciones anexas. Todo signo de referencia que aparezca en las reivindicaciones no se comprendera como uno que limita su alcance.

Ademas, las variaciones de las realizaciones descritas se pueden comprender y llevar a cabo por una persona con experiencia al practicar la descripcion, a partir de un estudio de los dibujos, la descripcion y las reivindicaciones anexas. En las reivindicaciones, la expresion "que comprende(n)" no excluye otros elementos o etapas, y el artfculo indefinido "un" o "una/o" no excluye una pluralidad. El mero hecho de que ciertas medidas se incluyan en reivindicaciones dependientes mutuamente diferentes no indica que una combinacion de dichas medidas no se pueda usar.

Los sistemas y metodos descritos mas arriba se pueden implementar como software, firmware, hardware o una combinacion de ellos. En una implementacion de hardware, la division de tareas entre unidades funcionales a las que se hace referencia en la descripcion de mas arriba no corresponde, necesariamente, a la division en unidades ffsicas; por el contrario, un componente ffsico puede tener multiples funcionalidades y una tarea puede llevarse a cabo por varios componentes ffsicos en colaboracion. Ciertos componentes o todos los componentes se pueden implementar como software ejecutado por un procesador de senal digital o microprocesador, o se pueden implementar como hardware o como un circuito integrado para aplicaciones espedficas. Dicho software se puede distribuir en medios legibles por ordenador, los cuales pueden comprender medios de almacenamiento de ordenador (o medios no transitorios) y medios de comunicacion (o medios transitorios). Como una persona con experiencia en la tecnica conoce, el termino medio de almacenamiento de ordenador incluye medios no permanentes y permanentes, removibles y no removibles implementados en cualquier metodo o tecnologfa para el almacenamiento de informacion como, por ejemplo, instrucciones legibles por ordenador, estructuras de datos, modulos de programa u otros datos. Los medios de almacenamiento de ordenador incluyen, pero sin limitacion, RAM, ROM, EePROM, memoria flash u otra tecnologfa de memoria, CD-ROM, discos versatiles digitales (DVD, por sus siglas en ingles) u otro almacenamiento de disco optico, casetes magneticos, cinta magnetica, almacenamiento de disco magnetico u otros dispositivos de almacenamiento magnetico, o cualquier otro medio que se pueda usar para almacenar la informacion deseada y al que se pueda acceder por un ordenador. Ademas, una persona con experiencia sabe que los medios de comunicacion normalmente realizan instrucciones legibles por ordenador, estructuras de datos, modulos de programa u otros datos en una senal de datos modulada como, por ejemplo, una onda portadora u otro mecanismo de transporte e incluyen cualquier medio de entrega de informacion.

Claims (15)

1. 5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   REIVINDICACIONES

   1. Un metodo para codificar una losa tiempo/frecuencia de una escena de audio que al menos comprende N objetos de audio, el metodo comprende:

   recibir (E02) los N objetos de audio;

   generar (E04) M senales de submezcla segun al menos los N objetos de audio;

   generar (E06) una matriz de reconstruccion con elementos de matriz para la reconstruccion de al menos los N objetos de audio de las M senales de submezcla, en donde las aproximaciones de al menos los N objetos de audio se pueden obtener como combinaciones lineales de al menos las M senales de submezcla con los elementos de matriz de la matriz de reconstruccion como coeficientes en las combinaciones lineales; y

   generar (E08) una secuencia de bits que comprende las M senales de submezcla y al menos algunos de los elementos de matriz de la matriz de reconstruccion.
2. 2. El metodo de la reivindicacion 1, en donde las M senales de submezcla se disponen en un primer campo de la secuencia de bits usando un primer formato, y los elementos de matriz se disponen en un segundo campo de la secuencia de bits usando un segundo formato, permitiendo asf que un descodificador que solo admite el primer formato descodifique y reproduzca las M senales de submezcla en el primer campo y descarte los elementos de matriz en el segundo campo.
3. 3. El metodo de cualquiera de las reivindicaciones precedentes, que ademas comprende la etapa de recibir datos posicionales correspondientes a cada uno de los N objetos de audio, en donde las M senales de submezcla se generan segun los datos posicionales.
4. 4. El metodo de cualquiera de las reivindicaciones precedentes, en donde la escena de audio ademas comprende multiples canales de lecho, en donde las M senales de submezcla se generan segun al menos los N objetos de audio y los multiples canales de lecho y

   de manera opcional, en donde la matriz de reconstruccion comprende elementos de matriz para la reconstruccion de los canales de lecho a partir de las M senales de submezcla, en donde las aproximaciones de los N objetos de audio y los canales de lecho se pueden obtener como combinaciones lineales de al menos las M senales de submezcla con los elementos de matriz de la matriz de reconstruccion como coeficientes en las combinaciones lineales.
5. 5. El metodo de cualquiera de las reivindicaciones precedentes, que ademas comprende: formar L senales auxiliares a partir de los N objetos de audio;

   incluir elementos de matriz en la matriz de reconstruccion para la reconstruccion de al menos los N objetos de audio a partir de las M senales de submezcla y las L senales auxiliares, en donde las aproximaciones de al menos los N objetos de audio se pueden obtener como combinaciones lineales de las M senales de submezcla y las L senales auxiliares con los elementos de matriz de la matriz de reconstruccion como coeficientes en las combinaciones lineales; e

   incluir las L senales auxiliares en la secuencia de bits.
6. 6. El metodo de la reivindicacion 5, en donde las M senales de submezcla abarcan un hiperplano, y en donde al menos una de las multiples senales auxiliares no reside en el hiperplano abarcado por las M senales de submezcla, y

   de manera opcional, en donde la al menos una de las multiples senales auxiliares es ortogonal al hiperplano abarcado por las M senales de submezcla.
7. 7. Un codificador para codificar una losa tiempo/frecuencia de una escena de audio que al menos comprende N objetos de audio, que comprende:

   un componente receptor configurado para recibir los N objetos de audio;

   un componente de generacion de submezcla configurado para recibir los N objetos de audio del componente receptor y para generar M senales de submezcla segun al menos los N objetos de audio;

   un componente de analisis configurado para generar una matriz de reconstruccion con elementos de matriz para la reconstruccion de al menos los N objetos de audio de las M senales de submezcla, en donde las aproximaciones de al menos los N objetos de audio se pueden obtener como combinaciones lineales de al menos las M senales de submezcla con los elementos de matriz de la matriz de reconstruccion como coeficientes en las combinaciones lineales; y

   5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   un componente de generacion de secuencia de bits configurado para recibir las M senales de submezcla del componente de generacion de submezcla y la matriz de reconstruccion del componente de analisis y para generar una secuencia de bits que comprende las M senales de submezcla y al menos algunos de los elementos de matriz de la matriz de reconstruccion.
8. 8. Un metodo para descodificar una losa tiempo-frecuencia de una escena de audio que al menos comprende N objetos de audio, el metodo comprende las etapas de:

   recibir (D02) una secuencia de bits que comprende M senales de submezcla y al menos algunos elementos de matriz de una matriz de reconstruccion;

   generar (D04) la matriz de reconstruccion usando los elementos de matriz; y

   reconstruir (D06) los N objetos de audio de las M senales de submezcla usando la matriz de reconstruccion, en donde las aproximaciones de al menos los N objetos de audio se pueden obtener como combinaciones lineales de al menos las M senales de submezcla con los elementos de matriz de la matriz de reconstruccion como coeficientes en las combinaciones lineales.
9. 9. El metodo de la reivindicacion 8, en donde las M senales de submezcla se disponen en un primer campo de la secuencia de bits usando un primer formato, y los elementos de matriz se disponen en un segundo campo de la secuencia de bits usando un segundo formato, permitiendo asf que un descodificador que solo admite el primer formato descodifique y reproduzca las M senales de submezcla en el primer campo y descarte los elementos de matriz en el segundo campo.
10. 10. El metodo de la reivindicacion 8 o reivindicacion 9, en donde la escena de audio ademas comprende multiples canales de lecho, el metodo ademas comprende reconstruir los canales de lecho de las M senales de submezcla usando la matriz de reconstruccion, en donde las aproximaciones de los N objetos de audio y los canales de lecho se obtienen como combinaciones lineales de al menos las M senales de submezcla con los elementos de matriz de la matriz de reconstruccion como coeficientes en las combinaciones lineales.
11. 11. El metodo de cualquiera de las reivindicaciones 8-10, que ademas comprende: recibir L senales auxiliares que se forman a partir de los N objetos de audio;

    reconstruir los N objetos de audio de las M senales de submezcla y las L senales auxiliares usando la matriz de reconstruccion, en donde las aproximaciones de al menos los N objetos de audio se obtienen como combinaciones lineales de las M senales de submezcla y las L senales auxiliares con los elementos de matriz de la matriz de reconstruccion como coeficientes en las combinaciones lineales.
12. 12. El metodo de la reivindicacion 11, en donde las M senales de submezcla abarcan un hiperplano, y en donde al menos una de las multiples senales auxiliares no reside en el hiperplano abarcado por las M senales de submezcla

    y,

    de manera opcional, en donde la al menos una de las multiples senales auxiliares que no reside en el hiperplano es ortogonal al hiperplano abarcado por las M senales de submezcla.
13. 13. El metodo de cualquiera de las reivindicaciones 8-12, que ademas comprende: recibir datos posicionales correspondientes a los N objetos de audio, y

    renderizar los N objetos de audio usando los datos posicionales para crear al menos un canal de audio de salida, y

    de manera opcional, en donde la matriz de reconstruccion se representa con respecto a un segundo dominio de la frecuencia correspondiente a un segundo banco de filtros, y la renderizacion se lleva a cabo en un tercer dominio de la frecuencia correspondiente a un tercer banco de filtros, en donde el segundo banco de filtros y el tercer banco de filtros son, al menos parcialmente, el mismo banco de filtros.
14. 14. Un medio legible por ordenador que comprende instrucciones de codigo de ordenador adaptadas para llevar a cabo el metodo de cualquiera de las reivindicaciones 1-6 cuando se ejecutan en un dispositivo que tiene capacidad de procesamiento, o que comprende instrucciones de codigo de ordenador adaptadas para llevar a cabo el metodo de cualquiera de las reivindicaciones 8-13 cuando se ejecutan en un dispositivo que tiene capacidad de procesamiento.
15. 15. Un descodificador para descodificar una losa tiempo-frecuencia de una escena de audio que al menos comprende N objetos de audio, que comprende:

    un componente receptor configurado para recibir una secuencia de bits que comprende M senales de submezcla y al menos algunos elementos de matriz de una matriz de reconstruccion;

    un componente de generacion de matriz de reconstruccion configurado para recibir los elementos de matriz del componente receptor y, segun ello, generar la matriz de reconstruccion; y

    un componente de reconstruccion configurado para recibir la matriz de reconstruccion del componente de generacion de matriz de reconstruccion y para reconstruir los N objetos de audio de las M senales de submezcla 5 usando la matriz de reconstruccion, en donde las aproximaciones de al menos los N objetos de audio se pueden obtener como combinaciones lineales de al menos las M senales de submezcla con los elementos de matriz de la matriz de reconstruccion como coeficientes en las combinaciones lineales.