ES2404512T3

ES2404512T3 - Sistema y método de procesamiento de señal de audio

Info

Publication number: ES2404512T3
Application number: ES04789617T
Authority: ES
Inventors: Andrew Peter Reilly; Adam Richard Mckeag
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2003-11-12
Filing date: 2004-10-27
Publication date: 2013-05-28
Anticipated expiration: 2024-10-27
Also published as: KR101184641B1; JP5084264B2; AU2004310176A1; DK1685743T3; JP2011223595A; JP2007511140A; CN1879450A; IL175272A0; EP1685743A4; WO2005048653A1; CA2545268C; HK1092992A1; CN1879450B; US20050100171A1; US7949141B2; KR20060120109A; IL175272A; CA2545268A1; EP1685743B1; PL1685743T3

Abstract

Un aparato para procesar una pluralidad de señales de audio de entrada, que comprende: una pluralidad de terminales de entrada (60) dispuestos para aceptar una pluralidad de señales de entrada (15, 16,17, 18, 19), un reverberador multi-entrada multi-salida (14) dispuesto para aceptar la pluralidad de señales de entrada ydispuesto para generar un conjunto de señales de salida (80), correspondiendo cada señal de salida delreverberador a una dirección de llegada de sonido en un entorno de escucha e incluyendo componentes de ecoretrasadas (80) dispuestas para simular los ecos que un oyente es probable que escuche de la direccióncorrespondiente en el entorno de escucha, y un filtro multi-entrada de dos salidas (20, 21, 22, 23, 24, 12-L, 12-R) con entradas acopladas a las salidas delreverberador, acopladas además las entradas a la pluralidad de terminales de entrada, una salida de filtro (47) parael oído izquierdo y una salida de filtro (48) para el oído derecho, dispuesto el filtro para implementar un cierto númerode pares de filtros de función de transferencia relacionada con la cabeza (20, 21, 22, 23, 24), denominados pares defiltros HRTF, correspondiendo cada par de filtros HRTF a una dirección HRTF de llegada de sonido en el entorno deescucha, reproducibles las dos salidas a través de auriculares, incluyendo cada par de filtros HRTF (20) un filtroHRTF de oído izquierdo (30) y un filtro HRTF de oído derecho (31), formando la suma de las salidas del filtro HRTFde oído izquierdo la salida de oído izquierdo (47), y formando la suma de las salidas del filtro HRTF de oído derechola salida de oído derecho (48) del filtro multi-entrada de dos salidas; en el que el reverberador incluye una pluralidad de trayectorias de señal de retroalimentación (63, 70), (64, 71), (65,72), (66, 73), (66, 74), una para cada dirección HRTF para el oyente, de tal manera que el acoplamiento de lassalidas del reverberador al filtro multi-entrada de dos salidas está dispuesto para acoplar cada una de lastrayectorias de señal de retroalimentación tanto al filtro HRTF de oído izquierdo como al filtro HRTF de oído derechode un correspondiente par de los pares de filtros HRTF, y en el que el reverberador además incluye un mezcladormulti-entrada multi-salida (62) con entradas acopladas a los terminales de entrada (60) y a las salidas de lastrayectorias de señal de retroalimentación, dispuesto el mezclador para mezclar su pluralidad de entradas,acopladas las salidas del mezclador a las trayectorias de señal de retroalimentación, descriptible la mezcla por unamatriz no diagonal, de tal manera que al menos una salida de mezclador se genera combinando una pluralidad deentradas de mezclador, dispuesto el aparato de tal manera que cada sonido directo correspondiente a una entrada y cada eco separadogenerado por una correspondiente salida de reverberador se procesan por ambos filtros HRTF de un par de lospares de filtros HRTF, de tal forma que cada salida de reverberador se asocia con una correspondiente direcciónconvertida en biaural de llegada de sonido, dispuesto además el aparato de tal forma que un oyente que escucha las señales de salida izquierda y derecha enel entorno de escucha a través de auriculares tiene la sensación de escuchar a la pluralidad de señales de audio deentrada como si emanaran desde una pluralidad de altavoces ubicados espacialmente en respectivas ubicacionesde altavoz en el entorno de escucha para formar la pluralidad de direcciones para el oyente.

Description

Sistema y método de procesamiento de señal de audio

5 Solicitud relacionada

La presente invención reivindica prioridad de la solicitud provisional de patente de EE.UU. número de serie 60/519786 presentada el 12 de noviembre de 2003, titulada AUDIO SIGNAL PROCESSING SYSTEM AND METHOD, de los inventores Reilly y otros.

Antecedentes

La presente invención se refiere al campo de la simulación de efectos de audio tridimensionales (3D) espacializados alrededor de un oyente a través de auriculares o similares y, en particular, describe un sistema compacto para la

15 simulación de audio.

Se han propuesto diversos sistemas para la simulación de efectos de audio “fuera de la cabeza” para oyentes con auriculares. La mayoría de las disposiciones de auriculares tradicionales no incluyen este procesamiento, de modo que, cuando un oyente escucha en los auriculares una pista de audio diseñada para ser reproducida en altavoces estéreo o altavoces multi-formato, el sonido parece emanar desde el interior de la cabeza del oyente.

Se han propuesto y son bien conocidos un cierto número de sistemas para proporcionar el efecto de espacializar las señales de audio, incluyendo dar a un oyente que usa auriculares la ilusión de que está escuchando fuentes de sonido situadas alrededor del oyente. Un ejemplo de tales sistemas se puede encontrar en la patente de EE.UU.

25 6.574.649, expedida el 3 de junio de 2003, para el inventor McGrath, en la solicitud de patente de EE.UU. 09/647360, presentada el 6 de enero de 1999 para los inventores McGrath y otros, y la solicitud de la patente internacional publicada como WO 99/14983.

Se sabe que las verdaderas salas de escucha producen reverberación. Es deseable que un sistema de espacialización de auriculares incluya una simulación de las reverberaciones que se producen en un entorno de escucha. Es deseable además proporcionar espacialización de auriculares y simulación realista de la reverberación a un coste razonable, por ejemplo con procesamiento que tenga pocas exigencias computacionales.

Por ejemplo, un oyente, cuando escucha una señal de audio adecuadamente procesada generada por el sistema de

35 espacialización y emitida por auriculares estándar, debe tener la impresión de que hay un altavoz -llamado altavoz “virtual”- situado en una posición apropiada con respecto a la cabeza del oyente. El oyente además debe tener la impresión de que está escuchando en un entorno de escucha deseado. Así, el proceso de espacialización implementado por el sistema de espacialización debe proporcionar una simulación de ecos acústicos en un entorno de escucha deseado que suene natural. Por ejemplo, el patrón de ecos acústicos creados por el proceso debe tener diferentes tiempos de llegada que no se correlacionen para cada una de las múltiples señales virtuales a fin de proporcionar una sensación realista y natural de acústica de sala. Además, se desea que tal sistema de espacialización estipule que se simulen múltiples posiciones de altavoz virtual de una vez con el sistema aceptando una pluralidad de señales de audio de entrada cada una de las cuales se va a “virtualizar” en una ubicación diferente.

45 El documento WO 99/14983, mencionado anteriormente, describe un aparato para crear, utilizando un par de altavoces de auricular opuestamente contrarios, la sensación de que una fuente de sonido está espacialmente distante del área entre el par de auriculares, comprendiendo el aparato: (a) una serie de entradas de audio que representan señales de audio proyectadas desde una fuente de sonido idealizada situada en una ubicación espacial respecto al oyente idealizado, (b) unos primeros medios matriciales de mezcla interconectados a las entradas de audio y una serie de entradas de retroalimentación para presentar a la salida una combinación predeterminada de las entradas de audio como señales intermedias de salida; (c) un sistema de filtro que filtra las señales intermedias de salida y presenta a la salida señales intermedias de salida filtradas y la serie de entradas de retroalimentación, incluyendo el sistema de filtro filtros separados para filtrar la respuesta directa y la respuesta de tiempo corto y una

55 aproximación a la respuesta reverberante, además del filtrado de respuesta de retroalimentación para producir las entradas de retroalimentación; y (d) unos segundos medios matriciales de mezcla que combinan las señales intermedias de salida filtradas para producir salidas estéreo de canales izquierdo y derecho.

Sumario

Un objeto de la presente invención es la espacialización del audio alrededor de un oyente cuando se utilizan dispositivos de auriculares o similares, incluyendo la espacialización la simulación de los ecos que es probable que se produzcan en un entorno de escucha.

65 Este objeto se logra por la invención según las reivindicaciones independientes. Realizaciones preferidas de la invención se definen en las reivindicaciones dependientes.

Aquí se describe un aparato dispuesto para procesar una pluralidad de señales de audio de entrada. El aparato incluye una pluralidad de terminales de entrada para aceptar una pluralidad de señales de entrada. El aparato incluye además un reverberador multi-entrada multi-salida que acepta la pluralidad de señales de entrada y 5 dispuesto para generar un conjunto de señales de salida que incluyen componentes retrasadas formadas de reverberación que simulan la reverberación que un oyente es probable que escuche en un entorno de escucha. El aparato incluye además un filtro multi-entrada de dos salidas con entradas acopladas a las salidas del reverberador. Las entradas del filtro también se acoplan a la pluralidad de terminales de entrada. El filtro proporciona dos salidas, una para el oído izquierdo y una para el oído derecho, y está dispuesto para implementar un conjunto de funciones de transferencia relacionadas con la cabeza correspondientes a un entorno de escucha y un conjunto de direcciones de un oyente en el entorno de escucha. Las dos salidas son reproducibles a través de auriculares. Un oyente escuchando las señales de salida izquierda y derecha en el entorno de escucha a través de auriculares tiene la sensación de escuchar la pluralidad de señales de audio de entrada como si emanaran de una pluralidad de altavoces ubicados espacialmente en el entorno de escucha para formar una correspondiente pluralidad de

15 direcciones para el oyente.

En una realización del reverberador, el reverberador se dispone para formar las componentes de reverberación, y la formación de al menos una de las componentes de reverberación incluye combinar una pluralidad de las señales de entrada aceptadas. En tal realización, el reverberador se dispone para procesar cada una de las señales de entrada de forma diferente.

También se describe aquí un método para procesar una pluralidad de señales de audio de entrada. El método incluye aceptar una pluralidad de señales de entrada, y generar un conjunto de señales de salida de reverberador a partir de la pluralidad de señales de entrada. La generación incluye formar componentes retrasadas de

25 reverberación simulando las reverberaciones que un oyente es probable que escuche en un entorno de escucha. El método incluye además filtrar combinaciones de las señales de entrada y señales de salida de reverberador para producir dos salidas, una para el oído izquierdo y una para el oído derecho. El filtro implementa un conjunto de funciones de transferencia relacionadas con la cabeza que corresponden a un entorno de escucha y un conjunto de direcciones de un oyente en el entorno de escucha. Las dos salidas son reproducibles a través de auriculares. Un oyente escuchando las señales de salida izquierda y derecha en el entorno de escucha a través de auriculares tiene la sensación de escuchar la pluralidad de señales de audio de entrada como si emanaran de una pluralidad de altavoces ubicados espacialmente en el entorno de escucha para formar una correspondiente pluralidad de direcciones para el oyente.

35 Además, aquí se describe un medio portador que lleva al menos un segmento de código legible por ordenador para dar instrucciones a un procesador de un sistema de procesamiento para implementar un método para procesar una pluralidad de señales de audio de entrada. El método incluye los pasos descritos en el párrafo anterior.

Breve descripción de los dibujos

Realizaciones preferidas de la presente invención serán descritas ahora con referencia a los dibujos que se acompañan.

La figura 1 es una ilustración esquemática de un entorno de escucha, y describe alguna de las funciones de 45 transferencia relacionadas con la cabeza para un oyente que escucha un sonido desde una ubicación.

La figura 2 ilustra una serie de funciones de respuesta de impulso para un sonido en el oído de un oyente para la disposición de la figura 1 cuando la fuente del sonido es un impulso de sonido.

La figura 3 es un diagrama de bloques simplificado de una realización de la presente invención.

La figura 4 es un diagrama de bloques simplificado de una segunda realización simplificada.

La figura 5 es un diagrama de bloques de reverberador simplificado de la realización de la figura 3.

55 La figura 6 ilustra el proceso de filtrado de la función de transferencia relacionada con la cabeza (HRTF) de la realización de la figura 3 con más detalle.

La figura 7 ilustra una realización del filtrado de la función de transferencia relacionada con la cabeza.

La figura 8 ilustra una estructura de filtro y retraso en la realización de la figura 5.

La figura 9 muestra un diagrama de bloques de una realización implementando la estructura de filtro y retraso de la figura 8.

65 La figura 10 muestra un ejemplo del filtrado logrado por la estructura de filtro y retraso, por ejemplo, de la figura 9.

La figura 11 es un diagrama de bloques simplificado de una realización que procesa señales estéreo.

La figura 12 ilustra una realización de procesador DSP de la invención con entradas y salidas análogas. 5

Descripción detallada

Aquí se describe un método y un aparato para crear señales que son reproducibles a través de auriculares o a través de altavoces, y que proporcionan, por ejemplo a un oyente a través de auriculares, la sensación de escuchar un conjunto de altavoces en un conjunto de ubicaciones en una sala, incluyendo la simulación de las reverberaciones en la sala. Aunque hay realizaciones de la invención diseñadas para la reproducción en auriculares, tales realizaciones también se pueden utilizar en sistemas de reproducción por altavoces como un método para crear un ambiente realista en entornos multicanales.

15 La figura 1 ilustra el concepto de proyección de audio que es bien entendido por los expertos en la técnica. Cuando un oyente 7 está expuesto al sonido desde una fuente de sonido 3, la señal directa radiada se propaga hasta los oídos izquierdo y derecho del oyente por mediación de las dos vías, 2-L y 2-R respectivamente. Se debe observar que “-R” y “-L” en caracteres o números de referencia se refieren al oído izquierdo y el oído derecho de un oyente respectivamente. Después de la llegada de las componentes de sonido directo, otros sonidos, reflejados, pueden alcanzar los oídos del oyente. La figura 1 muestra las llegadas 5-L y 5-R que se reflejaron en una pared 4. Las propiedades acústicas de la pared 4 afectan típicamente a propiedades acústicas, tales como la respuesta de frecuencia de los ecos 5-L y 5-R. La figura 1 representa un entorno de escucha que se desea experimentar por parte de un oyente con escucha biaural por mediación de auriculares. Se desea crear para el oyente que escucha en los auriculares la experiencia de escuchar en la sala un conjunto de altavoces ubicados espacialmente en diferentes

25 ubicaciones alrededor del oyente.

La figura 2 muestra un ejemplo de respuestas de impulso desde la fuente hasta los oídos izquierdo y derecho del oyente en el entorno de escucha de la figura 1. Es decir, la figura 1 muestra llegadas a los oídos desde una fuente de sonido de impulso 3. Las llegadas de sonido al oído izquierdo se muestran como 2-L, 5-L y 8-L, y al oído derecho se muestran como 2-R, 5-R y 8-R. Las respuestas de impulso 2-L y 5-L corresponden a las correspondientes trayectorias de propagación directas y reflejadas mostradas en la figura 1. La forma de onda de 8-L indica otra llegada de eco, quizá reflejada desde otra superficie en la sala. Estas tres llegadas de eco, como se muestra en la figura 2, son indicativas de las tres primeras llegadas discretas de sonido. Típicamente la serie de llegadas de sonido continúa a lo largo del tiempo, aumentando rápidamente la densidad temporal de las llegadas de eco a

35 medida que pasa el tiempo, y disminuyendo la intensidad de las llegadas de eco con el tiempo.

Las formas de las formas de onda mostradas en la figura 2 se dibujan como ejemplos, pero pretenden ser representativas de las formas que se producirían típicamente en una experiencia de escucha real. Por ejemplo, la llegada de sonido directo al oído izquierdo 2-L muestra un tiempo de llegada anterior y un mayor valor de pico que la llegada de sonido directo al oído derecho 2-R. Esto está de acuerdo con la situación mostrada en la figura 1 que la fuente de sonido 3 está más cerca del oído izquierdo del oyente. Igualmente, la figura 2 muestra las respuestas del oído izquierdo y del oído derecho, e incluye componentes del eco, mostrado en la figura 1 como eco 5, que alcanzan el oído derecho del usuario -como se muestra mediante la parte de respuesta de impulso 5-R-más pronto y con mayor amplitud que la llegada al oído izquierdo (parte de respuesta de impulso 5-L).

45 La forma de una respuesta de impulso correspondiente a una llegada de sonido, por ejemplo 2-L en la figura 2, se denomina a menudo Respuesta de Impulso Relacionada con la Cabeza (HRIR) del oído del oyente para la ubicación del sonido. Una HRIR se especifica a menudo en el dominio de la frecuencia, en cuyo caso se llama Función de Transferencia Relacionada con la Cabeza (HRTF). Ambos términos se utilizan indistintamente. Típicamente, las HRTF se especifican por pares, porque una HRTF tal como 2-L para el oído izquierdo del oyente es de poca utilidad a menos que se utilice junto con su correspondiente HRTF 2-R del oído derecho del oyente. Normalmente hay una excepción a esta regla, que sucede con llegadas de sonido que alcanzan al oyente desde una dirección que está en el plano medial del oyente de modo que los oídos izquierdo y derecho escuchan los mismos sonidos. Para estas llegadas de sonido de plano medial, las señales HRTF izquierda y derecha son típicamente idénticas, de forma que

55 sólo se especifica una HRTF, a menos que el sistema pretenda simular características anatómicas asimétricas de un oyente en particular.

Una realización de la invención incluye un método de simulación de un entorno acústico que incluye reverberación, es decir, la generación de ecos. Otra realización es un aparato que incluye simular el entorno. Otra realización de la invención es un método para generar señales para la reproducción, por ejemplo, a través de auriculares. El método incorpora la simulación del entorno acústico de modo que, cuando las señales generadas se reproducen a un oyente a través de auriculares, el oyente recibe la impresión de que está en el entorno de escucha. Esto incluye que el oyente tenga la impresión de que un altavoz virtual está ubicado en el espacio en la posición apropiada con relación a la cabeza del oyente. Otra realización es un aparato para generar las señales para la reproducción.

65 Realizaciones de la invención también aceptan una pluralidad de señales de audio de entrada, correspondiendo cada una a una ubicación diferente en el espacio, y procesan la señal para la reproducción a través de auriculares de modo que el oyente recibe la impresión de que está escuchando la pluralidad de señales de audio procedentes de una pluralidad de altavoces virtuales, cada uno en la correspondiente y diferente ubicación en el espacio. Así, se crea una pluralidad de ubicaciones de altavoz virtual.

5 Realizaciones de la invención estipulan además la reproducción de señales de audio que incluyen la simulación de ecos acústicos que sucederían en una sala y suenan naturales. Una realización de método incluye crear una pluralidad de ubicaciones de altavoz virtual y crear un patrón de llegadas eco para cada ubicación de altavoz virtual. Los patrones pueden ser distintos para cada ubicación de altavoz virtual. En otra versión, los patrones se hacen sin

10 correlación para cada dirección de altavoz virtual con relación al oyente. Los inventores han encontrado que proporcionar patrones de eco que están sustancialmente sin correlacionar para la diferente dirección de altavoz virtual proporciona una sensación realista y natural de acústica de sala.

Las ubicaciones de altavoz virtual se crean desde el conocimiento o supuestos sobre los pares HRTF para cada 15 ubicación. El procesamiento direccional utiliza pares de filtros HRTF.

Un aspecto de la invención es la modesta exigencia de potencia computacional y de memoria de un aparato para procesar la entrada para generar las señales para la reproducción. Para lograr esto se han realizado un cierto número de elecciones de diseño. Un aspecto es restringir el número de direcciones de llegada de sonido.

20 Restringiendo el número de direcciones, todo el procesamiento direccional necesario para tener en cuenta todas las direcciones es alcanzable utilizando HRTF de filtro multi-entrada y multi-salida que usa un pequeño conjunto de filtros para implementar un banco de pares de filtros HRTF. En una realización, cada sonido directo y cada llegada de eco separada se alimenta a través de uno de los pares de filtros HRTF en el banco de filtros HRTF. Otro aspecto que estipula la modesta exigencia computacional y de memoria es el uso en el aparato de un reverberador de

25 múltiples entradas / múltiples salidas para crear las llegadas de eco. El reverberador utiliza una estructura de filtro recursiva, por ejemplo una estructura que incluye retroalimentación, para proporcionar un reverberador de múltiples entradas/múltiples salidas para crear las llegadas de eco.

Una realización de aparato de la invención se muestra en la figura 12, y se implementa utilizando un dispositivo de

30 Procesador Digital de Señales (DSP por sus siglas en inglés “Digital Signal Processor”) y, en particular, un sistema DSP que incluye un dispositivo DSP 153 y una memoria 155 que contiene instrucciones de programación. El aparato incluye un conjunto de terminales de entrada para aceptar un conjunto de señales de audio, y dos salidas, una para el oído izquierdo y una para el oído derecho. Los inventores han encontrado que un sistema DSP particularmente adecuado es la placa Motorola 56000 DSP hecha por MOTOROLA, INC. (Schaumburg, IL). Se puede suponer que

35 un experto en la técnica está muy familiarizado con la operación y la programación de tales placas. Así, una realización de la invención es en forma de medio portador, por ejemplo una memoria o dispositivo de almacenamiento, que lleva un conjunto de segmentos de código legibles por ordenador que dan órdenes a uno o más procesadores de un sistema de procesamiento para implementar un método que incluya los pasos del método descritos aquí. Además, una realización se diseña para una entrada de 5 canales y para reproducir sobre un

40 conjunto de auriculares. La realización incluye los convertidores necesarios analógico a digital y digital a analógico para digitalizar la entrada y generar salidas analógicas en el caso de que las entradas y las salidas sean analógicas. Un convertidor de muestras analógico a digital 157 y un convertidor de muestras digital a analógico 158 se muestran en la figura 12. En una realización, la entrada ya es digital, en forma de señales Dolby Digital® de 5.1 canales, de tal manera que no se requieren para la entrada convertidores analógico a digital.

45 Una realización de aparato se muestra esquemáticamente en la figura 3. El aparato incluye un conjunto de terminales de entrada para aceptar un conjunto de señales de audio de entrada. El conjunto de señales de entrada incluye una entrada digital de 5 canales incluyendo canales 15-19 izquierdo, derecho, central, envolvente izquierdo (también llamado trasero izquierdo) y envolvente derecho (también llamado trasero derecho), respectivamente. El

50 conjunto de señales se acopla a un respectivo terminal de entrada de un filtro de función de transferencia relacionada con la cabeza multi-entrada multi-salida, a través de una correspondiente unidad sumadora 35-39, respectivamente. El filtro multi-entrada multi-salida tiene dos conjuntos de salidas, una para el oído izquierdo y una para el oído derecho. En una versión, cada una de las señales 15-19 está acoplada a la entrada de un correspondiente filtro HRTF 20, 21, 22, 23 y 24 respectivamente, a través de la correspondiente unidad sumadora

55 35-39, respectivamente. Cada uno de los filtros HRTF proporciona una salida de filtro izquierda y derecha, por ejemplo las salidas 30 y 31 para el filtro 20. El aparato supone un número fijo de direcciones de llegada de sonido 15-19, en este caso cinco. Los filtros HRTF 20-24 se usan para proporcionar todo el procesamiento direccional. Cada pareja HRTF define la HRTF del oyente desde la respectiva dirección de la ubicación, por ejemplo direcciones de ubicación supuestas de altavoces virtuales, por ejemplo en una cámara anecoica.

60 Además de las señales de entrada, un reverberador multicanal 14 genera ecos que también son procesados por los filtros HRTF. El reverberador multi-entrada multi-salida 14 acepta el conjunto de señales de entrada y genera un conjunto de señales de salida, una para cada una de un conjunto de direcciones, incluyendo cada señal de salida componentes de reverberación retrasada simulando las reverberaciones que un oyente es probable que escuche en

65 un entorno de escucha.

Por lo tanto, cada sonido directo y cada llegada de eco separada se alimenta a través de los filtros HRTF en el banco de filtros. En una realización, cada uno de los filtros HRTF consiste en sub-filtros izquierdos y sub-filtros derechos separados para proporcionar las salidas de oído izquierdo y derecho respectivamente. Cada filtro HRTF izquierdo y derecho se implementa como un filtro FIR.

5 Una realización del reverberador multicanal es un filtro recursivo (retroalimentación) que acepta múltiples entradas y genera múltiples salidas para simular llegadas de eco.

Las salidas izquierda y derecha de cada estructura de filtro 20-24 se suman por separado por sumadores izquierdo y derecho, 12-L y 12-R respectivamente, para producir las salidas izquierda y derecha 47 y 48 respectivamente. Las salidas separadas 47 y 48 son las señales de salida de auricular izquierdo y derecho para la reproducción usando auriculares.

Diversas realizaciones alternativas de la disposición de la figura 3 también están dentro del alcance de la invención.

15 Por ejemplo, en una realización, el canal central 17 se puede eliminar siendo “integrado” en los canales izquierdo y derecho 15, 16 antes de más procesamiento. Esto se puede conseguir añadiendo la mitad del canal central a cada uno de los canales izquierdo y derecho. Tal realización alternativa se ilustra en la figura 4, en la que el canal central 52, a través de un divisor (un atenuador al 0,5) 59, se añade a los canales izquierdo y derecho 50, 51 respectivamente, por circuitos de suma (sumadores) 56 y 57 respectivamente. Esta simplificación reduce las demandas computacionales generales. El resto del aparato es un biauralizador de 4 canales (L´, R´, envolvente izquierdo 53 y envolvente derecho 54) a 2 canales.

Una realización del reverberador multicanal 14 se muestra en la figura 5. El reverberador incluye una trayectoria de señal de retroalimentación para cada una de las direcciones del filtro HRTF multi-entrada de dos salidas. Cada

25 trayectoria de señal de retroalimentación incluye un retraso y un filtro, implementados en una realización como un filtro y retraso combinados, y en otra realización como una línea de retraso separada seguida de un filtro.

Haciendo referencia a la figura 5, cada uno de los cinco canales de entrada 60 se suman, por ejemplo, por sumadores 61, 86, 87, 88 y 89 respectivamente, con señales retroalimentadas para formar una trayectoria de retroalimentación de 5 canales. Las señales sumadas se introducen en un mezclador 62 de 5 por 5 para formar un conjunto de cinco señales mezcladas, una para cada trayectoria de señal de retroalimentación en el reverberador. Las cinco señales mezcladas se introducen en un conjunto de cinco unidades de retraso y filtro, mostradas en la figura 5 implementadas como cinco líneas de retraso 63-67 respectivamente, y cinco filtros 70-74 respectivamente. Como se describe a continuación, una realización combina cada retraso y filtro, de modo que el filtro usa una parte

35 de la línea de retraso.

Cada una de las cinco líneas de retraso 63-67 retrasa su respectiva entrada en una medida diferente (“longitud de retraso”). Cada una de las respectivas salidas de los cinco retrasos 63-67 se alimenta a uno de los respectivos conjuntos de cinco filtros 70-74 que filtran y atenúan cada una de las señales a medida que se retroalimenta a cada uno de sus respectivos sumadores, por ejemplo el sumador 61. En una realización, las salidas de los filtros también se amplifican por un conjunto de elementos de ganancia para formar el conjunto 80 de salidas del reverberador multicanal. Los elementos de ganancia, por ejemplo un elemento de ganancia 81, tienen ganancias ajustables que se aplican para asegurar que el nivel de reverberación es correctamente simulado en un entorno de escucha perseguido. Cada respectivo filtro produce una tasa de decaimiento deseada que varía con la frecuencia para los

45 ecos producidos por la respectiva trayectoria de señal de retroalimentación, y cada respectivo retraso se selecciona para proporcionar un patrón de reverberación deseado para el entorno de escucha perseguido que se simula.

Realizaciones alternativas a la realización mostrada en la figura 5 son posibles. Tales realizaciones alternativas incluyen las siguientes variaciones, entre otras:

-: El número de entradas puede variar, por ejemplo, para un sistema de cuatro entradas, solo se aplican cuatro entradas.

-: El conjunto de entradas 60 puede tener ganancia aplicada antes de la suma. Esto puede ser importante en un

55 dispositivo DSP de punto fijo, en el que el nivel de las señales dentro de la trayectoria de señal de retroalimentación 85 necesita ser controlado para prevenir el desbordamiento y/o para optimizar el rendimiento de ruido del reverberador. Cómo lograr el escalado sería conocido por los expertos en la técnica del procesamiento de señales.

-: Los elementos de ganancia de salida, por ejemplo el 81, se pueden omitir. Esto puede resultar apropiado, por ejemplo, si los elementos de ganancia de entrada están proporcionando la ganancia correcta.

Un reverberador tal como el que se muestra en la figura 5 se puede modificar para utilizar menos entradas simplemente omitiendo uno o más de los sumadores 61, 86-89.

65 Una realización del banco de filtros HRTF 20-24 de la figura 3 se muestra con más detalle en la figura 6. Por ejemplo, el filtro 20 se muestra en la figura 6 como dos filtros 30, 31. La notación utilizada para las HRTF es HRTF(fuente, salida) en la que fuente es uno de los canales de entrada LF, C, RF, LS o RS para izquierdo, central, derecho, envolvente izquierdo y envolvente derecho respectivamente, y fuera es uno de L o R para izquierda o derecha respectivamente.

5 Una realización supone simetría de izquierda a derecha. Cuando se hace tal suposición, se mantienen las siguientes reglas:

HRTF(LF,L) = HRTF(RF,R)

10 HRTF(LF,R) = HRTF(RF,L)

HRTF(C,L) = HRTF(C,R)

HRTF(LS,L) = HRTF(RS,R)

HRTF(LS,R) = HRTF(RS,L)

Cuando se mantiene la simetría, se puede utilizar una realización simplificada para el banco de filtros. Una realización así se muestra en la figura 7. En este caso las señales trasera y delantera L y R que entran en el banco

20 de filtros se procesan cada una por una unidad “barajadora”, por ejemplo 90 para la señal delantera y 100 para la señal envolvente (trasera). Cada barajador calcula una señal de suma y una de diferencia. Por ejemplo el barajador 90 calcula señales de suma y diferencia 92 y 93 respectivamente, en las que la señal de suma es la mitad de la suma de las señales izquierda y derecha, mientras que la señal de diferencia es la mitad de la señal izquierda menos la señal derecha.

25 El uso de tales barajadores permite que el banco de 10 filtros de la realización de la figura 6 sea reemplazado por solo 5 filtros, filtros 94-98 como se muestra en la figura 7. Esta reducción en el número de filtros, y por lo tanto en la exigencia computacional, tiene el coste computacional relativamente moderado de tener bloques adicionales de suma/diferencia 90 y 100 en las entradas, conectados a las entradas L, R, LS y RS respectivamente. Además, se

30 usan uniones de suma 102 y 103. Por ejemplo, la unión de suma 103 se usa para calcular la señal derecha de salida, e incluye restar las salidas de los filtros 95 y 98.

Haciendo referencia de nuevo al reverberador mostrado en la figura 5, el mezclador 62 tiene cinco entradas y cinco salidas, y por tanto tiene 24 valores de ganancia. Estas ganancias pueden especificarse por una matriz G de 5x5, 35 según la ecuación matricial:

en la que G es una matriz de 5x5 que es no diagonal, de tal manera que al menos una salida combina una pluralidad

40 de entradas. En una realización ejemplar, los elementos de G se seleccionan de modo que G es una matriz unitaria. Debido a que pre-multiplicar la matriz de mezcla por una matriz diagonal es lo mismo que aplicar un conjunto de factores de ganancia antes de la mezcla, y post-multiplicar la matriz de mezcla por una matriz diagonal es lo mismo que aplicar un conjunto de factores de ganancia después de la mezcla, para los propósitos de la presente, una matriz unitaria es una que es unitaria dentro de los factores de escala en la entrada y/o salidas de la mezcla.

45 Un aspecto de la invención es la selección de las características de reverberación, lo que a su vez incluye la selección de los retrasos de las líneas de retraso 63-67 y las propiedades de los filtros 70-74 de la figura 5.

Se conocen muchos métodos para crear una matriz unitaria. Un método utiliza el siguiente código MATLAB: 50 >> X=randn(5);

>>[U,S,V]=svd(X);

55 >>M=U*VT;

en el que * es la multiplicación matricial y T es el operador transpuesto (suponiendo matrices de valor real). Este código empieza creando una matriz aleatoria de 5x5, X, con cada elemento con una distribución gaussiana aleatoria, por ejemplo. Entonces el método lleva a cabo una descomposición en valor singular (SVD) de la matriz X para generar tres matrices (U, S y V) con la propiedad de que ambas matrices U y V son unitarias, y X= U S VT . La matriz G = U VT es por lo tanto una matriz unitaria que se deriva de la matriz aleatoria X. La matriz G de 5x5 se puede utilizar como los coeficientes del mezclador en el reverberador.

5 Como se discutió antes, cualquier matriz que se deriva de una matriz estrictamente unitaria por pre-multiplicar por una matriz diagonal, y/o post-multiplicar por una matriz diagonal, se considera “unitaria” porque tal matriz se puede hacer unitaria por ganancias en las entradas y/o salidas.

En una realización alternativa, se generan un conjunto de matrices candidatas, por ejemplo utilizando el aleatorizador, como se describió en el código MATLAB anterior, y se selecciona la mejor basándose en pruebas de escucha.

La figura 8 muestra una combinación de retraso simple 110 y bloque de filtro 111. La figura 9 muestra una realización de la combinación retraso y filtro. El filtro en esta realización es un filtro FIR de primer orden (dos

15 inserciones) que usa la línea de retraso insertándose en la línea de retraso. Así, en una realización, el filtrado y el retraso se llevan a cabo por un único dispositivo. Un buffer de retraso 121 retrasa los datos de entrada de audio un número predeterminado de periodos de muestra. Las últimas dos inserciones 122 y 123 respectivamente, de la línea de retraso, se multiplican (ponderan) por multiplicadores de coeficiente 124 y 125 que multiplican las dos inserciones por a1 y a2 respectivamente. Las señales con inserción ponderadas se suman por un sumador 126 para formar la salida filtrada retrasada.

Se pueden utilizar cinco estructuras de este tipo para implementar los retrasos y filtros de la figura 5.

Los coeficientes a1 y a2 se eligen de forma que proporcionan la atenuación deseada del audio en la trayectoria de 25 señal de retroalimentación.

La figura 10 muestra una típica respuesta de frecuencia deseada del filtro de 2 inserciones implementado en la figura 9. A fin de que la matriz de ganancia G sea unitaria, la ganancia total de cada filtro debe ser menos que la unidad en todas las frecuencias.

Cada uno de los filtros 70-74 de la figura 5 utiliza diferentes conjuntos de valores para sus respectivos coeficientes a1 y a2. Una realización alternativa utiliza los mismos valores de a1 y a2 para cada filtro.

Ahora se describe un método para calcular a1 y a2. La invención no se limita a este método, y los inventores 35 encontraron que este método proporciona resultados satisfactorios.

De acuerdo con este método, cada filtro se selecciona para lograr un tiempo de reverberación deseado a bajas frecuencias y un tiempo de reverberación deseado a altas frecuencias. Valores típicos para tiempos de reverberación para entornos típicos son conocidos o se pueden obtener por los expertos en la técnica. Para utilizar implementaciones de la presente invención, un usuario selecciona tiempos de reverberación adecuados para el tipo de entorno que se simula.

Se elige un tiempo de reverberación deseado a baja frecuencia, RT_bajo. También se elige un tiempo de reverberación deseado a alta frecuencia, TasaDecaimiento_alta. En una realización, el filtro se selecciona de modo

45 que el tiempo de reverberación deseado a baja frecuencia es el tiempo que tardan frecuencias bajas de una señal de audio en decaer 60 dB en el reverberador y el tiempo de reverberación deseado a alta frecuencia es el tiempo que tardan frecuencias altas en decaer 60 dB en el reverberador. Valores típicos de RT_bajo pueden ir de 200 ms a 5 segundos, e incluso son posibles tiempos más largos, mientras que valores típicos de RT_alto pueden ir de 50 ms a 100 ms.

Los dos valores RT se convierten entonces en correspondientes tasas de decaimiento, marcadas TasaDecaimiento_baja y TasaDecaimiento_alta respectivamente, y en dB/segundos como sigue:

TasaDecaimiento_baja=60/RT_baja, y

55 TasaDecaimiento_alta=60/RT_alta

Para cada par de retraso y filtro en el reverberador, los valores de a1 y a2 se pueden calcular como sigue:

a1=(GananciaFrecBaja+GananciaFrecAlta)/2 y

a2=(GananciaFrecBaja-GananciaFrecAlta)/2

en los que 65

GananciaFrecBaja=10(TasaDecaimiento_baja x TiempoDecaimiento)20

, y

GananciaFrecAlta:10(TasaDecaimiento-alta x TiempoDecaimiento)20

,

en los que TiempoDecaimiento es la longitud del retraso correspondiente, en segundos. Ver más adelante cómo se 5 elige la longitud de cada línea de retraso.

Por lo tanto, los coeficientes de filtro a1 y a2 son una función del TiempoDecaimiento (la longitud del retraso, en segundos). Esto asegura que todas las componentes de las señales de audio de reverberación se atenúan con el mismo factor de atenuación por segundo. Así la atenuación del filtro está de acuerdo con la longitud del correspondiente retraso.

Las líneas de retraso están mejor ajustadas a un rango de longitudes. Denótense estas L0, L1, …, L5 para el reverberador de 5 canales. Una realización las ajusta de modo que no hay factor común en el conjunto L0, L1, …, L5. De otra manera, el reverberador puede no obtener una densidad alta de respuestas de impulso de

15 reverberación. En una realización, en general, cada una de las longitudes de retraso se ajusta para ser aproximadamente igual al tiempo de retraso de la primera llegada de eco en la sala que se simula. En una realización preferida, los retrasos están entre 2,5 y 4,5 milisegundos de largo. Las longitudes de retraso se seleccionan de modo que los patrones de eco resultantes no se correlacionan con cada dirección HRTF.

Un aspecto utilizado en las realizaciones anteriores es que sólo un número relativamente pequeño de direcciones HRTF se puede utilizar para proporcionar espacialización para las reverberaciones. Los inventores han encontrado que un efecto “envolvente completo” para la reverberación sucede con sólo un número relativamente pequeño de direcciones de espacialización.

25 En una realización mostrada, el número de tales direcciones HRTF correspondía a las direcciones virtuales de la pluralidad de señales de entrada. Esto no es necesario. Por ejemplo, se pueden utilizar menos o más direcciones que el número de direcciones de entrada. Un ejemplo mostrado anteriormente eliminaba el canal central de modo que usaba cuatro direcciones HRTF, aunque se proporcionan cinco direcciones de entrada. También es posible utilizar más direcciones que señales de entrada.

Así, aunque las realizaciones descritas anteriormente son para biauralizar una señal de sonido envolvente, tal como una que tiene 4 ó 5 entradas, el método también es aplicable para utilizarse en otras configuraciones.

Como ejemplo, la figura 11 muestra una realización de aparato adecuada para procesar dos entradas 131 y 132

35 (estéreo) correspondientes a dos direcciones de entrada para producir un conjunto de salidas estéreo 47 y 48. Un reverberador 134 multicanal de 2 entradas de 5 salidas genera un conjunto de señales de sonido envolvente para cinco direcciones, incluyendo las dos direcciones de entrada. Un par de sumadores 135, 136 añaden las salidas de canal izquierdo y derecho del reverberador a las señales de entrada. Las señales izquierda y derecha, y las salidas central, envolvente izquierda y envolvente derecha del reverberador 134 se introducen en un banco de pares de filtros HRTF, generando cada uno un salida izquierda y una derecha. Las respectivas salidas de filtro HRTF izquierda y derecha se suman para formar las salidas izquierda y derecha 47 y 48 respectivamente. El banco de filtros HRTF 137 y 138 se puede implementar, por ejemplo, utilizando la estructura de la figura 7. El reverberador es parecido al descrito previamente con referencia a la figura 5, con cinco trayectorias de señal de retroalimentación, uno para cada dirección del filtro HRTF multi-entrada de 2 salidas, excepto porque solo se aceptan dos salidas, los

45 canales izquierdo y derecho (delanteros). Los pares HRTF de los filtros HRTF se seleccionan de acuerdo con el entorno deseado.

Así, se ha descrito un método y un aparato para generar un conjunto de señales reproducibles en auriculares que proporcionan a un oyente la sensación de un conjunto de altavoces virtuales en un conjunto de ubicaciones. El aparato utiliza un reverberador multicanal en conjunción con un banco de pares de filtros HRTF. El reverberador multicanal incluye trayectorias de señal de retroalimentación internas para cada ubicación de un altavoz virtual. Cada trayectoria de señal de retroalimentación se acopla a un correspondiente par de filtros HRTF. El reverberador incluye un mezclador descriptible por una matriz mezcladora. Los inventores han encontrado que usar una matriz mezcladora unitaria en el reverberador, junto con filtros en las trayectorias de señal de retroalimentación, para

55 proporcionar la tasa de decaimiento deseada en frecuencias altas y bajas, crea una experiencia de sonido envolvente muy satisfactoria, con las reverberaciones que son típicas de una sala de escucha, pero utilizando sólo un número relativamente pequeño de direcciones HRTF.

Hay que tener en cuenta que en la descripción anterior, se han dejado fuera muchos detalles, como sería evidente para los expertos en la técnica. Por ejemplo, no se muestran factores de escala comunes. Así, por ejemplo, cuando se indica que una matriz unitaria se prefiere por la matriz mezcladora G, los expertos en la técnica entenderán que esto significa unitario dentro de pre-multiplicar y post-multiplicar por una matriz diagonal. Además, se puede requerir algún escalado adicional en la implementación, por ejemplo, cuando se utiliza aritmética de punto fijo para implementar los elementos.

65 Hay que tener en cuenta que, aunque se necesitan un conjunto diferente de parámetros dependientes del entorno, tales como coeficientes de filtro, longitudes de línea de retraso, elementos matriciales mezcladores y demás, para cada entorno de escucha en particular, por ejemplo cada sala de escucha, en la práctica los entornos de escucha se agrupan en tipos. Los mismos parámetros se usarían para todas las salas de cualquier tipo en particular. Así un procesador de señales que implementa el método de la invención incluiría en la memoria del sistema DSP varios

5 conjuntos diferentes de parámetros para respectivos tipos diferentes de entornos, por ejemplo un conjunto para una gran sala de conciertos, un conjunto para un salón pequeño con muebles suaves, y así sucesivamente. Un usuario seleccionaría el entorno de escucha adecuado de acuerdo con el tipo.

Una realización de cada uno de los métodos descritos aquí está en forma de programa de ordenador que se ejecuta en un sistema de procesamiento, por ejemplo uno o más dispositivos DSP que son parte de un sistema DSP. Cómo programar un DSP para implementar cada una de las estructuras descritas anteriormente estaría claro para los expertos en la técnica. Alternativamente, cada uno de los elementos puede codificarse en un lenguaje tal como el Verilog, y un diseño de circuito integrado que implemente la estructura mostrada. Así, como se apreciará por los expertos en la técnica, realizaciones de la presente invención pueden realizarse como un método, un aparato tal 15 como un aparato de propósito especial, un aparato tal como un sistema de procesamiento de datos, o un medio portador, por ejemplo un producto de programa de ordenador. El medio portador lleva uno o más segmentos de código legibles por ordenador para controlar un sistema de procesamiento para implementar un método. En consecuencia, ciertos aspectos de la presente invención pueden adoptar la forma de un método, una realización totalmente de hardware, una realización totalmente de software o una realización que combina aspectos de software y de hardware. Además, la presente invención puede adoptar la forma de un medio portador (por ejemplo, un producto de programa de ordenador en un medio de almacenamiento legible por ordenador) que lleva segmentos de código de programa legibles por ordenador realizados en el medio. Se puede utilizar cualquier medio adecuado legible por ordenador incluyendo un dispositivo de almacenamiento magnético tal como un disquete o un disco duro,

o un dispositivo de almacenamiento óptico tal como un CD-ROM.

25 El software puede además transmitirse o recibirse por una red a través de un dispositivo de interfaz de red. Aunque el medio portador que se muestra en una realización ejemplar es un solo medio, se debe entender que el término “medio portador” incluye un solo medio o medios múltiples (por ejemplo, una base de datos centralizada o distribuida, y/o cachés y servidores asociados) que almacenan el uno o más conjuntos de instrucciones. El término “medio portador” también se considerará que incluye cualquier medio capaz de almacenar, codificar o llevar un conjunto de instrucciones para ejecutar por la máquina y que cause que la máquina realice cualquiera de una o más de las metodologías de la presente invención. Un medio portador puede adoptar muchas formas, incluyendo pero no limitado a medios no volátiles, medios volátiles y medios de transmisión. Los medios no volátiles incluyen, por ejemplo, discos ópticos, magnéticos y discos magnéticos-ópticos. Los medios volátiles incluyen memoria dinámica,

35 tan como memoria principal. Los medios de transmisión incluyen cables coaxiales, hilos de cobre y fibra óptica, incluyendo los hilos que comprenden un subsistema de bus. Los medios de transmisión también pueden adoptar la forma de ondas de luz o acústicas, tal como las generadas durante una comunicación de datos por ondas de radio o infrarrojo. Por ejemplo, el término “medio portador” en consecuencia se considerará que incluye, pero no se limita a, memorias de estado sólido, medios ópticos y magnéticos y señales de portador de onda.

Se entenderá que los pasos del método discutido son realizados en una realización por un procesador (o procesadores) adecuado o un sistema de procesamiento (es decir, un ordenador) que ejecuta instrucciones (segmentos de código) almacenados en almacenamiento. También se entenderá que la invención no se limita a ninguna implementación en particular o técnica de programación y que la invención se puede implementar utilizando

45 cualquier técnica apropiada para implementar la funcionalidad descrita aquí. La invención no se limita a ningún lenguaje de programación particular o sistema operativo.

La referencia en toda esta memoria descriptiva a “una realización” significa que un rasgo, estructura o característica en particular descrito en conexión con la realización se incluye en al menos una realización de la presente invención. Así, las apariciones de las frases “en una realización” en diversos lugares a lo largo de esta memoria descriptiva no se refieren todas necesariamente a la misma realización. Además, los rasgos, estructuras o características en particular se pueden combinar de cualquier manera adecuada, como sería evidente para un experto normal en la técnica a partir de esta descripción, en una o más realizaciones.

55 Similarmente, se debe apreciar que, en la descripción anterior de realizaciones ejemplares de la invención, diversos rasgos de la invención a veces se agrupan juntos en una sola realización, figura o descripción de la misma con el propósito de racionalizar la descripción y ayudar en la comprensión de uno o más de los diversos aspectos de la invención. Este método de descripción, sin embargo, no se debe interpretar como que refleja una intención de que la invención reivindicada requiera más rasgos de los que son expresamente expuestos en cada reivindicación. Más bien, como reflejan las siguientes reivindicaciones, los aspectos de la invención descansan no todos los rasgos de una sola realización descrita antes. Así, las reivindicaciones que siguen a la descripción detallada se incorporan expresamente por la presente a esta descripción detallada, sustentándose cada reivindicación por si sola como una realización separada de esta invención.

65 Además, aunque algunas realizaciones descritas aquí incluyen algunos pero no otros rasgos incluidos en otras realizaciones, las combinaciones de rasgos de diferentes realizaciones están destinadas a estar dentro del alcance de la invención, y forman diferentes realizaciones, como se entendería por los expertos en la técnica. Por ejemplo, en las siguientes reivindicaciones, cualquiera de las realizaciones reivindicadas se puede utilizar en cualquier combinación.

5 Además, algunas de las realizaciones son descritas aquí como un método o combinación de elementos de un método que se puede implementar por un procesador de un sistema de ordenador o por otros medios de llevar a cabo la función. Así, un procesador con las instrucciones necesarias para llevar a cabo tal método o elemento de un método forma unos medios para llevar a cabo el método o elemento del método. Además, un elemento descrito aquí de una realización de aparato es un ejemplo de unos medios para llevar a cabo la función realizada por el elemento

10 para el propósito de llevar a cabo la invención.

Todas las publicaciones, patentes y solicitudes de patentes citadas aquí se incorporan aquí por referencia.

En las reivindicaciones posteriores y la descripción aquí, el término “comprende” o “compuesto de” o “que

15 comprende” es un término “abierto” que incluye al menos los elementos/rasgos que siguen, pero no excluyendo otros. El término “incluyendo” o “el cual incluye” o “que incluye” como se utiliza aquí es también un término “abierto” que también significa que incluye al menos los elementos/rasgos que siguen al término, pero no excluyendo otros. Así, incluir es sinónimo de y significa comprender.

20 Así, aunque se ha descrito lo que se cree que son las realizaciones preferidas de la invención, los expertos en la técnica reconocerán que se pueden hacer otras y más modificaciones, y se pretende reivindicar todos esos cambios y modificaciones que caigan dentro del alcance de la invención. Por ejemplo, cualquier fórmula dada anteriormente es meramente representativa de procedimientos que se pueden utilizar. La funcionalidad se puede añadir o eliminar del diagrama de bloques y las operaciones se pueden intercambiar sobre bloques funcionales. Se pueden añadir o

25 eliminar pasos de métodos descritos dentro del alcance de la presente invención. Además, las palabras comprende y que comprende se entienden en el sentido de “incluyendo” e “incluir” para describir que incluye al menos los elementos o pasos descritos, y estipulan pasos o elementos adicionales.

Claims

REIVINDICACIONES

1. Un aparato para procesar una pluralidad de señales de audio de entrada, que comprende:

5 una pluralidad de terminales de entrada (60) dispuestos para aceptar una pluralidad de señales de entrada (15, 16, 17, 18, 19),

un reverberador multi-entrada multi-salida (14) dispuesto para aceptar la pluralidad de señales de entrada y dispuesto para generar un conjunto de señales de salida (80), correspondiendo cada señal de salida del reverberador a una dirección de llegada de sonido en un entorno de escucha e incluyendo componentes de eco retrasadas (80) dispuestas para simular los ecos que un oyente es probable que escuche de la dirección correspondiente en el entorno de escucha, y

un filtro multi-entrada de dos salidas (20, 21, 22, 23, 24, 12-L, 12-R) con entradas acopladas a las salidas del

15 reverberador, acopladas además las entradas a la pluralidad de terminales de entrada, una salida de filtro (47) para el oído izquierdo y una salida de filtro (48) para el oído derecho, dispuesto el filtro para implementar un cierto número de pares de filtros de función de transferencia relacionada con la cabeza (20, 21, 22, 23, 24), denominados pares de filtros HRTF, correspondiendo cada par de filtros HRTF a una dirección HRTF de llegada de sonido en el entorno de escucha, reproducibles las dos salidas a través de auriculares, incluyendo cada par de filtros HRTF (20) un filtro HRTF de oído izquierdo (30) y un filtro HRTF de oído derecho (31), formando la suma de las salidas del filtro HRTF de oído izquierdo la salida de oído izquierdo (47), y formando la suma de las salidas del filtro HRTF de oído derecho la salida de oído derecho (48) del filtro multi-entrada de dos salidas;

en el que el reverberador incluye una pluralidad de trayectorias de señal de retroalimentación (63, 70), (64, 71), (65,

25 72), (66, 73), (66, 74), una para cada dirección HRTF para el oyente, de tal manera que el acoplamiento de las salidas del reverberador al filtro multi-entrada de dos salidas está dispuesto para acoplar cada una de las trayectorias de señal de retroalimentación tanto al filtro HRTF de oído izquierdo como al filtro HRTF de oído derecho de un correspondiente par de los pares de filtros HRTF, y en el que el reverberador además incluye un mezclador multi-entrada multi-salida (62) con entradas acopladas a los terminales de entrada (60) y a las salidas de las trayectorias de señal de retroalimentación, dispuesto el mezclador para mezclar su pluralidad de entradas, acopladas las salidas del mezclador a las trayectorias de señal de retroalimentación, descriptible la mezcla por una matriz no diagonal, de tal manera que al menos una salida de mezclador se genera combinando una pluralidad de entradas de mezclador,

35 dispuesto el aparato de tal manera que cada sonido directo correspondiente a una entrada y cada eco separado generado por una correspondiente salida de reverberador se procesan por ambos filtros HRTF de un par de los pares de filtros HRTF, de tal forma que cada salida de reverberador se asocia con una correspondiente dirección convertida en biaural de llegada de sonido,

dispuesto además el aparato de tal forma que un oyente que escucha las señales de salida izquierda y derecha en el entorno de escucha a través de auriculares tiene la sensación de escuchar a la pluralidad de señales de audio de entrada como si emanaran desde una pluralidad de altavoces ubicados espacialmente en respectivas ubicaciones de altavoz en el entorno de escucha para formar la pluralidad de direcciones para el oyente.

45 2. Un aparato según la reivindicación 1, en el que el reverberador está dispuesto en la formación de al menos una de las componentes de eco para combinar una pluralidad de las señales de entrada aceptadas, y en el que el reverberador además está dispuesto para procesar cada una de las señales de entrada diferentemente.
3.

Un aparato según cualquiera de las reivindicaciones anteriores, que además comprende: un primer conjunto de combinadores (61, 86, 87, 88, 89) acoplados a las entradas del reverberador y a los terminales de entrada, dispuestos para combinar la pluralidad de entradas con el conjunto de salidas del reverberador para generar un conjunto de entradas para el filtro multi-entrada multi-salida.
4.

Un aparato según cualquiera de las reivindicaciones anteriores, en el que el filtro está dispuesto para generar dos

55 conjuntos de salidas, un conjunto para el oído izquierdo y un conjunto para el oído derecho, y en el que el filtro incluye un segundo conjunto de combinadores dispuestos para combinar el conjunto de salidas de oído izquierdo y el conjunto de salidas de oído derecho para formar la señal de salida de oído izquierdo y la señal de salida de oído derecho, respectivamente.
5.

Un aparato según cualquiera de las reivindicaciones anteriores, en el que el reverberador está dispuesto de tal forma que las componentes de reverberación incluyen una serie de versiones mezcladas, retrasadas y filtradas de las señales de entrada aceptadas.
6.

Un aparato según cualquiera de las reivindicaciones anteriores, en el que la matriz es una matriz unitaria dentro

65 de cada entrada que es multiplicada por una respectiva ganancia descriptible por pre-multiplicación por una matriz diagonal y/o dentro de cada salida que es multiplicada por una respectiva ganancia descriptible por postmultiplicación por una matriz diagonal.
7. Un aparato según la reivindicación 4-6, en el que el acoplamiento de las entradas del mezclador a las terminales de entrada está dispuesto para ser a través de un tercer conjunto de combinadores dispuestos para combinar las

5 entradas con versiones de filtros retrasados de las salidas del mezclador, de tal forma que el reverberador incluye una pluralidad de trayectorias de señal de retroalimentación, incluyendo al menos una trayectoria de señal de retroalimentación un retraso y un filtro.
8. Un aparato según cualquiera de las reivindicaciones anteriores, en el que cada una de las trayectorias de señal de retroalimentación incluye un retraso y un filtro, para producir cada respectivo filtro una tasa de decaimiento deseada que varía con la frecuencia para los ecos producidos por la respectiva trayectoria de señal de retroalimentación, y seleccionándose cada respectivo retraso para proporcionar un patrón de reverberación deseada para el entorno de escucha.

15 9. Un aparato según la reivindicación 8, en el que cada filtro se selecciona para lograr un tiempo de reverberación deseado a bajas frecuencias y un tiempo de reverberación deseado a altas frecuencias.
10.

Un aparato según la reivindicación 8 o la reivindicación 9, en el que los retrasos de las diferentes trayectorias de señal de retroalimentación se seleccionan para ser diferentes sin ningún factor común.
11.

Un aparato según una cualquiera de las reivindicaciones 8 a 10, en el que cada uno de los retrasos de las diferentes trayectorias de señal de retroalimentación se selecciona para ser aproximadamente igual al tiempo de retraso de la primera llegada de eco en el entorno de escucha.

25 12. Un aparato según una cualquiera de las reivindicaciones 8 a 11, en el que cada uno de los retrasos de las diferentes trayectorias de señal de retroalimentación se selecciona de modo que los patrones de ecos no están correlacionados para cada trayectoria de señal de retroalimentación.
13.

Un aparato según una cualquiera de las reivindicaciones 8 a 12, en el que el número de direcciones HRTF es menor que el número de señales de entrada en la pluralidad de señales de entrada de audio.
14.

Un aparato según una cualquiera de las reivindicaciones 8 a 12, en el que el número de direcciones HRTF es mayor que el número de señales de entrada en la pluralidad de señales de entrada de audio.

35 15. Un aparato según cualquiera de las reivindicaciones anteriores, en el que el aparato incluye además una memoria dispuesta para almacenar al menos un conjunto de parámetros para al menos un entorno de escucha, suficiente cada conjunto para simular un entorno de escucha.
16.

Un aparato según la reivindicación 15, en el que la memoria está cargada con una pluralidad de conjuntos de parámetros para una pluralidad de conjuntos de entornos de escucha.
17.

Un aparato según las reivindicaciones anteriores, en el que el filtro y el reverberador se implementan por un sistema DSP que tiene una memoria.

45 18. Un método para procesar una pluralidad de señales de audio de entrada, que comprende:

aceptar una pluralidad de señales de entrada,

generar un conjunto de señales de salida de reverberador desde la pluralidad de las señales de entrada, correspondiendo cada señal de salida de reverberador a una dirección de llegada de sonido en un entorno de escucha e incluyendo componentes de eco retrasado dispuestos para simular los ecos que un oyente es probable que escuche de la dirección correspondiente en un entorno de escucha, y

filtrar combinaciones de las señales de entrada y las señales de salida de reverberador para producir dos salidas de

55 filtro, una salida de filtro para el oído izquierdo y una salida de filtro para el oído derecho, implementando el filtro un número de pares de filtros de función de transferencia relacionada con la cabeza, denominados pares de filtros HRTF, correspondiendo cada par de filtros HRTF a una dirección HRTF de llegada de sonido en el entorno de escucha, reproducibles las dos salidas a través de auriculares, incluyendo cada par de filtros HRTF un filtro HRTF de oído izquierdo y un filtro HRTF de oído derecho, formando la suma de las salidas de filtro HRTF de oído izquierdo una salida de oído izquierdo como una de dichas dos salidas de filtro, y formando la suma de las salidas de filtro HRTF de oído derecho la salida de oído derecho como la otra de dichas dos salidas de filtros;

en el que la generación del conjunto de señales de salida de reverberador incluye formar una pluralidad de trayectorias de señal de retroalimentación, una para cada dirección HRTF para el oyente, de tal forma que cada una 65 de las trayectorias de señal de retroalimentación se acopla tanto al filtro HRTF de oído izquierdo como al filtro HRTF de oído derecho de un par correspondiente de los pares de filtros HRTF, y en el que la generación del conjunto de

señales de salida de reverberador incluye además generar una pluralidad de salidas del mezclador mezclando una pluralidad de entradas del mezclador, siendo las entradas del mezclador combinaciones de las señales de entrada aceptadas y las salidas de las trayectorias de señal de retroalimentación, descriptible la mezcla por una matriz nodiagonal, de tal forma que al menos una salida del mezclador se genera combinando una pluralidad de entradas de

5 mezclador, y

de tal forma que cada sonido directo correspondiente a una entrada y cada eco separado en una correspondiente señal de salida de reverberador se procesan por ambos filtros HRTF de una par de los pares de filtros HRTF, de tal forma que cada señal de salida de reverberador se asocia con una correspondiente dirección convertida en biaural

10 de llegada de sonido,

de tal forma que un oyente que escucha las señales de salida izquierda y derecha en el entorno de escucha a través de auriculares tiene la sensación de escuchar la pluralidad de señales de audio de entrada como si emanaran de una pluralidad de altavoces espacialmente ubicados en respectivos ubicaciones de altavoz en el entorno de escucha

15 para formar la pluralidad de direcciones para el oyente.
19. Un método según la reivindicación 18, en el que la formación de al menos una de las componentes de eco incluye combinar una pluralidad de las señales de entrada aceptadas, y en el que la generación de un conjunto de señales de salida de reverberador procesa distintas señales de entrada diferentemente.
20. Un método según la reivindicación 18 ó 19, que comprende además: combinar la pluralidad de entradas con el conjunto de señales de salida de reverberador para generar un conjunto de entradas para la generación del conjunto de señales de salida del reverberador.

25 21. Un método según una cualquiera de las reivindicaciones 18 a 20, en el que las componentes de eco incluyen una serie de versiones mezcladas, retrasadas y filtradas de las señales de entrada aceptadas.
22. Un método según una cualquiera de las reivindicaciones 18 a 21, en el que la matriz es una matriz unitaria dentro de cada entrada que es multiplicada por una respectiva ganancia descriptible por pre-multiplicación por una

30 matriz diagonal y/o dentro de cada salida que es multiplicada por una respectiva ganancia descriptible por postmultiplicación por una matriz diagonal.
23. Un método según una cualquiera de las reivindicaciones 18 a 22, comprendiendo además el método acoplar

cada una de las trayectorias de señal de retroalimentación a uno correspondiente de los pares de filtros HRTF. 35
24. Un método según la reivindicación 23, en el que cada una de las trayectorias de señal de retroalimentación incluye retraso y filtrado, en el que cada paso de filtro es para producir una tasa de decaimiento deseada que varia con la frecuencia para los ecos producidos por la respectiva trayectoria de señal de retroalimentación, y en el que cada respectivo paso de retraso incluye aplicar un retraso respectivo seleccionado para proporcionar un patrón de

40 reverberación deseado para el entorno de escucha.
25. Un método según la reivindicación 24, en el que el filtrado en cada trayectoria de señal de retroalimentación se selecciona para lograr un tiempo de reverberación deseado a bajas frecuencias y un tiempo de reverberación deseado a altas frecuencias.
26.

Un método según la reivindicación 24 ó 25, en el que los retrasos de las diferentes trayectorias de señal de retroalimentación se seleccionan para ser diferentes sin ningún factor común.
27.

Un método según una cualquiera de las reivindicaciones 24 a 26, en el que cada uno de los retrasos de las

50 diferentes trayectorias de señal de retroalimentación se selecciona para ser aproximadamente igual al tiempo de retraso de la primera llegada de eco en el entorno de escucha.
28. Un método según una cualquiera de las reivindicaciones 24 a 27, en el que cada uno de los retrasos de las

diferentes trayectorias de señal de retroalimentación se selecciona de tal forma que los patrones de los ecos no se 55 correlacionan con cada trayectoria de señal de retroalimentación.
29. Un método según una cualquiera de las reivindicaciones 24 a 28, en el que el número de direcciones HRTF es menor que el número de señales de entrada en la pluralidad de señales de audio de entrada.

60 30. Un método según una cualquiera de las reivindicaciones 24 a 28, en el que el número de direcciones HRTF es mayor que el número de señales de entrada en la pluralidad de señales de entrada de audio.
31. Un medio de almacenamiento legible por ordenador en el cual está almacenado al menos un segmento de

código que, cuando se ejecuta por al menos un procesador de un sistema de procesamiento, ocasiona llevar a cabo 65 un método como se ha expuesto en cualquier reivindicación precedente de método.