ES3071024T3 - Transforming spatial audio parameters - Google Patents
Transforming spatial audio parametersInfo
- Publication number
- ES3071024T3 ES3071024T3 ES21919202T ES21919202T ES3071024T3 ES 3071024 T3 ES3071024 T3 ES 3071024T3 ES 21919202 T ES21919202 T ES 21919202T ES 21919202 T ES21919202 T ES 21919202T ES 3071024 T3 ES3071024 T3 ES 3071024T3
- Authority
- ES
- Spain
- Prior art keywords
- spatial audio
- audio direction
- direction parameter
- quantized
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Se ha divulgado, entre otras cosas, un aparato para codificación de audio espacial configurado para: determinar, para dos o más señales de audio, un primer parámetro de dirección de audio espacial y un segundo parámetro de dirección de audio espacial para proporcionar reproducción de audio espacial: cuantificar el primer parámetro de dirección de audio espacial (301); transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta (303); determinar una diferencia entre el segundo parámetro de dirección de audio espacial transformado y el primer parámetro de dirección de audio espacial cuantificado (305); y cuantificar la diferencia (307). (Traducción automática con Google Translate, sin valor legal)
Description
[0001] DESCRIPCIÓN
[0002] Transformación de parámetros de audio espacial
[0003] Campo
[0004] La presente solicitud se refiere a aparatos y métodos para una codificación de parámetros relacionados con el campo de sonido, pero no exclusivamente para una codificación de parámetros relacionados con la dirección en el dominio de tiempo-frecuencia para un codificador y un decodificador de audio.
[0005] Antecedentes
[0006] El procesamiento de audio espacial paramétrico es un campo de procesamiento de señales de audio donde el aspecto espacial del sonido se describe utilizando un conjunto de parámetros. Por ejemplo, en la captación de audio espacial paramétrica a partir de matrices de micrófonos, una elección típica y efectiva es estimar, a partir de las señales de matrices de micrófonos, un conjunto de parámetros tales como unas direcciones del sonido en unas bandas de frecuencia y los coeficientes entre las partes direccionales y no direccionales del sonido captado en unas bandas de frecuencia. Se sabe que estos parámetros describen bien las propiedades espaciales perceptuales del sonido captado en la posición de la matriz de micrófonos. Estos parámetros pueden utilizarse en la síntesis del sonido espacial, por consiguiente, para auriculares de forma binaural, para altavoces o para otros formatos, tales como Ambisonics. Por lo tanto, las direcciones y las relaciones de energía directa a total en bandas de frecuencia son de este modo una parametrización que es especialmente eficaz para la captación de audio espacial.
[0007] También puede utilizarse un conjunto de parámetros que consiste en un parámetro de dirección en bandas de frecuencia y un parámetro de relación de energía en bandas de frecuencia (que indica la direccionalidad del sonido) como metadatos espaciales (que también pueden incluir otros parámetros como la coherencia circundante, coherencia de propagación, número de direcciones, distancia, etc.) para un códec de audio. Por ejemplo, estos parámetros pueden estimarse a partir de señales de audio captadas en matriz de micrófonos y, por ejemplo, se puede generar una señal estéreo o mono a partir de las señales de matriz de micrófonos que se transportan con los metadatos espaciales. La señal estéreo podría codificarse, por ejemplo, con un codificador AAC y la señal mono podría codificarse con un codificador EVS. Un decodificador puede decodificar las señales de audio para dar señales de PCM y procesar el sonido en bandas de frecuencia (usando los metadatos espaciales) para obtener la salida espacial, por ejemplo, una salida binaural.
[0008] La solución mencionada anteriormente es especialmente adecuada para codificar sonido espacial capturado a partir de matrices de micrófonos (por ejemplo, en teléfonos móviles, cámaras de RV, matrices de micrófonos independientes). Sin embargo, puede ser deseable que un codificador así tenga también otros tipos de entrada aparte de las señales captadas por matrices de micrófonos, por ejemplo, señales de altavoz, señales de objeto de audio o señales ambisónicas.
[0009] El análisis de entradas ambisónicas de primer orden (FOA) para la extracción de metadatos espaciales se ha documentado completamente en la literatura científica relacionada con la codificación de audio direccional (DirAC) y la expansión en ondas planas armónicas (Harpex). Esto es así dado que existen matrices de micrófonos que proporcionan directamente una señal FOA (de forma más precisa: su variante, la señal de formato B) y el análisis de una entrada así ha sido, por lo tanto, un punto de estudio en el campo. Además, el análisis de la entrada ambisónica de orden superior (HOA) para la extracción de metadatos espaciales multidireccionales también se ha documentado en la bibliografía científica relacionada con la codificación de audio direccional de orden superior (HO-DirAC).
[0010] Una entrada adicional para el codificador también es la entrada de altavoz multicanal, tal como las entradas circundantes de canales 5.1 o 7.1 y objetos de audio.
[0011] Es conocido por el documento YANG CHENG y col.: “Multi-channel Object-Based Spatial Parameter Compression Approach for 3D Audio”, 16 de septiembre de 2015 (16-09-2015), SAT 201518TH INTERNATIONAL CONFERENCE, AUSTIN, TX, EE. UU., 24-27 DE SEPTIEMBRE DE 2015; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER, BERLÍN, HEIDELBERG, PÁGINA(S) 354 - 364, ISBN: 978-3-540-74549-5, técnicas para la compresión de parámetros espaciales (es decir, metadatos espaciales) basada en objetos multicanal, en el contexto del análisis DirAC, utilizando compresión intratrama de los parámetros de dirección espacial.
[0012] Sin embargo, con respecto a los componentes de los metadatos espaciales, la compresión y codificación de los parámetros de audio espacial tienen considerable interés para minimizar el número total de bits requeridos para representar los parámetros de audio espacial.
[0013] Resumen
[0014] Según un primer aspecto, existe un aparato para la codificación de audio espacial tal como se establece en las reivindicaciones adjuntas.
[0015] Según un segundo aspecto, existe un aparato para la decodificación de audio espacial tal como se establece en las reivindicaciones adjuntas.
[0016] Según un tercer aspecto, se proporciona un método para la codificación de audio espacial tal como se establece en las reivindicaciones adjuntas.
[0017] Según un cuarto aspecto, existe un método para la decodificación de audio espacial tal como se establece en las reivindicaciones adjuntas.
[0018] Resumen de las figuras
[0019] Para una mejor comprensión de la presente solicitud, ahora se hará referencia a modo de ejemplo a los dibujos adjuntos, en los que:
[0020] la Figura 1 muestra esquemáticamente un sistema de aparato adecuado para implementar algunas realizaciones; la Figura 2 muestra esquemáticamente el codificador de metadatos según algunas realizaciones;
[0021] la Figura 3 muestra un diagrama de flujo del funcionamiento del codificador de metadatos como se muestra en la Figura 2 según algunas realizaciones; y
[0022] la Figura 4 muestra esquemáticamente un dispositivo de ejemplo adecuado para implementar el aparato mostrado.
[0023] Realizaciones de la solicitud
[0024] A continuación se describe con más detalle un aparato adecuado y mecanismos posibles para la provisión de parámetros de metadatos obtenidos por análisis espacial efectivos. En las siguientes explicaciones, se analiza un sistema multicanal con respecto a una implementación de micrófono multicanal. Sin embargo, tal y como se discutió anteriormente, el formato de entrada puede ser cualquier formato de entrada adecuado, tal como un altavoz multicanal, Ambisonics (FOA/HOA), etc. Se entiende que en algunas realizaciones la ubicación de canal se basa en una ubicación del micrófono o es una ubicación o dirección virtual. Además, la salida del sistema de ejemplo es una disposición de altavoces multicanal. Sin embargo, se entiende que la salida puede hacerse al usuario mediante medios que no sean altavoces. Además, las señales de altavoces multicanal pueden generalizarse para ser dos o más señales de audio de reproducción. Un sistema de este tipo está siendo estandarizado actualmente por el organismo de estandarización del 3GPP como el Servicio Inmersivo de Voz y Audio (IVAS). El IVAS pretende ser una extensión del códec del Servicio de Voz Mejorado (EVS) de 3GPP existente para facilitar los servicios de voz y audio inmersivos a través de redes móviles (celulares) y de línea fija existentes y futuras. Una aplicación de IVAS puede ser el suministro de servicios de voz y audio inmersivos a través de redes de 3GPP de cuarta generación (4G) y de quinta generación (5G). Además, el códec de IVAS como una extensión a EVS se puede utilizar en aplicaciones de almacenamiento y reenvío en las que el contenido de audio y voz se codifica y almacena en un archivo para su reproducción. Se ha de apreciar que el IVAS se puede utilizar junto con otras tecnologías de codificación de audio y voz que tienen la funcionalidad de codificar las muestras de señales de audio y voz.
[0025] Los metadatos consisten en al menos direcciones esféricas (elevación, acimut), al menos una relación de energía de una dirección resultante, una coherencia de propagación y una coherencia circundante independiente de la dirección, para cada bloque o tesela de tiempo-frecuencia (TF) considerado, en otras palabras, una subbanda de tiempo/frecuencia. En total, IVAS puede tener un número de tipos diferentes de parámetros de metadatos para cada tesela de tiempo-frecuencia (TF). Los tipos de parámetros de audio espacial que pueden constituir los metadatos para IVAS se muestran en la Tabla 1 a continuación.
[0027]
[0028]
[0030] Estos datos pueden codificarse y transmitirse (o almacenarse) por el codificador para poder reconstruir la señal espacial en el decodificador.
[0031] Además, en algunos casos, el audio espacial asistido por metadatos (Metadata Assisted Spatial Audio, MASA) puede admitir hasta dos direcciones para cada tesela de TF, lo que requeriría que los parámetros anteriores se codificaran y transmitieran para cada dirección para cada tesela de TF. De este modo, se duplica en aumento la velocidad de bits requerida según la Tabla 1. Además, es fácil prever que otros sistemas MASA puedan admitir más de dos direcciones por tesela de TF.
[0032] La velocidad de bits asignada para los metadatos en un códec práctico de comunicaciones de audio inmersivo puede variar considerablemente. Las velocidades de bits operativas generales típicas del códec pueden dejar únicamente entre 2 y 10 kbps para la transmisión/almacenamiento de metadatos espaciales. Sin embargo, algunas implementaciones adicionales pueden permitir hasta 30 kbps o superior para la transmisión/almacenamiento de metadatos espaciales. La codificación de los parámetros de dirección y los componentes de relación de energía se ha examinado anteriormente junto con la codificación de los datos de coherencia. Sin embargo, sea cual sea la velocidad de bits de transmisión/almacenamiento asignada a los metadatos espaciales, siempre será necesario utilizar la menor cantidad de bits posible para representar estos parámetros, especialmente cuando una tesela de TF puede soportar múltiples direcciones correspondientes a diferentes fuentes de sonido en la escena de audio espacial.
[0033] El concepto que se analiza a continuación en la presente memoria es mejorar la eficiencia de cuantificación de los parámetros de dirección de audio espacial transformando el parámetro de dirección asociado con cada fuente de sonido (por tesela de TF) para que apunte en la misma dirección.
[0034] En este sentido, la Figura 1 representa un aparato de ejemplo y sistema para implementar realizaciones de la solicitud. El sistema 100 se muestra con una parte de ‘análisis’ 121 y una parte de ‘síntesis’ 131. La parte de “análisis” 121 es la parte desde la recepción de las señales de altavoces de múltiples canales hasta la codificación de los metadatos y la señal de mezcla descendente; y la parte de ‘síntesis’ 131 es la parte de una decodificación de los metadatos codificados y la señal de mezcla descendente a la presentación de la señal regenerada (por ejemplo, en forma de altavoces de múltiples canales).
[0035] La entrada al sistema 100 y la parte de ‘análisis’ 121 son las señales multicanal 102. En los siguientes ejemplos, se describe una entrada de señal de canal de micrófono, aunque puede implementarse cualquier formato de entrada (o multicanal sintético) adecuado en otras realizaciones. Por ejemplo, en algunas realizaciones, el analizador espacial y el análisis espacial pueden implementarse de forma externa al codificador. Por ejemplo, en algunas realizaciones, los metadatos espaciales asociados con las señales de audio pueden proporcionarse a un codificador como un flujo de bits separado. En algunas realizaciones, los metadatos espaciales pueden proporcionarse como un conjunto de valores de índice espacial (dirección). Estos son ejemplos de un formato de entrada de audio basado en metadatos. Las señales multicanal se pasan a un mezclador de señales de transporte 103 y a un procesador de análisis 105. En algunas realizaciones, el generador de señal de transporte 103 está configurado para recibir las señales multicanal y generar una señal de transporte adecuada que comprende un número determinado de canales y emitir las señales de transporte 104. Por ejemplo, el generador de señales de transporte 103 puede configurarse para generar una mezcla de 2 canales de audio de las señales multicanal. El número determinado de canales puede ser cualquier número adecuado de canales. El generador de señales de transporte en algunas realizaciones está configurado para seleccionar o combinar de otro modo, por ejemplo, mediante técnicas de formación de haces las señales de audio de entrada al número determinado de canales y emitir estas como señales de transporte.
[0036] En algunas realizaciones, el mezclador de señales de transporte 103 es opcional y las señales multicanal se pasan sin procesar a un codificador 107 de la misma manera que la señal de transporte en este ejemplo.
[0037] En algunas realizaciones, el procesador de análisis 105 también está configurado para recibir las señales multicanal y analizar las señales para producir metadatos 106 asociados con las señales multicanal y, por lo tanto, asociarse con las señales de transporte 104. El procesador de análisis 105 puede configurarse para generar los metadatos que pueden comprender, para cada intervalo de análisis de tiempo-frecuencia, un parámetro de dirección 108 y un parámetro de relación de energía 110 y un parámetro de coherencia 112 (y en algunas realizaciones un parámetro de difusión). La dirección, la relación de energía y los parámetros de coherencia pueden considerarse en algunas realizaciones como parámetros de audio espacial. En otras palabras, los parámetros de audio espacial comprenden parámetros que tienen como objetivo caracterizar el campo de sonido creado/capturado por las señales multicanal (o dos o más señales de audio en general).
[0038] En algunas realizaciones, los parámetros generados pueden diferir entre las bandas de frecuencia. Por lo tanto, por ejemplo, en la banda X todos los parámetros se generan y transmiten, mientras que en la banda Y solo se genera y transmite uno de los parámetros, y además en la banda Z no se generan o transmiten parámetros. Un ejemplo práctico de esto es que para algunas bandas de frecuencia, tales como la banda más alta, no se requieren algunos de los parámetros por motivos perceptuales. Las señales de transporte 104 y los metadatos 106 pueden pasarse a un codificador 107.
[0039] El codificador 107 puede comprender un núcleo de codificador de audio 109 que está configurado para recibir las señales de transporte (para un ejemplo de mezcla descendente) 104 y generar una codificación adecuada de estas señales de audio. En algunas realizaciones, el codificador 107 puede ser un ordenador (que ejecuta un software adecuado almacenado en una memoria y en al menos un procesador) o, de forma alternativa, un dispositivo específico que utiliza, por ejemplo, FPGA o ASIC. La codificación puede implementarse utilizando cualquier esquema adecuado. El codificador 107 puede comprender además un codificador/cuantificador de metadatos 111 que está configurado para recibir los metadatos y dar salida a una forma codificada o comprimida de la información. En algunas realizaciones, el codificador 107 puede además intercalar, multiplexar a un flujo de datos individual o incorporar los metadatos dentro de las señales de mezcla descendente codificadas antes de la transmisión o el almacenamiento mostrado en la Figura 1 por la línea discontinua. La multiplexación puede implementarse utilizando cualquier esquema adecuado.
[0040] En el lado del decodificador, los datos recibidos o recuperados (flujo) pueden ser recibidos por un decodificador/demultiplexor 133. El decodificador/demultiplexor 133 puede demultiplexar los flujos codificados y pasar la corriente codificada de audio a un extractor de transporte 135 que está configurado para decodificar las señales de audio para obtener las señales de transporte. De manera similar, el decodificador/demultiplexor 133 puede comprender un extractor de metadatos 137 que está configurado para recibir los metadatos codificados y generar metadatos. En algunas realizaciones, el decodificador/demultiplexor 133 puede ser un ordenador (que ejecuta un software adecuado almacenado en la memoria y en al menos un procesador) o, de forma alternativa, un dispositivo específico que utiliza, por ejemplo, FPGA o ASIC.
[0041] Las señales de audio de transporte y metadatos decodificados pueden pasarse a un procesador de síntesis 139. La parte 131 de ‘síntesis’ del sistema 100 muestra además un procesador de síntesis 139 configurado para recibir los datos de transporte y los metadatos, y para volver a crear en cualquier formato adecuado un audio espacial sintetizado en forma de señales multicanal 110 (que pueden estar en formato de altavoces multicanal o, en algunas realizaciones, en cualquier formato de salida adecuado tales como señales binaural o ambisónica, dependiendo del caso de uso o de hecho un formato MASA) basado en las señales de transporte y los metadatos.
[0042] Por lo tanto, en resumen, el sistema (parte de análisis) está configurado para recibir señales de audio multicanal. A continuación, el sistema (parte de análisis) está configurado para generar una señal de audio de transporte adecuada (por ejemplo, seleccionando o mezclando de manera descendente algunos de los canales de señal de audio) y los parámetros de audio espacial como metadatos.
[0043] El sistema se configura a continuación para codificar para su almacenamiento/transmisión la señal de transporte y los metadatos.
[0044] Después de esto, el sistema puede almacenar/transmitir los datos de transporte codificado y los metadatos.
[0045] El sistema puede recuperar/recibir los datos de transporte codificado y los metadatos.
[0046] A continuación, el sistema se configura para extraer los datos de transporte y los metadatos de los parámetros codificados de transporte y metadatos, por ejemplo demultiplexar y decodificar los parámetros codificados de transporte y metadatos.
[0047] El sistema (parte de síntesis) está configurado para sintetizar una señal de audio multicanal de salida basándose en señales de audio de transporte extraídas y en metadatos.
[0048] Con respecto a la Figura 2, se describe con más detalle un procesador de análisis 105 y un codificador/cuantificador de metadatos 111 de ejemplo (como se muestra en la Figura 1) según algunas realizaciones.
[0049] Las Figuras 1 y 2 representan el codificador/cuantificador de metadatos 111 y el procesador de análisis 105 acoplados entre sí. Sin embargo, debe apreciarse que algunas realizaciones pueden no acoplar tan estrechamente estas dos entidades de procesamiento respectivas de tal modo que el procesador de análisis 105 pueda existir en un dispositivo diferente del codificador/cuantificador de metadatos 111. En consecuencia, a un dispositivo que comprende el codificador/cuantificador de metadatos 111 se le pueden presentar las señales de transporte y los flujos de metadatos para su procesamiento y codificación independientemente del proceso de captura y análisis.
[0050] El procesador de análisis 105 en algunas realizaciones comprende un transformador de dominio de tiempofrecuencia 201.
[0051] En algunas realizaciones, el transformador de dominio de tiempo-frecuencia 201 está configurado para recibir las señales multicanal 102 y aplicar una transformación de dominio de tiempo a dominio de frecuencia adecuada, tal como una transformada de Fourier de tiempo corto (STFT), para convertir las señales en el dominio del tiempo de entrada en señales de tiempo-frecuencia adecuadas. Estas señales de tiempo-frecuencia pueden pasar a un analizador espacial 203.
[0052] Por lo tanto, por ejemplo, las señales de tiempo-frecuencia 202 pueden representarse en la representación del dominio de tiempo-frecuencia mediante
[0053] s<i>(b, n),
[0054] donde b es el índice del bin de frecuencia y n es el índice del bloque de frecuencia (trama) e i es el índice de canal. En otra expresión, n puede considerarse un índice de tiempo con una tasa de muestreo más baja que la de las señales originales en el dominio del tiempo. Estos bins de frecuencia pueden agruparse en subbandas que forman uno o más de los bins en una subbanda de un índice de banda K = 0,..., K-1. Cada subbanda k tiene un bin b<k,bajp>más bajo y un bin b<k,alto>más alto, y la subbanda contiene todos los bins desde b<k,bajo>a b<k,alto>. Las anchuras de las subbandas pueden aproximarse a cualquier distribución adecuada. Por ejemplo, la escala de ancho de banda rectangular equivalente (ERB) o la escala Bark.
[0055] Una tesela (o bloque) de tiempo-frecuencia (TF) es, por lo tanto, una subbanda específica dentro de una subtrama de la trama.
[0056] Se puede apreciar que el número de bits requerido para representar los parámetros de audio espacial puede depender, al menos en parte, de la resolución de las teselas de tiempo-frecuencia (TF) (es decir, del número de subtramas o teselas de TF). Por ejemplo, una trama de audio de 20 ms puede dividirse en 4 subtramas en el dominio del tiempo de 5 ms por pieza y cada subtrama en el dominio del tiempo puede tener hasta 24 subbandas de frecuencia divididas en el dominio de la frecuencia según una escala Bark, una aproximación de la misma o cualquier otra división adecuada. En este ejemplo particular, la trama de audio puede dividirse en 96 subtramas/teselas de TF; dicho de otro modo, 4 subtramas en el dominio del tiempo con 24 subbandas de frecuencia. Por lo tanto, la cantidad de bits requerida para representar los parámetros de audio espacial para una trama de audio puede depender de la resolución de la tesela de TF. Por ejemplo, si cada tesela de TF se codificara según la distribución de la Tabla 1 anterior, a continuación cada tesela de TF requeriría 64 bits por dirección de fuente de sonido. Para dos direcciones de fuente de sonido por
tesela de TF, se necesitarían 2x64 bits para la codificación completa de ambas direcciones. Cabe señalar que el uso del término fuente de sonido puede referirse a las direcciones dominantes del sonido que se propaga en la tesela de TF.
[0057] Realizaciones tienen como objetivo reducir la cantidad de bits cuando hay más de una dirección de fuente de sonido por tesela de TF.
[0058] En realizaciones, el procesador de análisis 105 puede comprender un analizador espacial 203. El analizador espacial 203 puede configurarse para recibir las señales de tiempo-frecuencia 202 y, basándose en estas señales, estimar unos parámetros 108 de dirección. Los parámetros de dirección se pueden determinar basándose en cualquier determinación de ‘dirección’ basada en audio.
[0059] Por ejemplo, en algunas realizaciones, el analizador espacial 203 está configurado para estimar la dirección de una fuente de sonido con dos o más entradas de señal.
[0060] El analizador espacial 203 puede configurarse por lo tanto para proporcionar al menos un acimut y una elevación para cada banda de frecuencia y bloque de tiempo-frecuencia temporal dentro de una trama de una señal de audio, indicado como acimut ϕ(k, n), y elevación θ(k, n).Los parámetros 108 de dirección para la subtrama de tiempo también pueden pasarse al codificador 207 de conjunto de parámetros espaciales.
[0061] El analizador especial 203 también puede configurarse para determinar un parámetro de relación de energía 110. Se puede considerar que la relación de energía es una determinación de la energía de la señal de audio que puede considerarse que llega desde una dirección. La relación de energía directa a totalr(k,n)puede estimarse, p. ej., utilizando una medida de estabilidad de la estimación direccional, o utilizando cualquier medida de correlación, o cualquier otro método adecuado para obtener un parámetro de relación. Cada relación de energía directa a total corresponde a una dirección espacial específica y describe qué cantidad de energía proviene de la dirección espacial específica en comparación con la energía total. Este valor también puede representarse para cada tesela de tiempofrecuencia por separado. Los parámetros de dirección espacial y la relación de energía directa a total describen qué parte de la energía total de cada tesela de tiempo-frecuencia proviene de la dirección específica. En general, un parámetro de dirección espacial también se puede considerar como la dirección de llegada (DOA).
[0062] En algunas realizaciones, el parámetro de relación de energía directa a total se puede estimar basándose en el parámetro de correlación cruzada normalizadocor'(k, n) entre un par de micrófonos en la banda k, estando el valor del parámetro de correlación cruzada entre -1 y 1. El parámetro de relación de energía directa a totalr(k, n) puede determinarse comparando el parámetro de correlación cruzada normalizado a un parámetro de correlación cruzada
[0064] normalizado de campo difuso como
. La relación de energía directa a total se explica con más detalle en la publicación PCT WO2017/005978 que se incorpora en la presente memoria como referencia. La relación de energía puede pasarse al fusionador 207 de parámetros espaciales.
[0065] En algunas realizaciones, los parámetros relacionados con una segunda dirección (para la tesela de TF) pueden analizarse utilizando una codificación de audio direccional de orden superior con entrada HOA o el método presentado en la publicación PCT WO2019/215391 con entrada de dispositivo móvil. Se pueden encontrar detalles sobre la codificación de audio direccional de orden superior en el IEEE Journal of Selected Topics in Signal Processing, “Sector-Based Parametric Sound Field Reproduction in the Spherical Harmonic Domain”, volumen 9, número 5.
[0066] El analizador espacial 203 puede configurarse además para determinar un número de parámetros de coherencia 112 que pueden incluircoherencia circundante(γ(k, n)) ycoherencia extendida(ζ(k, n)),ambas analizadas en el dominio de tiempo-frecuencia.
[0067] El analizador espacial 203 puede configurarse para enviar los parámetros de coherencia determinados, el parámetro de coherencia de propagación ζ y el parámetro de coherencia circundante γ al codificador 207 de conjunto de parámetros espaciales.
[0068] Por lo tanto, para cada tesela de TF habrá una colección de parámetros de audio espacial asociados con cada dirección de fuente de sonido. En este caso, cada tesela de TF puede tener los siguientes parámetros espaciales asociados con ella para cada dirección de fuente de sonido; un acimut y elevación indicados como acimut ϕ(k, n), y elevación θ(k, n), una coherencia de propagación(γ(k, n)) y un parámetro de relación de energía directa a totalr(k, n).Además, cada tesela de TF también puede tener unacoherencia circundante(ζ(k, n)) que no se asigna para cada fuente de sonido.
[0069] En el caso de dos direcciones de fuente de sonido, la colección de parámetros de audio espacial para cada tesela de TF puede comprender al menos el componente de dirección esférica de acimut ϕ<1>(k, n) y elevación θ<1>(k, n), así como la relación de energía a total para una primera dirección de fuente de sonido y los componentes de dirección esférica de acimut ϕ<2>(k, n) y elevación θ<2>(k, n) y la relación de energía a total para una segunda dirección de fuente.
[0070] Debe apreciarse que las etapas de procesamiento posteriores se pueden realizar para cada tesela de TF. En otras palabras, el procesamiento se realiza para cada subbanda k y subtrama n de una trama de audio.
[0071] Los estudios han indicado que, sobre la base de teselas de TF, es más probable que una primera dirección de fuente de sonido apunte en una dirección opuesta a una segunda dirección de fuente de sonido. Esta observación puede utilizarse para mejorar la eficiencia de cuantificación posterior de los parámetros de dirección de acimut y elevación. Por ejemplo, si la primera (o segunda) fuente de sonido puede alinearse más estrechamente mediante una rotación de 180°, entonces la diferencia (o varianza) entre los dos parámetros de dirección de fuente de sonido puede reducirse considerablemente. Esta reducción de la varianza puede utilizarse para mejorar la cuantificación (vectorial) de los parámetros de dirección. Obviamente, la mejora en la eficiencia de cuantificación (al hacer girar un parámetro de dirección 180° con respecto al otro parámetro de dirección) se logra cuando una fuente de sonido apunta originalmente (antes de la rotación) en una dirección opuesta a la segunda fuente de sonido. De este modo, cuando se aplique la transformación rotacional, los parámetros de dirección de las primera y segunda fuentes de sonido se alinearán más estrechamente.
[0072] Se ha observado (mediante experimentos) que, en la mayoría de los casos, es más probable que la primera dirección de fuente de sonido apunte en una dirección opuesta a la segunda dirección de fuente de sonido. Por lo tanto, puede ser apropiado aplicar una transformación rotacional al primer o al segundo parámetros de dirección de fuente de sonido en la mayoría de los casos para facilitar la alineación de los parámetros de dirección antes de la cuantificación. Debe apreciarse en las realizaciones que la transformación rotacional se aplica al parámetro de dirección de audio espacial que no se ha cuantificado inicialmente por primera vez. Por ejemplo, el primer parámetro de dirección de audio espacial (asociado a la primera dirección de fuente de sonido) puede cuantificarse inicialmente para proporcionar una primera dirección de audio espacial cuantificada. En este caso, el segundo parámetro de dirección de audio espacial puede hacerse girar con respecto al primer parámetro de dirección de audio espacial cuantificado.
[0073] Con ese fin, se pueden aplicar las siguientes etapas antes de la cuantificación de los parámetros de dirección de audio espacial para una tesela de TF:
[0074] 1. Cuantificar un primer parámetro de dirección de audio espacial (para una primera dirección de fuente de sonido) 2. Aplicar una transformación rotacional a los parámetros de dirección de la segunda dirección de fuente de sonido.
[0075] 3. Una vez que se ha hecho girar un parámetro de dirección en relación con el otro parámetro de dirección dentro de la mismo tesela de TF, se obtiene la diferencia entre el (segundo) parámetro de dirección girado y el otro (primer) parámetro de dirección cuantificado para formar la etapa previa a la cuantificación.
[0076] El enfoque anterior se puede exponer en términos de parámetros de dirección de acimut para las primera y segunda direcciones de fuente de sonido.
[0077] Donde ϕ<2>∈ [-180,180)
[0080]
[0083] donde es el valor de acimut cuantificado de la primera dirección de fuente de sonido y ϕ<2>es la segunda dirección de fuente de sonido para la tesela de TF. En las etapas anteriores, es la segunda dirección de fuente de sonido ϕ<2>la que está alineada (o girada) con respecto a la primera dirección cuantificada de fuente de sonido ϕ<1̂>. La diferencia entre el segundo parámetro de dirección girado y el primer parámetro de dirección cuantificado se da comodφ.El parámetro de dirección de diferenciadφ puede cuantificarse a continuación. La cuantificación de ϕ<1>ydϕ se puede realizar según técnicas enumeradas a continuación.
[0084] El enfoque anterior también se puede aplicar a los valores de elevación de dirección θ<1>(k, n) y θ<2>(k, n)
para la tesela de TF (k, n). Alternativamente, el método anterior también se puede aplicar a valores tanto en el eje de elevación como en el eje de acimut.
[0085] Sin embargo, se observó además que, en general, se encontró que los valores de elevación estaban más o menos alineados y menos inclinados a estar en direcciones opuestas para las teselas de TF de una trama de audio. Por lo tanto, en algunas realizaciones, la transformación de rotación anterior se implementó únicamente para los valores de acimut, como se representa mediante el algoritmo anterior.
[0086] En algunas realizaciones, el proceso descrito en las etapas 1 a 3 anteriores (es decir, realizar la transformación rotacional se aplica al segundo parámetro de dirección de audio espacial) puede depender del parámetro de relación de energía directa a total para la primera dirección de fuente de sonidor1
(n, k) (or1
descartando la nomenclatura para la tesela n, k). En estas realizaciones, las etapas de procesamiento se pueden aplicar para cada tesela de TF como: 1. Cuantificar un primer parámetro de dirección de audio espacial (para una primera dirección de fuente de sonido).
[0087] 2. Comprobar el valor de la primera relación de energía a total para la primera dirección de fuente de sonidor1
. Si el valor der1
está por encima de un valor umbral predeterminado (parar1
), realizar las etapas 3 y 4. Sin embargo, si el valor der1
está por debajo de (o es igual a) el valor umbral predeterminado (parar1
), entonces no realizar las etapas 3 y 4 siguientes. En cambio, el primer parámetro de dirección de audio espacial se cuantifica sin la transformación rotacional.
[0088] 3. Aplicar transformación rotacional los parámetros de dirección de la segunda dirección de fuente de sonido.
[0089] 4. Una vez que se ha hecho girar un parámetro de dirección en relación con el otro parámetro de dirección dentro de la mismo tesela de TF, se puede obtener la diferencia entre el (segundo) parámetro de dirección girado y el otro (primer) parámetro de dirección cuantificado para formar la etapa previa a la cuantificación.
[0090] En otras realizaciones, la aplicación de las etapas de transformación rotacional anteriores puede estar condicionada al número de bits disponibles para cuantificar el primer parámetro de dirección de audio espacial. En estas realizaciones, las etapas de procesamiento se pueden aplicar para cada tesela de TF como:
[0091] 1. Cuantificar un primer parámetro de dirección de audio espacial (para una primera dirección de fuente de sonido).
[0092] 2. Comprobar si el número de bits disponibles para cuantificar el primer parámetro de dirección de audio espacial está por encima de un valor umbral predeterminado (para los bits disponibles) y, a continuación, realizar las etapas 3 y 4. Sin embargo, si el número de bits está por debajo de (o es igual a) el valor umbral predeterminado (para los bits disponibles), entonces no realizar las etapas 3 y 4 siguientes. En cambio, el primer parámetro de dirección de audio espacial se cuantifica sin la transformación rotacional.
[0093] 3. Aplicar transformación rotacional los parámetros de dirección de la segunda dirección de fuente de sonido.
[0094] 4. Una vez que se ha hecho girar un parámetro de dirección en relación con el otro parámetro de dirección dentro de la mismo tesela de TF, se puede obtener la diferencia entre el (segundo) parámetro de dirección girado y el otro (primer) parámetro de dirección cuantificado para formar la etapa previa a la cuantificación.
[0095] La figura 3 representa un proceso implementable por software o hardware informático para hacer girar los parámetros de dirección de audio espacial (tales como los valores de acimut y elevación) como etapa previa a la cuantificación. La etapa de procesamiento 301 muestra la etapa de cuantificar el primer parámetro de dirección de audio espacial, por ejemplo, el valor de acimut asociado con una primera dirección de fuente de sonido en una tesela de TF.
[0096] La etapa de procesamiento 302 representa la etapa de transformar el segundo parámetro de dirección de audio espacial (por ejemplo, el valor de acimut asociado con una segunda dirección de fuente de sonido en la tesela de TF) haciendo girar el parámetro de dirección para que esté en una dirección opuesta. En realizaciones, esto puede implementarse haciendo girar un valor angular (p. ej., un valor de acimut) del segundo parámetro de dirección de audio espacial en 180 grados.
[0097] La etapa de procesamiento 305 representa la etapa de determinar la diferencia entre el segundo parámetro de dirección de audio espacial transformado (o girado) y el primer parámetro de dirección de audio espacial (cuantificado). Por ejemplo, la diferencia entre el valor de acimut girado del segundo parámetro de dirección de audio espacial y el valor de acimut del primer parámetro de dirección de audio espacial.
[0098] Finalmente, la etapa 307 de procesamiento representa la etapa de cuantificar la diferencia generada por la etapa 305. El codificador 207 de conjunto de parámetros espaciales puede disponerse para cuantificar los parámetros 108 de dirección además de los parámetros 110 de relación de energía y los parámetros 112 de coherencia.
[0099] La cuantificación de los parámetros 108 de dirección (tales como el acimut ϕ(k, n) y la elevación θ(k, n)) puede basarse en una disposición de esferas que forman una retícula esférica dispuesta en anillos en una esfera de ‘superficie’ que se define por una tabla de consulta definida por la resolución de cuantificación determinada. En otras palabras, la retícula esférica utiliza la idea de cubrir una esfera con esferas más pequeñas y considerar los centros de las esferas más pequeñas como puntos que definen una retícula de direcciones casi equidistantes. Por lo tanto, las esferas más pequeñas definen conos o ángulos sólidos alrededor del punto central que pueden indexarse según cualquier algoritmo de indexación adecuado. Los parámetros 108 de dirección de acimut ϕ(k, n) y elevación θ(k, n) pueden entonces
asignarse a puntos. La retícula esférica utiliza una métrica de distancia vectorial para proporcionar un índice de cuantificación a la retícula esférica. Dicho esquema de cuantificación esférica se puede encontrar en las publicaciones de solicitud de patente WO2019/091575 y WO2019/129350. Alternativamente, los parámetros 108 de dirección de acimut ϕ(k, n) y elevación θ (k, n) pueden cuantificarse según cualquier medio de cuantificación lineal o no lineal adecuado.
[0100] Con referencia al algoritmo anterior y a las etapas de procesamiento de la figura 3, el primer valor de acimut ϕ<1>se puede cuantificar según cualquiera de las técnicas de cuantificación enumeradas anteriormente y, a continuación, el valor de acimut de diferenciadφ también se puede cuantificar utilizando la misma técnica de cuantificación que se utilizó para el primer valor de acimut ϕ<1>. En consecuencia, en una realización preferida se pueden producir los siguientes parámetros de dirección cuantificados,ϕ<1̂>,
θ<1̂>y θ<2̂>para cada tesela de TF que tenga dos direcciones de fuente de sonido.
[0101] El codificador/cuantificador 111 de metadatos también puede comprender un codificador de parámetros de relación de energía que puede configurarse para recibir los parámetros de relación de energía para cada tesela de TF y realizar un esquema de compresión y codificación adecuado.
[0102] Similarmente, el codificador 207 de conjunto de parámetros también puede comprender un codificador de coherencia que está configurado para recibir los valores de coherencia envolvente γ y los valores de coherencia de propagación ζ y determinar una codificación adecuada para comprimir los valores de coherencia de envolvente y de propagación. La dirección codificada, las relaciones de energía y los valores de coherencia pueden pasarse a un combinador. El combinador puede estar configurado para recibir los parámetros direccionales codificados (o cuantificados/comprimidos), parámetros de relación de energía y parámetros de coherencia y combinar estos para generar una salida adecuada (por ejemplo, un flujo de bits de metadatos que puede combinarse con la señal de transporte o transmitirse o almacenarse por separado desde la señal de transporte).
[0103] En algunas realizaciones, el flujo de datos codificado se pasa al decodificador/demultiplexor 133. El decodificador/demultiplexor 133 demultiplexa los conjuntos de parámetros de audio espacial cuantificados codificados para la trama y los pasa al extractor 137 de metadatos y, además, el decodificador/demultiplexor 133 puede extraer, en algunas realizaciones, las señales de audio de transporte al extractor de transporte para su decodificación y extracción.
[0104] Los índices de relación de energía, índices de dirección e índices de coherencia de parámetros de audio espacial codificados pueden decodificarse mediante sus respectivos decodificadores en el extractor 137 de metadatos para generar las relaciones de energía, direcciones y coherencias decodificadas para la tesela de TF. Esto se puede realizar aplicando la inversa de los diversos procesos de codificación empleados en el codificador.
[0105] Según algunas realizaciones, los índices de dirección de parámetro de audio espacial pueden comprender índices que indican los siguientes parámetros de dirección cuantificados,ϕ<1̂>,
θ<1̂>y θ<2̂>para cada tesela de TF que tiene dos direcciones de fuente de sonido. El extractor 137 de metadatos puede utilizar los índices de dirección de parámetros de audio espacial para producir los parámetros descuantificados,ϕ<1̂>,
θ<1̂>y θ<2̂>para cada mosaico TF mediante el proceso de descuantificación.
[0106] En realizaciones, los parámetros de dirección de audio espacial decodificados para una tesela de TF se pueden encontrar mediante las siguientes etapas:
[0107] 1. Adicionar la diferencia cuantificada (entre el parámetro de dirección girado (segundo) y el parámetro de dirección cuantificado (primer)) al primer parámetro de dirección cuantificado. Para dar el segundo parámetro de dirección cuantificado girado.
[0108] 2. Aplicar una transformación rotacional al segundo parámetro de dirección cuantificado girado para hacer girar el segundo parámetro de dirección cuantificado girado para que tenga una dirección opuesta. Dando de este modo el segundo parámetro de dirección cuantificado. La transformación rotacional, tal como se aplica al segundo parámetro de dirección girado, puede ser el corolario de la rotación aplicada en el codificador. Por ejemplo, si el codificador utilizó una rotación de 180°, entonces el decodificador debería aplicar una rotación corolaria de 180° para transformar el segundo parámetro de dirección girado de nuevo en el segundo parámetro de dirección.
[0109] Dependiendo del esquema de codificación particular adoptado en el codificador, el decodificador puede implementar las etapas de procesamiento anteriores únicamente para los valores de acimut de los parámetros de audio espacial de la tesela de TF, o los valores de elevación de dirección o, alternativamente, los valores de dirección en los ejes de elevación y acimut.
[0110] Cabe señalar que, en el caso de que el codificador despliegue un esquema condicional para codificar los parámetros de dirección de audio espacial, entonces el proceso de decodificación también puede hacer lo mismo.
[0111] Por ejemplo, cuando el codificador utiliza el esquema que depende del parámetro de relación de energía directa a total para la primera dirección de fuente de sonidor1
(n, k) como se ha descrito anteriormente. El decodificador puede decodificar los parámetros de dirección de audio espacial según las etapas de decodificación 1 y 2 anteriores, cuando el resultado de comprobar el valor de la primera relación de energía a total para la primera dirección de fuente de sonidor1
para la tesela de TF está por encima del umbral predeterminado (parar1
).
[0112] Similarmente, cuando el codificador utiliza el esquema dependiente del número de bits disponibles para cuantificar los parámetros de dirección de audio espacial. El decodificador puede decodificar los parámetros de dirección de audio espacial según las etapas de decodificación 1 y 2 anteriores, cuando el resultado de comprobar el número de bits utilizados para codificar los parámetros de dirección de audio espacial está por encima del valor umbral predeterminado (para los bits utilizados).
[0113] En general, la desindexación se refiere al proceso de convertir un índice que representa un parámetro cuantificado en el parámetro cuantificado. Este proceso normalmente implica convertir el índice en un valor cuantificado mediante un descuantificador. Un descuantificador puede comprender una tabla o libro de códigos que contiene valores descuantificados y/o una funcionalidad de procesamiento que puede utilizarse para producir los valores descuantificados finales.
[0114] Los parámetros de audio espacial decodificados pueden a continuación formar la salida de metadatos decodificados del extractor de metadatos 137 y pasarse al procesador de síntesis 139 para formar las señales multicanal 110. Con respecto a la Figura 4, en ella se muestra un dispositivo electrónico de ejemplo que puede utilizarse como dispositivo de análisis o síntesis. El dispositivo puede ser cualquier dispositivo o aparato electrónico adecuado. Por ejemplo, en algunas realizaciones, el dispositivo 1400 es un dispositivo móvil, un equipo de usuario, un ordenador de tipo tableta, un ordenador, un aparato de reproducción de audio, etc.
[0115] En algunas realizaciones, el dispositivo 1400 comprende al menos un procesador o unidad de procesamiento central 1407. El procesador 1407 puede estar configurado para ejecutar diversos códigos de programa, tales como los métodos que se han descrito en la presente memoria.
[0116] En algunas realizaciones, el dispositivo 1400 comprende una memoria 1411. En algunas realizaciones, el al menos un procesador 1407 está acoplado a la memoria 1411. La memoria 1411 puede ser cualquier medio de almacenamiento adecuado. En algunas realizaciones, la memoria 1411 comprende una sección de códigos de programa para almacenar códigos de programa que pueden implementarse en el procesador 1407. Además, en algunas realizaciones, la memoria 1411 puede comprender además una sección de datos almacenados para almacenar datos, por ejemplo datos que se han procesado o que van a procesarse según las realizaciones como se describe en la presente memoria. El código de programa implementado almacenado dentro de la sección de códigos de programa y los datos almacenados dentro de la sección de datos almacenados pueden ser recuperados por el procesador 1407 siempre que sea necesario a través del acoplamiento memoria-procesador.
[0117] En algunas realizaciones, el dispositivo 1400 comprende una interfaz de usuario 1405. En algunas realizaciones, la interfaz de usuario 1405 puede estar acoplada al procesador 1407. En algunas realizaciones, el procesador 1407 puede controlar el funcionamiento de la interfaz de usuario 1405 y recibir entradas de la interfaz de usuario 1405. En algunas realizaciones, la interfaz de usuario 1405 puede permitir que un usuario introduzca comandos en el dispositivo 1400, por ejemplo, a través de un teclado numérico. En algunas realizaciones, la interfaz de usuario 1405 puede permitir que el usuario obtenga información del dispositivo 1400. Por ejemplo, la interfaz de usuario 1405 puede comprender un elemento de visualización configurado para visualizar información del dispositivo 1400 al usuario. En algunas realizaciones, la interfaz de usuario 1405 puede comprender una pantalla táctil o una interfaz táctil capaz tanto de permitir introducir información en el dispositivo 1400 como, además, de mostrar información al usuario del dispositivo 1400. En algunas realizaciones, la interfaz de usuario 1405 puede ser la interfaz de usuario para comunicarse con el determinador de posición que se describe en la presente memoria.
[0118] En algunas realizaciones, el dispositivo 1400 comprende un puerto de entrada/salida 1409. En algunas realizaciones, el puerto de entrada/salida 1409 comprende un transceptor. En tales realizaciones, el transceptor puede estar acoplado al procesador 1407 y configurado para permitir una comunicación con otros aparatos o dispositivos electrónicos, por ejemplo, a través de una red de comunicaciones inalámbrica. En algunas realizaciones, el transceptor o cualquier medio transceptor o transmisor y/o receptor adecuado puede(n) estar configurado(s) para comunicarse con otros dispositivos o aparatos electrónicos a través de un cable o un acoplamiento cableado.
[0119] El transceptor puede comunicarse con otros aparatos mediante cualquier protocolo de comunicaciones conocido adecuado. Por ejemplo, en algunas realizaciones, el transceptor puede utilizar un protocolo de sistema universal de telecomunicaciones móviles (UMTS), un protocolo de red de área local inalámbrica (WLAN), tal como, por ejemplo, el
IEEE 802.X, un protocolo de comunicación de radiofrecuencia de corto alcance adecuado, tal como Bluetooth, o una ruta de comunicación de datos por infrarrojos (IRDA).
[0120] El puerto de entrada/salida del transceptor 1409 puede estar configurado para recibir las señales y, en algunas realizaciones, determinar los parámetros que se describen en la presente memoria utilizando el procesador 1407 que ejecuta un código adecuado. Además, el dispositivo puede generar una salida de señal de mezcla descendente y de parámetros adecuada que va a transmitirse al dispositivo de síntesis.
[0121] En algunas realizaciones, el dispositivo 1400 puede emplearse como al menos parte del dispositivo de síntesis. Como tal, el puerto 1409 de entrada/salida puede estar configurado para recibir las señales de mezcla descendente y, en algunas realizaciones, los parámetros determinados en el dispositivo de captación o dispositivo de procesamiento como se describe en la presente memoria, y generar una salida de formato de señal de audio adecuada mediante el uso del procesador 1407 que ejecuta un código adecuado. El puerto de entrada/salida 1409 puede acoplarse a cualquier salida de audio adecuada, por ejemplo, a un sistema de altavoces multicanal y/o auriculares o similares. En general, las diversas realizaciones de la invención pueden implementarse en hardware o en unos circuitos, software o lógica de propósito especial o en cualquier combinación de los mismos. Por ejemplo, algunos aspectos pueden implementarse en hardware, mientras que otros aspectos pueden implementarse en un firmware o software que puede ser ejecutado por un controlador, microprocesador u otro dispositivo informático, aunque la invención no está limitada a los mismos. Aunque diversos aspectos de la invención puedan ilustrarse y describirse como diagramas de bloques o diagramas de flujo, o utilizando alguna otra representación gráfica, se entiende claramente que estos bloques, aparatos, sistemas, técnicas o métodos descritos en la presente memoria pueden implementarse, como ejemplos no limitativos, en hardware, software, firmware, circuitos o una lógica de propósito especial, un hardware de propósito general o un controlador u otros dispositivos informáticos, o alguna combinación de los mismos.
[0122] Las realizaciones de esta invención pueden ser implementadas por un software informático ejecutable por un procesador de datos del dispositivo móvil, tal como en la entidad procesador, o por hardware, o por una combinación de software y hardware. Además, en este sentido, cabe señalar que cualesquiera bloques del flujo lógico como en las figuras pueden representar etapas de programa, o circuitos, bloques y funciones lógicos interconectados, o una combinación de etapas de programa y circuitos, bloques y funciones lógicos. El software puede almacenarse en medios físicos tales como chips de memoria o en bloques de memoria implementados dentro del procesador, medios magnéticos tales como un disco duro o disquetes y medios ópticos tales como, por ejemplo, DVD y las variantes de datos del mismo, CD.
[0123] La memoria puede ser de cualquier tipo adecuado para el entorno técnico local y puede implementarse utilizando cualquier tecnología de almacenamiento de datos adecuada, tal como dispositivos de memoria basados en semiconductores, dispositivos y sistemas de memoria magnética, dispositivos y sistemas de memoria óptica, una memoria fija y una memoria extraíble. Los procesadores de datos pueden ser de cualquier tipo adecuado para el entorno técnico local, y pueden incluir uno o más de ordenadores de propósito general, ordenadores de propósito especial, microprocesadores, procesadores de señales digitales (DSP), circuitos integrados específicos de aplicación (ASIC), circuitos a nivel de compuerta y procesadores basados en una arquitectura de procesador multinúcleo, como ejemplos no limitativos.
[0124] Realizaciones de las invenciones pueden ponerse en práctica en diversos componentes tales como módulos de circuito integrado. El diseño de circuitos integrados es, en gran medida, un proceso altamente automatizado. Hay herramientas de software complejas y potentes disponibles para convertir un diseño de nivel lógico en un diseño de circuito de semiconductores listo para grabarse y formarse en un sustrato semiconductor.
[0125] Programas pueden enrutar conductores y ubicar componentes en un chip semiconductor, utilizando reglas de diseño bien establecidas, así como bibliotecas de módulos de diseño previamente almacenados. Una vez que se ha completado el diseño para un circuito semiconductor, el diseño resultante, en un formato electrónico normalizado, puede transmitirse a una instalación de fabricación de semiconductores o “fáb” para su fabricación.
[0126] La descripción anterior ha proporcionado, a modo de ejemplos ilustrativos y no limitativos, una descripción completa e informativa de la realización ilustrativa de esta invención. Sin embargo, diversas modificaciones y adaptaciones pueden resultar evidentes a los expertos en las técnicas relevantes en vista de la descripción anterior, cuando se lea en combinación con los dibujos y las reivindicaciones adjuntos. Sin embargo, todas estas modificaciones y similares de las enseñanzas de la presente invención seguirán estando dentro del alcance de la presente invención como se define en las reivindicaciones adjuntas.
Claims (15)
1. REIVINDICACIONES
1. Un aparato para la codificación de señal de audio espacial, que comprende:
medios para recibir, para dos o más señales de audio, un primer parámetro de dirección de audio espacial y un segundo parámetro de dirección de audio espacial para proporcionar reproducción de audio espacial; medios para cuantificar el primer parámetro de dirección de audio espacial;
estando el aparatocaracterizado porquecomprende además:
medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta;
medios para determinar una diferencia entre el segundo parámetro de dirección de audio espacial transformado y el primer parámetro de dirección de audio espacial cuantificado; y
medios para cuantificar la diferencia.
2. El aparato según la reivindicación 1, en donde los medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta, los medios para determinar una diferencia entre el segundo parámetro de dirección de audio espacial transformado y el primer parámetro de dirección de audio espacial cuantificado, y los medios para cuantificar la diferencia están condicionados a que un primer parámetro de relación de energía directa a total para las dos o más señales de audio sea mayor que un valor umbral predeterminado.
3. El aparato según la reivindicación 1, en donde los medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta, los medios para determinar una diferencia entre el segundo parámetro de dirección de audio espacial transformado y el primer parámetro de dirección de audio espacial cuantificado, y los medios para cuantificar la diferencia están condicionados a que un número de bits utilizados para cuantificar el primer parámetro de dirección de audio espacial cuantificado esté por encima de un valor umbral predeterminado.
4. El aparato según las reivindicaciones 1, 2 y 3, en donde los medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta comprenden: medios para hacer girar el segundo parámetro de dirección de audio espacial en un ángulo de ciento ochenta grados.
5. El aparato según las reivindicaciones 1 a 4, en donde el segundo parámetro de dirección de audio espacial comprende un valor de acimut, y en donde el primer parámetro de dirección de audio espacial cuantificado comprende un valor de acimut cuantificado.
6. El aparato según la reivindicación 5, en donde los medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta comprenden medios para transformar el valor de acimut del segundo parámetro de dirección de audio espacial en ciento ochenta grados, y en donde los medios para determinar una diferencia entre el segundo parámetro de dirección de audio espacial transformado y el primer parámetro de dirección de audio espacial cuantificado comprenden medios para determinar la diferencia entre el valor de acimut transformado del segundo parámetro de dirección de audio espacial y el valor de acimut cuantificado del primer parámetro de dirección de audio espacial cuantificado.
7. El aparato según las reivindicaciones 1 a 6, en donde el primer parámetro de dirección de audio espacial está asociado con una primera dirección de fuente de sonido en una subbanda de frecuencia y una subtrama de tiempo de las dos o más señales de audio, y el segundo parámetro de dirección de audio espacial está asociado con una segunda dirección de fuente de sonido en la subbanda de frecuencia y la subtrama de tiempo de las dos o más señales de audio.
8. Un aparato para la decodificación de señal de audio espacial,caracterizado porquecomprende:
medios para adicionar una diferencia cuantificada a un primer parámetro de dirección de audio espacial cuantificado para dar un segundo parámetro de dirección de audio espacial, en donde la diferencia cuantificada es una diferencia cuantificada entre el segundo parámetro de dirección de audio espacial y el primer parámetro de dirección de audio espacial cuantificado; y
medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta.
9. El aparato según la reivindicación 8, en donde los medios para adicionar la diferencia cuantificada al primer parámetro de dirección de audio espacial cuantificado para dar el segundo parámetro de dirección de audio espacial, y los medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta están condicionados a que un primer parámetro de relación de energía directa a total sea mayor que un valor umbral predeterminado.
10. El aparato según la reivindicación 8, en donde los medios para adicionar la diferencia cuantificada al primer parámetro de dirección de audio espacial cuantificado para dar el segundo parámetro de dirección de audio espacial, y los medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta están condicionados a que un número de bits utilizados para cuantificar el primer parámetro de dirección de audio espacial cuantificado esté por encima de un valor umbral predeterminado.
11. El aparato según las reivindicaciones 8 a 10, en donde los medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta comprenden: medios para hacer girar el segundo parámetro de dirección de audio espacial en un ángulo de ciento ochenta grados.
12. El aparato según las reivindicaciones 8 a 11, en donde el segundo parámetro de dirección de audio espacial comprende un valor de acimut, y en donde el primer parámetro de dirección de audio espacial cuantificado comprende un valor de acimut cuantificado.
13. El aparato según la reivindicación 12, en donde los medios para transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta comprenden medios para transformar el valor de acimut del segundo parámetro de dirección de audio espacial en ciento ochenta grados, y en donde los medios para adicionar la diferencia cuantificada al primer parámetro de dirección de audio espacial cuantificado para dar el segundo parámetro de dirección de audio espacial comprenden medios para adicionar la diferencia cuantificada al valor de acimut cuantificado del primer parámetro de dirección de audio espacial cuantificado.
14. Un método para la codificación de señal de audio espacial, que comprende:
recibir, para dos o más señales de audio, un primer parámetro de dirección de audio espacial y un segundo parámetro de dirección de audio espacial para proporcionar reproducción de audio espacial; estando el métodocaracterizado porquecomprende además:
cuantificar el primer parámetro de dirección de audio espacial;
transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta;
determinar una diferencia entre el segundo parámetro de dirección de audio espacial transformado y el primer parámetro de dirección de audio espacial cuantificado; y
cuantificar la diferencia.
15. Un método para la decodificación de señal de audio espacial,caracterizado porquecomprende:
adicionar una diferencia cuantificada a un primer parámetro de dirección de audio espacial cuantificado para dar un segundo parámetro de dirección de audio espacial, en donde la diferencia cuantificada es una diferencia cuantificada entre el segundo parámetro de dirección de audio espacial y el primer parámetro de dirección de audio espacial cuantificado; y
transformar el segundo parámetro de dirección de audio espacial para que tenga una dirección de audio espacial opuesta.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/FI2021/050023 WO2022152960A1 (en) | 2021-01-18 | 2021-01-18 | Transforming spatial audio parameters |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES3071024T3 true ES3071024T3 (en) | 2026-06-19 |
Family
ID=82448110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES21919202T Active ES3071024T3 (en) | 2021-01-18 | 2021-01-18 | Transforming spatial audio parameters |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US12412585B2 (es) |
| EP (2) | EP4756799A3 (es) |
| KR (1) | KR20230133341A (es) |
| CN (1) | CN116940983A (es) |
| CA (1) | CA3208666A1 (es) |
| ES (1) | ES3071024T3 (es) |
| WO (1) | WO2022152960A1 (es) |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2146522A1 (en) * | 2008-07-17 | 2010-01-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating audio output signals using object based metadata |
| GB2540175A (en) | 2015-07-08 | 2017-01-11 | Nokia Technologies Oy | Spatial audio processing apparatus |
| US10699721B2 (en) * | 2017-04-25 | 2020-06-30 | Dts, Inc. | Encoding and decoding of digital audio signals using difference data |
| US11328735B2 (en) | 2017-11-10 | 2022-05-10 | Nokia Technologies Oy | Determination of spatial audio parameter encoding and associated decoding |
| MY203778A (en) * | 2017-11-17 | 2024-07-18 | Fraunhofer Ges Zur Frderung Der Angewandten Forschung E V | Apparatus and method for encoding or decoding directional audio coding parameters using different time/frequency resolutions |
| WO2019106221A1 (en) | 2017-11-28 | 2019-06-06 | Nokia Technologies Oy | Processing of spatial audio parameters |
| EP3732678B1 (en) | 2017-12-28 | 2023-11-15 | Nokia Technologies Oy | Determination of spatial audio parameter encoding and associated decoding |
| GB2573537A (en) | 2018-05-09 | 2019-11-13 | Nokia Technologies Oy | An apparatus, method and computer program for audio signal processing |
| GB2575305A (en) | 2018-07-05 | 2020-01-08 | Nokia Technologies Oy | Determination of spatial audio parameter encoding and associated decoding |
| GB2577698A (en) | 2018-10-02 | 2020-04-08 | Nokia Technologies Oy | Selection of quantisation schemes for spatial audio parameter encoding |
| CN112997248B (zh) | 2018-10-31 | 2024-11-01 | 诺基亚技术有限公司 | 确定空间音频参数的编码和相关联解码 |
| GB2582749A (en) | 2019-03-28 | 2020-10-07 | Nokia Technologies Oy | Determination of the significance of spatial audio parameters and associated encoding |
| GB2585187A (en) | 2019-06-25 | 2021-01-06 | Nokia Technologies Oy | Determination of spatial audio parameter encoding and associated decoding |
| GB2587196A (en) * | 2019-09-13 | 2021-03-24 | Nokia Technologies Oy | Determination of spatial audio parameter encoding and associated decoding |
| GB2590651A (en) | 2019-12-23 | 2021-07-07 | Nokia Technologies Oy | Combining of spatial audio parameters |
| GB2595883A (en) | 2020-06-09 | 2021-12-15 | Nokia Technologies Oy | Spatial audio parameter encoding and associated decoding |
| EP4264603A4 (en) * | 2020-12-15 | 2024-07-17 | Nokia Technologies Oy | QUANTIZATION OF SPATIAL AUDIO PARAMETERS |
-
2021
- 2021-01-18 ES ES21919202T patent/ES3071024T3/es active Active
- 2021-01-18 CN CN202180095344.3A patent/CN116940983A/zh active Pending
- 2021-01-18 EP EP26165696.1A patent/EP4756799A3/en active Pending
- 2021-01-18 KR KR1020237027800A patent/KR20230133341A/ko active Pending
- 2021-01-18 US US18/261,783 patent/US12412585B2/en active Active
- 2021-01-18 EP EP21919202.8A patent/EP4278347B1/en active Active
- 2021-01-18 CA CA3208666A patent/CA3208666A1/en active Pending
- 2021-01-18 WO PCT/FI2021/050023 patent/WO2022152960A1/en not_active Ceased
-
2025
- 2025-08-18 US US19/302,837 patent/US20250384889A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4278347A4 (en) | 2024-10-02 |
| KR20230133341A (ko) | 2023-09-19 |
| US20250384889A1 (en) | 2025-12-18 |
| EP4278347B1 (en) | 2026-04-29 |
| CN116940983A (zh) | 2023-10-24 |
| EP4756799A3 (en) | 2026-06-24 |
| US20240079014A1 (en) | 2024-03-07 |
| EP4756799A2 (en) | 2026-06-10 |
| CA3208666A1 (en) | 2022-07-21 |
| EP4278347A1 (en) | 2023-11-22 |
| WO2022152960A1 (en) | 2022-07-21 |
| US12412585B2 (en) | 2025-09-09 |