ES2994484T3 - Metadata for loudness and dynamic range control - Google Patents
Metadata for loudness and dynamic range control Download PDFInfo
- Publication number
- ES2994484T3 ES2994484T3 ES19170552T ES19170552T ES2994484T3 ES 2994484 T3 ES2994484 T3 ES 2994484T3 ES 19170552 T ES19170552 T ES 19170552T ES 19170552 T ES19170552 T ES 19170552T ES 2994484 T3 ES2994484 T3 ES 2994484T3
- Authority
- ES
- Spain
- Prior art keywords
- drc
- audio
- loudness
- metadata
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 129
- 238000010606 normalization Methods 0.000 claims abstract description 28
- 238000005259 measurement Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 24
- 238000007906 compression Methods 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 5
- 101100031387 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) drc-1 gene Proteins 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G7/00—Volume compression or expansion in amplifiers
- H03G7/007—Volume compression or expansion in amplifiers of digital or coded signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Abstract
Se aplica un valor de ganancia de normalización de audio a una señal de audio para producir una señal normalizada. La señal normalizada se procesa para calcular valores de ganancia de control de rango dinámico (DRC) de acuerdo con una característica DRC predefinida seleccionada. La señal de audio se codifica y los valores de ganancia DRC se proporcionan como metadatos asociados con la señal de audio codificada. También se describen y reivindican otras realizaciones. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Metadatos para el control de sonoridad y rango dinámico
Esta solicitud no provisional reivindica el beneficio de la fecha de presentación anterior de la solicitud provisional de los EE. UU. núm. 61/806.570, presentada el 29 de marzo de 2013.
Una realización de la invención se refiere generalmente a la codificación y decodificación de una señal de audio y el uso de metadatos asociados con la señal codificada para mejorar la calidad de reproducción de la señal decodificada en un dispositivo de usuario final de electrónica de consumo. También se describen otras realizaciones.
Antecedentes
El contenido de audio digital aparece en muchos casos diferentes, incluidos por ejemplo archivos de música y películas. En la mayoría de los casos, una señal de audio se codifica para los fines de reducción de la velocidad de datos, de modo que la transferencia o suministro del archivo o flujo de medios consume menos ancho de banda y es más rápida, permitiendo de este modo que se realicen muchas otras transferencias simultáneamente. El flujo o archivo de medios pueden recibirse en diferentes tipos de dispositivos de usuario final donde la señal de audio codificada se decodifica antes de presentarse al consumidor a través de altavoces integrados o desmontables. Esto ha ayudado a alimentar el apetito de los consumidores por obtener medios digitales a través de Internet. Los creadores y distribuidores de programas de audio digital tienen varias normas industriales a su disposición, que pueden usarse para codificar y decodificar contenido de audio. Estos incluyen el Estándar de compresión de audio digital (AC-3, E-AC-3), Revisión B, Documento A/52B, publicado el 14 de junio de 2005 por Advanced Television Systems Committee, Inc. (el “ Estándar ATSC” ), el Instituto de Estándares Europeos de Telecomunicaciones, ETSI TS 101 154 -Transmisión de video digital (DVB) basado en el flujo de transporte MPEG-2 en ISO/IEC 13818-7, Codificación de audio avanzada (AAC) (“ Estándar de AAC MPEG-2” ), e Is O/IEC 14496-3 (“Audio MPEG-4” ), publicado por la Organización Internacional de Normalización (ISO).
Hay una variedad cada vez mayor de dispositivos de usuario final para la reproducción de audio digital, incluidos ordenadores de escritorio, ordenadores portátiles, dispositivos de mano portátiles (p. ej., teléfonos inteligentes), televisores domésticos, y sistemas de medios en vehículos. Estos dispositivos tienen diferentes trayectos de señales análogas, altavoces y entornos acústicos. Además, el rango dinámico de una señal de audio varía entre los diferentes programas. Además, los productores (incluidos creadores y a veces incluso distribuidores) de programas de audio digital frecuentemente desean aumentar la sonoridad promedio de sus programas, modificando digitalmente una señal de audio de modo que su sonoridad promedio sea mayor en varios dB. Sin embargo, hacer esto también requiere que los niveles pico de la señal de audio resultante se reduzcan para evitar el recorte (lo que conduce a una distorsión audible indeseable). Esto se logra usando el control de rango dinámico (DRC), que comprime los altos y bajos de la señal de audio de modo que la señal de audio resultante pueda ajustarse dentro de una envoltura más estrecha (evitando de este modo el recorte). Sin embargo, todos estos factores crean un problema ya que la sonoridad como la percibe el usuario final puede variar significativamente, a través de diferentes dispositivos de usuario final y entre programas consecutivos en el mismo dispositivo, lo que conduce a una experiencia de usuario desagradable durante la reproducción.
Una herramienta de software tal como el programa SoundCheck™ de Apple Inc. ajusta automáticamente el volumen de reproducción de las canciones para rendir con suerte la misma sonoridad perceptible, de modo que, por ejemplo, una grabación de pop reciente que tiene un rango dinámico más pequeño, pero una sonoridad promedio más alta se rechaza, en comparación con una canción más antigua de la década de 1970. También, un programa de audio puede incluir una porción de metadatos que se asocia con la señal de audio codificada y que describe la señal de audio asociada. Los metadatos pueden incluir información que se usa mediante software en el dispositivo de usuario final para controlar, por ejemplo, el nivel de diálogo, DRC, y cualquier mezcla de audio de la señal de audio decodificada, para cambiar la experiencia del consumidor durante la reproducción.
"Una guía para los metadatos de Dolby" describe que los parámetros universales en los metadatos incluyen la configuración del programa del audio codificado, el texto de la descripción del programa (p. ej., la promoción del canal de la película, la alimentación principal de fútbol), el nivel de diálogo (nivel promedio a largo plazo de diálogo en el programa, el nivel de mezcla de audio central, y el nivel de mezcla de audio envolvente.
Resumen
Es deseable un enfoque sistemático, pero aún flexible para controlar la calidad del audio entregado a un consumidor, usando cualquier codificación/decodificación (códec) convencional y construcción de metadatos asociados. Al menos las siguientes realizaciones de la invención se describen con mayor detalle a continuación.
En un ejemplo, un método para codificar una señal de audio abarca aplicar un valor de aumento de normalización de audio a una señal de audio, para producir una señal normalizada. La señal normalizada se procesa para calcular un número de valores de aumento del control de rango dinámico (DRC) para la señal normalizada. Los valores de aumento de DRC se calculan según una seleccionada de varias características de DRC predefinidas. La señal de audio se codifica y los valores de aumento se proporcionan como metadatos asociados con la señal codificada. Los valores de aumento de DRC proporcionados pueden aplicarse entonces en la etapa de decodificación del procesamiento de reproducción a la señal de audio decodificada, para ajustar el rango dinámico de la señal de audio decodificada durante la reproducción.
Existen diversos parámetros de sonoridad que pueden proporcionarse mediante la etapa de codificación, junto con, por ejemplo, los aumentos de mezcla de audio que se usaron para producir una señal de mezcla de audio en la etapa de codificación, como metadatos asociados con una versión codificada de la señal de entrada. La información de sonoridad que está contenida en los metadatos puede incluir uno o más de los siguientes: sonoridad del programa (como en una medida de sonoridad subjetiva de un programa de audio completo tal como se calcula según ITU BS.1770), un valor pico verdadero (tal como se mide según ITU BS.1770), una sonoridad de anclaje, (es decir, normalización de diálogo) y un rango de sonoridad.
Estos metadatos pueden incluir también un índice de la característica de DRC que se ha seleccionado para generar valores de aumento de DRC para la señal de audio de entrada, cuyos valores de aumento de DRC también pueden incluirse en los metadatos.
En el aparato de decodificación, un procesador del DRC puede ajustar o generar diferentes valores de aumento para DRC, basado en 1) el índice de característica de DRC obtenido en los metadatos, 2) los valores de aumento de DRC obtenidos en los metadatos. Por lo tanto, el control de rango dinámico puede lograrse en tiempo real durante el procesamiento de reproducción, sin que el aparato de decodificación tenga que calcular valores de sonoridad por marco (o niveles de entrada del DRC) de la señal de audio decodificada. En una realización, los metadatos asociados con un flujo o archivo de audio son leídos por un reproductor de medios que se ejecuta en el aparato de decodificador, cuando se decodifica el flujo o archivo de audio, y se usa automáticamente para(es decir,sin entrada de usuario y transparentemente al usuario) ajustar la sonoridad del contenido de audio digital decodificado (antes de la conversión digital a análoga). Esto puede hacerse para mejorar la experiencia de reproducción del usuario del contenido en el archivo, o flujo, del audio, dependiendo de la entrada del usuario y el rango dinámico del modo de reproducción seleccionado por el usuario(p. ej.,línea de salida frente a un altavoz integrado).
Breve descripción de las figuras
Las realizaciones de la invención se ilustran a modo de ejemplo y no de forma excluyente en las figuras de las figuras adjuntas en las que referencias similares indican elementos similares. Cabe señalar que las referencias a “ la” o “ una” realización de la invención en esta descripción no son necesariamente a la misma realización, y significan al menos uno. Además, puede usarse una figura dada para ilustrar las características de más de una realización de la invención, y no todos los elementos en la figura pueden ser necesarios para una realización dada.
LaFigura 1es un diagrama en bloque de componentes relevantes de una etapa de codificación de audio digital o aparato de codificación.
LaFigura 2muestra varias características de DRC ilustrativas que pueden usarse en la etapa de codificación.
LaFigura 3es un diagrama en bloque de componentes relevantes de una etapa del decodificador o aparato decodificador, y en particular uno en el que el procesamiento se realiza durante la reproducción de la señal de audio decodificada.
LaFigura 4muestra varias características de DRC ilustrativas que pueden usarse en la etapa de decodificación para producir nuevos valores de aumento de DRC.
LaFigura 5es un diagrama en bloque de componentes en la etapa de decodificación que tiene un procesador de mezcla de audio que recibe una señal de audio multicanal, decodificada.
LaFigura6 muestra varias características de DRC ilustrativas adecuadas para usar en una etapa de decodificación para producir nuevos valores de aumento.
LaFigura 7es un diagrama en bloque de componentes relevantes de una etapa de codificación de audio digital o aparato de codificación adecuado para un escenario particular de mezcla de audio.
Descripción detallada
Varias realizaciones de la invención se describen en el presente documento como mejoras de metadatos en la decodificación de audio digital, usadas para la normalización de la sonoridad y el control de rango dinámico (DRC) durante la reproducción de un archivo de audio codificado o un flujo de audio codificado que tiene los metadatos especificados. Si bien se establecen numerosos detalles, se entiende que algunas realizaciones de la invención pueden practicarse sin estos detalles. En otros casos, los circuitos, estructuras, y técnicas bien conocidos no se han mostrado en detalle para no oscurecer la comprensión de esta descripción. Por ejemplo, ciertos detalles se describen en el presente documento en el contexto de codificación para la reducción de velocidad de bits según los estándares MPEG, las realizaciones de la invención también son aplicables a otras formas de codificación y decodificación de audio incluida la compresión de datos sin pérdidas, tal como Apple Lossless Audio Codec (ALAC).
Con referencia a laFigura 1,se muestra un diagrama en bloque de una etapa del codificador o aparato codificador. Este diagrama en bloque puede usarse para describir no solo un aparato codificador de audio digital, sino también un método para codificar una señal de audio. Una señal de audio digital se codifica mediante un codificador 2, y a continuación puede ensamblarse con metadatos usando un multiplexor (mux) 8. El flujo de bits de audio codificado o audio codificado resultante contiene metadatos integrados que incluyen un valor de aumento del control de rango dinámico (DRC) por marco de audio digital. Aunque no se muestra, una alternativa para integrar los metadatos con la señal codificada es proporcionar los metadatos (que incluyen en este caso valores de aumento de DRC por marco) a través de un canal de metadatos separado al que se hace referencia en laFigura 1como un canal 7 de datos auxiliar. La codificación de la señal de audio puede implicar una codificación de reducción de la velocidad de datos con pérdidas o puede implicar una compresión de datos sin pérdidas. Además, la señal de audio puede ser un código de pulsos modulado, PCM, secuencia de audio digital u otra señal de audio de canal único o multicanal muestreados (también denominada programa de audio) que puede incluir múltiples canales de audio,p. ej.,seis canales 5.1 de sonido envolvente, 2 canales estéreo, etc.
Los metadatos incluyen un valor de aumento de DRC (por marco) que se calcula mediante un procesador 4 del DRC. Un normalizador o ajustador, representado por un símbolo multiplicador como se muestra, aplica un valor de aumento de normalización de audio(p. ej.,G<ln>) a una señal de audio digital de entrada, para producir una señal normalizada. La señal normalizada se procesa (mediante el procesador 4 del DRC) para calcular un número de valores de aumento de DRC según una seleccionada de un número de características de DRC predefinidas. Las características de DRC pueden almacenarse dentro de la memoria como parte del procesador 4 del DRC, dentro del aparato de codificación. Se dan ejemplos de las características de DRC en laFigura 2donde el nivel de entrada del DRC a lo largo del eje x se refiere a un valor de sonoridad a corto plazo (también denominado nivel de entrada del DRC), y un rango de valores de aumento a lo largo del ejeyque se aplicarán para lograr un efecto de compresión o expansión sobre la señal de audio de entrada. Los valores de aumento en laFigura 2también se denominan valores de aumento de DRC.
La normalización de audio es la aplicación de una cantidad constante de aumento a una grabación de audio (también conocida como un programa de audio, o una señal de audio) para llevar un valor promedio o pico de la señal de audio a un nivel objetivo (la norma). Cuando se aplica la misma cantidad de aumento a través de la señal completa o el programa de audio, la relación señal-a-ruido y la dinámica relativa de la señal no se modifican en su mayor parte. La normalización difiere de la compresión de rango dinámico o del control de rango dinámico (DRC), que aplica niveles de aumento variables en el tiempo a la señal de audio de entrada, para ajustar el resultado dentro de un rango de mínimo a máximo. Los ejemplos incluyen la normalización pico en donde el aumento se cambia para llevar el valor de muestra digital más alto(p. ej.,valor modulado por código de pulso, PCM, por sus siglas en inglés) o pico de señal análoga a un nivel dado.
Otro tipo de normalización de audio se basa en una medida de la sonoridad de programa. En este caso, el aumento aplicado (que se representa en laFigura 1específicamente como aumento de normalización de sonoridad de programa o G<ln>) se cambia para llevar, por ejemplo, la sonoridad promedio en todo el programa de audio a un nivel objetivo. Los ejemplos de sonoridad de programa incluyen una medida de la potencia promedio tal como el valor RMS, o una medida de la sonoridad percibida humana tal como la ofrecida por la Recomendación de la Unión Internacional de Telecomunicaciones (ITU) BS.1770 “Algoritmos para medir la sonoridad de programa y el nivel de audio de pico verdadero” . Dependiendo del rango dinámico de la señal de entrada y del nivel objetivo, la normalización de la sonoridad del programa puede dar como resultado picos que son más altos que los límites de un medio de grabación o transmisión o reproducción dados. En tales casos, el DRC puede usarse para evitar el recorte en tales casos, lo que a su vez puede alterar la relación señal-a-ruido y la dinámica relativa de la señal de audio.
El DRC puede reducir el volumen de sonidos fuertes o amplificar sonidos silenciosos, estrechando o “ comprimiendo” un rango dinámico de la señal de audio. La compresión se usa comúnmente en la grabación y reproducción y difusión de sonido. Una unidad de hardware electrónica, o software de audio, usada para aplicar compresión se denomina a veces un compresor. Los compresores frecuentemente tienen varios controles, que incluyen, por ejemplo, un umbral(p. ej.,en dB), una relación o cantidad de reducción del aumento (valor de aumento), controles de ataque y liberación que varían la velocidad a la que se aplica la compresión y suavizan el efecto, y un control de consola duro/blando.
Una característica de DRC (como se utiliza la frase en el presente documento) da la relación entre una medida de sonoridad a corto plazo de una señal de audio de entrada (también denominada en el presente documento “ sonoridad [dB]” en laFigura 4o nivel de entrada del DRC en laFigura 2) calculada durante un intervalo de tiempo que puede ser del orden de un marco o paquete de la señal de audio digital, p. ej., un intervalo de entre 5-100 ms, y un valor de aumento que puede aplicarse a la señal de audio de entrada. Esto también puede denominarse perfil de compresor (donde los valores de aumento sirven para comprimir o expandir la señal de audio de entrada). Varias características de DRC ilustrativas que pueden usarse en una etapa de codificación se muestran en laFigura 2,mientras que laFigura 4y laFigura6 muestran características de DRC ilustrativas que pueden usarse en una etapa de decodificación (que se describirá a continuación).
Puede usarse cualquier proceso adecuado para seleccionar la característica de DRC actual en la etapa de codificación. En respuesta a recibir la selección, el procesador 4 del DRC accede a la característica de DRC almacenada y aplica el perfil de acceso a la señal de entrada (en este caso es la señal de audio digital normalizada con aumento), y de este modo genera valores de aumento de DRC por marco. El procesador 4 del DRC puede generar los valores de aumento de DRC del siguiente modo. La señal de audio normalizada se procesa para calcular una medida de sonoridad a corto plazo,p. ej.,calculado en el orden de aproximadamente un marco de la señal de audio de entrada. La medida de sonoridad a corto plazo calculada se usa a continuación como entrada a una tabla de consulta que refleja una de las características de DRC, tales como las representadas en laFigura 2o cualquier otra característica de DRC adecuada, para dar como resultado un valor de aumento de DRC. Por ejemplo, si el marco de audio es blando, es probable que se produzca un aumento de DRC más positivo, y si es fuerte, un valor de aumento de DRC más negativo es probable. En una realización, cada marco del audio digital de entrada puede asociarse con un valor de aumento de DRC generado independientemente. Los valores de aumento de DRC se proporcionan a continuación como metadatos asociados con la señal de audio codificada, por ejemplo, integrados dentro del mismo flujo de bits. Un aparato de codificación de este tipo puede ser parte de un servidor de medios que responde a una solicitud de, por ejemplo, un programa de cliente que se ejecuta en un dispositivo de usuario final, para transmitir el programa de audio(p. ej.,como parte de un archivo de música, por ejemplo, o un archivo de película) a través de Internet al dispositivo de usuario final solicitante. Alternativamente, el flujo de bits de audio codificado puede proporcionarse para su almacenamiento en cualquier forma de medio de grabación adecuado.
En una realización, el procesador 4 del DRC puede verse como que funciona en paralelo con el codificador 2, excepto que la entrada al procesador 4 del DRC es una versión normalizada de la señal de audio que es entrada al codificador 2. En el ejemplo de laFigura 1,el valor de normalización G<ln>puede ser un escalar que se fija para un programa de audio completo y que se multiplica con las muestras de señales de la señal de audio digital. El valor de aumento de normalización G<ln>puede calcularse “ por adelantado” para pasar la señal de audio (normalizada) a través del procesador 4 del DRC. El aumento de normalización puede calcularse (mediante el bloque etiquetado G<ln>en laFigura1 ) basado en un parámetro de sonoridad que se calculó previamente mediante un módulo 6 de medición de audio, por ejemplo sonoridad de programa. Esto puede hacerse mediante el módulo 6 de medición de audio en una primera pasada través de la señal de audio de entrada, antes de que el procesador 4 del DRC realice una segunda pasada (a través de una versión normalizada de la señal de audio de entrada). El cálculo de G<ln>a continuación, basado en, por ejemplo, una relación de (i) una sonoridad medida del programa de audio digital original(p. ej.,sonoridad de programa calculada para todo el programa de audio original) y (ii) una sonoridad objetivo o deseada. Ver a continuación detalles adicionales sobre cómo calcular un ejemplo G<ln>.
En una realización adicional, el valor de aumento de la normalización de audio puede seleccionarse automáticamente basado en un número de valores de sonoridad objetivo, predeterminados que se asocian con un número de diferentes tipos de contenido de audio, respectivamente, en respuesta al tipo de contenido de audio en la señal de audio de entrada. Por ejemplo, si el programa de audio es música clásica, entonces se selecciona un valor de sonoridad objetivo diferente que si el programa objetivo fuera de música pop, o un diálogo o un programa de entrevistas, o una película cargada de acción.
LaFigura 1muestra la señal de entrada al módulo 6 de medición de audio pasando a través de los siguientes tres bloques de procesamiento de señal: un multiplicador (para ajuste de rango dinámico), un procesador 20 de mezcla de audio (para dar como resultado una mezcla de audio de una señal de audio multicanal) y un filtro 9 de precondicionamiento. Sin embargo, esto es solo una realización que se ilustra en la Figura1.En otras realizaciones, pueden omitirse uno o más de esos tres bloques de procesamiento de señales. Por ejemplo, si no se indica la mezcla de audio para la señal de audio (programa de audio), entonces el procesador 20 de mezcla de audio puede omitirse de la etapa de codificación, de modo que la señal de audio se sometería solamente al ajuste de rango dinámico y al precondicionamiento (antes de ser procesado por el módulo 6 de medición de audio). Como otro ejemplo, el filtro 9 de precondicionamiento puede omitirse, mientras que el ajuste de mezcla de audio y de rango dinámico todavía se indican, en cuyo caso la señal de audio se sometería solo al ajuste de rango dinámico y a una mezcla de audio (antes de ser procesada por el módulo 6 de medición de audio).
Todavía con referencia a laFigura 1,además de los aumentos del DRC como metadatos, el aparato de codificación puede proporcionar también el índice de la característica de DRC seleccionada en un nuevo campo de transporte de metadatos, como metadatos adicionales (asociados con la señal de audio codificada). En el ejemplo de laFigura 1,un canal 7 de datos auxiliar se usa para proporcionar el índice, mientras que los aumentos del<d>R<c>se integran con la señal de audio codificada. El canal auxiliar está separado del canal de datos primario en el que se suministra el audio codificado. Existen varios medios que son posibles para proporcionar los metadatos que se asocian con la señal de audio codificada. LaFigura 1solo muestra un mecanismo, donde los valores de aumento de DRC se han integrado (por un multiplexor) con el audio codificado en el mismo flujo de bits (el canal de datos “ primario” ), mientras que los parámetros de sonoridad se suministran a través de un procesador 7 de canal de datos auxiliar. En otro medio, un ensamblador o formateador dispone los valores de aumento de DRC con la señal de audio codificada en marcos o paquetes dentro de un único archivo, por ejemplo. En aun otro medio, puede añadirse un compresor que reduce la velocidad de bits de los valores de aumento de DRC a medida que se integran con la señal de audio en el mismo archivo o flujo de bits. En aun otro medio, el procesador 7 de canal de datos auxiliar dispone los valores de aumento de DRC en el canal de datos auxiliar (además de otros metadatos).
Además del índice de la característica de DRC actual, los metadatos pueden incluir también un valor de sonoridad de programa calculado por un módulo 6 de medición de audio en la etapa de codificación, y también opcionalmente un valor pico verdadero. Las mediciones de audio realizadas basado en la señal de audio de entrada para calcular la sonoridad del programa y los valores pico verdaderos pueden ser según cualquier técnica adecuada, conocida,p. ej.,según ITU-BS.1770-3. En una realización adicional, como se ilustra en laFigura 1,esta medición de audio puede usar los valores de aumento de DRC que fueron calculados por el procesador 4 del DRC, para calcular los parámetros de sonoridad(p. ej.,la sonoridad del programa y los valores pico verdaderos) que se proporcionan a continuación como otros metadatos. En otras palabras, puede calcularse un valor de sonoridad de programa y un valor pico verdadero para el programa de audio basado en la versión ajustada o comprimida del DRC de la señal de audio de entrada (sin la normalización de G<ln>). Cabe señalar en el presente documento que como se ilustra en laFigura 1,la señal de audio comprimida puede ser una señal de audio multicanal que se procesa mediante un procesador 20 de mezcla de audio, que da como resultado una señal de audio de mezcla de audio particular que se produce y se alimenta a una entrada del módulo 6 de medición de audio. El procesamiento de mezcla de audio en la presente descripción es opcional porque el procesador 20 de mezcla de audio puede omitirse o saltarse, de tal modo que las mediciones de audio se realicen sobre la señal de audio comprimida sin mezcla de audio.
En una realización adicional, para realizar la medición de audio (en el módulo 6 de medición de audio), se usa un filtro 9 de precondicionamiento opcional que se ha configurado basado en 1) una función o característica de la señal de audio de entrada y/o 2) una característica de un dispositivo de reproducción de usuario final que se espera que reciba y realice una reproducción del flujo de bits de audio codificado. Como se ve en laFigura 1,la señal de audio de entrada puede precondicionarse mediante el filtro 9, antes de ser introducida al módulo 6 donde se realizará un cálculo de sonoridad sobre ella. El filtro de precondicionamiento 9 puede ser, por ejemplo, un filtro de pasada alta, un filtro de paso de banda o una combinación de estos, que modela la respuesta de frecuencia o la función de transferencia de las etapas digital a análoga y de altavoz (transductor) de un dispositivo de reproducción particular,p. ej.,un dispositivo de electrónica de consumo tal como un ordenador de escritorio, un ordenador portátil, una tableta, un teléfono inteligente, o un reproductor multimedia digital que se diseña para recibir contenido digital a través de la Internet y realizar la reproducción a través de un monitor de pantalla adjunto.
Pasando ahora a laFigura 3,este es un diagrama en bloque de componentes relevantes de una etapa de decodificación o aparato de decodificación. El diagrama en bloque en la Figura3proporciona soporte no solo para un aparato de decodificador de audio digital o etapa de decodificación, sino también un método para decodificar audio, como se explica a continuación. El aparato decodificador mostrado tiene un decodificador 10 que recibe una señal de audio codificada que se ha extraído de un flujo de bits de audio codificado mediante un desmultiplexor 13. El flujo de bits puede incluir metadatos integrados, por ejemplo valores de aumento de DRC, un índice de característica de DRC (usado en la etapa de codificación), y parámetros de sonoridad. Como se ha sugerido anteriormente con respecto al aparato de codificación, una alternativa es incluir algunos o todos los metadatos en un canal 7 de datos auxiliar separado (ver laFigura 1). En ambos casos, una señal de audio codificada se proporciona como entrada al decodificador 10 que, en respuesta, produce una señal de audio decodificada. El decodificador 10 puede ser complementario al codificador 2 de laFigura 1,para poder recuperar una señal que puede ser esencialmente similar a la señal de audio de entrada original de la etapa de codificación. La señal de audio decodificada pasa a través de los bloques de procesamiento de señal opcionales 14, 16 hasta que llega a un convertidor 18 digital a análogo (DAC) y un amplificador de potencia (no se muestra), donde se convierte a la forma análoga y se aplica para accionar un transductor (altavoz) 19.
El aparato de decodificación también tiene un procesador 12 DRC_1 que recibe metadatos asociados con la señal de audio codificada, en donde los metadatos incluyen los valores de aumento de DRC que se calcularon en la etapa de codificación. El procesador 12 DRC_1 puede modificar esos valores de aumento para producir valores de aumento nuevos o modificados. Esta modificación puede basarse en parámetros locales, que incluyen la entrada de usuario y/o el rango dinámico de un transductor 19(p. ej.,un altavoz integrado o un altavoz externo, inalámbrico o conectado por cable), amplificador de potencia (no mostrado) y la combinación de convertidor 19 digital a análogo (DAC), que se usan para la reproducción de la señal de audio decodificada. Los valores de aumento modificados se aplican a continuación a la señal decodificada (este ajuste se representa por el símbolo multiplicador), antes de alimentarse al mezclado opcional y un bloque de procesamiento de audio adicional (bloques 14, 16), y a continuación al DAC 18. Los valores de aumento de DRC modificados se aplican por lo tanto a la señal de audio decodificada para producir la denominada señal de audio ajustada por DRC de la etapa de decodificación. Este último puede combinarse mediante un mezclador 14 con otras señales de audio ajustadas por DRC de la etapa de decodificación provenientes de otras fuentes de audio como se muestra(es decir,a través de otras unidades de ajuste de rango dinámico 15) antes de alimentarse al DAC 18.
En una realización, los metadatos recibidos en la etapa de decodificación incluyen un índice de una característica de DRC actual seleccionada previamente (según la cual los valores de aumento de DRC se calcularon en una etapa de codificación, como en laFigura 1). En un ejemplo, una copia de la característica de DRC seleccionada o actual puede almacenarse en el procesador 12 de DRC_1 y se asocia con tal índice. Esto se denomina característica de DRC de la etapa de codificación. Por el contrario, el procesador 12 de DRC_1 puede contener también un número de las denominadas características de DRC de la etapa de decodificación, como se muestra. Uno de los últimos se usa para producir los valores de aumento nuevos o modificados, como sigue.
En una realización, el procesador 12 DRC_1 “ invierte” las operaciones realizadas por el procesador 4 del DRC de la etapa de codificación, para obtener una sonoridad a corto plazo o un nivel de entrada del DRC(p. ej.,en dB) a partir de la característica de DRC seleccionada o actual que se almacena en el procesador 12, aplicando un valor de aumento de DRC recibido (de los metadatos recibidos) a la característica de DRC actual. Este valor de sonoridad a corto plazo recuperado se usa a continuación como entrada en una seleccionada de las características de DRC de la etapa de decodificación, para producir un valor de aumento nuevo o modificado. Esto último se denomina en el presente documento como etapa de decodificación o valor de aumento de DRC del decodificador. Cada una de las características de DRC de la etapa de decodificación y de la etapa de codificación puede almacenarse en una forma de tabla de búsqueda.
La selección de una característica de DRC de la etapa de decodificación puede ser según uno o más de los siguientes: contexto de usuario (incluido por la noche, caminar, correr, en el vehículo o en el coche, y auricular frente a altavoz incorporado), y el rango dinámico del trayecto de la señal del altavoz. El aparato de decodificación de laFigura 3en ese caso puede integrarse dentro de un dispositivo de usuario final tal como un teléfono móvil, un ordenador portátil, o una tableta que frecuentemente se encuentra en contextos de usuario bastante diferentes. Tales contextos pueden detectarse mediante hardware y software de sensor electrónico conocidos, incluidos sensores de luz ambiental y sensores de posición, orientación o movimiento. El rango dinámico del trayecto de la señal del transductor puede determinarse por adelantado por un fabricante del dispositivo de usuario final y puede almacenarse o proporcionarse de otro modo al procesador 12 DRC_1 para su uso durante el proceso de decodificación. El rango dinámico del transductor puede incluir un rango dinámico del DAC 18. En el caso de que un rango dinámico más grande esté disponible, el procesador 12 DRC_1 puede seleccionar una característica de DRC de la etapa de decodificación que permite que se retenga más rango dinámico, en el rango esperado de sonoridad a corto plazo de la señal de audio decodificada.
En otra realización, también representada en laFigura 3,los metadatos recibidos en una etapa de decodificación pueden incluir además un número de parámetros de sonoridad que pueden ser uno o más de los siguientes: sonoridad de programa, pico verdadero, un rango de sonoridad, sonoridad momentánea máxima, y sonoridad a corto plazo. Uno o más de tales valores pueden usarse por el procesador 12 DRC_1 cuando se produce el valor de aumento de DRC modificado o nuevo (sobre una base por marco).
Como se ha descrito anteriormente, el procesador 12 de DRC_1 en la etapa de decodificación (también denominado procesador del DRC decodificador) puede generar sus valores de aumento de DRC modificados usando una característica de DRC de la etapa de decodificación seleccionada. Se sugirió anteriormente que la última puede ser una de varias características de DRC predefinidas que se almacenan en el procesador 12 y que pueden accederse según una entrada de usuario o señal de control de contexto de usuario. LaFigura 4ilustra varios ejemplos de características de DRC de la etapa de decodificación que pueden usarse. Estos incluyen uno para uso nocturno, otro para uso en coche o en vehículos, y otro para un altavoz o transductor 19 que tiene un rango dinámico limitado.
Según otra realización de la invención, una combinación de componentes dela Figura 1y laFigura 3puede producir un sistema para codificar y decodificar una señal de audio. Un número de características del control de rango dinámico del codificador (DRC) se almacenan en la etapa del codificador. Cada uno de estas relaciona los valores de aumento de DRC con los valores de sonoridad a corto plazo, donde cada valor de sonoridad puede referirse a la potencia promedio de una señal de audio durante un intervalo predeterminado,p. ej.,del orden de aproximadamente un marco de audio digital,p. ej.,entre 5 y 100 milisegundos de longitud. Una de las características de DRC del codificador se selecciona y a continuación se usa para producir valores de aumento de la etapa del codificador. Estos se proporcionan después como metadatos asociados con una señal de audio codificada. Varios ejemplos de tal etapa del codificador se proporcionaron anteriormente y se describen en relación con laFigura 1.
La etapa del decodificador tiene un procesador que almacena no solo las características de DRC del codificador, sino también un número de características de DRC del decodificador. Cada uno de los últimos relaciona los valores de aumento de DRC con los valores de sonoridad a corto plazo, que pueden ser similares a los calculados en la etapa del codificador para su uso en determinar los valores de aumento de DRC del codificador. El procesador en la etapa del decodificador es para calcular los valores de aumento de la etapa del decodificador usando los valores de aumento de la etapa del codificador provenientes de la etapa del codificador. En un caso particular, el procesador en la etapa del decodificador usa un índice de una característica de DRC del codificador seleccionada junto con los valores de aumento de etapa del codificador basados en metadatos, para calcular sus valores de aumento de etapa del decodificador. Los ejemplos de esto se proporcionaron anteriormente y se describen en relación con laFigura 3.En última instancia, la etapa del decodificador puede (cuando se usa como parte del procesamiento de reproducción en, por ejemplo, un dispositivo de usuario final) codificar la señal de audio codificada y a continuación aplicar los valores de aumento de etapa del decodificador para lograr un ajuste de rango dinámico deseado (sobre la señal de audio decodificada).
Según aun otra realización de la invención, un método para proporcionar audio codificado y metadatos asociados implica la mezcla de audio de una señal de audio multicanal. Como se ve en laFigura 1,un conjunto de parámetros de sonoridad se calcula mediante un módulo 6 de medición de audio basado en la señal de audio digital multicanal que ha pasado a través de un procesador 20 de mezcla de audio, donde los parámetros describen el perfil de sonoridad de una mezcla de audio de la señal de audio multicanal. Por ejemplo, una señal de audio de seis o siete canales puede procesarse por el procesador 20 de mezcla de audio en una señal de dos canales o estéreo; más generalmente, una mezcla de audio es una conversión de una señal de audio de N canales en uno que tiene M canales, donde N es mayor que M.
La señal de audio multicanal se codifica, y la señal codificada se proporciona junto con los metadatos asociados con la misma, donde los metadatos en este caso incluyen el conjunto calculado de parámetros de sonoridad que describen el perfil de sonoridad de la mezcla de audio. Los metadatos pueden incluir también un diseño del canal base de la señal de audio multicanal. Por ejemplo, el diseño del canal base puede dar detalles de una señal de audio multicanal de sonido envolvente 5.1 al identificar cada uno de los seis canales,p. ej.,centro frontal, frontal derecho, frontal izquierdo, envolvente izquierdo, envolvente derecho, y subwoofer. La señal de audio multicanal codificada y sus metadatos asociados pueden ser recibidos por una etapa de decodificación-ver laFigura 5por ejemplo, que se describe a continuación, en el que la señal de audio codificada se decodifica y se procesa para producir una mezcla de audio, según el conjunto de parámetros de sonoridad y el diseño de canal base incluido en los metadatos. Los metadatos podrían incluir también los aumentos de mezcla de audio que se usaron en la etapa de codificación para calcular la mezcla de audio particular para la que se incluyeron parámetros de sonoridad en los metadatos. Obsérvese que en tal realización, no es necesario realizar ningún ajuste para el rango dinámico por la etapa de decodificación (durante la reproducción a través de un altavoz local). Tal esquema puede implementarse, por ejemplo, adoptando la convención donde si los metadatos recibidos en la etapa de decodificación no contienen valores de aumento de DRC, entonces no se realiza ningún ajuste del DRC sobre la señal decodificada.
LaFigura 5representa otra realización de la invención donde los metadatos asociados con una señal de audio multicanal codificada podrían incluir además valores de aumento de DRC, además de parámetros de sonoridad tales como un pico verdadero y sonoridad de programa con respecto a una mezcla de audio. Esta figura representa una etapa de decodificación de algunas formas similar a laFigura 3en que puede contener un desmultiplexor 13 seguido de un decodificador 13, un procesamiento 16 de audio adicional opcional, y el DAC 18. También en este caso, los metadatos recibidos asociados con la señal de audio de codificación proporcionan valores de aumento de DRC. Estos deben usarse en la etapa de decodificación para realizar ajustes de rango dinámico sobre la señal de audio decodificada, antes de procesar la señal de audio decodificada para producir la mezcla de audio. En otras palabras, una señal codificada de audio multicanal codificada es decodificada por el decodificador 10, y a continuación uno o más de los canales decodificados se ajustan por nuevos valores de aumento de DRC o por valores de aumento de DRC originales (estos últimos se han obtenido del desmultiplexor 13). Esto ocurre antes de que un módulo de mezcla de audio 20 produzca una mezcla de audio particular. El módulo 20 de mezcla de audio puede usar valores de aumento de mezcla de audio que también se extraen de los metadatos (como se sugirió anteriormente). En otra realización, la señal de audio decodificada se ajusta para el rango dinámico usando nuevos valores de aumento que se calculan por el procesador 12 DRC_1 usando, por ejemplo, procedimientos similares a los descritos anteriormente en relación con laFigura 3.Los parámetros locales que pueden afectar los nuevos valores de aumento en el presente documento pueden ser similares e incluyen el ajuste del volumen de usuario y un interruptor de activación/desactivación de la normalización de la sonoridad. Estos parámetros locales pueden regir la selección de una particular de varias características de DRC de etapa de decodificación disponibles, para producir nuevos valores de aumento de DRC.
Como alternativa al enfoque descrito en el párrafo anterior, los valores de aumento de DRC producidos por el procesador 12 de DRC_1 (en la etapa de decodificación) pueden diseñarse para aplicarse corriente abajo del módulo 20 de mezcla de audio. Para ilustrar tal realización, la etapa de decodificación en laFigura 5puede modificarse de modo que la entrada del multiplicador que se muestra en el mismo (cuya otra entrada recibe los valores de aumento de DRC del procesador 12 d Rc _ 1) se colocará corriente abajo del módulo de mezcla de audio 20 (y corriente arriba del DAC 18). El procesador 12 de DRC_1 en este caso puede producir valores de aumento de DRC modificados que se basan en valores de aumento de DRC originales recibidos a través de metadatos (de una etapa de codificación), o puede pasar a través de los valores de aumento de DRC originales, al bloque de ajustador o multiplicador. Una etapa de codificación correspondiente, para producir la forma particular de valores originales de aumento de DRC para este caso, puede ser como se muestra en laFigura 7.
Con referencia a laFigura 7,se muestra un aparato codificador que puede ser similar al de laFigura 1excepto al menos en el siguiente aspecto. En este caso, los aumentos de DRC se calculan (por el procesador 4 del DRC) de modo que pueden aplicarse directamente, en el aparato de decodificador, a una mezcla de audio. A diferencia de laFigura 1,el procesador 4 del DRC de laFigura 7opera también sobre una señal de mezcla de audio, que es producida por un procesador 20 de mezcla de audio que recibe la señal de audio de entrada multicanal original y en respuesta alimenta al normalizador (o multiplicador) cuya otra entrada recibe el valor de aumento de normalización G<ln>. El codificador 2 aún podría procesar la señal de audio de entrada original del mismo modo que en laFigura 1,para generar la señal codificada.
Volviendo a laFigura 5,la etapa de decodificación en el mismo puede recibir su señal de audio codificada y metadatos de una etapa de codificación (no mostrada) en la que se produjo una mezcla de audio particular de una señal de audio multicanal de entrada. Los valores de aumento de DRC actuales se calcularon en la etapa de codificación, usando la señal de audio multicanal de entrada y/o la mezcla de audio particular de la misma, y a continuación se proporcionaron como metadatos junto con la versión codificada de la señal de audio multicanal(p. ej.,ensamblando la señal de audio codificada con los valores de aumento de DRC actuales como metadatos dentro de un único flujo de bits o archivo codificado, usando, por ejemplo, un multiplexor 8 como en laFigura 1). Otros medios para proporcionar la señal de audio codificada junto con un conjunto calculado de parámetros de sonoridad y un diseño de canal base, y opcionalmente los parámetros de DRC actuales (todos los cuales son metadatos asociados con la señal de audio codificada) son posibles. Los ejemplos incluyen un ensamblador o formateador que dispone los valores de aumento de DRC junto con la señal de audio en marcos o paquetes dentro de un único archivo, un multiplexor que produce un flujo de bits que contiene los valores de aumento de DRC que se han multiplexado en el tiempo con marcos de la señal de audio codificada, un compresor que reduce la velocidad de datos de los valores de aumento de DRC integrados con la señal de audio codificada en el mismo archivo o en el mismo flujo de bits, y un procesador de canal de datos auxiliar que dispone los valores de aumento de DRC en un canal de datos auxiliar que está separado de un canal de datos primario (donde este último contiene la señal de audio codificada que se suministra a la etapa de decodificación de laFigura 5).
Obsérvese que, como se sugirió anteriormente, si los metadatos asociados con la señal de audio multicanal codificada no especifican realizar los ajustes de rango dinámico, o simplemente no contienen valores de aumento de DRC o parámetros de DRC (por ejemplo, sin mencionar un índice válido de la característica de DRC), entonces la señal de audio decodificada se procesa para producir la mezcla de audio, pero sin realizar ningún ajuste de rango dinámico sobre la señal de audio decodificada. Esto podría ser como si en laFigura 5,el procesador 12 DRC_1 proporcionara todos sus nuevos valores de aumento para ser 0 dB, lo que significa que no se realizará ningún ajuste en el rango dinámico de la señal de audio decodificada.
En el caso de que el procesador 12 DRC_1 reciba parámetros del DRC como metadatos, el procesador 12 puede producir nuevos valores de aumento según una característica de DRC de etapa de decodificación que puede seleccionarse de los ejemplos representados en laFigura6 (u otras características de DRC adecuadas). LaFigura6 muestra tres características de DRC diferentes donde cada una se asocia con una configuración o nivel de volumen de usuario diferente. Como puede verse, a medida que aumenta el volumen, la cantidad de compresión definida por la característica de DRC aumenta cuando aumenta la sonoridad a corto plazo.
Los ejemplos de códecs que pueden beneficiarse de las técnicas descritas en el presente documento incluyen estándares de MPEG y At s C tales como AAC y AC-3, aunque otros estándares o enfoques que contienen mecanismos para controlar la sonoridad y el rango dinámico de una señal de audio decodificada también pueden beneficiar.
Mediciones de audio ilustrativas que pueden almacenarse como metadatos
El módulo 6 de medición de audio puede ser una rutina de software que va a ser ejecutada por un procesador, o un arreglo del sistema de circuitos lógicos de procesamiento de audio digital cableado, que calcula o proporciona uno o más parámetros de sonoridad para un archivo de audio digital determinado. La rutina puede usarse en un rango de productos de audio tales como reproductores de medios, para la normalización de la sonoridad del contenido de música. Las mediciones de audio calculadas pueden almacenarse como metadatos en un archivo de audio codificado, durante un proceso de codificación de audio digital. Por ejemplo, MPEG actualmente proporciona campos de flujo de bits en los que pueden almacenarse tales metadatos. Los usos actuales de tales campos incluyen el almacenamiento de la sonoridad de referencia, aumentos del control de rango dinámico (DRC) por marco de audio digital, y factores de ponderación de la mezcla de audio. Según una realización de la invención, una nueva “ casilla” se define en la “ extensión de descripción de la muestra” del marco de los sistemas de audio MPEG-4, para almacenar los metadatos (como se describe más adelante).
La sonoridad de programa es una medición de audio que puede ser una estimación de la sonoridad promedio de todo el contenido de un archivo de audio digital. Un ejemplo puede calcularse según ITU-BS.1770-3. La sonoridad de programa puede calcularse en una etapa de codificación, después de haber aplicado la compresión de rango dinámico a una señal de contenido de audio,p. ej.,ver laFigura 1donde la señal de audio no normalizada se ajusta para un rango dinámico antes de ser precondicionada por el filtro 9 y alimentada al módulo 6 de medición de audio (mientras se salta el procesador 20 de mezcla de audio). En otra realización, la sonoridad de programa puede calcularse mediante el módulo 6 de medición de audio en una etapa de codificación, para una mezcla de audio de la señal de contenido de audio, p. ej., ver laFigura 1.
El valor pico verdadero es una medición de audio que puede ser la magnitud de muestra máxima de un flujo de bits de audio proveniente del archivo de audio(p. ej.,a una velocidad sobremuestreada 4x). Un ejemplo puede calcularse según ITU-BS.1770-3.
El rango de sonoridad puede ser una medición de audio que se basa en ITU BS.1770 o según una especificación de la Unión Europea de Radiodifusión (EBU). Mide la distribución estadística de la sonoridad para un tamaño de bloque determinado de audio digital(p. ej.,bloques de 400 ms) y genera la diferencia de un percentil bajo y alto de la distribución de sonoridad para describir el rango dinámico. Otras mediciones de audio que indican el rango de sonoridad son posibles.
Mejoras de metadatos
Una realización de la invención en el presente documento es una nueva “ casilla” en la parte de “ extensión de la descripción de muestra” del marco de MPEG-4 Systems que puede llenarse con metadatos estáticos para cada pista (programa de audio),p. ej.,sonoridad de programa, sonoridad de anclaje, pico verdadero, y rango de sonoridad. El contenido adicional de programa por pista o por audio de la nueva casilla dentro de la Extensión de descripción de muestra MPEG-4 puede incluir: sonoridad máxima momentánea tal como en una ventana de 0,4 segundos, sonoridad máxima a corto plazo tal como sobre una ventana de 0,3 segundos, mapeo de canales que define el diseño de canales para sistemas de reproducción que incluyen canales de altura y otros, mapeo de canales del DRC, índice de características de d Rc , coeficientes de mezcla de audio, sonoridad de programa de mezcla de audio estéreo, sonoridad de anclaje de mezcla de audio estéreo, y pico verdadero de mezcla de audio estéreo. Si bien otros canales de datos auxiliares para pasar los metadatos al procesador de reproducción son posibles como se describió anteriormente, el enfoque particular en el presente documento puede tener las siguientes ventajas; los metadatos estáticos están disponibles sin decodificar el flujo de bits de audio; adición de sonoridad de anclaje (conocido como normalización de diálogo) para soportar la normalización del volumen de contenido de películas/TV; conocer la característica de DRC usada en el codificador puede ayudar a predecir el efecto de los aumentos de DRC; conocer la característica de DRC puede usarse para modificar la característica de DRC en el decodificador; los coeficientes de mezcla de audio pueden definirse de un modo a prueba de futuro que puede soportar formatos de audio multicanal mayores que 5,1; y mejor control sobre la sonoridad de mezcla de audio y recorte.
Uso de metadatos
El uso de la sonoridad de programa o sonoridad de anclaje es adecuado para la normalización de la sonoridad. La sonoridad de anclaje se basa generalmente en segmentos de discurso extraídos y puede aplicarse solo a contenido de películas/programas de TV.
Con respecto al control de rango dinámico (DRC), pueden estar disponibles varios valores de metadatos que describen aspectos del rango dinámico del contenido de audio grabado (ver la tabla a continuación). El tamaño del rango dinámico puede ser útil para ajustar el DRC durante la reproducción,p, ej.,el DRC es menos agresivo si el rango dinámico es pequeño o el DRC puede incluso desactivarse. Además, puede establecerse un rango dinámico objetivo dependiendo de la entrada de usuario, la configuración de volumen y el rango dinámico de DAC y el rango dinámico del altavoz, y seleccionar una característica de DRC de modo que el rango se reduzca al objetivo. Esto también puede tener en cuenta una limitación de rango dinámico razonable para espacios más pequeños (entornos de escucha). Los valores de sonoridad pico verdadero y máximo pueden ser útiles para estimar el margen, por ejemplo, cuando la normalización de sonoridad da como resultado un aumento positivo [dB] o cuando se necesita espacio libre para evitar el recorte de la mezcla de audio. La característica de DRC puede ajustarse para acercarse a un objetivo de espacio libre.
Metadatos ilustrativos que describen aspectos del rango dinámico
Un procesador DRC se usa en la etapa del codificador para generar valores de aumento usando una seleccionada de las características de DRC predefinidas. El índice de la característica de DRC seleccionada puede transmitirse en la nueva casilla de MPEG-4. Los valores de aumento (por marco) pueden transmitirse en campos existentes (durante la compresión ligera y/o pesada).
Como se ve por ejemplo en laFigura 1,el aumento de normalización de la sonoridad de programa G<ln>se aplica en la entrada al procesador 4 del DRC para asegurar una alineación de nivel apropiada con respecto a la característica de DRC seleccionada. El aumento de normalización puede calcularse basándose en el valor de la sonoridad de programa L<pl>que es producido por el módulo 6 de medición de audio, y el valor de sonoridad objetivo de DRC LC<tl>[dB] como G<ln>= Lc<tl>- L<pl>[dB] con, como ejemplo, L<ctl>= -31 dB.
Según una realización de la invención, los valores de aumento de DRC extraídos se cambian en la etapa de decodificación, para lograr en efecto un DRC personalizado que puede adaptarse a diversas condiciones, por ejemplo cambiando a una característica de DRC diferente (de la que se usó en la etapa de codificación). El procesamiento en la reproducción ahora tiene conocimiento de qué característica de DRC se aplicó en la etapa de codificación, en virtud de poder entender el significado del índice extraído. Las condiciones locales que pueden justificar tales cambios incluyen: modo nocturno; medio ambiente ruidoso(p. ej.,ruido dentro de un coche en movimiento); limitaciones del sistema de reproducción(p. ej.,un altavoz interno de un ordenador portátil, una tableta o un teléfono inteligente en oposición a un altavoz externo o auriculares); preferencia del usuario; y rango dinámico del contenido. Ver laFigura 4por ejemplo, características de DRC útiles en tales situaciones.
En una realización, las características de DRC disponibles deben basarse en niveles de entrada/salida de estado estacionario del compresor, para una entrada sinusoidal a 1 kHz. Esto mantiene la compatibilidad con compresores que usan estimación de la sonoridad ponderada k. Se supone en el presente documento que la característica de DRC se aplica a la señal de audio normalizada de sonoridad. Esto es importante para tener la banda muerta del DRC en el nivel correcto (si corresponde) y produce resultados más consistentes para contenido con diversos niveles de sonoridad, especialmente si tal contenido se reproduce con la normalización de sonoridad activada.
Mezcla de audio
La mezcla de audio se refiere a la manipulación del audio donde se mezclan un número de canales de audio distintos para producir un menor número de canales. La mezcla de audio puede controlarse aquí por la instalación de producción de programas de audio si es necesario. Por ejemplo, algún contenido puede requerir más atenuación de los canales circundantes antes de la mezcla de audio, para mantener inteligibilidad.
Actualmente DVB y MPEG requieren el uso del DRC cuando se genera una mezcla de audio, si se establece DRC_presentation_mode. Esto puede dar como resultado una pérdida de rango dinámico en la mezcla de audio. En contraste, para mantener el rango dinámico cuando sea apropiado, una realización de la invención en el presente documento es un esquema adaptativo donde la compresión del DRC solo se requiere para la mezcla de audio durante el alto volumen de reproducción como se muestra en laFigura 5.La aplicación del DRC se adapta después para reducir solo el nivel de los segmentos más ruidosos (ver, por ejemplo laFigura 6).Además, el valor pico verdadero de la mezcla de audio estéreo, que puede haberse calculado en la etapa de codificación mediante el módulo 6 de medición de audio, ver laFigura 1,y que se proporcionó como metadatos, ahora puede extraerse en la etapa de decodificación y usarse para estimar cuánta compresión de DRC se necesita aplicar a la señal decodificada antes de la mezcla de audio. Tenga en cuenta que aunque laFigura 5muestra una realización donde los valores de aumento de DRC del procesador 12 se aplican a la señal decodificada antes de transferir la señal decodificada al procesador 20 de mezcla de audio, una alternativa aquí es aplicar los valores de aumento de DRC después de la mezcla de audio, p. ej., directamente a la salida del procesador de mezcla de audio 20.
Si se usa una mezcla de audio y la compresión de DRC es independientemente activa, la característica de DRC puede modificarse si es necesario de modo que se logra suficiente espacio libre para la mezcla de audio. Esta solución proporciona más flexibilidad. Además, la mezcla de audio estéreo puede normalizarse para la sonoridad en la etapa de decodificación, usando por ejemplo la sonoridad K ponderada en relación con los valores de escala completa (LKFS) (que se recibieron como metadatos). Estos valores LKFS son parámetros de sonoridad que se calcularon en la etapa de codificación por el módulo 6 de medición de audio basado en una versión de audio de la señal de audio digital multicanal original (ver laFigura 1). Esto asegura que el contenido multicanal y el contenido estéreo se reproduzcan en el mismo nivel, a través de un sistema estéreo.
Claims (15)
- REIVINDICACIONESi. Un método para procesar la reproducción de audio, que comprende:recibir un archivo de audio codificado y metadatos asociados con el mismo, en donde los metadatos incluyen i) un conjunto de parámetros de sonoridad que incluyen sonoridad de programa de una versión mezclada de audio del archivo de audio codificado y ii) parámetros de DRC, en donde la sonoridad de programa es una medición de audio de una estimación de sonoridad promedio de todo el contenido de la versión mezclada de audio del archivo de audio codificado;decodificar el archivo de audio codificado para producir una señal de audio decodificada;procesar la señal de audio decodificada para producir una mezcla de audio estéreo;realizar ajustes del rango dinámico sobre la señal de audio decodificada antes de la mezcla de audio, según los parámetros de DRC en los metadatos; ynormalizar la mezcla de audio estéreo para sonoridad basado en el conjunto de parámetros de sonoridad en los metadatos.
- 2. El método de la reivindicación 1, en donde el conjunto de parámetros de sonoridad incluye pico verdadero, y el método comprende además estimar cuánta compresión de DRC es necesaria para aplicar a la señal de audio decodificada antes de la mezcla de audio
- 3. El método de la reivindicación 1 en donde el conjunto de parámetros de sonoridad también incluye valores de rango de sonoridad, sonoridad momentánea máxima, y sonoridad a corto plazo.
- 4. El método de la reivindicación 1 en donde el conjunto de parámetros de sonoridad incluye normalización de diálogo de la mezcla de audio estéreo y pico verdadero de la mezcla de audio estéreo.
- 5. El método de la reivindicación 1 en donde los metadatos contienen un índice de una característica de DRC previamente seleccionada según la cual se calcularon los parámetros de DRC, el método comprende además:seleccionar una característica de DRC actual de entre una pluralidad de características de DRC disponibles, en donde la característica de DRC actual seleccionada se asocia con el índice; yproducir valores de aumento de DRC modificados basado en la característica de DRCactuali) aplicando la pluralidad de parámetros de DRC desde los metadatos hasta la característica de DRC actual para obtener una pluralidad de niveles de entrada, ii) seleccionando una característica de DRC objetivo de entre la pluralidad de características de DRC disponibles, y iii) aplicando la pluralidad de niveles de entrada obtenidos en i) a la característica de DRC objetivo,en donde realizar ajustes de rango dinámico en la mezcla de audio comprendeaplicar los valores de aumento de DRC modificados a la mezcla de audio.
- 6. El método de la reivindicación 5 en donde seleccionar la característica de DRC objetivo de entre la pluralidad de características de DRC disponibles se basa además en uno o más de a) un contexto de usuario o b) un rango dinámico de trayecto de señal de altavoz, en donde el contexto de usuario esuno de noche, caminar, correr, o el coche.
- 7. El método de la reivindicación 1 en donde los metadatos contienen i) aumentos de mezcla de audio que se usaron para producir la versión mezclada de audio del archivo de audio codificado, y ii) normalización de diálogo de la versión mezclada de audio del archivo de audio codificado.
- 8. El método de la reivindicación 1 en donde los metadatos contienen i) aumentos de mezcla de audio que se usaron para producir la versión mezclada de audio del archivo de audio codificado, y ii) pico verdadero de la versión mezclada de audio del archivo de audio codificado.
- 9. Un aparato decodificador de audio digital, que comprende:un decodificador (10) para recibir un archivo de audio codificado y producir una señal de audio decodificada; yun procesador (20) de mezcla de audio para recibir la señal de audio decodificada yun conjunto de parámetros de sonoridad extraídos de metadatos que se asocian con el archivo de audio codificado en donde el conjunto de parámetros de sonoridad incluye sonoridad de programa de una versión mezclada de audio de la señal de audio codificada, en donde el procesador de mezcla de audio es para producir una mezcla de audio estéreo;un procesador (12) de DRC para producir valores de ganancia de DRC según los parámetros DRC que se extraen de los metadatos que están asociados con el archivo de audio codificado;un multiplicador para ajustar la señal de audio decodificada antes de la mezcla de audio, según los valores de aumento de DRC producidos por el procesador de DRC;un procesador (16) para normalizar la mezcla de audio estéreo basado en el conjunto de parámetros de sonoridad en los metadatos; yun convertidor digital a análogo, DAC (18), para convertir la mezcla de audio estéreo normalizada en una forma análoga durante la reproducción de la señal de audio codificada.
- 10. El aparato decodificador de audio digital de la reivindicación 9 en donde el conjunto de parámetros de sonoridad incluye un pico verdadero, el método comprende ademásestimar cuánta compresión de DRC es necesaria para aplicar a la señal de audio decodificada antes de la mezcla de audio.
- 11. El aparato decodificador de audio digital de la reivindicación 9 en donde el conjunto de parámetros de sonoridad incluye normalización de diálogo de la mezcla de audio estéreo y pico verdadero de la mezcla de audio estéreo.
- 12. El aparato decodificador de audio digital según la reivindicación 9 en donde los metadatos contienen un índice de una característica de DRC previamente seleccionada según la cual se calculan los parámetros de DRC, en donde el procesador DRC es para seleccionar una característica de DRC actual, de entre una pluralidad de características de DRC almacenadas, que se asocia con el índice, y producir valores de aumento de DRC modificados basados en i) aplicar los parámetros de DRC desde los metadatos hasta la característica de DRC actual para obtener una pluralidad de niveles de entrada, ii) seleccionar una característica de DRC objetivo de entre la pluralidad de características de DRC almacenadas, y iii) aplicar la pluralidad de niveles de entrada obtenidos en i) a la característica de DRC objetivo, yen donde el multiplicador es para ajustar la señal de audio de la mezcla de audio según los valores de ganancia de DRC modificados producidos por el procesador de DRC.
- 13. El aparato decodificador de audio digital de la reivindicación 12 en donde el procesador de DRC es para seleccionar la característica de DRC objetivo de entre la pluralidad de características de DRC almacenadas basado en uno o más de los siguientes: configuración del volumen de reproducción; contexto del usuario que incluye la noche, caminar, correr, o el coche; rango dinámico del DAC; y un rango dinámico del altavoz.
- 14. El decodificador de audio digital de la reivindicación 12 en donde los metadatos contienen i) aumentos de mezcla de audio que se usaron para producir la versión mezclada de audio del archivo de audio codificado, y ii) normalización de diálogo de la versión mezclada de audio del archivo de audio codificado.
- 15. El decodificador de audio digital de la reivindicación 12 en donde los metadatos contienen i) aumentos de mezcla de audio que se usaron para producir la versión mezclada de audio del archivo de audio codificado, y ii) pico verdadero de la versión mezclada de audio del archivo de audio codificado.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361806570P | 2013-03-29 | 2013-03-29 | |
| US14/225,950 US9559651B2 (en) | 2013-03-29 | 2014-03-26 | Metadata for loudness and dynamic range control |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2994484T3 true ES2994484T3 (en) | 2025-01-24 |
Family
ID=51620877
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES14724887T Active ES2738494T3 (es) | 2013-03-29 | 2014-03-27 | Metadatos para control de sonoridad y rango dinámico |
| ES19170552T Active ES2994484T3 (en) | 2013-03-29 | 2014-03-27 | Metadata for loudness and dynamic range control |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES14724887T Active ES2738494T3 (es) | 2013-03-29 | 2014-03-27 | Metadatos para control de sonoridad y rango dinámico |
Country Status (8)
| Country | Link |
|---|---|
| US (4) | US9559651B2 (es) |
| EP (2) | EP2956936B1 (es) |
| KR (1) | KR101761041B1 (es) |
| CN (3) | CN105103222B (es) |
| AU (1) | AU2014241222B2 (es) |
| ES (2) | ES2738494T3 (es) |
| TW (1) | TWI562138B (es) |
| WO (1) | WO2014160849A2 (es) |
Families Citing this family (146)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0518278B1 (pt) | 2004-10-26 | 2018-04-24 | Dolby Laboratories Licensing Corporation | Método e aparelho para controlar uma característica de sonoridade particular de um sinal de áudio |
| US8788080B1 (en) | 2006-09-12 | 2014-07-22 | Sonos, Inc. | Multi-channel pairing in a media system |
| US9202509B2 (en) | 2006-09-12 | 2015-12-01 | Sonos, Inc. | Controlling and grouping in a multi-zone media system |
| US8483853B1 (en) | 2006-09-12 | 2013-07-09 | Sonos, Inc. | Controlling and manipulating groupings in a multi-zone media system |
| US12167216B2 (en) | 2006-09-12 | 2024-12-10 | Sonos, Inc. | Playback device pairing |
| TWI447709B (zh) | 2010-02-11 | 2014-08-01 | 杜比實驗室特許公司 | 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法 |
| US8923997B2 (en) | 2010-10-13 | 2014-12-30 | Sonos, Inc | Method and apparatus for adjusting a speaker system |
| TWI581250B (zh) | 2010-12-03 | 2017-05-01 | 杜比實驗室特許公司 | 利用多媒體處理節點之適應性處理技術 |
| US11265652B2 (en) | 2011-01-25 | 2022-03-01 | Sonos, Inc. | Playback device pairing |
| US11429343B2 (en) | 2011-01-25 | 2022-08-30 | Sonos, Inc. | Stereo playback configuration and control |
| WO2012138594A1 (en) * | 2011-04-08 | 2012-10-11 | Dolby Laboratories Licensing Corporation | Automatic configuration of metadata for use in mixing audio programs from two encoded bitstreams |
| US8938312B2 (en) | 2011-04-18 | 2015-01-20 | Sonos, Inc. | Smart line-in processing |
| US9042556B2 (en) | 2011-07-19 | 2015-05-26 | Sonos, Inc | Shaping sound responsive to speaker orientation |
| US9373334B2 (en) * | 2011-11-22 | 2016-06-21 | Dolby Laboratories Licensing Corporation | Method and system for generating an audio metadata quality score |
| US8811630B2 (en) | 2011-12-21 | 2014-08-19 | Sonos, Inc. | Systems, methods, and apparatus to filter audio |
| US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
| CN103325380B (zh) | 2012-03-23 | 2017-09-12 | 杜比实验室特许公司 | 用于信号增强的增益后处理 |
| US9729115B2 (en) | 2012-04-27 | 2017-08-08 | Sonos, Inc. | Intelligently increasing the sound level of player |
| US9524098B2 (en) | 2012-05-08 | 2016-12-20 | Sonos, Inc. | Methods and systems for subwoofer calibration |
| ES3064789T3 (en) | 2012-05-18 | 2026-04-29 | Dolby Laboratories Licensing Corp | System and method for dynamic range control of an audio signal |
| US10844689B1 (en) | 2019-12-19 | 2020-11-24 | Saudi Arabian Oil Company | Downhole ultrasonic actuator system for mitigating lost circulation |
| USD721352S1 (en) | 2012-06-19 | 2015-01-20 | Sonos, Inc. | Playback device |
| US9690271B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration |
| US9668049B2 (en) | 2012-06-28 | 2017-05-30 | Sonos, Inc. | Playback device calibration user interfaces |
| US9690539B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration user interface |
| US9706323B2 (en) | 2014-09-09 | 2017-07-11 | Sonos, Inc. | Playback device calibration |
| US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
| US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
| EP2873073A1 (en) * | 2012-07-12 | 2015-05-20 | Dolby Laboratories Licensing Corporation | Embedding data in stereo audio using saturation parameter modulation |
| US8930005B2 (en) | 2012-08-07 | 2015-01-06 | Sonos, Inc. | Acoustic signatures in a playback system |
| US8965033B2 (en) | 2012-08-31 | 2015-02-24 | Sonos, Inc. | Acoustic optimization |
| US9008330B2 (en) | 2012-09-28 | 2015-04-14 | Sonos, Inc. | Crossover frequency adjustments for audio speakers |
| US9916838B2 (en) | 2013-01-21 | 2018-03-13 | Dolby Laboratories Licensing Corporation | Audio encoder and decoder with program loudness and boundary metadata |
| BR122020007932B1 (pt) | 2013-01-21 | 2022-09-27 | Dolby International Ab | Dispositivo de processamento de áudio e método para decodificar um ou mais quadros de um fluxo de bits de áudio codificado |
| CN122531400A (zh) | 2013-02-21 | 2026-08-07 | 杜比国际公司 | 用于参数化多声道编码的方法 |
| USD721061S1 (en) | 2013-02-25 | 2015-01-13 | Sonos, Inc. | Playback device |
| CN107093991B (zh) | 2013-03-26 | 2020-10-09 | 杜比实验室特许公司 | 基于目标响度的响度归一化方法和设备 |
| US9559651B2 (en) | 2013-03-29 | 2017-01-31 | Apple Inc. | Metadata for loudness and dynamic range control |
| WO2014165304A1 (en) | 2013-04-05 | 2014-10-09 | Dolby Laboratories Licensing Corporation | Acquisition, recovery, and matching of unique information from file-based media for automated file detection |
| TWM487509U (zh) | 2013-06-19 | 2014-10-01 | 杜比實驗室特許公司 | 音訊處理設備及電子裝置 |
| US9521501B2 (en) | 2013-09-12 | 2016-12-13 | Dolby Laboratories Licensing Corporation | Loudness adjustment for downmixed audio content |
| CN109979472B (zh) | 2013-09-12 | 2023-12-15 | 杜比实验室特许公司 | 用于各种回放环境的动态范围控制 |
| MX358483B (es) * | 2013-10-22 | 2018-08-22 | Fraunhofer Ges Forschung | Concepto para la comprensión combinada del rango dinámico y prevención guiada de recortes para dispositivos de audio. |
| EP2879131A1 (en) * | 2013-11-27 | 2015-06-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder, encoder and method for informed loudness estimation in object-based audio coding systems |
| US9226087B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
| US9226073B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
| US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
| CN105142067B (zh) | 2014-05-26 | 2020-01-07 | 杜比实验室特许公司 | 音频信号响度控制 |
| US9367283B2 (en) | 2014-07-22 | 2016-06-14 | Sonos, Inc. | Audio settings |
| CA2988540A1 (en) * | 2014-08-01 | 2016-02-04 | Steven Jay Borne | Audio device |
| USD883956S1 (en) | 2014-08-13 | 2020-05-12 | Sonos, Inc. | Playback device |
| USD789991S1 (en) | 2014-08-13 | 2017-06-20 | Sonos, Inc. | Playback device |
| WO2016038876A1 (ja) * | 2014-09-08 | 2016-03-17 | 日本放送協会 | 符号化装置、復号化装置及び音声信号処理装置 |
| US9891881B2 (en) | 2014-09-09 | 2018-02-13 | Sonos, Inc. | Audio processing algorithm database |
| US10127006B2 (en) | 2014-09-09 | 2018-11-13 | Sonos, Inc. | Facilitating calibration of an audio playback device |
| US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
| US9910634B2 (en) | 2014-09-09 | 2018-03-06 | Sonos, Inc. | Microphone calibration |
| ES3034665T3 (en) * | 2014-10-01 | 2025-08-21 | Dolby Int Ab | Decoding an encoded audio signal using drc profiles |
| EP3201916B1 (en) * | 2014-10-01 | 2018-12-05 | Dolby International AB | Audio encoder and decoder |
| ES2916254T3 (es) | 2014-10-10 | 2022-06-29 | Dolby Laboratories Licensing Corp | Sonoridad de programa basada en la presentación, independiente de la transmisión |
| KR101701396B1 (ko) * | 2014-10-28 | 2017-02-01 | 주식회사 엑티저 | 오디오 신호 처리 장치 및 방법 |
| US9973851B2 (en) | 2014-12-01 | 2018-05-15 | Sonos, Inc. | Multi-channel playback of audio content |
| US9584911B2 (en) * | 2015-03-27 | 2017-02-28 | Cirrus Logic, Inc. | Multichip dynamic range enhancement (DRE) audio processing methods and apparatuses |
| US10664224B2 (en) | 2015-04-24 | 2020-05-26 | Sonos, Inc. | Speaker calibration user interface |
| WO2016172593A1 (en) | 2015-04-24 | 2016-10-27 | Sonos, Inc. | Playback device calibration user interfaces |
| USD886765S1 (en) | 2017-03-13 | 2020-06-09 | Sonos, Inc. | Media playback device |
| USD906278S1 (en) | 2015-04-25 | 2020-12-29 | Sonos, Inc. | Media player device |
| USD768602S1 (en) | 2015-04-25 | 2016-10-11 | Sonos, Inc. | Playback device |
| USD920278S1 (en) | 2017-03-13 | 2021-05-25 | Sonos, Inc. | Media playback device with lights |
| US20170085972A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Media Player and Media Player Design |
| US10248376B2 (en) | 2015-06-11 | 2019-04-02 | Sonos, Inc. | Multiple groupings in a playback system |
| MY181475A (en) | 2015-06-17 | 2020-12-23 | Fraunhofer Ges Forschung | Loudness control for user interactivity in audio coding systems |
| US9729118B2 (en) | 2015-07-24 | 2017-08-08 | Sonos, Inc. | Loudness matching |
| US9877134B2 (en) * | 2015-07-28 | 2018-01-23 | Harman International Industries, Incorporated | Techniques for optimizing the fidelity of a remote recording |
| US9538305B2 (en) | 2015-07-28 | 2017-01-03 | Sonos, Inc. | Calibration error conditions |
| US9837086B2 (en) * | 2015-07-31 | 2017-12-05 | Apple Inc. | Encoded audio extended metadata-based dynamic range control |
| US9736610B2 (en) | 2015-08-21 | 2017-08-15 | Sonos, Inc. | Manipulation of playback device response using signal processing |
| US9712912B2 (en) | 2015-08-21 | 2017-07-18 | Sonos, Inc. | Manipulation of playback device response using an acoustic filter |
| US9800905B2 (en) * | 2015-09-14 | 2017-10-24 | Comcast Cable Communications, Llc | Device based audio-format selection |
| WO2017049169A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Facilitating calibration of an audio playback device |
| USD1043613S1 (en) | 2015-09-17 | 2024-09-24 | Sonos, Inc. | Media player |
| US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
| US10341770B2 (en) | 2015-09-30 | 2019-07-02 | Apple Inc. | Encoded audio metadata-based loudness equalization and dynamic equalization during DRC |
| US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
| US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
| US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
| US9886234B2 (en) | 2016-01-28 | 2018-02-06 | Sonos, Inc. | Systems and methods of distributing audio to one or more playback devices |
| TWI720153B (zh) | 2016-03-29 | 2021-03-01 | 日商新力股份有限公司 | 送訊裝置、送訊方法、收訊裝置、收訊方法及收送訊系統 |
| US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
| US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
| US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
| CN105845151B (zh) * | 2016-05-30 | 2019-05-31 | 百度在线网络技术(北京)有限公司 | 应用于语音识别前端的音频增益调整方法和装置 |
| US9860670B1 (en) | 2016-07-15 | 2018-01-02 | Sonos, Inc. | Spectral correction using spatial calibration |
| US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
| US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
| US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
| US10412473B2 (en) | 2016-09-30 | 2019-09-10 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
| USD827671S1 (en) | 2016-09-30 | 2018-09-04 | Sonos, Inc. | Media playback device |
| USD851057S1 (en) | 2016-09-30 | 2019-06-11 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
| US10712997B2 (en) | 2016-10-17 | 2020-07-14 | Sonos, Inc. | Room association based on name |
| US11030515B2 (en) * | 2016-12-30 | 2021-06-08 | Google Llc | Determining semantically diverse responses for providing as suggestions for inclusion in electronic communications |
| CN110679083B (zh) | 2017-03-31 | 2023-11-17 | 杜比国际公司 | 动态范围控制反演 |
| KR102441950B1 (ko) | 2017-08-11 | 2022-09-08 | 삼성전자 주식회사 | 오디오 신호의 크기에 기반하여 오디오 신호를 증폭하는 방법 및 이를 구현한 전자 장치 |
| US10171054B1 (en) * | 2017-08-24 | 2019-01-01 | International Business Machines Corporation | Audio adjustment based on dynamic and static rules |
| TWI651718B (zh) * | 2017-09-12 | 2019-02-21 | 華碩電腦股份有限公司 | 音訊處理方法及音訊處理裝置 |
| CN111108760B (zh) * | 2017-09-29 | 2021-11-26 | 苹果公司 | 用于空间音频的文件格式 |
| KR102491646B1 (ko) * | 2017-11-30 | 2023-01-26 | 삼성전자주식회사 | 오디오 신호의 음량에 따라 설정된 해상도에 기반하여, 오디오 신호를 처리하는 방법 및 그 전자 장치 |
| CN109979475A (zh) * | 2017-12-26 | 2019-07-05 | 深圳Tcl新技术有限公司 | 解决回声消除失效的方法、系统及存储介质 |
| KR102663452B1 (ko) * | 2018-01-07 | 2024-05-08 | 그레이스노트, 인코포레이티드 | 볼륨 조절을 위한 방법 및 장치 |
| JP7309734B2 (ja) | 2018-02-15 | 2023-07-18 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 音量制御方法および装置 |
| US11011180B2 (en) * | 2018-06-29 | 2021-05-18 | Guoguang Electric Company Limited | Audio signal dynamic range compression |
| US10911013B2 (en) | 2018-07-05 | 2021-02-02 | Comcast Cable Communications, Llc | Dynamic audio normalization process |
| US11430463B2 (en) * | 2018-07-12 | 2022-08-30 | Dolby Laboratories Licensing Corporation | Dynamic EQ |
| US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
| US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
| CN109286922B (zh) * | 2018-09-27 | 2021-09-17 | 珠海市杰理科技股份有限公司 | 蓝牙提示音处理方法、系统、可读存储介质和蓝牙设备 |
| EP3895164B1 (en) * | 2018-12-13 | 2022-09-07 | Dolby Laboratories Licensing Corporation | Method of decoding audio content, decoder for decoding audio content, and corresponding computer program |
| CN113647120B (zh) | 2019-03-14 | 2023-08-08 | 高迪奥实验室公司 | 用于控制响度级的音频信号处理装置 |
| CN114175685B (zh) * | 2019-07-09 | 2023-12-12 | 杜比实验室特许公司 | 音频内容的与呈现独立的母带处理 |
| US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
| JP7434792B2 (ja) * | 2019-10-01 | 2024-02-21 | ソニーグループ株式会社 | 送信装置及び受信装置、並びに音響システム |
| EP3809709A1 (en) * | 2019-10-14 | 2021-04-21 | Koninklijke Philips N.V. | Apparatus and method for audio encoding |
| KR102295287B1 (ko) * | 2019-12-26 | 2021-08-30 | 네이버 주식회사 | 오디오 신호 처리 방법 및 시스템 |
| US11361749B2 (en) | 2020-03-11 | 2022-06-14 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
| US11381209B2 (en) * | 2020-03-12 | 2022-07-05 | Gaudio Lab, Inc. | Audio signal processing method and apparatus for controlling loudness level and dynamic range |
| EP4128226B1 (en) | 2020-03-27 | 2024-08-28 | Dolby Laboratories Licensing Corporation | Automatic leveling of speech content |
| CN113470692B (zh) * | 2020-03-31 | 2024-02-02 | 抖音视界有限公司 | 音频处理方法、装置、可读介质及电子设备 |
| CN115668368B (zh) * | 2020-05-20 | 2026-02-03 | 杜比国际公司 | 执行动态范围控制的方法和单元 |
| US11907611B2 (en) * | 2020-11-10 | 2024-02-20 | Apple Inc. | Deferred loudness adjustment for dynamic range control |
| WO2022114787A1 (ko) * | 2020-11-24 | 2022-06-02 | 가우디오랩 주식회사 | 오디오 신호의 정규화를 수행하는 방법 및 이를 위한 장치 |
| CN112700784B (zh) * | 2020-12-24 | 2023-12-15 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于itu-r bs.1770的响度校准方法及存储介质 |
| CN112951266B (zh) * | 2021-02-05 | 2024-02-06 | 杭州网易云音乐科技有限公司 | 齿音调整方法、装置、电子设备及计算机可读存储介质 |
| BR112023021544A2 (pt) | 2021-05-28 | 2023-12-19 | Dolby Laboratories Licensing Corp | Ajuste de alcance dinâmico de objetos de áudio espacial |
| JP2024531963A (ja) | 2021-08-26 | 2024-09-03 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオデータのメタデータベースダイナミック処理の方法及び装置 |
| CN113687811B (zh) * | 2021-09-07 | 2025-07-01 | Vidaa(荷兰)国际控股有限公司 | 一种音频信号输出控制方法及显示设备 |
| WO2023056258A1 (en) | 2021-09-30 | 2023-04-06 | Sonos, Inc. | Conflict management for wake-word detection processes |
| US12346632B2 (en) * | 2021-12-02 | 2025-07-01 | Apple Inc. | Calibration gain for real world sounds |
| USD1101721S1 (en) | 2022-02-25 | 2025-11-11 | Sonos, Inc. | Media player device |
| USD1099081S1 (en) | 2022-02-25 | 2025-10-21 | Sonos, Inc. | Media player device |
| EP4505450A1 (en) * | 2022-04-06 | 2025-02-12 | Dolby Laboratories Licensing Corporation | Method and apparatus for processing of audio data |
| DE102023209048A1 (de) * | 2022-09-22 | 2024-03-28 | Apple Inc. | Verfahren und system zum verlagern von lautstärkeanpassungen von audiokomponenten |
| WO2024081785A1 (en) * | 2022-10-12 | 2024-04-18 | Sameer Kumar | Digital audio measurement systems and method |
| US12563339B2 (en) | 2023-02-09 | 2026-02-24 | Samsung Electronics Co., Ltd. | Signal normalization using loudness metadata for audio processing |
| CN116723438B (zh) * | 2023-05-26 | 2026-08-07 | 三星电子(中国)研发中心 | 修正参数生成方法和装置 |
| CN119520848A (zh) * | 2023-08-23 | 2025-02-25 | 北京字跳网络技术有限公司 | 媒体数据的播放响度处理方法、装置、设备及存储介质 |
| US20250364963A1 (en) * | 2024-05-24 | 2025-11-27 | Bose Corporation | Automatic volume leveling |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4295428B2 (ja) | 2000-12-06 | 2009-07-15 | 富士通マイクロエレクトロニクス株式会社 | Firフィルタ、firフィルタの制御方法、およびfirフィルタを有する半導体集積回路、firフィルタでフィルタリングされたデータを送信する通信システム |
| KR20030004978A (ko) * | 2001-07-07 | 2003-01-15 | 삼성전자 주식회사 | 이동 통신시스템에서 초기전송 및 재전송 방법 |
| US20050228665A1 (en) * | 2002-06-24 | 2005-10-13 | Matsushita Electric Indusrial Co, Ltd. | Metadata preparing device, preparing method therefor and retrieving device |
| CN100533990C (zh) * | 2002-08-21 | 2009-08-26 | 广州广晟数码技术有限公司 | 用于对多声道数字音频信号进行压缩编码的编码器 |
| US20040228455A1 (en) * | 2003-05-13 | 2004-11-18 | Texley Eric M. | Dynamic range compression modification of a digital telephone switch for individual hearing characteristics |
| ATE371246T1 (de) | 2003-05-28 | 2007-09-15 | Dolby Lab Licensing Corp | Verfahren, vorrichtung und computerprogramm zur berechung und einstellung der wahrgenommenen lautstärke eines audiosignals |
| US7398207B2 (en) | 2003-08-25 | 2008-07-08 | Time Warner Interactive Video Group, Inc. | Methods and systems for determining audio loudness levels in programming |
| TWI233091B (en) * | 2003-11-18 | 2005-05-21 | Ali Corp | Audio mixing output device and method for dynamic range control |
| KR100571824B1 (ko) * | 2003-11-26 | 2006-04-17 | 삼성전자주식회사 | 부가정보 삽입된 mpeg-4 오디오 bsac부호화/복호화 방법 및 장치 |
| EP1766978A4 (en) | 2004-06-24 | 2011-05-18 | Korea Electronics Telecomm | ADVANCED DESCRIPTION SUPPORTING A DRAWING SCHEME AND TV ANYTIME SERVICE AND SYSTEM THEREWITH |
| US7617109B2 (en) * | 2004-07-01 | 2009-11-10 | Dolby Laboratories Licensing Corporation | Method for correcting metadata affecting the playback loudness and dynamic range of audio information |
| US7456093B2 (en) | 2004-07-03 | 2008-11-25 | Taiwan Semiconductor Manufacturing Co., Ltd. | Method for improving a semiconductor device delamination resistance |
| KR100561440B1 (ko) * | 2004-07-24 | 2006-03-17 | 삼성전자주식회사 | 채널 변경에 따른 음량 자동 보정 장치 및 그 방법 |
| BRPI0518278B1 (pt) | 2004-10-26 | 2018-04-24 | Dolby Laboratories Licensing Corporation | Método e aparelho para controlar uma característica de sonoridade particular de um sinal de áudio |
| TW200638335A (en) * | 2005-04-13 | 2006-11-01 | Dolby Lab Licensing Corp | Audio metadata verification |
| RU2460155C2 (ru) * | 2006-09-18 | 2012-08-27 | Конинклейке Филипс Электроникс Н.В. | Кодирование и декодирование звуковых объектов |
| US9053753B2 (en) * | 2006-11-09 | 2015-06-09 | Broadcom Corporation | Method and system for a flexible multiplexer and mixer |
| KR20080082924A (ko) * | 2007-03-09 | 2008-09-12 | 엘지전자 주식회사 | 오디오 신호의 처리 방법 및 장치 |
| EP2146522A1 (en) | 2008-07-17 | 2010-01-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating audio output signals using object based metadata |
| KR101599535B1 (ko) | 2008-07-29 | 2016-03-03 | 엘지전자 주식회사 | 오디오 신호의 처리 방법 및 장치 |
| US8798776B2 (en) * | 2008-09-30 | 2014-08-05 | Dolby International Ab | Transcoding of audio metadata |
| EP4528726B1 (en) * | 2008-10-29 | 2026-03-18 | Dolby International AB | Signal clipping protection using pre-existing audio gain metadata |
| US20100263002A1 (en) | 2009-04-09 | 2010-10-14 | At&T Intellectual Property I, L.P. | Distribution of modified or selectively chosen media on a procured channel |
| US8538042B2 (en) | 2009-08-11 | 2013-09-17 | Dts Llc | System for increasing perceived loudness of speakers |
| TWI447709B (zh) * | 2010-02-11 | 2014-08-01 | 杜比實驗室特許公司 | 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法 |
| TWI525987B (zh) * | 2010-03-10 | 2016-03-11 | 杜比實驗室特許公司 | 在單一播放模式中組合響度量測的系統 |
| US8736700B2 (en) * | 2010-09-30 | 2014-05-27 | Apple Inc. | Techniques for synchronizing audio and video data in an image signal processing system |
| CN104025192B (zh) | 2012-01-06 | 2018-12-18 | 索尼移动通信株式会社 | 智能自动音频录制调平器 |
| CN103325380B (zh) * | 2012-03-23 | 2017-09-12 | 杜比实验室特许公司 | 用于信号增强的增益后处理 |
| US9991861B2 (en) * | 2012-08-10 | 2018-06-05 | Bellevue Investments Gmbh & Co. Kgaa | System and method for controlled dynamics adaptation for musical content |
| BR122020007932B1 (pt) | 2013-01-21 | 2022-09-27 | Dolby International Ab | Dispositivo de processamento de áudio e método para decodificar um ou mais quadros de um fluxo de bits de áudio codificado |
| US9559651B2 (en) | 2013-03-29 | 2017-01-31 | Apple Inc. | Metadata for loudness and dynamic range control |
| US9607624B2 (en) | 2013-03-29 | 2017-03-28 | Apple Inc. | Metadata driven dynamic range control |
| CN109979472B (zh) * | 2013-09-12 | 2023-12-15 | 杜比实验室特许公司 | 用于各种回放环境的动态范围控制 |
-
2014
- 2014-03-26 US US14/225,950 patent/US9559651B2/en active Active
- 2014-03-27 KR KR1020157026825A patent/KR101761041B1/ko active Active
- 2014-03-27 EP EP14724887.6A patent/EP2956936B1/en active Active
- 2014-03-27 AU AU2014241222A patent/AU2014241222B2/en active Active
- 2014-03-27 ES ES14724887T patent/ES2738494T3/es active Active
- 2014-03-27 ES ES19170552T patent/ES2994484T3/es active Active
- 2014-03-27 CN CN201480018634.8A patent/CN105103222B/zh active Active
- 2014-03-27 WO PCT/US2014/031992 patent/WO2014160849A2/en not_active Ceased
- 2014-03-27 CN CN202010164205.9A patent/CN111370007B/zh active Active
- 2014-03-27 CN CN202311381485.9A patent/CN117275493A/zh active Pending
- 2014-03-27 EP EP19170552.4A patent/EP3540733B1/en active Active
- 2014-03-28 TW TW103111835A patent/TWI562138B/zh active
-
2017
- 2017-01-27 US US15/417,424 patent/US10644666B2/en active Active
-
2020
- 2020-01-29 US US16/776,297 patent/US10958229B2/en active Active
-
2021
- 2021-03-03 US US17/191,481 patent/US11563411B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US10958229B2 (en) | 2021-03-23 |
| AU2014241222B2 (en) | 2016-10-27 |
| EP3540733C0 (en) | 2024-08-21 |
| CN105103222B (zh) | 2020-03-17 |
| CN111370007A (zh) | 2020-07-03 |
| KR101761041B1 (ko) | 2017-07-25 |
| EP3540733A1 (en) | 2019-09-18 |
| EP2956936A2 (en) | 2015-12-23 |
| WO2014160849A3 (en) | 2014-11-27 |
| US11563411B2 (en) | 2023-01-24 |
| AU2014241222A1 (en) | 2015-10-08 |
| CN105103222A (zh) | 2015-11-25 |
| US20210351754A1 (en) | 2021-11-11 |
| HK1215489A1 (zh) | 2016-08-26 |
| US10644666B2 (en) | 2020-05-05 |
| US20140294200A1 (en) | 2014-10-02 |
| US9559651B2 (en) | 2017-01-31 |
| TW201443886A (zh) | 2014-11-16 |
| US20200169233A1 (en) | 2020-05-28 |
| ES2738494T3 (es) | 2020-01-23 |
| CN111370007B (zh) | 2023-10-27 |
| EP2956936B1 (en) | 2019-04-24 |
| KR20150122760A (ko) | 2015-11-02 |
| US20170201219A1 (en) | 2017-07-13 |
| TWI562138B (en) | 2016-12-11 |
| EP3540733B1 (en) | 2024-08-21 |
| CN117275493A (zh) | 2023-12-22 |
| WO2014160849A2 (en) | 2014-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11563411B2 (en) | Metadata for loudness and dynamic range control | |
| JP6778781B2 (ja) | エンコードされたオーディオ拡張メタデータベースのダイナミックレンジ制御 | |
| ES3034518T3 (en) | System for combining loudness measurements in a single playback mode | |
| ES3061991T3 (en) | Dynamic range control for a wide variety of playback environments | |
| CN106796799B (zh) | 高效drc配置文件传输 | |
| BR122022020319B1 (pt) | Método e aparelho para reprodução de áudio normalizado de mídia com e sem metadados de ruído integrado em novos dispositivos de mídia | |
| HK40032389B (en) | Metadata for loudness and dynamic range control | |
| HK40013898B (en) | Metadata for loudness and dynamic range control | |
| HK40032389A (en) | Metadata for loudness and dynamic range control | |
| HK40013898A (en) | Metadata for loudness and dynamic range control | |
| HK40057528A (en) | Efficient drc profile transmission | |
| HK40057532A (en) | Efficient drc profile transmission | |
| HK40057531A (en) | Efficient drc profile transmission | |
| HK1215489B (en) | Metadata for loudness and dynamic range control |