ES2308596T3 - Sincronizacion de audio con video retardado. - Google Patents
Sincronizacion de audio con video retardado. Download PDFInfo
- Publication number
- ES2308596T3 ES2308596T3 ES05850081T ES05850081T ES2308596T3 ES 2308596 T3 ES2308596 T3 ES 2308596T3 ES 05850081 T ES05850081 T ES 05850081T ES 05850081 T ES05850081 T ES 05850081T ES 2308596 T3 ES2308596 T3 ES 2308596T3
- Authority
- ES
- Spain
- Prior art keywords
- video
- delay
- test
- audio
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
- H04N17/045—Self-contained testing apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Abstract
Aparato (102) para compensar la pérdida de sincronización entre vídeo y audio presentados a un espectador debida a un retardo de procesamiento del vídeo, comprendiendo dicho aparato (102): - medios (110) de transmisión de vídeo para transmitir una señal de prueba que representa una secuencia de imágenes de prueba que van a presentarse mediante un dispositivo de visualización después de que dicha señal de prueba se someta a dicho retardo de procesamiento; - un detector (116) de luz para recibir luz desde el dispositivo de visualización basándose en la secuencia de imágenes de prueba y producir una señal de prueba recibida representativa de la secuencia de imágenes de prueba; y - un controlador (114) para: i) correlacionar la señal (117) de prueba recibida con la señal (115) de prueba transmitida, ii) determinar el retardo entre dichas señales, y iii) emitir una señal (119) de retardo de audio en base al retardo entre dichas señales (115, 117).
Description
Sincronización de audio con vídeo retardado.
La invención se refiere a un aparato para
compensar la pérdida de sincronización entre vídeo y audio
presentados a un espectador debida a un retardo de procesamiento
del vídeo.
La invención se refiere además a una fuente de
vídeo para proporcionar una salida de vídeo y una salida de audio
relacionada que comprende un aparato de compensación de este
tipo.
La invención se refiere además a un
procedimiento para compensar la pérdida de sincronización entre
vídeo y audio presentados a un espectador debida a un retardo de
procesamiento del vídeo.
Un aparato de visualización de vídeo, tal como
un equipo de pantalla y televisor, incluye circuitos de
procesamiento de vídeo complejos y software para procesar la
componente de vídeo de una señal de vídeo. Este procesamiento
generalmente impone retardos en la transmisión de la componente de
vídeo que son sustancialmente más largos que cualquier retardo
impuesto sobre la componente de audio de la señal de vídeo y pueden
afectar de manera adversa al sincronismo entre el audio y vídeo
presentados al espectador.
Cuando las componentes de audio y vídeo pasan
ambas a través de un aparato común, es posible mantener el
sincronismo añadiendo un retardo de transmisión de compensación a
la componente de audio. Sin embargo, en casos en los que ambas de
estas componentes no pasan a través de un aparato común, tal
compensación no se logra fácilmente. Por ejemplo, si un reproductor
de DVD es la fuente de la señal de vídeo, las componentes de vídeo y
audio podrían pasar a través de distintos equipos de audio y vídeo,
en los que el fabricante del equipo de audio no conoce la duración
del retardo de procesamiento en la componente de vídeo.
Según la invención, la compensación para la
pérdida de sincronización entre vídeo y audio, debida a un retardo
de procesamiento de señal de vídeo, se logra transmitiendo una señal
de prueba de vídeo que representa una secuencia de imágenes de
prueba que van a presentarse mediante un dispositivo de
visualización. La señal de prueba de vídeo se somete al retardo de
procesamiento antes de que se presente la secuencia de imágenes de
prueba. Un detector de luz recibe luz desde la secuencia de imágenes
de prueba y produce una señal de prueba recibida representativa de
la secuencia de imágenes de prueba. Se efectúa un retardo del audio
para compensar el retardo de procesamiento de vídeo por medio de un
controlador. El controlador determina el retardo necesario
correlacionando la señal de prueba recibida con la señal de prueba
transmitida.
Las modificaciones del aparato para compensar la
pérdida de sincronización y variaciones del mismo pueden
corresponder a modificaciones y variaciones del mismo de la fuente
de vídeo y el procedimiento que están describiéndose.
Estos y otros aspectos del aparato para
compensar la pérdida de sincronización, la fuente de vídeo y el
procedimiento según la invención se harán evidentes a partir de y
se aclararán con respecto a las implementaciones y realizaciones
descritas a continuación en el presente documento y con referencia a
los dibujos adjuntos, en los que:
la figura 1 es un diagrama de bloques que
ilustra una realización a modo de ejemplo de un sistema de vídeo
que incluye compensación de retardo de procesamiento;
la figura 2 es un diagrama de flujo que ilustra
una realización a modo de ejemplo de un procedimiento de
compensación de retardo;
la figura 3 es una ilustración esquemática de la
luminancia media de imágenes respectivas de una serie de imágenes;
y
la figura 4 es una ilustración esquemática de
una realización a modo de ejemplo de un detector de luz para su uso
en el aparato para compensar la pérdida de sincronización.
El sistema de vídeo de la figura 1 incluye una
fuente 101 de vídeo acoplada a un dispositivo AUD de audio y un
dispositivo VID de visualización. La fuente 101 de vídeo puede ser
cualquier dispositivo que proporcione una señal de vídeo, por
ejemplo un reproductor de DVD, un módulo de conexión
("set-top box") o un receptor de satélite. La
señal de vídeo puede leerse desde un medio de almacenamiento, tal
como DVD o cinta. Alternativamente, la señal de vídeo se
proporciona al conector 108 de entrada. El dispositivo AUD de audio
puede ser parte de la fuente 101 de vídeo o un equipo
independiente, por ejemplo un receptor de audio para accionar un
sistema SS de altavoces. El dispositivo VID de visualización puede
ser un televisor o pantalla u otro equipo para visualizar imágenes
de vídeo.
La fuente 101 de vídeo incluye un generador 112
de vídeo, por ejemplo un descodificador MPEG, para suministrar una
señal de vídeo que tiene una componente de vídeo, proporcionada en
un conector 102 de salida de vídeo, y una componente de audio,
proporcionada en un conector 104 de salida de audio. Estas
componentes pueden proporcionarse en forma de señales o bien
digitales o bien analógicas, tal como se conoce bien en la
técnica.
La componente de vídeo proporcionada en el
conector 102 de salida de vídeo se transmite por una línea 111 al
dispositivo VID de visualización, en el que se produce un retardo de
procesamiento de vídeo antes de que se visualicen las imágenes
representadas por la componente de vídeo al espectador. Este retardo
normalmente incluye un número de retardos acumulativos más pequeños
que incluyen, por ejemplo, el procesamiento para la reducción de
ruido, ajuste a escala multidimensional, aplicación de movimiento
natural, es decir, algoritmos de conversión ascendente temporales,
y varía con el tipo de dispositivo de visualización (por ejemplo,
Plasma, LCD, DMD, CRT). El fabricante de la fuente 101 de vídeo
puede no conocer la duración del retardo de procesamiento del vídeo
en el dispositivo de visualización, particularmente si estos equipos
son de fabricantes distintos.
La componente de audio proporcionada por el
generador 112 de vídeo se transmite a través de un dispositivo 118
de retardo de audio que tiene un retardo variable controlable, y
entonces por una línea 113 al dispositivo AUD de audio. Obsérvese
que no es necesario que el dispositivo 118 de retardo de audio sea
un dispositivo independiente. Por ejemplo, si el generador 112 de
vídeo incorpora un descodificador MPEG, el retardo deseado puede
efectuarse, por ejemplo, manipulando sellos de hora en el flujo de
programa MPEG. Aparte de eso, el dispositivo 118 de retardo de
audio es opcional para la fuente 101 de vídeo. Pude implementarse
alternativamente en un aparato independiente o en el dispositivo
AUD de audio.
La fuente 101 de vídeo tal como se representa en
la figura 1 comprende un aparato 102 para compensar la pérdida de
sincronización entre vídeo y audio presentados a un espectador
debida a un retardo de procesamiento de la componente de vídeo. El
aparato 102 comprende:
- medios 110 de transmisión de vídeo para
transmitir una señal de prueba que representa una secuencia de
imágenes de prueba que van a presentarse mediante el dispositivo
VID de visualización después de que dicha señal de prueba se someta
a dicho retardo de procesamiento;
- un detector 116 de luz para recibir luz desde
el dispositivo VID de visualización basándose en la secuencia de
imágenes de prueba y producir una señal de prueba recibida
representativa de la secuencia de imágenes de prueba; y
- un controlador 114 para: correlacionar la
señal de prueba recibida proporcionada a través de la línea 117 con
la señal de prueba transmitida proporcionada a través de la línea
115; determinar el retardo entre dichas señales; y emitir una señal
de retardo de audio a través de la línea 119 en base al retardo
entre dichas señales.
En esta descripción, se dan a conocer dos
realizaciones principales del aparato 102 para compensar la pérdida
de sincronización:
En la primera realización del aparato 102 para
compensar la pérdida de sincronización, los medios 110 de
transmisión de vídeo comprenden un generador de señal de prueba (no
mostrado), que está dispuesto para generar una señal de prueba
predeterminada.
En la segunda realización del aparato 102 para
compensar la pérdida de sincronización, los medios 110 de
transmisión de vídeo comprenden medios de detección (no mostrados)
para detectar la secuencia de imágenes de prueba en una serie de
imágenes recibida. Esto significa que en esta realización, los
medios 110 de transmisión de vídeo están dispuestos para transmitir
la señal de prueba en base al contenido de vídeo tal como se recibe
desde el generador 112 de vídeo a través de la línea 121. Este
contenido de vídeo corresponde a contenido de vídeo normal que
representa, por ejemplo, una película, un episodio de una
telenovela, o un dibujo animado. Esto significa contenido de vídeo
normal, que un espectador vería para fines de entretenimiento o
educativos y que no asociaría directamente con una señal de prueba
para ajustar un sistema de vídeo.
En primer lugar, se explica el funcionamiento de
la primera realización del aparato 102 para compensar la pérdida de
sincronización. El funcionamiento de la segunda realización del
aparato 102 para compensar la pérdida de sincronización se explica
en conexión con la figura 3.
Cuando se activa, el generador de señal de
prueba transmite simultáneamente una señal de prueba de vídeo por
las líneas 111 y 115 al dispositivo VID de visualización y al
controlador 114, respectivamente. El generador de señal de prueba
puede ajustarse para producir señales de prueba de vídeo que
representan uno o más patrones de prueba deseados para la
visualización mediante el dispositivo VID de visualización. En una
realización a modo de ejemplo, el generador de prueba produce una
señal de prueba de vídeo que representa una secuencia de imágenes
más oscuras y más claras alternas, tales como pantallas negras y
blancas continuas, que van a producirse mediante el dispositivo VID
de visualización.
El detector 116 de luz está situado para recibir
luz ambiente de la sala incluyendo luz del patrón de prueba
producido por el dispositivo VID de visualización. El detector 116
de luz convierte la luz recibida en una señal de detección, que se
ve influenciada por la luz del patrón de prueba visualizado.
Específicamente, la señal de detección incluye una componente de
señal de prueba (la "señal de prueba recibida") que representa
el patrón de prueba y la transmite a través de la línea 117 al
controlador 114.
El controlador 114 opera para determinar el
retardo que debe proporcionar el dispositivo 118 de retardo de
audio para colocar el audio del dispositivo AUD de audio en
sincronismo con la imagen visualizada por el dispositivo VID de
visualización. Para hacer esto, el controlador 114 mide el retardo
entre la transmisión de la señal de prueba de vídeo y la recepción
de la señal de prueba, que representa el patrón de prueba producido
por el dispositivo VID de visualización. Entonces el controlador
114 transmite una señal de retardo de audio que representa el
retardo medido por una línea 119 al dispositivo 118 de retardo de
audio, que efectúa un retardo correspondiente de la señal de audio
transmitida al dispositivo AUD de audio.
La figura 2 ilustra un proceso a modo de ejemplo
para operar el sistema de vídeo de la figura 1 para compensar el
retardo indeseable del vídeo en relación al audio presentados a un
espectador. Un ejemplo típico de las consecuencias negativas de un
retardo de este tipo es una pérdida de la sincronización labial de
una persona que habla en la imagen visualizada. Esta pérdida puede
notarse fácilmente con un retardo de vídeo tan pequeño como, por
ejemplo, una décima parte de un segundo o inferior.
En referencia a la figura 2:
En ADM, se introduce un modo de medición de
retardo de audio para comenzar el proceso de compensar cualquier
retardo del vídeo en relación al audio presentados al espectador. De
manera conveniente, esto se haría como parte de un programa de
configuración que el controlador 114 puede realizar cuando se
instala el sistema 100 de vídeo o en cualquier otro momento
deseado.
En TP, el controlador 114 transmite por la línea
115 una señal que ordena al generador de señal de prueba en los
medios 110 de transmisión de vídeo comenzar a transmitir la señal de
prueba de vídeo por las líneas 111 y 115. (Alternativamente, la
línea 115 solamente tiene que pasar al controlador 114 la
temporización del patrón de prueba representado por la señal de
prueba de vídeo.) Opcionalmente, el generador de señal de prueba
puede estar en otro lugar en el sistema, e incluso puede estar
incorporado en el propio controlador 114. La frecuencia de
repetición del patrón de prueba (por ejemplo, imágenes de pantalla
completa negra y blanca alternas) es preferiblemente larga en
comparación con el retardo más largo esperado. Para evitar la
ambigüedad, el ciclo de la secuencia de patrón de prueba completa
es al menos el doble del retardo más largo esperado.
En MSR, el controlador 114 comienza a muestrear
la señal de detección producida por el detector 116. El muestreo
debería comenzar en un periodo de tiempo inferior al tiempo de
retardo esperado mínimo efectuado por el procesamiento de vídeo. El
intervalo de muestreo debería ser al menos tan pequeño como la
precisión deseada de medición del retardo de procesamiento de
vídeo. Por ejemplo, para una buena sincronización labial aparente,
tal como la observa un espectador típico, es deseable una precisión
de aproximadamente 10 milisegundos. En un sistema a modo de
ejemplo, se obtuvo fácilmente una precisión tal usando un patrón de
imágenes de pantalla completa negra y blanca alternas, teniendo
cada una una duración de aproximadamente 1,0 segundo y muestreando
en un intervalo de aproximadamente 1 a 5 milisegundos. El muestreo
continúa durante un periodo que es lo suficientemente largo como
para correlacionar la señal de prueba recibida llevada por la señal
de detección recibida con la señal de prueba de vídeo transmitida.
El sistema a modo de ejemplo tenía un periodo de muestreo de varios
segundos, durante los que el controlador 114 intenta correlacionar
transiciones de negro a blanco y de blanco a negro detectadas en la
señal de detección con transiciones correspondientes en la señal de
prueba de vídeo transmitida. El algoritmo que usa el controlador
114 puede ser muy sencillo a muy complejo, dependiendo de la
capacidad deseada de la extracción del patrón detectado de una señal
de prueba recibida con ruido.
En COR, el controlador 114 determina si la
correlación fue satisfactoria. La correlación no será posible si la
luz del patrón de prueba no puede distinguirse claramente de la
propia luz ambiente. Esto puede producirse en condiciones de luz
adversas. Por ejemplo, si la luz solar ilumina directamente un
sensor de luz del detector 116 de luz o si la intensidad de la luz
ambiente varía de manera similar a la del patrón de prueba. Si la
correlación es satisfactoria, la siguiente etapa en el proceso será
ADJ; si no, será OPT.
En ADJ, tras la correlación satisfactoria, el
controlador 114 determina el retardo de tiempo entre la señal de
prueba transmitida y la señal de prueba recibida. Entonces, el
controlador 114 ajusta en consecuencia el retardo proporcionado por
el dispositivo 118 de retardo de audio para proporcionar el audio
producido por el dispositivo AUD de audio en sincronización con la
imagen de vídeo presentada por el dispositivo VID de
visualización.
En OPT, el controlador 114 transmite un mensaje
a través de los medios 110 de transmisión de vídeo al dispositivo
VID de visualización, informando al espectador que el proceso de
sincronización no fue satisfactorio. El mensaje también puede
sugerir acciones correctivas para mejorar las condiciones de luz
ambiente, tales como oscurecer la sala o reubicar el sensor de luz
ambiente en relación al dispositivo de visualización o proporcionar
una superficie reflectante para aumentar la luz dirigida desde el
visualizador y sobre el detector 116 de luz. Dependiendo de la
capacidad de la fuente 101 de vídeo para comunicarse de manera
inteligente con un control remoto, pueden explicarse opciones
adicionales mediante mensajes desde el controlador 114. Por ejemplo,
puede guiarse al espectador a través de un ajuste manual para
sincronizar el audio y el vídeo mientras ve la imagen de pantalla,
por ejemplo seleccionado un retardo de un número de ajustes
predeterminados por defecto que cubren una variedad de retardos
probables para dispositivos de visualización conocidos.
En NORM, tras tanto ADJ como OPT, el controlador
114 devuelve la fuente de vídeo a su modo de funcionamiento normal.
La figura 3 es una ilustración esquemática de una señal 300
muestreada en el tiempo que comprende las muestras 301 a 308 que
representan luminancias medias de imágenes respectivas de una serie
de imágenes. El eje x de la ilustración 300 corresponde al tiempo.
El eje y corresponde al valor de luminancia media de imágenes
respectivas de una serie de imágenes. Se hace referencia a la figura
3 para explicar el funcionamiento de la segunda realización del
aparato 102 para compensar la pérdida de sincronización.
En la segunda realización del aparato 102 para
compensar la pérdida de sincronización, los medios 110 de
transmisión de vídeo están dispuestos para generar la señal de
prueba en base al contenido de vídeo tal como se recibe desde el
generador 112 de vídeo a través de la línea 121. Esto significa que
el aparato 102 para compensar la pérdida de sincronización usa el
contenido de vídeo estándar/normal que representa, por ejemplo, una
película o un episodio de una telenovela, para realizar la
sincronización. Eso se logra analizando el contenido de vídeo tal
como se proporciona mediante el generador 112 de vídeo y se recibe
mediante los medios 110 de transmisión de vídeo a través de la
línea 121. Normalmente, el contenido de vídeo que va a visualizarse
mediante el dispositivo VID de visualización para fines de visión
normales, tiene características que son apropiadas para determinar
el retardo de procesamiento del vídeo y por tanto para derivar la
señal de retardo de audio del mismo. Una característica de este
tipo es, por ejemplo, un cambio repentino en la luminancia
media:
Por ejemplo, una primera imagen luminosa/clara,
es decir, que tiene una luminancia media relativamente alta está
seguida por una segunda imagen oscura, es decir, que tiene una
luminancia media relativamente baja. Véase en la figura 3 la
transición desde las muestras con los números de referencia 301,302
hasta las muestras con los números de referencia 303, 304;
Por ejemplo, una tercera imagen oscura está
seguida por una cuarta imagen luminosa/clara. Véase en la figura 3
la transición desde las muestras con los números de referencia
305,306 hasta las muestras con los números de referencia 307,
308.
Un cambio repentino de este tipo en la
luminancia media se produce normalmente en un cambio de escena.
Normalmente, se insertan un número de tramas de vídeo negras, es
decir, imágenes de vídeo, entre escenas sucesivas. La detección de
cambios de escena u otras transiciones relativamente bruscas en la
luminancia media de los contenidos de vídeo se logra
preferiblemente calculando una diferencia entre un primer valor de
luminancia media de píxeles de una primera imagen de la serie de
imágenes tal como se recibe desde el generador 112 de vídeo y un
segundo valor de luminancia media de píxeles de una segunda imagen
de la serie de imágenes, que sigue a la primera imagen y tal como
se recibe desde el generador 112 de vídeo, y comparando la
diferencia calculada con un umbral predeterminado. Si se supera el
umbral predeterminado, entonces se usan la primera y segunda
imágenes correspondientes para formar la o una parte de la
secuencia de imágenes de prueba correspondiente a la señal de
prueba.
El resto del funcionamiento de la segunda
realización del aparato 102 para compensar la pérdida de
sincronización es sustancialmente igual al funcionamiento de la
primera realización del aparato 102 para compensar la pérdida de
sincronización, tal como se explica en conexión con la figura 1 y la
figura 2. Por tanto, básicamente la diferencia principal es la
creación de la señal de prueba que representa una secuencia de
imágenes de prueba. Debe observarse lo siguiente en relación con
esa diferencia. La operación de determinar el retardo de
procesamiento del vídeo y opcionalmente adaptar el retardo de audio
con la segunda realización del aparato 102 para compensar la
pérdida de sincronización puede ser un proceso continuo. Eso
significa, por ejemplo, que la señal de retardo de audio del
sistema 100 de vídeo que comprende la fuente 101 de vídeo acoplada
al dispositivo AUD de audio y el dispositivo VID de visualización
puede actualizarse mientras el espectador está viendo sus películas
favoritas. No hay ninguna necesidad de un procedimiento de
medición/ajuste dedicado tal como se explica en conexión con la
figura 2.
Preferiblemente, las múltiples transiciones
luminosa/oscura y/o oscura/luminosa en el contenido de vídeo
recibido se usan para determinar la señal de retardo de audio
real.
La figura 4 ilustra una realización a modo de
ejemplo del detector 116 de luz. Aunque el diseño de una variedad
de detectores de este tipo está dentro de los conocimientos de la
técnica, esta realización demuestra que puede fabricarse un
detector de este tipo con componentes de coste relativamente bajo
con unos pocos componentes sencillos. El detector 116 de luz
incluye un primer circuito amplificador que incluye un fotodiodo P,
un amplificador Al operacional y resistencias R1a, R1b; un segundo
circuito amplificador que incluye un amplificador A2 operacional,
una resistencia R2, y un condensador C; y un conversor AD A/D.
El fotodiodo P se dispone donde detectará la luz
ambiente en la zona en la que el dispositivo VID de visualización
está operativo. De manera conveniente, se incorporará en un
alojamiento de la fuente 101 de vídeo u otro componente que
contiene el detector 116 de luz, pero también puede situarse de
manera remota. La corriente que pasa a través del fotodiodo varía
en función de la luz incidente. El primer circuito amplificador
funciona principalmente para convertir la corriente del fotodiodo
en una tensión amplificada representativa de la intensidad de luz
incidente. El segundo circuito amplificador funciona tanto como un
comparador como un integrador. Actúa conjuntamente con el primer
circuito amplificador para mantener al primer amplificador dentro de
su intervalo de funcionamiento lineal. Puede usarse un conversor
A/D de baja velocidad de conversión económico porque tanto la
velocidad de conversión como la resolución pueden ser bajas. El
conversor A/D en este detector 116 de luz a modo de ejemplo opera a
una frecuencia de reloj de conversión de 1 kHz.
Debería observarse que las realizaciones
mencionadas anteriormente ilustran más que limitan la invención y
que los expertos en la técnica podrán diseñar realizaciones
alternativas sin apartarse del alcance de las reivindicaciones
adjuntas. En las reivindicaciones, cualquier signo de referencia
colocado entre paréntesis no se interpretará como limitante de la
reivindicación. Las palabras "que comprende" no excluyen la
presencia de elementos o etapas que no se enumeran en una
reivindicación. La palabra "un" o "una" que precede a un
elemento no excluye la presencia de una pluralidad de tales
elementos. La invención puede implementarse por medio de hardware
que comprende varios elementos distintos y por medio de un ordenador
programado adecuado. En las reivindicaciones unitarias que enumeran
varios medios, pueden realizarse varios de estos medios mediante un
mismo elemento de hardware o software. El uso de las palabras
primero, segundo y tercero, etcétera no indican ningún orden. Estas
palabras deben interpretarse como nombres. No se pretende que se
requiera ninguna secuencia específica de actos a menos que se
indique específicamente.
Claims (12)
1. Aparato (102) para compensar la pérdida de
sincronización entre vídeo y audio presentados a un espectador
debida a un retardo de procesamiento del vídeo, comprendiendo dicho
aparato (102):
- -
- medios (110) de transmisión de vídeo para transmitir una señal de prueba que representa una secuencia de imágenes de prueba que van a presentarse mediante un dispositivo de visualización después de que dicha señal de prueba se someta a dicho retardo de procesamiento;
- -
- un detector (116) de luz para recibir luz desde el dispositivo de visualización basándose en la secuencia de imágenes de prueba y producir una señal de prueba recibida representativa de la secuencia de imágenes de prueba; y
- -
- un controlador (114) para: i) correlacionar la señal (117) de prueba recibida con la señal (115) de prueba transmitida, ii) determinar el retardo entre dichas señales, y iii) emitir una señal (119) de retardo de audio en base al retardo entre dichas señales (115, 117).
2. Aparato (102) según la reivindicación 1, en
el que los medios (110) de transmisión de vídeo comprenden medios
de detección para detectar la secuencia de imágenes de prueba en una
serie de imágenes recibida.
3. Aparato (102) según la reivindicación 2, en
el que los medios de detección están dispuestos para detectar la
secuencia de imágenes de prueba determinando que una diferencia
entre una primera medida de una primera imagen de la secuencia de
imágenes de prueba y una segunda medida de una segunda imagen de la
secuencia de imágenes de prueba supera un umbral
predeterminado.
4. Aparato (102) según la reivindicación 3, en
el que los medios de detección están dispuestos para calcular un
primer valor de luminancia media de píxeles de la primera imagen de
la secuencia como primera medida y para calcular un segundo valor
de luminancia media de píxeles de la segunda imagen de la secuencia
como segunda
medida.
medida.
5. Aparato (102) según la reivindicación 1, en
el que los medios (110) de transmisión de vídeo comprenden un
generador de señal para generar la señal de prueba.
6. Aparato (102) según la reivindicación 5, en
el que la secuencia de imágenes de prueba corresponde a una única
imagen.
7. Aparato (102) según la reivindicación 5, en
el que el generador de señal está dispuesto para generar un patrón
de prueba.
8. Aparato (102) según la reivindicación 7, en
el que el patrón de prueba comprende alternar imágenes más oscuras
y más claras.
9. Aparato (102) según la reivindicación 8, en
el que las imágenes más oscuras y más claras se repiten en un
intervalo que es al menos el doble de largo que el retardo de
procesamiento.
10. Fuente (101) de vídeo para proporcionar una
salida de vídeo y una salida de audio relacionada, comprendiendo la
fuente de vídeo:
- -
- medios (102) de salida de vídeo para proporcionar la salida de vídeo;
- -
- medios (104) de salida de audio para proporcionar la salida de audio;
- -
- un aparato (102) para compensar la pérdida de sincronización entre vídeo y audio presentados a un espectador, según cualquiera de las reivindicaciones anteriores, estando el vídeo basado en la salida de vídeo y estando el audio basado en la salida de audio.
11. Fuente (101) de vídeo según la
reivindicación 10, que comprende un dispositivo 18 de retardo de
audio para efectuar un retardo controlable en la salida de audio en
base a la señal de retardo de audio del aparato (102) de
compensación.
12. Procedimiento para compensar la pérdida de
sincronización entre vídeo y audio presentados a un espectador
debida a un retardo de procesamiento del vídeo, comprendiendo dicho
procedimiento:
- -
- transmitir una señal de prueba que representa una secuencia de imágenes de prueba que van a presentarse mediante un dispositivo de visualización después de que dicha señal de prueba se someta a dicho retardo de procesamiento;
- -
- detectar luz desde el dispositivo de visualización basándose en la secuencia de imágenes de prueba y producir una señal de prueba recibida representativa de la secuencia de imágenes de prueba; y
- -
- correlacionar la señal de prueba recibida con la señal de prueba transmitida;
- -
- determinar el retardo entre dichas señales, y emitir una señal de retardo de audio en base al retardo entre dichas señales.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US63636604P | 2004-12-15 | 2004-12-15 | |
| US636366P | 2004-12-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2308596T3 true ES2308596T3 (es) | 2008-12-01 |
Family
ID=36353683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES05850081T Active ES2308596T3 (es) | 2004-12-15 | 2005-12-14 | Sincronizacion de audio con video retardado. |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20060139490A1 (es) |
| EP (1) | EP1829382B1 (es) |
| JP (1) | JP2008524904A (es) |
| KR (1) | KR20070098864A (es) |
| CN (1) | CN101080933A (es) |
| AT (1) | ATE398892T1 (es) |
| DE (1) | DE602005007634D1 (es) |
| ES (1) | ES2308596T3 (es) |
| WO (1) | WO2006064477A2 (es) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7970222B2 (en) * | 2005-10-26 | 2011-06-28 | Hewlett-Packard Development Company, L.P. | Determining a delay |
| US7693190B2 (en) | 2006-11-22 | 2010-04-06 | Cisco Technology, Inc. | Lip synchronization for audio/video transmissions over a network |
| US20080260350A1 (en) * | 2007-04-18 | 2008-10-23 | Cooper J Carl | Audio Video Synchronization Stimulus and Measurement |
| US9083943B2 (en) * | 2007-06-04 | 2015-07-14 | Sri International | Method for generating test patterns for detecting and quantifying losses in video equipment |
| US20100146578A1 (en) * | 2008-12-06 | 2010-06-10 | Mallya Arvind R | System and method for providing an embedded test signal from a multimedia processor |
| US8659585B2 (en) * | 2009-10-16 | 2014-02-25 | Nikon Corporation | Projector apparatus and projection image correcting program product |
| US8854531B2 (en) * | 2009-12-31 | 2014-10-07 | Broadcom Corporation | Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display |
| US8964013B2 (en) * | 2009-12-31 | 2015-02-24 | Broadcom Corporation | Display with elastic light manipulator |
| US9247286B2 (en) * | 2009-12-31 | 2016-01-26 | Broadcom Corporation | Frame formatting supporting mixed two and three dimensional video data communication |
| US8823782B2 (en) * | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
| US8665320B2 (en) | 2010-07-26 | 2014-03-04 | Echo Star Technologies L.L.C. | Method and apparatus for automatic synchronization of audio and video signals |
| CN102169664B (zh) * | 2011-01-28 | 2013-08-21 | 北京视博云科技有限公司 | 一种显示装置时延检测方法及装置 |
| US20150296247A1 (en) * | 2012-02-29 | 2015-10-15 | ExXothermic, Inc. | Interaction of user devices and video devices |
| US8495236B1 (en) | 2012-02-29 | 2013-07-23 | ExXothermic, Inc. | Interaction of user devices and servers in an environment |
| CN104871127B (zh) * | 2012-12-21 | 2018-04-10 | 巴科股份有限公司 | 显示器间的差分等待时间的自动化测量 |
| US11284063B2 (en) * | 2012-12-28 | 2022-03-22 | Promptlink Communications, Inc. | Video quality analysis and detection of blockiness, artifacts and color variation for high-volume testing of devices using automated video testing system |
| CN103117072A (zh) * | 2013-01-23 | 2013-05-22 | 广东欧珀移动通信有限公司 | 一种音视频同步测试装置及方法 |
| WO2014115147A1 (en) * | 2013-01-24 | 2014-07-31 | Telesofia Medical Ltd. | System and method for flexible video construction |
| CN103219029A (zh) * | 2013-03-25 | 2013-07-24 | 广东欧珀移动通信有限公司 | 自动调节音视频同步的方法和系统 |
| TWI496455B (zh) * | 2013-04-10 | 2015-08-11 | Wistron Corp | 影音同步檢測裝置與方法 |
| JP6505996B2 (ja) * | 2013-08-30 | 2019-04-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 受信方法、及び、受信装置 |
| US9179184B1 (en) | 2014-06-20 | 2015-11-03 | Google Inc. | Methods, systems, and media for detecting a presentation of media content on a display device |
| CN105608935A (zh) * | 2015-12-29 | 2016-05-25 | 北京奇艺世纪科技有限公司 | 一种影音同步的检测方法和装置 |
| FR3105686A1 (fr) * | 2019-12-18 | 2021-06-25 | Sagemcom Broadband Sas | Equipement décodeur à double liaison audio |
| CN111479154B (zh) * | 2020-04-03 | 2022-03-22 | 海信视像科技股份有限公司 | 音画同步的实现设备、方法及计算机可读存储介质 |
| CN112328076B (zh) * | 2020-11-06 | 2021-10-29 | 北京中科深智科技有限公司 | 一种语音驱动人物手势的方法和系统 |
| KR102540763B1 (ko) * | 2021-06-03 | 2023-06-07 | 주식회사 딥브레인에이아이 | 머신 러닝 기반의 립싱크 영상 생성을 위한 학습 방법 및 이를 수행하기 위한 립싱크 영상 생성 장치 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS56144692A (en) * | 1980-04-11 | 1981-11-11 | Sony Corp | Color frame signal generator |
| US4313135B1 (en) * | 1980-07-28 | 1996-01-02 | J Carl Cooper | Method and apparatus for preserving or restoring audio to video |
| US4303939A (en) * | 1980-08-11 | 1981-12-01 | Rca Corporation | Horizontal stability measurement apparatus |
| JPH0720834A (ja) * | 1992-03-23 | 1995-01-24 | Eastman Kodak Co | Ｃｒｔキャリブレータユニット |
| US5404161A (en) * | 1993-07-27 | 1995-04-04 | Information Resources, Inc. | Tuned signal detector for use with a radio frequency receiver |
| US5572261A (en) * | 1995-06-07 | 1996-11-05 | Cooper; J. Carl | Automatic audio to video timing measurement device and method |
| AU5050199A (en) * | 1998-07-24 | 2000-02-14 | Leeds Technologies Limited | Video and audio synchronisation |
| US6414960B1 (en) * | 1998-12-29 | 2002-07-02 | International Business Machines Corp. | Apparatus and method of in-service audio/video synchronization testing |
| DE19930824C2 (de) * | 1999-07-03 | 2001-05-31 | Grundig Ag | Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb |
| JP2002290767A (ja) * | 2001-03-27 | 2002-10-04 | Toshiba Corp | 映像及び音声の時間合わせ装置及び時間合わせ方法 |
| US7212247B2 (en) * | 2002-01-31 | 2007-05-01 | Thomson Licensing | Audio/video system providing variable delay |
| JP4517727B2 (ja) * | 2004-05-27 | 2010-08-04 | ヤマハ株式会社 | オーディオ・ビデオアンプ |
-
2005
- 2005-12-14 JP JP2007546286A patent/JP2008524904A/ja active Pending
- 2005-12-14 EP EP05850081A patent/EP1829382B1/en not_active Not-in-force
- 2005-12-14 CN CNA200580043305XA patent/CN101080933A/zh active Pending
- 2005-12-14 KR KR1020077016089A patent/KR20070098864A/ko not_active Application Discontinuation
- 2005-12-14 DE DE602005007634T patent/DE602005007634D1/de not_active Expired - Fee Related
- 2005-12-14 WO PCT/IB2005/054231 patent/WO2006064477A2/en active IP Right Grant
- 2005-12-14 ES ES05850081T patent/ES2308596T3/es active Active
- 2005-12-14 AT AT05850081T patent/ATE398892T1/de not_active IP Right Cessation
- 2005-12-14 US US11/302,903 patent/US20060139490A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2006064477A2 (en) | 2006-06-22 |
| JP2008524904A (ja) | 2008-07-10 |
| US20060139490A1 (en) | 2006-06-29 |
| CN101080933A (zh) | 2007-11-28 |
| EP1829382A2 (en) | 2007-09-05 |
| WO2006064477A3 (en) | 2006-09-08 |
| EP1829382B1 (en) | 2008-06-18 |
| KR20070098864A (ko) | 2007-10-05 |
| ATE398892T1 (de) | 2008-07-15 |
| DE602005007634D1 (de) | 2008-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2308596T3 (es) | Sincronizacion de audio con video retardado. | |
| US7920209B2 (en) | Delay matching in audio/video systems | |
| US9232148B2 (en) | Image capture apparatus and zooming method | |
| EP2096625A1 (en) | Video display apparatus and video display method | |
| US7414698B2 (en) | Captioning system and method | |
| CN100571340C (zh) | 显示设备图像的拍摄方法 | |
| US10477167B2 (en) | Image processing apparatus and image processing method | |
| JP2008242111A (ja) | 表示装置及び表示装置の色補正方法 | |
| JP4387894B2 (ja) | 空間光通信システム用の送信装置および受信装置 | |
| JP2013114192A (ja) | 画像処理装置、制御プログラム、及び画像処理装置の制御方法 | |
| JP2007049269A (ja) | 表示画像撮影方法および表示画像撮影装置 | |
| JP2007164202A (ja) | 表示装置および映像信号処理装置 | |
| JP2011135445A (ja) | 画像投射装置 | |
| JP2006135381A (ja) | キャリブレーション方法およびキャリブレーション装置 | |
| US8339525B2 (en) | Projection device with brightness adjustment function and method thereof | |
| US7808556B2 (en) | Image processing device | |
| EP1047976A1 (en) | Projection system analyser and method | |
| JP2010130481A (ja) | 画像投射装置 | |
| GB2589650A (en) | Display apparatus and control method thereof | |
| JP4528858B2 (ja) | 画像表示装置及び出力画像補正方法 | |
| US20120105810A1 (en) | Projection device with brightness adjustment function and method thereof | |
| JP4940273B2 (ja) | 映像表示装置及び映像表示方法 | |
| KR101895495B1 (ko) | 휘도 및 컬러 조정을 이용한 고해상도 화면 마스킹 시스템 | |
| US11843872B2 (en) | Imaging apparatus, flicker detection method, and storage medium | |
| US20060013510A1 (en) | Glazing inspection |