ES2742280T3 - Sistema y procedimiento para el procesamiento de señales de vídeo y/o audio - Google Patents

Abstract

Sistema para procesar señales de vídeo y/o audio, en el que el sistema comprende una unidad (407) de control y dos o más unidades (401, 403, 405) de procesamiento, en el que la unidad (407) de control y las unidades (401, 403, 405) de procesamiento están conectadas en comunicación mutua mediante enlaces (410) de datos para intercambiar datos digitales en un formato de paquetes, en el que los enlaces de datos permiten latencias que son constantes, en el que los datos en paquetes representan señales de vídeo y/o audio y señales de comando comunicadas entre la unidad (407) de control y las dos o más unidades de procesamiento, en el que cada unidad de procesamiento está asociada con un programador (501, 503, 504) de comandos que reenvía señales (A, B, C) de comando a una etapa (CMD DEL) de retardo de la unidad de procesamiento asociada, en el que las etapas de retardo en diferentes unidades de procesamiento permiten la ejecución sincronizada de comandos entre múltiples unidades (401, 403, 405) de procesamiento mediante la compensación de las latencias de las señales de comando y las latencias introducidas por los tiempos de procesamiento.

Description

DESCRIPCIÓN

Sistema y procedimiento para el procesamiento de señales de vídeo y/o audio

Campo de la invención

La invención se refiere a un sistema y a un procedimiento para procesar señales de vídeo y/o audio. En particular, la invención se refiere al sistema según la reivindicación 1 y a un procedimiento según la reivindicación 6 para procesar señales de vídeo y/o audio.

Antecedentes de la invención

Las producciones de vídeo en directo, tales como las producciones de TV, se realizan en la actualidad usando mezcladores de visión. Los mezcladores de visión están disponibles comercialmente, por ejemplo, en las empresas Grass Valley, Sony, Snell & Wilcox y Ross.

Un mezclador de visión (denominado también conmutador de vídeo, mezclador de vídeo, conmutador de producción o simplemente mezclador) es un dispositivo usado para seleccionar entre diferentes señales de entrada de vídeo para generar una señal de salida de vídeo. Además de conmutar directamente entre dos señales de entrada, el mezclador de visión puede generar también diferentes tipos de transiciones. Conmutación directa significa que el fotograma N es de una primera señal de entrada y el fotograma N 1 es de una segunda señal de entrada. Las transiciones entre dos señales de entrada incluyen disoluciones simples y diversos tipos de transiciones con efectos. La mayoría de los mezcladores están equipados con compositores digitales (“keyers”) y generadores de máscaras para realizar operaciones de composición y generar señales de fondo que se denominan también máscaras.

El mezclador de visión realiza también el enrutamiento y la conmutación de las señales de audio que acompañan a las señales de vídeo. Sin embargo, debido a que el procesamiento de las señales de vídeo es más complejo que el procesamiento de las señales de audio, la presente solicitud de patente se centra en la señal de vídeo. Debe entenderse que, en el contexto de la presente solicitud de patente, el procesamiento de la señal de vídeo implica también un procesamiento correspondiente de una señal de audio acompañante. Solo en aras de una mejor inteligibilidad de la descripción de la presente invención, las señales de audio no siempre se mencionan además de las señales de vídeo.

Con el fin de permitir las múltiples funcionalidades de los mezcladores de visión, estos comprenden una gran cantidad de componentes de hardware para procesar las señales de vídeo. Los componentes del hardware de procesamiento están situados en una carcasa y están conectados con soluciones de buses locales con el fin de controlar todo el hardware de procesamiento de vídeo en tiempo real para cumplir con los requisitos de control rápido de las producciones en directo. En los mezcladores de visión actuales, hay una latencia de aproximadamente 40 ms entre el momento en el que un usuario presiona un botón hasta que la función asociada es ejecutada. Una latencia de 40 ms todavía se denomina procesamiento "en tiempo real".

El mezclador de visión comprende una electrónica de mezclado central, varios canales de entrada y al menos un canal de salida, una unidad de control y una interfaz de usuario. Dicho tipo de mezclador de visión se describe, por ejemplo, en el documento DE 10336214 A1.

La electrónica de mezclado está provista de hasta 100 o incluso más señales de entrada de vídeo al mismo tiempo. Las señales de entrada son señales de vídeo en directo desde cámaras, videoclips grabados desde un servidor, tales como material archivado, videoclips a cámara lenta desde servidores de cámara lenta dedicados, imágenes sintéticas, animaciones y símbolos alfanuméricos desde generadores gráficos.

Los dispositivos externos al mezclador de visión son controlados también desde el mezclador de visión por el usuario. Sin embargo, la integración de los dispositivos externos al entorno de control en directo de la misma manera que el hardware interno del mezclador de visión solo puede conseguirse con ciertas restricciones. Las restricciones son causadas por las latencias de señal más o menos aleatorias implicadas en las interconexiones de vídeo, audio y control. La razón es que el procesamiento global, incluyendo los dispositivos externos, no se comporta de la misma manera que si los componentes de hardware estuvieran conectados al mismo bus local de control, de vídeo y de audio. Específicamente, la latencia de control global está predeterminada solo dentro de una ventana de tiempo determinada, así como la latencia de señal global y la latencia de conmutación de señal. Las ventanas de tiempo oscilan desde varios fotogramas hasta segundos y no cumplen los requisitos para el comportamiento de control en tiempo real. Debido a que los retardos individuales pueden ser adicionalmente aleatorios, existe un cierto riesgo de que un conjunto de cambios que implican el mezclador de visión y los dispositivos externos no sean ejecutados de una manera sincronizada y produzcan fotogramas de audio y/o vídeo inconsistentes temporalmente. Este problema global de sincronización de varios dispositivos de procesamiento se resuelve en la actualidad mediante mecanismos que funcionan en dos etapas:

En primer lugar, los dispositivos externos que proporcionarán una determinada señal se preparan al menos algunos segundos antes del uso real de la señal. En segundo lugar, el mezclador de visión espera a la señal de estado preparado del dispositivo externo o, de manera alternativa, durante un período de tiempo seguro predeterminado antes de que la señal del dispositivo externo sea añadida a la secuencia en directo, es decir, a la secuencia de producción del mezclador de visión. El período de tiempo seguro predeterminado es lo suficientemente largo como para garantizar que el dispositivo externo esté preparado para ejecutar un comando.

El enfoque descrito de los mezcladores de visión del estado de la técnica requiere que el operador del mezclador de visión tenga en mente que algunos dispositivos de hardware deben ser preparados con la complicación adicional de que, de entre esos dispositivos de hardware que requieren preparación, cada uno debe ser preparado en su propia manera. Una desventaja inherente de este enfoque es que los dispositivos de hardware preparados están bloqueados durante el tiempo de espera y no están disponibles para procesar tareas. Por consiguiente, los mezcladores de visión actuales para producciones en directo contienen típicamente mucho más hardware del necesario para una producción en directo específica en términos de entradas de vídeo, salidas de vídeo y etapas de procesamiento, ya que el director de una producción de vídeo en directo normalmente desea ejecutar tantas funcionalidades de la producción como sea posible preferiblemente dentro de una infraestructura de procesamiento para conseguir todos los cambios deseados en la señal simultáneamente y en tiempo real.

Boutaba R et al: "Distributed Video Production: Tasks, Architecture and QoS Provisioning", publicado en Multimedia Tools and Applications, Kluwer Academic Publishers, Boston, EE. UU., Volumen 16, Número 1-2, 1 de Enero de 2002, páginas 99 a 136. Boutaba et al. abordan el problema del retardo, las variaciones de retardo y los requisitos de distorsión entre medios. Boutaba et al. afirman explícitamente que el rendimiento del retardo se mide en base a la variación del retardo o "fluctuación". La fluctuación es una medida de la diferencia en el retardo experimentado por diferentes paquetes en la red debido a la variación en la ocupación de la memoria intermedia en los nodos de conmutación intermedios. Otra forma de fluctuación es la fluctuación o "distorsión" entre secuencias, que mide la diferencia en el retardo tal como se observa en secuencias separadas pertenecientes a la misma aplicación (tal como audio y vídeo). Con el fin de garantizar una sincronización intra-secuencia apropiada, frecuentemente se requiere una baja variación de retardo. Boutaba et al. sugieren compensar la fluctuación almacenando en memoria intermedia las secuencias de datos. Esto requiere la provisión de memoria suficiente capaz de almacenar intervalos suficientemente largos de los datos de vídeo y de audio para compensar la fluctuación. En el caso de datos de vídeo de alta definición, esto requiere una gran capacidad de almacenamiento.

Tomando esto como un punto de partida, un objeto de la presente invención es proponer un enfoque alternativo para realizar producciones de vídeo en directo.

Sumario de la invención

La invención se define en las reivindicaciones independientes, mientras que realizaciones ventajosas se exponen en las reivindicaciones dependientes.

La invención permite dividir la capacidad de procesamiento de un mezclador de visión de gran tamaño en subunidades más pequeñas y distribuir los recursos de procesamiento a diferentes ubicaciones sin perder el comportamiento de procesamiento en tiempo real conocido de los mezcladores de visión de una única unidad. En otras palabras, la invención sugiere reemplazar un mezclador de visión único de gran tamaño por el sistema multi-sitio.

La invención se entenderá mejor con la lectura la descripción detallada con los dibujos adjuntos.

Breve descripción de los dibujos

En el dibujo, se ilustra una realización de la presente invención. Las características que son iguales en las figuras están etiquetadas con los mismos números de referencia o con números de referencia similares. El dibujo muestra:

En la Figura 1, un diagrama de bloques esquemático de un mezclador de visión convencional;

En las Figs. 2A y 2B, una ilustración esquemática del mezclador de visión mostrado en la Figura 1;

En las Figs. 3A a 3C, ejemplos de aplicación de un mezclador de visión en una producción de TV en directo;

En la Figura 4, un diagrama de bloques esquemático del sistema para el procesamiento de vídeo según la presente invención;

En la Figura 5, el diagrama de bloques de la Figura 4 más detalladamente; y

En la Figura 6, el diagrama de bloques de la Figura 4 más detalladamente según una realización alternativa.

Descripción detallada de una realización de la presente invención

La Figura 1 muestra un diagrama de bloques esquemático de un mezclador 100 de visión convencional que se denomina también, de manera concisa, mezclador. El mezclador 100 comprende una matriz de puntos de cruce o matriz 102 que tiene múltiples entradas de vídeo y múltiples salidas de vídeo simbolizadas mediante las flechas 103 y 104, respectivamente. Los mezcladores de visión profesionales están usando datos digitales de interfaz digital serie (Serial Digital Interface, SDI) para recibir o enviar datos de vídeo. Los datos digitales SDI comprenden también secuencias de audio integradas, datos auxiliares, datos de reloj y metadatos. En una secuencia de datos de 1,5 Gbit/s hay 16 canales de audio integrados y en una secuencia de datos de 3,0 Gbit/s hay 32 flujos de audio integrados. El mezclador 100 puede enviar y recibir datos digitales también en otros formatos, tales como datos de interfaz serie de alta definición (HD - SDI) y vídeo de componente digital. La matriz 102 está adaptada para conectar una cualquiera de las entradas de vídeo con una cualquiera de las salidas de vídeo en respuesta a un comando del usuario. Los canales de salida de la matriz 102 son proporcionados a un mezclador y a una etapa 105 de efectos de vídeo (etapa M/E) que se denomina también nivel de mezclador. La señal de salida de vídeo procesada por la etapa 105 M/E se indica con una flecha 106. Las funcionalidades del mezclador 100 son controladas por medio de una unidad 107 de entrada a la que el usuario puede introducir comandos de control para controlar y ejecutar el procesamiento de las señales de vídeo de entrada y para crear y producir una señal de salida de vídeo deseada. La unidad 107 de entrada transfiere los comandos de control a través del bus 108 de datos y de control a una unidad 109 de control. La unidad 109 de control interpreta los comandos introducidos por el usuario y emite las señales de comando correspondientes a la matriz 102 y a la etapa 105 M/E. Para este propósito, la unidad 109 de control está conectada con la matriz 102 y la etapa 105 M/E con los buses 111 y 112 de datos y de control, respectivamente. Los buses 108, 111 y 112 son buses bidireccionales que permiten mensajes de retorno a la unidad 109 de control y a la unidad 107 de entrada. Los mensajes de retorno proporcionan retroalimentación del estado operativo de la matriz 102 y de la etapa 105 M/E. La unidad 107 de entrada muestra indicadores de estado que reflejan el estado operativo del mezclador 100 para la información del usuario.

Las Figuras 2A y 2B muestran el mezclador 100 de la Figura 1 más detalladamente.

La Figura 2A muestra que la matriz 102 tiene ocho canales 103a - 103h de entrada de vídeo y cuatro canales 104a -104d de salida de vídeo. La matriz 102 permite al usuario conmute de manera selectiva cualquiera de los canales 103a -103h de entrada de vídeo a uno cualquiera de los canales 104a - 104d de salida de vídeo. En la situación mostrada en la Figura 2A, el canal 103a de entrada de vídeo está conectado con el canal 104d de salida de vídeo. La conexión se simboliza en la Figura 2A con una pequeña cruz en el punto 201 de conexión. De manera similar, el canal 103c de entrada de vídeo está conectado con el canal 104b de salida de vídeo, el canal 103e de entrada de vídeo con el canal 104c de salida de vídeo y el canal 103h de entrada de vídeo con el canal 104a de salida de vídeo. Frecuentemente, no todos los canales de entrada de vídeo están conectados con un canal de salida de vídeo. En la nomenclatura habitual, la matriz 102 mostrada en la Figura 2A se denomina matriz de 8 x 4. Un mezclador de visión en un entorno de producción moderno puede incorporar una matriz de 256 x 256, convirtiendo la operación del mezclador de visión moderno en una tarea complicada y exigente que se explicará más detalladamente con relación a la Figura 2B. La matriz 102 es una matriz SDI dedicada y, por lo tanto, un dispositivo costoso.

La Figura 2B muestra la interfaz de usuario física del mezclador 100 de la Figura 1. La conmutación de uno de los canales 103a - 103h de entrada de vídeo a uno de los cuatro canales 104a - 104d de salida de vídeo es ejecutada por el usuario accionando un pulsador 211. Tal como se muestra en la Figura 2B, hay 32 pulsadores 211 disponibles que están dispuestos en cuatro líneas y ocho columnas. Cada línea de pulsadores 211 está asociada a un canal de salida de vídeo específico, mientras que cada columna de pulsadores 211 está asociada a uno de los ocho canales de entrada de vídeo. Los cuatro canales de salida de vídeo forman dos pares de canales de salida de vídeo. Cada par de canales de salida de vídeo es proporcionado a una etapa 212a y 212b M/E, respectivamente. Las etapas 212a y 212b M/E son operadas por palancas 213a y 213b de efectos y pulsadores 214 de selección. En la práctica, la señal de salida de la primera etapa 212a M/E es utilizada a veces como una nueva señal de entrada para la segunda etapa 212b M/E, o viceversa. En una matriz 216 de entrada de parámetros, el usuario puede introducir parámetros que determinan los efectos de vídeo a ser ejecutados. Dichos efectos de vídeo son diferentes tipos de transiciones con efectos, tales como una transición horizontal o vertical, la rotación de una nueva imagen y la determinación de la nitidez de la transición entre dos transmisiones de vídeo diferentes. Finalmente, hay un denominado compositor 217 digital aguas abajo que es usado para añadir mensajes de texto en la imagen de vídeo final. Cabe señalar que el mezclador de visión en la Figura 2B está muy simplificado. Los mezcladores de visión modernos están provistos de muchos más canales de entrada y salida de vídeo, tal como se ha indicado anteriormente, y comprenden hasta ocho compositores digitales aguas abajo. Por consiguiente, dicho mezclador de visión moderno está provisto de más de 1.000 pulsadores. Obviamente, un mezclador de visión moderno es un dispositivo de hardware complicado y costoso que es difícil de operar. La complejidad de los mezcladores de visión convencionales requiere usuarios bien entrenados. Irónicamente, algunas veces, los usuarios no están suficientemente capacitados para ahorrar costes de aprendizaje. Pero, consecuentemente, muchas funciones del costoso equipo permanecen sin ser usadas debido a que los usuarios no son conscientes de todas las funciones.

Las Figuras 3A, 3B y 3C ilustran un ejemplo de aplicación de un mezclador de visión en una producción de TV en directo. En la Figura 3A, un presentador 301 de un programa de noticias se muestra delante de una imagen insertada de un parlamento 302 con el que están relacionadas las noticias. El presentador 301 de las noticias es insertado como composición de croma (“chroma key”) en el fondo. Para habilitar la tecnología composición de croma, el presentador de noticias es filmado por una cámara delante de un fondo monocromático, normalmente en color azul o verde. La configuración para esta toma se conoce como “Bluebox” o “Greenbox”. En la etapa de composición de croma, el fondo monocromático se elimina y el presentador es recortado de esta imagen y es superpuesto sobre un fondo diferente. Una etapa M/E o nivel de mezclado genera la composición de la imagen principal con una imagen de fondo e imágenes de primer plano. Las imágenes de primer plano son preparadas por una etapa de procesamiento de vídeo que se denomina "compositor digital" y se muestran delante de la imagen de fondo.

En la Figura 3B se muestra una situación de entrevista típica delante de un fondo gráfico. Hay imágenes más pequeñas del entrevistador 303 y de la persona 304 entrevistada. El entrevistador 303 y la persona 304 entrevistada son imágenes de primer plano.

La Figura 3C muestra un vídeo clip con una persona 305 entrevistada como fondo y un texto insertado con el nombre de la persona entrevistada como una composición 306 digital en primer plano.

El mezclador de visión puede generar composiciones de imagen cada vez más complejas cuanto más compositores digitales, generadores de trucos y canales de efectos de vídeos digitales comprenda el mezclador de visión. La complejidad determina la cantidad de hardware que se requiere para el mezclador de visión. El término "imagen" se usará a continuación como un término más general para todos los diferentes tipos de señales de vídeo indicados anteriormente.

El control de una producción de vídeo completa está situado en una sala de control. En la sala de control, todas las señales de vídeo son mostradas en una pared de pantallas. El director en la sala de control decide qué señal o composición de imágenes es transmitida en cualquier momento.

La Figura 4 muestra un diagrama de bloques esquemático de la arquitectura del sistema para procesar señales de vídeo y/o de audio según la presente invención. La arquitectura del sistema de la invención permite construir la plataforma de hardware sobre componentes de tecnología IT estandarizados, tales como servidores, unidades de procesamiento gráfico (Graphical Processing Unit, GPU) y enlaces de datos de alta velocidad. Típicamente, estos componentes IT estandarizados son menos costosos que los componentes de equipos de transmisión dedicados. Además de la ventaja de coste, la presente invención se beneficia automáticamente del progreso tecnológico en el área de los componentes IT indicados anteriormente. En el sistema de la invención, el hardware de procesamiento de vídeo se divide en unidades de procesamiento de vídeo más pequeñas y flexibles y combina interconexiones de control, vídeo y audio dedicadas en un enlace de datos lógico entre las unidades de procesamiento individuales. Los enlaces de datos están diseñados de manera que tengan una relación temporal fiable y constante. Las unidades de procesamiento individuales trabajan independientemente lo más rápido posible para conseguir o incluso superar el comportamiento de procesamiento en tiempo real. Tal como se ha indicado anteriormente, el comportamiento en tiempo real corresponde a una latencia de señal de aproximadamente 40 ms. El sistema de producción comprende esas unidades de producción individuales que están conectadas con enlaces de datos. El sistema garantiza que se consiga un comportamiento en tiempo real de la producción global con procesamiento simultáneo y genera una señal PGM - OUT de producción consistente. Para este propósito, se consideran los retardos individuales conocidos para la transferencia de las señales de control, vídeo y audio entre las diferentes unidades de producción. Típicamente, los enlaces de datos están basados en una conexión de datos de alta velocidad, bidireccional, fiable, tal como LAN o WAN. Este concepto general se describe más detalladamente a continuación.

En el sistema de procesamiento de vídeo según la presente invención, el hardware de procesamiento de vídeo está organizado en las unidades 401, 403, 405 y 407 de procesamiento según la distribución geográfica de una producción, es decir, según la distribución geográfica de los recursos que permiten la producción, tal como se muestra esquemáticamente en la Figura 4. El núcleo técnico de cada unidad de procesamiento es un servidor, una o varias unidades de procesamiento gráfico (GPUs) y conexiones de enlace de datos de alta velocidad operadas por una infraestructura de aplicación de procesamiento y algoritmos dedicados. La infraestructura de aplicación de procesamiento y los algoritmos están realizados en software. Los algoritmos son adaptables y ampliables para realizar también otras funcionalidades que van más allá de las funcionalidades de los mezcladores de visión convencionales. Las señales de vídeo son procesadas por las GPUs en tarjetas gráficas disponibles comercialmente. Por lo tanto, según la invención, el procesamiento de vídeo convencional por hardware dedicado es reemplazado por software que es ejecutado en componentes de IT estandarizados. Todas las capacidades de procesamiento de las GPUs están disponibles y permiten nuevos efectos de vídeo. Sin embargo, esto no es objeto de la presente invención.

El operador controla toda la producción como si estuviera en un único sitio de producción en una única unidad de producción al lado de la sala de control. Todo el proceso de producción es trasladado desde el enrutamiento de vídeo/audio y control dedicado a enlaces de datos comunes. El hardware de cableado individual, tal como conexiones SDI, es reemplazado por redes de datos estandarizadas. El enrutamiento de todas las señales en las redes de datos es bidireccional y las señales de salida de producción y de monitorización, tales como las salidas multi-visión dedicadas, pueden ser enrutadas a cualquier unidad de producción que esté conectada en la red sin costes de cableado adicionales.

Las redes de datos de alta velocidad están cada vez más disponibles no solo en los sitios de producción de vídeo, tales como estudios de cine o de televisión, sino también en redes de distribución de área amplia, por ejemplo, múltiplo de 10 G Ethernet o Infiniband.

En los estudios, la interconexión en red de vídeo profesional significa que el contenido de vídeo es transferido sin comprimir. Para los formatos de HDTV 1080i/720p, se requieren velocidades de datos de 1,5 Gbit/s en un entorno de estudio en el que se usan datos de audio y vídeo sin comprimir. Para el formato HD 1080p, se requiere una velocidad de datos neta de incluso 3,0 Gbit/s.

Por ejemplo, EP 1936908 A1 describe un procedimiento, un aparato y un contenedor de datos para transferir datos de audio/vídeo de alta resolución de manera eficiente en una red IP. Para este propósito, los datos de vídeo/audio de alta resolución se integran eficientemente en paquetes RTP (Real-Time transport Protocol, protocolo de transporte en tiempo real). Para transportar de manera eficiente la secuencia de vídeo y audio, se utiliza el formato de intercambio de imágenes en movimiento digital (Digital Moving-Picture Exchange, DPX).

Con referencia de nuevo a la Figura 4, cada bloque representa una de las unidades de procesamiento distribuidas que pertenecen al sistema al que se hace referencia, en su totalidad, con el número de referencia 400. En la realización ejemplar mostrada en la Figura 4, la unidad 401 de procesamiento está situada en un estadio de fútbol en Frankfurt. La unidad 401 de procesamiento recibe como fuentes 402 locales señales de las cámaras desde el estadio, vídeo en cámara lenta desde un servidor local de cámara lenta y eventualmente señales de audio y vídeo desde una entrevista que tiene lugar localmente. La unidad 403 de procesamiento está situada también en Frankfurt, pero no necesariamente en el mismo lugar que la unidad 401 de procesamiento. La unidad 403 de procesamiento recibe señales desde las cámaras como fuentes 404 locales desde un moderador en directo y una sala de entrevistas. La unidad 405 de procesamiento está situada en Berlín y representa la sala de procesamiento principal que proporciona potencia de procesamiento adicional para la producción en curso, así como acceso a archivos y servidores donde se almacenan, por ejemplo, videoclips publicitarios. Los archivos y los servidores se indican como fuentes 406 locales. Las fuentes 402, 404 y 406 locales proporcionan las señales de vídeo y/o audio como SDI o datos de transmisión. Finalmente, hay una unidad 407 de procesamiento que representa la unidad de control en directo (Live Control Unit, LCU) situada en Munich desde donde es controlada y monitorizada la producción en directo. El resultado de la producción sale de las unidades 403 y 405 de procesamiento como señales 408 y 409 de salida de vídeo y audio PGM - OUT para su transmisión. Las unidades 401, 403, 405 y 407 de procesamiento están interconectadas entre sí con enlaces 410 de datos de alta velocidad, bidireccionales, fiables, tal como se muestra en la Figura 4. Los enlaces 410 de datos permiten la comunicación entre las unidades 401, 403, 405 y 407 de procesamiento y proporcionar retardos de señal constantes y conocidos entre las unidades de producción que se expondrán más detalladamente a continuación. Cabe señalar que los enlaces 410 de datos de alta velocidad representan enlaces de datos lógicos que son independientes de una realización de hardware específica. Por ejemplo, los enlaces 410 de datos pueden realizarse con un conjunto de varios cables. En la situación mostrada en la Figura 4, los enlaces 410 de datos son una red de área amplia (Wide Area Network, WAN) con protocolo de Internet (Internet Protocol, IP). En una WAN, deben tomarse medidas especiales para garantizar que los paquetes de datos sean recibidos en la misma secuencia en la que se han enviado a través de la red para cumplir con los requisitos de procesamiento de vídeo. Pueden tomarse medidas apropiadas a nivel de protocolo y/o de hardware de la red.

Un ejemplo para un enlace de datos de alta velocidad a través de Internet se describe en el documento EP 2077647 A1. El procedimiento conocido permite derivar el tiempo de ida y vuelta (Round Trip Time, RTT) de un paquete de datos o el retardo unidireccional (One-Way Delay, OWD). El tiempo de ida y vuelta (RTT) o el tiempo de retardo de ida y vuelta (Round Trip Delay, RTD) es el tiempo necesario para el envío de un paquete de datos más el tiempo necesario para recibir un acuse de recibo de ese paquete de datos. Por lo tanto, este retardo de tiempo consiste en los tiempos de transmisión entre los dos puntos de una señal. El valor de retardo unidireccional (valor OWD) se calcula entre dos puntos A y B sincronizados de una red IP y es el tiempo en segundos que necesita un paquete para pasar a través de la red IP desde A hasta B. Los paquetes transmitidos deben ser identificados en el origen y en el destino con el fin de evitar pérdidas de paquetes o una reordenación de los paquetes.

La presente invención usa, por ejemplo, un procedimiento de transmisión de datos sobre enlaces 410 de datos según los documentos EP 2 107 708 A1 y/o EP 1 936 908 A1. Ambos procedimientos permiten retardos de señal estables y constantes entre las unidades de procesamiento. En la presente invención, los valores RTT y OWD son usados para ajustar los retardos de señal individuales en cada una de las unidades de procesamiento para garantizar que las señales de comando sean ejecutadas de manera sincronizada y que el sistema se comporte como un único mezclador de visión de gran tamaño.

Un enfoque alternativo para una red IP usada en el entorno de difusión se ha publicado en el artículo "Feasibility of Building an All-IP network - the BBC NGN Project" de Martin Nicholson, Steve Westlake y Yuan-Xing Zheng, publicado en EBU Technical Review 2012 Q1 (ISSN: 1609 -1469).

Las tecnologías conocidas hacen posible transferir todas las señales de producción, tales como señales de vídeo y audio, así como señales de comando, en el mismo enlace de datos lógico. La ejecución de una señal de comando ocurre de manera sincronizada, tal como se describirá a continuación.

Es una ventaja que la infraestructura de red IP no se vuelva obsoleta cuando lleguen los próximos avances en la tecnología de transmisión, tales como HDTV progresiva, TV 3D o TV de ultra alta definición. Solo es necesario proporcionar velocidades de datos más altas.

La Figura 5 muestra el sistema 400 de procesamiento de vídeo de la Figura 4 con énfasis especial en los detalles de sincronización. Las unidades 401, 403 y 405 de procesamiento reciben señales de vídeo desde fuentes 402, 404 y 406 locales que son procesadas localmente y/o simplemente son reenviadas a unidades de procesamiento situadas aguas abajo adicionales. Las fuentes 402, 404 y 406 externas locales son entradas SDI o secuencias de datos de vídeo. En general, una unidad de procesamiento aguas abajo es una unidad de procesamiento que está más cerca de la salida del sistema 400 de procesamiento. En el contexto de la realización específica mostrada en la Figura 5, las unidades 403 y 405 de procesamiento están aguas abajo con relación a la unidad 401 de procesamiento, ya que las primeras proporcionan la señal 408 y 409 de salida de producción PGM - OUT.

El sistema 400 de producción es controlado por un usuario desde la unidad 407 de control en directo que envía señales de comando. Específicamente, la unidad 407 de control en directo (LCU) envía un comando A de control a la sala 405 de control principal de Berlín (BMCR, unidad 405 de procesamiento) que es recibida por un programador 501 de comandos. El programador 501 de comandos detecta que la señal A de comando afecta solo al procesamiento de las señales de vídeo en la sala 405 de control principal de Berlín. Por lo tanto, el programador 501 de comandos transfiere la señal A de comando solo a una etapa CMD DEL de retardo del procesador 502 de vídeo y audio. La etapa CMD DEL de retardo tiene tres entradas diferentes que están etiquetadas con 0, 1 y 2. Cada una de las entradas está asociada con un retardo de señal en el que la entrada etiquetada con 0 no tiene esencialmente retardo, la entrada etiquetada con 1 tiene un retardo medio, y la entrada etiquetada con 2 tiene el retardo más largo. Debido a que ninguna otra unidad de procesamiento necesita ser sincronizada con la unidad 405 de procesamiento para la ejecución del comando A de control, es proporcionada a la entrada "0" de la etapa CMD DEL de retardo. Por consiguiente, la señal A de comando es ejecutada en tiempo real y, por lo tanto, la salida (PGM - OUT) del programa se ve afectada también en tiempo real.

La unidad 407 de control en directo envía también un comando B de control a la sala 405 de control principal de Berlín. El programador 501 de comandos detecta que el comando B tiene dos destinatarios, concretamente, la sala 405 de control principal de Berlín y la unidad 403 de procesamiento en Frankfurt. Por lo tanto, el programador 501 de comandos reenvía el comando B o al menos una parte del comando B inmediatamente a la unidad 403 de procesamiento en Frankfurt. La transmisión de la señal B de comando desde el programador 501 de comandos de la unidad 405 de procesamiento al programador 503 de comandos de la unidad 403 de procesamiento requiere un tiempo de transmisión adicional. De manera similar, la transmisión de una señal de vídeo entre las unidades 403 y 405 de procesamiento requiere también un tiempo de transmisión adicional debido a que todas las señales son transmitidas a través del mismo enlace 410 de datos lógico (Figura 4). Además de eso, la ejecución de un comando requiere un tiempo de procesamiento de 20 ms a 40 ms. Por ejemplo, si el resultado de la unidad 403 de procesamiento es necesario como una entrada para la unidad 405 de procesamiento, entonces el tiempo de procesamiento para ejecutar la señal B de comando debe tenerse también en cuenta. En general, debe considerarse el tiempo de procesamiento de las señales de comando para obtener una sincronización apropiada entre las unidades de procesamiento. Sin ninguna acción adicional, la señal B de comando sería ejecutada en la unidad 403 de procesamiento más tarde que en la unidad 405 de procesamiento. Esto conduciría claramente a una perturbación de la señal de producción. Por lo tanto, la señal B de comando es retardada en la unidad 405 de procesamiento exactamente la misma cantidad de tiempo que se requiere para la transmisión y la ejecución de la señal B de comando desde el programador 501 de comandos al programador 503 de comandos de la unidad 403 de procesamiento más el tiempo de transmisión de la señal de vídeo entre los procesadores 505 y 502 de vídeo/audio. Por lo tanto, por una parte, la señal B de comando está conectada con la entrada 1 de la etapa CMD DEL de retardo del procesador 502 de vídeo/audio de la unidad 405 de procesamiento. Por otra parte, la señal B de comando está conectada con la entrada 0 de la etapa CMD DEL de retardo del procesador 505 de vídeo y audio de la unidad 403 de procesamiento. Como resultado, la señal B de comando no es ejecutada al mismo tiempo en las unidades 403 y 405 de procesamiento debido a que la configuración de la etapa CMD DEL de retardo del procesador 405 de vídeo/audio compensa las latencias de las señales de vídeo y de comando y las latencias introducidas por los tiempos de procesamiento.

Finalmente, la señal C de comando es dirigida a las tres unidades 401, 403 y 405 de procesamiento. La latencia de señal más larga para la transmisión de la señal C de comando ocurre entre el programador 501 de comandos y el programador 504 de comando en la unidad 401 de procesamiento. Una latencia de señal más corta ocurre para la transmisión de la señal C de comando desde el programador 501 de comandos al programador 503 de comandos en la unidad 403 de procesamiento. De manera similar, hay latencias diferentes para la transmisión de las señales de vídeo entre las unidades 401, 403 y 405 de procesamiento. El procesamiento de la señal C de comando requiere además de 20 ms a 40 ms de tiempo de procesamiento. Con el fin de garantizar que la ejecución de la señal C de comando resulte en una salida PGM - OUT de vídeo consistente, la señal C de comando no es retardada en la unidad 401 de procesamiento, es retardada en la unidad 403 de procesamiento y es retardada incluso más en la unidad 405 de procesamiento. Los diferentes retardos (nulo, medio, retardo máximo) se ilustran en la Figura 5 conectando la señal C de comando a la entrada 0 de la etapa CMD DEL de retardo del procesador 506 de vídeo/audio, a la entrada 1 de la etapa CMD DEL de retardo del procesador 505 de vídeo/audio y a la entrada 2 de la etapa CMD DEL de retardo del procesador 502 de vídeo/audio.

El tiempo de procesamiento requerido para ejecutar un comando en los procesadores 502, 505 y 506 de vídeo/audio no depende de la complejidad del procesamiento. El tiempo de procesamiento necesario para cada comando es esencialmente constante.

Cabe señalar que los retardos de comando no son necesariamente los mismos en las tres unidades 401, 403 y 405 de procesamiento diferentes. Los retardos de comando son determinados midiendo la señal de vídeo y las latencias de la señal de comando entre las tres unidades de procesamiento diferentes durante la configuración del sistema antes de que sea usado en la producción. La provisión de tres retardos de comando diferentes en cada unidad de procesamiento es suficiente para compensar los diferentes retardos de señales cuando las señales son transferidas entre las tres unidades de procesamiento. Si el sistema implica más de tres unidades de procesamiento en diferentes ubicaciones, entonces el número de retardos de señal diferentes debe aumentarse correspondientemente.

Entre las unidades 401,403 y 405 de procesamiento, las señales de vídeo y audio son intercambiadas como secuencias de producción. Las fuentes locales pueden ser intercambiadas entre la unidad 401 y 403 de producción a través de la conexión 507 de secuencia de producción. Otras conexiones 508 y 509 de secuencia de producción son enrutadas desde la unidad 401 y 403 de procesamiento respectivamente a la unidad 405 de procesamiento. Una secuencia 510 de monitorización de producción es enrutada desde la unidad 405 de procesamiento a la unidad 407 de control en directo para el control de toda la producción en directo, así como de las fuentes 402, 404 y 406 locales, por parte de un director de producción. De manera similar, hay una secuencia 511 de monitorización de retroalimentación dirigida a la unidad 403 de procesamiento. La secuencia 511 de monitorización de retroalimentación es mostrada, por ejemplo, localmente en una pared de pantallas multi-visión. Todas las conexiones de señales de vídeo y audio, así como las conexiones de señales de comando mostradas en la Figura 5 son establecidas mediante enlaces 410 de datos lógicos (Figura 4). Una consecuencia de esto es, por ejemplo, que la salida PGM - OUT de producción o cualquier secuencia de monitorización puede ser enrutada a cualquier unidad de procesamiento. El sistema de la presente invención es completamente flexible en este sentido.

En el contexto de la presente invención, las expresiones "al mismo tiempo" y "simultáneamente" no deben entenderse en el sentido matemático. Estas expresiones significan que la ejecución de comandos en diferentes unidades de procesamiento no produce un fotograma de audio o vídeo inconsistente. La expresión "tiempo real" significará que la sincronización y la ejecución de un comando tienen lugar en menos de aproximadamente 40 ms.

Tal como se ha indicado anteriormente, los retardos de señal introducidos por las etapas de retardo deben ser adaptados cuando se configura el sistema de procesamiento. Después de su configuración, el sistema distribuido se comporta como un sistema de gran tamaño que tiene todo el hardware situado en un único sitio.

La Figura 6 muestra una realización alternativa del sistema de producción de vídeo de la invención. La diferencia entre las realizaciones mostradas en las Figuras 5 y 6 es que en la realización de la Figura 6 las señales A, B y C de comando son enviadas directamente a las unidades 401, 403 y 405 de procesamiento desde un programador 601 de comandos en la unidad 407 de procesamiento La sincronización de las unidades 401, 403 y 405 de procesamiento se consigue de una manera similar a la que se ha descrito ya con referencia a la Figura 5 y no es necesario repetirla. En la realización mostrada en la Figura 6, el programador 601 de comandos desempeña el mismo papel con relación a la sincronización de las unidades 401,403 y 405 de procesamiento que el programador 501 de comandos en la realización mostrada en la Figura 5.

En una realización adicional de la presente invención, las unidades 401 y 403 de procesamiento no están provistas del programador 506 y 503 de comandos, respectivamente, y ejecutan las señales B y C de comando inmediatamente. Por consiguiente, las señales de vídeo desde las unidades 401 y 403 de procesamiento no están disponibles simultáneamente en la unidad 405 de procesamiento y su procesador 502 de vídeo/audio. Las unidades 401 y 403 de procesamiento comunican los datos de vídeo contenidos en las secuencias de vídeo a la unidad 405 de procesamiento cuando han completado la ejecución de las señales B y C de comando. Solo entonces, la unidad 405 de procesamiento continúa con el procesamiento final. En otras palabras, en esta realización, cada unidad de procesamiento ejecuta señales de comando lo más rápido posible, pero comienza con el procesamiento solo después de haber recibido todas las señales de entrada necesarias, incluyendo señales de comando, las señales de vídeo y/o audio.

En otra realización de la presente invención, varias unidades de procesamiento son conectadas en la misma ubicación mediante una red de área local (Local Area Network, LAN) si la potencia de procesamiento de una única unidad de procesamiento no es suficiente para realizar una producción de vídeo compleja. Las latencias de señal entre las unidades de procesamiento en la misma ubicación conectada mediante una LAN son insignificantes. Sin embargo, todavía es necesario compensar las latencias causadas por el tiempo necesario para el procesamiento de las señales con el fin de sincronizar las diversas unidades de procesamiento. Las unidades de procesamiento interconectadas producen las composiciones de imagen que se necesitan para la producción de vídeo.

En todavía otra realización de la presente invención, la sincronización de las mútiples unidades de procesamiento se consigue retardando la transmisión de las señales de vídeo. En esta realización, las unidades de procesamiento están provistas de memoria suficiente para almacenar las señales de vídeo.

Finalmente, cabe señalar que la unidad de procesamiento según la presente invención está provista también de una interfaz de entrada/salida de vídeo SDI convencional, de manera que la unidad de procesamiento sea compatible con la infraestructura de transmisión existente.

El sistema según la presente invención es escalable. El número de unidades de procesamiento interconectadas con enlaces 410 de datos puede ser adaptado a las necesidades de procesamiento requeridas realmente para la producción de vídeo en directo específica. La escalabilidad proporciona mucha flexibilidad para los productores de producciones de vídeo en directo. Esta flexibilidad permite proporcionar potencia de procesamiento suficiente incluso para producciones de vídeo en directo complejas mediante la conexión de un número suficiente de unidades de procesamiento. Al mismo tiempo, las producciones de vídeo más simples no bloquean innecesariamente el hardware, como es el caso en los sistemas de producción de vídeo convencionales.

Lista de números de referencia

100 mezclador de visión

102 matriz de puntos de cruce

103 señales de entrada

104 señales de salida

105 etapa de mezclado y efectos de vídeo

106 procesar señal de salida de vídeo

107 unidad de entrada

108 bus de control

109 unidad de control

111 caja de control

112 caja de control

201 punto de conexión

211 pulsador

etapa M/E

213a, 213b palancas de efecto

214 pulsadores de selección

216 matriz de entrada de parámetros

217 compositor digital aguas abajo

301 presentador de noticias

302 imagen insertada

303 entrevistador

05 persona entrevistada

306 compositor digital

sistema de procesamiento

unidad de procesamiento

fuentes externas

unidad de procesamiento

fuentes externas

unidad de procesamiento

fuentes locales

unidad de procesamiento

, 409 señales de salida

enlaces de datos

,503, 504 programador de comandos

, 505, 506 procesamiento de vídeo y audio

, 508, 509 conexión de secuencia de producción secuencia de monitorización de producción secuencia de monitorización de retroalimentación programador de comandos

Claims (6)

REIVINDICACIONES

1. Sistema para procesar señales de vídeo y/o audio, en el que el sistema comprende una unidad (407) de control y dos o más unidades (401, 403, 405) de procesamiento, en el que la unidad (407) de control y las unidades (401, 403, 405) de procesamiento están conectadas en comunicación mutua mediante enlaces (410) de datos para intercambiar datos digitales en un formato de paquetes, en el que los enlaces de datos permiten latencias que son constantes, en el que los datos en paquetes representan señales de vídeo y/o audio y señales de comando comunicadas entre la unidad (407) de control y las dos o más unidades de procesamiento, en el que cada unidad de procesamiento está asociada con un programador (501, 503, 504) de comandos que reenvía señales (A, B, C) de comando a una etapa (CMD DEL) de retardo de la unidad de procesamiento asociada, en el que las etapas de retardo en diferentes unidades de procesamiento permiten la ejecución sincronizada de comandos entre múltiples unidades (401, 403, 405) de procesamiento mediante la compensación de las latencias de las señales de comando y las latencias introducidas por los tiempos de procesamiento.

2. Sistema según la reivindicación 1, en el que la unidad de procesamiento o las mútiples unidades (401, 403, 405) de procesamiento comprenden una o varias unidades de procesamiento gráfico (GPUs).

3. Sistema según la reivindicación 1, en el que el sistema está adaptado para determinar las latencias de las señales transmitidas a través de los enlaces (410) de datos.

4. Sistema según una o varias de las reivindicaciones 1 a 3, en el que una unidad (405) de procesamiento que ejecuta la última etapa de procesamiento de las señales de vídeo y/o audio está adaptada para ejecutar esta última etapa de procesamiento solo después de que esta unidad (405) de procesamiento haya recibido todas las señales de entrada necesarias desde otras unidades (401,403) de procesamiento del sistema.

5. Sistema según la reivindicación 1, en el que la unidad (407) de control comprende una unidad de procesamiento.

6. Procedimiento de procesamiento de señales de vídeo y/o audio utilizando una unidad de control y múltiples unidades (401, 403, 405, 407) de procesamiento, que están conectadas en comunicación mutua mediante enlaces (410) de datos para intercambiar datos digitales en un formato de paquetes, en el que los enlaces (410) de datos permiten latencias que son constantes y en el que el procedimiento comprende las siguientes etapas:

- recibir señales de vídeo en las unidades (401, 403, 405) de procesamiento;

- enviar señales de vídeo desde las unidades (401, 403, 405) de procesamiento;

- enviar señales (A, B, C) de comando desde la unidad (407) de control a una o varias unidades (401, 403, 405) de procesamiento; en el que el procedimiento está caracterizado por

- programar la ejecución de las señales de comando recibidas en las unidades (401, 403, 405) de procesamiento mediante la introducción de un retardo o varios retardos para las señales de comando para compensar las latencias de señal causadas por la comunicación de las señales entre la unidad (407) de control y una unidad de procesamiento y/o entre dos unidades de procesamiento y para compensar las latencias causadas por el procesamiento de señales en las unidades (401,403, 405) de procesamiento.