ES2843477T3

ES2843477T3 - Método y sistema para fusionar flujos de vídeo

Info

Publication number: ES2843477T3
Application number: ES09166539T
Authority: ES
Inventors: Gal Oz; Danielle Shor; Michael Tamir; Michael Birnboim
Original assignee: Sportvu Ltd
Current assignee: Sportvu Ltd
Priority date: 2008-09-07
Filing date: 2009-07-28
Publication date: 2021-07-19
Anticipated expiration: 2029-07-28
Also published as: US8395711B2; EP2161925A2; IL199338A; EP2161925A3; US20100060793A1; WO2010026496A1; EP2161925B1; PT2161925T

Abstract

Un sintetizador de punto de vista para incorporar dentro de una producción de vídeo de una primera escena un objeto capturado en una segunda escena, los flujos de vídeo que capturan dicha primera escena que se proporcionan por uno o más proveedores de imágenes, cada proveedor de imágenes que está asociado con una configuración de punto de vista, los flujos de vídeo que capturan dicha segunda escena proporcionados por una o más cámaras de vídeo, el sintetizador adaptado para: (a) recibir uno o más parámetros asociados con la configuración de punto de vista del uno o más proveedores de imágenes que capturan la primera escena; y (b) convertir flujos de vídeo de dicha segunda escena que se capturan por al menos una de las cámaras de vídeo en flujos de vídeo que se ajustan a la configuración de punto de vista de uno de los proveedores de imágenes según el uno o más parámetros recibidos, en donde el sintetizador está vinculado a medios para separar al menos una parte de dicha segunda escena de otras partes de dicha segunda escena y medios para integrar dicha al menos una parte de dicha segunda escena en los flujos de vídeo de dicha primera escena.

Description

DESCRIPCIÓN

Método y sistema para fusionar flujos de vídeo

Referencia cruzada a solicitudes relacionadas

Esta solicitud reivindica el beneficio de la solicitud provisional de EE.UU. N° Ser. 61/094.913 presentada el 7 de septiembre de 2008 por Gal Oz, Danielle Shor, Michael Tamir y Michael Bimboim, que son los inventores de la presente solicitud.

Antecedentes de la invención

Campo de la invención

La invención está en el campo de la producción de estudios de televisión en directo y, más particularmente, en la incorporación de vídeo real de objetos remotos en la filmación generada en el estudio.

Descripción de la técnica relacionada

Actualmente, en entrevistas en directo con un participante remoto, el vídeo remoto se inserta en una ventana separada en el cuadro usando un dispositivo de estudio estándar conocido como Dispositivo de Efectos de Vídeo Digital (DVE). De este modo, el participante remoto parece estar en un lugar separado. No obstante, se desea integrar objetos remotos en el estudio real de manera que estén aparentemente presentes en el estudio. Tal integración se puede hacer o bien sin discontinuidad para una apariencia realista, o resaltada o manipulada de manera intencionada para producir una apariencia virtual tal como en un “holograma de la guerra de las galaxias”. Con este objetivo, el objeto remoto debería adquirir los mismos cambios que ocurren en los objetos presentes en el estudio cuando la cámara de estudio está moviéndose, hace una panorámica, se inclina o hace zum mientras que se captura la escena de estudio. La cámara de estudio puede tener hasta siete grados de libertad - traslación (x, y, z), rotación (panorámica, inclinación, balanceo) y zum. Un cambio en el valor de cada uno de estos parámetros implica inmediatamente una perspectiva u otro cambio en la apariencia de los objetos del estudio en el vídeo. La imagen del objeto remoto debería cambiar en consecuencia como si el objeto remoto fuera un objeto real presente en el estudio, La imagen de vídeo del objeto remoto, actualizada cada cuadro, se debería lograr de este modo en tiempo real para cualquier posible pose de la cámara de estudio y con una resolución lo suficientemente alta para permitirse situaciones de primer plano.

En la técnica anterior, Orad Hi-Tech Systems usaba un método para incorporar sin discontinuidad una escena remota en una local, basada en una cámara robótica remota esclava de la cámara de estudio en todos los grados de libertad. De este modo, cualquier cambio en la ubicación, panorámica, inclinación, ángulos de giro y valor de zum en la cámara local implica el mismo cambio en la cámara remota; los objetos remotos adquirirán automáticamente, de este modo, la misma perspectiva que los locales. El problema con este método se relaciona con el tiempo de movimiento prolongado asociado con el movimiento de traslación de la cámara robótica, las rotaciones y los procesos de zum. El retraso resultante impone retardos inaceptables que son prohibitivos para las entrevistas en directo, así como para muchos otros tipos de programas de estudio de televisión en directo. El documento WO 01/35641 A1 describe según un aspecto principal del mismo la inserción de una imagen de destino en una imagen de vídeo de un sitio real. La imagen de destino se almacena en una base de datos y puede ser publicidad. Se crea una imagen en donde una parte de la imagen de vídeo en el área objetivo no está ocluida por una imagen objetivo, de este modo por la publicidad. En un refinamiento adicional, también se inserta una imagen de referencia dentro del área objetivo. La imagen de referencia es una imagen almacenada en una base de datos que representa, por ejemplo, una parte de una valla de un estadio de hockey sobre hielo. En este refinamiento, inicialmente, la imagen de referencia almacenada no está alineada con el flujo de vídeo.

Es un objetivo de la presente invención incorporar objetos y escenas remotos en la filmación de estudio en tiempo real y con una latencia corta que permita entrevistas en directo y otras interacciones estrechas entre objetos locales y remotos.

Breve compendio de la invención

La presente invención proporciona un sintetizador de punto de vista como se define en la reivindicación 1, para un método para convertir flujos de vídeo que capturan una escena en flujos de vídeo que se ajustan a una configuración de punto de vista como se define en la reivindicación 12 y para un método para incorporar dentro de una producción de vídeo de una primera escena al menos un objeto capturado en una segunda escena, como se define en la reivindicación 27. Los aspectos ventajosos adicionales de la invención se exponen en las reivindicaciones dependientes.

Breve descripción de los dibujos

La materia objeto considerada como la invención se señala particularmente y reivindica de manera distintiva en la parte final de la especificación. La invención, no obstante, tanto en cuanto a la organización del sistema como al método de operación, junto con las características y ventajas de la misma, se puede entender mejor haciendo referencia a la siguiente descripción detallada cuando se lee con los dibujos que se acompañan en los que:

La Fig. 1 es un diagrama de bloques de un sistema para convertir flujos de vídeo capturados por cámaras de vídeo en flujo de vídeo asociado con una configuración de punto de vista.

La Fig. 2a ilustra un conjunto de cámaras de vídeo en una plataforma para capturar una escena.

La Fig. 2b muestra una vista frontal de una escena congelada.

La Fig. 2c muestra una vista lateral de la escena congelada.

La Fig. 3a representa un objeto capturado rodeando un conjunto de cámaras de vídeo que tienen el fondo de color para la incrustación de croma.

La Fig. 3b exhibe la eliminación de las imágenes de varias cámaras situadas próximas al objeto.

La Fig. 4 es un diagrama de bloques de un sistema para convertir flujos de vídeo de dos escenas capturadas por cámaras de vídeo en flujos de vídeo asociados con una configuración de punto de vista.

La Fig. 5 ilustra un sistema para incorporar un objeto capturado en una escena remota en una producción de vídeo de una escena local por cámaras de estudio.

La Fig. 6 ilustra la conversión de un solo cuadro de la escena remota haciéndola zum como un cuadro al que se ha hecho zum de la escena local e integrando los dos cuadros.

La Fig. 7 ilustra la conversión de un solo cuadro de la escena remota desplazando el objeto remoto como un objeto local desplazado e integrando los dos cuadros.

La Fig. 8 presenta un diagrama de flujo de un método para sincronizar señales de audio y de vídeo de una escena remota y de una escena local.

La Fig. 9 ilustra un sistema para incorporar un objeto capturado en una escena remota dentro de una producción de vídeo por una cámara de estudio virtual.

La Fig. 10 ilustra un sistema para incorporar un objeto capturado en una escena remota dentro de una producción de vídeo de una escena local mediante cámaras de vídeo fijas.

La Fig. 11 muestra un diagrama de bloques de un sistema para incorporar un objeto capturado en una escena remota dentro de una escena de gráficos por ordenador.

La Fig. 12 presenta un diagrama de flujo de un método para convertir los flujos de vídeo de una escena para ajustarlos a una configuración de punto de vista.

La Fig. 13 presenta un diagrama de flujo de una realización de un método para incrustar un objeto capturado en una escena remota en una producción de vídeo de una escena local.

Descripción detallada de la invención

La presente invención se describirá ahora en términos de realizaciones de ejemplo específicas. Se ha de entender que la invención no se limita a las realizaciones de ejemplo descritas. También se debería entender que no todas las características de los métodos y sistemas que manejan el dispositivo descrito son necesarias para implementar la invención según se reivindica en una cualquiera particular de las reivindicaciones adjuntas. Se describen diversos elementos y características de dispositivos para habilitar completamente la invención. También se debería entender que a lo largo de esta descripción, donde se muestra o describe un método, los pasos del método se pueden realizar en cualquier orden o simultáneamente, a menos que esté claro a partir del contexto que un paso depende de otro que se realice primero.

Antes de explicar varias realizaciones de la invención en detalle, se ha de entender que la invención no se limita en su aplicación a los detalles de construcción y la disposición de los componentes expuesta en la siguiente descripción o ilustrada en los dibujos. La invención es capaz de otras realizaciones o de ser puesta en práctica o llevada a cabo de diversas formas. También, se ha de entender que la fraseología y terminología empleadas en la presente memoria son con el propósito de descripción y no se debería considerar como limitante.

A menos que se defina de otro modo, todos los términos técnicos y científicos usados en la presente memoria tienen el mismo significado que el que entiende comúnmente por un experto en la técnica a la que pertenece esta invención. Los sistemas, métodos y ejemplos proporcionados en la presente memoria son solamente ilustrativos y no se pretende que sean limitantes.

En la descripción y las reivindicaciones de la presente solicitud, cada uno de los verbos “comprender”, “incluir” y “tener”, y las conjugaciones de los mismos, se usan para indicar que el objeto u objetos del verbo no son necesariamente una lista completa de miembros, componentes, elementos o partes del sujeto o sujetos del verbo. Definiciones:

Cámara de vídeo

Una cámara usada para capturar una escena en movimiento. Una cámara de vídeo puede ser estática, colocada sobre un trípode, por ejemplo, o sostenida por un operador/fotógrafo/cámara. También, puede que no tenga capacidad de zum, varios estados de zum o capacidad motorizada de hacer zum continuo.

Configuración de punto de vista

Un punto de vista es un lugar desde el que se ve algo. En el contexto de capturar una escena o un objeto usando una cámara, uno puede usar el punto de vista para incluir también la distancia y/o el factor de zum usado en la captura. La configuración de punto de vista representa un conjunto de datos o parámetros que definen el punto de vista. El conjunto puede incluir la ubicación (x, y, z), la dirección (panorámica, inclinación, balanceo), el factor de zum establecido en la cámara, etc.

Cámara de estudio

La cámara de estudio es una cámara de vídeo usada en un entorno de estudio para moverse de manera conveniente y estable de un punto de vista a otro. Normalmente, tiene sensores o controles integrados o externos que miden y detectan los parámetros de su configuración de punto de vista.

Interpolación de imágenes

La interpolación de imágenes se usa para sintetizar una imagen que puentea dos imágenes A y B. Aquí están tres técnicas ejemplares usadas para la interpolación de imágenes:

1. Técnica de valla publicitaria

Uno toma un objeto de la imagen inicial A y lo gira de modo que mire continuamente hacia la dirección de visión correspondiente al estado intermedio entre las imágenes A y B. Por ejemplo, supongamos que el objeto es un rostro humano, entonces está mirando fijamente al espectador todo el tiempo.

2. Técnica de transformación

En la técnica de transformación, una imagen inicial A se está transformando continuamente en una imagen final B. Por ese motivo, uno encuentra un conjunto de puntos coincidentes de las dos imágenes. En el caso de un rostro, por ejemplo, los puntos coincidentes pueden ser la esquina derecha del ojo, la esquina izquierda de la boca, etc. Usando los puntos coincidentes, las imágenes se dividen en una variedad de piezas de área coincidentes. En un ejemplo, las piezas son triángulos y los puntos coincidentes son los vértices correspondientes del triángulo. Las piezas iniciales y finales coincidentes se promedian según un parámetro de ponderación que cambia continuamente.

3. Método tridimensional

Uno encuentra puntos coincidentes en varias imágenes. En base a las configuraciones de punto de vista conocidas asociadas con las imágenes, uno calcula la ubicación de los puntos coincidentes en el espacio, y construye un modelo tridimensional de un objeto. En consecuencia, uno puede sintetizar la imagen deseada que se debería capturar a partir de una cierta configuración de punto de vista intermedio proyectando el modelo de objeto tridimensional en una cámara virtual que tiene la cierta configuración de punto de vista.

Módulo de palanca de mando

Un módulo de palanca de mando es un módulo de interfaz que permite a un operador cambiar una configuración de punto de vista de una forma amigable y natural. En un ejemplo, el módulo de palanca de mando puede ser un punto fijo en una pantalla de ordenador y un cursor que se puede mover mediante un ratón, La dirección de una línea que conecta el cursor con el centro del círculo determina la dirección de visualización, La distancia al centro voltea entre determinar un factor de zum y determinar la altura del punto de vista por encima el suelo. Un módulo de palanca de mando también puede ser una palanca de mando real que se usa en los juegos, una lista de coordenadas, o una secuencia de comandos.

Incrustación de croma

La incrustación de croma es una técnica para mezclar dos imágenes o cuadros entre sí, en la que un color (o una pequeña gama de colores) de una imagen se elimina (o se hace transparente), revelando otra imagen detrás de ella. El objeto se fotografía frente a un fondo que consiste en un solo color o una gama de colores relativamente estrecha, normalmente azul o verde. Las partes del vídeo que coinciden con el color preseleccionado se consideran como fondo y se hacen transparentes, mientras que los otros píxeles representan el objeto en primer plano de interés. Incrustación de luma

El efecto de incrustación de luma elimina todas las regiones de una capa con una luminancia o brillo específicos. Efectos de vídeo digital

Los efectos de vídeo digital (VDEs) son efectos visuales creados en el ordenador que proporcionan transiciones interesantes de una escena a otra, más que solo cambiar cuadros. Los VDEs incluyen desvanecer o disolver el cuadro, limpiar un cuadro sobre otro y voltear el cuadro.

Usando las definiciones, varias realizaciones ejemplares se describen en las Figs. 1-13, de la siguiente manera: Una realización autónoma (Figs. 1,2, 3)

Una realización autónoma de la presente descripción se describe en la Fig.1, que muestra un sistema 5 que incluye un conjunto de cámaras de vídeo 7a, 7b y 7c que capturan una escena 10, un sintetizador de punto de vista 15, una unidad de segmentación de objetos 25 y un compositor de vídeo 30. La unidad de segmentación de objetos 25 y el compositor de vídeo 30 se pueden incluir en un único dispositivo como se muestra a continuación. El sintetizador 15 recibe parámetros asociados con una configuración de punto de vista y flujos de vídeo de la escena 10 de las cámaras de vídeo 7a, 7b y 7c. Luego, convierte esos flujos de vídeo en flujos de vídeo que se ajustan a la configuración de punto de vista. La configuración de punto de vista puede ser una configuración dinámica de punto de vista determinada por un módulo de palanca de mando 35.

Un diseño real de un conjunto de cámaras de vídeo 7a, 7b, 7c, 7d, 7e, 7f y 7g se muestra en la Fig. 2a, mientras que las cámaras están montadas en una plataforma común que rodea la escena 10. En la escena 10, hay, por ejemplo, un cilindro fijo 60 y una varilla 62 que se mueve con relación al cilindro 60.El área 65 detrás de la escena 10 puede estar cubierta por una cortina verde usada para la incrustación de croma o cubierta por una cortina blanca fuertemente iluminada para la incrustación de luma. La incrustación se usa por la unidad de segmentación de objetos 25 para separar el cilindro 60 y la varilla 62 del fondo y para permitir que el compositor de vídeo 30 instale los objetos 60 y 62 en otro fondo. Los parámetros de incrustación pueden tener diferentes valores para cada una de las cámaras de vídeo.

Con referencia ahora a la tarea de conversión del sintetizador 15, supongamos que en el tiempo t1 la configuración de punto de vista corresponde al punto de vista de la cámara 7d, y en el tiempo t2 la configuración de punto de vista está en un estado entre medias del de la cámara 7d y del de la cámara 7e, y finalmente llega en el tiempo t3 al punto de vista de la cámara 7e. Tal cambio de configuración dinámica de punto de vista se dicta por un operador o director usando el módulo de palanca de mando 35 o por otros medios. De todos los flujos de vídeo que obtiene de las cámaras de vídeo 7a a 7g, en el tiempo t-i, el sintetizador de punto de vista 15 recoge las imágenes de la cámara 7d. De manera similar, en el tiempo t3 recoge las imágenes de la cámara 7e. No obstante, durante el tiempo t2 el sintetizador tiene una tarea más desafiante, convertir los flujos de vídeo que obtiene tanto de la cámara 7d como de la cámara 7e en flujos de vídeo que se ajusten a la configuración de punto de vista en el tiempo t2. Por ese motivo, el sintetizador puede fusionar imágenes de la cámara 7d con imágenes de la cámara 7e usando uno de los tres métodos de interpolación descritos en la sección anterior, la técnica de valla publicitaria, la técnica de transformación o el método tridimensional.

Más que usar flujos de vídeo que siguen los eventos que ocurren en la escena 10, el sistema 5 se puede usar para una visualización de un objeto congelado en el tiempo desde una variedad de direcciones. Supongamos que en cierto tiempo t4 los objetos 60 y 62 se capturan momentáneamente con la varilla 62 que se extiende verticalmente desde el medio del cilindro 60, como se muestra en la Fig. 2a. Una vez que se emite un comando al sintetizador de punto de vista 15 para mostrar ese estado momentáneo desde todas las direcciones, el sintetizador 15 guarda las imágenes que ha obtenido de todas las cámaras en el tiempo t4, y muestra las imágenes continuamente comenzando con la imagen de la cámara 7a, continuando con la imagen de la cámara 7b, y así sucesivamente hasta que muestra la imagen de la cámara 7g. Las imágenes obtenidas de la cámara 7c y la cámara 7g, respectivamente, se muestran en la Fig. 2b y la Fig. 2c. Para el movimiento circundante lento de la escena 10, el sintetizador 15 añade imágenes intermedias mediante conversión de imágenes de las cámaras colindantes hasta una imagen que se ajusta a las configuraciones de punto de vista intermedias.

Las cámaras 7a a 7g de la Fig. 2a abarcan un ángulo de alrededor de 135° alrededor de la escena 10. Se puede usar un ángulo de extensión mayor para capturar algunas escenas, por ejemplo, estadios deportivos. En un estadio deportivo se pueden usar varios grupos de cámaras de vídeo, cada uno montado en una plataforma separada. En un ejemplo de estudio, mostrado en la Fig. 3a, un objeto humano 110 está rodeado por cámaras de vídeo que abarcan un ángulo de 360°. El objeto 110 se captura sobre un fondo 115 que puede ser una cortina verde para la incrustación de croma. No obstante, no solamente se captura el objeto deseado 110, sino también las imágenes de las cámaras de vídeo 120a, 120b, 120c, 120d, 120e, 120f y 120g montadas detrás del objeto 110. De este modo, la unidad de segmentación de objetos 25 está configurada para separar el objeto 110 tanto del fondo de cortina verde 115 como de las imágenes de las cámaras 120b, 120c, 120d, 120e y 120f que aparecen en una proximidad interferente al objeto 110. El resultado de la eliminación de las imágenes interferentes se muestra en la Fig. 3b. Una realización autónoma con dos juegos de cámaras de vídeo (Fig. 4)

El sistema 140 que tiene dos conjuntos de cámaras de vídeo que capturan las escenas 10a y 10b respectivas se presenta en la Fig. 4. Las cámaras de vídeo 7a, 7b y 7c capturan la escena 10a y entregan flujos de vídeo al sintetizador de punto de vista 15a. Además, las cámaras de vídeo 145a, 145b, 145c y 145d capturan la escena 10b y entregan los flujos de vídeo a otro sintetizador de punto de vista 15b como se muestra en la Fig. 4. Alternativamente, las cámaras de vídeo 145a, 145b, 145c y 145d entregan sus flujos de vídeo también al sintetizador 15a. En cualquier caso, el sintetizador de punto de vista de recepción convierte los flujos de vídeo para que se ajusten a una configuración de punto de vista que puede ser la misma, ligeramente diferente o totalmente diferente para los dos conjuntos de flujos de vídeo. El compositor de vídeo 30 puede integrar los flujos de vídeo convertidos de la escena 10a y de la escena 10b en un único flujo de vídeo.

Una realización de escena remota-escena local (Figs. 5-8)

Un diagrama de bloques del sistema 170 para incorporar dentro de una producción de vídeo de una escena local 175 un objeto capturado en una escena remota 10 se muestra en la Fig. 5. Los flujos de vídeo que capturan la escena local se proporcionan por cámaras de estudio 180a y 180b, cada una asociada con su propia configuración de punto de vista. Los flujos de vídeo que capturan la escena remota 10 se proporcionan por cámaras de vídeo 7a, 7b y 7c. El sistema 170 incluye un sintetizador de punto de vista 15, una unidad de segmentación de objetos 25 para separar al menos una parte de la escena remota 10 de otras partes de la misma, y un compositor de vídeo 30 para integrar la parte de la escena remota dentro del flujo de vídeo de la escena local. El sintetizador de punto de vista 15 está adaptado para recibir parámetros asociados con las configuraciones de punto de vista de las cámaras de estudio 180a y 180b, y convertir los flujos de vídeo de la escena remota 10 en flujos de vídeo que se ajustan a las configuraciones de punto de vista de cualquiera de las cámaras de estudio 180a y 180b, como se desee.

Las configuraciones de punto de vista de las cámaras de estudio 180a y 180b se pueden definir mediante parámetros asociados con el grado de libertad, tres grados de traslación, tres grados de rotación y un grado de zum. Algunos parámetros se proporcionan por las cámaras de estudio 180a y 180b, usando sensores o medidores internos, por ejemplo. Otros parámetros de configuración se proporcionan por sensores externos que miden el estado de la cámara, por ejemplo, el sensor de posición 185 y el sensor de ángulo 190. En una realización, los parámetros se proporcionan directamente al sintetizador de punto de vista 15. Para reducir la carga en el sintetizador 15, los parámetros se pueden transferir primero a un módulo de parámetros de configuración 195 que a su vez proporciona en una forma compacta en un solo canal de comunicación al sintetizador de punto de vista 15. Las cámaras de vídeo 7a, 7b y 7c que capturan la segunda escena 10 se pueden correlacionar con las cámaras de estudio 180a y 180b que capturan la escena local. Por ejemplo, solamente los flujos de vídeo de las cámaras 7a y 7b se convierten en flujos de vídeo que se ajustan a la configuración de punto de vista de la cámara de estudio 180a, mientras que los flujos de vídeo de las cámaras 7b y 7c se convierten en flujos de vídeo que se ajustan a la configuración de punto de vista de la cámara de estudio 180b. Esto es, la cámara de vídeo 7b se asocia con ambas cámaras de estudio 180a y 180b. La correlación se puede hacer por adelantado junto con cálculos que pueden aliviar la carga de cálculo en el sintetizador 15. La correlación anterior y los cálculos acompañados pueden ser de especial importancia en la conversión en directo de flujos de vídeo de las cámaras 7a, 7b y 7c.

De un modo similar, puede haber una correlación de ciertas cámaras de vídeo con regímenes de configuración de punto de vista asociados con una única cámara de estudio. Además, la cámara de estudio puede incluir el indicador 197 para indicar la calidad potencial de la conversión de flujos de vídeo que capturan la escena remota 10 en flujos de vídeo que se ajustan a la configuración de punto de vista de la cámara de estudio 180a. Por ejemplo, el intervalo angular alrededor de la escena local se divide en intervalos angulares pares X, Y y Z que se correlacionan respectivamente con los conjuntos de cámaras (7a, 7b, 7c, 7d), (7e, 7f) y 7g, mientras que las cámaras 7a a 7g están separadas angularmente de manera desigual. De este modo, siempre que la cámara de estudio 180a esté en el intervalo X, se espera que la conversión de flujos de vídeo de las cámaras de vídeo produzca imágenes de excelente calidad y el indicador 197 indica tal excelente calidad. Por otra parte, siempre que la cámara de estudio 180a esté en el intervalo Z, solamente la cámara de vídeo 7g es capaz de proporcionar flujos de vídeo convertibles en flujos de vídeo que se ajustan a la configuración de punto de vista de la cámara de estudio 180a. De este modo, se esperan imágenes de escasa calidad y la escasa calidad se indica en el indicador 197. Tal indicación puede ayudar al director y al fotógrafo a diseñar sus movimientos.

Las Fig. 6 y 7 muestran dos ejemplos de la conversión de flujos de vídeo de la cámara de vídeo 7a en flujos de vídeo que se ajustan a la configuración de punto de vista de la cámara de estudio 180a. En la Fig. 6, la configuración de punto de vista de la cámara de estudio 180a se cambian haciendo zum del 82%, mientras que en la Fig. 7 el cambio es un desplazamiento de la cámara de estudio 180a. Las imágenes en la columna izquierda de la Fig. 6 muestran las imágenes capturadas a las 10:00:00 AM. El objeto triangular 215a y el objeto cuadrado 220a se capturan en la escena local 176a, mientras que el objeto circular 222a se captura en la escena remota 177a. La escena integrada 210a muestra los objetos 215a, 220a y 222a. A las 10:00:02 AM la cámara de estudio 180a está capturando imágenes haciendo zum al 82%, lo que da como resultado los objetos 215c y 220c agrandados como se muestra en la escena local 176c. Al mismo tiempo, la cámara de vídeo 7a continúa operando sin hacer ningún zum y captura una flecha de objeto 225b adicional por debajo del objeto circular 222b, como se muestra en la escena remota 177b. Para ajustar la configuración de punto de vista de la cámara de estudio 180a, el sintetizador de punto de vista convierte la escena remota 177b en la escena remota 177c convertida con los objetos 222c y 225c agrandados el 82%. Finalmente, las dos imágenes se alimentan al compositor de vídeo 30 para obtener la escena integrada 210c con los objetos 215c, 220c, 222c y 225c agrandados el 82%.

Antes de hacer referencia a la Fig. 7, se debería observar que algunas veces la configuración de punto de vista de la cámara de estudio 180a incluye un zum variable. La conversión de flujos de vídeo de las cámaras 7a a 7g en flujos de vídeo que se ajustan a la configuración de punto de vista variable se hace usando uno de varios métodos. Un primer método ejemplar es la transición entre cámaras de vídeo adyacentes que tienen diferentes valores de zum, usando la técnica de transformación. En este ejemplo, las cámaras 7a, 7b y 7c se montan muy cerca unas de otras, en términos de la distancia a la escena 10, pero teniendo, respectivamente, sin zum, factor de zum x5 y factor de zum x10. Una vez que se necesita un factor de zum x7,5 para adaptarse a la configuración de punto de vista de la cámara de estudio 180a, una imagen de la cámara 7b se fusiona usando la técnica de transformación con una imagen de la cámara 7c para obtener una imagen a factor de zum x7,5.

Un segundo método es el hacer zum real de una cámara de vídeo que tiene un zum motorizado. Un tercer método ejemplar es el hacer zum digital de flujos de vídeo. Para tal zum digital, se debería asegurar una resolución inicial suficiente usando una cámara de vídeo de resolución suficientemente alta. Alternativamente, se puede asegurar una resolución inicial suficiente girando una cámara de vídeo en un ángulo de 90° alrededor del eje óptico para tener un número de píxeles en la dirección vertical mayor que un número de píxeles en la dirección horizontal. En una cámara de alta definición típica, la resolución en la dirección horizontal es de 1920 píxeles, mientras que la resolución típica en la dirección vertical es de 1080 píxeles. Supongamos que un objeto a ser capturado en la escena remota es un objeto humano. Entonces, el campo de visión de interés en la dirección horizontal es mucho más pequeño que el campo de visión deseado en la dirección vertical, y la rotación de la cámara en 90° mejora la resolución disponible.

Con referencia ahora a la Fig. 7, el objeto cuadrado 220a se usa como anclaje en la escena local 176a. A las 10:00:00 AM, la cámara de estudio 180a se coloca de manera que el objeto triangular 215a parezca estar cerca del objeto de anclaje 220a. Se captura el objeto circular 222a en la escena remota 177a y la escena integrada 210a muestran todos los tres objetos cercanos entre sí. Más tarde, a las 10:00:02 AM, la cámara de estudio ha cambiado su configuración de punto de vista y, de este modo, en la escena local 176c, el objeto 215a se muestra algo desplazado con relación al objeto de anclaje 220a. También a las 10:00:02 AM, en la escena remota 177b aparece un objeto de flecha 225b por debajo del objeto 222a, que ha permanecido en el mismo lugar. El sintetizador de punto de vista 15 desplaza los objetos 222a y 225b para obtener la escena remota 177c convertida con una imagen que se ajusta a la configuración actual de punto de vista de la cámara de estudio 180a. En consecuencia, el compositor de vídeo 30 integra la imagen de escena local 176c y la escena remota 177c convertida para obtener la escena integrada 210c en la que los objetos 222a y 225b están situados próximos al objeto 215a. De este modo, el espectador obtiene una sensación de que los objetos 222a, 225b y 215a están próximos entre sí mientras que en realidad están muy separados, y esa sensación se conserva mientras la cámara de estudio local se haya desplazado,

Mientras los flujos de vídeo se están procesando por el sintetizador de punto de vista 15 y el compositor de vídeo 30, los flujos de audio que se acompañan se deberían sincronizar para obtener y mantener la sensación de una sola escena. La necesidad de sincronizar los flujos de audio se deriva de los varios retardos en el sistema, Primero, en algunas realizaciones, los flujos de la cámara de vídeo 7a que captura la escena remota 10 se proporcionan a través de un canal de comunicación que tiene algún retardo según la distancia y el tipo de canal de comunicación. Además, los flujos de vídeo y los flujos de audio se pueden lanzar a través de diferentes canales debido al ancho de banda deseado muy diferente para las señales de audio y de vídeo. De este modo, la señal o flujo de audio de la escena remota puede no tener retardo en comparación con la escena local, muy parecido a hablar por teléfono con alguien en otro continente a través de la red de fibra óptica, más que a través de un teléfono por satélite. En segundo lugar, el procesamiento de los flujos de vídeo que se ha descrito anteriormente puede causar un retardo apreciable. La Fig. 8 presenta un diagrama de flujo de un método ejemplar para sincronizar señales de audio y de vídeo de una escena remota 10 y de una escena local 175 de manera que se compensen los retardos ejemplares anteriores. De este modo, la señal de audio 280 de la escena remota 10 se combina con la señal de audio 285 de la escena local 175, y la combinación 290 se retarda 295 para compensar los retardos en el canal de vídeo. Los flujos de vídeo 300 de la escena local 175 se retardan 305 para compensar el procesamiento 310 de los flujos de vídeo 315 de la escena remota 10, y luego los flujos de vídeo se combinan 320 entre sí y se pueden difundir 325 junto con las señales de audio 295 retardadas. De este modo, la sincronización puede asegurar una visualización suave y continua de las señales de audio y de vídeo asociadas con eventos que ocurren de manera sustancialmente simultánea en ubicaciones distantes.

Una realización de cámara de estudio virtual (Fig. 9)

Más que una cámara de estudio que tiene sensores internos que sondean su configuración de punto de vista, uno puede usar una cámara de estudio virtual como se muestra en la Fig. 9. En el sistema 330 representado en la Fig. 9, una cámara de vídeo 335 está capturando la escena local 175, en donde su operador puede cambiar su ubicación, ángulo de visión, etc. efectuando la configuración de punto de vista. Los datos 345 sobre parámetros espaciales asociados con la escena local 175 se recopilan por adelantado y se alimentan a un calculador de parámetros de punto de vista 340. El calculador 340 analiza el flujo de vídeo capturado por la cámara de vídeo 335, deriva los parámetros asociados con la configuración de punto de vista de la cámara de vídeo 335 y entrega los parámetros al sintetizador de punto de vista 15, que a su vez convierte los flujos de vídeo de las cámaras 7a, 7b y 7c en flujos de vídeo que se ajustan a la configuración de punto de vista de la cámara de vídeo 335. Finalmente, los flujos de vídeo convertidos desde el sintetizador 15 y los flujos de vídeo de la escena local 175 se integran en el compositor de vídeo 345. Obsérvese que el compositor 345 incluye una unidad de segmentación de objetos 25,

Por ejemplo, supongamos que se va a entrevistar a una celebridad sentada cerca de una mesa detrás de la cual está sentado el entrevistador, ambas personas que miran a la dirección frontal, al menos de perfil. En una fase de calibración, las dimensiones de la mesa, la dirección longitudinal y la dirección transversal se toman juntas con varias tomas por la cámara de vídeo 335 en ciertas configuraciones de punto de vista. Las dimensiones de la mesa se pueden marcar en las tomas. También, se miden los parámetros internos de la cámara de vídeo 335, como el punto focal y la distorsión. Usando las tomas, los datos dimensionales de la escena y la configuración de punto de vista conocida, se prueba y calibra un procedimiento de cálculo para asociar los datos de las tomas con las configuraciones de punto de vista respectivas. Posteriormente, se captura la entrevista con la cámara de vídeo 335 operada por un fotógrafo. El calculador de punto de vista analiza las imágenes capturadas obtenidas que contienen tanto la celebridad como parte de la mesa, y deriva los parámetros de configuración de punto de vista usados para capturar la escena, usando el procedimiento de cálculo calibrado. Específicamente, durante la entrevista, el calculador de parámetros de punto de vista encuentra en las imágenes capturadas partes de la mesa y, a partir de su tamaño aparente y disposiciones relativas, calcula los parámetros de la configuración de punto de vista usada para capturar las imágenes.

Una realización con un conjunto local de cámaras de vídeo (Fig. 10)

El sistema 370 de la Fig. 10 presenta una realización en donde el proveedor de imágenes es un conjunto de cámaras de vídeo 375a, 375b, 375c y 375d que rodean una escena local 175. En un ejemplo, las cámaras 375a a 375d son cámaras fijas y cada una de ellas está asociada con una configuración de punto de vista caracterizada por ciertos parámetros que se mantienen en una base de datos de configuraciones 380 apropiada que reside en el compositor de vídeo 385 y/o en un sintetizador de punto de vista 15 (no mostrado). Por ejemplo, en cierto momento, un director decide mostrar la escena local 175 que se captura por la cámara de vídeo 375b. Los parámetros de la configuración de punto de vista de la cámara 375b se recuperan de la base de datos 385 y se envían al sintetizador de punto de vista 15, que a su vez convierte los flujos de vídeo de las cámaras de vídeo 7a, 7b y 7c en flujos de vídeo que se ajustan a la configuración de punto de vista de la cámara de vídeo 375b. El flujo de vídeo convertido se alimenta al compositor de vídeo 385, un objeto deseado se separa de la otra parte de la escena remota 10 si se necesita, y se integra en el flujo de vídeo capturado por la cámara de vídeo 375d.

Una realización de escena de gráficos por ordenador (Fig. 11)

El sistema 410 de la Fig. 11 describe una escena remota 10 a ser incorporada en una escena de gráficos por ordenador 415. La escena 415 se puede ver virtualmente desde una variedad de puntos de vista usando varios “factores de zum”. La decisión sobre la configuración actual de punto de vista se puede tomar usando un módulo de palanca de mando 35 que suministra tanto un proveedor de escena de gráficos por ordenador 415 como el sintetizador de punto de vista 15 con parámetros asociados con la configuración de punto de vista. De este modo, el sintetizador de punto de vista 15 convierte los flujos de vídeo de la escena remota 10 que se capturan por las cámaras de vídeo en flujos de vídeo que se ajustan a la configuración de punto de vista de la escena de gráficos por ordenador 415.

Con referencia ahora a las realizaciones del método mostradas en las Figs. 12 y 13, es importante observar que los pasos de cada método se pueden realizar en cualquier orden o simultáneamente, a menos que esté claro a partir del contexto que un paso depende de que otro se realice primero.

Una realización de método para convertir flujos de vídeo (Fig. 12)

La Fig. 12 representa un diagrama de flujo de un método 500 para convertir flujos de vídeo de las cámaras 7a, 7b y 7c en flujos de vídeo que se ajustan a una configuración de punto de vista. El método incluye recibir 510 los parámetros asociados con la configuración de punto de vista, y convertir 515 los flujos de vídeo de la escena 10 que se capturan por las cámaras de vídeo en flujos de vídeo que se ajustan a la configuración de punto de vista.

En algunas realizaciones, el método incluye capturar 520 una imagen sustancialmente congelada de un objeto en la escena y presentar el objeto desde dos o más puntos de vista de diferente ángulo de visión.

En algunas realizaciones, el método incluye separar 525 al menos un objeto de la escena 10 de otras partes de la escena 10. La separación se puede hacer en los flujos de vídeo que capturan la escena, y luego la conversión 515 se realiza solamente en el objeto separado, guardando la conversión 515 de las otras partes. La separación 525 se puede hacer también en los flujos de vídeo convertidos. Además, la separación 525 se puede acompañar por la eliminación 530 de imágenes de cámaras de vídeo dispuestas próximas al objeto.

En algunas realizaciones, el método 500 incluye además el paso de integrar 535 la escena en el flujo de vídeo de una cierta escena asociada con la configuración de punto de vista.

En algunas realizaciones, la conversión 520 se hace en flujos de vídeo que han capturado la escena 10 por adelantado antes de comenzar la conversión 520. Los flujos de vídeo capturados por adelantado se almacenan 505 para su uso más tarde fuera de línea en la conversión 515.

El método 500 también puede incluir sincronizar flujos de audio asociados con una escena con flujos de vídeo asociados con la escena, para compensar el procesamiento de vídeo o para cualquier otro retardo, como se muestra en la Fig. 8 y se ha descrito aquí anteriormente.

Realización de un método para incorporar objetos capturados en una escena remota en una producción de vídeo de una escena local (Fig. 13)

La Fig. 13 muestra un diagrama de flujo de un método 600 para incorporar objetos capturados en una escena remota 10 dentro de una producción de vídeo de una escena local 175. Los flujos de vídeo que capturan la escena local 175 se proporcionan por proveedores de imágenes asociados con configuraciones de punto de vista. Los flujos de vídeo que capturan la segunda escena se están proporcionando por las cámaras de vídeo 7a, 7b y 7c. El método 600 incluye convertir 610 los flujos de vídeo de la escena remota 10 en flujos de vídeo que se ajustan a la configuración de punto de vista de uno de los proveedores de imágenes e integrar 620 las partes de la escena remota 10 capturadas en el flujo de vídeo convertido con partes de la escena local 175. De este modo, el método presenta partes de la escena remota 10 capturadas en el flujo de vídeo convertido y objetos de la misma como parte integral de la escena local 175.

El método puede incluir proporcionar 630 los flujos de vídeo de las cámaras de vídeo 7a, 7b y 7c que capturan la escena remota 10 a través de los canales de comunicación y sincronizar 645 los flujos de señal asociados con la primera escena con los flujos de señal asociados con la segunda escena.

En algunas realizaciones, el método 600 incluye proporcionar 650 parámetros variables que indican configuraciones dinámicas de punto de vista de los proveedores de imágenes. La integración 620 de la primera y segunda escenas puede incluir la aplicación de efectos de vídeo digital.

En algunas realizaciones, el método 600 incluye separar 660 al menos un objeto de la escena 10 de otras partes de la escena 10. La separación se puede hacer en los flujos de vídeo que capturan la escena, y luego la conversión 610 se realiza en el objeto separado solamente, guardando la conversión 610 de las otras partes. La separación 670 se puede hacer en los flujos de vídeo convertidos.

Claims

REIVINDICACIONES

1. Un sintetizador de punto de vista para incorporar dentro de una producción de vídeo de una primera escena un objeto capturado en una segunda escena, los flujos de vídeo que capturan dicha primera escena que se proporcionan por uno o más proveedores de imágenes, cada proveedor de imágenes que está asociado con una configuración de punto de vista, los flujos de vídeo que capturan dicha segunda escena proporcionados por una o más cámaras de vídeo, el sintetizador adaptado para:

(a) recibir uno o más parámetros asociados con la configuración de punto de vista del uno o más proveedores de imágenes que capturan la primera escena; y

(b) convertir flujos de vídeo de dicha segunda escena que se capturan por al menos una de las cámaras de vídeo en flujos de vídeo que se ajustan a la configuración de punto de vista de uno de los proveedores de imágenes según el uno o más parámetros recibidos, en donde el sintetizador está vinculado a medios para separar al menos una parte de dicha segunda escena de otras partes de dicha segunda escena y medios para integrar dicha al menos una parte de dicha segunda escena en los flujos de vídeo de dicha primera escena.

2. El sintetizador de punto de vista de la reivindicación 1, en donde al menos uno de los proveedores de imágenes es una cámara de estudio asociada con una configuración dinámica de punto de vista.

3. El sintetizador de punto de vista de la reivindicación 2, en donde dicha cámara de estudio incluye uno o más indicadores que indican la calidad de la conversión de flujos de vídeo que capturan dicha segunda escena en flujos de vídeo que se ajustan a la configuración de punto de vista de dicha cámara de estudio.

4. El sintetizador de punto de vista de la reivindicación 1, en donde al menos uno de los proveedores de imágenes es una cámara de vídeo montada de manera fija.

5. El sintetizador de punto de vista de la reivindicación 1, en donde uno o más de los proveedores de imágenes es un proveedor de escena de gráficos por ordenador, por lo que un módulo de palanca de mando suministra tanto a dicho proveedor como a dicho sintetizador de punto de vista uno o más parámetros asociados con una configuración de punto de vista y, en consecuencia, dicho sintetizador de punto de vista convierte los flujos de vídeo de dicha segunda escena que se capturan por al menos una de las cámaras de vídeo en flujos de vídeo que se ajustan a la configuración de punto de vista de dicha escena de gráficos por ordenador.

6. El sintetizador de punto de vista de la reivindicación 1, en donde uno o más de los proveedores de imágenes es una cámara de estudio virtual que comprende una cámara de vídeo y un calculador de uno o más parámetros asociados con dicha configuración de punto de vista, el cálculo que se basa en la obtención anterior de los parámetros espaciales asociados con la primera escena.

7. El sintetizador de punto de vista de la reivindicación 1, en donde la segunda escena se establece para facilitar la separación de un objeto situado en dicha segunda escena de otras partes de dicha segunda escena usando una de incrustación de croma e incrustación de luma.

8. El sintetizador de punto de vista de la reivindicación 7, en donde al menos dos cámaras de vídeo que capturan la segunda escena tienen al menos un parámetro de incrustación que tiene un valor diferente para cada una de dichas al menos dos cámaras.

9. El sintetizador de punto de vista de la reivindicación 1, en donde al menos dos de dichas cámaras de vídeo que capturan la segunda escena están dispuestas para capturar flujos de vídeo para incorporación en flujos de vídeo capturados por el al menos un proveedor de imágenes, por lo que las cámaras de vídeo que capturan la segunda escena se correlacionan con el al menos un proveedor de imágenes que captura la primera escena.

10. El sintetizador de punto de vista de la reivindicación 1, en donde la configuración de punto de vista del al menos un proveedor de imágenes está definida por al menos un parámetro asociado con al menos un grado de libertad de tres grados de traslación, tres grados de rotación y un grado de zum.

11. El sintetizador de punto de vista de la reivindicación 1, en donde los flujos de vídeo de al menos una cámara de vídeo que captura dicha segunda escena se proporcionan a través de al menos un canal de comunicación, y dicho sistema incluye además medios para sincronizar al menos un flujo de señal asociado con dicha primera escena con al menos un flujo de señal asociado con dicha segunda escena; por lo que los flujos de señal pueden ser o bien flujos de audio o bien de vídeo y dicha sincronización puede asegurar una visualización suave y continua de señales de audio y de vídeo asociadas con eventos que ocurren de manera sustancialmente simultánea en ubicaciones distantes unas de otras.

12. Un método para convertir flujos de vídeo que capturan una escena inicial usando una o más cámaras de vídeo en flujos de vídeo que se ajustan a una configuración de punto de vista en donde dicha configuración de punto de vista está asociada con un proveedor de imágenes que proporciona flujos de vídeo que capturan una escena diferente, el método que comprende:

(a) recibir uno o más parámetros asociados con la configuración de punto de vista junto con dicha escena diferente asociada con dicha configuración de punto de vista; y

(b) convertir flujos de vídeo de dicha escena inicial que se captura por al menos una de las cámaras de vídeo en flujos de vídeo que se ajustan a dicha configuración de punto de vista según el uno o más parámetros recibidos; (c) separar al menos una parte de dicha escena inicial de otras partes de dicha escena inicial; y

(d) integrar dicha al menos una parte de dicha escena inicial dentro del flujo de vídeo de dicha escena diferente asociada con dicha configuración de punto de vista.

13. El método de la reivindicación 12, en donde dicha configuración de punto de vista es una configuración dinámica de punto de vista determinada por un módulo de palanca de mando.

14. El método de la reivindicación 12, en donde dicho método incluye capturar una imagen sustancialmente congelada de un objeto en dicha escena inicial y presentar dicho objeto desde dos o más punto de vista de diferente ángulo de visión.

15. El método de la reivindicación 14, en donde dichas una o más cámaras de vídeo están montadas en una o más plataformas.

16. El método de la reivindicación 15, en donde al menos una plataforma es una plataforma portátil.

17. El método de la reivindicación 12, en donde dicha escena inicial es un estadio deportivo.

18. El método de la reivindicación 12, en donde dicha conversión incluye una de uso de una técnica de valla publicitaria y uso de una técnica de transformación para convertir flujos de vídeo de dicha escena inicial que se captura por al menos una de las cámaras de vídeo en flujos de vídeo que se ajustan a una configuración de punto de vista variable.

19. El método de la reivindicación 12, en donde dicha conversión incluye usar un método tridimensional para convertir flujos de vídeo de dicha escena inicial que se capturan por al menos una de las cámaras de vídeo en flujos de vídeo que se ajustan a una configuración de punto de vista variable.

20. El método de la reivindicación 12, en donde dicha separación se realiza en dichos flujos de vídeo que capturan dicha escena inicial, y dicha conversión que se realiza solamente en al menos una parte separada de dicha escena inicial, ahorrando por ello la conversión de dichas otras partes de dicha escena inicial.

21. El método de la reivindicación 12, en donde dicha separación de la al menos una parte de dicha escena inicial de otras partes de dicha escena inicial se hace en flujos de vídeo convertidos.

22. El método de la reivindicación 12, en donde dicha separación incluye eliminar imágenes de cámaras de vídeo dispuestas próximas a dicha al menos una parte de dicha escena inicial.

23. El método de la reivindicación 12, en donde flujos de vídeo que capturan una o más escenas adicionales se proporciona por una o más cámaras de vídeo, y el método incluye además los pasos de: (e) convertir flujos de vídeo de dichas una o más escenas adicionales en flujos de vídeo que se ajustan a dicha configuración de punto de vista; y (f) integrar al menos una parte de cada una de dichas una o más escenas adicionales dentro del flujo de vídeo de dicha escena diferente.

24. El método de la reivindicación 12, en donde dicha configuración de punto de vista comprende un zum variable y dicha conversión incluye al menos una acción de un grupo de acciones que consiste en: (i) transición entre dos o más cámaras de vídeo adyacentes que tienen diferentes valores de zum; (ii) hacer zum real de una cámara de vídeo que tiene un zum motorizado; y (iii) hacer zum digital de flujos de vídeo, por lo cual se puede asegurar una resolución inicial suficiente usando una cámara de vídeo de resolución suficientemente alta, o girando una cámara de vídeo en un ángulo sustancialmente recto alrededor del eje óptico para tener un número de píxeles en la dirección vertical mayor que un número de píxeles en la dirección horizontal.

25. El método de la reivindicación 12, en donde el método incluye almacenar flujos de vídeo que capturan dicha escena inicial para su uso más tarde fuera de línea en dicha conversión.

26. El método de la reivindicación 12, en donde el método incluye además el paso de sincronizar al menos un flujo de audio asociado con dicha escena inicial con al menos un flujo de vídeo asociado con dicha escena inicial.

27. Un método para incorporar dentro de una producción de vídeo de una primera escena un objeto capturado en una segunda escena, los flujos de vídeo que capturan dicha primera escena que se proporcionan por uno o más proveedores de imágenes, cada proveedor de imágenes que está asociado con una configuración de punto de vista, los flujos de vídeo que capturan dicha segunda escena que se proporcionan por una o más cámaras de vídeo, el método que comprende:

(a) recibir uno o más parámetros asociados con la configuración de punto de vista del uno o más proveedores de imágenes que capturan la primera escena;

(b) convertir los flujos de vídeo de dicha segunda escena que se capturan por al menos una de las cámaras de vídeo en flujos de vídeo que se ajustan a la configuración de punto de vista de uno de los proveedores de imágenes según el uno o más parámetros recibidos;

(c) separar al menos una parte de dicha segunda escena de otras partes de dicha segunda escena; y

(d) integrar dicha al menos una parte de dicha segunda escena en los flujos de vídeo de dicha primera escena; presentando por ello dicha al menos una parte de dicha segunda escena como una parte integral de la primera escena.

28. El método de la reivindicación 27, en donde el método incluye además los pasos de:

(e) proporcionar flujos de vídeo de al menos una cámara de vídeo que captura dicha segunda escena a través de al menos un canal de comunicación; y

(f) sincronizar al menos un flujo de señal asociado con dicha primera escena con al menos un flujo de señal asociado con dicha segunda escena; por lo que los flujos de señal pueden ser flujos o bien de audio o bien de vídeo y dicha sincronización puede asegurar una visualización suave y continua de señales de audio y de vídeo asociadas con eventos que ocurren de manera sustancialmente simultánea en ubicaciones distantes unas de otras.

29. El método de la reivindicación 27, en donde dicha integración de la primera y segunda escenas incluye la aplicación de al menos un efecto de vídeo digital.

30. El método de la reivindicación 27, en donde al menos parte de dicha conversión y al menos parte de dicha integración se hace en flujos de vídeo que han capturado dicha segunda escena por adelantado antes de comenzar dicha conversión y dicha integración, por lo que los flujos de vídeo capturados por adelantado se almacenan para su uso más tarde fuera de línea en dicha conversión y dicha integración.