ES2960694T3

ES2960694T3 - Vista 360 no intrusiva sin cámara en el punto de vista

Info

Publication number: ES2960694T3
Application number: ES19926730T
Authority: ES
Inventors: Leon Vogelzang
Original assignee: Discovery Communications LLC
Current assignee: Discovery Communications LLC
Priority date: 2019-12-03
Filing date: 2019-12-03
Publication date: 2024-03-06
Anticipated expiration: 2039-12-03
Also published as: US20210176448A1; US11196980B2; EP3861720A4; EP3861720B1; EP3861720A1; WO2021112823A1

Abstract

La invención incluye sistemas y métodos para proporcionar una vista de 360 grados no intrusiva sin una cámara en el punto de vista. La invención procesa transmisiones de video desde una serie de cámaras para rastrear un objeto en las transmisiones de video y genera medios inmersivos a partir de las transmisiones de video. El sistema identifica un objeto principal y lo rastrea con una serie de conjuntos montados de al menos dos cámaras. Cada uno de los conjuntos incluye una cámara dirigida al objeto y otra cámara dirigida a un fondo del objeto. Luego, el sistema une las transmisiones de video para generar medios inmersivos. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Vista 360 no intrusiva sin cámara en el punto de vista

Campo técnico

La invención se refiere a un sistema de captura de vídeo y de forma más específica a sistemas y métodos para capturar un evento utilizando cámaras circundantes para la generación de medios inmersivos sin interferir con participantes durante el evento.

Antecedentes

Los proveedores de medios están buscando continuamente formas de ofrecer a los consumidores nuevas y mejores maneras de experimentar eventos. Los avances en las capacidades de captura y los métodos de reproducción de medios, tal como la inmersión en la acción de un evento, son una forma de ofrecer un nuevo punto de vista para que experimenten los consumidores.

La generación de nuevo contenido para formatos de medios novedosos que sitúan a los espectadores en el centro de la acción es importante para los proveedores de medios para continuar proporcionando valor a los consumidores. Los consumidores de este contenido están interesados en los puntos de vista en el terreno de juego y en ver lo que los jugadores pueden ver mientras toman decisiones en un juego. Sin embargo, para proporcionar este tipo de contenido o bien se colocan cámaras en los competidores, lo que puede inhibir o interferir en el juego, o bien es necesario situar un sistema de cables/y los por encima del terreno de juego lo que proporciona un punto de vista cercano pero no totalmente inmersivo de la acción.

Sin embargo, la captura de medios de la sección inmersiva de eventos a gran escala y/o caóticos es difícil debido a la naturaleza intrusiva de la captura, por ejemplo, dispositivos de grabación de vídeo/audio y/o equipos de seguimiento, por ejemplo, peso, tamaño y método de transporte de los equipos. La captura inmersiva de estos eventos, por ejemplo, eventos deportivos tal como partidos de baloncesto, fútbol, etc., es difícil sin tener una cámara o dispositivos de seguimiento llevados por los competidores. Otros métodos de captura inmersiva pueden incluir drones, cámaras suspendidas por cable, por ejemplo, Skycam, etc., los cuales, aunque no son intrusivos, no son tan inmersivos. Por lo tanto, la captura de puntos de vista inmersivos de una competición puede obstaculizar el juego debido a la incomodidad y/o intrusión de los participantes que llevan equipos de captura y/o seguimiento. En los deportes, por ejemplo, las carreras de coches Indy, donde se utiliza un coche u otro equipo pesado, llevar el equipo de captura y/o seguimiento no influye en el juego, sin embargo, en deportes con competidores que llevan directamente almohadillas u otro equipo de seguridad o nada en absoluto, añadir equipos de captura y/o seguimiento para que los lleven los competidores inhibe o influye en el juego. Además, las señales de audio/video capturadas desde los puntos de vista del competidor a menudo son imposibles de ver debido a la inestabilidad y/o la naturaleza frenética de la acción durante el evento.

El documento EP 2150057 A2 está dirigido a una determinación de posición y seguimiento basado en cámara para soportar eventos. Se proporciona una presentación multimedia de un evento a un espectador.

El documento US 2018/0232894 A1 describe un terminal con dos o más sensores de cámara y una ventana de previsualización. Un movimiento del primer objeto es seguido. Si el objeto se desvía del ángulo de visión cubierto por el primer sensor de cámara, el segundo sensor de cámara establece un enfoque para el primer objeto.

Resumen

La invención proporciona una solución a este problema proporcionando sistemas y métodos para capturar y procesar vídeo para la reproducción de medios inmersivos sin interferir con los participantes durante un evento, proporcionando una grabación en tiempo real desde una matriz de cámaras externas al área de participación. La matriz de cámaras está configurada para capturar tanto un objeto enfocado del evento, por ejemplo, un balón de fútbol, fútbol americano, baloncesto, rugby, etc. así como eventos en segundo plano en tiempo real. Los sistemas reciben y procesan los medios de vídeo capturados para su almacenamiento y reproducción en un formato de medios inmersivos, fusionados de realidad aumentada o virtual 3D y/o 2D, que incluyen vistas de 360 y 180 grados respectivamente.

Aunque, la invención se refiere a eventos tales como eventos deportivos donde la acción es frenética. La misma solución podía aplicarse a acontecimientos no competitivos ni deportivos, tales como conciertos, discursos, desfiles, convenciones, etc. en los que los consumidores pueden desear reproducir el acontecimiento desde diferentes perspectivas sin que haya dispositivos de grabación entre los participantes. Por tanto, cualquier referencia a “estadios”, “campos de juego, “competidores”, etc. es aplicable también a los participantes de eventos no competitivos.

La invención proporciona una solución técnica a los problemas técnicos de los sistemas anteriores. Los sistemas y métodos de la invención capturan un evento sin situar cámaras dentro del campo de juego para superar las deficiencias de los métodos de grabación de puntos de vista inmersivos actuales. En un ejemplo de modo de realización de la invención, una matriz de cámaras de captura de vídeo rodea el estadio o el campo de juego. Al depender únicamente de las cámaras circundantes, los competidores no se distraen ni se ven obstaculizados por llevar equipos de cámara para obtener un punto de vista de la competición similar al de la acción, es decir, inmersivo. La matriz de cámaras captura la información del primer plano y del segundo plano que se unen entre sí para una captura completa y en tiempo real de la competición.

En un modo de realización de ejemplo de la invención, la matriz de cámaras incluye, conjuntos separados de al menos dos cámaras, que rodean al estadio, separadas uniformemente para grabar video en tiempo real desde todos los ángulos del estadio con cobertura del campo de visión de la cámara de todo el estadio. Cada conjunto de cámaras está separado del siguiente conjunto para obtener una cobertura de 360 grados del estadio y el campo de visión de las cámaras se solapa para proporcionar una mejor cobertura para la fusión de las señales de vídeo dispares.

En un modo de realización de ejemplo de la invención, el conjunto de cámaras está controlado por un sistema, por ejemplo, un sistema informático, que sigue al objeto principal en el estadio, por ejemplo, el balón de fútbol americano, baloncesto, béisbol, fútbol u otro(s) objeto(s) principal(es) del juego, tal como los participantes. La matriz de cámaras puede incluir un número de cámara superior al necesario para una cobertura total del estadio. El sistema está provisto de al menos uno de, el tamaño y la forma del estadio, la información de montaje de las cámaras y la ubicación de las cámaras. Las señales de vídeo de la matriz de cámaras se unen entre sí basándose en las ubicaciones conocidas de cada una de las cámaras que rodean al terreno de juego y de la distancia desde el(los) objeto(s) principal(es).

El servidor emplea una cámara para seguir un objeto en el primer plano, tal como un balón de fútbol. El servidor dirige otra cámara para enfocar una posición directamente por detrás del balón de fútbol. En otras palabras, para generar estas señales de vídeo, el sistema encarga a una cámara del conjunto de cámaras (cámara 1) que siga/persiga un objeto en primer plano tal como un(unos) objeto(s) principal(es) y encarga a otra cámara del conjunto (cámara 2) que enfoque el segundo plano del(de los) objeto(s) principal(es).

Para determinar el segundo plano del(de los) objeto(s) principal(es), se realiza una determinación de la posición del(de los) objeto(s) principal(es) en el estadio a través de una triangulación a partir de las ubicaciones del soporte/cámara de la matriz y la distancia posicional del(de los) objeto(s) principal(es) desde la cámara 2 para determinar un enfoque en segundo plano de la cámara. Las dos señales de video diferentes de la cámara1 y la cámara 2 desde el mismo soporte proporcionan imágenes que detallan el(los) objeto(s) principal(es), así como, cualquier acción en el segundo plano desde cualquier dirección circundante. Por tanto, se proporcionan suficientes datos visuales para la perspectiva clave de un competidor con el balón en el campo de juego. En otras palabras, los enfoques múltiples desde la misma ubicación (cámara 1 y cámara 2) combinados con las vistas de 360 grados del(de los) mismo(s) objeto(s) (vistas desde los soportes circundantes), proporcionan las imágenes para fusionar entre sí unos medios de visión de 360 inmersivo. Gracias a este sistema, los usuarios pueden ver el evento desde al menos una perspectiva clave que puede ser utilizada por jugadores, entrenadores, árbitros o consumidores para determinar lo que pudo ver un competidor durante la acción y por qué pudo decidir actuar de una manera determinada.

Por tanto, para seguir el(los) objeto(s) principal(es) y su segundo plano, los soportes de accionamiento para fijar cada conjunto de cámaras están configurados para girar y ajustar la direccionalidad de cada cámara para seguir el(los) objeto(s) principal(es). Estos soportes pueden incluir cualquier dispositivo de estabilización de la cámara tal como un trípode, un mono pie u otro dispositivo de estabilización con capacidades de accionamiento.

En un modo de realización de ejemplo de la invención, el sistema recibe vídeo capturado de cada cámara, analiza el video y utiliza el vídeo capturado para seguir y/o predecir el movimiento del(de los) objeto(s) principal(es). Basándose en este seguimiento y/o predicción, el sistema determina un ajuste del posicionamiento de cada cámara para seguir el(los) objeto(s) principal(es) accionando cada soporte. A medida que se captura el video en tiempo real, el sistema también procesa el video recibido para su fusión.

En un modo de realización de ejemplo de la invención, el sistema informático aplica técnicas de procesamiento de vídeo para fusionar entre sí la entrada de vídeo capturada por una matriz de cámaras. Estas técnicas pueden incluir una o más determinaciones de horizonte, una representación gráfica compuesta y un balance de exposición. La fusión tiene como resultado medios de realidad virtual (RV) y/o de realidad aumentada (RA) bidimensionales (2D) o tridimensionales (3D) a partir de los cuales pueden seleccionarse diferentes puntos de ubicación/persona/objeto para la reproducción de un punto de vista durante un evento, por ejemplo, durante una competición.

Un sistema de la invención proporciona la captura de vídeo de una matriz de cámaras para generar medios inmersivos para su reproducción. El sistema incluye una matriz de soportes que rodean al campo del evento, cada uno de los soportes que comprende un mecanismo de accionamiento. La matriz de cámaras se fija a los soportes en conjuntos de al menos dos cámaras por cada soporte. Cada uno de los conjuntos de las al menos dos cámaras incluye una primera cámara de las al menos dos cámaras dirigida a un objeto principal del evento y una segunda cámara de las al menos dos cámaras dirigida a un segundo plano del objeto principal. El sistema además incluye un servidor informático que acciona los soportes para seguir el objeto principal a través del campo del evento y para recibir y procesar las señales de video de la matriz de cámaras para generar los medios inmersivos.

Un sistema de la invención puede incluir que el servidor informático reciba una selección de un punto de vista de los medios inmersivos y presente los medios inmersivos desde el punto de vista para su reproducción. Un sistema de la invención puede incluir el servidor informático que recibe una selección de un punto de vista en los medios inmersivos y la reproducción se inicia desde el punto de vista. El sistema de la invención incluye el servidor informático que sigue y determina una ubicación del objeto principal en el campo para determinar un enfoque de la segunda cámara en el segundo plano del objeto principal. El sistema de la invención incluye el enfoque de la segunda cámara que está a una distancia determinada más allá de la ubicación del objeto principal desde la segunda cámara. Un sistema de la invención puede incluir un sistema informático que indexe las señales de vídeo de cada cámara de la matriz de cámaras. El sistema de la invención puede incluir que los medios inmersivos sean medios de realidad virtual de 360 grados.

Un sistema informático para capturar vídeo de una matriz de cámaras para generar unos medios inmersivos para su reproducción. El sistema informático que incluye un procesador para controlar un mecanismo de accionamiento de cada soporte de una matriz de soportes que rodea a un campo de un evento para seguir un objeto principal a través del campo del evento y para recibir y procesar el vídeo desde la matriz de cámaras fijadas a los soportes para generar los medios inmersivos. La matriz de cámaras se fija a los soportes en conjuntos de al menos dos cámaras para cada soporte. Cada uno de los conjuntos de las al menos dos cámaras que incluye una primera cámara de las al menos dos cámaras dirigida a un objeto principal del evento y una segunda cámara de las al menos dos cámaras dirigida a un segundo plano del objeto principal.

Un sistema informático puede incluir el servidor informático que recibe una selección de un punto de vista de los medios inmersivos y presenta los medios inmersivos desde el punto de vista para su reproducción. Un sistema informático puede incluir el procesador que sigue y determina una ubicación del objeto principal en el campo para determinar un enfoque de la segunda cámara en el segundo plano del objeto principal. Un sistema informático puede incluir el enfoque de la segunda cámara que está a una distancia determinada más allá de la ubicación del objeto principal de la segunda cámara. Un sistema informático puede incluir el servidor informático que indexa el video para cada matriz de cámaras. Un sistema informático puede incluir que los medios inmersivos sean medios de realidad virtual de 360 grados.

Un método de la invención implementado por ordenador para capturar vídeo de una matriz de cámaras para generar unos medios inmersivos para su reproducción. El método que incluye recibir señales de vídeo de la matriz de cámaras. El método que incluye analizar las señales de vídeo para determinar un objeto principal en las señales de vídeo. El método que incluye controlar un mecanismo de accionamiento de cada soporte de una matriz de soportes para seguir al objeto principal. La matriz de cámaras se fija a la matriz de soportes en conjuntos de al menos dos cámaras para cada soporte. Cada uno de los conjuntos comprende una primera cámara de las al menos dos cámaras dirigida al objeto principal del evento y una segunda cámara de las al menos dos cámaras dirigida al segundo plano del objeto principal. El método que incluye generar los medios inmersivos a partir de señales de vídeo a través de la fusión de señales de vídeo entre sí.

Un método de la invención implementado por ordenador puede incluir recibir una selección de un punto de vista de los medios de inversión; y presentar los medios de inversión desde el punto de vista durante su reproducción. Un método de la invención implementado por ordenador puede incluir que el procesador rastree y determine una ubicación del objeto principal en el evento para determinar un enfoque de la segunda cámara en el segundo plano de objeto principal. El sistema informático de la invención puede incluir que el enfoque de la segunda cámara esté a una distancia determinada más allá de la ubicación del objeto principal desde la segunda cámara. Un sistema informático de la invención puede incluir indexar las señales de vídeo desde cada matriz de cámaras dentro de los medios inmersivos. El sistema informático de la invención puede incluir que los medios inmersivos sean medios de realidad virtual de 360 grados.

Breve descripción de las figuras

La figura 1 ilustra un sistema de visión 360 no intrusiva de acuerdo con la invención.

La figura 2 muestra un diagrama de bloques de componentes de un servidor de visión 360 no intrusiva de acuerdo con la invención.

La figura 3 ilustra un campo de visión de una matriz de cámaras que rodea un estadio de competición de acuerdo con la invención.

La figura 4 ilustra una matriz de soportes para una matriz de cámaras que rodea un estadio de competición de acuerdo con la invención.

La figura 5 muestra un diagrama de un soporte para dos cámaras que puede situarse rodeando un campo de competición.

La figura 6 muestra un diagrama de flujo para el método de uso del sistema de visión 360 no intrusiva de acuerdo con la invención.

Descripción detallada

La figura 1 ilustra un sistema 100 de visión 360 no intrusiva que incluye un servidor 101 de visión 360 no intrusiva, una red 113, soportes 105a-n y cámaras 107a-n, de acuerdo con un modo de realización de la invención. El sistema 100 puede capturar, procesar y distribuir medios inmersivos, en donde los medios inmersivos son unos medios de realidad virtual de 360 grados, para su reproducción, utilizando un servidor 101 de visión 360 no intrusiva que se comunica con los soportes 105 y las cámaras 107 a través de una red de comunicación, por ejemplo, LAN, cable, WLAN, u otra red cableada o inalámbrica o a través de una conexión de comunicación directa. El servidor 101 puede incluir una arquitectura totalmente modular que incluya uno o más dispositivos informáticos distribuidos o centralizados, por ejemplo, servidores, estaciones de trabajo, dispositivos con procesadores y memoria, procesadores, memoria, etc. para permitir a un proveedor de contenidos multimedia (por ejemplo, editores, gestores de contenidos multimedia, coordinadores de eventos y otros) desplegar el sistema 100 en un área de evento. Las funciones del servidor 101 pueden incluir capturar vídeo o un evento a través de una matriz de cámaras que rodean el estadio, procesar el vídeo capturado y almacenar el vídeo procesado para su reproducción. La arquitectura del sistema 100 de visión 360 no intrusiva soporta un despliegue compacto a gran escala del sistema 100 y asegura que las capacidades de almacenamiento y procesamiento son robustas y adecuadas para operaciones de captura de contenido, de procesamiento y de almacenamiento. En otros modos de realización de ejemplo, las señales de vídeo de otras cámaras, que no forman parte del sistema, por ejemplo, cámaras de evento estándar, Skycam, dispositivos personales de usuarios, también se pueden incluir en la generación de los medios inmersivos para proporcionar unos medios inmersivos de una calidad más alta.

Existe una necesidad creciente de reproducir eventos deportivos para generar medios de RV/RA. El sistema 100 proporciona una matriz escalable de cámaras montadas que rodean un estadio de juego para limitar la intrusión de dispositivos de captura de medios durante las competiciones deportivas. El sistema 100 sigue la acción clave del evento en tiempo real y procesa el vídeo capturado para generar medios RV/RA. Como se muestra en la figura 1, un sistema 100 de visión 360 no intrusiva de la invención incluye un servidor 101 de visión 360 no intrusiva que puede controlar soportes y cámaras que rodean un estadio para seguir un(unos) objeto(s) principal(es) y cubrir una visión 360 del estadio. El servidor 101 recibe señales de vídeo de las cámaras que enfocan el(los) objeto(s) como el segundo plano así como, señales de vídeo que enfocan el segundo plano del(de los) objeto(s). La matriz de cámaras incluye conjuntos de cámaras que rodean el estadio. Un conjunto de al menos dos cámaras, se monta en varias posiciones que rodean el estadio para incluir una cobertura completa de 360 grados del estadio. Cada conjunto captura el primer plano y el segundo plano del estadio con señales de cámara separadas. Por ejemplo, cada conjunto de cámaras sigue una pelota de fútbol durante un partido de fútbol, una primera cámara que enfoca en la pelota como el objeto del primer plano y una segunda cámara que enfoca a una distancia determinada más allá de la pelota como el segundo plano.

Las figuras muestran un sistema de ejemplo de la invención para capturar y procesar vídeo para generar medios inmersivos, en donde los medios inmersivos son unos medios de realidad virtual de 360 grados. Por ejemplo, la figura 1 muestra un sistema 100 de acuerdo con la invención que captura y procesa vídeo para la generación de medios inmersivos. La figura 2 proporciona un despiece detallado de componentes incluidos en el servidor 101 de visión 360 no intrusiva. Las figuras 3 y 4 ilustran la matriz de cámaras que rodean un estadio y la figura 6 muestra un modo de realización de ejemplo de un soporte de una matriz de cámaras en las figuras 3 y 4.

El sistema 100 incluye un servidor 101 de visión 360 no intrusiva que puede conectarse (por cable o de forma inalámbrica) a una red 103 de comunicaciones, la red 103 de comunicaciones puede además estar configurada para comunicarse con soportes 105a-n, cámaras 107a-n y dispositivos de almacenamiento que incluyen al menos un almacenamiento 111 de vídeo capturado, un almacenamiento 113 de vídeo procesado y un almacenamiento 115 de configuración de vídeo. La red 103 de comunicaciones puede incluir cualquier número de, redes LAN, WLAN, Wi-Fi, celulares (por ejemplo, redes 4G LTE y 5G) redes de circuito cerrado, etc. En el modo de realización de ejemplo mostrado, los soportes 105a-n y las cámaras 107a-n pueden comunicarse de forma inalámbrica con la red 103 de comunicaciones. Los dispositivos 111-115 de comunicaciones pueden incluir dispositivos de almacenamiento escalables, bases de datos, una memoria de cámara a bordo, uno o más almacenamiento/memoria de servidor, etc. así como dispositivos de almacenamiento en la nube a partir de los cuales se puede recuperar y/o almacenar el contenido en los dispositivos 111-115 de almacenamiento. Los soportes 105a-n y las cámaras 107a-n pueden dirigirse por el servidor 101 a través de la red 103 de comunicaciones para capturar un(unos) objeto(s) de interés durante la competición/evento.

Los soportes 105a-n incluyen al menos dos cámaras 107a-n fijadas a cada soporte 105a-n. Cada soporte 105a incluye una primera cámara 107a encargada de enfocar en un objeto principal, por ejemplo, una pelota de fútbol, de fútbol americano, etc. y una segunda cámara 107b encargada de enfocar en un segundo plano del objeto principal, por ejemplo, 10-30 yardas (basándose en la forma y tamaño del estadio) más allá del objeto principal desde la posición de la cámara/soporte. El soporte 105a puede incluir porciones de fijación para las cámaras 107a y b que se van a fijar. Además, el soporte 105a incluye mecanismos de ajuste conectados a porciones de fijación, tal como mecanismos de giro para seguir la acción a lo largo de un ángulo de visión de horizonte o de ajuste, mecanismos axiales para elevar y descender las cámaras y/o mecanismos de nivelación para alinear las cámaras con el horizonte. Estos mecanismos de ajuste de soporte se pueden controlar mediante el servidor 101 para seguir el(los) objeto en el estadio por las cámaras 107a y b fijas. Por tanto, la información de las dimensiones y el ajuste de cada soporte se pueden almacenar y recuperar del almacenamiento 115 de configuración del sistema. La información del mecanismo de ajuste puede incluir un rango de movimiento de cada mecanismo de ajuste para cada soporte, una velocidad de movimiento y/o una suavidad. El campo de visión de la matriz de cámara montada puede ser conocido y se pueden seguir los objetos desde un conjunto de cámaras montadas al siguiente. Por ejemplo, si una señal de video de cámara es incapaz de continuar siguiendo el objeto principal en su campo de visión, el siguiente ángulo de visión más próximo puede determinarse para pasar al objeto sobre otra cámara de otro soporte. Por tanto, cuando la señal de cámara sigue un objeto y coincide con el ángulo de visión más alejado de la cámara, incluyendo el giro más alejado del mecanismo de ajuste, entonces la siguiente señal de cámara más próxima con una visión del objeto se determina que ajuste/gire hasta un ángulo de visión que continúa siguiendo el objeto principal.

Las cámaras 107a-n pueden incluir cámaras de ultra alta definición (UHD) que graban/proporcionan señales a 4K o a una calidad mayor. Las cámaras 107a-n pueden también incluir varias cámaras con varios ángulos de visión. Por tanto, incluso si las cámaras 107a-n tienen diferentes rangos de ángulo de visión, los ángulos de visión están configurados para capturar totalmente una vista de 360 grados del objeto principal. Además, el número de cámaras 107a-n que rodean el estadio debería cubrir todo el campo de juego. Las cámaras 107a-n también pueden ampliar ópticamente el(los) objeto(s) principal(es) que reduce el ángulo de visión de cada cámara 107a-n. La ampliación es controlada por el servidor 101 cuando determina un solapamiento de ángulo de visión. Adicionalmente, si las cámaras incluyen una calidad de vídeo inferior, por debajo de señales de vídeo 4K, son necesarios más solapamientos de ángulos de visión para proporcionar mayores detalles, es decir, son necesarias más cámaras 107 para proporcionar una cobertura total del campo de juego. Las cámaras 107a-n son controladas por el servidor 101 para ajustar varios elementos de cámara tal como una ampliación y un enfoque. El enfoque de la cámara 107 puede ajustarse para ayudar a seguir el(los) objeto(s) principal(es) y/o limitar el enfoque a objetos a una distancia determinada más allá del(de los) objeto(s) principal(es), es decir, en segundo plano. Las capacidades de cámara para cada cámara se pueden almacenar y recuperar del almacenamiento 115 de configuración y pueden incluir capacidades tales como una ampliación, un enfoque, una ubicación y una calidad de vídeo. En algunos modos de realización de ejemplo, las cámaras 107 son todas iguales, en otros modos de realización de ejemplo, la cámara 1 del conjunto de cámaras es una cámara de gran angular y la cámara 2 es una cámara de visión estándar. Múltiples cámaras con diferentes o iguales ángulos de visión se pueden situar en los soportes individuales para proporcionar una redundancia y vistas opcionales (por ejemplo, ampliada frente a normal).

Como se muestra con mayor detalle en el servidor 101 de la figura 2, el servidor 101 de vídeo 360 no intrusivo puede incluir muchos módulos para lograr la captura y el procesamiento de videos para generar unos medios inmersivos. Aunque la figura 2 muestra el servidor 101 como un dispositivo único, el servidor puede incluir cualquier número de dispositivos de procesamiento que incluyen varios módulos del servidor 101. Cada módulo puede incluir o bien una solución de software o de hardware que cumpla las necesidades del sistema 100. El servidor 101 puede incluir un módulo 201 de control de cámara, un módulo 203 de control de soporte, un módulo 205 de captura de vídeo, un módulo 207 de seguimiento de objeto, un módulo 209 de fusión, un módulo 211 de selección y módulos 213 de comunicaciones. El servidor 101 puede estar configurado para recuperar y almacenar contenido con los dispositivos 111-115 de almacenamiento que incluyen el almacenamiento 111 de vídeo capturado, el almacenamiento 113 de medios procesados y el almacenamiento 115 de configuración del sistema.

El módulo 201 de control de cámara se utiliza con el módulo 213 de comunicaciones para recibir capacidades de cámara desde el almacenamiento 115 de configuración del sistema. El módulo 201 de control de cámara puede entonces comunicarse con la(s) cámara(s) 107, a través del módulo 213 de comunicación para ajustar la ampliación, el enfoque, la calidad de vídeo, etc., basándose en el objeto principal, el tamaño y forma del estadio, la ubicación de la cámara y el enfoque encargado de la cámara (cámara1 o cámara2) de cada conjunto de cámaras.

Por ejemplo, un conjunto de cámara se puede montar en un lado largo de un campo de fútbol. La anchura (es decir, el lado corto) del campo de fútbol es 75 yardas de manera que se puede preferir un enfoque diferencial de 25 yardas. Una de las cámaras del conjunto (cámara1) puede enfocar la pelota de fútbol del campo de juego. La cámara puede determinarse que esté a 5 yardas de la pelota y la cámara puede ampliarse un poco para recibir una señal más clara de la acción cercana. La otra cámara del conjunto (cámara2) puede incluir un enfoque de eventos por detrás de la pelota 25 yardas más allá de la pelota (es decir, alejada 30 yardas de las cámaras) basándose en el diferencial de enfoque. En otro ejemplo, el conjunto de cámaras puede montarse en el lado largo del campo de fútbol, la bola puede estar alejada 70 yardas. La cámara1 puede ampliarse en la capacidad más alejada de la cámara y la cámara2 puede enfocarse de 5-10 yardas más allá de la bola (es decir, alejada 75-80 yardas). En otro ejemplo más, el conjunto de cámara se puede montar en el lado corto del campo de fútbol. El lado largo del campo de fútbol tiene 120 yardas de largo. De manera que, cuando la pelota está alejada 20 yardas de las cámaras, la cámara1 es ampliada y la cámara2 es enfocada 25 yardas más allá de la pelota (es decir, alejada 45 yardas) o puede enfocarse más para englobar más espacio/acción en el resto del campo.

El módulo 203 de soporte es utilizado con el módulo 213 de comunicaciones para recibir capacidades de soporte desde el almacenamiento 115 de configuración del sistema. El módulo 203 de control de soporte puede entonces comunicarse con el(los) soporte(s) 105, a través del módulo 213 de comunicación, para ajustar la direccionalidad de las cámaras, girando la señal de cámara para centrarse en el objeto principal, retirar/reducir obstrucciones elevando descendiendo la altura de soporte, etc., basándose en el objeto principal, el tamaño y forma del estadio, la ubicación del soporte, cuya cámara (cámara1 o cámara2) está ajustando el soporte. La altura de las cámaras se puede establecer para promediar la altura de la cabeza de los competidores para capturar las señales de vídeo más cercanas al punto de vista real de los competidores. Por ejemplo, a medida que se mueve una pelota de fútbol (objeto principal) a través del campo, el soporte 105 gira ambas cámaras para seguirla. El soporte 105 puede incluir un giro independiente de las cámaras basándose en la ubicación de fijación en el soporte (por ejemplo, para una colocación más amplia de las cámaras) o ambas cámaras pueden girar a la vez (es decir, en un único mecanismo de giro, para una colocación estrecha de las cámaras).

El módulo 205 de captura de vídeo es utilizado con el módulo 213 de comunicaciones para recibir señales de vídeo de las cámaras 107. El módulo 205 de captura de vídeo almacena señales de vídeo recibidas en el almacenamiento 111 de vídeo capturado, a través del módulo 213 de comunicaciones. El módulo 205 de captura de vídeo puede almacenar el vídeo para un procesamiento posterior o un almacenamiento del vídeo concurrente para el procesamiento. El procesamiento de las señales de vídeo incluye utilizar el módulo 205 de captura de vídeo con el módulo 207 de seguimiento del objeto y/o el módulo 209 de fusión. El módulo 207 de seguimiento del objeto determina/sigue un objeto principal desde la señal de video o el vídeo capturado almacenado. En un modo de realización de ejemplo, el módulo 207 de seguimiento del objeto sigue el objeto principal utilizando las señales de vídeo recibidas para seguir el objeto principal en tiempo casi real. Adicionalmente, el módulo 205 de captura de vídeo puede indexar todas las señales de vídeo para proporcionar direccionalidad, posición, ángulo de visión e información de cámara sobre cada señal de video. Dicha información se puede almacenar en el almacenamiento 111 de vídeo capturado para ayudar al procesamiento del vídeo capturado a generar los medios inmersivos.

El módulo 207 de seguimiento del objeto puede seguir el objeto principal utilizando varias técnicas de procesamiento de imagen junto con datos que describen el objeto principal almacenado en el almacenamiento 115 de configuración del sistema. Por ejemplo, el objeto principal puede incluir una pelota de fútbol con marcas tradicionales, que incluyen puntos hexagonales negros en una pelota blanca. El módulo 207 de seguimiento del objeto puede determinar si un objeto en la señal de video es la pelota de fútbol basándose en resultados de procesamiento de imagen. El módulo 207 de seguimiento del objeto también puede utilizar el procesamiento de imagen con triangulación de la posición de dos o tres cámaras (en soporte separados) en la matriz para seguir la posición de la pelota. Por tanto, el módulo 207 de seguimiento del objeto puede seguir la ubicación de la pelota y proporcionar controles de ajuste/movimiento de los soportes de todas las cámaras para seguir la pelota. El módulo 207 de seguimiento del objeto se puede utilizar con el módulo 201 de control de cámara y el módulo 203 de control de soporte. Cuando el objeto principal es seguido dentro de las señales de vídeo recibidas, el módulo de seguimiento del objeto determina los ajustes del soporte 105 y de la cámara 107 que pueden centrar el objeto principal en las señales de video. Por ejemplo, cuando una pelota de fútbol se traslada de derecha a izquierda de una señal de video, el soporte 105 envía comunicaciones de ajuste para fijar las cámaras a la izquierda para mantener la pelota centrada en la señal. Además, el módulo 207 de seguimiento del objeto se puede utilizar para determinar una obstrucción basándose en procesamiento de imagen, por ejemplo, un objeto se encuentra que está en una porción grande de la señal de video a lo largo de un tiempo predeterminado, el módulo 207 de seguimiento del objeto puede entonces, a través del módulo 203 de control de soporte, ajustar el soporte 105 accionando verticalmente el soporte 105 (es decir, eleva o desciende las cámaras 107) para limitar o retirar la obstrucción de la señal de video.

El módulo 207 de seguimiento del objeto también puede utilizar un dispositivo de seguimiento más pequeño menos intrusivo para seguir un objeto en el campo de juego. Por ejemplo, un dispositivo sensor pequeño que retransmite coordenadas para el(los) objeto(s) principal(es), tal como una pelota o un competidor. El dispositivo sensor puede incluir varios sistemas de comunicación, incluyendo Wi-Fi, radiofrecuencia (RF), NFC, Bluetooth, etc. El dispositivo sensor también puede incluir GPS u otro método de determinación de ubicación. Además, el módulo 207 de seguimiento del objeto puede utilizar una combinación de un sensor y un procesamiento óptico para seguir y predecir potencialmente el movimiento del objeto. Se puede realizar una predicción para proporcionar un mejor seguimiento de cámara. Además, el dispositivo de seguimiento puede incluir marcadores reflexivos en el(los) objeto(s) principal(es) que es(son) seguido(s) ópticamente.

El módulo 209 de fusión procesa el vídeo capturado para combinar múltiples señales de vídeo en una única composición de medios inmersivos. El módulo 209 de fusión puede hacer determinaciones de horizonte, generar un gráfico compuesto, y equilibrar la exposición para fusionar videos entre sí a partir de múltiples señales de vídeo. La determinación del horizonte ayuda a centrar una escena para una visión por defecto a un consumidor. Las determinaciones de horizonte incluyen un procesamiento de imagen para determinar el horizonte y/o pueden incluir información sobre un mecanismo de nivelación y si la cámara está nivelada con el horizonte. La realización de gráficos compuestos alinea las imágenes en el video para cortar y unir vistas solapadas mediante un procesamiento de imagen para determinar objetos cerca del borde de cada señal de cámara. Se determina que los objetos son iguales a partir de señales de cámara múltiples y puede entonces incluirse imágenes que pueden solaparse. El número de cámara, ubicación de las cámaras, etc., puede afectar a la fusión de las señales de cámara. El equilibrio de exposición arregla las variaciones de color, brillo y contraste entre señales de cámara para tener una apariencia más uniforme. El módulo 209 de fusión se puede utilizar también para seleccionar varias composiciones de medios inmersivos, por ejemplo, medios de visión de 360 grados de RV o RA o de 180 grados en 2D con múltiples puntos de vista (al menos dos). Para hacer una determinación de horizonte, el módulo 209 de fusión puede utilizar el módulo 207 de seguimiento del objeto para procesar la imagen de vídeo para determinar un horizonte. El módulo 209 de fusión puede entonces almacenar los medios inmersivos en el almacenamiento 113 de medios procesados. En particular, la realización del gráfico compuesto puede incluir un procesamiento de imagen para determinar sí un objeto en una señal de cámara se muestra desde una dirección (basándose en la ubicación de la cámara) y basándose en el procesamiento de imagen de otra señal de cámara, si el mismo objeto se muestra desde una dirección diferente. Cada señal de cámara se puede combinar basándose en una ubicación conocida en la matriz y puede relacionarse con la integración de las señales de cámara. Por ejemplo, utilizando las ubicaciones de soporte descritas en la figura 3 más abajo, la señal de cámara de la cámara1 de soporte 105a muestra una pelota de fútbol, esta señal es fusionada junto con la siguiente señal de cámara1 de soporte 105b y no salta a señales de cámara de soporte 105c. De esta manera, se produce la fusión de una manera ordenada para compilar una vista en 3D más completa de objetos en el campo de juego.

El módulo 211 de selección recibe una selección de un punto de vista de un usuario del sistema 100. La selección puede ser un equipo de la competición, que proporciona el punto de vista desde el competidor más cercano al(a los) objeto(s) principal(es). Por ejemplo, el competidor que sujeta/regatea con la pelota de fútbol y/o el competidor más cercano a la pelota del equipo seleccionado. El sistema 100, puede entonces, basándose en la selección del formato de medios inmersivos (es decir, 3D RV, 2D RV, etc.) puede mostrar inicialmente una vista desde el objeto principal, por ejemplo, la pelota, en la dirección general en la mayoría del equipo opuesto, en la dirección de la portería del equipo opuesto y/o en la dirección del competidor más cercano al que está mirando. Cuando el formato de medios inmersivos es un formato 2D RV, la vista puede ser únicamente de la portería del equipo opuesto. En un modo de realización de ejemplo, el sistema 100 genera unos medios inmersivos 3D RV los cuales, en un “punto de vista de 180 grados) 2D RV, se dividen para generar los medios inmersivos 2D RV. En otros modos de realización, el sistema genera directamente los medios inmersivos seleccionados.

En otros modos de realización, una selección es sobre un competidor en el campo en lugar de un equipo. Cuando las elecciones de un competidor, algunas o todas las cámaras se pueden dirigir al competidor seleccionado en lugar de a una pelota. El módulo 211 de selección puede utilizar el módulo 201 de control de soporte para encargar a algunas o todas las cámaras que persigan/sigan un objeto principal diferente a la pelota (por ejemplo, el competidor seleccionado o una ubicación en el campo) para mostrar puntos de vista desde esas otras selecciones.

Tal y como se muestra en la figura 3, una vista de arriba abajo de una matriz de conjuntos de cámaras montadas se muestra rodeando un estadio. Los soportes 105a-p rodean al campo de fútbol. La figura 2 detalla la direccionalidad y el ángulo de visión de unas pocas de las cámaras en los soportes 105a, b, c, l, n y o, sin embargo en un modo de realización de ejemplo, todas las cámaras en todos los soportes 105a-p también pueden estar dirigidas hacia la pelota de fútbol. En modos de realización de ejemplo, se cumplen los 360 grados de cobertura y algunas de las cámaras restantes de los soportes 105d-k, m y p pueden dirigirse hacia otros objetos principales, por ejemplo, jugadores. De forma similar, la figura 4 muestra una vista en perspectiva de otra matriz de conjuntos de cámaras 105a-l montadas para mostrar la dimensionalidad de altura de los soportes.

Como se muestra con más detalle, la figura 5 describe un modo de realización de ejemplo de un soporte 500 que se puede utilizar para fijarse a al menos dos cámaras. Una primera fijación de cámara en el punto 501 y una segunda fijación de cámara en el punto 503. Las fijaciones de cámara a través de los métodos de fijación utilizados comúnmente incluyen un tornillo o abrazadera. Un mecanismo de accionamiento verticalmente eleva y desciende la segunda cámara desde el punto 503 de fijación a lo largo de la pista 507. Un mecanismo 505 giratorio gira ambas cámaras a lo largo del eje del cuerpo de soporte.

La figura 6 muestra un diagrama de flujo para el método de uso del sistema de vista 360 no intrusiva de acuerdo con la invención. En la etapa 601, el servidor 101 recibe señales de vídeo desde la matriz de cámaras 107. En la etapa 603, las señales de video son analizadas para determinar un objeto principal para su seguimiento. En la etapa 605, el servidor 101 controla los medios de accionamiento de los soportes 105 en la matriz de soportes para seguir el objeto principal. Las cámaras que se montan en los soportes. Basándose en este seguimiento, las señales de medios se fusionan para generar unos medios inmersivos. En la etapa 609, el servidor 101 recibe una selección de un punto de vista de los medios inmersivos. En la etapa 611, el servidor 101 presenta los medios inmersivos desde el punto de vista durante la reproducción.

Los sistemas y métodos de la invención proporcionan una visión 360 no intrusiva. La invención procesa las señales de vídeo desde una matriz de cámaras para seguir un objeto en las señales de vídeo y generar unos medios inmersivos desde las señales de vídeo. El sistema identifica un objeto principal y sigue el objeto principal con una matriz de conjuntos montados de al menos dos cámaras. Cada uno de los conjuntos que incluye una cámara dirigida al objeto y otra cámara dirigida a un segundo plano del objeto. El sistema entonces fusiona las señales de vídeo para generar los medios inmersivos.

Claims

REIVINDICACIONES

1. Un sistema (100) para capturar vídeo de una matriz de cámaras (107) para generar unos medios inmersivos para su reproducción, el sistema (100) que comprende:

una matriz de soportes (105) con la matriz de cámaras (107) fijada a los soportes (105) que rodean un campo de un evento, cada uno de los soportes (105) que comprende un mecanismo de accionamiento; y

un servidor (101) informático para accionar los soportes (105) para seguir un objeto principal a través del campo del evento, para recibir señales de vídeo de la matriz de cámaras (107), para analizar las señales de vídeo para determinar un objeto principal en las señales de video y para generar los medios inmersivos a partir de las señales de vídeo fusionando las señales de vídeo entre sí, en donde los medios inmersivos son unos medios de realidad virtual de 360 grados,

caracterizado por quela matriz de cámaras (107) está fijada a los soportes (105) en conjuntos de al menos dos cámaras (107) a cada soporte (105), cada uno de los conjuntos de las al menos dos cámaras (107) que comprende: una primera cámara (107a) de las al menos dos cámaras (107) dirigida al objeto principal del evento, y

una segunda cámara (107b) de las al menos dos cámaras (107) dirigida a un segundo plano del objeto principal; en donde el servidor (101) informático sigue y determina una ubicación del objeto principal en el campo del evento para determinar un enfoque de la segunda cámara (107b) en el segundo plano del objeto principal y el enfoque de la segunda cámara (107b) está a una distancia determinada más allá de la ubicación del objeto principal desde la segunda cámara (107b).

2. Un sistema (100) de la reivindicación 1, en el que el servidor (101) recibe una selección de un punto de vista de los medios inmersivos y presenta los medios inmersivos desde el punto de vista para su reproducción.

3. Un sistema (100) de la reivindicación 1, en el que el servidor (101) informático recibe una selección de un punto de vista en los medios inmersivos y la reproducción se inicia desde el punto de vista.

4. Un sistema (100) de la reivindicación 1, en el que el servidor (101) informático indexa las señales de vídeo desde cada cámara de la matriz de cámaras (107).

5. Un método implementado por ordenador para capturar vídeo de una matriz de cámaras (107) para generar unos medios inmersivos para su reproducción, en donde los medios inmersivos son unos medios de realidad virtual de 360 grados, el método que comprende:

recibir señales de vídeo desde la matriz de cámaras (107);

analizar las señales de vídeo para determinar un objeto principal en las señales de video;

controlar un mecanismo de accionamiento de cada soporte (105) de una matriz de soportes (105) con la matriz de cámaras (107) fijada a los soportes (105) para seguir al objeto principal; y

generar unos medios inmersivos a partir de las señales de vídeo fusionando las señales de vídeo entre sí, el método implementado por ordenador que además comprende:

recibir una selección de un punto de vista de los medios inmersivos; y

presentar los medios inmersivos desde el punto de vista durante la reproducción,

caracterizado por quela matriz de cámaras (107) se fija a la matriz de soportes (105) en conjuntos de al menos dos cámaras (107) a cada soporte (105) y cada uno de los conjuntos comprende una primera cámara (107a) de las al menos dos cámaras (107) dirigida al objeto principal del evento y una segunda cámara (107b) de las al menos dos cámaras (107) dirigida a un segundo plano del objeto principal,

en donde el procesador sigue y determina una ubicación del objeto principal en el campo del evento para determinar un enfoque de la segunda cámara (107b) en el segundo plano del objeto principal y el enfoque de la segunda cámara (107b) está a una distancia determinada más allá de la ubicación del objeto principal desde la segunda cámara (107b).

6. Un método implementado por ordenador de la reivindicación 5, que además comprende:

indexar las señales de vídeo de cada cámara de la matriz de cámaras (107) dentro de los medios inmersivos.