ES2932728T3 - Método y sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo - Google Patents

Método y sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo Download PDF

Info

Publication number
ES2932728T3
ES2932728T3 ES19742393T ES19742393T ES2932728T3 ES 2932728 T3 ES2932728 T3 ES 2932728T3 ES 19742393 T ES19742393 T ES 19742393T ES 19742393 T ES19742393 T ES 19742393T ES 2932728 T3 ES2932728 T3 ES 2932728T3
Authority
ES
Spain
Prior art keywords
key
video stream
image
images
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19742393T
Other languages
English (en)
Inventor
Braun Max Von
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Appario Global Solutions AGS AG
Original Assignee
Appario Global Solutions AGS AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Appario Global Solutions AGS AG filed Critical Appario Global Solutions AGS AG
Application granted granted Critical
Publication of ES2932728T3 publication Critical patent/ES2932728T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F13/00—Illuminated signs; Luminous advertising
    • G09F13/20—Illuminated signs; Luminous advertising with luminescent surfaces or parts
    • G09F13/22—Illuminated signs; Luminous advertising with luminescent surfaces or parts electroluminescent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F13/00—Illuminated signs; Luminous advertising
    • G09F13/20—Illuminated signs; Luminous advertising with luminescent surfaces or parts
    • G09F13/22—Illuminated signs; Luminous advertising with luminescent surfaces or parts electroluminescent
    • G09F2013/222—Illuminated signs; Luminous advertising with luminescent surfaces or parts electroluminescent with LEDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

La presente invención se refiere a un método para el reemplazo dinámico de contenido de imágenes en un flujo de video que comprende generar un conjunto de datos de imágenes clave (K) que comprende una secuencia de al menos dos imágenes clave diferentes (K1, K2), mostrando periódicamente dicho conjunto de imágenes clave. datos (K) en una pantalla física, generando al menos un primer flujo de video original (O1) de una escena que incluye dicha visualización física mediante la grabación de dicha escena con una cámara, donde dicho al menos un flujo de video (O1) comprende cuadros de video clave (FK1, FK2), captura sincrónicamente con la visualización de cada una de dichas al menos dos imágenes clave diferentes (K1, K2) de dicho conjunto de datos de imagen clave (K) en dicha pantalla física,generar un área de máscara (MA) correspondiente a un área activa de dicha pantalla física visible en dichos cuadros de video clave a partir de imágenes diferenciales (AFK) obtenidas de cuadros de video clave consecutivos (FK1, FK2), generando al menos un flujo de video alternativo (V) insertando contenido de imagen alternativo (I) en el área de máscara (MA) de un flujo de video original, y transmitiendo al menos dicho flujo de video alternativo. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Método y sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo
La presente invención se refiere a un método y un sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo, particularmente en un flujo de vídeo en el que una pantalla activa tal como una pantalla LED es parte del contenido de la imagen grabada.
Las pantallas activas, tales como las pantallas de diodos de emisión de luz (LED), se usan ampliamente como carteles publicitarios o letreros para transmitir información o anuncios a los espectadores. Por lo general, tales pantallas se usan en eventos deportivos o de entretenimiento. En consecuencia, tales pantallas aparecen a menudo en transmisiones de televisión (TV) o transmisiones de vídeo distribuidas a través de flujos de Internet. Estas transmisiones están dirigidas a una gran diversidad de espectadores diferentes, siendo un ejemplo típico los espectadores en diferentes países con diferentes idiomas nativos o diferentes antecedentes culturales. Para dirigir la información/anuncios mostrados en estas pantallas a subconjuntos específicos de estos espectadores, ya se han desarrollado métodos para variar el contenido de una pantalla entre los espectadores que observan la pantalla a través de una transmisión de televisión o un flujo de vídeo.
Un grupo de estos métodos usa tecnología de procesamiento de vídeo basada en software para identificar la ubicación del cartel publicitario en cada fotograma del flujo de vídeo grabado y para reemplazar electrónicamente el contenido mostrado en el cartel publicitario en esta secuencia de vídeo por uno o más contenidos alternativos para generar uno o más flujos de vídeo adicionales, que pueden transmitirse a diferentes subconjuntos de usuarios. En consecuencia, aunque solo un tipo particular de publicidad es visible en un momento dado para los espectadores directos que están presentes en el evento en directo, diferentes subconjuntos de espectadores de transmisión pueden ver secuencias de vídeo del evento al mismo tiempo dado, donde los carteles publicitarios que aparecen en estas transmisiones muestran diferentes tipos de anuncios dirigidos específicamente a los respectivos subconjuntos de espectadores de transmisión.
Para obtener una impresión fotorrealista del flujo de vídeo, es importante que el contenido de la imagen de las pantallas activas mostradas en la pantalla de vídeo se altere de tal manera que el espectador no se dé cuenta de que se ha producido un reemplazo del contenido de la imagen electrónica. La dificultad más desafiante en el reemplazo dinámico de contenido reside en identificar con precisión la ubicación de la pantalla activa, tal como un cartel publicitario LED, en un entorno complejo y en identificar cualquier distorsión que afecte al cartel publicitario en un momento dado. Esas distorsiones pueden ser múltiples: Los eventos más interesantes para el reemplazo dinámico de contenido de imagen no ocurrirán en un entorno de estudio de TV bien definido, sino en eventos en exteriores, tales como eventos deportivos en directo. En consecuencia, las distorsiones típicas que afectan a la representación de la pantalla activa en el flujo de vídeo implican distorsiones de perspectiva debidas a las características de distancia, ángulo o zoom (posiblemente cambiantes dinámicamente) de la cámara de grabación con respecto a la pantalla activa grabada. Además, debe esperarse una cobertura total o parcial de la pantalla activa por objetos, por ejemplo, una pelota de fútbol que se mueve rápidamente, o personas, por ejemplo, jugadores, que se mueven en la línea de visión entre la pantalla activa y la cámara de grabación. La cobertura parcial puede incluso implicar una cobertura semitransparente por objetos pequeños, tales como la lluvia o la niebla.
Un concepto que trata de conseguir una detección fiable de la pantalla activa en una pantalla de vídeo implica métodos no intrusivos, es decir, métodos que no interfieren con la publicidad o el equipo de grabación presente convencionalmente usado en eventos de transmisión en directo. Tales métodos se describen, por ejemplo, en el documento EP 2383699 A1. Estos métodos implican un amplio conocimiento adicional de la pantalla física que se va a detectar, usando, por ejemplo, un modelo 3D basado en ordenador de la pantalla y haciendo coincidir segmentos de imagen de un flujo de vídeo con un conjunto de siluetas de referencia obtenidas del modelo 3D de base calculado. Hasta la fecha, estos conceptos no logran proporcionar videos con reemplazo de imagen fotorrealista, es decir, donde el espectador de la transmisión no notará fácilmente que los anuncios se han insertado electrónicamente.
Otros conceptos son intrusivos en el sentido de que se requiere un equipo especializado para carteles publicitarios de anuncios o grabación de vídeo. Por ejemplo, en ciertos métodos, las secuencias características de imágenes monocromáticas cortas se presentan en la pantalla activa y la propia cámara o detectores especializados asociados con la cámara están configurados para detectar esos fotogramas monocromáticos. El área identificada por los fotogramas monocromáticos se reemplaza a continuación por el contenido de imagen alternativo deseado. Sin embargo, aunque los fotogramas monocromáticos insertados son cortos, la experiencia de visualización de los espectadores directos aún puede verse perturbada por efectos similares a los de un destello, incluso cuando no se ven conscientemente como una imagen en la pantalla activa. El documento WO 2013/186278 A1 describe una mejora, en la que se usan imágenes de infrarrojos para identificar la pantalla activa que, debido a su longitud de onda, debería tener menos efectos perturbadores en los espectadores directos. Sin embargo, las pantallas comercialmente disponibles no están destinadas a proporcionar una intensidad de radiación significativa en el rango de infrarrojos, de modo que el método del documento W o 2013/186278 A1 no solo requiere carteles publicitarios especializadas, sino también detectores especializados asociados con las respectivas cámaras. Los detectores están dispuestos para moverse con la cámara, es decir, para seguir el mismo movimiento de panorámica e inclinación que la cámara para proporcionar señales de telemetría adicionales que transmiten parámetros relevantes de la cámara, tales como la distancia focal, la apertura, el movimiento y la posición a un servidor de procesamiento de vídeo en un camión remoto o furgoneta de transmisión exterior (furgoneta OB) donde se encuentra un sistema de reemplazo de contenido, que usa estos parámetros para identificar la pantalla activa y reemplazar su contenido de imagen por cualquier contenido de imagen alternativo deseado. En el documento WO 2016/023953 del mismo solicitante, también se sugiere obtener imágenes de la escena a diferentes resoluciones para mejorar la representación de detalles precisos que oscurecen la pantalla activa. En cualquier caso, se requiere equipo sofisticado y especializado en el método de reemplazo dinámico de contenido de la técnica anterior.
El documento US 2016/255283 A1 describe un método para el reemplazo dinámico de contenido de imagen en un flujo de vídeo donde se genera un área de máscara para el reemplazo de contenido de imagen a partir de flujos de vídeo consecutivos. El documento US 2018/020167 A1 describe un sistema de vídeo de captura de imágenes de fondo múltiple que usa una imagen monocromática o un patrón para el remplazo del contenido de la imagen. El documento CN 106412459 A describe un sistema de visualización de imágenes en el que se muestra un primer contenido de imagen junto con un segundo contenido de imagen y un segundo contenido de imagen invertido. El documento EP 3 226 565 A1 describe un método y un dispositivo para separar el vídeo emitido y el vídeo de visualización en el sitio usando una imagen monocromática para reemplazar el contenido de la imagen.
Por lo tanto, un objetivo de la presente invención es proporcionar un método y un sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo, particularmente, para reemplazar el contenido de imagen de una pantalla activa visible en el flujo de vídeo por contenido de imagen alternativo, que es rentable y fácil de implementar con tecnología de carteles publicitarios y tecnología de cámaras comercialmente disponibles usando algoritmos de software, que no requieren una potencia de procesamiento excesiva.
Este problema técnico se resuelve mediante el método de la presente reivindicación 1. Las realizaciones preferidas del método reivindicado son objeto de las reivindicaciones dependientes.
En consecuencia, la presente invención se refiere a un método para el reemplazo dinámico de contenido de imagen en un flujo de vídeo que comprende generar un conjunto de datos de imagen clave (K) que comprende una secuencia de al menos dos imágenes clave diferentes (K1, k 2), mostrando periódicamente dicho conjunto de datos de imagen clave (K) en una pantalla física, generar al menos un primer flujo de vídeo original (O1) de una escena que incluye dicha pantalla física al grabar dicha escena con una cámara, en donde dicho al menos un flujo de vídeo (O1) comprende fotogramas de vídeo clave (FK1, FK2), capturados de forma sincronizada con la visualización de cada una de dichas al menos dos imágenes clave diferentes (K1, K2) de dicho conjunto de datos de imagen clave (K) en dicha pantalla física, generar un área de máscara (MA) correspondiente a un área activa de dicha pantalla física visible en dichos fotogramas de vídeo clave a partir de imágenes diferenciales (AFK) obtenidas de fotogramas de vídeo clave consecutivos (FK1, FK2), generar al menos un flujo de vídeo alternativo (V) insertando contenido de imagen alternativo (I) en el área de máscara (MA) de un flujo de vídeo original, y transmitir al menos dicho al menos un flujo de vídeo alternativo.
Al determinar el área de máscara, donde el reemplazo de la imagen debe ocurrir a través de una imagen diferencial obtenida de un flujo de vídeo grabado, la tecnología de transmisión y publicidad existente en ubicaciones de eventos tales como un estadio de fútbol solo necesita modificarse en la medida en que se deben insertar imágenes clave en la alimentación de imágenes representadas en la pantalla física de un cartel publicitario. La cámara de grabación tiene que estar sincronizada con la presentación de las imágenes clave en la pantalla física. De lo contrario, el equipo del estadio no tiene que adaptarse al método de la presente invención, de modo que la invención puede considerarse como un concepto levemente intrusivo. En ciertas realizaciones, la cámara/cámaras de grabación tiene/tienen que funcionar a una tasa de fotogramas de grabación más alta para permitir que las imágenes clave se distingan de cualquier imagen adicional que pueda presentarse en la pantalla física, por ejemplo, una alimentación de imagen principal que muestra publicidad dirigida al espectador directo presente en el estadio. Sin embargo, la especificación de un cartel publicitario LED disponible en la actualidad permite el funcionamiento a velocidades de fotogramas de visualización altas, tal como de 500 a 1000 Hz/fotogramas por segundo (fps), de modo que pueden insertarse fácilmente las imágenes clave que se presentan en intervalos de tiempo de normalmente 1 a 5 ms de duración.
El contenido de imagen alternativo insertado (I) puede ser cualquier contenido deseado destinado a aparecer en el área de visualización activa del flujo de vídeo alternativo transmitido (V), por ejemplo, publicidad alternativa dirigida a un subconjunto específico de espectadores. En este caso, se puede proporcionar diversos contenidos de imagen alternativos para generar una pluralidad de flujos de vídeo alternativos, cada uno transmitido a un subconjunto diferente de espectadores. Sin embargo, una solución de este tipo requiere anchos de banda de transmisión considerables en la ubicación del evento para transmitir una pluralidad de flujos de vídeo dirigidos a los espectadores finales.
Por lo tanto, en una realización preferida, el contenido de imagen alternativo (I) insertado en el área activa identificada de la pantalla física visible en los fotogramas de vídeo grabados es una imagen monocromática predefinida. En esta realización, el flujo de vídeo alternativo resultante no se transmite directamente al espectador final, sino a distribuidores intermedios, por ejemplo, empresas de radiodifusión en diferentes países, lo que les permite insertar el contenido deseado para el espectador final a través de una técnica de procesamiento de vídeo bien establecida conocida como "incrustación por croma".
Dicha imagen diferencial (AFK) se obtiene determinando una diferencia de intensidad entre fotogramas de vídeo clave consecutivos (FK1, FK2), normalmente basándose en los píxeles de la imagen. Dependiendo de la resolución requerida, también es posible agrupar los píxeles vecinos de los fotogramas de vídeo de TV, por ejemplo, bloques de píxeles de 2x2 o bloques de 4x4 antes de calcular la diferencia de intensidad, lo que permite aplicar una reducción de ruido de color o una reducción de ruido de intensidad.
La imagen diferencial (AFK) se convierte preferentemente en una imagen en escala de grises, como alternativa, los fotogramas de vídeo clave se pueden convertir en fotogramas en escala de grises antes de que se determinen las diferencias de intensidad.
En una realización, dichas imágenes clave (K1, K2) son imágenes monocromáticas diferentes. En una realización, una imagen clave puede ser una imagen blanca, resaltando homogéneamente el área activa de la pantalla física y la otra imagen clave es una imagen negra, donde el área activa de la pantalla física no está iluminada en absoluto. Esto permite obtener una diferencia de intensidad máxima entre fotogramas de vídeo clave consecutivos, lo que le permite identificar fácilmente el área activa de la pantalla física. Sin embargo, especialmente en los casos en los que la diferencia de intensidad entre las imágenes clave (K1) y (K2) es alta, los reflejos de la imagen de mayor intensidad intermedia también pueden estar presentes en la imagen diferencial (AFK). Para evitar que los reflejos afecten al área de máscara (MA) generada, se puede aplicar un umbral a la diferencia de intensidad de modo que solo se empleen las diferencias de intensidad por encima de un cierto valor umbral para determinar el área de máscara (MA).
A partir de meras imágenes clave monocromáticas, es difícil determinar alguna distorsión óptica, tales como las distorsiones de perspectiva, que afectan a la pantalla física grabada. Este problema se puede mitigar parcialmente incluyendo el conocimiento previo de ciertas características geométricas de la pantalla física para extraer las distorsiones de perspectiva de la máscara generada. Sin embargo, en una realización preferida, las imágenes clave (K1) y (K2) comprenden diferentes patrones de imagen distribuidos sobre el área activa de la pantalla física. Un patrón preferido es un patrón de tablero de ajedrez formado por cuadrados o rectángulos monocromáticos distribuidos sobre el área activa. En una realización, la imagen (K1) es el patrón de tablero de ajedrez inverso de la imagen (K2). Por ejemplo, si la imagen (K1) está formada por cuadrados o rectángulos blancos/grises y negros, en la imagen (K2) los cuadrados o rectángulos blancos/grises y negros simplemente se intercambian. Por consiguiente, en una realización preferida, el patrón de imagen de un fotograma clave (K1) es un patrón de tablero de ajedrez monocromático y el patrón de imagen del otro fotograma clave (K2) es el patrón de tablero de ajedrez inverso correspondiente.
En una realización preferida, se aplican algoritmos de detección de límites y bordes a la imagen diferencial, lo que da como resultado un área de máscara (MA) que tiene un patrón rectangular, mientras que se evita que se produzcan reflejos incluso sin aplicar un umbral de diferencia de intensidad.
Si los patrones de tablero de ajedrez originales de las imágenes (K1) y (K2) fueran rectángulos espaciados uniformemente, cualquier distorsión de la pantalla física con respecto a la cámara se puede inferir de la distribución del patrón en el área de máscara generada (MA), por ejemplo, ajustando los puntos de cruce de la máscara por splines (seccionales).
Si el contenido de imagen alternativo (I) comprende imágenes destinadas al espectador final, los datos de distorsión ya pueden emplearse cuando se inserta el contenido de imagen alternativo en el área de máscara. Sin embargo, en una realización preferida en la que el contenido de imagen alternativo (I) comprende imágenes monocromáticas para la incrustación por croma posterior por distribuidores intermedios, los datos de distorsión se pueden transmitir junto con el flujo de vídeo alternativo (V) a los distribuidores intermedios donde se inserta el contenido de imagen real destinado al espectador final bajo la aplicación de los datos de distorsión respectivos.
De acuerdo con una realización preferida, si el conjunto de datos de imagen clave comprende imágenes clave de patrón (K1) y (K2), se prefiere incluir al menos una imagen monocromática (K3). Preferentemente, la imagen monocromática (K3) es una imagen negra, es decir, que proporciona un área activa negra de la pantalla física que permite una identificación más fácil de objetos pequeños y semitransparentes en el primer plano de la pantalla física, tal como gotas de lluvia o niebla. Se obtiene un flujo de vídeo alternativo mejorado añadiendo una superposición ponderada del área de máscara de la imagen monocromática (K3) al contenido de la imagen alternativa insertada. Similar al manejo de los datos de distorsión, dependiendo de la naturaleza del contenido de la imagen alternativa insertada, pueden aplicarse los datos de la imagen correctiva obtenidos de la imagen clave monocromática (K3) en el sitio de grabación o transmitirse a los distribuidores intermedios para su aplicación durante el procesamiento de incrustación por croma.
En una realización, el método de la presente invención proporciona la generación de al menos un segundo conjunto de datos de imagen que comprende datos de imagen (M) para ser vistos por observadores directos, por ejemplo, espectadores presentes en un evento. En una realización, estos datos de imagen (M) también pueden grabarse con una cámara y transmitirse a un subconjunto diferente de espectadores, por ejemplo, para transmitir a los espectadores que están destinados a ver los anuncios mostrados en el evento en directo en lugar del contenido publicitario alternativo intercambiado electrónicamente.
Si el segundo conjunto de datos de imagen (M) también se transmite a los espectadores de la transmisión, se genera un segundo flujo de vídeo original correspondiente (O2) de acuerdo con el método de la invención.
Dado que se aplica el área de máscara obtenida por el método de la presente invención al flujo de vídeo original (O1) del conjunto de datos de imagen (M) destinados también a los espectadores directos, también pueden usarse los fotogramas de imagen del segundo flujo de vídeo original (O2) para generar el uno o más flujos de vídeo alternativos (V). Esto puede ser una ventaja, por ejemplo, cuando el segundo flujo de vídeo original (O2) se graba a una velocidad de cámara lenta, de modo que la presente invención también permite reemplazar fácilmente el contenido de la imagen en flujos de vídeo de cámara lenta.
Preferentemente, la pantalla física es una pantalla LED.
En una realización, la pantalla LED es un letrero o un cartel publicitario.
De acuerdo con una implementación preferida del método de la invención, la escena a grabar es parte de un evento deportivo o de un evento de entretenimiento.
La presente invención también se refiere a un sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo, que comprende: al menos una pantalla física, una interfaz de control para mostrar al menos un primer conjunto de datos de imagen en dicha pantalla física,
al menos una unidad de cámara para generar al menos un flujo de vídeo original de una escena que incluye dicha pantalla física, en donde dicho al menos un flujo de vídeo comprende fotogramas de vídeo clave (FK1, FK2) capturados de forma sincronizada con la visualización de cada una de dichas al menos dos imágenes clave diferentes (K1, K2) de dicho primer conjunto de datos de imagen clave (K) en dicha pantalla física, medios para generar un área de máscara (MA) correspondiente a un área activa de dicha pantalla física visible en dichos fotogramas de vídeo clave de imágenes diferenciales (AFK) obtenidas de fotogramas de vídeo clave consecutivos (FK1, FK2),
medios de almacenamiento para contenido de imagen alternativo (I);
medios para generar al menos un flujo de vídeo alternativo (V) insertando contenido de imagen alternativo (I) en dicha área de máscara (MA) de un flujo de vídeo original (O1); y
medios para transmitir dicho al menos un flujo de vídeo alternativo (V), por ejemplo, a un subconjunto de espectadores o a distribuidores intermedios.
En una realización preferida, dicha interfaz de control (17) está adaptada para mostrar dicho primer conjunto de datos de imagen (K1, K2, K3) y al menos un segundo conjunto de datos de imagen (M) en dicha pantalla física (12, 13) en una forma multiplexada en intervalos de tiempo.
A continuación, se describirá con más detalle una realización preferida de la presente invención haciendo referencia a los dibujos adjuntos. En los dibujos,
La Figura 1 muestra una vista general esquemática de un sistema de grabación de vídeo que se puede usar en el método de la presente invención;
La Figura 2 muestra un esquema para presentar diferentes conjuntos de datos de imagen en una pantalla física en el método de la presente invención;
La Figura 3 muestra dos fotogramas de vídeo clave y una imagen procesada obtenida a partir de los mismos de acuerdo con una realización del método de la presente invención; y
La Figura 4 muestra una vista esquemática del sistema de procesamiento de vídeo para el reemplazo dinámico de contenido de imagen de acuerdo con el método de la presente invención.
La presente invención se describe ahora con más detalle con referencia a un ejemplo típico, en concreto, una transmisión de televisión de un evento deportivo.
Las Figuras 1 muestran una realización de un sistema de grabación de vídeo adecuado como se describe en el documento PCT/EP2018/052178 del solicitante. En esta realización, se usa una única unidad de cámara C para capturar un flujo de vídeo de tasa de fotogramas de grabación alta inicial de una escena que incluye una pantalla LED 13 de un cartel publicitario 12 dispuesto en una línea lateral 11 de un campo de juego de fútbol 10. El cartel publicitario 12 comprende un controlador 14 que controla la entrega de imágenes fijas y/o animadas a la matriz de LED 13. Una unidad de cámara típica C que se puede emplear en la presente realización es una cámara HDC 4300 comercializada por Sony Corporation que permite grabar una escena con una tasa de fotogramas alta. El flujo de vídeo de velocidad de fotograma de grabación alta HRFR (consúltese, la Figura 2) se transmite a través de un primer cable óptico 20 a una primera conexión 21 de una unidad de procesamiento intermedia 22. La unidad de procesamiento intermedia 22 comprende un puente de información 23 para conectar la primera conexión 21 a una segunda conexión 24 que se puede usar para conectar la unidad de procesamiento intermedia 22 a través de un segundo cable óptico 25 a una unidad de control de cámara (CCU) 26. La unidad de control de cámara 26 tiene entradas/salidas adicionales 28 para señales, tales como controles de cámara externos, Tally, indicador-apuntador, vídeo de retorno, etc. Una unidad de procesamiento intermedia adecuada 22 es, por ejemplo, una unidad de proceso de banda base (BPU), tal como la BPU 4000 comercializada por Sony Corporation. La unidad de procesamiento intermedia 22 comprende además un procesador de vídeo 27 para convertir y enrutar el flujo de vídeo de tasa de fotogramas alta inicial a una pluralidad de salidas SDI físicas para flujos de vídeo C1, C2, C3, C4 (consúltese, la Figura 2). Los flujos de vídeo C1, C2, C3, etc. pueden ser flujos de vídeo de tasa de fotogramas de transmisión convencional SBFR, que tienen, por ejemplo, una tasa de fotogramas de 50 Hz/fps.
La unidad de cámara C recibe una señal de reloj maestro M desde un reloj maestro 17 ya sea directamente (no representado) o a través de una línea 29 que conecta el reloj maestro 15 a la unidad de control de cámara 26 y los cables ópticos 25, 20.
La señal del reloj maestro M también se alimenta a una interfaz 17 a través de la línea 30. La interfaz 17 recibe datos de imagen a través de la entrada de datos de imagen 31 y genera señales de activación T de acuerdo con las cuales los datos de imagen se transmiten a través de la línea 32 a la pantalla LED 13 donde se muestran los datos de imagen de acuerdo con las señales de activación T. Las señales de activación T se seleccionan de manera que los fotogramas posteriores grabados por la unidad de cámara puedan mostrar la escena grabada con diferentes datos de imagen mostrados en la pantalla LED 13. Por supuesto, los datos de imagen también se pueden transmitir almacenados previamente en un medio de almacenamiento de la pantalla 13 y/o de la interfaz 17. Además, la interfaz 17 puede ser parte del cartel publicitario 12 de modo que la línea 32 es parte de los circuitos internos del cartel publicitario 12.
Sin embargo, debe señalarse que la unidad de control de cámara 26 no es esencial para el método de la presente invención porque la unidad de cámara C puede emplear su unidad de control especializada o incluso tener los controles necesarios implementados en la misma. El propósito principal de la unidad de procesamiento intermedio 22 es dividir los fotogramas provenientes de la unidad de cámara de tasa de fotogramas alta C en flujos de vídeo separados en las salidas SDI O1, O2, O3, etc. de la unidad de procesamiento intermedio 22, como se describe en más detalle a continuación.
La Figura 2 describe un esquema para presentar diferentes conjuntos de datos de imágenes en la pantalla física 13 de acuerdo con una realización del método de la presente invención.
Para esta realización, asumimos que las alimentaciones de vídeo se entregan a los espectadores de transmisiones de televisión o Internet a una tasa de fotogramas transmisión convencional SBFR de 50 Hz, es decir, 50 fotogramas por segundo (fps). Una escena que incluye una pantalla de publicidad LED física 13 (véase la Figura 1) se graba con una tasa de fotogramas de grabación alta HRFr (en el presente ejemplo 200 Hz/fps) por una unidad de cámara adecuada C. En esta realización, la cámara está adaptada para grabar la escena mientras, en la pantalla física, se presenta multiplexado en el tiempo un primer conjunto de datos de imagen clave K con imágenes clave K1, K2 y K3 con un segundo conjunto de datos de imagen (conjunto principal de datos de imagen o alimentación principal M) destinado a los espectadores directos. Las imágenes clave se graban en los canales C1, C2, C3 que se pueden multiplexar en un primer flujo de vídeo original O1 para su procesamiento adicional en una unidad de procesamiento de vídeo aguas abajo 40 (consúltese, la Figura 1). Sin embargo, como se puede tomar de la Figura 1, ciertas BPU comercialmente disponibles ya proporcionan salidas SBFR-SDI a las que se pueden enrutar los canales C1, C2, C3. Estos canales se pueden alimentar a una unidad de procesamiento de vídeo 40 que requiere la multiplexación de los canales en una alimentación de vídeo original O1. En el presente ejemplo, el segundo flujo de vídeo original obtenido a través del canal C4 se enruta a una salida SDI especializada adicional donde se entrega el segundo flujo de vídeo original O2 que contiene los datos de imagen de la alimentación principal M.
Para mejorar la experiencia de visualización de los espectadores directos, la pantalla LED física funciona a tasa de fotogramas de visualización alta HDFR que, en el presente ejemplo, es tres veces mayor que la tasa de fotogramas de grabación alta HRFR, es decir, 600 Hz.
La Figura 2 representa un período de 20 ms correspondiente a un tiempo periódico único de la tasa de fotogramas convencional de 50 Hz/fps. Cada tiempo periódico de 20 ms se subdivide en 12 intervalos de 1/600 s de duración (es decir, aproximadamente 1,7 ms) que representan 12 imágenes que se muestran en la pantalla física durante un período de 20 ms con una tasa de HDFR de 600 Hz/fps. Las imágenes de la alimentación de imagen principal que se muestran en la pantalla física dentro del período de 20 ms normalmente son idénticas. En los siguientes períodos de 20 ms (no representados en la Figura 2), el patrón se repite, pero el contenido de la imagen en las alimentaciones normalmente cambia.
Como se puede tomar de la Figura 2, en el período de 20 ms representado, la cámara C que funciona a 200 Hz graba cuatro imágenes indicadas que dan como resultado diferentes canales de vídeo C1, C2, C3 y C4, respectivamente. El tiempo de obturación de la cámara C se ajusta al período de tiempo de los intervalos de imagen, es decir, el tiempo de obturación es menor o igual que 1/600 s (1,7 ms), de modo que cada fotograma de vídeo grabado por la cámara C corresponde a una sola imagen representada en la pantalla física. La grabación de la cámara y la pantalla física están sincronizadas de modo que la grabación se inicia al comienzo del primer intervalo. En la presente realización, se muestran dos conjuntos de datos de imagen. Las imágenes del conjunto de datos de imagen M corresponden a la alimentación de imagen principal representada en la pantalla física y están destinadas a ser vistas conscientemente por los espectadores directos de la escena. Las imágenes de alimentación de imágenes clave K se usan para el método de reemplazo de contenido de imágenes de la presente invención.
En realizaciones preferidas, las imágenes K1 y K2 son imágenes complementarias/inversas entre sí, de modo que las imágenes combinadas percibidas por los espectadores directos de cada par K1 y K2 dan como resultado una imagen esencialmente neutra/gris, minimizando por lo tanto cualquier efecto de visualización perturbador en los espectadores directos. La experiencia de visualización de los espectadores directos se puede mejorar además grabando las imágenes destinadas a los espectadores de la transmisión a una intensidad inferior indicada por Mi, K1 i, K2i y K3l, mientras que las imágenes no grabadas se presentan a una intensidad superior Mh.
La Figura 3 muestra una realización típica del método de la presente invención. Las Figuras 3a - 3b muestran fotogramas de vídeo clave consecutivos FK1, FK2, FK3, respectivamente, cada uno capturado de forma sincronizada con la visualización de las imágenes K1, K2 y K3 en una pantalla LED 13. La imagen clave K1 es un patrón de tablero de ajedrez de rectángulos en blanco y negro y la imagen clave K2 es el patrón de tablero de ajedrez inverso correspondiente. La Figura 3d muestra el área de máscara MA resultante de una imagen diferencial de FK2 y FK1 con aplicaciones adicionales de algoritmos de detección de bordes y límites en la imagen diferencial. Como puede tomarse de la Figura 3c, se identifican fácilmente las distorsiones de la pantalla física 13 con respecto a la cámara y el objeto de primer plano en la línea lateral entre la cámara y la pantalla física. A continuación, se puede insertar el contenido de la imagen alternativa, teniendo en cuenta las distorsiones y los objetos de primer plano. El fotograma clave monocromático (oscuro) K3 aún no se ha usado aún en este ejemplo.
Se ha implementado una rutina sencilla para obtener el área de máscara MA de la Figura 3d a partir de los fotogramas clave FK1 y FK2 de las Figuras 3a y 3b en lenguaje de programación Scilab de la siguiente manera:
imW = imread('FKI);
imB = imread("FK2);
imD = imsubtract(imW,imB);
imgrey = rgb2gray(imD. *3);
imZ = imsubtract(imBJmW);
imZgray = rgb2gray(imZ. *3);
imAD = imabsdiff(imW,imB);
imADgray = rgb2gray(imAD. *3);
imedge = edge(imADgray.*3,’fftderiv’,0.3,6.5);
immaske = imfill(imedge);
imE = immultiply(imgrey,immaske);
imF = immultiply(imZgray,immaske);
imEedge = edge(imE,'fítderiv',0.3,5.);
imFedge = edge(imF,'fítderiv',0.3,5.);
imH = immultiply(imEedge,imFedge);
iml = imadd(imedge,imH);
imshow(iml);
Como puede tomarse a partir de lo mismo, la detección de bordes a través de derivadas de FFT de la diferencia absoluta entre los fotogramas clave FK1 y FK2 produce el contorno deseado que se rellena para producir la máscara immaske.
El patrón del área de máscara MA se obtiene multiplicando el diferencial normal de FK2 y FK1 y viceversa con la máscara y efectuando la detección de bordes a través de las derivadas de FFT. Los dos resultados recíprocos se multiplican para producir el área interior de la máscara MA que a continuación se suma al contorno para producir iml, es decir, el área de la máscara MA como se representa en la Figura 3d.
La Figura 4 muestra una realización esquemática de la unidad de procesamiento de vídeo 40 de la Figura 1 usada para el método de remplazo de contenido de imagen de la presente invención con más detalle. Cabe señalar que las unidades operativas descritas en la misma pueden implementarse en hardware o software o ambos:
En consecuencia, los canales C1, C2 y c 3 se alimentan a la unidad de procesamiento de vídeo 40. La unidad de procesamiento de vídeo 40 comprende un generador de área de máscara 41 que recibe la entrada del canal C1 que contiene los fotogramas clave FK1 y el canal C2 que contiene los fotogramas clave FK2. El generador de área de máscara 41 comprende un generador de imagen diferencial 42 y un evaluador de distorsión 43 que produce un almacenamiento de datos de área de máscara (MA) 44 y un almacenamiento de datos de distorsión (Dd ) 45. Los datos de distorsión DD pueden enrutarse directamente a una salida de la unidad de procesamiento de vídeo 40. Un almacenamiento de datos de imagen 46 contiene datos de imagen alternativos (I) que se insertan en un área de fotogramas FK1, FK2 o FK3 definidos por los datos del área de máscara MA en una unidad de reemplazo de imagen 47 para producir un flujo de vídeo alternativo V.
El canal C3 que comprende fotogramas clave FK3 que muestran la pantalla con imágenes clave monocromáticas K3 se analiza en la unidad de evaluación de estructura 48 usando datos de área de máscara del almacenamiento de área de máscara 45. Los datos de estructura SD resultantes pueden enrutarse directamente a una salida de la unidad de procesamiento de vídeo 40.
Si los datos de imagen insertados I son imágenes monocromáticas para el procesamiento de incrustación por croma, puede transmitirse el flujo de vídeo V, los datos de distorsión DD y los datos de estructura SD a distribuidores intermedios externos/remotos para su procesamiento adicional antes de la entrega de los flujos de vídeo alternativos a los espectadores finales.
Si los datos de imagen insertados I comprenden imágenes para espectadores finales, se puede obtener un flujo de vídeo V' para espectadores finales que comprende datos de distorsión DD y datos de estructura SD en una unidad de superposición 49.

Claims (14)

REIVINDICACIONES
1. Un método para el reemplazo dinámico de contenido de imagen en un flujo de vídeo, que comprende: generar un conjunto de datos de imagen clave (K) que comprende una secuencia de al menos dos imágenes clave diferentes (K1, K2);
mostrar periódicamente dicho primer conjunto de datos de imagen clave (K) en una pantalla física (13); generar al menos un primer flujo de vídeo original (O1) de una escena que incluye dicha pantalla física grabando dicha escena con una cámara (C), en donde el dicho al menos flujo de vídeo original comprende fotogramas de vídeo clave (FK1, FK2) capturados de forma sincronizada con la visualización de cada una de dichas al menos dos imágenes clave (K1, K2) diferentes de dicho primer conjunto de datos de imagen clave (K) en dicha pantalla física (13);
generar un área de máscara (MA) correspondiente a un área activa (A) de dicha pantalla física (13) visible en dichos fotogramas de vídeo clave (FK1, FK2) desde imágenes diferenciales (AFK) obtenidas de fotogramas de vídeo clave consecutivos (FK1, FK2),
generar al menos un flujo de vídeo alternativo (V) insertando contenido de imagen alternativo (I) en dicha área de máscara (MA) de un flujo de vídeo original (O1, O2);
transmitir dicho al menos un flujo de vídeo alternativo (V), en donde dichas imágenes diferenciales (AFK) se obtienen determinando una diferencia de intensidad entre dichos fotogramas de vídeo clave consecutivos (FK1, FK2).
2. El método de la reivindicación 1, en donde dichas imágenes clave (K1, K2) son imágenes monocromáticas diferentes.
3. El método de la reivindicación 2, en donde dicha área de máscara (MA) se genera aplicando un umbral a la diferencia de intensidad.
4. El método de la reivindicación 1, en donde dichas imágenes clave (K1, K2) comprenden diferentes patrones de imagen.
5. El método de la reivindicación 4, en donde el patrón de imagen de un fotograma clave (K1) es un patrón de tablero de ajedrez monocromático y el patrón de imagen del otro fotograma clave (K2) es el patrón de tablero de ajedrez inverso correspondiente.
6. El método de una de las reivindicaciones 4 o 5, en donde dicha área de máscara (MA) se genera aplicando algoritmos de detección de límites y bordes a la imagen diferencial.
7. El método de la reivindicación 6, en donde los datos de distorsión óptica de la pantalla física se determinan a partir de dicha área de máscara (MA).
8. El método de las reivindicaciones 4 a 7, en donde dicho primer conjunto de datos de imagen clave (K) comprende dichas imágenes clave con patrón (K1, K2) y una imagen monocromática (K3).
9. El método de cualquiera de las reivindicaciones anteriores, en donde se genera un segundo conjunto de datos de imagen que comprende datos de imagen (M) para ser vistos por espectadores directos y, opcionalmente, por espectadores de transmisión.
10. El método de cualquiera de las reivindicaciones anteriores, en donde la pantalla física es una pantalla LED.
11. El método de la reivindicación 10, en donde la pantalla LED es un letrero o un cartel publicitario.
12. El método de cualquiera de las reivindicaciones anteriores, en donde dicha escena es parte de un evento deportivo o un evento de entretenimiento.
13. Un sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo, que comprende:
al menos una pantalla física (12, 13),
una interfaz de control (17) para mostrar al menos un primer conjunto de datos de imagen (K) que comprende una secuencia de al menos dos imágenes clave diferentes (K1, K2) en dicha pantalla física (12, 13),
al menos una unidad de cámara (C) para generar al menos un flujo de vídeo original (O1) de una escena que incluye dicha pantalla física, en donde el dicho al menos flujo de vídeo original comprende fotogramas de vídeo clave (FK1, FK2) capturados de forma sincronizada con la visualización de cada una de dichas al menos dos imágenes clave (K1, K2) diferentes de dicho primer conjunto de datos de imagen clave (K) en dicha pantalla física (13),
medios para generar un área de máscara (MA) correspondiente a un área activa de dicha pantalla física (13) visible en dichos fotogramas de vídeo clave de imágenes diferenciales (AFK) obtenidas de fotogramas de vídeo clave consecutivos (FK1, FK2), en donde dichas imágenes diferenciales (AFK) se obtienen determinando una diferencia de intensidad entre dichos medios de almacenamiento de fotogramas de vídeo clave consecutivos (FK1, FK2) para contenido de imagen alternativo (I);
medios para generar al menos un flujo de vídeo alternativo (V) insertando contenido de imagen alternativo (I) en dicha área de máscara (MA) de un flujo de vídeo original (O1); y
medios para difundir dicho al menos un flujo de vídeo alternativo (V).
14. El sistema de la reivindicación 13, en donde dicha interfaz de control (17) está adaptada para mostrar dicho primer conjunto de datos de imagen (K1, K2, K3) y al menos un segundo conjunto de datos de imagen (M) en dicha pantalla física (12, 13) en una forma multiplexada en intervalos de tiempo.
ES19742393T 2018-07-27 2019-07-26 Método y sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo Active ES2932728T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18186201 2018-07-27
PCT/EP2019/070185 WO2020021067A1 (en) 2018-07-27 2019-07-26 Method and system for dynamic image content replacement in a video stream

Publications (1)

Publication Number Publication Date
ES2932728T3 true ES2932728T3 (es) 2023-01-24

Family

ID=63209192

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19742393T Active ES2932728T3 (es) 2018-07-27 2019-07-26 Método y sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo

Country Status (8)

Country Link
US (1) US11582493B2 (es)
EP (1) EP3831049B1 (es)
JP (1) JP7447077B2 (es)
CN (1) CN112514369B (es)
AU (1) AU2019311295A1 (es)
CA (1) CA3105905A1 (es)
ES (1) ES2932728T3 (es)
WO (1) WO2020021067A1 (es)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470485A (zh) * 2018-07-27 2021-03-09 阿帕里奥全球咨询股份有限公司 用于将物理显示器的可选的图像内容发送到不同观看者的方法和系统
CA3111378C (en) * 2018-09-13 2024-02-27 Appario Global Solutions (AGS) AG Method and device for synchronizing a digital photography camera with alternative image content shown on a physical display
WO2021160703A1 (en) 2020-02-10 2021-08-19 Appario Global Solutions (AGS) AG Method and device for reducing motion blur on displays
GB2598397B (en) 2020-09-01 2024-08-14 Uni Glory Holdings Ltd A chroma key and presentation system, method, and kit
US11849244B2 (en) * 2021-07-22 2023-12-19 Grass Valley Canada System and method for temporal keying in a camera
DE102021215048A1 (de) * 2021-12-27 2023-06-29 Friedrich-Schiller-Universität Jena Anordnung und Verfahren zum Unterscheiden zwischen einem Hintergrund und einem Vordergrundobjekt einer Szene
EP4287630A1 (en) * 2022-06-02 2023-12-06 Pucki GmbH Method for producing a video stream
WO2023175114A1 (en) * 2022-03-16 2023-09-21 Pucki Gmbh Method for producing a video stream
US12119330B2 (en) 2022-12-19 2024-10-15 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12080224B2 (en) 2022-12-19 2024-09-03 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12100363B2 (en) 2022-12-19 2024-09-24 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12112695B2 (en) 2022-12-19 2024-10-08 Stereyo Bv Display systems and methods with multiple and/or adaptive primary colors

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980177B2 (en) 2001-08-03 2005-12-27 Waterstrike Incorporated Sequential inverse encoding apparatus and method for providing confidential viewing of a fundamental display image
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
JP2006050491A (ja) * 2004-08-09 2006-02-16 Matsushita Electric Ind Co Ltd マルチチャネル画像コーデック装置
GB2437575A (en) 2006-04-27 2007-10-31 Andrew Peter Phelan Audience-specific image display
CN101094407B (zh) * 2006-06-23 2011-09-28 美国博通公司 视频电路、视频系统及其视频处理方法
JPWO2010013289A1 (ja) * 2008-07-31 2012-01-05 三菱電機株式会社 カメラ校正画像作成装置およびカメラ校正画像作成プログラム
FI20090040A0 (fi) 2009-02-09 2009-02-09 Mika Daniel Letonsaari Videon käsittely
EP2383696A1 (en) 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
PT2619975T (pt) * 2010-09-20 2018-06-07 Fraunhofer Ges Zur Foerderung Der Angewandten Forschung Processo para distinguir o plano de fundo e o primeiro plano de um cenário, bem como processo para substituir um plano de fundo em imagens de um cenário
US9196180B2 (en) * 2011-05-25 2015-11-24 Koninklijke Philips N.V. Identification system for a surface
GB201204129D0 (en) * 2012-03-08 2012-04-25 Supponor Oy Apparatus and method for image content detection and image content replacement system
GB2502986B (en) 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
US10205889B2 (en) * 2013-03-08 2019-02-12 Digitarena Sa Method of replacing objects in a video stream and computer program
WO2015171450A1 (en) * 2014-05-09 2015-11-12 Graphiclead LLC System and method for embedding of a two dimensional code with an image
GB2529182B (en) 2014-08-12 2019-03-27 Supponor Oy Method and apparatus for dynamic image content manipulation
CN105472399B (zh) 2015-11-20 2019-04-05 深圳市奥拓电子股份有限公司 一种转播视频与现场显示视频分离方法及装置
US20180020167A1 (en) * 2016-05-10 2018-01-18 Production Resource Group, Llc Multi Background Image Capturing Video System
CN106412459B (zh) 2016-09-30 2019-03-08 佛山市青松科技股份有限公司 一种图像显示系统及方法
AU2018211533B2 (en) 2017-01-27 2020-08-27 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
CN107147861A (zh) * 2017-04-27 2017-09-08 西安诺瓦电子科技有限公司 视频录制及处理系统以及方法

Also Published As

Publication number Publication date
EP3831049B1 (en) 2022-09-07
CN112514369B (zh) 2023-03-10
JP7447077B2 (ja) 2024-03-11
CN112514369A (zh) 2021-03-16
CA3105905A1 (en) 2020-01-30
WO2020021067A1 (en) 2020-01-30
JP2021532642A (ja) 2021-11-25
US20210227270A1 (en) 2021-07-22
US11582493B2 (en) 2023-02-14
AU2019311295A1 (en) 2021-01-21
EP3831049A1 (en) 2021-06-09

Similar Documents

Publication Publication Date Title
ES2932728T3 (es) Método y sistema para el reemplazo dinámico de contenido de imagen en un flujo de vídeo
ES2899651T3 (es) Método y sistema para transmitir contenido de imagen alternativo de una pantalla física a diferentes espectadores
ES2973534T3 (es) Método y dispositivo para sincronizar una cámara de fotografía digital con contenido de imagen alternativo mostrado en una pantalla física
CN105741753B (zh) 接收卡、led显示控制及录制系统、led显示控制方法
US20090102957A1 (en) Method and means for varying the content of a display
EP3295663B1 (en) Digitally overlaying an image with another image
US8947534B2 (en) System and method for providing depth imaging
ES2759561T3 (es) Método y aparato para la manipulación dinámica de contenido de imagen
JP6045570B2 (ja) 表面識別システム
CN104881699A (zh) 基于时域心理视觉调制的二维码内嵌系统及显示方法
US20240305738A1 (en) Method and system for capturing images
CA3039728C (en) Television broadcast system for generating augmented images
Yamamoto et al. Development of 480-fps LED display by use of spatiotemporal mapping
EP4080866A1 (en) Method and system for capturing images
EP4287630A1 (en) Method for producing a video stream
WO2023175114A1 (en) Method for producing a video stream
CN117546229A (zh) 用于操作有源显示器的方法和系统
EP4104164A1 (en) Method and device for reducing motion blur on displays