ES2759561T3 - Método y aparato para la manipulación dinámica de contenido de imagen - Google Patents

Abstract

Un método para utilizar en la manipulación dinámica de contenido de imágenes, el método que comprende: almacenar un fotograma (602) de señal clave de muestra de una señal clave que define una o más regiones de píxeles relacionadas con un elemento (101) detallado a una primera resolución; recibir un fotograma (71) de imagen actual que incluye el elemento (101) detallado mostrado a una segunda resolución, en donde la segunda resolución es más baja en detalles que la primera resolución en relación con el elemento (101) detallado; proporcionar un fotograma (72) de señal clave actual que define un área (14) objetivo del fotograma (71) de imagen actual que se va a modificar con un contenido (42) alternativo, el área (14) objetivo que contiene al menos parte del elemento (101) detallado; modificar el fotograma (71) de imagen actual con el contenido (42) alternativo en el área (14) objetivo de acuerdo con el fotograma (72) de señal clave actual y mejorar el elemento (101) detallado insertando contenido de relleno en la una o más regiones de píxeles que están definidas por el fotograma (602) de señal clave de muestra, para proporcionar un fotograma (74) de imagen modificada mejorada; y emitir el fotograma (74) de imagen modificada mejorada.

Description

DESCRIPCIÓN

Método y aparato para la manipulación dinámica de contenido de imagen

Casos relacionados

La presente solicitud reivindica prioridad a la solicitud GB1414269.9 presentada el 12 de agosto 2014 en el Reino Unido.

Antecedentes

La presente divulgación se refiere, en general, a un método y un aparato para manipular el contenido de una imagen. Más particularmente, la presente divulgación se refiere a un método y un aparato que detectan un área objetiva en una o más regiones de una imagen y que puede reemplazar el área objetivo con contenido alternativo. En algunos ejemplos, la presente divulgación se refiere a un método y un aparato de reemplazo dinámico de contenido de imagen adecuado para el uso con difusiones de televisión en directo.

En la técnica relacionada, se definen una o más áreas objetivo dentro de una transmisión de imagen de vídeo y luego se reemplazan con imágenes alternativas apropiadas para grupos de espectadores o regiones geográficas específicas. Por ejemplo, las vallas publicitarias en un terreno o una cancha de un evento deportivo importante se observan como parte de una difusión de televisión y estas áreas objetivo se sustituyen electrónicamente por imágenes alternativas que son más apropiadas para un país o región particular. En particular, tal sistema es útil para crear múltiples transmisiones de televisión, cada una de las cuales tiene un contenido publicitario diferente, generado electrónicamente que se adapta de acuerdo a una audiencia prevista (p. ej., una valla publicitaria en las imágenes originales se modifica para transmitir el anuncio 1 para el país 1, mientras que el anuncio 2 se añade para la región 2 y así sucesivamente).

Existe una dificultad para modificar dinámicamente las señales de imágenes de vídeo de una manera que sea precisa y fotorrealista para el espectador. Teniendo en cuenta la técnica relacionada, todavía existe una dificultad para proporcionar un mecanismo fiable y efectivo para definir un área objetivo dentro de una imagen de vídeo en la que debe reemplazarse el contenido. Además, existe una necesidad de mejorar una impresión fotorrealista de las imágenes alteradas, de modo que los espectadores comunes no noten que se ha producido el reemplazo del contenido de imagen.

Una dificultad particular surge en relación con las imágenes que contienen detalles finos, tal como una red de portería en un partido de fútbol (soccer). Estos detalles finos son particularmente difíciles de manejar con precisión y coherencia al insertar contenido alternativo. Es decir, cuando las cámaras y los detectores apropiados capturan una escena de interés, estos elementos finamente detallados pueden estar deficientemente definidos en algunas tomas, tales como unas tomas de gran angular o de distancia. Un sistema de reemplazo de contenido puede insertar contenido alternativo sin representar con precisión estos elementos finamente detallados. Como resultado, una transmisión de vídeo alternativa puede ser menos que ideal y, en algunas circunstancias, puede no lograrse el efecto fotorrealista deseado. Por lo tanto, existe un deseo de mejorar la apariencia visual de las imágenes que se producen al insertar contenido alternativo en un flujo de imágenes de vídeo.

En la técnica anterior, el documento US2001/0026319 de Honey et. al. describe un sistema para mejorar la difusión de eventos en directo utilizando cámaras de difusión junto a cámaras enfocadas estáticamente dedicadas a cada uno de los objetivos de interés para la detección de oclusión.

Ahora se desea proporcionar un aparato y un método que se ocuparán de estas, u otras, limitaciones de la técnica actual, como se apreciará a partir de la discusión y la descripción en el presente documento.

Resumen

De acuerdo con la presente invención, se proporciona un método tal como se establece en la reivindicación 1. También de acuerdo con la presente invención, se proporciona un aparato como el expuesto en la reivindicación 10 y un medio de acuerdo con la reivindicación 15. Otras características de la presente invención serán evidentes a partir de las reivindicaciones dependientes y de la descripción en el presente documento.

En un ejemplo descrito, un fotograma de muestra de una señal de máscara (o señal ‘clave’) puede almacenarse en una fase de preparación que muestra un elemento finamente detallado a una primera resolución, tal como un fotograma de señal clave de muestra en relación con una red de portería con una toma ampliada a una primera resolución. Un ejemplo utiliza un respectivo par de un fotograma de señal clave de muestra y un fotograma de imagen de muestra de la misma escena, que se capturan y almacenan adecuadamente en una primera fase.

En un ejemplo, una señal de imagen actual incluye el mismo elemento finamente detallado a una segunda resolución más baja, tal como mostrando la red de portería ahora en una toma de gran angular. El fotograma de muestra se recupera y se puede escalar o transformar para que coincida con un área objetivo dentro de la imagen actual que contiene el elemento detallado. El fotograma de muestra puede utilizarse para realizar un proceso de mejora de imagen que mejora el elemento detallado para proporcionar un fotograma de imagen modificada mejorada. Por lo tanto, se logra una imagen más fotorrealista. El proceso de mejora se puede aplicar fotograma a fotograma, no obstante, una secuencia de vídeo.

En un ejemplo, hay un método descrito para utilización en la manipulación dinámica de contenido de imagen, que comprende: almacenar un fotograma de señal clave de muestra de una señal clave, que define una o más regiones de píxeles relativas a un elemento detallado a una primera resolución; recibir un fotograma de imagen actual que incluye el elemento detallado mostrado a una segunda resolución dentro del fotograma de imagen actual, en donde la segunda resolución es más baja en detalle que la primera resolución; proporcionar un fotograma de señal clave actual que define un área objetivo del fotograma de imagen actual, que debe modificarse con un contenido alternativo; modificar el fotograma de imagen actual con el contenido alternativo en el área objetivo; mejorar el elemento detallado en el fotograma de imagen actual, proporcionando contenido de relleno en la una o más regiones de píxeles definidas por el fotograma de señal clave de muestra para proporcionar un fotograma de imagen modificada mejorada en relación con el elemento detallado; y emitir el fotograma de imagen modificada mejorada.

Un ejemplo incluye transformar el fotograma clave de muestra para que corresponda con una respectiva región del fotograma de imagen actual que contiene el elemento detallado. Un ejemplo incluye distorsionar el fotograma clave de muestra para que corresponda con una subregión del fotograma de imagen actual. En un ejemplo, la distorsión alinea una parte tomada del fotograma clave de muestra como una forma cuadrilátera irregular de la subregión del fotograma de imagen actual. En un ejemplo, la transformación se aplica proporcionalmente a una diferencia relativa entre una primera señal de medición de cámara, apropiada para el fotograma de imagen actual, y una segunda señal de medición de cámara, apropiada para el fotograma clave de muestra.

Un ejemplo incluye almacenar un fotograma de imagen de muestra, correspondiente al fotograma clave de muestra, y adoptar el contenido de relleno del fotograma de imagen de muestra en las regiones de píxeles definidas por el fotograma de señal clave de muestra. Un ejemplo incluye mejorar el elemento detallado del fotograma de imagen actual solo en el área objetivo. Un ejemplo incluye superponer el contenido de relleno de acuerdo con un factor de transparencia variable.

Un ejemplo incluye generar selectivamente la transmisión de imagen modificada mejorada solo en ciertas partes durante un flujo de imágenes apropiado para la presencia del elemento detallado en una transmisión de imagen recibida, mientras que no se proporciona la transmisión de imagen modificada mejorada en otras partes durante el flujo de imágenes. La selectividad puede aplicarse en base a las señales de telemetría de cámara relativas a la imagen actual.

En un ejemplo hay descrito un sistema de manipulación dinámica de contenido de imagen, que comprende: una unidad de reemplazo de contenido dispuesta para manipular una transmisión de imagen recibida; y una unidad de procesamiento mejorado que está dispuesta para proporcionar una transmisión de imagen modificada mejorada, en donde la unidad de procesamiento mejorado está dispuesta para: almacenar un fotograma de muestra que muestra un elemento detallado a una primera resolución; procesar un fotograma de imagen actual de la transmisión de imagen recibida que incluye el elemento detallado mostrado a una segunda resolución, en donde la segunda resolución es más baja en detalles que la primera resolución; y mejorar el elemento detallado en una o más regiones de píxeles definidas por el fotograma de muestra para proporcionar un fotograma de imagen modificada mejorada.

En un ejemplo la unidad de procesamiento mejorado está dispuesta para obtener estáticamente el fotograma de muestra estáticamente antes de recibir la transmisión de imagen recibida. En un ejemplo, la unidad de procesamiento mejorado está dispuesta para obtener el fotograma de muestra al mismo tiempo que recibe la transmisión de imagen recibida. En un ejemplo, la unidad de procesamiento mejorado está dispuesta para obtener el fotograma de muestra de manera oportunista a partir de la transmisión de imagen recibida. En un ejemplo, la unidad de procesamiento mejorado está acoplada a una cámara y/o un detector que observan una escena que incluye el elemento detallado para proporcionar el fotograma de muestra.

En un ejemplo, se proporciona un medio tangible no transitorio legible por máquina que tiene instrucciones grabadas sobre el mismo que, cuando se ejecutan, hacen que el hardware de computadora realice los pasos de cualquiera de los métodos definidos en el presente documento.

Breve descripción de los dibujos

Para una mejor comprensión de la invención, y para mostrar cómo las realizaciones de la misma puede llevarse a efecto, ahora se hará referencia, a modo de ejemplo, a los dibujos esquemáticos adjuntos en los que:

la Figura 1 es una vista general esquemática de un sistema de difusión de televisión en el que se pueden aplicar realizaciones de ejemplo;

la Figura 2 es un diagrama esquemático de un aparato de ejemplo más en detalle;

la Figura 3 es un diagrama esquemático de una función de mejora de imagen de ejemplo; y

la Figura 4 es una vista esquemática de una transformación de imagen de ejemplo;

la Figura 5 es un diagrama esquemático que muestra una operación de mezcla de superposición de gráficos; la Figura 6 es un diagrama esquemático que muestra una operación de sustitución de contenido; y

la Figura 7 es un diagrama esquemático que muestra el sistema de ejemplo más en detalle.

Descripción detallada

Las realizaciones de ejemplo se describirán con referencia a un sistema de reemplazo de contenido, o más en general, un aparato y un método para la manipulación de contenido de imagen, que pueden utilizarse para reemplazar contenido dentro de imágenes de vídeo de televisión y, en particular, para proporcionar el reemplazo fotorrealista de una valla publicitaria para difusiones de televisión en directo. Sin embargo, los métodos y aparatos descritos en el presente documento pueden aplicarse en muchas otras implementaciones específicas, que pueden implicar otras formas de imágenes de vídeo o relacionarse con otros temas de interés, como será evidente para los expertos en la técnica a partir de las enseñanzas en el presente documento.

La Figura 1 es una vista general esquemática de un sistema de difusión de televisión en el que se pueden aplicar realizaciones de ejemplo. La Figura 1 muestra uno o más sujetos 10 observados, una o más cámaras 20, un sistema 300 de mezcla de visión, un sistema 400 de reemplazo de contenido y un sistema 500 de entrega de difusión. Se apreciará que el sistema de la Figura 1 se ha simplificado para facilitar de explicación y que para expertos en la técnica estarán disponibles muchas otras configuraciones específicas.

En la realización ilustrada, el sujeto observado de interés es una valla 10 publicitaria que tiene el contenido 11 original, tal como un anuncio (en este caso la palabra “Sport”). La valla 10 publicitaria y el contenido 11 original se proporcionan para ser vistos por personas cercanas. Por ejemplo, en un estadio o cancha deportiva se proporcionan muchas vallas publicitarias visibles para los espectadores presentes en el evento. En un ejemplo, las vallas 10 publicitarias se proporcionan alrededor de un perímetro de una cancha para que sean prominentes para los espectadores en el suelo y también en la cobertura de vídeo del evento.

Como se muestra en la Figura 1, una o más cámaras 20 de vídeo observan la escena, junto con uno o más detectores 60, que aquí se muestran por separado para mayor claridad. Las cámaras 20 producen transmisiones de vídeo de imágenes visibles. Mientras tanto, los detectores 60 observan la misma escena para derivar una señal clave (o señal de máscara), que permite que el sujeto 10 sea identificado con precisión dentro de las imágenes de vídeo. En este ejemplo, el sujeto 10 puede estar parcialmente tapado por elementos finamente detallados, tal como una red de portería frente a algunas de las vallas publicitarias perimetrales en un partido de fútbol.

Cada una de las cámaras 20 de televisión observa una escena en un campo de visión deseado para proporcionar una respectiva transmisión 21 de cámara. El campo de visión puede cambiar con el tiempo con el fin de seguir una escena de interés. La cámara 20 puede tener una ubicación fija o puede ser desplazable (p. ej., en una pista) o puede ser móvil (p. ej., una cámara de mano o una cámara estabilizada por giroscopio). La cámara 20 puede tener una lente fija o una lente de zoom, y puede tener movimiento local de giro y/o de inclinación. Típicamente, se proporcionan varias cámaras 20 para cubrir el evento o escena desde diferentes perspectivas, produciendo una pluralidad correspondiente de transmisiones 21 de cámara.

La valla 10 publicitaria puede llegar a taparse en el campo de visión de la cámara 20 por un objeto que interviene, tal como por un balón, persona o jugador 12. Por lo tanto, la transmisión 21 de cámara obtenida por la cámara 20 se encontrará con diferentes condiciones en diferentes momentos durante un evento particular, tal como (a) la valla publicitaria de sujeto entrando o saliendo del campo de visión, (b) mostrando solo una parte del sujeto (c) el sujeto está tapado, total o parcialmente, por un obstáculo y/o (d) el sujeto observado está parcialmente observado y parcialmente tapado. Por lo tanto, existe una dificultad para determinar con precisión la posición del sujeto 10 deseado dentro de las imágenes de vídeo relevantes, y así definir un área de enmascaramiento o área objetivo, en la que el contenido dentro de las imágenes de vídeo debe mejorarse o modificarse, tal como al ser reemplazado electrónicamente con contenido de imagen alternativa.

Como se muestra en la Figura 1, las transmisiones 21 de cámara capturadas se proporcionan, ya sea directa o indirectamente, a través de otro equipo al sistema 300 de mezcla de visión, que, en este ejemplo, incluye una unidad 301 de selector de transmisión de cámara, CFSU, y una unidad 302 mezcladora de superposición de gráficos, GOMU. Típicamente, el mezclador 300 de visión está ubicado en un entorno de producción de televisión profesional, tal como un estudio de televisión, una instalación de difusión por cable, una instalación de producción comercial, un camión remoto o una camioneta de transmisión externa (‘camioneta OB’) o una bahía de edición de vídeo lineal.

El mezclador 300 de visión típicamente se opera por un ingeniero de visión para seleccionar entre las transmisiones 21 de cámara en cada punto en el tiempo para producir una transmisión 31 limpia (CF), también conocida como una transmisión limpia de versión del director. El sistema 300 de mezcla de visión puede incorporar o estar acoplado a una unidad 200 generadora de gráficos, GGU, que proporciona una pluralidad de capas 22 de gráficos. Como ejemplos, las capas 22 de gráficos pueden incluir un logotipo de emisora (“logotipo”), un tanteo actual (“tanteo“) y una barra de información emergente o desplazable (“Noticias: historia1 historia2”). Típicamente, la una o más capas 22 de gráficos se aplican sucesivamente sobre la transmisión 31 limpia para producir una respectiva transmisión 32 sucia (DF). La transmisión sucia también se denomina una transmisión de programa, PGM, como se discutió anteriormente.

La unidad 200 generadora de gráficos, GGU, puede ser un sistema informático de gráficos independiente separado para producir las capas 22 de gráficos, y/o las capas 22 de gráficos pueden producirse por los componentes del mezclador 300 de visión. Las capas 22 de gráficos pueden ser semitransparentes y, por lo tanto, pueden superponerse a la valla 10 (sujeto) publicitaria observada en las imágenes de vídeo. Las capas 22 de gráficos pueden ser dinámicas, tal como un logotipo en movimiento, información de tiempo de actualización o de puntuación, o una barra de información en movimiento. Tales capas 22 dinámicas de gráficos dan lugar a una mayor complejidad en la definición del área de enmascaramiento deseada (área objetivo) en cada punto en el tiempo.

La transmisión 32 sucia, DF, puede emitirse para ser transmitida como una transmisión de difusión, p. ej., utilizando un sistema 500 de entrega de difusión aguas abajo. Esta transmisión puede difundirse en directo y/o está grabada para su posterior transmisión. La transmisión puede estar sujeta a una o más etapas de procesamiento de imágenes adicionales, o etapas de mezcla adicionales, para generar la transmisión de difusión relevante, como será familiar para los expertos en la técnica. El sistema 500 de entrega de transmisión puede distribuir y entregar la transmisión de difusión en cualquier forma adecuada, incluyendo, por ejemplo, mecanismos de entrega terrestre, por cable, satelital o por Internet, a cualquier dispositivo de reproducción de medios adecuado, incluyendo, por ejemplo, televisores, computadoras o dispositivos portátiles. La transmisión de difusión puede difundirse a múltiples espectadores simultáneamente o puede transmitirse a usuarios individualmente, p. ej., como vídeo a la carta.

El sistema 400 de reemplazo de contenido está dispuesto para identificar partes relevantes de las imágenes de vídeo correspondientes al sujeto 10 observado que es de interés. Es decir, el sistema 400 de reemplazo de contenido realiza adecuadamente una función de detección de contenido para identificar una o más áreas o regiones objetivo dentro de las imágenes de vídeo relevantes que corresponden al sujeto 10. El sistema 400 de reemplazo de contenido también puede realizar adecuadamente una función de sustitución de contenido, para reemplazar selectivamente las partes identificadas con contenido alternativo, para producir una transmisión 41 alternativa, AF, que luego puede difundirse como se desee. En otro ejemplo, la función de sustitución de contenido puede realizarse posteriormente por una unidad de sustitución de contenido separada (también llamada ‘sumador remoto’ o ‘insertador local’). En cuyo caso, una o más de las señales discutidas en el presente documento pueden transportarse como una transmisión 35 intermedia lista para ser utilizada por el sistema en una etapa posterior.

Más en detalle, el sistema 400 de reemplazo de contenido recibe cualquier transmisión de imagen de vídeo adecuada e identifica en la misma un área objetivo relevante para el sujeto de interés (en este caso la valla 10 publicitaria). Las imágenes recibidas se pueden modificar de modo que el sujeto de interés 10 se reemplace con el contenido 42 alternativo, para producir imágenes 41 de salida modificadas. En este ejemplo ilustrativo, una valla 10 publicitaria, que originalmente mostraba la palabra “Sport”, ahora parece mostrar en su lugar el contenido 42 alternativo, como se ilustra con la palabra “Other”. En este ejemplo ilustrativo, el sistema 400 de reemplazo de contenido está acoplado para recibir las imágenes de vídeo entrantes desde el mezclador 300 de visión y para suministrar las imágenes de vídeo modificadas como una transmisión alternativa, AF, al sistema 500 de difusión, aunque también se prevén otras configuraciones, como se apreciará a partir de la discusión en el presente documento.

En una realización de ejemplo, el sistema 400 de reemplazo de contenido puede proporcionarse en combinación con el mezclador 300 de visión. Como un ejemplo, el sistema 400 de reemplazo de contenido puede estar realizado como uno o más módulos de software que se ejecutan utilizando hardware del mezclador 300 de visión o utilizando hardware asociado con el mismo (p. ej., una placa auxiliar).

En otra realización de ejemplo, el sistema 400 de reemplazo de contenido puede proporcionarse como una pieza de equipo separada y autónoma, que está adecuadamente acoplada mediante canales adecuados de comunicaciones cableados o inalámbricos a los otros componentes del sistema, como se discute en el presente documento. En este caso, el sistema 400 de reemplazo de contenido puede proporcionarse en la cercanía inmediata del mezclador 300 de visión o puede ubicarse de forma remota. El sistema 400 de reemplazo de contenido puede recibir imágenes de vídeo directamente desde el mezclador 300 de visión o a través de una o más piezas intermedias de equipo. Las imágenes de vídeo de entrada pueden grabarse y luego procesarse por el sistema 400 de reemplazo de contenido más tarde, y/o las imágenes de salida pueden grabarse y proporcionarse a otro equipo más tarde.

En las realizaciones de ejemplo, se logra un alto valor cuando las imágenes de un evento deportivo, tal como un partido de fútbol americano o de fútbol, se muestran en directo a una gran audiencia. La audiencia puede ser diversa geográficamente, p. ej., en todo el mundo, y, por lo tanto, es deseable crear múltiples transmisiones de difusión alternativas, AF, para suministrar al sistema 500 de difusión, que se entregarán en diferentes territorios utilizando estaciones 510 de difusión de entrega locales, p. ej., país por país o región por región. En un evento en directo, el sistema 400 de reemplazo de contenido debería funcionar de manera fiable y eficiente, y debería causar un retardo mínimo.

En las realizaciones de ejemplo, el contenido 42 alternativo comprende una o más imágenes fijas (p. ej., archivos de imagen de JPEG) y/o una o más imágenes en movimiento (p. ej., archivos de imágenes en movimiento de MPEG). Como otro ejemplo, el contenido 42 alternativo puede comprender objetos tridimensionales en un formato de intercambio 3D, tal como los formatos de archivo COLLADA, Wavefront .OBJ o Autodesk .3DS, como será familiar para los expertos en la técnica.

El contenido 42 alternativo puede prepararse de antemano y puede grabarse en un medio 49 de almacenamiento acoplado al sistema 400 de reemplazo de contenido. En otro ejemplo, el contenido 42 alternativo puede generarse dinámicamente mientras el sistema está en uso.

El sistema 400 de reemplazo de contenido produce una o más transmisiones alternativas, AF, en las que el sujeto observado de interés, en este caso la valla 10 publicitaria, se modifica, mejora o sustituye en su lugar con el contenido 42 alternativo. Idealmente, las imágenes dentro de la transmisión alternativa, AF, deberían parecer fotorrealistas, ya que el espectador ordinario normalmente no se daría cuenta de que el sujeto 10 ha sido modificado electrónicamente. Por lo tanto, es importante determinar con precisión un área de enmascaramiento que defina la posición de la valla 10 publicitaria dentro de las imágenes de vídeo ingresadas al sistema 400 de reemplazo de contenido. Además, es importante identificar con precisión cuándo partes del sujeto 10 observado se han tapado por un objeto 12 que interviene, tal como un jugador, árbitro, etc. En particular, el objeto u objetos que intervienen pueden moverse rápidamente y pueden aparecer a diferentes distancias entre la cámara 20 y el sujeto 10. Además, es deseable producir la transmisión 41 alternativa que contiene el contenido 42 alternativo de una manera que sea agradable para el espectador y que no sea perceptible ni molesta. Además, puede ser necesario considerar la latencia y la sincronización, así como la precisión de la manipulación del contenido de imagen.

El sistema 400 de sustitución de contenido de ejemplo está dispuesto para procesar una pluralidad de señales 61 de detector. En una realización de ejemplo, las señales 61 de detector se pueden derivar a partir de las imágenes de vídeo capturadas por la cámara 20, p. ej., utilizando radiación luminosa visible o casi visible capaz de ser capturada ópticamente a través de la cámara 20, en donde la cámara 20 actúa como un detector 60. En otra realización de ejemplo, una o más unidades 60 de detector se proporcionan por separado a las cámaras 20.

En algunos ejemplos, las señales 61 de detector se pueden derivar a partir de cualquier radiación de longitud de onda adecuada. Las longitudes de onda pueden ser visibles o no visibles. En la siguiente realización de ejemplo, las señales 61 de detector se derivan a partir de longitudes de onda infrarrojas, y las señales 61 de detector son señales de vídeo infrarrojas que representan una imagen de escena infrarroja. Otra realización de ejemplo puede detectar radiación ultravioleta. En una realización de ejemplo, se puede detectar radiación polarizada visible o no visible. Se puede utilizar una combinación de diferentes grupos de longitudes de onda, tal como una primera señal de detector derivada a partir de cualquiera de las longitudes de onda infrarroja, visible o ultravioleta, y una segunda señal de detector derivada a partir de longitudes de onda infrarroja, visible o ultravioleta cualesquiera.

En la realización de ejemplo ilustrada, uno o más detectores 60 están asociados con la cámara 20. En la realización de ejemplo, cada una de las cámaras 20 está ubicada junto con al menos un detector 60. El o cada uno de tales detectores 60 puede inspeccionar adecuadamente un campo de visión, que es al menos parcialmente consistente con el campo de visión de la cámara 20, y, de esta manera, incluye el sujeto 10 observado de interés. El campo de visión del detector y el campo de visión de la cámara pueden estar correlacionados. Por lo tanto, las señales 61 de detector están adecuadamente correlacionadas con la respectiva transmisión 21 de cámara. En la realización de ejemplo, las señales de detector 61 se suministran al sistema 400 de reemplazo de contenido. En la realización de ejemplo, las señales de detector 61 se retransmiten en directo al sistema 400 de reemplazo de contenido. En otra realización de ejemplo, las señales 61 de detector pueden grabarse en un medio 65 de almacenamiento de señal de detector para reproducirse en el sistema 400 de reemplazo de contenido en un momento posterior.

Como un ejemplo, el uno o más detectores 60 pueden ser cámaras de espectro estrecho del infrarrojo cercano (NIR). El detector 60 puede estar montado adyacente a la cámara 20 para tener un campo de visión consistente con la cámara 20. Además, en algunas realizaciones, los detectores 60 pueden compartir opcionalmente uno o más componentes ópticos con la cámara 20.

El detector 60 puede estar dispuesto para moverse con la cámara 20, p. ej., para seguir los mismos movimientos de giro e inclinación. En las realizaciones de ejemplo, las cámaras 20 pueden proporcionar una señal de telemetría que registra parámetros relevantes de la cámara, tales como la distancia focal, la apertura, el movimiento y la posición. En un ejemplo, la señal de telemetría incluye información de giro e inclinación. La telemetría también puede incluir información de zoom o la información de zoom puede derivarse a partir del análisis de las propias imágenes en movimiento. La telemetría se puede utilizar, directa o indirectamente, para calcular o proporcionar de otra manera información de giro, balanceo, inclinación y zoom (PRTZ). La señal de telemetría de la cámara se puede pasar al sistema 400 de reemplazo de contenido, ya sea directamente o a través de un dispositivo de almacenamiento intermedio, con el fin de proporcionar información adicional acerca del campo de visión observado por cada una de las cámaras 20.

Como se señaló anteriormente, surge una dificultad en la manipulación de imágenes que contienen detalles finos. En particular, una o más partes de la escena original pueden contener elementos que están cerca o por debajo de la resolución de las imágenes capturadas. Por ejemplo, ciertos elementos pueden estar a o cerca de la resolución de un píxel en las imágenes capturadas. Estos detalles finos son particularmente difíciles de manejar con precisión y coherencia al insertar contenido alternativo. Es decir, cuando las cámaras 20 y los detectores 60 capturan la escena, estos elementos finamente detallados pueden estar mal definidos en algunas tomas, tales como las tomas de gran angular o de distancia. Por lo tanto, el sistema 400 de reemplazo de contenido puede insertar el contenido alternativo sin representar con precisión estos elementos finamente detallados. Como resultado, las imágenes de la transmisión alternativa pueden ser menos que ideales y, en algunas circunstancias, puede no lograrse el efecto fotorrealista deseado. Por lo tanto, se desea mejorar la apariencia visual de las imágenes que se producen al insertar contenido alternativo en una imagen.

La Figura 2 muestra otra realización de ejemplo del sistema de reemplazo de contenido. En este ejemplo, el sistema incluye una unidad 410 de reemplazo de contenido, CRU, que inserta contenido alternativo en una transmisión de imagen de vídeo recibida. La CRU 410 puede funcionar de la manera ya descrita anteriormente. Además, el sistema incluye una unidad 420 de procesamiento mejorada, EPU, que mejora la apariencia visual de la transmisión de imagen alternativa proporcionada desde la CRU 410.

En una primera fase, la EPU 420 está configurada para obtener y almacenar uno o más fotogramas de muestra, que pueden incluir imágenes 601 de muestra de la escena incluyendo el uno o más elementos 101 detallados, y/o una o más señales 602 clave mientras se observa la escena en relación con los elementos 101 detallados.

En un ejemplo, la EPU 420 puede obtener, en primer lugar, uno o más fotogramas 601, 602 de muestra del elemento 101 detallado o característica que es de interés. En un ejemplo, la característica 101 es la portería y, más particularmente, una red de portería con una estructura de filamentos estrecha, como se ilustra por las líneas verticales continuas en la Figura 2. Estos fotogramas 601, 602 de muestra se obtienen a un primer nivel de resolución. Convenientemente, las imágenes 601 de muestra se obtienen a una resolución relativamente alta, de manera que la característica 101 ocupa múltiples píxeles dentro de al menos algunos de los fotogramas 601, 602 de muestra. En este ejemplo, los fotogramas 601,602 de muestra también incluyen el sujeto 10 que debe reemplazarse con el contenido alternativo. En este ejemplo, el sujeto 10 es una valla publicitaria que muestra la palabra “Sport”. De particular interés es el área en el que las características 101 detalladas se superponen al sujeto 10, p. ej., la región en la que la red de portería se encuentra frente a la valla publicitaria. Por lo tanto, solo esta área relevante (mostrada en negro en el respectivo fotograma 602 de señal clave) puede preservarse y otras áreas pueden eliminarse o ignorarse para ahorrar espacio. Los fotogramas 601 de imagen de muestra y los fotogramas 602 clave de muestra se almacenan adecuadamente en un repositorio 600 de imágenes, p. ej., una unidad de disco duro.

Varios de tales fotogramas de muestra pueden obtenerse, que pueden mostrar la característica 101 en diferentes momentos o en diferentes condiciones o configuraciones, de modo que está disponible un rango de fotogramas de muestra. Una secuencia de los fotogramas 601/602 de muestra puede grabarse como una secuencia de vídeo corta, p. ej., para tener en cuenta los movimientos de la característica 101, como la red de portería moviéndose ligeramente.

En un ejemplo, los fotogramas 601/602 de muestra se pueden obtener de forma estática, por adelantado. En tal caso, los fotogramas de muestra se pueden obtener en condiciones controladas, tales como elegir la iluminación o la hora del día adecuada, etc. Por ejemplo, una o más de las cámaras 20 y/o de los detectores 60 pueden utilizarse para ampliar, para observar y capturar los fotogramas 601/602 de muestra en los que las características 101 se muestran en detalle.

En un ejemplo, los fotogramas 601/602 de muestra se pueden obtener simultáneamente con las imágenes de vídeo sobre las que se va a realizar el reemplazo de contenido. Por ejemplo, los fotogramas 601/602 de muestra pueden grabarse en momentos convenientes durante una difusión en directo y luego utilizarse más tarde durante esa misma difusión o sesión. Los fotogramas 601/602 de muestra se pueden obtener de manera oportunista, grabando uno o más segmentos de una transmisión de imagen de vídeo, p. ej., grabando partes apropiadas de una transmisión de imagen cuando la característica 101 se muestra en detalle, como en una toma de primer plano o ampliada.

En un ejemplo, los fotogramas 601/602 de muestra se obtienen a partir de una cualquiera o más de las transmisiones adecuadas o señales disponibles para la CRU 410, como se discutió anteriormente. En particular, las imágenes 601 de muestra pueden originarse a partir de cualquiera de las cámaras 20 en el lugar que observan la escena y, de la misma manera, los fotogramas 602 clave de muestra pueden derivarse a partir de señales de imagen proporcionadas por los detectores 60. En otro ejemplo, se puede proporcionar una cámara/detector especial, específicamente para capturar los fotogramas 601/602 de muestra. La cámara/detector especial (p. ej., una ‘cámara de red de portería’) puede ser una cámara o detector de alta resolución que está entrenada específicamente con las características de interés.

Como se describió anteriormente, la CRU 410 está dispuesta para generar la señal de máscara o señal 602 clave de área objetivo, que identifica el área objetivo dentro de las imágenes, que debe reemplazarse por el contenido alternativo. En la primera fase, la CRU 410 puede estar dispuesta para producir los fotogramas 602 de señal clave de área objetivo en coordinación con las imágenes 601 de muestra. La EPU 420 puede mantener el respectivo fotograma 601 de imagen de muestra y el fotograma 602 clave juntos, como un par de relleno/clave de muestra. En otro ejemplo, la señal de imagen y la señal clave pueden combinarse en una solo flujo, tal como utilizando una representación de imagen de 3 canales (p. ej., RBG o YUV) y una representación clave de 4° canal (p. ej., utilizando el canal A de los formatos RGBA o YUVA).

La Figura 3 ilustra además una segunda fase en la que los fotogramas 601/602 de muestra obtenidos pueden emplearse para mejorar las imágenes emitidas por el sistema 400 de reemplazo de contenido. Como se muestra en la Figura 2 y nuevamente con más detalle en la Figura 3, un fotograma 71 de imagen actual de una señal de imágenes de vídeo fuente debe alterarse electrónicamente por el sistema 400 de reemplazo de contenido. En un ejemplo, el fotograma 71 actual puede ser una difusión en directo de un partido de fútbol con publicidad perimetral.

En este ejemplo ilustrativo, el sujeto 10 es una valla publicitaria con la palabra “BEER” cuya imagen debe reemplazarse en su lugar con la palabra “COLA”, como el contenido 42 alternativo. En particular, la imagen 71 actual muestra una o más características 101 detalladas que pueden estar a o cerca de la resolución de la imagen. Normalmente, estos detalles finos son difíciles de procesar por el sistema en esta situación. Además, la imagen 71 actual puede comprender un objeto 12 oclusivo, tal como un jugador (p. ej., un portero), delante de las características 101 detalladas.

Los elementos 101 finamente detallados pueden representarse erróneamente dentro del fotograma 71 de imagen actual. Por ejemplo, las imperfecciones en la óptica o la operación de la cámara (p. ej., errores de enfoque) pueden representar estos detalles finos imperfectamente en la imagen 71 actual. Además, factores tales como el desenfoque de movimiento pueden inhibir la determinación precisa de la posición de los detalles finos en la imagen 71 actual. Sin embargo, para el usuario puede ser notable una ausencia completa de los detalles 101 finos en las imágenes 73, 74 alteradas. Esta presencia o ausencia de detalles finos es más evidente cuando el espectador puede comparar diferentes partes o secciones de la transmisión de imagen. Por ejemplo, cuando el contenido alternativo se introduce de forma intermitente y el espectador ve en algunas ocasiones la transmisión de imagen original y en otras ve la transmisión de imagen alterada, el espectador puede notar una distinción en la calidad entre estas imágenes.

En un ejemplo, las señales 61 de detector se procesan para derivar un correspondiente fotograma 72 de señal clave actual, dando así un par 71/72 de fotogramas de imagen actual/clave que observan la escena. En un ejemplo, las señales 61 de detector pueden ser señales infrarrojas y el fotograma 72 de señal clave puede representar así la escena utilizando valores monocromáticos infrarrojos. Sin embargo, muchos otros ejemplos serán evidentes para el experto y, por ejemplo, la señal 72 clave puede derivarse a partir de las imágenes 71 visibles (p. ej., utilizando croma). Las señales 61 de detector pueden, o pueden no, tener la misma resolución que la señal 71 de imagen actual y se aplican consideraciones similares en términos de errores de enfoque, desenfoque de movimiento, etc., lo que puede degradar la capacidad del fotograma 72 de señal clave para definir con precisión los detalles 101 finos. El fotograma 72 de señal clave objetivo define una región 14 objetivo (mostrada en negro) a modificar. Los detalles 101 finos pueden ser visibles solo en el fotograma 71 actual, pero típicamente no están presentes o son difíciles de determinar dentro del respectivo fotograma 72 de señal clave. Como resultado, el fotograma 72 de señal clave puede hacer que el proceso de reemplazo de contenido opere de manera subóptima, en particular, al no tener en cuenta los detalles finos en el área 14 objetivo.

En este ejemplo, uno o más fotogramas 601/602 de muestra apropiados se seleccionan a partir de la primera fase de grabación. Generalmente, el fotograma 71 de imagen actual y/o el fotograma 72 clave actual representan un objeto de interés a una segunda resolución que no es la misma que la primera resolución a la que ese mismo objeto está representado en los respectivos fotogramas 601/602 de muestra. En particular, la primera resolución puede ser más alta que la segunda resolución y, por lo tanto, los fotogramas 601/602 de muestra muestran el objeto de interés con mayor detalle y precisión que los fotogramas 71/72 actuales.

Se puede aplicar una transformación de imagen al fotograma 601/602 de muestra seleccionado. Es decir, el fotograma 601/602 de muestra seleccionado se escala, se dimensiona o se manipula de otro manera apropiada para el área 14 objetivo en el fotograma 71/72 actual, para proporcionar un respectivo fotograma 601‘/602’ de muestra transformado listo para ser utilizado. Los fotogramas 601‘/602’ de muestra transformados pueden seleccionarse a partir de una subregión de los fotogramas 601/602 almacenados previamente, cuando sea apropiado. En un ejemplo, se puede aplicar un ajuste de perspectiva, en el que los fotogramas 601/602 de muestra se ajustan para ajustarse a una perspectiva del fotograma 71/72 actual. En un ejemplo, se puede transformar o distorsionar una región rectangular del fotograma 601/602 de muestra para convertirse en una región 601‘/602’ cuadrilátera irregular lista para aplicarse sobre la región de interés en el fotograma 71/72 actual. En un ejemplo, el fotograma 601/602 de muestra almacenado puede estar teselado en una pluralidad de subregiones. Cada una de las subregiones se proyecta de acuerdo con un modelo matemático que representa la distorsión de la lente de la cámara apropiada para esa parte del fotograma, lo que lleva a una región de imagen transformada apropiadamente en el fotograma 601 ‘/602’ transformado. Por lo tanto, se puede proporcionar el fotograma 602’ clave de muestra transformado y/o el fotograma 601’ de relleno de muestra transformado, que se han transformado con precisión para corresponder con una región deseada de interés en el fotograma 71/72 actual.

La Figura 4 es una vista esquemática de una transformación de imagen de acuerdo con una realización de ejemplo. En este ejemplo, una cámara actual de interés tiene una posición estática, pero puede girarse, inclinarse y/o cambiar la distancia focal entre un fotograma 601 de imagen de muestra y un fotograma 71 de imagen actual. La imagen 601 de muestra, muestra una portería y una red de portería con una primera resolución. El fotograma 71 de imagen actual muestra la misma escena, pero aquí la portería se muestra a una segunda resolución más baja en una toma panorámica del estadio (no mostrado). La imagen 601 de muestra corresponde así al área 601a dentro de la imagen 71 actual. Se apreciará que cada uno de los fotogramas 601, 71 de imagen puede correlacionarse con un correspondiente fotograma 602, 72 de señal clave, como se discutió anteriormente.

En un ejemplo, la cámara 20 puede proporcionar mediciones incluyendo una medición (Z o Zoom) de la distancia focal, que indica la distancia focal actual. Se puede calcular una transformación de imagen apropiada utilizando la medición de distancia focal para los fotogramas 601/602 de muestra y una medición de distancia focal para el fotograma 71/72 actual. Del mismo modo, los cambios de posición de la lente de la cámara (giro, balanceo, inclinación) pueden informar de las correspondientes traslaciones de imágenes (es decir, las conocidas mediciones de PTZ o de PRTZ). El seguimiento de la cámara puede implementarse mediante sensores (p. ej., un sensor de zoom en la lente, sensor de giro e inclinación en el cabezal/trípode de la cámara) o mediante otros métodos apropiados.

Otras realizaciones pueden utilizar otros métodos específicos para seguir la relación de posición relativa entre los fotogramas 601/602 de muestra y los fotogramas 71/72 actuales y determinar así las transformaciones de imagen apropiadas. En un ejemplo, un vector de dirección puede representar cada una de las cuatro esquinas de la imagen dentro de un espacio 3D (p. ej., coordenadas XYZ) desde un punto de origen (p. ej., utilizando un modelo de cámara estenopeica). Los vectores de dirección del fotograma de muestra y del fotograma actual pueden utilizarse para informar la respectiva transformación de imagen entre esos dos fotogramas. Por ejemplo, se puede utilizar el modelo de cámara estenopeica y una matriz de proyección de cámara para representar matemáticamente puntos de una imagen 2D dentro de un espacio virtual 3D. Estas y otras transformaciones de imagen específicas pueden implementarse de manera apropiada al entorno en el que se aplican las realizaciones, como será evidente ahora para el experto.

El fotograma 602 clave de muestra define una o más regiones que deben mejorarse. Estas regiones pueden mejorarse utilizando la respectiva imagen 601 de relleno de muestra. Más en detalle, este proceso identifica ciertas regiones de píxeles del contenido 42 alternativo insertado según lo definido por el fotograma 602 clave de muestra. Las regiones de píxeles identificadas pueden superponerse con los valores de color de píxel apropiados tomados a partir del fotograma 601 de relleno de muestra, insertando así los detalles finos originales de nuevo en la imagen reconstruida. En este ejemplo, los filamentos finos de la red de portería se superponen sobre la imagen de valla publicitaria alternativa (es decir, sobre la imagen de “COLA”), dando un efecto fotorrealista mejorado en la imagen 74 modificada mejorada.

En un ejemplo, el fotograma 602 clave de muestra se aplica a una imagen 73 manipulada compuesta después de insertar el contenido 42 alternativo. Así, la mejora puede realizarse como una etapa de postprocesamiento separado.

En otro ejemplo, la mejora puede realizarse directamente, sin producir la imagen 73 manipulada como un elemento intermediario separado. Es decir, el fotograma 602 clave de muestra se puede combinar con la señal 72 de fotograma clave alterando así la manera en que se inserta el contenido 42 alternativo en la imagen 71 recibida. Por lo tanto, se puede aplicar un procesamiento combinado de mejora de imagen para producir directamente la imagen 74 mejorada.

Este proceso de mejora también puede considerar el fotograma 72 de señal clave actual que define las regiones 14 objetivo en las que debe insertarse el contenido 42 alternativo. Los detalles 101 finos pueden superponerse solo en la región del área 14 objetivo, lo que excluye así un objeto 12 oclusivo. Por lo tanto, la red de portería se inserta o superpone solo en las regiones objetivo de la valla 10 publicitaria y aparece visualmente detrás del portero 12 para un efecto fotorrealista mejorado.

En un ejemplo, el fotograma 602 clave es suficiente por sí mismo para realizar el proceso de mejora de imagen. Por ejemplo, se puede utilizar un color predeterminado (p. ej., blanco o casi blanco) para la superposición en el área relevante, en lugar de tomar valores de color de píxel a partir de la respectiva imagen 601 de muestra. Como otra opción, se pueden utilizar los valores de color de píxel del fotograma 71 original como la superposición. Por lo tanto, en alguna realización, los fotogramas 601 de imagen de muestra pueden ignorarse y/o no necesitan grabarse en la primera fase.

En un ejemplo, se realiza una función de procesamiento gráfico para preservar los componentes gráficos (p. ej., logos, líneas de meta u otra información) dentro de la imagen original que pueden cruzarse con las características finamente detalladas, teniendo en cuenta la discusión anterior. Estas capas de gráficos deben continuar presentándose como una capa visualmente superior y no deben superponerse por los elementos o características detallados en el proceso de mejora.

En un ejemplo, se pueden utilizar las señales de medición de cámara en relación con el fotograma 71 de imagen actual para determinar si realizar o no la función de mejora de imagen de superposición. Por ejemplo, una señal de telemetría de la cámara 20 puede proporcionar una medición de distancia focal. La medición de distancia focal se puede utilizar para aplicar selectivamente la función de mejora de superposición solo a ciertas distancias focales deseadas. Por ejemplo, la red de portería puede requerir solo una mejora visual en una toma de longitud media y aparece aceptablemente en tomas de distancia corta y/o de distancia lejana sin la mejora de superposición. Por lo tanto, el sistema se adapta fácilmente a situaciones y circunstancias específicas para cada escena, cada lugar y cada evento.

En un ejemplo, la mejora de imagen se realiza utilizando un factor de transparencia, mezclando así los píxeles superpuestos con la imagen subyacente. Los detalles 101 finos se superponen así sobre el contenido 42 de imagen alternativa con un factor de transparencia. En un ejemplo, se puede variar el factor de transparencia. En un ejemplo, el factor de transparencia puede variarse en base a la medición de distancia focal. El factor de transparencia variable puede utilizarse para una transición suave entre los diferentes modos de la mejora de superposición.

A continuación, se explicará una operación de mezcla de gráficos y una operación de sustitución de contenido para dar una comprensión detallada adicional de las realizaciones de ejemplo.

La Figura 5 es un diagrama esquemático que muestra una operación de mezcla de superposición de gráficos, que se realiza adecuadamente mediante la unidad 302 mezcladora de superposición de gráficos, GOMU, mencionada anteriormente, en la que se añade una señal FG de imagen de superposición de gráficos a una señal de imágenes de vídeo, CF. La operación de mezcla se controla por una señal K^g clave de gráficos. Se produce una señal PGM1 de imágenes de vídeo de programa.

En este ejemplo, la señal de vídeo de imagen entrante puede adoptar cualquier forma adecuada y, por conveniencia, en el presente documento se denominará una señal CF de imagen de transmisión limpia. La señal PGM1 de vídeo saliente también puede tomar cualquier forma adecuada y se denomina adecuadamente señal de transmisión de programa o señal (DF) de transmisión sucia. La señal de imagen de superposición de gráficos, también llamada una señal F^g de relleno de gráficos, se mezcla con la señal CF de transmisión de imagen limpia de acuerdo con la señal K^g clave de gráficos. La señal K^g clave de gráficos determina un porcentaje de gráficos de cobertura (% de gráficos), que define la transparencia relativa de la señal F^g de relleno de gráficos cuando se mezcla con la señal CF de imagen de transmisión limpia. Por lo tanto, la señal F^g de relleno de gráficos es adecuadamente una señal de imagen que corresponde a una o más partes, o regiones, del área de imagen de la señal CF de imagen de transmisión limpia. La señal F^g de relleno de gráficos se mezcla con la señal CF de transmisión de imagen limpia en una proporción que está definida por el porcentaje de cobertura (gráficos%) en la señal K^g clave de gráficos. La señal K^g clave de gráficos define adecuadamente el porcentaje de gráficos de cobertura para cada uno de los píxeles, o cada uno de los grupos de píxeles, dentro del área de imagen relevante que debe modificarse mediante la superposición de gráficos.

La operación de mezcla de la Figura 5 se puede expresar por la ecuación 1:

PGM = Mezcla (CF, F^g, K^g) (Ec. 1)

Estas señales representan cada una adecuadamente fotogramas de imagen o de imágenes de vídeo construidos por las matrices de píxeles, tales como una rejilla bidimensional. Por lo tanto, cada una de las capas de gráficos adicional se puede considerar como una combinación del relleno y de los componentes clave. El relleno representa el contenido visual de la imagen (p. ej., valores de píxeles de color o de escala de grises), mientras que la clave representa la transparencia (densidad) relativa de esa capa de imagen. La clave es adecuadamente una forma de coeficiente de transparencia numérico. El término capa de gráficos se ha utilizado aquí por conveniencia, pero se apreciará que la capa de gráficos puede contener cualquier contenido de imagen adecuado. Se pueden aplicar varias capas de gráficos secuencialmente sobre una capa de imagen original o una capa de imagen inicial.

La Figura 6 ilustra una operación de sustitución de contenido que puede realizarse por una unidad 410 de reemplazo de contenido, CRU. Una señal F^a de contenido de imagen alternativa se utiliza para modificar una señal CF de vídeo entrante de acuerdo con una señal K^a clave de área objetivo. Se produce una señal M-CF de imágenes de vídeo de transmisión limpia modificada. La operación de sustitución de contenido puede necesitar repetirse varias veces utilizando diferentes imágenes F^a,^í alternativas para producir las respectivas señales M-CF1, M-CF2... M-CFi de imagen modificadas, donde i es un entero positivo. La operación de sustitución de contenido puede describirse mediante la ecuación 2:

M-CF, = Mezcla(CF, F^aj, K^a) (Ec.2)

Además, como se muestra en la Figura 6, las señales M-CFi de imagen de transmisión limpia modificadas se ingresa cada una a la operación de mezcla de gráficos de la Figura 5, como se describió anteriormente, de modo que la una o más capas de gráficos se pueden añadir a cada una de las señales modificadas para producir una correspondiente pluralidad de señales M-PGMi de programa modificadas. La operación de mezcla de gráficos puede, por lo tanto, describirse por la ecuación 3:

M-PGMi = Mezda(M-CF¡, F^g, K^g) (E^c.3)

En particular, la operación de sustitución de contenido se realiza típicamente en una etapa temprana de la cadena de transmisión, donde el acceso a las señales de imagen de transmisión limpias está disponible y, típicamente, necesita estar estrechamente integrada con otro equipo que produce la transmisión limpia y que realiza la operación de mezcla de gráficos. Además, cada una de las señales M-PGMi de programa modificadas se transporta a través del sistema, lo que aumenta la complejidad y la carga de la cadena de transmisión.

La Figura 7 es un diagrama esquemático que muestra una realización de ejemplo del sistema considerado en el presente documento. En particular, la Figura 7 muestra un sistema de ejemplo en el que el mezclador 302 de gráficos puede funcionar primero, seguido después por un sistema 400 de reemplazo de contenido.

En este ejemplo, la señal K^a clave de área objetivo define un área objetivo de la señal de vídeo que debe modificarse o reemplazarse. Típicamente, las áreas no objetivo de la señal de vídeo original deben dejarse inalteradas, mientras que la señal K^a clave de área objetivo identifica aquellas regiones o partes que se van a modificar. La señal K^a clave de área objetivo puede producirse, por ejemplo, utilizando un detector de infrarrojos para identificar un sujeto en una escena mostrada en las imágenes de vídeo.

En las realizaciones de ejemplo, la señal K^a clave de área objetivo se define adecuadamente como un valor de porcentaje numérico que se aplicará a cada uno de los píxeles o grupo de píxeles en el área de imagen. Por ejemplo, el cero por ciento (0% o 0) indica que la imagen original permanece como se presentó originalmente, mientras que el cien por ciento (100% o 1) indica que la imagen original debe reemplazarse por completo en esta posición. Además, la señal K^a clave de área objetivo puede definir el reemplazo parcial en un porcentaje mayor que cero y menor que cien (p. ej., 25%, 50%, 0,25, 0,5), lo que indica que la imagen original persistirá proporcionalmente en esa posición y, por lo tanto, se realiza un reemplazo o modificación semitransparente con la imagen original siendo aun parcialmente visible. Por ejemplo, tales partes semitransparentes son útiles en regiones de transición en un límite del área objetivo, con el fin de mejorar una integración visual del contenido alternativo con las imágenes originales (áreas no clave).

La Figura 7 muestra el sistema 400 de reemplazo de contenido de ejemplo que comprende una unidad 410 de combinación de calve, KCU, y una unidad 420 mezcladora de preservación, PMU.

En una realización de ejemplo, la unidad 410 de combinación de clave está dispuesta opcionalmente para generar una señal K^d clave de diferencia y una señal F^d de relleno de diferencia. La señal K^d clave de diferencia generalmente representa una combinación de la señal K^a clave de área objetivo y la señal K^g clave de gráficos, como se explicará más en detalle a continuación. La señal F^d de relleno de diferencia, generalmente, representa diferencias en el contenido de imagen entre la primera señal PGM1 de programa y la señal CF de imagen de transmisión limpia. Como se describió anteriormente, estas diferencias se deben principalmente a la adición de las superposiciones de gráficos de acuerdo con la señal F^g de relleno de gráficos y señal K^g clave de gráficos.

La señal F^d de relleno de diferencia está adecuadamente restringida y solo se aplica en las áreas compartidas en las que la señal K^a clave de área objetivo y señal K^g clave de gráficos definen ambas semitransparencia. Como se indicó anteriormente, la señal K^a clave de área objetivo y la señal K^g clave de gráficos se expresan adecuadamente como porcentajes. Por lo tanto, la señal F^d de relleno de diferencia contiene contenido de imagen solo en estas áreas compartidas en las que la señal K^a clave de área objetivo y la señal K^g clave de gráficos son ambas mayores que cero y menores que cien por ciento.

La señal F^d de relleno de diferencia y la señal K^d clave de diferencia pueden formar juntas un flujo de señal intermedio o flujo 35 de señal auxiliar. El flujo 35 de señal auxiliar es adecuado para transmitir a una etapa posterior en una cadena de transmisión. En realizaciones de ejemplo, el flujo 35 de señal auxiliar se proporciona adecuadamente junto con la primera señal PGM1 de programa. El flujo 35 de señal auxiliar permite que la primera señal PGM1 de programa se modifique introduciendo el contenido alternativo.

En las realizaciones de ejemplo, la primera señal PGM1 de programa se modifica combinando la primera señal PGM1 de programa con la señal F^a de relleno de contenido alternativo con referencia a la señal K^d clave de diferencia y la señal F^d de relleno de diferencia para producir una señal M-PGM de programa modificada.

La Figura 7 también muestra una realización de ejemplo adicional, en la que se proporcionan múltiples versiones diferentes de la señal F^a1, F^a2, F^a3 de relleno de contenido alternativo. Genéricamente, esto puede considerarse como F^aí, donde i es un entero positivo. Utilizando la misma señal F^d de relleno de diferencia y la señal K^d clave de diferencia junto con la respectiva señal F^aí de relleno de contenido alternativo, las realizaciones de ejemplo pueden producir muchas señales M-PGMj de programa modificadas diferentes.

En las realizaciones de ejemplo, la señal K^d clave de diferencia se describe por la ecuación 4:

K^d = (1 - K^g) ■ K^a (Ec.4)

Por lo tanto, K^d es cero en todas las áreas en las que K^a es cero. Además, K^d es cero en todas las áreas en las que K^g es 100 por ciento. De manera ventajosa, K^d contiene valores no cero solo para aquellas partes del área de imagen en las que K^g es menor que uno y K^a es mayor que cero, lo que indica que tanto K^g como K^a representan áreas semitransparentes. La señal K^d clave de diferencia, por lo tanto, transporta información significativa solo en el área de interés y es adecuada para alta compresión mediante métodos estándar de compresión de imagen o de vídeo.

La señal FD de relleno de diferencia está adecuadamente representada por la ecuación 5:

F^d = K^d ■ (PGM - CF) = [(1 - K^g) ■ K^a] ■ [(PGM - CF)] (Ec.5)

En realizaciones prácticas, solo las áreas relativamente pequeñas, tales como las áreas del límite de transición, son semitransparentes, y el área en la que K^a y K^g son semitransparentes será aún incluso más pequeña. Así, la señal FD de relleno de diferencia transporta la información en un área relativamente pequeña de la imagen y se puede comprimir altamente por técnicas estándar de compresión de imagen o de compresión de vídeo.

Algunos formatos de vídeo estándar, tales como el SDI, utilizan ocho o diez valores enteros de bits para representar los valores de píxel, pero solo un subconjunto de los ocho o diez rangos completos de bits son en realidad valores de píxeles válidos. Por lo tanto, las implementaciones prácticas pueden considerar restringir el rango de las salidas de las ecuaciones, como se describió anteriormente, con el fin mantenerse dentro de los rangos de píxeles válidos. En algunas realizaciones prácticas, se puede utilizar un esquema de submuestreo de croma y el método puede adaptarse en consecuencia.

Algunos formatos de vídeo estándar típicamente representan valores de píxeles con valores sin signo. Por lo tanto, se puede emplear un mecanismo de mapeo para mapear hacia o desde valores con signo y sin signo, tal como añadiendo un desplazamiento a los valores de píxeles originales derivados a partir de señales relevantes.

En algunas circunstancias prácticas, la señal F^g de relleno de gráficos y/o la señal K^g clave de gráficos pueden no ser conocidas o pueden no ser suministradas como una entrada al sistema. En esta situación, es posible realizar una etapa de detección de gráficos que deriva estas señales, adecuadamente basadas en la señal PGM de programa y la señal CF de transmisión limpia. Es decir, comparar la señal PGM de programa con la señal CF de transmisión limpia permite que se deriven las diferencias entre estas señales, obteniendo así al menos una aproximación de las capas de gráficos añadidas.

Además, es posible que la señal CF de transmisión limpia original no está disponible en algunas circunstancias prácticas. En esta situación, la señal FD de diferencia de relleno puede derivarse utilizando la señal FG de relleno de gráficos en su lugar (que se puede suministrar en sí o se puede derivar, como se describió anteriormente). Como ejemplo, la señal F^d de diferencia de relleno en este caso puede describirse como en la ecuación 6:

F^d = -K^a ■ K^g (PGM - F^g) (E^c.6)

Existe un problema, particularmente, cuando las capas de gráficos ya se han añadido a una señal de vídeo original. Estas capas de gráficos pueden ser semitransparentes y, por lo tanto, las imágenes de vídeo originales seguirán apareciendo debajo de las capas de gráficos añadidas. Cuando se desea cambiar o modificar el contenido de imagen en la señal de vídeo original, mientras se preservan los gráficos que se han añadido. Considerando los gráficos como una capa visual superior y el contenido original como una capa inferior, se desea cambiar la capa inferior mientras se preservan los gráficos de la capa superior.

El sistema de ejemplo permite que esas capas de gráficos superiores se inserten primero siguiendo procesos existentes, con los métodos de clave tradicionales u operaciones de mezcla, tales como los que pueden estar implementados en los equipos de conmutación y mezcla de vídeo comerciales o aplicaciones de software de manipulación de imágenes. El resultado de esas primeras capas en el orden de procesamiento y las capas superiores en orden de apariencia visual sigue siendo válido y relevante, independientemente de las manipulaciones adicionales o el reemplazo de contenido que se han insertado más adelante en el tiempo e intermedio en la apariencia visual entre la imagen de fondo original y las capas de gráficos superiores. Esto puede considerarse una forma de ‘preservación de gráficos’. La capa (o capas) de gráficos que ya se ha añadido a una imagen se preservan, aunque otra capa (es decir, el contenido alternativo) ahora se añada posteriormente en el tiempo pero en una posición visualmente intermedia.

Por simplicidad, el sistema de ejemplo se ha ilustrado con señales de imágenes o de vídeo en escala de grises. Sin embargo, el experto puede ampliar fácilmente esta descripción a señales de color en cualquier espacio de color adecuado, tal como RGB o YUV.

Las realizaciones de ejemplo descritas tienen varias ventajas importantes. El sistema de ejemplo es altamente robusto. En el caso de que se produzca una falla en la señal, entonces, la primera señal PGM1 de programa se puede visualizar sin modificación alguna. Esto preserva una experiencia visual aceptable, lo cual es importante particularmente para la difusión de televisión en directo. En otras palabras, el modo a prueba de fallos presenta imágenes que siguen siendo válidas y relevantes para el espectador sin perturbación visual alguna.

Como una ventaja adicional, el sistema descrito en el presente documento está bien adaptado para integrarse con equipo comercial existente. Como se señaló anteriormente, la primera señal PGM1 de programa puede generarse mediante cualquier mecanismo adecuado y, en sí misma, esta etapa puede quedar fuera del alcance del sistema. Como resultado, el sistema es más flexible para recibir la primera señal PGM1 de programa que ya puede haberse modificado en múltiples fases. Esto minimiza las restricciones comerciales y logísticas para integrar el sistema con el equipo existente. Además, se han minimizado las entradas requeridas del sistema, reduciendo así el número de señales que deben extraerse del equipo existente con el fin producir el flujo de señal intermedio discutido anteriormente.

Como una ventaja adicional, el sistema de ejemplo permite que el contenido alternativo sea semitransparente, mientras preserva la semitransparencia de superposiciones de gráficos añadidos anteriormente. Esto proporciona un resultado visual más rico y atractivo en las señales M-PGM de programa modificado. Como resultado, es más probable que los espectadores encuentren atractivo el contenido alternativo añadido visualmente e integrado con la señal original. Por lo tanto, se puede lograr un mejor resultado fotorrealista.

Aplicación industrial

Al menos algunas realizaciones de la divulgación pueden construirse, parcial o totalmente, utilizando hardware dedicado de propósito especial. Los términos, tales como ‘componente’, ‘módulo’ o ‘unidad’, utilizados en el presente documento pueden incluir, pero no están limitados a, un dispositivo de hardware, tal como una matriz de compuertas programables en campo (FPGA) o un circuito integrado de aplicación específica (ASIC), que realiza ciertas tareas. Alternativamente, los elementos de la divulgación pueden configurarse para residir en un medio de almacenamiento de hardware direccionable y configurarse para ejecutarse en uno o más procesadores. Por lo tanto, los elementos funcionales de la divulgación pueden incluir, en algunas realizaciones, a modo de ejemplo, componentes, tales como componentes de software, componentes de software orientados a objetos, componentes de clases y componentes de tareas, procesos, funciones, atributos, procedimientos, subrutinas, segmentos de código de programa, controladores, firmware, microcódigo, circuitería, datos, bases de datos, estructuras de datos, tablas, matrices y variables. Además, aunque las realizaciones de ejemplo se han descrito con referencia a los componentes, módulos y unidades discutidos aquí, tales elementos funcionales pueden combinarse en menos elementos o separarse en elementos adicionales.

Aunque se han mostrado y descrito algunas realizaciones de ejemplo, los expertos en la técnica apreciarán que se pueden hacer diversos cambios y modificaciones sin apartarse del alcance de la divulgación, como se define en las reivindicaciones adjuntas.

Claims (15)

REIVINDICACIONES

1. Un método para utilizar en la manipulación dinámica de contenido de imágenes, el método que comprende:

almacenar un fotograma (602) de señal clave de muestra de una señal clave que define una o más regiones de píxeles relacionadas con un elemento (101) detallado a una primera resolución;

recibir un fotograma (71) de imagen actual que incluye el elemento (101) detallado mostrado a una segunda resolución, en donde la segunda resolución es más baja en detalles que la primera resolución en relación con el elemento (101) detallado;

proporcionar un fotograma (72) de señal clave actual que define un área (14) objetivo del fotograma (71) de imagen actual que se va a modificar con un contenido (42) alternativo, el área (14) objetivo que contiene al menos parte del elemento (101) detallado;

modificar el fotograma (71) de imagen actual con el contenido (42) alternativo en el área (14) objetivo de acuerdo con el fotograma (72) de señal clave actual y mejorar el elemento (101) detallado insertando contenido de relleno en la una o más regiones de píxeles que están definidas por el fotograma (602) de señal clave de muestra, para proporcionar un fotograma (74) de imagen modificada mejorada; y

emitir el fotograma (74) de imagen modificada mejorada.

2. El método de la reivindicación 1, que comprende además transformar al menos una región del fotograma (602) de señal clave de muestra para corresponder con una respectiva región del fotograma (71) de imagen actual que contiene el elemento (101) detallado.

3. El método de la reivindicación 2, en donde la transformación comprende distorsionar el fotograma (602) de señal clave de muestra para corresponder con una subregión del fotograma (71) de imagen actual.

4. El método de la reivindicación 3, en donde la distorsión proporciona al menos una parte del fotograma (602) de señal clave de muestra como una forma cuadrilátera irregular sobre una subregión del fotograma (71) de imagen actual.

5. El método de la reivindicación 2, en donde la transformación se aplica proporcionalmente a una diferencia relativa entre una primera señal de medición de cámara apropiada para el fotograma (71) de imagen actual y una segunda señal de medición de cámara apropiada para el fotograma (602) de señal clave de muestra.

6. El método de la reivindicación 1, que comprende además almacenar un fotograma (601) de imagen de muestra, correspondiente al fotograma (602) de señal clave de muestra, y tomar el contenido de relleno del fotograma (601) de imagen de muestra en las regiones de píxeles definidas por el fotograma (602) de señal clave de muestra.

7. El método de la reivindicación 1, que comprende mejorar el elemento (101) detallado del fotograma (71) de imagen actual solo en el área (14) objetivo.

8. El método de la reivindicación 1, que comprende además superponer el contenido de relleno de acuerdo con un factor de transparencia variable.

9. El método de la reivindicación 1, que comprende además generar selectivamente la transmisión (74) de imagen modificada mejorada solo en ciertas porciones de tiempo durante un flujo de imágenes apropiado para la presencia del elemento (101) detallado en una transmisión (71) de imagen recibida mientras no proporciona la transmisión (74) de imagen modificada mejorada en otras porciones de tiempo durante el flujo de imágenes.

10. Un sistema para la manipulación dinámica de contenido de imágenes implementado por una computadora que tiene un procesador y una memoria, en donde el sistema está configurado en uso para:

almacenar un fotograma (601, 602) de muestra que muestra un elemento (101) detallado a una primera resolución;

procesar un fotograma (71) de imagen actual de una transmisión de imagen recibida que incluye el elemento (101) detallado mostrado a una segunda resolución, en donde la segunda resolución es más baja en detalles que la primera resolución, proporcionando así un fotograma (73) de imagen modificada que incluye contenido (42) alternativo en un área (14) objetivo, como se define por un fotograma (72) de señal clave actual, el área (14) objetivo que contiene al menos parte del elemento (101) detallado; y

mejorar el elemento (101) detallado en el fotograma (73) de imagen modificada insertando contenido de relleno en una o más regiones de píxeles que están definidas por el fotograma (601, 602) de muestra para proporcionar un fotograma (74) de imagen modificada mejorada.

11. El sistema de la reivindicación 10, en donde el sistema está dispuesto para obtener estáticamente el fotograma (601,602) de muestra antes de recibir la transmisión (71) de imagen recibida.

12. El sistema de la reivindicación 10, en donde el sistema está dispuesto para obtener el fotograma (601, 602) de muestra simultáneamente con la recepción de la transmisión (71) de imagen recibida.

13. El sistema de la reivindicación 10, en donde el sistema está dispuesto para obtener el fotograma (601, 602) de muestra de manera oportunista a partir de la transmisión (71) de imagen recibida.

14. El sistema de la reivindicación 10, en donde el sistema está acoplado a una cámara (20) y/o un detector (60) que observa una escena que incluye el elemento (101) detallado para proporcionar el fotograma (601,602) de muestra.

15. Un medio tangible no transitorio legible por máquina, que comprende instrucciones que, cuando se ejecutan, hacen que un dispositivo informático realice el método de cualquiera de las reivindicaciones 1-9 u opere de acuerdo con el sistema de cualquiera de las reivindicaciones 10-14.