ES2257265T3 - Metodo y aparato para el reemplazo automatico de carteleras en una imagen de video. - Google Patents

Abstract

Aparato para reemplazo electrónico automático de una cartelera en una imagen de vídeo incluyendo un aparato de medición automática de orientación de cámara que incluye elementos de medida de movimiento operativos para medir el Campo Visual de la cámara de TV en relación a una posición de referencia conocida caracterizado porque dicho aparato comprende: (i) una memoria de posición de cámara (712) que recibe entrada de sensores (20, 26, 24, 25, 30) de una cámara que son indicativos de una posición de la cámara y que almacena la entrada; (ii) una memoria de posición de cartelera (704) que almacena una posición de la cartelera (14); (iii) un procesador (714) que determina a partir de la entrada almacenada en la memoria de posición de cámara y la posición almacenada de la cartelera en la memoria de posición de cartelera e independientemente de una señal de video generada por la cámara si la cartelera está dentro del Campo Visual de la cámara; y (iv) una memoria de cartelera de reemplazo (716) que almacena píxeles de una cartelera de reemplazo para que sean sustituidos por los píxeles correspondientes de la cartelera cuando el procesador determina que la cartelera está dentro del Campo Visual de la cámara.

Description

Método y aparato para el reemplazo automático de carteleras en una imagen de vídeo.

La presente invención describe un método y aparato para reemplazar las carteleras automáticamente en una imagen de vídeo.

La presente invención tiene el uso particular en el reemplazo electrónico de carteleras en un estadio u otro sitio de una acción pero puede ser usado para proporcionar datos exactos relacionados con la orientación de la cámara para otros propósitos.

En los sistemas anteriores se ha propuesto reemplazar electrónicamente las carteleras en un estadio que son vistas por un espectador en la televisión. Las carteleras en el estadio son televisadas por una cámara de Televisión y los paneles se alteran electrónicamente para que el espectador de Televisión en casa vea un panel diferente al espectador en el estadio u otro sitio de una acción.

Los sistemas conocidos como aquéllos descritos en US 5, 266,933, en donde se revela un aparato y método para alterar las imágenes de vídeo electrónicamente. El aparato y método descrito en la patente americana y también en la patente US 5, 353,392 mientras que permiten teóricamente el reemplazo de carteleras no resuelven los muchos problemas prácticos encontrados en los ambientes reales. La mayoría de estos problemas se relacionan con el reconocimiento y el proceso del reemplazo.

Confiando exclusivamente en el patrón de técnicas de reconocimiento que utilizan únicamente la señal de vídeo para identificar y localizar las carteleras para el reemplazo se introducen problemas mayores que afectan el valor práctico de semejante sistema.

Claramente, cualquier patrón de esquema de reconocimiento, incluyendo aquéllos descritos en US 5, 264,933 y US. 5, 353,392 deben confiar en las características visibles útiles en la imagen que puede compararse con las descripciones pre-definidas. Tales características deben localizarse dentro de la cartelera o en su vecindario.

En las situaciones reales, la visibilidad de estas características pueden cambiar, continuamente o de otra manera prácticamente desde cero a algún umbral visible que permita al patrón de reconocimiento del esquema trabajar apropiadamente. Estos cambios pueden ocurrir en la dirección de aumentar o reducir la visibilidad.

Tales situaciones incluyen:

\bullet

Aceleración o desaceleración del movimiento de la cámara introduciendo una gran cantidad imagen borrosa.

\bullet

Excesivo acercamiento o alejamiento de la cartelera.

\bullet

Excesiva oclusión de los jugadores.

\bullet

Ingreso o salida del campo visual de una cámara por cualquier combinación de panorámica, inclinación y operación del zoom.

\bullet

Cualquier combinación de los mecanismos antes mencionados.

Por consiguiente, en situaciones prácticas, un reemplazo continuo de carteleras, no es posible. Aun cuando un reemplazo interrumpido fue permitido, requeriría un retardo de por lo menos unos segundo en decidir si el intervalo del reemplazo resultante es aceptable o no. Semejante retardo normalmente no se permite en la radiodifusión en vivo de eventos deportivos.

Reemplazando arbitrariamente las carteleras se introducen problemas adicionales. Un reemplazo de una situación a otra, requiere identificar el primer plano de los objetos ocluyendo la cartelera para inhibir el reemplazo en lugares de oclusión. El primer plano de los objetos principalmente consiste de jugadores pero también pueden ser la pelota u otros objetos. Considere ahora a un jugador con una camisa roja, ocluyendo una parte de una porción roja similar de una cartelera. El contraste del color no puede usarse de forma intensa para identificar la oclusión. Además, ya que el jugador no es un objeto rígido, el movimiento o la información de la forma no pueden usarse con precisión suficiente para garantizar el reemplazo perfecto.

Otro problema que puede surgir en la situación práctica es la resolución de identidad de la cartelera. Considere dos carteleras idénticas posicionadas en dos ubicaciones diferentes en el estadio. Suponga que se asignan diferentes reemplazos físicos a cada una de las carteleras, entonces uno debe poder decir cuál es cual. Esto puede demostrar ser sumamente difícil, especialmente si ninguna característica inequívoca es visible.

Esta invención describe un sistema robusto para el reemplazo de la cartelera, basado en algunos o todos los elementos clave siguientes:

\bullet

panorámica, inclinación, zoom y sensores del enfoque adjuntos a la cámara que se habilitan después de instalar un procedimiento apropiado para estimar la presencia y localización de carteleras en cualquier campo de vídeo dado.

\bullet

métodos de procesamiento de imagen y su realización que permiten refinar las estimaciones de los sensores.

\bullet

carteleras físicas que están coloreadas propiamente para habilitar la detección eficaz de oclusión con técnicas tecla-croma.

\bullet

variación de color o un patrón dentro de la cartelera física más allá realzando la actuación de los métodos de procesamiento de imagen.

La presente invención tiene como primer objeto el proporcionar un método y aparato que habiliten la identificación de la localización de una cartelera u otro objeto estático en un estadio u otro sitio de una acción en cualquier condición atmosférica con cualquier velocidad de panorámica de la cámara y con cualquier otro cambio en los parámetros de la cámara.

La presente invención por tanto provee un aparato y método como propuesta a las reivindicaciones añadidas.

La presente invención también proporciona preferentemente un aparato de reemplazo electrónico de la cartelera en una imagen de vídeo, incluyendo medios de procesamiento de la imagen por procesamiento de las señales de vídeo generadas por la cámara de Televisión, en la cual dicho procesamiento de los medios incluye los medios de calibración para calibración periódica y automáticamente de los medios de medida del movimiento, el aparato en el cual los medidos de medida del movimiento incluyen los medios para medir la inclinación de la inclinación de la panorámica, zoom o enfoque de la cámara relativo a las posiciones de referencia conocidas.

La presente invención por tanto usa recalibración dinámica para corregir errores residuales del sensor o aberraciones en un modelo imperfecto y el flujo del sensor con el paso del tiempo. Así es posible de acuerdo con la presente invención usar sensores menos estables y el aparato y método de acuerdo con la presente invención puede acomodar el movimiento en la posición de la cámara. El proceso de corrección de imagen para la calibración de los sensores elimina la necesidad de mantener los sensores estables por los medios mecánicos por la recalibración automática con referencia a la imagen de vídeo.

En la instalación inicial de correcciones del procedimiento puede incorporarse la calibración para las carteleras que están, por ejemplo, no en el centro del Campo visual - por ejemplo una cartelera que está en la esquina izquierda sobresaliente de la pantalla puede estar ajustada por, por ejemplo, 3 píxeles, para tomar en cuenta aberraciones de la cámara.

Problemas adicionales que surgen en los sistemas de la técnica anterior son en primer lugar cuando la cartelera es cualquiera substancial y completamente ocluida o en segundo lugar, es ocluida por un objeto, como un jugador, del mismo color como la señal real en la cartelera.

Esto puede en primer lugar, como se ha explicado arriba, conducir al no reconocimiento de la cartelera y también en segundo lugar, a la dificultad en el reemplazo satisfactorio de la cartelera.

En el primer caso la cartelera real ha podido ya haber sido reemplazada en la imagen de vídeo pero si se usa el zoom de la cámara en un acercamiento o si se usa una cámara diferente para el acercamiento entonces el bloqueo puede perderse debido a que sólo una porción muy pequeña de la cartelera está a la vista. En el segundo caso el jugador puede llevar puesta una franja que es del mismo color que la cartelera. Los sistemas de la técnica anterior proponen distinguir la cartelera del jugador en base al movimiento si los colores son los mismos y analizar los píxeles en "movimiento" para determinar la oclusión. Esto es razonable en teoría pero falla en la práctica ya que no todos los jugadores se mueven en todo momento. De esta manera, si varios jugadores se mueven delante de una cartelera y un jugador permanece después de que los otros han seguido, la electrónica no podrá distinguir los campos de movimiento. Dado que los colores son distorsionados por la iluminación de las luces, sombras, diferencias en la reflectividad y diferencias en las condiciones de la iluminación diferentes para un jugador del primer plano y una cartelera de fondo, habrá ocasiones en la práctica en que el sistema falla. En tales casos cualquier cartelera original puede re-aparecer en la imagen de vídeo o la cartelera de reemplazo no se ocluirá bastante

Es de nuevo posible introducir un retardo en la transmisión de vídeo para permitirle al proceso de señales electrónicas ser más exacto pero esto no resuelve el problema práctico de una pluralidad de movimiento de los jugadores en las direcciones diferentes para ocluir una cartelera. El retardo necesario es considerado inaceptable y en todo caso no resolverá todos los problemas anteriores.

De acuerdo con una realización preferida de la presente invención se propone reemplazar las carteleras reales con los paneles tecla-cromas o con áreas delineadas que forman los paneles tecla-croma.

La tecla-croma es esencialmente una oclusión técnica permitiendo, por ejemplo, a un lector de noticias levantarse y moverse de un lado a otro adelante de un panel tecla-croma, normalmente coloreado de azul u otro color conveniente. El lector de noticias (el primer plano) es distinguido en el panel tecla-croma (el fondo) por la diferenciación del color y puede moverse de esta manera adelante del fondo de reemplazo con oclusión normal del primer plano y del fondo. Esta técnica es muy bien conocida en los sistemas de estudio de televisión y se describe en las numerosas patentes estadounidenses, incluyendo U.S. 2, 974,190 y 4, 200,980.

Recientemente, varios sistemas combinan los sensores de la cámara con tecla- croma con el propósito de coordinar el movimiento de los fondos de los gráficos con aquéllos de la cámara, que se han descrito y demostrado.

[Ref. K. Haseba et al., Real-timing compositing systems of a real camera image and a computer graphic image, International Broadcasting Convention, 16-20 Sep. 1994, Conference publication No. 397, IEE 1994, el pp. 656-660].

En principio, tal disposición podría servir para reemplazo de la cartelera dónde los sensores resuelven el problema del reconocimiento inequívocamente y la cartelera tecla-croma ayuda a manejar la oclusión correctamente. Sin embargo debido a algunas diferencias principales, esta disposición debe ser perfeccionada. Estos perfeccionamientos son la base de la presente invención.

En una aplicación virtual determinada, la cámara está típicamente a 2-10 metros fuera del primer plano y el campo visual entero se reemplaza normalmente. En comparación, una cartelera puede estar a varios cientos de metros de la cámara y por consiguiente un sistema de reemplazo que usa los sensores es mucho más susceptible a los errores del sensor:

\bullet

Debido a las distancias focales grandes, la misma exactitud del sensor se traducirá en errores geométricos del registro más grandes. Considere un codificador rotativo de 81000 pulsos/revolución, entonces la precisión angular es 0.0044 grados o 75 micro-radianes. La repetibilidad es el doble de mala. Considere un rango de tiro de 100 m con un campo visual de 4 metros, entonces el campo visual es 40 mili-radianes. El error traduce a 768 *? 150 /20000 = 2.88 píxeles.

\bullet

Dado que el campo visual incluye muchos objetos estacionarios (incluso las carteleras) que no se reemplazan, el observador humano será mucho más sensible a los errores del registro. Los errores adicionales pueden originarse de la distorsión de la lente, el eje de rotación que no atraviesa el punto focal, el ángulo no-cero de rodadura, etc.,

La tecla-croma es básicamente una técnica para estudios dónde la iluminación se diseña cuidadosamente y se controla y se ajustan los mandos de la tecla-croma cuidadosamente para la disposición específica de color del azul-pantalla y la iluminación.

En un evento deportivo, las condiciones pueden no ser sumamente ideales y pueden requerir alguna modificación de los algoritmos tecla-croma. En particular, los parámetros del teclado deben adaptarse a las carteleras específicas reemplazándose debido a los cambios en la iluminación en el estadio.

De acuerdo con la presente invención se propone usar los paneles tecla-croma y reemplazar éstos en la imagen de vídeo por las carteleras de reemplazo.

Dado que es necesario para la oclusión perfecta que los jugadores u otros objetos ocluyentes sean de color diferente a los paneles tecla-croma, se propone en una realización preferida adicional proporcionar paneles tecla-croma en los que puedan cambiarse los colores del panel, por ejemplo, usando una estructura rotativa de la cartelera que es conocida en el arte. Por ejemplo, un lado podría ser azul y otro verde. Verde puede ser preferible en un ambiente deportivo ya que los jugadores tienden a no usar verde ya que este no contrastaría con la superficie deportiva del fondo.

En una realización preferida adicional y en particular donde una pluralidad de carteleras requiere el reemplazo, se usa un patrón del panel tecla-croma. El patrón puede ser de cualquier forma conveniente pero es preferible seleccionarlo para que sea convenientemente del tamaño y forma de la cartelera o serie de carteleras y también para las condiciones anticipadas de vídeo. Así si una cartelera sólo puede ser vista desde una distancia larga entonces se seleccionará un patrón diferente que para una cartelera que será vista de cerca.

El patrón puede comprender diferentes colores o pueden ser tonos diferentes del mismo color. El patrón puede comprender las líneas verticales y horizontales o puede comprender un patrón decorativo, un anuncio discernible, el logotipo de la compañía u otra redacción conveniente que pueden ser más aceptables estéticamente.

El uso de un patrón permite la discriminación adicional de la posición de la cámara y puede permitir el movimiento de la cámara desde una posición fija.

Los datos de orientación de la cámara pueden transmitirse junto con la señal de vídeo e identificarán la posición de la cartelera en cualquier clima, iluminación o condiciones de oclusión. Ninguna referencia se requiere para cualquier característica dentro del lugar de una acción deportiva para identificar la posición de la cartelera.

Los sensores de la cámara pueden tener una exactitud de unos pocos píxeles o en términos físicos de aproximadamente 1 centímetro en un rango de aproximadamente 100 metros permitiendo por ello un reemplazo preciso de cualquier cartelera. La recalibración puede llevarse a cabo continuamente o sólo periódicamente, particularmente si se graba en la instalación un ajuste inicial de calibración de carteleras no en el centro del campo visual.

Por el uso de las técnicas tecla-croma no hay ningún requisito para transmitir cualquier dato de la oclusión ya que ésta puede insertarse fácilmente en un receptor y la oclusión insertada de la manera normal.

En una disposición preferida dentro de un estadio u otro sitio de una acción deportiva se situarán carteleras reales con el material de publicidad normal localizadas en un lado del estadio para ser vistas por una primera pluralidad de cámaras y las carteleras tecla-croma se situarán en otro lado o el lado opuesto para ser vista por una segunda pluralidad de cámaras. Así, por ejemplo, el público nacional desde casa puede ver las carteleras normales, y el público de la Televisión internacional ver sólo los paneles sustituidos.

La presente invención también proporciona un método para reemplazar electrónicamente una cartelera en una pantalla de imagen de vídeo, generado por una cámara, comprendiendo los siguientes pasos:

a. identificación de la posición de una cartelera rectangular en un estadio u otro sitio de una acción, comprendiendo dicho paso de identificación especificar en la pantalla de vídeo la cartelera a ser reemplazada mediante la identificación de sus cuatro esquinas en una primera posición de la cámara;

b. almacenar la información de identificación;

c. supervisar el movimiento de la cámara en panorámica, inclinación y zoom;

d. almacenar el movimiento supervisado de la cámara campo a campo; y

e. analizar el tamaño y posición de la cartelera a ser reemplazada a partir de la información registrada en su primera posición conocida y los movimientos almacenados de la cámara para proporcionar información referente al tamaño, perspectiva y posición de la cartelera en el campo actual de vídeo.

f. almacenar en una memoria de reemplazo de cartelera una cartelera de reemplazo a ser usada en el reemplazo de la cartelera en el estadio;

g. alterar electrónicamente el tamaño y la perspectiva de la cartelera de reemplazo de conformidad con la información del movimiento de la cámara para conformar el tamaño y perspectiva de la cartelera a ser reemplazada en el marco de vídeo presente; y

h. reemplazar la cartelera electrónicamente en el marco de vídeo presente por el reemplazo de la cartelera.

En una realización preferida el paso de analizar el tamaño y posición de la cartelera a ser reemplazada comprende un paso adicional de analizar una pluralidad de líneas de trama de vídeo para proporcionar información de ajuste fino en relación con el tamaño exacto, perspectiva y posición de la cartelera a ser reemplazada.

En una realización preferida adicional la cartelera a ser reemplazada está en blanco y es de color conveniente para el reemplazo de la tecla-croma. Tales colores pueden ser de una tonalidad azul o verde, debido al hecho de que estos colores son raramente encontrados en piel humana y pelo.

En una realización adicional preferida la cartelera tecla-croma es diseñada con un patrón de una forma conveniente con el propósito de facilitar el proceso de ajuste fino antes mencionado. El paso del análisis del tamaño y posición de la cartelera comprende el análisis del patrón para establecer la posición exacta de la cartelera.

En una realización adicional la corrección de la predicción basada en los sensores para el análisis del patrón se controlará por un factor de calidad (estimación de exactitud) para el análisis que se computará automáticamente.

En una realización adicional el paso de reemplazar la cartelera electrónicamente en el campo de vídeo presente por el reemplazo de la cartelera incluye el paso de superponer los objetos ocluidos mediante el uso de las técnicas tecla-croma.

En una realización preferida adicional la cartelera a ser reemplazada puede cambiarse para que ajustarse mejor a los colores y tonos de colores en los uniformes de los jugadores, con el propósito de proporcionar un buen contraste entre las carteleras y los jugadores. Por ejemplo, si estos uniformes contienen tonalidades de azul, entonces se puede seleccionar una cartelera verde.

Los colores de apoyo pueden seleccionarse entre el azul, verde y rojo. Para que la tecla croma calcule todos los parámetros necesarios para realizar la composición de imagen apropiada, el sistema requiere una muestra del color de fondo como referencia. Este paso puede hacerse automáticamente por el escaneo de la imagen y detectando el color más puro y más brillante. Las teclas-croma avanzadas permiten al usuario seleccionar manualmente el área para probarla.

En una realización preferida adicional el aparato tecla-croma tendrá una multiplicidad de condiciones de instalación, cada una correspondiente a una región diferente del estadio. La información de panorámica inclinación y zoom de la cámara permitirán cargar las correspondientes condiciones de instalación.

En una realización adicional, la información de ajuste fino se usará para compensar los errores de tendencia de los sensores. En situaciones prácticas, el error del sensor tendrá una porción significativa que está en frecuencias temporales que son mucho más bajas que la velocidad del campo de vídeo. Así estos errores inducidos por los sensores pueden estimarse de una fuente fidedigna de un buen vídeo de campo y pueden sustraerse de la subsiguiente medida.

La presente invención también provee al aparato para llevar a cabo el método de reemplazar electrónicamente la cartelera como se ha especificado más arriba.

Ahora se describirán realizaciones de la presente invención, a manera de ejemplo con referencia a los dibujos acompañantes en los cuales:

Figura 1 muestra un estadio u otro sitio de una acción que ilustra el aparato según la presente invención;

Figura 2 muestra la imagen de vídeo del estadio como visto por la cámara en una primera posición;

Figura 3 ilustra un estadio con las carteleras en varias posiciones diferentes;

Figura 4 ilustra un disparo de zoom de la cámara de una cartelera que ilustra el problema con los sistemas de la técnica anterior;

Figura 5 muestra el diseño de la cartelera tecla-croma para uso con la presente invención;

Figura 6 muestra en forma de diagrama de bloques los sistemas de circuitos asociados con la disposición de la cámara de la Figura 1 para transmitir datos de vídeos y datos de orientación de la cámara;

Figura 7 muestra en forma de diagrama de bloques los circuitos receptores para cooperación con los circuitos transmisores de la Figura 6;

Figura 8 muestra un diagrama de flujo para el funcionamiento de los circuitos de la Figura 7;

Figura 9 muestra una disposición para una memoria de datos de instalación de una cartelera;

Figura 10 muestra una disposición para datos de instalación de una cartelera;

Figura 11 muestra un diagrama de flujo para el cómputo de transformación perspectiva;

Figura 12 muestra una disposición para memoria de los parámetros intrínsecos de la cámara;

Figura 13 muestra ecuaciones para la recalibración dinámica;

Figura 14 muestra un diagrama de flujo para la recalibración dinámica;

Figura 15 muestra el proceso de recalibración;

Figura 16 ilustra los problemas referentes a situar las carteleras en posiciones diferentes dentro de un estadio con diferentes condiciones de iluminación;

Figura 17 muestra una gráfica de los niveles mínimos y máximos para U & V ilustrando el funcionamiento de una tecla-croma;

Figura 18 muestra una cartelera con un objeto ocluido que ilustra el principio de ajuste del color tecla-croma para una cartelera;

Figura 19 muestra un ejemplo de receptor remoto para la recepción de datos de coordenadas de la cartelera y el color perfecto tecla-croma, oclusión que se efectúa por las técnicas tecla-croma;

Figura 20 muestra una disposición alternativa para la memoria de datos de instalación de la cartelera ilustrando una realización alternativa;

Figura 21 muestra un diagrama de flujo para el procedimiento de instalación dinámica para la panorámica de la cámara para utilizarlo con la memoria de datos de instalación de la cartelera de la Figura 20; y

Figura 22 muestra un diagrama de flujo para el procedimiento de instalación dinámica para la inclinación de la cámara para utilizarlo con la memoria de datos de instalación de la cartelera de la Figura 20.

Con referencia ahora a las Figuras 1 a 4 se explican ahora los principios de la presente invención.

En un estadio u otro sitio de una acción 10 se instalan carteleras 14, 16,18 en el lado de un campo representado por las marcas 12. Estas carteleras se pueden ver en una cámara 20. Las carteleras 15, 17,19 pueden estar presentes en el lado opuesto del estadio para ser vistas por una cámara 21 adicional. Las gradas/asientos del estadio se muestran en el diagrama en forma de las líneas 11.

La cámara 21 puede en un ejemplo preferido ser una cámara de vídeo de Televisión normal y trasmitir su señal de vídeo de salida directamente a un primer suministro que puede servir a la población local. Aunque nos referimos a la cámara 20 o 21, puede entenderse ampliamente que pudiera haber una pluralidad de cámaras en cada lado del estadio proporcionando diferentes vistas.

La cámara 21 en una realización preferida televisará los paneles 15, 17,19 qué serán transmitidos a la población local de una manera inalterada.

La cámara 20 en esta realización preferida transmitirá un suministro para una audiencia internacional. La cámara 20 está equipada con medios de detección de orientación que preferentemente comprenden uno o más de los siguientes:

medios de medida de la panorámica 24;

medios de medida de la inclinación 25;

medios de medida de zoom 26; y

medios de medida del enfoque 28.

Los detectores apropiados pueden comprender el Codificador Virtual de Realidad de RADAMEC EPO, Bridge Road, Chertsey, Surrey KT16, 8LJ, Inglaterra.

Dependiendo de la movilidad permitida de la cámara pueden requerirse sólo uno, varios o todos ellos. Por ejemplo, si la cámara 20 esta fija en panorámica, inclinación y enfoque y sólo puede hacer zoom, como en el caso de algunas cámaras controladas a distancia, entonces sólo debe ser medido el parámetro de zoom.

La mayoría de las cámaras en estadios deportivos pueden hacer zoom, inclinarse y hacer panorámica y se supone que estos parámetros son medidos para cada cámara como ahora se explica. Se supone que el foco está fijo pero de forma similar podría agregarse el parámetro si fuera necesario.

La figura 2 muestra la imagen de vídeo como es vista por un espectador y en particular por el operador del equipo. La cámara 20 tiene el zoom, panorámica y/o inclinación para "centrar" la cartelera 14 en una posición favorable y en un tamaño razonable. Con referencia a la Figura 7 cada cartelera es entonces vista en un receptor y su posición es marcada preferentemente por el uso de una pantalla táctil 700, o ratón del teclado 702 y marcando las cuatro esquinas. Las posiciones son almacenadas en una memoria 704.

Para carteleras más altas en el estadio como la 30 (Figura 3) puede almacenarse un factor de corrección para la cámara que depende de la posición de inclinación de la cámara.

Cada posición de la cartelera es almacenada en una memoria 704 conjuntamente con la información de parámetros de la cámara en la posición de referencia de la cámara 20 obtenida a partir de la información de parámetros de la cámara que es correcta en el momento en que la posición de la cartelera se almacena.

El siguiente procedimiento se repite preferentemente para cada una de las cámaras y para cada cartelera objetivo:

1.

Apuntar la cámara al objetivo para obtener una vista estable no ocluida del objetivo. Ajustar el zoom para obtener una vista grande del objetivo aún manteniendo el objetivo entero dentro del campo visual.

2.

Mientras la cámara no está en movimiento accionar un dispositivo de adquisición, para grabar una fotografía del objetivo, así como las correspondientes lecturas de los sensores.

3.

Marcar las esquinas del objetivo, en la imagen de vídeo.

Preferentemente se usa un detector de esquina para señalar con precisión las esquinas del objetivo con precisión de sub-píxel.

Esta información de parámetros de la cámara se obtiene (Figura 6) de los sensores montados en la cámara y el movimiento de la cámara es referido a una posición primera o fija de referencia para cada parámetro. Los movimientos de la cámara son detectados y las señales se alimentan en un circuito combinador 24 y luego a una memoria de transmisión 36 desde el que se transmiten las señales de datos combinados de vídeo posición.

Durante la instalación, en el aparato receptor (Figura 7) la memoria de recepción 706 recibe las señales y las alimenta a un divisor 708. La señal de vídeo es almacenada y retardada en una memoria adecuada 710 y la información de parámetros de la cámara es extraída y almacenada en la memoria 712.

En la instalación se usa VDU 700 para marcar cada cartelera que pueda requerir reemplazo. En la cámara 20 se ajusta la panorámica etc para mover cada cartelera a una posición conveniente en la pantalla y su posición se registra en la memoria de cartelera 704 conjuntamente con los parámetros de la cámara obtenidos a partir de la memoria 712 vía procesador 714.

Una memoria de cartelera de reemplazo 716 almacena una pluralidad de carteleras de reemplazo y éstas son seleccionables para poder remplazar la cartelera original.

En operación, la cartelera de reemplazo está insertada en la señal de vídeo en un combinador 718 para proporcionar una señal de salida de vídeo 720.

El procedimiento de instalación puede también identificar posiciones de la cartelera y parámetros de la cámara para varias cámaras almacenando la identificación de una cámara de una fuente 30 (figura 6). Así, la memoria de la posición de la cartelera 704 almacenará listas separadas de datos de cartelera para cada cámara.

Se describirá ahora la operación del sistema con referencia a una sola cartelera y una sola cámara 20.

Con referencia a la Figura 4, se asume que la cartelera 14 ingresa en el campo visual en una forma ampliada en el lado izquierdo de la pantalla cuando la cámara 20 hace una panorámica a continuación del zoom desde la posición de la Figura 3.

Los datos de orientación de la cámara están siendo constantemente recibidos por el aparato receptor y el procesador 714 hará corresponder constantemente píxel a píxel la imagen de vídeo con la posición conocida de la cartelera almacenada en la memoria 704. Tan pronto como la cartelera aparece en la imagen de vídeo los píxeles representando la cartelera serán identificados y los píxeles de cartelera de reemplazo que se relacionan con esos píxeles serán substituidos en el combinador 718. El retardo será mínimo ya que la identificación de los píxeles es por un proceso de correlación de dirección que será virtualmente instantáneo.

Después de un período de tiempo, los sensores de la cámara pueden tener deriva y en este caso la cartelera de reemplazo puede no alinearse exactamente con el original. Esto puede ser sólo por uno o dos píxeles y puede no ser perceptible para el espectador. Para corregir esto son posibles dos soluciones. En primer lugar, la posición de la cartelera puede recuperarse manualmente de forma periódica en un momento adecuado, por ejemplo, cuando una cámara no está activa. Esto requiere la cooperación del operador.

En segundo lugar, puede hacerse una comparación píxel a píxel de la cartelera contra un original almacenado de la cartelera y puede hacerse un ajuste de los parámetros de referencia de la cámara en la posición de memoria 704 de la cartelera. Este proceso puede hacerse automáticamente ya sea en intervalos determinados o cuando el procesador 714 tiene un intervalo de tiempo adecuado.

Los pasos esenciales de un proceso preferido de recalibración son transformar en perspectiva la imagen de vídeo actual usando los datos de la cámara para proveer un modelo transformado estimado. Una imagen almacenada de la cartelera es entonces comparada con el modelo transformado para proveer un campo de vídeo residual. La distorsión residual entre el modelo transformado y el campo de vídeo residual se resuelve para proveer información actualizada para la actualización de la transformación estimada y por consiguiente proveer un factor de corrección de calibración para recalibrar la posición de cada cartelera en la memoria de conformidad con la información del sentido de la cámara.

El reemplazo de cada cartelera se realiza mediante el uso del procesador 714 (Fig. 7) y los diversos parámetros y memorias de cartelera usando programas de software apropiados como ahora se describe en más detalle.

La figura 8 describe el proceso completo que permite determinar la posición de cada cartelera en el campo visual de la cámara, e introducir la parte correspondiente de cada cartelera en el registro de cuadro. Dado que la introducción y posteriormente la composición del registro intermedio de los gráficos con la memoria intermedia de vídeo por medio de la tecla-croma son técnica conocida, nos concentraremos en la determinación de la posición de la cartelera con referencia también a las Figuras 6 y 7.

Al principio de cada campo de vídeo, se leen 800 la panorámica, inclinación, zoom y sensores del enfoque (24, 25,26). Estos valores, combinados con datos de cartelera de la memoria de datos de establecimiento de cartelera 704 y datos de cámara de la memoria de parámetros intrínsecos de la cámara 712, permiten la detección y el reconocimiento de todas las carteleras en el campo visual de la cámara, independientemente de la señal de vídeo.

El procesamiento de Fig. 1 consiste de un bucle en todas las carteleras (m) 802,804. Para cada cartelera, sus datos de instalación se recuperan 806 de la memoria de datos de instalación de la cartelera 704 y se usan con los parámetros intrínsecos de cámara 808 para computar la transformación perspectiva 810 de la cartelera m para el campo actual. Entonces la información de la cartelera de reemplazo se almacena (812) en un registro de cuadro.

La Fig. 9 describe la memoria 900 de datos de instalación de la cartelera que consta de un registro separado 902...904 para cada cartelera en el estadio. Tal registro consta de una imagen estática 906 fijada en condiciones favorables y de los datos de instalación estáticos correspondientes 908. La grabación también consta de datos dinámicos de instalación 910 que son computados usando medios de procesamiento de imagen en un proceso conocido como recalibración dinámica que ha sido brevemente descrito con anterioridad y será descrito más adelante con referencia a la Figura 11. Un procedimiento alternativo proveyendo calibración estática y dinámica se describe con referencia a las Figuras 20, 21 y 22.

La Fig. 10 describe los datos de instalación (ya sea estáticos o dinámicos) 1000 para una sola cartelera. Consta de lecturas de los sensores 1002 en la instancia de instalación, las coordenadas cuadriláteras de vértice 1004 de la cartelera y el código de tiempo de la instancia de instalación 1006.

El método de recalibración dinámica puede ser explicado como sigue:

Debido a la deriva e inexactitudes de los sensores, una tabla final de calibración y otras razones prácticas, es imposible predecir la situación exacta de todas las carteleras visibles en una instancia dada. Sin embargo, en muchos campos de vídeo, la visibilidad de una cartelera puede ser tal que puede realizarse una corrección geométrica exacta de la posición. Ya que esa posición es más cercana a la vez temporal y espacialmente a los campos de vídeo subsecuentes, es preferible confiar en ese "golpe de suerte" para predecir la posición de la cartelera relativa a las lecturas de sus sensores y sus coordenadas cuadrangulares exactas. Considérese por ejemplo una cartelera que sale del campo visual debido a la panorámica de la cámara. Un golpe de suerte mientras es todavía altamente visible, permite solamente rastrear suavemente la cartelera con los sensores, cuando su visibilidad no permite aplicar ningún medio de procesamiento de imagen.

La fig. 11 representa el diagrama de flujo 1100 para transformación perspectiva computarizada. Una lógica de selección de datos de instalación 1102 selecciona ya sea los datos estáticos 1103 o dinámicos 1105 de la memoria de datos de instalación 806 como se describió antes. Estos datos de instalación, conjuntamente con el parámetro intrínseco de la cámara se usan para computar una predicción basada en sensores de la transformación perspectiva 1104, independientemente de la señal de vídeo.

Una re-calibración dinámica 1106 basada en los medios de procesamiento de imagen se aplica entonces a la predicción. Utiliza el vídeo 1108 y señales tecla-croma 1110 así como también la imagen de modelo de carteleras 1112 de la memoria de datos de instalación 806 (Fig. 8). Basado en un factor de calidad derivado de los medios de procesamiento de imagen, se obtiene ya sea el basado en sensores 1118 o la transformación corregida 1116. Si la calidad estimada de la corrección geométrica es alta, entonces los datos dinámicos de instalación se actualizan
1114.

Las Figs. 12, 13,14 describen la predicción basada en sensores de coordenadas de la cartelera en el campo de vídeo. Tal predicción utiliza la lectura de los sensores así como los parámetros intrínsecos de la cámara. Estos parámetros están descritos en la Fig. 12 y tienen que ser tabulados para un muestreo denso del (zoom, foco) espacio. El significado de estos parámetros es claro en la Figura 13 a la que se hace ahora referencia.

El conjunto de medidas dadas por la panorámica, inclinación, zoom y sensores de enfoque se representadas por el vector (P, T, Z, F). Se asume que el ángulo de inclinación es relativo al horizonte.

Considere un punto del objeto cuya imagen es en alguna instancia de instalación, en coordenadas de registro de cuadro (xS, yS). El vector de medida del sensor que en ese caso es (PS, TS, ZS, FS).

En otra instancia, la instancia de predicción, el vector de medidas del sensor es (PP, TP, ZP, FP). Se requiere predecir la posición del punto objeto en coordenadas de registro de cuadro (posiblemente fuera del actual registro de cuadro) (xP, yP).

Para habilitar el procedimiento definimos la matriz de rotación de instalación como muestra en 600 y la matriz de rotación de predicción se define como se muestra en 602.

Entonces, la matriz perspectiva de transformación entre los dos sistemas de coordenadas de los planos de imagen se presenta como se muestra en 604 y 1402 (Fig. 14).

R_{SP} es una matriz 3x3 con índices de fila y columna que van de 0 a 2. R_{SP}[i][j] denota el término en fila i, columna j de la matriz. Así, dadas las coordenadas del plano-imagen de instalación del punto objeto (U_{S},V_{S}), la posición predicha del punto objeto en coordenadas del plano-imagen (Up, Vp) se dan como se muestra en 606, 1404.

La transformación de coordenadas plano-imagen a registro de cuadro se condique como se muestra en 608, 1406. La compensación de aberración es lograda como se muestra en 608, 1406 (Fig. 14) para proporcionar las coordenadas predichas del registro de cuadro de la cartelera y datos de transformación perspectiva.

Una forma efectiva de derivar estos parámetros para una pareja específica (zoom, enfoque) se describe en [J. Weng Et Al. Calibration of stereo cameras using a non-linear distortion model, IEEE 10 th Intl. Conf. Pattern Recogniton (1990), pp. 246-253]. Los medios de procesado de imágenes para la corrección geométrica, que también facilitan el proceso de re-calibración, se describen ahora con referencia a la Fig. 15.

Los medios para procesamiento de imágenes para la corrección geométrica de predicción basada en sensores se basan en el método diferencial para estimación de movimiento [C. Cafforio and F. Roca, The differential method for motion estimation, en: T.S Huang, ej., Image secuence processing and dynamic scene análisis, Spring, Berlin, 1983, pp. 104-124.] Sea C el campo de vídeo actual y sea M la imagen estática de instalación de la cartelera, transformada en perspectiva según la predicción basada en sensores. Aquí consideramos sólo imágenes de luminancia.

Idealmente, M y C son idénticas dentro del soporte del cuadrilátero de la cartelera. Las diferencias actuales pueden incluir:

\bullet

Oclusión presente en C pero no en M.

\bullet

Errores geométricos debido a los sensores y a los errores intrínsecos de los parámetros de la cámara.

\bullet

Cambios en la luminancia.

Despreciando por el momento cualquier diferencia que no sea debida a los errores geométricos, considere un punto (x, y) dentro del soporte del cuadrilátero de la cartelera. Sea (p, q) el error geométrico local con lo que podemos escribir para las señales de luminancia de las imágenes respectivas:

M(x + p, y + q) = C(x, y)

Bajo la suposición de que el error es pequeño, uno puede escribir un desarrollo en serie de Tailor:

M(x + p, y + q) = M(x, y) + p dM/dx + q dM/dy+ (términos de Segunda orden)

Despreciando los términos de segundo orden e indicando las derivadas espaciales

dM/dx = H

dM/dy = V

obtenemos

C(x, y) - M(x,y)= pH +qV

También indicando las diferencias C (x, y) - M (x, y) como D obtenemos

D= pH +qV

La ecuación de arriba tiene aplicación, localmente. Para una solución global de la cartelera, y una suposición pequeña de error podemos usar el modelo perspectivo [G. Adiv, Determining Three-Dimensional Motion and Structure from Optical Flor Generated by several moving objects, I EEE Trans. Pattern Análisis and Machine intelligence, 7, pp. 384 - 401, 1985]

p(x, y)= \frac{a_{1} + x \ a_{2} + a_{3}}{a_{7} \ x + a_{8} \ y +1}

\vskip1.000000\baselineskip

q(x, y)= \frac{a_{4} \ x +a_{5} \ y + a_{6}}{a_{7} \ x + a_{8} \ y +1}

Los coeficientes a1,..,a8 son computados minimizando la siguiente expresión:

\sum\limits_{(x,y)} (D(x, y) - p(x, y)H(x, y) - q(x,y)V(x, y))^{2}

\newpage

Ahora, la matriz de transformación perspectiva (basada en la predicción de sensores) se multiplica

1

La matriz obtenida puede considerarse que es la predicción actualizada de la perspectiva de cartelera.

En un ambiente práctico pueden aplicarse las siguientes consideraciones.

\bullet

La oclusión puede causar un problema importante en esta formulación, ya que si los píxeles de los objetos ocluidos y en movimiento participan en la minimización de la expresión anterior pueden influir significativamente en la solución. Preferentemente, tales píxeles son descartados del procesamiento por el uso de paneles tecla-croma. Se utiliza preferentemente una señal clave de salida por la tecla-croma para desechar estos píxeles.

\bullet

Las variaciones en la luminancia pueden ser minimizadas por pre-procesamiento del campo de vídeo actual, usando técnicas de correspondencia de histogramas.

\bullet

El proceso de corrección de predicción puede requerir de 2 a 3 iteraciones para la convergencia.

\bullet

La inmunidad al ruido y la convergencia pueden ser realzadas por un pre-filtrado de las imágenes.

Así las carteleras 14 etc están en conformidad con los paneles tecla-croma de la presente invención y la oclusión es por discriminación de color usando las técnicas tecla-croma normales. Estas técnicas permitirán la oclusión perfecta siempre que los jugadores no lleven puesto ningún color que sea igual al del panel. Esto no siempre puede ser posible y se propone de conformidad con una realización particular de la presente invención usar paneles que puedan girar o que puedan si no convertirse en un segundo o tercer color. Por ejemplo, pueden ser tres colores azul, verde y rojo seleccionados cuando se conoce el color de las franjas de los jugadores.

Alternativamente si es necesario exhibir una cartelera en un área del campo o circundante, tal área debe seleccionarse para que sea de un color conocido que pueda ser grabado en la teclado croma como un color tecla-croma.

En una realización preferida el aparato tecla-croma puede comprender el dispositivo digital de composición de imagen de vídeo ULTIMATTE-7 de ULTIMATTE Corp., 20554 Plummer St., Chatsworth, CA 91311, USA.

El color de fondo puede ser seleccionado entre azul, verde, y rojo. Para que la tecla croma calcule todos los parámetros necesarios para realizar la composición correcta de la imagen, el sistema requiere una prueba del color de fondo como referencia. Este paso puede hacerse automáticamente escaneando la imagen y detectando el color más puro y más brillante. Los teclados croma avanzados permite al usuario seleccionar manualmente el área a mos-
trar.

En una realización particular se propone usar un panel tecla-croma diseñado. La calibración de los sensores de la cámara puede lograrse entonces fácilmente por comparación del modelo píxel a píxel. El patrón en el panel de la cartelera debería tener preferentemente las dimensiones críticas menores que los errores anticipados del sensor (proyectado a coordenadas universales).

En resumen, el sistema anteriormente citado puede funcionar aún en condiciones atmosféricas extremadamente pobres ya que los circuitos electrónicos de procesamiento saben exactamente dónde está situada cada cartelera y no confían en cualquier análisis de la imagen de vídeo para detectar la cartelera. En caso que la imagen de vídeo este tan distorsionada que no se pueda llevar a cabo la recalibración con razonable certeza, entonces los parámetros originales de cámara pueden seguir siendo usados ya que la imagen vídeo visualizada será de baja calidad y así el espectador no notará un error de uno o dos píxeles en el posicionamiento de la cartelera de reemplazo que requerirá ser exhibida en una calidad equivalente que se corresponda con la imagen de vídeo de baja calidad.

En una realización preferida adicional de la presente invención, el problema tratado es el de tener carteleras situadas en diferentes posiciones en un estadio como se muestra en la Figura 16.

En tales condiciones la iluminación de las carteleras, 1,3 y 5 será diferente por la posición de las luces 7, 9 y 13. También esta iluminación puede cambiar todo el tiempo durante el juego.

Si tales carteleras son paneles tecla-croma todos del mismo color, entonces todas las carteleras parecerán ser de colores ligeramente diferentes debido a las condiciones de la iluminación.

Un ajuste fijo de un color de fondo global podría resultar en la separación parcial del fondo del objeto por el teclado croma.

En la presente invención se propone proporcionar adaptación espacial del mapa de color de fondo a fin de que el teclado croma pueda reconocer cada cartelera correctamente. Esto puede proporcionarse almacenando en la memoria 704 (Figura 7) un mapa espacial que proporciona información relativa al color de cada panel tecla-croma.

Así, el teclado croma comparará el color en cada posición de vídeo con un color específico asociado con la cartelera en esa posición.

En una realización preferida las posiciones de las carteleras puede ser identificadas "pintando" una caja ligeramente ampliada rodeando la cartelera para identificar la posición. Tales cajas son identificadas como 1', 3' y 5'' por líneas punteadas en la Figura 16.

El sistema rastreará los colores de fondo con el tiempo y por consiguiente los actualizará continuamente, para asegurar su correcta identificación, una vez que sea correctamente instalado.

La operación del sistema es como sigue.

En primer lugar con referencia a la Figura 17, los niveles mínimo y máximo son fijados para U y V. Estos deben ser suficientemente anchos para abarcar todas las carteleras que están razonablemente iluminadas.

Luego para cada cartelera, a medida que cambian las condiciones de iluminación, puede hacerse un ajuste a sus valores memorizados, como se muestra en la Figura 18, lo cual supone la oclusión de la cartelera 1 por un objeto 13. Se define una caja interior 1'' para asegurar que sólo son considerados los píxeles de dentro de 1. La mayoría de los píxeles ocluidos pueden ser descartados ya que serán de un color diferente. Luego todos los píxeles (YuV) dentro del campo visual y el cuadrángulo de la cartelera 1'' se miden y se hace una adición al promedio (que es promedio UV de color de fondo sobre la cartelera) si:

U_{min} \leq U \leq U_{max}

V_{min} \leq V \leq V_{max}

Los inventores han reconocido un problema adicional que se presenta en el uso de carteleras tecla-croma en un estadio. Debido a la iluminación variable como se ha descrito anteriormente, cada cartelera aparecerá en la imagen de vídeo con un color ligeramente diferente. Para transmitir la información correcta de la oclusión es necesario transmitir un mapa de la oclusión para cada cartelera.

De conformidad con una realización preferida de la presente invención se propone transmitir, para cada cartelera, un color de fondo perfecto y luego permitir introducir las porciones ocluidas por un teclado-croma en cada estación receptora por los procedimientos normales de tecla-croma.

Considérese ahora la disposición de la cartelera como se muestra en la Figura 16. Cada cartelera 1,3 y 5, por sus condiciones diferentes de iluminación, parecerán ser de un color diferente aunque este color puede estar dentro de los límites máximos y mínimos como se ha establecido en la Figura 17.

De conformidad con esta realización preferida de la presente invención, el aparato transmisor (ver Figura 6) transmitirá un color tecla-croma perfecto dentro del área de la cartelera y también transmitirá las coordenadas del cuadrilátero formado por la cartelera.

De este modo la estación receptora sólo tiene que descifrar/extraer las coordenadas del cuadrilátero de la cartelera y entonces dentro este cuadrilátero reemplazar esos píxeles que son el color perfecto tecla-croma por la cartelera de reemplazo. Aquellos píxeles que no son de un color tecla- croma perfecto no son reemplazados.

De acuerdo con este sistema no es necesario que el dispositivo tecla-croma en la estación receptora remota sea capaz de reconocer diferentes carteleras y tener que almacenar valores tecla-croma diferentes para cada cartelera. Tampoco es necesario transmitir cualquier información de oclusión ya que la oclusión por la tecla-croma será relativamente simple en cada posición remota.

Con referencia a la Figura 7, la memoria de la posición de la cartelera y de color de fondo 704 conoce la posición de cada cartelera y se usa una salida de control 7042 de la memoria, en combinación con la salida de vídeo 7102 para proveer entradas para un procesador de color de fondo 7044 que puede cambiar el color de la cartelera dentro de las coordenadas provistas por la memoria 704. La salida de procesador 7044 se usa para controlar una memoria de color de fondo 7046 que cambia el color de la cartelera dentro de las coordenadas requeridas y también puede proveer las coordenadas a la salida de vídeo 720 para el aparato receptor remoto. Estas pueden transmitirse por un sistema estándar de transmisión de datos de vídeo.

Se muestra a título de ejemplo un aparato receptor remoto en la Figura 19. Los datos de vídeo se reciben en el registro receptor 1900 y se dividen y retardan 1902, 1904.

La memoria de coordenadas de la cartelera 1906 almacena las coordenadas transmitidas de la cartelera y en combinación con el generador de gráficos 1908 y la memoria de imagen de cartelera de reemplazo 1910 proporciona una señal de salida a un combinador/dispositivo tecla-croma 1912 para producir la cartelera deseada ocluida en la pantalla.

Con referencia ahora a las Figuras 20 a 22, en una realización adicional los datos de instalación almacenados en la memoria 704 son modificados antes de que sea televisado cualquier evento.

La modificación comprende la adición de datos dinámicos de instalación así como los datos de instalación estáticos y de imagen estática mostrados en la Figura 9.

Los datos adicionales pueden ser usados en lugar de los datos dinámica de instalación de recalibración dinámica 910 mostrados en la Figura 9 o pueden usarse adicionalmente.

En una realización preferida se asume que se usan los datos adicionales en lugar del procedimiento dinámico de recalibración y esto es descrito ahora.

Como introducción, se discuten los problemas asociados con la sustitución de carteleras con paneles virtuales. Es mismo problema identificar la posición, tamaño y perspectiva de la cartelera original y luego reemplazar ésta con la cartelera virtual o de sustitución.

En una situación estática de la cámara no hay problema real una vez que las coordenadas originales se han grabado suponiendo que los sensores de la cámara no deriven sustancialmente con el paso del tiempo.

Sin embargo, los inventores han encontrado que durante una panorámica o inclinación rápida de la cámara las coordenadas 908 de la cartelera de sustitución que se grabaron en la memoria 900 no coinciden con la posición real de la cartelera en el estadio. Esto se debe a que los sensores de la cámara exhiben un grado de remanencia. Esto puede ser compensado por el proceso dinámico de recalibración ya descrito pero puede no ser práctico en algunas circunstancias tales como durante una panorámica rápida con oclusión sustancial de la cartelera objetivo.

La remanencia posiblemente podría ser contrarrestada por un simple error porcentual provocado en el movimiento de la cámara pero esto no produce muy buenos resultados porque no toma en consideración el ángulo de la cámara con respecto a cada cartelera ni toma en cuenta la variabilidad con el ángulo en los sensores de los parámetros de la cámara.

Por consiguiente en la presente invención en una realización alternativa, además de los datos estáticos de instalación de la cartelera la memoria 900 de datos de instalación de la cartelera almacena datos para cada cartelera para cada cámara al menos en relación a la panorámica 2002 izquierda- derecha, panorámica 2004 derecha-izquierda, inclinación arriba-abajo 2008 e inclinación abajo-arriba 2006. Los datos son obtenidos y almacenados como ahora se describen con referencia a las Figuras 20 a 22.

La figura 20 muestra la memoria 900 modificada para proveer, además de los datos de imagen estática para las carteleras I a M y los datos estáticos de instalación para las carteleras I a M, cuatro conjuntos adicionales de datos para cada cartelera I a M y éstos se multiplican para proveer este datos para cada cámara.

Para cada cámara la posición de cada cartelera se graba con la panorámica de la cámara de izquierda a derecha 2002 y para derecha a izquierda 2004. La velocidad de la panorámica puede ser seleccionada como la velocidad normal para el evento televisado. Así por ejemplo para carreras de caballos la velocidad puede ser baja pero para carreras de automóviles puede ser más alta. La posición de cada cartelera se graba luego con la cámara inclinándose hacia arriba 2006 y luego hacia abajo 2008 en de cada cartelera.

Para cada medida el zoom de la cámara y el enfoque se establecen preferentemente a un nivel conocido en el cual la cartelera que se analiza está en una vista razonable a un tamaño razonable. El zoom y enfoque podrían por ejemplo ser los mismos que durante la adquisición de los datos estáticos de instalación para cada cartelera a fin de que se pueda hacer una comparación directa con los datos estáticos de instalación. En ese caso puede necesitar registrarse sólo un número de corrección de error.

Es preferible no seleccionar una panorámica o velocidad de inclinación demasiado altas porque a velocidades muy altas las carteleras en todo caso serán borrosas y por consiguiente la exactitud del reemplazo no será un asunto relevante. Este procedimiento se sigue para cada cartelera para cada cámara y los datos se usan entonces durante el evento para corregir la posición de cada cartelera cuando la cámara hace panorámica o inclinaciones.

Puede verse que cada cartelera se verá a un ángulo diferente para cada cámara y también que la salida de cada uno de los sensores en cada cámara puede variar dependiendo del ángulo a través del cual la cámara debe volver la vista a la cartelera. Grabando los datos estáticos y los datos relativos a la panorámica e inclinación en ambas direcciones la cartelera de sustitución se posicionará con precisión en la posición exacta de la cartelera original o real lo mismo para tomas estáticas y cuando la cámara está en movimiento.

La recalibración dinámica durante el evento como previamente se describió asegurará, excepto durante movimientos demasiado rápidos de la cámara con gran oclusión, la cartelera de sustitución está correctamente posicionado pero el uso de los datos de instalación estática y dinámica también asegurará esto a menos que los sensores de la cámara deriven sustancialmente durante un evento. Facilitando así que los sensores de la cámara sean de una calidad razonable desde el punto de vista de una prueba pueden ser de una calidad variable con relación a la exactitud durante la panorámica e inclinación. Mediante la selección cuidadosa de sensores de la cámara no se requieren por consiguiente sensores sumamente precisos ya que cualquier variación con respecto al movimiento de la cámara se compensa por el almacenamiento de datos dinámicos de instalación.

Los datos se obtienen como se describe con referencia a las Figuras 21 y 22 como sigue.

Una Vez que los datos estáticos referentes a cada imagen de cartelera y sus datos estáticos de instalación (906, 908, Figura 9) se han obtenido, se comienza la secuencia 2100 y la cámara se opera en panorámica 2102 por el operador a una velocidad deseada relativa a la velocidad normal de la panorámica.

Los sensores indican la dirección de panorámica 2106 y dependiendo de la dirección los datos dinámicos se almacenan en memoria 2002 o 2004 en los pasos 2106 o 2108 por la selección de esa memoria. La secuencia para ambas memorias L-R y R-L 2002 y 2004 es similar y será descrita para las memorias L-R pero usando números de referencia para ambas memorias.

Cuando la cámara hace panorámica L-R cada cartelera se identifica por los datos almacenados en la memoria 906 pasos 2110; 2112. El sistema pregunta si la cartelera ha sido previamente grabada dinámicamente pasos 2114, 2116 y en ese caso regresa al inicio de la secuencia y repite los pasos 2104-2110 hasta que encuentre una cartelera que no se ha escaneado dinámicamente. Una vez que se ha encontrado una nueva cartelera se registra la posición (coordenadas) de la cartelera durante la panorámica y se compara con los parámetros estáticos de la cartelera previamente almacenados (908) en los pasos 2118, 2120. Cualquier error se computa (pasos 2122, 2124) y los errores se almacenan en L-R y R-L memorias de panorámica 2126, 2128 para la cartelera. El sistema pregunta si todas las carteleras registradas en memoria 908 se han escaneado dinámicamente para ambos L-R y R-L (pasos 2130, 2132). Si no la secuencia es continuada hasta que se haya escaneado dinámicamente la última cartelera y entonces el programa se termina 2134, 2136.

Una secuencia de programa similar mostrada en la Figura 22 se provee para la inclinación de cada cámara. Obviamente si a las cámaras no se les permite inclinarse o tienen poca probabilidad de inclinarse en cualquier medida, esta secuencia y el registro de datos en las memorias 2006, 2008 pueden no ser necesarios.

La secuencia se inicia 2200 y cada cámara a su vez se inclina 2202 y la dirección de inclinación se determina en 2204 por los sensores de la cámara. Dependiendo de si la cámara está inclinada hacia arriba o abajo se almacenan los datos de instalación dinámica en memorias 2006 o 2008 en los pasos 2206, 2208. Ambas secuencias son similares y sólo se describira la secuencia de inclinación de la cámara hacia abajo con referencia luego para ambas secuencias.

Cada cartelera es identificada 2210, 2212 a partir de los datos estáticos de imagen y también de los parámetros de cámara especialmente donde todas las carteleras reales son iguales. El programa interroga los datos de cartelera pasos 2214, 2216 para ver si la cartelera ya ha sido interrogada. Si lo ha sido, el programa se reinicia pero si no los datos de coordenadas de la cartelera durante la inclinación son comparados con los datos estáticos pasos 2218, 2220. El error, si existe es computado pasos 2122, 2124 y almacenado en las memorias 2006, 2008 (Figura 20) pasos 2226, 2228.

Luego el programa interroga las memorias 2006, 2008 para ver si todas las carteleras se han interrogado dinámicamente para errores de inclinación en ambos arriba (paso 2230) y abajo (paso 2232) y en ese caso termina el programa pasos 2234, 2236. Si no el programa continúa comenzando en el principio de la secuencia hasta que todas las carteleras han sido interrogadas.

Normalmente el zoom y el enfoque de la cámara no requerirán el mismo tipo de datos de instalación dinámica a almacenar. Sin embargo, si se conocen aberraciones particulares de la cámara entonces pueden ser compensadas mediante el uso de datos similares de instalación dinámica.

Los datos dinámicos almacenados en memorias 2002-2008 pueden ser usados en lugar de o en conjunción con los datos dinámicos de recalibración obtenidos como se ha descrito con referencia a la Figura 9. Usualmente sin embargo los datos de instalación dinámica obviarán la necesidad de recalibración durante la mayoría de los tipos de eventos.

Durante el uso el sistema sabe al ir leyendo los sensores de la cámara si la cartelera está viéndose en una manera estática o está en panorámica L-R o R-L o inclinada ARRIBA o ABAJO. En tales casos la posición de la cartelera se toma de la memoria de datos estáticos y entonces si tiene lugar panorámica o inclinación, se aplicarán las correcciones de error necesarias. Una vez que el movimiento de la cámara cesa los parámetros estáticos de la cartelera se recuperan.

Claims (23)

1. Aparato para reemplazo electrónico automático de una cartelera en una imagen de vídeo incluyendo un aparato de medición automática de orientación de cámara que incluye elementos de medida de movimiento operativos para medir el Campo Visual de la cámara de TV en relación a una posición de referencia conocida caracterizado porque dicho aparato comprende:

(i)

una memoria de posición de cámara (712) que recibe entrada de sensores (20, 26, 24, 25, 30) de una cámara que son indicativos de una posición de la cámara y que almacena la entrada;

(ii)

una memoria de posición de cartelera (704) que almacena una posición de la cartelera (14);

(iii)

un procesador (714) que determina a partir de la entrada almacenada en la memoria de posición de cámara y la posición almacenada de la cartelera en la memoria de posición de cartelera e independientemente de una señal de vídeo generada por la cámara si la cartelera está dentro del Campo Visual de la cámara; y

(iv)

una memoria de cartelera de reemplazo (716) que almacena píxeles de una cartelera de reemplazo para que sean sustituidos por los píxeles correspondientes de la cartelera cuando el procesador determina que la cartelera está dentro del Campo Visual de la cámara.

2. Aparato para el reemplazo automático de una cartelera en una imagen vídeo como se reivindica en la Reivindicación 1, que además comprende un elemento de calibración (1106) para calibrar los sensores periódica y automáticamente.

3. Aparato como se reivindica en la Reivindicación 1, en donde los sensores (20, 26, 24, 25) comprenden medios para medir la inclinación de panorámica, el acercamiento (zoom) y enfoque de la cámara respecto a posiciones de referencia conocidas.

4. Aparato como se reivindica en la Reivindicación 2, en el que la cartelera (14) comprende un panel croma key.

5. Aparato como se reivindica en la Reivindicación 4, en donde el panel comprende un panel configurado croma key.

6. Aparato como se reivindica en la Reivindicación 5, en el que el modelo comprende dos colores diferentes o dos tonos diferentes del mismo color.

7. Aparato como se reivindica en la Reivindicación 6, en el que el modelo se diseña para ser perfeccionado para uso según el tamaño y forma de la cartelera y las condiciones de vídeo anticipadas.

8. Aparato como se reivindica en la Reivindicación 2, en el que los medios de calibración incluyen un medio de procesamiento de ajuste fino de imagen incluyendo medios que transforman la imagen de vídeo actual en perspectiva para proporcionar un modelo transformado estimado, medios para almacenar una réplica de la imagen de la cartelera, medios para comparar la imagen de vídeo transformada en perspectiva con la réplica almacenada para proporcionar un campo de vídeo residual, medios para resolver la distorsión residual entre el modelo transformado y el campo de vídeo residual y medios para actualizar la transformación estimada por medio de la distorsión residual para proporcionar un factor de corrección de calibración.

9. Aparato como se reivindica en la Reivindicación 8, en el que dichos medios para resolver la distorsión residual incluyen medios de análisis basados en los derivados espaciales de la imagen actual del modelo transformado así como medios para analizar píxel por píxel las diferencias de imagen del modelo transformado y la imagen actual.

10. Aparato como se reivindica en la Reivindicación 8, en el que los medios de procesamiento de ajuste fino de imagen incluyen medios para llevar a cabo el ajuste fino de una manera interactiva.

11. Aparato como se reivindica en la Reivindicación 9, en el que los medios de análisis de píxel por píxel incluyen medios para desechar los píxeles que usan variación de color.

12. Aparato como se reivindica en la Reivindicación 1, que además comprende medios para registrar los datos de calibración obtenidos durante un periodo de instalación cuando ninguna oclusión está presente.

13. Aparato como se reivindica en la Reivindicación 1, que además comprende una memoria dinámica de cartelera (900) para grabar cualquier cambio en la posición medida de la cartelera como la panorámica o inclinación de la cámara.

14. Un método de reemplazo automático de una cartelera real en una imagen de vídeo caracterizado porque dicho método comprende los pasos de:

registrar los parámetros de Campo Visual de una cámara de Televisión en la primera posición de referencia por medio de sensores del movimiento (20, 26, 24, 25, 30) unidos a la cámara;

almacenar una posición de la cartelera real en una memoria de cartelera (704);

almacenar una posición de la cámara detectada por los sensores de movimiento en una memoria de posición de cámara;

determinar a partir de la memoria de posición de cámara y la posición almacenada en la memoria de cartelera e independientemente de una señal de vídeo generada por la cámara si la cartelera real está dentro del Campo Visual de la cámara; y

reemplazar píxeles de la cartelera real con píxeles relacionados de una cartelera de reemplazo cuando el procesador determina que la cartelera real está dentro del Campo Visual de la cámara.

15. El método como se reivindica en la Reivindicación 14, en el que almacenar una posición de la cámara comprende medir la panorámica, la inclinación, el acercamiento o el enfoque de la cámara con los sensores de movimiento unidos a la cámara.

16. El método de la Reivindicación 14, en el que la cartelera comprende un panel croma key y en el cual el reemplazo de la cartelera real con la cartelera de reemplazo incluye el paso de ocluir dicha cartelera de reemplazo por cualquier objeto que ocluye dicha cartelera real.

17. El método de la Reivindicación 14 que además comprende la calibración periódica y automática de los sensores de movimiento por la transformación en perspectiva de la imagen de vídeo actual para proveer un modelo transformado estimado, almacenando una copia de la imagen de la cartelera, comparar la imagen de vídeo transformada en perspectiva con la copia almacenada para proveer un campo de vídeo residual, solucionar la distorsión residual entre el modelo transformado y el campo de vídeo residual y actualizar la transformación estimada por medio de la distorsión residual para proveer un factor de corrección de calibración.

18. El método de la Reivindicación 14, en el que dicho paso de solucionar la distorsión residual incluye el análisis basado en las derivadas espaciales de la imagen actual del modelo transformado y analizar píxel por píxel la diferencia de imagen del modelo transformado y la imagen actual.

19. El método de la Reivindicación 14, en el que calibrar automáticamente los sensores de movimiento comprende además calibrar los sensores de movimiento interactivamente.

20. El método de la Reivindicación 18, en el que el paso de análisis píxel por píxel incluye descartar píxeles usando variación de color.

21. El método de la Reivindicación 14, en el que el paso de registrar datos de calibración es llevado acabo durante un período de instalación cuando ninguna oclusión está presente.

22. El método de la Reivindicación 14 que comprende además calibrar una señal de diferencia para recalibración de los sensores de movimiento cuando la imagen de vídeo presente está por encima del factor predeterminado de calidad.

23. El método de la Reivindicación 22, en el que la cartelera de reemplazo está situada en la última posición recalibrada en caso de que una recalibración no sea posible debido a que la imagen de vídeo presente está por debajo del factor predeterminado de calidad.