ES2319132T3

ES2319132T3 - Procedimiento para representar objetos graficos virtuales sobre imagenes de un terreno, especialmente un terreno de juego para un evento deportivo.

Info

Publication number: ES2319132T3
Application number: ES06290397T
Authority: ES
Inventors: Serge Dulin; Olivier Gafsou; Jean Lecharny; Matthieu Skrzypniak
Original assignee: FR DE PRODUCTION ET DE CREATIO; FRANCAISE DE PRODUCTION ET DE CREATION AUDIOVISUELLE (SFP) Ste
Current assignee: FR DE PRODUCTION ET DE CREATIO; FRANCAISE DE PRODUCTION ET DE CREATION AUDIOVISUELLE (SFP) Ste
Priority date: 2005-06-29
Filing date: 2006-03-10
Publication date: 2009-05-04
Anticipated expiration: 2026-03-10
Also published as: PL1739626T3; DE602006003949D1; FR2875038A1; FR2875038B1; EP1739626A1; DK1739626T3; ATE416444T1; EP1739626B1; PT1739626E; SI1739626T1

Abstract

Procedimiento puesto en práctica por medios informáticos para representar un objeto gráfico virtual sobre una imagen captada por una cámara que filma un terreno, especialmente un terreno de juego para un evento deportivo, caracterizado por comportar: a) una etapa de calibrado, que comprende las operaciones: - prever una cámara a la que se dejan N grados de libertad de ajuste, siendo el número N tal que el número j=E[(N+1)/2] es inferior a 4, designando E(x) la parte entera de x, - obtener por dicha cámara una imagen de calibrado, fija, del terreno, y apuntar manualmente (21), sobre dicha imagen de calibrado, por lo menos cuatro puntos característicos del terreno, separados por distancias respectivas conocidas de antemano, - memorizar (22) datos de posiciones aparentes sobre la imagen de calibrado de los cuatro puntos característicos mencionados, b) una etapa de trazado virtual sobre una imagen corriente, captada con un ajuste corriente de la cámara según dichos N grados de libertad, comprendiendo las operaciones: - seleccionar manualmente (24) j puntos característicos aparentes sobre la imagen corriente, separados entre sí y de dichos cuatro puntos característicos de la etapa de calibrado por distancias respectivas conocidas de antemano, y memorizar los datos de posiciones aparentes sobre la imagen corriente de dichos j puntos característicos, - por triangulación sobre los cuatro puntos característicos de la imagen de calibrado, por una parte, y sobre los j puntos característicos de la imagen corriente, por otra parte, encontrar un efecto de perspectiva y/o de zoom apropiado al ajuste corriente de la cámara según los N grados de libertad, - seleccionar manualmente (26) un punto escogido de la imagen corriente y ordenar (27) un trazado del objeto gráfico en dicho punto escogido, siendo aplicado dicho trazado y apareciendo sobre la imagen corriente con el mismo efecto de perspectiva y/o de zoom que el campo sobre la imagen corriente.

Description

Procedimiento para representar objetos gráficos virtuales sobre imágenes de un terreno, especialmente un terreno de juego para un evento deportivo.

La presente invención se refiere a tratamiento de imágenes captadas especialmente durante la retransmisión en directo de un evento deportivo.

Se refiere en particular a un procedimiento para dibujar un objeto gráfico virtual sobre una imagen real, captada en directo, típicamente en un contexto de tratamiento de imágenes ligeramente diferido. Este objeto gráfico virtual es, por ejemplo, una línea de fuera de juego durante un partido de fútbol o una zona de fuera de juego delimitada por esta línea, o incluso un círculo de nueve metros o una flecha de distancia del balón a la portería.

Para realizar esta prestación sobre eventos en directo, se podrían prever procedimientos completamente automatizados del tipo que utilizan un reconocimiento de forma y aplicando una inserción virtual en la imagen real según una perspectiva apropiada con respecto a la forma reconocida, tal como se describe en especial en el documento EP-0477351.

No obstante, estos sistemas son técnicamente complejos, por lo que su utilización es difícil.

Se conoce también un sistema llamado de "warping" en una cámara fija, tal como el que se describe en el documento EP-1047264. No obstante, en principio la cámara debe ser fija, o por lo menos debe filmar con un gran angular, para incluir siempre la forma a reconocer en su campo. No obstante, esta última limitación no es realmente compatible con ciertas fases de juego, en especial en deportes colectivos, que pueden tener lugar en cualquier sitio del terreno.

La presente invención está destinada a mejorar esta situación.

Uno de los objetivos de la presente invención es el de facilitar un procedimiento de utilización simple durante las fases de juego cuando sería necesaria una etapa de calibrado inicial más larga.

Otro objetivo de la presente invención es el de facilitar un procedimiento simple y susceptible de ser puesto en práctica rápidamente por un operador ligeramente en diferido durante un evento deportivo en curso.

Otro objetivo de la presente invención es el de facilitar un procedimiento capaz de ser aplicado para ajustes y configuraciones cualesquiera de la cámara.

La presente invención da a conocer a estos efectos un procedimiento puesto en práctica por medios informáticos para representar el objeto gráfico virtual sobre una imagen captada por una cámara de filmación del terreno, en especial el terreno de juego para un evento deportivo.

El procedimiento en el sentido de la invención es el definido en la reivindicación 1.

La invención se puede explicar de la manera siguiente, haciendo referencia a los dibujos adjuntos que muestran, a título de ejemplo, otras ventajas y características de la invención y en los cuales:

- la figura 1 representa esquemáticamente un terreno de juego con una cámara de una instalación para la puesta en práctica de la invención.

- la figura 2 representa un organigrama esquemático de las etapas del procedimiento, según la invención,

- las figuras 3A-3C representan vistas ilustrativas de las operaciones puestas en práctica durante el calibrado.

- las figuras 4A-4C representan vistas que muestran las orientaciones angulares y escalas posibles de un ábaco utilizado en una forma de realización preferente,

- las figuras 5A-5D representan vistas ilustrativas de las operaciones de puesta en práctica durante una etapa corriente para el trazado de una línea virtual de fuera de juego en el ejemplo representado.

Elección de puntos característicos

En la actualidad se conocen ocho ajustes posibles de una cámara CAM (figura 1), es decir ocho grados de libertad posibles, que son:

-: las tres coordenadas X, Y y Z de la cámara, que proporcionan su posición en una representación cartesiana x, y, z, tal como se ha representado en la figura 1,

-: el ángulo de azimut \theta o "pan" de la cámara,

-: el ángulo de elevación \varphi o "tilt" de la cámara,

-: el ángulo de rodadura \rho o "roll" de la cámara,

-: el ajuste focal r o "zoom" de la cámara, y

-: el ajuste de las aberraciones A.

Se comprenderá de este modo que identificando cuatro puntos característicos de los que se conocen por adelantado las distancias que los separan en la etapa de calibración anteriormente citada a), es posible obtener cuatro coordenadas según el eje de las abcisas y cuatro coordenadas según el eje de las ordenadas de la imagen de calibración captada y, desde allí, establecer un sistema de ocho ecuaciones con ocho incógnitas que son los parámetros (X, Y, Z, \theta, \varphi, \rho, r, A) de los ajustes iniciales de la cámara en la etapa de calibrado.

En realidad, se determinan inicialmente como mínimo cuatro puntos característicos. En efecto, se puede escoger el determinar más de cuatro puntos, en particular para una sobredeterminación (que consiste en conducir una determinación exacta y precisa) de los ocho parámetros en la etapa de calibración a).

En la mayor parte de las aplicaciones, se escogerá ventajosamente fijar desde la etapa de calibración el ajuste de las aberraciones y el ajuste de la rodadura y más bien hacer variar, en el curso de la captación del evento deportivo, el zoom, el pan, el tilt y eventualmente las tres coordenadas de posición (X, Y, Z) de la cámara. Se comprenderá de este modo, que solamente la identificación de tres puntos característicos durante la etapa corriente b) es suficiente para trazar una línea L-HJ a la misma escala de zoom y con la misma perspectiva que el resto del terreno. En efecto, siendo fija la cámara en rodadura y ajustada una vez por todas en lo que respecta a las aberraciones en la etapa a), solamente se deben tener en cuenta 6 grados de libertad y los parámetros relativos (X, Y, Z, \theta, \varphi, r) pueden ser determinados gracias a la identificación de las tres coordenadas en abcisas y de las tres coordenadas en ordenadas de los puntos característicos referenciados en la etapa b).

Se verifica la relación que justifica la elección de tres puntos característicos en la etapa b):

j=E[(N+1)/2]=3, con N=6 grados de libertad.

Se indica además que, por ejemplo, el ángulo de rodadura puede variar asimismo durante la etapa corriente b). No obstante, en este caso, el número N de grados de libertad posibles para la cámara es de 7 y el número j de puntos característicos a identificar en la etapa b) es de 4. Por consiguiente, esta realización es de menor interés, puesto que es necesario entonces identificar tantos puntos característicos como en la etapa de calibración, y ello de manera ligeramente diferida.

Por lo tanto, en términos más generales, los datos de posición de los cuatro puntos característicos identificados en la etapa a) de calibrado indican cuatro coordenadas de abcisas y cuatro coordenadas de ordenadas en el plano de la imagen de calibración, permitiendo deducir pro lo menos siete parámetros que corresponden:

-: a tres coordenadas cartesianas fijas (X, Y, Z) de la posición de la cámara,

-: a ángulos respectivos de azimut, elevación y rodadura de la cámara para captar la imagen de calibración, y

-: a un valor de ajuste de zoom de la cámara para captar la imagen de calibración.

De manera ventajosa, en la etapa de calibrado a), se deduce además un octavo parámetro relativo a aberraciones de la cámara.

En una realización ventajosa, en particular para la retransmisión de encuentros de fútbol en los que se busca representar virtualmente una línea de fuera de juego L-HJ, la cámara CAM se encuentra fija en posición en la referencia cartesiana (x, y, z). Por consiguiente, la cámara es móvil por lo menos en azimut y/o en elevación y/o en zoom, de manera que el número j de puntos característicos a identificar en la etapa b) es de dos.

En realidad, solo un punto y una dirección son suficientes cuando la cámara posee tres grados de libertad posibles, tal como se verá más adelante. No obstante, dado que es conveniente superponer dos puntos característicos en la etapa b), incluso en este caso, se comprenderá que la formulación general del procedimiento en el sentido de la invención que se ha indicado anteriormente antes de la lista de las figuras, engloba la variante en la que se determinan j-1 puntos característicos y una dirección para la puesta en práctica de la etapa b) cuando el número de N de grados de libertad posibles de la cámara es impar.

Por lo tanto, cuando la cámara es móvil, por lo menos en azimut y/o en elevación, los datos de posición de los dos puntos característicos que se han identificado en la etapa b) en la imagen corriente indican dos coordenadas de abcisas y dos coordenadas de ordenadas en el plano de la imagen corriente, permitiendo de reevaluar por lo menos tres parámetros que corresponden a:

-: ángulos respectivos de azimut y de elevación de la cámara para captar la imagen corriente, y

-: un valor de ajuste de zoom de la cámara para captar la imagen corriente.

De manera ventajosa, en la etapa de calibración a), se fija además de manera definitiva el ángulo de rodadura de la cámara, de manera que N=3 y j=2 tal como se ha indicado anteriormente. Sin embargo, como variante, si se estima que la cámara es susceptible de moverse en el ángulo de rodadura, lo que corresponde a N=4 grados de libertad, se puede escoger aprovechar la identificación de las coordenadas de los dos puntos característicos de la etapa b) para determinar simultáneamente:

-: ángulo de rodadura,

-: ángulo de azimut,

-: ángulo de elevación, y

-: valor de zoom.

En este caso, se utilizan también j=2 puntos característicos en la etapa b).

Haciendo referencia nuevamente a la figura 1, los puntos característicos que se pueden escoger son ventajosamente intersecciones de líneas del terreno de juego, fácilmente identificables. En el ejemplo representado, los puntos característicos forman parte de una superficie de penalización o de "penalti" de un terreno de fútbol. Pueden constituir las cuatro esquinas de la superficie de penalti P1, P2, P3, P4, o incluso las cuatro esquinas de la zona de seis metros P'1, P'2, P'3, P'4, incluso una mezcla de los dos juegos de puntos.

En particular, se indica que el procedimiento según la invención es ventajosamente flexible en función de los ángulos de tomas de vista de la cámara, puesto que es suficiente identificar cuatro puntos característicos para la etapa a) y dos puntos característicos para la etapa b), entre los ocho puntos P1, P2, P3, P4, P'1, P'2, P'3, P'4 o incluso otros puntos, tales como los ángulos de corner, para delimitar los parámetros de regulación corriente de la cámara en al etapa b). En particular, se comprenderá que uno o los dos puntos característicos que se han identificado en la etapa b) no forman parte forzosamente de los cuatro que se han identificado en la etapa a). En efecto, es suficiente conocer previamente las distancias que separan estos ocho puntos P1, P2, P3, P4, P'1, P'2, P'3, P'4 y poder identificar cada punto señalando la identidad de cada punto a un ordenador de una instalación según la presente invención.

De este modo, la totalidad o parte de los j puntos identificados durante la etapa corriente b) pueden estar entre los cuatro puntos que han sido identificados en la etapa de calibración a), o incluso los j puntos pueden ser distintos de los puntos de calibración, siendo lo esencial que las distancias que separan todos los puntos (y que pueden ser nulas en algún caso) sean conocidas de antemano. Se recordará en este punto que los terrenos de juego, por ejemplo la zona de la superficie de penalti para un campo de fútbol o también una pista de tenis, tienen dimensiones bien precisas y rigurosamente respetadas. Por consiguiente, las distancias entre intersecciones de líneas de juego (por ejemplo, los puntos P1 a P'4), son en principio fiables para la puesta en práctica del procedimiento.

Se deberá tener en cuenta en la descripción siguiente que si la cámara se puede desplazar en tilt y/o en pan y/o en zoom durante la etapa de captación corriente b), será siempre posible identificar, como mínimo dos puntos característicos entre todos los puntos precitados.

Implementación informática e interfaz hombre/máquina

Haciendo referencia nuevamente a la figura 1, la cámara CAM está conectada a medios informáticos, tales como una unidad central UC, un monitor de visualización MON y un órgano de captación SOU tal como un ratón, una manecilla, una tablilla gráfica o cualquier otro medio que permita al usuario apuntar a los puntos característicos que reconoce en su monitor MON. Por otra parte, la unidad central UC presenta una memoria capaz de almacenar las distancias respectivas entre puntos característicos de un campo de fútbol clásico (o de tenis o incluso de rugby) y estos datos pueden aparecer, en una realización muy ventajosa, al operador en forma de un ábaco inicial ABA-i del terreno que queda indicado sobre el monitor MON, tal como se aprecia por ejemplo en la figura 3A. En particular, el ábaco ABA-i aparece como superpuesto con la imagen captada del terreno. No obstante, el ábaco inicial ABA-i se presenta de manera "bruta" y no tiene en cuenta el hecho de que parámetros de ajuste de la cámara serán fijados en la etapa posterior de calibración a). Por lo tanto, en referencia a la figura 2, el operador puede requerir, en una primera etapa (20), a partir de la memoria de la unidad central, la indicación del ábaco inicial ABA-i que aparece entonces superpuesto a la imagen de calibrado, tal como se ha representado en la figura 3A. El procedimiento prosigue a continuación por el calibrado propiamente dicho con la identificación, en particular, por el operador de cuatro puntos característicos P1, P2 (ver figura 3B) y P3, P4 (ver figura 3C y el apuntado con ayuda del órgano de captación SOU, por el operador, de estos puntos característicos en la etapa (21) de la figura 2. Las coordenadas (X, Y) de los puntos característicos indicados son almacenadas a continuación en la memoria de la unidad central UC en la etapa (22). En particular, la unidad central UC, poniendo en práctica un programa preparado de forma apropiada, reconstruye un nuevo ábaco ABA teniendo en cuenta grados de libertad posibles de la cámara, en especial ángulos de azimut y de elevación y de enfoque (zoom).

Se han representado en las figuras 4A a 4C el ábaco ABA, una vez que la etapa de calibración a) ha sido llevada a cabo. El ábaco ABA aparece superpuesto sobre una imagen corriente. Para pasar de la vista de la figura 4A a la de la figura 4B o a la de la figura 4C, el operador simula un desplazamiento de la cámara cambiando de ángulo de azimut y/o de elevación y/o el zoom. De este modo, el operador puede colocar el ábaco ABA construido después de la etapa de calibración sobre la imagen corriente para cualesquiera ajustes corrientes de la cámara en zoom, elevación y azimut. Para ello, es suficiente que desplace virtualmente el ábaco ABA, tal como aparece superpuesto sobre la imagen corriente captada, tal como se verá a continuación haciendo referencia a las figuras 5A a 5C.

La etapa b) corriente para la incrustación virtual de línea interviene a continuación, del modo siguiente. Haciendo referencia a la figura 2 (etapa 23), el operador requiere el ábaco ABA, calibrado para respetar la posición fija de la cámara según sus coordenadas cartesianas (X, Y, Z) y su ángulo de rodadura. Sobre la vista de la figura 5A, el ábaco ABA aparece entonces superpuesto a la imagen corriente, pero no se superpone todavía a las líneas del terreno.

Se debe tener en cuenta que una simulación de un desplazamiento del ábaco ABA, en zoom y en ángulos de azimut y de elevación, puede ser controlada por el operador, tal como se describe más adelante con referencia a las figuras 4A a 4C. En este caso, tal como se ha representado en la vista de la figura 5B, el operador controla un desplazamiento del ábaco según los ángulos precitados para hacer corresponder el punto característico P2 del ábaco con el punto homólogo P2 que aparece sobre la imagen corriente del campo. Para proceder de este modo, el operador presiona ("cliquea") sucesivamente el punto P2 del ábaco tal como aparece en la figura 5A y sobre el punto homólogo correspondiente en la esquina izquierda de la entrada de la superficie de penalti en el ejemplo representado. En la figura 5B, esos dos puntos están superpuestos, pero el ábaco ABA no parece estar a escala, pareciendo el ábaco más grande que las líneas reales del terreno. El operador ajusta entonces el zoom del ábaco haciendo coincidir el punto P1 del ábaco con el punto homólogo del terreno correspondiente a la esquina derecha de la entrada de la superficie de penalti, tal como se ha representado en la figura 5C. El operador puede ajustar simplemente el zoom por ejemplo, a partir del cursor del órgano de captación SOU, por ejemplo a partir del mando del ratón, debiéndose comprender que para los tres grados de libertad que subsisten en el ejemplo descrito, solamente un punto y una dirección son suficientes en principio para determinar las regulaciones corrientes de la cámara y trazar a continuación la línea virtual según estos ajustes.

De este modo, la etapa 24 de la figura 2 consiste en ajustar la posición y la escala del ábaco ABA con respecto a la aparición de las líneas del campo sobre la imagen corriente y ello a partir, por ejemplo, de dos puntos P1 y P2. En la etapa 25, las coordenadas de estos dos puntos (o de un punto y una dirección) son almacenadas en memoria para la continuación del procedimiento. En la etapa 26, el operador presiona ("cliquea") sobre un objeto por ejemplo, el jugador HJ de la figura 5D, en el que desea trazar una línea virtual y esta línea aparece a continuación en la etapa 27 con la misma perspectiva y la misma escala que el terreno, tal como se aprecia en la figura 5D en la que la línea virtual trazada lleva la referencia L-HJ.

Por lo tanto, en términos más genéricos, el ábaco ABA interviene en la invención tal como se indica a continuación. De forma ventajosa:

-: en la etapa a/, a partir de una triangulación dirigida sobre los cuatro puntos característicos de la imagen de calibración se determina un ábaco ABA del campo, y

-: en la etapa b/ se ajusta este ábaco en orientación angular y en escala para quedar superpuesto a una parte del campo que aparece sobre la imagen corriente, efectuando una segunda triangulación dirigida a los dos puntos característicos P1 y P2 de la imagen corriente.

En este caso, un operador que ponga en práctica, por medios informáticos que comportan como mínimo la unidad central UC, el monitor de visualización MON y el órgano de captación SOU,

\bullet en la etapa a/,

-: ordena una visualización o indicación simultánea de cuatro puntos característicos del ábaco y de la imagen de calibrado (etapa 20 de la figura 2),

-: superpone uno a uno los cuatro puntos característicos del ábaco con los cuatro puntos característicos homólogos del campo sobre la imagen de calibrado (etapa 21 de la figura 2),

-: ordena la memorización de las coordenadas de los puntos superpuestos (etapa 22 de la figura 2),

\bullet y en la etapa b/:

-: ordena la indicación simultánea de un mínimo de dos puntos del ábaco y de la imagen corriente (etapa 23 de la figura 2),

-: superpone un primer punto característico del ábaco con un punto característico homólogo del terreno sobre la imagen corriente para ajustar la orientación angular del ábaco sobre la imagen corriente y un segundo punto característico del ábaco con el punto característico homólogo del terreno sobre la imagen corriente para ajustar la escala del ábaco sobre la imagen corriente (etapa 24 de la figura 2),

-: ordena la memorización de las coordenadas de los dos puntos superpuestos (etapa 25 de la figura 2),

-: y selecciona un punto escogido del terreno sobre la imagen corriente, tal como el jugador de campo HJ de la figura 5D, para el trazado de la línea L-HJ en este punto.

De manera más precisa, en el ejemplo representado en la figura 5D, este punto escogido HJ corresponde a la posición de un jugador sobre el campo de fútbol y la línea trazada en este punto escogido es la línea de fuera de juego. Como variante, esta línea podría delimitar una zona de fuera de juego que empieza en la línea L-HJ y que se extiende hacia los límites del campo, a la derecha de la línea L-HJ en el ejemplo representado en la figura 5D.

Dado que el operador puede utilizar los medios informáticos antes citados programados cuidadosamente para la puesta en práctica del procedimiento indicado, la presente invención se refiere también a una instalación para la puesta en práctica del procedimiento y que comporta las características de la reivindicación 15.

La presente invención se refiere también, por consiguiente, a un programa de ordenador destinado a ser almacenado en una memoria de una unidad central de una instalación del tipo precitado y/o sobre un soporte de memoria trasladable destinado a cooperar con un lector homólogo de la unidad central y/o telecargable con intermedio de una red de telecomunicación, comportando entonces el programa instrucciones para la puesta en práctica del procedimiento anteriormente indicado.

La figura 2 puede ser un ejemplo de realización de un organigrama propio para el algoritmo del programa.

Se debe comprender que la presente invención no se limita a la forma de realización descrita en lo anterior a título de ejemplo; se extiende a otras variantes.

Por ejemplo, en una variante de aplicación a la retransmisión de encuentros de fútbol descrita en el ejemplo anterior, la presente invención puede también aplicarse a partidos de rugby, para los cuales es frecuentemente ventajoso representar una línea por delante. Para esta aplicación la imagen corriente, en particular la etapa b/, consistirá más bien en una secuencia filmada mientras que la cámara permanece no obstante fija en su ajuste. El punto escogido para trazar la línea virtual corresponde a la posición de la mano de un jugador sobre el terreno de rugby y la línea trazada es una línea por delante. Los grados de libertad de la cámara pueden ser distintos en esta aplicación. Entonces se puede prever más bien una traslación a lo largo de la línea de toque, un ajuste en focal y un ángulo de elevación, lo que corresponde todavía a dos puntos característicos a fijar en la etapa corriente b/ o más exactamente a un punto y una dirección como se ha descrito anteriormente haciendo referencia a las figuras 5A-5C.

En otra forma de realización adicional, la imagen tratada sale de una secuencia de imágenes y la invención es utilizada para permitir determinar los parámetros de cámara sobre diferentes imágenes de la secuencia.

De manera más precisa, al final del procedimiento que se ha descrito anteriormente, el procedimiento presenta una etapa de análisis comparativo de la imagen determinado, llamado instante de detección, con otras imágenes de la secuencia. Este análisis comparativo facilita una evaluación del cambio entre las imágenes. En el ejemplo, este análisis es realizado con un algoritmo conocido de análisis de cambios globales de las imágenes, llamado igualmente flujo óptico ("optical flow"), permitiendo determinar vectores de movimiento entre las imágenes.

Los resultados del análisis comparativo se utilizan para estimar las modificaciones de los parámetros de la cámara entre las diferentes imágenes, a partir de los parámetros de cámara para el ajuste corriente en el instante de detección, con la finalidad de obtener parámetros estimados para las diferentes imágenes de la secuencia.

De modo ventajoso, estos parámetros estimados son utilizados para modificar el objeto gráfico virtual de manera que ese objeto sea aplicado a las diferentes imágenes de la secuencia con un efecto de perspectiva y/o de zoom adaptado. De esta forma, el objeto gráfico virtual es propagado entre las diferentes imágenes de la secuencia.

Este procedimiento puede ser puesto en práctica en tiempo diferido en una secuencia determinada o bien se puede poner en práctica en tiempo real. En este caso, es preferible que el algoritmo de análisis comparativo sea aplicado permanentemente de manera que, desde que se establecen parámetros de cámara corrientes, es posible obtener parámetros de cámara estimados.

Claims

1. Procedimiento puesto en práctica por medios informáticos para representar un objeto gráfico virtual sobre una imagen captada por una cámara que filma un terreno, especialmente un terreno de juego para un evento deportivo, caracterizado por comportar:

a) una etapa de calibrado, que comprende las operaciones:

-: prever una cámara a la que se dejan N grados de libertad de ajuste, siendo el número N tal que el número j=E[(N+1)/2] es inferior a 4, designando E(x) la parte entera de x,

-: obtener por dicha cámara una imagen de calibrado, fija, del terreno, y apuntar manualmente (21), sobre dicha imagen de calibrado, por lo menos cuatro puntos característicos del terreno, separados por distancias respectivas conocidas de antemano,

-: memorizar (22) datos de posiciones aparentes sobre la imagen de calibrado de los cuatro puntos característicos mencionados,

b) una etapa de trazado virtual sobre una imagen corriente, captada con un ajuste corriente de la cámara según dichos N grados de libertad, comprendiendo las operaciones:

-: seleccionar manualmente (24) j puntos característicos aparentes sobre la imagen corriente, separados entre sí y de dichos cuatro puntos característicos de la etapa de calibrado por distancias respectivas conocidas de antemano, y memorizar los datos de posiciones aparentes sobre la imagen corriente de dichos j puntos característicos,

-: por triangulación sobre los cuatro puntos característicos de la imagen de calibrado, por una parte, y sobre los j puntos característicos de la imagen corriente, por otra parte, encontrar un efecto de perspectiva y/o de zoom apropiado al ajuste corriente de la cámara según los N grados de libertad,

-: seleccionar manualmente (26) un punto escogido de la imagen corriente y ordenar (27) un trazado del objeto gráfico en dicho punto escogido, siendo aplicado dicho trazado y apareciendo sobre la imagen corriente con el mismo efecto de perspectiva y/o de zoom que el campo sobre la imagen corriente.

2. Procedimiento, según la reivindicación 1, caracterizado porque la cámara (CAM) es fija en posición pero móvil por lo menos en azimut (\theta) y/o en elevación (\phi) y/o en zoom (r), de manera que el número j de puntos característicos identificados en la etapa b) es de dos.

3. Procedimiento, según una de las reivindicaciones 1 y 2, caracterizado porque los datos de posición de los cuatro puntos característicos identificados en la etapa a/ de calibrado indican cuatro coordenadas de abcisas y cuatro coordenadas de ordenadas en el plano de la imagen de calibrado, permitiendo deducir como mínimo siete parámetros correspondientes a:

-: tres coordenadas cartesianas (X, Y, Z) de posición de la cámara,

-: ángulos respectivos de azimut (\theta), elevación (\phi) y rodadura (\rho) de la cámara para captar la imagen de calibrado, y

-: un valor de ajuste del zoom (r) de la cámara para captar la imagen de calibrado.

4. Procedimiento, según la reivindicación 3, en combinación con la reivindicación 2, caracterizado porque en la etapa de calibrado a), se fija definitivamente un ángulo de rodadura (\rho) de la cámara y porque los datos de posición de los dos puntos característicos identificados en la etapa b) sobre la imagen corriente indican dos coordenadas de abcisas y dos coordenadas de ordenadas en el plano de la imagen corriente, permitiendo reevaluar como mínimo tres parámetros que corresponden:

-: a ángulos respectivos de azimut (\theta) y de elevación (\phi) de la cámara para captar la imagen corriente, y

-: a un valor de ajuste de zoom (r) de la cámara para captar la imagen corriente.

5. Procedimiento, según una de las reivindicaciones 3 y 4, caracterizado porque en la etapa de calibrado a), se deduce además un octavo parámetro relativo a aberraciones de la cámara.

6. Procedimiento, según una de las reivindicaciones 2 y 4, caracterizado porque:

-: en la etapa a), a partir de una triangulación dirigida sobre los cuatro puntos característicos de la imagen de calibrado, se determina un ábaco (ABA) del terreno de juego, y

-: en la etapa b), se ajusta dicho ábaco (ABA) en orientación angular y en escala para su superposición a una parte del terreno de juego aparente sobre la imagen corriente efectuando una segunda triangulación dirigida a los dos puntos característicos de la imagen corriente.

\vskip1.000000\baselineskip

7. Procedimiento, según la reivindicación 6, puesto en práctica por medios informáticos que comportan como mínimo una unidad central (UC), un monitor de visualización (MON) y un órgano de captación (SOU), siendo utilizados dichos medios por un operador,

caracterizado porque

\bullet en la etapa a), el operador:

-: ordena (20) la visualización simultánea de cuatro puntos característicos del ábaco (ABA-i) y de la imagen de calibrado,

-: superpone (21), uno a uno, los cuatro puntos característicos del ábaco (ABA) con los cuatro puntos característicos homólogos del campo de juego sobre la imagen de calibrado,

-: ordena (22) la memorización de las coordenadas de los puntos superpuestos.

\bullet en la etapa b), el operador:

-: ordena (23) la visualización simultánea de, como mínimo, dos puntos del ábaco (ABA) y de la imagen corriente,

-: superpone (24) un primer punto característico del ábaco con un punto característico homólogo del terreno de juego sobre la imagen corriente para ajustar la orientación angular del ábaco sobre la imagen corriente y un segundo punto característico del ábaco con un punto característico homólogo del terreno de juego sobre la imagen corriente para ajustar la escala del ábaco sobre la imagen corriente,

-: ordena (25) la memorización de las coordenadas de los dos puntos superpuestos,

-: y selecciona (26) un punto escogido del terreno de juego sobre la imagen corriente para el trazado (27) del objeto gráfico en dicho punto.

\vskip1.000000\baselineskip

8. Procedimiento, según una de las reivindicaciones anteriores, caracterizado porque los puntos característicos (P1, P2, P3, P4, P'1, P'2, P'3, P'4) son predeterminados como intersecciones de líneas de juego del terreno.

9. Procedimiento, según la reivindicación 8, caracterizado porque los puntos característicos forman parte de una superficie de penalización de un terreno de juego de fútbol.

10. Procedimiento, según una de las reivindicaciones anteriores, caracterizado porque dicho punto escogido corresponde la posición de un jugador (HJ) sobre un terreno de fútbol y el objeto gráfico virtual trazado en dicho punto escogido es una línea de fuera de juego (L-HJ).

11. Procedimiento, según una de las reivindicaciones 1 a 8, caracterizado porque la imagen corriente de la etapa b) consiste en una secuencia filmada mientras que la cámara (CAM) tiene ajuste fijo, y porque dicho punto escogido corresponde a la posición de la mano de un jugador sobre un terreno de rugby y el objeto gráfico trazado en dicho punto escogido es una línea situada por delante.

12. Procedimiento, según una de las reivindicaciones 1 a 11, caracterizado porque la imagen corriente de la etapa b) es extraída de una secuencia de imágenes y porque el procedimiento comporta además una etapa de análisis comparativo de otras imágenes de la secuencia con la imagen corriente y una etapa de estimación de los parámetros de la cámara cuando tiene lugar la captación de otras imágenes a partir de los parámetros para la imagen corriente.

13. Procedimiento, según la reivindicación 12, caracterizado porque dicha etapa de análisis comparativo pone en práctica un algoritmo de análisis de cambios globales de las imágenes.

14. Procedimiento, según una de las reivindicaciones 12 y 13, caracterizado porque los parámetros de cámara estimados son utilizados para modificar el trazado del objeto gráfico entre las imágenes de la secuencia.

15. Instalación para la puesta en práctica del procedimiento según una de las reivindicaciones anteriores, que comporta:

-: una cámara (CAM) ajustable según N grados de libertad, siendo el número N tal que j=E[(N+1)/2] es inferior a 4, designando E(x) la parte entera de x, Y

-: medios informáticos que comportan como mínimo una unidad central (UC) conectada a la cámara, un monitor de visualización (MON) y un órgano de captación (SOU),

caracterizada porque la unidad central comporta una memoria apropiada para almacenar un producto de programa de ordenador que comprende instrucciones para la puesta en práctica del procedimiento.

16. Producto de programa de ordenador destinado a ser almacenado en una memoria de una unidad central de una instalación según la reivindicación 15, y/o sobre un soporte de memoria trasladable destinado a cooperar con un lector homólogo de dicha unidad central, y/o telecargable con intermedio de una red de telecomunicación, caracterizado por comportar instrucciones para la puesta en práctica del procedimiento según una de las reivindicaciones 1 a 14.