<Desc/Clms Page number 1>
Titre de l'invention Procédé et méthode d'analyse qui consiste à déterminer, à partir d'une image fixe, les références d'un point situé dans un plan et dont l'image contient au moins deux points dont les coordonnées sont connues par rapport à la position de la source qui capte l'image. Le procédé permet, par exemple, d'obtenir des informations de position, de distance et/ou de vitesse d'éléments choisis dans des images d'activités sportives.
Domaine de l'invention La présente invention concerne un appareillage, une méthode et une interface utilisateur utilisables pour extraire et exploiter des informations de positionnement dans l'espace d'éléments graphiques répartis sur un plan et contenus dans des images fixes.
Celles-ci sont capturées de flux vidéo ou proviennent de sources photographiques. Notre procédé nécessite la présence d'au moins deux éléments graphiques connus et qui appartiennent au plan dans lequel on réalise les mesures de positionnement. D'autre part, la position de la chambre de prise de vue photographiques doit être connue par rapport aux éléments graphiques connus et repérés sur l'image.
L'ensemble des informations captées sur l'image sont analysées par notre procédé qui extrait des informations de position de points repérés sur une image fixe choisie. L'information de position des points repérés est obtenue via notre méthode et appareillage.
Notre procédé permet également d'obtenir des informations de vitesse sur des éléments repérés sur deux images fixes distinctes.
Notre méthode et interface utilisateurs sont particulièrement adaptées pour extraire des informations de position de joueurs en activités sportives. Notre méthode reste valable tant que le terrain de jeu utilisé est situé dans un même plan qui contient des déformations spatiales négligeables. Par exemple, mais de manière non exhaustive, notre procédé s'adapte particulièrement bien pour le calcul de la distance entre des joueurs sur un terrain de football.
L'ensemble des informations peut être collecté via un ensemble d'appareils utilisant notre méthode. Ce type de connexion permet d'extraire des informations dont les calculs de position
<Desc/Clms Page number 2>
s'effectuent à partir du flux vidéo d'une caméra fixe, ou via le flux vidéo de plusieurs caméras fixes indépendantes. L'avantage résultant de l'utilisation de plusieurs caméras est qu'il est alors possible de calculer des vitesses moyennes de déplacement des divers acteurs de jeu non contenus sur une seule image fixe.
La présente invention est particulièrement avantageuse sur des terrains dont les dimensions vont de quelques mètres à plusieurs centaines de mètres. Notre procédé permet de proposer sur l'image des informations de mesures complémentaires à l'image et ce sans la nécessité d'adjoindre à la caméra des capteurs spécifiques qui renvoient au système de mesure les informations d'angle de prise de vue et de facteur de zoom de la caméra ou de l'appareil photographique. Notre méthode nécessite cependant la connaissance de la position de la caméra de prise de vue, ainsi que les positions de repères spécifiques sur le terrain. En conséquence, notre méthode s'applique sur des caméras fixes. Les mesures de position de la caméra et de repères spécifiques sur le terrain sont réalisées avant le début du jeu ou de la genèse des images fixes.
Un des éléments spécifiques de notre méthode réside dans le peu de moyens algorithmiques qu'elle nécessite. L'algorithmique nécessaire peut dès lors s'intégrer par exemple, mais de manière non exhaustive, dans une unité de ralenti.
In fine, notre méthode propose l'extraction de l'information de position d'éléments sur l'image pour un investissement minimum en matériel de mesure. D'autre part, aucune modification n'est nécessaire sur la caméra ou sur le support de celle-ci. Notre méthode permet de proposer un système dont le coût est très réduit pour l'analyse d'information de position d'éléments dans un plan via une image fixe.
Divers modes de réalisation sont possibles : par exemple l'installation d'un système indépendant d'extraction de l'information sur une image fixe. Et ce, soit via un hardware dédicacé, soit via une unité logicielle intégrée dans un système de capture d'image. Un autre mode de réalisation consisterait à réaliser une intégration directe de notre procédé dans un système de retransmission d'image tel qu'une unité de ralenti ou une unité de mixage vidéo.
Notre méthode est indépendante de la résolution de l'image, des matériels et processeurs. La résolution de l'image ainsi que la
<Desc/Clms Page number 3>
précision des mesures de la position de la caméra et des points remarquables du terrain contribuent cependant positivement à la précision du résultat final obtenu.
État de la technique Les méthodes actuellement utilisées pour les mesures de positions sur des images fixes utilisent des capteurs installés sur le support des caméras. Ces capteurs transmettent les informations de l'angle de rotation panoramique de la caméra (Pan), de l'angle de rotation autour d'un axe horizontal (tilt) et le facteur de zoom de la caméra instantanément. Ces systèmes utilisent également l'information de positionnement de la caméra dans l'espace ( coordonnées X,Y et Z ) Un inconvénient majeur de l'utilisation de cette méthode réside dans la lourdeur de mise en oeuvre, et des coûts importants générés pour chaque caméra qui peut fournir des images qui permettront d'extraire des informations de position. D'autre part, cette approche nécessite un câblage supplémentaire qui doit relier l'analyseur à la caméra.
L'analyseur génère lui-même une sortie vidéo qui peut alors être utilisé par le réalisateur.
L'ensemble des éléments repris ci-dessus conduisent à utiliser la méthodologie classique sur une seule caméra, vu le surcoût généré pour la production. D'autant plus que cette approche nécessite au moins un opérateur supplémentaire pour déclencher les traitements de calcul de position.
En conséquence, la méthodologie classique est essentiellement utilisée pour ajouter à l'image des éléments de calcul de position ainsi que des éléments de publicité virtuelle. Car seules ces deux fonctionnalités combinées permettent d'amortir le coût d'un appareillage classique.
L'originalité de notre approche consiste à intégrer notre appareillage dans la chaîne de production existante sans induire aucun coût de matériel ou d'opérateur supplémentaire. Notre procédé à la fois simple et peu onéreux permet à des productions de moindre budget d'ajouter des informations sur l'image auparavant inabordables ou non rentables d'un point de vue économique et opératoire.
<Desc/Clms Page number 4>
De plus, le procédé proposé s'inscrit naturellement dans le travail habituel des opérateurs de ralenti. Ceux-ci disposent en effet d'images fixes à volonté, ainsi que de l'information, la réactivité et les contrôles suffisant de façon à intégrer en un temps très court le résultat de l'information de position, de distance et/ou de vitesse extraite d'une ou de plusieurs images fixes.
La présente invention constitue un système parfaitement complémentaire aux technologies basées sur des capteurs actuellement utilisées. Le but de notre procédé n'est pas lié à du traitement d'incrustation d'images.
Description détaillée de l'invention L'objet de cette invention consiste en un procédé et une méthode qui permettent de réaliser un appareillage complet pour un système d'exploitation qui gère l'extraction de l'information de position d'objets situées dans un plan à partir d'une image fixe.
L'utilisation de l'information de la position des éléments contenus dans l'image permet de calculer la distance entre différents éléments. L'invention permet de générer l'information à partir d'une image fixe pour autant que la position de la caméra soit connue et que les éléments pour lesquels on mesure la position se déplacent sur un plan. D'autre part, l'image doit contenir des éléments graphiques dont le positionnement est connu et dénomés : points remarquables. À titre d'exemple applicatif, mais non limitatif, l'invention permet d'estimer la position de joueurs sur un terrain de football et/ou de calculer des distances entre ceux-ci. En figure 1, nous avons un type de représentation de la disposition du matériel utilisé qui nous permet d'appliquer notre procédé.
Nous illustrons en figure 1 comment notre appareillage est installé au bord d'un terrain (1) autour duquel on a disposé des caméras fixes (2,3,4). Ces caméras sont positionnées sur des pieds fixes. Les caméras sont directement reliées à l'unité de mixage du réalisateur et le signal de sortie de la caméra peut être connecté, par exemple mais de manière non exhaustive, directement à l'intérieur d'un ralenti (5,6,7). Chaque ralenti est manipulé par un opérateur dont l'objectif est de préparer l'image pour le réalisateur.
Les systèmes de ralenti permettent à la fois de générer un flux
<Desc/Clms Page number 5>
d'images continu et direct vers l'unité de mixage, mais également de figer des images sur lesquelles nous appliquerons notre procédé.
Avant de débuter les opérations de détermination de positionnement des éléments sur l'image, nous avons besoin de connaître les positions exactes de chaque caméras. Nous repérons sur le terrain (1) des axes virtuels X et Y. Nous centrons, par exemple, ces axes de coordonnées au point 10. La position des joueurs ou des éléments à déterminer sera référencée directement par rapport aux axes de coordonnées centrés au point 10. L'axe virtuel Z situé à la verticale du point 10 sera la coordonnée que nous utiliserons pour déterminer les hauteurs (troisième dimension).
La position de chaque caméra fixe sera déterminée avant la prise d'image par un ensemble de cinq mesures de distances. Pour la réalisation de ces mesures, nous utiliserons par exemple, mais de manière non exhaustive, un pointeur laser Leitz de type disto-pro.
Cet appareillage nous permet d'obtenir une résolution de mesure de l'ordre du millimètre sur des distances de l'ordre de 150 Mètres. Cette méthode permet de réaliser rapidement et qualitativement les mesures de distance nécessaires à notre processus.
Nous choisissons trois points non alignés sur le terrain, par exemple les points 9,10 et 11. Nous mesurons la distance de chacun de ces points par rapport à la caméra. Nous mesurons en outre les distances relatives de chacun des points. Un ensemble de cinq mesures est suffisant pour déterminer la position exacte de chaque caméra et connaître ses coordonnées précises selon les repères X, Y et Z.
Afin de déterminer les coordonnées X, Y, Z de la caméra, nous résolvons simplement les équations des sphères virtuelles passant de chaque point de mesure et de rayon égale à la distance mesurée entre le point de mesure et la caméra.
Nous obtenons trois équations de type : (X-Xi)2 + (Y - Yi)2 + (Z-Zi)2 = distance La résolution automatique de cet ensemble de trois équations de
<Desc/Clms Page number 6>
sphères est donnée par la résolution simple d'un système d'équation du second degré. Cette résolution sera automatiquement intégrée dans le système informatisé qui implémentera notre processus.
L'utilisateur doit simplement entrer les distances mesurées entre chaque point et la caméra avant le début des enregistrements vidéo.
De manière exemplative mais non limitative, nous illustrons en figure 2 un type d'interface utilisateur applicable directement au niveau du ralenti et qui permet d'intégrer naturellement notre procédé de calcul de position d'éléments se déplaçant sur un plan.
Le système ralenti (5) est par exemple constitué d'un enregistreur en temps réel dont l'interface utilisateur est repris en 22. celle-ci permet efficacement à l'opérateur de réaliser un arrêt sur image instantané. Les images et résultats peuvent être visionnés directement du moniteur 23. Les données numériques peuvent être rentrées directement à travers le clavier 21 et des sélections de points sur l'image figée seront réalisées avec l'aide de la tablette graphique 24 et du stylet 25.
En figure 3, nous illustrons la méthodologie à respecter et les phases de mesure nécessaires avant de débuter les enregistrements vidéo.
Les mesures de distance de caméras (31) sont réalisées telles que décrites ci-dessus. La résolution des équations des sphères virtuelles permet dans un second temps (32) de calculer la position X,Y et Z de chaque caméra.
En utilisant le pointeur laser, il sera effectué des mesures qui permettront de vérifier les dimensions du terrain (33). Les mesures variables (34) et non réglementées seront également vérifiées afin d'obtenir un plan détaillé du terrain sur lequel on désire réaliser des mesures de position. L'ensemble de ces mesures (31,32, 33 et 34) permettent de déterminer (35) la topologie complète et précise du terrain. Le procédé que nous proposons ici n'est applicable que sur des terrains plats, c'est à dire ayant des différences de niveaux extrêmes de l'ordre de 20 cm en hauteur.
Le procédé que nous avons développé est basé sur une modélisation géométrique précise de l'ensemble du terrain et de la
<Desc/Clms Page number 7>
position de la caméra. Dans ce modèle, nous intégrerons directement un ensemble d'éléments et d'informations connus.
Pour la simplification du modèle et son efficacité algorithmique, nous allons formaliser l'information tridimensionnelle par rapport à un système d'axes virtuels u, v, n qui sera centré au point focal de chaque caméra avec u, v coordonnées dans le plan de l'image générée par la caméra. La coordonnée n constitue la projection verticale de la distance entre la caméra et le point analysé. Nous noterons N d comme étant la distance entre le plan de projection de l'image de la caméra et le point focal de la caméra.
Le changement de coordonnées réalisé entre les coordonnées directes du terrain telles que décrites ci-dessus, c'est à dire avec les axes X et Y dans le plan du terrain et l'axe Z comme axe vertical, nous permet de transformer les coordonnées X, Y, Z en coordonnées u, v et n en suivant le processus d'extraction de l'information tel que décrit en figure 4.
Un changement du système de coordonnées du terrain vers le point focal PF de la caméra nous conduit à réaliser une première étape de translation en Xpf, Ypf, Zpf(41) Les coordonnées des axes virtuels ne sont donc plus centrés en (10) mais bien au point focal de la caméra de capture pour laquelle notre procédé analyse l'image. Nous effectuons ensuite en 42 une rotation qui nous permet de retrouver dans le plan vertical u, v de l'image de la caméra le plan initial X, Y.
Nous obtenons ainsi une caméra pointant à l'horizontale selon un angle de zéro degré par rapport à l'axe central du terrain. Nous appliquerons ensuite une rotation panoramique (43) que nous dénommerons angle alpha a . Cet angle correspond au mouvement de la caméra selon un axe vertical . Cette rotation permet de pointer la caméra de la partie gauche à la partie droite du terrain mesuré.
Nous appliquerons ensuite une rotation verticale d'angle thêta # qui nous permettra de pointer la caméra de haut en bas. Nous appliquerons ensuite une transformation de perspective (45) qui ramènera l'image tridimensionnelle en un plan image tel que projeté dans la caméra. Une transformation de coordonnées suivra (46) qui nous permettra de ramener l'information bidimensionnelle en des coordonnées directement liée à la position
<Desc/Clms Page number 8>
des pixels dans l'image.
L'ensemble des transformations ainsi réalisées nous conduit à une matrice de transformation affine tridimensionnelle simple de la forme suivante :
Ui = Cosa (Xi - Xp) + Sina (Yi - Yp)
Vi = Sina Sine (Xi - Xp) - Cosa Sine (Yi - Yp) + CosÚ Zp
Ni = Cosa CosÚ (Yi - Yp) - Sina CosÚ (Xi- Xp) + Sine Zp Ces trois équations sont applicables et permettent de transformer les coordonnées X,, Y1, Z, d'un point i situé et repéré sur le terrain d'activités, dans le système de coordonnées de la caméra.
Xp' Yp, Zp étant les coordonnées de la caméra dans le système de repères virtuels du terrain de jeu.
La matrice de transformation a été simplifiée compte tenu du fait que le terrain se trouve dans le plan Z, = 0.
Considérant le plan de l'image n, = N, nous obtenons les relations suivantes entre l'image dans le plan de la caméra (U,, V,) et les coordonnées Ui*, Vi*. L'exposant * indique que les coordonnées U et V sont reprises dans le référentiel de l'image de la caméra.
Considérant la matrice de projection de perspective, nous obtiendrons donc la relation supplémentaire suivante :
Ui*. Vi-Vi*. Ui=0 Cette relation permet également de calculer la distance du plan N, plan que nous dénommerons plan de zoom. Le coefficient de zoom nous sera alors donné par :
N = Ui*. Ni/Ui = Vi*. Ni/Vi Notr méthode utilise l'information des coordonnées des points remarquables du terrain qui sont souvent présents sur l'image. Ces points remarquables sont par exemple des points de jonction de ligne de repères sur le terrain, tel que par exemple, coin du terrain, intersection des cercles repris sur le terrain avec des lignes de centre et les lignes de grand rectangle, coins des grands rectangles, pieds des goals,...
L'ensemble des points remarquables par exemple utilisable dans le cas d'un terrain de football sont repris
<Desc/Clms Page number 9>
en figure 6 et sont illustrés par les carrés. Nous pouvons constater que sur un terrain de football classique nous avons 32 points remarquables utilisables. L'originalité de notre méthode utilise le fait que les phases de jeu pour lesquelles une information de position s'avère intéressante, contient souvent un minimum de deux points remarquables. Or, vu la modélisation que nous avons appliquée, nous avons besoin de connaître sur l'image vidéo deux points remarquables pour être capable de calculer la position de points sélectionnés.
Connaissant en effet deux points remarquables, nous pourrons alors déterminer avec certitude les angles panoramique (a) et de rotation verticale (0) de la caméra. Une fois ces angles connus, nous pourrons alors appliquer ces mêmes équations pour établir le lien entre les coordonnées des points dans l'image et les coordonnées sur le terrain.
Vu la connaissance du terrain introduite dans la modélisation, nous pouvons aisément résoudre ce système et déterminer également le facteur de zoom de la caméra.
Nous illustrons en figure 5 le processus que nous utilisons et qui nous permet de déterminer avec exactitude la relation entre les positions 2D sur l'image et 3D sur le terrain.
Nous résolvons à chaque sélection d'image fixe les paramètres a et Ú (51) en utilisant les équations qui lient les transformations de coordonnées entre le plan du terrain et le plan de la caméra.
Nous utilisons ensuite (52) le facteur de zoom déterminé précédemment et qui nous permet (53) d'obtenir une relation précise entre les positions 2D sur l'image et 3D sur le terrain. De là, nous pouvons en extraire la position (54) du point dans l'image et ainsi si nous appliquons notre relation 2D-3D pour chaque point pour lequel nous recherchons la position sur le terrain, nous pourrons ainsi déterminer aisément la distance entre ces points sur le terrain à partir de la sélection réalisée dans l'image vidéo.
<Desc/Clms Page number 10>
Description détaillée d'un exemple de réalisation de l'invention Nous nous attacherons à décrire comment nous réalisons notre invention afin de respecter le procédé et la méthode décrite dans le chapitre précédent.
La description reprise ci-dessous est exemplative mais non limitative de la manière dont nous pouvons réaliser le procédé décrit dans l'invention.
L'invention décrite a été réalisée en combinant un ensemble d'éléments existants repris dans les figures 1,2 et 6 dont le procédé décrit en figure 3,4, 5 et 7 a été intégré.
Un exemple de réalisation a été implémenté autour d'une activité sportive de football. Sur le terrain (1) une caméra fixe (2) a été positionnée et son flux vidéo a été directement intégré dans une machine de ralenti type LSM de EVS Broadcast Equipment. Le procédé décrit dans l'invention a été intégré à l'intérieur de la machine de ralenti.
Avant le début de match, nous avons choisi d'utiliser les points 9, 10 et 11 pour calculer la position X, Y, Z de la caméra (2).
Les distances 9-2 ; 10-2 ; 11-2 ; 10-11 et 9-10 ont été mesurées à l'aide d'un pointeur laser Leica disto-pro.
Ces cinq mesures de distance nous ont permis de connaître en résolvant les équations de sphères en intégrant à l'intérieur de la machine de ralenti un système automatique de calcul de la position X, Y, Z de la caméra à partir des cinq mesures de distance réalisées.
Les coordonnées des différents points remarquables (61) du terrain ont été relevées à l'aide de ce même équipement Leica disto-pro.
L'interface utilisateur a été constituée du module remote (22 du LSM) accompagné du clavier (21) et de la tablette graphique (24) et de son stylet (25) afin d'entrer les données nécessaires au bon déroulement du procédé décrit dans notre invention.
L'ensemble des résultats est visualisé pour l'opérateur sur l'écran de monitoring (23) le système de ralenti (5) génère une sortie
<Desc/Clms Page number 11>
regroupant les différentes couches graphiques générées par notre procédé afin que cette sortie vidéo soit envoyée directement dans l'unité de mixage (8).
Les étapes précédentes ont été réalisées avant les prises d'images et ne nécessitent pas l'adjonction d'aucun matériel supplémentaire dans la chaîne vidéo et ou sur le matériel de prise de vue.
Pendant le déroulement du match, l'opérateur visualise la sortie de la caméra sur son écran de monitoring (23). L'opérateur peut figer une image spécifique à travers son intervention sur le remote (22).
Une fois l'image sélectionnée, l'opérateur utilise son stylet (25) après avoir déclaré au controlleur remote (2) qu'il désire utiliser le procédé d'analyse de position.
L'opérateur sélectionne alors sur l'image fixe (81) deux points remarquables en pointant simplement à l'aide de son stylet (25) par exemple les points 82 et 83. Dans notre exemple descriptif mais non exhaustif, l'opérateur choisit de calculer la distance qui sépare les joueurs 84 et 85 sur le terrain. L'opérateur sélectionne alors les points de contact de ces joueurs sur le terrain (84 et 85).
L'opérateur déclenche ensuite l'appel de l'interface utilisateur de sélection des points remarquables, figure 6.
L'opérateur sélectionne ensuite sur la modélisation du terrain (figure 6) les points remarquables modélisés 63 et 64 dans le même ordre de sa sélection 82 et 83. après cette sélection, l'utilisateur à l'aide de son stylet 25 sélectionne directement le procédé de calcul de distance (62). La pression sur cette icône présente sur l'image déclenche automatiquement la mise en route du processus d'extraction de l'information tel que décrit en figure 4. le processus est entièrement automatisé et donc totalement transparent à l'utilisateur.
Pendant que le processus de calcul se réalise, le ralenti supprime de l'écran l'image de modélisation, figure 6.
Les paramètres d'angles panoramiques, de rotations verticales et de zoom de la caméra sont évaluées (51-52). S'en suit alors le calcul automatique de la relation 2D-3D qui est calculée pour les points 84 et 85, ce qui entraîne (54) le calcul des positions des points 84 et 85 dans l'image. Connaissant les positions X, Y des points 84 et
<Desc/Clms Page number 12>
85, le système affiche alors le calcul de la distance (86) directement sur l'écran de monitoring du LSM.
L'opérateur a l'aide de son unité de remote control (22) peut alors proposer un élément graphique visuel superposé à l'image. Cette image peut être directement utilisée dans l'unité de mixage pour diffusion.
Un exemple de réalisation alternatif a également été réalisé.
Ce système alternatif nécessite la sélection de trois points remarquables au lieu de deux dans le but d'alléger le processus de détermination des paramètres a et 8 du processus d'extraction de l'information.
Dans ce cas, il sera demandé à l'opérateur d'introduire trois points et non deux dont un des points sera le plus possible près du centre de l'image et les deux autres points remarquables le plus loin possible du centre de l'image.
Le processus de l'extraction de l'information déclenché lors de la pression avec le stylet (25) sur l'icône (62) détectera automatiquement que trois points remarquables ont été sélectionnés (82-87-83) et dans ce cas, le processus déterminera le point le plus central de l'image, en l'occurrence dans l'exemple décrit ici le point remarquable 87.
L'information apportée par l'élément du point remarquable 87 permet très rapidement de déterminer une bonne approximation des angles a et Ú de la caméra. Cette information permet de minimiser les calculs du processus d'extraction de l'information et apporte une convergence beaucoup plus rapide du processus de calcul . L'approximation des angles calculés étant largement insuffisante vu que le point remarquable ne se trouvera quasi jamais parfaitement au centre de l'image analysée. La méthode décrite précédement s'applique alors exactement de la même façon.
Ceci méthode alternative permet d'utiliser le procédé de l'invention sur des systèmes contenant très peu de capacités de processing.
L'interface utilisateur n'est nullement compliquée par l'adjonction de points supplémentaires vu qu'elle entraîne simplement l'utilisateur à sélectionner un point remarquable supplémentaire.
<Desc/Clms Page number 13>
L'exemple de réalisation décrit ci-dessus a été expliqué à titre démonstratif et non exhaustif et peut être utilisé quelque soit la position de la caméra autour du terrain et ce, pour n'importe quel type d'activités sportives et ou industrielles dont les éléments pour lesquels on veut connaître la position se déplacent dans un plan connu pour lequel des éléments graphiques remarquables sont aisément sélectionnables par l'opérateur.
La légèreté de l'algorithmique mise en place dans notre processus d'extraction de l'information nous permet de réaliser notre procédé sur des microcontrôleurs simples ou sur des PC standard de faible puissance type 8086.
Un des éléments important de notre procédé est également caractérisé par le fait que l'ensemble des caméras fixes partage le même système de coordonnées. Une information de position d'un élément peut ainsi être partagée entre plusieurs caméras dont les ralentis sont connectés à travers un réseau.
Cette approche permet d'extraire des informations de vitesse moyenne ou de distances sur de longs parcours ou de mesurer des distances sur des grandes portées sans aucun ajout ni de ressource ni de matériel supplémentaire.
<Desc/Clms Page number 14>
Brève description des figures
Les particularités et avantages de l'invention seront plus clairement compris à travers quelques descriptions données sur les schémas et figures exposés.
Les figures suivantes sont présentées :
Fig. 1 Positionnement de caméras
Fig. 2 Interface utilisateur
Fig. 3 Processus des mesures avant prise d'image
Fig. 4 Processus d'extraction de l'information
Fig. 5 Processus de passage de plan image vers 3D - calcul de position
Fig. 6 Interface utilisateur de sélection de points remarquables
Fig. 7 Processus de l'interface utilisateur
Fig. 8 Exemple d'utilisation
<Desc / Clms Page number 1>
Title of the invention Method and method of analysis which consists in determining, from a fixed image, the references of a point located in a plane and whose image contains at least two points whose coordinates are known by relative to the position of the source that captures the image. The method makes it possible, for example, to obtain position, distance and / or speed information of elements selected in images of sports activities.
Field of the Invention The present invention relates to an apparatus, a method and a user interface usable for extracting and using positioning information in the space of graphic elements distributed on a plane and contained in still images.
These are captured from video streams or come from photographic sources. Our method requires the presence of at least two known graphic elements which belong to the plane in which the positioning measurements are carried out. On the other hand, the position of the photographic shooting chamber must be known with respect to the known graphic elements and identified on the image.
All the information captured on the image is analyzed by our process which extracts position information from points identified on a chosen fixed image. The position information of the points identified is obtained via our method and apparatus.
Our method also makes it possible to obtain speed information on elements identified on two separate still images.
Our method and user interface are particularly suitable for extracting position information from players in sports activities. Our method remains valid as long as the playing field used is located in the same plane which contains negligible spatial deformations. For example, but in a non-exhaustive manner, our method is particularly suitable for calculating the distance between players on a football field.
All information can be collected via a set of devices using our method. This type of connection makes it possible to extract information including position calculations
<Desc / Clms Page number 2>
take place from the video stream of a fixed camera, or via the video stream of several independent fixed cameras. The advantage resulting from the use of several cameras is that it is then possible to calculate average speeds of movement of the various game actors not contained in a single still image.
The present invention is particularly advantageous on land the dimensions of which range from a few meters to several hundred meters. Our method makes it possible to offer information on the image of measurement information complementary to the image and this without the need to add to the camera specific sensors which return the information of angle of view and factor to the measurement system. zoom the camera or camera. Our method, however, requires knowledge of the position of the camera, as well as the positions of specific landmarks. Consequently, our method applies to fixed cameras. Measurements of camera position and specific landmarks are made before the start of the game or the genesis of still images.
One of the specific elements of our method lies in the few algorithmic means that it requires. The necessary algorithms can therefore be integrated, for example, but not exhaustively, into an idling unit.
Ultimately, our method proposes the extraction of the position information of elements on the image for a minimum investment in measurement equipment. In addition, no modification is necessary on the camera or on the support of this one. Our method makes it possible to propose a system whose cost is very reduced for the analysis of information of position of elements in a plane via a fixed image.
Various embodiments are possible: for example the installation of an independent system for extracting information from a fixed image. And this, either via dedicated hardware, or via a software unit integrated into an image capture system. Another embodiment would consist in carrying out a direct integration of our method into an image retransmission system such as an idle unit or a video mixing unit.
Our method is independent of image resolution, hardware and processors. Image resolution as well as
<Desc / Clms Page number 3>
Accurate measurements of the camera position and remarkable points on the ground, however, positively contribute to the accuracy of the final result obtained.
STATE OF THE ART The methods currently used for measuring positions on still images use sensors installed on the camera support. These sensors transmit information about the panoramic rotation angle of the camera (Pan), the rotation angle around a horizontal axis (tilt) and the zoom factor of the camera instantly. These systems also use the positioning information of the camera in space (X, Y and Z coordinates). A major drawback of using this method lies in the cumbersome implementation, and the significant costs generated for each camera that can provide images that will extract location information. On the other hand, this approach requires additional wiring which must connect the analyzer to the camera.
The analyzer itself generates a video output which can then be used by the director.
All the elements listed above lead to using the conventional methodology on a single camera, given the additional cost generated for production. Especially since this approach requires at least one additional operator to trigger the position calculation processing.
Consequently, the conventional methodology is essentially used for adding to the image elements of position calculation as well as elements of virtual advertising. Because only these two functions combined can amortize the cost of conventional equipment.
The originality of our approach consists in integrating our equipment into the existing production chain without incurring any additional material or operator costs. Our simple and inexpensive process allows lower budget productions to add image information previously unaffordable or unprofitable from an economic and operational point of view.
<Desc / Clms Page number 4>
In addition, the proposed process naturally fits into the usual work of idle operators. These have in effect fixed images at will, as well as sufficient information, reactivity and controls so as to integrate in a very short time the result of position, distance and / or speed extracted from one or more still images.
The present invention constitutes a system which is perfectly complementary to the technologies based on sensors currently used. The purpose of our process is not related to image overlay processing.
DETAILED DESCRIPTION OF THE INVENTION The object of this invention consists of a method and a method which make it possible to produce complete apparatus for an operating system which manages the extraction of the position information of objects located in a plane. from a still image.
The use of the information of the position of the elements contained in the image makes it possible to calculate the distance between different elements. The invention makes it possible to generate information from a still image provided that the position of the camera is known and that the elements for which the position is measured move on a plane. On the other hand, the image must contain graphic elements whose positioning is known and called: remarkable points. As an application example, but not a limitation, the invention makes it possible to estimate the position of players on a football field and / or to calculate distances between them. In Figure 1, we have a type of representation of the arrangement of the material used which allows us to apply our process.
We illustrate in Figure 1 how our equipment is installed at the edge of a field (1) around which we have fixed cameras (2,3,4). These cameras are positioned on fixed feet. The cameras are directly connected to the mixing unit of the director and the output signal from the camera can be connected, for example but in a non-exhaustive manner, directly inside an idle (5,6,7). Each slow motion is handled by an operator whose objective is to prepare the image for the director.
Idling systems allow both to generate a flow
<Desc / Clms Page number 5>
continuous and direct images to the mixing unit, but also to freeze images on which we will apply our process.
Before starting the operations of determining the positioning of the elements on the image, we need to know the exact positions of each camera. We locate on the ground (1) virtual axes X and Y. We center, for example, these coordinate axes at point 10. The position of the players or elements to be determined will be referenced directly with respect to the coordinate axes centered at the point 10. The virtual axis Z located vertically from point 10 will be the coordinate that we will use to determine the heights (third dimension).
The position of each fixed camera will be determined before taking the image by a set of five distance measurements. For the realization of these measurements, we will use for example, but in a non-exhaustive way, a Leitz laser pointer of the disto-pro type.
This apparatus allows us to obtain a measurement resolution of the order of a millimeter over distances of the order of 150 meters. This method makes it possible to quickly and qualitatively perform the distance measurements necessary for our process.
We choose three points that are not aligned on the ground, for example points 9, 10 and 11. We measure the distance of each of these points from the camera. We also measure the relative distances of each point. A set of five measurements is sufficient to determine the exact position of each camera and to know its precise coordinates according to the X, Y and Z marks.
In order to determine the X, Y, Z coordinates of the camera, we simply solve the equations of the virtual spheres passing from each measurement point and of radius equal to the distance measured between the measurement point and the camera.
We obtain three equations of type: (X-Xi) 2 + (Y - Yi) 2 + (Z-Zi) 2 = distance The automatic resolution of this set of three equations of
<Desc / Clms Page number 6>
spheres is given by the simple resolution of a system of equation of the second degree. This resolution will be automatically integrated into the computerized system that will implement our process.
The user simply has to enter the distances measured between each point and the camera before the video recordings start.
By way of example but not limitation, we illustrate in FIG. 2 a type of user interface which can be applied directly at the idle level and which makes it possible to naturally integrate our method for calculating the position of elements moving on a plane.
The idle system (5) is for example made up of a real-time recorder whose user interface is listed at 22. This effectively allows the operator to make an instant freeze frame. The images and results can be viewed directly from the monitor 23. The digital data can be entered directly through the keyboard 21 and selections of points on the frozen image will be made with the help of the graphic tablet 24 and the stylus 25.
In figure 3, we illustrate the methodology to be respected and the necessary measurement phases before starting the video recordings.
The distance measurements of cameras (31) are carried out as described above. The resolution of the equations of the virtual spheres then makes it possible (32) to calculate the X, Y and Z position of each camera.
Using the laser pointer, measurements will be made to verify the dimensions of the terrain (33). Variable and unregulated measurements (34) will also be checked in order to obtain a detailed plan of the terrain on which we wish to perform position measurements. All of these measurements (31, 32, 33 and 34) make it possible to determine (35) the complete and precise topology of the terrain. The process that we propose here is only applicable on flat grounds, that is to say having extreme level differences of the order of 20 cm in height.
The process that we have developed is based on precise geometric modeling of the entire terrain and the
<Desc / Clms Page number 7>
camera position. In this model, we will directly integrate a set of known elements and information.
For the simplification of the model and its algorithmic efficiency, we will formalize the three-dimensional information with respect to a system of virtual axes u, v, n which will be centered at the focal point of each camera with u, v coordinates in the plane of l image generated by the camera. The coordinate n constitutes the vertical projection of the distance between the camera and the point analyzed. We will denote N d as the distance between the projection plane of the camera image and the camera focal point.
The change of coordinates made between the direct coordinates of the terrain as described above, i.e. with the X and Y axes in the terrain plane and the Z axis as vertical axis, allows us to transform the X coordinates , Y, Z in u, v and n coordinates following the information extraction process as described in figure 4.
A change in the coordinate system from the terrain to the focal point PF of the camera leads us to carry out a first stage of translation into Xpf, Ypf, Zpf (41) The coordinates of the virtual axes are therefore no longer centered in (10) but rather at the focal point of the capture camera for which our process analyzes the image. We then perform a rotation at 42 which allows us to find the initial plane X, Y in the vertical plane u, v of the camera image.
We thus obtain a camera pointing horizontally at an angle of zero degrees relative to the central axis of the terrain. We will then apply a panoramic rotation (43) which we will call angle alpha a. This angle corresponds to the movement of the camera along a vertical axis. This rotation makes it possible to point the camera from the left part to the right part of the measured ground.
We will then apply a vertical rotation of angle theta # which will allow us to point the camera from top to bottom. We will then apply a perspective transformation (45) which will bring the three-dimensional image into an image plane as projected in the camera. A coordinate transformation will follow (46) which will allow us to bring the two-dimensional information into coordinates directly linked to the position
<Desc / Clms Page number 8>
pixels in the image.
The set of transformations thus carried out leads us to a simple three-dimensional affine transformation matrix of the following form:
Ui = Cosa (Xi - Xp) + Sina (Yi - Yp)
Vi = Sina Sine (Xi - Xp) - Cosa Sine (Yi - Yp) + CosÚ Zp
Ni = Cosa CosÚ (Yi - Yp) - Sina CosÚ (Xi- Xp) + Sine Zp These three equations are applicable and allow to transform the coordinates X ,, Y1, Z, of a point i located and located on the ground d 'activities, in the camera coordinate system.
Xp 'Yp, Zp being the coordinates of the camera in the virtual reference system of the playing field.
The transformation matrix has been simplified taking into account that the terrain is in the plane Z, = 0.
Considering the plane of the image n, = N, we obtain the following relationships between the image in the plane of the camera (U ,, V,) and the coordinates Ui *, Vi *. The exponent * indicates that the U and V coordinates are included in the frame of reference of the camera image.
Considering the perspective projection matrix, we will therefore obtain the following additional relation:
* Ui. Vi-Vi *. Ui = 0 This relation also makes it possible to calculate the distance from the plane N, plane which we will call zoom plane. The zoom coefficient will then be given to us by:
N = Ui *. Ni / Ui = Vi *. Ni / Vi Our method uses the information of the coordinates of the remarkable points of the terrain which are often present on the image. These remarkable points are for example junction points of reference lines on the ground, such as for example, corner of the ground, intersection of the circles taken up on the ground with lines of center and the lines of large rectangle, corners of large rectangles , goal bases, ...
All the remarkable points for example usable in the case of a football field are included
<Desc / Clms Page number 9>
in Figure 6 and are illustrated by the squares. We can see that on a classic football field we have 32 remarkable points usable. The originality of our method uses the fact that the game phases for which position information is interesting, often contains a minimum of two remarkable points. However, given the modeling that we have applied, we need to know two remarkable points on the video image to be able to calculate the position of selected points.
Knowing two remarkable points indeed, we can then determine with certainty the panoramic (a) and vertical rotation (0) angles of the camera. Once these angles are known, we can then apply these same equations to establish the link between the coordinates of the points in the image and the coordinates on the ground.
Given the knowledge of the terrain introduced into the modeling, we can easily solve this system and also determine the zoom factor of the camera.
We illustrate in Figure 5 the process we use and which allows us to accurately determine the relationship between 2D positions on the image and 3D in the field.
We solve for each fixed image selection the parameters a and Ú (51) using the equations which link the coordinate transformations between the ground plane and the camera plane.
We then use (52) the zoom factor determined previously and which allows us (53) to obtain a precise relationship between the 2D positions on the image and 3D on the ground. From there, we can extract the position (54) of the point in the image and so if we apply our 2D-3D relationship for each point for which we are looking for the position on the ground, we can easily determine the distance between these points on the ground from the selection made in the video image.
<Desc / Clms Page number 10>
Detailed description of an exemplary embodiment of the invention We will endeavor to describe how we carry out our invention in order to respect the process and the method described in the previous chapter.
The description given below is illustrative but not limiting of how we can carry out the process described in the invention.
The invention described was achieved by combining a set of existing elements shown in Figures 1,2 and 6, the method described in Figure 3,4, 5 and 7 has been integrated.
An example of implementation has been implemented around a sporting football activity. In the field (1) a fixed camera (2) was positioned and its video stream was directly integrated into an LSM type slow motion machine from EVS Broadcast Equipment. The process described in the invention has been integrated inside the idling machine.
Before the start of the match, we chose to use points 9, 10 and 11 to calculate the X, Y, Z position of the camera (2).
The distances 9-2; 10-2; 11-2; 10-11 and 9-10 were measured using a Leica disto-pro laser pointer.
These five distance measurements allowed us to know by solving the equations of spheres by integrating inside the idle machine an automatic system for calculating the X, Y, Z position of the camera from the five distance measurements performed.
The coordinates of the various remarkable points (61) of the terrain were recorded using this same Leica disto-pro equipment.
The user interface was made up of the remote module (22 of the LSM) accompanied by the keyboard (21) and the graphic tablet (24) and its stylus (25) in order to enter the data necessary for the proper conduct of the process described in our invention.
All the results are displayed for the operator on the monitoring screen (23) the idle system (5) generates an output
<Desc / Clms Page number 11>
grouping the different graphic layers generated by our process so that this video output is sent directly to the mixing unit (8).
The preceding steps were carried out before taking the images and do not require the addition of any additional material in the video channel and or on the shooting material.
During the match, the operator visualizes the output of the camera on his monitoring screen (23). The operator can freeze a specific image through his intervention on the remote (22).
Once the image has been selected, the operator uses his stylus (25) after declaring to the remote controller (2) that he wishes to use the position analysis process.
The operator then selects two remarkable points on the still image (81) by simply pointing with his stylus (25) for example points 82 and 83. In our descriptive but not exhaustive example, the operator chooses to calculate the distance between players 84 and 85 on the field. The operator then selects the contact points of these players on the field (84 and 85).
The operator then triggers the user interface call to select the remarkable points, figure 6.
The operator then selects on the terrain modeling (FIG. 6) the remarkable points modeled 63 and 64 in the same order of his selection 82 and 83. after this selection, the user using his stylus 25 directly selects the distance calculation method (62). Pressing this icon on the image automatically triggers the information extraction process as described in Figure 4. The process is fully automated and therefore completely transparent to the user.
While the calculation process is taking place, the slow motion removes the modeling image from the screen, Figure 6.
The parameters of panoramic angles, vertical rotations and zoom of the camera are evaluated (51-52). Then follows the automatic calculation of the 2D-3D relation which is calculated for the points 84 and 85, which involves (54) the calculation of the positions of the points 84 and 85 in the image. Knowing the positions X, Y of points 84 and
<Desc / Clms Page number 12>
85, the system then displays the distance calculation (86) directly on the LSM monitoring screen.
The operator using his remote control unit (22) can then propose a visual graphic element superimposed on the image. This image can be used directly in the mixing unit for broadcast.
An alternative embodiment has also been produced.
This alternative system requires the selection of three remarkable points instead of two in order to lighten the process of determining parameters a and 8 of the information extraction process.
In this case, the operator will be asked to enter three points and not two, one of the points of which will be as close as possible to the center of the image and the other two remarkable points as far as possible from the center of the image. .
The information extraction process triggered when the icon (62) is pressed with the stylus (25) will automatically detect that three remarkable points have been selected (82-87-83) and in this case, the process will determine the most central point of the image, in this case in the example described here the remarkable point 87.
The information provided by the element of the remarkable point 87 very quickly makes it possible to determine a good approximation of the angles a and Ú of the camera. This information makes it possible to minimize the calculations of the information extraction process and brings a much faster convergence of the calculation process. The approximation of the calculated angles being largely insufficient since the remarkable point will almost never be perfectly in the center of the analyzed image. The method described above then applies exactly the same way.
This alternative method allows the method of the invention to be used on systems containing very little processing capacity.
The user interface is in no way complicated by adding additional points since it simply causes the user to select an additional remarkable point.
<Desc / Clms Page number 13>
The embodiment described above has been explained for illustrative and not exhaustive purposes and can be used regardless of the position of the camera around the field, for any type of sporting and or industrial activities including elements for which we want to know the position move in a known plane for which remarkable graphic elements are easily selectable by the operator.
The lightness of the algorithm implemented in our information extraction process allows us to carry out our process on simple microcontrollers or on standard low power PCs type 8086.
One of the important elements of our process is also characterized by the fact that all of the fixed cameras share the same coordinate system. An item's position information can thus be shared between several cameras whose slow motion is connected through a network.
This approach makes it possible to extract average speed or distance information over long journeys or to measure distances over large spans without adding any additional resources or equipment.
<Desc / Clms Page number 14>
Brief description of the figures
The features and advantages of the invention will be more clearly understood through a few descriptions given on the diagrams and figures exposed.
The following figures are presented:
Fig. 1 Positioning of cameras
Fig. 2 User interface
Fig. 3 Measurement process before image capture
Fig. 4 Information extraction process
Fig. 5 Image plane to 3D transition process - position calculation
Fig. 6 User interface for selecting remarkable points
Fig. 7 User interface process
Fig. 8 Example of use