L'invention concerne un dispositif, une méthode et un système d'affichage graphique.
L'invention concerne plus particulièrement l'affichage de données vidéo représentatives d'un événement se déroulant en temps réel sur un terminal ayant des capacités graphiques limitées.
En effet, de nombreux terminaux possèdent des capacités graphiques limitées mais sont de plus en plus utilisés par des utilisateurs différents, comme par exemple des téléphones mobiles, des assistants personnels (type PDA) et même des ordinateurs ne présentant pas encore des capacités d'affichage vidéo de la même qualité que les téléviseurs.
Il est donc important de pouvoir reproduire sur ces écrans l'information attendue par les utilisateurs.
De plus, dans le cas d'évènements tels des matchs sportifs, bien souvent le droit à l'image n'appartient pas aux joueurs ni aux clubs sportifs mais sont vendues à des diffuseurs.
Un affichage synthétique de la vidéo permettrait donc aux clubs de diffuser une information réduite permettant aux utilisateurs ayant des terminaux simples en terme d'affichage, de visualiser les moments importants d'un programme.
De plus, un tel affichage a également des fins pédagogiques et permet aux joueurs et à leurs entraîneurs d'analyser un match.
On connaît des systèmes permettant un affichage synthétique de positions de voiliers lors de courses. De tels systèmes sont basés sur des systèmes GPS. Chaque voilier est équipé d'une balise Argos et donc repérable par GPS. Les positions sont donc reçues et retransmises régulièrement au dispositif d'affichage qui affiche alors une carte représentative de la course, chaque bateau étant identifié par un petit logo ou une couleur particulière.
Par contre, un tel système nécessite d'équiper les bateaux pour qu'ils deviennent actifs et signalent leur position.
Dans des rencontres sportives où les joueurs peuvent subir un nombre de chocs importants, il est peu souhaitable de les équiper d'éléments fragiles ou d'éléments pouvant devenir blessants en cas de chutes ou de chocs.
L'invention propose donc un dispositif permettant de palier à au moins certains des inconvénients précédents.
A cet effet, l'invention propose un dispositif d'affichage possédant des capacités graphiques simples, de données visuelles représentatives d'un événement se passant en temps réel et capturé sous la forme de données vidéo.
Selon l'invention, le dispositif comporte : - des moyens de réception de paramètres représentatifs dudit évènement extraits des données vidéo capturées, - des moyens de mettre à jour, sur le dispositif d'affichage, un affichage synthétique dudit événement en fonction desdits paramètres.
Le dispositif d'affichage affiche des informations concernant un événement de façon synthétique. Le dispositif permet de visualiser un événement se déroulant en direct, non pas sous forme de données vidéos mais sous forme de données synthétiques reproduisant les moments importants de l'événement. L'invention s'adresse particulièrement à des appareils disposant de capacités graphiques réduites et peut par exemple être utilisée à des fins pédagogiques pour étudier l'événement pour lequel des données vidéo complètes ne seraient pas indispensables. De plus, elle peut également s'appliquer à des événements sportifs pour lesquels les droits à l'image sont souvent vendus et donc inexploitables par les clubs de sport. Un dispositif selon l'invention possède alors les moyens d'afficher suffisamment d'information pour analyser ou visualiser l'événement.
L'invention concerne également un système d'affichage, sur au moins un terminal graphique possédant des capacités graphiques simples, de données visuelles représentatives d'un événement se passant en temps réel, caractérisé en ce qu'il comporte - une pluralité de caméras destinées à capturer les images de l'événement se passant en temps réel, - des moyens d'analyser les images capturées par lesdites caméras, - des moyens d'extraire, à partir des images capturées, de paramètres représentatifs de l'événement, - des moyens de transmettre audit terminal graphique, lesdits paramètres, - des moyens de mettre à jour, sur ledit terminal graphique, un affichage synthétique dudit événement en fonction desdits paramètres.
L'invention est également relative à une méthode d'affichage sur un terminal graphique possédant des capacités graphiques simples, de données visuelles représentatives d'un événement se passant en temps réel et capturé sous la forme de données vidéo, ladite méthode étant caractérisé en ce qu'elle comporte les étapes de - réception de paramètres représentatifs dudit évènement extraits des données vidéo capturées, - mise à jour, sur le dispositif d'affichage, d'un affichage synthétique dudit événement en fonction desdits paramètres L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles :- la figure 1 représente une vue d'un terrain de football et des caméras, - la figure 2 représente un mode de réalisation d'un système comportant un dispositif selon l'invention. - la figure 3 représente une vue de l'affichage synthétique sur un dispositif selon l'invention. La description suivante est basée sur un événement sportif et plus particulièrement sur un match de football mais peut s'appliquer à d'autres types d'évènements, sportifs ou non.
La figure 1 représente un terrain de football 5 autour duquel sont disposées quatre caméras 1, 2, 3, 4. Le nombre de caméras est donné à titre illustratif.
Les caméras permettent une visualisation complète du terrain, des joueurs j1 à j8, du ballon 6 et de l'arbitre 7 et permettent donc de capturer tous les moments importants du match.
Les caméras 1, 2, 3, 4 ont des positions connues autour du terrain 5. Elles peuvent être fixes ou alors mobiles autour d'un axe et dans ce cas commandées par un opérateur. Les caméras couvrent l'ensemble du terrain.
Chaque caméra est calibrée au préalable suivant certains paramètres, dont notamment l'angle et la focale, ces derniers étant intégrés au processus de traitement d'image pour permettre l'identification des objets présents dans le champ de la caméra. Parmi les objets intéressants dans un match de football, il y a notamment le déplacement des joueurs j1 à j8, du ballon 6 et de l'arbitre 7.
La figure 2 représente un système comportant plusieurs dispositifs 10, 11 et 12 selon l'invention ainsi qu'un système selon l'invention.
Les caméras 1, 2, 3 et 4 transmettent les images vidéo du match de football se déroulant comme indiqué sur la figure 1 à un dispositif de traitement d'images 7.
Le module 7 reçoit les données vidéo des caméras avant de les retransmettre à un module 9 d'édition des données. Le découpage représenté en figure 2 est un découpage en blocs fonctionnels qui peuvent être physiquement regroupés dans un même dispositif ou séparés dans des dispositifs disjoints.
Le module 7 de traitement d'images a pour but, après analyse en temps réel des données vidéo dont il dispose, de positionner chaque objet présent sur le terrain, par exemple les joueurs, l'arbitre et le ballon, et d'y associer un ensemble d'informations synthétiques.
Parmi les informations synthétiques, on peut citer : - l'instant d'analyse, - l'identifiant de l'objet, - les positions/coordonnées en absolu de l'objet dans le champ d'analyse ou les positions/coordonnées en relatif par rapport à la dernière transmission.
Les informations synthétiques générées et mises à jour régulièrement concernent principalement les informations dynamiques du match de football. Les informations comme la représentation du terrain, des buts, le nombre de joueurs, sont transmises au démarrage de l'application sur les dispositifs 10, 11 et 12. Ces informations sont ensuite conservées par les dispositifs 10, 11 et 12 qui les mettent à jour avec les informations synthétiques. Ces informations peuvent être également conservées par le module 9, ce qui permet de les rejouer plus tard en réponse à une requête d'un utilisateur.
Dans d'autres modes de réalisation, il peut être envisagé de transmettre à chaque mise à jour, toutes les informations, y compris les informations ne présentant aucun changement d'une mise à jour à l'autre. Ceci est cependant pénalisant en terme de débit sur le réseau 13.
Pour obtenir les informations concernant l'identifiant de l'objet ainsi que les positions ou coordonnées des éléments intéressants pour l'utilisateur, on effectue tout d'abord une détection des objets dans l'image vidéo.
Afin de détecter les joueurs et l'arbitre, on peut effectuer une détection de visages par des méthodes connues et notamment en utilisant par exemple la méthode décrite dans l'article de Ming-Hsuan Yang, David J. Kriegman et Narendra Ahuja, Detecting faces in images: a survey , publié par l'IEEE dans le volume transaction 24 n[deg]1 en 2002.
D'autres méthodes peuvent être utilisées se basant sur des approches modèles cherchant à définir de manière simple l'objet recherché, en terme de silhouette, couleur, variation de lumière, texture, ou se basant sur des approches apparence reposant quant à elles sur des méthodes de décisions (ou classificateurs) non paramétriques telles que les réseaux de neurones ou se basant sur des méthodes combinant les deux approches.
Lorsque les visages sont détectés, on associe à ce visage le nom du joueur ou/et son numéro de maillot. Afin de procéder à l'identification du joueur, on analyse différents éléments qui peuvent permettre de l'identifier.
En effet, à partir de l'analyse du visage, il est difficile d'identifier le joueur, cela demandant des précisions de détection très fines. Par contre, le joueur peut être identifié en faisant une analyse de ses vêtements qui comportent différents éléments d'identification et notamment : - son nom, généralement inscrit au dos du maillot, - son numéro, inscrit sur le maillot ou sur le short, - la couleur de son maillot qui permet de savoir, une fois le numéro analysé, à quelle équipe appartient le joueur, - la publicité sur son maillot, qui permet également de savoir à quelle équipe appartient le joueur.
Différentes méthodes d'analyse de l'image peuvent être utilisées pour détecter ces informations et notamment des méthodes connues d'analyse de la couleur, de la forme pour la détection du numéro ou de la publicité.
Il est ainsi possible d'identifier chaque joueur sur le terrain ainsi que l'arbitre. Ce dernier pouvant être identifié en appliquant également des techniques de détection de couleur, son maillot est généralement noir ou ne porte pas de numéro.
On détecte le ballon en faisant une détection de contours et de couleur.
Les positions des joueurs, du ballon, et de l'arbitre sont identifiées. Les positions des différentes entités d'intérêt sont reconstruites par triangulation. Pour ce faire, il est nécessaire que l'entité (joueur, ballon, arbitre) à reconstruire apparaisse dans au moins deux images. La première étape de la reconstruction consiste à repérer dans les images la position en deux dimensions (2D) dans l'image de l'entité a reconstruire (si elle existe). Un algorithme de mise en correspondance classique utilisant les informations de couleur, texture et contours peut être utilisé. Une fois cette mise en correspondance effectuée une triangulation en trois dimensions (3D) classique peut être effectuée aux conditions suivantes :
L'entité apparaît dans au moins deux images, Les paramètres intrinsèques (focale, taille d'un pixel, angle entre les axes des pixels, position de la projection du centre optique) sont connus, Les paramètres extrinsèques (position 3D de la caméra) sont connus, Si l'entité à reconstruire est d'intérêt ; c'est-à-dire qu'elle fait partie des entités à afficher, la première condition peut être considérée comme vérifiée.Les deux conditions suivantes sont remplies moyennant l'utilisation de caméras initialement étalonnées (paramètres intrinsèques et extrinsèques connus) puis transmettant à l'unité de traitement les variations de zoom et éventuellement de position 3D de la caméra par rapport à l'état initial (ces données sont transmises par la plupart des caméras actuelles sous forme de métadonnées associées au flux vidéo, le tout encapsulé au moyen de la norme MXF).
Ces étapes de mise en correspondance et de triangulation sont répétées pour chaque entité dont on cherche la position.
Les informations de position pour chaque élément caractéristique du match de football sont associées à une information de temps à laquelle correspond la position. Les positions de plusieurs éléments caractéristiques peuvent également être associées à une même information de temps.
Les données synthétiques 8 sont alors transmises au module 9 d'édition des données.
Le module 9 met en forme les informations synthétiques générées par le module 7 de façon à ce que ces données soient comprises par les terminaux de réception 10, 11 et 12.
Les informations synthétiques de position telles que décrites précédemment sont des informations absolues.
Dans un autre mode de réalisation, il est également possible de générer des informations de positions relatives par rapport aux informations précédemment envoyées. Ces informations de position relatives correspondent alors plutôt à des informations de déplacement qu'à des informations de position.
Selon ce mode préféré de réalisation, les données sont formatées au format XTML et le protocole utilisé pour la transmission est le protocole http (acronyme anglais de HyperText Transfer Protocol ).
Le module 9 d'édition des données comprend également des moyens de stockage et des moyens de transmission afin de transmettre les informations synthétiques reformatées, appelées également paramètres, vers un réseau de diffusion 13.
Le module 9 permet également de stocker les informations transmises en temps réel aux différents terminaux. Ceci est particulièrement avantageux lorsque le dispositif selon l'invention est utilisé dans un but pédagogique, afin par exemple d'étudier les trajectoires des joueurs sur le terrain, la vitesse de déplacement. Les informations étant archivées de façon centrale sur le module 9, elles peuvent être ensuite rediffusées à la demande à tout terminal les réclamant, de façon payante ou gratuite. A cet effet, le module 9 peut être muni d'un lecteur de disque dur ou de DVD ou tout autre moyen de stockage.
Le module 9 effectue une synthèse des informations synthétiques qu'il reçoit et les combine éventuellement avec des informations précédemment mémorisées ou disponibles par ailleurs afin de générer des informations de type textuel pour les transmettre avec les informations synthétiques aux terminaux 10, 11 et 12.
Parmi ces informations textuelles, il est possible de faire des synthèses des actions importantes qui se sont déroulées et notamment, parmi une liste non exhaustive, le nombre de buts, le nombre de coup-francs, le nombre de tirs manqués, de passes réussies, de kilomètres parcourus, de buts marqués, le nombre de cartons rouges ou jaunes reçus, le nombre de fautes sanctionnées, le nombre de pénalités oubliées.
Parmi ces informations textuelles, il est également possible de transmettre des informations sur les joueurs, telles la nationalité, les clubs fréquentés, l'âge, des informations sur le palmarès des saisons précédentes, les statistiques de la saison.
Les informations synthétiques sont transmises aux terminaux 10, 11 et 12 à intervalle régulier ou semi-régulier, ou en fonction des informations synthétiques à transmettre. Par exemple, lorsqu'il y a un but, il est important de retransmettre rapidement l'information synthétique correspondante.
Selon ce mode de réalisation, les informations synthétiques sont transmises toutes les 6 secondes, ceci permet de donner une sensation de continuité à l'utilisateur.
Selon d'autres modes de réalisation, il est envisageable de transmettre de 1 à 25 images par seconde.
Le module 9 d'édition des données est connecté de façon préférentielle à un réseau 13 de type IP signifiant protocole Internet par les liens 13.
Le réseau 13 peut également être un réseau de type satellite, terrestre ou numérique, comme par exemple DVB (acronyme anglais de Digital Video Broadcast ), dans ce dernier cas, le module 9 est relié au réseau par l'intermédiaire du lien 15.
Il est également possible dans d'autres modes de réalisation d'utiliser le protocole http, véhiculé sur le lien 16.
Il est également possible, dans d'autres modes de réalisation, d'utiliser un protocole de transmission par paquets comme illustré ci-après qui illustre la faible quantité de données à transmettre dans le cas d'une transmission par paquets.
Chaque paquet transmis est transmis selon l'une des grammaires suivantes :
Soit <paquet> ::= <temps> <liste positions> TAG_FIN_PAQUET ou <paquet> :: <temps> <nb positions> <liste positions> chacun de ces termes constitutifs étant constitué selon la grammaire suivante
Pour un match de Football chaque paquet pourra donc être constitué d'au plus 4 octets pour le temps (absolu), 88 octets pour les 22 joueurs, 9 octets pour les 3 arbitres, 3 octets pour le ballon, et 1 octet pour la fin de paquet ou le nombre des positions, soit un total de 105 octets.
Ces données peuvent être comprimées si l'on raisonne en codage bits plutôt que frontières d'octets.
Dans le cadre d'une transmission des données au format XML la syntaxe des données transmises pourra correspondre à la grammaire décrite dans l'exemple suivant :
Les dispositifs 10, 11 et 12 possèdent des capacités graphiques simples.
Par capacité graphique simple, on peut entendre que les dispositifs 10, 11 et 12 ne sont pas capables de jouer de la vidéo. Ceci signifie que l'invention s'adresse principalement à des terminaux de type PDA, ordinateurs personnels ou téléphones portables mais pas exclusivement à ces terminaux. Elle peut bien entendu s'adresser également à des terminaux possédant des capacités graphiques larges, dont la capacité totale n'est pas nécessaire pour mettre en u̇vre l'invention.
Les dispositifs 10, 11 et 12 possèdent des interfaces appropriées leur permettant de lire les données venant du réseau 13.
Dans le mode préféré de réalisation, les dispositifs 10, 11 et 12 possèdent des navigateurs permettant de se connecter à internet.
Lorsque le réseau 13 est un réseau de type Internet, les dispositifs 10, 11 et 12 sont équipés de moyen de réception possédant une interface IP leur permettant de comprendre le protocole internet.
Les dispositifs 10, 11 et 12 reçoivent, sous forme de paramètres, les informations représentatives permettant de mettre à jour un affichage synthétique du match de football en fonction des paramètres.
Un exemple des informations visualisées sur les dispositifs 10, 11 et 12 est représenté en figure 3.
Une partie de l'écran est dédiée aux informations graphiques de l'affichage synthétique du match de football. Une autre partie de l'écran est dédiée aux informations de type textuel.
Les informations de type textuel peuvent être également visualisées sous forme d'hyperlien lorsque l'on sélectionne, au moyen d'un curseur ou d'une souris, un joueur ou tout autre élément du terrain.
Lors de la première réception, les informations synthétiques contiennent des informations complètes sur le terrain, une position absolue des joueurs, du ballon et de l'arbitre sur le terrain.
Lors des réceptions suivantes, les dispositifs 10, 11 et 12 affichent les positions des joueurs, du ballon et de l'arbitre par interpolation linéaire entre deux positions successives pour chaque point.
Dans d'autres modes de réalisation, les dispositifs 10, 11 et 12 affichent les positions des joueurs, du ballon et de l'arbitre par une interpolation gaussienne entre quatre positions successives pour chaque point.
Lorsque la position d'un joueur n'est pas rafraîchie depuis un certain temps, parce qu'il n'a pas bougé ou parce qu'il est hors du champ des caméras, les dispositifs 10, 11 et 12 font disparaître lentement le joueur de l'écran, sa couleur représentative se fondant alors avec celle du terrain.
Le joueur réapparaît lorsque les dispositifs 10, 11 et 12 reçoivent à nouveau des informations synthétiques le concernant.
Les affichages synthétiques peuvent être constitués de points de 3 couleurs différentes permettant de distinguer les 2 équipes et le ballon, ou de disques de 3 couleurs différentes incluant les numéros des maillots des 2 équipes plus un plot différent pour le ballon, ou des seuls numéros des joueurs affichés en 2 couleurs plus un plot distinguant le ballon, ou des représentations en trois dimensions plus fidèles des joueurs et de leurs maillots ainsi que du ballon.
Revendications 1. Dispositif (10, 11, 12) d'affichage possédant des capacités graphiques simples, de données visuelles représentatives d'un événement se passant en temps réel et capturé sous la forme de données vidéo, caractérisé en ce qu'il comporte des moyens de réception de paramètres représentatifs dudit évènement extraits des données vidéo capturées, des moyens de mettre à jour, sur le dispositif (10 ,11, 12) d'affichage, un affichage synthétique dudit événement en fonction desdits paramètres.The invention relates to a device, a method and a graphic display system.
The invention more particularly relates to the display of video data representative of an event taking place in real time on a terminal having limited graphics capabilities.
Indeed, many terminals have limited graphics capabilities but are increasingly used by different users, such as mobile phones, personal assistants (PDAs) and even computers that do not yet have display capabilities. video of the same quality as TVs.
It is therefore important to be able to reproduce on these screens the information expected by users.
Moreover, in the case of events such as sports matches, often the right to the image does not belong to players or sports clubs but are sold to broadcasters.
A synthetic display of the video would allow clubs to disseminate reduced information allowing users with simple terminals in terms of display, to visualize important moments of a program.
In addition, such a display also has educational purposes and allows players and their coaches to analyze a match.
Systems are known that allow a synthetic display of sailboat positions during races. Such systems are based on GPS systems. Each sailboat is equipped with an Argos beacon and is therefore identifiable by GPS. The positions are therefore received and transmitted regularly to the display device which then displays a representative map of the race, each boat being identified by a small logo or a particular color.
By cons, such a system requires to equip the boats to become active and report their position.
In sports events where players can suffer a number of significant shocks, it is undesirable to equip them with fragile elements or elements that can become offensive in the event of falls or shocks.
The invention therefore proposes a device making it possible to overcome at least some of the foregoing disadvantages.
For this purpose, the invention proposes a display device having simple graphics capabilities, visual data representative of an event occurring in real time and captured in the form of video data.
According to the invention, the device comprises: means for receiving parameters representative of said event extracted from the captured video data; means for updating, on the display device, a synthetic display of said event as a function of said parameters.
The display device displays information about an event in a synthetic manner. The device makes it possible to visualize an event taking place live, not in the form of video data but in the form of synthetic data reproducing the important moments of the event. The invention is particularly directed to devices having reduced graphics capabilities and may for example be used for educational purposes to study the event for which complete video data would not be required. In addition, it can also apply to sports events for which the image rights are often sold and therefore unusable by sports clubs. A device according to the invention then has the means to display enough information to analyze or visualize the event.
The invention also relates to a display system, on at least one graphic terminal having simple graphics capabilities, of visual data representative of an event occurring in real time, characterized in that it comprises - a plurality of cameras for capturing the images of the event occurring in real time, means for analyzing the images captured by said cameras, means for extracting, from the captured images, parameters representative of the event, means for transmitting to said graphic terminal, said parameters, means for updating, on said graphic terminal, a synthetic display of said event as a function of said parameters.
The invention also relates to a display method on a graphic terminal having simple graphics capabilities, visual data representative of an event occurring in real time and captured in the form of video data, said method being characterized in that it comprises the steps of - reception of parameters representative of said event extracted from the captured video data, - updating, on the display device, of a synthetic display of said event according to said parameters The invention will be better understood and illustrated by means of examples of advantageous embodiments and implementations, in no way limiting, with reference to the appended figures in which: FIG. 1 represents a view of a football field and cameras, FIG. an embodiment of a system comprising a device according to the invention. FIG. 3 represents a view of the synthetic display on a device according to the invention. The following description is based on a sporting event and more specifically on a football match but may apply to other types of events, sports or not.
Figure 1 shows a football field 5 around which are arranged four cameras 1, 2, 3, 4. The number of cameras is given for illustrative purposes.
The cameras allow a complete visualization of the field, the players j1 to j8, the balloon 6 and the referee 7 and thus allow to capture all the important moments of the match.
The cameras 1, 2, 3, 4 have known positions around the ground 5. They can be fixed or mobile around an axis and in this case controlled by an operator. The cameras cover the entire terrain.
Each camera is calibrated in advance according to certain parameters, including the angle and the focal length, the latter being integrated in the image processing process to allow the identification of the objects present in the field of the camera. Among the interesting objects in a football match, there is the movement of players j1 to j8, ball 6 and referee 7.
FIG. 2 represents a system comprising several devices 10, 11 and 12 according to the invention as well as a system according to the invention.
The cameras 1, 2, 3 and 4 transmit the video images of the football match taking place as shown in FIG. 1 to an image processing device 7.
The module 7 receives the video data from the cameras before retransmitting them to a module 9 for editing the data. The division shown in FIG. 2 is a division into functional blocks that can be physically grouped in the same device or separated in disjoint devices.
The aim of the image processing module 7 is, after real-time analysis of the video data it has at its disposal, to position each object present on the field, for example the players, the referee and the ball, and to associate them with a set of synthetic information.
Among the synthetic information, mention may be made of: - the instant of analysis, - the object identifier, - the absolute positions / coordinates of the object in the analysis field or the relative positions / coordinates compared to the last transmission.
The synthetic information generated and regularly updated mainly concerns the dynamic information of the football match. The information such as the representation of the field, goals, the number of players, are transmitted at the start of the application on the devices 10, 11 and 12. This information is then stored by the devices 10, 11 and 12 which put them day with the synthetic information. This information can also be stored by the module 9, which allows them to be replayed later in response to a request from a user.
In other embodiments, it may be envisaged to transmit to each update, all the information, including information showing no change from one update to another. This is, however, penalizing in terms of bit rate on the network 13.
In order to obtain the information concerning the identifier of the object as well as the positions or coordinates of the elements of interest to the user, the objects are firstly detected in the video image.
In order to detect the players and the referee, it is possible to perform face detection by known methods and in particular by using, for example, the method described in the article by Ming-Hsuan Yang, David J. Kriegman and Narendra Ahuja, Detecting Faces in images: a survey, published by the IEEE in transaction volume 24 n [deg] 1 in 2002.
Other methods can be used based on model approaches seeking to define in a simple way the desired object, in terms of silhouette, color, light variation, texture, or based on appearance approaches based on nonparametric decision methods (or classifiers) such as neural networks or based on methods combining both approaches.
When the faces are detected, this face is associated with the name of the player or / and his jersey number. In order to proceed to the identification of the player, one analyzes various elements which can make it possible to identify it.
Indeed, from the analysis of the face, it is difficult to identify the player, this requiring very fine detection details. By cons, the player can be identified by making an analysis of his clothes that have different elements of identification including: - his name, usually written on the back of the shirt, - his number, registered on the shirt or shorts, - the color of his shirt that allows you to know, once the analyzed number, which team the player belongs to, - advertising on his jersey, which also allows to know which team the player belongs to.
Different methods of image analysis can be used to detect this information, including known methods of color analysis, form for number detection, or advertising.
It is thus possible to identify each player on the field as well as the referee. The latter can be identified by also applying color detection techniques, his shirt is usually black or not numbered.
The balloon is detected by edge and color detection.
The positions of the players, the ball, and the referee are identified. The positions of the different entities of interest are reconstructed by triangulation. To do this, it is necessary for the entity (player, ball, referee) to be reconstructed to appear in at least two images. The first step of the reconstruction consists of locating in the images the two-dimensional (2D) position in the image of the entity to be reconstructed (if it exists). A conventional mapping algorithm using the color, texture, and contour information can be used. Once this mapping is done, a conventional three-dimensional (3D) triangulation can be performed under the following conditions:
The entity appears in at least two images, The intrinsic parameters (focal length, pixel size, angle between the axes of the pixels, position of the projection of the optical center) are known, The extrinsic parameters (3D position of the camera) are known, If the entity to be reconstructed is of interest; that is to say, it is part of the entities to be displayed, the first condition can be considered as verified. The two following conditions are fulfilled by means of the use of initially calibrated cameras (known intrinsic and extrinsic parameters) then transmitting to the processing unit the zoom and possibly the 3D position of the camera relative to the initial state (these data are transmitted by most current cameras in the form of metadata associated with the video stream, all encapsulated by means of the MXF standard).
These mapping and triangulation steps are repeated for each entity whose position is sought.
The position information for each characteristic element of the football match is associated with a time information to which the position corresponds. The positions of several characteristic elements can also be associated with the same time information.
The synthetic data 8 is then transmitted to the module 9 for editing the data.
The module 9 formats the synthetic information generated by the module 7 so that these data are understood by the receiving terminals 10, 11 and 12.
The synthetic position information as described above is absolute information.
In another embodiment, it is also possible to generate positional information relative to previously sent information. This relative position information then corresponds to displacement information rather than position information.
According to this preferred embodiment, the data is formatted in XTML format and the protocol used for transmission is the http protocol (acronym for HyperText Transfer Protocol).
The data editing module 9 also comprises storage means and transmission means for transmitting the reformatted synthetic information, also called parameters, to a broadcast network 13.
The module 9 also stores the information transmitted in real time to the various terminals. This is particularly advantageous when the device according to the invention is used for educational purposes, for example to study the trajectories of the players in the field, the speed of movement. The information is archived centrally on the module 9, they can then be rebroadcast on demand to any terminal claiming them, paid or free. For this purpose, the module 9 may be provided with a hard disk drive or DVD or any other storage means.
The module 9 synthesizes the synthetic information it receives and optionally combines it with previously stored or otherwise available information to generate textual type information to transmit it with the synthetic information to the terminals 10, 11 and 12.
Among these textual information, it is possible to summarize the important actions that took place and in particular, among a non-exhaustive list, the number of goals, the number of free kicks, the number of shots missed, successful passes, kilometers traveled, goals scored, the number of red or yellow cards received, the number of penalties sanctioned, the number of penalties forgotten.
Among these textual information, it is also possible to transmit information on players, such as nationality, clubs attended, age, information on the history of previous seasons, statistics of the season.
The synthetic information is transmitted to terminals 10, 11 and 12 at regular or semi-regular intervals, or according to the synthetic information to be transmitted. For example, when there is a goal, it is important to quickly retransmit the corresponding synthetic information.
According to this embodiment, the synthetic information is transmitted every 6 seconds, this gives a sense of continuity to the user.
According to other embodiments, it is possible to transmit from 1 to 25 images per second.
The module 9 for editing the data is preferably connected to a network 13 of IP type meaning Internet Protocol by the links 13.
The network 13 can also be a satellite, terrestrial or digital type network, such as DVB (acronym for Digital Video Broadcast), in which case the module 9 is connected to the network via the link 15.
It is also possible in other embodiments to use the http protocol, carried on the link 16.
It is also possible in other embodiments to use a packet transmission protocol as illustrated hereinafter which illustrates the small amount of data to be transmitted in the case of packet transmission.
Each transmitted packet is transmitted according to one of the following grammars:
Let <package> :: = <time><listpositions> TAG_FIN_PACKER or <package> :: <time><nbpositions><listpositions> each of these constituent terms being constituted according to the following grammar
For a football game each package may consist of up to 4 bytes for time (absolute), 88 bytes for 22 players, 9 bytes for 3 referees, 3 bytes for the ball, and 1 byte for the end packet or the number of positions, a total of 105 bytes.
This data can be compressed if we think in bit encoding rather than byte boundaries.
In the context of data transmission in XML format, the syntax of the transmitted data may correspond to the grammar described in the following example:
The devices 10, 11 and 12 have simple graphics capabilities.
By simple graphics capability, it can be understood that the devices 10, 11 and 12 are not able to play video. This means that the invention is mainly intended for PDA type terminals, personal computers or mobile phones, but not exclusively for these terminals. It can of course also address terminals with broad graphics capabilities, the total capacity is not necessary to implement the invention.
The devices 10, 11 and 12 have appropriate interfaces enabling them to read the data coming from the network 13.
In the preferred embodiment, the devices 10, 11 and 12 have browsers for connecting to the internet.
When the network 13 is an Internet-type network, the devices 10, 11 and 12 are equipped with reception means having an IP interface enabling them to understand the internet protocol.
The devices 10, 11 and 12 receive, in the form of parameters, the representative information for updating a synthetic display of the football game according to the parameters.
An example of the information displayed on the devices 10, 11 and 12 is shown in FIG.
Part of the screen is dedicated to the graphic information of the synthetic display of the football game. Another part of the screen is dedicated to textual information.
The textual information can also be viewed as a hyperlink when a player or any other element of the terrain is selected by means of a cursor or mouse.
During the first reception, the synthetic information contains complete information on the field, an absolute position of the players, the ball and the referee in the field.
At subsequent receptions, the devices 10, 11 and 12 display the positions of the players, the ball and the referee by linear interpolation between two successive positions for each point.
In other embodiments, the devices 10, 11 and 12 display the positions of the players, ball and referee by Gaussian interpolation between four successive positions for each point.
When a player's position has not been refreshed for some time, because he has not moved or because he is out of the field of the cameras, the devices 10, 11 and 12 slowly remove the player of the screen, its representative color then melting with that of the ground.
The player reappears when the devices 10, 11 and 12 receive again synthetic information concerning him.
The synthetic displays may consist of points of 3 different colors to distinguish the 2 teams and the ball, or discs of 3 different colors including the numbers of the two teams' jerseys plus a different stud for the ball, or the numbers of the two teams. players displayed in 2 colors plus a stud distinguishing the ball, or representations of three-dimensional more faithful players and their jerseys and the ball.
1. Display device (10, 11, 12) having simple graphic capabilities, visual data representative of an event occurring in real time and captured in the form of video data, characterized in that it comprises means for receiving parameters representative of said event extracted from the captured video data, means for updating, on the display device (10, 11, 12), a synthetic display of said event as a function of said parameters.