FR2758429A1 - METHOD AND INSTALLATION FOR PRODUCING A FILMED SEQUENCE OF A SPORTS ACTIVITY ENHANCED WITH REAL-TIME INSERTIONS OF VIRTUAL ELEMENTS - Google Patents
METHOD AND INSTALLATION FOR PRODUCING A FILMED SEQUENCE OF A SPORTS ACTIVITY ENHANCED WITH REAL-TIME INSERTIONS OF VIRTUAL ELEMENTS Download PDFInfo
- Publication number
- FR2758429A1 FR2758429A1 FR9700296A FR9700296A FR2758429A1 FR 2758429 A1 FR2758429 A1 FR 2758429A1 FR 9700296 A FR9700296 A FR 9700296A FR 9700296 A FR9700296 A FR 9700296A FR 2758429 A1 FR2758429 A1 FR 2758429A1
- Authority
- FR
- France
- Prior art keywords
- virtual
- cameras
- person
- filmed
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
La présente invention concerne le domaine des retransmissions sportives télévisuelles. The present invention relates to the field of television sports broadcasts.
L'invention concerne plus particulièrement un procédé de production d'une séquence filmée d'une activité sportive comportant un terrain d'évolution sur lequel évolue au moins une personne physique, notamment un joueur ou un concurrent, et un objet mobile, notamment un ballon. The invention relates more particularly to a method of producing a filmed sequence of a sporting activity comprising a playing field on which at least one natural person, in particular a player or a competitor, and a moving object, in particular a ball .
L'invention trouve plus particulièrement à s'appliquer aux retransmissions de rencontres de sports collectifs, notamment de football, mais elle n'est nullement limitée à ce type de rencontres et peut aussi concerner d'autres sports individuels tels que par exemple le tennis, ou l'athlétisme. The invention is more particularly applicable to retransmissions of meetings of collective sports, in particular football, but it is in no way limited to this type of meetings and may also relate to other individual sports such as for example tennis, or athletics.
Les retransmissions télédiffusées de rencontres sportives, à caractère national ou international, rencontrent un sucés croissant auprès des téléspectateurs et font à cet égard l'objet de négociations commerciales importantes relatives aux droits de retransmission et aux diffusions publicitaires qui les accompagnent. The televised retransmissions of sports events, whether national or international, are meeting with growing success with viewers and are in this respect the subject of important commercial negotiations relating to retransmission rights and the advertising broadcasts which accompany them.
Paradoxalement, le contenu des retransmissions, audelà du simple déroulement de l'action sportive en cours, a très peu évolué, notamment en ce qui concerne les compléments des images, c'est à dire ce que l'on peut qualifier d'une manière générale de commentaire(s). Paradoxically, the content of the retransmissions, beyond the simple course of the sporting action in progress, has changed very little, in particular with regard to the complements of the images, ie what can be qualified in a way general comment (s).
En effet, la retransmission classique d'une rencontre de football, qu'il s'agisse d'une retransmission en direct ou en différé, se résume à la diffusion d'images réelles filmées accompagnées d'un commentaire sonore généralement prononcé et enregistré en direct par un ou plusieurs commentateurs. In fact, the classic retransmission of a football match, whether it be a live or deferred retransmission, comes down to the broadcasting of real filmed images accompanied by a sound commentary generally pronounced and recorded in direct by one or more commentators.
Quelles que soient les qualités des commentateurs, professionnels de la télévision, du milieu sportif et/ou du journalisme, leurs prestations sont similaires à celles d'une diffusion radiophonique, c'est à dire qu'ils ne sont en général pas en situation technique d'apporter d'autres commentaires que ceux résultant de leur propre vision, analyse et compréhension de la phase de jeu en cours, leur perception de cette phase de jeu étant en général double, c'est à dire qu'ils peuvent en prendre connaissance instantanément en direct, si ils sont présents dans l'enceinte sportive dans laquelle se déroule la rencontre, et parallèlement sur un écran ou moniteur vidéo qui leur restitue les images réelles filmées qui sont diffusées à l'intention des téléspectateurs. Whatever the qualities of the commentators, professionals of television, the sports environment and / or journalism, their services are similar to those of a radio broadcast, that is to say that they are generally not in a technical situation to provide comments other than those resulting from their own vision, analysis and understanding of the game phase in progress, their perception of this game phase being generally twofold, that is to say that they can become aware of it instantly live, if they are present in the sports venue in which the meeting takes place, and at the same time on a screen or video monitor which reproduces to them the real filmed images which are broadcast for the benefit of viewers.
Afin d'améliorer le commentaire, et notamment afin d'enrichir son contenu technique relatif à l'analyse du jeu, il a déjà été proposé d'adjoindre aux commentateurs des assistants qui effectuent des analyses statistiques de certains aspects du jeu et qui mettent leurs résultats à la disposition du réalisateur responsable de la diffusion de la rencontre et/ou des commentateurs. In order to improve the commentary, and in particular to enrich its technical content relating to the analysis of the game, it has already been proposed to add to the commentators assistants who carry out statistical analyzes of certain aspects of the game and who put their results available to the director responsible for broadcasting the meeting and / or the commentators.
Ces compléments peuvent être mis en images, c'est-àdire qu'ils font l'objet de la réalisation de "panneaux" informatifs qui sont insérés en cours de diffusion, le plus généralement pendant des temps morts au cours desquels ces panneaux sont à leur tour commentés oralement. These complements can be put in images, that is to say that they are the subject of the production of informative "panels" which are inserted during broadcasting, generally during idle times during which these panels are in turn commented orally.
Par ailleurs, la complexité des règles de jeu, notamment des sports collectifs tels que le football, le rugby, le basketball, etc., rend nécessaire d'enrichir les retransmissions télévisées de compléments qui permettent d'illustrer à l'image la mise en oeuvre des règles assurée par un ou plusieurs arbitres, et ceci dans le but d'améliorer l'éducation des spectateurs et du public en vue notamment de promouvoir un comportement fair-play et serein du public lors des rencontres. In addition, the complexity of the rules of the game, in particular collective sports such as football, rugby, basketball, etc., makes it necessary to enrich the television broadcasts with supplements which make it possible to illustrate the implementation work of the rules ensured by one or more referees, and this in order to improve the education of the spectators and the public with a view in particular to promoting a fair play and serene behavior of the public during the meetings.
On sait par ailleurs que la formation des sportifs en vue de l'amélioration de leurs performances et de la qualité du jeu sportif, fait de plus en plus appel à l'utilisation d'enregistrements télévisuels, qu'ils s'agissent de rencontres officielles précédentes ou de séquences d'entraînements, qui sont à leur tour commentés par les responsables de la formation et notamment par l'entraîneur. We also know that the training of sportspeople with a view to improving their performance and the quality of sports play, increasingly requires the use of television recordings, whether they are official meetings previous or training sequences, which are in turn commented on by those responsible for training and in particular by the coach.
Dans cette tâche, et malgré sa compétence et sa culture technique et tactique, I'entraîneur se trouve confronté aux mêmes difficultés que le commentateur des retransmissions publiques, c'est à dire qu'ils ne dispose pas d'outils de commentaire visuel des images réelles filmées autre que des panneaux et des tableaux indépendants de l'image diffusée. In this task, and despite his skill and his technical and tactical culture, the coach is faced with the same difficulties as the commentator of public broadcasts, that is to say that they do not have tools for visual commentary of images. real films other than panels and tables independent of the image broadcast.
L'invention a pour but de remédier à ces inconvénients en proposant un nouveau procédé de production d'une séquence filmée qui permette d'assortir sa diffusion d'un commentaire visuel en trois dimensions et en temps réel. The object of the invention is to remedy these drawbacks by proposing a new method for producing a filmed sequence which makes it possible to match its distribution with a visual commentary in three dimensions and in real time.
Dans ce but, I'invention propose un procédé de production d'une séquence filmée d'une activité sportive comportant un terrain d'évolution sur lequel évolue au moins une personne physique, notamment un joueur ou un concurrent, et un objet mobile, notamment un ballon, caractérisé en ce qu'il consiste à
- filmer en temps réel une séquence de déroulement de l'activité sportive au moyen d'un réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe lié au terrain, de ses mouvements, de sa mise au point optique et d'un signal d'horloge;
- acquérir en temps réel la position instantanée de chaque personne évoluant sur le terrain et de l'objet mobile par analyse, au moyen d'une unité informatique, des images vidéo filmées par ledit réseau de caméras;
- produire cycliquement une matrice de données numériques représentatives de la position de chaque personne et de l'objet mobile dans ledit repère et mémoriser les matrices successives dans une unité informatique de traitement;
- construire au moins un élément visuel virtuel, notamment en trois dimensions, d'information et/ou de commentaire au moyen d'une unité informatique de production d'éléments visuels en fonction desdites données
- synchroniser le réseau de caméras et les unités informatiques; et
- fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit en l'insérant dans l'image vidéo filmée de manière à permettre la diffusion, en temps réel ou en différé, d'une séquence filmée de l'activité sportive comportant ledit élément visuel virtuel d'information et/ou de commentaire.To this end, the invention provides a method of producing a filmed sequence of a sporting activity comprising a playing field on which at least one natural person, in particular a player or a competitor, and a moving object, in particular a balloon, characterized in that it consists of
- film in real time a sequence of sports activity using a network of cameras, each of which is equipped with a system generating data representative of its position in space relative to a fixed reference point linked to the terrain , its movements, its optical focusing and a clock signal;
- acquire in real time the instantaneous position of each person moving on the ground and of the mobile object by analysis, by means of a computer unit, of the video images filmed by said network of cameras;
- cyclically produce a matrix of digital data representative of the position of each person and of the mobile object in said frame and store the successive matrices in a computer processing unit;
- construct at least one virtual visual element, in particular in three dimensions, of information and / or commentary by means of a computer unit for producing visual elements as a function of said data
- synchronize the network of cameras and computer units; and
- fabricate a video image from a filmed video image and said virtual element constructed by inserting it into the filmed video image so as to allow the broadcasting, in real time or delayed, of a filmed sequence of the sports activity comprising said virtual visual element of information and / or commentary.
Selon d'autres caractéristiques du procédé selon l'invention
- L'étape de construction de l'élément virtuel consiste à
- effectuer une analyse et un traitement desdites données pour calculer des informations représentatives de l'évolution dans le temps d'une personne ou de l'objet mobile (vitesse-accélération-trajectoire-mobilité-etc.) ; et
- construire une représentation virtuelle de ces informations destinée à être insérée
- L'étape de construction de l'élément virtuel consiste à
- effectuer une analyse et un traitement desdites données pour calculer des positions relatives des personnes et/ou de l'objet mobile par rapport au terrain d'évolution ; et
- construire un objet visuel virtuel "fixe" associé auxdites positions relatives (cône de tir-position d'un murangle de vue) et destiné à être inséré
- L'étape de construction de l'élément virtuel consiste à
- effectuer une analyse et un traitement desdites données pour déterminer l'évolution dans le temps d'au moins une personne et/ou de l'objet mobile ; et
- associer un élément virtuel de structure connue à ladite personne ou à l'élément mobile pour construire un objet virtuel à insérer mobile lors du déroulement de la séquence
- L'étape de construction de l'élément virtuel consiste à
- effectuer une analyse et un traitement desdites données pour calculer des informations statistiques relatives au déroulement de l'activité sportive et/ou à l'évolution et aux déplacements des personnes et de l'objet mobile ; et
- construire une représentation virtuelle de ces informations destinées à être insérée
- L'étape d'acquisition en temps réel de la position instantanée de chaque personne évoluant sur le terrain consiste à acquérir la position de ces personnes dans un repère à au moins deux dimensions correspondant aux dimensions du terrain d'évolution
- L'étape d'acquisition en temps réel de la position instantanée de l'objet mobile consiste à acquérir la position de cet objet dans un repère à trois dimensions dont deux correspondant aux dimensions du terrain d'évolution
- que l'étape d'acquisition en temps réel de la position instantanée de l'objet mobile consiste à filmer l'objet mobile au moyen de deux caméras appartenant audit réseau de caméras;
- le procédé comporte une étape additionnelle consistant fabriquer une séquence d'images vidéo virtuelles à partir des éléments virtuels construits de manière à permettre la diffusion en différé de cette séquence d'images vidéo virtuelles en association avec la diffusion de ladite séquence filmée. According to other characteristics of the process according to the invention
- The stage of construction of the virtual element consists of
- perform an analysis and processing of said data to calculate information representative of the evolution over time of a person or of the moving object (speed-acceleration-trajectory-mobility-etc.); and
- build a virtual representation of this information intended to be inserted
- The stage of construction of the virtual element consists of
- perform an analysis and processing of said data to calculate the relative positions of people and / or the moving object relative to the terrain of evolution; and
- construct a "fixed" virtual visual object associated with said relative positions (shooting-position cone of a viewing angle) and intended to be inserted
- The stage of construction of the virtual element consists of
- perform an analysis and processing of said data to determine the evolution over time of at least one person and / or of the mobile object; and
- associate a virtual element of known structure with said person or with the mobile element to construct a virtual object to be inserted mobile during the course of the sequence
- The stage of construction of the virtual element consists of
- perform an analysis and processing of said data to calculate statistical information relating to the progress of the sporting activity and / or the evolution and movement of people and of the mobile object; and
- build a virtual representation of this information intended to be inserted
- The step of acquisition in real time of the instantaneous position of each person evolving on the ground consists in acquiring the position of these people in a reference frame with at least two dimensions corresponding to the dimensions of the terrain of evolution
- The step of acquiring the instantaneous position of the moving object in real time consists in acquiring the position of this object in a three-dimensional frame of reference, two of which correspond to the dimensions of the terrain of evolution
- That the step of real-time acquisition of the instantaneous position of the mobile object consists in filming the mobile object by means of two cameras belonging to said network of cameras;
- The method comprises an additional step consisting in manufacturing a sequence of virtual video images from virtual elements constructed so as to allow the delayed broadcasting of this sequence of virtual video images in association with the broadcasting of said filmed sequence.
L'invention propose aussi une installation pour la mise en oeuvre du procédé selon l'invention, caractérisée en ce qu'elle comporte
- un réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe lié au terrain, de ses mouvements, de sa mise au point optique et d'un signal d'horloge;
- une unité informatique d'acquisition en temps réel de la position instantanée de chaque personne évoluant sur le terrain et de l'objet;
- une unité informatique pour produire cycliquement une matrice de données numériques représentatives de la position de chaque personne et de l'objet mobile dans ledit repère et mémoriser les matrices;
- une unité informatique pour construire au moins un élément visuel virtuel d'information et/ou de commentaire en fonction desdites données
- des moyens pour synchroniser le réseau de caméras et les unités informatiques; et
- des moyens pour fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit.The invention also provides an installation for implementing the method according to the invention, characterized in that it comprises
- a network of cameras, each of which is equipped with a system generating data representative of its position in space with respect to a fixed reference point linked to the terrain, its movements, its optical focusing and a signal d 'clock;
- a computer unit for real-time acquisition of the instantaneous position of each person moving on the ground and of the object;
- a computer unit for cyclically producing a matrix of digital data representative of the position of each person and of the mobile object in said coordinate system and storing the matrices;
- a computer unit to build at least one virtual visual element of information and / or comment based on said data
- means for synchronizing the network of cameras and the computer units; and
- Means for manufacturing a video image from a filmed video image and from said constructed virtual element.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui va suivre pour la compréhension de laquelle on pourra se reporter aux dessins annexés dans lesquels les figures 1 à 7 sont des schémas illustrant des exemples d'éléments virtuels insérés en application du procédé selon l'invention. Other characteristics and advantages of the invention will appear on reading the description which follows for the understanding of which reference may be made to the appended drawings in which FIGS. 1 to 7 are diagrams illustrating examples of virtual elements inserted in application of the method according to the invention.
La description qui va suivre, faite à titre d'exemple non limitatif, est relative à la retransmission télévisée d'une rencontre de football. The description which follows, given by way of nonlimiting example, relates to the televised retransmission of a football match.
Une telle rencontre se déroule sur un terrain de jeu, en plein air ou dans une enceinte fermée, sur lequel évoluent deux équipes de onze joueurs chacune, un arbitre de terrain et deux arbitres assistants appelés juges de touche, soit vingt cinq personnes physiques en mouvement, et un ballon mobile qui constitue l'objet mobile au sens de l'invention. Such a meeting takes place on a playing field, in the open air or in a closed enclosure, on which play two teams of eleven players each, a field referee and two assistant referees called touch judges, i.e. twenty five physical persons in movement , and a mobile balloon which constitutes the mobile object within the meaning of the invention.
Les vingt-cinq acteurs personnes physiques évoluent globalement dans deux dimensions, c'est à dire dans le plan du terrain qui est défini, dans un repère cartésien orthonormé par deux axes horizontaux perpendiculaires X et Y, correspondant par exemple à une ligne latérale délimitant le terrain, dite ligne de touche, et à une ligne transversale dite ligne de but. Les évolutions réduites en hauteur des joueurs peuvent être négligées dans le cas du football ou par exemple du rugby, mais être importantes et prises en compte dans le cadre du procédé selon l'invention pour d'autres sports tels que le basket-ball ou le volley-ball. The twenty-five natural person actors evolve globally in two dimensions, that is to say in the plane of the terrain which is defined, in a Cartesian coordinate system orthonormal by two perpendicular horizontal axes X and Y, corresponding for example to a lateral line delimiting the pitch, called touchline, and a transverse line called goal line. The evolutions reduced in height of the players can be neglected in the case of football or for example of rugby, but be important and taken into account within the framework of the method according to the invention for other sports such as basketball or volleyball.
Au contraire, le ballon évolue en permanence en trois dimensions sur le terrain, c'est à dire que la connaissance de sa position nécessite de connaître ses coordonnées [x,y,z] dans un repère à trois dimensions qui est constitué du repère
X, Y dans lequel peuvent être déterminées les positions des joueurs et des arbitres, complété par un axe vertical concourant Z dont l'origine correspond par exemple au sol.On the contrary, the ball constantly evolves in three dimensions on the ground, that is to say that knowing its position requires knowing its coordinates [x, y, z] in a three-dimensional frame which consists of the frame
X, Y in which the positions of the players and the referees can be determined, completed by a concurrent vertical axis Z whose origin corresponds for example to the ground.
On peut ainsi définir un repère géométrique fixe par rapport au terrain. It is thus possible to define a fixed geometric reference with respect to the terrain.
La réalisation d'une séquence filmée de l'action sportive fait traditionnellement appel à plusieurs caméras vidéo qui sont généralement implantées autour du terrain, en altitude et/ou au niveau du sol, les caméras pouvant être fixes ou mobiles et étant de plus à focale variable. The realization of a filmed sequence of the sporting action traditionally calls upon several video cameras which are generally established around the ground, in altitude and / or on the level of the ground, the cameras being able to be fixed or mobile and being in addition with focal variable.
Cet agencement connu permet au réalisateur de choisir parmi plusieurs images disponibles simultanément celle qui est diffusée instantanément, notamment en fonction du déroulement du jeu. This known arrangement allows the director to choose from several images available simultaneously that which is broadcast instantly, in particular depending on the progress of the game.
Le procédé selon l'invention propose d'utiliser un réseau de caméras vidéo qui sont d'un type particulier mais qui sont les caméras qui permettent la capture classique des images vidéo réelles utilisées pour la réalisation classique de la séquence filmée, c'est à dire qu'il n'est en aucune manière fait appel à un réseau particulier et supplémentaire de caméras pour l'acquisition en temps réel de la position instantanée des acteurs sur le terrain et du ballon. The method according to the invention proposes to use a network of video cameras which are of a particular type but which are the cameras which allow the conventional capture of the real video images used for the classic production of the filmed sequence, ie to say that it is in no way called upon a particular and additional network of cameras for the acquisition in real time of the instantaneous position of the actors on the ground and of the balloon.
Les caméras utilisées sont particulières au sens de l'invention car chacune d'entre elle comporte un système générateur de données représentatives de sa position dans l'espace du terrain, c'est à dire par rapport au repère mentionné précédemment, des mouvements de la caméra, et de sa mise au point, c'est à dire de la distance focale de son système optique. The cameras used are particular within the meaning of the invention because each of them comprises a system generating data representative of its position in the space of the ground, that is to say with respect to the previously mentioned reference point, movements of the camera, and its focus, ie the focal length of its optical system.
Grâce à l'utilisation de telles caméras dites "motion control", et après une étape d'initialisation de chaque caméra dans le repère, il est possible d'utiliser chaque image de chaque caméra pour en analyser le contenu en vue d'acquérir en temps réel, à partir de l'ensemble des images fournies simultanément par les caméras du réseau, la position instantanée x,y de chaque acteur et du ballon x,y,z. A titre de complément, chaque caméra peut être munie de moyens télémétries. Thanks to the use of such cameras called "motion control", and after an initialization step of each camera in the coordinate system, it is possible to use each image of each camera to analyze the content in order to acquire in real time, from the set of images supplied simultaneously by the network cameras, the instantaneous position x, y of each actor and of the balloon x, y, z. As a complement, each camera can be provided with telemetry means.
Chaque caméra peut être de type analogique, les images étant ensuite numérisées, ou être des caméras numériques. Each camera can be of analog type, the images then being digitized, or be digital cameras.
La notion de simultanéité en vue de l'analyse des images nécessite bien entendu que les caméras du réseau soient synchronisées, c'est à dire que chacune d'entre elles génère un signai d'horloge. The notion of simultaneity for the purpose of image analysis naturally requires that the network cameras be synchronized, that is to say that each of them generates a clock signal.
On est ainsi en mesure de connaître à chaque instant la position dans l'image d'une caméra de chaque acteur et/ou du ballon et d'associer à cette position un triplet, ou un doublet de coordonnées x, y, z. We are thus able to know at all times the position in the image of a camera of each actor and / or of the balloon and to associate with this position a triplet, or a doublet of coordinates x, y, z.
Grâce à l'agencement des caméras en réseau et coordonnées, une unité informatique faisant partie de l'installation pour la mise en oeuvre du procédé selon l'invention permet de produire cycliquement une matrice de données numériques mathématiques qui sont représentatives de la position de chaque acteur et du ballon. Thanks to the arrangement of networked and coordinated cameras, a computer unit forming part of the installation for implementing the method according to the invention makes it possible to cyclically produce a matrix of mathematical digital data which are representative of the position of each actor and balloon.
Cette méthode de capture des coordonnées spatiales est particulièrement avantageuse car elle utilise les mêmes caméras que celles utilisées pour la réalisation des images réelles et elle ne nécessite pas d'implanter des émetteurs radiofréquence sur les acteurs et sur le ballon, émetteurs qui ne sont pas admis dans les règlements sur l'équipement des joueurs et qui imposent de plus de disposer sur chaque terrain d'un réseau de récepteurs radiofréquence. This method of capturing spatial coordinates is particularly advantageous because it uses the same cameras as those used for producing the real images and it does not require installing radio frequency transmitters on the actors and on the ball, transmitters which are not admitted in the regulations on the equipment of the players and which moreover impose to have on each ground a network of radio frequency receivers.
Du fait du cycle vingt-quatre images par seconde utilisé en vidéo, il peut être produit une nouvelle matrice vingt-quatre fois par seconde. Due to the twenty-four frames per second cycle used in video, a new matrix can be produced twenty-four times per second.
Les moyens d'analyse des images vidéo des caméras du réseau sont de type(s) connus(s) tels que par exemple ceux commercialisés par la Société HYMATOM. The means for analyzing the video images of the network cameras are of known type (s) such as, for example, those sold by the company HYMATOM.
Selon la technique la plus courante, on numérise les images et on les analyse ensuite pixel par pixel, analyse qui, outre la détermination des coordonnées recherchées, est ensuite utilisée lors de la phase d'insertion des éléments virtuels. According to the most common technique, the images are digitized and then analyzed pixel by pixel, an analysis which, in addition to determining the coordinates sought, is then used during the phase of insertion of the virtual elements.
Selon un autre procédé, et si l'on connaît parfaitement les paramètres optiques de conception et de mise au point des caméras utilisées, on réalise une analyse photogrammétrique de chaque image, sans passer par une étape de numérisation, c'est-à-dire en mettant en oeuvre les principes de la stéréophotographie. Dans ce cas, il n'est pas nécessaire de disposer d'un grand nombre de caméras croisées, une ou deux caméras pouvant permettre de reconstituer les coordonnées tridimensionnelles de tous les points caractéristiques de chaque image vidéo, notamment en utilisant le signal vidéo de base pour la retransmission dit signal "broadcast". According to another method, and if the optical design and development parameters of the cameras used are perfectly known, a photogrammetric analysis of each image is carried out, without going through a digitization step, that is to say by implementing the principles of stereophotography. In this case, it is not necessary to have a large number of crossed cameras, one or two cameras being able to make it possible to reconstruct the three-dimensional coordinates of all the characteristic points of each video image, in particular by using the basic video signal. for retransmission called "broadcast" signal.
Pour faciliter l'acquisition de la position du mobile constitué par le ballon, il peut par exemple être fait appel à deux caméras croisées affectées à la poursuite du ballon et de son environnement immédiat, cette capture étant manuelle ou automatisée. To facilitate the acquisition of the position of the mobile constituted by the balloon, it can for example be called upon by two crossed cameras assigned to the pursuit of the balloon and its immediate environment, this capture being manual or automated.
Les moyens d'analyse d'images pour la détermination des coordonnées des acteurs peuvent par exemple comporter un calculateur d'analyse d'images en temps réel pour chaque joueur, I'ensemble des calculateurs étant géré par un module de centralisation qui gère notamment le passage d'un joueur d'une caméra à l'autre, qui gère les conflits tels que les occlusions et les collisions, automatiquement ou avec l'aide d'un assistant personne physique. The image analysis means for determining the coordinates of the actors may for example include a real-time image analysis calculator for each player, all of the computers being managed by a centralization module which notably manages the passage of a player from one camera to another, which manages conflicts such as occlusions and collisions, automatically or with the help of a personal assistant.
Le traitement par calcul en temps réel nécessite que l'unité informatique soit synchronisée avec le réseau de caméras elles-mêmes synchronisées. Processing by real-time calculation requires that the computer unit be synchronized with the network of cameras themselves synchronized.
A partir desdites matrices de données il est possible de construire au moins un élément virtuel d'information ou de commentaire au moyen d'une unité informatique de production d'éléments visuels, elle aussi synchronisée. From said data matrices it is possible to construct at least one virtual element of information or comment using a computer unit for producing visual elements, which is also synchronized.
Cet élément virtuel et visuel de commentaire, notamment en trois dimensions, est destiné à être inséré dans les images vidéo réelles filmées de manière à permettre la diffusion en temps réel ou en différé d'une séquence filmée comportant l'élément de commentaire inséré. This virtual and visual comment element, in particular in three dimensions, is intended to be inserted in the real video images filmed so as to allow the broadcasting in real time or delayed of a filmed sequence comprising the comment element inserted.
L'insertion de l'élément virtuel en vue de la fabrication des images vidéo "augmentées" destinées à être diffusées est effectuée par des moyens informatiques connus comportant au moins un calculateur exploitant un programme d'insertion en temps réel. The insertion of the virtual element for the production of "augmented" video images intended to be broadcast is carried out by known computer means comprising at least one computer operating a real-time insertion program.
On donnera maintenant des exemples des éléments virtuels destinés à être insérés en vue de constituer un commentaire visuel de l'action sportive. We will now give examples of the virtual elements intended to be inserted in order to constitute a visual commentary on the sporting action.
A partir des données spatio-temporelles préalablement déterminées, il est par exemple possible de calculer les trajectoires du ballon et des joueurs, de construire une représentation virtuelle de ces trajectoires et de les insérer dans les images comme cela est schématisé à la figure 1 sur laquelle on a représenté la trajectoire globale du ballon B au sol et en l'air, d'un but à l'autre. On the basis of spatio-temporal data previously determined, it is for example possible to calculate the trajectories of the ball and the players, to construct a virtual representation of these trajectories and to insert them into the images as is shown diagrammatically in FIG. 1 on which the overall trajectory of the ball B has been shown on the ground and in the air, from one goal to another.
La séquence d'images comportant l'insertion de trajectoire du ballon est diffusée en léger différé. Elle peut aussi être agrémentée de représentations virtuelles en trois dimensions telles que des "murs" M qui représentent par exemple le niveau auquel se situe le premier attaquant ou le dernier défenseur, ces éléments virtuels étant liés au joueur correspondant, c'est à dire que leur insertion en temps réel est "dynamique" en ce qu'à chaque instant de la séquence commentée par les éléments virtuels, ces derniers sont recalculés et insérés. The sequence of images including the insertion of the ball's trajectory is broadcast slightly delayed. It can also be embellished with three-dimensional virtual representations such as "walls" M which represent, for example, the level at which the first attacker or the last defender is located, these virtual elements being linked to the corresponding player, that is to say that their insertion in real time is "dynamic" in that at each instant of the sequence commented by the virtual elements, the latter are recalculated and inserted.
A la figure 2, on a représenté l'insertion d'une représentation en volume d'un "cône" virtuel de l'espace de tir dont dispose un joueur au moment de sa frappe en direction du but. Cette représentation pourrait être complété de données calculées telles que la distance du joueur par rapport au but, la distance et le temps de course du joueur avant la frappe, etc. In Figure 2, there is shown the insertion of a volume representation of a virtual "cone" of the shooting space available to a player at the time of his strike towards the goal. This representation could be supplemented with calculated data such as the distance of the player from the goal, the distance and the running time of the player before hitting, etc.
Les figures 3,4 et 5 montrent d'autre angles de prises de vues agrémentées d'un cône virtuel de tir avec par exemple l'ajout de la trajectoire du ballon. Figures 3,4 and 5 show other angles of shots embellished with a virtual shooting cone with for example the addition of the trajectory of the ball.
La représentation illustrée à la figure 6 montre l'utilisation d'un mur virtuel pour l'illustration et le commentaire de la règle du hors-jeu, le mur M étant "accroché" au dernier défenseur et se déplaçant avec ce dernier. The representation illustrated in Figure 6 shows the use of a virtual wall for the illustration and commentary of the rule of offside, the wall M being "attached" to the last defender and moving with the latter.
L'ensemble des données obtenues à partir de la capture en temps réel et l'analyse des images filmées permet l'insertion de nombreux autres éléments de commentaires. All of the data obtained from the real-time capture and analysis of the filmed images allows the insertion of many other elements of comments.
On peut par exemple insérer le nom de chaque joueur à côté de son image (voir figure 7). We can for example insert the name of each player next to their image (see Figure 7).
On peut à tout instant associer à chaque joueur des données statistiques relatives à son activité pendant la rencontre (distances parcourues, vitesse moyenne ou maximale, nombre de touches de balles, temps de possession du ballon, etc.). We can at any time associate with each player statistical data relating to their activity during the match (distances traveled, average or maximum speed, number of touches of balls, time of possession of the ball, etc.).
Ce type d'analyse statistique peut être réalisée, et ses résultats insérés globalement, pour chaque équipe. This type of statistical analysis can be performed, and its results inserted globally, for each team.
En cas d'images générales du terrain prises de haut sensiblement à la verticale du terrain, il est possible d'insérer le schéma théorique tactique de chaque équipe (placement des joueurs et modes de déplacement), ou d'insérer le schéma de jeu réel résultant d'une analyse statistique préalable des données mémorisées au cours d'une période de jeu immédiatement précédente (action de jeu, mi-temps, etc.). In the case of general images of the field taken from above, substantially vertically from the ground, it is possible to insert the tactical theoretical diagram of each team (player placement and movement modes), or to insert the actual playing diagram resulting from a prior statistical analysis of the data stored during an immediately preceding game period (game action, half-time, etc.).
D'autres statistiques telles que le nombre et la précision des tirs au but peuvent aussi faire l'objet de commentaires visuels virtuels par insertion dans des images représentant le but de densités "d'impacts" dans et autour du but, agrémentées de la chronologie des tirs au but, agrémentées de la chronologie des tirs au but. Other statistics such as the number and accuracy of shots on goal can also be the subject of virtual visual comments by insertion into images representing the goal of "impact" densities in and around the goal, embellished with the chronology. shots on goal, embellished with the chronology of shots on goal.
On peut aussi matérialiser virtuellement, en deux ou trois dimensions l'espace dans lequel le ballon a le plus souvent circulé. We can also materialize virtually, in two or three dimensions, the space in which the ball has most often circulated.
Le procédé selon l'invention permet aussi la réalisation de séquences purement virtuelles du type de celles produites dans les jeux vidéo ou l'insertion d'un élément virtuel permettant par exemple de simuler un déplacement hypothétique d'un joueur par rapport à une action réelle filmée et d'inventer ainsi un scénario alternatif de la réalité. The method according to the invention also allows the realization of purely virtual sequences of the type of those produced in video games or the insertion of a virtual element allowing for example to simulate a hypothetical movement of a player compared to a real action. filmed and thus invent an alternative scenario of reality.
Un tel scénario permet aussi l'explication de règles de jeu complexes telles que le hors-jeu. Such a scenario also allows the explanation of complex game rules such as offside.
La création de séquences de jeu virtuelles permet aussi de faire "entrer" la caméra virtuelle sur le terrain et de rediffuser une action réelle préalable d'un autre point de vue, par exemple du point de vue d'un joueur ou du ballon ou de l'arbitre. The creation of virtual game sequences also makes it possible to "enter" the virtual camera on the ground and to rebroadcast a real prior action from another point of view, for example from the point of view of a player or the ball or the referee.
Claims (10)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9700296A FR2758429B1 (en) | 1997-01-14 | 1997-01-14 | METHOD AND INSTALLATION FOR PRODUCING A FILMED SEQUENCE OF A SPORTS ACTIVITY ENHANCED WITH REAL-TIME INSERTIONS OF VIRTUAL ELEMENTS |
EP98902059A EP0923765A1 (en) | 1997-01-14 | 1998-01-13 | Method and installation for producing a film sequence of a sport activity enhanced by inserting virtual elements in real time |
PCT/FR1998/000043 WO1998032100A1 (en) | 1997-01-14 | 1998-01-13 | Method and installation for producing a film sequence of a sport activity enhanced by inserting virtual elements in real time |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9700296A FR2758429B1 (en) | 1997-01-14 | 1997-01-14 | METHOD AND INSTALLATION FOR PRODUCING A FILMED SEQUENCE OF A SPORTS ACTIVITY ENHANCED WITH REAL-TIME INSERTIONS OF VIRTUAL ELEMENTS |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2758429A1 true FR2758429A1 (en) | 1998-07-17 |
FR2758429B1 FR2758429B1 (en) | 1999-04-09 |
Family
ID=9502574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR9700296A Expired - Fee Related FR2758429B1 (en) | 1997-01-14 | 1997-01-14 | METHOD AND INSTALLATION FOR PRODUCING A FILMED SEQUENCE OF A SPORTS ACTIVITY ENHANCED WITH REAL-TIME INSERTIONS OF VIRTUAL ELEMENTS |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP0923765A1 (en) |
FR (1) | FR2758429B1 (en) |
WO (1) | WO1998032100A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2854527A1 (en) * | 2003-10-14 | 2004-11-05 | Thomson Licensing Sa | Football match video data displaying system for graphical terminal, has module storing and displaying video data, received from image processing module, on television, computer and mobile phone through internet protocol network |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2489454A (en) * | 2011-03-29 | 2012-10-03 | Sony Corp | A method of annotating objects in a displayed image |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5363297A (en) * | 1992-06-05 | 1994-11-08 | Larson Noble G | Automated camera-based tracking system for sports contests |
WO1995008816A1 (en) * | 1993-09-20 | 1995-03-30 | Jean Gabriel Daver Gil | Device for real time acquisition of data concerning moving persons |
-
1997
- 1997-01-14 FR FR9700296A patent/FR2758429B1/en not_active Expired - Fee Related
-
1998
- 1998-01-13 WO PCT/FR1998/000043 patent/WO1998032100A1/en not_active Application Discontinuation
- 1998-01-13 EP EP98902059A patent/EP0923765A1/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5363297A (en) * | 1992-06-05 | 1994-11-08 | Larson Noble G | Automated camera-based tracking system for sports contests |
WO1995008816A1 (en) * | 1993-09-20 | 1995-03-30 | Jean Gabriel Daver Gil | Device for real time acquisition of data concerning moving persons |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2854527A1 (en) * | 2003-10-14 | 2004-11-05 | Thomson Licensing Sa | Football match video data displaying system for graphical terminal, has module storing and displaying video data, received from image processing module, on television, computer and mobile phone through internet protocol network |
Also Published As
Publication number | Publication date |
---|---|
FR2758429B1 (en) | 1999-04-09 |
WO1998032100A1 (en) | 1998-07-23 |
EP0923765A1 (en) | 1999-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10758807B2 (en) | Smart court system | |
US11283983B2 (en) | System and method for providing virtual pan-tilt-zoom, PTZ, video functionality to a plurality of users over a data network | |
Stensland et al. | Bagadus: An integrated real-time system for soccer analytics | |
KR102189139B1 (en) | A Method and System for Producing a Video Production | |
US20100050082A1 (en) | Interactive Video Insertions, And Applications Thereof | |
CN1425171A (en) | Method and system for coordination and combination of video sequences with spatial and temporal normalization | |
EP3278268A1 (en) | System for the automated analisys of a sporting match | |
CN106165393A (en) | Method and system for automatic television production | |
JP7334527B2 (en) | Information processing device, information processing method, and program | |
US9087380B2 (en) | Method and system for creating event data and making same available to be served | |
CN101299214A (en) | Method of summarizing sports video and video playing system | |
US11328559B2 (en) | System and method for enabling wagering event between sports activity players with stored event metrics | |
FR2758429A1 (en) | METHOD AND INSTALLATION FOR PRODUCING A FILMED SEQUENCE OF A SPORTS ACTIVITY ENHANCED WITH REAL-TIME INSERTIONS OF VIRTUAL ELEMENTS | |
Tang et al. | Optimizing synchronization of tennis professional league live broadcast based on wireless network planning | |
Benítez et al. | Video Technology for Refereeing in Other Sports: Tennis and Rugby | |
US12002214B1 (en) | System and method for object processing with multiple camera video data using epipolar-lines | |
Ma | International Sports Competition Live Streaming System Under Computer Big Data Technology | |
Raposo | PREFACE: INTRODUCTION AND THEORETICAL FRAMEWORK | |
CN117939196A (en) | Game experience method and device | |
Desbordes et al. | DIGITAL TECHNOLOGY DEVELOPMENT AND COMMERCIAL SOLUTIONS FOR SPORTS EVENT | |
Hulth et al. | IBR camera system for live TV sport productions | |
Pingali et al. | Providing Insights into Performance, Style, and Strategy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ST | Notification of lapse |