FR2719965A1 - Television image modification method - Google Patents
Television image modification method Download PDFInfo
- Publication number
- FR2719965A1 FR2719965A1 FR9405895A FR9405895A FR2719965A1 FR 2719965 A1 FR2719965 A1 FR 2719965A1 FR 9405895 A FR9405895 A FR 9405895A FR 9405895 A FR9405895 A FR 9405895A FR 2719965 A1 FR2719965 A1 FR 2719965A1
- Authority
- FR
- France
- Prior art keywords
- target
- representation
- image
- signal
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Television Systems (AREA)
Abstract
Description
Procedé et dispositif de modification d'une même zone d'une scène dans des images successives de télévision. Method and device for modifying the same area of a scene in successive television images.
L'invention concerne un procédé et un dispositif pour modifier une même zone dans des images de télévision successives appartenant à une même séquence ; elle concerne plus particulièrement un procédé et un dispositif permettant de remplacer, dans une séquence d'images vidéo successives d'une scène, fournies par une caméra vidéo ou un enregistreur, la représentation d'une cible nondéformable par la représentation mémorisée d'un modèle ou patron. The invention relates to a method and a device for modifying the same area in successive television images belonging to the same sequence; it relates more particularly to a method and a device making it possible to replace, in a sequence of successive video images of a scene, supplied by a video camera or a recorder, the representation of a non-deformable target by the stored representation of a model or boss.
En général, la cible sera un panneau publicitaire qu'on remplacera par une représentation adaptée d'un patron mémorisé, constitué par un autre panneau publicitaire. In general, the target will be an advertising panel which will be replaced by an adapted representation of a memorized pattern, constituted by another advertising panel.
Un procédé et un dispositif permettant d'atteindre ce résultat sont décrits dans la demande de brevet PCT/FR 91/00296. A method and a device enabling this result to be achieved are described in patent application PCT / FR 91/00296.
Le procédé décrit dans ce document comporte les étapes suivantes
a) on mémorise une représentation de la cible sous forme d'un ensemble de points caractéristiques (ou marques de référence) répartis dans l'image de la scène
b) on reconnaît automatiquement, par un processus de reconnaissance de forme, au moins un sous-ensemble de l'ensemble de points caractéristiques dans chaque image courante de la séquence et on déduit un emplacement, une taille et une perspective estimés de la cible dans l'image courante des emplacements relatifs des points caractéristiques dans l'image courante
c) on transforme géométriquement un patron mémorisé en fonction de la taille de la perspective estimée de façon à faire correspondre la représentation transformée du patron à la cible dans l'image courante et
d) on insère la représentation géométriquement transformée du patron à l'image courante, à la place de la cible.The process described in this document includes the following steps
a) a representation of the target is stored in the form of a set of characteristic points (or reference marks) distributed in the image of the scene
b) at least a subset of the set of characteristic points in each current image of the sequence is automatically recognized, by a shape recognition process, and an estimated location, size and perspective of the target are deduced the current image of the relative locations of the characteristic points in the current image
c) geometrically transforming a memorized pattern according to the size of the estimated perspective so as to match the transformed representation of the pattern to the target in the current image, and
d) we insert the geometrically transformed representation of the pattern in the current image, in place of the target.
Les points caractéristiques sont constitués par des particularités de lignes de contraste radiométrique et sont définis sur des voisinages. The characteristic points are constituted by peculiarities of radiometric contrast lines and are defined on neighborhoods.
Dans le procédé tel que décrit dans le document ci-dessus, toutes les étapes sont effectuées au même emplacement et en succession, habituellement à l'emplacement de la régie de télévision, avant émission et/ou diffusion. Tous les patrons sont alors mémorisés à l'emplacement où est entièrement mis en oeuvre le procédé, et les trajets de transmission sont aussi nombreux que les types de modification. Si, en revanche, le traitement est effectué juste avant diffusion ou transmission vers un auditoire particulier, l'appareillage très complexe nécessaire pour traiter l'image doit être disponible à plusieurs emplacements et cela représente un investissement qui peut être jugé excessif. In the method as described in the document above, all the steps are carried out at the same location and in succession, usually at the location of the television control room, before transmission and / or broadcast. All the patterns are then stored at the location where the process is fully implemented, and the transmission paths are as numerous as the types of modification. If, on the other hand, the processing is carried out just before broadcasting or transmission to a particular audience, the very complex equipment necessary for processing the image must be available in several locations and this represents an investment which can be considered excessive.
Un but de l'invention est de fournir un procédé et un dispositif répondant mieux que ceux antérieurement connus aux exigences de la pratique ; en particulier, c'est un but de l'invention que de d'arriver à une grande souplesse de mise en oeuvre. An object of the invention is to provide a method and a device which meet the requirements of practice better than those previously known; in particular, it is an object of the invention to achieve great flexibility in implementation.
Le procédé peut notamment, dans une mise en oeuvre particulière, autoriser l'insertion du patron mémorisé, à la place de la cible, en un emplacement relais immédiatement avant que l'image ne soit offerte à un auditoire particulier, en ne mettant en oeuvre que des moyens simples à cet emplacement, constitué par exemple par une tête de réseau terrestre. The method can in particular, in a particular implementation, authorize the insertion of the memorized pattern, in place of the target, in a relay location immediately before the image is offered to a particular audience, by not implementing than simple means at this location, constituted for example by a terrestrial network head.
Dans ce but, les étapes a) et b) ci-dessus, qui exigent un matériel et un logiciel importants, restent effectuées au site de la régie de télévision. L'image, qui peut être non modifiée, éventuellement comprimée, est transmise avec des données d'identification, qui peuvent être chiffres, donnant au moins des coordonnées de localisation de la cible, des indications concernant les obstacles (au moins si la scène est susceptible de présenter des obstacles qui masquent la cible) et, fréquemment, des paramètres d'éclairage. De telles données peuvent être transmises avec le signal représentant l'image. A un emplacement qui peut être proche de l'auditoire particulier, on récupère les données d'identification de la cible et on les utilise pour transformer un patron stocké à cet emplacement, géométriquement et éventuellement aussi en ce qui concerne les valeurs radiométriques, avant d'insérer le patron géométriquement transformé. For this purpose, steps a) and b) above, which require significant hardware and software, remain carried out at the site of the television authority. The image, which can be unmodified, possibly compressed, is transmitted with identification data, which can be figures, giving at least target location coordinates, indications concerning obstacles (at least if the scene is likely to present obstacles that mask the target) and, frequently, lighting parameters. Such data can be transmitted with the signal representing the image. At a location which may be close to the particular audience, the target identification data is retrieved and used to transform a pattern stored at this location, geometrically and possibly also with regard to the radiometric values, before d '' insert the geometrically transformed pattern.
En d'autres termes, le procédé de l'art antérieur a été fractionné en deux parties qui peuvent etre effectuées à différents emplacements et comporte des étapes additionnelles consistant à définir la cible (et éventuellement des obstacles) par des données, à transmettre les données, à les récupérer et à les utiliser pour modifier le patron et l'insérer. In other words, the method of the prior art has been divided into two parts which can be carried out at different locations and comprises additional steps consisting in defining the target (and possibly obstacles) by data, in transmitting the data , retrieve them and use them to modify the template and insert it.
L'invention trouve une application particulièrement importante, mais non exclusive, dans les systèmes de télévision numériques et les systèmes de télévision qui utilisent un signal multiplexé comprenant un signal analogique d'image et un mutiplex numérique permettant de transmettre des données. Un exemple de système de ce dernier type est connu sous le nom de MAC-PAQUETS, conçu pour une diffusion sur un canal de satellite à une fréquence dthorloge de 12,5 MHz et qui a une partie numérique ayant une capacité suffisante pour transférer des données. A un emplacement proche de l'auditoire, les données sont utilisées et la diffusion ultérieure peut s'effectuer sur des canaux terrestres ayant une bande passante plus étroite (par exemple par radio ou coaxial, dont la bande passante est généralement dans le domaine de 7 à 8 MHz). The invention finds a particularly important, but not exclusive, application in digital television systems and television systems which use a multiplexed signal comprising an analog image signal and a digital mutiplex making it possible to transmit data. An example of a system of the latter type is known as MAC-PACKETS, designed for broadcasting on a satellite channel at a clock frequency of 12.5 MHz and which has a digital part having sufficient capacity to transfer data . At a location close to the audience, the data is used and subsequent broadcasting can take place on terrestrial channels having a narrower bandwidth (for example by radio or coaxial, whose bandwidth is generally in the range of 7 at 8 MHz).
L'invention est également utilisable sur des réseaux de télévision analogiques existants. Les données peuvent alors être rediffusées au cours des intervalles de suppression de trame, en utilisant les protocoles bien connus DIDON ou CEEFAX. The invention can also be used on existing analog television networks. The data can then be rebroadcast during the frame blanking intervals, using the well-known DIDON or CEEFAX protocols.
De nombreuses possibilités de désignation des pixels à remplacer, appartenant à la représentation de la cible, existent. Par exemple, on peut substituer a ceux des pixels qui appartiennent à la cible et qui ne sont pas masqués, avant transmission, des pixels ayant une valeur radiométrique particulière et identifiable qui n'est pas trouvée à un autre emplacement de l'image. Dans ce cas, seuls de tels pixels parmi ceux du patron transformé seront substitués. I1 est également possible de transmettre des données indiquant, dans chaque ligne de balayage, le début et la fin du segment (ou des segments) à remplacer par un segment (ou des segments) correspondants de la représentation transformée du patron. I1 existe encore d'autres possibilités, telles que la transmission des coordonnées d'un nombre de points du pourtour de la représentation de la cible (ou d'un modèle mémorisé de la cible) suffisant pour l'identifier complètement. On pourra utiliser cette approche lorsque la cible a une forme simple (panneau publicitaire par exemple) et n'est jamais masquée. Numerous possibilities for designating the pixels to be replaced, belonging to the representation of the target, exist. For example, we can substitute for those pixels which belong to the target and which are not masked, before transmission, pixels having a particular and identifiable radiometric value which is not found in another location of the image. In this case, only such pixels among those of the transformed pattern will be substituted. It is also possible to transmit data indicating, in each scan line, the beginning and the end of the segment (or segments) to be replaced by a corresponding segment (or segments) of the transformed representation of the pattern. There are still other possibilities, such as the transmission of the coordinates of a number of points around the representation of the target (or of a memorized model of the target) sufficient to identify it completely. This approach can be used when the target has a simple shape (billboard for example) and is never hidden.
Le procédé de l'invention est extrêmement flexible. Comme indiqué plus haut, on peut le réaliser dans un dispositif où seules les étapes a) et b), ainsi que la génération des données nécessaires à la substitution ultérieure, sont effectuées à l'emplacement de l'évènement télévisé. Le dispositif peut aussi bien comporter, sur cet emplacement, un premier ensemble pour réaliser les étapes a) et b) et la génération des données, et des seconds ensembles recevant tous le même signal provenant du premier ensemble et effectuant des substitutions différentes avant transmission vers un réseau ou un canal respec tif. Cette dernière approche permet également d'utiliser une seule bibliothèque de patrons substituables sur le site de l'événement. The process of the invention is extremely flexible. As indicated above, it can be carried out in a device where only steps a) and b), as well as the generation of the data necessary for the subsequent substitution, are carried out at the location of the televised event. The device can also include, on this location, a first set for performing steps a) and b) and the generation of data, and second sets all receiving the same signal from the first set and making different substitutions before transmission to a respective network or channel. This latter approach also makes it possible to use a single library of substitutable patterns on the event site.
Une autre possibilité encore consiste à mémoriser le signal de télévision comportant les données et à traiter l'image pour substituer le patron à la cible en temps différé, à l'aide d'un appareil qui peut encore être très simple. Yet another possibility consists in memorizing the television signal comprising the data and in processing the image in order to substitute the pattern for the target in deferred time, using a device which can still be very simple.
L'invention propose également un dispositif permettant de mettre en oeuvre le procédé ci-dessus, ainsi que les ensembles constitutifs de ce dispositif susceptibles d'être utilisés indépendamment. The invention also provides a device for implementing the above method, as well as the constituent assemblies of this device capable of being used independently.
Le dispositif peut comprendre
- un premier ensemble ayant des moyens pour stocker des marques de référence, ou points caractéristiques, identifiant une cible, des moyens pour détecter la représentation de la cible dans chacune des images de la séquence et en déduire la position, la taille et l'orien- tation de la représentation de la cible, à partir d'une recherche de la meilleure correspondance possible entre les marques de référence mémorisées et des marques de référence respectives extraites de chaque image, et des moyens pour modifier le signal de télévision en y insérant une composante de signal identifiant la position, la taille et l'orientation de la représentation de la cible et
- au moins un second ensemble ayant des moyens pour recevoir le signal modifié et extraire la composante de signal du signal modifié, des moyens pour mémoriser au moins une représentation d'un patron, des moyens pour transformer géométriquement la représentation du patron de façon à la faire correspondre à la représentation respective de la cible, en utilisant l'information contenue dans ladite composante du signal et des moyens pour substituer, dans chaque image de la séquence où se trouve la cible, la représentation transformée respective du patron à la représentation de la cible.The device can include
a first set having means for storing reference marks, or characteristic points, identifying a target, means for detecting the representation of the target in each of the images of the sequence and deducing therefrom the position, the size and the direction - tation of the representation of the target, from a search for the best possible correspondence between the memorized reference marks and respective reference marks extracted from each image, and means for modifying the television signal by inserting a signal component identifying the position, size and orientation of the target representation and
- at least a second set having means for receiving the modified signal and extracting the signal component from the modified signal, means for storing at least one representation of a pattern, means for geometrically transforming the representation of the pattern so as to match the respective representation of the target, using the information contained in said component of the signal and means to substitute, in each image of the sequence where the target is located, the respective transformed representation of the pattern for the representation of the target.
Les deux ensembles ci-dessus définis sont utilisables indépendamment l'un de l'autre. The two sets defined above can be used independently of one another.
Le premier ensemble peut alimenter un enregistreur vidéo aussi bien qu'une chaîne de transmission par voie terrestre ou par satellite ; le second ensemble peut recevoir, directement ou par l'intermédiaire d'un relais, le signal provenant du premier ensemble. Mais il peut également utiliser un enregistrement, ou recevoir le signal de sortie d'un magnétoscope. Il doit être entendu que la portée du présent brevet s'étend à de tels ensembles séparés. The first set can supply a video recorder as well as a terrestrial or satellite transmission chain; the second set can receive, directly or through a relay, the signal from the first set. But it can also use a recording, or receive the output signal from a VCR. It should be understood that the scope of this patent extends to such separate assemblies.
Les caractéristiques ci-dessus ainsi que d'autres apparaîtront mieux à la lecture de la description qui suit de modes particuliers de réalisation, donnés à titre d'exemples non limitatifs. The above characteristics as well as others will appear better on reading the following description of particular embodiments, given by way of nonlimiting examples.
La description se réfère aux figures qui l'accompagnent, dans lesquelles
- la figure 1 est une représentation schématique des composants d'un mode particulier de réalisation du dispositif
- la figure 2, similaire à la figure 1, décrit un autre mode de réalisation, où un signal de télévision est entièrement traité avant transmission vers des satellites, par exemple en vue de diffusions directes
- la figure 3 est un synoptique simplifié d'un mode particulier de réalisation.The description refers to the accompanying figures, in which
- Figure 1 is a schematic representation of the components of a particular embodiment of the device
- Figure 2, similar to Figure 1, describes another embodiment, where a television signal is fully processed before transmission to satellites, for example for direct broadcasts
- Figure 3 is a simplified block diagram of a particular embodiment.
La figure 1 montre plusieurs caméras de télévision 10a, 10b, 10c réparties le long d'une piste pour fournir des images respectives, chacune pouvant observer une portion d'une scène globale. Habituellement chaque caméra peut se déplacer angulairement et/ou a un objectif réglable pour permettre un zoom avant ou arrière. Des cibles 12, constituées par des panneaux publicitaires, sont réparties le long de la piste. Les déplacements et/ou les changements de focale d'une caméra peut les amener à entrer dans le champ de vision de la caméra ou à en sortir. Dans ce qui suit, on supposera que les cibles seront constituées par des panneaux publicitaires en forme de quadrilatère. Cependant, ils peuvent aussi bien être constitués par des zones de la scène qui sont simplement indiquées par des marques caractéristiques aisément identifiables par reconnaissance de forme, placées sur le sol, sur un mur ou même sur des poteaux. Dans ce dernier cas, une représentation du patron sera incrustée en place de la cible virtuelle identifiée par les marques de référence. FIG. 1 shows several television cameras 10a, 10b, 10c distributed along a track to provide respective images, each one being able to observe a portion of a global scene. Usually each camera can move angularly and / or has an adjustable lens to allow zoom in or out. Targets 12, formed by advertising panels, are distributed along the track. Movements and / or changes in focal length of a camera can cause them to enter or exit the field of vision of the camera. In what follows, it will be assumed that the targets will be constituted by advertising panels in the form of a quadrilateral. However, they can also be formed by areas of the scene which are simply indicated by characteristic marks easily identifiable by shape recognition, placed on the ground, on a wall or even on posts. In the latter case, a representation of the boss will be embedded in place of the virtual target identified by the reference marks.
Le dispositif de la figure 1 peut être regardé comme comprenant un premier ensemble situé sur le site de production et des seconds ensembles reliés au premier par des moyens de communication par satellite. The device of Figure 1 can be viewed as comprising a first assembly located on the production site and second assemblies connected to the first by means of satellite communication.
Le premier ensemble comporte des composants constitutifs habituels d'une régie 14, un calculateur 15 muni d'un moniteur vidéo 16 permettant d'afficher l'image originale pour y indiquer la cible à remplacer, par exemple à l'aide d'une souris 18. Le calculateur 15 fournit, sur la sortie 17, un signal comportant une composante vidéo et des données d'identification de la cible (position éventuellement colorimétrique). Dans un mode particulier de réalisation, le signal vidéo représente la scène telle qu'elle est vue par la caméra. The first set comprises the usual constituent components of a control room 14, a computer 15 provided with a video monitor 16 making it possible to display the original image to indicate there the target to be replaced, for example using a mouse 18. The computer 15 supplies, at output 17, a signal comprising a video component and identification data of the target (possibly colorimetric position). In a particular embodiment, the video signal represents the scene as seen by the camera.
Le calculateur 15 peut être suivi d'une unité de compression d'image et/ou d'embrouillage, pouvant être associée à un moniteur 21. Enfin, l'ensemble situé sur le site comporte un émetteur 21 dont le lobe de sortie constitue la voie montante vers un satellite de télécommunications 22. The computer 15 can be followed by an image compression and / or scrambling unit, which can be associated with a monitor 21. Finally, the assembly located on the site comprises a transmitter 21 whose output lobe constitutes the uplink to a telecommunications satellite 22.
La plupart des fonctions du calculateur 15 sont les memes que celles décrites dans la demande de brevet
PCT/FR 91/00287 (WO 91/15921) à laquelle on pourra se reporter. En conséquence, ces fonctions ne seront pas décrites de nouveau. Mais certaines des fonctions du dispositif antérieur sont omises et d'autres fonctions sont ajoutées.Most of the functions of the computer 15 are the same as those described in the patent application
PCT / FR 91/00287 (WO 91/15921) to which reference may be made. Consequently, these functions will not be described again. However, some of the functions of the prior device are omitted and other functions are added.
Dans le mode de réalisation montré en figure 3, le calculateur comporte un convertisseur analogique-numérique d'entrée 26, qui n'est nécessaire que si la caméra 10 fournit un signal vidéo analogique. Le signal numérique, qui peut par exemple être constitué de salves de mots numériques représentant chacun un pixel, est appliqué à une mémoire tampon 28 ayant une capacité au moins égale à une trame complète de télévision. Cette trame ou "field" (ou dans certains cas une image complète ou "frame") est accessible par un processeur 30, comportant un nombre élevé de processeurs de signaux travaillant en parallèle. In the embodiment shown in FIG. 3, the computer comprises an analog-to-digital input converter 26, which is only necessary if the camera 10 supplies an analog video signal. The digital signal, which can for example consist of bursts of digital words each representing a pixel, is applied to a buffer memory 28 having a capacity at least equal to a complete television frame. This frame or "field" (or in some cases a complete image or "frame") is accessible by a processor 30, comprising a high number of signal processors working in parallel.
Le processeur 30 est prévu pour identifier, dans chaque trame, une représentation d'une cible 12 à remplacer dans l'image du champ de vision 32 de la caméra. Des données identifiant la cible, constituées par exemple par un ensemble de points caractéristiques en nombre suffisant, chacun défini sur un voisinage, sont stockées dans une mémoire 32 et une ou plusieurs représentations de la cible, qu'on qualifiera de modèles de la cible, avantageusement à des échelles différentes (et éventuellement avec des perspectives différentes) sont stockées dans une mémoire 34. Les mémoires 32 et 34 peuvent constituer une seule mémoire à accès multiples.The processor 30 is provided to identify, in each frame, a representation of a target 12 to be replaced in the image of the field of vision 32 of the camera. Data identifying the target, constituted for example by a set of characteristic points in sufficient number, each defined on a neighborhood, are stored in a memory 32 and one or more representations of the target, which will be called models of the target, advantageously at different scales (and possibly with different perspectives) are stored in a memory 34. The memories 32 and 34 can constitute a single memory with multiple accesses.
Le processeur 30 identifie une représentation complète ou partielle de la cible dans une image courante par comparaison entre l'analyse de l'image courante et l'information reçue de la mémoire 32. Pour cela, le processeur détermine s'il y a une correspondance avec au moins un sous-ensemble des points caractéristiques mémorisés. I1 sélectionne le modèle le plus proche de la cible, parmi ceux disponibles dans la mémoire 34, et le traite de façon qu'il corresponde, en taille et éventuellement en perspective, à la représentation réelle de la cible dans l'image. La représentation obtenue est envoyée à un comparateur 36, ainsi qu'une représentation de la partie correspondante de la trame ou de l'image complète, provenant de la mémoire tampon 28. Toute différence entre la représentation effective de la cible et la représentation obtenue à partir du modèle de cible mémorisé indique la présence d'un obstacle devant la cible, dans la scène tel que la voit la caméra. Le comparateur 26 fournit les données identifiant la représentation de la cible et sa partie masquée à une mémoire tampon 38. Jusque là, le dispositif suivant l'invention a une constitution et un fonctionnent similaires à ceux du dispositif suivant WO-A-9115921. Mais le dispositif comprend de plus un multiplexeur 40 qui reçoit
- du convertisseur analogique-numérique 26 (ou directement de la caméra), le signal d'image représentant chaque trame ou chaque image complète
- du processeur 30, des données numériques identifiant par exemple
- celui des modèles de la cible, parmi ceux mémorisés dans la mémoire 34, qui est le plus proche de la représentation effective de la cible dans l'image,
- des indications concernant la transformation à faire subir à ce modèle mémorisé de la cible pour qu'il corresponde exactement à la représentation effective de la cible dans l'image,
- des indications sur la position de la représentation de la cible dans l'image ;
- de la mémoire tampon 38, une indication des parties masquées de la cible dans la représentation effective.The processor 30 identifies a complete or partial representation of the target in a current image by comparison between the analysis of the current image and the information received from the memory 32. For this, the processor determines whether there is a correspondence with at least a subset of the stored characteristic points. I1 selects the model closest to the target, from those available in the memory 34, and processes it so that it corresponds, in size and possibly in perspective, to the real representation of the target in the image. The representation obtained is sent to a comparator 36, as well as a representation of the corresponding part of the frame or of the complete image, originating from the buffer memory 28. Any difference between the effective representation of the target and the representation obtained at from the stored target model indicates the presence of an obstacle in front of the target, in the scene as seen by the camera. The comparator 26 provides the data identifying the representation of the target and its masked part to a buffer memory 38. Up to this point, the device according to the invention has a constitution and an operation similar to those of the device according to WO-A-9115921. But the device also comprises a multiplexer 40 which receives
- the analog-digital converter 26 (or directly from the camera), the image signal representing each frame or each complete image
- of processor 30, digital data identifying for example
- that of the models of the target, among those stored in memory 34, which is closest to the effective representation of the target in the image,
- indications concerning the transformation to be made to this memorized model of the target so that it corresponds exactly to the effective representation of the target in the image,
- indications on the position of the representation of the target in the image;
- from the buffer memory 38, an indication of the masked parts of the target in the effective representation.
Comme on l'a déjà indiqué, le multiplexage de ces éléments peut être effectué par tout moyen. Le signal numérique multiplexé est adressé à l'émetteur 21 qui alimente la voie montante d'un système de transmission ou diffusion, par exemple de transmission par satellite. I1 serait également possible de laisser la portion du signal multiplexé qui représente l'image sous forme analogique, en vue de la transmission, ou de changer le format de transmission pour qu'il corresponde à un des standards actuels. As already indicated, the multiplexing of these elements can be carried out by any means. The multiplexed digital signal is sent to the transmitter 21 which supplies the uplink of a transmission or broadcasting system, for example of satellite transmission. It would also be possible to leave the portion of the multiplexed signal which represents the image in analog form, for transmission, or to change the transmission format so that it corresponds to one of the current standards.
Dans le mode de réalisation montré en figure 1, chacune des stations de réception d'une vioe descendante comporte un ensemble 41 interposé entre une unité de réception et de démodulation 42 et une tête de réseau 43 ou un appareil de réception 52. L'ensemble 41 comprend un démultiplexeur d'entrée 44 qui envoie le signal vidéo représentant l'image (éventuellement après conversion analogique-numérique) à un processeur de signal 46. Un autre processeur 48 reçoit les données provenant du démultiplexeur 48 et, lit, dans une mémoire 50, celle des représentations d'un patron choisi par un opérateur qui est la plus appropriée et qui est identifiée par les données. Le processeur 48 traite ensuite cette représentation pour qu'elle corresponde exactement à celle de la cible. Le processeur 48 utilise également les données reçues pour déterminer quels sont les points élémentaires d'image (pixels) qui ne doivent pas être remplacés, du fait qu'ils appartiennent à un obstacle. Le processeur 48 fournit en sortie un flot de données représentant les pixels à substituer à des pixels correspondants de l'image reçue par le processeur de signal 46. L'image modifiée par substitution, affichée sur un moniteur de télévision 52, est retransmise sur un réseau câblé ou radioélectrique. In the embodiment shown in FIG. 1, each of the reception stations of a downlink channel comprises an assembly 41 interposed between a reception and demodulation unit 42 and a network head 43 or a reception apparatus 52. The assembly 41 comprises an input demultiplexer 44 which sends the video signal representing the image (possibly after analog-digital conversion) to a signal processor 46. Another processor 48 receives the data coming from the demultiplexer 48 and reads it from a memory 50, that of the representations of a pattern chosen by an operator which is the most appropriate and which is identified by the data. The processor 48 then processes this representation so that it corresponds exactly to that of the target. The processor 48 also uses the data received to determine which elementary image points (pixels) should not be replaced, because they belong to an obstacle. The processor 48 provides an output of a data stream representing the pixels to be substituted for corresponding pixels of the image received by the signal processor 46. The image modified by substitution, displayed on a television monitor 52, is retransmitted on a cable or radio network.
Les données peuvent de plus comporter des paramètres indiquant les conditions d'éclairage et éventuellement aussi la fonction de transfert de modulation. Des corrections appropriées sont alors indiquées par le processeur 48. The data may further include parameters indicating the lighting conditions and possibly also the modulation transfer function. Appropriate corrections are then indicated by the processor 48.
Dans la variante de réalisation montrée en figure 2, au moins un second ensemble 41 est placé sur le site de production. Le second ensemble remplit les fonctions des composants 44, 46, 48 et 50 de la figure 3. L'émetteur radioélectrique 21 est remplacé par un circuit de sortie alimentant le second ensemble ou les seconds ensembles. In the alternative embodiment shown in FIG. 2, at least one second assembly 41 is placed on the production site. The second set fulfills the functions of components 44, 46, 48 and 50 of FIG. 3. The radio transmitter 21 is replaced by an output circuit supplying the second set or the second sets.
Les différentes images modifiées, fournies par les différents seconds ensembles sont émis chacun sur une voie montante, avec des patrons différents. Dans ce cas, les récepteurs alimentés par la voie descendante peuvent avoir une constitution classique.The different modified images, provided by the different second sets, are each transmitted on an uplink, with different patterns. In this case, the receivers fed by the downlink can have a conventional constitution.
Comme on l'a déjà indiqué, les données identifiant l'emplacement de la représentation de la cible dans chaque trame ou image peuvent prendre différentes formes. On peut utiliser les techniques de compression de données pour réduire le débit d'informations nécessaire pour identifier la représentation de la cible dans chaque image. Par exemple, après transmission de données identifiant complètement la cible dans une première image, l'information concernant les images ultérieures de la même séquence peut etre constituée seulement par des données identifiant les vecteurs mouvement de chacun des angles de la cible (au moins s 'il n'y a pas d'obstacle) et des données identifiant les changements d'éclairage. As already indicated, the data identifying the location of the representation of the target in each frame or image can take different forms. Data compression techniques can be used to reduce the information rate necessary to identify the representation of the target in each image. For example, after transmission of data completely identifying the target in a first image, the information concerning the subsequent images of the same sequence can be constituted only by data identifying the motion vectors of each of the angles of the target (at least s' there is no obstacle) and data identifying the lighting changes.
Les étapes préliminaires de mise en oeuvre du procédé peuvent être similaires à celles déjà décrites dans le document WO-A-91/15921. Si on utilise le mode de réalisation de la figure 1, des étapes supplémentaires peuvent être nécessaires, par exemple, pour transmettre préalablement par la même voie que celle utilisée ultérieurement ou par une autre (liaison téléphonique par exemple) une information concernant les divers modèles de cible stockés dans la mémoire 34 et des indications permettant à un opérateur à la station de réception de la voie descendante de sélectionner un patron susceptible d'être ajusté de façon à correspondre exactement à la cible. Les représentations des patrons peuvent elles-mêmes être téléchargées. The preliminary steps for implementing the process can be similar to those already described in document WO-A-91/15921. If the embodiment of FIG. 1 is used, additional steps may be necessary, for example, to transmit beforehand by the same channel as that used subsequently or by another (telephone link for example) information concerning the various models of target stored in memory 34 and indications allowing an operator at the downlink reception station to select a pattern capable of being adjusted so as to correspond exactly to the target. The bosses' representations can themselves be downloaded.
De nombreuses autres modifications de l'invention sont possibles. Elle est par ailleurs également applicable à des procédés et à des systèmes autres que ceux décrits dans le document WO-A-91/15921. L'invention peut par exemple être appliquée à d'autres systèmes dans lesquels la représentation de la cible dans l'image ne varie que de temps à autre et où un opérateur indique manuellement, au début de chaque séquence d'images où la cible reste inchangée, les bords de la cible à remplacer. Many other modifications of the invention are possible. It is also also applicable to methods and systems other than those described in document WO-A-91/15921. The invention can for example be applied to other systems in which the representation of the target in the image only varies from time to time and where an operator indicates manually, at the start of each sequence of images where the target remains unchanged, the edges of the target to be replaced.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9405895A FR2719965B1 (en) | 1994-05-13 | 1994-05-13 | Method and device for modifying the same area of a scene in successive television images. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9405895A FR2719965B1 (en) | 1994-05-13 | 1994-05-13 | Method and device for modifying the same area of a scene in successive television images. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2719965A1 true FR2719965A1 (en) | 1995-11-17 |
| FR2719965B1 FR2719965B1 (en) | 1996-07-26 |
Family
ID=9463186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR9405895A Expired - Fee Related FR2719965B1 (en) | 1994-05-13 | 1994-05-13 | Method and device for modifying the same area of a scene in successive television images. |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2719965B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6525780B1 (en) | 1998-12-18 | 2003-02-25 | Symah Vision, Sa | “Midlink” virtual insertion system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02306782A (en) * | 1989-05-22 | 1990-12-20 | Asutoro Design Kk | Picture synthesizer |
| EP0411440A2 (en) * | 1989-08-02 | 1991-02-06 | Hitachi, Ltd. | Camera system and camera recording system |
| WO1991015921A1 (en) * | 1990-04-11 | 1991-10-17 | Multi Media Techniques | Process and device for modifying a zone of successive images |
| EP0480212A1 (en) * | 1990-09-20 | 1992-04-15 | Ampex Systems Corporation | System for generating color blended video signal |
| WO1993002524A1 (en) * | 1991-07-19 | 1993-02-04 | Princeton Electronic Billboard | Television displays having selected inserted indicia |
| WO1993006691A1 (en) * | 1991-09-18 | 1993-04-01 | David Sarnoff Research Center, Inc. | Video merging employing pattern-key insertion |
| EP0596732A1 (en) * | 1992-11-05 | 1994-05-11 | Canon Kabushiki Kaisha | Method per performing special effects in the receiver of a coded moving picture transmission system |
-
1994
- 1994-05-13 FR FR9405895A patent/FR2719965B1/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02306782A (en) * | 1989-05-22 | 1990-12-20 | Asutoro Design Kk | Picture synthesizer |
| EP0411440A2 (en) * | 1989-08-02 | 1991-02-06 | Hitachi, Ltd. | Camera system and camera recording system |
| WO1991015921A1 (en) * | 1990-04-11 | 1991-10-17 | Multi Media Techniques | Process and device for modifying a zone of successive images |
| EP0480212A1 (en) * | 1990-09-20 | 1992-04-15 | Ampex Systems Corporation | System for generating color blended video signal |
| WO1993002524A1 (en) * | 1991-07-19 | 1993-02-04 | Princeton Electronic Billboard | Television displays having selected inserted indicia |
| WO1993006691A1 (en) * | 1991-09-18 | 1993-04-01 | David Sarnoff Research Center, Inc. | Video merging employing pattern-key insertion |
| EP0596732A1 (en) * | 1992-11-05 | 1994-05-11 | Canon Kabushiki Kaisha | Method per performing special effects in the receiver of a coded moving picture transmission system |
Non-Patent Citations (1)
| Title |
|---|
| PATENT ABSTRACTS OF JAPAN vol. 15, no. 98 (E - 1042) 8 March 1991 (1991-03-08) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6525780B1 (en) | 1998-12-18 | 2003-02-25 | Symah Vision, Sa | “Midlink” virtual insertion system |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2719965B1 (en) | 1996-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7312820B2 (en) | Method and apparatus for providing virtual processing effects for wide-angle video images | |
| US6704042B2 (en) | Video processing apparatus, control method therefor, and storage medium | |
| US11037308B2 (en) | Intelligent method for viewing surveillance videos with improved efficiency | |
| EP3005296B1 (en) | Merging of a plurality of video flows | |
| WO2000060853A9 (en) | Method and apparatus for providing virtual processing effects for wide-angle video images | |
| EP1142315A1 (en) | Image insertion system in a video sequence | |
| WO1998044734A1 (en) | Videoconference system | |
| JP4012995B2 (en) | Image capturing apparatus and method | |
| FR2633137A1 (en) | HIGH DEFINITION TELEVISION TRANSMISSION AND RECEPTION SYSTEM WITH IMPROVED SPEED ESTIMATOR AND REDUCED DATA RATE | |
| EP0758511B1 (en) | High-frequency television picture transmission method and system | |
| FR2543386A1 (en) | METHODS AND DEVICES FOR SCRAMBLING AND UNLOCKING FOR TELEVISION IMAGES | |
| EP1047264B1 (en) | Method and device for image processing and restitution with resampling | |
| EP0337564A1 (en) | Device for decoding signals representative of a sequence of pictures and system for transmission of high definition television pictures including such a device | |
| BE1001258A3 (en) | Television transmission system. | |
| US11044399B2 (en) | Video surveillance system | |
| FR2719965A1 (en) | Television image modification method | |
| JP2001028765A (en) | Transmission reception system and transmission reception method of three-dimensional video image | |
| EP0809408A1 (en) | Special effects camera | |
| CN115022609B (en) | Color gamut matching method, system and storage medium for film and television shooting | |
| FR2613166A1 (en) | DEVICE FOR TRANSMITTING HIGH-DEFINITION IMAGES BY A RELATIVELY NARROW BANDWIDTH CHANNEL | |
| CN105915850A (en) | Video playing system based on image stitching | |
| CN115499574A (en) | Wireless transmission control system and method | |
| EP0448449A1 (en) | Method and device for movement estimation of digital high definition television pictures | |
| JP2006148561A (en) | Method and device for transmitting digital moving image | |
| JP2003174634A (en) | Method, apparatus, and program for transmitting/ receiving video image with revised aspect ratio |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| CA | Change of address | ||
| CD | Change of name or company name | ||
| TP | Transmission of property | ||
| TP | Transmission of property | ||
| ST | Notification of lapse |
Effective date: 20110131 |