FR3093886A1

FR3093886A1 - Method of masking objects in a video stream

Info

Publication number: FR3093886A1
Application number: FR1902644A
Authority: FR
Inventors: Jean-Luc AFFATICATI
Original assignee: Affaticati Jean Luc
Current assignee: Affaticati Jean Luc
Priority date: 2019-03-14
Filing date: 2019-03-14
Publication date: 2020-09-18
Anticipated expiration: 2039-03-14
Also published as: FR3093886B1

Abstract

L’invention se rapporte à une méthode pour générer un masque pour remplacer un panneau d'affichage à diodes électroluminescentes dans un flux vidéo, le panneau comportant des diodes électroluminescentes dans trois canaux spectraux (R, G, B) du spectre visible, comportant les étapes : - mesure pour chaque pixel ou groupe de pixels d'au moins une image d'une caméra (100) contenant au moins partiellement le panneau d'affichage (107) d'une luminosité mesurée ||P1||, - pour chaque pixel ou groupe de pixels de l'image de la caméra (100), simulation numérique d'une luminosité attendue ||P2|| par la caméra (100) et provenant uniquement du panneau d’affichage (107) au moyen de signaux de contrôle du panneau d'affichage (107), dans cette simulation numérique, les pixels ou groupes de pixels de luminosité attendue ||P2|| ne contenant pas le panneau d’affichage (107) étant marqués, et les pixels ou groupes de pixels correspondant dans l'image de la caméra (100) sont écartés du masque, - au moins pour chaque pixel ou groupe de pixels de l'image prise par la caméra (100) et correspondant à une luminosité reçue par la caméra (100) et provenant du panneau d’affichage (107), calcul d'une différence Δ entre les luminosités du pixel ou groupe de pixels mesurées ||P1|| dans l'image de la caméra (100) et attendues ||P2||, et comparaison d'une valeur absolue de la différence ||Δ|| avec une valeur seuil ||Δ||0, si la valeur absolue de la différence ||Δ|| est supérieure à la valeur seuil ||Δ||0, le pixel ou groupe de pixels considéré est écarté du masque, et si la valeur absolue de la différence ||Δ|| est inférieure à la valeur seuil ||Δ||0, le pixel ou groupe de pixels considéré est ajouté au masque. Figure à publier avec l’abrégé : Fig. 1The invention relates to a method for generating a mask to replace a light emitting diode display panel in a video stream, the panel comprising light emitting diodes in three spectral channels (R, G, B) of the visible spectrum, comprising the steps: - measurement for each pixel or group of pixels of at least one image of a camera (100) containing at least partially the display panel (107) of a measured brightness || P1 ||, - for each pixel or group of pixels of the camera image (100), digital simulation of an expected brightness || P2 || by the camera (100) and coming only from the display panel (107) by means of control signals from the display panel (107), in this digital simulation, the pixels or groups of pixels of expected brightness || P2 | | not containing the display panel (107) being marked, and the corresponding pixels or groups of pixels in the image of the camera (100) are removed from the mask, - at least for each pixel or group of pixels of the image taken by the camera (100) and corresponding to a brightness received by the camera (100) and coming from the display panel (107), calculation of a difference Δ between the luminosities of the pixel or group of pixels measured || P1 || in the camera image (100) and expected || P2 ||, and comparison of an absolute value of the difference || Δ || with a threshold value || Δ || 0, if the absolute value of the difference || Δ || is greater than the threshold value || Δ || 0, the pixel or group of pixels considered is removed from the mask, and if the absolute value of the difference || Δ || is less than the threshold value || Δ || 0, the pixel or group of pixels considered is added to the mask. Figure to be published with the abstract: Fig. 1

Description

Method of masking objects in a video stream

La présente invention se rapporte à une méthode de détermination d’un masquedynamique pour le remplacement d’objets spécifiques dans le champ de vision d’une ou plusieurs caméras optiques. Les objets spécifiques doivent en particulier pouvoir être remplacés lors de diffusions en direct par exemple par des images différentes pour différents publics cible.The present invention relates to a method for determining a dynamic mask for the replacement of specific objects in the field of view of one or more optical cameras. Specific objects must in particular be capable of being replaced during live broadcasts, for example by different images for different target audiences.

Lors de rencontres sportives et d’événements culturels, l’affichage de publicité sur des bandes, écrans ou panneaux d’affichage est une source de revenus importante, et fait souvent partie intégrante de stratégies marketing de groupes qui sponsorisent les différents acteurs des rencontres et événements.During sporting events and cultural events, the display of advertising on bands, screens or billboards is an important source of income, and is often an integral part of the marketing strategies of groups that sponsor the various actors of the meetings and events.

La méthode ici développée vise à remplacer sélectivement et dynamiquement des objets tels que des affichages publicitaires dans le champ de vision d’une caméra optique, en particulier lors de diffusions en direct. Ladite méthode permet d’afficher des messages et images appropriés au public cible, comme par exemple en affichant une publicité pour une compagnie du pays visé, la traduction ou adaptation des slogans affichés dans la langue locale, ou l’affichage de différentes publicités selon le créneau de diffusion (en direct ou en rediffusion par exemple), en fonction du pays cible, de la chaîne de diffusion ou de la localité de diffusion.The method developed here aims to selectively and dynamically replace objects such as advertising displays in the field of view of an optical camera, in particular during live broadcasts. Said method makes it possible to display messages and images appropriate to the target audience, such as for example by displaying an advertisement for a company of the target country, the translation or adaptation of the slogans displayed in the local language, or the display of different advertisements according to the broadcasting slot (live or replay for example), depending on the target country, the broadcasting channel or the broadcasting location.

Les méthodes connues pour l’insertion virtuelle et le remplacement d’images impliquent généralement le suivi des mouvements de caméra, la reconnaissance de formes ou la sélection manuelle des éléments à remplacer.Known methods for virtual insertion and replacement of images generally involve tracking camera movements, recognizing patterns, or manually selecting what to replace.

La reconnaissance de formes et le suivi des objets requiert un nombre important de calculs, et peut s’avérer inadapté lors de changements de points de vue fréquents (par exemple un match de football où des actions s’enchaînent rapidement), du fait qu’il faut alors à chaque fois identifier à nouveau les différents objets.Pattern recognition and object tracking require a large number of calculations, and may be inadequate when changing points of view frequently (for example a football match where actions are linked quickly), due to the fact that it is then necessary each time to identify the different objects again.

Le suivi des mouvements de caméra requiert des capteurs potentiellement coûteux, et des objets occultants (par exemple les joueurs, le ballon ou un arbitre) peuvent être ignorés en l’absence d’analyse d’image complexe.Tracking camera movements requires potentially expensive sensors, and obscuring objects (such as players, the ball, or a referee) can be ignored in the absence of complex image analysis.

Il serait donc avantageux de disposer d’un moyen simple et efficace de localiser les éléments tels que les panneaux publicitaires dans les images d’une caméra.It would therefore be beneficial to have a simple and efficient way to locate items such as billboards in camera images.

Le brevet US2015/0015743 décrit une méthode pour détecter des écrans d’affichage en utilisant une signature infrarouge spécifique, obtenue par la disposition d’un filtre spécifique sur lesdits écrans d’affichage. Cette méthode permet d’identifier facilement les écrans à remplacer, mais requiert l’installation d’une couche filtrante sur les écrans, ce qui est coûteux, de sorte que des stades, arènes ou salles risquent de choisir de s’abstenir lorsque peu de rencontres sont filmées et diffusées.US2015 / 0015743 describes a method for detecting display screens using a specific infrared signature, obtained by placing a specific filter on said display screens. This method makes it easy to identify which screens to replace, but requires the installation of a filter layer on the screens, which is expensive, so that stadiums, arenas or venues may choose to abstain when few people are present. meetings are filmed and broadcast.

Le document US5940139, de façon analogue, propose d’illuminer séparément les éléments d’avant-plan et d’arrière-plan, avec l’arrière-plan (ici à remplacer) illuminé dans le domaine infrarouge. Le masque est alors généré en sélectionnant les pixels dans lesquels de la lumière infrarouge est détectée. De nouveau, pour implémenter cette méthode il faut intervenir sur le terrain, le stade, l’arène ou la salle où se déroule l’événement filmé.Document US5940139, similarly, proposes to separately illuminate the foreground and background elements, with the background (here to be replaced) illuminated in the infrared range. The mask is then generated by selecting the pixels in which infrared light is detected. Again, to implement this method it is necessary to intervene on the ground, the stadium, the arena or the room where the filmed event takes place.

Le brevet EP3094082 mentionne par exemple d'utiliser un procédé basé sur la signature spectrale de diodes électroluminescentes. Cependant ce procédé atteint ses limites dans certains cas de figure tels que des réflexions sur les écrans ou la présence d'objets de signature spectrale proche de celles d'une LED de l'écran considéré. Or de tels cas peuvent se présenter fréquemment et un remplacement imparfait du contenu de l’image peut être aperçu négativement par un téléspectateur.Patent EP3094082 mentions, for example, the use of a method based on the spectral signature of light-emitting diodes. However, this method reaches its limits in certain cases such as reflections on the screens or the presence of spectral signature objects close to those of an LED of the screen considered. However, such cases can occur frequently and an imperfect replacement of the content of the image may be viewed negatively by a viewer.

Afin de surmonter les désavantages précédemment mentionnés, l’invention propose une méthode pour générer un masque pour remplacer un panneau d'affichage à diodes électroluminescentes dans un flux vidéo, le panneau affichant une image dans trois canaux spectraux du spectre visible, comportant les étapes :In order to overcome the aforementioned disadvantages, the invention provides a method for generating a mask to replace a light emitting diode display panel in a video stream, the panel displaying an image in three spectral channels of the visible spectrum, comprising the steps:

mesure pour chaque pixel ou groupe de pixels d'au moins une image d'une caméra contenant au moins partiellement le panneau d'affichage d'un paramètre mesuré caractérisant la lumière reçue par chaque pixel ou groupe de pixel,measurement for each pixel or group of pixels of at least one image of a camera containing at least partially the display panel of a measured parameter characterizing the light received by each pixel or group of pixels,

pour chaque pixel ou groupe de pixels de l'image de la caméra, simulation numérique d'un paramètre attendu caractérisant la lumière reçue par la caméra provenant uniquement du panneau d’affichage au moyen de signaux de contrôle du panneau d'affichage, dans cette simulation numérique, les pixels ou groupes de pixels ne contenant pas le panneau d’affichage étant marqués et écartés du masque,for each pixel or group of pixels of the camera image, digital simulation of an expected parameter characterizing the light received by the camera coming only from the display panel by means of display panel control signals, in this digital simulation, the pixels or groups of pixels not containing the display panel being marked and separated from the mask,

au moins pour chaque pixel ou groupe de pixels de l'image prise par la caméra et correspondant au paramètre caractérisant la lumière reçue par la caméra et provenant du panneau d’affichage,at least for each pixel or group of pixels of the image taken by the camera and corresponding to the parameter characterizing the light received by the camera and coming from the display panel,

calcul d'une différence entre les paramètres du pixel ou groupe de pixels mesurés dans l'image de la caméra et attendus, et comparaison d'une valeur absolue de la différence avec une valeur seuil, si la valeur absolue de la différence est supérieure à la valeur seuil, le pixel ou groupe de pixels considéré est écarté du masque, et si la valeur absolue de la différence est inférieure à la valeur seuil, le pixel ou groupe de pixels considéré est ajouté au masque.calculating a difference between the parameters of the pixel or group of pixels measured in the camera image and expected, and comparing an absolute value of the difference with a threshold value, if the absolute value of the difference is greater than the threshold value, the pixel or group of pixels considered is removed from the mask, and if the absolute value of the difference is less than the threshold value, the pixel or group of pixels considered is added to the mask.

Une telle méthode permet de former un masque de façon simple et sans recourir à des analyses de mouvement ou des analyses de formes complexes. En particulier l'analyse de différence de luminosité permet de résoudre des cas de figure plus complexes tels que le passage devant l'écran d'un objet à spectre proche d'une diode électroluminescente, ou bien d'une réflexion sur l'écran.Such a method makes it possible to form a mask in a simple manner and without resorting to motion analyzes or analyzes of complex shapes. In particular, the difference in brightness analysis makes it possible to resolve more complex cases such as the passage in front of the screen of an object with a spectrum close to a light-emitting diode, or else of a reflection on the screen.

La méthode peut alors présenter une ou plusieurs des caractéristiques suivantes, prises seules ou en combinaison.The method can then exhibit one or more of the following characteristics, taken alone or in combination.

Le paramètre mesuré ou attendu caractérisant la lumière peut être une luminosité du pixel ou groupe de pixels considéré dans au moins un des canaux spectraux, et la différence est alors une différence numérique de valeur d'intensité.The measured or expected parameter characterizing the light can be a brightness of the pixel or group of pixels considered in at least one of the spectral channels, and the difference is then a numerical difference in intensity value.

En alternative, le paramètre mesuré ou attendu peut être un vecteur dans un espace colorimétrique, et la différence est un vecteur de l'espace colorimétrique, dont la norme est comparée à la valeur seuil.Alternatively, the measured or expected parameter may be a vector in a color space, and the difference is a vector of the color space, the norm of which is compared to the threshold value.

Elle peut comporter simultanément à la mesure du paramètre caractérisant la lumière reçue une étape additionnelle de mesure du paramètre caractérisant la lumière de pixels ou groupe de pixels d'au moins une image supplémentaire d'une caméra monochrome pourvue d'un filtre passe bande ayant au moins une bande passante étroite correspondant à au moins un des canaux spectraux, des pixels ou groupes de pixels de l'image monochrome correspondant à des pixels ou groupes de pixels de l'image issue de la caméra et,It may include simultaneously with the measurement of the parameter characterizing the light received an additional step of measuring the parameter characterizing the light of pixels or group of pixels of at least one additional image of a monochrome camera provided with a band-pass filter having at least one additional image. at least one narrow bandwidth corresponding to at least one of the spectral channels, pixels or groups of pixels of the monochrome image corresponding to pixels or groups of pixels of the image coming from the camera and,

pour les pixels ou groupe de pixels dont la valeur absolue de la différence est inférieure à la valeur seuil, une étape additionnelle de comparaison, pour des pixels ou groupes de pixels correspondants, du paramètre attendu du pixel ou groupe de pixels et si la différence de paramètre est plus grande qu'un seuil prédéterminé, le pixel ou groupe de pixels considéré est écarté du masque, et si la valeur absolue de la différence de paramètre est inférieure au seuil prédéterminé le pixel ou groupe de pixels considéré est ajouté au masque.for the pixels or group of pixels whose absolute value of the difference is less than the threshold value, an additional step of comparison, for corresponding pixels or groups of pixels, of the expected parameter of the pixel or group of pixels and if the difference of parameter is greater than a predetermined threshold, the pixel or group of pixels considered is removed from the mask, and if the absolute value of the parameter difference is less than the predetermined threshold, the pixel or group of pixels considered is added to the mask.

Elle peut comporter une étape préalable d'étalonnage, dans laquelle un signal de données d'image contenant une mire est envoyé au panneau d'affichage, e les paramètres attendus obtenus par simulation numérique sont établis après un étalonnage en utilisant une transformation déterminée à partir de l'image de la mire issue de la caméra.It may include a preliminary calibration step, in which an image data signal containing a test pattern is sent to the display panel, and the expected parameters obtained by digital simulation are established after a calibration using a transformation determined from the image of the test pattern from the camera.

Les pixels ou groupe de pixels de l'image de la caméra ne contenant pas le panneau d’affichage sont marquées en leur affectant une valeur de transparence à ce pixel correspondant à une opacité.The pixels or group of pixels of the camera image not containing the display panel are marked by assigning them a transparency value at that pixel corresponding to an opacity.

Elle peut comporter en outre une étape de réception de données de contrôle de la caméra comportant au moins un parmi l'inclinaison horizontale, l'inclinaison verticale et le grossissement; et le paramètre attendu ||P2|| est simulé en fonction des données de contrôle.It may further comprise a step of receiving control data from the camera comprising at least one of the horizontal inclination, the vertical inclination and the magnification; and the expected parameter || P2 || is simulated based on the control data.

Elle peut comporter en outre une étape de réception de coordonnées spatiales de la caméra, et le paramètre attendu est simulé en fonction des coordonnées spatiales de la caméra.It may further include a step of receiving spatial coordinates of the camera, and the expected parameter is simulated as a function of the spatial coordinates of the camera.

L'invention se rapporte aussi à une méthode de remplacement d'un panneau d'affichage à diodes électroluminescentes dans un flux vidéo, comportant les étapes :The invention also relates to a method for replacing a light-emitting diode display panel in a video stream, comprising the steps:

création d'un masque avec la méthode précédemment décrite,creation of a mask with the method described above,

remplissage du masque avec un contenu de remplissage.fill the mask with fill content.

Cette méthode de remplacement peut comporter en outre les étapes :This replacement method may also include the following steps:

détection de contours théoriques du masque en l'absence d'obstruction,detection of theoretical contours of the mask in the absence of obstruction,

application d'une transformation affine au contenu de remplacement pour l'ajuster aux contours théoriques,application of an affine transformation to the replacement content to fit it to the theoretical contours,

remplissage du masque avec le contenu transformé.filling the mask with the transformed content.

L'invention concerne aussi un support mémoire pouvant être lu par un ordinateur, contenant un programme de remplacement d'un écran d'affichage dans un flux vidéo, comprenant un code exécutable pour la réalisation automatisée de la méthode selon l'une des revendications précédentes.The invention also relates to a memory medium which can be read by a computer, containing a program for replacing a display screen in a video stream, comprising an executable code for the automated implementation of the method according to one of the preceding claims. .

Enfin l'invention se rapporte aussi à un dispositif de transmission d'un flux vidéo, comprenant :Finally, the invention also relates to a device for transmitting a video stream, comprising:

un écran d'affichage à diodes électroluminescentes émettant dans des canaux à partir d'un signal de données d'image,a light emitting diode display screen emitting in channels from an image data signal,

une caméra, dont le champ de vision recouvre au moins partiellement l'écran d'affichage,a camera, the field of view of which at least partially covers the display screen,

une unité de contrôle recevant les images issues de la caméra et le signal de données d'image,a control unit receiving the images from the camera and the image data signal,

caractérisé en ce que l'unité de contrôle est configurée pour remplacer l'écran d'affichage en appliquant la méthode de remplacement mentionnée.characterized in that the control unit is configured to replace the display screen by applying the mentioned replacement method.

D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée à titre d'exemple illustratif et non limitatif, et des dessins annexés parmi lesquels :Other characteristics and advantages of the invention will emerge more clearly on reading the following description, given by way of illustrative and non-limiting example, and the appended drawings, among which:

est une représentation schématique du dispositif pour la mise en œuvre de la méthode de l’invention, is a schematic representation of the device for implementing the method of the invention,

est une vue plus détaillée d’un écran LED à remplacer dans les flux vidéos, is a more detailed view of an LED screen to replace in the video streams,

, ,

montrent les spectres de la lumière apparaissant comme blanche, respectivement dans le cas d’un écran LED et dans le cas d’un objet réellement blanc, show spectra of light appearing as white, respectively in the case of an LED screen and in the case of a truly white object,

, ,

illustrent des images filmées et générées lors du procédé, illustrate images filmed and generated during the process,

, ,

illustrent un autre mode de réalisation alternatif de l'invention. illustrate another alternative embodiment of the invention.

Bien que les figures se rapportent à des modes de réalisation particuliers, d’autres modes de réalisation peuvent être obtenus en combinant ou modifiant légèrement les caractéristiques des modes de réalisation représentés. Les modes de réalisation ainsi obtenus sont eux aussi du domaine de l’invention.Although the figures relate to particular embodiments, other embodiments can be obtained by combining or slightly modifying the characteristics of the embodiments shown. The embodiments thus obtained are also within the scope of the invention.

La figure 1 est une représentation schématique d’une caméra 100 enregistrant une scène 101, qui comprend ici une portion de stade sur laquelle un footballeur 103 et un ballon 105 sont en mouvement, par exemple dans le cadre d’un match de football.Figure 1 is a schematic representation of a camera 100 recording a scene 101, which here includes a stadium portion on which a footballer 103 and a ball 105 are moving, for example in the context of a football match.

La caméra 100 enregistre et transmet les images sous forme de pixels référencés. A chaque pixel des images de la caméra est associé un vecteur P1 d'un espace colorimétrique (par exemple CIE RGB), ayant trois coordonnées dans un espace colorimétrique correspondant à la luminosité émise dans trois canaux chromatiques d'un écran affichant les images issues de la caméra 100. La luminosité totale du pixel considéré est alors ||P1|| la norme du vecteur P1.The camera 100 records and transmits the images in the form of referenced pixels. Each pixel of the images of the camera is associated with a vector P1 of a color space (for example CIE RGB), having three coordinates in a color space corresponding to the brightness emitted in three chromatic channels of a screen displaying the images coming from the camera 100. The total brightness of the pixel considered is then || P1 || the norm of the vector P1.

Cette caméra 100 peut notamment être une caméra trichrome ou noir et blanc.This camera 100 can in particular be a three-color or black and white camera.

La scène 101 comprend un panneau d’affichage 107, en particulier publicitaire et affichant un contenu par exemple un texte et/ ou des images publicitaires AD. Le panneau d’affichage 107 est au moins partiellement situé dans le champ de vision de la caméra 100. Le footballeur 103 et le ballon 105 sont situés devant le panneau d’affichage 107, et agissent ainsi en objets occultant partiellement ledit panneau 107. Derrière le panneau d’affichage 107 se trouve un arrière-plan 109, par exemple des gradins et un public assistant au match.The scene 101 comprises a display panel 107, in particular advertising and displaying content, for example text and / or advertising images AD. The display panel 107 is at least partially located in the field of view of the camera 100. The footballer 103 and the ball 105 are located in front of the display panel 107, and thus act as objects partially obscuring said panel 107. Behind the display panel 107 has a background 109, for example bleachers and an audience watching the match.

Pour pouvoir proposer des images de transmission avec un contenu différent de celui réellement affiché par exemple dans le stade, il est nécessaire de localiser le panneau d’affichage 107 dans les images transmises par exemple à des diffuseurs de contenu comme des stations de télévision ou des entreprises de télécommunication, tout en laissant paraître non modifié dans les images les objets occultant comme par exemple un joueur ou un ballon. Généralement, les images peuvent être proposées pour la diffusion en enlevant ou marquant les pixels groupes de pixels correspondant au contenu diffusé par le panneau d’affichage 107, par exemple en leur affectant une valeur dite de « transparence particulière ».In order to be able to offer transmission images with content different from that actually displayed, for example in the stadium, it is necessary to locate the display panel 107 in the images transmitted, for example, to content broadcasters such as television stations or broadcasters. telecommunication companies, while allowing obscuring objects such as a player or a ball to appear unmodified in the images. Generally, the images can be offered for broadcasting by removing or marking the pixel groups of pixels corresponding to the content broadcast by the display panel 107, for example by assigning them a value called "particular transparency".

Il s’agit donc d’image avec « un masque » dont le contenu peut alors être modifié par le diffuseur selon ses souhaits. La personnalisation du contenu remplacé peut être réalisée à un degré élevé de sorte que par exemple le spectateur voit sur l’image reçue à la place du panneau d’affichage 107 un contenu correspondant par exemple à une publicité d’un commerce de proximité se trouvant non loin du lieu ou se trouve le spectateur.It is therefore an image with "a mask", the content of which can then be modified by the broadcaster according to his wishes. The personalization of the replaced content can be carried out to a high degree so that for example the viewer sees on the image received instead of the display panel 107 a content corresponding for example to an advertisement of a convenience store located not far from the place where the spectator is.

L’objet à remplacer à l’aide du masque est donc ici le panneau d’affichage 107, tandis que les objets occultant 103, 105 et l’arrière-plan 109 doivent être préservés.The object to be replaced using the mask is therefore here the display panel 107, while the obscuring objects 103, 105 and the background 109 must be preserved.

Par « masque » on entend ici un ensemble de pixels ou groupes de pixels dans les images prises par la caméra 100, référencés pour un traitement ultérieur et affectés par des paramètres spécifiques, comme par exemple des valeurs de transparence. Les pixels ou groupes de pixels référencés dans le masque peuvent ici être remplis / remplacés simultanément ou ultérieurement avec un contenu de remplacement, en fonction de la chaîne de diffusion, le pays cible, l’horaire de diffusion et autres.By “mask” is meant here a set of pixels or groups of pixels in the images taken by the camera 100, referenced for subsequent processing and affected by specific parameters, such as for example transparency values. The pixels or groups of pixels referenced in the mask can here be filled / replaced simultaneously or subsequently with replacement content, depending on the broadcast channel, the target country, the broadcast schedule and others.

Selon un mode de réalisation particulier, le masque se présente donc sous forme d'une valeur de transparence associée aux valeurs de luminosité dans les trois canaux spectraux de chacun des pixels des images issues de la caméra 100. La transparence varie par exemple de 0 à 1. Un pixel de transparence valant 0 est, lors du traitement d'image pour le remplacement du panneau d'affichage 107, conservé en l'état. Un pixel de transparence valant 1 est, lors du traitement d'image pour le remplacement du panneau d'affichage 107, remplacé par un pixel d'un contenu de remplacement, par exemple un message publicitaire alternatif.According to a particular embodiment, the mask is therefore in the form of a transparency value associated with the luminosity values in the three spectral channels of each of the pixels of the images coming from the camera 100. The transparency varies for example from 0 to 1. A transparency pixel equal to 0 is, during the image processing for the replacement of the display panel 107, kept as it is. A transparency pixel of 1 is, during the image processing for the replacement of the display panel 107, replaced by a pixel of replacement content, for example an alternative advertising message.

La méthode de l’invention vise en particulier à déterminer pour chaque image du flux vidéo prise par la caméra 100 un masque couvrant exclusivement les portions visibles par la caméra 100 du panneau d’affichage 107, en tenant compte de la possible présence d'objets occultants 103, 105.The method of the invention aims in particular to determine for each image of the video stream taken by the camera 100 a mask covering exclusively the portions visible by the camera 100 of the display panel 107, taking into account the possible presence of objects. blackout 103, 105.

Pour la mise en œuvre de la méthode, la caméra 100 est reliée à une unité de contrôle CU, qui comporte dans le cadre de diffusions en direct une mémoire et des moyens de calcul tels qu’un processeur, dédiés ou partagés avec d’autres fonctions, en particulier sous forme d’ordinateur ou de serveur distant.For the implementation of the method, the camera 100 is connected to a control unit CU, which comprises, in the context of live broadcasts, a memory and calculation means such as a processor, dedicated or shared with others. functions, in particular in the form of a remote computer or server.

L'unité de contrôle CU peut aussi comporter des moyens de lecture de support mémoire pouvant être lu par un ordinateur tel qu'un disque compact, un disque dur ou une mémoire flash, contenant un programme de remplacement d'un écran d'affichage dans un flux vidéo. La mise en œuvre du procédé se fait alors par lecture et compilation d'un code exécutable pour la réalisation automatisée de la méthode.The control unit CU may also include means for reading a memory medium which can be read by a computer such as a compact disc, a hard disk or a flash memory, containing a program for replacing a display screen in a video stream. The implementation of the method is then done by reading and compilation of an executable code for the automated realization of the method.

En alternative, dans le cadre de diffusions ultérieures à l’enregistrement, la caméra 100 peut être reliée à un simple support mémoire (disque dur, mémoire flash), et les images contenues sur le support mémoire sont alors traitées ultérieurement par exemple par un ordinateur séparé, en prévision de ou lors de la diffusion différée.As an alternative, in the context of broadcasts subsequent to the recording, the camera 100 can be connected to a simple memory medium (hard disk, flash memory), and the images contained on the memory medium are then processed subsequently, for example by a computer. separate, in anticipation of or during delayed release.

Dans le cas d’un panneau d’affichage 107 publicitaire, le masque permet de remplacer le contenu d’un premier message publicitaire AD, visible pour les personnes physiquement présentes, avec un autre contenu, par exemple un second message publicitaire, visible pour les téléspectateurs recevant le flux vidéo en lieu et place du premier message publicitaire AD.In the case of an advertising display panel 107, the mask makes it possible to replace the content of a first advertising message AD, visible to the persons physically present, with other content, for example a second advertising message, visible to the persons physically present. viewers receiving the video stream instead of the first AD advertisement.

Le panneau d’affichage 107 est un ensemble d’écrans à LED, comportant des matrices de diodes électroluminescentes, représentées plus en détail en figure 2.The display panel 107 is a set of LED displays, comprising arrays of light emitting diodes, shown in more detail in Figure 2.

Les matrices de diodes électroluminescentes comportent des pixels de panneau px, composés chacun de trois diodes élémentaires indiquées R, G, B de leur canal chromatique respectif rouge R, vert G et bleu B. Chaque diode élémentaire émet de la lumière dans une bande spectrale étroite du domaine visible.Light-emitting diode arrays feature px panel pixels, each composed of three elementary diodes indicated R, G, B of their respective color channel red R, green G and blue B. Each elementary diode emits light in a narrow spectral band. of the visible domain.

Ces canaux chromatiques R, G, B ont une largeur spectrale comprise entre 5 et 50nm (en termes de longueur d’onde λ), principalement engendrée par la diffusion thermique et les défauts de réseau cristallin semi-conducteur des diodes élémentaires.These R, G, B color channels have a spectral width of between 5 and 50nm (in terms of wavelength λ), mainly generated by thermal diffusion and semiconductor crystal lattice defects of elementary diodes.

La gamme de couleurs du spectre visible est obtenue en alimentant les différentes diodes des canaux chromatiques R, G, B à des niveaux spécifiques pour chaque pixel de panneau px. Quand toutes les diodes d’un pixel px émettent à leur puissance maximale, le pixel de panneau px apparaît blanc. Si toutes les diodes du pixel px sont éteintes, le pixel de panneau px apparaît noir. En changeant la puissance relative d’émission de chacune des diodes, la teinte du pixel de panneau px change. La puissance absolue des diodes correspondant à la luminosité totale du pixel de panneau px.The color gamut of the visible spectrum is achieved by powering the different diodes of the R, G, B color channels at specific levels for each pixel of the px panel. When all the diodes of a px pixel are emitting at their maximum power, the px panel pixel appears white. If all of the pixels in the px pixel are off, the px panel pixel appears black. By changing the relative transmit power of each of the diodes, the hue of the px panel pixel changes. The absolute power of the diodes corresponding to the total brightness of the panel pixel px.

A titre d’exemple, deux spectres d’un objet apparaissant blanc à l’œil humain sont représentés en figures 3a et 3b. Les figures 3a et 3b sont des graphes de l’intensité lumineuse (I en candelas cd) en fonction de la longueur d’onde (λ en nanomètres nm).For example, two spectra of an object appearing white to the human eye are shown in Figures 3a and 3b. Figures 3a and 3b are plots of light intensity (I in candelas cd) versus wavelength (λ in nanometers nm).

Le graphe de la figure 3a est plat, à une valeur proche de 0, à l’exception de trois pics dans les canaux chromatiques R, G, B, d’intensité maximale égale.The graph in Figure 3a is flat, close to 0, except for three peaks in the R, G, B color channels of equal maximum intensity.

Le graphe de la figure 3b est plat, à une valeur I0 non-nulle sur l’ensemble du spectre visible (de 400 à 800nm environ).The graph in Figure 3b is flat, at a non-zero I0 value over the entire visible spectrum (approximately 400 to 800nm).

Le spectre de la figure 3a correspond à un ensemble de pixels px à canaux chromatiques R, G, B apparaissant comme blanc, le spectre de la figure 3b correspond à un objet blanc « réel » à spectre continu.The spectrum of FIG. 3a corresponds to a set of pixels px with chromatic channels R, G, B appearing as white, the spectrum of FIG. 3b corresponds to a “real” white object with continuous spectrum.

Dans le cadre de la présente invention, les signaux de contrôle des panneaux d’affichage qui permettent l’affichage du contenu et qui contiennent les données couleurs (RGB) pour les diodes sont disponibles et sont fournies à l’unité de contrôle CU.In the context of the present invention, the control signals of the display panels which allow the display of the content and which contain the color data (RGB) for the diodes are available and are supplied to the control unit CU.

A partir de ces signaux de contrôle des panneaux d’affichage 107 en entrée, l'unité de contrôle CU est configurée pour simuler numériquement, pour des pixels ou groupes de pixel correspondant à l’image prise par la caméra 100 la valeur du vecteur colorimétrique P2 ou bien directement la luminosité attendue ||P2||. On obtient ainsi une sorte d'image de référence 119.From these control signals of the display panels 107 at the input, the control unit CU is configured to digitally simulate, for pixels or groups of pixels corresponding to the image taken by the camera 100, the value of the colorimetric vector P2 or directly the expected brightness || P2 ||. We thus obtain a kind of reference image 119.

Dans cette simulation, l’unité de contrôle CU génère une image de référence 119 qui correspond à l’angle de vue de la caméra 100 et où seul le panneau d’affichage 107 est visible. En résumé, si on diffusait l’image de référence 119, on ne verrait par exemple que le contenu du panneau d’affichage 107 sans rien autour selon le même angle de vue que celui de la caméra 100.In this simulation, the control unit CU generates a reference image 119 which corresponds to the angle of view of the camera 100 and where only the display panel 107 is visible. In summary, if we broadcast the reference image 119, for example, we would only see the content of the display panel 107 with nothing around it at the same angle of view as that of the camera 100.

Dans cette simulation numérique, la luminosité attendue ||P2|| des pixels ou groupe de pixels de l'image de la caméra 100 ne contenant pas le panneau d’affichage 107 est marqué, par exemple par une valeur de luminosité attendue nulle ||P2|| = 0, et/ ou une transparence T =0. Ce marquage indique, lors des étapes ultérieures de remplissage avec un contenu alternatif, que ces pixels sont à préserver (pas de remplacement de leur contenu) car ne contenant pas le panneau d'affichage 107. Les pixels ou groupes de pixels correspondant dans l'image de la caméra sont ainsi écartés du masque, et préservés.In this digital simulation, the expected brightness || P2 || pixels or group of pixels of the camera image 100 not containing the display panel 107 is marked, for example by an expected brightness value of zero || P2 || = 0, and / or a transparency T = 0. This marking indicates, during the subsequent filling steps with alternative content, that these pixels are to be preserved (no replacement of their content) because they do not contain the display panel 107. The pixels or groups of pixels corresponding in the camera image are thus removed from the mask, and preserved.

Dans le présent exemple, l’image de référence 119 issue de la simulation numérique correspond ici, en l'absence d'obstruction, à un rectangle dans lequel le panneau d'affichage 107, qui émet presqu'exclusivement dans les bandes opaques du filtre, apparaît avec une luminosité importante.In the present example, the reference image 119 resulting from the digital simulation corresponds here, in the absence of obstruction, to a rectangle in which the display panel 107, which emits almost exclusively in the opaque bands of the filter , appears with high brightness.

Selon l'angle de vue, le panneau d'affichage 107 peut apparaître sous forme de trapèze, losange ou plus généralement de quadrilatère, du fait de la perspective. Une portion du panneau d'affichage 107 peut aussi être tronquée par le cadrage de la caméra 100.Depending on the viewing angle, the display panel 107 may appear in the form of a trapezoid, diamond or more generally a quadrilateral, due to the perspective. A portion of the display panel 107 may also be truncated by the framing of the camera 100.

L'image de référence 119 ne contient en particulier que des pixels ou groupes de pixels correspondant au panneau d'affichage 107 tel qu'il apparaît dans les prises de vue de la caméra 100. L'image de référence 119 est une simulation numérique, se présentant sous la forme d'une suite de valeurs de luminosité pour des pixels ou groupes de pixels de l'image de la caméra 100.The reference image 119 contains in particular only pixels or groups of pixels corresponding to the display panel 107 as it appears in the shots of the camera 100. The reference image 119 is a digital simulation, in the form of a series of brightness values for pixels or groups of pixels of the image of the camera 100.

Pour créer ou affiner les valeurs de luminosité ||P2|| l'image de référence 119 par la simulation numérique, l'unité de contrôle CU reçoit de plus la position spatiale de la caméra xyz et des données de contrôle ptz de la caméra 100 (p de "panoramic" l'inclinaison horizontale, t de "tilt" l'inclinaison verticale et z de "zoom" le grossissement), ainsi qu'une modélisation tridimensionnelle du panneau d'affichage 107 et éventuellement de son entourage.To create or refine the brightness values || P2 || the reference image 119 by digital simulation, the control unit CU also receives the spatial position of the camera xyz and control data ptz from the camera 100 (p of "panoramic" the horizontal tilt, t of "tilt" the vertical inclination and z for "zoom" the magnification), as well as a three-dimensional modeling of the display panel 107 and possibly of its surroundings.

Cette étape permet, par de simples considérations géométriques, de discriminer l'arrière-plan 109 en délimitant, dans l'image de référence 119, un contour externe théorique du panneau 107 en l'absence d'obstruction. Les pixels à l'intérieur dudit contour théorique sont alors évalués pour être ajoutés ou écartés du masque en identifiant les objets occultants 103, 105 potentiellement présents.This step makes it possible, by simple geometric considerations, to discriminate the background 109 by delimiting, in the reference image 119, a theoretical external contour of the panel 107 in the absence of obstruction. The pixels inside said theoretical contour are then evaluated to be added or removed from the mask by identifying the occulting objects 103, 105 potentially present.

Les vecteurs P2 ou l'intensité lumineuse ||P2|| de chaque pixel ou groupe de pixels de l'image de référence sont calculés à partir du signal contenant les données d'image 117 par application d'une transformée correspondant entre autres à la sensibilité de la caméra 100, aux filtres dont celle-ci est pourvu et à la distance entre l'écran 107 et la caméra 100.The vectors P2 or the light intensity || P2 || of each pixel or group of pixels of the reference image are calculated from the signal containing the image data 117 by applying a transform corresponding among other things to the sensitivity of the camera 100, to the filters of which the latter is provided and the distance between the screen 107 and the camera 100.

La fonction de transfert transformant les données d'image 117 en l'image de référence 119 telle que produite par la caméra 100 peut être calculée à partir de données techniques de la caméra 100, ou bien être déterminée à partir d'une étape préalable d'étalonnage, dans laquelle un signal de données d'image 117 contenant une mire connue est envoyé au panneau d'affichage 107.The transfer function transforming the image data 117 into the reference image 119 as produced by the camera 100 can be calculated from technical data of the camera 100, or else be determined from a previous step d calibration, in which an image data signal 117 containing a known test pattern is sent to the display panel 107.

Cette fonction de transfert est donc à la fois spectrale et géométrique.This transfer function is therefore both spectral and geometric.

L'étape d'étalonnage permet notamment d'établir une transformation ou fonction de transfert déterminée à partir de l'image de la mire issue de la caméra 100, contenant notamment les déformations et différences de couleur résultant de la prise de vue par la caméra 100.The calibration step makes it possible in particular to establish a transformation or transfer function determined from the image of the test pattern coming from the camera 100, notably containing the deformations and color differences resulting from the shooting by the camera. 100.

L'image de référence 119 correspond ainsi à l'image de l'écran d'affichage 107 que percevrait la caméra 100 en l'absence d'obstruction par un objet 103 , 105 passant devant celui-ci et sans l’environnement comme l’arrière-plan 109. On peut donc établir une correspondance pixel par pixel ou groupe de pixels par groupe de pixels entre l'image reçue par la caméra 100 et l'image de référence 119.The reference image 119 thus corresponds to the image of the display screen 107 that the camera 100 would perceive in the absence of obstruction by an object 103, 105 passing in front of it and without the environment such as the background 109. It is therefore possible to establish a correspondence pixel by pixel or group of pixels by group of pixels between the image received by the camera 100 and the reference image 119.

Au moins pour chaque pixel ou groupe de pixels de l'image prise par la caméra 100 et correspondant à une luminosité reçue par la caméra 100 et provenant du panneau d’affichage, c’est-à-dire les pixels ou groupe de pixels non marquées, on calcule une différence de luminosité Δ = ||P1|| - ||P2|| avec l'image de référence 119 et on compare la valeur absolue ||Δ|| de cette différence d'intensité lumineuse Δ avec une valeur seuil ||Δ||0.At least for each pixel or group of pixels of the image taken by the camera 100 and corresponding to a brightness received by the camera 100 and coming from the display panel, that is to say the pixels or group of pixels not marked, we calculate a difference in brightness Δ = || P1 || - || P2 || with the reference image 119 and we compare the absolute value || Δ || of this difference in luminous intensity Δ with a threshold value || Δ || 0.

Si la valeur absolue de différence d'intensité ||Δ|| est inférieure à la valeur seuil ||Δ||0, le pixel ou groupe de pixels est ajouté au masque, par exemple en affectant à ce pixel une valeur de transparence T=1. Le pixel ou groupe de pixels est écarté si la valeur absolue de différence d'intensité ||Δ|| est supérieure à la valeur seuil ||Δ||0 par exemple en affectant à ce pixel une valeur de transparence T=0 correspondant à une opacité lors du traitement ultérieur.If the absolute value of the difference in intensity || Δ || is less than the threshold value || Δ || 0, the pixel or group of pixels is added to the mask, for example by assigning this pixel a transparency value T = 1. The pixel or group of pixels is discarded if the absolute value of intensity difference || Δ || is greater than the threshold value || Δ || 0 for example by assigning to this pixel a transparency value T = 0 corresponding to an opacity during the subsequent processing.

Ainsi, en utilisant d’une part les signaux de contrôle du panneau d’affichage et d’autre part les données de contrôle de caméra 100, par simulation numérique et comparaison, on peut transformer les images reçue par la caméra 100 en affectant une valeur de transparence particulière permettant par la suite un remplacement de contenu, ceci tout en traitant de façon simple le problème des objets occultant.Thus, by using on the one hand the control signals of the display panel and on the other hand the camera control data 100, by digital simulation and comparison, it is possible to transform the images received by the camera 100 by assigning a value of particular transparency subsequently allowing a replacement of content, this while dealing in a simple manner with the problem of obscuring objects.

Le seuil de différence ||Δ||0 est par exemple une valeur fixe (par exemple 5% d'une valeur maximale ou moyenne) ou contrôlée en fonction des couleurs attendues des objets occultant potentiellement l'écran 107 (couleur du ballon 105, couleur des vêtements des joueurs 103), de l'intensité et/ou du spectre de l'éclairage.The difference threshold || Δ || 0 is for example a fixed value (for example 5% of a maximum or average value) or controlled according to the expected colors of the objects potentially obscuring the screen 107 (color of the ball 105, color of the players' clothing 103), the intensity and / or the spectrum of the lighting.

Le seuil de différence ||Δ||0 peut en alternative être dynamique, et varier avec l'image travaillée. Par exemple le seuil de différence ||Δ||0 peut être calculé à partir d'une valeur moyenne d'intensité des pixels de l'image de la caméra 100, ou bien provenir d'une étude statistique de la luminosité ou saturation des pixels de l'image (quartile, décile etc. ou valeur de saut de répartition statistique des pixels etc.).The difference threshold || Δ || 0 can alternatively be dynamic, and vary with the processed image. For example, the difference threshold || Δ || 0 can be calculated from an average value of the intensity of the pixels of the image of the camera 100, or else come from a statistical study of the luminosity or saturation of the pixels of the image (quartile, decile etc. or jump value of statistical distribution of pixels etc.).

En particulier, si la transparence du masque peut prendre des valeurs intermédiaires entre 0 et 1, il est possible de faire varier la transparence avec la valeur absolue de différence d'intensité ||Δ||, par exemple de façon proportionnelle.In particular, if the transparency of the mask can take intermediate values between 0 and 1, it is possible to vary the transparency with the absolute value of the difference in intensity || Δ ||, for example in a proportional manner.

La méthode discutée ci-dessus est discutée dans le cadre d'un exemple de mise en œuvre comparant des luminosités ||P1|| ou ||P2||. Cependant la méthode peut être mise en œuvre en mesurant, simulant et comparant d'autres paramètres caractérisant la lumière reçue par la caméra 100.The method discussed above is discussed as part of an implementation example comparing luminosities || P1 || or || P2 ||. However, the method can be implemented by measuring, simulating and comparing other parameters characterizing the light received by the camera 100.

Par exemple, la simulation et la comparaison peut être effectuée directement sur les vecteurs colorimétriques P1, P2. Dans ce cas, la différence Δ = P1 – P2 est elle-même un vecteur colorimétrique, et c'est sa norme ||Δ|| qui est comparée à la valeur seuil ||Δ||0. La différence Δ prend alors en compte les différences de coloration à luminosité totale égale.For example, the simulation and the comparison can be performed directly on the colorimetric vectors P1, P2. In this case, the difference Δ = P1 - P2 is itself a colorimetric vector, and it is its norm || Δ || which is compared to the threshold value || Δ || 0. The difference Δ then takes into account the differences in coloring for equal total luminosity.

Selon une autre variante, les opérations de calcul de différence et de comparaison peuvent s’étendre à tout l’image prise par la caméra 100.According to another variant, the difference calculation and comparison operations can extend to the entire image taken by the camera 100.

La figure 4 illustre l'élaboration d'une image de référence.FIG. 4 illustrates the development of a reference image.

L'unité de contrôle CU reçoit les images de la caméra 100 et les signaux de contrôle 117 des panneaux d’affichage 107 contenant les données d'image affichées, par exemple un contenu sous forme de textes, vidéos ou images publicitaires AD, répétés sur la longueur du panneau d'affichage 107.The control unit CU receives the images from the camera 100 and the control signals 117 from the display panels 107 containing the displayed image data, for example content in the form of texts, videos or advertising images AD, repeated on the length of the display panel 107.

L'unité de contrôle CU reçoit ou connaît la position spatiale xyz et des données de contrôle ptz de la caméra 100.The control unit CU receives or knows the spatial position xyz and control data ptz from the camera 100.

Un exemple schématique d'image de référence 119 est représenté en figure 4, en sortie de l'unité de contrôle CU. Dans cette image de référence 119, le panneau d'affichage 107 apparaît tronqué par le cadrage, et en perspective du fait de l'angle de vue.A schematic example of a reference image 119 is shown in FIG. 4, at the output of the control unit CU. In this reference image 119, the display panel 107 appears truncated by the framing, and in perspective due to the viewing angle.

La figure 5 est une représentation schématique d'une image que pourrait fournir la caméra 100 avec un objet occultant.FIG. 5 is a diagrammatic representation of an image that the camera 100 could provide with an obscuring object.

L'unité de contrôle CU génère alors une image de référence 119 en tenant compte des paramètres précédemment mentionnés.The control unit CU then generates a reference image 119 taking into account the previously mentioned parameters.

En particulier, le ballon 105 est en train de passer entre la caméra 115 et le panneau d’affichage 107. La luminosité des pixels recevant la lumière du ballon 105 est par exemple inférieure à la luminosité du panneau d’affichage 107 recouvert par ledit ballon 105. Si la différence de luminosité entre les pixels formant l'image du ballon 105 et les pixels correspondant de l'image de référence 119 issus de la simulation numérique est suffisante (supérieure à ||Δ||0), les pixels du ballon 105 ne seront pas ajoutés au masque.In particular, the ball 105 is passing between the camera 115 and the display panel 107. The brightness of the pixels receiving the light from the ball 105 is for example lower than the brightness of the display panel 107 covered by said balloon. 105. If the difference in brightness between the pixels forming the image of the balloon 105 and the corresponding pixels of the reference image 119 resulting from the digital simulation is sufficient (greater than || Δ || 0), the pixels of the balloon 105 will not be added to the mask.

Cette façon de faire peut aussi être étendue à une analyse spectrale par canal de couleur. Ainsi, on peut par exemple utiliser plusieurs caméras, chacune munie d’un filtre passe bande étroite dont un centré sur le canal spectral R, un autre sur le canal spectral G et un autre sur le canal spectral B, ou par l’utilisation d’une caméra « tri-chromique RGB » et on réalise ces comparaisons par canal de couleur. L’utilisation d’une caméra tri-chromique RGB peut être intéressante, car en plaçant un filtre interférentiel à trois bandes passantes R, G et B devant la caméra, le canal spectral R de cette caméra va donner essentiellement la luminosité des reçue dans le canal spectral R et ainsi de suite.This way of doing things can also be extended to a spectral analysis by color channel. Thus, for example, several cameras can be used, each equipped with a narrow band pass filter, one of which is centered on the spectral channel R, another on the spectral channel G and another on the spectral channel B, or by the use of 'a "tri-chromic RGB" camera and these comparisons are made by color channel. The use of a tri-chromic RGB camera can be interesting, because by placing an interference filter with three pass bands R, G and B in front of the camera, the spectral channel R of this camera will essentially give the brightness of the received in the spectral channel R and so on.

Des analyses de formes simples (cercles, rectangles etc.) peuvent être utilisées en complément pour affiner le masque.Analyzes of simple shapes (circles, rectangles etc.) can be used in addition to refine the mask.

La figure 6 illustre un mode de réalisation plus évolué d’un dispositif pour l'exécution d'une méthode pour générer un masque pour remplacer un panneau d'affichage à diodes électroluminescentes dans un flux vidéo, le panneau 107 affichant une image dans trois canaux spectraux R, G, B du spectre visible.Figure 6 illustrates a more advanced embodiment of a device for performing a method for generating a mask to replace a light emitting diode display panel in a video stream, the panel 107 displaying an image in three channels. spectral R, G, B of the visible spectrum.

Ce mode de réalisation se distingue par une analyse spectrale plus poussée et permet de traiter plus finement le problème des objets occultant présentant des couleurs émettant de façon importante de la lumière dans le spectre des canaux R, G ou B des diodes du panneau d’affichage 107.This embodiment is distinguished by a more advanced spectral analysis and makes it possible to deal more finely with the problem of obscuring objects having colors emitting significantly light in the spectrum of the R, G or B channels of the display panel diodes. 107.

En figure 6, le dispositif comporte, par rapport au mode de réalisation de la figure 1 en outre une caméra monochrome ou couleur 115 pourvue d'un filtre passe bande à bandes passantes étroites correspondant à un, deux ou trois des canaux spectraux R, G, B.In Figure 6, the device comprises, compared to the embodiment of Figure 1 further a monochrome or color camera 115 provided with a band pass filter with narrow pass bands corresponding to one, two or three of the spectral channels R, G , B.

Cette caméra monochrome 115 est dirigée sur l'écran 107, avec un angle de vue similaire ou couvrant l'angle de vue de la caméra 100. Le spectre en transmission d'un tel filtre est représenté à titre d’exemple en figure 5. La caméra monochrome 115 peut notamment être disposée proche de la caméra 100, et partager ses coordonnées de prise de vue ou données de contrôle ptz.This monochrome camera 115 is directed onto the screen 107, with a similar viewing angle or covering the viewing angle of the camera 100. The transmission spectrum of such a filter is shown by way of example in FIG. 5. The monochrome camera 115 can in particular be placed close to the camera 100, and share its shooting coordinates or ptz control data.

La figure 7 est un graphe de la transparence T du filtre en pourcentage de lumière transmise en fonction de la longueur d'onde λ, avec l'image filtrée 119 obtenue par la caméra monochrome 115 portant ce filtre.FIG. 7 is a graph of the transparency T of the filter as a percentage of light transmitted as a function of the wavelength λ, with the filtered image 119 obtained by the monochrome camera 115 carrying this filter.

La transparence est élevée (par exemple supérieure à 90%) dans au moins un des canaux spectraux R, G et B (plus ou moins 5 ou 10 nm par exemple) dans lesquels les panneaux 107 à remplacer émettent de la lumière. Sur le reste du spectre visible, la transparence est nulle ou au moins très faible (inférieure à 5% par exemple) : le filtre est opaque en dehors d'une ou plusieurs bandes de 5 à 25nm de large correspondant à au moins un des canaux spectraux R, G, B, ici en particulier aux trois.The transparency is high (for example greater than 90%) in at least one of the spectral channels R, G and B (plus or minus 5 or 10 nm for example) in which the panels 107 to be replaced emit light. On the rest of the visible spectrum, transparency is zero or at least very low (less than 5% for example): the filter is opaque outside one or more bands 5 to 25 nm wide corresponding to at least one of the channels spectral R, G, B, here in particular to the three.

Le filtre présente donc au moins une bande spectrale transparente de largeur à mi-hauteur comprise entre 5 et 25nm, correspondant à au moins un des canaux spectraux R, G, B élargi de quelques nanomètres (1 à 5nm de chaque côté par exemple).The filter therefore has at least one transparent spectral band of width at half height of between 5 and 25 nm, corresponding to at least one of the spectral channels R, G, B widened by a few nanometers (1 to 5 nm on each side for example).

De tels filtres sont par exemple proposés par la firme ALLUXA, sous la dénomination "band filters" et sont réalisables en particulier par empilement de couches minces formant miroir interférométrique.Such filters are for example offered by the firm ALLUXA, under the name “band filters” and can be produced in particular by stacking thin layers forming an interferometric mirror.

Le panneau d’affichage 107 affiche des images en fonction d'un signal de contrôle contenant des données d'image 117, par exemple sous forme de coordonnées dans un espace colorimétrique pour chacun des pixels du panneau 107 correspondant à l'intensité que chacune des diodes d'un pixel d'écran px adopte pour afficher l'image contenue dans les données d'image 117. Les coordonnées du vecteur P1 représentent la luminosité dans les canaux R, G, B pour un écran affichant l'image issue de la caméra 100. La caméra 100 peut notamment être une caméra noir et blanc, dont l'image est en niveau de gris correspondant directement à la luminosité ||P1||.The display panel 107 displays images according to a control signal containing image data 117, for example as coordinates in a color space for each of the pixels of the panel 107 corresponding to the intensity that each of the diodes of a screen pixel px adopts to display the image contained in the image data 117. The coordinates of the vector P1 represent the brightness in the R, G, B channels for a screen displaying the image from the camera 100. Camera 100 can in particular be a black and white camera, the image of which is in gray level corresponding directly to the brightness || P1 ||.

La caméra monochrome 115 fournit une image monochrome du panneau 107, dont chaque pixel ou groupe de pixels possède une luminosité ||P3|| qui correspond à la luminosité totale mesurée dans les canaux spectraux R, G, B étroits des différents objets filmés par la caméra monochrome 115.The monochrome camera 115 provides a monochrome image of the panel 107, each pixel or group of pixels of which has a brightness || P3 || which corresponds to the total luminosity measured in the narrow R, G, B spectral channels of the various objects filmed by the monochrome camera 115.

L'unité de contrôle CU (figure 4) reçoit donc les images de la caméra 100, de la caméra monochrome 115, les données de contrôle ptz des caméras 100 et 115 ainsi que les signaux de contrôle contenant les données d'image 117.The control unit CU (FIG. 4) therefore receives the images from the camera 100, from the monochrome camera 115, the ptz control data from the cameras 100 and 115 as well as the control signals containing the image data 117.

Pour obtenir une discrimination encore plus performante entre le panneau d’affichage 107 d’une part et un objet occultant 103, ou 105 d’autre part, il est proposé pour les pixels ou groupes de pixels dont la valeur absolue de la différence ||Δ|| est inférieure à la valeur seuil ||Δ||0 ou non-marqués une étape additionnelle de comparaison qui permet d'affiner les limites du masque.To obtain an even more efficient discrimination between the display panel 107 on the one hand and an obscuring object 103, or 105 on the other hand, it is proposed for the pixels or groups of pixels whose absolute value of the difference || Δ || is less than the threshold value || Δ || 0 or not marked an additional comparison step which makes it possible to refine the limits of the mask.

Lors de cette étape additionnelle, l'unité de contrôle CU compare alors la luminosité attendue ||P2|| obtenue par simulation numérique d'un pixel de l'image de référence et la luminosité ||P3|| d'un pixel correspondant à l'image monochrome reçue par la caméra monochrome 115 au travers du filtre interférentiel décrit plus haut et laissant seulement passer dans des bandes passantes étroites les couleurs R (rouge – Red), G (vert – Green) et B (bleu – Blue).During this additional step, the control unit CU then compares the expected brightness || P2 || obtained by digital simulation of a pixel of the reference image and the luminosity || P3 || of a pixel corresponding to the monochrome image received by the monochrome camera 115 through the interference filter described above and only allowing the colors R (red - Red), G (green - Green) and B to pass through narrow pass bands (blue - Blue).

Si la différence de luminosité ||P2|| - ||P3|| prise en valeur absolue est plus grande qu'un seuil ||Δ||1 prédéterminé, le pixel considéré est écarté du masque et donc on affecte par exemple à ce pixel une valeur de transparence T=0. Si la différence de luminosité ||P2|| - ||P3|| en valeur absolue est inférieure au seuil prédéterminé ||Δ||1, le pixel ou groupe de pixels considéré est ajouté au masque et donc on affecte par exemple à ce pixel une valeur de transparence T=1.If the difference in brightness || P2 || - || P3 || taken in absolute value is greater than a predetermined threshold || Δ || 1, the pixel considered is removed from the mask and therefore this pixel is assigned a transparency value T = 0, for example. If the difference in brightness || P2 || - || P3 || in absolute value is less than the predetermined threshold || Δ || 1, the pixel or group of pixels considered is added to the mask and therefore this pixel is assigned, for example, a transparency value T = 1.

Le dispositif de transmission de flux vidéo selon l'invention, et en particulier le ou les panneaux d'affichage 107, peut alors être exempt de marqueurs ou d'illuminateurs hors du domaine spectral visible, illuminateurs qu'il faudrait disposer de sorte à éclairer spécifiquement les objets occultants (joueur 103, ballon 105). Il ne nécessite en particulier aucun matériel supplémentaire à installer sur le terrain même, comme par exemple des projecteurs infrarouges ou bien des couches ou diodes émettant dans le domaine infrarouge (ou ultraviolet) sur les écrans 107 mêmes.The video stream transmission device according to the invention, and in particular the display panel (s) 107, can then be free of markers or illuminators outside the visible spectral range, which illuminators should be placed so as to illuminate. specifically blackout objects (player 103, ball 105). In particular, it does not require any additional equipment to be installed in the field itself, such as for example infrared projectors or else layers or diodes emitting in the infrared (or ultraviolet) range on the screens 107 themselves.

Bien d’autres développements sont envisageables sans sortir du cadre de la présente invention, notamment pour créer par exemple un modèle stéroscopique du masque en doublant l’équipement décrit ci-dessus en référence aux figures et en appliquant l’enseignement de la demande de brevet WO2014/135910 au nom du présent déposant pour obtenir.Many other developments can be envisaged without departing from the scope of the present invention, in particular to create for example a steroscopic model of the mask by doubling the equipment described above with reference to the figures and by applying the teaching of the patent application. WO2014 / 135910 in the name of the present applicant to obtain.

Il est alors possible d'extrapoler le masque à d’autres caméras supplémentaires couvrant le même événement 113 par simple déformation, en connaissant leur position spatiale xyz et leurs données de contrôle ptz à partir du modèle tridimensionnel de l'objet formant obstruction (par exemple une sphère dans le cas du ballon 105) et de sa position par rapport au panneau d'affichage 107.It is then possible to extrapolate the mask to other additional cameras covering the same event 113 by simple deformation, by knowing their spatial position xyz and their control data ptz from the three-dimensional model of the object forming an obstruction (for example a sphere in the case of the ball 105) and its position relative to the display panel 107.

Les images des caméras supplémentaires 113, avec le masque déterminé peuvent alors être transmis sous forme de flux vidéo pour par exemple une société de diffusion, qui peut alors à loisir remplir la portion d'image couverte par le masque avec une image de remplissage, éventuellement ajustée par déformation affine aux contours du panneau d'affichage 107 qui est alors recouvert par exemple avec un autre message publicitaire aux yeux des téléspectateurs.The images of the additional cameras 113, with the determined mask can then be transmitted in the form of a video stream for, for example, a broadcasting company, which can then fill the image portion covered by the mask with a filling image, if necessary. adjusted by affine deformation to the contours of the display panel 107 which is then covered for example with another advertising message in the eyes of the viewers.

L'image de référence 119, contient le contour théorique du panneau 107 sans obstruction tel qu'il apparaît pour la caméra 100, 100a. L'image de remplacement peut notamment être ajustée au contour théorique par déformation affine à partir de l'image de référence 119 pour apparaître en perspective aux yeux des téléspectateurs.The reference image 119, contains the theoretical outline of the panel 107 without obstruction as it appears for the camera 100, 100a. The replacement image can in particular be adjusted to the theoretical contour by affine deformation from the reference image 119 in order to appear in perspective to the eyes of the viewers.

La méthode de détermination d'un masque selon l'invention permet de délimiter rapidement un masque en tenant compte d'éventuels objets occultant l'écran ou le panneau 107 à remplacer. En particulier, l'utilisation de simple comparaison de luminosité sans avoir à analyser et suivre les mouvements des différents objets pouvant occulter ledit panneau 107 rend la méthode plus adaptée aux retransmissions en direct : une seule image du flux est analysée à la fois, ce qui signifie que le décalage temporel et faible et imperceptible.The method of determining a mask according to the invention makes it possible to rapidly delimit a mask by taking into account any objects obscuring the screen or the panel 107 to be replaced. In particular, the use of a simple comparison of brightness without having to analyze and follow the movements of the various objects which may obscure said panel 107 makes the method more suitable for live retransmissions: only one image of the stream is analyzed at a time, which means that the time lag and weak and imperceptible.

La détermination des pixels contenus dans le masque ou non se fait aussi essentiellement par de simples comparaisons de valeurs de luminosité ou de grandeurs colorimétriques, et ne requiert donc pas ou peu de reconnaissance de forme ou de suivi de mouvement.The determination of the pixels contained in the mask or not is also done essentially by simple comparisons of values of luminosity or of colorimetric quantities, and therefore requires little or no shape recognition or motion tracking.

Cette détermination de l'étendue du masque se fait sans recourir à des illuminations sélectives dans un domaine spectral invisible tel que les infrarouges ou les ultraviolets.This determination of the extent of the mask is done without resorting to selective illuminations in an invisible spectral range such as infrared or ultraviolet.

La méthode selon l'invention n'a pas non plus besoin que le panneau d'affichage 107 soit équipé de marqueurs spécifiques et utilise un panneau d'affichage 107 à diodes électroluminescentes en tant que tel, avec les signaux électroniques de commande correspondant au niveau de luminosité desdites diodes électroluminescentes pour l'affichage de contenu visuel tel que de la publicité, animé ou non.The method according to the invention also does not need the display panel 107 to be equipped with specific markers and uses a light-emitting diode display panel 107 as such, with the electronic control signals corresponding to the level. brightness of said light-emitting diodes for displaying visual content such as advertising, animated or not.

Claims

A method for generating a mask for replacing a light emitting diode display panel (107) in a video stream, the display panel (107) having light emitting diodes in three spectral channels (R, G, B) of the visible spectrum, comprising the steps:
measurement for each pixel or group of pixels of at least one image of a camera (100) containing at least partially the display panel (107) of a measured parameter (|| P1 ||) characterizing the light received by each pixel or group of pixels,
for each pixel or group of pixels of the image of the camera (100), digital simulation of an expected parameter (|| P2 ||) characterizing the light received by the camera (100) coming only from the display panel ( 107) by means of control signals from the display panel (107), in this digital simulation, the pixels or groups of pixels not containing the display panel (107) being marked and separated from the mask,
at least for each pixel or group of pixels of the image taken by the camera (100) and corresponding to the parameter characterizing the light received by the camera (100) and coming from the display panel (107), calculation of a difference Δ between the parameters of the pixel or group of pixels measured (|| P1 ||) in the image of the camera (100) and expected (|| P2 ||), and comparison of an absolute value of the difference (| | Δ ||) with a threshold value (|| Δ || 0), if the absolute value of the difference (|| Δ ||) is greater than the threshold value (|| Δ || 0), the pixel or group of pixels considered is removed from the mask, and if the absolute value of the difference (|| Δ ||) is less than the threshold value (|| Δ || 0), the pixel or group of pixels considered is added to the mask .

Method according to Claim 1, characterized in that the measured or expected parameter (|| P1 ||, || P2 ||) characterizing the light is a brightness of the pixel or group of pixels considered in at least one of the spectral channels (R , G, B), and in that the difference is a numerical difference in intensity value.

Method according to claim 1, characterized in that the measured or expected parameter (|| P1 ||, || P2 ||) is a vector in a color space, and in that the difference is a vector of the color space , whose norm is compared to the threshold value (|| Δ || 0).

Method according to one of claims 1 to 3, characterized in that it comprises simultaneously with the measurement of the parameter (|| P1 ||) characterizing the light received an additional step of measurement of the parameter (|| P3 ||) characterizing the light of pixels or group of pixels from at least one additional image of a monochrome camera (115) provided with a bandpass filter having at least one narrow passband corresponding to at least one of the spectral channels (R, G, B), pixels or groups of pixels of the monochrome image corresponding to pixels or groups of pixels of the image from the camera (100) and,
for the pixels or group of pixels for which the absolute value of the difference (|| Δ ||) is less than the threshold value (|| Δ || 0), an additional comparison step, for corresponding pixels or groups of pixels , of the expected parameter (|| P2 ||) of the pixel or group of pixels and if the parameter difference (|| P2 || - || P3 ||) is greater than a threshold (|| Δ || 1 ) predetermined, the pixel or group of pixels considered is removed from the mask, and if the absolute value of the parameter difference (|| P2 || - || P3 ||) is less than the predetermined threshold || Δ || 1 the pixel or group of pixels considered is added to the mask.

Method according to one of claims 1 to 4, characterized in that it comprises a preliminary calibration step, in which an image data signal (117) containing a test chart is sent to the display panel (107) , and in that the expected parameter || P2 || obtained by digital simulation is established after a calibration using a transformation determined from the image of the test pattern from the camera.

Method according to one of the preceding claims, in which the expected parameter || P2 || pixels or group of pixels of the camera image (100) not containing the display panel are marked by assigning a transparency value to that pixel corresponding to an opacity.

Method according to one of the preceding claims, characterized in that it further comprises a step of receiving control data (ptz) from the camera (115) comprising at least one of the horizontal inclination, the vertical inclination and the magnification; and in that the expected parameter (|| P2 ||) is simulated based on the control data (ptz).

Method according to one of the preceding claims, characterized that it further comprises a step of receiving spatial coordinates (xyz) of the camera (115); and in that the expected parameter (|| P2 ||) is simulated as a function of the spatial coordinates (xyz).

A method of replacing a light emitting diode display panel in a video stream, comprising the steps:
creation of a mask with the method according to one of the preceding claims,
fill the mask with fill content.

Replacement method according to the preceding claim, characterized in that it further comprises the steps:
detection of theoretical contours of the mask in the absence of obstruction,
application of an affine transformation to the replacement content to fit it to the theoretical contours,
filling the mask with the transformed content.

Memory medium which can be read by a computer, containing a program for replacing a display screen in a video stream, comprising an executable code for the automated implementation of the method according to one of the preceding claims.

Device for transmitting a video stream, comprising:
a light emitting diode display screen (107) emitting in channels (R, G, B) from an image data signal (117),
a camera (100), the field of view of which at least partially covers the display screen (107)
a monochrome camera (115) provided with a band pass filter with narrow pass bands, corresponding to at least one of the spectral channels (R, G, B), the field of view of which corresponds to the field of view of the camera (100) ,
a control unit (UC) receiving the images from the camera (100), the monochrome camera and the image data signal (117),
characterized in that the control unit (UC) is configured to replace the display screen (107) by applying the method of one of claims 9 or 10.