FR3071123B1 - Methode de masquage d'objets dans un flux video - Google Patents

Abstract

L'invention se rapporte à une méthode pour générer un masque afin de remplacer un objet dans un flux vidéo, l'objet à remplacer émettant de la lumière dans au moins une bande spectrale étroite (R, G, B) du spectre visible, comportant les étapes: • recevoir une ou plusieurs images d'au moins une caméra (100), • analyser la lumière de différentes portions de la ou des images reçues dans au moins une des bandes spectrales étroites (R, G, B), • sélectionner comme masque une zone couvrant des portions de la ou des images reçues dans lesquelles la lumière détectée dans la au moins une bande spectrale étroite (R, G, B) dépasse un seuil prédéterminé.

Description

Méthode de masquage d’objets dans un flux vidéo

La présente invention se rapporte à une méthode de détermination d’un masque dynamique pour le remplacement d’objets spécifiques dans le champs de vision d’une ou plusieurs caméras optiques. Les objets spécifiques doivent en particulier pouvoir être remplacés lors de diffusions en direct, et par des images différentes pour différents publics cible.

Lors de rencontres sportives et d’événements culturels, l’affichage de publicité sur des bandes, écrans ou panneaux d’affichage est une source de revenus importante, et fait souvent partie intégrante de stratégies marketing de groupes qui sponsorisent les différents acteurs des rencontres et événements.

La méthode ici développée vise à remplacer sélectivement et dynamiquement des objets tels que des affichages publicitaire dans le champs de vision d’une caméra optique, en particulier lors de diffusions en direct. Ladite méthode permet d’afficher des messages et images appropriés au public cible, comme par exemple en affichant une publicité pour une compagnie du pays visé, la traduction ou adaptation des slogans affichés dans la langue locale, ou l’affichage de différentes publicités selon le créneau de diffusion (en direct ou en rediffusion par exemple), en fonction du pays cible, de la chaîne de diffusion ou de la localité de diffusion.

Les méthodes connues pour l’insertion virtuelle et le remplacement d’images impliquent généralement le suivi des mouvements de caméra, la reconnaissance de formes ou la sélection manuelle des éléments à remplacer.

La sélection manuelle, bien que très peu susceptible aux erreurs n’est pas adaptée aux diffusions en direct : du fait de l’intervention humaine sur chaque image, un décalage temporel trop important surviendrait. De même, l’emploi d’un opérateur humain pour une quantité importante d’images d’archive peut s’avérer trop coûteux.

La reconnaissance de formes et le suivi des objets requiert un nombre important de calculs, et peut s’avérer inadapté lors de changements de points de vue fréquents (par exemple un match de football où des actions s’enchaînent rapidement), du fait qu’il faut alors à chaque fois identifier à nouveau les différents objets.

Le suivi des mouvements de caméra requiert des capteurs potentiellement coûteux, et des objets occultants (par exemple les joueurs, le ballon ou un arbitre) peuvent être ignorés en l’absence d’analyse d’image complexe.

Il serait donc avantageux de disposer d’un moyen simple et efficace de localiser les éléments tels que les panneaux publicitaires dans les images d’une caméra.

Le brevet US2015/0015743 décrit une méthode pour détecter des écrans d’affichage en utilisant une signature infrarouge spécifique, obtenue par la disposition d’un filtre spécifique sur lesdits écrans d’affichage. Cette méthode permet d’identifier facilement les écrans à remplacer, mais requiert l’installation d’une couche filtrante sur les écrans, ce qui est coûteux, de sorte que des stades, arènes ou salles risquent de choisir de s’abstenir lorsque peu de rencontres sont filmées et diffusées.

Le document US5940139, de façon analogue, propose d’illuminer séparément les éléments d’avant-plan et d’arrière-plan, avec l’arrière-plan (ici à remplacer) illuminé dans le domaine infrarouge. Le masque est alors généré en sélectionnant les pixels dans lesquels de la lumière infrarouge est détectée. De nouveau, pour implémenter cette méthode il faut intervenir sur le terrain, le stade, l’arène ou la salle où se déroule l’événement filmé.

Afin de surmonter les désavantages précédemment mentionnés, l’invention propose une méthode pour générer un masque afin de remplacer un objet dans un flux vidéo, l’objet à remplacer émettant de la lumière dans au moins une bande spectrale étroite du spectre visible, comportant les étapes: • recevoir une ou plusieurs images d’au moins une caméra, • analyser la lumière de différentes portions de la ou des images reçues dans au moins une des bandes spectrales étroites, • sélectionner comme masque une zone couvrant des portions de la ou des images reçues dans lesquelles la lumière détectée dans la au moins une bande spectrale étroite dépasse un seuil prédéterminé.

La méthode proposée utilise un critère spectral des équipements tels qu’ils ont été installés pour délimiter le masque, et ainsi délimiter la portion visible des objets à remplacer. Les données spectrales sont en particulier facilement accessibles et traitables pour les ordinateurs, requérant ainsi potentiellement moins de calculs que les méthodes d’analyse d’image et de reconnaissances de forme.

La méthode ne requiert en particulier aucun suivi des mouvements de caméra dans ses modes de réalisation principaux, et peut être appliquée sans modifier les équipements déployés sur le terrain filmé.

La méthode peut comporter en outre une ou plusieurs des caractéristiques suivantes, prises seules ou en combinaison. L’objet à remplacer est un panneau, un écran ou une surface d’affichage comprenant des diodes électroluminescentes émettant de la lumière dans au moins un canal chromatique, la au moins une bande spectrale étroite comprenant au moins un des canaux chromatiques.

La méthode comprend en outre les étapes : • mesure de la quantité de lumière détectée dans la au moins une bande spectrale étroite pour une portion de l’image, • mesure de la quantité de lumière détectée dans un canal spectral autre que la au moins une bande spectrale étroite pour la même portion de l’image, • utiliser la quantité de lumière détectée dans le canal spectral autre que la au moins une bande spectrale étroite pour établir un seuil, • ajouter la portion d’image au masque si la différence entre la quantité de lumière détectée dans le canal spectral autre que la au moins une bande spectrale étroite dépasse le seuil.

Les différentes portions de la au moins une image sont des pixels ou des groupes de pixels de la ou desdites images. L’invention a aussi pour objet la méthode pour remplacer un objet dans un flux vidéo associée, l’objet à remplacer émettant de la lumière dans au moins une bande spectrale étroite du spectre visible, et comportant les étapes: ° générer un masque en utilisant la méthode précédemment mentionnée, o remplir le masque avec une image de remplacement, o appliquer le masque rempli à l’image correspondante du flux vidéo. L’étape de remplissage du masque avec une image de remplacement peut alors comporter les étapes : • utiliser une reconnaissance de contours sur le masque généré pour déterminer un contour extérieur de l’objet à remplacer sans objets occultant, • utiliser une déformation affine sur une image bidimensionnelle pour la conformer au contour extérieur déterminé, • remplir le masque avec l’image déformée.

Les images reçues peuvent en particulier provenir d’une caméra multispectrale et d’une caméra rouge-vert-bleu, arrangées de sorte à pourvoir établir une correspondance entre les différentes portions des images issues des deux caméras, le masque étant généré au moyen des images reçues des deux caméras et appliqué aux images de la caméra rouge-vert-bleu, qui sont alors envoyées en sortie pour générer le flux vidéo.

En alternative les images reçues peuvent provenir d’une caméra multispectrale comprenant des canaux chromatiques rouge, vert et bleu et au moins un canal spectral en dehors des bandes spectrales rouge, verte et bleue, les signaux dans les différents canaux spectraux étant utilisés pour générer le masque, et les signaux dans les canaux chromatiques rouge, vert et bleu formant les images sur lesquelles est appliqué le masque et envoyées en sortie pour générer le flux vidéo.

Dans cette méthode, l’objet à remplacer peut être un panneau, un écran ou une surface d’affichage comprenant des diodes électroluminescentes émettant de la lumière dans au moins un canal chromatique et une forme polygonale est alors ajustée au masque comme contour extérieur sans objet occultant. L’invention se rapporte aussi au support mémoire pouvant être lu par un ordinateur, contenant un programme de remplacement d’objet dans un flux vidéo, comprenant un code exécutable pour la réalisation automatisée de la méthode selon l’une au moins des revendications précédentes. L’invention a aussi pour objet le dispositif de transmission d’un flux d’images associé, comportant : • au moins une caméra multispectrale, • une unité de contrôle configurée pour recevoir les images issues de la caméra multispectrale et leur appliquer l’une des méthodes telles que précédemment mentionnées. L’invention concerne aussi une méthode pour remplacer un objet dans un flux vidéo, l’objet à remplacer émettant de la lumière dans au moins une bande spectrale étroite du spectre visible, comportant les étapes : • créer une vue stéréoscopique de la scène à partir d’images reçues d’au moins deux caméras multispectrales, • analyser les images des au moins deux caméras multispectrales pour extraire des paramètres de pose des caméras multispectrales, • utiliser la vue stéréoscopique et les paramètres de pose pour déterminer un point de vue des caméras multispectrales, • identifier les objets occultants, s’il y en a, dans la vue en perspective des caméras, • détecter les contours des objets en avant-plan et des objets à remplacer en utilisant la méthode pour générer un masque afin de remplacer un objet dans un flux vidéo telle que mentionnée, • créer un masque occultant aux contours des objets à remplacer dans le champs de vision d’une caméra filmant la scène en utilisant la vue stéréoscopique et les paramètres de pose de la caméra filmant la scène, • composer une image de remplacement en utilisant l’image telle que vue par la caméra filmant la scène en position, et en appliquant le masque occultant à ladite image.

La caméra filmant la scène et qui fournit les images sur lesquelles est appliqué un masque composé avec une image de remplacement peut alors notamment être une caméra trichrome distincte des caméras multispectrales. D’autres avantages et caractéristiques de l’invention apparaîtront à la lecture de la description des figures suivantes, données à titre d’exemple illustratif et non limitatif, parmi lesquelles : • la figure 1 est une représentation schématique du dispositif pour la mise en œuvre de la méthode de l’invention, • la figure 2 est une vue plus détaillée d’un écran LED à remplacer dans les flux vidéos, • les figures 3a et 3b montrent les spectres de la lumière apparaissant comme blanche, respectivement dans le cas d’un écran LED et dans le cas d’un objet réellement blanc, • la figure 4 est un organigramme reprenant les étapes principales de la méthode de remplacement d’un objet selon l’invention, • les figures 5a et 5b illustrent l’analyse spectrale de la lumière dans un exemple de méthode de remplacement, • la figure 6 illustre le fonctionnement d’une caméra pour la mise en œuvre d’un mode de réalisation alternatif de la méthode, • la figure 7 illustre un dispositif pour la mise en œuvre d’un mode de réalisation alternatif du procédé de l’invention, • la figure 8 est un organigramme du mode de réalisation alternatif de la méthode de l’invention.

Sur toutes les figures, les mêmes références se rapportent aux mêmes éléments. Bien que les figures se rapportent à des modes de réalisation particuliers, d’autres modes de réalisation peuvent être obtenus en combinant ou modifiant légèrement les caractéristiques des modes de réalisation représentés. Les modes de réalisation ainsi obtenus sont eux aussi du domaine de l’invention.

La figure 1 est une représentation schématique d’une caméra 100 optique enregistrant une scène 101, qui comprend ici une portion de stade sur laquelle un footballeur 103 et un ballon 105 sont en mouvement, par exemple dans le cadre d’un match de football.

La caméra 100 est en particulier une caméra multispectrale, qui enregistre l’intensité lumineuse pixel par pixel dans les bandes spectrales usuelles rouge, vert et bleu, et dans différents domaines spectraux autres du spectre visible. La caméra 100 multispectrale est soit une caméra à spectre discret, qui enregistre des images en niveaux d’intensité dans des domaines spectraux étroits, soit une caméra à spectre continu, qui détermine pour chaque pixel un spectre continu au moins dans le domaine visible.

La scène 101 comprend un panneau d’affichage 107, en particulier publicitaire et affichant texte et images publicitaires AD. Le panneau d’affichage 107 est au moins partiellement situé dans le champs de vision de la caméra 100, le footballeur 103 et le ballon 105 étant situé devant le panneau d’affichage 107, agissant ainsi en objets occultant partiellement ledit panneau 107. Derrière le panneau d’affichage 107 se trouve un arrière-plan 109, par exemple un public assistant au match. L’objet à remplacer à l’aide du masque est ici le panneau d’affichage 107, tandis que les objets occultants 103, 105 et l’arrière-plan 109 doivent être préservés. Par « masque » on entend ici un ensemble de coordonnées de pixels ou ensembles de pixels dans les images prises par la caméra 100. Le masque est alors rempli avec des images de remplacement, en fonction de la chaîne de diffusion, le pays cible, l’horaire de diffusion et autres.

La méthode de l’invention vise en particulier à déterminer pour chaque image du flux vidéo prise par la caméra 100 un masque couvrant exclusivement les portions visibles par la caméra 100 du panneau d’affichage 107.

Pour la mise en œuvre de la méthode, la caméra 100 est reliée à une unité de contrôle CU, qui comporte dans le cadre de diffusions en direct une mémoire et des moyens de calcul tels qu’un processeur, dédiés ou partagés avec d’autres fonctions, en particulier sous forme d’ordinateur ou de serveur distant.

En alternative, dans le cadre de diffusions ultérieures à l’enregistrement, la caméra peut être reliée à un simple support mémoire (disque dur, mémoire flash), et les images contenues sur le support mémoire sont alors traitées par exemple par un ordinateur, en prévision de ou lors de la diffusion différée

Dans le cas d’un panneau d’affichage 107 publicitaire, le masque permet de recouvrir un premier message publicitaire AD, visible pour les personnes physiquement présentes, avec un second message publicitaire, visible pour les téléspectateurs recevant le flux vidéo en lieu et place du premier message publicitaire AD.

Le panneau d’affichage 107 est ici par exemple un ensemble d’écrans à LED, comportant des matrices de diodes électroluminescentes, représentées plus en détail en figure 2.

Les matrices de diodes électroluminescentes comportent des pixels px, composés chacun de trois diodes élémentaires indiquées R, G, B. Chaque diode élémentaire R, G, B émet de la lumière dans une bande spectrale étroite du domaine visible, respectivement les canaux chromatiques rouge R, vert G et bleu B.

Les canaux chromatiques R, G, B ont une largeur spectrale comprise entre 5 et 50nm (en termes de longueur d’onde λ), principalement engendrée par la diffusion thermique et les défauts de réseau cristallin semi conducteur des diodes élémentaires.

La gamme de couleurs du spectre visible est obtenue en alimentant les différentes diodes des canaux chromatiques R, G, B à des niveaux spécifiques pour chaque pixel px. Quand toutes les diodes d’un pixel px émettent à leur puissance maximale, le pixel px apparaît blanc. Si toutes les diodes du pixel px sont éteintes, le pixel px apparaît noir. En changeant la puissance relative d’émission de chacune des diodes, la teinte du pixel px change, la puissance absolue des diodes correspondant à la luminosité totale du pixel px.

Deux spectres d’un objet apparaissant blanc à l’œil humain sont représentés en figures 3a et 3b. Les figures 3a et 3b sont des graphes de l’intensité lumineuse (/ en candelas cd) en fonction de la longueur d’onde (λ en nanomètres nm).

Le graphe de la figure 3a est plat, à la valeur 0, à l’exception de trois pics dans les canaux chromatiques R, G, B, d’intensité maximale égale.

Le graphe de la figure 3b est plat, à une valeur l0 non-nulle sur l’ensemble du spectre visible (de 400 à 800nm environ).

Le spectre de la figure 3a correspond à un ensemble de pixels px à canaux chromatiques R, G, B apparaissant comme blanc, le spectre de la figure 3b correspond à un objet blanc « réel » à spectre continu.

Une méthode 200 pour générer un masque afin de remplacer un objet tel qu’un écran émettant de la lumière dans au moins une bande spectrale étroite telle qu’un canal chromatique R, G, B est représentée en figure 4 sous forme d’organigramme, les étapes principales correspondant aux cases dudit organigramme.

La méthode 200 ainsi représentée peut en particulier être implémentée sous forme de programme informatique, stocké sur un support mémoire lisible par un ordinateur ou directement dans la mémoire d’un ordinateur. Le programme informatique est alors lu et exécuté par un ordinateur recevant les images de la caméra 100.

La première étape 201 est la réception d’une ou plusieurs images du flux vidéo, prises par la caméra 100.

Lors de la deuxième étape 203, une portion de l’image, par exemple un pixel px ou ensemble de pixels px, est isolée.

La troisième étape 205 est représentée plus en détail en figure 5a et 5b.

Les figures 5a et 5b sont des spectres lumineux, représentés de façon analogue aux figures 3a et 3b, d’un objet apparaissant rouge à l’œil humain.

Le spectre de la figure 5a montre, comme en figure 3a, une portion d’écran LED apparaissant rouge. Le graphe, à la différence de la figure 3a, comporte un bruit de fond, de sorte que la courbe n’est pas plane à la valeur 0. Le spectre de la figure 3a comporte à nouveau trois pics correspondant aux canaux chromatiques R, G, B, le pic dans le canal rouge R étant plus important (facteur 6 ou 7 par rapport aux pics bleu B et vert G), ce qui correspond à un pixel px ou ensemble de pixels px apparaissant rouge clair.

Le canal chromatique rouge R est représenté encadré par deux lignes verticales pointillées, le canal chromatique rouge R correspondant à la portion entre lesdites deux lignes écartées d’environ 5 à 50nm (correspondant à la dispersion spectrale des diodes), qui délimitent une bande spectrale étroite dans laquelle l’écran 107 à remplacer émet de la lumière de façon importante, notamment par rapport au reste du spectre visible.

En figure 5b, avec un bruit de fond identique, le spectre ne présente pas de pics dans les longueurs d’onde des canaux chromatiques bleu B et vert G, mais un pic plus large autour du canal chromatique rouge R.

Le pic plus large a une largeur à mi-hauteur de l’ordre de plusieurs dizaines de nanomètres, jusqu’à une ou quelques centaines. Ce pic est donc differenciable des pics correspondant aux diodes électroluminescentes, qui, avec une largeur à mi-hauteur de quelques nanomètres à quelques dizaines de nanomètres, sont beaucoup plus étroits.

Pour ce faire, un autre canal spectral, en particulier de largeur spectrale équivalente aux canaux chromatiques R, G, B est isolé. L’intensité lumineuse dans ledit canal est alors comparée à celle d’un des canaux chromatiques R, G, B lors de la troisième étape 205.

En figure 5a, 5b, un canal spectral CR est représenté par deux lignes pointillées verticales, adjacent au canal chromatique rouge R, et de largeur spectrale égale à celle du canal chromatique rouge R. De manière analogue, des canaux spectraux CB et CG voisins respectivement des canaux chromatiques bleu B et vert G peuvent être définis. L’unité de contrôle CU mesure en particulier lors de ladite étape 205 l’intensité totale dans le canal chromatique rouge R, et dans le canal spectral associé CR. L’intensité dans le canal spectral CR est utilisée pour déterminer un seuil, par exemple en multipliant la valeur d’intensité mesurée avec une constante (2 ou 3 par exemple). L’intensité mesurée dans le canal chromatique rouge R associé est alors comparée au seuil établi à partir de l’intensité mesurée dans le canal spectral CR.

En alternative, le canal spectral CR peut être plus large voire couvrir tout le spectre visible dans le cas de caméras 100 à spectre continu, et l’intensité mesurée est alors rapportée à la largeur spectrale du canal CR.

Si l’intensité lumineuse dans le canal chromatique R considéré dépasse le seuil, la portion d’image isolée est ajoutée au masque à l’étape 207. A l’inverse, si l’intensité lumineuse dans le canal chromatique est inférieure au seuil, la portion d’image isolée n’est pas ajoutée au masque à l’étape 209.

La méthode 200 est alors appliquée à la portion suivante de l’image isolée, jusqu’à ce que celle-ci ait été traitée en totalité. La méthode 200 est alors appliquée une nouvelle image du flux vidéo.

Selon des modes de réalisation particuliers, l’intensité de la lumière d’un autre, de deux voire des trois canaux chromatiques R, G, B peut être comparée à un seuil déterminé à partir de l’intensité mesurée dans les canaux spectraux CB, CG, CR associés.

Un exemple de caméra multispectrale 100 pour la mise en œuvre de la méthode illustrée en figures 5a, 5b est représenté en partie en figure 6, en particulier la portion représentée traite la partie rouge R du spectre visible. En figure 6, la caméra 100 comporte des filtres 111, en particulier interférométriqué, placés sur le trajet de la lumière issue de la scène 101 en cours d’enregistrement. Les filtres 111 dévient la lumière dans une bande spectrale qui leur est propre, et laissent passer le reste de la lumière.

En figure 6, deux filtres 111 sont représentés : le premier déviant la lumière dans le canal spectral rouge R, et le suivant la lumière dans le canal spectral associé CR. La lumière déviée, ici à angle droit, est envoyée sur des matrices de capteurs photosensibles, par exemple à transfert de charge (CCD ou CMOS). On obtient ainsi une image en niveaux de gris par canal chromatique ou spectral, avec un maximum de six images (CR, CG, CB et R, G, B), et avec une correspondance pixel par pixel entre les différentes images. L’intensité de la lumière dans chacun des canaux chromatiques ou spectraux d’un pixel px est alors le niveau de gris dudit pixel px dans chacune des images.

Les images dans les canaux chromatiques R, G, B peuvent en particulier servir à générer les images à transmettre dans le cadre de la diffusion du flux vidéo en trichrome.

En alternative, deux caméras 100 peuvent être utilisées, l’une étant multispectrale, et servant à définir les seuils, et l’autre étant trichrome R, G, B, et fournissant les images à transmettre et éventuellement les valeurs d’intensité dans les canaux chromatiques R, G, B. Les deux caméras 100 doivent alors être assez proches et conjuguées dans leur mouvements, afin qu’une correspondance entre leurs pixels puisse être établie.

Les images trichromes R, G, B et le masque sont alors transmis ou stockés, afin de procéder au remplacement de la portion d’image couverte par le masque.

Pour ce faire, la portion d’image couverte par le masque, correspondant aux portions du panneau, écran ou surface d’affichage 107 visibles pour la ou les caméras 100 est remplacée par une image de remplissage du masque.

Plus particulièrement, étant donné que la forme dudit panneau, écran ou surface d’affichage 107 est généralement rectangulaire, la détermination du masque peut être complétée par l’ajustement d’une forme polygonale, en particulier un quadrilatère tel qu’un parallélogramme ou un trapèze, afin de restituer la forme totale de l’objet à remplacer, et éventuellement de distinguer un contour des objets occultants 103, 105. L’image de remplacement, choisie généralement rectangulaire et de même proportions que le panneau, écran ou surface d’affichage 107 est alors ajustée, par exemple par déformation affine, au quadrilatère ajusté, et tronquée des portions hors champs ou occultées par les objets occultants 103, 105.

La détermination du masque selon la méthode 200 précédemment mentionnée peut être complétée par d’autres méthode de génération de masque, ou bien servir de base pour un traitement d’image plus complexe.

Par exemple, une fois les contours du panneau, écran ou surface d’affichage 107 déterminés, celui-ci, ainsi que les objets occultants 103, 105 peuvent être suivis sur les images successives d’un même plan en utilisant une reconnaissance de forme et un logiciel de suivi d’objets tels qu’ils sont en particulier utilisés dans le cadre de la vidéosurveillance. Le masque peut par exemple être ajusté en utilisant un suivi des mouvements de caméra 100 et en suivant les mouvements des objets occultants 103, 105 une fois leur contour déterminé.

La méthode 200 peut alors être uniquement appliquée lorsqu’un changement de plan est détecté dans les images du flux vidéo.

Un mode de réalisation de dispositif pour la mise en œuvre d’un mode de réalisation particulier de la méthode 200 de génération de masque est représenté en figure 7, la méthode 300 pour remplacer un objet 107 dans un flux vidéo associée est représentée en figure 8 sous forme d’organigramme linéaire.

Le dispositif comporte une pluralité de caméras, en particulier de caméras multispectrales 100, au nombre de deux en figure 7. Les caméras multispectrales 100 sont reliées à l’unité de contrôle CU et dirigées sur la scène 101 en cours d’enregistrement. Le dispositif comporte en outre une autre caméra 113, en particulier une caméra tri chrome classique, qui filme elle aussi la scène 101.

Lors d’une première étape 301 de cette méthode 300, les images issues des caméras multispectrales 100 sont traitées selon la méthode 200 de la figure 4, afin de déterminer deux masques qui peuvent éventuellement être appliqués aux images de la caméra multispectrale 100 associée, si celle-ci sert effectivement à la prise de vue.

Les images issues des caméras multispectrales 100 sont en particulier utilisées pour créer une vue stéréoscopique de la scène 101 à l’étape 303. Cette scène stéréoscopique sert alors à une modélisation tridimensionnelle de la scène. Pour cette modélisation tridimensionnelle, les paramètres de pose des caméras sont extraits des images ou bien de métadonnées si les caméras 100 sont pourvues de capteurs de position.

Les paramètres de pose comprennent par exemple les coordonnées spatiales x, y, z de la caméra 100, et ses paramètres de prise de vue «pan, tilt, zoom» ou ptz correspondant à son orientation (pan p, tilt /) et la valeur de grandissement (zoom z). Les masques précédemment déterminés servent alors à modéliser précisément l’emplacement et l’étendue du panneau, écran, ou surface d’affichage 107 ainsi que des objets occultants 103, 105.

La modélisation tridimensionnelle est alors utilisée pour ajuster le masque sur les différentes images.

La modélisation tridimensionnelle peut alors servir à déterminer un masque occultant pour la caméra tri chrome 113 en identifiant le point de vue de ladite caméra trichrome 113, et les objets occultants 103, 105, s’il y en a, dans la vue en perspective de la caméra trichrome 113 à partir de la représentation stéréoscopique et des paramètres de pose de la caméra trichrome 113.

On peut alors créer à l’étape 305 un masque occultant ajusté aux contours modélisés de l’objet à remplacer 107 avec soustraction des portions couvertes par les objets occultants 103, 105, sans appliquer la méthode 200 aux images de la caméra trichrome 113. On compose alors une image de remplacement en utilisant l’image telle que vue par la caméra 113 en position, et en appliquant à l’étape 307 le masque rempli avec une image de remplacement à ladite image.

Avec deux caméras multispectrales 100, le masque peut ainsi être extrapolé à d’autres caméras 113 filmant la scène 101, autres caméras 113 distinctes des caméras multispectrales 100 et qui peuvent alors être de facture tri chromes classique et donc moins coûteuses ou éventuellement déjà déployées dans les stades, arènes ou salles.

Claims (13)

1. REVENDICATIONS

   1. Méthode pour générer un masque afin de remplacer un objet dans un flux vidéo, l’objet à remplacer émettant de la lumière dans au moins une bande spectrale étroite (R, G, B) du spectre visible, comportant les étapes: • recevoir une ou plusieurs images d’au moins une caméra (100), • analyser la lumière de différentes portions de la ou des images reçues dans au moins une des bandes spectrales étroites (R, G, B), • sélectionner comme masque une zone couvrant des portions de la ou des images reçues dans lesquelles la lumière détectée dans la au moins une bande spectrale étroite (R, G, B) dépasse un seuil prédéterminé.
2. 2. Méthode selon la revendication 1, dans laquelle l’objet à remplacer est un panneau, un écran ou une surface d’affichage comprenant des diodes électroluminescentes émettant de la lumière dans au moins un canal chromatique (R, G, B), la au moins une bande spectrale étroite comprenant au moins un des canaux chromatiques (R, G, B).
3. 3. Méthode selon la revendication 1 ou 2, comprenant en outre les étapes : o mesure de la quantité de lumière détectée dans la au moins une bande spectrale étroite (R, G, B) pour une portion de l’image, o mesure de la quantité de lumière détectée dans un canal spectral (CR, Ce, Cs) autre que la au moins une bande spectrale étroite (R, G, B) pour la même portion de l’image, o utiliser la quantité de lumière détectée dans le canal spectral (CR, CG, Ce) autre que la au moins une bande spectrale étroite (R, G, B) pour établir un seuil, o ajouter la portion d’image au masque si la différence entre la quantité de lumière détectée dans le canal spectral (Cr, Cg, Ce) autre que la au moins une bande spectrale étroite (R, G, B) dépasse le seuil.
4. 4. Méthode selon l’une des revendications 1, 2 ou 3, dans laquelle les différentes portions de la au moins une image sont des pixels ou des groupes de pixels de la ou desdites images.
5. 5. Méthode pour remplacer un objet dans un flux vidéo, l’objet à remplacer émettant de la lumière dans au moins une bande spectrale étroite (R, G, B) du spectre visible, comportant les étapes: o générer un masque en utilisant la méthode d’une des revendications 1 à4, o remplir le masque avec une image de remplacement, o appliquer le masque rempli à l’image correspondante du flux vidéo.
6. 6. Méthode selon la revendication précédente, caractérisée en ce que l’étape de remplissage du masque avec une image de remplacement comporte : o utiliser une reconnaissance de contours sur le masque généré pour déterminer un contour extérieur de l’objet à remplacer (107) sans objets occultant (103, 105), o utiliser une déformation affine sur une image bidimensionnelle pour la conformer au contour extérieur déterminé, o remplir le masque avec l’image déformée.
7. 7. Méthode selon la revendication 5 ou 6, dans laquelle les images reçues proviennent d’une caméra multispectrale (100) et d’une caméra rouge-vert-bleu (R, G, B), arrangées de sorte à pourvoir établir une correspondance entre les différentes portions des images issues des deux caméras (100), le masque étant généré au moyen des images reçues des deux caméras (100) et appliqué aux images de la caméra rouge-vert-bleu (R, G, B), qui sont alors·envoyées en sortie pour générer le flux vidéo.
8. 8. Méthode selon la revendication 5 ou 6, dans laquelle les images reçues proviennent d’une caméra multispectrale (100) comprenant des canaux chromatiques rouge, vert et bleu (R, G, B) et au moins un canal spectral (Cr, Cg, Cb) en dehors des bandes spectrales rouge, verte et bleue (R, G, B), les signaux dans les différents canaux spectraux (R, G, B, CR, CG, Ce) étant utilisés pour générer le masque, et les signaux dans les canaux chromatiques rouge, vert et bleu (R, G, B) formant les images sur lesquelles est appliqué le masque et envoyées en sortie pour générer le flux vidéo.
9. 9. Méthode selon l’une des revendications 5 à 8, dans laquelle l’objet à remplacer est un panneau, un écran ou une surface d’affichage (107) comprenant des diodes électroluminescentes émettant de la lumière dans au moins un canal chromatique (R, G, B) et dans laquelle une forme polygonale est ajustée au masque comme contour extérieur sans objet occultant (103, 105).
10. 10. Support mémoire pouvant être lu par un ordinateur, contenant un programme de remplacement d’objet dans un flux vidéo, comprenant un code exécutable pour la réalisation automatisée de la méthode selon l’une au moins des revendications précédentes.
11. 11. Dispositif de transmission d’un flux d’images comportant : o au moins une caméra multispectrale (100), o une unité de contrôle (CU) configurée pour recevoir les images issues de la caméra multispectrale (100) et leur appliquer la méthode selon l’une des revendications 1 à 9.
12. 12. Méthode pour remplacer un objet dans un flux vidéo, l’objet à remplacer émettant de la lumière dans au moins une bande spectrale étroite (R, G, B) du spectre visible, comportant les étapes : o créer une vue stéréoscopique de la scène (101 ) à partir d’images reçues d’au moins deux caméras multispectrales (100), ° analyser les images des au moins deux caméras multispectrales (100) pour extraire des paramètres de pose des caméras multispectrales (100), o utiliser la vue stéréoscopique et les paramètres de pose pour déterminer un point de vue des caméras multispectrales (100), o identifier les objets occultants (103, 105), s’il y en a, dans la vue en perspective des caméras (100), o détecter les contours des objets en avant-plan et des objets à remplacer (107) en utilisant la méthode (200) pour générer un masque afin de remplacer un objet dans un flux vidéo selon l’une des revendications 1 à 4, o créer un masque occultant aux contours des objets à remplacer (107) dans le champs de vision d’une caméra filmant la scène (100, 113) en utilisant la vue stéréoscopique et les paramètres de pose de la caméra filmant la scène (100, 113), □ composer une image de remplacement en utilisant l’image telle que vue par la caméra filmant la scène (100, 113) en position, et en appliquant le masque occultant à ladite image.
13. 13. Méthode selon la revendication 12, dans laquelle la caméra filmant la scène et qui fournit les images sur lesquelles est appliqué un masque composé avec une image de remplacement est une caméra (113) trichrome (R, G, B) distincte des caméras multispectrales (100).