FR2929794A1 - Procede et systeme de traitement d'images pour l'incrustation d'elements virtuels - Google Patents

Abstract

La présente invention concerne la détection d'éléments d'image ou de formes, dans des images d'un flux de télévision pré-monté et /ou pré-habillé, dans le but d'y incruster des éléments virtuels, et de retransmettre le flux ainsi traité. A cet effet, on prévoit les étapes:- identifier, par reconnaissance d'au moins un élément d'image, au moins une portion de scène au moins partiellement représentée dans au moins une partie des images du flux de télévision ; et- incruster une image virtuelle dans une zone choisie de ladite scène dans au moins une image du flux à l'échelle et à la perspective de la représentation de la scène dans la dite image.

Description

Procédé et système de traitement d'images pour l'incrustation d'éléments virtuels La présente invention concerne le traitement d'images dans un flux vidéo.

Plus particulièrement, la présente invention concerne la reconnaissance d'éléments d'image ou de formes, dans des images d'un flux de télévision, dans le but d'y incruster des éléments virtuels, et de retransmettre le flux ainsi traité. On connaît des systèmes de traitement d'images dans lesquels une caméra vidéo sur pieds comprenant des capteurs de mouvement filme une surface de jeu.

Par exemple, la caméra filme un match de football, et fournit à un système de traitement d'images des prises de vue du terrain de football ainsi que des signaux de mouvement de caméra. Ce traitement nécessite une calibration préalable de la caméra, dans laquelle on associe un ensemble de points caractéristiques avec un champ de vision donné. De cette manière, il est possible de retrouver le champ de vision de la caméra à partir de cette calibration et des signaux issus des capteurs. Dans un tel système, on peut, grâce à la calibration de la caméra, déduire de points identifiés sur une image et des signaux de position de la caméra, la perspective avec laquelle est prise l'image. Ainsi, à partir de l'ensemble de points, on reconstitue une représentation virtuelle de la surface de jeu avec la même perspective. Ensuite, l'incrustation de l'élément virtuel est réalisée sur le flux, d'après la représentation de la surface de jeu. Une alternative à l'utilisation des capteurs de mouvement sur la camera, consiste en l'utilisation d'algorithmes de reconnaissance de formes et d'algorithmes de suivi de mouvement. Par exemple, on reconnaît les lignes de la surface de jeu. Toujours dans l'exemple du football, un tel système est utilisé pour indiquer au téléspectateur la distance entre le ballon et les buts lors d'un coup franc. Après avoir crée la représentation virtuelle du terrain, un opérateur pointe le ballon, et le système déduit la distance entre le point indiqué par l'opérateur et la ligne de but. Ensuite, le système trace une ligne entre le ballon et la ligne de but en concordance avec l'affichage du terrain à l'écran.

Une fois que l'élément virtuel est incrusté, l'image est transmise au réalisateur, qui peut la sélectionner pour la diffuser à l'antenne et éventuellement y ajouter un habillage, comme par exemple le score de la partie. De tels systèmes sont dits systèmes d'incrustation sur camera divergée car l'incrustation est réalisée avant montage et/ou habillage par le réalisateur.

Cependant, lorsqu'un même flux de télévision est destiné à différentes chaînes, l'incrustation à réaliser peut différer. Par exemple, dans le cas de l'incrustation d'une publicité, il faut adapter la publicité au pays dans lequel sera retransmis le flux. Ainsi, chaque chaîne de télévision qui souhaite incruster des images doit disposer du système sur place, en plus du car régie du réalisateur.

La présente invention vient améliorer la situation. A cet effet, l'invention propose un procédé de traitement d'un flux d'images, pré-monté et/ou pré-habillé, comportant une étape d'identification, par reconnaissance d' un élément d'image, d'une portion de scène représentée dans des images du flux de télévision ; et une étape d'incrustation d'une image virtuelle dans une zone de la scène dans le flux à l'échelle et à la perspective de la représentation de la scène. On entend par flux pré-monté, un flux qui est prêt à la diffusion pour des téléspectateurs. En particulier, le pré-montage peut consister à créer un flux de télévision à partir d'images issues de plusieurs caméras. En effet, chaque caméra filme selon un plan donné. Ainsi, en passant d'une caméra à une autre, un réalisateur peut retransmettre une scène selon plusieurs plans. Bien entendu, le fait que le flux soit pré-monté n'exclut pas la possibilité d'utiliser ce flux pour réaliser et diffuser un autre flux monté à partir des images du flux pré-monté et d'autres images. On entend par flux habillé, un flux de télévision comportant des éléments informatifs destinés au téléspectateur, rajoutés sur les images provenant des caméras. Par exemple, lors d'une partie de rugby, un habillage classique consiste à indiquer le score ou encore le temps de jeu écoulé. Ces habillages sont présents tout au long de la retransmission du flux, mais il est possible d'envisager des habillages ponctuels. Par exemple, un habillage ponctuel peut consister à indiquer les noms des joueurs lors d'un changement. D'autres habillages sont possibles.

Bien entendu, le fait que le flux soit pré-habillé n'exclut pas la possibilité d'ajouter d'autres habillages. On entend par élément virtuel, tout élément qui n'est pas réellement présent dans le champ de la caméra de laquelle sont issues les images du flux, mais que l'on souhaite présenter au téléspectateur comme tel. Par exemple, dans le cas du football, un élément virtuel peut être une ligne de hors-jeu. Cela peut également être un cercle indiquant, lors d'un coup franc, une zone de 9 mètres 15 autour du ballon. D'autres éléments sont possibles. Et des applications dans d'autres sports ou évènements sont également possibles. Notamment, un élément virtuel peut être une bannière publicitaire.

L'incrustation consiste à insérer dans une image du flux l'élément virtuel de sorte à ce qu'il apparaisse comme faisant partie de la scène filmée. Il est notamment fait en sorte que l'élément incrusté respecte la perspective et l'échelle induites par la caméra. Lorsque le champ de la caméra est en mouvement par rapport à la scène filmée, il est possible d'incruster un élément virtuel en utilisant une technique d'identification complexe et de suivi de mouvement de camera, comme par exemple une technique de type GMT (Global Motion Tracking). Ainsi, un mode de réalisation de la présente invention, permet de réaliser des incrustations sur un flux de télévision reçu pré-monté et /ou pré-habillé par un réalisateur. De cette manière, une chaîne de télévision peut recevoir un flux de télévision et y incruster des éléments virtuels sans dépêcher un système d'incrustation auprès du réalisateur. De plus, cela allège, pour le réalisateur, la charge du choix de diffusion des incrustations, ainsi que de leur contrôle.

La présente invention permet notamment une grande flexibilité d'incrustation. A partir d'un même flux reçu, différentes chaînes peuvent réaliser, de manière simple, des incrustations en accord, par exemple, avec la législation sur la publicité de leur pays ou les centres d'intérêts de leurs téléspectateurs. Dans un mode de réalisation de la présente invention, on prévoit en outre de dupliquer le flux d'images en un premier et un deuxième flux identiques. On applique ensuite au premier flux les étapes d'identification, et d'incrustation occasionnant un retard dû à la durée de traitement P, puis on retarde le premier flux ainsi traité d'une durée Q. En parallèle, on retarde le deuxième flux d'une durée T correspondant à la somme de la durée Q avec la durée P de traitement du premier flux. Enfin, on prévoit un moyen de commande pour permettre de diffuser soit le premier flux, soit le deuxième flux pour qu'après contrôle de l'incrustation on diffuser le premier flux ou le deuxième flux. En effet, lorsqu'une erreur d'identification de la portion de la scène survient, l'incrustation qui en découle peut ne pas être satisfaisante. Ainsi, il est 20 utile de prévoir un moyen de contrôle de l'incrustation. De plus, en introduisant des retards comme proposé, les deux flux restent synchronisés. Ainsi, il est possible à tout instant de basculer entre un flux traité avec incrustation (éventuellement mal incrusté), et un flux non-traité, c'est-à-dire tel que reçu. 25 Le retard Q permet un temps de réaction pour décider du flux à diffuser. Ce retard peut éventuellement être réglable selon le type de contrôle à réaliser. Le contrôle peut être effectué automatiquement selon des critères prédéfinis. Cependant, il peut être avantageusement prévu de le confier à un opérateur chargé de visualiser sur un écran le rendu de l'incrustation sur le flux traité. Ainsi, l'opérateur peut basculer d'un flux traité à un flux non traité, en fonction de la réussite de l'incrustation. Les différents retards peuvent être réalisés au moyen d'une ligne à retard, 5 ou d'une mémoire tampon. Dans un mode de réalisation de l'invention dans lequel le flux est pré-monté et comporte au moins un passage d'un plan courant à un plan suivant dans le montage, on prévoit une étape de détection d'un passage entre le plan courant et le plan suivant. Cette détection est fondée sur une comparaison entre deux images 10 successives du flux, d'après leurs répartitions chromatiques respectives. En effet, lorsque le flux sur lequel est appliqué le procédé est pré-monté, il comporte plusieurs plans issus de prises de vues de différentes caméras. On entend par plan, une prise de vue continue de la scène filmée par la caméra. Un plan comporte plusieurs images pouvant balayer plusieurs portions différentes de la 15 scène. Ainsi, un plan correspond à une séquence dans le montage du flux. Un réalisateur disposant de plusieurs caméras, choisit l'ordre de diffusion des images provenant des différentes caméras pour monter le flux. Par exemple, une caméra est une caméra de grand angle pour les prises de vues globales de la scène, et une caméra est une caméra d'angle serré pour suivre une action se déroulant sur une 20 portion de la scène. Un changement de plan peut induire un changement dans la perspective et/ou l'échelle de l'image car chaque caméra filme selon son propre angle de vue et son propre niveau de zoom. Un tel changement est également appelé un cut , et la détection de celui-ci est appelée détection de cut . Ainsi, lorsqu'une incrustation à été réalisée d'après une identification sur un plan donné, 25 il se peut que cette même incrustation ne soit pas adaptée au plan suivant. Ainsi, en réalisant cette détection de changements de plans, aussi appelée détection de cuis , il est possible de déclencher une identification, afin de recommencer l'incrustation. De cette manière, l'incrustation est toujours en accord avec l'image diffusée.

La détection de changement de plan par comparaison de répartitions chromatiques permet une détection de cut automatique, simple et efficace. Elle est adaptée, par exemple, aux changements de plans entre différentes caméras. En effet, dans l'exemple d'une partie de football, le terrain est majoritairement vert, et le maillot d'un joueur est par exemple blanc. Ainsi, un plan large sur le terrain comporte une forte composante verte. Et un plan serré sur le joueur comporte une forte composante blanche. Lorsque le réalisateur passe du plan large sur le terrain au plan serré sur le joueur, en comparant les répartitions chromatiques des images successives dans le flux, on peut détecter une rupture dans la répartition chromatique (passage du vert au blanc), et ainsi en déduire le passage d'un plan à l'autre. Pour déterminer la répartition chromatique, on peut par exemple établir des histogrammes répartissant le nombre de pixels d'une image numérique sur un ensemble de niveaux de couleurs. Chaque niveau de couleur étant représenté par un nombre, afin de les classer. Une comparaison possible porterait alors sur le niveau de couleur médian et sur l'écart type entre niveaux. La combinaison de la moyenne et de l'écart type permet une bonne estimation de la répartition chromatique des pixels. Bien entendu, on peut varier les modes de réalisation de cette comparaison. En particulier, on adaptera la représentation de la répartition par rapport au codage des couleurs dans l'image, et à la représentation des couleurs dans l'image. En effet, dans certains types d'image, la couleur est codée sur trois composantes de base (vert, rouge, bleu), selon leur intensité. On peut envisager d'établir un histogramme par couleur, en répartissant les pixels sur selon l'intensité d'une composante de base.

Bien entendu, on peut également convertir les couleurs en niveaux de gris pour classer les pixels en intensité de gris. D'autres modes de représentation de la répartition chromatique sont possibles. En variante du mode de réalisation précédent, l'étape de détection d'un passage entre le plan courant et le plan suivant est fondée sur une comparaison entre une image courante et une image prédéfinie annonçant un changement de plan dans le flux d'images. Dans certains cas, particulièrement dans les applications sportives, lors d'un match, les changements de plan consistent en un passage entre un plan en direct, et un plan de ralenti. Ces passages sont souvent précédés d'une image standard ou volet, qui consiste généralement en une publicité ou un logo de la chaîne qui retransmet le match. En détectant ce volet, on peut prédire un changement de plan. De plus, l'apparition de ces volets peut perturber l'identification des formes nécessaires à l'incrustation. Il est donc utile de les détecter afin, par exemple, de désactiver l'identification, et/ou l'incrustation lors de leur apparition. Cette détection de volet peut, par exemple, consister en une comparaison littérale. Dans le cas d'images numériques on peut comparer les pixels des images. Mais la comparaison peut porter sur d'autres caractéristiques, comme la répartition chromatique, la luminosité, ou d'autres caractéristiques. Dans ce mode de réalisation, on économise des ressources de calcul en n'analysant que l'image comparée à l'image standard. On peut prévoir que l'étape de détection de changement de plan est réalisée sur le premier flux, et que la durée de cette étape de détection de 20 changement de plan est prise en compte dans une estimation de la durée P. Ainsi, on ne désynchronise pas les deux flux. La comparaison réalisée lors de l'étape de détection de cut peut être réalisée sur une ou plusieurs zones de comparaison prédéfinies de chacune des deux images comparées. 25 En effet, lorsque les images de deux plans successifs sont très ressemblantes, il est possible que leurs répartitions chromatiques soient très proches sur la globalité de l'image mais pas sur une zone particulière. Par exemple, c'est le cas lors du passage entre deux plans larges de la scène, mais sur lesquels l'action s'y déroulant est différente. Ainsi, dans un mode de réalisation de l'invention, il est possible de restreindre la comparaison à une zone de détail sur dans laquelle se déroule l'action.

De plus, en réalisant la comparaison sur plusieurs zones, on effectue des comparaisons plus précises. En outre, on peut corréler les résultats issus de chaque zone, pour en tirer une comparaison plus fiable. De plus, l'apparition d'une image standard, ou volet annonçant un changement de plan est généralement accompagnée d'une animation graphique.

Cette animation graphique peut perturber la comparaison. En se restreignant à une zone, par exemple, une zone centrale ou se trouve un logo, on évite ces perturbations. La définition de zones de comparaison peut également permettre de ne pas prendre en compte certains éléments perturbateurs, comme par exemple des projecteurs de lumière dans le champ de la caméra. Dans la présente invention, on peut prévoir que l'étape d'identification est réalisée dans une ou plusieurs zones d'identification prédéfinies de l'image. Ainsi, il est possible de sélectionner des zones de l'image dans lesquelles l'identification de la portion de scène n'est pas perturbée. Par exemple, l'utilisation d'une technique d'identification de type GMT (Global Motion Tracking) peut être perturbée par certains mouvements d'objets sur la scène n'ayant pas de rapport avec un mouvement de caméra. Par exemple, des panneaux de publicité mobiles sont disposés autour de certains terrains de football. Ces panneaux affichent alternativement deux publicités différentes. Lorsque ces panneaux apparaissent dans le champ de la caméra, leur mouvement de fonctionnement peut perturber l'identification par suivi de mouvement de la caméra. D'autres éléments perturbateurs peuvent être des projecteurs de lumière.

Dans ce mode de réalisation, on peut par exemple restreindre la zone d'identification au centre de l'image, en supposant par exemple que la caméra ne fixera jamais directement le panneau. Lorsque le flux est pré-habillé et comporte un habillage dans une zone donnée d'une partie au moins des images du flux, on peut prévoir qu'au moins une des étapes d'identification et de détection de changement de plan est réalisée dans l'image par application d'un masque excluant ladite zone d'habillage. La zone d'habillage est une zone où il y a un grand risque de perturbation, à la fois pour l'identification de la potion de scène et la détection de changement de plan. Il est donc opportun d'économiser des ressources de calcul, en ne prenant pas en compte ces zones. Pour un habillage présent dans tout le flux, il est certain qu'il sera impossible d'identifier la portion de scène dans la zone d'habillage. Pour un habillage ponctuel, il réside un risque d'erreur. Ainsi, on prévoit d'appliquer un masque sur les zones d'habillage.

Il en est de même pour l'étape de comparaison, en prenant en compte par exemple les couleurs présentes dans l'habillage, on risque de fausser l'interprétation de la répartition chromatique. Ainsi, le masque est aussi utile pour la comparaison de l'étape de détection de cut ou de volet. Lorsque la zone d'habillage est variable en dimensions et/ou en position, 20 on peut prévoir de prendre en compte la variation de la zone d'habillage dans le masquage. Certains habillages ne sont pas fixes et/ou sont ponctuels dans les images du flux. Afin de ne pas trop étendre la zone de masquage. On peut adapter le masque à l'apparition des habillages. Comme déjà évoqué, un tel habillage peut 25 être l'indication de noms de joueurs lors d'un changement. Cela peut également être des statistiques sur le match ou d'autres habillages qui n'apparaissent pas en permanence.

Ainsi, on peut prévoir des moyens de détection des habillages, par reconnaissance d'images par exemple, afin d'adapter la taille du masque. Dans un mode de réalisation de l'invention, l'incrustation est réalisée par suivi du mouvement de caméra. Cette incrustation est initialisée par une identification d'une portion de scène dans une image N d'un plan du flux et l'incrustation dans une autre image N' du même plan dépend de l'identification faite sur l'image N et du mouvement mesuré entre les images N et N'. L'image N' peut suivre ou précéder l'image N. On prévoit alors de stocker en mémoire les images du premier flux après l'étape d'identification; et lorsque l'incrustation est initialisée après le début du plan, de réaliser l'incrustation dans les images mémorisées par suivi du mouvement dans l'ordre anti-chronologique des images dans le flux à partir de l'image donnée. La quantité d'images stockées correspond à une durée de séquence S et le traitement de suivi, d'identification, et d'incrustation induit un retard R, la durée S et le retard R étant pris en compte dans une estimation de la durée P. Dans un plan (ou séquence) donné, il est possible que l'identification ne puisse pas avoir lieu immédiatement, par exemple du fait que la caméra ne fait apparaître une portion de scène que quelques secondes après le début du plan. Pendant ce temps l'incrustation n'est pas possible, et cela peut être par exemple du temps de publicité perdu. Dans le cas où l'identification utilise une technique de suivi des mouvements de caméra, une fois que l'on a identifié une portion de scène, on utilise cette information dans les images suivantes dans le flux. Ainsi, l'information se propage dans l'ordre chronologique des images dans le flux. C'est le cas par exemple dans la technique GMT (Global Motion Tracking). En mémorisant le flux durant un certain temps avant de le diffuser, on peut attendre l'apparition de la portion de scène, par exemple pour obtenir une identification fiable, et propager l'information dans le flux mémorisé, dans le sens anti-chronologique. Ainsi, on peut incruster un élément virtuel dans tout le flux.

En d'autres termes, une fois que l'on a identifié une première fois dans une image N une portion de scène, on peut initialiser l'incrustation, et la propager à la fois dans les images qui précédent et qui suivent l'image N dans le flux. Pour mémoriser le flux on peut par exemple utiliser une ligne à retard, ou une mémoire tampon, ou d'autres moyens encore. Bien entendu, afin de ne pas désynchroniser le premier et le deuxième flux, on prend en compte le retard induit par cette mémorisation et ce traitement dans la durée P. Dans un mode de réalisation de l'invention, il est prévu de disposer d'une image de référence de la scène à une échelle et à une perspective donnée avant l'étape d'identification. Dans ce mode de réalisation l'identification consiste à sélectionner au moins une zone d'une image courante, afin de réaliser une corrélation multi-échelle entre ladite zone et une partie de ladite image de référence. Ainsi, la reconnaissance de forme est fondée sur une reconnaissance d'une partie d'une image de référence. L'image de référence est, par exemple, une composition panoramique, ou mosaïque de plusieurs plans de caméra possibles. On commence par sélectionner une zone d'une image courante. Ensuite, on procède à une remise à l'échelle de cette zone pour permettre de la comparer à une zone de l'image standard. Enfin, on détermine si la zone de l'image courante remise à l'échelle est une partie de l'image panoramique. Ainsi, avec une connaissance a priori du panorama visible par la caméra, on peut reconnaître une portion de scène à partir d'une image courante. Par exemple on peut détecter qu'une image courante représente un zoom sur une partie de l'image de référence.

Dans ce mode réalisation, l'identification de la scène ne dépend pas de l'apparition sur les images d'une portion de la scène. Comme le panorama comporte tous les champs de vision possibles, l'identification de la portion de scène est possible à partir de n'importe quelle image du flux.

La comparaison peut être une comparaison pixel à pixel. Toutefois, on peut définir d'autres critères de comparaison, comme la luminosité, la répartition chromatique ou d'autres critères. La présente invention vise également un système adapté pour mettre en oeuvre le procédé décrit précédemment. Ce système peut comporter différents modules informatiques, modules de calcul, ou de traitement de signal, modules de mémoires, modules de communication... nécessaires à la mise en oeuvre du procédé. La présente invention vise également un programme d'ordinateur comprenant des instructions pour la mise en oeuvre du procédé, ainsi qu'un support lisible par un ordinateur sur lequel est enregistré un tel programme. D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés sur lesquels : - la figure 1 illustre un contexte général de mise en oeuvre de la présente invention, - la figure 2 illustre une image d'un flux, représentant une portion de scène, et dans laquelle un élément virtuel est incrusté, - la figure 3 illustre un procédé de diffusion d'un flux d'images avec incrustation selon un mode de réalisation de l'invention, - la figure 4 illustre une mise en oeuvre de la présente invention selon un mode de réalisation dans lequel on prévoit un contrôle de l'incrustation, - la figure 5 illustre les étapes d'une mise en oeuvre de la présente invention selon un autre mode de réalisation comportant une étape de détection de changement de plan, - la figure 6 illustre deux plans successifs, dans lesquels le même élément virtuel est incrusté, mais selon des échelles et perspectives différentes, - la figure 7 illustre deux plans successifs, chacun comportant des 5 images avec des couleurs dominantes différentes, - la figure 8 illustre les répartitions chromatiques des images de la figure 7, - la figure 9 illustre l'apparition d'un volet annonçant un changement de plan, ainsi que des zones particulières à détecter, 10 - la figure 10 illustre les images d'un plan traité sans rembobinage , - la figure 11 illustre le traitement des images d'un plan par rembobinage , - la figure 12 illustre le traitement par rembobinage des images 15 d'un flux vidéo, - la figure 13 illustre un masque sur les habillages d'une image, - la figure 14 illustre une composition panoramique de référence, et l'identification d'une zone de cette composition dans une image courante du flux. 20 Sur la figure 1 on peut voir un contexte d'utilisation de la présente invention. Dans cet exemple, des caméras vidéo 11 filment un terrain de football 12, sur lequel à lieu un match. Les caméras vidéo transmettent les images capturées à un car-régie 13 dans lequel est aménagée une régie. Cette régie permet 25 à un réalisateur de monter les images en plusieurs plans (ou séquences). Le réalisateur peut également réaliser des habillages sur les images. A cet effet, le car- régie comprend tout le matériel de traitement d'images nécessaire comme des ordinateurs, ces écrans de contrôle et des moyens de communication. En outre, le car-régie transporte une antenne satellite 14 lui permettant de transmettre les images montées et/ou habillées par le réalisateur. Ainsi, un flux d'images est transmis à un satellite géostationnaire de communication 15, afin de retransmettre ce flux vers une antenne satellite 16 d'une chaîne de télévision. Dans certaines applications, l'antenne satellite se trouve sur un car de transmission dissocié du car régie. Dans d'autres applications encore, la transmission peut se faire par voie terrestre (par câble ou par fibre optique par exemple) La chaîne de télévision dispose d'un système de traitement d'images 17, lui permettant de réaliser des incrustations d'éléments virtuels dans les images du flux reçu. Une fois les incrustations réalisées, et éventuellement d'autres traitements comme un montage ou un habillage additionnels, un flux d'images traité est transmis via une antenne 18 d'un réseau de diffusion vers un récepteur 19, comme par exemple une télévision. Le réseau de diffusion final peut être de différentes natures. Cela peu être un réseau hertzien, un réseau par satellite, le réseau Internet, ou encore même un réseau de télécommunications type GSM, UMTS etc.... D'autres types de réseaux sont envisageables. La figure 2 représente une image 20, sur la quelle est réalisée une incrustation 21. Cette incrustation est réalisée dans une portion de scène 22, identifiée dans l'image. L'identification de cette portion de scène permet au système de recréer une représentation virtuelle de la scène 23, afin d'incruster l'élément virtuel 23 à l'échelle et à la perspective de l'image 20 Sur la figure 2 on peut reconnaître le rond central 22 d'un terrain de football 23, autour duquel terrain sont disposées des publicités 24 et des spectateurs 25. L'incrustation consiste à faire apparaître dans l'image 20 le texte VIRT dans le rond central 22, comme si il était réellement présent sur le terrain. Le procédé d'incrustation est décrit en référence à la figure 3. Dans une première étape S31, le flux transmis par le car-régie 13 est reçu par le système de traitement d'images 17. Chaque image du flux est analysée afin de reconnaître, lors d'une étape S32, un élément d'image particulier. Dans le présent exemple, une image représente le rond central 22 d'un terrain de football 23. Ainsi, ici l'élément d'image reconnu est un cercle. La reconnaissance de ce cercle permet d'identifier, lors d'une étape S33 une portion du terrain correspondant au milieu de terrain ou se trouve le rond central. Une fois que cette portion du terrain est identifiée, par une connaissance à priori de la configuration et des proportions du terrain, le système 17 crée une représentation virtuelle de l'ensemble du terrain. Grâce à cette représentation virtuelle, il adapte l'élément virtuel à incruster 21, afin qu'il apparaisse à la même perspective que le rond central. Ensuite, le système incruste l'élément lors d'une étape S34. Une fois l'incrustation réalisée, l'image est retransmise dans un flux à destination de téléspectateurs lors d'une étape S35. Si l'on met en oeuvre un procédé de type GMT, le tracking est réalisé dans l'étape S33 d'identification.

Dans un mode de réalisation particulier, on souhaite permettre un contrôle de l'incrustation avant la diffusion. Ainsi, en référence à la figure 4, le système de traitement 17 reçoit le flux 41 issu du car-régie 13. Un module 42 le duplique dans deux chaînes de traitement 43 et 44. Le module 45 de la chaîne de traitement 44 traite le flux de sorte à incruster des éléments virtuels selon le procédé décrit sur la figure 3. Le module de traitement induit un retard correspondant au temps de calcul nécessaire à l'incrustation. Ce retard est estimé par une durée P. Par exemple, le module induit un retard de 160 ms.

Un module de contrôle 46 est disposé en sortie du module de traitement 45 afin de permettre, par exemple à un opérateur, de vérifier que l'incrustation est correctement réalisée. En effet, certains défauts peuvent survenir comme, par exemple, un élément virtuel n'apparaissant pas à la bonne perspective. Le module de contrôle est par exemple un écran de visualisation des images incrustées. Afin de laisser à l'opérateur le temps de réagir, le flux d'images issu du module 45 et destiné à la diffusion est retardé par un module de retard 47 pendant une durée Q. Ce module 47 est par exemple une ligne à retard, et le retard Q vaut par exemple 2.5 s.

Lorsque l'incrustation est correcte, l'opérateur commande un interrupteur 48 afin de diffuser le flux traité dans la branche 44. Lorsque l'incrustation est mauvaise, l'opérateur commande l'interrupteur 48 pour diffuser le flux issu de la branche 43. La branche 43 comporte un module de retardement 49. Le retard induit par ce module permet de garder synchronisés les deux flux issus du module de duplication 42. A cet effet, le retard T induit par le module 49 est égal à la somme la durée P et du retard Q, soit ici 2.66 s. Ainsi, le passage d'un flux d'une branche à celui de l'autre est imperceptible pour le téléspectateur.

On peut prévoir un module (non représenté) intercalé entre l'interrupteur et les branches 43 et 44, chargé de vérifier la synchronisation des flux par exemple en comparant à intervalles de temps réguliers les images des flux. De plus, on peut prévoir que le retard Q (et donc le retard T) est réglable, pour l'adapter à l'opérateur.

Un autre mode de réalisation de l'invention est décrit en référence à la figure 5. Dans ce mode de réalisation, on retrouve une étape S51 de réception d'un flux d'images, une étape S53 de reconnaissance d'éléments d'images, une étape S54 d'identification, une étape S55 d'incrustation, et une étape S56 de diffusion tout comme le procédé de la figure 3. Dans ce mode de réalisation, on prévoit de réaliser des détections de changement de plan T52. En effet, un flux d'image pré-monté comporte plusieurs 5 plans, chacun comportant plusieurs images. Comme illustré sur la figure 6, un flux d'images peut comporter plusieurs plans PLI, PL2, chacun comportant des images IM1, .... IM4. Le plan PLI représente un plan serré sur un gardien de but. La reconnaissance du cadre 60 et des lignes 61 permettent l'incrustation de l'élément virtuel 62. Dans le plan PL2 10 on voit le même gardien de buts mais selon un plan large. L'incrustation est toujours possible, mais selon d'autres paramètres d'échelle et de perspectives. Si le système garde les paramètres de l'image IM2 pour faire l'incrustation dans l'image IM3, l'effet d'incrustation ne sera pas satisfaisant, car l'élément virtuel n'apparaitra pas au dessus de la cage. 15 Afin de diminuer les risques d'erreur, on prévoit, en référence à la figure 5, une étape T52 de détection du passage du plan PLI au plan PL2. Pour réaliser cette détection de cut, on prend en compte la répartition chromatique des images. On décrit cette détection de cut en référence aux figures 7 et 8. La figure 7 représente une série d'images IMI, ..., IM4, issues de deux 20 plans consécutifs PLi, PL2. Les deux premières images IM1, IM2 représentent un plan serré sur un joueur qui porte une tenue de couleur blanche. Ainsi, ces images comportent une forte composante blanche. Les images IM3, IM4 représentent le même joueur, mais sur un plan large du terrain. Ainsi, sur ces images il y a une forte composante verte. 25 Pour chacune de ces images, on réalise une analyse statistique de la répartition des couleurs. Dans le cas présent, il s'agit d'images numériques, pour lesquelles les couleurs sont codées en niveaux. Chaque pixel de l'image comporte trois composantes primaires : le bleu, le rouge et le vert. Pour chacune de ces couleurs, le pixel est associé à un niveau de luminosité codé entre 0 et 255. Le nombre 0 représente le niveau d'intensité minimal (noir) et le nombre 255 représente le niveau d'intensité maximal (blanc). Pour la présente comparaison, une moyenne est réalisée sur les trois composantes de chaque pixel. On peut ainsi réaliser les courbes représentées sur la figure 8, associées respectivement aux images de la figure 7. Sur les courbes de la figure 8, les abscisses représentent le niveau d'intensité moyen au sein d'un pixel. Les ordonnées représentent pour chaque image le nombre de pixels à un niveau donné.

Ainsi, on peut voir sur les courbes représentant la répartition chromatique des images IM1 et IM2, que la grande majorité des pixels sont très proches du niveau 255 (moyennes M1 et M2 très proches de 255 et écart-types 61 et a2 faibles). On peut donc voir que le blanc domine dans ces images. Sur les courbes associées aux images IM3 et IM4, on peut voir que la majorité des pixels se situent de manière plus étalée autour d'une valeur de 120 (moyennes M3 et M4 proches de 120 et écart-types 63 et G4 plus importants). On peut donc conclure, par une lecture rapide des informations présentées sur la figure 8, qu'il y a une rupture dans la continuité des répartitions chromatiques des images. Et on peut en déduire un changement de plan entre les images IM2 et IM3. On pourra avantageusement utiliser cette information pour relancer une étape d'identification par exemple. Dans les applications sportives, il est souvent présenté des images de ralenti d'action particulières du jeu. On passe ainsi d'un plan en direct à un plan pré-enregistré. De plus, ce type de plan est très souvent précédé d'un volet représentant un logo. Les volets peuvent également apparaître entre deux plans en direct . Dans un mode de réalisation de la présente invention, on peut utiliser l'apparition de ce logo pour détecter un changement de plan. Sur la figure 9, on voit un volet VLT apparaître par-dessus une image IMO. Ce volet VLT comporte des éléments d'image ELMS comme un titre REP et un logo TV xyz . Avec une connaissance à priori de ces éléments, il est possible de les détecter, par exemple par comparaison avec une image prédéfinie. En détectant ces éléments, le système de traitement d'images peut prévoir l'apparition d'un nouveau plan, et ainsi déclencher une identification de portion de 5 scène. Il peut être utile de mettre en oeuvre une technique d'incrustation fondée sur un suivi de mouvement de la caméra par rapport au terrain, technique dite GMT (Global Motion Tracking). Cette technique permet de suivre l'identification du terrain en fonction du mouvement de la caméra. Elle nécessite une première 10 reconnaissance d'une portion de terrain pour pouvoir initialiser le suivi. Comme illustré sur la figure 10, un plan PL comporte une succession d'images IM1, ..., IMn. Le procédé illustré sur la figure 3, analyse les images afin de reconnaitre une portion de terrain. Les images IM1 et IM2 ne faisant pas apparaître d'éléments identifiables, il 15 n'est pas possible d'initialiser le suivi. Ainsi, ni l'identification, ni l'incrustation ne sont possibles. En revanche, les images IM3 et IM4 font apparaître des lignes sur le terrain que le système sait reconnaître. Ainsi, à partir de l'image IM3 il est possible de réaliser un suivi sur les images suivantes dans l'ordre chronologique. On peut donc incruster un élément virtuel comme par exemple une publicité. 20 Afin de permettre d'incruster l'élément virtuel dans les images précédent IM3, dans un mode de réalisation de l'invention, on met en oeuvre un rembobinage du plan PL. Ce rembobinage consiste à retarder le traitement des images du plan PL, afin d'attendre l'apparition d'une portion de scène identifiable. Une fois 25 qu'une portion est identifiée, on initialise le suivi dans les deux sens chronologique et anti-chronologique. Ainsi, on peut incruster sur les images retardées. Ce principe est illustré sur la figure 11.

Sur la figure 11, on a figuré le même plan PL que celui de la figure 10 mais sur lequel on a réalisé un rembobinage au sens de la présente invention. Le GMT est initialisé sur IM3, et le suivi est réalisé à la fois vers les images suivantes dans le flux IM4, ..., IMn et les images précédentes IM2 et IM1. Ainsi, l'incrustation est réalisée dans tout le plan. La réalisation du rembobinage est illustrée sur la figure 12. Dans cette réalisation, entre le module d'identification 120 et le module d'incrustation 121, on insère une ligne à retard 122. Cette ligne permet de temporiser l'incrustation en attente des informations nécessaires. Ces informations sont notamment la reconnaissance de la scène, et sont propagées dans le flux par GMT. Lorsque le module d'identification 120 identifie la scène sur une image de rang N (les images étant numérotées dans l'ordre chronologique), il initialise un suivi GMT chronologique sur les images suivantes N+1, N+2 ..., le module initialise également le suivi GMT anti-chronologique dans les images N-1, N-2 retardées dans la ligne 122. Ainsi, le module d'incrustation reçoit les images N-1, N-2 avec les informations nécessaires pour l'incrustation. Le temps de traitement dû au rembobinage se répartit sur le retard de diffusion du flux induit par la mémorisation des images du flux, et sur le temps de calcul nécessaire au suivi de mouvement, identification et incrustations. Le temps de traitement dû au rembobinage est pris en compte dans l'estimation du temps de traitement du premier flux. De manière générale dans les modes de réalisation de la présente invention, il peut être utile d'éviter toute perturbation dans l'identification des portions de scène, et dans les détections de changement de plan. En effet, comme l'incrustation dépend de l'identification, il faut éviter de manquer d'identifier un élément de scène. Ainsi, on peut prévoir de réaliser un masquage des zones à risques. Ces zones correspondent à des portions d'images dans lesquelles peuvent apparaître des éléments perturbateurs. Par exemple, si l'on réalise des comparaisons de répartitions chromatiques, il faut éviter de prendre en compte les zones d'habillage. En effet, comme ceux-ci peuvent apparaître de manière intermittente, il peuvent amener à de mauvaises conclusions quant à un changement de plan. De même, dans le cas de la mise en oeuvre d'un suivi GMT, l'apparition d'un habillage mobile peut perturber le suivi et amener une incrustation à se déplacer de manière non concordante avec le mouvement de caméra. Ces types de perturbation, fréquemment observés dans les suivis GMT de l'art antérieur, peuvent être évités avec le masquage proposé ici. Le masquage selon la présente invention est illustré sur la figure 13. Cette figure représente une image 130 sur laquelle on peut voir des habillages 131 et 132. Ceux-ci représentent le score d'une partie, et l'indication d'un changement de joueur. Afin que ces habillages ne perturbent pas l'identification de la scène ou la comparaison chromatique, on applique un masque MAS sur leur voisinage. Le masque est choisi de manière à couvrir tous les habillages présents tout au long du flux. Ainsi il n'est pas nécessaire de le redéfinir continuellement. Cependant, dans un mode de réalisation du masquage on peut prévoir de le redéfinir en fonction de la taille et de la position des habillages. Lorsque le masquage est appliqué, le procédé ne tient pas compte des pixels présents sous ces masques.

Dans un dernier mode de réalisation de la présente invention, l'étape d'identification est réalisée comme décrit ci-après, en référence à la figure 14. On prévoit de disposer d'une composition panoramique, ou mosaïque MSC, représentant la scène 140. La mosaïque MSC est composée de plusieurs éléments d'image ELM1, ..., ELM6, chacun représentant une portion de la scène.

Par exemple, chaque élément est une prise de vue d'une caméra, et les éléments sont accolés les uns aux autres pour former la mosaïque. On analyse une image courante 141 afin de la mettre en corrélation avec une partie 142 de la mosaïque MSC. Cette corrélation est réalisée sur plusieurs zones de la mosaïque, jusqu'à trouver la zone la plus ressemblante. Sur la figure 14, on peut voir que la zone 143 de l'image courante comprenant le rond central est également présente dans la mosaïque MSC. Pour corréler les zones 143 et 142, on prévoit de faire une comparaison entre l'image 141 et différentes parties de la mosaïque, et ce pour plusieurs 5 échelles différentes. Ainsi, en préalable à la comparaison, on redéfinit l'échelle de l'image courante. La comparaison peut être une comparaison littérale, une comparaison fondée sur la répartition chromatique, ou une comparaison fréquentielle de l'image courante et celle de la mosaïque.

10 On peut également envisager une combinaison de plusieurs modes de comparaison. En effet, la comparaison littérale d'éléments d'images est bien adaptée à la comparaison de l'image courante à différentes parties de la mosaïque. Par exemple, on se fixe une zone de comparaison sur la mosaïque. Puis par légers déplacements autour de cette zone on tente de corréler l'image courante à une 15 partie de la mosaïque. Quant à la comparaison fréquentielle, celle-ci est bien adaptée à la comparaison multi-échelle. En effet, elle peut consister à calculer les transformées de Fourrier des zones d'image à comparer puis réaliser une comparaison des spectres fréquentiels obtenus. Ainsi, par exemple on peut commencer par sélectionner une zone de la mosaïque, candidate à l'identification, 20 par comparaison littérale, puis confirmer l'identification par comparaison fréquentielle de l'image courante et de la zone candicdate. Bien entendu, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d'exemple ; elle s'étend à d'autres variantes. En particulier, la présente invention ne se limite pas au traitement d'images 25 issues de retransmissions sportives. Le cas du football n'est donné qu'à titre illustratif. Bien sûr, on peut envisager la présente invention dans d'autres sports comme le rugby, la natation, le tennis... Mais on peut également envisager la présente invention dans des applications non sportives, par exemple lors de la retransmission d'évènements comme un défilé, une manifestation ou autre. On peut également envisager la retransmission de spectacles, comme une pièce de théâtre ou un concert, ou autres. La présente invention peut être utilisée pour des applications de retransmission en direct, mais elle peut également être utilisée sur des flux 5 d'images préenregistrés. Plusieurs aspects de la présente invention décrits ci-avant peuvent être utilisés seul ou en combinaison, dans d'autres variantes.

Claims (14)

1. REVENDICATIONS, 1. Procédé de traitement d'un flux d'images pour une incrustation virtuelle, caractérisé en ce que : ledit flux est pré-monté et/ou pré-habillé, et 5 en ce que le procédé comporte les étapes : û identifier (S33), par reconnaissance (S32) d'au moins un élément d'image, au moins une portion de scène (22) au moins partiellement représentée dans au moins une partie des images (20) du flux; et - incruster (S34) une image virtuelle (21) dans une zone choisie de 10 ladite scène dans au moins une image (20) du flux à l'échelle et à la perspective de la représentation de la scène (23) dans ladite image.
2. 2. Procédé selon la revendication 1, caractérisé en ce qu'il comporte en outre les étapes : 15 û dupliquer (42) le flux d'images en un premier et un deuxième flux identiques ; û appliquer au premier flux les étapes d'identification(S33), et d'incrustation (S34), puis retarder (47) le premier flux ainsi traité d'une durée Q, lesdites étapes d'identification et d'incrustation impliquant une durée de 20 traitement P ; û retarder (49) le deuxième flux d'une durée T correspondant à la somme de la durée Q avec la durée P ; û prévoir un moyen de commande (48) pour permettre de diffuser soit le premier flux, soit le deuxième flux ; et 24û contrôler (46) l'incrustation de l'image, après le traitement du premier flux et avant son retardement, pour diffuser le premier flux, si le contrôle est positif, ou le deuxième flux, si le contrôle est négatif.
3. 3. Procédé selon l'une des revendications 1 ou 2, dans lequel le flux est pré-monté et comporte au moins un passage d'un plan courant (PLI) à un plan suivant (PL2) dans le montage, caractérisé en ce qu'on applique une étape de détection (T54) d'un passage entre le plan courant et le plan suivant, et en ce que la détection est fondée sur une comparaison entre deux images successives du flux (IM1, IM2, IM3, IM4), d'après leurs répartitions chromatiques respectives (pixIM1, pixIM2, pixIM3, pixIM4).
4. 4. Procédé selon l'une des revendications 1 ou 2, dans lequel le flux est pré-monté et comporte au moins un passage d'un plan courant (PLI) à un plan suivant (PL2) dans le montage, caractérisé en ce qu'on applique une étape de détection (T54) d'un passage entre le plan courant et le plan suivant, et en ce que la détection est fondée sur une comparaison entre une image courante et une image prédéfinie (VLT) annonçant un changement de plan dans le flux d'images.
5. 5. Procédé selon l'une des revendications 3 ou 4, caractérisé en ce que l'étape de détection (T54) est réalisée sur le premier flux, et en ce que la durée de cette étape de détection est prise en compte dans une estimation de la durée P.25
6. 6. Procédé selon l'une des revendications 3 à 5, caractérisé en ce que la comparaison est réalisée sur une ou plusieurs zones de comparaison prédéfinies de chacune des deux images comparées.
7. 7. Procédé selon l'une des revendications précédentes, caractérisé en ce que l'étape d'identification est réalisée dans une ou plusieurs zones d'identification prédéfinies de l'image.
8. 8. Procédé selon l'une des revendications précédentes, dans lequel le flux est pré-habillé et comporte un habillage dans une zone donnée d'une partie au moins des images du flux, caractérisé en ce qu'au moins une des étapes d'identification et de détection est réalisée dans l'image par application d'un masque (MAS) excluant ladite zone d'habillage.
9. 9. Procédé selon la revendication 8, dans lequel la zone d'habillage est variable en dimensions et/ou en position, caractérisé en ce que la variation de la zone d'habillage est prise en compte dans le masquage.
10. 10. Procédé selon l'une des revendications 3 à 7, dans lequel l'incrustation est réalisée par suivi du mouvement par rapport à la scène d'une caméra d'où sont issues les images de cette scène; et dans lequel ladite incrustation est initialisée par une identification d'une portion de scène dans une image N d'un plan du flux ; caractérisé en ce que :ladite incrustation dans une autre image N' dudit plan du flux dépend de l'identification d'une portion de la scène dans l'image N et de l'estimation du mouvement de caméra entre l'image N et l'image N'; on stocke en mémoire (LAR) les images du premier flux après l'étape d'identification; lorsque l'incrustation est initialisée après le début du plan, l'incrustation est réalisée dans les images mémorisées par suivi du mouvement dans l'ordre anti-chronologique (ANTI-CHRO) des images dans le flux à partir de l'image N ; et la quantité d'images stockées correspond à une durée de séquence S et le traitement de suivi, d'identification et d'incrustation induit un retard R, la durée S et le retard R étant pris en compte dans une estimation de la durée P.
11. 11. Procédé selon une de revendications précédentes, caractérisé en ce qu'il est prévu de disposer d'une image de référence (MSC) de la scène à une échelle et à une perspective donnée avant l'étape d'identification, et en ce que l'identification consiste à sélectionner au moins une zone (143) d'une image courante (141), afin de réaliser une corrélation multi-échelle entre ladite zone et une partie (142) de ladite image de référence.
12. 12. Système de traitement d'images comportant des moyens de calculs, des moyens de stockage d'information et des moyens de communication, ledit système étant adapté pour mettre en oeuvre le procédé selon l'une des revendications précédentes. 5
13. 13. Programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé selon l'une des revendications 1 à 11 lorsque ce programme est exécuté par un processeur.
14. 14. Support lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé selon une des revendications 1 à 11 lorsque ce programme est exécuté par un processeur.