FR2969353A1

FR2969353A1 - Procede de realisation d'une image panoramique a partir d'une sequence video et appareil de mise en oeuvre.

Info

Publication number: FR2969353A1
Application number: FR1060838A
Authority: FR
Inventors: Stephane Auberger; Nicolas Hanus
Original assignee: ST Ericsson SA
Current assignee: ST Ericsson SA
Priority date: 2010-12-20
Filing date: 2010-12-20
Publication date: 2012-06-22
Also published as: US20140022338A1; WO2012084885A1; EP2656312B1; EP2656312A1

Abstract

Procédé de réalisation d'une image panoramique à partir d'une séquence vidéo, comprenant une fusion d'une image cible d'une séquence vidéo à un panoramique comportant des images de ladite séquence vidéo. Le procédé comprend : - une évaluation de la différence de luminance entre l'image cible et la dernière image utilisée pour le panoramique ; - une détermination de la taille de la zone de fusion des deux images en fonction de la différence de luminance évaluée ; et - une correction de la luminance des pixels situés dans la zone de fusion.

Description

Procédé de réalisation d'une image panoramique à partir d'une séquence vidéo et appareil de mise en oeuvre. L'invention concerne la réalisation d'une image panoramique à partir d'images consécutives extraites d'une séquence vidéo, et plus particulièrement la fusion d'une image cible d'une séquence vidéo à un panoramique. Une image panoramique est une image possédant un champ exceptionnellement large. Ces images panoramiques peuvent être créées avec un appareil photographique panoramique comprenant des objectifs à champ exceptionnellement large, ou bien à partir de l'enregistrement d'une succession d'images par un appareil de prise de vue en pivotant celui-ci selon un axe horizontal. Elles peuvent ainsi être alignées à partir d'un appareil photographique numérique et d'un logiciel permettant d'assembler plusieurs vues, ou encore à partir d'une séquence vidéo enregistrée par une caméra vidéo à partir de laquelle on utilise des images de la séquence vidéo qu'on assemble. Dans le cas d'un appareil photographique numérique dans un mode de capture photographique, on réalise plusieurs prises de vues successives avec un appareil photographique fixé sur un axe et qui tourne entre chaque prise de vue en faisant se chevaucher deux vues consécutives. Un logiciel permet ensuite d'assembler les différentes images obtenues. On élargit de cette manière artificiellement le champ de vision.

Dans le cas d'une réalisation d'une image panoramique à partir d'une séquence vidéo, une séquence vidéo est tout d'abord enregistrée en réalisant un panoramique, c'est-à-dire en effectuant un mouvement de pivot autour d'un axe fixe. Les images de la séquence vidéo sont, par exemple, enregistrées à une fréquence de 25 images par seconde.

Les images ainsi capturées lors de la séquence vidéo serviront pour construire une image photographique panoramique. Pour construire une image panoramique à partir d'une séquence vidéo, il faut tout d'abord estimer le déplacement existant entre deux images successives. Cette estimation de déplacement permet de déterminer un vecteur de déplacement d'une image par rapport à une image précédente. Ce vecteur de déplacement permet alors de correctement aligner les deux images successives au sein d'une image panoramique. L'estimation de déplacement est bien connue et est basée sur un procédé de concordance entre les blocs définissant l'image, qui travaille à partir de la luminance des différentes images d'entrée. Une fois que l'image en cours d'analyse est bien alignée, une partie de l'image cible est fusionnée avec l'image panoramique déjà formée à partir des images précédentes. I1 y a alors un compromis à réaliser entre la réalisation d'une transition progressive et la préservation de la précision de l'image dans la zone de fusion de l'image cible avec l'image panoramique. En effet, plus la zone de fusion est grande, plus il est facile d'introduire une variation progressive de la luminance sans qu'apparaisse de soudaine variation de luminance dans l'image panoramique finale. Cependant, également, plus la zone de fusion est grande, plus le nombre de pixels concernés par une correction de leur valeur de luminance est important, et plus le nombre moyen de correction subit par chaque pixel au cours du processus de réalisation du panorama sera important. La précision de définition d'un pixel décroît de manière inversement proportionnelle avec le nombre d'images participant à la définition d'un pixel, car toutes ces images ne sont pas forcément toutes parfaitement alignées les unes avec les autres. Ainsi, une absence de déplacement ou un déplacement trop lent de la caméra vidéo capturant le panorama peut également entraîner une diminution de la précision de définition, car les mêmes pixels de l'image panoramique finale vont être corrigé un nombre important de fois correspondant à chaque fusion d'image. L'invention vise à résoudre ces problèmes en assurant une bonne définition de l'image panoramique finale tout en ayant des transitions progressives entre les images et des jonctions non visibles.

Selon un aspect de l'invention, il est proposé, dans un mode de mise en oeuvre, un procédé de réalisation d'une image panoramique à partir d'une séquence vidéo, comprenant une fusion d'une image cible d'une séquence vidéo à un panoramique comportant des images de ladite séquence vidéo. Le procédé comprend : - une évaluation de la différence de luminance entre l'image cible et la dernière image utilisée pour le panoramique ; - une détermination de la taille de la zone de fusion des deux images en fonction de la différence de luminance évaluée ; - une correction de la luminance des pixels situés dans la zone de fusion. La taille de la zone de fusion peut avantageusement être fixée à une valeur inférieure si la différence de luminance évaluée est inférieure à un premier seuil. La taille de la zone de fusion peut également être fixée à une valeur supérieure si la différence de luminance évaluée est supérieure à un second seuil. De préférence, la taille de la zone de fusion varie linéairement avec la différence de luminance évaluée si la différence de luminance évaluée est comprise entre le premier et le second seuil. Le procédé peut avantageusement comprendre une estimation du déplacement entre l'image cible et la dernière image utilisée pour le panoramique, et une sélection de l'image cible si le déplacement estimé est supérieur à un seuil de déplacement. Selon un autre aspect de l'invention, il est proposé, dans un mode de réalisation, un appareil muni de moyens de prise de vues numériques comprenant des moyens de fusion d'une image cible d'une séquence vidéo à un panoramique comprenant des images de ladite séquence vidéo. Les moyens de fusion comprennent - des moyens d'évaluation aptes à évaluer la différence de luminance entre l'image cible et la dernière image utilisée pour le panoramique ; - des moyens de détermination aptes à déterminer la taille de la zone de fusion des deux images en fonction de la différence de luminance évaluée ; - des moyens de correction aptes à corriger la luminance des pixels situés dans la zone de fusion. Avantageusement, les moyens de détermination peuvent comprendre des premiers moyens de comparaison aptes à comparer la différence de luminance évaluée à un premier seuil. Les moyens de détermination peuvent avantageusement comprendre des seconds moyens de comparaison aptes à comparer la différence de luminance évaluée à un second seuil. De préférence, les moyens de détermination comprennent également des moyens de variation linéaire aptes à faire varier la taille de la zone de fusion linéairement avec la différence de luminance évaluée si la différence de luminance évaluée est comprise entre le premier et le second seuils. Avantageusement, les moyens de fusion peuvent comprendre des moyens d'estimation du déplacement aptes à estimer le déplacement entre l'image cible et la dernière image utilisée pour le panoramique, et des moyens de sélection aptes à sélectionner l'image cible si le déplacement estimé est supérieur à un seuil de déplacement. D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée des modes de réalisation et de mise en oeuvre nullement limitatifs, et des dessins annexés, sur lesquels : - la figure 1 représente un organigramme d'un mode de mise en oeuvre d'un procédé de réalisation d'un panoramique à partir d'une séquence vidéo ; et - la figure 2 représente un appareil comportant des moyens de photographie numérique comprenant des moyens de fusion d'une image cible d'une séquence vidéo à un panoramique. Sur la figure 1, est représentée un organigramme d'un mode de mise en oeuvre d'un procédé de réalisation d'une image panoramique d'une séquence vidéo comprenant une fusion d'une image cible d'une séquence vidéo à un panoramique comportant des images de ladite séquence vidéo. Dans un premier temps, on estime, dans une étape initiale 101, le déplacement existant entre une image cible n et la dernière image ayant été fusionnée à l'image panoramique. Ladite dernière image fusionnée peut correspondre à l'image n-1 précédant l'image cible n. Dans une étape suivante 102, on compare le déplacement ainsi estimé au un seuil de déplacement (SeuilD). Si le déplacement estimé n'est pas supérieur au seuil de déplacement (SeuilD), on ne prend alors pas en compte l'image cible n pour le panoramique, et refera le test avec l'image suivante n+l Cette démarche initiale permet, de contrôler que lors de la séquence vidéo, le déplacement panoramique n'a pas été trop lent voire même stoppé. En ne prenant pas en compte les images dont le déplacement est trop faible par rapport à la dernière image fusionnée avec le panoramique, on évite ainsi que les pixels de l'image panoramique ne subissent trop de corrections et de fusion, et perdent alors en définition.

Si en revanche le déplacement estimé dans l'étape initiale 101 est supérieure au seuil de déplacement (SeuilD), dans un second temps, on détermine, dans une étape 104, la luminance de l'image cible n ainsi que la luminance de la dernière image fusionnée avec le panoramique. Sur la figure 1, la dernière image fusionnée correspond à l'image n-1. Dans une étape suivante 105, on évalue à partir des déterminations de luminance, réalisée dans l'étape précédente 104, la différence existant entre la luminance de l'image cible n et la luminance de l'image n-1.

Dans une étape 106, on compare une première fois la différence ainsi évaluée à un premier seuil (Seuill). Si ladite différence est inférieure au premier seuil (Seuill), la taille de la zone de fusion de l'image cible n est fixée à une valeur inférieure dans une étape 107, avant de corriger la luminance de la zone de fusion dans une étape finale 111. En revanche, si ladite différence est supérieure au premier seuil (Seuill), on réalise alors, dans une étape suivante 108, une nouvelle comparaison. On compare cette fois-ci la différence à un second seuil (Seui12). Si la différence est supérieure au second seuil (Seui12), alors la taille de la zone de fusion de l'image cible n est fixée à une valeur supérieure dans une étape 109, avant de corriger la luminance de la zone de fusion dans l'étape finale 111.

En revanche, si ladite différence est inférieure au second seuil (Seui12), dans une étape suivante 110, on fait varier la taille de la zone de fusion linéairement en fonction de la différence de luminance évaluée. Une fois la taille de la zone de fusion ainsi déterminée, une correction de la luminance est réalisée dans une étape finale 111. La correction de luminance est réalisée de manière linéaire au sein de la zone de fusion. De cette manière, on modifie progressivement la luminance de la zone de fusion de manière à ce qu'il n'y ait pas de brusque changement de luminance entre l'image panoramique et l'image cible n fusionnée. Sur la figure 2, est représenté un appareil A, tel qu'un appareil de téléphonie mobile, comprenant des moyens P aptes à capturer une image photographique numérique et/ou à enregistrer une séquence vidéo.

Les moyens P comprennent des moyens d'estimation 1 du déplacement d'une image par rapport à une image précédente d'un panoramique, des moyens de sélection 2 aptes à sélectionner l'image cible si le déplacement estimé est supérieur à un seuil de déplacement ; et des moyens de fusion 3.

Les moyens d'estimation 1 reçoivent en entrée l'image cible n et la dernière image fusionnée n-1 au panoramique, qu'on nommera image précédente. Les moyens 1 estiment alors le déplacement effectué par la caméra entre l'image cible n et l'image précédente n-1.

L'estimation est réalisée à partir d'une méthode connue de l'homme du métier utilisant la luminance de des images. Une fois le déplacement estimé par les moyens 1 d'estimation, il est délivré aux moyens de sélection 2. Les moyens de sélection 2 comparent alors le déplacement estimé à un seuil de déplacement (SeuilD). Si le déplacement est supérieur au seuil de déplacement (SeuilD), Les moyens de sélection délivrent un signal de commande aux moyens de fusion 3 indiquant que l'image cible n peut être utilisé pour le panoramique.

En revanche, si le déplacement estimé est inférieur au seuil de déplacement (seuilD), le signal de commande délivré par les moyens de sélection 2 indiquent aux moyens de fusion 3 que l'image cible n ne doit pas être fusionnée au panoramique. Ainsi, si le déplacement estimé est supérieur au seuil de déplacement seuil (SeuilD), les moyens de fusion 3 sont actionnés. Les moyens de fusion 3 comprennent des moyens 4 de détermination la luminance, des moyens 5 d'évaluation aptes à évaluer la différence de luminance entre l'image cible n et la dernière image utilisée pour le panoramique, soit par exemple l'image précédente n-1, des moyens 6 de détermination aptes à déterminer la taille de la zone de fusion des deux images en fonction de la différence de luminance évaluée, et des moyens 7 de correction aptes à corriger la luminance des pixels situés dans la zone de fusion. Les moyens 4 de détermination de la luminance reçoivent en entrée l'image cible n ainsi que la dernière image fusionnée au panoramique, soit l'image précédente n-1 par exemple. Les moyens 4 déterminent alors la luminance de chacune des deux images et délivrent chacune des valeurs aux moyens 5 d'évaluations. Les moyens 5 d'évaluation calculent alors la différence de luminance apparaissant entre l'image cible n et la dernière image fusionnée au panoramique n-1. Le résultat de cette différence est alors délivré en sortie des moyens 5 aux moyens 6 d'estimation de la taille de la zone de fusion de l'image cible n avec l'image panoramique.

Les moyens 6 d'estimation comprennent des premiers moyens de comparaison 8, des seconds moyens de comparaison 9, et des moyens 10 de détermination de la taille de la zone de fusion comprenant des moyens de variation linéaire 11.

Les premiers moyens de comparaison 8 reçoivent en entrée la différence évaluée par les moyens 5. Le résultat de la différence est alors comparé à un premier seuil (Seuill). Si ladite différence est inférieure au premier seuil (Seuill), les premiers moyens de comparaison 8 délivrent en sortie un signal indiquant que la taille de la zone de fusion de l'image cible n doit être fixée à une valeur inférieure. Sinon, les premiers moyens de comparaison 8 délivrent un signal indiquant que la taille de la zone de sortie de doit pas être fixée à une valeur inférieure. Les seconds moyens de comparaison 9 reçoivent également en entrée la différence évaluée par les moyens 5. Le résultat de la différence est alors comparé à un second seuil (Seui12). Si ladite différence est supérieure au second seuil (Seui12), les premiers moyens de comparaison 8 délivrent alors en sortie un signal indiquant que la taille de la zone de fusion de l'image cible n doit être fixée à une valeur supérieure. Sinon, les seconds moyens de comparaison 9 délivrent un signal indiquant que la taille de la zone de sortie ne doit pas être fixée à une valeur supérieure. Les moyens 10 de détermination de la taille de la zone de fusion reçoivent en entrée le signal issu des premiers moyens de comparaison 8 ainsi que le signal issu des seconds moyens de comparaison 9. Si les moyens 10 reçoivent un signal indiquant que la taille de la zone de fusion doit être fixée à la valeur inférieur par les premiers moyens de comparaison 8, alors les moyens 10 délivrent en sortie une taille de zone de fusion correspondant la valeur inférieure. Si les moyens 10 reçoivent un signal indiquant que la taille de la zone de fusion doit être fixée à la valeur supérieure par les seconds moyens de comparaison 9, alors les moyens 10 délivrent en sortie une taille de zone de fusion correspondant à la valeur supérieure.

Les moyens 10 reçoivent également entrée le résultat de la différence évaluée par les moyens 5. Si les moyens 10 ne reçoivent aucun signal indiquant que la taille de la zone de fusion doit être fixée à la valeur inférieure ou à la valeur supérieure, les moyens 10 délivrent alors en sortie une taille de zone de fusion dont la valeur dépend de la différence de luminance évaluée par les moyens 5. La valeur de la taille de la zone de fusion est alors déterminée par les moyens 11 de variation linéaire compris dans les moyens 10. Les moyens 10 délivrent donc en sortie la valeur de la taille de la zone de fusion de l'image cible n avec l'image panoramique aux moyens 7 de correction. Les moyens 7 appliquent alors une correction de luminance, telle qu'une correction linéaire, dans la zone de fusion, de manière à obtenir une transition progressive continue entre l'image cible n fusionnée à l'image panoramique, et l'image précédemment fusionnée avec l'image panoramique. En premier lieu, il est donc proposé, selon la présente description, d'assurer une bonne définition de l'image panoramique finale en sélectionnant l'image suivante à fusionner à l'image panoramique si le déplacement effectué entre la dernière image fusionnée avec l'image panoramique et l'image suivante est suffisant. En second lieu, il est également proposé d'affiner les transitions entre les images afin d'obtenir des jonctions non visibles en faisant la taille de la zone de fusion en fonction de la différence de luminance entre la dernière image fusionnée à l'image panoramique et l'image suivante.25

Claims

REVENDICATIONS1. Procédé de réalisation d'une image panoramique à partir d'une séquence vidéo, comprenant une fusion d'une image cible d'une séquence vidéo à un panoramique comportant des images de ladite séquence vidéo, caractérisé en ce qu'il comprend : - une évaluation (105) de la différence de luminance entre l'image cible et la dernière image utilisée pour le panoramique ; - une détermination de la taille de la zone de fusion des deux images en fonction de la différence de luminance évaluée ; - une correction (111) de la luminance des pixels situés dans la zone de fusion.
2. Procédé selon la revendication 1, caractérisé en ce que la taille de la zone de fusion est fixée à une valeur inférieure (107) si la différence de luminance évaluée est inférieure à un premier seuil (106).
3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que la taille de la zone de fusion est fixée à une valeur supérieure (109) si la différence de luminance évaluée est supérieure à un second seuil (108).
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que la taille de la zone de fusion varie linéairement (110) avec la différence de luminance évaluée si la différence de luminance évaluée est comprise entre le premier et le second seuil.
5. Procédé selon l'une des revendications 1 à 4, caractérisé en ce qu'il comprend une estimation(101) du déplacement entre l'image cible et la dernière image utilisée pour le panoramique, et une sélection de l'image cible si le déplacement estimé est supérieur à un seuil de déplacement.
6. Appareil muni de moyens de prises de vues numérique comprenant des moyens de fusion d'une image cible d'une séquence vidéo à un panoramique comprenant des images de ladite séquence vidéo, caractérisé en ce que les moyens de fusion comprennent :- des moyens d'évaluation aptes à évaluer la différence de luminance entre l'image cible et la dernière image utilisée pour le panoramique ; - des moyens de détermination aptes à déterminer la taille de la zone de fusion des deux images en fonction de la différence de luminance évaluée ; - des moyens de correction aptes à corriger la luminance des pixels situés dans la zone de fusion.
7. Appareil selon la revendication 6, caractérisé en ce que les moyens de détermination comprennent des premiers moyens de comparaison aptes à comparer la différence de luminance évaluée à un premier seuil.
8. Appareil selon l'une des revendications 6 ou 7, caractérisé en ce que les moyens de détermination comprennent des seconds moyens de comparaison aptes à comparer la différence de luminance évaluée à un second seuil.
9. Appareil selon l'une des revendications 6 à 8, caractérisé en ce que les moyens de détermination comprennent des moyens de variation linéaire aptes à faire varier la taille de la zone de fusion linéairement avec la différence de luminance évaluée si la différence de luminance évaluée est comprise entre le premier et le second seuils.
10. Appareil selon l'une des revendications 6 à 9, caractérisé en ce qu'il comprend des moyens d'estimation du déplacement aptes à estimer le déplacement entre l'image cible et la dernière image utilisée pour le panoramique, et des moyens de sélection aptes à sélectionner l'image cible si le déplacement estimé est supérieur à un seuil de déplacement.