FR2969351A1

FR2969351A1 - Procede de realisation d'une image panoramique et appareil de mise en oeuvre.

Info

Publication number: FR2969351A1
Application number: FR1060836A
Authority: FR
Inventors: Stephane Auberger; Nicolas Hanus
Original assignee: ST Ericsson SA
Current assignee: ST Ericsson SA
Priority date: 2010-12-20
Filing date: 2010-12-20
Publication date: 2012-06-22
Also published as: EP2656311B1; WO2012084884A9; EP2656311A1; WO2012084884A1; US20140002590A1

Abstract

Procédé d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique. Il comprend une correction d'un premier vecteur de déplacement d'une image cible de la séquence vidéo, le dit premier vecteur étant déterminé par une estimation du déplacement de l'image cible par rapport à au moins une image précédente de la séquence vidéo.

Description

Procédé de réalisation d'une image panoramique et appareil de mise en oeuvre. L'invention concerne la réalisation d'une image panoramique à partir d'images successives extraites d'une séquence vidéo, et plus particulièrement l'alignement de ces images. Une image panoramique est une image possédant un champ exceptionnellement large. Ces images panoramiques peuvent être créées avec un appareil photographique panoramique comprenant des objectifs à champ exceptionnellement large, ou bien à partir de la capture d'une succession d'images par un appareil de prises de vues en pivotant celui-ci selon un axe horizontal. Elles peuvent ainsi être réalisées à partir d'un appareil photographique numérique et d'un logiciel permettant d'assembler plusieurs vues, ou encore à partir d'une séquence vidéo enregistrée par une caméra vidéo, ou bien un appareil photographique numérique en mode vidéo, à partir de laquelle on utilise des images de la séquence vidéo qu'on assemble. Dans le cas d'un appareil photographique numérique dans un mode de capture photographique, on réalise plusieurs prises de vues successives avec un appareil photographique fixé sur un axe et qui tourne entre chaque prise de vue en faisant se chevaucher deux vues consécutives. Un logiciel permet ensuite d'assembler les différentes images obtenues. On élargit de cette manière artificiellement le champ de vision.

Dans le cas d'une réalisation d'une image panoramique à partir d'une séquence vidéo, une séquence vidéo est tout d'abord enregistrée en réalisant un panoramique, c'est-à-dire en effectuant un mouvement de pivot autour d'un axe fixe. Les images de la séquence vidéo sont, par exemple, enregistrées à une fréquence de 25 images par seconde.

Les images ainsi capturées lors de la séquence vidéo serviront pour construire une image photographique panoramique. Pour construire une image panoramique à partir d'une séquence vidéo, il faut tout d'abord estimer le déplacement existant entre deux images successives. Cette estimation de déplacement permet de déterminer un vecteur de déplacement d'une image par rapport à une image précédente. Ce vecteur de déplacement permet alors de correctement aligner les deux images successives au sein de l'image panoramique. L'estimation de déplacement est bien connue et est basée sur un procédé de concordance entre les blocs qui travaillent à partir de la luminance des différentes images d'entrée. Cependant, si une perturbation apparaît entre deux images consécutives, telle que par exemple un brusque changement de luminosité dû à une modification des paramètres de capture ou l'apparition d'un mouvement perturbant dans la scène, le procédé de concordance d'estimation de déplacement peut être mis en défaut. Dans ce cas, un vecteur de déplacement erroné sera retourné par des moyens d'estimation de déplacement et le vecteur de déplacement final sera erroné. I1 y aura, par conséquent, une discordance voire même un espace au sein d'images panoramiques finales. L'invention vise à pallier à ces inconvénients en corrigeant un vecteur de déplacement susceptible d'être erroné lors de l'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique. Selon un aspect, il est proposé dans un mode de réalisation, un procédé d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique. Ce procédé comprend une correction d'un premier vecteur de déplacement d'une image cible de la séquence vidéo, ledit premier vecteur étant déterminé par une estimation du déplacement de l'image cible par rapport à au moins une image précédente de la séquence vidéo. De préférence, la correction comprend : - une détermination de la moyenne des coordonnées horizontales des vecteurs de déplacement d'au moins une image précédent l'image cible ; - une détection du premier vecteur comme vecteur suspect dans le cas où une différence est détectée entre la coordonnée horizontale du premier vecteur et ladite moyenne ; - une comparaison de la coordonnée horizontale d'un second vecteur de déplacement d'une image suivant ladite image cible à ladite moyenne ; - une correction du vecteur suspect dans le cas où la coordonnée horizontale du second vecteur de déplacement est supérieure à ladite moyenne. La correction comprend avantageusement une détermination de la variance de la moyenne. De préférence, une différence est détectée entre la coordonnée horizontale du premier vecteur de déplacement et ladite moyenne si la soustraction entre la coordonnée horizontale du premier vecteur de déplacement et ladite moyenne est supérieure à ladite variance.

La coordonnée du vecteur de déplacement est préférentiellement similaire à ladite moyenne si leur différence est inférieure à ladite variance. Avantageusement, la correction du vecteur suspect comprend un remplacement du premier vecteur par le vecteur de déplacement de l'image précédant l'image cible. Selon un autre aspect, il est proposé dans un mode de réalisation, un appareil muni de moyens de prise de vues numériques, comprenant des moyens d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique.

Les moyens d'alignement comprennent des moyens de correction d'un premier vecteur de déplacement d'une image cible d'une séquence vidéo, ledit premier vecteur étant déterminé par des moyens d'estimation du déplacement entre deux images de la séquence vidéo aptes à estimer le vecteur de déplacement d'une image par rapport à au moins une image précédente. De préférence, les moyens d'alignement comprennent : - des moyens de détermination d'une moyenne aptes à déterminer la moyenne des coordonnées horizontales du vecteur de déplacement d'au moins une image précédant l'image cible ; - des moyens de détection aptes à détecter le premier vecteur comme vecteur suspect dans le cas où une différence est détectée entre la coordonnée horizontale du premier vecteur et ladite moyenne ; - des moyens de comparaison aptes à comparer la coordonnée horizontale d'un second vecteur de déplacement d'une image suivant ladite image cible à ladite moyenne ; et - des moyens de correction aptes à corriger le vecteur suspect dans le cas où la coordonnée horizontale du second vecteur de déplacement est similaire à ladite moyenne.

Les moyens d'alignement comprennent préférentiellement des moyens de détermination de variance, aptes à déterminer la variance de ladite moyenne. Les moyens de détection peuvent avantageusement comprendre des moyens de calcul aptes à calculer une soustraction entre la coordonnée horizontale du premier vecteur de déplacement et ladite moyenne, et un premier module de comparaison apte à comparer ladite soustraction à ladite variance. Les moyens de comparaison peuvent également comprendre avantageusement un second module de comparaison apte à comparer la différence entre la coordonnée du second vecteur de déplacement et ladite moyenne à ladite variance. De préférence, les moyens de correction peuvent comprendre des moyens de remplacement aptes à remplacer le premier vecteur par le vecteur de déplacement de l'image précédant l'image cible.

D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée des modes de réalisation et de mise en oeuvre nullement limitative, et des dessins annexés, sur lesquels : - la figure 1 représente de manière schématique le contrôle des vecteurs de déplacement de deux images successives d'une séquence vidéo ; - la figure 2 représente un organigramme d'un procédé d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique selon un mode de mise en oeuvre ; et - la figure 3 représente schématiquement un appareil comportant des moyens de photographie numérique comprenant des moyens d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique, selon un mode de réalisation. Sur la figure 1, est représenté de manière schématique un 15 exemple de contrôle des vecteurs de déplacement déterminés pour chacune d'images successives constituant une image panoramique finale. En premier lieu, des images successives N-5, N-4, N-3, N-2, N-1, N, N+1(A) et N+1(B) sont représentées. Ces images successives 20 sont extraites d'une séquence vidéo pour réaliser une image panoramique. Les vecteurs de déplacement n-4, n-3, n-2, n-1, n, n+l(A) et n+l (B) déterminés pour chaque image sont représentés en contre bas. Les vecteurs de déplacement sont déterminés en comparant une 25 image à l'image précédente dans la séquence vidéo. Ainsi, le vecteur de déplacement n-4 de l'image N-4 est déterminé en comparant l'image précédente N-5 à l'image N-4. Pour une image cible N, on détermine si un premier vecteur de déplacement n est un vecteur suspect, c'est-à-dire un vecteur de 30 déplacement différant des vecteurs de déplacement précédents. Sur l'exemple présenté sur la figure 1, les vecteurs n-4 à n-1 sont dirigés de la gauche vers la droite avec une faible inclinaison peu différente entre les vecteurs, tandis que le vecteur n est dirigé de la droite vers la 10 gauche avec une forte inclinaison. Le vecteur n est ainsi considéré dans cet exemple comme différent des vecteurs précédents. On détermine qu'un vecteur n est suspect, en calculant tout d'abord une moyenne des vecteurs de déplacement des images précédentes, et plus particulièrement en calculant la moyenne des coordonnées horizontales des vecteurs de déplacement précédents. On compare alors la coordonnée horizontale dudit premier vecteur n à la moyenne des coordonnées horizontales des vecteurs précédents ainsi calculée. Si la coordonnée horizontale du premier vecteur n est différente de la moyenne calculée, ledit premier vecteur n est alors classé comme vecteur suspect. Le vecteur suspect n'est pas directement corrigé car cette différence de coordonnée horizontale peut être due à de nombreuses raisons. On contrôle alors la coordonnée horizontale du vecteur de déplacement n+l de l'image suivante N+l afin de savoir si le premier vecteur n de l'image cible N, alors classé suspect, doit être corrigé ou non. Pour cela, on détermine le vecteur de déplacement n+l de l'image suivante N+l, et on la compare à la moyenne calculée précédemment. Si le vecteur de déplacement n+l de l'image suivante N+l correspond à la moyenne calculée des vecteurs de déplacement des images précédant l'image cible N comme dans le cas du vecteur n+l(A) déterminé pour l'image suivante N+l(A), le premier vecteur de déplacement classé comme suspect est bien erroné et doit être corrigé. Dans le cas contraire, c'est-à-dire si la coordonnée horizontale du vecteur n+l de déplacement de l'image suivante N+l reste différente de ladite moyenne calculée comme dans le cas du vecteur n+l(B) déterminé pour l'image suivante N+l(B), la suspicion d'erreur d'estimation du premier vecteur n n'est pas confirmée. Dès lors, le vecteur de déplacement n de l'image cible N classé comme suspect n'est pas corrigé. Sur la figure 2, est représenté schématiquement un organigramme d'un mode de mise en oeuvre d'un procédé d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique, comprenant une correction d'un premier vecteur de déplacement d'une image cible de la séquence vidéo. Les vecteurs de déplacement sont initialement déterminés, dans une étape initiale 200, à l'aide d'un procédé d'estimation du déplacement entre deux images successives d'une séquence vidéo. Chaque vecteur est déterminé pour une image à partir d'au moins une image précédente. Dans une première étape 201 du procédé, une moyenne des coordonnées horizontales des vecteurs de déplacement d'au moins une image précédant la cible est déterminée. Dans une étape suivante 202, la variance de ladite moyenne calculée dans l'étape précédente est déterminée. On calcule ensuite, dans une étape 203, la différence entre la coordonnée horizontale du premier vecteur de l'image cible n, noté vecteur n, et ladite moyenne calculée dans la première étape 201. On compare dans une étape suivante 204, le résultat de la différence entre la coordonnée horizontale du premier vecteur de l'image cible n et ladite moyenne, à la variance calculée dans l'étape 202. Si la différence calculée dans l'étape 203 est inférieure à la variance calculée dans l'étape 201, on passe directement à l'étape 208 dans laquelle on ne corrige pas ledit premier vecteur. En revanche, si la différence calculée dans l'étape 203 est supérieure à la variance calculée dans l'étape 202, on détermine, dans une étape suivante 205, le vecteur de déplacement de l'image suivante, noté vecteur n+l. Dans une étape suivante 206, on soustrait la coordonnée horizontale du vecteur n+l de l'image suivante à la moyenne calculée dans l'étape 201. Dans une étape suivante 207, on compare le résultat de la soustraction ainsi calculée dans l'étape précédente 206, à la variance calculée dans l'étape 202. Si le résultat de la soustraction est supérieur à la variance, cela signifie que le vecteur de l'image suivante n+l est également différent de la moyenne calculée pour les vecteurs précédents, et dans ce cas, on ne peut pas être sûr que le premier vecteur de l'image cible n considéré comme suspect est véritablement erroné. En effet, cela peut correspondre à un déplacement de la caméra ou à une instabilité de la séquence. Dans ce cas, on passe à l'étape suivante 208 dans laquelle on ne corrige pas le vecteur de l'image cible n.

En revanche, si le résultat de la soustraction entre la coordonnée horizontale du vecteur de déplacement de l'image suivante n+l et la moyenne est inférieur à la variance, on remplace, dans une étape 209, ledit premier vecteur de l'image cible n par le vecteur de déplacement de l'image n-1 précédant l'image cible. On corrige ainsi la perturbation rencontrée pour la détermination du vecteur de déplacement de l'image cible afin d'obtenir une image panoramique non perturbée. Sur la figure 3, est représenté de manière schématique un appareil A, tel qu'un appareil de téléphonie mobile, comportant des moyens P de capture d'images photographiques numériques aptes à enregistrer une séquence vidéo comprenant des moyens d'alignement 1 de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique. Les moyens d'alignement 1 comprennent des moyens 2 d'estimation du déplacement entre deux images successives de la séquence vidéo, aptes à estimer le vecteur de déplacement d'une image par rapport à au moins une image précédente, et des moyens de correction 3 d'un premier vecteur de déplacement n d'une image cible N d'une séquence vidéo.

Les moyens de correction 3 comprennent des moyens 4 de détermination d'une moyenne, aptes à déterminer la moyenne des coordonnées horizontales des vecteurs de déplacement d'au moins une image précédant l'image cible N (les vecteurs de déplacement des images précédentes sont notées n-1, n-2, n-3, n-4, etc.). Les moyens de correction 3 comprennent également des moyens 5 de détermination de variance, aptes à déterminer la variance de ladite moyenne. Les moyens de correction 3 comprennent aussi des moyens 6 de détection aptes à détecter le premier vecteur de l'image cible N comme un vecteur suspect dans le cas où une différence est détectée entre la coordonnée horizontale dudit premier vecteur et ladite moyenne, et des moyens 7 de comparaison aptes à comparer la coordonnée horizontale d'un second vecteur de déplacement n+l d'une image N+l suivant ladite image cible N à ladite moyenne. Enfin, les moyens de correction 3 comprennent des moyens 8 de correction aptes à corriger le vecteur suspect dans le cas où la coordonnée horizontale du second vecteur de déplacement est similaire à ladite moyenne. Les moyens d'estimation 2 délivrent en sortie les vecteurs de déplacement des images précédant l'image cible, c'est-à-dire des vecteurs n-1, n-2, n-3 et n-4, par exemple, aux moyens 4 de détermination de moyenne, ainsi qu'aux moyens 5 de détermination de la variance. Les moyens 4 de détermination de la moyenne calculent la moyenne des coordonnées horizontales des vecteurs de déplacement pour les différentes images précédant l'image cible n fournie.

Les moyens 5 de détermination de la variance calculent également la variance de ladite moyenne à partir des mêmes données. La moyenne calculée par les moyens 4 de détermination de la moyenne est délivrée à des moyens 10 de calcul compris dans les moyens 6 de détection. Ces moyens 10 de calcul reçoivent également en entrée les coordonnées du premier vecteur n de l'image cible N délivrées par les moyens d'estimation du déplacement 2. Les moyens 10 de calcul calculent une soustraction entre la coordonnée horizontale du premier vecteur de déplacement n de l'image cible N, et ladite moyenne calculée par les moyens 4 de détermination de la moyenne.

Le résultat de cette soustraction est délivré par les moyens 10 de calcul à un premier module 11 de comparaison également compris dans les moyens de détection 6. Le premier module 11 de comparaison reçoit également en entrée la variance calculée par les moyens 5 de détermination de la variance.

Le premier module 11 de comparaison compare le résultat de ladite soustraction déterminée par les moyens 10 de calcul à ladite variance. Si le résultat de la soustraction est inférieur à ladite variance, le premier vecteur n de l'image cible N est semblable aux vecteurs précédents, et n'a pas besoin d'être corrigé. Dans ce cas, un signal est délivré en sortie du premier module 11 de comparaison aux moyens 7 de comparaison qui délivrent en sortie un signal indiquant que les moyens de correction 8 ne doivent pas effectuer de correction du premier vecteur de déplacement n de l'image cible N. Les moyens de correction 8, recevant en entrée également le premier vecteur de déplacement n de l'image cible N, délivrent dans ce cas en sortie, le premier vecteur de déplacement n non corrigé. En revanche, si le résultat de la soustraction calculée par les moyens 10 de calcul est supérieur à ladite variance, le premier module 11 de comparaison délivre en sortie un signal indiquant que le premier vecteur de déplacement n de l'image cible N est suspect. Ce signal est délivré aux moyens 7 de comparaison qui reçoivent également en entrée la moyenne calculée par les moyens de détermination 4 de la moyenne, ainsi que les coordonnées d'un vecteur de déplacement n+l de l'image N+l suivant l'image cible N déterminé par les moyens d'estimation 2. Les moyens 7 de comparaison comprennent un second module 12 de comparaison apte à comparer la différence entre la coordonnée du second vecteur de déplacement n+l et ladite moyenne, à ladite variance. Si la différence entre la coordonnée horizontale du second vecteur n+l et la moyenne est inférieure à la variance, les moyens de détermination 7 délivrent en sortie un signal confirmant que le premier vecteur de déplacement n de l'image cible N est erroné. Les moyens de correction 8 reçoivent ce signal en entrée, signifiant ainsi que le premier vecteur de déplacement n de l'image cible N doit être corrigé. Les moyens de correction 8 comprennent des moyens de remplacement 9 aptes à remplacer le premier vecteur de déplacement n de l'image cible N par le vecteur de déplacement n-1 de l'image précédant l'image cible, soit l'image N-1. Pour cela, les moyens de correction 8 reçoivent également en entrée les coordonnées du vecteur précédent n-1 déterminées par les moyens d'estimation 2. Les moyens de correction 8 délivrent en sortie à ce moment les nouvelles coordonnées du premier vecteur n corrigées correspondant aux coordonnées du vecteur de déplacement n-1 de l'image N-1 précédant l'image cible N. En revanche, si la différence entre la coordonnée horizontale du second vecteur de déplacement n+l et ladite moyenne est supérieure à ladite variance, un signal est délivré en sortie des moyens de comparaison 7 aux moyens de correction 8, indiquant que le premier vecteur de déplacement de l'image cible n ne doit pas être corrigé. Les moyens de correction 8 délivrent alors en sortie les coordonnées du premier vecteur de déplacement de l'image cible n, non corrigées. I1 est donc proposé, selon la présente description, de corriger un vecteur de déplacement susceptible d'être erroné lors de l'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique, en remplaçant le vecteur de déplacement de l'image cible par le vecteur de déplacement de l'image précédant l'image cible si le vecteur de déplacement de l'image suivant l'image cible possède un vecteur de déplacement comparable à la moyenne des vecteurs de déplacement d'au moins une image précédant l'image cible contrairement au vecteur de déplacement de l'image cible qui est différent. De cette manière il est possible de pallier les erreurs d'estimation des vecteurs de déplacement dues, par exemple, à des changements brusques de luminosité.

Claims

REVENDICATIONS1. Procédé d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique, caractérisé en ce qu'il comprend une correction d'un premier vecteur de déplacement d'une image cible de la séquence vidéo, le dit premier vecteur étant déterminé par une estimation du déplacement de l'image cible par rapport à au moins une image précédente de la séquence vidéo.
2. Procédé selon la revendication 1, caractérisé en ce que la correction comprend : - une détermination (201) de la moyenne des coordonnées horizontales des vecteurs de déplacement d'au moins une image précédant l'image cible ; - une détection (204) du premier vecteur comme vecteur suspect dans le cas où une différence est détectée entre la coordonnée horizontale du premier vecteur et ladite moyenne ; - une comparaison (207) de la coordonnée horizontale d'un second vecteur de déplacement d'une image suivant ladite image cible à ladite moyenne ; - une correction (209) du vecteur suspect dans le cas où la coordonnée horizontale du second vecteur de déplacement est similaire à ladite moyenne. 6. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que la correction comprend une détermination (202) de la variance de la moyenne. 7. Procédé selon la revendication 3, caractérisé en ce qu'une différence est détectée entre la coordonnée horizontale du premier vecteur de déplacement et ladite moyenne si la soustraction entre la coordonnée horizontale du premier vecteur de déplacement et ladite moyenne est supérieure à ladite variance. 8. Procédé selon l'une des revendications 3 ou 4, caractérisé en que la coordonnée du second vecteur de déplacement est similaire à ladite moyenne si leur différence est inférieure à ladite variance.6. Procédé selon l'une des revendications 1 à 5, caractérisé en ce que la correction (206) du vecteur suspect comprend un remplacement du premier vecteur par le vecteur de déplacement de l'image précédant l'image cible. 7. Appareil muni de moyens de prise de vues numériques, comprenant des moyens d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique, caractérisé en ce que les moyens d'alignement comprennent des moyens de correction d'un premier vecteur de déplacement d'une image cible d'une séquence vidéo, ledit premier vecteur étant déterminé par des moyens d'estimation du déplacement entre deux images de la séquence vidéo aptes à estimer le vecteur de déplacement d'une image par rapport à au moins une image précédente. 8. Appareil selon la revendication 7, caractérisé en ce que les moyens de correction comprennent : - des moyens de détermination d'une moyenne aptes à déterminer la moyenne des coordonnées horizontales des vecteurs de déplacement d'au moins une image précédant l'image cible ; - des moyens de détection aptes à détecter le premier vecteur comme vecteur suspect dans le cas où une différence est détectée entre la coordonnée horizontale du premier vecteur et ladite moyenne ; - des moyens de comparaison aptes à comparer la coordonnée horizontale d'un second vecteur de déplacement d'une image suivant ladite image cible à ladite moyenne ; et - un module de correction apte à corriger le vecteur suspect dans le cas où la coordonnée horizontale du second vecteur de déplacement est similaire à ladite moyenne. 9. Appareil selon l'une des revendications 7 ou 8, caractérisé en ce que les moyens de correction comprennent des moyens de détermination de variance aptes à déterminer la variance de la dite moyenne. 10. Appareil selon la revendication 9, caractérisé en ce que les moyens de détection comprennent des moyens de calcul aptes à calculer une soustraction entre la coordonnée horizontale du premiervecteur de déplacement et ladite moyenne, et un premier module de comparaison apte à comparer ladite soustraction à ladite variance. 11. Appareil selon l'une des revendications 9 ou 10, caractérisé en ce que les moyens de comparaison comprennent un second module de comparaison apte à comparer la différence entre la coordonnée horizontale du second vecteur de déplacement et ladite moyenne à ladite variance. 12. Appareil selon l'une des revendications 7 à 11, caractérisé en ce que les moyens de correction comprennent des moyens de remplacement aptes à remplacer le premier vecteur par le vecteur de déplacement de l'image précédant l'image cible.