FR2727543A1 - Procede de generation d'images intermediaires par interpolation - Google Patents

Procede de generation d'images intermediaires par interpolation Download PDF

Info

Publication number
FR2727543A1
FR2727543A1 FR9414162A FR9414162A FR2727543A1 FR 2727543 A1 FR2727543 A1 FR 2727543A1 FR 9414162 A FR9414162 A FR 9414162A FR 9414162 A FR9414162 A FR 9414162A FR 2727543 A1 FR2727543 A1 FR 2727543A1
Authority
FR
France
Prior art keywords
image
images
point
pixels
mosaic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR9414162A
Other languages
English (en)
Other versions
FR2727543B1 (fr
Inventor
Serge Beucher
Fernand Meyer
Jean Serra
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Association pour la Recherche et le Developpement des Methodes et Processus Industriels
Original Assignee
Association pour la Recherche et le Developpement des Methodes et Processus Industriels
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Association pour la Recherche et le Developpement des Methodes et Processus Industriels filed Critical Association pour la Recherche et le Developpement des Methodes et Processus Industriels
Priority to FR9414162A priority Critical patent/FR2727543B1/fr
Priority to PCT/FR1995/001553 priority patent/WO1996017327A1/fr
Publication of FR2727543A1 publication Critical patent/FR2727543A1/fr
Application granted granted Critical
Publication of FR2727543B1 publication Critical patent/FR2727543B1/fr
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Le procédé permet de générer N-1 images mosaïques intermédiaires entre deux images successives d'une même scène. Pour cela, on mémorise l'image initiale et l'image finale sous forme de pixels adressables affectés chacun à une des M classes; on compare deux à deux les pixels correspondants des deux images et on identifie ceux des pixels correspondants des deux images qui appartiennent à la même classe, constituant une partie commune, de façon à constituer au plus M ensembles X, Y,..., chacun constitué de pixels d'une même classe; et on affecte, dans chaque image intermédiaire générée, les pixels de la partie variable chacun à une des M classes, suivant la valeur d'une des distances entre le pixel respectif et des région prédéterminées de l'image, constituées par la partie commune ou des parties appartenant à une classe prédéterminée dans une ou des images pré-existantes.

Description

PROCèDE DB OENERATION D'IKACES INTERKEDIAIRLS PAR INTBRPOLATION
La présente invention a pour objet un procédé de génération d'images intermédiaires par interpolation entre deux images disponibles successives d'une même scène. Le terme image doit être considéré dans un sens large et comme désignant notamment des représentations d'une scène réelle ou virtuelle, mais aussi toute représentation à au moins deux dimensions sous forme de points élémentaires et pouvant être affectés chacun d'une adresse et d'un paramètre d'affectation à une classe parmi M classes.L'invention est applicable dans de nombreux domaines, et en particulier dans celui de la compression d'images animées, de codage d'images et de restitution d'images manquant dans une séquence.
En matière de compression d'images, on a déjà proposé de constituer des images mosalques" constituées par partition du plan en des cellules dont chacune est constituée de pixels homogènes, appartenant à une classe parmi plusieurs classes affectées chacune d'un ou plusieurs paramètres d'identification. La compression s'effectue alors en ne retenant pour transmission qu'une image sur plusieurs. Lors de la réception, il faut reconstituer une séquence ayant le même nombre d'images qu'à l'origine. L'invention vise dans ce cas particulier - qui n'est nullement exclusif - à reconstituer les images intermédiaires omises en tenant compte des modifications intervenues entre les deux images successives transmises. Une autre application est la restauration de films de cinéma, dont certains plans sont détériorés.Une autre application encore est la réalisation de dessins animés, en ne dessinant que certains des plans et en interpolant entre ces plans pour obtenir des images intermédiaires. Ces applications ne sont nullement limitatives.
De façon générale, l'invention vise à fournir un procédé de génération de N-l images mosaiques intermédiaires (Ui) < 1,N-t entre deux images successives UO et UN d'une même scène, fractionnées en cellules appartenant chacune à une classe homogène parmi M classes, N étant une puissance de 2, en assurant une progressivité élevée de transformation pour passer de l'image UO à l'image UN et cela en ne mettant en oeuvre que des opérations relativement simples.
Dans ce but, l'invention propose notamment un procédé suivant lequel (a) on mémorise l'image initiale et l'image finale sous forme de pixels adressables affectés chacun à une des M classes, (b) on compare deux à deux les pixels correspondants des deux images et on identifie ceux des pixels correspondants des deux images qui appartiennent à la même classe, constituant une partie commune, de façon à constituer au plus M ensembles X, Y chacun constitué de pixels d'une même classe ; et (c) on affecte, dans chaque image intermédiaire générée, les pixels de la partie variable chacun à une des M classes, suivant la valeur d'une fonction de la distance entre le pixel respectif et des régions prédéterminées de l'image, constituées par la partie commune ou des parties appartenant à une classe prédéterminée dans une ou des images préexistantes.
Une solution particulière consiste à effectuer, au cours des étapes (c), des dichotomies successives. La première étape (c) permet de déterminer, pour chaque pixel des parties variables, celui des M ensembles auquel il a la distance géodésique la plus courte et d'affecter le pixel à cet ensemble. Les étapes suivantes utilisent l'image ainsi créée pour recommencer l'opération.
Du fait que cela conduit à un doublement du nombre de points interpolés à chaque étape, le procédé impose, sauf à admettre une partition irrégulière dans le temps, une valeur de N égale à une puissance de 2.
Dans la plupart des cas, il y a non seulement évolution de la scène, mais déplacement global de la portion de la scène représentée, notamment dans le cas d'une scène réelle observée par une caméra effectuant un mouvement panoramique.
Dans ce cas, il est avantageux d'évaluer le vecteur mouve- ment de la scène dans l'image, par un processus qui peut être l'un de ceux bien connus dans le domaine de la télévision haute définition à diffusion avec compression temporelle, et d'effectuer la comparaison de l'étape (b) après avoir imposé des déplacements de sens inverse tenant compte de ce vecteur mouvement et permettant d'augmenter les parties communes.
D'autres caractéristiques de l'invention apparaîtront à la lecture de la description qui suit de modes particuliers de réalisation, donnés à titre d'exemples non limitatifs. La description se réfère aux figures qui l'accompagnent, dans lesquelles
- les figures 1 et 2 sont des schémas montrant respectivement une image mosaique initiale A et une image mosaique finale B, entre lesquelles doivent être interpolées des images intermédiaires
- les figures 3 et 4 montrent, en noir, les parties communes à l'image initiale et à l'image finale, qui sont également communes à toutes les images de la séquence et, hachurées, les parties variables avec l'étiquette qu'elles ont dans l'image A (figure 3) ou dans limage B (figure 4)
- la figure 4 montre les parties communes affectées de l'étiquette qu'elles ont dans toutes les images
- la figure 6 est un schéma destiné à montrer des premières distances géodésiques, désignées par dBin, de deux points x et y appartenant à la partie variable, égales, pour x au plus court chemin constitué de points ayant tous la même étiquette que x dans l'image B et reliant x à un point quelconque des parties communes de même étiquette que x
- la figure 7, similaire à la figure 6, montre des secondes distances dAin de deux points x et y dans l'ensemble A
- la figure 8, similaire aux figures 6 et 7, montre des troisièmes distances géodésiques dAcut des points x et y, c'est-à-dire pour x la longueur du plus court chemin reliant x à un point d'étiquette différente dans A et constitué uniquement de points ayant la même étiquette que x dans l'image A
- la figure 9 montre des lignes de niveau correspondant aux frontières d'une facette dans trois interpolés
- les figures 10, 11 et 12 montrent trois interpolés complets entre A et B, correspondant à des distances respectives de 2/10, 4/10 et 6/10 de l'image A, les facettes correspondantes étant indiquées par des hachures de même sens
- les figures 13 et 14 sont des schémas montrant les profils de deux fonctions à niveaux de gris entre lesquelles doivent être interpolées des fonctions intermédiaires, le sous-graphe et le sur-graphe étant représentés avec des hachures différentes, correspondant à des étiquettes différentes ; et
la figure 15 montre, en noir, la partie variable des sous-graphes et sur-graphes des figures 13 et 14, ainsi que le SKIZ des parties communes, qui constitue le graphe de la fonction interpolée médiane entre les fonctions à niveaux de gris.
On décrira tout d'abord l'invention dans son application à des images dites "mosaiques", dans lesquelles chaque point d'image ou pixel est affecté dune étiquette indiquant la classe, parmi M classes, à laquelle appartient le point, au lieu d'un paramètre représentant directement une grandeur physique.
Il existe déjà de nombreuses méthodes de segmentation pemettant de produire, à partir d'une image, une telle image mosaique. Chaque classe de la mosaique représente une partie de l'image présentant certains caractères d'homogénéité, en ce qui concerne par exemple le niveau de gris, la couleur ou la texture. Certaines techniques de compression d'images utilisent cette représentation pour coder les images : les contours de la mosaique sont codés et transmis séparément, puis un modèle de texture est transmis pour chaque classe de la mosaique. De cette manière le décodeur peut générer d'abord l'image mosaique puis 'habiller chacune des facettes ou cellules.
Un cas particulièrement simple des images mosalque est l'image binaire, qui ne comporte que deux ensembles, dont l'un peut être regardé comme le fond et l'autre comme la forme.
La mise en oeuvre de l'invention nécessite le calcul de distances géodésiques dont on rappellera la définition.
Dans un ensemble X de points xl et x2, la distance géodésique entre xl et x2 dans X est la longueur du plus court chemin entre xl et x2 qui soit contenu dans X. Si xl et x2 appartiennent à des composantes connexes distinctes de X, il n'existe aucun chemin inclus dans X reliant xl et x2, on convient que la distance géodésique entre xl et x2 vaut +..
Si X couvre tout l'espace, la distance géodésique se réduit à la distance simple ou euclidienne.
Dans un ensemble X incluant un point x et un ensemble Y, la distance géodésique dans X entre x et Y est égal à la plus courte distance géodésique dans X entre x et un point appartenant à Y. Elle se confond avec la distance euclidienne si une droite constitue le plus court chemin répondant à cette condition.
Un mode simple de mise en oeuvre de l'invention, lorsqu'on accepte certaines contraintes, fait intervenir la génération d'une image mosaique dérivée qu'on désignera par le terme de squelette par zone d'influence ou SKIZ. Si on considère une famille d'ensembles
W = (Xi) ifs.' chaque ensemble ayant une étiquette différente et pouvant être constitué par des facettes ou cellules regroupant les points affectés à la même classe, le SKIZ de la famille d'ensembles W est une nouvelle image mosaique formée par une autre famille d'ensembles (Zi) ia,
Chaque ensemble Zi est l'ensemble des points du plan qui sont plus proches de l'ensemble Xi que de tout autre ensemble Xk, où k est différent de i. L'ensemble Zi contient l'ensemble Xi et porte la même étiquette.On écrira
Z1 = IZW(Xi)
De façon générale, 1 ' interpolation entre deux images U0=A et UN=B revient à chercher une famille d'interpolés (Ui ) ifl,N-l
L'interpolation se fait en deux phases (a) on recherche les parties supposées communes à tous les interpolés en partant de l'hypothèse que ce sont les parties communes à A et B. Tout point qui n'appartient pas à une partie commune sera affecté à une classe au cours de la phase (b) (b) on affecte chaque point des parties variables en fonction de la valeur des fonctions distance géodésique entre ce point et des régions prédéfinies de limage, telles que parties communes ou parties possédant une étiquette prédéterminée ; c'est à ce stade qu'intervient le SKIZ, dans un mode simplifié de réalisation.
CAS GENERAL DE DEUX IMAGES MOSAIOUES (Y COMPRIS BINAIRES)
Au cours de l'étape (a) on compare les images A et B.
Par exemple les figures 1 et 2 montrent des images A et B dans lesquelles les pixels sont répartis entre quatre classes. Dans l'interpolation, on traite les facettes pour lesquelles il y a une correspondance bi-univoque entre les facettes ou cellules Al de l'image A et BL de l'image B (1 désignant une même étiquette dans les deux images). Les facettes qui apparaissent ou disparaissent sont traitées par des processus classiques.
Sur les figures 1 et 2, des lignes en tirets indiquent la segmentation de celle des images qui n'est pas représentée ; elles font apparaître les parties communes, ayant la même étiquette dans les deux images mosaiques. Elles conserveront la même étiquette dans toutes les images interpolées. On notera par
- Aoe, l'image mosaique constituée par
- les parties communes, représentées en noir sur les
figures 3 et 3 et sur la figure 5 par le même rem
plissage que sur les figures 1 et 2 ; elles seront
désignées par (ans) pour les points d'étiquette # ;
- les parties variables, représentées sur les
figures 3 et 4 de la même façon que sur les figures
1 et 2.
Les parties communes sont conservées dans toutes les images intermédiaires 1,..., N-i.
METHODE SIMPLIFIEE = Utilisation du SKIZ
La construction de l'interpolé médian i = N/2 à l'aide du SKIZ est simple et rapide. On effectue le SKIZ de la famille des parties fixes munies chacune de son étiquette.
Cette mosaique milieu M(A,B) constitue l'interpolé médian.
L'algorithme pour la construction du SKIZ d'une famille d'ensembles peut être celui décrit par Luc Vincent dans "Algorithmes morphologiques à base de files d'attente et de lacets. Extension aux graphes", Thèse de 1'Ecole des Mines de Paris, 14 mai 1990.
La construction des interpolés intermédiaires peut s'effectuer directement à partir des images A et B ou en séquence en utilisant chaque fois un interpolé intermédiaire déjà disponible,
Dans le second cas, la séquence de N-1 images résultant des N étapes de déformation pour passer de U0 = A à UN = B implique des itérations successives, d'abord
UN/2 = Moyenne (U0,UN)
puis
Figure img00080001
<tb> # <SEP> UN/4 <SEP> <SEP> = <SEP> Moyenne <SEP> (U0,UN/2) <SEP>
<tb> # <SEP> U3N/4 <SEP> = <SEP> Moyenne <SEP> (UN/2,UN) <SEP>
<tb> et pour chaque itération d'ordre i :
UN/2i = Moyenne (U0,UN/2i-1)
Si N est une puissance de 2, on obtient une séquence régulière d'images interpolées.
A titre d'exemple, les figures 4 et 5 montrent les deux premiers de sept interpolés entre les images des figures l et 2, les limites des facettes de la figure 1 étant montrées en tirets.
UTILISATION DE PARAMETRES DISTANCES GEODESIQUES PLUS
COMPLETS :
La phase (b) peut également être effectuée en utilisant les distances géodésiques et des images "différence" entre les mosaïques U0=A et UN=B, par un procédé n'introduisant aucune contrainte sur le nombre des interpolés et s'appuyant sur des distances géodésiques supplémentaires.
L'ensemble "différence" entre A et B est l'ensemble des points d'étiquette différente dans A et B (en noir sur la figure 5). Cette différence sera désignée par (A/B) et on notera (A/B)1 les points ayant l'étiquette # dans la mosaique A sans l'avoir dans la mosaique B. Chaque point des parties variables possède donc une étiquette différente dans les mosaiques A et B.
On définit de plus, en chaque point x, deux distances géodésiques pour chaque mosaique A et B.
Une première distance géodésique pour chaque point.
appartenant à un ensemble d'étiquette A, est la distance au point le plus proche qui n'a pas la même étiquette dans la même mosaique. Etant donné qu'il s'agit d'une distance, dans la même mosaique A ou B, à une partie qui ne possède pas la même étiquette, on appellera cette distance
dAout pour un point dans la mosaïque A,
dBout pour un point dans la mosaïque B.
On peut considérer que dAout par exemple est la distance géodésique du point d'étiquette à Al dans (AnB)+
La figure 8 montre la distance dA,,,t pour deux points x et y appartenant à deux ensembles différents dans la mosalque A.
Une seconde distance géodésique, pour chaque point appartenant à un ensemble d'étiquette l, est définie pour chaque point n'appartenant pas aux parties communes AnB.
Elle sera désignée par :
dAin dans la mosaïque A
dBin dans la mosaïque B
La distance dAin pour un point qui a l'étiquette # dans
A est la distance géodésique au point le plus proche ayant la même étiquette À dans B, c'est-à-dire la distance géodésique de ce point à (AflB)L. Elle serait nulle pour les parties communes. La figure 8 montre, à titre d'exemple, les distances dAin pour deux points x et y.
De même, la distance dBin pour un point qui a l'étiquette
A dans B est la distance géodésique à (AnB)
Les figures 6 et 7 montrent les distances dain et dAin pour les mêmes points x et y que ci-dessus.
On obtient ainsi, pour chacune des mosaiques A et B, deux fonctions distances : dAin et dAout pour A, dBin et dBout pour B, calculées pour chaque point.
On utilise alors un ou plusieurs de critères d'affectation fondés chacun sur une comparaison entre deux des valeurs d ci-dessus. Les couples de valeurs d1 et d2 que l'on compare peuvent être parmi les suivants, pour un même point
Figure img00100001
<tb> d1 <SEP> d2
<tb> <SEP> d <SEP> in <SEP> dBin <SEP>
<tb> <SEP> dBout <SEP> dAout <SEP>
<tb> <SEP> dAin <SEP> dAout <SEP>
<tb> <SEP> dBin <SEP> dBout <SEP>
<tb>
Le premier terme de chaque couple constitue une indication sur la distance à la mosaique A, le second sur la distance à la mosaique B.
Ar > olication d'un seul critère
Si une des distances ci-dessus est particulièrement représentative à elle seule, on peut utiliser une règle simple.
Dans l'interpolé médian on affecte, à un point x
- l'étiquette qu'il a dans A si d2(x) > d1(x)
- l'étiquette qu'il a dans B si d2(x) # d1(x)
Plus généralement, dans un interpolé autre que l'interpolé médian, on est amené à effectuer une pondération. Elle peut se faire en comparant la valeur prise par la fonction
f(d1,d2) = d2 / (d1 + d2) à un seuil z compris entre 0 et 1, dont la valeur croît avec le rapport entre le rapport des distances temporelles de l'interpolé aux mosaïques initiale et finale. Si la valeur de f(dl,d2) est inférieure à l, on affecte à x l'étiquette qu'il a dans la mosaique A et inversement.
La figure 9 montre, à titre d'exemple, des lignes de niveau (correspondant à une comparaison avec trois seuils différents) pour trois interpolés de l'une seulement des facettes de limage ; ces lignes de niveau délimiteront la facette dans les interpolés. Les figures 10 à 12 montrent trois images interpolées successives.
Appllcatlon d'une ponderatlon de plusieurs critères
Chacun des couples (dl,d2) ci-dessus permet de construire une séquence d'interpolés différente et toute some pondérée des résultats permet de construire des interpolés encore différents.
Dans de nombreux cas, de bons résultats en matière de progressivité sont obtenus en faisant simplement la moyenne de deux fonctionnelles, par exemple 1/2 [dAindAou) , (d1n,dBout) c'est-à-dire d'une comparaison , sur une somme pondérée faisant intervenir deux fois din et doux.
EXTENSION AUX FONCTIONS NUMERTOUES
Jusqu'ici il n'a été fait référence qu'à des images mosaiques dont les facettes ont implicitement la même étiquette : elles peuvent être regardées comme à deux dimensions. Des images à plus de deux dimensions spatiales peuvent cependant être traitées de la même façon.
Le procédé suivant l'invention est également utilisable dans le cas d'une image à deux - ou plus généralement n dimensions - ayant également des niveaux de gris, où chaque pixel, de coordonnées x, y dans le cas de deux dimensions, est affecté d'une fonction à niveaux de gris g (x,y). Une telle fonction peut être considérée, dans une image à deux dimensions géométriques, comme une image mosaique particulière dans un espace à trois dimensions x,y,z, où z est le niveau de gris.
Dans ce cas, on affectera à tout point de l'espace tridimensionnel (x,y,z) une étiquette égale à 1 si g (x,y) # z et 0 dans le cas contraire.
A titre d'exemple les figures 13 et 14 montrent deux fonctions, représentant deux images mosaiques, entre lesquelles on veut interpoler. Dans un but de simplification, seule une variation en x, représentant la variation spatiale, est figurée. Les points où g(x)2 z constituent le sur-graphe (au-dessus de la courbe en traits pleins, qui correspond à l'image A) et les points où g(x) s z constituent le sous-graphe, montré différemment sur les figures.
Les interpolés dans les parties variables peuvent être déterminés de la même façon que dans le cas simplement bidimensionnel.
Une solution simple lorsque l'on souhaite déterminer des interpolés dont le nombre est une puissance de deux, plus un, consiste à adopter la méthode du SKIZ déjà décrite. Le
SKIZ conduit d'abord à l'interpolé médian, indiqué sur la figure 15 ; les interpolés intermédiaires peuvent être ensuite déterminés successivement à partir de ceux déjà disponibles.
Dans le cas où on accepte de n'utiliser que le SKIZ appliqué à des distances euclidiennes, la recherche d'un interpolé médian entre deux fonctions gl et g2 de variables x et y peut s'effectuer de la même façon suivante.
On recherche tout d'abord les frontières haute zo = inf (gl,g2) de la partie basse commune et wO = sup (gl,g2) de la partie haute commune. Elles délimitent la zone montrée en noirsur la figure 15. Puis on applique un algorithme de dilatation des parties communes qui réduit progressivement l'intervalle entre les frontières jusqu'à ce qu'elle coincident.
L'algorithme de dilatation utilise un élément structurant dont la forme dépendra de la trame de répartition des pixels. Si cette trame est hexagonale, on utilise avanta geusement une prisme hexagonal de hauteur unité ou une pyramide à base hexagonale centrée sur le point à partir duquel s'effectue la dilatation. Classiquement, on applique les fonctions de morphologie:
DILATER (zO) pour faire monter la frontière z0
ERODER (w0) pour faire descendre w0
Il faut limiter la croissance de la fonction dilatée et la décroissance de la fonction érodée. Pour cela on peut utiliser deux contraintes.
L'une est que la fonction basse dilatée ne doit pas dépasser la valeur de la fonction haute pour les mêmes valeurs x,y. Elle est donc finalement z'o :
z'o = inf [dilate (zo), wo]
L'autre est que la fonction haute érodée ne doit pas être inférieure à la fonction basse initiale au même point
wo = sup [(erode (wu), zO]
La même contrainte est répétée, à chaque étape.Par exemple, à l'itération d'ordre i
z'i = inf [dilate (Z9i-1), sup [erode(w'i-t), Z'i-1]]
w'i = sup [erode(w'i-1), inf [dilate(z'i-1), w'i-1]]
COMPENSATION DE MOUVEMENT
En règle générale, les images initiale A et finale B représentent la même scène à deux instants successifs.
On connaît par ailleurs des procédés d'estimation de mouvement d'images suivantes, utilisés notamment pour déterminer le vecteur mouvement moyen lors du codage d'une image de télévision numérique, permettant de réduire le débit d'informations à transmettre. Dans le cas de la présente invention, il est possible, une fois une image de départ ou d'arrivée segmentée, d'estimer le vecteur mouvement de chaque facette.
Pour interpoler l'image mosaique qui se trouve à une distance temporelle z de l'image mosaique initiale A et 1 - z de l'image temporelle B, on applique à chaque facette pour laquelle le vecteur mouvement est T de A à B, une translation &alpha;T dans l'image A et une translation (&alpha;-1) (T) a la facette dans la mosaique B.
Plus fréquemment, on déterminera un seul vecteur mouvement T pour toutes les facettes constituant un même ensemble d'étiquettes A.
Au cours de l'une et l'autre des translations, un pixel x peut avoir plusieurs antécédents d'étiquettes différentes.
Dans ce cas on choisit l'étiquette permettant la plus grande intersection avec la translation depuis l'autre image mosaique terminale.
On obtient ainsi deux images mosaiques, l'une à partir de A et l'autre à partir de B. Chacune de ces réalisations peut avoir des trous, dus à la présence de points qui n'ont pas été couverts à la suite des translations. Ces trous peuvent être remplis en appliquant la fonction SKIZ. Les formes des facettes sont alors légèrement modifiées. De plus, il peut y avoir une modification due à ce que le mouvement réel pour passer de A à B n'est pas une simple translation.
On applique ensuite, aux réalisations lA (Q-1) B une interpolation du genre décrit ci-dessus, mais appliquée à A et B.
HABILLAGE DES FACETTES PAR DES TEXTURES
Les facettes peuvent présenter des textures particulières, identifiables par une information pour chaque ensemble dans les images initiale A et finale B.
Il faut également calculer dans ce cas l'interpolation des textures pour les images interpolés.
Dans le cas d'une interpolation avec translation, une stratégie d'habillage d'une facette d'un interpolé par une texture (par exemple lignes parallèles, quadrillage, etc...) est la suivante. On déplace la texture d'une facette de l'ouvrage A sur la mosaique par la translation (T pour constituer la mosalque à distance Q de A. La translation est validée si le pixel de destination possède, dans l'image mosaique à distance l, la même étiquette que dans l'image de départ.
Des zones périphériques de certaines facettes de la mosaique peuvent alors ne pas se voir affecter une texture par cette opération. On leur attribue alors les niveaux de gris des points les plus proches de même étiquette.
On obtient ainsi une première réalisation d'une image codée à distance g de A et (1- a) de B.
Une seconde image interpolée peut être obtenue à partir de limage B, cette fois par translation égale à (t-1) T.
L'image codée finale peut alors être obtenue en prenant le barycentre entre les deux réalisations ainsi obtenues.

Claims (10)

REVENDICATIONS
1. Procédé de génération de N-l images mosaiques intermédiaires (Ui)i N-l entre deux images successives Uo = A et UN = B d'une même scène, fractionnées en cellules appartenant chacune à une classe homogène parmi M classes, suivant lequel (a) on mémorise l'image initiale et l'image finale sous forme de pixels adressables affectés chacun à une des M classes, (b) on compare deux à deux les pixels correspondants des deux images et on identifie ceux des pixels correspondants des deux images qui appartiennent à la même classe, constituant une partie commune, de façon à constituer au plus M ensembles X, Y chacun constitué de pixels d'une même classe ; et (c) on affecte, dans chaque image intermédiaire générée, les pixels de la partie variable chacun à une des M classes, suivant la valeur d'une des distances entre le pixel respectif et des région prédéterminées de l'image, constituées par la partie commune ou des parties appartenant à une classe prédéterminée dans une ou des images pré-existantes.
2. Procédé selon la revendication 1, caractérisé en ce que, au cours des étapes (c), on effectue des dichotomies successives, la première étape (c) permettant de déterminer, pour chaque pixel des parties variables, celui des M ensembles ou classes auquel il a la distance géodésique la plus courte et d'affecter le pixel à cet ensemble et les étapes suivantes utilisent l'image ainsi créée pour recommercer l'opération.
3. Procédé selon la revendication 1, caractérisé en ce qu'on affecte successivement les pixels de la partie vo dans limage médiane U(N/2), dans les images intermédiaires UtNX4} et
U(3N/4) et ainsi de suite jusqu'à U2, ..., UN-1, par affectation de chaque pixel de la partie variable des deux images adjacentes déjà disponibles à celui des M ensembles constituant la partie commune de ces deux images avec lequel il a la distance géodésique la plus courte.
4. Procédé selon la revendication 1, caractérisé en ce que, au cours de la phase (c)
(C1) on détermine, pour chaque point, dans l'image initiale A et dans l'image finale B, la distance géodésique respective dAout ou dBout de ce point au point le plus proche appartenant à une classe différente, et/ou
(C2) on détermine, pour chaque point, dans l'image initiale A et dans l'image finale B, la distance géodésique dAin ou dBin au point le plus proche ayant la même étiquette dans l'autre image, puis
(C3) pour affecter chaque point à un ensemble dans une image interpolée on compare les deux termes, pour ce point, d'au moins un des deux couples suivants
dAin et dBjn
dont et d out
dAin et raout
dBin et dBout
5. Procédé selon la revendication 4, caractérisé en ce que, pour les interpolés autres que l'interpolé médian, on effectue une pondération des deux termes avant comparaison.
6. Procédé selon la revendication 4 ou 5, caractérisé en ce que, au cours de l'étape (Cl), on effectue une pondération entre plusieurs comparaisons.
7. Procédé selon la revendication 6, caractérisé en ce que la pondération consiste à faire les moyennes des comparaisons entre
d in et dout
d in et dout
8. Procédé selon l'une quelconque des revendications 1 à 7, suivant lequel on estime le vecteur mouvement T de la scène de l'image Uû à l'image UN et, avant détermination d'une image intermédiaire située à une fraction z de l'intervalle de temps entre U0 et UN, on applique une translation gT à l'image-mosaique U0 et (l-()T à l'image U,.
9. Procédé selon l'une quelconque des revendications 1 à 8, caractérisé en ce que l'étiquette est prévue pour différencier des facettes suivant au moins un paramètre radiométrique de limage, tel que luminance, chrominance et texture.
10. Procédé selon les revendications 2 et 9, caractérisé en ce que les opérations de dichotomie successives sont effectuées en utilisant également la différentiation fournie par l'étiquette.
FR9414162A 1994-11-25 1994-11-25 Procede de generation d'images intermediaires par interpolation Expired - Fee Related FR2727543B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR9414162A FR2727543B1 (fr) 1994-11-25 1994-11-25 Procede de generation d'images intermediaires par interpolation
PCT/FR1995/001553 WO1996017327A1 (fr) 1994-11-25 1995-11-23 Animation par interpolation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9414162A FR2727543B1 (fr) 1994-11-25 1994-11-25 Procede de generation d'images intermediaires par interpolation

Publications (2)

Publication Number Publication Date
FR2727543A1 true FR2727543A1 (fr) 1996-05-31
FR2727543B1 FR2727543B1 (fr) 1997-01-31

Family

ID=9469161

Family Applications (1)

Application Number Title Priority Date Filing Date
FR9414162A Expired - Fee Related FR2727543B1 (fr) 1994-11-25 1994-11-25 Procede de generation d'images intermediaires par interpolation

Country Status (2)

Country Link
FR (1) FR2727543B1 (fr)
WO (1) WO1996017327A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999054850A1 (fr) * 1998-04-16 1999-10-28 Robert Bosch Gmbh Procede de representation d'objets mobiles en mode point sur un dispositif d'affichage matriciel

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2245807A (en) * 1990-06-28 1992-01-08 Rank Cintel Ltd Editing of object-based animated computer graphics
FR2695230A1 (fr) * 1992-08-26 1994-03-04 Cuadros Isabelle Procédé de création d'images animées.
GB2277847A (en) * 1993-05-03 1994-11-09 Grass Valley Group Creating concurrent video effects using keyframes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2245807A (en) * 1990-06-28 1992-01-08 Rank Cintel Ltd Editing of object-based animated computer graphics
FR2695230A1 (fr) * 1992-08-26 1994-03-04 Cuadros Isabelle Procédé de création d'images animées.
GB2277847A (en) * 1993-05-03 1994-11-09 Grass Valley Group Creating concurrent video effects using keyframes

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Pixel interpolator with edge sharpening for image modification - uses nearest neighbour polynomial interpolation equation weighting values according to distance between nearby pixels and new pixel", RESEARCH DISCLOSURE, vol. 309, no. 019, 10 January 1990 (1990-01-10), EMSWORTH, GB *
MOSHA J ET AL: "Geodetic interpolation in a system of contour lines", AUTOMATIZACE, JUNE 1991, CZECHOSLOVAKIA, vol. 34, no. 6, ISSN 0005-125X, pages 136 - 140 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999054850A1 (fr) * 1998-04-16 1999-10-28 Robert Bosch Gmbh Procede de representation d'objets mobiles en mode point sur un dispositif d'affichage matriciel
US7830335B1 (en) 1998-04-16 2010-11-09 Robert Bosch Gmbh Method for representing moving objects in bitmap format on a matrixed display device

Also Published As

Publication number Publication date
WO1996017327A1 (fr) 1996-06-06
FR2727543B1 (fr) 1997-01-31

Similar Documents

Publication Publication Date Title
Ren et al. Reinforced swin-convs transformer for simultaneous underwater sensing scene image enhancement and super-resolution
CN113052764B (zh) 一种基于残差连接的视频序列超分重建方法
FR2810770A1 (fr) Raffinement d&#39;un maillage triangulaire representatif d&#39;un objet en trois dimensions
EP0533888A1 (fr) Procede de classification des pixels d&#39;une image et d&#39;interpolation temporelle utilisant ladite classification.
WO2001022366A1 (fr) Procede de construction d&#39;un modele de scene 3d par analyse de sequence d&#39;images
Tasar et al. SemI2I: Semantically consistent image-to-image translation for domain adaptation of remote sensing data
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
US20230071559A1 (en) Neural opacity point cloud
WO2009147224A1 (fr) Procede de codage d &#39; image avec synthese de texture
CN115272437A (zh) 一种基于全局与局部特征的图像深度估计方法及装置
Zou et al. Super-Resolution Reconstruction of Images Based on Microarray Camera.
EP1790169A1 (fr) Procede d&#39;estimation de mouvement a l&#39;aide de maillages deformables
CN112489103B (zh) 一种高分辨率深度图获取方法及系统
WO2021245273A1 (fr) Procédé et dispositif de reconstruction tridimensionnelle d&#39;un visage avec partie dentée à partir d&#39;une seule image
EP0545475B1 (fr) Méthodes et dispositifs de synthèse de signaux de texture
CN113393435A (zh) 一种基于动态上下文感知滤波网络的视频显著性检测方法
EP1387232A1 (fr) Procédé de détermination de la valeur à donner à différents paramètres d&#39;un système
FR2727543A1 (fr) Procede de generation d&#39;images intermediaires par interpolation
FR2628864A1 (fr) Procede de segmentation d&#39;un champ de vecteurs vitesse, notamment de vitesses de deplacement de points d&#39;une image dans une sequence d&#39;images
FR2755564A1 (fr) Procede et dispositif de codage de donnees d&#39;images
WO2021214395A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;une séquence vidéo multi-vues
CN111476868A (zh) 基于深度学习的动画生成模型训练、动画生成方法及装置
Liu et al. Transmission estimation by complex assumption with occlusion handling
Hu A Review of Super-Resolution Reconstruction Based on Supervised Learning
Wang et al. A novel framework for object removal from digital photograph

Legal Events

Date Code Title Description
TP Transmission of property
ST Notification of lapse

Effective date: 20130731