FR2587480A1 - Procede de restitution stereoscopique de scenes-images avec un deplacement relatif entre le capteur de prise de vues et la scene enregistree - Google Patents

Abstract

L'INVENTION CONCERNE UN PROCEDE DE RESTITUTION STEREOSCOPIQUE DE SCENES-IMAGES AVEC UN DEPLACEMENT RELATIF ENTRE LE CAPTEUR DE PRISE DE VUES ET LA SCENE ENREGISTREE. ON UTILISE CE PROCEDE POUR OBTENIR UNE RESTITUTION STEREOSCOPIQUE CONTINUE DE L'ENSEMBLE DU CHAMP D'IMAGE EN UTILISANT PLUS DE DEUX IMAGES ENREGISTREES D'UNE SUITE D'IMAGES ET EN REUNISSANT PLUSIEURS ZONES A, C DE CHEVAUCHEMENT D'IMAGES (TELLES QUE B) AU MOYEN D'UNE ADAPTATION DYNAMIQUE CONTINUE, RAPPORTEE A LA FORMATION DE L'IMAGE ET DEPENDANTE DE L'IMAGE OBSERVEE INSTANTANEMENT, AUX DEUX MOITIES RESPECTIVES DE L'IMAGE STEREOSCOPIQUE. APPLICATION NOTAMMENT A L'OBSERVATION ET LA RESTITUTION STEREOSCOPIQUE D'IMAGES VIDEO DE VUE AERIENNES.

Description

L'invention concerne un procédé de restitution stéréoscopique de scènes-

images, lors desquelles le capteur de prise de vues et la scène enregistrée se déplacent l'un par rapport à l'autre, comme par exemple dans le cas de scènes vidéo de vues aériennes mobiles. Dans le cas de

telles scènes, des images décalées dans le temps correspon-

dent en général à des lieux différents de prise de vues,

à partir desquels, dans le cas de l'existence de zones en che-

vauchement de scènes, on détecte le contenu d'image com-

mun associé à partir d'angles d'observation différents.

Pour ces zones, une restitution stéréoscopique d'images est possible. Dans le cas de scènes continues, comme par exemple des scènes vidéo, on peut obtenir en particulier

une représentation stéréoscopique d'images mobiles, confor-

mément à la situation de prise de vues.

Etant donné que la zone de chevauchement de deux prises de vues s'étend seulement sur une partie du champ

d'image dans le cas d'angle d'orientation constantsdu cap-

teur de prise de vues, le contenu de l'image ne peut pas être reproduit de façon stéréoscopique dans l'ensemble du

champ d'image-. La partie, pouvant être représentée de fa-

çon stéréoscopique, du champ d'image diminue lorsque l'in-

tervalle de temps entre les prises de vues pour les deux demi-images de l'image stéréo augmente, conformément à un

écartement croissant des lieux de prise de vues. Une dis-

tance suffisamment importante entre les lieux de prises de vues (base de la prisede vues stéréo), qui peut être de l'ordre de quelques dizaines à quelques centaines de mètres par exemple dans le cas de scènes de vues aériennes, est

cependant importante pour la résolution en élévation pou-

vant être obtenue. Par ailleurs il est souhaitable pour

l'exploitation de l'image, de pouvoir avoir une vue d'en-

semble stéréoscopique d'un seul tenant d'une partie suffi-

samment importante du champ d'image.

Une méthode connue fournit, pour des couples

d'images de prises de vues aériennes en série, une obser-

vation stéréoscopique continue, par le fait qu'on réunit lesimages, qui sont alors présentes sous la forme de photographies et qui sont adaptées les unes aux autres en tenant compte du décalage de translation, pour former un couple continu de bandes d'images (voir par exemple Sigfried Schneider "L'image aérienne et son interprétation", Verlag Walter de Gruyter, Berlin-1974, pages 124 et 125). Cette

méthode est basée sur une adaptation (statique) indépendan-

te d'une image observée instantanément et présuppose par conséquent, entre autres, une direction d'observation, dans une large mesure perpendiculaire au plan-objet, du

capteur de prise de vues.

L'invention a pour but d'indiquer un procédé qui permette une restitution stéréoscopique continue d'images mobiles, dans le cas de scènes qui se déplacent de façon permanente par rapport au capteur de prise de vues, comme par exemple des scènes vidéo de vues aériennes et qui représente de façon stéréoscopique approximativement

l'ensemble du champ d'image dans chaque image présentée.

Ce problème est résolu conformément à l'invention à l'aide d'unprocédé de représentation stéréoscopique d'images mobiles de scènes - images, notamment de scènes de vues aériennes, dans le cas d'un déplacement relatif entre le capteur de prise de vues et la scène enregistrée, caractérisé par le fait que pour réaliser la représentation stéréoscopique permanente approximativement de l'ensemble

du champ d'image, on réunit, à partir d'images se chevau-

chant par couples d'une suite d'images, dont des zones de chevauchement se raccordent les unes aux autres au moins sans raccord suivant la direction de déplacement, plusieurs

zones de chevauchement d'images pour former les deux demi-

images de l'image stéréo représentée instantanément, les

images enregistrées devant être réunies pour former l'i-

mage stéréo étant soumises à une correction de distorsions

en tenant compte de leurs paramètres géométriques d'enre-

gistrement de telle sorte que l'échelle de formation de

l'image de points objets correspondantsest la même.

Ce procédé travaille sans être limité à un dé-

placement translatoire de l'image et également sans orien- tation dans une large mesure perpendiculaire du capteur

de prise de vues.

Les avantages pouvant être obtenus grâce à l'in-

vention résident en outre dans le fait que le contenu de l'image peut être évalué d'une manière plus fiable et qu'il est possible d'effectuer une observation moins fatigante

avec une adaptation plus rapide à l'aspect spatial de l'i-

mage. D'autres caractéristiques et avantages de la

présente invention ressortiront de la description donnée

ci-après, prise en référence aux dessins annexés, sur lesquels: la figure 1 illustre le principe d'un cas de prise de vues avec une direction d'observation dirigée obliquement vers l'avant; la figure 2 représente, selon une vue en plan, deux surfaces d'une scène enregistrées successivement pour

le cas de prise de vues de la figure 1.

La figure 3 représente la demi-image de gauche et la demi-image de droite (L et R) de l'image stéréo,ci sont associéoesaux surfaces de la scène de la figure 2; la figure 4 représente quatre surfaces d'une scène enregistrées successivement pour le cas de prise de vues de la figure 1; les figures 5a-c représentent les demi-images de gauche et de droite (L et R) de l'image stéréo, qui sont associées aux surfaces de la scène de la figure 4 et sont réunies; et

la figure 6 représente un schéma-bloc d'un dis-

positif pour la mise en oeuvre du procédé.

La figure 1 représente un cas de prise de vues, dans lequel un capteur prenant des images (par exemple une caméra vidéo) détecte la scène dans le plan objet, dans

des conditions d'observation obliques. L'angle d'inclinai-

son i se situe dans la zone comprise entre une oblique dirigée vers l'avant et une oblique dirigée vers l'arrière, par exemple dans le cas de prises de vues réalisées à partir d'un avion ou d'un véhicule spatial. En principe on peut modifier tous les angles d'orientation (rotation autour de l'axe transversal, de l'axe vertical et/ou de

l'axe longitudinal).

La surface détectée de la scène est représentée

pour deux lieux successifs de prise de vues, qui corres-

pondent dans le cas de l'exemple à deux instants successifs

de prise de vues, sur la figure 2, (surfaces B et C).

Dans la direction de déplacement (direction y), la largeur (étendue suivant la direction x) de la surface augmente, de sorte que dans le cas de la reproduction dans le champ d'image rectangulaire du dispositif de reproduction (par exemple un appareil de contrôle de télévision), l'échelle

de formation de l'image est proportionnellement plus peti-

te. Pour la zone de chevauchement hachurée des deux sur-

faces, dans laquelle il existe un contenu d'image commun pour les deux lieux de prise de vues, une reproduction

stéréoscopique d'images est possible.

La figure 3 représente à partir de la représen-

tation de la surface B de la scène, les zones correspondan-

tes dans le champ de demi-imagesde gauche et de droite

(L et R). Dans le cas de l'exemple, la demi-image asso-

ciée à la surface B de la scène est représentée à gauche de l'observateur et une demi-image, qui représente une

partie de la surface C de la scène et une partie de la sur-

face B de la scène, est représentée à droite de l'observa-

teur. (La zone qui correspond à la partie tirée de la sur-

face C de la scène, est affectée d'un astérisque *, de ma-

nière à caractériser l'adaptation nécessaire du déplacement

en tenant compte de la géométrie de formation des images.

Seules les zones hachurées du champ d'image apparaissent

dans la restitution stéréoscopique.

Pour l'association, correcte du point de vue observation, du champ d'image de gauche et de droite, on oriente en général le capteur de formation de l'image ou le dispositif de reproduction, par rapport à l'utilisation

usuelle, de sorte que le déplacement de la scène ne s'ef-

fectue pas verticalement dans l'image, comme par exemple celà est souvent usuel dans le cas de scènes vidéo de vues aériennes, mais horizontalement, conformément à la base en général horizontale d'observation stéréoscopique (par

exemple avec l'oeil). La direction de déplacement s'effec-

tue de la gauche vers la droite dans le cas de l'exemple

des images de la figure 3 et des figures 5a à 5c, c'est-

à-dire que la scène se déplace devant l'observateur à l'opposé du sens de déplacement du capteur par rapport au

plan-objet jors de la prise de vues.

Conformément au procédé conforme à l'invention,

on peut étaler la représentation stéréoscopique en l'ame-

nant approximativement à la taille de l'ensemble du champ d'image, en utilisant d'autres images de la suite d'images de prise de vues. Si l'on observe en supplément la zone de la scène pour le lieu de prise de vues précédent (surface A de la scène) par exemple à l'instant de la représentation de la

surface B de la scène conformément à la figure 4), on ob-

tient, alors dans la surface B de la scène, deux zones en chevauchement (hachurées), qui recouvrent cette surface, en dehors de deux bandes étroites (non hachurées). Il en

va de même pour la surface C de la scène, qui est recou-

verte par une zone de la surface B de la scène et par une zone de la surface D de la scène. De préférence pour deux surfaces successives respectives de la scène(A,B; B,C; C,E, on devrait avoir un taux de chevauchement d'au moins 50 % suivant la direction de déplacement, afin d'obtenir une succession sans discontinuité des zones en chevauchement La formation de la demi-image de gauche et de

droite reproduite à partir des zones partielles correspon-

dantes pour les surfaces A,B et C ou B,C et D de la scène

sont représentées sur la figure 5a ou 5b. La figure 5a re-

présente le cas o le contenu d'image de la surface B de la scène est reproduit (instant de reproduction tB), tandis

que la figure 5 concerne la reproduction du contenu d'ima-

ge de la surface C de la scène (instant de reproduction tc).

La position d'un astéristique * caractérise comme précé-

demment l'adaptation nécessaire de l'image en tenant comp-

te de relations connues de la géométrie de la formation des images (voir par exemple H. Kazmierczak, "Détection

et traitement mécanique de données d'images", Springer-

Verlag Wien, New-York 1980, page 304). La zone hachurée reproduite par voie stéroéscopique s'étend, contrairement à la figure 3, dans une large mesure sur l'ensemble du champ d'image. La zone non hachurée représentée uniquement en mode monoculaire est séparée par des lignes formées de tirets de la zone partielle pour la surface correspondante de la scène. Sur la figure 5a, les zones blanches dans les deux demi-images appartiennent par conséquent à la surface

B de la scène.

L'image précédente et l'image suivant de la pritse

de vues sont adaptées respectivement à l'image de référen-

ce actuelle. Ainsi par exemple les images A et C sont adap-

tées à l'image B à l'instant de reproduction tB (figure 5a) et les images B et D sont adaptées à l'image C à l'instant de reproduction tc (figure 5b). Dans la suite continue d'images, on obtient une adaptation dynamique de l'image,

qui se poursuit de façon correspondante. Comme autre so-

lution l'exemple représenté sur la figure 5a et la figure b, on peut également composer les demi-images également

d'une autre manière dans le cas d'un recouvrement suffi-

sant des images.

Au lieu du passage direct d'un couple d'images l'autre pour les différents instants de prise de vues, par exemple conformément au passage de la figure 5a à la figure 5b, il est également possible d'avoir une transition progressive, par exemple lorsqu'un intervalle de temps relativement important entre les images de prise de vues (par exemple 1 seconde existe en raison d'une fréquence

de récurrence réduite d'imageset qu'à partir de la repro-

duction discontinue du d@acement, qui y est liée, il faut rétablir une reproduction continue du déplacement grâce à l'insertion d'images intermédiaires. Pour une utilisation stéréoscopique largement complète du champ d'image, il est nécessaire d'utiliser des zones formées de quatre

images appartenant à la suite d'images de prise de vues.

On adapte ces dernières de façon dynamique pour chaque ima-

ge intermédiaire devant être insérée de sorte que l'on ob-

tient la reproduction continue du déplacement.

La figure 5c représente un exemple de la composi-

tion d'un couple d'images intermédiaires, qui peut être in-

séré entre les couples d'images des figures 5a et 5b. L'a-

daptation des images intermédiaires peut être réalisé par exemple selon le procédé décrit dans la demande de brevet FR-81 08972 publiée sous le numéro 2 482 400. En dehord des zones reproduites par voie stéréoscopique et des zones reproduites en mode monoculaire (zones hachurées ou zones blanches sur la figure 5c), on voit également apparaftre, en fonction du cas particulier de prise de vues, des zones résiduelles plus petites, qui ne doivent être associées à aucune des zones partielles des surfaces de la scène et

ne contiennent par conséquent aucune information d'image.

Elles sont caractérisées en sombre sur la figure 5c. En général lors de l'insertion d'images intermédiaires le type, la taille et la forme des zones varie de sorte que, dans

l'exemple représenté, la composition de l'image de la figu-

re 5a se transforme progressivement en la composition de

l'image de la figure 5b.

La figure 6 représente le schéma-bloc d'une pro-

position de réalisation, avec laquelle, dans le cas d'une suite d'images de prise de vues présente avec une fréquen-

ce réduite de récurrence des images, on obtient une res-

titution stéréoscopique continue grâce à l'insertion de couples d'images intermédiaires adaptés du point de vue

du déplacement et de la formation des images.

Les données d'images, présentes côté entrée, d'une

nouvelle image de prise de vues sont mémorisées temporai-

rement dans la mémoire tampon PS et sont ensuite transfé-

rées dans la mémoire d'images BS1. Simultanément chacune des mémoires d'imagesBS2-BS4 prend en charge le contenu de la précédente de sorte qu'après l'exécution d'une phase d'initialisation, quatre images successives de prise de

vues sont présentes dans les mémoires d'images BS1-BS4.

Après chaque introduction d'une nouvelle image

dans la mémoire tampon PS, une unité BA détermine les para-

mètres pour l'adaptation entre cette image et l'image pré-

cédente située dans la mémoire d'imagesBSl. Ces paramètres

sont envoyés à l'unité de commande SE, qui dispose égale-

ment des paramètres d'adaptation, déjà déterminés d'avance,

pour les images situées dans les mémoires d'images BS1-

BS4. L'unité de commande SE délivre alors l'information pour la lecture, adaptée du point de vue du déplacement et de la formation des images, des mémoires d'images BS1-BS4 et commande la composition de chacune des deux demi-images

devant être délivrées, à partir des zones partielles corres-

pondantes des images de prise de vues situées dans les mé-

moires d'images, à l'aide des multiplexeurs MU1 et MU2.

Si, dans le cas d'une suite d'images de prise de vues présentant une fréquence de récurrence non réduite, on ne réalise pas l'insertion d'images intermédiaires, on peut supprimer la mémoire d'images BS4 étant donné que, dans ce cas, chaque couple d'images de sortie est composé uniquement

de trois images de prise de vues successives.

Une autre utilisation du procédé réside dans

51'utilisation d'une détermination et d'un marquage, exe-

cutés sur une surface étendue et efficaces par exemple dans

une large mesure dans l'ensemble du champ d'image, d'ob-

jets mobiles, par comparaison des champs d'image de gauche et de droite réunis dans la zone de chevauchement Cette comparaison peut être exécutée par soustraction des images l'une de l'autre. La reproduction d'objets mobiles subsiste alors essentiellement étant donné que ces objets sont situés en des emplacements différents dans les images

soustraites. Une autre possibilité permettant de faire res-

sortir de tels objets consiste à représenter en alternan-

ce en mode monoculaire les deux demi-images de l'image stéréo. Dans ce cas la représentation d'un objet mobile alterne de façon correspondante entre deux positions dans

le champ d'image (effet de clignotement).

Contrairement à l'exemple représenté sur le des-

sin, un capteur et une scène peuvent être également asso-

ciés d'une autre manière en fonction de l'utilisation. Ain-

si la scène peut par exemple être également située au-des-

sus du capteur ou bien se déplacer devant un capteur fixe,

comme par exemple dans le cas d'une bande convoyeuse.

On pourraitimaginer une adaptation de zones choi-

sies d'images successives au lieu de l'adaptation d'images complètes, auquel cas les zones peuvent représenter par exemple des objets mobiles, dont l'image est formée à un

grand format, par exemple des véhicules. Ces objets peu-

vent être enregistrés avec un capteur placé en un lieu

fixe, auquel cas le lieu fixe peut être également un héli-

coptère en vol stationnaire.

La reproduction d'images mobiles peut être com-

binée à la reproduction d'images fixes, auquel cas des 1 0 parties du champ d'image/ou des parties de la suite d'images peuvent être représentées sous la forme d'une image fixe. La reproduction de la suite d'images peut être réalisée aussi bien dans la trame des temps de prise de vues qu'avec une dilatation du temps ou une compression du temps (voir les demandes de brevet FR 81 08972 et FR 82 18071

publiées respectivement sous les: N 2 482 400 et N 2 515 910.

Des différences de luminosités, qui sont impu-

tables par exemple à des différences d'éclairage, entre des surfaces d'une scène devant être réunies pour former une demi-image peuvent être prises en compte moyennant une adaptation des valeurs de gris, par exemple comme cela est

décrit dans la demande de brevet allemand antérieure dé-

posée sous le numéro P 35 23 423.5.

La détection des surfaces d'une scène se succé-

dant dans l'espace peut différer de la succession directe dans le temps, représentée dans le cas de l'exemple, des prises de vues. Par exemple on peut obtenir également des surfaces successives de la scène à partir de plusieurs travers ées de la scène, auquel cas il est nécessaire de réaliser une mémorisation supplémentaire correspondante de l'information d'image devant être associée à partir de

traversées antérieures.

La représentation stéréoscopique peut, outre le

fait d'être observée visuellement, faire par exemple éga-

lement l'objet d'un traitement ultérieur mécanique.

Sous le terme d'information vidéo dans le sens des exemples représentés, il faut comprendre aussi bien une

information tirée de la plage spectrale visible, que d'au-

tres plages spectrales, comme par exemple le domaine de l'infrarouge. 1 1

Claims (8)

REVENDICATIONS

1. Procédé de restitution stéréoscopique d'ima-

ges mobiles de scènes-images (A,B,C,D), notamment de scènes

de vues aériennes, dans le cas d'un déplacement relatif en-

tre le capteur de prise de vues et la scène enregistrée, caractérisé par le fait que pour réaliser la représentation stéréoscopique permanente approximativement de l'ensemble

du champ d'image, on réunit, à partir d'images se chevau-

chant par couples d'une unité d'images, dont des zones de chevauchement se raccordent les unes aux autres au moins sans raccord suivant la direction de déplacement, plusieurs

zones de chavauchement d'images pour former les deux demi-

images de l'image stéréo représentée instantanément, les

images enregistrées devant être réunies pour former l'i-

mage stéréo étant soumises à une correction de distorsions

en tenant compte de leurs paramètres géométriques d'enre-

gistrement de telle sorte que l'échelle de formation de

l'image de points objets correspondants est la même.

2. Procédé selon la revendication 1, caractérisé en ce que les images enregistrées sont transmises avec une

fréquence de récurrence réduite et que grâce à une interpo-

lation et/ou une extrapolation, adaptée à la formation des images, on insère, dans la suite d'images transmise, des images intermédiaires (A*, B*,C*,D*) obtenues lors de la

reproduction à partir de deux images transmises respectives.

3. Procédé selon l'une des revendications 1 ou 2,

caractérisé en ce que les demi-images respectives sont pro-

duites sur la base de parties de scènes, qui sont obser-

vées instantanément et représentent les objets observés ins-

tantanément.

4. Procédé selon l'une quelconque des revendica-

tions 1 à 3, caractérisé en ce que des couples respective-

ment sélectionnés de demi-images sont représentés sous la

forme d'une image fixe pendant un intervalle de temps sé-

lectionné.

5. Procédé selon la revendication 4, caractérisé en ce que les images mobiles sont des images intermédiaires

produites lors de la reproduction.

6. Procédé selon l'une quelconque des revendica-

tions précédentes, caractérisé en ce que des parties des

zones d'images reproduites par voie stéréoscopique sont re-

produites sous la forme d'une image fixe.

7. Procédé selon l'une quelconque des revendica-

tions 1 à 6, caractérisé en ce que, pour faire ressortir des objets mobiles, on supprime le fond de l'image au moyen d'une soustraction, en chaque point de l'image, des valeurs

de luminosité.

8. Procédé selon les revendications 1 à6, prises

dans leur ensemble, caractérisé en ce que, pour faire res-

sortir des objets mobiles, les deux demi-images sont re-

produites en alternance en mode monoculaire.