FR2914437A1 - Procede de traitement d'image pour la synthese d'image autostereoscopique - Google Patents
Procede de traitement d'image pour la synthese d'image autostereoscopique Download PDFInfo
- Publication number
- FR2914437A1 FR2914437A1 FR0702411A FR0702411A FR2914437A1 FR 2914437 A1 FR2914437 A1 FR 2914437A1 FR 0702411 A FR0702411 A FR 0702411A FR 0702411 A FR0702411 A FR 0702411A FR 2914437 A1 FR2914437 A1 FR 2914437A1
- Authority
- FR
- France
- Prior art keywords
- image
- images
- sub
- source image
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
L'invention concerne un procédé de traitement d'image pour la synthèse d'image autostéréoscopique. Selon l'invention, il comprend les étapes consistant à :- fournir une image source bidimensionnelle,- mettre en mémoire une partie au moins de l'image source,- produire un ensemble de M sous-images comprenant au moins une première sous-image comprenant une partie au moins de l'image source mise en mémoire, et une deuxième sous-image, différente de la première sous-image, comprenant une partie au moins de l'image source mise en mémoire, et- produire une image autostéréoscopique par la réalisation de N vues, chaque vue correspondant à la projection d'une sous-image respective dans une direction donnée.
Description
PROCEDE DE TRAITEMENT D'IMAGE POUR LA SYNTHESE D'IMAGE AUTOSTEREOSCOPIQUE.
La présente invention concerne la synthèse d'image autostéréoscopique.
Plus précisément, l'invention concerne un procédé de traitement d'image pour la synthèse d'image autostéréoscopique.
Une image autostéréoscopique permet, grâce à un système autostéréoscopique approprié, à un utilisateur de percevoir une image tridimensionnelle dite 3D sans que celui-ci doive utiliser des moyens de visualisation individuels particuliers, par exemple des lunettes à verres polarisants ou à filtres de couleur. Comme décrit ultérieurement, une image autostéréoscopique est obtenue par au moins deux vues différentes diffusées de sorte à permettre une perception tridimensionnelle.
Il est connu de l'homme du métier les documents de l'état de la technique antérieure FR2876804 et FR2876805 déposés par la demanderesse. Un système autostéréoscopique comprend un écran, de préférence matriciel, des moyens optiques autostéréoscopiques, de préférence un réseau lenticulaire, et des moyens pour mettre en oeuvre une étape d'entrelacement décrite plus loin. Son principe est de diffuser des images selon N vues différentes dans l'espace dans lequel peut se mouvoir un observateur. Ainsi, en créant un système optique permettant de communiquer aux deux yeux de l'observateur une information différente, il est possible, grâce aux indices de disparité oculaire, de lui donner l'illusion de voir en 3D.
Toutefois, les systèmes et médias diffusant et/ou capturant de manière standard une image ou information vidéo (caméra, flux vidéo numérique et analogique), ne contiennent aucune information sur la manière dont elles doivent être restituées sur un écran autostéréoscopique. Pour parvenir à cette fin, le contenu des images à afficher sur chacune des vues des écrans autostéréoscopiques est aujourd'hui diffusé selon deux techniques particulières : - soit par la diffusion sur chacune des vues d'une information issue de caméras dont les positions spatiales lors de l'acquisition de l'image source sont différentes, ce qui permet directement de communiquer le point de vue de la scène correspondant à l'emplacement de la caméra, - soit en associant à chaque pixel d'une image source une certaine profondeur déterminée par une carte des profondeurs, et dont le niveau de luminance indique la profondeur à laquelle se trouve chaque portion d'image. Ces différentes solutions demandent donc une capture de l'image source spéciale (prise de vue multi-caméras), ou un traitement particulier image par image afin de retrouver la carte des profondeurs associée à chaque image (processus manuel d'estimation de la distance par rapport à l'organe de prise de vue, ou à partir d'algorithmes automatiques non-temps réel, ou organe externe de capture de la distance caméra-objet). Aussi, il est nécessaire de diffuser des médias spéciaux dans un format spécial différent d'un format standard (TV, DVD, etc.).
Selon un premier de ses objets, l'invention concerne un procédé de traitement d'image pour la synthèse d'image autostéréoscopique. Selon l'invention, le procédé est essentiellement caractérisé en ce qu'il comprend les étapes consistant à : - fournir une image source bidimensionnelle, - mettre en mémoire une partie au moins de l'image source, - produire un ensemble de M sous-images comprenant au moins une première sous-image comprenant une partie au moins de l'image source mise en mémoire, et une deuxième sous-image, différente de la première sous-image, comprenant une partie au moins de l'image source mise en mémoire, et - produire une image autostéréoscopique par la réalisation de N vues, chaque vue correspondant à la projection d'une sous-image respective dans une direction donnée.30 Dans un mode de réalisation, l'image source est une image bidimensionnelle unique, la première sous-image correspond à une partie au moins de l'image source, et la deuxième sous-image correspond à une partie au moins de l'image source décalée spatialement d'un nombre D de pixels.
Dans un autre mode de réalisation, l'image source est un flux unique de P images bidimensionnelles unitaires comprenant au moins une première image source unitaire et une deuxième image source unitaire décalées temporellement. Selon l'invention, la première sous-image correspond à une partie au moins de la première image source, et la deuxième sous-image correspond à une partie au moins de la deuxième image source. Grâce à l'invention, la cohérence temporelle entre deux images sources successives est convertie en cohérence spatiale observable via la diffusion des différentes vues. Avantageusement, le procédé comprend en outre une étape de mise à l'échelle, ci-après appelée étape de dimensionnement. L'étape de dimensionnement permet de dimensionner l'image source pour que la sous-image ait les dimensions requises par le système autostéréoscopique. Dans un mode de réalisation, l'étape de dimensionnement est mise en oeuvre a priori, c'est-à- dire avant la sélection des sous-images pour la réalisation des vues.
Dans un autre mode de réalisation, l'étape de dimensionnement est mise en oeuvre a posteriori, c'est-à-dire après la sélection de sous-images, et permet de compenser le décalage spatial du à la sélection de sous-images. De préférence, le nombre D de pixels de décalage et/ou la valeur du décalage temporel entre la première image source et la deuxième image source est réglable en dynamique.
Le paramètre D permet d'augmenter la disparité intra oculaire et d'améliorer le confort d'observation, c'est-à-dire la perception d'une sensation de relief. Dans un mode de réalisation, le procédé comprend 15 en outre une étape d'entrelacement.
Selon un autre de ses objets, l'invention concerne un programme d'ordinateur, comprenant des instructions de code de programme pour l'exécution des 20 étapes du procédé selon l'invention, lorsque ledit programme est exécuté sur un ordinateur. Avantageusement, le programme d'ordinateur selon l'invention est stocké sous forme de puce électronique. 25 Selon un autre de ses objets, l'invention concerne un dispositif de traitement d'images susceptible de mettre en oeuvre le procédé selon l'invention, le dispositif comprenant un ordinateur piloté par un programme d'ordinateur selon 30 l'invention, un ensemble d'au moins une mémoire pour l'enregistrement des images sources et/ou des images intermédiaires, et/ou des sous-images, et un écran, de préférence matriciel, équipé de moyens autostéréoscopiques pour la diffusion de l'image autostéréoscopique.
Lorsque l'image source est un flux vidéo, l'invention peut être mise en oeuvre avantageusement quel que soit le type de flux progressif ou entrelacé. Dans un flux progressif, chaque image est affichée entièrement au temps T, alors que dans un flux entrelacé, au temps T deux trames d'images décalées temporellement d'une période sont affichées. Dans la présente description, Image(T) correspond à l'image affichée au temps T, c'est-à-dire soit l'image totale dans le cas d'un flux progressif, soit l'une des deux trames dans le cas d'un flux entrelacé. On note que l'on peut choisir dans ce cas : Image(T+1) correspondant à la seconde trame de l'image au temps T, ou Image(T+1) correspond à une des trames de l'image au temps T+1.
Grâce à l'invention, on peut exploiter les médias habituellement diffusés pour des écrans 2D de manière à les afficher sur des écrans autostéréoscopiques et à exploiter leur contenu sur l'information spatiale de la scène représentée pour un rendu autostéréoscopique. Ainsi il n'y a pas besoin d'avoir des informations captées de manière spécifique pour rendre une séquence sur un écran autostéréoscopique, les moyens standards bidimensionnels peuvent être utilisés. De même, il est possible, grâce à l'invention, de réutiliser tous les médias 2D existants pour les diffuser sur des systèmes autostéréoscopiques. L'invention peut être mise en oeuvre aussi bien 5 avec des images sources en couleurs qu'en noir et blanc. Le procédé selon l'invention est compatible avec tous les traitements de pré-affichage qu'il est possible de mettre en oeuvre pour un écran 10 autostéréoscopique (par exemple de type gestion de la distance). L'invention est facilement mise en oeuvre sous forme d'implémentation logicielle. Elle est donc facilement intégrable dans un dispositif électronique 15 de type carte graphique programmable, et donc utilisable en temps réel via un ordinateur dédié. La mise en œuvre du procédé sur un système dédié permet aussi bien de traiter le contenu d'un fichier vidéo informatique, que d'un DVD (ou autre support 20 numérique), d'une cassette vidéo PAL (ou autre format analogique), ou d'un signal télévisuel. Avantageusement, l'invention permet donc un traitement d'images pour la synthèse en temps réel d'images autostéréoscopiques à partir d'images 2D 25 standard.
D'autres caractéristiques et avantages de la présente invention apparaîtront plus clairement à la lecture de la description suivante donnée à titre 30 d'exemple illustratif et non limitatif et faite en référence aux figures annexées dans lesquelles : - la figure lA illustre le schéma de principe d'un dispositif autostéréoscopique, - la figure 1B illustre le principe du décalage de pixels entre deux sous-images, - les figures 2A-2D illustrent la production de vues en fonction des sousimages dans différents modes de réalisation, et - la figure 3 illustre le schéma de principe du procédé selon l'invention.
En référence à la figure :LA, on illustre le schéma de principe d'un dispositif autostéréoscopique. Une image source est produite par des moyens de prise de vue (réelle ou virtuelle), par exemple caméras, appareils photos, etc. L'image source est alors traitée pour être diffusée par un écran autostéréoscopique ES. Un écran autostéréoscopique est un écran de visualisation matriciel, par exemple un téléviseur ou un écran d'ordinateur de type LCD ou plasma, muni de moyens autostéréoscopiques, par exemple un réseau lenticulaire. De tels moyens autostéréoscopiques sont connus de l'homme du métier, et l'on renvoie par exemple aux demandes FR2876804 et FR2876805 susmentionnées pour la réalisation de tels écrans. Un écran autostéréoscopique diffuse une pluralité N de vues. Chaque vue VUE1, VUE2, ... VUEN est la projection dans une direction donnée d'une image (sous-image selon l'invention) donnée. L'effet stéréoscopique est réalisé lorsque deux vues consécutives diffusent deux images différentes, et la perception de relief est obtenue si ces images sont cohérentes. Pour parvenir à cette fin, il est nécessaire de coder les sous-images, c'est-à-dire de déterminer un arrangement spécifique des pixels de la trame de l'écran matriciel. Cette étape de codage des pixels est appelée étape d'entrelacement, et dépend du type d'écran (nombre de pixels et leur répartition), et du type de moyens autostéréoscopiques (par exemple taille et disposition du réseau lenticulaire). De nouveau, on renvoie aux demandes FR2876804 et FR2876805 susmentionnées ou à la demande EP0791847 pour de plus amples détails sur l'entrelacement. 15 Selon l'invention, on fournit une image source. Dans un mode de réalisation, l'image source est une image bidimensionnelle unique. Par exemple une photographie ou un flux arrêté sur une image. 20 Une première variante est illustrée à la figure 1B. Une image source IS de dimensions (Xis, Yis) est fournie. Cette image source est mise en mémoire, sous 25 forme d'image source (DVD ou autre), d'image intermédiaire ou de sous-image, comme décrit ultérieurement. De préférence, dimensionnée de sorte 30 intermédiaire II de éventuellement identiques l'image source IS est à produire une image dimensions (Xii, Yii), aux dimensions (Xis, Yis).
A partir de l'image intermédiaire II, on produit un ensemble de M sous-images, en l'espèce SI1, SI2 et SI3 comprenant une partie au moins de l'image source. De préférence, les M sous-images sont toutes de mêmes dimensions (Xsi, Ysi), et la hauteur d'une sous-image Ysi est égale à la hauteur de l'image intermédiaire correspondante Yii. Dans certains cas, on peut prévoir encore de redimensionner les sous-images pour les adapter à leur vue respective, de dimensions (Xvue, Yvue). Pour plus de simplicité de la présente description, on considère que Xvue=Xsi et Yvue=Ysi. Les dimensions (Xsi, Ysi) des sous-images sont choisies en fonction du type d'écran et des moyens 15 autos téréoscopiques. Une image autostéréoscopique est produite par la réalisation de N vues, chaque vue correspondant à la projection d'une sous-image respective dans une direction donnée. 20 De préférence, les dimensions de l'image intermédiaire II (Xii, Yii) sont telles que Yii=Ysi et Xii = Xsi + ln*Dl, avec n entier naturel et D la valeur d'un décalage horizontal en nombre de pixels. De préférence, deux sous-images consécutives 25 sont décalées spatialement d'un nombre D de pixels l'une par rapport à l'autre, et permettent la réalisation de deux vues adjacentes, comme une fenêtre de sélection de l'image intermédiaire décalée de D pixels à chaque sousimage (voir figure 1B). 30 L'une au moins des sous-images SI peut être enregistrée.
L'image intermédiaire II peut être enregistrée. Quel que soit le mode de réalisation, le nombre M de sous-images est de préférence égal au nombre N de vues.
Dans une deuxième variante, non illustrée, l'étape de dimensionnement est mise en oeuvre a posteriori, c'est-à-dire après la sélection de sous-images.
Dans cette variante, l'image source et l'image intermédiaire ont les mêmes dimensions. La réalisation de sous-images se fait par sélection d'une fenêtre de dimensions inférieures à celles de l'image source, puis par décalage de D pixels de cette fenêtre de sélection. Chaque portion d'image ainsi sélectionnée permet la réalisation de sous-images correspondantes, lesdites sous-images pouvant alors être redimensionnées afin de correspondre aux dimensions des vues.
La figure 2A illustre l'utilisation d'une fonction modulo, mise en oeuvre en particulier lorsque le nombre de vues N du système autostéréoscopique est supérieur au nombre M de sous-images. La figure 2A reprend le cas illustré à la figure 1B pour un système autostéréoscopique utilisant N vues, où en l'espèce M=3 et N=5. On produit dans ce cas trois sous-images, 30 respectivement SI(T_0), SI(T_D) et SI(T_2D), avec SI (T_D) décalée de D pixels par rapport à SI (T_0) , et SI(T2D) décalée de D pixels par rapport à SI(T_D). La vue VUE1 est produite par la diffusion de la sous-image SI(T_0), la vue VUE2 est produite par la diffusion de la sous-image SI(T_D), et la vue VUE3 est produite par la diffusion de la sous-image SI(T2D). La séquence ainsi définie est alors reproduite de sorte que la vue VUE4 est produite par la diffusion à nouveau de la sous-image SI(T_0), et la vue VUES est produite par la diffusion de la sous-image SI(T_D). Dans les cas où M<N, on prévoit de diffuser sur les N-M vues restantes à nouveau une séquence de N-M sous-images. Grâce à cette configuration, deux vues consécutives VUE1-VUE2, VUE2-VUE3, VUE3-VUE4 ou VUE4-VUE5 diffusent des sous-images différentes, en l'espèce décalée d'un certain nombre de pixels.
Quel que soit le mode de réalisation, le nombre D de pixels de décalage entre deux sous-images consécutives est avantageusement réglable en dynamique. Par exemple, la valeur du paramètre D est enregistrée dans une mémoire, et lorsque le système autostéréoscopique comprend un ordinateur de type PC (portable ou fixe) muni d'une souris, cette valeur est mise à jour par clic gauche ou droit (par exemple gauche pour augmenter la valeur de D, et droit pour diminuer celle-ci), ou par rotation de la molette lorsque la souris en est équipée.
De préférence, le décalage de D pixels est horizontal. Ce décalage est illustré sur les figures 1B et 2A, et permet d'augmenter l'effet de disparité entre les vues.
Selon l'invention, • on définit par : Echelle(Image, DimX, DimY), la transformation mise en oeuvre lors de l'étape de dimensionnement consistant à mettre une image source dite Image aux dimensions requises par le système autostéréoscopique en interpolant la valeur de chaque pixel de manière à ce que les dimensions de l'image résultante (image intermédiaire) soient Xii = DimX pixels en horizontal, et Yii = DimY pixels en vertical, par exemple en utilisant une fonction d'interpolation bilinéaire, mise en oeuvre notamment dans certaines cartes graphiques. • on définit par : Souslmage(Image, DecalX, DecalY, DimX, DimY), la transformation consistant à sélectionner une sous-image d'Image telle que : si Sslmage = Souslmage(Image:, Deca1X, DecalY, DimX, DimY) alors Sslmage possède DimX pixels en horizontal et DimY pixels en vertical, et Sslmage (x, y) = Image(x+DecalX, y+DecalY) Ces étapes permettent la mise à l'échelle de chacune des images mémorisées dans une mémoire rapide. • on définit par : Xvue le nombre de pixels horizontaux, et Yvue le nombre de pixels verticaux que doit posséder l'image à afficher dans une vue pour l'entrelacement avant l'affichage sur un écran autostéréoscopique.
Alors, dans un mode de réalisation, au temps T, on définit chaque vue par : Vue(Ni)=Souslmage(Echelle(ImageMem(Tc(Ni)),Xvue+iN*DI, Yvue),lNi*DI,O,Xvue,Yvue), si D>0, et
Vue(Ni)=Souslmage(Echelle(ImageMem(Tc(Ni)),Xvue+IN*D1, Yvue), (Ni- (N-1)) *D, O,Xvue,Yvue) si .D<0, avec Ni le numéro de vue de 0 à N-1, N le nombre total de vues, et Tc une table de correspondance décrite ci-après. Cette étape permet, pour chaque vue, d'extraire une portion au moins d'une image source mise à l'échelle.
Dans un autre mode de réalisation, l'image source est flux d'images sources unitaires bidimensionnelles. Le flux vidéo peut être enregistré (DVD ou autre) ou non enregistré (p.ex. télévision dite "en direct"). En référence à la figure 2B, un flux vidéo comprend, pour un temps T donné, une image source unitaire IS(T), c'est-à-dire une première image source unitaire IS1 à T=T1, une deuxième image source unitaire IS2 à T=T2, une troisième image source unitaire IS3 à T=T3, ... une nième image source unitaire ISn à T=n, en l'espèce n=5. Cette valeur est purement illustrative, un flux vidéo comprenant généralement plutôt quelques centaines ou milliers d'images sources unitaires.
Selon l'invention, une partie au moins de l'image source est mise en mémoire, de préférence mémoire rapide. La partie de l'image source mise en mémoire peut correspondre à une zone particulière d'une image donnée, par exemple une sous-image, ou à un ensemble d'images unitaires, c'est-à-dire une séquence de J images sources unitaires.
Ainsi, l'image courante d'une séquence est mise en mémoire rapide dans une mémoire permettant d'enregistrer dans une mémoire au moins la séquence des J dernières images sources du flux vidéo. Dans un mode de réalisation, on utilise comme mémoire un système de type FIFO (First In First Out). 3G Si on note ImageMem(j) la valeur de la jième image source unitaire sauvegardée en mémoire, on a pour un temps T donné : à T=1 : ImageMem(l) = IS(1), et ImageMem(k) est vide pour k>l.
à T=2 : ImageMem(k) = IS(k) pour k<3, et 5 ImageMem(k) est vide pour k>2.
à T=J : ImageMem(h) = IS (h) , et à T>J : ImageMem(h) = IS(T-J+h),
10 Dans un mode de réalisation, on garde une table de correspondance des différentes images stockées dans la mémoire de manière à ne pas être obligé de déplacer dans l'espace mémoire la totalité de chaque image source unitaire lors de l'arrivée d'une nouvelle image 15 source unitaire dans le système FIFO. On utilise donc une table de correspondance Tc permettant de savoir dans quel espace mémoire est contenu chaque image. Ainsi 20 à T>J : ImageMem (Tc (h)) = IS(T-J+h) pour tout h
Chaque image mémorisée ImageMem(T) produit donc au moins une sous-image SI(T) respective comprenant 25 une partie au moins de l'image source IS(T). Ce mode de réalisation est illustré à la figure 2B dans lequel le flux vidéo comprend cinq images source IS1-IS5 correspondant respectivement à cinq instants donnés Tl-T5. 30 Chaque image source est mise en mémoire de sorte que la séquence comprend cinq images. Chaque sous- image SI1-SI5 comprend respectivement au moins une partie de chaque image source respective IS1-IS5. De même, chaque vue VUEl-VUES diffuse respectivement une sous-image SIl-SI5.
Grâce à cette configuration, deux vues consécutives diffusent deux images différentes. De même que décrit précédemment, si le nombre de vue N est supérieur au nombre J d'images sources comprises dans la séquence utilisée pour mettre en oeuvre l'invention, on peut utiliser une fonction modulo. On représente ce cas à titre purement illustratif quant aux valeurs de N et J à la figure 2C dans lequel on utilise le même système autostéréoscopique que celui de la figure 2A et comprenant cinq vues et une séquence de trois images sources. Dans ce cas, la vue VUE4 diffuse la sous-image SI(Tl) correspondant à l'image source IS1 et la sous- image SI(T2) correspondant à l'image source IS2. De même que précédemment, chaque sous-image SI(T) peut être produite par une image intermédiaire obtenue par une étape de redimensionnement de l'image source correspondante.
Grâce à cette configuration, deux vues consécutives spatialement diffusent deux images sources consécutives temporellement (hors fonction modulo). Toutefois, si deux images sources consécutives 30 temporellement sont identiques, l'effet de relief recherché peut s'en trouver amoindri.
Avantageusement, de même que pour une image source unitaire unique, le procédé selon l'invention met en oeuvre un décalage de D pixels, de sorte que deux sous-images consécutives de chaque ensemble de M sous-images soient décalées spatialement d'un nombre D de pixels l'une par rapport à l'autre.
Le procédé décrit pour une image source unitaire unique (figure 1B) peut être mis en œuvre pour chaque image source unitaire du flux, aussi les images intermédiaires ne sont pas représentées sur les figures 2B, 2C et 2D. A cet effet, dans un mode de réalisation illustré à la figure 2D, et de manière similaire au cas décrit pour la figure 1B, le procédé selon l'invention met en œuvre un décalage spatial d'un nombre D de pixels. Chaque image source ISn produit un ensemble de plusieurs sous-images SIn respectives décalées deux à 20 deux d'un nombre D de pixels. Par exemple une image source IS1 au temps Tl produit cinq sous-images : - une première sous-image SI(Tl) comprenant une partie au moins de l'image source IS1, 25 - une deuxième sous--image SI(Tl _D) décalée de D pixels par rapport à la première sous-image SI(Tl), - une troisième sous-image SI(T1 2D), décalée de D pixels par rapport à la deuxième sous-image 30 SI (T1 D) , - une quatrième sous-image SI(Tl3D), décalée de D pixels par rapport à la troisième sous-image SI (T1 2D) , et - une cinquième sous--image SI(Tl4D), décalée de D 5 pixels par rapport à la quatrième sous-image SI(Tl _3D). Et de même pour chacune des images sources IS2 à IS5. Dans ce cas, la séquence comprend à titre purement illustratif un nombre J=5 d'images sources et 10 un ensemble de M= 5 sous-images. L'ensemble des sous-images peuvent être enregistrées dans une mémoire. Toutefois, il est possible de n'enregistrer que les sous-images utilisées pour les vues. 15 Selon l'invention, chaque vue correspond à une sous-image respective. On attribue donc à chaque vue une des sous-images en s'attachant au fait que deux vues consécutives spatialement correspondent de préférence à deux images sources consécutives 20 temporellement. A cet effet, dans un mode de réalisation représenté à la figure 2D, la vue VUE1 diffuse la sous-image SI(Tl), la vue VUE2 diffuse la sous-image SI(T2_D), la vue VUE3 diffuse la sous-image SI(T3 2D), 25 la vue VUE4 diffuse la sous-image SI(T4 3D), et la vue VUES diffuse la sous-image SI(T5 4D). Dans d'autres modes de réalisation, la distribution des sous-images et des vues respectives est différente. 30 C'est-à-dire, en lien avec la figure 2D, que d'autres combinaisons VUE / sous-image sont possibles.
Ainsi si chaque image source ISi à un temps Ti produit un ensemble respectif (série) de sous-images SI (Ti_Dj) , chaque vue VUEi diffuse l'une des sous-images de la série respective, avec Di=j*D (D le nombre de pixels de décalage et j entier naturel). Dans cette optique, dans un mode de réalisation, il est suffisant que seule l'une des sous-images soit décalée de D pixels et serve de base pour une vue. Dans un autre mode de réalisation, seule l'une des sous-images d'une série, pour chaque série, est décalée de D pixels.
Selon l'invention, il est préférable que deux images sources soient consécutives temporellement.
Toutefois, dans d'autres modes de réalisation, on peut prévoir que deux images sources ne soient pas immédiatement consécutives. Dans cet exemple, en lien avec la figure 2D, un premier ensemble de sous-images SI(Tl) correspondrait au temps Tl de l'image source ISl, et un deuxième ensemble de sous-images SI(Tx) correspondrait au temps Tx de l'image source ISx avec x différent de 2. Le décalage temporel entre la première image source et la deuxième image source est avantageusement 2' réglable en dynamique.
Le procédé selon l'invention comprend avantageusement en outre une étape d'entrelacement. Comme décrit précédemment, l'entrelacement dépend du 30 type d'écran autostéréoscopique. Cette étape consiste à définir les pixels de la dalle matricielle de l'écran utilisés pour la diffusion des vues. Chaque pixel comprend trois cellules couleur unitaires (RGB pour rouge vert bleu). Selon le type d'écran, la disposition des cellules couleur unitaires est différente. L'entrelacement consiste à définir, à partir d'une image intermédiaire, en fonction de leur disposition sur la dalle et de la disposition des moyens lenticulaires, quelles cellules couleur unitaires servent à définir chaque pixel de chaque vue. L'étape d'entrelacement est classiquement mise en oeuvre par un algorithme spécifique à l'écran autostéréoscopique. Avantageusement, selon l'invention, la production des sous-images utilisées pour leur vue respective et l'étape d'entrelacement sont mises en oeuvre de façon simultanée.
Les différentes images intermédiaires et sous- images n'ont pas besoin d'être créées réellement. Chacune des sous-images utilisées pour la création de vues peut être produite directement de manière simultanée à l'étape d'entrelacement.
Le procédé selon l'invention est illustré de manière synoptique par la figure 3 : On produit une image source correspondant à une séquence Image comprenant une pluralité d'images sources Image(T) au temps T.
Tant que le nombre d'images sources mises en mémoire Nbimmem est inférieur à J le nombre souhaité d'images sources de la séquence, l'image au temps T est mise en mémoire. Dès que le nombre d'images J requis est atteint, les vues sont fabriquées à partir des sous-images 5 mises à l'échelle. Les vues sont alors entrelacées et diffusées vers l'écran autostéréoscopique.
Dans un mode de réalisation, à titre 10 illustratif, le procédé selon l'invention est mis en oeuvre par un ordinateur individuel (PC) muni d'une carte graphique pour effectuer tant les différentes étapes du procédé que l'entrelacement des différentes vues. 15 Pour un système autostéréoscopique où N=9 vues, et dont les pixels sont affichés sur une dalle 1920*1200 pixels (soit Xvue 640 pixels et Yvue = 400 pixels), on peut définir une mise en mémoire de J=2 images, et un décalage de D=12pixels. 20 On notera que : Si J=1, on décale seulement le plan image dans l'espace de visualisation Si J=1, et D = 0, on joue alors le film en pseudo-2D, c'est-à-dire que la même image est diffusée 25 sur toutes les vues, ce qui permet d'afficher l'image sur un écran autostéréoscopique de manière stable, et que l'on ne voit alors plus les artefacts dus à l'échantillonnage de l'image par le système optique. La valeur de N est telle que N>l. 30 De préférence, la valeur de J est telle que J>1. De préférence, la valeur de D est telle que D≠0.
De préférence, N>J,. En effet, le fait de décaler temporellement N vues (si N<=J) peut poser un problème d'observation si l'observateur n'est pas placé au point de visualisation optimal. En effet, dans ce cas, chaque oeil reçoit une image différente ainsi qu'une partie de bruit (information lumineuse issue d'une ou plusieurs autres vues adjacentes). Lors d'un changement de scène dans l'image source, un volet apparaît à l'écran.
La présente description ne se limite pas aux modes de réalisation précédemment décrits. Par exemple, on peut utiliser un écran à barrière de parallaxe.
Il est également à noter qu'une éventuelle incohérence entre différentes vues peut tout de même permettre à un spectateur une sensation augmentée du relief. En effet, le manque de cohérence des indices de disparité oculaire (empêchant de définir la position dans l'espace de l'image observée) peut obliger le cerveau de l'observateur à ne plus prendre en compte ces indices, et à "transférer" la perception sur d'autres indices de perception du relief (perspective, gradient de texture, taille relative des objets, etc ...). Dans un tel cas, la perception du relief d'une scène observée peut tout de même en être améliorée.
Claims (12)
1. Procédé de traitement d'image pour la synthèse d'image autostéréoscopique, caractérisé en ce qu'il comprend les étapes consistant à : - fournir une image source bidimensionnelle, - mettre en mémoire une partie au moins de l'image source, - produire un ensemble de M sousimages comprenant au moins une première sous-image comprenant une partie au moins de l'image source mise en mémoire, et une deuxième sous-image, différente de la première sous-image, comprenant une partie au moins de l'image source mise en mémoire, et - produire une image autostéréoscopique par la réalisation de N vues, chaque vue correspondant à la projection d'une sous-image respective dans une direction donnée.
2. Procédé selon la revendication 1, dans lequel 20 l'image source est une image unitaire bidimensionnelle unique, le procédé comprenant en outre les étapes consistant à : - produire une image intermédiaire correspondant à un dimensionnement de l'image source, et 25 - sélectionner M sous-images de l'image intermédiaire pour réaliser les N vues.
3. Procédé selon la revendication 2, dans lequel les M sous-images sont toutes de mêmes dimensions, 30 deux sous-images consécutives de l'ensemble des M sous-images étant décalées spatialement d'un nombre Dde pixels l'une par rapport à l'autre, et permettant la réalisation de deux vues adjacentes.
4. Procédé selon la revendication 1, dans lequel l'image source est un flux unique de P images bidimensionnelles unitaires comprenant au moins une première image source unitaire et une deuxième image source unitaire décalées temporellement, et dans lequel : - la première sous-image correspond à une partie au moins de la première image source, et - la deuxième sous-image correspond à une partie au moins de la deuxième image source.
5. Procédé selon la revendication 4, comprenant en outre une étape consistant à : - produire un ensemble de J images intermédiaires correspondant chacune à un dimensionnement d'une image source unitaire respective, - pour chaque image intermédiaire, sélectionner M parties de l'image intermédiaire pour produire M sous-images respectives, et -réaliser N vues, chaque vue correspondant à la projection de l'une des sous-images d'une image 25 intermédiaire donnée.
6. Procédé selon la revendication 5, dans lequel deux vues adjacentes correspondent à deux images intermédiaires consécutives temporellement. 30
7. Procédé selon :La revendication 5 ou 6, dans lequel les M sous-images sont toutes de mêmes dimensions, deux sous-images consécutives de chaque ensemble de M sous-images étant décalées spatialement d'un nombre D de pixels l'une par rapport à l'autre.
8. Procédé selon l'une quelconque des revendications 3 à 7, dans lequel le nombre D de pixels et/ou la valeur du décalage temporel entre la première image source et. la deuxième image source est réglable en dynamique.
9. Procédé selon l'une quelconque des revendications précédentes, dans lequel le nombre M de 15 sous-images est égal au nombre N de vues.
10. Procédé selon l'une quelconque des revendications précédentes, comprenant en outre une étape d'entrelacement, simultanée à l'une au moins des 20 étapes de production des images intermédiaires et de sélection des sous-images.
11. Programme d'ordinateur, comprenant des instructions de code de programme pour l'exécution des 25 étapes du procédé selon l'une quelconque des revendications précédentes, lorsque ledit programme est exécuté sur un ordinateur.
12. Dispositif de traitement d'images 30 susceptible de mettre en oeuvre le procédé selon l'une quelconque des revendications 1 à 10, le dispositifcomprenant un ordinateur piloté par un programme d'ordinateur selon la revendication 11, un ensemble d'au moins une mémoire pour l'enregistrement des images sources et/ou des images intermédiaires et/ou des sous-images, et un écran équipé de moyens autostéréoscopiques pour la diffusion de l'image autostéréoscopique.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0702411A FR2914437A1 (fr) | 2007-04-02 | 2007-04-02 | Procede de traitement d'image pour la synthese d'image autostereoscopique |
PCT/FR2008/000421 WO2008142235A1 (fr) | 2007-04-02 | 2008-03-27 | Procede de traitement d'image pour la synthese d'image autostereoscopique |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0702411A FR2914437A1 (fr) | 2007-04-02 | 2007-04-02 | Procede de traitement d'image pour la synthese d'image autostereoscopique |
Publications (1)
Publication Number | Publication Date |
---|---|
FR2914437A1 true FR2914437A1 (fr) | 2008-10-03 |
Family
ID=38753544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0702411A Withdrawn FR2914437A1 (fr) | 2007-04-02 | 2007-04-02 | Procede de traitement d'image pour la synthese d'image autostereoscopique |
Country Status (2)
Country | Link |
---|---|
FR (1) | FR2914437A1 (fr) |
WO (1) | WO2008142235A1 (fr) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0665697A2 (fr) * | 1994-02-01 | 1995-08-02 | SANYO ELECTRIC Co., Ltd. | Procédé pour la conversion d'images bidimensionnelles dans des images tridimensionnelles |
WO1997024000A1 (fr) * | 1995-12-22 | 1997-07-03 | Xenotech Research Pty. Ltd. | Procedes de codage et de conversion d'images |
WO2000030039A1 (fr) * | 1998-11-19 | 2000-05-25 | Push Entertainment Inc. | Systeme et procede permettant de creer des modeles 3d a partir de donnees d"images sequentielles 2d |
US20020191841A1 (en) * | 1997-09-02 | 2002-12-19 | Dynamic Digital Depth Research Pty Ltd | Image processing method and apparatus |
US20030128871A1 (en) * | 2000-04-01 | 2003-07-10 | Rolf-Dieter Naske | Methods and systems for 2D/3D image conversion and optimization |
US20050185048A1 (en) * | 2004-02-20 | 2005-08-25 | Samsung Electronics Co., Ltd. | 3-D display system, apparatus, and method for reconstructing intermediate-view video |
-
2007
- 2007-04-02 FR FR0702411A patent/FR2914437A1/fr not_active Withdrawn
-
2008
- 2008-03-27 WO PCT/FR2008/000421 patent/WO2008142235A1/fr active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0665697A2 (fr) * | 1994-02-01 | 1995-08-02 | SANYO ELECTRIC Co., Ltd. | Procédé pour la conversion d'images bidimensionnelles dans des images tridimensionnelles |
WO1997024000A1 (fr) * | 1995-12-22 | 1997-07-03 | Xenotech Research Pty. Ltd. | Procedes de codage et de conversion d'images |
US20020191841A1 (en) * | 1997-09-02 | 2002-12-19 | Dynamic Digital Depth Research Pty Ltd | Image processing method and apparatus |
WO2000030039A1 (fr) * | 1998-11-19 | 2000-05-25 | Push Entertainment Inc. | Systeme et procede permettant de creer des modeles 3d a partir de donnees d"images sequentielles 2d |
US20030128871A1 (en) * | 2000-04-01 | 2003-07-10 | Rolf-Dieter Naske | Methods and systems for 2D/3D image conversion and optimization |
US20050185048A1 (en) * | 2004-02-20 | 2005-08-25 | Samsung Electronics Co., Ltd. | 3-D display system, apparatus, and method for reconstructing intermediate-view video |
Also Published As
Publication number | Publication date |
---|---|
WO2008142235A1 (fr) | 2008-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8155456B2 (en) | Method and apparatus for block-based compression of light-field images | |
FR2782438A1 (fr) | Procede d'affichage autostereoscopique et image autostereoscopique | |
EP3005296B1 (fr) | Fusion de plusieurs flux vidéo | |
US9197877B2 (en) | Smart pseudoscopic-to-orthoscopic conversion (SPOC) protocol for three-dimensional (3D) display | |
RU2453922C2 (ru) | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) | |
JP2014056466A (ja) | 画像処理装置及び方法 | |
FR3017021A1 (fr) | Procede et dispositif pour generer, stocker, transmettre, recevoir et reproduire des cartes de profondeur en utilisant des composants couleur d'une image appartenant a un flux video tridimensionnel | |
JP2008257686A (ja) | 3次元シーンのライトフィールドを処理するための方法およびシステム | |
CN102131099A (zh) | 图像处理装置、图像处理方法和程序 | |
JP5446949B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2008518317A (ja) | 視差マップ | |
US20100156897A1 (en) | System and Method For Adaptive Scalable Dynamic Conversion, Quality and Processing Optimization, Enhancement, Correction, Mastering, And Other Advantageous Processing of Three Dimensional Media Content | |
FR3012000A1 (fr) | Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques | |
JP2010226500A (ja) | 立体画像表示装置および立体画像表示方法 | |
Birklbauer et al. | Light‐Field Retargeting | |
FR3002104A1 (fr) | Procede pour generer, transmettre et recevoir des images stereoscopiques, et dispositifs connexes | |
Park et al. | Viewpoint vector rendering for efficient elemental image generation | |
KR20110082531A (ko) | 화상 처리 장치 및 방법, 화상 재생 장치 및 방법, 그리고 프로그램 | |
KR101289283B1 (ko) | 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법 | |
FR2914437A1 (fr) | Procede de traitement d'image pour la synthese d'image autostereoscopique | |
EP2987319A1 (fr) | Procede de generation d'un flux video de sortie a partir d'un flux video large champ | |
FR2968108A1 (fr) | Procede de reduction de la taille d’une image stereoscopique | |
EP2761876A1 (fr) | Méthode et dispositif de filtrage d'une carte de disparité | |
KR102414377B1 (ko) | 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법 | |
KR20090091909A (ko) | 원형매핑 모델과 보간법을 복합 사용하여 부피형 3차원영상 재생 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
SN | Distraint notified (in the national patent register) | ||
SN | Distraint notified (in the national patent register) | ||
ST | Notification of lapse |
Effective date: 20091231 |
|
RN | Application for restoration | ||
FC | Decision of inpi director general to approve request for restoration |