FR2795849A1 - Codage et decodage de donnees stereoscopiques - Google Patents

Abstract

L'invention concerne un procédé de codage d'images stéréoscopiques, chaque image stéréoscopique comportant au moins une composante de bande spectrale, caractérisé en ce qu'il comporte les étapes de :- formation de composantes de bandes spectrales d'un unique signal monoscopique à coder, à partir des composantes de bandes spectrales des images stéréoscopiques,- codage des composantes de bandes spectrales précédemment construites selon un mode de codage adapté à coder les composantes de bandes spectrales d'un signal monoscopique.

Description

La présente invention concerne le codage et le décodage de données stéréoscopiques, et plus particulièrement d'images stéréoscopiques, que ce soit des images fixes ou animées. Des procédés de codage d'images stéréoscopiques ont été conçus, par exemple tels que décrits dans l'article Stereo image coding : a projection approach paru dans IEEE Transactions on Image Processing, Vol. 7, N 4, Avril 1998. Cependant, ces procédés ont comme point commun d'être spécifiques aux données stéréoscopiques, et de ne pas être normalisés. Cela rend donc difficile l'échange de ces données stéréoscopiques codées.

Pour remédier à cela, le document US 5 774 589 propose un procédé de codage d'images stéréoscopiques qui code l'une des images stéréoscopiques selon le mode JPEG (Joint Photographic Experts Group) et la différence des images stéréoscopiques également selon le mode JPEG. Le résultat de codage est donc deux fichiers de données au format JPEG. Ces deux fichiers peuvent être facilement transmis et traités. Cependant, la gestion de deux fichiers est plus complexe que celle d'un unique fichier.

La présente invention vise à remédier aux inconvénients de la technique antérieure, en fournissant un procédé et un dispositif de codage de données stéréoscopiques qui utilise un mode de codage connu, tout en ne produisant qu'un unique fichier de données codées.

A cette fin, l'invention propose un procédé de codage d'images stéréoscopiques, chaque image stéréoscopique comportant au moins une composante de bande spectrale, caractérisé en ce qu'il comporte les étapes de -formation de composantes de bandes spectrales d'un unique signal monoscopique à coder, à partir des composantes de bandes spectrales des images stéréoscopiques, - codage des composantes de bandes spectrales précédemment construites selon un mode de codage adapté à coder les composantes de bandes spectrales d'un signal monoscopique.

Corrélativement, l'invention concerne un dispositif de codage d'images stéréoscopiques, chaque image stéréoscopique comportant au moins une composante de bande spectrale, caractérisé en ce qu'il comporte - des moyens de formation de composantes de bandes spectrales d'un unique signal monoscopique à coder, à partir des composantes de bandes spectrales des images stéréoscopiques, - des moyens de codage des composantes de bandes spectrales précédemment construites selon un mode de codage adapté à coder les composantes de bandes spectrales d'un signal monoscopique.

L'invention permet de produire un unique fichier de données codées. Sa gestion ultérieure est ainsi simplifiée par rapport à la technique antérieure.

En outre, les données codées peuvent être facilement traitées avec des méthodes mises au point pour les images monoscopiques. Par exemple, les données codées peuvent être traitées pour être affichées comme une image monoscopique, avec quelques artefacts visuels ou encore être transformées en imagettes.

Selon des caractéristiques préférées et alternatives, l'étape de codage comporte un codage d'image fixe monoscopique ou un codage d'images animées monoscopiques.

Le mode de codage utilisé est un mode largement utilisé, par exemple appartenant à la famille JPEG, ou MPEG (Motion Picture Experts Group).

Les données codées peuvent être échangées facilement, puisque le mode de codage est un mode classique, connu de tous.

Selon une autre caractéristique préférée, les composantes de bandes spectrales du signal monoscopique sont respectivement formées par identité avec l'une des composantes de bandes spectrales des images stéréoscopiques. Cette formation est simple et rapide à mettre en ceuvre.

Selon d'autres caractéristiques préférées et alternatives, le mode de codage est adapté à coder un nombre prédéterminé de composantes de bandes spectrales ou un nombre réglable de composantes de bandes spectrales, et le procédé comporte en outre dans le second cas la sélection du nombre de composantes de bandes spectrales à coder par le mode de codage.

Le dispositif de codage comporte des moyens de mise en oeuvre des caractéristiques précédemment exposées.

L'invention concerne aussi un procédé de décodage d'images stéréoscopiques codées selon le procédé précédemment exposé, caractérisé en ce qu'il comporte les étapes de - décodage des composantes de bandes spectrales du signal monoscopique, - formation des composantes de bandes spectrales des images stéréoscopiques décodées à partir des composantes de bandes spectrales précédemment décodées.

L'invention concerne encore un dispositif de décodage comportant des moyens de mise en ceuvre des caractéristiques précédentes.

L'invention concerne aussi un appareil numérique incluant le dispositif de codage ou de décodage ou des moyens de mise en ceuvre du procédé de codage ou de décodage. Cet appareil numérique est par exemple un appareil photographique numérique, un ordinateur, un télécopieur, un photocopieur, un scanner ou une imprimante.

Les avantages du dispositif et de l'appareil numérique sont identiques à ceux précédemment exposés.

Un moyen de stockage d'information, lisible par un ordinateur ou par un microprocesseur, intégré ou non au dispositif, éventuellement amovible, mémorise un programme mettant en oeuvre le procédé de codage ou de décodage. Les caractéristiques et avantages de la présente invention apparaîtront plus clairement à la lecture de plusieurs modes préférés de réalisation illustrés par les dessins ci-joints, dans lesquels - la figure 1 représente des images stéréoscopiques, - la figure 2 est un bloc diagramme d'un mode de réalisation d'un dispositif de codage de signal numérique selon l'invention, - la figure 3 est un bloc diagramme d'un mode de réalisation d'un dispositif de décodage de signal numérique selon l'invention, - la figure 4 est un bloc diagramme d'un autre mode de réalisation d'un dispositif de codage de signal numérique selon l'invention, - la figure 5 est un bloc diagramme d'un autre mode de réalisation d'un dispositif de décodage de signal numérique selon l'invention, - la figure 6 représente un mode de réalisation du dispositif de codage et/ou de décodage selon l'invention, - la figure 7 est un algorithme de codage d'un signal numérique selon l'invention, - la figure 8 est un algorithme de décodage d'un signal numérique selon l'invention.

En référence à la figure 1, des images stéréoscopiques IL et IR sont deux vues, respectivement gauche et droite, d'une même scène. Les images IL et IR correspondent l'une à ce que voit l'oeil gauche et l'autre à ce que voit l'oeil droit d'une personne. Les images IL et IR sont des images à niveaux de gris et ont la même taille.

Selon le mode de réalisation choisi et représenté à la figure 2, un dispositif de codage selon l'invention est destiné à coder un signal numérique dans le but de le compresser. Le dispositif de codage est intégré dans un appareil 100, qui est par exemple un appareil photographique numérique, ou un camescope numérique, ou un système de gestion de base de données, ou encore un ordinateur.

Le signal numérique à compresser SI est dans ce mode particulier de réalisation une suite d'échantillons numériques représentant des images stéréoscopiques. Le dispositif comporte une source de signal 1, ici de signal d'images stéréoscopiques. De manière générale, la source de signal soit contient le signal numérique, et est par exemple une mémoire, un disque dur ou un CD-ROM, soit convertit un signal analogique en signal numérique, et est par exemple un camescope analogique associé à un convertisseur analogique- numérique. Des sorties 1<B>1</B> de la source de signal sont reliées à des entrées d'un mélangeur 2.

Le mélangeur 2 a des sorties 21 reliées à des entrées d'un circuit de codage 3. Le mélangeur a pour fonction de former des composantes de bande spectrale d'une unique image multispectrale à partir des images stéréoscopiques IL et IR. Le mélangeur 2 reçoit les deux images IL et IR et les fournit au circuit de codage 3 comme si les deux images IL et IR étaient des composantes de bande spectrale d'une unique image multispectrale. Par exemple, ces composantes multispectrales sont les composantes rouge R, verte G et bleue B d'une image en couleur. Selon l'invention, les relations entre les deux images IL et IR et les composantes R, G, B sont R = IR G=IL B=IL Le codeur 3 est classique et comporte un circuit de transformation couleur 31 dont les sorties 31, sont reliées à un circuit de compression 32.

Le circuit de transformation couleur 31 transforme les composantes multispectrales R, G, B en une composante de luminance Y et deux composantes de chrominance U et V. Il est à noter que le nombre de composantes multispectrales que peut traiter le codeur 3 est ici fixe et égal à trois.

La transformation est effectuée selon les relations suivantes Y=0,3xR+0,6xG+0,1 xB U=0,7xR-0,6xG-0,1 xB V=-0,3xR-0,6xG+0,9xB En remplaçant les composantes multispectrales R, G, B par les images IL et IR, on aboutit aux relations Y=0,3xIR+0,7xIL U = 0,7 x (IR - IL) V = -0,3 x (IR - IL) Les composantes Y, U et V sont compressées par le circuit de compression 32 qui effectue un codage de type JPEG (Joint Photographic Experts Group). Le résultat du codage est un unique fichier contenant les données compressées au format JPEG.

Une sortie 32, du circuit de compression 32 est relié à un circuit d'exploitation 4, qui est par exemple un circuit de transmission ou de stockage. En référence à la figure 3, le dispositif de décodage réalise globalement des opérations inverses de celles du dispositif de codage. Le dispositif de décodage est intégré dans un appareil 200, qui est par exemple un lecteur d'image numérique, ou de séquence vidéo numérique, ou un système de gestion de base de données, ou encore un ordinateur.

Un même appareil peut comporter à la fois le dispositif de codage et le dispositif de décodage selon l'invention, de manière à effectuer des opérations de codage et de décodage.

Le dispositif de décodage comporte une source de données codées 10 qui comporte par exemple un circuit de réception associé à une mémoire tampon.

Une sortie 101 du circuit 10 est reliée à un circuit de décodage 11. Le circuit de décodage 11 a des sorties 11, reliées à un séparateur 12. Le circuit de décodage est classique et décode le fichier selon un mode de décodage qui dépend du mode de codage utilisé par le circuit 3, ici un mode JPEG, pour fournir des composantes de bandes spectrales décodées Rdec, Gdec <B>et</B> Bdec au séparateur 12.

Le séparateur 12 comporte des sorties 12, reliées à un circuit d'exploitation 13, tel qu'un appareil de visualisation d'images stéréoscopiques. Le séparateur 12 reçoit les composantes de bandes spectrales décodées Rdec, Gdec et Bdec et fournit des images stéréoscopiques décodées ILdec et IRdec au circuit 13. Les relations entre les composantes de bandes spectrales décodées Rdec, Gdec et Bdec et les images stéréoscopiques décodées ILdec et lRdec dépendent des relations entre les composantes de bandes spectrales et les images stéréoscopiques avant codage. Dans cet exemple, les relations sont les suivantes IRdec = Rdec ILdec = Gdec En variante, le dispositif de codage et le dispositif de décodage traitent des séquences d'images vidéo à niveaux de gris. Le principe de codage et de décodage est similaire, à la différence près que les valeurs traitées varient temporellement. Le codage est par exemple de type MPEG2 (Motion Picture Expert Group). Dans tous les cas, deux images stéréoscopiques sont codées comme les composantes spectrales d'une unique image monospectrale. Le décodage de cette image monospectrale permet de retrouver les images stéréoscopiques.

En référence à la figure 4, un autre mode de réalisation de dispositif de codage se différencie du précédent par le fait qu'il reçoit des images stéréoscopiques composées chacune de trois composantes spectrales, par exemple rouge, verte et bleue, ILR, ILS et ILB pour l'image gauche et IRR, IRA et IRB pour l'image droite.

Par rapport à la figure 2, les mêmes références numériques, auxquelles est ajoutée la lettre a , sont utilisées.

Le codeur 3a est ici choisi pour pouvoir traiter plus de trois composantes spectrales d'une image monoscopique. Par exemple, le nombre de composantes spectrales est réglable et est choisi égal à six.

Le mélangeur fait simplement correspondre chaque composante des images stéréoscopiques à l'une des composantes spectrales B1 à B6 en entrée du codeur 3a.

La figure 5 représente le dispositif de décodage correspondant au dispositif de codage précédent. Par rapport à la figure 3, les mêmes références numériques, auxquelles la lettre a est ajoutée, sont utilisées.

Le décodeur 11a effectue des opérations de décodage correspondant aux opérations de codage du codeur 3a. Le décodeur<B>1</B> 1a fournit six composantes spectrales B1dec à B6dec au séparateur 12a qui les fait correspondre aux composantes spectrales ILRdec, ILGdec, ILBdec, IRRdec, IRGdec et IRBdec des images stéréoscopiques décodées.

En référence à la figure 6, est décrit un exemple de dispositif 300 mettant en ceuvre l'invention. Ce dispositif est adapté à coder et/ou décoder des images stéréoscopiques.

Le dispositif 300 est ici un micro-ordinateur comportant un bus de communication 101 auquel sont reliés - une unité centrale 105, - une mémoire morte 102, - une mémoire vive 103, - un écran 104, - un clavier 114, - un disque dur 108, - un lecteur de disquette 109 adapté à recevoir une disquette 110, -une interface 112 de communication avec un réseau de communication 113, - une carte d'entrée/sortie 106 reliée à un microphone 111.

Le disque dur 108 mémorise les programmes mettant en ceuvre l'invention, et qui seront décrits dans la suite, ainsi que les données à coder et les données codées selon l'invention. Ces programmes peuvent aussi être lus sur la disquette 110, ou reçu via le réseau de communication 113, ou encore mémorisé en mémoire morte 102.

De manière plus générale, les programmes selon la présente invention sont mémorisés dans un moyen de stockage. Ce moyen de stockage est lisible par un ordinateur ou par un microprocesseur. Ce moyen de stockage est intégré ou non au dispositif, et peut être amovible. Par exemple, il peut comporter une bande magnétique, une disquette ou un CD-ROM (disque compact à mémoire figée).

Lors de la mise sous tension du dispositif, les programmes selon la présente invention sont transférés dans la mémoire vive 103 qui contient alors le code exécutable de l'invention et des registres contenant les variables nécessaires à la mise en ceuvre de l'invention. La mémoire vive inclut une mémoire tampon.

Le dispositif 300 peut recevoir des données à coder depuis un dispositif périphérique 107, tel qu'un appareil photographique numérique, ou un scanner, ou tout autre moyen d'acquisition ou de stockage de données.

Le dispositif 300 peut également recevoir des données à coder ou à décoder depuis un dispositif distant, via le réseau de communication 113, et transmettre des données codées vers un dispositif distant, toujours via le réseau de communication 113.

L'écran 104 permet à un utilisateur notamment de visualiser les données à coder, et sert, avec le clavier 114, d'interface utilisateur.

En référence à la figure 7, un procédé de codage selon l'invention de deux images stéréoscopiques IL et IR, mis en oeuvre dans le dispositif de codage, comporte des étapes E1 à E9.

L'algorithme de codage peut être mémorisé en totalité ou en partie dans tout moyen de stockage d'information capable de coopérer avec le microprocesseur. Ce moyen de stockage est lisible par un ordinateur ou par un microprocesseur. Ce moyen de stockage est intégré ou non au dispositif, et peut être amovible. Par exemple, il peut comporter une bande magnétique, une disquette ou un CD-ROM (disque compact à mémoire figée).

L'étape E1 est la lecture des données stéréoscopiques IL et IR. L'étape suivante E2 est un test pour déterminer si les données à coder sont des images en couleurs.

Si la réponse est négative, alors l'étape E2 est suivie de l'étape E3 qui est un test pour déterminer si le nombre de bandes spectrales traitées par le codeur peut être réglé.

Si la réponse est négative, alors l'étape E3 est suivie de l'étape E4 qui est le mélange des images stéréoscopiques tel que réalisé par le mélangeur 2 (figure 2). Par exemple, tel que précédemment décrit, on a les relations R=IRetG=B=IL. L'étape E4 est suivie de l'étape E5 qui est la transmission des signaux de bandes spectrales R, G et B vers le codeur. L'étape suivante E9 est le codage des signaux de bandes spectrales R, G et B.

Si la réponse est positive à l'étape E2, les images stéréoscopiques à coder sont en couleurs et comportent par conséquent chacune trois composantes spectrales. L'étape E2 est alors suivie de l'étape E6 qui est un test pour déterminer si le nombre de bandes spectrales traitées par le codeur peut être réglé.

Si la réponse est négative, alors le codage est impossible et le traitement est terminé.

Si la réponse est positive à l'étape E6, alors cette étape est suivie de l'étape E7. De même, en cas de réponse positive à l'étape E3, cette dernière est suivie de l'étape E7.

L'étape E7 est la déclaration du nombre de bandes spectrales en entrée du codeur. Ce nombre est égal à deux si les images stéréoscopiques sont à niveaux de gris, et à six si les images stéréoscopiques sont en couleurs, de type rouge, vert et bleu, par exemple.

L'étape E7 est suivie de l'étape E8 qui est la transmission des bandes spectrales en entrée du codeur. A chaque bande spectrale correspond soit une image stéréoscopique pour des images à niveaux de gris, soit une composante spectrale d'une image stéréoscopique pour des images en couleur.

L'étape E8 est suivie de l'étape E9 qui est le codage des données. Le codage fait de préférence appel à un procédé connu de codage, tel que JPEG ou MPEG, par exemple, et a pour résultat un unique fichier de données codées.

La figure 8 représente l'algorithme de décodage mis en ceuvre dans le dispositif de décodage, et qui comporte des étapes E20 à E27. L'algorithme de décodage peut être mémorisé en totalité ou en partie dans tout moyen de stockage d'information capable de coopérer avec le microprocesseur. Ce moyen de stockage est lisible par un ordinateur ou par un microprocesseur. Ce moyen de stockage est intégré ou non au dispositif, et peut être amovible. Par exemple, il peut comporter une bande magnétique, une disquette ou un CD-ROM (disque compact à mémoire figée).

L'étape E20 est la lecture des données à décoder. L'étape suivante E21 est le décodage des données. Le mode de décodage dépend du mode de codage utilisé lors de la compression des données.

L'étape suivante E22 est un test pour déterminer si les données décodées représentent des images en couleurs. Si la réponse est négative, alors l'étape E22 est suivie de l'étape E23 qui est un test pour déterminer si le nombre de bandes spectrales traitées par le décodeur peut être réglé.

Si la réponse est négative, alors on est dans le cas de la figure 3 et l'étape E23 est suivie de l'étape E24 à laquelle les images stéréoscopiques sont séparées. Pour cela, les relations suivantes sont utilisées : lRdec = Rdec et ILdec = Gdec.

Si la réponse est positive à l'étape E23, alors cette étape est suivie de l'étape E25 à laquelle les images stéréoscopiques sont séparées. Pour cela, on utilise les relations inverses de celles utilisées à l'étape E8.

L'étape E24 et l'étape E25 sont suivies de l'étape E26 à laquelle les images stéréoscopiques décodées sont exploitées, par exemple pour être affichées, ou pour subir un autre traitement.

Si la réponse est positive à l'étape E22, alors les données décodées sont des images en couleurs. L'étape E22 est alors suivie de l'étape E27 qui est un test pour déterminer si le nombre de bandes spectrales que peut traiter le décodeur est réglable. Si la réponse est positive, on est dans le cas de la figure 5 et l'étape E27 est suivie de l'étape E25 précédemment décrite. Si la réponse est négative, alors il ne sera pas possible de retrouver les images stéréoscopiques et le décodage est terminé.

Bien entendu, la présente invention n'est nullement limitée aux modes de réalisation décrits et représentés, mais englobe, bien au contraire, toute variante à la portée de l'homme du métier.

Claims (20)

<U>REVENDICATIONS</U>

1. Procédé de codage d'images stéréoscopiques, chaque image stéréoscopique comportant au moins une composante de bande spectrale, caractérisé en ce qu'il comporte les étapes de - formation de composantes de bandes spectrales d'un unique signal monoscopique à coder, à partir des composantes de bandes spectrales des images stéréoscopiques, - codage des composantes de bandes spectrales précédemment construites selon un mode de codage adapté à coder les composantes de bandes spectrales d'un signal monoscopique.

2. Procédé de codage selon la revendication 1, caractérisé en ce que l'étape de codage comporte un codage d'image fixe monoscopique.

3. Procédé de codage selon la revendication 1, caractérisé en ce que l'étape de codage comporte un codage d'images animées monoscopiques.

4. Procédé de codage selon l'une quelconque des revendications 1 à 3, caractérisé en ce que les composantes de bandes spectrales du signal monoscopique sont respectivement formées par identité avec l'une des composantes de bandes spectrales des images stéréoscopiques.

5. Procédé de codage selon l'une quelconque des revendications 25 1 à 4, caractérisé en ce que le mode de codage est adapté à coder un nombre prédéterminé de composantes de bandes spectrales.

6. Procédé de codage selon l'une quelconque des revendications 1 à 4, caractérisé en ce que le mode de codage est adapté à coder un nombre réglable de composantes de bandes spectrales, et en ce que le procédé comporte en outre la sélection du nombre de composantes de bandes spectrales à coder par le mode de codage.

7. Procédé de décodage d'images stéréoscopiques codées selon le procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il comporte les étapes de - décodage des composantes de bandes spectrales du signal monoscopique, - formation des composantes de bandes spectrales des images stéréoscopiques décodées à partir des composantes de bandes spectrales précédemment décodées.

8. Dispositif de codage d'images stéréoscopiques, chaque image stéréoscopique comportant au moins une composante de bande spectrale, caractérisé en ce qu'il comporte - des moyens de formation de composantes de bandes spectrales d'un unique signal monoscopique à coder, à partir des composantes de bandes spectrales des images stéréoscopiques, - des moyens de codage des composantes de bandes spectrales précédemment construites selon un mode de codage adapté à coder les composantes de bandes spectrales d'un signal monoscopique.

9. Dispositif de codage selon la revendication 8, caractérisé en ce que les moyens de codage sont adaptés à mettre en ceuvre un codage d'image fixe monoscopique.

10. Dispositif de codage selon la revendication 8, caractérisé en ce que les moyens de codage sont adaptés à mettre en oeuvre un codage d'images animées monoscopiques.

11. Dispositif de codage selon l'une quelconque des revendications 8 à 10, caractérisé en ce que les moyens de formation sont adaptés à former respectivement les composantes de bandes spectrales du signal monoscopique par identité avec l'une des composantes de bandes spectrales des images stéréoscopiques.

12. Dispositif de codage selon l'une quelconque des revendications 8 à 11, caractérisé en ce que les moyens de codage sont adaptés à coder un nombre prédéterminé de composantes de bandes spectrales.

13. Dispositif de codage selon l'une quelconque des revendications 8 à 11, caractérisé en ce que les moyens de codage sont adaptés à coder un nombre réglable de composantes de bandes spectrales, et en ce que le dispositif comporte en outre des moyens de sélection du nombre de composantes de bandes spectrales à coder par les moyens de codage.

14. Dispositif de codage selon l'une quelconque des revendications 8 à 13, caractérisé en ce que les moyens de formation et de codage sont incorporés dans <B>-</B>un microprocesseur (100), - une mémoire morte (102) comportant un programme pour coder les données, et - une mémoire vive (103) comportant des registres adaptés à enregistrer des variables modifiées au cours de l'exécution dudit programme

15. Dispositif de décodage d'images stéréoscopiques codées par le dispositif selon l'une quelconque des revendications 8 à 14, caractérisé en ce qu'il comporte - des moyens de décodage des composantes de bandes spectrales du signal monoscopique, - des moyens de formation des composantes de bandes spectrales des images stéréoscopiques décodées à partir des composantes de bandes spectrales précédemment décodées.

16. Dispositif de décodage selon la revendication 17, caractérisé en ce que les moyens de décodage et de formation sont incorporés dans - un microprocesseur (100), - une mémoire morte (102) comportant un programme pour décoder les données, et - une mémoire vive (103) comportant des registres adaptés à enregistrer des variables modifiées au cours de l'exécution dudit programme.

17. Appareil (10) de traitement de signal numérique, caractérisé en ce qu'il comporte des moyens adaptés à mettre en oeuvre le procédé de codage selon l'une quelconque des revendications 1 à 6.

18. Appareil (10) de traitement de signal numérique, caractérisé en ce qu'il comporte des moyens adaptés à mettre en oeuvre le procédé de décodage selon la revendication 7.

19. Appareil (10) de traitement de signal numérique, caractérisé en ce qu'il comporte le dispositif de codage selon l'une quelconque des revendications 8 à 14.

20. Appareil (10) de traitement de signal numérique, caractérisé en ce qu'il comporte le dispositif de décodage selon l'une quelconque des revendications 15 à 16.