FR3013492A1 - Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d - Google Patents

Abstract

Un procédé utilise une collection d'images photographiques d'un objet prises à différents angles de vue, avec un ensemble de paramètres géographiques importants pour chaque trame des images photos, à associer avec les données de modélisation 3D de l'objet, pouvant être utilisé pour présenter une image 3D photoréaliste de grande qualité en temps réel sur un appareil informatique. Il fournit également des données de géométrie 3D pour des applications physiques en utilisant un système de prise de photo automatique ou manuelle et les données de modélisation 3D importées du même objet avec le même système matériel ou à partir d'un système de scannage de géométrie 3D indépendant, puis il compose ces informations dans un ensemble complet de fichiers avec un outil logiciel manuel, semi-automatique ou automatique, et il les présente avec un programme de visualisation dans un environnement 3D. Il peut également être étendu au système stéréoscopique et proposer des capacités de manipulations physiques en temps réel pour des effets visuels réalistes de grande qualité.

Description

ORTERY TECHNOLOGIES, Inc. New Taipei City, Taiwan, R.O.C. PROCEDE UTILISANT DES DONNEES DE GEOMETRIE 3D POUR UNE PRESENTATION ET UNE COMMANDE D'IMAGE DE REALITE VIRTUELLE DANS UN ESPACE 3D DOMAINE DE L'INVENTION La présente invention concerne de manière générale le domaine des présentations photographiques 3D. Les techniques de réalité virtuelle sont utilisées pour représenter des images photos de grande qualité. La présente invention profite également des avantages des technologies de modélisation 3D pour fournir des données de géométrie pour une mesure physique ou une commande, et elle sera utilisée dans des applications de réalité améliorée. Elle peut également s'étendre au système d'affichage stéréoscopique pour des applications en temps réel.

DESCRIPTION DE L'ART CONNEXE La réalité virtuelle utilise un ensemble d'images photos pour représenter l'objet continu vu sous différents angles de vue. Elle propose des images photos de grande qualité pour des applications de présentation. Néanmoins, avec un nombre limité de trames photos, les angles de vue sont limités à un nombre discret de positions de prise de photos, ce qui donne des animations irrégulières. Les images photos ne se composent pas de données de géométrie. Elles ne peuvent pas être alignées avec précision dans une présentation, et elles ne peuvent pas être utilisées dans des applications associées physiques pour une mesure ou pour une commande.

La modélisation 3D constitue une autre approche de présentation d'un objet continu. Elle comporte des informations de géométrie qui peuvent être utilisées pour des applications physiques, y compris pour des applications de réalité améliorée. Néanmoins, pour obtenir les données de géométrie précises et pour les présenter avec des techniques de mappage de texture en vue d'une présentation de bonne qualité, le coût de l'acquisition des données de géométrie et de l'enregistrement de la grande quantité d'images de texture est très élevé. Il est également difficile d'effectuer le rendu photoréaliste en temps réel avec des appareils informatiques personnels de faibles performances.

Il existe un besoin pour produire des présentations de réalité virtuelle photoréalistes ayant une grande qualité d'image pour des applications commerciales. Il existe également un besoin pour inclure les informations de géométrie pour des applications physiques de réalité améliorée, particulièrement pour les ordinateurs personnels de bureau ou pour les appareils mobiles comme des tablettes PC et des smartphones. Pour fournir la grande qualité de visualisation et les informations physiques, la combinaison des mérites de deux approches différentes de réalité virtuelle et de modélisation 3D constitue une manière d'apporter des solutions économiques et de répondre à l'exigence de qualité avec les appareils informatiques disponibles. La présente invention atteint ces objectifs et peut être mise en oeuvre avec des appareils informatiques et des systèmes mécaniques existants.

RESUME DE L'INVENTION Selon un aspect de la présente invention, il est décrit un procédé de combinaison d'un ensemble de trames photos avec un ensemble d'informations de géométrie, ainsi qu'une manière systématique de présenter les photos 2D dans un espace 3D dans une fenêtre de visualisation d'un appareil informatique. La relation mathématique entre les paramètres associés aux trames d'images et la transformation de visualisation de l'objet continu dans l'espace de présentation 3D sont décrites.

Selon un autre aspect de l'invention, il est décrit un système se composant d'un système mécanique de commande informatique pour effectuer l'acquisition automatique des images photos à différents angles de vue. Il est également décrit un sous-système de scannage de données de géométrie 3D basé sur divers appareils de scannage optique ou une caméra de prise de photos pour effectuer l'extraction de données de géométrie 3D par silhouette ou par bandes de référencement. Selon un autre aspect de l'invention, il est décrit un système logiciel se composant d'un poste de travail, d'un système de stockage et d'un serveur distant, ainsi que le dispositif de visualisation client pour mettre en oeuvre l'invention. Un programme logiciel pour composer les trames photos 2D avec les données de géométrie 3D scannées pour produire manuellement ou automatiquement un ensemble de paramètres de commande est décrit. Un programme logiciel pour charger les données d'images et de géométrie et pour effectuer la visualisation, la mesure et la commande de l'objet continu photoréaliste est décrit. Selon un autre aspect de l'invention, il est décrit une extension du système matériel et logiciel pour mettre en oeuvre la fonction d'affichage stéréoscopique et de commande. BREVE DESCRIPTION DES FIGURES La présente invention va être décrite ci-après en référence aux dessins annexés. La description détaillée peut porter sur un système plus abstrait qui n'est pas limité par les figures visuelles. La figure 1 représente une présentation d'image de réalité virtuelle dans un espace 3D avec des données de modélisation 3D, avec la relation entre l'objet réel, la fenêtre de visualisation, l'image de haute résolution, le maillage 3D et le spectateur. La figure 2 représente la mise en oeuvre d'un système de réalité virtuelle 3D, avec le système mécanique d'acquisition d'images et de données 3D, l'ordinateur de composition, le serveur de données et de programme et les appareils de visualisation client. La figure 3 représente un schéma de principe du système d'acquisition, de composition et de visualisation de données, avec le procédé d'acquisition des données, les données à enregistrer, le programme de composition et le programme de visualisation. La figure 4 représente le système d'acquisition d'images photos, avec le système mécanique d'acquisition de photos et le flux de travail de fichiers d'images produits. La figure 5 représente l'acquisition de données de modélisation 3D par une caméra photo ou un scanner 3D, avec le système mécanique de caméras photos ou de scanner 3D et le flux de travail des données de géométrie 3D produites. La figure 6 représente un schéma du système d'intégration de données 3D, avec l'intégration trame par trame des données de géométrie 3D et des photos 2D pour affecter les six variables de degrés de liberté aux images, ainsi que les trames de référence nécessaires pour effectuer le processus automatique. La figure 7 représente l'ajustement des paramètres de trame par mise à l'échelle, translation et rotation, avec l'interface utilisateur pour ajuster les six variables ou leurs données correspondantes à chacune des trames (trois procédures majeures d'ajustement à mettre en oeuvre). La figure 8 représente la génération automatique des paramètres pour toutes les trames, avec l'interface utilisateur pour ajuster les six variables ou leurs données correspondantes à chacune des trames (trois procédures majeures d'ajustement à mettre en oeuvre). 30 La figure 9 représente un système de fichiers d'imagerie, de données 3D et de profilage, ainsi qu'un organigramme de programme de visualisation, avec le fichier de données générées et les fichiers correspondants d'imagerie et de données de géométrie ; l'organigramme de programme de visualisation représentant le 35 chargement des images et des données. 20 25 La figure 10 représente le programme de visualisation avec la présentation 3D et la commande, les fonctions et les commandes du programme de visualisation pour l'utilisateur final, la structure de ressources de données pour une présentation de haute résolution et les techniques de morphing pour un fonctionnement régulier. La figure 11 représente une extension au système stéréoscopique, le même système étant utilisé pour prendre un double ensemble de photos d'image avec des trames conformes aux spécifications pour l'affichage et la commande stéréoscopique. DESCRIPTION DES FORMES DE REALISATION PRISES EN EXEMPLE Il va être fait ci-après référence en détail à des modes de réalisation spécifiques de 15 la présente invention. Des exemples de ces modes de réalisation sont illustrés sur les dessins annexés. Bien que l'invention soit décrite en relation avec ces modes de réalisation spécifiques, il faut bien comprendre que cela n'est pas destiné à limiter l'invention à ces modes de réalisation. En effet, l'invention est destinée à englober toutes les variantes, les modifications et les équivalences conformes à l'esprit et au 20 périmètre de l'invention comme cela est défini par les revendications annexées. Dans la description ci-après, de nombreux détails spécifiques sont présentés pour apporter une compréhension complète de la présente invention. La présente invention peut être mise en pratique sans une partie ou l'intégralité de ces détails spécifiques. Dans d'autres cas, des opérations de traitement bien connues ne sont 25 pas décrites en détail pour ne pas alourdir la présente invention. En outre, dans tous les modes de réalisation ci-après, les composants identiques ou similaires illustrés dans différents modes de réalisation portent les mêmes symboles de référence. 30 La figure 1 représente un procédé 100 pour une image photo 2D 108 avec un mappage projeté sur la fenêtre de visualisation 2D 106. L'image photo 2D 108 est mise en correspondance avec un maillage 3D 110 en utilisant une transformation matricielle avec six degrés de liberté pour un objet 35 continu 102 ou connu en tant qu'objet continu. Dans les présentes, l'objet continu 10 est illustré de manière exemplaire sous forme d'une tasse, mais il peut s'agir de n'importe quel autre objet continu, comme une chaussure ou une ampoule d'éclairage, dans d'autres modes de réalisation non illustrés. Les paramètres de géométrie générés à partir d'un scanner 3D peuvent construire un maillage 3D 110.

Le spectateur 104 visualise et commande les images de manière interactive. Les images 2D peuvent être zoomées avec des échelles s, inclinées avec les coordonnées d'écran (x, y) et tournées d'un angle w, en plus des angles (6, cp) représentés par un ensemble de trames à chacune des positions de colonnes et de rangées. La figure 2 représente une mise en oeuvre 120 comportant un système informatique 126 pour une commande mécanique, un traitement d'images et une composition de données. Un système d'acquisition photo 121 se compose d'une plate-forme rotative recommandée 122 et d'un dispositif à plusieurs bras 124 avec des caméras 123 se déplaçant dans une direction cp avec un zoom optique et une inclinaison commandés pour prendre des photos à différentes positions (6, cp) de l'objet continu 102.

Un sous-système de scanner 3D 128 (avec amélioration matérielle ou logicielle) est inclus pour l'acquisition des données de géométrie 3D qui peuvent être construites dans un maillage 3D 110 (comme cela est représenté sur la figure 1). Le sous-système de scanner 128 peut être remplacé par des caméras 123 si une photogrammétrie avec la silhouette de l'image photo 2D 108 (comme cela est représenté sur la figure 1) est utilisée pour la modélisation 3D. Le système informatique 126 compose l'image photo 2D 108 et le maillage 3D 110 et les envoie par le réseau Internet 130 à un système de stockage de réseau et de serveur distant 134 en liaison avec le réseau Internet 130.

Un dispositif client relié à l'Internet 132, comme un PC, une tablette PC ou un smartphone, doté d'un logiciel de visualisation et de commande est utilisé pour visualiser et commander de manière interactive l'image photo 2D 108 et le maillage 3D 110.35 La figure 3 représente un schéma de principe 140 indiquant comment les données sont acquises, traitées, stockées puis utilisées par la visionneuse du côté client. Dans le bloc 142, des images photos 2D sont acquises trame par trame à chaque position de visualisation, puis elles subissent un prétraitement pour enlever facultativement l'arrière-plan d'image, ou elles sont compressées au format JPEG avec des informations hiérarchiques de résolution de pixels et de transparence. Enfin, elles sont enregistrées dans un fichier d'image photo 2D comme cela est représenté dans le bloc 144.

Dans le bloc 146, des données de géométrie 3D sont scannées à différentes positions de vue par un scanner de données de modélisation 3D, par exemple. Après le filtrage pour obtenir des données fiables, elles sont composées en un ensemble unique de points de maillage avec un système de coordonnées globales, comme le fichier d'objet continu représenté dans le bloc 148, aussi connu en tant que maillage 3D. Dans le bloc 150, un système de composition traite le fichier d'image photo 2D et le fichier d'objet continu conformément aux paramètres de géométrie 3D du maillage 3D avec les paramètres d'image photo 2D correspondants des images photos 2D du fichier d'images 2D pour une présentation de réalité virtuelle photoréaliste de grande qualité d'image et des applications physiques de réalité améliorée. Ensuite, le fichier d'image photo 2D peut être mis en correspondance avec le maillage 3D. Les résultats composés sont enregistrés dans une structure de fichiers, comme un dossier d'application et de données, tel que cela est représenté dans le bloc 152, pour enregistrer les images photos à différents niveaux de résolution, le fichier d'objet continu et un profil afin de sauvegarder les paramètres correspondants dans une structure de fichier XML, par exemple.

Un programme de visualisation, comme cela est représenté dans le bloc 154, s'exécute dans un dispositif client pour décoder des paramètres de correspondance et pour présenter l'image photo d'une grande qualité de manière interactive avec l'utilisateur final. Il peut également assurer la commande et la mesure d'un maillage 3D pour des applications spécifiques, en particulier pour une réalité améliorée.

En référence à la figure 4, un système d'acquisition de photos 2D 160 prend des images photos d'un objet continu situé dans un système mécanique à rotation commandée par ordinateur 162.

L'objet continu est visualisé à différents angles de vue, avec au moins une caméra se déplaçant horizontalement et verticalement autour de l'objet continu avec un axe de rotation fixe. Dans le présent mode de réalisation, des photos de l'objet continu sont prises de manière exemplaire à la plus grande résolution possible par cinq caméras photo différentes à des angles de vue différents, par exemple le côté inférieur, le côté inférieur droit, le côté droit, le côté supérieur droit et le côté supérieur, et huit orientations horizontales différentes par rapport à l'objet continu par la rotation du système de rotation commandée par ordinateur 162, par exemple 00, 45°, 90°, 135°, 180°, 225°, 270° et 315°, afin de constituer 40 fichiers d'images différents. Les fichiers d'images sont ensuite enregistrés trame par trame avec une convention spécifique de nommage 164. Dans d'autres modes de réalisation non illustrés, il est également possible de prendre plus ou moins de photos de l'objet continu. A noter que les fichiers d'images peuvent subir un prétraitement pour enlever les images d'arrière-plan indésirables, ajouter des informations de transparence, les convertir à une résolution inférieure hiérarchique et les enregistrer dans un répertoire racine unique en vue d'un processus ultérieur de composition et de visualisation.

En référence à la figure 5, un système d'acquisition de données de géométrie 3D 180 est utilisé pour obtenir les données de géométrie de l'objet continu. Il peut s'agir physiquement d'un système indépendant ou d'un sous-système du système d'acquisition de photos, comme cela est décrit sur l'image 4.

Le système d'acquisition de données de géométrie 3D 180 utilise une certaine longueur d'onde de caméra optique visible, de faisceau laser ou de système d'acquisition de réfléchissement et infrarouge invisible, en obtenant les données de profondeur 182 de toute la géométrie d'objet ou simplement en prenant la silhouette de l'image photo 2D 108.35 Les données de géométrie 3D sont traitées par une mesure, après avoir enlevé au préalable les données de bruit qui ne sont pas fiables, par exemple par une routine informatique de filtrage des données non fiables 184. Les données statistiquement plus précises sont ensuite calculées en tant que positions finales des noeuds dans le système de coordonnées globales 3D, par exemple par une routine de calcul statistique des données de géométrie 186. Les données de géométrie 186 sont comparées et fusionnées avec un jeu de données globales 188 et elles sont enregistrées de manière cumulée dans un fichier d'objet continu standard 190. En effectuant de façon répétée les mesures et les calculs de données à de nombreuses positions importantes pour obtenir toutes les données de géométrie nécessaires et tous les paramètres nécessaires pour l'objet continu, un maillage 3D final 192 peut être construit à partir d'une pluralité de paramètres de géométrie 3D. En référence à la figure 6, un système de mise en correspondance de paramètres 200 est généré pour mettre les photos 2D en correspondance avec les données de géométrie 3D.

Les images photos sont enregistrées dans chacune des trames photos 202 à chaque angle de vue. Il faut ensuite faire correspondre les paramètres de géométrie 3D du maillage 3D 204 avec les paramètres correspondants d'image photo 2D des images/trames photos 2D 202, afin de pouvoir les visualiser dans le même espace de présentation. Comme cela est bien connu, un objet continu peut être représenté par six degrés de liberté. Il est choisi un point de référence dans l'espace 3D (x, y, z) et les angles d'orientation de l'objet (6, cp, w) pour représenter la relation corrélée entre une image photo et les données de géométrie 3D. Pour chaque trame photo 202, il faut attribuer un ensemble de six paramètres et les relier pour des fonctions ultérieures de présentation et de commande. Dans le présent mode de réalisation, à titre d'exemple, la trame photo 202 peut être nommée Framei,j.jpg et se composer de M colonnes et de N rangées. Son point de - 10 - référence 206 peut être (xu, y, z1,1). Les six paramètres des données de géométrie 3D peuvent être (xo,o, Yo,o, zo,o, 00,o, q)o,o, (00,0), et les six paramètres des trames photos 202 peuvent être (xIJ, yii,z, (pu, wij), où i = 1,2, ..., M et J = 1,2, ..., N. L'invention concerne notamment un procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D, dans lequel la transformation manuelle comprend au moins l'une des étapes suivantes : le déplacement manuel du bout de l'axe pour commander les valeurs de 0; le déplacement manuel du bout de l'axe pour commander les valeurs de cp ; 10 la rotation manuelle d'un axe de corps de l'objet continu pour commander la valeur de co ; et la mise à l'échelle d'une taille de maillage 3D pour correspondre aux paramètres d'images photos 2D qui sont sélectionnés pour le fichier d'images photos 2D jusqu'à ce que l'intégralité du fichier d'images photos 2D soit utilisée, dans lequel au moins trois images photos 2D dans le fichier d'images photos 2D sont 15 sélectionnées manuellement à partir de l'axe de corps dans la direction horizontale et dans la direction verticale avec une aide au calcul. En référence à la figure 7, un programme logiciel de mise en correspondance de paramètres 220 peut être utilisé pour mettre ces paramètres en correspondance avec chaque trame photo. 20 Le logiciel de mise en correspondance 220 comporte des fonctions 222 pour charger les images photos 2D d'origine et les paramètres de géométrie 3D du maillage 3D 226, et pour enregistrer les données composées. 25 Le logiciel de mise en correspondance 220 est conçu pour interagir avec l'utilisateur en montant l'image photo 224 dans la trame d'image 2D, comme cela est représenté dans la sélection de trame 230 et le maillage 3D 226. Puisque le curseur de souris sur un écran d'ordinateur peut se déplacer avec seulement deux 30 degrés de liberté, l'utilisateur peut effectuer la mise en correspondance de paramètres de manière manuelle. Il peut commander l'axe de corps d'objet continu 236 en déplaçant le bout de l'axe pour commander les valeurs de 0 et/ou cp, puis en faisant tourner l'axe du corps d'objet continu 236 pour commander la valeur de w. 35 Le point de référence 234 peut ensuite être incliné sur l'écran pour commander la valeur x, y, puis la molette de la souris est utilisée pour commander la taille du maillage 3D, ce qui est équivalent à l'échelle de l'objet et donc à l'emplacement z projeté. A noter que, dans le présent mode de réalisation, les six paramètres (x, y, z, 0, ep, co) sont ajustés pour mettre manuellement la trame d'image 2D 224 en correspondance avec le maillage 3D 226. Néanmoins, dans 40 d'autres modes de réalisation non illustrés dans les-présentes, il est certainement possible de ne pas ajuster l'intégralité des six paramètres si cela n'est pas nécessaire.

Le processus de mise en correspondance informatique automatique 228 est également fourni pour aider à la mise en correspondance des paramètres. Il permet d'effectuer la mise en correspondance des paramètres par programmation, pour une seule trame ou pour plusieurs trames, comme cela va être décrit en référence à la figure 8. A noter que les processus de mise en correspondance manuelle 232 peuvent en outre être remplacés par un calcul direct en utilisant les processus de mise en correspondance informatique automatique 228 pendant l'exécution du processus d'acquisition. La mise en correspondance automatique d'un fichier d'image photo 2D avec un maillage 3D constitue la mise en correspondance automatique par programmation des paramètres des images photos 2D avec les paramètres de géométrie 3D du maillage 3D alors qu'un mécanisme de scannage de géométrie 3D peut fournir les relations de paramètres entre les images photos 2D et le maillage 3D. La figure 8 représente un schéma de calcul 240 développé pour générer automatiquement la mise en correspondance des paramètres à tous les angles de vue pour chaque trame photo.

En appliquant la technologie Quaternion, le vecteur 3D y représentant le point de référence et l'axe du corps peut être calculé pour obtenir le nouveau vecteur r dans l'espace 3D après rotation autour d'un axe d'unité de rotation n avec un angle de rotation 8.

Il est donc possible d'utiliser l'une quelconque des deux trames de la même rangée avec des angles de rotation connus, en employant les paramètres pour calculer l'axe d'unité de rotation n. Lorsque cela est connu, tout autre point de référence et l'axe de corps de chaque trame de la même rangée 242 peuvent être calculés en effectuant une mise en correspondance automatique avec les paramètres. Le même calcul peut être effectué dans la direction verticale pour les trames d'images dans une colonne unique 254 avec différentes rangées 252. Toutes les trames peuvent être calculées en dupliquant le même processus.35 - 12 - Théoriquement, il suffit de trois trames mises en correspondance manuellement pour calculer l'axe d'unité de rotation dans la direction horizontale et dans la direction verticale, ce qui permet de faire l'économie d'une grande quantité de travail d'être humain pour trouver les paramètres de mise en correspondance.

Toutefois, en pratique, la trajectoire rotative de la caméra peut ne pas être localisée sur une voie circulaire parfaite. L'angle d'inclinaison et la lentille de zoom peuvent projeter les images photos d'une manière non linéaire. Cinq ou sept trames mises en correspondance manuellement peuvent être nécessaires pour obtenir des données plus fiables. Un ajustement visuel pour examiner le calcul de mise en correspondance est également proposé pour effectuer le réglage fin. En référence à la figure 9, un système de fichiers au niveau du serveur Internet 260 est construit pour apporter à l'utilisateur final un mécanisme de visualisation lui permettant de voir des images photos de haute résolution ainsi que les données de géométrie 3D sur son appareil client. Le programme de visionneuse, les données d'images en temps réel et à haute résolution, les données de géométrie, les données d'accessoires et le profil de présentation sont enregistrés dans un répertoire racine 262 pour s'assurer de l'absence de problème d'accès croisé au domaine. Le programme de visionneuse, auquel l'utilisateur final accède, charge toutes les routines de programmes nécessaires, appelées << visionneuse » dans les présentes, comme cela est représenté dans le bloc 264, puis obtient automatiquement l'image en temps réel et les données de géométrie du maillage 3D, comme cela est représenté dans le bloc 266. Ensuite, comme cela est représenté dans le bloc 268, l'opération interactive de visualisation de l'image de haute résolution et du maillage 3D est disponible, afin d'obtenir des images de haute résolution comme cela est représenté dans le bloc 269. De plus, l'opération fonctionnelle représentée dans le bloc 270 est en outre disponible, en fonction des applications de réalité améliorée, pour une mesure 3D nécessaire, comme cela est représenté dans le bloc 272, ou pour des fonctions de commande 3D, comme cela est représenté dans le bloc 274. - 13 - L'invention concerne notamment un procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D, dans lequel la présentation de réalité virtuelle photoréaliste à grande qualité d'image est un système de fichiers au niveau du serveur Internet construit pour apporter à Putilisàteur final un mécanisme de visualisation d'images photos de haute résolution et du maillage 3D, et les applications physiques de réalité améliorée sont pour la rnestire 3D ou pour les fonctions de commande 3D. Le programme peut être mis en oeuvre sur un appareil client avec un environnement d'exploitation 3D comme OpenGL ou WebGL, ou n'importe quel autre environnement 3D.

10 En référence à la figure 10, un programme de visualisation côté client 280 est développé pour mettre en oeuvre les fonctions décrites sur la figure 9. Le programme de visualisation 280 peut être un programme de visualisation HTML5 basé sur 15 navigateur avec WebGL activé pour la plate-forme Windows du système informatique 126 (comme cela est représenté sur la figure 2), comme un ordinateur de bureau, un appareil mobile ou n'importe quel appareil capable d'afficher la fenêtre d'exploitation 282, ou un programme natif avec un appareil mobile doté d'OpenGL ES activé.

20 Le programme comporte des boutons d'exploitation 286 pour effectuer des fonctions de zoom, d'inclinaison et de rotation pour une visualisation interactive de l'image photo. Il comporte également un contrôleur à curseur pour visualiser les images photos en haute qualité et/ou la trame filaire du modèle 3D de manière transparente.

25 Pour montrer la régularité des images photos 2D dans l'espace 3D, il peut également effectuer un morphing angulaire des images photos 2D 284 en faisant varier un angle O<AO<Oincrément et/ou un angle 0<àcp<co ,incrément- En fonction de l'application, il fournit également des boutons de fonctionnement 288 pour 30 effectuer la mesure et la commande de l'application, ainsi que d'autres fonctions nécessaires. En référence à la figure 11, le système peut également s'étendre à un système stéréoscopique 300 pour visualiser l'objet avec une sensation plus réaliste grâce à la perception de l'ceil humain.

35 Il y a deux fenêtres de visualisation distinctes pour le stéréogramme gauche 306 et le stéréogramme droit 308, fournissant des images respectivement pour l'ceil gauche 302 et pour l'ceil droit 304. - 14 - Les deux ensembles d'images et les paramètres de mise en correspondance sont pris en tenant compte de la différence d'angle de vue pour le même objet 310. L'ensemble gauche 312 est indépendant de l'ensemble droit 314. Dans le présent mode de réalisation, à titre d'exemple, l'ensemble gauche 312 peut être FrameLi,j.jpg et l'ensemble droit 314 peut être FrameRi,j.jpg, alors que les points de référence 316 et 318 de ceux-ci peuvent être respectivement (xi,j, yi ;OR et (xi,j, zi,j)L. Par conséquent, les six paramètres des données de géométrie 3D par rapport à l'ensemble gauche 312 et à l'ensemble droit 314 peuvent être respectivement (x0,0, Yo,o, zo,o, eo,o, (Po,o, wo,o)R et (xo,o, Yo,o, zo,o, e00, (f)o,o, wo,o)L, alors que les six paramètres de l'ensemble gauche 312 et de l'ensemble droit 314 sont respectivement (xi,j, Yi,j zii, ej, (Kb wi3OR et (xi,j, yià,Zj,j, 81,j, où i=1, 2...M, et J=1, 2...N. Néanmoins, il est également possible d'utiliser un seul ensemble de photos 2D avec un indice de colonne différent pour la même rangée d'images. Cela n'est pas très précis pour l'angle de vue et la simulation de distance, mais cela donne une sensation de profondeur suffisante pour le spectateur moyen. Les fenêtres de visualisation peuvent être appliquées à des téléviseurs, des écrans de cinéma voire de nouveaux gadgets portables avec des lunettes de visualisation. Bien que des modes de réalisation spécifiques de la présente invention aient été décrits, l'homme du métier peut se rendre compte que d'autres modes de réalisation sont équivalents aux modes de réalisation décrits. Par conséquent, il faut bien comprendre que l'invention n'est pas limitée par les modes de réalisation spécifiques illustrés, mais qu'elle n'est limitée que par le périmètre des revendications annexées.

Claims (10)

1. REVENDICATIONS1. Procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D en utilisant une transformation matricielle avec six degrés de liberté pour un objet continu, dans lequel des paramètres de géométrie 3D du maillage 3D sont conformes à des paramètres d'image photo 2D du fichier d'image 2D pour une présentation de réalité virtuelle photoréaliste de grande qualité d'image et pour des applications physiques de réalité améliorée.
2. 2. Procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D selon la revendication 1, dans lequel des images photos 2D dans le fichier d'images photos 2D sont facultativement traitées par au moins l'un de : l'enlèvement de l'arrière-plan d'image ; la compression au format JPEG avec des informations de transparence et de résolution de pixels hiérarchiques ; et l'enregistrement dans le fichier d'images photos 2D.
3. 3. Procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D selon la revendication 1, dans lequel les paramètres de géométrie 3D peuvent être générés à partir d'une certaine longueur d'onde de caméra optique visible, de faisceau laser ou de système d'acquisition de réfléchissement et infrarouge invisible, en obtenant la silhouette des images photos 2D dans le fichier d'images photos 2D ou les données de profondeur de la géométrie d'objet de l'objet continu.
4. 4. Procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D selon la revendication 1, dans lequel la transformation matricielle avec six degrés de liberté pour l'objet continu est effectuée manuellement ou automatiquement.
5. 5. Procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D selon la revendication 4, dans lequel la transformation manuelle comprend au moins l'une des étapes suivantes : le déplacement manuel du bout de l'axe pour commander les valeurs de e; le déplacement manuel du bout de l'axe pour commander les valeurs de cf) ;- 16 - la rotation manuelle d'un axe de corps de l'objet continu pour commander la valeur de w ; et la mise à l'échelle d'une taille du maillage 3D pour correspondre aux paramètres d'images photos 2D qui sont sélectionnés pour le fichier d'images photos 2D jusqu'à ce que l'intégralité du fichier d'images photos 2D soit utilisée, dans lequel au moins trois images photos 2D dans le fichier d'images photos 2D sont sélectionnées manuellement à partir de l'axe de corps dans la direction horizontale et dans la direction verticale avec une aide au calcul.
6. 6. Procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D selon la revendication 4, dans lequel la transformation automatique est une mise en correspondance automatique par programmation des paramètres d'images photos 2D avec les paramètres de géométrie 3D, alors qu'un mécanisme de scan nage de géométrie 3D fournit des relations de paramètres entre les images photos 2D dans le fichier d'images photos 2D et le maillage 3D.
7. 7. Procédé de mise en correspondance d'un fichier d'images photos 20 avec un maillage 3D selon la revendication 1, dans lequel la présentation de réalité virtuelle photoréaliste à grande qualité d'image est un système de fichiers au niveau du serveur Internet construit pour apporter à l'utilisateur final un mécanisme de visualisation d'images photos de haute résolution et du maillage 3D, et les applications physiques de réalité améliorée sont pour la mesure 3D ou pour les fonctions de commande 3D.
8. 8. Procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D selon la revendication 7, dans lequel les images photos de haute résolution et le maillage 3D sont visualisés ensemble de façon différente en transparence.
9. 9. Procédé de mise en correspondance d'un fichier d'images photos 20 avec un maillage 3D selon la revendication 7, dans lequel la présentation de réalité virtuelle photoréaliste à grande qualité d'image s'étend en outre à un système stéréoscopique avec une fenêtre de visualisation du stéréogramme gauche et une fenêtre de visualisation du stéréogramme droit respectivement pour l'ceil gauche et pour l'ceil droit.- 17 -
10. 10. Procédé de mise en correspondance d'un fichier d'images photos 2D avec un maillage 3D selon la revendication 7, dans lequel la présentation de réalité virtuelle photoréaliste à grande qualité d'image s'étend en outre pour montrer la régularité d'images photos 20 dans le fichier d'images photos 2D dans un espace 3D par morphing angulaire des images photos 2D dans au moins l'une d'une direction 8 et d'une direction (p.