CA3160129A1 - Procede et systeme de generation de modeles numeriques 3d - Google Patents

Abstract

Le système comprend un serveur informatique (SRC) et un dispositif de stockage de données (HD), le serveur informatique (SRC) étant connecté à un réseau de communication de données (IT) tel que le réseau Internet et autorisant des accès d'utilisateur. Conformément à l'invention, le système comprend un réseau neuronal convolutif (AI) de type multidimensionnel assurant une indexation dans une base de données de modèles numériques 3D, à l'aide d'un modèle neuronal et d'une fonction de choix, d'au moins un modèle numérique tridimensionnel (N3D, O3D) ayant au moins une caractéristique commune avec un objet représenté par des données d'image 2D entrantes (I2D), l'indexation résultant d'un classement des données d'image 2D entrantes dans différentes classes d'objets en fonction de caractéristiques reconnues dans les données d'image 2D entrantes à l'aide du modèle neuronal.

Description

L'invention concerne de manière générale la génération de modèles numériques tridimensionnels, dits modèles 3D . Plus particulièrement, l'invention se rapporte à un procédé et à un système de génération de modèles numériques tridimensionnels.
La modélisation 3D est d'un grand intérêt pour appréhender un objet de manière holistique et améliorer la compréhension de celui-ci. Un modèle 3D remplace avantageusement un grand nombre d'images bidimensionnelles, dites images 2D .

Ainsi, à l'aide d'un logiciel de rendu 3D, le modèle 3D peut aisément être manipulé pour une visualisation de l'objet sous différents angles. Le modèle 3D autorise aussi une présentation animée de l'objet par le calcul d'une pluralité d'images qui sont affichées successivement, typiquement à une fréquence d'au moins 25 images par seconde.
Avec la modélisation 3D dite temps réel , le modèle 3D est optimisé pour un calcul en temps réel des images, dont le rendu s'effectue directement sur le périphérique d'affichage. Cette technologie offre un niveau élevé d'interactivité avec l'utilisateur et de contrôle de l'animation par celui-ci, autorisant ainsi des possibilités d'immersion accrues et une meilleure expérience utilisateur.
La modélisation 3D trouve une application importante dans le commerce électronique, dit e-commerce , et y connait un fort développement depuis quelques années. La visualisation 3D des produits sur les sites marchands améliore la compréhension des produits par les clients. Avec un modèle 3D, le client peut interagir avec le produit, par exemple, en le faisant pivoter ou en zoomant sur des détails, ce qui accroit son niveau d'engagement vers un acte d'achat. Des animations exploitant des modèles 3D peuvent aisément être intégrées dans le site marchand, par exemple, pour mettre en avant des produits ou attirer l'attention du client.
Actuellement, la plupart des modèles 3D sont créés manuellement avec des logiciels de modélisation 3D tels que Blender0 , 3Ds Max , Maya et autres.
La création manuelle avec un logiciel d'un modèle 3D de bonne qualité est une activité
qui peut requérir un temps de travail important.
Dans l'état de la technique, avec l'objectif d'améliorer à la situation décrite ci-dessus, il a été proposé un procédé de modélisation tridimensionnelle décrit par le document EP2381421A2. Ce procédé est mis en uvre par ordinateur et est conçu pour générer de manière automatique un modèle tridimensionnel d'un produit à partir de données d'image bidimensionnelle. Dans ce procédé, des informations de forme sont

2 extraites des données d'image bidimensionnelle, ainsi qu'une classe de formes tridimensionnelles à laquelle appartient le produit représenté. Un contour graphique tridimensionnel du produit est ensuite déterminé à partir des informations extraites. Un générateur de maillage génère un maillage tridimensionnel en fonction du contour graphique tridimensionnel déterminé et de la classe de formes tridimensionnelles du produit. Le modèle tridimensionnel du produit est obtenu par mappage d'images sur le maillage tridimensionnel. Les images projetées sur le maillage tridimensionnel sont extraites des données d'image bidimensionnelle du produit.
Le document US2019147221A1 décrit une méthode de sélection d'un modèle numérique tridimensionnel à partir d'une image fournie en entrée. Un objet est identifié
dans l'image d'entrée et un ou plusieurs modèles tridimensionnels candidats pour une représentation de l'objet sont présélectionnés dans une base de données. Un modèle tridimensionnel candidat est finalement sélectionné pour représenter l'objet dans l'image d'entrée.
La présente invention a pour objectif de procurer un procédé perfectionné de génération de modèles numériques tridimensionnels, autorisant une génération aisée et à moindre coût de modèles numériques tridimensionnels qui soient adaptés, notamment, pour des applications temps réel sur des sites Internet.
Selon un premier aspect, l'invention concerne un procédé, mis en uvre par ordinateur, de génération de modèles numériques tridimensionnels dans un système de génération de modèles numériques tridimensionnels pour des objets représentés dans des images bidimensionnelles, le procédé comprenant des étapes de :
a) assemblage d'un jeu de données diversifiées comprenant des données d'images bidimensionnelles et une base de données de modèles numériques tridimensionnels, relatives à une pluralité d'objets ;
b) entraînement d'un réseau neuronal convolutif de type multidimensionnel avec le jeu de données diversifiées de façon à obtenir un modèle neuronal issu de l'entraînement ;
c) réception de données d'image bidimensionnelle entrantes représentant l'objet ;
d) indexation dans la base de données de modèles numériques tridimensionnels, à
l'aide du modèle neuronal et d'une fonction de choix, d'au moins un modèle numérique tridimensionnel ayant au moins une caractéristique commune avec l'objet représenté par les données d'image bidimensionnelle entrantes, l'indexation résultant d'un classement des données d'image bidimensionnelle entrantes dans différentes classes d'objets en

3 fonction de caractéristiques reconnues dans les données d'image bidimensionnelle entrantes à l'aide du modèle neuronal, les caractéristiques reconnues comprenant au moins une caractéristique de forme, une caractéristique de matériau, une caractéristique de texture et/ou une caractéristique d'effet visuel ;
e) extraction de la base de données de modèles numériques tridimensionnels du modèle numérique tridimensionnel indexé à l'étape d) ;
f) ajout au modèle numérique tridimensionnel extrait à l'étape e) d'au moins une dite caractéristique de forme, de matériau, de texture ou d'effet visuel reconnue dans les données d'image bidimensionnelle entrantes et manquante dans le modèle numérique tridimensionnel extrait à l'étape e) ; et g) fourniture du modèle numérique tridimensionnel obtenu à l'étape f) en tant que modèle numérique tridimensionnel de l'objet représenté par les données d'image bidimensionnelle entrantes.
Selon une autre caractéristique particulière, la fonction de choix est basée sur des probabilités de reconnaissance des caractéristiques dans les données d'image bidimensionnelle entrantes.
Selon encore une autre caractéristique particulière, la base de données de modèles numériques tridimensionnels comprend des modèles numériques tridimensionnels texturés et/ou non texturés.
Selon encore une autre caractéristique particulière, le procédé comprend également une étape de :
h) enrichissement du jeu de données diversifiées avec le modèle numérique tridimensionnel fourni à l'étape g).
Selon encore une autre caractéristique particulière, le procédé comprend également une étape de:
i) visualisation tridimensionnelle d'une pluralité de modèles numériques tridimensionnels indexés à l'étape d), et sélection manuelle d'un des modèles numériques tridimensionnels visualisés en tant que modèle numérique tridimensionnel de l'objet représenté par les données d'image bidimensionnelle entrantes.
Selon encore une autre caractéristique particulière, le procédé comprend également une étape de :
j) sélection automatique, basée sur la fonction de choix, d'un modèle numérique tridimensionnel parmi une pluralité de modèles numériques tridimensionnels indexés à

4 l'étape d) en tant que modèle numérique tridimensionnel de l'objet représenté
par les données d'image bidimensionnelle entrantes.
Selon un autre aspect, l'invention concerne aussi un système de génération de modèles numériques tridimensionnels comprenant au moins un serveur informatique et un dispositif de stockage de données associé au serveur informatique, le serveur informatique étant connecté à un réseau de communication de données et autorisant des accès d'utilisateur au système. Conformément à l'invention, le système comprend des moyens supplémentaires pour la mise en oeuvre du procédé de génération de modèles numériques tridimensionnels décrit brièvement ci-dessus, ces moyens supplémentaires comprenant un réseau neuronal convolutif.
Le système de génération de modèles numériques tridimensionnels de l'invention est réalisable par exemple sous la forme d'un système accessible en mode dit SAAS
(pour Software As a Service en anglais).
Selon encore un autre aspect, l'invention concerne aussi un programme d'ordinateur comprenant des instructions de code de programme mettant en oeuvre le procédé de génération de modèles numériques tridimensionnels décrit brièvement ci-dessus lorsque celles-ci sont exécutées par un processeur de dispositif informatique.
D'autres avantages et caractéristiques de la présente invention apparaîtront plus clairement à la lecture de la description ci-dessous de plusieurs formes de réalisation particulières en référence aux dessins annexés, dans lesquels :
- La Figure 1 montre six images 2D simplifiées de produits ayant des formes, des matériaux et des textures différentes.
- La Figure 2 est une vue générale simplifiée d'une forme de réalisation particulière du système de génération de modèles 3D selon l'invention.
- La Figure 3 est un bloc-diagramme montrant différentes étapes comprises dans le procédé de génération de modèles 3D selon l'invention.
- La Figure 4 est un bloc-diagramme illustrant une multiclassification d'images 2D
entrantes réalisée dans le procédé de génération de modèles 3D selon l'invention.
- La Figure 5 est un bloc-diagramme illustrant l'émission de suggestions de modèles 3D et de traitements à réaliser sur les modèles 3D dans le système de génération de modèles 30 selon l'invention.

5 - La Figure 6 est un bloc-diagramme un exemple illustratif de suggestion de modèle 3D par le processus d'intelligence artificielle du système de génération de modèles 3D selon l'invention.
- La Figure 7 montre une fonction de choix utilisée par le processus d'intelligence 5 artificielle du système de génération de modèles 3D selon l'invention.
Dans la description qui suit, à des fins d'explication et non de limitation, des détails spécifiques sont fournis afin de permettre une compréhension de la technologie décrite.
Il sera évident pour l'homme du métier que d'autres modes ou formes de réalisation peuvent être mis en pratique en dehors des détails spécifiques décrits ci-dessous. Dans d'autres cas, les descriptions détaillées de méthodes, dispositifs, techniques, etc., bien connus sont omises afin de ne pas complexifier la description avec des détails inutiles.
Dans la description qui suit plus bas du procédé et du système de génération de modèles 3D selon l'invention, les objets représentés dans les images sont caractérisés essentiellement par des formes, des matériaux, des textures et des effets visuels. Le matériau est défini comme étant le type de matière qui entre dans la construction d'un objet. Dans la conception d'un objet en 3D, le matériau est responsable en grande partie du rendu visuel de l'objet. Le matériau a des propriétés particulières et est donc une caractéristique distinctive qui permet de distinguer les objets.
Ainsi, les matériaux pourront être classés arbitrairement, par exemple, en trois grandes catégories, à savoir, une classe dite des métaux, une classe dite des matériaux de type céramique et une classe dite des polymères. Dans la classe des métaux seront compris par exemple le fer, l'acier, le cuivre et l'aluminium. Dans la classe des matériaux de type céramique seront compris par exemple la céramique et le verre. Dans la classe des polymères seront compris par exemple le bois, le carton, la matière plastique, le cuir et le caoutchouc.
De manière générale, dans la modélisation 3D, des éditeurs de matériaux permettent habituellement de créer des matériaux standard ayant des paramètres ajustables. Un programme ou script d'ajout de matériau sur un modèle 3D peut contrôler les paramètres d'un matériau standard de façon à obtenir des effets visuels souhaités.
Ainsi, par exemple, l'éditeur de matériaux contenu dans une application logicielle de type Unity3DO autorise l'ajustement de paramètres sur un matériau standard, comme les paramètres désignés générique , réflectivité et transparence . Le paramètre générique permet d'ajuster l'aspect global de l'objet comme sa couleur par exemple.
Le paramètre réflectivité permet d'ajuster les reflets de l'objet, par exemple, pour

6 obtenir un matériau mat (réflexion diffuse) ou un effet miroir (réflexion spéculaire). Le paramètre transparence permet d'ajuster la transparence de l'objet.
Une texture est une image 2D qui est appliquée sur un modèle 3D, généralement après l'application du matériau, pour représenter des détails de surface. Une texture est par exemple l'image 2D d'un logo ou d'une étiquette de marque sur un objet.
L'opération d'ajout de texture est dite mappage de texture par l'homme du métier.
Plusieurs textures peuvent être appliquées sur un matériau pour obtenir un modèle 3D
réaliste reproduisant l'objet de manière fine. On parle alors de multimappage de texture ou multimapping en anglais.
A titre illustratif, différents exemples d'objets, sous la forme de produits commercialisés, sont représentés schématiquement à la Fig.1. Ainsi, la Fig.1 montre six images 2D simplifiées, repérées PC1 à PC6, représentant respectivement une bouteille de cidre, une cannette de bière, une bouteille d'huile, une bouteille de soda, un pot de peinture et un paquet de céréales.
Une forme cylindrique caractérise la bouteille de cidre de l'image PC1, la cannette de bière de l'image PC2, la bouteille d'huile de l'image PC3, la bouteille de soda de l'image PC4 et le pot de peinture de l'image PC5. Le paquet de céréales de l'image PC6 est lui caractérisé par une forme parallélépipédique.
Un matériau verre, avec une réflexion spéculaire élevée, caractérise la bouteille de cidre de l'image PC1. Un matériau métal, avec une réflexion spéculaire élevée, caractérise la cannette de bière de l'image PC2. Un matériau plastique, avec une réflexion spéculaire moyenne, caractérise la bouteille d'huile de l'image PC3.
Un matériau plastique, avec une réflexion spéculaire moyenne, caractérise la bouteille de soda de l'image PC4. Un matériau métal, avec réflexion très faible de matériau mat, caractérise le pot de peinture de l'image PC5. Un matériau carton, avec réflexion très faible de matériau mat, caractérise le paquet de céréales de l'image PC6.
Une texture sous forme d'image caractérise la bouteille de cidre de l'image PC1, la cannette de bière de l'image PC2, la bouteille d'huile de l'image PC3, la bouteille de soda de l'image PC4, le pot de peinture de l'image PC5 et le paquet de céréales de l'image PC6.
En référence aux Figs.2 à 7, il est maintenant décrit ci-dessous, à titre d'exemple, une forme de réalisation particulière 1 d'un système de génération de modèles 3D selon l'invention.

7 En référence plus particulièrement à la Fig.2, le système 1 selon l'invention pour la génération de modèles 3D est déployé via un réseau de communication de données IP, tel que le réseau Internet, et utilise des ressources matérielles et logicielles accessibles via ce réseau. Ainsi, dans cet exemple de réalisation, le système 1 utilise des ressources logicielles et matérielles disponibles chez un fournisseur de services d'informatique en nuage CSP dit cloud service provider en anglais.
Le système 1 utilise au moins un serveur informatique SRC du fournisseur de services d'informatique en nuage CSP. Le serveur informatique SRC comprend notamment un processeur PROC qui communique avec un dispositif de stockage de données HD, dédié typiquement aux système 1, et des dispositifs matériels conventionnels tels que des interfaces réseau NI et autres dispositifs (non représentés).
Le processeur PROC comprend une ou plusieurs unités centrales de traitement de données (non représentées) et des mémoires volatiles et non-volatiles (non représentées) pour l'exécution de programmes informatiques.
Le système 1 comprend un système logiciel SW pour la mise en oeuvre du procédé
de génération de modèles 3D selon l'invention. Le système logiciel SW est hébergé dans le dispositif de stockage de données HD qui comprend typiquement un ou plusieurs disques durs. Le procédé de l'invention est mis en oeuvre notamment par l'exécution par le processeur PROC d'instructions de code du système logiciel SW.
Dans cette forme de réalisation, le système 1 procure un service de génération de modèles 3D de type SAAS qui est rendu accessible à des utilisateurs à
travers le réseau IP. Un module logiciel SP est inclut dans le système logiciel SW et est dédié à
l'implémentation de ce service. Typiquement, ce module logiciel SP pourra comprend une interface utilisateur et/ou une interface de programmation, dite API
(pour Appl ication Programming Interface en anglais), selon la forme de réalisation de l'invention.
Les utilisateurs communiquent avec le système 1 par l'intermédiaire de leurs systèmes ou dispositifs informatiques UD, tels que des ordinateurs, des tablettes et/ou des smartphones, connectés au réseau IP. Pour cela, les utilisateurs pourront utiliser les navigateurs Internet de leurs dispositifs informatiques UD, ou autrement, par exemple, une application logicielle exploitant des modèles 3D à différentes fins et qui accède au service de génération de modèles 3D du système 1 à travers une interface API
, comme indiquée ci-dessus. Les utilisateurs sont typiquement des clients du service de génération de modèles 3D procuré par le système 1.

8 Le système logiciel SW comprend un réseau neuronal convolutif AI, dit réseau CNN (pour Convolutional Neural Network en anglais), autorisant le traitement de données multidimensionnellUnityes et capable d'un entraînement, ou apprentissage, approfondi (dit deep learning en anglais). Le réseau neuronal convolutif Al est de préférence ici du type dit supervisé , mais pas exclusivement. Le réseau neuronal convolutif Al pourra, par exemple, être développé à l'aide de la bibliothèque Kerase connue de l'homme du métier comme étant une bibliothèque logicielle à code source ouvert ou open source en anglais.
Le réseau neuronal convolutif Al procure une fonction d'intelligence artificielle qui est pré-entrainée pour reconnaître un objet représenté dans une image 2D
fournie en entrée et suggérer un ou plusieurs modèles 3D indexés dans une base de données de modèles 3D, repérée DB3D à la Fig.2. Le ou les modèles 3D proposés par la fonction d'intelligence artificielle sont les plus proches de l'objet représenté dans l'image 2D.
Le système logiciel SW comprend également un module logiciel d'instanciation et de traitement de modèle INS qui coopère avec le réseau neuronal convolutif Al.
Le module logiciel INS procure une fonction d'ajustement du modèle 3D extrait de la base de données de modèles 3D à l'aide du réseau neuronal convolutif Al, de façon à
générer et fournir en sortie un modèle 3D correspondant de manière fine à l'objet représenté par l'image 2D.
Ainsi, comme montré schématiquement à la Fig.2, des données d'image I2D sont fournies en entrée par un utilisateur UD et comprennent typiquement des données d'image bidimensionnelle 2D, à proprement parlé, ainsi que des métadonnées qui décrivent l'image 2D. Dans le réseau neuronal convolutif AI, les données d'image I2D
sont d'abord traitées par un certain nombre de couches de convolution CL qui permettent d'extraire par des filtrages successifs des caractéristiques présentes dans l'image 2D, telles qu'une forme, une texture, une orientation et autres. Des couches de classification CC du réseau neuronal convolutif Al exploitent ensuite les caractéristiques extraites par les couches de convolution CL, en tant que caractéristiques d'indexation, pour identifier par des filtrages successifs des classes de modèles 3D proches, correspondant aux données d'image I2D, et suggérer finalement un modèle 3D (ou plusieurs modèles) typiquement sous la forme d'un modèle 30 non texturé, repéré N3D à la Fig.2, et de caractéristiques CA de matériau, de texture et autres à ajouter à celui-ci. Le modèle N3D
est le modèle 3D le plus proche des données d'image I2D identifié par le réseau neuronal convolutif Al dans la base de données de modèles DB3D. Le réseau neuronal convolutif

9 Al identifie les caractéristiques de matériaux, de textures et autres à
octroyer au modèle N3D pour obtenir un modèle 3D, repéré 03D à la Fig.2, qui correspond finement aux données d'image I2D. Les caractéristiques de matériaux, de textures et autres CA
identifiées sont ajoutées au modèle N3D au moyen de programmes logiciels de traitement de modèle 3D repérés globalement TM à la Fig.2.
Bien entendu, dans le cas où la base de données de modèles DB3D contient un modèle 3D texturé identifié par le réseau Al et qui correspond aux données d'image I2D, c'est ce modèle 3D qui sera fourni directement à la place du modèle N3D
susmentionné.
La base de données de modèles DB3D comporte typiquement une bibliothèque de modèles 3D texturés et une bibliothèque de modèles 3D non texturés et non organisés.
Ces bibliothèques de modèles 3D de la base de données de modèles DB3D sont enrichies au cours du temps. La base de données de modèles DB3D fait partie d'un jeu de données DS, dit dataset en anglais, qui est utilisé pour l'entraînement du réseau neuronal convolutif Al. Le jeu de données DS comprend essentiellement la base de données de modèles DB3D et des données d'images 20 et est hébergé ici dans le dispositif de stockage de données HD, conjointement avec la bibliothèque logicielle (non représentée), par exemple la bibliothèque Keras0, du réseau neuronal convolutif Al.
Comme montré schématiquement à la Fig.2, le modèle N3D est traité par le module logiciel d'instanciation et de traitement de modèle INS afin de produire le modèle 3D fini, repéré 030, qui est fourni à l'utilisateur UD par le système 1 en réponse aux données d'image I2D. Le module INS comporte notamment les programmes logiciels TM de traitement de modèle 3D qui traitent le modèle N3D afin d'obtenir le modèle 03D, en se basant sur les caractéristiques CA susmentionnées identifiées par le réseau neuronal convolutif Al. Dans cet exemple de réalisation, les programmes logiciels TM
comprennent notamment des programmes MAT, TX et TRE qui réalisent respectivement des fonctions d'ajout de matériaux comme un matériau métallique, brillant, mat ou autres, d'ajout de textures comme une image, et d'ajout d'effets spéciaux comme une transparence, un relief ou autres. Les programmes MAT, TX et TRE sont ici typiquement des scripts dans le langage de programmation C# de Microsoft . Par ailleurs, des fonctionnalités d'une application logicielle de création 3D, comme par exemple des fonctionnalités d'une l'application logicielle de type Unity3DO, pourront aussi être exploitées par le module logiciel INS pour exécuter une génération de modèle 3D ou un traitement particulier.

Les modèles 03D délivrés par le module logiciel d'instanciation et de traitement de modèle INS pourront également être exploités par le système 1 de façon à
enrichir le jeu de données DS comprenant la base de données de modèles DB3D.
En référence à la Fig.3, le procédé de génération de modèles 3D selon l'invention 5 comprend essentiellement quatre grandes étapes, Si à S4, pour la mise en oeuvre du fonctionnement et des opérations de traitement décrits plus haut.
L'étape Si concerne la réalisation initiale et l'enrichissement du jeu de données DS.
L'étape Si comporte un assemblage initial et l'organisation de données d'images, afin d'obtenir un premier jeu de données DS. Le jeu de données DS est réorganisé
ensuite

10 pour tenir compte de l'enrichissement de celui-ci, notamment par l'ajout de modèles 030 délivrés par le module logiciel d'instanciation et de traitement de modèle INS
(cf. étape S4). Le jeu de données DS doit comprendre un assemblage riche de données d'images très diversifiées afin de permettre un entraînement performant du réseau neuronal convolutif Al. Le jeu de données DS obtenu comprend essentiellement des données d'images 2D et la base de données d'images DB3D susmentionnée contenant une bibliothèque de modèles 3D texturés et une bibliothèque de modèles 3D non texturés et non organisés.
L'étape S2 concerne l'entraînement du réseau neuronal convolutif Al. L'étape inclut des sous-étapes S20 et S21.
Le réseau neuronal convolutif Al est configuré pour une multiclassification des images basée sur plusieurs caractéristiques, à savoir, la forme (désignée SHAPE), le matériau (désigné MATERIAL), la texture (désignée TEXTURE) et différents effets visuels et/ou effets pouvant être obtenus par des traitements d'image, et autres. Le réseau neuronal convolutif Al est configuré également pour procurer une fonction de choix (désignée F_SELECTION) pour les modèles N3D et identifier les caractéristiques CA susmentionnées, comme indiqué plus haut en référence à la Fig.2, en se basant sur des probabilités de reconnaissance obtenues. On notera que la configuration du réseau neuronal convolutif Al pourra être modifiée selon les besoins de l'application, par exemple, en élargissant le nombre des classes dans les niveaux, ou couches, de filtrage du réseau Al ou en augmentant la profondeur des branches.
A l'étape S20, le réseau neuronal convolutif Al est tout d'abord entraîné avec le jeu de données DS assemblé initialement, et par la suite pour apprendre avec les nouvelles données d'images ayant enrichi le jeu de données DS. Pour entrainer le réseau neuronal convolutif Al, le jeu de données DS est divisé en trois ensembles disjoints, à
savoir, un

11 premier ensemble de données d'images dit d'entraînement ou training en anglais, un deuxième ensemble de données d'images dit de validation et un troisième ensemble de données d'images dit de test. Le premier ensemble permet à un algorithme d'entraînement itératif du réseau Al d'apprendre les caractéristiques de chaque classe d'images. A chaque étape de l'entrainement, l'algorithme d'entraînement effectue un test de validation avec les données d'images du deuxième ensemble afin de déterminer un taux de réussite dans la classification. L'algorithme d'entraînement améliore le taux de réussite à chaque itération en modifiant des poids associés à chaque neurone du réseau Al.
De manière générale, l'invention autorise une amélioration continue du processus d'intelligence artificielle. Ainsi, lorsqu'une nouvelle image 2D est reçue, le réseau neuronal convolutif Al pré-entraîné fournit un fichier de prédiction, par exemple de type CSV (pour Comma-Separated Values en anglais), contenant une liste d'images connues et de différentes classes d'objets associées. Un générateur de modèle exploite le fichier de prédiction afin de créer un modèle 3D correspondant. Le modèle 30 est visualisé par un administrateur du système 1 avant validation et enregistrement dans la base de données de modèles DB3D. En cas d'erreur du processus d'intelligence artificielle, relevée par l'administrateur, celle-ci est corrigée par modification du fichier de prédiction qui peut alors être réutilisé pour l'entraînement du réseau neuronal convolutif Al.
A l'étape S21, le processus d'entraînement est achevé. Il est alors obtenu un modèle neuronal Al _MODEL, auquel correspond une matrice de poids, qui est enregistré
avec son taux de réussite final, dit accuracy en anglais, afin d'être exploité par le système I. La classification des images 2D par le processus d'intelligence artificielle se fait alors par des opérations matricielles à partir des matrices de pixels des images 2D et de la matrice de poids du modèle neuronal Al_MODEL.
Dans la présente invention, le modèle neuronal Al_MODEL est de type multi-sorties, plusieurs sous-modèles neuronaux étant associés aux différentes sorties. Dans l'étape S20 précédente, on notera que l'entraînement du réseau neuronal convolutif Al pourra se faire en entraînant conjointement les différents sous-modèles neuronaux de manière synchrone ou en les entraînant indépendamment de manière asynchrone.
L'étape S3 concerne l'exploitation du modèle neuronal Al_MODEL. Des données d'images I2D sont fournies en entrée au réseau neuronal convolutif Al. Le modèle neuronal AI _ MODEL procure la fonction F _SELECTION et autorise l'indexation des

12 modèles 3D, contenus dans la base de données de modèles DB3D, les plus proches des données d'images I2D fournies en entrée. A l'étape S3, il est identifié le ou les modèles 3D, non texturés (N3D) ou texturés (03D) les plus proches, et si nécessaire les programmes logiciels TM pour les traitements susmentionnés à appliquer aux modèles 3D.
Conformément au procédé de l'invention, une multiclassification des images I2D

entrantes est réalisée par le processus d'intelligence artificielle du réseau neuronal convolutif Al afin de déterminer des suggestions de modèles 3D proches et, éventuellement, des traitements à appliquer à ceux-ci au moyen des programmes logiciels TM de traitement de modèle 3D.
Ainsi, dans l'exemple illustratif montré à la Fig.4, le réseau neuronal convolutif Al émet des suggestions SG1 à SGn pour une image entrante I2D, suggestions qui découlent de la multiclassification réalisée pour cette image entrante I2D.
La suggestion SG1 découle d'une classification de l'image entrante I2D d'un objet, par exemple une bouteille en verre, dans une classe principale d'objets C_CYL
et une classe secondaire d'objets C_BEA. La classe principale C_CYL regroupe ici des objets ayant une forme cylindrique et comprend la classe secondaire C_BEA qui regroupe des bouteilles de bière. Un modèle 3D, 03D2, associé à la classe secondaire C_BEA, est proposé dans cette suggestion SG1. Une probabilité PS1 pour que le modèle 03D2 soit le modèle le plus proche de la bouteille en verre de l'image entrante I2D est attachée à
la suggestion SG1. La suggestion SG2 découle d'une classification de l'image entrante I2D de la bouteille en verre dans une classe principale d'objets C_GEN et une classe secondaire d'objets C_VAP. La classe principale C GEN est une classe générique comprenant différents types d'objets et comprend la classe secondaire C_VAP
qui regroupe des vaporisateurs de forme cylindrique. Un modèle 3D non texturé, N3D3, associé à la classe secondaire C_VAP, est proposé dans cette suggestion SG2, ainsi que l'application d'un matériau Mat3 à ce modèle N3D3. Une probabilité PS2 pour que le modèle N3D3 avec le matériau Mat3 soit le modèle le plus proche de la bouteille en verre de l'image entrante I2D est attachée à la suggestion SG2. La suggestion SG3 découle d'une classification de l'image entrante I2D de la bouteille en verre dans la classe principale d'objets C_CYL et la classe secondaire d'objets C_BEA
susmentionnées. Un modèle 3D, 03D1, différent du modèle 03D2 de la suggestion SG1 et associé
également à la classe secondaire C_BEA, est proposé dans cette suggestion SG3. Une probabilité
PS3 pour que le modèle 03D1 soit le modèle le plus proche de la bouteille en verre de

13 l'image entrante I2D est attachée à la suggestion SG3. La suggestion ayant la probabilité
la plus élevée est celle qui est priorisée par le processus d'intelligence artificielle. On notera que les probabilités susmentionnées pourront être remplacées par des pondérations, des pourcentages, des taux de réussite ou autres selon les formes de réalisation de l'invention.
L'étape S4 concerne les traitements apportés au modèle N3D par le module logiciel d'instanciation et de traitement de modèle INS afin d'obtenir le modèle 03D
qui correspond finement aux données d'image I2D. Les modèles 03D obtenus lors de cette étape S4 pourront être exploités pour un enrichissement du jeu de données DS, comme indiqué plus haut relativement à l'étape Si.
Différentes tâches, comme l'exécution sur le modèle N3D des programmes susmentionnés MAT, TX et TRE et autres, sont réalisées à l'étape S4 par le module logiciel INS. Plus généralement, des scripts de modélisation et de traitement de modèles 3D typiquement dans le langage de programmation C# de Microsoft pourront être exécutés ici, ainsi que des fonctionnalités d'une application logicielle de type Unity3DO.
Le modèle 030 obtenu est enregistré préférentiellement, mais pas exclusivement, au format Collada , dit . dae . De plus, une interface de visualisation 3D (non représentée) est comprise dans le module logiciel INS pour des modèles 3D.
Cette interface de visualisation 3D est développée typiquement dans le langage de programmation C#, dans un environnement de type Unity3DO.
Dans l'exemple illustratif montré à la Fig.5, le réseau neuronal convolutif Al émet des suggestions SG(n-1), SGn et SG(n+1) pour une image entrante I20, respectivement avec des probabilités PS(n-1), PSn et PS(n+1). La suggestion SG(n-1) propose un modèle 30 non texturé, N3Dp, avec un matériau standard MatS à appliquer. Les suggestions SG(n) et SG(n+1) proposent toutes deux un modèle 3D non texturé, N3Dq, avec respectivement un matériau mat MatM et un matériau avec réflexion et transparence MatRT. Dans le module logiciel INS, le programme d'ajout de matériaux MAT
comprend des scripts St(m-1), Stm et St(m+1) dédiés respectivement à l'ajout des matériaux MatS, MatM et MatRT. Les traitements effectués par les scripts St(m-1), Stm et St(m+1) sur les modèles N3Dp, N3Dq, permettent d'obtenir des modèles 3D, 03Dp, 03Dq1 et 03Dq2, correspondant respectivement aux suggestions SG(n-1), SGn et SG(n+1). Dans cet exemple, les trois modèles 030p, 03Dq1 et 03Dq2 sont présentés à l'utilisateur USER
à travers une interface de visualisation 3D, VIS. La possibilité est laissée à
l'utilisateur USER de choisir le modèle retenu 03D parmi les modèles 03Dp, 03Dq1 et 03Dq2. A

14 défaut de choix par l'utilisateur USER, le processus retient comme le modèle 03D celui auquel est attachée la probabilité la plus élevée. En considérant, par exemple, que la probabilité la plus élevée est PS(n-1), c'est le modèle 03Dp qui est retenu.
En référence maintenant plus particulièrement à la Fig.6, il est décrit ci-dessous un autre exemple illustratif du processus d'intelligence artificielle mis en oeuvre par le procédé de l'invention pour reconnaître un produit dans une image 2D et suggérer un modèle 3D correspondant. Comme visible à la Fig.6, dans cet exemple illustratif, l'image 2D fournie en entrée est l'image I2Da d'un produit qui est une bouteille en verre, par exemple, une bouteille de cidre.
Dans un premier temps, le processus d'intelligence artificielle, avec le modèle neuronal AI _MODEL et la fonction de suggestion F_SELECTION, identifie une classe de produits CL3 qui correspond à la bouteille en verre de l'image I2Da, parmi plusieurs classes de produits CL1 à CL4. Le processus d'intelligence artificielle reconnait la bouteille en verre de l'image I2Da comme appartenant aux classes de produits CL1 à
CL4 avec des probabilités P1 à P4, respectivement. La probabilité P3 étant celle la plus élevée parmi les probabilités P1 à P4, c'est la classe de produits CL3 qui est choisie en tant que classe d'appartenance de la bouteille en verre de l'image I2Da. C'est ici essentiellement la forme de la bouteille en verre de l'image I2Da, de type cylindrique, qui aura permis au processus d'intelligence artificielle de réaliser cette première sélection.
Après que la bouteille en verre de l'image I2Da ait été identifiée comme faisant partie de la classe de produits CL3, le processus d'intelligence artificielle cherche à
déterminer le produit de la classe CL3 qui se rapproche le plus de la bouteille en verre de l'image I2Da. Pour cela, le processus d'intelligence artificielle classe ici les produits de la classe CL3 en deux classes de produits GP1 et GP2. Le processus d'intelligence artificielle reconnait la bouteille en verre de l'image I2Da comme appartenant aux classes de produits GP1 et GP2 avec des probabilités P10 et P11, respectivement. La probabilité
P10 étant plus élevée que la probabilité P11, c'est la classe de produits GP1 qui est choisie en tant que classe d'appartenance de la bouteille en verre de l'image I2Da. C'est ici essentiellement le matériau verre de la bouteille de l'image I2Da qui aura permis au processus d'intelligence artificielle de réaliser cette deuxième sélection.
Le classe de produits GP1 comprend différentes bouteilles en verre. Le processus d'intelligence artificielle classe ici les bouteilles en verre de la classe GP1 en trois classes de produits GF1 à GF3, en se basant essentiellement sur la forme des bouteilles en verre.
Trois formes de bouteille FP1 à FP3 distinctes correspondent aux classes de produits GF1 à GF3, respectivement. Le processus d'intelligence artificielle reconnait la bouteille en verre de l'image I2Da comme ayant les probabilités P17 à P19 d'avoir les formes de bouteille FP1 à FP3, respectivement. La probabilité P17 étant la plus élevée des probabilités P17 et P19, c'est la forme de bouteille FP1 qui est choisie comme étant la 5 forme de la bouteille en verre de l'image I2Da.
A la classe de produits GF2, à laquelle est associée la forme de bouteille FP1, correspond un modèle 3D non texturé, repéré N3Da à la Fig.3, qui est stocké
dans la base de données de modèles BD3D. Le modèle N3Da est indexé par le processus d'intelligence artificielle à l'image I2Da et est téléchargé. Le module logiciel 10 d'instanciation et de traitement de modèle INS redimensionne le modèle N3Da pour le faire correspondre au produit de l'image I2Da et lui applique le matériau verre reconnu par le processus d'intelligence artificielle et une texture extraite de l'image I2Da. Dans une forme de réalisation où le module INS incorpore une application logicielle de type Unity3DO susmentionnée, le modèle N3Da est chargé dans une scène de cette

15 application logicielle afin de lui appliquer le matériau et la texture.
En référence également à la Fig.7, il est maintenant décrit ci-dessous un exemple de fonction de choix F_SELECTION utilisable par le processus d'intelligence artificielle.
Dans la fonction F_SELECTION représentée dans le bloc B1 à la Fig.7 :
- P(i) qui est la probabilité d'obtenir un noeud i, - Pi(j) est la probabilité d'obtenir un noeud j sachant qu'on a déjà obtenu le noeud i, - Pi,j(k) est la probabilité d'obtenir un noeud k sachant qu'on a déjà
obtenu les noeuds i et j, et - R est un paramètre de régularisation.
Les probabilités conditionnelles Pi,j entre des noeuds disjoints sont nulles.
Pour illustrer l'application de cette fonction de choix F_SELECTION, il est considéré
ici l'exemple du processus d'intelligence artificielle de la Fig.6 pour reconnaître une bouteille en verre dans l'image I2Da et suggérer un modèle 3D correspondant.
Dans cet exemple de la Fig.6, les n uds sont les classes de produits CL1 à
CL4, GP1 , GP2, et GF1 à GF3. L'application de la fonction de choix F_SELECTION
pour le calcul des probabilités, avec R = 0) est détaillée dans le bloc B2 de la Fig.7. Les probabilités pour les trois branches CL3/GP1/GF1, CL3/GP1/GF2 et CL3/GP1/GF3 sont données par F_SELECTION(GF1), F_SELECTION(GF2) et F_SELECTION(GF3), respectivement. Dans cet exemple, la probabilité F_SELECTION(GF1) = P3*P10*P17 de la branche CL3/GP1/GF1 est considérée comme étant supérieure aux probabilités des

16 autres branches. Le processus d'intelligence artificielle choisit donc la classe GF1 et le modèle 3D, N3Da, comme correspondant à la bouteille en verre de l'image I2Da.
Bien entendu, l'invention ne se limite pas aux exemples de réalisation qui ont été
décrits ici à titre illustratifs. L'homme du métier, selon les applications de l'invention, pourra apporter différentes modifications et variantes entrant dans le champ de protection de l'invention.

Claims (8)

REVENDICATIONS

1.
Procédé mis en uvre par ordinateur de génération de modèles numériques tridimensionnels (N3D, 03D) dans un système de génération de modèles numériques tridimensionnels (1) pour des objets représentés dans des images bidimensionnelles (I2D, I2Da), ledit procédé comprenant des étapes de a) assemblage (S1) d'un jeu de données diversifiées (DS) comprenant des données d'images bidimensionnelles et une base de données de modèles numériques tridimensionnels (DB3D), relatives à une pluralité d'objets, b) entraînement (S2) d'un réseau neuronal convolutif (Al) avec ledit jeu de données diversifiées (DS) de façon à obtenir un modèle neuronal (Al_MODEL) issu dudit entraînement, c) réception de données d'image bidimensionnelle entrantes (I2D, I2Da) représentant un dit objet, d) indexation (S3) dans ladite base de données de modèles numériques tridimensionnels (DB3D), à l'aide dudit modèle neuronal (Al MODEL) et d'une fonction de choix (F_SELECTION), d'au moins un modèle numérique tridimensionnel (N3D, 030) ayant au moins une caractéristique (SHAPE, MATERIAL, TEXTURE) commune avec ledit objet représenté par lesdites données d'image bidimensionnelle entrantes (I2D, I2Da), ladite indexation résultant d'un classement desdites données d'image bidimensionnelle entrantes dans différentes classes d'objets (C_CYL, C_BEA, C_VAP ; CL1 à CL4, GP1, GP2 , GF1 à GF3) en fonction de caractéristiques (SHAPE, MATERIAL, TEXTURE) reconnues dans lesdites données d'image bidimensionnelle entrantes (I2D, I2Da) à l'aide dudit modèle neuronal (Al MODEL), lesdites caractéristiques reconnues comprenant au moins une caractéristique de forme (SHAPE), une caractéristique de matériau (MATERIAL), une caractéristique de texture (TEXTURE) et/ou une caractéristique d'effet visuel, e) extraction (S3) de ladite base de données de modèles numériques tridimensionnels (DB3D) dudit modèle numérique tridimensionnel (N3D, 03D) indexé à l'étape d), f) ajout (S4) audit modèle numérique tridimensionnel (N30) extrait à l'étape e) d'au moins une dite caractéristique de forme (SHAPE), de matériau (MATERIAL), de texture (TEXTURE) ou d'effet visuel reconnue dans lesdites données d'image bidimensionnelle entrantes (I20, I2Da) et manquante dans ledit modèle numérique tridimensionnel (N3D) extrait à l'étape e) et g) fourniture (S3) dudit modèle numérique tridimensionnel (N3D, 03D) obtenu à l'étape f) en tant que modèle numérique tridirnensionnel (N3D, 03D) dudit objet représenté par lesdites données d'image bidimensionnelle entrantes (I2D, I2Da).

2. Procédé selon la revendication 1, caractérisé en ce que ladite fonction de choix (F_SELECTION) est basée sur des probabilités de reconnaissance (PSn ; P1 à P4, P10, P11, P17 à P19) desdites caractéristiques (SHAPE, MATERIAL, TEXTURE) dans lesdites données d'image bidimensionnelle entrantes (I2D, I2Da).

3. Procédé selon la revendication 1 ou 2, caractérisé en ce que ladite base de données de rnodèles numériques tridimensionnels (DB3D) comprend des modèles numériques tridimensionnels (N3D, 03D) texturés et/ou non texturés.

4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce qu'il comprend également une étape de h) enrichissement (S1) dudit jeu de données diversifiées (DS) avec ledit modèle numérique tridimensionnel (03D) fourni à l'étape g).

5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce qu'il comprend également une étape de i) visualisation tridimensionnelle (VIS) d'une pluralité de dits modèles numériques tridimensionnels (03Dp, 03Dq1, 03Dq2) indexés à l'étape d).

6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce qu'il comprend également une étape de j) sélection automatique (VIS), basée sur ladite fonction de choix (F_SELECTION, PS(n-1), PS(n), PS(n+1)) d'un dit modèle numérique tridimensionnel (03Dp) parmi une pluralité
de dits modèles numériques tridimensionnels (03Dp, 03Dq1, 03Dq2) indexés à
l'étape d) en tant que modèle numérique tridimensionnel (03D) dudit objet représenté par lesdites données d'image bidimensionnelle entrantes (I2D, I2Da).

7. Système (1) de génération de modèles numériques tridimensionnels comprenant au moins un serveur informatique (SRC) et un dispositif de stockage de données (HD) associé audit serveur informatique (SRC), ledit serveur informatique (SRC) étant connecté à un réseau de communication de données (IP) et autorisant des accès d'utilisateur (UD) audit système (1), caractérisé
en ce qu'il comprend des moyens supplémentaires (SW) pour la mise en uvre du procédé de génération de modèles numériques tridimensionnels selon l'une quelconque des revendications 1 à 6, lesdits moyens supplémentaires (SW) comprenant un réseau neuronal convolutif (Al).

8. Programrne d'ordinateur comprenant des instructions de code de prograrnme mettant en oeuvre le procédé selon l'une quelconque des revendications 1 à 6 lorsque celles-ci sont exécutées par un processeur (PROC) de dispositif informatique (SRC).