FR3111066A1 - Procédé et dispositif de reconstruction tridimensionnelle d’un visage avec partie dentée à partir d’une seule image - Google Patents

Abstract

Il est divulgué un procédé de reconstruction 3D pour obtenir à partir d’une image 2D en couleurs d’un visage humain avec une portion dentée (1) visible, une unique surface 3D reconstruite de la portion dentée et de la portion faciale (4) hors portion dentée. Le procédé comprend la segmentation de l’image 2D en une première partie (22) correspondant à la portion dentée (1) et une seconde partie correspondant à la portion faciale (4) hors ladite portion dentée, le rehaussement de la première partie de l’image 2D afin de modifier des caractéristiques photométriques, et la génération d’une surface 3D du visage reconstruite à partir de la première partie réhaussée de l’image 2D et de la seconde partie de ladite image 2D. La surface 3D du visage obtenue est adaptée pour la simulation d’un traitement dentaire, par substitution à la zone de la surface 3D correspondant à la portion dentée (1) d’une autre surface 3D correspondant à la portion dentée après le traitement projeté. Figure pour l’abrégé : Fig. 1

Description

Procédé et dispositif de reconstruction tridimensionnelle d’un visage avec partie dentée à partir d’une seule image

La présente invention se rapporte de manière générale à la reconstruction tridimensionnelle faciale, et plus particulièrement à un procédé et à un dispositif de reconstruction tridimensionnelle d’un visage ayant une partie dentée, à partir d’une seule image, ainsi qu’à un produit programme d’ordinateur implémentant le procédé.

L'invention trouve des applications, en particulier, dans les techniques de traitement numérique dans le domaine de la dentisterie.

Elle propose en effet, en outre, un procédé de simulation du résultat esthétique d’un traitement dentaire projeté pour un sujet humain, à partir d’au moins une image bidimensionnelle (2D), en couleurs, du visage du sujet avec une portion dentée visible. Le traitement dentaire projeté peut être de nature esthétique, orthodontique ou prothétique.

La reconstruction tridimensionnelle (3D) faciale est un domaine en pleine expansion et trouve des applications très variées. Jusqu’ici utilisée principalement dans le domaine de l’industrie audiovisuelle, elle trouve désormais d’autres applications, notamment dans la simulation de traitements esthétiques.

Parmi les traitements esthétiques, on peut mentionner les traitements dentaires (blanchiments de dents, appositions de facettes sur les dents, réalignement dentaire, travaux prothétiques, etc.). Pour ces traitements, le patient doit souvent engager le traitement sans pouvoir à l’avance apprécier par lui-même le résultat esthétique que ce traitement produira. Il doit s’en remettre à l’expertise du praticien pour cela. Le besoin existe de pouvoir donner au patient le bénéfice et les avantages d’une simulation apte à présenter de manière réaliste le résultat esthétique de ce genre de traitement avant son engagement effectif, pour éventuellement choisir de modifier le traitement projeté, en concertation avec le praticien.

Certaines techniques de reconstruction faciale existent déjà. Mais la plupart de ces techniques sont basées soit sur des technologies lourdes en termes de traitement numérique, c’est-à-dire en temps de traitement et en ressources de calcul nécessaires pour exécuter un algorithme de reconstruction, ou en termes de matériel. D’autres techniques sont basées sur l’acquisition de plusieurs images 2D passives afin de pouvoir travailler en photogrammétrie. Or, nombre de dispositifs du commerce ne comportent qu’un seul capteur 2D, ce qui complexifie l’utilisation de ce genre d’algorithme.

Certaines solutions techniques peuvent répondre au besoin exprimé plus haut, notamment grâce à l’intelligence artificielle (AI, ou IA de l’anglais «Artificial Intelligence»). Des réseaux d’apprentissage profond de plus en plus évolués permettent de reconstruire la face en 3D, à partir d’une seule image 2D, et ceci avec un rendu de plus en plus réaliste. Malheureusement, la portion dentée reste très souvent un élément inaccessible aux algorithmes d’apprentissage profond du fait de leur caractère particulier, c’est-à-dire très spéculaire et peu texturé.

Dans l’article par Wu et al., "Model-based teeth reconstruction", ACM Transactions on Graphics 35, Article numéro 220, pp.1-13, Novembre 2016, les auteurs divulguent une solution paramétrique pour la reconstruction de la portion dentée. Toutefois, cette dernière n’est compatible qu’avec des capteurs calibrés. En raison de sa nature paramétrique, elle ne s’applique toutefois qu’à des dents ne déviant que dans une certaine mesure d’une dent prise comme standard.

Le document US2018174367A divulgue un système de visualisation en réalité augmentée d’un modèle permettant de voir directement le résultat simulé d’un traitement dentaire envisagé, et offrant aussi la possibilité d’interagir avec ce modèle pour le modifier en temps réel. Le système fonctionne par acquisition de données vidéo (se rapportant donc à une pluralité d’images), simulation de traitements dentaires sur ces données vidéo, et restitution du résultat en réalité augmentée. Si un scan 3D de la partie dentée est disponible, il peut être recalé sur une image, avec ou sans la simulation du traitement envisagé. Sinon, une simulation peut être faite sur des données vidéo, avec toutefois pour double inconvénient la nécessité d’avoir deux capteurs d’images, d’une part, et un résultat de la simulation qui est grossier, d’autre part.

Le document US2018110590A divulgue un procédé de simulation dans lequel on numérise en 3D une arcade dentaire sur laquelle on envisage d’appliquer un traitement dentaire (pose de bagues, couronnes, aligneurs, etc.), puis, dans un système de réalité augmentée on aligne l’arcade dentaire 3D comprenant la simulation du traitement dentaire projeté sur l’image réelle du patient qui est en 2D, dans le but de visualiser dans ce système non plus l’arcade dentaire réelle du patient mais cette arcade avec le résultat du traitement dentaire projeté. Toutefois, la méthode d’alignement des données 3D de l’arcade modifiée dans l’espace 2D de l’image réelle du patient n’étant pas explicitée, ce procédé paraît insuffisamment décrit pour pouvoir être reproduit par un homme du métier.

L'invention vise à vise à rendre possible la reconstruction faciale, i.e., reconstruction 3D, du visage d’un sujet humain avec une portion dentée visible, à partir d’une série d’images 2D quelconques ou possiblement à partir d’une unique image 2D quelconque du visage avec la portion dentée, la reconstruction 3D ainsi obtenue se prêtant bien à l’apposition dans le domaine 3D du résultat de la simulation d’un traitement dentaire projeté qui modifie la portion dentée.

Ce but est atteint grâce à une méthode comprenant la séparation de l’image 2D du visage en une partie correspondant à la partie dentée seule et une autre partie correspondant au reste du visage, la première partie étant soumise à un traitement numérique de rehaussement avant fusion avec la seconde, soit au niveau 2D soit au niveau 3D. La reconstruction 3D, ou surface 3D, ainsi obtenue est adaptée pour la simulation d’un traitement dentaire projeté à appliquer à la portion dentée du visage, par substitution à la zone de la surface 3D correspondant à ladite portion dentée d’une autre surface 3D correspondant à ladite portion dentée telle qu’elle serait après ledit traitement projeté.

Plus spécifiquement, il est proposé un procédé de reconstruction tridimensionnelle, 3D, pour obtenir, à partir d’au moins une image bidimensionnelle, 2D, en couleurs d’un visage humain avec une portion dentée visible, une unique surface 3D reconstruite de la portion dentée et de la portion faciale hors portion dentée du visage, ledit procédé comprenant :
- la segmentation de l’image 2D en une première partie correspondant à la portion dentée du visage uniquement par masquage dans l’image 2D de la portion faciale hors portion dentée du visage, d’une part, et une seconde partie correspondant uniquement à la portion faciale, hors ladite portion dentée, du visage par masquage dans l’image 2D de la portion dentée du visage, d’autre part ;
- le rehaussement de la première partie de l’image 2D afin de modifier des caractéristiques photométriques de ladite première partie ;
- la génération d’une surface 3D du visage reconstruite à partir de la première partie réhaussée de l’image 2D, d’une part, et de la seconde partie de ladite image 2D, d’autre part, ladite surface 3D du visage étant adaptée pour la simulation d’un traitement dentaire projeté à appliquer à la portion dentée du visage, par substitution à la zone de la surface 3D correspondant à ladite portion dentée d’une autre surface 3D correspondant à ladite portion dentée après ledit traitement dentaire projeté.

Les modes de mise en œuvre utilisent l’image (ou les images) 2D réhaussée(s) en ce qui concerne la portion dentée, afin de produire une reconstruction 3D faciale, avec portion dentée, du visage du sujet. C’est le rehaussement de la partie dentée de l’image du visage du patient qui rend possible la reconstruction 3D non seulement de la partie faciale (hors la partie dentée) mais aussi de la partie dentée elle-même, à partir d’une unique image 2D du visage avec cette partie dentée visible.

Un premier mode de mise en œuvre prévoit que la reconstruction faciale est découplée de celle de la portion dentée. Dans ce premier mode de mise en œuvre en effet, la génération de la surface 3D du visage peut comprendre :
- l’implémentation d’un premier algorithme d’apprentissage profond adapté pour produire une carte de profondeur 2D représentant une reconstruction 3D de la portion dentée du visage sur la base de la première partie de l’image 2D réhaussée ;
- l’implémentation d’un second algorithme d’apprentissage profond de reconstruction faciale, adapté pour produire une reconstruction 3D texturée de la portion faciale hors portion dentée du visage sur la base de la seconde partie de l’image 2D ; et,
- un algorithme de fusion de la reconstruction 3D de la portion dentée et de la reconstruction 3D texturée de la partie faciale de l’image 2D de l’image 2D, pour obtenir la surface 3D du visage avec sa portion dentée ;

Dans ce premier mode de mise en œuvre, le second algorithme d’apprentissage profond peut être basé sur une méthode de type 3DMM (de l’anglais «3D Morphable Model») adaptée pour déformer une surface 3D générique de sorte à se rapprocher sur le plan photométrique de l’image 2D.

Le cas échéant, le premier algorithme d’apprentissage profond peut être adapté pour prédire une carte de profondeur pour la portion dentée du visage à partir de données d’apprentissage en masquant une carte de profondeur associée à l’image 2D avec le même masque qu’un masque utilisé sur l’image 2D pour obtenir la première partie de l’image 2D correspondant à la partie dentée du visage, et la carte de profondeur pour la portion dentée du visage peut être convertie en une reconstruction 3D qui est fusionnée avec la reconstruction 3D de la portion faciale hors portion dentée du visage pour produire la surface 3D du visage.

Le second algorithme peut être adapté, en outre, pour produire la position 3D relative de la caméra ayant pris le visage tel que présenté sur l’image 2D ainsi qu’une estimation de la zone 2D de ladite image 2D dans laquelle se situe la portion dentée du visage, en sorte qu’une surface 3D consolidée du visage peut être obtenue à partir d’une pluralité d’images 2D du visage prises par une caméra selon des angles de vue respectifs différents et pour chacune desquelles les étapes du procédé sont répétées pour obtenir des surfaces 3D reconstruites respectives, lesdites surfaces 3D reconstruites étant alors combinées en utilisant la position 3D relative de la caméra ayant pris le visage tel que présenté sur chaque image 2D ainsi que l’estimation de la zone 2D de ladite image 2D dans laquelle se situe la portion dentée du visage.

Inversement, un second mode de mise en œuvre prévoit que la reconstruction 3D de la partie faciale hors la partie dentée et celle de la portion dentée sont réalisées par un seul et même algorithme. Dans cette mise en œuvre, la génération de la surface 3D du visage peut comprendre l’implémentation d’un troisième algorithme d’apprentissage profond, différent du premier et du second algorithme d’apprentissage profond et adapté pour produire globalement une reconstruction 3D de la portion dentée et de la portion faciale hors portion dentée à partir de la seconde partie de l’image 2D à laquelle est ajoutée la première partie de ladite image 2D rehaussée avec recalage mutuel de ladite seconde partie de l’image 2D et de ladite et première partie de ladite image 2D rehaussée.

Des modes de mise en œuvre, pris isolément ou en combinaison, prévoient en outre que :
- le troisième algorithme d’apprentissage profond peut être basé sur une méthode de type 3DMM adaptée pour déformer une surface 3D générique de sorte à se rapprocher sur le plan photométrique de la seconde partie de l’image 2D à laquelle est ajoutée la première partie de ladite image 2D rehaussée ;
- la modification des caractéristiques photométriques de la première partie 2D de l’image peut comprendre l’augmentation de la netteté et/ou l’augmentation du contraste de ladite première partie de l’image 2D ;
- le rehaussement de la portion dentée de l’image 2D peut être réalisé en utilisant une série de filtres purement photométriques ;
- le traitement 2D de rehaussement comprend l’extraction du canal bleu, un filtrage passe-haut de rehaussement de contraste appliqué au canal bleu extrait, ainsi qu’un filtrage d’égalisation locale d’histogramme, par exemple de type CLAHE, appliqué au canal bleu filtré ;
- le filtrage passe-haut de rehaussement de contraste appliqué au canal bleu peut comprend un algorithme d’augmentation de la netteté, consistant par exemple à soustraire en partie dudit canal bleu une version floutée de lui-même ;
- en variante, la première partie de l’image 2D réhaussée peut être produite à partir de l’image 2D originale comme une sortie intermédiaire d’un réseau d’apprentissage profond de segmentation sémantique, ayant un contraste plus élevé que l’image 2D originale, et sélectionnée selon un critère quantitatif déterminé ;
- une métrique de contraste peut être associé à la sortie du noyau de convolution de chacune des couches de convolution du réseau d’apprentissage profond de segmentation sémantique, et la sortie intermédiaire sélectionnée du réseau d’apprentissage profond de segmentation sémantique peut être la sortie exhibant un maximum de contraste eu égard aux métriques associées aux sorties intermédiaires respectives dudit réseau d’apprentissage profond de segmentation sémantique.

Dans un deuxième aspect, l’invention a également pour objet un dispositif ayant des moyens adaptés pour exécuter toutes les étapes du procédé selon le premier aspect ci-dessus.

Un troisième aspect de l’invention se rapporte à un produit programme d'ordinateur comprenant une ou plusieurs séquences d'instructions stockées sur un support de mémoire lisible par une machine comprenant un processeur, lesdites séquences d'instructions étant adaptées pour réaliser toutes les étapes du procédé selon le premier aspect de l'invention lorsque le programme est lu dans le support de mémoire et exécuté par le processeur.

Dans un quatrième et dernier aspect, l’invention a également pour objet un procédé de simulation du résultat esthétique d’un traitement dentaire projeté pour un sujet humain, par exemple un traitement esthétique, orthodontique ou prothétique, à partir d’au moins une image bidimensionnelle, 2D, en couleurs du visage du sujet avec une portion dentée visible, ledit procédé comprenant :
- la reconstruction tridimensionnelle, 3D, à partir de l’image 2D, du visage avec la portion dentée, pour obtenir une unique surface tridimensionnelle, 3D, reconstruite de la portion dentée et de la portion faciale hors portion dentée du visage par le procédé selon le premier aspect ;
- la substitution à la zone de la surface 3D correspondant à la portion dentée du visage d’une autre surface 3D correspondant à ladite portion dentée après ledit traitement projeté ; et,
- l’affichage de la surface 3D du visage avec la portion dentée après le traitement dentaire projeté.

Des modes de mise en œuvre, pris isolément ou en combinaison, prévoient en outre que :
- le procédé comprend l’implémentation d’un algorithme appliqué à une reconstruction 3D de l’arcade dentaire totale du sujet, ledit algorithme étant adapté pour recaler l’arcade dentaire sur la portion dentée de la surface 3D du visage telle qu’obtenue par le procédé selon le premier aspect, et pour remplacer la portion dentée au sein de ladite surface 3D du visage par une partie correspondante de ladite reconstruction 3D de l’arcade dentaire du sujet, c’est-à-dire par la partie de l’arcade dentaire du sujet qui est visible dans l’image 2D ;
- l’arcade dentaire peut subir un traitement numérique, soit automatique soit manuel, avant recalage sur la portion dentée de la surface 3D du visage, afin de simuler au sein de ladite surface 3D du visage le résultat esthétique du traitement projeté ;
- la reconstruction 3D de l’arcade dentaire du sujet peut être obtenue avec une caméra intraorale ; et/ou
- le traitement projeté peut comprendre l’un au moins parmi la liste des traitements esthétique, orthodontique ou prothétique suivants : un changement de teinte des dents, un réalignement des dents, une apposition de facettes sur les dents, une pose de matériel orthodontique (par exemple des bagues) ou prothétique (par exemple une couronne, un « bridge », un « inlay-core », un « inlay-onlay »).

D’autres caractéristiques et avantages de l’invention apparaîtront encore à la lecture de la description qui va suivre. Celle-ci est purement illustrative et doit être lue en regard des dessins annexés sur lesquels :
la figure 1 est un diagramme fonctionnel illustrant la segmentation, selon le procédé du premier aspect de l’invention, d’une image 2D en couleurs d’un visage humain avec une portion dentée visible, en une première partie correspondant à la portion dentée du visage uniquement et une seconde partie correspondant à la portion faciale, hors ladite portion dentée, du visage ;
la figure 2 est un diagramme d’étapes d’un premier mode de mise en oeuvre du procédé permettant d’obtenir une reconstruction 3D à partir de l’image 2D de la figure 1, dans lequel la reconstruction 3D est réalisée séparément pour chacune des première et seconde parties de l’image 2D, après réhaussement de la première partie et avant fusion au niveau 3D des reconstructions 3D ainsi obtenues ;
la figure 3 est un diagramme d’étapes d’un premier mode de mise en oeuvre du procédé permettant d’obtenir une reconstruction 3D à partir de l’image 2D de la figure 1, dans lequel la reconstruction 3D est réalisée ensemble pour les première et seconde parties de l’image 2D, après rehaussement de la première partie et fusion des deux parties au niveau 2D ;
la figure 4 est un diagramme fonctionnel illustrant une première méthode de réhaussement de la portion dentée du visage de l’image 2D, utilisant un traitement qui met en œuvre une série de filtres photométriques ;
la figure 5 est un diagramme fonctionnel illustrant une seconde méthode de réhaussement de la portion dentée du visage de l’image 2D, exploitant les progrès de l’intelligence artificielle en utilisant une sortie intermédiaire d’un réseau d’apprentissage profond ; et,
la figure 6 est un diagramme fonctionnel illustrant un exemple de mise en œuvre du procédé de simulation selon le quatrième aspect de l’invention, dans le quel le traitement projeté est un blanchiment de dents.

Dans la description de modes de réalisation qui va suivre et dans les Figures des dessins annexés, les mêmes éléments ou des éléments similaires portent les mêmes références numériques aux dessins.

L’invention tire avantage des architectures d’apprentissage profond telles que les réseaux de neurones profonds et les réseaux de neurones (ou réseaux neuronaux) convolutifs ou réseau de neurones à convolution ou encore CNN (de l’anglais «Convolutional Neural Networks») pour réaliser des reconstructions tridimensionnelles à partir d’une (ou plusieurs) image(s) 2D d’un visage humain qui comprend une partie dentée visible, acquise(s) par un dispositif d’acquisition comprenant un capteur d’image 2D unique.

Avant d’entamer la description de modes de réalisation détaillés, il apparaît utile de préciser la définition de certaines expressions ou de certains termes qui y seront employés. A moins qu’il n’en soit disposé autrement, ces définitions s’appliquent nonobstant d’autres définitions que l’homme du métier peut trouver dans certains ouvrages de la littérature spécialisée.

Une « image », ou « vue », ou encore « balayage » («scan» en anglais), est constituée d'un ensemble de points de la scène tridimensionnelle réelle. Pour une image 2D acquise par un dispositif d’acquisition d’image, ou dispositif imageur (par exemple un capteur CCD ou un capteur CMOS), les points concernés sont les points de la scène réelle projetés dans le plan de la focale du capteur 2D servant à acquérir l’image 2D, et sont définis par les pixels de l’image 2D. Pour une surface 3D reconstruite (aussi appelée « reconstruction 3D »), ce terme désigne le produit ou résultat du traitement de reconstruction 3D, les points concernés étant un nuage de points 3D obtenu par une transformation d’une « carte de profondeur » (voir définition donnée plus bas), ou par triangulation dans le cas de la stéréoscopie, ou encore par déformation 3D d’un modèle 3D générique dans le cas d’une méthode de type 3DMM (voir définition donnée plus bas). Un tel nuage de points définit un squelette de la scène tridimensionnelle. Et un maillage 3D de ce nuage de points, par exemple un maillage de points 3D triangulés, peut en définir une enveloppe.

Un dispositif d’acquisition d’image « monoculaire » est un dispositif n’ayant qu’un unique capteur d’image et capable de n’acquérir des images d’une scène tridimensionnelle que sous un angle de vue unique seulement à une position du dispositif donnée.

Le « recalage » (en anglais «registration») consiste à déterminer la relation spatiale entre deux représentations (image 2D ou surface 3D) d’un même objet de sorte à faire se superposer les représentations d’un même point physique.

Le « calcul de pose » est l’estimation de la position et de l’orientation de la scène imagée par rapport à l’imageur (capteur d’image). C’est un des problèmes fondamentaux en vision par ordinateur, souvent nommé «Perspective-n-Points» (PnP). Ce problème consiste à estimer la pose (2-uplet [R _j ,;t _j ] formé de la matrice de rotationR _jet du vecteur de translationt _j ) de la caméra par rapport à un objet dans la scène, ce qui revient à trouver la pose permettant de réduire l’erreur de reprojection entre un point de l’espace et son correspondant 2D dans l’image. Une approche plus récente, nommée ePNP (de l’anglais «Efficient Perspective-n-Point»), suppose que la caméra est calibrée, et prend le parti de s’affranchir des problèmes de calibration en normalisant les points 2D en les multipliant par l’inverse de la matrice intrinsèque. Cette approche rajoute à cela le fait de paramétrer la pose de la caméra en passant par 4 points de contrôles, assurant que la transformation estimée soit rigide. Le fait de procéder ainsi permet de rendre les temps de calcul moins longs.

Par « rehaussement » de la portion dentée, on entend un traitement au niveau 2D spécifique à la portion dentée visant à en améliorer les caractéristiques photométriques de ladite portion dentée. Dans des modes de réalisation, ce traitement spécifique à la portion dentée peut comprendre l’application d’une séquence de filtres de traitement d’image. Dans d’autres modes de réalisation, il comprend la mise à profit d’une sortie intermédiaire d’un réseau d’apprentissage.

Un algorithme « d’accroissement de la netteté » («sharpening» en anglais) est un algorithme de traitement d’image visant à augmenter la netteté («sharpen» en anglais) de l’image.

L’acronyme « 3DMM » (de l’anglais «3D Morphable Model») désigne une méthode de génération de pose 3D via un modèle 3D morphable (c’est-à-dire modifiable). Cette méthode est particulièrement adaptée au traitement de l’information du visage d’un être humain (peau, rides, illumination, relief etc.). La méthode du 3DMM consiste à apposer un visage en 3D (masque) sur l’image 2D, et à le modifier pour le faire correspondre avec un visage sur l’image 2D. Sont ensuite extraites les informations correspondant au masque modifié qui vont permettre de créer la représentation en 3D du visage de l’image 2D.

Une « carte de profondeur » («Depth map» en anglais) associée à une image 2D, est une forme de représentation en 2D de l’information 3D reconstruite, correspondant à la portion de la scène 3D se reprojetant dans l’image 2D. En pratique, il s’agit d’un ensemble de valeurs, codées sous la forme de niveaux (ou nuances) de gris, respectivement associées à chaque pixelp _i de l’image 2D : plus la distance entre le point de la scène tridimensionnelle et le plan de l’image 2D est importante, et plus le pixel est sombre.

Un « réseau de neurones (ou réseau neuronal) convolutif » ou « réseau de neurones (ou réseau neuronal) à convolution » ou encore CNN (de l’anglais «Convolutional Neural Networks»), est un type de réseau de neurones artificiels acycliques («feed-forward», en anglais), consistant en un empilage multicouche de perceptrons, dont le but est de prétraiter de petites quantités d'informations. Un CNN se compose de deux types de neurones artificiels, agencés en « strates » ou « couches » traitant successivement l'information :
- les neurones de traitement, qui traitent une portion limitée de l'image (appelée « champ réceptif ») au travers d'une fonction de convolution ; et,
- les neurones de mise en commun (totale ou partielle) des sorties, dits neurones de «pooling» (qui signifie « regroupement » ou « mise en commun », en anglais), qui permettent de compresser l'information en réduisant la taille de l'image intermédiaire (souvent par sous-échantillonnage).
L'ensemble des sorties d'une couche de traitement permet de reconstituer une image intermédiaire, qui sert de base à la couche suivante. Un traitement correctif non-linéaire et ponctuel peut être appliqué entre chaque couche pour améliorer la pertinence du résultat. Les CNN connaissent actuellement de larges applications dans le domaine de la reconnaissance d'image.

En référence à lafigure 1, les modes de mises en œuvre du procédé de l’invention comprennent la segmentation de l’image bidimensionnelle (2D) 21 du visage d’un sujet humain, ici une jeune femme, en une première partie 22, d’une part, et en une seconde partie 22, d’autre part. La première partie 22 correspond uniquement à la portion dentée 1 du visage, qui est visible dans l’image 21. Elle est obtenue par masquage et mise en noir, dans l’image 21, de la portion faciale 4 hors portion dentée 1 du visage. La seconde partie 23 correspond uniquement à la portion faciale 4, hors la portion dentée 1, du visage. Elle est obtenue par masquage et mise en noir dans l’image 2D de ladite portion dentée 1 du visage.

La partie dentée 1 est représentée à la figure 1 dans le détail 10 de l’image 21, qui correspond à la zone de la bouche du sujet, laquelle zone est aussi identifiée par la même référence 10 dans la partie 22 et dans la partie 23 de l’image 21. L’homme du métier appréciera que la partie dentée exclût les lèvres et les gencives, pour ne comprendre vraiment que la portion visible dans l’image 21, le cas échéant, de l’arcade supérieure et/ou de l’arcade inférieur de la dentition du sujet. Cette portion dentée présente, par rapport au reste du visage, une spécularité élevée et une texture particulière qui rendent difficile la reconstruction 3D avec les techniques classiques de reconstruction 3D faciale.

Cette segmentation de l’image 2D en deux parties permet d’implémenter un traitement d’image spécifique à la portion dentée 1 qui est l’unique objet de la première partie 22, afin de pallier les mauvaises propriétés photométriques de ladite portion dentée 1 par rapport aux autres portions du visage. Le traitement d’image est adapté pour rehausser ces propriétés, notamment le contraste. On désigne un tel traitement par le terme « rehaussement ». Il est uniquement appliqué à la portion dentée 1,i.e., seulement à la partie 22 de l’image 22 du visage. La partie dentée après rehaussement et la partie faciale hors partie dentée sont ensuite fusionnées, c’est-à-dire recombinées pour donner au final la reconstruction 3D de l’image bidimensionnelle 21 du visage avec partie dentée.

Il est proposé essentiellement deux modes de réalisation, selon que la fusion ci-dessus est effectuée au niveau 2D, c’est-à-dire avant une reconstruction 3D appliquée à l’image recomposée, ou que la fusion est effectuée au niveau 3D, c’est-à-dire après des reconstructions 3D appliquées à chacune des deux parties de l’image respectivement. Ces deux modes de mise en œuvre vont maintenant être décrit en regard des diagrammes d’étapes de la figure 2 et de la figure 3, respectivement.

En référence tout d’abord au diagramme d’étapes de lafigure 2, le procédé commence, à l’étape 201, par l’acquisition d’au moins une image (i.e., d’une vue en 2D) du visage d’un sujet qui comprend une partie dentée visible. Ceci est le cas, notamment lorsque le sujet sourit. Un sourire est le résultat d’une expression naturelle d’une émotion, qui peut aussi être commandé par le sujet. En général, le fait de sourire découvre tout ou partie de l’arcade dentaire supérieure, et généralement aussi de l’arcade inférieure du sujet, en raison de l’ouverture de la bouche et de l’étirement des lèvres que le sourire provoque. L’image 21 du sujet en train de sourire peut être prise par le sujet lui-même, ou par une autre personne à l’aide par exemple de la caméra embarquée d’un dispositif portable du sujet comme son téléphone portable, ou par tout autre dispositif imageur similaire, par exemple un appareil photo, une webcam, etc. . Dans des modes de réalisation, l’étape 201 comprend la prise d’une pluralité d’images du visage du patient comme l’image 21, prises sous des angles de vue respectifs différents. Ces modes de réalisation, sur lesquels on reviendra plus loin, permettent d’améliorer la précision de la reconstruction 3D du visage du sujet.

A l’étape 202, on réalise la segmentation de l’image 21 en une première partie 22 et une seconde partie 24. Comme précédemment exposé plus haut en référence à la figure 1, la première partie 22 correspond à la portion dentée 1 du visage uniquement. Et la seconde partie 24 correspond uniquement à la portion faciale 4, hors ladite portion dentée 1, du visage. Cette étape de segmentation 202 peut être réalisée par un traitement numérique appliqué sur les données de l’image 21, via un algorithme 51 qui implémente la détection de limites externes de la portion dentée 1 du visage grâce à un réseau d’apprentissage profond de détection de points caractéristiques sur un visage. Ceci permet de générer un masque pour chacune desdites première et seconde parties 22 et 24, respectivement, de l’image 21. L’effet de ces masques est le suivant :
- la première partie 22 de l’image 21 est obtenue à partir de ladite image 21 en masquant, c’est-à-dire en mettant en noir la portion faciale 4 hors la portion dentée du visage ; et,
- la seconde partie 24 de l’image 21 est obtenue à partir de ladite image 21 en en mettant en noir la portion dentée 4 du visage.
En fait, ce qu’on appelle les parties 22 et 24 de l’image 21 sont des images 2D correspondant chacune à ladite image 21 mais dans lesquelles une partie des pixels est remplacés par des pixels noirs.

Cette technique est connue en soi et sa mise en œuvre est à la portée de l’homme du métier, c’est pourquoi elle ne sera pas décrite plus en détails dans la présente description. On notera simplement que le réseau d’apprentissage profond de l’algorithme 51 est, en particulier, adapté pour exclure les lèvres et les gencives de la première partie 22, afin que celle-ci ne comprennent que la partie dentée 1 proprement dite, dont la spécularité et la texture sont très différentes de celles des tissus organiques, qu’ils soient mous ou durs, tels que la peau, les lèvres ou les muqueuses de la bouche. Un exemple de tel réseau d’apprentissage profond est décrit dans l’article Bulat et al. "How far are we from solving the 2D & 3D face alignment problem? (and a dataset of 230,000 3D facial landmarks)", ICCV, 2017. L’algorithme décrit retrouve des points caractéristiques répartis le long des lèvres. En isolant la partie de l’image à l’intérieur de ces points, la partie dentée est isolée.

A l’étape 203, on réalise l’implémentation d’un algorithme de reconstruction faciale qui peut également être implémenté sous la forme d’un réseau d’apprentissage profond 42. Ce CNN est adapté pour prédire une reconstruction 3D texturée 34 de la portion faciale 4 hors portion dentée 1 du visage. Cette reconstruction est obtenue sur la base de la seconde partie 24 de l’image 21.

Dans des modes de mise en œuvre, l’algorithme 42 se base par exemple sur le concept de 3DMM (de l’anglais «3D Morphable Model»), selon lequel la surface 3D correspondant à la reconstruction tridimensionnelle d’un visage quelconque peut être obtenue par déformation d’un visage moyen, la déformation étant paramétrée par un vecteur comprenant un nombreK_facede valeurs réelles.

Plus particulièrement, le réseau d’apprentissage profond 42 a été entraîné à cette fin pour être capable de prédire, étant donnée une image 2D fournie en entrée, le jeu deK_faceparamètres qui déforme le modèle 3D moyen de visage afin qu’il ressemble le plus possible, sur le plan photométrique, au visage de l’image 2D fournie en entrée. Dit autrement, l’algorithme mis en œuvre par le réseau d’apprentissage profond 42 implémente une méthode de type 3DMM adaptée pour déformer une surface 3D générique de sorte à se rapprocher de l’image 2D sur le plan photométrique. Pour se rapprocher au mieux de l’image 2D, l’algorithme peut se baser sur une métrique de proximité photométrique entre le modèle 3D déformé et l’image 2D de départ, en lien avec un processus d’optimisation basé sur cette métrique. L’apprentissage de ce réseau 42 se fait à partir d’images 2D de visages dont on connait par ailleurs la surface 3D par un moyen spatialement précis (par exemple un scanner facial à lumière structurée).

Divers exemples de tels algorithmes sont connus de l’Homme du métier. On peut citer, par exemple, l’algorithme décrit dans l’article par Deng et al. "Accurate 3D face reconstruction with weakly supervised learning: from single image to image set", IEEE Computer Vision and Pattern Recognition Workshop (CVPRW) on Analysis and Modeling of Faces and Gestures (AMFG), 2019.

On notera que, outre la surface tridimensionnelle 34 de la face (hors portion dentée), le réseau d’apprentissage 42 est également adapté pour prédire aussi un modèle d’illumination (représenté par 9 paramètres) et une pose (représentée par 6 paramètres), qui permettent d’estimer la position 3D relative de la caméra ayant pris le visage tel que présenté sur l’image 2D fournie en entrée. Cette estimation de pose peut être avantageusement mise à profit dans le cas de l’utilisation du procédé avec plusieurs images 2D en entrée, ce qui sera explicité plus loin.

La limite d’utilisation de ce genre d’algorithmes d’apprentissage profond est qu’il ne peut prédire une reconstruction plausible de la portion dentée 1, du fait du caractère photométrique (très spéculaire, peu texturé) de cette dernière. C’est pourquoi l’invention propose de contourner ce problème, en réhaussant la portion dentée 1 des images 2D afin de la rendre utilisable sur le plan photométrique pour effectuer une reconstruction tridimensionnelle satisfaisante.

En effet, l’étape 204 comprend l’application d’un traitement numérique 54 aux données de la première partie 22 de l’image 21, laquelle correspond à la portion dentée 1 du visage du sujet. Ce traitement 54 comprend un rehaussement de la première partie 22 de l’image 21 afin de modifier des caractéristiques photométriques de cette première partie. Essentiellement, ce rehaussement vise à améliorer le contraste de l’image 22. Le traitement 54 permet donc de générer une version réhaussée 23 de l’image 22 correspondant à la portion dentée du visage. Deux modes de mise en œuvre du rehaussement seront décrits plus bas, en référence à la figure 4 et à la figure 5, respectivement.

A l’étape 205, on réalise l’implémentation d’un autre algorithme d’apprentissage profond 41, adapté pour produire une carte de profondeur (dans le domaine 2D) de la portion dentée 1 du visage sur la base de l’image rehaussée 23 correspondant à la première partie 22 de l’image bidimensionnelle 21. Dans un mode de réalisation, l’algorithme d’apprentissage profond 41 est adapté pour prédire une carte de profondeur pour la portion dentée du visage à partir de données d’apprentissage, en masquant une carte de profondeur associée à l’image 21 avec le même masque qu’un masque utilisé sur l’image 21 pour obtenir, à l’étape 202, la première partie 22 de l’image 21 correspondant à la partie dentée 1 du visage. Cette carte de profondeur pour la portion dentée 1 du visage est ensuite convertie en une reconstruction 3D.

Dans des mises en œuvre, l’algorithme d’apprentissage profond 41 peut implémenter un exemple particulier de CNN, qui est en fait un FCN (de l’anglais «Fully Convolutional Network») inspiré de l’article par J. Long, E. Shelhamer et T. Darrell, "Fully convolutional networks for semantic segmentation", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015, pp. 3431-3440. Un tel réseau d’apprentissage profond est spécifiquement entraîné pour produire une carte de profondeur de la partie dentée 1. Il prend en entrée des images 2D dont la portion dentée 1 est isolée comme décrit plus haut en lien avec l’étape 202 (le reste de l’image étant masqué et mis en noir) puis réhaussée par le traitement 54 comme expliqué ci-dessus en lien avec l’étape 204. En sortie, réseau d’apprentissage profond prédit la carte de profondeur attendue sur la portion dentée 1, générée à partir des données d’apprentissage du réseau en masquant la carte de profondeur globale avec le même masque utilisé sur l’image 2D à l’étape de rehaussement 204.

L’étape 206 comprend alors l’implémentation d’un algorithme 56 de fusion de la reconstruction tridimensionnelle 23 de la portion dentée 1 et de la reconstruction tridimensionnelle texturée 34 de la portion faciale 4 du visage représenté par l’image bidimensionnelle 21, pour obtenir la reconstruction tridimensionnelle 35 du visage complet, avec sa portion dentée 1. Dit autrement, à l’étape 206, la reconstruction tridimensionnelle 33 correspondant à la carte de profondeur produite par l’algorithme 41 pour la portion dentée 1 du visage, est fusionnée avec la reconstruction tridimensionnelle 34 obtenue par l’algorithme 42 pour la portion faciale hors portion dentée du visage, afin de produire la surface tridimensionnelle 35 du visage complet.

L’algorithme de fusion 56 peut là encore mettre en œuvre un réseau d’apprentissage profond.

Pour l’entraînement de ce réseau, il est nécessaire de se constituer une base de données, avec desn-uplets de données acquis pour des personnes différentes, et qui associent, pour chaque image 2D d’une personne, la surface 3D de son visage ainsi que de la portion dentée.

Plus particulièrement, à l’effet de constituer un triplet de données d’apprentissage, l’image 2D de chaque personne peut être acquise par un appareil quelconque du commerce (appareil photo, téléphone portable, tablette numérique, etc.). Pour la reconstruction 3D de la portion faciale 4 du visage hors partie dentée, il est possible d’utiliser un scan 3D de reconstruction faciale par lumière structurée. Par ailleurs, pour la portion dentée 1 qui n’est pas ou qui serait mal imagée par ce genre d’appareil, on peut obtenir une reconstruction 3D par un scanner intra oral en couleurs réelles (par exemple un scanner WoW™ disponible auprès de la société BIOTECH DENTAL), produisant ainsi une arcade dentaire 3D complète, texturée et précise. On notera qu’un tel scanner peut restituer la texture des dents en amalgamant les couleurs des images 2D (codées par un codage RGB, par exemple) ayant servi à la reconstruction 3D. Il est alors aisé de retexturer le modèle 3D en utilisant non pas les images 2D brutes, mais des images réhaussées par l’algorithme 54 de l’étape 204 du procédé. Le modèle 3D présente alors une surface bien plus contrastée et mieux adaptée à des algorithmes de traitement d’image subséquents se basant sur de la photométrie, lesquels peuventin fineêtre mis en œuvre dans le cadre de l’utilisation qui est faite des reconstructions faciales qui sont obtenues grâce au procédé de l’invention, par exemple pour la simulation de l’effet esthétique d’un traitement dentaire projeté.

Dans les triplets de données d’apprentissage, la reconstruction 3D de la partie de l’image correspondant à la portion dentée 1 du visage, réhaussée ou texturée en RGB suivant l’utilisation que l’on veut en faire, est recalée manuellement sur la reconstruction 3D de la partie faciale 4 du visage, afin de produire une unique reconstruction 3D comprenant la portion faciale 4 et la portion dentée 1 du visage. Enfin, la pose relative de l’image 2D par rapport à la reconstruction 3D peut être calculée de manière semi-automatique, en choisissant des points d’intérêt 3D sur la surface 3D ainsi que leur point correspondant sur l’image 2D. Grâce à ces couples, un algorithme de pose relative, par exemple ePNP, permet de retrouver la pose. Par ce procédé, on obtient des données d’apprentissage par triplet {image 2D ; reconstruction 3D ; pose}. Ces données d’apprentissage peuvent aisément être converties en d’autres triplets {image 2D ; carte de profondeur ; pose}, la carte de profondeur pouvant être préférée dans certains modes de mise en œuvre.

Grâce au réseau d’apprentissage profond 56 entraîné comme il vient d’être exposé, la surface 3D du visage générée à l’étape 206 du procédé à partir de la version réhaussée 23 de la première partie 22 de l’image 2D, d’une part, et de la seconde partie 24 de ladite image 2D, d’autre part, est une reconstruction 3D de bonne qualité y-compris pour la portion dentée 1 du visage. Cette reconstruction 3D est donc bien adaptée pour la simulation d’un traitement projeté à appliquer à la portion dentée du visage, par substitution à la zone de la surface 3D correspondant à ladite portion dentée d’une autre surface 3D correspondant à ladite portion dentée telle qu’elle serait après ledit traitement projeté.

En résumé, l’image réhaussée 23 correspondant à la partie 22 de l’image d’entrée 21 qui correspond à la portion dentée 1 du visage, est utilisée par l’algorithme d’apprentissage profond 41 afin de produire une reconstruction tridimensionnelle 33 de la portion dentée 1 du visage dans l’image 21. Parallèlement, l’algorithme d’apprentissage profond 42, qui est par exemple basé sur une méthode 3DMM, génère une reconstruction tridimensionnelle 34 de la portion faciale 4 seule. Un tel algorithme, par exemple, est avantageusement adapté pour, en outre, produire la position 3D relative de la caméra ayant pris le visage tel que présenté sur l’image 2D, ainsi qu’une estimation de la zone 2D de ladite image 2D dans laquelle se situe la portion dentée du visage. Ceci peut être mis à profit, dans certaines implémentations de la méthode, pour obtenir à l’étape 206 une surface 3D consolidée du visage à partir d’une pluralité d’images 2D du visage comme l’image 21, prises par une caméra selon des angles de vue respectifs différents. Chacune de ces images est soumise au procédé de reconstruction 3D selon les étapes 202 à 205 de la figure 2. Dit autrement, la mise en œuvre du procédé de la figure 2 peut être répétée pour obtenir des surfaces 3D reconstruites respectives. Ces surfaces 3D reconstruites peuvent alors être combinées, à l’étape 206, en utilisant la position 3D relative de la caméra ayant pris le visage tel que présenté sur chaque image 2D ainsi que l’estimation de la zone 2D de ladite image 2D dans laquelle se situe la portion dentée du visage. La surface 3D consolidée du visage qui est obtenue par ce type d’implémentation à partir d’une pluralité d’images 2D du visage du sujet est une reconstruction 3D de la face et des dents plus précise que celle obtenue à partir d’une seule image 2D dudit visage.

Dans un second mode de mise en œuvre, qui va maintenant être décrit en référence à lafigure 3, la génération de la surface 3D du visage comprend l’implémentation d’un autre algorithme d’apprentissage profond 43 apte à prédire une reconstruction 3D à partir d’une image 2D, qui diffère des algorithmes d’apprentissage profond 41 et 42 du mode de mise en œuvre de la figure 2. Cet autre algorithme est adapté pour produire globalement une reconstruction 3D de la portion dentée 1 et de la portion faciale 4 hors portion dentée, à partir de la seconde partie 24 de l’image 2D à laquelle est ajoutée la première partie 22 de ladite image 2D rehaussée, avec recalage mutuel de ladite seconde partie de l’image 2D et de ladite première partie de ladite image 2D rehaussée. Ce troisième algorithme 43 peut être dérivé de l’algorithme 42 utilisé à l’étape 203 du mode de mise en œuvre illustré par la figure 2.

La première étape 301 et la deuxième étape 302 du mode de mise en œuvre selon la figure 3 sont identiques, la première étape 201 et la deuxième étape 202, respectivement, du mode de mise en œuvre selon la figure 2. En outre, la troisième étape 303 du mode de mise en œuvre de la figure 3 correspond à l’étape 304 du mode de mise en œuvre de la figure 2. Ainsi, la première étape 301 correspond à la prise d’une image 2D du visage d’un patient avec une portion dentée 1 visible. La deuxième étape 302 est l’étape de segmentation de l’image 2D acquise, en une première partie 22 correspondant à la portion dentée seule, et une seconde partie 24 correspondant à la partie faciale 4 hormis la portion dentée 1. Et la troisième étape 303 comprend le traitement de rehaussement de la partie 22 de l’image correspondant à la partie dentée 1, qui permet de produire une version réhaussée 23 de ladite image 22. Ces étapes 301, 302 et 304 ne sont donc pas décrites à nouveau en détail ici.

La suite des étapes de la mise en œuvre du procédé selon la figure 3 diffère cependant de la mise en œuvre conforme à la figure 2.

A l’étape 304, en effet, l’image réhaussée 23 qui correspond à l’image 22 de la portion dentée seule sur laquelle il a été appliqué un traitement spécifique pour en rehausser des caractéristiques photométriques, est réinjectée dans l’image 2D d’origine 21. Plus particulièrement, ce résultat peut être obtenu en fusionnant l’image réhaussée 23 et la partie 24 de l’image 2D d’origine 21 correspondant à la partie facial 4 hormis la partie dentée 1 du visage, par un algorithme de fusion 52. Le résultat de cette fusion est une image bidimensionnelle 25 refusionnée, dans laquelle la partie dentée 1 est réhaussée. Dit autrement, l’image 25 produite par l’algorithme de fusion 52 est toujours une image 2D, comme l’image 21 d’origine, mais elle s’en distingue en ce que la partie dentée 1 du visage y est réhaussée.

Puis, à l’étape 305, la reconstruction faciale et celle de la portion dentée sont réalisées par l’implémentation commune d’un algorithme 43 de reconstruction tridimensionnelle, appliqué à l’image bidimensionnelle refusionnée 25 dans laquelle la partie dentée 1 est réhaussée. Cet algorithme peut se dériver de l’algorithme 42 utilisé à l’étape 303 de la mise en œuvre du procédé selon la figure 2, mais à la condition d’ajouter l’image d’une portion dentée avec texture réhaussée dans les données d’apprentissage. Suivant le processus d’apprentissage décrit plus haut à propos de l’algorithme 42 de la figure 2, on peut sous cette condition utiliser la même base de données d’apprentissage pour entrainer le réseau 43 à prédire, depuis des images 2D de visages avec portion dentée réhaussée, la surface 3D totale comprenant la portion dentée texturée. Dit autrement, l’algorithme mis en œuvre par le réseau d’apprentissage profond 43 implémente une méthode de type 3DMM appliquée à l’image 2D refusionnée 25, et qui est adaptée pour déformer une surface 3D générique de sorte à se rapprocher de l’image 2D sur le plan photométrique. Pour se rapprocher au mieux, de l’image 2D, l’algorithme 43 peut se baser sur une métrique de proximité photométrique entre le modèle 3D déformé et l’image 2D de départ, en lien avec un processus d’optimisation basé sur cette métrique.

En se référant par exemple au principe de l’article scientifique de Deng et al. déjà cité plus haut, les reconstructions totales (d’une image avec partie faciale et avec partie dentée) exhibant une texture réhaussée sur les dents, sont recalées entre elles. Une paramétrisation restreinte est alors mise en place sur ces données recalées afin de rendre compte au mieux des déformations interindividuelles. En sortie de ce processus, on paramètre les déformations par un nombreK_totalde paramètres de déformation qui est supérieur au nombreK_facede paramètres de l’algorithme 42 de la figure 2, rendant compte et de la face et des dents. Une fois le réseau d’apprentissage profond 43 ainsi entrainé, il est capable de reconstruire, pour toute image 2D de visage comprenant ou non une portion dentée, la surface 3D correspondante.

Comme l’homme du métier l’aura compris, la modification des caractéristiques photométriques de la première partie 22 de l’image 2D d’origine 21 qui est générée à l’étape de rehaussement 204 de la figure 2 comme à l’étape 303 de la figure 3, comprend l’augmentation de la netteté et/ou l’augmentation du contraste de ladite première partie 22 de l’image 2D.

Selon un premier exemple de mise en œuvre, illustré par le diagramme fonctionnel de lafigure 4, le rehaussement de la portion dentée de l’image 2D peut être réalisé en utilisant une série de filtres purement photométriques.

Plus particulièrement le traitement 54 de rehaussement au niveau 2D qui est appliqué à la portion dentée 1 comprend :
- à l’étape 401, l’extraction du canal bleu de l’image en couleurs codée au format RGB ;
- un filtrage passe-haut de rehaussement de contraste 402 appliqué au canal bleu extrait à l’étape 401 ; ainsi que
- à l’étape 403, un filtrage d’égalisation locale d’histogramme de type CLAHE appliqué au canal bleu filtré qui est obtenu par l’étape 402.

Concernant l’étape 401, l’homme du métier appréciera que le canal bleu est, sur le plan spectral, celui qui contient le plus de contraste sur du tissu dentaire.

En outre, dans un exemple, le filtrage passe-haut de rehaussement de contraste appliqué à l’étape 402 au canal bleu peut comprendre un algorithme d’augmentation de la netteté tel qu’un algorithme de «sharpening» appliqué sur le canal bleu. Un tel algorithme consiste à soustraire en partie du canal bleu une version floutée de lui-même, ce qui a pour effet d’accentuer les détails de haute fréquence spatiale.

Enfin, le filtrage d’égalisation locale d’histogramme de l’étape 403 peut par exemple être de type CLAHE, tel que décrit dans le chapitre par Karel Zuiderveld “Contrast Limited Adaptive Histogram Equalization”, dans l’ouvrage Graphics Gems IV, éditions P. Heckbert, Cambridge, MA. (Academic Press, New York), Août 1994, pp. 474-485.

Selon un second exemple de mise en œuvre, illustré par le diagramme fonctionnel de lafigure 5, la version réhaussée 23 de la première partie 22 de l’image bidimensionnelle originale 21 correspondant à la portion dentée de l’image 21 peut être obtenue à partir de ladite image 2D originale 21, comme une sortie intermédiaire d’un réseau d’apprentissage profond 50 de prédiction de carte de profondeur, ayant un contraste plus élevé que l’image 2D originale selon un critère quantitatif déterminé. L’homme du métier appréciera qu’il est parfaitement admis que le réseau d’apprentissage profond 50, appliqué sur une image non réhaussée, ne peut produire en sortie que des cartes de profondeur qui sont non utilisables en tant que telles, mais que cela n’empêche pas d’utiliser ses sorties intermédiaires comme celles d’un rehausseur de contraste en accord avec des mises en œuvre de l’invention, nonobstant le fait que ses sorties soient non utilisables et sont effectivement non utilisées.

L’architecture d’apprentissage profond 50 est par exemple un réseau de neurones convolutif (CNN) qui peut avoir une structure tout à fait classique. Ce type de CNN est disponible dans des librairies connues par l’homme du métier qui sont en accès libre. En entrée, l’image 21 en deux dimensions est fournie sous la forme d’une matrice de pixels. La couleur est codée par une troisième dimension, de profondeur égale à 3, pour représenter les couleurs fondamentales [Rouge, Vert, Bleu].

Le CNN de la figure 5 est en fait un FCN (de l’anglais «Fully Convolutional Network») inspiré de l’article scientifique déjà mentionné plus haut, par J. Long, et al., "Fully convolutional networks for semantic segmentation", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015, pp. 3431-3440. Ce FCN comporte deux parties bien distinctes, selon une architecture encodage/décodage.

La première partie du FCN d’encodage est la partie convolutive proprement dite. Elle comprend, la « couche de traitement convolutif » 51, qui possède une succession de filtres, ou « noyaux de convolution », appliqués en strates. La couche de traitement convolutif 51 fonctionne comme un extracteur de caractéristiques des images 2D admises en entrée du CNN. Dans l’exemple, l’image d’entrée 21 est passée à travers la succession des noyaux de convolution, créant à chaque fois une nouvelle image appelée carte de convolution. Chaque noyau de convolution possède deux couches de convolution 511 et 512, et une couche 513 de réduction de la résolution de l’image par une opération de mise en commun aussi appelée opération de maximum local («max pooling», en anglais).

La sortie de la partie convolutive 51 est ensuite fournie en entrée d’une ultime couche de convolution 520 captant tout le champ d’action visuel de la couche précédente, et mimant ainsi une couche entièrement connectée (couche «fully connected» en anglais).

Enfin, une couche de déconvolution 530 finale produit en sortie une carte de profondeur 22’. Comme il a déjà été dit, ce type de CNN n’est malheureusement pas adapté pour la reconstruction 3D de la partie dentée 1 dans l’image 22, en raison de la forte spécularité et la faible texture des dents. C’est pourquoi la carte de profondeur 22’ générée par ce réseau 50 n’est pas exploitable pour l’application envisagée.

Par contre, chaque noyau (ou kernel) de convolution de la couche de traitement convolutif 51 du réseau 50 est adaptée pour extraire des caractéristiques photométriques déterminées de l’image 2D admise en entrée du CNN. Dit autrement, chaque noyau génère une carte de convolution sous la forme d’une nouvelle image constituant une version de l’image d’entrée qui est réhaussée du point de vue desdites caractéristiques.

Ainsi, l’image réhaussée 23 correspondant à la version réhaussée de l’image 21 en entrée du réseau d’apprentissage profond 50 peut être extraite comme une sortie intermédiaire déterminée dudit réseau 50, ayant un contraste plus élevé que l’image 2D originale selon un critère quantitatif déterminé. Cette sortie intermédiaire peut être sélectionnée parmi les sorties des noyaux de convolution par un moteur de sélection 52, sur la base des valeurs d’une métrique de contraste qui sont respectivement associées à la sortie de chacun des noyaux de convolution de chaque couche de convolution du réseau 50. Par exemple, la sortie intermédiaire sélectionnée du réseau 50 peut être la sortie du noyau de la couche de traitement convolutif 51 dudit réseau qui exhibe un maximum de contraste eu égard aux métriques associées aux sorties intermédiaires respectives du réseau, c’est-à-dire aux sorties des noyaux respectifs de la couche 51. L’image délivrée par cette sortie intermédiaire a un contraste plus élevé que l’image 2D originale 21 fournie en entrée du CNN.

L’invention qui a été décrite dans ce qui précède permet de rendre possible la reconstruction faciale avec une portion dentée sur la base d’une seule image 2D quelconque, ou sur une série d’images 2D quelconque. Dans ce dernier cas, plusieurs images sont prises selon des angles de vue différents, et une procédure finale de reconstruction stéréoscopique multi vues est conduite afin de produire une reconstruction 3D de la face et des dents plus précise.

Le procédé trouve des applications très variées, notamment dans la simulation de traitements dentaire ayant des implications esthétiques.

Ainsi par exemple, le diagramme fonctionnel de lafigure 6illustre un exemple de procédé de simulation du résultat esthétique d’un traitement dentaire esthétique, orthodontique ou prothétique, qui est projeté pour un sujet humain,i.e., un patient à partir d’au moins une image bidimensionnelle, 2D, en couleurs du visage du sujet avec une portion dentée visible. Dans cet exemple, le traitement envisagé est un traitement esthétique consistant en un blanchiment des dents.

Le procédé comprend :
- la reconstruction tridimensionnelle 60, à partir d’une image 2D d’origine 71 du visage du patient avec une portion dentée visible (ou d’une pluralité de telles images), pour obtenir une unique surface tridimensionnelle 73 reconstruite de la portion dentée 1 et de la portion faciale 4 hors portion dentée du visage par le procédé tel que décrit dans ce qui précède ;
- l’obtention 61 d’une reconstruction tridimensionnelle 75 de l’arcade dentaire du patient, au moins de la portion 1 de ladite arcade dentaire concernée par le traitement projeté et qui est visible dans l’image 2D d’origine 71 ;
- la substitution 63 à la zone de la surface tridimensionnelle 73 correspondant à la portion dentée 1 du visage dans l’image 2D d’origine 71, d’une autre surface tridimensionnelle 77 correspondant à la portion dentée 2 telle qu’elle serait après ledit traitement projeté ; et,
- l’affichage de la surface tridimensionnelle 73 du visage avec la portion dentée 2 telle qu’elle serait après le traitement projeté.

Dans un exemple, la reconstruction tridimensionnelle 75 de l’arcade dentaire 1 du patient qui est obtenue à l’étape 61 peut être une reconstruction 3D de l’arcade complète du patient. Cette reconstruction 3D peut par exemple être reconstruite par un scanner 3D intraoral (IOS) 72. Dans une variante, la reconstruction tridimensionnelle 75 de l’arcade dentaire 1 du patient peut être obtenue par imagerie volumétrique par faisceau conique (ou CBCT, mis pour «Cone Beam Computed Tomography»). La CBCT est une technique de tomodensitométrie permettant de produire une radiographie numérisée, située entre le panoramique dentaire et le scanner.

Dans une étape 62, un praticien dentaire (comme un chirurgien dentaire ou un orthodontiste, par exemple) élabore un projet de traitement dentaire 74. En conséquence, l’arcade dentaire 1 subit un traitement numérique automatique ou manuel qui génère une simulation 2 de ladite arcade dentaire après traitement. Puis, l’arcade dentaire traitée 2 (ici on peut parler de l’arcade dentaire blanchie), est recalée sur la portion dentée de la surface tridimensionnelle 73 du visage du patient, afin de simuler au sein de ladite surface 3D le résultat esthétique du traitement projeté 74.

En effet, à l’étape 63, la surface tridimensionnelle 77 de la portion dentée 2 telle qu’elle se présenterait après le traitement dentaire projeté, ici un blanchiment des dents, est recalée sur la portion dentée de la reconstruction tridimensionnelle 73 du visage du patient, grâce à un algorithme de recalage 76. Ainsi, elle remplace au sein de la reconstruction tridimensionnelle 73 du visage du patient, la portion dentée 1 qui est visible dans l’image 2D d’origine 71. Dit autrement, l’algorithme de recalage 76 qui est appliqué à une reconstruction tridimensionnelle 77 de l’arcade dentaire est adapté pour recaler l’arcade dentaire blanchie 2 sur la portion dentée de la surface tridimensionnelle 73 du visage du patient telle qu’obtenue par le procédé selon le premier aspect de l’invention. Ceci permet au patient d’apprécier la pertinence du traitement dentaire projeté 74, du point de vue de l’esthétique, sur la base d’une vue d’ensemble 73 de son visage avec la partie dentée telle qu’elle serait après ledit traitement dentaire projeté.

L’affichage de la surface tridimensionnelle 73 du visage avec la portion dentée 2 telle qu’elle serait après le traitement projeté peut être un affichage en 3D, par exemple dans un logiciel de 3D du type de Meshlab™ (qui est un logiciel libre de traitement de maillages 3D), dans un logiciel de CAO (mis pour (« Conception Assistée par Ordinateur »). Il peut aussi s’agir de l’affichage d’une image 2D, ou d’un affichage sur des lunettes de réalité virtuelle, ou sur des lunettes de réalité augmentée. Ces exemples ne sont pas limitatifs.

L’exemple d’un blanchiment des dents n’est pas limitatif des traitements dentaires qui peuvent être simulés grâce au procédé tel que décrit ci-dessus en regard de la figure 6. En outre, plusieurs traitements peuvent être simulés simultanément. Ainsi, le traitement projeté peut comprendre l’un au moins parmi les traitements esthétiques, orthodontiques ou prothétiques suivants : un changement de teinte des dents, un réalignement des dents, une apposition de facettes sur les dents, une pose de matériel orthodontique (bagues) ou prothétique (couronne, « bridge », « inlay core », « inlay onlay »), etc.

De manière plus générale, la présente invention a été décrite et illustrée dans la présente description détaillée et dans les figures des dessins annexés, dans des formes de réalisation possibles. La présente invention ne se limite pas, toutefois, aux formes de réalisation présentées. D’autres variantes et modes de réalisation peuvent être déduits et mis en œuvre par la personne du métier à la lecture de la présente description et des dessins annexés.

Dans les revendications, le terme "comprendre" ou "comporter" n’exclut pas d’autres éléments ou d’autres étapes. Un seul processeur ou plusieurs autres unités peuvent être utilisées pour mettre en œuvre l’invention. Les différentes caractéristiques présentées et/ou revendiquées peuvent être avantageusement combinées. Leur présence dans la description ou dans des revendications dépendantes différentes, n’excluent pas cette possibilité. Les signes de référence ne sauraient être compris comme limitant la portée de l’invention.

Claims (20)

1. Procédé de reconstruction tridimensionnelle, 3D, pour obtenir, à partir d’au moins une image bidimensionnelle, 2D, en couleurs d’un visage humain avec une portion dentée visible, une unique surface 3D reconstruite de la portion dentée et de la portion faciale hors portion dentée du visage, ledit procédé comprenant :
   - la segmentation de l’image 2D en une première partie correspondant à la portion dentée du visage uniquement par masquage dans l’image 2D de la portion faciale hors portion dentée du visage, d’une part, et une seconde partie correspondant uniquement à la portion faciale, hors ladite portion dentée, du visage par masquage dans l’image 2D de la portion dentée du visage, d’autre part ;
   - le rehaussement de la première partie de l’image 2D afin de modifier des caractéristiques photométriques de ladite première partie ;
   - la génération d’une surface 3D (35) du visage reconstruite à partir de la première partie réhaussée (23) de l’image 2D, d’une part, et de la seconde partie (24) de ladite image 2D, d’autre part, ladite surface 3D du visage étant adaptée pour la simulation d’un traitement projeté (74) à appliquer à la portion dentée (1) du visage, par substitution à la zone de la surface 3D (73) correspondant à ladite portion dentée (1) d’une autre surface 3D (77) correspondant à ladite portion dentée (2) après ledit traitement dentaire projeté.
2. Procédé selon la revendication 1, dans lequel la génération de la surface 3D (35) du visage comprend :
   - l’implémentation d’un premier algorithme d’apprentissage profond (41) adapté pour produire une carte de profondeur 2D représentant une reconstruction 3D (33) de la portion dentée du visage sur la base de la première partie (22) de l’image 2D réhaussée ;
   - l’implémentation d’un second algorithme d’apprentissage profond (42) de reconstruction faciale, adapté pour produire une reconstruction 3D texturée (34) de la portion faciale hors portion dentée du visage sur la base de la seconde partie (24) de l’image 2D ; et,
   - un algorithme (56) de fusion de la reconstruction 3D de la portion dentée et de la reconstruction 3D texturée de la partie faciale de l’image 2D de l’image 2D, pour obtenir la surface 3D (35) du visage avec sa portion dentée.
3. Procédé selon la revendication 2, dans lequel le premier algorithme d’apprentissage profond (2) est adapté pour prédire une carte de profondeur pour la portion dentée du visage à partir de données d’apprentissage en masquant une carte de profondeur associé à l’image 2D avec le même masque qu’un masque utilisé sur l’image 2D pour obtenir la première partie de l’image 2D correspondant à la partie dentée du visage, et dans lequel la carte de profondeur pour la portion dentée du visage est convertie en une reconstruction 3D qui est fusionnée avec la reconstruction 3D de la portion faciale hors portion dentée du visage pour produire la surface 3D du visage.
4. Procédé selon la revendication 2 ou la revendication 3, dans lequel le second algorithme d’apprentissage profond (42) est basé sur une méthode de type 3DMM adaptée pour déformer une surface 3D générique de sorte à se rapprocher de l’image 2D sur le plan photométrique.
5. Procédé selon la revendication 4, dans lequel le second algorithme (42) est adapté, en outre, pour produire la position 3D relative de la caméra ayant pris le visage tel que présenté sur l’image 2D ainsi qu’une estimation de la zone 2D de ladite image 2D dans laquelle se situe la portion dentée du visage, et dans lequel une surface 3D consolidée du visage est obtenue à partir d’une pluralité d’images 2D du visage prises par une caméra selon des angles de vue respectifs différents et pour chacune desquelles les étapes du procédé selon l’une quelconque des revendications 1 à 4 sont répétées pour obtenir des surfaces 3D reconstruites respectives, lesdites surfaces 3D reconstruites étant combinées en utilisant la position 3D relative de la caméra ayant pris le visage tel que présenté sur chaque image 2D ainsi que l’estimation de la zone 2D de ladite image 2D dans laquelle se situe la portion dentée du visage.
6. Procédé selon la revendication 1, dans lequel la génération de la surface 3D du visage comprend l’implémentation d’un troisième algorithme d’apprentissage profond (43), différent du premier et du second algorithme d’apprentissage profond et adapté pour produire globalement une reconstruction 3D de la portion dentée et de la portion faciale hors portion dentée à partir de la seconde partie de l’image 2D à laquelle est ajoutée (304) la première partie de ladite image 2D rehaussée avec recalage mutuel de ladite seconde partie de l’image 2D et de ladite et première partie de ladite image 2D rehaussée.
7. Procédé selon la revendication 6, dans lequel le troisième algorithme d’apprentissage profond (43) est basé sur une méthode de type 3DMM adaptée pour déformer une surface 3D générique de sorte à se rapprocher sur le plan photométrique de la seconde partie de l’image 2D à laquelle est ajoutée la première partie de ladite image 2D rehaussée.
8. Procédé selon l’une quelconque des revendications 1 à 7, dans lequel la modification des caractéristiques photométriques (54) de la première partie 2D de l’image comprend l’augmentation de la netteté et/ou l’augmentation du contraste de ladite première partie de l’image 2D.
9. Procédé selon la revendication 8, dans lequel le rehaussement de la portion dentée de l’image 2D est réalisé en utilisant une série de filtres purement photométriques (401,402,403).
10. Procédé selon la revendication 9, dans lequel le traitement 2D de rehaussement comprend l’extraction du canal bleu (401), un filtrage passe-haut de rehaussement de contraste appliqué au canal bleu extrait (402), ainsi qu’un filtrage d’égalisation locale d’histogramme, par exemple de type CLAHE (403), appliqué au canal bleu filtré.
11. Procédé selon la revendication 10, dans lequel le filtrage passe-haut de rehaussement de contraste (402) appliqué au canal bleu comprend un algorithme d’augmentation de la netteté, consistant par exemple à soustraire en partie dudit canal bleu une version floutée de lui-même.
12. Procédé selon la revendication 8, dans lequel la première partie de l’image 2D réhaussée (23) est produite à partir de l’image 2D originale comme une sortie intermédiaire d’un réseau d’apprentissage profond de segmentation sémantique (50), ayant un contraste plus élevé que l’image 2D originale, sélectionnée (52) selon un critère quantitatif déterminé.
13. Procédé selon la revendication 12, dans lequel une métrique de contraste est associé à la sortie du noyau de convolution de chacune des couches de convolution (51) du réseau d’apprentissage profond de segmentation sémantique (50), et dans lequel la sortie intermédiaire sélectionnée du réseau d’apprentissage profond de segmentation sémantique est la sortie exhibant un maximum de contraste eu égard aux métriques associées aux sorties intermédiaires respectives dudit réseau d’apprentissage profond de segmentation sémantique.
14. Dispositif ayant des moyens configurés pour mettre en œuvre toutes les étapes d’un procédé selon l’une quelconque des revendications 1 à 13.
15. Produit programme d'ordinateur comprenant une ou plusieurs séquences d'instructions stockées sur un support de mémoire lisible par une machine comprenant un processeur, lesdites séquences d'instructions étant adaptées pour réaliser toutes les étapes du procédé selon l’une quelconque des revendications 1 à 13 lorsque le programme est lu dans le support de mémoire et exécuté par le processeur.
16. Procédé de simulation du résultat esthétique d’un traitement dentaire projeté pour un sujet humain, à partir d’au moins une image bidimensionnelle, 2D, en couleurs du visage du sujet avec une portion dentée (1) visible, ledit procédé comprenant :
    - la reconstruction tridimensionnelle, 3D, à partir de l’image 2D, du visage avec la portion dentée, pour obtenir une unique surface 3D (73) de la portion dentée et de la portion faciale hors portion dentée du visage reconstruite par le procédé selon l’une quelconque des revendications 1 à 13 ;
    - la substitution (76) à la zone de la surface 3D correspondant à la portion dentée (1) du visage d’une autre surface 3D (77) correspondant à ladite portion dentée (2) après ledit traitement projeté ; et,
    - l’affichage de la surface 3D du visage avec la portion dentée après le traitement dentaire projeté.
17. Procédé selon la revendication 16 comprenant l’implémentation d’un algorithme (76) appliqué à une reconstruction 3D (77) de l’arcade dentaire du sujet, ledit algorithme étant adapté pour recaler l’arcade dentaire sur la portion dentée de la surface 3D (73) du visage telle qu’obtenue par le procédé selon l’une quelconque des revendications 1 à 12, et pour remplacer la portion dentée (1) au sein de ladite surface 3D du visage par une partie correspondante (2) de ladite reconstruction 3D de l’arcade dentaire du sujet.
18. Procédé selon la revendication 17, dans lequel l’arcade dentaire (75) subit un traitement numérique avant recalage sur la portion dentée de la surface 3D (73) du visage, afin de simuler au sein de ladite surface 3D du visage le résultat esthétique du traitement projeté.
19. Procédé selon la revendication 17 ou la revendication 18, dans lequel la reconstruction 3D (75) de l’arcade dentaire du sujet est obtenue avec une caméra intraorale.
20. Procédé selon l’une quelconque des revendications 16 à 19, dans lequel le traitement projeté comprend l’un au moins parmi la liste des traitements esthétique, orthodontique ou prothétique suivants : un changement de teinte des dents, un réalignement des dents, une apposition de facettes sur les dents, une pose de matériel orthodontique comme des bagues, ou une pose de matériel prothétique comme une couronne, un « bridge », un « inlay core » ou un « inlay onlay ».