FR3111268A1 - Procédé de segmentation automatique d’une arcade dentaire - Google Patents

Procédé de segmentation automatique d’une arcade dentaire Download PDF

Info

Publication number
FR3111268A1
FR3111268A1 FR2006077A FR2006077A FR3111268A1 FR 3111268 A1 FR3111268 A1 FR 3111268A1 FR 2006077 A FR2006077 A FR 2006077A FR 2006077 A FR2006077 A FR 2006077A FR 3111268 A1 FR3111268 A1 FR 3111268A1
Authority
FR
France
Prior art keywords
dimensional
vertex
dental
image
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2006077A
Other languages
English (en)
Other versions
FR3111268B1 (fr
Inventor
Olivier Querbes
Véronique Querbes-Duret
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pearl 3d
Original Assignee
Pearl 3d
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pearl 3d filed Critical Pearl 3d
Priority to FR2006077A priority Critical patent/FR3111268B1/fr
Priority to EP21731156.2A priority patent/EP4165595A1/fr
Priority to US18/009,626 priority patent/US20230206451A1/en
Priority to PCT/EP2021/065454 priority patent/WO2021250091A1/fr
Publication of FR3111268A1 publication Critical patent/FR3111268A1/fr
Application granted granted Critical
Publication of FR3111268B1 publication Critical patent/FR3111268B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

PROCÉDÉ DE SEGMENTATION AUTOMATIQUE D’UNE ARCADE DENTAIRE L’invention concerne un procédé de segmentation automatique d’une arcade dentaire comprenant une acquisition d’une surface tridimensionnelle de l’arcade dentaire, pour obtenir une représentation tridimensionnelle comprenant un ensemble de vertex, une génération de vues virtuelles à partir de la représentation tridimensionnelle, une projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, pour obtenir une image représentant chaque vertex sur la vue virtuelle, un traitement de chaque image par un réseau d’apprentissage profond, une projection inverse de chaque image pour attribuer à chaque vertex de la représentation tridimensionnelle, un ou plusieurs pixels des images dans lequel le vertex apparait et auquel il correspond, et en attribuant à chaque vertex un ou des vecteurs de probabilité, une détermination de la classe de tissu dentaire à laquelle appartient le plus probablement chaque vertex à partir du ou des vecteurs de probabilité. Figure pour l’abrégé : figure 4

Description

PROCÉDÉ DE SEGMENTATION AUTOMATIQUE D’UNE ARCADE DENTAIRE
Domaine technique de l’invention
L’invention concerne un procédé de segmentation automatique d’une arcade dentaire. En particulier, l’invention concerne un procédé permettant de segmenter avec précision et de manière automatique une reconstruction tridimensionnelle d’une arcade dentaire, totale ou partielle.
Arrière-plan technologique
La segmentation d’une arcade dentaire permet, à partir d’une représentation de l’arcade dentaire, d’identifier chacune des dents et des tissus de l’arcade dentaire. Cette arcade dentaire segmentée est utilisée comme base pour divers traitements dentaires (prothétiques, esthétiques, etc).
L’arcade dentaire désigne un ensemble des dents alignées en forme d’arc, qui est porté par les os formant la mâchoire : chez l’être humain, la mandibule (ou os mandibulaire) forme la mâchoire inférieure et porte l’arcade dentaire inférieure et le maxillaire (ou os maxillaire) forme la mâchoire supérieure et porte l’arcade dentaire supérieure.
Dans le cadre des traitements dentaires évoqués plus haut, la prise d’empreinte de l’arcade dentaire se faisait auparavant par une prise d’empreinte physique à base d’alginate, mais cette technique est peu à peu remplacée par des reconstructions tridimensionnelles numériques obtenues grâce à des caméras intra-orales. Ces reconstructions tridimensionnelles numériques des arcades dentaires permettent d’utiliser les outils de Conception Assistée par Ordinateur (CAO), ce qui offrent les avantages d’élargir et de simplifier les possibilités de traitement et/ou de conception de prothèse.
La CAO nécessite parfois d’effectuer une segmentation de l’arcade dentaire, i.e. identifier pour chaque partie de sa représentation tridimensionnelle à quel tissu elle appartient. La segmentation de ces reconstructions tridimensionnelles numériques est généralement effectuée de manière manuelle, ce qui est une opération fastidieuse, coûteuse, et peut ralentir l’ensemble du processus numérique de création d’une prothèse par exemple.
Des procédés numériques automatiques ou semi-automatiques ont été proposés pour pallier cette problématique. Dans ces procédés, un algorithme traite cette représentation tridimensionnelle numérique de manière à fournir en sortie une version segmentée de cette représentation.
Les procédés automatiques ou semi-automatiques existants présentent quelques inconvénients majeurs.
D’une part, la plupart de ces procédés sont basés sur des considérations principalement géométriques. Ainsi, s’ils présentent des résultats satisfaisants pour la segmentation d’une dentition classique, des défauts apparaissent rapidement dès que l’arcade dentaire présente un décalage important avec la dentition « moyenne ». Or, ce sont principalement ces arcades dentaires qui s’éloignent de la moyenne qui sont concernées par la plupart des traitements prothétiques, esthétiques ou orthodontiques.
D’autre part, ces procédés reposent encore trop souvent sur une intervention manuelle par un opérateur humain, soit en amont du procédé, soit pendant la mise en œuvre du procédé, soit suite à une première exécution du procédé pour reprendre manuellement des erreurs locales. Ces interventions manuelles pour aider le procédé peuvent parfois présenter des contraintes supérieures à une segmentation manuelle, ce qui est contre-productif.
Objectifs de l’invention
L’invention vise à fournir un procédé de segmentation automatique d’une arcade dentaire.
L’invention vise en particulier à fournir, dans au moins un mode de réalisation, un procédé de segmentation automatique d’une arcade dentaire ne nécessitant pas d’intervention manuelle d’un opérateur humain pour la segmentation.
L’invention vise aussi à fournir, dans au moins un mode de réalisation de l’invention, un procédé de segmentation automatique d’une arcade dentaire robuste, pouvant être utilisé pour des arcades dentaires présentant des défauts éloignés d’une dentition classique.
L’invention vise aussi à fournir, dans au moins un mode de réalisation de l’invention, un procédé de segmentation automatique d’une arcade dentaire rapide et peu coûteux.
Pour ce faire, l’invention concerne un procédé de segmentation automatique d’une arcade dentaire, caractérisé en ce qu’il comprend :
une étape d’acquisition d’une surface tridimensionnelle de l’arcade dentaire, pour obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
une étape de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle ;
une étape de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur cette vue virtuelle ;
une étape de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires ;
une étape de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un pixel pour chaque image sur laquelle le vertex apparait et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels ;
une étape de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribués audit vertex.
Un procédé de segmentation automatique selon l’invention permet donc une segmentation automatique de l’arcade dentaire efficace, robuste et ne nécessitant pas d’intervention manuelle pendant son exécution.
Les classes de tissu dentaires sont de types différents selon l’application pratique de la segmentation automatique. Au minimum, on peut par exemple distinguer les tissus correspondant à une gencive et les tissus correspondant à une dent, en général on distingue notamment la gencive et chaque dent unique indépendamment. Les dents sont ainsi catégorisées indépendamment par leur numérotation dentaire unique, par exemple la notation de la Fédération Dentaire Internationale (FDI World Dental Federation notationen anglais), le système de notation universel (Universal Numbering Systemen anglais), le système de notation Palmer, etc. D’autres types de tissus peuvent être distingués : par exemple, sur une, plusieurs ou chaque dent, les faces de dent peuvent faire l’objet d’une distinction (par exemple face linguale/platine, face occlusale, face vestibulaire, etc.). La segmentation peut aussi inclure des tissus correspondant à du matériel prothétique (scan post,scan body, etc.). Lorsque le tissu est du matériel prothétique, on peut éventuellement reconnaître la marque et/ou le modèle de celui-ci, par exemple par sa forme. La reconnaissance d’un modèle de matériel prothétique peut permettre d’utiliser une représentation 3D pré-enregistrée de ce modèle dans la représentation tridimensionnelle de l’arcade dentaire.
Le procédé peut être utilisé pour une seule arcade dentaire (supérieure ou inférieure), ou bien pour l’ensemble des arcades dentaires.
Le réseau d’apprentissage profond préalablement entraîné est par exemple un réseau de type réseau neuronal convolutif (CNN pourConvolutional Neural Networken anglais), ce type de réseau étant particulièrement intéressant pour traiter les images bidimensionnelles. Le procédé utilisant les CNN plus particulièrement pour des tâches de segmentation d’images, il fait appel à une sous-classe des CNN entièrement convolutive, les réseaux FCN entièrement convolutifs (FCN pourFully Convolutional Networken anglais). Ce type de réseau est notamment décrit dans l’article : «Fully Convolutional Networks for Semantic Segmentation », Long et al., 2014. Plus généralement, les réseaux d’apprentissage profond sont appelésDeep Learning Networken anglais ouDeep Learning Neural Networkpour réseau neuronal à apprentissage profond.
La représentation tridimensionnelle de l’arcade dentaire est obtenue facilement par acquisition de la surface tridimensionnelle, par exemple par une caméra intra-orale à lumière structurée, ou à lumière passive (stéréoscopie). Au lieu de traiter directement la représentation tridimensionnelle, ce qui nécessite beaucoup de ressources, le procédé selon l’invention utilise des vues virtuelles bidimensionnelles de cette représentation tridimensionnelle. L’utilisation des vues virtuelles bidimensionnelles permet de simplifier grandement la modélisation de l’arcade dentaire pour son traitement, ce qui simplifie de fait le traitement. Le recours à un espace projectif bidimensionnel au lieu de considérer un espace tridimensionnel dans sa globalité permet d’autre part de plus facilement faire appel aux réseaux d’apprentissage profond de type CNN.
En outre, la gestion des données bidimensionnelle est moins coûteuse en espace de stockage, et nécessite moins de ressource pour être traitée.
L’utilisation d’une multitude d’images bidimensionnelles permet de pouvoir attribuer à un vertex une pluralité de vecteurs de probabilité. En combinant les probabilités de plusieurs de ces vecteurs de probabilité, on obtient une détermination plus fiable de la classe de tissu dentaire à laquelle le vertex appartient, ce qui réduit les risques d’erreurs sur une classification d’un vertex et par là même le besoin de recourir à des corrections manuelles ultérieures.
L’invention se distingue donc de traitement automatique effectués directement sur des représentations tridimensionnelles de l’art antérieur, grâce à l’utilisation de données bidimensionnelles qui permet un traitement plus robuste, plus rapide et peu coûteux en termes de ressources pour un résultat moins propice aux erreurs locales.
Les étapes de génération de vues virtuelles bidimensionnelles, de projection de la représentation tridimensionnelle, de traitement de chaque image par un réseau d’apprentissage profond, de projection inverse de chaque image, et de détermination de la classe de tissu dentaire, sont préférentiellement mises en œuvre par un dispositif informatique, tel qu’un ordinateur ou une pluralité d’ordinateurs, en particulier par un ou plusieurs programmes informatiques exécutés sur le dispositif informatique. Plus particulièrement, le procédé est mis en œuvre de préférence dans un module spécialisé dans le traitement de données graphiques tridimensionnelles et bidimensionnelles, tel qu’un processeur graphique ou GPU (pourGraphics Processing Uniten anglais), exécutant un programme informatique spécialisé dans le traitement de données tridimensionnelles et bidimensionnelles, par exemple OpenGL.
L’étape d’acquisition de la surface de l’arcade est mise en œuvre de préférence par la combinaison d’un dispositif d’acquisition, par exemple une caméra intraorale, et un programme informatique d’acquisition traitant les données acquises par le dispositif d’acquisition pour l’obtention de la représentation tridimensionnelle de l’arcade dentaire. Des exemples de caméras orales pouvant être utilisées sont par exemple la caméra « Wow™ » de Biotech Dental.
Avantageusement et selon l’invention, le procédé comprend, préalablement à l’étape de traitement de chaque image par le réseau d’apprentissage, une étape d’attribution à chaque pixel de chaque image d’au moins une valeur discriminatoire, ladite valeur discriminatoire étant une valeur numérique représentative d’une caractéristique du vertex lorsque ledit pixel correspond à un vertex sur la vue virtuelle, et à une interpolation des caractéristiques des vertex sommets de la face polygonale lorsque ledit pixel correspond à une face polygonale sur la vue virtuelle.
Selon cet aspect de l’invention, la valeur discriminatoire est une valeur numérique attribuée à chaque pixel qui permet la composition d’une image dans laquelle chaque pixel est représentatif du vertex correspondant à ce pixel ou des vertex sommets d’une face polygonale correspondant à ce pixel. L’image obtenue s’apparente ainsi à une matrice 2D dans laquelle chaque pixel a une valeur discriminatoire, et peut être traitée par le réseau d’apprentissage profond.
Avantageusement et selon l’invention, la valeur discriminatoire peut être d’un type de valeur sélectionné parmi la liste des types de valeurs suivante :
valeur RGB du vertex, obtenue lors de l’acquisition d’une surface tridimensionnelle ;
valeur de courbure tridimensionnelle au niveau du vertex ;
valeur de distance entre le vertex et un centre optique de la vue virtuelle sur laquelle il se projette ;
un angle entre une normale du vertex et une direction de visée de la vue virtuelle.
Selon cet aspect de l’invention, la valeur discriminatoire peut être de différents types, ce qui permet d’obtenir des images de types différents, par exemple une image RGB si l’acquisition a été effectuée par une caméra intraorale permettant une reconstruction en couleurs, une image apparentée à une carte de profondeur (cas de la distance vertex-centre optique), une image où sont visibles les courbures, etc. Cette valeur peut ainsi être inhérente au vertex indépendamment de son rapport aux vues virtuelles (par exemple sa courbure tridimensionnelle), ou représenter une relation entre le vertex et la vue virtuelle (par exemple la distance entre le vertex et le centre optique de la vue virtuelle, ou l’angle entre sa normale et la direction de visée de la vue virtuelle).
D’autres types de valeurs discriminatoires peuvent être utilisés selon le dispositif utilisé pour l’acquisition d’image, le traitement dentaire souhaité, les classes de tissus dentaire à identifier lors de la segmentation, etc.
Avantageusement et selon l’invention, plusieurs valeurs discriminatoires peuvent être combinées entre elles, afin de produire des vues virtuelles bidimensionnelles comportant plusieurs canaux selon une troisième dimension, chacun de ces canaux portant l’information d’un type de données en particulier (par exemple premier canal pour la courbure, deuxième canal pour la distance vertex-centre optique, etc).
Avantageusement et selon l’invention, chaque vue virtuelle est définie par un centre optique compris dans l’espace tridimensionnel, et par une direction de prise de vue selon un axe de prise de vue.
Selon cet aspect de l’invention, la vue virtuelle s’apparente à une vue caméra virtuelle qui peut, dans certains cas, correspondre à une véritable vue caméra obtenue dans l’étape d’acquisition de la surface tridimensionnelle. Plus particulièrement, lors de la phase d’acquisition de la surface tridimensionnelle, la caméra intraorale enregistre, outre la reconstruction tridimensionnelle, les positions spatiales successives de la caméra relativement à la surface tridimensionnelle. Ces positions peuvent être mises à profit lors du calcul de segmentation, en recréant les vues virtuelles selon ces mêmes positions spatiales. De cette manière, l’ensemble de ces vues virtuelles couvre bien la totalité de la surface tridimensionnelle, étant donné que ce sont elles-mêmes qui ont servi à la générer.
Le centre optique correspond au point de prise de vue, qui est un point dans l’espace tridimensionnel et correspond à l’emplacement de la caméra virtuelle associée à la vue virtuelle.
D’autres caractéristiques peuvent être associée à chaque vue virtuelle, comme le champ de vision, la hauteur et la largeur en pixels de la vue virtuelle générée, la matrice de calibration intrinsèque (focale et centre optique). Ces autres caractéristiques seront choisies comme fixes en amont de la conception du procédé de segmentation décrit dans cette invention.
À titre indicatif, on peut choisir la largeur et la hauteur de la vue virtuelle (par exemple 1280 pixels * 960 pixels), décider par exemple que la vue virtuelle doit couvrir une surface planaire de 3*2.25 centimètres située à 1 centimètre de son centre optique, et placer le centre optique au centre de l’image. Ces contraintes permettent de facilement retrouver la focale de la matrice de calibration.
Avantageusement et selon l’invention, le procédé comprend une étape de détermination des caractéristiques des vues virtuelles, comprenant :
une sous-étape de détermination d’un squelette représentant la forme générale de l’arcade dentaire ;
une sous-étape de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette.
Selon cet aspect de l’invention, la détermination des caractéristiques des vues virtuelles permet de s’assurer que l’ensemble des vertex soient visibles dans les vues virtuelles, que suffisamment de vertex soient visibles dans plusieurs vues virtuelles et que les images obtenues à partir des vues virtuelles soient exploitables par le réseau d’apprentissage profond.
Cette détermination des caractéristiques peut s’effectuer indépendamment de la connaissance des positions spatiales réelles évoquées précédemment.
Avantageusement et selon l’invention, le nombre de vues virtuelles bidimensionnelles générées est compris entre 30 et 90 vues, de préférence entre 50 et 70 vues.
Selon cet aspect de l’invention, ce nombre de vues virtuelles permet de couvrir suffisamment une dentition classique adulte humaine pour obtenir un résultat robuste, tout en limitant le nombre de vues à traiter par le réseau d’apprentissage profond.
Avantageusement et selon l’invention, l’étape de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle il appartient le plus probablement comprend l’exécution d’un algorithme de type coupe de graphe prenant en paramètre pour chaque vertex le ou lesdits vecteurs de probabilités attribués audit vertex.
L’algorithme de coupe de graphe est plus connu sous le nomgraph-cuten anglais.
Selon cet aspect de l’invention, cet algorithme permet de ne pas considérer uniquement le ou les vecteurs de probabilité associé à un vertex pour déterminer la classe de tissu dentaire, mais aussi de considérer des paramètres provenant des vertex voisins afin de garantir l’absence d’artefacts et d’erreurs ponctuelles dans la détermination des classes de tissu dentaire.
L’invention concerne également un dispositif de segmentation automatique d’une arcade dentaire, caractérisé en ce qu’il comprend :
un module d’acquisition d’une surface tridimensionnelle de l’arcade dentaire, configuré pour obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
un module de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle ;
un module de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur la vue virtuelle ;
un module de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires ;
un module de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un ou plusieurs pixels des images dans lequel le vertex apparait et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels ;
un module de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribué audit vertex.
Avantageusement, le procédé de segmentation automatique selon l’invention est mis en œuvre par le dispositif de segmentation automatique selon l’invention.
Avantageusement, le dispositif de segmentation automatique selon l’invention met en œuvre le procédé de segmentation automatique selon l’invention.
Un module peut être consisté par exemple d’un dispositif informatique tel qu’un ordinateur, d’un ensemble de dispositifs informatiques, d’un composant électronique ou d’un ensemble de composants électroniques, ou par exemple d’un programme informatique, d’un ensemble de programmes informatiques, d’une librairie d’un programme informatique ou d’une fonction d’un programme informatique exécuté par un dispositif informatique tel qu’un ordinateur, un ensemble de dispositifs informatiques, un composant électronique ou un ensemble de composants électroniques.
L’invention concerne également un procédé d’apprentissage supervisé d’un réseau d’apprentissage profond, caractérisé en ce qu’il comprend :
une étape d’acquisition d’une pluralité de surfaces tridimensionnelles de plusieurs arcades dentaires, pour obtenir une pluralité de représentations tridimensionnelles d’apprentissage des arcades dentaires dans un espace tridimensionnel, lesdites représentations tridimensionnelles d’apprentissage comprenant chacune un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
une étape de segmentation manuelle, par un opérateur humain, de chaque représentation tridimensionnelle d’apprentissage de l’arcade dentaire, dans laquelle est attribuée à chaque vertex de la représentation tridimensionnelle une classe de tissu dentaire, de manière à obtenir une représentation tridimensionnelle segmentée pour chaque représentation tridimensionnelle d’apprentissage ;
une étape de génération, pour chaque représentation tridimensionnelle de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle d’apprentissage ;
une étape de projection, pour chaque représentation tridimensionnelle d’apprentissage, de la ou les valeurs discriminatoires choisies pour la représentation tridimensionnelle d’apprentissage sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle d’entrée représentant en chaque pixel la valeur discriminatoire du vertex ou de la face polygonale se projetant sur la vue virtuelle ;
une étape de projection, pour chaque représentation tridimensionnelle segmentée, de la représentation tridimensionnelle segmentée sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle de sortie représentant en chaque pixel la classe de tissu dentaire du vertex ou de la face polygonale se projetant sur l’image bidimensionnelle de sortie ;
une étape d’apprentissage du réseau d’apprentissage profond via un traitement de chaque couple d’images comprenant une image d’entrée et une image de sortie issues respectivement de la projection avec la même vue virtuelle de la ou les valeurs discriminatoires pour chaque représentation tridimensionnelle d’apprentissage et de sa représentation tridimensionnelle segmentée associée.
Le procédé d’apprentissage profond constitue une étape préalable à la segmentation automatique opérée dans le procédé de segmentation automatique selon l’invention, et peut ainsi être avantageusement intégré au procédé de segmentation automatique en tant qu’étape préliminaire à l’étape de traitement des images obtenues via les vues virtuelles. Le procédé d’apprentissage supervisé permet en particulier d’entraîner le réseau d’apprentissage profond utilisé dans le procédé de segmentation automatique, dans l’étape de traitement des images obtenues via les vues virtuelles.
Le réseau d’apprentissage est ainsi entraîné préalablement par fourniture d’images déjà segmentées provenant de vues virtuelles. Cet apprentissage supervisé utilisant des images provenant de vues virtuelles traite ainsi uniquement de données bidimensionnelles, ce qui permet un apprentissage rapide et robuste. Le réseau d’apprentissage ainsi entraîné nécessite moins de ressources, est plus rapide et plus efficace pour effectuer des traitements sur des nouvelles images non segmentées, par rapport à un réseau d’apprentissage qui serait entraîné uniquement sur des données tridimensionnelles sans utilisation de vues virtuelles et d’images bidimensionnelles. Même si l’apprentissage supervisé fait intervenir un opérateur humain, aucune intervention manuelle n’est nécessaire pour intervenir dans le procédé de segmentation automatique une fois que le réseau d’apprentissage profond est suffisamment entraîné.
L’invention concerne également un procédé de segmentation automatique, un dispositif de segmentation automatique et un procédé d’apprentissage supervisé d’un réseau d’apprentissage profond, caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci-après.
Liste des figures
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles :
est un schéma dentaire représentant la numérotation de dents humaines selon le système de notation de la Fédération Dentaire Internationale
est une vue schématique d’une représentation tridimensionnelle d’une arcade dentaire obtenue suite à une étape d’acquisition de la surface tridimensionnelle de l’arcade dentaire par un procédé de segmentation selon un mode de réalisation de l’invention ;
est une vue schématique d’une représentation tridimensionnelle d’une arcade dentaire segmentée par un procédé de segmentation automatique selon l’invention ;
est une vue schématique d’une pluralité de vertex et d’une face formée par lesdits vertex d’une représentation tridimensionnelle d’une arcade dentaire ;
est une vue schématique des étapes d’un procédé de segmentation automatique selon l’invention ;
est une vue schématique d’une étape de détermination des caractéristiques des vues virtuelles d’un procédé de segmentation automatique selon un mode de réalisation de l’invention ;
est une vue schématique d’une sous-étape de de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette d’un procédé de segmentation automatique selon un mode de réalisation de l’invention ;
est une vue schématique d’un procédé d’apprentissage supervisé d’un réseau d’apprentissage profond selon un mode de réalisation de l’invention.
Description détaillée d’un mode de réalisation de l’invention
Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté.
En outre, les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures.
La figure 1 est un schéma représentant une dentition humaine adulte, dans lequel chaque dent est associé à sa notation selon la notation de la Fédération Dentaire Internationale (FDI World Dental Federation notationen anglais). Dans cette notation, chaque dent est repérée par deux chiffres de notation ; La dentition est séparée en quatre quadrants, et le quadrant dans laquelle se trouve la dent correspond au premier chiffre de la notation : quadrant 1 en haut à gauche, quadrant 2 en haut à droite, quadrant 3 en bas à droite, quadrant 4 en bas à gauche (« droite » et « gauche » étant entendu du point de vue d’un dentiste observant la dentition d’un patient). Le deuxième chiffre de la notation indique la dent correspondante, dans le quadrant, de 1 l’incisive centrale à 8 la dent de sagesse.
Il existe aussi une notation de la Fédération Dentaire Internationale pour les dents temporaires, non détaillée ici.
Le procédé de segmentation automatique selon l’invention permet de distinguer chacune de ces dents de l’arcade dentaire et peut attribuer à chacune de ces dents la numérotation ci-représentée.
La figure 2a représente schématiquement une représentation 100 numérique tridimensionnelle obtenue suite à une étape d’acquisition de la surface tridimensionnelle de l’arcade dentaire par un procédé de segmentation selon un mode de réalisation de l’invention.
La représentation 100 numérique tridimensionnelle est effectuée par exemple par une caméra intraorale, en utilisant plusieurs technologies différentes impactant la représentation numérique tridimensionnelle et les caractéristiques de cette représentation numérique tridimensionnelle : par exemple, la caméra peut obtenir des données RGB permettant d’identifier des couleurs, des données de courbure permettant d’identifier la forme générale de l’arcade dentaire, des données de profondeur par stéréoscopie en lumière passive ou par lumière structurée, etc.
La représentation 100 numérique tridimensionnelle comprend un ensemble de Np points tridimensionnels, dits vertex, formant les sommets de Nf faces polygonales, de préférence triangulaires. Cette représentation polygonale est courante dans les procédés de gestion de surfaces tridimensionnels.
Pour illustration, la figure 3 représente schématiquement une pluralité de vertex 300a, 300b, 300c et une face 302 triangulaire formée par lesdits vertex d’une représentation tridimensionnelle d’une arcade dentaire. L’utilisation de faces triangulaires est classique et permet d’identifier facilement chaque face à partir de trois vertex sans paramètres supplémentaires, mais des faces polygonales à plus de trois sommets peuvent être utilisées. Chaque vertex 300a, 300b, 300c est relié aux deux autres vertex pour former la face 302, et chaque vertex peut être relié à d’autres vertex via par exemple des arêtes 304 (représentées partiellement en pointillées) pour former d’autres faces, non représentées.
En lien avec la figure 2a, la figure 2b illustre la représentation 200 tridimensionnelle de l’arcade dentaire après segmentation, dans laquelle on a associé un niveau de gris à chaque face triangulaire dont les vertex-sommets appartiennent à la même classe de tissu dentaire. Chaque tissu dentaire identifié est représenté dans une nuance de gris différente au moins de ses voisins, afin de montrer la distinction entre deux tissus dentaires adjacents et différents. Par exemple, sont référencés sur la figure 2b une prémolaire 202, deux molaires 204 et 210, une incisive 206 et une gencive 208.
Cette représentation a un objectif principalement illustratif : en pratique, la segmentation consiste au minimum à attribuer à chaque vertex une classe de tissu dentaire, sans nécessiter de fournir une représentation graphique en niveau de gris ou en couleur.
La figure 4 représente schématiquement les étapes d’un procédé de segmentation automatique selon un mode de réalisation de l’invention.
Le procédé comprend notamment les étapes décrites ci-après.
Une étape 402 d’acquisition d’une surface tridimensionnelle de l’arcade dentaire permet d’obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires : cette étape permet notamment d’obtenir une représentation tridimensionnelle du type de celle représentée en référence avec la figure 2a. L’acquisition de la surface tridimensionnelle de l’arcade dentaire est généralement faite sur un patient par un dentiste à l’aide d’une caméra intra-orale, sans intervention chirurgicale. La représentation tridimensionnelle de l’arcade dentaire est ensuite transmise au prothésiste qui, à partir de la représentation tridimensionnelle, planifie un traitement particulier (par exemple la réalisation de prothèses). Dans ce contexte, la représentation tridimensionnelle sous forme de vertex et de faces est courante.
Le procédé comprend ensuite une étape 404 de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle, dont l’objectif est de reproduire des informations quantitatives de cette représentation tridimensionnelle dans un espace projectif bidimensionnel ; l’information est facilement représentée dans cet espace via des images bidimensionnelles. Les M vues virtuelles correspondent par exemple à une caméra virtuelle dirigée vers différents endroits de la représentation tridimensionnelle de l’arcade dentaire. Dans certains cas, aucune ou une partie ou l’intégralité des vues virtuelles peuvent correspondre à des vues réelles acquises par la caméra intra-orale lors de l’acquisition de la surface tridimensionnelle.
Les vues virtuelles peuvent être définies par différentes caractéristiques, en particulier un centroïde définissant un centre optique, c’est-à-dire le point où la caméra virtuelle est disposée, et une direction de prise de vue, c’est-à-dire la direction dans laquelle est dirigée la caméra virtuelle pour obtenir la vue virtuelle. Le nombre M de vues virtuelles et les caractéristiques des vues virtuelles sont définies de sorte à permettre de voir l’ensemble des vertex de la représentation tridimensionnelle, de préférence plusieurs fois pour chaque vertex, c’est-à-dire que l’ensemble des vues virtuelles recouvre l’ensemble de la reconstruction tridimensionnelle.
L’étape 404 de génération de M vues virtuelles peut comprendre des sous-étapes (non-représentées) permettant d’obtenir ce nombre M de vues virtuelles et les caractéristiques de chaque vue virtuelle :
Une première sous-étape est une sous-étape de détermination d’un squelette représentant la forme générale de l’arcade dentaire. Une deuxième sous-étape est une sous-étape de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette. L’étape 404 de génération de M vues virtuelles peut ainsi être composée, dans un des modes de réalisation, des sous-étapes suivantes, décrites en référence avec la figure 5a :
  • une sous-étape 502 de calcul d’une courbure tridimensionnelle de la représentation 100 tridimensionnelle ;
  • une sous-étape 504 de détection de cuspides de l’arcade dentaire dans la représentation tridimensionnelle, par seuillage des courbures négatives de la courbure tridimensionnelle ; Les cuspides de l’arcade dentaire délimitent les parties creuses de chaque dent et sont faciles à détecter par la détection des courbures.
  • une sous-étape 506 d’estimation d’un axe Z normal, représentant la moyenne des normales à chaque cuspide détectée ; L’axe Z normal représente ainsi un axe Z normal au plan formé par l’arcade dentaire.
  • une sous étape 508 de définition d’un plan P orthogonal à l’axe Z normal et comprenant le barycentre G de la reconstruction tridimensionnelle ; Le plan P représente ainsi sensiblement le plan formé par l’arcade dentaire.
  • une sous-étape 510 de projection de la surface tridimensionnelle sur le plan P ;
  • une sous-étape 512 de projection des vertex et des faces de la représentation tridimensionnelle sur ce plan, de sorte à générer un masque bidimensionnel binaire à partir de cette projection, représentant dans l’espace bidimensionnel une valeur binaire correspondant à la projection d’au moins une face de l’arcade dentaire, c’est-à-dire représentant les zones appartenant à l’arcade dentaire, ou à l’absence de projection de face de l’arcade dentaire, c’est-à-dire représentant les zones n’appartenant pas à l’arcade dentaire.
  • une sous-étape 514 de détermination d’un squelette S de l’arcade dentaire, à partir dudit masque bidimensionnel, par exemple à l’aide d’un algorithme de squelettisation topologique de type morphologique, le squelette correspondant à une courbe moyenne de la zone où la valeur binaire correspond à la présence de l’arcade dentaire. Ce squelette S est rapporté à la représentation tridimensionnelle, de façon à former un squelette tridimensionnel c’est-à-dire caractérisé dans l’espace tridimensionnel de la représentation tridimensionnelle.
  • une sous-étape 516 de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette. Cette sous-étape peut être effectuée différemment selon les modes de réalisation, par exemple selon la morphologie de l’arcade dentaire étudiée et/ou le nombre de vues souhaités, mais peut par exemple être constitué des sous-étapes suivantes, décrites en référence avec la figure 5b :
    • une sous-étape 520 de répartition uniforme de points tridimensionnels d’ancrage Vk le long du squelette S, par exemple en partant d’une de ses extrémités et en insérant un point tous les centimètres,
    • une sous-étape 522 de création de demi-cercles Dc tridimensionnels (pour illustration, seuls deux demi-cercles sont représentés) pour chaque point d’ancrage Vk, dont le centre est le point d’ancrage Vk, dont le rayon de quelques centimètres (typiquement 4 centimètres), et dont l’axe de rotation est défini comme l’orientation tridimensionnelle du squelette dans le voisinage du point d’ancrage Vk,
    • une sous-étape 524 de répartition uniforme de vues virtuelles le long de chacun de ces demi-cercles, par exemple en insérant le centre Co optique d’une nouvelle vue virtuelle tous les millimètres et en définissant la direction de prise de vue de cette vue virtuelle en partant de ce nouveau point de prise de vue et en regardant vers le point d’ancrage Vk (pour illustration, seuls cinq centres optiques sont représentés pour chacun des deux demi-cercles représentés).
Ces caractéristiques permettent donc d’obtenir M prises de vues.
De nouveau en référence avec la figure 4, le procédé de segmentation automatique comprend ensuite une étape 406 de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur la vue virtuelle : La projection permet de faire correspondre à l’image les vertex visibles dans la vue virtuelle correspondant à l’image. La projection utilise par exemple un procédé deray castingpour faire correspondre à chaque pixel un vertex ou une face de la représentation tridimensionnelle.
L’image obtenue est composée de pixels ayant une valeur discriminatoire attribuée représentative du vertex ou de la face polygonale auquel ou à laquelle le pixel correspond. Cette valeur discriminatoire est une valeur numérique qui peut être représentative du vertex, et dépendre des caractéristiques attribuées au vertex lors de l’acquisition de la représentation tridimensionnelle ou lors de calculs ultérieurs. Par exemple, si la caméra est une caméra RGB, la valeur discriminatoire comprend un triplet de valeur RGB (le triplet pouvant être représentée, de façon connue, par une valeur discriminatoire unique, par exemple FFFFFF pour du blanc par sa représentation hexadécimale RGB), ou bien chaque valeur RGB est compris dans un canal différent. La valeur peut dans d’autres cas représenter une relation entre le vertex et la vue virtuelle (par exemple la distance entre le vertex et le centre optique de la vue virtuelle, ou l’angle entre sa normale et la direction de visée de la vue virtuelle). La valeur discriminatoire peut aussi être représentative de la profondeur par rapport à la caméra virtuelle formant la vue virtuelle ; autrement dit, elle peut représenter la distance entre le vertex considéré et le centre optique de la vue virtuelle. D’autres données peuvent former la valeur discriminatoire, par exemple la courbure tridimensionnelle, obtenue à partir de la représentation tridimensionnelle.
En outre, plusieurs valeurs discriminatoires peuvent être utilisées pour la formation de l’image, chacune des valeurs discriminatoires étant stockée dans un canal
Suite à la projection, lorsque le pixel ne correspond pas à un vertex mais à une face triangulaire, alors la valeur discriminatoire du pixel est basée sur une interpolation de la valeur des trois vertex formant les sommets de la face (par exemple une interpolation linéaire).
Chaque image, dans laquelle chaque pixel a une valeur discriminatoire attribuée, est traitée dans une étape 408 de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires.
Le réseau d’apprentissage profond, ou réseau neuronal d’apprentissage profond, est entraîné préalablement selon un procédé d’apprentissage supervisé décrit plus loin en référence avec la figure 6. Le réseau d’apprentissage profond pourrait attribuer à chaque pixel de l’image une classe de tissu dentaire, qui serait la classe ayant la plus forte probabilité d’appartenance. Toutefois, de meilleurs résultats et une réduction des erreurs est permise dans les étapes suivantes en utilisant un vecteur de probabilité d’appartenance du pixel à une classe de tissus dentaire.
Le vecteur de probabilité est de taille N, correspondant aux N classes de tissus dentaire prédéterminées qui peuvent être attribuées à chaque pixel. Ces N classes peuvent correspondre à la gencive, à une dent en particulier identifiée par sa notation dentaire, à un matériel prothétique, etc.
Le procédé comprend ensuite une étape 410 de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un ou plusieurs pixels des images dans lequel le vertex apparait et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels.
Le projection inverse permet de revenir à la représentation tridimensionnelle après le passage par les images bidimensionnelles. Le lien entre un pixel et un vertex, qui a déjà été établi dans l’étape de projection, est de préférence recalculé pour éviter de devoir stocker le lien entre chaque vertex et sa ou ses projections dans chaque image qui peut demander un espace de stockage important et qui ne permet pas forcément un traitement plus rapide qu’un recalcul.
À chaque vertex est attribué à un vecteur de probabilité s’il n’est visible que dans une image virtuelle, et sinon à autant de vecteurs de probabilité que d’images dans lesquelles il a été projeté. Comme les vues virtuelles ont été paramétrées de sorte à ce que chaque vertex soit projeté sur une image, aucun vertex ne doit avoir aucun vecteur de probabilité qui lui est attribué. De préférence, chaque vertex a plusieurs vecteurs de probabilité qui lui sont attribués afin de maximiser les chances d’identifier la bonne classe de tissu dentaire.
Le procédé comprend enfin une étape 412 de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribué audit vertex.
Cette attribution à chaque vertex de la classe associée correspond à la segmentation automatique. Comme déjà décrit en référence à la figure 2b, la segmentation permet d’obtenir des représentations tridimensionnelles différenciant, par exemple par des niveaux de gris ou des couleurs, chaque élément appartenant au même tissu dentaire, mais en pratique la segmentation consiste uniquement à attribuer à chaque vertex une classe de tissu dentaire et ces données peuvent être utilisées telles quelles.
La classe de tissu dentaire utilisé pourrait simplement être celle dont la probabilité est la plus forte en moyennant l’ensemble des vecteurs de probabilités affectés au vertex. Toutefois, pour éviter les artefacts et les erreurs locales, il est préférable d’utiliser un algorithme de combinaison de type coupe de graphe ougraph- cuten anglais, permettant de prendre en compte aussi les vecteurs de probabilité des vertex voisins.
L’algorithmegraph- cuta pour but d’affecter pour chaque vertex la classe ayant une probabilité forte, tout en favorisant l’homogénéité locale de classe. En effet, sur l’arcade dentaire, il y a une forte probabilité que les vertex voisins aient la même classe, hormis s’ils sont séparés par une zone de haute courbure. Par exemple, deux vertex voisins sur la même molaire ont la même classe, et la courbure locale entre eux est faible (une dent est relativement lisse). A contrario, un vertex sur une molaire et un vertex sur la gencive (appartenant donc à deux classes différentes) sont séparés par une zone de haute courbure spatiale (l’insertion de la dent dans la gencive générant une « cassure » spatiale). Pour rendre compte de ce phénomène, le graph cut utilisé peut prendre comme paramètre un terme unitaire, pour chaque vertex, le vecteur Vp moyen de probabilité : de cette manière, il va essayer de maximiser la probabilité de classe. Le graph cut peut prendre comme terme binaire (i.e. reliant deux vertex voisins) la courbure spatiale séparant ces deux vertex, ou le produit scalaire entre leur normale respective. De cette manière, le graph cut va essayer de respecter au mieux l’homogénéité spatiale de classe hormis lors de traversées de zones de haute courbure, tout en essayant pour chaque vertex de maximiser la probabilité selon le vecteur Vp.
La figure 6 représente schématiquement un procédé 600 d’apprentissage supervisé d’un réseau d’apprentissage profond selon un mode de réalisation de l’invention. Le procédé d’apprentissage supervisé est appliqué à un réseau de neurone convolutif CNN ou plus particulièrement à un réseau entièrement convolutif FCN. Le réseau d’apprentissage profond est entraîné par fourniture d’images bidimensionnelles d’entrée telles que celle qui lui seront fournies par le procédé de segmentation automatique décrit précédemment. L’apprentissage est supervisé, c’est-à-dire qu’on fournit aussi au réseau d’apprentissage profond, lors de son apprentissage, les images bidimensionnelles de sortie associées aux images bidimensionnelles d’entrée dans lesquelles les classes de tissus sont attribués aux pixels, c’est-à-dire que les images de sorties sont segmentées.
Pour ce faire, le procédé comprend les étapes suivantes :
une étape 602 d’acquisition d’une pluralité de surfaces tridimensionnelles de plusieurs arcades dentaires, pour obtenir une pluralité de représentations tridimensionnelles d’apprentissage des arcades dentaires dans un espace tridimensionnel, lesdites représentations tridimensionnelles d’apprentissage comprenant chacune un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
une étape 604 de segmentation manuelle, par un opérateur humain, de chaque représentation tridimensionnelle d’apprentissage de l’arcade dentaire, dans laquelle est attribuée à chaque vertex de la représentation tridimensionnelle une classe de tissu dentaire, de manière à obtenir une représentation tridimensionnelle segmentée pour chaque représentation tridimensionnelle d’apprentissage ;
une étape 606 de génération, pour chaque représentation tridimensionnelle de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle d’apprentissage ; Pour chaque représentation tridimensionnelle d’apprentissage, on génère M vues virtuelles bidimensionnelles de la même façon que dans le procédé de segmentation automatique, comme décrit précédemment en référence aux figures 4, 5a et 5b.
une étape 608 de projection, pour chaque représentation tridimensionnelle d’apprentissage, de la ou les valeurs discriminatoires choisies pour la représentation tridimensionnelle d’apprentissage sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle d’entrée représentant en chaque pixel la valeur discriminatoire du vertex ou de la face polygonale se projetant sur la vue virtuelle ; cette étape génère les données qui seront fournies en entrée du réseau d’apprentissage, qui sont des images 620 d’entrées ;
une étape 610 de projection, pour chaque représentation tridimensionnelle segmentée, de la représentation tridimensionnelle segmentée sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle de sortie représentant en chaque pixel la classe de tissu dentaire du vertex ou de la face polygonale se projetant sur l’image bidimensionnelle de sortie ; cette étape génère les données attendues en sortie du réseau d’apprentissage qui sont des images 622 de sortie ;
une étape 612 d’apprentissage du réseau 630 d’apprentissage profond via un traitement de chaque couple 624a, 624b, 624c d’images comprenant une image d’entrée et une image de sortie issues respectivement de la projection avec la même vue virtuelle de chaque représentation tridimensionnelle d’apprentissage et de sa représentation tridimensionnelle segmentée associée. Le réseau 630 d’apprentissage profond est ainsi entraîné par les couples 624a ; 624b, 624c d’images, en connaissant l’entrée et la sortie attendue du procédé de segmentation.
Une fois le réseau d’apprentissage suffisamment entraîné, le procédé de segmentation automatique peut effectuer la segmentation automatique sans intervention manuelle.

Claims (9)

  1. Procédé de segmentation automatique d’une arcade dentaire, caractérisé en ce qu’il comprend :
    - une étape (402) d’acquisition d’une surface tridimensionnelle de l’arcade dentaire, pour obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
    - une étape (404) de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle ;
    - une étape (406) de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur cette vue virtuelle ;
    - une étape (408) de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires ;
    - une étape (410) de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un pixel pour chaque image sur laquelle le vertex apparait et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels ;
    - une étape (412) de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribués audit vertex.
  2. Procédé de segmentation automatique d’une arcade dentaire selon la revendication 1, caractérisé en ce qu’il comprend, préalablement à l’étape de traitement de chaque image par le réseau d’apprentissage, une étape d’attribution à chaque pixel de chaque image d’au moins une valeur discriminatoire, ladite valeur discriminatoire étant représentative d’une caractéristique du vertex lorsque ledit pixel correspond à un vertex sur la vue virtuelle, et à une interpolation des caractéristiques des vertex sommets de la face polygonale lorsque ledit pixel correspond à une face polygonale sur la vue virtuelle.
  3. Procédé de segmentation automatique selon la revendication 2, caractérisé en ce que la valeur discriminatoire peut être d’un type de valeur sélectionné parmi la liste des types de valeurs suivante :
    - valeur RGB du vertex, obtenue lors de l’acquisition d’une surface tridimensionnelle ;
    - valeur de courbure tridimensionnelle au niveau du vertex ;
    - valeur de distance entre le vertex et un centre optique de la vue virtuelle sur laquelle il se projette ;
    - un angle entre une normale du vertex et une direction de visée de la vue virtuelle.
  4. Procédé de segmentation automatique d’une arcade dentaire selon l’une des revendications 1 à 3, caractérisé en ce que chaque vue virtuelle est définie par un centre (Co) optique compris dans l’espace tridimensionnel, et par une direction de prise de vue selon un axe de prise de vue.
  5. Procédé de segmentation automatique d’une arcade dentaire selon l’une des revendications 1 à 4, caractérisé en ce qu’il comprend une étape de détermination des caractéristiques des vues virtuelles, comprenant :
    - une sous-étape de détermination d’un squelette représentant la forme générale de l’arcade dentaire ;
    - une sous-étape de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette.
  6. Procédé de segmentation automatique d’une arcade dentaire selon l’une des revendications 1 à 5, caractérisé en ce que le nombre de vues virtuelles bidimensionnelles générées est compris entre 30 et 90 vues, de préférence entre 50 et 70 vues.
  7. Procédé de segmentation automatique d’une arcade dentaire selon l’une des revendications 1 à 6, caractérisé en ce que l’étape de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle il appartient le plus probablement comprend l’exécution d’un algorithme de type coupe de graphe prenant en paramètre pour chaque vertex le ou lesdits vecteurs de probabilités attribués audit vertex.
  8. Dispositif de segmentation automatique d’une arcade dentaire, caractérisé en ce qu’il comprend :
    - un module d’acquisition d’une surface tridimensionnelle de l’arcade dentaire, configuré pour obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
    - un module de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle ;
    - un module de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur la vue virtuelle ;
    - un module de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires ;
    - un module de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un ou plusieurs pixels des images dans lequel le vertex apparait et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels ;
    - un module de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribué audit vertex.
  9. Procédé d’apprentissage supervisé d’un réseau (630) d’apprentissage profond, caractérisé en ce qu’il comprend :
    - une étape d’acquisition d’une pluralité de surfaces tridimensionnelles de plusieurs arcades dentaires, pour obtenir une pluralité de représentations tridimensionnelles d’apprentissage des arcades dentaires dans un espace tridimensionnel, lesdites représentations tridimensionnelles d’apprentissage comprenant chacune un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
    - une étape de segmentation manuelle, par un opérateur humain, de chaque représentation tridimensionnelle d’apprentissage de l’arcade dentaire, dans laquelle est attribuée à chaque vertex de la représentation tridimensionnelle une classe de tissu dentaire, de manière à obtenir une représentation tridimensionnelle segmentée pour chaque représentation tridimensionnelle d’apprentissage ;
    - une étape de génération, pour chaque représentation tridimensionnelle de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle d’apprentissage ;
    - une étape de projection, pour chaque représentation tridimensionnelle d’apprentissage, de la ou les valeurs discriminatoires choisies pour la représentation tridimensionnelle d’apprentissage sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle d’entrée représentant en chaque pixel la valeur discriminatoire du vertex ou de la face polygonale se projetant sur la vue virtuelle ;
    - une étape de projection, pour chaque représentation tridimensionnelle segmentée, de la représentation tridimensionnelle segmentée sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle de sortie représentant en chaque pixel la classe de tissu dentaire du vertex ou de la face polygonale se projetant sur l’image bidimensionnelle de sortie ;
    - une étape d’apprentissage du réseau d’apprentissage profond via un traitement de chaque couple d’images comprenant une image d’entrée et une image de sortie issues respectivement de la projection avec la même vue virtuelle de la ou les valeurs discriminatoires pour chaque représentation tridimensionnelle d’apprentissage et de sa représentation tridimensionnelle segmentée associée.
FR2006077A 2020-06-10 2020-06-10 Procédé de segmentation automatique d’une arcade dentaire Active FR3111268B1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR2006077A FR3111268B1 (fr) 2020-06-10 2020-06-10 Procédé de segmentation automatique d’une arcade dentaire
EP21731156.2A EP4165595A1 (fr) 2020-06-10 2021-06-09 Procédé de segmentation automatique d'une arcade dentaire
US18/009,626 US20230206451A1 (en) 2020-06-10 2021-06-09 Method for automatic segmentation of a dental arch
PCT/EP2021/065454 WO2021250091A1 (fr) 2020-06-10 2021-06-09 Procédé de segmentation automatique d'une arcade dentaire

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2006077A FR3111268B1 (fr) 2020-06-10 2020-06-10 Procédé de segmentation automatique d’une arcade dentaire
FR2006077 2020-06-10

Publications (2)

Publication Number Publication Date
FR3111268A1 true FR3111268A1 (fr) 2021-12-17
FR3111268B1 FR3111268B1 (fr) 2022-08-26

Family

ID=72709498

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2006077A Active FR3111268B1 (fr) 2020-06-10 2020-06-10 Procédé de segmentation automatique d’une arcade dentaire

Country Status (4)

Country Link
US (1) US20230206451A1 (fr)
EP (1) EP4165595A1 (fr)
FR (1) FR3111268B1 (fr)
WO (1) WO2021250091A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023215767A3 (fr) * 2022-05-02 2023-12-07 Align Technology, Inc. Procédés et appareils de détection d'espaces interproximaux
FR3136153A1 (fr) * 2022-06-07 2023-12-08 Olivier Querbes Procédé de commande d’un bras robotisé pour imagerie intra-orale

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429463B (zh) * 2022-01-25 2023-12-22 首都医科大学附属北京同仁医院 一种牙周软组织治疗效果的评价方法及装置
CN114723765B (zh) * 2022-04-13 2024-05-03 四川锋准机器人科技有限公司 一种牙弓线自动提取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180028294A1 (en) * 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180028294A1 (en) * 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
EVANGELOS KALOGERAKIS ET AL: "3D Shape Segmentation with Projective Convolutional Networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 8 December 2016 (2016-12-08), XP080737954, DOI: 10.1109/CVPR.2017.702 *
JONATHAN LONG ET AL: "Fully convolutional networks for semantic segmentation", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), vol. 39, no. 4, 15 October 2015 (2015-10-15), pages 3431 - 3440, XP055573743, ISBN: 978-1-4673-6964-0, DOI: 10.1109/CVPR.2015.7298965 *
LONG ET AL., FULLY CONVOLUTIONAL NETWORKS FOR SEMANTIC SEGMENTATION, 2014
WONGWAEN N ET AL: "Computerized algorithm for 3D teeth segmentation", ELECTRONICS AND INFORMATION ENGINEERING (ICEIE), 2010 INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 1 August 2010 (2010-08-01), pages V1 - 277, XP031744296, ISBN: 978-1-4244-7679-4 *
YUNHAI WANG ET AL: "Projective analysis for 3D shape segmentation", ACM TRANSACTIONS ON GRAPHICS, ACM, NY, US, vol. 32, no. 6, 1 November 2013 (2013-11-01), pages 1 - 12, XP058033888, ISSN: 0730-0301, DOI: 10.1145/2508363.2508393 *
ZHIGE XIE ET AL: "Projective Feature Learning for 3D Shapes with Multi-View Depth Images", COMPUTER GRAPHICS FORUM : JOURNAL OF THE EUROPEAN ASSOCIATION FOR COMPUTER GRAPHICS, vol. 34, no. 7, 1 October 2015 (2015-10-01), Oxford, pages 1 - 11, XP055516937, ISSN: 0167-7055, DOI: 10.1111/cgf.12740 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023215767A3 (fr) * 2022-05-02 2023-12-07 Align Technology, Inc. Procédés et appareils de détection d'espaces interproximaux
FR3136153A1 (fr) * 2022-06-07 2023-12-08 Olivier Querbes Procédé de commande d’un bras robotisé pour imagerie intra-orale
EP4289386A1 (fr) * 2022-06-07 2023-12-13 Querbes, Olivier Procédé de commande d'un bras robotisé pour imagerie intra-orale

Also Published As

Publication number Publication date
EP4165595A1 (fr) 2023-04-19
WO2021250091A1 (fr) 2021-12-16
FR3111268B1 (fr) 2022-08-26
US20230206451A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
US11730569B2 (en) Generation of synthetic post treatment images of teeth
US11727607B2 (en) Generation of images with tooth color determined using depth information
EP3432217B1 (fr) Procede d'analyse d'une image d'une arcade dentaire
FR3111268A1 (fr) Procédé de segmentation automatique d’une arcade dentaire
EP3432219A2 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3432312A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3212646A1 (fr) Procede de controle de la dentition
EP3432218B1 (fr) Procede d'analyse d'une image d'une arcade dentaire
FR3050375A1 (fr) Procede de controle de la dentition
EP3432267A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3273905B1 (fr) Procede de determination d'une cartographie des contacts et/ou des distances entre les arcades maxillaire et mandibulaire d'un individu
FR2798493A1 (fr) Procede d'identification d'une zone nerveuse alveolaire dans une image de machoire
FR3096255A1 (fr) Procede de generation d’un modele d’une arcade dentaire
FR3092427A1 (fr) procédé de segmentation automatique de dents
EP3821393B1 (fr) Procede de transformation d'une vue d'un modele 3d d'une arcade dentaire en une vue photorealiste
WO2022248510A1 (fr) Procédé de distribution de gouttières orthodontiques
EP4161434A1 (fr) Procede de suivi d'un mouvement dentaire
US20230309800A1 (en) System and method of scanning teeth for restorative dentistry
WO2024047046A1 (fr) Procédé d'acquisition d'un ensemble d'images d'un objet buccal
FR3095334A1 (fr) Procede d’evaluation d’une gouttiere orthodontique
FR3123200A1 (fr) Procede d’acquisition d’un modele d’une arcade dentaire
FR3139003A1 (fr) Procédé d’acquisition d’un ensemble d’images d’un objet buccal
EP4348572A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
WO2023227613A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
FR3139004A1 (fr) Procédé de scannage d’une arcade dentaire d’un utilisateur

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20211217

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4