FR3083898A1 - Procede de simulation d'une situation dentaire - Google Patents
Procede de simulation d'une situation dentaire Download PDFInfo
- Publication number
- FR3083898A1 FR3083898A1 FR1856498A FR1856498A FR3083898A1 FR 3083898 A1 FR3083898 A1 FR 3083898A1 FR 1856498 A FR1856498 A FR 1856498A FR 1856498 A FR1856498 A FR 1856498A FR 3083898 A1 FR3083898 A1 FR 3083898A1
- Authority
- FR
- France
- Prior art keywords
- image
- dental
- orthodontic appliance
- historical
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000002455 dental arch Anatomy 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000004088 simulation Methods 0.000 claims abstract description 11
- 210000000056 organ Anatomy 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 16
- 238000012986 modification Methods 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 14
- 210000001847 jaw Anatomy 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 239000007943 implant Substances 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 206010006514 bruxism Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/0003—Making bridge-work, inlays, implants or the like
- A61C13/0004—Computer-assisted sizing or machining of dental prostheses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Procédé de simulation comportant les étapes suivantes : a) acquisition d'une image d'une arcade dentaire d'un patient, dite « image d'origine » ; b) soumission de l'image d'origine à un réseau de neurones, dit « réseau de neurones de modification », entrainé pour modifier localement l'image d'origine afin d'obtenir une « image modifiée » ; c) présentation de l'image modifiée au patient.
Description
PROCEDE DE SIMULATION D’UNE SITUATION DENTAIRE
Domaine technique
La présente invention concerne un procédé de simulation permettant de générer une vue dentaire hyperréaliste simulant le port d’un appareil orthodontique.
Etat de la technique
L'adhésion d’un patient à un traitement orthodontique est importante pour la réussite de ce traitement. En particulier, le port d’un appareil orthodontique modifie l’apparence du patient, ce qui peut le dissuader d’effectuer le traitement.
Il existe donc un besoin pour un procédé permettant d’améliorer cette adhésion.
Un but de l’invention est de répondre, au moins partiellement, à ce besoin.
Résumé de l'invention
L’invention propose un procédé de simulation comportant les étapes suivantes :
a) acquisition d’une image représentant une arcade dentaire d’un patient, dite « image d’origine » ;
b) soumission de l’image d’origine à un réseau de neurones, dit « réseau de neurones de modification », entraîné pour modifier localement l’image d’origine afin d’obtenir une « image modifiée » ;
c) de préférence, présentation de l’image modifiée au patient.
Comme on le verra plus en détail dans la suite de la description, un tel réseau de neurones est capable de transformer l’image d’origine de manière étonnement réaliste. Un procédé selon l’invention permet ainsi d’intégrer dans l’image d’origine une représentation d’un appareil orthodontique, ou de modifier un appareil orthodontique représenté sur l’image d’origine, ou de supprimer un appareil orthodontique représenté sur l’image d’origine. Le patient peut ainsi bénéficier d’une simulation qui lui permet de bien mesurer l’impact visuel du port de l’appareil orthodontique ou d’un changement d’appareil orthodontique.
Son adhésion au traitement orthodontique en est renforcée.
Un procédé selon l’invention peut encore comporter une ou plusieurs des caractéristiques optionnelles suivantes :
- le réseau de neurones de modification est entraîné pour :
- représenter un organe dentaire, et en particulier un appareil orthodontique sur une image d’une arcade dentaire nue, c'est-à-dire ne portant pas l’organe dentaire ;
- supprimer la représentation d’un organe dentaire, et en particulier d’un appareil orthodontique sur une image d’une arcade dentaire équipée, c'est-à-dire portant l’organe dentaire ; ou
- remplacer la représentation d’un organe dentaire, et en particulier d’un appareil orthodontique sur une image d’une arcade dentaire équipée, par la représentation d’un autre organe dentaire, et en particulier d’un autre appareil orthodontique, respectivement ;
- l’organe dentaire est choisi parmi un appareil orthodontique, une couronne, un implant, un bridge, et une facette ;
- l’image d’origine est une image extra-orale ;
- l’image d’origine est une photo ou une vue d’un modèle tridimensionnel numérique de ladite arcade ;
- préalablement à l’étape a), on rend hyperréaliste ladite vue au moyen d’un réseau de neurones « de transformation » ;
- préalablement à l’acquisition de ladite vue, on modifie ledit modèle ;
- ladite déformation consiste en :
un déplacement d’un modèle tridimensionnel d’une dent, et/ou une déformation d’un modèle de dent, et/ou une suppression d’un modèle de dent, et/ou une déformation d’un modèle de mâchoire ;
- préalablement à l’étape b), le réseau de neurones de modification est entraîné avec une base d'apprentissage historique constituée d’un ensemble d’enregistrements historiques, chaque enregistrement historique comportant :
une image historique choisie parmi une photo d’une scène dentaire représentant une arcade dentaire ne portant pas d’appareil orthodontique, une vue d’une scène dentaire représentant une arcade dentaire ne portant pas d’appareil orthodontique, une photo d’une scène dentaire représentant une arcade dentaire portant un appareil orthodontique, et une vue d’un modèle représentant une arcade dentaire portant un appareil orthodontique, et un descriptif historique précisant si l’image historique représente ou non un appareil orthodontique, tous les appareils orthodontiques représentés sur les images historiques étant du même type ;
- le type d’appareil orthodontique regroupe les appareils multi-attaches actifs ou les gouttières orthodontiques ou les appareils de contention, c'est-à-dire, par exemple, que tous les appareils multi-attaches actifs sont considérés comme étant du même type ;
- à l’étape c), on présente l’image modifiée sur l’écran d’un téléphone du patient ou sur un miroir, de préférence en réalité augmentée.
Les étapes b) et c) d’un procédé selon l’invention sont mises en œuvre par un ordinateur, après chargement de l’image d’origine dans l’ordinateur. L’invention concerne donc également :
- un programme d’ordinateur comprenant des instructions de code de programme pour l'exécution de ces étapes, lorsque ledit programme est exécuté par un ordinateur,
- un support informatique sur lequel est enregistré un tel programme, par exemple une mémoire ou un CD-ROM.
Définitions
Un « patient » est une personne pour laquelle un procédé selon l’invention est mis en œuvre, indépendamment du fait que cette personne suive un traitement orthodontique ou non.
Par « professionnel de soins dentaires », on entend toute personne qualifiée pour prodiguer des soins dentaires, ce qui inclut en particulier un orthodontiste et un dentiste.
Une « situation dentaire » définit un ensemble de caractéristiques relatives à une arcade d’un patient à un instant, par exemple la position des dents, leur forme, la position d’un appareil orthodontique, etc. à cet instant.
Par « modèle », on entend un modèle tridimensionnel numérique. H est constitué d’un ensemble de voxels. Un « modèle d’une arcade » est un modèle représentant au moins une partie d’une arcade dentaire, de préférence au moins 2, de préférence au moins 3, de préférence au moins 4 dents.
Une observation d’un modèle, dans des conditions d’observations déterminées, en particulier selon un angle et à une distance déterminés, est appelée une « vue ».
Une « image » est une représentation, en deux dimensions et formée de pixels, d’une scène.
Une image extra-orale est une image prise à partir d’un point d’observation hors de la bouche, par exemple prise face au patient, de préférence avec un écarteur.
Une « photo » est une image particulière, classiquement en couleur, prise avec un appareil photo. Par « appareil photo », on entend tout appareil permettant de prendre une photo, ce qui inclut une caméra, un téléphone mobile, une tablette ou un ordinateur. Une vue est un autre exemple d’image.
Un attribut de dent est un attribut dont la valeur est spécifique aux dents. De préférence, une valeur d’un attribut de dent est affectée à chaque zone de dent de l’image considérée ou à chaque modèle de dent d’un modèle d’arcade dentaire considéré. En particulier, un attribut de dent ne concerne pas l’image ou le modèle dans son ensemble. Il tient sa valeur du fait de caractéristiques de la dent à laquelle il se réfère.
Une « scène » est constituée par un ensemble d’éléments qui peuvent être observés simultanément. Une « scène dentaire » est une scène comportant au moins une partie d’une arcade dentaire. Elle représente de préférence au moins 2, de préférence au moins 3, de préférence au moins 4 dents.
Par « photo d’une arcade », « vue d’une arcade », « représentation d’une arcade », « scan d’une arcade », « modèle d’une arcade », etc. on entend une photo, une vue, une représentation, un scan ou un modèle, etc. de tout ou partie de ladite arcade dentaire.
Une « base d'apprentissage » est une base d’enregistrements informatiques adaptée à l’entrainement d’un réseau de neurones. Chaque enregistrement comporte classiquement un objet, par exemple une image, et des informations sur cet objet, ou « descriptif ». Un descriptif comporte des valeurs pour des attributs de l’objet. Par exemple, un attribut d’une image d’une scène dentaire peut servir à identifier un type d’appareil orthodontique représenté. L’attribut est alors « Type d’appareil orthodontique » et la valeur de cet attribut est, par exemple « appareil multi-attaches actif » ou « appareil de contention ».
Une modification « locale » d’une image d’origine est une modification qui ne concerne principalement qu’une partie de cette image, le reste de l’image n’étant sensiblement pas modifié. En réalité, toute l’image d’origine peut être modifiée, car l’image est régénérée. Mais pour un observateur qui ne prête pas d’attention particulière, seule une partie de l’image d’origine apparaît modifiée. Par exemple, la modification peut consister en l’ajout de la représentation d’un appareil orthodontique sur l’image d’origine. Hors de la représentation de l’appareil orthodontique, l’image d’origine n’apparaît pas modifiée pour un observateur qui n’en examine pas le détail.
« Organe dentaire », on entend tout dispositif destiné à être porté par l’arcade dentaire, et en particulier un appareil orthodontique, une couronne, un implant, un bridge, ou une facette. Dans la présente description, les qualificatifs « d’origine », « modifié », « historique », « de modification » et « de transformation » sont utilisés à des fins de clarté.
H faut interpréter comprenant ou comportant ou présentant de manière non restrictive, sauf indication contraire.
Brève description des figures
D'autres caractéristiques et avantages de l'invention apparaîtront encore à la lecture de la description détaillée qui va suivre et à l'examen du dessin annexé dans lequel :
- la figure 1 représente, schématiquement, les différentes étapes d’un procédé selon l’invention ;
- les figures 2a et 2b représentent des exemples de photos historiques utilisées pour entraîner le réseau de neurones de modification ;
- les figures 3a et 3b représentent respectivement une photo d’origine et une photo modifiée au moyen d’un procédé selon l’invention ;
- la figure 4 représente un exemple d’un modèle d’une arcade dentaire ;
- la figure 5 représente une vue d’un modèle d’une arcade dentaire.
Description détaillée
La description détaillée qui suit est celle d’un mode de réalisation préféré, illustré sur la figure 1, mais n’est pas limitative.
A l’étape a), l’image d’origine est de préférence une image extra-orale, par exemple prise face au patient, de préférence avec un écarteur dentaire.
L’image d’origine peut être une photo « d’origine » (figure 3).
La photo d’origine est acquise avec un appareil photo, de préférence choisi parmi un téléphone mobile, un appareil photo dit « connecté », une montre dite « intelligente », ou « smartwatch », une tablette ou un ordinateur personnel, fixe ou portable, comportant un système d’acquisition de photos. De préférence l’appareil photo est un téléphone mobile.
De préférence encore, lors de l’acquisition de la photo d’origine, l’appareil photo est écarté de l’arcade dentaire de plus de 5 cm, plus de 8 cm, voire plus de 10 cm, ce qui évite la condensation de vapeur d’eau sur l’optique de l’appareil photo et facilite la mise au point. En outre, de préférence, l’appareil photo, en particulier le téléphone mobile, n’est pourvu d’aucune optique spécifique pour l’acquisition des photos d’origine, ce qui est notamment possible du fait de l’écartement de l’arcade dentaire lors de l’acquisition.
De préférence, une photo d’origine est en couleurs, de préférence en couleurs réelles.
De préférence, l’acquisition de la photo d’origine est effectuée par le patient, de préférence sans utilisation d’un support d’immobilisation de l’appareil photo, et notamment sans trépied.
L’image d’origine peut être alternativement une vue, dite « vue d’origine » (figure 5), d’un modèle tridimensionnel de l’arcade, dit « modèle d’origine ».
Le modèle d’origine peut être préparé à partir de mesures effectuées sur les dents du patient ou sur un moulage de ses dents, par exemple un moulage en plâtre. Il est de préférence créé avec un scanner 3D. Le modèle d’origine est alors avantageusement très précis.
Dans un mode de réalisation, le modèle d’origine est théorique, c'est-à-dire ne correspond pas à une situation réelle. En particulier, le modèle d’origine peut être créé par assemblage d’un ensemble de modèles de dents choisis dans une bibliothèque numérique. L’agencement des modèles de dent est déterminé pour que le modèle d’origine soit réaliste, c'est-à-dire corresponde à une situation qui aurait pu se rencontrer chez un patient. En particulier, les modèles de dents sont disposés suivant un arc, en fonction de leur nature, et orientés de manière réaliste. L’utilisation d’un modèle d’origine théorique permet avantageusement de simuler des arcades dentaires sans devoir prendre de mesures précises sur le patient.
La vue du modèle d’origine utilisée comme image d’origine peut être acquise après avoir déformé le modèle d’origine. La déformation permet ainsi de simuler des situations dentaires hypothétiques.
De préférence, le modèle d’origine est découpé en modèles élémentaires, chaque modèle élémentaire représentant en 3D un élément de la scène que modélise le modèle d’origine. Notamment, on peut définir, à partir du modèle d’origine, des modèles élémentaires pour chaque dent et/ou la langue, et/ou la bouche, et/ou les lèvres, et/ou les mâchoires, et/ou la gencive.
Le modèle d’origine ainsi découpé peut être ensuite déformé, par exemple par déplacement des modèles de dent, pour simuler l’effet d’un traitement orthodontique ou l’évolution d’une récidive, ou un traitement esthétique.
La déformation du modèle d’origine peut notamment consister en
- un déplacement d’un modèle de dent, par exemple pour simuler un écartement entre deux dents ou un rapprochement de deux dents,
- une déformation d’un modèle de dent, par exemple pour simuler un bruxisme,
- une suppression d’un modèle de dent,
- une déformation d’un modèle de mâchoire.
L’utilisation d’une vue d’un modèle d’origine, éventuellement déformé, comme image d’origine réduit le réalisme de l’image modifiée.
De préférence, la vue d’origine est rendue hyperréaliste avant l’étape b), de préférence en procédant suivant les étapes suivantes :
i) création d’une base d'apprentissage « de transformation » constituée de plus de 1 000 enregistrements « de transformation », chaque enregistrement de transformation comportant :
- une photo « de transformation » représentant une scène dentaire, et
- une vue d’un modèle tridimensionnel numérique « de transformation » modélisant ladite scène, ou « vue de transformation », la vue de transformation représentant ladite scène comme la photo de transformation ;
ii) entraînement d’au moins un réseau de neurones « de transformation », au moyen de la base d’apprentissage de transformation ;
iii) soumission de la vue d’origine audit au moins un réseau de neurones de transformation entraîné, de manière qu’il rende hyperréaliste la vue d’origine.
Le réseau de neurones de transformation peut être notamment choisi dans la liste ci-dessous.
Des techniques de transformation d’images sont encore décrites dans l’article de Zhu, JunYan, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks.
Des essais ont montré que la vue d’origine rendue ainsi hyperréaliste apporte sensiblement les mêmes informations que des photos, sans avoir à prendre de photos. Il est en effet très difficile de remarquer que la vue d’origine hyperréaliste n’est pas une photo.
A l’étape b), l’image d’origine résultant de l’étape a) est soumise à un réseau de neurones entraîné pour représenter l’appareil orthodontique sur des images, ou « réseau de neurones de modification ».
Un « réseau de neurones » ou « réseau neuronal artificiel » est un ensemble d’algorithmes bien connu de l’homme de l’art. Le réseau de neurones peut être en particulier choisi parmi : les réseaux spécialisés dans la classification d’images, appelés « CNN » (« Convolutional neural network »), par exemple
- AlexNet (2012)
- ZF Net (2013)
- VGG Net (2014)
- GoogleNet (2015)
- Microsoft ResNet (2015)
- Caffe: BAIR Reference CaffeNet, BAIR AlexNet
- Torch:VGG_CNN_S,VGG_CNN_M,VGG_CNN_M_2048,VGG_CNN_M_10 24,VGG_CNN_M_128,VGG_CNN_F,VGG ILSVRC-2014 16-layer,VGG ILSVRC-2014 19-layer,Network-in-Network (Imagenet & CIFAR-10)
- Google : Inception (V3, V4).
- les réseaux spécialisés dans la localisation, et détection d’objets dans une image, les Object Detection Network, par exemple:
- R-CNN (2013)
- SSD (Single Shot MultiBox Detector : Object Detection network), Faster RCNN (Faster Region-based Convolutional Network method : Object Detection network)
- Faster R-CNN (2015)
- SSD (2015).
La liste ci-dessus n’est pas limitative.
Pour être opérationnel, un réseau de neurones doit être entraîné par un processus d’apprentissage appelé « deep learning ». Un tel processus est bien connu.
Le réseau de neurones de modification peut être en particulier entraîné à partir d’une base d'apprentissage historique constituée d’un ensemble d’enregistrements historiques, chaque enregistrement historique comportant :
- une image historique choisie parmi une photo d’une scène dentaire représentant une arcade dentaire ne portant pas d’appareil orthodontique, une vue d’une scène dentaire représentant une arcade dentaire ne portant pas d’appareil orthodontique, une photo d’une scène dentaire représentant une arcade dentaire portant un appareil orthodontique, et une vue d’un modèle représentant une arcade dentaire portant un appareil orthodontique, et
- un descriptif historique précisant si l’image historique représente ou non un appareil orthodontique et/ou identifiant, dans cette image, la représentation de l’appareil orthodontique.
Une image historique constituée d’une photo ou d’une vue peut être acquis comme décrit cidessus pour l’acquisition des photos d’origine et des vues d’origine.
Classiquement, les descriptifs sont générés par un opérateur qui observe l’image historique et complète en conséquence le descriptif, au moyen d’un ordinateur. Cette opération est appelée « labelling ».
En présentant les enregistrements historiques en entrée du réseau de neurones, ce dernier apprend progressivement la différence entre une image qui représente un appareil orthodontique et une image qui ne représente pas un appareil orthodontique. H devient ainsi capable, en fonction de l’image d’origine qu’on lui présente, de générer une image modifiée pour représenter un appareil orthodontique.
L’entrainement du réseau de neurones de modification lui permet également d’apprendre à représenter un appareil orthodontique dans son contexte, et en particulier dans des conditions d’éclairage et/ou de netteté qui sont celles de l’image d’origine. L’intégration de l’appareil orthodontique est ainsi particulièrement réaliste (figure 3b).
La qualité de l’entrainement du réseau de neurones de modification dépend directement du nombre d’enregistrements historiques de la base d'apprentissage. Classiquement, la base d’apprentissage historique comporte de préférence plus de 10 000 enregistrements.
La base d'apprentissage historique comporte de préférence plus de 5 000, de préférence plus de 10 000, de préférence plus de 30 000, de préférence plus de 50 000, de préférence plus de 100 000 enregistrements historiques.
La qualité de l’entrainement du réseau de neurones de modification peut être également améliorée si, lorsque l’image d’origine est une photo ou une vue, la base d'apprentissage historique ne comporte que des photos ou que des vues, respectivement.
La qualité de l’entrainement du réseau de neurones de modification peut être enfin améliorée si la base d'apprentissage historique est spécialisée pour un type d’appareil orthodontique. Dans un mode de réalisation préféré, le réseau de neurones est entraîné avec une base d'apprentissage historique dans laquelle les images historiques qui représentent un appareil orthodontique ne représentent que des appareils orthodontiques d’un type prédéterminé.
Le réseau de neurones de modification sera ainsi performant pour générer une image modifiée pour représenter un appareil orthodontique de ce type.
Dans un mode de réalisation, un opérateur choisit un type d’appareil orthodontique à représenter et un ordinateur spécialise la base d'apprentissage en conséquence, par exemple en ne retenant que les enregistrements historiques dont les images historiques ne représentent pas d’appareil orthodontique ou représentent un appareil orthodontique du type sélectionné.
A l’étape c), on présente l’image modifiée au patient, de préférence sur un écran d’ordinateur ou en réalité augmentée, par exemple sur un écran d’un téléphone ou sur un miroir dans lequel le patient se regarde.
Le patient peut ainsi observer l’apparence qu’il aura quand il portera l’appareil orthodontique, et donc accepter plus facilement le traitement correspondant.
Simulation d’une situation dentaire actuelle
Dans un mode de réalisation, le patient prend la photo d’origine, par exemple avec son téléphone mobile, et un ordinateur, intégré dans le téléphone mobile ou avec lequel le téléphone mobile peut communiquer, met en œuvre le procédé. L’image modifiée est présentée sur l’écran du téléphone mobile.
Le patient peut ainsi demander très facilement une simulation de sa situation dentaire, sans même devoir se déplacer, à partir d’une ou de préférence plusieurs photos de ses dents.
Simulation d’une situation dentaire passée ou future
Un procédé selon l’invention peut être aussi mis en œuvre pour générer une image modifiée représentant une situation dentaire simulée à partir d’un modèle tridimensionnel numérique d’une arcade dentaire. En particulier, la situation dentaire peut être simulée à un instant de simulation passé ou futur, dans le cadre d’un traitement thérapeutique ou non.
De préférence, à l’étape a), on acquiert une vue d’origine hyperréaliste obtenue suivant les étapes suivantes :
al) à un instant actualisé, génération d’un modèle d’origine d’une arcade dentaire du patient ;
a2) déformation du modèle d’origine pour simuler l’effet du temps entre l’instant actualisé et un instant de simulation, antérieur ou postérieur à l’instant actualisé, par exemple de plus de 1 semaine, 1 mois ou 6 mois ;
a3) acquisition d’une vue d’origine du modèle d’origine déformé à l’étape précédente ; a4) transformation de la vue d’origine acquise à l’étape précédente en vue d’origine hyperréaliste, de préférence suivant les étapes i) à iii).
L’image modifiée apparaît ainsi comme une photo qui aurait été prise à l’instant de simulation et qui porte l’appareil orthodontique. Elle peut être présentée au patient afin de lui montrer, par exemple, sa situation dentaire future ou passée, et ainsi le motiver à observer un traitement orthodontique.
Dans un mode de réalisation, à l’étape a2), le modèle d’origine est déformé pour simuler l’effet du temps en cas de mauvaise observance, c'est-à-dire si le patient ne respecte pas les prescriptions médicales.
Bien entendu, l'invention n'est pas limitée aux modes de réalisation décrits ci-dessus et représentés.
En particulier, le patient n'est pas limité à un être humain. Un procédé selon l’invention peut être utilisé pour un autre animal.
Une base d’apprentissage n’est pas nécessairement constituée par des enregistrements de «paires». Notamment, l’article de Zhu, Jun-Yan, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks décrit d’autres bases d’apprentissage possible.
Par ailleurs, le procédé n’est pas limité à un procédé pour ajouter la représentation d’un appareil orthodontique sur une image, mais peut être aussi utilisé pour toute modification de la représentation d’un arcade dentaire, et en particulier pour supprimer la représentation d’un appareil orthodontique sur une image d’une arcade dentaire portant un appareil orthodontique ou pour remplacer la représentation d’un appareil orthodontique sur une image d’une arcade dentaire équipée d’un appareil orthodontique par la représentation d’un autre appareil orthodontique. L’entrainement est adapté en conséquence. Cette adaptation ne pose aucune difficulté particulière.
Enfin le procédé n’est pas limité à un procédé pour ajouter ou supprimer ou modifier une représentation d’un appareil orthodontique sur une image d’origine. Il s’étend à la représentation de tout autre organe dentaire.
Claims (12)
- REVENDICATIONS1. Procédé de simulation comportant les étapes suivantes :a) acquisition d’une image d’une arcade dentaire d’un patient, dite « image d’origine » ;b) soumission de l’image d’origine à un réseau de neurones, dit « réseau de neurones de modification », entraîné pour modifier localement l’image d’origine afin d’obtenir une « image modifiée » ;c) présentation de l’image modifiée au patient.
- 2. Procédé selon la revendication immédiatement précédente, dans lequel le réseau de neurones de modification est entraîné pour :- représenter un organe dentaire sur une image d’une arcade dentaire ne portant pas l’organe dentaire ;- supprimer la représentation d’un organe dentaire sur une image d’une arcade dentaire portant l’organe dentaire ; ou- remplacer la représentation d’un organe dentaire sur une image d’une arcade dentaire portant l’organe dentaire, par la représentation d’un autre organe dentaire.
- 3. Procédé selon la revendication immédiatement précédente, dans lequel Γorgane dentaire est choisi parmi un appareil orthodontique, une couronne, un implant, un bridge, et une facette.
- 4. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’image d’origine est une image extra-orale.
- 5. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’image d’origine est une photo ou une vue d’un modèle tridimensionnel numérique de ladite arcade.
- 6. Procédé selon la revendication immédiatement précédente, dans lequel préalablement à l’étape a), on rend hyperréaliste ladite vue au moyen d’un réseau de neurones « de transformation ».
- 7. Procédé selon l’une quelconque des deux revendications immédiatement précédentes, dans lequel, préalablement à l’acquisition de ladite vue, on modifie ledit modèle.
- 8. Procédé selon la revendication immédiatement précédente, dans lequel ladite déformation consiste en :- un déplacement d’un modèle tridimensionnel d’une dent, et/ou- une déformation d’un modèle de dent, et/ou- une suppression d’un modèle de dent, et/ou- une déformation d’un modèle de mâchoire.
- 9. Procédé selon l’une quelconque des revendications précédentes, dans lequel, préalablement à l’étape b), le réseau de neurones de modification est entraîné avec une base d'apprentissage historique constituée d’un ensemble d’enregistrements historiques, pour représenter un appareil orthodontique sur une image d’arcade dentaire nue, chaque enregistrement historique comportant :- une image historique choisie parmi une photo d’une scène dentaire représentant une arcade dentaire ne portant pas d’appareil orthodontique, une vue d’une scène dentaire représentant une arcade dentaire ne portant pas d’appareil orthodontique, une photo d’une scène dentaire représentant une arcade dentaire portant un appareil orthodontique, et une vue d’un modèle représentant une arcade dentaire portant un appareil orthodontique, et- un descriptif historique précisant si l’image historique représente ou non un appareil orthodontique, tous les appareils orthodontiques représentés sur les images historiques étant du même type.
- 10. Procédé selon la revendication immédiatement précédente, dans lequel le type d’appareil orthodontique regroupe les appareils multi-attaches actifs ou les gouttières orthodontiques ou les appareils de contention.
- 11. Procédé selon l’une quelconque des deux revendications immédiatement précédentes, dans lequel, préalablement à l’étape b), un opérateur choisit un type d’appareil orthodontique à représenter et un ordinateur spécialise la base d'apprentissage en conséquence, par exemple en ne retenant que les enregistrements historiques dont les images historiques ne représentent pas d’appareil orthodontique ou représentent un appareil orthodontique du type sélectionné.
- 12. Procédé selon l’une quelconque des revendications précédentes, dans lequel, à l’étape c), on présente l’image modifiée sur l’écran d’un téléphone du patient ou sur un miroir, 5 de préférence en réalité augmentée.
Priority Applications (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1856498A FR3083898B1 (fr) | 2018-07-13 | 2018-07-13 | Procede de simulation d'une situation dentaire |
| FR1873792A FR3083899B1 (fr) | 2018-07-13 | 2018-12-21 | Procede d’enrichissement d’une base d’apprentissage |
| EP19736742.8A EP3827406A1 (fr) | 2018-07-13 | 2019-07-10 | Procede d'enrichissement d'une base d'apprentissage |
| BR112021000501-3A BR112021000501A2 (pt) | 2018-07-13 | 2019-07-10 | Método de simulação |
| US17/259,516 US20210267716A1 (en) | 2018-07-13 | 2019-07-10 | Method for simulating a dental situation |
| PCT/EP2019/068561 WO2020011865A1 (fr) | 2018-07-13 | 2019-07-10 | Procede d'enrichissement d'une base d'apprentissage |
| PCT/EP2019/068558 WO2020011864A1 (fr) | 2018-07-13 | 2019-07-10 | Procede de simulation d'une situation dentaire |
| CN201980046736.3A CN112424820A (zh) | 2018-07-13 | 2019-07-10 | 用于模拟牙齿状况的方法 |
| EP19736741.0A EP3821394A1 (fr) | 2018-07-13 | 2019-07-10 | Procede de simulation d'une situation dentaire |
| US17/283,530 US20210390687A1 (en) | 2018-07-13 | 2019-07-10 | Method for enriching a learning base |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1856498A FR3083898B1 (fr) | 2018-07-13 | 2018-07-13 | Procede de simulation d'une situation dentaire |
| FR1856498 | 2018-07-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3083898A1 true FR3083898A1 (fr) | 2020-01-17 |
| FR3083898B1 FR3083898B1 (fr) | 2020-10-09 |
Family
ID=63684121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1856498A Active FR3083898B1 (fr) | 2018-07-13 | 2018-07-13 | Procede de simulation d'une situation dentaire |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210267716A1 (fr) |
| EP (1) | EP3821394A1 (fr) |
| CN (1) | CN112424820A (fr) |
| BR (1) | BR112021000501A2 (fr) |
| FR (1) | FR3083898B1 (fr) |
| WO (1) | WO2020011864A1 (fr) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111265317B (zh) * | 2020-02-10 | 2022-06-17 | 上海牙典医疗器械有限公司 | 一种牙齿正畸过程预测方法 |
| CN220089438U (zh) | 2020-02-26 | 2023-11-28 | 盖特-格林公司 | 口内适配器 |
| CN111180075B (zh) * | 2020-03-02 | 2023-10-20 | 浙江大学 | 基于心脏杂音建立的动力学模型和计算机模拟仿真的方法 |
| USD962437S1 (en) | 2020-05-14 | 2022-08-30 | Get-Grin Inc. | Dental scope |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018069736A1 (fr) * | 2016-10-14 | 2018-04-19 | Axial Medical Printing Limited | Procédé de génération d'un modèle physique 3d d'une caractéristique anatomique spécifique d'un patient à partir d'images médicales 2d |
| US20180110590A1 (en) * | 2016-10-20 | 2018-04-26 | Baliram Maraj | Systems and methods for dental treatment utilizing mixed reality and deep learning |
| US20180168780A1 (en) * | 2016-12-16 | 2018-06-21 | Align Technology, Inc. | Augmented reality enhancements for dental practitioners |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200405447A1 (en) * | 2013-09-19 | 2020-12-31 | Dental Monitoring | Method for monitoring the position of teeth |
| US20170169492A1 (en) * | 2015-12-15 | 2017-06-15 | Silvio Reggiardo, III | Method and Structure for 3D Model Creation, Analysis, and Product Fit |
| US10467815B2 (en) * | 2016-12-16 | 2019-11-05 | Align Technology, Inc. | Augmented reality planning and viewing of dental treatment outcomes |
| FR3069359B1 (fr) * | 2017-07-21 | 2019-08-23 | Dental Monitoring | Procede d'analyse d'une image d'une arcade dentaire |
| US11321918B2 (en) * | 2019-02-27 | 2022-05-03 | 3Shape A/S | Method for manipulating 3D objects by flattened mesh |
-
2018
- 2018-07-13 FR FR1856498A patent/FR3083898B1/fr active Active
-
2019
- 2019-07-10 WO PCT/EP2019/068558 patent/WO2020011864A1/fr unknown
- 2019-07-10 BR BR112021000501-3A patent/BR112021000501A2/pt unknown
- 2019-07-10 US US17/259,516 patent/US20210267716A1/en active Pending
- 2019-07-10 CN CN201980046736.3A patent/CN112424820A/zh active Pending
- 2019-07-10 EP EP19736741.0A patent/EP3821394A1/fr active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018069736A1 (fr) * | 2016-10-14 | 2018-04-19 | Axial Medical Printing Limited | Procédé de génération d'un modèle physique 3d d'une caractéristique anatomique spécifique d'un patient à partir d'images médicales 2d |
| US20180110590A1 (en) * | 2016-10-20 | 2018-04-26 | Baliram Maraj | Systems and methods for dental treatment utilizing mixed reality and deep learning |
| US20180168780A1 (en) * | 2016-12-16 | 2018-06-21 | Align Technology, Inc. | Augmented reality enhancements for dental practitioners |
Non-Patent Citations (2)
| Title |
|---|
| FERNANDEZ KELWIN ET AL: "Teeth/Palate and Interdental Segmentation Using Artificial Neural Networks", 17 September 2012, PROC. INT.CONF. ADV. BIOMETRICS (ICB); [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER, BERLIN, HEIDELBERG, PAGE(S) 175 - 185, ISBN: 978-3-642-17318-9, XP047470107 * |
| KARIM ARMANIOUS ET AL: "MedGAN: Medical Image Translation using GANs", 17 June 2018 (2018-06-17), XP055573262, Retrieved from the Internet <URL:https://arxiv.org/pdf/1806.06397.pdf> [retrieved on 20190322] * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210267716A1 (en) | 2021-09-02 |
| EP3821394A1 (fr) | 2021-05-19 |
| CN112424820A (zh) | 2021-02-26 |
| FR3083898B1 (fr) | 2020-10-09 |
| WO2020011864A1 (fr) | 2020-01-16 |
| BR112021000501A2 (pt) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020011864A1 (fr) | Procede de simulation d'une situation dentaire | |
| EP3212646B1 (fr) | Procédé de contrôle de la dentition | |
| EP4101418A1 (fr) | Systeme de fabrication d'un appareil orthodontique | |
| FR3069359B1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| FR3069361B1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| FR3069360A1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| FR3121034A1 (fr) | Procede de controle de la recidive orthodontique | |
| WO2016066637A1 (fr) | Procédé de contrôle d'un traitement orthodontique | |
| EP4201322A1 (fr) | Procede et systeme de localisation des points condyliens d'un patient | |
| FR3069358A1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| WO2021078778A1 (fr) | Procede de generation d'une image dentaire | |
| FR3096255A1 (fr) | Procede de generation d’un modele d’une arcade dentaire | |
| EP3796865A1 (fr) | Procede d'analyse d'une situation dentaire | |
| EP3796866A1 (fr) | Procede d'analyse d'une situation dentaire | |
| EP3821393B1 (fr) | Procede de transformation d'une vue d'un modele 3d d'une arcade dentaire en une vue photorealiste | |
| WO2020011865A1 (fr) | Procede d'enrichissement d'une base d'apprentissage | |
| FR3083899A1 (fr) | Procede d’enrichissement d’une base d’apprentissage | |
| WO2023187161A1 (fr) | Fabrication d'un appareil de contention | |
| FR3095334A1 (fr) | Procede d’evaluation d’une gouttiere orthodontique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200117 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |