FR3139002A1 - Procédé d’acquisition d’un ensemble d’images d’un objet buccal - Google Patents
Procédé d’acquisition d’un ensemble d’images d’un objet buccal Download PDFInfo
- Publication number
- FR3139002A1 FR3139002A1 FR2208706A FR2208706A FR3139002A1 FR 3139002 A1 FR3139002 A1 FR 3139002A1 FR 2208706 A FR2208706 A FR 2208706A FR 2208706 A FR2208706 A FR 2208706A FR 3139002 A1 FR3139002 A1 FR 3139002A1
- Authority
- FR
- France
- Prior art keywords
- image
- acquisition
- symbol
- user
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000003190 augmentative effect Effects 0.000 claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 230000000295 complement effect Effects 0.000 claims description 2
- 230000005236 sound signal Effects 0.000 claims description 2
- 210000002455 dental arch Anatomy 0.000 description 33
- 238000013528 artificial neural network Methods 0.000 description 26
- 210000000214 mouth Anatomy 0.000 description 23
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 125000006850 spacer group Chemical group 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 210000004872 soft tissue Anatomy 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 210000004283 incisor Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 210000003254 palate Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 210000002808 connective tissue Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000001847 jaw Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003239 periodontal effect Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001720 vestibular Effects 0.000 description 2
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Optics & Photonics (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
Procédé d’acquisition d’un ensemble d’images couvrant une cible appartenant à un objet buccal d’un utilisateur, le procédé comportant les étapes suivantes : 1) présentation à l'utilisateur, sur un écran (12) et en réalité augmentée dans l’espace de l’objet buccal observé par un appareil d'acquisition d’images (10), d’un symbole multidimensionnel ou d’un ensemble de symboles (24) multidimensionnels, la forme et/ou la position de chaque symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ; 2) pour chaque symbole, acquisition, avec l'appareil d'acquisition, d’une dite image quand ladite au moins une condition d’acquisition prédéterminée associée au dit symbole est remplie, de préférence quand toutes les conditions d’acquisition prédéterminées associées au dit symbole sont remplies. Figure pour l’abrégé : Fig. 5
Description
La présente invention concerne un procédé d’acquisition d’un ensemble d’images d’un objet buccal, et en particulier un objet dentaire, notamment une arcade dentaire d’un utilisateur. L’invention porte également sur un dispositif pour mettre en œuvre un tel procédé.
Il est classique d’effectuer une acquisition d’un ensemble d’images couvrant une cible localisée dans la cavité orale d’un utilisateur, et en particulier des arcades dentaires d’un utilisateur, afin d’analyser sa situation dentaire, notamment avant d’établir un traitement orthodontique. Une image « couvre » une cible lorsqu’elle représente au moins partiellement cette cible. L’ensemble d’images « couvre » la cible lorsqu’il contient des images couvrant la cible suivant différentes directions d’observation, notamment pour disposer d’une information tridimensionnelle précise sur la cible.
Une acquisition dans un cabinet dentaire, ou plus généralement chez un professionnel de soins dentaires, peut engendrer des coûts importants et un stress pour l’utilisateur.
Alternativement, l'utilisateur peut acquérir lui-même les images dentaires, par exemple avec son téléphone. Pour acquérir une image, l’utilisateur se regarde généralement dans un miroir, ce qui peut rendre difficile un positionnement précis de son téléphone. Par ailleurs, avant d’avoir consulté la galerie dans laquelle les images sont enregistrées, l'utilisateur ne sait pas si les images sont de bonne qualité, ni si elles couvrent correctement la cible visée. Même en consultant la galerie, il ne sait pas précisément évaluer si le taux de couverture de la cible par l’ensemble des images acquises est suffisant. Enfin, l’acquisition peut être laborieuse s’il est exigé que l'utilisateur la renouvelle. Lassé par ces difficultés, l'utilisateur peut ainsi mettre fin à l’opération d’acquisition de manière prématurée.
Il existe un besoin pour faciliter l’acquisition d’un ensemble d’images de la bouche couvrant une cible, en particulier tout ou partie des arcades dentaires, en limitant le risque d’une acquisition incomplète ou de mauvaise qualité.
Un but de l’invention est de répondre à ce besoin.
L’invention propose un procédé d’acquisition d’un ensemble d’images couvrant, de préférence avec un taux de couverture supérieur ou égal à un seuil de couverture, une cible appartenant à un objet buccal d’un utilisateur, par exemple un ensemble d’images couvrant les incisives ou les dents (cible) de l’arcade dentaire (objet buccal) de l'utilisateur.
Selon un premier aspect principal de l’invention,le procédé comporte les étapes suivantes :
1) présentation à l'utilisateur, sur un écran et en réalité augmentée dans l’espace de l’objet buccal observé par un appareil d'acquisition d’images, de préférence manipulé par l'utilisateur, d’un symbole multidimensionnel ou d’un ensemble de symboles multidimensionnels, la forme et/ou la position de chaque symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
2) pour chaque symbole, acquisition, avec l'appareil d'acquisition, d’une dite image quand ladite au moins une condition d’acquisition prédéterminée associée au dit symbole est remplie, de préférence quand toutes les conditions d’acquisition prédéterminées associées au dit symbole sont remplies.
1) présentation à l'utilisateur, sur un écran et en réalité augmentée dans l’espace de l’objet buccal observé par un appareil d'acquisition d’images, de préférence manipulé par l'utilisateur, d’un symbole multidimensionnel ou d’un ensemble de symboles multidimensionnels, la forme et/ou la position de chaque symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
2) pour chaque symbole, acquisition, avec l'appareil d'acquisition, d’une dite image quand ladite au moins une condition d’acquisition prédéterminée associée au dit symbole est remplie, de préférence quand toutes les conditions d’acquisition prédéterminées associées au dit symbole sont remplies.
Comme on le verra plus en détail dans la suite de la description, la forme d’un symbole multidimensionnel dans l’espace de la scène réelle observée par l'appareil d'acquisition permet, lorsque l'utilisateur regarde l’écran, de l’informer et de le guider vers une ou plusieurs conditions d’acquisition associées au dit symbole et adaptées à l’acquisition d’une image souhaitée. Un symbole présenté en réalité augmentée apporte ainsi une information de guidage particulièrement efficace.
Un procédé selon le premier aspect principal peut encore comporter, notamment, une ou plusieurs des caractéristiques optionnelles suivantes :
- à l’étape 2), on n’acquiert, avec l'appareil d'acquisition, une image que si ladite au moins une condition d’acquisition prédéterminée associée à au moins un symbole est remplie, de préférence que si toutes les conditions d’acquisition prédéterminées associées au dit symbole sont remplies ;
- au moins un symbole définit
- un axe de symbole, de préférence un axe de révolution, une condition d’acquisition étant un écart angulaire entre l’axe optique de l'appareil d'acquisition et ledit axe de symbole inférieur à 20°, de préférence inférieur à 10°, de préférence inférieur à 5°, de préférence sensiblement nul, c'est-à-dire un alignement sensiblement parfait de l’axe optique de l'appareil d'acquisition avec ledit axe de symbole, et/ou
- une dimension qui, sur la représentation du symbole à l’écran, est variable en fonction de la distance entre l’appareil d’acquisition et ledit symbole dans la réalité augmentée, ladite condition d’acquisition étant une valeur spécifique prédéterminée pour ladite dimension ou l’appartenance de ladite dimension à une plage spécifique de valeurs prédéterminée, par exemple une dite dimension inférieure à 1 mm ;
- préalablement à l’étape 1), on enseigne à l'utilisateur, pour chaque symbole, ladite au moins une condition d’acquisition prédéterminée associée au dit symbole ; par exemple on explique à l'utilisateur que, pour acquérir l’ensemble d’images, il doit, pour chaque symbole, aligner au mieux l’axe du symbole avec l’axe optique de l'appareil d'acquisition, et/ou essayer de visualiser le symbole à l’écran pour que ladite dimension soit la plus proche possible de ladite valeur spécifique ;
- ledit enseignement est réalisé au moyen d’un tutoriel, le tutoriel permettant de préférence d’enseigner progressivement l’ensemble des fonctionnalités du programme d’ordinateur exécuté pour la mise en œuvre du procédé, le tutoriel pouvant évoluer en fonction des mises à jour ;
- à l’étape 2), on acquiert automatiquement, avec l'appareil d'acquisition, une dite image si des conditions d’acquisition prédéterminées définissant une position dans l’espace et/ou une orientation de l'appareil d'acquisition autour de son axe optique et incluant ladite au moins une condition d’acquisition indiquée par le symbole, sont remplies ;
- à l’étape 2), si on acquiert, avec l'appareil d'acquisition, une dite image,
- on modifie l’apparence dudit symbole ou on fait disparaitre ledit symbole, et/ou
- on émet un signal sonore, et/ou
- on modifie un score affiché sur l’écran et relatif à un taux de couverture de la cible par les images déjà acquises et/ou relatif à la durée pour l’acquisition des images déjà acquises et/ou relatif à la qualité des images déjà acquises et/ou relatif à l’utilité des images déjà acquises ;
- quand l’ensemble d’images a été acquis, on présente à l'utilisateur, sur l’écran, un classement déterminé en fonction dudit score ;
- l’écran affiche les symboles sur des images de prévisualisation représentant la scène réelle observée par l'appareil d'acquisition ou sur des vues d’un modèle représentant, comme lesdites images de prévisualisation, au moins ledit objet buccal ou ladite cible ;
- l’écran affiche une mire dans une position fixe sur l’écran, la mire ayant de préférence une forme constante, un dit symbole présentant de préférence une forme complémentaire à la mire lorsqu’une condition d’acquisition prédéterminée associée au dit symbole est remplie ;
- la cible comprend plus de 2, de préférence plus de 5 dents et/ou moins de 32 dents et/ou l’ensemble d’images comporte plus de 2, plus de 5, plus de 10 et/ou moins de 1 000 images prises dans des conditions d’acquisition différentes respectives et/ou l’ensemble de symboles comporte plus de 2, plus de 5 et/ou moins de 100 symboles ;
- les symboles présentent de préférence chacun un axe orienté vers le centre de la bouche de l'utilisateur ;
- les symboles sont de préférence distribués dans un plan, de préférence dans deux plans, de préférence dans trois plans, de préférence de manière à obtenir des images avec des axes d’observation dans le plan occlusal, dans un plan incliné par rapport au plan occlusal de manière à obtenir des vues de dessus par rapport au plan occlusal et dans un plan incliné par rapport au plan occlusal de manière à obtenir des vues de dessous par rapport au plan occlusal ;
- dans l’espace de l’objet buccal pour la représentation en réalité augmentée, les symboles sont à l’extérieur de la bouche de l'utilisateur, de manière que les images acquises soient extraorales.
- à l’étape 2), on n’acquiert, avec l'appareil d'acquisition, une image que si ladite au moins une condition d’acquisition prédéterminée associée à au moins un symbole est remplie, de préférence que si toutes les conditions d’acquisition prédéterminées associées au dit symbole sont remplies ;
- au moins un symbole définit
- un axe de symbole, de préférence un axe de révolution, une condition d’acquisition étant un écart angulaire entre l’axe optique de l'appareil d'acquisition et ledit axe de symbole inférieur à 20°, de préférence inférieur à 10°, de préférence inférieur à 5°, de préférence sensiblement nul, c'est-à-dire un alignement sensiblement parfait de l’axe optique de l'appareil d'acquisition avec ledit axe de symbole, et/ou
- une dimension qui, sur la représentation du symbole à l’écran, est variable en fonction de la distance entre l’appareil d’acquisition et ledit symbole dans la réalité augmentée, ladite condition d’acquisition étant une valeur spécifique prédéterminée pour ladite dimension ou l’appartenance de ladite dimension à une plage spécifique de valeurs prédéterminée, par exemple une dite dimension inférieure à 1 mm ;
- préalablement à l’étape 1), on enseigne à l'utilisateur, pour chaque symbole, ladite au moins une condition d’acquisition prédéterminée associée au dit symbole ; par exemple on explique à l'utilisateur que, pour acquérir l’ensemble d’images, il doit, pour chaque symbole, aligner au mieux l’axe du symbole avec l’axe optique de l'appareil d'acquisition, et/ou essayer de visualiser le symbole à l’écran pour que ladite dimension soit la plus proche possible de ladite valeur spécifique ;
- ledit enseignement est réalisé au moyen d’un tutoriel, le tutoriel permettant de préférence d’enseigner progressivement l’ensemble des fonctionnalités du programme d’ordinateur exécuté pour la mise en œuvre du procédé, le tutoriel pouvant évoluer en fonction des mises à jour ;
- à l’étape 2), on acquiert automatiquement, avec l'appareil d'acquisition, une dite image si des conditions d’acquisition prédéterminées définissant une position dans l’espace et/ou une orientation de l'appareil d'acquisition autour de son axe optique et incluant ladite au moins une condition d’acquisition indiquée par le symbole, sont remplies ;
- à l’étape 2), si on acquiert, avec l'appareil d'acquisition, une dite image,
- on modifie l’apparence dudit symbole ou on fait disparaitre ledit symbole, et/ou
- on émet un signal sonore, et/ou
- on modifie un score affiché sur l’écran et relatif à un taux de couverture de la cible par les images déjà acquises et/ou relatif à la durée pour l’acquisition des images déjà acquises et/ou relatif à la qualité des images déjà acquises et/ou relatif à l’utilité des images déjà acquises ;
- quand l’ensemble d’images a été acquis, on présente à l'utilisateur, sur l’écran, un classement déterminé en fonction dudit score ;
- l’écran affiche les symboles sur des images de prévisualisation représentant la scène réelle observée par l'appareil d'acquisition ou sur des vues d’un modèle représentant, comme lesdites images de prévisualisation, au moins ledit objet buccal ou ladite cible ;
- l’écran affiche une mire dans une position fixe sur l’écran, la mire ayant de préférence une forme constante, un dit symbole présentant de préférence une forme complémentaire à la mire lorsqu’une condition d’acquisition prédéterminée associée au dit symbole est remplie ;
- la cible comprend plus de 2, de préférence plus de 5 dents et/ou moins de 32 dents et/ou l’ensemble d’images comporte plus de 2, plus de 5, plus de 10 et/ou moins de 1 000 images prises dans des conditions d’acquisition différentes respectives et/ou l’ensemble de symboles comporte plus de 2, plus de 5 et/ou moins de 100 symboles ;
- les symboles présentent de préférence chacun un axe orienté vers le centre de la bouche de l'utilisateur ;
- les symboles sont de préférence distribués dans un plan, de préférence dans deux plans, de préférence dans trois plans, de préférence de manière à obtenir des images avec des axes d’observation dans le plan occlusal, dans un plan incliné par rapport au plan occlusal de manière à obtenir des vues de dessus par rapport au plan occlusal et dans un plan incliné par rapport au plan occlusal de manière à obtenir des vues de dessous par rapport au plan occlusal ;
- dans l’espace de l’objet buccal pour la représentation en réalité augmentée, les symboles sont à l’extérieur de la bouche de l'utilisateur, de manière que les images acquises soient extraorales.
Dans un mode de réalisation, le symbole est une partie de la surface de la cible et on affiche sur l’image de prévisualisation, ou sur une image équivalente, un point de visée permettant de visualiser l’angulation de l'appareil d'acquisition. Le point de visée, dans le prolongement de l’axe optique, est affiché sur la surface de la cible, à la manière du point de de visée qui apparait sur un objet lorsqu’il est visé par une arme à feu projetant, selon la direction de tir, un faisceau laser sur l’objet.
Pour orienter correctement l'appareil d'acquisition, l'utilisateur doit donc viser avec le point de visée les symboles représentés à la surface de la cible.
Dans ce mode de réalisation, le symbole peut être un point ou une surface. S’il s’agit d’une surface, son contour se déforme en fonction de la forme et de la distance de la surface de la cible sur laquelle il est projeté. Le symbole peut être avantageusement utilisé pour indiquer une distance de l'appareil d'acquisition par rapport à la cible et/ou une orientation de l'appareil d'acquisition autour de son axe optique.
La forme du point de visée n’est pas limitative.
Le symbole peut être en particulier une vignette, c'est-à-dire une petite image, attachée à une dent, par exemple une étoile comme dans un jeu vidéo.
L’ensemble de symboles définit de préférence des conditions d’acquisition pour l’acquisition de
- au moins une image prise face à l'utilisateur et/ou au moins une image prise à droite de l'utilisateur et/ou au moins une image prise à gauche de l'utilisateur, de préférence au moins une image prise face à l'utilisateur et au moins une image prise à droite de l'utilisateur et au moins une image prise à gauche de l'utilisateur; et/ou
- au moins une image prise face à l'utilisateur d’une part et au moins une image prise de haut par rapport à l'utilisateur et/ou au moins une image prise de bas par rapport à l'utilisateur, d’autre part ; de préférence au moins une image prise face à l'utilisateur et au moins une image prise de haut par rapport à l'utilisateur et au moins une image prise de bas par rapport à l'utilisateur ; et/ou
- au moins une image prise bouche ouverte et/ou au moins une image prise bouche fermée.
- au moins une image prise face à l'utilisateur et/ou au moins une image prise à droite de l'utilisateur et/ou au moins une image prise à gauche de l'utilisateur, de préférence au moins une image prise face à l'utilisateur et au moins une image prise à droite de l'utilisateur et au moins une image prise à gauche de l'utilisateur; et/ou
- au moins une image prise face à l'utilisateur d’une part et au moins une image prise de haut par rapport à l'utilisateur et/ou au moins une image prise de bas par rapport à l'utilisateur, d’autre part ; de préférence au moins une image prise face à l'utilisateur et au moins une image prise de haut par rapport à l'utilisateur et au moins une image prise de bas par rapport à l'utilisateur ; et/ou
- au moins une image prise bouche ouverte et/ou au moins une image prise bouche fermée.
L’invention concerne encore un dispositif pour la mise en œuvre d’un procédé selon le premier aspect principal de l’invention, comportant
- un appareil d’acquisition d’images, de préférence sous la forme d’un téléphone portable ;
- un ordinateur, de préférence intégré dans l'appareil d'acquisition ou en communication avec l'appareil d'acquisition, comportant un programme d’ordinateur comprenant des instructions de code de programme pour
- à l’étape 1), disposer et présenter à l'utilisateur un ou plusieurs symboles multidimensionnels sur un écran, de préférence l’écran de l'appareil d'acquisition, en réalité augmentée dans l’espace de l’objet buccal, la forme et/ou la position d’un symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
- de préférence, à l’étape 2), n’autoriser l’acquisition, avec l'appareil d'acquisition, d’une dite image que si ladite au moins une condition d’acquisition prédéterminée associée à un symbole est remplie, et/ou commander à l'appareil d'acquisition l’acquisition d’une dite image que si ladite au moins une condition d’acquisition prédéterminée est remplie, et/ou mettre à jour un niveau de couverture de la cible par les images acquises, et de préférence comparer le niveau de couverture avec un seuil de couverture, et de préférence présenter sur l’écran une information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture.
- un appareil d’acquisition d’images, de préférence sous la forme d’un téléphone portable ;
- un ordinateur, de préférence intégré dans l'appareil d'acquisition ou en communication avec l'appareil d'acquisition, comportant un programme d’ordinateur comprenant des instructions de code de programme pour
- à l’étape 1), disposer et présenter à l'utilisateur un ou plusieurs symboles multidimensionnels sur un écran, de préférence l’écran de l'appareil d'acquisition, en réalité augmentée dans l’espace de l’objet buccal, la forme et/ou la position d’un symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
- de préférence, à l’étape 2), n’autoriser l’acquisition, avec l'appareil d'acquisition, d’une dite image que si ladite au moins une condition d’acquisition prédéterminée associée à un symbole est remplie, et/ou commander à l'appareil d'acquisition l’acquisition d’une dite image que si ladite au moins une condition d’acquisition prédéterminée est remplie, et/ou mettre à jour un niveau de couverture de la cible par les images acquises, et de préférence comparer le niveau de couverture avec un seuil de couverture, et de préférence présenter sur l’écran une information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture.
L'appareil d'acquisition est de préférence
- un téléphone portable et ledit écran est intégré dans le téléphone portable ou
- un dispositif comportant un support équipé d’une caméra et destiné à être maintenu en appui sur l'utilisateur pendant l’acquisition de l’ensemble d’images, en particulier en appui sur les dents et/ou les gencives de l'utilisateur, l’écran étant intégré dans le support ou à distance du support.
- un téléphone portable et ledit écran est intégré dans le téléphone portable ou
- un dispositif comportant un support équipé d’une caméra et destiné à être maintenu en appui sur l'utilisateur pendant l’acquisition de l’ensemble d’images, en particulier en appui sur les dents et/ou les gencives de l'utilisateur, l’écran étant intégré dans le support ou à distance du support.
Selon un deuxième aspect principal de l’invention,le procédé vise à couvrir rapidement la cible avec un taux de couverture supérieur ou égal à un seuil de couverture, et le procédé comporte les étapes suivantes :
a) acquisition d’au moins une image, de préférence par l'utilisateur, au moyen d’un appareil d’acquisition d’images, de préférence un téléphone portable ;
b) mise à jour du niveau de couverture de la cible en fonction de ladite au moins une image acquise à l’étape a) ;
c) si le niveau de couverture est inférieur au seuil de couverture,
- détermination d’une information de guidage vers des conditions d’acquisition adaptées pour l’acquisition, avec l’appareil d’acquisition d’images, d’une image supplémentaire augmentant le niveau de couverture ;
- présentation à l'utilisateur de l’information de guidage et, de préférence, d’une information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, c'est-à-dire d’une information permettant à l'utilisateur de connaître l’avancement de l’acquisition dudit ensemble d’images, et,
- modification, par l'utilisateur, de la position et/ou de l’orientation de l'appareil d'acquisition en fonction de l’information de guidage, et reprise à l’étape a), de préférence en temps réel, les images acquises étant de préférence extraites d’un film que l'utilisateur visualise sur un écran de l'appareil d'acquisition.
a) acquisition d’au moins une image, de préférence par l'utilisateur, au moyen d’un appareil d’acquisition d’images, de préférence un téléphone portable ;
b) mise à jour du niveau de couverture de la cible en fonction de ladite au moins une image acquise à l’étape a) ;
c) si le niveau de couverture est inférieur au seuil de couverture,
- détermination d’une information de guidage vers des conditions d’acquisition adaptées pour l’acquisition, avec l’appareil d’acquisition d’images, d’une image supplémentaire augmentant le niveau de couverture ;
- présentation à l'utilisateur de l’information de guidage et, de préférence, d’une information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, c'est-à-dire d’une information permettant à l'utilisateur de connaître l’avancement de l’acquisition dudit ensemble d’images, et,
- modification, par l'utilisateur, de la position et/ou de l’orientation de l'appareil d'acquisition en fonction de l’information de guidage, et reprise à l’étape a), de préférence en temps réel, les images acquises étant de préférence extraites d’un film que l'utilisateur visualise sur un écran de l'appareil d'acquisition.
Comme on le verra plus en détail dans la suite de la description, la détermination d’une information de guidage en fonction d’un taux de couverture mis à jour en temps réel permet avantageusement de faciliter l’acquisition d’images de la bouche d’un utilisateur, et notamment l’acquisition d’images dentaires. En particulier, l’utilisateur reçoit en temps réel des informations de guidage, ce qui rend l’acquisition plus efficace, en particulier lorsque l’information de guidage est choisie pour guider vers des conditions d’acquisition optimales permettant l’acquisition d’une image supplémentaire maximisant l’augmentation du niveau de couverture.
Grâce au guidage, il n’est pas nécessaire que l’utilisateur se déplace chez un professionnel de soins dentaires, ni que l’utilisateur soit supervisé par un professionnel de soins dentaires pour acquérir les images. Les images peuvent avantageusement être acquises dans des conditions d’acquisition précises, sans formation particulière. En particulier, elles peuvent être acquises par l'utilisateur lui-même ou par un de ses proches. Notamment, le procédé facilite l’acquisition d’images des arcades d’un enfant par un de ses parents.
La présentation de l’information sur le niveau de couverture est également particulièrement avantageuse car elle dissuade efficacement l’utilisateur d’interrompre l’acquisition avant qu’elle ne soit complète. Elle rend particulièrement agréable l’acquisition, l'utilisateur sachant à tout instant le chemin encore à parcourir avant d’avoir acquis l’ensemble d’images. L’acquisition peut même être ludique.
Un procédé selon le deuxième aspect principal peut encore comporter, notamment, un ou plusieurs des caractéristiques optionnelles suivantes :
- on affiche sur un écran, de préférence sur un écran de l'appareil d'acquisition, de préférence un téléphone portable :
- une représentation de la cible,
- une représentation de la partie de la cible couverte par une ou plusieurs images acquises lors de l’étape a) ou d’étapes a) antérieures, et
- de préférence, une représentation de l’objet buccal lorsque l’objet buccal inclut d’autres parties de la bouche de l'utilisateur que la cible ;
- l’information de guidage et/ou l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture est/sont présentées en réalité augmentée dans une image de prévisualisation affichée sur un écran de l'appareil d'acquisition et représentant la scène réelle observée par l'appareil d'acquisition et/ou dans une image équivalente à l’image de prévisualisation représentant une scène théorique représentant, de manière symbolique ou réaliste, tout ou partie des éléments de ladite scène réelle, dans le même agencement que dans ladite scène réelle ;
- l’image équivalente comporte, de préférence est une vue d’un modèle d’au moins une partie de ladite scène réelle, un modèle étant un modèle tridimensionnel numérique ;
- l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture est présentée dans un référentiel spatial de manière à constituer une dite information de guidage ;
- l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture est présentée sur une représentation de la cible,
- en appliquant une apparence, de préférence une couleur ou une texture, à une zone de ladite représentation différente selon que ladite zone est couverte ou non par au moins une image acquise, ou
- en appliquant une apparence à un symbole symbolisant une partie prédéterminée de ladite cible, par exemple une dent, ladite apparence étant différente selon que ladite partie est couverte ou non, de préférence en faisant apparaitre ou disparaitre le symbole sur l’écran de l'appareil d'acquisition, ou
- en appliquant une apparence à un symbole indiquant au moins une condition d’acquisition, ladite apparence étant différente selon qu’une image a été acquise avec ladite au moins une condition d’acquisition ou non ;
- la cible comprend un ensemble de dents et/ou de tissus mous, l’image de prévisualisation ou l’image équivalente est actualisée en temps réel, de préférence sur l’écran du téléphone portable de l'utilisateur, les dents couvertes étant marquées spécifiquement, par un symbole ou par application d’une apparence permettant de les distinguer des dents non couvertes, une dent étant « couverte » quand sa surface à couvrir initiale est couverte ;
- une pluralité de symboles sont ancrés, en réalité augmentée, dans la scène réelle observée par l'appareil d'acquisition, de manière à apparaitre sur l’image de prévisualisation ou sur une image équivalente, chaque symbole pouvant par exemple être ancré sur une dent respective de l'utilisateur ou être ancré de manière à indiquer à l'utilisateur des conditions d’acquisition adaptées pour l’acquisition de l’image supplémentaire ;
- les symboles sont des symboles tridimensionnels selon le premier aspect principal de l’invention ;
- à l’étape a), l'utilisateur vise, avec l'appareil d'acquisition, un dit symbole, de préférence bidimensionnel ou tridimensionnel, et
lorsque le symbole visé est atteint, de préférence lorsqu’il est au moins en partie superposé à une mire fixe affichée sur l’écran de l'appareil d'acquisition, au moins une image est acquise, de préférence automatiquement, c'est-à-dire sans intervention spécifique de l'utilisateur ;
- les symboles sont ancrés sur des dents adjacentes ou non, en réalité augmentée, sur l’image de prévisualisation ou sur une image équivalente, les symboles pouvant par exemple être ancrés régulièrement le long de l’arcade dentaire, par exemple toutes les 2 ou 3 dents ;
- les symboles sont ancrés et/ou conformés de manière à définir, optionnellement en coopération avec une dite mire, des conditions d’acquisition prédéterminées, de préférence une distance de l’appareil d’acquisition par rapport à la cible et/ou une orientation de l’appareil d’acquisition autour de son axe optique et/ou une angulation dudit axe optique par rapport à la cible ;
- à l’étape b), on analyse ladite au moins une image acquise à l’étape a) afin d’identifier une représentation de la cible sur ladite image, de préférence au moyen d’un réseau de neurones, puis, on marque la zone correspondante dans l’image de prévisualisation, de préférence en la colorant d’une couleur associée à ladite cible ;
- à l’étape a), avant ou après l’acquisition de l’image, on évalue la qualité de l’image acquise ou prévisualisée, c'est-à-dire affichée sur l’écran de l’appareil d’acquisition, respectivement, de préférence on évalue au moins la netteté et/ou le contraste, et/ou la balance des couleurs de l’image, et/ou la distance de l’appareil d’acquisition par rapport à la cible et/ou l’orientation de l’appareil d’acquisition autour de son axe optique et/ou l’angulation dudit axe optique par rapport à la cible, et on n’acquiert l’image et/ou on ne met à jour le taux de couverture que si la qualité dépasse un seuil de qualité prédéterminé ;
- à l’étape c),
on teste plusieurs conditions d’acquisition adaptées pour l’acquisition, avec l’appareil d’acquisition d’images, d’une image supplémentaire augmentant le niveau de couverture, puis
on détermine l’information de guidage de manière qu’elle guide vers les conditions d’acquisition optimales, c’est-à-dire adaptées pour l’acquisition, avec l’appareil d’acquisition d’images, de l’image supplémentaire qui augmente le plus le niveau de couverture ;
- à l’étape b),
- on soumet chaque image acquise
à au moins un premier réseau de neurones entrainé pour détecter la représentation de la cible sur l’image et/ou à un algorithme de traitement d’images adapté pour détecter la représentation de la cible sur l’image, et
à un deuxième réseau de neurones entrainé pour déterminer la position et l’orientation de l’appareil d’acquisition lors de l’acquisition de l’image, et donc la direction de l’axe optique de l’appareil d’acquisition, c’est-à-dire de la caméra de l’appareil d’acquisition, par rapport à la cible et la distance de l’appareil d’acquisition par rapport à la cible, puis
- on projette ladite représentation de la cible sur un modèle de la cible ou de l’objet buccal, ou « modèle de référence », suivant une direction de projection orientée, par rapport au dit modèle, comme la direction de l’axe optique par rapport à la cible, ladite représentation de la cible étant virtuellement (c’est-à-dire de manière théorique) positionnée, par rapport au modèle de référence comme l’appareil d’acquisition par rapport à la cible, puis
- on détermine le taux de couverture en fonction de la surface du modèle de référence couverte par ladite projection et par des dites projections réalisées lors d’étape(s) b) antérieures(s) éventuelles ;
- à l’étape b),
- on soumet chaque image acquise
à un premier réseau de neurones entrainé pour détecter la représentation de la cible, ou des points remarquables de ladite cible, sur l’image, et
à un deuxième réseau de neurones entrainé pour reconnaitre, à partir de la représentation de la cible ou desdits points remarquables sur l’image, une zone correspondante d’une image de référence, puis
- on détermine le taux de couverture en fonction de la surface de l’image de référence couverte par ladite zone correspondante et par des dites zones correspondantes déterminées lors d’étape(s) b) antérieure(s) éventuelles ;
- l’appareil d’acquisition est
- un téléphone portable pourvu d’un écran, de préférence un téléphone portable de l’utilisateur ou
- un dispositif comportant
- un support équipé d’une caméra et maintenu en appui sur l’utilisateur pendant l’acquisition de l’ensemble d’images, de préférence en autorisant une ouverture et une fermeture de la bouche, de préférence introduit partiellement dans la bouche de l’utilisateur, de préférence en appui sur les gencives et/ou les dents, et
- un écran affichant la scène observée par la caméra, ledit écran étant intégré dans le support ou à distance du support ;
- à l’étape a), l'utilisateur visualise, en temps réel, sur un écran dudit téléphone portable, la scène réelle observée par le téléphone portable ou une scène théorique correspondante, une image étant de préférence acquise automatiquement lorsque le téléphone portable observe la cible dans des conditions d’acquisition prédéterminées, de préférence dans des conditions d’acquisition déterminées à une étape c) du cycle d’étapes a) à c) précédent ;
- à l’étape c), on présente à l’utilisateur, de préférence sur l’écran de l'appareil d'acquisition, un compteur ou une jauge, de préférence sous la forme d’une barre de progression, informant sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, et/ou
- lorsque le seuil de couverture est atteint, on présente à l'utilisateur, de préférence sur l’écran de l'appareil d'acquisition, un score calculé en fonction de la durée pour parvenir au seuil de couverture et/ou de la qualité des images acquises, et/ou de l’utilité des images acquises, et/ou on présente à l'utilisateur, de préférence sur l’écran de l'appareil d'acquisition, un classement déterminé en fonction dudit score.
- on affiche sur un écran, de préférence sur un écran de l'appareil d'acquisition, de préférence un téléphone portable :
- une représentation de la cible,
- une représentation de la partie de la cible couverte par une ou plusieurs images acquises lors de l’étape a) ou d’étapes a) antérieures, et
- de préférence, une représentation de l’objet buccal lorsque l’objet buccal inclut d’autres parties de la bouche de l'utilisateur que la cible ;
- l’information de guidage et/ou l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture est/sont présentées en réalité augmentée dans une image de prévisualisation affichée sur un écran de l'appareil d'acquisition et représentant la scène réelle observée par l'appareil d'acquisition et/ou dans une image équivalente à l’image de prévisualisation représentant une scène théorique représentant, de manière symbolique ou réaliste, tout ou partie des éléments de ladite scène réelle, dans le même agencement que dans ladite scène réelle ;
- l’image équivalente comporte, de préférence est une vue d’un modèle d’au moins une partie de ladite scène réelle, un modèle étant un modèle tridimensionnel numérique ;
- l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture est présentée dans un référentiel spatial de manière à constituer une dite information de guidage ;
- l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture est présentée sur une représentation de la cible,
- en appliquant une apparence, de préférence une couleur ou une texture, à une zone de ladite représentation différente selon que ladite zone est couverte ou non par au moins une image acquise, ou
- en appliquant une apparence à un symbole symbolisant une partie prédéterminée de ladite cible, par exemple une dent, ladite apparence étant différente selon que ladite partie est couverte ou non, de préférence en faisant apparaitre ou disparaitre le symbole sur l’écran de l'appareil d'acquisition, ou
- en appliquant une apparence à un symbole indiquant au moins une condition d’acquisition, ladite apparence étant différente selon qu’une image a été acquise avec ladite au moins une condition d’acquisition ou non ;
- la cible comprend un ensemble de dents et/ou de tissus mous, l’image de prévisualisation ou l’image équivalente est actualisée en temps réel, de préférence sur l’écran du téléphone portable de l'utilisateur, les dents couvertes étant marquées spécifiquement, par un symbole ou par application d’une apparence permettant de les distinguer des dents non couvertes, une dent étant « couverte » quand sa surface à couvrir initiale est couverte ;
- une pluralité de symboles sont ancrés, en réalité augmentée, dans la scène réelle observée par l'appareil d'acquisition, de manière à apparaitre sur l’image de prévisualisation ou sur une image équivalente, chaque symbole pouvant par exemple être ancré sur une dent respective de l'utilisateur ou être ancré de manière à indiquer à l'utilisateur des conditions d’acquisition adaptées pour l’acquisition de l’image supplémentaire ;
- les symboles sont des symboles tridimensionnels selon le premier aspect principal de l’invention ;
- à l’étape a), l'utilisateur vise, avec l'appareil d'acquisition, un dit symbole, de préférence bidimensionnel ou tridimensionnel, et
lorsque le symbole visé est atteint, de préférence lorsqu’il est au moins en partie superposé à une mire fixe affichée sur l’écran de l'appareil d'acquisition, au moins une image est acquise, de préférence automatiquement, c'est-à-dire sans intervention spécifique de l'utilisateur ;
- les symboles sont ancrés sur des dents adjacentes ou non, en réalité augmentée, sur l’image de prévisualisation ou sur une image équivalente, les symboles pouvant par exemple être ancrés régulièrement le long de l’arcade dentaire, par exemple toutes les 2 ou 3 dents ;
- les symboles sont ancrés et/ou conformés de manière à définir, optionnellement en coopération avec une dite mire, des conditions d’acquisition prédéterminées, de préférence une distance de l’appareil d’acquisition par rapport à la cible et/ou une orientation de l’appareil d’acquisition autour de son axe optique et/ou une angulation dudit axe optique par rapport à la cible ;
- à l’étape b), on analyse ladite au moins une image acquise à l’étape a) afin d’identifier une représentation de la cible sur ladite image, de préférence au moyen d’un réseau de neurones, puis, on marque la zone correspondante dans l’image de prévisualisation, de préférence en la colorant d’une couleur associée à ladite cible ;
- à l’étape a), avant ou après l’acquisition de l’image, on évalue la qualité de l’image acquise ou prévisualisée, c'est-à-dire affichée sur l’écran de l’appareil d’acquisition, respectivement, de préférence on évalue au moins la netteté et/ou le contraste, et/ou la balance des couleurs de l’image, et/ou la distance de l’appareil d’acquisition par rapport à la cible et/ou l’orientation de l’appareil d’acquisition autour de son axe optique et/ou l’angulation dudit axe optique par rapport à la cible, et on n’acquiert l’image et/ou on ne met à jour le taux de couverture que si la qualité dépasse un seuil de qualité prédéterminé ;
- à l’étape c),
on teste plusieurs conditions d’acquisition adaptées pour l’acquisition, avec l’appareil d’acquisition d’images, d’une image supplémentaire augmentant le niveau de couverture, puis
on détermine l’information de guidage de manière qu’elle guide vers les conditions d’acquisition optimales, c’est-à-dire adaptées pour l’acquisition, avec l’appareil d’acquisition d’images, de l’image supplémentaire qui augmente le plus le niveau de couverture ;
- à l’étape b),
- on soumet chaque image acquise
à au moins un premier réseau de neurones entrainé pour détecter la représentation de la cible sur l’image et/ou à un algorithme de traitement d’images adapté pour détecter la représentation de la cible sur l’image, et
à un deuxième réseau de neurones entrainé pour déterminer la position et l’orientation de l’appareil d’acquisition lors de l’acquisition de l’image, et donc la direction de l’axe optique de l’appareil d’acquisition, c’est-à-dire de la caméra de l’appareil d’acquisition, par rapport à la cible et la distance de l’appareil d’acquisition par rapport à la cible, puis
- on projette ladite représentation de la cible sur un modèle de la cible ou de l’objet buccal, ou « modèle de référence », suivant une direction de projection orientée, par rapport au dit modèle, comme la direction de l’axe optique par rapport à la cible, ladite représentation de la cible étant virtuellement (c’est-à-dire de manière théorique) positionnée, par rapport au modèle de référence comme l’appareil d’acquisition par rapport à la cible, puis
- on détermine le taux de couverture en fonction de la surface du modèle de référence couverte par ladite projection et par des dites projections réalisées lors d’étape(s) b) antérieures(s) éventuelles ;
- à l’étape b),
- on soumet chaque image acquise
à un premier réseau de neurones entrainé pour détecter la représentation de la cible, ou des points remarquables de ladite cible, sur l’image, et
à un deuxième réseau de neurones entrainé pour reconnaitre, à partir de la représentation de la cible ou desdits points remarquables sur l’image, une zone correspondante d’une image de référence, puis
- on détermine le taux de couverture en fonction de la surface de l’image de référence couverte par ladite zone correspondante et par des dites zones correspondantes déterminées lors d’étape(s) b) antérieure(s) éventuelles ;
- l’appareil d’acquisition est
- un téléphone portable pourvu d’un écran, de préférence un téléphone portable de l’utilisateur ou
- un dispositif comportant
- un support équipé d’une caméra et maintenu en appui sur l’utilisateur pendant l’acquisition de l’ensemble d’images, de préférence en autorisant une ouverture et une fermeture de la bouche, de préférence introduit partiellement dans la bouche de l’utilisateur, de préférence en appui sur les gencives et/ou les dents, et
- un écran affichant la scène observée par la caméra, ledit écran étant intégré dans le support ou à distance du support ;
- à l’étape a), l'utilisateur visualise, en temps réel, sur un écran dudit téléphone portable, la scène réelle observée par le téléphone portable ou une scène théorique correspondante, une image étant de préférence acquise automatiquement lorsque le téléphone portable observe la cible dans des conditions d’acquisition prédéterminées, de préférence dans des conditions d’acquisition déterminées à une étape c) du cycle d’étapes a) à c) précédent ;
- à l’étape c), on présente à l’utilisateur, de préférence sur l’écran de l'appareil d'acquisition, un compteur ou une jauge, de préférence sous la forme d’une barre de progression, informant sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, et/ou
- lorsque le seuil de couverture est atteint, on présente à l'utilisateur, de préférence sur l’écran de l'appareil d'acquisition, un score calculé en fonction de la durée pour parvenir au seuil de couverture et/ou de la qualité des images acquises, et/ou de l’utilité des images acquises, et/ou on présente à l'utilisateur, de préférence sur l’écran de l'appareil d'acquisition, un classement déterminé en fonction dudit score.
Dans un premier mode de réalisation principal, les informations de guidage comportent un ensemble de symboles, positionnés, en réalité augmentée, en fonction des images respectives à acquérir. L’ensemble d’images à acquérir comprend une image pour chaque symbole. A l’étape a), l'utilisateur doit viser les symboles avec son téléphone portable et les atteindre, comme dans un jeu vidéo. Par exemple, chaque symbole peut être ancré, en réalité augmentée, sur une dent respective, la cible étant constituée par lesdites dents et/ou de tissus mous.
Les symboles peuvent être ancrés en fonction de conditions d’acquisition souhaitées, par exemple sur des dents non adjacentes, par exemple toutes les deux ou trois dents.
Une mire peut être représentée sur l’écran du téléphone portable de l'utilisateur. Quand la mire se superpose avec le symbole, ce dernier est atteint : une image est alors acquise, de préférence automatiquement, et le symbole est marqué, ou disparait. Le marquage ou la disparition des symboles fournit une information sur le taux de couverture. Il fournit également une information de guidage, l'utilisateur pouvant facilement repérer les symboles encore non atteints sur l’image de prévisualisation qui s’affiche sur l’écran du téléphone portable. Il peut disposer le téléphone portable en conséquence. Lorsque tous les symboles ont été atteints, l’ensemble d’images couvre toutes les dents et/ou tissus mous ciblé(e)s. Le niveau de couverture peut être par exemple le rapport du nombre de symboles atteints sur le nombre de symboles initial, c'est-à-dire avant le début de l’acquisition.
Dans une variante de ce premier mode de réalisation principal, les symboles sont ancrés et/ou conformés de manière à définir, en coopération avec la mire, des conditions d’acquisition prédéterminées, de préférence une distance de l’appareil d’acquisition par rapport à la cible et/ou une orientation de l’appareil d’acquisition autour de son axe optique et/ou une angulation dudit axe optique par rapport à la cible.
Dans un mode de réalisation, la mire optionnelle est conformée pour être superposée à plusieurs symboles simultanément, par exemple deux ou trois symboles. Par exemple, elle comporte une pluralité de mires élémentaires, par exemple de cercles, qui doivent être simultanément superposés à une pluralité de symboles respectifs. Avantageusement, cette superposition correspond à une angulation et une distance prédéterminées de l’appareil d’acquisition par rapport à la cible. De préférence, les symboles d’une dite pluralité de symboles présentent une apparence, par exemple une couleur, spécifique à la pluralité de symboles. Par exemple, l’utilisateur vise d’abord à placer les trois symboles verts dans les cercles de la mire, puis les trois symboles rouge, etc.
De manière équivalente, pour imposer une distance prédéterminée de l’appareil d’acquisition par rapport à la cible, la mire et un symbole peuvent présenter des dimensions compatibles, de sorte que, quand l'utilisateur superpose exactement la mire et le symbole, l’appareil d’acquisition et la cible sont à ladite distance.
Les symboles d’une pluralité de symboles et les mires élémentaires sont de préférence différents les uns des autres, par exemple portent des numéros différents. Par exemple, l'utilisateur vise à placer les trois symboles numérotés 1, 2 et 3 dans les cercles numérotés 1, 2 et 3 de la mire, respectivement. Avantageusement, si les mires élémentaires ne sont pas alignées, cette superposition peut ainsi imposer une orientation prédéterminée de l’appareil d’acquisition autour de son axe optique.
De manière équivalente, pour imposer une orientation, la mire et un symbole peuvent présenter une forme qui n’est pas de révolution, par exemple une forme rectangulaire, de préférence une forme sans symétrie, de sorte que l'utilisateur ne puisse superposer, avec la même orientation, la mire et le symbole que si l’appareil d’acquisition est orienté suivant une ou plusieurs orientations prédéterminées autour de l’axe optique.
Notamment lorsque les symboles sont utilisés pour imposer une angulation, une distance ou une orientation de l’appareil d’acquisition, ils ne sont pas nécessairement associés à des dents particulières, et en particulier à des dents devant être couvertes.
Dans un deuxième mode de réalisation principal, une vue d’un modèle tridimensionnel de la cible, par exemple d’un ensemble de dents, est affichée sur l’écran du téléphone portable. Dans un mode de réalisation, l'utilisateur peut modifier cette vue, c'est-à-dire modifier le point d’observation du modèle, en utilisant un logiciel conventionnel de manipulation de modèles. Dans un mode de réalisation préféré, la vue est modifiée en fonction des conditions d’observation de la cible par le téléphone portable, de préférence suivant les principes de la réalité augmentée. Le modèle peut alors être affiché, éventuellement en transparence, en superposition sur l’image de prévisualisation, ou remplacer cette image de prévisualisation. Quand une image de prévisualisation couvre la cible, une image est acquise, de préférence automatiquement. La surface de la cible représentée sur l’image acquise est marquée sur le modèle, de préférence colorée, par exemple en vert. La surface de la cible encore à couvrir est représentée différemment, par exemple colorée en rouge. L'utilisateur peut ainsi immédiatement visualiser le taux de couverture, par exemple le rapport entre la surface verte et la surface totale rouge et verte. La surface non marquée le guide vers des conditions d’acquisition permettant d’augmenter le taux de couverture.
Dans une variante du deuxième mode de réalisation principal, la vue du modèle de référence est remplacée par une image de référence, par exemple une photo, par exemple une photo panoramique.
De préférence, un procédé selon l’invention est mis en œuvre pour acquérir
- au moins une image prise face à l'utilisateur et/ou au moins une image prise à droite de l'utilisateur et/ou au moins une image prise à gauche de l'utilisateur, de préférence au moins une image prise face à l'utilisateur et au moins une image prise à droite de l'utilisateur et au moins une image prise à gauche de l'utilisateur; et/ou
- au moins une image prise face à l'utilisateur d’une part et au moins une image prise de haut par rapport à l'utilisateur et/ou au moins une image prise de bas par rapport à l'utilisateur, d’autre part ; de préférence au moins une image prise face à l'utilisateur et au moins une image prise de haut par rapport à l'utilisateur et au moins une image prise de bas par rapport à l'utilisateur ; et/ou
- au moins une image prise bouche ouverte et/ou au moins une image prise bouche fermée.
- au moins une image prise face à l'utilisateur et/ou au moins une image prise à droite de l'utilisateur et/ou au moins une image prise à gauche de l'utilisateur, de préférence au moins une image prise face à l'utilisateur et au moins une image prise à droite de l'utilisateur et au moins une image prise à gauche de l'utilisateur; et/ou
- au moins une image prise face à l'utilisateur d’une part et au moins une image prise de haut par rapport à l'utilisateur et/ou au moins une image prise de bas par rapport à l'utilisateur, d’autre part ; de préférence au moins une image prise face à l'utilisateur et au moins une image prise de haut par rapport à l'utilisateur et au moins une image prise de bas par rapport à l'utilisateur ; et/ou
- au moins une image prise bouche ouverte et/ou au moins une image prise bouche fermée.
L’invention concerne également un dispositif pour la mise en œuvre d’un procédé l’invention, comportant :
- un appareil d’acquisition d’images, un ordinateur équipé de caméra, en particulier un téléphone portable ou une tablette, de préférence un téléphone portable, ou un miroir équipé de caméra pour l’acquisition de l’ensemble d’images, en particulier pour la mise en œuvre de l’étape a) ;
- un ordinateur, qui peut être l'appareil d'acquisition, de préférence intégré dans le téléphone portable ou en communication avec le téléphone portable, comportant un programme d’ordinateur comprenant des instructions de code de programme pour,
selon le premier aspect principal de l’invention, présenter en réalité augmentée les symboles tridimensionnels apportant une information de guidage, et/ou
selon le deuxième aspect principal de l’invention
- la mise à jour du niveau de couverture à l'étape b),
- la comparaison du niveau de couverture avec le seuil de couverture, et
- si le niveau de couverture est inférieur au seuil de couverture, la détermination de l’information de guidage et la présentation à l'utilisateur de l’information de guidage et, de préférence, de l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, à l’étape c) ;
- de préférence, un écran pour la présentation de l’information de guidage et, selon le deuxième aspect principal de l’invention, de l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, de préférence un écran de l’ordinateur.
- un appareil d’acquisition d’images, un ordinateur équipé de caméra, en particulier un téléphone portable ou une tablette, de préférence un téléphone portable, ou un miroir équipé de caméra pour l’acquisition de l’ensemble d’images, en particulier pour la mise en œuvre de l’étape a) ;
- un ordinateur, qui peut être l'appareil d'acquisition, de préférence intégré dans le téléphone portable ou en communication avec le téléphone portable, comportant un programme d’ordinateur comprenant des instructions de code de programme pour,
selon le premier aspect principal de l’invention, présenter en réalité augmentée les symboles tridimensionnels apportant une information de guidage, et/ou
selon le deuxième aspect principal de l’invention
- la mise à jour du niveau de couverture à l'étape b),
- la comparaison du niveau de couverture avec le seuil de couverture, et
- si le niveau de couverture est inférieur au seuil de couverture, la détermination de l’information de guidage et la présentation à l'utilisateur de l’information de guidage et, de préférence, de l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, à l’étape c) ;
- de préférence, un écran pour la présentation de l’information de guidage et, selon le deuxième aspect principal de l’invention, de l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, de préférence un écran de l’ordinateur.
Dans un mode de réalisation préféré, le programme d’ordinateur est exécuté par l’appareil d’acquisition d’images, le programme d’ordinateur pouvant être intégré dans un logiciel spécialisé, en particulier un logiciel spécialisé pour téléphone portable ou tablette.
L’écran peut être intégré dans l’appareil d’acquisition d’images. De préférence, l’écran est l’écran d’un téléphone portable ou d’une tablette.
De préférence, l’écran et le programme d’ordinateur sont intégrés dans l’appareil d’acquisition d’images.
L’utilisateur peut alors facilement, sans intervention d’un tiers, et en particulier sans intervention d’un professionnel de soins dentaires, au moyen d’un simple téléphone portable ou d’une tablette, acquérir des images de la cible de bonne qualité et couvrant ensemble toute la cible.
Le dispositif peut encore comporter des moyens de communication, notamment permettant d’envoyer la ou les images acquises et/ou de recevoir un modèle ou une image de référence.
Bien entendu, dans la mesure où elles ne sont pas techniquement incompatibles, les caractéristiques nécessaires ou optionnelles des différents aspects principaux de l’invention peuvent être combinées.
Un « utilisateur » est une personne pour laquelle un procédé selon l’invention est mis en œuvre.
Par « professionnel de soins dentaires », on entend toute personne qualifiée pour prodiguer des soins dentaires, ce qui inclut un orthodontiste et un dentiste.
Par « arcade » ou « arcade dentaire », on entend tout ou partie d’une arcade dentaire, comportant de préférence au moins 2, de préférence au moins 3, de préférence au moins 4 dents. Selon la convention internationale de la Fédération Dentaire Internationale, chaque dent d’une arcade dentaire a un numéro prédéterminé.
Les « tissus mous » sont les parties de la bouche couvertes de peau, comme les gencives, le palais ou la langue, à la différence des dents ou d’un appareil orthodontique.
Un tissu mou est un tissu de soutien extra-squelettique, comme le tissu adipeux, les tendons, les ligaments, les fascias, la peau… (tissus conjonctifs mous) et les tissus musculaires, vasculaire et les nerfs (tissus non conjonctifs).
Un « écarteur » (« retractor » en anglais), ou « écarteur dentaire », est un dispositif destiné à retrousser les lèvres ou de façon plus générale à écarter les lèvres des dents. Il comporte de préférence un rebord supérieur et un rebord inférieur, et/ou un rebord droit et un rebord gauche, s’étendant autour d’une ouverture d’écarteur et destinés à être introduits entre les dents et les lèvres. En position de service, les lèvres de l’utilisateur sont en appui sur ces rebords, de sorte que les dents sont visibles à travers l’ouverture d’écarteur. Un écarteur permet ainsi d’observer les dents sans être gêné par les lèvres. Les dents ne reposent cependant pas sur l’écarteur, de sorte que l’utilisateur peut, en tournant la tête par rapport à l’écarteur, modifier les dents qui sont visibles à travers l’ouverture d’écarteur. Il peut aussi modifier l’écartement entre ses arcades dentaires. En particulier, un écarteur n’appuie pas sur les dents de manière à écarter les deux mâchoires l’une de l’autre, mais sur les lèvres. Dans un mode de réalisation, un écarteur est configuré de manière à écarter élastiquement l’une de l’autre les lèvres supérieure et inférieure de manière à dégager les dents visibles à travers l’ouverture d’écarteur. Dans un mode de réalisation, un écarteur est configuré de manière que la distance entre le rebord supérieur et le rebord inférieur, et/ou entre le rebord droit et le rebord gauche soit constante. Des écarteurs sont par exemple décrits dans PCT/EP2015/074896, US 6,923,761, ou US 2004/0209225.
Par « ordinateur », on désigne une unité de traitement informatique, ce qui inclut un ensemble de plusieurs machines, ayant des capacités de traitement informatique. Cette unité peut être notamment intégrée dans un téléphone portable, en particulier le téléphone portable de l'utilisateur, ou être un ordinateur de type PC ou un serveur, par exemple un serveur à distance de l’utilisateur, par exemple être le « cloud » ou un ordinateur disposé chez un professionnel des soins dentaires. Le téléphone portable et l’ordinateur comportent alors des moyens de communication pour échanger entre eux.
Classiquement, un ordinateur comporte en particulier un processeur, une mémoire, une interface homme-machine, comportant classiquement un écran, un module de communication par internet, par WIFI, par Bluetooth® ou par le réseau téléphonique. Un logiciel configuré pour mettre en œuvre un procédé de l’invention est chargé dans la mémoire de l’ordinateur. L’ordinateur peut être également connecté à une imprimante.
Le procédé selon l’invention (hors l’opération d’acquisition, réalisée par l’appareil d’acquisition d’images, et l’opération de déplacement de l’appareil d’acquisition d’images, réalisée par l'utilisateur) est mis en œuvre par ordinateur, de préférence exclusivement par ordinateur.
Une « scène réelle » est constituée par un ensemble d’éléments observés simultanément par l'appareil d'acquisition. La vue de la scène réelle observée par l'appareil d'acquisition est classiquement affichée sur un écran de l'appareil d'acquisition, sous la forme d’une « image de prévisualisation » qui s’actualise en permanence, en temps réel, à la manière d’un film.
L’image de prévisualisation peut être remplacée ou complétée par une image équivalente représentant, de manière symbolique ou réaliste, une scène théorique représentant tout ou partie des éléments de la scène réelle, dans le même agencement que dans la scène réelle, c'est-à-dire d’une manière que les éléments représentés soient disposés, les uns par rapport aux autres, comme dans la scène réelle. L’image équivalente est une vue de la scène théorique dans des conditions d’observation identiques à celles utilisées par l'appareil d'acquisition pour observer la scène réelle et obtenir l’image de prévisualisation. Les contours de représentations d’éléments physiques sur l’image équivalente sont donc superposables aux contours desdits éléments physiques sur l’image de prévisualisation. L’image équivalente est choisie pour présenter une concordance maximale avec l’image de prévisualisation.
L’image de prévisualisation est de préférence affichée sur l’écran de l'appareil d'acquisition, mais, dans un mode de réalisation, l’image équivalente remplace l’image de prévisualisation sur l’écran. Cependant, l’acquisition d’une image avec l'appareil d'acquisition à un instant consiste à enregistrer l’image de prévisualisation lorsqu’elle est affichée ou telle qu’elle aurait été affichée lorsqu’elle est remplacée par une image équivalente.
La réalité augmentée est une forme de communication par laquelle des éléments visuels sont ajoutés à une image représentant, de manière réaliste ou symbolique, une scène. Les éléments visuels peuvent être en particulier ajoutés à une image de prévisualisation représentant la scène réelle observée par l'appareil d'acquisition ou à une image équivalente.
Un symbole est « ancré », en réalité augmentée, lorsqu’il apparaît comme fixé dans la scène réelle ou théorique lorsque l'appareil d'acquisition se déplace par rapport à la scène réelle (et donc modifie l’image qui est affichée par l'appareil d'acquisition).
Un symbole qui apparaît en réalité augmentée peut être un point, être bidimensionnel, c'est-à-dire s’étendre dans un plan dans l’espace de l’objet buccal, ou de préférence, être tridimensionnel, c'est-à-dire s’étendre, de manière virtuelle, dans les trois dimensions de l’espace de l’objet buccal. La façon dont le symbole bidimensionnel ou tridimensionnel est représenté dépend des conditions dans lesquelles il est virtuellement observé. Par exemple sa taille dépend de la distance d’observation. De préférence, le symbole n’est pas sphérique de sorte que sa représentation fournit également des informations sur l’angulation et/ou l’orientation de l'appareil d'acquisition autour de son axe optique. Un symbole fournissant une information de guidage est de préférence représenté sur l’image de prévisualisation ou sur une image équivalente.
Par « modèle », on entend un modèle tridimensionnel numérique. Un modèle est constitué d’un ensemble de voxels.
Un « modèle de dent » est un modèle numérique tridimensionnel d’une dent. Un modèle d’une arcade dentaire peut être découpé de manière à définir, pour au moins une partie des dents, de préférence pour toutes les dents représentées dans le modèle de l’arcade, des modèles de dent. Les modèles de dent sont donc des modèles au sein du modèle de l’arcade.
Par "image", on entend une image en deux dimensions, comme une photographie ou une image extraite d’un film. Une image est formée de pixels. Un « film » est considéré comme un ensemble de photos. Le nombre de pixels d’une image est de préférence supérieur à 100, 1 000, 10 000 ou 100 000 ou 1 000 000, et/ou inférieur à 1 000 000 000.
Une image représente une scène, de manière réaliste ou non.
En particulier, un image peut représenter un masque déformé, résultant de la projection, de préférence par l'appareil d'acquisition, d’un masque d’origine. Le masque d’origine peut être par exemple une grille ou un ensemble de plots, classiquement distribués régulièrement. La projection peut être en lumière visible ou non, de préférence en lumière infra-rouge. La déformation d’une partie du masque d’origine, par exemple d’un plot, résultant de sa projection porte une information sur la distance entre la zone de la scène sur laquelle cette partie du masque d’origine a été projetée et l’appareil d’acquisition de l’image. Elle peut également fournir une information sur l’orientation de ladite zone dans l’espace. Les images utilisées par le logiciel Face ID d’Apple sont des exemples de telles images, aussi appelées « images 3D ».
Une image acquise suivant un procédé selon l’invention est de préférence une photo, éventuellement extraite d’un film, représentant de manière réaliste la scène observée, c'est-à-dire comme l’œil humain la perçoit. Elle peut représenter un masque déformé, notamment superposé à une image représentant la scène de manière réaliste. Elle peut ne représenter qu’un masque déformé. La projection du masque d’origine étant réalisée sur la scène réelle observée par l’appareil d’acquisition, l’image représentant le masque déformé est aussi considérée comme une image équivalente à l’image de prévisualisation.
On appelle « concordance » ou « proximité » (« match » ou « fit » en anglais) entre deux objets, par exemple entre les représentations d’une arcade dentaire sur deux images, une mesure de la différence, ou « distance », entre ces deux objets. Une concordance est maximale (« best fit ») lorsque cette différence est minimale, en particulier lorsque les deux images représentent sensiblement les mêmes éléments de la même façon, c'est-à-dire de manière que les représentations des éléments sur ces deux images soient sensiblement superposables en registre.
Les « conditions d’acquisition » d’une image précisent la position et/ou l’orientation dans l’espace d’un appareil d’acquisition d’images de cette image relativement à la cible et de préférence la calibration de cet appareil d’acquisition d’images (en particulier l’ouverture de diaphragme, le temps d’exposition, la distance focale et la sensibilité). Un symbole peut indiquer des conditions d’acquisition adaptées à une unique position et à une unique orientation de l’appareil d’acquisition. Un symbole peut alternativement indiquer des conditions d’acquisition correspondant à plusieurs positions et/ou à plusieurs orientations de l'appareil d'acquisition, pour guider vers plusieurs images potentielles. Par exemple, il peut guider vers un axe d’observation prédéterminé sans guider vers une position particulière le long de cet axe, laissant ainsi libre l'utilisateur d’acquérir une ou plusieurs images le long de cet axe à des positions diverses le long de cet axe, comme dans le mode de réalisation de la par exemple. Il peut aussi guider vers une position prédéterminée dans l’espace, sans guider vers une orientation particulière de l'appareil d'acquisition autour de son axe optique, comme dans le mode de réalisation de la par exemple.
L’appareil d’acquisition d’images comporte une caméra pour acquérir des images, par exemple des photos ou un film. Lorsqu’il est fait référence à une observation d’une scène par l’appareil d’acquisition, il est fait référence à une observation de la scène par la caméra de l’appareil d’acquisition. Lorsqu’il est fait référence à un axe optique de l’appareil d’acquisition, il est fait référence à l’axe optique de la caméra de l’appareil d’acquisition, etc.
Une « angulation » est une orientation de l’axe optique de l'appareil d'acquisition par rapport à la cible.
Un angle entre deux droites est un angle formé entre deux plans perpendiculaires à ces deux droites, respectivement.
Il faut interpréter "comprenant " ou "comportant " ou "présentant " de manière non restrictive, sauf indication contraire.
D'autres caractéristiques et avantages de l'invention apparaîtront encore à la lecture de la description détaillée qui va suivre et à l'examen du dessin annexé dans lequel :
la représente schématiquement les étapes d’un cycle d’un procédé selon le deuxième aspect principal de l’invention ;
la représente un exemple de dispositif selon l’invention ;
la représente un exemple de mise en œuvre d’un procédé selon le deuxième aspect principal de l’invention, dans le premier mode de réalisation principal ;
la représente un exemple de mise en œuvre d’un procédé selon le premier aspect principal de l’invention et selon le deuxième aspect principal de l’invention, dans le deuxième mode de réalisation principal ;
[ ] la représente un autre exemple de mise en œuvre d’un procédé selon le premier aspect principal de l’invention et selon le deuxième aspect principal de l’invention, dans le deuxième mode de réalisation principal ;
la représente un symbole de la tel que présenté à l’utilisateur lorsque les conditions d’acquisition prédéterminées associées au symbole sont atteintes ;
la représente un autre exemple de mise en œuvre d’un procédé selon le premier aspect principal de l’invention et selon le deuxième aspect principal de l’invention, dans le deuxième mode de réalisation principal ;
la représente schématiquement un symbole tridimensionnel observé suivant son axe ;
la représente schématiquement les étapes d’un cycle d’un procédé selon le premier aspect principal de l’invention ;
la représente deux exemples d’images équivalentes à une image de prévisualisation.
[
Un procédé d’acquisition selon l’invention, illustrée sur la , est par exemple mis en œuvre au moyen du dispositif 1 illustré sur la .
Le dispositif 1 comporte
- un appareil d’acquisition d’images 10 pourvu d’un écran 12 et dans lequel est chargé un programme d’ordinateur, et
- un ordinateur 14 pourvu d’un écran 18.
- un appareil d’acquisition d’images 10 pourvu d’un écran 12 et dans lequel est chargé un programme d’ordinateur, et
- un ordinateur 14 pourvu d’un écran 18.
L’ordinateur 14 peut être distinct de l’appareil d’acquisition ou, de préférence, être intégré dans l’appareil d’acquisition.
L’ordinateur 14 peut comporter en outre des moyens de communication digitale permettant l’échange de données 20, notamment avec l’appareil d’acquisition d’images 10, voire avec une base de données 22.
La base de données 22 peut être aussi intégrée, partiellement ou totalement, dans l’appareil d’acquisition ou dans l’ordinateur. Elle peut notamment contenir les images acquises, le modèle de référence ou l’image de référence, la définition de la cible et de l’objet buccal, voire un modèle final généré à partir des images acquises. Elle peut aussi contenir les informations relatives aux conditions d’acquisition prédéterminées associées à chaque symbole.
Dans un mode de réalisation préféré de l’invention, l’appareil d’acquisition d’images 10 est un téléphone portable ou une tablette. L’écran 12 de l’appareil d’acquisition est configuré de manière à présenter l’information de guidage, et de préférence l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture. Alternativement, ou en complément, ces informations peuvent être présentées sur l’écran 18 de l’ordinateur.
L’appareil d’acquisition d’images peut être également un miroir équipé d’une caméra.
Le dispositif 1 est utilisé pour la mise en œuvre d’un procédé selon l’invention :
La cible présente une « surface à couvrir initiale » prédéterminée, c’est-à-dire une surface que la mise en œuvre du procédé a pour objet de couvrir.
La « surface couverte » est la partie de la surface à couvrir initiale qui, à un instant au cours du procédé, a déjà été couverte, c’est-à-dire représentée sur au moins une image acquise. La « surface encore à couvrir » est la partie de la surface à couvrir initiale qui, à un instant au cours du procédé, n’a été représentée sur aucune image acquise.
La surface d’une cible peut inclure des surfaces élémentaires de plusieurs organes identifiables respectifs, par exemple de plusieurs dents. Un organe peut être qualifié de « couvert » ou de « encore à couvrir » selon que toute sa surface élémentaire est couverte ou non.
L’objet buccal peut comprendre, ou être constitué de la langue et/ou du palais et/ou d’une ou deux gencives et/ou d’une ou de deux arcades dentaires, et/ou d’une ou plusieurs dents. De préférence l’objet buccal est une arcade dentaire.
L’objet buccal peut être également un appareil orthodontique, par exemple un appareil multi-attaches, en vestibulaire ou en lingual, une gouttière orthodontique, de préférence invisible, un auxiliaire, par exemple un taquet, un bouton ou une vis, un appareillage d’éducation fonctionnel, par exemple pour modifier le positionnement de la langue ou traiter l’apnée du sommeil.
Une cible peut être l’objet buccal. Elle peut être aussi une région d’intérêt de l’objet buccal, en particulier une région ayant été identifiée comme une région à risque ou une région suivie, par exemple dans le cadre d’un traitement orthodontique ou d’un suivi parodontique, une région ayant été mal scannée, par exemple lors d’un rendez-vous précédent chez un professionnel de soins dentaires, ou une région ayant évolué.
Dans un mode de réalisation préféré, l’objet buccal est une arcade dentaire et la cible est constituée par une ou de préférence plusieurs dents de ladite arcade dentaire.
La cible est identifiée avant la mise en œuvre du procédé et l’ordinateur en est informé. Par exemple, on informe l’ordinateur qu’il faut acquérir un ensemble d’images couvrant les dents 10 à 14, ou on lui fournit une image ou un modèle d’arcade dentaire sur lequel la représentation de la cible a été identifiée.
L’image ou le modèle utilisés pour identifier la cible peuvent être génériques, c’est-à-dire être utilisables pour plusieurs utilisateurs. Ils peuvent être sélectionnés dans une base de données, la base de données étant accessible via des moyens de communication digitale. Un modèle générique peut être un typodont. De préférence, le modèle générique ou l’image générique sont choisis de sorte qu’ils représentent une cible présentant une forme proche de la cible de l’utilisateur, ce qui améliore la précision du procédé. Si la cible appartient à une arcade dentaire, le modèle peut être généré par la mise en œuvre d’un procédé agençant des modèles de dent, par exemple tel que décrit dans la demande européenne n° 18 184486.
Le modèle ou l’image utilisés pour identifier la cible sont de préférence un modèle ou une image représentant la cible de l’utilisateur, acquis antérieurement à la mise en œuvre du procédé.
Chaque zone de la cible qui est représentée sur une image acquise est dite « couverte » par cette image. L’union des zones représentées sur au moins une image acquise est la « surface couverte ».
L’ensemble d’images est considéré comme suffisant pour couvrir une cible déterminée lorsque le niveau de couverture par les images acquises atteint un seuil de couverture.
Le seuil de couverture définit ainsi, directement ou indirectement, un pourcentage de la surface à couvrir initiale qui est considéré comme suffisant pour qu’il puisse être mis fin à l’acquisition, c’est-à-dire pour que l’on puisse considérer que l’acquisition est achevée.
Un seuil de couverture de 100% impose par exemple que toute la surface de la cible soit représentée sur au moins une image acquise.
Le seuil de couverture peut être déterminé pour que l’ensemble d’images suffise pour visualiser la cible selon des angles prédéterminés, notamment selon un angle quelconque.
Le seuil de couverture est de préférence prédéterminé, avant la première étape a).
Le seuil de couverture peut être supérieur à 50%, à 70%, à 80%, à 90%, à 95% de la surface de la cible. De préférence, le seuil de couverture est supérieur à 95%.
Le niveau de couverture est une mesure de l’avancement de l’acquisition par rapport au seuil de couverture. Avant l’acquisition d’une première image, le niveau de couverture est donc nul. Le niveau d’avancement augmente progressivement au fur et à mesure des cycles d’étapes a) à c).
Le niveau de couverture peut être par exemple le rapport de la surface couverte sur la surface à couvrir initiale. Si 30% de la surface à couvrir initiale est couvert, le niveau de couverture est ainsi de 30%.
Le niveau de couverture peut être aussi, par exemple, le rapport de la surface couverte sur la surface encore à couvrir, constituée par l’ensemble des zones de la cible qui ne sont représentées sur aucune image acquise. Si 30% de la surface à couvrir initiale est couvert, le niveau de couverture est ainsi de 30%/70%.
Si l’objet buccal comporte un ensemble de dents, le niveau de couverture peut être encore le rapport du nombre de dents couvertes sur le nombre de dents dudit ensemble. Une dent peut être considérée comme couverte par exemple si au moins 90% de la surface extérieure ou occlusale ou vestibulaire de la dent est représentée sur les images acquises, mieux si au moins 95% de ladite surface de la dent est représentée sur les images acquises, encore mieux si toute ladite surface de la dent est représentée sur les images acquises.
Une dent peut être alternativement considérée comme couverte lorsqu’un ou plusieurs points remarquables de cette dent sont représentés sur au moins une image acquise.
Dans le mode de réalisation décrit ci-dessus, on a considéré que l’objectif était de couvrir une surface de la cible.
Par extension, dans un mode de réalisation, l’objectif est d’acquérir un ensemble d’images dans des conditions d’acquisition respectives définies par des symboles, de préférence multidimensionnels, respectifs. L’ensemble de symboles définissant chacun des conditions d’acquisition pour une ou plusieurs images respectives peut être alors assimilé, au début de la mise en œuvre d’un procédé selon l’invention, à une « surface à couvrir initiale ». L’ensemble des symboles définissant, à un instant, des conditions d’acquisition dans lesquelles une image a déjà été acquise peut être assimilé à une « surface couverte », le nombre de ces symboles définissant un « niveau de couverture », le « seuil de couverture » pouvant être un nombre minimal pour ces symboles. Enfin, l’ensemble des symboles définissant des conditions d’acquisition dans lesquelles une image reste à acquérir peut être assimilé à une « surface encore à couvrir ».
Par extension également, dans un mode de réalisation, l’objectif est d’acquérir un ensemble d’images représentant partiellement la cible, par exemple représentant, pour chaque dent de la cible, des points remarquables comme les points mésiaux-distaux, les cuspides, le bord libre, les points du collet, ou le barycentre d’une face de la dent. L’ensemble des points remarquables de la cible peut être alors assimilé, au début de la mise en œuvre d’un procédé selon l’invention, à une « surface à couvrir initiale ». L’ensemble des points remarquables de la cible déjà représentés sur une image acquise peut être assimilé à une « surface couverte », le nombre de ces points définissant un « niveau de couverture », le « seuil de couverture » pouvant être un nombre minimal pour ces points. Enfin, l’ensemble des points remarquables encore non représentés sur une image déjà acquise peut être assimilé à une « surface encore à couvrir ».
Un objectif du procédé est de guider l’utilisateur lors de l’acquisition des images pour que l’ensemble des images acquises comporte le moins d’images possible, c’est-à-dire que l’acquisition soit efficace, mais suffisamment d’images pour que le seuil de couverture soit atteint.
Le premier aspect principal de l’invention vise à guider l’acquisition au moyen de symboles multidimensionnels. Le deuxième aspect principal de l’invention vise à guider l’acquisition en informant l’utilisateur sur le niveau d’avancement de cette acquisition.
A l’étape 1)d’un procédé selon le premier aspect principal de l’invention, illustré sur la , des symboles multidimensionnels, c'est-à-dire bidimensionnels ou tridimensionnels, de préférence tridimensionnels, sont disposés, c'est-à-dire « ancrés », et présentés à l'utilisateur, en réalité augmentée, dans l’espace de l’objet buccal, la forme et/ou la position d’un symbole étant déterminée(s) de manière à indiquer à l'utilisateur tout ou partie de conditions d’acquisition adaptées pour l’acquisition d’une dite image.
Bien entendu, l'utilisateur doit être capable d’interpréter un symbole. L’information associée à un symbole peut être explicite, par exemple lorsqu’il a la forme d’une flèche. Aucune formation n’est alors nécessaire. A défaut, l'utilisateur peut être formé afin de lui fournir la « règle du jeu », c'est-à-dire la façon dont on attend qu’il traite les symboles.
Un symbole bidimensionnel ou tridimensionnel qui apparaît en réalité augmentée s’étend, de manière virtuelle, c'est-à-dire sans avoir d’existence physique, dans la scène réelle observée par l'appareil d'acquisition, ou dans une scène virtuelle équivalente, en particulier un modèle d’au moins une partie de la scène réelle. Il s’étend dans un plan ou définit un volume, respectivement.
Une représentation dans une scène virtuelle équivalente permet avantageusement de mieux faire apparaître les symboles, comme illustré par exemple sur la .
L’écran affiche l’image de prévisualisation représentant la scène réelle observée par l’appareil d'acquisition et/ou une image équivalente, en particulier une vue dudit modèle qui correspond à l’observation de la scène réelle par l'appareil d'acquisition. Il affiche également les symboles comme s’ils avaient une existence physique, réelle, et étaient présents dans la scène réelle.
A chaque symbole est/sont associée(s) une ou plusieurs conditions d’acquisition pour une image respective, en particulier
- un axe d’observation prédéterminé de la cible ou une plage d’axes d’observation prédéterminée, et/ou
- une distance prédéterminée entre la cible et l'appareil d'acquisition, ou une plage de dites distances prédéterminée, et/ou
- une orientation prédéterminée de l’appareil d’acquisition autour de son axe optique, ou une plage de dites orientations prédéterminée.
- un axe d’observation prédéterminé de la cible ou une plage d’axes d’observation prédéterminée, et/ou
- une distance prédéterminée entre la cible et l'appareil d'acquisition, ou une plage de dites distances prédéterminée, et/ou
- une orientation prédéterminée de l’appareil d’acquisition autour de son axe optique, ou une plage de dites orientations prédéterminée.
L’ordinateur connaît les conditions d’observations prédéterminées associées à chaque symbole.
Le nombre de symboles est adapté au nombre d’images de l’ensemble d’images souhaité. Il est de préférence supérieur à 2, à 5, à 10 ou à 100 et/ou inférieur à 1 000.
Un symbole, de préférence chaque symbole, est de préférence représenté sur l’image de prévisualisation ou sur l’image équivalente, mise à jour en temps réel lorsque l'utilisateur déplace l'appareil d'acquisition.
Un symbole, de préférence chaque symbole, est de préférence représenté, en réalité augmentée, sur un écran de l'appareil d'acquisition ou en communication avec l'appareil d'acquisition, de préférence sur un écran d’un téléphone portable utilisé pour acquérir les images.
Un symbole, de préférence chaque symbole, est de préférence ancré et/ou conformé de manière que la modification de sa représentation sur ledit écran résultant d’un déplacement de l'appareil d'acquisition, informe l'utilisateur du fait que ledit déplacement écarte ou rapproche de conditions d’acquisition prédéterminées associées audit symbole.
Les conditions d’acquisition prédéterminées définissent un axe d’observation de la cible par l'appareil d'acquisition, c'est-à-dire un axe d’observation prédéterminé, et/ou une distance prédéterminée de l'appareil d'acquisition par rapport à la cible, de préférence suivant l’axe d’observation, et/ou une orientation prédéterminée de l'appareil d'acquisition autour de son axe optique, et
ladite modification de la représentation du symbole sur ledit écran informe de préférence l'utilisateur du fait que ledit déplacement
- réduit ou augmente la différence de l’angle entre l’axe optique de l'appareil d'acquisition et l’axe d’observation prédéterminé, c'est-à-dire améliore ou dégrade l’angulation de l'appareil d'acquisition ; et/ou
- réduit ou augmente la différence entre la distance entre l'appareil d'acquisition et la cible et la distance prédéterminée ; et/ou
- réduit ou augmente la différence entre l’orientation de l'appareil d'acquisition autour de son axe optique et l’orientation prédéterminée ;
de préférence réduit ou augmente chacune des trois différences susmentionnées.
ladite modification de la représentation du symbole sur ledit écran informe de préférence l'utilisateur du fait que ledit déplacement
- réduit ou augmente la différence de l’angle entre l’axe optique de l'appareil d'acquisition et l’axe d’observation prédéterminé, c'est-à-dire améliore ou dégrade l’angulation de l'appareil d'acquisition ; et/ou
- réduit ou augmente la différence entre la distance entre l'appareil d'acquisition et la cible et la distance prédéterminée ; et/ou
- réduit ou augmente la différence entre l’orientation de l'appareil d'acquisition autour de son axe optique et l’orientation prédéterminée ;
de préférence réduit ou augmente chacune des trois différences susmentionnées.
Les principes de la réalité augmentée sont bien connus. La détermination d’une dite angulation et/ou d’une dite distance et/ou d’une dite différence d’orientation ne pose pas de difficulté particulière à l’homme du métier.
De préférence, un symbole multidimensionnel, de préférence chaque symbole multidimensionnel, présente une forme définissant une direction principale, ou « axe de symbole », identifiable par l'utilisateur, par exemple un axe de révolution, et indiquant un dit axe d’observation prédéterminé associé au dit symbole.
Un symbole multidimensionnel, de préférence chaque symbole multidimensionnel, comporte, lorsque l'axe optique de l'appareil d'acquisition est confondu avec ladite direction principale, une dimension qui, sur la représentation du symbole sur l’écran, est variable en fonction de la position de l’appareil d’acquisition le long de l’axe optique, c’est-à-dire en fonction de la distance entre l’appareil d’acquisition et ledit symbole.
Ladite dimension est évaluable par observation de l’écran par l’utilisateur, et l’utilisateur connaît une valeur de ladite dimension définissant la position de l’appareil d’acquisition à la distance prédéterminée associée au dit symbole.
Par exemple, le symbole multidimensionnel présente la forme d’une superposition d’anneaux, de préférence de différents diamètres,
- l’orientation prédéterminée étant obtenue lorsque les centres des anneaux sont alignés suivant l’axe optique de l'appareil d'acquisition, c'est-à-dire que lesdits centres apparaissent sur l’écran comme confondus, et/ou
- la distance prédéterminée étant obtenue lorsque les centres des anneaux sont alignés suivant l’axe optique et que l’écartement entre lesdits anneaux tels qu’ils apparaissent sur l’écran, de préférence sur la représentation du symbole dans l’image de prévisualisation ou l’image équivalente, a une valeur prédéterminée, par exemple quand un premier anneau apparait adjacent à un deuxième anneau, c'est-à-dire quand le contour intérieur du premier anneau est en contact avec le contour extérieur du deuxième anneau.
- l’orientation prédéterminée étant obtenue lorsque les centres des anneaux sont alignés suivant l’axe optique de l'appareil d'acquisition, c'est-à-dire que lesdits centres apparaissent sur l’écran comme confondus, et/ou
- la distance prédéterminée étant obtenue lorsque les centres des anneaux sont alignés suivant l’axe optique et que l’écartement entre lesdits anneaux tels qu’ils apparaissent sur l’écran, de préférence sur la représentation du symbole dans l’image de prévisualisation ou l’image équivalente, a une valeur prédéterminée, par exemple quand un premier anneau apparait adjacent à un deuxième anneau, c'est-à-dire quand le contour intérieur du premier anneau est en contact avec le contour extérieur du deuxième anneau.
A l’étape 2 ), une image est acquise quand la ou les conditions d’acquisition prédéterminées associées à un symbole est/sont remplies.
L’acquisition peut en particulier être réalisée suivant une étape a) telle que décrite ci-dessous. L’image peut être du type des images décrites ci-dessous pour l’étape a).
L’image est ensuite analysée afin de déterminer les conditions d’acquisition.
Dans un mode de réalisation, on soumet chaque image acquise
à un premier réseau de neurones entrainé pour détecter la représentation de la cible, et/ou des points remarquables de ladite cible, sur l’image, et
à un deuxième réseau de neurones entrainé pour reconnaitre, à partir de la représentation de la cible ou desdits points remarquables sur l’image, lesdites conditions d’acquisition, et en particulier l’angulation et/ou la distance de l'appareil d'acquisition par rapport à la cible.
à un premier réseau de neurones entrainé pour détecter la représentation de la cible, et/ou des points remarquables de ladite cible, sur l’image, et
à un deuxième réseau de neurones entrainé pour reconnaitre, à partir de la représentation de la cible ou desdits points remarquables sur l’image, lesdites conditions d’acquisition, et en particulier l’angulation et/ou la distance de l'appareil d'acquisition par rapport à la cible.
Le premier réseau de neurones peut être en particulier choisi parmi les Object Detection Networks, et en particulier parmi les réseaux de neurones listés ci-dessous, dans le passage relatif à l’étape b2). Par exemple, on entraine le réseau de neurones en lui présentant, par exemple pour plus 1000 images historiques :
en entrée, une image historique représentant une cible historique et/ou les points remarquables, et
en sortie, la représentation de ladite cible historique et/ou des points remarquables sur l’image historique.
en entrée, une image historique représentant une cible historique et/ou les points remarquables, et
en sortie, la représentation de ladite cible historique et/ou des points remarquables sur l’image historique.
Le réseau de neurones apprend ainsi à reconnaitre, dans une nouvelle image, la représentation de la cible et/ou des points remarquables.
Le deuxième réseau de neurones peut être en particulier choisi parmi les réseaux spécialisés dans la classification d’images, appelés « CNN » (« Convolutional neural network »), par exemple AlexNet (2012), ZF Net (2013), VGG Net (2014), GoogleNet (2015), Microsoft ResNet (2015), Caffe : BAIR Reference CaffeNet, BAIR AlexNet, Torch :VGG_CNN_S, VGG_CNN_M, VGG_CNN_M_2048, VGG_CNN_M_1024, VGG_CNN_M_128, VGG_CNN_F, VGG ILSVRC-2014 16-layer, VGG ILSVRC-2014 19-layer, Network-in-Network (Imagenet & CIFAR-10), Google : Inception (V3, V4) Par exemple, on entraine le réseau de neurones en lui présentant, par exemple pour plus 1000 images historiques :
en entrée, une image historique représentant une cible historique et/ou les points remarquables, et
en sortie, des conditions d’acquisition « historiques » de l’image historique.
en entrée, une image historique représentant une cible historique et/ou les points remarquables, et
en sortie, des conditions d’acquisition « historiques » de l’image historique.
Le réseau de neurones apprend ainsi à définir, pour une nouvelle image, les conditions de son acquisition.
La détermination des conditions d’acquisition d’une image peut être également réalisée en recherchant une vue d’un modèle de l’arcade de l'utilisateur qui correspond à l’image, par exemple avec une opération d’optimisation, de préférence une méthode métaheuristique, de préférence évolutionniste, de préférence un recuit simulé. Un exemple d’une telle recherche est par exemple décrit dans PCT/EP2015/074859, dans la demande de brevet européen n° 18 184477.0 ou dans WO2016/066651.
De préférence, lorsque le symbole est observé selon l’axe d’observation prédéterminé, et/ou lorsque l'appareil d'acquisition est à ladite distance prédéterminée et/ou lorsque l'appareil d'acquisition est orienté suivant ladite orientation prédéterminée,
de préférence lorsque le symbole est observé selon l’axe d’observation prédéterminé, et lorsque l'appareil d'acquisition est à ladite distance prédéterminée, et lorsque l'appareil d'acquisition est orienté suivant ladite orientation prédéterminée,
une image est acquise, de préférence automatiquement, c’est-à-dire sans intervention spécifique de l’utilisateur.
de préférence lorsque le symbole est observé selon l’axe d’observation prédéterminé, et lorsque l'appareil d'acquisition est à ladite distance prédéterminée, et lorsque l'appareil d'acquisition est orienté suivant ladite orientation prédéterminée,
une image est acquise, de préférence automatiquement, c’est-à-dire sans intervention spécifique de l’utilisateur.
De préférence, un symbole change d’apparence, par exemple de couleur, ou disparaît quand une image a été acquise dans les conditions d’acquisition associées au dit symbole.
Le procédé suivant le deuxième aspect principal de l’invention comporte plusieurs cycles d’étapes a) à c).
A l’étape a),on acquiert une image, de préférence une photo, représentant l’objet buccal de l’utilisateur, au moyen d’un appareil d’acquisition d’images. Dans un mode de réalisation, on acquiert un film avec l’appareil d’acquisition d’images, et l’image acquise est extraite du film.
Dans un mode de réalisation, un « masque d’origine », de préférence un nuage de plots, est projeté sur la scène observée par l'appareil d'acquisition lors de l’étape a), de préférence au moyen d’un projecteur intégré dans l'appareil d'acquisition. Le masque déformé résultant de la projection du masque d’origine apparaît alors sur l’image de prévisualisation ou l’image équivalente. Dans un mode de réalisation, le projection est en lumière infrarouge de sorte que le masque déformé n’est pas visible à l’œil nu. Dans un mode de réalisation, l’image acquise est l’image représentant le masque déformé. L’appareil d'acquisition utilise alors, de préférence, une caméra infra-rouge. La nature du masque déformé n’est cependant pas limitée.
L’image est de préférence acquise par l’utilisateur lui-même. L’utilisateur peut acquérir l’image au moyen d’un téléphone portable.
L’image acquise est de préférence « extraorale », c'est-à-dire sans que l’objectif optique de l'appareil d'acquisition ne soit introduit dans la bouche de l’utilisateur.
L’appareil d’acquisition d’images peut être en particulier un téléphone portable, une tablette, un appareil photo ou un ordinateur, l’appareil d’acquisition d’images étant de préférence un téléphone portable ou une tablette, notamment pour que l'utilisateur puisse acquérir des images en tout lieu, et en particulier en dehors du cabinet d’un professionnel des soins dentaires, par exemple à plus de 1 km du cabinet d’un professionnel des soins dentaires.
Dans un mode de réalisation, l'utilisateur utilise un téléphone portable et un support sur lequel le téléphone portable est fixé de manière amovible, le support étant maintenu en appui sur l'utilisateur pendant l’acquisition d’au moins une partie, de préférence de toutes les images. En particulier, le support peut être du type de ceux décrits dans PCT/EP2021/068702, EP17306361, PCT/EP2019/079565, PCT/EP2022/053847, FR2113577, FR2206750, ou FR2206745.
Dans un mode de réalisation préféré, l'utilisateur utilise un téléphone portable libre, c'est-à-dire dont il peut librement fixer la position et l’orientation, et en particulier non fixé à un support. Le procédé selon l’invention permet en effet de guider l'utilisateur dans ses prises de vue, de sorte qu’un guidage au moyen d’un support n’est pas indispensable. De préférence, l’appareil d’acquisition d’images n’est pas en contact avec la bouche de l'utilisateur, ni directement, ni par l’intermédiaire d’un support pour l’appareil d’acquisition d’images.
Préalablement, en fonction de la cible, l’ordinateur ou l'appareil d'acquisition peut demander à l'utilisateur de mettre en position de service ou au contraire de retirer un appareil orthodontique, par exemple une gouttière orthodontique, un taquet ou un appareil à arc et attache. Il peut aussi demander à l'utilisateur d’écarter ses lèvres de ses arcades dentaires, de préférence en utilisant un écarteur, de manière à mieux exposer la cible à l’appareil d’acquisition d’images, par exemple pour exposer complètement au moins une dent, en particulier l’extrados d’une incisive et/ou au moins partiellement l’extrados d’une molaire. Il peut encore demander à l’utilisateur d’ouvrir grandement la bouche afin d’acquérir des images en vues occlusales représentant des surfaces linguales et occlusales des dents ainsi que du palais.
Le nombre d’images acquises lors d’une étape a) est de préférence inférieur à 100, de préférence inférieur à 50, de préférence inférieur à 10, afin que l’information de guidage soit mise à jour rapidement.
Avant la mise en œuvre de la première étape a) d’un procédé selon l’invention, le niveau de couverture est nul.
A l’étape b), le niveau de couverture est actualisé pour prendre en compte la ou les images acquises à l’étape a) immédiatement précédente, ou « nouvelles images ».
A l’étape b), l’ordinateur analyse donc chaque nouvelle image, de préférence suivant les étapes suivantes :
b1) détermination d’une contribution potentielle par la nouvelle image ;
b2) détermination de l’intersection entre la contribution potentielle et la contribution antérieure apportée par les images analysées antérieurement ;
b3) si l’intersection n’est pas vide, ajout de la contribution potentielle à la contribution antérieure.
b1) détermination d’une contribution potentielle par la nouvelle image ;
b2) détermination de l’intersection entre la contribution potentielle et la contribution antérieure apportée par les images analysées antérieurement ;
b3) si l’intersection n’est pas vide, ajout de la contribution potentielle à la contribution antérieure.
A l’étape b1),l'ordinateur détermine la contribution potentielle par la nouvelle image. En particulier, il détermine si la nouvelle image représente au moins partiellement, la cible. Si non, cette nouvelle image ne peut apporter de contribution et l’ordinateur passe à l’analyse de la nouvelle image suivante. Si oui, l’ordinateur détermine la contribution potentielle de la nouvelle image, par exemple détermine le contour de la représentation de la cible sur la nouvelle image, ou le numéro de la ou des dents de la cible représentées, au moins partiellement, sur la nouvelle image.
A l’étape b2),l’ordinateur compare ensuite la contribution potentielle à l’ensemble des contributions résultant de l’analyse des images analysées antérieurement, ou « contribution antérieure ».
Par exemple, la contribution potentielle de la nouvelle image est la représentation de la cible sur la nouvelle image. L'ordinateur évalue l’intersection cette contribution potentielle et la contribution antérieure constituée de l’union de l’ensemble des représentations de la cible sur les images analysées antérieurement.
Si cette intersection est vide, la nouvelle image ne peut apporter de nouvelle contribution et l’ordinateur passe à l’analyse de la nouvelle image suivante. Si cette intersection n’est pas vide, c'est-à-dire que la nouvelle image représente une zone de la cible qui n’était sur aucune des images analysées antérieurement, l’ordinateur ajoute à la contribution antérieure une nouvelle contribution constituée de ladite intersection.
Autre exemple, la contribution potentielle de la nouvelle image est le numéro d’une ou plusieurs dents de la cible identifiées sur la nouvelle image. L'ordinateur évalue l’intersection cette contribution potentielle et la contribution antérieure constituée de l’ensemble des numéros des dents de la cible identifiés sur les images analysées antérieurement. Si cette intersection est vide, la nouvelle image ne peut apporter de contribution supplémentaire et l’ordinateur passe à l’analyse de la nouvelle image suivante. Si cette intersection n’est pas vide, l’ordinateur ajoute cette intersection à la contribution antérieure.
La détermination de la contribution potentielle d’une nouvelle image peut être réalisée par tout moyen connu.
Dans un mode de réalisation, elle comporte la segmentation de la nouvelle image de sorte à identifier la représentation éventuelle, totale ou partielle, de la cible. L’analyse peut être faite au moyen de méthodes de segmentation classiques.
En particulier, la nouvelle image peut être soumise à un réseau de neurones entrainé pour détecter la représentation de la cible sur la nouvelle image, par exemple pour déterminer les numéros des dents représentées sur l’image, et/ou les contours desdites dents, et/ou de la bouche et/ou des lèvres, et/ou de la langue, comme décrit par exemple dans la demande de brevet européen n° 18 184477.0.
Les réseaux spécialisés dans la localisation et la détection d’objets dans une image sont bien connus. Le réseau de neurones peut être en particulier choisi parmi les Object Detection Networks, par exemple R-CNN (2013), SSD (Single Shot MultiBox Detector : Object Detection network), Faster R-CNN (Faster Region-based Convolutional Network method : Object Detection network), Faster R-CNN (2015), SSD (2015), RCF (Richer Convolutional Features for Edge Detection) (2017), SPP-Net, 2014, OverFeat (Sermanet et al.), 2013, GoogleNet (Szegedy et al.), 2015, VGGNet (Simonyan and Zisserman), 2014, R-CNN (Girshick et al.), 2014, Fast R-CNN (Girshick et al.), 2015, ResNet (He et al.), 2016, Faster R-CNN (Ren et al.), 2016, FPN (Lin et al.), 2016, YOLO (Redmon et al.), 2016, SSD (Liu et al.), 2016, ResNet v2 (He et al.), 2016, R-FCN (Dai et al.), 2016, ResNeXt (Lin et al.), 2017, DenseNet (Huang et al.), 2017, DPN (Chen et al.), 2017, YOLO9000 (Redmon and Farhadi), 2017, Hourglass (Newell et al.), 2016, MobileNet (Howard et al.), 2017, DCN (Dai et al.), 2017, RetinaNet (Lin et al.), 2017, Mask R-CNN (He et al.), 2017, RefineDet (Zhang et al.), 2018, Cascade RCNN (Cai et al.), 2018, NASNet (Zoph et al.), 2019, CornerNet (Law and Deng), 2018, FSAF (Zhu et al.), 2019, SENet (Hu et al.), 2018, ExtremeNet (Zhou et al.), 2019, NAS-FPN (Ghiasi et al.), 2019, Detnas (Chen et al.), 2019, FCOS (Tian et al.), 2019, CenterNet (Duan et al.), 2019, EfficientNet (Tan and Le), 2019, ou AlexNet (Krizhevsky et al.), 2012.
La liste ci-dessus n’est pas limitative. Par exemple, on entraine un réseau de neurones en lui présentant, par exemple pour plus 1000 images historiques :
en entrée, une image historique représentant une cible historique, et
en sortie, la représentation de ladite cible historique sur l’image historique.
en entrée, une image historique représentant une cible historique, et
en sortie, la représentation de ladite cible historique sur l’image historique.
Le réseau de neurones apprend ainsi à reconnaitre, dans une nouvelle image, la représentation de la cible.
Lorsque l’intersection entre la contribution potentielle et la contribution antérieure comporte une comparaison des représentations de la cible sur la nouvelle image et sur les images analysées antérieurement, ces représentations sont de préférence projetées sur un modèle de référence commun afin de prendre en considération des conditions d’acquisition différentes, et en particulier une orientation de l'appareil d'acquisition variable en fonction de l’image considérée.
Le modèle de référence représente de préférence un objet buccal de référence, de préférence similaire, voire identique à l’objet buccal de l'utilisateur.
Pour réaliser la projection d’une image, l'ordinateur analyse l’image pour déterminer les conditions de son acquisition, c'est-à-dire les conditions d’acquisition réelles. En particulier, il évalue la distance entre l'appareil d'acquisition et l’objet buccal de l'utilisateur et l’orientation de l'appareil d'acquisition dans l’espace, par rapport l’objet buccal de l'utilisateur, à l’instant de l’acquisition de l’image.
La détermination des conditions d’acquisition réelles peut être effectuée comme décrit par exemple dans la demande de brevet européen n° 18 184477.0 ou dans WO2016/066651, ou en soumettant l’image à un réseau de neurones entrainé pour déterminer les conditions d’acquisition de l’image qu’on lui soumet.
Les conditions d’acquisition réelles sont alors reproduites virtuellement par rapport au modèle de référence, et la représentation de la cible de l'utilisateur sur l’image est projetée sur le modèle de référence.
L’ensemble des surfaces projetées obtenues à partir des images antérieures peut constituer la contribution antérieure. La surface projetée obtenue à partir de la nouvelle image est la contribution potentielle.
De préférence, chaque image est soumise à un premier réseau de neurones de détection, identifiant des objets buccaux représentés sur l’image, en particulier, la langue et/ou les numéros de dents, et/ou les gencives et/ou la bouche et/ou les lèvres et/ou des points remarquables de ces organes, puis chaque image est soumise à un deuxième réseau de neurones entrainé pour déterminer les conditions d’acquisition de l’image qu’on lui soumet. De préférence, le deuxième réseau de neurones prend en entrée les objets buccaux détectés par le premier réseau de neurones, ce qui améliore la détermination des conditions d’acquisition.
Dans un mode de réalisation, la détermination de la contribution potentielle d’une nouvelle image est déterminée en comparant l’image à une image « de référence », par exemple une photo ou un cliché panoramique, de préférence d’au moins une arcade dentaire similaire ou identique à l’arcade dentaire de l'utilisateur.
La cible n’est alors généralement pas représentée de la même façon sur l’image de référence et sur la nouvelle image. De préférence, on entraine un réseau de neurones afin qu’il apprenne à établir une concordance entre les objets représentés sur les deux images.
Par exemple, on l’entraine en lui présentant :
en entrée, des enregistrements historiques comportant chacun une images historique représentant une cible historique dans des conditions d’acquisition possibles avec l'appareil d'acquisition, et une identification de la représentation de la cible historique dans l’image historique, et
en sortie, l’identification de ladite cible historique sur une image de référence historique.
en entrée, des enregistrements historiques comportant chacun une images historique représentant une cible historique dans des conditions d’acquisition possibles avec l'appareil d'acquisition, et une identification de la représentation de la cible historique dans l’image historique, et
en sortie, l’identification de ladite cible historique sur une image de référence historique.
Le réseau de neurones apprend ainsi à reconnaitre, dans une image de référence, la représentation de la cible qui correspond à la représentation de la cible dans une nouvelle image qu’on lui soumet. Le réseau de neurones apprend ainsi à identifier la contribution potentielle de la nouvelle image.
Le procédé peut être mis en œuvre plusieurs fois, avec à chaque fois une nouvelle image de référence.
A l’étape b3),l'ordinateur ajoute la contribution potentielle à la contribution antérieure si l’intersection n’est pas vide et calcule le niveau de couverture résultant de l’incrémentation de la contribution antérieure par la nouvelle contribution.
Dans un mode de réalisation préféré, l’ordinateur évalue la qualité de l’image ou des images acquises et n’ajoute la contribution potentielle à l’étape b3) que si la qualité est supérieure à un seuil de qualité prédéfini. La qualité peut être en particulier une évaluation de la netteté et/ou du contraste, et/ou de la balance des couleurs de l’image, et/ou de la distance entre l'appareil d'acquisition et la bouche de l'utilisateur. Avantageusement, seules les images qui présentent une qualité satisfaisante sont prises en compte.
Dans un mode de réalisation, l’appareil d’acquisition d’images, de préférence sous la forme d’un téléphone portable, est fixé sur un support qui est maintenu en contact avec l'utilisateur pendant l’acquisition, comme décrit précédemment, par exemple un support du type de ceux décrits dans PCT/EP2021/068702, EP17306361, PCT/EP2019/079565, PCT/EP2022/053847, FR2113577, FR2206750, ou FR2206745. Avec un tel support, la qualité des images (en particulier la luminosité, la distance de l’appareil d’acquisition par rapport à la cible, l’angulation de l’appareil d’acquisition par rapport à la cible et l’orientation de l’appareil d’acquisition autour de son axe optique) est avantageusement bien contrôlée de sorte que l’évaluation de la qualité de l’image ou des images acquises est optionnelle.
De préférence, le support n’est pas mordu par l'utilisateur, et, de préférence encore, autorise une ouverture et une fermeture (jusqu’à une position dans laquelle les arcades sont en contact l’une avec l’autre dans le plan occlusal) des arcades.
L’évaluation de la qualité est particulièrement avantageuse en l’absence d’un tel support.
En fonction du résultat, l’ordinateur peut décider de prendre plusieurs images, par exemple de faire varier la distance focale afin d’acquérir une première image nette du groupe des incisives, puis une deuxième image nette du groupe postérieur des dents.
L’acquisition de plusieurs images avec des conditions de calibration différentes peut être en fonction de l’évaluation de la qualité, mais peut être également programmée pour être systématique à chaque étape d’acquisition.
A l’étape c), l'ordinateur compare le niveau de couverture au seuil de couverture. Si le niveau de couverture est supérieur ou égal au seuil de couverture, l’étape c) est terminée. Sinon, l'ordinateur détermine une information de guidage pour guider l’utilisateur afin qu’il positionne l’appareil d’acquisition d’images vers des conditions d’acquisition « futures » adaptées pour l’acquisition, lors de l’étape a) suivante, d’une image supplémentaire augmentant ledit niveau de couverture.
L’information de guidage est ainsi déterminée pour renseigner l’utilisateur sur les zones de la cible pour lesquelles il doit encore acquérir une ou plusieurs image(s). Elle est présentée à l'utilisateur et le guide ainsi pour qu’il oriente et/ou positionne l’appareil d’acquisition d’images selon les conditions d’acquisition futures à adopter pour la prochaine étape a).
Dans un mode de réalisation préféré, l'ordinateur détermine, par exemple par une recherche aléatoire ou avec un algorithme d’optimisation, les conditions d’acquisition futures, pour le cycle suivant, afin que l’acquisition d’images dans ces conditions d’acquisition futures maximise l’accroissement du niveau de couverture.
La présentation de l’information de guidage peut comporter une transmission visuelle, sonore et/ou haptique, en particulier tactile, de l’information de guidage.
Par exemple, l’information de guidage peut comporter des instructions audios indiquant à l’utilisateur de rapprocher ou d’éloigner l’appareil d’acquisition d’images de ses dents, de décaler l’appareil d’acquisition d’images vers la droite ou vers la gauche, de réaliser une rotation de l’appareil d’acquisition d’images autour de l’arcade dentaire, d’ouvrir ou de fermer la bouche, ou d’ouvrir ou de fermer la mâchoire.
Une transmission tactile de l’information de guidage peut être une vibration indiquant par exemple à l’utilisateur d’arrêter un mouvement.
Une transmission haptique de l’information de guidage peut être une vibration, par exemple pour indiquer le passage avec succès d’une mire sur une surface de la cible ou sur un symbole.
La présentation de l’information de guidage peut être adaptée à l’utilisateur.
De préférence, la présentation de l’information de guidage comporte plusieurs types de transmissions différents stimulant plusieurs sens différents, facilitant ainsi la communication vers l’utilisateur.
De préférence, l’information de guidage est présentée sur un écran, de préférence sur un écran de l’appareil d’acquisition d’images. La représentation de l’information de guidage sur un écran peut comporter
- de préférence un référentiel permettant à l'utilisateur de se repérer lors du déplacement de l'appareil d'acquisition dans l’espace, c'est-à-dire d’évaluer comment l'appareil d'acquisition est disposé par rapport à l’objet buccal, et en particulier par rapport à la cible, et
- un indicateur indiquant un mouvement par rapport à ce référentiel.
- de préférence un référentiel permettant à l'utilisateur de se repérer lors du déplacement de l'appareil d'acquisition dans l’espace, c'est-à-dire d’évaluer comment l'appareil d'acquisition est disposé par rapport à l’objet buccal, et en particulier par rapport à la cible, et
- un indicateur indiquant un mouvement par rapport à ce référentiel.
Le référentiel représente de préférence, au moins partiellement, de manière symbolique ou réaliste (c'est-à-dire adaptée pour que l'utilisateur reconnaisse l’objet représenté), au moins un objet buccal tel qu’observé par l'appareil d'acquisition. Il est déterminé en fonction des conditions d’acquisition réelles de l'appareil d'acquisition.
Le référentiel peut être par exemple une image de prévisualisation (« preview image » en anglais), c'est-à-dire l’image observée par l'appareil d'acquisition, de préférence le téléphone portable, en temps réel et affichée sur l’écran de l'appareil d'acquisition et/ou une image équivalente représentant une partie de l'utilisateur, par exemple la tête de l'utilisateur ou une partie de la tête ou la bouche ou les arcades dentaires de l'utilisateur (par « équivalente », on entend que l’image correspond à une observation de la partie du patient superposable avec l’image observée par l'appareil d'acquisition, et en particulier observée suivant l’axe optique de l'appareil d'acquisition).
L’image équivalente peut être un dessin au trait, par exemple représentant le contour d’une partie de l'utilisateur.
L’image équivalente peut être un dessin au trait, par exemple représentant le contour d’une partie de l'utilisateur.
Le référentiel peut représenter une vue d’un modèle spécifique à l'utilisateur ou d’un modèle générique, ledit modèle représentant ainsi, précisément ou de manière plus grossière, une partie de l'utilisateur, de préférence au moins la cible, de préférence au moins l’objet buccal.
Un modèle générique est commun à plusieurs individus. Un référentiel générique peut être notamment déterminé par analyse statistique de données historiques représentatives de ces individus. Un modèle générique peut être par exemple un modèle d’un typodont.
Un modèle spécifique à l'utilisateur peut être un modèle de tout ou partie de l’objet buccal de l'utilisateur, en particulier de la cible de l'utilisateur. Il peut être en particulier un scan des arcades dentaires de l'utilisateur. Il peut comprendre ou être également un modèle 3D d’une arcade de l’utilisateur dans une configuration propre à une étape du traitement. En particulier, il peut comprendre ou être un modèle 3D d’une arcade de l’utilisateur dans une configuration propre à une étape d’un traitement avec des gouttières orthodontiques, et en particulier un modèle 3D utilisé pour la conception et la fabrication d’une gouttière orthodontique. Un tel modèle 3D peut être généré au début du traitement orthodontique, ou pendant le traitement orthodontique.
L’image équivalente est de préférence une vue d’un modèle générique ou spécifique. De préférence, une texture est appliquée sur le modèle afin de le rendre plus réaliste et permettre à l’utilisateur de s’identifier plus facilement au modèle. La texture peut être extraite d’une image, par exemple d’une image acquise à une étape a), puis appliquée à un modèle, de préférence choisi dans une base de données avant la première étape a).
Le modèle dont une vue est utilisée comme référentiel peut être en particulier le modèle de référence utilisé pour comme support de projection des images acquises, décrit ci-dessus.
L’image équivalente peut être au moins en partie symbolique. Elle peut comporter, par exemple, un ensemble de formes géométriques représentant l’objet buccal, par exemple un ensemble de disques, chaque disque représentant une dent d’une partie d’une arcade dentaire, l’objet buccal étant l’arcade dentaire.
La représente deux exemples d’images équivalentes, représentant la vue d’un modèle 3D d’une arcade de l'utilisateur, avec et sans gencive respectivement. La vue pourrait être également, par exemple, une représentation filaire.
Notamment lorsque l’image équivalente est une vue d’un modèle générique ou spécifique, l’appareil d’acquisition d’images peut afficher l’image de prévisualisation, de préférence dans une mini fenêtre, ou « thumbnail » en anglais, ce qui facilite le repérage spatial pour l'utilisateur.
L’affichage du référentiel sur l’écran est optionnel si l’indicateur fournit une indication sur le déplacement souhaité. Par exemple, l’indicateur peut être une flèche ou un message préconisant un déplacement particulier. L’affichage du référentiel sur l’écran est cependant préféré car il facilite considérablement un positionnement précis de l'appareil d'acquisition.
L’indicateur est affiché, de préférence avec le référentiel, sur l’écran, de préférence sur l’écran de l’appareil d’acquisition d’images, de préférence sur un écran de téléphone portable ou de tablette.
Dans un mode de réalisation préféré, le référentiel comporte une représentation de l’objet buccal et l’indicateur est une marque indiquant une zone de cette représentation encore non couverte. L’indicateur peut être par exemple un contour particulier ceinturant cette zone ou, de préférence, une couleur particulière appliquée sur cette zone, ou un symbole superposé à cette zone. Par contour ou couleur « particulier », on entend un contour ou une couleur permettant à l'utilisateur de distinguer ladite zone du reste de la représentation de l’objet buccal.
Cet affichage permet de guider rapidement et efficacement l’utilisateur. Ce guidage, qui laisse une grande liberté à l'utilisateur, est intuitif, de sorte que l'utilisateur n’a pas besoin d’avoir été formé préalablement pour être guidé.
L’indicateur peut être notamment affiché en transparence ou en surbrillance sur la représentation de l’objet buccal.
L’indicateur est de préférence affiché en réalité augmentée lorsque le référentiel est une image de prévisualisation ou une image équivalente.
De préférence, à l’étape c), on informe, de préférence en temps réel, l'utilisateur sur le niveau de couverture atteint, c'est-à-dire sur l’état d’avancement de l’acquisition, et de préférence sur le seuil de couverture.
De préférence, l’information sur le niveau de couverture et/ou l’information sur le seuil de couverture est/sont présentées sur un écran, de préférence sur l’écran du téléphone portable de l'utilisateur. L’information peut prendre par exemple la forme d’un compteur ou d’une jauge, par exemple sous la forme d’une barre de progression.
Dans un mode de réalisation préféré, le niveau de couverture et/ou le seuil de couverture est/sont représenté(s) « graphiquement » sur l’écran, en particulier sous la forme de ligne(s) et/ou de surface(s) et/ou de symboles.
Dans un mode de réalisation, on affiche sur l’écran, et de manière à pouvoir les distinguer :
- la surface à couvrir initiale,
- la surface couverte, et
- de préférence, une représentation d’éléments du contexte de la cible, par exemple des parties de l’objet buccal différentes de la cible, c'est-à-dire des parties de l’objet buccal que le procédé n’a pas pour objet de couvrir, par exemple des dents adjacentes aux dents pour lesquelles on souhaite acquérir des images.
- la surface à couvrir initiale,
- la surface couverte, et
- de préférence, une représentation d’éléments du contexte de la cible, par exemple des parties de l’objet buccal différentes de la cible, c'est-à-dire des parties de l’objet buccal que le procédé n’a pas pour objet de couvrir, par exemple des dents adjacentes aux dents pour lesquelles on souhaite acquérir des images.
Par exemple, lorsque le référentiel est une représentation, symbolique ou de préférence réaliste, de l’objet buccal ou de la cible, la surface à couvrir initiale peut être présentée sur l’écran de manière identifiable par l'utilisateur afin de l’informer sur le seuil de couverture. Notamment, elle peut être colorée d’une couleur spécifique, ou plus généralement représentée avec une apparence spécifique, ou délimitée par un contour spécifique. La zone ainsi représentée avec une apparence spécifique ou ceinturée par ce contour représente le seuil de couverture.
De même, la surface couverte, c'est-à-dire pour laquelle au moins une image a déjà été acquise, peut être présentée sur l’écran de manière identifiable par l'utilisateur afin de l’informer sur le niveau de couverture. Notamment, elle peut être colorée d’une couleur spécifique, ou plus généralement représentée avec une apparence spécifique, ou délimitée par un contour spécifique. La ou les zones ainsi représentée(s) avec une apparence spécifique ou ceinturée par ce contour représente(nt) le niveau de couverture.
Par exemple, une surface de la cible peut être affichée en vert ou en rouge selon que l’acquisition de cette surface a été faite ou que l’acquisition de cette surface reste à faire. La surface couverte peut être affichée en transparence ou en surbrillance.
Dans un mode de réalisation, le seuil de couverture est représenté graphiquement sous la forme d’un ensemble de symboles s’affichant à proximité, de préférence en superposition, sur les représentations d’un ensemble de dents respectives. Les représentations de ces dents appartiennent, voire constitue un référentiel. Par exemple, les symboles peuvent être présentés en réalité augmentée sur l’image de prévisualisation du téléphone portable ou sur une vue d’un modèle d’arcade dentaire, de préférence sur une vue d’un modèle des arcades dentaires de l'utilisateur. L’apparence des symboles relatifs aux dents pour lesquelles les images souhaitées ont déjà été acquises (« dents couvertes ») peut être différente de celle des symboles relatifs à des dents pour lesquelles toutes les images souhaitées n’ont encore été acquises (« dents encore à couvrir »), ce qui permet de visualiser graphiquement le taux de couverture.
Dans un mode de réalisation, le symbole relatif à une dent disparaît dès que la dent est couverte. L'utilisateur voit alors la différence entre le seuil de couverture (tous les symboles affichés initialement) et le niveau de couverture (symboles ayant disparu).
L’affichage « graphique » du seuil de couverture et du niveau de couverture est particulièrement efficace pour que l'utilisateur acquiert toutes les images requises.
De manière remarquable, les représentations graphiques du seuil de couverture et du niveau de couverture permettent de visualiser les zones de la cible restant à couvrir, c'est-à-dire pour lesquelles des images souhaitées doivent être encore acquises. Ces représentations graphiques peuvent être ainsi utilisées comme indicateur pour guider l'utilisateur. Par exemple, la coloration de la surface couverte avec une couleur différente de la surface encore à couvrir permet de mettre en évidence la surface encore à couvrir, et ainsi guide l'utilisateur.
Le marquage graphique, ou « visuel », de la surface à couvrir initiale, de la surface couverte ou de la surface encore à couvrir n’est pas limité à l’application d’une couleur ou d’une texture ou d’un contour ou à la représentation de symboles particuliers.
De préférence, les représentations graphiques du seuil de couverture et du niveau de couverture sont affichées en réalité augmentée, de préférence sur l’écran du téléphone portable.
Dans un mode de réalisation, un chronomètre est activé pour mesurer la durée de l’acquisition des images depuis la première étape a). L’affichage de cette durée et du niveau de couverture et/ou de la différence entre le seuil de couverture et le niveau de couverture, sont un facteur de motivation pour l'utilisateur.
Dans un mode de réalisation, un score est calculé en fonction de la durée pour parvenir au seuil de couverture et/ou de la qualité des images acquises, et/ou de l’utilité des images acquises, plus généralement d’un objectif fixé à l'utilisateur.
Dans un mode de réalisation, la surface à couvrir initiale comporte des zones affectées d’un coefficient d’utilité, et le score est déterminé en fonction des coefficients d’utilité des zones dans la surface couverte. Par exemple, il est possible, dans un mode de réalisation, que la surface à couvrir initiale soit constituée d’une partie qu’il est indispensable de couvrir et d’une partie qu’il est optionnelle de couvrir. Le coefficient d’utilité affecté à un pixel de la partie « indispensable » peut être par exemple de 100 et le coefficient d’utilité affecté à un pixel de la partie « optionnelle » peut être par exemple de 10. Le score peut par exemple être fonction, voire être la somme des coefficients d’utilité pour l’ensemble des pixels dans la surface couverte.
Le score peut être comparé à des scores réalisés antérieurement par l'utilisateur ou par d’autres utilisateurs, de manière à obtenir un classement de l’opération d’acquisition de l’ensemble d’images.
Un classement peut être établi pour plusieurs patients, par exemple pour tous les patients d’un même praticien. Un message d’informations et/ou un cadeau, par exemple une rétribution, peuvent être envoyés à un patient en fonction de son ordre de classement.
Le chronomètre et/ou le score et/ou le classement peuvent être affichés sur l’écran de l'appareil d'acquisition.
L’acquisition devient ainsi ludique. En particulier, l’acquisition peut être présentée comme un jeu vidéo, l’objectif étant de parvenir au seuil de couverture le plus rapidement possible.
Guidé par l’information de guidage et motivé par l’information sur le niveau de couverture, l'utilisateur modifie les conditions d’acquisition, ce qui permet de reprendre une nouvelle étape a), de préférence immédiatement à la fin de l’étape c).
Lorsque le niveau de couverture est présenté à l'utilisateur, il peut avantageusement visualiser immédiatement l’effet du déplacement de l'appareil d'acquisition, notamment quand la cible se colorie ou que des symboles associés à des dents changent d’apparence ou disparaissent à mesure de l’avancement de la couverture par l’acquisition d’images. Le guidage est avantageusement intuitif.
Dans un mode de réalisation préféré, l’écran affiche à tout instant une représentation réaliste de l’objet buccal et la surface couverte à cet instant. La surface couverte se complète au fur et à mesure des cycles, ce qui permet à l'utilisateur d’identifier facilement la surface qu’il reste à acquérir, et de positionner et orienter l’appareil d’acquisition d’images en conséquence.
L’intervalle temporel entre deux cycles d’étapes a) à c) successifs est de préférence inférieur à 5 minutes, 1 minutes, 30 secondes, ou 1 seconde. De préférence, l'utilisateur acquiert les images acquises en temps réel, de préférence en filmant l’objet buccal, des étapes b) à c) étant immédiatement réalisées pour chaque image acquise.
A l’issue des cycles d’étapes a) à c), c’est-à-dire lorsque le niveau de couverture est supérieur ou égal au seuil de couverture, les images acquises peuvent être transmises à l’utilisateur et/ou de préférence à un professionnel de soins dentaires.
Les images acquises peuvent être stockées, par exemple dans une base de données, de préférence accessible à un professionnel de soins dentaires et/ou à l’utilisateur. Par exemple, les images acquises peuvent être stockées dans un dossier médical de l’utilisateur.
L’ensemble des images acquises comporte typiquement plus de 2, plus de 5, plus de 10, plus de 50, plus de 100 et/ou moins de 10 000 images.
Ledit ensemble des images acquises peut être utilisé, notamment pour :
- évaluer la situation dentaire de l'utilisateur, avant, pendant ou après un traitement orthodontique ou dentaire ; et/ou
- générer ou corriger un modèle d’une arcade dentaire de l'utilisateur ; et/ou
- concevoir un appareil orthodontique ; et/ou
- concevoir et proposer un traitement dentaire, par exemple un suivi hygiène, un suivi parodontique, ou un blanchiment.
- évaluer la situation dentaire de l'utilisateur, avant, pendant ou après un traitement orthodontique ou dentaire ; et/ou
- générer ou corriger un modèle d’une arcade dentaire de l'utilisateur ; et/ou
- concevoir un appareil orthodontique ; et/ou
- concevoir et proposer un traitement dentaire, par exemple un suivi hygiène, un suivi parodontique, ou un blanchiment.
Dans un mode de réalisation particulier, à l’issue des cycles d’étapes a) à c), le procédé peut comporter l’analyse des images acquises pour générer un modèle de la cible, appelé « modèle final ». Le modèle final peut être transmis à l’utilisateur, et de préférence à un professionnel de soins dentaires. Le modèle final peut représenter avec une haute précision la cible. Le modèle final peut être réalisé par un ordinateur du professionnel de soins dentaires à qui les images acquises sont transmises, ou réalisé par l’appareil d’acquisition d’images. Le modèle final peut être stocké, par exemple dans une base de données, de préférence accessible à un professionnel de soins dentaires et/ou à l’utilisateur. Par exemple le modèle final peut être stocké dans un dossier médical de l’utilisateur.
L’objectif de l’acquisition est d’acquérir un ensemble d’images d’une cible constituée par exemple par l’ensemble des dents de l’utilisateur. Les arcades dentaires, qui constituent l’objet buccal, comportent lesdites dents et la gencive. L’objet buccal est modélisé sous la forme d’un modèle de référence 16 accessible à l’ordinateur. Le modèle de référence 16 peut être issu d’une base de données et peut être générique. La cible est identifiée sur le modèle de référence. La surface à couvrir initiale est donc la surface de la cible dans le modèle de référence.
Les figures 3, 5, 6 et 7 illustrent des exemples de mise en œuvre du premier aspect principal de l’invention, dans lesquels des symboles multidimensionnels 24 sont virtuellement disposés dans l’espace afin de guider l'utilisateur vers des conditions d’acquisition associées.
Dans l’exemple de la , les symboles 24 sont bidimensionnels. Ils présentent chacun la forme de trois anneaux concentriques et coplanaires. Ils sont représentés sur une vue d’un modèle de référence représentant des arcades, ladite vue observant le modèle comme l'appareil d'acquisition observe les arcades dentaires de l'utilisateur. La vue est de préférence présentée sur l’écran d’un téléphone utilisé pour l’acquisition. L'utilisateur a pour objectif de positionner le téléphone de manière à voir une cible de face, c'est-à-dire de manière que les anneaux apparaissent circulaires. L’axe optique est alors confondu avec un axe d’observation prédéterminé adapté à l’acquisition d’une image.
Aucune mire n’est nécessaire pour ce guidage. Une mire représentant par exemple les contours circulaires des anneaux lorsqu’ils sont vus de face améliorerait cependant la précision du positionnement de l'appareil d'acquisition.
Dans l’exemple de la , les symboles sont tridimensionnels. Ils présentent chacun la forme de trois anneaux concentriques et superposés. Ils sont représentés sur une vue d’un modèle de référence représentant des arcades, ladite vue observant le modèle comme l'appareil d'acquisition observe les arcades dentaires de l'utilisateur. La vue est de préférence présentée sur l’écran d’un téléphone utilisé pour l’acquisition. L'utilisateur a pour objectif de positionner le téléphone de manière à voir une cible de face, c'est-à-dire de manière que les anneaux apparaissent circulaires et concentriques, comme sur la . L’axe optique est alors confondu avec un axe d’observation prédéterminé, à savoir l’axe X des anneaux, adapté à l’acquisition d’une image.
Dans l’exemple de la , chaque symbole 24 est constitué de deux cerceaux concentriques et s’étendant dans des plans à 90° l’un de l’autre. Les deux cerceaux sont de préférence de même forme (même diamètres intérieur et extérieur), et de préférence inclus dans une sphère de couleur 26, mais transparente afin de faciliter leur localisation. L’intersection des deux plans définit un axe d’observation X prédéterminé associé au symbole, identifiable par l'utilisateur. Cette forme de symbole permet de très facilement déterminer comment déplacer l'appareil d'acquisition.
Dans le mode de réalisation de la , le premier cerceau, horizontal, permet de déterminer s’il faut déplacer l'appareil d'acquisition vers le haut ou vers le bas, et le deuxième cerceau, vertical et dans un plan passant par le centre de la bouche, permet de déterminer s’il faut déplacer l'appareil d'acquisition vers le droite ou vers le gauche.
Le guidage avec un symbole tridimensionnel est particulièrement efficace. Aucune mire n’est nécessaire pour obtenir un positionnement précis de l’axe optique de l'appareil d'acquisition selon l’axe d’observation prédéterminé adapté à l’acquisition d’une image.
Un symbole tridimensionnel permet également de guider vers une distance prédéterminée le long de l’axe d’observation prédéterminé. Dans l’exemple de la , la distancedentre les anneaux est représentative de la distance entre l'appareil d'acquisition et le symbole, le long de l’axe X du symbole, c'est-à-dire le long de l’axe d’observation prédéterminé. La distance prédéterminée peut par exemple correspondre à une vue du symbole dans laquelle les anneaux se touchent (d= 0). Il est facile pour l’utilisateur d’éloigner l'appareil d'acquisition jusqu’à cette position.
Lorsque les conditions d’acquisition prédéterminées associées à un symbole sont atteintes, une image est acquise, de préférence automatiquement, et, de préférence, l’apparence, par exemple la couleur, du symbole est modifiée, ou le symbole disparaît.
On décrit à présent un exemple illustrant le deuxième aspect principal de l’invention :
A l’étape a), une image est acquise au moyen de l'appareil d'acquisition.
A l’étape b), l’image acquise est analysée pour mettre à jour le niveau de couverture.
En particulier, on recherche la représentation éventuelle de la cible sur l’image acquise, c'est-à-dire l’existence d’une contribution potentielle de l’image acquise.
Si cette contribution potentielle existe, on recherche la vue du modèle de référence qui présente une concordance maximale avec l’image acquise et on en déduit la surface de ladite vue qui correspond à la cible, et en conséquence la surface correspondante sur le modèle de référence. Si une partie de cette dernière surface n’a pas encore été enregistrée comme appartenant à la surface couverte, elle est ajoutée à la surface couverte, et marquée sur le modèle de référence, de préférence colorée d’une première couleur spécifique à la surface couverte, par exemple en vert, le reste de la surface de la cible sur ladite vue étant de préférence d’une deuxième couleur, par exemple en rouge, et la surface du modèle de référence ne définissant pas la cible étant de préférence d’une troisième couleur différente, par exemple en blanc.
La vue du modèle de référence 16 équivalente à l’image de prévisualisation est projetée sur l’écran de l’appareil d’acquisition d’images 10, de préférence un téléphone portable, suivant la direction de l’axe optique.
La vue du modèle de référence ainsi projetée peut
- être superposée sensiblement exactement avec l’image de prévisualisation affichée sur l’écran, en transparence ou non, ou
- remplacer l’image de prévisualisation, comme sur la .
- être superposée sensiblement exactement avec l’image de prévisualisation affichée sur l’écran, en transparence ou non, ou
- remplacer l’image de prévisualisation, comme sur la
Elle permet à l'utilisateur de visualiser les surfaces couvertes et encore à acquérir, grâce à leurs couleurs spécifiques.
Cette présentation permet à l’utilisateur d’identifier rapidement et simplement les zones de dents qu’il lui reste à couvrir et de facilement orienter l'appareil d'acquisition en conséquence. Elle permet également d’informer l’utilisateur sur le niveau de couverture.
Au fur et à mesure des acquisitions d’images au cours des cycles d’étapes a) à c), la surface couverte augmente.
Les images de la représentent chacune une vue d’un modèle de référence représentant deux arcades dentaires, de préférence similaires à celles de l'utilisateur. Chaque vue correspond à une image de prévisualisation et est affichée à la place de ladite image de prévisualisation, de préférence sur l’écran d’un téléphone portable utilisé pour l’acquisition des images. Les vues du modèle de référence sont donc des images « équivalentes » à des images de prévisualisation. Autrement dit, lorsque l'utilisateur tourne l'appareil d'acquisition autour de sa bouche, la vue du modèle de référence affichée s’adapte immédiatement en conséquence. L'utilisateur assimile donc facilement le modèle de référence à ses arcades dentaires. Il peut donc facilement positionner et orienter l'appareil d'acquisition pour acquérir des images des dents encore non couvertes.
Dans le mode de réalisation de la , la cible est constituée de l’ensemble des dents des deux arcades, et l’objet buccal est constitué de ces deux arcades (et donc inclut, en plus des dents, les gencives). La couleur d’une dent est spécifiquement en gris foncé (GF) lorsque la couverture de la dent est suffisante, et en gris clair (GS) sinon.
A mesure que l'utilisateur déplace l'appareil d'acquisition devant ses dents, la surface couverte augmente, et donc le nombre de dents suffisamment couvertes, en gris foncé, augmente. Les autres dents restent en gris clair.
Le niveau de couverture correspond par exemple au pourcentage de surface couverte par rapport à la surface à couvrir initiale. Le seuil de couverture peut être un pourcentage de la surface de la cible à couvrir. Par exemple, le seuil peut être de 90%, c’est-à-dire que lorsque plus de 90% de la surface des dents appartient à la surface couverte, le seuil de couverture est atteint.
Des symboles, éventuellement à une dimension, c'est-à-dire sous la forme d’un point, peuvent représenter symboliquement les dents à couvrir (cible). Lorsque, par exemple, au moins 90% de la surface d’une dent est acquise, mieux lorsqu’au moins 95% de la surface d’une dent est couverte, encore mieux lorsque toute la surface d’une dent est couverte, le symbole représentant symboliquement cette dent n’est plus présenté sur l’écran. Alternativement, le symbole est affiché en couleur ou en surbrillance.
Comme cela apparait clairement à présent, un dispositif et un procédé selon l’invention permettent avantageusement d’augmenter l’autonomie de l’utilisateur et d’améliorer la qualité et le contenu des images acquises par un utilisateur n’ayant aucune connaissance particulière dans le domaine dentaire. Ils permettent également d’éventuellement réaliser un modèle 3D d’une cible appartenant ou constituant un objet buccal de l'utilisateur, à distance. Enfin, ils facilitent grandement la détermination à distance d’un traitement orthodontique, ainsi que le suivi de tout traitement orthodontique, sans que l’utilisateur ait besoin de prendre rendez-vous chez un professionnel de soins dentaires.
Bien entendu, l'invention n'est pas limitée aux modes de réalisation décrits ci-dessus et représentés.
En particulier, le téléphone portable peut être remplacé par un dispositif comportant un support équipé d’une caméra et maintenu en appui sur l'utilisateur pendant l’acquisition de l’ensemble d’images, et un écran affichant la scène observée par la caméra, ledit écran étant intégré dans le support ou à distance du support.
La forme des symboles n’est pas limitative. Des symboles à 1, 2 ou 3 dimensions peuvent être simultanément présentés en réalité augmentée.
Claims (13)
- Procédé d’acquisition d’un ensemble d’images couvrant une cible appartenant à un objet buccal d’un utilisateur, le procédé comportant les étapes suivantes :
1) présentation à l'utilisateur, sur un écran (12) et en réalité augmentée dans l’espace de l’objet buccal observé par un appareil d'acquisition d’images (10), d’un symbole multidimensionnel ou d’un ensemble de symboles (24) multidimensionnels, la forme et/ou la position de chaque symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
2) pour chaque symbole, acquisition, avec l'appareil d'acquisition, d’une dite image quand ladite au moins une condition d’acquisition prédéterminée associée au dit symbole est remplie, de préférence quand toutes les conditions d’acquisition prédéterminées associées au dit symbole sont remplies. - Procédé selon la revendication immédiatement précédente, dans lequel, à l’étape 2), on n’acquiert, avec l'appareil d'acquisition, une image que si une condition d’acquisition prédéterminée associée à au moins un symbole est remplie.
- Procédé selon l’une quelconque des revendications précédentes, dans lequel au moins un symbole (24) définit
- un axe de symbole (X), de préférence un axe de révolution, ladite condition d’acquisition étant un écart angulaire entre l’axe optique de l'appareil d'acquisition et ledit axe de symbole inférieur à 20°, et/ou
- une dimension (d) qui, sur la représentation du symbole à l’écran, est variable en fonction de la distance, entre l’appareil d’acquisition et ledit symbole dans la réalité augmentée, ladite condition d’acquisition étant une valeur spécifique pour ladite dimension ou l’appartenance de ladite dimension à une plage spécifique de valeurs prédéterminée. - Procédé selon l’une quelconque des revendications précédentes, dans lequel, à l’étape 2), on acquiert automatiquement, avec l'appareil d'acquisition, une dite image si des conditions d’acquisition prédéterminées définissant une position dans l’espace et/ou une orientation de l'appareil d'acquisition autour de son axe optique et incluant ladite au moins une condition d’acquisition indiquée par le symbole, sont remplies.
- Procédé selon l’une quelconque des revendications précédentes, dans lequel, à l’étape 2), si on acquiert, avec l'appareil d'acquisition, une dite image,
- on modifie l’apparence dudit symbole ou on fait disparaitre ledit symbole, et/ou
- on émet un signal sonore, et/ou
- on modifie un score affiché sur l’écran et relatif à un taux de couverture de la cible par les images déjà acquises et/ou relatif à la durée pour l’acquisition des images déjà acquises et/ou relatif à la qualité des images déjà acquises et/ou relatif à l’utilité des images déjà acquises. - Procédé selon la revendication immédiatement précédente, dans lequel, quand l’ensemble d’images a été acquis, on présente à l'utilisateur, sur l’écran, un classement déterminé en fonction dudit score.
- Procédé selon l’une quelconque des revendications précédentes, dans lequel l’écran affiche les symboles sur des images de prévisualisation représentant la scène réelle observée par l'appareil d'acquisition ou sur des vues d’un modèle représentant, comme lesdites images de prévisualisation, au moins ledit objet buccal ou ladite cible.
- Procédé selon l’une quelconque des revendications précédentes, dans lequel l’écran affiche une mire dans une position fixe sur l’écran, un dit symbole présentant de préférence une forme complémentaire à la mire lorsqu’une condition d’acquisition prédéterminée associée au dit symbole est remplie.
- Procédé selon l’une quelconque des revendications précédentes, dans lequel la cible comprend plus de 5 dents et/ou un appareil orthodontique, et/ou l’ensemble de symboles comporte plus de 2 symboles.
- Procédé selon l’une quelconque des revendications précédentes, dans lequel l'appareil d'acquisition est manipulé par l'utilisateur aux étapes 1) et 2).
- Procédé d’acquisition selon l’une quelconque des revendications précédentes, dans lequel les images sont des photos, de préférence réalistes, et/ou représentent un masque déformé, résultant de la projection, de préférence par l'appareil d'acquisition, d’un masque d’origine, de préférence sous la forme d’une grille ou d’un ensemble de plots.
- Dispositif pour la mise en œuvre d’un procédé selon l’une quelconque des revendications précédentes, comportant
- un appareil d’acquisition d’images, de préférence sous la forme d’un téléphone portable (10) ;
- un ordinateur (14), de préférence intégré dans l'appareil d'acquisition ou en communication avec l'appareil d'acquisition, comportant un programme d’ordinateur comprenant des instructions de code de programme pour
- à l’étape 1), disposer et présenter à l'utilisateur un ou plusieurs symboles (24) multidimensionnels sur un écran (12,18), de préférence sur l’écran (12) de l'appareil d'acquisition, en réalité augmentée dans l’espace de l’objet buccal, la forme et/ou la position d’un symbole (24) étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
- de préférence, à l’étape 2), n’autoriser l’acquisition, avec l'appareil d'acquisition, d’une dite image que si ladite au moins une condition d’acquisition prédéterminée associée à un symbole est remplie, et/ou commander à l'appareil d'acquisition l’acquisition d’une dite image que si ladite au moins une condition d’acquisition prédéterminée est remplie, et/ou mettre à jour un niveau de couverture de la cible par les images acquises, et de préférence comparer le niveau de couverture avec un seuil de couverture, et de préférence présenter sur l’écran une information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture. - Dispositif selon la revendication immédiatement précédente, dans lequel l'appareil d'acquisition est
- un téléphone portable et ledit écran est intégré dans le téléphone portable ou
- un dispositif comportant un support équipé d’une caméra et maintenu en appui sur l'utilisateur pendant l’acquisition de l’ensemble d’images, l’écran étant intégré dans le support ou à distance du support.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2208706A FR3139002A1 (fr) | 2022-08-31 | 2022-08-31 | Procédé d’acquisition d’un ensemble d’images d’un objet buccal |
| PCT/EP2023/073681 WO2024047046A1 (fr) | 2022-08-31 | 2023-08-29 | Procédé d'acquisition d'un ensemble d'images d'un objet buccal |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2208706 | 2022-08-31 | ||
| FR2208706A FR3139002A1 (fr) | 2022-08-31 | 2022-08-31 | Procédé d’acquisition d’un ensemble d’images d’un objet buccal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3139002A1 true FR3139002A1 (fr) | 2024-03-01 |
Family
ID=84053420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2208706A Pending FR3139002A1 (fr) | 2022-08-31 | 2022-08-31 | Procédé d’acquisition d’un ensemble d’images d’un objet buccal |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3139002A1 (fr) |
| WO (1) | WO2024047046A1 (fr) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2113577A5 (fr) | 1970-11-06 | 1972-06-23 | North American Rockwell | |
| FR2206750A5 (fr) | 1972-10-13 | 1974-06-07 | Mobert Di Trezzi E Monguzzi | |
| FR2206745A5 (fr) | 1972-11-13 | 1974-06-07 | Kleber Colombes | |
| US20040209225A1 (en) | 2003-03-17 | 2004-10-21 | Kerrhawe Sa | Cheek and lip retractor for dentistry |
| US6923761B1 (en) | 2002-12-06 | 2005-08-02 | Discus Dental Impressions, Inc. | Retractors |
| WO2016066651A1 (fr) | 2014-10-27 | 2016-05-06 | H43 Development | Procede de controle de la dentition |
| US20170310886A1 (en) * | 2016-04-26 | 2017-10-26 | J.A.K. Investments Group LLC | Method and system for performing a virtual consultation |
| US20180060690A1 (en) * | 2015-03-06 | 2018-03-01 | Matthew Lee | Method and device for capturing images using image templates |
| WO2022098621A1 (fr) * | 2020-11-03 | 2022-05-12 | Alta Smiles, Llc | Système et procédé pour périodes de traitement orthodontique tout en réduisant au minimum les visites en cabinet d'orthodontie |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102236360B1 (ko) * | 2019-03-29 | 2021-04-05 | 오스템임플란트 주식회사 | 스캔 가이드 제공 방법 이를 위한 영상 처리장치 |
-
2022
- 2022-08-31 FR FR2208706A patent/FR3139002A1/fr active Pending
-
2023
- 2023-08-29 WO PCT/EP2023/073681 patent/WO2024047046A1/fr unknown
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2113577A5 (fr) | 1970-11-06 | 1972-06-23 | North American Rockwell | |
| FR2206750A5 (fr) | 1972-10-13 | 1974-06-07 | Mobert Di Trezzi E Monguzzi | |
| FR2206745A5 (fr) | 1972-11-13 | 1974-06-07 | Kleber Colombes | |
| US6923761B1 (en) | 2002-12-06 | 2005-08-02 | Discus Dental Impressions, Inc. | Retractors |
| US20040209225A1 (en) | 2003-03-17 | 2004-10-21 | Kerrhawe Sa | Cheek and lip retractor for dentistry |
| WO2016066651A1 (fr) | 2014-10-27 | 2016-05-06 | H43 Development | Procede de controle de la dentition |
| US20180060690A1 (en) * | 2015-03-06 | 2018-03-01 | Matthew Lee | Method and device for capturing images using image templates |
| US20170310886A1 (en) * | 2016-04-26 | 2017-10-26 | J.A.K. Investments Group LLC | Method and system for performing a virtual consultation |
| WO2022098621A1 (fr) * | 2020-11-03 | 2022-05-12 | Alta Smiles, Llc | Système et procédé pour périodes de traitement orthodontique tout en réduisant au minimum les visites en cabinet d'orthodontie |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024047046A1 (fr) | 2024-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3445270B1 (fr) | Système de fabrication d'un appareil orthodontique | |
| EP3212113B1 (fr) | Procédé de contrôle d'un traitement orthodontique | |
| EP3212115B1 (fr) | Procédé de contrôle d'un traitement orthodontique | |
| EP3432217A1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| EP3213293B1 (fr) | Controle de la dentition | |
| EP3432219A2 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| EP3432312A1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| CA2950028A1 (fr) | Dispositif de visualisation de l'interieur d'une bouche d'un patient | |
| EP3432218A1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| FR3069358A1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| FR3111268A1 (fr) | Procédé de segmentation automatique d’une arcade dentaire | |
| WO2021078778A1 (fr) | Procede de generation d'une image dentaire | |
| WO2020011863A1 (fr) | Procede de transformation d'une vue d'un modele 3d d'une arcade dentaire en une vue photorealiste | |
| WO2024047046A1 (fr) | Procédé d'acquisition d'un ensemble d'images d'un objet buccal | |
| WO2024047054A1 (fr) | Procédé d'acquisition d'un ensemble d'images d'un objet buccal | |
| WO2021250065A1 (fr) | Procede de suivi d'un mouvement dentaire | |
| WO2024047019A1 (fr) | Procédé de scannage d'une arcade dentaire d'un utilisateur | |
| EP4348572A1 (fr) | Procede d'acquisition d'un modele d'une arcade dentaire | |
| WO2022248513A1 (fr) | Procede d'acquisition d'un modele d'une arcade dentaire | |
| FR3135891A1 (fr) | Procede d’acquisition d’un modele d’une arcade dentaire |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20240301 |