CN112367943B - 用于生成牙弓的3d模型的方法 - Google Patents

用于生成牙弓的3d模型的方法 Download PDF

Info

Publication number
CN112367943B
CN112367943B CN201980039993.4A CN201980039993A CN112367943B CN 112367943 B CN112367943 B CN 112367943B CN 201980039993 A CN201980039993 A CN 201980039993A CN 112367943 B CN112367943 B CN 112367943B
Authority
CN
China
Prior art keywords
updated
model
image
light beam
dental arch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980039993.4A
Other languages
English (en)
Other versions
CN112367943A (zh
Inventor
菲利普·萨拉赫
纪尧姆·盖塞林克
托马斯·佩利萨尔德
劳伦特·德布劳克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dental Monitoring Co
Original Assignee
Dental Monitoring Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dental Monitoring Co filed Critical Dental Monitoring Co
Publication of CN112367943A publication Critical patent/CN112367943A/zh
Application granted granted Critical
Publication of CN112367943B publication Critical patent/CN112367943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles

Abstract

一种用于生成患者的牙弓的三维数字模型的方法，所述方法具有以下步骤：A)将至少一个光束(30)投射到牙弓上，以便在牙弓上绘制至少一个光标记；B)与步骤A)同时地，使牙弓跨光束移位，并且在所述移位期间获取所述牙弓的一系列更新图像，每个更新图像示出由投影的标记限定的更新投影；C)识别每个更新图像上的所述更新投影，然后寻求被称为“更新模型”的、具有与所有更新投影的最佳拟合的三维数字模型。

Description

用于生成牙弓的3D模型的方法
技术领域
本发明涉及一种用于生成患者的牙弓的三维数字模型的方法，以及一种可以在该方法的情况下实现的牙科成像设备。
背景技术
正畸矫治器的生产越来越依赖于患者的牙弓的数字三维模型。这些模型通常是通过口腔内光学扫描仪获得的，牙齿矫正医师使用口腔内光学扫描仪扫描患者的牙弓。
该操作成本高，并且需要患者去找牙齿矫正医师。此外，口腔内扫描是不舒服的，甚至是痛苦的，并且花费很长时间。
US 2003/0012423描述了一种用于从图像生成牙齿模型的方法，但是需要安装目标，例如刚性钉。
因此，需要一种新的方法，该方法使得能够生成患者的牙弓的三维数字模型并且不具有上述缺点。
本发明的一个目的是至少部分地解决这一需求。
发明内容
本发明涉及一种用于生成患者的牙弓的三维数字模型的方法，所述方法包括以下步骤：
A)将至少一个光束投射到牙弓上，以便在牙弓上绘制至少一个光标记；
B)与步骤A)同时地，使牙弓跨光束移位，并且在所述移位期间获取所述牙弓的一系列更新图像(updated image)，每个更新图像示出投影的标记的表示或“更新投影(updated projection)”；
C)识别每个更新图像上的所述更新投影，然后产生被称为“更新模型”的、表现出与所有更新投影的最佳拟合的三维数字模型。
“与步骤A)同时地”应理解为是指在投射光束的同时获取一系列更新图像。然而，投射可以在获取更新图像之前开始并且可以在获取更新图像之后延迟。
优选地，根据本发明的方法具有以下可选特征中的一个或多个：
-在步骤C)中，通过最优化方法和/或深度学习设备来寻求更新模型；
-在步骤C)中，为了产生更新模型，修改根据患者的特征限定的模型；
-在步骤C)中，将更新模型确定为在以下步骤a)至步骤c)的循环结束时获得的待测试模型：
a)创建待测试模型，然后，
b)确定表示所有更新投影与待测试模型之间的差异的距离，然后，
c)如果所述表示距离(representative distance)超过预定的可接受度阈值，则修改待测试模型并返回步骤a)；
-从基本距离评估表示距离，对于相应的更新投影，通过评估所述更新投影与最佳参考投影之间的差异来确定每个基本距离，
参考投影是在表示待测试模型的视图的参考图像上的虚拟光标记的表示，所述虚拟光标记通过将与在步骤A)中投射在牙弓上的光束相同形式的虚拟光束投影至待测试模型上而产生，
最佳参考图像是示出如下参考投影的参考图像，该参考投影表现出与更新投影的最小距离；
-对待测试模型进行分段以限定牙齿模型，并且待测试模型的修改包括牙齿模型的移位和/或这些牙齿模型的变形；
-待修改的第一待测试模型是牙弓模型，其优选地根据患者的特征来选择；
-在步骤C)中，实施来自最优化方法、人工智能方法、通过立体视觉来评估尺寸的方法、通过分析光标记的形式来评估尺寸的方法、以及通过分析更新图像的显著点(noteworthy point)之间的距离来评估尺寸的方法中的至少两种方法；
-在步骤A)中，投射结构化光束；
-在步骤B)中，患者佩戴相对于用于获取所述更新图像的单元固定的牙科牵开器；
-在步骤B)中，患者使所述牙弓相对于所述图像获取单元移位。
本发明还提出一种获取设备，包括：
-支撑件；
-固定在支撑件上并限定牵开器孔的牙科牵开器；
-更新图像获取单元，该更新图像获取单元在其沿光轴观察牵开器孔的位置固定至支撑件。
根据第一主要方面，该设备还包括：
-投影仪，该投影仪适合于朝向牵开器孔投射光束，以便当患者佩戴牵开器时在患者的牙弓上绘制至少一个光标记，所述光标记通过相应更新投影而表示在每个更新图像上，以及
-处理模块，该处理模块优选地结合在所述支撑件上，该处理模块被配置为识别更新图像上的更新投影，并产生更新模型，该模型表现出与所有识别的更新投影的最佳拟合。
在牵开器已被安装到患者的嘴上之后，图像获取单元可以因此获取牙弓的一系列更新图像，每个更新图像示出由光束投射到牙弓上而产生的标记的表示，然后产生相应的更新模型。
该设备有利地是便宜的、轻便的和便携式的，并且可以由患者自己容易地实施。
更通常地，该设备被配置为实施步骤A)、在步骤B)和步骤C)中获取更新图像。
根据第二主要方面，该设备包括测距仪，该测距仪被布置为测量支撑件的点(例如，图像获取单元的点)与关闭牵开器孔的对象(例如，佩戴牵开器的患者的牙弓)之间的距离。
优选地，测距仪与图像获取单元进行通信。
优选地，处理模块被配置为根据从测距仪接收到的测量值来校准图像获取单元。
测距仪使得可以精确地确定牙弓和图像获取单元之间的距离，这使得可以完美地校准图像获取单元，并进一步促进了对更新模型的搜索。
优选地，根据本发明的设备具有以下可选特征中的一个或多个：
-光束是平坦的，并且当其穿过牵开器孔时具有小于1mm的厚度和大于1cm的宽度；
-图像获取单元和/或处理模块被结合在支撑件上；
-投影仪被配置为投射肉眼不可见的光束；
-投影仪被配置为投射紫外光束；
-图像获取单元包括多光谱传感器；
-支撑件和/或牵开器包括被配置为朝向图像获取单元反射图像的反射镜和/或被配置为反射光束的反射镜、和/或比色图案(colorimetric pattern)和/或半透明图案；
-处理模块被配置为根据比色图案和/或半透明图案的观察来校准图像获取单元；
-支撑件和/或牵开器包括热成像相机和/或温度探针和/或呼吸分析仪；
-图像获取单元与牵开器孔的中心的距离小于20cm，甚至小于10cm；
-投影仪被配置为随时间而改变光束的波长；
-该设备包括漫射光源；
-所述光源优选地具有大于80的显色指数；
-图像获取单元被配置为控制所述光源。
优选地，根据本发明的方法实现根据本发明的获取设备。
本发明还涉及：
-计算机程序，该计算机程序包括用于实施步骤C)并且优选地在步骤B)中控制图像获取单元和/或投影仪的程序代码指令，
-其上存储有此类程序的计算介质，例如存储器或CD-ROM，以及
-其中加载有此类程序的图像处理模块。
定义
“患者”应理解为是指可以对其实施根据本发明的方法的任何人，无论该人是否生病或该人是否正在接受治疗。
“光标记”应理解为是指光束与牙弓之间相互作用的结果。光标记可以是点、线、带、或者一组点和/或一组线和/或一组带。因此，一条线可以是连续的，或者是局部中断的且由多条线的片段组成。它可以具有恒定或可变的宽度。光标记的表示、特别是在更新图像上的表示根据该标记的观察方向而变化。
限定词“光”包括从红外线到紫外线的所有电磁波。
“模型”应被理解为是指三维数字表示或“3D模型”。
“图像”应被理解为是指二维数字表示，例如由胶片拍摄的照片或图像。图像由像素形成。
“牙弓图像”或“牙弓模型”应理解为是指所述牙弓的全部或一部分相应地以二维或三维的表示。
参考图像是通过从参考观察方向观察模型而获得的图像。
在牙弓模型的虚拟环境中，可以将与投射到患者牙弓上的光束或“更新光束”相同形式的虚拟光束投射到模型上，以获得所谓的“虚拟”光标记。可以从不同角度观察虚拟光标记，每个视图构成参考图像。虚拟光标记在参考图像上的表示被称为“参考投影”。
历史模型是来自旨在用于训练神经网络的学习库的牙弓模型。将与投射到患者牙弓上的光束相同形式的历史光束投射到历史模型上会产生所谓的“历史”光标记。可以从不同角度观察历史光标记，每个视图构成历史图像。历史光标记在历史图像上的表示被称为“历史投影”。
学习库包括历史模型，优选地多于1000个、优选地多于10000个、优选地多于100000个历史模型，并且对于每个历史模型，关联一组历史投影。
光标记在更新图像上的表示被称为“更新投影”。
对象的两种表示之间的“匹配”或“拟合”表示这两个对象之间的差异或“距离”的度量。当此差异最小时，拟合为最大(“最佳拟合”)。
表现出最佳拟合的两个图像或“视图”理想地以相同的方式基本上表示同一个对象。换句话说，对象在这两个图像上的表示可以基本上重叠。
当在模型上可以观察到的所有参考图像中，一参考图像具有以最小“距离”与更新投影分开的参考投影时，该更新投影表现出与识别的该参考图像上的参考投影的最佳拟合。该参考投影称为“最佳”。
当表示一组更新投影中的所有更新投影与模型之间的差异的距离最小时，模型表现出与该组更新投影的最佳拟合。
“结合在支撑件上”应理解为是指“永久固定在支撑件上”。
除非另有说明，否则动词“包括”、“包含”和“具有”应在广义和非限制性的意义上进行解释。
附图说明
通过阅读以下详细描述并研究附图，本发明的其它特征和优点将变得更加明显，其中：
-图1示意性地示出根据本发明的设备的纵向竖直横截面；
-图2示出从上方看的图1的设备；
-图3示出更新模型的示例；
-图4示出传统的牵开器；
-图5示意性地示出光束的示例；
-图6示意性地示出根据本发明的方法；以及
-图7示出投影到牙弓上的光标记，在这种情况下光标记为光栅格。
具体实施方式
设备
图1所示的获取设备10包括以壳体形式的支撑件12，支撑件12优选地具有恒定的长度，也就是说不是可伸缩的，在支撑件12上固定有牙科牵开器14、投影仪15、优选地至少一个反射镜16、图像获取单元18、和与图像获取单元通信的处理模块20。
支撑件12限定了具有轴线X的平行六面体腔室22，该平行六面体腔室22通过牵开器孔24向外露出。
支撑件可以例如由塑料或纸板制成。
牵开器14可以具有传统牵开器的特征。牵开器14通常包括边缘26，该边缘26围绕牵开器孔延伸并布置成使得患者的嘴唇可以抵靠在该边缘上，同时通过所述牵开器孔露出患者的牙齿。
优选地，牵开器包括用于扩展脸颊27a和27b的凸耳，以便图像获取单元18能够通过牵开器孔获取位于嘴底部的牙齿(例如臼齿)的前庭表面的照片。该特征对PCT/EP2015/074897中描述的方法的实施特别有利。
优选地，牵开器14由生物相容性材料制成，例如由塑料材料制成。
牵开器14可以与支撑件12一件式制成，或者可以通过任何装置优选地刚性地固定在支撑件12上。
优选地，牵开器是可移除的，也就是说，牵开器可以被患者安装在支撑件上以及从支撑件上移除。因此，有利地，同一支撑件可以用于多个牵开器，特别是用于不同尺寸的多个牵开器。
用于将牵开器固定到支撑件上的装置例如可以是夹持装置、
Figure BDA0002834220890000071
类型的自紧带(self-gripping strip)、夹持爪、螺钉、磁铁、或支撑件与牵开器之间的形式互补。
投影仪15被配置为投射以光标记31形式的光束30。因此，在图7中，光束投影出由于与牙弓的相互作用而变形的栅格。
以下详细描述涉及其中光标记是线的特定情况。然而，本发明不限于该特定情况，并且除非技术上不兼容，否则在线的情况中描述的特征可适用于另一种形式的光标记。
当光标记是线时，光束在其从投影仪输出处并且优选地当它到达牵开器孔时的厚度e30优选地是恒定的，且优选地小于1mm、优选地小于0.5mm、优选地小于0.2mm。
在一个实施方式中，光束的平面与光轴形成大于10°，优选地大于20°、大于40°或大于50°，和/或优选地小于80°，优选地小于70°的角度θ。在一个实施方式中，光束的平面与光轴形成大于1°，和/或优选地小于10°、优选小于5°的角度θ。
光束可以直接投射到牙齿上，或者可以经由一个或多个反射镜投射。
光束的宽度l30优选地小于1cm，当其到达牵开器孔时，该宽度优选地大于2cm。
在示出了光束的宽度和厚度的横向于投影方向D15的切割平面中，光束的截面可以具有任何形式。优选地，光束基本上是平坦的，优选地是竖直的，以便通过牵开器孔24在牙齿上绘制至少一条变形的、可能地断开的光线(light line)。
在一个实施方式中，光标记是随时间变化的，特别是当光束是结构化光束时。
优选地，光束是可见光束、红外光束、紫外光束或激光束，优选地是不可见的。不可见光的使用增强了患者对设备的接受度。特别地，患者可能受到可见光、尤其是激光的压力。
紫外光束有利地促进了牙齿中的裂缝的检测。
在一个实施方式中，投影仪15被配置为投射光束30，该光束的特征、特别是波长随着时间变化。从而丰富了对更新图像的分析。
优选地，所述设备包括光源32，光源32优选地为漫射的、优选地由LED组成，该光源32适合于投射促进在所获取的图像上识别光标记的光，例如颜色与光标记的颜色互补的光。具有蓝色光或青色光的照明设备非常适合橙色的光标记。
优选地，光源具有大于80、优选地大于90的显色指数(CRI)。
优选地，腔室22仅通过牵开器孔向外露出。
优选地，图像获取单元是配备有相机的手机。因此，任何配备有手机的患者都可以获取照片形式的更新图像。
图像获取单元可以可移除地安装在支撑件上。优选地，图像获取单元不可移除地固定，也就是说，其被结合在支撑件中。因此，有利地，可以永久地固定图像获取单元与牵开器孔之间的距离、以及图像获取单元的光轴D18与光束的平面之间的角度θ。图像获取单元的校准可以有利地更加精确，这使得可以获得最佳质量的图像。此外，图像获取单元和牵开器孔的固定布置大大促进了对更新模型的搜索。
优选地，图像获取单元提供彩色图像和/或红外图像。红外图像有利地使得可以以极好的对比度示出牙齿。
在一个实施方式中，图像获取单元被配置为按需获取图像，即仅在操作者触发该获取时获取图像。
优选地，图像获取单元被配置为获取包括每秒多于5个、多于10个或多于20个、优选地多于20个图像的一系列图像。
优选地，图像获取单元包括多光谱传感器。
优选地，图像获取单元距牵开器孔的中心的距离d18小于20cm或小于10cm。
优选地，反射镜16是平坦的。反射镜的取向可以是固定的或可变的。
优选地，图像获取单元在以下位置固定在支撑件上，在该位置中，图像获取单元获取包括牵开器孔的直接图像和牵开器孔的由反射镜反射的图像的组合图像。反射镜有利地使得能够在同一个组合图像上观察来自多个观察方向的光标记。表示来自两个不同观察方向的光标记的直接图像和反射图像在本发明的意义上各自构成更新图像。
反射镜16还使得可以获取图像获取单元不能直接获取的更新图像，例如来自上方的视图。
在所示的实施方式中，反射镜16固定在牵开器上。反射镜16也可以固定在支撑件上。
与反射镜16相同或不同的反射镜也可用于使光束转向，以使更新模型能够表示难以、甚至不可能直接暴露于光束的牙弓的部分。
所述设备还可以包括比色图案34和/或半透明图案36，该比色图案34和/或半透明图案36固定在支撑件上、优选地固定在腔室22中。有利地，比色图案34和半透明图案36使得可以针对每个图像校正色调的变化，并促进对更新图像的分析，特别是用以识别光标记。
优选地，所述设备还包括测距仪40，测距仪40被布置为测量相对于支撑件的固定点(例如，图像获取单元的点)与关闭牵开器孔的对象之间的距离。
优选地，该设备还包括热成像相机和/或温度探针和/或呼吸分析仪。
特别地，处理模块20可以是结合在支撑件上的计算机，或者是加载到计算机、手机或平板电脑中的软件。
优选地，处理模块20包括有线或无线的通信装置，用于与图像获取单元以及必要时与测距仪和/或热成像相机和/或温度探针和/或呼吸分析仪进行通信。
当处理模块20未固定在支撑件上时，优选地，处理模块20包括无线通信装置，例如
Figure BDA0002834220890000101
或WiFi。
方法
在使用根据本发明的获取设备的情况中描述了该方法。但是，它不限于此情况。
在步骤A)中，操作者将牵开器14固定在支撑件12上。患者(该患者也可以是所述操作者)然后将他或她的嘴唇布置在由牵开器的边缘限定的通道中。如图3所示，患者的牙齿然后被很好地露出。
通过按压获取单元上的触发器，操作者激发光束30的发射，以便直接地或经由一个或多个反射镜将光标记投影到患者的牙弓上。
在一个实施方式中，当患者将他或她的头保持笔直时，光束是平坦的并且光束的平面基本上是竖直的。
通过按压获取单元的触发器，操作者激发光源32的发光，并且优选地，通过优选地使用由测距仪执行的测量来激发获取单元的校准。然后，它激发了一系列更新图像的获取。优选地，只要操作者在触发器上保持压力就可以保持这种状态。
在一优选实施方式中，更新图像是由胶片拍摄的照片或图像。
在步骤B)中，然后患者使他或她的牙齿移位，使得在获取更新图像期间光束在牙弓上行进。更具体地，他或她相对于支撑件转动头，同时将他或她的嘴唇保持在牵开器上，这允许他或她将其门牙、犬齿、然后臼齿在一侧，然后在另一侧依次暴露于光束。
如果支撑件包括反射镜16，则所获取的图像可以是均由直接图像和至少一个由反射镜反射的图像组成的图像。
由测距仪和/或热成像相机和/或温度探针和/或呼吸分析仪获取的测量值被传输到处理模块20。
在步骤C)中，处理模块20根据传统处理方法来处理所获取的图像，以便将直接图像与一个或多个反射图像分离，并因此使更新图像倍增。
在一个实施方式中，该处理包括反射图像的反转操作和/或透视效果的校正操作和/或借助于比色图案的颜色校正操作。
然后，处理模块20识别更新图像上的更新投影。可以通过任何图像处理方法来执行更新图像上的更新投影的识别。
最后，处理模块20搜索更新模型。用于此的方法是没有限制的。
对更新模型的搜索尤其可以通过最优化、优选地借助元启发式方法和/或深度学习设备的实现而得到。
元启发式方法是已知的最优化方法。优选地，该方法选自由以下形成的组：
-进化论算法，其优选地从以下中选择：
进化策略、遗传算法、差分进化算法、分布估计算法、人工免疫系统、混合复杂进化路径重链接、模拟退火算法、和蚁群算法、粒子群优化算法、禁忌搜索和GRASP方法；
-袋鼠算法，
-弗莱彻和鲍威尔方法，
-干扰法，
-随机穿遂法，
-随机重启爬坡，
-交叉熵方法，以及
-上述元启发式方法之间的混合方法。
最优化通过迭代进行。
优选地，创建待测试模型，然后确定表示所有更新投影与待测试模型之间的差异的距离。
例如，如果光束是平坦的，则光标记在更新图像上的更新投影由在该图像上的、线(可能分段)的投影的表示形成。
如果光束不是平坦的，例如由栅格组成，则光标记在更新图像上的更新投影是复杂的形式。图7是更新图像的示例，其示出在牙弓上的、栅格的更新投影。
为了评估表示距离，首先为每个更新表示(updated representation)确定与待测试模型的基本距离。为此，寻求最佳参考图像，也就是说待测试模型的视图，该视图使得可以观察到最佳参考表示，也就是说最类似于更新表示的参考表示。然后认为最佳参考图像表现出与更新图像的最佳拟合。
然后，例如通过计算最佳参考投影和更新投影之间的平均距离(以mm或像素数量为单位)来评估这两个投影之间的差异。该差异可以构成基本距离。
所述表示距离可以是例如基本距离的平均值。它给出了待测试模型与所有的一系列更新图像的拟合的指示。
然后修改待测试模型，并利用新的待测试模型恢复循环。优选地，确定该修改以最小化循环数量(表示距离的评估、待测试模型的修改)。
重复该循环，直到获得的表示距离低于预定的可接受度阈值，优选地该可接受度阈值被认为是最小的。
对应于该表示距离的待测试模型构成了更新模型。
为了加快步骤C)，优选地，第一待测试模型是牙弓模型。
第一待测试模型可以是患者的牙弓的模型，例如在正畸治疗开始时产生的模型。第一待测试模型可以是理论模型，其不表示特定患者的牙弓。优选地，第一待测试模型是处理患者特征的牙弓模型，例如对于相同年龄和/或相同性别和/或经历了相同治疗或类似治疗和/或在相同位置具有相同数量的牙齿的患者来说典型的牙弓模型。
在优选的实施方式中，将待测试模型进行分段，优选地用以针对牙弓的每个牙齿限定牙齿模型。待测试模型的修改可以有利地包括牙齿模型的移位和/或这些牙齿模型的变形。由此大大加快了对更新模型的搜索。
确定连续的待测试模型的修改是现实的，例如从而不会导致牙齿模型的相互渗透，或者不会导致牙齿的生理上不可能的位置或变形。
深度学习设备(优选是神经网络)是本领域技术人员众所周知的一组算法。
特别地，神经网络可以从以下中选择：
-专门用于图像分类的网络，例如被称为“CNN”(“卷积神经网络”)的网络
-AlexNet(2012)
-ZF Net(2013)
-VGG Net(2014)
-GoogleNet(2015)
-微软ResNet(2015)
-Caffe：BAIR Reference(参考)CaffeNet、BAIR AlexNet
-Torch：
VGG_CNN_S、VGG_CNN_M、VGG_CNN_M_2048、VGG_CNN_M_1024、VGG_CNN_M_128、VGG_CNN_F、16-layer(层)VGG ILSVRC-2014、18层VGG ILSVRC-2014、网络中网络(Imagenet和CIFAR-10)
-Google：Inception(V3，V4)；
-专门用于定位和检测图像中的对象的网络，例如“对象检测网络”：
-R-CNN(2013)
-SSD(单发多箱检测器(Single Shot MultiBox Detector)：对象检测网络)，更快的R-CNN(基于更快区域的卷积网络方法：对象检测网络)
-更快的R-CNN(2015)
-SSD(2015)。
上面的列表不是限制性的。
通常，深度学习设备通过被称为“深度学习”的学习方法来训练。
首先建立学习库。该学习库包括历史牙弓模型、以及针对每个历史模型的一组相关联的历史投影。
通过将历史模型和相应的多组历史投影作为深度学习设备的输入，深度学习设备逐渐学习从一组投影中识别出图案并将其与牙弓模型相关联。
在已经如此训练深度学习设备之后，可以将所述一系列更新图像的所述一组更新投影提交给该深度学习设备。由于其训练，深度学习设备能够识别其中的图案，并能够确定与该组更新投影相对应的牙弓模型，因此该牙弓模型可以视为更新模型。
显然，可以将最优化和深度学习技术结合。
例如，可以首先使用深度学习设备创建第一待测试模型，然后修改此模型以对其进行最优化。
也可以使用深度学习设备来识别更新图像上表示的每个牙齿的性质(例如“门牙”或“臼齿”)，然后在牙齿模型库中搜索相同性质的与所述牙齿最佳对应的牙齿模型。上面描述的用于搜索牙弓模型的技术可以用于搜索牙齿模型。
在已经识别出牙齿模型之后，可以将它们布置成形成第一待测试牙弓模型，然后修改该第一模型以对其进行最优化，如上所述。
用于产生更新模型的其它方法也是可行的。
特别地，对更新投影的分析可以允许评估图像获取单元与牙弓之间的距离。
在一个实施方式中，如果更新投影已经以与投影方向成直角的角度投影至屏幕上，则分析更新投影相对于其形状的变形。该分析使得可以评估牙弓的浮凸，也就是说在光标记投影的区域中投影仪与牙弓之间的距离的变化。可以根据更新投影的变形来评估距离变化的算法是已知的。
为了消除任何歧义，例如，当光标记在包括孔、闭塞将或快速变化的深度的区域上延伸时，光束优选为结构化光束，这种光束是由一些3D扫描仪使用的类型光束，并且特别地，可以使用“多带激光器三角测量(Multistripe Laser Triangulation，MLT)”。
仍然优选地，光束被配置为以与投影方向成直角的角度将非重复的图案投投射至屏幕，这有助于消除歧义。
与光束的投影方向D15成直角的平面和光轴之间的角度优选地大于1°和/或小于10°，优选地小于5°。
对更新投影的分析还可以包括对以立体视觉拍摄、也就是说由具有不同光轴的多个图像获取单元同时拍摄的更新图像上表示的同一个光标记的更新投影进行比较分析。优选地，光轴之间的角度偏差大于1°和/或小于10°，优选地小于5°。
为了改进对更新投影的分析，还可以通过对更新图像进行分析来评估距离。特别地，牵开器的两个显著点之间的尺寸是已知的，这使得可以评估两个连续的更新图像之间图像获取单元相对于牙弓的相对位移。
牙弓跨光束的移位可以由牙弓移位而光束保持不动、光束移位而牙弓保持不动、或牙弓和光束同时移位引起。
在一个实施方式中，牙弓跨光束的移位仅由光束的移位引起，并且该移位受控。然后要求患者不要移动，并且使光束移位以使其以受控的速度(例如恒定的速度)扫描牙弓。然而，受控的移位需要提供用于驱动投影仪或光束返回反射镜的装置，例如电动机。
优选地，不机械地控制牙弓跨光束的移位，尤其是因为患者可以以未知的速度相对于光束移动他或她的牙弓。
因此，一种单一的用于分析更新投影的方法可能证明是不充分的。例如，如果光标记是竖直的线，并且其仅由单个图像获取单元观察到，则该分析并不一定能够确定跟随牙齿跨光束滚动的方向的准确信息。
因此，优选地，将多种分析方法结合。优选地，所述方法中的至少一种实施神经网络或元启发式方法。
在步骤C)的结束，获得更新模型，该模型是已经作为所述一系列更新图像的主题的牙弓的良好表示。
有利地，所述方法不需要实施扫描仪，并且可以容易地实施，可能地由患者自己实施，而无需将任何对象引入他或她的嘴中。
如现在清楚显现的，根据本发明的设备有利地使得可以非常快速地创建牙弓的模型，而无需使用扫描仪或专家(特别是牙医或牙齿矫正医师)。该方法可以特别地由患者他或她自己、或者他或她附近的某人，在任何地方、特别是在医学、牙科或正畸实践的地方之外实施。不需要将任何特定的器械安装到患者的牙弓上。
显然，本发明不限于所描述和呈现的实施方式，这些实施方式仅出于说明性目的而提供。
特别地，为了便于分析，可以通过多条线或栅格或一组点(优选未对齐的点)或带的投影来产生光标记。有利地，光带具有确定的宽度，这有利于确定尺寸。此外，带的边缘提供与两条线相同的技术信息。带的宽度优选地大于0.5mm、大于1mm、大于2mm、大于3mm和/或小于10mm。
在一个实施方式中，光束围绕投影方向的取向是可变的。在一个实施方式中，该取向在获取更新图像期间变化。
此外，图像获取单元和投影仪相对于牵开器孔的平面的位置可以与上面描述和示出的位置不同。特别地，投影方向D15不必须与牵开器孔的平面成直角。
在一个实施方式中，图像获取单元的光轴D18与牵开器孔的平面成直角。这种情况例如对应于图1和图2的实施方式，其中图像获取单元和投影仪的位置将颠倒。

Claims (15)

1.一种用于借助获取设备生成患者的牙弓的三维数字模型的方法，所述获取设备包括：
-支撑件(12)；
-固定至所述支撑件并限定牵开器孔(24)的牙科牵开器(14)；
-更新图像获取单元(18)，所述更新图像获取单元(18)在其沿着光轴(D18)观察所述牵开器孔的位置固定至所述支撑件；
-投影仪(15)，所述投影仪(15)适合于朝向所述牵开器孔投射光束(30)以在所述患者佩戴所述牵开器时在所述患者的牙弓上绘制至少一个光标记，以及
-处理模块(20)，
所述方法包括以下步骤：
A)借助于所述投影仪(15)，将至少一个光束(30)投射到所述牙弓上，以便在所述牙弓上绘制至少一个光标记；
B)与步骤A)同时地，使所述牙弓跨所述光束(30)移位，并且在所述移位期间获取所述牙弓的一系列更新图像，每个更新图像示出投影的光标记的表示或“更新投影”；
C)由所述处理模块(20)识别在每个更新图像上的所述更新投影，然后由所述处理模块(20)产生被称为“更新模型”的、表现出与所有更新投影的最佳拟合的三维数字模型，借助于最优化方法和/或深度学习设备来寻求所述更新模型。
2.根据权利要求1所述的方法，其中，在步骤C)中，将所述更新模型确定为在以下步骤a)至步骤c)的循环结束时获得的待测试模型：
a)创建待测试模型，然后，
b)确定表示所有更新投影与所述待测试模型之间的差异的距离，然后，
c)如果所述表示距离超过预定的可接受度阈值，则修改所述待测试模型并返回步骤a)，
从基本距离确定所述表示距离，对于相应的更新投影，通过评估所述更新投影与最佳参考投影之间的差异来确定每个基本距离，
参考投影是在表示所述待测试模型的视图的参考图像上的虚拟光标记的表示，所述虚拟光标记通过将与在步骤A)中投射在所述牙弓上的光束相同形式的虚拟光束投射至所述待测试模型上而产生，
最佳参考图像是示出如下参考投影的参考图像，该参考投影表现出与所述更新投影的最小距离。
3.根据权利要求2所述的方法，其中，将所述待测试模型分段以限定牙齿模型，并且在步骤c)中所述待测试模型的修改包括所述牙齿模型的移位和/或这些牙齿模型的变形。
4.根据权利要求1至3中任一项所述的方法，其中，在步骤C)中，为了产生所述更新模型，修改根据所述患者的特征限定的模型。
5.根据权利要求1至3中任一项所述的方法，其中，在步骤C)中，实施来自最优化方法、人工智能方法、通过立体视觉来评估尺寸的方法、通过分析所述光标记的形式来评估尺寸的方法、以及通过分析所述更新图像的显著点之间的距离来评估尺寸的方法中的至少两种方法。
6.根据权利要求1至3中任一项所述的方法，其中，在步骤A)中，投射结构化光束。
7.根据权利要求1至3中任一项所述的方法，其中，在步骤B)中，所述患者佩戴相对于用于获取所述更新图像的所述更新图像获取单元固定的所述牙科牵开器，并且所述患者使所述牙弓相对于所述更新图像获取单元移位。
8.根据权利要求1至3中任一项所述的方法，其中，所述获取设备包括：被配置为朝向所述更新图像获取单元反射图像的反射镜(16)和/或被配置为反射所述光束的反射镜、和/或多光谱传感器、和/或比色图案(34)和/或半透明图案(36)、和/或热成像相机和/或温度探针和/或呼吸分析仪、和/或测距仪，所述测距仪与所述更新图像获取单元进行通信并被布置为测量所述支撑件的点与关闭所述牵开器孔的对象之间的距离。
9.根据权利要求1至3中任一项所述的方法，其中，所述更新图像获取单元(18)和/或所述处理模块(20)被结合在所述支撑件上。
10.根据权利要求1至3中任一项所述的方法，其中，所述投影仪被配置为投射肉眼不可见的光束。
11.根据权利要求1至3中任一项所述的方法，其中，所述投影仪被配置为投射紫外光束。
12.根据权利要求1至3中任一项所述的方法，其中，所述投影仪(15)被配置为随时间而改变所述光束(30)的波长和/或形式。
13.根据权利要求1至3中任一项所述的方法，其中，所述光标记是点、线、带、或者一组点和/或一组线和/或一组带。
14.根据权利要求1至3中任一项所述的方法，其中，所述光标记是线，并且所述光束在所述投影仪的输出处以及当所述光束到达所述牵开器孔时的厚度(e30)小于1mm。
15.根据权利要求14所述的方法，其中，所述光束的平面与所述光轴形成大于10°且小于80°的角度θ。
CN201980039993.4A 2018-04-13 2019-04-05 用于生成牙弓的3d模型的方法 Active CN112367943B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305458.4A EP3552575B1 (fr) 2018-04-13 2018-04-13 Procédé de génération d'un modèle 3d d'une arcade dentaire
EP18305458.4 2018-04-13
PCT/EP2019/058708 WO2019197297A1 (fr) 2018-04-13 2019-04-05 Procede de generation d'un modele 3d d'une arcade dentaire

Publications (2)

Publication Number Publication Date
CN112367943A CN112367943A (zh) 2021-02-12
CN112367943B true CN112367943B (zh) 2022-05-27

Family

ID=62046825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039993.4A Active CN112367943B (zh) 2018-04-13 2019-04-05 用于生成牙弓的3d模型的方法

Country Status (5)

Country Link
US (1) US11883258B2 (zh)
EP (1) EP3552575B1 (zh)
CN (1) CN112367943B (zh)
BR (1) BR112020020944A2 (zh)
WO (1) WO2019197297A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3552575B1 (fr) * 2018-04-13 2021-03-10 Dental Monitoring Procédé de génération d'un modèle 3d d'une arcade dentaire
AU2021227914A1 (en) 2020-02-26 2022-09-22 Get-Grin Inc. Systems and methods for remote dental monitoring
FR3137270A1 (fr) * 2022-07-04 2024-01-05 Dental Monitoring Dispositif de prises de vues extrabuccales

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820707A (zh) * 2004-12-20 2006-08-23 通用电气公司 登记介入系统中的3d图像的方法及系统
EP1276072B1 (en) * 2001-06-28 2007-02-28 Eastman Kodak Company Method and system for creating dental models from imagery
CN101526336A (zh) * 2009-04-20 2009-09-09 陈炳生 基于量块的线结构光三维视觉传感器标定方法
CN104346803A (zh) * 2013-08-05 2015-02-11 好来化工(中山)有限公司 用于对口腔组织进行分析的方法和装置以及牙科分析系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10120717B4 (de) * 2001-04-27 2005-03-24 Ivoclar Vivadent Ag Dentalkamera
US7978892B2 (en) * 2006-10-25 2011-07-12 D4D Technologies, Llc 3D photogrammetry using projected patterns
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
DE102012201193B3 (de) * 2012-01-27 2013-06-13 Sirona Dental Systems Gmbh Verfahren und Referenzmodell zur Überprüfung eines Vermessungssystems
DE102014205784B4 (de) * 2014-03-27 2024-01-18 Sirona Dental Systems Gmbh Scanvorrichtung
CN106999020A (zh) * 2014-12-17 2017-08-01 卡尔斯特里姆保健公司 口腔内3d荧光成像
US10136970B2 (en) * 2015-01-18 2018-11-27 Dentlytec G.P.L.Ltd System, device, and method for dental intraoral scanning
US9844426B2 (en) * 2015-03-12 2017-12-19 Align Technology, Inc. Digital dental tray
AU2017213787B2 (en) * 2016-02-01 2021-08-05 Marco MARTIN Dental imager and method for recording photographic impressions
US11022432B2 (en) * 2017-02-15 2021-06-01 3Shape A/S Monitoring the scan volume of a 3D scanner
US10350037B2 (en) * 2017-05-08 2019-07-16 Carestream Dental Technology Topco Limited Sawtooth wave surface detection in 3D dental reconstruction system
EP3658069A4 (en) * 2017-07-26 2021-03-24 Dentlytec G.P.L. Ltd. INTRA-ORAL SCANNER
KR20200100595A (ko) * 2017-08-17 2020-08-26 트로피 구강내 표면 스캐닝을 위한 스텐실
EP3552575B1 (fr) * 2018-04-13 2021-03-10 Dental Monitoring Procédé de génération d'un modèle 3d d'une arcade dentaire
EP4146058A1 (en) * 2020-05-06 2023-03-15 Dentlytec G.P.L. Ltd. Intraoral scanner
US11962892B2 (en) * 2020-07-23 2024-04-16 Align Technology, Inc. Image based dentition tracking
US20220338723A1 (en) * 2021-04-26 2022-10-27 Align Technology, Inc. Smartphone dental imaging attachment apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1276072B1 (en) * 2001-06-28 2007-02-28 Eastman Kodak Company Method and system for creating dental models from imagery
CN1820707A (zh) * 2004-12-20 2006-08-23 通用电气公司 登记介入系统中的3d图像的方法及系统
CN101526336A (zh) * 2009-04-20 2009-09-09 陈炳生 基于量块的线结构光三维视觉传感器标定方法
CN104346803A (zh) * 2013-08-05 2015-02-11 好来化工(中山)有限公司 用于对口腔组织进行分析的方法和装置以及牙科分析系统

Also Published As

Publication number Publication date
EP3552575B1 (fr) 2021-03-10
CN112367943A (zh) 2021-02-12
US11883258B2 (en) 2024-01-30
BR112020020944A2 (pt) 2021-03-02
US20210145550A1 (en) 2021-05-20
WO2019197297A1 (fr) 2019-10-17
EP3552575A1 (fr) 2019-10-16

Similar Documents

Publication Publication Date Title
US20230050272A1 (en) Monitoring of dentition
US10779909B2 (en) Method for monitoring an orthodontic treatment
US11723758B2 (en) Intraoral scanning system with visual indicators that facilitate scanning
CN112367943B (zh) 用于生成牙弓的3d模型的方法
US10417774B2 (en) Method for monitoring an orthodontic treatment
CN104812291B (zh) 用于口腔的扫描仪
EP2729048B1 (en) Three-dimensional measuring device used in the dental field
CN107735016A (zh) 用于扫描解剖结构且用于显示扫描结果的系统和方法
KR101043976B1 (ko) 구강용 스캐너
US20150097931A1 (en) Calibration of 3d scanning device
US20150002649A1 (en) Device for detecting the three-dimensional geometry of objects and method for the operation thereof
JP2006145405A (ja) 三次元計測装置および三次元計測方法並びに三次元計測プログラム
JP2012016573A (ja) 歯科用補綴物計測加工システム
US20150097968A1 (en) Integrated calibration cradle
CN114846518A (zh) 用于医疗成像的增强现实头戴设备
CN107249427A (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
KR101137516B1 (ko) 구강용 스캐너 및 이를 포함하는 기공물 제조 시스템
WO2020037582A1 (en) Graph-based key frame selection for 3-d scanning
CN109313016A (zh) 利用流体分割的口内3d扫描仪
US20200197136A1 (en) Stencil for intraoral surface scanning
JP2023142939A (ja) 識別装置、識別方法、および識別プログラム
Visentini-Scarzanella et al. Tissue shape acquisition with a hybrid structured light and photometric stereo endoscopic system
KR20240013207A (ko) 덴탈 아치의 모델을 취득하기 위한 방법
JP2023143585A (ja) データ処理装置、データ処理方法、およびデータ処理プログラム
CN117338465A (zh) 口腔定位方法、系统、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant