CN114365184A - 用于检测三维测量中的错误的方法、系统和计算机可读存储介质 - Google Patents

用于检测三维测量中的错误的方法、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN114365184A
CN114365184A CN202080063523.4A CN202080063523A CN114365184A CN 114365184 A CN114365184 A CN 114365184A CN 202080063523 A CN202080063523 A CN 202080063523A CN 114365184 A CN114365184 A CN 114365184A
Authority
CN
China
Prior art keywords
images
image
individual
neural network
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080063523.4A
Other languages
English (en)
Inventor
R·施纳贝尔
S·施奈德
A·安达姆森
M·梅耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsply Sirona Inc
Original Assignee
Dentsply Sirona Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dentsply Sirona Inc filed Critical Dentsply Sirona Inc
Publication of CN114365184A publication Critical patent/CN114365184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)

Abstract

一种用于牙齿三维测量过程中图像缺陷的方法、系统和计算机可读存储介质。操作员可以使用牙科相机扫描牙齿，受训练的深度神经网络可以自动检测输入图像中具有缺陷的部分，并生成有关这些缺陷的输出信息，以便采取校正措施。

Description

用于检测三维测量中的错误的方法、系统和计算机可读存储 介质
相关申请的交叉引用
本专利申请要求于2019年9月24日提交的美国申请No.16/579,995的权益和优先权，通过引用将其并入本文以用于所有目的。
技术领域
本申请总体上涉及用于检测三维(3D)测量中的错误的方法、系统和计算机可读存储介质，更具体地，涉及用于利用深度学习方法来检测3D测量中的错误的方法、系统和计算机可读存储介质。
背景技术
可以训练牙科医生以使用裸眼检测3D图像(例如口内图像)中的错误。这些错误可能是由干扰因素引起的图像中的缺陷/干扰，例如口内扫描仪/相机的玻璃的不规则性(例如划痕、呼吸起雾、唾液滴等)、在被扫描的牙齿上的异物的存在(例如唾液泡或血液)，测量环境中的不利条件(例如阳光或手术灯)以及口内扫描仪的故障(例如相机传感器中的像素故障)。如果在测量/扫描过程中没有发现这些错误，则测量可能无法完成，精度可能较低，或者由于反复中断而明显延迟。
然而，对于有经验的和没有经验的牙医来说，这些错误以及错误的来源可能很难检测到。通常，它们可能仅在测量过程的后期或通过记录条件的常规或手动检查时才被注意到。更具体地说，一些错误可能非常细微，以至于传统方法可能无法将这些错误与可能始终存在的一般传感器噪声和校准错误区分开来(例如，相机玻璃上的小划痕可能会导致测量数据中出现小“凸起”，所述“凸起”的高度与传感器噪声的高度相似。但是，由于这些错误是系统性的，它可能并不总是能够通过附加图像平均掉的。其他更严重的错误，确实可能导致常规检查发现问题然后停止获取过程。然而，传统/手动方法可能无法诊断错误的原因，并且使用传统或手动方法实现具有所需复杂性的滤波器是无法管理的。
另一方面，对错误的自动检测可以给出错误测量的早期指示，以便采取适当的对策。
美国专利No.9788917B2公开了一种在自动正畸诊断和治疗计划中采用人工智能的方法。该方法可以包括：提供被配置为由患者操作的口内成像器；接收有关正畸情况的患者数据；访问包含或可以访问从正畸治疗中获得的信息的数据库；生成正畸情况的电子模型；以及指示至少一个计算机程序分析患者数据，并基于从正畸治疗中获得的信息识别正畸情况的至少一种诊断和治疗方案。
美国专利申请公开No.20190026893A1公开了一种用于评估正畸矫正器的形状的方法，其中将分析图像提交给深度学习设备，以确定与分析图像上所表示的牙齿相关的牙齿属性值，和/或与分析图像相关的图像属性的至少一个值。
PCT申请PCT/EP2018/055145公开了一种用于构建修复体的方法，其中通过牙科相机测量牙齿状况并生成牙齿状况的三维(3D)模型。然后可以将计算机辅助检测算法应用于牙齿情况的3D模型，并且自动确定修复体的类型、牙齿数量或修复体的位置。
美国申请公开No.20180028294A1公开了一种使用深度学习的牙科CAD自动化方法。该方法可以包括：接收代表患者牙列数据集的至少一部分的患者扫描数据；并使用经过训练的深度神经网络识别患者扫描中的一个或多个牙齿特征。这里，可以在生成完整扫描之后执行设计自动化。然而，这种方法并没有改善实际的扫描过程。
发明内容
通过用于利用深度学习方法检测3D测量中的错误的方法、系统和计算机可读存储介质，可以克服与前述相关联的现有限制以及其他限制。这些3D测量可包括口内测量，但也可以不限于此类测量。例如，可以包括口外测量，例如对石膏模型的测量。
在本文的一个方面，本发明可以提供一种用于在三维测量期间检测缺陷的计算机实施的方法，该方法包括：通过一个或多个计算设备接收患者牙列的单独图像；通过将患者牙列的单独图像分割成与语义区域和/或错误区域对应的区域，使用经过训练的深度神经网络的一个或多个输出标签值自动识别所述缺陷；确定一种或多种校正方案以校正已识别的缺陷；以及组合患者牙列的所述单独图像以形成校正后的全局3D图像。所述输出标签值可以是概率值。
在本文的另一个方面，所述计算机实现的方法可以进一步包括以下步骤的一个或多个组合：(i)其中所述单独图像是单独的三维光学图像，(ii)其中所述单独图像被接收为图像的时间序列，(iii)其中所述单独图像包括患者牙列的3D测量数据和颜色数据，(iv)其中识别的错误区域的相关性的指示基于对应的语义区域，(v)进一步包括:使用一个或多个计算设备和多个单独的训练图像训练所述深度神经网络，以将每个训练图像的至少一部分中的一个或多个缺陷映射到概率向量的一个或多个概率值，其中训练是通过将所述单独的训练图像和/或所述单独的训练图像的像素分类为与语义数据类型和/或错误数据类型对应的一个或多个类别，来在像素级别上完成的，(vi)其中所述语义数据类型选自由牙齿、脸颊、嘴唇、舌头、牙龈、填充物和陶瓷构成的组，并且其中所述错误数据类型选自由雾化、划痕、唾液滴、污垢、血迹、高光、环境照明、测量距离、像素缺陷构成的组，(vii)进一步包括通过在所述单独图像的登记之前屏蔽对应于缺陷的位置来校正缺陷，(viii)进一步包括通过使用预定权重部分地包括与缺陷对应的位置的贡献来校正缺陷，(ix)还包括通过与缺陷相对应地自动调整牙科相机的参数来校正缺陷，(x)其中所述参数包括牙科相机的镜头的温度、光强度和曝光时间，(xi)进一步包括通过向用户传递警告和/或生成关于错误的报告来指示缺陷，(xii)其中所述深度神经网络是从由卷积神经网络(CNN)、循环神经网络(RNN)和循环卷积神经网络(Recurrent-CNN)组成的组中选择的网络。
在本发明的又一方面中，可以提供一种存储程序的非暂时性计算机可读存储介质，该程序在由计算机系统执行时，使所述计算机系统执行包括以下步骤的过程：通过一个或多个计算设备接收患者牙列的单独图像；通过将患者牙列的所述单独图像分割成与语义区域和/或错误区域对应的区域，使用经过训练的深度神经网络的一个或多个输出概率值，自动识别患者牙列的所述单独图像中的缺陷；确定一种或多种校正方案来校正已识别的缺陷，以及组合患者牙列的所述单独图像以形成校正后的全局3D图像。
此外，可以提供一种用于在三维测量期间检测缺陷的设备，该设备包括处理器，所述处理器被配置用于：通过一个或多个计算设备接收患者牙列的单独图像；通过将患者牙列的所述单独图像分割成与语义区域和/或错误区域相对应的区域，使用经过训练的深度神经网络的一个或多个输出标签值，自动识别患者牙列的所述单独图像中的缺陷，确定一个或多个校正方案以校正已识别的缺陷，并组合患者牙列的所述单独图像，以形成校正后的全局3D图像。
附图说明
从以下给出的详细描述和附图，示例实施例将变得可更充分地理解，其中相同的元件由相同的附图标记表示，这些附图仅以说明的方式给出并因此并非是对这里的示例实施例的限制，其中：
图1是口腔的俯视图的示意图，示出了患者牙列的单独图像的扫描/记录。
图2是根据本发明一个实施例的系统的高级别框图。
图3是根据本发明一个实施例的由单独图像形成的牙列的全局3D图像的透视图，其中它们的缺陷没有被去除。
图4是根据本发明一个实施例的由去除了它们的缺陷的单独图像形成的牙列的校正的全局3D图像的透视图。
图5是示出根据一个实施例的神经网络(诸如深度神经网络)的结构的高级别框图。
图6A是图示根据本发明一个实施例的方法的流程图。
图6B是根据本发明一个实施例的用于训练的样本图像。
图7是示出本发明一个实施例的框图。
图8是示出本发明的另一个实施例的另一个框图。
图9是图示本发明一个实施例的又一框图。
图10是示出根据本发明一个示例性实施例的计算机系统的框图。
不同的附图至少一些附图标记可以是相同的，以便标识相同的组件，然而下面可能不针对每个附图提供每个这样的组件的详细描述。
具体实施方式
根据本文描述的示例方面，可以提供一种方法、系统和计算机可读存储介质，用于利用深度学习方法来检测3D测量中的错误。
用于检测3D测量中的错误的系统
患者口腔的准确3D测量可能会受到诸如唾液滴或患者牙齿上的血液等因素的阻碍。优选地，本文所述的系统可以获得图像，例如单独的三维光学图像2(图1)，其中每个三维光学图像2优选地包括牙齿的测量表面的3D测量数据和颜色数据，并且优选地是通过直接口内扫描在口腔中顺序记录的。例如，这可能发生在牙科诊所或诊所，并且可能由牙医或牙科技师执行。也可以通过扫描患者牙齿的印模或通过存储的图像序列间接获得图像。使用优选地以时间序列获得的图像，计算机实现的系统可以自动识别和/或校正图像中的错误/缺陷15，以促进准确扫描患者牙列。这里，可以实时进行校正。当然，图像也可以是单独的二维(2D)图像、RGB图像、范围图像(二维半，2.5D)、4通道图像(RGB-D)，其中深度和颜色可以不完全对齐，即深度和彩色图像可能在不同时间段获取。
在扫描过程中，可以创建多个单独图像，然后可以组合至少两个单独图像的序列8或多个序列8以形成整体/全局3D图像10(图3)。更具体地，如图1所示，可以通过扫描仪/牙科相机3获得各三维光学图像2(其以矩形形式示出)，该扫描仪/牙科相机3可以在测量期间沿着测量路径4相对于对象1移动。牙科相机3可以是手持式相机，例如其使用边缘投影法测量对象1。本领域普通技术人员可以实现3D测量的其他方法。使用计算机检查第一图像6和第二图像7之间重叠区域5(以虚线示出)以确定是否满足记录条件，如果满足，则可以组合三维光学图像2以形成全局3D图像10。记录条件可以包括足够的尺寸、足够的波纹度(waviness)、足够的粗糙度和/或特征几何形状的足够数量和布置。然而，可能难以对计算机进行编程来以与检查记录条件传统方式相同的方式确定由干涉因素引起的各个三维光学图像2中的错误/缺陷15。另一方面，神经网络可以学习复杂的任务以识别错误15的原因，并可以或隔离受影响的区域(以使得扫描过程可以进行而不间断)或给出诊断以及建议的校正措施给用户。所述干扰因素可以包括口内扫描仪/相机的玻璃中的不规则性(例如划痕、呼吸起雾、唾液滴等)、被扫描牙齿上存在异物(例如唾液泡、血液、污垢)、测量环境中的不利条件(例如阳光或手术灯光、距牙齿的测量距离/角度)、以及口内扫描仪的故障(例如摄像头传感器中的像素故障、LED故障)。所述干扰因素也可以被认为是错误/缺陷15本身，并且可以出现在图像中。例如，由血液引起的各三维光学图像2中的缺陷15(其可能类似于由诸如唾液滴等其他流体引起的缺陷)可能在各三维光学图像2中表现为高光和反射，导致到测量错误。例如，由血液引起的缺陷15可能在被血液覆盖的区域的局部。因此，在去除血液时，也可以去除缺陷15。因此，术语缺陷15和错误在下文中可用于共同指代出现在所述单独三维光学图像2中的缺陷/错误/干扰/失真和干扰因素，它们有时可能足够微小以至于肉眼无法察觉并且可能导致患者牙列测量不准确、患者牙列测量耗时(由于扫描过程中存在多个中断(因此需要重新定位扫描设备))，和/或患者牙列无法测量(例如在相机玻璃起雾的情况下)。
因此，该系统可以使用多个训练数据集来训练诸如深度神经网络之类的神经网络，以优选实时地自动识别和/或校正三维光学图像2中的错误/缺陷15。因此，可以减少或消除传播到全局3D图像10的全局缺陷17，如图4的校正的全局3D图像9中所示，和/或由于更少/没有中断，可以改进扫描流程。例如，该系统可以在像素级别上检测和用标签来标记缺陷15，所述标签对应于起雾、划痕、唾液滴、污垢、血液、高光等，或者在图像级别上使用标签来标记缺陷15，所述标签例如环境照明、测量距离等。本系统还可以识别和用对应于三维光学图像中的牙齿、脸颊、嘴唇、舌头、牙龈、填充物、陶瓷的标签来标记语义数据(用于上下文语境目的)2。此外，在检测到错误时该系统可以确定校正措施和/或应用所述确定的校正措施，所述错误优选地以知晓上下文的方式确定(即，上下文对于选择适当的校正方法可能是重要的。例如，脸颊或牙龈上的唾液可以被忽略，因为与脸颊相对应的部分扫描所需的精度可能远低于牙齿的精度)。
图2示出了根据一个实施例的用于从患者牙列的各三维光学图像2中识别牙齿信息的系统200的框图。系统200可以包括牙科相机3、训练模块204、图像校正模块206、计算机系统100和数据库202。在另一个实施例中，数据库202、图像校正模块206和/或训练模块204可以是计算机系统100的一部分，和/或能够基于校正方案直接和/或间接地调整牙科相机3的参数。计算机系统100还可以包括至少一个计算机处理器122、用户界面126和输入单元130。计算机处理器可以接收各种请求，并且可以将存储在存储设备上的适当指令加载到存储器中，然后执行加载的指示。计算机系统100还可以包括通信接口146，其使得软件和数据能够在计算机系统100和外部设备之间传输。
计算机系统100可以从诸如牙科相机3的外部设备或用户(未示出)接收错误检测请求，并且可以加载适当的指令以检测所述错误。或者，计算机系统可以在接收到单独的三维光学图像2时独立地检测所述错误，而无需等待请求。
在一个实施例中，计算机系统100可以使用来自数据库202(其可以包括例如多个单独的三维光学图像2)的许多训练数据集来训练一个或多个深度神经网络，其可以是训练模块204的一部分。在一些实施例中，系统200可以包括神经网络模块(未示出)，其包含各种深度学习神经网络，例如卷积神经网络(CNN)、循环神经网络(RNN)和循环卷积神经网络(Recurrent-CNN)。Courtney J.Spoerer等人在题为“Recurrent Convolutional NeuralNetworks:A Better Model of Biological Object Recognition”(Front.Psychol，2017年9月12日)的出版物中描述了一个示例循环CNN(Recurrent-CNN)模型，在此通过引用将其全部内容并入在此，如同其完全公开在此。
可以对到神经网络的训练数据集和/或输入进行预处理。例如，为了结合3D测量来处理颜色数据，可以应用校准以将彩色图像与3D表面对准。此外，可以将诸如合成旋转、缩放等标准数据增强程序应用于训练数据集和/或输入。
训练模块204可以与标签一起使用训练数据集，来监管深度神经网络的学习过程。标签可用于描述特征。标签值例如可以是概率向量的概率值。反过来，训练模块204也可以使用未标记的训练数据集来训练能催生的(generative)深度神经网络。
训练数据集可被设计为训练训练模块204的一个或多个深度神经网络以识别错误/缺陷15。例如，为了训练深度神经网络以检测单独三维光学图像2中的由唾液液滴引起的错误，可以用多个现实生活中的单独三维光学图像数据集(其具有由唾液液滴引起的缺陷15)，作为专门针对唾液液滴的训练数据集。在另一示例中，为了训练深度神经网络以识别语义数据(例如，牙龈11)，选择来自具有一个或多个牙龈的真实牙科患者的另外多个训练数据集以形成一组专门用于牙龈的训练数据集。因此，数据库202可以包含不同组的训练数据集，例如每种错误数据类型和/或每种语义数据类型一组。在本发明的一个实施例中，训练模块204可以实时训练一个或多个深度神经网络。在一些实施例中，训练模块204可以使用来自数据库202的训练数据集预训练一个或多个深度神经网络，使得计算机系统100可以容易地使用一个或多个预训练的深度神经网络来检测错误。然后，它可以将关于检测到的错误和/或各个三维光学图像2的信息，优选自动地和实时地，发送到图像校正模块206，以校正检测到的错误。可以使用下文描述的预定校正方案和/或使用人工智能获得的校正方案来校正检测到的错误。例如，基于过去校正的诊断数据集，每个诊断数据集包括检测到的错误、相应的语义数据、相应的校正，以及来自科学文献、教科书、来自用户的输入等的数据，可以采用图像校正模块206识别、推荐和/或实施针对一个或多个检测到的错误的一个或多个校正方案。校正方案可以包括，例如，通过使用预定权重，计算对来自具有错误的部分的最终的各三维光学图像的贡献。在名称为“Methods and systems for employingartificial intelligence in automated orthodontic diagnosis and treatmentplanning”的美国专利No.9788917B2中描述了用于在牙科计划中使用人工智能的系统，，该专利通过引用整体并入本文，就如同在本文中全部公开。当然，可以采用其他非人工智能校正方案，例如通知用户、更改牙科相机3参数等。
数据库202还可以存储与深度神经网络相关的数据和识别的错误，以及相应的单独的三维光学图像2。此外，计算机系统100可以具有显示单元126和输入单元130，通过它们用户可以执行诸如提交请求以及接收和审查已识别的缺陷15等功能。
系统200的其他实施例可以包括不同的和/或附加的组件。此外，功能可以以与本文所描述的不同的方式分布在组件之间。
图5示出了根据本发明一个实施例的神经网络(诸如深度神经网络)300的结构的框图。它可以具有若干层，包括输入层302、一个或多个隐藏层304和输出层306。每一层可以由一个或多个节点308组成，由小圆圈表示。信息可以从输入层302流向输出层306，即从左到右的方向，但在其他实施例中，它可以是从右到左，或两者兼而有之。例如，循环网络在处理序列8中的新数据时可能会考虑先前观察到的数据(例如，当前图像可能会在考虑先前图像的情况下被分割)，而非循环网络可能会孤立地处理新数据。节点308可以具有输入和输出，并且输入层308的节点可以是被动的(passive)，这意味着它们不可以修改数据。例如，输入层302的节点308可以各自在其输入上接收单个值(例如像素值)并将该值复制到它们的多个输出。相反，隐藏层304和输出层306的节点可能是活动的(active)，因此能够修改数据。在示例结构中，来自输入层302的每个值可以被复制并发送到所有隐藏节点。进入隐藏节点的值可以乘以权重，权重可以是与每个隐藏节点相关联的一组预定数字。然后可以将加权的输入相加以产生单个数字。
在根据本发明的一个实施例中，深度神经网络300在检测诸如雾化、划痕、唾液滴、污垢、血迹、高光等的某些缺陷15时，可以使用各三维光学图像2的像素作为输入。各三维光学图像2可以是彩色图像。在此，输入层302中的节点数量可以等于单独的三维光学图像2中的像素数量。在示例实施例中，一个神经网络可以用于所有缺陷15，而在另一实施例中，不同的网络可用于不同的缺陷15。在另一示例中，深度神经网络300可在检测诸如由环境光和测量距离引起的缺陷15等的一些缺陷15时，对单独的三维光学图像2而不是单独的像素进行分类。在另一个实施例中，输入可以是二次采样的输入，例如每4个像素。在又一个实施例中，深度神经网络可以具有由牙科相机3采集的多个数据作为输入，例如彩色图像、深度测量、加速度，以及设备参数，例如曝光时间、孔径等。它还可以并入采集数据的时间序列，例如通过使用循环卷积神经网络(因为使用单个图像可能难以检测某些缺陷15)。在某些情况下，缺陷15可能主要从在牙齿从一个图像到另一个图像变化时停留在相同图像位置的特征失真中可见。这适用于例如诸如起雾等干扰因素，以及在较小程度上适用于划痕。循环网络可能非常适合识别图像序列8中的此类特征。深度神经网络可以输出标签，例如，该标签可以是概率向量，该概率向量包括属于某些类别的每个像素输入的一个或多个概率值。例如，输出可以包含概率向量，所述概率向量包含概率值，其中最高概率值可以限定缺陷15。深度神经网络还可以输出标签值的图(map)而没有任何附加的概率。此外，可以实现不同的分类。例如，第一分类可以包括一个或多个缺陷类别，例如，划痕、呼吸起雾、唾液泡、血液、污垢、阳光、手术灯光、距牙齿的测量距离、相机传感器中的像素故障等。另一分类可以包括一个或多个语义类别，例如牙齿、脸颊、嘴唇、舌头、牙龈、填充物、陶瓷等。可以为每个分类创建一个深度神经网络。
如所讨论的，深度神经网络可以是卷积神经网络(CNN)、循环神经网络(RNN)、循环卷积神经网络(Recurrent-CNN)等。
用于检测3D测量中的错误的方法
已经描述了图2的系统200。现在将参考图6A，其示出了根据本文中的至少一些示例实施例的过程S400。
过程S400可以通过在训练数据集中获取并用预定标签标记感兴趣区域开始，步骤S402。例如，图6B中所示的样本图像412(所述样本图像414在暗室中拍摄并且如果没有干扰因素将是黑色的)上的样本缺陷414可以被标记为划痕。训练图像的标记可以以数字方式完成，例如通过与感兴趣点对应地在图像上设置点。
可以对训练数据进行标记，以将语义分配给各三维光学图像2。这可以对于颜色或深度信息在每像素的级别上发生。或者，可以切割完整3D模型的网格，以计算对于单个图像的相应每像素标签。此外，所述网格可以被分割，使得标记过程可以自动化。可以对网格进行标记，并且可以将标签转移到单个图像的相应像素，以减少标记所需的工作量。这些标签可以区分牙齿、脸颊、嘴唇、舌头、牙龈、填充物、陶瓷，而不会为其他任何东西分配标签。与测量无关的可以是脸颊、嘴唇、舌头和未标记的数据。
还可以标记训练数据以将缺陷标签分配给各三维光学图像2。这也可以对于图像或深度信息在每个像素级别上完成。例如，训练数据可以在像素级别上对于起雾、划痕、唾液滴、污垢、血液、高光进行标记，以及在图像级别上对于其他信息，例如环境照明、测量距离、孔径等，进行标记。
语义标签可以与用于缺陷15的标记重叠，例如可以实现诸如“牙齿+唾液”、“牙齿+血液”、“牙齿+划痕”、“牙齿”等标签，这些标签可以与诸如“脸颊+划痕”等其他标签区分开来，即牙齿上的唾液滴(其可以是相关缺陷)可以与脸颊上的唾液滴(其可能是不相关缺陷)区分开来。这样，可以避免错误通知。
在一个实施例中，可以将某些可有效计算的滤波器，例如图像处理滤波器，包括互相关、光学流、边缘检测器、差异图像和移动平均，应用于输入数据，具有相同或更低像素分辨率的所得滤波图像作为附加输入馈送到深度神经网络300，以优化计算工作并增加网络实用性。神经网络的输入层可以包含额外的节点，以处理来自图像滤波器的额外的每像素信息。
使用这组标记的或分类的图像，可以构建深度神经网络300并且向其馈送标记的图像，从而允许网络从中“学习”，使得网络可以产生可以自行分割新图像的网络布线。
作为基于每图像或每像素进行分割的另一种选择，分割可以涉及在略高于每像素级别的级别上分类(在每“超像素”级别上，即“超像素”是图像中大于图像的正常像素的部分)。
过程S400的指令和算法可以存储在计算机系统100的存储器中，并且可以由处理器122加载和执行以使用训练数据集训练(步骤S404)一个或多个深度神经网络，以基于概率向量的一个或多个输出概率值检测一个或多个缺陷15。例如，如果对应于环境光的概率向量的概率值之一是90％，则神经网络可以将过度的环境光检测为单独的三维图像中的缺陷15之一。在另一示例中，如果对应于划痕位置的概率值为高，则神经网络将该对应位置识别为划痕位置。因此，可以构建深度神经网络并对其馈入标记的图像，从而允许网络从中“学习”，以使得网络可以产生可以自行分割新图像的网络布线。
可以一次、多次或间歇地进行训练。训练也可以是半监管或自我监管的。例如，在第一次训练之后，深度神经网络可以接收或获取之前未见过的图像并可以获得输出，并且可以给出相应的反馈，使得网络可以优选地最终自行操作以在没有人工帮助的情况下对图像进行分类。这可以在像素级别或图像级别上进行。例如，在图像级别上，可以训练深度神经网络300以将具有环境光的图像和不具有环境光的图像映射到具有指示图像具有环境光的概率的概率值的概率向量。指示图像具有环境光的概率值因此可以是向量中最高的。因此，深度神经网络300可以被训练为使得当单独三维光学图像2的序列8被输入到深度神经网络300中时，深度神经网络可以返回对于每个图像的指示图像所属类别(具有环境光与否)的结果概率向量。
在训练之后，深度神经网络可以从牙科相机3获取或接收单独三维光学图像的序列8以实时分割(步骤S406)，并且可以检测图像中的缺陷15(步骤408)。在检测到所述缺陷15时，校正模块206可以校正(步骤S410)缺陷15和/或提出校正措施。这可以在(所述单独三维光学图像的)顺序图像登记中，或在后续处理步骤中，，例如在全局图像登记(所有采集的图像8的同时登记)、模型表面重构和/或模型纹理生成中，实时进行。可以通过屏蔽与缺陷位置相对应的不可靠数据点和/或使用具有较低权重的数据来进行校正，以允许未受影响的数据点超驰(override)由干扰因素引入的错误。
图7示出了本发明的一个实施例，其中牙科相机3在口内记录牙齿12并生成包括缺陷15的图像序列8。图像序列18被输入到深度神经网络300中，然后深度神经网络300检测缺陷15并标记对应于缺陷15的位置16。在下一步骤中，优选地，通过在使用登记模块500登记图像之前将位置16掩蔽掉，而忽略位置16。在另一步骤中，可以使用重构模块502从掩蔽的图像中获得完全重构的三角形网格/完全重构的3D图像/校正的全局3D图像9。所述重构模块502还可以用于通过加权装置使用预先确定的权重部分地包括来自对应于缺陷15的位置16的贡献，来生成完全重构的三角形网格9。所述重构模块还可以用于使用相同的加权机制为重构的三角形网格9生成彩色纹理。
图8示出了本发明的另一个实施例，其中深度神经网络输出信息(例如显示缺陷15的位置16的二进制图像，或要采取的校正措施的指示)或其他信息，以使得所述信息被控制器600使用来根据检测到的缺陷15自动调整牙科相机的参数，以减少或消除未来/新出现的缺陷15，例如根据所述输出，牙科相机3的曝光时间或光强度可自动增加或减少，和/或相机的玻璃(或镜，在某些情况下)可被加热以减少/去除雾化。在本文的一个实施例中，调整的程度可以基于相关性和/或缺陷15的大小/数量。
图9示出了本发明的又一实施例，其中深度神经网络300向用户发布关于警告的信息。该警告可以传送到获取单元700，获取单元700可以生成报告，该报告可以由客户(诸如用户支持)经由诸如云网络或互联网的网络702访问，以便采取校正措施。
用于检测3D测量中的错误的计算机系统
已经描述了图6A的过程S400，现在参考图10，其示出了根据本文中的至少一些示例实施例可以使用的计算机系统100的框图。尽管这里就该示例性计算机系统100描述了多种实施例，但是在阅读了本说明之后，相关领域的技术人员可以清楚知晓如何使用其他计算机系统和/或架构来实现本发明。
计算机系统100可以包括训练模块204、数据库202和/或图像校正模块206，或者可以与训练模块204、数据库202和/或图像校正模块206分离。这些模块可以在硬件、固件和/或软件中实现。计算机系统还可以包括至少一个计算机处理器122、用户界面126和输入单元130。在一个示例性实施例中，输入单元130可以由牙医连同诸如监视器的显示单元128一起使用，以就检测缺陷15发送指令或请求。在本文的另一个示例性实施例中，输入单元130是要在触摸屏界面(未示出)上使用的手指或触笔。替代地，输入单元130也可以是手势/语音识别装置、轨迹球、鼠标或其他输入装置，例如键盘或触笔。在一个示例中，显示单元128、输入单元130和计算机处理器122可以共同形成用户界面126。
计算机处理器122可以包括例如中央处理单元、多处理单元、专用集成电路(“ASIC”)、现场可编程门阵列(“FPGA”)等。处理器122可以连接到通信基础设施124(例如，通信总线或网络)。在这里的一个实施例中，处理器122可以接收对3D测量的请求并且可以自动检测图像中的缺陷15，使用训练模块204、数据库202和图像校正模块206自动校正图像中的所述缺陷15。处理器122可以通过加载以计算机可读程序指令的形式存储在非暂态存储设备中的相应指令并执行加载的指令来实现这一点。
计算机系统100还可以包括主存储器132，其可以是随机存取存储器(“RAM”)并且还可以包括辅助存储器134。辅助存储器134可以包括例如硬盘驱动器136和/或可移动存储驱动器138。可移动存储驱动器138可以以众所周知的方式从可移动存储单元140读取和/或写入到可移动存储单元140。可移动存储单元140例如可以是软盘、磁带、光盘、闪存设备等，其可以被可移动存储驱动器138写入和读取。可移动存储单元140可以包括存储计算机可执行软件指令和/或数据的非暂时性计算机可读存储介质。
在另外的替代实施例中，辅助存储器134可以包括存储要加载到计算机系统100中的计算机可执行程序或其他指令的其他计算机可读介质。这样的设备可以包括：可移动存储单元144和接口142(例如，程序盒和盒接口)；可移动存储器芯片(例如，可擦除可编程只读存储器(“EPROM”)或可编程只读存储器(“PROM”))和相关的存储器插槽；以及允许软件和数据从可移动存储单元144传输到计算机系统100的其他部分的其他可移动存储单元144和接口142。
计算机系统100还可以包括使软件和数据能够在计算机系统100和外部设备之间传输的通信接口146。这样的接口可以包括调制解调器、网络接口(例如，以太网卡、无线接口、互联网云交付托管服务等)、通信端口(例如，通用串行总线(“USB”)端口或
Figure BDA0003540455790000151
端口)、个人计算机存储卡国际协会(“PCMCIA”)接口、
Figure BDA0003540455790000152
等。经由通信接口146传送的软件和数据可以是信号的形式，其可以是电子的、电磁的、光学的或能够由通信接口146发送和/或接收的其他类型的信号。信号可以是经由通信路径148(例如，信道)提供给通信接口146。通信路径148可以承载信号并且可以使用电线或电缆、光纤、电话线、蜂窝链路、射频(“RF”)链路等来实现。通信接口146可用于在计算机系统100与远程服务器或基于云的存储之间传输软件或数据或其他信息。
一个或多个计算机程序或计算机控制逻辑可以存储在主存储器132和/或辅助存储器134中。计算机程序也可以通过通信接口146接收。计算机程序可以包括计算机可执行指令，当由计算机处理器122执行时，其使计算机系统100执行如本文所述的方法。
在另一个实施例中，软件可以存储在非暂时性计算机可读存储介质中，并且使用可移动存储驱动器138、硬盘驱动器136和/或通信接口146加载到计算机系统100的主存储器132和/或辅助存储器134中。当由处理器122执行时，控制逻辑(软件)使计算机系统100，更一般地，用于检测扫描干扰的系统，执行此处描述的所有或一些方法。
在本说明书的基础上，用于以执行本文描述的功能的其他硬件和软件布置的实现方式对于相关领域的技术人员将是显而易见的。

Claims (17)

1.一种用于在三维测量期间检测缺陷的计算机实施的方法，该方法包括：
通过一个或多个计算设备接收患者牙列的单独图像；
通过将患者牙列的单独图像分割成与语义区域和/或错误区域对应的区域，使用经过训练的深度神经网络的一个或多个输出标签值自动识别所述缺陷；
确定一种或多种校正方案以校正已识别的缺陷；以及
组合患者牙列的所述单独图像以形成校正后的全局3D图像。
2.根据权利要求1所述的方法，其中，所述单独图像是单独三维光学图像。
3.根据权利要求2所述的方法，其中，所述单独图像被接收作为图像的时间序列。
4.根据权利要求3所述的方法，其中，所述单独图像包括患者牙列的3D测量的数据和颜色数据。
5.根据权利要求1所述的方法，其中所识别的错误区域的相关性的指示基于对应的语义区域。
6.根据权利要求1所述的方法，还包括：
使用所述一个或多个计算设备和多个单独的训练图像训练所述深度神经网络，以将每个训练图像的至少一部分中的一个或多个缺陷映射到一个或多个标签值，
其中，通过将所述单独的训练图像和/或所述单独的训练图像的像素分类为与语义数据类型和/或错误数据类型对应的一个或多个类别，来在像素级别上进行所述训练。
7.根据权利要求6所述的方法，其中所述语义数据类型选自由以下构成的组：牙齿、脸颊、嘴唇、舌头、牙龈、填充物和陶瓷，
其中所述错误数据类型选自由以下构成的组：起雾、划痕、唾液滴、污垢、血液、高光、环境照明、测量距离、像素故障。
8.根据权利要求1所述的方法，还包括：通过在登记所述单独图像之前屏蔽与所述缺陷对应的位置来校正所述缺陷。
9.根据权利要求1所述的方法，还包括：通过使用预定权重来部分地包括与所述缺陷对应的位置的贡献来校正所述缺陷。
10.根据权利要求1所述的方法，还包括：通过与所述缺陷相对应地自动调整牙科相机的参数来校正所述缺陷。
11.根据权利要求11所述的方法，其中，所述参数包括牙科相机的镜头的温度、光强度和曝光时间。
12.根据权利要求1所述的方法，还包括：通过向用户传递警告和/或生成关于所述错误的报告来指示缺陷。
13.根据权利要求1所述的方法，其中，所述深度神经网络是从由卷积神经网络(CNN)、循环神经网络(RNN)和循环卷积神经网络(Recurrent-CNN)组成的组中选择的网络。
14.根据权利要求1所述的方法，其中，所述单独图像是单独二维(2D)图像。
15.一种存储程序的非暂时性计算机可读存储介质，该程序在由计算机系统执行时，使所述计算机系统执行包括以下步骤的过程：
通过一个或多个计算设备接收患者牙列的单独图像；
通过将患者牙列的所述单独图像分割成与语义区域和/或错误区域对应的区域，使用经过训练的深度神经网络的一个或多个输出标签值，自动识别患者牙列的所述单独图像中的缺陷，
确定一种或多种校正方案来校正已识别的缺陷，以及
组合患者牙列的所述单独图像以形成校正后的全局3D图像。
16.一种用于在三维测量期间检测缺陷的系统，包括处理器，所述处理器被配置用于：
通过一个或多个计算设备接收患者牙列的单独图像；
通过将患者牙列的所述单独图像分割成与语义区域和/或错误区域相对应的区域，使用经过训练的深度神经网络的一个或多个输出标签值，自动识别患者牙列的所述单独图像中的缺陷，
确定一个或多个校正方案以校正已识别的缺陷，和
组合患者牙列的所述单独图像，以形成校正后的全局3D图像。
17.根据权利要求16所述的系统，其中，所述深度神经网络是从由卷积神经网络(CNN)、循环神经网络(RNN)和循环卷积神经网络(Recurrent-CNN)组成的组中选择的网络。
CN202080063523.4A 2019-09-24 2020-09-22 用于检测三维测量中的错误的方法、系统和计算机可读存储介质 Pending CN114365184A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/579,995 2019-09-24
US16/579,995 US11291404B2 (en) 2019-09-24 2019-09-24 Method, system and computer readable storage media for the detection of errors in three-dimensional measurements
PCT/US2020/051930 WO2021061606A1 (en) 2019-09-24 2020-09-22 Method, system and computer readable storage media for the detection of errors in three-dimensional measurements

Publications (1)

Publication Number Publication Date
CN114365184A true CN114365184A (zh) 2022-04-15

Family

ID=73139375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080063523.4A Pending CN114365184A (zh) 2019-09-24 2020-09-22 用于检测三维测量中的错误的方法、系统和计算机可读存储介质

Country Status (7)

Country Link
US (1) US11291404B2 (zh)
EP (1) EP4046131A1 (zh)
JP (1) JP2022550712A (zh)
KR (1) KR20220066899A (zh)
CN (1) CN114365184A (zh)
CA (1) CA3150027A1 (zh)
WO (1) WO2021061606A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11238586B2 (en) * 2019-05-02 2022-02-01 Align Technology, Inc. Excess material removal using machine learning
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
KR20210053052A (ko) * 2019-11-01 2021-05-11 엘지전자 주식회사 컬러 복원방법 및 장치
TWI712396B (zh) * 2020-01-16 2020-12-11 中國醫藥大學 口腔缺陷模型之修補方法及口腔缺陷模型之修補系統
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
US11393077B2 (en) * 2020-05-13 2022-07-19 Adobe Inc. Correcting dust and scratch artifacts in digital images
CA3237340A1 (en) * 2021-11-04 2023-05-11 Schlumberger Canada Limited Automatic well log correction
CN114533325B (zh) * 2022-02-24 2024-02-06 北京大学口腔医学院 基于动度监测的平坦黏膜扫描和光学整塑方法及系统
CN117808737B (zh) * 2023-11-02 2024-05-14 江阴市精成数控有限公司 轴承缺陷管理系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9788917B2 (en) 2010-03-17 2017-10-17 ClearCorrect Holdings, Inc. Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning
ES2967677T3 (es) 2012-06-27 2024-05-03 3Shape As Escáner intraoral 3D que mide fluorescencia
US11363938B2 (en) * 2013-03-14 2022-06-21 Ormco Corporation Feedback control mechanism for adjustment of imaging parameters in a dental imaging system
WO2018022752A1 (en) 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning
US10507087B2 (en) * 2016-07-27 2019-12-17 Align Technology, Inc. Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth
WO2018055145A1 (en) 2016-09-26 2018-03-29 F. Hoffmann-La Roche Ag Predicting response to pd-1 axis inhibitors
FR3069361B1 (fr) 2017-07-21 2019-08-23 Dental Monitoring Procede d'analyse d'une image d'une arcade dentaire
EP3518249B1 (fr) * 2018-01-30 2022-03-16 Dental Monitoring Procédé d'analyse d'une représentation d'une arcade dentaire
CN112106109A (zh) 2018-02-16 2020-12-18 3 形状股份有限公司 具有表面区分的口腔内扫描
US11995839B2 (en) * 2019-09-04 2024-05-28 Align Technology, Inc. Automated detection, generation and/or correction of dental features in digital models

Also Published As

Publication number Publication date
CA3150027A1 (en) 2021-04-01
EP4046131A1 (en) 2022-08-24
KR20220066899A (ko) 2022-05-24
US11291404B2 (en) 2022-04-05
JP2022550712A (ja) 2022-12-05
US20210085238A1 (en) 2021-03-25
WO2021061606A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
CN114365184A (zh) 用于检测三维测量中的错误的方法、系统和计算机可读存储介质
US11651494B2 (en) Apparatuses and methods for three-dimensional dental segmentation using dental image data
US10685259B2 (en) Method for analyzing an image of a dental arch
US11314983B2 (en) Method for analyzing an image of a dental arch
US11250580B2 (en) Method, system and computer readable storage media for registering intraoral measurements
US20210358124A1 (en) Method for analyzing an image of a dental arch
CN114730466A (zh) 数字模型中牙齿特征的自动检测、生成和/或校正
US20220222910A1 (en) Method for generating a model of a dental arch
US11049248B2 (en) Method for analyzing an image of a dental arch
US10755409B2 (en) Method for analyzing an image of a dental arch
US20210361387A1 (en) Method of evaluating an orthodontic appliance
US20210338379A1 (en) Method for analyzing an image of a dental arch
US20220378548A1 (en) Method for generating a dental image
CN111937038B (zh) 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪
US20220215547A1 (en) Method for analyzing an image of a dental arch
CN112150422A (zh) 一种基于多任务学习的口腔健康自我检测模型的建模方法
US20220202532A1 (en) Method for evaluating an orthodontic aligner
US20240177397A1 (en) Generation of dental renderings from model data
US20240058105A1 (en) Augmentation of 3d surface of dental site using 2d images
WO2024118819A1 (en) Generation of dental renderings from model data
WO2023012358A1 (en) Method of evaluating an orthodontic appliance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination