CN113286562B - 用于三维成像的方法和系统 - Google Patents

用于三维成像的方法和系统 Download PDF

Info

Publication number
CN113286562B
CN113286562B CN202080007390.9A CN202080007390A CN113286562B CN 113286562 B CN113286562 B CN 113286562B CN 202080007390 A CN202080007390 A CN 202080007390A CN 113286562 B CN113286562 B CN 113286562B
Authority
CN
China
Prior art keywords
region
feedback
projector
visual feedback
measurements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080007390.9A
Other languages
English (en)
Other versions
CN113286562A (zh
Inventor
R·库查钦克
B·沃斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sirona Dental Systems GmbH
Dentsply Sirona Inc
Original Assignee
Sirona Dental Systems GmbH
Dentsply Sirona Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sirona Dental Systems GmbH, Dentsply Sirona Inc filed Critical Sirona Dental Systems GmbH
Publication of CN113286562A publication Critical patent/CN113286562A/zh
Application granted granted Critical
Publication of CN113286562B publication Critical patent/CN113286562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00172—Optical arrangements with means for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)

Abstract

一种用于动态地提供关于在口内扫描期间收集的数据的质量的视觉反馈的方法和系统。将图像或光图案投影到诸如牙齿之类的对象上，以进行3D测量并将关于3D测量的质量的反馈传达给用户。以这种方式，可以通过通知用户在口腔中的对应位置处重复扫描来校正尚未获取的牙齿的未成功配准的表面区域。

Description

用于三维成像的方法和系统
技术领域
本申请一般而言涉及用于三维(3D)成像的方法和系统，并且更特别地涉及用于动态地提供关于在口内扫描期间收集的数据的质量的实时反馈的方法和系统，所述实时反馈是在口内扫描部位处提供的。
背景技术
存在多种可用来治疗牙齿缺损的选择，诸如通过设计修复体或正畸矫治器。在此类治疗期间，临床医生可能会扫描患者的口腔，以创建患者的口腔的三维模型。在重建对象的三维图像时，高质量3D数据的收集可能至关重要。在口内扫描期间，临床医生可以通过在患者的嘴中对相机进行定向以进行3D数据获取以及根据显示器控制扫描过程，来定期地在患者口腔和显示器之间改变他/她的视图，以便例如(i)确保数据获取正在进行且没有被中断，(ii)检查扫描体或颊腔的配准是否成功，(iii)检查口腔哪些区域已被扫描以及哪些区域尚未被扫描，和/或(iv)确保获取的3D数据足以用于临床目的和/或已获取足够的单独的光学3D测量来准确重建虚拟牙齿。
该手动过程的主要缺点可能是繁琐、耗时、并且用户可能当在患者的嘴与屏幕之间来回看时失去定向。此外，当前系统可能无法指示获取的数据是否足够，或者是否应该再次扫描一些口内部位。此外，通过简单地看显示器，临床医生可能会错过未经训练的眼睛可能无法检测到的重建不准确。
美国专利No.9,838,670B2针对“指向与点击(point and click)”相机公开了基于第一图像的第一位置，相机的当前位置是否足以捕获第二图像。它提供了一种用于三维成像的方法，包括：在第一位置存储扫描设备的视场的第一二维图像，其中用扫描设备捕获对象的第一三维视图；当扫描设备从第一位置移动到第二位置时，估计扫描设备在第二位置处的视场的第二二维图像相对于第一图像的位置度量；以及基于位置度量生成关于向用户提供反馈的指令，其中提供所述反馈以指示所述第二位置是否足以捕获第二三维视图。
美国专利No.7,940,260B2公开了一种扫描系统，该扫描系统可以通过实时测试成功的增量拟合并取决于新获取的数据与先前获取的数据之间的关系来提供各种视觉用户提示和过程修改来获取三维图像，作为拟合的三维数据集的增量系列。
美国专利No.4,837,732A公开了一种有助于获取定义预备牙齿及其紧邻区域的三维形状的数据的方法，该方法包括在视频显示器上显示来自扫描头的实时图像；相对于预备牙齿手动地定向扫描头，同时在所述视频显示器上观察牙齿的图像；此后在所选择的朝向上从由所述扫描头产生的数据中生成对应的深度和对比度图像；并且此后基于所述对比度图像来处理所述深度图像。
发明内容
可以通过用于动态地提供关于在口内扫描期间收集的数据的质量的视觉反馈的根据本发明的方法和系统来克服与前述相关联的现有限制以及其它限制。可以将图像或光图案投影到诸如牙齿之类的对象上，以用于3D测量并用于将关于3D测量的质量的反馈传达给用户。在本文中，可以通过通知用户在口腔的对应位置处重复扫描来纠正未成功的配准和孔/间隙(即，未被扫描的表面区域)。
在本文的一方面，本发明提供了一种用于动态地提供关于在口内扫描期间收集的扫描数据的质量和/或其它预定特性的视觉反馈的方法，所述视觉反馈在口内扫描部位处或附近提供，该方法包括以下步骤：提供口腔的表面的多个单独的光学3D测量；确定该多个单独的光学3D测量中的每一个以及累积的多个3D测量是否满足预定的记录标准；以及基于确定步骤，将包括成功的配准反馈和/或未成功的配准反馈的所述视觉反馈投影到口腔的与单独的光学3D测量对应的表面上。
根据本发明的另一方面，提供了一种方法，该方法包括以下各项的一个或多个组合：(i)其中所述成功配准反馈和/或未成功配准反馈被投影为投影图像的一部分，该投影图像包括与用于3D测量的投影光线对应的第一区域和与成功配准反馈和/或未成功配准反馈对应的第二区域，(ii)还包括实时提供所述视觉反馈，(iii)还包括提取该多个单独的光学3D测量中的每一个的3D坐标，以确定光学3D测量是否先前已被扫描，(iv)其中多个单独的光学3D测量中的每一个与另一个单独的光学3D测量重叠以形成重叠区域，(v)其中预定的记录标准选自由以下各项组成的组：(a)重叠区域的足够大小，(b)重叠区域中的对象表面的足够波纹度，(c)重叠区域中的对象表面的足够粗糙度，(d)重叠区域中足够数量的特征几何形状，(e)重叠区域中足够的图像质量/分辨率，和/或(f)未包含在累积数据集中的口腔的区域。
在本发明的另一方面，提供了一种用于动态地提供关于口内扫描期间收集的数据的质量的视觉反馈的系统，所述视觉反馈在口内扫描部位处或附近提供，该系统包括至少一个处理器，该处理器被配置为：提供口腔的多个测量表面的多个单独的光学3D测量；确定多个单独的光学3D测量中的每一个是否满足预定的记录标准；以及基于确定步骤，将包括成功的配准反馈和/或未成功的配准反馈的所述视觉反馈投影到与单独的光学3D测量对应的口腔的表面上。
根据本发明的另一方面，提供了一种系统，包括以下各项的一个或多个组合：(i)其中处理器还被配置为将所述成功配准反馈和/或未成功配准反馈投影为投影图像的一部分，该投影图像包括与用于3D测量的投影光线对应的第一区域和与成功配准反馈和/或未成功配准反馈对应的第二区域，(ii)其中处理器还被配置为实时提供所述视觉反馈，(iii)其中处理器还被配置为提取该多个单独的光学3D测量中的每一个的3D坐标，以确定该光学3D测量是否先前已被扫描，(iv)还包括与处理器通信的至少一个投影仪和至少一个图像传感器，(v)其中投影仪被容纳在口内相机内部，(vi)其中投影仪与口内相机分离，(vii)其中投影仪选自由以下各项组成的组：数字光处理投影仪、发光二极管投影仪、激光投影仪、硅基液晶投影仪和液晶显示器投影仪。
下面参考附图详细描述本文的各个实施例的其它特征和优点以及结构和操作。
附图说明
通过本文下面给出的详细描述和附图，示例实施例将变得更加充分地被理解，其中：
图1是图示根据本发明的实施例的系统的框图；
图2是图示根据本发明的示例性实施例的内部和外部光线的图；
图3是图示根据本发明的示例性实施例的测量体积的图；
图4是示出根据本发明的示例性实施例的利用相机的投影的透视图；
图5是图示根据本发明的示例性实施例的投影图像的俯视图；
图6是示出根据本发明的示例性实施例的方法的流程图；
图7是示出根据本发明的示例性实施例的计算机系统的框图。
具体实施方式
根据本文所述的示例方面，一种用于动态地提供关于在口内扫描期间收集的数据的质量的反馈以及关于已经获取口腔的哪些区域的反馈的方法和系统，所述反馈是在口内扫描部位处和/或附近提供的。但是，可以认识到的是，本文公开的发明构思可以不限于这样的应用，并且可以有用地用于各种成像应用中。例如，本文所述的系统和方法可以有用地用于非口内应用、非牙科应用或以下其它应用中，其中可以通过实时反馈来增强成像或者其中三维对象表面的生成可以基于利用在用户的自由控制下的扫描设备以相对于对象的任意定向捕获的几个3D视图的拼接。如本领域的普通技术人员将清楚的，所有这些变型和替代实施例都旨在落入本发明的范围内。
本发明可以提供一种用于通过投影到诸如牙齿之类的对象上的图像或光图案在口内扫描期间提供反馈的方法和系统。因此，本发明可以实现口内扫描，其中可以不需要显示/监视屏幕，并且其中未成功的配准间隙/孔可以通过通知用户在口腔中的对应位置重复扫描而得到纠正。
用于建模和可视化牙科解决方案的系统
图1图示了光导系统101的框图，该光导系统101包括具有光源12的至少一个投影仪10、至少一个图像传感器18(例如，3D图像传感器)和具有至少一个计算机处理器122的计算机系统100(图7)。投影仪10和图像传感器18可以与计算机系统100通信。投影仪10可以是容纳在诸如口内相机32之类的相机内的投影仪。替代地，投影仪10可以是单独的投影仪，诸如在口内相机32外部的数字光投影仪。投影仪10能够以基于要显示的图像对光源12进行滤波的原理进行工作。透镜(未示出)然后可以用来将图像转印到可以在其上显示图像的表面。可以使用不同种类的投影仪，包括可以基于数字微镜设备(DMD)技术的数字光处理(DLP)投影仪，其中可以将微镜反射镜阵列配置为朝投影仪10中的光源12倾斜或远离它，以便在投影表面上创建亮或暗的像素。其它种类的投影仪可以包括发光二极管(LED)投影仪、激光投影仪、硅基液晶(LCoS)投影仪和液晶显示器(LCD)投影仪。一个或多个投影仪10可以用于在诸如牙齿表面28(图4)之类的表面上投影一个或多个投影图像48(图5)，并且可根据本文的至少一个示例性实施例来构造和操作。投影仪可以照亮3D测量场以及测量场外部的表面。在本文中，关于已经获取/扫描的表面、尚未获取的表面的信息以及其它3D测量信息(诸如扫描体配准)可以通过使用在测量场外部的表面上的投影图案或颜色以视觉方式叠加。以这种方式，用户可以在看着患者的嘴的同时控制扫描过程。所述投影可以是动态的，其中可以控制来自投影仪10的照明光束20来以优选地预定的时间间隔产生所述一个或多个投影图像48，并且其中照明光束20的至少一部分可以被反射到监视光束50中用于3D测量。
如图4中所示，每个投影图像48可以包括与用于3D测量的投影光线对应的第一/内部区域44和/或与用于向用户提供视觉反馈的投影光线对应的第二/外部区域42，反之亦然。内部区域44和/或外部区域42的形状可以是预先确定的，例如，是正方形、矩形、圆形等。在如图2中所示的本发明的示例性实施例中，口内相机32可以与分离的投影仪10a电配对，其中投影仪10a将投影图像48的至少一部分投影在牙齿表面28上，以用于用户反馈。口内相机32本身也可以具有投影仪10，用于将投影图像48的至少另一部分投影以进行3D测量。可以通过使用诸如计算机处理器122之类的通用控制器同时控制来自投影仪10a和口内相机32的照明光束20对牙齿表面28的照明以及反射的监视光束50的记录来实现所述配对。
在如图3中所示的本发明的另一个示例性实施例中，口内相机32的投影仪10b可以被配置为将投影图像48投影在牙齿表面28上，以用于3D测量和用户反馈二者。这里，照明光束20的内部光线24可以被配置为产生投影图像48的内部区域44以用于3D测量，和/或照明光束20的外部光线22可以被配置为产生投影图像48的外部区域42以用于用户反馈，反之亦然。因此，口内相机32的投影仪10b可以被配置为投影包括3D测量光线和用户反馈光线两者的照明光束20。
在另一个实施例中，投影仪10可以被配置为在投影3D测量光线和投影用户反馈光线之间交替。
在另一个实施例中，口内相机32可以被配置为使得用于3D测量的反射的监视光束50包括被配置用于3D测量的照明光束20的全部或基本上所有部分。被配置用于3D测量的照明光束20的其它部分(照明光束24的内部光线)可以被配置为结构化的照明图案和/或可以在照明之前被调制。通过使用各种结构化的照明图案，可以测量牙齿表面28的3D表面轮廓。此外，通过以预定频率进行调制，仅与该频率对应的信号可以被图像传感器18检测到以进行进一步处理。
用于建模和可视化牙科解决方案的方法。
已经描述了图1的光导系统101，现在将结合图6进一步描述用于动态地提供关于在口内扫描期间收集的数据的质量的反馈的方法。
本发明可以包括通过用户在一个位置(例如，牙齿表面28)上移动口内相机头30来通过扫描过程产生和更新3D模型。扫描可以如步骤S100中所示的那样开始，其中计算机系统100的存储器可以将口腔52的体积存储为空体积，其随后可以随着扫描的进行被更新。在步骤S200中将口内相机头30放置在牙齿表面上之后，口内相机32的投影仪10可以在口腔52的区域上方投影初始默认投影图像，以示出图像数据尚未被获取用于处理。
在本文的示例实施例中，投影仪10可以被配置为提供表示当前测量表面54的成功配准的成功配准反馈和表示当前测量表面54的未成功配准的未成功配准反馈，例如，用于3D测量的蓝色矩形或条纹图案(图5的投影图像48的内部区域44，也对应于当前测量表面54)可以在更大的红色矩形(与腔的其它表面56对应的投影图像48的外部区域42)内部，红色矩形表示在其上投影了所述反馈的口内表面的未成功配准。在任何成功配准后，外部区域42中成功配准的对应表面46可以接收成功配准反馈，例如，绿色光，表示成功配准的所述对应表面46已经被成功配准。在本文的实施例中，外部区域42可以接收表示扫描尚未开始的初始未成功配准反馈。当然，可以实现投影图像48的不同分量的形状和/或颜色的其它实现方式，而不脱离本发明的范围。
优选地，可以被配置为形成投影图像48的内部区域44的、如图3中所示的照明光束20的内部光线24(或如图2中所示用于用户反馈的、来自具有分离的投影仪10a的光导系统101中的口内相机32的光线)可以通过当前测量体积26(即，口内相机头30下方的体积)到要测量的牙齿表面28的至少一部分上，牙齿表面28的所述部分是当前测量表面54(步骤S300)。照明光束20的外部光线22可以在预定义边界58内的腔的其它表面56上重合，在该边界58内，关于是否先前已经扫描了所述其它表面56上的对应点的反馈可以被视觉地传达给用户。在扫描开始时，可以将默认反馈传达给用户，以示出先前尚未扫描所述其它表面56。
如步骤300中所示，照明光束的内部光线24可以基本上从当前测量表面54朝着口内相机32的图像传感器18反射，以进行进一步处理。在本文中，可以在步骤S400中提取当前测量表面54的3D坐标以确定当前测量表面54的全部或部分是否先前已经被配准(步骤S500)。如果先前尚未获取当前测量表面54或当前测量表面的任何部分，那么通过根据一个或多个预定的记录标准/条件确定新的3D数据和/或累积的3D数据是否足够，可以存储未配准部分的对应的新3D数据(例如，xyz坐标)(步骤S600)，所述预定的记录标准包括例如新的3D数据和/或累积的3D数据是否具有期望的预定分辨率、预定噪声水平、预定3D点密度和/或单独的光学3D测量之间的不一致性。如果满足预定的记录标准，那么可以将新的3D数据存储在图像堆栈中以进行后处理，或者可以将3D数据用于创建口腔的实时3D重建，如步骤S800中所示。与新的3D数据对应的投影图像48的外部区域42然后可以在步骤S1000中更新，以在口内相机32的相机位置改变为新的测量表面时向用户传达先前的测量表面根据预定的记录标准已经被足够记录。在本文中，由于可以在被扫描的口内表面附近示出针对用户的视觉反馈，因此可以消除或基本上消除不断地看监视器以跟踪正在进行的口内扫描的进度并进行必要的调整的需要。
替代地，如果先前已经扫描了当前测量表面54，那么可以触发下一次获取(步骤S700，S1200)以继续记录其它表面。
此外，如果根据预定的记录标准在步骤S600中获得的新数据不足，那么表示当前测量表面54尚未被扫描/配准的针对用户的默认反馈可以保持不变，或者可以以预定方式改变，以表示当前测量表面54尚未被扫描。
在本发明的示例性实施例中，如步骤S600中所示，确定新数据是否足够可以如下实现。处理器122可以接收多个三维光学测量，所述多个三维光学测量分别对应于由口内相机32根据一个或多个记录序列生成的一个或多个牙科对象的多个当前测量表面54。每个光学测量/图像可以与另一个光学测量重叠以形成多个重叠区域(未示出)，并且每个重叠区域可以包括较晚的光学图像和较早的光学图像，较晚的光学图像是相对于较早的光学图像在记录序列中较晚的成像位置处生成的。在本文中，对于每个重叠区域，可以确定重叠区域是否满足一个或多个预定的记录标准。预定的记录标准可以包括例如(i)重叠区域的足够大小，(ii)重叠区域中的对象表面的足够波纹度，(iii)重叠区域中的对象表面的足够粗糙度；(iv)重叠区域中足够数量的特征几何形状；(v)重叠区域中足够的图像质量/分辨率，和/或(vi)未包含在累积数据集中的口腔的区域。
如果满足预定的记录标准，那么可以将较晚的光学3D测量添加/配准到包括较早的光学3D测量的图像序列中，和/或可以实时或在稍后的时间重建该序列的对应全局3D图像(步骤800)。本领域普通技术人员将认识到，本文可以采用其它配准步骤而不脱离本发明的基本属性。
基于相机头30相对于被测量表面的相对位置、序列中的图像的“x，y，z”坐标和/或重构的全局3D图像，投影仪10可以被配置为向用户投影反馈(步骤S1000)表示口腔的哪些对应部分已经被充分记录以及哪些区域尚未被充分记录，例如，可以将绿色光投影到已经被充分记录的口腔部分，并且可以将红色光投影到尚未被记录或尚未被充分记录的口腔部分。可以针对所有其它表面和记录序列实时重复此操作，如步骤S1100，S1300中所示。因此，用户可以不需要不断地看监视器来检查扫描过程的进度，因为可以在进行中向用户提供扫描期间的配准的质量，并且由此可以通过在口腔中的对应位置处重复扫描来纠正未成功的配准。
在另一个工作流程中，可以扫描当前测量表面54并且获取对应的光学图像。对应的光学图像可以包含3D点云、关于口内相机32相对于3D点云的位置的信息。可以将对应的光学图像配准到来自先前测量的累积3D数据集，并且如果存在重叠(如果根据例如迭代最近点(ICP)算法拟合)则添加到累积数据集。可以知道关于口内相机32相对于累积数据集的位置信息。如果不存在重叠(如果不拟合)，那么口内相机32可以丢失其位置的跟踪，并且用户可以将口内相机32移动到新测量可以被配准并添加到3D数据集的位置。然后可以针对数据中的孔/间隙、低点密度和/或不一致性来分析累积数据集。此外，分析可以包括或为确定口内相机32的温度是否超过预定值。基于分析的结果以及口内相机32相对于累积数据集的位置，可以生成用于投影仪10的投影图像48，使得：(i)在相机下方的未被表示为累积数据集的区域可以由投影图像48中的第一颜色(例如，红色)指示，(ii)诸如孔/间隙、低密度区域和不一致性的区域可以在投影图像48中由第二颜色(例如，蓝色)指示；和/或(iii)包含有效数据的区域(累积数据表示的区域)由第三颜色(例如，绿色)指示。在本文中，一旦当前获取被处理，口内相机32就可以移动并直接触发下一次获取。在本文的实施例中，口内相机32可以从先前的3D测量到累积数据集的相对变换确定光线的投影方向。在本文中，口内相机32可以具有关于其相对于累积3D数据集的位置的信息。基于该信息，口内相机32可以确定未被充分记录的区域(反馈投影中的红色区域)(相对于相机窗口)的位置，并将对应的光线投影到所述区域。此外，在示例性实施例中，可以基于所确定的位置信息来投影关于扫描工作流程的信息。例如，视觉反馈可以包括关于用于获取的口腔52的下一个区域的信息、基于口内相机32的所确定的温度在口内相机的窗口上起雾，基于所述起雾将相机从口腔52移除的指示，等等。在温度指示之后可以是警告，诸如，表示口内相机32可能很快关闭的警告。另外，在起雾的指示之后可以是诸如加热或移开相机的指令之类的指令。
此外，通过使用可以在用于提供反馈的投影光线和用于3D测量的投影光线之间交替的照明，可以减少或消除用于提供反馈的投影光线和用于3D测量的投影光线的干涉。
当然，根据提供的描述，可以实现与本文所述的用于对牙科解决方案进行建模和可视化的方法类似的另一种方法。
鉴于前面的描述，可以认识到的是，本文所述的示例实施例提供了一种用于动态地提供关于在口内扫描期间收集的数据的质量的反馈的方法。
用于建模和可视化牙科解决方案的计算机系统
已经描述了光导系统101和方法，现在将参考图7，其示出了根据本文所述的示例实施例中的至少一些示例实施例可以被采用的计算机系统100的框图。虽然本文中可以就这个示例性计算机系统100描述各种实施例，但是在阅读本描述之后，对于(一个或多个)相关领域的技术人员而言，如何使用其它计算机系统和/或体系架构来实现本公开可以变得清楚。
在本文的实施例中，计算机系统100可以形成光导系统101的一部分。在本文的另一个实施例中，计算机系统可以与光导系统101分离。虽然本文中可以就这个示例性计算机系统100描述各种实施例，但是在阅读本描述之后，对于(一个或多个)相关领域的技术人员而言，如何使用其它计算机系统和/或体系架构来实现本公开可以变得清楚。
计算机系统100可以包括至少一个计算机处理器122。计算机处理器122可以包括例如中央处理单元、多处理单元、专用集成电路(“ASIC”)、现场可编程门阵列(“FPGA”)等。处理器122可以连接到通信基础设施124(例如，通信总线或网络)。在本文的实施例中，处理器122包括CPU，该CPU从口内相机32的信号预处理单元获得图像堆栈或图像序列。堆栈可以被临时存储在存储器中，然后被分析以确定图像是否满足预定的记录标准，如本文所讨论的方法中描述的。处理器122然后可以操作投影仪10和/或光源12以控制照明光束20。
计算机系统100可以可选地包括显示接口(或其它输出接口)126，其可以转发来自通信基础设施124(或来自帧缓冲器(未示出))的视频图形、文本和其它数据，以显示在显示单元128上(在一个示例实施例中，其可以形成图1的显示单元128或被包括在其中)，但是可以不需要显示接口126和/或显示单元128。
计算机系统100还可以包括输入单元130，该输入单元130可以由计算机系统100的用户用来向计算机处理器122发送信息。输入单元130可以包括轨迹球或其它输入设备，诸如键盘和/或触摸屏监视器。在一个示例中，显示单元128、输入单元130和计算机处理器122可以共同形成用户接口。
生成控制系统101以生成用于用户的3D图像和反馈的一个或多个步骤可以以计算机可读程序指令的形式存储在非暂态存储设备上。为了执行过程，处理器122将存储在存储设备上的适当指令加载到存储器中，然后执行所加载的指令。
图6的计算机系统100可以包括主存储器132，其可以是随机存取存储器(“RAM”)，并且还可以包括辅助存储器134。辅助存储器134可以包括例如硬盘驱动器136和/或可移动存储装置驱动器138(例如，软盘驱动器、磁带驱动器、光盘驱动器、闪存驱动器等)。可移动存储装置驱动器138可以以众所周知的方式从可移动存储单元140读取和/或写入可移动存储单元140。可移动存储单元140可以是例如软盘、磁带、光盘、闪存设备等，其可以由可移动存储装置驱动器138写入和读取。可移动存储单元140可以包括存储计算机可执行软件指令和/或数据的非暂态计算机可读存储介质。
在另外的替代实施例中，辅助存储器134可以包括存储要加载到计算机系统100中的计算机可执行程序或其它指令的其它计算机可读介质。此类设备可以包括可移动存储单元144和接口142(例如，程序盒和盒接口)；可移动存储器芯片(例如，可擦除可编程只读存储器(“EPROM”)或可编程只读存储器(“PROM”))和相关联的存储器插座；以及允许软件和数据从可移动存储单元144传送到计算机系统100的其它部分的其它可移动存储单元144和接口142。
计算机系统100还可以包括通信接口146，其使得软件和数据能够在计算机系统100和外部设备之间传送。这种接口可以包括调制解调器、网络接口(例如，以太网卡或IEEE802.11无线LAN接口)、通信端口(例如，通用串行总线(“USB”)端口或
Figure GDA0003768798190000131
端口)、个人计算机存储卡国际协会(“PCMCIA”)接口、
Figure GDA0003768798190000132
等。经由通信接口146传送的软件和数据可以是信号的形式，其可以是电子、电磁、光学或可以能够由通信接口146发送和/或接收的另一种类型的信号。可以经由通信路径148(例如，信道)将信号提供给通信接口146。通信路径148可以携带信号，并且可以使用电线或线缆、光纤、电话线、蜂窝链路、射频(“RF”)链路等来实现。通信接口146可以用于在计算机系统100与远程服务器或基于云的存储装置(未示出)之间传送软件或数据或其它信息。
一个或多个计算机程序或计算机控制逻辑可以存储在主存储器132和/或辅助存储器134中。还可以经由通信接口146接收计算机程序。计算机程序可以包括计算机可执行指令，计算机可执行指令在由计算机处理器122执行时使计算机系统100执行所描述的方法。因此，计算机程序可以控制计算机系统100以及光导系统101的其它组件。
在另一个实施例中，软件可以存储在非暂态计算机可读存储介质中，并使用可移动存储装置驱动器138、硬盘驱动器136和/或通信接口146加载到计算机系统100的主存储器132和/或辅助存储器134中。当由处理器122执行时，控制逻辑(软件)可以使计算机系统100，并且更一般地，在一些实施例中的光导系统101，执行本文描述的所有或一些方法。
最后，在另一个示例实施例中，诸如ASIC、FPGA等的硬件组件可以用于执行本文描述的功能。鉴于该描述，以便执行本文描述的功能的这样的硬件布置的实现方式对于(一个或多个)相关领域的技术人员而言将是清楚的。
除非另外定义，否则本文使用的所有技术和科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。虽然与本文描述的那些方法和材料类似或等同的方法和材料可以用于本公开的实践或测试，但是上文描述了合适的方法和材料。本文提及的所有出版物、专利申请、专利和其它参考文献在适用法律和法规允许的范围内通过引用整体并入本文。在不脱离其精神或基本属性的情况下，本公开可以以其它具体形式实施，并且因此可以期望本实施例在所有方面都被认为是说明性而非限制性的。描述中使用的任何标题都仅仅是为了方便起见而没有法律或限制作用。

Claims (14)

1.一种控制系统的方法，用于动态地提供关于在口内扫描期间收集的扫描数据的视觉反馈，所述视觉反馈在口内扫描部位处或附近提供，所述系统(101)包括：至少一个处理器；以及与处理器(122)通信的至少一个投影仪(10)和至少一个图像传感器(18)，所述方法包括以下步骤：
提供口腔(52)的多个测量表面(54，56)的多个单独的光学3D测量；
确定所述多个单独的光学3D测量中的至少一个和/或累积的多个光学3D测量是否满足预定的记录标准；以及
基于确定步骤，将所述视觉反馈投影到口腔(52)的与单独的光学3D测量对应的表面上。
2.根据权利要求1所述的方法，其中所述视觉反馈被投影为投影图像(48)的一部分，所述投影图像(48)包括与用于3D测量的投影光线对应的第一区域和与视觉反馈对应的第二区域。
3.根据权利要求2所述的方法，其中与用于3D测量的投影光线对应的第一区域和与视觉反馈对应的第二区域至少部分地重叠。
4.根据权利要求2或3所述的方法，其中使用照明光束(20)来投影所述视觉反馈，所述照明光束(20)从该照明光束的内部光线(24)产生第一区域作为投影图像(48)的内部区域(44)并且使用该照明光束的外部光线(22)产生第二区域作为投影图像(48)的外部区域(42)，或者从该照明光束的内部光线(24)产生第二区域作为投影图像(48)的内部区域(44)并且使用该照明光束的外部光线(22)产生第一区域作为投影图像(48)的外部区域(42)。
5.根据权利要求4所述的方法，还包括使照明光束在内部光线和外部光线之间交替。
6.根据权利要求1至5中的任一项所述的方法，还包括实时提供所述视觉反馈。
7.根据权利要求1至6中的任一项所述的方法，还包括：提取所述多个单独的光学3D测量中的每一个的3D坐标，以确定口腔(52)的对应区域是否先前已经被扫描。
8.据权利要求1至7中的任一项所述的方法，其中所述多个单独的光学3D测量中的每一个与另一个单独的光学3D测量重叠以形成重叠区域。
9.根据权利要求1至8中的任一项所述的方法，其中所述预定的记录标准选自由以下各项组成的组：(i)重叠区域的足够大小，(ii)重叠区域中的对象表面的足够波纹度；(iii)重叠区域中的对象表面的足够粗糙度；(iv)重叠区域中足够数量的特征几何形状；(v)重叠区域和/或未包含在累积数据集中的口腔的区域中足够的3D点密度。
10.根据权利要求1至9中的任一项所述的方法，其中视觉反馈包括关于成功配准的反馈、关于未成功配准的反馈、关于口腔的未扫描区域的反馈、关于用户工作流程的反馈、关于口内相机的温度的反馈，或关于警告的反馈。
11.一种用于动态地提供关于在口内扫描期间收集的扫描数据的视觉反馈的系统，所述视觉反馈在口内扫描部位处或附近提供，所述系统(101)包括：被配置为执行根据权利要求1至10中的任一项所述的方法的至少一个处理器；以及与处理器(122)通信的至少一个投影仪(10)和至少一个图像传感器(18)。
12.根据权利要求11所述的系统，其中所述投影仪被容纳在口内相机(32)内部。
13.根据权利要求11所述的系统，其中所述投影仪与具有所述至少一个图像传感器的口内相机(32)分离。
14.根据权利要求11至13中的任一项所述的系统，其中所述投影仪(10)选自由数字光处理投影仪、发光二极管投影仪、激光投影仪、硅基液晶投影仪和液晶显示器投影仪组成的组。
CN202080007390.9A 2019-01-30 2020-01-22 用于三维成像的方法和系统 Active CN113286562B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19000057.0A EP3689288B1 (en) 2019-01-30 2019-01-30 Method and system for three-dimensional imaging
EP19000057.0 2019-01-30
PCT/EP2020/051456 WO2020156893A1 (en) 2019-01-30 2020-01-22 Method and system for three-dimensional imaging

Publications (2)

Publication Number Publication Date
CN113286562A CN113286562A (zh) 2021-08-20
CN113286562B true CN113286562B (zh) 2022-09-09

Family

ID=65443615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007390.9A Active CN113286562B (zh) 2019-01-30 2020-01-22 用于三维成像的方法和系统

Country Status (10)

Country Link
US (1) US20220133445A1 (zh)
EP (3) EP3689288B1 (zh)
JP (1) JP2022518680A (zh)
KR (1) KR20210121011A (zh)
CN (1) CN113286562B (zh)
AU (1) AU2020215193A1 (zh)
BR (1) BR112021009125A2 (zh)
CA (1) CA3119224A1 (zh)
DK (1) DK3689288T3 (zh)
WO (1) WO2020156893A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107049542A (zh) * 2016-12-29 2017-08-18 苏州佳世达电通有限公司 扫描装置以及扫描物体的方法
CN107735016A (zh) * 2015-07-08 2018-02-23 西诺德牙科设备有限公司 用于扫描解剖结构且用于显示扫描结果的系统和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH672722A5 (zh) 1986-06-24 1989-12-29 Marco Brandestini
US7609875B2 (en) * 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US7912257B2 (en) * 2006-01-20 2011-03-22 3M Innovative Properties Company Real time display of acquired 3D dental data
US8035637B2 (en) 2006-01-20 2011-10-11 3M Innovative Properties Company Three-dimensional scan recovery
US8118438B2 (en) * 2009-07-24 2012-02-21 Optimet, Optical Metrology Ltd. Method and apparatus for real-time projection onto an object of data obtained from 3-D measurement
US9838670B2 (en) 2013-03-11 2017-12-05 Carestream Health, Inc. Method and system for three-dimensional imaging
US10278584B2 (en) * 2013-03-11 2019-05-07 Carestream Dental Technology Topco Limited Method and system for three-dimensional imaging
US9675428B2 (en) * 2013-07-12 2017-06-13 Carestream Health, Inc. Video-based auto-capture for dental surface imaging apparatus
JP6327931B2 (ja) * 2014-05-02 2018-05-23 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2017533000A (ja) * 2014-09-16 2017-11-09 ケアストリーム ヘルス インク レーザ投影を用いる歯科用表面撮像装置
US20170215698A1 (en) * 2016-01-28 2017-08-03 Dental Wings Inc. System and method for providing user feedback indications during intra-oral scanning process
US11633268B2 (en) * 2017-07-27 2023-04-25 Align Technology, Inc. Tooth shading, transparency and glazing
US20230355360A1 (en) * 2022-05-04 2023-11-09 3Shape A/S System and method for providing dynamic feedback during scanning of a dental object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107735016A (zh) * 2015-07-08 2018-02-23 西诺德牙科设备有限公司 用于扫描解剖结构且用于显示扫描结果的系统和方法
CN107049542A (zh) * 2016-12-29 2017-08-18 苏州佳世达电通有限公司 扫描装置以及扫描物体的方法

Also Published As

Publication number Publication date
EP3960121A1 (en) 2022-03-02
EP3689288B1 (en) 2021-10-20
KR20210121011A (ko) 2021-10-07
AU2020215193A1 (en) 2021-06-03
EP3689288A1 (en) 2020-08-05
CA3119224A1 (en) 2020-08-06
DK3689288T3 (da) 2022-01-17
BR112021009125A2 (pt) 2021-08-10
US20220133445A1 (en) 2022-05-05
EP3960122A1 (en) 2022-03-02
WO2020156893A1 (en) 2020-08-06
CN113286562A (zh) 2021-08-20
JP2022518680A (ja) 2022-03-16

Similar Documents

Publication Publication Date Title
JP7427038B2 (ja) 歯科診断機能を有する口腔内スキャナ
CN110313037B (zh) 有限精度系统下的纵向分析与可视化
CN114730466A (zh) 数字模型中牙齿特征的自动检测、生成和/或校正
US9563954B2 (en) Method for capturing the three-dimensional surface geometry of objects
CN110709886B (zh) 口内扫描方法
CN115884727A (zh) 用于口内扫描仪的智能扫描
US20070172112A1 (en) Visual feedback of 3d scan parameters
JP2016508754A (ja) 歯肉縁下部分を測定する装置および方法
US11974900B2 (en) Intraoral scanning with surface differentiation
CN113286562B (zh) 用于三维成像的方法和系统
KR100865275B1 (ko) 설진 영상의 촬영 방법 및 그 장치
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2020037582A1 (en) Graph-based key frame selection for 3-d scanning
CN114383521B (zh) 自动涡轮叶片与护罩间隙测量
CN118055728A (zh) 构建牙齿结构的纹理化3d模型
CN115379800A (zh) 口腔图像的标记检测方法和利用该方法的口腔图像配准装置及方法
EP4169479A1 (en) Method and system for two dimensional imaging
US20230298270A1 (en) Method and device for acquiring three-dimensional data, and computer-readable storage medium storing program for performing method
US20230218374A1 (en) Data processing apparatus, data processing method, and data processing system
US20230218375A1 (en) Data processing apparatus, data processing method, and data processing system
AU2022281999A1 (en) Method for acquiring a model of a dental arch
WO2023175003A1 (en) Intra oral scanner and computer implemented method for updating a digital 3d scan
CN116763474A (zh) 在用牙科成像设备扫描期间生成牙科对象的三维表示

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant