CN116763474A - 在用牙科成像设备扫描期间生成牙科对象的三维表示 - Google Patents

在用牙科成像设备扫描期间生成牙科对象的三维表示 Download PDF

Info

Publication number
CN116763474A
CN116763474A CN202310227137.XA CN202310227137A CN116763474A CN 116763474 A CN116763474 A CN 116763474A CN 202310227137 A CN202310227137 A CN 202310227137A CN 116763474 A CN116763474 A CN 116763474A
Authority
CN
China
Prior art keywords
scan
digital
representation
dimensional representation
tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310227137.XA
Other languages
English (en)
Inventor
S·克努拜
H·安内斯
亨里克·奥杰伦德
M·K·米斯兹塔尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Shape AS
Original Assignee
3Shape AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3Shape AS filed Critical 3Shape AS
Publication of CN116763474A publication Critical patent/CN116763474A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本公开涉及一种用于在扫描期间提高牙科对象的数字三维表示的准确性的计算机实现的方法，该方法包括以下步骤：基于多个3D扫描块片的配准和拼接生成该牙科对象的数字三维(3D)表示；在扫描期间实时获得新的3D扫描块片；在扫描期间将所述新的3D扫描块片配准到数字3D表示，由此所述扫描块片形成该数字3D表示的一部分；在该获得的或配准的3D扫描块片中选择3D扫描块片的子集，其中选择是在扫描期间执行的；以及重新配准形成该数字3D表示的一部分的一个或多个3D扫描块片，其中重新配准基于对该选择的扫描块片的子集应用一个或多个变换，由此提高数字3D表示的准确性。

Description

在用牙科成像设备扫描期间生成牙科对象的三维表示
技术领域
本公开涉及用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的方法、系统和计算机程序产品。更特别地，本公开涉及在牙科成像设备扫描患者的口腔时实时准确地生成口腔的三维表示。
背景技术
在传统的牙科学中，当患者需要牙冠、牙桥、假牙、可移除的或正牙治疗等时，牙医制作患者牙齿的物理牙印模。通过将粘性液体材料放入口中，通常在牙科印模盘中，进行印模。这种材料通常是藻酸盐，然后凝固成弹性固体，并且当从口腔中取出时可以提供牙齿的详细且稳定的复制。当制作印模时，将面颊牵开器放置在患者口中，以避免柔软的可移动面颊影响牙齿印模。如今，可以使用口内手持三维扫描仪来获得对患者牙齿的直接三维扫描，而不是制作物理牙科印模。一种口内手持三维扫描仪提供患者的口腔的2.5维数据或3维数据(诸如包含深度映射图和/或颜色的数据)的扫描块片(scan patch)。三维重构系统通过按照扫描仪提供扫描块片的顺序将扫描块片拼接在一起来序列地构建患者的口腔的三维模型。在拼接扫描块片之前，三维重构系统首先在现有的部分重构的三维模型上执行扫描块片的三维定位，即配准。用于重构三维模型的现有系统和方法通常包括扫描停止后的后处理步骤。此步骤用作优化步骤，其中模型的各个扫描块片被重新定位和/或移除以提高模型的准确性。然而，此类优化步骤在实时中是不可行的，因为计算时间随着扫描块片的总数而增加。
因此，感兴趣的是开发用于提高三维模型准确性的新方法，其中所述方法可以实时(即在扫描期间)执行。在一些情况下，如果手持式扫描仪在一些扫描路径上(例如在出现环路的地方)移动，配准和重构步骤变得更具挑战性，并且可能因此导致不准确的三维模型。当前，用于校正此类不准确性的已知解决方案涉及优化步骤，如上所述，该优化步骤在扫描停止后执行。因此，当前的方法通常假设先前的扫描块片直到扫描停止后才改变。因此，需要新的解决方案来更准确且有效地生成患者的口腔的三维模型。
发明内容
本公开涉及一种用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的方法。本公开还涉及一种用于在扫描期间提高牙科对象的数字三维表示的准确性的计算机实现的方法。根据本公开的一些实施例，所述方法包括以下步骤：基于多个3D扫描块片的配准和拼接生成牙科对象的数字三维(3D)表示；在扫描期间实时获得新的3D扫描块片；在扫描期间将所述新的3D扫描块片配准到数字3D表示，由此所述扫描块片形成数字3D表示的一部分；在获得的或配准的3D扫描块片中选择3D扫描块片的子集，其中所述选择是在扫描期间执行的；以及重新配准形成数字3D表示的一部分的一个或多个3D扫描块片，其中所述重新配准基于对选择的扫描块片的子集应用一个或多个变换，由此提高数字3D表示的准确性。
根据本公开的一些实施例，该方法包括:存储牙科对象的数字母版(master)三维表示，该牙科对象的数字母版三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的，扫描块片中的每一个与牙科对象的一部分相关联；存储牙科对象的数字配准三维表示，该数字配准三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的；存储牙科对象的数字可视化三维表示，该可视化三维表示被输出到显示器；从牙科成像设备接收牙科对象的新的扫描块片；用新的扫描块片更新用于新的扫描块片配准的数字配准三维表示；通过配准新的扫描块片以第一更新频率更新数字母版三维表示和数字可视化三维表示，其中配准包括将新的扫描块片配准到一个或多个先前捕获的扫描块片；选择数字母版三维表示的扫描块片的一个或多个关键帧；重新配准一个或多个关键帧，其中重新配准包括操纵一个或多个关键帧，其中操纵包括以下中的一者或多者：旋转和/或平移；基于该一个或多个关键帧的重新配准来更新该数字母版三维表示，其中该数字母版三维表示以第二更新频率更新；以及基于该一个或多个关键帧的重新配准来更新该数字可视化三维表示，其中以第三更新频率更新该数字可视化三维表示。在本上下文中，术语“操纵”和“应用一个或多个变换”可互换地使用。变换可以理解为几何变换，诸如仿射变换。特别地，(一个或多个)变换可以包括平移、旋转和/或其组合中的一者或多者。
本公开还涉及一种用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的系统。该系统可以包括处理设备的存储器，该存储器被配置为：存储牙科对象的数字母版三维表示，该牙科对象的数字母版三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的，扫描块片中的每一个与牙科对象的一部分相关联；存储牙科对象的数字配准三维表示，该数字配准三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的；存储牙科对象的数字可视化三维表示，该可视化三维表示被输出到显示器；该处理设备的处理器被配置为：从牙科成像设备接收牙科对象的新的扫描块片；用新的扫描块片更新用于新的扫描块片配准的数字配准三维表示；通过配准新的扫描块片以第一更新频率更新数字母版三维表示和数字可视化三维表示，其中配准包括将新的扫描块片配准到一个或多个先前捕获的扫描块片；选择数字母版三维表示的扫描块片的一个或多个关键帧；重新配准一个或多个关键帧，其中重新配准包括操纵一个或多个关键帧，其中操纵包括以下中的一者或多者：旋转和/或平移；基于该一个或多个关键帧的重新配准来更新该数字母版三维表示，其中该数字母版三维表示以第二更新频率更新；以及基于该一个或多个关键帧的重新配准来更新该数字可视化三维表示，其中以第三更新频率更新该数字可视化三维表示。
本公开还涉及一种计算机程序产品，用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示。该计算机程序产品可以包括：计算机可读存储介质，其上实施程序指令，该程序指令可由计算机执行，以使计算机执行本文公开的任何方法，诸如该方法包括以下步骤：存储牙科对象的数字母版三维表示，该牙科对象的数字母版三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的，扫描块片中的每一个与牙科对象的一部分相关联；存储牙科对象的数字配准三维表示，该数字配准三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的；存储牙科对象的数字可视化三维表示，该可视化三维表示被输出到显示器；从牙科成像设备接收牙科对象的新的扫描块片；用新的扫描块片更新用于新的扫描块片配准的数字配准三维表示；通过配准新的扫描块片以第一更新频率更新数字母版三维表示和数字可视化三维表示，其中配准包括将新的扫描块片配准到一个或多个先前捕获的扫描块片；选择数字母版三维表示的扫描块片的一个或多个关键帧；重新配准一个或多个关键帧，其中重新配准包括操纵一个或多个关键帧，其中操纵包括以下中的一者或多者：旋转和/或平移；基于该一个或多个关键帧的重新配准来更新该数字母版三维表示，其中该数字母版三维表示以第二更新频率更新；以及基于该一个或多个关键帧的重新配准来更新该数字可视化三维表示，其中以第三更新频率更新该数字可视化三维表示。
重新配准可以包括相对于彼此或相对于数字3D表示平移和/或旋转一个或多个3D扫描块片，诸如先前配准的3D扫描块片。尽管已经使用三种数字三维表示描述了当前公开的方法：母版表示、配准表示和可视化表示，但是所公开的方法不限于使用三种不同的表示。相反，该方法可以利用(诸如生成、存储、检索和/或更新)一种表示，一般称为数字三维表示。因此，在一些实施例中，配准表示和母版表示之间没有区别。一般来说，该方法可以采用上述数字表示中的任一个或多个。
附图说明
当结合附图阅读时，从以下示例性实施例的详细描述中可以最好地理解本公开的范围。附图中包括以下图：
图1A图示了根据示例性实施例的用于配置用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的计算机的高级系统架构；
图1B图示了根据示例性实施例的图1A中所示中系统的示例3D对象表示；
图1C图示了根据示例性实施例的用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的示例系统；
图2A至图2B是图示了根据示例性实施例的用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的过程的流程图；
图3是图示了根据示例性实施例的用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的方法的流程图；
图4A至图4B是图示了根据示例性实施例的用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的过程的流程图；
图5是图示了根据示例性实施例的计算机系统架构的框图；
图6是图示了根据示例性实施例的用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的方法的流程图；以及
图7是牙科对象(特别是患者下颌)的示例性三维表示的示意图。所述图还图示了一些重叠的关键帧，所述关键帧构成所有获得和/或配准的扫描块片的子集。
具体实施方式
如上面讨论的，当用三维口内扫描仪扫描口腔时，口腔三维重构领域中的当前方法和技术会产生不准确的三维模型，这然后会影响正确配准口腔的随后扫描块片(patch)的能力。本文提供的方法和系统的示例性实施例通过允许扫描块片在它们的初始配准之后基于来自随后扫描块片的知识被重新配准来解决当前方法和技术的问题。
所公开的方法可以包括以下步骤：重新配准形成数字3D表示的一部分的一个或多个3D扫描块片，其中所述重新配准基于对选择的扫描块片的子集应用一个或多个变换，由此提高数字3D表示的准确性。与将(一个或多个)变换应用于所有扫描块片相比，将(一个或多个)变换应用于选择的子集的优点是减少了所需的计算成本(例如在功率和时间方面)。有利的是，不形成选择的子集的一部分的扫描块片可以随后(例如进行重新配准步骤)基于所应用的(一个或多个)变换(诸如基于所述应用的(一个或多个)变换的加权平均)被变换到包括在子集中的附近的扫描块片。
因此，本文提供的方法和系统的示例性实施例为无经验的用户和有经验的用户两者提供了更准确的三维模型、更好的扫描体验。例如，本文提供的方法和系统为无经验和有经验的用户提供了更好的扫描体验，因为改善的系统对于不同的扫描路径更稳健和/或更少依赖于选择的扫描路径。此外，本文提供的方法和系统的示例性实施例引入了表示相同重构表面/对象但具有不同目的并且允许在实时重构期间扫描块片的重新配准的若干三维表示。
用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的系统概述
图1A图示了根据示例性实施例的用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的系统100。
成像设备102可以被配置为捕获或生成图像数据103。成像设备可以是能够捕获、存储、编译和组织视觉数据(例如，图像数据103)并且从其他计算设备(诸如，计算设备104和/或显示设备106)接收和向该其他计算设备发送该数据的任何成像设备。在示例性实施例中，成像设备102可以是牙科成像设备，诸如口腔内扫描设备。该成像设备可以包括一个或多个投影仪，该一个或多个投影仪被配置为用于在扫描期间照射牙科对象的表面。所述成像设备还可以包括一个或多个图像传感器，该一个或多个图像传感器被配置为用于响应于照射所述表面而获取二维(2D)图像组。一组2D图像可以理解为包括至少两个图像，诸如至少四个图像。
在一些实施例中，成像设备102基于聚焦扫描原理，诸如离焦深度。在此类实施例中，成像设备包括光学元件(诸如聚焦透镜)，该光学元件被配置为在扫描期间来回移动以改变成像设备的聚焦，由此可以基于聚焦测量值来估计深度。同一申请人在EP 2442720 B1中进一步描述了聚焦成像设备，该申请通过引用整体并入本文。在一些实施例中，成像设备基于散焦深度扫描原理，其中在两个图像的获取之间改变诸如孔径的光学特性，由此可以通过确定两个图像之间的散焦程度来估计深度。
在一些实施例中，成像设备102基于三角测量，其中至少一个图像传感器和投影仪被定位成使得它们关于被扫描对象的表面上的点形成三角形。作为示例，投影仪和图像传感器可以用于基于三角测量来确定3D空间中的点。替代地，成像设备可以包括从两个不同方向观察场景或被扫描对象的两个或更多个图像传感器，其中图像传感器被配置为获取一组图像，其中基于三角测量来解决对应问题。对应问题一般是指确定一个图像的哪些部分对应于另一个图像的哪些部分的问题。特别地，投影仪可以被配置为投射多条投影仪射线，该多条投影仪射线被投射到被扫描对象的表面上。特别地，解决对应问题可以包括确定一组图像内的图像中的图像特征并且进一步将所述图像特征与特定的投影仪射线相关联的步骤。随后，可以计算每个投影仪射线的深度，由此可以生成被扫描对象的3D表示。
图像数据103可以是任何视觉数据，诸如由成像设备102成像的对象(诸如对象101)的初始扫描块片和/或随后新的扫描块片。在示例性实施例中，成像设备102是如上面讨论的牙科成像设备，并且图像数据103包括被扫描对象的深度数据。例如，图像数据103可以是牙科对象(例如对象101)的例如包含深度数据和颜色数据的2.5维图像数据或三维图像数据。
计算设备104可以包括例如一个或多个处理器110、存储器120、存储装置130和三维对象表示程序140。设备104可以是能够存储、编译和组织音频数据、视觉数据或文本数据并且从诸如成像设备102和/或显示设备240的其他计算设备接收和发送该数据的台式计算机、笔记本、膝上型计算机、平板计算机、手持设备、智能电话、瘦客户端或任何其他电子设备或计算系统。例如，图5中所示并且在下面更详细讨论的计算机系统500可以是计算设备104的合适配置。
一个或多个处理器110可以包括图形处理单元(GPU)112或一个或多个中央处理单元(CPU)。(一个或多个)处理器104可以是特别地被配置为执行本文讨论的功能的专用或通用处理器设备。如本文所讨论的处理器110单元或设备可以是单个处理器、多个处理器或其组合。处理器设备可以具有一个或多个处理器“核”。在示例性实施例中，处理器110被配置为执行与三维对象表示程序140的模块相关联的功能，如下面参考图2A、图2B、图4A和图4B所讨论的。诸如GPU 112的处理器110可以被特别配置为执行本文讨论的三维对象表示程序140的功能。例如，在示例性实施例中，处理器110被配置为生成三维对象表示，诸如三维对象表示134。一个或多个处理器可以形成本文公开的系统的一部分。在一些实施例中，(一个或多个)处理器被配置为用于实时生成三维(3D)扫描块片，其中每个3D扫描块片是基于给定的一组2D图像生成的。在一些实施例中，(一个或多个)处理器被配置为用于在扫描期间实时生成牙科对象的数字三维(3D)表示，其中基于所述3D扫描块片的配准生成3D表示。一般来说，(一个或多个)处理器可以被配置为用于执行本文公开的计算机实现的方法的步骤。
存储器120可以是随机存取存储器、只读存储器或任何其他已知的存储器配置。此外，在一些实施例中，存储器120可以包括一个或多个另外的存储器，包括存储装置130。存储器120和一个或多个另外的存储器可以以众所周知的方式被读取和/或写入。在实施例中，存储器和一个或多个另外的存储器可以是非暂态计算机可读记录介质。存储器半导体(例如，DRAM等)可以是用于向计算装置提供软件(诸如三维对象表示程序140)的器件。计算机程序，例如计算机控制逻辑，可以存储在存储器120中。
存储装置130可以包括例如图像数据103和三维对象表示134。存储装置130可以被部署在一个或多个节点上，例如存储装置或存储器节点，或一个或多个有处理能力的节点，诸如能够存储、编译和/或处理数据和计算机指令(例如，图像数据103和三维对象表示134)并且从诸如成像设备102和/或显示器的其他设备接收和发送该数据的服务器计算机、台式计算机、笔记本计算机、膝上型计算机、平板计算机、手持设备、智能电话、瘦客户端、或任何其他电子设备或计算系统。存储装置130可以是任何合适的存储配置，诸如关系数据库、结构化查询语言(SQL)数据库、分布式数据库或对象数据库等。合适的配置和存储类型对于相关技术领域的技术人员来说将是显而易见的。
三维对象表示134可以包括数字母版三维表示134a、数字配准三维表示134b、数字可视化三维表示134c和数字空间排除表示134d。由同一申请人于2012年7月12日提交的WO2013/010910 A1中进一步描述了数字空间排除三维表示，并且其全部内容通过引用并入本文。任何数字三维表示，诸如数字母版三维表示134a和/或数字可视化三维表示134c，可以是例如点云模型、带符号的距离模型、三角化点云模型、可选地具有另外的信息(诸如不确定性估计或(一个或多个)颜色)的点云的集合、三角化点云(aka扫描块片)集合、多边形网格、体积表示(诸如体素模型)、参数化的表面、表面元素模型或任何其他合适的三维表示模型。数字母版三维表示134a可以是基于从成像设备102接收到的所有图像数据103(诸如所有扫描块片)的三维模型。数字配准三维表示134b可以是用于配准例如从成像设备102接收到的任何新的扫描块片的三维模型，该三维模型优选地随后被添加到一个或多个其他数字三维表示134，诸如数字母版表示。
该方法可以包括以下步骤：在扫描期间实时连续获得新的3D扫描块片，并且在扫描期间将所述新的3D扫描块片配准到数字3D表示(诸如配准3D表示)，由此所述扫描块片形成数字3D表示的一部分。一般来说，本文公开的方法的任何步骤可以在牙科对象的扫描期间连续地且/或实时地执行。
在一些实施例中，数字配准3D表示是基于数字母版表示的计算表示。作为示例，可以基于包含在数字母版表示中的平均数据来计算配准表示，例如以生成基于数字母版表示中扫描块片的位置和/或取向的计算的平均表面。有利的是，新的扫描块片被配准到配准表示(例如限定前述的平均表面)而不是将它们配准到数字母版表示。数字三维可视化表示136c可以是被输出到显示设备106以由三维对象表示程序140的用户观看的对象101的三维模型。数字空间排除表示134d可以是用于校准从成像设备102接收到的图像数据103的三维模型。下面参考图2A、图2B和图3更详细地讨论三维对象表示134。一般来说，三维表示在本文中理解为构成或包括以下的一者或多者：点云、具有诸如点法线或点颜色的另外的属性的点云、三角化点云(三角形网格)、多边形网格、体积表示/体素模型、参数表示，例如样条表示。
三维对象表示程序140是利用从成像设备102接收到的和/或存储在存储装置130中的图像数据103来生成三维对象表示134并且然后输出三维可视化输出162(例如三维可视化表示134c)的软件部件。在示例性实施例中，三维对象表示程序140包括图像数据接收模块142、三维表示生成模块144、三维表示更新模块146、关键帧选择模块148、重新配准模块150、空间排除模块152和显示模块154。三维对象表示程序140是被特别编程为实现本文公开的方法和功能以在用牙科成像设备扫描期间生成牙科对象的数字三维表示的软件部件。下面参考图2A、图2B、图4A和图4B更详细地讨论三维对象表示程序140和模块144-154。
三维对象表示程序140可以包括图形用户界面160。图形用户界面160可以包括用于从成像设备102、计算设备104和/或显示设备106接收输入并且将该输入传输到三维对象表示程序140或相反地从三维对象表示程序140接收信息并且将该信息显示在计算设备104和/或显示设备106上的部件。在示例实施例中，图形用户界面160使用技术和设备的组合(诸如设备驱动程序)来提供平台以使得计算设备104和/或显示设备106的用户能够与三维对象表示程序140交互。在示例实施例中，图形用户界面160接收来自物理输入设备(诸如键盘、鼠标、触摸板、触摸屏、相机、传声器等)的输入。在示例性实施例中，图形用户界面160可以显示三维可视化表示输出162。尽管图形用户界面160被图示为显示设备106的一部分，但是可以理解，图形用户界面160是三维对象表示程序140的一部分，并且可以是计算设备104和/或显示设备106的一部分。
尽管处理器110、存储器120、存储装置130和三维对象表示程序140被图示为计算设备104的一部分，但是可以理解，这些元件中的每一个或其组合可以是单独的计算设备的一部分。
显示设备106可以包括图形用户界面160。显示设备106可以是任何计算设备，诸如蜂窝电话、服务器计算机、台式计算机、笔记本、膝上型计算机、平板计算机、手持设备、智能电话、瘦客户端，或能够从另一个计算设备(诸如成像设备102和/或计算设备104等)接收显示信号并且将这些显示信号输出到显示单元(诸如LCD屏幕、等离子屏幕、LED屏幕、DLP屏幕、CRT屏幕、电子墨水屏幕等)的任何其他电子设备或计算系统。例如，图形用户界面160可以从三维对象表示程序140接收三维可视化表示输出162，并且在显示设备106上显示三维可视化表示输出162。此外，图形用户界面160可以从用户接收数据输入文件(例如图像数据103)并且将这些数据输入文件(例如图像数据103)传输到三维对象表示程序140。数据输入文件(例如图像数据103)可以包括单个数据(例如，来自成像设备102的单个扫描块片)或多个数据(例如，来自成像设备102的多个扫描块片)。显示设备106可以经由硬连线连接或经由网络108与成像设备102和/或计算设备104通信。例如，显示设备106可以具有到图像设备的硬连线连接，诸如USB连接、HDMI连接、显示端口连接、迷你显示端口连接、VGA连接、DVI连接或能够在成像设备102、计算设备104和/或显示设备106之间传输和/或接收数据的任何其他已知的硬连线连接。
尽管显示设备106被图示为与成像设备102和计算设备104分离，但是可以理解，显示设备106可以是成像设备102和/或计算设备104的一部分。例如，图5中所示并且在下面更详细讨论的计算机系统500可以是成像设备102、计算设备104和/或显示设备106的合适配置。
可选网络108可以是适合于执行如本文公开的功能的任何网络，并且可以包括局域网(LAN)、广域网(WAN)、无线网络(例如，WiFi)、个人区域网(PAN)(例如蓝牙)、近场通信(NFC)网络、移动通信网络、卫星网络、互联网、光纤、同轴电缆、其他硬连线网络、红外线、射频(RF)或前述的任意组合。其他合适的网络类型和配置对于相关领域的技术人员来说将是显而易见的。一般来说，网络108可以是将支持成像装置102、计算装置104和/或显示装置106之间的通信的连接和协议的任意组合。在一些实施例中，基于成像设备102、计算设备104和显示设备106的配置，网络108可以是可选的。
参考图1C，图示了用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的示例系统100。对象101可以是能够被成像设备102扫描的任何对象。在示例性实施例中，对象101是口腔或口腔的任何部分，包括牙列、牙龈、磨牙后三角、硬腭、软腭和口底等中的任一者。成像设备102可以捕获对象101的2.5维数据(例如图像数据103)并且将该数据传输到计算设备104。三维对象表示程序140从成像设备102接收图像数据103，并且生成并连续更新三维对象表示132，如下面参考图2A、图2B和图3更详细讨论的。三维对象表示程序140可以例如经由图形用户界面160将数字三维可视化表示134c输出到显示设备作为可视化表示输出162。
在用牙科成像设备扫描期间生成牙科对象的数字三维表示的示例性过程
图2A至图2B图示了在用图1A的系统100中的牙科成像设备进行扫描期间生成牙科对象的数字三维(3D)表示的过程。可以在扫描期间实时生成(一个或多个)数字3D表示。
在步骤202中，成像设备102可以捕获(例如，扫描)牙科对象(诸如患者的口腔，例如对象101，包括牙列、牙龈、磨牙后三角、硬腭、软腭和口底等中的任一者)的初始扫描块片，例如图像数据103。由成像设备102捕获的图像数据103可以包含牙科对象的阈值量的三维数据以构成牙科对象的初始扫描块片。三维数据的示例可以包括点云、三角化点的集合、参数化的表面、体素模型或表示三维数据的其他形式。因此，3D扫描块片可以理解为包括或构成任何上述三维数据的示例。在步骤204中，成像设备102可以使用合适的通信网络和方法(例如网络108)将初始扫描块片(例如图像数据103)传输到计算设备104。计算设备104优选地被配置为确定初始接收到的扫描块片是否应被接受为三维表示的初始扫描块片。可以通过评估初始扫描块片是否包含至少阈值量的三维数据来执行此确定。此阈值量可以由三维对象表示程序140或由三维对象表示程序140的用户预限定。例如，阈值可以是牙科对象的初始扫描块片必须包含至少百分之二十五的有效三维数据。
在步骤206中，计算设备104可以从成像设备102接收初始扫描块片，例如图像数据103。在步骤208中，计算设备104可以基于初始扫描块片(例如图像数据103)生成数字母版三维表示(例如数字母版三维表示134a)和数字可视化三维表示，例如数字可视化三维表示134c。
在步骤210中，成像设备102可以捕获(例如，扫描)牙科对象(诸如患者的口腔，例如对象101，包括牙列、牙龈、磨牙后三角、硬腭、软腭和口底等中的任一者)的新的扫描块片(例如，图像数据103)，其中新的扫描块片是在初始扫描块片之后接收到的。在步骤212中，成像设备102可以使用合适的通信网络和方法(例如网络108)将新的扫描块片(例如图像数据103)传输到计算设备104。
在步骤214中，计算设备104可以从成像设备102接收新的扫描块片，例如图像数据103。因此，该方法可以包括在扫描期间实时连续获得新的3D扫描块片的步骤。在步骤216中，计算设备104可以用新的扫描块片更新数字配准三维表示134b。在实施例中，用新的扫描块片更新数字配准三维表示134b可以包括基于新的扫描块片区域中的所有先前接收到的(如果可用的话)牙科对象的扫描块片，从数字母版三维表示134a创建牙科对象的临时三维表示。此外，牙科对象的临时三维表示可以是基于牙科对象的先前扫描块片的平均表面。牙科对象的临时三维表示可能仅在新的扫描块片被配准时存在，并且然后可以丢弃牙科对象的临时三维表示。
在步骤218中，计算设备104可以通过配准新的扫描块片(例如图像数据103)来更新数字母版三维表示134a和/或数字可视化三维表示134c。扫描块片配准可以包括将新的扫描块片配准到牙科对象的一个或多个先前捕获的扫描块片，诸如将新的扫描块片配准到数字三维(3D)表示。新的扫描块片的配准可以理解为确定新的扫描块片相对于另一个对象/对象的集合(诸如扫描块片的集合，诸如三维表示或模型)的位置和/或取向。可以使用迭代最近点(ICP)算法来执行扫描块片的配准。一般来说，采用ICP算法来最小化两个点云之间的差异，一般通过保持一个点云固定(参考)，同时变换另一个点云以最佳匹配参考。配准步骤还可以包括新的扫描块片相对于对象/扫描块片的集合的实际定位。在示例性实施例中，数字母版三维表示134a和数字可视化三维表示134c以第一更新频率更新。此第一更新频率可以比下面描述的第二更新频率或第三更新频率更快。例如，第一更新频率可以取决于成像设备102如何在对象101周围移动，例如，成像设备102围绕对象101移动得越快，第一更新频率可以越快。第一更新频率可以与以下测量值中的任一者相关或取决于以下测量值：成像设备的帧速率、每秒由成像设备成像的表面量、配准的表面量、固定的时间间隔、扫描中标志的出现或颜色的变化(在连续扫描块片之间测量)。
在步骤220中，计算设备104可以选择数字母版三维表示134a的扫描块片的一个或多个关键帧。换句话说，可以选择所获得的或配准的3D扫描块片中的3D扫描块片的子集，其中所述选择是在扫描期间执行的。所述扫描块片的子集在本文也可以称为关键帧。有多种方法可以从扫描块片的集合中选择一个或多个关键帧。在一个实施例中，通过选择所接收到的扫描块片中的每第n个扫描块片(其中n是预限定的数量)(诸如选择每第5个、第10个或第20个扫描块片)作为关键帧来选择关键帧。在另一实施例中，在时间上均匀地选择关键帧，使得例如每秒或每十分之一秒，扫描块片被选择为关键帧。在又一实施例中，选择关键帧使得它们在数字母版三维表示中均匀分布在3D空间中。在此实施例中，还可以选择关键帧使得考虑它们的取向，即，使得它们关于3D空间中的位置和取向两者均匀分布。另一个替代物是基于扫描块片的全局描述符来选择关键帧(类似于几何的散列)，并且选择覆盖描述符空间中的模型的扫描块片。在又一实施例中，基于扫描块片中的纹理图像来选择关键帧。在又一实施例中，选择一个或多个关键帧可以包括计算设备104识别新的扫描块片和先前识别的关键帧之间的重叠部分，其中重叠部分是一个或多个关键帧的每个关键帧之间的预定距离。可以基于例如扫描块片的质心、扫描块片的时间戳(例如，从成像设备102接收到扫描块片的时间)、扫描块片的颜色、扫描块片的纹理和扫描块片的形状等来确定关键帧之间的预定距离(在时间或空间上)。例如，计算设备可以识别扫描块片中的每一个(例如，图像数据103)的质心，其中选择的一个或多个关键帧中的每一个具有彼此相距预定距离的质心，该预定距离是一个或多个关键帧中的每一个的质心之间的距离。可以理解，可以以任何方式并且基于任何标准来选择关键帧，使得每个关键帧与任何其他关键帧充分不同，例如，描绘了与任何其他关键帧充分不同的牙科对象的区域。
关键帧在本文中也可以称为3D扫描块片的子集，诸如在获得的或配准的3D扫描块片中选择的子集。因此，当前公开的方法可以包括在获得的或配准的3D扫描块片中选择3D扫描块片的子集的步骤，其中所述选择是在扫描期间执行的。在一些实施例中，可以连续生成或扩展3D扫描块片的列表，其中可以在扫描期间将3D扫描块片添加到列表中，所述列表构成3D扫描块片或关键帧的子集。图7示意性地图示了3D扫描块片的子集，其中子集内的扫描块片重叠。每个扫描块片的尺寸可以对应于成像设备的视野。优选地，选择子集中的关键帧或扫描块片，使得它们覆盖整个被扫描对象。作为示例，牙科对象的数字3D表示(诸如数字母版表示)可以包含超过1000个扫描块片，而3D扫描块片的子集可以包含100个或更少的扫描块片。在图7中，出于说明的目的，仅示出了关键帧。
在步骤222中，计算设备104可以重新配准一个或多个关键帧或重新配准形成数字3D表示的一部分的一个或多个3D扫描块片，其中所述重新配准基于对关键帧/扫描块片的选择的子集应用一个或多个变换。重新配准可以理解为相对于参考帧(诸如相对于初始扫描块片或相对于扫描块片的集合)，重新定位和/或重新取向一个或多个扫描块片或关键帧。优选地，在扫描期间(例如在使用成像设备获取图像数据或扫描数据期间)执行重新配准步骤。在一些实施例中，在获得新的3D扫描块片之前完成重新配准一个或多个3D扫描块片的步骤。在一些实施例中，成像设备被配置为每秒生成至少20个扫描块片，使得本文公开的方法可以包括每秒获得至少20个新的3D扫描块片的步骤。在一些实施例中，重新配准步骤在小于1秒(诸如小于200毫秒)的时间帧内完成。扫描块片或关键帧的重新配准可以包括诸如通过旋转和/或平移一个或多个关键帧来操纵一个或多个关键帧。操纵一个或多个关键帧在本文中也可以理解为对关键帧应用一个或多个变换，诸如几何变换。非关键帧，即不形成子集的一部分的扫描块片，可以基于一个或多个标准(诸如关键帧的邻近度)继承所应用的变换。因此，重新配准的步骤可以包括相对于彼此或相对于三维(3D)表示平移和/或旋转一个或多个先前配准的3D扫描块片。在步骤224中，计算设备104可以基于一个或多个关键帧的重新配准来更新数字母版三维表示134a。此步骤(224)优选地包括重新配准作为数字3D表示(例如数字母版3D表示)的一部分的多个扫描块片(诸如所有扫描块片)的步骤，其中所述重新配准基于关键帧的重新配准。在不是关键帧的扫描块片的重新配准期间，所述扫描块片可以继承对关键帧/子集执行的任何操作或变换。
在一些实施例中，根据应用于一个或多个相邻关键帧的变换的加权平均来变换不是子集的一部分(即，不是关键帧)的扫描块片，其中可以根据预限定的距离标准来选择相邻帧。在一些实施例中，在重新配准步骤中，形成数字3D表示的一部分的所有扫描块片被同时重新配准，或被考虑重新配准。在实施例中，数字母版三维表示134a的更新以第二更新频率完成。第二更新频率可以是可变的或固定的。例如，第二更新频率可以取决于成像设备102移动到对象101的新表面或区域的速度。替代地，第二更新频率可以是固定的，例如，基于从成像设备102接收到的设定数量的扫描块片来更新。可变和固定方案也可以组合，使得第二更新频率至少有下限，然后可以根据成像设备102的移动/速度增加该下限。第二更新频率可以另外地或替代地取决于以下度量中的任一者：扫描块片中的表面之间的差异、用户输入(例如来自(一个或多个)按钮或来自显示器)、或被扫描对象101上的几何特征。作为示例，当扫描平坦表面时，第二更新频率可能高于扫描高度弯曲表面时的频率，反之亦然。因此，可以理解，数字母版模型表示134a的第一更新频率和第二更新频率可以是相同的或异步的。
在步骤226中，计算设备104可以基于一个或多个关键帧的重新配准来更新数字可视化三维表示134c。更新三维表示(诸如更新数字可视化三维表示)可以理解为以下动作中的任一者或多者：变换/扭曲/扭曲表示的至少一部分，替换表示的至少一部分中的数据，用新数据替换表示的所有数据，向表示添加数据，或用新数据对表示中的现有数据进行平均。可以基于一个或多个关键帧的重新配准以第三更新频率更新数字可视化三维表示134c。在示例性实施例中，第三更新频率是与数字可视化三维表示134c的每个体素或子体积相关联的一个或多个体素更新频率的合计更新频率(aggregate update frequency)。基于一个或多个扫描块片有多少与数字可视化三维表示134c的每个体素重叠，一个或多个体素更新频率中的每一个可以具有不同的体素更新乘数(multiplier)。在实施例中，第三更新频率可以基于在牙科对象(例如，对象101)的特定区域内从成像设备102接收到多少牙科对象(例如，对象101)的扫描块片。例如，如果特定区域正在由成像设备102成像，则该特定区域可能比对象101的任何其他区域具有更多的扫描块片，这可以指示该特定区域是三维对象指示程序140的用户当前正在观察的区域。在实施例中，以第三更新频率更新数字可视化三维表示134c可以包括确定数字可视化三维表示134c的在预定时间段内没有被更新的部分，并且更新数字可视化三维表示134c的在预定时间段内没有被更新的部分。例如，确定数字可视化三维表示134c的在预定时间段内没有被更新的部分可以包括计算设备104识别对应于牙科对象(例如，对象101)的每个部分的自从从成像设备102接收到对应于牙科对象(例如，对象101)的相同部分的先前扫描块片以来接收到的多个扫描块片。在实施例中，以第三更新频率更新数字可视化三维表示134c可以取决于成像设备关于表示134c的位置和/或移动。作为示例，在成像设备102的视野中的对象101的区域/部分可以在数字可视化三维表示的其他部分之前被更新。
在步骤228中，计算设备104可以使用任何合适的通信网络和方法(例如网络108)将数字可视化三维表示134c例如作为可视化表示输出162传输到显示设备106。在步骤230中，显示设备106可以接收数字可视化三维表示134c，例如，作为可视化表示输出162。在步骤232中，显示设备106可以显示数字可视化三维表示134c，例如，作为可视化表示输出162。例如，显示设备106可以经由图形用户界面160向成像设备102、计算设备104和/或显示设备106的用户显示数字可视化三维表示134c。
在步骤234中，计算设备104可以基于从成像设备102接收到的和/或存储在存储装置130中的扫描块片(即图像数据103)生成数字空间排除三维表示134d。在步骤236中，计算设备104可以基于一个或多个关键帧的重新配准来更新数字空间排除三维表示134d。通过为每个扫描块片(例如，图像数据103)创建深度映射图，并且将一个扫描块片投影到另一个扫描块片的深度映射图中，以排除第一扫描块片中位于第二扫描块片中的表面后面的部分来执行空间排除。使用扫描仪(例如，成像设备102)、校准和两个扫描块片的相对位置来完成投影。由于两个扫描块片的相对位置在重新配准后改变，所以空间排除结果也改变。因此，类似于在重新配准之后如何重建渲染模型，在重新配准之后也重新计算空间排除。在2012年7月12日提交的WO 2013/010910“当3D扫描刚性表面时可移动对象的检测”中详细讨论了空间排除，其全部内容通过引用并入本文。
在用牙科成像设备扫描期间生成牙科对象的数字三维表示的示例性方法
图3图示了根据示例性实施例的用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的方法300。
方法300可以包括例如由计算设备104存储牙科对象(例如对象101)的数字母版三维表示134a的框302。可以使用经由成像设备102捕获的牙科对象的一个或多个扫描块片来生成牙科对象的数字母版三维表示134a，其中扫描块片中的每一个与牙科对象的一部分相关联。例如，牙科对象可以是牙科患者的口腔，并且扫描贴片可以与牙科患者的口腔的部分(诸如牙列、牙龈、磨牙后三角区、硬腭、软腭和口底等)相关联。在示例性实施例中，数字母版三维表示134a可以存储在计算设备104的存储装置130中。
方法300可以包括例如通过计算设备104存储牙科对象(例如对象101)的数字配准三维表示134b的框304。可以使用经由成像设备102捕获的牙科对象的一个或多个扫描块片来生成数字配准三维表示134b。例如，数字配准三维表示134b可以是从牙科患者的口腔的扫描块片生成的牙科患者的口腔的三维表示，包括牙列、牙龈、磨牙后三角、硬腭、软腭和口底等中的任一者。在示例性实施例中，数字配准三维表示134b可以存储在计算设备104的存储装置130中。
方法300可以包括例如通过计算设备104存储牙科对象(例如对象101)的数字可视化三维表示134c的框306。例如，数字可视化三维表示134c可以是从牙科患者的口腔的扫描块片生成的牙科患者的口腔的三维表示，包括牙列、牙龈、磨牙后三角、硬腭、软腭和口底等中的任一者。数字可视化三维表示134c可以输出到显示器，例如显示设备106。在示例性实施例中，数字可视化三维表示134c可以存储在计算设备104的存储装置130中。
方法300可以包括例如由计算设备104从成像设备102接收牙科对象(例如对象101)的新的扫描块片(例如图像数据103)的框308。例如，计算设备104可以接收牙科患者的口腔的一部分的新的扫描块片。在示例性实施例中，三维表示程序140的图像数据接收模块142可以被配置为执行框308的方法。
方法300可以包括例如由计算设备104用新的扫描块片更新数字配准三维表示134b的框310。例如，数字配准三维表示134b可以用牙科患者的口腔的一部分的新的扫描块片来更新。在实施例中，用新的扫描块片更新数字配准三维表示134b可以包括基于新的扫描块片区域中的所有先前接收到的(如果可用的话)牙科对象的扫描块片，从数字母版三维表示134a创建牙科对象的临时三维表示。此外，牙科对象的临时三维表示可以是基于牙科对象的先前扫描块片的平均表面。牙科对象的临时三维表示可能仅在新的扫描块片被配准时存在，并且然后可以丢弃牙科对象的临时三维表示。在示例性实施例中，三维表示程序140的三维更新模块146可以被配置为执行框310的方法。
方法300可以包括例如由计算设备104通过配准新的扫描块片以第一更新频率更新数字母版三维表示134a和数字可视化三维表示134c的框312。新的扫描块片的配准可以包括将新的扫描块片配准到一个或多个先前捕获的扫描块片。例如，可以将牙科患者的口腔的一部分的新的扫描块片配准到先前捕获的牙科患者的口腔的扫描块片。在示例性实施例中，数字母版三维表示134a和数字可视化三维表示134c以第一更新频率更新。此第一更新频率可以比上面和下面描述的第二更新频率或第三更新频率更快。例如，第一更新频率可以取决于成像设备102如何在对象101周围移动，例如，成像设备102围绕对象101移动得越快，第一更新频率就越快。在示例性实施例中，三维表示程序140的三维更新模块146可以被配置为执行框312的方法。
方法300可以包括例如由计算设备104选择数字母版三维表示134a的扫描块片的一个或多个关键帧的框314。在实施例中，选择一个或多个关键帧可以包括计算设备104识别一个或多个关键帧之间的重叠部分，其中重叠部分是一个或多个关键帧的每个关键帧之间的预定距离。例如，关键帧可以选自牙科患者的口腔的扫描块片，并且重叠可以是描绘患者的口腔的相同牙齿的扫描块片之间的重叠。可以基于例如扫描块片的质心、扫描块片的时间戳(例如，从成像设备102接收到扫描块片的时间)、扫描块片的颜色、扫描块片的纹理和扫描块片的形状等来确定关键帧之间的预定距离。例如，计算设备可以识别扫描块片中的每一个(例如，图像数据103)的质心，其中选择的一个或多个关键帧中的每一个具有彼此相距预定距离的质心，该预定距离是一个或多个关键帧中的每一个的质心之间的距离。可以理解，可以以任何方式并且基于任何标准来选择关键帧，使得每个关键帧与任何其他关键帧充分不同，例如，描绘了与任何其他关键帧充分不同的牙科对象的区域。在示例性实施例中，三维表示程序140的关键帧选择模块148可以被配置为执行框314的方法。
方法300可以包括例如由计算设备104重新配准一个或多个关键帧的框316。关键帧的重新配准可以包括操纵一个或多个关键帧，诸如通过旋转和/或平移一个或多个关键帧。例如，可以操纵从牙科患者的口腔的扫描块片中选择的关键帧，使得关键帧彼此正确对准并且准确描绘患者的口腔。在示例性实施例中，三维表示程序140的重新配准模块150可以被配置为执行框316的方法。
方法300可以包括例如由计算设备104基于一个或多个关键帧的重新配准以第二更新频率更新数字母版三维表示134a的框318。第二更新频率可以是可变的或固定的。例如，第二更新频率可以取决于成像设备102多快移动到对象101的新表面或区域，例如患者的口腔的新部段或区域。替代地，第二更新频率可以是固定的，例如，基于从成像设备102接收到的设定数量的扫描块片来更新。因此，可以理解，数字母版模型表示134a的第一更新频率和第二更新频率可以是相同的或异步的。在示例性实施例中，三维表示程序140的三维更新模块146可以被配置为执行框318的方法。
方法300可以包括例如由计算设备104基于一个或多个关键帧的重新配准以第三更新频率更新数字可视化三维表示134c的框320。在示例性实施例中，第三更新频率是与数字可视化三维表示134c的每个体素或子体积相关联的一个或多个体素更新频率的合计更新频率。基于一个或多个扫描块片有多少与数字可视化三维表示134c的每个体素重叠，一个或多个体素更新频率中的每一个可以具有不同的体素更新乘数。在实施例中，第三更新频率可以基于在牙科对象(例如，对象101)的特定区域内从成像设备102接收到多少牙科对象(例如，对象101)的扫描块片。例如，如果特定区域(例如牙科患者的右下口腔)正在由成像设备102成像，则该特定区域可能比对象101的任何其他区域具有更多的扫描块片，这可以指示该特定区域是三维对象指示程序140的用户当前正在观察的区域。在实施例中，以第三更新频率更新数字可视化三维表示134c可以包括确定数字可视化三维表示134c的在预定时间段内没有被更新的部分，并且更新数字可视化三维表示134c的在预定时间段内没有被更新的部分。例如，确定数字可视化三维表示134c的在预定时间段内没有被更新的部分可以包括计算设备104识别对应于牙科对象(例如，对象101)的每个部分的自从从成像设备102接收到对应于牙科对象(例如，对象101)的相同部分的先前扫描块片以来接收到的多个扫描块片。在示例性实施例中，三维表示程序140的三维更新模块146可以被配置为执行框320的方法。
在用牙科成像设备扫描期间生成牙科对象的数字三维表示的示例性过程
图4A至图4B图示了在用图1A的系统100中的牙科成像设备进行扫描期间生成牙科对象的数字三维表示的过程。
在步骤402中，成像设备102可以捕获(例如，扫描)牙科对象(诸如患者的口腔，例如对象101，包括牙列、牙龈、磨牙后三角、硬腭、软腭和口底等中的任一者)的初始扫描块片，例如图像数据103。由成像设备102捕获的图像数据103可以包含牙科对象的阈值量的三维数据以构成牙科对象的初始扫描块片。三维数据的示例可以包括点云、三角化点的集合、参数化的表面、体素模型或表示三维数据的其他形式。在步骤404中，成像设备102可以使用合适的通信网络和方法(例如网络108)将初始扫描块片(例如图像数据103)传输到计算设备104。计算设备104优选地被配置为确定初始接收到的扫描块片是否应被接受为三维表示的初始扫描块片。可以通过评估初始扫描块片是否包含至少阈值量的三维数据来执行此确定。此阈值量可以由三维对象表示程序140或由三维对象表示程序140的用户预限定。例如，阈值可以是牙科对象的初始扫描块片必须包含至少百分之二十五的有效三维数据。
在步骤406中，计算设备104可以从成像设备102接收初始扫描块片，例如图像数据103。在步骤408中，计算设备104可以基于初始扫描块片(例如图像数据103)生成数字母版三维表示(例如数字母版三维表示134a)和数字可视化三维表示，例如数字可视化三维表示134c。
在步骤410中，成像设备102可以捕获(例如，扫描)牙科对象(诸如患者的口腔，例如对象101，包括牙列、牙龈、磨牙后三角、硬腭、软腭和口底等中的任一者)的新的扫描块片(例如，图像数据103)，其中新的扫描块片是在初始扫描块片之后接收到的。在步骤412中，成像设备102可以使用合适的通信网络和方法(例如网络108)将新的扫描块片(例如图像数据103)传输到计算设备104。
在步骤414中，计算设备104可以从成像设备102接收新的扫描块片，例如图像数据103。从步骤414开始，过程400可以与步骤416同时执行步骤418至422。
在步骤416中，计算设备104可以基于新的扫描块片更新数字可视化三维表示134c。更新三维表示(诸如更新数字可视化三维表示)可以理解为以下动作中的任一者或多者：变换/扭曲/扭曲表示的至少一部分，替换表示的至少一部分中的数据，用新数据替换表示的所有数据，向表示添加数据，或用新数据对表示中的现有数据进行平均。数字可视化三维表示134c可以基于新的扫描块片以第三更新频率更新。在示例性实施例中，第三更新频率是与数字可视化三维表示134c的每个体素或子体积相关联的一个或多个体素更新频率的合计更新频率。基于一个或多个扫描块片有多少与数字可视化三维表示134c的每个体素重叠，一个或多个体素更新频率中的每一个可以具有不同的体素更新乘数。在实施例中，第三更新频率可以基于在牙科对象(例如，对象101)的特定区域内从成像设备102接收到多少牙科对象(例如，对象101)的扫描块片。例如，如果特定区域正在由成像设备102成像，则该特定区域可能比对象101的任何其他区域具有更多的扫描块片，这可以指示该特定区域是三维对象指示程序140的用户当前正在观察的区域。在实施例中，以第三更新频率更新数字可视化三维表示134c可以包括确定数字可视化三维表示134c的在预定时间段内没有被更新的部分，并且更新数字可视化三维表示134c的在预定时间段内没有被更新的部分。例如，确定数字可视化三维表示134c的在预定时间段内没有被更新的部分可以包括计算设备104识别对应于牙科对象(例如，对象101)的每个部分的自从从成像设备102接收到对应于牙科对象(例如，对象101)的相同部分的先前扫描块片以来接收到的多个扫描块片。在实施例中，以第三更新频率更新数字可视化三维表示134c可以取决于成像设备关于表示134c的位置和/或移动。作为示例，在成像设备102的视野中的对象101的区域/部分可以在数字可视化三维表示的其他部分之前被更新。
在步骤418中，计算设备104可以用新的扫描块片更新数字配准三维表示134b。在实施例中，用新的扫描块片更新数字配准三维表示134b可以包括基于新的扫描块片区域中的所有先前接收到的(如果可用的话)牙科对象的扫描块片，从数字母版三维表示134a创建牙科对象的临时三维表示。此外，牙科对象的临时三维表示可以是基于牙科对象的先前扫描块片的平均表面。牙科对象的临时三维表示可能仅在新的扫描块片被配准时存在，并且然后可以丢弃牙科对象的临时三维表示。
在步骤420中，计算设备104可以通过配准新的扫描块片(例如图像数据103)来更新数字三维表示，例如数字母版三维表示134a。扫描块片配准可以包括将新的扫描块片配准到牙科对象的一个或多个先前捕获的扫描块片。新的扫描块片的配准可以理解为确定新的扫描块片相对于另一个对象/对象的集合(诸如扫描块片的集合)的位置和/或取向。配准步骤还可以包括新的扫描块片相对于对象/扫描块片的集合的实际定位。拼接在一起的扫描块片的集合可以构成数字三维(3D)模型。在示例性实施例中，数字母版三维表示134a以第一更新频率更新。此第一更新频率可以比下面描述的第二更新频率或第三更新频率更快。例如，第一更新频率可以取决于成像设备102如何在对象101周围移动，例如，成像设备102围绕对象101移动得越快，第一更新频率可以越快。第一更新频率可以与以下测量值中的任一者相关或取决于以下测量值：成像设备的帧速率、每秒由成像设备成像的表面量、配准的表面量、固定的时间间隔、扫描中标志的出现或颜色的变化(在连续扫描块片之间测量)。
在步骤422中，计算设备104可以基于从成像设备102接收到的和/或存储在存储装置130中的扫描块片(即图像数据103)生成数字空间排除三维表示134d。在步骤424中，计算设备104可以基于新的扫描块片，例如图像数据103，更新数字空间排除三维表示134d。通过为每个扫描块片(例如，图像数据103)创建深度映射图，并且将一个扫描块片投影到另一个扫描块片的深度映射图中，以排除第一扫描块片中位于第二扫描块片中的表面后面的部分来执行空间排除。可以使用扫描仪(例如，成像设备102)、校准和两个扫描块片的相对位置来完成投影。由于两个扫描块片的相对位置在重新配准后改变，所以空间排除结果也改变。因此，优选地，类似于在重新配准之后如何重建渲染模型，在重新配准之后也重新计算空间排除。在2012年7月12日提交的WO 2013/010910“当3D扫描刚性表面时可移动对象的检测”中详细讨论了空间排除，其全部内容通过引用并入本文。
在步骤426中，计算设备104可以选择数字母版三维表示134a的扫描块片的一个或多个关键帧。换句话说，可以选择所获得的或配准的3D扫描块片中的3D扫描块片的子集，其中所述选择是在扫描期间执行的。所述扫描块片的子集在本文也可以称为关键帧。有多种方法可以从扫描块片的集合中选择一个或多个关键帧。在一个实施例中，通过选择所接收到的扫描块片中的每第n个扫描块片(其中n是预限定的数量)(诸如选择每第5个、第10个或第20个扫描块片)作为关键帧来选择关键帧。在另一实施例中，在时间上均匀地选择关键帧，使得例如每秒或每十分之一秒，扫描块片被选择为关键帧。在又一实施例中，选择关键帧使得它们在数字母版三维表示中均匀分布在3D空间中。在此实施例中，还可以选择关键帧使得考虑它们的取向，即，使得它们关于3D空间中的位置和取向两者均匀分布。另一个替代物是基于扫描块片的全局描述符来选择关键帧(类似于几何的散列)，并且选择覆盖描述符空间中的模型的扫描块片。在又一实施例中，基于扫描块片中的纹理图像来选择关键帧。在又一实施例中，选择一个或多个关键帧可以包括计算设备104识别新的扫描块片和先前识别的关键帧之间的重叠部分，其中重叠部分是一个或多个关键帧的每个关键帧之间的预定距离。可以基于例如扫描块片的质心、扫描块片的时间戳(例如，从成像设备102接收到扫描块片的时间)、扫描块片的颜色、扫描块片的纹理和扫描块片的形状等来确定关键帧之间的预定距离(在时间或空间上)。例如，计算设备可以识别扫描块片中的每一个(例如，图像数据103)的质心，其中选择的一个或多个关键帧中的每一个具有彼此相距预定距离的质心，该预定距离是一个或多个关键帧中的每一个的质心之间的距离。可以理解，可以以任何方式并且基于任何标准来选择关键帧，使得每个关键帧与任何其他关键帧充分不同，例如，描绘了与任何其他关键帧充分不同的牙科对象的区域。从步骤426开始，过程400可以与步骤428同时执行步骤430至432。
在步骤428中，计算设备104可以基于选择的一个或多个关键帧来更新数字可视化三维表示134c。更新三维表示(诸如更新数字可视化三维表示)应理解为以下动作中的任一者或多者：变换/扭曲/扭曲表示的至少一部分，替换表示的至少一部分中的数据，用新数据替换表示的所有数据，向表示添加数据，或用新数据对表示中的现有数据进行平均。可以基于选择的一个或多个关键帧以第三更新频率更新数字可视化三维表示134c。在示例性实施例中，第三更新频率是与数字可视化三维表示134c的每个体素或子体积相关联的一个或多个体素更新频率的合计更新频率。基于一个或多个扫描块片有多少与数字可视化三维表示134c的每个体素重叠，一个或多个体素更新频率中的每一个可以具有不同的体素更新乘数。在实施例中，第三更新频率可以基于在牙科对象(例如，对象101)的特定区域内从成像设备102接收到多少牙科对象(例如，对象101)的扫描块片。例如，如果特定区域正在由成像设备102成像，则该特定区域可能比对象101的任何其他区域具有更多的扫描块片，这可以指示该特定区域是三维对象指示程序140的用户当前正在观察的区域。在实施例中，以第三更新频率更新数字可视化三维表示134c可以包括确定数字可视化三维表示134c的在预定时间段内没有被更新的部分，并且更新数字可视化三维表示134c的在预定时间段内没有被更新的部分。例如，确定数字可视化三维表示134c的在预定时间段内没有被更新的部分可以包括计算设备104识别对应于牙科对象(例如，对象101)的每个部分的自从从成像设备102接收到对应于牙科对象(例如，对象101)的相同部分的先前扫描块片以来接收到的多个扫描块片。在实施例中，以第三更新频率更新数字可视化三维表示134c可以取决于成像设备关于表示134c的位置和/或移动。作为示例，在成像设备102的视野中的对象101的区域/部分可以在数字可视化三维表示的其他部分之前被更新。
在步骤430中，计算设备104可以重新配准一个或多个关键帧。重新配准可以理解为相对于参考帧(诸如相对于初始扫描块片或相对于扫描块片的集合)，重新定位和/或重新取向一个或多个扫描块片或关键帧。关键帧的重新配准可以包括操纵一个或多个关键帧，诸如旋转和/或平移一个或多个关键帧。在步骤432中，计算设备104可以基于一个或多个关键帧的重新配准来更新数字母版三维表示134a。此步骤(432)优选地包括重新配准作为数字母版3D表示的一部分的多个扫描块片(诸如所有扫描块片)的步骤，其中所述重新配准基于关键帧的重新配准。在不是关键帧的扫描块片的重新配准期间，所述扫描块片可以继承对关键帧执行的任何操作或变换。在实施例中，数字母版三维表示134a的更新以第二更新频率完成。第二更新频率可以是可变的或固定的。例如，第二更新频率可以取决于成像设备102移动到对象101的新表面或区域的速度。替代地，第二更新频率可以是固定的，例如，基于从成像设备102接收到的设定数量的扫描块片来更新。可变和固定方案也可以组合，使得第二更新频率至少有下限，然后可以根据成像设备102的移动/速度增加该下限。第二更新频率可以另外地或替代地取决于以下度量中的任一者：扫描块片中的表面之间的差异、用户输入(例如来自(一个或多个)按钮或来自显示器)、或被扫描对象101上的几何特征。作为示例，当扫描平坦表面时，第二更新频率可能高于扫描高度弯曲表面时的频率，反之亦然。因此，可以理解，数字母版模型表示134a的第一更新频率和第二更新频率可以是相同的或异步的。
过程400可以从过程200的步骤432前进到步骤228至230。
计算机系统架构
图5图示了其中本公开的实施例或其部分可以被实现为计算机可读代码的计算机系统500。例如，图1A的成像设备102、计算设备104和/或显示设备106可以使用硬件、软件、固件、其上存储有指令的非暂态计算机可读介质或其组合在计算机系统500中实现，并且可以在一个或多个计算机系统或其他处理系统中实现。硬件、软件或其任意组合可以实施用于实现图1A至图4B的方法的模块和部件。
如果使用可编程逻辑，此类逻辑可以在由可执行软件代码配置的商业上可获得的处理平台上执行，以变成专用计算机或专用设备(例如，可编程逻辑阵列、专用集成电路等)。本领域的普通技术人员可以理解，所公开的主题的实施例可以用各种计算机系统配置来实践，包括多核多处理器系统、小型计算机、大型计算机、与分布式功能链接或集群的计算机，以及可以嵌入到几乎任何设备中的普及或微型计算机。例如，可以使用至少一个处理器设备和存储器来实现上述实施例。
如本文所讨论的处理器单元或设备可以是单个处理器、多个处理器或其组合。处理器设备可以具有一个或多个处理器“核”。如本文所讨论的术语“计算机程序介质”、“非暂态计算机可读介质”和“计算机可用介质”一般用于指代有形介质，诸如可移除存储单元518、可移除存储单元522和安装在硬盘驱动器512中的硬盘。
根据此示例计算机系统500描述了本公开的各种实施例。在阅读了本说明书之后，相关领域的技术人员将明白如何使用其他计算机系统和/或计算机架构来实现本公开。尽管操作可以被描述为序列过程，但是一些操作实际上可以并行地、并发地和/或在分布式环境中执行，并且程序代码被本地或远程存储以供单处理器或多处理器机器访问。此外，在一些实施例中，在不脱离所公开主题的精神的情况下，可以重新布置操作的顺序。
处理器设备504可以是特别地被配置为执行本文讨论的功能的专用或通用处理器设备。处理器设备504可以连接到通信基础设施506，诸如总线、消息队列、网络、多核消息传递方案等。该网络可以是适合于执行本文公开的功能的任何网络，并且可以包括局域网(LAN)、广域网(WAN)、无线网络(例如WiFi)、移动通信网络、卫星网络、互联网、光纤、同轴电缆、红外线、射频(RF)或其任意组合。其他合适的网络类型和配置对于相关领域的技术人员来说将是显而易见的。计算机系统500还可以包括主存储器508(例如，随机存取存储器、只读存储器等)，并且还可以包括辅助存储器410。辅助存储器510可以包括硬盘驱动器512和可移除存储驱动器514，诸如软盘驱动器、磁带驱动器、光盘驱动器、快闪存储器等。
可移除存储驱动器514可以以众所周知的方式从可移除存储单元518读取和/或写入到可移除存储单元518。可移除存储单元518可以包括可移除存储介质，该可移除存储介质可以由可移除存储驱动器514读取和写入。例如，如果可移除存储驱动器514是软盘驱动器或通用串行总线端口，则可移除存储单元518可以相应地是软盘或便携式快闪驱动器。在一个实施例中，可移除存储单元518可以是非暂态计算机可读记录介质。
在一些实施例中，辅助存储器510可以包括用于允许计算机程序或其他指令被加载到计算机系统500中的替代器件，例如，可移除存储单元522和接口520。如对于相关领域的技术人员来说将是显而易见的，此类器件的示例可以包括程序盒式磁带和盒式磁带接口(例如，如在视频游戏系统中发现的)、可移除存储器芯片(例如，EEPROM、PROM等)和相关联插口、以及其他可移除存储单元522和接口520。
存储在计算机系统500中(例如，存储在主存储器508和/或辅助存储器510中)的数据可以存储在任何类型的合适的计算机可读介质上，诸如光学存储装置(例如，光盘、数字多功能光盘、蓝光光盘等)或磁带存储装置(例如，硬盘驱动器)。数据可以被配置为任何类型的合适的数据库配置，诸如关系数据库、结构化查询语言(SQL)数据库、分布式数据库、对象数据库等。合适的配置和存储类型对于相关领域的技术人员来说将是显而易见的。
计算机系统500还可以包括通信接口524。通信接口524可以被配置为允许软件和数据在计算机系统500和外部设备之间传送。示例性通信接口524可以包括调制解调器、网络接口(例如，以太网卡)、通信端口、PCMCIA插槽和卡等。经由通信接口524传送的软件和数据可以是信号的形式，该信号可以是对相关领域的技术人员来说显而易见的电子、电磁、光学或其他信号。信号可以经由通信路径526行进，通信路径526可以被配置为承载信号并且可以使用电线、电缆、光纤、电话线、蜂窝电话链路、射频链路等来实现。
计算机系统500还可以包括显示器接口502。显示器接口502可以被配置为允许数据在计算机系统500和外部显示器530之间传送。示例性显示器接口502可以包括高清多媒体接口(HDMI)、数字视频接口(DVI)、视频图形阵列(VGA)等。显示器530可以是用于显示经由计算机系统500的显示器接口502传输的数据的任何合适类型的显示器，例如阴极射线管(CRT)显示器、液晶显示器(LCD)、发光二极管(LED)显示器、电容触摸显示器、薄膜晶体管(TFT)显示器等。
计算机程序介质和计算机可用介质可以指存储器(诸如主存储器508和辅助存储器510)，该存储器可以是存储器半导体(例如，DRAM等)。这些计算机程序产品可以是用于向计算机系统500提供软件的器件。计算机程序(例如，计算机控制逻辑)可以存储在主存储器508和/或辅助存储器510中。也可以经由通信接口524接收计算机程序。此类计算机程序在被执行时可以使计算机系统500能够实现如本文所讨论的本方法。特别地，计算机程序在被执行时可以使得处理器设备504能够实现如本文所讨论的图2A、图2B、图3、图4A和图4B所示的过程和方法。因此，此类计算机程序可以表示计算机系统500的控制器。在使用软件实现本公开的情况下，软件可以存储在计算机程序产品中，并且使用可移除存储驱动器514、接口520和硬盘驱动器512或通信接口524加载到计算机系统500中。
处理器设备504可以包括被配置为执行计算机系统500的功能的一个或多个模块或引擎。模块或引擎中的每个可以使用硬件来实现，并且在一些情况下，还可以利用软件，诸如对应于存储在主存储器508或辅助存储器510中的程序代码和/或程序。在此类情况下，程序代码可以在由计算机系统500的硬件执行之前由处理器设备504(例如，由编译模块或引擎)编译。例如，程序代码可以是用被转译成低级语言(诸如汇编语言或机器代码)的编程语言编写的用于由处理器设备504和/或计算机系统500的任何另外的硬件部件执行的源代码。编译的过程可以包括使用词法分析、预处理、解析、语义分析、语法指导的转译、代码生成、代码优化以及任何其他适合于将程序代码转译成适合于控制计算机系统500执行本文公开的功能的低级语言的技术。对于相关领域的技术人员来说显而易见的是，此类过程导致计算机系统500成为专门配置的计算机系统500，该计算机系统500被唯一编程为执行上面讨论的功能。
在用牙科成像设备扫描期间生成牙科对象的数字三维表示的示例性方法
图6图示了根据示例性实施例的用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的方法600。
方法600可以包括基于多个3D扫描块片的配准和拼接生成牙科对象的数字三维(3D)表示的框602。在示例性实施例中，数字三维表示可以存储在计算设备104的存储装置130中。
方法600可以包括在扫描期间实时获得新的3D扫描块片的框604。在示例性实施例中，使用成像设备102获得新的3D扫描块片。在一些情况下，成像设备102被配置为提供例如2.5维数据形式的图像数据，所述图像数据可以理解为可以从中推断深度的图像，使得可以基于所述2.5维数据生成3维数据。在一些情况下，3维数据是点云。3维数据可以由成像设备外部的计算设备生成。
方法600可以包括在扫描期间将所述新的3D扫描块片配准到数字3D表示的框606，由此所述扫描块片形成数字3D表示的一部分。在示例性实施例中，新的3D扫描块片被配准到数字配准3D表示。作为示例，所述配准3D表示可以是基于数字母版3D表示(作为示例基于数字母版3D表示中的平均数据)的计算表示。
方法600可以包括在获得的或配准的3D扫描块片中选择3D扫描块片的子集的框608，其中所述选择是在扫描期间执行的。在示例性实施例中，3D扫描块片的子集至少部分地彼此重叠，如图7中所示。可以进一步选择3D扫描块片的子集，使得它们充分覆盖被扫描的对象。
方法600可以包括重新配准形成数字3D表示的一部分的一个或多个3D扫描块片的框610，其中所述重新配准基于对扫描块片的选择的子集应用一个或多个变换。在示例性实施例中，所述变换包括平移和/或旋转中的任一种。作为示例，可以基于如何变换选择的子集来重新配准数字3D表示(作为示例数字母版表示)的多个或所有3D扫描块片。在一些实施例中，不形成选择的子集的一部分的扫描块片根据应用于子集内附近扫描块片的变换的加权平均进行变换。
尽管已经详细描述和示出了一些实施例，但是本公开不限于这些细节，而是也可以在所附权利要求中限定的主题的范围内以其他方式实施。特别地，应理解，可以利用其他实施例，并且可以在不脱离本公开的范围的情况下进行结构和功能修改。此外，本领域技术人员将会发现，很明显，除非实施例仅作为替代被特别提出，否则不同的公开的实施例可以被组合以实现特定的实现方式，并且此类特定的实现方式在本公开的范围内。
本发明的进一步细节
1.一种计算机实现的方法，用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示，该方法包括：
存储牙科对象的数字母版三维表示，该牙科对象的数字母版三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的，扫描块片中的每一个与牙科对象的一部分相关联；
存储牙科对象的数字配准三维表示，该数字配准三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的；
存储牙科对象的数字可视化三维表示，该可视化三维表示被输出到显示器；
从牙科成像设备接收牙科对象的新的扫描块片；
用新的扫描块片更新数字配准三维表示；
通过配准新的扫描块片以第一更新频率更新数字母版三维表示和数字可视化三维表示，其中配准包括将新的扫描块片配准到一个或多个先前捕获的扫描块片；
选择数字母版三维表示的扫描块片的一个或多个关键帧；
重新配准一个或多个关键帧，其中重新配准包括操纵一个或多个关键帧，其中操纵包括以下中的一者或多者：旋转和/或平移；
基于该一个或多个关键帧的重新配准来更新该数字母版三维表示，其中该数字母版三维表示以第二更新频率更新；以及
基于该一个或多个关键帧的重新配准来更新该数字可视化三维表示，其中以第三更新频率更新该数字可视化三维表示。
2.根据项目1所述的方法，其中该第三更新频率是与该数字可视化三维表示的部分相关联的一个或多个更新频率的合计更新频率，该数字可视化三维表示的一个或多个部分中的每一个基于该一个或多个扫描块片中有多少与该数字可视化三维表示的中的每个部分重叠而具有不同的更新乘数。
3.根据前述项目中任一项所述的方法，其中该第三更新频率是与该数字可视化三维表示的每个体素相关联的一个或多个体素更新频率的合计更新频率，该一个或多个体素更新频率中的每一个基于该一个或多个扫描块片有多少与该数字可视化三维表示的每个体素重叠而具有不同的体素更新乘数。
4.根据前述项目中任一项所述的方法，其包括：
从牙科成像设备接收牙科对象的初始扫描块片，该初始扫描块片包含至少阈值量的三维数据；以及
基于初始扫描块片生成数字母版三维表示和数字可视化三维表示。
5.根据前述项目中任一项所述的方法，其中选择用于数字母版三维表示的扫描块片的一个或多个关键帧用于重新配准包括：
识别一个或多个关键帧之间的重叠部分，该重叠部分是一个或多个关键帧的每个关键帧之间的预定距离。
6.根据前述项目中任一项所述的方法，其中选择用于数字母版三维表示的扫描块片的一个或多个关键帧用于重新配准包括：
识别扫描块片中的每一个的质心，其中选择的一个或多个关键帧中的每一个具有彼此相距预定距离的质心，其中预定距离是一个或多个关键帧中的每一个的质心之间的距离。
7.根据前述项目中任一项所述的方法，其中该第三更新频率基于在该牙科对象的特定区域内从该牙科成像设备接收到多少该牙科对象的扫描块片。
8.根据前述项目中任一项所述的方法，其中以第三更新频率更新数字可视化三维表示包括：
确定数字可视化三维表示的在预定时间段内没有被更新的部分；以及
更新数字可视化三维表示的在预定时间段内没有被更新的部分。
9.根据项目8所述的方法，其中确定数字可视化三维表示的在预定时间段内没有被更新的部分包括：
识别自从接收到对应于牙科对象的相同部分的先前扫描块片以来接收到的对应于牙科对象的每个部分的多个扫描块片。
10.根据前述项目中任一项所述的方法，其包括：
基于扫描块片生成数字空间排除三维表示；以及
基于该一个或多个关键帧的重新配准来更新该数字空间排除三维表示。
11.根据前述项目中任一项所述的方法，其中该母版三维表示和数字可视化三维表示是点云模型、符号距离模型、三角化点云模型或表面元素模型中的一者。
12.根据前述项目中任一项所述的方法，其中该牙科对象是患者的口腔，并且该一个或多个扫描块片是患者的口腔的部分，包括牙列、牙龈、磨牙后三角区、硬腭、软腭和口底中的至少一者。
13.一种用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的系统，该系统包括：
处理设备的存储器，其被配置为：
存储牙科对象的数字母版三维表示，该牙科对象的数字母版三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的，扫描块片中的每一个与牙科对象的一部分相关联；
存储牙科对象的数字配准三维表示，该数字配准三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的；
存储牙科对象的数字可视化三维表示，该可视化三维表示被输出到显示器；
该处理设备的处理器被配置为：
从牙科成像设备接收牙科对象的新的扫描块片；
用新的扫描块片更新数字配准三维表示；
通过配准新的扫描块片以第一更新频率更新数字母版三维表示和数字可视化三维表示，其中配准包括将新的扫描块片配准到一个或多个先前捕获的扫描块片；
选择数字母版三维表示的扫描块片的一个或多个关键帧；
重新配准一个或多个关键帧，其中重新配准包括操纵一个或多个关键帧，其中操纵包括以下中的一者或多者：旋转和/或平移；
基于该一个或多个关键帧的重新配准来更新该数字母版三维表示，其中该数字母版三维表示以第二更新频率更新；以及
基于该一个或多个关键帧的重新配准来更新该数字可视化三维表示，其中以第三更新频率更新该数字可视化三维表示。
14.根据项目13所述的系统，其中该第三更新频率是与该数字可视化三维表示的部分相关联的一个或多个更新频率的合计更新频率，该数字可视化三维表示的一个或多个部分中的每一个基于该一个或多个扫描块片中有多少与该数字可视化三维表示的中的每个部分重叠而具有不同的更新乘数。
15.根据项目13至14中任一项所述的系统，其包括：
该处理设备的处理器被配置为：
从该牙科成像设备接收该牙科对象的初始扫描块片，该初始扫描块片包含至少阈值量的三维数据；以及
基于初始扫描块片生成数字母版三维表示和数字可视化三维表示。
16.根据项目13至15中任一项所述的系统，其中选择用于数字母版三维表示的扫描块片的一个或多个关键帧用于重新配准包括：
识别一个或多个关键帧之间的重叠部分，该重叠部分是一个或多个关键帧的每个关键帧之间的预定距离。
17.根据项目13至16中任一项所述的系统，其中选择用于数字母版三维表示的扫描块片的一个或多个关键帧用于重新配准包括：
识别扫描块片中的每一个的质心，其中选择的一个或多个关键帧中的每一个具有彼此相距预定距离的质心，其中预定距离是一个或多个关键帧中的每一个的质心之间的距离。
18.根据项目13至17中任一项所述的方法，其中该第三更新频率基于在该牙科对象的特定区域内从该牙科成像设备接收到多少该牙科对象的扫描块片。
19.根据项目13至18中任一项所述的系统，其中以第三更新频率更新数字可视化三维表示包括：
确定数字可视化三维表示的在预定时间段内没有被更新的部分；以及
更新数字可视化三维表示的在预定时间段内没有被更新的部分。
20.根据项目13至20中任一项所述的系统，其中确定数字可视化三维表示的在预定时间段内没有被更新的部分包括：
识别自从接收到对应于牙科对象的相同部分的先前扫描块片以来接收到的对应于牙科对象的每个部分的多个扫描块片。
21.根据项目13至20中任一项所述的系统，其包括：
该处理设备的处理器被配置为：
基于扫描块片生成数字空间排除三维表示；以及
基于一个或多个关键帧的重新配准来更新数字空间排除三维表示。
22.根据项目13至21中任一项所述的系统，其中母版三维表示和数字可视化三维表示是点云模型、符号距离模型、三角化点云模型或表面元素模型中的一者。
23.根据项目13至22中任一项所述的系统，其中该牙科对象是患者的口腔，并且该一个或多个扫描块片是患者的口腔的部分，包括牙列、牙龈、磨牙后三角区、硬腭、软腭和口底中的至少一者。
24.根据项目13至23中任一项所述的系统，其中该系统被配置为执行根据项目1至12中任一项所述的方法。
25.一种计算机程序产品，其包括指令，当计算机执行该程序时，该指令使计算机执行根据项目1至12中任一项所述的方法的步骤。
26.一种计算机可读存储介质，其包括指令，该指令在由计算机执行时使得计算机执行根据项目1至12中任一项所述的方法的步骤。
27.一种用于在用牙科成像设备扫描期间生成牙科对象的数字三维表示的计算机程序产品，该计算机程序产品包括：
计算机可读存储介质，其上实施有程序指令，该程序指令可由计算机执行以使计算机执行方法，该方法包括：
存储牙科对象的数字母版三维表示，该牙科对象的数字母版三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的，扫描块片中的每一个与牙科对象的一部分相关联；
存储牙科对象的数字配准三维表示，该数字配准三维表示是使用经由牙科成像设备捕获的牙科对象的一个或多个扫描块片生成的；
存储牙科对象的数字可视化三维表示，该可视化三维表示被输出到显示器；
从牙科成像设备接收牙科对象的新的扫描块片；
用新的扫描块片更新数字配准三维表示；
通过配准新的扫描块片以第一更新频率更新数字母版三维表示和数字可视化三维表示，其中配准包括将新的扫描块片配准到一个或多个先前捕获的扫描块片；
选择数字母版三维表示的扫描块片的一个或多个关键帧；
重新配准一个或多个关键帧，其中重新配准包括操纵一个或多个关键帧，其中操纵包括以下中的一者或多者：旋转和/或平移；
基于该一个或多个关键帧的重新配准来更新该数字母版三维表示，其中该数字母版三维表示以第二更新频率更新；以及
基于该一个或多个关键帧的重新配准来更新该数字可视化三维表示，其中以第三更新频率更新该数字可视化三维表示。
28.根据项目27所述的计算机程序产品，其中该第三更新频率是与该数字可视化三维表示的每个体素相关联的一个或多个体素更新频率的合计更新频率，该一个或多个体素更新频率中的每一个基于该一个或多个扫描块片有多少与该数字可视化三维表示的每个体素重叠而具有不同的体素更新乘数。
29.根据项目27至28中任一项所述的计算机程序产品，其包括：
从牙科成像设备接收牙科对象的初始扫描块片，该初始扫描块片包含至少阈值量的三维数据；以及
基于初始扫描块片生成数字母版三维表示和数字可视化三维表示。
30.根据项目27至29中任一项所述的计算机程序产品，其中选择用于数字母版三维表示的扫描块片的一个或多个关键帧用于重新配准包括：
识别一个或多个关键帧之间的重叠部分，该重叠部分是一个或多个关键帧的每个关键帧之间的预定距离。
31.根据项目27至30中任一项所述的计算机程序产品，其中选择用于数字母版三维表示的扫描块片的一个或多个关键帧用于重新配准包括：
识别扫描块片中的每一个的质心，其中选择的一个或多个关键帧中的每一个具有彼此相距预定距离的质心，其中预定距离是一个或多个关键帧中的每一个的质心之间的距离。
32.根据项目27至31中任一项所述的计算机程序产品，其中该第三更新频率基于在该牙科对象的特定区域内从该牙科成像设备接收到多少该牙科对象的扫描块片。
33.根据项目27至32中任一项所述的计算机程序产品，其中以第三更新频率更新数字可视化三维表示包括：
确定数字可视化三维表示的在预定时间段内没有被更新的部分；以及
更新数字可视化三维表示的在预定时间段内没有被更新的部分。
34.根据项目33所述的计算机程序产品，其中确定数字可视化三维表示的在预定时间段内没有被更新的部分包括：
识别自从接收到对应于牙科对象的相同部分的先前扫描块片以来接收到的对应于牙科对象的每个部分的多个扫描块片。
35.根据项目27至34中任一项所述的计算机程序产品，其包括：
基于扫描块片生成数字空间排除三维表示；以及
基于该一个或多个关键帧的重新配准来更新该数字空间排除三维表示。
36.根据项目27至35中任一项所述的计算机程序产品，其中母版三维表示和数字可视化三维表示是点云模型、符号距离模型、三角化点云模型或表面元素模型中的一者。
37.根据项目27至36中任一项所述的计算机程序产品，其中该牙科对象是患者的口腔，并且该一个或多个扫描块片是患者的口腔的部分，包括牙列、牙龈、磨牙后三角区、硬腭、软腭和口底中的至少一者。
38.一种用于在扫描期间提高牙科对象的数字三维表示的准确性的计算机实现的方法，该方法包括以下步骤：
基于多个3D扫描块片的配准和拼接生成牙科对象的数字三维(3D)表示；
在扫描期间实时连续获得新的3D扫描块片；
在扫描期间将所述新的3D扫描块片配准到数字3D表示，由此所述扫描块片形成数字3D表示的一部分；
在获得的或配准的3D扫描块片中选择3D扫描块片的子集，其中所述选择是在扫描期间执行的；以及
重新配准形成数字3D表示的一部分的一个或多个3D扫描块片，其中所述重新配准基于对选择的扫描块片的子集应用一个或多个变换，由此提高数字3D表示的准确性。
39.根据项目38所述的方法，其中重新配准的步骤在扫描期间执行。
40.根据项目38至39中任一项所述的方法，其中重新配准的步骤包括相对于彼此或相对于三维(3D)表示平移和/或旋转一个或多个3D扫描块片。
41.根据项目38至40中任一项所述的方法，其中在获得新的3D扫描块片之前完成重新配准一个或多个3D扫描块片的步骤。
42.根据项目38至41中任一项所述的方法，其中重新配准的步骤在小于1秒内完成。
43.根据项目38至42中任一项所述的方法，其中重新配准的步骤在小于200毫秒内完成。
44.根据项目38至43中任一项所述的方法，其中每秒获得至少20个新的3D扫描块片。
45.根据项目38至44中任一项所述的方法，其中该方法的所有步骤连续且实时地执行。
46.根据项目38至45中任一项所述的方法，其中在重新配准的步骤期间，重新配准形成数字3D表示的一部分的多个3D扫描块片。
47.根据项目38至46中任一项所述的方法，其中在重新配准的步骤期间，重新配准形成数字3D表示的一部分的所有3D扫描块片。
48.根据项目38至47中任一项所述的方法，其中将一个或多个变换应用于3D扫描块片的子集内的每个3D扫描块片，其中所述(一个或多个)变换包括平移和/或旋转。
49.根据项目38至48中任一项所述的方法，其中根据应用于3D扫描块片的子集内的一个或多个扫描块片的变换的加权平均，对不形成选择的子集的一部分的3D扫描块片进行变换。
50.根据项目38至49中任一项所述的方法，其中使用迭代最近点算法来执行3D扫描块片的配准。
51.根据项目38至50中任一项所述的方法，其中该3D扫描块片的重新配准是全局配准。
52.根据项目38至51中任一项所述的方法，其中重新配准的步骤包括同时将一个或多个变换应用于多个3D扫描块片，所述变换包括平移和/或旋转。
53.一种数据处理装置，其包括一个或多个处理器，该一个或多个处理器被配置为执行根据项目38至52中任一项所述的方法的步骤。
54.一种计算机系统，其包括一个或多个处理器，该一个或多个处理器被配置为执行根据项目38至52中任一项所述的方法的步骤。
55.一种计算机程序产品，其包括指令，当计算机执行该程序时，该指令使计算机执行根据项目38至52中任一项所述的方法的步骤。
56.一种计算机可读数据载体，其上存储有项目55的计算机程序产品。
57.一种计算机可读存储介质，其包括指令，该指令在由计算机执行时使得计算机执行根据项目38至52中任一项所述的方法的步骤。
58.一种用于在扫描期间生成牙科对象的数字三维表示的系统，该系统包括：
一种牙科成像设备，其包括：
一个或多个投影仪，其被配置为用于在扫描期间照射牙科对象的表面；
一个或多个图像传感器，其被配置为用于响应于照射所述表面而获取二维(2D)图像组；
一个或多个处理器，其被配置为执行根据项目38至52中任一项所述的方法的步骤。
59.根据项目58所述的系统，其中该牙科成像设备包括一个或多个处理器，该一个或多个处理器被配置为基于该组获取的2D图像连续生成3D扫描块片。

Claims (18)

1.一种用于在扫描期间提高牙科对象的数字三维表示的准确性的计算机实现的方法，所述方法包括以下步骤：
基于多个3D扫描块片的配准和拼接生成所述牙科对象的数字三维(3D)表示；
在扫描期间实时连续获得新的3D扫描块片；
在扫描期间将所述新的3D扫描块片配准到所述数字3D表示，由此所述扫描块片形成所述数字3D表示的一部分；
在获得的或配准的3D扫描块片中选择3D扫描块片的子集，其中选择是在扫描期间执行的；以及
重新配准形成所述数字3D表示的一部分的一个或多个3D扫描块片，其中重新配准基于对选择的扫描块片的子集应用一个或多个变换，由此提高数字3D表示的准确性。
2.根据权利要求1所述的方法，其中在扫描期间执行重新配准的步骤。
3.根据权利要求1所述的方法，其中重新配准的步骤包括相对于彼此或相对于所述三维(3D)表示平移和/或旋转所述一个或多个3D扫描块片。
4.根据权利要求1所述的方法，其中在获得新的3D扫描块片之前完成重新配准一个或多个3D扫描块片的步骤。
5.根据权利要求1所述的方法，其中重新配准的步骤在小于1秒内完成。
6.根据权利要求1所述的方法，其中重新配准的步骤在小于200毫秒内完成。
7.根据权利要求1所述的方法，其中每秒获得至少20个新的3D扫描块片。
8.根据权利要求1所述的方法，其中所述方法的所有步骤连续且实时地执行。
9.根据权利要求1所述的方法，其中在重新配准的步骤期间，重新配准形成所述数字3D表示的一部分的多个3D扫描块片。
10.根据权利要求1所述的方法，其中在重新配准的步骤期间，重新配准形成所述数字3D表示的一部分的所有3D扫描块片。
11.根据权利要求1所述的方法，其中将一个或多个变换应用于所述3D扫描块片的子集内的每个3D扫描块片，其中所述变换包括平移和/或旋转。
12.根据权利要求11所述的方法，其中根据应用于所述3D扫描块片的子集内的一个或多个扫描块片的变换的加权平均，对不形成选择的子集的一部分的3D扫描块片进行变换。
13.根据权利要求1所述的方法，其中所述3D扫描块片的重新配准是全局配准。
14.根据权利要求1所述的方法，其中重新配准的步骤包括同时对多个3D扫描块片应用一个或多个变换，所述变换包括平移和/或旋转。
15.一种计算机系统，所述计算机系统包括一个或多个处理器，所述一个或多个处理器被配置为执行根据权利要求1所述的方法的步骤。
16.一种计算机程序产品，所述计算机程序产品包括指令，当计算机执行所述程序时，所述指令使得所述计算机执行根据权利要求1所述的方法的步骤。
17.一种计算机可读数据载体，所述计算机可读数据载体上存储有根据权利要求16所述的计算机程序产品。
18.一种用于在扫描期间生成牙科对象的数字三维表示的系统，所述系统包括：
牙科成像设备，所述牙科成像设备包括：
一个或多个投影仪，所述一个或多个投影仪被配置为用于在扫描期间照射所述牙科对象的表面；
一个或多个图像传感器，所述一个或多个图像传感器被配置为用于响应于照射所述表面而获取二维(2D)图像组；以及
一个或多个处理器，所述一个或多个处理器被配置为执行根据权利要求1所述的方法的步骤。
CN202310227137.XA 2022-03-17 2023-03-10 在用牙科成像设备扫描期间生成牙科对象的三维表示 Pending CN116763474A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22162665.8 2022-03-17
EP22162665 2022-03-17

Publications (1)

Publication Number Publication Date
CN116763474A true CN116763474A (zh) 2023-09-19

Family

ID=80786608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310227137.XA Pending CN116763474A (zh) 2022-03-17 2023-03-10 在用牙科成像设备扫描期间生成牙科对象的三维表示

Country Status (3)

Country Link
US (1) US20230293271A1 (zh)
EP (1) EP4246439A1 (zh)
CN (1) CN116763474A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090061381A1 (en) * 2007-09-05 2009-03-05 Duane Milford Durbin Systems and methods for 3D previewing
CN104783757B (zh) 2009-06-17 2018-01-05 3形状股份有限公司 聚焦扫描设备
EP2678830B1 (en) * 2011-02-22 2020-04-08 Midmark Corporation Hybrid stitching for 3d reconstruction
EP3401876B2 (en) * 2011-07-15 2022-08-17 3Shape A/S Detection of a movable object when 3d scanning a rigid object
US11455727B2 (en) * 2019-05-02 2022-09-27 Align Technology, Inc. Method and apparatus for excessive materials removal from intraoral scans
US11995839B2 (en) * 2019-09-04 2024-05-28 Align Technology, Inc. Automated detection, generation and/or correction of dental features in digital models

Also Published As

Publication number Publication date
EP4246439A1 (en) 2023-09-20
US20230293271A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
US9544577B2 (en) Method of capturing three-dimensional (3D) information on a structure
US9191648B2 (en) Hybrid stitching
US9245374B2 (en) Space carving in 3D data acquisition
US9418474B2 (en) Three-dimensional model refinement
US20190197691A1 (en) Method and system for hybrid mesh segmentation
US11961238B2 (en) Tooth segmentation using tooth registration
US20150178908A1 (en) Method for capturing the three-dimensional surface geometry of objects
JP2022549281A (ja) 口腔内測定値をレジストレーションするための方法、システムおよびコンピュータ可読記憶媒体
US20170064284A1 (en) Producing three-dimensional representation based on images of a person
US20170103569A1 (en) Operator interface for 3d surface display using 2d index image
US20210358189A1 (en) Advanced Systems and Methods for Automatically Generating an Animatable Object from Various Types of User Input
US20220378548A1 (en) Method for generating a dental image
CN111937038B (zh) 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪
CN116763474A (zh) 在用牙科成像设备扫描期间生成牙科对象的三维表示
KR20200114710A (ko) 스캔 가이드 제공 방법 이를 위한 영상 처리장치
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
Lacher 3D breast surface reconstructions from consumer-grade RGB-D cameras
KR102441485B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR102444195B1 (ko) 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
US20240164874A1 (en) Modeling dental structures from dental scan
KR20230007909A (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
CN116457835A (zh) 从三维模型确定对象体区域的方法和三维模型处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication