CN114830179A - 确定上牙与面部骨骼之间的空间关系 - Google Patents

确定上牙与面部骨骼之间的空间关系 Download PDF

Info

Publication number
CN114830179A
CN114830179A CN202080086410.6A CN202080086410A CN114830179A CN 114830179 A CN114830179 A CN 114830179A CN 202080086410 A CN202080086410 A CN 202080086410A CN 114830179 A CN114830179 A CN 114830179A
Authority
CN
China
Prior art keywords
patient
image
model
images
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080086410.6A
Other languages
English (en)
Inventor
大卫·约翰·伍德
塞西莉·安妮丝·奥斯内斯
安德鲁·詹姆斯·基林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mimetrik Solutions Ltd
Original Assignee
Mimetrik Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mimetrik Solutions Ltd filed Critical Mimetrik Solutions Ltd
Publication of CN114830179A publication Critical patent/CN114830179A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/34—Making or working of models, e.g. preliminary castings, trial dentures; Dowel pins [4]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/0006—Impression trays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Analysis (AREA)
  • Dental Prosthetics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种计算机实现的方法包括接收表示患者(P)的上牙(U1)的3D模型和接收患者(P)的面部的多个图像。该方法还包括基于接收到的多个图像生成患者的面部模型(200)，以及基于确定的面部模型(200)、接收到的上牙(U1)的3D模型和多个图像来确定患者(P)的上牙(U1)和患者(P)的面部骨骼之间的空间关系。

Description

确定上牙与面部骨骼之间的空间关系
领域
本发明涉及一种确定上牙与面部骨骼之间的空间关系的计算机实现的方法，以及一种用于确定上牙与面部骨骼之间的空间关系的系统。
背景
记录上牙与颅骨之间的关系在牙科中常常是重要的。诸如牙齿的外观和功能等因素会受到上牙与颅骨之间、或者更具体地上牙与面部骨骼之间的关系的影响。例如，牙齿本身可能是直的，但如果不考虑牙齿和颅骨之间的对齐，就会显示出相对于视线的不美观的对齐。在患者的牙齿严重磨损的情况下，这样的问题可能会加剧。通过将上牙与颅骨相关联，可以确保在制作义齿时，咬合平面、中线和咬合垂直尺寸与面部保持和谐。
传统上，面弓或耳弓被用来捕获上牙和颅骨之间的关系，然后该关系被转移到附接有上牙和下牙的石模的牙齿咬合架。尽管面弓是大多数牙科培训项目的基本部分，但在普通牙科中很少使用，因为它们复杂、昂贵且容易出错。
本公开的目的是克服上述困难，以及对于本文的描述的本领域技术读者来说可能显而易见的任何其他困难。本公开的进一步目的是提供确定上牙和面部骨骼之间的关系的节约成本且准确的方法。
概述
根据本发明，提供了如在所附权利要求中阐述的装置和方法。根据从属权利要求和下面的描述，本发明的其他特征将是明显的。
根据本公开的第一方面，提供了一种计算机实现的方法，包括：
接收表示患者的上牙的3D模型；
接收患者的面部的多个图像；
基于接收到的多个图像生成患者的面部模型；
基于确定的面部模型、接收到的表示上牙的3D模型和多个图像，确定患者的上牙和患者的面部骨骼之间的空间关系。
确定上牙和面部骨骼之间的空间关系可以包括：确定相对于面部模型的相机姿态，以及基于相机姿态确定图像与表示上牙的3D模型的最佳对齐。
对于每个图像，确定最佳对齐可以包括：基于捕获图像时的相机姿态和表示患者上牙的3D模型与面部模型之间的估计的空间关系来渲染3D场景；基于相机姿态从渲染的3D场景中提取2D渲染；将2D渲染与图像进行比较，以确定指示2D渲染与图像之间的差异水平的成本得分。确定最佳对齐可以包括使用优化器，优选地使用非线性优化器，以迭代地获得在多个图像上的最佳对齐。
成本得分可以包括在渲染和图像之间计算的互信息得分。成本得分可以包括从渲染和图像中提取的对应的图像特征的相似性得分。图像特征可以是拐角特征。图像特征可以是边缘。图像特征可以是图像梯度特征。相似性得分可以是欧几里得距离、随机采样或一对一性(one-to-oneness)中的一种。在计算互信息得分之前，可以对渲染和2D图像进行预处理。可以将卷积或滤波器应用于渲染和2D图像。
成本得分可以包括2D渲染和2D图像之间的最接近匹配得分。最接近匹配得分可以基于来自2D渲染的2D特征和来自2D图像的2D特征的比较。
成本得分可以包括2d-3d-2d-2d成本，该成本通过以下步骤计算：从所渲染的3D场景中提取2D图像特征；将所提取的特征重新投影到所渲染的3D场景上；从2D图像中提取图像特征；将从2D图像中提取的特征重新投影到所渲染的3D场景上，以及计算指示3D空间中的重新投影的特征之间的差异的相似性度量。
成本得分可以包括通过跟踪多个2D图像中的连续图像之间的像素而计算的光流成本。光流成本可以基于稠密光流。所跟踪的像素可以排除被确定为被遮挡的像素。
确定成本得分可以包括基于不同的提取特征和/或相似性度量确定多个不同的成本得分。优化器在每次迭代中使用的成本得分可以不同。成本得分可以在成本得分的第一选择和成本得分的第二选择之间交替，其中第一选择和第二选择中的一个包括2d-3d-2d-2d成本，而另一个不包括2d-3d-2d-2d成本。
面部模型可以是3D可形变网格。生成面部模型可以包括：从图像中检测多个面部标志，以及将3D可形变网格拟合到面部标志。3D可形变网格中在对应于患者的口的位置处可以有孔。孔可以帮助图像分割和对上牙的识别。
多个图像可以包括患者的上牙的至少一部分。表示上牙的3D模型可以是上牙的3D模型。
多个图像可以包括标记物(marker)的至少一部分。标记物可以耦合到印模托盘。印模托盘可以被设置在患者的口中。标记物可以被设置在患者的口外。印模托盘可以被用于捕获上牙的印模。表示上牙的3D模型可以是印模托盘的3D模型。印模托盘的3D模型可以包括标记物。印模托盘的3D模型可以不包括标记物，并且牙齿和面部骨骼之间的空间关系可以基于标记物和印模托盘之间的预定的空间关系来确定。下文参考第五方面定义了印模托盘的另外的可选特征，并且这些特征可以以任何组合与第一方面组合。
多个图像可以包括图像的第一集合和图像的第二集合。图像的第一集合可以被用于生成面部的3D模型。图像的第二集合各自包括患者P的上牙的至少一部分，并且可以被用于确定上牙与面部骨骼之间的空间关系。图像的第二集合各自包括标记物的至少一部分，并且可以被用于确定上牙和面部骨骼之间的空间关系。
确定多个图像中的图像的相机姿态可以包括：将3D可形变网格变形以匹配图像中所示的表情，以及基于已形变的3D可形变网格来确定相机姿态。图像和/或2D渲染可以使用表情拟合的(expression-fitted)面部模型来掩蔽。
根据本公开的第二方面，提供了一种包括处理器和存储器的系统。存储器存储指令，该指令在由处理器执行时使系统执行本文所述的任何方法。
根据本公开的第三方面，提供了一种有形的非瞬态计算机可读存储介质，其上记录有指令，该指令当由计算机设备实现时，使计算机设备如本文所述地被布置和/或使计算机设备执行本文所述的任何方法。
根据本公开的第四方面，提供了一种包括指令的计算机程序产品，当程序由计算机执行时，该指令使计算机执行本文所述的任何方法。
根据本公开的第五方面，提供了一种牙科印模托盘，包括：
主体，其被配置成保持印模材料，以及
标记物部分，其耦合到主体，并被配置成当主体被容纳在患者的口中时设置在患者的口外，该标记物部分包括标记物。
牙科印模托盘可以适于在修复和/或正畸牙科中使用。主体可包括凹部，该凹部的大小被设定成保持足够体积的印模材料以捕获用于在修复牙科中使用的印模。牙科印模托盘可以被配置成捕获全牙弓印模。牙科印模托盘可以是单面的。牙科印模托盘可被配置成捕获患者的牙齿的单个牙弓的印模，优选地捕获上牙的印模。
牙科印模托盘可以包括从主体延伸的手柄，其中标记物部分设置在手柄上。标记物部分可以设置在手柄的远端处。
标记物部分可以包括多个标记物段(marker section)，每个标记物段包括标记物。标记物部分可以包括从手柄的相对的侧横向延伸的一对标记物段。
标记物部分可以包括在其上形成标记物的平坦段。当主体被设置在患者的口中时，该平坦段可以被布置在基本上垂直的平面内。
标记物部分、适当地是包括标记物部分的手柄可以从主体拆卸。标记物部分、适当地是包括标记物部分的手柄可以与主体一体形成。
标记物可包括视觉上不同的图案。
根据本公开的第六方面，提供了一种用于牙科印模托盘的标记物手柄，该手柄包括：
附接部分，其被配置成附接到牙科印模托盘的主体，以及
标记物部分，其被配置成当主体被容纳在患者的口中时将被设置在患者的口外，标记物部分包括标记物。
标记物手柄的另外的优选特征在上文关于第五方面被定义，并且可以以任何组合的方式来组合。
附图简述
为了更好地理解本发明，并且为了展示本发明的示例可以如何实施，现在将仅通过示例的方式参考随附的示意图，其中：
图1是确定患者的上牙和面部骨骼之间的空间关系的第一示例方法的示意性流程图；
图2是示出捕获患者的2D图像的示例方法的示意性透视图；
图3是更详细地示出图1和图2的示例方法的示意性流程图；
图4是拟合有3D面部模型的患者的示例面部的图像；
图5是更详细地示出图1-图4的示例方法的示意性流程图；
图6是更详细地示出图1-图5的示例方法的示意性流程图；
图7是更详细地示出图1-图6的示例方法的示意图；
图8是用于确定患者的上牙和下牙之间的空间关系的示例系统的示意性框图；
图9是上牙的3D模型相对于其定向的示例3D面部模型的图像；
图10A-图10C是示例牙科印模托盘和示例标记物手柄的图像，以及
图11是确定患者的上牙和面部骨骼之间的空间关系的示例方法的示意性方法。
在附图中，对应的附图标记表示对应的部件。本领域技术人员将理解，图中的元件是为了简单和清楚而示出的，并且不一定按比例绘制。例如，图中的一些元件的尺寸可能相对于其他元件被夸大以帮助改善对各种示例实例的理解。此外，在商业上可行的示例中有用或必要的常见但易于理解的元件通常不会被描绘，以便利对这些各种示例实例的不太受遮挡的观看。
实施方案的描述
总之，本公开的示例提供了一种基于面部的多个2D图像和从3D扫描推导出的上牙的3D模型来确定上牙和面部骨骼之间的空间关系的方法。多个2D图像可以被用于将上牙的3D模型与从2D图像生成的面部的3D模型对齐。在一些示例中，多个2D图像包括由围绕患者的面部移动的相机捕获的视频。
图1示出了确定上牙和面部骨骼之间的空间关系的示例方法。
在块S11中，接收患者的上牙的3D模型。可以使用合适的3D牙科扫描仪获得上牙的3D模型。例如，可以使用申请人的未决的英国专利申请GB1913469.1中描述的牙科扫描仪。牙科扫描仪可以被用于扫描取自上牙的印模、根据印模铸造的石模或印模和石模的组合。
在另外的示例中，3D模型可以通过其他在市场上可买到的扫描仪来获得，这些扫描仪可以扫描石模或采用适合放置在患者口中的口腔内(intra-oral)扫描仪的形式。
3D模型可以采用STL或PLY格式的数据文件的形式，也可以采用适合于存储3D模型的任何其他数据格式的数据文件的形式。
在块S12中，接收患者的面部的多个2D图像。
图2示出了捕获图像的示例方法。如图2所示，图像可以由单个相机101捕获，相机101可以是例如智能手机100的相机。相机101可被置于视频捕获模式下，使得它以预定帧速率捕获图像。然后，相机101沿弧A1围绕患者P的面部移动。因为患者P保持将其嘴唇分开，或者采用其他标准的牙科嘴唇缩回方法，所以患者P的上牙U1至少部分地对相机可见。在图2的示例中，下牙L2也是可见的，但是这对于本文描述的方法不是必需的。因此，捕获多个图像，每个图像包括患者P的上牙U1的至少一部分。
虽然图2的示例示出了智能手机100的相机101，但可以采用任何合适的相机。
在一个示例中，在捕获2D图像之前校准相机101。特别地，相机101可以经历校准过程，以便确定或估计相机101的透镜和图像传感器的参数，使得这些参数可以用于校正诸如透镜畸变和桶形畸变(也称为径向畸变)的现象，从而允许准确的3D场景重建。校准过程还可以确定相机101的焦距和光学中心。校准过程可以涉及捕获具有已知尺寸和几何形状的对象的图像，并基于该图像估计透镜和图像传感器的参数。校准相机的示例方法可以如Hartley,R.和Zisserman,A.于2003年在剑桥大学出版社出版的Multiple view geometryin computer vision中所述，该文献的内容通过引用并入本文。
在块S13中，生成患者P的面部的3D模型。在一个示例中，所有捕获的图像都被传递给优化器，该优化器将单个面部模型拟合到所有图像。该面部模型可以是3D可形变网格。
参考图3对此进行更详细地描述。
在块S31中，提供3D可形变网格。3D可形变网格是面部的一般模型，例如，通过对从多个面部的3D扫描推导出的面部网格的训练集执行维数缩减(例如主成分分析)而推导出。在一个示例中，使用具有20到50个主成分的网格，但数量可以改变。
在块S32中，从图像中检测多个面部标志。可以使用经训练的神经网络或其他机器学习的标志检测器来检测面部标志。示例标志检测方法包括在Wu,Yue和Qiang Ji在计算机视觉国际期刊，第127卷第2期(2018年)：第115-142页中发表的“Facial LandmarkDetection:A Literature Survey”中陈述的那些方法，该文献的内容通过引用并入。
在块S33中，将3D可形变网格拟合到标志，从而生成面部的患者特定的3D模型。这可能涉及例如使用面部拟合算法从每个主成分的平均值推导出偏差的值。
图4示出了拟合到患者P的面部的示例3D可形变网格200。3D可形变网格可以不覆盖口腔内区域。也就是说，在网格200中，可以在与患者P的口M相对应的位置处存在孔。
将理解，可采用其他面部拟合技术，这些技术可例如依赖于除标志之外的面部纹理信息。此外，在其他示例中，3D模型还可以将纹理拟合到3D可形变网格。
在一个示例中，可形变网格和拟合技术可以基于作为4dface工具包(http:// www.4dface.io/)的部分可获得的那些技术。
在一个示例中，多个图像包括图像的第一集合和图像的第二集合。图像的第一集合可以是第一捕获的视频，每个图像显示患者P的面部，但可以包括也可以不包括上牙U1。然后可以使用图像的第一集合来生成面部的3D模型。图像的第二集合可以是第二捕获的视频，每个图像包括患者P的上牙U1的至少一部分。然后，图像的第二集合可以被用于将上牙U1的3D模型与面部模型对齐。然而，在其他示例中，单个图像集合(例如，单个视频)可以被用于生成面部的3D模型以及随后将上牙U1与面部模型对齐。
回到图1，在块S14中，确定上牙相对于面部的3D模型的空间对齐。下面将参考图5-图7详细讨论将上牙相对于面部的3D模型进行对齐的方法。
图5更详细地示出了图1的块S14的过程。
在块S51中，针对每个捕获的图像，计算相对于面部的相机姿态和面部的表情。特别地，针对每个图像，将3D可形变网格变形以匹配图像中所示的表情。然后基于3D可形变网格推导出相机姿态。特别地，由于相机101的参数(例如，焦距、光学中心)是已知的，并且处于图像所示的表情中的网格的3D形状是已知的，因此可以推导出相机在拍摄图像时的定位，例如，如上面引用的Multiple view geometry in computer vision中所描述的。
在块S52中，将示出上牙U1的至少一部分的捕获到的图像与上牙的3D模型和面部的3D模型对齐。在捕获的2D图像的全部或子集上同时优化使上牙U1与面部模型对齐的变换T。由于每个图像必然示出与面部模型处于相同的空间关系的上牙，所以捕获的图像实际上是从多个不同视点示出的同一种关系。因此，获得在所有捕获的图像上提供最佳拟合的对齐。
现在将参考图6和图7来描述将上牙的3D模型与捕获的图像对齐的方法。
在块S61中，基于相机姿态C和模型U1姿态的当前估计来执行场景S的3D渲染。如从相机位置C的估计来观看的，这会产生场景的当前估计的2D渲染的图像R。
在块S62中，将渲染的图像R与2D捕获的图像I进行比较，以便对模型姿态和相机姿态的当前估计进行评分。捕获的图像和渲染的图像I之间的相似性程度越高，估计正确的可能性就越大。
为了评估渲染的图像R和捕获的图像I的相似性，可以计算相似性度量。该度量可以输出成本得分，其中较高的成本得分指示渲染的图像R和捕获的图像I之间的较大程度的差异。在一些示例中，可以使用表情拟合的面部模型自动掩蔽图像I和R，使得在成本得分中只考虑口腔内区域。
在一个示例中，计算渲染的图像R和捕获的图像I之间的互信息(MI)得分。MI可以直接基于渲染的图像R和捕获的图像I来计算。然而，在进一步的示例中，可以在计算MI之前以不同的方式处理渲染的图像R和捕获的图像I，以增强MI得分的有效性。例如，诸如Sobel梯度处理的滤波器或另一种图像卷积，无论是经机器学习的还是被设计的，均可应用于渲染的图像R和捕获的图像I。
在一个示例中，对渲染的图像R和捕获的图像I中的每一个执行特征提取，以便从中提取显著特征(例如，区域或图像块(patch))。例如，应用边缘提取方法以从渲染的图像R和捕获的图像I中的每一个中提取边缘点或区域。在另一示例中，应用拐角提取方法以从渲染的图像R和捕获的图像I中的每一个中提取拐角点或区域。在进一步的示例中，可以提取其他特征。例如，可以提取图像梯度特征或例如用卷积神经网络学习的其他机器学习的显著特征。
然后，将分别从渲染的图像R和捕获的图像I中提取的对应的显著特征进行匹配，以确定它们之间的相似性。例如，匹配可以采用相似性度量，诸如提取的点之间的欧几里得距离、对提取的点的随机采样(如在Fischler,M.A.和Bolles,R.C.，1981年，Random sampleconsensus:a paradigm for model fitting with applications to image analysisand automated cartography，Communications of the ACM，第24卷第6期，第381-395页中所讨论的)或诸如一对一性的度量。
在进一步的示例中，如下计算本文中被称为2d-3d-2d-2d成本的成本。
首先，从当前3D渲染猜测的2D图像R中提取2D特征(边缘/拐角/经机器学习或人为设计的卷积)，产生点集合A2。接下来，这些2D特征被重新投影回到3D渲染上，以给出3D点的集合(点集合A3)。
在2D相机图像I中，提取对应的2D特征(点集合B2)。接下来，在B2和A2之间分配对应性，通常使用最近点搜索(closest point search)来分配，但这也可以用最接近的相似性(closest similarity)因子进行增强。随后，计算等效的3D对应性(A3)，产生2D-3D对应性B2-A3的集合。现在，任务是最小化点A3的2D重新投影(称为A2')误差，通过优化相机姿态或模型姿态，使得B2-A2'最小化。
概念上，该得分涉及在3D模型上标记边缘点(或其他显著点)，在2D相机图像上寻找最接近的边缘点，然后移动模型，使得那些3D边缘点的重新投影与2D图像点重合。
然后迭代地重复整个过程，因为在每次迭代中，在3D模型上标记的边缘点和其对应的相机图像的2D点越来越有可能是真正的对应。
另外的成本是要从渲染的图像R(其同样可以例如使用轮廓渲染(silhouetterender)来被预处理)中提取2D特征和从相机图像中提取2D特征。两个图像之间最接近的匹配被找出，然后该匹配被用作当前成本得分，该成本得分直接被反馈给优化器，然后优化器可以稍微调整模型(或相机)姿态并重新计算渲染。这种方法与2d-3d-2d-2d成本的不同之处在于，每次迭代都会更新对应性，其中对应性距离被用作得分以指导优化器，而2d-3d-2d-2d成本是通过以下步骤来计算的：迭代以最小化当前的对应性集合(即内循环)，然后重新计算渲染，然后获得新的对应性并再次迭代循环(外循环)。
可以使用光流计算另一个成本得分。光流技术跟踪序列中连续帧之间的像素。由于帧是被连续记录的，如果渲染的图像R中的像素的被跟踪位置显著不同于捕获的图像I中的该像素的被跟踪位置，则指示对模型和相机姿态的估计是不准确的。
在一个示例中，光流预测是向前执行的，即基于所捕获的视频的前面的帧。在一个示例中，光流预测是向后执行的，因为视频的帧的顺序被反转使得可以计算基于随后的帧的光流预测。
在一个示例中，采用稠密光流技术。可以针对图像中的像素的子集计算稠密光流。例如，像素可以被限制为基于其位置而假定在与从相机的光学中心延伸的向量基本上正交的平面中的像素。在一个示例中，像素可以基于拟合到面部的面部模型被确定为被患者P的面部(例如，被鼻子)遮挡。然后，这样的像素可以不再被光流跟踪。
在一个示例中，应用多种上述方法，以便基于不同的提取特征和/或相似性度量来确定多个不同的成本得分。
针对多个捕获的图像执行块S61和S62的过程。例如，可以针对所有捕获的图像执行该过程。然而，在其他示例中，可以选择捕获的图像的子集。例如，可以选择捕获的图像的子样本。子样本可以是规则的子样本，诸如每隔一个的捕获的图像、每隔两个的捕获的图像或每隔九个的捕获的图像。
因此，基于模型的估计位置和相机的估计位置，推导出反映每个捕获的图像与其对应的渲染的图像之间的相似性的多个成本得分。
在一个示例中，可以计算连续帧之间的估计的相机姿态的差异作为附加成本得分。换句话说，可以计算当前图像的估计的相机姿态与先前捕获的帧的估计的相机姿态之间的距离，和/或可以计算当前图像的估计的相机姿态与随后捕获的帧的估计的相机姿态之间的距离。由于图像是被连续捕获的，因此在连续帧之间的相机姿态的大的差异指示不正确的估计。
在块S63中，每个图像的成本得分被馈送到非线性优化器，其迭代块S61和S62的过程，在每次迭代时调整相机姿态和模型姿态。在每个图像上同时优化的解决方案被达成。当达到了收敛阈值时，迭代停止。在一个示例中，采用的非线性优化器是莱文伯格-马夸尔特(Levenberg–Marquardt)算法。在其他示例中，可以采用来自软件库(诸如Eigen(http:// eigen.tuxfamily.org/)、Ceres(http://ceres-solver.org/)或nlopt(https:// nlopt.readthedocs.io))的其他算法。
在一个示例中，提供牙齿的3D模型相对于面部骨骼的位置的初始估计，用于在第一次迭代中使用。例如，可以基于牙齿的通常或正常位置，例如面部模型的嘴唇下方的预定距离和从嘴唇往回的预定距离，来进行位置的初始估计。在其他示例中，可以由用户输入提供初始估计，例如通过在捕获的图像中识别3D模型的关键点。示例关键点包括犬牙和牙龈乳头的尖端。
在进一步的示例中，在每次迭代中使用的成本得分可能不同。换句话说，在每次迭代中计算对上述得分的选择，其中该选择可以因迭代而不同。例如，方法可以在上述得分的第一选择和上述得分的第二选择之间交替。在一个示例中，第一选择和第二选择中的一个包括2d-3d-2d-2d成本，而另一个不包括2d-3d-2d-2d成本。通过以上述方式使用各种成本度量，可以找到更稳健的解决方案。
相应地，输出是单个3d变换T，其将上牙3D模型带入与患者特定的面部模型的正确空间关系中。图9中示出了示例。
基于变换T，可以自动识别典型的标志，诸如鼻翼-耳屏线(ala-tragal line)、中线和瞳间线。可以将这些传递给CAD设计软件，以在用户选择数字咬合架时正确地定向上牙模型U1，或者可以将这些与患者特定的面部模型(其可以作为OBJ文件或类似文件被导入CAD软件)结合使用，以帮助牙科设计。
图8示出了用于确定上牙和下牙之间的空间关系的示例系统400。系统400包括控制器410。控制器可以包括处理器或诸如现场可编程门阵列(FPGA)、图形处理单元(GPU)等的其他计算元件。在一些示例中，控制器410包括多个计算元件。系统还包括存储器420。存储器420可以包括用于暂时或永久地存储系统400的操作所需的任何信息的任何合适的存储装置。存储器420可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存存储装置、磁盘驱动器和任何其他类型的合适的存储介质。存储器420存储指令，该指令在由控制器410执行时使系统400执行本文所述的任何方法。在进一步的示例中，系统400包括用户接口430，其可以包括显示和输入装置，诸如鼠标和键盘或触摸屏。用户接口430可以被配置成显示GUI 300。在进一步的示例中，系统400可以包括多个计算设备，每个计算设备包括控制器和存储器，并且经由网络进行连接。
现在将参考图10和图11描述进一步的示例方法。
图10A-图10C示出了示例印模托盘500。印模托盘500包括限定凹部521的主体520，凹部521被成形为保持印模材料501。印模托盘500被配置成用于插入患者P的口中，以便在印模材料501中捕获患者的上牙U的印模。
印模托盘500被配置成捕获适合于在修复和/或正畸牙科中使用的印模。换句话说，由托盘500捕获的印模具有合适的质量，其可以用于治疗的计划，包括牙冠、牙桥、植入体、正畸等的设计。因此，凹部521的尺寸可以被设定成保持足够体积的印模材料501以捕获用于修复和/或正畸牙科的印模。
凹部521的尺寸可以被设定成捕获全牙弓印模——即捕获患者所有上牙U的印模。换句话说，凹部521的总体形状可以基本上对应于患者牙齿的牙弓，因此在平面图中呈现出近似半圆形。凹部521可以由托盘500的外围前壁521a限定。凹部521还可以包括凸起的中央部分521b，其在使用中容纳患者的舌头。
此外，印模托盘500可以被配置成在印模材料501中仅捕获患者的上牙U的印模。换句话说，在一些示例中，印模托盘500不是双面托盘，而是单面托盘。这与浅的“咬印模”托盘形成对比，后者用于同时捕获上门牙和下门牙的快速、部分的印模，并且不会产生适合用于修复牙科的印模。
印模托盘主体520的前部区域502包括接收部分，诸如被配置成接收手柄的插槽(未示出)。图10B-图10C示出了传统手柄503。在使用中，手柄503从患者P的口向前伸出。
图10A-图10B示出了代替传统手柄503的可插入插槽中的示例标记物手柄510。标记物手柄510包括被布置成从托盘主体520伸出的手柄主体511和标记物部分512。在一个示例中，标记物部分512设置在手柄主体511的最远离托盘主体520的端部处。手柄503、510各自包括用于将手柄附接到主体的附接部分504。例如，附接部分504包括用于将手柄固定在插槽中的弹性柔性部分505。
标记物部分512包括多个标记物段513。例如，标记物段可以包括从手柄主体511的相对的侧横向延伸的一对标记物段513A、513B。标记物段513可以各自包括平坦段，该平坦段可以被定向成大致正交于手柄主体511延伸的方向。因此，当印模托盘500被设置在患者P的口中时，标记物段513提供在基本垂直的平面内的平坦表面。每个标记物段513包括标记物514。例如，标记物514包括多个不同的图案和/或颜色。
现在将参考图11讨论采用带有标记物手柄510的印模托盘500的示例方法。
在块S1101中，使用附接有标记物手柄510的印模托盘500捕获患者上牙U的印模。更详细地，将印模材料501插入托盘主体520的凹部521中，并且将标记物手柄510附接到插槽。然后将印模托盘500插入口中，使得标记物514A、514B在大致垂直的平面内并且在口的前面可见。
在块S1102中，接收患者的面部的多个图像，其中图像显示了处于上面讨论的位置中的标记物手柄。例如，在使用托盘500获取患者的上牙U的印模的同时，可以以上文关于图2描述的方式捕获多个图像。在一个示例中，牙医可以在印模材料被放置在口中时将印模托盘支撑在适当的位置，同时牙科助手捕获图像。牙医可以控制印模的捕获，而不允许患者咬下去，以确保获取高质量的印模。
在块S1103中，获得在块S1001中使用的印模托盘500的组件(包括标记物手柄510)的3D模型。在一个示例中，3D模型是彩色3D模型。该模型可以使用上文讨论的3D扫描仪获得。
在块S1104中，生成面部模型。例如，模型可以如本文关于图1-图8所讨论的那样来生成。
在块S1105中，将印模托盘500的3D模型与面部模型对齐。可以基本上如上文所讨论的那样执行对齐。然而，不是基于显示上牙的至少一部分的图像将上牙的3D模型与面部模型对齐，而是基于标记物514A、514B将印模托盘的3D模型与图像对齐。换句话说，每个图像中显示的标记物的位置允许在面部模型和标记物之间获得最佳对齐，并且因此允许在面部模型与印模托盘500的包括用户上牙U的印模的其余部分之间获得最佳对齐。因此，获得患者的上牙和面部骨骼之间的对齐。
在一些示例中，分离的捕获的图像的集合可以被用于面部模型的生成和印模托盘的3D模型与面部模型的对齐。然而，在其他示例中，单个图像集合(例如，单个视频)可以被用于面部的3D模型的生成以及印模托盘500与面部模型的随后的对齐。
虽然标记物514被示为类似于QR码的块图案，但将会理解，可以采用不同的图案或布置，以便提供可在图像中容易识别的视觉上不同的特征。此外，虽然在图9中示出了两个标记物514A、514B，但将会理解，可以显示更多或更少的标记物。虽然标记物514显示在平坦表面上，但将会理解，在另外的示例中，可以采用弯曲的标记物。弯曲的标记物可以围绕用户的面部弯曲。弯曲的标记物可以是细长的，以便给出胡须状的外观。
此外，虽然在图9的示例印模托盘500中，标记物手柄510可附接到托盘主体520中的插槽，但在另外的示例中，印模托盘和手柄可以被一体形成。
在进一步的示例中，可以获得没有标记物手柄520的印模托盘主体520的3D模型。特别地，例如借助于手柄510具有预定大小和形状以及因此手柄510相对于托盘主体520具有预定的空间关系的事实，可以预先知道手柄520的标记物514A、514B与托盘主体520之间的空间关系。因此，通过(例如，基于标记物的图像或标记物手柄510的单独3D扫描)将标记物514A、514B与面部骨骼对齐，可以基于预定的空间关系推断出印模托盘主体520的位置。这可以促进可以容纳印模托盘主体520但不能容纳手柄510的3D牙科扫描仪的使用。
有利的是，上述系统和方法提供了一种确定上牙和面部骨骼的对齐的方法，其避免了使用面弓的需要，而是依赖于例如经由移动手机相机捕获的视频片段。因此，提供了一种更容易操作和更便宜的解决方案，其利用了上牙的高质量3D模型的可用性。
有利的是，涉及印模托盘的系统和方法可以提供一种稳健的解决方案，该解决方案使基于不同标记物的2D-3D对齐变得容易。此外，捕获适合于在修复和/或正畸牙科中使用的高质量全牙弓印模和捕获显示标记物的2D图像可以同时发生，有利地与典型的牙科工作流程相配合。
本文中描述的至少一些示例可以部分或全部使用专用的特定目的硬件来构建。本文中使用的诸如“部件”、“模块”或“单元”的术语可以包括但不限于执行某些任务或提供相关联的功能的硬件设备，诸如分立或集成部件形式的电路、现场可编程门阵列(FPGA)或专用集成电路(ASIC)。在一些示例中，所描述的元件可以被配置为驻留在有形的、永久的、可寻址的存储介质上并且可以被配置为在一个或更多个处理器上执行。在一些示例中，这些功能元件可以包括——以示例的方式——部件(诸如软件部件、面向对象的软件部件、类部件和任务部件)、过程、函数、属性、进程、子例程、程序代码段、驱动器、固件、微码、电路、数据、数据库、数据结构、表格、数组和变量。尽管已经参考本文讨论的部件、模块和单元描述了示例实例，但是这些功能元件可以被组合成更少的元件或被分离成额外的元件。本文已经描述了可选特征的各种组合，并且将会理解，所描述的特征可以以任何合适的组合进行组合。特别地，任何一个示例的特征可以在适当情况下与任何其他示例的特征组合，除非这样的组合是相互排斥的。在整个说明书中，术语“包括(comprising)”或“包括(comprises)”是指包含指定的(一个或更多个)部件，但不排除其他部件的存在。
请注意与本申请有关的、和本说明书同时提交或先于本说明书提交的并且和本说明书一起对公众开放查阅的全部论文和文件，所有这类论文和文件的内容通过引用并入本文。
本说明书(包括任何所附权利要求、摘要和附图)中公开的所有特征和/或如此公开的任何方法或过程的所有步骤，除了这样的特征和/或步骤中的至少一些相互排斥的组合以外，可以以任何组合进行组合。
除非另有明确说明，否则本说明书(包括任何所附权利要求、摘要和附图)中公开的每个特征可以由服务于相同、等同或类似目的的替代特征代替。因此，除非另有明确说明，所公开的每个特征仅仅是一般系列的等同或类似特征的一个示例。
本发明不限于前述实施例的细节。本发明延伸到本说明书(包括任何所附权利要求、摘要和附图)中公开的特征中的任何新颖的一个或任何新颖的组合，或者延伸到如此公开的任何方法或过程的步骤中的任何新颖的一个或任何新颖的组合。

Claims (29)

1.一种计算机实现的方法，包括：
接收表示患者的上牙的3D模型；
接收患者的面部的多个图像；
基于接收到的多个图像生成患者的面部模型；
基于确定的面部模型、接收到的所述上牙的3D模型和所述多个图像，确定患者的上牙和患者的面部骨骼之间的空间关系。
2.根据权利要求1所述的方法，其中，确定所述上牙和所述面部骨骼之间的空间关系包括：
确定相对于所述面部模型的相机姿态，以及
基于所述相机姿态，确定所述图像与表示所述上牙的所述3D模型的最佳对齐。
3.根据权利要求2所述的方法，其中，对于2D图像中的每一个，确定所述最佳对齐包括：
基于捕获所述图像时的相机姿态的当前估计和表示所述上牙的所述3D模型与所述面部模型之间的估计的空间关系，渲染3D场景；
基于所述相机姿态的当前估计，从渲染的3D场景中提取2D渲染；以及
将所述2D渲染与所述图像进行比较，以确定指示所述2D渲染与所述图像之间的差异水平的成本得分。
4.根据权利要求3所述的方法，包括使用非线性优化器来迭代地获得在所述图像上的最佳对齐。
5.根据权利要求3或4所述的方法，其中，所述成本得分包括在所述渲染和所述图像之间计算的互信息得分。
6.根据权利要求3至5中任一项所述的方法，其中，所述成本得分包括从所述渲染和所述图像中提取的对应的图像特征的相似性得分。
7.根据权利要求6所述的方法，其中，所述图像特征是拐角特征、边缘特征或图像梯度特征。
8.根据权利要求6或7所述的方法，其中，所述相似性得分是欧几里得距离、随机采样或一对一性中的一种。
9.根据权利要求3至8中任一项所述的方法，其中，所述成本得分包括2d-3d-2d-2d成本，所述2d-3d-2d-2d成本通过以下步骤计算：
从所述渲染的3D场景中提取2D图像特征；
将提取的特征重新投影到所述渲染的3D场景上；
从所述2D图像中提取图像特征；
将从所述2D图像中提取的特征重新投影到所述渲染的3D场景上，以及
计算指示3D空间中的重新投影的特征之间的差异的相似性度量。
10.根据权利要求3至9中任一项所述的方法，其中，所述成本得分包括通过跟踪所述多个2D图像中的连续图像之间的像素而计算的光流成本。
11.根据权利要求3至10中任一项所述的方法，包括基于不同的提取特征和/或相似性度量来确定多个不同的成本得分。
12.根据权利要求3至11中任一项当从属于权利要求4时所述的方法，其中，所述优化器在每次迭代中使用的成本得分不同。
13.根据任一前述权利要求所述的方法，其中，所述面部模型是3D可形变网格，并且其中，生成所述面部模型包括：
从所述图像中检测多个面部标志，以及
将所述3D可形变网格拟合到所述面部标志。
14.根据权利要求13所述的方法，其中，所述3D可形变网格包括在对应于患者的口的位置处的孔。
15.根据任一前述权利要求所述的方法，其中：
所述多个图像包括患者的上牙的至少一部分，以及
表示患者的上牙的所述3D模型是患者的上牙的3D模型。
16.根据权利要求1至14中任一项所述的方法，其中：
所述多个图像包括标记物的至少一部分，所述标记物耦合到设置在患者的口中的印模托盘，所述标记物被设置在患者的口外；以及
表示所述上牙的所述3D模型是所述印模托盘的3D模型。
17.根据权利要求16所述的方法，其中，所述印模托盘的3D模型包括所述标记物。
18.根据权利要求16所述的方法，其中，所述印模托盘的3D模型不包括所述标记物，并且基于所述标记物和所述印模托盘之间的预定的空间关系来确定所述牙齿和所述面部骨骼之间的空间关系。
19.根据任一前述权利要求所述的方法，其中，所述多个图像包括图像的第一集合和图像的第二集合，其中：
所述图像的第一集合被用于生成所述面部的3D模型，
所述图像的第二集合各自包括患者的上牙或标记物的至少一部分，并且被用于确定所述上牙和所述面部骨骼之间的空间关系。
20.根据权利要求13或14当从属于权利要求2时所述的方法，其中，确定所述多个图像中的图像的所述相机姿态包括：
将所述3D可形变网格变形以匹配在所述图像中显示的表情，并基于已形变的3D可形变网格确定所述相机姿态。
21.一种包括处理器和存储器的系统，所述存储器存储计算机可读指令，所述指令在由所述处理器执行时使所述系统执行根据任一前述权利要求所述的方法。
22.一种有形的非瞬态计算机可读存储介质，其上记录有指令，所述指令在由计算机设备实现时使所述计算机设备执行根据权利要求1-20所述的方法。
23.一种牙科印模托盘，用于捕获在修复或正畸牙科中使用的牙科印模，包括：
主体，其被配置成保持印模材料以捕获所述牙科印模，以及
标记物部分，其耦合到所述主体，并且被配置成当所述主体被容纳在患者的口中时设置在患者的口外，所述标记物部分包括标记物。
24.根据权利要求23所述的牙科印模托盘，其中，所述牙科印模托盘被配置成捕获全牙弓印模。
25.根据权利要求23或24所述的牙科印模托盘，其中，所述牙科印模托盘被配置成捕获患者的牙齿的单个牙弓的印模。
26.根据权利要求23至25中任一项所述的牙科印模托盘，包括从所述主体延伸的手柄，其中，所述标记物部分设置在所述手柄上。
27.根据权利要求23至26中任一项所述的牙科印模托盘，其中：
所述标记物部分包括平坦段，所述标记物形成在所述平坦段上，以及
当所述主体被设置在患者的口中时，所述平坦段被布置在基本上垂直的平面内。
28.根据权利要求23至27中任一项所述的牙科印模托盘，其中，所述标记物部分能够从所述主体拆卸。
29.一种用于牙科印模托盘的标记物手柄，所述牙科印模托盘用于捕获在修复或正畸牙科中使用的牙科印模，所述手柄包括：
附接部分，其被配置成附接到所述牙科印模托盘的主体，以及
标记物部分，其被配置成当所述主体被容纳在患者的口中时设置在患者的口外，所述标记物部分包括标记物。
CN202080086410.6A 2019-12-09 2020-12-08 确定上牙与面部骨骼之间的空间关系 Pending CN114830179A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1918008.2 2019-12-09
GBGB1918008.2A GB201918008D0 (en) 2019-12-09 2019-12-09 Determining spatial relationship between upper teeth and facial skeleton
PCT/GB2020/053142 WO2021116671A1 (en) 2019-12-09 2020-12-08 Determining spatial relationship between upper teeth and facial skeleton

Publications (1)

Publication Number Publication Date
CN114830179A true CN114830179A (zh) 2022-07-29

Family

ID=69171930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080086410.6A Pending CN114830179A (zh) 2019-12-09 2020-12-08 确定上牙与面部骨骼之间的空间关系

Country Status (9)

Country Link
US (1) US11980513B2 (zh)
EP (1) EP4073757A1 (zh)
JP (1) JP2023505396A (zh)
KR (1) KR20220114012A (zh)
CN (1) CN114830179A (zh)
AU (1) AU2020400331A1 (zh)
CA (1) CA3160881A1 (zh)
GB (1) GB201918008D0 (zh)
WO (1) WO2021116671A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0707454D0 (en) 2007-04-18 2007-05-23 Materialise Dental Nv Computer-assisted creation of a custom tooth set-up using facial analysis
WO2009140582A2 (en) 2008-05-16 2009-11-19 Geodigm Corporation Method and apparatus for combining 3d dental scans with other 3d data sets
DK2549946T3 (da) 2010-02-25 2019-05-20 3Shape As Dynamisk virtuel artikulator
US20140379356A1 (en) * 2013-06-20 2014-12-25 Rohit Sachdeva Method and system for integrated orthodontic treatment planning using unified workstation
KR101840444B1 (ko) 2016-05-04 2018-03-20 주식회사 메디트 치과용 3차원 데이터 처리장치 및 그 방법
ES2683085B2 (es) * 2017-02-24 2019-04-25 Dmr Dental S L Procedimiento de escaneo de un rostro humano para una alineacion entre el rostro y los dientes de una persona y conjunto de marcadores para su ejecucion
EP4241725A3 (en) 2017-03-20 2023-11-01 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient

Also Published As

Publication number Publication date
US11980513B2 (en) 2024-05-14
EP4073757A1 (en) 2022-10-19
KR20220114012A (ko) 2022-08-17
CA3160881A1 (en) 2021-06-17
WO2021116671A1 (en) 2021-06-17
GB201918008D0 (en) 2020-01-22
AU2020400331A1 (en) 2022-06-09
JP2023505396A (ja) 2023-02-08
US20230009652A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
CN109414306B (zh) 用于口内扫描的历史扫描参考
KR101878467B1 (ko) 3차원 치아 영상 데이터와 광학식 스캔 치아 모델의 선택적 정합 방법, 장치 및 프로그램
US20210244502A1 (en) At home progress tracking using phone camera
CN112087985B (zh) 经由实时增强可视化的模拟正畸处理
US8798346B2 (en) Image registration
CN111727022B (zh) 用于将患者的牙列的三维模型与患者的面部图像对准的方法
US10043287B2 (en) Automatic restitching of 3D surfaces
US11044400B1 (en) Frame stitching in human oral cavity environment using intraoral camera
US20220378548A1 (en) Method for generating a dental image
US20230012297A1 (en) Determining Spatial Relationship Between Upper and Lower Teeth
JP6547219B2 (ja) 歯科画像処理装置
US11980513B2 (en) Determining spatial relationship between upper teeth and facial skeleton
Wirtz et al. Automatic model-based 3-D reconstruction of the teeth from five photographs with predefined viewing directions
EP4287202A1 (en) Digital dental impressions
US20230013902A1 (en) System and Method for Correcting for Distortions of a Diagnostic Image
WO2024121067A1 (en) Method and system for aligning 3d representations
WO2023203385A1 (en) Systems, methods, and devices for facial and oral static and dynamic analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination