CN115135277A - 使用手机摄像头在家跟踪进度 - Google Patents

Abstract

本文提供了用于在正畸治疗期间监测对象牙齿的系统和方法。广角(例如，鱼眼)图像示出了对象牙列的两个牙弓的咬合视图，并且可以被输入到监测系统中，该监测系统被配置为将该图像与治疗计划进行比较，以确定对象牙齿的当前位置有多接近地遵循根据正畸治疗计划的预期位置或期望位置。

Description

使用手机摄像头在家跟踪进度

优先权声明

本专利申请要求2020年2月11日提交的题为“AT HOME PROGRESS TRACKING USINGWIDE ANGLE CAMERA(使用广角摄像头在家跟踪进度)”的第62/975,148号美国临时专利申请的优先权，该美国临时专利申请的全部内容通过引用的方式并入本文。

援引并入

本说明书中提及的所有出版物和专利申请均以引用的方式整体并入本文，其程度与每个单独的出版物或专利申请被具体且单独地表示以引用的方式并入的程度相同。

背景技术

正畸程序通常涉及将个体牙齿重新定位成期望的排列，以便矫正咬合不正和/或改善美学。为了实现这些目标，可以由正畸医师和/或个体自己将诸如牙箍、壳体矫治器等正畸器具施加到个体牙齿。器具可以被配置为在一颗或多颗牙齿上施加力，以便根据治疗计划实现期望的牙齿移动。

正畸矫治器可以包括在牙齿上可移除和/或可替换的装置。正畸矫治器可以作为正畸治疗计划的一部分提供。在一些涉及可移除和/或可替换的矫治器的正畸治疗计划中，可以在治疗过程中向个体提供多个正畸矫治器，以对个体牙齿进行增量式位置调整。正畸矫治器可以具有带内腔的聚合物槽，该内腔被成形为容纳牙齿并将牙齿从一个牙齿排列弹性地重新定位成接替的牙齿排列。正畸矫治器可以包括在牙齿上施加重新定位力的“主动”区域和将牙齿保持在其当前状态的“被动”区域。

治疗计划通常使用从个体牙齿的扫描或牙齿模具创建的3D牙齿模型。3D牙齿模型可以包括例如3D牙齿的原始牙齿点云、牙齿网格或简化的参数表示。

在涉及一系列牙齿矫治器的治疗计划的过程期间，不时地检查对象的牙齿以确认它们正在根据治疗计划以预期和/或期望的方式移动是有益的，这些牙齿矫治器被配置为将对象的牙齿移动成期望的构造。

发明内容

本文描述的是可以提供低成本且简化的方式以在治疗计划的一个或多个阶段确认治疗计划的方法和设备。特别地，这些方法和设备可以为患者或护理人员提供技术(例如，方法)和设备，以辅助跟踪或监测治疗计划而不需要使用昂贵或复杂的装置。例如，本文描述的是可以与患者或护理人员的个人电话一起使用的方法和设备。在一些示例中，附件或其他装置可以耦接到患者或护理人员的电话；这些附件装置可以适于与软件、硬件或固件一起使用，以辅助拍摄质量足够高的图像(或引导用户对象拍摄图像)，使得图像可以在治疗计划中准确地跟踪患者的牙齿。

本文特别关注的是用于辅助在本文中统称为“用户对象”的对象(例如，患者或护理人员，例如，父母、监护人等)收集一个或多个图像的方法和设备，该一个或多个图像具有足够的尺寸并具有关于距牙齿的距离等的足够信息，以便捕获足够的牙列，使得可以由一个或多个自动化代理(包括机器学习代理、其他软件等)和/或人工代理(例如，技术员、牙科专业人员等)轻松地对牙列进行分析。尽管用户对象可能不同于用户专家，但用户对象可以是专业用户。例如，专业用户可以对患者使用本文描述的方法和/或设备，因此既充当用户对象又充当专业用户。

在一些示例中，可以指导用户对象使用电话摄像头拍摄患者牙齿和/或口腔的多个图像。在一些示例中，可以校准或设置电话摄像头，使得可以组合所得到的图像以形成整个上颌、下颌或上颌和下颌两者的一个或多个图像，并且电话摄像头可以处理所得到的一个或多个图像以标识、记录和/或跟踪对象上颌和/或下颌内一颗或多颗牙齿的移动。在一些示例中，可以包括一个或多个适配器(例如，附件)，该一个或多个适配器包括光学组件，例如一个或多个镜头等。在一些示例中，一个或多个镜头可以是广角(例如，“鱼眼”)镜头。

例如，这些方法和设备(例如，系统、装置等)中的任何一个可以使用对象操作的广角(例如，鱼眼)成像系统来捕获对象牙列的一个或多个图像(或在某些情况下，仅单个图像)，并确定(和/或向对象指示)对象是否需要去看牙齿计划提供方以修改或调整治疗计划。

本文描述的是用于在治疗过程期间监测牙科对象的进展的方法和系统。在治疗过程期间的任何特定时间点，可以从在开始治疗之前准备好的对象牙齿的三维(3D)模型及时拟定(project)对象牙齿在该时间点的预期位置的三维模型。在治疗过程期间，具有广角(例如，鱼眼)镜头的摄像头可用于拍摄对象牙齿(通常是一个或两个颌的咬合面)的二维(2D)图像(包括作为单个图像)。2D图像可以包括对象牙列的两个牙弓或单个(例如，上或下)牙弓的咬合视图。2D图像表示对象牙齿在正畸治疗中特定点的实际位置。在本文中该2D图像可以称为“原始图像”或输入2D图像。

可以将输入2D图像提供给监测系统，该监测系统被配置为确定具有广角镜头的摄像头的摄像头参数(在本文中也称为虚拟摄像头参数)，该摄像头用于拍摄输入2D图像。虚拟摄像头参数包括摄像头的固有参数(例如，摄像头的光学参数)和摄像头的非固有参数(例如，拍摄图像时摄像头在空间中的位置)。非固有参数可以相对于牙齿来确定。监测系统可以使用这些摄像头参数从对象牙齿的3D模型生成渲染2D图像，其中，3D模型可能对应于治疗计划的特定时间或阶段的对象牙齿。通常，治疗计划的该特定时间或阶段可以对应于拍摄输入2D图像时对象正在经历的当前实际时间或阶段，从而允许在治疗计划期间将牙齿的预期位置(来自3D模型)与牙齿的实际位置(来自输入2D图像)进行比较。然而，在一些示例中，可能期望将对象牙齿的当前位置(例如，来自输入2D图像)与治疗计划的一个或多个其他阶段(包括牙齿的初始位置)进行比较；在这种情况下，用于生成渲染2D图像的3D模型可能替代地对应于治疗计划的另一个阶段或开始治疗计划之前对象牙齿的初始位置。

监测系统可以将输入2D图像与渲染2D图像进行比较，以确定对象牙齿的实际或当前位置有多接近地遵循根据正畸治疗计划的预期位置或期望位置。本文描述的方法和系统可以通过以下方式以快速且有效的方式来进行该比较：确定输入2D图像和渲染2D图像两者中牙齿中心的位置，并且将输入2D图像中对应牙齿的廓影与渲染2D图像中对应牙齿的廓影进行比较。这些步骤可以在分割输入2D图像和渲染2D图像中的牙齿之后执行。在一些示例中，3D牙齿模型可以包括每颗牙齿的分割信息，该分割信息用于分割渲染2D图像。渲染2D图像可以与输入2D图像单独地分割。在一些示例中，渲染2D图像的分割(可以预期与渲染2D图像大致相似)可用于帮助分割输入2D图像。

可以使用任何适当的方法从输入2D图像确定2D牙齿中心。例如，可以手动地或自动地或半自动地标识牙齿的2D中心。在一些示例中，机器学习(例如，形成经训练的网络)可用于从广角(例如，鱼眼)图像提供的咬合视图中找到牙齿的2D中心。类似地，可以使用任何适当的技术来确定渲染2D图像的牙齿中心。在一些示例中，可以在使用虚拟摄像头参数生成渲染2D图像之前从牙齿的3D模型中标识渲染2D图像的牙齿中心。或者，在一些示例中，可以直接从渲染2D图像确定渲染2D图像的牙齿中心。例如，在一些示例中，可以使用用于从输入2D图像确定牙齿中心的同一技术(例如，使用经训练的神经网络)来分析渲染2D图像。

在一些示例中，可以将来自输入2D图像的牙齿中心与来自渲染2D图像的牙齿中心进行比较，以提供渲染2D图像的牙齿中心与输入2D图像的牙齿中心之间的差异和/或一致性的估计。牙齿中心的比较可以提供治疗计划与对象的实际牙齿之间牙齿的平移移动(例如，牙齿的x、y平移)的估计。替代地或附加地，渲染2D图像中牙齿的轮廓(例如，廓影)与输入2D图像中牙齿的轮廓的比较可以提供牙齿的旋转移动(例如，作为将输入2D图像的牙齿与渲染2D图像的牙齿对齐所需的旋转)的估计。在一些示例中，可以仅比较分割后的牙齿的廓影以确定平移移动和旋转移动两者，然而，在一些示例中，使用牙齿中心来快速且准确地标识移动以提供牙齿移动的估计可能是有益的。如本文所述，使用牙齿中心估计牙齿移动可以被快速地完成并且可能需要更少的计算。在一些示例中，更准确的牙齿移动估计(包括旋转估计)可能不是必须的。

本文描述的任何方法和系统可以使用输入2D图像(例如，基于对象拍摄的牙齿咬合面的广角图像)与渲染2D图像之间的比较来生成一个或多个分数(差异分数)，该一个或多个分数与输入2D图像和渲染2D图像之间的一个或多个牙齿位置的差异相关。该一个或多个分数可以指示输入2D图像与渲染2D图像之间的差异的严重度。例如，差异分数可以是所有分割后的牙齿在平移和/或旋转中的总偏差的量度。在一些示例中，可以使用单独的分数来反映不同牙齿的差异。在一些示例中，可以使用单独的分数来反映平移与旋转之间的差异。一个或多个分数可以被加权和/或缩放。例如，相比于旋转，分数可能更重视平移；相比于平移，分数可能更重视旋转；相比于其他牙齿，分数可能更重视某些牙齿(例如，臼齿比前臼齿更重要，比切牙更重要等)等等。分数可以被归一化或平均。

在一些示例中，可以向对象和/或牙科专业人员(“牙科专业用户”或简称为“专业用户”)提供一个或多个差异分数。例如，该方法或设备可以包括当一个或多个差异分数高于一个或多个阈值时，向牙科专业用户(例如，医生、牙医、正畸医生或其他牙科专业人员)发出警报。在一些示例中，可以预设或者可以由专业用户设置一个或多个阈值。例如，在一些示例中，对象可能正在使用其包括摄像头的广角(例如，鱼眼)镜头的手持装置(例如，智能手机)的应用软件(例如，“app”)。应用软件可以引导对象拍摄广角图像，并可以处理图像(使用手持装置中的一个或多个处理器进行本地处理，或通过将图像传递到远程服务器上进行远程处理)。然后可以分析经处理的输入2D图像以确定差异，如本文所述，并且如果差异分数超过通知阈值，则可以指示用户对象与他们的牙科保健提供方(例如，专业用户)预约以调整治疗计划。在一些示例中，差异分数可以向对象触发通知，以更频繁地佩戴矫治器或以其他方式更勤奋地遵守治疗计划。

对象的牙列(例如，当前治疗阶段处对象的牙齿位置)与来自对象牙齿的3D模型的特定治疗阶段处对象牙齿的预期或预测牙齿位置之间的比较可以输出为差异指示符。差异指示符可以是差异图、差异分数和/或差异值集。差异指示符可以由方法或系统输出。

例如，在本文描述的任何方法和系统中，输入2D图像与渲染2D图像之间的一个或多个差异(例如，差异指示符)可以提供差异信息来代替或补充一个或多个差异分数。例如，该方法或系统可以生成差异图，在视觉上示出了哪些牙齿与治疗计划偏离以及偏离了多少。在一些示例中，差异图可以形成为输入2D图像与渲染2D图像之间的合成，从而突出显示差异(通过符号、文本、颜色等中的一个或多个)。

在任何这些方法和系统中，输入2D图像与渲染2D图像之间的一个或多个差异(例如，差异指示符)可以提供为差异值集，例如，列表、电子表格、数据集等，提供了总结或列出输入2D图像与渲染2D图像之间的差异的字母数字数据。

差异指示符(例如，差异图、差异分数和/或差异值)可以被存储、显示和/或发送(用于存储和/或显示)，包括传送给专业用户(例如，对象的牙科提供方)或第三方。在一些示例中，可以调整显示的图像(包括但不限于输入2D图像和渲染2D图像)以减少或去除由于广角摄像头组件导致的图像失真。

例如，本文描述的是方法，包括确定对象的治疗计划进展的方法(例如，确定与治疗计划的偏差)。这些方法也可以是向对象的牙科医师(专业用户，例如，牙医、正畸医生等)发出偏离牙齿治疗计划的警报的方法，和/或校正或更新牙齿治疗计划的方法。例如，一种方法可以包括：从广角(例如，鱼眼)摄像头接收输入2D图像，该输入2D图像包括患者牙列的第一牙弓和/或第二牙弓的咬合视图；在输入2D图像中标识第一牙弓和/或第二牙弓中牙齿的牙齿特征；从输入2D图像确定虚拟摄像头参数；接收(例如，处于目标治疗计划阶段或时间的)患者牙列的3D模型；使用虚拟摄像头参数从3D模型生成渲染2D图像；在渲染2D图像中标识第一牙弓和/或第二牙弓中牙齿的牙齿特征；以及将渲染2D图像的牙齿特征与输入2D图像的牙齿特征进行比较。这些方法中的任何方法还可以包括基于来自输入2D图像和渲染2D图像的牙齿之间的差异，输出差异指示符，该差异指示符指示了对象的当前牙齿与计划的治疗阶段之间的差异。

例如，标识牙齿特征可以包括将经训练的机器学习模型应用于2D鱼眼照片。在一些示例中，标识牙齿特征包括手动标识牙齿特征。牙齿特征可以包括牙齿中心。牙齿特征可以包括牙齿廓影。在一些示例中，牙齿特征提供患者牙齿的位置和取向。

输入2D图像可以表示在正畸治疗中(例如，在治疗计划的特定阶段)患者牙齿在该特定点的实际位置，而渲染2D图像可以表示基于预测了对应阶段的牙齿位置的患者牙齿的合成3D模型的患者牙齿(在治疗计划的对应阶段)的预期或期望位置。

在一些示例中，比较指示患者牙齿有多接近地遵循正畸治疗计划。

如所提到的，这些方法中的任何方法可以包括基于比较更新正畸治疗计划。例如，更新可以包括计算将患者的牙齿从当前位置移动到期望的位置所需的新的牙齿移动。在一些示例中，更新可以包括利用这些新的牙齿移动来更新正畸治疗计划。

如本文所述，一种方法(例如，确定对象的治疗计划进展和/或与治疗计划的偏离的方法，向对象的牙科医师发出偏离牙齿治疗计划的警报的方法，和/或校正或更新牙齿治疗计划的方法)可以包括：接收对象牙齿的输入2D图像，该输入2D图像包括当前治疗阶段的对象上颌和/或下颌的广角咬合视图；确定与输入2D图像对应的虚拟摄像头参数；接收计划的治疗阶段处对象上颌和/或下颌的3D模型；利用虚拟摄像头参数从3D模型生成对象牙齿的渲染2D图像；使用牙齿中心确定来自输入2D图像和渲染2D图像的牙齿之间的差异；以及基于来自输入2D图像和渲染2D图像的牙齿之间的差异，输出差异指示符，该差异指示符指示了对象的当前牙齿与计划的治疗阶段之间的差异。

在一些示例中，如本文所描述的方法可以包括：接收对象牙齿的输入2D图像，该输入2D图像包括当前治疗阶段处对象上颌和/或下颌的广角咬合视图；确定与输入2D图像对应的虚拟摄像头参数；接收计划的治疗阶段处对象上颌和/或下颌的3D模型；利用虚拟摄像头参数从3D模型生成对象牙齿的渲染2D图像；使用牙齿中心确定来自输入2D图像和渲染2D图像的牙齿之间的平移差异；使用牙齿的廓影确定来自输入2D图像和渲染2D图像的牙齿之间的旋转差异；以及输出差异指示符，该差异指示符指示了对象的当前牙齿与计划的治疗阶段之间的差异。

因此，这些方法中的任何方法可以包括确定牙齿的平移差异和/或旋转差异中的一个或两个。例如，这些方法中的任何方法可以包括使用牙齿的廓影确定来自输入2D图像和渲染2D图像的牙齿之间的旋转差异，其中，差异指示符还基于旋转差异。来自2D图像和渲染2D图像的牙齿之间的旋转差异和/或平移差异可以通过将经训练的机器学习模型应用于输入2D图像和渲染2D图像来全部地或部分地确定。这些方法中的任何方法可以包括接收输入2D图像，包括引导对象拍摄广角咬合图像。差异指示符可以是以下中的一项或多项：差异图、差异分数和/或差异值集。

一般来说，输入2D图像可用于确定虚拟摄像头参数，特别是非固有摄像头参数。在一些示例中，输入2D图像可用于确定固有摄像头参数。或者，在一些示例中，一些或所有固有摄像头参数可以是预设或预定的(例如，工厂设置、由摄像头和/或镜头供应商输入等)。在一些示例中，虚拟摄像头参数包括可以从输入2D图像迭代地确定的参数。

本文描述的方法和设备可以根据单个输入2D图像(例如，由广角(例如，鱼眼)镜头拍摄的单个图像)进行操作。在一些示例中，接收对象牙齿的输入2D图像可以包括接收对象上颌和下颌两者的鱼眼视图。广角图像可以是鱼眼图像。例如，广角图像可以具有覆盖高达160度或更大(例如，高达170度或更大，高达180度或更大，高达190度或更大，高达200度或更大，高达210度或更大，高达220度或更大，高达230度或更大，高达240度或更大，高达250度或更大，高达260度或更大，高达270度或更大等等)的视场。广角图像可以包括上颌和下颌两者的所有对象牙齿的咬合(或咬合透视)视图。这可以有利地允许如本文所描述的那样处理单个图像。在一些示例中，广角图像以及使用牙齿中心来确定平移差异和使用牙齿廓影来确定旋转差异的组合允许极其快速且准确地确定实际牙齿位置与预测(例如，拟定或建模的)牙齿位置之间的牙齿构造差异，从而需要更少的处理能力并且在对象生成的输入2D图像上进行更稳健地操作。

本文描述的任何方法可以包括确定差异分数。差异分数可以基于差异指示符。这些方法中的任何方法还可以包括如果差异分数超过阈值，则向对象和/或对象的牙科保健提供方发出警报。对象的牙科保健提供方可以设置或批准阈值。

在一些示例中，本文描述的方法还可以包括基于差异指示符更新正畸治疗计划。替代地或附加地，本文描述的方法可以包括使用差异指示符计算将对象的牙齿从当前位置移动到期望位置所需的新的牙齿移动，和/或利用这些新的牙齿移动来更新正畸治疗计划。

本文还描述的是被配置为执行本文描述的任何方法的系统。例如，一种系统可以包括其上存储有指令的非暂时性计算装置可读介质，该指令用于在正畸治疗计划期间跟踪患者牙齿，其中，指令可由处理器执行以使计算装置：从广角(例如，鱼眼)摄像头接收输入2D图像，该输入2D图像具有患者牙列的第一牙弓和第二牙弓的咬合视图；在输入2D图像中标识第一牙弓和第二牙弓中牙齿的牙齿特征；确定与输入2D图像对应的广角摄像头的虚拟参数；接收患者牙列的3D模型；利用广角摄像头的虚拟参数从3D模型生成渲染2D图像；在渲染2D图像中标识第一牙弓和第二牙弓中牙齿的牙齿特征；将渲染2D图像的牙齿特征与输入2D图像的牙齿特征进行比较。

本文描述的任何方法和设备可以包括一个或多个校准步骤。例如，可以向用户对象(患者、护理人员等)提供打印的校准标准(例如，校准标准图案或目标，诸如棋盘图案)和/或可以指示用户对象(患者、护理人员等)(使用家用打印机)打印出校准标准。校准标准可以被包括在包装中。在一些示例中，摄像头或用于固定所有或部分光学器件(例如，广角镜头)的摄像头附件(例如，适配器等)的包装可以被配置为校准夹具，该校准夹具可以相对于校准标准(可选地，利用适配器)将摄像头定位在预定的位置中。然后用户对象可以拍摄若干图像(并且可能受到例如用户对象的电话上的控制软件的指示)以拍摄校准标准的图像，然后该方法或设备可以使用这些图像来校准用户对象的摄像头(包括照相手机)。在一些示例中，该设备或方法可以应用校准逻辑来分析校准标准的一个或多个图像并确定到摄像头的距离等。

例如，本文描述的任何系统可以包括：一个或多个处理器；摄像头；广角透镜；以及耦接到该一个或多个处理器的存储器，该存储器被配置为存储计算机程序指令，该计算机程序指令，在由该一个或多个处理器执行时，执行一种计算机实施的方法，该方法包括：接收对象牙齿的输入2D图像，该输入2D图像包括当前治疗阶段处对象上颌和/或下颌的广角咬合视图；确定与输入2D图像对应的虚拟摄像头参数；接收计划的治疗阶段处对象上颌和/或下颌的3D模型；利用虚拟摄像头参数从3D模型生成对象牙齿的渲染2D图像；使用牙齿中心确定来自输入2D图像和渲染2D图像的牙齿之间的差异；以及基于来自输入2D图像和渲染2D图像的牙齿之间的差异，输出差异指示符，该差异指示符指示了对象的当前牙齿与计划的治疗阶段之间的差异。这些系统还可以被配置为使得计算机实施的方法执行上述任何步骤。

在一些示例中，该系统被配置为包括手持计算和/或通信装置(例如，智能手机、平板电脑等)或在手持计算和/或通信装置上进行操作/与手持计算和/或通信装置一起操作。上述任何步骤都可以本地(例如，在手持计算装置中)执行，或者它们可以在本地处理器与远程处理器之间进行划分。远程处理可以在远程服务器(例如，基于云的服务器)等上执行。

在本文描述的任何方法和设备中，可以将摄像头配准到患者的颌和/或牙齿，如本文所述。在将摄像头配准到整个颌之后，该方法或设备可以单独地配准每颗牙齿，如上所述，并且通过这样做，可以使用该信息来检测单颗牙齿向整个颌的移动。例如，可以通过将牙齿廓影投影与图像上牙齿的廓影相匹配来检测配准。在一些示例中，可以通过例如将牙尖和/或一个或多个费雪投影与图像牙尖和/或费雪投影相匹配来检测配准。在一些示例中，可以通过训练网络来检测配准，该网络将来自同一摄像头的牙齿图像和牙齿深度图作为输入，并且产生牙齿移动。可以使用这些的任何组合。一般而言，从一个或多个图像的配准可以从多个图像完成和/或形成拍摄的短视频。

例如，本文描述的方法包括：对用户对象的电话的用户对象的摄像头进行校准；接收利用经校准的用户对象的摄像头拍摄的对象上颌和/或下颌的多个输入2D图像；确定与多个输入2D图像对应的虚拟摄像头参数；将摄像头配准到对象上颌和/或下颌；接收计划的治疗阶段处对象上颌和/或下颌的3D模型；通过单独地配准对象上颌和/或下颌的牙齿，确定来自多个2D图像和3D模型的各个牙齿之间的平移差异和/或旋转差异；以及输出差异指示符，该差异指示符指示了对象的当前牙齿与计划的治疗阶段之间的差异。

可以将多个输入2D图像组合成单个图像(例如，合并的图像)。对用户对象的摄像头进行校准可以包括确定虚拟摄像头参数。

这些方法中的任何方法可以包括利用来自用户对象的摄像头的虚拟摄像头参数从3D模型生成对象牙齿的渲染2D图像。该渲染2D图像可以用于与多个2D图像(或合并的2D图像)进行比较。

本文描述的方法可以通过配准对象上颌和/或下颌的各个牙齿来确定来自输入2D图像和3D模型的牙齿之间的平移差异和/或旋转差异。例如，配准各个牙齿可以包括在渲染2D图像与输入2D图像之间匹配牙齿廓影投影。在一些示例中，配准各个牙齿包括在渲染2D图像与输入2D图像之间匹配牙尖和/或费雪投影。在一些示例中，配准各个牙齿包括使用机器学习代理来确定来自2D图像和渲染2D图像的牙齿之间的差异。

这些方法中的任何方法可以包括指示用户对象打印校准图案并利用用户对象的摄像头拍摄校准图案的一个或多个图像。这些图像可用于校准摄像头和/或图像，包括确定虚拟摄像头参数和/或确定到摄像头的距离。校准图案可以包括棋盘图案或网格图案。

这些方法可以包括通过生成对象牙齿的输入2D图像来校准摄像头。

本文描述的任何方法都可以由被配置为执行这些方法的系统来执行。例如，一种系统可以包括：一个或多个处理器；以及耦接到该一个或多个处理器的存储器，该存储器被配置为存储计算机程序指令，该计算机程序指令，在由该一个或多个处理器执行时，执行一种计算机实施的方法，该方法包括：对用户对象的电话的用户对象的摄像头进行校准；接收利用经校准的用户对象的摄像头拍摄的对象上颌和/或下颌的多个输入2D图像；确定与多个输入2D图像对应的虚拟摄像头参数；将摄像头配准到对象上颌和/或下颌；接收计划的治疗阶段处对象上颌和/或下颌的3D模型；通过单独地配准对象上颌和/或下颌的牙齿，确定来自多个2D图像和3D模型的各个牙齿之间的平移差异和/或旋转差异；以及输出差异指示符，该差异指示符指示了对象的当前牙齿与计划的治疗阶段之间的差异。

可以从本文描述的方法和设备中受益的技术和系统的其他示例可以在例如以下文献中找到：2019年3月29日提交的(题为“PHOTOGRAPH-BASED ASSESSMENT OF DENTALTREATMENTS AND PROCEDURES(基于照片的牙齿治疗和程序的评估)”)第16/370,788号美国专利申请，其为2015年8月20日提交的(题为“PHOTOGRAPH-BASED ASSESSMENT OF DENTALTREATMENTS AND PROCEDURES(基于照片的牙齿治疗和程序的评估)”)第14/831,548号美国专利申请的续案，该第14/831,548号美国专利申请在2019年4月2日作为U.S.10,248,883公开。这些申请中的每一个都通过引用的方式整体并入本文。

一般而言，本文描述的方法和装置可以以非常低的成本和复杂度执行，以使对象在家进行监测，而不需要牙科医师或昂贵的扫描设备。

附图说明

本发明的新颖特征在所附的权利要求中进行具体阐述。通过参考以下阐述了示例性实施例的详细描述和附图，将获得对本发明的特征和优点的更好理解，在这些示例性实施例中使用了本发明的原理，并且附图如下：

图1A是示出被配置为在正畸治疗计划期间监测对象牙齿的计算环境的示例的图。

图1B是示出一个或多个2D图像引擎的示例的图。

图1C是示出一个或多个3D模型引擎的示例的图。

图1D是示出一个或多个牙齿比较引擎的示例的图。

图2A至图2D示出了被分割(图2B)并且已经提取了牙齿特征(图2C至图2D)的输入2D图像(图2A)的示例。

图3A是来自3D模型的渲染2D图像的示例。

图3B是已经提取了牙齿特征的渲染2D图像的示例。

图4A是在正畸治疗计划期间监测对象牙齿的方法的一个示例。

图4B是在正畸治疗计划期间监测对象牙齿的方法的另一个示例。

图4C是在正畸治疗计划期间监测对象牙齿的方法的另一个示例。

图5是用于在治疗计划期间确定对象的实际牙齿位置与对象牙齿的预期或预测位置之间的差异的系统的示意图的示例。

图6A是对象被引导以拍摄其上牙弓和下牙弓的广角图像(输入2D图像)，从而示出牙齿的咬合视图的一个示例。

图6B示出了可以用作如本文所描述的2D输入图像的牙齿的广角咬合透视图的示例。

图7示出了如本文所描述的智能手机的广角(例如，鱼眼)镜头的一个示例。

图8A示出了如本文所描述的校准的一个示例。

图8B示出了使用可以与产品包括在一起的包装上的校准目标进行校准的一个示例。

图8C示出了也被配置为校准夹具的封装的一个示例。

图8D示出了包括代码或链接(例如，QR码)的校准目标的一个示例。

具体实施方式

本文描述的是用于监测、分析、校正和/或跟踪对象的正畸治疗进展的设备(例如，系统、计算装置可读介质、装置等)和方法。本文描述的设备和方法可以捕获或接收以广角(例如，鱼眼)拍摄的对象牙齿的2D图像作为输入(输入2D图像)，并处理该输入2D图像以将其与对象牙列的模型(例如，3D数字模型)进行比较，以在治疗计划的一个或多个阶段确定实际牙齿构造(来自输入2D图像)与预测或期望的牙齿构造(来自3D模型)之间的差异。3D模型可以表示对象牙齿在治疗计划的特定阶段的构造；在一些示例中，该阶段可以对应于预期对象牙齿当前要定位到的阶段。3D数字模型可在治疗计划开始时生成，并可用于设计和制造一系列正畸器具(例如，矫治器)。

本文描述的方法可以使用输入2D图像和/或预定值来确定拍摄广角输入2D图像的摄像头的虚拟摄像头参数(例如，固有虚拟摄像头参数和非固有虚拟摄像头参数)。然后可以使用虚拟参数从对象牙齿的3D牙齿模型生成与输入2D图像对应的渲染2D图像，以进行比较。可以将渲染2D图像与输入2D图像进行比较以生成诸如差异图、差异分数和/或差异值集等差异指示符。在一些示例中，比较可以确定对象牙齿有多接近地遵循期望的正畸治疗计划。

本文描述的设备和/或方法可用于牙科器具的规划和制造，该牙科器具包括美国专利第5,975,893号以及已公布的PCT申请WO98/58596中详细描述的弹性聚合物定位器具，这些专利出于所有目的通过引用并入本文。采用美国专利第5,975,893号中所述技术的牙科器具的系统可以从加利福尼亚州、圣何塞的艾利科技公司(Align Technology，Inc.)购买，商品名为“隐适美系统(Invisalign System)”。

在对实施例进行描述的整个正文中，术语“正畸矫治器”、“矫治器”或“牙齿矫治器”的使用与术语“器具”和“牙科器具”的使用在牙科应用方面是同义的。为了清楚起见，接下来在器具、更具体地为“牙科器具”的使用和应用的上下文中对示例进行描述。

如本文所使用的，“对象”(或替代地和等效地，“个体”)可以是任何对象(例如，人类、非人类、成人、儿童等)，并且可以替代地是患者、接受治疗的对象等。对象可以是医学患者。个体或对象可以包括接受正畸治疗(包括利用一系列正畸矫治器的正畸治疗)的人。

下面描述的设备和/或方法(例如，系统、装置等)可以与正畸治疗计划一起使用和/或集成到正畸治疗计划中。本文描述的设备和/或方法可以包括从三维模型(例如，3D网格模型或3D点云)分割个体的牙齿。本文描述的方法和设备可以分割2D图像。分割信息可用于测量、比较和处理2D图像。可以自动地(例如，使用计算装置)、手动地或半自动地分割个体的牙齿。例如，计算系统可以通过评估个体牙齿或牙弓的数据(例如，三维扫描或牙齿印模)来自动执行分割。可以使用经训练的网络(例如，作为机器学习技术的一部分)来完成分割。一个或多个数据结构(例如，数据库)可用于辅助分割2D图像或3D模型。在一些示例中，本文描述的方法和设备可以使用来自输入或接收到的患者牙齿的3D模型的分割信息。因此，来自3D模型的牙齿的分割信息可以作为输入提供，并且可以用于分析输入2D图像，以及从对象牙齿的3D模型生成的任何2D图像。

例如，对象牙齿的3D模型可以最初从扫描个体牙弓的口内扫描仪生成，以生成该牙弓的虚拟3D模型。在口内扫描程序(也被称为扫描会话)期间，口内扫描仪的专业用户(例如，牙科医师)可以生成牙齿部位、牙齿部位的模型或其他对象的多个不同图像(也被称为扫描图(scan)或医学图像)。这些图像可以是离散图像(例如，傻瓜图像(point-and-shootimage))或来自视频(例如，连续扫描)的帧。口内扫描图像可用于生成3D模型，该3D模型可被修改以形成具有用于将牙齿移动到期望的构造(包括最终(例如，对齐的)构造)的多个阶段的正畸治疗计划(“治疗计划”)的全部或部分的3D模型。尽管本文描述的方法和设备可以结合(并且可以作为输入接收)口内扫描信息，但是可以在不需要使用口内扫描仪的情况下执行本文描述的这些设备和方法。特别地，这些方法和设备可以由对象在家庭环境中操作，从而允许对象以稳健且廉价的方式辅助监测、跟踪和更新进展。

图1A是示出计算环境100A的示例的图，该计算环境100A被配置为促进收集和处理其中具有牙齿的牙弓的数字扫描。环境100A包括计算机可读介质152，该计算机可读介质152被配置为接收对象牙齿在一个或多个治疗阶段154的3D模型，并且接收或包括广角摄像头组件155和治疗监测系统158，该广角摄像头组件155包括具有一个或多个广角(例如，鱼眼)镜头157或与一个或多个广角(例如，鱼眼)镜头157耦接的摄像头188。该系统可以被配置为输出156图像、文本、数据和/或警报。输出156可以是治疗监测系统的一部分，或者它可以与治疗监测系统分开。治疗监测系统可以包括一个或多个模块(例如，引擎、数据结构等)，用于处理和比较对象牙齿的2D表示和3D表示。计算环境100A中的一个或多个模块可以彼此耦接，或者耦接到未明确示出的模块。

本文中讨论的计算机可读介质152和其他计算机可读介质旨在代表各种潜在的适用技术。例如，计算机可读介质152可以用于形成网络或网络的一部分。当两个组件共同定位于一装置上时，计算机可读介质152可以包括总线或其他数据管道或平面。在第一组件共同定位于一个装置上且第二组件位于不同装置上的情况下，计算机可读介质152可以包括无线或有线后端网络或LAN。如果适用，计算机可读介质152还可以包括WAN或其他网络的相关部分。

一个或多个治疗计划阶段154的3D模型可以从扫描系统、数据库、计算机系统或任何其他结构接收。一个或多个治疗计划阶段的3D模型可以是整个治疗计划或治疗计划的子集的3D模型。3D模型可以包括针对上牙弓和下牙弓的治疗计划。如本文所使用的，“牙弓”可包括由个体的上颚牙齿和/或下颚牙齿形成的个体牙列的全部或至少一部分。牙弓可以包括个体的一个或多个上颚牙齿或下颚牙齿，例如，个体的上颚或下颚上的所有牙齿。3D模型154可以存储在存储器、数据库和/或一个或多个处理器中，并且可以用于生成对象牙齿的渲染2D图像以及提供关于对象牙齿的附加信息(包括牙齿分割等)。3D模型可以与特定的对象相关联。在一些示例中，系统可以包括验证引擎(未示出)，该验证引擎可以确认或验证一个或多个治疗计划阶段的3D模型对应于为其拍摄输入2D图像的特定对象。一个或多个3D牙齿模型可以包括例如一个或多个3D点云或3D牙齿网格。治疗监测系统158可以被配置为接收先前获取的或由另一个系统获取的3D模型数据。

广角摄像头组件155可以包括计算机系统或摄像头188，该计算机系统或摄像头188被配置为获得对象牙列的一个或多个广角2D图像，例如，利用广角镜头157进行操作。广角镜头可以是摄像头的一部分或可以添加到摄像头上。广角摄像头组件可以是治疗监测系统158的一部分，或者它可以与治疗监测系统158一起使用。如本文所述，广角2D图像可以包括用广角(例如，鱼眼)摄像头或广角(例如，鱼眼)镜头产生的超广角2D图像，其中对象可能具有凸出的非直线外观。对象牙列的广角2D图像可以包括例如单个2D图像中对象牙齿的两个牙弓的咬合视图(或透视咬合视图)。广角摄像头组件155可以是例如独立的摄像头或镜头，或者替代地智能手机、平板电脑或计算机的鱼眼镜头附件。对象可以在正畸治疗过程期间使用广角摄像头来拍摄对象牙齿(例如，上牙弓和/或下牙弓)的广角输入2D图像。

输出156可以包括计算机系统，该计算机系统被配置为显示个体牙列的至少一部分，和/或(例如，处于当前治疗阶段的)输入2D图像与对应于当前治疗阶段的建模的一个或多个治疗计划阶段之间的差异。输出156可以包括显示系统、存储器、一个或多个处理器等。输出可以是显示装置的一部分以显示个体的牙列。输出156可以实现为计算机系统、专用口内扫描仪等的一部分。在一些实现方式中，输出156有助于通过使用在较早日期和/或远程位置处拍摄的扫描图来显示个体的牙列。输出156可以有助于显示同时地和/或局部地拍摄的扫描图。输出156可以被配置为显示正畸治疗计划的预期或实际结果，该正畸治疗计划被应用到通过扫描系统154扫描的牙弓。这些结果可以包括牙弓的3D虚拟表示、牙弓的2D图像或渲染等。在一些示例中，输出可以作为一个或多个图像、作为文本(例如，列举差异的文本文件)、作为分数(例如，数字或字母数字分数)、作为3D模型或修改后的3D模型等被发送到对象的牙科保健提供方(例如，正畸医生、牙医、牙科医师等)。

治疗监测系统158可以包括计算机系统，该计算机系统包括存储器和一个或多个处理器，如本文所述，该一个或多个处理器被配置为监测对象牙列并跟踪对象牙齿到正畸治疗计划的移动。例如，治疗监测系统可以包括多个模块或引擎，用于在一个或多个治疗阶段确定患者的实际牙齿构造与计划的牙齿构造之间的差异。这些模块或引擎可以对应于一个或多个处理器。一个或多个2D图像引擎160可以实现自动化代理以从广角摄像头接收对象牙齿的输入2D图像。输入2D图像可以包括例如超广角图像，该超广角图像包括对象牙列的两个牙弓的咬合视图(或咬合透视图)。输入2D图像可以表示对象牙齿在正畸治疗的特定时间或阶段的实际位置。一个或多个2D图像引擎160还可以被配置为处理输入2D图像以提取和标识对象牙齿的牙齿特征。牙齿特征可以包括例如牙齿中心、牙齿廓影、牙齿标志(例如，凹点(pit)、裂缝和/或峰)或提供对象牙齿的位置和取向的任何其他牙齿特征。在一些示例中，一个或多个2D图像引擎160还可以被配置为确定与输入2D图像对应的广角摄像头组件155的虚拟摄像头参数。或者，在一些示例中，可以包括用于确定虚拟摄像头参数的单独分析引擎(例如，处理器)(例如，虚拟摄像头参数引擎)。虚拟摄像头参数可以包括例如摄像头组件的对应于输入2D图像的固有摄像头参数和/或非固有摄像头参数。

一个或多个3D模型引擎162可以实现一个或多个自动化代理以接收和处理来自扫描系统154的扫描数据或3D牙齿模型数据。在一些示例中，治疗监测系统158被配置为接收、存储并处理对象牙列的3D模型154。3D模型可以包括例如3D牙齿点云或3D牙齿网格模型、或一系列3D牙齿点云或3D牙齿网格模型，每个模型对应于治疗阶段；或者，3D模型可以包括牙齿的分割后的3D牙齿点云或3D牙齿网格模型以及描述分割后的牙齿(在一些示例中，为牙龈、牙弓等)的排列或构造还有每个阶段的关键位置的引导。治疗监测系统158通常被配置为使用摄像头组件的虚拟摄像头参数从3D牙齿模型生成渲染2D图像。因此，渲染2D图像表示对象牙齿在正畸治疗的特定阶段或时间的预期位置或期望位置；该阶段或时间可以对应于输入2D图像的实际时间或阶段。一个或多个3D模型引擎162还可以被配置为处理渲染2D图像以提取和标识对象牙齿的牙齿特征。牙齿特征可以包括例如牙齿中心、牙齿廓影或提供对象牙齿的位置和取向的任何其他牙齿特征，如上所述，用于与来自输入2D图像的牙齿特征进行比较。

一个或多个牙齿比较引擎164可以实现一个或多个自动化代理以将来自3D模型的渲染2D图像与来自广角摄像头组件的输入2D图像进行比较。该比较可以提供关于对象牙齿的当前位置是否遵循根据正畸治疗计划的预期位置或期望位置的指示。在一些示例中，牙齿比较引擎提供差异分数(在本文中也称为比较值)，该差异分数可以指示对象牙齿的当前位置与期望位置有多接近；或者，该分数可以指示当前位置与特定治疗阶段的模型有多不同。牙齿比较引擎可以生成一个或多个差异指示符或一个或多个比较指示符。差异指示符可以是以下中的一项或多项：差异图、差异分数和/或差异值集。例如，差异图可以包括对象牙齿的2D或3D表示，其示出、突出显示或以其他方式指示当前的实际牙齿构造与来自治疗计划的期望或预测的牙齿构造之间的差异。差异图可以是示出位置和/或旋转差异的一个或多个彩色2D图像或带标记的2D图像，或示出位置和/或旋转差异的3D模型。2D图像或3D模型可以用差异(包括差异的幅度)进行注释。标记可以包括差异的热图表示。在一些示例中，该差异值集可以是当前的牙齿构造与治疗计划之间的差异(和/或相似度)的文本表示。文本表示可以是数据库(例如，表格、列表或任何其他数据结构)。

在一些示例中，一个或多个牙齿比较引擎164确定并计算可应用于对象牙齿以实现期望位置的新的牙齿移动。一个或多个牙齿比较引擎164还可以将差异指示符输出给对象(例如，经由消息、警报等)和/或对象的牙科保健提供方和/或第三方。在一些示例中，一个或多个牙齿比较引擎164被配置为在实际构造与治疗计划之间的差异幅度超过阈值时，触发一个或多个警报。

一个或多个可选的治疗建模引擎166可以被配置为使用新的牙齿移动来存储和/或提供指令以实现正畸治疗计划和/或正畸治疗计划的结果。一个或多个可选的治疗建模引擎(例如，机器学习引擎)166可以提供更新的3D牙齿模型上的正畸治疗计划的结果。在一些示例中，更新的3D牙齿模型可以包括新的牙齿移动。一个或多个可选的治疗建模引擎166可以在正畸治疗计划的过程中对将正畸矫治器应用于个体牙弓的结果进行建模。

如本文所使用的，任何“引擎”可以包括一个或多个处理器或其一部分。一个或多个处理器的一部分可以包括硬件的一些部分，其少于包括任何给定的一个或多个处理器的硬件的全部，诸如寄存器的子集、专用于多线程处理器的一个或多个线程的处理器的一部分、时间片(在该时间片期间，处理器全部地或部分地专用于执行引擎的部分功能)等。因此，第一引擎和第二引擎可以具有一个或多个专用处理器，或者第一引擎和第二引擎可以彼此共享或与其他引擎共享一个或多个处理器。根据具体实现或其他考虑，引擎可以是集中式的，或其功能是分布式的。引擎可以包括硬件、固件、或包含在计算机可读介质中以供处理器执行的软件。处理器使用所实现的数据结构和方法将数据转换为新数据，如参考本文附图所述。

本文所述的引擎，或可以通过其实现本文所述的系统和装置的引擎，可以是基于云的引擎。如本文所使用的，基于云的引擎是可以通过使用基于云的计算系统来运行应用程序和/或功能的引擎。应用程序和/或功能的全部或部分可以分布在多个计算装置上，并且不需仅限于一个计算装置。在一些示例中，基于云的引擎可以执行终端用户通过网络浏览器或容器应用程序访问的功能和/或模块，而无需将这些功能和/或模块本地安装在终端用户的计算装置上。

如本文所使用的，“数据存储(datastores)”可以包括具有任何适用的数据组织的存储库，包括表格、逗号分隔值(CSV)文件、传统数据库(例如，SQL)或其他适用的已知或便捷的组织格式。例如，数据存储可以被实现为软件，该软件包含在具体用途的机器上的物理计算机可读介质中、包含在固件中、硬件中、它们的组合中、或适用的已知或便捷的装置或系统中。与数据存储相关联的组件(诸如数据库接口)可以被视为数据存储的“一部分”、一些其他系统组件的一部分、或它们的组合，尽管与数据存储相关联的组件的物理位置和其他特性对于理解本文所述的技术来说并不重要。

数据存储可以包括数据结构。如本文所使用的，数据结构与在计算机中存储和组织数据的特定方式相关联，从而可以在给定上下文中有效地使用数据结构。数据结构通常基于计算机在其存储器中的任何位置获取和存储数据的能力，该位置由其本身可以存储于存储器中并由程序操控的地址、位字符串指定。因此，一些数据结构是基于使用算术运算来计算数据项的地址；而其他数据结构则是基于将数据项的地址存储在其本身的结构中。许多数据结构使用这两种原理，有时这两种原理以非平凡方式(non-trivial way)结合在一起。数据结构的实现通常需要编写一组程序来生成和操控该结构的实例。本文所述的数据存储可以是基于云的数据存储。基于云的数据存储是与基于云的计算系统和引擎兼容的数据存储。

图1B是示出一个或多个2D图像引擎160a的示意性示例的图。一个或多个2D图像引擎160a可以包括分割引擎168、特征提取引擎170、虚拟参数引擎172和2D图像数据存储174。一个或多个2D图像引擎162a的一个或多个模块可以彼此耦接或耦接到未示出的模块。一个或多个2D图像引擎160a被配置为接收和处理来自广角摄像头组件的对象牙齿的输入2D图像。

一个或多个分割引擎168可以实现一个或多个自动化代理，这些自动化代理被配置为处理来自广角摄像头组件155的输入2D图像。一个或多个分割引擎168可以包括用于处理输入2D图像的图形引擎。一个或多个分割引擎168可以被配置为将输入2D图像分割成各个牙齿组成部分，包括将输入2D图像分割成各个牙齿。图2A是来自广角摄像头组件的输入2D图像的示例。如图2A所示，输入2D图像是包括对象牙列的两个牙弓的咬合视图的单个图像。摄像头组件155的广角性质实现单个2D图像中两个牙弓的这种视图。图2B是(例如，通过分割引擎)分割后的输入2D图像的示例。如图所示，在从图像中去除了较低价值的图像数据(例如，牙龈、嘴唇、上颚等)的情况下，输入2D图像已被分割成各个牙齿组成部分(例如，牙齿)。2D图像数据存储174可以存储输入2D图像、分割后的2D图像和/或其他数据并将其提供给治疗监测系统158的其他模块。

本文描述的方法和设备可以受益于广角摄像头组件和对应的广角输入2D图像的使用。这些图像可以如本文所描述的那样进行处理并且可以在不需要缩回脸颊的情况下进行拍摄。因此，对象可以自己快速且容易地拍摄图像(或者可以让家人、朋友或看护人拍摄)。尽管这些方法和设备可以与单个广角图像一起使用，但是在一些示例中，可以拍摄并使用多于一个的广角图像；在一些示例中，可以组合这些图像。

在一些示例中，本文描述的系统和方法可以包括用于获取一个或多个输入2D图像的引导(例如，治疗监测系统可以包括图像获取引导引擎)。例如，系统可以提供用于拍摄图像的指令(在对象的手持装置上)，包括文本、音频、图像、视频等，用于定位和拍摄输入2D图像。系统可以检查拍摄的输入2D图像的质量，以确保其是聚焦的、适当定位的(例如，以提供咬合视图)和/或包括足够的特征(例如，包括所有牙齿)。

一个或多个特征提取引擎170可以实现一个或多个自动化代理，这些自动化代理被配置为从输入2D图像或分割后的输入2D图像提取牙齿特征。如本文所使用的，“牙齿特征”可以包括来自一个或多个输入2D图像的数据点，这些数据点与对象牙齿的中心、廓影、边缘、轮廓、顶点、矢量或表面相关。提供关于对象牙齿的取向的信息或细节的“牙齿特征”特别有用。例如，牙齿特征可以包括提供关于对象牙齿的位置的数据的牙齿中心。类似地，牙齿廓影可以提供关于对象牙齿的位置和取向二者的数据。图2C示出了对象牙齿的具有牙齿特征的输入2D图像的示例，该牙齿特征包括提取的并在2D图像上示出的牙齿廓影。相反，图2D仅示出了从2D图像中提取的牙齿中心的牙齿特征。虽然牙齿中心提供了关于各个牙齿的位置的数据，但是牙齿中心可能不容易提供关于每颗牙齿的取向的足够数据。2D图像数据存储174可以存储提取的特征和/或其他数据并将其提供给治疗监测系统158的其他模块。

一个或多个虚拟摄像头参数引擎172可以实现一个或多个自动化代理，这些自动化代理被配置为确定与输入2D图像对应的广角摄像头组件的虚拟摄像头参数。广角摄像头组件的虚拟摄像头参数可以包括非固有参数和固有参数，该非固有参数定义了摄像头组件相对于世界坐标系的位置和取向，而该固有参数允许摄像头坐标与图像坐标系中的像素坐标之间的映射。可以使用优化器函数迭代地计算广角(例如，鱼眼)摄像头组件的虚拟参数。在一些示例中，2D图像数据存储174可以存储虚拟摄像头参数和/或其他数据并将其提供给治疗监测系统158的其他模块。

图1C是示出一个或多个3D模型引擎162a的示例的图。一个或多个3D模型引擎162a可以包括2D渲染引擎176、分割引擎178、特征提取引擎180和3D模型数据存储182。一个或多个3D模型引擎162a的一个或多个模块可以彼此耦接或耦接到未示出的模块。

2D渲染引擎176可以实现一个或多个自动化代理，这些自动化代理被配置为渲染来自扫描系统154接收到的3D牙齿模型的2D图像。可以使用来自虚拟参数引擎172的广角摄像头组件的虚拟摄像头参数来从3D模型渲染2D图像。渲染的2D图像表示对象牙齿在正畸治疗的特定时间或阶段的预期位置或期望位置。3D模型数据存储182可以存储渲染2D图像和/或其他数据并将其提供给治疗监测系统158的其他模块。

一个或多个分割引擎178可以实现一个或多个自动化代理，这些自动化代理被配置为处理来自2D渲染引擎176的渲染2D图像。一个或多个分割引擎178可以包括用于处理渲染2D图像的图形引擎。一个或多个分割引擎178可以被配置为将渲染2D图像分割成各个牙齿组成部分，包括将渲染2D图像分割成各个牙齿。如上所述，在一些示例中，分割可以通过用于生成渲染2D图像的3D模型来提供或辅助(例如，3D模型可以被分割或者可以包括分割信息)。图3A是来自2D渲染引擎的渲染2D图像的示例。如图3A中所示，渲染2D图像是包括对象牙弓的咬合视图的单个图像。虽然为简单起见仅示出了单个牙弓，但应该理解，该渲染2D图像可以包括两个牙弓的咬合视图，类似于输入2D图像。虚拟摄像头参数可用于从3D模型生成该牙弓视图，作为3D模型的2D投影。3D模型数据存储182可以存储输入2D图像、分割后的2D图像和/或其他数据并将其提供给治疗监测系统158的其他模块。

一个或多个特征提取引擎180可以实现一个或多个自动化代理，这些自动化代理被配置为从渲染2D图像或分割后的渲染2D图像中提取牙齿特征。牙齿特征可以包括来自一个或多个输入2D图像的数据点，这些数据点与对象牙齿的中心、廓影、边缘、轮廓、顶点、矢量或表面相关。提供关于对象牙齿的取向的信息或细节的牙齿特征特别有用。例如，牙齿中心可以提供关于对象牙齿的位置的数据(平移信息)。牙齿廓影可以提供关于对象牙齿的位置和取向(例如，旋转)的数据。在一些示例中，如本文所述，使用牙齿中心来确定输入2D图像与来自渲染2D图像的治疗计划之间的平移差异可能是有益的(并且计算简单)，而旋转差异可以通过比较来自输入2D图像和渲染2D图像的牙齿廓影来确定。

图3B示出了对象牙齿的具有牙齿特征的渲染2D图像的示例，该牙齿特征包括经提取并在渲染2D图像上示出的牙齿廓影。3D模型数据存储182可以存储提取的特征和/或其他数据并将其提供给治疗监测系统158的其他模块。

图1D是示出一个或多个牙齿比较引擎164a的示例的图。一个或多个牙齿比较引擎164a可以包括牙齿移动引擎184和牙齿移动数据存储186。一个或多个牙齿比较引擎164a的一个或多个模块可以彼此耦接或耦接到未示出的模块。

牙齿移动引擎184可以实现一个或多个自动化代理以将来自3D模型的渲染2D图像与来自广角摄像头组件的输入2D图像进行比较。2D图像的比较可以提供关于对象牙齿的当前位置是否遵循根据正畸治疗计划的对象牙齿的预期位置或期望位置的指示。在一些示例中，该比较提供离散值(例如，在0到1之间)，该离散值指示了对象牙齿有多接近地遵循正畸治疗计划(例如，值1将指示对象牙齿完美地遵循治疗计划，而值为0表示对象牙齿根本没有遵循治疗计划)。输入2D图像与渲染2D图像之间的比较可用于修改正畸治疗计划。例如，该比较可用于计算将牙齿从当前位置移动到期望位置所需的新的牙齿移动。可以利用这些新的牙齿移动来更新正畸治疗计划。

例如，对于输入2D图像和渲染2D图像中的每个对应的牙齿(可以通过分割来标识各个牙齿)，牙齿移动引擎可以使用牙齿中心来估计两种类型牙齿的位置差异。例如，牙齿中心的相对平移可以提供实际计划位置与治疗计划位置之间的牙齿位置的平移差异的指示。类似地，可以通过比较牙齿廓影来比较实际(输入2D图像)与治疗计划(渲染2D图像)之间的牙齿旋转。分割提供了牙齿的轮廓(廓影)以及牙齿身份的指示(例如，牙齿编号)。可以通过旋转廓影来比较输入2D图像的牙齿廓影，以充分地匹配来自渲染2D图像的对应牙齿的廓影和/或3D模型中的对应牙齿的廓影。

在使用中，本文描述的系统和方法可以引导对象拍摄牙齿的当前图像(输入2D图像)咬合视图，将该当前视图与对应(或未来)治疗计划阶段的治疗计划进行比较，并在调整治疗计划时向专业用户(例如，牙医、正畸医生或其他牙科专业人员)提供差异指示和/或提供引导。

例如，图4A示意性地示出了一种方法。在图4A中，可选地，可以通过拍摄牙齿的咬合视图(或透视咬合视图)的广角2D图像的步骤来引导对象(或对象的代理人，例如，家庭成员、朋友、护理人员等)452。在一些示例中，初始步骤可以包括将广角镜头或适配器附接或连接到现有摄像头，例如，智能手机摄像头。图6A中示出了这种情况的示例。图7示出了耦接到智能手机701的广角(例如，鱼眼)镜头703的一个示例。例如，可以由系统引导对象拍摄图像，该系统可以提供视觉引导来在照镜子的同时拍摄自拍照片，和/或可以提供语音引导来在没有镜子的情况下拍摄自拍照片。系统可以指示(例如，通过警报)所拍摄的图像的质量不合适，或者可以改进所拍摄的图像的质量。例如，系统可以在照明条件不足的情况下向用户对象发出警报。如所提到的，单个图像可以与广角摄像头组件一起使用，或者可以在角度发生微小变化的情况下连续拍摄多个图像，以辅助实现更好的精确度。

图6B示出了广角图像的示例，该广角图像示出了如本文所描述的那样拍摄的对象牙齿的咬合(咬合透视)视图。这些图像可以在没有牵开器(retractor)的情况下拍摄，并且可以由设备进行初步分析以确定图像质量是否足够。一般来说，图6B中示出的图像是上牙弓和下牙弓的咬合透视图；广角摄像头组件允许在同一视图中同时对上颌和下颌两者进行成像。一般来说，本文描述的广角2D图像可以称为咬合视图，因为它们主要(但不排他地)示出对象牙齿的咬合面。这些视图也可以称为咬合透视图，因为它们示出了上颌咬合面和/或下颌咬合面的广角透视图。

一旦接收到足够的输入2D图像，方法或用于执行该方法的系统可以确定针对2D图像的虚拟摄像头参数454，如上所述。例如，可以使用优化器来通过迭代地计算和重新计算与调整虚拟摄像头参数对应的牙齿中心的步骤来找到摄像头的固有参数和/或非固有参数。优化使得投影的牙齿中心可以被投影到尽可能靠近一个或多个图像中的牙齿中心的图像像素。在一些示例中，可以预校准摄像头组件，并且可以提供一些或所有固有参数。

然后可以使用这些虚拟摄像头参数从(对应的或未来的治疗阶段处)患者牙齿的3D模型来生成渲染2D图像456。然后可以通过比较两个图像(和/或3D模型)之间的特征来将该渲染2D图像与输入2D图像进行比较。例如，可以通过标识并比较输入2D图像和渲染2D图像之间的对应牙齿的牙齿中心来确定输入2D图像和渲染2D图像的牙齿之间的平移差异458。输入2D图像和渲染2D图像的牙齿之间的旋转差异可以通过使用来自每个图像中的分割后的牙齿的牙齿廓影(例如，牙齿轮廓)来确定460。或者，在一些示例中，平移差异也可以或替代地从牙齿廓影而不是牙齿中心来确定或除了从牙齿中心之外，还从牙齿廓影来确定。

基于这些比较，可以确定输入2D图像与渲染2D图像之间的差异指示符(例如，差异分数、差异图和/或差异值)，并且可以发送、存储和/或显示差异指示符462。可选地，如果一个或多个差异超过阈值，则可以将一个或多个警报发送给对象和/或对象的牙科保健提供方(例如，专业用户)。

图4B是描述了正畸治疗计划期间监测对象牙齿的方法的流程图的另一个示例。如图4A所示，该方法可以由系统(例如，图1A中示出的计算环境100A中的一个或多个系统)自动实现。

在操作402处，该方法可以包括从广角摄像头组件接收输入2D图像，该输入2D图像具有对象牙列的第一牙弓和第二牙弓的咬合视图。输入2D图像可以由对象使用广角摄像头或智能手机、平板电脑或PC等的广角(例如，鱼眼)镜头附件来拍摄。在一些实现方式中，输入2D图像包括对象牙齿的两个牙弓的咬合视图。

在操作404处，该方法还可以包括在输入2D图像中标识第一牙弓和第二牙弓中的牙齿的牙齿特征。在一些实现方式中，可以使用经训练的机器学习模型来标识或提取牙齿特征。在其他实现方式中，可以手动标识或提取牙齿特征。牙齿特征可以包括提供对象牙齿的位置和/或取向的牙齿中心、牙齿廓影或其他牙齿特征。

接下来，在操作406处，该方法还可以包括确定与输入2D图像对应的广角摄像头的虚拟参数。广角摄像头的虚拟参数可以包括非固有参数和固有参数，该非固有参数定义了摄像头相对于世界坐标系的位置和取向，而该固有参数允许摄像头坐标和图像坐标系中的像素坐标之间的映射。可以例如利用优化器函数迭代地计算鱼眼镜头的虚拟参数。

接下来，在操作408处，该方法可以包括接收对象牙列的3D模型。可以从诸如3D牙齿扫描系统等扫描系统生成和接收3D模型。接下来，在操作410处，该方法还可以包括利用广角摄像头的虚拟参数(在操作406处计算出的虚拟参数)从3D模型生成渲染2D图像。该渲染2D图像表示对象牙齿的预期位置或期望位置。

在操作411处，该方法还可以包括在渲染2D图像中标识第一牙弓和第二牙弓中的牙齿的牙齿特征。在一些实现方式中，可以使用经训练的机器学习模型来标识或提取牙齿特征。在其他实现方式中，可以手动标识或提取牙齿特征。牙齿特征可以包括提供对象牙齿的位置和/或取向的牙齿中心、牙齿廓影或其他牙齿特征。

接下来，在操作412处，该方法还可以包括将渲染2D图像的牙齿特征与输入2D图像的牙齿特征进行比较。如上所述，2D图像的比较可以提供关于对象牙齿的当前位置是否遵循根据正畸治疗计划的对象牙齿的预期位置或期望位置的指示。在一些示例中，该比较提供在0到1之间的离散值，该离散值指示了对象牙齿有多接近地遵循正畸治疗计划(例如，值1将指示对象牙齿完美地遵循治疗计划，而值为0表示对象牙齿根本没有遵循治疗计划)。

可选地，在操作414处，可以使用输入2D图像与渲染2D图像之间的比较来修改正畸治疗计划。例如，该比较可用于计算将牙齿从当前位置移动到期望位置所需的新的牙齿移动。可以利用这些新的牙齿移动来更新正畸治疗计划。

在本文描述的方法的一些示例中，输入2D图像与重建2D图像之间的比较可以限于牙齿中心(例如，每颗牙齿的质心)。平移差异可以为家庭监测提供足够的粗略跟踪信息。

在一些示例中，可以在不使用广角镜头的情况下执行本文描述的方法和设备。例如，这些方法和设备可以使用多个摄像头(例如，电话摄像头)来执行以生成多个图像。这些图像可以组合成单个(伪广角)图像并进行处理，如上所述，或者使用一个或多个简化程序进行处理。例如，图4C示意性地示出了一种这样的方法。在图4C中，可选地，可以通过拍摄包括牙齿的一个或两个牙弓的多个图像的步骤来引导对象(或对象的代理人，例如，家庭成员、朋友、护理人员等)482。摄像头可以是对象或护理人员(用户对象)的现有摄像头，例如，智能手机摄像头。例如，可以由系统引导用户对象拍摄图像，该系统可以提供视觉引导来在照镜子的同时拍摄自拍照片，和/或可以提供语音引导来在没有镜子的情况下拍摄自拍照片。系统可以指示(例如，通过警报)所拍摄的图像的质量不合适，或者可以改进所拍摄的图像的质量。例如，系统可以在照明条件不足的情况下向用户对象发出警报。可以在角度发生微小变化的情况下连续拍摄多个图像，以辅助实现更好的精确度。

在拍摄图像之前或之后，用户对象可以校准摄像头484。在一些示例中，可以指示用户对象下载和/或打印校准目标(例如，网格、棋盘等)的图像。可以执行校准以确定虚拟摄像头参数。在一些示例中，校准可以帮助确定摄像头与图像之间的间距。可以标识摄像头的固有参数和/或非固有参数。在一些示例中，拍摄的多个图像可以组合成每个(或两个)牙弓的单个(合并的)图像。

然后可以使用这些虚拟摄像头参数从(对应的或未来的治疗阶段处)患者牙齿的3D模型生成一个或多个渲染2D图像。然后可以通过比较两个图像(和/或3D模型)之间的特征来将该一个或多个渲染2D图像与输入2D图像进行比较。例如，可以确定输入2D图像和渲染2D图像的牙齿之间的平移差异和/或旋转差异。

在一些示例中，例如，作为校准的一部分，可以将摄像头配准到整个颌。每颗牙齿可以是单独的，并由此检测单颗牙齿到整个颌的移动。这种配准可以通过以下方式执行：将牙齿廓影投影与图像上的牙齿廓影相匹配；和/或将牙尖和/或费雪投影与图像牙尖和/或费雪投影相匹配；和/或使用经训练的网络，该网络将来自同一摄像头的牙齿图像和牙齿深度图作为输入，并且产生牙齿移动488。替代地或附加地，输入2D图像和渲染2D图像的牙齿之间的旋转差异可以通过使用来自每个图像中的分割后的牙齿的牙齿廓影(例如，牙齿轮廓)来确定。替代地，在一些示例中，平移差异也可以或替代地从牙齿廓影和/或通过使用牙齿中心来确定。

基于这些比较，可以确定输入2D图像与渲染2D图像之间的差异指示符(例如，差异分数、差异图和/或差异值)，并且可以发送、存储和/或显示差异指示符490。可选地，如果一个或多个差异超过阈值，则可以将一个或多个警报发送给对象和/或对象的牙科保健提供方(例如，专业用户)。

本文描述的方法可以由诸如数据处理系统等设备来执行，该设备可以包括用于执行上述这些步骤中的许多步骤的硬件、软件和/或固件。例如，图5是如本文所述的系统500的简化框图。

这些系统500中的任何系统可以包括或被配置为在处理器554上进行操作，并且可以包括或被配置为与包括摄像头556和集成或分离的广角(例如，鱼眼)镜头558的摄像头组件一起操作。该系统一般可以包括控制器552，该控制器552包括任何或所有上述模块/引擎(例如，图1A至图1D中的模块/引擎)。例如，控制器可以包括输入2D图像生成器560和输入2D图像分析器562(其可以共同地是2D输入引擎)。在一些示例中，控制器可以包括或操作虚拟摄像头参数标识器564(其也可以是2D输入引擎的一部分)，该虚拟摄像头参数标识器564可以标识摄像头组件的固有参数和/或非固有参数。控制器还可以包括渲染2D图像生成器561和渲染2D图像分析器563(其可以被包括作为3D模型引擎的一部分)。还可以包括差异确定引擎565(例如，牙齿比较引擎)。最后，控制器还可以包括和/或控制输出引擎566，该输出引擎566可以触发和呈现警报，存储、发送和/或显示一个或多个比较(例如，差异)指示符。

一般而言，这些处理系统中的任何一个都可以包括至少一个处理器，该至少一个处理器通过总线子系统与多个外围装置(其可以包括上述所有或一些组件)进行通信。这些外围装置通常可以包括存储子系统(例如，存储器子系统和文件存储子系统)、成组的用户界面输入和输出装置、以及通往外部网络(包括公共交换电话网络)的接口。该接口可以是调制解调器和网络接口，并可以通过通信网络接口耦接到其他数据处理系统中的相应接口装置。这些系统可以包括终端或低端个人计算机或高端个人计算机、工作站或大型机。

这些系统可以包括用户界面输入装置，该用户界面输入装置可以包括键盘，并且还可以包括指向装置(pointing device)和扫描仪。指向装置可以是间接指向装置，例如鼠标、轨迹球、触摸板或图形输入板(graphics tablet)，或者是直接指向装置，诸如结合到显示器中的触摸屏。可以使用其他类型的用户界面输入装置，诸如语音标识系统。

用户界面输出装置可以包括打印机和显示子系统，该显示子系统包括显示控制器和耦接到控制器的显示装置。显示装置可以是阴极射线管(CRT)、诸如液晶显示器(LCD)的平板装置、或投影装置。显示子系统还可以提供非视觉显示，例如音频输出。

存储子系统可以维护提供本发明功能的基本编程和数据结构。以上讨论的软件模块可以存储在存储子系统中。存储子系统可以包括存储器子系统和文件存储子系统。存储器子系统可以包括多个存储器，这些存储器包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)以及其中可以存储固定指令的只读存储器(ROM)。

文件存储子系统可以为程序和数据文件提供持久(非易失性)存储，并且通常包括，例如，至少一个硬盘驱动器和至少一个软盘驱动器(带有相关联的可移除介质)。也可以存在其他装置，诸如CD-ROM驱动器和光盘驱动器(都带有它们相关联的可移除介质)。此外，系统可以包括带有可移除介质盒(removable media cartridge)类型的驱动器。一个或多个驱动器可以位于远程位置，诸如位于局域网上的服务器中、或位于互联网的万维网上的站点。

“总线子系统”一般可以包括使各种组件和子系统按照预期彼此通信的任何机制。其他组件不必位于同一物理位置。因此，例如，文件存储系统的某些部分可以通过各种局域网介质或广域网介质(包括电话线)连接。类似地，输入装置和显示器不必与处理器位于同一位置，尽管预计本发明将最经常在PCS和工作站的环境中实现。总线子系统可以是单个总线，或者可以包括多个总线，诸如本地总线和一个或多个扩展总线(例如，ADB、SCSI、ISA、EISA、MCA、NuBus或PCI)、以及串行端口和并行端口。网络连接通常通过诸如位于这些扩展总线之一上的网络适配器或位于串行端口上的调制解调器等装置来建立。客户端计算机可以是台式系统或便携式系统。

可以使用各种替代、修改和等效物来代替上述组件。尽管可以使用计算机辅助技术来确定牙齿的最终位置，但是专业用户可以通过在满足处方约束的同时独立地操控一颗或多颗牙齿来将牙齿移动到它们的最终位置。

附加地，本文所述的技术可以以硬件或软件或两者的组合来实现。这些技术可以在可编程计算机上执行的计算机程序中实现，每个可编程计算机包括处理器、能够由处理器读取的存储介质(包括易失性和非易失性的存储器和/或存储元件)、以及合适的输入和输出装置。程序代码被应用到通过使用输入装置而输入的数据，以执行所述功能并生成输出信息。输出信息被应用到一个或多个输出装置。

每个程序可以以高级程序化或面向对象的编程语言来实现，以与计算机系统结合操作。然而，如果需要，这些程序可以用汇编语言或机器语言来实现。在任何情况下，语言都可以是编译语言或解译语言。

每个这样的计算机程序可以存储在能够由通用或专用可编程计算机读取的存储介质或装置(例如，CD-ROM、硬盘或磁盘)上，以用于在存储介质或装置由计算机读取时对计算机进行配置和操作从而执行所述过程。该系统还可以实现为配置有计算机程序的计算机可读存储介质，其中如此配置的存储介质使计算机以特定且预定义的方式进行操作。

因此，本文描述的任何方法(包括用户界面)都可以实现为软件、硬件或固件，并且可以描述为非暂时性计算机可读存储介质，其存储能够由处理器(例如，计算机、平板电脑、智能手机等)执行的一组指令，该指令在被处理器执行时，促使处理器控制来执行包括但不限于以下各项的任何步骤：显示、与用户通信、分析、修改参数(包括时序、频率和强度等)、确定、发出警报等。

如上文所提到的，任何设备和方法可以包括使用校准标准的校准。例如，患者或护理人员(例如，用户对象)可以使用打印的校准标准(例如，校准标准图案或目标，例如，棋盘图案)来校准用户对象的摄像头(例如，手机摄像头、独立摄像头、平板电脑摄像头等)。在一些示例中，可以向用户对象提供打印的校准标准和/或可以指示用户对象(使用家用打印机)打印出校准标准。校准标准可以被包括在包装中。在一些示例中，摄像头或用于固定所有或部分光学器件(例如，广角镜头)的摄像头附件(例如，适配器等)的包装可以被配置为校准夹具，该校准夹具可以相对于校准标准(可选地，利用适配器)将摄像头定位在预定的位置中。

例如，图8A示意性地示出了校准标准与用户对象的电话一起使用的一个示例。在图8A中，电话801包括在电话上的附件803以与内部电话摄像头对接。附件可以包括一个或多个镜头(例如，广角镜头)。可以通过拍摄校准目标805(在该示例中示出为棋盘图案)的照片来校准摄像头。在一些示例中，棋盘图案可以是可以与设备(例如，与可以耦接到用户对象的摄像头的附件)一起提供的盒子或包装810的一部分。在图8A和图8B中，校准图案示出为打印或附着到包装盖上。该包装还可以包括代码或链接807(例如，快速响应(“QR”)代码、网址等)，该代码或链接807可以提供可下载到用户对象的摄像头装置(例如，手机、平板电脑等)的指令或应用软件的链接。摄像头可以链接或配准到用户对象(例如，患者)。可以注册产品(设备)，并且应用软件可以辅助拍摄和/或存储和/或处理由用户对象的电话捕获到的图像。代码或链接(例如，QR码、条形码、字母数字代码等)可以是校准目标或可以是校准目标的一部分，如图8D所示。

在一些示例中，校准框架或夹具可用于将用户对象的电话保持在距校准目标的固定的预定距离处。例如，设备的包装(例如，盒子)810可以包括校准目标以及可以放置、保持或固定电话的定位位置。图8C示出了盒子的示例，该盒子被配置为包括打印在盒子上的校准目标805(例如，校准图案)和盒子上的支架或固定架812。在一些示例中，盒子包括在摄像头可以抵靠其支撑的一侧上的孔或开口，以对打印或附着在盒子内的校准图案进行成像。因此，摄像头可以在预定(已知)的固定距离814处对校准目标进行成像，并且因此可以根据距离校准光学特性(焦点等)。在一些示例中，可以包括多个校准目标(在相同或不同距离处)。例如，包装可以包括多个校准目标。在某些情况下，可以从放置(或保持)摄像头的同一位置看到多个目标。目标可以是紧凑的(如图8A的示例所示)，或者可以更大(如图8C所示)。

尽管已经在本文中示出和描述了本公开的优选实施例，但是对于本领域技术人员来说显而易见的是，这些实施例仅作为示例提供。在不背离本发明的情况下，本领域技术人员现在将想到许多示例、改变和替代方案。应理解的是，在实践本发明时，可以采用本文所述的本发明实施例的各种替代方案。本文所述的实施例的多种不同组合是可能的，并且这些组合被认为是本公开的一部分。此外，结合本文中的任何一个实施例所讨论的所有特征都可以容易地适用于本文中的其他实施例。所附权利要求旨在限定本发明的范围，并且因此将覆盖在这些权利要求范围内的方法和结构及其等同物。

当一特征或元件在本文中被称为“在”另一特征或元件“上”时，它可以直接位于该另一特征或元件上，或者也可以存在中间的特征和/或元件。相反，当一特征或元件被称为“直接在”另一特征或元件“上”时，则不存在中间的特征或元件。还将理解的是，当一特征或元件被称为“连接”、“附接”或“耦接”到另一特征或元件时，它可以直接地连接、附接或耦接到该另一特征或元件，或者可以存在中间的特征或元件。相反，当一特征或元件被称为“直接连接”、“直接附接”或“直接耦接”到另一特征或元件时，则不存在中间的特征或元件。尽管相对于一个示例进行了描述或示出，但如此描述或示出的特征和元件可以应用于其他示例。本领域技术人员还将认识到，对设置为与另一特征“相邻”的结构或特征的提及可以具有与该相邻特征重叠或位于该相邻特征之下的部分。

本文使用的术语仅用于描述特定示例，并且不旨在限制本发明。例如，如本文所使用的，单数形式“一个(a)”、“一(an)”和“该(the)”也旨在包括复数形式，除非上下文另有明确指示。将进一步理解的是，术语“包括(comprises)”和/或“包含(comprising)”在本说明书中使用时，指定的是所述特征、步骤、操作、元件和/或组件的存在，但不排除存在或附加一个或多个其他特征、步骤、操作、元件、组件和/或它们的组。如本文中所使用的，术语“和/或”包括一个或多个相关联的所列项目中的任何一个和所有组合，并且可以被缩写为“/”。

诸如“下(under)”、“之下(below)”、“下方(lower)”、“之上(over)”、“上(upper)”等的空间相对术语可以在本文中使用，以便于描述如附图中所示的一个元件或特征相对于另外一个或另外多个元件或特征的关系。应将理解的是，除了附图中描绘的取向之外，空间相对术语旨在包括正在使用或操作中的装置的不同取向。例如，如果图中的装置被倒置，则被描述为“在”其他元件或特征“下(under)”或“之下(beneath)”的元件将取向为“在”该其他元件或特征“之上(over)”。因此，示例性术语“下”可以包括上方和下方的取向。装置可以以其他方式取向(旋转90度或以其他的取向)，并且本文中使用的空间相对描述符可以相应地解读。类似地，除非另有具体指示，否则本文所使用的术语“向上(upwardly)”、“向下(downwardly)”、“竖直(vertical)”、“水平(horizontal)”等仅出于解释的目的。

尽管可以在本文中使用术语“第一”和“第二”以描述各种特征/元件(包括步骤)，但这些特征/元件不应受到这些术语的限制，除非上下文另有指示。这些术语可以用于将一个特征/元件与另一特征/元件区分开。因此，在不偏离本发明的教导的情况下，下面讨论的第一特征/元件可以被称为第二特征/元件，并且类似地，下面讨论的第二特征/元件可以被称为第一特征/元件。

除非上下文另有要求，否则在整个说明书和所附权利要求中，词语“包括(comprise)”以及诸如“包括(comprises)”和“包括(comprising)”等示例意味着各种组件可以共同用于方法和物品(例如，包括装置和方法的合成体和设备)中。例如，术语“包括”将被理解为意指包括任何所述元件或步骤，而不排除任何其他元件或步骤。

一般而言，本文所述的任何设备和方法都应被理解为包容性的，但组件和/或步骤的全部或子集可以可替代地是排他性的，并且可以被表述为“由”各种组件、步骤、子组件或子步骤“组成”，或可替代地“基本上由”各种组件、步骤、子组件或子步骤“组成”。

如在本说明书和权利要求书中使用的，包括如在示例中使用的，除非另有明确指定，否则所有数字都可以被解读为以词语“大约”或“大概”开头，即使该词语没有明确出现。在描述大小和/或位置时，可以使用短语“大约”或“大概”，以指示所描述的值和/或位置位于值和/或位置的合理预期范围内。例如，数值可以为规定值(或值范围)的+/-0.1％、规定值(或值范围)的+/-1％、规定值(或值范围)的+/-2％、规定值(或值范围)的+/-5％、规定值(或值范围)的+/-10％等。除非上下文另有指示，否则本文给出的任何数值也应被理解为包括该值的大约值或大概值。例如，如果公开了值“10”，则也公开了“大约10”。本文所述的任何数值范围旨在包括其中包含的所有子范围。还应理解的是，当公开了一值时，则也公开了“小于或等于”该值的值、“大于或等于该值”的值以及值之间的可能范围，如本领域技术人员适当理解的那样。例如，如果公开了值“X”，则也公开了“小于或等于X”以及“大于或等于X”(例如，其中X是数值)。还应理解的是，在整个申请中，数据以多种不同格式提供，并且该数据表示端点和起点，以及数据点的任何组合的范围。例如，如果公开了特定数据点“10”和特定数据点“15”，则可以理解的是，大于、大于或等于、小于、小于或等于、等于10和15、以及在10和15之间都被视为已公开。还应理解的是，也公开了两个特定单位数之间的每个单位数。例如，如果公开了10和15，则也公开了11、12、13和14。

尽管上文描述了各种说明性示例，但在不脱离权利要求书所述的本发明范围的情况下，可以对各种示例进行许多更改中的任何更改。例如，在替代示例中，所描述的各种方法步骤的执行顺序可以经常地改变，并且在其他替代示例中，可以完全跳过一个或多个方法步骤。各种装置和系统示例的可选特征可以被包括在一些示例中，而不被包括在其他示例中。因此，提供前面的描述主要是为了示例性目的，并且不应被解释为限制权利要求中所述的本发明范围。

本文中所包括的示例和图示通过图示而非限制的方式示出了具体示例，在这些示例中可以实践单独的主题。如前所述，可以利用并从其衍生其他示例，使得可以在不脱离本公开范围的情况下进行结构和逻辑的替换和更改。本发明主题的这些示例可以在本文中单独或共同地由术语“发明”来指代，仅出于方便的目的，并且如果事实上公开了多于一个发明或发明构思，则不旨在将本申请的范围自愿限制于任何单个发明或发明构思。因此，尽管本文已经说明和描述了具体示例，但是为实现相同目的而计算的任何布置可以替代所示的具体示例。本公开旨在涵盖各种示例的任何和所有的修改或变型。上述示例的组合和本文未具体描述的其他示例，对于本领域技术人员而言在阅读以上描述之后将是显而易见的。

Claims (37)

1.一种方法，所述方法包括：

接收对象牙齿的输入2D图像，所述输入2D图像包括对象上颌和/或下颌在当前治疗阶段的广角咬合视图；

确定与所述输入2D图像对应的虚拟摄像头参数；

接收对象上颌和/或下颌在计划的治疗阶段的3D模型；

利用所述虚拟摄像头参数从所述3D模型生成对象牙齿的渲染2D图像；

确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异；以及

基于来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异，输出差异指示符，所述差异指示符指示对象的当前牙齿与计划的治疗阶段之间的差异。

2.根据权利要求1所述的方法，其中，确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异，包括：对所述对象上颌和/或下颌的各个牙齿进行配准。

3.根据权利要求2所述的方法，其中，对各个牙齿进行配准，包括：在所述渲染2D图像与所述输入2D图像之间匹配牙齿廓影投影。

4.根据权利要求2所述的方法，其中，对各个牙齿进行配准，包括：在所述渲染2D图像与所述输入2D图像之间匹配牙尖和/或费雪投影。

5.根据权利要求2所述的方法，其中，对各个牙齿进行配准，包括：使用机器学习代理来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异。

6.根据权利要求1所述的方法，还包括：指示用户对象打印校准图案，并且利用用户对象的摄像头拍摄所述校准图案的一个或多个图像。

7.根据权利要求1所述的方法，其中，接收所述输入2D图像，包括：引导对象拍摄所述广角咬合视图。

8.根据权利要求1所述的方法，其中，所述差异指示符是以下中的一项或多项：差异图、差异分数和/或差异值集。

9.根据权利要求1所述的方法，其中，确定所述虚拟摄像头参数，包括：从所述输入2D图像迭代地确定所述虚拟摄像头参数。

10.根据权利要求1所述的方法，其中，接收所述对象牙齿的输入2D图像，包括：接收对象上颌和下颌两者的鱼眼视图。

11.根据权利要求1所述的方法，其中，确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异，包括：使用牙齿中心确定平移差异，包括将经训练的机器学习模型应用于所述输入2D图像和所述渲染2D图像。

12.根据权利要求1所述的方法，还包括：基于所述差异指示符确定差异分数，并且如果所述差异分数超过阈值，则向对象的牙科保健提供方发出警报。

13.根据权利要求1所述的方法，还包括：基于所述差异指示符更新正畸治疗计划。

14.根据权利要求1所述的方法，还包括：使用所述差异指示符来计算将所述对象牙齿从当前位置移动到期望位置所需的新的牙齿移动。

15.根据权利要求14所述的方法，还包括：利用所述新的牙齿移动来更新正畸治疗计划。

16.一种方法，所述方法包括：

接收对象牙齿的输入2D图像，所述输入2D图像包括对象上颌和/或下颌在当前治疗阶段的广角咬合视图；

确定与所述输入2D图像对应的虚拟摄像头参数；

接收对象上颌和/或下颌在计划的治疗阶段的3D模型；

利用所述虚拟摄像头参数从所述3D模型生成所述对象牙齿的渲染2D图像；

使用牙齿中心来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的平移差异；

使用所述对象牙齿的廓影来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的旋转差异；以及

输出差异指示符，所述差异指示符指示对象的当前牙齿与计划的治疗阶段之间的差异。

17.一种系统，所述系统包括：

一个或多个处理器；

摄像头；

广角镜头；以及

耦接到所述一个或多个处理器的存储器，所述存储器被配置为存储计算机程序指令，所述计算机程序指令，在由所述一个或多个处理器执行时，执行一种计算机实施的方法，所述方法包括：

接收对象牙齿的输入2D图像，所述输入2D图像包括对象上颌和/或下颌在当前治疗阶段的广角咬合视图；

确定与所述输入2D图像对应的虚拟摄像头参数；

接收对象上颌和/或下颌在计划的治疗阶段的3D模型；

利用所述虚拟摄像头参数从所述3D模型生成所述对象牙齿的渲染2D图像；

使用牙齿中心来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异；以及

基于来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异，输出差异指示符，所述差异指示符指示对象的当前牙齿与计划的治疗阶段之间的差异。

18.根据权利要求17所述的系统，其中，所述计算机实施的方法还包括：使用所述对象牙齿的廓影来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的旋转差异，其中，所述差异指示符还基于所述旋转差异。

19.根据权利要求18所述的系统，其中，所述计算机实施的方法还包括：将经训练的机器学习模型应用于所述输入2D图像和所述渲染2D图像，以使用牙齿中心来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异。

20.根据权利要求18所述的系统，其中，所述差异指示符是以下中的一项或多项：差异图、差异分数和/或差异值集。

21.根据权利要求18所述的系统，其中，确定所述虚拟摄像头参数，包括：确定非固有摄像头参数。

22.根据权利要求18所述的系统，其中，确定所述虚拟摄像头参数，包括：从所述输入2D图像迭代地确定所述虚拟摄像头参数。

23.根据权利要求18所述的系统，其中，确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异，包括：使用牙齿中心确定平移差异，包括将经训练的机器学习模型应用于所述输入2D图像和所述渲染2D图像。

24.根据权利要求18所述的系统，其中，所述计算机实施的方法还包括：基于所述差异指示符确定差异分数，并且如果所述差异分数超过阈值，则向对象的牙科保健提供方发出警报。

25.根据权利要求18所述的系统，其中，所述计算机实施的方法还包括：基于所述差异指示符更新正畸治疗计划。

26.根据权利要求18所述的系统，其中，所述计算机实施的方法还包括：使用所述差异指示符来计算将所述对象牙齿从当前位置移动到期望位置所需的新的牙齿移动。

27.根据权利要求26所述的系统，其中，所述计算机实施的方法还包括：利用所述新的牙齿移动来更新正畸治疗计划。

28.一种方法，所述方法包括：

对用户对象的手机的摄像头进行校准；

接收利用经校准的摄像头拍摄的对象上颌和/或下颌的多个输入2D图像；

确定与所述多个输入2D图像对应的虚拟摄像头参数；

将所述摄像头与对象上颌和/或下颌进行配准；

接收对象上颌和/或下颌在计划的治疗阶段的3D模型；

通过单独地对所述对象上颌和/或下颌的牙齿进行配准，确定来自所述多个2D图像和所述3D模型的各个牙齿之间的平移差异和/或旋转差异；以及

输出差异指示符，所述差异指示符指示对象的当前牙齿与计划的治疗阶段之间的差异。

29.根据权利要求28所述的方法，还包括：利用来自用户对象的摄像头的虚拟摄像头参数来从所述3D模型生成对象牙齿的渲染2D图像。

30.根据权利要求28所述的方法，其中，确定来自所述输入2D图像和所述3D模型的对象牙齿之间的平移差异和/或旋转差异，包括：对所述对象上颌和/或下颌的各个牙齿进行配准。

31.根据权利要求30所述的方法，其中，对各个牙齿进行配准，包括：在从所述3D模型渲染的2D图像与所述输入2D图像之间匹配牙齿廓影投影。

32.根据权利要求30所述的方法，其中，对各个牙齿进行配准，包括：在所述渲染2D图像与所述输入2D图像之间匹配牙尖和/或费雪投影。

33.根据权利要求30所述的方法，其中，对各个牙齿进行配准，包括：使用机器学习代理来确定来自所述输入2D图像和从所述3D模型渲染的2D图像的对象牙齿之间的差异。

34.根据权利要求28所述的方法，还包括：指示用户对象打印校准图案，并且利用用户对象的摄像头拍摄所述校准图案的一个或多个图像。

35.根据权利要求34所述的方法，其中，所述校准图案包括棋盘图案或网格图案。

36.根据权利要求34所述的方法，其中，对所述摄像头进行校准，包括：生成所述对象牙齿的输入2D图像。

37.一种系统，所述系统包括：

一个或多个处理器；以及

耦接到所述一个或多个处理器的存储器，所述存储器被配置为存储计算机程序指令，所述计算机程序指令，在由所述一个或多个处理器执行时，执行一种计算机实施的方法，所述方法包括：

对用户对象的手机的摄像头进行校准；

接收利用经校准的摄像头拍摄的对象上颌和/或下颌的多个输入2D图像；

确定与所述多个输入2D图像对应的虚拟摄像头参数；

将所述摄像头与对象上颌和/或下颌进行配准；

接收对象上颌和/或下颌在计划的治疗阶段的3D模型；

通过单独地对所述对象上颌和/或下颌的牙齿进行配准，确定来自所述多个2D图像和所述3D模型的各个牙齿之间的平移差异和/或旋转差异；以及

输出差异指示符，所述差异指示符指示对象的当前牙齿与计划的治疗阶段之间的差异。

Images