CN114664454A - 一种口腔正畸过程中颌面部软组织三维模型的模拟方法 - Google Patents

Abstract

本申请公开了一种口腔正畸过程中颌面部软组织三维模型的模拟方法，包括：步骤1：获取正畸过程中T1时刻颌面部软组织三维模型形成三维参考模型；步骤2：由于口腔正畸治疗过程中，会带来颌面部软组织的变化。本方法获取正畸过程中T2时刻颌面部软组织的二维图像，根据用户实际颌面部软组织场景，获取至少一幅更新图像；步骤3：基于T1时刻的颌面部软组织三维参考模型以及步骤2中T2时刻所获取的二维图像，对T2时刻所对应的颌面部软组织场景进行模拟，然后根据所述模拟计算结果形成三维模拟模型；步骤4：显示设备显示步骤3中计算出的T2时刻颌面软组织三维模型，并显示对正畸效果的分析结果，如T2时刻相对于T1时刻颌面部软组织发生的三维形态变化。本申请方法能够底成本地、简单快速准确地获得颌面部软组织三维模型；够有效监测患者对治疗措施的依从性，提高正畸治疗的效果。

Description

一种口腔正畸过程中颌面部软组织三维模型的模拟方法

技术领域

本申请涉及一种口腔正畸过程中颌面部软组织三维模型的模拟方法。

背景技术

在正畸治疗中，患者虽然主诉可能是希望排齐不整齐的牙齿，但他们未诉于口的渴望却是可以通过牙齿矫正从而改变面部的美观及形态。爱美本是人的天性需求，也是患者内心的真实写照。因此大多的正畸治疗除了简单的牙齿排齐外，更多的是需要牙列的整体移动，从而使得附着在上的软组织进行一定的改建，使得面部外形发生更好地变化。例如，关于正畸治疗是否应该拔牙也聚焦在了这两种矫治手段对容貌美观的影响而不是仅仅是否达到了理想的咬合状态，即拔牙与非拔牙对面部形态影响的区别。一种观点认为非拔牙正畸后的患者面部会更饱满，而拔牙正畸后的患者面部会变得平坦。

基于以上的积累，21世纪初始，现代正畸大师William R.Proffit正式提出了“以软组织为导向的”的正畸理念，强调重视软组织的轮廓改善，并且将软组织的变化作为诊断及制定矫治目标的首要考虑因素，从而达到稳定的咬合和面型最大的改善。这些以软组织为主的理念的提出，立刻受到了正畸医生和患者的广泛接受及重视，对正畸矫治产生了深远的影响。从此，“看脸”成了正畸界的热门词汇，也将医生和患者更紧密的联系在了一起。正畸矫治的研究热点也开始集中在了对软组织外观的临床检查及研究软组织随正畸矫治的变化规律上，以期得到软组织随正畸矫治的变化规律，从而为正畸的矫治计划制定及临床发展提供更好地参考，同时也可满足患者的需求，规避正畸医生在临床上因不恰当的矫治方案导致的美学风险。

正畸矫治治疗的牙齿移动或者矫形治疗的颌骨移动都会对附着在外的面部软组织造成一定的影响；而且大部分矫治器的存在本身就可以影响软组织的突度。因此了解矫治器是如何影响软组织厚度对正畸医生尤为重要，尤其是矫治器对嘴唇厚度的影响。截止目前为止，研究矫治器对软组织形态的影响都是采用二维的图片进行分析，如应用二维的头颅定位侧位片来评估正畸治疗对患者面部形态的影响。但是随着三维影像技术的发展，使得数字化的图像获取，重叠以及分析变为可能，对于三维软组织的改变分析测量只需要在不同的时间点拍摄三维图像，然后使用特定的软件进行重叠分析，就能得出软组织的变化特点。

1)基于二维影像的颌面部软组织状况分析方法

X线在正畸中的应用使得正畸医生对颅合面骨的认知更加精确，对正畸矫治计划的制定起到了至关重要的作用，也在正畸学的发展历史中留下了浓墨重彩的一笔。但是随着正畸矫治理念从牙齿颌骨等硬组织为主的观点向颌面部软组织为主的观点变迁，同时患者在正畸治疗中参与感的加强及要求的提升。使得传统的X线测量，数码照相等二维测量、分析及记录方法已经难以满足正畸医生及患者的需求

2)基于三维影像的颌面部软组织状况分析方法

近年来，三维数字化技术不断发展，而颌面部软组织三维模型建立及形态分析队研究面部生长、面部畸形的诊断、术后面形的预测和疗效评价有重要的意义。目前面部软组织的三维信息获取方法有莫尔云纹、三维激光扫描、结构光技术、三维立体摄影、光栅投影测量、螺旋CT、锥形束CT计算机断层扫描和MRI等。而三维分析软件的发展可使正畸医生对正畸治疗前后的患者面部软组织在三维方向上进行比较和分析。同时也可以将正畸患者与正常人群做对比，以此得出正畸患者与正常人群面部软组织之间的差异，分析在正畸过程中面部不同的软组织与正常人随时间变化是更加突出还是凹陷。三维分析软件的发展同时也为分析环境对面部的形态影响打开了新的领域，从而可以区分环境因素与遗传因素对面部的影响。越来越多的研究利用三维手段观察面部治疗前后的改变。这些研究包括了唇腭裂术后面部三维软组织的改变，还有不同的功能矫治器对患者面部的三维影响等。

在目前对患者进行正畸治疗过程当中，正畸矫治治疗的牙齿移动或者矫形治疗的颌骨移动都会对附着在外的面部软组织造成一定的影响，因此正畸医生需要快速、实时地对正畸治疗前后的患者面部软组织状况进行比较分析，从而分析在正畸过程中面部不同的软组织变化是更加突出还是凹陷。特别地，正畸医生还会将实际颌面部软组织状况与理想的颌面部软组织情况进行比较分析。特别是将不同部位的颌面部软组织(两侧软组织的眶下区、颧骨区、颧弓区、鼻翼旁区、上颊部区域、颧弓下区、上口角旁区、下口角旁区、下颊部区域、下颌角区和颞区)的实际位置或形状或尺寸与理论位置或形状或尺寸进行比较。因此，需要一种分析方法，能够快速、方便、低成本地允许正畸医生对患者的颌面部软组织三维模型进行模拟以及情况分析，进而有效监测患者对治疗措施的依从性，提高治疗的效果，而当前颌面部软组织状况的分析方法都需要借助专业的设备和软件来实现。本发明提出的一个目的是至少部分地解决这些需求。

发明内容

本发明的目的在于提供一种口腔正畸过程中颌面部软组织三维模型的模拟方法，以克服现有技术中的不足。

为实现上述目的，本发明提供如下技术方案：一种口腔正畸过程中颌面部软组织三维模型的模拟方法，包括：

步骤1：获取正畸过程中T1时刻颌面部软组织三维模型形成三维参考模型；

步骤2：由于口腔正畸治疗过程中，会带来颌面部软组织的变化。本方法获取正畸过程中T2时刻颌面部软组织的二维图像，根据用户实际颌面部软组织场景，获取至少一幅更新图像；

步骤3：基于T1时刻的颌面部软组织三维参考模型以及步骤2中T2时刻所获取的二维图像，对T2时刻所对应的颌面部软组织场景进行模拟，然后根据所述模拟计算结果形成三维模拟模型；

步骤4：显示设备显示步骤3中计算出的T2时刻颌面软组织三维模型，并显示对正畸效果的分析结果，如T2时刻相对于T1时刻颌面部软组织发生的三维形态变化。

优选的，所述步骤1中：所述三维参考模型由结构光技术、激光扫描测量技术、CBCT、MRI以及立体摄影测量技术中的任意一种获取。

优选的，所述步骤1中，所述三维参考模型为基于颌面部软组织通用模型结合实际观测数据修正获取的三维模型。

优选的，所述步骤2中，所述更新图像由CCD或者CMOS传感器设备获取的二维更新图像。

优选的，所述步骤3中，还包含以下步骤：

-基于T1时刻的三维参考模型，进行语义分割，划分成若干的细分区域。分割方法可为三维点云分割的常用算法，如基于边缘的分割方法、基于区域增长的分割方法、基于模型拟合的分割方法、基于聚类的分割方法、以及基于深度学习的分割方法等(如pointnet)；

-基于T2时刻所获取的二维更新图像，进行语义分割，划分成若干的细分区域。分割方法可以二维图像中常用的分割方法，如阈值法、基于区域增长的分割方法、基于形态学的分割方法、基于特征或模型拟合的分割方法、基于聚类的分割方法、基于深度学习的分割方法等；

-基于T1时刻的三维参考模型，搜索与T2时刻更新图像具备最大匹配度的T1时刻三维参考模型的视角图像；

-根据特征信息依次匹配视角图像与T2时刻更新图像的各个细分区域，根据匹配结果修改T1时刻的三维参考模型，从而获得T2时刻的三维模拟模型。

进一步地，所述特征信息包括自由轮廓信息、颜色信息、密度信息、距离信息、亮度信息、饱和度信息、眩光信息中的任意一种或几种的组合。

进一步地，所述细分区域包括：两侧软组织的眶下区、颧骨区、颧弓区、鼻翼旁区、上颊部区域、颧弓下区、上口角旁区、下口角旁区、下颊部区域、下颌角区和颞区。

优选的，所述步骤4中：所述分析结果至少包含颜色、纹理、形状、尺寸和位置。

优选的，所述步骤4中：所述分析结果包括将所述的T2时刻的三维模拟模型以透明形式重叠在所述T1时刻三维参考模型上形成的三维对比模型。

优选的，所述分析结果包括：T1时刻的三维参考模型和T2时刻的三维模拟模型的差异度。

与现有技术相比，本申请的一种口腔正畸过程中颌面部软组织三维模型的模拟方法至少具有以下有益效果：

1.通过本申请的模拟方法，能够基于T1时刻的三维参考模型，简单快速准确的获得正畸治疗过程中T2时刻的颌面部软组织三维模型；

2.通过本申请的模拟方法，无需通过如T1时刻那样，采用专业的设备实际采样来获取颌面部软组织三维模型，可以采用低成本的二维影像获取设备来生成T2时刻的三维模拟模型。大大降低了实用成本，为远程医疗提供了实现可能；

3.通过本申请的模拟方法，可以快速对比颌面部软组织的变化情况，快速、便捷的便于医生远程了解本地允许正畸医生对患者的颌面部软组织情况进行实时监测和分析。

4.能够有效监测患者对治疗措施的依从性，提高正畸治疗的效果。

5.本专利的方法是对不同时间段的颌面部软组织三维情况的模拟，之前的三维图像只是作为参考模型，假设为T1时刻；获取颌面部软组织的更新图像，为T2时刻；在T1和T2时刻之间，由于正畸治疗，T2时刻所对应三维情况和T1时刻所对应的三维情况有了较大的变化，需要通过T2时刻所获得的二维图像，并参考T1时刻所获取的三维图像，进而模拟出T2时刻所对应的三维模型。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明具体实施例的一种口腔正畸过程中颌面部软组织三维模型的模拟方法流程图；

图2为本发明具体实施例的一种口腔正畸过程中颌面部软组织三维模型的模拟方法的T1时刻三维参考模型示意图；

图3为本发明具体实施例的一种口腔正畸过程中颌面部软组织三维模型的模拟方法的T1时刻三维参考模型的视角；

图4为本发明具体实施例的一种口腔正畸过程中颌面部软组织三维模型的模拟方法的T1时刻三维参考模型图的特征信息显示图；

图5为本发明具体实施例的一种口腔正畸过程中颌面部软组织三维模型的模拟方法的T2时刻二维更新图像；

图6为本发明具体实施例的一种口腔正畸过程中颌面部软组织三维模型的模拟方法的T2时刻二维更新图像的特征信息显示图；

图7为本发明具体实施例的一种口腔正畸过程中颌面部软组织三维模型的模拟方法的分析结果显示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1-7所示，本发明的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，包括：

i.)在参考时刻T1，生成至少一个对患者的颌面部软组织进行建模的三维模型，即三维参考模型；

ii.)在更新时刻T2，获取至少一幅二维的更新图像，所述更新图像对应由操作者观察到的实际颌面部软组织场景；

iii.)结合T1时刻三维参考模型，对所述T2时刻二维更新图像所对应的实际颌面部软组织场景进行模拟，然后根据所述模拟计算结果来确定更新时刻T2所对应的颌面部软组织三维模型，即三维模拟模型；

iv.)以特定方式在屏幕上显示所述更新时刻所对应的颌面软组织的分析结果。

在步骤i.)中，在参考时刻T1，优选地借助专有设备来扫描患者的颌面部软组织物理的三维参考模型，扫描方法不限于结构光技术、激光扫描测量技术、CBCT、MRI、立体摄影测量技术等。

可替选地，参考模型可以以如下方法产生：或者从通用模型的库中选择颌面部软组织的通用模型，然后根据对所述患者进行的测量或观察的数据来对通用模型进行修正，进而获得三维参考模型。

结合图2和图3所示，可以从任何角度观察T1时刻的三维参考模型，图2和图3示例是从不同观测视角所观察到的三维参考模型，即对应不同观测视角所观察到的视图。

从不同观测视角所观察到的T1时刻三维参考模型旨在与T2时刻的更新图像进行比较，以便针对每个T2时刻的二维更新图像确定与其具备最大匹配度的实际颌面部软组织场景的拍摄视角。基于搜索出的拍摄视角和二维更新图像，修改三维参考模型，进而获得三维模拟模型，提供关于特定于更新时刻的颌面部软组织状况的信息。

参考时刻T1可以接近于更新时刻T2，可设置为任意时间段长，例如与更新时刻(在更新时刻之后或之前)相隔小于0.5秒或1天。参考时刻可以与更新时刻相隔较长时间，例如相隔大于1个月、大于3个月或者6个月。

参考模型可能与更新时刻的实际情况显著不同，利用本发明中揭示的方法能够获得三维模拟的模型，通过对该模型中包含的信息于三维参考模型的比对分析，该分析结果体现了参考时刻和更新时刻之间的颌面部软组织状况的变化情况，即它们可以提供关于正畸治疗效果的信息。

在步骤ii)中，在更新时刻T2，利用呈现实际颌面部软组织场景的摄像机获取更新图像。图5是患者通过摄影设备所拍摄的更新图像，具体表示为二维的影像数据。

根据本发明的设备(其中摄像机结合在手机、笔记本电脑、平板电脑或摄影机中)使得可以获得更新图像，该更新图像精确地表示由操作者相应地在手机、笔记本电脑、平板电脑、或摄影机的屏幕上观察到的实际颌面部软组织场景。

特别地，使用虚拟现实头盔，摄像机可以牢固地固定在屏幕上或独立于屏幕。摄像机和屏幕的独立有利地允许操作者在不直接看到实际场景的情况下进行操作，也就是说，通过仅在屏幕上看到实际场景来操作。

优选地，更新图像是彩色的，优选地是真彩的。

在步骤iii.)中，采用如下子步骤生成三维模拟模型：

a.)基于T1时刻的三维参考模型(图2)，进行语义分割，划分成若干的细分区域。分割方法可为三维点云分割的常用算法，如基于边缘的分割方法、基于区域增长的分割方法、基于模型拟合的分割方法、基于聚类的分割方法、以及基于深度学习的分割方法等(如pointnet)；

b.)基于T2时刻所获取的二维更新图像(图5)，进行语义分割，划分成若干的细分区域。分割方法可以二维图像中常用的分割方法，如阈值法、基于区域增长的分割方法、基于模型拟合的分割方法、基于聚类的分割方法、基于深度学习的分割方法等；

c.)可以结合T1时刻的三维参考模型(图2)，搜索与所述T2时刻所获的二维更新图像(图5)具备最大匹配度的实际颌面部软组织场景的拍摄视角。

c-1：选取特定拍摄视角；

c-2：将三维参考模型(图2)调整至特定拍摄视角下，并获取相应视图；

c-3:提取相应视图和二维更新图像(图5)中相同的特征信息。优选地，识别信息选自由轮廓信息、颜色信息、密度信息、距离信息、亮度信息、饱和度信息、关于眩光的信息以及这些信息的组合。本例中为提取边缘轮廓线特征信息，所提取出的特征信息以白色线条叠加于三维参考模型和二维更新图像，具体如图4和图6所示；

c-4:匹配T2时刻二维更新图像和T1时刻三维参考模型(该三维参考模型呈现于特定拍摄视角下)中各个细分区域的特征信息；

c-5:如果匹配程度小于预设的阈值，则修改拍摄视角，然后返回c-2子步骤。如果匹配程度大于预设的阈值，即表示该拍摄视角下的视图与二维更新图像的特征信息匹配程度非常好，当前的拍摄视角即为搜索到的拍摄视角(图3)。

d.)基于搜索出的拍摄视角和T2时刻的二维更新图像，修改T1时刻的三维参考模型，进而获得T2时刻的三维模拟模型。

d-1:将三维参考模型(图4)调整至特定拍摄视角下，并获取相应视图；

d-2:根据特征信息依次匹配所获视图与所述T2时刻二维更新图像(图6)的各个细分区域(例如不同部位的颌面部软组织，如两侧软组织的眶下区、颧骨区、颧弓区、鼻翼旁区、上颊部区域、颧弓下区、上口角旁区、下口角旁区、下颊部区域、下颌角区和颞区)的实际位置或形状或尺寸与理论位置或形状或尺寸进行比较；

d-3：根据匹配结果来修改T1时刻的三维参考模型(图2)，进而获得T2时刻的三维模拟模型。优选地，借助于于一个或多个更新图像与所获视图的匹配结果，来确定或完善颌面部软组织模型的移动和变形。优选地，可以包含两侧软组织的眶下区、颧骨区、颧弓区、鼻翼旁区、上颊部区域、颧弓下区、上口角旁区、下口角旁区、下颊部区域、下颌角区和颞区所对应的三维参考模型的移动和/或变形。所生成的三维模拟模型可模拟所述患者的颌面部软组织的可见或不可见部分的信息，所述信息至少包含颜色、纹理、形状、尺寸和位置中的一项。

在步骤iii)中，可以设想用于产生最大匹配度的所有已知方法。尤其可以由于最优化以最小化所述距离(“最佳拟合”)而获得最大匹配度。优选地，借助元启发式方法、优选地进化论方法、优选地通过模拟退火方法来执行该搜索。

本领域技术人员知道如何处理图像以提取图像的特征信息，并因此创建相应的图。例如，图2和图3是三维参考模型位于不同视场角的视图，图4是与从图3的视图获得的颌面部的轮廓有关的特征信息标示图，图6是与从图5的更新图像获得的颌面部轮廓有关的特征信息标示图。

在步骤iv.)中，将以特定方式在屏幕上显示所述更新时刻所对应的颌面软组织的分析结果。对所述更新时刻所对应的颌面软组织的分析结果的显示可为带显示功能的设备，不限于手机、笔记本电脑、虚拟现实头盔或眼镜、平板电脑、摄影机。

1)所述更新时刻所对应的三维模拟模型可以直接投射到参考时刻所获取的三维参考模型上。操作者因此可以通过屏幕观察虚拟颌面部软组织三维模型以及其叠加于参考时刻所获取的三维参考模型上的效果。

例如，还可以通过三维模拟模型和三维参考模型的比对，计算所述由参考时刻所获取的三维参考模型和更新时刻所对应的三维模拟模型的差异度，基于差异度的不同，将不同颜色的特殊色块投射到两侧软组织的眶下区、颧骨区、颧弓区、鼻翼旁区、上颊部区域、颧弓下区、上口角旁区、下口角旁区、下颊部区域、下颌角区和颞区上以表示对应部分的移动和/或变形。所述分析结果可以显示在屏幕上。

2)当屏幕是不透明的时，特别是在该屏幕是手机、笔记本电脑、虚拟现实头盔或平板电脑的屏幕的实施方式中，操作者因此可以同时观察屏幕上的更新图像和三维模拟模型。

虚拟颌面部软组织场景可以足够透明以揭露实际颌面部软组织场景或其下的更新图像。

可替选地，虚拟颌面部软组织场景可以是不透明的，以便不揭露实际颌面部软组织场景或在其后面或下方延伸的更新图像。虚拟颌面部软组织场景的不透明性对于模拟过去或未来的颌面部软组织状况特别有利，例如在正畸治疗的影响下查看颌面部软组织的变化，或者在没有正畸治疗的情况下例如查看颌面部软组织的变化情况。当在更新图像上呈现虚拟颌面部软组织场景时，可以将其添加到更新图像的顶上，或者以等效的方式，可以将更新图像替换为由计算机重新处理以揭露虚拟颌面部软组织场景的图像。

3)优选地，为了将虚拟颌面部软组织场景配准地呈现在实际颌面部软组织场景上或更新图像上的实际颌面部软组织场景的表示上，在更新图像上提取出相应特征标记点，该更新图像相对于虚拟颌面部软组织场景的位置是已知的。例如，识别在更新图像和虚拟颌面部软组织场景上都表示的上口角旁区或下口角旁区的特征形状。特别地，从中确定虚拟颌面部软组织场景的参考图像可以用于识别特征标记在虚拟场景中的位置。在步骤iv.)中，然后将这些特征标记的表示重叠在更新图像上和虚拟颌面软组织场景中，具体如图7所示。这允许相对于在更新图像上表示的特征标记精确地定位虚拟颌面软组织场景。

4)优选地，通过对所述更新时刻所对应的三维模拟模型和参考时刻所获取的三维参考模型的比对，可以进一步识别所述更新时刻所对应的实际颌面部软组织场景中不符合评估标准的元素，并且在所述三维模拟模型中突出显示所述元素和/或将与所述元素有关的消息添加到所述三维模拟模型中，所述消息优选地是所述患者要遵循的指示。所述评估标准涉及所述患者的健康状态和/或所述患者性别及年龄和/或患者所接受的正畸治疗措施和/或所述患者佩戴的正畸矫治器的定位和/或所述患者佩戴的正畸矫治器的状况。

优选地，该方法然后在步骤iv.)之后优选地小于30秒、小于10秒、小于5秒，优选地小于6秒，优选地小于3s、小于0.5s、小于0.2s，优选地小于0.1s返回步骤ii.)。优选地，步骤ii.)至iv.)的周期不间断地实时地进行。

可替选地，在一个实施方式中，所述方法在步骤iv.)的结束完成，而不返回步骤ii.)。因此，该方法是“按需”执行的，而不是实时执行的。

实施例1

在一个实施方式中，所述方法用于分析成人患者，所述方法用于查看拔牙患者颌面部软组织的变化趋势。首先，口腔专业人员获取患者拔牙前的颌面部软组织的三维模型，作为参考模型；在口腔专业人员所关心的拔牙后任意时刻，如1个月后或3个月后，通知患者通过自有手机或者其它相关设备拍摄二维的颌面部照片，即更新图像；基于三维参考模型和更新图像，可以通过软件生成虚拟的颌面部软组织场景，该场景模拟了更新图像采集时刻所对应的实际颌面部软组织场景。该虚拟场景以虚拟的颌面软组织三维模型方式呈现给口腔专业人员，用于对拔牙患者颌面软组织状况变化进行分析，从而为正畸的矫治计划制定及临床发展提供更好地参考，同时也可更好地与患者沟通，规避临床上的美学风险及提前防范可能出现的医患纠纷。

实施例2

在一个实施方式中，所述方法用于分析成人患者，所述方法用于模拟不采取拔牙治疗后患者颌面部软组织的变化趋势。首先，口腔专业人员获取患者当前的颌面部软组织的三维模型，作为参考模型；在口腔专业人员所关心的当前时刻后的任意时刻，如1个月后或3个月后，按照临床规律修改当前拍摄的二维颌面部照片，生成更新图像；基于三维参考模型和更新图像，可以通过软件生成虚拟的颌面部软组织场景，该场景模拟了当前时刻后的某特定时间所对应的颌面部软组织场景。该虚拟场景以虚拟的颌面软组织三维模型方式呈现给口腔专业人员，用于对拔牙患者颌面软组织状况变化进行模拟，从而为正畸的矫治计划制定及临床发展提供更好地参考，同时也可更好地与患者沟通。

实施例3

在一个实施方式中，所述方法用于获得患者对治疗的更好的接受度。特别地，该方法可以用于逼真地模拟正畸治疗对颌面部软组织的影响。优选地，图像获取装置则是手机、笔记本电脑、平板电脑

通过与在电话、笔记本电脑或平板电脑的屏幕上彼此一个接一个地跟随的更新图像重叠，患者看到了相应的虚拟颌面部软组织场景，这些场景表示在正畸治疗的不同时刻。例如，场景可以是标记治疗开始的时刻，或者治疗1至3个月后的时刻，并且虚拟颌面部软组织场景可以表示患者采用当前某种正畸治疗后所带来的颌面部的变化。然后，患者通过转动头部或移动手机、笔记本电脑或平板电脑，他或她可以轻松地改变观察方向，从而实时地调整虚拟颌面部软组织场景。

优选地，患者可以通过与屏幕的交互、例如通过移动虚拟光标来修改模拟时刻。相应地调整虚拟颌面部软组织场景，尤其是考虑治疗效果。通过作用在光标上，患者然后可以模拟治疗的进展。因此，光标的移动允许他或她模拟时间的加速。

当然，本发明不限于上述和所示的实施方式。

本发明不限于包括步骤i.)至iv.)的方法。特别地，对于参考图像的搜索对于本发明的实施不是必不可少的。特别地，可以基于同时获取或在不同的(例如连续的)更新时刻获取的多个相应的更新图像来获得多个参考图像，从而确定虚拟颌面部软组织场景。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：包括：

步骤1：获取正畸过程中T1时刻颌面部软组织三维模型形成三维参考模型；

步骤2：获取正畸过程中T2时刻颌面部软组织的二维图像，根据用户实际颌面部软组织场景，获取至少一幅更新图像；

步骤3：基于T1时刻的颌面部软组织三维参考模型以及步骤2中T2时刻所获取的二维图像，对T2时刻所对应的颌面部软组织场景进行模拟，然后根据所述模拟计算结果形成三维模拟模型；

步骤4：显示设备显示步骤3中计算出的T2时刻颌面软组织三维模型，并显示对正畸效果的分析结果。

2.根据权利要求1所述的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：所述步骤1中：所述三维参考模型由结构光技术、激光扫描测量技术、CBCT、MRI以及立体摄影测量技术中的任意一种获取。

3.根据权利要求1所述的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：所述步骤1中，所述三维参考模型为基于颌面部软组织通用模型结合实际观测数据修正获取的三维模型。

4.根据权利要求1所述的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：所述步骤2中，所述更新图像由CCD或者CMOS传感器设备获取的二维更新图像。

5.根据权利要求1所述的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：所述步骤3中包含以下步骤：

-基于T1时刻的三维参考模型，进行语义分割，划分成若干的细分区域；分割方法可为三维点云分割的常用算法，包括基于边缘的分割方法、基于区域增长的分割方法、基于模型拟合的分割方法、基于聚类的分割方法、以及基于深度学习的分割方法中的任意一种；

-基于T2时刻所获取的二维更新图像，进行语义分割，划分成若干的细分区域。分割方法可以二维图像中常用的分割方法，如阈值法、基于区域增长的分割方法、基于形态学的分割方法、基于特征或模型拟合的分割方法、基于聚类的分割方法、基于深度学习的分割方法中的任意一种；

-基于T1时刻的三维参考模型，搜索与T2时刻更新图像具备最大匹配度的T1时刻三维参考模型的视角图像；

-根据特征信息依次匹配视角图像与T2时刻更新图像的各个细分区域，根据匹配结果修改T1时刻的三维参考模型，从而获得T2时刻的三维模拟模型。

6.根据权利要求5所述的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：所述特征信息包括自由轮廓信息、颜色信息、密度信息、距离信息、亮度信息、饱和度信息、眩光信息中的任意一种或几种的组合。

7.根据权利要求5所述的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：所述细分区域包括：两侧软组织的眶下区、颧骨区、颧弓区、鼻翼旁区、上颊部区域、颧弓下区、上口角旁区、下口角旁区、下颊部区域、下颌角区和颞区。

8.根据权利要求1所述的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：所述步骤4中：所述分析结果至少包含颜色、纹理、形状、尺寸和位置。

9.根据权利要求1所述的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：所述步骤4中：所述分析结果包括将所述的T2时刻的三维模拟模型以透明形式重叠在所述T1时刻三维参考模型上形成的三维对比模型。

10.根据权利要求1所述的一种口腔正畸过程中颌面部软组织三维模型的模拟方法，其特征在于：所述分析结果包括：T1时刻的三维参考模型和T2时刻的三维模拟模型的差异度。

Images