CN111768497A - 一种头部动态虚拟模型的三维重建方法、装置及系统 - Google Patents

一种头部动态虚拟模型的三维重建方法、装置及系统 Download PDF

Info

Publication number
CN111768497A
CN111768497A CN202010605230.6A CN202010605230A CN111768497A CN 111768497 A CN111768497 A CN 111768497A CN 202010605230 A CN202010605230 A CN 202010605230A CN 111768497 A CN111768497 A CN 111768497A
Authority
CN
China
Prior art keywords
image
head
data
registered
dentition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010605230.6A
Other languages
English (en)
Other versions
CN111768497B (zh
Inventor
邓永强
李旭光
李歆
高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Shenzhen University General Hospital
Original Assignee
Shenzhen University
Shenzhen University General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University, Shenzhen University General Hospital filed Critical Shenzhen University
Priority to CN202010605230.6A priority Critical patent/CN111768497B/zh
Publication of CN111768497A publication Critical patent/CN111768497A/zh
Application granted granted Critical
Publication of CN111768497B publication Critical patent/CN111768497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种头部动态虚拟模型的三维重建方法、装置及系统，通过获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准；将CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准；将头部运动轨迹数据转化为电子颌架数据，以及将配准后的上述图像和/或数据与头部运动图像相融合，得到重建出的人体头部动态虚拟模型。本发明所提供的方法将采集到的人体头部相关的图像和数据进行整合，构建出具有三维面部形态、牙列形态、骨组织形态，同时具有还原咀嚼运动的人体头部动态虚拟模型，为口腔科医生存储、实时分析患者数据提供了便利。

Description

一种头部动态虚拟模型的三维重建方法、装置及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及的是一种头部动态虚拟模型的三维重建方法、装置及设备。
背景技术
目前口腔科接诊病人的过程中，首先需要登记患者信息获取患者影像信息，并制取患者口内模型。由于采集患者影像信息的局限性以及石膏模型不可重复利用性，使得所制定的治疗方案有偏差，并且制作出的石膏模型存放需要一定的存放空间，因此现有技术中在进行口腔数据采集时，存在获取及存储过程繁琐，进而导致信息存储不便的缺陷。
因此，现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种人体头部动态虚拟模型的三维重建及平台，克服现有技术中在进行口腔数据处理时时，信息采集及存储过程繁琐，且实体模型存储占用空间，导致治疗效率低的缺陷。
本发明解决技术问题所采用的技术方案如下：
第一方面，本实施例提供了一种头部动态虚拟模型的三维重建方法，其中，包括步骤：
获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；
将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像；
将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像；
将所述头部运动轨迹数据与套设在人体颈部的电子颌架进行配准，得到配准后的头部运动图像；
将配准后的所述头部三维重建图像和头部运动图像相融合，得到重建出的人体头部动态虚拟模型，并输出。
可选的，所述将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像的步骤包括：
提取与所述牙列图像对应的第一定位板上的第一定位点信息；
提取与所述面部扫描图像对应的第二定位板的第二定位点信息；
根据第一定位点信息和第二定位点信息对所述牙列图像和面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像。
可选的，所述第一定位板上的第一定位点信息和所述第二定位板上的第二定位点信息均对应相同。
可选的，所述将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像的步骤包括：
利用涂覆有硅胶的托盘制作具有咬合记录的硅胶标定物；
将所述托盘与扫描板相连接，利用扫描板上的标定点将牙列图像与面部扫描图像相配准，得到配准后的牙列图像和面部扫描图像。
可选的，所述采集口扫图像的步骤之前，还包括：
利用数码相机拍摄人体面部和口腔图像，并同时存储口腔图像中牙齿、牙周区域的颜色信息以及发音时牙列位置关系信息。
可选的，采集面部扫描图像的步骤中，包括：
利用电子面弓，以下颌中切牙近中切角为描记点，描记得到所述头部运动轨迹数据。
可选的，所述将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像配准，得到配准后的头部三维重建图像的步骤包括：
分别将所述CBCT影像数据和配准后的所述牙列图像、面部扫描图像均输入至预设三维点云数据匹配模型，得到所述三维点云数据匹配模型配准后的头部三维重建图像。
第二方面，本实施例还提供了一种头部动态虚拟模型的三维重建装置，其特征在于，包括：
数据获取模块，用于获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；
第一配准模块，用于将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像；
第二配准模块，用于将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像；
第三配准模块，用于将所述头部运动轨迹数据转化为电子颌架数据，得到与所述电子颌架数据对应的头部运动图像；
三维重建模块，用于将配准后的所述头部三维重建图像和头部运动图像相融合，得到重建出的人体头部动态虚拟模型并输出。
第三方面，本实施例公开了一种头部动态虚拟模型的三维重建系统，其中，包括：数据处理设备；
所述数据处理设备，用于获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；
将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像；
以及，用于将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像；
将所述头部运动轨迹数据输入转换为电子颌架数据，得到与所述电子颌架数据对应的头部运动图像；
以及，将配准后的所述头部三维重建图像、头部运动图像和所述面部图像中含有的牙齿颜色信息相融合，得到重建出的人体头部动态虚拟模型。
可选的，所述系统还包括：口腔扫描仪，面部扫描仪、电子面弓、CBCT和数码相机；
所述口腔扫描仪，用于采集口扫图像；
所述面部扫描仪，用于采集面部扫描图像；
所述电子面弓，用于采集头部运动轨迹数据；
所述CBCT，用于采集人体口腔的CBCT影像数据；
所述数码相机，用于拍摄人体面部和口腔图像，并同时存储口腔图像中牙齿、牙周区域的颜色信息以及发音时牙列位置关系信息。
可选的，所述电子面弓以下颌中切牙近中切角为描记点，描记得到所述头部运动轨迹数据。
有益效果，本发明提供了一种头部动态虚拟模型的三维重建方法、装置及系统，通过采集口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准；将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准；将所述头部运动轨迹数据转化为电子颌架数据，以及将配准后的上述图像和/或数据与头部运动图像相融合，得到重建出的人体头部动态虚拟模型。本发明所提供的方法，通过将采集到的人体头部相关的图像和数据进行整合，构建出具有三维面部形态、牙列形态、骨组织形态，同时具有还原咀嚼运动的人体头部动态虚拟模型，为口腔科医生存储、实时分析患者数据提供了便利。
附图说明
图1是本发明实施例提供的一种头部动态虚拟模型的三维重建方法的步骤流程图；
图2是本发明实施例所述方法中使用CBCT获取患者骨性三维空间位置关系的原理示意图；
图3是本发明实施例的具体应用实施例的流程图；
图4是本发明实施例中所提供数字处理设备的结构原理示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中口腔科接诊病人、获取口腔科患者信息时，是利用石膏制作口内石膏模型，医生根据纸质资料及石膏模型进行分析确定治疗方案。因此现有技术中，对口腔科患者的信息存储不方便。
随着数字化在口腔领域迅猛发展，越来越多多元化的数字化信息采集设备投入市场。虽然每一数据都有其价值，但数据与数据之间难以协同合作，均是零散的体现某一特定结构或某一特定功能。而口腔颌面系统是一密不可分的整体，系统中各组织器官协同合作互相影响。
随着计算机技术在口腔领域的广泛应用，通过工具采集患者相关形态、功能信息，并将其转化为数字化资料，早已成为现实。通过现有的口腔数字化信息采集技术，获得患者体层软硬组织形态(CBCT)、牙列颜色形态数据(口内扫描)、面部颜色形态数(面部扫描)、个性化功能运动轨迹(电子面弓)的电子数据。然而这些数据往往单一存在，单独记录着某一特定部位结构或某一特定结构的功能状态，数据与数据之间并无建立联系。而口腔颌面系统是一整体，系统中的器官与器官之间，组织与组织之间相互影响，相互协作绝不仅仅是单独存在的，所以急需一数字化平台、数字化手段，将各种数字化信息整合起来，让每一部分不再单独呈现，而发挥出更大的作用。
为了解决上述现有技术中出现的问题，本发明提供了一个平台，将数据与数据之间进行配比、整合，真正完善了患者信息收集工作，同时作为电子数据储存也极大程度节省了诊室空间。所获取的电子数据也可通过软件直接加工，生成辅助治疗的相应工具，指导之后的治疗工作，使得实施口腔治疗阶段更加精准、高效。
本发明提供了一种头部动态虚拟模型的三维重建方法，装置及系统，利用电子设备采集人体头部的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据，并将上述数据进行分别配准，并将配准后的上述数据组合在一起，得到重建出的头部动态虚拟模型。因为上述数据的采集是基于电子设备，因此患者的相关信息为电子数据，信息的存储不占有空间，并且医生可以很方便的基于重建出的三维头部动态虚拟模型中查找到与面部或牙齿的三维空间数据，因此可以根据查找到的面部或牙齿的三维空间数据，做出针对性的治疗方案，因此本发明所公开的头部动态虚拟模型的三维重建方法，装置及系统，可以很轻松的解决现有技术中口腔科信息存储不便，患者信息查找不便等问题，并三维重建出的头部动态虚拟模型可以更加直观的反映出患者的头部形状特征，为口腔科患者的医治提供了便利。
下面结合附图，对本发明提供的方法及系统做更为详细的说明。
第一方面，本实施例提供了一种头部动态虚拟模型的三维重建方法，如图1所示，包括步骤：
步骤S1、获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据。
本步骤中，获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据。
具体的，在获取口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据之前，采用多个电子设备获取人体头部的数据信息。所述数据信息包括含有口腔信息的口扫图像、含有面部特征信息的面部扫描图像、含有头部的上颌与下颌运动轨迹信息的头部运动轨迹数据，以及口腔CBCT影像数据。
具体的，利用口内扫描仪采集头部的口扫图像，比如：患者手持口内扫描仪，并将位于所述口内扫描仪一端的内窥头放入口腔内用三维成像方法在单个位置采集到牙齿表面的三维数据点云；然后在口内相机移动过程中，不断将不同位置采集的三维数据叠加，最后形成完整的三维数据模型。
利用面部扫描仪采集人体头部的面部扫描数据，同样的，患者可以手持面部扫描仪，并将扫描端对准其面部，面部扫描仪对其面部进行扫描，并获取其面部三维点云数据，从而得到整个面部的扫描图像。
利用电子面弓实现患者个性化运动轨迹描记，具体的，利用电子面弓时，以下颌中切牙近中切角为描记点，描记得到所述头部运动轨迹数据。采集患者个性化运动轨迹时，患者的口腔做咬合运动，所述头部运动轨迹数据为口腔的上颌与下颌之间的运动轨迹数据。
本步骤中所述获取到的数据还包括采用口腔CBCT获取人体头部的CBCT影像数据，所述口腔CBCT(Cone beam CT，锥形束CT)是利用X线发生器围绕投照体(例如：口腔)做环形数字式投照。由于CBCT采用二维面状探测器，因此其旋转360度即可获取到重建所需要的全部原始数据。本步骤中，使用口腔CBCT一次扫描即可获得全口腔双牙列三维立体影像。
步骤S2、将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像。
当上述步骤中获取到口扫图像和面部扫描图像后，将所述口扫图像中含有的牙列图像与面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像。
具体的，所述将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像的步骤包括：
提取与所述牙列图像对应的第一定位板上的第一定位点信息；
提取与所述面部扫描图像对应的第二定位板的第二定位点信息；
根据第一定位点信息和第二定位点信息对所述牙列图像和面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像。
由于在采集口扫图像时，首先为患者装载第一定位板，利用口内扫描仪采集装载有第一定位板的患者的口扫图像，其次，为患者装载第二定位板，利用面部扫描仪采集装载有第二定位板的患者的面部扫描图像，第一定位板和第二定位板上均设置有多个定位点，基于多个已知定位点信息将口扫图像中的牙列图像与面部扫描图像进行配准。具体实施时，至少利用三个定位点，并且这三个定位点的位置对应相同。
在一种实施方式中，所述第一定位板和第二定位板为具有固定尺寸规格的扫描板。首先利用涂覆有硅胶的托盘制作具有咬合记录的硅胶标定物，其次将所述托盘与扫描板相连接，得到带有定位信息的牙列数据。再次将所述扫描板与硅胶咬合记录托盘连接后进行面部扫描，得到带有定位信息的面扫数据。最后，利用带有定位信息的牙列数据与带有定位信息的面扫数据，对将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像。
具体的，利用带有定位信息的牙列数据与带有定位信息的面扫数据，对将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像的步骤包括：
分别将所述口扫图像中含有的牙列图像与带有定位信息的牙列数据进行配准，得到配准后的牙列图像，和将所述面部扫描图像与带有定位信息的面扫数据进行配准，得到配准后的面部扫描图像，再利用具有定位信息将配准后的牙列图像与配准后的面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像。
进一步的，所述第一定位板上的第一定位点信息和所述第二定位板上的第二定位点信息均对应相同，从而实现准确的配准。
在另一种实施方式中，还可以利用软件实现面部扫描图像和牙列图像的配准，以还原患者面部真实三维位置关系。
步骤S3、将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像。
所述CBCT影像数据中含有口腔内的骨性三维空间位置关系，其中包含牙列三维数据，因此将CBCT影像数据中的牙列三维数据与上述步骤S2中配准后的牙列图像和面部扫描图像再次进行配准，可以实现更加精确的三维重建效果。
具体的，本步骤中将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，可以利用软件实现，即将上述数据输入三维设计软件，利用三维设计软件的三维数据配准功能，实现上述数据的配准。
在另一种实施方式中，所述将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像配准，得到配准后的头部三维重建图像的步骤包括：
分别将所述CBCT影像数据和配准后的所述牙列图像、面部扫描图像均输入至预设三维点云数据匹配模型，得到所述三维点云数据匹配模型配准后的头部三维重建图像。
也即是，利用预先基于神经网络构建出的三维点云数据匹配模型，利用所述三维点云数据匹配模型实现上述数据的配准。
具体的，可以利用多个三维点云配准样本与其配准后组成的点云数据集之间的对应关系，对所述电网点云数据匹配模型进行训练，利用训练完成的三维点云数据匹配模型进行所述CBCT影像数据和配准后的所述牙列图像、面部扫描图像的配准。
步骤S4、将所述头部运动轨迹数据转化为电子颌架数据，得到与所述电子颌架数据相对应的头部运动图像。
本步骤中，通过电子面弓获取人体头部的运动轨迹数据，将电子面弓获取的运动轨迹数据与电子颌架进行配准，从而得到配准后的头部运动图像。
步骤S5、将配准后的所述头部三维重建图像、头部运动图像和所述面部图像中含有的牙齿颜色信息相融合，得到重建出的人体头部动态虚拟模型并输出。
将上述步骤中配准后的三维数据组合到同一个三维坐标系内，从而融合成一个完整的人体头部动态虚拟模型。由于该人体头部动态虚拟模型直观体现了患者的头部、面部及牙齿三维立体数据，因此为医生根据患者的头部、面部及牙齿三维立体数据，准确的做出相应的诊断。
为了获取到更多患者信息，所述采集口扫图像的步骤之前，还包括：
利用数码相机拍摄人体面部和口腔图像，并同时存储口腔图像中牙齿及牙周区域的颜色信息以及发音时牙列位置关系信息。
本步骤中，利用数码相机拍摄患者面部和口腔图像，则根据面部图像和口腔图像得到其牙齿、牙周区域的颜色信息以及发音时牙列位置关系信息。
下面结合图3所示的本方法的具体应用实施例，对本发明所述方法做进一步更清晰的解析。
在具体应用实施例中，本发明所公开的方法包括以下步骤:
步骤H1:使用数码相机获取患者的面相、口内数码照片，存储患者牙齿、牙周组织颜色信息以及发音时牙列位置关系信息；
步骤H2:获取患者的口扫图像；
步骤H3:通过面部扫描设备对患者进行面部扫描，获取面部扫描图像；
步骤H4:通过电子面弓对患者进行个性化运动轨迹描记(以下颌中切牙近中切角为描记点，描记下运动轨迹)；
步骤H5:通过CBCT获取患者影像数据；
步骤H6:将口扫图像中的牙列图像与所述面部图像配准(图2)；
步骤H7:将CBCT影像数据与牙列图像、面部图像配准；
步骤H8:将通过电子面弓获取的个性化运动轨迹与电子颌架进行配准；
步骤H9:将上述步骤中得到各个配准数据融合在一个三维坐标系中，得到患者头部的动态虚拟模型。
本发明所述方法，通过采集患者的牙列三维数据、面部扫描数据等各个种个性化数据，并将各种个性化数据进行配准，并将配准后的三维数据进行组合，使得患者头部的各种三维数据重建出虚拟的人体头部动态模型。这样就还原了一个更直观，更准确的虚拟患者头部运动形态，便于医生在设计治疗方案时可实时调取出来，立体且直观的分析。例如：医生可以根据获取患者的头部动态虚拟模型中的牙列数据为患者制作义牙。
第二方面，本实施例公开了一种头部动态虚拟模型的三维重建装置，其中，包括：
数据获取模块，用于获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；
第一配准模块，用于将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像；
第二配准模块，用于将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像；
第三配准模块，用于将所述头部运动轨迹数据与套设在人体颈部的电子颌架进行配准，得到配准后的头部运动图像；
三维重建模块，用于将配准后的所述头部三维重建图像和头部运动图像相融合，得到重建出的人体头部动态虚拟模型并输出。
在上述方法及装置的基础上，本实施例还公开了一种头部动态虚拟模型的三维重建系统，其中，包括：数据处理设备；
所述数据处理设备，用于获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；
将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像；
以及，用于将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像；
并将所述头部运动轨迹数据与套设在人体颈部的电子颌架进行配准，得到配准后的头部运动图像；
以及，将配准后的所述头部三维重建图像、头部运动图像和所述面部图像中含有的牙齿颜色信息相融合，得到重建出的人体头部动态虚拟模型并输出。
所述系统还包括：口扫仪，面部扫描仪、电子面弓、CBCT和数码相机；
所述口扫仪，用于采集口扫图像；
所述面部扫描仪，用于采集面部扫描图像；
所述电子面弓，用于采集头部运动轨迹数据；
所述CBCT，用于采集人体口腔的CBCT影像数据；
为了更好的为医生提供详细的牙齿及牙齿周围区域颜色信息，所述系统还包括：
数码相机，用于拍摄人体面部和口腔图像，并同时存储口腔图像中牙齿、牙周区域的颜色信息以及发音时牙列位置关系信息。
本步骤中及是采用数据相机，采集患者的面部及口腔的二维图像，并基于二维图像中获取到牙齿及牙周区域的颜色信息，并将牙齿及牙周区域的颜色信息保存电子设备，以便医生可以根据牙齿及牙周区域的颜色信息对口腔做进一步的治疗。
具体的，所述电子面弓以下颌中切牙近中切角为描记点，描记得到所述头部运动轨迹数据。
具体的，如图4所示，所述数据处理设备包括至少一个处理器(processor)20以及存储器(memory)22，还可以包括显示屏21、通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的步骤。
具体的，所述数据处理设备所要执行的步骤包括：
用于将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像；
以及，用于将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像；
并将所述头部运动轨迹数据与套设在人体颈部的电子颌架进行配准，得到配准后的头部运动图像；
以及，将配准后的所述头部三维重建图像、头部运动图像和所述面部图像中含有的牙齿颜色信息相融合，得到重建出的人体头部动态虚拟模型。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
本实施例还公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的遥感影像数据生成方法的步骤。
上述存储介质以及终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
本发明提供了一种头部动态虚拟模型的三维重建方法、装置及系统，通过采集口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准；将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准；将所述头部运动轨迹数据与套设在人体颈部的电子颌架进行配准，以及将配准后的上述图像和/或数据与头部运动图像相融合，得到重建出的人体头部动态虚拟模型。本发明所提供的方法，通过将采集到的人体头部相关的图像和数据进行整合，构建出具有三维面部形态、牙列形态、骨组织形态，同时具有还原咀嚼运动的人体头部动态虚拟模型，为口腔科医生存储患者数据提供了便利。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种头部动态虚拟模型的三维重建方法，其特征在于，包括步骤：
获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；
将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像；
将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像；
将所述头部运动轨迹数据与套设在人体颈部的电子颌架进行配准，得到配准后的头部运动图像；
将配准后的所述头部三维重建图像和头部运动图像相融合，得到重建出的人体头部动态虚拟模型并输出。
2.根据权利要求1所述的头部动态虚拟模型的三维重建方法，其特征在于，所述将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像的步骤包括：
提取与所述牙列图像对应的第一定位板上的第一定位点信息；
提取与所述面部扫描图像对应的第二定位板的第二定位点信息；
根据第一定位点信息和第二定位点信息对所述牙列图像和面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像。
3.根据权利要求2所述的头部动态虚拟模型的三维重建方法，其特征在于，所述第一定位板上的第一定位点信息和所述第二定位板上的第二定位点信息均对应相同。
4.根据权利要求1所述的头部动态虚拟模型的三维重建方法，其特征在于，所述采集口扫图像的步骤之前，还包括：
利用数码相机拍摄人体面部和口腔图像，并同时存储口腔图像中牙齿及牙周区域的颜色、形态、及发音时牙列位置关系信息。
5.根据权利要求1所述的头部动态虚拟模型的三维重建方法，其特征在于，采集面部扫描图像的步骤中，包括：
利用电子面弓，以下颌中切牙近中切角为描记点，描记得到所述下颌骨个性化运动轨迹数据。
6.根据权利要求1-5任一项所述的头部动态虚拟模型的三维重建方法，其特征在于，所述将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像配准，得到配准后的头部三维重建图像的步骤包括：
分别将所述CBCT影像数据和配准后的所述牙列图像、面部扫描图像均输入至预设三维点云数据匹配模型，得到所述三维点云数据匹配模型配准后的头部三维重建图像。
7.一种头部动态虚拟模型的三维重建装置，其特征在于，包括：
数据获取模块，用于获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；
第一配准模块，用于将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像；
第二配准模块，用于将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像；
第三配准模块，用于将所述头部运动轨迹数据转化为电子颌架数据，得到与所述电子颌架数据对应的头部运动图像；
三维重建模块，用于将配准后的所述头部三维重建图像和头部运动图像相融合，得到重建出的人体头部动态虚拟模型并输出。
8.一种头部动态虚拟模型的三维重建系统，其特征在于，包括：数据处理设备；
所述数据处理设备，用于获取已采集的口扫图像、面部扫描图像、头部运动轨迹数据和人体口腔的CBCT影像数据；
将所述口扫图像中含有的牙列图像与所述面部扫描图像进行配准，得到配准后的牙列图像和面部扫描图像；
以及，用于将所述CBCT影像数据与配准后的所述牙列图像和面部扫描图像进行配准，得到配准后的头部三维重建图像；
将所述头部运动轨迹数据输入转换为电子颌架数据，得到与所述电子颌架数据对应的头部运动图像；
以及，将配准后的所述头部三维重建图像、头部运动图像和所述面部图像中含有的牙齿颜色信息相融合，得到重建出的人体头部动态虚拟模型。
9.根据权利要求8所述的头部动态虚拟模型的三维重建系统，其特征在于，所述系统还包括：口腔扫描仪，面部扫描仪、电子面弓、CBCT和数码相机；
所述口腔扫描仪，用于采集口扫图像；
所述面部扫描仪，用于采集面部扫描图像；
所述电子面弓，用于采集头部运动轨迹数据；
所述CBCT，用于采集人体口腔的CBCT影像数据；
所述数码相机，用于拍摄人体面部和口腔图像，并同时存储口腔图像中牙齿、牙周区域的颜色信息以及发音时牙列位置关系信息。
10.根据权利要求9所述的头部动态虚拟模型的三维重建系统，其特征在于，所述电子面弓以下颌中切牙近中切角为描记点，描记得到所述头部运动轨迹数据。
CN202010605230.6A 2020-06-29 2020-06-29 一种头部动态虚拟模型的三维重建方法、装置及系统 Active CN111768497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010605230.6A CN111768497B (zh) 2020-06-29 2020-06-29 一种头部动态虚拟模型的三维重建方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010605230.6A CN111768497B (zh) 2020-06-29 2020-06-29 一种头部动态虚拟模型的三维重建方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111768497A true CN111768497A (zh) 2020-10-13
CN111768497B CN111768497B (zh) 2021-09-21

Family

ID=72724503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010605230.6A Active CN111768497B (zh) 2020-06-29 2020-06-29 一种头部动态虚拟模型的三维重建方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111768497B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419476A (zh) * 2020-11-02 2021-02-26 同济大学 牙科病人三维虚拟图像的创建方法及系统
CN112767531A (zh) * 2020-12-30 2021-05-07 浙江大学 面向移动端的虚拟试衣的人体模型脸部分区域建模方法
CN112767347A (zh) * 2021-01-18 2021-05-07 上海商汤智能科技有限公司 一种图像配准方法及装置、电子设备和存储介质
CN114119683A (zh) * 2021-11-26 2022-03-01 吉林大学 一种提高面部扫描图像配准ct扫描图像精度的方法
CN115018881A (zh) * 2022-06-17 2022-09-06 先临三维科技股份有限公司 颌骨运动轨迹追踪方法、装置、设备及介质
CN117934885A (zh) * 2024-03-21 2024-04-26 沈阳市口腔医院 基于cbct数据与三维面扫数据的坐标自动匹配方法及系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105342708A (zh) * 2015-12-14 2016-02-24 四川大学 基于ct和cbct融合数据的数字化咬合导板及其重建方法
CN106327535A (zh) * 2016-08-16 2017-01-11 苏州迪凯尔医疗科技有限公司 Cbct的牙根与口内扫描的牙冠的融合方法
CN106875432A (zh) * 2017-03-09 2017-06-20 南京医科大学附属口腔医院 颞下颌关节运动重建方法及系统
WO2017115154A1 (en) * 2016-01-01 2017-07-06 Ahmed Abdelrahman Three dimensional smile design
US9808326B2 (en) * 2014-03-18 2017-11-07 President And Fellows Of Harvard College 3D dentofacial system and method
CN108403134A (zh) * 2018-01-29 2018-08-17 北京朗视仪器有限公司 基于口腔ct设备进行人脸3d扫描的方法和装置
CN110101472A (zh) * 2019-04-20 2019-08-09 北京大学口腔医学院 一种提高面部扫描图像配准牙列扫描图像精度的方法
CN110200710A (zh) * 2019-04-17 2019-09-06 广东工业大学 一种基于三维成像与实时建模的口腔修复方法
US10438363B2 (en) * 2016-11-01 2019-10-08 Korea Institute Of Science And Technology Method, apparatus and program for selective registration three-dimensional tooth image data to optical scanning tooth model
CN110461267A (zh) * 2017-03-07 2019-11-15 美佳境植牙股份有限公司 使用三维混合图像构建程序的颌矫正系统
WO2019222606A1 (en) * 2018-05-18 2019-11-21 The Johns Hopkins University Multi-motion compensation for high-quality cone-beam ct of the head
CN110559094A (zh) * 2019-03-22 2019-12-13 儒蓉(成都)医疗科技有限公司 Cbct数据与stl数据精准匹配的方法
CN110664483A (zh) * 2019-07-09 2020-01-10 苏州迪凯尔医疗科技有限公司 根尖外科手术的导航方法、装置、电子设备和存储介质
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航系统
CN111261287A (zh) * 2020-02-26 2020-06-09 中国人民解放军第四军医大学 一种种植方案设计方法及系统、终端和计算机可读存储介质
CN111260672A (zh) * 2019-12-26 2020-06-09 北京大学口腔医学院 一种利用形态学数据引导分割牙齿的方法
CN210811067U (zh) * 2019-08-08 2020-06-23 北京诺贝亚太教育科技有限公司 一种新型下颌位置指示器
CN111340945A (zh) * 2020-03-06 2020-06-26 徐州医科大学 一种数字化儿童口腔治疗操作模型的建模方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9808326B2 (en) * 2014-03-18 2017-11-07 President And Fellows Of Harvard College 3D dentofacial system and method
CN105342708A (zh) * 2015-12-14 2016-02-24 四川大学 基于ct和cbct融合数据的数字化咬合导板及其重建方法
WO2017115154A1 (en) * 2016-01-01 2017-07-06 Ahmed Abdelrahman Three dimensional smile design
CN106327535A (zh) * 2016-08-16 2017-01-11 苏州迪凯尔医疗科技有限公司 Cbct的牙根与口内扫描的牙冠的融合方法
US10438363B2 (en) * 2016-11-01 2019-10-08 Korea Institute Of Science And Technology Method, apparatus and program for selective registration three-dimensional tooth image data to optical scanning tooth model
CN110461267A (zh) * 2017-03-07 2019-11-15 美佳境植牙股份有限公司 使用三维混合图像构建程序的颌矫正系统
CN106875432A (zh) * 2017-03-09 2017-06-20 南京医科大学附属口腔医院 颞下颌关节运动重建方法及系统
CN108403134A (zh) * 2018-01-29 2018-08-17 北京朗视仪器有限公司 基于口腔ct设备进行人脸3d扫描的方法和装置
WO2019222606A1 (en) * 2018-05-18 2019-11-21 The Johns Hopkins University Multi-motion compensation for high-quality cone-beam ct of the head
CN110559094A (zh) * 2019-03-22 2019-12-13 儒蓉(成都)医疗科技有限公司 Cbct数据与stl数据精准匹配的方法
CN110200710A (zh) * 2019-04-17 2019-09-06 广东工业大学 一种基于三维成像与实时建模的口腔修复方法
CN110101472A (zh) * 2019-04-20 2019-08-09 北京大学口腔医学院 一种提高面部扫描图像配准牙列扫描图像精度的方法
CN110664483A (zh) * 2019-07-09 2020-01-10 苏州迪凯尔医疗科技有限公司 根尖外科手术的导航方法、装置、电子设备和存储介质
CN210811067U (zh) * 2019-08-08 2020-06-23 北京诺贝亚太教育科技有限公司 一种新型下颌位置指示器
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航系统
CN111260672A (zh) * 2019-12-26 2020-06-09 北京大学口腔医学院 一种利用形态学数据引导分割牙齿的方法
CN111261287A (zh) * 2020-02-26 2020-06-09 中国人民解放军第四军医大学 一种种植方案设计方法及系统、终端和计算机可读存储介质
CN111340945A (zh) * 2020-03-06 2020-06-26 徐州医科大学 一种数字化儿童口腔治疗操作模型的建模方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柳忠豪等: ""数字化种植的研究进展及发展趋势"", 《口腔医学研究》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419476A (zh) * 2020-11-02 2021-02-26 同济大学 牙科病人三维虚拟图像的创建方法及系统
CN112767531A (zh) * 2020-12-30 2021-05-07 浙江大学 面向移动端的虚拟试衣的人体模型脸部分区域建模方法
CN112767531B (zh) * 2020-12-30 2022-04-29 浙江大学 面向移动端的虚拟试衣的人体模型脸部分区域建模方法
CN112767347A (zh) * 2021-01-18 2021-05-07 上海商汤智能科技有限公司 一种图像配准方法及装置、电子设备和存储介质
CN114119683A (zh) * 2021-11-26 2022-03-01 吉林大学 一种提高面部扫描图像配准ct扫描图像精度的方法
CN115018881A (zh) * 2022-06-17 2022-09-06 先临三维科技股份有限公司 颌骨运动轨迹追踪方法、装置、设备及介质
WO2023241705A1 (zh) * 2022-06-17 2023-12-21 先临三维科技股份有限公司 颌骨运动轨迹追踪方法、装置、设备及介质
CN117934885A (zh) * 2024-03-21 2024-04-26 沈阳市口腔医院 基于cbct数据与三维面扫数据的坐标自动匹配方法及系统

Also Published As

Publication number Publication date
CN111768497B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN111768497B (zh) 一种头部动态虚拟模型的三维重建方法、装置及系统
US10682209B2 (en) Estimating a surface texture of a tooth
JP5784381B2 (ja) 歯科診療システム
JP6904901B2 (ja) 患者の口内の視覚化装置
US8244028B2 (en) Virtual cephalometric imaging
JP2014524795A (ja) 歯科分野で使用される三次元測定デバイス
CN112972027A (zh) 一种利用混合现实技术的正畸微种植体植入定位方法
WO2021210723A1 (ko) 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
CN112419476A (zh) 牙科病人三维虚拟图像的创建方法及系统
CN110246571A (zh) 牙齿数据处理方法
JP2012143528A (ja) 口腔内撮影表示システム
WO2023274690A1 (en) Non-invasive periodontal examination
Ahmed et al. Digital dentistry-new era in dentistry
KR102346199B1 (ko) 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치
CN116763481A (zh) 一种基于多模态融合的颞下颌关节运动系统性还原方法
CN114343906B (zh) 咬合垂直距离的获取方法、装置、介质及电子设备
RU2610911C1 (ru) Система и способ виртуального прототипирования улыбки на базе тактильного компьютерного устройства
CN112802599A (zh) 一种基于人工智能的龋病诊断系统
EP2368498A1 (en) Method for deriving shape information of a person's dentition
Sornam Artificial Intelligence in Orthodontics-An exposition
CN111446011A (zh) 一种牙周诊疗信息管理系统
CN211669982U (zh) 一种牙科用椅旁设备
WO2023229152A1 (ko) 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램
CN114998443B (zh) 一种基于多目计算机视觉的高精度电子面弓方法
EP4227955A1 (en) Enhanced scanning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant