CN116763481A - 一种基于多模态融合的颞下颌关节运动系统性还原方法 - Google Patents
一种基于多模态融合的颞下颌关节运动系统性还原方法 Download PDFInfo
- Publication number
- CN116763481A CN116763481A CN202310707308.9A CN202310707308A CN116763481A CN 116763481 A CN116763481 A CN 116763481A CN 202310707308 A CN202310707308 A CN 202310707308A CN 116763481 A CN116763481 A CN 116763481A
- Authority
- CN
- China
- Prior art keywords
- model
- patient
- marking plate
- mandibular
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 title claims abstract description 51
- 210000001738 temporomandibular joint Anatomy 0.000 title claims abstract description 25
- 230000009467 reduction Effects 0.000 title claims abstract description 22
- 230000009897 systematic effect Effects 0.000 title claims abstract description 18
- 210000000214 mouth Anatomy 0.000 claims abstract description 73
- 230000003068 static effect Effects 0.000 claims abstract description 63
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 210000003625 skull Anatomy 0.000 claims abstract description 15
- 210000004373 mandible Anatomy 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000013519 translation Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 210000004513 dentition Anatomy 0.000 claims description 8
- 230000036346 tooth eruption Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000007408 cone-beam computed tomography Methods 0.000 claims 2
- 238000011282 treatment Methods 0.000 abstract description 11
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000012800 visualization Methods 0.000 abstract description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 201000010099 disease Diseases 0.000 description 7
- 210000001847 jaw Anatomy 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 238000004380 ashing Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000011866 long-term treatment Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
- A61C19/04—Measuring instruments specially adapted for dentistry
- A61C19/045—Measuring instruments specially adapted for dentistry for recording mandibular movement, e.g. face bows
Landscapes
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明公开了一种基于多模态融合的颞下颌关节运动系统性还原方法，步骤如下：静态数据采集；动态数据采集；数据结合配准绑定获得面部配准模型、头颅上颌绑定模型、下颌骨下颌绑定模型；解算视频获得动态的下标记板位置数据并绑定到下颌骨下颌绑定模型上获得下颌骨下颌动态绑定模型，面部配准模型、头颅上颌绑定模型、下颌骨下颌动态绑定模型结合获得具有下颌骨下颌动态信息的患者颅骨颜面部动态模型，从而精准还原患者口腔真实状态。本发明的还原方法从视频图像中直接采集颌骨运动数据，并经过优化处理，在人体头骨模型上进行运动重现及可视化，能够做到快速准确的轨迹重现，帮助医生进行治疗检测，提高医疗效率和质量，同时兼顾经济性。
Description
技术领域
本发明涉及颞下颌关节运动还原技术领域，具体地说是一种基于多模态融合的颞下颌关节运动系统性还原方法。
背景技术
口颌系统包括多个元件，是一个相互制约而又相互协调的整体。对口颌系统功能紊乱的患者进行全面的评估，充分了解牙列静态和动态接触状态、颞下颌关节结构以及运动协调性，对认识其疾病发生的原因、咀嚼系统尤其是颞下颌关节损害的程度以及疾病的转归尤为重要，也是后续治疗的基础。近年来，随着数字化技术的发展，将CT、口内外扫描数据、电子面弓下颌轨迹数据进行多模态数据融合已经成为可能，能更全面地对颞下颌关节及咬合功能进行评估。
电子面弓是使用数字化技术模拟人体颌骨及关节移动的一种技术，对于颌关节疾病的诊断以及牙齿修复和矫治都有很好的作用。传统的面弓技术需要使用精密的机械装置，操作复杂，器材携带困难，表达信息有限；而现有的电子面弓技术全部属于外国医疗器械公司，大多采用传感器方案，使用光学传感器、运动传感器等进行颌骨运动数据的采集，设备价格极其高昂。因此，需要兼顾经济性与实用性的全新技术方案。
随着现代医学的发展，越来越多临床辅助检查方法争相出现，有多种模态的医学数据可供辅助诊治疾病。解剖图像主要描述人体形态信息如锥形束CT（cone-beamcomputedtomography， CBCT）、磁共振成像（magnetic resonance imaging,MRI）、X线片、超声等；功能图像主要描述人体代谢、功能信息，如正电子发射断层扫描（PET）、单光子发射计算机断层成像术（SPECT）；此外还可以通过多种途径获取机体某部分的运动轨迹等，这些信息通常单一应用，在疾病的诊治中起到重要的作用。但是，在某些情况下，以上单一模态数据的评估方法或多或少存在缺陷，且相互之间缺少联系，而将这些不同的医学数据整合为一体，即为多模态数据融合，能综合多种辅助手段的优点。
将多模态数据融合理念应用在口颌系统的评估中，很大程度上可以帮助口腔医生更全面的诊治口颌系统疾病。因为关于口颌系统的评估，系统内的元件不是孤立的，应将静态的牙合与动态的咬合、颞下颌关节、口颌系统肌肉相关联，从整体的功能关系观察。对颞下颌关节、动静态咬合与肌肉有一个全局的判断，一定程度上可规避治疗风险、减少患者就诊次数，辅助制定远期的治疗方案，有利于多学科之间的合作以获得更加满意的治疗效果。
多模态数据融合是指经过计算机数字化和医学图像配准处理，使其内外部特征在空间坐标上相匹配，即可得到一种全新的更全面的融合影像。适当的多模态数据融合可为疾病的诊治提供线索，最大限度提取各影像中的有用信息。而在口腔医学临床中，有多种类型数据可作为多模态融合的基础，如DICOM、STL或OBJ以及XML等。DICOM格式的文件由CBCT获取，STL则是牙列扫描所存储的基本格式，下颌运动轨迹通常存储为XML文件，其采集设备包括机械式或基于磁电量转换、超声定位或光学定位的三维描记仪。多模态数据融合的目的旨在将以上至少两种不同类型数据进行三维空间的配准，使其在同一时间、同一空间内反映出全面的诊疗信息。而且现有的多模态技术还没有导出下颌骨轨迹信息的功能，并且也不能根据医生的需求任意修改髁突的指定位置，颜面部的模型也不可以跟着下颌骨的运动一起运动以及能够根据设定的微笑、特殊字发音等动作进行的独立运动，以方便医生查看患者的在做这些运动时候牙齿的露出情况。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种基于多模态融合的颞下颌关节运动系统性还原方法。
本发明的目的是通过以下技术方案解决的：
一种基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：该方法步骤如下：
A、采用口腔CBCT设备获取患者口腔静态CT数据、手机或者平板拍摄获取患者面部静态数据、采用口腔扫描设备获取患者牙齿的静态扫描上颌模型和静态扫描下颌模型；
B、为患者粘结标记板，采用扫描设备获取患者扫描咬合模型、采用固定设置的手持拍摄设备拍摄获取患者口腔运动视频以及校准视频；
C、基于步骤A中的患者口腔静态CT数据，获得CT头颅上颌模型、CT下颌骨下颌模型、CT面部模型；
D、将步骤A中的患者面部静态数据转化为带有纹理的面部三维模型，然后与步骤C中的CT面部模型配准，获得面部配准模型；
E、以步骤B中的患者扫描咬合模型为基准、将步骤A中的静态扫描上颌模型和静态扫描下颌模型移动配准至患者扫描咬合模型上并融合为口扫配准融合模型，以步骤C中的CT头颅上颌模型为基准、将口扫配准融合模型移动配准至CT头颅上颌模型上，以口扫配准融合模型为基准、将步骤C中的CT下颌骨下颌模型和步骤B中的标记板对应的标记板模型移动配准至口扫配准融合模型上；
F、在步骤E的配准基础上，将口扫配准融合模型中的静态扫描上颌模型、标记板模型中的上标记板模型、CT头颅上颌模型绑定，得到头颅上颌绑定模型；将口扫配准融合模型中的静态扫描下颌模型、标记板模型中的下标记板模型、CT下颌骨下颌模型绑定，得到下颌骨下颌绑定模型；
G、基于步骤B中的校准视频和患者口腔运动视频获得患者口腔运动视频每一帧中的标记板空间位置坐标数据；
H、将步骤G中的标记板空间位置坐标数据中的动态的下标记板位置数据绑定到步骤F中的下颌骨下颌绑定模型上，获得下颌骨下颌动态绑定模型；
I、将步骤D中的面部配准模型、步骤F中的头颅上颌绑定模型与步骤H中的下颌骨下颌动态绑定模型相结合，获得具有下颌骨下颌动态信息的患者颅骨颜面部动态模型，从而精准还原患者口腔真实状态。
所述步骤A中的口腔CBCT设备能够拍摄到髁突位置，进而获得包括髁突位置的患者口腔静态CT数据。
所述步骤A中的患者面部静态数据获得方法为：采用手机或者平板对患者的面部进行拍照，获取至少三排、每排5张以上的照片，拍照时患者的面部左右转动角度为±60°、面部上下俯仰角度为±50°，拍摄内容包含微笑开口状态和正常闭口状态的动作。
所述步骤B中的标记板包括上标记板和下标记板，上标记板和下标记板分别粘结到上下牙列的唇颊侧；所述步骤B中的患者扫描咬合模型包括标记板和上颌或者下颌粘接的部分。
所述步骤B中的患者口腔运动视频包括但不限于口腔的左侧方运动、右侧方运动、前伸运动、前伸最大运动、后退位运动、最大开口运动；所述步骤B中的手持拍摄设备的拍摄视角垂直于标记板中的上标记板和下标记板的中心位置，手持拍摄设备一般选用手机、平板电脑或其它能够将数据实时传输给控制系统（如电脑）的拍摄设备；所述步骤B中的校准视频与患者口腔运动视频的手持拍摄设备的焦距一致。
所述步骤D中的患者面部静态数据使用点云三维重建算法转为带有纹理的面部三维模型，然后将面部三维模型导入到步骤C中的CT面部模型中进行配准。
所述步骤D和所述步骤E中的配准是指：首先确定移动模型、基准模型；然后在移动模型、基准模型上各选取至少三个非共线特征点，移动模型、基准模型上的三个非共线特征点一致且需要一一对应；然后通过ICP算法将移动模型移动配准到基准模型上。
所述步骤G中的标记板空间位置坐标数据的获得方法为：引入步骤B中的校准视频、通过校准算法算出手持拍摄设备的内参矩阵A和畸变系数B，并存储为校准文件；引入步骤B中的患者口腔运动视频，采用姿态估计算法与校准文件相结合，计算出患者口腔运动视频中的标记板的空间位置在虚拟三维坐标体系中的平移向量t和旋转向量r，然后通过罗德里格斯公式将旋转向量转为3X3旋转矩阵，在3X3旋转矩阵中加入平移向量，最后组合为4X4变换矩阵，用于表示获得患者口腔运动视频的每一帧中的标记板空间位置坐标数据。
所述步骤G和步骤H中的标记板空间位置坐标数据包括上标记板空间位置坐标数据和下标记板空间位置坐标数据，需要将上标记板空间位置坐标数据的平移向量t和旋转向量r转移给下标记板空间位置坐标数据，得到用于绑定到步骤F中的下颌骨下颌绑定模型上的动态的下标记板位置数据。
依次连接步骤H中的下颌骨下颌动态绑定模型中的相邻两帧视频中的下标记板空间坐标的点，并基于下颌切点与下标记板粘接的中心牙位置一致、以及左髁突和右髁突与下颌切点的位置关系，获得下颌切点运动轨迹、左髁突运动轨迹和右髁突运动轨迹；所述的下颌切点运动轨迹、左髁突运动轨迹和右髁突运动轨迹能够计算出患者口腔的个性化运动特征参数。
本发明相比现有技术有如下优点：
本发明提供了一种使用刚性连接标志物和计算机视觉算法识别的方法，从视频图像中直接采集颌骨运动数据，并经过优化处理，在人体头骨模型上进行运动重现及可视化，能够做到快速准确的轨迹重现，帮助医生进行咬合检测，简化原先繁琐的调试工作，提高医疗效率和质量，同时兼顾经济性。
本发明的基于计算机视觉的数字面弓方法能保证精确度，且计算迅速，等待时间短，能够帮助口腔科医生获取颌骨运动数据。
本发明的还原方法与其他已有的传感器方案相比，成本低廉；本发明的技术路线仅仅需要手机或平板拍摄视频，即可获得下颌骨动态信息的采集,有效降低方案成本。
本发明的还原方法与其他已有的技术方案相比，操作简便；以往的电子面弓和机械面弓都需要医生亲手进行操作，但是本发明仅需采用固定设置的手持拍摄设备拍摄即可完成视频的采集，简单快捷。
附图说明
图1为本发明的基于多模态融合的颞下颌关节运动系统性还原方法的流程图；
图2为本发明提供的实施例中的标记板的结构示意图；
图3为本发明提供的实施例的静态数据配准融合后的效果图；
图4为本发明提供的实施例的下颌切点运动矢状面投影轨迹及计算示意图例，图示度量单位为毫米（mm）。
其中：1—CT头颅上颌模型；2—CT下颌骨下颌模型；3—面部三维模型；4—静态扫描上颌模型；5—静态扫描下颌模型；6—标记板；61—上标记板；62—下标记板。
具体实施方式
下面结合附图与实施例对本发明作进一步的说明。
如图1-3所示：一种基于多模态融合的颞下颌关节运动系统性还原方法，包括以下步骤：采用口腔CBCT设备获取患者口腔静态CT数据、手机或者平板拍摄获取患者面部静态数据、采用口腔扫描设备获取患者牙齿的静态扫描上颌模型和静态扫描下颌模型；为患者粘结标记板，采用扫描设备获取患者扫描咬合模型、采用固定设置的手持拍摄设备拍摄获取患者口腔运动视频以及校准视频，校准视频与患者口腔运动视频的手持拍摄设备的焦距一致；将患者口腔静态CT数据分解获得CT头颅上颌模型、CT下颌骨下颌模型、CT面部模型，将患者面部静态数据使用点云三维重建算法转为带有纹理的面部三维模型，面部三维模型与CT面部模型配准获得面部配准模型；以患者扫描咬合模型为基准、将静态扫描上颌模型和静态扫描下颌模型移动配准至患者扫描咬合模型上并融合为口扫配准融合模型，以CT头颅上颌模型为基准、将口扫配准融合模型移动配准至CT头颅上颌模型上，以口扫配准融合模型为基准、将CT下颌骨下颌模型和标记板对应的标记板模型移动配准至口扫配准融合模型上；在上述配准的基础上，将口扫配准融合模型中的静态扫描上颌模型、标记板模型中的上标记板模型、CT头颅上颌模型绑定，得到头颅上颌绑定模型；将口扫配准融合模型中的静态扫描下颌模型、标记板模型中的下标记板模型、CT下颌骨下颌模型绑定，得到下颌骨下颌绑定模型；基于校准视频和患者口腔运动视频获得患者口腔运动视频每一帧中的标记板空间位置坐标数据，标记板空间位置坐标数据包括上标记板空间位置坐标数据和下标记板空间位置坐标数据，需要将上标记板空间位置坐标数据的平移向量t和旋转向量r转移给下标记板空间位置坐标数据，才能得到用于绑定到步骤F中的下颌骨下颌绑定模型上的动态的下标记板位置数据；将标记板空间位置坐标数据中的动态的下标记板位置数据绑定到下颌骨下颌绑定模型上，获得下颌骨下颌动态绑定模型；将面部配准模型、头颅上颌绑定模型与下颌骨下颌动态绑定模型相结合，获得具有下颌骨下颌动态信息的患者颅骨颜面部动态模型，从而精准还原患者口腔真实状态。
在上述还原方法中，要求口腔CBCT设备能够拍摄到髁突位置，进而获得包括髁突位置的患者口腔静态CT数据；患者面部静态数据获得方法为：采用手机或者平板对患者的面部进行拍照，获取至少三排、每排5张以上的照片，拍照时患者的面部左右转动角度为±60°、面部上下俯仰角度为±50°，拍摄内容包含微笑开口状态和正常闭口状态的动作。
如图3所示，标记板包括上标记板和下标记板，上标记板和下标记板分别粘结到上下牙列的唇颊侧；患者扫描咬合模型包括标记板和上颌或者下颌粘接的部分。患者口腔运动视频包括但不限于口腔的左侧方运动、右侧方运动、前伸运动、前伸最大运动、后退位运动、最大开口运动；手持拍摄设备的拍摄视角垂直于标记板中的上标记板和下标记板的中心位置，手持拍摄设备一般选用手机、平板电脑或其它能够将数据实时传输给控制系统（如电脑）的拍摄设备。
本发明的技术方案中提到的配准是指：首先确定移动模型、基准模型；然后在移动模型、基准模型上各选取至少三个非共线特征点，移动模型、基准模型上的三个非共线特征点一致且需要一一对应；然后通过ICP算法将移动模型移动配准到基准模型上。
在上述方法中，标记板空间位置坐标数据的获得方法为：引入步骤B中的校准视频、通过校准算法算出手持拍摄设备的内参矩阵A和畸变系数B，并存储为校准文件；引入步骤B中的患者口腔运动视频，采用姿态估计算法与校准文件相结合，计算出患者口腔运动视频中的标记板的空间位置在虚拟三维坐标体系中的平移向量t和旋转向量r，然后通过罗德里格斯公式将旋转向量转为3X3旋转矩阵，在3X3旋转矩阵中加入平移向量，最后组合为4X4变换矩阵，用于表示获得患者口腔运动视频的每一帧中的标记板空间位置坐标数据。
在上述方法中，依次连接下颌骨下颌动态绑定模型中的相邻两帧视频中的下标记板空间坐标的点，并基于下颌切点与下标记板粘接的中心牙位置一致、以及左髁突和右髁突与下颌切点的位置关系，获得下颌切点运动轨迹、左髁突运动轨迹和右髁突运动轨迹，下颌切点运动轨迹、左髁突运动轨迹和右髁突运动轨迹能够计算出患者口腔的个性化运动特征参数。
实施例
一种基于多模态融合的颞下颌关节运动系统性还原方法，如图1，包括以下步骤：
步骤1、静态数据采集：
步骤11、采集患者口腔静态CT数据，使用可以拍摄到髁突位置的口腔CBCT设备拍摄CT，拍摄获得DICOM的序列文件，CBCT的拍摄时患者需在口中咬一些填充物（如棉花）将上、下颌牙齿分开一点距离，方便后面三维重建后的模型分割，拍摄过程中患者尽量保持站立不动，以免产生运动伪影，影响三维重建精度；
步骤12、采集患者面部静态数据，采用手机或者平板对患者的面部进行拍照，获取至少三排、每排5张以上的照片，拍照时患者的面部左右转动角度为±60°、面部上下俯仰角度为±50°，拍摄内容包含：微笑开口状态和正常闭口状态的动作，拍摄过程患者应尽量保持不动，眼睛保持睁开状态，拍摄的瞬间避免闭眼；
步骤13、采集口腔扫描静态模型，使用口腔扫描仪对患者的上、下颌进行扫描，获得患者牙齿的静态扫描上颌模型和静态扫描下颌模型。
步骤2、动态数据采集：
步骤21、粘接标记板，标记板6的上面有用于定位识别的标记码、尾部为可调节结构，根据患者口内情况调节便于粘接的弧度与角度，如图2所示的标记板6、图3所示的上标记板61、下标记板62；
步骤22、扫描咬合数据，由于操作者在操作粘接的过程中存在粘接的个体差异，所以将咬合数据的采集调整在粘接标记板之后，可以有效减少操作误差，扫描咬合数据时需要将粘接处的特征数据一并扫描，直接获得患者扫描咬合模型；
步骤23、视频数据采集分为两个部分：
步骤231、校准视频拍摄，将手机或者平板放置到距离校准板20cm-30cm左右的位置，多角度拍摄校准板，拍摄时手动调节焦距，尽量使标记板在手机或平板的取景画面中清晰，同时记录下具体的焦距值；
步骤232、患者口腔运动视频拍摄，拍摄距离尽量保持在20cm-30cm左右，必须保持与校准视频一样的焦距值拍摄，拍摄视角与上标记板61和下标记板62的初始位置尽量垂直；患者口腔运动视频包含不限于以下运动：左侧方运动、右侧方运动、前伸运动。
步骤3、静态数据配准融合：
步骤31、静态数据预处理，CT数据预处理：基于VTK中的三维重建算法，调节HU值分别获得CT面部模型、CT头颅骨模型，进一步将CT头颅骨模型利用分割算法分为CT头颅上颌模型1和CT下颌骨下颌模型2；面部静态数据预处理：基于AliceVision摄影测量计算机视觉框架，将拍摄的数张照片，通过点云重建的算法，生成带有纹理的面部三维模型3；
步骤32、静态数据配准融合，这个步骤配准后的结果如图3所示，CT面部模型和CT头颅上颌模型1相对位置在配准的过程中，不可变动，将面部三维模型3与CT面部模型配准获得面部配准模型；以患者扫描咬合模型为基准，将静态扫描上颌模型4和静态扫描下颌模型5通过ICP配准算法，配准至患者扫描咬合模型上并融合为口扫配准融合模型；以CT头颅上颌模型1为基准、将口扫配准融合模型移动配准至CT头颅上颌模型1上，以口扫配准融合模型为基准、将步骤C中的CT下颌骨下颌模型2和步骤B中的标记板对应的标记板模型移动配准至口扫配准融合模型上；配准完成后，将口扫配准融合模型中的静态扫描上颌模型4、标记板模型中的上标记板模型、CT头颅上颌模型1绑定，得到头颅上颌绑定模型；将口扫配准融合模型中的静态扫描下颌模型5、标记板模型中的下标记板模型、CT下颌骨下颌模型2绑定，得到下颌骨下颌绑定模型。
步骤4、解算视频获得动态的下标记板位置数据：
步骤41、校准视频解算，将校准视频转为图片，根据需要提取部分图片出来，然后在图片中检测ChArUco标定板，根据检测算法得到，拍摄手机或者平板的内参矩阵M1和畸变矩阵M2
步骤42、患者口腔运动视频解算，将患者口腔运动视频的每一帧图片进行灰化、阈值调节预处理，在姿态估计中更好的识别出标记板6上的标识码，将每一帧预处理过的图片、手机或者平板的内参矩阵M1和畸变矩阵M2导入姿态估计算法得到，标识码在每一帧图片中对应在三维空间的位置信息，用平移向量t和旋转向量r表示，然后通过罗德里格斯公式将旋转向量转为3X3旋转矩阵，在3X3旋转矩阵中加入平移向量，最后组合为4X4变换矩阵，用于表示获得患者口腔运动视频的每一帧中的标记板空间位置坐标数据；由于上标记板与口扫上颌模型、CT头颅上颌模型为绑定关系，且实际的上颌在口腔运动的时候，是相对头颅上颌固定不动的，但是在视频拍摄过程当中，无法完全避免上标记板在视频画面中的位置完全不动，所以这里还需要将上标记板的平移向量t和旋转向量r转移给下标记板，最终获得的动态的下标记板位置数据才更加准确。
步骤5、动态数据绑定：
步骤51、下颌骨动态数据绑定，将动态的下标记板位置数据绑定在下颌骨下颌绑定模型上获得下颌骨下颌动态绑定模型，下颌骨下颌绑定模型的位置数据与动态的下标记板位置数据一致，随着时间帧的移动，下颌骨下颌绑定模型就可以随之变化空间坐标，在医学中下颌骨运动的三个研究基准点为下颌切点（IP ）、左髁突（LP）、右髁突（RP），患者口腔运动视频中，下颌切点与下标记板粘接的中心牙位置基本一致，而左右髁突的位置可以根据CT下颌骨下颌模型进行手动指定，依次连接两帧视频中的下标记板空间坐标的点（上标记板设置为固定不动，由于拍摄产生的抖动误差叠加到下标记板的空间坐标上），既可以形成下颌切点（IP ）的运动轨迹，同理可以得到左髁突（LP）的运动轨迹、右髁突（RP）的运动轨迹。为了方便观察和计算，将下颌切点（IP ）、左髁突（LP）、右髁突（RP）运动的运动轨迹进行投影，根据轨迹计算给出患者口腔的个性化运动特征的参数，包含不限于以下特征参数：下颌切点运动的几个特征参数如左侧方运动角度、右侧方运动角度、前伸运动角度、后退位运动距离、最大开口度距离、开口型偏角等，髁突运动的特征参数如左侧前伸髁道斜度、右侧前伸髁道斜度、左侧贝内特角、右侧贝内特角、左侧瞬时侧移距离、右侧瞬时侧移距离等。投影轨迹及计算示意图例（下颌切点运动矢状面投影）如图4所示。
步骤52、面部动态数据绑定，将面部配准模型、头颅上颌绑定模型和下颌骨下颌动态绑定模型相结合的过程当中，需要根据面部肌肉组织方向与疏密程度，对面部配准模型上的点，设置不同的权重值，然后指定下颌骨下颌动态绑定模型为驱动面部运动的物体，动态绑定后，面部三维模型上的点会跟着下颌骨下颌动态绑定模型做软体类运动，这样就可以获得具有下颌骨下颌动态信息的患者颅骨颜面部动态模型。
本发明提供了一种使用刚性连接标志物和计算机视觉算法识别的方法，从视频图像中直接采集颌骨运动数据，并经过优化处理，在人体头骨模型上进行运动重现及可视化，能够做到快速准确的轨迹重现，帮助医生进行咬合检测，简化原先繁琐的调试工作，提高医疗效率和质量，同时兼顾经济性。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内；本发明未涉及的技术均可通过现有技术加以实现。
Claims (10)
1.一种基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：该方法步骤如下：
A、采用口腔CBCT设备获取患者口腔静态CT数据、手机或者平板拍摄获取患者面部静态数据、采用口腔扫描设备获取患者牙齿的静态扫描上颌模型和静态扫描下颌模型；
B、为患者粘结标记板，采用口腔扫描设备获取患者扫描咬合模型、采用固定设置的手持拍摄设备拍摄获取患者口腔运动视频以及校准视频；
C、基于步骤A中的患者口腔静态CT数据，获得CT头颅上颌模型、CT下颌骨下颌模型、CT面部模型；
D、将步骤A中的患者面部静态数据转化为带有纹理的面部三维模型，然后与步骤C中的CT面部模型配准，获得面部配准模型；
E、以步骤B中的患者扫描咬合模型为基准、将步骤A中的静态扫描上颌模型和静态扫描下颌模型移动配准至患者扫描咬合模型上并融合为口扫配准融合模型，以步骤C中的CT头颅上颌模型为基准、将口扫配准融合模型移动配准至CT头颅上颌模型上，以口扫配准融合模型为基准、将步骤C中的CT下颌骨下颌模型和步骤B中的标记板对应的标记板模型移动配准至口扫配准融合模型上；
F、在步骤E的配准基础上，将口扫配准融合模型中的静态扫描上颌模型、标记板模型中的上标记板模型、CT头颅上颌模型绑定，得到头颅上颌绑定模型；将口扫配准融合模型中的静态扫描下颌模型、标记板模型中的下标记板模型、CT下颌骨下颌模型绑定，得到下颌骨下颌绑定模型；
G、基于步骤B中的校准视频和患者口腔运动视频获得患者口腔运动视频每一帧中的标记板空间位置坐标数据；
H、将步骤G中的标记板空间位置坐标数据中的动态的下标记板位置数据绑定到步骤F中的下颌骨下颌绑定模型上，获得下颌骨下颌动态绑定模型；
I、将步骤D中的面部配准模型、步骤F中的头颅上颌绑定模型与步骤H中的下颌骨下颌动态绑定模型相结合，获得具有下颌骨下颌动态信息的患者颅骨颜面部动态模型，从而精准还原患者口腔真实状态。
2.根据权利要求1所述的基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：所述步骤A中的口腔CBCT设备能够拍摄到髁突位置，进而获得包括髁突位置的患者口腔静态CT数据。
3.根据权利要求1所述的基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：所述步骤A中的患者面部静态数据获得方法为：采用手机或者平板对患者的面部进行拍照，获取至少三排、每排5张以上的照片，拍照时患者的面部左右转动角度为±60°、面部上下俯仰角度为±50°，拍摄内容包含微笑开口状态和正常闭口状态的动作。
4.根据权利要求1所述的基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：所述步骤B中的标记板包括上标记板和下标记板，上标记板和下标记板分别粘结到上下牙列的唇颊侧；所述步骤B中的患者扫描咬合模型包括标记板和上颌或者下颌粘接的部分。
5.根据权利要求1-4任一所述的基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：所述步骤B中的患者口腔运动视频包括但不限于口腔的左侧方运动、右侧方运动、前伸运动、前伸最大运动、后退位运动、最大开口运动；所述步骤B中的手持拍摄设备的拍摄视角垂直于标记板中的上标记板和下标记板的中心位置；所述步骤B中的校准视频与患者口腔运动视频的手持拍摄设备的焦距一致。
6.根据权利要求1-4任一所述的基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：所述步骤D中的患者面部静态数据使用点云三维重建算法转为带有纹理的面部三维模型，然后将面部三维模型导入到步骤C中的CT面部模型中进行配准。
7.根据权利要求1-4任一所述的基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：所述步骤D和所述步骤E中的配准是指：首先确定移动模型、基准模型；然后在移动模型、基准模型上各选取至少三个非共线特征点，移动模型、基准模型上的三个非共线特征点一致且需要一一对应；然后通过ICP算法将移动模型移动配准到基准模型上。
8.根据权利要求1-4任一所述的基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：所述步骤G中的标记板空间位置坐标数据的获得方法为：引入步骤B中的校准视频、通过校准算法算出手持拍摄设备的内参矩阵A和畸变系数B，并存储为校准文件；引入步骤B中的患者口腔运动视频，采用姿态估计算法与校准文件相结合，计算出患者口腔运动视频中的标记板的空间位置在虚拟三维坐标体系中的平移向量t和旋转向量r，然后通过罗德里格斯公式将旋转向量转为3X3旋转矩阵，在3X3旋转矩阵中加入平移向量，最后组合为4X4变换矩阵，用于表示获得患者口腔运动视频的每一帧中的标记板空间位置坐标数据。
9.根据权利要求8所述的基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：所述步骤G和步骤H中的标记板空间位置坐标数据包括上标记板空间位置坐标数据和下标记板空间位置坐标数据，需要将上标记板空间位置坐标数据的平移向量t和旋转向量r转移给下标记板空间位置坐标数据，得到用于绑定到步骤F中的下颌骨下颌绑定模型上的动态的下标记板位置数据。
10.根据权利要求1-4任一所述的基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：依次连接步骤H中的下颌骨下颌动态绑定模型中的相邻两帧视频中的下标记板空间坐标的点，并基于下颌切点与下标记板粘接的中心牙位置一致、以及左髁突和右髁突与下颌切点的位置关系，获得下颌切点运动轨迹、左髁突运动轨迹和右髁突运动轨迹；所述的下颌切点运动轨迹、左髁突运动轨迹和右髁突运动轨迹能够计算出患者口腔的个性化运动特征参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310707308.9A CN116763481A (zh) | 2023-06-15 | 2023-06-15 | 一种基于多模态融合的颞下颌关节运动系统性还原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310707308.9A CN116763481A (zh) | 2023-06-15 | 2023-06-15 | 一种基于多模态融合的颞下颌关节运动系统性还原方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116763481A true CN116763481A (zh) | 2023-09-19 |
Family
ID=87987289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310707308.9A Pending CN116763481A (zh) | 2023-06-15 | 2023-06-15 | 一种基于多模态融合的颞下颌关节运动系统性还原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116763481A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117332704A (zh) * | 2023-12-01 | 2024-01-02 | 福建医科大学附属第一医院 | 一种颞下颌关节腔冲洗及注射导板生成方法及终端 |
-
2023
- 2023-06-15 CN CN202310707308.9A patent/CN116763481A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117332704A (zh) * | 2023-12-01 | 2024-01-02 | 福建医科大学附属第一医院 | 一种颞下颌关节腔冲洗及注射导板生成方法及终端 |
| CN117332704B (zh) * | 2023-12-01 | 2024-05-28 | 福建医科大学附属第一医院 | 一种颞下颌关节腔冲洗及注射导板生成方法及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mah et al. | Current status and future needs in craniofacial imaging | |
| US8731280B2 (en) | Virtual cephalometric imaging | |
| CN106875432A (zh) | 颞下颌关节运动重建方法及系统 | |
| US8366442B2 (en) | Dental apparatus for radiographic and non-radiographic imaging | |
| CN103690173B (zh) | 下颌三维运动捕捉及可视化系统及方法 | |
| JP5989234B2 (ja) | 顎部バーチャル像の作成方法 | |
| US8620045B2 (en) | System , method and article for measuring and reporting craniomandibular biomechanical functions | |
| CN111768497B (zh) | 一种头部动态虚拟模型的三维重建方法、装置及系统 | |
| US11000349B2 (en) | Method, system and computer readable storage media for determining articulation parameters | |
| JP2010524529A (ja) | 顔面解析を用いた特注歯セットアップのコンピュータ支援作成 | |
| CN113573662B (zh) | 将个体的牙弓的虚拟模型与所述个体的面部的数字模型配准的方法 | |
| CN105012038B (zh) | 用于虚拟〔牙合〕架的下颌三维运动轨迹跟踪装置 | |
| CN116763481A (zh) | 一种基于多模态融合的颞下颌关节运动系统性还原方法 | |
| CN203914924U (zh) | 下颌三维运动捕捉及可视化系统与下颌运动追踪装置 | |
| CN114998443A (zh) | 一种基于多目计算机视觉的高精度电子面弓方法 | |
| JP2001112743A (ja) | 三次元顎運動表示装置、方法及び三次元顎運動表示プログラムを記憶した記憶媒体 | |
| JP2005349176A (ja) | 顎運動解析方法及び顎運動解析システム | |
| US20180243061A1 (en) | Method for treatment planning | |
| JP2017221329A (ja) | ２次元画像を用いて生体の下顎開閉軸とバーチャル咬合器の開閉軸を一致させる方法 | |
| US7876878B2 (en) | Automatic spatial adjustment of a pan-oral x-ray source in response to the actual dentition of a patient | |
| CN114512220A (zh) | 一种基于单目计算机视觉的电子面弓方法 | |
| Cen et al. | Application of three-dimensional reconstruction technology in dentistry: a narrative review | |
| CN117481674A (zh) | 一种融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法 | |
| Tomaka et al. | The dynamics of the stomatognathic system from 4D multimodal data | |
| Tomaka et al. | Multimodal image registration for mandible motion tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |