CN117481674A - 一种融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法 - Google Patents

Abstract

本发明公开了一种融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法。1)将Ⅰ型标志物固定在面部标志点上，对佩戴标志物的被试者进行CBCT拍摄；2)将Ⅱ型标志物与下颌牙列刚性连接，对牙列进行口腔内扫描；3)根据CBCT数据和口扫数据，分别计算求出两种标志物与上、下颌的相对位置关系；4)多目数据采集，将多个工业相机同时从不同角度进行拍摄，指定被试者进行标准口腔运动，记录被试者的口腔运动数据；5)利用计算机视觉的方法求解标志物的位姿状态，并反求拟合得到上下颌相对位姿状态。本发明通过多模态口腔数据融合，利用定位标志物来反求上、下颌相对运动过程，以轻便、低侵入性的装置获得高精度的运动测量结果。

Description

一种融合CBCT技术、口扫技术与计算机视觉的多模态电子面 弓方法

技术领域

本发明属于数字医疗领域，具体涉及一种融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法。

背景技术

电子面弓是使用数字化技术模拟人体颌骨及关节移动的一种技术，对于颌关节疾病的诊断以及牙齿修复和矫治都有很好的辅助作用。传统的面弓技术需要使用精密的机械装置，操作复杂，器材携带困难，表达信息有限；而现有的电子面弓技术全部属于外国医疗器械公司，大多采用传感器方案，使用光学传感器、运动传感器等进行颌骨运动数据的采集，设备价格极其高昂。因此，需要兼顾经济性与实用性的全新技术方案，一些新兴计算机成像与扫描技术逐渐成为更好的选择。

CBCT是一种广泛使用的医学和牙科成像技术，它可提供高分辨率的三维体数据，帮助医生精确快速地诊断相关疾病。与传统CT相比，CBCT的辐射剂量相对较低，同时可以提供更加完整、全面的牙齿和牙槽骨体数据。但是，CBCT只能对被试者静态标准咬合姿态进行成像，无法实时追踪被试者下颌运动过程。口腔内扫描技术实现了完全无害化口内数据采集，同时也可以提供更高精度的口腔数字模型数据；但其同样无法实现动态运动轨迹的追踪。采用多目计算机视觉技术可以连续获取标志物运动位置与姿态，从而间接计算并模拟被试者下颌运动过程；但仍需要应用非视觉方法来完成对视觉标志物与人体体数据的配准校正。单一模态的数据与技术无法满足高精度电子面弓的需求。

发明内容

为了解决背景技术中的问题，本发明充分发挥多模态数据融合的优势，首先利用CBCT数据和口腔内扫描数据获取标志物与上、下颌人体数据的配准信息，然后采用计算机视觉算法识别的方法，从多目相机图像中直接定位标志物位置数据，并对得到的多角度图像进行优化处理，从而得到准确的运动轨迹信息，能够做到快速且自动化，简化原先繁琐的人工校准与测量工作，提高医疗效率，同时进一步提高了电子面弓生成数据的质量和规范性。

本发明采用的技术方案包括以下步骤：

步骤1)准备Ⅰ型标志物，将三个Ⅰ型标志物贴附于被试者面部的三个标志点上，然后对被试者进行CBCT拍摄，获得被试者头部模型；

步骤2)准备Ⅱ型标志物，Ⅱ型标志物由一个弓形结构和两个正多面体组成，将弓形结构粘结与被试者下颌牙列上，然后对被试者的上下颌牙列进行口扫，获得口扫模型；

步骤3)定位头部模型中的Ⅰ型标志物位置，求解由Ⅰ型标志物坐标系转换至被试者上颌标准坐标系的变换矩阵；定位口扫模型中的Ⅱ型标志物位置，求解由Ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵；

步骤4)采用多目工业相机矩阵进行数据采集：通过张正友标定法对多个工业相机进行相机标定，计算相机的内参与外参；将多个相机从不同角度且等间距位置处对准被试者头部进行采集，保证多个工业相机可以同步采集得到Ⅰ型标志物、Ⅱ型标志物的位置信息；指定被试者进行标准口腔运动，记录被试者的口腔运动视频数据；

步骤5)根据多个视频数据在同一时刻的多张同一帧图像，采用计算机视觉方法计算Ⅰ型标志物、Ⅱ型标志物上的角点在每一帧图像的二维坐标，并依据坐标系变换矩阵反求拟合得到被试者上下颌相对位姿状态，从而得到被试者上下颌运动轨迹，并完成上下颌运动轨迹的可视化。

所述步骤1)中：

Ⅰ型标志物为其中一侧贴附有标志图案的金属片；每个标志物的规格一致，每个标志物上的标志图案不同；

三个标志点分别为被试者的左眉峰点、右眉峰点、眉间点；第一、二个标志点在同一水平面和同一冠状面上，关于人体正中矢状面对称；第三个标志点位于人体正中矢状面上。

所述步骤2)中：

Ⅱ型标志物上的弓形结构顶面开设有多个不同形状的凹槽，用于选取特征点配准；

弓形结构与下牙列的形状适配；弓形结构内侧采用磨砂设计以提高与牙齿的粘结性。

所述Ⅱ型标志物上的两个正多面体为正十二面体，每个面贴附有不同的标志图案，两个正十二面体的规格一致；正十二面体与Ⅰ型标志物上的标志图案尺寸一致，两者的标志图案均基于OpenCV的ArUco模块生成；

正十二面体和Ⅰ型标志物上的每个标志图案均互不相同；

将三个Ⅰ型标志物依次记为第1、2、3个标志物，每个标志物含1个图案，每个图案含4个角点；记第i个标志物上第j个图案的第k个角点在对应的标志物坐标系中的坐标为O_ijk，其中i＝1,2,3；j＝1；k＝1,2,3,4；

将Ⅱ型标志物记为第4个标志物，含20个图案，每个图案含4个角点；记第i个标志物上第j个图案的第k个角点在对应标志物坐标系中的坐标为O_ijk，其中i＝4；j＝1,2,...,20；k＝1,2,3,4。

所述步骤3)具体为：

3.1)根据头部模型中各个部位不同的灰度值划分金属片与人体骨、软组织，对头部模型中三个Ⅰ型标志物和上颌的位置进行定位，获得位姿矩阵；

3.2)根据Ⅰ型标志物的位姿矩阵和上颌的位姿矩阵计算得到三个Ⅰ型标志物坐标系转换至被试者上颌标准坐标系的变换矩阵T₁、T₂、T₃；

此类矩阵为特殊欧式群SE(3)中的元素；

3.3)在Ⅱ型标志物标准模型的弓形结构上手动选取m个标志点集合S₁＝{P₁,P₂,...,P_i...,P_m}，选取弓形结构的凹槽顶点作为标志点以增强辨识度；

同时在被试者口扫模型上选取与m个标志点S₁同位置的标志点集合S₂＝{Q₁,Q₂,...,Q_i...,Q_m}；

其中，P_i为标志点集S₁上第i个标志点的坐标；Q_i为标志点集S₂上第i个标志点的坐标；

3.4)记Ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵为T₄；

以S₁中的所有点P_i为采样点，根据变换矩阵T₄计算采样点在被试者下颌标准坐标系下的新坐标T₄P_i，从而获得预测的投影点集S₃＝{T₄P₁,T₄P₂,...,T₄P_m}；计算预测的投影点集S₃和实际模型的标志点集S₂的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到对应的损失函数；

3.5)以变换矩阵T₄为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解Ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵T₄，亦为特殊欧式群SE(3)中的元素。

所述步骤4)中，采用方法一或方法二对多个工业相机进行同步采集；

所述方法一为：通过外接单片机，将单片机接口输出高低电平信号至多个工业相机，利用工业相机的硬触发机制，采集获得同步图像；

所述方法二为：在电脑上，利用工业相机内置驱动的同步采集方法触发多个工业相机，实现多个工业相机的同步采集。

所述步骤4)中指定的标准口腔运动包括：小开口运动、大开口运动、前伸运动、左侧方运动、右侧方运动、边缘运动。

所述步骤5)具体为：

5.1)对于视频中的每一帧，将被试者上颌标准坐标系转换为世界坐标系的变换矩阵记为M₁，将被试者下颌标准坐标系转换为世界坐标系的变换矩阵记为M₂；则N_i为由第i个标志物坐标系转换为世界坐标系的变换矩阵；

其中，i＝1,2,3,4；N₁＝M₁T₁，N₂＝M₁T₂，N₃＝M₁T₃，N₄＝M₂T₄；

5.2)使用计算机图形学的方法，在多个相机位置生成多个与实际图像分辨率相同的虚像，每个实际图像对应一个虚像；在所有标志物的所有可见标志图案上，选择图案的四个角点作为采样点，根据图案对应的变换矩阵计算采样点在虚像上的坐标，即为虚像上的投影点集；计算采样点在实际图像的投影点集和虚像上投影点集的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到标志物对应的损失函数；

5.3)以变换矩阵M₁、M₂为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解优化后的变换矩阵M₁、M₂；

5.4)被试者上下颌相对位姿变换矩阵即为M₂ ^-1M₁，将变换矩阵与牙颌模型相乘即得下颌骨相对于上颌骨的运动轨迹；

5.5)对于被试者上下颌运动轨迹中的每一帧，使用被试者头部模型以及OpenGL库，将上下颌运动轨迹的模型空间转换到世界空间，再从世界空间转换到相机空间，从而完成上下颌运动轨迹的可视化。

所述步骤5.2)中实际图像的投影点集通过下述方法计算得到：

1)对于每张实际图像，将实际图像转化为灰度图，在灰度图上进行边界提取和滤波，对提取到的边界做多边形近似，保留近似成四边形的边界为候选标志图案；

2)对候选标志图案进行编码识别：将属于预定义标志图案的候选标志图案识别为可用的标志图案；

3)使用OpenCV的ArUco Marker模块自动识别每张实际图像上的标志图案，并记录每个标志图案上四个角点的坐标，即为实际图像的投影点集。

所述步骤5.2)中虚像上的投影点集通过下述方法计算得到：

1)基于第i个标志物上第j个图案的第k个角点在对应标志物坐标系中的坐标表示O_ijk，计算得到该角点在世界坐标系的坐标表示N_iO_ijk；

2)基于当前虚像对应相机的外参矩阵L，计算得到第i个标志物上第j个图案的第k个角点在该相机坐标系下的坐标表示LN_iO_ijk；

3)基于当前虚像对应相机的内参矩阵K，计算得到第i个标志物上第j个图案的第k个角点在该相机的像素坐标系下的齐次坐标[x_ijk，y_ijk，z_ijk]^T＝KLN_iO_ijk；

其中x_ijk，y_ijk，z_ijk分别表示该齐次坐标在x轴、y轴、z轴上的投影值。

4)对齐次坐标执行归一化操作，计算得到第i个标志物上第j个图案的第k个角点在对应相机的像素坐标系下的坐标表示[x_ijk/z_ijk，y_ijk/z_ijk]^T，即为该角点在虚像上的投影点；

5)对所有标志物的所有可见标志图案，选择图案的四个角点作为采样点；对每个采样点根据步骤1)～4)依次计算其在虚像上的投影点，从而得到虚像上的投影点集。

本发明的有益效果是：

1)本发明融合CBCT技术、口腔内扫描技术与计算机视觉的多模态电子面弓方法能保证精确度，且计算迅速，等待时间短，能够帮助医生快速地获得被试者口腔运动数据。

2)与其他已有的传感器方案相比，本发明控制了成本。与zebris、卡瓦公司的电子面弓动辄几十万的器械价格相比，本发明的技术路线仅仅需要相机的成本数千元，极大的降低了方案的总价。

3)与各种人工测量的方案相比，本发明需要更少的人力消耗。以往的电子面弓和机械面弓都需要具有丰富经验的专业医生亲手进行操作，当被试者较多时人力成本也随之增加；而本发明操作简便，整个流程自动化程度高，降低了人力成本。

4)与其他已有的技术方案相比，本发明有较高的鲁棒性。相比于其他的视觉方案，本发明采用了多目视觉与人工定义的标志物，能够极大的增强识别的精准性和稳定性，适应多角度多姿态的场景，具有极强的实用价值。

5)本发明利用定位标志物实时分析并重建被试者上下颌骨以及关节的咬合运动，充分发挥多模态技术优势，以轻便、低侵入性的装置获得高精度的运动测量结果。

附图说明

图1为本发明方法的多模态电子面弓流程图。

图2为标志图案示意图(图中仅展示部分标志)。

图3为Ⅰ型标志物的结构示意图。

图4为Ⅰ型标志物与被试者面部标志点的连接示意图。

图5为Ⅱ型标志物的结构示意图。

图6为Ⅱ型标志物与被试者下颌牙列的连接示意图。

图7为视频捕捉示意图。

图中：1、被采者，2、工业相机(左)，3、工业相机(右)。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

如图1，本发明提供了一种融合CBCT技术、口腔内扫描技术与计算机视觉的多模态电子面弓方法，包括步骤：固定Ⅰ型标志物并CBCT拍摄、固定Ⅱ型标志物并口腔内扫描、定位标志物位置、多目工业相机数据采集、上下颌相对位姿状态计算。

1、获取CBCT模态数据。首先需要预先准备三个Ⅰ型标志物：在金属片一侧附着带有图案的薄纸片，另一侧附着粘结剂，从而组装可以固定至人体的标志物，分别将其固定在被试者面部的三个标志点上，然后令被试者进行CBCT拍摄。

具体的，Ⅰ型标志物如图3所示，为其中一侧贴附有标志图案的金属片，标志图案基于OpenCV的ArUco模块生成；每个标志物的规格一致，每个标志物上的标志图案不同，在后续的计算机视觉定位中可识别为不同位置。标志图案如图2所示。

由于Ⅰ型标志物附有ArUco标志图案，故它可在二维图像中被识别；又由于Ⅰ型标志物为金属材质，与人体骨、软组织的灰度值明显不同，故它可在CBCT三维影像中被定位。因此可以依托Ⅰ型标志物实现两种数据的自动配准，从而实现CBCT与计算机视觉模态的数据融合。

被试者面部的三个标志点包括：左眉峰点、右眉峰点、眉间点；第一、二个标志点在同一水平面和同一冠状面上，关于人体正中矢状面对称；第三个标志点位于人体正中矢状面上。Ⅰ型标志物与被试者面部标志点的连接示意如图4所示。

2、获取口腔内扫描模态数据。首先需要预先准备Ⅱ型标志物：利用3D打印技术制造指定标志物模型，在其表面附着带有图案的薄纸片，将标志物弓形内侧粘结在被试者下颌牙列上，并对被试者的上、下颌牙列进行口腔内扫描。

具体的，Ⅱ型标志物如图5所示，包含一个弓形结构和两个正十二面体；弓形结构将与被试者下牙列粘接，故其内侧采用磨砂设计以提高与牙齿的粘结性，上方设计方形、角形凹槽以便于选取特征点配准；正十二面体每个面贴附有不同标志图案的薄纸片，标志图案基于OpenCV的ArUco模块生成；两个正十二面体的规格一致，每个标志图案各不相同。标志图案如图2所示；Ⅱ型标志物与被试者下颌牙列的连接示意如图6所示。

3、定位CBCT数据中的Ⅰ型标志物位置，求解由Ⅰ型标志物坐标系转换至被试者上颌标准坐标系的变换矩阵；同样地，定位口腔内扫描数据中的Ⅱ型标志物位置，求解由Ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵。其目的是依托两种标志物作为中间媒介实现坐标系配准，从而为后续计算机视觉维度的分析提供条件。具体方法为：

1)依据CBCT数据中金属与人体骨、软组织的灰度值明显不同的特点，设定阈值进行体素划分，高效地对CBCT中的三个Ⅰ型标志物的位置进行定位；

2)独立计算每个Ⅰ型标志物坐标系转换至被试者上颌标准坐标系的变换矩阵T₁、T₂、T₃，此类矩阵为特殊欧式群SE(3)中的元素；

3)在Ⅱ型标志物标准模型上手动选取m个标志点S₁＝{P₁，P₂，...，P_m}，主要考虑弓形结构的方形、角形凹槽顶点以增强辨识度；同时在被试者口腔内扫描数据模型的同位置手动取点S₂＝{Q₁，Q₂，...，Q_m}；

4)记Ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵为T₄；以S₁中的所有点P_i为初始采样点，根据变换矩阵T₄计算采样点在被试者下颌标准坐标系下的新坐标T₄P_i，即S₃＝{T₄P₁，T₄P₂，...，T₄P_m}为新的投影点集；计算采样点的投影点集S₃和实际模型标志点集S₂的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到对应的损失函数；

5)以变换矩阵T₄为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解Ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵为T₄，亦为特殊欧式群SE(3)中的元素。

4、采用多目工业相机矩阵进行数据采集：通过张正友标定法对多个工业相机进行相机标定，计算相机的内参与外参；将多个相机从不同角度且等间距位置处对准被试者头部进行采集，保证多个工业相机可以同步采集得到Ⅰ型标志物、Ⅱ型标志物的位置信息；指定被试者进行一系列标准口腔运动，记录被试者的口腔运动视频数据。

具体的，首先要对相机做标定，消除镜头畸变带来的影响，为后续进行图像识别做准备。

使用张正友法进行相机标定，标定过程为：

1)准备标定图片，采用OpenCV代码库生成的棋盘格图片；

2)使用相机对准标定图片从不同角度拍摄；

3)基于OpenCV开源库对每一张标定图片提取角点信息、亚像素点信息；

4)综合棋盘格尺寸，计算得到相机内参矩阵K与外参矩阵L，完成相机的标定。其中，左相机的内参矩阵与外参矩阵分别为K_L与L_L，右相机的内参矩阵与外参矩阵分别为K_R与L_R。

在视频采集时，为了获得更加精确的位姿结果，相机分辨率、视频帧率需要尽可能高，实施例中使用的是2K的工业相机2、3，采集时，保持被采者1与相机2、3的合适距离，如图7所示，需要保证将标志物上的标识图案均置于画面中央附近，确保尽可能多的标志图案能被计算机识别。

多个相机的控制需采用同步算法，一种方法是，另外外接一块单片机，通过单片机接口输出高低电平信号给多个工业相机，利用工业相机的硬触发机制，采集获得同步图像。另一种方法是，在电脑上，利用工业相机内置的软触发机制，使用多线程同步方法触发多个工业相机，实现多个工业相机的同步采集。

开始采集时，被采者控制颌骨关节做医生预先定义好的咬合动作，对于采集时长没有要求，且可重复采集。指定的标准口腔运动包括：小开口运动、大开口运动、前伸运动、左侧方运动、右侧方运动、边缘运动。

5、根据多个视频数据在同一时刻的多张同一帧图像，采用计算机视觉的方法计算Ⅰ型标志物、Ⅱ型标志物在每一帧的坐标和姿态，并依据之前所得的坐标系变换矩阵反求拟合得到被试者上下颌相对位姿状态，重建被试者上下颌运动轨迹，从而可以实现多模态数据融合的电子面弓方法。具体方法为：

1)对于视频中的每一帧，将被试者上颌标准坐标系转换为世界坐标系的变换矩阵记为M₁，将被试者下颌标准坐标系转换为世界坐标系的变换矩阵记为M₂，均为特殊欧式群SE(3)中的元素；故M₁T₁、M₁T₂、M₁T₃、M₂T₄分别为由四个标志物坐标系转换为世界坐标系的变换矩阵；

2)使用计算机图形学的方法，在多个相机位置生成多个与实际图像分辨率相同的虚像，每个实际图像对应一个虚像；在每个标志物的所有可见标志图案上，选择图案的四个角点作为采样点，根据图案对应的变换矩阵计算采样点在虚像上的坐标，即为虚像上的投影点集；计算采样点在实际图像的投影点集和虚像上投影点集的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到标志物对应的损失函数；

3)以变换矩阵M₁、M₂为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解优化后的变换矩阵；

4)被试者上下颌相对位姿变换矩阵即为M₂ ^-1M₁。

本发明提供了一种融合CBCT技术、口腔内扫描技术与计算机视觉的多模态电子面弓方案，通过定位标志物来实时分析并重建被试者上下颌骨以及关节的咬合运动，充分发挥多模态技术优势，以轻便、低侵入性的装置获得高精度的运动测量结果，帮助医生精确快速地诊断颞下颌关节疾病等相关问题。

Claims (10)

1.一种融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，包括以下步骤：

步骤1)准备Ⅰ型标志物，将三个Ⅰ型标志物贴附于被试者面部的三个标志点上，然后对被试者进行CBCT拍摄，获得被试者头部模型；

步骤2)准备Ⅱ型标志物，Ⅱ型标志物由一个弓形结构和两个正多面体组成，将弓形结构粘结与被试者下颌牙列上，然后对被试者的上下颌牙列进行口扫，获得口扫模型；

步骤3)定位头部模型中的Ⅰ型标志物位置，求解由Ⅰ型标志物坐标系转换至被试者上颌标准坐标系的变换矩阵；定位口扫模型中的Ⅱ型标志物位置，求解由Ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵；

步骤4)采用多目工业相机矩阵进行数据采集：通过张正友标定法对多个工业相机进行相机标定，计算相机的内参与外参；将多个相机从不同角度且等间距位置处对准被试者头部进行采集，保证多个工业相机可以同步采集得到Ⅰ型标志物、Ⅱ型标志物的位置信息；指定被试者进行标准口腔运动，记录被试者的口腔运动视频数据；

步骤5)根据多个视频数据在同一时刻的多张同一帧图像，采用计算机视觉方法计算Ⅰ型标志物、Ⅱ型标志物上的角点在每一帧图像的二维坐标，并依据坐标系变换矩阵反求拟合得到被试者上下颌相对位姿状态，从而得到被试者上下颌运动轨迹，并完成上下颌运动轨迹的可视化。

2.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤1)中：

Ⅰ型标志物为其中一侧贴附有标志图案的金属片；每个标志物的规格一致，每个标志物上的标志图案不同；

三个标志点分别为被试者的左眉峰点、右眉峰点、眉间点；第一、二个标志点在同一水平面和同一冠状面上，关于人体正中矢状面对称；第三个标志点位于人体正中矢状面上。

3.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤2)中：

Ⅱ型标志物上的弓形结构顶面开设有多个不同形状的凹槽，用于选取特征点配准；

弓形结构与下牙列的形状适配；弓形结构内侧采用磨砂设计。

4.根据权利要求2所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，

所述Ⅱ型标志物上的两个正多面体为正十二面体，每个面贴附有不同的标志图案，两个正十二面体的规格一致；正十二面体与Ⅰ型标志物上的标志图案尺寸一致，两者的标志图案均基于OpenCV的ArUco模块生成；

正十二面体和Ⅰ型标志物上的每个标志图案均互不相同；

将三个Ⅰ型标志物依次记为第1、2、3个标志物，每个标志物含1个图案，每个图案含4个角点；记第i个标志物上第j个图案的第k个角点在对应的标志物坐标系中的坐标为O_ijk，其中i＝1,2,3；j＝1；k＝1,2,3,4；

将Ⅱ型标志物记为第4个标志物，含20个图案，每个图案含4个角点；记第i个标志物上第j个图案的第k个角点在对应标志物坐标系中的坐标为O_ijk，其中i＝4；j＝1,2,...,20；k＝1,2,3,4。

5.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤3)具体为：

3.1)根据头部模型中各个部位不同的灰度值划分金属片与人体骨、软组织，对头部模型中三个Ⅰ型标志物和上颌的位置进行定位，获得位姿矩阵；

3.2)根据Ⅰ型标志物的位姿矩阵和上颌的位姿矩阵计算得到三个Ⅰ型标志物坐标系转换至被试者上颌标准坐标系的变换矩阵T₁、T₂、T₃；

3.3)在Ⅱ型标志物标准模型的弓形结构上手动选取m个标志点集合S₁＝{P₁,P₂,...,P_i...,P_m}，选取弓形结构的凹槽顶点作为标志点以增强辨识度；

同时在被试者口扫模型上选取与m个标志点S₁同位置的标志点集合S₂＝{Q₁,Q₂,...,Q_i...,Q_m}；

其中，P_i为标志点集S₁上第i个标志点的坐标；Q_i为标志点集S₂上第i个标志点的坐标；

3.4)记Ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵为T₄；

以S₁中的所有点P_i为采样点，根据变换矩阵T₄计算采样点在被试者下颌标准坐标系下的新坐标T₄P_i，从而获得预测的投影点集S₃＝{T₄P₁,T₄P₂,...,T₄P_m}；计算预测的投影点集S₃和实际模型的标志点集S₂的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到对应的损失函数；

3.5)以变换矩阵T₄为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解Ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵T₄。

6.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤4)中，采用方法一或方法二对多个工业相机进行同步采集；

所述方法一为：通过外接单片机，将单片机接口输出高低电平信号至多个工业相机，利用工业相机的硬触发机制，采集获得同步图像；

所述方法二为：在电脑上，利用工业相机内置驱动的同步采集方法触发多个工业相机，实现多个工业相机的同步采集。

7.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤4)中指定的标准口腔运动包括：小开口运动、大开口运动、前伸运动、左侧方运动、右侧方运动、边缘运动。

8.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤5)具体为：

5.1)对于视频中的每一帧，将被试者上颌标准坐标系转换为世界坐标系的变换矩阵记为M₁，将被试者下颌标准坐标系转换为世界坐标系的变换矩阵记为M₂；则N_i为由第i个标志物坐标系转换为世界坐标系的变换矩阵；

其中，i＝1,2,3,4；N₁＝M₁T₁，N₂＝M₁T₂，N₃＝M₁T₃，N₄＝M₂T₄；

5.2)使用计算机图形学的方法，在多个相机位置生成多个与实际图像分辨率相同的虚像，每个实际图像对应一个虚像；在所有标志物的所有可见标志图案上，选择图案的四个角点作为采样点，根据图案对应的变换矩阵计算采样点在虚像上的坐标，即为虚像上的投影点集；对于每张实际图像及其对应的虚像，计算采样点在实际图像的投影点集和虚像上投影点集的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到标志物对应的损失函数；

5.3)以变换矩阵M₁、M₂为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解优化后的变换矩阵M₁、M₂；

5.4)被试者上下颌相对位姿变换矩阵即为M₂ ^-1M₁，将变换矩阵与牙颌模型相乘即得下颌骨相对于上颌骨的运动轨迹；

5.5)对于被试者上下颌运动轨迹中的每一帧，使用被试者头部模型以及OpenGL库，将上下颌运动轨迹的模型空间转换到世界空间，再从世界空间转换到相机空间，从而完成上下颌运动轨迹的可视化。

9.根据权利要求8所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤5.2)中实际图像的投影点集通过下述方法计算得到：

1)对于每张实际图像，将实际图像转化为灰度图，在灰度图上进行边界提取和滤波，对提取到的边界做多边形近似，保留近似成四边形的边界为候选标志图案；

2)对候选标志图案进行编码识别：将属于预定义标志图案的候选标志图案识别为可用的标志图案；

3)使用OpenCV的ArUco Marker模块自动识别每张实际图像上的标志图案，并记录每个标志图案上四个角点的坐标，即为实际图像的投影点集。

10.根据权利要求8所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤5.2)中虚像上的投影点集通过下述方法计算得到：

1)基于第i个标志物上第j个图案的第k个角点在对应标志物坐标系中的坐标表示O_ijk，计算得到该角点在世界坐标系的坐标表示N_iO_ijk；

2)基于当前虚像对应相机的外参矩阵L，计算得到第i个标志物上第j个图案的第k个角点在该相机坐标系下的坐标表示LN_iO_ijk；

3)基于当前虚像对应相机的内参矩阵K，计算得到第i个标志物上第j个图案的第k个角点在该相机的像素坐标系下的齐次坐标[x_ijk，y_ijk，z_ijk]^T＝KLN_iO_ijk；

其中x_ijk，y_ijk，z_ijk分别表示该齐次坐标在x轴、y轴、z轴上的投影值。

4)对齐次坐标执行归一化操作，计算得到第i个标志物上第j个图案的第k个角点在对应相机的像素坐标系下的坐标表示[x_ijk/z_ijk，y_ijk/z_ijk]^T，即为该角点在虚像上的投影点；

5)对所有标志物的所有可见标志图案，选择图案的四个角点作为采样点；对每个采样点根据步骤1)～4)依次计算其在虚像上的投影点，从而得到虚像上的投影点集。