CN114998443A - 一种基于多目计算机视觉的高精度电子面弓方法 - Google Patents

Abstract

本发明公开了一种基于多目计算机视觉的高精度电子面弓方法。1)刚性连接多面体标志物；2)多相机视频数据采集，将多个相机从不同角度对准牙列及标志物，采集标志物与牙齿的运动视频；3)运动轨迹数据处理，将每个相机同一帧图像化简为最小二乘优化问题，求解得到更加准确的标志物位置信息；4)下颌运动可视化，将标志物的运动轨迹数据转换后应用在三维牙颌模型上，得到重建出的人体下颌动态虚拟咬合动作，并渲染输出到屏幕上；5)标志点轨迹可视化，结合三维牙颌模型及下颌运动结果，计算得到切点及髁点标志点位置，并绘制出标志点在不同运动下的轨迹。本发明基于计算机视觉技术，捕捉上下颌关节的运动轨迹，实现高精度的动态虚拟咬合模拟。

Description

一种基于多目计算机视觉的高精度电子面弓方法

技术领域

本发明属于口腔数字化医疗领域，具体涉及一种基于多目计算机视觉的高精度电子面弓方法，使用计算机视觉技术动态模拟上下颌骨以及髁突关节的咬合运动，为口腔修复设计、颞下颌关节疾病诊断等提供辅助。

背景技术

电子面弓是使用数字化技术记录、模拟人体颌骨运动的一种技术，对于颞下颌关节疾病的诊断以及口腔修复和矫治都有很好的辅助作用。传统的面弓技术需要使用精密的机械装置，操作复杂，器材携带困难，表达信息有限；而现有的电子面弓技术全部属于外国医疗器械公司，大多采用传感器方案，使用光学、运动及超声传感器等进行颌骨运动数据的采集，设备价格极其高昂。因此，需要兼顾经济性与实用性的全新技术方案。

本发明旨在提出一种更简便的全新电子面弓解决方案，使用多个工业相机配合标志物代替传感器，通过计算机视觉技术，捕捉标志物的位姿信息，进而计算得到上下颌骨的位姿信息。为了提升精确性和鲁棒性，标志物采用上下颌各一个多面体，在保证装置精简的条件下确定多个面的位姿，得到更加准确、稳定的运动轨迹。该技术方案成本远低于现有电子面弓方案，且操作简单，识别准确。

发明内容

为了解决背景技术中的问题，本发明使用刚性连接多面体标志物和计算机视觉算法识别的方法，在颌骨运动过程中采集每一帧包含标志物的多角度图像，并对得到的多角度图像进行优化处理，从而得到准确的颌骨运动信息，在人体上下颌骨上进行运动重现及轨迹可视化，能够做到快速准确的轨迹重现，帮助医生进行咬合诊断，简化原先繁琐的调试工作，提高医疗效率和质量，同时兼顾经济性。

本发明采用的技术方案包括以下步骤：

步骤1)根据被试者的口腔扫描及CBCT数据获取上下颌骨和三维牙颌模型，使用流体树脂在被试者的上下牙列各固定一个带有连接杆的多面体标志物，通过口扫确定标志物与牙列的相对位置关系；

步骤2)采用多个工业相机进行数据采集：通过张定友法对多个工业相机进行相机标定，将多个相机从不同角度且等间距位置处对准被试者，令多面体标志物清晰的位于多个工业相机的拍摄画面中央，指导被试者进行张口、侧方、前伸、边缘运动等下颌运动，多个工业相机同步采集被试者每次运动开始至结束的视频；

步骤3)多个工业相机在同一时刻拍摄同一帧图像，根据多个视频在同一时刻的多张同一帧图像，计算上牙列或下牙列的多面体标志物在每帧的坐标和姿态，将标志物在每帧的坐标和姿态进行整合获得标志物在咬合过程中的轨迹；

步骤4)根据上牙列识别标志物与上颌骨的相对位置关系获得上颌骨变换矩阵，根据下牙列识别标志物和下颌骨的相对位置关系获得下颌骨变换矩阵，将上颌骨变换矩阵的逆与下颌骨变换矩阵相乘，从而获得被试者下颌骨相对于上颌骨的变换矩阵，将变换矩阵与牙颌模型相乘得到下颌骨相对于上颌骨的运动轨迹；

步骤5)确定下颌标志点的位置，下颌标志点包括切点和髁点：

5.1)切点：从步骤2)获取的牙颌模型中直接得到切点(切牙处标志点，下颌中切牙近中接触点的位置)；

5.2)髁点(包括髁突铰链轴点和运动中心点)：根据步骤4)获取的下颌骨相对于上颌骨的变换矩阵，获得下颌任意一点相对于上颌的运动轨迹，根据不同点做咬合运动时的运动轨迹，计算髁突铰链轴点及运动中心点的位置，从而获得髁点(髁突处标志点)的位置。

将切点和髁点位置分别与下颌骨相对于上颌骨的变换矩阵相乘得到切点和髁点的运动轨迹。

所述多面体标志物不与连接杆相接的面贴附有不同的正方形标志图案，标志图案基于OpenCV的Aruco模块生成；每个标志物的规格一致，每个标志物上的标志图案不同。多面体包括六面体、八面体、十二面体及二十面体。

所述步骤2)中多个工业相机的同步采集方法为：通过外接单片机，输出高低电平信号至多个工业相机，利用工业相机的硬触发机制，采集获得同步图像；

所述步骤2)中多个工业相机的同步采集方法为：在电脑上，利用工业相机内置驱动的同步采集方法触发多个工业相机，实现多个工业相机的同步采集。

使用张定友法进行相机标定，标定过程为：

1)准备标定图片，采用OpenCV代码库生成棋盘格图片；

2)使用相机对准标定图片从不同角度拍摄；

3)基于OpenCV开源库对每张标定图片提取角点信息、亚像素点信息；

4)综合棋盘格尺寸，计算得到相机内外参矩阵，完成相机的标定。

所述步骤3)具体为：

3.1)对于标志物在视频中的每一帧，标志物在该帧相对第一帧的相对运动记为旋转矩阵R和平移矩阵T。

3.2)对于视频中每一帧的标志物，使用计算机图形学的方法，在多个相机位置生成多个与实际图像分辨率相同的虚像，每个实际图像对应一个虚像；在世界空间的所有标志物上，选择在标志图案的四个角点作为采样点，根据旋转矩阵R和平移矩阵T计算采样点在虚像上的坐标，即为虚像上的投影点集；计算采样点在实际图像的投影点集和虚像上投影点集的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到标志物对应的损失函数；

3.3)以旋转矩阵R、平移矩阵T为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解每一帧标志物优化后的旋转矩阵R、平移矩阵T；

迭代求解时的初值采用首帧图像的旋转矩阵R、平移矩阵T；

3.4)取上牙列或下牙列上其中一个标志物作为识别标志物，通过步骤3.1)～步骤3.3)计算得到识别标志物每帧优化后的旋转矩阵R、平移矩阵T，根据识别标志物每帧优化后的旋转矩阵R、平移矩阵T得到识别标志物每帧的坐标和姿态，将标志物在每帧的坐标和姿态进行整合获得标志物在咬合过程中的轨迹。

所述步骤3.2)中实际图像的投影点集通过下述方法计算得到：

1)对于每张实际图像，将实际图像转化为灰度图，在灰度图上进行边界提取和滤波，对提取到的边界做多边形近似，保留近似成正方形的边界为候选标志图案，忽略其他边界；

2)对候选标志图案进行编码识别：将属于预定义标志图案的候选标志图案识别为可用的标志图案，没有识别出的候选标志图案会被舍弃；

3)使用OpenCV的Aruco Marker模块自动识别每张实际图像上的标志图案，并记录每个标志图案上四个角点的坐标，即为实际图像的投影点集。

每个标志图案有四个角点，以十二面体标志物为例，每个标志物上能够识别出4到6个标志图案。

所述步骤4)还包括标志物轨迹的可视化：

对于标志物在视频中的每一帧，使用标志物模型以及OpenGL库，将标志物轨迹从模型空间转换到世界空间，再从世界空间转换到相机空间，获得下颌骨相对上颌骨每一帧的变换矩阵，从而完成对下颌骨运动轨迹的可视化。

在模型空间转换到世界空间时，将步骤3)中每帧优化后所得的旋转和平移矩阵乘以标志物首帧坐标。

所述步骤5.2)具体为：

5.2.1)在牙颌模型的矢状平面上，以髁突区内任意一点的坐标为自变量，将下颌做小开口运动时该点对应的运动轨迹长度作为优化目标，采用梯度下降法求解髁突区内运动轨迹长度最短的点，求解获得的点即为髁突铰链轴点。

5.2.2)在牙颌模型的矢状平面上，以髁突铰链轴点为中心，确定一个边长为16毫米的正方形，取正方形各边中点及顶点共八个点，根据下颌骨相对于上颌骨的变换矩阵计算下颌做前伸运动及开口运动时八个点的运动轨迹；

5.2.3)对于步骤5.2.2)获取的八个点，将每个点的前伸运动轨迹和开口运动轨迹所包围的面积与前伸运动轨迹和开口运动轨迹中较短的一条轨迹长度相除，相除结果最小时对应的点为中心，再次确定一个边长为原边长一半的正方形；

5.2.4)迭代重复步骤5.2.2)～步骤5.2.3)，直至正方形边长为0.25毫米停止迭代，此时正方形的中心点为髁突运动中心点，髁突运动中心点的前伸及开口运动轨迹重合。

正方形与矢状平面的坐标轴平行。

本发明的有益效果是：

1)本发明基于计算机视觉技术，能保证电子面弓精确度，且计算迅速，等待时间短，能够帮助口腔科医生获取颌骨运动数据和相关标志点轨迹，辅助颞下颌相关疾病诊断及颌架参数计算。

2)与其他已有的传感器方案相比，本发明成本低廉。与zebris、KaVo公司的电子面弓器械动辄几十万的价格相比，按照本发明的技术路线，成本仅仅需要相机的数千元，极大的降低了方案的总价。

3)与现有技术相比，本发明操作简便，以往的电子面弓和机械面弓需要专门的培训师对口腔科医师进行使用培训，而本发明仅需将标志物固定在患者的上下牙列上，指导患者完成下颌运动视频采集即可，简单快捷。

4)与现有技术相比，本发明有较高的鲁棒性。相比于其他的视觉方案，本发明采用了上下牙列各连接一个多面体的设计，能在增加标志图案识别数量的同时降低方案复杂性，减少录制视频时标志物间的相互遮挡，避免被采者做下颌运动时标志物间相互碰撞，能够增强识别的准确性和稳定性，适应多角度多姿态的应用场景，具有极强的实用价值。

附图说明

图1为本发明方法的姿态识别流程图。

图2为标记图案示意图。

图3为多面体标志物的结构示意图(以十二面体为例)。

图4为标志物与上下牙列的连接示意图。

图5为视频捕捉示意图。

图中：1、被采者，2、工业相机。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

如图1，本发明提供了一种使用多面体标志物复原人体上下颌骨运动轨迹的方法，包括步骤：刚性标志物连接、相机数据采集、运动数据处理、下颌运动可视化、标志点轨迹可视化。

1、在进行图像采集前，需要使用多种电子设备获取人体头部骨骼的数据信息以对颅颌部进行建模，数据信息包括但不限于含有口腔信息的口扫图像以及CBCT影像数据。

具体的，在进行第一个步骤，刚性连接标志物时，所使用的标志图案如图2所示，每一个小方格表示一个标志图案，按顺序将标志图案粘附至多面体标志物的各个面上，在此以十二面体为例，完成粘附的多面体如图3所示，视为一个标志物。

在得到粘附好标志图案的多面体后，需要将多面体刚性连接到牙列上，使用流体树脂，在上下牙列各连接一个标志物，并在口扫时扫描标志物与上下牙列的相对位置关系，连接后的上下颌与标志物如图4所示。

2、在连接标志物完成后，需要进行相机数据采集。

具体的，首先要对相机做标定，消除镜头畸变带来的影响，为后续进行图像识别做准备，

使用张定友法进行相机标定，标定过程为：

1)准备标定图片，采用OpenCV代码库生成的棋盘格图片；

2)使用相机对准标定图片从不同角度拍摄；

3)基于OpenCV开源库对每一张标定图片提取角点信息、亚像素点信息；

4)综合棋盘格尺寸，计算得到相机内外参矩阵，完成相机的标定。

然后是图像的采集，因为采集的是动态视频，所以要求帧率要尽量高，实施例中使用的是2K60hz的工业相机2，采集时，保持被采者1与各个相机2的合适距离，如图5所示，需要保证将两个标志物置于画面中央，确保多面体能够被捕捉到。

多个相机的控制需采用同步算法，一种方法是，另外外接一块单片机，通过单片机接口输出高低电平信号给多个工业相机，利用工业相机的硬触发机制，采集获得同步图像。另一种方法是，在电脑上，利用工业相机内置的软触发机制，使用多线程同步方法触发多个工业相机，实现多个工业相机的同步采集。

开始采集时，被采者在医生指导下做相应的下颌动作，对于采集时长并没有要求，且可重复采集。

3、将运动轨迹、标志物与颌骨的相对位置以及从医学图像重建得到的头骨模型输入计算机，进行运动数据的处理，目的是通过每一帧图像，计算得到每一个标志物的位姿信息，即物体空间坐标和法线朝向。为了使得计算结果更加准确，需要对得到的轨迹做优化，具体方法为：

1)对视频第一帧，通过OpenCV计算标志物的位姿；

2)将其他帧相对第一帧的相对运动描述为旋转和平移矩阵R和T；

3)对于其他帧中每个相对运动后的标志物，使用计算机图形学的方法，在每个相机位置生成一个与实际图像分辨率相同的虚像，在实际图像的标志物中选取多个位于标志图像上的点作为采样点，计算采样点在实际图像和每个虚像上的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和即得损失函数。

4)以旋转矩阵R、平移矩阵T为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法、共轭梯度法等方法来求解旋转矩阵R、平移矩阵T，完成标志物的轨迹优化。

4、然后是下颌运动的可视化。

1)标志物的可视化：对于标志物轨迹的每一帧，使用标志物模型以及OpenGL库，将标志物轨迹从模型空间转换到世界空间，再从世界空间转换到相机空间，并且控制播放帧率与采集帧率一致，从而完成标志物轨迹的可视化；

在模型空间转换到世界空间时，将每一帧计算得到的旋转和平移矩阵乘以标志物首帧坐标，得到该帧标志物位姿。

2)头骨运动的可视化：已知标志物与上下颌骨的相对位置关系，根据多面体和上下颌骨的相对位置关系获得两者变换矩阵，且标志物与上下颌骨的相对位置关系在运动过程中保持不变，因此，将标志物的位姿与变换矩阵相乘可获得上下颌骨的位姿，从而得到颌骨的运动轨迹，完成下颌运动的可视化过程。

5、最后是确定下颌标志点位置及运动轨迹：

1)切点：根据获取的牙颌模型，可以直接确定切点的位置。

2)髁突铰链轴点：在矢状平面上，以髁突区内任意一点为起始点，将小开口运动的运动轨迹长度作为目标函数，采用梯度下降法求解，得到运动轨迹最短的点，确定为髁突铰链轴点。

3)髁突运动中心点：以铰链轴点为中心，确定一个边长为16毫米的正方形，取正方形各边中点及顶点共8个点，将前伸运动及开口运动轨迹所包围的面积与较短的一条轨迹长度相除作为目标函数，以各点中该值最小的点为中心，再次确定一个边长为原先一半的正方形，迭代获得前伸及开口运动轨迹重合的一点，确定为髁突运动中心点。

本发明提供了一种基于多目计算机视觉的高精度电子面弓技术方案，通过在牙齿上连接多面体标志物的方法，捕捉上下颌骨的运动轨迹，从而将下颌标志点轨迹进行可视化，为口腔颞下颌关节疾病的诊断及口腔修复设计等提供辅助。

Claims (8)

1.一种基于多目计算机视觉的高精度电子面弓方法，其特征在于，包括以下步骤：

步骤1)根据被试者的CBCT影像数据及口内扫描数据，获取牙列信息及三维牙颌模型，使用流体树脂在被试者的上下牙列通过连接杆各固定一个多面体标志物，再次进行口扫，获得标志物与牙列的相对位置关系；

步骤2)采用多个工业相机进行数据采集：通过张定友法对多个工业相机进行相机标定，将多个相机从不同角度且等间距位置处对准被试者口腔，且牙列上连接的标志物位于多个工业相机的拍摄画面中央，被试者做咬合动作，多个工业相机同步采集被试者下颌从运动开始至结束的视频；

步骤3)根据多个视频在同一时刻的多张同一帧图像，计算上牙列及下牙列的标志物在每一帧的坐标和姿态，将标志物在每一帧的坐标和姿态进行整合，获得标志物在运动过程中的轨迹；

步骤4)根据上牙列识别标志物与上颌骨的相对位置关系获得上颌骨变换矩阵，根据下牙列识别标志物和下颌骨的相对位置关系获得下颌骨变换矩阵，将上颌骨变换矩阵的逆与下颌骨变换矩阵相乘，从而获得被试者下颌骨相对于上颌骨的变换矩阵，将变换矩阵与牙颌模型相乘得到下颌骨相对于上颌骨的运动轨迹；

步骤5)确定下颌标志点的位置，下颌标志点包括切点和髁点：

5.1)切点：从步骤2)获取的牙颌模型中得到切点；

5.2)髁点：根据步骤4)获取的下颌骨相对于上颌骨的变换矩阵，获得下颌任意一点相对于上颌的运动轨迹，根据不同点做咬合运动时的运动轨迹，计算髁突铰链轴点及运动中心点的位置，从而获得髁点的位置。

2.根据权利要求1所述的一种基于多目计算机视觉的高精度电子面弓方法，其特征在于，所述多面体标志物中的一到两个面与连接杆相连，其余面贴附有不同的正方形标志图案，标志图案基于OpenCV的Aruco模块生成；两个多面体标志物规格一致，所贴附的标志图案不同。

3.根据权利要求1所述的一种基于多目计算机视觉的高精度电子面弓方法，其特征在于，所述步骤2)中多个工业相机的同步采集方法为：通过外接单片机，输出高低电平信号至多个工业相机，利用工业相机的硬触发机制，采集获得同步图像。

4.根据权利要求1所述的一种基于多目计算机视觉的高精度电子面弓方法，其特征在于，所述步骤2)中多个工业相机的同步采集方法为：在电脑上，利用工业相机内置驱动的同步采集方法触发多个工业相机，实现多个工业相机的同步采集。

5.根据权利要求1所述的一种基于多目计算机视觉的高精度电子面弓方法，其特征在于，所述步骤3)具体为：

3.1)对于标志物在视频中的每一帧，标志物在该帧相对第一帧的相对运动记为旋转矩阵R和平移矩阵T；

3.2)对于视频中每一帧的标志物，使用计算机图形学的方法，在多个相机位置生成多个与实际图像分辨率相同的虚像，每个实际图像对应一个虚像；在世界空间的所有标志物上，选择标志图案的四个角点作为采样点，根据旋转矩阵R和平移矩阵T计算采样点在虚像上的坐标，即为虚像上的投影点集；计算采样点在实际图像的投影点集和虚像上投影点集的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到标志物对应的损失函数；

3.3)以旋转矩阵R、平移矩阵T为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解每一帧标志物优化后的旋转矩阵R、平移矩阵T；

3.4)取上牙列或下牙列上其中一个标志物作为识别标志物，通过步骤3.1)～步骤3.3)计算得到识别标志物每帧优化后的旋转矩阵R、平移矩阵T，根据识别标志物每帧优化后的旋转矩阵R、平移矩阵T得到识别标志物每帧的坐标和姿态，将标志物在每帧的坐标和姿态进行整合获得标志物在咬合过程中的轨迹。

6.根据权利要求5所述的一种基于多目计算机视觉的高精度电子面弓方法，其特征在于，所述步骤3.2)中实际图像的投影点集通过下述方法计算得到：

1)对于每张实际图像，将实际图像转化为灰度图，在灰度图上进行边界提取和滤波，对提取到的边界做多边形近似，保留近似成四边形的边界为候选标志图案；

2)对候选标志图案进行编码识别：将属于预定义标志图案的候选标志图案识别为可用的标志图案；

3)使用OpenCV的Aruco Marker模块自动识别每张实际图像上的标志图案，并记录每个标志图案上四个角点的坐标，即为实际图像的投影点集。

7.根据权利要求1所述的一种基于多目计算机视觉的高精度电子面弓方法，其特征在于，所述步骤4)还包括上下颌骨运动轨迹的可视化：

对于标志物在视频中的每一帧，使用标志物模型以及OpenGL库，将标志物轨迹从模型空间转换到世界空间，再从世界空间转换到相机空间，获得下颌骨相对上颌骨每一帧的变换矩阵，从而完成对下颌骨运动轨迹的可视化。

8.根据权利要求1所述的一种基于多目计算机视觉的高精度电子面弓方法，其特征在于，所述步骤5.2)具体为：

5.2.1)在牙颌模型的矢状平面上，以髁突区内任意一点的坐标为自变量，将下颌做小开口运动时该点对应的运动轨迹长度作为优化目标，采用梯度下降法求解髁突区内运动轨迹长度最短的点，求解获得的点即为髁突铰链轴点。

5.2.2)在牙颌模型的矢状平面上，以髁突铰链轴点为中心，确定一个边长为16毫米的正方形，取正方形各边中点及顶点共八个点，根据下颌骨相对于上颌骨的变换矩阵计算下颌做前伸运动及开口运动时八个点的运动轨迹；

5.2.3)对于步骤5.2.2)获取的八个点，将每个点的前伸运动轨迹和开口运动轨迹所包围的面积与前伸运动轨迹和开口运动轨迹中较短的一条轨迹长度相除，相除结果最小时对应的点为中心，再次确定一个边长为原边长一半的正方形；

5.2.4)迭代重复步骤5.2.2)～步骤5.2.3)，直至正方形边长为0.25毫米停止迭代，此时正方形的中心点为髁突运动中心点。

Images