CN109166177A

CN109166177A - 一种颅颌面外科手术的术中导航方法

Info

Publication number: CN109166177A
Application number: CN201810979540.7A
Authority: CN
Inventors: 陈莉; 唐人杰
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2018-08-27
Filing date: 2018-08-27
Publication date: 2019-01-08

Abstract

本发明提出一种颅颌面外科手术的术中导航方法，涉及数字化医疗技术领域。该方法首先获取患者术前电子计算机断层扫描颅颌面图像并进行三维重建，得到该患者术前面部三维网格模型并提取患者术前面部三维网格模型特征点，得到患者术前面部三维特征点点云；手术中实时获取从两个方位拍摄的患者术中实时面部照片，根据照片生成患者术中面部二维特征点点云；根据患者术中面部二维特征点点云和患者术前面部三维特征点点云，确定患者术中实时头部姿态相对于术前电子计算机断层扫描颅颌面图像的配准结果，实现术中导航。本发明设备简单，操作简便，成本低廉，导航效果准确，有较高的实用价值。

Description

一种颅颌面外科手术的术中导航方法

技术领域

本发明涉及数字化医疗技术领域，具体涉及一种颅颌面外科手术的术中导航方法。

背景技术

在颅颌面外科手术过程中，医生通常需要在手术前利用医学影像设备例如电子计算机断层扫描获得患者的颅颌面多模态医学影像，从而在术前制定手术计划，并在术中将患者的术中实时头部姿态与术前医学影像相配准，通过术中导航实时显示医生手术器械于术前患者颅颌面多模态医学影像中的位置，指导医生在手术中操作。

在术中导航领域，目前有在患者体内预先植入金属标记物以辅助配准，以及使用红外导航、三维激光扫描仪等光学导航捕捉患者术中姿态等方法。其中，预先在患者体内植入金属标记物的方法需要在手术前在患者体内植入可以在电子计算机断层扫描图像中显示的金属标记物，并根据术前采集的电子计算机断层扫描图像中金属标记物位置以及术中实时捕捉的金属标记物位置关系确定患者术中实时姿态和术前医学影像姿态的关系，此方法由于需要在患者体内植入金属标记物，因而会为患者的手术过程带来额外的痛苦。使用光学导航设备捕捉患者姿态的方法通过借助光学设备在手术过程中实时采集患者术中姿态，并将其与术前采集的电子计算机断层扫描图像进行配准，此方法使用的光学导航设备价格较为昂贵，会为术中导航带来较高的成本。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种颅颌面外科手术的术中导航方法。本发明克服现有技术中光学导航成本昂贵以及会为患者带来额外痛苦的问题，设备简单，操作简便，成本低廉，导航效果准确，有较高的实用价值。

本发明提出一种颅颌面外科手术的术中导航方法，其特征在于，包括以下步骤：

1)在进行颅颌面外科手术前，获取待进行手术的患者的术前电子计算机断层扫描颅颌面图像并进行三维重建，得到该患者术前面部三维网格模型；

2)在步骤1)得到的患者术前面部三维网格模型中提取患者术前面部三维网格模型特征点，得到患者术前面部三维特征点点云；

3)手术开始后，实时获取从两个方位拍摄的患者术中实时面部图片；

4)根据步骤3)获取的图片生成患者术中面部二维特征点点云；

5)根据患者术中面部二维特征点点云和患者术前面部三维特征点点云，确定患者术中实时头部姿态相对于术前电子计算机断层扫描颅颌面图像的配准结果，实现术中导航。

本发明的特点及有益效果在于：

本发明使用双目摄像机获取从两个方位拍摄的患者术中实时面部照片，相比于现有技术的使用光学导航设备捕捉患者实时姿态的方法更为廉价，可以降低术中导航的成本。

本发明在由术前电子计算机断层扫描图像三维重建出的颅颌面三维网格模型以及患者术中实时面部照片上分别提取特征点，根据特征点点云对患者术前和术中姿态进行配准，相比于现有技术中在患者体内植入金属标记物并根据标记物方位对患者姿态进行配准的方法，不会对患者造成额外痛苦。

本发明根据在患者术前电子计算机断层扫描图像和术中实时面部照片中位置固定的特征点进行点云配准，配准结果可以反映患者术前和术中的头部实际姿态差异，根据配准结果可以准确计算出术中医生手术器械于术前患者颅颌面医学影像中的位置，指导医生在手术中操作，有较高的实用价值。

附图说明

图1是本发明实施例的一种颅颌面外科手术的术中导航方法整体流程图。

具体实施方式

本发明提出一种颅颌面外科手术的术中导航方法，下面结合附图和具体实施例对本发明进一步详细说明如下。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明提出一种颅颌面外科手术的术中导航方法，整体流程如图1所示，包括以下步骤：

在本实施例中，通过获取患者术前电子计算机断层扫描颅颌面图像，将患者术前电子计算机断层扫描颅颌面图像体数据三维重建为患者术前面部三维网格模型。具体地，使用Marching cubes算法提取患者术前电子计算机断层扫描颅颌面图像的三维体数据得到患者术前头部皮肤等值面三维网格模型，头部皮肤等值面的取值与头部皮肤的CT值相等。直接提取的患者头部皮肤等值面包含了较多的呼吸道和耳道的冗余顶点，且后续步骤中在患者术前面部三维网格模型上提取特征点仅需要用到患者面部网格顶点，呼吸道和耳道的冗余顶点以及患者头部后方的冗余顶点不利于特征点的提取，故对皮肤等值面三维网格模型向患者面朝方向做投影，在每条与患者面朝方向平行的水平线上仅保留投影距离最大的一个顶点，去除其余投影距离并非最大的顶点，将这些在患者面朝方向上投影距离最大的顶点组成的三维网格模型即认为是患者术前面部三维网格模型。

2)在步骤1)得到的患者术前面部三维网格模型中提取患者术前面部三维网格模型特征点，得到患者术前面部三维特征点点云；具体步骤如下：

2-1)获取三维网格模型训练数据集；

在本实施例中，为了得到患者术前面部三维网格模型特征点特征，需要获取包含大量已进行特征点人工标注的不同患者面部三维网格模型作为训练数据集。具体地，从医院获取M名(本实施例为58名)不同患者的电子计算机断层扫描颅颌面图像，重复步骤1)，将每张颅颌面图像分别三维重建为对应的患者面部三维网格模型，由人手工在每个患者面部三维网格模型上标注具有显著几何特征的68个特征点(当前国际通用的人脸特征点标注数据集常用的68个特征点)，将人工标注过特征点位置的所有不同患者面部三维网格模型构成三维网格模型训练数据集。

2-2)对待进行手术的患者术前面部三维网格模型进行粗配准，确定特征点大致位置；

在本实施例中，对步骤1)得到的患者术前面部三维网格模型以及步骤2-1)得到的三维网格模型训练数据集中面部三维网格模型进行粗配准，使其对齐，根据三维网格模型训练数据集中手工标注的特征点位置，统计出每个特征点的平均位置作为步骤1)的患者术前面部三维网格模型特征点的大致位置。

具体地，为了使步骤1)得到的患者术前面部三维网格模型以及步骤2-1)得到的三维网格模型训练数据集中面部网格模型对齐，对以上所述所有面部三维网格模型每个模型的所有顶点进行Graph based聚类，首先对所有网格模型根据其每个顶点的法向量使用kmeans算法对顶点聚类，然后对每个聚类进行连通性检测，分开不连通的聚类，最后将包含顶点数量小于设定的顶点数量阈值(一般为顶点数量小于鼻子聚类顶点数量)的聚类向其临近聚类合并，以上聚类算法大致能将患者和训练集中所有三维网格模型中每个模型的所有顶点聚为20类，得到的聚类结果可以较好地区分每个三维网格模型的各个部分。

对三维网格模型训练数据集中面部三维网格模型的每个聚类提取该聚类的MSI(平均spin图)特征，并使用SVM(Support Vector Machine，支持向量机)训练每个聚类的MSI特征与其是否鼻子区域的关系，使用鼻子区域的原因为鼻子区域在不同患者间形态差异较小且特征明显便于配准，MSI特征的计算方法如下：

其中P为任一聚类内所有顶点，spin-image(p)为聚类P在其顶点p处的spin-image(spin图)特征。spin-image特征的计算方法如下：

首先选取顶点p领域内的任一顶点x，计算x在p位置沿p处法向量构建的圆柱坐标系下坐标；表达式如下：

其中x为顶点p周围10mm范围内任一顶点，n为聚类P在顶点p处法向量，(α,β)为x在p位置沿p处法向量构建的圆柱坐标系(由x在p处过x的法平面下坐标生成的坐标系)下坐标；

对顶点p周围10mm范围内所有顶点x计算对应的坐标(α,β)，得到一个关于α和β的直方图即为顶点p处的spin-image特征。

对患者术前面部三维网格模型的每个聚类提取出对应的MSI特征后，由人手工在三维网格模型训练数据集中每个面部三维网格模型Graph based聚类中标注属于鼻子的聚类，使用SVM分类器根据三维网格模型训练数据集中面部三维网格模型的每个Graph based聚类的MSI特征(平均spin图)与其是否为鼻子区域的关系进行训练，得到训练模型，再使用三维网格模型训练模型对步骤1)得到的患者术前面部三维网格模型的每个Graph based聚类进行分类，得到患者术前面部三维网格模型中鼻子所在区域。

根据由人手工在三维网格模型训练数据集中所有患者面部三维网格模型中标注出的鼻子所在区域，使用ICP(Iterative Closest Point，迭代最近点)算法根据三维网格模型训练数据集中所有面部三维网格模型的鼻子区域对三维网格模型训练数据集中所有面部网格模型进行粗配准，统计每个面部网格模型中人工标注的特征点平均位置作为对应特征点的粗定位位置。

2-3)计算步骤2-1)得到的三维网格模型训练数据集中所有面部三维网格模型特征点特征，根据特征在步骤1)得到的患者术前三维网格模型中提取对应特征点；

在本实施例中，对步骤1)得到的患者术前面部三维网格模型以及步骤2-2)得到的特征点粗定位位置，提取特征点附近的PFH(Point Feature Histogram，点特征直方图)特征，根据每个特征点附近的PFH特征在该特征点粗定位位置附近搜索该特征点准确位置。

具体地，对步骤2-2)得到的特征点粗定位位置邻域内所有顶点计算其PFH点特征直方图特征，根据该顶点是否为特征点使用SVR(Support Vector Regression，支持向量回归)训练该顶点为特征点的概率，支持向量回归的输入为该顶点的点特征直方图特征向量，输出为该顶点是否为特征点，对三维网格模型训练集中所有面部三维网格模型特征点进行训练后得到支持向量回归模型，使用支持向量回归模型对患者术前面部三维网格模型所有特征点粗定位位置附近顶点进行预测，取每个特征点粗定位位置附近顶点中输出概率值最高的顶点为患者术前面部三维网格模型的特征点。

在本实施例只是示例性的说明如何在患者术前面部三维网格模型上提取特征点点云，而不应当被理解为对本发明技术方案的限定，可以理解的是，其它与本实施例类似的面部三维网格模型特征点点云的提取方法，也应当落入本发明的保护范围内。

通过本实施例的患者术前面部三维网格模型特征点点云的提取方法，可以得到患者术前面部三维网格模型特征点点云。

3)手术开始后，实时获取从两个方位拍摄的患者术中实时面部片。

在本实施例中，通过使用双目摄像机获取从两个不同的方位(可为任意方位，每张照片需包含患者完整面部图像；两个方位确定后，每次均按照相同方位获取患者术中面部照片)拍摄的患者术中面部照片，拍摄照片的设备可以是双目摄像机等具有从两个不同的方位同时进行拍摄功能的设备，在具有从两个不同的方位同时进行拍摄功能的设备从两个不同的方位拍摄患者术中面部照片后，将拍摄的照片上传至服务器，以根据上传的照片生成患者术中面部的特征点点云，以确定患者术中的头部姿态，与患者术前电子计算机断层扫描图像中头部姿态进行配准。

本实施例中的每张照片包括患者术中的完整面部，即所有特征点都可以在所述照片中找到。通过自动提取照片中的特征点，即可重建出患者术中的面部特征点点云。

4)根据步骤3)获取的照片生成患者术中面部二维特征点点云；具体步骤如下：

4-1)获取人面部二维图像训练数据集；

在本实施例中，为了得到患者术中面部图像的特征点特征，需要获取包含大量已进行特征点人工标注的人面部二维图像。具体地，从互联网获取K张(一般不少于1000张，本实施例为2000张)已进行人工标注了68个具有显著几何特征特征点(当前国际通用的人脸特征点标注数据集常用的68个特征点)的人面部二维图像，作为人面部二维图像训练数据集。

4-2)计算患者术中面部二维图像特征点特征，在患者术中面部二维图像中提取特征点；

在本实施例中，根据步骤4-1)得到的人工标注过特征点的人面部二维图像训练数据集68个特征点每个特征点处的局部二值特征及对应特征点位置训练线性回归模型，使用训练完毕的线性回归模型在患者术中面部二维图像中提取特征点。

具体地，在训练过程中，首先将人面部二维图像训练数据集所有特征点坐标统一为该特征点在对应图片中绝对坐标相对于人脸矩形边框的相对坐标，其相对坐标公式如下：

其中(x′,y′)表示任一特征点在对应图片中的绝对坐标；(x″,y″)表示特征点的相对坐标；x_bbox,y_bbox,w_bbox,h_bbot分别表示面部矩形区域左上角横坐标，左上角纵坐标，宽度和高度。

统计人面部二维图像训练数据集中所有图片特征点相对坐标平均值θ⁰作为训练初次迭代的特征点坐标，在第t次迭代中根据人面部二维图像训练数据集中所有图片在特征点附近的局部二值特征和特征点距离真实位置的偏移量其中θ^t-1为第t-1次迭代时的所有图片特征点相对坐标，为所有图片特征点相对坐标真实值，Δθ_t为第t次迭代所有图片特征点距离真实位置的偏移量。使用全局线性回归训练一线性回归模型R^t，R^t的训练方法如下：

其中为第i张图片在第t次迭代中特征点位置距真实位置的偏移量，为第t次迭代中第i张图片在特征点附近的局部二值特征，R^t为第t次迭代的线性回归模型，argmin为令右式最优化的R^t取值。

图片在特征点附近的的局部二值特征的提取方法如下：在特征点附近随机采样500组采样点点对，以所有点对处图像的灰度值差异表示图像特征。由于不同图片中人脸的姿态有所差异，故在采集采样点点对时，应对局部坐标系进行相应调整，使得局部坐标系坐标轴方向与人脸朝向一致。将所有采样点点对的灰度值差异根据其与特征点偏移量的相关性建立12个决策树，组成以随机森林。对输入的人脸图片，根据其在随机森林每棵决策树的输出作为其局部二值特征。

在训练得到每次迭代的线性回归模型R^t后，可以根据输入的人脸图片预测其特征点位置，首先以人面部二维图像训练数据集训练集中所有图片的特征点位置作为初始迭代的特征点位置，之后在每次迭代中根据该次迭代的图像在特征点附近的局部二值特征f^t和线性回归模型R^t更新特征点位置：

θ^t＝θ^t-1+R^t(f^t) (5)

其中θ^t为第t次迭代时特征点位置，f^t为图像在第t次迭代时局部二值特征，R^t为第t次迭代时的线性回归模型。

经过6次迭代后，特征点位置已接近收敛，得到训练完毕的线性回归模型，即可将特征点位置由初始位置逼近至特征点的真实位置，从而实现对摄像机拍摄的患者术中实时面部照片的特征点提取。

在本实施例只是示例性的说明如何在患者术中面部二维图像上提取特征点点云，而不应当被理解为对本发明技术方案的限定，可以理解的是，其它与本实施例类似的面部二维图像特征点点云的提取方法，也应当落入本发明的保护范围内。

通过本所述实施例的患者术中面部二维图像特征点点云的提取方法，可以得到患者术中面部实时二维特征点点云。

在本实施例中，在得到患者术中面部二维特征点点云和患者术前面部三维特征点点云后，根据拍摄患者术中面部照片的两个摄像机方位对患者术中面部二维特征点点云进行三维重建，得到患者术中面部三维特征点点云，再与患者术前面部三维特征点点云进行点云配准，得到患者术中实时头部姿态相对于术前电子计算机断层扫描颅颌面图像的配准结果。具体地，根据术中拍摄患者面部照片的两个摄像机在世界坐标系中坐标以及视角等参数，通过两个摄像机下二维特征点所在位置根据透视投影反求特征点在世界坐标系下坐标，得到患者术中面部三维特征点点云。得到患者术前和术中面部三维特征点点云后，使用四元数法对所述点云进行配准，得到所述患者术中面部二维特征点点云相对于所述患者术前面部三维特征点点云的旋转矩阵和平移矩阵。将患者术前和术中头部姿态变化视为刚性变化，可认为所述患者术中面部二维特征点点云相对于所述患者术前面部三维特征点点云的旋转矩阵和平移矩阵即为患者术中实时头部姿态相对于术前电子计算机断层扫描颅颌面图像中头部姿态的旋转矩阵和平移矩阵。

通过以上计算所述患者术中面部二维特征点点云相对于所述患者术前面部三维特征点点云的旋转矩阵和平移矩阵的步骤，可以得到患者术中头部姿态相对于术前电子计算机断层扫描颅颌面图像的刚性变换，通过对手术过程中手术器械在世界坐标系下坐标做同样刚性变换可以得到所述手术器械在术前采集的所述患者电子计算机断层扫描颅颌面图像中位置。

在手术进行过程中，重复执行步骤3)至步骤5)，实时将患者术中头部姿态与术前电子计算机断层扫描颅颌面图像配准，计算手术器械在术前采集的所述患者电子计算机断层扫描颅颌面图像中位置，从而指导医生在手术过程中操作，实现术中导航。

本发明实施例的方法，对患者术前电子计算机断层扫描生成的颅颌面图像进行三维重建得到患者术前面部三维网格模型；在患者术前面部三维网格模型上提取患者术前面部特征点，得到患者术前面部三维特征点点云；使用双目摄像机获取从两个方位拍摄的患者术中实时面部照片；在所述照片上分别提取患者术中面部特征点，得到患者术中面部实时二维特征点点云；针对两个方位拍摄的患者术中面部照片提取出的二维特征点点云重建出患者术中实时面部三维特征点点云，并与患者术前面部三维特征点点云配准，得到患者术中实时面部图像相对于所述患者术前面部三维网格模型的旋转矩阵和平移矩阵，从而确定患者术中实时姿态相对于术前电子计算机断层扫描颅颌面图像的配准结果，实现术中导航。由此可知，本发明在进行术中导航的过程中，无需在患者体内植入标记物，且拍摄患者术中实时面部照片使用的摄像机相比于现有光学导航设备更为廉价。并且，对患者术中头部姿态和术前电子计算机断层扫描图像中头部姿态的配准是通过对从二者提取的特征点点云配准实现的，因此配准结果可以反映患者术前和术中的头部实际姿态差异。

本发明的方法可以替代现有的颅颌面外科手术术中导航方法，本方法成本低廉，仅需要使用摄像机采集患者术中面部图像而不需要使用光学导航设备，且提取患者面部特征点的方法无需在患者体内植入标记物，不会为患者带来额外的痛苦。

Claims

1.一种颅颌面外科手术的术中导航方法，其特征在于，包括以下步骤：

4)根据步骤3)获取的图片生成患者术中面部二维特征点点云；

2.如权利要求1所述的方法，其特征在于，所述步骤1)具体方法如下：

提取患者术前电子计算机断层扫描颅颌面图像的三维体数据得到患者术前头部皮肤等值面三维网格模型，对皮肤等值面三维网格模型向患者面朝方向做投影，在每条与患者面朝方向平行的水平线上保留投影距离最大的一个顶点，去除其余投影距离非最大的顶点，将所有在患者面朝方向上投影距离最大的顶点组成的三维网格模型作为患者术前面部三维网格模型。

3.如权利要求2所述的方法，其特征在于，所述步骤2)具体步骤如下：

2-1)获取M名患者的电子计算机断层扫描颅颌面图像，重复步骤1)，将每张颅颌面图像分别三维重建为对应的患者面部三维网格模型，在每个患者面部三维网格模型上人工标注具有显著几何特征的68个特征点，将标注过特征点位置的所有患者面部三维网格模型构成三维网格模型训练数据集；

2-2)对步骤1)得到的患者术前面部三维网格模型以及步骤2-1)得到的三维网格模型训练数据集中所有面部三维网格模型进行粗配准，根据三维网格模型训练数据集中标注的特征点位置，统计出每个特征点的平均位置作为步骤1)的患者术前面部三维网格模型特征点的大致位置；

2-3)计算步骤2-1)得到的三维网格模型训练数据集中所有面部三维网格模型特征点特征，根据特征在步骤1)得到的患者术前三维网格模型中提取对应特征点，得到患者术前面部三维网格模型特征点点云。

4.如权利要求3所述的方法，其特征在于，所述步骤4)具体步骤如下：

4-1)获取K张已进行人工标注过具有显著几何特征的68个特征点的人面部二维图像，作为人面部二维图像训练数据集；

4-2)根据步骤4-1)得到的人面部二维图像训练数据集68个特征点每个特征点处的局部二值特征及对应特征点位置训练线性回归模型，使用训练完毕的线性回归模型在患者术中面部二维图像中提取特征点，得到患者术中面部二维特征点点云。

5.如权利要求4所述的方法，其特征在于，所述步骤4-2)中训练线性回归模型的具体方法如下：

首先将人面部二维图像训练数据集所有特征点坐标统一为该特征点在对应图片中绝对坐标相对于人脸矩形边框的相对坐标，相对坐标公式如下：

其中，(x′,y′)表示任一特征点在对应图片中的绝对坐标；(x″,y″)表示特征点的相对坐标；x_bbox,y_bbox,w_bbox,h_bbox分别表示面部矩形区域左上角横坐标，左上角纵坐标，宽度和高度；

统计人面部二维图像训练数据集中所有图片特征点相对坐标平均值θ⁰作为训练初次迭代的特征点坐标，在第t次迭代中根据人面部二维图像训练数据集中所有图片在特征点附近的局部二值特征和特征点距离真实位置的偏移量其中θ^t-1为第t-1次迭代时的所有图片特征点相对坐标，为所有图片特征点相对坐标真实值，Δθ_t为第t次迭代所有图片特征点距离真实位置的偏移量，使用全局线性回归训练线性回归模型R^t，R^t的训练方法如下：

其中，为第i张图片在第t次迭代中特征点位置距真实位置的偏移量，为第t次迭代中第i张图片在特征点附近的局部二值特征，R^t为第t次迭代的线性回归模型，argmin为令右式最优化的R^t取值；

在训练得到每次迭代的线性回归模型R^t后，根据该次迭代的图像在特征点附近的局部二值特征f^t和线性回归模型R^t更新特征点位置：

θ^t＝θ^t-1+R^t(f^t) (5)

其中，θ^t为第t次迭代时特征点位置；

经过6次迭代后,得到训练完毕的线性回归模型。

6.如权利要求4所述的方法，其特征在于，所述步骤5)具体方法如下：

在得到患者术中面部二维特征点点云和患者术前面部三维特征点点云后，根据拍摄患者术中面部照片的两个摄像机方位对患者术中面部二维特征点点云进行三维重建，得到患者术中面部三维特征点点云，再与患者术前面部三维特征点点云进行点云配准，得到患者术中实时头部姿态相对于术前电子计算机断层扫描颅颌面图像的配准结果，得到患者术中面部二维特征点点云相对于患者术前面部三维特征点点云的旋转矩阵和平移矩阵，该旋转矩阵和平移矩阵即为患者术中实时头部姿态相对于术前电子计算机断层扫描颅颌面图像中头部姿态的旋转矩阵和平移矩阵；通过上述矩阵实现患者术中头部姿态相对于术前电子计算机断层扫描颅颌面图像的刚性变换，通过对手术过程中手术器械在世界坐标系下坐标做同样刚性变换得到手术器械在术前电子计算机断层扫描颅颌面图像中位置，实现术中导航。