CN113012230B - 一种术中ar辅助引导手术导板安放的方法 - Google Patents

Abstract

本发明公开了一种术中AR辅助引导手术导板安放的方法，包括：1)获取四对3D‑2D匹配点对；2)求解PNP问题进行三维姿态估计，实现实际手术部位目标模型与虚拟手术部位目标模型的初配准；3)在原有Powell算法上，改进其每一轮的搜索方向，确保各个搜索方向始终线性无关，并将初配准结果作为搜索的起始点,得到实现精配准的虚拟三维手术部位模型的位姿调整矩阵；4)将位姿调整矩阵作用于虚拟三维手术导板模型，并将其与实际手术部位目标模型的匹配作为指导实际手术导板安放的金标准；5)提取视频帧中放置的实际手术导板，并与金标准中的虚拟手术导板做匹配度计算，得到最佳的手术导板安放的位置。本发明可达到渲染的虚拟数字模型与视频目标的实际模型精确配准融合。

Description

一种术中AR辅助引导手术导板安放的方法

技术领域

本发明涉及计算机图形学以及计算机辅助手术导航的技术领域，尤其是指一种术中AR辅助引导手术导板安放的方法。

背景技术

近年来，随着精准医疗相关技术成熟度的不断提升，计算机辅助医疗手术导航引起了人们的广泛关注，医疗行业开始进入数字化，智能化转型升级的新阶段，且增强现实技术(Augmented Reality，AR)具有非常高的临床应用价值。在传统的骨科螺钉植入手术中，只能依靠专业医生的经验和技巧来确定植入螺钉的位置，存在对位置的定位判断不准，增大手术创伤面积等问题，致使手术的难度和风险性较大。而增强现实技术的与周围环境实时渲染的特点，能够将术前设计的手术方案以及三维虚拟手术导板渲染到手术视野中，从而能够为医生放置3D打印手术导板提供指导，提高手术的准确性与安全性。

增强现实中的精确虚实融合一直是一个具有挑战性的问题，在现有的增强现实配准多采用基于特征的配准方法，该方法分为基于人工标记的图像配准方法和基于自然特征无标记的图像配准方法，然而基于人工标记的图像配准方法会增加手术方案的额外工作；基于无标记的图像配准方法有效的避免了此类问题。

多数情况下，增强现实是利用求解PNP问题来进行三维姿态估计，虽然该方法能够较好的实现虚实配准融合，但是这完全依赖于特征点的选取以及算法求解的计算误差，特征点的选取不当将会造成配准的结果存在较大的差距，这对我们实现真实场景目标与虚拟场景目标精确配准造成了阻碍。

发明内容

本发明的目的在于克服现有的求解PNP问题进行三维姿态估计的虚实匹配融合不准问题，以及降低了对实现增强现实技术选取特征点要求过高的问题，提出了一种术中AR辅助引导手术导板安放的方法，该方法不仅降低了对医学仪器的人工使用成本，且由于AR的实时性减少了手术时间以及提供了更加准确的手术导板安放位置。

为实现上述目的，本发明所提供的技术方案为：一种术中AR辅助引导手术导板安放的方法，包括以下步骤：

1)获取四对3D-2D匹配点对，包括世界坐标系中的虚拟三维手术部位模型的四个三维坐标点以及图像坐标系中的实际场景手术部位目标的四个二维坐标点；

2)利用3D-2D匹配点对作为输入，求解PNP问题进行三维姿态估计，从而实现实际手术部位目标模型与虚拟手术部位目标模型的初配准；

3)在原有Powell算法上，改进其每一轮的搜索方向，确保各个搜索方向始终线性无关，并将初配准结果作为搜索的起始点,得到实现精配准的虚拟三维手术部位模型的位姿调整矩阵；

4)将位姿调整矩阵作用于虚拟三维手术导板模型，并将其与实际手术部位目标模型的匹配作为指导实际手术导板安放的金标准；

5)提取视频帧中放置的实际手术导板，并与金标准中的虚拟手术导板做匹配度计算，根据实际导板放置的不同位置得到不同的匹配度值，计算匹配度中最大值，得到最佳的手术导板安放的位置。

在步骤1中，获取四对3D-2D匹配点对，包括以下步骤：

1.1)读取解析虚拟三维手术部位的STL文件并可视化，在二维可视化的结果上利用全局阈值分割，再根据连通性原则得到手术部位模型的最大投影面及其外接矩形，即可获得四个三维坐标点(x_3d,y_3d,0)，其中(x_3d,y_3d)取外接矩形四个顶点的坐标值；

1.2)利用全局阈值分割对视频图像进行处理，根据实际手术部位模型最大投影面大小，设定合适的面积阈值，去除视频图像中的干扰物，从而检测出视频图像中的手术部位目标模型，再将其最大投影面的外接矩形的四个顶点作为匹配点对的二维坐标点。

在步骤2)中，求解PNP问题进行三维姿态估计，从而实现实际手术部位目标模型与虚拟手术部位目标模型的初配准，包括以下步骤：

2.1)通过余弦定理法则构建相机光心与三个相机坐标系下的三个三维空间点以及相对应的夹角的等式关系；

2.2)将步骤2.1)得到的等式关系转换为二元二次方程，通过吴消元法求解，获得立体几何之间的比值关系，进而获得三个匹配的空间点在相机坐标系下的空间坐标信息；

2.3)根据上述求解的在相机坐标系下的空间坐标和已知的在世界坐标系下的坐标信息，通过迭代最近点算法获得相机相对的位置信息，进而得到四组相机位姿估计解；

2.4)利用已知的3D-2D匹配点对，计算上述四组相机位姿估计解中最小的重投影误差，作为最终的初配准的位姿变换结果。

在步骤3)中，在原有Powell算法上，改进其每一轮的搜索方向，确保各个搜索方向始终线性无关，并将初配准结果作为搜索的起始点,得到实现精配准的虚拟三维手术部位模型的位姿调整矩阵；包括以下步骤：

3.1)选取初始点x⁽⁰⁾＝(0,0,0,0,0,0)，即将经过求解PNP问题得到的三维姿态估计的结果作为初始状态，在此基础上进行精配准；

3.2)选取6个线性无关的搜索方向d^(1,1),d^(1,2)...d^(1,6)，并给定允许误差Err，设置初始迭代次数k＝1，且将参考图像与浮动图像的二值图像素差绝对值和误差作为匹配度量函数f(x)，f(x)如下式所示：

式中，m和n分别是视频帧图像的高度和宽度；

为视频场景中手术部位目标模型的二值图中对应的二值像素值；

为变换后的手术部位虚拟模型的二值图像中对应的二值像素值；

3.3)设置第k轮搜索的起始点x^(k,0)＝x^(k-1)，并从x^(k,0)出发，依次沿着第k轮的d^{(k ,1)},d^(k,2)...d^(k,6)这6个方向进行搜索，使用一维的黄金分割算法进行迭代寻优，得到各个搜索方向的极值点为x^(k,1),x^(k,2),...x^(k,6)，求使得匹配度量函数值下降最大的方向，即求max{f(x^(k,r-1))-f(x^(k,r))},r＝1,2...6，r表示方向组中第r个方向，然后令一个新的搜索方向d^(k,6+1)＝x^(k,6)-x^(k,0)，若||x^(k,6)-x^(k,0)||≤Err，则停止搜索计算，跳转步骤3.6)；否则，进行步骤3.4)；

3.4)求解搜索方向组线性无关的条件指标λ，即求min{f(x^(k,0)+λd^(k,6+1))}，得出条件指标λ值，然后令第k+1轮的搜索起始点x^(k+1,0)＝x^(k)＝x^(k,0)+λd^(k,6+1)，若||x^(k)-x^(k-1)||≤Err，则停止迭代计算，跳转步骤3.6)，得到结果点x^(k)，否则，进行步骤3.5)；

3.5)若

新的搜索方向d^(k,6+1)与原搜索方向组线性无关，则更新搜索方向组，即令d^(k+1,j)＝d^(k,j),j＝1,..r-1；d^(k+1,j)＝d^(k,j+1),j＝r...6，并更新迭代次数k＝k+1,跳转到步骤3.3)；否则，不更新搜索方向组，即令d^(k+1,j)＝d^(k,j),j＝1,2...6,置k＝k+1，跳转步骤3.3)；

3.6)根据搜索的结果，并作用于虚拟三维手术部位模型完成误差调整，最终得到实际手术部位目标模型与虚拟手术部位目标模型的精确配准融合。

在步骤5)中，引导手术导板安放，先使用交互式图割算法提取实际手术导板，再进行与虚拟手术导板匹配度的计算，匹配度的计算使用dice系数作为评价指标，如下式：

式中，A,B分别表示虚拟手术导板和提取到的实际手术导板的二值图像的像素点集合；根据动态调整导板不同的安放位置，能够计算多个dice系数结果，寻找到dice系数最大的结果对应的手术导板的安放位置，即为最佳安放结果

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明不依赖于人工标记，通过将三维数字模型与视频中的场景目标进行匹配，可靠性高。

2、本发明提出了基于最大投影的增强现实的匹配方法，使用最大投影面的外接矩形的四个顶点作为特征点，能够提高特征点匹配的效率以及配对的稳定性。

3、本发明在求解出PNP姿态估计问题后，提出了基于二值图像素的差绝对值和误差为优化的相似度测量的方法，使用改进的Powell算法为准则，在三维空间的6个自由度方向进行一维的黄金分割算法迭代寻优，并将最终的优化结果作为精确配准的调整参数，使得虚实配准融合更加精确。

4、将虚拟的手术导板做与虚拟足部模型相同的空间姿态变换，并同时使用交互式图割算法提取出实际的手术导板，使用二值像素为基准，求取两者结果的空间匹配度。

附图说明

图1为本发明方法流程图。

图2为初配准实施方式流程图。

图3为精配准实施方式流程图。

图4为3D-2D配准实验结果示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1至图3所示，本实施例所提供的术中AR辅助引导手术导板安放的方法，先在初配准的基础上，利用搜索优化的思想进行精确配准的，其包括以下步骤：

1)获取四对3D-2D匹配点对，包括世界坐标系中的虚拟三维手术部位模型的四个三维坐标点以及图像坐标系中的实际场景手术部位目标的四个二维坐标点，包括以下步骤；

1.1)加载足部的STL三维模型显示于Qt界面，利用阈值分割算法获取其最大投影面的外接矩阵轮廓，并将矩形的四个顶点设定为三维匹配跟踪的四个特征点，作为求解PNP问题的四个世界坐标点。

1.2)读取包含实验对象(使用3D打印足部模型代替)的三维模型视频图像，提取每一帧视频图像，利用全局阈值分割对视频图像进行处理，根据实际足部模型最大投影面的大小，设定合适的面积阈值，去除视频图像中的干扰物，从而检测出视频图像中的手术部位目标模型，再将其最大投影面外接矩形的四个顶点作为匹配点对的二维坐标点。

2)利用3D-2D匹配点对作为输入，求解PNP问题进行三维姿态估计，从而实现实际足部模型与虚拟足部模型的初配准，包括以下步骤:

2.1)对单目相机进行标定，确定其内参数矩阵A，矩阵A如下式所示：

其中，c_x,c_y表示相机光轴在图像坐标系中的偏移量，f_x,f_y是以像素为单位的焦距。

2.2)透视投影矩阵P是根据相机的内参数进行设定的，可在相机标定后，设定透视投影矩阵P，如下：

式中，w,h分别指的是相机拍摄图像的像素宽度和像素高度，n指视图平截头体中的近裁剪面对应的z坐标，f指视图平截头体中的远裁剪面对应的z坐标；

2.3)通过余弦定理法则构建相机光心与三个相机坐标系下的三个三维空间点以及相对应的夹角的等式关系；

2.4)将步骤2.3)得到的等式关系转换为二元二次方程，通过吴消元法求解，获得立体几何之间的比值关系，进而获得三个匹配的空间点在相机坐标系下的坐标信息；

2.5)通过上述求解的在相机坐标系下的空间坐标和已知的在世界坐标系下的坐标信息，通过迭代最近点算法获得相机相对的位置信息，进而得到四组相机位姿估计解；

2.6)利用已知的3D-2D匹配点对，计算四组解中最小的重投影误差，作为最终的初配准位姿变换的结果；

2.7)根据得到的透视投影矩阵P和步骤2.6)得到的位姿变换结果，利用OpenGL将虚拟足部模型渲染到视频图像中显示。

3)根据初配准结果，将其作为改进的Powell算法的搜索的起始点，得到实现精配准的虚拟三维手术部位模型的位姿调整矩阵，包括以下步骤：

3.1)选取初始点x⁽⁰⁾＝(0,0,0,0,0,0)，即将经过求解PNP问题得到的三维姿态估计的结果作为初始状态，在此基础上进行精配准。

3.2)选取6个线性无关的搜索方向d^(1,1),d^(1,2)...d^(1,6)，并给定允许误差Err，设置初始迭代次数k＝1，且将参考图像与浮动图像的二值图像素差绝对值和误差作为匹配度量函数f(x)，f(x)如下式所示：

m和n分别是视频帧图像的高度和宽度；

为视频场景中手术部位目标模型的二值图中对应的二值像素值；

为变换后的手术部位虚拟模型的二值图像中对应的二值像素值。

3.3)设置第k轮搜索的起始点x^(k,0)＝x^(k-1)，并从x^(k,0)出发，依次沿着第k轮的d^{(k ,1)},d^(k,2)...d^(k,6)这6个方向进行搜索，使用一维的黄金分割算法进行迭代寻优，得到各个搜索方向的极值点为x^(k,1),x^(k,2),...x^(k,6)，求使得匹配度量函数值下降最大的方向，即求max{f(x^(k,r-1))-f(x^(k,r))},r＝1,2...6，r表示方向组中第r个方向，然后令一个新的搜索方向d^(k,6+1)＝x^(k,6)-x^(k,0)，若||x^(k,6)-x^(k,0)||≤Err，则停止搜索计算，跳转步骤3.6)；否则，进行步骤3.4)；

3.4)求解搜索方向组线性无关的条件指标λ，即求min{f(x^(k,0)+λd^(k,6+1))}，得出条件指标λ值，然后令第k+1轮的搜索起始点x^(k+1,0)＝x^(k)＝x^(k,0)+λd^(k,6+1)，若||x^(k)-x^(k-1)||≤Err，则停止迭代计算，跳转步骤3.6)，得到结果点x^(k)，否则，进行步骤3.5)；

3.5)若

新的搜索方向d^(k,6+1)与原搜索方向组线性无关，则更新搜索方向组，即令d^(k+1,j)＝d^(k,j),j＝1,..r-1；d^(k+1,j)＝d^(k,j+1),j＝r...6，并更新迭代次数k＝k+1,跳转到步骤3.3)；否则，不更新搜索方向组，即令d^(k+1,j)＝d^(k,j),j＝1,2...6,置k＝k+1，跳转步骤3.3)；

3.6)根据搜索的结果，并作用于虚拟三维手术部位模型完成误差调整，最终得到实际手术部位目标模型与虚拟手术部位目标模型的精确配准融合。

如图4中(a)所示，根据得到的精配准位姿矩阵，利用OpenGL进行三维渲染至视频图像中，得到虚拟足部三维模型与实际场景的足部模型的匹配融合结果。

4)将位姿调整矩阵作用于虚拟三维手术导板模型，并将其与实际手术部位目标模型的匹配作为指导实际手术导板安放的金标准。

5)提取视频帧中放置的实际手术导板，并与金标准中的虚拟手术导板做匹配度计算，根据实际导板放置的不同位置得到不同的匹配度值，计算匹配度中最大值，得到最佳的手术导板安放的位置，具体过程如下：

引导手术导板安放，先使用交互式图割算法提取实际手术导板，再进行与虚拟手术导板匹配度的计算，匹配度的计算使用dice系数作为评价指标，如下式子：

式中，A,B分别表示虚拟手术导板和提取到的实际手术导板的二值图像的像素点集合。根据动态调整导板不同的安放位置，可计算多个dice系数结果，寻找到dice系数最大的结果对应的手术导板的安放位置，如图4中(b)所示，为最终的手术导板放置结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种术中AR辅助引导手术导板安放的方法，其特征在于，包括以下步骤：

1)获取四对3D-2D匹配点对，包括世界坐标系中的虚拟三维手术部位模型的四个三维坐标点以及图像坐标系中的实际场景手术部位目标的四个二维坐标点；

2)利用3D-2D匹配点对作为输入，求解PNP问题进行三维姿态估计，从而实现实际手术部位目标模型与虚拟手术部位目标模型的初配准；

3)在原有Powell算法上，改进其每一轮的搜索方向，确保各个搜索方向始终线性无关，并将初配准结果作为搜索的起始点,得到实现精配准的虚拟三维手术部位模型的位姿调整矩阵，包括以下步骤：

3.1)选取初始点x⁽⁰⁾＝(0,0,0,0,0,0)，即将经过求解PNP问题得到的三维姿态估计的结果作为初始状态，在此基础上进行精配准；

3.2)选取6个线性无关的搜索方向d^(1,1),d^(1,2)...d^(1,6)，并给定允许误差Err，设置初始迭代次数k＝1，且将参考图像与浮动图像的二值图像素差绝对值和误差作为匹配度量函数f(x)，f(x)如下式所示：

式中，m和n分别是视频帧图像的高度和宽度；

为视频场景中手术部位目标模型的二值图中对应的二值像素值；

为变换后的手术部位虚拟模型的二值图像中对应的二值像素值；

3.3)设置第k轮搜索的起始点x^(k,0)＝x^(k-¹⁾，并从x^(k,0)出发，依次沿着第k轮的d^(k,1),d^{(k ,2)}...d^(k,6)这6个方向进行搜索，使用一维的黄金分割算法进行迭代寻优，得到各个搜索方向的极值点为x^(k,1),x^(k,2),...x^(k,6)，求使得匹配度量函数值下降最大的方向，即求max{f(x^(k,r-1))-f(x^(k,r))},r＝1,2...6，r表示方向组中第r个方向，然后令一个新的搜索方向d^{(k ,6+1)}＝x^(k,6)-x^(k,0)，若||x^(k,6)-x^(k,0)||≤Err，则停止搜索计算，跳转步骤3.6)；否则，进行步骤3.4)；

3.4)求解搜索方向组线性无关的条件指标λ，即求min{f(x^(k,0)+λd^(k,6+1))}，得出条件指标λ值，然后令第k+1轮的搜索起始点x^(k+1,0)＝x^(k)＝x^(k,0)+λd^(k,6+1)，若||x^(k)-x^(k-1)||≤Err，则停止迭代计算，跳转步骤3.6)，得到结果点x^(k)，否则，进行步骤3.5)；

3.5)若

新的搜索方向d^(k,6+1)与原搜索方向组线性无关，则更新搜索方向组，即令d^(k+1,j)＝d^(k,j),j＝1,..r-1；d^(k+1,j)＝d^(k,j+1),j＝r...6，并更新迭代次数k＝k+1,跳转到步骤3.3)；否则，不更新搜索方向组，即令d^(k+1,j)＝d^(k,j),j＝1,2...6,置k＝k+1，跳转步骤3.3)；

3.6)根据搜索的结果，并作用于虚拟三维手术部位模型完成误差调整，最终得到实际手术部位目标模型与虚拟手术部位目标模型的精确配准融合；

4)将位姿调整矩阵作用于虚拟三维手术导板模型，并将其与实际手术部位目标模型的匹配作为指导实际手术导板安放的金标准；

5)提取视频帧中放置的实际手术导板，并与金标准中的虚拟手术导板做匹配度计算，根据实际导板放置的不同位置得到不同的匹配度值，计算匹配度中最大值，得到最佳的手术导板安放的位置。

2.根据权利要求1所述的一种术中AR辅助引导手术导板安放的方法，其特征在于：在步骤1中，获取四对3D-2D匹配点对，包括以下步骤：

1.1)读取解析虚拟三维手术部位的STL文件并可视化，在二维可视化的结果上利用全局阈值分割，再根据连通性原则得到手术部位模型的最大投影面及其外接矩形，即可获得四个三维坐标点(x_3d,y_3d,0)，其中(x_3d,y_3d)取外接矩形四个顶点的坐标值；

1.2)利用全局阈值分割对视频图像进行处理，根据实际手术部位模型的最大投影面大小，设定合适的面积阈值，去除视频图像中的干扰物，从而检测出视频图像中的手术部位目标模型，再将其最大投影面的外接矩形的四个顶点作为匹配点对的二维坐标点。

3.根据权利要求1所述的一种术中AR辅助引导手术导板安放的方法，其特征在于：在步骤2)中，求解PNP问题进行三维姿态估计，从而实现实际手术部位目标模型与虚拟手术部位目标模型的初配准，包括以下步骤：

2.1)通过余弦定理法则构建相机光心与三个相机坐标系下的三个三维空间点以及相对应的夹角的等式关系；

2.2)将步骤2.1)得到的等式关系转换为二元二次方程，通过吴消元法求解，获得立体几何之间的比值关系，进而获得三个匹配的空间点在相机坐标系下的空间坐标信息；

2.3)根据上述求解的在相机坐标系下的空间坐标和已知的在世界坐标系下的坐标信息，通过迭代最近点算法获得相机相对的位置信息，进而得到四组相机位姿估计解；

2.4)利用已知的3D-2D匹配点对，计算上述四组相机位姿估计解中最小的重投影误差，作为最终的初配准的位姿变换结果。

4.根据权利要求1所述的一种术中AR辅助引导手术导板安放的方法，其特征在于：在步骤5)中，引导手术导板安放，先使用交互式图割算法提取实际手术导板，再进行与虚拟手术导板匹配度的计算，匹配度的计算使用dice系数作为评价指标，如下式：

式中，A,B分别表示虚拟手术导板和提取到的实际手术导板的二值图像的像素点集合；根据动态调整导板不同的安放位置，能够计算多个dice系数结果，寻找到dice系数最大的结果对应的手术导板的安放位置，即为最佳安放结果。

Images