CN103948361A - 无标志点的内窥镜定位跟踪方法和系统 - Google Patents

Abstract

本发明公开无标志点的内窥镜定位跟踪方法和系统。该方法包括：对内窥镜序列图像进行畸变校正；提取校正的内窥镜序列图像的特征点，并完成相邻帧内窥镜序列图像特征点的相互匹配；根据匹配的特征点，估计相邻帧内窥镜序列图像的运动矩阵；依据运动矩阵，重建匹配的所有特征点的空间位置；提取术前CT体数据的表面点云，完成表面点云与重建的特征点的匹配，获得内窥镜序列图像与术前CT体数据间的旋转矩阵和平移向量；根据旋转矩阵和平移向量，得到内窥镜在CT体数据中的相对位姿，将内窥镜实时图像与CT体数据进行融合显示。本发明在不需要选取标志点的情况下能高效准确的定位跟踪内窥镜的位姿，为多模态影像融合引导内窥镜微创手术提供了理论基础。

Description

无标志点的内窥镜定位跟踪方法和系统

技术领域

本发明涉及医学技术领域，具体涉及一种无标志点的内窥镜定位跟踪方法及系统。 

背景技术

内窥镜图像与术前CT影像融合引导的计算辅助诊疗技术被认为是解决颅底内镜手术定位困难、显示不直观等问题最为有效的手段之一，其核心是将跟踪装置固定于手术器械和人体上，在术前获取其计算机断层影像(Computerized Tomography,CT）或核磁共振影像(Magnetic Resonance Imaging,MRI)等，在术中实现手术器械、病人以及多模态影像之间的坐标变换关系，从而实现对手术过程的引导定位。其关键技术是内窥镜的实时定位精准跟踪技术。目前的主要定位系统主要是电磁定位和光学定位，然而光学定位在手术过程中需要在人体上贴有一定数量的标志点，并且保证手术过程中标志点不可遮挡，给手术带来了不便利。电磁定位则需要找到人体与术前CT图像之间相互匹配的至少四个标志点，影响了影像融合的精度。 

发明内容

本发明实施例所要解决的技术问题在于，提供一种无标志点的内窥镜定位跟踪方法及系统，能够实时准确的定位跟踪内窥镜的空间位置。 

为解决上述技术问题，本发明实施例提供了一种无标志点的内窥镜定位跟踪方法，包括： 

对内窥镜序列图像进行畸变校正； 

提取校正的内窥镜序列图像的特征点，并完成相邻帧内窥镜序列图像的特征点的相互匹配； 

根据相邻帧内窥镜序列图像已匹配的特征点，估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵； 

依据相邻帧内窥镜序列图像之间运动矩阵，重建匹配的所有特征点的空间位置； 

提取术前CT体数据的表面点云信息，并完成表面点云与内窥镜序列图像的重建后的特征点的匹配，获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量； 

根据旋转矩阵和平移向量，得到内窥镜在CT体数据中的相对位姿信息，根据位姿信息将内窥镜实时图像与CT体数据进行融合显示。 

本发明实施例还提供了一种无标志点的内窥镜定位跟踪系统，包括： 

畸变校正模块，其校正内窥镜序列图像中存在的径向畸变、偏心畸变和薄棱镜畸变； 

特征点提取模块，其提取校正的内窥镜序列图像的特征点； 

特征点匹配模块，其对提出的特征点完成相邻帧内窥镜序列图像的特征点的相互匹配； 

运动估计模块，其依据匹配的特征点，估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵； 

特征点三维重建模块，其依据相邻帧内窥镜序列图像之间的运动矩阵，重建匹配的所有特征点的空间位置； 

点云匹配模块，其提取术前CT体数据的表面点云信息，并完成表面点云与内窥镜序列图像的重建后的特征点的匹配，获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量； 

定位跟踪模块，其根据旋转矩阵和平移向量，得到内窥镜在CT体数据中的相对位姿信息，完成内窥镜的定位跟踪。 

本发明在不需要选取标志点的情况下能够高效地准确的定位跟踪内窥镜的位姿，为多模态影像融合引导内窥镜微创手术提供了理论基础。 

附图说明

图1是本发明所提出的无标志点的内窥镜定位跟踪方法的流程图； 

图2是本发明所提出的无标志点内窥镜定位跟踪方法的示意图； 

图3是本发明中的内窥镜畸变校正示意图； 

图4是本发明所提出的特征点三角化重建方法示意图； 

图5是本发明所提出的无标志点的内窥镜定位跟踪系统的结构示意图。 

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。 

图1是本发明的无标志点的内窥镜定位跟踪方法的流程图，包括以下几个步骤： 

步骤S1， 

对内窥镜序列图像进行畸变校正。 

针对内窥镜成像存在的畸变，需要对内窥镜序列图像进行畸变校正，以恢复成符合医生观察习惯的正常图像。内窥镜序列图像通常会存在径向畸变、偏心畸变和薄棱镜畸变。本实例中主要以校正内窥镜图像中的径向畸变为例进行说明，如图3所示。当然，本领域的技术人员可以想到校正偏心畸变和薄棱镜畸变的方式。 

构建球形投影模型，根据球形投影规则，建立球形模型参数、畸变图像点坐标与真实图像点坐标之间的对应关系。 

定义世界坐标系下真实图像的线段的起止点为X₁(x₁,y₁,z₁)与X₁(x₁,y₁,z₁)，经过投影球面x²+y²+z²=R²投影到焦距为f的像平面坐标系中，得到畸变图像中的点，成像点分别为U₁(u₁,v₁)和U₂(u₂,v₂)，则根据投影关系可以得到： 

$u_i=\frac{R{x}_i}{\sqrt{x^2+y^2+z^2}},v_i=\frac{R{y}_i}{\sqrt{x^2+y^2+z^2}},(i=\mathrm{1,2})$

定义投影椭圆的为： 

Au²+2Buv+Cv²+Du+Ev+F=0 

其中，B²<AC，A,C>0。 

可得椭圆中心(u₀,v₀)和长半径a分别为： 

根据检测得到的畸变图像中的角点，采用最小二乘法估计得到球形投影参数，完成畸变校正。 

步骤S2， 

基于上述数据，提取校正的内窥镜序列图像的特征点，并完成相邻帧内窥镜序列图像的特征点的相互匹配。 

内窥镜序列图像中的特征点提取需要有较高的鲁棒性，保证内窥镜运动时的特征点能准确提取。 

步骤S3， 

根据相邻帧内窥镜序列图像已匹配的特征点，估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵。 

定义一个三维点X在相邻两帧内窥镜序列图像中的成像为x₁=(u₁,v₁)和x₂=(u₂,v₂)，R和t分别表示这两帧内窥镜序列图像之间的相对旋转矩阵和平移向量，则两个成像点之间存在一下关系： 

$x_2^T{K}_2^{-T}\mathrm{sk}\left(t\right)R{K}_1^{-1}{x}_1=0$

其中，K₁和K₂分别表示内窥镜成像内部参数，sk(t)表示平移向量t的斜矩阵。则这两帧内窥镜序列图像之间的相对运动矩阵E可以采用相对旋转矩阵和平移向量表示为E=sk(t)R，可以通过非线性的5点算法优化计算得到。那么R和t则可以通过SVD分解得到。 

步骤S4， 

依据相邻帧内窥镜序列图像之间的运动矩阵，重建匹配的所有特征点的空间位置。 

定义X=[x,y,z]^T为三维世界坐标系中的一个点，U₀=[u₀,v₀]^T和U₁=[u₁,v₁]^T是X在内窥镜图像Image_0和Image_1中的投影，P₀和P₁为一个3′4矩阵，则存在关系 

U₀=P₀X,U₁=P₁X 

定义内窥镜序列图像的第零帧图像为世界坐标系的初始位置，则有 

P₀=K[I|0],P₁=K[R₁|t₁] 

其中，R₁和t₁分别表示第i帧内窥镜序列图像的旋转矩阵和平移向量。那么内窥镜序列图像中的特征点可以根据它们之间的旋转矩阵和平移向量例如可以采用三角化的方法重建它们的空间位置，如图4所示。而对于新增加的图像i+1，定义P_i+1=K[R_i|t_i]，可以根据其与前一帧图像i之间的关系，得到 

P_i+1=K[R_iR_i+1|R_it_i+1+l_i+1t_i] 

其中，l_i+1表示缩放尺度。 

步骤S5， 

提取术前CT体数据的表面点云信息，并完成表面点云与内窥镜序列图像的重建后的特征点的匹配，获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量。 

定义重建的三维特征点为目标点集P，术前CT影像的表面点云为参考点集X，设旋转变换向量为单元四元数q_R=[q₀,q₁,q₂,q₃]^T，其中q₀ ³0,且可到3′3旋转矩阵R(q_R)。设平移变换向量为q_r=[q₄,q₅,q₆]^T，可得完全坐标变换向量q=[q_R|q_r]^T。则求对应点集间的最佳坐标变换向量问题可转化为求q使得函数 

最小化的问题，可采用ICP的方法求解。 

步骤S6， 

在计算得到内窥镜图像与术前CT体数据之间的旋转矩阵以及平移向量以后，可以准确地得到内窥镜在CT体数据中的位姿，并可以实时跟踪定位内窥镜。然后可以根据其位姿将内窥镜实时图像与CT体数据进行融合显示。 

本发明实施例还公开了无标志点的内窥镜定位跟踪系统。如图5所示，该系统包括： 

畸变校正模块，其校正内窥镜序列图像中存在的径向畸变、偏心畸变和薄棱镜畸变； 

特征点提取模块，其提取校正的内窥镜序列图像的特征点； 

特征点匹配模块，其对提出的特征点完成相邻帧内窥镜序列图像的特征点的相互匹配； 

运动估计模块，其依据匹配的特征点，估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵； 

特征点三维重建模块，其依据相邻帧内窥镜序列图像之间的运动矩阵，重建匹配的所有特征点的空间位置； 

点云匹配模块，其提取术前CT体数据的表面点云信息，并完成表面点云与内窥镜序列图像的重建后的特征点的匹配，获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量； 

定位跟踪模块，其根据旋转矩阵和平移向量，得到内窥镜在CT体数据中的相对位姿信息，完成内窥镜的定位跟踪。 

上述系统的各个模块分别执行前述方法中的对应步骤，对上述步骤的描述适用于各个模块，故不再赘述。 

当然，以上所述是本发明的优选实施方式。为方便说明起见，使用了步骤S1、S2等序号，但是应该认识到的是，这些步骤本身还可以包括其他过程，这些步骤之间还可以有其他步骤，这也在本发明的保护范围之内。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。 

Claims (8)

1.一种无标志点的内窥镜定位跟踪方法，其特征在于，包括：

步骤S1，对内窥镜序列图像进行畸变校正；

步骤S2，提取校正的内窥镜序列图像的特征点，并完成相邻帧内窥镜序列图像的特征点的相互匹配；

步骤S3，根据相邻帧内窥镜序列图像已匹配的特征点，估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵；

步骤S4，依据相邻帧内窥镜序列图像之间的运动矩阵，重建匹配的所有特征点的空间位置；

步骤S5，提取术前CT体数据的表面点云信息，并完成表面点云与内窥镜序列图像的重建后的特征点的匹配，获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量；

步骤S6，根据旋转矩阵和平移向量，得到内窥镜在CT体数据中的相对位姿信息，根据位姿信息将内窥镜实时图像与CT体数据进行融合显示。

2.根据权利要求1所述的无标志点的内窥镜定位跟踪方法，其特征在于，在步骤S1，校正前的内窥镜序列图像存在径向畸变、偏心畸变和薄棱镜畸变。

3.根据权利要求1所述的无标志点的内窥镜定位跟踪方法，其特征在于，在步骤S2，内窥镜序列图像中的特征点提取具有较高的鲁棒性。

4.根据权利要求1所述的无标志点的内窥镜定位跟踪方法，其特征在于，在步骤S3，采用非线性优化方法计算相邻帧内窥镜序列图像之间的运动矩阵。

5.根据权利要求4所述的无标志点的内窥镜定位跟踪方法，其特征在于，在步骤S4，根据运动矩阵，采用三角化的方法重建特征点的空间位置。

6.根据权利要求1所述的无标志点的内窥镜定位跟踪方法，其特征在于，在步骤S5，根据CT成像原理，术前CT体数据的表面点云信息采用MarchingCube的方法提取得到。

7.根据权利要求1所述的无标志点的内窥镜定位跟踪方法，其特征在于，在步骤S5，采用ICP方法将表面点云与内窥镜序列图像的重建后的特征点进行匹配。

8.一种无标志点的内窥镜定位跟踪系统，其特征在于，包括：

畸变校正模块，其校正内窥镜序列图像中存在的径向畸变、偏心畸变和薄棱镜畸变；

特征点提取模块，其提取校正的内窥镜序列图像的特征点；

特征点匹配模块，其对提出的特征点完成相邻帧内窥镜序列图像的特征点的相互匹配；

运动估计模块，其依据匹配的特征点，估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵；

特征点三维重建模块，其依据相邻帧内窥镜序列图像之间的运动矩阵，重建匹配的所有特征点的空间位置；

点云匹配模块，其提取术前CT体数据的表面点云信息，并完成表面点云与内窥镜序列图像的重建后的特征点的匹配，获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量；

定位跟踪模块，其根据旋转矩阵和平移向量，得到内窥镜在CT体数据中的相对位姿信息，完成内窥镜的定位跟踪。