CN200970224Y - 医用内窥镜本体三维定位系统 - Google Patents

Abstract

本实用新型涉及一种医用内窥镜本体三维定位系统。本实用新型的系统包括一台个人计算机、一个多路图像采集卡、两个CCD摄像机、一块摄像机标定板、一台内窥镜、一个内窥镜附属平台；两架摄像头固定安装在刚性金属架上，摄像头采集到的视频信号经图像采集卡接入计算机，通过图像采集程序采集视频图像；安装在体外内窥镜本体的内窥镜附属平台上有三个定位标记点，通过摄像机标定、识别和显示技术，结合形状检测仪取得的内窥镜导管三维形状，把内窥镜镜体的空间姿态实时的显示在计算机屏幕上。本实用新型提供的系统组成简单，检测速度快、精度高，可以实时计算体外内窥镜本体标定块的空间姿态。本实用新型的系统，跟基于多点光纤光栅的内窥镜导管形状感知系统相结合，可以准确的内窥镜镜体实际空间姿态。

Description

医用内窥镜本体三维定位系统

技术领域

本实用新型涉及一种医用内窥镜本体三维定位系统，尤其涉及一种基于计算机双目视觉的医用内窥镜本体三维定位系统。

背景技术

微创及无创外科技术是当代临床医学最主要的发展趋势之一，它可大大提高手术质量，减轻病人痛苦，缩短康复时间，成为国际上的一个研究热点。传统的内窥镜诊疗术是微创外科的重要手段，其典型器材是医用内窥镜，它对病灶的诊断和治疗有极其重要的作用。

由于工作环境的复杂性和自身形状不可视等不足，传统内窥镜导管在介入过程中会发生导管缠绕、非预期结襻等情况，给病人带来痛苦和危险。基于迫切的临床需求和良好的市场前景，用智能传感器技术、自动化技术及可视化技术对传统内窥镜系统进行改进和创新研究已经在世界范围内展开。其中，新型的内窥镜镜体形状感知系统是该领域的一个研究热点。

如果能够显示内窥镜镜体在人体内的形状，可以有效地防止肠镜缠绕的发生。目前国内外内窥镜镜体形状重建研究主要有以下几种方式：内窥镜镜体磁场空间定位系统、超声定位系统、光纤光栅三维定位系统等。

内窥镜镜体磁场空间定位系统最早是英国的Bladen等人在1993年最早提出，系统以法拉第电磁感应定理为基础，在内窥镜外安装电磁发生设备以产生已知结构的空间磁场，通过埋入内窥镜镜体中的磁场传感器获得的磁场强度信号，并根据已知的发射磁场空间分布规律，计算出该点的空间坐标位置和姿态角。在内窥镜导管内部埋入若干个离散的磁传感器，传感器的实时采样数据反映连续磁场的变化，经计算可得到每个传感器的空间位置，然后将这些离散点拟合成连续的曲线，就可以在计算机上进行三维显示，实现内窥镜镜体的空间形状感知。该技术经过十余年的研究发展相对比较成熟，OLYMPUS公司已经生产出用于内窥镜导管临床检查的磁场形状感知系统。国内福州大学在该方面也进行了一定的研究探讨。

磁场定位方法是一种安全、无放射且实时性能较好的内窥镜镜体形状感知方法，但仍存在以下不足：由于原理限制，传感系统需要几个低频的磁场发生器用来产生磁场，系统需要的相关的外部设备比较多；为了防止电磁干扰，非金属的操作台和检查床也是必须的；为了获得内窥镜镜体上更多离散点的位置信息，必须在多个位置埋入传感线圈，势必引入更多的导线，对镜体的结构性能产生一定的影响；该技术对内窥镜导管内部结构进行改造，与现有使用中的内窥镜系统不能配套使用，而且一旦线圈或导线出现问题，维护较为困难。

日本大阪大学医学院基于现有的超声内窥镜及体外光学定位系统开发了一种人体内超声探头定位系统，用来直接测量和显示超声内窥镜探头的空间位置和运动轨迹。在人体表面放置一个发射超声波脉冲的标志超声传感器。在检查过程中，超声内窥镜探头发出用于扫描图像的超声波，并接收回波。通过标志传感器发射与扫描超声信号同步的超声波，被探头接收后叠加到扫描超声波的回波上。观察标志传感器在扫描图像中的位置，就可以得到探头相对标志传感器的方向和距离。通过基于双目视觉的光学定位系统获得体外的标志传感器的空间位置，然后根据体外标志传感器与体内超声探头的位置关系求得超声内窥镜的探头的位置。

该定位方法只需在现有的超声内窥镜的基础上，增加体外标志传感器就可以实现。经研究分析，系统存在以下的不足之处：基于该系统，只能确定单个超声内窥镜探头的位置，不能提供实时的内窥镜镜体整体形状；该定位系统以超声内窥镜为基础，不能与医院中广泛应用的光导纤维内窥镜及电子内窥镜配合使用。

上海大学医疗机器人与计算机辅助外科研究小组从智能内窥镜检查的需要出发，制作了可以实时检测内窥镜导管空间形状的基于多点光纤光栅的内窥镜镜体形状感知系统，主要是利用细小空间圆柱体的曲率变化与表面光栅的反射波中心波长成正比的基本原理。利用多根等距离的刻有若干光栅的光纤，将光纤以一定角度粘贴在基材上，建立一个传感网络。利用这个传感网络来采集各个点的曲率数据，然后根据一定的算法拟合重建出整个内窥镜镜体的空间形状，重建效果较好，可以实现空间曲线的实时重建与显示。但是由于利用光纤光栅的取得的曲率信息是基于内窥镜本体的定位块的相对量，因此重建的内窥镜镜体三维形状是内窥镜镜体基于定位块的空间形状，而无法得到内窥镜镜体的实际空间姿态。

实用新型内容

本实用新型的目的在于提供一种医用内窥镜本体三维定位系统，利用计算机双目视觉的方法，通过在内窥镜本体的附近设置标志点，求得内窥镜本体的空间姿态。则可应用于结合通过光纤光栅传感器重建的内窥镜导管三维形状，求出内窥镜镜体实际的空间姿态。

为了达到上述实用新型目的，本实用新型的构思是：

本实用新型在基于光纤光栅传感器的内窥镜导管三维形状重建的基础上，通过使用计算机双目视觉的方法，通过在体外内窥镜本体标定块的附近设置标志点，求得内窥镜本体的空间姿态。则可应用于结合通过光纤光栅传感器重建的内窥镜导管三维形状，求出内窥镜导管实际的空间姿态。

根据上述实用新型构思，本实用新型采用下述技术方案：

一种医用内窥镜本体三维定位系统，包括一台个人计算机、一个多路图像采集卡、两个CCD摄像机和一台内窥镜本体，其特征在于所述的个人计算机分别经所述的多路采集图像卡和两个CCD摄像机相连，在所述的内窥镜本体上安装一个有定位标志点的内窥镜附属平台，而在内窥镜本体附近设置一块两个CCD摄像机能拍摄到的摄像机标定板；所述的个人计算机完成摄像机标定、标志点识别、内窥镜本体空间姿态显示等功能；所述的多路图像采集卡采集CCD摄像机传来的图像，并把图像传递到计算机；所述的CCD摄像机固定在金属支架上，采集摄像机标定板和内窥镜附属平台的图像，并经多路图像采集卡传递到个人计算机中，由个人计算机计算求得内窥镜本体空间姿态。

上述的摄像机标定板内有棋盘格图案，该棋盘格图案是由相同大小的正方形组成，用于CCD摄像机的参数标定。

上述的内窥镜附属平台卡在内窥镜本体上，其上的定位标志点是其上表面装有三个定位LED标志点，保持在空间同一平面上，通过获取该三个标志点的位置，来计算内窥镜本体的空间姿态。

本实用新型由于采用了以上技术，使其与现有技术相比，具有以下明显的优点和特点：

1.本实用新型不需要对内窥镜本体和导管进行改造，所有设备均为外置，整个系统组成简单，便于使用。

2.本实用新型使用的医用内窥镜本体三维定位方法，操作简单，速度快，精度高。该技术可以实时响应计算体外内窥镜本体的空间姿态。

3.本实用新型的系统，可以跟基于多点光纤光栅的内窥镜导管形状感知系统相结合，可以求得的内窥镜导管实际空间姿态。

附图说明

图1是本实用新型一个实施例的系统结构示意图。

图2是本实用新型的方法中的算法流程图。

具体实施方式

本实用新型的一个优选实例结合附图说明如下：

请参见图1，本医用内窥镜本体三维定位系统，包括一台个人计算机1、一个多路图像采集卡2、两个CCD摄像机3、一块摄像机标定板4，一台内窥镜5，一个内窥镜附属平台6、一台基于光纤光栅的形状检测仪7。首先多路图像采集卡2从CCD摄像机3采集标定板4的图像，把图像传递到个人计算机1内；个人计算机1基于张正友摄像机标定算法，可以把CCD摄像机的参数标定出来；多路图像采集卡2从CCD摄像机3采集安装在内窥镜5本体的内窥镜附属平台6的图像，把图像传递到个人计算机1内；个人计算机1结合所求摄像机的参数，把标定点的空间位置求出来。

本实施例的内窥镜本体三维定位方法，采用上述的内窥镜本体三维定位系统操作，其步骤如下：

①设置标定参数：在操作开始前，首先要设置标定参数，输入标定块的大小和设置标定参数：在作开始前，首先要设置标定参数，即输入标定板中棋盘格的大小和数目；

②CCD摄像机标定：通过多路图像采集卡2采集一些不同角度的标定板4图像，个个人计算机1对两个CCD摄像机3进行标定，得到CCD摄像机3的摄像机参数；

③安装内窥镜附属平台6：将内窥镜附属平台6装在内窥镜的本体5上，并开启内窥镜附属平台6上的LED标志点；

④计算标志点的空间位置：个人计算机1进行标志点的进行识别，结合所述的摄像机参数，计算出标志点的空间位置，并求解摄像机坐标系和标志点坐标系的变换关系；

本实施例中的摄像机标定方法为一种基于张正友两步法的摄像机标定算法。其原理如下：

一个二维空间的点可以用m＝[u，v]^T来表示。而一个三维空间的点可以用M＝[X，Y，Z]^T。我们使用增加一项1的空间点向量 $\tilde{m}={[u,v,1]}^T$ 和 $\tilde{M}={[X,Y,Z,1]}^T.$ 通常的针孔摄像机模型可以用公式1来表示：

$s\tilde{m}=A\left[\begin{array}{cc}R& t\end{array}\right]\tilde{M}---\left(1\right)$

其中s为任意缩放因子，(R，t)为摄像机外部参数，是从世界坐标系到摄像机坐标系的旋转和平移变换矩阵，A为摄像机内部参数，可以用

$A=\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\γ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]$

来表示，其中(u₀，v₀)为原始点的坐标，α和β是图像u和v轴的缩放因子，γ为图像坐标轴的偏斜参数。

首先假设世界坐标系为z＝0的物体表面，把旋转矩阵r分解为[r₁ r₂ r₃]，这样公式1可以写成：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(2\right)$

因此，M为物体表面的一个点，由于Z一直等于0，所以，M＝[X，Y]T。同样， $\tilde{M}={[X,Y,1]}^T.$ 物体点M和图像点m之间的关系由矩阵H来决定：

$s\tilde{m}=H\tilde{M}$ 其中H＝A[r₁ r₂ t]

1分离摄像机内部参数

矩阵H可以由图像估计出来。分解H为H＝[h₁ h₂ h₃]，从公式2得出：[h₁ h₂ h₃]＝λA[r₁ r₂ t]

其中λ为任意标量。因为r₁和r₂正交，所以：

$h_1^T{A}^{-T}{A}^{-1}{h}_2=0---\left(3\right)$

$h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}{h}_2---\left(4\right)$

以上是内部变量的两个基本约束函数

2解方程组

令

$B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{12}& B_{13}& B_{23}\\ B_{13}& B_{23}& B_{33}\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{{\mathrm{\α}}^2}& -\frac{\mathrm{\γ}}{{\mathrm{\α}}^2\mathrm{\β}}& \frac{v_0\mathrm{\γ}-u_0\mathrm{\β}}{{\mathrm{\α}}^2\mathrm{\β}}\\ -\frac{\mathrm{\γ}}{{\mathrm{\α}}^2\mathrm{\β}}& \frac{{\mathrm{\γ}}^2}{{\mathrm{\α}}^2{\mathrm{\β}}^2}+\frac{1}{{\mathrm{\β}}^2}& -\frac{\mathrm{\γ}(v_0\mathrm{\γ}-u_0\mathrm{\β})}{{\mathrm{\α}}^2{\mathrm{\β}}^2}-\frac{v_0}{{\mathrm{\β}}^2}\\ \frac{v_0\mathrm{\γ}-u_0\mathrm{\β}}{{\mathrm{\α}}^2\mathrm{\β}}& -\frac{\mathrm{\γ}(v_0\mathrm{\γ}-u_0\mathrm{\β})}{{\mathrm{\α}}^2{\mathrm{\β}}^2}-\frac{v_0}{{\mathrm{\β}}^2}& \frac{{(v_0\mathrm{\γ}-u_0\mathrm{\β})}^2}{{\mathrm{\α}}^2{\mathrm{\β}}^2}+\frac{v_0^2}{{\mathrm{\β}}^2}+1\end{array}\right]---\left(5\right)$

因为B是对称的，定义：

                b＝[B₁₁，B₁₂，B₂₂，B₁₃，B₂₃，B₃₃]^T               (6)

定义H的第i列向量为h_i＝[h_i1，h_i2，h_i3]T，可以得到：

$h_i^T{\mathrm{Bh}}_j=V_{\mathrm{ij}}^{T}b---\left(7\right)$

其中V_ij＝[h_i1h_j1，h_i1h_j2+h_i2h_j1，h_i2h_j2，h_i3h_j1+h_i1h_j3，h_i3h_j2+h_i2h_j3，h_i3h_j3]^T

因此，公式3和公式4可以写为：

$\left[\begin{array}{c}{V}_{12}^T\\ {(V_{11}-V_{22})}^T\end{array}\right]b=0---\left(8\right)$

如果提供n个物体平面，则方程

                       Vb＝0                          (9)

其中V是2n*6的矩阵，如果n大于等于3，则只有一个唯一的b值。如果n等于2，我们可以设置偏斜参数γ为0，来解方程。

如果b值被估计，所有的内部参数矩阵A也能得到。同样，每个图像的外部参数也能求出。

                       r₁＝λA^-1h₁

                       r₂＝λA^-1h₂

                       r₃＝r₁×r₂

                       t＝λA^-1h₃

3最小二乘估计法

得到参数初值以后，我们通过最小二乘估计估计法来精确这些参数值。由n个物体表面的m个点，最小二乘法得出： $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{ij}}-\stackrel{)}{m}(A,R_i,t_i,M_j)\left|\right|}^2$

这是个非线性最小二乘问题，可以用Levenberg-Marquardt法来求解。

4径向畸变的解决

径向畸变函数如下：

$\stackrel{(}{x}=x+x[k_1(x^2+y^2)+k_2{(x^2+y^2)}^2]$

$\stackrel{)}{y}=y+y[k_1(x^2+y^2)+k_2{(x^2+y^2)}^2]$

其中k₁和k₂是径向畸变系数。

因此

$\stackrel{(}{u}=u+(u-u_0)[k_1(x^2+y^2)+k_2{(x^2+y^2)}^2]$

$\stackrel{(}{v}=v+(v-v_0)[k_1(x^2+y^2)+k_2{(x^2+y^2)}^2]$

可以写成

$\left[\begin{array}{cc}(u-u_0)(x^2+y^2)& (u-u_0){(x^2+y^2)}^2\\ (v-v_0)(x^2+y^2)& (v-v_0){(x^2+y^2)}^2\end{array}\right]\left[\begin{array}{c}{k}_1\\ k_2\end{array}\right]=\left[\begin{array}{c}\stackrel{(}{u}-u\\ \stackrel{(}{v}-v\end{array}\right]$

由n个图像的m个点得到2mn个方程，这个线性方程的解法如下：

k＝(D^TD)^-1D^Td

如果径向畸变参数被估计出，完整的最小二乘法如下：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{ij}}-\stackrel{)}{m}(A,k_1,k_2{R}_i,t_i,M_j)\left|\right|}^2$

两步法的算法如下：

(1)设置标定板在摄像机前，获取几个标点图像；

(2)取得所有的标定点；

(3)通过解方程估计所有的内部参数和外部参数；

(4)估计径向畸变参数；

(5)最小二乘法优化所有的参数。

本实施例中的空间点坐标计算公式如下：

空间一个标志点在左摄像机图像上的坐标为(u_L，v_L)，在右摄像机图像上的坐标为(u_R，v_R)，其在左摄像机坐标系的空间坐标为(x_L，y_L，z_L)，在右摄像机坐标系的空间坐标为(x_R，y_R，z_R)。根据公式1，可以求得，在左摄像机坐标系下该标志点到左摄像机的中心的直线L1参数方程

$\left\{\begin{array}{c}{X}_L=f_x^L\left(t\right)\\ y_L=f_y^L\left(t\right)\\ z_L=f_z^L\left(t\right)\end{array}\right.$

在右摄像机坐标系下该标志点到右摄像机的中心的直线L2参数方程

$\left[\begin{array}{c}{x}_R=f_x^R\left(t\right)\\ y_R=f_y^R\left(t\right)\\ z_R=f_z^R\left(t\right)\end{array}\right]$

由求得的左右摄像机的外参数，可以得到从右摄像机坐标系到左摄像机坐标系的变换矩阵

$H={\left[\begin{array}{cc}{T}_L& R_L\\ 0& 1\end{array}\right]}^{\′}\left[\begin{array}{cc}{T}_R& R_R\\ 0& 1\end{array}\right]$

这样，可以把在右摄像机坐标系下直线L2变换到左摄像机坐标系下：

                            f^L＝Hf^R

最后通过求两条射线的交点，就可以把标志点在左摄像机坐标系下的空间坐标求出来。

通常情况下，由于误差的原因，两条射线并不相交，因此，我们把两条射线的公垂线段的中点作为标志点的空间位置。

本实施例中的通过3个标志点{S₁，S₂，S₃}坐标求末端坐标系到左摄像机坐标系的变换公式如下：

我们设置标志点S₃到直线S₁S₂的垂点为标定点坐标系{A}的原点O_A，射线S₁S₂为x轴方向，平面{S₁S₂S₃}为xoy平面。标定点坐标系{A}和标定块坐标系{B}(基于光纤光栅三维重建的基准坐标系)的变换关系H_B-＞A是我们已设置的：

                           A＝H_B-＞AB

从标志点坐标系{A}到左摄像机坐标系{C}的平移矩阵为

                           T_A-＞C＝p(O_CO_A)

旋转矩阵R_A-＞C可以通过将射线S₁S₂旋转和左摄像机坐标系的x轴重合，射线O_AS₃旋转和左摄像机坐标系的y轴重合而求出。

这样标定块坐标系{B}到左摄像机坐标系{C}的变换关系为

$C=\left[\begin{array}{cc}{R}_{A->C}& T_{A->C}\\ 0& 1\end{array}\right]H_{B->A}B$

Claims (3)

1.一种医用内窥镜本体三维定位系统，包括一台个人计算机(1)、一个多路图像采集卡(2)、两个CCD摄像机(3)和一台内窥镜本体(5)，其特征在于所述的个人计算机(1)分别经所述的多路采集图像卡(2)和两个CCD摄像机(3)相连，在所述的内窥镜本体(5)上安装一个有定位标志点的内窥镜附属平台(6)，而在内窥镜本体(5)附近设置一块两个CCD摄像机(3)能拍摄到的摄像机标定板(4)。

2.根据权利要求1所述的医用内窥镜本体三维定位系统，其特征在于所述的摄像机标定板(4)内有棋盘格图案，该棋盘格图案是由相同大小的正方形组成。

3.根据权利要求1所述的医用内窥镜本体三维定位系统，其特征在于所述的内窥镜附属平台(6)卡在内窥镜本体(5)上，其上的定位标志点是其上表面装有三个定位LED标志点，保持在空间同一平面上。

Images