CN1554315A - 医疗机器人视觉注册方法 - Google Patents

Abstract

本发明公开了一种辅助立体定向神经外科手术机器人中的视觉注册方法，它使用机器人、摄像装置、计算机、扫描成像装置和标记点来实现从扫描图像坐标系到机器人坐标系的注册。为了在手术过程中使机器人按照医生在扫描图像中的规划对准病灶点，需要建立扫描图像坐标系跟机器人坐标系之间的关系，称为扫描图像坐标系到机器人坐标系的注册。手术时，在计算机中确定贴在病人头上的标记点在扫描图像坐标系中的坐标，同时使用摄像装置测量标记点在机器人坐标系中的坐标，由此可以完成注册。本发明的注册方法与接触式测量方法相比，它的定位精确度高，且可以自动的实时测量标记点的位置；与其它非接触方法相比，它的价格低廉，操作简单方便，具有很大的优越性。

Description

医疗机器人视觉注册方法

技术领域

本发明涉及一种用于医疗手术中坐标系之间注册的方法，具体地是指一种用于辅助立体定向神经外科手术机器人中的视觉注册方法。

背景技术

立体定向神经外科手术是现代神经外科发展的一个学科分支，它是利用影像学定位和定向仪引导，将微电极、穿刺针或者内窥镜等微小手术器械置入脑内的指定靶点，通过记录电生理、留取组织标本、产生毁损灶、去除病灶等方法，诊断和治疗中枢神经系统的各种疾病。传统的立体定向神经外科手术一般使用立体定位框架对病灶点进行定位，手术开始前把一个立体定位框架牢牢地固紧在病人的头部，由于立体定位框架为金属结构，故在扫描成像装置所成的图像中是可见的，那么图像中的病变点就可以通过框架坐标系来确定其空间位置。这种方法精度相对较高，但对病人有一定的伤害，属于损伤性定位。

在辅助立体定向神经外科手术机器人系统中采用参考标记定位法进行定位，在计算机的扫描图像空间中进行手术规划，采用相对病人固定的导航器引导手术。相对传统的有框架定向手术而言，它消除了框架给病人带来的痛苦和给医生带来的不便。

为了使机器人按照计算机扫描图像空间的手术规划来对准病灶点，需要建立计算机的扫描图像坐标系跟机器人坐标系之间的关系，称为两个坐标系之间的注册。一般使用参考标记点完成两个坐标系之间的注册。为此需要得到这些标记点在机器人坐标系中的坐标。在已有的辅助立体定向神经外科手术机器人系统中，标记点的定位方式一般分为两类，一类是接触式，如机械臂式，即使用机械臂末端接触标记点来获得标记点在机器人坐标系中的坐标。该方法优点是易于实现，操作直观方便，缺点是需要医生手动操作，测量精度受人为因素的影响，且不能实现自动测量。另一类是非接触式，如超声、电磁和红外等，这些方式可以实现对标记点的自动实时定位，但是又有各自的不足，如超声方式受环境的温度、气流、湿度和传播介质的影响较大，电磁方式受环境的电磁影响较大，红外方式在手术过程中摄像头和发光二极管间的光路不能被挡，而且成本较高。在这几种方式中，最好的方式是红外定位方式，它不仅精度高，而且有成熟的产品并已经获得了广泛的应用，但是其价格昂贵使得国内医院难以接受。

发明内容

本发明的目的是提出一种辅助立体定向神经外科手术机器人中的视觉注册方法，是采用双目立体视觉技术测量标记点在机器人坐标系中的坐标，从而完成扫描图像坐标系到机器人坐标系的注册。这种方法只需要两个摄像装置即可确定标记点在机器人坐标系中的坐标。跟接触式测量方法相比，它的定位精确度高，且可以自动的实时测量标记点的位置；跟其它非接触方法相比，它的价格低廉，操作简单方便，具有很大的优越性。

本发明一种辅助立体定向神经外科手术机器人中的视觉注册方法，该方法通过含机器人、摄像装置、计算机、扫描成像装置执行视觉技术测量标记点在机器人坐标系中的坐标，从而完成扫描图像坐标系到机器人坐标系的注册，该方法包括下列步骤：

(a)在病人头部贴标记点；

(b)确定标记点在扫描图像坐标系中的坐标：

用扫描成像装置扫描病人头部，将所成图像输入到计算机，经计算机内的手术规划软件处理，确定标记点在图像坐标系中的坐标；

(c)确定标记点在机器人坐标系中的坐标：

将摄像装置获取的病人头部图像输入到计算机，经计算机内的定位软件处理，确定标记点在机器人坐标系中的坐标，并将该坐标传送给手术规划软件；

(d)手术规划软件完成扫描图像坐标系到机器人坐标系的注册。

所述的视觉注册方法，其通过贴在病人头部的标记点完成扫描图像坐标系到病人头部坐标系的注册。

所述的视觉注册方法，其标记点的数目可以有4个。

所述的视觉注册方法，其摄像装置完成测量标记点在机器人坐标系中的坐标。

所述的视觉注册方法，其扫描成像装置可以是CT或MRI。

本发明的优点：该视觉注册方法与接触式注册方法相比，它的定位精确度高，且可以自动的实时测量标记点的位置；与其它非接触注册方法相比，它的价格低廉，操作简单方便，具有很大的优越性。

附图说明

图1是本发明视觉注册方法的流程框图。

图2是本发明扫描图像空间、机器人空间和病人头部示意图。

图3是本发明确定标记点在扫描图像坐标系中的坐标的流程图。

图4是本发明视觉注册方法中各坐标系之间的关系示意图。

具体实施方式

下面将结合附图及实施例对本发明作进一步的详细说明。

在机器人辅助立体定向神经外科手术中，病人头部经扫描成像设备扫描后，其图像输入到计算机的“手术规划软件”，医生通过软件在扫描图像中勾勒病灶点，并确定靶点和穿刺路径。“手术规划软件”将医生的在扫描图像中的规划转换成为机器人坐标系中机器人的目标位姿，控制机器人按照规划的路径对准靶点，以引导医生进行手术。要完成从扫描图像坐标系到机器人坐标系的转换，需要建立扫描图像坐标系到机器人坐标系的映射关系，即完成两个坐标系之间的注册。

本发明是一种辅助立体定向神经外科手术机器人中的视觉注册方法，使用机器人、摄像装置、计算机、扫描成像装置和病人头部的标记点，完成扫描图像坐标系到机器人坐标系的注册，以使手术过程中机器人能够按照医生在扫描图像中的规划对准病灶点。注册过程如附图1所示，具体做法是：

(a)在病人头部贴四个标记点，然后对病人头部进行CT或MRI扫描，获得病人头部表面及其内部结构的图像，并将其输入到计算机的“手术规划软件”中；

(b)医生在计算机的“手术规划软件”上确定标记点在扫描图像上的位置，由“手术规划软件”计算出标记点在扫描图像坐标系中的坐标；

(c)将摄像装置在机器人坐标系中进行标定，然后使用摄像装置采集病人头部图像并将其输入计算机的“视觉定位软件”，计算标记点在机器人坐标系中的坐标，并将这些坐标传给“手术规划软件”；

(d)“手术规划软件”根据标记点在扫描图像坐标系和机器人坐标系中的坐标，计算出扫描图像坐标系和机器人坐标系之间的关系，即完成两个坐标系之间的注册。之后医生在扫描图像坐标系中确定的靶点坐标和穿刺路径即可转换为机器人的位姿，从而控制机器人到达所需的位置。

“视觉定位软件”在本发明中通过摄像装置采集的图像计算标记点在机器人坐标系中的坐标。“手术规划软件”在本发明中用来确定标记点在扫描图像坐标系中的坐标，并接收“视觉定位软件”输入的标记点在机器人坐标系中的坐标，完成从扫描图像坐标系到机器人坐标系的注册。

(一)标记点在扫描图像坐标系中的坐标

确定标记点在扫描图像坐标系中的坐标的过程如附图3所示。将扫描图像输入到计算机中的“手术规划软件”，查找有标记点的图像并用鼠标在标记点的末端点做标记，规划软件记录下标记点所在的图层和在该图层上所处的位置。对所有扫描图像进行层间插值运算，标记点所处的图层序号即可转换成为附图2所示的扫描图像坐标系中的w坐标，标记点在图层中的位置即是扫描图像坐标系中的u、v坐标，由此可以得到标记点在扫描图像坐标系中的三维坐标。

(二)确定标记点在机器人坐标系中的坐标

本发明使用视觉定位的方法测量标记点在机器人坐标系中的坐标。下面是该方法的数学表述。

在该方法中，共有五个坐标系，如附图4所示，其中坐标系OXYZ为机器人坐标系，O′X′Y′Z′为摄像装置坐标系，o′u′v′为无失真图像坐标系，o″u″v″为失真图像坐标系，o_cuv为计算机屏幕坐标系。通过坐标变换可以建立计算机屏幕坐标系o_cuv和机器人坐标系OXYZ之间的关系。本方法中的视觉定位就是通过某个点在计算机屏幕坐标系o_cuv中的坐标来计算该点在机器人坐标系OXYZ中的坐标。

(1)坐标系转换关系

(a)机器人坐标系→摄像装置坐标系

$\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ I\end{array}\right]----\left(1\right)$

(t_x，t_y，t_z)是平移分量，(α，β，γ，t_x，t_y，t_z)为摄像装置的6个外部参数。

$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]$

是旋转矩阵，包含三个参数(α，β，γ)，α、β、γ分别为绕X、Y、Z轴的转角，则有：

$R=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\γ}& -\cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\γ}\\ -\cos \mathrm{\β}\sin \mathrm{\γ}& -\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}+\cos \mathrm{\α}\cos \mathrm{\γ}& \cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}+\sin \mathrm{\α}\cos \mathrm{\γ}\\ \sin \mathrm{\β}& -\sin \mathrm{\α}\cos \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\β}\end{array}\right]$

(b)摄像装置坐标系→无失真像坐标系

根据成像的透视投影关系

$u^{\′}=f\·s_x\·\frac{X^{\′}}{Z^{\′}}----\left(2\right)$

$v^{\′}=f\·s_y\·\frac{Y^{\′}}{Z^{\′}}----\left(3\right)$

f为摄像装置焦距，s_x，s_y为摄像装置尺度因子，单位(pixel/mm)。

(c)无失真像坐标系→失真像坐标系

摄像装置镜头存在两类失真：径向失真和切向失真。其中径向失真是引起成像点偏移的主要原因，一般只考虑径向失真。

        u″＝u′-R_u                              (4)

        v″＝v′-R_v                              (5)

R_u＝u×(k₁r²+k₂r⁴+…)≈u×(k₁r²+k₂r⁴)            (6)

R_v＝v×(k₁r²+k₂r⁴+…)≈v×(k₁r²+k₂r⁴)            (7)

$r=\sqrt{u^2+v^2}----\left(8\right)$

摄像装置的径向畸变是r的偶次多项式，高次可忽略。k₁，k₂…是与径向畸变相关的系数。

(d)失真像坐标系→屏幕坐标系

  u＝u″+u₀                                      (9)

  v＝v″+v₀                                      (10)

u₀，v₀为像面坐标原点相对计算机图像坐标系的偏移量。(f，s_x，s_y，k₁，k₂，u₀，v₀)为相机的内部参数。

(2)摄像装置标定

由于使用中摄像装置与目标距离比较近，并且摄像装置本身的畸变也不大，因而在本系统中不考虑畸变。将上述各坐标系转换关系联立可得，从机器人坐标系到屏幕坐标系的变换关系

$\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right],\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{z}\left[\begin{array}{ccc}{k}_1& 0& u_0\\ 0& k_2& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]----\left(11\right)$

其中k₁＝f·s_x，k₂＝f·s_y。则

$u=k_1\frac{r_{11}X+r_{12}Y+r_{13}Z+t_x}{r_{31}X+r_{32}Y+r_{33}Z+t_z}+u_0$

$v=k_2\frac{r_{21}X+r_{22}Y+r_{23}Z+t_y}{r_{31}X+r_{32}Y+r_{33}Z+t_z}+v_0$

即

$u=\frac{X(k_1{r}_{11}+r_{31}{u}_0)+Y(k_1{r}_{12}+u_0{r}_{32})+Z(k_1{r}_{13}+u_0{r}_{33})+(k_1{t}_x+u_0{t}_z)}{r_{31}X+r_{32}Y+r_{33}Z+t_z}$

$v=\frac{X(k_2{r}_{21}+r_{31}{v}_0)+Y(k_2{r}_{22}+v_0{r}_{32})+Z(k_2{r}_{23}+v_0{r}_{33})+(k_2{t}_y+v_0{t}_z)}{r_{31}X+r_{32}Y+r_{33}Z+t_z}$

令

$A_1=\frac{k_1{r}_{11}+r_{31}{u}_0}{t_z},$ $A_2=\frac{k_1{r}_{12}+{u_{0}r}_{32}}{t_z},$ $A_3=\frac{k_1{r}_{13}+u_0{r}_{33}}{t_z},$ $A_4=\frac{k_1{t}_x+u_0{t}_z}{t_z}$

$A_5=\frac{r_{31}}{t_z},$ $A_6=\frac{r_{32}}{t_z},$ $A_7=\frac{r_{33}}{t_z}$

$A_8=\frac{k_2{r}_{21}+r_{31}{v}_0}{t_z},$ $A_9=\frac{k_2{r}_{22}+v_0{r}_{32}}{t_z},$ $A_{10}=\frac{k_2{r}_{23}+v_0{r}_{33}}{t_z},$ $A_{11}=\frac{k_2{t}_y+v_0{t}_z}{t_z}$

则

$u=\frac{A_{1}X+A_{2}Y+A_{3}Z+A_4}{A_{5}X+A_{6}Y+A_{7}Z+1},$

$v=\frac{A_{8}X+A_{9}Y+A_{10}Z+A_{11}}{A_{5}X+A_{6}Y+A_{7}Z+1}$

因此有

    A₁X+A₂Y+A₃Z+A₄-A₅Xu-A₆Yu-A₇Zu＝u      (12)

    A₈X+A₉Y+A₁₀Z+A₁₁-A₅Xv-A₆Yv-A₇Zv＝v    (13)

以上两方程包含11个待求参数，给定n(n≥6)组参考点(u_n，v_n，X_n，Y_n，Z_n)，令

$E=\left[\begin{array}{ccccccccccc}{X}_1& Y_1& Z_1& 1& -X_1{u}_1& -Y_1{u}_1& -Z_1{u}_1& 0& 0& 0& 0\\ & \·& \·& & & \·& \·& & & \·& \\ & \·& \·& & & \·& \·& & & \·& \\ & \·& \·& & & \·& \·& & & \·& \\ X_n& Y_n& Z_n& 1& -X_n{u}_n& -Y_n{u}_n& -Z_n{u}_n& 0& 0& 0& 0\\ 0& 0& 0& 0& -X_1{v}_1& -Y_1{v}_1& -Z_1{v}_1& X_1& Y_1& Z_1& 1\\ & \·& \·& & & \·& \·& & & \·& \\ & \·& \·& & & \·& \·& & & \·& \\ & \·& \·& & & \·& \·& & & \·& \\ 0& 0& 0& 0& -X_n{v}_n& -Y_n{v}_n& -Z_n{v}_n& X_n& Y_n& Z_n& 1\end{array}\right]$

A＝[A₁ A₂ A₃ A₄ A₅ A₆ A₇ A₈ A₉ A₁₀ A₁₁]^T

C＝[u₁ u₂ … u_n v₁ v₂ … v_n]^T

则有

          E·A＝C

          A＝E⁺·C                               (14)

设两个摄像装置的待定参数分别为：

A_l＝[A_1l A_2l A_3l A_4l A_5l A_6l A_7l A_8l A_9l A_10l A_11l]^T

A_r＝[A_1r A_2r A_3r A_4r A_5r A_6r A_7r A_8r A_9r A_10r A_11r]^T

在两个摄像装置公共的视野范围之内给定n(n≥6)个已知在机器人坐标系中坐标的参考点，由(14)即可分别标定出两个摄像装置的所有待定参数。标定时，可以取机械臂上末端的针尖点作为参考点，让机械臂分别运动到n(n≥6)个不同的位置，以得到n个已知在机器人坐标系中坐标的参考点。

(3)标记点的坐标计算

由方程(12)、(13)得：

(A₁-A₅u)X+(A₂-A₆u)Y+(A₃-A₇u)Z＝u-A₄              (15)

(A₈-A₅v)X+(A₉-A₆v)Y+(A₁₀-A₇v)Z＝v-A₁₁            (16)

设机器人坐标系内某个点的待求坐标为(X，Y，Z)，它经两个摄像装置成像后在计算机屏幕坐标系中的坐标为分别为(u_l，v_l)和(u_r，v_r)，则有：

$\left[\begin{array}{ccc}{A}_{1l}-A_{5l}{u}_l& A_{2l}-A_{6l}{u}_l& A_{3l}-A_{7l}{u}_l\\ A_{8l}-A_{5l}{v}_l& A_{9l}-A_{6l}{v}_l& A_{10l}-A_{7l}v\\ A_{1r}-A_{5r}{u}_r& A_{2r}-A_{6r}{u}_r& A_{3r}-A_{7r}{u}_r\\ A_{8r}-A_{5r}{v}_r& A_{9r}-A_{6r}{v}_r& A_{10r}-A_{7r}{v}_r\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{u}_1-A_{4l}\\ v_1-A_{11l}\\ u_r-A_{4r}\\ v_r-A_{11r}\end{array}\right]----\left(17\right)$

由(17)可求出标记点在机器人坐标系中的坐标：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]={\left[\begin{array}{ccc}{A}_{1l}-A_{5l}{u}_l& A_{2l}-A_{6l}{u}_l& A_{3l-}{A}_{7l}{u}_l\\ A_{8l}-A_{5l}{v}_l& A_{9l}-A_{6l}{v}_l& A_{10l}-A_{7l}v\\ A_{1r}-A_{5r}{u}_r& A_{2r}-A_{6r}{u}_r& A_{3r}-A_{7r}{u}_r\\ A_{8r}-A_{5r}{v}_r& A_{9r}-A_{6r}{v}_r& A_{10r}-A_{7r}{u}_r\end{array}\right]}^{+}\left[\begin{array}{c}{u}_l-A_{4l}\\ v_l-A_{11l}\\ u_r-A_{4r}\\ v_r-A_{11r}\end{array}\right]----\left(18\right)$

(三)从扫描图像坐标系到机器人坐标系的注册

如附图2所示，设四个标记点在机器人坐标系中的坐标分别为

(X₁，Y₁，Z₁)、(X₂，Y₂，Z₂)、(X₃，Y₃，Z₃)、(X₄，Y₄，Z₄)，

在扫描图像坐标系中的坐标分别为

(u₁，v₁，w₁)、(u₂，v₂，w₂)、(u₃，v₃，w₃)、(u₄，v₄，w₄)，

扫描图像坐标系到机器人坐标系的变换矩阵为T，则

$\left[\begin{array}{cccc}{X}_4-X_1& X_3-X_1& X_2-X_1& X_1\\ Y_4-Y_1& Y_3-Y_1& Y_2-Y_1& Y_1\\ Z_4-Z_1& Z_3-Z_1& Z_2-Z_1& Z_1\\ 0& 0& 0& 1\end{array}\right]=T\left[\begin{array}{cccc}{u}_4-u_1& u_3-u_1& u_2-u_1& u_1\\ v_4-v_1& v_3-v_1& v_2-v_1& v_1\\ w_4-w_1& w_3-w_1& w_2-w_1& w_1\\ 0& 0& 0& 1\end{array}\right]$

求得

$T=\left[\begin{array}{cccc}{X}_4-X_1& X_3-X_1& X_2-X_1& X_1\\ Y_4-Y_1& Y_3-Y_1& Y_2-Y_1& Y_1\\ Z_4-Z_1& Z_3-Z_1& Z_2-Z_1& Z_1\\ 0& 0& 0& 1\end{array}\right]{\left[\begin{array}{cccc}{u}_4-u_1& u_3-u_1& u_2-u_1& u_1\\ v_4-v_1& v_3-v_1& v_2-v_1& v_1\\ w_4-w_1& w_3-w_1& w_2-w_1& w_1\\ 0& 0& 0& 1\end{array}\right]}^{-1}$

通过上述数学方式的表征可以精确的完成扫描图像坐标系到机器人坐标系的注册。这种方法只需要两个摄像装置即可确定标记点在机器人坐标系中的坐标。跟接触式测量方法相比，它的定位精确度高，且可以自动的实时测量标记点的位置；跟其它非接触方法相比，它的价格低廉，操作简单方便，具有很大的优越性。

本发明的医疗机器人视觉注册方法也可以用于微创胸腔、腹腔手术中，其注册方法和标记点同机器人辅助立体定向神经外科手术相同。

Claims (5)

1、一种辅助立体定向神经外科手术机器人中的视觉注册方法，该方法通过含机器人、摄像装置、计算机、扫描成像装置执行视觉技术测量贴在病人头部的标记点在机器人坐标系中的坐标，从而完成扫描图像坐标系到机器人坐标系的注册，该方法包括下列步骤：

(a)在病人头部贴标记点；

(b)确定标记点在扫描图像坐标系中的坐标：

用扫描成像装置扫描病人头部，将所成图像输入到计算机，经计算机内的手术规划软件处理，确定标记点在图像坐标系中的坐标；

(c)确定标记点在机器人坐标系中的坐标：

将摄像装置获取的病人头部图像输入到计算机，经计算机内的定位软件处理，确定标记点在机器人坐标系中的坐标，并将该坐标传送给手术规划软件；

(d)手术规划软件完成扫描图像坐标系到机器人坐标系的注册。

2、根据权利要求1所述的视觉注册方法，其特征在于：通过贴在病人头部的标记点完成扫描图像坐标系到病人头部坐标系的注册。

3、根据权利要求1所述的视觉注册方法，其特征在于：标记点的数目为4个。

4、根据权利要求1所述的视觉注册方法，其特征在于：摄像装置完成测量标记点在机器人坐标系中的坐标。

5、根据权利要求1所述的视觉注册方法，其特征在于：扫描成像装置可以是CT或MRI。

Images