CN104739514A - 大视场下手术器械的自动跟踪定位方法 - Google Patents

Abstract

本发明公开了大视场下手术器械的自动跟踪定位方法，包括以下步骤：步骤1、使用机械臂控制双目视觉系统运动来获取大视场，在大视场下对手术器械进行自动跟踪；步骤2、根据机械臂自身舵机的位置关系确定双目视觉系统的空间位置；步骤3、通过空间坐标变换对手术器械进行定位。本发明有效解决了双目视觉系统有效视场小、无法大范围定位手术器械的问题，具有实现了在大视场下对手术器械的自动跟踪和定位等优点。

Description

大视场下手术器械的自动跟踪定位方法

技术领域

本发明涉及一种手术导航技术，特别涉及一种大视场下手术器械的自动跟踪定位方法。

背景技术

手术导航中的光学定位设备一般是由两个定焦摄像机固定在一个支架上，形成一个固定的有效视场，手术器械必须在摄像机的有效视场范围内运动才能被定位。这是影响光学定位技术使用的一个重要因素。

目前，在双目视觉系统中主要使用广角镜头来获取大视场，但这种用广角镜头获取的图像畸变较大，对手术器械的三维坐标计算误差也会随之增大。另外，对于同样的CCD像素情况下，广角镜头获取更大的场景，则相同被测物在图像中所占的像素大大减少，从而也增大了测量误差。因此，扩大双目视觉系统的有效视场对光学定位技术的发展有着重要的影响。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种大视场下手术器械的自动跟踪定位方法，该自动跟踪定位方法有效解决了双目视觉系统有效视场小、无法大范围定位手术器械的问题，实现了在大视场下对手术器械的自动跟踪和定位，在手术导航领域有重要的应用价值。

本发明的目的通过下述技术方案实现：大视场下手术器械的自动跟踪定位方法，包括以下步骤：

步骤1、使用机械臂控制双目视觉系统运动来获取大视场，在大视场下对手术器械进行自动跟踪；

步骤2、根据机械臂自身舵机的位置关系确定双目视觉系统的空间位置；

步骤3、通过空间坐标变换对手术器械进行定位。

所述的双目视觉系统，主要由两个摄像头以及固定它们位置的支架组成，并固定于机械臂上部的运动端，用于获取手术器械在双目视觉系统坐标系下的三维坐标和方向。

所述的机械臂控制双目视觉系统运动是指，机械臂根据手术器械在双目视觉系统坐标系下的三维坐标和方向，通过改变自身舵机的转动角度来改变位于其上部运动端的双目视觉系统在绝对空间中的三维坐标和方向。

所述的在大视场下对手术器械的自动跟踪是指，手术器械的一部分移动到双目视觉系统的有效视场外时，机械臂将跟随手术器械运动，使双目视觉系统的有效视场能完全覆盖手术器械。其中，所述的双目视觉系统的有效视场是指，在两个摄像机均能拍到的区域中，能够实现对手术器械精确定位的区域。

所述的机械臂自身舵机的位置关系，是由机械臂的每个舵机的转动角度所确定的，即机械臂运动后，可根据其每个舵机的旋转角度确定整个机械臂的三维空间坐标；所述的双目视觉系统的空间位置，由机械臂上部运动端的舵机位置所确定。

所述的空间坐标变换是指，把手术器械相对于双目视觉系统的三维坐标和方向转换到绝对的三维空间坐标系中。

本发明的工作原理：把双目视觉系统固定于机械臂上部的运动端，确定双目视觉系统的有效视场和世界坐标系；由双目视觉系统实时获取手术器械在双目视觉系统坐标系下的坐标；机械臂跟随手术器械运动，使双目视觉系统的有效视场能完全覆盖手术器械；再次获取手术器械在双目视觉系统下的坐标，并根据空间坐标变换得到手术器械在世界坐标系下的位置。以此重复，直到实现了在大视场下对手术器械的自动跟踪定位为止。

本发明相对于现有技术具有如下的优点及效果：

本发明使用机械臂控制双目视觉系统运动，有效解决了双目视觉系统有效视场小、无法大范围定位手术器械的问题，实现了在大视场下对手术器械的自动跟踪和定位，在手术导航领域有重要的应用价值。

附图说明

图1为双目视觉系统和机械臂的结构示意图。

图2为图像中标记点所在的不同区域划分图。

图3为系统跟踪定位框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明的大视场下手术器械的自动跟踪定位方法通过如下步骤实现：

(1)把双目视觉系统固定于机械臂上部的运动端。初始化机械臂位置，为简化后面的坐标运算，使机械臂的上部转轴A的中心位于下部转轴B的中心的正上方，双目视觉系统由两个近红外摄像机以及固定他们位置的支架组成，两摄像机光轴与地面水平，两摄像机的连线中心与机械臂转轴A和B的中心在同一竖直线上，如图1所示。以转轴A的中心点为原点，以两摄像机连线方向为X轴，以竖直向上为Z轴建立直角坐标系作为世界坐标系G；以两摄像机连线中点为原点，以连线方向为X轴，以竖直向上为Z轴建立直角坐标系作为双目视觉系统的参考坐标系S。此时两坐标系的关系为G＝S+T，T表示S相对于G的位置。

(2)在手术器械上固定若干标记点，同时，我们使用的双目视觉系统的内外部参数是已知的，所以当手术器械出现在双目视觉系统的有效视场内时，就可以根据两个摄像机获取的图像上标记点的二维亚像素坐标来计算这些标记点在双目视觉系统坐标系S下的三维坐标，并根据空间坐标变换关系可以得到标记点在世界坐标系下的坐标，从而得到手术器械在世界坐标系下的位置。

(3)当图像上标记点的亚像素坐标提取后，可以根据这些亚像素点的坐标来控制机械臂各个舵机的转动角度使双目视觉系统获取最佳的跟踪位置。如图2所示，把一副图像分成Z₁、Z₂和Z₃三个区域。假设Z₂和Z₁为摄像机的有效视场区域，当标记点全部在Z₁内时表示摄像机具有最佳视场角，无需移动双目视觉系统；当标记点在Z₂内时，说明标记点靠近有效视场边缘，为使手术器械不离开有效视场，此时让双目视觉系统根据标记点在Z₂内的位置进行小幅度移动调整；当标记点在Z₃内时认为手术器械已经有一部分离开了有效视场，需对双目视觉系统进行较大幅度的移动调整。具体流程如图3所示。总的来说，当标记点位置靠近图像上边缘时，机械臂的舵机A将往上转动；当标记点位置靠近图像下边缘时，机械臂的舵机A将往下转动；当标记点位置靠近图像左边缘时，机械臂的舵机B将往左转动；当标记点位置靠近图像有边缘时，机械臂的舵机B将往右转动。

(4)本方案中双目视觉系统的移动是通过机械臂的两个舵机控制的。因此可以通过获取这两个舵机的转动角度来计算双目视觉系统坐标系S与世界坐标系G之间的关系，从而得到手术器械在世界坐标系下的位置。由于初始状态下舵机A和B的转轴分别为世界坐标系G的X轴和Z轴，因此运动后的双目视觉系统坐标跟初始化时的坐标关系可由简单的旋转矩阵得到。绕坐标轴旋转的旋转矩阵公式如下：

$R_X\left({\mathrm{\θ}}_X\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\θ}}_X& -\sin {\mathrm{\θ}}_X\\ 0& \sin {\mathrm{\θ}}_X& \cos {\mathrm{\θ}}_X\end{array}\right],$

$R_Z\left({\mathrm{\θ}}_Z\right)=\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_Z& -\sin {\mathrm{\θ}}_Z& 0\\ \sin {\mathrm{\θ}}_Z& \cos {\mathrm{\θ}}_Z& 0\\ 0& 0\mathrm{\θ}& 1\end{array}\right],$

其中θ为绕坐标轴按右手定则的旋转角。

对于每次运动后的双目视觉系统，均可根据此时机械臂两个舵机A和B相对与其初始状态下的转动角度来求得运动后的双目视觉系统相对与其初始状态下的旋转矩阵,从而根据标记点在新的双目视觉系统坐标系下的坐标和旋转矩阵求得标记点在世界坐标系下的坐标。具体的说，假设双目视觉系统运动后获取到的标记点在双目视觉系统坐标系下的坐标为S₀＝[X₀ Y₀ Z₀]^T，初始状态下G₀＝S₀+T,其中T＝[0 0 l]^T,l为两坐标系在初始状态下的距离，则其在世界坐标系下的坐标G₀可以根据如下公式进行计算：

G₀＝R(S₀+T)，

其中，R为旋转矩阵，

R＝R_Z(θ_Z)R_X(θ_X)，

因此有：

$G_0=\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_Z& -\sin {\mathrm{\θ}}_Z& 0\\ \sin {\mathrm{\θ}}_Z& \cos {\mathrm{\θ}}_Z& 0\\ 0& 0\mathrm{\θ}& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\θ}}_X& -\sin {\mathrm{\θ}}_X\\ 0& \sin {\mathrm{\θ}}_X& \cos {\mathrm{\θ}}_X\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0+1\end{array}\right],$

根据计算得到的标记点世界坐标即可得到手术器械在世界坐标系下的位置。

本方案使用摄像头采样率达到60帧/秒，完全满足对手术器械实时跟踪的需要，从而实现了在大视场下对手术器械的自动跟踪定位。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.大视场下手术器械的自动跟踪定位方法，其特征在于，包括以下步骤：

步骤1、使用机械臂控制双目视觉系统运动来获取大视场，在大视场下对手术器械进行自动跟踪；

步骤2、根据机械臂自身舵机的位置关系确定双目视觉系统的空间位置；

步骤3、通过空间坐标变换对手术器械进行定位。

2.根据权利要求1所述的大视场下手术器械的自动跟踪定位方法，其特征在于：在步骤1中，所述双目视觉系统包括两个摄像头和支架，所述支架用于固定摄像头的位置，所述支架固定于机械臂上部的运动端，所述双目视觉系统用于获取手术器械在双目视觉系统坐标系下的三维坐标和方向。

3.根据权利要求1所述的大视场下手术器械的自动跟踪定位方法，其特征在于：在步骤1中，所述机械臂控制双目视觉系统运动是指：机械臂根据手术器械在双目视觉系统坐标系下的三维坐标和方向，通过改变自身舵机的转动角度来改变位于其上部运动端的双目视觉系统在绝对空间中的三维坐标和方向；所述的在大视场下对手术器械的自动跟踪是指：手术器械的一部分移动到双目视觉系统的有效视场外时，机械臂将跟随手术器械运动，使双目视觉系统的有效视场能完全覆盖手术器械。

4.根据权利要求3所述的大视场下手术器械的自动跟踪定位方法，其特征在于：所述的双目视觉系统的有效视场是指：在两个摄像机均能拍摄到的区域中，能够实现对手术器械精确定位的区域。

5.根据权利要求1所述的大视场下手术器械的自动跟踪定位方法，其特征在于：在步骤2中，所述机械臂自身舵机的位置关系，是由机械臂的每个舵机的转动角度所确定的，即机械臂运动后，可根据其每个舵机的旋转角度确定整个机械臂的三维空间坐标；所述的双目视觉系统的空间位置，由机械臂上部运动端的舵机位置所确定。

6.根据权利要求1所述的大视场下手术器械的自动跟踪定位方法，其特征在于：在步骤3中，所述空间坐标变换是指，把手术器械在双目视觉系统坐标系下的三维坐标和方向转换到绝对的三维空间坐标系中。