CN103142313B - 一种基于单目视觉的手术工具位姿实时检测系统 - Google Patents

Abstract

本发明公开了一种基于单目视觉的手术工具位姿实时检测方法及系统，使用光学定位原理进行手术工具的位置和姿态实时检测。其中，所述单目视觉手术工具位姿实时检测系统包括：用于确定一基于患者身体的基准坐标系的基准标志单元和用于进行图像采集，获取手术工具相对世界坐标系的旋转姿态和平移位置的图像采集及人机交互单元，所述基准标志单元与患者身体刚性连接，所述图像采集及人机交互单元刚性固着于手术工具上。本发明由于采用了光学图像定位系统取代了以往基于机械和双目视觉定位方式的手术工具实时检测工具，使得手术工具实时检测装置的体积更轻巧，操作更简单，使用更稳定，精度更高。

Description

一种基于单目视觉的手术工具位姿实时检测系统

技术领域

本发明涉及电子技术领域，特别涉及一种基于单目视觉的手术工具位姿实时检测方法及系统。

背景技术

公知的手术工具实时检测装置，传统的采用机械定位方式，机械结构的刚体特性的主要缺点是体积大，重量重，安装和操作比较复杂。另外一个比较大的问题是，由于导航装置是一个悬臂，手术工具与机械导航装置的定位孔发生接触时，会造成机械导航工具的较大形变误差。而且随着使用过程，由于机械磨损导致精度降低而不能使用。

近年还出现了采用电磁方式和双目视觉进行定位。电磁感应则存在精度有限，而且易于受到环境干扰；双目视觉则由于必须配置至少两个图像传感器，处理计算能力要求高，因而体积和成本都不能得到有效降低。而且这些定位装置，都必须有专用的导航系统软件和计算机，同时必须事先对手术环境的坐标系与定位装置的坐标系、医学图像坐标系三者进行配准，体积庞大，成本高昂，用户的使用必须经过专业的学习。在中小型手术时，劣势尤其明显。

本发明基于单目视觉的手术工具位姿实时检测系统，其操作步骤与定位原理都与原有的机械定位导航装置类似。但是采用光学定位取代了机械定位，第一使得手术工具与导航装置的基准没有物理接触，因为不会因为机械力造成形变误差；第二可以采用计算机图像数据记录手术规划路径，比使用机械刻度存储灵活性大，存储空间丰富。第三，由于现在SOC应用处理器的小型化和普及化，其成本和体积、重量也比上述基准导航装置具有较大的优势。

同时因为基准标志单元的标志图形支持编码，因而即使存在多个手术工具同时使用，并存在多个不同的基准标志单元时，也可以正常工作而互不干扰。需要多个工具协同时，也可以通过WIFI互通信息。每个图像采集及人机交互单元的体积和重量都和普通的手机或者MP4播放器相当，根据手术行程，用户可以灵活选择不同大小的基准标志单元。因而，其完全可以胜任大型手术导航系统完成的工作，但是由于其体积小巧，操作简单，成本也低廉许多，必将逐渐取代大型导航系统。

发明内容

本发明的目的在于提供基于单目视觉的手术工具位姿实时检测方法及系统。以解决现有技术中的导航装置成本高，使用步骤繁琐的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种基于单目视觉的手术工具位姿实时检测系统，使用光学定位原理进行手术工具的位姿实时检测，其中，所述单目视觉手术工具位姿实时检测系统包括：

基准标志单元，用于确定一基于患者身体的基准坐标系，包含两个相互正交的刚性平面，两个平面具有一条公共边，每个平面都印刷有具备特征点的图案；

图像采集及人机交互单元，用于进行图像采集，获取手术工具相对基准坐标系的旋转姿态和平移位置；

所述基准标志单元与患者身体刚性连接，所述图像采集及人机交互单元刚性固着于手术工具上。

所述基于单目视觉的手术工具位姿实时检测系统，其中，所述基准标志单元的个数为一个或多个，所述基准标志单元由至少两个互不平行的平面构成，两个平面共一条边，每个平面印刷有特征点图形。

所述基于单目视觉的手术工具位姿实时检测系统，其中，所述图像采集及人机交互单元进一步包括：嵌入式处理系统、显示面板和图像采集单元；所述嵌入式处理系统连接显示面板和图像采集单元。

所述基于单目视觉的手术工具位姿实时检测系统，其中，所述显示面板为带触摸屏的液晶显示屏；所述图像采集单元为CMOS图像采集单元；所述嵌入式处理系统进一步包括一图像应用处理器， RAM芯片，用于存放程序固件的FLASH和一WIFI网络接口卡。

有益效果：本发明基于单目视觉的手术工具位姿实时检测方法及系统，因为使用了光学定位取代了传统的机械定位，并进一步使用单目视觉和嵌入式系统取代了电磁定位和双目视觉定位装置及与其配套使用的大型手术导航系统。使得手术工具位姿实时检测系统的体积和重量都得到了大幅的降低；由于在导航过程中，手术工具与基准标志单元没有物理接触，因此也避免了对基准标志单元的物理干扰，提高了导航装置的稳定性。同时使用数字图像传感器采集图像并经图像应用处理器处理后，可以得到手术工具的精确位姿，并存储在非易失存储器中，极大地增加了导航装置的灵活性和便捷性。在操作过程中，图像采集及人机交互单元具有声音和图像双重提示功能，也极大地降低了操作人员的工作强度和操作难度。小巧的体积和简单的操作流程，则进一步降低了用户的学习难度和对手术环境的要求。

附图说明

图1为本发明单目视觉的手术工具位姿实时检测系统的结构框图。

图2为本发明实例使用的一种基准标志单元三维示意图。

图3为本发明实例使用的一种易于识别的基准标志单元特征点位置X特征图像。

图4为本发明实例的膝关节置换腿骨手术导航流程图。

图5为本发明的单目视觉的手术工具位姿实时检测方法的流程图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。

请参阅图1，其为本发明的单目视觉的手术工具位姿实时检测系统的结构框图。如图所示，所述单目视觉手术工具位姿实时检测系统包括：基准标志单元100、图像采集及人机交互单元200，其中，所述基准标志单元100与患者身体刚性连接，所述图像采集及人机交互单元200刚性固着于手术工具上。

具体来说，所述基准标志单元100用于确定一基于患者身体的基准坐标系。在本实施例中，所述基准标志单元100其包含两个相互正交的刚性平面，两个平面具有一条公共边，每个平面都印刷有具备特征点的图案。所述基准标志单元，通过一个刚性装置固着在患者待实施手术的身体部位，以保证其形变十分微小。该基准标志单元作为手术坐标系的基准，刚性装置保证了其稳定性，其微小形变不会影响到手术的操作精度。

应当理解地是，所述基准标志单元100也可以采用互不平行的非正交平面，虽然会在一定程度上增加坐标转换时的计算量，但是却大大提高了系统的适用性。

所述图像采集及人机交互单元200用于进行图像采集，获取手术工具相对基准坐标系的旋转姿态和平移位置（下面会通过一个具体的实施例来进行描述）。

进一步地，图像采集及人机交互单元200进一步包括：嵌入式处理系统、显示面板和图像采集单元；所述嵌入式处理系统连接显示面板和图像采集单元。更进一步地，所述显示面板为带触摸屏的液晶显示屏；所述图像采集单元为CMOS图像采集单元；所述嵌入式处理系统进一步包括一图像应用处理器， RAM芯片，用于存放程序固件的FLASH和一WIFI网络接口卡。所述图像采集及人机交互单元200其主体通过螺孔刚性连接到手术工具上，以保证CMOS图像采集单元与手术工具的空间几何关系变化十分微小，不会影响到手术的操作精度。可触控操作的液晶显示屏，其角度可变化，以方便手术操作。当然，还可以在所述图像采集及人机交互单元200上设置一用于提供电源的电源装置（如电池），并根据需要来设定，电源装置的大小。

其中，所述图像采集及人机交互单元200获取手术工具相对世界坐标系的旋转姿态和平移位置（为本发明之关键），其具体方法如下：

首先我们定义基准标志单元为我们的世界坐标系基准，如附图2，以基准标志单元两正交平面的公共边作为世界坐标系的X轴，公共边左侧或者上侧平面中与X轴垂直边作为Y轴，公共边右侧或者下侧中与X轴垂直边作为Z轴。三个轴的交点作为世界坐标系的原点，得到一个右手坐标系，世界坐标以 表示。

基准标志单元中，每个平面的特征点图形均包含至少四个不共线的特征点，且有两个特征点处于公共边上。因而每个平面至少具有四条特征直线，且有一条特征直线位于公共边上（即X轴）。根据针孔相机模型，可以得到特征直线在相机成像平面的二维投影为：

，，分别对应特征直线投影在相机成像平面中的坐标。

又因为每个平面具有四条特征直线，XY轴平面的特征直线具有=0的特性；该平面投影到相机成像平面的投影为，为零的一行省略掉：

，将之代入特征直线方程，则得到：

XZ轴平面的特征直线具有=0的特性。该平面投影到相机成像平面的投影为，为零的一行省略掉：

，将之代入特征直线方程，则得到：

H,G为两个基准标志平面的3X3旋转平移变换矩阵。矩阵H的第一列表征世界坐标系（基准标志单元坐标系）中X轴向上的无穷远点，第二列表征世界坐标系中Y轴向上的无穷远点，第三列表征坐标系原点；矩阵G的第一列表征世界坐标系中X轴向上的无穷远点，第二列表征世界坐标系中Z轴向上的无穷远点，第三列表征坐标系原点；因为两个平面共有X轴和坐标系原点，所以矩阵中对应X轴的第一列和对应坐标系原点的第三列是等价的。合并上述两个矩阵，我们可以得到世界坐标系到相机成像平面的转换矩阵为一个3x4矩阵：

,表示相机内参数（焦距和光心），R表示相机相对世界坐标系的旋转，T表示相机相对世界坐标系的平移。

取P的前三列为矩阵Y，可以得到：

至此，我们得到了相机相对世界坐标系的旋转姿态和平移位置，因为图像采集及人机交互单元主体与手术工具是刚性连接在一起的，它们的空间几何关系是固定的，因而我们也就得到了手术工具相对于基准标志单元的旋转姿态和平移位置。

通过平移矩阵，我们可以确定相机光心相对基准标志单元的世界坐标系的平移，从而比对目标位置的平移坐标，分别提示用户沿X，Y，Z轴移动到指定的位置。

我们假设从世界坐标系旋转得到相机坐标系的过程如下：平移T使得二坐标系位于相同的原点，先绕世界坐标系的Z轴旋转角度，然后再绕世界坐标系的Y轴旋转角度，最后围绕世界坐标系的X轴旋转角度，从而得到相机坐标系。则旋转矩阵可以写为下面的形式：

合并后得到：

分别代表绕世界坐标系X,Y,Z轴旋转的角度对应的余弦函数值；分别代表绕世界坐标系X,Y,Z轴旋转的角度对应的正弦函数值。根据我们求得的旋转矩阵，我们可以求解上述方程组，从而得到对应的旋转角度。比对目标位置的要求旋转角度，我们按照X,Y,Z轴的顺序指导用户调整手术工具到达目标位姿角度。

至于光学镜头导致的失真问题，其满足下面的关系，其中是经过失真修正后的图像坐标，是数字图像传感器获取到的图像坐标，是数字图像传感器获取到的图像中光轴与成像平面相交的图像坐标。表示点（）到光心的距离。标志径向畸变系数，我们通常校正到3阶；则标志切向畸变系数，我们通常校正到2阶。该失真参数在生产过程中校准之后，在使用过程中不会发生影响检测精度的变化。

下面通过一个具体的实施例来详细介绍一下：

在本实例中，使用基于单目视觉的手术工具位姿实时检测系统为膝关节置换手术进行导航。

基准标志单元，我们选择两个正方形的正交平面，均衡安装便捷性和精度，选择正方形的边长为3CM，每个正方形的顶点用一个正交X图形表示，正交X图形的边上取为1CM。基准标志单元材质选用亚克力板，使用不锈钢连接件，可以方便地安装在胫骨固定框架和腿骨固定框架上。

图像采集及人机交互单元，采用一块美国XILINX公司的ZC7020作为图像应用处理器，配合512MBDDR内存，4GBNAND FLASH作为非易失存储器。ZC702具有双核CORTEX-A9的ARM通用处理器，运行LINUX操作系统，并通过QT GUI库提供一个触控液晶人机接口；它还具备一个拥有220个DSP处理核心，以及85K可编程逻辑单元的可编程逻辑部分，特别适合用来进行图像采集和处理。CMOS图像传感器采用OMNIVISION公司的OV2710，该传感器在1.3MP的解析度可以提供高达60FPS的采集速度，配合ZC7020的处理，可以满足实时操作的流畅性。

考虑到图像的清晰度，我们选择了一款3.5英寸，分辨率为800X480，使用多点电容触摸屏作为操作接口。内部提供2W立体声喇叭，以便在手术过程中提供语音指导。

供电系统采用聚合物锂离子电池，因为手术过程通常不会很长，选择1500mAh锂离子电池，足够连续工作12小时。电池可更换，以备导航装置在多台手术中连续使用。

所述基于单目视觉的手术工具位姿实时检测系统，进行膝关节手术导航，具体使用过程如图4所示：

手术准备期，外科医生首先将基准标志单元通过不锈钢连杆尾部的螺钉连接到腿骨固定框架，并将腿骨固定框架固定到患者的大腿上。然后将图像采集及人机交互单元通过螺孔固着到手术工具上，并调整触控液晶屏角度到适宜观察和操作的角度。

完成后，图像采集及人机交互单元会提示从手术规划计算机通过WIFI网络读入手术规划以及相关的医学图像资料，还是由外科医生手动输入手术规划。外科医生按照自己的操作喜好，完成资料设定。

外科医生选择本次手术实施的膝关节操作步骤，腿骨末端切除，图像采集及人机交互单元会提示手术规划的每个参数，包括患者名称，切除角度，切除距离等，在医学图像中以橙色标志，请求外科医生逐个确认。确认完成后，提示导航开始。

手术中，外科医生拍摄一幅患者的腿骨X光图片，并将该X光图片通过WIFI网络接口传送到图像采集及人机交互单元，图像采集及人机交互单元会与腿骨手术规划位置比对。如果比对结果差异小于预设的误差下限，那么会提示外科医生可以开始进入手术导航。如果比对结果差异大于等于预设的误差下限，但是小于错误误差上限，则提示外科医生，是否按照X光图片进行手术规划位置修正，如果外科医生确认修正，那么在医学图像上标志出修正后的结果，并进入手术导航；如果外科医生拒绝修正，那么进入错误状态，停止本次导航。如果比对结果差异大于错误误差上限，那么图像采集及人机交互单元进入严重错误状态，停止本次导航。

外科医生接着按照手术规划逐一进行手术实施。导航开始，所有存储的未完成手术规划步骤都以蓝色显示在手术图像上，当前进行的手术实施步骤以橙色显示。

图像采集及人机交互单元开始采集基准标志单元的图像，并根据图像实时计算手术工具的当前位姿。在触控液晶屏幕中，目标位姿以一个橙色的三维向量标识，当前手术工具位姿以一个绿色的三维向量标识。外科医生移动手术工具使得两个三维向量重合，当两个三维向量的距离小于预设的误差上限时，图像采集及人机交互单元提示导航成功，可以开始实施手术。为了方便手术的实施，图像采集和人机接口单元除液晶显示屏幕的图像外，还提供同步的语音提示，只需极少量的液晶屏幕图像辅助，外科医生根据语音提示就可以完成手术工具的对准。

成功完成手术实施的手术规划步骤，该手术规划步骤对应的点颜色变为绿色标志。外科医生继续选择剩余的手术规划步骤进行手术。当所有切削操作都完成手术实施后，图像采集及人机交互单元提示外科医生，腿骨末端切除手术完成，得到外科医生确认后，图像采集及人机交互单元提示将上传本次手术导航路径记录，以备手术评估或共享。通过WIFI网络上传本次手术导航路径记录后，图像采集及人机交互单元进入胫骨末端切除状态，提示外科医生更改基准标志单元位置或者指定胫骨基准标志单元型号。

外科医生确认本次手术实施的膝关节操作步骤，胫骨末端切除，图像采集及人机交互单元会提示手术规划的每个参数，包括患者名称，切除角度，切除距离等，在医学图像中以橙色标志，请求外科医生逐个确认。确认完成后，提示导航开始。

手术中，外科医生拍摄一幅患者的胫骨X光图片，并将该X光图片通过WIFI网络接口传送到图像采集及人机交互单元，图像采集及人机交互单元会与胫骨手术规划位置比对。如果比对结果差异小于预设的误差下限，那么会提示外科医生可以开始进入手术导航。如果比对结果差异大于等于预设的误差下限，但是小于错误误差上限，则提示外科医生，是否按照X光图片进行手术规划位置修正，如果外科医生确认修正，那么在医学图像上标志出修正后的结果，并进入手术导航；如果外科医生拒绝修正，那么进入错误状态，停止本次导航。如果比对结果差异大于错误误差上限，那么图像采集及人机交互单元进入严重错误状态，停止本次导航。

类似于腿骨末端切削手术，在基于单目视觉的手术工具位姿实时检测系统的图像和语音指引下，外科医生完成胫骨末端的切削手术。

另外，本发明还提供了一种基于单目视觉的手术工具位姿实时检测方法，使用光学定位原理进行手术工具的位姿实时检测，如图5所示，所述单目视觉手术工具位姿实时检测方法包括以下步骤：

S1、将基准标志单元与患者身体的待手术处刚性连接，并将图像采集及人机交互单元固着到手术工具上；

S2、图像采集及人机交互单元采集带有标准标识单元的患者身体的待手术处的图像信息，获取手术工具相对世界坐标系的旋转姿态和平移位置；

S3、图像采集及人机交互单元引导手术工具到达目标手术位姿，并进行手术导航，指引手术工具逐一进行手术实施，完成手术的全部操作。

进一步地，所述步骤S2中图像采集及人机交互单元在获取手术工具相对世界坐标系的旋转姿态和平移位置时，包括：

使用数字图像传感器检测基准标志单元的特征点位置，利用投影关系解算出数字图像传感器相对于基准标志单元的位姿。

另外，所述步骤S3中进一步包括：

图像采集及人机交互单元会与患者身体的待手术处的规划位置比对。如果比对结果差异小于预设的误差下限，那么会提示进入手术导航；如果比对结果差异大于等于预设的误差下限，但是小于错误误差上限，则提示是否进行手术规划位置修正，如果确认修正，那么在图像上标志出修正后的结果，并进入手术导航；如果拒绝修正，那么进入错误状态，停止本次导航；如果比对结果差异大于错误误差上限，那么图像采集及人机交互单元停止本次导航。

需要注意地是，当需要多个手术工具协同工作时，其包括以下步骤：基于同一个基准标志单元，各个手术工具附属的图像采集及人机交互单元分别计算自己相对于基准标志单元的位姿，并将自己的位姿数据发送到需要协同的手术工具，计算二者的相互位姿。当一个手术工具固定时，另一个手术工具依据图像采集及人机交互单元的提示完成相对该手术工具的对准。从而在大型复杂手术中，提供多目标协同。

综上所述，本发明由于采用了单目视觉基于标志物的相机位姿解算，从而用光学定位取代了传统的机械定位方式，并进一步采用单目视觉和嵌入式系统取代了电磁定位和双目视觉及其配套的大型导航系统。采用现在的嵌入式计算机和数字图像传感器技术取代原有的机械结构，极大地简化了手术的准备和实施。同时由于嵌入式计算机的智能化和网络化，用智能处理器的程序检查配合外科医生自查，可以极大地提高手术的安全性；而术前的手术资料和手术操作过程，都可以记录为视频和位姿路径同步资料，通过WIFI网络进行广泛共享，便于手术评估和交流。由于光学定位是非接触式定位，而机械定位是接触式定位方式，在操作过程中非接触式的光学定位对基准标志的干扰误差要小很多，这会进一步提高导航的精度。

光学定位系统的主要部件都是电子元件，没有损耗的顾虑，唯一一个易损耗部件是基准标志单元，但是其制作简单，成本低廉，易于更换，可以大批量制备。比对机械导航装置，具有重量轻，成本低，易于规模化生产的特点。比之大型手术导航系统，本发明具有相同的导航能力，同时具备小巧的体积和更高的灵活性，更低的成本，且对手术空间的要求要低很多。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，比如采用其他光学镜头和处理芯片，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种基于单目视觉的手术工具位姿实时检测系统，使用光学定位原理进行手术工具的位姿实时检测，其特征在于，所述单目视觉手术工具位姿实时检测系统包括：

基准标志单元，用于确定一基于患者身体的基准坐标系，包含两个相互正交的刚性平面，两个平面具有一条公共边，每个平面都印刷有具备特征点的图案；

图像采集及人机交互单元，用于进行图像采集，获取手术工具相对基准坐标系的旋转姿态和平移位置；

所述基准标志单元与患者身体刚性连接，所述图像采集及人机交互单元刚性固着于手术工具上。

2.根据权利要求1所述基于单目视觉的手术工具位姿实时检测系统，其特征在于，所述基准标志单元的个数为一个或多个，所述基准标志单元由至少两个互不平行的平面构成，两个平面共一条边，每个平面印刷有特征点图形。

3.根据权利要求1所述基于单目视觉的手术工具位姿实时检测系统，其特征在于，所述图像采集及人机交互单元进一步包括：嵌入式处理系统、显示面板和图像采集单元；所述嵌入式处理系统连接显示面板和图像采集单元。

4.根据权利要求3所述基于单目视觉的手术工具位姿实时检测系统，其特征在于，所述显示面板为带触摸屏的液晶显示屏；所述图像采集单元为CMOS图像采集单元；所述嵌入式处理系统进一步包括一图像应用处理器， RAM芯片，用于存放程序固件的FLASH和一WIFI网络接口卡。