CN112869856B

CN112869856B - 二维图像引导的髓内针远端锁定机器人系统及其锁定方法

Info

Publication number: CN112869856B
Application number: CN202110172614.8A
Authority: CN
Inventors: 祝世杰; 郑钢铁
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2021-02-08
Filing date: 2021-02-08
Publication date: 2022-04-01
Anticipated expiration: 2041-02-08
Also published as: CN112869856A; WO2022166182A1

Abstract

本发明提出一种二维图像引导的髓内针远端锁定机器人系统及其锁定方法，其中，方法包括：首先调整图像采集设备使得髓内针上的锁孔轮廓在视野中为正圆，随后进行图像畸变校正，随后医生在远程工作站图形界面上指定锁孔位置，随后远程工作站通过图像反馈控制率计算机器人运动量并控制机器人运动。机器人运动后重新采集图像，机器人再根据新的图像调整位置，“成像‑运动”步骤自动迭代若干次，直到导向器准确对准锁孔，此后操作者手动通过导向器在骨头上钻出穿过锁孔的导向孔，然后通过导向孔拧入锁紧螺钉，完成远端锁定。由此，简化了手术操作流程，免去了在病人身上安装光学标志所带来的额外医源性创伤。

Description

二维图像引导的髓内针远端锁定机器人系统及其锁定方法

技术领域

本发明涉及手术机器人技术领域，尤其涉及一种二维图像引导的髓内针远端锁定机器人系统及其锁定方法。

背景技术

髓内针内固定术由于其愈合率高和并发症发生率低的优点成为了骨折微创治疗的金标准。然而，髓内针内固定术的手术操作，特别是远端锁定步骤，对于外科医生而言依然具有相当挑战性。远端锁定是指，髓内针插入骨髓腔之后，从骨头外部拧入若干穿过髓内针远端锁孔的螺钉，以此将髓内针与骨投紧密锁定在一起的操作。髓内针的两端(远端和近端)都有若干锁孔。借助连接在髓内针近端的瞄准器或导向器，可以较为容易地执行近端锁孔的锁定。而对于远端锁孔，由于髓内针的变形，必须在X光透视图像的帮助下执行锁定步骤。尽管医生可以使用X光机透视骨头，但要使锁定螺钉通过直径一般小于5毫米的锁孔仍然是困难的操作。不仅如此，为了完成远端锁定操作所需的X光透视次数往往较多，由此造成的X光辐射剂量对医生和患者而言都有较大危害。

机器人技术的辅助是一个降低远端锁定操作难度同时减少X光辐射剂量的潜在方案。现有关于机器人辅助远端锁定的研究中有一类基于光学导航的方法，然而光学导航所需的光学标志必须刚性地固定在病人身上，造成了额外的医院创伤。另一类常见的计算机辅助方法基于电磁导航，但这种方法需要配合特殊设计的内含电磁失踪器的髓内针，同时对手术室的电磁环境有着较高的要求。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种二维图像引导的髓内针远端锁定机器人系统，该系统对硬件设备要求低，只需使用C型臂X光机提供图像用于反馈控制，而不需要使用光学或电磁导航设备。同时简化了手术操作流程，免去了在病人身上安装光学标志所带来的额外医源性创伤。

本发明的第二个目的在于提出一种基于手术机器人系统的远端锁定方法。

为达上述目的，本发明第一方面实施例提出了一种二维图像引导的髓内针远端锁定机器人系统，包括：机械臂、远端锁定装置，其中，所述远端锁定装置由连接臂、钻孔导向器和标定装置组成，其中，

所述连接臂的近端可装卸地与所述机械臂末端相连，所述连接臂的远端与所述标定装置连接，所述连接臂的远端与所述钻孔导向器连接；

所述标定装置，包括：透X光材料制成的基体，所述基体包括内部，中部和外部，其中，所述中部连接所述内部和所述外部，

所述基体上镶嵌有至少8个使用不透X光的材料制成的小球，所述小球被划分为第一组小球和第二组小球，所述第一组小球被镶嵌于所述基体的内部，所述第二组小球被镶嵌于所述基体的外部，所述第一组小球中所有的小球的直径相同，所述第二组小球中所有的小球的直径相同，所述第一组小球和第二组小球中小球的直径不同。

为达上述目的，本发明第二方面实施例提出了一种基于手术机器人系统的远端锁定方法，所述方法应用于上述的二维图像引导的髓内针远端锁定机器人系统中，所述方法包括以下步骤：

根据预设的调整参数调整所述二维图像引导的髓内针远端锁定机器人系统中，X光图像采集设备的位置和角度，以使得髓内针远端锁孔的轮廓在X光图像采集设备采集的X光图像中为一正圆；

通过安装了图像畸变校正装置的X光图像采集设备采集包含有图像畸变校正装置的X光图像；

根据所述X光图像获取图像畸变参数；

根据所述X光图像采集设备的视场的位置移动机械臂，使安装于其前端的远端锁定装置位于X光图像采集设备的视场中，并采集一张候选X光图像；

在所述候选X光图像中标定锁孔位置；

根据所述锁孔位置和所述远端锁定装置上小球的位置，计算出机械臂运动参数，并根据所述运动参数移动所述机器臂并采集一张目标X光图像；

计算所述目标X光图像中所述锁孔位置和钻孔导向器之间的对准误差；

根据对准误差调整所述机械臂运动参数，直至所述对准误差小于预设阈值，提示操作者在所述钻孔导向器的引导下钻出穿过髓内针锁孔的导向孔，然后往所述导向孔中拧入锁紧螺钉，以完成远端锁定。

本发明的实施例，至少具有如下的技术效果：

进行机器人远端锁定操作时，首先调整图像采集设备使得髓内针上的锁孔轮廓在视野中为正圆，随后进行图像畸变校正，随后医生在远程工作站图形界面上指定锁孔位置，随后远程工作站通过图像反馈控制率计算机器人运动量并控制机器人运动。机器人运动后重新采集图像，机器人再根据新的图像调整位置，“成像-运动”步骤自动迭代若干次，直到导向器准确对准锁孔，此后操作者手动通过导向器在骨头上钻出穿过锁孔的导向孔，然后通过导向孔拧入锁紧螺钉，完成远端锁定。并且，提出一种远端锁定机器人系统以及一种基于视觉伺服的远端锁定控制方法。该系统对硬件设备要求低，只需使用C型臂X光机提供图像用于反馈控制，而不需要使用光学或电磁导航设备。同时简化了手术操作流程，免去了在病人身上安装光学标志所带来的额外医源性创伤。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的一种髓内针远端锁定机器人系统结构示意图；

图2为远端锁定方法的流程框图；

图3为机械臂运动量计算流程框图；

图4为机械臂及其前端的远端锁定装置的示意图；

图5为远端锁定装置的示意图；

图6为远端锁定装置及分布其上的小球的俯视图；

图7为远端锁定装置及分布其上的小球及其包含的钻孔导向器的示意图；

图8为远端锁定过程中关键步骤对应的X光透视图像；

图9为图像畸变校正装置的示意图。

附图标记：

远端锁定机器人系统-1；机械臂-100；远端锁定装置-110；机械接口-111；连接臂-112；连接臂近端-112a；连接臂远端-112b；钻孔导向器-113；小球-114；直径较小的小球-a、b、c、d；直径较大的小球-A、B、C、D；直径较小的小球构成的凸四边形的外接圆-115；直径较大的小球构成的凸四边形的外接圆-116；钻孔导向器轴线-117；标定装置-130；标定装置上表面-133；标定装置下表面-134；标定装置上表面所在的平面-135；标定装置下表面所在的平面-136；标定装置内部-141；标定装置外部-142；标定装置中部壁面-145；标定装置外部右半部分-146；标定装置外部左半部分-147；X光图像采集设备-200；图像畸变校正装置-210；X光图像采集设备的影像增强器-220；畸变校正装置的平板基体-221；畸变校正装置的小球阵列-212；远程工作站-300；远程工作站上的图形界面-310；手术对象(患者)-400；数据线-500。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

为了解决上述背景技术中提到的技术问题，基于图像的视觉伺服技术是一种可用于远端锁定的潜在解决方法。近年来，视觉伺服在机器人领域的应用收到了较多研究者的关注。在视觉伺服框架下，目标和机器人的位置及运动信息通过视觉传感器来捕获，从而可以实时地控制机器人完成特定的任务。

一方面，在该框架下，基于图像信息的闭环控制使得机器人的定位精度要过于其他开环控制的系统。另一方面，随着图像处理和分析算法的进步，视觉伺服方法对于安装与目标上的光学或电磁标志的依赖性也在逐步降低。

为此，本发明的一个目的在于提出一种远端锁定机器人系统以及一种基于视觉伺服的远端锁定控制方法。该系统对硬件设备要求低，只需使用C型臂X光机提供图像用于反馈控制，而不需要使用光学或电磁导航设备。同时简化了手术操作流程，免去了在病人身上安装光学标志所带来的额外医源性创伤。

下面参考附图描述本发明实施例的二维图像引导的髓内针远端锁定机器人系统及其锁定方法。

首先将参照附图描述根据本发明实施例提出的一种髓内针远端锁定机器人系统。

图1展示了远端锁定机器人系统1的一个实施例，包括机械臂100，远端锁定装置110，X光图像采集设备200(此实施例中为C型臂X光机)，图像畸变校正装置210，远程工作站300。途中还展示了X光图像采集设备的影像增强器220，数据线500以及该机器人系统的作用对象400的位置。远程工作站300与X光图像采集设备200以及机械臂100分别通过数据线500相连，该远程工作站用于手术图像处理、锁孔位置的标记计算机械臂运动量以及控制机械臂运动。X光图像采集设备可以是C型臂X光机或者G型臂X光机。

图9展示了可用于远端锁定机器人系统1的一种图像畸变校正装置210。在此实施例中，平板221由X光可穿透的材料制成。小球阵列212镶嵌或粘贴于平板221上，由不透X光(如金属材料)的材料制成。小球阵列的排列方式是事先设计好的，比如图9中所展示的，小球沿着两个垂直方向等距地周期性排列。图像畸变校正装置210可装卸地连接于X光图像采集设备200的影像增强器220上。图像畸变校正装置上的小球阵列212应能够充满X光图像采集设备的视场，从而使采集到的图像中布满了小球。图像畸变校正装置210的安装朝向没有特殊要求。

图4展示了可以用于远端锁定的机械臂100及其前端的远端锁定装置110的一个实施例。图5展示了远端锁定装置110的细节。在此实施例中，远端锁定装置110包含一个近端112a有机械接口111的连接臂112,机械接口111用于将远端锁定装置110与机械臂110可装卸地相连接。连接臂112的远端1120b包括一个钻孔导向器113，以及一个标定装置130。标定装置130由可通过X光材料制成的基体140以及镶嵌于140上不透X光的小球构成。

标定装置130包含上表面133，下表面134，基体140以及小球114。基体140包含内部141，外部142以及连接内部和外部的壁面145。如图5和图7所示，内部141为一平面，将一部分小球114固定在一个平面135上。类似的，外部142也是一个平面，将剩余小球114固定在另一个平面136上。基体的内部141和外部142之间是连接141和142的中部壁面145。在该实施例中，145进一步可以分为左半部分壁面和右半部分壁面，类似地，基体的外部142也分成了左半部分147和右半部分146。中部壁面145在本实施例中为一圆台形，连接内部141和外部142。

图6展示了小球114在标定装置130上的分布。小球114用于精确确定X光图像采集设备200的内部参数及其相对于机械臂110的外部参数。小球114按照直径不同可分为两组，组内小球直径相同。直径较大的小球比直径较小的小球直径大百分之四十以上，本实施例中大百分之五十。如图6和图7所示，直径较大的小球的球心位于平面基体外部142所在的平面136上，而直径较小的小球的球心位于基体内部141所在的平面135上。本实施例中平面135和136互相平行。直径较大的小球的球心构成平面凸多边形的顶点，直径较小的小球的球心构成另一个平面凸多边形的顶点。特别地，在该实施例中，这两个平面凸多边形为圆的内接多边形。本实施例中，从垂直于平面135和136的方向上看，直径较小的小球所在的平面凸多边形的外接圆在直径较大的小球所在的平面凸多边形的外接圆的内部，这样是为了避免透视图像中两组小球的图像发生重叠。

如图6所示，小球的直径分为两组的目的是为了在透视图像中更好地将这些小球区分开来。进一步地，在该实施例中，直径较大的小球可以分为两对，标记为(A,C)和(B,D)。小球A和小球C之间的连线与小球B和小球D之间的连线相交于一点E。某小球到交点E之间的距离与该球到与之配对的另一个小球之间的距离成为该小球到交点E的归一化距离。如A、E之间距离与A、C之间距离的比值称为A到E的归一化距离。A、B、C、D到E的归一化距离各不相同，从而可以据此在图像中将他们区分开来。类似地，直径较小的小球也可以分为两对，标记为(a,b)和(c,d)，小球a和小球c之间的连线与小球b和小球d之间的连线相交于一点e。同样地，a、b、c、d到e的归一化距离各不相同。如图7所示，钻孔导向器117的轴线经过A、B、C、D的外接圆圆心和a、b、c、d的外接圆圆心，与直径较大的小球A、B、C、D所在的平面以及直径较小的小球a、b、c、d所在的平面垂直。

针对这一问题，本发明实施例提供了基于手术机器人系统的远端锁定方法，该方法包括以下步骤：

根据所述X光图像获取图像畸变参数；

在所述候选X光图像中标定锁孔位置；

图2展示了基于图像反馈的远端锁定控制方法1000的框图。

步骤1100中，操作者调整C型臂X光机的位置和方向，使得远端锁孔的轮廓在X光透视图像中为一正圆，如图8所示。

步骤1200中，图像畸变校正装置210被安装于C型臂X光机的影像增强器上，进行畸变校正后图像畸变校正装置210被取下。

步骤1300中，操作者移动机械臂，使其末端的远端锁定装置位于C型臂X光机的视场中。

步骤1400中，采集一张新的X光透视图像，操作者在远程工作站上的图形界面中标记出目标锁孔的位置，如图8所示的远端锁孔601。锁孔位置用图像中的像素坐标s＝[u v]^T表示。如图8中的(b)所示，锁孔和机械臂末端的远端锁定装置上的小球同时清晰地出现在X光透视图像中。

步骤1500中，机械臂根据图像反馈控制律进行移动。

步骤1600中，机械臂在步骤1500中的运动完成后，采集一张新的X光透视图像。

根据步骤1600采集的图像，远程工作站计算出钻孔导向器和锁孔之间的对准误差。如果对准误差超过预设阈值，则重复步骤1500和1600，直至对准误差小于预设阈值后，进入步骤1800。

步骤1800中，操作者将导针送入钻孔导向器，在钻孔导向器引导的方向下钻出一导向孔。如图8中的(c)所示，此时钻孔导向器已精确对准目标锁孔，因此该导针将穿透目标锁孔。此时便可在导针的引导下轻松地将锁紧螺钉精确拧入目标锁孔中，完成远端锁定操作。

图3展示了前述步骤1500中机械臂控制方法的一个例子。

步骤1510中，小球在图像中的位置被提提取出来，并与标定装置上的实际小球一一对应。

步骤1520中，根据步骤1510的结果计算出C型臂X光机的内部参数和相对于机械臂前端的远端锁定装置坐标系的外部参数。内部参数用一个二行三列的内参矩阵A表示，外部参数用C型臂坐标系到远端锁定装置坐标系的平动向量

和旋转矩阵

表示。

步骤1530中，根据如下步骤计算机械臂运动量。

步骤1：计算C型臂X光机坐标系下钻孔导向器末端的位置

和轴线方向

根据远端锁定装置的CAD模型可以直接获得远端锁定装置坐标系下钻孔导向器末端的位置

和轴线方向

于是可得公式(1)和公式(2)：

步骤2：计算C型臂X光机坐标系下锁孔中心位置

和锁孔轴线方向

由于锁孔轮廓在图像中为正圆，因此锁孔轴线通过C型臂X光机成像系统的焦点(C型臂X光机坐标系的原点)。因此有

则可通过求解下属线性方程得到公式(3)：

其中s是步骤1400中标记的目标锁孔在图像中的像素坐标。

步骤3：根据下式的公式(4)和公式(5)计算出钻孔导向器和锁孔之间的对准误差，包括位置误差

和角度误差

步骤4：通过相关技术中的机器人运动学方法得到远端锁定装置坐标系到机械臂基座标系的旋转矩阵

步骤5：计算出机械臂基座标系中机械臂的运动量，包括平移量d^R和转动量r^R，如下公式(6)和公式(7)：

步骤1540中，机械臂根据上述计算得到的机械臂运动量进行运动。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种二维图像引导的髓内针远端锁定机器人系统，其特征在于，包括：

机械臂、远端锁定装置，其中，所述远端锁定装置由连接臂、钻孔导向器和标定装置组成，其中，

所述标定装置，包括：透X光材料制成的基体，所述基体包括内部，壁面和外部，其中，所述壁面连接所述内部和所述外部，

所述基体上镶嵌有至少8个使用不透X光的材料制成的小球，所述小球被划分为第一组小球和第二组小球，所述第一组小球被镶嵌于所述基体的内部，所述第二组小球被镶嵌于所述基体的外部，所述第一组小球中所有的小球的直径相同，所述第二组小球中所有的小球的直径相同，所述第一组小球和第二组小球中小球的直径不同，其中，所述钻孔导向器的轴线穿过所述第一组小球和所述第二组小球分别组成的平面。

2.如权利要求1所述的系统，其特征在于，

所述第一组小球中的小球两两分成多对，每对球球心之间的连线交于一同一点，所述第一组小球中所有小球到所述一同一点的归一化距离各不相同；

所述第二组小球两两分成多对，每对小球球心之间的连线交于另一同一点，所述第二组小球中所有小球到所述另一同一点的归一化距离各不相同。

3.如权利要求2所述的系统，其特征在于，其中，所述归一化距离定是对应小球的球心到对应的同一点的距离与所述小球的球心到与其配对的小球球心之间的距离之比。

4.如权利要求1-3任一所述的系统，其特征在于，所述第二组小球的直径大于所述第一组小球的直径，或者，

所述第一组小球的直径大于所述第二组小球的直径。

5.如权利要求1所述的系统，其特征在于，还包括：

X光图像采集设备，其中，所述X光图像采集设备包括图像畸变校正装置和影像增强器，其中，所述图像畸变校正装置被安装于所述影像增强器上。

6.如权利要求5所述的系统，其特征在于，所述X光图像采集设备是C型臂X光机或者G型臂X光机。

7.如权利要求6所述的系统，其特征在于，还包括：

数据线和远程工作站，其中，所述远程工作站与所述X光图像采集设备以及机械臂分别通过所述数据线相连。

8.如权利要求5所述的系统，其特征在于，所述图像畸变校正装置上包括小球阵列，所述小球阵列用于提供所述X光图像采集设备的视场。

9.如权利要求7所述的系统，其特征在于，所述远程工作站通过所述远程工作站上的图形界面用于显示有关图像。