CN117462267B - 一种透视引导下机器人末端执行器的瞄准方法 - Google Patents

Abstract

本发明公开了一种透视引导下机器人末端执行器的瞄准方法，涉及医疗数据处理技术领域，该方法包括：将夹持状态的机器人末端执行器放置在透视装置的视场角的初始位置，所述机器人末端执行器的第二圆环部比第一圆环部更靠近所述透视装置的波束发射器；移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置；当所述机器人末端执行器瞄准目标位置时，所述机器人末端执行器的第一圆形部的圆心、第二圆形部的圆心和目标位置在透视图像中重合。本发明的方法能够实现透视场中的机器人末端执行器对目标点的快速瞄准和精确定位。

Description

一种透视引导下机器人末端执行器的瞄准方法

技术领域

本发明涉及医疗器械技术领域，特别涉及一种透视引导下机器人末端执行器的瞄准方法。

背景技术

医疗机器人通常在导航工具的辅助下，以极高的精度定位目标。透视装置作为现代手术室中最常用的设备，可以提供精确和实时的术中二维可视化。这两种技术的结合极大地提高了微创手术的应用。为了获得手术器械和目标在透视装置的视场角（FOV）中的精确位置，需要对图像空间中的机器人进行至少三个点的配准，配准后，x射线图像上的一个点可以确定 连接x射线源和图像平面上的点的射线。虽然这种方法可以计算出目标的 精确位置，但整个配准过程耗时长，而且往往辐射剂量高。

为了克服上述技术问题，申请人的中国在先申请“202310569335.4，一种3D手术导航标尺及导航配准方法”以及“202310907897.5，一种手术导航标尺的导航配准方法及装置”，提出了一种具有手术导航定位功能的机器人末端执行器（也称为手术导航标尺）以及对应的导航配准方法，但是该导航配准方法要么是通过坐标变换实现导航定位的方法，要么是规划穿刺路径出入点坐标的方法，上述专利申请并未披露如何操作该机器人末端执行器（也称为手术导航标尺）快速准确的瞄准目标点，而该目标点的瞄准方法在手术中是十分重要的，这关系到机器人末端执行器在夹持穿刺针时，能否从初始位置准确的移动到手术目标位置，从而安全的完成脊柱穿刺手术。

发明内容

鉴于现有技术中的上述缺陷或不足，本发明提供了一种透视引导下机器人末端执行器的瞄准方法，从而全部的或部分的解决上述技术问题。

本发明的一个方面，提供了一种透视引导下机器人末端执行器的瞄准方法，当所述机器人末端执行器位于夹持状态时，机器人末端执行器包括可透视成像的第一圆形部、第二圆形部和线段部；其中，第一圆形部和第二圆形部同轴设置，所述第一圆形部的直径小于所述第二圆形部的直径，所述线段部沿着所述第一圆形部的径向方向延伸；所述第一圆形部和第二圆形部包括连续的圆形或不连续的圆形；

所述方法包括如下步骤：将夹持状态的机器人末端执行器放置在透视装置的视场角的初始位置，所述机器人末端执行器的第二圆环部比第一圆环部更靠近所述透视装置的波束发射器；移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置；当所述机器人末端执行器瞄准目标位置时，所述机器人末端执行器的第一圆形部的圆心、第二圆形部的圆心和目标位置在透视图像中重合。

进一步的，所述移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置，包括：

根据下式计算向量角度差：

其中，为世界坐标系下原点至目标点/>的向量；/>为世界坐标系下第一圆形部的圆心/>至第二圆形部的圆心/>的向量；/>()为反余弦函数；/>为向量/>的模量和向量/>的模量的乘积；向量角度差/>表示世界坐标系下第一圆形部的圆心/>至第二圆形部的圆心/>的向量和世界坐标系下原点至目标点/>的向量之间的夹角。

进一步的，所述移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置，包括：

计算空间位置差：

其中，表示世界坐标系下目标点/>至第一圆形部的圆心/>的向量；/>为世界坐标系下第一圆形部的圆心/>至第二圆形部的圆心/>的向量；空间位置差/>表示目标点/>和圆心至圆心/>的连线的距离。

进一步的，在所述机器人末端执行器瞄准目标位置的过程中，所述第一圆形部的圆心到波束发射器之间的距离保持恒定。

进一步的，所述移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置，包括：

根据所述向量角度差和空间位置差/>，移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置。

进一步的，所述透视装置为C形臂X光机。

进一步的，当所述机器人末端执行器位于夹持状态时，第一圆形部和第二圆形部的圆心处设置有中心孔，用于固定穿刺针。

进一步的，在所述机器人末端执行器上设置至少6个基准点。

进一步的，所述基准点为12个，分别是：线端部的两个端点、第一圆形部的圆心、第二圆形部的圆心、第一圆形部上均匀分布的四个基准点和第二圆形部上均匀分布的四个基准点。

进一步的，还包括瞄准精度检测步骤：

将机器人末端执行器放置在透视装置的视场角内，拍摄第一透视图像；

利用等间距金属球在校正板上的投影校正所述第一透视图像的畸变，提取末端执行器上的基准点，实现机器人末端执行器到图像空间的配准；

将机器人末端执行器移动到目标位置，完成对目标点的瞄准对齐后，拍摄第二透视图像；

记录机器人末端执行器的第一圆形部和第二圆形部的投影的两个中心和目标点在图像上的位置，计算瞄准的精度。

本发明提供的一种透视引导下机器人末端执行器的瞄准方法，能够实现透视场中的机器人末端执行器对目标点的快速瞄准和精确定位。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请一个实施例提供的机器人末端执行器的结构示意图；

图2是本申请一个实施例提供的机器人末端执行器的瞄准前和瞄准后的透视图像；

图3是本申请一个实施例提供的透视引导下机器人末端执行器的瞄准方法的流程图；

图4是本申请一个实施例提供的手术系统的示意图；

图5是本申请一个实施例提供的机器人末端执行器在透视装置视角场中的移动示意图；

图6是本申请一个实施例提供的机器人末端执行器在透视装置视角场中的旋转和平移示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述获取模块，但这些获取模块不应限于这些术语。这些术语仅用来将获取模块彼此区分开。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

需要注意的是，本发明实施例所描述的“上”、“下”、“左”、“右”等方位词是以附图所示的角度来进行描述的，不应理解为对本发明实施例的限定。此外在上下文中，还需要理解的是，当提到一个元件被形成在另一个元件“上”或“下”时，其不仅能够直接形成在另一个元件“上”或者“下”，也可以通过中间元件间接形成在另一元件“上”或者“下”。

参见图1，本发明的透视引导下机器人末端执行器的瞄准方法，基于一种带有导航定位标记的机器人末端执行器100。机器人末端执行器100为夹持状态时，机器人末端执行器100包括可透视成像的第一圆形部101、第二圆形部102和线段部103；其中，第一圆形部101和第二圆形部102相互平行且圆心同轴设置，第一圆形部101的直径小于第二圆形部102的直径，所述线段部103与第一圆形部101共面，沿着第一圆形部101的径向方向延伸。在第一圆形部101和第二圆形部102的圆心处设有通孔，用于容纳和夹持穿刺针和穿刺针导套，以实现对脊柱的穿刺。

可选的，所述第一圆形部101和第二圆形部102包括连续的圆形或不连续的圆形，例如：圆形部可以是完整连续的圆，也可以是断续的圆，均不妨碍本发明的实施效果。

优选的，第一圆形部101、第二圆形部102和线段部103由不透X光射线的材料制成，嵌入在透射X光的中空外壳上。机器人的刀具坐标系被定义为：刀具坐标点位于第一圆形部101的圆心，x 轴与线段部103共线，z 轴与连接两个圆形部的中心线共线，方向从第二圆形部102的圆心指向第一圆形部101的圆心。

优选的，为了校准成像装置的针孔模型，至少需要 6 个在世界坐标系中已知位置的点。若提供更多这样的点，配准精度将会大大提高。因此本实施例在末端执行器100上定义12 个基准点，它们是分布在线段部103、第一圆形部101和第二圆形部102上的几何特征点，这样确保了基准点可以被识别和确定。

本发明的一个实施例提供了一种透视引导下机器人末端执行器的瞄准方法。通常情况下，在确定穿刺针的穿刺路径后，穿刺路径的出入点也被确认，此时需要将机器人末端执行器100放置在预先确定好的手术目标位置处，但当机器人末端执行器100对准目标位置后，手术中的人体可能发生轻微的移动，导致机器人末端执行器100的初始位置和实际的目标位置之间存在偏差，此时需要将发生偏移的机器人末端执行器100从初始位置移动至人体的实际目标位置，并瞄准。然而，机器人末端执行器100在初始位置时可能具有第一姿态，在目标位置时可能具有第二姿态，机器人需要准确的计算出末端执行器100从第一姿态调整至第二姿态的移动参数，本实施例的方法就是要解决上述技术问题。

参见图2，由于透视装置（如C形臂X光机）的视场角FOV为圆锥状，当机器人末端执行器100瞄准目标位置时，透视装置的X光波束发射器发出的射线会在透视装置的图像平面上生成末端执行器100的正投影，此时第一圆形部101的圆心、第二圆形部102的圆心和目标位置在透视图像中重合。当机器人末端执行器100未处于瞄准状态时，透视装置的X光发射器发出的射线会在透视装置的图像平面上生成末端执行器100的斜投影，此时第一圆形部101的圆心、第二圆形部102的圆心和目标位置在透视图像中不重合。

参见图3，本实施例的透视引导下机器人末端执行器的瞄准方法包括如下步骤：

步骤S101，将夹持状态的机器人末端执行器放置在透视装置的视场角的初始位置，所述机器人末端执行器的第二圆环部比第一圆环部更靠近所述透视装置的波束发射器。

具体的，参见图4，手术系统200包括六自由度机器人201、末端执行器100和C形臂X光机203。当末端执行器被用来瞄准定位时，优选的，将大圆（第二圆形部）布置在更接近波束发射器的位置，即：末端执行器的第一圆形部（小圆）位于靠上位置，第二圆形部（大圆）位于靠下位置，这样可以使大圆（第二圆形部）在X射线图像中有一个更大的投影，以确保始终能够正确识别两个圆和分布在它们上的基准点。将夹持状态的机器人末端执行器放置在透视装置的视场角的初始位置，该初始位置可以是预先确定的穿刺路径的入口位置（即目标位置），但是此时并不能立即进行穿刺手术，因为人体可能会发生轻微的移动，导致实际的目标位置和初始位置发生偏差。

步骤S102移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置；当所述机器人末端执行器瞄准目标位置时，所述机器人末端执行器的第一圆形部的圆心、第二圆形部的圆心和目标位置在透视图像中重合。

具体的，由于人体的轻微移动导致目标位置和初始位置发生偏差，此时需要令机器人末端执行器重新瞄准目标位置，即：透视装置的波束发射器要与末端执行器成正投影关系，这就需要保证机器人末端执行器的第一圆形部的圆心、第二圆形部的圆心和目标位置在透视图像中重合。

参见图5、6，透视装置（如C形臂X光机）的视场角为圆锥形，在将机器人末端执行器从初始位置移动至目标位置的过程中（即瞄准过程），小圆（第一圆形部）中心与波束发射器之间的距离需要保持恒定，这样就可以在初始位置定义末端执行器与患者之间的适当距离，同时在运动后保持该距离不变，以便于开展后续手术。在瞄准过程中，机器人需要获取末端执行器从初始位置到目标位置的移动参数值，然后根据该移动参数值驱动末端执行器动作。

末端执行器从初始位置到目标位置的移动参数可以通过本实施例的如下推导过程获取：

根据小孔成像模型，世界坐标系下的一个空间点在透视图像上的投影点/>可通过下式获得：

其中，和/>是透视图像上的像素比例，即图像缩放因子；/>表示透视图像的中心坐标，/>、/>四个参数在矩阵/>中被称为透视装置成像器的内部参数，它们只取决于透视装置（如C形臂）的内部结构。/>是世界坐标系到摄像机坐标系的转换矩阵，其中/>为旋转矩阵，/>为三维平移向量。

对于图像坐标系中的目标点对应的向量/>在图像空间可以表达为：

其中，为/>向量在图像空间的/>坐标，/>为前述的三维平移向量。

参见图6，给定的向量和/>是共线的，/>也可以被公式（2）换算为：

其中，表示世界坐标系下的末端执行器的大圆（第二圆形部）的圆心在透视图像上的投影点的向量，/>表示世界坐标系下的末端执行器的大圆（第二圆形部）的圆心向量。

末端执行器的大圆（第二圆形部）的圆心在透视图像上的投影点在工具坐标系下可被表达为：

其中，是世界坐标系到摄像机坐标系的转换矩阵。

根据上述公式，末端执行器从初始位置到目标位置的最小旋转量可以被表达为旋转轴和旋转角度/>：

其中，和/>分别表示初始位置处的工具坐标系和目标位置处的工具坐标系的z轴向量。

机器人末端执行器从初始位置到目标位置的运动可以用平移和旋转表达为：

旋转角度可以被定义为第一圆形部和第二圆形部的圆心连线/>的向量/>和向量/>之间的空间角度，当目标点的深度已知时，位置误差/>可以被表示为目标点/>和线/>之间的距离。

参见图6，利用图中的两个相似三角形：

根据上式（8）可以得到：

考虑到C形臂的光源到增强器的距离较远，且圆通常位于中心区域，可以被大投影椭圆的半长轴/>乘以图像缩放因子/>来表示，/>可以被大圆的实际半径/>表示，再将所有的上述关系扩展到小圆，可以得到下式：

其中，是透视图像上的小圆半径，/>是透视图像上的小椭圆的半长轴。

线段可以被定义为两圆之间的中心距离：

(11)

根据上述条件（10）、条件（11）和公式（2），可以计算出点和/>点在世界坐标系下的准确位置，那么旋转角度/>和位置误差/>就可以被最终表达为：

其中，为世界坐标系下原点至目标点/>的向量；/>为世界坐标系下第一圆形部的圆心/>至第二圆形部的圆心/>的向量；/>()为反余弦函数；/>为向量/>的模量和向量/>的模量的乘积；向量角度差/>表示世界坐标系下第一圆形部的圆心/>至第二圆形部的圆心/>的向量和世界坐标系下原点至目标点/>的向量之间的夹角。

其中，表示世界坐标系下目标点/>至第一圆形部的圆心/>的向量；/>为世界坐标系下第一圆形部的圆心/>至第二圆形部的圆心/>的向量；空间位置差/>表示目标点/>和圆心至圆心/>的连线的距离。

计算机根据上式（12）、（13）计算出末端执行器的移动参数值，并将其传送至机器人，机器人根据上述移动参数值控制末端执行器从初始位置移动到目标位置，当瞄准完毕时，末端执行器的第一圆形部的圆心、第二圆形部的圆心和目标位置在透视图像中重合。

本实施例的透视引导下机器人末端执行器的瞄准方法能够实现透视场中的机器人末端执行器对目标点的快速瞄准和精确定位。

在另一实施例中，为了验证上述瞄准方法的对齐精度，还提供了一种瞄准精度检测方法，包括如下步骤：

步骤S201，将机器人末端执行器放置在透视装置的视场角内，拍摄第一透视图像；

步骤S202，利用等间距金属球在校正板上的投影校正所述第一透视图像的畸变，提取末端执行器上的基准点，实现机器人末端执行器到图像空间的配准；

步骤S203，将机器人末端执行器移动到目标位置，完成对目标点的瞄准对齐后，拍摄第二透视图像；

步骤S204，记录机器人末端执行器的第一圆形部和第二圆形部的投影的两个中心和目标点在图像上的位置，计算瞄准的精度。

通过上述方法，可以实现对本申请的瞄准方法的精度检测。

本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (6)

1.一种透视引导下机器人末端执行器的瞄准方法，其特征在于：

当所述机器人末端执行器为夹持状态时，机器人末端执行器包括可透视成像的第一圆形部、第二圆形部和线段部；其中，第一圆形部和第二圆形部相互平行且圆心同轴设置，所述第一圆形部的直径小于所述第二圆形部的直径，所述线段部沿着所述第一圆形部的径向方向延伸；所述第一圆形部和第二圆形部包括连续的圆形或不连续的圆形；

所述方法包括如下步骤：

将夹持状态的机器人末端执行器放置在透视装置的视场角的初始位置，所述机器人末端执行器的第二圆形部比第一圆形部更靠近所述透视装置的波束发射器；

移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置；当所述机器人末端执行器瞄准目标位置时，所述机器人末端执行器的第一圆形部的圆心、第二圆形部的圆心和目标位置在透视图像中重合；

所述移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置，包括：

根据下式计算向量角度差：

；

其中，为世界坐标系下原点至目标点/>的向量；/>为世界坐标系下第一圆形部的圆心/>至第二圆形部的圆心/>的向量；/>()为反余弦函数；/>为向量/>的模量和向量的模量的乘积；向量角度差/>表示世界坐标系下第一圆形部的圆心/>至第二圆形部的圆心/>的向量和世界坐标系下原点至目标点/>的向量之间的夹角；

根据下式计算空间位置差：

；

其中，表示世界坐标系下目标点/>至第一圆形部的圆心/>的向量；/>为世界坐标系下第一圆形部的圆心/>至第二圆形部的圆心/>的向量；空间位置差/>表示目标点/>和圆心/>至圆心/>的连线的距离；

在所述机器人末端执行器瞄准目标位置的过程中，所述第一圆形部的圆心到波束发射器之间的距离保持恒定；

根据所述向量角度差和空间位置差/>，移动并调整机器人末端执行器的姿态，令机器人末端执行器瞄准目标位置。

2.根据权利要求1所述的一种透视引导下机器人末端执行器的瞄准方法，其特征在于，所述透视装置为C形臂X光机。

3.根据权利要求1所述的一种透视引导下机器人末端执行器的瞄准方法，其特征在于，当所述机器人末端执行器位于夹持状态时，第一圆形部和第二圆形部的圆心处设置有中心孔，用于固定穿刺针。

4.根据权利要求1所述的一种透视引导下机器人末端执行器的瞄准方法，其特征在于，在所述机器人末端执行器上设置至少6个基准点。

5.根据权利要求4所述的一种透视引导下机器人末端执行器的瞄准方法，其特征在于，所述基准点为12个，分别是：线段部的两个端点、第一圆形部的圆心、第二圆形部的圆心、第一圆形部上均匀分布的四个基准点和第二圆形部上均匀分布的四个基准点。

6.根据权利要求1-5任意一项所述的一种透视引导下机器人末端执行器的瞄准方法，其特征在于，还包括瞄准精度检测步骤：

将机器人末端执行器放置在透视装置的视场角内，拍摄第一透视图像；

利用等间距金属球在校正板上的投影校正所述第一透视图像的畸变，提取末端执行器上的基准点，实现机器人末端执行器到图像空间的配准；

将机器人末端执行器移动到目标位置，完成对目标点的瞄准对齐后，拍摄第二透视图像；

记录机器人末端执行器的第一圆形部和第二圆形部的投影的两个中心和目标点在图像上的位置，计算瞄准的精度。