CN107616837B - 一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统 - Google Patents

Abstract

本发明提出一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统，属于手术机器人领域。该系统包括：图像采集模块、导航控制模块和执行端；该方法首先对手术区域采集图像信息并提取图像特征，根据图像特征提取目标特征；通过视觉伺服控制，根据采集到的执行端的当前特征和目标特征及运动模式注册产生的运动矩阵进行运动路径规划，并生成控制指令，使得执行端达到最优入钉点和方向；执行端在最优入钉点沿由最优方向定义的自身轴线前进，实现髓内钉远端锁紧螺钉的钉入。本发明可以实时跟踪手术情况，不需要复杂的标记过程，操作过程简单，精度较高，设备要求低，易于推广。

Description

一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统

技术领域

本发明属于手术机器人领域，特别涉及一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统。

背景技术

随着人工智能技术的发展，医疗机器人逐渐走进手术室，成为医生实施手术不可缺少的重要助力。医疗机器人的应用使得手术进行更为快捷、安全，同时医疗机器人强大的图像处理能力、导航路径规划能力使得一些技术要求高、执行难度大的手术变得容易，可以有效的减少医疗事故的发生。运用机器人施行手术，可以将医生从高强度的辐射环境下解放出来，能够有效的降低医生的工作强度，提高工作的安全性。

髓内钉及远端锁紧螺钉属医疗器械中的骨科内固定器械；髓内钉包括：髓内钉杆，在其近端和远端分别有孔位用于髓内钉的固定。锁紧螺钉即髓内钉配套使用的固定装置，髓内钉钉入骨髓腔后，将锁紧螺钉穿过髓内钉上近端和远端的孔位，对髓内钉进行固定。在手术中，近端髓内钉有专用的设备辅助钉入，远端的钉入需要在X光透视设备辅助下人工确定钉入方向和钉入位置，具有较大的难度。在手术中髓内钉远端锁紧螺的钉入先要钉入克氏针，克氏针是一根顶端尖锐的实心长圆柱,髓内钉远端锁紧螺钉沿克氏针钉入的路径钉入。

现阶段髓内钉远端锁紧螺钉钉入系统一般包括：图像采集模块、导航辅助设备、导航控制模块和执行端。

所述图像采集模块用于采集手术区域的图像。通过所采集的图像可以提取执行端和病人肢体在实际空间的位置、姿态信息。

导航辅助设备安置在执行端上、病人肢体表面或病人肢体与图像采集模块之间的区域。导航辅助设备一般为形状已知的奇异几何体，可以较为容易地通过图像采集模块采集到的图像判断其在实际空间中的位置、姿态。它与执行端、病人肢体以固定的方式连接，在后续的导航过程中，可以根据导航辅助设备判断执行端以及病人肢体的位置、姿态。

导航控制模块通过识别导航辅助设备，得到执行端、病人肢体的位置和姿态信息，对执行端进行路径规划，并发出控制指令传递给执行端。

执行端(通常为六轴机器人)接收导航控制模块的控制指令，按照规划路径完成目标动作，实现髓内钉的钉入。

其中，导航辅助设备植入的过程或增加了系统的复杂程度，或给病人造成二次伤害，效果并不理想。同时，现有技术一般需要搭配使用特殊的图像采集模块，价格昂贵。在图像采集模块上以天智航机器人为例，天智航机器人采用光学跟踪系统。这种光学跟踪系统在标准手术室一般没有配备，推广起来成本较高，这种形式的手术设备也不便于医生接受。而在整个系统的控制方法上，多采用固定坐标系，需要进行复杂的标定过程。一次使用需要进行漫长的标定，标定过程若产生较大误差会严重地影响手术结果。

现有的有些系统虽然不采用形状已知的奇异几何体作为导航辅助设备，而是采用一种与执行端所在的机器人坐标系(以机器人基点和轴方向为标准的坐标系)相对位置关系确定的标定设备。这种标定设备可以通过扫描的形式，将人肢体与执行端的位置关系关联起来。这种方法标定过程极为漫长，且标定结果准确性无法判别，若标定操作不规范造成标定误差大，无法直观地显示出来，若不能发现，将对手术效果造成严重的影响。

现阶段，髓内钉远端锁紧螺钉钉入方法，一般包括：图像采集、识别导航辅助设备、坐标系标定、导航路径规划四个阶段。

图像采集阶段利用图像采集设备采集病人肢体和执行端的图像信息。该图像信息包含病人肢体和执行端在实际空间的位置和姿态。

识别导航辅助设备阶段包括：计算机收到图像采集阶段采集到的图像信息，对其进行处理，提取其中的导航辅助设备在实际空间中的位置和姿态信息，并根据导航辅助设备与执行端、病人肢体之间固定的相对位置关系计算得到执行端和病人肢体的位置和姿态信息。

坐标系标定阶段，利用与执行端的相对位置关系已知的标定设备，扫描病人肢体，以此建立病人肢体与执行端的位置关系。

导航路径规划阶段，利用识别导航辅助设备阶段得到的执行端和病人肢体的位置和姿态信息或坐标系标定阶段得到的病人肢体与执行端的位置关系来进行执行端动作路径规划。执行端根据路径规划的结果执行相应动作，完成髓内钉远端锁紧螺钉钉入。

在技术检索过程中，我们发现一种已有髓内钉的钉入方法，(一种骨外科手术机器人的图像导航方法)，该方法所采用系统包括：图像采集模块、导航辅助设备、导航控制模块和执行端。该系统的导航辅助设备采用一个双层夹板形式的标记物，该导航辅助设备上下两层夹板上各有一组奇异排布的特征点。手术过程中，图像采集模块采集包含执行端和病人肢体上的导航辅助设备的位置、姿态信息的图像。通过识别图像上两层夹板的特征点之间的相对距离，来计算实际空间中执行端和病人肢体上导航辅助设备的位置和姿态，并以此计算执行端和病人肢体的在实际空间中的位置和姿态。该导航辅助设备在手术过程中辅助标定，它与图像采集模块的相对位置不能发生移动，一旦发生移动则需重新标定。双层夹板的导航辅助设备会限制执行端进入的方向，影响手术效果。

发明内容

本发明针对目前手术机器人在髓内钉远端锁紧螺钉钉入过程中存在的标定过程繁琐复杂、植入标记物带来额外伤害的问题，提出一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统。本发明操作过程简单，精度较高，设备要求低，易于推广。

本发明提出一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法，其特征在于，包括以下步骤：

1)图像采集阶段；

采集一次手术区域的当前图像信息，所述图像信息包含髓内钉和执行端的位置信息；

2)图像特征提取阶段；

对步骤1)采集的图像提取相应的图像特征；提取到的图像特征包括：边缘、轴线、特殊点；

3)目标特征提取阶段；

利用步骤2)得到的图像特征提取本次手术的目标特征；

4)视觉伺服控制阶段；具体步骤如下：

4-1)运动模式注册；

按照设定的运动模式，执行端进行试探运动，记录运动产生的数据变化，存在运动矩阵J中；

4-2)运动路径规划；

根据采集到的执行端的当前特征和目标特征及运动模式注册产生的运动矩阵J进行运动路径规划，并生成控制指令，使得执行端达到最优入钉点和方向；

5)钉入阶段；执行端在最优入钉点沿由最优方向定义的自身轴线前进，实现髓内钉远端锁紧螺钉的钉入。

本发明提出的一种基于如上述方法的视觉伺服控制髓内钉远端锁紧螺钉钉入系统，其特征在于,包括：图像采集模块、导航控制模块和执行端；所述图像采集模块与导航控制模块之间通过数据线连接，导航控制模块与执行端之间通过网线连接；所述图像采集模块用于采集手术区域的图像数据并将采集到的图像数据传递给导航控制模块；所述导航控制模块用于接收图像采集模块传递的图像数据，并对图像数据进行处理，生成控制指令传递给执行端；所述执行端用于接收到导航控制模块发送的控制指令后，按照控制指令进行相应的运动。

本发明的特点及有益效果：

1本发明提出的一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法，可以实时跟踪手术

情况，通过对采集到的图像提取当前特征和目标特征，不需要复杂的标记过程，操作

过程简单。

2本发明系统不需要添加额外的标记物，也不需要添加额外的手术辅助设备，应用简

单，不会对病人造成二次伤害。

3本发明系统所用的图像采集设备为G型臂等手术室常用设备，无需额外添加配套设

备，节约了成本，降低了操作难度，易于推广。

附图说明

图1为本发明的一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法的整体流程框图。

图2为本发明实施例的图像特征提取示意图。

图3为本发明实施例的目标特征提取示意图。

具体实施方式

本发明提出一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统，下面结合附图和具体实施例进一步详细说明如下。

本发明提出一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法，整体流程如图1所示，包括以下步骤：

1)图像采集阶段；

采集一次手术区域的当前图像信息，所述图像信息包含髓内钉和执行端的位置信息。该位置信息指能通过一定的运算得到对应髓内钉和执行端在实际空间内的位置和姿态的三维坐标的二维图像坐标。对于图像数据的格式以及像素无限制。每次采集的图像包括两张：一张是手术区域的正位投影，一张是手术区域的侧位投影。图像采集设备可为常规的医疗图像采集设备，本实施例采用G型臂；

2)图像特征提取阶段；对步骤1)采集的两张图像分别提取相应的图像特征；提取到的图像特征包括：边缘、轴线、特殊点等形式；本实施例中，每张图像提取到的图像特征包括：髓内钉远端锁紧螺钉孔的轴线的斜率、髓内钉远端锁紧螺钉孔的轴线与图像水平轴x所成的夹角角度、任意点的坐标；每张图像所需提取的具体特征由操作人员根据手术情况进行选择。

本实施例提取到的图像特征如图2所示。图2中，A为执行端，B为髓内钉。其中:

图2a)为提取的髓内钉远端锁紧螺钉孔的轴线l的斜率；

图2b)为提取的髓内钉远端锁紧螺钉孔的轴线l与图像水平轴x所成的夹角角度β；

图2c)为提取的髓内钉远端锁紧螺钉孔沿入定方向距执行端近的一端的孔口的中心点P的坐标记。

3)目标特征提取阶段；

利用步骤2)得到的图像特征提取本次手术的目标特征；目标特征是执行端要达到的实际空间中的位置、姿态在图像上的二维坐标；提取到的目标特征根据手术的需求发生变化；目标特征提取有两种方法，具体步骤如下：

3-1)目标特征的第一种提取方法。具体步骤如下：

3-1-1)选取步骤1)拍摄的正位投影；记该投影内髓内钉远端锁紧螺钉孔的轴线为l，髓内钉远端锁紧螺钉孔沿入定方向距执行端近的一端的孔口的中心点为P。利用步骤2)提取的图像特征，将正位投影中髓内钉远端锁紧螺钉孔的轴线l的斜率k₁和中心点P的二维图像坐标(x₁,y₁)作为该投影面内的目标特征。

3-1-2)在与该正位投影同次拍摄的另一张侧位投影中，将在侧位投影中髓内钉远端锁紧螺钉孔的轴线斜率k₂和中心点P的二维图像坐标(x₂,y₂)作为该投影面内的目标特征

3-1-3)将两个投影图像内提取到的轴线的斜率k₁、k₂与正位投影面内中心点P的坐标(x₁,y₁)以及中心点P在侧位投影的纵坐标y₂作为该次手术的目标特征。

目标特征提取示意图如图3所示，图3为拍摄的一张正位投影图像；图3中，A和B分别为执行端和髓内钉。手术中对正位投影和侧位投影提取目标特征的先后顺序没有要求。

3-2)目标特征的第二种提取方法：

3-2-1)利用步骤1)拍摄的图像，根据正位投影中髓内钉投影轴线的图像坐标计算得到该轴线在正位投影面内与图像x轴夹角η，根据侧位投影中髓内钉投影轴线的图像坐标计算得到该轴线在侧位投影面内与图像x轴夹角κ，并根据η和κ计算得到髓内钉与手术台所在水平面夹角μ。

3-2-2)根据任意清晰投影面(清晰投影面：在手术透视过程中，正位投影面和侧位投影面有可能不同时包含一个完整的髓内钉远端锁紧螺钉孔，清晰投影面指能提取到完整的髓内钉远端锁紧螺钉孔的投影面)内髓内钉远端锁紧螺钉孔位长轴端点及该投影内髓内钉轴径端点的图像坐标，计算得到该投影面内髓内钉远端锁紧螺钉孔与髓内钉轴径长度比k′，根据k′与标准髓内钉远端锁紧螺钉孔与髓内钉轴径长度比k(该比值为固定值，与所用髓内钉的种类有关，是该髓内钉的远端锁紧螺钉孔的直径与髓内钉轴径的比值)的比值得到髓内钉轴向旋转角度ι。

3-2-3)建立以图像采集设备(本实施例为G型臂)平面为yz平面，髓内钉远端锁紧螺钉孔中心为坐标原点的坐标系。最优入钉方向可以看做由该坐标系的y轴在空间内先绕z轴转η角度，再绕y轴转κ角度，最后绕x轴旋转ι角度得到的。

3-2-4)计算得到最优入钉方向所在的轴线在正位投影斜率和侧位投影斜率k₁、k₂(此斜率与步骤3-1)中的髓内钉远端锁紧螺钉孔的轴线l的斜率相同)。k₁、k₂与正位投影面内髓内钉远端锁紧螺钉孔位中心点坐标(x₁,y₁)以及侧位投影内髓内钉远端锁紧螺钉孔位中心横坐标y₂即为目标特征。

4)视觉伺服控制阶段；通过视觉伺服控制使得执行端到达最优入钉点和方向；执行端采用常规六轴机器人即可。在本实施例中，执行端采用的是一台六轴关节机器人，型号为：TT8-600。具体步骤如下：

4-1)运动模式注册；按照设定的运动模式，执行端进行试探运动，记录运动产生的数据变化，存在运动矩阵J中，作为路径规划的依据；具体步骤如下：

4-1-1)建立计数器i，i的取值为1-5。i的不同取值代表执行端的不同的运动模式。i＝1为执行端沿自身坐标系的x方向平移；i＝2为执行端沿自身坐标系的y方向平移；i＝3为执行端沿自身坐标系的z方向平移；i＝4为执行端绕自身坐标系的x轴方向旋转；i＝5执行端绕自身坐标系的y方向旋转。执行端每次运动量的大小为一个基本单位。基本单位根据执行端精度确定，该实施例内长度单位为mm；角度单位为度。令初始时刻，计数器i＝1；

4-1-2)重复步骤1)，采集一次手术区域的当前图像；

4-1-3)重复步骤2)，对步骤4-1-2)采集到的图像进行图像特征提取，将提取的执行端的图像特征记为当前特征。本实施例提取的图像特征为执行端在正位投影中的斜率g₁，执行端在侧位投影中的斜率g₂，执行端顶端在正位投影中坐标(m₁,n₁)，以及执行端顶端在侧位投影内横坐标n₂。

4-1-4)执行端按照计数器数字所代表的运动模式进行试探运动。

4-1-5)试探运动完毕后，重复步骤4-1-2)至4-1-3)，重新进行一次图像采集并提取该图像中执行端的当前特征；

4-1-6)对4-1-3)和4-1-5)提取的两次当前特征进行比较；将执行端试探运动后与试探运动前的对应的图像特征作差，并将结果储存在一个列向量

中，i代表该次试探运动对应的计数器数字。

4-1-7)令计数器i增加1，重新返回步骤4-1-2)；执行端完成试探运动五次后试探运动停止(即i＝6时停止)，将每次试探运动完成后得到的列向量

并行排列构成的矩阵J，进入步骤4-2)。

该运动模式注册阶段是在手术中实时完成的。该注册阶段在整个控制阶段中只发生一次、长期有效。不进入循环。并且设定试探运动结束的时刻为运动路径规划阶段的初始时刻。

4-2)运动路径规划；

根据采集到的执行端的当前特征和目标特征及运动模式注册产生的运动矩阵J进行运动路径规划，并生成控制指令，执行端根据控制指令进行相应运动，使得执行端达到最优入钉点和方向；具体步骤如下：

4-2-1)重复步骤1)，采集当前时刻的手术区域的图像；

4-2-2)重复步骤2)，对步骤4-2-1)采集的图像提取执行端的图像特征记为新的当前特征；本实施例提取的新的当前特征为执行端在正位投影中的斜率g₁′、执行端在侧位投影中的斜率g₂′，执行端顶端在正位投影中的坐标(m₁′,n₁′)，以及执行端顶端在侧位投影内横坐标n₂′；4-2-3)计算执行端当前特征与目标特征中对应特征之差记为

其中，Δg₁＝g₁'-k₁，Δg₂＝g₂'-k₂，Δm₁＝m₁'-x₁，Δn₁＝n₁'-x₁，Δn₂＝n₂'-y₂；

4-2-4)生成执行端控制指令dxyz。dxyz是沿执行端自身坐标系运动的步长，其大小为：

其中，a∈(0,1]为步长，可以根据实际运动情况进行调整；J即步骤4-1)得到的矩阵；

4-2-5)执行端根据控制指令dxyz进行运动。

4-2-6)运动完毕后，重复步骤4-2-1)至4-2-2)，更新执行端的当前特征。

4-2-7)重复步骤4-2-3)，计算执行端的当前特征与目标特征中对应特征之差，更新并对执行端的当前状态进行判定：若

小于设定的误差阈值(本实施例中误差阈值要求的每一个分量小于0.01)，则执行端到达最优入钉点，执行端轴线与最优入钉方向重合，停止运动路径规划和执行端运动，进入步骤5)；否则重新返回步骤4-2-4)。

5)钉入阶段；执行端在最优入钉点沿由最优方向定义的自身轴线前进，实现髓内钉远端锁紧螺钉的钉入。

一种视觉伺服控制髓内钉远端锁紧螺钉钉入系统，包括：图像采集模块、导航控制模块和执行端。所述图像采集模块与导航控制模块之间通过数据线连接，导航控制模块与执行端之间通过网线连接。

所述图像采集模块用于采集手术区域的图像数据并将采集到的图像数据传递给导航控制模块；每张图像数据中包含髓内钉和执行端的位置信息，格式不限。在本实施例中图像采集模块采用G型臂。

导航控制模块用于接收图像采集模块传递的图像数据，并对图像数据进行处理，生成控制指令传递给执行端；在导航控制模块中进行图像特征提取、目标特征提取、视觉伺服导航三个控制阶段。导航控制模块即计算机工作站。计算机工作站采用常规设备即可，并包含c语言运行环境、python运行环境、matlab运行环境。

所述执行端为手术机器人，执行端接收到导航控制模块发送的控制指令后，按照控制指令进行相应的运动；所述执行端采用常规六轴机器人即可。在本实施例中，执行端采用的是一台六轴关节机器人，型号为：TT8-600。

本实施例中图像采集模块(G型臂)与工作站之间通过数据线连接，执行端(TT8-600六轴关节机器人)与工作站之间通过网线连接。

Claims (1)

1.一种视觉伺服控制髓内钉远端锁紧螺钉钉入系统，其特征在于，包括：图像采集模块、导航控制模块和执行端；所述图像采集模块与导航控制模块之间通过数据线连接，导航控制模块与执行端之间通过网线连接；所述图像采集模块用于采集手术区域的图像数据并将采集到的图像数据传递给导航控制模块；所述导航控制模块用于接收图像采集模块传递的图像数据，并对图像数据进行处理，生成控制指令传递给执行端；所述执行端用于接收到导航控制模块发送的控制指令后，按照控制指令进行相应的运动；

1)图像采集阶段；

采集一次手术区域的当前图像信息，所述图像信息包含髓内钉和执行端的位置信息；

2)图像特征提取阶段；

对步骤1)采集的图像提取相应的图像特征；提取到的图像特征包括：边缘、轴线、特殊点；

3)目标特征提取阶段；

利用步骤2)得到的图像特征提取本次手术的目标特征；

4)视觉伺服控制阶段；具体步骤如下：

4-1)运动模式注册；

按照设定的运动模式，执行端进行试探运动，记录运动产生的数据变化，存在运动矩阵J中；

4-2)运动路径规划；

根据采集到的执行端的当前特征和目标特征及运动模式注册产生的运动矩阵J进行运动路径规划，并生成控制指令，使得执行端达到最优入钉点和方向；

5)钉入阶段；

执行端在最优入钉点沿由最优方向定义的自身轴线前进，实现髓内钉远端锁紧螺钉的钉入。

Images