CN115670675A - 一种融合超声和触觉信息的双臂穿刺机器人系统 - Google Patents

Abstract

本发明公开了一种融合超声和触觉信息的双臂穿刺机器人系统，包括超声机械臂、超声探头、与探头配套的柔性触觉传感器、穿刺机械臂、穿刺机构、与穿刺针配套的柔性触觉传感器、超声成像仪和工控机。超声机械臂安装上超声探头和与探头配套的柔性触觉传感器，通过融合超声信息和触觉信息，利用人工智能识别定位穿刺针和肿瘤位置；在穿刺端，通过调整穿刺机械臂来保持柔性触觉传感器的接触力恒定，可以实现对呼吸运动的实时跟踪补偿，保持穿刺针和腹部的相对固定。本发明通过引入触觉传感器达到提升超声定位准确度、人体呼吸动态补偿的效果，系统整体构成简洁，使用方便，无需术前的装置部署或进行标定，在临床的医疗穿刺手术中具有很大的应用价值。

Description

一种融合超声和触觉信息的双臂穿刺机器人系统

技术领域

本发明属于机器人技术领域，涉及一种医疗穿刺机器人，具体涉及一种融合超声和触觉信息的双臂穿刺机器人系统。

背景技术

近年来，机器人在工业、服务业、农业迅速发展，同时在医疗领域也得到广泛的应用，特别是针对肿瘤治疗的机器人技术近年来发展迅速。基于超声引导的双臂穿刺机器人具有定位、穿刺一体化建模、手术精度高、可控性好等优点，已成为国内外穿刺机器人的一大研究热点，但穿刺机器人中一个显著问题是人体的呼吸运动会对机器人定位和穿刺造成巨大干扰，具体表现为人体腹部会随着呼吸进行有规律的起伏，腹部内的脏器等器官也会随呼吸而有规律的移动。如果穿刺时，穿刺针不能跟随呼吸而有规律的移动，来抵消呼吸造成的位移，那么就很可能会造成穿刺点附近的创口增大、无法对准穿刺靶区等问题，增加穿刺的失败风险。

大多数学者回避了呼吸运动的问题，转而研究的是术中手术器械的标定和定位。有的学者偏重于研究呼吸运动的补偿算法，通过设计一个往复平移运动的机构来模拟人的呼吸，研究在往复运动的机构上体模的穿刺跟踪算法，但本质上还是基于先验的呼吸运动轨迹来生成跟踪轨迹，无法实时跟踪，在人体上无法应用。

发明内容

鉴于现有的穿刺机器人研究的不足，本发明的目的在于提供一种融合超声和触觉信息的双臂穿刺机器人系统。在超声端，其融合超声信息和触觉信息，利用人工智能识别定位穿刺针和肿瘤位置；在穿刺端，利用触觉传感器贴附在穿刺部位，通过调整穿刺机械臂来保持柔性触觉传感器的接触力恒定，可以实现对呼吸运动的实时跟踪补偿，保持穿刺针和腹部的相对固定的位置关系。本发明所述的融合超声和触觉信息的双臂穿刺机器人系统，通过引入触觉传感器可以达到提升超声定位准确度、人体呼吸动态补偿的效果，系统整体构成简洁，使用方便，无需术前的装置部署或进行标定，在临床的医疗穿刺手术中具有很大的应用价值。

为实现上述目的，本发明采用的技术方案是：

一种融合超声和触觉信息的双臂穿刺机器人系统，其特征在于，包括

超声机械臂，其执行末端安装有超声探头和监测穿刺对象表面触觉信号的第一柔性触觉传感器；

穿刺机械臂，其执行末端安装有穿刺机构和监测穿刺对象表面触觉信号的第二柔性触觉传感器；

超声成像仪，与超声探头相连，用于对穿刺对象超声成像；

控制器，根据超声成像仪通过超声探头获取的超声影像确定靶点，控制引导穿刺机构进行穿刺；

所述控制器根据第一柔性触觉传感器监测穿刺对象表面接触力信息，驱动超声机械臂跟随运动，使得超声探头与穿刺对象表面保持稳定的相对稳定；

所述控制器根据第二柔性触觉传感器监测穿刺对象表面接触力信息，驱动穿刺机械臂跟随运动，使得穿刺机构与穿刺对象表面保持稳定的相对稳定。

进一步地，所述超声机械臂和穿刺机械臂均为六轴或六轴以上的机械臂。

进一步地，所述第一柔性触觉传感器和第二柔性触觉传感器均为至少能检测出接触力大小且具有柔性接触头的力传感器。

进一步地，所述第一柔性触觉传感器和超声探头并列安装在超声机械臂的执行末端，使得第一柔性触觉传感器和超声探头在超声检测时能同时接触穿刺对象表面。

进一步地，所述超声机械臂和穿刺机械臂之间建立转换坐标系或者具有共同的世界坐标系，使得超声影像检测出的靶点和穿刺机构之间能进行直接坐标转换。

进一步地，所述超声影像通过神经网络的训练学习识别确定靶点在超声机械臂坐标系下的坐标。

进一步地，所述第二柔性触觉传感器的柔性接触头为环绕穿刺机构的穿刺针四周的接触环，所述穿刺针能从接触环内伸出进行穿刺。

进一步地，所述控制器为工控机，所述工控机与超声机械臂、第一柔性触觉传感器、穿刺机械臂及第二柔性触觉传感器之间建立实时通讯机制。

一种基于运动跟随的穿刺方法，采用上述的双臂穿刺机器人系统，其特征在于，包括以下步骤：

步骤1、搭建好双臂穿刺机器人系统，准备好穿刺机构和超声探头；

步骤2、启动超声机械臂，调整机械臂位姿，使超声探头到达穿刺对象表面，对穿刺对象进行超声检测，获取超声影像，通过人工标记或者神经网络学习确定靶点位置，获取靶点在超声机械臂坐标系下的坐标；超声检测过程中，所述控制器通过第一柔性触觉传感器监测超声机械臂的执行末端与穿刺对象表面接触力变化，根据接触力变化控制超声机械臂进行调整跟随动作，使得第一柔性触觉传感器监测的接触力保持恒定，从而获取稳定的超声影像，以得到靶点在超声机械臂坐标系下的实时坐标；

步骤3、启动穿刺机械臂，调整机械臂位姿，使穿刺机构的穿刺针到达合适的进针位置和姿态，此时第二柔性触觉传感器贴附在穿刺针四周或者侧方的穿刺对象表面，所述控制器根据第二柔性触觉传感器监测穿刺机构或者穿刺机械臂的执行末端与穿刺对象表面接触力变化，根据接触力变化控制穿刺机械臂进行调整跟随动作，使得第二柔性触觉传感器监测的接触力保持恒定，从而使得穿刺机构跟随穿刺对象运动进行跟随动作，使得穿刺针与靶点保持相对静态；

步骤4、启动穿刺机构对穿刺对象进行穿刺，完成基于运动跟随的穿刺。

进一步地，在步骤2中，以超声影像和柔性触觉传感器采集的呼吸信息作为输入，以穿刺针和靶区的位置关系构建神经网络模型进行机器学习，以快速获得靶区坐标。

进一步地，当穿刺对象因呼吸导致运动或者模拟人体呼吸运动时，当穿刺对象模拟吸气时，腹部会鼓起，第一柔性触觉传感器或第二柔性触觉传感器检测到压力增大，则控制器会控制机械臂携带超声探头或者穿刺机构沿远离皮肤的方向移动，从而阻止压力的增大；当穿刺对象模拟呼气时，腹部会下沉，第一柔性触觉传感器或第二柔性触觉传感器检测到压力减小，则控制器会控制机械臂携带超声探头或者穿刺机构沿靠近皮肤的方向移动，从而阻止压力的减小，从而使得超声探头或者穿刺机构与靶点保持相对静止。

进一步地，所述超声机械臂和穿刺机械臂均为串联机械臂，且均具备六个或六个以上转动轴，机械臂末端工作面具备六个自由度。

本发明的有益效果是：

1、在超声定位端，加入柔性触觉传感器检测探头接触点附近的皮肤接触力的大小变化，并和超声图像数据融合后来预测穿刺针和靶区位置，相当于把呼吸运动带来的影响加入预测算法中，可以提高预测的准确度。

2、在穿刺端，使用柔性触觉传感器贴附在穿刺点附近的皮肤，通过调整穿刺机械臂来保持柔性触觉传感器的接触力恒定，可以实现对呼吸运动的实时跟踪补偿，保持穿刺针和腹部的相对固定的位置关系。

3、整个机器人系统在初始时标定一次即可，后续使用时不用再次标定，避免了过程繁杂的术前标定过程。

附图说明

图1是本发明所述融合超声和触觉信息的双臂穿刺机器人系统的总体构成图；

图2是本发明所述融合超声和触觉信息的双臂穿刺机器人系统的超声端示意图；

图3是本发明所述融合超声和触觉信息的双臂穿刺机器人系统的穿刺端示意图；

图4是本发明所述融合超声和触觉信息的双臂穿刺机器人系统的控制框架。

其中，1-超声机械臂，2-超声末端，21-超声探头，22-第一柔性触觉传感器，23-探头夹具，24-夹具支架，3-穿刺机械臂，4-穿刺机构，41-第二柔性触觉传感器，42-穿刺针，43-穿刺针自旋驱动电机，44-穿刺针平移驱动电机，45-穿刺机构底座，5-基座，6-穿刺人体模型，7-超声成像仪，8-工控机。

具体实施方式

为了使本发明所要解决的技术问题、技术方案更加清晰明了，下面结合附图和实施例，对本发明提供的融合超声和触觉信息的双臂穿刺机器人系统进行详细说明，所述是对本发明的解释而不是限定。

实施例1。

请参阅图1，本发明公开了一种融合超声和触觉信息的双臂穿刺机器人系统，包括两个机械臂、超声探头21、第一柔性触觉传感器22、穿刺机构4、第二柔性触觉传感器41、超声成像仪7和控制器；所述控制器为工控机8，两个机械臂分别为超声机械臂1和穿刺机械臂3；所述超声机械臂1和穿刺机械臂3分别安装在基座5的两侧，其中，超声机械臂1和穿刺机械臂3都使用的是六轴机械臂，两台机械臂关节轴数不限于此，但应至少为六轴或六轴以上。若选取基座5上表面中心位置建立坐标系，并定义为世界坐标系，则超声机械臂1和穿刺机械臂3的都可以通过标定工具，标定出各自的基座5坐标系在世界坐标系下的位姿变换矩阵。

特别是两台机械臂的末端位姿均可在世界坐标系下实时跟踪。所述超声机械臂1、穿刺机械臂3和工控机8建立实时通讯机制，工控机8可以实时获取两台机械臂所有关节的关节角信息，并解算出末端工具坐标系在世界坐标系下的位姿信息。

请参阅图2，所述超声探头21固定在探头夹具23上，与超声探头21配套的第一柔性触觉传感器22也通过安装孔、紧固件固定在探头夹具23上，探头夹具23连接夹具支架24，通过夹具支架24固定在超声机械臂1的执行末端的工作法兰面上。与超声探头21配套的第一柔性触觉传感器22前端的柔性接触头形状为半月形，紧贴在超声探头21侧面，且固定之后，二者之间的相对位置固定不变，第一柔性触觉传感器22的高度大致与超声探头21相同，柔性接触头的弧形环绕超声探头21一部分，使得进行超声检测时，第一柔性触觉传感器22和超声探头21能同时接触人体或者穿刺人体模型6。通过机械的连接关系，可以获得超声探头21坐标系到超声机械臂1末端法兰坐标系的位姿变换矩阵。

所述第一柔性触觉传感器22固定在超声探头21一侧。当超声探头21接触人体皮肤进行超声检查时，第一柔性触觉传感器22也同时接触到人体皮肤。由于柔性触觉传感器工作表面是柔性材料覆盖，不会给人体造成不舒适的触感，同时由于人体的呼吸运动引起皮肤起伏，柔性触觉传感器会检测出接触压力的大小变化情况，从而采集人体的呼吸信息，获取人体表皮由于呼吸导致的运动规律。

作为一种优选实施例，柔性触觉传感器采集的呼吸信息，会融合超声探头21采集的超声图像，经过神经网络的训练学习，进而预测出穿刺针42和靶区的在超声探头21坐标系下的位置。然后再根据探头在超声机械臂1末端的安装位置关系、超声机械臂1的六个关节角信息，以及超声机械臂1相对世界坐标系的位姿变换矩阵，可以计算出穿刺针42和靶区(或靶点)在世界坐标系下的位姿，从而给穿刺机械臂3的运动规划提供指导。

请参阅图1、图2和图4，所述超声探头21通过导线和超声成像仪7连接，检测时超声探头21把数据传送给超声成像仪7，产生超声图像。超声成像仪7又通过导线和工控机8连接，把超声图像传送给工控机8。所述第一柔性触觉传感器22通过导线和工控机8连接，检测时也会把触觉信息发送给工控机8。工控机8首先根据接收的触觉信息，控制超声机械臂1进行跟随动作，保证超声探头21与人体或者穿刺人体模型6接触力保持相对稳定，这样可以获取高质量超声影像，并且能够实时确定靶点坐标；工控机8根据接收的超声图像信息，通过人工标记或者通过人工智能识别标记靶区(靶点)和进针点；并转换为超声探头21坐标系下的位置，然后通过坐标变换，得到穿刺针42和靶区在世界坐标系下的位置，为穿刺机械臂3的运动规划提供指导。

需要说明的是，所述超声探头21通过夹具固定在超声机械臂1的执行末端，用于人体的超声检测。超声探头21内部由超声换能器等结构组成，其具体的成像原理不在本发明所述范围之内，本发明所使用的超声探头21为医疗上常用的医用设备，超声探头21连接所述超声成像仪7可以进行超声成像，超声成像仪7和所述工控机8连接，把超声图像发送给工控机8。

请参阅图3和图4，所述穿刺机构4通过穿刺机构底座45固定在穿刺机械臂3的末端工作法兰面上，所述穿刺针42安装在穿刺机构4上，针尖从第二柔性触觉传感器41的环心伸出。穿刺机械臂3会带动整个穿刺机构4运动，调整穿刺装置和穿刺针42的位姿，直到穿刺针42针尖到达医生指定的进针点和穿刺姿态。然后工控机8根据接收的触觉信息，控制穿刺机械臂3进行跟随动作，保证穿刺机构4与人体或者穿刺人体模型6接触力保持相对稳定，也就是穿刺机构4与靶点保持相对静止状态，以防止进针时，穿刺点和靶点发生偏离。

作为一种优选实施例，所述穿刺机构4是一个带有两个驱动电机的进针装置，分别为穿刺针自旋驱动电机43和穿刺针平移驱动电机44，穿刺针42固定于穿刺机构4前端，通过两个电机的驱动，穿刺针42可以进行绕轴心线的自旋运动和沿轴心线的平移运动，需要说明的是，穿刺机构4不限于该种结构，还可以是现有技术中任何其他穿刺机构。

作为一种优选实施例，所述第二柔性触觉传感器41的柔性接触头为环绕穿刺机构4的穿刺针42四周的接触环，固定在穿刺机构4的前端，穿刺针42从触觉传感器的接触环中心穿过。

作为一种优选实施例，所述穿刺机构4通过安装孔安装在穿刺机械臂3的末端法兰面上，穿刺机械臂3可以带动整个穿刺机构4运动，以调整穿刺针42的位置和姿态，到达合适的进针位置。

需要说明的是，所述第一柔性触觉传感器22和第二柔性触觉传感器41的柔性接触头形状不一样，但是基本原理是一样的，作为工作面的柔性接触头由柔性材料覆盖，当工作表面受到按压时，可以检测出按压力的大小和按压位置。其基本技术既可以采用申请人在先专利CN114623958A一种基于电极阵列的柔性触觉传感器及其制备方法；也可以采用柔性接触头加上三维力传感器即可(比如柔性接触头安装在三维力传感器测量头一端)，柔性接触头制备成所需形状，与人体表面接触，具体形状不限，能够接触即可，三维力传感器用于监测实际在柔性接触头上的接触力和接触力方向。

下面以对穿刺人体模型6操作为例说明本发明的基于运动跟随的穿刺方法，穿刺人体模型6能够模拟人体因为呼吸导致人体皮肤的周期性运动；具体方法如下：

步骤1、搭建好双臂穿刺机器人系统，准备好穿刺机构4和超声探头21；

步骤2、启动超声机械臂1，调整机械臂位姿，使超声探头21到达穿刺人体模型6表面，对穿刺人体模型6进行超声检测，获取超声影像，通过人工标记或者神经网络学习确定靶点位置，获取靶点在超声机械臂1坐标系下的坐标；超声检测过程中，所述工控机8通过第一柔性触觉传感器22监测超声机械臂1的执行末端与穿刺人体模型6表面接触力变化，根据接触力变化控制超声机械臂1进行调整跟随动作，使得第一柔性触觉传感器22监测的接触力保持恒定，从而获取稳定的超声影像，以得到靶点在超声机械臂1坐标系下的实时坐标；

步骤2、启动穿刺机械臂3，调整机械臂位姿，使穿刺机构4的穿刺针42到达合适的进针位置和姿态，此时第二柔性触觉传感器41贴附在穿刺针42四周或者侧方的穿刺人体模型6表面，所述工控机8根据第二柔性触觉传感器41监测穿刺机构4或者穿刺机械臂3的执行末端与穿刺人体模型6表面接触力变化，根据接触力变化控制穿刺机械臂3进行调整跟随动作，使得第二柔性触觉传感器41监测的接触力保持恒定，从而使得穿刺机构4跟随穿刺人体模型6运动进行跟随动作，使得穿刺针42与靶点保持相对静态；

步骤3、启动穿刺机构4对穿刺人体模型6进行穿刺，完成基于运动跟随的穿刺。

请参阅图4，上述运动跟随的具体调整方法如下：

当穿刺人体模型6因呼吸导致运动或者模拟人体呼吸运动时，当穿刺人体模型6模拟吸气时，腹部会鼓起，第一柔性触觉传感器22或第二柔性触觉传感器41检测到压力增大，则控制器会控制机械臂携带超声探头21或者穿刺机构4沿远离皮肤的方向移动，从而阻止压力的增大；当穿刺人体模型6模拟呼气时，腹部会下沉，第一柔性触觉传感器22或第二柔性触觉传感器41检测到压力减小，则控制器会控制机械臂携带超声探头21或者穿刺机构4沿靠近皮肤的方向移动，从而阻止压力的减小，从而使得超声探头21或者穿刺机构4与靶点保持相对静止。通过编写控制程序以及合适的调控参数，可以控制穿刺机械臂3带动穿刺针42跟随腹部呼吸而移动，维持触觉传感器的压力在一个恒定的大小，从而使穿刺针42和进针点维持在一个相对静止的状态，以此来达到呼吸跟随的目的。

将上述穿刺人体模型6替换为人体，即可得到基于人体呼吸跟随的穿刺方法。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种融合超声和触觉信息的双臂穿刺机器人系统，其特征在于，包括

超声机械臂，其执行末端安装有超声探头和监测穿刺对象表面触觉信号的第一柔性触觉传感器；

穿刺机械臂，其执行末端安装有穿刺机构和监测穿刺对象表面触觉信号的第二柔性触觉传感器；

超声成像仪，与超声探头相连，用于对穿刺对象超声成像；

控制器，根据超声成像仪通过超声探头获取的超声影像确定靶点，控制引导穿刺机构进行穿刺；

所述控制器根据第一柔性触觉传感器监测穿刺对象表面接触力信息，驱动超声机械臂跟随运动，使得超声探头与穿刺对象表面保持稳定的相对稳定；

所述控制器根据第二柔性触觉传感器监测穿刺对象表面接触力信息，驱动穿刺机械臂跟随运动，使得穿刺机构与穿刺对象表面保持稳定的相对稳定。

2.根据权利要求1所述融合超声和触觉信息的双臂穿刺机器人系统，其特征在于：所述超声机械臂和穿刺机械臂均为六轴或六轴以上的机械臂。

3.根据权利要求1所述融合超声和触觉信息的双臂穿刺机器人系统，其特征在于：所述第一柔性触觉传感器和第二柔性触觉传感器均为至少能检测出接触力大小且具有柔性接触头的力传感器。

4.根据权利要求1所述融合超声和触觉信息的双臂穿刺机器人系统，其特征在于：所述第一柔性触觉传感器和超声探头并列安装在超声机械臂的执行末端，使得第一柔性触觉传感器和超声探头在超声检测时能同时接触穿刺对象表面。

5.根据权利要求1所述融合超声和触觉信息的双臂穿刺机器人系统，其特征在于：所述超声机械臂和穿刺机械臂之间建立转换坐标系或者具有共同的世界坐标系，使得超声影像检测出的靶点和穿刺机构之间能进行直接坐标转换。

6.根据权利要求1所述融合超声和触觉信息的双臂穿刺机器人系统，其特征在于：所述超声影像通过神经网络的训练学习识别确定靶点在超声机械臂坐标系下的坐标。

7.根据权利要求3所述融合超声和触觉信息的双臂穿刺机器人系统，其特征在于：所述第二柔性触觉传感器的柔性接触头为环绕穿刺机构的穿刺针四周的接触环，所述穿刺针能从接触环内伸出进行穿刺。

8.根据权利要求1所述融合超声和触觉信息的双臂穿刺机器人系统，其特征在于：所述控制器为工控机，所述工控机与超声机械臂、第一柔性触觉传感器、穿刺机械臂及第二柔性触觉传感器之间建立实时通讯机制。

9.一种基于运动跟随的穿刺方法，采用权利要求1-8任意一项所述融合超声和触觉信息的双臂穿刺机器人系统，其特征在于，包括以下步骤：

步骤1、搭建好双臂穿刺机器人系统，准备好穿刺机构和超声探头；

步骤2、启动超声机械臂，调整机械臂位姿，使超声探头到达穿刺对象表面，对穿刺对象进行超声检测，获取超声影像，通过人工标记或者神经网络学习确定靶点位置，获取靶点在超声机械臂坐标系下的坐标；超声检测过程中，所述控制器通过第一柔性触觉传感器监测超声机械臂的执行末端与穿刺对象表面接触力变化，根据接触力变化控制超声机械臂进行调整跟随动作，使得第一柔性触觉传感器监测的接触力保持恒定，从而获取稳定的超声影像，以得到靶点在超声机械臂坐标系下的实时坐标；

步骤2、启动穿刺机械臂，调整机械臂位姿，使穿刺机构的穿刺针到达合适的进针位置和姿态，此时第二柔性触觉传感器贴附在穿刺针四周或者侧方的穿刺对象表面，所述控制器根据第二柔性触觉传感器监测穿刺机构或者穿刺机械臂的执行末端与穿刺对象表面接触力变化，根据接触力变化控制穿刺机械臂进行调整跟随动作，使得第二柔性触觉传感器监测的接触力保持恒定，从而使得穿刺机构跟随穿刺对象运动进行跟随动作，使得穿刺针与靶点保持相对静态；

步骤3、启动穿刺机构对穿刺对象进行穿刺，完成基于运动跟随的穿刺。

10.根据权利要求9所述基于运动跟随的穿刺方法，其特征在于：当穿刺对象因呼吸导致运动或者模拟人体呼吸运动时，当穿刺对象模拟吸气时，腹部会鼓起，第一柔性触觉传感器或第二柔性触觉传感器检测到压力增大，则控制器会控制机械臂携带超声探头或者穿刺机构沿远离皮肤的方向移动，从而阻止压力的增大；当穿刺对象模拟呼气时，腹部会下沉，第一柔性触觉传感器或第二柔性触觉传感器检测到压力减小，则控制器会控制机械臂携带超声探头或者穿刺机构沿靠近皮肤的方向移动，从而阻止压力的减小，从而使得超声探头或者穿刺机构与靶点保持相对静止。

Images