CN117323019A - 一种用于泌尿系穿刺手术的三操作臂机器人系统 - Google Patents

Abstract

本发明公开了一种用于泌尿系穿刺手术的三操作臂机器人系统，包括：人机交互装置、第一穿刺臂、第二穿刺臂、超声臂和手术导引工作站；第一穿刺臂的末端安装有第一柔性穿刺针，第二穿刺臂的末端安装有第二柔性穿刺针，超声臂的末端安装有超声探头；人机交互装置用于接收操作指令并且向第一穿刺臂、第二穿刺臂、超声臂、第一柔性穿刺针和第二柔性穿刺针发出动作指令；手术导引工作站用于融合通过超声探头在术中采集的超声图像和术前采集的CT图像、规划第一柔性穿刺针和第二柔性穿刺针的手术路径、判断目标靶位置，并且向操作者显示包括融合图像、目标靶位置和手术路径的实时导航信息，显著优于仅通过超声图像执行泌尿系穿刺手术的技术手段。

Description

一种用于泌尿系穿刺手术的三操作臂机器人系统

技术领域

本发明涉及手术机器人领域，具体涉及一种用于泌尿系穿刺手术的三操作臂机器人系统。

背景技术

本发明所公开的主题涉及到的机器人系统的相关技术公开于：

CN110575248A一种用于微创消融手术的机器人系统；

《超声探头把持臂的力摆位及主从力控制研究》；

《具有位姿解耦功能的穿刺手术机械臂系统设计与力摆位研究》。

现有的用于微创消融手术的机器人系统包括超声臂和两套位姿分离机械臂，通过超声臂在体外或体内执行超声手段以看到病灶，使两套位姿分离机械臂前端消融针深入人体并刺入病灶，使电极最大限度地、均匀地进入实体肿瘤组织，然后在消融电极针前端伸展出锚形细电极丝，插入到肿瘤组织中，通过射频输出，使病变区组织细胞离子震荡摩擦产生热量，通过加热的温度来杀灭肿瘤组织病变组织发生凝固性坏死。

目前，在微创消融手术中，仅依靠超声手段看到病灶不足以让医生获得对病灶位置和手术路径的准确判断。

发明内容

本发明的目的在于提供一种用于泌尿系穿刺手术的三操作臂机器人系统，以解决仅依靠超声手段看到病灶不足以让医生获得对病灶位置和手术路径的准确判断的技术问题。

为解决上述技术问题，本发明具体提供下述技术方案：

一种用于泌尿系穿刺手术的三操作臂机器人系统，包括：人机交互装置、第一穿刺臂、第二穿刺臂、超声臂和手术导引工作站；第一穿刺臂的末端安装有第一柔性穿刺针，第二穿刺臂的末端安装有第二柔性穿刺针，超声臂的末端安装有超声探头；人机交互装置用于接收操作指令并且向第一穿刺臂、第二穿刺臂、超声臂、第一柔性穿刺针和第二柔性穿刺针发出动作指令；手术导引工作站用于融合通过超声探头在术中采集的超声图像和术前采集的CT图像、规划第一柔性穿刺针和第二柔性穿刺针的手术路径、判断目标靶位置，并且向操作者显示包括融合图像、目标靶位置和手术路径的实时导航信息。

进一步地，第一穿刺臂、第二穿刺臂和超声臂均为从端机械臂，人机交互装置包括主手和主从控制模块；其中，主手用于被操作者操纵，主从控制模块包括位姿微分增量检测模块、主从位姿映射模块；位姿微分增量检测模块用于采集主手末端位姿的微分增量，通过主从位姿映射模块映射到从端机械臂后，利用逆雅克比矩阵计算从端机械臂各个关节的期望微分角度增量，计算得到关节期望角度，作为关节电机模组底层控制算法的输入量，完成主从位姿的映射。

进一步地，主从控制模块还包括导纳控制器模块和力反馈映射模块；导纳控制器用于采集从端机械臂末端的力反馈信息，通过力反馈映射模块映射到主手后，完成力映射。

进一步地，人机交互装置还包括在线补偿模块；在线补偿模块用于获得从端机械臂末端在笛卡尔全局空间坐标系下的重力和重力矩信息，并以此作为变参数导纳控制器的输入；导纳控制器根据从端机械臂末端的力反馈信息、重力信息和重力矩信息，导纳控制器输出从端机械臂末端的笛卡尔工作空间期望速度，再通过逆雅克比矩阵映射到关节空间速度，最后由关节速度内环控制器实现对从端机械臂的人机协作控制。

进一步地，主手包括第一主手和第二主手，主从控制模块包括第一主从控制模块和第二主从控制模块，人机交互装置还包括主从控制台，主从控制台用于切换人机交互装置的工作模式；第一工作模式中，第一主手通过第一主从控制模块操纵第一穿刺臂，第二主手通过第二主从控制模块操纵超声臂；第二工作模式中，第一主手通过第一主从控制模块操纵超声臂，第二主手通过第二主从控制模块操纵第二穿刺臂。

进一步地，第一柔性穿刺针和第二柔性穿刺针的结构相同，第一柔性穿刺针包括：舵机、空心穿刺针、套管针和柔性子针，空心穿刺针的内部插装有至少一个套管针，每个套管针的内部均插装有一个柔性子针，空心穿刺针、每个套管针和每个柔性子针分别通过各自对应的舵机驱动以实现伸出和收缩。

进一步地，第一穿刺臂是具有位姿分离功能的结构形式；第二穿刺臂是具有虚拟穿刺轴的关节臂结构形式；超声臂是带有力反馈功能的关节式机械臂的结构形式。

进一步地，手术导引工作站包括显示器、图像融合模块、目标靶识别模块、手术规划模块、手术导航定位模块、非自主运动检测与补偿模块；图像融合模块使用基于线性加权的图像融合方法，以融合超声图像和CT图像；目标靶识别模块使用手动和自动相结合的分割方法，以确定目标靶位置；手术规划模块使用基于中心角控制和环境自适应采样的快速扩展随机树算法，以规划手术路径；非自主运动检测与补偿模块使用分割-配准的深度学习模型，挖掘三维超声图像和CT图像间的刚性形变，以实现运动检测及对CT图像的运动补偿。

进一步地，手动和自动相结合的分割方法包括以下步骤：利用手动方法确定肿瘤的大致区域，然后利用基于带注意力门的Unet模型实现肿瘤的精确分割；其中，Unet模型采用Dice损失和加权交叉熵相结合的损失函数。

进一步地，分割-配准的深度学习模型采用分割和配准两个子模块交替训练的策略，利用训练好的分割模块从CT图像和超声图像中分割出软组织，再对分割出的软组织利用训练好的配准模块实现非刚性配准。

本申请与现有技术相比较具有如下有益效果：

提供一种用于泌尿系穿刺手术的三操作臂机器人系统，融合通过超声探头在术中采集的超声图像和术前采集的CT图像、规划第一柔性穿刺针和第二柔性穿刺针的手术路径、判断目标靶位置，并且向操作者显示包括融合图像、目标靶位置和手术路径的实时导航信息，显著优于仅通过超声图像执行泌尿系穿刺手术的技术手段。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例的设备结构图；

图2为本发明实施例的主从位姿映射、力反馈映射的逻辑图；

图3为本发明实施例的主从控制模块的一种结构的示意图；

图4为本发明实施例的第一穿刺臂的DH坐标系；

图5为本发明实施例的第二穿刺臂的DH坐标系；

图6为本发明实施例的基于改进快速扩展随机树的手术路径规划算法示意图；

图7为本发明实施例的基于手动和带注意力门Unet相结合的目标靶分割方法示意图；

图8为本发明实施例的基于同时分割配准的CT和超声图像配准和融合算法示意图；

图9为本发明实施例的基于灰度投影/深度学习的手术器械检测算法示意图；

图10为本发明实施例的第一柔性穿刺针的径向视图；

图11为图10的A-A方向的剖视图；

图12为图11的B处的局部放大图；

图13为本发明实施例的第一柔性穿刺针的立体图；

图14为本发明实施例的第一柔性穿刺针的轴视图；

图15为本发明实施例的主手和从端机器人的连接系统的示意图；

图16为本发明实施例的系数调整模块的结构示意图；

图中的标号分别表示如下：

1-第一穿刺臂；11-第一柔性穿刺针；111-空心穿刺针；112套管针；113-柔性子针；114-滑块；115-第一舵机；116-第二舵机；117-法兰；118-滑条；119-滑槽；

2-第二穿刺臂；12-第二柔性穿刺针；

3-超声臂；31-超声探头；

4-显示器；

51-第一主手；52-第二主手；

6-系数调整模块；61-底板；62-踏板；63-铰链；64-棘轮机构；65-弹性件；66-踏板传感器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，在微创消融手术中，仅依靠超声手段看到病灶不足以让医生获得对病灶位置的准确判断，下文提供一种用于泌尿系穿刺手术的三操作臂机器人系统，用于完成肾脏、前列腺的穿刺及消融手术等泌尿外科典型手术。

请参照图1。

机器人系统包括：人机交互装置、第一穿刺臂1、第二穿刺臂2、超声臂3和手术导引工作站；

第一穿刺臂1的末端安装有第一柔性穿刺针11，第二穿刺臂2的末端安装有第二柔性穿刺针12，超声臂3的末端安装有超声探头31；

人机交互装置用于接收操作指令并且向第一穿刺臂1、第二穿刺臂2、超声臂3、第一柔性穿刺针11和第二柔性穿刺针12发出动作指令；

手术导引工作站用于融合通过超声探头31在术中采集的超声图像和术前采集的CT图像、规划第一柔性穿刺针11和第二柔性穿刺针12的手术路径、判断目标靶位置，并且向操作者显示包括手术路径和目标靶位置的实时导航图像。

图2出示了一种主从控制系统的结构，其能够实现主从位姿映射、力反馈映射和零力拖曳功能。

第一穿刺臂1、第二穿刺臂2和超声臂3均为从端机器人，人机交互装置包括主手和主从控制系统，主手用于被操作者操纵，主手通过主从控制系统向从端机器人发出工作指令；

其中，主从控制系统包括位姿微分增量检测模块、主从动作跟随模块和力反馈映射模块；

位姿微分增量检测模块用于采集主手末端位姿的微分增量，通过主从动作跟随模块映射到从端机器人后，利用逆雅克比矩阵计算从端机器人各个关节的期望微分角度增量，计算得到关节期望角度，作为关节电机模组底层控制算法的输入量，完成主从位姿的跟随映射。

其中，姿微分增量检测模块至少包括陀螺仪和倾斜角传感器，通过陀螺仪检测主手末端的角速度和方向，从而确定其方位，通过倾斜角传感器检测主手末端末端的姿态，具体的可以参考浙江大学研发的主从异构型遥操作系统。

操作人员通过主从控制和力反馈进行人机交互。

主从控制系统还包括导纳控制器，从端机器人末端安装有力和力矩传感器，导纳控制器通过力和力矩传感器采集从端机器人末端的力反馈信息，通过力反馈映射模块映射到主手后，完成力反馈映射。

主手采用ForceDimension公司的omega系列，其具有多个自由度和力反馈功能。

进一步地：

从端机器人末端安装有重力和重力矩在线补偿模块，重力和重力矩在线补偿模块用于获得从端机器人末端在笛卡尔全局空间坐标系下的重力和重力矩信息，并以此作为变参数导纳控制器的输入；

根据从端机器人末端的力反馈信息、重力和重力矩信息，导纳控制器输出从端机器人末端的笛卡尔工作空间期望速度，再通过逆雅克比矩阵映射到关节空间速度，最后由关节速度内环控制器实现对从端机器人的人机协作控制。

重力和重力矩在线补偿模块可以采用六维力和力矩传感器检测重力和重力矩。

第一穿刺臂1、第二穿刺臂2通过拖曳力移动之后，可通过主从控制进行位姿微调，超声臂3则需要进行主从控制进行扫查，从而减轻外科医师的手术负担和操作难度，从而提高了手术安全性、可靠性和实用性，并完成一系列关键技术指标。

为了更好地确定导纳控制模型中的虚拟参数，研究中通过模糊推理系统实现导纳控制模型的参数在线调整，从而保证了穿刺手术机器人机械臂拖拽的流畅性，灵活性和安全性。

图3出示了上述实施例的一种结构，其中：

主手包括第一主端机器人51和第二主端机器人52，主从控制系统包括第一主从控制模块和第二主从控制模块和主从控制台，主从控制台用于切换人机交互装置的工作模式；

第一工作模式中，第一主端机器人51通过第一主从控制模块操纵第一穿刺臂1，第二主端机器人52通过第二主从控制模块操纵超声臂3；

第二工作模式中，第一主端机器人51通过第一主从控制模块操纵超声臂3，第二主端机器人52通过第二主从控制模块操纵第二穿刺臂2。

进一步的：

由于2个主手需要切换地操作3个从端机器人，因此，在切换主手和从端机器人的连接之后，会出现主手末端的位置和姿态与从端机器人末端的位置和姿态不一致的情况，导致医生的后续操作不直观。

为了解决这个问题，在每次切换主手和从端机器人的连接时，需要完成一次从主位姿映射。

主从控制系统还包括位姿检测模块和从主位姿映射模块，位姿检测模块用于检测主手和从端机器人的各个关节的角度，计算主手末端和从端机器人末端的位姿，然后通过从主位姿映射模块将从端机器人末端的位姿映射到主手，利用逆雅克比矩阵计算主手各个关节的期望微分角度增量，计算得到关节期望角度，作为关节电机模组底层控制算法的输入量，完成从主位姿的复制映射。

位姿检测模块也通过主从动作跟随模块将主端机器人末端的位姿映射到从端机器人，完成主从位姿的复制映射。

位姿检测模块可以采用电位器、码盘和倾斜角传感器。

通过上述结构和方法，可以实现下述工作步骤。

从第一工作模式切换至第二工作模式的过程中，执行从主位姿映射：将超声臂3末端的位姿映射到第一主端机器人51，将第二穿刺臂2末端的位姿映射到第二主端机器人52。

从第二工作模式切换至第一工作模式的过程中，执行从主位姿映射：将第一穿刺臂1末端的位姿映射到第一主端机器人51，将超声臂3末端的位姿映射到第二主端机器人52。

从端机器人通过拖曳力移动之后，执行从主位姿映射：将从端机器人末端的位姿映射到对应的主手，完成从主位姿的跟随映射。

进一步的：

医护人员在操作主手执行穿刺手术时，通常希望主从动作跟随有着不同的映射比例，例如，在操作从端机器人的末端靠近患者时，需要较大的映射比例，以使得医生能够毫不费力地移动从端机器人的末端，然而在操作从端机器人的末端瞄准病灶、执行穿刺或者电切时，需要较小的映射比例，以使得医生能够更高精度地移动从端机器人的末端，降低操作的难度和手抖的影响。

为了解决这个问题，请参照图4：

主从控制系统还包括系数调整模块6，位姿微分增量检测模块通过系数调整模块6连接主从动作跟随模块，系数调整模块6用于调整主从动作跟随系数，以放大或者缩小主手末端的笛卡尔空间速度和角速度与从端机器人末端的笛卡尔空间速度和角速度的比例系数。

系数调整模块6可以采用按钮、旋钮、踏板或者挡位，为了提高操作的安全程度，避免医生操作主手时低头查看、操作系数调整模块6，下文提供一种系数调整模块6。

请参照图5：

系数调整模块6包括：底板61、踏板62、铰链63、弹性件65和角度传感器66；

底板61和踏板62通过铰链63连接，弹性件65的两端分别连接底板61和踏板62，弹性件65用于向踏板62提供使其向上摆动的弹力；

角度传感器66用于测量底板61和踏板62之间的距离或夹角，系数调整模块6根据角度传感器66传输的信号调整主从动作跟随系数。

角度传感器66可以使用编码器、电子尺、激光测距仪等，本实施例中采用电子尺，其两端分别铰接底板61和踏板62。随着医生逐渐地踩踏踏板62，踏板62和底板61之间的夹角减少，电子尺两端的长度缩短，主从动作跟随系数随之降低，主手的操作精度随之提高。

使用踏板而非鼠标、键盘或者旋钮的好处在于：医生可以始终双眼注视手术工作台的显示器，用手和脚操作机器人，不需要转移视线，也不需要松开主端机器人去操作桌面上的其他设备，避免因为意外导致的医疗事故。

可选的：弹性件65可以采用气弹簧，其两端分别铰接底板61和踏板62，气弹簧的优点在于弹力和伸展速度较为恒定，医生可以始终向踏板62施加恒定的踩踏作用力，并且恒定的弹力使得医生松开踏板62时，踏板62能够以较为恒定的伸展速度复位。

弹性件65也可以采用塔形弹簧，其两端分别铰接底板61和踏板62，塔形弹簧的优点在于弹力是随着踩踏的幅度逐渐变化的，这使得塔形弹簧的弹力对医生形成了触感，医生可以根据踩踏的用力幅度估算主从跟随系数。

进一步的：

为了同时实现踩踏踏板62时具有触感式的反馈，同时踏板62也能够以较为恒定的伸展速度复位，还可以采用下文所述的实施例(图中未出示)。

系数调整模块6包括：底板61、踏板62、铰链63、电机和压力传感器；

底板61和踏板62通过铰链63转动连接，电机固定连接底板61，电机的输出轴固定连接踏板62，电机的输出轴与铰链63的转轴同轴，压力传感器嵌入在踏板62的被踩踏部位；

踏板62通过铰链63转动时，电机通过向踏板转动的反方向输出转矩以向医生提供反馈力，电机通过编码器测量自身的输出轴转动的角度，然后根据该角度增大或者减小转矩，以使得医生踩踏踏板62使其高度逐渐下降时，电机输出的转矩逐渐增大，并且转矩的增大幅度与踏板62的角位移行程线性相关。

当医生的脚离开踏板62时，压力传感器检测不到压力，电机驱动踏板62匀速地恢复至初始位置。

进一步的，在上述实施例中。

其优点在于：踏板62完全跟随医生的踩踏动作，便于医生任意地调整主从跟随系数。

其缺点在于：在执行精细手术操作的过程中，任意地放大主从跟随系数是较为危险的。

为了解决这个问题：

铰链63上可以安装棘轮机构64，棘轮机构64用于限制铰链63的旋转，以使得踏板62只能单向向下摆动，并且踏板62转动至最低角度时能够反向回转至最高角度。

铰链63和棘轮机构64可以采用恒林家居股份有限公司销售的掀折装置，该掀折装置是集成有棘轮机构64的铰链63，其应用于座椅靠背的角度调节，可以直接转用于踏板62的角度调节，只要将其固定臂连接底板61，连接臂连接踏板62即可。

棘轮机构64用于限制踏板62的位置，无外力作用时踏板62不移动，从而使得医生执行手术时不需要将注意力集中在踩踏踏板62上。

上述实施例的工作原理如下所述，假设——

主端机器人的笛卡尔空间速度和角速度是：

X轴直线速度0.04m/s，Y轴直线速度0.08m/s，Z轴直线速度0.06m/s，绕X轴转动的角速度是0.2rad/s，绕Y轴转动的角速度是0.4rad/s，绕Z轴转动的角速度是0.6rad/s；

修改主从动作跟随系数为0.5；

则从端机器人的笛卡尔空间速度和角速度是：

X轴直线速度0.02m/s，Y轴直线速度0.04m/s，Z轴直线速度0.03m/s，绕X轴转动的角速度是0.1rad/s，绕Y轴转动的角速度是0.2rad/s，绕Z轴转动的角速度是0.3rad/s；

即：当主从动作跟随系数是0.5时，从端机器人的笛卡尔空间速度和角速度是主端机器人的一半，在相同的运动过程中，从端机器人的笛卡尔空间位移和角位移也是主端机器人的一半。

如此即可通过减少主从跟随系数，提高主从遥操控的精度。

进一步的，在下述操作步骤中——

步骤一、将主端机器人连接第一穿刺臂切换为主端机器人连接第二穿刺臂时；

步骤二、在较小的映射系数中通过主端机器人遥操控从端机器人；

——均会导致主端机器人和从端机器人的位姿偏差较大，影响医生的操作感受。

为了解决这个问题，从主位姿映射在切换主端机器人和从端机器人的连接之后，或者在主端机器人脱离操作之后，主手末端仅承受重力和重力矩时，从端机器人均通过从主位姿映射模块修正主手末端的位置，实现自动地将从端机器人的末端的位姿映射至主端机器人的末端，从而修正主手末端和从端机器人末端之间的位姿偏差，便于医生执行下一步的操作。

进一步：

为了提高操作的安全性，降低误触、误碰主手引发医疗事故的可能性。

踏板62向上摆动至最高角度时，主从动作跟随系数为零。

医生离开操作台之前，可以将踏板62踩踏至最低处，使得棘轮机构64解锁，踏板62在弹性件65的作用下回转至初始的最高位置，此时触碰主手的末端，从端机器人的末端不执行动作。

进一步地：

第一柔性穿刺针11和第二柔性穿刺针12的结构相同，第一柔性穿刺针11包括：舵机、空心穿刺针、套管针和柔性子针，空心穿刺针的内部插装有至少一个套管针，每个套管针的内部均插装有一个柔性子针，空心穿刺针、每个套管针和每个柔性子针分别通过各自对应的舵机驱动以实现伸出和收缩。

可选地，每个空心穿刺针内部安装三个套管针，三个柔性子针伸出后分别朝向三个不同的方向，柔性子针通过加热的温度来杀灭肿瘤组织病变组织发生凝固性坏死。

具体的，请参照图10-13。

第一柔性穿刺针11包括：壳体、空心穿刺针111、套管针112、柔性子针113、滑块114、第一舵机115、第二舵机116和第三舵机；

图中未出示壳体和第三舵机，空心穿刺针111通过法兰117固定连接壳体，第三舵机用于驱动壳体移动，从而通过法兰117带动空心穿刺针111伸出或者缩回；

滑块114可滑动地安装在壳体的内部，滑块114能够沿着平行于空心穿刺针111的轴线的方向滑动，第二舵机116固定连接壳体，并且第二舵机116的执行部固定连接滑块114，滑块114与套管针112固定连接，从而使得第二舵机116驱动套管针112伸出或者缩回；

第一舵机115固定连接滑块114，第一舵机115的执行部固定连接柔性子针113的尾段，从而使得第一舵机115驱动柔性子针113伸出或者缩回。

在上述实施例中：

柔性子针113连接电机，从而具有射频消融的功能。

第一舵机115、第二舵机116和第三舵机采用电动推杆。

为了使得第一舵机115工作时彼此互不干扰，滑块114被设计成自空心穿刺针111的尾端朝向远离空心穿刺针111并且径向朝外延伸的形状，第一舵机115的驱动方向与空心穿刺针111的轴线之间具有夹角，柔性子针113通过自身的柔性弯曲，使得柔性子针113将自身尾端的倾斜移动转化为柔性子针113自身中端的轴向移动。

进一步地：滑块114靠近空心穿刺针111的部位空置的空间狭窄，难以通过导向结构约束滑块114，导致第二舵机116驱动套管针112移动时，滑块114连接套管针112的部位容易发生抖动，造成患者不必要的痛苦。

为了解决这个问题，请参照图14。

滑块114靠近空心穿刺针111的部位与另外两个滑块114拼接，并且三个滑块114能够平行于空心穿刺针111的轴线相对滑动。

具体是：

滑块114靠近空心穿刺针111的部位是120°圆心角的扇形，其两边分别贴合另外两个滑块114的两边，每个滑块114的一边均形成有向外凸出的滑条118，每个滑块的另一边均形成有向内凹陷的滑槽119，滑条118和滑槽119滑动连接并且滑动方向平行于空心穿刺针111的轴线。

当第二舵机116驱动任意一个滑块114移动时，该滑块114通过另外两个滑块114约束，从而减小自身的抖动。

可选地，在上述实施例中：

请参照图4，第一穿刺臂1采用具有位姿分离功能的结构形式。

请参照图5，第二穿刺臂2采用具有虚拟穿刺轴的关节臂结构形式，在保证穿刺功能基础上，极大的提高了穿刺2臂整体的灵活度以满足不同穿刺术式的需求。

超声臂3采用带有力反馈功能的关节式机械臂的结构形式，在满足工作空间的前提下，实现了超声臂3操作的力反馈功能，在得到清晰超声图像的同时增加了操作安全性。

每个从端机械臂的自由度均≥5，机械臂重复定位精度≤0.2mm，力觉反馈分辨率≤0.5N，主从操控延时≤50ms。

手术导引工作站包括显示器4、图像融合模块、目标靶识别模块、手术规划模块、手术导航定位模块、非自主运动检测与补偿模块，其中：

图像融合模块采用基于线性加权的图像融合方法；针对CT图像和三维超声图像高效融合的需求，可以采用基于DARTS网络的无监督图像融合方法或者基于线性加权的图像融合方法，前者融合质量略优于后者，但后者运算速度更快；实验结果表明：基于线性加权的图像融合方法可有效保护图像细节信息，且可实现泌尿系多模图像的实时融合，融合时间小于40ms，融合精度优于3mm。

为实现影像空间位置配准，通过结合超声图像和牛顿法，完成超声探头31与超声图像坐标系之间的转换关系，结合电磁跟踪仪测量的超声探头31位置等信息，确定超声图像与手术空间之间的坐标关系，由此实现影像空间位置配准，测试结果表明：提出的影像空间位置配准方法其误差低于1mm。

关于手术规划模块和和手术导航定位模块：开发了基于3D Slicer的手术规划与导航软件及对应的手术导航定位模块，实现了泌尿系穿刺手术路径规划及实时导航；手术规划与导航软件集成了手术路径规划、目标靶识别、非自主运动检测与补偿、多模图像刚性配准和非刚性配准、多模图像融合及手术器械检测等核心算法，导航实时性超过10volumes/s。

请参照图2，手术规划模块采用基于中心角控制和环境自适应采样的快速扩展随机树(RRT)算法，该算法对圆弧段路径采用一种基于中心角控制的策略，剔除可能搜索到的伪可行路径，提高了算法的稳定性和确定性；同时结合环境自适应采样，极大地提高了算法的计算效率和搜索速度；仿真数据和实际临床数据测试表明：该算法可快速精确实现手术路径规划，在运算效率和精度上优于现有流行的RRT算法。

请参照图7，为实现目标靶的识别，设计手动和自动相结合的分割方法；该方法利用手动方法确定肿瘤的大致区域，然后利用基于带注意力门的Unet模型实现肿瘤的精确分割；其中，带注意力门的Unet模型在3D Unet网络中嵌入了注意力门机制，同时采用Dice损失和加权交叉熵相结合的损失函数，可实现肿瘤的精准识别，识别的目标靶尺寸小于1cm。

请参照图8，针对穿刺对象得非自主运动对穿刺手术的不利影响，提出了非自主运动检测与补偿方法：

针对实时三维超声图像，采用优化策略的非自主运动检测与补偿方法，其中非自主运动主要指穿刺对象的生理运动，通过挖掘超声图像间的非自主运动信息，由此实现非自主运动检测及对超声图像的非自主运动补偿；即现有技术中仅采用超声探头31的方法。

首先，利用术中实时三维超声图像进行非自主运动的检测，然后，在检测到非自主运动后对非自主运动进行补偿。

具体的，对术中实时三维超声图像，进行非自主运动的实时变动检测，如下：

分别提取出术中实时三维超声图像和术前病灶三维超声图像中刚性形变特征；

将术中实时三维超声图像的刚性形变特征和术前病灶三维超声图像的刚性形变特征进行相似性比较，其中，

当术中实时三维超声图像的刚性形变特征和术前病灶三维超声图像的刚性形变特征的相似性低于相似性阈值，则将术中实时三维超声图像标定为发生了非自主运动的实时变动；

当术中实时三维超声图像的刚性形变特征和术前病灶三维超声图像的刚性形变特征的相似性高于或等于相似性阈值，则将术中实时三维超声图像标定为未发生非自主运动的实时变动。

本发明在视觉避障层面对非自主运动的补偿和力觉避障层面对非自主运动的补偿，将两个层面进行非自主运动补偿的规划路径进行融合统一，实现非自主运动补偿时局部特征与局部特征的融合，达到局部规划的统一性，使得最终得到的术中实时局部穿刺路径，兼顾力觉避障和视觉避障，多重层面避障，提高术中实时局部穿刺路径非自主运动的补偿效果，具体如下：

根据术中实时三维超声图像，通过启发式路径规划算法，得到术中实时局部穿刺路径，包括：

根据术中实时穿刺力反馈值，通过力觉导纳控制策略建立阻抗模型，得到术中实时局部穿刺路径的力觉规划模型，力觉规划模型的输出项对应于与穿刺组织对穿刺臂的力反馈属性关联的术中实时局部穿刺路径，力觉规划模型的模型表达式为：

p”＝M^-1(Fe-Bp’-Kp)；

式中，p为对应于术中实时穿刺力反馈值的路径节点坐标值，p’为p的一阶导数，p”为p的二阶导数，M为惯性系数，Fe为术中实时穿刺力反馈值，K为刚性系数，B为阻尼系数；

本发明在进行非自主运动补偿时，利用了穿刺术中穿刺组织对穿刺臂的力反馈属性，穿刺术中穿刺组织对穿刺臂的力反馈属性中也间接包含了穿刺对象的非自主运动的实时信息，单独利用穿刺术中穿刺组织对穿刺臂的力反馈属性进行路径规划，得到了实现力反馈避障的局部规划路径，即实现了力觉避障层面对非自主运动的补偿。

根据术中实时三维超声图像，通过快速扩展随机树算法或改进型快速拓展随机树算法，得到术中实时局部穿刺路径的视觉规划模型，视觉规划模型的输出项对应于与非自主运动的实时变动关联的术中实时局部穿刺路径；

本发明在进行非自主运动补偿时，利用了穿刺术中的病灶图像信息，穿刺术中的病灶图像信息中包含了穿刺对象的非自主运动的实时信息，单独利用穿刺术中的病灶图像信息进行路径规划，得到了实现视觉避障的局部规划路径，即实现了视觉避障层面对非自主运动的补偿。

将视觉规划模型的输出项和力觉规划模型的输出项间的均方误差作为第一优化目标，将视觉规划模型的输出项与术前全局穿刺路径中位于术中实时三维超声图像中局部路径间的均方误差作为第二优化目标，术前全局穿刺路径采用基于中心角控制和环境自适应采样的快速扩展随机树(RRT)算法规划得到；

将术中实时三维超声图像作为求解空间；

在求解空间中对第一优化目标和第二优化目标进行最小化求解，得到在力觉和视觉上的局部统一的术中实时局部穿刺路径。

本发明将第一优化目标设定为视觉规划模型的输出项和力觉规划模型的输出项间的均方误差，即第一优化目标衡量视觉规划模型的输出项和力觉规划模型的输出项间的差异性，最小化第一优化目标能够使得视觉规划模型得到的术中实时局部穿刺路径和力觉规划模型得到的术中实时局部穿刺路径之间差异性最小，最终优化求解得到的术中实时局部穿刺路径，在视觉避障和力反馈避障两个层面取得局部兼顾统一，增加术中实时局部穿刺路径的鲁棒性。

本发明将第二优化目标设定为视觉规划模型的输出项与术前全局穿刺路径中位于术中实时三维超声图像中局部路径间的均方误差，即第二优化目标衡量视觉规划模型的输出项和术前全局穿刺路径中位于术中实时三维超声图像中局部路径间的差异性，最小化第二优化目标能够使得视觉规划模型得到的术中实时局部穿刺路径和术前全局穿刺路径中位于术中实时三维超声图像中局部路径之间差异性最小，最终优化求解得到的术中实时局部穿刺路径，穿刺臂由术前全局穿刺路径中位于术中实时三维超声图像中局部路径转移到术中实时局部穿刺路径中行进，产生最小的机械修正量，保持穿刺平稳性，规避路径更改造成的损伤程度，也能最大程度的继承术前路径规划的优势(距离最短，损伤最小)。

第一穿刺臂1和第二穿刺臂2沿着术中实时局部穿刺路径进行实时行进，能够提高了穿刺路径的实时修正，穿刺平稳性。

在实际应用中，手术规划模块采用基于中心角控制和环境自适应采样的快速扩展随机树(RRT)算法，针对术前病灶三维超声图像，得到术前全局穿刺路径，第一穿刺臂1或第二穿刺臂2沿着术前全局穿刺路径进行初始化行进。

在第一穿刺臂1或第二穿刺臂2沿着术前全局穿刺路径行进过程中，手术规划模块根据由超声臂3捕捉的术中实时三维超声图像，依次进行非自主运动的实时变动检测，确定穿刺对象当前时刻是否存在了非自主运动，如果不存在自主运动，人机交互装置控制第一穿刺臂1或第二穿刺臂2仍沿着术前全局穿刺路径朝向病灶继续行进。

如果当前时刻存在自主运动，手术规划模块针对于术中实时三维超声图像，以及由超声臂3中力反馈功能的关节式机械臂的结构进行术中实时穿刺力反馈值获得，通过启发式路径规划算法，得到术中实时局部穿刺路径，当前时刻人机交互装置将第一穿刺臂1或第二穿刺臂2调整至沿术中实时局部穿刺路径行进，以实现路径修正补偿非自主运动，在补偿当前非自主运动后，再回归至术前全局穿刺路径中。

循环执行非自主运动的检测和补偿，直至第一穿刺臂1或第二穿刺臂2到达泌尿系肿瘤病灶(或称目标靶位置)处。

与现有的块匹配法补偿方法相比，基于深度学习的方法较能更好地实现对CT图像的运动补偿，实现不同术中位置和肿瘤形态变化下的泌尿系多模图像的精确配准，其非自主运动检测误差小于4mm，运动补偿误差小于3mm。

请参照图9，针对超声图像中穿刺针等手术器械对比度低、边界不清晰且存在类似线型结构干扰等问题，设计了基于动态窗口和粗-精搜索的灰度投影积分方法，该方法直接利用图像灰度信息，避免了Hough变换算法检测结果过度依赖于阈值的选取问题，同时粗-精搜索方法减少了图像处理时间，而动态窗口的采用则提高了手术器械检测的准确率。

该方法可实现手术器械的快速精确检测，为实现其精确控制提供了基础。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为本发明实施例的落在本发明的保护范围内。

Claims (10)

1.一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

包括：人机交互装置、第一穿刺臂(1)、第二穿刺臂(2)、超声臂(3)和手术导引工作站；

第一穿刺臂(1)的末端安装有第一柔性穿刺针(11)，第二穿刺臂(2)的末端安装有第二柔性穿刺针(12)，超声臂(3)的末端安装有超声探头(31)；

人机交互装置用于接收操作指令并且向第一穿刺臂(1)、第二穿刺臂(2)、超声臂(3)、第一柔性穿刺针(11)和第二柔性穿刺针(12)发出动作指令；

手术导引工作站用于融合通过超声探头(31)在术中采集的超声图像和术前采集的CT图像、规划第一柔性穿刺针(11)和第二柔性穿刺针(12)的手术路径、判断目标靶位置，并且向操作者显示包括融合图像、目标靶位置和手术路径的实时导航信息。

2.根据权利要求1所述的一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

第一穿刺臂(1)、第二穿刺臂(2)和超声臂(3)均为从端机械臂，人机交互装置包括主手和主从控制模块；

其中，主手用于被操作者操纵，主从控制模块包括位姿微分增量检测模块、主从位姿映射模块；

位姿微分增量检测模块用于采集主手末端位姿的微分增量，通过主从位姿映射模块映射到从端机械臂后，利用逆雅克比矩阵计算从端机械臂各个关节的期望微分角度增量，计算得到关节期望角度，作为关节电机模组底层控制算法的输入量，完成主从位姿的映射。

3.根据权利要求2所述的一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

主从控制模块还包括导纳控制器模块和力反馈映射模块；

导纳控制器用于采集从端机械臂末端的力反馈信息，通过力反馈映射模块映射到主手后，完成力映射。

4.根据权利要求3所述的一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

人机交互装置还包括在线补偿模块；

在线补偿模块用于获得从端机械臂末端在笛卡尔全局空间坐标系下的重力和重力矩信息，并以此作为变参数导纳控制器的输入；

导纳控制器根据从端机械臂末端的力反馈信息、重力信息和重力矩信息，导纳控制器输出从端机械臂末端的笛卡尔工作空间期望速度，再通过逆雅克比矩阵映射到关节空间速度，最后由关节速度内环控制器实现对从端机械臂的人机协作控制。

5.根据权利要求2所述的一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

主手包括第一主手(51)和第二主手(52)，主从控制模块包括第一主从控制模块和第二主从控制模块，人机交互装置还包括主从控制台，主从控制台用于切换人机交互装置的工作模式；

第一工作模式中，第一主手(51)通过第一主从控制模块操纵第一穿刺臂(1)，第二主手(52)通过第二主从控制模块操纵超声臂(3)；

第二工作模式中，第一主手(51)通过第一主从控制模块操纵超声臂(3)，第二主手(52)通过第二主从控制模块操纵第二穿刺臂(2)。

6.根据权利要求1所述的一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

第一柔性穿刺针(11)和第二柔性穿刺针(12)的结构相同，第一柔性穿刺针(11)包括：舵机、空心穿刺针(111)、套管针(112)和柔性子针(113)，所述空心穿刺针(111)的内部插装有至少一个所述套管针(112)，每个所述套管针(112)的内部均插装有一个所述柔性子针(113)，所述空心穿刺针(111)、每个所述套管针(112)和每个所述柔性子针(113)分别通过各自对应的舵机驱动以实现伸出和收缩。

7.根据权利要求1所述的一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

第一穿刺臂(1)是具有位姿分离功能的结构形式；

第二穿刺臂(2)是具有虚拟穿刺轴的关节臂结构形式；

超声臂(3)是带有力反馈功能的关节式机械臂的结构形式。

8.根据权利要求1所述的一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

手术导引工作站包括显示器(4)、图像融合模块、目标靶识别模块、手术规划模块、手术导航定位模块、非自主运动检测与补偿模块；

图像融合模块使用基于线性加权的图像融合方法，以融合超声图像和CT图像；

目标靶识别模块使用手动和自动相结合的分割方法，以确定目标靶位置；

手术规划模块使用基于中心角控制和环境自适应采样的快速扩展随机树算法，以规划手术路径；

非自主运动检测与补偿模块使用分割-配准的深度学习模型，挖掘三维超声图像和CT图像间的刚性形变，以实现运动检测及对CT图像的运动补偿。

9.根据权利要求8所述的一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

手动和自动相结合的分割方法包括以下步骤：

利用手动方法确定肿瘤的大致区域，然后利用基于带注意力门的Unet模型实现肿瘤的精确分割；其中，Unet模型采用Dice损失和加权交叉熵相结合的损失函数。

10.根据权利要求8所述的一种用于泌尿系穿刺手术的三操作臂机器人系统，其特征在于，

分割-配准的深度学习模型采用分割和配准两个子模块交替训练的策略，利用训练好的分割模块从CT图像和超声图像中分割出软组织，再对分割出的软组织利用训练好的配准模块实现非刚性配准。