CN113413216A - 一种基于超声影像导航的双臂穿刺机器人及穿刺方法 - Google Patents

Abstract

本发明公开了一种基于超声影像导航的双臂穿刺机器人及穿刺方法，机器人包括两台机械臂、B超仪、力传感器、穿刺针、进针机构、深度相机、显示器、安装底座和工控机，所述两台机械臂分别是导航机械臂和穿刺机械臂；本发明通过导航机械臂携带B超仪的超声探头移动，获取超声影像，确定肿瘤位置和姿态；通过深度相机获取病人体表的点云信息，通过工控机进行坐标转换合成在世界坐标系下肿瘤、病人体表和穿刺针的相对位置关系，并显示在显示器上；人工选取进针点，利用工控机规划出进针轨迹和进针姿态，通过穿刺机械臂携带进针机构进针，完成穿刺。本发明结构简单、使用方便、通过结合人机各自的优势，大大提高了穿刺的精准度，实用性强。

Description

一种基于超声影像导航的双臂穿刺机器人及穿刺方法

技术领域

本发明属于机器人技术领域，涉及一种医疗穿刺机器人，具体涉及一种基于超声影像导航的双臂穿刺机器人及穿刺方法。

背景技术

近年来，机器人在工业、服务业、农业迅速发展，同时在医疗领域也已得到推广应用，特别是肿瘤治疗机器人近年来发展迅速。目前，临床上肿瘤治疗实际操作主要依赖医生个人能力与经验，操作困难、可控性差、疗效不稳定、临床应用受限。国际上，美国、日本等发达国家已研制出较为先进的基于超声引导的机器人肿瘤治疗系统，其具有手术精度高、可控性好等优点。国内虽有一定的研究基础，但核心关键技术仍存在诸多难点亟待突破。

国内对于穿刺机器人的研究大多停留在实验阶段，且绝大多数系统不具备完整的定位、导航、穿刺功能，少数功能齐全的系统多是依靠CT或者MRI定位肿瘤位置，由于此类装置体积较大、价格昂贵，和其他治疗装置配合工作的限制大，所以临床应用困难。

发明内容

鉴于上述现有的肿瘤治疗机器人研究的不足，本发明的目的在于提供一种基于超声影像导航的双臂穿刺机器人及穿刺方法，其具备协同医生实施全过程穿刺手术的能力。利用超声检测的便捷、安全、快速的优点，利用协作机械臂的定位精度高、运行平稳、可控性高的优点，本发明所述的双臂穿刺机器人具有快速定位肿瘤、手术精度高、可控性好的特点，具有临床应用的巨大价值。

为实现上述目的，本发明采用的技术方案是：

一种基于超声影像导航的双臂穿刺机器人，其特征在于：包括两台机械臂、B超仪、力传感器、穿刺针、进针机构、深度相机、显示器、安装底座和工控机，所述两台机械臂分别是导航机械臂和穿刺机械臂；

所述导航机械臂和穿刺机械臂分别固定于安装底座上，建立基于安装底座的世界坐标系以及世界坐标系与机械臂的基座标系之间转换关系；导航机械臂和穿刺机械臂与工控机进行实时信息交换；

所述B超仪为医疗检测用的超声设备，用于人体的超声检查，其超声探头通过力传感器安装于导航机械臂的末端；B超仪将检测得到的超声图像实时传输给工控机；

所述深度相机固定在安装底座上，并建立相机坐标系与世界坐标系的转换关系，深度相机扫描病人的待治疗区域，并生成点云信息发送给工控机；

所述穿刺针通过进针机构安装于穿刺机械臂的末端；

所述工控机根据接收到的信息，进行坐标转换，在显示器上显示出人体体表、肿瘤和穿刺针处于同一世界坐标系下的相对位置图像；并控制穿刺机械臂和进针机构进行穿刺。

进一步地，所述超声探头通过探头固定装置安装，具体的，所述力传感器安装在导航机械臂的末端工作端面，探头固定装置安装在力传感器上，超声探头固定在探头固定装置上，通过力传感器反馈保证超声探头与人体接触力度处于安全范围内，当力传感器反馈的接触力超过一定阈值时，通过导航机械臂适当回收，减少接触力，防止人员受伤，保证检测安全，同时当接触力过小时，适当增加接触力，提高超声探头的耦合效果，防止超声探头与病人没有充分接触，而导致超声图像成像质量差。

本发明还提供一种基于超声影像导航的穿刺方法，采用上述任意一项所述双臂穿刺机器人，其特征在于，穿刺方法如下：

步骤1、搭建双臂穿刺机器人，准备好穿刺针；

步骤2、启动双臂穿刺机器人，通过B超仪获取超声影像，确定肿瘤位置和姿态，并将肿瘤位置和姿态转换到世界坐标系下；

步骤3、通过深度相机获取病人体表的点云信息，并通过坐标转换到世界坐标系下；

步骤4、通过世界坐标系与机械臂的基座标系之间转换关系将穿刺针的坐标转换到世界坐标系下；

步骤5、通过工控机在合成在世界坐标系下肿瘤、病人体表和穿刺针的相对位置关系，并显示在显示器上；

步骤6、医生根据显示器上的相对位置关系信息，选取进针点，并指定肿瘤上一点为穿刺终点，工控机根据此进针点和穿刺终点，规划出进针轨迹和进针姿态，通过穿刺机械臂调整进针姿态，通过进针机构动作进行进针，完成穿刺。

进一步地，步骤2中，肿瘤的位置和形状确认方式为医生在超声影像上人工标记出。

进一步地，所述穿刺针通过夹持装置与进针机构保持牢固固定，在步骤2中，所述穿刺针根据需要导入光纤到肿瘤位置，进行肿瘤消融。

进一步地，所述B超仪传输的超声影像、深度相机传输的点云信息以及机械臂与工控机交换的实时信息均携带系统时间戳；在穿刺过程中，随着人体呼吸、心跳等，肿瘤上的目标终点会周期性移动，工控机根据超声图像，实时定位肿瘤位置，通过实时调整穿刺针姿态，始终保持穿刺针对准目标，精准到达指定穿刺终点。

本发明基于超声影像导航的双臂穿刺机器人，用于协同医生定位病人肿瘤位置，使用穿刺针穿刺到肿瘤位置，并导入光纤消融肿瘤。

进一步地，所述B超仪和工控机建立实时通讯机制，B超仪把检测得到的超声图像实时传输给工控机，并且图像带有系统时间戳。

进一步地，所述导航机械臂和工控机建立实时通讯机制，工控机可以实时获取导航机械臂所有关节的关节角信息和末端工具坐标系在机械臂基座标系下的位姿信息，这些信息带有系统时间戳。

进一步地，所述B超仪的超声探头通过固定装置刚性连接于导航机械臂的末端，并且保证超声探头的扇形成像区的中心线和机械臂末端轴心线重合，超声探头位姿相对于导航机械臂的末端是固定的。通过对超声探头成像进行标定，获得超声图像中目标深度和实际目标到导航机械臂末端工作面距离的映射关系。

进一步地，在某一时间戳下，工控机根据此刻接收的超声图像，由标定的映射关系求解出实际肿瘤到导航机械臂末端工作面的距离，再根据此刻的导航机械臂末端在基座标系的位姿关系，求解出实际肿瘤在导航机械臂基座坐标系下的位姿。

进一步地，所述进针机构固定在穿刺机械臂末端，进针机构通过电机驱动推进装置(比如携带位移传感器的电动推杆)，推进装置推动穿刺针向前移动，穿刺针长度可变。推进装置上设计合适的结构来固定穿刺针，保证穿刺针在穿刺的过程中也不会相对进针机构运动。

进一步地，所述穿刺针固定在进针机构上且位置可知，进针机构相对于穿刺机械臂末端工作面位姿固定，且进针机构的推进装置通过位移传感器可以实时检测位置，所以在整个穿刺过程中穿刺针相对于穿刺机械臂末端工作面的位置和姿态都可知，并且把位姿信息发布给工控机，这些信息带有系统时间戳。

进一步地，所述穿刺机械臂和工控机建立实时通讯机制，工控机可以实时获取穿刺机械臂所有关节的关节角信息和末端工具坐标系在机械臂基座标系下的位姿信息，这些信息带有系统时间戳。

进一步地，在某一时间戳下，工控机根据此刻穿刺机械臂末端工作面在基座坐标系下的位姿，以及此刻穿刺针在穿刺机械臂末端工具坐标系下的位姿，求解出穿刺针在穿刺机械臂基座坐标系下的位姿。

进一步地，所述导航机械臂和穿刺机械臂均固定在安装底座上，因此，导航机械臂基座坐标系和穿刺机械臂基座坐标系的相对位置关系可知。根据两基座坐标系相对位姿关系，并结合前文所述的一系列坐标转换过程，工控机可以求解出在任一时刻，超声检查的目标点，即病人体内肿瘤和穿刺针的相对位姿关系。

进一步地，所述深度相机也固定在安装底座上，因此相机相对于机械臂基座的位姿关系可知。深度相机扫描病人的待治疗区域，并生成位置点云发送给工控机，点云信息带有系统时间戳。通过对深度相机标定，可以建立点云信息相对于两台机械臂基座坐标系的相对位姿关系。

进一步地，工控机根据求解出的人体内肿瘤和穿刺针的相对位姿关系，以及人体皮肤表面的点云信息，在显示屏上显示出人体待检测区域、肿瘤和穿刺针三者在同一坐标系下的位姿形态，最终呈现出三者的三维立体图。

进一步地，医生通过观察显示屏上的图像信息，在人体皮肤表面选取合适的进针点，并指定肿瘤上一点为穿刺终点，工控机根据此进针点和穿刺终点，自动规划出进针轨迹和进针姿态。穿刺机械臂先调整自身关节角，使穿刺针针尖到达进针点同时调整到进针姿态，然后进针机构的推进装置推动穿刺针向前移动，逐步穿刺到目标终点。

进一步地，在穿刺过程中，随着人体呼吸、心跳等，肿瘤上的目标终点可能会周期性移动，工控机根据超声图像，实时定位肿瘤位置，通过实时调整穿刺针姿态，始终保持穿刺针对准目标，精准到达指定穿刺终点。

进一步地，所述导航机械臂和穿刺机械臂均为串联机械臂，且均具备六个或六个以上转动轴，机械臂末端工作面具备六个自由度。

进一步地，步骤6中进针姿态可以通过医生选取指定，并利用穿刺机械臂调整。

本发明的有益效果是：

1、使用两个机械臂搭建穿刺机器人系统，凭借机械臂精度高、稳定性好的优势，提高了整个穿刺过程的精准度、可控性和成功率。

2、利用B超仪实时定位肿瘤位置，形成穿刺过程的闭环控制，使整个系统的导航模块十分方便、快捷和安全。

3、把系统各个模块固定在安装底座上，统一了系统各个部分的位姿描述，可以随时获取系统任一部件的位置和姿态信息，使系统的可控制性极大提高。

4、穿刺过程中先进行位姿调整，然后再执行进针，分开执行，互不干扰，提高了穿刺的准确度和可靠性。

5、本发明利用超声检测的便捷、安全、快速的优点，利用协作机械臂的定位精度高、运行平稳、可控性高的优点，结合人工选取穿刺点和穿刺姿态，充分利用人机各自的优势，大大提高了穿刺的精准度，达到以最小创伤完成最佳治疗效果的目的。

附图说明

图1是本发明所述基于超声影像导航的双臂穿刺机器人的整体外形图；

图2是本发明所述基于超声影像导航的双臂穿刺机器人的控制台；

图3是本发明所述基于超声影像导航的双臂穿刺机器人的控制框架。

其中，1-深度相机，2-相机固定架，3-导航机械臂，4-力传感器，5-探头固定装置，6-超声探头，7-安装底座，8-万向脚轮，9-穿刺机械臂，10-进针机构，11-穿刺针，12-超声仪，13-工控机，14-鼠标，15-键盘，16-显示器。

具体实施方式

为了使本发明所要解决的技术问题、技术方案更加清晰明了，下面结合附图和实施例，对本发明提供的基于超声影像导航的双臂穿刺机器人进行详细说明，所述是对本发明的解释而不是限定。

实施例1。

请参阅图1，所述导航机械臂3和穿刺机械臂9分别安装在安装底座7的两侧，其中，导航机械臂3使用的是六轴机械臂，穿刺机械臂9使用的是七轴机械臂，两台机械臂关节轴数不限于此，但应至少为六轴或六轴以上。若选取安装底座上表面中心位置建立坐标系，并定义为世界坐标系，则导航机械臂1和穿刺机械臂9的位姿都可以在世界坐标系下表示，特别是两台机械臂的末端位姿均可在世界坐标系下实时跟踪。所述导航机械臂3和工控机建立实时通讯机制，工控机13可以实时获取导航机械臂3所有关节的关节角信息和末端工具坐标系在机械臂基座标系下的位姿信息，这些信息带有系统时间戳。

请参阅图1，所述B超仪12为医疗检测用的超声设备，用于人体的超声检查，其超声探头6通过力传感器4安装于导航机械臂3的末端；B超仪12将检测得到的超声图像实时传输给工控机，超声图像带有系统时间戳；具体的，力传感器4安装在导航机械臂3的末端工作端面，探头固定装置5安装在力传感器上，超声探头6固定在探头固定装置5上，且固定之后，探头位置相对固定装置不变。

请参阅图1和图3，超声探头6的中心轴线和导航机械臂3的末端关节中心轴线重合，设计标定物体，通过超声图像求解标定物体中的目标物的坐标，和真实坐标对比，从而解出超声图像坐标系和探头坐标系的转换矩阵。在定位肿瘤时，根据获取的扇形超声图像，由医生在图像上确认肿瘤物并标记出来，工控机13经图像处理求解出肿瘤在超声图像坐标系下的坐标，再乘以先前标定得到的转换矩阵，得到肿瘤物在探头坐标系下的坐标，再根据已知的探头坐标系和世界坐标系的转换矩阵，求出肿瘤在世界坐标系下的位姿，并发送给工控机13。

请参阅图1和图3，深度相机1固定在相机固定架2上，相机固定架2固定在安装底座7上，通过标定可以得到相机坐标系到世界坐标系的转换矩阵。深度相机1获取患者体表点云信息，该点云信息携带系统时间戳经过坐标变换处理，可以得到在世界坐标系下患者体表的点云信息，并发送到工控机13。

请参阅图1、图2和图3，根据坐标转换关系，工控机13可实时获取穿刺针11在安装底座7的世界坐标系下的位姿。经过数据整合与处理，工控机13可在显示器16上显示出人体体表、肿瘤物和穿刺针三者的相对位置图像，医生通过鼠标14可以在显示器16上体表附近指定一个穿刺进针点，工控机13根据进针点和肿瘤目标自动规划出进针路径并在显示器16上显示出来，医生确认之后使用鼠标14点击确认选项，穿刺机械臂即先调整到进针的准备位姿；然后医生再次观察穿刺针实际位姿是否正常，并确认和规划的起始进针点吻合，确认无误之后，医生再次通过鼠标14点击开始穿刺选项，进针机构10即开始穿刺。

本发明还提供一种基于超声影像导航的穿刺方法，包括以下步骤：

步骤1、搭建双臂穿刺机器人，准备好穿刺针；

步骤2、启动双臂穿刺机器人，通过B超仪获取超声影像，确定肿瘤位置和姿态，并将肿瘤位置和姿态转换到世界坐标系下；

步骤3、通过深度相机获取病人体表的点云信息，并通过坐标转换到世界坐标系下；

步骤4、通过世界坐标系与机械臂的基座标系之间转换关系将穿刺针的坐标转换到世界坐标系下；

步骤5、通过工控机在合成在世界坐标系下肿瘤、病人体表和穿刺针的相对位置关系，并显示在显示器上；

步骤6、医生根据显示器上的信息，选取进针点，并指定肿瘤上一点为穿刺终点，工控机根据此进针点和穿刺终点，规划出进针轨迹和进针姿态，通过穿刺机械臂调整进针姿态，通过进针机构动作进行进针，完成穿刺。

步骤2中，肿瘤的位置和形状确认方式为医生在超声影像上人工标记出。

所述穿刺针通过夹持装置与进针机构保持牢固固定，在步骤2中，所述穿刺针根据需要导入光纤到肿瘤位置，进行肿瘤消融。

请参阅图3，在穿刺过程中，肿瘤可能会随着人体呼吸而做周期性的移动，工控机13根据超声图像中肿瘤移动方向，控制穿刺机械臂9实时调整位姿，使穿刺针一直对准肿瘤位置，直至完成穿刺过程。

需要说明的，本发明图像显示采用现有技术中公知常识进行(比如B超仪本身携带的显示软件)，图像合成也是采用上述坐标转换方法基于工控机已有基础软件进行，对此本发明不再赘述。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于超声影像导航的双臂穿刺机器人，其特征在于：包括两台机械臂、B超仪、力传感器、穿刺针、进针机构、深度相机、显示器、安装底座和工控机，所述两台机械臂分别是导航机械臂和穿刺机械臂；

所述导航机械臂和穿刺机械臂分别固定于安装底座上，建立基于安装底座的世界坐标系以及世界坐标系与机械臂的基座标系之间转换关系；导航机械臂和穿刺机械臂与工控机进行实时信息交换；

所述B超仪为医疗检测用的超声设备，用于人体的超声检查，其超声探头通过力传感器安装于导航机械臂的末端；B超仪将检测得到的超声图像实时传输给工控机；

所述深度相机固定在安装底座上，并建立相机坐标系与世界坐标系的转换关系，深度相机扫描病人的待治疗区域，并生成点云信息发送给工控机；

所述穿刺针通过进针机构安装于穿刺机械臂的末端；

所述工控机根据接收到的信息，进行坐标转换，在显示器上显示出人体体表、肿瘤和穿刺针处于同一世界坐标系下的相对位置图像；并控制穿刺机械臂和进针机构进行穿刺。

2.如权利要求1所述的基于超声影像导航的双臂穿刺机器人，其特征在于：所述导航机械臂和穿刺机械臂均为六轴或六轴以上的机械臂。

3.如权利要求1所述的基于超声影像导航的双臂穿刺机器人，其特征在于：所述超声探头通过探头固定装置安装，具体的，所述力传感器安装在导航机械臂的末端工作端面，探头固定装置安装在力传感器上，超声探头固定在探头固定装置上，通过力传感器反馈保证超声探头与人体接触力度处于安全范围内。

4.如权利要求1所述的基于超声影像导航的双臂穿刺机器人，其特征在于：所述超声探头的扇形成像区的中心线和导航机械臂的末端轴心线重合。

5.如权利要求1所述的基于超声影像导航的双臂穿刺机器人，其特征在于：所述进针机构为携带位移传感器的电动推杆。

6.一种基于超声影像导航的穿刺方法，采用权利要求1-5任意一项所述双臂穿刺机器人，其特征在于，穿刺方法如下：

步骤1、搭建双臂穿刺机器人，准备好穿刺针；

步骤2、启动双臂穿刺机器人，通过B超仪获取超声影像，确定肿瘤位置和姿态，并将肿瘤位置和姿态转换到世界坐标系下；

步骤3、通过深度相机获取病人体表的点云信息，并通过坐标转换到世界坐标系下；

步骤4、通过世界坐标系与机械臂的基座标系之间转换关系将穿刺针的坐标转换到世界坐标系下；

步骤5、通过工控机在合成在世界坐标系下肿瘤、病人体表和穿刺针的相对位置关系，并显示在显示器上；

步骤6、医生根据显示器上的相对位置关系信息，选取进针点，并指定肿瘤上一点为穿刺终点，工控机根据此进针点和穿刺终点，规划出进针轨迹和进针姿态，通过穿刺机械臂调整进针姿态，通过进针机构动作进行进针，完成穿刺。

7.如权利要求6所述的穿刺方法，其特征在于：步骤2中，肿瘤的位置和形状确认方式为医生在超声影像上人工标记出。

8.如权利要求6所述的穿刺方法，其特征在于：所述穿刺针通过夹持装置与进针机构保持牢固固定，在步骤2中，所述穿刺针根据需要导入光纤到肿瘤位置，进行肿瘤消融。

9.如权利要求6所述的穿刺方法，其特征在于：所述B超仪传输的超声影像、深度相机传输的点云信息以及机械臂与工控机交换的实时信息均携带系统时间戳；在穿刺过程中，随着人体呼吸、心跳等，肿瘤上的目标终点会周期性移动，工控机根据超声图像，实时定位肿瘤位置，通过实时调整穿刺针姿态，始终保持穿刺针对准目标，精准到达指定穿刺终点。

Images