CN113397708A - 粒子穿刺手术机器人导航系统 - Google Patents

Abstract

本发明公开了粒子穿刺手术机器人导航系统，包括：人机交互界面，用于医学影像可视化及接收输入的指令信息；控制层，用于发送控制指令至集成外设层，接收集成外设层的外设数据信息，进行逻辑处理，输出数据至人机交互界面以及生成运动控制指令发送至运动层；集成外设层，至少包括电机、传感器、NDI、超声波仪器及七自由度力反馈设备，用于获取进行粒子穿刺手术过程中所需的数据信息并上传至控制层；运动层，用于根据所述运动控制指令执行相应的动作。本发明方便后续系统集成新的外设接口，实现粒子机器人软件的易操作、易移植、多平台等，方便维护。

Description

粒子穿刺手术机器人导航系统

技术领域

本发明涉及医疗机器人技术领域，特别涉及一种粒子穿刺手术机器人导航系统。

背景技术

医疗机器人是指用于医院、诊所、康复中心等医疗场景的医疗或辅助医疗的机器人。医疗机器人能够辅助医生，扩展医生的能力，具有医用性、临床适应性以及良好交互性三大特点。碘粒子植入是肿瘤病人治疗的重要方法之一，目前粒子是通过医生之手植入到肿瘤内部，实施精准内放疗。粒子治疗恶性肿瘤在美国应用较早，我们国家虽然起步较晚，但近年来异军突起，每年接受粒子治疗的肿瘤患者数万例。粒子介入机器人是通过人工智能机器人技术代替医生的手去植入粒子，通过多模态影像的导航，解决粒子填装和精准穿刺的难题，减少或避免患者和医生受到的放射辐射。此外通过放射治疗计划系统，可以实现放射性粒子剂量精确计算。介入手术机器人技术代表了未来介入医学的崭新模式，医生有望在手术室外、甚至利用5G网络在千里之外，坐在驾驶舱，身临其境地操作机器人去完成手术。

机器人导航系统是机器人的核心模块，相当于机器人大脑。实际机器人操作功能比较复杂，需要突破包括多模态影像融合、探针和导管实时定位、增强现实导航、实时安全防护的技术瓶颈，解决人机协同控制和医学影像导航面临主端控制和末端感知与执行的信息不同步和决策不对称性的问题，需要实现多尺度宏微复合驱动、人机协同控制、分级导航、多源信息融合、放射性粒子自动封装与操控等，实现人机协同，真正实现远程手术。

机器人需要安装相应的控制系统实现控制，即控制机器人在工作空间中的运动位置、姿态和轨迹、操作顺序及动作的时间等等。传统的机器人的控制系统采用的是封闭式的结构，使用专用的上位机、机器人语言和微处理器等，控制算法固化在控制器内。故控制系统缺乏开放性，不利控制系统的维护和升级，不能扩展功能，且系统的开发时间很长，开发成本很高，使得传统的控制系统在医疗手术应用中受到很大的限制。

但是机器人应用主要涉及在工业领域，医疗领域机器人相关平台系统设计很少，基于此，有必要针对医疗机器人操作设计专门的机器人软件架构。

设计导航软件操作平台是进行粒子穿刺手术机器人的关键，不仅需要尽可能涵盖粒子穿刺手术机器人操作所需要的功能，同时可以进行远程操作、对手术操作准确性要求也比较高。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种粒子穿刺机器人导航系统，例如前端人机交界面、控制层、集成外设层的实时通信以及运动控制等，每个任务层都有对应的接口设计，方便后续系统集成新的外设接口，实现粒子机器人软件的易操作、易移植、多平台等，方便维护。

根据本发明实施例的粒子穿刺手术机器人导航系统，包括：人机交互界面，用于医学影像可视化及接收输入的指令信息；控制层，用于发送控制指令至集成外设层，接收集成外设层的外设数据信息，进行逻辑处理，输出数据至人机交互界面以及生成运动控制指令发送至运动层；集成外设层，至少包括电机、传感器、NDI、超声波仪器及七自由度力反馈设备，用于获取进行粒子穿刺手术过程中所需的数据信息并上传至控制层；运动层，用于根据所述运动控制指令执行相应的动作。

根据本发明实施例的粒子穿刺手术机器人导航系统，至少具有如下有益效果：本发明方便后续系统集成新的外设接口，实现粒子机器人软件的易操作、易移植、多平台等，方便维护；且本发明可实现远程操作手术。

根据本发明的一些实施例，所述控制层包括：通信插件，用于设置远端机器人设备的IP地址，并通过连接状态报文进行通信实时测试；中间控制端，用于通过IP和端口连接各外设；外设控制端，用于获取外设的数据信息，以及通过指令操作各外设。

根据本发明的一些实施例，所述通信插件基于连接状态报文执行以下步骤：第一次握手连接状态确认；第二次握手连接状态确认；心跳报文互相实时传输，2秒发送一次，用于检测连接是否正常；若连接异常，主动尝试重新连接，直到连接成功。

根据本发明的一些实施例，所述人机交互界面包括：实时影像组件，用于加载实时影像并显示案例参数信息和影像物理参数；通信传输组件，用于响应用户操作配置通信传输的参数；算法组件，用于通过配置算法根据手术文件和/或外设的数据信息进行计算；外设接口组件，用于配置外设接口，以及获取外设的数据信息。

根据本发明的一些实施例，所述七自由度力反馈设备通过USB连接到控制层的电脑单元，用于获取实时力度信息，为机器人导航提供外设的力度及角度信息。

根据本发明的一些实施例，从七自由度力反馈设备获取的参数信息至少包括当前坐标、当前角度信息以及抓手状态标志信息；通过所述参数信息的实时传输，系统基于实时的参数信息生成运动控制指令发送至机器人执行机构进行粒子植入、穿刺针旋转及平移等。

根据本发明的一些实施例，所述控制层通过外设接口获取外设的数据信息，通过多线程处理生成运动控制指令发送至运动层控制机器人执行结构操作，并通过图像处理将图像信息及对应的参数显示在人机交互界面。

根据本发明的一些实施例，所述控制层还包括Oracle数据库，所述数据库存储有影像数据文件、术前配置文件、外设参数文件、分割结果文件、数据处理文件、规划路径文件及.stl文件。

根据本发明的一些实施例，所述系统根据每个病例按照机器人执行状态设置有术前文件及术中文件；所述术前文件包括原始影像、术前手术路径规划、影像分割结果、变换矩阵、案例信息介绍等；术中文件包括实时影像、外设配置文件及实时参数信息存储、手术动作及习惯文件等。

根据本发明的一些实施例，所述运动层包括：运动学解析模块，用于调用各种数学函数；坐标系转换模块，用于处理各种坐标系坐标之间的关系；运动规划模块，用于获取机器人的轨迹规划和速度规划。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的系统层级介绍示意图。

图2为本发明实施例的系统结构设计示意图。

图3为本发明实施例的数据库结构示意图。

图4为本发明实施例的组件图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

参照图1，本发明实施例的系统包括：其中前端人机交互界面，用于医学影像可视化及指令的发送与接收；控制层，用于发送控制指令至集成外设层，接收集成外设层的外设数据信息，进行逻辑处理，输出数据至人机交互界面以及生成运动控制指令发送至运动层；集成外设层，至少包括电机、传感器、NDI、超声波仪器及七自由度力反馈设备，用于获取进行粒子穿刺手术过程中所需的数据信息并上传至控制层；运动层，用于根据运动控制指令执行相应的动作。

参照图2，在一些实施例中，控制层包括：通信插件，用于设置远端机器人设备的IP地址，并通过连接状态报文进行通信实时测试；中间控制端，用于通过IP和端口连接各外设；外设控制端，用于获取外设的数据信息，以及通过指令操作各外设。

在一些实施例中，根据机器人平台操作需要，首先设置需要连接的远端机器人设备的ip地址，通过设置对应的IP/Port，实现导航软件控制端跟远端粒子穿刺机器人的实时通信。

进一步，为保障粒子穿刺机器人执行过程中的通信效果，通信插件设计对应连接状态报文，进行通信实时测试，1.握手连接状态确认；2.握手连接状态再确认；3.心跳报文互相实时传输，2s发送一次，用于检测连接是否都正常；4.连接异常状态，当检测到连接失败时，会主动尝试重新连接，直到连接成功。

参照图4，在一些实施例中，人机交互界面包括：实时影像组件，用于加载实时影像并显示案例参数信息和影像物理参数；通信传输组件，用于响应用户操作配置通信传输的参数；算法组件，用于通过配置算法根据手术文件和/或外设的数据信息进行计算；外设接口组件，用于配置外设接口，以及获取外设的数据信息。

在一些实施例中，根据机器人平台手术动作操作需要，连接需要进行远程传输的外设单元，以Sigma7力反馈设备为例，品牌为Force Dimension，通过USB连接到控制端电脑单元，此外设主要功能为获取实时力度信息，运行导航软件系统会获取外设的力度、角度等信息。

进一步，根据获取的力度信息参数，通过上述实时通信测试方法进行远程数据信息实时传送，Sigma7力反馈设备外设获取的参数信息一共有7个,包括当前坐标P(x,y,z),当前角度信息angle(rx,ry,rz)，以及抓手的状态flag等。通过7个参数的实时传输，来进行粒子穿刺机器人端的粒子植入、穿刺针旋转、平移等。同时也可以通过导航软件前端界面交互方式，实现相应的指令发送及传输。

参照图3，在一些实施例中，另外设有专门的数据库结构，用于软件运行过程中的实时信息的保存及备份。同时还设计专门的数据库结构，包含整个手术过程的信息存档或备份，包括软件运行需要的本地文件及软件运行过程中的信息实时存储、外设实时通信数据信息保存等。

本导航系统设计专门的数据库结构，用于粒子穿刺手术机器人执行前和执行过程中的数据信息存档及备份，本数据库结构设计尽可能的包含了整个手术过程中及进行手术的所设计的数据及临时文件存储，如图3所示。

导航系统根据粒子穿刺手术机器人操作，按照不同案例不同时间来进行设计，每个病例按照机器人执行状态，分为操作前即术前文件及操作即术中文件。这里机器人术前文件包括原始影像、术前手术路径规划、影像分割结果、变换矩阵、案例信息介绍等。术中存档文件包括：术中实时影像、外设配置文件及实时参数信息存储、手术动作及习惯文件保存等。

在一些实施例中，导航系统前端人机交互界面设计，主要用于辅助操作可视化及远程动作指令发送及传输。人机交互界面设计了包括影像可视化窗口，包括本地影像加载、实时影像等；当前案例的参数信息，包括案例介绍及影像物理参数；另外设计有相关操作按钮，用于开启外设指令传输、影像数据操作功能等，远程机器人、NDI等外设连接状态及参数可视化等。

其中，操作人员通过电机对应按钮，即可实现激活对应功能函数，通过中间层发送指令及接收对应参数，以NDI为例，需要在界面端进行三维矩阵初始化，输入原始坐标参数，点击确认按钮实现NDI初始化，同时通过操作NDI端，生成当前空间下的转换矩阵保存在本地，用于后续空间配准等，除此之外，外设连接实时状态及参数会显示在界面上。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统和/或计算机程序产品的框图描述了本公开的某些方面。应当理解，框图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图中的每个块以及框图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种粒子穿刺手术机器人导航系统，其特征在于，包括：

人机交互界面，用于医学影像可视化及接收输入的指令信息；

控制层，用于发送控制指令至集成外设层，接收集成外设层的外设数据信息，进行逻辑处理，输出数据至人机交互界面以及生成运动控制指令发送至运动层；

集成外设层，至少包括电机、传感器、NDI、超声波仪器及七自由度力反馈设备，用于获取进行粒子穿刺手术过程中所需的数据信息并上传至控制层；

运动层，用于根据所述运动控制指令执行相应的动作。

2.根据权利要求1所述的粒子穿刺手术机器人导航系统，其特征在于，所述控制层包括：

通信插件，用于设置远端机器人设备的IP地址，并通过连接状态报文进行通信实时测试；

中间控制端，用于通过IP和端口连接各外设；

外设控制端，用于获取外设的数据信息，以及通过指令操作各外设。

3.根据权利要求2所述的粒子穿刺手术机器人导航系统，其特征在于，所述通信插件基于连接状态报文执行以下步骤：

第一次握手连接状态确认；

第二次握手连接状态确认；

心跳报文互相实时传输，2秒发送一次，用于检测连接是否正常；

若连接异常，主动尝试重新连接，直到连接成功。

4.根据权利要求1所述的粒子穿刺手术机器人导航系统，其特征在于，所述人机交互界面包括：

实时影像组件，用于加载实时影像并显示案例参数信息和影像物理参数；

通信传输组件，用于响应用户操作配置通信传输的参数；

算法组件，用于通过配置算法根据手术文件和/或外设的数据信息进行计算；

外设接口组件，用于配置外设接口，以及获取外设的数据信息。

5.根据权利要求1所述的粒子穿刺手术机器人导航系统，其特征在于，所述七自由度力反馈设备通过USB连接到控制层的电脑单元，用于获取实时力度信息，为机器人导航提供外设的力度及角度信息。

6.根据权利要求5所述的粒子穿刺手术机器人导航系统，其特征在于，从七自由度力反馈设备获取的参数信息至少包括当前坐标、当前角度信息以及抓手状态标志信息；通过所述参数信息的实时传输，系统基于实时的参数信息生成运动控制指令发送至机器人执行机构进行粒子植入、穿刺针旋转及平移等。

7.根据权利要求1所述的粒子穿刺手术机器人导航系统，其特征在于，所述控制层通过外设接口获取外设的数据信息，通过多线程处理生成运动控制指令发送至运动层控制机器人执行结构操作，并通过图像处理将图像信息及对应的参数显示在人机交互界面。

8.根据权利要求1所述的粒子穿刺手术机器人导航系统，其特征在于，所述控制层还包括Oracle数据库，所述数据库存储有影像数据文件、术前配置文件、外设参数文件、分割结果文件、数据处理文件、规划路径文件及.stl文件。

9.根据权利要求1所述的粒子穿刺手术机器人导航系统，其特征在于，所述系统根据每个病例按照机器人执行状态设置有术前文件及术中文件；所述术前文件包括原始影像、术前手术路径规划、影像分割结果、变换矩阵、案例信息介绍等；术中文件包括实时影像、外设配置文件及实时参数信息存储、手术动作及习惯文件等。

10.根据权利要求1所述的粒子穿刺手术机器人导航系统，其特征在于，所述运动层包括：

运动学解析模块，用于调用各种数学函数；

坐标系转换模块，用于处理各种坐标系坐标之间的关系；

运动规划模块，用于获取机器人的轨迹规划和速度规划。

Images