CN117653337A - 具有约束边界的手术规划方法及手术机器人控制方法 - Google Patents

具有约束边界的手术规划方法及手术机器人控制方法 Download PDF

Info

Publication number
CN117653337A
CN117653337A CN202211049336.8A CN202211049336A CN117653337A CN 117653337 A CN117653337 A CN 117653337A CN 202211049336 A CN202211049336 A CN 202211049336A CN 117653337 A CN117653337 A CN 117653337A
Authority
CN
China
Prior art keywords
boundary
mechanical arm
image
constraint
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211049336.8A
Other languages
English (en)
Inventor
袁强
赵永强
张勇
卢佳豪
史洪伟
韩晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tinavi Medical Technologies Co Ltd
Original Assignee
Tinavi Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tinavi Medical Technologies Co Ltd filed Critical Tinavi Medical Technologies Co Ltd
Priority to CN202211049336.8A priority Critical patent/CN117653337A/zh
Publication of CN117653337A publication Critical patent/CN117653337A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)

Abstract

本申请提供了一种具有约束边界的手术规划方法及手术机器人控制方法。该方法包括:获取对患者术区拍摄得到的术前影像,从术前影像中选取预定数量的边界点;利用边界点生成多个切割平面,分别确定每个切割平面与术区骨结构之间作用所形成的内边界和外边界,将内边界和外边界分别离散成内边界点集和外边界点集;基于内边界点集、外边界点集以及边界点生成约束边界,将约束边界作为手术规划的边界限制。本申请可适用于不规则骨面的切骨手术规划,满足多模态影像下的手术规划需求,提高了手术规划的准确性和灵活性。

Description

具有约束边界的手术规划方法及手术机器人控制方法
技术领域
本申请涉及医疗手术机器人技术领域,尤其涉及一种具有约束边界的手术规划方法及手术机器人控制方法。
背景技术
随着现代科技和计算机技术的发展,各种计算机辅助医疗技术和设备正在医学领域中得到越来越广泛的应用。相比医生手工操作,计算机辅助手术机器人系统在准确性和舒适性等方面具有极大的优势,例如在脊柱切骨手术中引入切骨手术机器人系统,可以极大的提高手术效率和手术精度。
在基于医疗手术机器人系统的手术中,手术规划是基于图像引导手术机器人进行手术的重要步骤之一。以脊柱外科的切骨手术为例,手术规划是基于患者患处所做的切骨手术规划,由于脊柱的骨面通常是曲面,脊柱表面形状不规则,导致脊柱切骨手术的难度较大。目前已知的切骨手术规划是通过在术前三维影像中放置boxing(立体方)的方式进行手术区域的规划,通过将立体方渲染到影像中调整立方体的位置和大小实现手术区域的规划,然而这种手术规划方式无法关注脊柱的曲面变化,并且只能在三维空间内调整手术规划区域。
因此,现有的基于立方体的手术规划方式,仅适用于平面或弧度较小的骨面的手术规划,无法适用脊柱外科手术的切骨规划,仅能实现三维空间内的手术区域的规划,也无法满足基于多模态影像进行手术规划的需求,并且手术规划结果的准确性较差,手术规划操作也不够灵活。
发明内容
有鉴于此,本申请实施例提供了一种具有约束边界的手术规划方法及手术机器人控制方法,以解决现有技术存在的适用场景范围小,无法满足基于不同模态影像的手术规划需求,手术规划结果准确性差,手术规划操作不够灵活的问题。
本申请实施例的第一方面,提供了一种具有约束边界的手术规划方法,包括:获取对患者术区拍摄得到的术前影像,从术前影像中选取预定数量的边界点;利用边界点生成多个切割平面,分别确定每个切割平面与术区骨结构之间作用所形成的内边界和外边界,将内边界和外边界分别离散成内边界点集和外边界点集;基于内边界点集、外边界点集以及边界点生成约束边界,将约束边界作为手术规划的边界限制。
本申请实施例的第二方面,提供了一种手术机器人控制方法,包括:获取术前确定的手术规划结果和术前规划影像,其中手术规划结果为利用术前影像中的边界点生成切割平面,切割平面与术区骨结构作用形成内边界和外边界,将内边界和外边界分别离散成点集,利用点集与边界点所生成的约束边界;进行空间配准,确定术中影像、患者以及与机械臂末端之间的坐标转换关系,并将配准后的术中影像作为基准与术前规划影像进行融合,得到术中规划影像;当机械臂末端动力工具受到外力作用时,根据力传感器信号以及机械臂末端动力工具在约束空间内的位置,对机械臂在下一控制周期内的参数进行调整,并根据调整后的参数对机械臂在下一控制周期的位置进行调整,以使机械臂末端动力工具始终在约束空间内以柔顺位姿参数进行切骨,其中约束空间为依据术中规划影像内的约束边界所确定的空间。
本申请实施例的第三方面,提供了一种具有约束边界的手术规划装置,包括:获取模块,被配置为获取对患者术区拍摄得到的术前影像,从术前影像中选取预定数量的边界点;离散模块,被配置为利用边界点生成多个切割平面,分别确定每个切割平面与术区骨结构之间作用所形成的内边界和外边界,将内边界和外边界分别离散成内边界点集和外边界点集;生成模块,被配置为基于内边界点集、外边界点集以及边界点生成约束边界,将约束边界作为手术规划的边界限制。
本申请实施例的第四方面,提供了一种手术机器人控制装置,包括:生成离散模块,被配置为获取术前确定的手术规划结果和术前规划影像,其中手术规划结果为利用术前影像中的边界点生成切割平面,切割平面与术区骨结构作用形成内边界和外边界,将内边界和外边界分别离散成点集,利用点集与边界点所生成的约束边界;配准融合模块,被配置为进行空间配准,确定术中影像、患者以及与机械臂末端之间的坐标转换关系,将配准后的术中影像作为基准与术前规划影像进行融合,得到术中规划影像;调整控制模块,被配置为当机械臂末端动力工具受到外力作用时,根据力传感器信号以及机械臂末端动力工具在约束空间内的位置,对机械臂在下一控制周期内的参数进行调整,并根据调整后的参数对机械臂在下一控制周期的位置进行调整,以使机械臂末端动力工具始终在约束空间内以柔顺位姿参数进行切骨,其中约束空间为依据术中规划影像内的约束边界所确定的空间。
本申请实施例的第五方面,提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如第一方面实施例中的具有约束边界的手术规划方法或者实现如第二方面实施例中的手术机器人控制方法。
本申请实施例的第六方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如第一方面实施例中的具有约束边界的手术规划方法的步骤或者实现如第二方面实施例中的手术机器人控制方法的步骤。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
通过获取对患者术区拍摄得到的术前影像,从术前影像中选取预定数量的边界点;利用边界点生成多个切割平面,分别确定每个切割平面与术区骨结构之间作用所形成的内边界和外边界,将内边界和外边界分别离散成内边界点集和外边界点集;基于内边界点集、外边界点集以及边界点生成约束边界,将约束边界作为手术规划的边界限制。本申请不仅适用于弧度较小的骨面的手术规划,而且同样适用于弧度较大的骨面的手术规划场景,不仅可以在三维影像内实现手术规划和规划区域的调整,而且在二维影像内也同样适用,因此本申请极大提升了手术规划方式适用的手术场景,满足基于多模态影像下的手术规划需求,并且本申请的手术规划方式较为灵活,提高了手术规划的效率以及手术规划结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的具有约束边界的手术规划方法的流程示意图;
图2是本申请实施例提供的待执行切骨手术规划操作的脊椎3D示意图;
图3是本申请实施例基于图2所示脊椎示意图中的病灶进行边界点选取的示意图;
图4是本申请实施例提供的切割平面的生成示意图;
图5是本申请实施例提供的利用切割平面生成约束点的示意图;
图6是本申请实施例提供的手术机器人控制方法的流程示意图;
图7是本申请实施例提供的术者与手术机器人的交互控制流程示意图;
图8是本申请实施例提供的利用导纳控制器实现机械臂主动约束控制的控制流程示意图;
图9是本申请实施例提供的具有约束边界的手术规划装置的结构示意图;
图10是本申请实施例提供的手术机器人控制装置的结构示意图;
图11是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
在传统的基于术者手工操作的手术中,对于术者的经验、术中操作精度要求高,术者在长时间的手术中会产生疲劳,加上手术操作时产生的不稳定反作用力,容易造成术者的手臂颤动,从而导致手术器械抖动;并且术者也难以持续维持恒定的力和精准的切割位置,从而导致手术的准确性降低,增加手术风险。下面以脊柱外科手术为例,对现有的依赖术者手工操作的手术中存在的问题进行具体说明。
众所周知,椎管后壁、椎板、关节突和椎体等结构的切除和磨削操作是脊柱外科除钻孔之外最基本的骨组织处理操作,是神经与椎管减压、椎体肿瘤切除和脊柱侧弯矫形等脊柱外科手术的重要手术步骤。由于脊椎结构周围重要神经血管的分布,脊柱手术具有一定的高风险性,并且术者在进行磨削和切割操作中,主要徒手应用骨凿、咬骨钳和磨钻等工具,对切割深度和力度的控制基于经验和手感,另外长时间的操作可能造成手腕疲劳从而导致器械抖动,这些都会直接影响手术效果,甚至误伤重要结构。
另外,对于手术器械的使用上,高速磨钻是目前脊柱外科最常用的动力工具,切割效率高,但可能因卷刮效应等造成严重并发症。近些年,超声骨刀在脊柱外科逐渐获得应用和推广,超声骨刀在椎板切除的过程中具有较强的组织选择性,可在一定程度上减少神经及硬膜的损伤,增强了切骨安全性和有效性。但在应用中也存在诸多问题,例如包括:切割效率较低,长时间切割过程产热过多;缺乏明确参照标记容易导致切割偏移;对于病变范围广、韧带骨化严重的手术操作,存在因脊柱生理曲度变化及骨化物厚度不一导致的切割困难;徒手切割过程中对深浅及界限把握不准,可能导致硬膜撕裂、神经根或脊髓损伤,增加了手术风险,降低手术效率。
本申请实施例的动力工具包括但不限于高速动力、超声骨刀、磨钻等手术工具,在实际应用中,动力工具也称为机械臂末端工具、末端工具、切割工具、动力切割工具等。需要说明的是,手术机器人系统中所集成的动力工具的类型不构成对本申请技术方案的限定。
随着手术机器人的发展,手术机器人系统已经开始逐渐应用到脊柱外科手术中,通过使用机器人引导术者交互实现骨的切割和磨削等手术操作,不仅可以提升手术效率,而且相比手工操作的方式具有更高的精度和稳定性,因此极大增加了脊柱外科手术的安全性和手术效果。然而,在使用手术机器人系统进行手术前,首先需要基于患者的疾病和患处进行手术规划,以确定术者在使用手术机器人系统进行手术时的手术范围,因此手术规划是基于图像引导的手术导航和使用手术机器人系统开展手术的首要步骤。下面以脊柱外科手术为例,对现有的手术规划方式以及存在的问题进行详细说明。
在脊柱外科的切骨手术领域,脊柱减压手术是脊柱外科常见的切骨手术操作,但是由于脊柱表面通常是曲面形状,脊柱表面形状不规则,所以导致切骨难度较大。例如在神经结构周围的骨的磨削或切削手术操作,尤其是脊柱外科神经减压手术中,现有技术是通过基于术前拍摄的三维影像放置boxing(立体方)来进行切骨区域规划,通过将立方体渲染到三维影像中去调整立方体的位置和大小来实现切骨区域的规划,然而这种手术规划方式无法关注脊柱的曲面变化,并且只能实现三维空间内的切骨区域规划和调整。导致现有的切骨手术规划方式仅适用于平面或弧度较小的骨面的手术规划,无法适用脊柱外科手术的切骨规划,也只能实现三维空间内的手术区域的规划,无法满足多模态影像下的手术规划需求,并且手术规划结果的准确性较差,手术规划操作也不够灵活。
有鉴于此,亟需提供一种能适用于弧度较大的脊柱表面的切骨手术规划,满足基于多模态影像下的手术规划需求,规划方式灵活省力,能够提升手术规划效率以及准确性的手术规划方案,以扩大手术机器人在脊柱外科切骨方面的应用,可以实现针对不同适应症的超声骨刀切骨规划操作,从而满足脊柱减压手术中使用手术机器人系统引导术者交互实现对脊柱骨面的切割和磨削等手术操作。
需要说明的是,本申请以下实施例是以集成超声骨刀的切骨手术机器人系统的手术规划以及手术机器人的控制过程为例进行说明的。但是应当理解的是,本申请实施例提供的手术规划方法以及手术机器人控制方法,不限于切骨手术规划和机器人控制场景,也不限于脊柱外科手术场景(比如脊柱外科神经减压手术),更不限于以超声骨刀作为动力工具的手术机器人的手术场景。其他任何基于手术机器人所引导的手术操作场景以及任意术式的切骨或磨钻等场景同样适用于本方案,以下实施例的应用场景也不构成对本申请技术方案的限定。
下面以机器人辅助脊柱椎板减压手术为例,对本申请实施例涉及的切骨手术机器人系统的整体结构进行说明。
本申请实施例在实际场景中涉及的切骨手术机器人系统由以下部分组成:主控台车、主机台车和工具箱,其中,主控台车中可以包括主控电脑和双目相机,主机台车中可以包括机械臂、机头示踪器和机械臂末端工具(即动力工具),工具箱中可以包括患者示踪器。在实际应用中,主机台车的机械臂末端可以由以下硬件结构组成:机械臂末端关节、机械臂末端法兰盘、六维力传感器、动力工具和机头示踪器。本申请不对切骨手术机器人系统以及机械臂末端的具体结构进行限定,任何包含力传感器结构的手术机器人系统均适用于本申请技术方案,上述切骨手术机器人系统的结构不构成对本申请技术方案的限定。
图1是本申请实施例提供的具有约束边界的手术规划方法的流程示意图。图1的具有约束边界的手术规划方法可以由计算机设备来执行。如图1所示,该具有约束边界的手术规划方法具体可以包括:
S101,获取对患者术区拍摄得到的术前影像,从术前影像中选取预定数量的边界点;
S102,利用边界点生成多个切割平面,分别确定每个切割平面与术区骨结构之间作用所形成的内边界和外边界,将内边界和外边界分别离散成内边界点集和外边界点集;
S103,基于内边界点集、外边界点集以及边界点生成约束边界,将约束边界作为手术规划的边界限制。
具体地,本申请实施例的手术规划方法是基于术前影像(比如CT或MRI等)所做的规划,当然在实际应用中,也可以使用本方案在术中影像(比如CBCT)中进行手术规划,具体规划时所使用的影像不构成对本申请技术方案的限定。
进一步地,本申请实施例的边界点是基于患者患处在术前影像中的位置所选取的手术规划的边界点,以骨赘(骨质增生)为例,可以根据病灶在术前影像中的位置,沿骨赘的边缘选取若干个边界点作为约束边界的边界点,约束边界的作用在于使手术机器人实现不规格形状的切骨任务。
在一些实施例中,从术前影像中选取预定数量的边界点,包括:基于患者患处在术前影像中的位置,从术前影像的断层中选取预定数量的边界点;其中,断层包括术前影像上的横断面、矢状面和冠状面。
具体地,断层是指术前影像(CT或者MRI)上的横断面、矢状面和冠状面,以CT扫描患处为例,先使用CT扫描患者患处的横断面,然后再基于3D重建算法(即体素重建算法)将矢状面和冠状面重建出来。本申请实施例的边界点的选取是基于断层完成的操作,下面结合附图以及具体实施例,对边界点的选取过程进行详细说明。图2是本申请实施例提供的待执行切骨手术规划操作的脊椎3D示意图,图3是本申请实施例基于图2所示脊椎示意图中的病灶进行边界点选取的示意图;如图2-图3所示,本申请实施例所提供的边界点的选取操作可以包括以下内容:
图2所示的脊椎3D示意图中的虚线位置表示患者的病灶,通过术前CT扫描和3D重建得到断层,从患者病灶在术前影像所对应的断层中依次选取8个边界点,如图3所示,从上至下分别对应选取出的8个边界点,将这8个边界点依次命名为:头端内侧靶点、头端内侧入点、头端外侧靶点、头端外侧入点、尾端内侧靶点、尾端内侧入点、尾端外侧靶点和尾端外侧入点。在实际应用中,上述边界点可以通过相应断层上的点来进行调整,边界点的选取既可以是术者在术前影像所对应的断层上进行手动选取,也可以通过程序自动选取。
需要说明的是,由于采用8个边界点可以确定一个长方体,即使是对比较窄的骨结构进行切割,也是将其切割成一个近似长方体的结构,因此通常情形下,8个边界点所形成的长方体可以涵盖所有的切骨规划,所以本申请实施例可至少选取8个边界点来进行切骨规划。当然在实际应用中,边界点的数量并不限于8个,也可以选取更多的边界点,比如当采用五边体、六边体、圆柱体等结构的约束空间时,需要选取更多的边界点,例如关节置换中的圆锥约束也可以基于多点规划。本申请实施例不对边界点的具体数量做限定,可根据不同的切骨及手术场景选取不同数量的边界点进行手术规划。为了便于理解和描述,本申请实施例是以8点约束的手术规划场景为例进行说明的。
在一些实施例中,分别确定每个切割平面与术区骨结构之间作用所形成的内边界和外边界,包括:分别利用每个切割平面与三维影像内的术区骨结构作用形成剖面,每个剖面对应一个内边界和外边界;其中,内边界和外边界分别是位于术区骨结构上的朝向椎管和背向椎管的弧形骨边界。
具体地,在选取如图3所示的8个边界点后,系统自动生成4个切割平面,即分别对应头端切割面、尾端切割面、外侧切割面和内侧切割面,这四个切割平面可以通过调整8个边界点进行微调。在实际应用中,切割平面也可以称为切骨平面。图4是本申请实施例提供的切割平面的生成示意图,如图4所示,本申请实施例所提供的切割平面的生成过程可以包括以下内容:
图4中立方体的8个顶点分别为:HMIP(头端内侧靶点)、HMOP(头端内侧入点)、HLIP(头端外侧靶点)、HLOP(头端外侧入点)、TMIP(尾端内侧靶点)、TMOP(尾端内侧入点)、TLIP(尾端外侧靶点)、TLOP(尾端外侧入点)。分别对应四个切骨平面:由HLOP-HMOP-HMIP-HLIP形成的头端切割面,由TLOP-TMOP-TMIP-TLIP形成的尾端切割面,由HLOP-TLOP-TLIP-HLIP形成的外侧切割面,由HMOP-TMOP-TMIP-HMIP形成的内侧切割面。
进一步地,在利用8个边界点生成四个切割平面之后,每个切割平面与待切割骨表面进行切割时将产生一系列的交点,每个切割平面与骨表面的交点都将形成一条弧线,该弧线也可以称为弧形边界、边界曲线或交集线,每个切割平面与骨表面之间的交点都可以离散成外边界点和内边界点。在实际应用中,通过将每个切割平面分别与术区的3D骨结构作用形成一个剖面,该剖面在2D上可分为内边界曲线和外边界曲线,内外边界曲线对应内外骨边界(即上述实施例中的内边界和外边界),通过在内边界曲线和外边界曲线上分别进行随机均匀采样,便可离散为实际的切骨入点集群(由外边界离散点所形成的点集)和靶点集群(由内边界离散点所形成的点集)。
在一些实施例中,将内边界和外边界分别离散成内边界点集和外边界点集,包括:对每个切割平面所形成的内边界和外边界进行随机均匀采样,以便从内边界对应曲线和外边界对应曲线中采集若干个点组成点集;其中,内边界点集和外边界点集分别对应手术机器人的机械臂末端动力工具的靶点集群和入点集群。
具体地,在确定每个切割平面与骨结构作用所形成的内边界和外边界之后,分别沿内边界对应的曲线和外边界对应的曲线进行随机均匀采样,即可生成内边界点集和外边界点集,内边界点集和外边界点集共同组成了约束点。下面结合附图以及具体实施例,对内边界曲线和外边界曲线进行离散得到约束点的过程进行详细说明,图5是本申请实施例提供的利用切割平面生成约束点的示意图,如图5所示,本申请利用切割平面生成约束点的过程可以包括以下内容:
图5上侧直线虚线框表示由四个切割平面的顶点所形成的面,上侧直线虚线框中的四条边分别对应四个切割平面,下侧弧形虚线框表示四个切割平面分别与骨面切割时所形成的四条弧线组成的曲面,曲面上的点即为离散后的约束点。由于每个切割平面与骨结构作用都会形成一个内边界和外边界,因此通过对内边界曲线和外边界曲线分别进行离散,将内边界曲线对应的约束点组成内边界点集(靶点集群),将外边界曲线对应的约束点组成外边界点集(入点集群)。在实际应用中,可以通过在内边界曲线和外边界曲线上分别等距采集10个点来组成相应的点集。
进一步地,通过利用四个切割平面对骨结构进行切割形成内边界(即靠近椎管一侧的弧形边界)和外边界(即远离椎管一侧的弧形边界),再将外边界和内边界分别离散成入点集群和靶点集群,并将入点集群、靶点集群和选取的边界点共同作为对约束边界的定义,将该约束边界发送给机器人系统,使机器人能够完成不规格形状的切骨任务,通过约束边界可以实现曲面约束下的机器人切骨控制。此外需要说明的是,还可以根据实际的切骨需要在约束边界中添加特定的约束点。
在本申请实施例中,约束边界中的内边界点集和外边界点集限制了机器人控制动力工具所能突破的边界,以脊柱外科神经减压手术为例,在使用手术机器人实现神经结构周围的骨的磨削或切削操作时,由于磨削和切骨操作的目的是神经减压,也就是解除增生的骨或骨化的韧带对神经的压迫,因此通常需要控制动力工具切割或磨削到突破内层骨皮质,但是又不能使其再往下继续切割以免损伤骨皮质下面的硬膜,因此需要将切骨手术的约束边界发送给机器人,使机器人能够实现精确的切割深度控制,以避免动力工具突破边界损伤硬膜。
在一些实施例中,本申请实施例所选取的边界点的数量不少于8个,且当选取边界点的数量为8个时,利用8个边界点可自动生成4个切割平面。边界点的选取以及切割平面的生成请参照前述实施例的内容,在此不再赘述。
根据本申请实施例提供的技术方案,本申请提供了一种基于多边界点的曲面切骨规划方式,通过在术前影像对应的2D断层中选取若干个边界点,利用边界点生成多个切骨平面,每个切骨平面分别对于术区的骨结构作用形成2D下的内边界和外边界,分别对内边界所对应的曲线以及外边界所对应的曲线进行离散,得到内边界点集(靶点集群)和外边界点集(入点集群),利用内边界点集、外边界点集和边界点共同作为对约束边界的定义。本申请实现了对约束边界的精确定义,并且可以通过调整边界点对切割平面进行微调,使手术规划区域的调整更加灵活简单,提高了手术规划的效率以及规划结果的准确性,本申请实施例所提供的手术规划方式适用于所有类型的切骨规划,包括但不限于椎板切除、椎板成形术、椎板开窗术、椎体切除术以及骨肿瘤切除等。
以上实施例对本申请所提供的手术规划方法做了具体说明,另外,在上述手术规划方法的基础上,本申请实施例还提供了一种手术机器人控制方法,下面结合具体实施例对手术机器人控制方法的具体内容进行说明。图6是本申请实施例提供的手术机器人控制方法的流程示意图。图6的手术机器人控制方法可以由手术机器人系统执行。如图6所示,该手术机器人控制方法具体可以包括:
S601,获取术前确定的手术规划结果和术前规划影像,其中手术规划结果为利用术前影像中的边界点生成切割平面,切割平面与术区骨结构作用形成内边界和外边界,将内边界和外边界分别离散成点集,利用点集与边界点所生成的约束边界;
S602,将手术机器人进行空间配准,以便确定术中影像、患者以及机械臂末端之间的坐标转换关系,将配准后的术中影像作为基准与术前规划影像进行融合,得到术中规划影像;
S603,当机械臂末端动力工具受到外力作用时,根据力传感器信号以及机械臂末端动力工具在约束空间内的位置,对机械臂在下一控制周期内的参数进行调整,并根据调整后的参数对机械臂在下一控制周期的位置进行调整,以使机械臂末端动力工具始终在约束空间内以柔顺位姿参数进行切骨,其中约束空间为依据术中规划影像内的约束边界所确定的空间。
具体地,本申请实施例的手术机器人控制方法主要包括三个方面的内容,第一方面是手术规划,第二方面是机器人的空间配准以及图像融合,第三方面是机器人交互控制的相关内容(即人机协同控制过程)。其中,第一方面内容已在前面的实施例中做了详细描述,因此以下实施例中不再重复介绍,以下实施例主要是针对第二方面及第三方面的相关内容的介绍,尤其是人机协同控制原理及过程的描述。
进一步地,本申请实施例所提供的手术规划方法具体包括以下内容:
在一些实施例中,利用术前影像中的边界点生成切割平面,切割平面与术区骨结构作用形成内边界和外边界,包括:基于患者患处在术前影像中的位置,从术前影像的断层中选取预定数量的边界点;利用边界点生成多个切割平面,分别利用每个切割平面与三维影像内的术区骨结构作用形成剖面,每个剖面在二维影像中对应至少一个内边界和外边界;其中,断层包括术前影像上的横断面、矢状面和冠状面,内边界和外边界分别是位于术区骨结构上的朝向椎管和背向椎管的弧形骨边界。
具体地,手术规划中基于2D断层的边界点选取,切割平面以及内外边界的生成已在前述实施例中做了具体介绍,在此不再赘述。
在一些实施例中,将内边界和外边界分别离散成点集,利用点集与边界点所生成的约束边界,包括:对每个切割平面所形成的内边界和外边界进行随机均匀采样,以便从内边界对应曲线和外边界对应曲线中分别采集若干个点组成内边界点集和外边界点集,并基于内边界点集、外边界点集以及边界点生成约束边界;其中,内边界点集和外边界点集分别对应手术机器人的机械臂末端动力工具的靶点集群和入点集群。
具体地,手术规划中对内外边界进行均匀采样生成离散点(约束点)所对应的内外边界点集以及如何基于内外边界点集和边界点定义约束边界的操作参见前述实施例的内容,在此不再赘述。
基于前述实施例所提供的手术规划方法,下面结合具体实施例对机器人的空间配准、图像融合以及机器人交互控制的相关内容进行详细介绍。
在一些实施例中,进行空间配准,确定术中影像、患者以及与机械臂末端之间的坐标转换关系,包括:利用影像设备对安装在机械臂末端的标尺板进行扫描,得到标尺板上的标记物在术中影像内的坐标,并获取标记物在机械臂末端坐标系下的坐标;依据标记物在术中影像内的坐标以及标记物在机械臂末端坐标系下的坐标,建立术中影像坐标系与机械臂末端坐标系之间的第一转换矩阵;基于第一转换矩阵以及机械臂末端坐标系与患者坐标系之间的第二转换矩阵,建立术中影像坐标系与患者坐标系之间的第三转换矩阵,将第一转换矩阵、第二转换矩阵和第三转换矩阵作为空间配准的结果。
具体地,在术中使用手术机器人系统进行切骨手术时,首先对手术机器人进行空间配准,以建立手术机器人的物理空间、患者空间以及影像空间三者之间的坐标转换关系,在现实应用中,由于患者空间是通过影像空间进行定位的,患者空间与影像空间之间具有对应关系,因此手术机器人的空间配准也可以理解为建立手术机器人的物理空间与影像空间之间的坐标转换关系,也就是建立术中影像坐标系与机械臂末端坐标系之间的转换矩阵。
进一步地,本申请实施例所采用的空间配准方式为点对配准,即利用影像设备扫描安装在机械臂末端示踪器上的标尺板,通过标尺板上的标记物(比如钢珠)在术中影像内的成像位置实现配准。但是,本申请在实际应用中不限于点对配准方式,其他能够实现空间配准的方式同样适用于本申请,例如CBCT-CT融合配准以及基于结构光的CT点云配准等;其中,CBCT-CT融合配准也可以认为是一种点对配准的方式,CBCT-CT融合是通过ICP算法进行自动融合,并可进行手动调节。基于结构光的CT点云配准是通过结构光扫描设备扫描椎体后方的表面结构生成点云,然后基于ICP算法进行点云匹配,该配准方式适用于可基于术前CT规划的开放手术。
在本申请实施例中,本申请所采用的点对配准方法可以包括以下步骤内容:
第一步,将标尺板刚性固接在机械臂末端示踪器上,标尺板上设有多个标记物,在术中利用影像设备(比如C臂)对标尺板进行3D扫描得到术中实时影像,确定每个标记物在术中实时影像(比如CBCT实时影像)中的坐标;
第二步,由于标尺板上的标记物相对机械臂末端的坐标已知,通过将标记物在术中实时影像中的坐标与标记物相对机械臂末端的坐标进行映射,从而实现点到点的映射,基于标记物的坐标映射关系即可建立影像坐标系与机械臂末端坐标系之间的第一转换矩阵,从而实现机器人物理空间与C臂影像空间之间的配准;
第三步,在建立第一转换矩阵之后,由于患者物理空间与机器人所在的物理空间相同,因此便可以确定标记物在患者坐标系下的坐标,由于在建立第一转换矩阵时就已经确定标记物在术中实时影像中的坐标,因此,基于以上坐标可以直接建立患者坐标系与术中影像坐标系之间的第二转换矩阵;
第四步,在确定第一转换矩阵和第二转换矩阵之后,经过齐次变换矩阵,可以直接获得机械臂末端坐标系与患者坐标系之间的第三转换矩阵,最后,将第一转换矩阵、第二转换矩阵和第三转换矩阵共同作为空间配准的结果。
在一些实施例中,将配准后的术中影像作为基准与术前规划影像进行融合,得到术中规划影像,包括:将配准后的术中影像作为基准,利用预设的骨性标记点将术前规划影像叠加到配准后的术中影像中,以便将术前的手术规划结果映射到术中影像,得到术中规划影像。
具体地,在实现机器人的空间配准之后,由于术中CBCT影像的空间分辨率较低,无法满足精细切骨规划需求,故需要基于术前规划影像(即术前CT规划影像),将术前规划影像与术中CBCT影像融合,以便将术前规划影像中的约束边界映射到术中CBCT影像中去。
进一步地,在进行图像融合操作时,以术中配准好的CBCT影像作为背景(基准),将术前规划影像作为浮动(移动影像),根据影像中的骨性标记点的位置,将术前规划影像移动到术中CBCT影像中,使术前规划影像与术中CBCT影像重叠在一起,实现术前规划影像与术中CBCT影像之间的融合,以便将术前的手术规划结果映射到术中CBCT影像(即将截骨的范围映射到CBCT中),获得术中规划影像。需要说明的是,骨性标记点可以认为是预先在骨头表面标记的一些特征点,当术前规划影像中的特征点与术中CBCT影像中的特征点的位置重合之后,就可以实现两幅图像之间的融合。
本申请实施例所提供的手术机器人控制方法的最后一个阶段是机器人交互控制,本申请实施例的机器人交互控制方式采用基于导纳控制的机械臂主动约束安全控制策略来实现,该策略基于机械臂的运动学及动力学模型,通过主动柔顺控制技术以及机械臂运动学实时对机械臂的位姿进行控制。
在对基于导纳控制的机械臂主动约束控制的实现原理及方式进行介绍之前,首先将本申请实施例提供的术者与手术机器人之间的交互控制流程进行详细说明。图7是本申请实施例提供的术者与手术机器人的交互控制流程示意图。如图7所示,该术者与手术机器人的交互控制过程可以包括以下内容:
动力工具的安装及标定;六维力传感器参数辨识、外力实时补偿;机械臂末端负载校正;获取术中规划生成约束区域;机械臂初始自动定位;基于主动柔顺控制的人机交互;判断机械臂位姿是否偏离;判断动力工具是否进入约束区域;控制使能动力系统或失能动力系统运行;判断动力工具尖端是否超出约束边界;动力系统信息回传、动力工具位置可视化显示;最后判断是否完成截骨操作。
其中,动力工具的标定包括将动力工具安装在机械臂末端之后,利用手术机器人导航系统对机械臂末端动力工具的动力关系和动力工具尖端的位置进行标定。
在实际应用中,基于主动柔顺控制的人机交互采用基于导纳控制的机械臂主动约束安全控制策略来实现,关于基于导纳控制的机械臂主动约束安全控制策略的内容请参见下文中的实施例。
进一步地,在机械臂的主动约束控制过程中,判断机械臂的位姿是否偏离(以动力工具尖端是否偏离约束区域的轨迹判断机械臂的位姿是否发生偏离),当机械臂的位姿发生偏离时,通过约束区域跟踪,对机械臂的位姿进行调整,使调整位姿后的机械臂带动动力工具尖端回到正确的轨迹;当判断机械臂的位姿没有发生偏离时,即动力工具尖端沿着约束区域的轨迹运动时,则进一步判断动力工具尖端是否已经进入约束区域内。
进一步地,当判断动力工具尖端进入约束区域后,利用使能动力系统控制动力工具进行切割或磨削,当动力工具尖端还未进入约束区域时,利用失能动力系统关闭动力工具,使动力工具暂时停止工作。
进一步地,在使用机械臂控制动力工具沿着约束区域进行切割或磨削时,实时判断动力工具尖端是否超出约束边界(即前述实施例中利用8点约束生成的约束边界),当判断动力工具尖端超出约束边界时,利用失能动力系统关闭动力工具,并重新调整机械臂的位姿,使调整位姿后的机械臂带动动力工具尖端回到约束边界的位置,恢复动力系统的输出,使机械臂尖端继续沿约束区域进行切割或磨削。
进一步地,将动力系统信息进行回传,主控设备根据动力系统信息将动力工具的位置进行可视化显示,其中,动力系统信息中包括动力工具的状态信息。
基于以上实施例提供的术者与手术机器人的交互控制过程,下面结合具体实施例对基于导纳控制的机器人交互控制的原理及方法进行具体说明。
在一些实施例中,根据力传感器信号以及机械臂末端动力工具在约束空间内的位置,对机械臂在下一控制周期内的参数进行调整,包括:当机械臂末端动力工具受到外力时,获取六维力传感器产生的力传感器信号,依据机械臂末端动力工具当前在约束空间内的位置,利用将机械臂建模形成的二阶弹簧阻尼模型对机械臂在下一控制周期内的惯性特性、阻尼特性和刚度特性中的至少一个参数进行调整;其中,力传感器信号中包含机械臂末端动力工具在受到外力时所产生的外力和外力矩。
具体地,本申请的主动约束控制算法可以集成在主控设备的导纳控制器中,这里的导纳控制器也可以认为是一个虚拟控制模块。下面结合附图对利用导纳控制器实现机械臂主动约束控制的原理及过程进行说明。图8是本申请实施例提供的利用导纳控制器实现机械臂主动约束控制的控制流程示意图。如图8所示,该利用导纳控制器实现机械臂主动约束控制的过程可以包括以下内容:
将机械臂末端动力工具被拖动时产生的力传感器信号发送给导纳控制器,并且机械臂通过位置传感器将机械臂末端动力工具在约束空间内的实时位置发送给导纳控制器。导纳控制器依据获取到的外力、外力矩以及动力工具的位置信息,利用二阶弹簧阻尼模型对机械臂在下一控制周期内的惯性特性M、阻尼特性B和刚度特性K中的至少一个参数进行调整,通过调整机械臂的上述参数,可以实现机械臂的柔顺控制和刚性控制。例如:当机械臂末端动力工具处于约束空间内的,可以降低机械臂的阻尼特性B和刚度特性K,使机械臂保持较大的自由度,从而最大程度的保证机械臂在约束空间内拖动的柔顺性,而当机械臂末端动力工具处于约束空间的边缘时,可以提高机械臂的阻尼特性B和刚度特性K,并降低机械臂的惯性特性M,从而使机械臂保持足够的“刚性”支撑,避免动力工具继续向下切割。
在一些实施例中,将二阶弹簧阻尼模型表示为:
其中,Fe表示机械臂所受的外力,Te表示外力矩,M表示机械臂的惯性特性,B表示机械臂的阻尼特性,K表示机械臂的刚度特性,表示机械臂末端动力工具的笛卡尔加速度,/>表示机械臂末端动力工具的速度,x表示机械臂末端动力工具的位移,J表示机械臂的转动惯量,/>表示机械臂末端的笛卡尔角加速度,/>表示机械臂末端的角速度,θ表示机械臂末端的角位移。
具体地,在手术过程中,当术者拖动机械臂末端动力工具移动时,安装在机械臂末端的六维力传感器会产生相应的力信号(即力传感器信号),力信号中包含机械臂末端动力工具所受到的外力以及由此产生的外力矩。本申请实施例通过将机械臂建模为一个二阶弹簧阻尼模型,利用基于导纳控制的主动约束控制算法实现机械臂的位姿控制,从而保证动力工具在约束空间内时保持“柔顺”控制,在动力工具处于约束空间的边缘时或可能超出约束空间时,保持“刚性”控制。下面基于以上二阶弹簧阻尼模型对机械臂主动约束控制的实现过程进行详细说明。
在一些实施例中,根据调整后的参数对机械臂在下一控制周期的位置进行调整,包括:依据调整后的参数,利用二阶弹簧阻尼模型求解机械臂末端动力工具在下一控制周期对应的期望位置或者位置变化量;将期望位置或者位置变化量发送给机械臂控制器,机械臂控制器依据期望位置或者位置变化量调整机械臂的位姿,以使调整位姿后的机械臂自动引导机械臂末端动力工具移动或者固定在期望位置。
具体地,在对机械臂在下一控制周期内的参数(惯性特性、阻尼特性和/或刚度特性)调整之后,基于调整后的参数,利用二阶弹簧阻尼模型求解机械臂末端动力工具在下一控制周期对应的期望位置或者位置变化量,即利用调整后的惯性特性M、阻尼特性B和/或刚度特性K,重新利用上述二阶弹簧阻尼模型依次求解x、和/>其中,/>表示x的一阶导数,/>表示x的二阶导数,重新计算得到机械臂末端动力的速度、加速度以及位移之后,便可以确定机械臂末端动力工具在下一控制周期对应的期望位置或者位置变化量。
进一步地,将计算得到的期望位置或者位置变化量发送给机械臂控制器,机械臂控制器根据机械臂末端动力工具在下一控制周期所要达到的期望位置或者所要移动的位置变化量,自动调整机械臂的位置和姿态,使机械臂按照调整后的位置和姿态自动引导机械臂末端动力工具移动到期望位置,当机械臂末端动力工具在下一控制周期对应的期望位置与前一控制周期对应的位置相同时,则机械臂将动力工具固定在期望位置,以保证机械臂末端动力工具在手术过程中始终处于约束空间内。
本申请实施例基于导纳控制的机械臂主动约束控制策略,能够保证机械臂末端动力工具处于约束空间内时,在保证机械臂运行稳定性、精准性的同时,给予机械臂足够的自由度,从而最大程度的保证机械臂在约束空间内拖动的柔顺性;当机械臂末端动力工具到达一定的约束深度时(比如处于约束空间的边缘时),则通过调整机械臂的参数,给予机械臂足够的刚性,确保手术工具(即动力工具)不会与手术周围的临界区域发生接触和碰撞。通过本申请实施例实现了又柔顺又刚的人机协同控制操作,从而提高手术工具在不同约束区域切换的流畅性,提升手术的安全与操作体验。
本申请实施例通过在术中响应医生所施加在机械臂末端的外力进行柔顺控制,同时本申请实施例实时监控机械臂末端动力工具的位置,基于机械臂末端动力工具在约束空间内的位置,利用导纳控制器对参数进行调整,以保证机械臂在手术过程中的安全性、稳定性、柔顺性,最大程度提升医生的操作体验;而且当机械臂末端动力工具处于约束空间的边界时,导纳控制器将保证机械臂具有足够的稳定性、刚性,确保机械臂末端动力工具不会超出安全区,保证手术安全、稳定的进行。
根据本申请实施例提供技术方案,本申请实施例至少具有以下优点:
1)本申请基于8个边界点和离散点的约束方式为不规则约束,能够实现骨表面为曲面或弧形表面的截骨手术的手术规划,规划区域的调整灵活简单,便于术者在2D断层上明确切骨边界,提升了手术规划方式的应用场景和范围。
2)本申请基于边界点和自定义采样点的主动约束定义和实时控制方法适用于多种规则和不规则的切骨边界方式,包括圆柱、圆锥、矩形和曲线等边界轮廓。由于可自定义约束采样点,在保证安全的同时,也可减少计算资源,以及保障实时约束的可靠性。
3)本申请利用机器人的高精度和超声骨刀“吃硬不吃软”的优势,利用基于导纳控制和二阶弹簧阻尼模型的主动约束控制算法,在约束空间内的上空间给予足够的自由度,在手术工具到达一定的约束深度时,又可以给予足够的刚性支撑避免其往下继续切割,达到又柔顺又刚的人机协同控制;将高风险的切骨手术变得更加安全,尤其在脊柱外科领域具有很好的应用前景。另外,本申请的系统架构基于多模态影像以及灵活的多种术中配准方式(包括点对配准等),使整体机器人辅助手术过程变得更可靠。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图9是本申请实施例提供的具有约束边界的手术规划装置的结构示意图。如图9所示,该具有约束边界的手术规划装置包括:
获取模块901,被配置为获取对患者术区拍摄得到的术前影像,从术前影像中选取预定数量的边界点;
离散模块902,被配置为利用边界点生成多个切割平面,分别确定每个切割平面与术区骨结构之间作用所形成的内边界和外边界,将内边界和外边界分别离散成内边界点集和外边界点集;
生成模块903,被配置为基于内边界点集、外边界点集以及边界点生成约束边界,将约束边界作为手术规划的边界限制。
在一些实施例中,图9的获取模块901基于患者患处在术前影像中的位置,从术前影像的断层中选取预定数量的边界点;其中,断层包括术前影像上的横断面、矢状面和冠状面。
在一些实施例中,图9的离散模块902分别利用每个切割平面与三维影像内的术区骨结构作用形成剖面,每个剖面对应一个内边界和外边界;其中,内边界和外边界分别是位于术区骨结构上朝向椎管和背向椎管的弧形骨边界。
在一些实施例中,图9的离散模块902对每个切割平面所形成的内边界和外边界进行随机均匀采样,以便从内边界对应曲线和外边界对应曲线中采集若干个点组成点集;其中,内边界点集和外边界点集分别对应手术机器人的机械臂末端动力工具的靶点集群和入点集群。
图10是本申请实施例提供的手术机器人控制装置的结构示意图。如图10所示,该手术机器人控制装置包括:
生成离散模块1001,被配置为获取术前确定的手术规划结果和术前规划影像,其中手术规划结果为利用术前影像中的边界点生成切割平面,切割平面与术区骨结构作用形成内边界和外边界,将内边界和外边界分别离散成点集,利用点集与边界点所生成的约束边界;
配准融合模块1002,被配置为进行空间配准,确定术中影像、患者以及机械臂末端之间的坐标转换关系,并将配准后的术中影像作为基准与术前规划影像进行融合,得到术中规划影像;
调整控制模块1003,被配置为当机械臂末端动力工具受到外力作用时,根据力传感器信号以及机械臂末端动力工具在约束空间内的位置,对机械臂在下一控制周期内的参数进行调整,并根据调整后的参数对机械臂在下一控制周期的位置进行调整,以使机械臂末端动力工具始终在约束空间内以柔顺位姿参数进行切骨,其中约束空间为依据术中规划影像内的约束边界所确定的空间。
在一些实施例中,图10的生成离散模块1001基于患者患处在术前影像中的位置,从术前影像的断层中选取预定数量的边界点;利用边界点生成多个切割平面,分别利用每个切割平面与三维影像内的术区骨结构作用形成剖面,每个剖面对应一个内边界和外边界;其中,断层包括术前影像上的横断面、矢状面和冠状面,内边界和外边界分别是位于术区骨结构上的朝向椎管和背向椎管的弧形骨边界。
在一些实施例中,图10的生成离散模块1001对每个切割平面所形成的内边界和外边界进行随机均匀采样,以便从内边界对应曲线和外边界对应曲线中分别采集若干个点组成内边界点集和外边界点集,并基于内边界点集、外边界点集以及边界点生成约束边界;其中,内边界点集和外边界点集分别对应手术机器人的机械臂末端动力工具的靶点集群和入点集群。
在一些实施例中,图10的配准融合模块1002利用影像设备对安装在机械臂末端的标尺板进行扫描,得到标尺板上的标记物在术中影像内的坐标,并获取标记物在机械臂末端坐标系下的坐标;依据标记物在术中影像内的坐标以及标记物在机械臂末端坐标系下的坐标,建立术中影像坐标系与机械臂末端坐标系之间的第一转换矩阵;基于第一转换矩阵以及机械臂末端坐标系与患者坐标系之间的第二转换矩阵,建立术中影像坐标系与患者坐标系之间的第三转换矩阵,将第一转换矩阵、第二转换矩阵和第三转换矩阵作为空间配准的结果。
在一些实施例中,图10的配准融合模块1002将配准后的术中影像作为基准,利用预设的骨性标记点将术前规划影像叠加到配准后的术中影像中,以便将术前的手术规划结果映射到术中影像,得到术中规划影像。
在一些实施例中,图10的调整控制模块1003当机械臂末端动力工具受到外力时,获取六维力传感器产生的力传感器信号,依据机械臂末端动力工具当前在约束空间内的位置,利用将机械臂建模形成的二阶弹簧阻尼模型对机械臂在下一控制周期内的惯性特性、阻尼特性和刚度特性中的至少一个参数进行调整;其中,力传感器信号中包含机械臂末端动力工具在受到外力时所产生的外力和外力矩。
在一些实施例中,图10的调整控制模块1003将二阶弹簧阻尼模型表示为:
其中,Fe表示机械臂所受的外力,Te表示外力矩,M表示机械臂的惯性特性,B表示机械臂的阻尼特性,K表示机械臂的刚度特性,表示机械臂末端动力工具的笛卡尔加速度,/>表示机械臂末端动力工具的速度,x表示机械臂末端动力工具的位移,J表示机械臂的转动惯量,/>表示机械臂末端的笛卡尔角加速度,/>表示机械臂末端的角速度,θ表示机械臂末端的角位移。
在一些实施例中,图10的调整控制模块1003依据调整后的参数,利用二阶弹簧阻尼模型求解机械臂末端动力工具在下一控制周期对应的期望位置或者位置变化量;将期望位置或者位置变化量发送给机械臂控制器,机械臂控制器依据期望位置或者位置变化量调整机械臂的位姿,以使调整位姿后的机械臂自动引导机械臂末端动力工具移动或者固定在期望位置。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图11是本申请实施例提供的电子设备11的结构示意图。如图11所示,该实施例的电子设备11包括:处理器1101、存储器1102以及存储在该存储器1102中并且可以在处理器1101上运行的计算机程序1103。处理器1101执行计算机程序1103时实现上述各个方法实施例中的步骤。或者,处理器1101执行计算机程序1103时实现上述各装置实施例中各模块/单元的功能。
示例性地,计算机程序1103可以被分割成一个或多个模块/单元,一个或多个模块/单元被存储在存储器1102中,并由处理器1101执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序1103在电子设备11中的执行过程。
电子设备11可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备11可以包括但不仅限于处理器1101和存储器1102。本领域技术人员可以理解,图11仅仅是电子设备11的示例,并不构成对电子设备11的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如,电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器1101可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1102可以是电子设备11的内部存储单元,例如,电子设备11的硬盘或内存。存储器1102也可以是电子设备11的外部存储设备,例如,电子设备11上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。进一步地,存储器1102还可以既包括电子设备11的内部存储单元也包括外部存储设备。存储器1102用于存储计算机程序以及电子设备所需的其它程序和数据。存储器1102还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (17)

1.一种具有约束边界的手术规划方法,其特征在于,包括:
获取对患者术区拍摄得到的术前影像,从所述术前影像中选取预定数量的边界点;
利用所述边界点生成多个切割平面,分别确定每个所述切割平面与术区骨结构之间作用所形成的内边界和外边界,将所述内边界和所述外边界分别离散成内边界点集和外边界点集;
基于所述内边界点集、所述外边界点集以及所述边界点生成约束边界,将所述约束边界作为手术规划的边界限制。
2.根据权利要求1所述的方法,其特征在于,所述从所述术前影像中选取预定数量的边界点,包括:
基于患者患处在所述术前影像中的位置,从所述术前影像的断层中选取预定数量的边界点;
其中,所述断层包括所述术前影像上的横断面、矢状面和冠状面。
3.根据权利要求1所述的方法,其特征在于,所述分别确定每个所述切割平面与术区骨结构之间作用所形成的内边界和外边界,包括:
分别利用每个所述切割平面与三维影像内的术区骨结构作用形成剖面,每个所述剖面对应一个内边界和外边界;
其中,所述内边界和所述外边界分别是位于所述术区骨结构上朝向椎管和背向椎管的弧形骨边界。
4.根据权利要求3所述的方法,其特征在于,所述将所述内边界和所述外边界分别离散成内边界点集和外边界点集,包括:
对每个所述切割平面所形成的内边界和外边界进行随机均匀采样,以便从所述内边界对应曲线和所述外边界对应曲线中采集若干个点组成点集;
其中,所述内边界点集和所述外边界点集分别对应手术机器人的机械臂末端动力工具的靶点集群和入点集群。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述边界点的数量不少于8个,且当所述边界点的数量为8个时,利用所述边界点自动生成4个切割平面。
6.一种手术机器人控制方法,其特征在于,包括:
获取术前确定的手术规划结果和术前规划影像,其中所述手术规划结果为利用术前影像中的边界点生成切割平面,所述切割平面与术区骨结构作用形成内边界和外边界,将所述内边界和外边界分别离散成点集,利用点集与边界点所生成的约束边界;
进行空间配准,确定术中影像、患者以及机械臂末端之间的坐标转换关系,并将配准后的术中影像作为基准与所述术前规划影像进行融合,得到术中规划影像;
当机械臂末端动力工具受到外力作用时,根据力传感器信号以及机械臂末端动力工具在约束空间内的位置,对机械臂在下一控制周期内的参数进行调整,并根据调整后的参数对机械臂在下一控制周期的位置进行调整,以使机械臂末端动力工具始终在所述约束空间内以柔顺位姿参数进行切骨,其中所述约束空间为依据所述术中规划影像内的约束边界所确定的空间。
7.根据权利要求6所述的方法,其特征在于,所述利用术前影像中的边界点生成切割平面,所述切割平面与术区骨结构作用形成内边界和外边界,包括:
基于患者患处在所述术前影像中的位置,从所述术前影像的断层中选取预定数量的边界点;
利用所述边界点生成多个切割平面,分别利用每个所述切割平面与三维影像内的术区骨结构作用形成剖面,每个所述剖面对应一个内边界和外边界;
其中,所述断层包括所述术前影像上的横断面、矢状面和冠状面,所述内边界和所述外边界分别是位于所述术区骨结构上的朝向椎管和背向椎管的弧形骨边界。
8.根据权利要求7所述的方法,其特征在于,所述将所述内边界和外边界分别离散成点集,利用点集与边界点所生成的约束边界,包括:
对每个所述切割平面所形成的内边界和外边界进行随机均匀采样,以便从所述内边界对应曲线和所述外边界对应曲线中分别采集若干个点组成内边界点集和外边界点集,并基于所述内边界点集、所述外边界点集以及所述边界点生成所述约束边界;
其中,所述内边界点集和所述外边界点集分别对应手术机器人的机械臂末端动力工具的靶点集群和入点集群。
9.根据权利要求6所述的方法,其特征在于,所述进行空间配准,确定术中影像、患者以及机械臂末端之间的坐标转换关系,包括:
利用影像设备对安装在机械臂末端的标尺板进行扫描,得到所述标尺板上的标记物在术中影像内的坐标,并获取所述标记物在机械臂末端坐标系下的坐标;
依据所述标记物在术中影像内的坐标以及所述标记物在机械臂末端坐标系下的坐标,建立术中影像坐标系与机械臂末端坐标系之间的第一转换矩阵;
基于所述第一转换矩阵以及所述机械臂末端坐标系与患者坐标系之间的第二转换矩阵,建立术中影像坐标系与患者坐标系之间的第三转换矩阵,将所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵作为空间配准的结果。
10.根据权利要求6所述的方法,其特征在于,所述将配准后的术中影像作为基准与所述术前规划影像进行融合,得到术中规划影像,包括:
将配准后的术中影像作为基准,利用预设的骨性标记点将所述术前规划影像叠加到配准后的术中影像中,以便将术前的手术规划结果映射到术中影像,得到所述术中规划影像。
11.根据权利要求6所述的方法,其特征在于,所述根据力传感器信号以及机械臂末端动力工具在约束空间内的位置,对机械臂在下一控制周期内的参数进行调整,包括:
当所述机械臂末端动力工具受到外力时,获取六维力传感器产生的力传感器信号,依据所述机械臂末端动力工具当前在约束空间内的位置,利用将机械臂建模形成的二阶弹簧阻尼模型对机械臂在下一控制周期内的惯性特性、阻尼特性和刚度特性中的至少一个参数进行调整;其中,所述力传感器信号中包含所述机械臂末端动力工具在受到外力时所产生的外力和外力矩。
12.根据权利要求11所述的方法,其特征在于,所述二阶弹簧阻尼模型表示为:
其中,Fe表示机械臂所受的外力,Te表示外力矩,M表示机械臂的惯性特性,B表示机械臂的阻尼特性,K表示机械臂的刚度特性,表示机械臂末端动力工具的笛卡尔加速度,/>表示机械臂末端动力工具的速度,x表示机械臂末端动力工具的位移,J表示机械臂的转动惯量,表示机械臂末端的笛卡尔角加速度,/>表示机械臂末端的角速度,θ表示机械臂末端的角位移。
13.根据权利要求11所述的方法,其特征在于,所述根据调整后的参数对机械臂在下一控制周期的位置进行调整,包括:
依据调整后的参数,利用所述二阶弹簧阻尼模型求解机械臂末端动力工具在下一控制周期对应的期望位置或者位置变化量;
将所述期望位置或者位置变化量发送给机械臂控制器,所述机械臂控制器依据所述期望位置或者位置变化量调整机械臂的位姿,以使调整位姿后的机械臂自动引导所述机械臂末端动力工具移动或者固定在所述期望位置。
14.一种具有约束边界的手术规划装置,其特征在于,包括:
获取模块,被配置为获取对患者术区拍摄得到的术前影像,从所述术前影像中选取预定数量的边界点;
离散模块,被配置为利用所述边界点生成多个切割平面,分别确定每个所述切割平面与术区骨结构之间作用所形成的内边界和外边界,将所述内边界和所述外边界分别离散成内边界点集和外边界点集;
生成模块,被配置为基于所述内边界点集、所述外边界点集以及所述边界点生成约束边界,将所述约束边界作为手术规划的边界限制。
15.一种手术机器人控制装置,其特征在于,包括:
生成离散模块,被配置为获取术前确定的手术规划结果和术前规划影像,其中所述手术规划结果为利用术前影像中的边界点生成切割平面,所述切割平面与术区骨结构作用形成内边界和外边界,将所述内边界和外边界分别离散成点集,利用点集与边界点所生成的约束边界;
配准融合模块,被配置为进行空间配准,确定术中影像、患者以及机械臂末端之间的坐标转换关系,将配准后的术中影像作为基准与所述术前规划影像进行融合,得到术中规划影像;
调整控制模块,被配置为当机械臂末端动力工具受到外力作用时,根据力传感器信号以及机械臂末端动力工具在约束空间内的位置,对机械臂在下一控制周期内的参数进行调整,并根据调整后的参数对机械臂在下一控制周期的位置进行调整,以使机械臂末端动力工具始终在所述约束空间内以柔顺位姿参数进行切骨,其中所述约束空间为依据所述术中规划影像内的约束边界所确定的空间。
16.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至5中任一项所述的方法或权利要求6至13中任一项所述的方法。
17.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法或如权利要求6至13中任一项所述的方法。
CN202211049336.8A 2022-08-30 2022-08-30 具有约束边界的手术规划方法及手术机器人控制方法 Pending CN117653337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211049336.8A CN117653337A (zh) 2022-08-30 2022-08-30 具有约束边界的手术规划方法及手术机器人控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211049336.8A CN117653337A (zh) 2022-08-30 2022-08-30 具有约束边界的手术规划方法及手术机器人控制方法

Publications (1)

Publication Number Publication Date
CN117653337A true CN117653337A (zh) 2024-03-08

Family

ID=90071885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211049336.8A Pending CN117653337A (zh) 2022-08-30 2022-08-30 具有约束边界的手术规划方法及手术机器人控制方法

Country Status (1)

Country Link
CN (1) CN117653337A (zh)

Similar Documents

Publication Publication Date Title
CN112641510B (zh) 关节置换手术机器人导航定位系统及方法
US11857270B2 (en) Systems and methods for a robotic-assisted revision procedure
US11202681B2 (en) Robotic system and method for spinal and other surgeries
CN110876643B (zh) 医疗手术导航系统及方法
US11259872B2 (en) Intraoperative adjustment of a pre-operatively planned implant cavity to improve implant fit
US7167738B2 (en) Method for navigating in the interior of the body using three-dimensionally visualized structures
US8888782B2 (en) Robotic guided femoral head reshaping
JP2022009724A (ja) カスタマイズされた触覚境界線を生成するためのシステムおよび方法
CN112155732B (zh) 可读存储介质、骨建模配准系统及骨科手术系统
US20010037064A1 (en) Method and apparatuses for maintaining a trajectory in sterotaxi for tracking a target inside a body
US11154369B2 (en) Environmental mapping for robotic assisted surgery
WO2018175172A1 (en) Two degree of freedom system and method for spinal applications
KR20160010422A (ko) 크리티컬 리전을 가지는 수술 과정을 모니터링하기 위한 시스템 및 방법
CN104688341B (zh) 一种基于微间隙定位的脊柱数字化手术装置
US20230165649A1 (en) A collaborative surgical robotic platform for autonomous task execution
US11291427B2 (en) Acoustic analyzation of bone quality during orthopedic surgery
US20220071720A1 (en) System and method for interaction and definition of tool pathways for a robotic cutting tool
CN113876429B (zh) 脊柱手术机器人的路径规划系统及机器人系统
CN117064557B (zh) 用于骨科手术的手术机器人
EP3920804B1 (en) Method and system for projecting an incision marker onto a patient
CN117653337A (zh) 具有约束边界的手术规划方法及手术机器人控制方法
Korff et al. Concept and evaluation of a synergistic controlled robotic instrument for trepanation in neurosurgery
KR20230010216A (ko) 로봇 절제 동안 측정으로 안내되는 재처리
CN114224508A (zh) 医学图像处理方法、系统、计算机设备和存储介质
US20230190378A1 (en) Robotic Systems, Methods And Software Programs For Modifying Tool Operation Based On Tissue Parameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination