CN114917029A - 一种介入手术机器人系统、控制方法和介质 - Google Patents

一种介入手术机器人系统、控制方法和介质 Download PDF

Info

Publication number
CN114917029A
CN114917029A CN202210859807.5A CN202210859807A CN114917029A CN 114917029 A CN114917029 A CN 114917029A CN 202210859807 A CN202210859807 A CN 202210859807A CN 114917029 A CN114917029 A CN 114917029A
Authority
CN
China
Prior art keywords
medical intervention
intervention device
instruction
planned path
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210859807.5A
Other languages
English (en)
Other versions
CN114917029B (zh
Inventor
黄韬
王琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wemed Medical Equipment Co Ltd
Original Assignee
Beijing Wemed Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wemed Medical Equipment Co Ltd filed Critical Beijing Wemed Medical Equipment Co Ltd
Priority to CN202210859807.5A priority Critical patent/CN114917029B/zh
Publication of CN114917029A publication Critical patent/CN114917029A/zh
Priority to PCT/CN2022/121200 priority patent/WO2024016471A1/zh
Priority to DE112022000050.3T priority patent/DE112022000050T5/de
Application granted granted Critical
Publication of CN114917029B publication Critical patent/CN114917029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/303Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)

Abstract

本申请提供了一种介入手术机器人系统、控制方法和介质,其中,系统包括主端机构和从端机构。主端机构包括处理器、显示部和用户操纵部。处理器被配置为获取包含生理管状结构的术中图像,通过对术中图像进行分析处理来生成自动导航指令。用户操纵部被配置为接收用户的手动操纵,并传输手动操纵对应的手动控制指令。从端机构配置为接收来自处理器和用户操纵部的指令,在接收到自动导航指令而没有接收到手动控制指令的情况下,基于自动导航指令操纵医疗介入器件行进,而在接收到手动控制指令的情况下,基于手动控制指令操纵医疗介入器件。如此,能够实现用户与系统的交互,确保介入手术机器人在自动执行过程中的安全。

Description

一种介入手术机器人系统、控制方法和介质
技术领域
本申请涉及介入手术机器人控制技术领域,具体涉及一种介入手术机器人系统、控制方法和介质。
背景技术
心脑血管微创介入疗法是针对心脑血管疾病的主要治疗手段,和传统外科手术相比,有着切口小、术后恢复时间短等明显优势。心脑血管介入手术是由医生手动将导管、导丝以及支架等器械送入病患体内来完成治疗的过程。介入手术存在诸多问题,比如,在手术过程中,由于DSA会发出X射线,医生体力下降较快,注意力及稳定性也会下降,将导致操作精度下降,易发生因推送力不当引起的血管内膜损伤、血管穿孔破裂等事故,导致病人生命危险。其次,长期电离辐射的积累伤害会大幅地增加医生患白血病、癌症以及急性白内障的几率。医生因为做介入手术而不断积累射线的现象,已经成为损害医生职业生命、制约介入手术发展不可忽视的问题。
通过借助机器人技术能够有效应对这一问题,还可以大幅提高手术操作的精度与稳定性,同时能够有效降低放射线对介入医生的伤害,降低术中事故的发生几率。然而,目前介入机器人都是由人工进行操作,血管介入手术机器人进行手术作业时间长,医生需要长时间进行专注的手术操作容易产生疲劳感从而造成操作失误。因此,心脑血管介入手术辅助机器人的自动手术越来越多的被人们所关注,逐渐成为当今各科技强国在医疗机器人领域的重点研发对象。
但是,目前血管介入机器人自动手术系统目前没有成熟可用的自动介入手术控制方法,无法进行自动操作,通常都是人工手动控制,导致完成介入手术的作用时间长,准确度不高,效率低,因此存在改善空间。
发明内容
针对现有技术中存在的上述技术问题,提出了本申请。本申请旨在提供一种介入手术机器人系统、控制方法和介质,其能够实现自动导航功能以及介入手术机器人系统与医生的人机交互,医生能够指导介入手术机器人进行自动手术,也能够及时地对自动手术过程中遇到的问题进行监督和处理,以提高介入手术机器人自动手术的准确度和安全性。
根据本申请的第一方案,提供一种介入手术机器人系统,用于操纵医疗介入器件在患者的生理管状结构的腔内运动。其中,介入手术机器人系统包括主端机构和从端机构。所述主端机构包括至少一个处理器、显示部和用户操纵部。其中,至少一个处理器配置为获取包含所述生理管状结构的术中图像,通过对所述术中图像进行分析处理来生成自动导航指令。显示部用于呈现所述术中图像和所述医疗介入器件的当前运动状态。用户操纵部被配置为接收用户的手动操纵,并传输所述手动操纵对应的手动控制指令。所述从端机构设有机械臂和末端执行器,且配置为接收来自所述至少一个处理器和所述用户操纵部的指令,在接收到自动导航指令而没有接收到所述手动控制指令的情况下,基于所述自动导航指令操纵医疗介入器件行进,而在接收到所述手动控制指令的情况下,基于所述手动控制指令操纵医疗介入器件。
根据本申请的第二方案,提供一种介入手术机器人的控制方法,用于操纵医疗介入器件在患者的生理管状结构的腔内运动。经由主端机构的至少一个处理器获取包含所述生理管状结构的术中图像,通过对所述术中图像进行分析处理来生成自动导航指令。经由显示部呈现所述术中图像和所述医疗介入器件的当前运动状态。经由用户操纵部接收用户的手动操纵,并传输所述手动操纵对应的手动控制指令。经由从端机构接收来自所述至少一个处理器和所述用户操纵部的指令,其中,所述从端机构设有机械臂和末端执行器,以及所述从端机构在接收到自动导航指令而没有接收到所述手动控制指令的情况下,基于所述自动导航指令操纵医疗介入器件行进,而在接收到所述手动控制指令的情况下,基于所述手动控制指令操纵医疗介入器件。
根据本申请的第三方案,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本申请各个实施例所述的介入手术机器人的控制方法。
与现有技术相比,本申请实施例的有益效果在于:
本申请实施例的介入手术机器人系统,在进行血管介入手术时,能够自动完成手术中的主要操作步骤。该介入手术机器人系统的主端机构包括处理器,该处理器获取包含生理管状结构的术中的图像,可以通过识别图像并对术中图像进行分析生成自动导航指令。在实时手术过程中,伴随着介入手术机器人自动手术的执行,介入手术机器人的末端执行器的执行状态也会发生变化。而基于本申请实施例提供的介入手术机器人系统,能够生成自动导航指令,该自动导航指令能够实时指导并控制机器人的从端机构完成对末端执行器的控制动作,使其到达指定的位置。在自动手术执行过程中,该介入手术机器人系统会给予医生术中实时参数信息。医生通过与该介入手术机器人系统进行人机交互,不仅可以通过核实系统反馈的相关参数,对其进行调整,以提高生成的自动导航指令的准确性,而且,医生还可以在自动操作过程中控制从端机构随时暂停,并对其执行情况进行审核和修正。如此,能够有效实现医生和介入手术机器人系统的人机交互,介入手术机器人系统不仅能够实现自动手术,而且,通过这种医生和系统的人机交互,实现对自动手术执行过程的多重安全保护,可以有效保护自动执行手术过程中的安全。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
在不一定按比例绘制的附图中,相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例,并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的,而并非旨在作为本方法、装置、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
图1(a)示出根据本申请实施例的介入手术机器人系统的组成示意图。
图1(b)示出根据本申请实施例的介入手术机器人系统的整体结构示意图。
图1(c)示出根据基于本申请实施例的介入手术机器人系统进行自动手术整体方法流程图。
图2示出根据本申请实施例的介入手术机器人系统生成自动导航指令的方法流程图。
图3示出根据本申请实施例的介入手术机器人系统生成自动导航指令的示意图。
图4示出根据本申请实施例的介入手术机器人系统生成降低行进速度的自动导航指令的方法流程图。
图5示出根据本申请实施例的介入手术机器人系统基于偏差对自动手术过程进行控制的方法流程图。
图6示出根据本申请实施例的介入手术机器人系统进行自动手术过程中进行人机交互的方法流程图。
图7示出根据本申请实施例的介入手术机器人的控制方法流程图。
具体实施方式
为使本领域技术人员更好的理解本申请的技术方案,下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述,但不作为对本申请的限定。
本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分。本申请中使用的 “包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。在本申请中,各个步骤在图中所示的箭头仅仅作为执行顺序的示例,而不是限制,本申请的技术方案并不限于实施例中描述的执行顺序,执行顺序中的各个步骤可以合并执行,可以分解执行,可以调换顺序,只要不影响执行内容的逻辑关系即可。
本申请使用的所有术语(包括技术术语或者科学术语)与本申请所属领域的普通技术人员理解的含义相同,除非另外特别定义。还应当理解,在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
根据本申请实施例提供一种介入手术机器人系统,该介入手术机器人系统例如可以包括主端机构、从端机构。其中,主端机构和从端机构分别执行根据本申请各个实施例的一种介入手术机器人的控制方法中对应的步骤。
图1(a)示出根据本申请实施例的介入手术机器人系统的组成示意图。其中,所述介入手术机器人系统10用于操纵医疗介入器件在患者的生理管状结构的腔内运动。该介入手术机器人系统10包括主端机构101和从端机构102。所述主端机构101包括至少一个处理器1011、显示部1012和用户操纵部1013。
在该实施例中,所述至少一个处理器1011被配置为获取包含所述生理管状结构的术中图像,通过对所述术中图像进行分析处理来生成自动导航指令。所述图像可以是从图像数据库中取得的血管图像或者基于其他方式获取的图像,具体不做限定。对于图像的获取方式包括但不限于通过各种成像模态直接获取,例如但不限于通过DSA、内窥镜等术中医学造影成像技术,或基于由成像装置获取的原始图像后处理或者重建获得。其中,技术术语“获取”表示在有或没有附加降噪、裁剪、重建等图像处理的情况下直接或间接获得的任何方式。
其中,所述术中可以理解为在手术过程中,而不是在术前以及术后。例如,以利用导丝在血管中推进为例进行说明。在术中,伴随着自动手术的进行,导丝的前进位置、前进距离、导丝头的变化角度以及血管的曲率、狭窄程度等相关运动参数都会发生变化,这种变化极大地提高了自动手术的操作难度,进行自动手术的介入手术机器人难以得到安全的、正确的行进路径和操纵方式,相比于在术前、术后(术前、术后状态下相关参数相对稳定)进行行进路径、操纵方式的预测具有更大的难度。所述处理器1011通过对术中图像进行分析处理生成用于指导医疗介入器件在生理管状结构的腔内进行运动的自动导航指令,基于该自动导航指令进行自动手术操纵,提高了自动手术的效率。
具体地,处理器1011可以是可以包括一个或多个通用处理装置的处理装置,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,处理器1011可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或者运行指令集的组合的处理器。处理器1011还可以是一个或多个专用处理装置,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP),片上系统(SoC)等。如本领域技术人员将理解的,在一些实施例中,处理器1011可以是专用处理器,而不是通用处理器。处理器1011可以包括一个或多个已知的处理装置,例如来自Intel TM制造的Pentium TM、Core TM、Xeon TM或Itanium系列的微处理器,由AMDTM制造的Turion TM、Athlon TM、Sempron TM、Opteron TM、FX TM、 Phenom TM系列,或由Sun Microsystems制造的各种处理器。处理器1011还可以包括图形处理单元,诸如来自GeForce®的GPU,由Nvidia TM制造的Quadro®、Tesla®系列,由Intel TM制造的GMA,IrisTM系列,或由AMD TM制造的Radeon TM系列。处理器1011还可以包括加速处理单元,例如由AMD TM制造的Desktop A-4(6,6)系列,由Intel TM制造的Xeon Phi TM系列。所公开的实施例不限于任何类型的处理器或处理器电路,其以其他方式被配置为执行根据本申请各个实施例的介入手术机器人的控制方法。另外,术语“处理器”或“图像处理器”可以包括一个以上的处理器,例如,多核设计或多个处理器,每个处理器具有多核设计。处理器1011可以执行存储在存储器中的计算机程序指令序列,以执行本文公开的各种操作、过程和方法。处理器1011可以通信地耦合到存储器并且被配置为执行存储在其中的计算机可执行指令。
显示部1012用于呈现所述术中图像和所述医疗介入器件的当前运动状态,以便于医生或者其他用户及时知晓当前医疗介入器件的运动状态。比如,可以通过显示部1012呈现的术中图像判断该显示结果是否符合预期,或者,也可以及时判断出该医疗接入器件在血管中的位置等运动状态是否处于安全的、正确的范围内,以便于在将要出现安全问题时,提前对介入手术机器人的自动手术过程进行人工干预。该显示部1012例如可以是图1(b)所示的显示器1015,也可以是显示器1015与其他装置配合而成的部件,对此不做具体限定。
用户操纵部1013被配置为接收用户的手动操纵,并传输所述手动操纵对应的手动控制指令,以便于用户对介入手术机器人执行自动手术的过程进行有效控制。如图1(b)所示,用户操纵部1013包括但不限于控制盒1017,控制盒1017用于医生进行人工控制机器人执行动作。以利用机器人在血管中对导丝和导管进行推进、旋转为例,当机器人动作有误或有其他突发情况时,医生可以通过控制控制盒1017上的摇杆和滚轮,来控制机器人完成对导管和导丝的操作,从而让手术顺利进行。控制盒1017可以包括两种方式将手动控制指令传输到从端机构102。比如,可以在控制盒1017中嵌入电路板,手动控制指令经由控制盒1017直接发送到从端机构102。或者,控制盒1017将手动控制指令传输给处理器1011,后续可以经由主端机构101中的中继装置(例如但不限于图1(b)中的控制机柜1014)转发到从端机构102。
进一步地,所述从端机构102设有机械臂1021和末端执行器1022,比如,末端执行器1022是导丝执行器和/或导管执行器,配合DSA 104(如图1(b)所示)完成对介入手术的操作动作。其中,导丝执行器用于夹持导丝以在机械臂1021的作用下执行导丝的推送和旋转,导管执行器用于夹持导管以在机械臂1021的作用下执行导管的推送和旋转。如图1(b)所示,从端机构102安装在导管床103上,DSA 104、导管床103和介入手术机器人放置在导管室内,主端机构101放置在控制室内,主端机构101包括但不限于控制机柜1014、显示器1015、触摸屏1016和控制盒1017,控制盒1017、触摸屏1016和显示器1015都和控制机柜1014进行连接。医生在控制室内可以通过导管室的铅玻璃窗口来观察导管室内的情况。控制机柜1014包括至少一个处理器1011,可以获取并分析来自DSA 104采集到的图像信息,生成自动导航指令,并将自动导航指令发送到从端机构102,从端机构102也会将执行动作的数据等相关信息反馈到控制机柜1014。在控制机柜1014中,包括但不限于用于数据分析处理的处理器1011,用于供电的UPS,用于稳定电压的隔离变压器和开关电源灯。显示器1015呈现包括但不限于自动导航指令、医疗介入器件的运动状态图像信息以及机器人的预期动作、路径规划等信息。触摸屏1016用于进行人机交互,如进行参数设置,命令确认等,同时也会呈现机器人检测导管、导丝的实时阻力信息。
从端机构102被配置为接收来自所述至少一个处理器1011和所述用户操纵部1013的指令,在接收到自动导航指令而没有接收到所述手动控制指令的情况下,基于所述自动导航指令操纵医疗介入器件行进,而在接收到所述手动控制指令的情况下,基于所述手动控制指令操纵医疗介入器件,如此,实现医生与介入手术机器人的兼顾工作负荷和安全性能的人机交互,在没有手动控制指令的情况下可以自动导航,医生只需实时监控即可,在医生发现了任何问题时,可以随时发出手动控制指令来操控自动导航指令而迅速介入干预,提高了自动手术的安全性、准确性。
具体地,如图1(c)所示,在步骤S101中,DSA 104实时采集图像信息,在主端机构101中,控制机柜1014内的处理器1011能够通过分析DSA 104实时采集的术中的图像生成自动导航指令(步骤S102),并在显示器1015上呈现相关信息(步骤S104),该相关信息包括但不限于自动导航指令、术中图像、医疗介入器件(例如导丝、导管)的当前运动状态、下一步动作指令、规划路径等,对此不做具体限定。基于显示器1015呈现的相关信息,医生可以进行人工干预并进行相应的调整。例如,在手术自动执行过程中,介入手术机器人将术中实时图像和医疗介入器件的当前运动状态等信息反馈到显示器1015,医生可以实时掌握机器人状态和动作,对处理不妥之处,可以随时进行人工干预。比如,医生可以在触摸屏1016上修改自动导航指令中的相关参数或者其他相关参数,以提高自动导航指令的正确性和安全性。再比如,在步骤S103中,医生可以基于所述相关信息人工判断是否执行自动手术。当执行自动手术时,机器人基于自动导航指令进行自动手术,主端机构101自动操纵(步骤S105)执行自动手术。当医生认为继续执行自动手术存在较高的风险时,需要进行人工干预,医生通过点击触摸屏1016的按键进入人工干预步骤,机器人系统将暂时停止自动操作,等待医生进行调整。比如,医生可以通过控制触摸屏1016和控制盒1017这两个装置对机器人进行手动操作,同样可以给机器人的从端机构102发送指令,基于手动控制指令,从端机构102执行操纵指令(步骤S106)。当医生调整完成后,可以继续恢复自动操作模式,系统会依次步骤循环直至完成任务。这种策略可实现在人工监督的情况下,实时准确安全的对病人进行自动化手术。极大改善了医生的操作体验,减轻医生的体力负担,在医疗机器人的领域具有较高的实用性和可研究价值。而当从端机构102没有接收到手动控制指令的情况下,血管介入手术机器人根据自动导航指令操纵从端机构102进行运动,从而带动导管和/或导丝进行动作,然后将运动信息反馈到控制机柜1014,DSA 104图像在导丝和/或导管的运动之后将会发生变化,基于更新后的术中图像及时更新自动导航指令,推进自动手术的执行。
如此,通过医生与介入手术机器人系统10之间高效的人机交互,不仅提高了利用介入手术机器人进行自动手术的执行效率,而且极大地提高了手术的准确性和安全性。
图2示出根据本申请实施例的介入手术机器人系统10生成自动导航指令的方法流程图。在步骤S201中,获取包含生理管状结构的代表图像,图像数据来源至少包括从DSA104中获取的医学图像信息和大量医生临床操作数据。所获取的医学图像信息指的是通过DSA104数字减影血管造影获取的图像,其获取数据的具体部位不做限定,包括但不限于神经、胸腔等。医生操作数据指的是医生通过介入机器人自动手术系统(以下简称机器人系统)屏幕进行的操作数据或传统临床手术中的数据。在步骤S202中,对所述代表图像进行分析处理以得到规划路径,比如,可以利用学习网络对代表图像进行血管中心线的提取,并将提取得到的血管中心线作为规划路径,具体生成规划路径的方法将会在下文中详细阐述。这里所述的规划路径,可以理解为医疗介入器件沿着真实的血管延伸方向移动的路径。规划路径的获得可以通过系统计算得到也可以是医生人为设定的,或者基于系统计算结果进行人工修正得到的。在步骤S203中,对所述术中图像进行分析以确定医疗介入器件的当前运动状态,所述当前运动状态可以理解为医疗介入器件当前的运动趋势,比如,医疗介入器件将要向前移动、将要旋转或者其他运动趋势。当前运动状态也可以包括医疗介入器件在当前时刻的运动方向、角度等。对于当前运动状态不做具体限定,具体以实际操纵过程中的需要为准。在步骤S204中,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令,以提高介入手术机器人执行自动手术的安全性。
在一些实施例中,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令具体包括获取所述医疗介入器件的代表部的当前的第一位置和第一运动方向,确定在所述第一运动方向上的代表部的第二位置,确定所述代表部的第二位置与所述规划路径的最短连接线,确定所述最短连接线与所述规划路径的交点,获取所述交点和所述第一位置的连线与所述第一运动方向的夹角,当所述夹角小于第一阈值角度时,生成前进的自动导航指令,以使得医疗介入器件在收到前进的自动导航指令下向前移动。所述代表部包括但不限于医疗介入器件本身、医疗介入器件的头部或者用户指定的其他能够标定医疗介入器件运动变化情况的部位。对于代表部不做具体限定,而是依据医生在实际操作过程中的实际情况而定。
其中,所述第一位置可以理解为医疗介入器件在执行下一动作之前的位置。比如,医疗介入器件在a位置向前移动,到达b位置,又从b位置向前移动到达c位置,那么,a位置相对于b位置是第一位置,b位置相对于c位置是第一位置。所述第一运动方向与第一位置的理解类似,第一运动方向可以理解为医疗介入器件在执行下一动作之前的运动方向,运动方向的确定基于医生推进医疗介入器件行进的实际运动方向,可以由医生人工设定。或者,可以是相应位置处的切线方向,也可以是计算机设定的方向,对此不做具体限定。
具体地,以导丝在血管中推进、旋转为例,如图3所示,其中,301是规划路径,302是血管,303是终点,304是导丝。其中,导丝304的代表部为导丝头,处于起始位置时,导丝头位于规划路径301上的第一位置A处,第一位置A处的第一运动方向即为AC的延伸方向。然后,在第一运动方向上确定第二位置C,将第二位置C与规划路径301连线获得最短连接线BC,其中,B点是最短连接线BC和规划路径301的交点。其中,对于第二位置C的确定方式不做具体限定,比如,可以是处理器1011在第一运动方向上任意选取的一个位置,只要基于所述第二位置获得的夹角∠BAC不大于第一阈值角度即可。再比如,通过人工设定或者系统设置默认的导丝推进速度,假设导丝304的行进速度为2mm/s,控制机柜1014中的处理器1011可以在第一运动方向上,按照间隔0.5s的行进距离确定第二位置。比如,处理器1011提前计算在行进0.5s处确定第二位置,并计算夹角∠BAC是否小于第一阈值角度,如果小于第一阈值角度,则生成前进的自动导航指令。此时,导丝304可以在收到前进的导航指令的情况下继续前进,并更新第二位置为第一位置,继续上述过程。在导丝304推进的过程中,导丝304推进的速度是可以根据需要随时进行调整的。第一阈值角度可以是用户人工设定的角度,也可以是通过其他方式获得的角度,对此不做限定。上述仅仅是一种实施方式,不排除其他确定第二位置的方法。
在一些实施例中,当所述夹角不超过第一阈值角度时,确定所述第二位置与所述第一位置之间的距离为前进距离。继续以图3作为示例进行说明,假设∠BAC等于第一阈值角度,那么,第一位置A和第二位置C之间的距离即为前进距离。基于该前进距离的自动导航指令下,用户可以知晓将导丝304从第一位置A推进到第二位置C是安全的,是与规划路径301几乎保持一致的。如果导丝304经过第二位置C继续向前推进,则会出现危险,系统会发出警报提示用户进行核查。在从端机构102收到前进距离的自动导航指令时,可以直接操控导丝304按照前进距离行进至第二位置C,也可以直接对导丝304进行旋转之后再向前行进,具体实施例方式以用户对系统的设定以及人工手动操纵为准。此外,在另一些实施例中,当∠BAC小于第一阈值角度时,导丝304按照安全的且符合规划路径301的行进路径进行推进,处理器1011既可以按照设定自动生成前进的自动导航指令,也可以按照设定自动生成前进距离的自动导航指令,以指示导丝304向前推进的距离。
在一些实施例中,当所述夹角大于第一阈值角度时,确定要操纵所述医疗介入器件旋转的角度,并生成指示旋转该角度的自动旋转指令作为所述自动导航指令。其中,所述旋转的角度不超过第一阈值角度,既可以是小于第一阈值角度的其他角度,也可以是第一阈值角度,通过操纵医疗介入器件旋转一定的角度,使得所述医疗介入器件的代表部落在规划路径上或者落在规划路径附近。比如,假设图3中的∠BAC大于第一阈值角度,继续推进导丝304可能会产生危险,导致血管破裂。此时,可以生成指示导丝304进行旋转的自动导航指令。旋转的角度可以是第一阈值角度,也可以是小于第一阈值角度的其他合理角度。比如,导丝304旋转第一阈值角度之后,导丝304的头落在规划路径301上的B点。或者,导丝304按照小于第一阈值角度的角度旋转,导丝304的头落在B点附近。仅以此为示例,不构成对保护范围的具体限定。
此外,在导丝向前行进的过程中还可以包括多种方式。比如,当夹角小于第一阈值角度时,可以操纵导丝沿着第一运动方向行进,并同时更新第一位置。再基于更新后的第一位置继续确定新的第二位置,并重新计算夹角,当夹角等于第一阈值角度时,用户可以直接将导丝的头推进到前进距离自动导航指令指示的第二位置处,也可以直接将导丝旋转第一阈值角度后再继续向前推进。前进的自动导航指令、前进距离的自动导航指令、旋转的自动导航指令都不是相互孤立的,而是分开进行又协同配合的。在自动手术过程中,基于导丝等医疗介入器件的运动状况,持续更新第一位置,重复计算直至得到一系列自动导航指令。对于医疗介入器件的前进、前进距离和旋转角度的控制分开进行又相互协同配合,通过协同控制,使得医疗介入器件能够以更加准确、安全的方式执行自动手术。
在一些实施例中,所述规划路径在术中保持稳定,以使得自动导航指令的生成基于所述规划路径获得,进而能够提高机器人自动手术的安全性。所述生理管状结构的图像包括神经血管、内脏血管、和外周血管中的至少一种的血管图像,以使得基于所述生理管状结构的图像获得的规划路径在术中保持稳定,以区别于其他在术中随时发生变化的血管图像。比如,靠近主动脉的血管伴随着心脏的运动,其在术中的血管图像随时发生变化,无法获得相对稳定的血管图像,也无法得到能够用于生成自动导航指令的稳定的规划路径。
在一些实施例中,所述手动控制指令包括自动暂停指令、自动恢复指令、规划路径修正指令和手动导航指令中的至少一种。比如,在医疗介入器件的运动状态超出预期时,医生可以触发触摸屏1016(如图1(b))上的自动暂停生成自动暂停指令并发送到从端机构102。在从端机构102暂停后,医生可以进行核查,核查无误后还可以触发触摸屏1016上的自动恢复生成自动恢复指令并发送到从端机构102。其次,基于包含生理管状结构的图像得到规划路径之后,医生也可以对规划路径进行审核,如果规划路径与实际血管分布情况具有较大的偏离,则医生可以对规划路径进行修正,从而生成规划路径修正指令,以进一步提高自动导航指令的准确度。此外,在机器人自动手术过程中,医生一旦发现问题并认为机器人无法继续执行自动手术,则向从端机构102发送手动导航指令,进行手动操纵。所述显示部1012进一步配置为显示规划路径,所显示的规划路径响应于所述规划路径修正指令而被手动改变,以便于用户对规划路径进行核实,确保规划路径符合血管实际情况。
在一些实施例中,对所述术中图像进行分析,以确定所述医疗介入器件行进前方的血管分支及弯曲状况和血管宽度,在前方的血管分支数量超过第一阈值、或曲率大于第二阈值、或血管宽度小于第三阈值,则生成降低所述医疗介入器件的行进速度的自动导航指令,从而提高自动手术的安全性。具体地,如图4所示,在步骤S401中,确定医疗介入器件行进前方的血管分支、完全状况和血管宽度,在步骤S402中,判断血管分支数量是否超过第一阈值,如果血管分支数量超过第一阈值,则说明该位置处血管分布较为复杂,导致医疗介入器件行进过程中难度较大,此时,执行步骤S405,生成降低行进速度的自动导航指令,以较低的行进速度执行自动手术,提高了手术的安全性。如果血管分支数量没有超过第一阈值,则继续执行步骤S403判断曲率是否超过第二阈值,如果曲率超过第二阈值,则说明此处血管弯曲程度较大,容易造成安全问题,此时,同样执行步骤S405生成降低行进速度的自动导航指令,以使得医疗介入器件以缓慢的速度在曲率较大的路径上行进。此外,如果曲率没有超过第二阈值,则继续判断血管宽度是否超过第三阈值(步骤S404),如果超过第三阈值,则说明此处血管宽度较窄,不利于医疗介入器件高速行进,因此,同样生成降低行进速度的自动导航指令(步骤S405)以使得医疗介入器件能够以安全的速度执行自动手术,保证手术的安全性。其中,第一阈值、第二阈值和第三阈值可以是人工设定的值也可以是系统自动设置的值,对此不做具体限定。对于不同血管状况,可选择不同速度模式,给予不同策略,节约手术时间,提高手术效率。根据上述分析和计算后,在显示器1015上向医生呈现出最优路径和最优执行方式,同时也提供了多种备选执行方式,需要医生根据病人病情等实际情况,在进行确认后系统将进入下一个步骤。上述仅为其中一种实施例,并非对保护范围的限定。
在一些实施例中,所述至少一个处理器进一步配置为接收来自所述从端机构的操纵所述医疗介入器件的第一运动参数,基于术中图像,确定所述医疗介入器件的第二运动参数,对所述第一运动参数和所述第二运动参数进行比较以确定偏差,在所确定的偏差没有超出第四阈值的情况下,继续生成并发送所述自动导航指令,从而保证自动手术的安全进行。具体地,如图5所示,在步骤S501中,获取第一运动参数和第二运动参数的偏差,其中,第一运动参数反映的是医生预期的、设定的操纵医疗介入器件的相关运动参数值,而第二运动参数反映的是经过操纵医疗介入器件之后实际的相关运动参数值,两者的偏差则能够反映自动手术的准确度,偏差越小则自动手术的执行结果越好。其中,所述偏差可以是第一运动参数与第二运动参数的差,该偏差可以是系统直接计算得到,也可以是医生人工计算得到或者以其他可行的方式计算得到,对此不做具体限定。在步骤S502中,判断偏差是否超出第四阈值,如果没有超出第四阈值,则执行步骤S503继续生成并发送自动导航指令,按照之前的设定安全、高效的执行自动手术。
进一步地,在步骤S504中,在所确定的偏差超出第四阈值的情况下,生成并发送自动暂停指令,所述自动暂停指令使得所述从端机构102的运动暂停,锁定维持所述从端机构102的当前状态并提示医生进行核查(步骤S505)。接着,执行步骤S506,判断是否确认故障,在核查结果为排除故障时,解锁恢复所述从端机构102的运动(步骤S507),以使得从端机构102继续操纵医疗介入器件执行自动手术。而在核查结果为确认故障时,识别故障水平(步骤S508),根据故障水平进行相应的修正。在步骤S509中,确认故障水平是否不超过第五阈值,在所识别的故障水平等于或低于第五阈值时,执行步骤S511对从端机构102进行修正直到排除故障,具体包括继续锁定维持所述从端机构102的当前状态,同时自动或半自动地控制所述从端机构102以增加夹紧力和推进力中的至少一种并提示医生进行核查,直到核查结果变为排除故障。夹紧力和推进力对于操纵医疗介入器件在腔内的运动至关重要,夹紧力或推进力无法达到要求时,无法实现对医疗介入器件的精确控制,比如,由于夹紧力较低,导致医疗介入器件在运动过程中脱落。这种故障可以通过增加夹紧力的方式解决,因此,当系统显示故障水平等于或低于第五阈值水平时,无需关闭所述介入手术机器人的从端机构102,只要通过调节增加夹紧力或推进力即可。此外,不排除其他可以通过对系统的调节以排除故障的方法。
在所识别的故障水平高于所述第五阈值时,关闭所述从端机构102,提示医生转为手动操控模式(步骤S510)。此时,较高的故障水平意味着系统出现较为严重的难以通过简单调整即可修复的问题,因此,在所识别的故障水平高于第五阈值水平时,关闭所述介入手术机器人的从端机构102,进而由医生进行人工操控,从而避免了系统故障对患者造成的伤害,确保了患者的生命安全。通过该实施例,能够解决现有介入手术机器人没有异常保护机制,介入机器人无法判断手术异常状态,介入机器人没有实时监测异常状态,当出现异常情况时,机器人没有及时停止,没有实时反馈信息等一系列的问题。此外,在所确定的偏差超出第四阈值的情况下,控制机柜1014还可以通过发出警报的方式提示医生进行核查。其中,所述第四阈值、第五阈值可以是人工设定的数值也可以是系统默认的数值,对此不做限定。
在一些实施例中,所述至少一个处理器接收来自所述从端机构的操纵所述医疗介入器件的运动阻力数据和运动轨迹数据,显示部显示所述运动阻力数据和运动轨迹数据,基于运动阻力数据和运动轨迹数据,医生可以判断医疗介入器件当前的运动状态,能够判断出是否具有一定的危险。
在一些实施例中,对所述代表图像进行分析处理以得到规划路径具体包括通过学习网络对所述代表图像进行分析处理,以分割出所述生理管状结构。例如,将获取的医学图像信息进行图像预处理输入到ResUnet深度学习网络进行训练,识别导丝、支架、血管等目标物,获得训练数据,对数据进行shuffle操作,将图像转换为固定尺寸(如:512*512),并进行归一化处理,将像素转化为0-1之间,其中,训练数据中包括分割标注信息(血管、导丝、支架)的医学图像,对上述训练数据进行图像水平翻转、垂直翻转、随机缩放、随机亮度、随机对比度、随机噪声等图像处理方法进行数据增强,使用增强后的训练数据对分割网络模型进行学习训练,得到图像分割模型。将获取的医学图像信息进行图像预处理输入到ResUnet深度学习网络进行训练,训练结果与训练数据进行比较,通过交叉熵损失函数计算法计算损失值,将损失值进行反向传播更新权重。通过深度学习网络进行血管和其他特征提取,可极大的提高特征的提取效率,是实时导航实现的根本保证。上述的深度学习网络模型可以为ResUnet、attentionUnet等分割网络模型,具体不作限定。通过采用多种分割标注信息(血管、导丝、支架)的医学图像的训练数据对分割网络模型进行学习训练,即可得到图像分割模型,从而保证利用得到的图像分割模型对分割目标的分割准确性和速度。所述深度学习网络利用Tensorflow框架进行深度学习的训练即可实现。
在自动手术的过程中,介入机器人系统将实时图像传入已训练好的网络模型,网络模型根据训练好的规则输出识别结果,分割出生理管状结构,将医生操作数据和网络模型输出结果经过图像处理计算转换成导航指令。以病变部作为终端部,将网络血管的预测结果作为“路”,将医疗介入器件的代表部(比如导丝、导管或支架)作为起始部,提取所述生理管状结构的中心线。提取得到的中心线可以直接作为规划路径,也可以启动人工干预对中心线进行修正,修正后的中心线再作为规划路径以确保机器人手术的安全性。
在一些实施例中,所述至少一个处理器1011进一步配置为对所述代表图像进行分析处理,以识别病变部。所述显示部1012进一步配置为显示所识别的病变部,以便于医生确认病变部位置的确认是否正确。如图6所示,在步骤S601中,采集血管代表图像的图像信息,并将该图像信息发送到控制机柜1014,控制机柜1014分析血管形态,识别出病变部(步骤S602)。具体来说,当控制机柜1014得到病人的血管图像后,系统基于大量数据的基础上进行自动匹配分析,进行血管的病情诊断并找到病变部(如狭窄区域),这时系统将会弹出提示,需要由医生确认病情分析是否准确,即执行步骤S603由医生判断病变部是否正确。所述至少一个处理器1011进一步配置为接收用户对所述病变部的交互操作,所述交互操作包括确认、修正和拒绝中的至少一种。如果医生判断病变部位置正确,则由医生执行确认操纵后继续执行步骤S605。如果医生判断病变部位置有误,则执行步骤S604由医生进行修正操作。或者,医生直接执行拒绝操作,系统重新对图像信息进行分析处理。例如,医生可以调整系统分析指标和参数,由系统进行重新分析。或者,由医生指定想要操纵的造影图像,操纵指令不作限定,包括但不限于在屏幕图像中画点、画圆、矩形、划线等方式,机器人系统通过识别医生操作指令获取病变部作为终端部。处理器1011在接收到用户对所述病变部的确认(可能经历了修正操作)后,以所确认的病变部作为终端部来得到所述规划路径。
在步骤S605中,基于上述识别出的病变部作为终端部,利用学习网络提取血管中心线,并根据血管中心线得到规划路径。进一步地,所述显示部1012进一步配置为显示所述规划路径,以便于医生对规划路径的准确性进行确定。在步骤S606中,医生判断规划路径是否合适。比如,有可能由于血管中心线提取不准确导致规划路径与实际不符,此时,通过人工干预,有利于提高后续自动手术的准确性和安全性。进一步地,所述至少一个处理器1011进一步配置为接收用户对所述规划路径的交互操作,所述交互操作包括确认、修正和拒绝中的至少一种。具体地,在接收到用户对所述规划路径的修正操作后,响应于所述修正操作而修正所述规划路径以供所述显示部1012显示。比如,当医生判断规划路径不合适时,医生进行修正操作(步骤S607),处理器1011接收到医生的修正操作后,对规划路径进行修正,并将修正后的合适的规划路径在显示器1015上显示,直到规划路径符合医生的要求即可执行下一步。所述处理器1011在接收到用户对所述规划路径的确认操作后,基于所确认的规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令。在得到规划路径后,系统会计算如何控制从端机构102进行动作,具体表现可以包括计算每个电机的旋转方向、转动角度、转动速度等,这些控制信息作为导航的指令,将导航指令发送给机器人的从端机构102,并开始进行运动,同时也在实时采集DSA 104的图像信息,系统自动判断导丝和导管的位置信息。具体来说,如步骤S608,处理器1011采集术中导丝和导管的图像信息并确定导丝和导管当前运动状态,比如确定导丝和导管的运动方向、位置等相关运动参数。接着,系统判断是否进行人工干预(步骤S609),如果需要人工干预,则处理器1011采集医生手动控制指令(步骤S610)并将自动导航指令发送给从端机构102(步骤S613)。比如,当手术过程中出现异常情况,医生可以随时暂停自动手术系统,通过人工操作的方式来进行调整。当人工调整完成后,可以重新返回自动手术模式。如果无需人工干预,则执行步骤S611,计算下一步最优执行动作和执行模式,比如,采用上述实施例所述的确认前进的自动导航指令、前进距离的自动导航指令、旋转的自动导航指令的方法计算下一步最优执行动作和执行模式,并把它们转化为机器可以执行的动作指令,同时把这些动作信息显示到显示器1015上告知医生。接着,如步骤S612,计算下一步最优的介入手术机器人控制方式并生成自动导航指令,将自动导航指令发送到从端机构102(步骤S613),从端机构102基于自动导航指令执行自动手术。医生对介入手术机器人的操纵结果进行评估,通过系统计算到从端机构102操纵导丝、导管的第一运动参数与实际结果相关联的第二运动参数的偏差,判断偏差是否超出第四阈值(步骤S614),如果偏差超出第四阈值,则系统报警(步骤S615),提示医生确认(步骤S616),医生对操控过程进行核查和修正。如果偏差没有超出第四阈值,则判断导丝和导管运动阻力数据是否正常(步骤S617),如果不正常,则系统报警,提示医生进行核查和修正,如果正常则继续执行自动手术。显示器1015显示术中图像,医生随时可以观察导丝和导管是否到达指定位置(步骤S618),如果到达指定位置,则结束,如果没有到达指定位置,则回到步骤S608,继续执行。如此,能够提高自动手术的执行效率,并且通过人机交互,极大地提高了自动手术的准确度和安全性,可以大大提高自动手术的效率和成功率。
图7示出根据本申请实施例的介入手术机器人的控制方法流程图。其中,所述介入手术机器人系统10用于操纵医疗介入器件在患者的生理管状结构的腔内运动。在步骤S701,经由主端机构101的至少一个处理器1011获取包含所述生理管状结构的术中图像,通过对所述术中图像进行分析处理来生成自动导航指令。在步骤S702中,经由显示部1012呈现所述术中图像和所述医疗介入器件的当前运动状态。在步骤S703中,经由用户操纵部1013接收用户的手动操纵,并传输所述手动操纵对应的手动控制指令。在步骤S704中,经由从端机构102接收来自所述至少一个处理器1011和所述用户操纵部1013的指令,其中,所述从端机构102设有机械臂1021和末端执行器1022。在步骤S705中,所述从端机构102在接收到自动导航指令而没有接收到所述手动控制指令的情况下,基于所述自动导航指令操纵医疗介入器件行进,而在接收到所述手动控制指令的情况下,基于所述手动控制指令操纵医疗介入器件。如此,提供了人工监视和人工调整的介入手术机器人的控制方法,同时向医生提供了多种手术参数,当前和下一步执行动作,便于医生了解机器人的状态。医生可以随时停止并进行修正,修改完后可以继续自动进行手术。
在一些实施例中,获取包含所述生理管状结构的术中图像,通过对所述术中图像进行分析处理来生成自动导航指令具体包括获取包含生理管状结构的代表图像,对所述代表图像进行分析处理以得到规划路径,对所述术中图像进行分析以确定医疗介入器件的当前运动状态,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令。如此,可以完成自动介入手术,采用最优路径规划,更高效的图像分析和机器人执行策略,可以大大提高自动手术的效率和成功率。
在一些实施例中,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令具体包括获取所述医疗介入器件的代表部的当前的第一位置和第一运动方向,确定在所述第一运动方向上的代表部的第二位置,确定所述代表部的第二位置与所述规划路径的最短连接线,确定所述最短连接线与所述规划路径的交点,获取所述交点和所述第一位置的连线与所述第一运动方向的夹角,当所述夹角小于第一阈值角度时,生成前进的自动导航指令,以使得医疗介入器件沿着规划路径前进,保证了安全性。
在一些实施例中,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令进一步包括当所述夹角不超过第一阈值角度时,确定所述第二位置与所述第一位置之间的距离作为前进距离。
在一些实施例中,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令进一步包括当所述夹角大于第一阈值角度时,确定要操纵所述医疗介入器件旋转的角度,并生成指示旋转该角度的自动旋转指令作为所述自动导航指令。
如此,基于所述介入手术机器人的控制方法,能够减轻医生的体力负担,改善医生的操作体验感,方法简单,容易实现。
本申请的实施例还提供一种计算机存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器1011运行时使得所述处理器1011执行根据本申请各个实施例所述的介入手术机器人的控制方法。存储介质可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如,闪存、静态随机存取存储器)等,其上可以以任何格式存储计算机可执行指令。
此外,尽管已经在本文中描述了示例性实施例,其范围包括任何和所有基于本申请的具有等同元件、修改、省略、组合(例如,各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释,并不限于在本说明书中或本申请的实施期间所描述的示例,其示例将被解释为非排他性的。因此,本说明书和示例旨在仅被认为是示例,真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外,在上述具体实施方式中,各种特征可以被分组在一起以简单化本申请。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反,本申请的主题可以少于特定的公开的实施例的全部特征。从而,以下权利要求书作为示例或实施例在此并入具体实施方式中,其中每个权利要求独立地作为单独的实施例,并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本申请的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (21)

1.一种介入手术机器人系统,用于操纵医疗介入器件在患者的生理管状结构的腔内运动,其特征在于,包括:
主端机构,其包括:
至少一个处理器,其配置为:获取包含所述生理管状结构的术中图像,通过对所述术中图像进行分析处理来生成自动导航指令;
显示部,所述显示部用于呈现所述术中图像和所述医疗介入器件的当前运动状态;以及
用户操纵部,所述用户操纵部被配置为:接收用户的手动操纵,并传输所述手动操纵对应的手动控制指令;
从端机构,所述从端机构设有机械臂和末端执行器,且配置为:接收来自所述至少一个处理器和所述用户操纵部的指令;在接收到自动导航指令而没有接收到所述手动控制指令的情况下,基于所述自动导航指令操纵医疗介入器件行进,而在接收到所述手动控制指令的情况下,基于所述手动控制指令操纵医疗介入器件。
2.根据权利要求1所述的介入手术机器人系统,其特征在于,获取包含所述生理管状结构的术中图像,通过对所述术中图像进行分析处理来生成自动导航指令具体包括:获取包含生理管状结构的代表图像,对所述代表图像进行分析处理以得到规划路径;对所述术中图像进行分析以确定医疗介入器件的当前运动状态;基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令。
3.根据权利要求2所述的介入手术机器人系统,其特征在于,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令具体包括:
获取所述医疗介入器件的代表部的当前的第一位置和第一运动方向;
确定在所述第一运动方向上的代表部的第二位置;
确定所述代表部的第二位置与所述规划路径的最短连接线;
确定所述最短连接线与所述规划路径的交点;
获取所述交点和所述第一位置的连线与所述第一运动方向的夹角,当所述夹角小于第一阈值角度时,生成前进的自动导航指令。
4.根据权利要求3所述的介入手术机器人系统,其特征在于,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令进一步包括:当所述夹角不超过第一阈值角度时,确定所述第二位置与所述第一位置之间的距离作为前进距离。
5.根据权利要求3所述的介入手术机器人系统,其特征在于,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令进一步包括:当所述夹角大于第一阈值角度时,确定要操纵所述医疗介入器件旋转的角度,并生成指示旋转该角度的自动旋转指令作为所述自动导航指令。
6.根据权利要求2所述的介入手术机器人系统,其特征在于,所述规划路径在术中保持稳定,所述生理管状结构的图像包括神经血管、内脏血管、和外周血管中的至少一种的血管图像。
7.根据权利要求1所述的介入手术机器人系统,其特征在于,所述手动控制指令包括自动暂停指令、自动恢复指令、规划路径修正指令和手动导航指令中的至少一种,所述显示部进一步配置为显示规划路径,所显示的规划路径响应于所述规划路径修正指令而被手动改变。
8.根据权利要求1所述的介入手术机器人系统,其特征在于,所述至少一个处理器进一步配置为:对所述术中图像进行分析,以确定所述医疗介入器件行进前方的血管分支及弯曲状况和血管宽度;在前方的血管分支数量超过第一阈值、或曲率大于第二阈值、或血管宽度小于第三阈值,则生成降低所述医疗介入器件的行进速度的自动导航指令。
9.根据权利要求1所述的介入手术机器人系统,其特征在于,所述至少一个处理器进一步配置为:接收来自所述从端机构的操纵所述医疗介入器件的第一运动参数;基于术中图像,确定所述医疗介入器件的第二运动参数;对所述第一运动参数和所述第二运动参数进行比较以确定偏差;在所确定的偏差没有超出第四阈值的情况下,继续生成并发送所述自动导航指令。
10.根据权利要求9所述的介入手术机器人系统,其特征在于,所述至少一个处理器进一步配置为:
在所确定的偏差超出第四阈值的情况下,生成并发送自动暂停指令,所述自动暂停指令使得所述从端机构的运动暂停,锁定维持所述从端机构的当前状态并提示医生进行核查;
在核查结果为排除故障时,解锁恢复所述从端机构的运动;
在核查结果为确认故障时,识别故障水平;
在所识别的故障水平等于或低于第五阈值时,继续锁定维持所述从端机构的当前状态,同时自动或半自动地控制所述从端机构以增加夹紧力和推进力中的至少一种并提示医生进行核查,直到核查结果变为排除故障;
在所识别的故障水平高于所述第五阈值时,关闭所述从端机构,提示医生转为手动操控模式。
11.根据权利要求9所述的介入手术机器人系统,其特征在于,在所确定的偏差超出第四阈值的情况下,发出警报。
12.根据权利要求1所述的介入手术机器人系统,其特征在于,所述至少一个处理器接收来自所述从端机构的操纵所述医疗介入器件的运动阻力数据和运动轨迹数据,显示部显示所述运动阻力数据和运动轨迹数据。
13.根据权利要求2所述的介入手术机器人系统,其特征在于,对所述代表图像进行分析处理以得到规划路径具体包括:
通过学习网络对所述代表图像进行分析处理,以分割出所述生理管状结构;
以医疗介入器件的代表部为起始部,以病变部为终端部,提取所述生理管状结构的中心线;以及
根据所提取的中心线,来得到所述规划路径。
14.根据权利要求2所述的介入手术机器人系统,其特征在于,所述至少一个处理器进一步配置为:对所述代表图像进行分析处理,以识别病变部;
所述显示部进一步配置为显示所识别的病变部;
所述至少一个处理器进一步配置为:接收用户对所述病变部的交互操作,所述交互操作包括确认、修正和拒绝中的至少一种;在接收到用户对所述病变部的确认后,以所确认的病变部作为终端部来得到所述规划路径。
15.根据权利要求7所述的介入手术机器人系统,其特征在于,所述显示部进一步配置为显示所述规划路径;
所述至少一个处理器进一步配置为:接收用户对所述规划路径的交互操作,所述交互操作包括确认、修正和拒绝中的至少一种;在接收到用户对所述规划路径的确认操作后,基于所确认的规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令;在接收到用户对所述规划路径的修正操作后,响应于所述修正操作而修正所述规划路径以供所述显示部显示。
16.一种介入手术机器人的控制方法,用于操纵医疗介入器件在患者的生理管状结构的腔内运动,其特征在于,包括:
经由主端机构的至少一个处理器获取包含所述生理管状结构的术中图像,通过对所述术中图像进行分析处理来生成自动导航指令;
经由显示部呈现所述术中图像和所述医疗介入器件的当前运动状态;
经由用户操纵部接收用户的手动操纵,并传输所述手动操纵对应的手动控制指令;
经由从端机构接收来自所述至少一个处理器和所述用户操纵部的指令;其中,所述从端机构设有机械臂和末端执行器;以及
所述从端机构在接收到自动导航指令而没有接收到所述手动控制指令的情况下,基于所述自动导航指令操纵医疗介入器件行进,而在接收到所述手动控制指令的情况下,基于所述手动控制指令操纵医疗介入器件。
17.根据权利要求16所述的控制方法,其特征在于,获取包含所述生理管状结构的术中图像,通过对所述术中图像进行分析处理来生成自动导航指令具体包括:获取包含生理管状结构的代表图像,对所述代表图像进行分析处理以得到规划路径;对所述术中图像进行分析以确定医疗介入器件的当前运动状态;基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令。
18.根据权利要求17所述的控制方法,其特征在于,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令具体包括:
获取所述医疗介入器件的代表部的当前的第一位置和第一运动方向;
确定在所述第一运动方向上的代表部的第二位置;
确定所述代表部的第二位置与所述规划路径的最短连接线;
确定所述最短连接线与所述规划路径的交点;
获取所述交点和所述第一位置的连线与所述第一运动方向的夹角,当所述夹角小于第一阈值角度时,生成前进的自动导航指令。
19.根据权利要求18所述的控制方法,其特征在于,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令进一步包括:当所述夹角不超过第一阈值角度时,确定所述第二位置与所述第一位置之间的距离作为前进距离。
20.根据权利要求18所述的控制方法,其特征在于,基于所述规划路径和所述医疗介入器件的当前运动状态,来生成自动导航指令进一步包括:当所述夹角大于第一阈值角度时,确定要操纵所述医疗介入器件旋转的角度,并生成指示旋转该角度的自动旋转指令作为所述自动导航指令。
21.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求16-20中任何一项所述的控制方法。
CN202210859807.5A 2022-07-22 2022-07-22 一种介入手术机器人系统、控制方法和介质 Active CN114917029B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210859807.5A CN114917029B (zh) 2022-07-22 2022-07-22 一种介入手术机器人系统、控制方法和介质
PCT/CN2022/121200 WO2024016471A1 (zh) 2022-07-22 2022-09-26 一种介入手术机器人系统、控制方法和介质
DE112022000050.3T DE112022000050T5 (de) 2022-07-22 2022-09-26 System und Steuerverfahren eines Roboters für interventionelle Chirurgie und Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210859807.5A CN114917029B (zh) 2022-07-22 2022-07-22 一种介入手术机器人系统、控制方法和介质

Publications (2)

Publication Number Publication Date
CN114917029A true CN114917029A (zh) 2022-08-19
CN114917029B CN114917029B (zh) 2022-10-11

Family

ID=82816123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210859807.5A Active CN114917029B (zh) 2022-07-22 2022-07-22 一种介入手术机器人系统、控制方法和介质

Country Status (2)

Country Link
CN (1) CN114917029B (zh)
WO (1) WO2024016471A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115245387A (zh) * 2022-09-22 2022-10-28 深圳市爱博医疗机器人有限公司 细长型医疗器械递送系统、递送方法、设备及介质
CN115317140A (zh) * 2022-09-06 2022-11-11 北京唯迈医疗设备有限公司 介入手术机器人系统及其测力数据的提示及呈现的方法
CN115363768A (zh) * 2022-10-27 2022-11-22 北京唯迈医疗设备有限公司 一种介入手术机器人系统及其控制方法和介质
CN116597975A (zh) * 2023-04-04 2023-08-15 上海神玑医疗科技有限公司 一种血管介入手术辅助系统及其控制方法
CN116778782A (zh) * 2023-08-25 2023-09-19 北京唯迈医疗设备有限公司 一种介入手术体外模拟训练系统及其控制方法
CN116966394A (zh) * 2023-09-06 2023-10-31 北京唯迈医疗设备有限公司 一种介入造影手术导管定位方法和系统
CN117393107A (zh) * 2023-12-12 2024-01-12 北京唯迈医疗设备有限公司 一种自动手术介入机器人迭代学习方法和系统及存储介质
WO2024016471A1 (zh) * 2022-07-22 2024-01-25 北京唯迈医疗设备有限公司 一种介入手术机器人系统、控制方法和介质
WO2024125291A1 (zh) * 2022-12-12 2024-06-20 上海术之道机器人有限公司 控制医疗介入设备的装置、方法、程序单元及可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200188044A1 (en) * 2018-06-15 2020-06-18 Transenterix Surgical, Inc. Guidance of Robotically Controlled Instruments Along Paths Defined with Reference to Auxiliary Instruments
CN111759464A (zh) * 2020-06-22 2020-10-13 覃士忠 基于双向反馈的血管机器人的控制方法
US11147635B1 (en) * 2020-06-19 2021-10-19 Remedy Robotics, Inc. Systems and methods for guidance of intraluminal devices within the vasculature
CN113712674A (zh) * 2021-09-13 2021-11-30 上海微创医疗机器人(集团)股份有限公司 导管机器人及系统与控制方法、可读存储介质及电子设备
WO2022088537A1 (zh) * 2020-10-29 2022-05-05 北京唯迈医疗设备有限公司 一种介入手术机器人导丝摩擦力反馈装置及方法
US20220160428A1 (en) * 2020-11-24 2022-05-26 Globus Medical, Inc. Methods for robotic assistance and navigation in spinal surgery and related systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4197447A1 (en) * 2004-08-16 2023-06-21 Corindus, Inc. Image-guided navigation for catheter-based interventions
CN108013934B (zh) * 2018-01-19 2020-02-11 上海联影医疗科技有限公司 用于介入对象的腔内介入系统
CN109938836B (zh) * 2019-04-01 2022-05-17 上海交通大学 一种血管介入机器人手术中的自动无标记的引导导丝方法
CN113855239B (zh) * 2021-09-24 2023-10-20 深圳高性能医疗器械国家研究院有限公司 一种血管介入手术中导丝导航系统及方法
CN114917029B (zh) * 2022-07-22 2022-10-11 北京唯迈医疗设备有限公司 一种介入手术机器人系统、控制方法和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200188044A1 (en) * 2018-06-15 2020-06-18 Transenterix Surgical, Inc. Guidance of Robotically Controlled Instruments Along Paths Defined with Reference to Auxiliary Instruments
US11147635B1 (en) * 2020-06-19 2021-10-19 Remedy Robotics, Inc. Systems and methods for guidance of intraluminal devices within the vasculature
CN111759464A (zh) * 2020-06-22 2020-10-13 覃士忠 基于双向反馈的血管机器人的控制方法
WO2022088537A1 (zh) * 2020-10-29 2022-05-05 北京唯迈医疗设备有限公司 一种介入手术机器人导丝摩擦力反馈装置及方法
US20220160428A1 (en) * 2020-11-24 2022-05-26 Globus Medical, Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
CN113712674A (zh) * 2021-09-13 2021-11-30 上海微创医疗机器人(集团)股份有限公司 导管机器人及系统与控制方法、可读存储介质及电子设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016471A1 (zh) * 2022-07-22 2024-01-25 北京唯迈医疗设备有限公司 一种介入手术机器人系统、控制方法和介质
CN115317140A (zh) * 2022-09-06 2022-11-11 北京唯迈医疗设备有限公司 介入手术机器人系统及其测力数据的提示及呈现的方法
CN115317140B (zh) * 2022-09-06 2023-09-01 北京唯迈医疗设备有限公司 介入手术机器人系统及其测力数据的提示及呈现的方法
CN115245387A (zh) * 2022-09-22 2022-10-28 深圳市爱博医疗机器人有限公司 细长型医疗器械递送系统、递送方法、设备及介质
CN115363768A (zh) * 2022-10-27 2022-11-22 北京唯迈医疗设备有限公司 一种介入手术机器人系统及其控制方法和介质
WO2024125291A1 (zh) * 2022-12-12 2024-06-20 上海术之道机器人有限公司 控制医疗介入设备的装置、方法、程序单元及可读介质
CN116597975A (zh) * 2023-04-04 2023-08-15 上海神玑医疗科技有限公司 一种血管介入手术辅助系统及其控制方法
CN116778782A (zh) * 2023-08-25 2023-09-19 北京唯迈医疗设备有限公司 一种介入手术体外模拟训练系统及其控制方法
CN116778782B (zh) * 2023-08-25 2023-11-17 北京唯迈医疗设备有限公司 一种介入手术体外模拟训练系统及其控制方法
CN116966394A (zh) * 2023-09-06 2023-10-31 北京唯迈医疗设备有限公司 一种介入造影手术导管定位方法和系统
CN117393107A (zh) * 2023-12-12 2024-01-12 北京唯迈医疗设备有限公司 一种自动手术介入机器人迭代学习方法和系统及存储介质
CN117393107B (zh) * 2023-12-12 2024-03-15 北京唯迈医疗设备有限公司 一种自动手术介入机器人迭代学习方法和系统及存储介质

Also Published As

Publication number Publication date
WO2024016471A1 (zh) 2024-01-25
CN114917029B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN114917029B (zh) 一种介入手术机器人系统、控制方法和介质
US8055327B2 (en) Automatic guidewire maneuvering system and method
US20190046070A1 (en) System and method for lung visualization using ultrasound
CN102335003B (zh) Ct系统
US20230149102A1 (en) Interventional surgical robot system, control method and medium
EP3291736A1 (en) Microwave ablation planning and procedure systems
WO2016004007A1 (en) Intelligent display
JP2012115635A (ja) 画像処理方法、画像処理装置、画像システム及びプログラムコード
CN115363768B (zh) 一种介入手术机器人系统及其控制方法和介质
CN115252132B (zh) 一种基于介入手术机器人的导航系统、主端遥控导航系统和程序产品
US20220301162A1 (en) Method and device for extracting major vessel region on basis of vessel image
CN115624393B (zh) 一种介入手术机器人系统、提供操纵提示的方法
CN115145453B (zh) 调整医学图像的显示视角的方法、系统及存储介质
WO2021156215A1 (en) Automatic intraluminal imaging-based target and reference image frame detection and associated devices, systems, and methods
CN114886571A (zh) 一种介入手术机器人的控制方法和系统
JP5670145B2 (ja) 医用画像処理装置及び制御プログラム
US20130072773A1 (en) Method and System for Ablation Catheter and Circumferential Mapping Catheter Tracking in Fluoroscopic Images
CN112336460A (zh) 基于贪婪准则的心脑血管介入手术机器人自主路径规划算法
RU2806087C1 (ru) Интервенционная хирургическая роботизированная система, способ управления и носитель данных
CN117064542A (zh) 手术辅助信息展示方法、装置、设备及可读存储介质
Li et al. Research on master-slave isomorphism design and guide wire segmentation of robot for vascular intervention
CN117179894B (zh) 介入手术支架辅助选型和定位的装置、系统和存储介质
DE112022000050T5 (de) System und Steuerverfahren eines Roboters für interventionelle Chirurgie und Medium
EP4111982A1 (en) Systems and apparatuses for navigation and procedural guidance of laser leaflet resection under intracardiac echocardiography
CN114052795B (zh) 一种结合超声自主扫描的病灶成像及防误扎治疗系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant