CN116965937A - 手术机器人系统及其控制装置 - Google Patents

手术机器人系统及其控制装置 Download PDF

Info

Publication number
CN116965937A
CN116965937A CN202210431915.2A CN202210431915A CN116965937A CN 116965937 A CN116965937 A CN 116965937A CN 202210431915 A CN202210431915 A CN 202210431915A CN 116965937 A CN116965937 A CN 116965937A
Authority
CN
China
Prior art keywords
instrument
surgical
target
coordinate system
force
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210431915.2A
Other languages
English (en)
Inventor
王深辉
王牌
高元倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Edge Medical Co Ltd
Original Assignee
Shenzhen Edge Medical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Edge Medical Co Ltd filed Critical Shenzhen Edge Medical Co Ltd
Priority to CN202210431915.2A priority Critical patent/CN116965937A/zh
Priority to PCT/CN2023/082193 priority patent/WO2023202291A1/zh
Publication of CN116965937A publication Critical patent/CN116965937A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05GCONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G5/00Means for preventing, limiting or returning the movements of parts of a control mechanism, e.g. locking controlling member
    • G05G5/03Means for enhancing the operator's awareness of arrival of the controlling member at a command or datum position; Providing feel, e.g. means for creating a counterforce

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及一种手术机器人系统及其控制装置。手术机器人系统包括驱动臂、操作部、及分别与驱动臂和操作部耦接的控制器,控制器被配置成:在第一设备的末端超出第一设备的末端的安全空间的边界时,向第一设备的末端施加虚拟力;将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,第一设备包括驱动臂和操作部中的一个、第二设备包括驱动臂和操作部中的另一个;将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力;控制第二设备中关节组件输出目标关节驱动力。通过上述实施方式,能够确保安全性或可靠性。

Description

手术机器人系统及其控制装置
技术领域
本申请涉及医疗器械领域,特别是涉及一种手术机器人系统及其控制装置。
背景技术
微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备在人体腔体内部施行手术的一种手术方式。相比传统手术方式微创手术具有创伤小、疼痛轻、恢复快等优势。
随着科技的进步,微创手术机器人系统技术逐渐成熟,并被广泛应用。手术机器人系统包括主操作台及从操作设备,从操作设备包括多个具有末端器械的医疗器械,这些医疗器械包括具有图像末端器械的成像器械及具有操作末端器械的手术器械。主操作台包括显示器及操作部。医生在显示器显示的由成像器械提供的视野下,操作操作部以操纵成像器械或手术器械运动。
然而,由于操作部的运动范围和末端器械的运动范围通常不一致,在操作部和末端器械中的某一个到达运动范围的边界时,在超界方向上,由于其持续的操纵或被操纵,容易导致危及安全性或可靠性的问题的发生。
发明内容
基于此,有必要提供一种能够确保安全性或可靠性的手术机器人系统及其控制装置。
一方面,本申请提供一种手术机器人系统,包括:驱动臂;操作部,与所述驱动臂具有运动关联性;控制器,与所述驱动臂和所述操作部耦接,并被配置成:在第一设备的末端超出其安全空间的边界时,向第一设备的末端施加虚拟力;将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,第一设备包括所述驱动臂和所述操作部中的一个、第二设备包括所述驱动臂和所述操作部中的另一个;将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力;控制第二设备中关节组件输出所述目标关节驱动力,以使操作者在第二设备处能感受到阻力。
可选地,所述驱动臂包括操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,包括:将所述末端器械在第一坐标系的虚拟力转换成在第一中间坐标系的虚拟力;根据所述末端器械在第一中间坐标系的虚拟力确定所述操作部在第二中间坐标系需要被施加的真实力;将所述操作部在第二中间坐标系的真实力转换成在第二坐标系的真实力;其中,第一坐标系包括所述医疗器械的基坐标系,第一中间坐标系包括内窥镜坐标系,第二中间坐标系包括显示器坐标系,第二坐标系包括所述操作部的基坐标系。
可选地,所述向第一设备的末端施加虚拟力,包括:获取第一设备的末端超出其安全空间的边界的位置点;根据所述位置点确定施加所述虚拟力的目标方向;向第一设备的末端在所述目标方向上施加所述虚拟力。
可选地,所述安全空间包括圆柱体空间,所述目标方向包括由所述位置点垂直的指向所述圆柱体空间的中心轴的方向。
可选地,所述安全空间包括基于不同条件限定的两个以上的安全空间,第一设备的末端超出不同所述安全空间的边界时,向第一设备的末端施加的虚拟力的大小不同。
可选地,所述虚拟力的大小与所述真实力的大小相同;所述真实力介于3N~10N。
可选地,所述驱动臂包括操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述控制器还被配置成:获取所述末端器械超出其安全空间的边界的第一信息,第一信息包括超界位置、超界次数和超界时间中的一种以上;获取所述末端器械的安全空间关联的手术术式;结合第一信息和所述手术术式确定在所述手术术式下医生的操作熟练度的等级。
可选地,所述手术机器人系统与医院管理系统耦接,所述控制器还被配置成:将与所述手术术式关联、且具有所述医生的操作熟练度的等级的医生信息发送至所述医院管理系统,以供所述医院管理系统基于所述医生信息为患者匹配出合适的医生。
可选地,所述驱动臂包括相互连接的机械臂和操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述机械臂的远端装设有穿刺器,多个所述医疗器械穿过同一个所述穿刺器插入生物体,所述末端器械的不同安全空间与所述穿刺器的取向具有关联,所述控制器还被配置成:获取在所述穿刺器的当前取向下医生实施手术过程中,末端器械超出其安全空间的边界的第一信息,第一信息包括超界位置、超界次数和超界时间中的一种以上;基于获取到的第一信息预测所述穿刺器的目标取向。
可选地,所述穿刺器的不同取向与不同手术术式关联,所述控制器还被配置成:生成包括所述穿刺器的目标取向的视觉信息和/或听觉信息并进行播放;或者,基于所述穿刺器的目标取向生成关联于所述穿刺器的目标取向的目标手术术式的视觉信息和/或听觉信息并进行播放。
可选地,所述穿刺器经过远心不动点,所述穿刺器与生物体连接时,所述远心不动点对应于所述穿刺器与生物体连接的位置,所述控制器还被配置成:根据所述穿刺器的目标取向控制所述机械臂中关节组件运动以使所述穿刺器围绕所述远心不动点运动,并使所述穿刺器的取向达到所述穿刺器的目标取向。
可选地,所述驱动臂包括相互连接的机械臂和操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述机械臂的远端装设有穿刺器,多个所述医疗器械穿过同一个所述穿刺器插入生物体,所述穿刺器经过远心不动点,所述穿刺器与生物体连接时,所述远心不动点对应于所述穿刺器与生物体连接的位置,所述控制器还被配置成:获取在所述穿刺器的当前取向下医生实施手术过程中,末端器械超出其安全空间的边界的第一信息,第一信息包括超界位置、超界次数和超界时间中的一种以上;基于第一信息确定目标中心点;控制所述机械臂中关节组件运动以使所述穿刺器围绕所述远心不动点运动并使所述穿刺器的取向对准所述目标中心点。
可选地,所述医疗器械包括图像器械,所述基于第一信息确定目标中心点,包括:获取所述图像器械捕获的操作图像;结合第一信息和所述操作图像确定所述操作图像中的目标器官;基于所述目标器官确定所述目标中心点。
可选地,所述控制器还被配置成:在所述操作图像中对所述目标器官和/或所述目标中心点进行突出显示。
可选地,所述医疗器械包括手术器械,所述控制器还被配置成:响应于所述穿刺器围绕所述远心不动点运动时所述穿刺器的取向的变化,控制所述操纵器组件中关节组件运动以保持所述末端器械的位置或位姿。
可选地,所述驱动臂包括相互连接的机械臂和操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述机械臂的远端装设有穿刺器,多个所述医疗器械穿过同一个所述穿刺器插入生物体,所述穿刺器经过远心不动点,所述穿刺器与生物体连接时,所述远心不动点对应于所述穿刺器与生物体连接的位置,所述控制器还被配置成:获取在所述穿刺器的当前取向下医生实施手术过程中,末端器械超出其安全空间的边界的第一信息,第一信息包括超界位置、超界次数和超界时间中的一种以上;切换第一操作模式成第二操作模式,第一操作模式包括所述操作部对所述操纵器组件的操纵,第二操作模式包括所述操作部对所述机械臂的操纵。
可选地,所述第二操作模式包括:所述穿刺器的取向跟随所述操作部的取向变化而变化;或者,所述穿刺器的取向跟随所述操作部的位置变化而变化。
可选地,所述控制器还被配置成:基于第一信息确定所述末端器械的安全空间的边界上的第一区段;生成第一区段的图像模型并进行显示。
另一方面,本申请提供一种手术机器人系统的控制方法,所述手术机器人系统包括驱动臂和操作部,与所述驱动臂具有运动关联性,所述控制方法包括:在所述第一设备的末端超出所述第一设备的末端的安全空间的边界时,向所述第一设备的末端施加虚拟力,所述虚拟力的方向相反于所述第一设备的末端超出所述边界的方向;将所述第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,所述第一设备包括所述驱动臂和所述操作部中的一个、所述第二设备包括所述驱动臂和所述操作部中的另一个;将所述第二设备的末端在第二坐标系的真实力换算成所述第二设备中关节组件的目标关节驱动力;控制所述第二设备中关节组件输出所述目标关节驱动力,以使操作者在第二设备处能感受到阻力。
另一方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被配置为由处理器加载并执行实现如上述任一项实施例所述的控制方法的步骤。
另一方面,本申请提供了一种手术机器人系统的控制装置,包括:存储器,用于存储计算机程序;及处理器,用于加载并执行所述计算机程序;其中,所述计算机程序被配置为由所述处理器加载并执行实现如上述任一项实施例所述的控制方法的步骤。
本申请的手术机器人系统及其控制装置,具有如下有益效果:
在第一设备的末端超过安全空间的边界时,通过向该末端施加虚拟力,并将该虚拟力转换成第二设备的真实力,进而控制第二设备中关节组件输出关联于真实力的目标关节驱动力,在第一设备的末端没有和/或不能设置感应超出边界的力传感器的情况下,也能够在第一设备的末端超出安全空间的边界时,使操作者在第二设备处具有明显的力觉触感,即能够感受到第一设备的末端超出其边界时导致的阻力,避免对第一设备的末端的过度操纵;同时,由于无需在第一设备的末端设置力传感器,可以降低成本,也可以简化该末端的结构。
附图说明
图1为本申请手术机器人系统一实施例的主操作台的结构示意图;
图2为本申请手术机器人系统一实施例的从操作设备的结构示意图;
图3为图2所示从操作设备中一实施例的操纵器组件的结构示意图;
图4为本申请手术机器人系统一手术状态下的局部示意图;
图5为本申请手术机器人系统另一手术状态下的局部示意图;
图6为本申请手术机器人系统的控制方法一实施例的流程图;
图7为本申请手术机器人系统的控制方法另一实施例的流程图;
图8为本申请手术机器人系统的控制方法一实施例的状态示意图;
图9为本申请操纵器组件一实施例的安全空间的结构示意图;
图10为本申请手术机器人系统一实施例的末端器械的超界方向的原理图;
图11为本申请手术机器人系统另一手术状态下的局部示意图;
图12为本申请手术机器人系统的控制方法另一实施例的流程图;
图13~图22分别为本申请手术机器人系统中与超界区段相关的显示界面的示意图;
图23为本申请一实施例的手术机器人系统的控制装置的结构示意图。
图24为本申请手术机器人系统另一实施例的从操作设备的结构示意图。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是,本申请可以以许多不同的形式来实现,并不限于本申请所描述的实施方式。相反地,提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
需要说明的是,当元件被称为“设置于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。当一个元件被认为是“耦接”另一个元件,它可以是直接耦接到另一个元件或者可能同时存在居中元件。本申请所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的,并不表示是唯一的实施方式。本申请所使用的术语“远端”、“近端”作为方位词,该方位词为介入医疗器械领域惯用术语,其中“远端”表示手术过程中远离操作者的一端,“近端”表示手术过程中靠近操作者的一端。本申请所使用的术语“第一/第二”等可以表示一个部件以及一类具有共同特性的两个以上的部件。
除非另有定义,本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本申请。本申请所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。本申请中所使用的术语“各”、“多个”包括一个或两个以上。
手术机器人系统包括主操作台和从操作设备。如图1所示,主操作台200包括操作部210和显示器,显示器可选自2D显示器和3D显示其中的一种。如图2所示,从操作设备100包括驱动臂。驱动臂可以被配置成在操作部210的操纵(即遥操作或控制)下运动,这样的运动包括重新定位和/或重新定向,即改变位置和/或取向(即姿态)。驱动臂包括机械臂110和操纵器组件120,如图3所示,操纵器组件120包括活动装配于机械臂110的远端的操纵器130和可拆卸地装配于操纵器130的医疗器械140,医疗器械140可以在操纵器130的驱动下运动。示例性的,操纵器130与机械臂110之间通过关节组件连接,该关节组件包括转动关节组件或平移关节组件,示例性的,操纵器130与机械臂110之间通过平移关节组件连接,进而可实现两者之间的移动,例如,平移关节组件包括平移机构和滑动设置于导轨上的操纵器130,例如,该平移机构例如包括相互耦接的驱动机构和丝杠副,丝杠副包括丝杆和滑动设置于丝杠上的滑台,操纵器130与滑台耦接,控制器通过控制驱动机构驱动滑台相对于丝杆滑动带动操纵器130的移动。
如图4所示,医疗器械140包括成像器械141(又称内窥镜)和手术器械142,医疗器械140包括末端器械150,成像器械141的末端器械包括图像末端器械151,手术器械142的末端器械包括操作末端器械152。医疗器械140通常需要插入生物(包括人或动物)体内工作。成像器械141的图像末端器械151用于捕获操作图像,手术器械142的操作末端器械152用于执行如剪切、缝合、切割、灼烧、清洗、抽吸气液等手术操作。
一些实施例中,操作部210经配置可以操纵驱动臂的任何构成,这些构成包括驱动臂的任何关节组件。示例性的,操作部210对驱动臂的末端的操纵可以通过操纵该末端近端的多个关节组件实现。驱动臂的末端可以被自由定义,例如,驱动臂的末端包括驱动臂中第一部分的末端。例如,驱动臂包括多段臂体(如机械臂110和操纵器组件120)时,任一段臂体可以作为第一部分被操纵,任意臂体的末端都可以被选择性地配置成驱动臂的末端,且,操作部210可以被配置成通过操纵该段臂体中关节组件运动而操纵该段臂体的末端运动。
一些实施例中,驱动臂的末端被配置成包括末端器械150。该驱动臂的末端可以包括图像末端器械151,也可以包括操作末端器械152。例如,该末端包括图像末端器械151时,医生通过显示器观察该图像末端器械151捕获的操作图像,进而通过操作部210操纵与图像末端器械151关联的臂体运动从而对图像末端器械151进行重新定位和/或重新定向。又例如,该末端包括操作末端器械152时,医生通过显示器观察该图像末端器械151捕获的操作图像,进而通过操作部210操纵与操作末端器械152关联的臂体运动从而对操作末端器械152进行重新定位和/或重新定向。
示例性的,驱动臂的末端包括末端器械150时,可以根据需要将驱动臂中末端器械150近端的任何关节组件配置成可由操作部210操纵从而实现对末端器械150的重新定位和/或重新定向,其中,这些被配置成可被操纵的关节组件可以来源于任何一段或两段以上的臂体中的关节组件。例如,可被操纵的关节组件可以来源于操纵器130,进而通过操纵操纵器130实现对末端器械150的重新定位和/或重新定向。又例如,可被操纵的关节组件可以来源于医疗器械140,进而通过操纵医疗器械140实现对末端器械150的重新定位和/或重新定向。又例如,可被操纵的关节组件可以来源于操纵器组件120,进而通过操纵操纵器组件120(包括操纵器130和医疗器械140)实现对末端器械150的重新定位和/或重新定向。又例如,可被操纵的关节组件可以来源于机械臂110,进而通过操纵机械臂110实现对末端器械150的重新定位和/或重新定向。又例如,可被操纵的关节组件可以来源于机械臂110和操纵器组件120,进而通过操纵机械臂110和操纵器组件120(包括操纵器130和医疗器械140)实现对末端器械150的重新定位和/或重新定向。
一些实施例中,驱动臂的末端被配置成包括机械臂110的末端。继续参阅图4,示例性的该机械臂110的末端包括可拆卸连接于机械臂110远端的穿刺器160,穿刺器160用于与生物体的切口或自然腔道连接形成气密通道,以供医疗器械140经过该气密通道插入生物体。请参阅图5,在手术时,通常需要保持穿刺器160与生物体连接处的位置不变,以避免穿刺器160位置改变导致的应力撕裂切口或自然腔道。例如,驱动臂的末端包括穿刺器160时,医生通过操作部210操纵与穿刺器160关联的臂体即机械臂110运动即可对穿刺器160进行重新定向,对穿刺器160的重新定向包括穿刺器160围绕远程运动中心运动。当然,在穿刺器160不连接生物体时,也可以通过操纵机械臂110运动对穿刺器160进行重新定位和/或重新定向。
一些实施例中,操作部210和驱动臂之间可以被配置成具有运动关联性。也即,操作部210和驱动臂中一个的运动可以被配置成导致另一个相应的运动。
一些实施例中,手术机器人系统包括主从跟随模式,主从跟随模式包括医生通过操作操作部210对驱动臂进行操纵。示例性的,主从跟随模式包括医生通过操作操作部210操纵操纵器组件120运动进而实现对末端器械150的重新定位和/或重新定向。
一些实施例中,操作部210的数量包括一个以上,操作部210操纵的目标对象包括一个以上。在如图3所示的从操作设备100中,驱动臂包括两个以上的操纵器组件120,这些操纵器组件120均装设于机械臂110远端。例如,医生通过操作操作部210操纵操纵器组件120运动时,对于同一个操纵器组件120的末端器械150而言,医生可以操作一个操作部210对该末端器械150进行操纵,也可以同时操作两个操作部210该末端器械150进行操纵。
一些实施例中,手术机器人系统包括主从对齐模式,主从对齐模式包括操作部210对齐驱动臂的运动而运动。示例性的,主从对齐模式包括医生可以通过操作驱动臂操纵操作部210运动。例如,主从对齐模式包括医生通过拖动机械臂110的末端如穿刺器160运动而操纵操作部210进行相应的运动。例如,医生可以操作一个穿刺器160而对一个或两个操作部210进行操纵。
一些实施例中,继续参阅图1和图2,操作部210和驱动臂分别包括多个关节组件。这些关节组件可选自转动关节组件和平移关节组件中的至少一种。例如,这些关节组件包括主动关节组件;又例如,这些关节组件包括主动关节组件和从动关节组件,主动关节组件可以被驱动,从动关节组件不能被驱动、而在主动关节组件的带动下运动。通常,主动关节组件包括可电控的驱动机构,示例性的,可电控的驱动机构包括电机、电磁铁、具备可电控的阀体的压力缸中的一种以上,这样的主动关节组件通常可以输出关节驱动力,有利于实现力的控制,例如有利于实现力的平衡、力的反馈等。
一些实施例中,手术机器人系统还包括控制器。例如,控制器可以部署于主操作台200。又例如,控制器可以部署于从操作设备100。又例如,控制器可以部署在云端。又例如,控制器包括第一控制器和第二控制器,第一控制器部署于主操作台200,第二控制器部署于从操作设备100;或者,第一控制器部署在云端,第二控制器部署于主操作台200或从操作设备100。又例如,控制器包括第一控制器、第二控制器及第三控制器,第一控制器部署于主操作台200,第二控制器部署于从操作设备100,第三控制器部署于云端。其中,控制器包括一个或多个处理器,多个步骤可以在一个处理器中执行,也可以在多个处理器中执行。
控制器通常与可电控的部件耦接。例如,控制器分别与操作部210、显示器及驱动臂耦接,控制器与驱动臂耦接,包括控制器与机械臂110、操纵器130及医疗器械140耦接。为方便描述,可以将操作部210和驱动臂中的一个作为第一设备、并将操作部210和驱动臂中的另一个作为第二设备。例如,第一设备包括驱动臂时,第二设备包括操作部210;又例如,第一设备包括操作部210时,第二设备包括驱动臂。其中,驱动臂的任何构成都可以作为所述的设备,例如,机械臂110和/或操纵器组件120可以被作为所述的设备来描述。
在第一设备和第二设备具有运动关联性时,如图6所示,该控制器可以被配置成:
步骤S11,当第一设备的末端超出第一设备的末端的安全空间的边界时,向第一设备的末端施加虚拟力。
其中,术语“超出”包括“达到”和/或“超越”的含义。
该步骤并不真实的给第一设备的末端施加力,即该步骤并不控制第一设备中相应关节组件实际的输出关节驱动力,而是虚拟地给第一设备的末端施加一个力(例如阻力),以假设第一设备的末端受到力(例如阻力)。
其中,该虚拟力的方向相反于该第一设备的末端超出该安全空间的边界的方向。
步骤S12,将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力。
该第一坐标系示例性的包括第一设备的基坐标系,第二坐标系示例性的包括第二设备的基坐标系。
通常,虚拟力到真实力之间的转换可以借助一次以上的坐标换算实现。
示例性的,真实力的大小可以与虚拟力的大小相等,例如,虚拟力被配置成10N时,转换得到的真实力亦为10N。
示例性的,真实力的大小也可以不等于虚拟力的大小,例如,真实力的大小和虚拟力的大小存在线性的放大关系或缩小关系,例如,虚拟力被配置成10N时,当设置放大系数为2时,真实力被配置成20N,当设置缩小系数为2时,真实力被配置成5N;或者,真实力的大小和虚拟力的大小存在特定的偏置值,例如,该偏置值固定为+2N,虚拟力被配置成5N时,真实力对应被配置成7N,又例如,该偏置值固定为-2N时,虚拟力被配置成5N时,真实力对应被配置成3N。
一些实施例中,在第一设备包括驱动臂、第二设备包括操作部210的场景下,经过转换获得的真实力在3N~10N范围内时,既不会增加医生操作操作部210的负担,又能够较为明显的感受到驱动臂的末端超出了边界。较佳的,经过转换获得的真实力在5N~8N范围内时,通常具有更佳的人体工程学体验。
步骤S13,将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力。
其中,示例性的,可以根据动力学的方法将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力。示例性的,也可以根据运动学的方法将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力,例如,可以根据力域中的雅可比的方法将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力。对于本领域技术人员而言,可知悉本文所描述的各种“力”包括力和/或力矩。例如,目标关节驱动力包括目标关节驱动力和/或目标关节驱动力矩。
步骤S14,控制第二设备中关节组件输出相应的目标关节驱动力。
其中,关节组件包括电机时,输出目标关节驱动力的是相应电机;关节组件包括压力缸时,输出目标关节驱动力的是相应压力缸;关节组件包括电磁铁时,输出目标关节驱动力的是相应电磁铁。
通过上述步骤S11~S14,在第一设备的末端没有和/或不能设置感应超出边界的力传感器的情况下,也能够在第一设备的末端超出安全空间的边界时,使操作者在第二设备处具有明显的力觉触感(即阻力),即能够感受到第一设备的末端超出其边界时导致的阻力,避免对第一设备的末端的过度操纵;同时,由于无需在第一设备的末端设置力传感器,不仅可以降低成本,也可以简化该末端的结构。
一些实施例中,第一设备例如包括操纵器组件120,第一设备的末端包括操纵器组件120的末端,操纵器组件120的末端包括末端器械150,该末端例如是末端器械150上的某个特征点或特征区域。第二设备包括操作部210,操作部210的末端示例性的包括腕部220,该末端例如是腕部220上的某个特征点或特征区域。在主从跟随操作模式下,操作部210通过操纵操纵器组件120运动而实现对末端器械150的重新定位和/或重新定向,可以以此为例对上述步骤S11~步骤S14进行说明。如图7所示,尤其在上述步骤S12中,即将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,包括:
步骤S121,将末端器械在第一坐标系的虚拟力转换成在第一中间坐标系的虚拟力。
步骤S122,根据末端器械在第一中间坐标系的虚拟力确定操作部在第二中间坐标系需要被施加的真实力。
步骤S123,将操作部在第二中间坐标系的真实力转换成在第二坐标系的真实力。
其中,第一坐标系示例性的包括医疗器械140的基坐标系,例如,医疗器械140的基坐标系被配置成在医疗器械140近端与操纵器130连接的端面;第一中间坐标系示例性的包括图像末端器械151的工具坐标系,图像末端器械151的工具坐标系有时也称为内窥镜坐标系,例如,内窥镜坐标系被配置成在图像末端器械151的远端面;第二中间坐标系示例性的包括显示器坐标系,例如,显示器坐标系被配置成在显示器的显示面;第二坐标系示例性的包括操作部210的基坐标系,例如,操作部210的基坐标系被配置成在操作部210近端与主操作台200连接的位置。
通过上述步骤S121~步骤S123所获得的真实力,能够在主从操作模式下,向医生提供操作时直觉的力反馈。其中,“直觉”包括医生在显示器观察到的末端器械150的运动方向和医生操作操作部210的运动方向一致。例如,可参阅图8,操作部210操纵末端器械150运动,当末端器械150达到其安全空间的边界时,医生眼睛在显示器显示的操作图像中看到的末端器械150的受力F与医生操作操作部210感受到的受力F’的方向基本一致,进而具有接近直觉的体验。
一些实施例中,上述的安全空间被配置成包括一种以上的设定空间。例如,安全空间包括第一设定空间、第二设定空间、第三设定空间及第四设定空间中的一种以上。示例性的,如图9所示,第一设定空间包括基于第一设备中关节组件的硬件限位构成的可达空间。示例性的,第二设定空间包括基于第一设备中关节组件的无障碍工作空间构成的可达空间,该第二设定空间小于等于第一设定空间,主要考虑例如客观环境因素例如实质存在的墙壁等对第一设备的末端的阻碍因素。示例性的,第三设定空间包括基于第一设备中关节组件的软件限位构成的可达空间。示例性的,第四设定空间包括基于成像器械的视野空间构成的可达空间。
当安全空间被配置成包括两种以上的设定空间时,为了确保相对安全性,示例性的可以采用的安全空间包括这些设定空间之间的重叠空间(即交集区域),该安全空间的边界对应包括重叠空间的边界。
一些实施例中,对于安全空间包括多种设定空间的情况,考虑物理条件限制的设定空间的优先级相对高于考虑软件条件限制的优先级。以上述的第一~第四设定空间为例,第一设定空间和第二设定空间考虑了物理条件限制,第三设定空间和第四设定空间考虑了软件条件限制,故第一设定空间和第二设定空间的优先级相对高于第三设定空间和第四设定空间的优先级。其中,优先级越高的设定空间通常越不允许第一设备的末端超越其边界。
对于安全空间包括多种设定空间的情况,通常希望禁止第一设备的末端超过任何设定空间的边界的操纵行为,虽然具有多种设定空间的安全空间在多数情况下是有益的,但安全空间包含多个设定空间时对于第一设备的末端的运动范围的约束作用也很明显。因而,多个设定空间具有不同优先级的情况下,允许第一设备的末端适当超越优先级较低的设定空间的边界以适度扩大第一设备的末端的运动范围,主要包括允许其适当超越考虑软件条件限制的设定空间的边界,如上述的第三设定空间和/或第四设定空间的边界。在第一设备的末端达到较低优先级的设定空间的边界时,例如,可以通过人机交互的方式确定是否允许超越该设定空间的边界;又例如,可以默认允许/超越该设定空间的边界。
一些实施例中,对于安全空间包括多种设定空间的情况,尤其是这些设定空间具有不同优先级时,可以在允许第一设备的末端超越优先级较低的设定空间的边界时具备相同或不同的虚拟力(或真实力)。示例性的,可以配置成优先级越低对应的虚拟力(或真实力)越小。
一些实施例中,上述的安全空间可以根据第一设备的构成特点(包括连杆参数、关节参数)被构建成多种立体结构空间的一种,上述的安全空间也可以结合第一设备的构成特点和软件条件被构建成多种立体结构空间的一种。这些立体结构空间包括规则或不规则的立体结构空间,较佳的,这些立体结构空间包括规则的立体结构空间,例如,包括球体空间、锥体空间及圆柱体空间中的一种。例如,对于第一设备包括操纵器组件120而言,第一设备的末端即为末端器械150,示例性的,可以将末端器械150的安全空间构建成圆柱体空间,有助于较为容易地确定末端器械150的超界方向。
一些实施例中,上述步骤S11,即向第一设备的末端施加虚拟力,包括:
获取第一设备的末端超出第一设备的末端的安全空间的边界的位置点;根据该位置点确定施加虚拟力的目标方向;向第一设备的末端在该目标方向上施加虚拟力。
示例性的,该目标方向包括由该位置点指向该安全空间的中心的方向。示例性的,结合图9和图10参阅,在该安全空间包括圆柱体空间时,该目标方向包括由该位置点指向圆柱体空间的中心轴的方向,例如,该目标方向包括由该位置点垂直的指向圆柱体空间的中心轴的方向。
其中,被施加在第一设备的末端的虚拟力包括虚拟合力,该虚拟合力包括至少两个虚拟分力。示例性的,继续参阅图10,假设第一设备的末端例如末端器械150超出其安全空间的边界在笛卡尔空间的xy平面,且获取的超界时的位置点包括P(x,y),根据tanθ=Py/Px的三角函数,可以确定虚拟分力Fx与虚拟合力F之间的夹角例如θ,进而,可以确定例如在位置自由度x上的虚拟分力Fx=Fcosθ、在位置自由度y上的虚拟分力Fy=Fsinθ,即F(Fcosθ,Fsinθ)。
在后续处理中,即包括对这些虚拟分力进行坐标转换获得对应的真实分力,然后利用如动力学或运动学,例如运动学中的力域中的雅可比对这些真实分力进行计算获得第二设备中关节组件的目标关节驱动力。
一些实施例中,手术时,在主从跟随模式下,医生利用操作部210操纵的是操纵器组件120,因而可以将第一设备配置成操纵器组件120,进而第一设备的末端包括末端器械150。被操纵的操纵器组件120中的医疗器械140包括成像器械141和/或手术器械142。控制器可以被配置成:
获取末端器械超出该末端器械的安全空间的边界的第一信息,并基于该第一信息评估医生的操作熟练度的等级。可以在手术实施过程中或者手术实施结束后向医生通过如视觉、听觉和触觉中至少一种方式反馈其操作熟练度的等级。
该第一信息包括超界位置、超界次数和超界时间中的一种以上。超界位置可以通过正运动学计算出来。该超界次数包括关联于超界位置的超界次数和/或总的超界次数。总的超界次数可以通过每次超界累加一次的计数方式直接获取,也可以通过计算各超界位置的超界次数的总和获取。超界时间包括末端器械关联于超界位置的停留时间,包括在超界位置的单次超界时间和/或总的超界时间,其中,总的超界时间包括在一个超界位置的总的超界时间和/或在全部超界位置的总的超界时间。在一段手术期间内,可以基于超界位置判断医生的操作熟练度。示例性的,若超界位置出现在正常手术时不应该出现的区域或位置,可以确定医生的操作熟练度不佳;若超界位置未出现在正常手术时不应该出现的区域或位置,可以确定医生的操作熟练度较佳。
在一段手术期间内,可以基于总的超界次数判断医生的操作熟练度。示例性的,若超界次数未达到第一阈值,可以确定医生的操作熟练度为优秀;若超界次数达到第一阈值且未达到第二阈值,可以确定医生的操作熟练度为良好;若超界次数达到第二阈值且未达到第三阈值,可以确定医生的操作熟练度为合格;若超界次数达到第三阈值,可以确定医生的操作熟练度为不合格。其中,该第一阈值、第二阈值及第三阈值逐级增大。当然,也可以配置更少等级的阈值水平对医生的操作熟练度进行简单分级;也可以配置更多等级的阈值水平来对医生的操作熟练度进行细致分级。
在一段手术期间内,可以基于关联于超界位置的超界次数判断医生的操作熟练度。示例性的,若超界位置出现在正常手术时不应该出现的区域或位置的超界次数未达到第一阈值,可以确定医生的操作熟练度优秀;若超界位置出现在正常手术时不应该出现的区域或位置的超界次数达到第一阈值、未达到第二阈值,可以确定医生的操作熟练度良好;若超界位置出现在正常手术时不应该出现的区域或位置的超界次数达到第二阈值、未达到第三阈值,可以确定医生的操作熟练度合格;若超界位置出现在正常手术时不应该出现的区域或位置的超界次数达到第三阈值,可以确定医生的操作熟练度不合格。其中,该第一阈值、第二阈值及第三阈值逐级增大。当然,也可以配置更少等级的阈值水平对医生的操作熟练度进行简单分级;也可以配置更多等级的阈值水平来对医生的操作熟练度进行细致分级。
在一段手术期间,可以基于关联于超界位置的超界时间判断医生的操作熟练度。示例性的,假设超界时间(例如在一个以上的超界位置的单次超界时间)未达到第一阈值,可以确定医生的操作熟练度优秀;若超界时间达到第一阈值、未达到第二阈值,可以确定医生的操作熟练度良好;若超界时间达到第二阈值、未达到第三阈值,可以确定医生的操作熟练度合格;若超界时间达到第三阈值,可以确定医生的操作熟练度不合格。其中,该第一阈值、第二阈值及第三阈值逐级增大。
此外,还可以配置包含更多的评价因素,来对医生的操作熟练度进行更为细致的评估。示例性的,该更多的评价因素包括手术术式,不同手术术式通常关联了对应于末端器械的不同的安全空间。针对医生在某个特定手术术式下的操作情况进行操作熟练度的评估,将使得评估获得的评价结果更具针对性和参考性。
为便于理解,举例手术术式按大类别划分包括耳鼻咽喉科手术术式、前列腺科手术术式、肾科手术术式、胃肠外科手术术式、肝胆外科手术术式、胸科手术术式、妇科手术术式、心脏外科手术术式。进一步地,举例手术术式按小类别划分,以肝胆外科手术术式为例,包括如肝移植手术术式、肝叶切除手术术式、胆囊切除手术术式、胰十二指肠切除手术术式、脾脏切除手术术式等。例如,对于涵盖于肝胆外科手术术式的不同小类别的手术术式,它们通常关联了相应于末端器械的不同的安全空间。
一些实施例中,可以结合当前的安全空间关联的手术术式和末端器械在超出该安全空间的边界的第一信息,对医生的操作熟练度进行评估,该评估结果包括了特定手术术式下的操作熟练度。
其中,该第一信息包括超界位置、超界次数和超界时间中的一种以上。该超界次数包括关联于超界位置的超界次数和/或总的超界次数。总的超界次数可以通过每次超界累加一次的计数方式直接获取,也可以通过计算各超界位置的超界次数的总和获取。
示例性的,可以基于总的超界次数判断医生的操作熟练度。例如,在对应于该手术术式而实施手术的一段手术期间,若超界次数未达到第一阈值,可以确定医生在该手术术式下的手术的操作熟练度为优秀;若超界次数达到第一阈值且未达到第二阈值,可以确定医生在该手术术式下的手术的操作熟练度为良好;若超界次数达到第二阈值且未达到第三阈值,可以确定医生在该手术术式下的手术的操作熟练度为合格;若超界次数达到第三阈值,可以确定医生在该手术术式下的手术的操作熟练度为不合格。
一些实施例中,上述阈值水平的设置,例如包括第一~第四阈值的设置,可以基于相同手术术式关联的相同安全空间下,同一个医生的多次操作数据,和/或,不同医生的单次或多次操作数据来进行大数据分析及确定。其中,该操作数据包括超界位置和/或超界次数。可选地,操作数据还可以包括手术时间、手术成功度、手术中断时间、手术中断次数中的一种以上。
控制器基于上述获取的第一信息,不仅可以对医生手术时的操作熟练度进行评估,还可以实现其他与手术术式和/或安全空间具有关联性的功能。
上述实施例不但适用于具有如图2所示的第一从操作设备100的手术机器人系统,也适用于具有如图24所示的第二从操作设备100’的手术机器人系统。图1关联的手术机器人系统包括单孔手术机器人系统,图24关联的手术机器人系统包括多孔手术机器人系统。。第一从操作设备100的驱动臂和第二从操作设备100’的驱动臂具有基本相同的构成,第二从操作设备100’也包括机械臂110’和操纵器组件120’。
其中,无论是第一从操作设备100,还是第二从操作设备100’,对于操纵器组件120(120’)而言,机械臂110(110’)包括多个共享的关节组件,机械臂110(110’)中这些共享的关节组件的运动将引起多个操纵器组件120(120’)共同的运动。例如在主从跟随模式下进行手术时,医生都可以利用操作部210对操纵器组件120(120’)进行操纵进而操纵末端器械实施手术,不同操纵器组件120(120’)之间的关节组件相互独立,因而不同操纵器组件120(120’)之间的运动具有相对独立性,即其中一个操纵器组件120(120’)的运动不会导致其他操纵器组件120(120’)的运动。
第一从操作设备100和第二从操作设备100’的不同之处一方面体现在:
第一从操作设备100的机械臂110相较于第二从操作设备100’的机械臂110’包括更多有效自由度的关节组件,例如,第一从操作设备100的机械臂110包括五个有效自由度,而第二从操作设备100’的机械臂110’包括三个有效自由度。
第一从操作设备100的操纵器130相较于第二从操作设备100’的操纵器130’包括更少自由度的关节组件,例如,第一从操作设备100的操纵器130包括连接并驱动医疗器械140的动力机构,该动力机构提供包括一个沿着穿刺器160轴向的有效自由度;而第二从操作设备100’的操纵器130’包括RC(Remote Center,远程运动中心)臂和滑动设置于RC臂远端的动力机构,动力机构连接并驱动医疗器械140,该动力机构提供包括一个沿着穿刺器160’轴向的有效自由度,该RC臂提供围绕穿刺器160’的轴向(例如围绕穿刺器160’轴向上的远程运动中心)旋转的至少两个有效自由度(例如包括俯仰自由度、偏航自由度),该RC臂采用平行四边形机构的原理构成。第一从操作设备100的医疗器械140相较于第二从操作设备100’的医疗器械140’包括更多有效自由度的关节组件,例如,第一从操作设备100的医疗器械140包括除其操纵器130提供的一个有效自由度之外的五个有效自由度,第二从操作设备100’的医疗器械140’包括除其操纵器130’提供的三个有效自由度之外的三个有效自由度。第二操作设备还可以包括功能与机械臂110’和操纵器组件120’不同、独立且连接于机械臂110’和多个操纵器130’之间的多个调整臂170’,其适用于对操纵器组件120’进行一个合理范围的精确调节。此外,第一从操作设备100中的一个穿刺器160连接于机械臂110的远端,第二从操作设备100’中的多个穿刺器160’分别连接于RC臂远端。
其中,对于有效自由度的描述通常是基于笛卡尔空间描述的,可参阅中国专利公开号CN110463379A所记载的内容,该内容可以被全部引用到本申请中。
第一从操作设备100和第二从操作设备100’的不同之处另一方面体现在:第一从操作设备100中的多个医疗器械140穿过与生物体连接的同一个穿刺器160插入生物体内,其需要供穿刺器160连接的切口或自然腔道口少,有利于患者术后康复;第二从操作设备100’中的多个医疗器械140’分别穿过与生物体连接的不同穿刺器160’插入生物体内,其需要供穿刺器160’连接的切口或自然腔道口相对更多。
一些实施例中,第一从操作设备100中操纵器组件120可以为末端器械150独立提供较为充足的有效自由度,“较为充足”包括满足相应手术术式的实施即可,并不以实际有效自由度的数量作为唯一衡量标准。例如,操纵器130(也称为动力机构)相对于机械臂110的平移为末端器械150提供一个有效自由度,该有效自由度包括与穿刺器160的轴向一致的自由度;医疗器械140自身的关节组件为末端器械150提供不同于操纵器130提供的有效自由度的另外多个有效自由度,例如另外的三个、四个或五个有效自由度。
由于操纵器组件120可以独立为末端器械150提供较为充足的有效自由度以满足多种手术术式的实施,例如,在操纵器组件120可以为末端器械150独立提供六个有效自由度时,因此,多数场景下,可以锁定穿刺器160的位姿,即保持穿刺器160的位置和取向,而仅对操纵器组件120进行操纵即可,可以有效减少穿刺器160运动可能产生的应力对生物体的伤害。
一些实施例中,对于前文举例说明的不同手术术式,可能允许多个不同大类型的手术术式通过生物体的同一个切口或自然腔道口实施手术,例如可能允许肾科手术术式、胃肠外科手术术式、肝胆外科手术术式通过同一个切口或自然腔道口实施手术;也可能允许同一大类型的手术术式中多个不同小类型的手术术式通过生物体的同一个切口或自然腔道口实施手术,例如可能允许肝胆外科手术术式中的肝移植手术术式、肝叶切除手术术式、胆囊切除手术术式、胰十二指肠切除手术术式、脾脏切除手术术式通过同一个切口或自然腔道口实施手术。
继续参阅图5,由于穿刺器160连接生物体,在关联于同一切口或同一自然腔道口的手术术式之间需要相互切换时,至多允许穿刺器160围绕远程运动中心进行运动,即保持穿刺器160位置、改变穿刺器160取向的运动。其中,在穿刺器160连接于机械臂110时,穿刺器160经过远程运动中心,即该远程运动中心通常可以被配置于穿刺器160上,例如,该远程运动中心被配置成在穿刺器160与切口或自然腔道口连接的位置,使得穿刺器160围绕远程运动中心运动时,不会损伤切口或自然腔道口。
一些实施例中,第一设备的末端的安全空间包括该末端的运动范围,该运动范围与第一设备的构成紧密相关。不考虑该安全空间在笛卡尔空间内相对于参考坐标系的平移和/或旋转时,该安全空间是绝对意义上的安全空间。考虑到该安全空间在笛卡尔空间内相对于参考坐标系的平移和/或旋转,该安全空间是相对意义上的安全空间。由于本申请中安全空间相较于参考坐标系经常发生平移和/或旋转,故本申请所描述的安全空间主要包括相对意义上的安全空间。
一些实施例中,以操纵器组件120作为第一设备为例,在绝对意义上,操纵器组件120的末端即末端器械150的安全空间与操纵器组件120的构成相关;在相对意义上,操纵器组件120的末端即末端器械150的安全空间既与操纵器组件120的构成相关、还与该安全空间在笛卡尔空间内相对于参考坐标系的平移和/或旋转相关。示例性的,末端器械150的安全空间可以基于操纵器组件120的基坐标系确定。在绝对意义上,例如,不同末端器械150可以被配置成具有不同的安全空间,例如,不同末端器械150的安全空间是基于与操纵器组件120关联的不同基坐标系确定的;又例如,不同末端器械150可以被配置成具有相同的安全空间,例如,不同末端器械150的安全空间是基于与多个操纵器组件120关联的同一基坐标系确定的,例如,继续参阅图3,在第一操作设备中,该同一基坐标系可以被配置成多个操纵器130处于初始位置时,由多个操纵器130近端所在平面构成的同一个平面上,例如该基坐标系的原点为该同一个平面的中心点。
一些实施例中,在操纵器组件120作为第一设备的场景下,请参阅图11,为表达简洁,特意省略了操纵器组件120而仅保留穿刺器160进行示意。如图11所示,由于不同手术术式通常要求穿刺器160具有不同的取向,因而在相对意义上,末端器械150的安全空间具有关联于穿刺器160的取向的不同,也即穿刺器160的取向相对于某个参考坐标系发生改变时,末端器械150的安全空间相对于该参考坐标系也具有关联的改变。换言之,对应于不同的手术术式,末端器械150通常具有不同的安全空间。示例性的,该参考坐标系包括机械臂110的基坐标系。
示例性的,请继续参阅图9,穿设于同一个穿刺器160的多个不同末端器械150的安全空间可以被配置成具有同一个安全空间。该同一个安全空间例如可以取多个不同末端器械150的安全空间的交集空间。该同一个安全空间示例性的与穿刺器160的取向轴线相关联,取向轴线有时又称RC轴线、中心轴线。该同一个安全空间例如包括圆柱体安全空间时,其中心轴例如包括穿刺器160的取向轴线。因而,穿刺器160的取向与手术术式通常存在关联性,也即,穿刺器160的取向的改变会引起手术术式的改变,或,手术术式的改变会引起穿刺器160的取向的改变。
一些实施例中,在医生操作操作部210操纵操纵器组件120进行手术时,控制器被配置成:记录该手术过程关联的手术术式,同时,评估并记录该手术术式下医生的操作熟练度。
一些实施例中,考虑到第一从操作设备100与供患者躺卧的手术床之间的相对位姿关系不同、及/或患者个体特征(包括体型、性别、年龄等)的差异性,可以通过不断对包括关联了手术术式及其对应的穿刺器160的取向的模型进行训练,如利用卷积神经网络模型进行训练,以获得对应于第一从操作设备100和手术床具有特定位姿关系和/或具有特定个体体征的更为准确的手术术式及其对应的穿刺器160的取向。
一些实施例中,控制器还可以被配置成:
获取患者信息。其中,该患者信息包括患者的身份信息和需要接受的目标手术术式的信息,该目标手术术式可以是预先评估出来的,例如,目标手术术式为胆囊切除手术术式。
获取医生信息。其中,该医生信息包括多个手术术式关联的医生的身份信息和操作熟练度的信息。
结合患者信息和医生信息为患者推荐合适的医生。其中,包括从多个手术术式中匹配出关联于目标手术术式的操作熟练度达到预设等级的医生。示例性的,假设操作熟练度包括从低到高的不合格、合格、良好及优秀四个等级,预设等级例如可以被配置成良好,故可以把目标手术术式下操作熟练度达到良好和优秀的医生推荐给患者。在推荐的医生具有多名时,优选的,可以按照基于操作熟练度的等级从高到低的顺序进行推荐。
一些实施例中,患者信息还包括患者的接收手术时间,医生信息还包括医生的排班时间,在为患者推荐为其实施手术的医生时,控制器还可以被配置成:
从多个手术术式中匹配出关联于目标手术术式的操作熟练度达到预设等级、且排班时间符合接收手术时间的医生。
例如,仍可以优先按照操作熟练度的等级从高到底的顺序进行推荐;又例如,可以以患者的接收手术时间和/或医生的排班时间为第一因素、结合医生的操作熟练度为第二因素综合排序进行推荐,在该第一因素中,患者的接收手术时间和医生的排班时间应当不冲突,即两者时间应当匹配,更具体的,在患者的接收手术时间,医生的排班时间具有空闲而没有其他重要安排,例如没有其他手术安排。当然,在推荐的医生的排班时间与患者的接收手术时间存在冲突时,可以基于上述患者信息和医生信息重新为患者安排接收手术时间。
上述的推荐通常在术前规划前实现,这些推荐的信息例如可以提供给能够与手术机器人系统进行通讯的医院管理系统(Hospital Information System,HIS),以便于医院通过该HIS并借鉴上述推荐的信息对医生和/或患者进行安排(即配置),例如,对医生进行安排,包括分配患者、分配接收手术时间及分配手术机器人系统中的一种以上;又例如,安排患者进行安排,包括分配医生、分配实施手术时间及分配手术机器人系统中的一种以上。
进一步地,多个手术机器人系统通过与HIS通讯,手术机器人系统中的控制器可以被配置成:获取HIS系统配置的关联于某个患者的信息,该信息包括分配的医生、分配的接收手术时间及分配的手术机器人系统中的一种以上。控制器进一步被配置成:对于分配的手术机器人系统,仅允许分配的医生在分配的实施手术时间登录手术机器人系统,以对手术机器人系统进行操作。这样的设置,可以防止其他医生在特定时间内对特定手术机器人系统的占用,影响对特定患者实施手术。
在一些实施例中,控制器还可以根据医生通过操作部210对操纵器组件120的操纵,对穿刺器160的取向进行预测(相当于对手术术式进行预测)。因此,如图12所示,控制器还可以被配置成用于执行:
步骤S21,获取在穿刺器的当前取向下医生实施手术过程中末端器械超出其安全空间的边界的第一信息。
该第一信息包括超界位置、超界次数和超界时间中的一种以上。该超界次数包括关联于超界位置的超界次数和/或总的超界次数。总的超界次数可以通过每次超界累加一次的计数方式直接获取,也可以通过计算各超界位置的超界次数的总和获取。超界时间包括末端器械关联于超界位置的停留时间,包括在超界位置的单次超界时间和/或总的超界时间,其中,总的超界时间包括在一个超界位置的总的超界时间和/或在全部超界位置的总的超界时间。
步骤S22,基于获取到的第一信息预测穿刺器的目标取向。
穿刺器160的不同取向通常关联于不同手术术式,目标取向通常不同于当前取向。
一些实施例中,基于获取到的第一信息预测穿刺器的目标取向,包括:响应于获取到第一指令,基于获取到的第一信息预测穿刺器的目标取向。
一些实施例中,第一指令可以包括控制器处理并获得的第一指令,也即对于穿刺器160的取向的预测是自动触发的。例如,在穿刺器160的当前取向下实施手术的手术期间内,控制器可以基于第一信息确定末端器械150在其安全空间的边界上频繁超界的第一区段,在能够确定出该第一区段时,控制器即可获取到第一指令。该第一区段包括边界上一个以上的点构成的区域,由于这些点的位置本身就可以根据运动学确定,进而该第一区段作为点的集合,其覆盖的所有点的位置也是可以确定的。
示例性的,可以事先将边界划分成多个区段,该第一区段的确定包括根据统计划分好的多个区段中的超界次数是否达到阈值来确定,如果达到阈值,确定对应的一个区段为第一区段,其中,由于在该手术期间内,多个区段中的超界次数达到阈值的可能包括1个以上,故第一区段可能包括1个以上,如1个、2个或更多个。例如,假设该安全空间的边界(例如关联于xy平面的边界)为圆形,可以将该边界划分成包括2个以上的区段,例如2、3、4、5、6……120个区段,当然,也可以包含更多的区段。这些区段可以被配置成等分、或部分等分、或不等分,例如,这些区段可以被配置成等分的区段。通常,划分的区段越多,对于准确预测出穿刺器160的目标取向通常更为有益。如图13所示,例如可以事先将边界划分成区段1~8,其中,末端器械150在区段1~8均有过超界,根据统计,区段1的超界次数最多次发生,故可以确定出如图14所示的区段1作为第一区段。
另外,该第一区段的确定也可以包括根据统计划分好的多个区段中的超界时间是否达到阈值来确定,如果达到阈值,确定对应的一个区段为第一区段。
示例性的,也可以无需事先将边界划分成多个区段,该第一区段的确定包括在一定周期内总的超界次数达到第一阈值时,生成在安全空间的边界上、关联于超界位置和超界次数的正态分布曲线,并基于该正态分布曲线确定超界概率达到第二阈值的目标区间,利用该目标区间的端点关联的安全空间的边界上的位置,进而可以确定第一区段。此外,在确定出目标区间后,可以对目标区间内的超界次数进行统计,当超界次数达到第三阈值时,才利用该目标区间的端点关联的安全空间的边界上的位置,确定出第一区段。如图15所示,事先不需要为边界划分区段,先确定出超界最密集区间作为目标区间,进而利用该目标区间的端点确定出如边界上图16所示的第一区段。
另外,该第一区段的确定也可以包括无需事先将边界划分成多个区段,该第一区段的确定包括在一定周期内总的超界时间达到第一阈值时,生成在安全空间的边界上、关联于超界位置和超界时间的正态分布曲线,并基于该正态分布曲线确定超界概率达到第二阈值的目标区间,利用该目标区间的端点关联的安全空间的边界上的位置,进而可以确定第一区段。
此外,在确定出目标区间后,可以对目标区间内的超界次数或超界时间进行统计,当超界次数或超界时间达到第三阈值时,才利用该目标区间的端点关联的安全空间的边界上的位置,确定出第一区段。
一些实施例中,第一指令可以包括医生通过输入装置输入至控制器的第一指令,也即对于穿刺器160的取向的预测可以是手动触发的。医生可以通过任何方式主动输入该第一指令。示例性的,用于输入该第一指令的输入装置包括以下装置中的至少一种,例如,与控制器耦接的触摸屏,又例如,与控制器耦接的语音识别装置,又例如,与控制器耦接的操作部210,又例如,与控制器耦接的脚踏,又例如,与控制器耦接的动作识别装置(如手势识别装置),又例如,与控制器耦接的脑电波识别装置,以及其他可实现输入的装置。
一些实施例中,基于获取到的第一信息预测穿刺器的目标取向,包括:基于第一信息确定第一区段,并基于第一区段预测穿刺器的目标取向。
其中,第一区段的确定方式包括前文所述的方式,此处不再一一赘述。
示例性的,基于第一区段预测穿刺器的目标取向包括:从多个手术术式中匹配出其关联的末端器械的安全空间位于超界方向在第一区段一侧的手术术式作为目标手术术式,进而根据目标手术术式确定穿刺器的目标取向,这样的目标手术术式或末端器械的安全空间或穿刺器的目标取向,基本能够反映医生对末端器械的安全空间调整方向的期望,也即基本能够反映医生对穿刺器的调整方向的期望。示例性的,如图17所示,假设多个手术术式关联的末端器械的安全空间包括末端器械的安全空间A~E,若末端器械的安全空间A、B、C位于超界方向在第一区段一侧、末端器械的安全空间D、E并不位于超界方向在第一区段一侧,则可以匹配出末端器械的安全空间A、B、C关联的穿刺器的取向作为目标取向。
由于穿刺器的取向、手术术式及末端器械的安全空间中,任意两者相互关联。基于该关联关系,可以匹配出末端器械的安全空间A、B、C关联的手术术式为目标手术术式,和/或,可以匹配出末端器械的安全空间A、B、C作为目标安全空间。
示例性的,基于第一区段预测穿刺器的目标取向包括:从多个手术术式中匹配出其关联的末端器械的安全空间可以至少部分覆盖第一区段的手术术式以作为目标手术术式,进而根据目标手术术式确定穿刺器的目标取向。例如,可以将只需要覆盖第一区段所具有的点的一部分的手术术式作为目标手术术式。又例如,可以将覆盖第一区段所具有的点的比例达到第一阈值的手术术式作为目标手术术式。预测出的目标手术术式可能包括一个以上的手术术式。示例性的,如图18所示,假设多个手术术式包括手术术式关联的末端器械的安全空间A’~D’,若安全空间A’覆盖第一区段的比例达到100%、安全空间B’覆盖第一区段的比例达到80%、安全空间C’覆盖第一区段的比例达到40%、安全空间D’覆盖第一区段的比例为0,例如,可以将安全空间A’、B’、C’相关联的手术术式均作为目标手术术式,又例如,可以将覆盖比例大于50%的手术术式作为目标手术术式,此时,安全空间A’~C’相关联的手术术式中仅安全空间A’、B’相关联的手术术式能够被作为目标手术术式。
示例性的,为了能够更准确地预测出穿刺器160的目标取向,基于第一区段预测穿刺器的目标取向可以包括:获取第一区段;获取成像器械采集的操作图像;识别操作图像中的器官;结合第一区段和识别出的器官预测穿刺器的目标取向。示例性的,器官包括心脏、肝脏、脾脏、肺、胃、胆囊、胰脏、肾脏、膀胱、大肠、十二指肠等。器官还包括更细小的特征,例如肝脏中的肝叶等。如图19所示,在例如从操作图像中识别出肝叶、肾脏和十二指肠时,例如可以结合第一区段预测出肝叶、肾脏对应的穿刺器的取向为目标取向。
一些实施例中,结合第一区段和识别出的器官预测穿刺器的目标取向,包括:
从多个手术术式中匹配出与第一区段关联的第一手术术式;从第一手术术式中匹配出其关联的末端器械的安全空间与识别出的器官具有关联的第二手术术式以作为目标手术术式。
示例性的,从多个手术术式中匹配出与第一区段关联的第一手术术式,包括:从多个手术术式中匹配出其关联的末端器械的安全空间位于超界方向在第一区段一侧的手术术式以作为第一手术术式。
示例性的,从多个手术术式中匹配出与第一区段关联的第一手术术式,包括:从多个手术术式中匹配出其对应的末端器械的安全空间可以至少部分覆盖第一区段的手术术式以作为第一手术术式。
从第一手术术式中匹配出其关联的末端器械的安全空间与识别出的器官具有关联的第二手术术式以作为目标手术术式,换言之,排除未被识别出的器官关联的手术术式,即而将剩余的手术术式作为第二手术术式。其中,器官未被识别出包括器官不在操作图像内(也即不在成像器械的视野内)和/或器官在操作图像内但由于特征不全等因素未被识别出。进而,通过结合图像识别的方式对第一手术术式进行筛选,可以提高对于第二手术术式的预测精度,且更能反映医生的操作意图。
一些实施例中,在预测出目标手术术式和/或穿刺器的目标取向以后,控制器可以被配置成向医生推荐该目标手术术式和/或穿刺器的目标取向。例如,可以生成如图20所示的用户界面以将相应推荐信息呈现给医生,在图20所示界面中,向医生推荐与肝叶相关的目标手术术式和/或穿刺器的目标取向。进而,医生可以根据推荐的目标手术术式和/或穿刺器的目标取向对穿刺器的取向手动地进行调整,对穿刺器的取向的调整包括对穿刺器的取向轴线(有时也称中心轴或RC轴)的调整,以基本匹配目标手术术式和/或穿刺器的目标取向对穿刺器的取向轴线的取向的需求。
控制器向医生推荐目标手术术式和/或穿刺器的目标取向的手段有多种。示例性的,可以设置与控制器耦接的语音设备或显示设备,通过语音设备进行关联于第二手术术式和/或穿刺器的目标取向的信息的播放,和/或,通过显示设备进行关联于第二手术术式和/或穿刺器的目标取向的信息的显示。其中,对于医生而言,推荐目标手术术式通常可能更容易被医生所理解。当然,对于熟练适用手术机器人系统的医生而言,直接推荐穿刺器的目标取向也是可以被接受的。
例如,该语音设备包括独立于主操作台200和从操作设备100设置的扬声器或耳机。又例如,该语音设备包括集成于主操作台200和/或从操作设备100设置的扬声器。
例如,该显示设备包括独立于主操作台200和从操作设备100设置的显示器,例如包括耦接主操作台200和从操作设备100的图像推车上的显示器。又例如,该显示设备包括集成于主操作台200和/或从操作设备100设置的显示器。
一些实施例中,在预测出穿刺器的目标取向以后,控制器可以被配置成:根据目标取向控制机械臂中关节组件运动以使穿刺器围绕远程运动中心运动,并使穿刺器到达目标取向。其中,使穿刺器达到目标取向包括使穿刺器的取向轴线达到目标取向。示例性的,穿刺器的目标取向包括基于机械臂的基坐标系的目标取向。
一些实施例中,在预测出目标手术术式以后,控制器可以被配置成:获取目标手术术式关联的穿刺器的取向作为目标取向,根据目标取向控制机械臂中关节组件运动以使穿刺器围绕远程运动中心运动,并使穿刺器的取向到达目标取向。
其中,根据目标取向控制机械臂中关节组件运动包括:通过逆运动学将该目标取向换算成机械臂中关节组件的关节变量;进而控制机械臂中关节组件根据相应的关节变量运动以使得穿刺器的取向到达目标取向。
一些实施例中,在作为目标手术术式的第二手术术式包括多个时,目标手术术式最终的确定可以包括多种实施方式,其中,目标手术是的最终确定包括选取其中一个第二手术术式作为目标手术术式。
示例性的,目标手术术式最终的确定可以包括医生对于第二手术术式的选择。例如,可以通过语音识别装置进行语音识别来进行选择,例如在识别到关联于第二手术术式的信息包括如名称、编号等时,确定该第二手术术式作为目标手术术式。又例如,关联于第二手术术式的信息可以被生成并显示于显示器的界面上,通过触摸或挤压相应输入设备如触摸屏、按键、脚踏等来确定相应一个第二手术术式作为目标手术术式。当然,也可以有其他方式,例如通过脑电波识别装置进行脑电波识别来进行选择,例如在识别到关联于第二手术术式的信息时,确定该第二手术术式作为目标手术术式。
示例性的,目标手术术式最终的确定可以包括手术机器人系统例如控制器自动对于第二手术术式的选择。例如,可以默认将第二手术术式中关联度最高的一个手术术式作为目标手术术式,其中,第二手术术式包括一个手术术式时,该手术术式由于唯一,因而关联度也即最高。又例如,假设定义关联于末端器械的安全空间与第一区段越接近关联度越高,可以将关联于末端器械的安全空间的中心最接近前文所述的第一区段的第二手术术式作为目标手术术式,以减小穿刺器被调节时的运动幅度。
一些实施例中,根据目标取向控制机械臂中关节组件运动,包括:在达到延迟时间以后,根据目标取向控制机械臂中关节组件运动。延迟时间示例性的可以被配置成0~120秒。示例性的,延迟时间被配置成0秒时,一旦目标手术术式和/或穿刺器的目标取向被确定,即可立刻控制机械臂中关节组件运动以调整穿刺器的取向。示例性的,延迟时间被配置成30秒时,在目标手术术式和/或穿刺器的目标取向被确定且延迟达到30秒以后,控制机械臂中关节组件运动以调整穿刺器的取向,延迟时间的配置可以便于医生有充分的时间重新确定目标手术术式。当然,在目标手术术式和/或穿刺器的目标取向确定以后且未达到延迟时间时,控制器在获取到医生通过交互的方式发送的用于立即调整穿刺器的取向的确认指令后,即可即刻控制机械臂运动而无需延迟时间届满。
一些实施例中,当末端器械150在边界处频繁超界时,即使在无需或不能预测出目标手术术式和/或的目标取向的场景下,经配置也可以实现对于穿刺器的取向的自动或手动调节。
一些实施例中,控制器可以被配置成用于执行:
步骤S31,获取在穿刺器的当前取向下医生实施手术过程中末端器械超出其安全空间的边界的第一信息。
其中,该第一信息包括超界位置、超界次数和超界时间中的一种以上。
步骤S32,基于获取到的第一信息确定目标中心点。
其中,基于获取到的第一信息确定目标中心位置,包括:基于确定的第一区段确定该第一区段上的一个特征点的位置作为目标中心点。该特征点例如包括第一区段的中心点。其中,第一区段的确定包括前文所述的任何方式,此处不再一一赘述。
步骤S33,控制机械臂中关节组件运动以使穿刺器围绕远程运动中心运动,并使穿刺器的取向对准目标中心点。
其中,穿刺器围绕远程运动中心运动包括穿刺器围绕远程运动中心旋转运动,通常,其仅在姿态自由度上运动。穿刺器的取向对准目标中心点包括穿刺器的取向轴线过目标中心点。
其中,步骤S33包括:获取期待穿刺器的取向轴线运动到达的目标取向,根据该目标取向确定机械臂中关节组件的目标关节变量,进而根据目标关节变量控制机械臂中相应关节组件运动以使穿刺器做RC运动,并使穿刺器的取向对准目标中心点。
示例性的,该目标取向可以通过如下方式获得。控制器经配置执行:获取远程运动中心和目标中心点构成的连线的取向作为目标取向。该目标取向示例性的可以是在机械臂的基坐标系的目标取向。
其中,穿刺器的取向轴线对准目标中心点包括穿刺器的取向轴线重合于远程运动中心和目标中心点构成的连线。其中,可以基于目标中心点在成像器械的图像末端器械坐标系(有时也称内窥镜坐标系)的位置、以及内窥镜坐标系和机械臂的基坐标系之间的转换关系,确定目标中心点在该基坐标系的位置,以助于目标取向的获取。
示例性的,上述的目标关节变量可以通过如下方式获得。控制器经配置执行:结合目标取向和逆运动学确定机械臂中关节组件的目标关节变量。
如图21所示,虚线的安全空间的图像模型表示穿刺器160的取向未调节之前,实线的安全空间的图像模型表示穿刺器160的取向调整到对准了目标中心点。
通过上述步骤S31~S33,可以自动调整穿刺器160的取向,避免在当前的穿刺器160的取向下医生操作时末端器械150的在安全空间的边界上频繁超界。更进一步地,通过不断重复上述步骤S31~S33,可以实现穿刺器160的取向的不断调整,以最终达到医生期望的穿刺器160的取向。
一些实施例中,控制器可以被配置成用于执行:
步骤S41,获取在穿刺器的当前取向下医生实施手术过程中末端器械超出其安全空间的边界的第一信息。
其中,该第一信息包括超界位置、超界次数和超界时间中的一种以上。
步骤S42,基于第一信息确定第一区段,结合第一区段和操作图像确定操作图像中的目标器官。
出于简洁的目的,对于第一区段的描述请参阅前文。
示例性的,结合第一区段和操作图像确定操作图像中的目标器官,可以包括:
识别操作图像内的所有器官,并基于第一区段从识别出的器官中确定目标器官。即,先把操作图像内的所有器官识别出来,再从识别出来的器官中确定与第一区段具有关联性的器官作为目标器官。其中,结合第一区段确定目标器官主要包括赋予一个合理的范围来确定目标器官,例如,例如该范围包括第一区段位于远离当前穿刺器的取向轴线的一侧的范围,依据这个范围来确定相应的器官作为目标器官。
示例性的,结合第一区段和操作图像确定操作图像中的目标器官,也可以包括:
识别操作图像内关联于第一区段的器官并作为目标器官。即,不识别操作图像内的所有器官,而是直接识别与第一区段具有关联性的器官作为目标器官。这样可以减少图像处理量,进而提高图像处理的速度
步骤S43,基于识别出的目标器官确定目标中心点。
示例性的,可以根据目标器官的轮廓信息确定其几何中心作为目标中心点。
步骤S44,控制机械臂中关节组件运动以使穿刺器围绕远程运动中心运动,并使穿刺器的取向对准目标中心点。
其中,步骤S44包括:获取期待穿刺器的取向轴线运动的目标取向,根据该目标取向确定机械臂中关节组件的目标关节变量,进而根据目标关节变量控制机械臂中相应关节组件运动以使穿刺器做RC运动且其取向对准目标中心点。
示例性的,该目标取向同样可以通过获取远程运动中心和目标中心点构成的连线的取向作为目标取向而获得。一些实施例中,目标器官可能包括一个以上,故目标中心点可能包括一个以上,控制器经配置可以根据医生与手术机器人系统的交互指令从该多个目标中心点中确定其中一个作为目标中心点。当然,控制器也可以按照预设规则默认从多个目标中心点中确定一个作为目标中心点,该预设规则示例性的包括:获取远程运动中心与多个目标中心点之间的多个目标取向,确定穿刺器的当前取向与多个目标取向中差值最小的一个所关联的目标中心点作为目标中心点。
如图22所示,目标器官包括肝叶时,将肝叶的中心作为目标中心点,虚线的安全空间的图像模型表示穿刺器160的取向未调节之前,实线的安全空间的图像模型表示穿刺器160的取向调整到对准了目标中心点。
通过上述步骤S41~S44,可以实现穿刺器160的取向轴线对准关联于目标器官的目标中心点,以便于对该目标器官实施手术。
值得注意的是,在手动调节或自动调节穿刺器160的取向轴线围绕远程运动中心运动时,较佳的,可以考虑医疗器械140跟随穿刺器160的运动而运动时末端器械150可能带来的安全风险。
为了尽可能避免上述安全风险,示例性的,可以在调节穿刺器160的取向轴线围绕远程运动中心运动之前,将穿过穿刺器160的多个医疗器械140退回到安全位置。示例性的,也可以在调节穿刺器160的取向轴线围绕远程运动中心运动时,响应于穿刺器160围绕远程运动中心运动时取向的变化,控制操纵器组件120中关节组件协同运动以保持末端器械150的位置或位姿。
医疗器械140中,由于手术器械142的操作末端器械152相对于成像器械141的图像末端器械151而言,对生物体更具伤害性,因而,在一些实施例中,可以在调节穿刺器160的取向轴线围绕远程运动中心运动时,仅控制关联于手术器械142的操纵器组件120中的关节组件协同运动以保持位置和/或位姿,同时由于不对成像器械141做控制,成像器械141跟随穿刺器160运动可以产生新的视野便于观察穿刺器160的取向的改变。
当然,在其他实施例中,如果需要保持当前手术视野,也可以控制关联于手术器械142的操纵器组件120中的关节组件协同运动以保持位置和/或位姿、并同时控制关联于成像器械141的操纵器组件120中的关节组件协同运动以保持位置和/或位姿。
一些实施例中,还可以根据医生操作操作部对操纵器组件的操纵,改变操作部操纵的目标对象。控制器可以被配置成用于执行:
在穿刺器的当前取向下医生实施手术过程中,当获取到一定周期内末端器械超出其安全空间的边界的一段区域的超界次数达到目标阈值时,切换第一操作模式成第二操作模式。
其中,该一段区域可以包括预先定义好的安全空间的边界上的一段区域。该一段区域也可以包括预先划分好的多个区域中超界次数达到设定阈值的一段区域。该一段区域也可以包括利用如通过统计一段手术期间内超界次数和超界位置的正态分布等方法所确定的一段区域。继续参阅图13,示例性的,可以在一定周期内,如10S内,末端器械超出其安全空间的边界的区段1的超界次数达到目标阈值,如3次时,切换第一操作模式成第二操作模式。
其中,第一操作模式包括操作部对操纵器组件的操纵。第二操作模式包括操作部对机械臂的操纵,即对机械臂的远端,也即穿刺器的操纵,其中,对于穿刺器的操纵,更优选地为对穿刺器的远程运动中心的操纵,示例性的,操作部对穿刺器的操纵包括操纵穿刺器围绕远程运动中心运动。进而,通过切换操作模式,可以方便医生通过操作部快速对穿刺器的取向轴线的取向进行手动调整,医生无需离开操作位置即可通过操作操作部对穿刺器的取向作出调整。尤其是,由于末端器械超出边界时,存在明显的力觉反馈,所以能够明确的反映医生期望切换操作模式的意图,具有良好的用户体验。
示例性的,在第二操作模式下,穿刺器的取向可以被配置成跟随操作部的取向变化而变化。例如,穿刺器的取向在第一取向自由度(如偏航自由度)跟随操作部的第一取向自由度(如偏航自由度)的变化而变化,穿刺器的取向在第一取向自由度(如俯仰自由度)跟随操作部的第一取向自由度(如俯仰自由度)的变化而变化,穿刺器的取向在第一取向自由度(如滚转自由度)跟随操作部的第一取向自由度(如滚转自由度)的变化而变化。
示例性的,在第二操作模式下,穿刺器的取向也可以被配置成跟随操作部的位置变化而变化。例如,将操作部在第一位置自由度(如水平方向的自由度)上的运动转换成穿刺器的取向在第一取向自由度(如偏航自由度)上的运动,将操作部在第二位置自由度(如竖直方向的自由度)上的运动转换成穿刺器的取向在第二取向自由度(如俯仰自由度)上的运动,将操作部在第三位置自由度(如前后方向的自由度)上的运动转换成穿刺器的取向在第三取向自由度(如滚转自由度)上的运动。
上述实施例中,通常在期望调整穿刺器的取向时,需要控制器获取到一个指令。该指令可以经医生通过交互(如语音、动作、脑电波等)的方式输入,也可以控制器例如通过配置延迟时间并在延迟时间届满后产生该指令。控制器响应于该指令的获得,控制机械臂中关节组件运动以调整穿刺器的取向。
上述实施例中,通过调节穿刺器的取向,可以极大改善医疗器械的末端器械相对于机械臂的参考坐标系的操作空间,避免超界问题的频繁发生带来的不便。
一些实施例中,控制器可以被配置成生成至少上述确定的末端器械在其安全空间频繁超界的第一区段的图像模型并显示于前文所述的任一显示器,例如可以参阅图14、图16~图20任一个所示的图像模型。医生通过观看显示器显示的图像模型可以明确了解自己的操作情况和/或确定自己想要达到的操作意图。其他实施例中,控制器也可以被配置成生成末端器械的安全空间的边界的图像模型,并对确定的第一区段进行突出显示,包括可以通过颜色、亮度、线条(包括线形、粗细)、频闪等的不同以进行突出显示。一些实施例中,为了不影响医生对操作图像的观察,在不能确定第一区段时,控制器可以被配置成不显示上述图像模型。
一些实施例中,为了便于医生对预测的目标手术术式和/或穿刺器的目标取向进行了解,控制器可以被配置成在操作图像上对识别出的器官和/或确定的第一区段的特征点如中心点进行突出显示,包括在操作图像上突出器官的轮廓、突出器官和/或第一区段上的目标中心点,以方便医生根据辅助图像显示的信息确定自己的操作意图。
一些实施例中,上述的图像模型还包括正在被操纵的操纵器组件120中的第一部分,该第一部分示例性的包括末端器械150,当然,该第一部分还可以包括其他例如医疗器械140中包括末端器械150的连接组件(由多个关节组件构成)。末端器械150在图像模型中可以以多种表现方式出现,例如以箭头、光圈、或与末端器械150结构几乎相同的图标来体现。末端器械150在图像模型中的位置可以根据正运动学计算出。通过生成包括末端器械150的图像模型,可给予医生掌握末端器械150与边界的情况,例如在期望切换操作模式时,更为有益。
例如在医生期望调整穿刺器的取向时,结合上述视觉反馈和超界时操作部的力觉反馈,有助于医生明确自己的操作意图,减少误操作的可能性。
一实施例中,本申请还提供一种手术机器人系统的控制方法,该控制方法包括:在第一设备的末端超出其安全空间的边界时,向第一设备的末端施加虚拟力;将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,第一设备包括驱动臂和操作部中的一个、第二设备包括驱动臂和操作部中的另一个;将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力;控制第二设备中关节组件输出目标关节驱动力。
一实施例中,本申请还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,计算机程序被配置为由处理器加载并执行实现如下步骤:在第一设备的末端超出其安全空间的边界时,向第一设备的末端施加虚拟力;将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,第一设备包括驱动臂和操作部中的一个、第二设备包括驱动臂和操作部中的另一个;将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力;控制第二设备中关节组件输出目标关节驱动力。
一实施例中,本申请还提供一种手术机器人系统的控制装置。如图23所示,该控制装置可以包括:处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503、以及通信总线504。
处理器501、通信接口502、以及存储器503通过通信总线504完成相互间的通信。
通信接口502,用于与其它设备比如各类传感器或电机或电磁阀或其它客户端或服务器等的网元通信。
处理器501,用于执行程序505,具体可以执行上述方法实施例中的相关步骤。
具体地,程序505可以包括程序代码,该程序代码包括计算机操作指令。
处理器505可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路,或者是图形处理器GPU(Graphics Processing Unit)。控制装置包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU,或者,一个或多个GPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个GPU。
存储器503,用于存放程序505。存储器503可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序505具体可以用于使得处理器501执行以下步骤:在第一设备的末端超出其安全空间的边界时,向第一设备的末端施加虚拟力;将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,第一设备包括驱动臂和操作部中的一个、第二设备包括驱动臂和操作部中的另一个;将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力;控制第二设备中关节组件输出目标关节驱动力。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种手术机器人系统,其特征在于,包括:
驱动臂;
操作部,与所述驱动臂具有运动关联性;
控制器,与所述驱动臂和所述操作部耦接,并被配置成:
在第一设备的末端超出其安全空间的边界时,向第一设备的末端施加虚拟力;
将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,第一设备包括所述驱动臂和所述操作部中的一个、第二设备包括所述驱动臂和所述操作部中的另一个;
将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力;
控制第二设备中关节组件输出所述目标关节驱动力,以使操作者在第二设备处能感受到阻力。
2.根据权利要求1所述的手术机器人系统,其特征在于,所述驱动臂包括操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,包括:
将所述末端器械在第一坐标系的虚拟力转换成在第一中间坐标系的虚拟力;
根据所述末端器械在第一中间坐标系的虚拟力确定所述操作部在第二中间坐标系需要被施加的真实力;
将所述操作部在第二中间坐标系的真实力转换成在第二坐标系的真实力;
其中,第一坐标系包括所述医疗器械的基坐标系,第一中间坐标系包括内窥镜坐标系,第二中间坐标系包括显示器坐标系,第二坐标系包括所述操作部的基坐标系。
3.根据权利要求1所述的手术机器人系统,其特征在于,所述向第一设备的末端施加虚拟力,包括:
获取第一设备的末端超出其安全空间的边界的位置点;
根据所述位置点确定施加所述虚拟力的目标方向;
向第一设备的末端在所述目标方向上施加所述虚拟力。
4.根据权利要求3所述的手术机器人系统,其特征在于,所述安全空间包括圆柱体空间,所述目标方向包括由所述位置点垂直的指向所述圆柱体空间的中心轴的方向。
5.根据权利要求1所述的手术机器人系统,其特征在于,所述安全空间包括基于不同条件限定的两个以上的安全空间,第一设备的末端超出不同所述安全空间的边界时,向第一设备的末端施加的虚拟力的大小不同。
6.根据权利要求1所述的手术机器人系统,其特征在于,所述虚拟力的大小与所述真实力的大小相同;所述真实力介于3N~10N。
7.根据权利要求1所述的手术机器人系统,其特征在于,所述驱动臂包括操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述控制器还被配置成:
获取所述末端器械超出其安全空间的边界的第一信息,第一信息包括超界位置、超界次数和超界时间中的一种以上;
获取所述末端器械的安全空间关联的手术术式;
结合第一信息和所述手术术式确定在所述手术术式下医生的操作熟练度的等级。
8.根据权利要求7所述的手术机器人系统,其特征在于,所述手术机器人系统与医院管理系统耦接,所述控制器还被配置成:
将与所述手术术式关联、且具有所述医生的操作熟练度的等级的医生信息发送至所述医院管理系统,以供所述医院管理系统基于所述医生信息为患者匹配出合适的医生。
9.根据权利要求1所述的手术机器人系统,其特征在于,所述驱动臂包括相互连接的机械臂和操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述机械臂的远端装设有穿刺器,多个所述医疗器械穿过同一个所述穿刺器插入生物体,所述末端器械的不同安全空间与所述穿刺器的取向具有关联,所述控制器还被配置成:
获取在所述穿刺器的当前取向下医生实施手术过程中,末端器械超出其安全空间的边界的第一信息,第一信息包括超界位置、超界次数和超界时间中的一种以上;
基于获取到的第一信息预测所述穿刺器的目标取向。
10.根据权利要求10所述的手术机器人系统,其特征在于,所述穿刺器的不同取向与不同手术术式关联,所述控制器还被配置成:
生成包括所述穿刺器的目标取向的视觉信息和/或听觉信息并进行播放;或者,
基于所述穿刺器的目标取向生成关联于所述穿刺器的目标取向的目标手术术式的视觉信息和/或听觉信息并进行播放。
11.根据权利要求9所述的手术机器人系统,其特征在于,所述穿刺器经过远心不动点,所述穿刺器与生物体连接时,所述远心不动点对应于所述穿刺器与生物体连接的位置,所述控制器还被配置成:
根据所述穿刺器的目标取向控制所述机械臂中关节组件运动以使所述穿刺器围绕所述远心不动点运动,并使所述穿刺器的取向达到所述穿刺器的目标取向。
12.根据权利要求1所述的手术机器人系统,其特征在于,所述驱动臂包括相互连接的机械臂和操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述机械臂的远端装设有穿刺器,多个所述医疗器械穿过同一个所述穿刺器插入生物体,所述穿刺器经过远心不动点,所述穿刺器与生物体连接时,所述远心不动点对应于所述穿刺器与生物体连接的位置,所述控制器还被配置成:
获取在所述穿刺器的当前取向下医生实施手术过程中,末端器械超出其安全空间的边界的第一信息,第一信息包括超界位置、超界次数和超界时间中的一种以上;
基于第一信息确定目标中心点;
控制所述机械臂中关节组件运动以使所述穿刺器围绕所述远心不动点运动并使所述穿刺器的取向对准所述目标中心点。
13.根据权利要求12所述的手术机器人系统,其特征在于,所述医疗器械包括图像器械,所述基于第一信息确定目标中心点,包括:
获取所述图像器械捕获的操作图像;
结合第一信息和所述操作图像确定所述操作图像中的目标器官;
基于所述目标器官确定所述目标中心点。
14.根据权利要求13所述的手术机器人系统,其特征在于,所述控制器还被配置成:
在所述操作图像中对所述目标器官和/或所述目标中心点进行突出显示。
15.根据权利要求12或13所述的手术机器人系统,其特征在于,所述医疗器械包括手术器械,所述控制器还被配置成:
响应于所述穿刺器围绕所述远心不动点运动时所述穿刺器的取向的变化,控制所述操纵器组件中关节组件运动以保持所述末端器械的位置或位姿。
16.根据权利要求1所述的手术机器人系统,其特征在于,所述驱动臂包括相互连接的机械臂和操纵器组件,所述操作部被配置成操纵所述操纵器组件运动,所述操纵器组件包括医疗器械,所述第一设备包括所述操纵器组件,所述操纵器组件的末端包括所述医疗器械的末端器械,所述机械臂的远端装设有穿刺器,多个所述医疗器械穿过同一个所述穿刺器插入生物体,所述穿刺器经过远心不动点,所述穿刺器与生物体连接时,所述远心不动点对应于所述穿刺器与生物体连接的位置,所述控制器还被配置成:
获取在所述穿刺器的当前取向下医生实施手术过程中,末端器械超出其安全空间的边界的第一信息,第一信息包括超界位置、超界次数和超界时间中的一种以上;
切换第一操作模式成第二操作模式,第一操作模式包括所述操作部对所述操纵器组件的操纵,第二操作模式包括所述操作部对所述机械臂的操纵。
17.根据权利要求16所述的手术机器人系统,其特征在于,所述第二操作模式包括:
所述穿刺器的取向跟随所述操作部的取向变化而变化;或者,
所述穿刺器的取向跟随所述操作部的位置变化而变化。
18.根据权利要求16所述的手术机器人系统,其特征在于,所述控制器还被配置成:
基于第一信息确定所述末端器械的安全空间的边界上的第一区段;
生成第一区段的图像模型并进行显示。
19.一种计算机可读存储介质,其特征在于,适用于手术机器人系统,所述手术机器人系统包括驱动臂和操作部,与所述驱动臂具有运动关联性,所述计算机可读存储介质存储有计算机程序,所述计算机程序被配置为由处理器加载并执行实现:
在第一设备的末端超出第一设备的末端的安全空间的边界时,向第一设备的末端施加虚拟力,所述虚拟力的方向相反于第一设备的末端超出所述边界的方向;
将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,第一设备包括所述驱动臂和所述操作部中的一个、第二设备包括所述驱动臂和所述操作部中的另一个;
将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力;
控制第二设备中关节组件输出所述目标关节驱动力,以使操作者在第二设备处能感受到阻力。
20.一种手术机器人系统的控制装置,其特征在于,适用于手术机器人系统,所述手术机器人系统包括驱动臂和操作部,与所述驱动臂具有运动关联性,所述控制装置包括:
存储器,用于存储计算机程序;
及处理器,用于加载并执行所述计算机程序;
其中,所述计算机程序被配置为由所述处理器加载并执行实现:
在第一设备的末端超出其安全空间的边界时,向第一设备的末端施加虚拟力;
将第一设备的末端在第一坐标系的虚拟力转换成第二设备的末端在第二坐标系的真实力,第一设备包括所述驱动臂和所述操作部中的一个、第二设备包括所述驱动臂和所述操作部中的另一个;
将第二设备的末端在第二坐标系的真实力换算成第二设备中关节组件的目标关节驱动力;
控制第二设备中关节组件输出所述目标关节驱动力,以使操作者在第二设备处能感受到阻力。
CN202210431915.2A 2022-04-23 2022-04-23 手术机器人系统及其控制装置 Pending CN116965937A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210431915.2A CN116965937A (zh) 2022-04-23 2022-04-23 手术机器人系统及其控制装置
PCT/CN2023/082193 WO2023202291A1 (zh) 2022-04-23 2023-03-17 手术机器人系统及其控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210431915.2A CN116965937A (zh) 2022-04-23 2022-04-23 手术机器人系统及其控制装置

Publications (1)

Publication Number Publication Date
CN116965937A true CN116965937A (zh) 2023-10-31

Family

ID=88419061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210431915.2A Pending CN116965937A (zh) 2022-04-23 2022-04-23 手术机器人系统及其控制装置

Country Status (2)

Country Link
CN (1) CN116965937A (zh)
WO (1) WO2023202291A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784542A (en) * 1995-09-07 1998-07-21 California Institute Of Technology Decoupled six degree-of-freedom teleoperated robot system
JP6250673B2 (ja) * 2012-08-15 2017-12-20 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 手動でのロボットアームの運動によって制御される可動な手術用装着プラットフォーム
KR20240007964A (ko) * 2014-10-27 2024-01-17 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 통합 수술 테이블 운동을 위한 시스템 및 방법
KR102488295B1 (ko) * 2016-05-23 2023-01-16 마코 서지컬 코포레이션 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법
US11751948B2 (en) * 2016-10-25 2023-09-12 Mobius Imaging, Llc Methods and systems for robot-assisted surgery
CN110559083B (zh) * 2019-09-10 2020-08-25 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
WO2022064369A1 (en) * 2020-09-25 2022-03-31 Auris Health, Inc. Haptic feedback for aligning robotic arms
CN114831738A (zh) * 2020-10-08 2022-08-02 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法
CN112245004A (zh) * 2020-10-20 2021-01-22 哈尔滨医科大学 一种基于术前模型和术中超声图像的消融规划检验方法
CN112587244A (zh) * 2020-12-15 2021-04-02 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置

Also Published As

Publication number Publication date
WO2023202291A1 (zh) 2023-10-26

Similar Documents

Publication Publication Date Title
US9867671B2 (en) Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US10159535B2 (en) Constraint based control in a minimally invasive surgical apparatus
US20230389999A1 (en) Systems and methods for onscreen menus in a teleoperational medical system
US10071479B2 (en) Systems and methods for tracking a path using the null-space
US20230355327A1 (en) Laparoscopic surgical robotic system with internal degrees of freedom of articulation
EP3651677B1 (en) Systems and methods for switching control between multiple instrument arms
US11717362B2 (en) Robotic surgical systems with roll, pitch, and yaw realignment including trim and flip algorithms
US11769302B2 (en) Remote surgical mentoring
CN114760903A (zh) 用于在外科手术期间控制图像捕获设备的方法、装置、以及系统
CN116807620B (zh) 手术机器人及其控制方法、计算机可读存储介质
Li et al. Attention-aware robotic laparoscope for human-robot cooperative surgery
KR20110059587A (ko) 수술 로봇 시스템 및 그 동작 제한 방법
KR101114226B1 (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
Muñoz et al. On laparoscopic robot design and validation
CN116965937A (zh) 手术机器人系统及其控制装置
KR100956762B1 (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
CN117597086A (zh) 将用户接口位姿命令投影到用于外科机器人的减小的自由度空间
CN116807621B (zh) 手术机器人及其控制方法、计算机可读存储介质
CN118285909B (zh) 力反馈方法、力反馈系统、手术机器人设备、电子设备及存储介质
Li et al. Eye gaze contingent ultrasound interfaces for the da Vinci® surgical system
Kenneth Jr The heart of microsurgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination