CN117503365A - 手术机器人及其控制方法、控制装置 - Google Patents

手术机器人及其控制方法、控制装置 Download PDF

Info

Publication number
CN117503365A
CN117503365A CN202210901032.3A CN202210901032A CN117503365A CN 117503365 A CN117503365 A CN 117503365A CN 202210901032 A CN202210901032 A CN 202210901032A CN 117503365 A CN117503365 A CN 117503365A
Authority
CN
China
Prior art keywords
imaging
target
imaging instrument
distance
freedom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210901032.3A
Other languages
English (en)
Inventor
孙强
姚明君
王建辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Edge Medical Co Ltd
Original Assignee
Shenzhen Edge Medical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Edge Medical Co Ltd filed Critical Shenzhen Edge Medical Co Ltd
Priority to CN202210901032.3A priority Critical patent/CN117503365A/zh
Priority to PCT/CN2023/097703 priority patent/WO2024021855A1/zh
Publication of CN117503365A publication Critical patent/CN117503365A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/305Details of wrist mechanisms at distal ends of robotic arms

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及一种手术机器人及其控制方法、控制装置。该控制方法包括:获取输入装置输入的期望成像器械围绕器远端点旋转的第一目标旋转矢量;基于第一目标旋转矢量确定成像器械围绕远心不动点在目标姿态自由度旋转的第二目标旋转矢量;根据第二目标旋转矢量控制操纵器操纵成像器械围绕远心不动点旋转;获取成像器械围绕远心不动点旋转第二目标旋转矢量相对于围绕远端点旋转第一目标旋转矢量的成像距离偏差;基于成像距离偏差,控制操纵器操纵成像器械沿成像器械的轴线进给,以补偿成像距离偏差。通过上述实施方式,能够确保成像器械采集到的图像是期望的图像。

Description

手术机器人及其控制方法、控制装置
技术领域
本申请涉及医疗器械领域,特别是涉及一种手术机器人及其控制方法、控制装置。
背景技术
微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备在人体腔体内部施行手术的一种手术方式。相比传统手术方式微创手术具有创伤小、疼痛轻、恢复快等优势。
随着科技的进步,微创手术机器人系统技术逐渐成熟,并被广泛应用。手术机器人系统包括主操控台及从操作设备,从操作设备包括多个具有末端器械的医疗器械,这些医疗器械包括具有图像末端器械的成像器械及具有操作末端器械的手术器械。主操控台包括显示器及操作部。医生在显示器显示的由成像器械提供的视野下,操作操作部以操纵成像器械或手术器械运动。
在调节视野时,医生通常期望以成像器械的远端点为中心对调节成像器械旋转以获得期望的图像,然而,实际由于微创手术机器人系统的结构特性和运动特性,通常不能直接控制成像器械围绕其远端点旋转,而是需要围绕其它旋转中心例如腹腔手术时特定的远心不动点旋转。由于成像器械运动时的旋转中心发生改变,容易导致成像器械实际获得的图像并不是医生所期望的。
发明内容
基于此,有必要提供一种能够获得期望的图像的手术机器人及其控制方法、控制装置。
一方面,本申请提供一种手术机器人,包括:成像器械,用于插入身体开口内以采集图像;操纵器,用于操纵所述成像器械围绕定位于所述身体开口的远心不动点旋转、和沿所述成像器械的轴线方向进给;输入装置,用于输入所述成像器械围绕其远端点在目标姿态自由度旋转的第一目标旋转矢量;控制装置,与所述操纵器和所述输入装置耦接,被配置成用于:获取所述输入装置输入的所述第一目标旋转矢量;基于所述第一目标旋转信息确定所述成像器械围绕所述远心不动点在目标姿态自由度旋转的第二目标旋转矢量;根据所述第二目标旋转矢量控制所述操纵器操纵所述成像器械围绕所述远心不动点旋转;获取所述成像器械围绕所述远心不动点旋转所述第二目标旋转矢量相对于围绕所述远端点旋转所述第一目标旋转矢量的成像距离偏差;基于所述成像距离偏差,控制所述操纵器操纵所述成像器械沿所述成像器械的轴线进给,以补偿所述成像距离偏差。
其中,所述基于所述第一目标旋转矢量确定所述成像器械围绕所述远心不动点在目标姿态自由度旋转的第二目标旋转矢量,包括:获取第一距离和第二距离,所述第一距离包括所述成像器械介于所述远心不动点与所述远端点之间的距离,所述第二距离包括所述成像器械的目标成像距离;结合所述第一目标旋转矢量、所述第一距离及所述第二距离,确定所述成像器械围绕所述远心不动点在目标姿态自由度旋转的第二目标旋转矢量。
其中,所述控制所述操纵器操纵所述成像器械沿所述成像器械的轴线进给,以补偿所述成像距离偏差,包括:获取所述成像器械的初始位置和/或姿态,所述初始位置和/或姿态包括所述输入装置与所述成像器械建立主从映射关系时刻的位置和/或姿态;获取所述成像器械的当前位置和/或姿态;基于所述成像器械的目标位置和/或姿态相较于其当前位置和/或姿态与所述初始位置和/或姿态之间的位置和/或姿态关系,确定所述成像器械沿其轴线进给的目标方向,所述目标位置和/或姿态基于所述第二目标旋转矢量确定;控制所述成像器械沿其轴线在所述目标方向进给,以补偿所述成像距离偏差。
其中,所述基于所述成像器械的目标位置和/或姿态与所述初始位置和/或姿态之间的位置和/或姿态关系,确定所述成像器械沿其轴线进给的目标方向,包括:在所述目标位置和/或姿态远离所述初始位置和/或姿态时,确定所述目标方向为所述成像器械沿其轴线撤回身体开口的方向;或,在所述目标位置和/或姿态靠近所述初始位置和/或姿态时,确定所述目标方向为所述成像器械沿其轴线插入身体开口的方向。
其中,所述成像距离偏差包括所述成像器械围绕所述远端点旋转所述第一目标旋转矢量对准的目标成像中心、与所述成像器械围绕所述远心不动点旋转所述第二目标旋转矢量对准的实际成像中心之间的距离差值。
其中,所述控制装置还被配置成用于:获取第一距离和第二距离,所述第一距离包括所述成像器械介于所述远心不动点与所述远端点之间的距离,所述第二距离包括所述成像器械的目标成像距离;结合所述第一目标旋转矢量、所述第一距离及所述第二距离,确定所述成像距离偏差。
其中,所述获取第一距离,包括:获取所述操纵器和所述成像器械中关节的关节变量;结合所述关节变量和正运动学,确定所述远端点在参考坐标系的第一位置,并确定所述远心不动点在参考系坐标系的第二位置;基于所述第一位置和所述第二位置确定所述第一距离。
其中,所述获取第二距离,包括:获取所述成像器械的成像距离范围;基于所述成像距离范围生成包括一个或多个可选目标成像距离的配置界面;响应于通过所述配置界面对目标成像距离的选择,将选择的所述目标成像距离作为所述第二距离。
其中,所述目标姿态自由度包括俯仰自由度和偏航自由度中的至少一种。
其中,所述输入装置包括感应组件,所述感应组件包括一个或多个第一传感器,所述控制装置基于所述一个或多个第一传感器感应到的用户头部在目标姿态自由度的旋转确定所述第一目标旋转矢量。
其中,所述输入装置包括感应组件,所述感应组件包括一个或多个提供感应场的第二传感器和可佩戴于用户头部的穿戴式设备,所述穿戴式设备配置有一个或多个信标,所述控制装置基于所述一个或多个第二传感器感应到的所述一个或多个信标在所述感应场的信号强度的变化确定所述第一目标旋转矢量。
其中,所述输入装置包括感应组件,所述感应组件包括一个或多个第三传感器,所述控制装置基于所述一个或多个第三传感器感应到的用户头部在进给方向的移动确定所述成像器械在进给方向的目标移动信息,所述控制装置还被配置成用于:获取所述感应组件输入的期望所述成像器械沿其轴线方向进给的目标移动信息;根据所述目标移动信息控制所述操纵器操纵所述成像器械沿其轴线进给。
其中,所述手术机器人还包括:图像主机,包括观察组件和姿态调整组件,所述姿态调整组件用于调整所述观察组件的姿态,所述观察组件用于观察所述成像器械采集的图像;所述控制装置与所述姿态调整组件耦接,还被配置成用于:根据所述第一目标旋转矢量控制所述姿态调整组件运动,使得所述观察组件跟随所述用户头部的运动在目标姿态自由度运动。
其中,所述姿态调整组件包括:底座;第一枢转件,与所述底座枢转连接,被配置成可相对于所述底座在第一姿态自由度旋转;及第二枢转件,与所述第一枢转件枢转连接,被配置成可相对于所述第一枢转件枢转在第二姿态自由度旋转;所述观察组件与所述第二枢转件相对固定连接。
其中,所述底座包括第一弯曲滑轨,所述第一枢转件包括第二弯曲滑轨和第三弯曲滑轨,所述第二枢转件包括第四弯曲滑轨,所述第一弯曲滑轨和所述第二弯曲滑轨滑动配合以可在第一姿态自由度旋转,所述第三弯曲滑轨和所述第四弯曲滑轨滑动配合以可在第二姿态自由度旋转。
其中,所述底座包括第一弯曲滑轨,所述第一枢转件包括第二弯曲滑轨,所述第一弯曲滑轨和所述第二弯曲滑轨滑动配合以可在第一姿态自由度旋转,所述姿态调整关节还包括转动关节,所述第二枢转件与所述第一枢转件之间通过所述转动关节连接以可在第二姿态自由度旋转。
其中,所述第一姿态自由度和所述第二姿态自由度中的一个包括偏航自由度、另一个包括俯仰自由度;所述偏航自由度与用户头部的左右旋转关联,所述偏航自由度的运动范围被配置成介于-60°~+60°之间;所述俯仰自由度与用户头部的上下旋转关联,所述俯仰自由度的运动范围被配置成介于-45°~+45°之间。
其中,所述成像器械包括刚性零度内窥镜。
另一方面,本申请提供一种手术机器人的控制方法,所述手术机器人包括:成像器械,用于插入身体开口内以采集图像;操纵器,用于操纵所述成像器械围绕定位于所述身体开口的远心不动点旋转、和沿所述成像器械的轴线方向进给;输入装置,用于输入所述成像器械围绕远端点在目标姿态自由度旋转的第一目标旋转矢量;所述控制方法包括:获取所述输入装置输入的所述第一目标旋转矢量;基于所述第一目标旋转矢量确定所述成像器械围绕所述远心不动点在目标姿态自由度旋转的第二目标旋转矢量;根据所述第二目标旋转矢量控制所述操纵器操纵所述成像器械围绕所述远心不动点旋转;获取所述成像器械围绕所述远心不动点旋转所述第二目标旋转矢量相对于围绕所述远端点旋转所述第一目标旋转矢量的成像距离偏差;基于所述成像距离偏差,控制所述操纵器操纵所述成像器械沿所述成像器械的轴线进给,以补偿所述成像距离偏差。
另一方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被配置为由处理器加载并执行实现如上述任一项实施例所述的控制方法的步骤。
另一方面,本申请提供了一种手术机器人的控制装置,包括:存储器,用于存储计算机程序;及处理器,用于加载并执行所述计算机程序;其中,所述计算机程序被配置为由所述处理器加载并执行实现如上述任一项实施例所述的控制方法的步骤。
本申请的手术机器人及其控制方法、控制装置,具有如下有益效果:
通过在控制操纵器操纵成像器械围绕远心不动点旋转第二目标旋转矢量的同时,操纵成像器械沿其轴线进给适当距离,能够实现与操纵成像器械围绕其远端点旋转第一目标旋转矢量时一样的成像效果,即能够确保成像器械实际采集的图像与期望采集的图像一致。
附图说明
图1是根据一实施例示出的手术系统的设备关系简化图;
图2是根据一实施例示出的一种手术系统的结构示意图;
图3是根据一实施例示出的一种成像器械的结构示意图;
图4是根据一实施例示出的一种医生主操控台的结构示意图;
图5是根据一实施例示出的一种手术机器人的控制方法的流程图;
图6是根据一实施例示出的另一种成像器械的结构示意图;
图7是图4所示成像器械的一种结构原理示意图;
图8是图6所示成像器械的一种结构原理示意图;
图9是图7所示成像器械一实施例的运动状态示意图;
图10是图7所示成像器械又一实施例的运动状态示意图;
图11是图7所示成像器械再一实施例的运动状态示意图;
图12是根据一实施例示出的一种手术机器人的另一控制方法的流程图;
图13是根据一实施例示出的一种手术机器人的又一控制方法的流程图;
图14是根据一实施例示出的输入装置的结构原理示意图;
图15是根据一实施例示出的图像主机的屏幕画面示意图;
图16是根据一实施例示出的图像主机的结构示意图;
图17是图16所示图像主机中姿态调整组件一实施例的结构示意图;
图18是图17所示姿态调整组件中第二枢转件的放大示意图;
图19是根据一实施例示出的图像主机中姿态调整组件又一实施例的结构示意图;
图20是根据一实施例示出的输入装置中部分结构的结构原理示意图;
图21为本申请一实施例的手术机器人系统的控制装置的结构示意图。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是,本申请可以以许多不同的形式来实现,并不限于本申请所描述的实施方式。相反地,提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
需要说明的是,当元件被称为“设置于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。当一个元件被认为是“耦接”另一个元件,它可以是直接耦接到另一个元件或者可能同时存在居中元件。本申请所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的,并不表示是唯一的实施方式。本申请所使用的术语“远端”、“近端”作为方位词,该方位词为介入医疗器械领域惯用术语,其中“远端”表示手术过程中远离操作者的一端,“近端”表示手术过程中靠近操作者的一端。本申请所使用的术语“第一/第二”等可以表示一个部件以及一类具有共同特性的两个以上的部件。
除非另有定义,本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本申请。本申请所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。本申请中所使用的术语“各”、“多个”包括一个或两个以上。
图1是根据一实施例示出的手术系统的设备关系简化图。如图1所示,手术系统100包括手术机器人与手术床105,手术机器人包括床旁机械臂系统101、医生主操控台103与图像车成像系统108,可以理解,手术机器人的构成不限于此。
床旁机械臂系统101包括具有多个关节的驱动臂,驱动臂的远端装设有穿刺装置,穿刺装置用于插入躺卧于手术床105的台面的患者106的身体开口内,穿刺装置可以提供手术机器人与生物体(包括人/动物)之间的通道,医疗器械通过该连接通道插入生物体的体内,医疗器械包括提供视野的成像器械和提供手术操作如剪切、缝合、切割、灼烧、清洗的手术器械。其中,身体开口包括生物体如患者身体的手术切口和/或自然腔道口,自然腔道口示例性的包括口、鼻、肛门。
医生主操控台103与床旁机械臂系统101通过数据传输路径120进行实时通讯,医生在医生主操控台103上的手术动作通过基于运动学模型的主从映射关系对床旁机械臂系统101中的医疗器械进行操作,同时,医生主操控台103可以对床旁机械臂系统101进行状态监测,例如监测床旁机械臂系统101中各关节的运动信息。手术床105执行相应自由度的运动时,固定在手术床105的台面上的患者106相对于台面保持相对静止状态,患者106的体位变化由手术床105执行相应自由度的运动而实现,手术床105的各运动关节的运动信息被实时记录和存储,并且通过数据传输路径150将手术床105的运动信息传输到床旁机械臂系统101中。医生主操控台103与手术床105之间的数据传输通过数据传输路径130进行。患者106的手术部位的图像由装设于床旁机械臂系统101的成像器械采集,成像器械连接图像车成像系统108,成像器械采集的图像通过数据传输路径110传输到图像车成像系统108中,进而,图像车成像系统108通过数据传输路径160实时将成像器械采集的图像反馈到医生主操控台103,为医生提供手术视野,从而便于手术的顺利实施。实际实现时,数据传输路径110、120、130、150、160可以是有线传输也可以是无线传输。
图2是根据一实施例示出的一种手术系统的结构示意图。如图2所示,主要示意了手术机器人的床旁机械臂系统101与手术床105的结构。床旁机械臂系统101包括运动底盘201、机械臂250与驱动臂,运动底盘201能够在水平地面任意方向对床旁机械臂系统101进行整体移动,机械臂250用于对一条或多条驱动臂进行整体摆位,驱动臂包括调整臂260与操纵器270,操纵器270有时也可被称为操纵器组件。机械臂250、调整臂260及操纵器270通常均包括一个以上的关节,这些关节包括旋转关节和平移关节中的一种以上。
运动底盘201可以采用轮式移动结构,使得床旁机械臂系统101与手术床105之间的相对位置关系更加灵活,不存在指定位置区域性的约束条件,现场医务人员可以依据实际手术使用需求自行推动完成摆位操作和摆位后的锁定操作,在能够充分靠近手术床105的同时方便各操纵器270在患者体外上方的术前摆位动作。
机械臂250包括与运动底盘201固定连接的用于支撑所有运动关节的固定支撑柱203、执行机械臂250整体升降直线运动J1的升降立柱204、分别执行旋转运动J2和J3的大臂205和小臂206,以及控制一条或多条调整臂260执行整体旋转运动J4的定向平台207,这些关节的运动能够实现快速达到预计的术前摆位区域,有利于缩短术前床旁机器臂系统101与患者106之间的对接时间。
一条或多条调整臂260单独或采用并联方式与定向平台207通过旋转关节J5完成连接,在一些示例中,床旁机械臂系统101存在多条调整臂260的情况,考虑到多条调整臂260之间构型基本相同以及各关节运动描述基本相同,因此,图2中仅以一条调整臂260和一条操纵器270作为示例进行结构呈现以及下文中各关节运动关系的描述。在一些示例中,调整臂260包括小转动平台208、在平行于地面的水平方向上执行直线平移运动J6的伸缩臂209、相对于固定连接在伸缩臂209上的固定竖臂210、在垂直于地面的竖直方向上执行上下升降运动J7的移动竖臂211、执行旋转运动J8转弯头212、以及执行旋转运动J9的旋风关节213。
操纵器270包括与旋风关节213发生旋转运动J10的偏转关节214、平行四边形联动装置底座215、执行旋转运动J11的第一连杆216和第二连杆217,以及用于使医疗器械219沿导轨方向执行直线运动J12的持械臂218。穿刺装置(Trocar)229装设在操纵器270的远端。与患者106的身体开口位置相同的穿刺装置229的远心不动点220由旋风关节213轴线和偏转关节214轴线的交点进行定义,并且这两条轴线与平行四边形联动装置底座215的侧向中心面的交点同样汇聚到穿刺装置229的远心不动点220处,此外,第一连杆216和第二连杆217作为两条相邻边与相对他们平行的两条虚拟相邻边构成平行四边形运动机构,由一个电机控制并围绕旋转运动J11轴线执行平行四边形运动的折叠和张开运动,平行四边形的远心不动点同样与穿刺装置229的远心不动点220汇交于一点,并且该交点位于医疗器械219的中心轴线上,医疗器械末端221插入到患者106的体内,并基于主从映射关系执行医生在主操控台的手术动作。如图2所示,控制偏转关节214相对于旋风关节213进行的旋转运动J10使得穿刺装置229和医疗器械219围绕远心不动点220在偏航自由度运动;控制第二连杆217相对于第一连杆216进行的旋转运动J11使得穿刺装置229和医疗器械219围绕远心不动点220在俯仰自由度运动,示例性的,控制第二连杆217相对于第一连杆216进行旋转的俯仰关节可以设置在平行四边形联动装置底座215。穿刺装置229和医疗器械219围绕远心不动点220运动,主要用于避免穿刺装置229和医疗器械219位置改变导致的应力撕裂身体开口。
在适用于图2所示的床旁机械臂的医疗器械中,以图3所示硬性内窥镜(即成像器械)219为例,一般包括四个自由度,为一个平动自由度,及围绕着远心不动点220旋转的三个转动自由度,其中,操纵器270为成像器械219提供俯仰自由度、偏航自由度及沿J12的平动自由度,成像器械219自身提供翻滚自由度。远心不动点220通常为成像器械219的中轴线和身体开口的交点,通常该远心不动点220主要由操纵器270的物理结构所限定,手术时需要保持此远心不动点220不动,以减小手术过程中对于人体的影响,例如不扩大创口。
操纵器组件包括操纵器270和医疗器械219。示例性的,控制医疗器械如成像器械219在围绕远心不动点220的俯仰自由度转动时,控制操纵器组件中关节的第一关节运动即可,例如,控制图2所示的俯仰关节运动即可控制成像器械219围绕远心不动点220进行俯仰自由度的转动。示例性的,控制成像器械219在围绕远心不动点220的偏航自由度转动时,控制操纵器组件中关节的第二关节运动即可,例如,控制偏转关节214运动即可控制成像器械219围绕远心不动点220进行偏航自由度的转动。
一些实施例中,手术机器人还包括输入装置,该输入装置可以被配置成用于输入医疗器械219的目标运动矢量,其中,可以配置该目标运动矢量为医疗器械219的远端即末端执行器相对于某个参考点即某个参考坐标系进行运动的目标运动矢量。该输入装置可以集成于医生主操控台103设置,也可以独立于医生主操控台103设置。一些实施例中,该输入装置包括连杆式操作部、磁导航式操作部、语音识别装置、眼球跟踪装置、以及头部跟踪装置等中的一种以上。图4所示的医生著操控台103包括了一种连杆式操作部1031。
一些实施例中,手术机器人还包括控制装置,该控制装置包括一个或多个处理器。该一个或多个处理器与床旁机械臂系统101、医生主操控台103及图像车成像系统108耦接。该一个或多个处理器可以集成于床旁机械臂系统101、医生主操控台103及图像车成像系统108中的一个,也可以分布于床旁机械臂系统101、医生主操控台103及图像车成像系统108中的两个以上,也可以部署于云端。
一些实施例中,本身请提供一种手术机器人的控制方法,该方法被配置成由手术机器人的控制装置执行,参阅图5,该方法包括:
步骤S11,获取输入装置输入的期望成像器械围绕其远端点在目标姿态自由度旋转的第一目标旋转矢量。
其中,成像器械的远端通常包括成型器械的图像末端执行器,成像器械的远端点示例性的图像末端执行器中的某个点,该点示例性的包括成像面的中心点。
其中,目标姿态自由度可以包括单个姿态自由度,也可以包括两个以上的复合姿态自由度。
步骤S12,基于第一目标旋转信息确定成像器械围绕远心不动点在目标姿态自由度旋转的第二目标旋转矢量。
其中,在手术机器人中,由于难以期待成像器械的远端围绕远端上的远端点在目标姿态自由度旋转,因而期待成像器械的远端围绕其它旋转中心在目标姿态自由度旋转。结合手术机器人实施手术时的安全及可靠性需求,例如,为满足避免穿刺装置和医疗器械位置改变导致的应力撕裂身体开口的需求,可以通过将期望成像器械的远端围绕其远端点的旋转实际转化成围绕远心不动点的旋转,以实现期望的视野范围的调节。
步骤S13,根据第二目标旋转矢量控制操纵器操纵成像器械围绕远心不动点旋转。
可以通过多种方式操纵成像器械围绕远心不动点旋转。
一些实施例中,可以基于第二目标旋转矢量确定关联于目标姿态自由度的运动的操纵器中的目标关节及其目标关节量,然后控制目标关节运动目标关节量。例如,在如图2所示床旁机械臂系统101中,当第二目标旋转矢量关联于偏航自由度时,可以确定偏转关节214作为目标关节并确定其目标关节量;当第二目标旋转矢量关联于俯仰自由度时,可以确定俯仰关节即控制第二连杆217相对于第一连杆216旋转的关节作为目标关节并确定其目标关节量;当第二目标旋转矢量关联于偏航自由度和俯仰自由度时,可以确定偏转关节214作为一目标关节并确定其目标关节量,同时确定俯仰关节作为另一目标关节并确定其目标关节量。然后,控制操纵器270中这些目标关节运动其相应的目标关节量即可操纵成像器械219围绕远心不动点220旋转。
一些实施例中,也可以基于运动学控制操纵器270操纵成像器械219围绕远心不动点220旋转。例如,可以获取成像器械219的远端点的当前位姿,并基于该当前位姿及第二目标旋转矢量确定成像器械219的远端点的目标位姿,进而根据该目标位姿并利用逆运动学,确定操纵器组件中关节的目标关节量,最后根据目标关节量控制操纵器组件中关节运动。
步骤S14,响应于成像器械围绕远心不动点旋转第二目标旋转矢量相对于围绕远端点旋转第一目标旋转矢量导致的成像距离偏差,控制操纵器操纵成像器械沿其轴线进给,以补偿成像距离偏差。
其中,成像器械的进给与旋转同步进行,以确保对成像器械调节的整个过程中成效效果稳定。
其中,步骤S14包括:获取成像器械围绕远心不动点旋转第二目标旋转矢量相对于围绕远端点旋转第一目标旋转矢量的成像距离偏差;基于成像距离偏差,控制操纵器操纵成像器械沿成像器械的轴线进给。
一些实施例中,成像器械包括连杆和耦接于连杆远端的图像末端执行器。成像器械中,连杆和图像末端执行器之间不具备腕部关节时,为刚性成像器械,图像末端执行器不具有相对连杆远端运动的性能;连杆和图像末端执行器之间具备腕部关节时,为柔性成像器械,图像末端执行器具有相对连杆远端运动的性能。图3和图6所示的成像器械219(219’)中,连杆2191(2191’)和图像末端执行器2192(2192’)之间不具备腕部关节,为刚性成像器械。
一些实施例中,成像器械还可以另行划分类型。示例性的,可以根据成像器械的成像光轴与连杆的延伸方向之间是否平行(包括重合)进行分类。其中,如果成像光轴与连杆的延伸方向之间平行,成像器械为零度内窥镜;如果与连杆的延伸方向之间不平行,即具有夹角,成像器械为非零度内窥镜镜。如图7和图8所示的成像器械219(219’)中,例如可以将远心不动点220(220’)和远端点2193(2193’)之间的直线作为连杆2191(2191’)的延伸方向2196(2196’),垂直于成像面即镜面2194(2194’)的光轴即为成像光轴2195(2195’)。成像光轴包括无数束相互平行或不平行的光轴。示例性的,本申请所描述的成像光轴可以指经过成像面的中心和/或图像末端执行器的中心、且垂直于成像面的光轴,也可以称其为中心成像光轴。图7中,成像光轴2995与连杆延伸方向2196平行,成像器械219为零度内窥镜。图8中,成像光轴2995’与连杆延伸方向2196’平行,成像器械219’为非零度内窥镜,其中,成像光轴2995’与连杆延伸方向2196’之间为30°,成像器械219’为30度内窥镜。
其中,图7是对图3的示意,图8是对图6的示意,因而,图3或图7所示的成像器械219为刚性零度内窥镜,图6或图8所示的成像器械219’为刚性30度内窥镜。
以图7所示的刚性零度内窥镜(也可简称为刚性零度镜)为例,对上述实施例进行说明。其中,成像器械219当前对准的实际成像中心点为A,在不改变成像器械219的目标成像距离的情况下,用户期望围绕远端点2193旋转成像器械219达到第一目标旋转矢量α以看到目标成像中心B。然而事实上,由于成像器械219的远端并不能够围绕远端点2193旋转,而只能围绕远心不动点220旋转,因此,只能控制成像器械219围绕远心不动点220旋转。
参阅图9,如果围绕远心不动点220旋转成像器械219达到第一目标旋转矢量α,由于刚性连杆2191在转动时的放大作用,容易导致对准的实际成像中心点C远远偏离于期望对准的目标成像中心点B。因此,不能直接控制成像器械219围绕远心不动点220旋转第一目标旋转矢量α,进而,考虑到用户的期望,可以基于第一目标旋转矢量确定第二目标旋转矢量β。
参阅图10,进一步地,在确定了第二目标旋转矢量β以后,如果围绕远心不动点220旋转成像器械219达到该第二目标旋转矢量β,容易导致对准的实际成像中心D与期望对准的目标成像中心之间B具有距离差值,即具有成像距离偏差。该成像距离偏差将会影响成像效果,至少用户期望通过成像器械观看到的视野中心与实际观看到的视野中心存在偏差,例如在最佳成像平面上具有景深上的偏差。
因此,在控制操纵器270操纵成像器械219围绕远心不动点220旋转的同时,通过控制操纵器270操纵成像器械219沿其轴线J12进给以补偿上述的成像距离偏差,可以实现实际观看到的与期望观看到的成像效果的一致性,即实际成像中心点和目标成像中心点均为B,如图11所示。例如,其可以确保假设以成像器械的远端点为中心、成像距离为半径,所对应圆形的边界及该边界外的区域的期望的清晰度。
一些实施例中,基于第一目标旋转矢量确定成像器械围绕远心不动点在目标姿态自由度旋转的第二目标旋转矢量,包括:
步骤121,获取第一距离和第二距离。其中,该第一距离包括成像器械介于远心不动点与远端点之间的距离,该第二距离包括成像器械的目标成像距离。一些实施例中,目标成像距离包括自图像末端执行器的中心垂直于其成像面即镜面出射的成像距离,示例性的,该成像距离为该成像器械的最佳成像距离或其它适宜的成像距离。用户输入的第一目标旋转矢量示例性的可以被理解成期望该中心旋转的目标旋转矢量。一些实施例中,图像末端执行器的中心可以是关联于成像器械的远端点的特征点,该特征点可以重合于该远端点或轻微偏离远端点。例如,可以将成像器械的远端点作为图像末端执行器的中心。又例如,可以将图像末端执行器中成像面的中心作为图像末端执行器的中心。步骤122,结合第一目标旋转矢量、第一距离及第二距离,确定成像器械围绕远心不动点在目标姿态自由度旋转的第二目标旋转矢量。
一实施例中,可以利用三角函数,并基于第一目标旋转矢量、第一距离及第二距离,确定该第二目标旋转矢量。继续参阅图10,例如,可以利用反正切三角函数进行确定,该第二目标旋转矢量可以通过如下公式确定:
其中,α表示第一目标旋转矢量,β表示第二目标旋转矢量,L表示第一距离,d表示第二距离。
例如,基于相同原理,也可以通过反余切、反正弦、反余弦等三角函数公式确定第二目标旋转矢量,此处不再一一举例说明。
一些实施例中,上述步骤S14,控制操纵器操纵成像器械操纵成像器械沿其轴线进给,以补偿成像距离偏差,包括:
S141,获取成像器械的初始位置和/或初始姿态。
其中,成像器械的初始位置和/或初始姿态包括输入装置与操纵器组件建立主从映射关系时刻的位置和/或姿态,表达成像器械的零位状态。成像器械的初始位置和/或初始姿态可以指成像器械上特征区域的初始位置和/或初始姿态,在本实施例中,该特征区域包括位于旋转点远端的某预设区域。其中,特征区域包括一个或多个点构成的区域。
S142,获取成像器械的当前位置和/或当前姿态。
其中,成像器械的当前位置和/或当前姿态可以基于操纵器组件例如操纵器中关节的当前关节变量,并利用正运动学确定。
S143,基于成像器械的目标位置和/或目标姿态相较于其当前位置和/或当前姿态与初始位置和/或初始姿态之间的位置关系和/或姿态关系,确定成像器械沿其轴线进给的目标方向。
其中,成像器械的目标位置和/或目标姿态基于第二目标旋转矢量确定。更具体的,成像器械的目标位置和/或目标姿态可以基于第二目标旋转矢量、以及操纵器组件例如操纵器中关节的当前关节变量,并利用正运动学确定。
其中,在成像器械的目标位置和/或目标姿态相较于其当前位置和/或当前姿态而言,相对远离初始位置和/或初始姿态时,确定目标方向为成像器械沿其轴线撤回身体开口的方向;或者,在相较于当前位置和/或当前姿态目标位置和/或目标姿态相较于其当前位置和/或当前姿态而言,相对靠近初始位置和/或初始姿态时,确定目标方向为成像器械沿其轴线插入身体开口的方向。
S144,控制成像器械沿其轴线在目标方向进给,以补偿成像距离偏差。
其中,成像器械的进给方向与目标方向基本一致,成像器械的进给量与成像距离偏差基本一致。
一些实施例中,成像距离偏差可以基于以下原理确定:
获取成像器械的介于远心不动点和当前成像中心之间的第一长度,并获取成像器械假设围绕远心不动点旋转第二旋转矢量时、介于远心不动点和实际成像中心的第二长度,基于第一长度和第二长度的差值可以确定成像距离偏差。
示例性的,基于上述原理,可以这样确定成像距离偏差:
步骤S21,获取第一距离和第二距离。
其中,第一距离包括成像器械介于远心不动点与远端点之间的距离,第二距离包括成像器械的目标成像距离。
一实施例中,第一距离的获取方法,包括:
获取操纵器组件中关节的关节变量;结合关节变量、操纵器组件的第一运动学模型,并利用正运动学,确定远端点在参考坐标系的第一位置,并确定远心不动点在参考系坐标系的第二位置;基于第一位置和第二位置确定第一距离。
一实施例中,第二距离的获取方法,包括:
获取成像器械的成像距离范围;基于成像距离范围生成包括一个或多个可选目标成像距离的配置界面;响应于通过配置界面对目标成像距离的选择,将选择的目标成像距离作为第二距离。通过灵活配置第二距离,可以实现不同的成像效果以满足不同手术需求。
继续参阅图10,基于第一距离和第二距离之和可以确定上述的第一长度。其中:
L1=L+d 式(2)
其中,L1表示第一长度,L表示第一距离,d表示第二距离。
步骤S22,结合第一目标旋转矢量、第一距离及第二距离,确定成像距离偏差。
其中,例如可以利用三角函数,并基于第一目标旋转矢量、第一距离及第二距离,确定上述的第二长度,其计算公式示例性的可以表达为如下:
其中,L2表示第二长度,α表示第一目标旋转矢量。
ΔL=L1-L2 式(4)
其中,ΔL表示成像距离偏差,L1表示第一长度。例如,在图10中,ΔL表示DB之间的距离。
将式(2)、式(3)代入式(4),可以得到:
也即,根据式(5)可以确定成像距离偏差。
上述基于三角函数确定第二目标旋转矢量和/或成像距离偏差,以实现对成像器械进行控制的实施例,能够较好的适用于零度内窥镜的使用场景,尤其适用于刚性零度内窥镜的使用场景。其中,图2所示的床旁机械臂系统可以采用刚性零度内窥镜或刚性非零度内窥镜。
一些实施例中,刚性零度内窥镜和刚性非零度内窥镜通常采用结构设计实现,例如,在刚性零度内窥镜中,将镜面设置成垂直于连杆的延伸方向即可。又例如,在刚性非零度内窥镜中,将镜面设置成倾斜于连杆的延伸方向即可。
一些实施例中,柔性内窥镜通常适用于单孔手术机器人并被单孔手术机器人的操纵器所操纵,以提供较多的运动自由度。单孔手术机器人的远心不动点可以由软件算法控制,也可以由相同于图2所示床旁机械臂系统的、具有平行四边形机构的操纵器进行物理结构的限定。柔性内窥镜包括柔性零度内窥镜和柔性非零度内窥镜。可以定义柔性零度内窥镜为连杆和腕部关节在初始(即零位)状态下,成像光轴与连杆的延伸方向平行(包括重合)的柔性内窥镜,在该状态下,将成像面设置成垂直于连杆的延伸方向即可。可以定义柔性非零度内窥镜为连杆和腕部关节在初始状态下,成像光轴与连杆的延伸方向具有夹角的柔性内窥镜,在该状态下,将成像面设置成倾斜于连杆的延伸方向即可。
其中,可以通过控制腕部关节运动,改变柔性零度内窥镜的构型,以实现非零度内窥镜的使用需求;并且,也可以通过控制腕部关节运动,改变柔性非零度内窥镜的构型,以实现零度内窥镜的使用需求。
一些实施例中,对于柔性零度内窥镜,维持其腕部关节和连杆呈直线的状态,可以适用于前述S11-S14的各项实施例。例如,在需要适用上述S11-S14的各项实施例所记载的技术方案时,如果柔性零度内窥镜中腕部关节和连杆不呈直线,先控制腕部关节运动恢复成与连杆之间相对的零位状态即呈直线即可。
示例性的,可以记录腕部关节和连杆呈直线时,腕部关节的初始关节变量。而在控制腕部关节运动以使腕部关节和连杆呈直线时,可以直接基于腕部关节的当前关节变量和初始关节变量来控制相应腕部关节复位即可。
一些实施例中,将成像器械围绕其远端点旋转第一目标旋转矢量转换成围绕其它旋转中心例如远心不动点旋转的情况下,也可以采用其它方式来达到所需求的成像效果或维持成像效果不改变,该成像效果指前述的改变成像器械的旋转中心时,成像器械的远端与目标成像中心之间的距离与目标成像距离保持一致。该控制方法大致包括:获取前述的成像器械的目标成像中心在参考坐标系如床旁机械臂系统的基坐标系的目标位置和/或姿态,进而基于逆运动学确定操纵器组件中关节的目标关节量,然后根据该目标关节量控制操纵器组件中关节运动,以使成像器械的成像中心从当前位置和/或姿态达到目标位置和/或姿态。该方法适用于具有或不具有腕部关节的成像器械,是通用性的方法。示例性的,请参阅图12,该控制方法包括:
步骤S11’,获取输入装置输入期望成像器械围绕其远端点在目标姿态自由度旋转的第一目标旋转矢量。
其中,该第一目标旋转矢量包括输入装置输入的期望成像器械的远端围绕其远端点在目标姿态自由度旋转的目标旋转矢量。
步骤S12’,基于第一目标旋转矢量确定成像器械的目标成像中心在参考坐标系的目标位置和/或姿态。
步骤S13’,基于目标位置和/或姿态确定操纵器组件中关节的目标关节变量。
其中,即确定操纵器和成像器械中关节的目标关节变量。
步骤S14’,根据目标关节变量控制操纵器组件中关节运动,以使成像器械的成像中心达到目标成像中心。
其中,即控制操纵器和成像器械中关节根据目标关节变量进行运动。
通过上述步骤S11’~步骤S14’,无需确定如上述步骤S11~步骤S14所需要的第二目标旋转矢量和成像距离偏差,也可以实现相同的成像效果。
一些实施例中,基于第一目标旋转矢量确定成像器械的目标成像中心在参考坐标系的目标位置和/或姿态,包括:
步骤131’,确定目标成像中心相对于成像器械的远端点的第一位置和/或姿态。
例如,假设远端点在参考坐标系的当前位置和/或姿态为P0(Px0,Py0),且假设成像器械在二维的xy平面内绕远端点旋转第一目标旋转矢量α,则目标成像中心相对于成像中心的远端点的第一位置和/或姿态为P1(Px0+dcosα,Py0+dsinα)。
步骤132’,基于远端点在参考坐标系的当前位置和/或姿态,确定第一位置和/或姿态在参考坐标系的目标位置和/或姿态。
其中,可以基于关联于操纵器组件的第一运动学模型及获取的操纵器组件中关节的当前关节变量确定成像器械的远端点在参考坐标系的当前位置和/或姿态。
一些实施例中,参阅图13,基于目标位置和/或姿态确定操纵器组件中关节的目标关节变量,包括:
步骤S141’,获取成像器械的成像光轴的配置参数。
一些实施例中,成像光轴的配置参数包括成像光轴的长度和成像光轴相对于成像面如镜面的角度。成像光轴的配置参数可以基于获取的成像器械的属性信息确定。其中,成像器械的属性信息包括成像器械的成像距离范围,成像器械的成像距离范围包括最小成像距离、最大成像距离、和介于最小成像距离与最大成像距离之间的最佳成像距离中的至少一个。成像器械的属性信息还包括成像器械的类型,成像器械的类型包括零度内窥镜或非零度内窥镜。
一些实施例中,可以基于获取的成像器械的成像距离范围,确定成像光轴的长度,其中,可以将成像光轴的长度理解成目标成像距离。例如,在成像距离范围包括最小成像距离时,可以将大于等于该最小成像距离的任一成像距离配置成作为成像光轴的长度。例如,在成像距离范围包括最佳成像距离时,可以将该最佳成像距离配置成作为成像光轴的长度。例如,在成像距离范围包括最小成像距离和最大成像距离时,可以将介于该最小成像距离和最大成像距离之间的任一成像距离配置成作为成像光轴的长度。一些实施例中,成像器械的成像距离范围与其焦距相关,对应于具有定焦的图像末端执行器的成像器械而言,成像距离范围是相对唯一的,而对于具有变焦的图像末端执行器的成像器械而言,成像距离范围包括对应于不同焦距的不同成像距离范围。
一些实施例中,可以基于获取的成像器械的类型确定,成像光轴相对于成像面的角度。例如,在获取到成像器械为零度内窥镜时,可以确定成像光轴相对于成像面的角度为90度。又例如,在获取到成像器械为+30度内窥镜时,可以确定成像光轴相对于成像面的角度为+60度。又例如,在获取到成像器械为-30度内窥镜时,可以确定成像光轴相对于成像面的角度为-60度。一些实施例中,由于成像光轴相对于连杆的延伸方向的第一夹角、与成像光轴相对于成像面的第二夹角通常互为余角。例如,可以在存储芯片中存储有第一夹角时,可以基于第一夹角确定第二夹角。又例如,可以在存储芯片中直接存储该第二夹角。
成像器械的属性信息可以存储在成像器械的存储芯片内,在成像器械装设于操纵器时,由操纵器内设置的读取接口读取属性信息并传输给控制装置进行处理。
步骤S142’,结合成像光轴的配置参数,构建关联于操纵器组件和成像光轴的第二运动学模型。
一些实施例中,该第二运动学模型可以仅关联操纵器组件和成像光轴。一些实施例中,该第二运动学模型可以关联于包括操纵器组件的至少一部分驱动臂和成像光轴。前述的第一运动学模型没有考虑成像光轴,这里的第二运动学模型考虑了成像光轴,具体考虑了成像光轴的长度及其相对于成像面的角度,因而,第二运动学模型不同于第一运动学模型。更具体的,第一运动学模型的构建仅关联于实体臂体结构,而第二运动学模型的构建不但关联于实体臂体结构、还关联于虚拟的臂体结构即成像光轴。在第二运动学模型中,相当于将成像器械的结构进行延伸并有形化考虑,能够确保到达目标成像中心时,成像器械实际的远端点,如图7所示的远端点2193或如图8所示的远端点2193’,与目标成像中心之间的距离始终能够维持于成像光轴的长度即目标成像距离。
步骤S143’,基于目标位置和/或姿态、第二运动学模型,并利用逆运动学确定操纵器组件中关节的目标关节变量。
其中,例如在第二运动学模型仅关联操纵器组件和成像光轴时,可以确定操纵器和成像器械中关节的目标关节变量。又例如,在第二运动学模型关联于包括操纵器组件的整个驱动臂和成像光轴时,可以确定驱动臂中关节的目标关节变量。
一些实施例中,为了实现用户期望看到不同的图像效果,可以构建不同的第二运动学模型。一些实施例中,可以对成像光轴的配置参数进行配置。例如,可以对成像光轴相对于成像面的角度进行配置,和/或,可以对成像光轴的长度进行配置。
示例性的,可以基于成像距离范围生成包括一个或多个可选目标成像距离的配置界面;响应于通过配置界面对目标成像距离的选择,将选择的目标成像距离作为成像光轴的长度。例如,成像距离范围包括最小成像距离和最大成像距离时,可以介于最小成像距离和最大成像距离生成多个目标成像距离以供配置。
示例性的,可以生成包括一个或多个可选目标角度的配置界面;响应于通过配置界面对目标角度的选择,将选择的目标角度作为成像光轴相对于成像面的角度。例如,可以生成多个介于0-90°的多个目标角度以供配置。
当然,也可以通过其它方式实现成像光轴的长度,和/或,成像光轴相对于成像面的角度的配置,例如,也可以通过语音识别等方式进行配置。
一些实施例中,假设改变成像器械的旋转中心,由于成像器械在自转自由度(即滚转自由度)的旋转不会改变目标成像距离,而在俯仰自由度和/或偏航自由度的旋转会改变目标成像距离,因此,上述实施例的方法尤其适用于成像器械在俯仰自由度和/或偏航自由度的旋转。
上述的第一目标旋转矢量可以通过多种方式实现输入。例如可以通过设置于主操控台的操作部实现第一目标旋转矢量的输入。又例如可以通过设置于主操控台的触控屏实现第一目标旋转矢量的输入。
通常,通过操控操作部对成像器械和手术器械进行控制。在医生双手均操作手术器械时,如果需要对成像器械进行控制以调整视野,医生至少需要暂停对一个手术器械的控制才能切换成对成像器械的控制,然而,手术中,在成像器械和手术器械之间通常具有较高的切换频率,这样的切换操作,复杂且低效。而且,即使可以一只手操作手术器械、另一只手同时操作成像器械,也存在协调性问题,用户体验性差,难以满足医生需求。因此,本申请提供另外形式的输入装置,无需医生手部操作,也能实现对成像器械的控制。其它实施例中,输入装置的输入也可以根据需要对手术器械进行控制,只需要建立该输入装置与手术器械之间的主从映射关系即可,值得注意的是,由于对手术器械的控制不存在成像距离所涉及的问题,对于手术器械,只需要控制手术器械的远端点根据输入装置输入的目标运动信息运动即可,该目标运动信息不仅可以包括姿态自由度上的运动信息,还可以包括位置自由度上的运动信息。
一些实施例中,该输入装置包括语音识别组件,医生可以通过发出特定声音并经语音识别组件处理后产生特定指令,该特定指令对应第一目标旋转矢量。示例性的,医生可发出“向左”、“向右”、“向上”、“向下”、“向左上”、“向右上”、“向左下”、“向右下”、“向前”、“向后”等指令,产生对应自由度的增量运动矢量。示例性的,医生可发出“向左5度”、“向右5度”、“向前1厘米”、“向后1厘米”等指令,产生对应自由度的增量运动矢量。进而,可以将增量运动矢量中的旋转矢量作为前述的第一目标旋转矢量。
一些实施例中,该输入装置包括感应用户头部移动的感应组件,用户头部的移动包括在空间中的任何运动,包括转动和平动。感应组件感应的用户头部的移动为对应自由度的增量运动矢量,可以将增量运动矢量中的旋转矢量作为前述的第一目标旋转矢量。
一些实施例中,感应组件包括一组或多组传感器,各组传感器包括一个或多个传感器。例如,感应组件包括第一组传感器,该第一组传感器用于感应用户头部在第一姿态自由度例如偏航自由度的移动,偏航自由度对应用户头部的左右转动。例如,感应组件包括第二组传感器,该第二组传感器用于感应用户头部在第二姿态自由度例如俯仰自由度的移动,俯仰自由度对应用户头部的上下转动。例如,感应组件包括第三组传感器,该第三组传感器用于感应用户头部在第一位置自由度例如深度方向的移动,第一位置自由度用户头部的前后移动。
示例性的,第一、第二及第三组传感器中的传感器可以采用相同类型的传感器,也可以采用完全不同类型或部分不同类型的传感器,这些类型的传感器可选自力传感器、形变传感器和/或距离传感器等。例如,力传感器可进一步选自压力传感器、扭力传感器等。例如,距离传感器可以进一步选自光学传感器如红外传感器等。通过感应用户头部施加的力和/或移动的距离可以监测到用户头部的移动。
一实施例中,第一、第二及第三组传感器中的传感器均可以采用力传感器。
对于上述的第一和/或第二姿态自由度而言,该对应一组传感器(第一和/或第二组传感器)包括设置在相应姿态方向两端的至少两个力传感器如压力传感器,可以通过对应一组传感器中两端的力传感器感应的力差如压力差确定用户头部的移动方向,例如,在对应于用户头部左右转动的偏航自由度上,如果左端力传感器所受压力大于右端力传感器所受压力,确定用户头部的移动方向为向左。进一步地,可以记录存在力差的累计时间,并基于移动方向和累计时间确定在该第一和/或第二姿态自由度的旋转矢量。
控制装置可以将力差与力差阈值进行比较,当力差超过力差阈值时,表示用户具有调整成像器械的意图,进而根据力差的情况确定用户头部的移动方向;而力差小于力差阈值时,表示用户不具有调整成像器械的意图,进而无需确定用户头部的移动方向。通过将力差与力差阈值进行判断,可以降低成像器械等响应的敏感度,进而起到防止误触的问题。进一步地,控制装置记录力差超过力差阈值的累计时间,并基于移动方向、运动速度和累计时间确定在该第一和/或第二姿态自由度的旋转矢量。
一个示例中,可以配置运动速度为单位速度,而无需考虑其它因素。
一个示例中,还可以根据力差的大小来确定成像器械的运动速度。例如,可以在力差超过力差阈值时,根据力差与力差阈值的比值,并结合单位速度来确定成像器械的运动速度,比如,用比值与单位速度之乘积得到运动速度,由此确定的运动速度较为线性。又例如,可以根据力差与力差阈值的差值程度,结合单位速度来确定成像器械的运动速度,比如,当差值程度在第一程度内时,用单位速度与第一增速度之和确定运动速度,当差值程度在第二程度内时,用单位速度与第二增速度之和确定运动速度,由此确定的运动速度具有阶梯性。较佳的,运动速度具有极大值以保证安全,当线性调节或阶梯性或其它方式调节运动速度达到极大值时,配置运动速度为极大值即可。
对于上述的第一位置自由度而言,该对应一组传感器(第三组传感器)包括至少一个设置在该位置自由度一端的力传感器。例如该力传感器可以为一个,力传感器通常设置于用户头部正面即面部一侧,正常操作时,用户头部通常贴合或至少作用于该力传感器,在力传感器感应到力(如力不为零)的情况下,若该力介于第一力阈值和小于第一力阈值的第二力阈值之间时,表示用户正常贴合在力传感器上,不具有调整成像器械的意图;在力传感器感应到力大于第一力阈值或小于第二阈值时,表示用户具有调整成像器械的意图,其中,若力大于第一力阈值时,确定用户头部的移动方向朝着正面方向,而若力小于第二力阈值时,确定用户头部的移动方向朝着反面方向,例如,在关联于用户头部的移动方向朝着反面方向时,力介于0和第二力阈值之间。示例性的,可以配置第一阈值为6N、并配置第二阈值为4N,可以为用户操作提供舒适的压感,在力传感器感应到的力介于4N~6N之间(包括4N和6N)时,不会期望并产生调整成像器械的意图,即无需确定用户头部的移动方向;在力传感器感应到的力大于6N时,确定用户头部朝正面方向移动;在力传感器感应到的力小于4N时,确定用户头部朝反面方向移动。其中,用户头部朝正面方向的移动关联于成像器械沿其轴线在深度方向的插入,用户头部朝正面方向的移动关联于成像器械沿其轴线在深度方向的撤出。进一步地,控制装置记录力大于第一力阈值或小于第二力阈值的累计时间,并可以基于移动方向、运动速度和累计时间确定在该第一位置自由度即沿成像器械的轴线方向的运动矢量。
在成像器械的进给方向,即轴线方向,一个示例中,可以配置运动速度为实现配置的单位速度,而无需考虑其它。又一个示例中,可以根据单位速度、及力与第一阈值和/或第二阈值的关系动态确定运动速度。例如,在力大于第一阈值时,根据力与第一阈值的比值,并结合单位速度来确定成像器械的运动速度,比如,用比值与单位速度之乘积得到运动速度,由此确定的运动速度较为线性;又例如,在力小于第二阈值时,根据力与第二阈值的比值,并结合单位速度来确定成像器械的运动速度,比如,用该比值与单位速度之乘积得到运动速度,由此确定的运动速度也较为线性。较佳的,该运动速度同样具有极大值以保证安全,在通过一种或多种方式调节运动速度达到极大值时,配置该运动速度为极大值即可。
当第一、第二及/或第三组传感器中的传感器包括形变传感器时,形变传感器示例性的可以参照于压力传感器进行配置,形变传感器的形变实质来自于用户头部施加的力。例如,在相应姿态自由度的两端分别设置形变传感器,及在相应位置自由度设置一形变传感器。进而,例如在姿态自由度上,可以根据两端形变传感器感应的形变量差与形变量差阈值的情况确定用户头部的移动方向,并根据记录形变量差超过形变量差阈值的累计时间,进而利用移动方向、运动速度及累计时间确定在相应自由度的运动矢量。该运动速度同样可以被配置为单位速度或可以基于单位速度及相关因素事先线性或阶梯性等的动态调节。并同时,可以为运动速度设置极大值,当动态调节的运动速度大于极大值时,确定运动速度为极大值即可。
又例如,在位置自由度上,处理更为简单,例如,在形变量介于第一形变量阈值和小于第一形变量阈值的第二形变量阈值时,表示用户正常贴合在形变传感器上,不具有调整成像器械的意图,而在大于第一形变量阈值或小于第二形变量阈值时,表示用户具有调整成像器械的意图,其中,若形变量大于第一形变量阈值时,确定用户头部的移动方向朝着正面方向,而若形变量小于第二形变量阈值时,确定用户头部的移动方向朝着反面方向。用户正常操作时,感应的形变量通常不为零,例如,在关联于用户头部的移动方向朝着反面方向时,形变量介于0和第二形变量阈值之间。其运动量同样可以关联于单位速度和累计时间进行确定,其运动速度也应当具有极大值,此处不再重复赘述。
当第一、第二及/或第三组传感器中的传感器包括距离传感器时,距离传感器示例性的可以参照于压力传感器进行配置,例如,在相应姿态自由度的两端分别设置距离传感器,及在相应位置自由度设置一距离传感器。进而,例如在姿态自由度上,可以根据两端距离传感器感应的距离量差与距离量差阈值的情况确定用户头部的移动方向,并根据记录距离量差超过距离量差阈值的累计时间,进而利用移动方向、运动速度及累计时间确定在相应自由度的运动矢量。该运动速度同样可以被配置为单位速度或可以基于单位速度及相关因素事先线性或阶梯性等的动态调节。并同时,可以为运动速度设置极大值,当动态调节的运动速度大于极大值时,确定运动速度为极大值即可。
又例如,在位置自由度上,处理更为简单,例如,在距离量介于第一距离量阈值和小于第一距离量阈值的第二距离量阈值时,表示用户与距离传感器距离正常,不具有调整成像器械的意图,而在大于第一距离量阈值或小于第二距离量阈值时,表示用户具有调整成像器械的意图,其中,若距离量大于第一距离量阈值时,确定用户头部的移动方向朝着正面方向,而若距离量小于第二距离量阈值时,确定用户头部的移动方向朝着反面方向。用户正常操作时,感应的距离量通常不为零,例如,在关联于用户头部的移动方向朝着反面方向时,距离量介于0和第二距离量阈值之间。其运动量同样可以关联于单位速度和累计时间进行确定,其运动速度也应当具有极大值,此处不再重复赘述。
上述实施例中,可以将该运动矢量作为期望成像器械沿其轴线方向进给的目标移动信息,在获取到该目标移动信息后,控制装置根据该目标移动信息控制操纵器操纵成像器械沿其轴线进给。
一些实施例中,请结合图16和图20,输入装置包括一个或多个信标61和探测该一个或多个信标61在空间中的位置的一个或多个探测器。信标61可选地包括有源或无源的信标,信标61可选地包括线圈、金属片、或磁铁等。探测器可选的包括可放射出磁场、电场、红外线等的探测器。一些实施例中,信标61可以配置于可穿戴设备中,该可穿戴设备例如包括帽子63、口罩64,该可穿戴设备还可以包括例如眼镜、耳环、发卡、贴纸等便于用户头部佩戴的配件。通过探测可穿戴设备63和/或65中一个或多个信标61在不同时刻的位置变化,例如探测一个、两个、三个、四个信标61的位置变化,可以确定用户头部的移动。配置有多个信标61的可穿戴设备允许对用户的几乎整个头部进行姿态监测,而不是只局限于头部局部如面部局部或是前额局部,因此探测的灵敏度和准确性更高,对于用户放松头部等其他无意识动作引起的误触也会相应更少。
一些实施例中,信标包括三个以上时,不同信标61之间可以至少构成两条直线,即不必要设置在同一直线上。一些实施例中,信标61包括四个以上时,不同信标61之间可以至少构成两个平面,即不必要设置在同一平面上。这样有利于实现姿态定位。
视需求而言,用户头部移动关联的运动信息,可以被配置成控制任何医疗器械包括成像器械和手术器械的任意部位运动的控制信息,例如该运动信息可以对应被配置成控制成像器械围绕远心不动点运动的控制信息,或者可以被配置成控制成像器械围绕远端点运动的控制信息,当然还可以是其它,此处不再一一列举。
一些实施例中,探测器包括磁场发生器,磁场发生器用于在一定空间内产生磁场。与之相应的,信标包括磁传感器。通过感测磁传感器在磁场中磁场强度的变化从而检测出磁传感器在磁场中不同时刻的位置变化,进而可以确定用户头部的移动。一些实施例中,信标如磁传感器包括多个时,可以为佩戴于同一用户的信标配置身份标识,进而基于获取的具有相同身份标识的信标在探测器如磁场发生器中感测的位置变化,能够准确确定出特定的用户头部的移动。
一些实施例中,探测器包括基站,基站可以收和/或发无线通讯的信号,例如信号收发器;信标包括发和/或收无线通讯的信号的信标,例如包括信号收发器。该信号收发器可以包括支持蓝牙、2G、3G、4G、5G、红外、WiFi、zigbee等中一个或多个的信号收发器。基站越多,定位越准确。其中,通过获取信标与不同基站之间不同时刻的距离,可以确定该信标在空间中的位置变化,进而可以确定用户头部的移动。
一些实施例中,如图14所示,输入装置包括眼球追踪设备,主要用于相应自动控制医疗器械如成像器械的俯仰自由度和偏航自由度,而成像器械的翻滚自由度和轴向深度运动,可以使用用户的手或脚进行控制,如脚控制脚踏板,或是手控制按键等。该眼球追踪设备包括一个或多个摄像设备303,这些摄像设备303关联于图像主机中的观察组件设置,例如设置在观察组件的显示单元302周缘,用于跟踪用户的瞳孔,进而获取用户眼睛301注视的手术视野的区域,进而控制装置响应于获取的注视区域,控制成像器械向该区域关联的方向运动,以拓展视野。
示例性的,图15展示了一个图像主机的屏幕画面示意图,其中手术区域401可以被配置成一个矩形区域,可以相应在手术区域外围设置一系列外围区域,如在手术区域上方402,下方403、左侧404和右侧405。当用户的注视点落于手术区域边缘的上方402或下方403时,可以认为用户希望手术视野向上方或下方进行拓展即调节,相应地,手术机器人会带动成像器械的俯仰自由度进行调整,也可能是俯仰自由度和轴向深度同时进行调整。当用户的注视点落于手术区域边缘的左侧404或右侧405时,可以认为用户希望手术视野向左侧或右侧进行拓展,相应地,手术机器人会带动内窥镜的偏航自由度进行调整,也可能是偏航自由度和轴向深度同时进行调整。
一些实施例中,可以只有在检测到用户的目光持续注视特定区域的持续时间达到阈值时间后,才调整成像器械向相应区域移动,例如,阈值时间为2秒时,在持续注视的时间达到2秒后,才向相应方向进行调整,以防止误触发调整成像器械。当然,这段时间的长短和灵敏度也是可以相应参数化调整和设定的,例如,为便于用户配置,可以生成包括该时间的长短和/或灵敏度的一个或多个配置参数的配置界面以供用户配置。
通过上述多种方法,可以获取得到用户例如期望成像器械围绕远端点进行旋转的第一目标旋转矢量、和/或沿其轴线方向进给的目标移动信息。
一些实施例中,如图16所示,手术机器人还包括图像主机500。图像主机包括观察组件501和姿态调整组件502。姿态调整组件502用于调整观察组件501的姿态,观察组件501用于观察成像器械采集的图像。控制装置与观察组件501和姿态调整组件502耦接,并被配置成用于:
根据第一目标旋转矢量控制姿态调整组件运动,使得观察组件跟随用户头部的运动在目标姿态自由度运动。如此,能够保证在用户头部姿态发生变化时,用于观察图像的观察组件可以相应进行自动调整;尤其在成像器械的运动关联于该第一目标旋转矢量进行运动时,成像器械的移动总是与观察组件的移动关联同步,而观察组件的移动又总是与用户头部的关联移动,三者匹配移动,包括速度基本相同的移动,能够保证用户头部移动时,用户眼部始终能看到期望的图像,且用户眼部与图像中心始终保持相对恒定的状态。
一些实施例中,继续参阅图16,姿态调整组件502包括底座503、第一枢转件504及第二枢转件505。其中,底座503可以设置于任意固定的或活动的物体或结构上,例如,底座503可以设置于墙壁、天花板,在底座503设置于固定的物体或结构上时,图像主机500整体具有较好的刚性而不易在运动时发生振动,能够维持供用户观看的图像的稳定性;又例如,底座503可以设置于具有一个或多个自由度的机械臂的远端,可以借助于机械臂具有的自由度拓展图像主机的运动性能。请参阅图4,该图像主机500可以集成在医生主控制台103内,图像主机500例如可以收容于医生主操控台103的操作空间510内,姿态调整组件502中的底座503相对固定的设置于操作空间510内,观察组件501可以借助于姿态调整组件502中第一枢转件504和第二枢转件505的运动性能,在操作空间510内较为自由的移动。
进一步地,第一枢转件504与底座503枢转连接,被配置成可相对于底座503在第一姿态自由度旋转。第二枢转件505与第一枢转件504枢转连接,被配置成可相对于第一枢转件504在第二姿态自由度旋转。观察组件501与第二枢转件505相对固定连接。进而,可以在第一姿态自由度和第二姿态自由度中的至少一个,对观察组件501进行姿态上的调节。
图像主机500还包括与控制装置耦接的第一驱动机构和第二驱动机构。第一驱动机构被配置成用于驱动第一枢转件504相对于底座503在第一姿态自由度旋转,第二驱动机构被配置成用于驱动第二枢转件505相对于第一枢转件504在第二姿态自由度旋转。
一些实施例中,参阅图17,底座503包括第一弯曲滑轨5031,第一枢转件504包括第二弯曲滑轨5041和第三弯曲滑轨5042,第二枢转件505包括第四弯曲滑轨5051,第一弯曲滑轨5031和第二弯曲滑轨5041配合以可在第一姿态自由度旋转,第三弯曲滑轨5042和第四弯曲滑轨5051配合以可在第二姿态自由度旋转。其中,第二弯曲滑轨5041和第三弯曲滑轨5042通常设置于第一枢转件504相对的两面,其一面用于与底座503滑动配合、另一面用于第二枢转件505滑动配合。
其中,结合图18参阅,观察组件501包括显示单元,显示单元包括2D或3D的显示单元,显示单元与控制装置耦接、且相对固定地设置于第二枢转件505。观察组件501还可以包括观察窗5011,也称为双眼视窗,观察窗5011与显示单元相对固定地设置,用于观察显示单元显示的图像。一些实施例中,观察窗5011上方可以设置用于供用户额头贴靠的靠垫5012,以在用户眼睛贴近观察窗5011观看显示单元显示的图像时时提高用户额头贴靠的舒适度。上述的多种传感器中的一种及以上可以设置于靠垫5012内,也可以设置在靠垫5012外的位置。
一些实施例中,如图19所示,姿态调整组件502’中的底座503’包括第一弯曲滑轨5031’,第一枢转件504’包括第二弯曲滑轨,第一弯曲滑轨5031’和第二弯曲滑轨配合以可在第一姿态自由度旋转,姿态调整组件502’还包括转动关节506’,第二枢转件505’与第一枢转件504’之间通过转动关节506’连接以可在第二姿态自由度旋转。
上述如图17或19所示的弯曲滑轨示例性的包括圆弧形的弯曲滑轨。对于通过弯曲滑轨实现旋转的结构,例如在图17中,对于底座503和第一枢转件504而言,第一驱动机构可以采用例如平面四连杆机构、曲柄滑块机构等,驱动第一枢转件504相对于底座503在弯曲滑轨5031上旋转。对于通过转动关节506’实现旋转的结构,例如在图19中,对于第二枢转件505’和第一枢转件504’而言,第二驱动机构的实现方式更为简单,例如,第二驱动机构可以采用例如齿轮啮合机构、带轮机构等,以通过驱动转动关节506’旋转的形式带动第二枢转件505’相对于第一枢转件旋转。
一些实施例中,继续参阅图18,第二枢转件505包括基板5051和自基板5051两侧均向远离底座503的方向延伸的侧壁5052,观察组件501设置于基板5051上,在观看图像时,用户头部可以收容于该两侧壁5052和基板5051形成的半包围空间内,并可允许灵活的进行上、下、左、右方向的转动,以及前、后方向的移动。监测用户头部移动的传感器和/或探测器可以设置于姿态调整组件502和/或观察组件501上。示例性的,监测用户头部在上下方向转动的一组传感器507可以设置于观察组件501上,例如设置在基板5051上且位于观察窗5011的上下两侧;监测用户头部在左右方向转动的一组传感器可以设置于第二枢转件505上,例如设置在第二枢转件505的两相对设置的侧壁5052上;监测用户头部在进深方向的移动的一组传感器可以设置于观察组件501上,例如集成设置在靠垫5012内部。一些实施例中,输入装置采用探测器监测用户头部的移动时,探测器也可以设置在如上述多组传感器如507、508所设置的相同或不同的位置。
一些实施例中,第一枢转件504(504’)的第一姿态自由度包括关联于成像器械的偏航自由度和俯仰自由度中的一个,第二枢转件505(505’)的第二姿态自由度包括关联于成像器械的偏航自由度和俯仰自由度中的另一个。例如,第一姿态自由度包括关联于成像器械的偏航自由度,第二姿态自由度包括关联于成像器械的俯仰自由度。
进一步地,成像器械的偏航自由度与用户头部的左右旋转运动和上下旋转运动中的一个关联,成像器械的俯仰自由度与用户头部的左右旋转运动和上下旋转运动中的另一个关联。例如,成像器械的偏航自由度与用户头部的左右旋转运动关联,成像器械的俯仰自由度与用户头部上下旋转运动关联,这样的关联具有操作上的直觉性,能够获得较好的用户体验。
一些实施例中,各枢转件的旋转轴线与关联的用户头部旋转的旋转轴线基本相同,例如,继续参阅图16,第一枢转件在偏航自由度旋转时,其旋转轴线J20与用户头部(即颈部)左右旋转的旋转轴线基本相同,第二枢转件在俯仰自由度旋转时,其旋转轴线与用户头部(即颈部)上下旋转的旋转轴线J30基本相同。这样的设计能够确保观察组件的运动轨迹和用户头部的自然运动轨迹基本相同,且能保证用户使用时的舒适性。
一些实施例中,医生头部在左右旋转方向上的运动范围通常在±75°左右,因而可以将提供对应于该左右旋转运动的姿态自由度的枢转件的运动范围配置成介于-75°~+75°之间,即,相应于该姿态自由度的中心位置而言,可以向左和向右分别旋转75°。较佳的,医生头部左右转动时,较舒适的运动范围通常在±60°左右,因而可以将提供对应于该左右旋转运动的姿态自由度的枢转件的运动范围配置成介于-60°~+60°之间,例如-45°~+45°。例如,该枢转件为图17或图19所示的第一枢转件。
一些实施例中,医生头部在上下旋转方向上的运动范围通常在±45°左右,因而可以将提供对应于该上下旋转运动的姿态自由度的枢转件的运动范围配置成介于-45°~+45°之间,即,相应于该姿态自由度的中心位置而言,可以向上和向下分别旋转45°。较佳的,医生头部上下转动时,较舒适的运动范围通常在±30°左右,因而可以将提供对应于该左右旋转运动的姿态自由度的枢转件的运动范围配置成介于-30°~+30°之间,例如-25°~+25°。例如,该枢转件为图17或图19所示的第二枢转件。
一些实施例中,医生控制医疗器械如成像器械时更具体的流程包括:
步骤401,调整图像主机的位姿。
其中,包括用户对图像主机的高度、深度、倾角等的调整,以获得较为舒适的手术姿势以便于该用户观察。其中,不同用户可能具有不同的操作习惯,可以根据获取的用户身份标识所对应的操作习惯自动对观察组件的位姿进行调整。手术时,进行或不进行步骤401由用户自行决定。
步骤402,获取并记录图像主机的初始位置和/或姿态。
其中,该初始位置和/或姿态为输入装置与操纵器组件建立主从映射关系时刻的图像主机的位置和/或姿态,初始位置和/或姿态可简记为初始位姿,也可以称之为位姿零位。初始位置和/或姿态包括如前述的第一枢转件相对于底座的位置和/或姿态、及第二枢转件相对于第一枢转件的位置和/或姿态。示例性的,位姿零位在用户首次进入手术时记录一次即可。
步骤403,实时监测是否满足手术开始条件。
其中,手术开始条件包括但不限于例如检测到用户头部接近图像主机、获取到主从激活指令、获取到输入装置与成像器械建立映射关系的指令等中的一种或多种。示例性的,用户头部接近图像主机可以通过如上述提及的传感器通过力、形变、距离等进行确认。示例性的,获取到输入装置与成像器械建立映射关系可以通过按下特定按键、输出特定语音、踩下特定脚踏等触发获取得到,其中,在建立输入装置与成像器械的映射关系的同时,建立输入装置与图像主机的映射关系。
步骤404,在满足手术开始条件时,确定用户头部的移动。
其中,用户头部的移动,包括用户头部位姿如位置和/或姿态的变化,包括利用如上述任一实施例的输入装置感应用户头部的移动。示例性的,可以通过确定配置有信标的可穿戴设备的位置和/姿态的变化,确定用户头部的位置和/或姿态的变化。
步骤405,确定用户头部的移动是否为有意图的移动。
其中,用户头部的移动包括有意图的移动或无意图的移动,通常认为无意图的移动是误操作,需要在对医疗器械进行控制时予以排除。例如,可以与图像主机和/或成像器械相适应,建立用户头部的初始位置和/或姿态,手术开始后,可以将用户头部当前位置和/或姿态与用户头部的初始位置和/或姿态进行对比,以此确定用户头部的移动是否是有意图的移动,例如,如果当前位置和/或姿态与初始位置和/或姿态之间的变化量超过设定的阈值时,认为是有意图的移动。
步骤406,在确定用户头部的移动为有意图的移动时,响应于用户头部的移动,对图像主机及成像器械进行调节。
如此,实现用户头部、图像主机及成像器械三者匹配的移动。尤其在对成像器械进行调节时,如果用户头部的移动关联成像器械围绕不同旋转中心旋转时,为了确保成像效果一致性,可以采用如上述实施例的方案,对成像距离偏差进行补偿,此处不再重复赘述。
相应地,在步骤406中,观察组件中显示的图像也会变化,此处图像的变化也会反馈给用户,从而支持用户决定是否需要进一步地进行调整,如果需要,用户头部会进一步朝着期望方向移动,否则,用户头部无需再移动。
一些实施例中,该流程还包括步骤407,在开始手术后,控制装置会实时监测是否满足手术中断条件。其中,手术中断条件包括但不限于例如检测到用户头部离开图像主机、用户手部离开操作部、获取到输入装置与成像器械断开映射关系的指令等中的一种或多种。
该流程还包括步骤408,在满足手术中断条件时,断开输入装置与成像器械、图像主机之间的映射关系,并锁定成像器械和图像主机的位置和/或姿态。
一些实施例中,该流程还包括步骤409,实时监测是否获取到图像主机离合指令。图像主机离合指令可以通过如输出特定语音、按下特定按键、踏下特定脚踏等方式输入。该流程还包括步骤410,在获取到图像主机离合指令时,根据事先记录的图像主机的初始位置和/或姿态,控制图像主机回复到初始位置和/或姿态,即回归零位。在控制图像主机回归零位的过程中,成像器械呈锁定状态,视野并不会相应变动。通过步骤409、410,可以满足成像器械进行大范围的调整的需求,有助于方便用户进行手术操作。其它实施例中,如果对成像器械的调整达到限位,控制装置可以中断用户头部的移动与成像器械的移动之间的关联,也可以锁定图像主机的位置和/或姿态。
一些实施例中,如果用户期望重新开始手术,重复进行上述步骤404~406即可。
一些实施例中,为实现观察组件可跟随用户头部的移动而移动,也可以采用无需额外的驱动机构来实现的方式。示例性的,可以提供一种头戴式显示设备,只要将其佩戴于用户头部,即可跟随用户头部的移动而自然的移动。
进一步地,为了实现对医疗器械例如成像器械的如上述任一项实施例所述的控制,可以在头戴式显示设备中集成设置用于输入医疗器械如成像器械的控制指令的输入装置,该控制指令例如是前述的期望成像器械围绕远端点旋转目标旋转矢量的指令。一些实施例中,该输入装置包括一个或多个用于感测用户头部的移动的传感器。例如,这些传感器包括惯性传感器,具体如加速度计、角速度陀螺仪、和惯性测量单元(IMU)等中的一种或多种,其通过监测头戴式显示设备的位姿和运动,监测用户头部的移动。这些传感器可以较为均匀的配置于头戴式显示设备的各处,有助于多个传感器之间相互校正,以提高测量精度。
一些实施例中,该头戴式显示设备包括显示模组和调整机构,显示模组包括两个显示单元、分别用于供左右眼观看,调整机构用于调整两个显示单元之间的水平距离,以适应不同用户的瞳距。
一些实施例中,该头戴式显示设备还可以包括一个或多个用于感测用户头部是否佩戴该头戴式显示设备的传感器,该传感器例如可以是接近传感器、形变传感器、压力传感器等。一些实施例中,该头戴式显示设备还可以包括通信单元,该通信单元通过有线和/或无线的方式与手术系统耦接,例如与控制装置耦接。
一些实施例中,上述显示单元包括显示屏和透镜组,透镜组与显示屏距离可调的活动设置,以适应不同用户的双眼屈光度,使双眼屈光不正的用户,在不佩戴眼镜或其他设备的情况下,仍然可以正常使用此头戴显示器。显示屏可以被配置成根据透镜组的状态调整图像,使得图像在经过透镜组的校正后,能够在人眼中形成正常的图像。
一些实施例中,显示单元还可以包括一个或多个摄像头,其可以是可见光摄像头,也可以是红外光摄像头,主要用于用户的眼球追踪功能,以判断用户注视的区域,或者,单纯判断用户是否在注视屏幕,以至少可以用于确定用户是否佩戴了该头戴式显示设备。在确定用户佩戴了头戴式显示设备之后,以及满足其它手术开始条件时,才允许开始进行手术操作,而在不满足手术开始条件时,中断手术操作,例如断开头戴式显示设备与成像器械的映射关系。
一些实施例中,该头戴式显示设备的采用,适用于对成像器械的俯仰自由度、偏航自由度、进给自由度进行控制,还可以适用于对成像器械的滚转自由度进行控制。其中,用户头部围绕颈部纵轴线的转动可以对应于成像器械的偏航自由度,用户头部围绕颈部横轴线的转动可以对应于成像器械的俯仰自由度,用户头部偏离于颈部纵轴线的转动可以对应于成像器械的滚转自由度。
一实施例中,本申请还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,计算机程序被配置为由处理器加载并执行实现如上述任一项实施例所述的控制方法。
一实施例中,本申请还提供一种手术机器人的控制装置。如图21所示,该控制装置可以包括:处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503、以及通信总线504。
处理器501、通信接口502、以及存储器503通过通信总线504完成相互间的通信。
通信接口502,用于与其它设备比如各类传感器或电机或电磁阀或其它客户端或服务器等的网元通信。
处理器501,用于执行程序505,具体可以执行上述方法实施例中的相关步骤。
具体地,程序505可以包括程序代码,该程序代码包括计算机操作指令。
处理器505可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路,或者是图形处理器GPU(Graphics Processing Unit)。控制装置包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU,或者,一个或多个GPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个GPU。
存储器503,用于存放程序505。存储器503可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序505具体可以用于使得处理器501执行上述任一实施例所述的控制方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种手术机器人,其特征在于,包括:
成像器械,用于插入身体开口内以采集图像;
操纵器,用于操纵所述成像器械围绕定位于所述身体开口的远心不动点旋转、和沿所述成像器械的轴线方向进给;
输入装置,用于输入所述成像器械围绕其远端点在目标姿态自由度旋转的第一目标旋转矢量;
控制装置,与所述操纵器和所述输入装置耦接,被配置成用于:
获取所述输入装置输入的所述第一目标旋转矢量;
基于所述第一目标旋转信息确定所述成像器械围绕所述远心不动点在目标姿态自由度旋转的第二目标旋转矢量;
根据所述第二目标旋转矢量控制所述操纵器操纵所述成像器械围绕所述远心不动点旋转;
获取所述成像器械围绕所述远心不动点旋转所述第二目标旋转矢量相对于围绕所述远端点旋转所述第一目标旋转矢量的成像距离偏差;
基于所述成像距离偏差,控制所述操纵器操纵所述成像器械沿所述成像器械的轴线进给,以补偿所述成像距离偏差。
2.根据权利要求1所述的手术机器人,其特征在于,所述基于所述第一目标旋转矢量确定所述成像器械围绕所述远心不动点在目标姿态自由度旋转的第二目标旋转矢量,包括:
获取第一距离和第二距离,所述第一距离包括所述成像器械介于所述远心不动点与所述远端点之间的距离,所述第二距离包括所述成像器械的目标成像距离;
结合所述第一目标旋转矢量、所述第一距离及所述第二距离,确定所述成像器械围绕所述远心不动点在目标姿态自由度旋转的第二目标旋转矢量。
3.根据权利要求1所述的手术机器人,其特征在于,所述控制所述操纵器操纵所述成像器械沿所述成像器械的轴线进给,以补偿所述成像距离偏差,包括:
获取所述成像器械的初始位置和/或姿态,所述初始位置和/或姿态包括所述输入装置与所述成像器械建立主从映射关系时刻的位置和/或姿态;
获取所述成像器械的当前位置和/或姿态;
基于所述成像器械的目标位置和/或姿态相较于其当前位置和/或姿态与所述初始位置和/或姿态之间的位置和/或姿态关系,确定所述成像器械沿其轴线进给的目标方向,所述目标位置和/或姿态基于所述第二目标旋转矢量确定;
控制所述成像器械沿其轴线在所述目标方向进给,以补偿所述成像距离偏差。
4.根据权利要求3所述的手术机器人,其特征在于,所述基于所述成像器械的目标位置和/或姿态与所述初始位置和/或姿态之间的位置和/或姿态关系,确定所述成像器械沿其轴线进给的目标方向,包括:
在所述目标位置和/或姿态远离所述初始位置和/或姿态时,确定所述目标方向为所述成像器械沿其轴线撤回身体开口的方向;或,
在所述目标位置和/或姿态靠近所述初始位置和/或姿态时,确定所述目标方向为所述成像器械沿其轴线插入身体开口的方向。
5.根据权利要求1所述的手术机器人,其特征在于,所述成像距离偏差包括所述成像器械围绕所述远端点旋转所述第一目标旋转矢量对准的目标成像中心、与所述成像器械围绕所述远心不动点旋转所述第二目标旋转矢量对准的实际成像中心之间的距离差值。
6.根据权利要求5所述的手术机器人,其特征在于,所述控制装置还被配置成用于:
获取第一距离和第二距离,所述第一距离包括所述成像器械介于所述远心不动点与所述远端点之间的距离,所述第二距离包括所述成像器械的目标成像距离;结合所述第一目标旋转矢量、所述第一距离及所述第二距离,确定所述成像距离偏差。
7.根据权利要求2或6所述的手术机器人,其特征在于,所述获取第一距离,包括:
获取所述操纵器和所述成像器械中关节的关节变量;
结合所述关节变量和正运动学,确定所述远端点在参考坐标系的第一位置,并确定所述远心不动点在参考系坐标系的第二位置;
基于所述第一位置和所述第二位置确定所述第一距离。
8.根据权利要求1所述的手术机器人,其特征在于,所述获取第二距离,包括:
获取所述成像器械的成像距离范围;
基于所述成像距离范围生成包括一个或多个可选目标成像距离的配置界面;
响应于通过所述配置界面对目标成像距离的选择,将选择的所述目标成像距离作为所述第二距离。
9.根据权利要求1所述的手术机器人,其特征在于,所述目标姿态自由度包括俯仰自由度和偏航自由度中的至少一种。
10.根据权利要求1所述的手术机器人,其特征在于,所述输入装置包括感应组件,所述感应组件包括一个或多个第一传感器,所述控制装置基于所述一个或多个第一传感器感应到的用户头部在目标姿态自由度的旋转确定所述第一目标旋转矢量。
11.根据权利要求1所述的手术机器人,其特征在于,所述输入装置包括感应组件,所述感应组件包括一个或多个提供感应场的第二传感器和可佩戴于用户头部的穿戴式设备,所述穿戴式设备配置有一个或多个信标,所述控制装置基于所述一个或多个第二传感器感应到的所述一个或多个信标在所述感应场的信号强度的变化确定所述第一目标旋转矢量。
12.根据权利要求1所述的手术机器人,其特征在于,所述输入装置包括感应组件,所述感应组件包括一个或多个第三传感器,所述控制装置基于所述一个或多个第三传感器感应到的用户头部在进给方向的移动确定所述成像器械在进给方向的目标移动信息,所述控制装置还被配置成用于:
获取所述感应组件输入的期望所述成像器械沿其轴线方向进给的目标移动信息;
根据所述目标移动信息控制所述操纵器操纵所述成像器械沿其轴线进给。
13.根据权利要求10或11所述的手术机器人,其特征在于,所述手术机器人还包括:
图像主机,包括观察组件和姿态调整组件,所述姿态调整组件用于调整所述观察组件的姿态,所述观察组件用于观察所述成像器械采集的图像;
所述控制装置与所述姿态调整组件耦接,还被配置成用于:
根据所述第一目标旋转矢量控制所述姿态调整组件运动,使得所述观察组件跟随所述用户头部的运动在目标姿态自由度运动。
14.根据权利要求13所述的手术机器人,其特征在于,所述姿态调整组件包括:
底座;
第一枢转件,与所述底座枢转连接,被配置成可相对于所述底座在第一姿态自由度旋转;
及第二枢转件,与所述第一枢转件枢转连接,被配置成可相对于所述第一枢转件枢转在第二姿态自由度旋转;
所述观察组件与所述第二枢转件相对固定连接。
15.根据权利要求14所述的手术机器人,其特征在于,所述底座包括第一弯曲滑轨,所述第一枢转件包括第二弯曲滑轨和第三弯曲滑轨,所述第二枢转件包括第四弯曲滑轨,所述第一弯曲滑轨和所述第二弯曲滑轨滑动配合以可在第一姿态自由度旋转,所述第三弯曲滑轨和所述第四弯曲滑轨滑动配合以可在第二姿态自由度旋转。
16.根据权利要求14所述的手术机器人,其特征在于,所述底座包括第一弯曲滑轨,所述第一枢转件包括第二弯曲滑轨,所述第一弯曲滑轨和所述第二弯曲滑轨滑动配合以可在第一姿态自由度旋转,所述姿态调整关节还包括转动关节,所述第二枢转件与所述第一枢转件之间通过所述转动关节连接以可在第二姿态自由度旋转。
17.根据权利要求14所述的手术机器人,其特征在于,所述第一姿态自由度和所述第二姿态自由度中的一个包括偏航自由度、另一个包括俯仰自由度;
所述偏航自由度与用户头部的左右旋转关联,所述第一枢转件和所述第二枢转件中提供所述偏航自由度的一个的运动范围被配置成介于-60°~+60°之间;
所述俯仰自由度与用户头部的上下旋转关联,所述第一枢转件和所述第二枢转件中提供所述俯仰自由度的一个的运动范围被配置成介于-45°~+45°之间。
18.一种手术机器人的控制方法,其特征在于,所述手术机器人包括:
成像器械,用于插入身体开口内以采集图像;
操纵器,用于操纵所述成像器械围绕定位于所述身体开口的远心不动点旋转、和沿所述成像器械的轴线方向进给;
输入装置,用于输入所述成像器械围绕远端点在目标姿态自由度旋转的第一目标旋转矢量;
所述控制方法包括:
获取所述输入装置输入的所述第一目标旋转矢量;
基于所述第一目标旋转矢量确定所述成像器械围绕所述远心不动点在目标姿态自由度旋转的第二目标旋转矢量;
根据所述第二目标旋转矢量控制所述操纵器操纵所述成像器械围绕所述远心不动点旋转;
获取所述成像器械围绕所述远心不动点旋转所述第二目标旋转矢量相对于围绕所述远端点旋转所述第一目标旋转矢量的成像距离偏差;
基于所述成像距离偏差,控制所述操纵器操纵所述成像器械沿所述成像器械的轴线进给,以补偿所述成像距离偏差。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被配置为由处理器加载并执行实现如权利要求18所述的控制方法的步骤。
20.一种手术机器人的控制装置,其特征在于,所述控制装置包括:
存储器,用于存储计算机程序;
及处理器,用于加载并执行所述计算机程序;
其中,所述计算机程序被配置为由所述处理器加载并执行实现如权利要求18所述的控制方法的步骤。
CN202210901032.3A 2022-07-28 2022-07-28 手术机器人及其控制方法、控制装置 Pending CN117503365A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210901032.3A CN117503365A (zh) 2022-07-28 2022-07-28 手术机器人及其控制方法、控制装置
PCT/CN2023/097703 WO2024021855A1 (zh) 2022-07-28 2023-06-01 手术机器人及其控制方法、控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210901032.3A CN117503365A (zh) 2022-07-28 2022-07-28 手术机器人及其控制方法、控制装置

Publications (1)

Publication Number Publication Date
CN117503365A true CN117503365A (zh) 2024-02-06

Family

ID=89705303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210901032.3A Pending CN117503365A (zh) 2022-07-28 2022-07-28 手术机器人及其控制方法、控制装置

Country Status (2)

Country Link
CN (1) CN117503365A (zh)
WO (1) WO2024021855A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971597B2 (en) * 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US11209954B2 (en) * 2015-12-10 2021-12-28 Cmr Surgical Limited Surgical robotic system using dynamically generated icons to represent orientations of instruments
CA2967482A1 (en) * 2016-05-17 2017-11-17 The Governors Of The University Of Alberta Hand-held device and computer-implemented system and method for assisted steering of a percutaneously inserted needle
CN110559083B (zh) * 2019-09-10 2020-08-25 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
CN114452004B (zh) * 2020-11-10 2023-12-12 重庆金山医疗机器人有限公司 一种手术机器人末端位置和姿态的控制方法
CN113180828B (zh) * 2021-03-25 2023-05-12 北京航空航天大学 基于旋量理论的手术机器人约束运动控制方法
CN115211970A (zh) * 2021-06-11 2022-10-21 诺创智能医疗科技(杭州)有限公司 机械臂的位姿变换方法、系统及机械臂组件
CN113974835B (zh) * 2021-09-29 2023-09-29 北京科鹏医疗器械有限公司 一种基于远心不动点约束的手术机器人运动控制方法

Also Published As

Publication number Publication date
WO2024021855A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
US11792386B2 (en) Medical devices, systems, and methods using eye gaze tracking for stereo viewer
CN108472097B (zh) 用于机器人手术的用户控制台系统
KR102414405B1 (ko) 컴퓨터 보조 원격 조작 수술 시스템 및 방법
US11333899B2 (en) Systems and methods for three-dimensional visualization during robotic surgery
JP6576002B2 (ja) 手術ロボットの合成表現
WO2018159338A1 (ja) 医療用支持アームシステムおよび制御装置
KR102482803B1 (ko) 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어
JP2017104455A (ja) 遠隔操作装置及び遠隔手術システム
JP2020532385A (ja) トリムアルゴリズムおよび反転アルゴリズムを含むアルゴリズムで、ロール、ピッチ、およびヨーの位置合わせをし直すロボット手術システム
JP2020044354A (ja) 遠隔操作装置および遠隔操作システム
JP2023520191A (ja) 外科手術用ロボットを制御するための仮想コンソール
CN114795495A (zh) 一种主从操作微创手术机器人系统
CN116196111A (zh) 一种眼科手术机器人系统及其控制方法
CN117503365A (zh) 手术机器人及其控制方法、控制装置
CN117503364A (zh) 手术机器人及其控制方法、控制装置
JP2022545684A (ja) トラック上の移動可能なディスプレイユニット
CN218739128U (zh) 主操控台及其图像主机
JP2018075395A (ja) 遠隔操作装置及び遠隔手術システム
CN116869669B (zh) 手术机器人系统
US11826115B2 (en) Adjustable user console for a surgical robotic system
US20240208065A1 (en) Method and apparatus for providing input device repositioning reminders
US20230127035A1 (en) Surgeon disengagement detection during termination of teleoperation
CN115634043A (zh) 手术控制台
JP2024520455A (ja) 内部体腔内で外科手術ロボット組立品を制御するためのシステム及び方法
CN115192207A (zh) 手术机器人、主操作台及其控制方法、控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination