CN112472298B - 手术机器人及其控制装置、控制方法 - Google Patents

手术机器人及其控制装置、控制方法 Download PDF

Info

Publication number
CN112472298B
CN112472298B CN202011472821.7A CN202011472821A CN112472298B CN 112472298 B CN112472298 B CN 112472298B CN 202011472821 A CN202011472821 A CN 202011472821A CN 112472298 B CN112472298 B CN 112472298B
Authority
CN
China
Prior art keywords
image model
joint
virtual
motion
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011472821.7A
Other languages
English (en)
Other versions
CN112472298A (zh
Inventor
高元倩
叶国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Edge Medical Co Ltd
Original Assignee
Shenzhen Edge Medical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Edge Medical Co Ltd filed Critical Shenzhen Edge Medical Co Ltd
Priority to CN202011472821.7A priority Critical patent/CN112472298B/zh
Priority to CN202210492894.5A priority patent/CN114869480A/zh
Publication of CN112472298A publication Critical patent/CN112472298A/zh
Priority to PCT/CN2021/136165 priority patent/WO2022127650A1/zh
Application granted granted Critical
Publication of CN112472298B publication Critical patent/CN112472298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/71Manipulators operated by drive cable mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • A61B2034/744Mouse

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种手术机器人及其控制装置、控制方法,手术机器人包括驱动臂,驱动臂远端用于装卸末端器械,该控制方法包括:获取结构特征及形态与所述驱动臂中第一部分一致的图像模型的形态的变化;控制第一部分中相应真实关节组件运动以使第一部分的形态跟随图像模型的形态的变化而变化。本发明的手术机器人操控方便、安全,且适用范围广。

Description

手术机器人及其控制装置、控制方法
技术领域
本发明涉及医疗器械领域,特别是涉及一种手术机器人及其控制装置、控制方法。
背景技术
微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备在人体腔体内部施行手术的一种手术方式。相比传统手术方式微创手术具有创伤小、疼痛轻、恢复快等优势。
随着科技的进步,微创手术机器人技术逐渐成熟,并被广泛应用。手术机器人包括主操作台及从操作设备,从操作设备包括多个操作臂,这些操作臂包括具有图像末端器械的相机臂及具有操作末端器械的手术臂。主操作台包括显示器及手柄。医生在显示器显示的由相机臂提供的视野下操作手柄控制相机臂或手术臂运动。
然而,往往存在一些场景不方便甚至不允许医生对从操作设备进行操控,这样的场景包括但不限于对从操作设备中至少部分的形态有要求的场景、以及在不能提供可靠视野的情况下仍需要对从操作设备中至少部分进行操控等场景。在这些场景下如果医生强行操控从操作设备中至少部分,容易引发高危风险。
发明内容
基于此,有必要提供一种操控方便、安全,且适用范围广的手术机器人及其控制装置、控制方法。
一方面,本发明提供了一种手术机器人的控制方法,所述手术机器人包括驱动臂,所述驱动臂远端用于装卸末端器械,所述控制方法包括如下步骤:获取结构特征及形态与所述驱动臂中第一部分一致的图像模型的形态的变化;控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化。
其中,获取结构特征及形态与所述驱动臂中第一部分一致的图像模型的形态的变化的步骤中,包括:获取结构特征及形态与所述驱动臂中第一部分一致的图像模型并显示所述图像模型的至少部分;获取所述图像模型的形态的变化。
其中,显示所述图像模型的至少部分的步骤具体为显示所述图像模型的全部。
其中,所述驱动臂具有多个真实关节组件,所述图像模型至少具有与所述第一部分所包含的真实关节组件相对应的虚拟关节组件,所述虚拟关节组件具有与相应所述真实关节组件一致的关节运动参数,以使所述图像模型的形态的可调性能够与所述第一部分的形态的可调性能一致,其中,所述关节运动参数包括关节运动范围、关节运动速度阈值及关节运动加速度阈值。
其中,在控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤中,所述第一部分的形态的变化完全复刻所述图像模型的形态的变化。
其中,所述第一部分的形态的变化完全复刻所述图像模型的形态的变化具体指:所述第一部分的形态的变化与所述图像模型的形态的变化具有完全相同的运动状态,所述完全相同的运动状态包括相同的运动轨迹和相同的运动速度。
其中,在控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤中,所述第一部分的形态的变化部分复刻所述图像模型的形态的变化。
其中,所述第一部分的形态的变化部分复刻所述图像模型的形态的变化具体指:所述第一部分的形态的变化与所述图像模型的形态的变化具有不完全相同的运动状态、但至少最终形态相同,所述不完全相同的运动状态包括运动轨迹不同或运动速度不同。
其中,控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤中,包括:在检测到设置的调整模式是间歇调整模式时,检测是否获取到确认指令;在获取到确认指令时,控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化。
其中,控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤中,包括:在检测到设置的调整模式是连续调整模式时,控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化。
其中,所述第一部分的形态基本同步于所述图像模型的形态的变化而变化,或者所述第一部分的形态滞后于所述图像模型的形态的变化而变化。
其中,所述第一部分的形态的改变速度低于所述图像模型的形态的改变速度。
其中,获取所述图像模型的形态的变化的步骤之前,包括:接收输入的用于改变所述图像模型的形态的操作指令集;根据所述操作指令集改变所述图像模型的形态,并至少显示所述图像模型的最终形态。
其中,所述操作指令集关联于所述图像模型在关节空间内的任务,根据所述操作指令集改变所述图像模型的形态的步骤中,包括:解析所述操作指令集获得所述图像模型中的控制节点及其对应的具有方向性的关节运动量;根据所述控制节点及其对应的所述关节运动量使得相应所述控制节点运动对应的所述关节运动量以改变所述图像模型的形态。
其中,所述关节运动量是增量关节运动量。
其中,所述操作指令集包括点击操作指令,解析所述操作指令集获得控制节点的对应的具有方向性的关节运动量的步骤中,包括:解析所述点击操作指令获得点击位置、以及点击次数及/或点击时长;根据所述点击位置确定所述控制节点的运动方向,并根据所述点击次数及/或所述点击时长确定所述控制节点在相应方向上的所述增量关节运动量。
其中,所述控制方法还包括:生成所述控制节点的运动副的可调方向的、用于被点击的图标,其中,所述点击位置落入所述图标上表示选择所述控制节点的运动方向,所述点击次数及/或所述点击时长表示设置所述控制节点在相应运动方向的增量关节运动量。
其中,所述关节运动量是目标关节运动量。
其中,所述操作指令集关联于所述图像模型在任务空间内的任务,根据所述操作指令集改变所述图像模型的形态的步骤中,包括:解析所述操作指令集获得所述图像模型中的控制节点、所述控制节点的任务运动量、最远端的虚拟关节组件的任务自由度及处于使能状态的所述虚拟关节组件;根据最远端的所述虚拟关节组件的所述任务自由度、所述控制节点的任务运动量控制处于使能状态的所述虚拟关节组件联动使得所述控制节点运动对应的所述任务运动量以改变所述图像模型的形态。
其中,所述任务运动量是增量任务运动量,所述增量任务量包括增量位置和增量姿态。
其中,所述操作指令集包括点击操作指令,解析所述操作指令集获得控制节点对应的任务运动量的步骤中,包括:解析所述点击操作指令获得点击位置、及点击次数及/或点击时长;根据所述点击位置确定所述控制节点的运动方向,并根据所述点击次数及/或所述点击时长确定所述控制节点在相应方向上的所述增量任务运动量。
其中,所述控制方法包括:至少生成关联于所述控制节点的且包括X坐标轴、Y坐标轴及Z坐标轴的坐标图像,其中,所述点击位置落入相应所述坐标轴表示选择所述控制节点的运动方向,所述点击次数及/或所述点击时长表示设置所述控制节点在相应运动方向的所述增量位置。
其中,至少生成关联于所述控制节点的且包括X坐标轴、Y坐标轴及Z坐标轴的坐标图像的步骤中,还包括:在所述坐标图像中生成关联于各所述坐标轴的可调方向的图标,其中,所述点击位置落入相应所述坐标轴表示选择所述控制节点的转动方向,所述点击次数及/或所述点击时长表示设置所述控制节点在相应运动方向的所述增量姿态。
其中,所述任务运动量是目标任务运动量。
其中,所述操作指令集包括模式配置指令,所述模式配置指令包括第一模式指令、第二模式指令、第三模式指令及第四模式指令中的一种以上,所述第一模式指令用于配置任务自由度为零任务自由度,所述第二模式指令用于配置任务自由度为位姿自由度,所述第三模式指令用于配置任务自由度为位置自由度,所述第四模式指令用于配置任务自由度为姿态自由度。
其中,所述控制节点为一个且所述控制节点是远端的所述虚拟关节组件时,将所述图像模型中全部所述虚拟关节组件作为第一段虚拟臂体,进而根据所述任务自由度、所述控制节点及其所述任务运动量控制所述第一段虚拟臂体中处于使能状态的所述虚拟关节组件联动使得所述控制节点运动对应的所述任务运动量以改变所述图像模型的形态。
其中,所述控制节点为一个且所述控制节点是最远端的所述虚拟关节组件时,将所述图像模型中全部所述虚拟关节组件作为第一段虚拟臂体,进而根据所述任务自由度、所述控制节点的所述任务运动量控制所述第一段虚拟臂体中处于使能状态的所述虚拟关节组件联动使得所述控制节点运动对应的所述任务运动量以改变所述图像模型的形态。
其中,所述控制节点为一个且所述控制节点并非最远端的所述虚拟关节组件时,将所述控制节点近端的全部所述虚拟关节组件作为第一段虚拟臂体,将所述控制节点远端的全部所述虚拟关节组件作为第二段虚拟臂体,所述控制节点属于近端的一段虚拟臂体,进而根据所述任务自由度、所述控制节点的所述任务运动量控制所述第一段虚拟臂体中处于使能状态的所述虚拟关节组件联动使所述控制节点运动所述任务运动量、同时控制所述第二段虚拟臂体中处于使能状态的所述虚拟关节组件独立于所述第一段虚拟臂体中处于使能状态的所述虚拟关节组件联动实现所述任务自由度。
其中,所述控制节点为两个以上且其中一个是最远端的所述虚拟关节组件时,将全部所述虚拟关节组件划分成与所述控制节点数量相同的多段虚拟臂体,各所述控制节点仅属于相应所述控制节点近端侧的一段所述虚拟臂体,进而控制最远的一段所述虚拟臂体中处于使能状态的所述虚拟关节组件联动实现所述任务自由度约束下最远端的所述控制节点的所述任务运动量、同时控制其它段所述虚拟臂体中处于使能状态的所述虚拟关节组件分别联动使相应所述控制节点运动对应的任务运动量,其中,不同所述虚拟臂体的运动相对独立。
其中,所述控制节点为两个以上且均不是最远端的所述虚拟关节组件时,将全部所述虚拟关节组件划分成比所述控制节点数量多一个的多段虚拟臂体,各所述控制节点仅属于其相应所述控制节点近端侧的一段所述虚拟臂体,进而控制最远的一段所述虚拟臂体中处于使能状态的所述虚拟关节组件联动实现最远端的所述控制节点的所述任务自由度、同时控制其它段所述虚拟臂体中处于使能状态的所述虚拟关节组件分别运动使相应所述控制节点运动对应的任务运动量,其中,不同所述虚拟臂体的运动相对独立。
其中,可被配置成使能状态的所述虚拟关节组件、及可被配置成所述控制节点的所述虚拟关节组件对应于所述驱动臂中第一部分中的主动关节组件。
其中,获取所述图像模型的形态的变化的步骤之前,包括:放大显示所述图像模型的至少部分。
其中,所述控制方法还包括:生成具有用于切换所述图像模型显示角度的角度切换控件的用户界面,进而可根据触发所述角度切换控件产生的角度切换指令切换所述图像模型的显示角度。
其中,所述图像模型可被改变形态的部分对应于所述驱动臂中第一部分存在于所述手术机器人中图像末端器械的视野范围内的部分。
其中,所述图像模型计算机图像模型或者投影图像模型。
其中,控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤之前,包括:获取导致所述图像模型的形态发生变化的虚拟关节组件对应的关节变量;对所述虚拟关节组件对应的所述关节变量分别进行运动平滑处理获得经运动平滑处理后的关节变量;控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤具体为:根据所述虚拟关节组件对应的经运动平滑处理后的所述关节变量控制所述第一部分中相应于所述虚拟关节组件的所述真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化,同时使得所述第一部分的运动连续。
其中,对所述虚拟关节组件对应的所述关节变量分别进行运动平滑处理获得经运动平滑处理后的关节变量的步骤在根据所述操作指令集改变所述图像模型的形态之前进行,以使得所述图像模型的运动连续,并使得所述第一部分的运动连续。
其中,对所述虚拟关节组件对应的所述关节变量分别进行运动平滑处理获得经运动平滑处理后的关节变量的步骤在根据所述操作指令集改变所述图像模型的形态之后进行,以仅使得所述第一部分的运动连续。
其中,所述运动平滑处理包括滤波处理及/或轨迹插补处理;所述运动连续包括运动位置连续、运动速度连续以及运动加速度连续中的一种及以上。
又一方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被配置为由处理器加载并执行实现如上述任一实施例所述的控制方法的步骤。
又一方面,本发明提供了一种手术机器人的控制装置,包括:存储器,用于存储计算机程序;及处理器,用于加载并执行所述计算机程序;其中,所述计算机程序被配置为由所述处理器加载并执行实现如上述任一实施例所述的控制方法的步骤。
又一方面,本发明提供了一种手术机器人,包括:驱动臂;显示器,用于显示图像模型;输入装置,用于操纵所述图像模型的形态发生变化;以及控制器,所述控制器与所述驱动臂、所述显示器及所述运动输入设备耦接,并被配置成执行如上述任一实施例所述的控制方法的步骤。
其中,所述驱动臂包括机械臂及操作臂,所述操作臂近端装设于所述机械臂远端,所述末端器械装设于所述操作臂远端,所述第一部分是所述操作臂,或者,所述第一部分是所述机械臂和所述操作臂。
其中,所述驱动臂包括机械臂、调整臂、操纵器及操作臂,所述调整臂近端装设于所述机械臂远端,所述操纵器近端装设于所述调整臂远端,所述操作臂近端装设于所述操纵器远端,所述末端器械装设于所述操作臂远端,所述第一部分是所述操作臂,或者,所述第一部分是所述操纵器和所述操作臂,或者,所述第一部分是所述机械臂、所述调整臂、所述操纵器和所述操作臂。
其中,所述输入装置是运动输入设备、触摸屏、鼠标中的一种以上。
本发明的手术机器人及其控制装置、控制方法,具有如下有益效果:
通过获取对于与驱动臂中第一部分的结构特征及初始形态一致的图像模型的形态的改变,进而控制该第一部分的形态跟随图像模型的形态的改变而改变,其操控方便、安全,且适用范围广。
附图说明
图1为本发明手术机器人一实施例的结构示意图;
图2为图1所示手术机器人一实施例的局部示意图;
图3为手术机器人中操作臂与动力部的结构示意图;
图4为本发明手术机器人另一实施例的结构示意图;
图5为图1所示手术机器人的配置第一部分的一实施例的配置界面;
图6为图1所示手术机器人的配置第一部分的另一实施例的配置界面;
图7~图11分别为本发明一实施例手术机器人的控制方法的流程图;
图12为本发明手术机器人一实施例驱动臂中第一部分的形态的示意图;
图13为本发明手术机器人一实施例图像模型的形态的示意图;
图14为本发明手术机器人一实施例图像模型的另一形态的示意图;
图15为本发明手术机器人一实施例驱动臂中第一部分的另一形态的示意图;
图16为本发明一实施例手术机器人的控制方法的流程图;
图17~图18分别为本发明手术机器人一实施例图像模型的形态的示意图;
图19~图22分别为本发明一实施例手术机器人的控制方法的流程图;
图23为图22所示手术机器人的控制方法一实施例的显示界面示意图;
图24为本发明一实施例的手术机器人的控制装置的结构示意图。
图25为本发明一实施例的手术机器人的控制装置的结构示意图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是,本发明可以以许多不同的形式来实现,并不限于本发明所描述的实施方式。相反地,提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
需要说明的是,当元件被称为“设置于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。当一个元件被认为是“耦接”另一个元件,它可以是直接耦接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的,并不表示是唯一的实施方式。本发明所使用的术语“远端”、“近端”作为方位词,该方位词为介入医疗器械领域惯用术语,其中“远端”表示手术过程中远离操作者的一端,“近端”表示手术过程中靠近操作者的一端。本发明所使用的术语“第一/第二”等表示一个部件以及一类具有共同特性的两个以上的部件。
除非另有定义,本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。本发明中所使用的术语“各”包括一个或两个以上。
如图1至图2所示,其分别为本发明手术机器人一实施例的结构示意图,及其局部示意图。
手术机器人包括主操作台2及由主操作台2控制的从操作设备3。主操作台2具有运动输入设备21及显示器22,医生通过操作运动输入设备21向从操作设备3发送控制命令,以令从操作设备3根据医生操作运动输入设备21的控制命令执行相应操作,并通过显示器22观察手术区域。其中,从操作设备3具有驱动臂,驱动臂具有机械臂30及可拆卸地装设于机械臂30远端的一个以上的操作臂31。机械臂30包括依次连接的基座及连接组件,连接组件具有多个关节组件。操作臂31包括依次连接的连杆32、连接组件33及末端器械34,其中,连接组件33具有多个关节组件,通过调节操作臂31的关节组件调节末端器械34的姿态;末端器械34具有图像末端器械34A及操作末端器械34B。图像末端器械34A用于采集视野内的图像,显示器22用于显示该图像。操作末端器械34B用于执行手术操作如剪切、缝合。本文令具有图像末端器械34A的操作臂为相机臂31A,并令具有操作末端器械34B的操作臂为手术臂31B。
图1展示的手术机器人为单孔手术机器人,各操作臂31通过装设于机械臂30远端的同一个穿刺器4插入至患者体内。在单孔手术机器人中,医生一般仅对操作臂31进行控制以完成基本手术操作。此时,单孔手术机器人的操作臂31应当同时具有位置自由度(即定位自由度)和姿态自由度(即定向自由度),以实现在一定范围内位姿的变化,例如操作臂31具有水平移动自由度x、竖直移动自由度y,自转自由度α、俯仰自由度β及偏航自由度γ,操作臂31还可以在机械臂30远端关节组件即动力机构301的驱动下实现前后移动自由度z(即进给自由度),此外,一些实施例中,还可以为操作臂31设置冗余自由度以实现更多功能的可能性,例如,在上述可实现6自由度的前提下,额外再设置一个、两个甚至更多个自由度。例如,动力机构301具有导轨和滑动设置于导轨上的动力部,操作臂31可拆卸的装设于动力部上,一方面,动力部在导轨上的滑动提供操作臂31前后移动自由度z,另一方面,动力部为操作臂31的关节组件提供动力实现其余5个自由度(即[x,y,α,β,γ])。
手术机器人还包括控制器。控制器可以集成于主操作台2,也可以集成于从操作设备3。当然,控制器也可以独立于主操作台2和从操作设备3,其例如可部署在本地,又例如控制器可以部署在云端。其中,控制器可以由一个以上的处理器构成。
手术机器人还包括输入部。输入部可以集成于主操作台2。输入部也可以集成于从操作设备3。当然,输入部也可以独立于主操作台2和从操作设备3。该输入部例如可以是鼠标、键盘、语音输入装置、触摸屏。一实施例中,采用触摸屏作为输入部,触摸屏例如可以设置于主操作台2的扶手上。
操作臂31还包括感应关节组件的关节变量的传感器。这些传感器包括感应关节组件转动运动的角度传感器及感应关节组件线性运动的位移传感器,具体可根据关节组件的类型来配置适应的传感器。
控制器与这些传感器耦接,并与输入部及显示器22耦接。
示例性的,如图3所示,操作臂31的驱动盒310抵接于动力机构301的动力部302的抵接面装设有存储单元311,相应在动力部302抵接于驱动盒310的抵接面装设有与存储单元311配套的读取单元303,该读取单元303与控制器耦接,操作臂31装设于动力部302时,读取单元303与存储单元311通讯,读取单元303从存储单元311中读取相关信息。该存储单元311例如是存储器、电子标签。存储单元例如存储有操作臂的类型、操作臂可被配置成目标部位的部位、操作臂的运动学模型等。例如,相机臂31A的存储单元311中还额外的存储有相机参数。
如图4所示,其为本发明手术机器人一实施例的结构示意图,更具体地,图4所展示的是多孔手术机器人一实施例的结构示意图。图4所示的多孔手术机器人与图1所示的单孔手术机器人之间的区别主要存在于两者的从操作设备之间的区别。图4所示的多孔手术机器人中从操作设备的驱动臂具有依次连接的机械臂110、调整臂120、操纵器130及操作臂150。调整臂120、操纵器130及操作臂150数量相同且均为两个以上,例如四个,机械臂110远端具有定向平台,调整臂120近端均连接于定向平台,操纵器130近端连接于调整臂120远端。操纵器130用于可拆卸地连接操作臂150,操纵器130具有多个关节组件。在多孔手术机器人中,不同操作臂150通过不同的穿刺器插入患者体内,多孔手术机器人的操作臂150相较于单孔手术机器人的操作臂31而言,一般具有较少的自由度,通常,操作臂150仅具有姿态自由度(即定向自由度),当然其姿态的变化一般也对位置产生影响,但因为影响较小某些场景下可以被忽略。操作臂150的位置的变化通常可以由操纵器130辅助实现,由于操纵器130与操作臂150联动实现位姿变化,可以将这两者认为是操纵器组件,与单孔手术机器人中操作臂31相当。
根据配置,运动输入设备21可以输入包括位置指令及姿态指令的位姿指令以控制驱动臂中第一部分远端位姿的变化。该第一部分远端通常指末端器械,此外,该第一部分远端还可以指与末端器械相连接的一个关节组件,末端器械位姿的变化通常与该关节组件位姿的变化是一致的。
在图1所示的手术机器人中,驱动臂包括机械臂及操作臂,操作臂近端装设于机械臂远端,末端器械装设于操作臂远端。根据配置,第一部分可被配置成是操作臂;或者,第一部分可被配置成是机械臂和操作臂的整体。
而相应在图4所示的手术机器人中,驱动臂包括机械臂、调整臂、操纵器及操作臂,调整臂近端装设于机械臂远端,操纵器近端装设于调整臂远端,操作臂近端装设于操纵器远端,末端器械装设于操作臂远端。根据配置,第一部分可被配置成是操作臂;或者,第一部分可被配置成是操纵器和操作臂的整体;或者,第一部分可被配置成是机械臂、调整臂、操纵器和操作臂的整体。
可理解的,无论是图1所示的单孔手术机器人还是图4所示的多孔手术机器人,机械臂通常用于大范围调节末端器械的位姿,操作臂用于精细调节末端器械的位姿,例如,手术前通过机械臂等摆位,手术中主要通过控制操作臂实施手术。当然,一些实施例中,也可以结合机械臂及操作臂等相应臂体结构一起协同运动实现特定功能。
一实施例中,可以在手术机器人的系统文件中定义出驱动臂中期望作为第一部分所关联的结构,在手术机器人的系统初始化时从系统文件中读取出该第一部分所关联的结构并应用于后述实施例即可。
一实施例中,也可以根据驱动臂的构型的描述信息实时生成用于配置该第一部分的配置界面。该描述信息包括驱动臂中各部分中全部关节组件的连杆参数等。例如,该配置界面含有关联于该驱动臂的各部分结构的、可供选择的控件以供医生配置。该控件例如可以是文本控件、选项控件如下拉列表控件、按钮控件等多种形式。
较佳的,为了更加便于医生更加直观的通过配置界面配置该第一部分,可以根据驱动臂的构型的描述信息生成相关联的、且含有可供选择的控件的图像模型。该图像模型可以是复杂结构示意的计算机图像模型。该图像模型可跟随驱动臂状态的变化而变化。当然,该图像模型也可不跟随驱动臂状态的变化而只反映例如初始状态(如关节变量为零位时)等某一时刻下驱动臂的构型。图像模型上的控件例如是图标控件,更具体地可以是光点、光圈等。
示例性的,对于图1所示的手术机器人,驱动臂中的机械臂及操作臂可以分别对应一个控件以供选择它们的整体作为第一部分;对于图4所示的手术机器人,驱动臂中的机械臂、调整臂、操纵器及操作臂可以分别对应一个控件以供选择它们的整体作为第一部分。此外,多个独立设置的以协作完成手术的手术机器人也可以进行上述第一部分的设置,这样的多个手术机器人不具备同一机械臂。
示例性的,对于图1及图4所示的手术机器人,驱动臂中各关节组件均可以分别对应一个控件以供选择它们的局部或整体作为第一部分,其中,未被选择的整体或局部被系统视为非铰接结构从而禁止它们运动即可。可以获取医生通过输入部绘制的至少覆盖图像模型中部分控件的封闭的图形,进而将该图形内含有的(即围合的)所有部分全部作为第一部分。这样的设计能够提高第一部分的配置效率。
如图5和图6所示,图5和图6分别示意了图1所示手术机器人的配置第一部分的一实施例的配置界面。在图5和图6中,例如可用图标控件“○”代表可被配置成第一部分中至少部分的部位,并可用图标控件“●”代表被配置成第一部分中至少部分的部位。如图5所示,图像模型基本示意了图1所示的单孔手术机器人的基本构成,其中,机械臂和操作臂Arm1~Arm3分别对应含有一个可供选择的控件,是否选择该控件对应确定了是否将其对应的臂体部分作为第一部分,例如在图5中,仅选择将操作臂Arm1整体配置成第一部分,同时操作臂Arm1远端的末端器械被配置成受控末端器械。如图6所示,图像模型中的机械臂和操作臂Arm1~Arm3分别对应含有多个可供选择的控件,机械臂及操作臂Arm1~Arm3中控件的数量基本与其各自所具有的关节组件的数量相同,每个控件例如可以代表其中一个相应的关节,例如在图5中,由于选中了操作臂Arm3所有控件,进而相当于将操作臂Arm3整体配置成第一部分。
在应用于后续实施例时,预先获取医生根据该配置界面配置的第一部分进而利用该第一部分实现本发明的目的即可。这样的设计可更加易于医生灵活的配置出期望的第一部分以适用不同应用场景。
根据配置,末端器械中的一个以上可以被配置成受控末端器械以接受运动输入设备的控制。
一实施例中,提供一种手术机器人的控制方法,该控制方法可以由控制器执行。如图7所示,该控制方法包括如下步骤:
步骤S11,获取结构特征及形态与所述驱动臂中第一部分一致的图像模型的形态的变化。
该图像模型主要用于辅助显示驱动臂中第一部分的运动状态,运动状态包括位置、姿态、速度、加速度等,为了便于直观、静态地观察的目的,通常要求图像模型的形态应当与驱动臂中第一部分的形态始终保持一致,“形态”指形状姿态,并由位置及姿态所导致。通常,从因变量、自变量的角度考虑,驱动臂中第一部分的运动状态的变化为自变量,图像模型的运动状态的变化为因变量,图像模型的运动状态跟随驱动臂中第一部分的运动状态的变化而变化。
现有技术中,可能能够对该图像模型的呈现视角进行主动调整,但少见能够对该图像模型的形态进行主动调整以用于影响驱动臂中第一部分的形态。本发明为了实现能够对图像模型的形态进行调整以影响驱动臂中第一部分的形态的目的,为该图像模型配置了与驱动臂中第一部分相同的结构特征,这些结构特征包括但不限于构型、连杆参数。例如,驱动臂具有多个真实关节组件,图像模型具有相应于第一部分的真实关节组件的虚拟关节组件,虚拟关节组件具有与相应真实关节组件一致的关节运动参数,以使图像模型的形态的可调性能与第一部分的形态的可调性能保持一致。其中,关节运动参数包括关节运动范围、关节运动速度阈值及关节运动加速度阈值。
其中,本发明可以对图像模型的形态进行主动调整,因而可以单独的获取该图像模型的形态的变化。其中,对图像模型的形态的主动调整可以利用前述的运动输入设备、鼠标、触摸屏、语音识别设备、及/或手势识别设别等其他类型的与控制器耦接的输入设备。
同一时刻,对于图像模型的形态的调整及对于驱动臂中第一部分的形态的调整通常只能二者择其一,以避免发生紊乱,进而确保手术动作的一致性及安全性。一实施例中,可以配置两个切换指令以切换可被调整的对象,该两个切换指令包括第一切换指令及第二切换指令,其中,第一切换指令用于禁用对驱动臂中第一部分的形态的主动控制功能、并使能对图像模型的形态的主动控制,第二切换指令用于禁用对图像模型的形态的主动控制、并使能对驱动臂中第一部分的形态的主动控制功能。
通常,在该步骤S11之前,该控制方法可以包括:检测是否获取到第一切换指令。进而在获取到第一切换指令时,执行步骤S11。
步骤S12,控制第一部分中相应真实关节组件运动以使第一部分的形态跟随图像模型的形态的变化而变化。
其中,第一部分的形态的变化与图像模型的形态的变化一致,这里的“一致”可以容许略微的差别,其影响因素是客观因素,例如驱动臂中第一部分的传动不精确等原因引起的差别。
一实施例中,第一部分的形态是否跟随图像模型的形态发生变化需要在得到操作人员的人工确认后才能进行,例如,在步骤S12之前,可以包括:检测是否获取到确认指令,在获取到确认指令之后执行步骤S12,否则,继续检测是否获取到确认指令。可以将这样有干预的调整模式理解成间歇调整模式,有利于先将图像模型摆放成合理形态之后再控制驱动臂中的第一部分跟随图像模型的形态发生变化。
另一实施例中,第一部分的形态是否跟随图像模型的形态发生变化也可以不需要在得到操作人员的人工确认后才进行,而是只要图像模型的形态发生变化,则第一部分的形态就跟随变化。可以将这样没有干预的调整模式理解成连续调整模式。其中,在连续调整模式中,例如,经配置,第一部分的形态可以基本同步于图像模型的形态的变化而变化;经配置,第一部分的形态可以滞后于图像模型的形态的变化而变化,例如间隔1s~10s变化,这样的设置有助于为及时重新调整图像模型的形态提供可能性,也即有助于在发现调整的图像模型的形态不是所期望的情况之时能够及时中断对第一部分的形态的调整,具有与间歇调整模式基本相同的作用。
上述具体采用间歇调整模式还是连续调整模式来对第一部分的形态进行调整例如可以由操作人员预先进行配置。
通常,切换至图像控制模式前,由于图像模型的结构特征与初始形态与驱动臂中第一部分是完全相同的,一些实施例中,第一部分的形态的变化可以完全复刻图像模型的形态的变化,其中,对于“完全复刻”或“完全复制”的定义可以是:两者具有完全相同的运动状态,包括运动轨迹相同、运动速度相同等,而实现“完全复刻”的方法是:将调整图像模型的形态改变的参数未经处理的直接发送至控制器进而基于这些参数控制驱动臂中第一部分运动实现形态的改变;而在另一些实施例中,第一部分的形态的变化也可以部分复刻图像模型的形态的变化,对于“部分复刻”或“部分复制”的定义可以是:两者具有不完全相同的运动状态、但至少最终形态相同,例如两者运动轨迹不同或者两者运动速度不同,而实现“部分复刻”的方法是:将调整图像模型的形态改变的参数经处理后再发送至控制器进而基于这些参数控制驱动臂中第一部分运动实现形态的改变。例如,可通过对调整图像模型的形态改变的参数进行抽样后再发送至控制器进而基于这些抽样参数控制驱动臂中第一部分运动实现形态的改变的方法可以使得两者运动轨迹不完全相同。
例如,还可通过设置运动速度系数来调整驱动臂中第一部分的运动速度以使两者的运动速度不同。一些实施例中,可以设定一个小于1的运动速度系数来控制驱动臂中第一部分运动以使得其相较于图像模型的形态的改变速度具有更低的改变速度,这样具有例如降低实际存在的碰撞风险的好处,因为即使碰撞也因为速度低的原因碰撞的惯量也相对较小。当然,其它实施例中,也可以设定一个大于1的运动速度系数来控制驱动臂中第一部分运动以使得其相较于图像模型的形态的改变速度具有更高的改变速度,这样的使用场景例如可以是确保不会出现碰撞的前提下而使用的。
根据上述步骤S11~步骤S12,即将图像模型的形态的变化作为自变量并将驱动臂中第一部分的形态的变化作为因变量进行控制,以使驱动臂中第一部分的形态跟随图像模型的形态的变化而变化,能够提供一种全新的控制方式,尤其适用于一些不太适合直接对驱动臂中第一部分的形态进行控制的场景使用,例如用于解除碰撞的场景,又例如用于将第一部分摆成需要的形态的场景。
一实施例中,如图8所示,上述步骤S11,即获取结构特征及形态与所述驱动臂中第一部分一致的图像模型的形态的变化的步骤包括:
步骤S111,获取结构特征及形态与驱动臂中第一部分一致的图像模型并显示图像模型的至少部分。
其中,通常显示对应于第一部分的图像模型的全部。当然,也可以只显示对应于第一部分的图像模型的部分,例如,仅显示完整的图像模型的远端或包含远端的一部分。无论显示的是图像模型的全部还是部分,均可以对所显示的部分利用下文所记载的方式以通过改变图像模型的形态进而改变第一部分的形态,例如,均可采用配置图像模型的关节空间的任务及/或配置图像模型的任务空间的任务来改变图像模型及第一部分的形态。
步骤S112,获取图像模型的形态的变化。
一实施例中,如图9所示,在步骤S112之前,即获取图像模型的形态的变化的步骤之前,还可以包括:
步骤S1121,接收输入的用于改变图像模型的形态的操作指令集。
该操作指令集包括一个以上的指令。
步骤S1122,根据操作指令集改变图像模型的形态。
其中,在调整图像模型的过程中,可以显示图像模型的最终形态或包括中间形态的最终形态。
其中,中间形态指最终形态之前的所有过渡形态。也即,图像模型形态的改变可以直接呈现最终形态,当然,也可以呈现整个变化过程对应的中间形态及变化结束时的最终形态。
大致而言,可以从两个方面来改变图像模型的形态。第一方面,可以从关节空间这个角度入手以改变图像模型的形态;第二方面,可以从任务空间这个角度入手以改变图像模型的形态。
一实施例中,基于上述的第一方面考虑,步骤S1121中的操作指令集是用于配置图像模型在关节空间内的任务的操作指令集。
例如,系统默认图像模型中的各虚拟关节组件均为禁用状态,该操作指令集可以包括使能指令及移动指令,该使能指令用于配置一个或多个禁用状态的虚拟关节组件为使能状态,该移动指令用于选定某个使能状态的虚拟关节组件以作为控制节点并为该控制节点配置关节空间内的关节运动量。其中,禁用状态的虚拟关节组件的运动范围被限制以作为刚体结构,使能状态的虚拟关节组件的运动范围则不作限制为自由状态。
进而,如图10所示,上述步骤S1122中根据操作指令集改变图像模型的形态的步骤可以这样进行,即:
步骤S11221,解析操作指令集获得控制节点及其对应的关节运动量。
其中,获得的关节运动量通常具有方向性。在本发明中,相应控制节点的关节运动量仅改变该控制节点自身的运动状态而不影响其它控制节点。
步骤S11222,根据控制节点及其对应的关节运动量使得相应控制节点独立运动对应的关节运动量以改变图像模型的形态。
在该步骤S11222之前,可以先判断各控制节点的关节运动量是否有效。
其中,有多种策略可供操作人员选择使用。例如,需要在各控制节点的关节运动量均有效时,在上述步骤S11222中控制各控制节点根据关节运动量运动。例如,部分控制节点的关节运动量有效时,在上述步骤S11222中控制该部分控制节点根据关节运动量运动即可。又例如,各控制节点的关节运动量具有一个无效时,不执行在上述步骤S11222,并可提示操作人员重新配置合理的关节运动量。有效性的判断标准举例可以是控制节点的关节运动状态参数例如运动范围、关节运动速度及/或关节运动加速度。
一些实施例中,在同一时刻,可以仅允许多个虚拟关节组件中的一个可被配置成控制节点,以简化对图像模型的形态的改变操作,而且在这样的操作下图像模型的形态的改变的效果会更加易于观察、理解。需要对多个虚拟关节组件进行调节时,在不同时刻配置不同的控制节点及其关节运动量即可。
上述的关节运动量可以是增量关节运动量,还可以是目标关节运动量。对于转动关节而言,关节运动量可以是增量关节角或目标关节角;对于滑动关节而言,关节运动量可以是增量关节偏移量或目标关节偏移量。
一实施例中,增量关节运动量可以这样进行配置:
至少可以对控制节点生成并显示展示运动副的第一图标,运动副对应于转动关节为转动轴,运动副对应于移动关节为移动轴。并且,可以在运动副中生成并显示关联于运动副的可调方向的第二图标。示例性的,操作指令集中的移动指令可以来源于操作人员借助于如运动输入设备、鼠标、触摸屏等输入装置输入的点击操作指令,该点击操作指令包括点击位置和点击次数。例如,操作人员点击某一运动副关联的第二图标就可以根据触发的点击操作指令中的点击位置确定该控制节点的运动方向、并根据点击次数就可以确定该控制节点在相应运动方向上的增量关节运动量。每次点击均对应一个固定的增量关节运动量,其中,对于转动关节而已,这个增量关节运动量是一个固定步长的转动量,如0.1°~1°之间的任意值,如0.1°、0.2°、0.3°、0.4°、0.5°、0.6°、0.7°、0.8°、0.9°或1°,当然,该固定步长的转动量还可以有操作人员定义为0.1°~1°以外的值;对于移动关节而言,这个增量关节运动量是一个固定步长的偏移量,如1mm~10mm之间的任意值,如1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm、9mm或10mm,当然,该固定步长的偏移量还可以由操作人员定义为1mm~10mm以外的值。
一些实施例中,点击操作指令中的点击次数可替代为点击时长,其中,单位时间t0对应的增量关节运动量为s0,则点击时长t对应的增量关节运动量s=(t/t0)*s0。此外,点击操作指令还可兼容包括点击时长,可以将点击次数对应的增量关节运动量与点击时长对应的增量关节运动量之和作为最终的增量关节运动量。
进而,如图11所示,上述步骤S11221中,即解析操作指令集获得控制节点的对应的关节运动量的步骤可以包括:
步骤S112211,解析点击操作指令获得点击位置、以及点击次数及/或点击时长。
其中,有效的点击位置例如是对于第二图标的点击。
步骤S112212,根据点击位置确定控制节点的运动方向,并根据点击次数及/或点击时长确定控制节点在相应方向上的增量关节运动量。
本发明以图1所示的手术机器人中从操作设备的机械臂作为驱动臂的第一部分为例进行说明。如图12至图15所示,该第一部分3包括真实关节组件3001~3005,有与之相应地,图像模型3’包括分别对应于真实关节组件3001~3005的虚拟关节组件3001’~3005’。其中,图12和图13分别示意了在进行本发明所描述的控制方法之前的第一部分3及图像模型3’的形态的示意图,两者在初始状态时形态一致。进一步地,举例将图像模型3’中的虚拟关节组件3003’配置成了控制节点,为了进行增量关节运动量的配置,可以在关联于该控制节点3003’的位置生成表示其运动副的第一图标61,及表示运动副的可调方向的第二图标62,第二图标62可以包括代表第一可调方向的子图标621和第二可调方向的子图标622。
其中,例如用“●”代表点击位置。操作人员通过点击操作指令控制图像模型3’从图13所示的形态调整至图14所示的形态。例如可经操作人员确认后,第一部分3从图12所示的形态调整至图15所示的形态,最终使得第一部分3的形态与图像模型3’的形态基本保持一致。
进一步地,可以对使能状态的虚拟关节组件均生成并显示上述的第一图标及第二图标。其中,根据解析点击操作指令获得的点击位置可以一并确定被选定的控制节点及其对应的运动方向。
一实施例中,目标关节运动量可以这样进行配置:
例如,至少获取各使能状态的虚拟关节组件中被配置为控制节点的虚拟关节组件的运动范围,操作人员借助于运动输入设备可以基于该运动范围来配置目标关节运动量,以使控制节点直接运动配置的目标关节运动量。例如,控制节点的运动范围为-270°~270°,可以直接输入期望控制节点转动达到的角度如200°即可,此处不再详细描述。
一实施例中,基于上述的第二方面考虑,步骤S1121中的操作指令集是用于配置图像模型在任务空间内的任务的操作指令集。
例如,系统默认图像模型中的各虚拟关节组件均为使能状态,该操作指令集可以包括模式配置指令及移动指令,该模式配置指令用于配置图像模型远端的任务自由度,更具体的即用于配置图像模型中最远端的虚拟关节组件的任务自由度,该移动指令用于选定某个使能状态的虚拟关节组件以作为控制节点并为该控制节点配置任务空间内的任务运动量。进一步地,该操作指令集还可以包括禁用指令,用于配置一个或多个使能状态的虚拟关节组件为禁用状态,这样相当于可以改变图像模型的构型以适于更多使用场景。
进而,如图16所示,上述步骤S1122中根据操作指令集改变图像模型的形态的步骤可以这样进行,即:
步骤S11221’,解析操作指令集获得使能状态的虚拟关节组件、最远端的虚拟关节组件的任务自由度、控制节点及其任务运动量。
步骤S11222’,根据任务自由度、控制节点的任务运动量控制使能状态的虚拟关节组件联动使得控制节点运动对应的任务运动量以改变图像模型的形态。
在该步骤S11222’之前,可以先判断各控制节点的任务运动量是否有效。
其中,有多种策略可供操作人员选择使用。例如,需要在各控制节点的任务运动量均有效时,在上述步骤S11222’中控制各控制节点根据任务运动量运动。例如,部分控制节点的任务运动量有效时,在上述步骤S11222’中控制该部分控制节点根据任务运动量运动即可。又例如,各控制节点的任务运动量具有一个无效时,不执行在上述步骤S11222’,并可提示操作人员重新配置合理的关节运动量。对于该任务运动量的有效性的判断举例可以通过利用逆运动学将控制节点的任务运动量换算为该控制节点所关联的一段虚拟臂体中各虚拟关节组件的运动状态参数进而与相应阈值进行比较而进行判断,运动状态参数包括运动范围、关节运动速度及/或关节运动加速度。当然,也可以通过其它方法对该任务运动量的有效性进行判断,例如,判断控制节点所关联的一段虚拟臂体是否会与其它虚拟臂体发生碰撞,发生碰撞时,判断相应控制节点的任务运动量为无效,不发生碰撞时,判断相应控制节点的任务运动量为有效,通常,其它虚拟臂体指与控制节点所在的一段虚拟臂体呈并联结构而非串联结构的其它段虚拟臂体,例如不同操作臂对应的不同虚拟臂体。对于虚拟臂体是否发生碰撞可以采用位置检测法来进行判断,此处不再详细描述。事实上,对于任务运动量的有效性的不同判断方法可以单独或者结合使用。
该任务空间举例是笛卡尔空间。该任务运动量可以是增量位姿或目标位姿。该增量位姿包括增量位置及/或增量姿态,该目标位姿包括目标位置及/或目标姿态。
一实施例中,增量任务运动量可以这样进行配置:
如图17所示,至少可以在控制节点处生成并显示一坐标图像63,该坐标图像63包括X坐标轴、Y坐标轴及Z坐标轴,至少可以基于该三个坐标轴对控制节点的位置进行增量式配置。示例性的,操作指令集中的移动指令可以来源于操作人员借助输入装置输入的点击操作指令,该点击操作指令包括点击位置和点击次数。
例如,操作人员点击某一坐标轴就可以根据触发的点击操作指令中的点击位置确定控制节点的运动方向、并根据点击次数就可以确定该控制节点沿着该坐标轴的相应运动方向上的增量任务运动量。其中,每次点击均对应一个固定的增量任务运动量,这个增量任务运动量是一个固定步长的偏移量(即增量位置参数),如1mm~10mm之间的任意值,如1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm、9mm或10mm,当然,该固定步长的偏移量还可以由操作人员定义为1mm~10mm以外的值。
为了便于对控制节点的姿态进行控制,如图18所示,还可以进一步地在该坐标图像63的相应坐标轴中生成关联于该坐标轴的可调方向的图标64。操作人员点击该图标64即可根据触发的点击操作指令中的点击位置确定该控制节点围绕相应坐标轴转动的运动方向、并根据点击次数就可以确定该控制节点在该运动方向上转动的增量任务运动量。其中,每次点击均对应一个固定的增量任务运动量,其中,这个增量任务运动量是一个固定步长的转动量(即增量姿态参数),如0.1°~1°之间的任意值,如0.1°、0.2°、0.3°、0.4°、0.5°、0.6°、0.7°、0.8°、0.9°或1°,当然,该固定步长的转动量还可以有操作人员定义为0.1°~1°以外的值。
一些实施例中,点击操作指令中的点击次数可替代为点击时长,其中,单位时间t0对应的增量任务运动量为s0,则点击时长t对应的增量任务运动量s=(t/t0)*s0。此外,点击操作指令还可兼容包括点击时长,可以将点击次数对应的增量任务运动量与点击时长对应的增量任务运动量之和作为最终的增量任务运动量。
进而,如图19所示,上述步骤S11221’中,即解析操作指令集获得控制节点的任务运动量的步骤可以包括:
步骤S112211’,解析点击操作指令获得点击位置、及点击次数及/或点击时长。
其中,有效的点击位置例如是对坐标轴的点击及/或对于坐标轴处用于调节方向的图标的点击。
步骤S112212’,根据点击位置确定控制节点的运动方向,并根据点击次数及/或点击时长确定控制节点在相应方向上的增量任务运动量。
进一步地,可以对使能状态的虚拟关节组件均生成并显示上述的图标。其中,根据解析点击操作指令获得的点击位置可以一并确定被选定的控制节点及其对应的运动方向。
一实施例中,目标任务运动量可以这样进行配置:
由于图像模型与驱动臂的第一部分是关联的,因而图像模型的参考坐标系可以与驱动臂的第一部分的参考坐标系相同,即两者可以事实上基于相同参考坐标系进行控制而实现形态的改变,进而可以基于第一部分的运动学模型及第一部分所包含的各真实关节组件的关节变量并利用正运动学求解出控制节点的位姿。其中,可以将该位姿对应的参数数值化地显示于控制节点处。操作人员因而可以参考该数值化显示的位姿并利用输入装置来设置所期望的目标任务运动量。例如,控制节点的当前位姿是P0[x0,y0,z0000],其中,x表示水平方向的坐标,y表示竖直方向的坐标,z表示前后方向的坐标,α表示偏航角,β表示俯仰角,γ表示自转角。操作人员可以基于P0尝试设置一个合适的目标任务运动量Pm,例如,Pm为[x0+xm,y0,z0000],这里表示操作人员只为X方向设置了目标位置。
一些实施例中,可以设置多个模式指令以便于快捷的配置任务自由度,这些模式指令包括但不限于第一模式指令、第二模式指令、第三模式指令及第四模式指令中的一种或多种,具体视需要而定。其中,该第一模式指令用于配置任务自由度为零任务自由度,即不进行任何约束;该第二模式指令用于配置任务自由度为位姿自由度,该位姿自由度包括一个以上位置自由度和一个以上姿态自由度;该第三模式指令用于配置任务自由度为位置自由度,该位置自由度包括一个以上;该第四模式指令用于配置任务自由度为姿态自由度,该姿态自由度包括一个以上。例如,该第二模式指令对应的位姿自由度为全位姿自由度,即对应于第一部分所能实现的所有跟位置及姿态相关的自由度;该第三模式指令对应的位置自由度为全位置自由度,即对应于第一部分所能实现的所有跟位置相关的自由度;该第四模式指令对应的姿态自由度为全姿态自由度,即对应于第一部分所能实现的所有跟姿态相关的自由度。
在第一模式指令中,即不对任务自由度进行约束,图像模型远端的虚拟关节组件为从动状态,控制节点与远端的虚拟关节组件的全部关节组件被配置成禁用状态以当作刚体结构而跟随控制节点运动。
在第二模式指令至第四模式指令中,即对任务自由度进行约束,以使图像模型远端的虚拟关节组件为主动状态,第一方面的目的是使近端的虚拟关节组件与控制节点之间的全部关节组件根据任务运动量运动,第二方面的目的是同时使控制节点与远端的虚拟关节组件的全部关节组件运动以保持在相应任务自由度。也即,在第二模式指令至第四模式指令中,可以根据控制节点的数量将图像模型分成两段以上的虚拟臂体进行独立控制以实现该多个臂体各自的目标。
例如,控制节点仅一个时,图像模型中近端的虚拟关节组件到控制节点(包含该控制节点)之间的全部虚拟臂体为第一段虚拟臂体,控制节点(不包含该控制节点)到远端之间的虚拟关节组件的全部虚拟臂体为第二段虚拟臂体。
又例如,控制节点为两个以上时,图像模型中近端的虚拟关节组件到邻近的控制节点(包含该控制节点)之间的全部虚拟臂体为第一段虚拟臂体,各相邻控制节点之间的全部虚拟臂体分别为第二段虚拟臂体(第二段虚拟臂体的数量与控制节点的数量相同),远端的控制节点到远端的虚拟关节组件之间的全部虚拟臂体为第三段虚拟臂体。
当控制节点被配置为两个以上时,需要为每个控制节点分别配置任务运动量。如果没有为每个控制节点分别配置任务运动量,可以提示对没有被配置任务运动量的进行配置,或者,也可以忽略没有被配置任务运动量的控制节点而只对配置了任务运动量的控制节点进行控制。
上述对于图像模型中虚拟臂体的分段及分段后的控制通常是基于控制节点不包含远端的虚拟关节组件而进行的。当然,如果控制节点包含远端的虚拟关节组件,不考虑最后一段虚拟臂体即可,例如,控制节点仅一个且为远端的虚拟关节组件,那么图像模型的虚拟臂体为整体的一段,也即近端的虚拟关节组件到远端的虚拟关节组件不进行任何分段而作为整体的一段。
以第二模式指令对应于全位姿自由度、第三模式指令对应于全位置自由度及第四模式指令对应于全姿态自由度为例进行如下说明。
其中,以控制节点为一个为例简要说明如下。
控制节点是图像模型中远端的虚拟关节组件时:
其中,控制节点近端的全部虚拟关节组件(包含控制节点所在的虚拟关节组件)为第一段虚拟臂体,第一段虚拟臂体以其近端的虚拟关节组件为坐标原点进行运动以达成相应控制节点的运动量,更具体地,例如可以根据逆运动学控制该段虚拟臂体中处于使能状态的虚拟关节组件联动。
(1)基于第一模式指令,由于远端的任务自由度没有任何约束,因而可以根据配置的任务运动量控制第一段虚拟臂体联动以使该控制节点运动达成任务运动量。
(2)基于第二模式指令,由于远端的任务自由度被约束为保持位姿,因而通常根据配置的任务运动量不能控制第一段虚拟臂体联动。
(3)基于第三模式指令,由于远端的任务自由度被约束为保持位置,因而可以根据配置的任务运动量控制第一段虚拟臂体联动以使该控制节点保持位置、而仅改变姿态。为了实现这样的运动,任务运动量应当包括姿态运动量。
(4)基于第四模式指令,由于远端的任务自由度被约束为保持姿态,因而可以根据配置的任务运动量控制第一段虚拟臂体联动以使该控制节点保持姿态、而仅改变位置。为了实现这样的运动,任务运动量应当包括位置运动量。
2.控制节点不是图像模型中远端的虚拟关节组件时:
其中,控制节点近端的全部虚拟关节组件(包含控制节点所在的虚拟关节组件)为第一段虚拟臂体,控制节点远端的全部虚拟关节组件(不包含控制节点所在的虚拟关节组件)为第二段虚拟臂体,每段虚拟臂体均以其近端的虚拟关节组件为坐标原点进行独立运动以达成相应控制节点的运动量,更具体地,例如可以根据逆运动学控制每段虚拟臂体中处于使能状态的虚拟关节组件联动。
(1)基于第一模式指令,由于远端的任务自由度没有任何约束,第二段虚拟臂体所包含的全部虚拟关节组件均为禁用状态,因而可以根据配置的任务运动量控制第一段虚拟臂体联动以使该控制节点运动达成任务运动量。
(2)基于第二模式指令,由于远端的任务自由度被约束为保持位姿,因而通常根据配置的任务运动量控制第一段虚拟臂体联动以使该控制节点运动达成任务运动量、并控制第二段虚拟臂体联动以使远端的虚拟关节组件保持位姿。
(3)基于第三模式指令,由于远端的任务自由度被约束为保持位置,因而通常根据配置的任务运动量控制第一段虚拟臂体联动以使该控制节点运动达成任务运动量、并控制第二段虚拟臂体联动以使远端的虚拟关节组件保持位置、而姿态不做约束。
(4)基于第四模式指令,由于远端的任务自由度被约束为保持姿态,因而通常根据配置的任务运动量控制第一段虚拟臂体联动以使该控制节点运动达成任务运动量、并控制第二段虚拟臂体联动以使远端的虚拟关节组件保持姿态、而位置不做约束。
上述方式对于控制节点为两个以上的情况也是适用的。参阅上述控制节点为一个的情况,两者之间的不同仅在于增加了对相邻控制节点之间的虚拟臂体的联动,相邻控制节点之间的虚拟臂体的联动与近端的控制节点的近端的虚拟臂体的联动、远端的控制节点的远端的虚拟臂体的联动是相对独立的,以共同实现上述第一方面的目的及第二方面的目的。其中,每段被独立控制的虚拟臂体的参考坐标系是不同的,如沿着图像模型中虚拟臂体从近段向远端的方向分为第一段、第二段及第三段虚拟臂体时,第一段虚拟臂体的参考坐标系可以基于该第一段虚拟臂体中最近端的虚拟关节组件相对于基坐标系的坐标系,第二段虚拟臂体的参考坐标系可以基于该第二段虚拟臂体中最近端的虚拟关节组件相对于基坐标系的坐标系,第三段虚拟臂体的参考坐标系可以基于该第三段虚拟臂体中最近端的虚拟关节组件相对于基坐标系的坐标系。也即,第一段虚拟臂体、第二段虚拟臂体、及第三段虚拟臂体均以其近端的虚拟关节组件为原点进行运动。一种较为方便实施的实施例中,每个控制节点对应的任务运动量仅影响其所在的一段虚拟臂体的运动而不影响其它段虚拟臂体的运动。
上述能够被配置如配置成使能状态、禁用状态、控制节点的虚拟关节组件通常对应于真实关节组件中的主动关节组件(即独立可调的关节组件)。也即,虚拟关节组件中对应于真实关节组件中的从动关节组件(即与主动关节组件耦合、跟随该主动关节组件运动的关节组件)通常不能被进行如上配置,例如类似于四连杆结构等的封闭运动链的多个真实关节组件中通常仅有部分,例如一个是主动关节组件。
此外,在配置驱动臂的第一部分时,真实关节组件的主动关节组件及从动关节组件,均可以被配置成第一部分。
手术机器人在操作过程中,容易发生碰撞的部位通常是呈并联结构的两个以上的真实臂体。因而,一些实施例中,可以在检测到驱动臂中存在碰撞或潜在碰撞的真实臂体时,一方面,将存在碰撞或潜在碰撞的真实臂体作为第一部分,进而获取及显示与该第一部分的结构特征及形态一致的图像模型;另一方面,允许操作人员从第二切换指令对应的操作模式切换至第一切换指令对应的操作模式,当然,是否需要对操作模式进行切换需要操作人员的确认才能进行。
一些实施例中,在第一切换指令对应的操作模式下,也即通过对图像模型形态的改变使得驱动臂的形态发生相同的改变可以在一些特定的约束下进行。这样的约束包括但不限于图像模型中运动状态可以被改变的虚拟关节组件应当是处于图像操作末端器械提供的操作图像即视野范围内的虚拟关节组件,如图19所示,图像模型3’位于可视区域内的虚拟关节组件才能够被配置用以改变形态。为便于如上述所述的对在视野范围内的这些虚拟关节组件进行如控制节点及对应的运动量的配置,可以将图像模型中位于视野范围外的虚拟关节组件默认为禁用状态。为更进一步区别图像模型中各虚拟关节组件是否位于视野范围内,可以对视野范围内或视野范围外的虚拟关节组件进行标识以显著地提示操作人员后续将要进行的对图像模型的操作。更多情况下,可以不对图像模型中可改变形态的部分进行约束,例如,即时图像模型中部分或者全部均不存在于视野范围内的情况。
一些实施例中,可以生成具有用于切换图像模型显示角度的角度切换控件的用户界面,进而可根据触发该角度切换控件产生的角度切换指令切换图像模型的显示角度,可方便操作人员选择性地从不同角度来查看该图像模型的状态。
一些实施例中,在对应于第一切换指令的操作模式下,可以对图像模型的至少部分如近端或全部的虚拟关节组件进行放大显示以方便配置如控制节点及其对应的运动量及便于观察图像模型的形态的变化。进一步地,在切换至对应于第二切换指令的操作模式下,可以将放大的图像模型恢复至正常大小进行显示。
一实施例中,由于获取的用于控制驱动臂中第一部分运动的各真实关节组件的关节变量可能不连续,以及第一部分的各真实关节组件惯量较大的影响,直接用这些关节变量来对该第一部分进行控制容易引起抖动即运动不连续的问题,因而为了使得该第一部分运动连续,如图21所示,可以在上述步骤S12,即控制第一部分中相应真实关节组件运动以使第一部分的形态跟随图像模型的形态的变化而变化的步骤之前,进行如下步骤:
步骤S121,获取导致图像模型的形态发生变化的虚拟关节组件对应的关节变量。
步骤S122,对虚拟关节组件对应的关节变量分别进行运动平滑处理获得经运动平滑处理后的关节变量。
进而,在控制第一部分中相应真实关节组件运动以使第一部分的形态跟随图像模型的形态的变化而变化的步骤具体即可以根据虚拟关节组件对应的经运动平滑处理后的关节变量控制第一部分中相应于虚拟关节组件的真实关节组件运动以使第一部分的形态跟随图像模型的形态的变化而变化,同时使得第一部分的运动连续。
上述步骤S122可以通过滤波处理及/或轨迹插补处理以实现分别对获取的对第一部分中各真实关节组件的关节变量的运动平滑处理。例如,滤波处理可以采用低通滤波处理,其允许低频信号正常通过而阻隔或减弱超过设定临界值的高频信号。例如,轨迹插补处理可以基于第一部分中各真实关节组件的关节变量进行样条曲线拟合及插补,以规划出平滑的样条曲线。两者可独立实施或者结合实施以使第一部分的运动连续,其中,运动连续包括运动位置连续、运动速度连续以及运动加速度连续中的一种及以上。
一实施例中,该步骤S122中所进行的运动平滑处理可以在图像模型的形态发生改变之前进行,也即对输入的改变图像模型的形态的关节变量进行运动平滑处理,可利用经运动平滑处理后的关节变量一方面对图像模型的形态进行改变,另一方面对驱动臂中第一部分的形态进行改变,这样可以使得图像模型的运动和第一部分的运动均是连续的。
另一实施例中,该步骤S122所进行的运动平滑处理可以在图像模型的形态发生改变之后进行,也即仅可利用经运动平滑处理后的关节变量对驱动臂中第一部分的形态进行改变,这样图像模型的运动可以是不连续的,但至少能够保证第一部分的运动是连续的。
上述实施例中,图像模型3’还可以是相对于计算机图像模型更简洁的投影图像模型,如图23。其中,如图22所示,投影图像模型的获得方法包括如下步骤:
步骤S21,获得第一部分的特征点序列及第一部分对应的运动学模型。
步骤S22,获取传感器感应的第一部分中各关节的关节变量。
步骤S23,获取输入部选择的虚拟相机。
其中,虚拟相机为非实际存在的相机,其不会真实的采集物体的图像,其体现的仅是一种视点的概念。虚拟相机可以具有可配置的虚拟视场角和虚拟景深。
步骤S24,根据第一部分的运动学模型及关节变量确定第一部分的特征点序列中各特征点在虚拟相机的投影平面的投影点。
结合图24参阅,以第一部分为单孔手术机器人中的某一操作臂为例进行投影原理的说明。其中,
该操作臂具有特征点序列,该特征点序列包括特征点Q1、Q2、Q3及Q4,在虚拟相机的虚拟成像下,在投影平面获得投影点序列,该投影点序列对应为q1、q2、q3及q4。
示例性的,以特征点Q1和Q2为例进行说明,根据运动学模型及关节变量获得了Q1和Q2在空间中的位置分别为Q1(X1,Y1,Z1)和Q2(X2,Y2,Z2)。结合虚拟焦距确定该特征点Q1和特征点Q2在投影平面的投影点q1(x1,y1)和q2(x2,y2)可以通过如下公式获得:
x1=fx*(X1/Z1)+cx;
y1=fy*(Y1/Z1)+cy;
x2=fx*(X12/Z12)+cx;
y2=fy*(Y12/Z12)+cy;
其中,fx为水平方向焦距,fy为竖直方向焦距,cx为水平方向相对光轴偏移,cy为竖直方向相对光轴偏移。其中,fx与fy的数值可以相等,也可以不等。
步骤S25,有序的拟合连接各投影点生成第一部分的投影图像模型。
步骤S26,显示投影图像模型。
根据上述步骤S21~S26,即可获得投影图像模型。
一实施例中,提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,计算机程序被配置为由处理器加载并执行实现如下步骤:获取结构特征及形态与所述驱动臂中第一部分一致的图像模型的形态的变化;控制第一部分中相应真实关节组件运动以使第一部分的形态跟随图像模型的形态的变化而变化。
一实施例中,提供一种手术机器人的控制装置。如图25所示,该控制装置可以包括:处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503、以及通信总线504。
处理器501、通信接口502、以及存储器503通过通信总线504完成相互间的通信。
通信接口502,用于与其它设备比如各类传感器或电机或电磁阀或其它客户端或服务器等的网元通信。
处理器501,用于执行程序505,具体可以执行上述方法实施例中的相关步骤。
具体地,程序505可以包括程序代码,该程序代码包括计算机操作指令。
处理器505可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路,或者是图形处理器GPU(Graphics Processing Unit)。控制装置包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU,或者,一个或多个GPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个GPU。
存储器503,用于存放程序505。存储器503可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序505具体可以用于使得处理器501执行以下操作:获取结构特征及形态与所述驱动臂中第一部分一致的图像模型的形态的变化;控制第一部分中相应真实关节组件运动以使第一部分的形态跟随图像模型的形态的变化而变化。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (41)

1.一种手术机器人的控制方法,所述手术机器人包括驱动臂,所述驱动臂远端用于装卸末端器械,其特征在于,所述控制方法包括如下步骤:
获取结构特征及形态与所述驱动臂中第一部分一致的图像模型并显示所述图像模型的至少部分;
接收输入的用于改变所述图像模型的形态的操作指令集;
根据所述操作指令集改变所述图像模型的形态,并至少显示所述图像模型的最终形态;
获取所述图像模型的形态的变化;
控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化;
其中,所述操作指令集关联于所述图像模型在任务空间内的任务,根据所述操作指令集改变所述图像模型的形态的步骤中,包括:
解析所述操作指令集获得所述图像模型中的控制节点、所述控制节点的任务运动量、最远端的虚拟关节组件的任务自由度及处于使能状态的所述虚拟关节组件;
根据最远端的所述虚拟关节组件的所述任务自由度、所述控制节点的任务运动量控制处于使能状态的所述虚拟关节组件联动使得所述控制节点运动对应的所述任务运动量以改变所述图像模型的形态。
2.根据权利要求1所述的控制方法,其特征在于,显示所述图像模型的至少部分的步骤具体为显示所述图像模型的全部。
3.根据权利要求1所述的控制方法,其特征在于,所述驱动臂具有多个真实关节组件,所述图像模型至少具有与所述第一部分所包含的真实关节组件相对应的虚拟关节组件,所述虚拟关节组件具有与相应所述真实关节组件一致的关节运动参数,以使所述图像模型的形态的可调性能够与所述第一部分的形态的可调性能一致,其中,所述关节运动参数包括关节运动范围、关节运动速度阈值及关节运动加速度阈值。
4.根据权利要求1所述的控制方法,其特征在于,在控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤中,所述第一部分的形态的变化完全复刻所述图像模型的形态的变化。
5.根据权利要求4所述的控制方法,其特征在于,所述第一部分的形态的变化完全复刻所述图像模型的形态的变化具体指:所述第一部分的形态的变化与所述图像模型的形态的变化具有完全相同的运动状态,所述完全相同的运动状态包括相同的运动轨迹和相同的运动速度。
6.根据权利要求1所述的控制方法,其特征在于,在控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤中,所述第一部分的形态的变化部分复刻所述图像模型的形态的变化。
7.根据权利要求6所述的控制方法,其特征在于,所述第一部分的形态的变化部分复刻所述图像模型的形态的变化具体指:所述第一部分的形态的变化与所述图像模型的形态的变化具有不完全相同的运动状态、但至少最终形态相同,所述不完全相同的运动状态包括运动轨迹不同或运动速度不同。
8.根据权利要求1所述的控制方法,其特征在于,控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤中,包括:
在检测到设置的调整模式是间歇调整模式时,检测是否获取到确认指令;
在获取到确认指令时,控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化。
9.根据权利要求1所述的控制方法,其特征在于,控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤中,包括:
在检测到设置的调整模式是连续调整模式时,控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化。
10.根据权利要求9所述的控制方法,其特征在于,所述第一部分的形态基本同步于所述图像模型的形态的变化而变化,或者所述第一部分的形态滞后于所述图像模型的形态的变化而变化。
11.根据权利要求9所述的控制方法,其特征在于,所述第一部分的形态的改变速度低于所述图像模型的形态的改变速度。
12.根据权利要求1所述的控制方法,其特征在于,所述操作指令集关联于所述图像模型在关节空间内的任务,根据所述操作指令集改变所述图像模型的形态的步骤中,包括:
解析所述操作指令集获得所述图像模型中的控制节点及其对应的具有方向性的关节运动量;
根据所述控制节点及其对应的所述关节运动量使得相应所述控制节点运动对应的所述关节运动量以改变所述图像模型的形态。
13.根据权利要求12所述的控制方法,其特征在于,所述关节运动量是增量关节运动量。
14.根据权利要求13所述的控制方法,其特征在于,所述操作指令集包括点击操作指令,解析所述操作指令集获得控制节点的对应的具有方向性的关节运动量的步骤中,包括:
解析所述点击操作指令获得点击位置和点击次数,及/或,解析所述点击操作指令获得点击位置和点击时长;
根据所述点击位置确定所述控制节点的运动方向,并根据所述点击次数及/或所述点击时长确定所述控制节点在相应方向上的所述增量关节运动量。
15.根据权利要求14所述的控制方法,其特征在于,所述控制方法还包括:
生成所述控制节点的运动副的可调方向的、用于被点击的图标,其中,所述点击位置落入所述图标上表示选择所述控制节点的运动方向,所述点击次数及/或所述点击时长表示设置所述控制节点在相应运动方向的增量关节运动量。
16.根据权利要求12所述的控制方法,其特征在于,所述关节运动量是目标关节运动量。
17.根据权利要求1所述的控制方法,其特征在于,所述任务运动量是增量任务运动量,所述增量任务运动量包括增量位置和增量姿态。
18.根据权利要求17所述的控制方法,其特征在于,所述操作指令集包括点击操作指令,解析所述操作指令集获得控制节点对应的任务运动量的步骤中,包括:
解析所述点击操作指令获得点击位置和点击次数,及/或,解析所述点击操作指令获得点击位置和点击时长;
根据所述点击位置确定所述控制节点的运动方向,并根据所述点击次数及/或所述点击时长确定所述控制节点在相应方向上的所述增量任务运动量。
19.根据权利要求18所述的控制方法,其特征在于,所述控制方法包括:
至少生成关联于所述控制节点的且包括X坐标轴、Y坐标轴及Z坐标轴的坐标图像,其中,所述点击位置落入相应所述坐标轴表示选择所述控制节点的运动方向,所述点击次数及/或所述点击时长表示设置所述控制节点在相应运动方向的所述增量位置。
20.根据权利要求19所述的控制方法,其特征在于,至少生成关联于所述控制节点的且包括X坐标轴、Y坐标轴及Z坐标轴的坐标图像的步骤中,还包括:
在所述坐标图像中生成关联于各所述坐标轴的可调方向的图标,其中,所述点击位置落入相应所述坐标轴表示选择所述控制节点的转动方向,所述点击次数及/或所述点击时长表示设置所述控制节点在相应运动方向的所述增量姿态。
21.根据权利要求1所述的控制方法,其特征在于,所述任务运动量是目标任务运动量。
22.根据权利要求1所述的控制方法,其特征在于,所述操作指令集包括模式配置指令,所述模式配置指令包括第一模式指令、第二模式指令、第三模式指令及第四模式指令中的一种以上,所述第一模式指令用于配置任务自由度为零任务自由度,所述第二模式指令用于配置任务自由度为位姿自由度,所述第三模式指令用于配置任务自由度为位置自由度,所述第四模式指令用于配置任务自由度为姿态自由度。
23.根据权利要求1所述的控制方法,其特征在于,所述控制节点为一个且所述控制节点是最远端的所述虚拟关节组件时,将所述图像模型中全部所述虚拟关节组件作为第一段虚拟臂体,进而根据所述任务自由度、所述控制节点的所述任务运动量控制所述第一段虚拟臂体中处于使能状态的所述虚拟关节组件联动使得所述控制节点运动对应的所述任务运动量以改变所述图像模型的形态。
24.根据权利要求1所述的控制方法,其特征在于,所述控制节点为一个且所述控制节点并非最远端的所述虚拟关节组件时,将所述控制节点近端的全部所述虚拟关节组件作为第一段虚拟臂体,将所述控制节点远端的全部所述虚拟关节组件作为第二段虚拟臂体,所述控制节点属于近端的一段虚拟臂体,进而根据所述任务自由度、所述控制节点的所述任务运动量控制所述第一段虚拟臂体中处于使能状态的所述虚拟关节组件联动使所述控制节点运动所述任务运动量、同时控制所述第二段虚拟臂体中处于使能状态的所述虚拟关节组件独立于所述第一段虚拟臂体中处于使能状态的所述虚拟关节组件联动实现所述任务自由度。
25.根据权利要求1所述的控制方法,其特征在于,所述控制节点为两个以上且其中一个是最远端的所述虚拟关节组件时,将全部所述虚拟关节组件划分成与所述控制节点数量相同的多段虚拟臂体,各所述控制节点仅属于相应所述控制节点近端侧的一段所述虚拟臂体,进而控制最远的一段所述虚拟臂体中处于使能状态的所述虚拟关节组件联动实现所述任务自由度约束下最远端的所述控制节点的所述任务运动量、同时控制其它段所述虚拟臂体中处于使能状态的所述虚拟关节组件分别联动使相应所述控制节点运动对应的任务运动量,其中,不同所述虚拟臂体的运动相对独立。
26.根据权利要求1所述的控制方法,其特征在于,所述控制节点为两个以上且均不是最远端的所述虚拟关节组件时,将全部所述虚拟关节组件划分成比所述控制节点数量多一个的多段虚拟臂体,各所述控制节点仅属于其相应所述控制节点近端侧的一段所述虚拟臂体,进而控制最远的一段所述虚拟臂体中处于使能状态的所述虚拟关节组件联动实现最远端的所述控制节点的所述任务自由度、同时控制其它段所述虚拟臂体中处于使能状态的所述虚拟关节组件分别运动使相应所述控制节点运动对应的任务运动量,其中,不同所述虚拟臂体的运动相对独立。
27.根据权利要求1或12所述的控制方法,其特征在于,能够被配置成使能状态的所述虚拟关节组件、及能够被配置成所述控制节点的所述虚拟关节组件对应于所述驱动臂中第一部分中的主动关节组件。
28.根据权利要求1所述的控制方法,其特征在于,获取所述图像模型的形态的变化的步骤之前,包括:
放大显示所述图像模型的至少部分。
29.根据权利要求1所述的控制方法,其特征在于,所述控制方法还包括:
生成具有用于切换所述图像模型显示角度的角度切换控件的用户界面,进而能够根据触发所述角度切换控件产生的角度切换指令切换所述图像模型的显示角度。
30.根据权利要求1所述的控制方法,其特征在于,所述图像模型能够被改变形态的部分对应于所述驱动臂中第一部分存在于所述手术机器人中图像末端器械的视野范围内的部分。
31.根据权利要求1所述的控制方法,其特征在于,所述图像模型包括计算机图像模型或者投影图像模型。
32.根据权利要求1所述的控制方法,其特征在于,
控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤之前,包括:
获取导致所述图像模型的形态发生变化的虚拟关节组件对应的关节变量;
对所述虚拟关节组件对应的所述关节变量分别进行运动平滑处理获得经运动平滑处理后的关节变量;
控制所述第一部分中相应真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化的步骤具体为:根据所述虚拟关节组件对应的经运动平滑处理后的所述关节变量控制所述第一部分中相应于所述虚拟关节组件的所述真实关节组件运动以使所述第一部分的形态跟随所述图像模型的形态的变化而变化,同时使得所述第一部分的运动连续。
33.根据权利要求32所述的控制方法,其特征在于,对所述虚拟关节组件对应的所述关节变量分别进行运动平滑处理获得经运动平滑处理后的关节变量的步骤在根据所述操作指令集改变所述图像模型的形态之前进行,以使得所述图像模型的运动连续,并使得所述第一部分的运动连续。
34.根据权利要求32所述的控制方法,其特征在于,对所述虚拟关节组件对应的所述关节变量分别进行运动平滑处理获得经运动平滑处理后的关节变量的步骤在根据所述操作指令集改变所述图像模型的形态之后进行,以仅使得所述第一部分的运动连续。
35.根据权利要求32所述的控制方法,其特征在于,所述运动平滑处理包括滤波处理及/或轨迹插补处理;所述运动连续包括运动位置连续、运动速度连续以及运动加速度连续中的一种以上。
36.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被配置为由处理器加载并执行实现如权利要求1~35任一项所述的控制方法的步骤。
37.一种手术机器人的控制装置,其特征在于,包括:
存储器,用于存储计算机程序;
及处理器,用于加载并执行所述计算机程序;
其中,所述计算机程序被配置为由所述处理器加载并执行实现如权利要求1~35任一项所述的控制方法的步骤。
38.一种手术机器人,其特征在于,包括:
驱动臂;
显示器,用于显示图像模型;
输入装置,用于操纵所述图像模型的形态发生变化;
以及控制器,所述控制器与所述驱动臂、所述显示器及所述输入装置耦接,并被配置成执行如权利要求1~35任一项所述的控制方法的步骤。
39.根据权利要求38所述的手术机器人,其特征在于,所述驱动臂包括机械臂及操作臂,所述操作臂近端装设于所述机械臂远端,所述末端器械装设于所述操作臂远端,所述第一部分是所述操作臂,或者,所述第一部分是所述机械臂和所述操作臂。
40.根据权利要求38所述的手术机器人,其特征在于,所述驱动臂包括机械臂、调整臂、操纵器及操作臂,所述调整臂近端装设于所述机械臂远端,所述操纵器近端装设于所述调整臂远端,所述操作臂近端装设于所述操纵器远端,所述末端器械装设于所述操作臂远端,所述第一部分是所述操作臂,或者,所述第一部分是所述操纵器和所述操作臂,或者,所述第一部分是所述机械臂、所述调整臂、所述操纵器和所述操作臂。
41.根据权利要求38所述的手术机器人,其特征在于,所述输入装置是运动输入设备、触摸屏、鼠标中的一种以上。
CN202011472821.7A 2020-12-15 2020-12-15 手术机器人及其控制装置、控制方法 Active CN112472298B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011472821.7A CN112472298B (zh) 2020-12-15 2020-12-15 手术机器人及其控制装置、控制方法
CN202210492894.5A CN114869480A (zh) 2020-12-15 2020-12-15 手术机器人及其控制装置、控制方法
PCT/CN2021/136165 WO2022127650A1 (zh) 2020-12-15 2021-12-07 手术机器人及其控制方法、控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011472821.7A CN112472298B (zh) 2020-12-15 2020-12-15 手术机器人及其控制装置、控制方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210492894.5A Division CN114869480A (zh) 2020-12-15 2020-12-15 手术机器人及其控制装置、控制方法

Publications (2)

Publication Number Publication Date
CN112472298A CN112472298A (zh) 2021-03-12
CN112472298B true CN112472298B (zh) 2022-06-24

Family

ID=74917747

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011472821.7A Active CN112472298B (zh) 2020-12-15 2020-12-15 手术机器人及其控制装置、控制方法
CN202210492894.5A Pending CN114869480A (zh) 2020-12-15 2020-12-15 手术机器人及其控制装置、控制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210492894.5A Pending CN114869480A (zh) 2020-12-15 2020-12-15 手术机器人及其控制装置、控制方法

Country Status (2)

Country Link
CN (2) CN112472298B (zh)
WO (1) WO2022127650A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112472298B (zh) * 2020-12-15 2022-06-24 深圳市精锋医疗科技股份有限公司 手术机器人及其控制装置、控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统
CN106584465A (zh) * 2017-01-22 2017-04-26 北京工业大学 平面4r欠驱动机械臂位姿控制方法
CN111300408A (zh) * 2020-02-06 2020-06-19 北京凡川智能机器人科技有限公司 一种结合形似与神似的仿人双臂机器人运动规划控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100484726C (zh) * 2006-05-12 2009-05-06 上海大学 基于虚拟现实机器人灵巧手遥操作平台
KR100956839B1 (ko) * 2008-02-28 2010-05-11 홍익대학교 산학협력단 다관절 로봇 시뮬레이션 제어프로그램 개발 장치
US11317971B2 (en) * 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
JP2015174185A (ja) * 2014-03-14 2015-10-05 三菱重工業株式会社 ロボットのシミュレーション装置及び方法、制御装置、及びロボットシステム
JP6586079B2 (ja) * 2014-03-28 2019-10-02 ソニー株式会社 アーム装置、及びプログラム
CN106527177B (zh) * 2016-10-26 2019-07-12 北京控制工程研究所 一种多功能一站式遥操作控制设计与仿真系统及方法
JP7091609B2 (ja) * 2017-04-14 2022-06-28 セイコーエプソン株式会社 シミュレーション装置、ロボット制御装置およびロボット
US11079897B2 (en) * 2018-05-24 2021-08-03 The Calany Holding S. À R.L. Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world
CN112057170B (zh) * 2019-09-10 2022-02-15 深圳市精锋医疗科技股份有限公司 手术机器人及其控制方法、控制装置
CN110464468B (zh) * 2019-09-10 2020-08-11 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
CN111390908B (zh) * 2020-03-26 2022-05-17 哈尔滨工业大学 一种基于网页的机械臂虚拟拖动方法
CN114831738A (zh) * 2020-10-08 2022-08-02 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法
CN112472298B (zh) * 2020-12-15 2022-06-24 深圳市精锋医疗科技股份有限公司 手术机器人及其控制装置、控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统
CN106584465A (zh) * 2017-01-22 2017-04-26 北京工业大学 平面4r欠驱动机械臂位姿控制方法
CN111300408A (zh) * 2020-02-06 2020-06-19 北京凡川智能机器人科技有限公司 一种结合形似与神似的仿人双臂机器人运动规划控制方法

Also Published As

Publication number Publication date
WO2022127650A1 (zh) 2022-06-23
CN112472298A (zh) 2021-03-12
CN114869480A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
KR102549728B1 (ko) 원격조작 의료 시스템 내의 온스크린 메뉴들을 위한 시스템들 및 방법들
KR102146708B1 (ko) 영-공간을 이용하여 매니퓰레이터 암들 사이의 충돌을 회피하는 시스템 및 방법
CN110236682B (zh) 用于对成像装置和输入控制装置重定中心的系统和方法
EP1973021B1 (en) Master-slave manipulator system
JP6087368B2 (ja) 関節器具に好適な姿勢を取らせるような命令をするように入力装置のオペレータを促す、入力装置での力フィードバックの適用
US20140194699A1 (en) Single port surgical robot and control method thereof
CN112618020B (zh) 手术机器人及其控制方法、控制装置
JP2020532383A (ja) 手術ロボットシステムのためのカメラ制御
EP4218652A1 (en) Surgical robot, and graphical control device and graphic display method therefor
WO2022126995A1 (zh) 手术机器人及其控制方法、控制装置
CN112587243A (zh) 手术机器人及其控制方法、控制装置
WO2022147935A1 (zh) 手术机器人及其引导手术臂移动的方法、控制装置
CN112472298B (zh) 手术机器人及其控制装置、控制方法
US20230019316A1 (en) System and method for assisting operator engagement with input devices
CN111991084A (zh) 手术机器人及其虚拟成像控制方法、虚拟成像控制装置
US20210401515A1 (en) Binding and non-binding articulation limits for robotic surgical systems
KR101114232B1 (ko) 수술 로봇 시스템 및 그 동작 제한 방법
WO2023023186A1 (en) Techniques for following commands of an input device using a constrained proxy
KR20110047929A (ko) 수술 로봇 시스템 및 그 동작 제한 방법
CN114828727A (zh) 计算机辅助手术系统、手术控制装置和手术控制方法
US10973595B2 (en) Device and method for controlling a system comprising an imaging modality
US20240111357A1 (en) Interaction between user-interface and master controller
CN116784984B (zh) 手术机器人系统
WO2024137772A1 (en) Systems and methods for inserting a robotic assembly into an internal body cavity
WO2024086122A1 (en) Controlling software remote centers of motion for computer-assisted systems subject to motion limits

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 2b1901, phase II, smart home, 76 Baohe Avenue, Baolong community, Baolong street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Jingfeng Medical Technology Co.,Ltd.

Address before: 518000 2b1901, phase II, smart home, 76 Baohe Avenue, Baolong community, Baolong street, Longgang District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN JINGFENG MEDICAL TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant