CN114652449A - 手术机器人及其引导手术臂移动的方法、控制装置 - Google Patents
手术机器人及其引导手术臂移动的方法、控制装置 Download PDFInfo
- Publication number
- CN114652449A CN114652449A CN202210284003.7A CN202210284003A CN114652449A CN 114652449 A CN114652449 A CN 114652449A CN 202210284003 A CN202210284003 A CN 202210284003A CN 114652449 A CN114652449 A CN 114652449A
- Authority
- CN
- China
- Prior art keywords
- instrument
- image
- field
- view
- target position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000000007 visual effect Effects 0.000 claims abstract description 80
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 22
- 230000007246 mechanism Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000002324 minimally invasive surgery Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3478—Endoscopic needles, e.g. for infusion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/71—Manipulators operated by drive cable mechanisms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/743—Keyboards
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/744—Mouse
Abstract
本发明涉及一种手术机器人及其引导手术臂移动的方法、控制装置。手术机器人具有多个操作臂,操作臂包括具有图像末端器械的相机臂和具有操作末端器械的手术臂,方法包括如下步骤:获取期望操作末端器械到达的目标位置;调节图像末端器械的视野向目标位置移动,并确保操作末端器械始终位于图像末端器械的视野以内。本发明的手术机器人可以减少甚至避免手术臂的操作末端器械在相机臂的图像末端器械提供的视野以外移动的问题,进而可确保手术安全。
Description
本申请是申请日为2021年1月6日提交中国专利局、申请号为CN202110011217.2、申请名称为“手术机器人及其引导手术臂移动的方法、控制装置”的分案申请,该案的全文以引用的方式并入本申请中。
技术领域
本发明涉及医疗器械领域,特别是涉及一种手术机器人及其引导手术臂移动的方法、控制装置。
背景技术
微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备在人体腔体内部施行手术的一种手术方式。相比传统手术方式微创手术具有创伤小、疼痛轻、恢复快等优势。
随着科技的进步,微创手术机器人技术逐渐成熟,并被广泛应用。手术机器人包括主操作台及从操作设备,从操作设备包括多个操作臂,这些操作臂包括具有图像末端器械的相机臂及具有操作末端器械的手术臂。主操作台包括显示器及手柄。医生在显示器显示的由相机臂提供的视野下操作手柄控制相机臂或手术臂运动。
通常,可以认位相机臂自身的移动、以及手术臂在相机臂的视野下的移动是安全的。然而,一些操作过程中,不可避免的会存在手术臂在相机臂的视野以外移动的情况,例如向患者腹腔内插入手术臂,或者从患者腹腔内撤出手术臂的情况,举例在插入或撤出手术臂时,通常通过医生的经验来进行盲插,由于医生经验不同,以及由于患者身体条件不同,这样凭经验操作容易引起意外情况的发生,因此是不安全的,期待尽量减少甚至避免在相机臂视野以外移动手术臂的操作。
发明内容
基于此,有必要提供一种可以减少甚至避免手术臂的操作末端器械在相机臂的图像末端器械提供的视野以外移动的问题,进而可确保手术安全的手术机器人及其引导手术臂移动的方法、控制装置。
一方面,本发明提供了一种手术机器人中引导手术臂移动的方法,所述手术机器人具有多个操作臂,所述操作臂包括具有图像末端器械的相机臂和具有操作末端器械的手术臂,所述方法包括如下步骤:获取期望所述操作末端器械到达的目标位置;调节所述图像末端器械的视野向所述目标位置移动,并确保所述操作末端器械始终位于所述图像末端器械的视野以内。
其中,在调节所述图像末端器械的视野向所述目标位置移动,并确保所述操作末端器械始终位于所述图像末端器械的视野以内的步骤之前,所述方法还包括:判断所述操作末端器械是否位于所述图像末端器械的视野以内;在所述操作末端器械没有位于所述图像末端器械的视野以内时,调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内;在所述操作末端器械位于所述图像末端器械的视野以内时,进入调节所述图像末端器械的视野向所述目标位置移动,并确保所述操作末端器械始终位于所述图像末端器械的视野以内的步骤。
其中,判断所述操作末端器械是否位于所述图像末端器械的视野以内的步骤包括:获取所述图像末端器械的视野内的操作图像;通过图像识别所述操作末端器械是否位于所述操作图像内而判断所述操作末端器械是否位于所述图像末端器械的视野内。
其中,判断所述操作末端器械是否位于所述图像末端器械的视野以内的步骤包括:获取所述操作末端器械的当前位置;转换所述图像末端器械的视野为位置范围;通过判断所述当前位置是否位于所述位置范围内而判断所述操作末端器械是否位于所述图像末端器械的视野内。
其中,调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内的步骤包括:获取所述操作末端器械的当前位置;根据所述操作末端器械的当前位置,通过改变所述图像末端器械的相机参数来调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内,所述相机参数包括视场角及/或景深。
其中,调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内的步骤包括:获取所述操作末端器械的当前位置;根据所述操作末端器械的当前位置,通过改变所述图像末端器械的位姿来调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内,所述位姿包括位置及/或姿态。
其中,调节所述图像末端器械的视野向所述目标位置移动的步骤包括:获取所述操作末端器械的当前位置;根据所述操作末端器械的当前位置和目标位置确定所述图像末端器械的视野的调节方向;根据所述调节方向以增量方式调节所述图像末端器械的视野向所述操作末端器械的目标位置移动。
其中,根据所述调节方向以增量方式调节所述图像末端器械的视野向所述操作末端器械的目标位置移动的步骤为:根据所述调节方向以逐步调节所述图像末端器械的视场角及/或景深的方式调节所述图像末端器械的视野向所述操作末端器械的目标位置移动。
其中,根据所述调节方向以增量方式调节所述图像末端器械的视野向所述操作末端器械的目标位置移动的步骤为:根据所述调节方向以逐步调节所述图像末端器械的位置及/或姿态的方式调节所述图像末端器械的视野向所述操作末端器械的目标位置移动。
其中,获取期望所述操作末端器械到达的目标位置的步骤包括:获取输入的操作模式,所述操作模式包括第一操作模式和第二操作模式,所述第一操作模式用于引导所述操作末端器械插入至目标位置,所述第二操作模式用于引导所述操作末端器械撤回至目标位置;根据获取到的所述操作模式确定期望所述操作末端器械到达的目标位置。
其中,在获取到的所述操作模式是第一操作模式时,根据获取到的所述操作模式确定期望所述操作末端器械到达的目标位置的步骤包括:获取所述图像末端器械的目标视野;根据所述目标视野确定期望所述操作末端器械到达的目标位置。
其中,被配置成执行所述第一操作模式的两个以上的所述操作末端器械具有不同的目标位置。
其中,被配置成执行所述第一操作模式的两个以上的所述操作末端器械具有不同的目标位置,并且所述不同的目标位置之间具有安全的距离。
其中,所述手术机器人包括穿刺器,所述穿刺器近端连接于所述手术机器人的远端、远端用于插入并固定于切口处,所述穿刺器用于引导所述手术臂通过所述切口插入人体,在获取到的所述操作模式是第二操作模式时,根据获取到的所述操作模式确定期望所述操作末端器械到达的目标位置的步骤为:获取与所述穿刺器关联的关联点的位置以作所述目标位置。
其中,作为所述目标位置的关联于所述穿刺器的关联点位于所述穿刺器上,或者位于所述穿刺器的轴的延长线上且位于所述穿刺器远端侧。
其中,所述图像末端器械与所述目标位置之间具有安全的距离。
其中,所述方法包括:获取所述操作末端器械的当前位置;在所述操作末端器械从所述当前位置基本移动到所述目标位置时,调节所述图像末端器械的视野恢复成初始视野,所述初始视野指所述图像末端器械最初的濒临向所述目标位置进行调节之前的视野。
其中,调节所述图像末端器械的视野向所述目标位置移动的步骤包括:实时记录所述图像末端器械的视野向所述目标位置移动过程中对应时刻的相机参数及位姿的变化;调节所述图像末端器械的视野恢复成初始视野的步骤包括:根据视野调整方式将所述图像末端器械的视野逐步调整以恢复成所述初始视野,所述视野调整方式为将后一时刻的相机参数及位姿调整为相邻的前一时刻的相机参数及位姿的调整方式。
其中,调节所述图像末端器械的视野向所述目标位置移动的步骤中,包括:获取并记录所述图像末端器械的当前视野所对应的相机参数及位姿;进而在调节所述图像末端器械的视野恢复成初始视野的步骤中,根据记录的所述图像末端器械的当前视野所对应的相机参数及位姿直接将所述图像末端器械的视野恢复成所述初始视野。
其中,所述方法包括:在所述操作末端器械没有位于所述图像末端器械的视野以内时,禁止所述操作末端器械移动。
其中,所述方法还包括:检测是否获取到启动指令;在获取到所述启动指令时,判断所述操作末端器械是否位于所述图像末端器械的视野以内。
其中,所述手术机器人包括用于安装及驱动所述操作臂的动力机构,所述启动指令由所述手术臂安装至所述动力机构时被触发产生。
其中,所述方法包括:获取所述图像末端器械的视野的可达区间,所述视野的可达区间指全部视野的空间集合;获取所述操作末端器械的当前位置;判断所述操作末端器械的当前位置是否位于所述图像末端器械的视野的可达区间;在所述操作末端器械的当前位置位于所述图像末端器械的视野的可达区间时,进入调节所述图像末端器械的视野向所述目标位置移动的步骤。
其中,在确保所述操作末端器械始终位于所述图像末端器械的视野以内的条件下,所述图像末端器械随着所述操作末端器械的移动而同步移动。
其中,在确保所述操作末端器械始终位于所述图像末端器械的视野以内的条件下,所述图像末端器械随着所述操作末端器械的移动而滞后移动。
其中,令各相邻时刻的所述图像末端器械的视野分别为第一视野和第二视野,所述第一视野和所述第二视野之间具有重叠区域,限定所述操作末端器械途经所述重叠区域向所述目标位置移动。
其中,所述方法包括:在所述操作末端器械移动时,控制所述操作末端器械基本沿着其当前位置向所述目标位置的方向直线移动。
其中,所述方法包括:计算所述操作末端器械的移动方向与所述操作末端器械的当前位置和目标位置之间的连接线的偏离角;在所述偏离角达到偏离阈值时,至少产生阻碍所述操作末端器械在偏离方向上移动的阻力。
其中,所述阻力的大小与所述偏离角的大小呈正相关。
另一方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被配置为由处理器加载并执行实现如上述任一项实施例所述的方法的步骤。
另一方面,本发明提供了一种手术机器人的控制装置,包括:存储器,用于存储计算机程序;及处理器,用于加载并执行所述计算机程序;其中,所述计算机程序被配置为由所述处理器加载并执行实现如上述任一项实施例所述的方法的步骤。
另一方面,本发明提供了一种手术机器人,包括:操作臂,具有图像末端器械的相机臂和具有操作末端器械的手术臂;以及控制器,所述控制器与所述操作臂耦接,并被配置成执行如上述任一项实施例所述的控制方法的步骤。
本发明的手术机器人及其引导手术臂移动的方法、控制装置,具有如下有益效果:
在操作末端器械位于图像末端器械的视野以内时,通过调节图像末端器械的视野向目标位置移动,并确保操作末端器械始终位于该图像末端器械的视野以内的方式,能够利用图像末端器械向该目标位置移动的视野逐渐地引导操作末端器械向该目标位置移动,以确保手术臂的操作末端器械始终处于可观察状态,进而可以保证手术的安全性及可靠性。
附图说明
图1为本发明手术机器人一实施例的结构示意图;
图2为图1所示手术机器人一实施例的局部示意图;
图3为手术机器人的控制方法一实施例的流程图;
图4为手术机器人中操作臂与动力部的结构示意图;
图5为手术机器人中引导手术臂移动的方法的流程图;
图6为手术机器人中引导手术臂移动的方法一实施例的原理示意图;
图7~图10为手术机器人中引导手术臂移动的方法一实施例的流程图;
图11~图20分别为手术臂中操作末端器械的引导状态一实施例的示意图;
图21~图25为手术机器人中引导手术臂移动的方法一实施例的流程图;
图26为本发明一实施例的手术机器人的控制装置的结构示意图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是,本发明可以以许多不同的形式来实现,并不限于本发明所描述的实施方式。相反地,提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
需要说明的是,当元件被称为“设置于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。当一个元件被认为是“耦接”另一个元件,它可以是直接耦接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的,并不表示是唯一的实施方式。本发明所使用的术语“远端”、“近端”作为方位词,该方位词为介入医疗器械领域惯用术语,其中“远端”表示手术过程中远离操作者的一端,“近端”表示手术过程中靠近操作者的一端。本发明所使用的术语“第一/第二”等表示一个部件以及一类具有共同特性的两个以上的部件。
除非另有定义,本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。本发明中所使用的术语“各”包括一个或两个以上。
如图1至图2所示,其分别为本发明手术机器人一实施例的结构示意图,及其局部示意图。
手术机器人包括主操作台2及由主操作台2控制的从操作设备3。主操作台2具有运动输入设备21及显示器22,医生通过操作运动输入设备21向从操作设备3发送控制命令,以令从操作设备3根据医生操作运动输入设备21的控制命令执行相应操作,并通过显示器22观察手术区域。其中,从操作设备3具有驱动臂,驱动臂具有机械臂30及可拆卸地装设于机械臂30远端的一个以上的操作臂31。机械臂30包括依次连接的基座及连接组件,连接组件具有多个关节组件。操作臂31包括依次连接的连杆32、连接组件33及末端器械34,其中,连接组件33具有多个关节组件,通过调节操作臂31的关节组件调节末端器械34的姿态;末端器械34具有图像末端器械34A及操作末端器械34B。图像末端器械34A用于采集视野内的图像,显示器22用于显示该图像。操作末端器械34B用于执行手术操作如剪切、缝合。本文令具有图像末端器械34A的操作臂为相机臂31A,并令具有操作末端器械34B的操作臂为手术臂31B。
图1展示的手术机器人为单孔手术机器人,各操作臂31通过装设于机械臂30远端的同一个穿刺器4插入至患者体内。在单孔手术机器人中,医生一般仅对操作臂31进行控制以完成基本手术操作。此时,单孔手术机器人的操作臂31应当同时具有位置自由度(即定位自由度)和姿态自由度(即定向自由度),以实现在一定范围内位姿的变化,例如操作臂31具有水平移动自由度x、竖直移动自由度y,自转自由度α、俯仰自由度β及偏航自由度γ,操作臂31还可以在机械臂30远端关节组件即动力机构301的驱动下实现前后移动自由度z(即进给自由度),此外,一些实施例中,还可以为操作臂31设置冗余自由度以实现更多功能的可能性,例如,在上述可实现6自由度的前提下,额外再设置一个、两个甚至更多个自由度。例如,动力机构301具有导轨和滑动设置于导轨上的动力部,操作臂31可拆卸的装设于动力部上,一方面,动力部在导轨上的滑动提供操作臂31前后移动自由度z,另一方面,动力部为操作臂31的关节组件提供动力实现其余5个自由度(即[x,y,α,β,γ])。
手术机器人还包括控制器。控制器可以集成于主操作台2,也可以集成于从操作设备3。当然,控制器也可以独立于主操作台2和从操作设备3,其例如可部署在本地,又例如控制器可以部署在云端。其中,控制器可以由一个以上的处理器构成。
手术机器人还包括输入部。输入部可以集成于主操作台2。输入部也可以集成于从操作设备3。当然,输入部也可以独立于主操作台2和从操作设备3。该输入部例如可以是鼠标、键盘、语音输入装置、触摸屏。一实施例中,采用触摸屏作为输入部,触摸屏例如可以设置于主操作台2的扶手上。
操作臂31还包括感应关节组件的关节变量的传感器。这些传感器包括感应关节组件转动运动的角度传感器及感应关节组件线性运动的位移传感器,具体可根据关节组件的类型来配置适应的传感器。
控制器与这些传感器耦接,并与输入部及显示器22耦接。
示例性的,如图3所示,操作臂31的驱动盒310抵接于动力机构301的动力部302的抵接面装设有存储单元311,相应在动力部302抵接于驱动盒310的抵接面装设有与存储单元311配套的读取单元303,该读取单元303与控制器耦接,操作臂31装设于动力部302时,读取单元303与存储单元311通讯,读取单元303从存储单元311中读取相关信息。该存储单元311例如是存储器、电子标签。存储单元例如存储有操作臂的类型、操作臂可被配置成目标部位的部位、操作臂的运动学模型等。例如,相机臂31A的存储单元311中还额外的存储有相机参数。
如图4所示,其为本发明手术机器人一实施例的结构示意图,更具体地,图4所展示的是多孔手术机器人一实施例的结构示意图。图4所示的多孔手术机器人与图1所示的单孔手术机器人之间的区别主要存在于两者的从操作设备之间的区别。图4所示的多孔手术机器人中从操作设备的驱动臂具有依次连接的机械臂110、调整臂120、操纵器130及操作臂150。调整臂120、操纵器130及操作臂150数量相同且均为两个以上,例如四个,机械臂110远端具有定向平台,调整臂120近端均连接于定向平台,操纵器130近端连接于调整臂120远端。操纵器130用于可拆卸地连接操作臂150,操纵器130具有多个关节组件。其中,每个操纵器130均具有一个动力机构,操作臂150安装于该动力机构上并由该动力机构进一步驱动。在多孔手术机器人中,不同操作臂150通过不同的穿刺器插入患者体内,多孔手术机器人的操作臂150相较于单孔手术机器人的操作臂31而言,一般具有较少的自由度,通常,操作臂150仅具有姿态自由度(即定向自由度),当然其姿态的变化一般也对位置产生影响,但因为影响较小某些场景下可以被忽略。操作臂150的位置的变化通常可以由操纵器130辅助实现,由于操纵器130与操作臂150联动实现位姿变化,可以将这两者认为是操纵器组件,与单孔手术机器人中操作臂31相当。
根据配置,运动输入设备21可以输入包括位置指令及姿态指令的位姿指令以控制驱动臂中第一部分远端位姿的变化。该第一部分远端通常指末端器械,此外,该第一部分远端还可以指与末端器械相连接的一个关节组件,末端器械位姿的变化通常与该关节组件位姿的变化是一致的。
在图1所示的手术机器人中,驱动臂包括机械臂及操作臂,操作臂近端装设于机械臂远端,末端器械装设于操作臂远端。根据配置,第一部分可被配置成是操作臂;或者,第一部分可被配置成是机械臂和操作臂的整体。
而相应在图4所示的手术机器人中,驱动臂包括机械臂、调整臂、操纵器及操作臂,调整臂近端装设于机械臂远端,操纵器近端装设于调整臂远端,操作臂近端装设于操纵器远端,末端器械装设于操作臂远端。根据配置,第一部分可被配置成是操作臂;或者,第一部分可被配置成是操纵器和操作臂的整体;或者,第一部分可被配置成是机械臂、调整臂、操纵器和操作臂的整体。
可理解的,无论是图1所示的单孔手术机器人还是图4所示的多孔手术机器人,机械臂通常用于大范围调节末端器械的位姿,操作臂用于精细调节末端器械的位姿,例如,手术前通过机械臂等摆位,手术中主要通过控制操作臂实施手术。当然,一些实施例中,也可以结合机械臂及操作臂等相应臂体结构一起协同运动实现特定功能。根据配置,末端器械中的一个以上可以被配置成受控末端器械以接受运动输入设备的控制。
一实施例中,本发明提供了一种手术机器人中引导手术臂移动的方法,该方法可以由控制器执行,可适用于多种类型的手术机器人使用。如图5所示,该方法包括如下步骤:
步骤S11,获取期望操作末端器械到达的目标位置。
本发明所涉及的不同对象的位置及姿态均基于同一参考坐标系来进行描述,这些不同对象包括但不限于相机臂的图像末端器械及手术臂的操作末端器械。这里的参考坐标系包括但不限于手术机器人的基坐标系,例如,还可以是根据该基坐标系换算得到的其它可作为参考的坐标系,例如主操作台的坐标系。
该目标位置既可以是当前位于图像末端器械的视野以内的位置,也可以是当前并没有位于图像末端器械的视野以内的位置,其具体可以根据手术过程中的需求来进行确定。
步骤S12,调节图像末端器械的视野向目标位置移动,并确保操作末端器械始终位于图像末端器械的视野以内。
操作末端器械位于图像末端器械的视野以内是执行该步骤S12的前提。也即,在操作末端器械位于图像末端器械的视野以内时,调节图像末端器械的视野向目标位置移动,并确保操作末端器械始终位于图像末端器械的视野以内。
该步骤S12中,调节图像末端器械的视野向目标位置移动可以是响应于操作末端器械向目标位置移动而进行的。较佳的,调节图像末端器械的视野向目标位置移动是响应于操作末端器械在图像末端器械的视野以内向目标位置的移动而进行的。操作末端器械始终位于图像末端器械的视野以内例如可以是该操作末端器械的局部如其尖端或中端或尾端上的一个或多个点始终位于图像末端器械的视野以内,又或者是该操作末端器械的整体始终位于图像末端器械的视野以内。
举例而言,如图6所示,图像末端器械的视野从操作末端器械的当前位置移动到目标位置时,假设经历了视野0、视野1、视野2…视野n-1、视野n,操作末端器械的移动位置经历了位置P0、P1、P2…Pn-1、Pn。其中,P0、P1位于视野0,P1、P2位于视野1…Pn-1、Pn位于视野n。可见,操作末端器械始终处于图像末端器械的视野以内进行移动。整个过程中,一方面,图像末端器械的视野不断逼近该目标位置,另一方面,操作末端器械也不断逼近该目标位置,直至图像末端器械的视野达到目标位置且操作末端器械也被引导至目标位置。
通过上述步骤S11~步骤S12,即在操作末端器械位于图像末端器械的视野以内时,通过调节图像末端器械的视野向目标位置移动,并确保操作末端器械始终位于该图像末端器械的视野以内的方式,能够利用图像末端器械向该目标位置移动的视野逐渐地引导操作末端器械向该目标位置移动,以确保手术臂的操作末端器械始终处于可观察状态,进而可以保证手术的安全性及可靠性。
在进行步骤S12之前,继续参阅图5,具体在调节图像末端器械的视野向目标位置移动的步骤之前,可以包括:
步骤S13,判断操作末端器械是否位于图像末端器械的视野以内。
如果操作末端器械位于图像末端器械的视野以内,则进入步骤S12;而如果操作末端器械没有位于图像末端器械的视野以内,则进入步骤S14。该步骤S14为:调节图像末端器械的视野以使操作末端器械位于图像末端器械的视野以内。
关于上述步骤S13,即判断操作末端器械是否位于图像末端器械的视野以内具有多种方法,本发明示例了两种方法来实现该步骤S13。
一实施例中,如图7所示,该步骤S13可以包括:
步骤S131,获取图像末端器械的视野内的操作图像。
步骤S132,通过图像识别操作末端器械是否位于操作图像内而判断操作末端器械是否位于图像末端器械的视野内。
在该步骤S132中,如果识别出操作末端器械存在于操作图像内,则判断出操作末端器械位于图像末端器械的视野内;而如果识别出操作末端器械没有存在于操作图像内,则判断出操作末端器械没有位于图像末端器械的视野内。
为了更好地进行图像识别,可以训练神经网络来进行图像识别。例如,所训练的神经网络可以是卷积神经网络。
另一实施例中,如图8所示,该步骤S13还可以包括:
步骤S131’,获取操作末端器械的当前位置。
该操作末端器械的当前位置可以结合手术臂的运动学模型及由手术臂中各关节组件的关节变量以利用正运动学计算获得。这些关节变量可以由相应关节组件处的传感器检测得到。在其它实施方式中,在图像末端器械例如为立体视觉的图像末端器械时,还可以通过调节该立体视觉的图像末端器械先扫描并识别出该操作末端器械的当前位置,例如通过识别出该操作末端器械相对于图像末端器械的位置,进而可通过坐标系转换确定该操作末端器械在参考坐标系的当前位置。
步骤S132’,转换图像末端器械的视野为位置范围。
视野是一个区域,其实际具有边界,因此可以转换成例如参考坐标系的位置范围。
步骤S133’,通过判断当前位置是否位于位置范围内而判断操作末端器械是否位于图像末端器械的视野内。
在该步骤S133’中,如果操作末端器械的当前位置位于图像末端器械的视野所对应的位置范围内,则判断出操作末端器械位于图像末端器械的视野内;而如果操作末端器械的当前位置没有位于图像末端器械的视野所对应的位置范围内,则判断出操作末端器械没有位于图像末端器械的视野内。
一些实施例中,该两种方式可以相互结合以互相印证操作末端器械是否位于图像末端器械的视野内。例如,当通过图像识别判断出的结果和通过位置检测判断出的结果不一致时,为了安全,可以先停止调节图像末端器械的视野,并在获取到医生的确认指令之后才继续调节图像末端器械的视野。该过程也可以用于校准图像识别的神经网络以提高其判断的准确度。
上述步骤S132,即调节图像末端器械的视野以使操作末端器械位于图像末端器械的视野以内的步骤也可以通过多种方式来实现。
一实施例中,如图9所示,该步骤S132可以包括:
步骤S1321,获取操作末端器械的当前位置。
步骤S1322,根据操作末端器械的当前位置,通过改变图像末端器械的相机参数来调节图像末端器械的视野以使操作末端器械位于图像末端器械的视野以内。
其中,相机参数包括视场角及/或景深。如果预先计算出仅调节相机参数即可同时覆盖操作末端器械的当前位置和目标位置,就可以采用该方式,使得可以保持图像末端器械的位姿。
另一实施例中,如图10所示,该步骤S132还可以包括:
步骤S1321’,获取操作末端器械的当前位置。
步骤S1322’,根据操作末端器械的当前位置,通过改变图像末端器械的位姿来调节图像末端器械的视野以使操作末端器械位于图像末端器械的视野以内。
其中,位姿包括位置及/或姿态。如果预先计算出仅调节图像末端器械的位姿即可覆盖操作末端器械的当前位置到目标位置之间的区域,就可以采用该方式,使得可以保持图像末端器械的相机参数。
以多孔手术机器人为例,请参阅图11至图13。假设如图11所示,相机臂的图像末端器械的当前位置为B0,手术臂的操作末端器械的当前位置为A0,B0的视野为目标视野,A0位于该目标视野以外。一实施例中,可如图12所示,保持图像末端器械的当前位置B0不变,通过调节图像末端器械的相机参数如视场角以调节视野,使得A0落入调节后的视野以内。一实施例中,可如图13所示,保持图像末端器械的相机参数不变,通过调节图像末端器械的位姿如位置为B1以调节视野,使得A0落入调节后的视野以内。
当然,这对于单孔手术机器人也是适用的,请参阅图14至图16。假设如图14所示,相机臂的图像末端器械的当前位置为B0,手术臂的操作末端器械的当前位置为A0,B0的视野为目标视野,A0位于该目标视野以外。一实施例中,如图15所示,保持图像末端器械的相机参数不变,通过调节图像末端器械的位姿如位置为B1以调节视野,使得A0落入调节后的视野以内;如图16所示,同样保持图像末端器械的相机参数不变,通过调节图像末端器械的位姿为B1以调节视野,使得A0落入调节后的视野以内。当然,一些情况下,也可以保持图像末端器械的当前位置B0不变,通过调节图像末端器械的相机参数如视场角以调节视野,使得A0落入调节后的视野以内,图未示意。
如图12和图13所示,在图像末端器械的视野包括操作末端器械的当前位置和目标位置时,可以保持图像末端器械的视野不变,直接根据该视野引导操作末端器械从当前位置移动到目标位置。
如图15所示,在图像末端器械的视野没有包括操作末端器械的目标位置时,可以如图17所示,保持图像末端器械的视野不变,根据该视野先引导操作末端器械从A0移动到A1,再如图18所示,保持操作末端器械的位置,通过调节图像末端器械的位置向目标位置移动(移动到位置B2)并确保操作末端器械位于其视野内而调节视野向目标位置移动,然后再根据该视野先引导操作末端器械移动,周期性操作直至操作末端器械到达目标位置。
或者如图16所示,在图像末端器械的视野没有包括操作末端器械的目标位置时,可以如图19所示,保持图像末端器械的视野不变,根据该视野先引导操作末端器械从A0移动到A1,再如图20所示,保持操作末端器械的位置,通过调节图像末端器械的位置和姿态向目标位置移动(移动到位姿B2)并确保操作末端器械位于其视野内而调节视野向目标位置移动,然后再根据该视野先引导操作末端器械移动,周期性操作直至操作末端器械到达目标位置。
图11至图20示意了手术臂插入操作的实施例,当然,这些方法或原理即使对于手术臂撤回操作也是适用的。
一些实施例中,该两种方式也可以相互结合来共同调节图像末端器械的视野以更好地向操作末端器械的当前位置及/或目标位置移动以使当前位置及/或目标位置能够落入图像末端器械的视野内。例如,可以优先调节图像末端器械的位姿;又例如,可以优先调节图像末端器械的相机参数。优先调节的对象(即图像末端器械的位姿及相机参数)可以根据医生输入的指令来进行配置。例如,优先调节对象是图像末端器械的位姿时,将会尽量调节图像末端器械的位姿以使其视野向操作末端器械的当前位置及/或目标位置移动,如果移动达到极限时图像末端器械的视野还未覆盖操作末端器械的当前位置及/或目标位置,则辅以调节图像末端器械的相机参数来使得图像末端器械的视野覆盖操作末端器械的当前位置及/或目标位置。优先调节对象是图像末端器械的相机参数时,将会尽量调节图像末端器械的相机参数以使其视野向操作末端器械的当前位置及/或目标位置移动,如果移动达到极限时图像末端器械的视野还未覆盖操作末端器械的当前位置及/或目标位置,则辅以调节图像末端器械的位姿来使得图像末端器械的视野覆盖操作末端器械的当前位置及/或目标位置。
一些实施例中,即使仅是调节图像末端器械的位姿,也可以为其设定优先级,例如,可以优先调节姿态;又例如,可以优先调节位置。相似的,即使仅是调节图像末端器械的相机参数,也可以为其设定优先级,例如,可以优先调节视场角;又例如,可以优先调节景深。优先调节的对象(即位姿中的姿态及位置,及/或相机参数中的视场角及景深)同样可以根据医生输入的指令来进行配置。
一些实施例中,可以配置多层次优先级来调节图像末端器械的视野,并根据配置的优先级逐级调节图像末端器械的相应参数以对实现视野的调节,直至视野可以覆盖操作末端器械的当前位置及/或目标位置。例如,第一层次的优先级为调节图像末端器械的位姿,第二层次的优先级为调节图像末端器械的位姿中的姿态,第三层次的优先级为调节图像末端器械的相机参数中的视场角。假设结合对图像末端器械的位姿及相机参数的调节可以达到操作末端器械的当前位置及/或目标位置,其整个工作过程大致为:
先调节图像末端器械的姿态达到视野可达极限;
如果此时视野可覆盖操作末端器械的当前位置及/或目标位置,调节完成;如果此时视野不能覆盖操作末端器械的当前位置及/或目标位置,再调节图像末端器械的位置达到视野可达极限;
如果此时视野可覆盖操作末端器械的当前位置及/或目标位置,调节完成;如果仍不能覆盖操作末端器械的当前位置及/或目标位置,进一步调节图像末端器械的视场角达到视野可达极限;
如果此时视野可覆盖操作末端器械的当前位置及/或目标位置,调节完成;如果此时视野不能覆盖操作末端器械的当前位置及/或目标位置,再调节图像末端器械的景深达到视野可达极限,此时视野应该能够覆盖操作末端器械的当前位置及/或目标位置。
一实施例中,如图21所示,上述步骤S12,即调节图像末端器械的视野向目标位置移动的步骤包括:
步骤S121,获取操作末端器械的当前位置。
步骤S122,根据操作末端器械的当前位置和目标位置确定图像末端器械的视野的调节方向。
该调节方向与根据操作末端器械的当前位置和目标位置规划的路径上的途经点始终相切。例如,该规划的路径为连接该当前位置与目标位置的直线时,该调节方向即为直线的延伸方向,更具体为当前位置向目标位置的方向。
步骤S123,根据调节方向以增量方式调节图像末端器械的视野向操作末端器械的目标位置移动。
在该步骤S123中,可以对图像末端器械的视野的移动进行约束。例如,约束上述的某个途经点应当位于图像末端器械的视野中的某个位置,例如位于该视野的中心或者与该视野具有特定位置关系的某点处。例如,还可以对图像末端器械的视野的移动进行其它方面的约束。例如,约束图像末端器械的视野移动后的、与该视野具有特定位置关系的某点与实时更新的操作末端器械的当前位置在特定方向上保持特定距离。
一实施例中,还可以令各相邻时刻的图像末端器械的视野分别为第一视野和第二视野,并约束第一视野和第二视野之间具有重叠区域,限定操作末端器械途经重叠区域向目标位置移动,这样能够保证操作末端器械始终位于视野内。
其中,该步骤S123可以根据调节方向以逐步调节图像末端器械的视场角及/或景深的方式调节图像末端器械的视野向操作末端器械的目标位置移动。此外,该步骤S123还可以根据调节方向以逐步调节图像末端器械的位置及/或姿态的方式调节图像末端器械的视野向操作末端器械的目标位置移动。当然,两者也可以相互结合使用,具体可以参照前文的调节图像末端器械的视野以使操作末端器械位于图像末端器械的视野以内的实施例所记载的方案,此处不再重复赘述。
通常,不同的操作需求对应具有不同的操作末端器械的目标位置。一实施例中,如图22所示,上述步骤S11,即获取期望操作末端器械到达的目标位置的步骤包括:
步骤S111,获取输入的操作模式。
其中,操作模式包括但不限于第一操作模式和第二操作模式,例如,第一操作模式用于引导操作末端器械插入至目标位置,其适用场景包括但不限于手术前将手术臂从患者体外插入体内的场景;第二操作模式用于引导操作末端器械撤回至目标位置,其适用场景包括但不限于手术过程中更换手术臂、手术结束时收回手术臂的场景。
步骤S112,根据获取到的操作模式确定期望操作末端器械到达的目标位置。
一实施例中,在获取到的操作模式是第一操作模式时,如图23所示,上述步骤S112,即根据获取到的操作模式确定期望操作末端器械到达的目标位置的步骤包括:
步骤S1121,获取图像末端器械的目标视野。
该目标视野例如可以根据医生对某一时刻对应的视野的确认而将被确认的视野作为目标视野,手术通常在该目标视野下实施。例如,医生在手术前通常先向患者体内插入相机臂,利用相机臂的图像末端器械观察并确定合适于手术实施的视野,在接收到由医生触发的确认指令后,将对应于确认指令产生时刻所对应的视野作为上述的目标视野。
步骤S1122,根据目标视野确定期望操作末端器械到达的目标位置。
该目标位置是与目标视野具有特定位置关系的一个点。该目标位置举例为包括但不限于目标视野的中心,或者偏离于目标视野的中心且与手术臂的连杆的延伸方向相交的某一点。该目标位置例如在图11和图14中为目标视野中的点M,其中,图11中,示例了点M非目标视野的中心,图14中示意了点M为目标视野的中心。
一实施例中,被配置成执行第一操作模式的两个以上的操作末端器械具有不同的目标位置,进一步地,不同目标位置之间通常具有安全的距离,以避免操作末端器械之间的碰撞。例如,这些目标位置中,可以允许其中一个为目标视野的中心点,其余为目标视野的中心以外的某个特定点。
一实施例中,当需要引导至目标位置的操作末端器械为两个以上时,通常可以逐个进行引导,也即引导完成一个操作末端器械到达目标位置后,再引导另外的一个操作末端器械到达目标位置,直至全部操作末端器械均被引导到目标位置。
手术机器人包括穿刺器,穿刺器近端可拆卸地连接于手术机器人的远端、远端插入并固定于切口处,穿刺器用于引导手术臂通过切口插入人体。一实施例中,在获取到的操作模式是第二操作模式时,上述步骤S112,即根据获取到的操作模式确定期望操作末端器械到达的目标位置的步骤可以为:获取与穿刺器关联的某一点的位置以作目标位置。其中,作为目标位置的关联于穿刺器的点可以位于穿刺器上,也可以位于穿刺器的轴的延长线上且位于穿刺器的远端侧,穿刺器通常具有筒状的插入部,这里的轴通常指该插入部的中心轴。
上述实施例中,图像末端器械与目标位置之间具有安全的距离,以防止图像末端器械与操作末端器械之间发生碰撞。
一些实施例中,如图24所示,本发明的方法还可以包括:
步骤S141,获取操作末端器械的当前位置。
步骤S142,在操作末端器械从当前位置基本移动到目标位置时,调节图像末端器械的视野恢复成初始视野。
其中,操作末端器械从当前位置是否基本移动到目标位置可以由系统自动判断,也可以由医生判断。例如,系统自动判断情况下,在该当前位置(实时更新的)与目标位置之间的偏差小于偏差阈值时,系统可判断该当前位置基本到达目标位置。此外,医生的判断通常应当是有条件的,例如,在该当前位置与目标位置之间的偏差小于偏差阈值时,获取的由医生输入的关联于该当前位置基本到达目标位置的确认指令才被认位是有效的;或者,只有在该当前位置与目标位置之间的偏差小于偏差阈值时,系统才允许医生输入上述的确认指令,这样的设计可以起到前置判断的作用。
该初始视野指图像末端器械初次被调节前一时刻的视野。例如,对于执行第一操作模式的操作末端器械而言,该初始视野是由医生确认的目标视野。对于执行第二操作模式的操作末端器械而言,该初始视野同样可以是由医生确认的目标视野。
在上述步骤S142中,可以用多种方式实现调节图像末端器械恢复成初始视野的目的。
一实施方式中,在执行上述步骤S12,即调节图像末端器械的视野向目标位置移动的步骤中,包括:实时记录图像末端器械的视野向目标位置移动过程中对应时刻图像末端器械的相机参数及其位姿的变化。进而在上述步骤S142中,即调节图像末端器械的视野恢复成初始视野的步骤中,根据记录的图像末端器械的对应时刻的相机参数及位姿反向逐步将图像末端器械的视野恢复成初始视野。
假设从T0时刻到Tn时刻,对应时刻调节图像末端器械的视野的指令参数如下表所示:
时刻 | T0 | T1 | T2 | T3 | … | Tn |
指令参数 | C0 | C1 | C2 | C3 | … | Cn |
其中,T0为图像末端器械的视野开始向目标位置移动前的时刻,Tn为图像末端器械的视野达到目标位置的时刻,T0~Tn之间的时刻为中间时刻,C0~Cn为对应T0~Tn时刻的指令参数。其中,指令参数包括相机参数和位姿中的一种以上,具体根据调节图像末端器械的视野的方式而确定。其中,通过指令参数C0可以获取得到初始视野。
一实施例中,可以根据视野调整方式将图像末端器械的视野逐步调整以恢复成初始视野,视野调整方式为将后一时刻的相机参数及位姿调整为相邻的前一时刻的相机参数及位姿的调整方式,这里的相邻可以是连续相邻或者间隔相邻。例如,可以反向执行Tn~T0时刻所对应的全部指令参数Cn~C0以将图像末端器械的视野恢复成初始视野。又例如,可以反向执行Tn~T0时刻中的部分时刻所对应的指令参数以将图像末端器械的视野恢复成初始视野,例如,执行Tn、T3、T0时刻对应的指令参数Cn、C3、C0以将图像末端器械的视野恢复成初始视野。该方式简单快速。
另一实施方式中,在执行上述步骤S12,即调节图像末端器械的视野向目标位置移动的步骤中,包括:获取并记录图像末端器械的当前视野所对应的相机参数及位姿。进而在上述步骤S142,即调节图像末端器械的视野恢复成初始视野的步骤中,根据记录的图像末端器械的当前视野所对应的相机参数及位姿直接将图像末端器械的视野恢复成初始视野。也即,参考上表各时刻对应的指令参数,可以直接执行T0时刻对应的指令参数C0即可将图像末端器械的视野恢复成初始视野。该方式更加简单快速。
一些实施例中,如图25所示,本发明的方法还可以包括:
步骤S151,判断操作末端器械是否位于图像末端器械的视野以内。
步骤S152,在操作末端器械没有位于图像末端器械的视野以内时,禁止操作末端器械移动。
通过上述步骤S151~步骤S155,可以防止操作末端器械出图像末端器械外,因而可以进一步确保安全性。
一实施例中,上述步骤S151之前,即判断操作末端器械是否位于图像末端器械的视野以内的步骤之前,还包括:
步骤S150,检测是否获取到启动指令。
在步骤S150中获取到启动指令时,进入步骤S151,即进入判断操作末端器械是否位于图像末端器械的视野以内的步骤。
该启动指令包括但不限于由手术臂安装至动力机构时被触发产生,以及在手术臂安装至动力机构之后、由医生输入的确认指令触发。例如,动力机构上装设有传感器例如距离传感器,在手术臂装设于动力机构时,传感器检测出手术臂与动力机构之间的距离,在控制器判断出该距离小于等于预设值时,触发该启动指令的产生。
一些实施例中,本发明的方法还可以包括:获取图像末端器械的视野的可达区间,视野的可达区间指全部视野的空间集合;获取操作末端器械的当前位置;判断操作末端器械的当前位置是否位于图像末端器械的视野的可达区间;在操作末端器械的当前位置位于图像末端器械的视野的可达区间时,进入调节图像末端器械的视野向目标位置移动的步骤。在操作末端器械的当前位置位于图像末端器械的视野的可达区间时,能够确保相应的操作可以在视野内完成。其中,操作末端器械的当前位置不能位于图像末端器械的视野的可达区间的问题多发生于多孔手术机器人,因此,可以提示医生调节手术臂的远心不动点使得后续调节了该远心不动点后能够满足操作末端器械的当前位置位于图像末端器械的视野的可达区间的条件。
一些实施例中,在确保操作末端器械始终位于图像末端器械的视野以内的条件下,图像末端器械随着操作末端器械的移动而同步移动,也即两者的移动同时发生。图未示意。
一些实施例中,在确保操作末端器械始终位于图像末端器械的视野以内的条件下,图像末端器械随着操作末端器械的移动而滞后移动。如图15、图17及图18所示,或如图15、图19及图20所示。
一些实施例中,本发明的方法还可以包括:在操作末端器械移动时,控制或称为约束操作末端器械基本沿着其当前位置向目标位置的方向直线移动。这样的限定尤其适用于手术准备过程中手术臂的插入过程,因为这更接近现有的操作方式。
一些实施例中,本发明的方法还可以包括:计算操作末端器械的移动方向与操作末端器械的当前位置和目标位置之间的连接线的偏离角;在偏离角达到偏离阈值时,至少产生阻碍操作末端器械在偏离方向上移动的阻力。该连接线例如是该当前位置和目标位置之间的直线。
一实施例中,阻力的大小与偏离角的大小呈正相关,例如线性正相关或者阶梯式正相关。
一实施例中,提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,计算机程序被配置为由处理器加载并执行实现如下步骤:获取期望所述操作末端器械到达的目标位置;在所述操作末端器械位于所述图像末端器械的视野以内时,调节所述图像末端器械的视野向所述目标位置移动,并确保所述操作末端器械始终位于所述图像末端器械的视野以内。
一实施例中,提供一种手术机器人的控制装置。如图26所示,该控制装置可以包括:处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503、以及通信总线504。
处理器501、通信接口502、以及存储器503通过通信总线504完成相互间的通信。
通信接口502,用于与其它设备比如各类传感器或电机或电磁阀或其它客户端或服务器等的网元通信。
处理器501,用于执行程序505,具体可以执行上述方法实施例中的相关步骤。
具体地,程序505可以包括程序代码,该程序代码包括计算机操作指令。
处理器505可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路,或者是图形处理器GPU(Graphics Processing Unit)。控制装置包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU,或者,一个或多个GPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个GPU。
存储器503,用于存放程序505。存储器503可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序505具体可以用于使得处理器501执行以下操作:获取期望所述操作末端器械到达的目标位置;在所述操作末端器械位于所述图像末端器械的视野以内时,调节所述图像末端器械的视野向所述目标位置移动,并确保所述操作末端器械始终位于所述图像末端器械的视野以内。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种手术机器人中引导手术臂移动的方法,所述手术机器人具有多个操作臂,所述操作臂包括具有图像末端器械的相机臂和多个具有操作末端器械的手术臂,其特征在于,所述方法用于逐个引导所述操作末端器械,所述方法包括如下步骤:
获取期望第一操作末端器械到达的第一目标位置和期望第二操作末端器械到达的第二目标位置;
调节所述图像末端器械的初始视野向所述第一目标位置移动,在所述图像末端器械的视野以内引导所述第一操作末端器械逼近所述第一目标位置直至到达所述第一目标位置;
在所述第一操作末端器械到达所述第一目标位置时,调节所述图像末端器械的视野恢复成初始视野;
调节所述图像末端器械的初始视野向所述第二目标位置移动,在所述图像末端器械的视野以内引导所述第二操作末端器械逼近所述第二目标位置直至到达所述第二目标位置。
2.根据权利要求1所述的方法,其特征在于,所述调节所述图像末端器械的初始视野向所述第一目标位置移动的步骤包括:实时记录所述图像末端器械的初始视野向所述第一目标位置移动过程中对应时刻的相机参数及位姿的变化;
所述调节所述图像末端器械的视野恢复成初始视野的步骤包括:根据视野调整方式将所述图像末端器械的视野逐步调整以恢复成所述初始视野,所述视野调整方式包括将后一时刻的相机参数及位姿调整为相邻的前一时刻的相机参数及位姿的调整方式。
3.根据权利要求1所述的方法,其特征在于,所述调节所述图像末端器械的初始视野向所述第一目标位置移动的步骤之前,所述方法包括:记录所述图像末端器械的初始视野所对应的相机参数及位姿;
所述调节所述图像末端器械的视野恢复成初始视野的步骤包括:根据记录的所述图像末端器械的初始视野所对应的相机参数及位姿直接将所述图像末端器械的视野恢复成所述初始视野。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述操作末端器械移动时,约束所述操作末端器械基本沿着其当前位置向其目标位置的方向直线移动。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
计算所述操作末端器械的移动方向与所述操作末端器械的当前位置和目标位置之间的连接线的偏离角;
在所述偏离角达到偏离阈值时,至少产生阻碍所述操作末端器械在偏离方向上移动的阻力。
6.根据权利要求1所述的方法,其特征在于,所述获取期望第一操作末端器械到达的第一目标位置和期望第二操作末端器械到达的第二目标位置的步骤包括:
在获取到第一操作模式时,获取所述图像末端器械的目标视野,根据所述目标视野确定所述第一目标位置和所述第二目标位置,所述第一操作模式用于引导所述操作末端器械插入至目标位置。
7.根据权利要求1所述的方法,其特征在于,在调节所述图像末端器械的初始视野向所述第一目标位置移动之前,所述方法包括:
确保所述第一操作末端器械和所述第二操作末端器械位于所述图像末端器械的初始视野以内。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被配置为由处理器加载并执行实现如权利要求1~7任一项所述的方法的步骤。
9.一种手术机器人的控制装置,其特征在于,包括:
存储器,用于存储计算机程序;
及处理器,用于加载并执行所述计算机程序;
其中,所述计算机程序被配置为由所述处理器加载并执行实现如权利要求1~7任一项所述的方法的步骤。
10.一种手术机器人,其特征在于,包括:
操作臂,具有图像末端器械的相机臂和具有操作末端器械的手术臂;
以及控制器,所述控制器与所述操作臂耦接,并被配置成执行如权利要求1~7任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210284003.7A CN114652449A (zh) | 2021-01-06 | 2021-01-06 | 手术机器人及其引导手术臂移动的方法、控制装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210284003.7A CN114652449A (zh) | 2021-01-06 | 2021-01-06 | 手术机器人及其引导手术臂移动的方法、控制装置 |
CN202110011217.2A CN112618029A (zh) | 2021-01-06 | 2021-01-06 | 手术机器人及其引导手术臂移动的方法、控制装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110011217.2A Division CN112618029A (zh) | 2021-01-06 | 2021-01-06 | 手术机器人及其引导手术臂移动的方法、控制装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114652449A true CN114652449A (zh) | 2022-06-24 |
Family
ID=75290832
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110011217.2A Pending CN112618029A (zh) | 2021-01-06 | 2021-01-06 | 手术机器人及其引导手术臂移动的方法、控制装置 |
CN202210284003.7A Pending CN114652449A (zh) | 2021-01-06 | 2021-01-06 | 手术机器人及其引导手术臂移动的方法、控制装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110011217.2A Pending CN112618029A (zh) | 2021-01-06 | 2021-01-06 | 手术机器人及其引导手术臂移动的方法、控制装置 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN112618029A (zh) |
WO (1) | WO2022147935A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112618029A (zh) * | 2021-01-06 | 2021-04-09 | 深圳市精锋医疗科技有限公司 | 手术机器人及其引导手术臂移动的方法、控制装置 |
CN113334391B (zh) * | 2021-08-06 | 2021-11-09 | 成都博恩思医学机器人有限公司 | 一种机械臂的摆位控制方法、系统、机器人及存储介质 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10025285A1 (de) * | 2000-05-22 | 2001-12-06 | Siemens Ag | Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe |
US8620473B2 (en) * | 2007-06-13 | 2013-12-31 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
DE102011005917A1 (de) * | 2011-03-22 | 2012-09-27 | Kuka Laboratories Gmbh | Medizinischer Arbeitsplatz |
CA2905968A1 (en) * | 2013-03-15 | 2014-09-25 | Sri International | Hyperdexterous surgical system |
DE102014226240A1 (de) * | 2014-12-17 | 2016-06-23 | Kuka Roboter Gmbh | System zur roboterunterstützten medizinischen Behandlung |
WO2018013979A1 (en) * | 2016-07-14 | 2018-01-18 | Intuitive Surgical Operations, Inc. | Secondary instrument control in a computer-assisted teleoperated system |
CN106859742B (zh) * | 2017-03-21 | 2023-11-10 | 北京阳光易帮医疗科技有限公司 | 一种穿刺手术导航定位系统和方法 |
JP7197511B2 (ja) * | 2017-05-25 | 2022-12-27 | コヴィディエン リミテッド パートナーシップ | 画像捕捉デバイスの視界内の物体を検出するためのシステムおよび方法 |
WO2019050729A1 (en) * | 2017-09-05 | 2019-03-14 | Covidien Lp | ROBOTIC SURGICAL SYSTEMS AND METHODS AND COMPUTER-READABLE MEDIA FOR CONTROLLING THEM |
WO2019137507A1 (en) * | 2018-01-11 | 2019-07-18 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for surgical route planning |
CN111867511A (zh) * | 2018-01-17 | 2020-10-30 | 奥瑞斯健康公司 | 具有改进的机器人臂的外科机器人系统 |
CN109330691B (zh) * | 2018-07-31 | 2020-06-16 | 深圳市精锋医疗科技有限公司 | 具有多操作臂的从操作设备组件及手术机器人 |
CN110893118B (zh) * | 2018-09-12 | 2022-01-28 | 上海微创医疗机器人(集团)股份有限公司 | 手术机器人系统以及机械臂的运动控制方法 |
GB2608751B (en) * | 2018-10-03 | 2023-06-14 | Cmr Surgical Ltd | Methods and systems for providing assistance to a user of a surgical robot system |
CN109330685B (zh) * | 2018-10-31 | 2024-02-02 | 南京航空航天大学 | 一种多孔腹腔手术机器人腹腔镜自动导航方法 |
CN110464471B (zh) * | 2019-09-10 | 2020-12-01 | 深圳市精锋医疗科技有限公司 | 手术机器人及其末端器械的控制方法、控制装置 |
CN114831738A (zh) * | 2020-10-08 | 2022-08-02 | 深圳市精锋医疗科技股份有限公司 | 手术机器人及其图形化控制装置、图形化显示方法 |
CN114795490A (zh) * | 2021-01-06 | 2022-07-29 | 深圳市精锋医疗科技股份有限公司 | 手术机器人及其引导手术臂移动的方法、控制装置 |
CN112618029A (zh) * | 2021-01-06 | 2021-04-09 | 深圳市精锋医疗科技有限公司 | 手术机器人及其引导手术臂移动的方法、控制装置 |
-
2021
- 2021-01-06 CN CN202110011217.2A patent/CN112618029A/zh active Pending
- 2021-01-06 CN CN202210284003.7A patent/CN114652449A/zh active Pending
- 2021-05-10 WO PCT/CN2021/092697 patent/WO2022147935A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN112618029A (zh) | 2021-04-09 |
WO2022147935A1 (zh) | 2022-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112618028B (zh) | 手术机器人及其引导手术臂移动的方法、控制装置 | |
US10939969B2 (en) | Command shaping to dampen vibrations in mode transitions | |
EP3684280B1 (en) | Systems and methods for controlling a robotic manipulator or associated tool | |
CN112587243B (zh) | 手术机器人及其控制方法、控制装置 | |
Reed et al. | Integrated planning and image-guided control for planar needle steering | |
CN112618020B (zh) | 手术机器人及其控制方法、控制装置 | |
CN114652449A (zh) | 手术机器人及其引导手术臂移动的方法、控制装置 | |
CN112043397B (zh) | 手术机器人及其运动错误检测方法、检测装置 | |
US20160100898A1 (en) | Medical manipulator and method of controlling the same | |
US11819288B2 (en) | Trocar pose estimation using machine learning for docking surgical robotic arm to trocar | |
US20170341233A1 (en) | Method For Safe Coupling And Decoupling Of An Input Device | |
JPH08117238A (ja) | 手術用マニピュレータ | |
KR20200108124A (ko) | 최소 침습 수술을 위한 수술로봇 시스템 및 상기 수술로봇 시스템의 구동방법 | |
CN112472298B (zh) | 手术机器人及其控制装置、控制方法 | |
CN114504385A (zh) | 手术机器人末端姿态调整方法、系统、设备和介质 | |
CN113876433A (zh) | 机器人系统以及控制方法 | |
CN114848152A (zh) | 计算机可读存储介质、电子设备及手术机器人系统 | |
CN115429432A (zh) | 可读存储介质、手术机器人系统和调整系统 | |
EP3700453A1 (en) | System and method for repositioning input control devices | |
CN115005979A (zh) | 计算机可读存储介质、电子设备及手术机器人系统 | |
CN117159143A (zh) | 一种介入位姿调整关节的控制方法、设备及存储介质 | |
CN116670711A (zh) | 对柔性设备的预测性运动映射 | |
CN115741685A (zh) | 器械归位方法、器械归位系统和装置、存储介质 | |
CN117179895A (zh) | 图像获取组件的调节方法、装置及电子设备 | |
CN114848153A (zh) | 计算机可读存储介质、电子设备及手术机器人系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |