CN105636542B - 借助手势控制来控制机器人系统的控制装置和方法 - Google Patents

借助手势控制来控制机器人系统的控制装置和方法 Download PDF

Info

Publication number
CN105636542B
CN105636542B CN201480054314.8A CN201480054314A CN105636542B CN 105636542 B CN105636542 B CN 105636542B CN 201480054314 A CN201480054314 A CN 201480054314A CN 105636542 B CN105636542 B CN 105636542B
Authority
CN
China
Prior art keywords
hand
end effector
control
control device
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480054314.8A
Other languages
English (en)
Other versions
CN105636542A (zh
Inventor
贝恩德·贡贝尔
利奥波德·博克·克劳森
理查德·罗伯茨
安德拉斯·阿斯奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN105636542A publication Critical patent/CN105636542A/zh
Application granted granted Critical
Publication of CN105636542B publication Critical patent/CN105636542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36184—Record actions of human expert, teach by showing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45123—Electrogoniometer, neuronavigator, medical robot used by surgeon to operate

Abstract

本发明涉及用于控制机器人系统(11)的控制装置(25,28,29)，该机器人系统具有至少一个机器人手臂(14,18)，在该机器人手臂上固定有具有末端执行器(17,21)的外科器械(15,19)，其中，控制装置(25,28,29)包括图像采集系统(25,28)，它记录下至少一只手(30L,30R)的控制设定并分析和转化为用于该机器人系统(11)的一个或多个部件的相应控制指令。为了简化且尤其直观地设计机器人系统(11)的控制而提出设有控制单元(25)，它确定外科器械(15,19)的末端执行器(17,21)的取向和/或位置和/或张角作为一个或多个第一参数，且还确定至少一只手(30L,30R)的取向和/或位置和/或张角作为一个或多个第二参数，在其中一个或多个所述第一参数不同于各自对应的第二参数的情况下阻止末端执行器(17,21)的手动控制，且在其中一个或多个所述第一参数与各自对应的第二参数一致的情况下准许手势控制，从而能通过手来操作外科器械(15,19)。

Description

借助手势控制来控制机器人系统的控制装置和方法
技术领域
本发明涉及控制具有至少一个机器人手臂的机器人系统的控制装置，在机器人手臂上安装有具有末端执行器的外科器械，以及涉及借助手势控制来控制这样的机器人系统的方法。
背景技术
目前，对人体的外科手术越来越多地以微创法在手术机械手的辅助下进行。根据手术类型，手术机械手可以装备不同的外科器械例如内窥镜、切割刀具、镊钳或缝合工具。在外科手术中，这些工具借助一个或多个机械手经闸门被插入患者身体。在外科手术过程中，外科器械由外科医生通过机器人系统的输入装置例如手势控制用图像处理系统来控制。
对于外科手术应用，采用了各种不同的器械，例如内窥镜、腹腔镜器械、切割器械、夹取工具、拿持工具、接合工具或缝合器械以及其它手术工具。在外科器械或手术工具的远端上有真正的末端执行器例如解剖刀、剪、针、刮刀、锉刀、夹钳、照相机等。该末端执行器例如可以借助绳索驱动机构或借助集成在器械柄杆中的操纵部件来操作。
在具有手势控制用输入装置的机器人系统中，使用者可通过人工控制设定来控制该外科器械及其末端执行器。在此情况下，机器人系统的输入装置包括照相机，其在预定的图像采集区域内拍摄使用者所做出的手势。照相机所拍下的图像数据被图像处理单元(软件)处理并被转化为用于机器人系统的被控部件的相应控制指令。在已知的手势控制中，使用者一般可以规定动态手势如运动或静态手势如举手，用于控制机器人系统的某个部件。所述被控部件一般在屏幕上被显示给使用者，从而他能观察机器人系统对控制设定的反应。
US 6 424 885 B1公开了一种用于微创手术的机器人系统，其包括用以控制该外科器械的多个手动输入装置。与所述控制相关地出现以下问题：输入装置的取向应当与外科器械的末端执行器的取向一致。为此，在US 6,424,885 A中采用了被称为“映射”的方法。如图1所示，输入装置1包括两个铰接固定在主体2上的肢节4、5，其可以借助手的手指收合或张开。在肢节4、5手动操作时，使显示于右侧的被控末端执行器6的工作件9、10相应运动。输入装置1的位置由点P1来确定。输入装置1的取向由纵轴3来确定，该纵轴延伸经过两个肢节4、5之间的点P1和主体2。与此相似，末端执行器6的取向通过在工作件9和10之间延伸的轴8来规定。借助前述的“映射”方法，输入装置1的取向可以与末端执行器的取向一致，从而两个轴3和8在相同方向上延伸。
但是，US 6 424 885 B1所述的“映射”方法只适用于将输入装置1的取向与末端执行器的取向校准。但它不适用于将手的取向、位置和/或张角与末端执行器的取向、位置和/或张角校准。
发明内容
因此，本发明的任务是提供一种包括手势控制装置的机器人系统，其中，使用者能简单快速地使其手的状态适应于被控物体的状态。
通过如独立权利要求所述的特征来完成本发明的任务。由从属权利要求得到本发明的其它实施方式。
本发明提出一种用于控制机器人系统的控制装置，包括用于手势控制的图像采集系统，其记录、分析至少一只手的控制设定并将其转换为用于机器人系统的一个或多个部件的相应控制指令。本发明的控制装置包括控制单元，其确定外科器械的末端执行器的取向和/或位置和/或张角作为一个或多个第一参数以及手的取向和/或位置和/或张角作为一个或多个第二参数，且在其中一个或多个第一参数不同于各自相应的第二参数的情况下阻止该末端执行器的手势控制功能，且在至少一个第二参数与各自相应的第一参数(或由其决定的理想参数)一致的情况下准许该末端执行器的手势控制。即，根据本发明，需要使手的取向、位置或张角首先匹配于待控器械或其末端执行器的取向、位置和/或张角，即进行校准。在这样的校准之后，外科器械或其末端执行器即可手动控制。
手势控制功能的启动可以自动进行。但它也可以在满足附加条件(如使用者再次确认手势控制功能)时被激活。在此情况下，只有当手和末端执行器之间的校准以及使用者的附加操作已发生时才可以进行手势控制。
根据本发明的一个优选实施方式，手势控制装置如下配置：“进行控制的手的取向、位置和张角”这些状态之中的至少两者与“该末端执行器的相应状态”必须一致，以便激活手势控制。
为了要求使用者执行校准，本发明的控制装置最好如此设计：在手的至少其中一个状态不同于末端执行器的对应状态的情况下，向使用者发出信号。该信号例如可以是光学信号、声音信号或触觉信号。利用该信号促使该使用者使手的取向和/或位置和/或张角匹配于末端执行器的相应状态。
在至少其中一个状态一致的情况下，最好向使用者发出一个信号，该信号向使用者表明校准成功。因此，例如可以借助光学信号向使用者指明成功校准。
为了使手和末端执行器之间的校准变得简单，例如可以在屏幕上显现一个虚拟元件，其取向和/或位置和/或张角对应于手的取向、位置或张角。该虚拟元件例如可以是被控末端执行器的“重现”。在剪刀的情况下，例如该图像可以是外科手术剪的图像，或者在解剖刀情况下显示解剖刀的图像。
另外，可以显示另一个基准元件，其显示被控末端执行器的取向和/或位置和/或张角并且作为“理想设定”，用于使用者来实现手和末端执行器之间的校准。因此，使用者能简单直观地使手的取向和/或位置和/或张角匹配于基准元件的理想设定。他此时能在屏幕上跟踪校准过程。
为了确定手的取向、位置或张角，原则上存在许多可能性。根据本发明的一个实施方式，例如可以如下确定手的位置：在手或相应胳膊上通过图像采集系统识别一个表征点，且该点被规定作为用于手位置的参考点。图像采集系统例如可以确定手腕点、指尖上的一点或者节骨上的一点作为参考点。该点的位置由控制单元最好在图像采集系统的坐标系内来确定。
手的取向例如可以通过一个矢量来规定，该矢量的方向在图像采集系统的坐标系中被求出。该矢量例如可以在手腕和食指尖之间的直线上，或者在手腕和拇指尖之间的直线上。但它例如也可以位于一条线上，该线在拇指和食指之间延伸向手腕。原则上，可以确定任何矢量，其随后被规定作为手取向的参考。取向矢量或对应线条的识别最好通过图像采集系统自动进行。手的取向最好在图像采集系统的坐标系内被确定。
手的张角例如可被如下确定：在图像采集系统的坐标系内确定两个矢量和矢量之间的角度。第一矢量例如可以从手腕上的一个点指向拇指方向，第二矢量从手腕上的点指向食指尖方向。所述矢量或对应的线条能通过图像采集系统来自动确定。
根据本发明的用于机器人系统的控制装置还可以包括手动辅助件，其用于引导使用者的手运动。根据本发明的一个优选实施方式，该辅助件的运动自由度与外科器械的被控末端执行器一样多。在夹钳情况下(其两个对置的夹钳爪可以绕一个轴分合转动)，该辅助件最好恰好只有一个自由度。但它也可以具有更多或更少的自由度。
手动辅助件的形状最好对应于被控末端执行器的形状。在外科手术剪或夹钳情况下，该辅助件例如可以具有两个分支，它们通过铰接机构相互连接且因而能来回运动。
根据本发明的一个实施方式，例如该辅助件的取向、位置和/或张角可以通过图像采集系统来采集。如此得到的信息随后可以被用作用于该手的取向、位置和/或张角的基准参数。因为该手动辅助件具有清楚限定的元件，故该辅助件的和进而该手的取向、位置和/或张角可以被很简单精确地确定。该方法因此带来了采集手上的点的优点。在该辅助件上或许可以设置标志以进一步简化所述识别。
根据本发明，可以通过该控制功能来确定在手上的或辅助件上的多个点，正如确定两手的取向、位置和张角所需要的那样。如果为了手势控制功能采用辅助件，则也可以确定辅助件上的点。例如可以确定位于指尖或辅助件的肢节末端上的其它点。
这些点也随后可被用于确定矢量。例如可以如此定义该矢量：它必须延伸经过两个点。或者，在手和/或辅助件上的三个点可以被用于限定一个虚拟平面，该矢量必须位于该平面内。
另外，位于该辅助件的尖或肢节末端上的点可被用于按下述方式确定手的张角：求出指尖之间的距离。两点之间距离越大，手指的张角越大。
可选地或附加地，该手动机构也可以包括传感器尤其是惯性传感器，其例如可以测量空间位置和/或在三个空间轴上或绕三个空间轴的运动。传感器数据例如可以被非接触地传输给控制单元。传感器所提供的数据又可被用于确定手的取向、位置和/或张角。
根据本发明的一个优选实施方式，该手的取向、位置和/或张角通过至少其中两个前述方法来冗余确定，即通过光学识别该手、光学识别该辅助件和/或借助集成在辅助件内的传感器。由此一来，可以明显减小手势控制的故障率且提高该系统的可靠性。
手的控制设定最好通过预定的缩放系数被转换为末端执行器的相互应运动。在缩放系数为1的情况下，末端执行器以与手一样的比例运动。但缩放系数也可以大于设定为或大或小。因此，例如手运动可以造成缩小2倍的末端执行器运动。即，手指张角减小20°将造成工作肢节的张角减小10°。针对不同的运动类型或自由度，也可以定义不同的缩放系数。例如可以针对沿着和/或围绕x轴、y轴、z轴的每次运动选择单独的缩放系数用于手运动以及用于张角和开合度的情况。也可以关于距离、速度和加速度的转换分别限定不同的缩放系数。即，缩放系数根据本发明是可任意调节的。因此，它们也可以根据末端执行器所处的地点变化。
如上所述，所述手势控制包括图像采集系统，其记录并分析使用者所做出的手势。在进行控制的手位于预定图像采集区域之中时，外科器械或末端执行器的控制最好是激活的。如果手离开图像采集区域，则最好停用该控制功能。
本发明的控制装置也包括记录被控目标的照相机和显示所记录的图像的屏幕。根据本发明的一个优选实施方式，被控目标如此显示在屏幕上，即目标在屏幕上的运动与手的相应运动一致。即，在屏幕上成像的目标与屏幕显示的坐标系相关地在与手关于图像采集系统的坐标系的运动相同的方向上运动。如果使用者使其手例如向上移动(在图像采集系统的坐标系的z方向上)，则显示在屏幕上的末端执行器图像也向上移动(屏幕显示的坐标系的z方向)。而末端执行器的真实运动一般在不同方向上运动。但在屏幕上所显示的末端执行器的运动在与手运动相同的方向上。这样的显示具有以下主要优点：使用者例如外科医生能很简单直观地控制该机器人系统。因此，不需要长的处理时间或甚至转念头。
为了实现这种显示，拍摄末端执行器的照相机配属有坐标系，该坐标系对准照相机所拍摄的图像的图像轴线(Bildachse)。照相机的坐标系一般具有不同于图像采集系统的坐标系的取向。但是，它关于照相机优选具有与图像采集系统关于采集区域的坐标系或者屏幕显示关于屏幕的坐标系一样的取向。
当手在图像采集区域内运动时，最好如此控制该末端执行器：它在照相机坐标系内在与在图像采集系统的坐标系中一样的方向上运动。如果使用者例如执行在图像采集系统的坐标系的z方向上的运动，那么末端执行器也在z方向上移动，但不是在照相机坐标系内的z方向。照相机的z坐标又作为屏幕坐标系内的z坐标被显示。相应的情况同样也适用于其它坐标。即，如下设计本发明的控制单元：在图像采集系统的坐标系内的手的控制设定被转换成在照相机坐标系内的末端执行器的相应动作。
末端执行器的取向、位置和/或张角是已知参数，因为机器人系统通常具有可用以测量所述参数的许多传感器。因此，为了识别末端执行器的取向、位置和/或开合度，可以利用存在于系统内的信息。因为该控制单元产生用于末端执行器的控制指令，故该控制单元也知道所述参数。
另外，该控制单元知道所有坐标系，从而可以借助坐标变换将一个坐标系的参数换算为另一个坐标系的相应参数。因此末端执行器可以总是在照相机坐标系内被操作，无论照相机坐标系如何相对于另一个坐标系如何取向。
或者，该末端执行器的取向、位置和/或张角也可以从照相机所拍下的图像数据中获得，类似于手或辅助件的图像采集。
本发明也涉及一种借助手势控制来控制机器人系统的方法。根据本发明，外科器械的末端执行器的取向和/或位置和/或张角被确定作为一个或多个第一参数以及至少一只手的取向和/或位置和/或张角被确定作为一个或多个第二参数。当第一参数中的一个或多个相对于各自对应的第二参数有偏差时，自动阻止末端执行器的手动控制。一旦一个或多个所述相应参数一致，则手势控制就最好自动被准许。在后者情况下，手和被控末端执行器之间的校准已经成功，即手和末端执行器的取向、位置和/或张角一致。在校准后，末端执行器可通过手势控制来控制。但也可以规定使用者须再次确认手势控制，以便完全激活它。
附图说明
以下将结合附图来举例详述本发明，其中：
图1是从现有技术中知道的输入装置和借此被控的末端执行器的视图；
图2是用于微创手术的机器人系统的立体图，其具有两个机器人手臂和一个用于执行手势控制功能的控制装置；
图3是被引入患者体内的多个手术器械的侧视图；
图4是两手和用于确定两手的取向、位置和张角的不同的参考点和线的视图；
图5是类似于图4的两手视图，其中，每只手拿着一个用于引导手运动的辅助件；
图6示出屏幕，在该屏幕上显示借助手势控制功能被控的末端执行器以及两个虚拟末端执行器；和
图7是借助手势控制功能控制机器人系统的方法的各不同步骤的示意图。
具体实施方式
关于图1的说明，参阅说明书前文。
图2示出用于微创手术的机器人系统11的示意图，其具有两个机器人手臂14、18和控制装置25、28、29，用于借助手势控制来控制机器人系统11的各不同部件。机器人手臂14、18在此通过轨道24被固定在手术台12上。机器人手臂14、18此时能具有相同的或不同的结构。要做手术的患者13躺在手术台12上。
机器人手臂14和18分别配备有外科器械15或19。外科器械原则上可以是适用于外科手术的所有器械，例如解剖刀、夹钳、剪、电动外科器械、内窥镜、照相机、钉合器等。器械15例如能以剪形式构成，且器械19能以夹钳形式构成。器械15、19一般具备杆16、20，在其远端安装有对应于其器械功能的末端执行器17、21(见图3)。
器械15、19通过机器人手臂14、18来运动且通过小的人造创口伸入患者13身体。于是，通过操作该末端执行器17或21，可以执行真正的外科手术。
为了控制末端执行器17、21(以下应该是指真正工作件的定位、空间取向以及操作)，设有带有图像处理系统25、28的控制装置。该图像采集系统包括照相机28，其监测立体采集区域36。在此，图像采集系统能够识别并解读手动手势。由照相机拍得的图像数据被传送至控制单元25并由其包含的分析单元(软件)来分析。接着，控制单元25根据所识别的手势产生控制指令，用以控制被控部件14、15、17、18、19、21的致动器。在此，机器人手臂14、18、器械15、19和/或末端执行器17、21可以分别单独或全都同时被操作。
根据一个实施例，例如可以用使用者的左手30L操作左侧末端执行器21，用右手30R操作右侧末端执行器17。术语末端执行器的“操作”在此是指末端执行器17、21的三维空间定位或取向及能执行某种功能如切割、夹取或凝结。末端执行器17、21能可选择地被位置控制或调整，和/或速度控制或调整。
机器人手臂14和18在此分别通过电缆26、27与控制单元25相连。或者，也可以规定无线控制。
如前所述，给使用者提供预定的采集区域36，他在该采集区域中能做出手势以控制机器人系统11。控制装置25、28、29最好如此设计，即，仅在该区域36内做出的手势被控制单元25转换为相应控制指令。而在采集区域36外做出的手势未被转换成相应控制指令。
采集区域36具有第一坐标系KG，在该坐标系内可以明确无疑地确定两手30L、30R的位置和其立体空间取向。因此，例如确定手30L、30R或其手指所指的方向以及两手30L、30R或手指的相互距离。另外，也可以确定两手30L、30R或其手指的运动，例如走过的距离、运动速度和/或运动方向。
为了确定手30L、30R的位置，可以借助图像采集系统25、28来识别手30L、30R和/或对应胳膊上的一个或多个点且作为用于各自手30L、30R的位置的参考点。如图4所示，例如确定分别位于两手30L、30R的手腕上的左手30L点P1L和右手30R点P1R。因此，可在坐标系KG内明确无疑地描述两手30L、30R的位置。
另外，两手上的其它点例如在左手和右手30L、30R的拇指尖和食指尖上的点P2L、P2R和P3L、P3R也可被定义为参考点。为了确定两手30L、30R的取向，可在手30L、30R的每两个点之间画一条线31、32、33或34。手30L、30R的取向例如能被定义为矢量，其位于其中一条所述线31至34上。但或者也可定义一个矢量V1L、V1R，其位于所述线31和32或线33和34之间。这样的矢量可位于以下平面内，该平面由左手30L的点P1L、P2L和P3L或由右手30R的三个点P1R、P2R和P3R限定。矢量V1L、V1R于是被考虑作为用于手30L、30R取向的参考。
但或者，矢量V1L和V1R也可以处于任何其它角度且例如直接指向食指指尖(点P3L或P3R)。
在拇指和食指之间的手30L、30R的张角例如可以通过线31和32或33和34之间的角度αL、αR来限定。角度αL、αR与拇指和食指之间的距离相关。但手30L、30R的张角也可以通过手30L、30R上的两点P2L、P2R、P3L、P3R之间的距离来确定，例如通过食指尖P3L与拇指尖P2L的距离。
因此，手30L、30R的位置、取向和张角可明确无疑地在坐标系KG内被确定。另外，关于位置、取向和张角的每次改变可确定相应的速度或加速度。
如图4所示，矢量V1L或V1R有利地总是处于线31和32或者线33和34之间的半张角αL或αR。
但除了前述的手点或胳膊点的识别外，还可以有各种其它可能性来确定手的位置、取向或张角。如图5所示，机器人系统11的控制装置25、28、29也可以包括手动辅助件35L、35R，其用于引导在拇指和食指之间的手张合运动。在所示实施例中，为每只手30L、30R设置一个自己的引导件35L、35R。
每个辅助件35L、35R包括两个铰接相连的关节，它们的形状和布置对应于夹钳或外科手术剪。辅助件35L、35R分别具有恰好一个自由度，即只能进行拇指尖和食指尖绕一个规定轴37的张合运动。因此，通过拇指和食指的这种运动自由度限制，可以排除在手势识别中的“误解”，因为指尖只能沿一个固定规定的轨迹运动。辅助件35L、35R的活动肢节例如可以具有环圈36L、36R，使用者可以将其拇指或食指插入其中。
按照与确定两手30L、30R上的显著点相似的方式，也可以确定辅助件35L、35R上的点并由此确定相应的手30L或30R的位置、取向和/或张角。代替手腕点P1L或P1R，例如也可采用辅助件的关节点37L或37R，如图5所示。代替矢量V1L、V1R，例如也可采用延伸经过点37L或37R的关节轴。作为用于手张角的基准，例如可以考虑辅助件35L或35R的铰接相连的肢节之间的角度或者两个肢节末端(类似于指尖)之间的距离。
替代地或补充地，辅助件35L、35R均可配备有传感器装置38L、38R。该传感器装置也可被用于确定手的位置、取向和/或张角。当例如设有测量两个铰接相连的肢节的角度的角度传感器时，可确定手30L或30R在拇指和食指之间的张角。另外，也可集成入磁性传感器、加速度传感器或惯性传感器，可借此测得手30L、30R的位置、取向还有运动速度或加速度。该传感器数据例如可以被非接触地传输给控制单元25。冗余信息可被相互比较以发现或排除可能的错误。错误的或出错的信息例如也可以由冗余存在的信息取代。
在微创外科手术中，通过一个或多个照相机22、23来监视进行手术的位点。对此将一个或多个腹腔镜器械经小的人造创口伸入患者身体13中，也如图3所示。照相机23的图像被显示在屏幕29上，外科医生可以在该屏幕上观察并监视手术进程。另外，在图2的机器人系统11中设有另一个照相机22，其记录下在患者13体外发生的情况。照相机22例如可以被用于获知机器人手臂14、18以及器械15、19还有照相机23的位置和取向。照相机22和照相机28的图像也可以被显示在屏幕29上。也可以根据是否有末端执行器位于患者内或患者外，自动或手动地在照相机22和23之间来回切换。可选地，该图像在屏幕29上被分开，以示出由照相机22拍得的末端执行器和由照相机23拍得的末端执行器。
所有的照相机和/或屏幕最好具备立体能力。为此，可以采用从现有技术中知道的仪器，例如立体照相机或具有双重图像记录的照相机。
为了允许外科医生尽量直观地控制包括其末端执行器17、21在内的外科器械15、19，进行控制的手30L或30R的与坐标系KG相关联的至少取向且最好还有位置和张角应该与被控末端执行器17或21的与各自照相机坐标系KK1或KK2相关联的取向、位置或张角一致。在此所示的机器人系统11中，为此执行校准操作，此时使用者可以使其手的取向和/或位置和/或张角匹配于被控末端执行器17或21的相应状态。
一旦获得至少一个所述状态参数最好是所有状态参数的一致，则被控末端执行器17、21可被准许或启动，随后可由手来控制。这种启动可以自动进行或再次要求使用者附加操作。
为了减轻使用者在其手30L、30R和被控末端执行器17、21之间校准的负担，在此实施例中在屏幕29上显现虚拟末端执行器17'，其取向、位置和张角对应于进行控制的手如30R的取向、位置和张角。因此，虚拟末端执行器17'代表进行控制的手如30R的状态。另外，在窗40内成像另一个末端执行器17"，其表示被控末端执行器17的状态。第一虚拟末端执行器17'因此向使用者表明其手30R的实际状态，而另一个末端执行器17"表明手30R的理想状态。
如图6所示，手30R的取向和末端执行器17的取向相差一个角度Δω。为了使右手30R的取向与末端执行器17的取向一致，使用者只须改变其手的取向。机器人系统11也可以附加地向使用者显示他已如何移动了其手，例如通过箭头显现。当手30R的取向与末端执行器17的取向一致时，也可以进行对使用者的反馈，例如通过在屏幕29上的符号显示或通过虚拟末端执行器17'的彩色凸显。根据机器人系统11的设计而定，针对取向的一致性，可以指明误差。准确一致并非绝对必需的。
按照相似的方式，也可以使左手30L的取向与左侧末端执行器21一致。在取向校准之后，准许两个末端执行器17、21的手势控制。另外，该窗40可以隐藏。作为用于手势控制功能启动的前提条件，可以规定，除了该取向外，也必须使手30L、30R的一个或多个其它状态与各自被控的末端执行器17、21一致。因此例如可以规定，必须使两手30L、30R的张角αL、αR与两个末端执行器17、21的张角一致。该张角的校准可以与如前所述的取向校准相似地进行。随后确定一只手30L、30R的张角是否不同于被控的末端执行器17、21的张角。在有偏差的情况下，使用者又可被要求改变其手30L、30R的张角αL、αR。在完成匹配之后，手势控制又可以被自动准许。在有偏差的情况下，可以在两手30L、30R的张角αL、αR和两个末端执行器17、21的张角之间限定出错位。这种错位例如可以造成闭合该末端执行器时，手指不必完全闭合。这尤其在以下情况下是有帮助的：利用两手来操控辅助件35L、35R，由此手指最终不可完全闭合。
但启动手势控制的前提条件也可以是：附加地还要使进行控制的手30L或30R的位置P1L或P1R与被控的末端执行器17或21的位置Q1L或Q1R一致。这种位置校准方法又可以与取向或张角的校准相似地进行。如图6所示，虚拟末端执行器17'的点Q1R'相对于末端执行器17的点Q1R的位置错开。这种错位例如可以通过矢量39来示出。使用者现在可以改变其手的位置，直到其与虚拟末端执行器17"的位置一致。又可以向使用者表明这种一致。于是，在校准之后，两手30L、30R以及末端执行器17、21的彼此相对位置一致。即，当左手30L的和右手30R的指尖接触时，末端执行器17、21的尖端也应接触。
为了尽量简单地设计机器人系统11的控制且尤其允许直观控制，在屏幕29上所显示的物体17、21、17'、17"最好被如此显示，即，它在手运动方向上准确地跟随手运动。如果手30L、30R例如在图像采集系统的坐标系KG的x方向上运动，则图像中的被控物体例如末端执行器17或虚拟末端执行器17'也在屏幕29的坐标系KB中的x方向上运动。相应的情况适用于具有沿y方向或z方向的分量的运动。屏幕29的坐标系KB此时处于与图像采集系统25、28的坐标系KG相同的方向中(z轴例如朝上且x轴朝右)。因此，手右移也总是导致在屏幕上的被控物体17、17'的右移，而上移(在z方向)导致屏幕上的被控物体17、17'的相应上移。物体17、21的实际空间运动此时一般不同于屏幕29所示的运动。为了实现这种显示，原则上存在各种不同的可能性。
在如图1-6所示的机器人系统11中，每个照相机22、23配属有自己的坐标系KK1、KK2。在照相机22或23转动时，对应的坐标系KK1或KK2也随照相机转动。因此，可以通过调节相应的照相机22或23，从而调整照相机坐标系KK1或KK2的取向。例如照相机23可以绕其轴42转动。或者，照相机坐标系KK1或KK2的取向可以由使用者借助控制装置25通过坐标变换来任意调适，从而不一定必须调整该照相机。
另外，照相机坐标系KK1和KK2的取向也应该分别关于各自照相机22、23是相同的。照相机22的坐标系KK1的x轴和被引入患者13中的照相机23的坐标系KK2的x轴例如能分别指向各自照相机22、23的拍摄方向。屏幕29的坐标系KB的取向也与坐标系KK1、KK2的取向一致，在此，屏幕29上的坐标系KB是取向固定的。例如KB的z轴总是竖直朝上，x轴垂直于屏幕面指向屏幕29内部。当由照相机23拍摄的物体例如在坐标系KK1的z方向上移动时，该物体也在屏幕29上在屏幕坐标系KB中的z方向上移动。机器人系统11自动识别末端执行器17、21位于何处且相应控制它。当末端执行器17、21被移入或移出患者13时，与各自末端执行器17、21相关的坐标系最好被自动改变。
采集区域36配属有坐标系KG。该坐标系可以根据屏幕29的坐标系KB来取向，但不一定必须如此。但坐标系KG的y轴最好基本平行于屏幕29的坐标系KB的y轴取向。坐标系KG的x轴基本关于使用者正面向前。
但末端执行器17、21的实际空间运动一般未与在屏幕29上显示的运动方向一致，且也未与进行控制的手30L、30R的空间运动方向一致。即，末端执行器17、21在照相机坐标系KK1或KK2内被控制。根据照相机22或23取向而定，照相机坐标系KK1或KK2也具有不同的空间取向。即，在坐标系KG的z方向上的手运动虽然造成末端执行器在各自照相机坐标系KK1或KK2的z方向上运动。但末端执行器的实际空间运动取决于照相机坐标系KK1或KK2的z轴的空间取向。
坐标系KK1和KK2的位置和取向(x轴、y轴和z轴的取向)为机器人系统11或控制单元25所知且能通过坐标转换被换算成全球机器人坐标系KR。因此，每个坐标系KK1、KK2、KB、KG中的所有物理参数可以借助坐标转换被换算成另一个坐标系的相应参数。因此，例如点Q1L和Q1R的位置可以通过在全球机器人坐标系KR中的矢量来描述。所述点Q1L和Q1R的位置也可以从机器人坐标系KR被转换至各自照相机22、23的坐标系KK1和KK2中。因而，控制装置25可以将手30L、30R的在坐标系KG内所获得的运动参数换算成用于在各自照相机坐标系KK1或KK2内被操作的末端执行器17、21的控制参量。
末端执行器17、21的取向、位置和张角可以按照与手30L、30R相似的方式通过图像采集系统22、23、25来确定。张角例如可以通过两个工作件之间的角度来确定，如图3所示。末端执行器17、21的取向可以通过矢量V2L和V2R来确定，且末端执行器17和21的位置可以通过铰接点Q1L或Q1R的位置来限定。如果如前所定义的那样，手矢量V1L和V1R分别以半角αL、αR在拇指和食指之间延伸，那么与之相似地有利规定：末端执行器矢量V2L或V2R以半张角在各自辅助件35L、35R的两个工作件之间延伸。这些参数可以在任一坐标系KK1、KK2、KR中被描述。通过这种方式，可以获得多样性冗余信息，其可被相互比较用以控制。
为了识别末端执行器17、21的位置、取向和张角，利用存在于机器人系统11内的数据。因此，例如控制单元25可以依据机器人手臂14的姿态来确定末端执行器17的位置。另外，因为控制单元25产生用于末端执行器17、21的控制指令，因此控制单元也知道各个末端执行器17、21的取向和张角。
在用于其中一个所述末端执行器17、21的手势控制启动之后，相关的末端执行器17、21可由手操作。只要进行控制的手30L、30R位于采集区域36内，则由使用者完成的控制设定被转换为相应的控制指令。但如果进行控制的手30L或30R移出采集区域36，则手势控制功能最好被中断。即，末端执行器17、21被停止。因此可以排除末端执行器17、21执行不希望有的动作。
在执行了新的比较过程之后，相关的末端执行器17、21又可被启动。
图7示出用于控制图1-图6的机器人系统11的方法的各个方法步骤。在步骤S1中，使两手30L、30R移入采集区域36；在步骤S2中借助照相机28来采集。在步骤S3中进行两手取向的确定，在这里确定矢量V1L、V1R。在步骤S4中，末端执行器17、21的取向被确定，且矢量V2L、V2R被确定。接着在步骤S5中是取向的理想-实际比较。
在步骤S6中，两手30L、30R的位置被确定，且确定相应的点P1L、P1R。接着在步骤S7中是确定末端执行器的位置，在此，点P2L和P2R被确定。最后在步骤S8中是位置的理想-实际值比较。
步骤S9描述了手指张角的确定，其中，该角度αL、αR被确定。相应地随后在步骤S10中确定末端执行器17、21的张角。最后在步骤S11中是张角或开合度的理想-实际值比较。
在所述取向、位置和/或张角有偏差的情况下，在步骤S12中向使用者输出执行校准的指示。一旦获得至少一个实际值与各自对应的理想值的一致，则手势控制被启用。机器人系统11随后识别使用者所完成的人工控制设定并根据该设定来控制末端执行器17、21。
当手30L或30R的参数不再与末端执行器17、21的各自参数一致时，末端执行器17、21的控制装置最好被停用(步骤S15)。最好也在进行控制的手30L、30R已移动离开采集区域36时，停用末端执行器17、21。
当重新运行用于使各参数一致的程序时，末端执行器17、21又可被启动或作动。如果手已离开采集区域36，则手必须先又回到采集区域36中(见步骤S1)。只要在两手位于采集区域36内时存在与中断触发者的至少一个参数的不一致，可直接继续进行各自参数的重新确定(见步骤S2、S3、S6和S9)。
图7所示的步骤可以存在控制装置25内的存储介质上，因而该控制装置25可以随时执行。

Claims (27)

1.一种用于控制机器人系统(11)的控制装置(25,28,29)，该机器人系统具有至少一个机器人手臂(14,18)，在该机器人手臂上固定有具有末端执行器(17,21)的外科器械(15,19)，
其中，该控制装置(25,28,29)包括图像采集系统(25,28)，该图像采集系统记录至少一只手(30L,30R)的控制设定值并分析和转化为用于该机器人系统(11)的一个或多个部件的相应控制指令，
其特征是，
设有控制单元(25)，该控制单元确定该外科器械(15,19)的末端执行器(17,21)的取向和/或位置和/或张角作为一个或多个第一参数，而且还确定至少一只手(30L,30R)的取向和/或位置和/或张角作为一个或多个第二参数，在其中一个或多个所述第一参数不同于各自对应的第二参数的情况下，或在至少一只手(30L,30R)已移动离开采集区域(36)时，阻止该末端执行器(17,21)的手动控制，并且在其中一个或多个所述第一参数与各自对应的第二参数一致的情况下和控制的手(30L,30R)位于采集区域(36)内，准许手势控制，从而该末端执行器(17,21)能借助手势控制被操作。
2.根据权利要求1所述的控制装置(25,28,29)，其特征是，为了激活手势控制，至少其中两个所述第二参数必须与各自对应的第一参数一致。
3.根据权利要求1或2所述的控制装置(25,28,29)，其特征是，该控制单元(25)在其中一个或多个所述第一参数不同于各自对应的第二参数的情况下发出信号，该信号能够要求该机器人系统(11)的使用者使至少一只手(30L,30R)的取向和/或位置和/或张角匹配于该末端执行器(17,21)的相应状态。
4.根据权利要求1-2之一所述的控制装置(25,28,29)，其特征是，该控制单元(25)在其中一个或多个所述第二参数与各自对应的第一参数一致的情况下发出信号，该信号向使用者表明：手(30L,30R)与该末端执行器(17,21)的校准已经成功。
5.根据权利要求3所述的控制装置(25,28,29)，其特征是，该控制单元(25)在其中一个或多个所述第二参数与各自对应的第一参数一致的情况下发出信号，该信号向使用者表明：手(30L,30R)与该末端执行器(17,21)的校准已经成功。
6.根据权利要求1-2之一所述的控制装置(25,28,29)，其特征是，该控制单元(25)体现为在屏幕(29)上的虚拟元件(17')，其取向和/或位置和/或张角对应于所述手(30L,30R)的取向和/或位置和/或张角。
7.根据权利要求5所述的控制装置(25,28,29)，其特征是，该控制单元(25)体现为在屏幕(29)上的另一元件(17")，其取向和/或位置和/或张角对应于该末端执行器(17)的取向和/或位置和/或张角，并且所述另一元件充当理想设定，用以在进行控制的手(30L,30R)与末端执行器(17,21)之间进行校准。
8.根据权利要求1、2、5或7所述的控制装置(25,28,29)，其特征是，还设有手控的辅助件(35L,35R)。
9.根据权利要求3所述的控制装置(25,28,29)，其特征是，还设有手控的辅助件(35L,35R)。
10.根据权利要求4所述的控制装置(25,28,29)，其特征是，还设有手控的辅助件(35L,35R)。
11.根据权利要求6所述的控制装置(25,28,29)，其特征是，还设有手控的辅助件(35L,35R)。
12.根据权利要求8所述的控制装置(25,28,29)，其特征是，该控制单元(25)通过下述方式确定该手(30L,30R)的位置：该控制单元规定该手或对应胳膊的一个点(P1L,P1R)或所属辅助件(35L,35R)上的一个点(37L,37R)并在该图像采集系统(25,28)的坐标系(KG)内确定点(P1L,P1R)和(37L,37R)。
13.根据权利要求9-11之一所述的控制装置(25,28,29)，其特征是，该控制单元(25)通过下述方式确定该手(30L,30R)的位置：该控制单元规定该手或对应胳膊的一个点(P1L,P1R)或所属辅助件(35L,35R)上的一个点(37L,37R)并在该图像采集系统(25,28)的坐标系(KG)内确定点(P1L,P1R)和(37L,37R)。
14.根据权利要求1、2、7、9、10、11或13所述的控制装置(25,28,29)，其特征是，该控制单元(25)通过下述方式确定至少一只手(30L,30R)的取向：该控制单元规定至少一个矢量(V1L,V1R)并在该图像采集系统(25,28)的坐标系(KG)内确定该矢量。
15.根据权利要求12所述的控制装置(25,28,29)，其特征是，该控制单元(25)通过下述方式确定至少一只手(30L,30R)的取向：该控制单元规定至少一个矢量(V1L,V1R)并在该图像采集系统(25,28)的坐标系(KG)内确定该矢量。
16.根据权利要求15所述的控制装置(25,28,29)，其特征是，该控制单元(25)为了规定该矢量(V1L,V1R)而规定该手(30L,30R)和/或该辅助件(35L,35R)上的至少另一个点(P2L,P2R,P3L,P3R,37L,37R)。
17.根据权利要求16所述的控制装置(25,28,29)，其特征是，该矢量(V1L,V1R)位于一个平面上，该平面由至少其中三个所规定的点(P1L,P1R,P2L,P2R,P3L,P3R,)来限定。
18.根据权利要求16或17所述的控制装置(25,28,29)，其特征是，该控制单元(25)规定在该手(30L,30R)和/或该辅助件(35L,35R)上的至少一个点(P2L,P2R,P3L,P3R)，该点位于手指或辅助件(35L,35R)的尖上。
19.根据权利要求15-17之一所述的控制装置(25,28,29)，其特征是，该控制单元(25)通过下述方式确定至少一只手(30L,30R)的张角：该控制单元规定两条线(31,32,33,34)并在该图像采集系统(25,28)的坐标系(KG)内确定所述线(31,32,33,34)之间的角度(αL,αR)。
20.根据权利要求17所述的控制装置(25,28,29)，其特征是，该控制单元(25)通过下述方式确定至少一只手(30L,30R)的张角：该控制单元确定该手(30L,30R)上的两点(P2L,P2R,P3L,P3R)之间的距离。
21.根据权利要求8所述的控制装置(25,28,29)，其特征是，该手控的辅助件(36L,36R)包括惯性传感器，该惯性传感器能测量该辅助件的空间位置和/或该辅助件(35L,35R)在三个空间轴上或绕三个空间轴的运动。
22.根据权利要求1或2所述的控制装置(25,28,29)，其特征是，该控制单元(25)如下设计：手(30L,30R)的控制运动以预定的缩放系数被转换为该末端执行器(17,21)的相应运动。
23.根据权利要求1或2所述的控制装置(25,28,29)，其特征是，该控制装置包括屏幕(29)，在该屏幕上显示借助手势控制来控制的物体(17,21)，其中，该图像采集系统(25,28)的坐标系(KG)的最多两个轴的取向与该屏幕显示的坐标系(KB)的对应轴的取向一致，并且该物体被如下显示：该物体在该屏幕(29)上关于该屏幕显示的坐标系(KB)的运动的方向与该手的关于该图像采集系统(25,28)的坐标系(KG)的运动的方向是相同的。
24.根据权利要求1或2所述的控制装置(25,28,29)，其特征是，设有照相机(22,23)，它拍摄该末端执行器(17,21)，且该照相机(22,23)的坐标系(KK1,KK2)对准由该照相机(22,23)所拍摄的图像的图像轴线(41,42)，其中，该坐标系(KK1,KK2)的其中一个所述轴线指向该照相机(22,23)的视向。
25.根据权利要求24所述的控制装置(25,28,29)，其特征是，该控制单元(25)按如下方式设计：在该图像采集系统(25,28)的坐标系(KG)内的手(30L,30R)的控制设定被转换为在该照相机(22,23)的坐标系(KK1,KK2)内的该末端执行器(17,21)的相应运动。
26.根据权利要求25所述的控制装置(25,28,29)，其特征是，激活用于控制该末端执行器(17,21)的坐标系是根据该末端执行器(17,21)被哪个照相机(22,23)拍摄，而在该照相机(22,23)的这些坐标系(KK1,KK2)之间切换的。
27.一种用至少一只手(30L,30R)控制机器人系统(11)的方法，其特征在于以下步骤：
确定外科器械(14,18)的末端执行器(17,21)的取向和/或位置和/或张角，作为一个或多个第一参数；
确定至少一只手(30L,30R)的取向和/或位置和/或张角作为一个或多个第二参数；
将至少一个所述第一参数与相应对应的第二参数相比较；
在一个或多个所述第一参数不同于相应对应的第二参数的情况下，或在至少一只手(30L,30R)已移动离开采集区域(36)时，阻止该末端执行器(17,21)的手动控制；和
在一个或多个所述第一参数与相应对应的第二参数一致的情况下和控制的手(30L,30R)位于采集区域(36)内，准许该手势控制，从而该末端执行器(17,21)能用该手(30L,30R)来控制。
CN201480054314.8A 2013-10-01 2014-09-10 借助手势控制来控制机器人系统的控制装置和方法 Active CN105636542B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013110847.4 2013-10-01
DE102013110847.4A DE102013110847B3 (de) 2013-10-01 2013-10-01 Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung
PCT/EP2014/069284 WO2015049095A1 (de) 2013-10-01 2014-09-10 Steuervorrichtung und verfahren zum steuern eines robotersystems mittels gestensteuerung

Publications (2)

Publication Number Publication Date
CN105636542A CN105636542A (zh) 2016-06-01
CN105636542B true CN105636542B (zh) 2018-11-06

Family

ID=51542351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480054314.8A Active CN105636542B (zh) 2013-10-01 2014-09-10 借助手势控制来控制机器人系统的控制装置和方法

Country Status (6)

Country Link
US (1) US9901411B2 (zh)
JP (1) JP6284284B2 (zh)
KR (1) KR101797169B1 (zh)
CN (1) CN105636542B (zh)
DE (1) DE102013110847B3 (zh)
WO (1) WO2015049095A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8956280B2 (en) 2002-05-30 2015-02-17 Intuitive Surgical Operations, Inc. Apparatus and methods for placing leads using direct visualization
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
DE102014006264A1 (de) * 2014-04-30 2015-11-05 gomtec GmbH Verfahren und Vorrichtung zum Steuern der Bewegung eines Objekts
JP6787623B2 (ja) 2015-02-24 2020-11-18 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 非常に器用なシステムのユーザインタフェース
US10524871B2 (en) 2015-06-10 2020-01-07 Intuitive Surgical Operations, Inc. Master-to-slave orientation mapping when misaligned
US11037423B2 (en) * 2015-09-23 2021-06-15 Ali Kord Posture monitor
JP6886976B2 (ja) * 2015-12-10 2021-06-16 コヴィディエン リミテッド パートナーシップ 独立ロール、ピッチ、及びヨースケーリングを備えたロボット外科用システム
CN105997247A (zh) * 2016-05-06 2016-10-12 京东方科技集团股份有限公司 一种应用于远程手术的控制端、手术设备端、方法及系统
EP3463160A4 (en) * 2016-06-03 2020-01-01 Covidien LP MULTI-INPUT ROBOTIC SURGICAL SYSTEM CONTROL DIAGRAM
US11612446B2 (en) * 2016-06-03 2023-03-28 Covidien Lp Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
US10099368B2 (en) 2016-10-25 2018-10-16 Brandon DelSpina System for controlling light and for tracking tools in a three-dimensional space
DE102016221193B3 (de) * 2016-10-27 2018-01-04 Kuka Roboter Gmbh Verfahren zum Steuern eines Manipulators basierend auf Handerkennung
DE102016221861B4 (de) 2016-11-08 2022-05-05 Volkswagen Aktiengesellschaft Einrichtung und Verfahren zur Einwirkung auf Gegenstände
GB2560384B (en) 2017-03-10 2022-07-20 Cmr Surgical Ltd Controlling a surgical instrument
CN106814738A (zh) * 2017-03-30 2017-06-09 南通大学 一种基于体感控制技术的轮式机器人及其操控方法
CN107049497B (zh) * 2017-05-02 2020-12-04 浙江伽奈维医疗科技有限公司 穿刺导航机器人系统
JP2020532385A (ja) * 2017-09-05 2020-11-12 コヴィディエン リミテッド パートナーシップ トリムアルゴリズムおよび反転アルゴリズムを含むアルゴリズムで、ロール、ピッチ、およびヨーの位置合わせをし直すロボット手術システム
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11759224B2 (en) 2017-10-30 2023-09-19 Cilag Gmbh International Surgical instrument systems comprising handle arrangements
US10863988B2 (en) 2017-11-29 2020-12-15 Intuitive Surgical Operations, Inc. Surgical instrument with lockout mechanism
US11304763B2 (en) * 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
EP3752074A4 (en) 2018-02-12 2022-03-23 Intuitive Surgical Operations, Inc. SURGICAL INSTRUMENT WITH LOCKING MECHANISM
US11534196B2 (en) 2018-03-08 2022-12-27 Cilag Gmbh International Using spectroscopy to determine device use state in combo instrument
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
JP6826069B2 (ja) 2018-04-18 2021-02-03 ファナック株式会社 ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
US20190354200A1 (en) * 2018-05-16 2019-11-21 Alcon Inc. Virtual foot pedal
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
US11094221B2 (en) 2018-06-21 2021-08-17 University Of Utah Research Foundation Visual guidance system and method for posing a physical object in three dimensional space
DE102018125956A1 (de) 2018-10-18 2020-04-23 Karl Storz Se & Co. Kg Verfahren und System zur Steuerung von Geräten in steriler Umgebung
US11944301B2 (en) 2018-12-21 2024-04-02 Intuitive Surgical Operations, Inc. Surgical instruments having a reinforced staple cartridge
CN113271870A (zh) 2018-12-21 2021-08-17 直观外科手术操作公司 具有用于识别和/或停用缝合器钉盒的机构的手术器械
WO2020131290A1 (en) 2018-12-21 2020-06-25 Intuitive Surgical Operations, Inc. Articulation assemblies for surgical instruments
US11192245B2 (en) * 2018-12-21 2021-12-07 The Boeing Company Independent end-effector control and operation
US11298129B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Method for providing an authentication lockout in a surgical stapler with a replaceable cartridge
WO2020214258A1 (en) 2019-04-15 2020-10-22 Intuitive Surgical Operations, Inc. Staple cartridge for a surgical instrument
US11896224B2 (en) 2019-05-31 2024-02-13 Intuitive Surgical Operations, Inc. Staple cartridge for a surgical instrument
US11786325B2 (en) * 2019-07-02 2023-10-17 Intuitive Surgical Operations, Inc. Remotely controlling a system using video
DE102019118012B3 (de) * 2019-07-03 2020-09-17 Günther Battenberg Verfahren und Vorrichtung zum Steuern eines Robotersystems mittels menschlicher Bewegung
DE102019216229B4 (de) * 2019-10-07 2022-11-10 Robert Bosch Gmbh Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
US11642129B2 (en) 2020-01-15 2023-05-09 Intuitive Surgical Operations, Inc. Staple cartridge and drive member for surgical instrument
CN111281649B (zh) * 2020-03-03 2021-08-13 西安交通大学 一种眼科手术机器人系统及其控制方法
CN113741550B (zh) * 2020-05-15 2024-02-02 北京机械设备研究所 移动机器人跟随方法和系统
WO2022030047A1 (ja) 2020-08-03 2022-02-10 三菱電機株式会社 遠隔操作装置
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
CA3212211A1 (en) 2021-03-31 2022-10-06 David Paul Noonan Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
KR102532351B1 (ko) * 2021-08-05 2023-05-15 서울대학교병원 헤드셋 기반의 비접촉 손동작 인식 기술을 활용한 수술 로봇 제어 시스템
KR102648619B1 (ko) * 2022-01-06 2024-03-19 주식회사 삼육오엠씨(365mc) 지방흡입 수술용 하이브리드 로봇 장치
KR20230158329A (ko) 2022-05-11 2023-11-20 김원국 전력 공유형 전기 자동차 충전 시스템 및 전력 공유형 전기 자동차 충전 방법
WO2023233279A1 (en) * 2022-06-03 2023-12-07 Medical Microinstruments, Inc. A control method of a robotic system for medical or surgical teleoperation and related robotic system
WO2024013651A1 (en) * 2022-07-13 2024-01-18 Auris Health, Inc. Dynamic flexible scope drive and methods of using same
US11832910B1 (en) 2023-01-09 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having adaptive gravity compensation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6424885B1 (en) * 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US7386365B2 (en) * 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
KR101762638B1 (ko) 2009-11-13 2017-07-28 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
CN101785704B (zh) * 2010-01-15 2012-06-06 广东工业大学 一种主从式微创手术机器人系统的自适应滤波装置
CN103607971B (zh) * 2011-07-07 2016-08-31 奥林巴斯株式会社 医疗主从操作器
US9931154B2 (en) * 2012-01-11 2018-04-03 Biosense Webster (Israel), Ltd. Touch free operation of ablator workstation by use of depth sensors
US10022041B2 (en) * 2012-06-27 2018-07-17 Camplex, Inc. Hydraulic system for surgical applications

Also Published As

Publication number Publication date
KR101797169B1 (ko) 2017-11-13
KR20160071407A (ko) 2016-06-21
JP6284284B2 (ja) 2018-02-28
JP2016538894A (ja) 2016-12-15
DE102013110847B3 (de) 2015-01-22
US9901411B2 (en) 2018-02-27
WO2015049095A1 (de) 2015-04-09
CN105636542A (zh) 2016-06-01
US20160235489A1 (en) 2016-08-18

Similar Documents

Publication Publication Date Title
CN105636542B (zh) 借助手势控制来控制机器人系统的控制装置和方法
US20210093402A1 (en) Systems and methods for onscreen menus in a teleoperational medical system
JP7229319B2 (ja) 手術支援装置、その制御方法、プログラム並びに手術支援システム
WO2018159338A1 (ja) 医療用支持アームシステムおよび制御装置
KR102171873B1 (ko) 햅틱 글로브 및 수술로봇 시스템
CN105407817B (zh) 医疗系统和医疗用器具控制方法
US20220168047A1 (en) Medical arm system, control device, and control method
US20230110890A1 (en) Systems and methods for entering and exiting a teleoperational state
EP3166468A1 (en) Improved interface for laparoscopic surgeries - movement gestures
WO2017164818A1 (en) Handheld surgical instrument, surgical tool system, methods of forming and operating the same
JP2012529970A (ja) 低侵襲手術のための仮想測定ツール
EP3592276B1 (en) Systems for controlling tool with articulatable distal portion
US11897127B2 (en) Systems and methods for master/tool registration and control for intuitive motion
US20210186558A1 (en) Imaging cannula with a hinged tip
WO2017098506A9 (en) Autonomic goals-based training and assessment system for laparoscopic surgery
CN108697475B (zh) 能够围绕侧倾轴线大幅旋转的用于机器人手术系统的输入装置手柄
KR101706994B1 (ko) 수술 로봇 시스템 및 그 복강경 조작 방법
KR20110049703A (ko) 수술 로봇 시스템 및 그 복강경 조작 방법
WO2021125056A1 (en) Method, apparatus and system for controlling an image capture device during surgery
US20180228558A1 (en) Device and method for controlling a system comprising an imaging modality
US20240139936A1 (en) Systems and methods for master/tool registration and control for intuitive motion
KR101709911B1 (ko) 수술 로봇 시스템 및 그 복강경 조작 방법
KR101698961B1 (ko) 수술 로봇 시스템 및 그 복강경 조작 방법
KR20210086127A (ko) 의료용 로봇 장치 및 이의 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181017

Address after: Switzerland 5400 Baden

Applicant after: ABB AG (Switzerland) Co., Ltd.

Address before: German Seefeld

Applicant before: ABB GOMTEC GMBH