CN108472086B - 使用虚拟边界避免碰撞的系统和方法 - Google Patents

使用虚拟边界避免碰撞的系统和方法 Download PDF

Info

Publication number
CN108472086B
CN108472086B CN201780006969.1A CN201780006969A CN108472086B CN 108472086 B CN108472086 B CN 108472086B CN 201780006969 A CN201780006969 A CN 201780006969A CN 108472086 B CN108472086 B CN 108472086B
Authority
CN
China
Prior art keywords
virtual
overlap
force
repositionable arm
repositionable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780006969.1A
Other languages
English (en)
Other versions
CN108472086A (zh
Inventor
P·G·格利菲斯
N·斯瓦尔普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202110683099.XA priority Critical patent/CN113384348A/zh
Publication of CN108472086A publication Critical patent/CN108472086A/zh
Application granted granted Critical
Publication of CN108472086B publication Critical patent/CN108472086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40339Avoid collision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40492Model manipulator by spheres for collision avoidance

Abstract

一种碰撞避免的系统和方法包含确定第一可重定位臂的第一接头的第一位置和第二可重定位臂的第二接头的第二位置。第一可重定位臂和第二可重定位臂的远侧端经配置为分别支撑第一器械和第二器械。系统和方法进一步包含确定围绕第一可重定位臂和第二可重定位臂的第一虚拟边界和第二虚拟边界,确定在第一虚拟边界和第二虚拟边界之间的重叠,确定由于重叠导致的在第一可重定位臂上的重叠力,将重叠力映射到在接近于重叠的第一接头上的虚拟扭矩,确定在第一器械的远侧端上的尖端力,并将尖端力作为反馈施加在第一器械上。

Description

使用虚拟边界避免碰撞的系统和方法
相关申请
此专利申请要求于2016年2月26日提交的名称为“SYSTEM AND METHOD FORCOLLISION AVOIDANCE USING VIRTUAL BOUNDARIES”的美国临时专利申请62/300,706的申请日的优先权和权益,所述美国临时专利申请通过引用以其整体被并入本文。
技术领域
本发明通常涉及远程操作具有可重定位臂的装置,且更具体地涉及使用虚拟边界避免碰撞。
背景技术
越来越多的器械正被自主装置和半自主装置替代。在现今的医院中尤为如此,其中大量的自主医疗装置和半自主医疗装置在手术室、介入室、重症监护病房、急诊室等等中被找到。例如,玻璃和水银温度计正被电子温度计替代,静脉滴注管线现今包含电子监视器和流量调节器,且传统的手持式手术器械正被计算机辅助的医疗装置替代。
这些医疗装置对操作所述医疗装置的人员提供优点和挑战两者。这些医疗装置中的许多医疗装置可以能够自主运动或半自主运动一个或多个可重定位臂和/或末端执行器。也通常通过使用操作人员工作站上的一个或多个输入控制经由远程操作来操作医疗装置以控制可重定位臂和/或末端执行器的运动和/或操作。此类装置的示例包含由加利福尼亚州森尼维耳市的直觉外科公司(Intuitive Surgical,Inc.)销售的da
Figure GDA0002872447260000011
外科手术系统。当从操作人员工作站远程地操作医疗装置和/或末端执行器正被用于操作人员不直接可见的区域中时,诸如在末端执行器被患者解剖结构、手术帘等等隐藏时的计算机辅助的外科手术期间,它可以使操作人员检测和/或避免在一个或多个可重定位臂之间的碰撞的能力复杂化,该碰撞可能导致对医疗装置的损害、对患者或其它人员的伤害,和/或无菌区中的故障。
在可重定位装置(诸如医疗装置的可重定位臂)之间的碰撞避免通常在运动规划背景中解决。在此背景中,确定可重定位臂中的每个的运动规划,并评估可重定位臂的未来运动以确定可重定位臂之间的碰撞是否将发生,其中发生对运动规划的适当校正以避免碰撞。此方法通常远离经由远程操作来控制可重定位臂的理想,这是因为可重定位臂的控制由操作人员实时指导(即,操作人员不能够察觉到在进行输入与所产生移动之间的延迟),使得可重定位臂的运动规划为未知的且不能用作碰撞避免确定的基础。作为碰撞避免的替代方案,可以使用碰撞检测方法,该碰撞检测方法在可重定位臂之间发生碰撞时将反馈提供到操作人员。但是,碰撞检测方法具有缺点。实际碰撞通常导致操作人员的糟糕的用户体验。并且,最低限度地,在臂之间的碰撞检测通常太晚检测到碰撞以至于无法避免对无菌区的损害,这是因为覆盖臂的无菌帘通常在可重定位臂碰撞之前彼此接触,且陷入在两个碰撞臂之间的帘子可能被撕裂。一些混合碰撞避免-碰撞检测系统通过建模大体积来操作,该大体积通常具有平面表面且其形状通常为凸形的,且外接可重定位臂的连杆和接头。在一些情况下,可重定位臂的连杆和接头被划分成区段,其中每个区段具有其自身的三维外接图元,例如球体、圆柱体或箱体,其中总外接体积通过采用外接图元的联合来构造。当操作可重定位臂时,将碰撞检测应用到外接体积,使得在实际碰撞发生之前检测到在外接体积之间的“碰撞”并对碰撞做出反应。其它方法包含为可重定位臂中的每个提供分离的非相交工作空间,该非相交工作空间消除对附加的碰撞检测或避免的需要。然而,这些混合方法在预测碰撞时通常太过保守,这是因为外接体积对于外接的连杆和接头而言通常过大,且这些过大的外接体积以及分离的工作空间通常妨碍以比外接体积更小的分离距离来操作可重定位臂的能力。
因此,可期望避免在计算机辅助的医疗装置的可重定位臂之间的碰撞的改进的方法和系统。
发明内容
有利地,根据本发明的系统和方法允许远程操作具有可重定位臂的装置,其中碰撞避免行为优于基于运动规划的碰撞避免方法或碰撞检测方法。在一个方面中,可重定位模型的高保真CAD(计算机辅助设计(drafting)或计算机辅助建模(modeling))或运动学模型用于创建每个可重定位臂的虚拟模型。虚拟模型随后扩展预定距离以创建虚拟边界,该虚拟边界界定围绕可重定位臂中的接头和连杆中的每个的对应的虚拟缓冲区。当可重定位臂经由远程操作来控制时,碰撞引擎确定在虚拟边界之间何时存在重叠,所述重叠指示可重定位臂中的至少两个已移动成十分接近于彼此内。表面或体积相互作用的物理模型,诸如基于表面或体积穿透的弹性模型,随后由物理引擎应用以确定施加到可重定位臂的反馈力,该反馈力将可重定位臂推开以便减少或消除虚拟边界中的重叠。反馈力随后被映射到施加到可重定位臂的那些接头的力或扭矩的变化,该力或扭矩的变化允许可重定位臂在实际碰撞发生之前被推离潜在的碰撞。在一些可选的方面中,反馈力还映射到触觉反馈,该触觉反馈施加到由操作人员所使用的输入控制以远程操作可重定位臂,以便反抗操作人员命令可重定位臂朝向碰撞情况的能力。以此方式,操作人员在输入控制中的一个或多个中的碰撞发生之前“感觉到”该碰撞,且作为响应,操作人员可以将可重定位臂移动远离潜在的碰撞。
在一些方面中,使用虚拟模型和虚拟边界来产生反馈力提供优于更传统的碰撞检测方法的优点。例如,根据可重定位臂之间的实际碰撞,例如通过注意在可重定位臂的期望位置与实际位置之间的差异来检测到的那些碰撞,通常产生不良的操作人员力反馈结果,该结果具有不良的碰撞方向性和较低的大小,该不良的碰撞方向性和较低的大小通常不提供对一个或多个输入控制的良好触觉反馈。例如,众所周知,当可重定位臂之间的物理接触用于反映用于控制那些可重定位臂的输入控制中的触觉反馈时,在触觉反馈的保真度和有力性(forcefulness)与对可重定位臂的控制稳定性之间存在伴随的妥协(compromise)。因此,简单地增加被触觉反馈到输入控制的力的大小可能导致对可重定位臂的控制的稳定性的不可接受的损失。相反,因为在发明性方面中,反馈力从虚拟边界中的重叠而非实际碰撞得到,所以通过可重定位臂的全反馈控制路径被绕开,使得即使施加较强的触觉反馈也可维持控制稳定性。此外,可以经由适当的缩放(scaling)来确定较强的碰撞方向性且可以获得较高的触觉反馈大小。增强的力和触觉反馈对操作人员体验提供附加的增强,使得一个可重定位臂的形状和轮廓可以可选地在另一可重定位臂的输入控制中被感觉到,且这可选地允许远程操作,其中可重定位臂如同沿着彼此“滑动”一般移动。(运动类似于通过使刀和磨刀钢棒沿着彼此移动来磨刀口,但臂不接触而是替代地维持界定的分离距离。)此外,虚拟边界允许可重定位臂密切接近于彼此操作,同时还避免实际碰撞,该实际碰撞可能损害可重定位臂或用于产生围绕可重定位臂的无菌区的无菌帘。
在一些方面中,用于创建虚拟边界的预定距离被控制以允许可重定位臂的靠近操作同时避免碰撞,而不过度限制可以通过其操作可重定位臂的运动的范围。在一些示例中,预定距离基于可重定位臂的建模和运动学校准来调整,其中较小的预定距离用于可用较高精度控制的可重定位臂。在一些情况下,预定距离被设定为与可重定位臂的相应连杆和接头的运动学校准近似相同的值。在一些情况下,较小的预定距离用于更接近于可重定位臂上的机械底座而定位的连杆和接头,且较高的预定距离用于更远地定位在可重定位臂上的连杆和接头。在一些情况下,预定距离可以可选地减小至零或甚至设定为其中允许碰撞的负值,诸如靠近末端执行器的远侧尖端和/或安装到可重定位臂的远侧端的器械。在一些情况下,碰撞避免可以对其中允许碰撞的可重定位臂的部分可选地停用。根据一些实施例,一种计算机辅助的医疗装置包含第一可重定位臂、第二可重定位臂、第一输入控制以及包含一个或多个处理器的控制单元。第一可重定位臂包含多个第一接头、多个第一连杆,以及经配置以支撑第一器械的第一远侧端。第二可重定位臂包含多个第二接头、多个第二连杆,以及经配置以支撑第二器械的第二远侧端。第一输入控制经配置以为第一器械提供移动命令。控制单元耦合到第一可重定位臂、第二可重定位臂以及第一输入控制。控制单元确定多个第一接头的第一位置和多个第二接头的第二位置,使用第一可重定位臂的第一虚拟模型和第一位置来确定围绕第一可重定位臂的多个第一虚拟边界,使用第二可重定位臂的第二虚拟模型和第二位置来确定围绕第二可重定位臂的多个第二虚拟边界,确定在多个第一虚拟边界中的第一虚拟边界与多个第二虚拟边界中的第一虚拟边界之间的第一重叠,确定由于第一重叠导致的在第一可重定位臂上的第一重叠力,将第一重叠力映射到在接近于第一重叠的许多第一接头上的第一虚拟扭矩,基于第一虚拟扭矩来确定第一器械的远侧端上的第一尖端力,并在将第一尖端力作为第一反馈力施加在第一器械和第一可重定位臂上。
根据一些实施例,一种通过控制单元执行的碰撞避免的方法包含确定第一可重定位臂的多个第一接头的位置,并确定第二可重定位臂的多个第二接头的第二位置。第一器械安装到第一可重定位臂的远侧端。第二器械安装到第二可重定位臂的远侧端。方法进一步包含通过使用第一可重定位臂的第一位置和第一虚拟模型来确定围绕第一可重定位臂的多个第一虚拟边界的位置,通过使用第二可重定位臂的第二位置和第二虚拟模型来确定围绕第二可重定位臂的多个第二虚拟边界的位置,确定在多个第一虚拟边界中的第一虚拟边界与多个第二虚拟边界中的第一虚拟边界之间的第一重叠,确定由于第一重叠导致的在第一可重定位臂和第二可重定位臂上的第一重叠力,将第一重叠力映射到在接近于第一重叠的第一重叠位置的多个第一接头中的第一接头上的第一虚拟扭矩,基于第一虚拟扭矩来确定第一器械的远侧端上的第一尖端力,将第一尖端力作为第一反馈力施加在第一器械和第一可重定位臂上,并将第一尖端力作为第一触觉反馈力施加到第一输入控制,该第一输入控制经配置以为第一器械提供移动命令。
根据一些实施例,一种计算机辅助的操纵装置包括可重定位臂、输入控制以及包括一个或多个处理器的控制单元。可重定位臂具有多个接头、多个连杆,以及经配置以支撑器械的远侧端。输入控制经配置以为器械提供移动命令。控制单元耦合到可重定位臂和输入控制,其中控制单元经配置以:确定多个接头的接头位置;使用可重定位臂的虚拟模型和接头位置来确定多个虚拟边界,该多个虚拟边界围绕可重定位臂或器械;确定围绕对象的对象虚拟边界;确定在对象虚拟边界与多个虚拟边界中的虚拟边界之间的重叠;确定由于重叠导致的在可重定位臂上的重叠力;将重叠力映射到多个接头中的接头上的虚拟扭矩;使用虚拟扭矩来确定在器械的远侧端上的尖端力;并在将尖端力作为反馈力施加在器械和可重定位臂上。
根据一些实施例,一种非暂时性机器可读介质存储机器可读指令,该指令在通过与计算机辅助的医疗装置相关联的一个或多个处理器执行时适于使一个或多个处理器执行一种方法。方法包含确定第一可重定位臂的多个第一接头的位置,并确定第二可重定位臂的多个第二接头的第二位置。第一器械安装到第一可重定位臂的远侧端。第二器械安装到第二可重定位臂的远侧端。方法进一步包含通过使用第一可重定位臂的第一位置和第一虚拟模型来确定围绕第一可重定位臂的多个第一虚拟边界的位置,通过使用第二可重定位臂的第二位置和第二虚拟模型来确定围绕第二可重定位臂的多个第二虚拟边界的位置,确定在多个第一虚拟边界中的第一虚拟边界与多个第二虚拟边界中的第一虚拟边界之间的第一重叠,确定由于第一重叠导致的在第一可重定位臂和第二可重定位臂上的第一重叠力,将第一重叠力映射到在接近于第一重叠的第一位置的第一接头上的第一虚拟扭矩,基于第一虚拟扭矩来确定第一器械的远侧端上的第一尖端力,将第一尖端力作为第一反馈力施加在第一器械和第一可重定位臂上,并将第一尖端力作为第一触觉反馈力施加到第一输入控制,该第一输入控制经配置以为第一器械提供移动命令。
附图说明
图1为根据一些实施例的计算机辅助系统的简化图。
图2A和2B为根据一些实施例的具有虚拟边界的两个可重定位臂的部分的简化图。
图3为根据一些实施例的具有虚拟边界的两个可重定位臂的部分的简化图,该虚拟边界具有多个重叠。
图4为根据一些实施例的一种产生用于可重定位臂的虚拟模型的方法的简化图。
图5为根据一些实施例的一种通过使用虚拟边界来避免碰撞的方法的简化图。
在附图中,具有相同标号的元件具有相同或相似的功能。
具体实施方式
在以下描述中,阐述描述与本发明一致的一些实施例的具体细节。然而,所属领域的技术人员应清楚,一些实施例可以在没有这些具体细节中的一些或全部的情况下实践。本文中所公开的具体实施例意图为说明性的而非限制性的。所属领域的技术人员可以意识到,尽管未在本文具体地描述,但是其它元件也可以在本发明的范围和精神内。此外,为避免不必要的重复,除非另外具体描述或如果结合一个实施例示出和描述的一个或多个特征使实施例不起作用,否则所述一个或多个特征可以并入到其它实施例中。术语“包含”意指包含但不限于,且除非另外陈述,否则所包含的一个或多个单独项中的每个应被认为是可选的。类似地,术语“可以”指示了项为可选的。
图1为根据一些实施例的计算机辅助系统100的简化图。如图1中示出,计算机辅助系统100包含具有一个或多个可重定位臂120的装置110。在一些示例中,一个或多个可重定位臂120中的每个可以可选地包含一个或多个连杆和一个或多个接头,其中一个或多个接头允许一个或多个连杆的铰接。在一些示例中,一个或多个可重定位臂120中的每个可以可选地包含一个或多个柔性构件,例如可转向管。一个或多个可重定位臂120中的每个经配置为支撑一个或多个末端执行器125,该末端执行器可以可选地安装到可重定位臂120中的相应可重定位臂的远侧端。可重定位臂120与安装的末端执行器125的组合件可以被称为“臂-与-末端执行器的组合件”。在一些示例中,装置110可以与计算机辅助的操纵装置(诸如计算机辅助的医疗装置)一致。计算机辅助的医疗装置的具体示例为远程操作的外科手术装置。一个或多个末端执行器125包含手术器械、成像装置等等。在一些示例中,手术器械包含钳子、夹子、牵开器、烧灼工具、吸引工具、缝合装置等等。在一些示例中,成像装置包含立体成像装置和单视场的成像装置、在可见和红外范围中的成像装置、可转向内窥镜成像装置等等。在一些示例中,可重定位臂120和/或末端执行器125中的每个在操作期间可以可选地配置有远程运动中心。远程运动中心为即使对应的可重定位臂120、末端执行器125或两者的连杆和/或接头在取向或角位置或线性位置中改变也在空间中维持静止位置的方位。例如,远程运动中心即使在末端执行器125相对于远程运动中心的取向已经改变的情况下也可以保持在静止位置中。在一些示例中,远程运动中心可以可选地对应于对应的可重定位臂120和/或末端执行器125的在操作期间插入通过患者的体壁的一部分。在一些示例中,允许远程运动中心在一范围内围绕空间中的固定方位移动。作为具体的示例,在远程运动中心是针对插入通过患者的体壁的一部分的情况下,范围可以通过使用标准来界定,该标准诸如体壁的柔韧性和材料特性、可以被适应而不对患者造成过多创伤的运动量等等。
装置110经由输入/输出(I/O)接口146耦合到控制单元130。I/O接口146可以可选地包含一个或多个线缆、连接器、端口和/或总线,且所述I/O接口可以可选地进一步包含具有一个或多个网络交换装置和/或路由装置的一个或多个网络。控制单元130包含处理器142,该处理器耦合到存储器144并耦合到I/O接口146。控制单元130的操作通过处理器142来控制。并且尽管控制单元130示出为具有仅一个处理器142,但应理解,处理器142表示控制单元130中的一个或多个中央处理单元、多核处理器、微处理器、微控制器、数字信号处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等等。控制单元130可以可选地实施为独立的子系统和/或附加到计算装置的板,或实施为虚拟机。
存储器144用于存储通过控制单元130执行的软件和/或在控制单元130的操作期间使用的一个或多个数据结构。存储器144包含一种或多种类型的机器可读介质。一些常用的机器可读介质形式可以包含软盘、柔性磁盘、硬盘、磁带、任何其它磁性介质、CD-ROM、任何其它光学介质、穿孔卡、纸带、具有孔的图案的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒式磁盘,和/或处理器或计算机适合于从其进行读取的任何其它介质。
控制单元130经由I/O接口146进一步耦合到操作人员工作站170。操作人员工作站170由操作人员(诸如外科医生)使用以通过使用远程操作来控制可重定位臂120和/或末端执行器125的移动和/或操作。为支撑可重定位臂120的远程操作,操作人员工作站170包含用于显示可重定位臂120和/或末端执行器125中的一个或多个的至少部分的图像的显示器系统180。例如,在可重定位臂120和/或末端执行器125被使用时,当操作人员看见所述可重定位臂和/或末端执行器是不可实行的和/或不可能的时,可以使用显示器系统180。操作人员工作站170进一步包含具有一个或多个输入控制195(也被称为“主控制195”)的控制台工作空间,该输入控制可以用于装置110、可重定位臂120和/或末端执行器125。输入控制195中的每个耦合到其自身的可重定位臂的远侧端,使得输入控制195的移动被操作人员工作站170检测到并通过I/O接口146传送到控制单元130。为提供改进的人体工程学,控制台工作空间可以可选地包含一个或多个搁架(rest)(例如臂搁架190),操作人员可以在操纵输入控制195时将其手臂搁置在搁架上。在一些实施例中,装置110、操作人员工作站170以及控制单元130可以可选地对应于由加利福尼亚州森尼维耳市的直觉外科公司(IntuitiveSurgical,Inc.)销售的da
Figure GDA0002872447260000091
外科手术系统。应理解,控制单元130可以可选地与装置110和工作站170分离,并入到装置110或工作站170中,或分布在装置110与工作站170之间。
返回参考控制单元130,存储器144包含若干个模块、应用程序、数据结构等等,其包含虚拟模型150、碰撞引擎152、物理引擎154、运动控制模块156以及触觉反馈模块158。虚拟模型150、碰撞引擎152、物理引擎154和/或运动控制模块156用于支持对装置110的自主和/或半自主控制,且各自可以可选地包含用于接收输入、传感器数据、指令等等的一个或多个应用程序编程接口(API)以用于支持装置110的控制,该装置包含可重定位臂120和末端执行器125。并且尽管虚拟模型150、碰撞引擎152、物理引擎154、运动控制模块156以及触觉反馈模块158被描绘为软件应用程序,但是虚拟模型150、碰撞引擎152、物理引擎154、运动控制模块156以及触觉反馈模块158中的每个可以可选地通过使用硬件、软件和/或硬件和软件的组合来实施。
当输入控制195用于通过使用远程操作来控制末端执行器125时,耦合到操作人员工作站170的可重定位臂的传感器用于感测输入控制195的位置、速度和/或取向。感测到的位置、速度和/或取向随后通过I/O接口146传递到控制单元130,其中所述感测到的位置、速度和/或取向由运动控制模块156处理以计算用于可重定位臂120和末端执行器125的接头的合适的力和/或扭矩,该力和/或扭矩将向跟踪输入控制195的对应的位置和/或取向来远程操作末端执行器125。计算出的力和/或扭矩随后通过使用I/O接口146来提供到可重定位臂120和末端执行器125中的相应接头。与本方法一致的远程操作系统的示例被进一步描述在名称为“Camera Referenced Control in a Minimally Invasive SurgicalApparatus”的美国专利No.6,424,885中,该美国专利通过引用以其整体被并入本文。
控制单元130通过使用虚拟边界来附加地支持在可重定位臂120和/或末端执行器125之间的碰撞避免。更具体地说,虚拟模型150包含可重定位臂120和/或末端执行器125的连杆和接头的高保真CAD和/或运动学模型,该高保真CAD和/或运动学模型用于至少建模构成可重定位臂120和/或末端执行器125的接头和连杆的外表面的位置。虚拟模型150被进一步参数化,使得当来自与接头相关联的传感器的输出通过使用I/O接口146被输入到控制单元130时,关于接头的位置和取向数据可以由虚拟模型150来使用以产生接头和连杆的外表面的当前位置。可通过使用虚拟模型150获得的精度可以可选地取决于在确定可重定位臂的位置时的若干实际限制,该限制影响产生针对可重定位臂120的良好运动学校准的能力。例如,虚拟模型150的精度通常受以下各项的组合影响:可重定位臂120中的每个的制造公差、校准精度、传感器精度、侧隙、磨损以及动力学等等。附加地,在可重定位臂120中,该可重定位臂包含一系列连杆,其中每个连杆界定从在近侧端耦合的连杆到在远侧端耦合的连杆的几何结构变换,其中最近侧连杆可以可选地由多个可重定位臂共用并界定几何结构变换中的每个的原点。由每个连杆界定的几何结构变换具有由于在连杆的机械组装和制造中的可变性导致的固有误差,且可以针对每个连杆测得变换中的一些或全部,所述连杆经构建以实现高运动学精度。附加地,在连杆会合在可重定位元件(诸如接头)处的情况下,在一个连杆与下一个连杆之间存在可变的几何结构变换,且通常安装并校准传感器以提供铰接的真实角度或位移以及轴线。附加地,由于例如连杆中的柔韧性,由每个连杆界定的变换可以而随施加到连杆的负载而变化,且可以可选地通过使用连杆的动力学模型来说明。一些因素(诸如传感器中的侧隙和/或连杆之间的松散附接)通常对于估计并降低运动学精度是有挑战的。附加地,模型的精度通常对于较远地位于可重定位臂上的连杆降低。在一些实施例中,运动学校准中的限制可以可选地允许虚拟模型150定位在其实际位置的6mm至12mm内的外表面。附加地,当附加的位置反馈和/或成像反馈被用于监视可重定位臂120的位置和取向时,6mm至12mm内的建模精度也提供合理的临床结果。在一些示例中,可重定位臂120和/或末端执行器125的小于建模精度的表面细节或特征被可选地简化,使得连杆和/或接头的外表面通过使用较简单、较少和/或主要为凸形的表面模型来建模。
在一些实施例中,安装在可重定位臂120和/或末端执行器125上的一个或多个配准标记、基准标记等等可以替代地通过使用一个或多个跟踪传感器(诸如成像装置)来跟踪,以补充和/或替换传感器输入以确定在可重定位臂120和/或末端执行器125中的一个或多个接头的取向。可选地,附加地和/或替代地使用其它位置和形状感测组件,例如使用光纤光栅技术的光纤形状传感器,诸如在名称为“Fiber Optic Shape Sensor”的美国专利NO.7,720,322中公开的光纤形状传感器,该美国专利通过引用以其整体被并入本文。
虚拟模型150进一步包含虚拟边界,该虚拟边界延伸超出外表面达对应的预定距离以便创建具有围绕可重定位臂120和/或末端执行器125的接头和连杆的虚拟缓冲区的虚拟边界。在一些示例中,选择虚拟边界延伸超出外表面的长度,使得接头和连杆的外表面的实际位置中的任何位置不准确性(例如,由于如上所述来自建模和/或运动学校准限制的误差)有助于确保外表面的实际位置在虚拟边界内。在一些示例中,预定距离可以被选择为与对应的接头或连杆的对应的建模和/或运动学校准近似相同或略大。在一些示例中,预定距离可以可选地对于朝向可重定位臂120和/或末端执行器125的远侧端定位的接头和/或连杆是较大,以反映较远的接头和/或连杆的大体上不太准确的建模和/或运动学校准。并且,预定距离可以被完全或部分选择以允许用于覆盖可重定位臂120的无菌帘的足够空间,以避免可能导致撕裂或刺穿帘子的损害性接触。在一些示例中,虚拟边界延伸的长度可以可选地在6mm至12mm之间。
当可重定位臂120和末端执行器125通过使用输入控制195来操纵和/或远程操作时,虚拟模型150用于确定虚拟边界的当前位置。虚拟边界的当前位置随后被传递到碰撞引擎152以确定在不同的可重定位臂120和/或末端执行器125的虚拟边界之间是否存在虚拟碰撞。在一些示例中,每当在不同的可重定位臂120和/或末端执行器125的虚拟边界之间存在相交或重叠时或替代地由于在对应的虚拟缓冲区中的超过一个重叠而检测到虚拟碰撞。虚拟边界中的每个重叠识别在对应的可重定位臂120和/或末端执行器125之间的虚拟碰撞。
每个重叠随后被传递到物理引擎154以确定对应的虚拟碰撞的对应的虚拟重叠力。在一些示例中,物理引擎154基于重叠的量、重叠的深度、重叠的体积、重叠的接触面积等等中的一个或多个来确定对应的虚拟重叠力的大小。在一些示例中,物理引擎154基于在相应的虚拟边界之间的最大重叠的方向和/或基于相应的虚拟边界在重叠处的表面法线来确定对应的虚拟重叠力的方向。在一些示例中,物理引擎154使用具有线性常数或替代地非线性常数的虚拟弹簧模型来确定虚拟重叠力的大小。在一些示例中,物理引擎154将可变形材料模型(诸如气体或流体动力学模型)用于在虚拟边界内的区域,使得重叠的体积结合虚拟边界内的区域中的虚拟材料的弹性系数提供移动力,从该移动力得到虚拟重叠力。产生虚拟反馈力的模型的示例被更详细地描述在名称为“System and Method for DynamicVirtual Collision Objects”的国际专利公开NO.WO 2015/120008中,该国际专利公开通过引用以其整体被并入本文。在一些实施例中,物理引擎154可以可选地进一步包含基于以下各项中的一个或多个在重叠的虚拟边界之间的表面相互作用效应:可变形材料模型、阻尼、滑动摩擦、表面粗糙程度等等。在一些示例中,表面相互作用效应可以可选地引起垂直于虚拟重叠力的反馈力,该反馈力建模对使一个虚拟边界沿着另一虚拟边界滑动的阻力。
虚拟重叠力随后用于确定在与虚拟碰撞相关联的相应的可重定位臂、末端执行器或臂-与-末端执行器组合件中的一个或全部上的对应的反馈。不失一般性地,此过程在下文针对相应的可重定位臂、末端执行器或臂-与-末端执行器组合件中的一个进行描述,其通常被称为相应的可重定位臂和/或末端执行器。应理解,不同的可重定位臂和/或末端执行器具有不同的运动学,且因此通过使用其自身的相应版本的各种函数和映射来分析。在一些示例中,在重叠的点与接近于重叠的点定位的相应的可重定位臂和/或末端执行器的接头之间的相应的可重定位臂和/或末端执行器的相应的雅可比逆或雅可比伪逆用于此确定中。在一些示例中,雅可比伪逆可以通过使用雅可比转置来计算。雅可比逆或雅可比伪逆用于将虚拟重叠力映射到在相应的可重定位臂和/或末端执行器中的接近于重叠点定位的每个接头中的虚拟接头扭矩。在这些示例中,虚拟接头扭矩的计算限于接近于重叠点的那些接头。在许多情况下,通过使用仅接近于虚拟碰撞的点的接头可以令人满意地减少和/或消除重叠。在其它示例中,虚拟接头扭矩的计算因此被限制,且还针对不接近于重叠的点的那些接头来确定。
在一些示例中,虚拟接头扭矩随后用于确定相应的可重定位臂和/或末端执行器的对应的尖端力。可以使用使接头扭矩与尖端力相关的函数。在一些示例中,在相应的末端执行器的尖端与相应的可重定位臂和/或末端执行器中的接头之间的雅可比逆或雅可比伪逆的逆(例如,雅可比转置的逆)随后可以与接头中的虚拟扭矩一起用于确定对应的尖端力,该尖端力可以被施加到相应的可重定位臂和/或末端执行器的最远尖端以模拟虚拟碰撞的效果。在一些示例中,对应的尖端力随后被提供到运动控制模块156以作为反馈施加到相应的可重定位臂和/或末端执行器的运动控制,使得相应的可重定位臂和/或末端执行器反抗虚拟碰撞并抵抗被远程操作成较靠近实际碰撞。在一些示例中,对应的尖端力的反馈被叠加在通过用于相应的可重定位臂和/或末端执行器的远程操作命令指定的运动上。
在一些实施例中,当超过一个重叠被碰撞引擎152检测到时,单独确定用于每个相应的重叠的相应虚拟重叠力。相应的虚拟重叠力随后用于产生与每个相应的重叠相关联的可重定位臂和/或末端执行器两者的相应的虚拟扭矩。在一些示例中,相应的虚拟扭矩可以针对其对应的可重定位臂和/或末端执行器而叠加,以确定被提供到运动控制模块156的对应的可重定位臂和/或末端执行器的总对应的尖端力。替代地,总对应的尖端力通过叠加针对每个重叠产生的单独的尖端力来确定。
在一些实施例中,经受虚拟碰撞的可重定位臂和/或末端执行器中的每个的尖端力随后被提供到触觉反馈模块158以通过相应的输入控制195将触觉反馈提供给操作人员。在一些示例中,尖端力经缩放以反映用于操纵可重定位臂120和/或末端执行器125的相对力和用于操纵对应的输入控制195的力中的差异。在一些示例中,用于相应的输入控制195的雅可比转置的逆用于将尖端力映射到输入控制195的可重定位臂中的相应的接头扭矩以将触觉反馈施加到操作人员。替代地,在一些实施例中,在可重定位臂和/或末端执行器的实际位置与可重定位臂和/或末端执行器的对应的命令位置之间的差异用于确定在相应的输入控制195中的每个上的触觉反馈。
使用虚拟边界来建模重叠力为碰撞避免提供一个或多个优点。首先,因为直到虚拟边界中的重叠被检测到之后才确定虚拟重叠力,所以实施例可以经配置使得虚拟碰撞的效果仅在对应的可重定位臂和/或末端执行器密切接近彼此时被确定,且在其它时候被忽略。其次,虚拟重叠的使用实现(a)虚拟碰撞的严重性和(b)虚拟碰撞的对应的表面法线两者的精确模型。这些较精确的模型实现在相应的可重定位臂和/或末端执行器中的反馈力的较精确方向和大小的确定,该反馈力用于推动相应的可重定位臂和/或末端执行器远离虚拟碰撞。这有助于防止在相应的可重定位臂和/或末端执行器之间的实际碰撞。
根据一些实施例,各种可选的可重定位臂和/或末端执行器运动可以用于解决其中存在一个或多个重叠的虚拟碰撞。一个可重定位臂和/或末端执行器可以保持静止,而第二可重定位臂和/或末端执行器以一个、两个或三个笛卡尔平移和取向的任何组合(此处不列出各种组合以避免过多的描述)来移动,以增加在相应的表面法线的方向上的每个重叠之间的相应距离。替代地,可重定位臂和/或末端执行器两者都可以以一个、两个或三个笛卡尔平移和取向的任何组合来移动,以增加在相应的表面法线的方向上的每个重叠之间的相应距离。在一些示例中,两个可重定位臂和/或末端执行器之间的相对运动可以可选地引起滑动型运动,该滑动型运动类似于第一连杆滑动跨越第二静止连杆,或类似于两个连杆滑动跨越彼此。在一些示例中,滑动运动可以可选地包含滚动运动,使得所产生运动类似于第一连杆围绕第二静止连杆滚动,或两个连杆围绕彼此滚动。在各种实施例中,连杆可以被建模为棒子(stick)。
因此,对于具有界定在连杆的相对端之间的纵向轴线的铰接臂和/或末端执行器的连杆,在两个相应的虚拟边界之间的重叠的方位可以沿着连杆在与纵向轴线大体上对准的方向上移动,和/或在两个相应的虚拟边界之间的重叠的方位可以大体上沿着连杆的表面上的弯曲移动。类似地,在两个相应的虚拟边界之间的重叠的方位可以沿着相应的虚拟边界中的任一个或两个的表面在与纵向轴线大体上对准的方向上移动,或在两个相应的虚拟边界之间的重叠的方位可以沿着在相应的虚拟边界中的一个或两个的表面上的弯曲移动。因此,两个可重定位臂和/或末端执行器似乎参考彼此滑动,但其间的一距离用以防止对可重定位臂和/或末端执行器的损害和/或对覆盖可重定位臂和/或末端执行器的无菌帘的损害。在一些示例中,操作人员可以可选地以输入控制中的一个或两个来体验此滑动运动,或滑动运动可以可选地在操作人员没有以输入控制来体验任何感觉的情况下发生。在一些实施例中,附加的表面相互作用效应可以可选地被包含在由虚拟边界的重叠导致的反馈中。在一些示例中,反馈可以可选地包含垂直于虚拟重叠力的力,该力建模滑动运动的阻力。在一些示例中,根据在抵着彼此滑动的两个表面之间的摩擦的建模,滑动运动的阻力的量可以与虚拟重叠力成比例。
在一些实施例中,其它配置和/或架构可以与计算机辅助系统100一起使用。在一些示例中,控制单元130可以可选地被包含为操作人员工作站170和/或装置110的一部分。在一些实施例中,计算机辅助系统100是可用于手术室和/或介入室中。并且尽管计算机辅助系统100示出为仅包含具有两个可重定位臂120的一个装置110,但所属领域的技术人员应理解,计算机辅助系统100可以可选地包含具有与装置110相似和/或不同设计的可重定位臂和/或末端执行器的任何数目的装置。在一些示例中,每个装置可以包含一个或三个或更多可重定位臂120和/或末端执行器125。
图2A和图2B为根据一些实施例的具有虚拟边界的两个可重定位臂的部分的简化图。图2A示出在其相应的虚拟边界之间没有重叠的两个可重定位臂,且图2B示出在其相应的虚拟边界之间具有重叠的相同可重定位臂。在一些示例中,两个可重定位臂与装置110的可重定位臂120和/或末端执行器125一致。
更详细地,图2A示出具有通过接头215耦合的连杆210和220的第一可重定位臂的一部分。第一可重定位臂还具有虚拟边界230,该虚拟边界延伸超出连杆210和220以及接头215的外表面达预定距离235。并且尽管第一可重定位臂在图2A中示出为在二维空间中,但应理解,连杆210和220以及接头215延伸到三维空间中,且虚拟边界230在全部三维空间中围绕连杆210和220以及接头215延伸。随着接头215被操纵(例如,以改变连杆210和220之间的角度),虚拟边界230的对应的形状被相应地改变。在一些示例中,虚拟边界230和预定距离235与包含在虚拟模型150中的第一可重定位臂的虚拟模型一致。
图2A还示出具有通过接头245耦合的连杆240和250的第二可重定位臂的一部分。第二可重定位臂还具有虚拟边界260,该虚拟边界延伸超出连杆240和250以及接头245的外表面达预定距离265。并且尽管第二可重定位臂在图2A中示出为在两维空间中,但应理解,连杆240和250以及接头245延伸到三维空间中,且虚拟边界260在全部三维空间中围绕连杆240和250以及接头245延伸。随着接头245被操纵(例如,以改变连杆240和250之间的角度),虚拟边界260的对应的形状被相应地改变。在一些示例中,虚拟边界260和预定距离265与包含在虚拟模型150中的第二可重定位臂的虚拟模型一致。
当图2A的第一可重定位臂移和第二可重定位臂移动至更靠近彼此时,可以发生在虚拟边界230与虚拟边界260之间的重叠,诸如在图2B中在重叠270处所描绘。当重叠270被碰撞引擎152检测到时,确定重叠270的若干特性。例如,即使虚拟边界230和虚拟边界260沿着虚拟边界230和虚拟边界260两者重叠变化的量,通过重叠270表示的虚拟碰撞的效果可以可选地通过记录在何处发生在虚拟边界230和虚拟边界260之间的最大重叠来表示。在一些示例中,碰撞引擎152通过以下操作来检测最大重叠:在虚拟边界中的第一虚拟边界(例如,虚拟边界230)上找到最远地延伸到通过虚拟边界中的第二虚拟边界(例如,虚拟边界260)界定的区域中的点,并记录在第一虚拟边界与第二虚拟边界之间沿着第一虚拟边界在最大重叠处的表面法线的方向的距离。这在图2B中通过使用在重叠270处的双箭头示出。在一些示例中,表面法线的方向可以可选地被物理引擎154用于确定对应的虚拟重叠力的方向,且最大重叠的量被物理引擎154用于确定虚拟重叠力的大小(例如,如先前论述经由重叠的弹簧模型的应用)。在一些实施例中,附加的表面和/或体积相互作用模型可以可选地用于确定对应的虚拟重叠力的方向和/或大小。在一些示例中,物理引擎154可以可选地将可变形材料模型(诸如气体或流体动力学模型)用于在虚拟边界内的区域,使得重叠的体积结合第一虚拟边界和第二虚拟边界内的区域中的虚拟材料的弹性系数提供移动力,从该移动力得到虚拟重叠力。产生虚拟反馈力的模型的示例被更详细地描述在名称为“Systemand Method for Dynamic Virtual Collision Objects”的国际专利公开No.WO 2015/120008中,该国际专利公开通过引用以其整体被并入本文。图2B的查阅显示,实际碰撞的最大风险的方向为沿着虚拟重叠力的方向,这是因为第一可重定位臂和第二可重定位臂的连杆和接头最靠近在一起的方向。图2B还示出在虚拟重叠力的方向上将第一可重定位臂和第二可重定位臂推开为减少和/或消除重叠270的有效方式。一旦虚拟重叠力被确定,则该虚拟重叠力可以用于将反馈施加到第一可重定位臂和第二可重定位臂两者,如先前所描述。
图3为根据一些实施例的具有虚拟边界的两个可重定位臂的部分的简化图,该虚拟边界具有多个重叠。如图3中所示,两个可重定位臂在其相应的虚拟边界之间具有多个重叠。在一些示例中,两个可重定位臂与装置110的可重定位臂120和/或末端执行器125一致。
更详细地,图3示出具有通过接头315和325分别耦合的连杆310、320以及330的第一可重定位臂的一部分。第一可重定位臂还具有虚拟边界340,该虚拟边界延伸超出连杆310、320以及330以及接头315和325的外表面达预定距离345。图3还示出具有通过接头355耦合的连杆350和360的第二可重定位臂的一部分。第二可重定位臂还具有虚拟边界370,该虚拟边界延伸超出连杆350和360以及接头355的外表面达预定距离375。正如图2A和图2B的可重定位臂和虚拟边界一样,图3的可重定位臂和虚拟边界延伸到三维空间中,且虚拟边界340和370随着接头315和325以及接头355相应地被操纵而改变形状。
如图3中进一步示出,当第一可重定位臂和第二可重定位臂移动至更靠近彼此时,可以发生在虚拟边界340与虚拟边界370之间的多个重叠,诸如在重叠380和390处描绘。碰撞引擎152和物理引擎154初始地以与其处理重叠270几乎一样的方式单独地处理重叠380和390中的每个。因此,对于重叠380和390中的每个,独立地确定用以减少和/或消除相应的重叠的相应的虚拟重叠力和相应的反馈,且有可能的是,相应的反馈可基于重叠380和390的方位来影响在第一可重定位臂和第二可重定位臂两者中的不同接头。一旦单独地确定相应的反馈,则使用叠加来确定总复合反馈。此叠加方法的功效在图3中示出。例如,在第一可重定位臂和第二可重定位臂的近侧端如通过图3中的近侧箭头所指示而定位的假设下,提供以单独地减少重叠380的反馈(例如,用以在图3的主要水平方向上推开第一可重定位臂和第二可重定位臂的部分的反馈,诸如用以造成在接头315下方的接头(未示出)的逆时针旋转和接头355的逆时针旋转的反馈)将对于减少或消除重叠390不起多大作用,且提供以单独地减少重叠390的反馈(例如,用以在图3的主要竖直方向上推开第一可重定位臂和第二可重定位臂的部分的反馈,诸如用以造成接头325的逆时针旋转和在接头355的左侧的接头(未示出)的逆时针旋转的反馈)将对于减少或消除重叠380不起多大作用。然而,通过叠加,具有用以减少重叠380的主要水平分量和用以减少重叠390的主要竖直分量的反馈更有效地减少和/或消除重叠380和重叠390两者。此叠加方法还推广到重叠的三个点或更多点,且该叠加方法还可用于附加提供反馈,该反馈由于在第一可重定位臂和/或第二可重定位臂以及第三可重定位臂(未示出)之间的重叠而发生。
图4为根据一些实施例的一种产生可重定位臂的虚拟模型的方法的简化图。方法400的过程410至430中的一个或多个可以至少部分以存储在非暂时性、有形的、机器可读介质上的可执行代码的形式实施,该可执行代码在通过一个或多个处理器(例如,控制单元130中的处理器142)运行时,可以使得一个或多个处理器执行过程410至430中的一个或多个。在一些实施例中,方法400可用于产生一个或多个数据结构和/或可执行程序以实施可重定位臂的对应的模型,该可重定位臂诸如可重定位臂120和/或末端执行器125中的任一者。在一些实施例中,虚拟模型可以为虚拟模型150中的一个。在一些实施例中,方法400可用于创建可重定位臂、末端执行器和/或由计算机辅助的医疗装置使用的器械中的每个的一个或多个虚拟模型。
在过程410处,接收可重定位臂的CAD和/或运动学模型。CAD和/或运动学模型应包含足够的(例如,高保真)细节,使得外表面细节可以以至少与可以将可重定位臂控制到的精度一样良好的精度来建模。在一些示例中,高保真精度为具有6mm至12mm或更小的精度的精度。因此,CAD和/或运动学模型包含关于可重定位臂中的连杆和接头的类型、数目、形状和/或配置的细节。在一些示例中,CAD和/或运动学模型可以进一步包含关于可重定位臂中的每个接头在可重定位臂的操作期间可以如何被操纵和/或可重定位的信息。在一些示例中,CAD和/或运动学模型可以从CAD或类似的工具产生。
在过程420处,确定凸包。通过使用在过程410期间接收到的CAD和/或运动学模型,可重定位臂被划分成区段。区段经选择使得相应区段中的每个的外表面可以通过使用凸包来近似在期望的精度内。在一些示例中,CAD工具可以可选地用于从CAD和/或运动学模型提取凸包。在一些示例中,CAD和/或运动学模型可以可选地包含近似相应区段中的每个的外表面的顶点和/或控制点的网格。在一些示例中,用于网格中或用作凸包模型的一部分的顶点和/或控制点的数目可以可选地基于凸包的期望精度来选择。在一些示例中,期望精度为6mm至12mm或更小。在一些示例中,每个区段的期望精度可以可选地改变(例如,使得可重定位臂的更近区段以比可重定位臂的更远区段更大的精度来建模)。在一些示例中,所确定的相应区段的凸包可以可选地通过消除和/或平滑在尺寸上具有比期望精度更精细的变化的外表面特征来表示相应区段的外表面的简化模型。
在过程430处,扩展凸包。为产生用于每个区段的虚拟边界,且可重定位臂作为一个整体,在过程420期间确定的每个凸包基于预定距离来在大小上扩展。以此方式,虚拟边界提供围绕可重定位臂的连杆和接头的虚拟缓冲区。在一些示例中,预定距离被选择为至少与运动学校准一样准确,运动控制模块(诸如运动控制模块156)能够将可重定位臂定位并取向至运动学校准。在一些示例中,预定距离可以可选地针对可重定位臂的不同区段而改变。在一些示例中,更近地位于可重定位臂上的区段可以比更远地位于可重定位臂上的区段可选地具有更小的预定距离。
在一些实施例中,虚拟模型可以可选地被参数化以说明在可重定位臂被操作和/或操纵时在可重定位臂的接头中的位置和/或铰接中的变化。因此,使用虚拟模型的应用程序或模块能够将当前接头位置和/或取向提供到虚拟模型,且产生说明当前接头位置和/或取向的对应的虚拟边界并使所述虚拟边界可供使用。在一些示例中,通过使用API和/或类似的调用接口来将接头位置和/或取向提供到虚拟模型。
在一些实施例中,虚拟模型可以可选地被参数化以指定沿着可重定位臂的位置,虚拟边界在所述位置处终止。在一些示例中,远离该位置定位的可重定位臂的区段不用于产生虚拟边界,使得通过虚拟模型产生的虚拟边界不包含更远离该位置的边界区段。这允许虚拟模型的用户抑制更远离位置的虚拟边界,使得在远离位置处没有检测到重叠和/或虚拟碰撞。在一些示例中,这允许虚拟碰撞在可重定位臂和/或其末端执行器与另一虚拟臂和/或末端执行器之间的实际碰撞被准许的情况下被切断。在一些示例中,位置经选择以对应于其中可重定位臂和/或其末端执行器插入通过患者的体壁的位置。在一些示例中,位置可以可选地对应于可重定位臂的远程运动中心。在一些示例中,虚拟边界可以可选地通过使用零预定距离和/或负预定距离来实施,使得碰撞被准许,但其中期望至少一些反馈以限制碰撞的严重性和/或程度。
在一些实施例中,重复方法400以产生期望碰撞避免的每个可重定位臂的虚拟模型。在图1的示例中,方法400将针对每个可重定位臂120而重复以产生虚拟模型150中的对应一个虚拟模型。
图5为根据一些实施例的一种通过使用虚拟边界来避免碰撞的方法的简化图。方法500的过程510至560中的一个或多个可以至少部分以存储在非暂时性、有形的、机器可读介质上的可执行代码的形式来实施,该可执行代码在通过一个或多个处理器(例如,控制单元130中的处理器142)运行时,可以使得一个或多个处理器执行过程510至560中的一个或多个。在一些实施例中,方法500可以可选地通过一个或多个模块或应用程序来执行,该模块或应用程序诸如虚拟模型150、碰撞引擎152、物理引擎154、运动控制模块156和/或触觉反馈模块158。在一些实施例中,方法500可用于确定在两个或更多可重定位臂的虚拟边界之间的一个或多个虚拟碰撞,并使用那些虚拟边界来将反馈提供到可重定位臂以帮助减少和/或消除可重定位臂之间的实际碰撞。在一些实施例中,方法500可用于将触觉反馈提供给可重定位臂的操作人员以阻止操作人员的尝试以将可重定位臂操纵成其中可重定位臂之间发生实际碰撞的配置。在一些实施例中,方法500可用于在可重定位臂120和/或末端执行器125通过使用输入控制195来远程操作时降低可重定位臂和/或末端执行器之间的碰撞的可能性。在一些实施例中,方法500可用于在计算机辅助的医疗装置被用于执行一个或多个程序时降低在可重定位臂、末端执行器和/或计算机辅助的医疗装置的器械之间的碰撞的可能性。
在过程510处,确定可重定位臂的位置。在可重定位臂和/或其末端执行器之间的碰撞避免通过确定期望碰撞避免的可重定位臂和/或其末端执行器中的每个的当前位置来开始。在一些实施例中,接收到来自与每个可重定位臂的接头相关联的一个或多个传感器的数据。传感器数据包含关于可重定位臂中的接头的取向的信息,使得确定可重定位臂的当前位置。在一些示例中,一个或多个运动学模型和/或虚拟模型(诸如使用方法400产生的虚拟模型)用于将接头取向信息转换成可重定位臂的位置。在一些示例中,接头的取向作为参数提供到一个或多个运动学和/或虚拟模型。在一些实施例中,安装在可重定位臂上的一个或多个配准标记、基准标记等等可以替代地使用一个或多个跟踪传感器(诸如成像装置)来跟踪,以补充和/或替换传感器数据以确定可重定位臂中的接头的取向。
在过程520处,确定可重定位臂的虚拟边界。一旦在过程510期间确定可重定位臂的位置,则可重定位臂的位置可用于通过使用一个或多个虚拟模型来产生每个可重定位臂的虚拟边界的当前位置。在一些示例中,一个或多个虚拟模型对应于虚拟模型150和/或使用方法400所产生的虚拟模型。
在过程530处,确定在虚拟边界之间的一个或多个重叠。在过程520期间每个可重定位臂所确定的虚拟边界使用碰撞引擎(诸如碰撞引擎152)来比较,以确定在不同的可重定位臂的虚拟边界之间是否存在任何重叠。在一些示例中,因为每个虚拟边界可以可选地通过使用一个或多个凸体(诸如在过程430期间确定的凸包)来界定,所以将来自每个虚拟边界的每个凸体与来自其它虚拟边界中的每个的凸体比较,以便找到其中虚拟边界中发生重叠的每个地方。在一些示例中,比较可以可选地包含迭代比较策略,其中凸体的粗略近似用于快速地确定潜在的重叠,且凸体和虚拟边界的实际模型用于检测实际重叠。在一些示例中,每当一个虚拟边界侵入到其它虚拟边界中或与其它虚拟边界相交时,检测到在两个虚拟边界之间的重叠。在一些示例中,每个重叠的检测包含确定在两个虚拟边界之间的最大重叠的量和方位以及最大重叠的方向和/或其它虚拟重叠性质,虚拟重叠力的方向和大小可以从所述其它虚拟重叠性质来确定。在一些示例中,通过以下操作来确定最大重叠:在虚拟边界中的第一虚拟边界上找到最远延伸到通过虚拟边界中的第二虚拟边界界定的区域中的点,并记录在第一虚拟边界与第二虚拟边界之间沿着第一虚拟边界在最大重叠处的表面法线的方向的距离。在一些示例中,表面法线的方向用于确定与重叠相关联的方向,该方向指示应施加反馈力以减少和/或消除重叠的方向。
在过程540处,进而处理在过程530期间检测到的每个重叠,使得每个重叠和其对应的虚拟碰撞的效果用于提供反馈以减少和/或消除虚拟碰撞。当每个重叠被处理时,重叠变成当前重叠。
在过程542处,确定当前重叠的虚拟重叠力。在过程530期间检测到的当前重叠通过物理引擎(诸如物理引擎154)来处理以确定当前虚拟碰撞的虚拟重叠力。在一些示例中,虚拟重叠力的大小是基于重叠的量,且虚拟重叠力的方向是基于在虚拟边界之间的最大重叠的方向和/或基于虚拟边界在重叠处的表面法线。在一些示例中,具有线性常数或替代地非线性常数的虚拟弹簧模型用于确定虚拟重叠力的大小。在一些示例中,用于在虚拟边界内的区域的可变形材料模型(诸如气体或流体动力学模型),使得重叠的体积结合虚拟边界内的区域中的虚拟材料的弹性系数提供移动力,从该移动力得到虚拟重叠力。产生虚拟反馈力的模型的示例被更详细地描述在名称为“System and Method for Dynamic VirtualCollision Objects”的国际专利公开No.WO 2015/120008中,该国际专利公开通过引用以其整体被并入本文。
在过程544处,确定近侧接头上的虚拟扭矩。通过使用在过程542期间确定的虚拟重叠力,确定在接近于与当前虚拟碰撞相关联的两个可重定位臂中的重叠的每个接头中的对应的虚拟扭矩。在一些示例中,在重叠的点与近侧接头之间的相应的雅可比转置用于将虚拟重叠力映射到虚拟扭矩。在此实施例中,虚拟扭矩的计算限于接近于重叠的那些接头,这是因为重叠可以通过使用仅接近于虚拟碰撞的点的接头来令人满意地减少和/或消除;在其它实施例中,也确定其它接头的虚拟扭矩的计算。在一些示例中,可重定位臂的运动学有时可以导致不计算接近于重叠的接头中的一个或多个的虚拟扭矩,指示那些接头的操纵对重叠的减少或消除不起作用。单独地确定与当前虚拟碰撞相关联的每个可重定位臂的虚拟扭矩,这是因为当前虚拟碰撞可以发生在两个可重定位臂上的不同方位处,且两个可重定位臂可以具有不同的运动学模型。在一些示例中,在近侧接头上的虚拟扭矩的确定可以可选地通过物理引擎和/或运动控制模块来执行。
在过程546处,确定虚拟尖端力。通过使用在过程544期间确定的虚拟扭矩,确定与当前虚拟碰撞相关联的每个可重定位臂的对应的虚拟尖端力。每个对应的虚拟尖端力表示可以施加到对应的可重定位臂的最远侧端的有效力以将可重定位臂移动远离当前重叠。在一些示例中,每个可重定位臂的虚拟扭矩通过使用在对应的可重定位臂的最远侧端与对应的可重定位臂的接头之间的对应的雅可比转置的逆来映射到对应的虚拟尖端力。
在过程548处,当前重叠的效果与先前处理的重叠的效果叠加。在一些示例中,在过程546期间确定的每个可重定位臂的虚拟尖端力叠加(例如,添加到)对应的可重定位臂所确定的任何先前虚拟尖端力。因此,在过程548处,虚拟尖端力通过每个当前重叠和对应的可重定位臂经受的对应的当前虚拟碰撞来调整,以产生每个可重定位臂的总虚拟尖端力。在一些示例中,重叠的效果的叠加可以可选地通过物理引擎和/或运动控制模块执行。
过程542至548随后针对在过程530期间检测到的每个重叠来重复。
在过程550处,施加反馈力。在过程548期间产生的总虚拟尖端力作为反馈力施加到每个可重定位臂。在一些示例中,每个可重定位臂的总虚拟尖端力被提供到运动控制应用程序,例如包括对应的可重定位臂的运动控制模块(例如,运动控制模块156)的运动控制应用程序。运动控制应用程序将总虚拟尖端力作为反馈施加到对应的可重定位臂的运动控制,使得对应的可重定位臂反抗对应的可重定位臂所检测的虚拟碰撞。以此方式,运动控制模块能够施加抵抗作用,该抵抗作用帮助防止对应的可重定位臂被远程操作成更靠近实际碰撞,但不反抗移动对应的可重定位臂以免于即将发生的碰撞的运动。在一些示例中,对应的虚拟尖端力的反馈被叠加在通过用于对应的可重定位臂的远程操作命令指定的运动上。
在过程560处,施加触觉反馈力。在过程548期间产生的总尖端力作为触觉反馈施加到对应的输入控制(诸如输入控制195),该输入控制用于远程操作对应的可重定位臂。在一些示例中,每个总尖端力经缩放以反映用于操纵对应的可重定位臂的相对力和用于操纵对应的输入控制的力中的差异。在一些示例中,用于对应的输入控制的雅可比转置的逆用于将总尖端力映射到在输入控制的可重定位臂中的相应的接头扭矩以将触觉反馈施加到对应的输入控制。在一些实施例中,在对应的可重定位臂的实际位置与对应的可重定位臂的命令位置之间的差异可选地用于确定对应的输入控制上的触觉反馈。在一些实施例中,在如通过在过程550期间施加的反馈力调整的针对对应的可重定位臂的当前命令与来自对应的输入控制的对应的可重定位臂的命令位置之间的差异可选地用于确定对应的输入控制上的触觉反馈。
过程510至560随后以合适的间隔来重复(诸如在用于具有可重定位臂的装置的控制循环期间)以提供对在虚拟边界之间指示虚拟碰撞的重叠的连续监视,并将反馈提供到可重定位臂且将触觉反馈提供到输入控制。
如上文所论述且在此处进一步强调,图5仅为示例,该示例不应不适当地限制权利要求的范围。所属领域的技术人员应认识到许多变化、替代以及修改。在一些实施例中,当在过程530期间未检测到重叠时,跳过过程540至560且不施加反馈力和/或触觉反馈力。在一些实施例中,每个重叠中的效果可以可选地以不同方式叠加。在一些示例中,在过程544期间确定的虚拟扭矩可以在逐接头(joint-by-joint)的基础上叠加,以确定由于在过程530期间检测到的重叠和对应的虚拟碰撞导致的在可重定位臂中的每个接头的总虚拟扭矩。总虚拟扭矩随后被提供到运动控制应用程序,其中该总虚拟扭矩被叠加在由于其它控制输入导致的接头扭矩上,该其它控制输入诸如来自输入控制的远程操作命令。
在一些实施例中,由于可重定位臂中的冗余自由度导致的效果可以可选地在施加反馈力和/或触觉反馈力时说明。因为在其运动中具有冗余自由度的可重定位臂可以包含不影响可重定位臂的尖端的姿势的可重定位元件和/或接头运动,所以可重定位臂的运动被划分成运动的两个正交集合:引起尖端的姿势的变化的那些运动,和不引起尖端的姿势的变化且有时被称为零空间运动的那些运动。为解决此问题,施加到处于零空间运动的可重定位臂的可重定位元件和/或接头的反馈力可以可选地省略,这是因为该反馈力不引起尖端的运动且因此不产生触觉反馈运动。
在一些实施例中,可以可期望缓慢地逐步实现(phase)方法500的反馈效果。在一些示例中,计算机辅助的医疗装置的操作模式从其中不使用方法500的模式到其中使用方法500的模式的转换可能导致末端执行器和/或可重定位臂运动的不期望的风险。在一些示例中,当在模式之间的转换发生时在两个可重定位臂之间存在已有的重叠时,在过程550期间的反馈力和/或在过程560期间的触觉反馈力在先前未施加此类力时的快速施加,这可能导致在末端执行器和/或可重定位臂中的不期待运动和/或不期望运动。在一些示例中,这可以可选地通过在初始转换到其中执行方法500的模式中后逐步实现反馈力和触觉反馈力来解决。在一些示例中,反馈力和/或触觉反馈力可以可选地使用斜坡、一系列步骤等等来逐步实现。在一些示例中,反馈力和/或触觉力可以可选地在预定时间段上中逐步实现,该预定时间段诸如近似一秒。
控制单元(诸如控制单元130)的一些示例可以包含非暂时性、有形的、机器可读介质,该介质包含可执行代码,该可执行代码在通过一个或多个处理器(例如,处理器142)运行时,可以使得一个或多个处理器执行方法400和/或500的过程。可以包括方法400和/或500的过程的一些常用的机器可读介质形式为例如,软盘、柔性磁盘、硬盘、磁带、任何其它磁性介质、CD-ROM、任何其它光学介质、穿孔卡、纸带、具有孔的图案的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒式磁盘,和/或处理器或计算器适合于从其进行读取的任何其它介质。
尽管已示出和描述说明性实施例,但是在前述公开内容中设想了较宽范围的修改、改变以及替换,且在一些示例中,实施例的一些特征可以在没有其它特征的对应的使用的情况下被采用。所属领域的技术人员应认识到许多变化、替代以及修改。例如,可以应用类似的技术以确定围绕除可重定位臂、末端执行器或臂-和-末端执行器的组合件外的其它对象的一个或多个其它虚拟边界。此类其它对象可以包含装置110的另一部分、操作人员工作站170的一部分、其它设备(例如手术床、手推车、器具、墙壁、人等)。用于用此类其它虚拟边界检测可重定位臂、末端执行器或臂-和-末端执行器的组合件的虚拟碰撞并对所述虚拟碰撞做出响应的过程对于此类虚拟碰撞的臂、末端执行器或臂-和-末端执行器的组合件而言可以与本文中所描述相同。
因此,本发明的范围应仅通过随附权利要求来限制,且广泛地且以与本文中所公开的实施例的范围一致的方式来解释权利要求是合适的。

Claims (42)

1.一种计算机辅助的医疗装置,所述装置包括:
第一可重定位臂,所述第一可重定位臂具有多个第一接头、多个第一连杆,以及经配置以支撑第一器械的第一远侧端;
第二可重定位臂,所述第二可重定位臂具有多个第二接头、多个第二连杆,以及经配置以支撑第二器械的第二远侧端;
第一输入控制,所述第一输入控制经配置以为所述第一器械提供移动命令;以及
控制单元,所述控制单元包括一个或多个处理器,所述控制单元耦合到所述第一可重定位臂、所述第二可重定位臂以及所述第一输入控制,其中所述控制单元:
确定所述多个第一接头的第一接头位置和所述多个第二接头的第二接头位置;
使用所述第一可重定位臂的第一虚拟模型和所述第一接头位置来确定围绕所述第一可重定位臂的多个第一虚拟边界;
使用所述第二可重定位臂的第二虚拟模型和所述第二接头位置来确定围绕所述第二可重定位臂的多个第二虚拟边界;
确定在所述多个第一虚拟边界中的第一个第一虚拟边界与所述多个第二虚拟边界中的第一个第二虚拟边界之间的第一重叠;
确定由于所述第一重叠导致的在所述第一可重定位臂上的第一重叠力;
将所述第一重叠力映射到在所述多个第一接头中的数个第一接头上的第一虚拟扭矩;
基于所述第一虚拟扭矩来确定在所述第一器械的远侧端上的第一尖端力;以及
将所述第一尖端力作为第一反馈力施加在所述第一器械和所述第一可重定位臂上。
2.根据权利要求1所述的计算机辅助的医疗装置,其中所述控制单元通过以下操作来确定由于所述第一重叠导致的在所述第一可重定位臂上的所述第一重叠力:
确定由于所述第一重叠导致的在所述第一可重定位臂和所述第二可重定位臂上的所述第一重叠力。
3.根据权利要求1所述的计算机辅助的医疗装置,其中所述数个第一接头包含所述多个第一接头中接近于所述第一重叠的第一接头。
4.根据权利要求1所述的计算机辅助的医疗装置,其中所述控制单元进一步:
通过使用所述第一尖端力来将第一触觉反馈力施加到所述第一输入控制。
5.根据权利要求1所述的计算机辅助的医疗装置,其中所述控制单元进一步:
通过缩放所述第一尖端力来将第一触觉反馈力施加到所述第一输入控制。
6.根据权利要求1所述的计算机辅助的医疗装置,其中所述控制单元进一步:
基于在由于将所述第一反馈力施加在所述第一器械上导致的所述第一器械的第一命令位置与从所述第一输入控制确定的所述第一器械的第二命令位置之间的差异来将第一触觉反馈力施加到所述第一输入控制。
7.根据权利要求1所述的计算机辅助的医疗装置,其中所述控制单元进一步:
确定在所述多个第一虚拟边界中的第二个第一虚拟边界与所述多个第二虚拟边界中的第二个第二虚拟边界之间的第二重叠;
确定由于所述第二重叠导致的在所述第一可重定位臂上的第二重叠力;
将所述第二重叠力映射到所述多个第一接头中接近于所述第二重叠的第二重叠位置的第一接头上的第二虚拟扭矩;
叠加所述第一虚拟扭矩和所述第二虚拟扭矩以产生叠加的第一虚拟扭矩和第二虚拟扭矩;以及
基于所述第一虚拟扭矩通过使用叠加的所述第一虚拟扭矩和所述第二虚拟扭矩来确定在所述第一器械的所述远侧端上的所述第一尖端力。
8.根据权利要求1所述的计算机辅助的医疗装置,其中:
所述第一虚拟模型包括近似所述第一可重定位臂的物理几何结构的多个凸包;以及
所述多个第一虚拟边界中的每个边界对应于所述凸包中的相应凸包在大小上扩展相应距离。
9.根据权利要求8所述的计算机辅助的医疗装置,其中所述多个第一虚拟边界中的每个边界的相应距离基于所述第一可重定位臂的运动学校准。
10.根据权利要求8所述的计算机辅助的医疗装置,其中所述多个第一虚拟边界中的每个边界的相应距离不小于6mm且不超过12mm。
11.根据权利要求8所述的计算机辅助的医疗装置,其中所述多个第一虚拟边界中的一个边界的所述相应距离为零。
12.根据权利要求8所述的计算机辅助的医疗装置,其中所述多个第一虚拟边界中的一个边界的所述相应距离为负。
13.根据权利要求8所述的计算机辅助的医疗装置,其中对于所述多个第一虚拟边界中的更接近于所述第一可重定位臂的机械基座定位的边界,所述相应距离更短。
14.根据权利要求1所述的计算机辅助的医疗装置,其中所述第一接头位置通过使用耦合到所述第一可重定位臂的一个或多个传感器来确定。
15.根据权利要求1所述的计算机辅助的医疗装置,其中所述多个第一虚拟边界仅应用到所述第一可重定位臂和所述第一器械的接近于身体开口的部分,在所述身体开口处所述第一器械插入到患者中。
16.根据权利要求1所述的计算机辅助的医疗装置,其中所述多个第一虚拟边界仅应用于所述第一可重定位臂和所述第一器械的接近于所述第一可重定位臂和所述第一器械的远程运动中心的部分。
17.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中所述第一重叠力通过使用所述第一可重定位臂的雅可比转置来映射到所述第一虚拟扭矩,所述雅可比转置在所述第一重叠的第一重叠位置与所述多个第一接头中接近于所述第一重叠位置的所述第一接头之间。
18.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中所述第一尖端力通过使用所述第一可重定位臂的雅可比转置的逆来进一步确定,所述雅可比转置在所述第一器械的所述远侧端与所述多个第一接头之间。
19.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中通过使用虚拟弹簧模型根据所述第一重叠来确定所述第一重叠力。
20.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中通过使用可变形材料模型根据所述第一重叠来确定所述第一重叠力。
21.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中所述第一重叠对应于在所述多个第一虚拟边界中的所述第一个第一虚拟边界与所述多个第二虚拟边界中的所述第一个第二虚拟边界之间的最大重叠。
22.根据权利要求21所述的计算机辅助的医疗装置,其中所述第一重叠力的方向与所述最大重叠的方向对准。
23.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中所述第一重叠力的方向正交于所述多个第一虚拟边界中的所述第一个第一虚拟边界在所述第一重叠的第一重叠位置处的表面。
24.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中所述第一重叠力的大小基于所述第一重叠的最大重叠、所述第一重叠的表面积或所述第一重叠的体积来确定。
25.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中所述控制单元进一步确定在所述第一重叠处的表面相互作用力,所述表面相互作用力垂直于所述第一重叠力。
26.根据权利要求25所述的计算机辅助的医疗装置,其中所述表面相互作用力的大小与所述第一重叠力的大小成比例。
27.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中所述第一反馈力叠加在由于从所述第一输入控制接收到的移动命令而施加到所述第一器械的力上。
28.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中当所述多个第一虚拟边界中没有边界与所述多个第二虚拟边界中的任何边界重叠时,所述第一反馈力为零。
29.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中所述第一反馈力反抗所述第一可重定位臂的可能造成所述第一可重定位臂与所述第二可重定位臂之间的碰撞的运动。
30.根据权利要求1至16中的任一权利要求所述的计算机辅助的医疗装置,其中所述第一反馈力不反抗所述第一可重定位臂的远离所述第一可重定位臂与所述第二可重定位臂之间的即将发生的碰撞的运动。
31.一种非暂时性机器可读介质,其存储机器可读指令,所述机器可读指令在通过与计算机辅助的医疗装置相关联的一个或多个处理器执行时适于使所述一个或多个处理器执行碰撞避免的方法,所述方法包括:
确定第一可重定位臂的多个第一接头的第一位置,第一器械被安装到所述第一可重定位臂的远侧端;
确定第二可重定位臂的多个第二接头的第二位置,第二器械被安装到所述第二可重定位臂的远侧端;
通过使用所述第一可重定位臂的所述第一位置和第一虚拟模型来确定围绕所述第一可重定位臂的多个第一虚拟边界的位置;
通过使用所述第二可重定位臂的所述第二位置和第二虚拟模型来确定围绕所述第二可重定位臂的多个第二虚拟边界的位置;
确定在所述第一虚拟边界中的第一个第一虚拟边界与所述第二虚拟边界中的第一个第二虚拟边界之间的第一重叠;
确定由于所述第一重叠导致的在所述第一可重定位臂和所述第二可重定位臂上的第一重叠力;
将所述第一重叠力映射到所述多个第一接头中接近于所述第一重叠的第一重叠位置的第一接头上的第一虚拟扭矩;
基于所述第一虚拟扭矩来确定在所述第一器械的远侧端上的第一尖端力;
将所述第一尖端力作为第一反馈力施加在所述第一器械和所述第一可重定位臂上;以及
将所述第一尖端力作为第一触觉反馈力施加到第一输入控制,所述第一输入控制经配置以为所述第一器械提供移动命令。
32.根据权利要求31所述的非暂时性机器可读介质,其中所述方法进一步包括:
确定在所述第一虚拟边界中的第二个第一虚拟边界与所述第二虚拟边界中的第二个第二虚拟边界之间的第二重叠;
确定由于所述第二重叠导致的在所述第一可重定位臂上的第二重叠力;
将所述第二重叠力映射到所述多个第一接头中接近于所述第二重叠的第二重叠位置的第一接头上的第二虚拟扭矩;以及
将所述第一虚拟扭矩和所述第二虚拟扭矩叠加到叠加的第一虚拟扭矩和第二虚拟扭矩;其中
基于所述第一虚拟扭矩来确定在所述第一器械的所述远侧端上的所述第一尖端力包括使用叠加的所述第一虚拟扭矩和所述第二虚拟扭矩。
33.根据权利要求31所述的非暂时性机器可读介质,其中:
所述第一虚拟模型包括近似所述第一可重定位臂的物理几何结构的多个凸包;以及
所述第一虚拟边界中的每个边界对应于所述凸包中的相应凸包在大小上扩展相应距离。
34.根据权利要求31至33中的任一权利要求所述的非暂时性机器可读介质,其中将所述第一重叠力映射到所述第一虚拟扭矩包括使用所述第一可重定位臂的雅可比转置,所述雅可比转置在所述第一重叠位置与所述多个第一接头中接近于所述第一重叠位置的第一接头之间。
35.根据权利要求31至33中的任一权利要求所述的非暂时性机器可读介质,其中确定所述第一尖端力包括使用所述第一可重定位臂的雅可比转置的逆,所述雅可比转置在所述第一器械的所述远侧端与所述多个第一接头之间。
36.根据权利要求31至33中的任一权利要求所述的非暂时性机器可读介质,其中所述方法进一步包括基于在由于将所述第一反馈力施加在所述第一器械上导致的所述第一器械的第一命令位置与根据所述第一输入控制确定的所述第一器械的第二命令位置之间的差异来确定所述第一触觉反馈力。
37.一种计算机辅助的操纵装置,所述装置包括:
可重定位臂,所述可重定位臂具有多个接头、多个连杆,以及经配置以支撑器械的远侧端;
输入控制,所述输入控制经配置以为所述器械提供移动命令;以及
控制单元,所述控制单元包括一个或多个处理器,所述控制单元耦合到所述可重定位臂和所述输入控制,其中所述控制单元经配置以:
确定所述多个接头的接头位置;
使用所述可重定位臂的虚拟模型和所述接头位置来确定多个虚拟边界,所述多个虚拟边界围绕所述可重定位臂或所述器械;
确定围绕对象的对象虚拟边界;
确定在所述对象虚拟边界与所述多个虚拟边界中的虚拟边界之间的重叠;
确定由于所述重叠导致的在所述可重定位臂上的重叠力;
将所述重叠力映射到在所述多个接头中的接头上的虚拟扭矩;
通过使用所述虚拟扭矩来确定在所述器械的远侧端上的尖端力;以及
将所述尖端力作为反馈力施加在所述器械和所述可重定位臂上。
38.根据权利要求37所述的计算机辅助的操纵装置,其中所述对象包括第二可重定位臂,所述第二可重定位臂具有多个第二接头、多个第二连杆,以及经配置以支撑第二器械的第二远侧端。
39.根据权利要求37或38所述的计算机辅助的操纵装置,其中所述控制单元经配置以通过以下操作将所述重叠力映射到在所述多个接头中的接头上的所述虚拟扭矩:
将所述重叠力映射到在所述多个接头中的数个接头上的多个虚拟扭矩,所述多个虚拟扭矩包括所述虚拟扭矩且所述数个接头包括所述接头。
40.根据权利要求39所述的计算机辅助的操纵装置,其中所述控制单元经配置以通过以下操作通过使用所述虚拟扭矩来确定在所述器械的所述远侧端上的所述尖端力:
通过使用所述多个虚拟扭矩来确定在所述器械的所述远侧端上的所述尖端力。
41.根据权利要求39所述的计算机辅助的操纵装置,其中所述数个接头包含所述多个接头中接近于所述重叠的接头。
42.根据权利要求37或38所述的计算机辅助的操纵装置,其中所述控制单元进一步经配置以:
通过使用所述尖端力将触觉反馈力施加到所述输入控制。
CN201780006969.1A 2016-02-26 2017-02-03 使用虚拟边界避免碰撞的系统和方法 Active CN108472086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110683099.XA CN113384348A (zh) 2016-02-26 2017-02-03 使用虚拟边界避免碰撞的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662300706P 2016-02-26 2016-02-26
US62/300,706 2016-02-26
PCT/US2017/016427 WO2017146890A1 (en) 2016-02-26 2017-02-03 System and method for collision avoidance using virtual boundaries

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110683099.XA Division CN113384348A (zh) 2016-02-26 2017-02-03 使用虚拟边界避免碰撞的系统和方法

Publications (2)

Publication Number Publication Date
CN108472086A CN108472086A (zh) 2018-08-31
CN108472086B true CN108472086B (zh) 2021-07-09

Family

ID=59686493

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110683099.XA Pending CN113384348A (zh) 2016-02-26 2017-02-03 使用虚拟边界避免碰撞的系统和方法
CN201780006969.1A Active CN108472086B (zh) 2016-02-26 2017-02-03 使用虚拟边界避免碰撞的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110683099.XA Pending CN113384348A (zh) 2016-02-26 2017-02-03 使用虚拟边界避免碰撞的系统和方法

Country Status (5)

Country Link
US (2) US10717194B2 (zh)
EP (1) EP3419543B1 (zh)
KR (1) KR20180109855A (zh)
CN (2) CN113384348A (zh)
WO (1) WO2017146890A1 (zh)

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
JP6748088B2 (ja) 2015-02-25 2020-08-26 マコ サージカル コーポレーション 外科手術中の追跡中断を低減するナビゲーションシステム及び方法
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
JP2019503218A (ja) 2016-01-12 2019-02-07 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 制御状態同士の間の段階的な力フィードバック移行
CN114886569A (zh) 2016-01-12 2022-08-12 直观外科手术操作公司 触觉致动器的均匀缩放
CA3010863C (en) * 2016-01-19 2024-01-16 Titan Medical Inc. Method and apparatus for positioning a workstation for controlling a robotic system
KR20180109855A (ko) 2016-02-26 2018-10-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 가상 경계를 이용하는 충돌 회피 시스템 및 방법
JP6733239B2 (ja) * 2016-03-18 2020-07-29 セイコーエプソン株式会社 制御装置及びロボットシステム
US10384353B2 (en) * 2016-05-16 2019-08-20 Kurion, Inc. System and method for a robotic manipulator system
EP3512669B1 (de) * 2016-09-14 2023-07-26 KEBA Industrial Automation GmbH Steuervorrichtung und steuerverfahren für industrielle maschinen mit gesteuerten bewegungsantrieben
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人系统
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP7013766B2 (ja) * 2017-09-22 2022-02-01 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、及び制御方法
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11045197B2 (en) 2017-10-30 2021-06-29 Cilag Gmbh International Clip applier comprising a movable clip magazine
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11793537B2 (en) 2017-10-30 2023-10-24 Cilag Gmbh International Surgical instrument comprising an adaptive electrical system
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
EP3684283A4 (en) 2017-12-18 2021-07-14 Auris Health, Inc. METHODS AND SYSTEMS FOR MONITORING AND NAVIGATION OF INSTRUMENTS IN LUMINAL NETWORKS
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US20190200981A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US10695081B2 (en) 2017-12-28 2020-06-30 Ethicon Llc Controlling a surgical instrument according to sensed closure parameters
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US10898622B2 (en) 2017-12-28 2021-01-26 Ethicon Llc Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US10943454B2 (en) * 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US10755813B2 (en) 2017-12-28 2020-08-25 Ethicon Llc Communication of smoke evacuation system parameters to hub or cloud in smoke evacuation module for interactive surgical platform
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
WO2019134743A1 (en) * 2018-01-03 2019-07-11 Siemens Healthcare Gmbh Method for acquiring and for altering a configuration of a number of objects in a procedure room and corresponding device
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11298148B2 (en) 2018-03-08 2022-04-12 Cilag Gmbh International Live time tissue classification using electrical parameters
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
US11129611B2 (en) 2018-03-28 2021-09-28 Cilag Gmbh International Surgical staplers with arrangements for maintaining a firing member thereof in a locked configuration unless a compatible cartridge has been installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US10827913B2 (en) * 2018-03-28 2020-11-10 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
WO2019209725A1 (en) 2018-04-23 2019-10-31 Mako Surgical Corp. System, method and software program for aiding in positioning of a camera relative to objects in a surgical environment
JP7214757B2 (ja) 2018-05-31 2023-01-30 オーリス ヘルス インコーポレイテッド 生理学的ノイズを検出する管腔網のナビゲーションのためのロボットシステム及び方法
WO2019232236A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Image-based airway analysis and mapping
US11194936B2 (en) * 2018-08-21 2021-12-07 The Boeing Company System and method for analyzing and testing multi-degree of freedom objects
JP6841802B2 (ja) * 2018-08-31 2021-03-10 ファナック株式会社 ロボットおよびロボットシステム
GB2608752B (en) * 2018-10-03 2023-06-14 Cmr Surgical Ltd Methods and systems for providing assistance to a user of a surgical robot system
US20220031414A1 (en) * 2018-10-12 2022-02-03 Sony Corporation Medical system, method and computer program
CN109620410B (zh) * 2018-12-04 2021-01-26 微创(上海)医疗机器人有限公司 机械臂防碰撞的方法及系统、医疗机器人
EP3680738A1 (de) 2019-01-14 2020-07-15 Siemens Aktiengesellschaft Kollisionsprüfung auf basis höherwertiger geometrie
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11272931B2 (en) 2019-02-19 2022-03-15 Cilag Gmbh International Dual cam cartridge based feature for unlocking a surgical stapler lockout
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US20220160445A1 (en) * 2019-03-20 2022-05-26 Covidien Lp Robotic surgical collision detection systems
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
KR20210007771A (ko) * 2019-07-12 2021-01-20 엘지전자 주식회사 커피 제조 로봇 및 그 제어방법
US11147633B2 (en) 2019-08-30 2021-10-19 Auris Health, Inc. Instrument image reliability systems and methods
US11207141B2 (en) 2019-08-30 2021-12-28 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
CN114502094A (zh) * 2019-09-26 2022-05-13 奥瑞斯健康公司 用于碰撞检测和避免的系统和方法
CN114449971A (zh) * 2019-09-26 2022-05-06 奥瑞斯健康公司 使用对象模型来避免碰撞的系统和方法
CN110613511B (zh) * 2019-10-16 2021-03-16 武汉联影智融医疗科技有限公司 手术机器人避障方法
EP4084722A4 (en) 2019-12-31 2024-01-10 Auris Health Inc ALIGNMENT INTERFACES FOR PERCUTANE ACCESS
CN114901194A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 解剖特征识别和瞄准
KR20220123076A (ko) 2019-12-31 2022-09-05 아우리스 헬스, 인코포레이티드 경피 접근을 위한 정렬 기법
EP4171427A1 (en) 2020-06-29 2023-05-03 Auris Health, Inc. Systems and methods for detecting contact between a link and an external object
EP4171428A1 (en) 2020-06-30 2023-05-03 Auris Health, Inc. Robotic medical system with collision proximity indicators
JP2023539372A (ja) * 2020-09-02 2023-09-13 オーリス ヘルス インコーポレイテッド ロボット衝突の境界の判定
CN112245014B (zh) * 2020-10-30 2023-06-02 上海微创医疗机器人(集团)股份有限公司 一种医疗机器人、检测机械臂碰撞的方法及存储介质
WO2023076468A1 (en) * 2021-10-29 2023-05-04 Intuitive Surgical Operations, Inc. Systems for control of a surgical system
EP4212287A1 (de) * 2022-01-18 2023-07-19 Siemens Aktiengesellschaft Projektierung einer sicherheitsgerichteten überwachung für eine mehrachskinematik mit mehreren beweglichen segmenten
CN114833826B (zh) * 2022-04-20 2023-07-04 上海傅利叶智能科技有限公司 实现机器人碰撞触觉的控制方法、装置以及康复机器人
US20240116437A1 (en) * 2022-10-05 2024-04-11 Ford Global Technologies, Llc Trailer sideswipe avoidance system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060261770A1 (en) * 2005-05-20 2006-11-23 Kosuke Kishi Master-slave manipulator system and this operation input devcies
JP2013129018A (ja) * 2011-12-21 2013-07-04 Kawasaki Heavy Ind Ltd ロボットの動作規制方法及び装置
CN104334110A (zh) * 2012-06-01 2015-02-04 直观外科手术操作公司 使用零空间回避操纵器臂与患者碰撞
CN104363850A (zh) * 2012-06-01 2015-02-18 直观外科手术操作公司 用于使用零空间避免操纵器臂之间碰撞的系统和方法
WO2015120008A1 (en) * 2014-02-05 2015-08-13 Intuitive Surgical Operations, Inc. System and method for dynamic virtual collision objects
WO2015142796A1 (en) * 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Tele-operative surgical systems and methods of control at joint limits using inverse kinematics

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8004229B2 (en) 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US9510911B2 (en) 1999-09-17 2016-12-06 Intuitive Surgical Operations, Inc. System and methods for managing multiple null-space objectives and SLI behaviors
US9107683B2 (en) 1999-09-17 2015-08-18 Intuitive Surgical Operations, Inc. Systems and methods for cancellation of joint motion using the null-space
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US20060178556A1 (en) 2001-06-29 2006-08-10 Intuitive Surgical, Inc. Articulate and swapable endoscope for a surgical robot
AU2003218010A1 (en) * 2002-03-06 2003-09-22 Z-Kat, Inc. System and method for using a haptic device in combination with a computer-assisted surgery system
JP4889490B2 (ja) * 2003-08-12 2012-03-07 ローマ リンダ ユニヴァーシティ メディカル センター モジュール式患者支持システム
US8971597B2 (en) 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
EP1815949A1 (en) 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Medical robotic system with manipulator arm of the cylindrical coordinate type
CN104688281B (zh) 2006-06-13 2017-04-19 直观外科手术操作公司 微创手术系统
US8554368B2 (en) * 2007-04-16 2013-10-08 Tim Fielding Frame mapping and force feedback methods, devices and systems
US20110301757A1 (en) 2008-02-21 2011-12-08 Harvest Automation, Inc. Adaptable container handling robot with boundary sensing subsystem
EP2269693A4 (en) * 2008-04-14 2015-07-08 Gmv Aerospace And Defence S A PLANNING SYSTEM FOR INTRAOPERATIVE RADIATION THERAPY AND METHOD FOR CARRYING OUT THIS PLANNING
US9179832B2 (en) 2008-06-27 2015-11-10 Intuitive Surgical Operations, Inc. Medical robotic system with image referenced camera control using partitionable orientational and translational modes
KR20120058826A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 의료 장비의 제어 방법
US9119655B2 (en) * 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
EP2814644B1 (en) 2012-02-15 2020-06-24 Intuitive Surgical Operations, Inc. Switching control of an instrument to an input device upon the instrument entering a display area viewable by an operator of the input device
CN111481291B (zh) 2012-06-01 2023-10-20 直观外科手术操作公司 硬件受限的远程中心机器人操纵器的冗余轴线和自由度
KR102396142B1 (ko) 2012-06-01 2022-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 기구 매니퓰레이터 양태들
US20140051049A1 (en) 2012-08-17 2014-02-20 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
KR20150084801A (ko) 2012-11-14 2015-07-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 충돌 회피용 스마트 드레이프
CN117770979A (zh) 2012-12-10 2024-03-29 直观外科手术操作公司 图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免
JP2016516487A (ja) 2013-03-15 2016-06-09 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ゼロ空間運動と同時にゼロ直交空間内でのクラッチングによりマニピュレータアームを位置決めするためのシステム及び方法
WO2014146120A1 (en) 2013-03-15 2014-09-18 Intuitive Surgical Operations, Inc. Systems and methods for using the null space to emphasize anipulator joint motion anisotropically
WO2014146113A1 (en) 2013-03-15 2014-09-18 Intuitive Surgical Operations, Inc. Systems and methods for tracking a path using the null-space
CN105050526B (zh) 2013-03-15 2018-06-01 直观外科手术操作公司 利用零空间以便利进入笛卡尔坐标空间的边缘的系统和方法
KR102446091B1 (ko) 2014-03-17 2022-09-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 촬상 장치 및 입력 컨트롤 중심복귀 시스템 및 방법
KR102457538B1 (ko) 2014-03-17 2022-10-24 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 관절방식 암에서 브레이크어웨이 클러칭을 위한 시스템 및 방법
US9737371B2 (en) 2014-09-30 2017-08-22 Auris Surgical Robotics, Inc. Configurable robotic surgical system with virtual rail and flexible endoscope
JP6748088B2 (ja) * 2015-02-25 2020-08-26 マコ サージカル コーポレーション 外科手術中の追跡中断を低減するナビゲーションシステム及び方法
KR20180109855A (ko) 2016-02-26 2018-10-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 가상 경계를 이용하는 충돌 회피 시스템 및 방법
WO2018031755A1 (en) * 2016-08-10 2018-02-15 Charles River Analytics, Inc. Application for screening vestibular functions with cots components

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060261770A1 (en) * 2005-05-20 2006-11-23 Kosuke Kishi Master-slave manipulator system and this operation input devcies
JP2013129018A (ja) * 2011-12-21 2013-07-04 Kawasaki Heavy Ind Ltd ロボットの動作規制方法及び装置
CN104334110A (zh) * 2012-06-01 2015-02-04 直观外科手术操作公司 使用零空间回避操纵器臂与患者碰撞
CN104363850A (zh) * 2012-06-01 2015-02-18 直观外科手术操作公司 用于使用零空间避免操纵器臂之间碰撞的系统和方法
WO2015120008A1 (en) * 2014-02-05 2015-08-13 Intuitive Surgical Operations, Inc. System and method for dynamic virtual collision objects
WO2015142796A1 (en) * 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Tele-operative surgical systems and methods of control at joint limits using inverse kinematics

Also Published As

Publication number Publication date
EP3419543B1 (en) 2023-04-05
WO2017146890A1 (en) 2017-08-31
KR20180109855A (ko) 2018-10-08
EP3419543A1 (en) 2019-01-02
US20200298406A1 (en) 2020-09-24
CN108472086A (zh) 2018-08-31
EP3419543A4 (en) 2019-09-25
US20190054620A1 (en) 2019-02-21
CN113384348A (zh) 2021-09-14
US10717194B2 (en) 2020-07-21
US11485016B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
CN108472086B (zh) 使用虚拟边界避免碰撞的系统和方法
CA2637651C (en) Apparatus and method for haptic rendering
US11612438B2 (en) Navigation system and method for medical operation by a robotic system using a tool
JP6530759B2 (ja) 動的な仮想の衝突対象物についてのシステム及び方法
EP3119323B1 (en) System and machine readable medium executing a method for recentering imaging devices and input controls
US20230172679A1 (en) Systems and methods for guided port placement selection
Torres et al. A motion planning approach to automatic obstacle avoidance during concentric tube robot teleoperation
WO2023023186A1 (en) Techniques for following commands of an input device using a constrained proxy
RU2777566C1 (ru) Способ и система для предотвращения столкновения между механическими руками и медицинский робот
US20240024049A1 (en) Imaging device control via multiple input modalities
WO2023014732A1 (en) Techniques for adjusting a field of view of an imaging device based on head motion of an operator
CN116370090A (zh) 用于产生反作用力以实现虚拟边界的机器人系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant